奥行き推定撮像装置
【課題】従来とは異なる方法で、奥行き情報を取得できる撮像技術を提供する。
【解決手段】奥行き推定撮像装置は、特定の波長域の光に対する透過率が撮像素子２の撮像面に平行な第１の方向に周期的に変化している第１の光学フィルタ１ａおよび第２の光学フィルタ１ｂとを備えている。第１の光学フィルタ１ａと第２の光学フィルタ１ｂとは、互いに対向し、それらの前記特定の波長域に対する透過率の周期変化は、互いに１／４周期ずれている。
【解決手段】奥行き推定撮像装置は、特定の波長域の光に対する透過率が撮像素子２の撮像面に平行な第１の方向に周期的に変化している第１の光学フィルタ１ａおよび第２の光学フィルタ１ｂとを備えている。第１の光学フィルタ１ａと第２の光学フィルタ１ｂとは、互いに対向し、それらの前記特定の波長域に対する透過率の周期変化は、互いに１／４周期ずれている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は１つの光学系と１つの撮像素子とを用いて被写体の奥行き情報を取得する単眼の３次元撮像技術に関する。
【背景技術】
【０００２】
近年、ＣＣＤやＣＭＯＳ等の固体撮像素子（以下、「撮像素子」と称する。）を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の進歩により、撮像素子における画素構造の微細化が進んでいる。その結果、撮像素子の画素および駆動回路の高集積化が図られてきた。このため、僅かの年数で撮像素子の画素数が１００万画素程度から１０００万画素以上へと著しく増加している。さらに、撮像によって得られる画像の質も飛躍的に向上している。一方、表示装置に関しては、薄型の液晶やプラズマによるディスプレイにより、場所を取らず、高解像度で高コントラストの表示が可能になり、高い性能が実現されている。このような映像の高品質化の流れは、２次元画像から３次元画像へと広がりつつある。昨今では、偏光メガネを必要とするが、高画質の３次元表示装置が開発され始めている。
【０００３】
３次元撮像技術に関して、単純な構成をもつ代表的な方式として、２つのカメラから構成される撮像系を用いて、右目用の画像および左目用の画像をそれぞれ取得するという方式がある。このような、いわゆる２眼撮像方式では、カメラを２つ用いるため、撮像装置が大型になり、コストも高くなり得る。そこで、１つのカメラを用いて視差を有する複数の画像（以下、「複数視点画像」と呼ぶことがある。）を取得する方式（単眼撮像方式）が研究されている。
【０００４】
例えば、特許文献１、２には、透過軸の方向が互いに直交する２枚の偏光板と回転する偏光フィルタとを用いて複数視点画像を取得する方式が開示されている。また、特許文献３〜５には、複数の色フィルタが設けられた絞り（光束制限板）を用いて複数視点画像を取得する方式が開示されている。
【０００５】
上記の特許文献１〜５に開示された方式は、単眼のカメラによって主に複数視点画像を生成する際に利用される。一方、複数のマイクロレンズを備えた単眼のカメラを用いて奥行き情報を取得し、その情報に基づいて、取得後の画像の焦点位置を自由に変えることができる技術も存在する。そのような技術は、ライトフィールド・フォトグラフィーと呼ばれ、それを用いた単眼カメラは、ライトフィールドカメラと呼ばれる。ライトフィールドカメラでは、撮像素子上に複数のマイクロレンズが配置される。各マイクロレンズは、複数の画素を覆うように配置される。撮像後、取得した画像情報から、入射光の方向に関する情報を算出することにより、被写体の奥行きを推定できる。そのようなカメラは、例えば非特許文献１に開示されている。
【０００６】
ライトフィールドカメラでは、奥行き情報を算出することができるが、マイクロレンズの数によって解像度が決まるため、撮像素子の画素数から決まる解像度よりも解像度が低下するという課題がある。その課題に対して、特許文献６には、２つの撮像系を用いて解像度を向上させる技術が開示されている。この技術では、入射光を２分割し、分割したそれぞれの入射光を、空間的に１／２ピッチずつずれて配列されたマイクロレンズ群を有する撮像系で撮像し、その後取得された画像を合成することによって解像度を向上させる。しかしながら、この技術では、撮像系が２つ必要であり、サイズおよびコストの面で課題がある。
【０００７】
上記の課題に対して、１つの撮像系を用いて通常撮像モードとライトフィールド・フォトグラフィーに基づくモードとを切り換える技術が特許文献７に開示されている。この技術によれば、印加電圧に応じて焦点距離が変化するマイクロレンズが用いられ、マイクロレンズの焦点距離が、前者のモードでは無限大に設定され、後者のモードでは、所定の距離に設定される。このような機構により、解像度の高い画像と奥行き情報とを得ることができる。しかしながら、この手法では、マイクロレンズの焦点距離を制御するという高度な制御技術が必要である。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開昭６２−２９１２９２号公報
【特許文献２】特開昭６２−２１７７９０号公報
【特許文献３】特開２００２−３４４９９９号公報
【特許文献４】特開２００９−２７６２９４号公報
【特許文献５】特開２００３−１３４５３３号公報
【特許文献６】特開平１１−９８５３２号公報
【特許文献７】特開２００８−１６７３９５号公報
【非特許文献】
【０００９】
【非特許文献１】Ｒｅｎ Ｎｇ，ｅｔ ａｌ，”Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ”， Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ライトフィールドカメラでは、奥行き情報を得ることはできるが、画像の解像度が低下するという課題がある。その課題を解決するためには、上記の特許文献６、７の技術のように、２つの撮像系が必要であったり、マイクロレンズの焦点距離を制御しなければならないという課題がある。
【００１１】
本発明の実施形態では、上記の課題に鑑み、従来技術とは異なる光学系および信号処理を用いて、奥行き情報を取得し得る撮像技術を提供する。さらに、本発明の好ましい実施形態では、解像度の低下のない画像と奥行き情報とを１回の撮影で取得し得る撮像技術を提供する。
【課題を解決するための手段】
【００１２】
本発明による奥行き推定撮像装置は、複数の光感知セルが撮像面に行列状に配列された撮像素子と、前記撮像面に像を形成するように配置された光学レンズと、前記光学レンズおよび前記撮像素子の間に配置された、特定の波長域の光に対する透過率が前記撮像面に平行な第１の方向に周期的に変化している第１の光学フィルタと、前記第１の光学フィルタと前記撮像素子との間に配置された、前記特定の波長域の光に対する透過率が前記第１の方向に周期的に変化し、かつ前記透過率の周期変化が前記第１の光学フィルタにおける前記特定の波長域の光に対する透過率の周期変化と比べて１／４周期ずれている第２の光学フィルタと、前記複数の光感知セルから出力される画素信号を処理する信号処理部とを備えている。
【００１３】
ある実施形態において、前記信号処理部は、前記複数の光感知セルから出力される画素信号の空間周波数特性に基づいて、被写体の奥行きを示す情報を生成する。
【００１４】
ある実施形態において、前記複数の光感知セルから出力される前記画素信号の前記空間周波数特性と前記被写体の奥行きとの対応関係を規定する情報が記録されたメモリをさらに備え、前記信号処理部は、前記対応関係を規定する情報を参照することによって前記奥行きを示す情報を生成する。
【００１５】
ある実施形態において、前記複数の光感知セルの配列のうち、特定の行または列に対応する位置における前記第１の光学フィルタと前記第２の光学フィルタとの距離は、前記特定の行または列に隣接する行または列に対応する位置における前記第１の光学フィルタと前記第２の光学フィルタとの距離と異なっている。
【００１６】
ある実施形態において、前記第１の光学フィルタおよび前記第２の光学フィルタは、前記複数の光感知セルの配列のｎ行（ｎは１以上の整数）ごとまたはｎ列ごとに対応する位置に配置されている。
【００１７】
ある実施形態において、前記第１の光学フィルタおよび前記第２の光学フィルタの前記特定の波長域の光に対する透過率の前記第１の方向についての空間変化は、三角関数または矩形関数で表される。
【００１８】
ある実施形態において、ａおよびｂを、ａ＋ｂ＜１、ｂ−ａ＞０を満たす正の実数とし、ω0を正の実数とするとき、前記第１の光学フィルタの前記特定の波長域の光に対する透過率の前記第１の方向についての空間変化を表す関数は、近似的にａｓｉｎω0ｘ＋ｂで表され、前記第２の光学フィルタの前記特定の波長域の光に対する透過率の前記第１の方向についての空間変化を表す関数は、近似的にａｃｏｓω0ｘ＋ｂで表される。
【００１９】
ある実施形態において、前記複数の光感知セルを、各々がｕ行ｖ列（ｕ，ｖは２以上の整数）に配列されたｕ×ｖ個の光感知セルを含む複数のブロックに分けるとき、前記第１の光学フィルタおよび前記第２の光学フィルタは、各ブロックを覆うように配置され、各ブロック上で透過率が前記第１の方向に１周期以上変化している。
【００２０】
ある実施形態では、各ブロックにおいて、前記第１の光学フィルタおよび前記第２の光学フィルタの前記特定の波長域の光に対する透過率の前記第１の方向についての空間変化は、複数の異なる周期をもつ周期関数の線型結合で表される。
【００２１】
ある実施形態において、前記特定の波長域の下限は、６５０ｎｍよりも長い。
【００２２】
ある実施形態において、前記奥行き推定撮像装置は、前記第１の光学フィルタよりも被写体に近い側に配置された、可視光のみを透過させる第３の光学フィルタをさらに備え、前記特定の波長域は、可視光の波長域に含まれている。
【００２３】
ある実施形態において、前記信号処理部は、前記第１および第２の光学フィルタが設けられていないと仮定した場合に各光感知セルから出力される画素信号と、前記第１および第２の光学フィルタが設けられている場合に各光感知セルから出力される画素信号との比を示す情報に基づいて、前記複数の光感知セルから出力される画素信号を補正することにより、可視光画像を生成する。
【００２４】
ある実施形態において、前記奥行き推定撮像装置は、前記第１の光学フィルタよりも被写体に近い側に配置された、複数の遮光部および複数の透明部が交互に配列された第４の光学フィルタをさらに備え、各透明部を透過した光束が入射する前記第１の光学フィルタの部分において、前記特定の波長域の光に対する透過率が前記第１の方向について１周期以上変化している。
【発明の効果】
【００２５】
本発明の実施形態によれば、特定の波長域の光に対する透過率の空間分布が周期関数で表され、位相が互いにπ／２（１／４周期）異なる２つの光学フィルタを通して撮像する。このため、これらの光学フィルタの透過率の周期変化のパターンの影響が取得した画素信号に現れる。これらの光学フィルタは、光軸方向に離れて配置されているため、これらの光学フィルタによって変調された画像のパターンから、入射光の集光状態を把握することができる。その結果、被写体の奥行き情報を算出することができる。一方、取得した画素信号に対して２つの光学フィルタの透過特性に基づく演算を行えば、通常の画像を取得することも可能である。
【図面の簡単な説明】
【００２６】
【図１Ａ】実施形態１における光学フィルタ１ａ、１ｂを示す平面図である。
【図１Ｂ】図１ＡにおけるＡ−Ａ’線断面図であり、撮像面に集光する光束を示す図である。
【図１Ｃ】光学フィルタ１ａ、１ｂの第１波長域の光に対する透過率のｘ方向の変化を示すグラフである。
【図１Ｄ】図１ＡにおけるＡ−Ａ’線断面図であり、撮像面の奥に集光する光束を示す図である。
【図１Ｅ】図１ＡにおけるＡ−Ａ’線断面図であり、撮像面の手前に集光する光束を示す図である。
【図２】実施形態１の変形例における光学フィルタ１ａ、１ｂを示す平面図である。
【図３】実施形態１の他の変形例における光学フィルタ１ａ、１ｂ、複数の光感知セル１０を示す断面図である。
【図４Ａ】実施形態２における光学フィルタ１ａ、１ｂを示す平面図である。
【図４Ｂ】図２ＡにおけるＢ−Ｂ’線断面図である。
【図４Ｃ】図２ＡにおけるＣ−Ｃ’線断面図である。
【図５Ａ】実施形態３における遮光フィルタ１ｃ、光学フィルタ１ａ、１ｂを示す平面図である。
【図５Ｂ】図５ＡにおけるＡ−Ａ’線断面図である。
【図５Ｃ】実施形態３の変形例における光学フィルタ１ａ、１ｂ、複数の光感知セル１０を示す断面図である。
【図６】本発明の実施形態における撮像装置の構成を示すブロック図である。
【図７】本発明の実施形態における撮像装置の光学系構成を模式的に示す斜視図である。
【発明を実施するための形態】
【００２７】
以下、図面を参照しながら、本発明の実施形態による奥行き推定撮像装置（以下、単に「撮像装置」と呼ぶ。）を説明する。以下の説明において、複数の図にわたって共通または対応する要素には同一の参照符号を付している。
【００２８】
（実施形態１）
まず、本発明の第１の実施形態による撮像装置を説明する。図６は、本実施形態における撮像装置の全体構成を示すブロック図である。本実施形態の撮像装置は、デジタル式の電子カメラであり、撮像部１００と、撮像部１００で生成された信号に基づいて画像を示す信号（画像信号）を生成する信号処理部２００とを備えている。撮像装置は、静止画のみならず動画を生成する機能を備えていてもよい。
【００２９】
撮像部１００は、撮像面に行列状に配列された複数の光感知セル（画素）を備える固体撮像素子２（以下、単に「撮像素子」と呼ぶ。）と、赤外光に近い波長域の光の一部を除去する光学フィルタ部１と、撮像素子２の撮像面上に像を形成するための光学レンズ３と、可視光のみを透過させる可視光透過フィルタ４とを備えている。光学フィルタ部１は、２種類の光学フィルタを含み、撮像素子２の撮像面上に配置されている。光学フィルタ部１の２種類の光学フィルタの各々は、およそ６５０ｎｍ〜７００ｎｍの波長域の光の一部を吸収または反射し、他の波長域の光を概ね透過させるように設計されている。一方、可視光透過フィルタ４は、６５０ｎｍ〜７００ｎｍの波長域の光を含む可視光を概ね透過させ、可視光以外の赤外線や紫外線を殆ど透過させないように設計されている。なお、本明細書では、約４００ｎｍ〜７００ｎｍの波長域の電磁波を「可視光」と呼ぶ。上記の６５０ｎｍ〜７００ｎｍの光は、本明細書では「可視光」に含まれるが、人間にとって殆ど視認できないため、赤外光として扱う場合もある。以下の説明では、約６５０ｎｍ〜７００ｎｍの光を、「第１波長域の光」と呼ぶことがある。
【００３０】
撮像部１００はまた、撮像素子２を駆動するための基本信号を発生するとともに撮像素子２からの出力信号を受信して信号処理部２００に送出する信号発生／受信部５と、信号発生／受信部５によって生成された基本信号に基づいて撮像素子２を駆動する素子駆動部６とを備えている。
【００３１】
撮像素子２は、典型的にはＣＣＤまたはＣＭＯＳセンサであり、公知の半導体製造技術によって製造される。信号発生／受信部５および素子駆動部６は、例えばＣＣＤドライバなどのＬＳＩから構成されている。撮像素子２の撮像面には行列状に複数の光感知セルが配列されている。各光感知セルは、典型的にはフォトダイオードを含み、受けた光の強度に応じた光電変換信号（画素信号）を出力する。
【００３２】
信号処理部２００は、撮像部１００から出力された信号を処理して画像信号および被写体の奥行きを示す情報（奥行き情報）を生成する画像処理部７と、画像信号の生成に用いられる各種のデータを格納するメモリ３０と、生成した画像信号および奥行き情報を外部に送出するインターフェース（ＩＦ）部８とを備えている。画像処理部７は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、画像信号生成処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現され得る。メモリ３０は、ＤＲＡＭなどによって構成される。メモリ３０は、撮像部１００から得られた信号を記録すると共に、画像処理部７によって生成された画像データや、圧縮された画像データを一時的に記録する。これらの画像データは、インターフェース部８を介して不図示の記録媒体や表示部などに送出される。
【００３３】
なお、本実施形態の撮像装置は、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本発明の理解に特に必要でないため省略する。また、上記の構成は一例であり、本実施形態において、光学フィルタ部１、撮像素子２、画像処理部７以外の構成要素は、公知の要素を適宜組み合わせて用いることができる。
【００３４】
以下、撮像部１００の構成をより詳細に説明する。以下の説明では、撮像部１００内の領域の位置や方向を説明する場合には、図中に示すｘｙｚ座標を用いる。なお、以下の説明における「上」、「下」などの用語は、参照される図に基づいており、必ずも現実の位置関係を反映しているわけではない。
【００３５】
図７は、撮像部１００におけるレンズ３、可視光透過フィルタ４、光学フィルタ部１、および撮像素子２の配置関係を模式的に示す図である。レンズ３は、複数のレンズ群から構成されたレンズユニットであり得るが、図７では簡単のため、単一のレンズとして描かれている。レンズ３は、公知のレンズであり、可視光透過フィルタ４の有無に関わらず、入射光を集光し、撮像素子２の撮像部に結像させる。なお、図７に示す各構成要素の配置関係はあくまでも一例であって、本発明はこのような例に限られるものではない。例えば、レンズ３と可視光透過フィルタ４の配置関係が入れ替わってもよい。
【００３６】
図１Ａは、光学フィルタ部１が配置された撮像素子２の撮像面の一部を示す平面図である。撮像面に行列状に配列された複数の光感知セルに対向して、２種類の光学フィルタ１ａ、１ｂが配置されている。図１Ｂは、図１ＡにおけるＡ−Ａ’線断面図であり、複数の光感知セル１０上に光学フィルタ１ａ、１ｂが配置されている状況を示している。光学フィルタ１ａ、１ｂの第１波長域の光に対する透過率は、ｘ方向に周期的に変化している。この周期的変化の周波数をω0とする。光学フィルタ１ａおよび光学フィルタ１ｂの第１波長域の光に対する透過率の周期変化の位相はπ／２（１／４周期）異なっている。
【００３７】
ここで、光学フィルタ１ａ、１ｂの第１波長域の光に対する透過率Ｔ１ａ、Ｔ１ｂを数式で表すと、近似的にそれぞれ以下の式１、式２で表される。但し、両式において、ａおよびｂは、ａ＋ｂ＜１、ｂ−ａ＞０を満たす正の実数である。
【数１】
【数２】
【００３８】
図１Ｃは、Ｔ１ａおよびＴ１ｂを示すグラフである。ここで、ｘ座標の原点は任意の位置にとってよく、例えば光学フィルタ部１の中心や端部に設定され得る。また、パラメータａ、ｂは、上記の条件を満たす限り、任意の値に設定してよい。このように、本実施形態における光学フィルタ１ａ、１ｂの第１波長域の光に対する透過率のｘ方向の空間変化は、三角関数で表される。
【００３９】
このような透過特性を有する光学フィルタ１ａ、１ｂは、例えば６５０ｎｍ〜７００ｎｍの波長域の光を主に吸収する公知の顔料または染料を用いて作製され得る。当該顔料または染料の含有率をｘ座標に応じて調整することにより、式１および式２に示す透過特性を実現することが可能である。
【００４０】
光学フィルタ１ｂは、光感知セル１０の直上に配置され、その上に距離ｄ離れて光学フィルタ１ａが配置されている。入射光は、光学フィルタ１ａ、光学フィルタ１ｂの順に透過し、光感知セル１０に入射して光電変換される。各光感知セル１０は、光電変換によって受光量に応じた画素信号を出力する。
【００４１】
以上の構成により、露光中に撮像装置に入射する光は、レンズ３、可視光透過フィルタ４、光学フィルタ部１を通して撮像素子２の撮像面上に結像され、各光感知セル１０によって光電変換される。各光感知セル１０から出力された画素信号は、信号発生／受信部５を介して信号処理部２００に送出される。信号処理部２００における画像処理部７は、送られてきた信号に基づいて画像を生成すると共に、奥行き情報も算出する。
【００４２】
以下、画像処理部７による奥行き情報および画像の生成処理を説明する。なお、以下の説明では、可視光による通常の画像信号を「通常画像」または「可視光画像」と呼ぶことがある。
【００４３】
まず、奥行き情報の算出方法を説明する。レンズ３、可視光透過フィルタ４を透過した光は、光学フィルタ１ａを透過する。この時、第１波長域の光については、光学フィルタ１ａの透過特性により、ｘ方向に式１で表される透過率特性によって変調された光パターンが発生する。すなわち、光学フィルタ１ａを透過した直後の第１波長域の光の強度分布は、式１にほぼ比例する。一方、第１波長域以外の可視光については、変調されることなく光学フィルタ１ａを透過する。光学フィルタ１ａを透過した光は、さらに光学フィルタ１ｂを透過する。光学フィルタ１ｂでは、第１波長域の光については、ｘ方向に式２で表される透過率特性によって変調された光パターンが発生する。すなわち、光学フィルタ１ｂを透過した第１波長域の光の強度分布は、当該光が平行光と見なせる場合、式１で表される関数および式２で表される関数の積にほぼ比例する。一方、第１波長域以外の可視光は、変調されることなく光学フィルタ１ｂを透過する。光学フィルタ１ｂを透過した光は、光感知セル１０により光電変換される。なお、上記の変調された光パターンは微細ではあるが、光感知セル１０の信号を解析することにより、その周波数を特定できる程度の広がりを有するように、光学フィルタ１ａ、１ｂの位置および光感知セル１０の数およびサイズが予め調整されている。
【００４４】
本実施形態では、レンズ３から被写体までの距離（奥行き）により、撮像素子２の撮像面、すなわち複数の光感知セル１０が配列された面における集光状態が異なることを利用して当該被写体の奥行が求められる。例えば、被写体のある部分から入射する光が撮像素子２の撮像面上で結像する場合、波動光学によれば、当該入射光は、図１Ｂに示すように平行光であるものとして扱うことができる。これに対し、奥行きの異なる部分から入射する光は、図１Ｄまたは図１Ｅに示されているように、撮像面の後方または前方で結像するため、平行光として扱うことはできない。図１Ｄに示す例では、入射光は光感知セル１０の後方で結像し、図１Ｅに示す例では、入射光は光感知セル１０の前方で結像している。光学フィルタ１ａ、１ｂは、光軸上の配置（ｚ座標）が互いに異なるため、光学フィルタ１ａを透過し式１で表される透過率で変調された光パターンは、光学フィルタ１ｂ上では、入射光の集光状態に応じて異なるパターンとなる。光学フィルタ１ｂ上での光パターンの周波数をωとすると、図１Ｂに示す状態ではω＝ωｏであり、図１Ｄに示す状態ではω＞ωｏであり、図１Ｅに示す状態ではω＜ωｏとなる。
【００４５】
以上のことから、光感知セル１０によって光電変換される光による上記光パターンの交流成分は、以下の式３で表される値Ａｃに比例する。
【数３】
【数４】
【００４６】
式４において、第４項ｓｉｎ（ω−ωｏ）ｘは、光学フィルタ１ａ、１ｂ間を光が進む間に生じる光パターンの変化量を周波数で表しており、しかも奇関数である。このため、各光感知セル１０から出力される画素信号から、第４項に相当する周波数（ω−ωｏ）の成分を検出することにより、光がどの程度集束または発散しているのかを判別することができる。具体的な周波数解析は、例えば複数の光感知セル１０から出力される画素信号にωｏ以上の周波数成分を除去するローパスフィルタを用いて低域のｓｉｎ（ω−ωｏ）ｘの成分を取り出し、その符号および周波数を検出することによって行われる。検出した符号および周波数に基づいて、入射光の集光状態を判別し、被写体までの距離を推定することができる。なお、ω＜ω0の場合、式４におけるｓｉｎωｘの成分が残るが、ωよりもω−ω0の方が著しく小さいため、ローパスフィルタ後の信号の低周波成分だけを解析すればよい。また、ω０ではなく、例えばω０／２以上の周波数成分を除去するローパスフィルタを用いてもよい。
【００４７】
ここで、ｓｉｎ（ω−ωｏ）ｘの成分の値と、被写体までの距離との対応関係を示す情報（例えばデータベース）が、予め実験やシミュレーションなどによって求められ、メモリ３０などの記録媒体に記録されている。画像処理部７は、当該情報を参照して、画素信号から被写体の奥行を求めることができる。
【００４８】
ここで、周波数ωは、光学フィルタ１ａ、１ｂの光軸方向の距離ｄに依存する。本実施形態では、周波数ωがωｏに近い値となるように距離ｄが設定されている。また、上記の演算は、（ω−ωｏ）に近い低域の画像周波数帯域を有していない被写体の部分に対して有効であるため、本実施形態ではそのような被写体の部分を奥行き算出の対象とする。但し、上記の奥行き算出に使われる光の波長域である約６５０ｎｍ〜７００ｎｍは、赤〜赤外の波長域に該当するため、ＲＧＢのカラー撮像素子を利用すれば、被写体画像の空間周波数に関わらず奥行き情報を算出できる可能性がある。これは、赤（Ｒ）画素による画像と、緑（Ｇ）画素または青（Ｂ）画素による画像とから、上記光パターンの画像と被写体画像とを切り分けることができるからである。したがって、画像処理部７は、赤画素による画像から奥行き情報を推定し、緑画素および青画素による画像から通常画像を生成してもよい。
【００４９】
次に、解像度低下のない通常画像（可視光画像）を取得する処理を説明する。本実施形態では、撮像光学系に可視光透過フィルタ４が含まれているので、仮に光学フィルタ部１が装着されていないとすると、解像度低下のない可視光による通常画像を取得できる。ところが、実際には光学フィルタ部１が装着されているため、赤光〜赤外光に近い波長域において光の変調が生じる。その結果、光学フィルタ１ａ、１ｂによって変調された光のパターンが被写体画像に重畳される。そこで、本実施形態では、予め光学フィルタ部１が装着されていない場合の画像と光学フィルタ部１を装着した場合の画像とから、それらの画素信号の比率（以下、「光パターン除去比率」と呼ぶ）を求めておく。例えば、一定強度の白色光を用いて、光学フィルタ部１がない場合の画素信号Ｓ１と、光学フィルタ部１がある場合の画素信号Ｓ２との比Ｓ１／Ｓ２を、光パターン除去比率として、画素ごとに予めメモリ３０などに記録しておく。画像処理部７は、光パターン除去比率を用いて各光感知セル１０から取得した信号を変換することによって光学フィルタ１ａ、１ｂによる光の変調の影響を取り除く。例えば、上記のＳ１／Ｓ２を光パターン除去比率とする場合、撮像によって取得した各画素信号にＳ１／Ｓ２を乗ずることにより、画像信号を得る。このようにして、画像処理部７は、解像度低下のない通常画像を取得する。
【００５０】
以上のように、本実施形態によれば、光感知セル１０上に、透過率がｘ方向に周期的に変化し、周期性が互いに約π／２異なる２種類の光学フィルタ１ａ、１ｂが、ｙ方向に所定の距離ｄだけ離れて配置される。これにより、光学フィルタ１ａ、１ｂを透過した光のパターン（ｘ方向の強度分布）は、入射光の集光状態を反映して変調される。画素信号の空間周波数特性を解析することにより、入射光の集光状態が検出でき、被写体までの距離を推定することができる。また、光パターン除去比率を用いた演算により、解像度低下のない通常画像を取得することができる。
【００５１】
なお、本実施形態では、赤外光に近い約６５０ｎｍ〜７００ｎｍの波長域の光の一部を減衰させる光学フィルタ１ａ、１ｂを用いたが、それに限定するものではなく、他の波長域の光の一部を減衰させる光学フィルタを用いてもよい。例えば、約４００ｎｍ〜５００ｎｍの波長域の青光、約５００ｎｍ〜６００ｎｍの波長域の緑光、７００ｎｍを超える波長域の赤外光に対する透過率がｘ方向に周期的に異なっている光学フィルタを用いてもよい。ただし、光学フィルタによる光の変調は、回折の影響が小さい長波長の波長域、例えば下限が６５０ｎｍ以上の波長域の光に対して行うことが好ましい。波長が７００ｎｍを超える赤外光に対する透過率が周期的に変化している光学フィルタを用いる場合、可視光透過フィルタ４の代わりに、当該赤外光の波長域にまで透過特性を有する光学フィルタを設ける必要がある。
【００５２】
また、本実施形態における光学フィルタ１ａ、１ｂの透過特性は、ｓｉｎ関数およびｃｏｓ関数を用いて表されるが、周期関数であれば、その他の関数で表される透過特性の光学フィルタを用いても問題はない。任意の周期関数はフーリエ級数展開によって周波数の互いに異なる複数のｓｉｎ関数またはｃｏｓ関数の線型結合で表すことができるため、フーリエ成分に分解して処理することができればどのような透過特性の光学フィルタを用いてもよい。
【００５３】
さらに、光学フィルタ１ａ、１ｂは、ｘ方向に透過率が周期的に変化しているが、この周期変化の方向はｘ方向である必要はなく、任意の方向であってもよい。画像処理部７は、当該周期変化の方向に関わらず、当該方向の画素信号のパターンに基づいて奥行き情報を生成することができる。
【００５４】
また、光学フィルタ１ａ、１ｂは、図２に示すように、撮像素子２の画素配列の１行おきに対応して配置されていてもよいし、ｎ行（ｎは２以上の整数）おきに対応して配置されていてもよい。但し、この場合、奥行き推定に関して、垂直方向（ｙ方向）の精度が１／２または１／（ｎ＋１）に低下する。あるいは、画素配列の１列おき、またはｎ列おきに光学フィルタ１ａ、１ｂが配置されていてもよい。この場合、光学フィルタ１ａ、１ｂは、第１波長域の光に対する透過率がｙ方向に周期的に変化するように構成される。
【００５５】
また、図３に示すように、赤外光吸収部１ａｂ_１と透明部１ａｂ_２とが交互に配列した光学フィルタ１ａ、１ｂを用いてもよい。この例では、赤外光に近い波長域の光に対する透過率のｘ方向の分布がステップ関数で表される。すなわち、赤外光吸収部１ａｂ_１では、約６５０ｎｍ〜７００ｎｍ付近の波長域の光を、ｘ座標に関わらず一定の透過率で透過させ、透明部１ａｂ_２では、上記の波長域を含む可視光の大部分を透過させる。このような構成でも、２つの光学フィルタ１ａ、１ｂが、ｘ方向に互いに１／４周期ずれて配置されていれば、同様の原理によって奥行き情報を得ることができる。なお、個々の赤外光吸収部１ａｂ_１および透明部１ａｂ_２は、例えばｕ行ｖ列（ｕ、ｖは２以上の整数）を１ブロックとするｕ×ｖ個の光感知セル１０を覆うように設けられる。そのような構成において、ブロックごとに画素信号を処理することにより、個々のブロックに対応する被写体の部分の奥行きの情報を得ることができる。このようなブロックを単位として処理する構成は、図３に示す構成に限らず、図１Ｂや図２に示す光学フィルタ１ａ、１ｂを用いた構成においても適用できる。その場合、１つのブロックに対応する光学フィルタ１ａ、１ｂの部分の第１波長域の光に対する透過率は、少なくとも１つの方向に１周期以上変化していることが好ましい。これは、１ブロックに含まれるｕ×ｖ個の光感知セルによって検知される信号の周波数特性を検出するためには、１ブロック内で１周期以上の変化が生じることが好ましいからである。
【００５６】
なお、個々の赤外光吸収部１ａｂ_１および透明部１ａｂ_２の透過率は、ステップ関数で表される場合に限らず、第１波長域の光に対する透過率がその範囲内で位置によって異なっていてもよい。また、１ブロック内で第１波長域の光に対する透過率が位置によって異なっている構成においても、複数の光感知セルを含むブロックを基本構成として処理してもよい。
【００５７】
また、本実施形態では、撮像素子２の画素配列は正方格子状の配列であるが、この配列に限らず、例えば斜交型の配列であってもよい。斜光型の配列を用いる場合、光感知セル１０の配列の方向と光学フィルタ１ａ、１ｂにおける透過率の周期変化の方向とが交差することになる。その場合であっても、透過率の周期変化の方向と同じ方向に並んだ複数の光感知セルから出力される信号を処理することにより、奥行き情報を求めることができる。
【００５８】
（実施形態２）
次に、本発明の第２の実施形態による撮像装置を説明する。本実施形態では、実施形態１と比べて、光学フィルタ部１の構造のみが異なる。以下、実施形態１の撮像装置と異なる点を中心に説明し、重複する事項についての説明は省略する。
【００５９】
図４Ａは、本実施形態における光学フィルタ部１が配置された撮像素子２の撮像面の一部を示す平面図である。図４Ｂは、図４ＡにおけるＢ−Ｂ’線断面図であり、図４Ｃは、図４ＡにおけるＣ−Ｃ’線断面図である。本実施形態における光学フィルタ部１は、実施形態１における光学フィルタ部１と同様、光学フィルタ１ａ、１ｂを含んでいるが、光学フィルタ１ａの構造が異なっている。本実施形態では、光学フィルタ１ａと光学フィルタ１ｂとの距離が撮像素子２の画素配列の行ごとに異なっている。それらの距離は、奇数行ではｄであり、偶数行ではほぼ０である。すなわち、光学フィルタ１ａは、ｙ方向に凹凸が１画素間隔で繰り返す構造を有している。奇数行に対応する光学フィルタ１ａの部分のｚ座標は、実施形態１における光学フィルタ１ａのｚ座標と同じであるが、偶数行に対応する光学フィルタ１ａの部分は、光学フィルタ１ｂにほぼ密着している。
【００６０】
撮像素子２において、奇数行のｙ座標を２ｍ−１、偶数行のｙ座標を２ｍ（ｍは自然数）と表すと、座標（ｘ，２ｍ−１）および座標（ｘ，２ｍ）のそれぞれにおける第１波長域の光に対する透過率の空間変化を示す関数Ｔｏ、Ｔｅは、それぞれ以下の式５、式６で表される。また、これらの差分Ｔｏ−Ｔｅは、式７で表される。
【数５】
【数６】
【数７】
【００６１】
以上より、隣接する２行の画素信号の差分処理結果は式７で表されるＴ0−Ｔeに比例し、ωｏ以上の周波数成分を除去するローパスフィルタで高周波成分を除去すれば、ｓｉｎ（ω−ωｏ）ｘの成分を取り出すことができる。この処理により、実施形態１における処理と同様、入射光の集光状態を検出できるため、被写体までの距離も推定できる。なお、一般の被写体では、隣接する２行の画素信号はほぼ等しいので、隣接する２行の画素信号間の差分により、被写体の画像情報を取り除くことができる。その結果、実施形態１とは異なり、被写体の画像の空間周波数に関係なく奥行き情報を算出できる。なお、解像度低下のない通常画像を取得する処理は、実施形態１における処理と同じであるため、その説明は省略する。
【００６２】
以上のように、本実施形態によれば、撮像素子２の画素配列の１行おきに光学フィルタ１ａ、１ｂ間の距離が異なり、それらの距離はｄまたは０に設定される。さらに、信号処理として隣接する２行の画素信号の差分処理を行い、その低周波数帯域の成分を検出することにより、入射光の集光状態が特定でき、被写体までの距離を推定できる。
【００６３】
なお、本実施形態でも、赤外光に近い約６５０ｎｍ〜７００ｎｍの波長域の光の一部を減衰させる光学フィルタ１ａ、１ｂが用いられるが、他の波長域の光の一部を減衰させる光学フィルタを用いてもよい。また、光学フィルタ１ａ、１ｂの透過特性に関しても、ｓｉｎ関数、ｃｏｓ関数を用いて表される透過特性に限らず、周期関数で表されれば、どのような透過特性の光学フィルタを用いてもよい。さらに、本実施形態では、１行おきに光学フィルタ１ａ、１ｂ間の距離を変えたが、ｎ行おきに（ｎは２以上の整数）変えても問題ない。あるいは、特定の波長域の光に対する透過率がｙ方向に周期的に変化するように光学フィルタ１ａ、１ｂを配置した上で、１列おき、またはｎ列おきに光学フィルタ１ａ、１ｂ間の距離を変えてもよい。
【００６４】
（実施形態３）
次に、本発明の第３の実施形態を説明する。本実施形態の撮像装置は、光学フィルタ１ａを覆うように配置された遮光フィルタ１ｃをさらに備えている点で実施形態１の撮像装置と異なっている。以下、実施形態１と異なる点を中心に説明し、重複する事項についての説明は省略する。
【００６５】
図５Ａは、光学フィルタ１ａ、１ｂ、および遮光フィルタ１ｃが配置された撮像素子２の撮像面の一部を示す平面図である。図５Ｂは、図５ＡにおけるＡ−Ａ’線断面図である。図５Ａ、図５Ｂに示すように、遮光部１ｃ_１と透明部１ｃ_２とが交互に配列された遮光フィルタ１ｃが光学フィルタ１ａを覆うように配置されている。
【００６６】
遮光部１ｃ_１は、光の大部分を吸収または反射する部材で形成されている。一方、透明部１ｃ_１は、ガラスや空気などの透明部材で形成されている。このような遮光フィルタ１ｃを設けることにより、周囲からの不要な光の入射を防ぐことができるため、信号処理の精度が向上する。
【００６７】
本実施形態における画像信号の生成処理および奥行き情報生成処理は、実施形態１のものと同一であるため、詳細な説明は省略する。
【００６８】
なお、本実施形態では、個々の遮光部１ｃ_１および透明部１ｃ_２は、ともに正方形状であり、画素２５（＝５×５）個分のサイズを有しているが、これらの形状およびサイズはこのような例に限られない。透明部１ｃ_１のある方向のサイズが光学フィルタ１ａの上記第１波長域の光に対する透過率の１周期分のサイズよりも大きければどのような形状およびサイズであってもよい。
【００６９】
以上のように、本実施形態では、光学フィルタ１ａよりも被写体に近い側に、複数の遮光部１ｃ_１および複数の透明部１ｃ_２が交互に配列された遮光フィルタ１ｃが配置されている。被写体から入射する光は、まず透明部１ｃ_２を通過し、次いで光学フィルタ１ａ、１ｂを透過して複数の光感知セル１０に入射する。各透明部１ｃ_２を透過した光束が入射する光学フィルタ１ａの部分において、第１波長域の光に対する透過率がｘ方向に１周期以上変化しているため、実施形態１と同じ原理により、奥行き情報を得ることができる。本実施形態では、周囲からの不要光が遮光部１ｃ_１によって遮断されるため、実施形態１の構成と比較して信号処理の精度が向上するという顕著な効果がある。
【００７０】
本実施形態においては、上記の構成と同様の遮光効果が得られれば、図５Ｂに示す構成とは異なる構成を採用してもよい。例えば、図５Ｃに示す構成を採用してもよい。図５Ｃに示す構成では、光学フィルタ１ａの一部が遮光部材から形成された遮光部１ａ_１であり、それ以外の部分は実施形態１の光学フィルタ１ａと同様の部材によって形成された透光部１ａ_２である。遮光部１ａ_１および透光部１ａ_２の位置は、それぞれ図５Ｂにおける遮光部１ｃ_１および透明部１ｃ_２の位置に対応しており、それらのｚ座標のみが異なっている。このような構成であっても、図５Ｂに示す構成と同様の効果を得ることができる。
【００７１】
なお、以上の実施形態では、光学フィルタ１ｂは、撮像素子２の撮像面に近接しているが、光学フィルタ１ｂは、撮像面から離れていてもよい。光学フィルタ１ｂが撮像面から所定距離だけ離れていても、その距離を考慮して信号処理を補正することにより、同様の原理で奥行き情報を得ることができる。
【００７２】
以上の実施形態では、撮像装置に内蔵された画像処理部７が画像処理を行うものとしたが、撮像装置とは独立した他の装置に当該画像処理を実行させてもよい。例えば、上記の各実施形態における撮像部１００を有する撮像装置によって取得した信号を、他の装置（画像処理装置）に入力し、上記の信号演算処理を規定するプログラムを当該画像処理装置に内蔵されたコンピュータに実行させることによっても同様の効果を得ることができる。外部の画像処理装置に画像処理を実行させる場合、撮像装置は画像処理部を備えていなくてもよい。本明細書では、このような、自身は奥行き情報を生成しないが、奥行き情報を生成するための信号を出力する撮像装置も、「奥行き推定撮像装置」と呼ぶ。
【産業上の利用可能性】
【００７３】
本発明にかかる奥行き推定撮像装置は、撮像素子を用いたすべてのカメラに有効である。例えば、デジタルカメラやデジタルビデオカメラ等の民生用カメラや、産業用の固体監視カメラに利用できる。
【符号の説明】
【００７４】
１ 光学フィルタ部
１ａ、１ｂ 光学フィルタ
１ａ_１ 遮光部
１ａ_２ 透光部
１ａｂ_１ 赤外光吸収部
１ａｂ_２ 透明部
１ｃ 遮光フィルタ
１ｃ_１遮光部
１ｃ_２透光部
２ 固体撮像素子
３ レンズ
４ 可視光透過フィルタ
５ 信号発生／受信部
６ 素子駆動部
７ 画像処理部
８ インターフェース部
１０ 光感知セル
３０ メモリ
１００ 撮像部
２００ 信号処理部
【技術分野】
【０００１】
本発明は１つの光学系と１つの撮像素子とを用いて被写体の奥行き情報を取得する単眼の３次元撮像技術に関する。
【背景技術】
【０００２】
近年、ＣＣＤやＣＭＯＳ等の固体撮像素子（以下、「撮像素子」と称する。）を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の進歩により、撮像素子における画素構造の微細化が進んでいる。その結果、撮像素子の画素および駆動回路の高集積化が図られてきた。このため、僅かの年数で撮像素子の画素数が１００万画素程度から１０００万画素以上へと著しく増加している。さらに、撮像によって得られる画像の質も飛躍的に向上している。一方、表示装置に関しては、薄型の液晶やプラズマによるディスプレイにより、場所を取らず、高解像度で高コントラストの表示が可能になり、高い性能が実現されている。このような映像の高品質化の流れは、２次元画像から３次元画像へと広がりつつある。昨今では、偏光メガネを必要とするが、高画質の３次元表示装置が開発され始めている。
【０００３】
３次元撮像技術に関して、単純な構成をもつ代表的な方式として、２つのカメラから構成される撮像系を用いて、右目用の画像および左目用の画像をそれぞれ取得するという方式がある。このような、いわゆる２眼撮像方式では、カメラを２つ用いるため、撮像装置が大型になり、コストも高くなり得る。そこで、１つのカメラを用いて視差を有する複数の画像（以下、「複数視点画像」と呼ぶことがある。）を取得する方式（単眼撮像方式）が研究されている。
【０００４】
例えば、特許文献１、２には、透過軸の方向が互いに直交する２枚の偏光板と回転する偏光フィルタとを用いて複数視点画像を取得する方式が開示されている。また、特許文献３〜５には、複数の色フィルタが設けられた絞り（光束制限板）を用いて複数視点画像を取得する方式が開示されている。
【０００５】
上記の特許文献１〜５に開示された方式は、単眼のカメラによって主に複数視点画像を生成する際に利用される。一方、複数のマイクロレンズを備えた単眼のカメラを用いて奥行き情報を取得し、その情報に基づいて、取得後の画像の焦点位置を自由に変えることができる技術も存在する。そのような技術は、ライトフィールド・フォトグラフィーと呼ばれ、それを用いた単眼カメラは、ライトフィールドカメラと呼ばれる。ライトフィールドカメラでは、撮像素子上に複数のマイクロレンズが配置される。各マイクロレンズは、複数の画素を覆うように配置される。撮像後、取得した画像情報から、入射光の方向に関する情報を算出することにより、被写体の奥行きを推定できる。そのようなカメラは、例えば非特許文献１に開示されている。
【０００６】
ライトフィールドカメラでは、奥行き情報を算出することができるが、マイクロレンズの数によって解像度が決まるため、撮像素子の画素数から決まる解像度よりも解像度が低下するという課題がある。その課題に対して、特許文献６には、２つの撮像系を用いて解像度を向上させる技術が開示されている。この技術では、入射光を２分割し、分割したそれぞれの入射光を、空間的に１／２ピッチずつずれて配列されたマイクロレンズ群を有する撮像系で撮像し、その後取得された画像を合成することによって解像度を向上させる。しかしながら、この技術では、撮像系が２つ必要であり、サイズおよびコストの面で課題がある。
【０００７】
上記の課題に対して、１つの撮像系を用いて通常撮像モードとライトフィールド・フォトグラフィーに基づくモードとを切り換える技術が特許文献７に開示されている。この技術によれば、印加電圧に応じて焦点距離が変化するマイクロレンズが用いられ、マイクロレンズの焦点距離が、前者のモードでは無限大に設定され、後者のモードでは、所定の距離に設定される。このような機構により、解像度の高い画像と奥行き情報とを得ることができる。しかしながら、この手法では、マイクロレンズの焦点距離を制御するという高度な制御技術が必要である。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開昭６２−２９１２９２号公報
【特許文献２】特開昭６２−２１７７９０号公報
【特許文献３】特開２００２−３４４９９９号公報
【特許文献４】特開２００９−２７６２９４号公報
【特許文献５】特開２００３−１３４５３３号公報
【特許文献６】特開平１１−９８５３２号公報
【特許文献７】特開２００８−１６７３９５号公報
【非特許文献】
【０００９】
【非特許文献１】Ｒｅｎ Ｎｇ，ｅｔ ａｌ，”Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ”， Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ライトフィールドカメラでは、奥行き情報を得ることはできるが、画像の解像度が低下するという課題がある。その課題を解決するためには、上記の特許文献６、７の技術のように、２つの撮像系が必要であったり、マイクロレンズの焦点距離を制御しなければならないという課題がある。
【００１１】
本発明の実施形態では、上記の課題に鑑み、従来技術とは異なる光学系および信号処理を用いて、奥行き情報を取得し得る撮像技術を提供する。さらに、本発明の好ましい実施形態では、解像度の低下のない画像と奥行き情報とを１回の撮影で取得し得る撮像技術を提供する。
【課題を解決するための手段】
【００１２】
本発明による奥行き推定撮像装置は、複数の光感知セルが撮像面に行列状に配列された撮像素子と、前記撮像面に像を形成するように配置された光学レンズと、前記光学レンズおよび前記撮像素子の間に配置された、特定の波長域の光に対する透過率が前記撮像面に平行な第１の方向に周期的に変化している第１の光学フィルタと、前記第１の光学フィルタと前記撮像素子との間に配置された、前記特定の波長域の光に対する透過率が前記第１の方向に周期的に変化し、かつ前記透過率の周期変化が前記第１の光学フィルタにおける前記特定の波長域の光に対する透過率の周期変化と比べて１／４周期ずれている第２の光学フィルタと、前記複数の光感知セルから出力される画素信号を処理する信号処理部とを備えている。
【００１３】
ある実施形態において、前記信号処理部は、前記複数の光感知セルから出力される画素信号の空間周波数特性に基づいて、被写体の奥行きを示す情報を生成する。
【００１４】
ある実施形態において、前記複数の光感知セルから出力される前記画素信号の前記空間周波数特性と前記被写体の奥行きとの対応関係を規定する情報が記録されたメモリをさらに備え、前記信号処理部は、前記対応関係を規定する情報を参照することによって前記奥行きを示す情報を生成する。
【００１５】
ある実施形態において、前記複数の光感知セルの配列のうち、特定の行または列に対応する位置における前記第１の光学フィルタと前記第２の光学フィルタとの距離は、前記特定の行または列に隣接する行または列に対応する位置における前記第１の光学フィルタと前記第２の光学フィルタとの距離と異なっている。
【００１６】
ある実施形態において、前記第１の光学フィルタおよび前記第２の光学フィルタは、前記複数の光感知セルの配列のｎ行（ｎは１以上の整数）ごとまたはｎ列ごとに対応する位置に配置されている。
【００１７】
ある実施形態において、前記第１の光学フィルタおよび前記第２の光学フィルタの前記特定の波長域の光に対する透過率の前記第１の方向についての空間変化は、三角関数または矩形関数で表される。
【００１８】
ある実施形態において、ａおよびｂを、ａ＋ｂ＜１、ｂ−ａ＞０を満たす正の実数とし、ω0を正の実数とするとき、前記第１の光学フィルタの前記特定の波長域の光に対する透過率の前記第１の方向についての空間変化を表す関数は、近似的にａｓｉｎω0ｘ＋ｂで表され、前記第２の光学フィルタの前記特定の波長域の光に対する透過率の前記第１の方向についての空間変化を表す関数は、近似的にａｃｏｓω0ｘ＋ｂで表される。
【００１９】
ある実施形態において、前記複数の光感知セルを、各々がｕ行ｖ列（ｕ，ｖは２以上の整数）に配列されたｕ×ｖ個の光感知セルを含む複数のブロックに分けるとき、前記第１の光学フィルタおよび前記第２の光学フィルタは、各ブロックを覆うように配置され、各ブロック上で透過率が前記第１の方向に１周期以上変化している。
【００２０】
ある実施形態では、各ブロックにおいて、前記第１の光学フィルタおよび前記第２の光学フィルタの前記特定の波長域の光に対する透過率の前記第１の方向についての空間変化は、複数の異なる周期をもつ周期関数の線型結合で表される。
【００２１】
ある実施形態において、前記特定の波長域の下限は、６５０ｎｍよりも長い。
【００２２】
ある実施形態において、前記奥行き推定撮像装置は、前記第１の光学フィルタよりも被写体に近い側に配置された、可視光のみを透過させる第３の光学フィルタをさらに備え、前記特定の波長域は、可視光の波長域に含まれている。
【００２３】
ある実施形態において、前記信号処理部は、前記第１および第２の光学フィルタが設けられていないと仮定した場合に各光感知セルから出力される画素信号と、前記第１および第２の光学フィルタが設けられている場合に各光感知セルから出力される画素信号との比を示す情報に基づいて、前記複数の光感知セルから出力される画素信号を補正することにより、可視光画像を生成する。
【００２４】
ある実施形態において、前記奥行き推定撮像装置は、前記第１の光学フィルタよりも被写体に近い側に配置された、複数の遮光部および複数の透明部が交互に配列された第４の光学フィルタをさらに備え、各透明部を透過した光束が入射する前記第１の光学フィルタの部分において、前記特定の波長域の光に対する透過率が前記第１の方向について１周期以上変化している。
【発明の効果】
【００２５】
本発明の実施形態によれば、特定の波長域の光に対する透過率の空間分布が周期関数で表され、位相が互いにπ／２（１／４周期）異なる２つの光学フィルタを通して撮像する。このため、これらの光学フィルタの透過率の周期変化のパターンの影響が取得した画素信号に現れる。これらの光学フィルタは、光軸方向に離れて配置されているため、これらの光学フィルタによって変調された画像のパターンから、入射光の集光状態を把握することができる。その結果、被写体の奥行き情報を算出することができる。一方、取得した画素信号に対して２つの光学フィルタの透過特性に基づく演算を行えば、通常の画像を取得することも可能である。
【図面の簡単な説明】
【００２６】
【図１Ａ】実施形態１における光学フィルタ１ａ、１ｂを示す平面図である。
【図１Ｂ】図１ＡにおけるＡ−Ａ’線断面図であり、撮像面に集光する光束を示す図である。
【図１Ｃ】光学フィルタ１ａ、１ｂの第１波長域の光に対する透過率のｘ方向の変化を示すグラフである。
【図１Ｄ】図１ＡにおけるＡ−Ａ’線断面図であり、撮像面の奥に集光する光束を示す図である。
【図１Ｅ】図１ＡにおけるＡ−Ａ’線断面図であり、撮像面の手前に集光する光束を示す図である。
【図２】実施形態１の変形例における光学フィルタ１ａ、１ｂを示す平面図である。
【図３】実施形態１の他の変形例における光学フィルタ１ａ、１ｂ、複数の光感知セル１０を示す断面図である。
【図４Ａ】実施形態２における光学フィルタ１ａ、１ｂを示す平面図である。
【図４Ｂ】図２ＡにおけるＢ−Ｂ’線断面図である。
【図４Ｃ】図２ＡにおけるＣ−Ｃ’線断面図である。
【図５Ａ】実施形態３における遮光フィルタ１ｃ、光学フィルタ１ａ、１ｂを示す平面図である。
【図５Ｂ】図５ＡにおけるＡ−Ａ’線断面図である。
【図５Ｃ】実施形態３の変形例における光学フィルタ１ａ、１ｂ、複数の光感知セル１０を示す断面図である。
【図６】本発明の実施形態における撮像装置の構成を示すブロック図である。
【図７】本発明の実施形態における撮像装置の光学系構成を模式的に示す斜視図である。
【発明を実施するための形態】
【００２７】
以下、図面を参照しながら、本発明の実施形態による奥行き推定撮像装置（以下、単に「撮像装置」と呼ぶ。）を説明する。以下の説明において、複数の図にわたって共通または対応する要素には同一の参照符号を付している。
【００２８】
（実施形態１）
まず、本発明の第１の実施形態による撮像装置を説明する。図６は、本実施形態における撮像装置の全体構成を示すブロック図である。本実施形態の撮像装置は、デジタル式の電子カメラであり、撮像部１００と、撮像部１００で生成された信号に基づいて画像を示す信号（画像信号）を生成する信号処理部２００とを備えている。撮像装置は、静止画のみならず動画を生成する機能を備えていてもよい。
【００２９】
撮像部１００は、撮像面に行列状に配列された複数の光感知セル（画素）を備える固体撮像素子２（以下、単に「撮像素子」と呼ぶ。）と、赤外光に近い波長域の光の一部を除去する光学フィルタ部１と、撮像素子２の撮像面上に像を形成するための光学レンズ３と、可視光のみを透過させる可視光透過フィルタ４とを備えている。光学フィルタ部１は、２種類の光学フィルタを含み、撮像素子２の撮像面上に配置されている。光学フィルタ部１の２種類の光学フィルタの各々は、およそ６５０ｎｍ〜７００ｎｍの波長域の光の一部を吸収または反射し、他の波長域の光を概ね透過させるように設計されている。一方、可視光透過フィルタ４は、６５０ｎｍ〜７００ｎｍの波長域の光を含む可視光を概ね透過させ、可視光以外の赤外線や紫外線を殆ど透過させないように設計されている。なお、本明細書では、約４００ｎｍ〜７００ｎｍの波長域の電磁波を「可視光」と呼ぶ。上記の６５０ｎｍ〜７００ｎｍの光は、本明細書では「可視光」に含まれるが、人間にとって殆ど視認できないため、赤外光として扱う場合もある。以下の説明では、約６５０ｎｍ〜７００ｎｍの光を、「第１波長域の光」と呼ぶことがある。
【００３０】
撮像部１００はまた、撮像素子２を駆動するための基本信号を発生するとともに撮像素子２からの出力信号を受信して信号処理部２００に送出する信号発生／受信部５と、信号発生／受信部５によって生成された基本信号に基づいて撮像素子２を駆動する素子駆動部６とを備えている。
【００３１】
撮像素子２は、典型的にはＣＣＤまたはＣＭＯＳセンサであり、公知の半導体製造技術によって製造される。信号発生／受信部５および素子駆動部６は、例えばＣＣＤドライバなどのＬＳＩから構成されている。撮像素子２の撮像面には行列状に複数の光感知セルが配列されている。各光感知セルは、典型的にはフォトダイオードを含み、受けた光の強度に応じた光電変換信号（画素信号）を出力する。
【００３２】
信号処理部２００は、撮像部１００から出力された信号を処理して画像信号および被写体の奥行きを示す情報（奥行き情報）を生成する画像処理部７と、画像信号の生成に用いられる各種のデータを格納するメモリ３０と、生成した画像信号および奥行き情報を外部に送出するインターフェース（ＩＦ）部８とを備えている。画像処理部７は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、画像信号生成処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現され得る。メモリ３０は、ＤＲＡＭなどによって構成される。メモリ３０は、撮像部１００から得られた信号を記録すると共に、画像処理部７によって生成された画像データや、圧縮された画像データを一時的に記録する。これらの画像データは、インターフェース部８を介して不図示の記録媒体や表示部などに送出される。
【００３３】
なお、本実施形態の撮像装置は、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本発明の理解に特に必要でないため省略する。また、上記の構成は一例であり、本実施形態において、光学フィルタ部１、撮像素子２、画像処理部７以外の構成要素は、公知の要素を適宜組み合わせて用いることができる。
【００３４】
以下、撮像部１００の構成をより詳細に説明する。以下の説明では、撮像部１００内の領域の位置や方向を説明する場合には、図中に示すｘｙｚ座標を用いる。なお、以下の説明における「上」、「下」などの用語は、参照される図に基づいており、必ずも現実の位置関係を反映しているわけではない。
【００３５】
図７は、撮像部１００におけるレンズ３、可視光透過フィルタ４、光学フィルタ部１、および撮像素子２の配置関係を模式的に示す図である。レンズ３は、複数のレンズ群から構成されたレンズユニットであり得るが、図７では簡単のため、単一のレンズとして描かれている。レンズ３は、公知のレンズであり、可視光透過フィルタ４の有無に関わらず、入射光を集光し、撮像素子２の撮像部に結像させる。なお、図７に示す各構成要素の配置関係はあくまでも一例であって、本発明はこのような例に限られるものではない。例えば、レンズ３と可視光透過フィルタ４の配置関係が入れ替わってもよい。
【００３６】
図１Ａは、光学フィルタ部１が配置された撮像素子２の撮像面の一部を示す平面図である。撮像面に行列状に配列された複数の光感知セルに対向して、２種類の光学フィルタ１ａ、１ｂが配置されている。図１Ｂは、図１ＡにおけるＡ−Ａ’線断面図であり、複数の光感知セル１０上に光学フィルタ１ａ、１ｂが配置されている状況を示している。光学フィルタ１ａ、１ｂの第１波長域の光に対する透過率は、ｘ方向に周期的に変化している。この周期的変化の周波数をω0とする。光学フィルタ１ａおよび光学フィルタ１ｂの第１波長域の光に対する透過率の周期変化の位相はπ／２（１／４周期）異なっている。
【００３７】
ここで、光学フィルタ１ａ、１ｂの第１波長域の光に対する透過率Ｔ１ａ、Ｔ１ｂを数式で表すと、近似的にそれぞれ以下の式１、式２で表される。但し、両式において、ａおよびｂは、ａ＋ｂ＜１、ｂ−ａ＞０を満たす正の実数である。
【数１】
【数２】
【００３８】
図１Ｃは、Ｔ１ａおよびＴ１ｂを示すグラフである。ここで、ｘ座標の原点は任意の位置にとってよく、例えば光学フィルタ部１の中心や端部に設定され得る。また、パラメータａ、ｂは、上記の条件を満たす限り、任意の値に設定してよい。このように、本実施形態における光学フィルタ１ａ、１ｂの第１波長域の光に対する透過率のｘ方向の空間変化は、三角関数で表される。
【００３９】
このような透過特性を有する光学フィルタ１ａ、１ｂは、例えば６５０ｎｍ〜７００ｎｍの波長域の光を主に吸収する公知の顔料または染料を用いて作製され得る。当該顔料または染料の含有率をｘ座標に応じて調整することにより、式１および式２に示す透過特性を実現することが可能である。
【００４０】
光学フィルタ１ｂは、光感知セル１０の直上に配置され、その上に距離ｄ離れて光学フィルタ１ａが配置されている。入射光は、光学フィルタ１ａ、光学フィルタ１ｂの順に透過し、光感知セル１０に入射して光電変換される。各光感知セル１０は、光電変換によって受光量に応じた画素信号を出力する。
【００４１】
以上の構成により、露光中に撮像装置に入射する光は、レンズ３、可視光透過フィルタ４、光学フィルタ部１を通して撮像素子２の撮像面上に結像され、各光感知セル１０によって光電変換される。各光感知セル１０から出力された画素信号は、信号発生／受信部５を介して信号処理部２００に送出される。信号処理部２００における画像処理部７は、送られてきた信号に基づいて画像を生成すると共に、奥行き情報も算出する。
【００４２】
以下、画像処理部７による奥行き情報および画像の生成処理を説明する。なお、以下の説明では、可視光による通常の画像信号を「通常画像」または「可視光画像」と呼ぶことがある。
【００４３】
まず、奥行き情報の算出方法を説明する。レンズ３、可視光透過フィルタ４を透過した光は、光学フィルタ１ａを透過する。この時、第１波長域の光については、光学フィルタ１ａの透過特性により、ｘ方向に式１で表される透過率特性によって変調された光パターンが発生する。すなわち、光学フィルタ１ａを透過した直後の第１波長域の光の強度分布は、式１にほぼ比例する。一方、第１波長域以外の可視光については、変調されることなく光学フィルタ１ａを透過する。光学フィルタ１ａを透過した光は、さらに光学フィルタ１ｂを透過する。光学フィルタ１ｂでは、第１波長域の光については、ｘ方向に式２で表される透過率特性によって変調された光パターンが発生する。すなわち、光学フィルタ１ｂを透過した第１波長域の光の強度分布は、当該光が平行光と見なせる場合、式１で表される関数および式２で表される関数の積にほぼ比例する。一方、第１波長域以外の可視光は、変調されることなく光学フィルタ１ｂを透過する。光学フィルタ１ｂを透過した光は、光感知セル１０により光電変換される。なお、上記の変調された光パターンは微細ではあるが、光感知セル１０の信号を解析することにより、その周波数を特定できる程度の広がりを有するように、光学フィルタ１ａ、１ｂの位置および光感知セル１０の数およびサイズが予め調整されている。
【００４４】
本実施形態では、レンズ３から被写体までの距離（奥行き）により、撮像素子２の撮像面、すなわち複数の光感知セル１０が配列された面における集光状態が異なることを利用して当該被写体の奥行が求められる。例えば、被写体のある部分から入射する光が撮像素子２の撮像面上で結像する場合、波動光学によれば、当該入射光は、図１Ｂに示すように平行光であるものとして扱うことができる。これに対し、奥行きの異なる部分から入射する光は、図１Ｄまたは図１Ｅに示されているように、撮像面の後方または前方で結像するため、平行光として扱うことはできない。図１Ｄに示す例では、入射光は光感知セル１０の後方で結像し、図１Ｅに示す例では、入射光は光感知セル１０の前方で結像している。光学フィルタ１ａ、１ｂは、光軸上の配置（ｚ座標）が互いに異なるため、光学フィルタ１ａを透過し式１で表される透過率で変調された光パターンは、光学フィルタ１ｂ上では、入射光の集光状態に応じて異なるパターンとなる。光学フィルタ１ｂ上での光パターンの周波数をωとすると、図１Ｂに示す状態ではω＝ωｏであり、図１Ｄに示す状態ではω＞ωｏであり、図１Ｅに示す状態ではω＜ωｏとなる。
【００４５】
以上のことから、光感知セル１０によって光電変換される光による上記光パターンの交流成分は、以下の式３で表される値Ａｃに比例する。
【数３】
【数４】
【００４６】
式４において、第４項ｓｉｎ（ω−ωｏ）ｘは、光学フィルタ１ａ、１ｂ間を光が進む間に生じる光パターンの変化量を周波数で表しており、しかも奇関数である。このため、各光感知セル１０から出力される画素信号から、第４項に相当する周波数（ω−ωｏ）の成分を検出することにより、光がどの程度集束または発散しているのかを判別することができる。具体的な周波数解析は、例えば複数の光感知セル１０から出力される画素信号にωｏ以上の周波数成分を除去するローパスフィルタを用いて低域のｓｉｎ（ω−ωｏ）ｘの成分を取り出し、その符号および周波数を検出することによって行われる。検出した符号および周波数に基づいて、入射光の集光状態を判別し、被写体までの距離を推定することができる。なお、ω＜ω0の場合、式４におけるｓｉｎωｘの成分が残るが、ωよりもω−ω0の方が著しく小さいため、ローパスフィルタ後の信号の低周波成分だけを解析すればよい。また、ω０ではなく、例えばω０／２以上の周波数成分を除去するローパスフィルタを用いてもよい。
【００４７】
ここで、ｓｉｎ（ω−ωｏ）ｘの成分の値と、被写体までの距離との対応関係を示す情報（例えばデータベース）が、予め実験やシミュレーションなどによって求められ、メモリ３０などの記録媒体に記録されている。画像処理部７は、当該情報を参照して、画素信号から被写体の奥行を求めることができる。
【００４８】
ここで、周波数ωは、光学フィルタ１ａ、１ｂの光軸方向の距離ｄに依存する。本実施形態では、周波数ωがωｏに近い値となるように距離ｄが設定されている。また、上記の演算は、（ω−ωｏ）に近い低域の画像周波数帯域を有していない被写体の部分に対して有効であるため、本実施形態ではそのような被写体の部分を奥行き算出の対象とする。但し、上記の奥行き算出に使われる光の波長域である約６５０ｎｍ〜７００ｎｍは、赤〜赤外の波長域に該当するため、ＲＧＢのカラー撮像素子を利用すれば、被写体画像の空間周波数に関わらず奥行き情報を算出できる可能性がある。これは、赤（Ｒ）画素による画像と、緑（Ｇ）画素または青（Ｂ）画素による画像とから、上記光パターンの画像と被写体画像とを切り分けることができるからである。したがって、画像処理部７は、赤画素による画像から奥行き情報を推定し、緑画素および青画素による画像から通常画像を生成してもよい。
【００４９】
次に、解像度低下のない通常画像（可視光画像）を取得する処理を説明する。本実施形態では、撮像光学系に可視光透過フィルタ４が含まれているので、仮に光学フィルタ部１が装着されていないとすると、解像度低下のない可視光による通常画像を取得できる。ところが、実際には光学フィルタ部１が装着されているため、赤光〜赤外光に近い波長域において光の変調が生じる。その結果、光学フィルタ１ａ、１ｂによって変調された光のパターンが被写体画像に重畳される。そこで、本実施形態では、予め光学フィルタ部１が装着されていない場合の画像と光学フィルタ部１を装着した場合の画像とから、それらの画素信号の比率（以下、「光パターン除去比率」と呼ぶ）を求めておく。例えば、一定強度の白色光を用いて、光学フィルタ部１がない場合の画素信号Ｓ１と、光学フィルタ部１がある場合の画素信号Ｓ２との比Ｓ１／Ｓ２を、光パターン除去比率として、画素ごとに予めメモリ３０などに記録しておく。画像処理部７は、光パターン除去比率を用いて各光感知セル１０から取得した信号を変換することによって光学フィルタ１ａ、１ｂによる光の変調の影響を取り除く。例えば、上記のＳ１／Ｓ２を光パターン除去比率とする場合、撮像によって取得した各画素信号にＳ１／Ｓ２を乗ずることにより、画像信号を得る。このようにして、画像処理部７は、解像度低下のない通常画像を取得する。
【００５０】
以上のように、本実施形態によれば、光感知セル１０上に、透過率がｘ方向に周期的に変化し、周期性が互いに約π／２異なる２種類の光学フィルタ１ａ、１ｂが、ｙ方向に所定の距離ｄだけ離れて配置される。これにより、光学フィルタ１ａ、１ｂを透過した光のパターン（ｘ方向の強度分布）は、入射光の集光状態を反映して変調される。画素信号の空間周波数特性を解析することにより、入射光の集光状態が検出でき、被写体までの距離を推定することができる。また、光パターン除去比率を用いた演算により、解像度低下のない通常画像を取得することができる。
【００５１】
なお、本実施形態では、赤外光に近い約６５０ｎｍ〜７００ｎｍの波長域の光の一部を減衰させる光学フィルタ１ａ、１ｂを用いたが、それに限定するものではなく、他の波長域の光の一部を減衰させる光学フィルタを用いてもよい。例えば、約４００ｎｍ〜５００ｎｍの波長域の青光、約５００ｎｍ〜６００ｎｍの波長域の緑光、７００ｎｍを超える波長域の赤外光に対する透過率がｘ方向に周期的に異なっている光学フィルタを用いてもよい。ただし、光学フィルタによる光の変調は、回折の影響が小さい長波長の波長域、例えば下限が６５０ｎｍ以上の波長域の光に対して行うことが好ましい。波長が７００ｎｍを超える赤外光に対する透過率が周期的に変化している光学フィルタを用いる場合、可視光透過フィルタ４の代わりに、当該赤外光の波長域にまで透過特性を有する光学フィルタを設ける必要がある。
【００５２】
また、本実施形態における光学フィルタ１ａ、１ｂの透過特性は、ｓｉｎ関数およびｃｏｓ関数を用いて表されるが、周期関数であれば、その他の関数で表される透過特性の光学フィルタを用いても問題はない。任意の周期関数はフーリエ級数展開によって周波数の互いに異なる複数のｓｉｎ関数またはｃｏｓ関数の線型結合で表すことができるため、フーリエ成分に分解して処理することができればどのような透過特性の光学フィルタを用いてもよい。
【００５３】
さらに、光学フィルタ１ａ、１ｂは、ｘ方向に透過率が周期的に変化しているが、この周期変化の方向はｘ方向である必要はなく、任意の方向であってもよい。画像処理部７は、当該周期変化の方向に関わらず、当該方向の画素信号のパターンに基づいて奥行き情報を生成することができる。
【００５４】
また、光学フィルタ１ａ、１ｂは、図２に示すように、撮像素子２の画素配列の１行おきに対応して配置されていてもよいし、ｎ行（ｎは２以上の整数）おきに対応して配置されていてもよい。但し、この場合、奥行き推定に関して、垂直方向（ｙ方向）の精度が１／２または１／（ｎ＋１）に低下する。あるいは、画素配列の１列おき、またはｎ列おきに光学フィルタ１ａ、１ｂが配置されていてもよい。この場合、光学フィルタ１ａ、１ｂは、第１波長域の光に対する透過率がｙ方向に周期的に変化するように構成される。
【００５５】
また、図３に示すように、赤外光吸収部１ａｂ_１と透明部１ａｂ_２とが交互に配列した光学フィルタ１ａ、１ｂを用いてもよい。この例では、赤外光に近い波長域の光に対する透過率のｘ方向の分布がステップ関数で表される。すなわち、赤外光吸収部１ａｂ_１では、約６５０ｎｍ〜７００ｎｍ付近の波長域の光を、ｘ座標に関わらず一定の透過率で透過させ、透明部１ａｂ_２では、上記の波長域を含む可視光の大部分を透過させる。このような構成でも、２つの光学フィルタ１ａ、１ｂが、ｘ方向に互いに１／４周期ずれて配置されていれば、同様の原理によって奥行き情報を得ることができる。なお、個々の赤外光吸収部１ａｂ_１および透明部１ａｂ_２は、例えばｕ行ｖ列（ｕ、ｖは２以上の整数）を１ブロックとするｕ×ｖ個の光感知セル１０を覆うように設けられる。そのような構成において、ブロックごとに画素信号を処理することにより、個々のブロックに対応する被写体の部分の奥行きの情報を得ることができる。このようなブロックを単位として処理する構成は、図３に示す構成に限らず、図１Ｂや図２に示す光学フィルタ１ａ、１ｂを用いた構成においても適用できる。その場合、１つのブロックに対応する光学フィルタ１ａ、１ｂの部分の第１波長域の光に対する透過率は、少なくとも１つの方向に１周期以上変化していることが好ましい。これは、１ブロックに含まれるｕ×ｖ個の光感知セルによって検知される信号の周波数特性を検出するためには、１ブロック内で１周期以上の変化が生じることが好ましいからである。
【００５６】
なお、個々の赤外光吸収部１ａｂ_１および透明部１ａｂ_２の透過率は、ステップ関数で表される場合に限らず、第１波長域の光に対する透過率がその範囲内で位置によって異なっていてもよい。また、１ブロック内で第１波長域の光に対する透過率が位置によって異なっている構成においても、複数の光感知セルを含むブロックを基本構成として処理してもよい。
【００５７】
また、本実施形態では、撮像素子２の画素配列は正方格子状の配列であるが、この配列に限らず、例えば斜交型の配列であってもよい。斜光型の配列を用いる場合、光感知セル１０の配列の方向と光学フィルタ１ａ、１ｂにおける透過率の周期変化の方向とが交差することになる。その場合であっても、透過率の周期変化の方向と同じ方向に並んだ複数の光感知セルから出力される信号を処理することにより、奥行き情報を求めることができる。
【００５８】
（実施形態２）
次に、本発明の第２の実施形態による撮像装置を説明する。本実施形態では、実施形態１と比べて、光学フィルタ部１の構造のみが異なる。以下、実施形態１の撮像装置と異なる点を中心に説明し、重複する事項についての説明は省略する。
【００５９】
図４Ａは、本実施形態における光学フィルタ部１が配置された撮像素子２の撮像面の一部を示す平面図である。図４Ｂは、図４ＡにおけるＢ−Ｂ’線断面図であり、図４Ｃは、図４ＡにおけるＣ−Ｃ’線断面図である。本実施形態における光学フィルタ部１は、実施形態１における光学フィルタ部１と同様、光学フィルタ１ａ、１ｂを含んでいるが、光学フィルタ１ａの構造が異なっている。本実施形態では、光学フィルタ１ａと光学フィルタ１ｂとの距離が撮像素子２の画素配列の行ごとに異なっている。それらの距離は、奇数行ではｄであり、偶数行ではほぼ０である。すなわち、光学フィルタ１ａは、ｙ方向に凹凸が１画素間隔で繰り返す構造を有している。奇数行に対応する光学フィルタ１ａの部分のｚ座標は、実施形態１における光学フィルタ１ａのｚ座標と同じであるが、偶数行に対応する光学フィルタ１ａの部分は、光学フィルタ１ｂにほぼ密着している。
【００６０】
撮像素子２において、奇数行のｙ座標を２ｍ−１、偶数行のｙ座標を２ｍ（ｍは自然数）と表すと、座標（ｘ，２ｍ−１）および座標（ｘ，２ｍ）のそれぞれにおける第１波長域の光に対する透過率の空間変化を示す関数Ｔｏ、Ｔｅは、それぞれ以下の式５、式６で表される。また、これらの差分Ｔｏ−Ｔｅは、式７で表される。
【数５】
【数６】
【数７】
【００６１】
以上より、隣接する２行の画素信号の差分処理結果は式７で表されるＴ0−Ｔeに比例し、ωｏ以上の周波数成分を除去するローパスフィルタで高周波成分を除去すれば、ｓｉｎ（ω−ωｏ）ｘの成分を取り出すことができる。この処理により、実施形態１における処理と同様、入射光の集光状態を検出できるため、被写体までの距離も推定できる。なお、一般の被写体では、隣接する２行の画素信号はほぼ等しいので、隣接する２行の画素信号間の差分により、被写体の画像情報を取り除くことができる。その結果、実施形態１とは異なり、被写体の画像の空間周波数に関係なく奥行き情報を算出できる。なお、解像度低下のない通常画像を取得する処理は、実施形態１における処理と同じであるため、その説明は省略する。
【００６２】
以上のように、本実施形態によれば、撮像素子２の画素配列の１行おきに光学フィルタ１ａ、１ｂ間の距離が異なり、それらの距離はｄまたは０に設定される。さらに、信号処理として隣接する２行の画素信号の差分処理を行い、その低周波数帯域の成分を検出することにより、入射光の集光状態が特定でき、被写体までの距離を推定できる。
【００６３】
なお、本実施形態でも、赤外光に近い約６５０ｎｍ〜７００ｎｍの波長域の光の一部を減衰させる光学フィルタ１ａ、１ｂが用いられるが、他の波長域の光の一部を減衰させる光学フィルタを用いてもよい。また、光学フィルタ１ａ、１ｂの透過特性に関しても、ｓｉｎ関数、ｃｏｓ関数を用いて表される透過特性に限らず、周期関数で表されれば、どのような透過特性の光学フィルタを用いてもよい。さらに、本実施形態では、１行おきに光学フィルタ１ａ、１ｂ間の距離を変えたが、ｎ行おきに（ｎは２以上の整数）変えても問題ない。あるいは、特定の波長域の光に対する透過率がｙ方向に周期的に変化するように光学フィルタ１ａ、１ｂを配置した上で、１列おき、またはｎ列おきに光学フィルタ１ａ、１ｂ間の距離を変えてもよい。
【００６４】
（実施形態３）
次に、本発明の第３の実施形態を説明する。本実施形態の撮像装置は、光学フィルタ１ａを覆うように配置された遮光フィルタ１ｃをさらに備えている点で実施形態１の撮像装置と異なっている。以下、実施形態１と異なる点を中心に説明し、重複する事項についての説明は省略する。
【００６５】
図５Ａは、光学フィルタ１ａ、１ｂ、および遮光フィルタ１ｃが配置された撮像素子２の撮像面の一部を示す平面図である。図５Ｂは、図５ＡにおけるＡ−Ａ’線断面図である。図５Ａ、図５Ｂに示すように、遮光部１ｃ_１と透明部１ｃ_２とが交互に配列された遮光フィルタ１ｃが光学フィルタ１ａを覆うように配置されている。
【００６６】
遮光部１ｃ_１は、光の大部分を吸収または反射する部材で形成されている。一方、透明部１ｃ_１は、ガラスや空気などの透明部材で形成されている。このような遮光フィルタ１ｃを設けることにより、周囲からの不要な光の入射を防ぐことができるため、信号処理の精度が向上する。
【００６７】
本実施形態における画像信号の生成処理および奥行き情報生成処理は、実施形態１のものと同一であるため、詳細な説明は省略する。
【００６８】
なお、本実施形態では、個々の遮光部１ｃ_１および透明部１ｃ_２は、ともに正方形状であり、画素２５（＝５×５）個分のサイズを有しているが、これらの形状およびサイズはこのような例に限られない。透明部１ｃ_１のある方向のサイズが光学フィルタ１ａの上記第１波長域の光に対する透過率の１周期分のサイズよりも大きければどのような形状およびサイズであってもよい。
【００６９】
以上のように、本実施形態では、光学フィルタ１ａよりも被写体に近い側に、複数の遮光部１ｃ_１および複数の透明部１ｃ_２が交互に配列された遮光フィルタ１ｃが配置されている。被写体から入射する光は、まず透明部１ｃ_２を通過し、次いで光学フィルタ１ａ、１ｂを透過して複数の光感知セル１０に入射する。各透明部１ｃ_２を透過した光束が入射する光学フィルタ１ａの部分において、第１波長域の光に対する透過率がｘ方向に１周期以上変化しているため、実施形態１と同じ原理により、奥行き情報を得ることができる。本実施形態では、周囲からの不要光が遮光部１ｃ_１によって遮断されるため、実施形態１の構成と比較して信号処理の精度が向上するという顕著な効果がある。
【００７０】
本実施形態においては、上記の構成と同様の遮光効果が得られれば、図５Ｂに示す構成とは異なる構成を採用してもよい。例えば、図５Ｃに示す構成を採用してもよい。図５Ｃに示す構成では、光学フィルタ１ａの一部が遮光部材から形成された遮光部１ａ_１であり、それ以外の部分は実施形態１の光学フィルタ１ａと同様の部材によって形成された透光部１ａ_２である。遮光部１ａ_１および透光部１ａ_２の位置は、それぞれ図５Ｂにおける遮光部１ｃ_１および透明部１ｃ_２の位置に対応しており、それらのｚ座標のみが異なっている。このような構成であっても、図５Ｂに示す構成と同様の効果を得ることができる。
【００７１】
なお、以上の実施形態では、光学フィルタ１ｂは、撮像素子２の撮像面に近接しているが、光学フィルタ１ｂは、撮像面から離れていてもよい。光学フィルタ１ｂが撮像面から所定距離だけ離れていても、その距離を考慮して信号処理を補正することにより、同様の原理で奥行き情報を得ることができる。
【００７２】
以上の実施形態では、撮像装置に内蔵された画像処理部７が画像処理を行うものとしたが、撮像装置とは独立した他の装置に当該画像処理を実行させてもよい。例えば、上記の各実施形態における撮像部１００を有する撮像装置によって取得した信号を、他の装置（画像処理装置）に入力し、上記の信号演算処理を規定するプログラムを当該画像処理装置に内蔵されたコンピュータに実行させることによっても同様の効果を得ることができる。外部の画像処理装置に画像処理を実行させる場合、撮像装置は画像処理部を備えていなくてもよい。本明細書では、このような、自身は奥行き情報を生成しないが、奥行き情報を生成するための信号を出力する撮像装置も、「奥行き推定撮像装置」と呼ぶ。
【産業上の利用可能性】
【００７３】
本発明にかかる奥行き推定撮像装置は、撮像素子を用いたすべてのカメラに有効である。例えば、デジタルカメラやデジタルビデオカメラ等の民生用カメラや、産業用の固体監視カメラに利用できる。
【符号の説明】
【００７４】
１ 光学フィルタ部
１ａ、１ｂ 光学フィルタ
１ａ_１ 遮光部
１ａ_２ 透光部
１ａｂ_１ 赤外光吸収部
１ａｂ_２ 透明部
１ｃ 遮光フィルタ
１ｃ_１遮光部
１ｃ_２透光部
２ 固体撮像素子
３ レンズ
４ 可視光透過フィルタ
５ 信号発生／受信部
６ 素子駆動部
７ 画像処理部
８ インターフェース部
１０ 光感知セル
３０ メモリ
１００ 撮像部
２００ 信号処理部
【特許請求の範囲】
【請求項１】
複数の光感知セルが撮像面に行列状に配列された撮像素子と、
前記撮像面に像を形成するように配置された光学レンズと、
前記光学レンズおよび前記撮像素子の間に配置された、特定の波長域の光に対する透過率が前記撮像面に平行な第１の方向に周期的に変化している第１の光学フィルタと、
前記第１の光学フィルタと前記撮像素子との間に配置された、前記特定の波長域の光に対する透過率が前記第１の方向に周期的に変化し、かつ前記透過率の周期変化が前記第１の光学フィルタにおける前記特定の波長域の光に対する透過率の周期変化と比べて１／４周期ずれている第２の光学フィルタと、
前記複数の光感知セルから出力される画素信号を処理する信号処理部と、
を備える奥行き推定撮像装置。
【請求項２】
前記信号処理部は、前記複数の光感知セルから出力される画素信号の空間周波数特性に基づいて、被写体の奥行きを示す情報を生成する、請求項１に記載の奥行き推定撮像装置。
【請求項３】
前記複数の光感知セルから出力される前記画素信号の前記空間周波数特性と前記被写体の奥行きとの対応関係を規定する情報が記録されたメモリをさらに備え、
前記信号処理部は、前記対応関係を規定する情報を参照することによって前記奥行きを示す情報を生成する、請求項２に記載の奥行き推定撮像装置。
【請求項４】
前記複数の光感知セルの配列のうち、特定の行または列に対応する位置における前記第１の光学フィルタと前記第２の光学フィルタとの距離は、前記特定の行または列に隣接する行または列に対応する位置における前記第１の光学フィルタと前記第２の光学フィルタとの距離と異なっている、請求項１から３のいずれかに記載の奥行き推定撮像装置。
【請求項５】
前記第１の光学フィルタおよび前記第２の光学フィルタは、前記複数の光感知セルの配列のｎ行（ｎは１以上の整数）ごとまたはｎ列ごとに対応する位置に配置されている、請求項１から３のいずれかに記載の奥行き推定撮像装置。
【請求項６】
前記第１の光学フィルタおよび前記第２の光学フィルタの前記特定の波長域の光に対する透過率の前記第１の方向についての空間変化は、三角関数または矩形関数で表される、請求項１から５のいずれかに記載の奥行き推定撮像装置。
【請求項７】
ａおよびｂを、ａ＋ｂ＜１、ｂ−ａ＞０を満たす正の実数とし、ω0を正の実数とするとき、
前記第１の光学フィルタの前記特定の波長域の光に対する透過率の前記第１の方向についての空間変化を表す関数は、近似的にａｓｉｎω0ｘ＋ｂで表され、
前記第２の光学フィルタの前記特定の波長域の光に対する透過率の前記第１の方向についての空間変化を表す関数は、近似的にａｃｏｓω0ｘ＋ｂで表される、
請求項６に記載の奥行き推定撮像装置。
【請求項８】
前記複数の光感知セルを、各々がｕ行ｖ列（ｕ，ｖは２以上の整数）に配列されたｕ×ｖ個の光感知セルを含む複数のブロックに分けるとき、
前記第１の光学フィルタおよび前記第２の光学フィルタは、各ブロックを覆うように配置され、各ブロック上で透過率が前記第１の方向に１周期以上変化している、
請求項１から７のいずれかに記載の奥行き推定撮像装置。
【請求項９】
各ブロックにおいて、前記第１の光学フィルタおよび前記第２の光学フィルタの前記特定の波長域の光に対する透過率の前記第１の方向についての空間変化は、複数の異なる周期をもつ周期関数の線型結合で表される、請求項１から８のいずれかに記載の奥行き推定撮像装置。
【請求項１０】
前記特定の波長域の下限は、６５０ｎｍよりも長い、請求項１から９のいずれかに記載の奥行き推定撮像装置。
【請求項１１】
前記第１の光学フィルタよりも被写体に近い側に配置された、可視光のみを透過させる第３の光学フィルタをさらに備え、
前記特定の波長域は、可視光の波長域に含まれている、
請求項１から１０のいずれかに記載の奥行き推定撮像装置。
【請求項１２】
前記信号処理部は、前記第１および第２の光学フィルタが設けられていないと仮定した場合に各光感知セルから出力される画素信号と、前記第１および第２の光学フィルタが設けられている場合に各光感知セルから出力される画素信号との比を示す情報に基づいて、前記複数の光感知セルから出力される画素信号を補正することにより、可視光画像を生成する、請求項１から１１のいずれかに記載の奥行き推定撮像装置。
【請求項１３】
前記第１の光学フィルタよりも被写体に近い側に配置された、複数の遮光部および複数の透明部が交互に配列された第４の光学フィルタをさらに備え、
各透明部を透過した光束が入射する前記第１の光学フィルタの部分において、前記特定の波長域の光に対する透過率が前記第１の方向について１周期以上変化している、
請求項１から１２のいずれかに記載の奥行き推定撮像装置。
【請求項１】
複数の光感知セルが撮像面に行列状に配列された撮像素子と、
前記撮像面に像を形成するように配置された光学レンズと、
前記光学レンズおよび前記撮像素子の間に配置された、特定の波長域の光に対する透過率が前記撮像面に平行な第１の方向に周期的に変化している第１の光学フィルタと、
前記第１の光学フィルタと前記撮像素子との間に配置された、前記特定の波長域の光に対する透過率が前記第１の方向に周期的に変化し、かつ前記透過率の周期変化が前記第１の光学フィルタにおける前記特定の波長域の光に対する透過率の周期変化と比べて１／４周期ずれている第２の光学フィルタと、
前記複数の光感知セルから出力される画素信号を処理する信号処理部と、
を備える奥行き推定撮像装置。
【請求項２】
前記信号処理部は、前記複数の光感知セルから出力される画素信号の空間周波数特性に基づいて、被写体の奥行きを示す情報を生成する、請求項１に記載の奥行き推定撮像装置。
【請求項３】
前記複数の光感知セルから出力される前記画素信号の前記空間周波数特性と前記被写体の奥行きとの対応関係を規定する情報が記録されたメモリをさらに備え、
前記信号処理部は、前記対応関係を規定する情報を参照することによって前記奥行きを示す情報を生成する、請求項２に記載の奥行き推定撮像装置。
【請求項４】
前記複数の光感知セルの配列のうち、特定の行または列に対応する位置における前記第１の光学フィルタと前記第２の光学フィルタとの距離は、前記特定の行または列に隣接する行または列に対応する位置における前記第１の光学フィルタと前記第２の光学フィルタとの距離と異なっている、請求項１から３のいずれかに記載の奥行き推定撮像装置。
【請求項５】
前記第１の光学フィルタおよび前記第２の光学フィルタは、前記複数の光感知セルの配列のｎ行（ｎは１以上の整数）ごとまたはｎ列ごとに対応する位置に配置されている、請求項１から３のいずれかに記載の奥行き推定撮像装置。
【請求項６】
前記第１の光学フィルタおよび前記第２の光学フィルタの前記特定の波長域の光に対する透過率の前記第１の方向についての空間変化は、三角関数または矩形関数で表される、請求項１から５のいずれかに記載の奥行き推定撮像装置。
【請求項７】
ａおよびｂを、ａ＋ｂ＜１、ｂ−ａ＞０を満たす正の実数とし、ω0を正の実数とするとき、
前記第１の光学フィルタの前記特定の波長域の光に対する透過率の前記第１の方向についての空間変化を表す関数は、近似的にａｓｉｎω0ｘ＋ｂで表され、
前記第２の光学フィルタの前記特定の波長域の光に対する透過率の前記第１の方向についての空間変化を表す関数は、近似的にａｃｏｓω0ｘ＋ｂで表される、
請求項６に記載の奥行き推定撮像装置。
【請求項８】
前記複数の光感知セルを、各々がｕ行ｖ列（ｕ，ｖは２以上の整数）に配列されたｕ×ｖ個の光感知セルを含む複数のブロックに分けるとき、
前記第１の光学フィルタおよび前記第２の光学フィルタは、各ブロックを覆うように配置され、各ブロック上で透過率が前記第１の方向に１周期以上変化している、
請求項１から７のいずれかに記載の奥行き推定撮像装置。
【請求項９】
各ブロックにおいて、前記第１の光学フィルタおよび前記第２の光学フィルタの前記特定の波長域の光に対する透過率の前記第１の方向についての空間変化は、複数の異なる周期をもつ周期関数の線型結合で表される、請求項１から８のいずれかに記載の奥行き推定撮像装置。
【請求項１０】
前記特定の波長域の下限は、６５０ｎｍよりも長い、請求項１から９のいずれかに記載の奥行き推定撮像装置。
【請求項１１】
前記第１の光学フィルタよりも被写体に近い側に配置された、可視光のみを透過させる第３の光学フィルタをさらに備え、
前記特定の波長域は、可視光の波長域に含まれている、
請求項１から１０のいずれかに記載の奥行き推定撮像装置。
【請求項１２】
前記信号処理部は、前記第１および第２の光学フィルタが設けられていないと仮定した場合に各光感知セルから出力される画素信号と、前記第１および第２の光学フィルタが設けられている場合に各光感知セルから出力される画素信号との比を示す情報に基づいて、前記複数の光感知セルから出力される画素信号を補正することにより、可視光画像を生成する、請求項１から１１のいずれかに記載の奥行き推定撮像装置。
【請求項１３】
前記第１の光学フィルタよりも被写体に近い側に配置された、複数の遮光部および複数の透明部が交互に配列された第４の光学フィルタをさらに備え、
各透明部を透過した光束が入射する前記第１の光学フィルタの部分において、前記特定の波長域の光に対する透過率が前記第１の方向について１周期以上変化している、
請求項１から１２のいずれかに記載の奥行き推定撮像装置。
【図１Ｃ】
【図６】
【図７】
【図１Ａ】
【図１Ｂ】
【図１Ｄ】
【図１Ｅ】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図６】
【図７】
【図１Ａ】
【図１Ｂ】
【図１Ｄ】
【図１Ｅ】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【公開番号】特開２０１３−１０６２１７（Ｐ２０１３−１０６２１７Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１１−２４９２６０（Ｐ２０１１−２４９２６０）
【出願日】平成２３年１１月１５日（２０１１．１１．１５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２３年１１月１５日（２０１１．１１．１５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]