画像処理方法および画像処理プログラム
【課題】複数の視差を生じさせる画像を取得するには、その数に応じた複雑な撮影光学系を用意しなければならなかった。
【解決手段】二次元的に配された複数の光電変換素子に対して、複数の視差に対応した複数種類の開口マスクを一対一に対応させて設けた撮像素子により撮像された複数の第１視差画像を取得する第１視差画像取得段階と、複数の光電変換素子全体に対して設けられた絞りにより、第１視差画像取得段よりも入射光の光軸に対する周縁の光束を遮光して、撮像素子により撮像された複数の第２視差画像を取得する第２視差画像取得段階と、複数の視差のそれぞれについて、第１視差画像と第２視差画像と、の差分に基づいて、複数種類の開口マスクに対応した複数の視差とは異なる新たな視差に対応した第３視差画像を生成する視差画像生成段階とを備える画像処理方法が提供される。
【解決手段】二次元的に配された複数の光電変換素子に対して、複数の視差に対応した複数種類の開口マスクを一対一に対応させて設けた撮像素子により撮像された複数の第１視差画像を取得する第１視差画像取得段階と、複数の光電変換素子全体に対して設けられた絞りにより、第１視差画像取得段よりも入射光の光軸に対する周縁の光束を遮光して、撮像素子により撮像された複数の第２視差画像を取得する第２視差画像取得段階と、複数の視差のそれぞれについて、第１視差画像と第２視差画像と、の差分に基づいて、複数種類の開口マスクに対応した複数の視差とは異なる新たな視差に対応した第３視差画像を生成する視差画像生成段階とを備える画像処理方法が提供される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
２つの撮影光学系を用いて、右目用の画像と左目用の画像とから成るステレオ画像を撮像するステレオ撮像装置が知られている。このようなステレオ撮像装置は、２つの撮像光学系を一定の間隔で配置することにより、同一の被写体を撮像して得られる２つの画像に視差を生じさせる。
［先行技術文献］
［特許文献］
［特許文献１］ 特開平８−４７００１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、複数の視差を生じさせる画像を取得するには、その数に応じた複雑な撮影光学系を用意しなければならなかった。
【課題を解決するための手段】
【０００４】
本発明の第１の態様における画像処理方法は、二次元的に配された複数の光電変換素子に対して、複数の視差に対応した複数種類の開口マスクを一対一に対応させて設けた撮像素子により撮像された複数の第１視差画像を取得する第１視差画像取得段階と、複数の光電変換素子全体に対して設けられた絞りにより、第１視差画像取得段よりも入射光の光軸に対する周縁の光束を遮光して、撮像素子により撮像された複数の第２視差画像を取得する第２視差画像取得段階と、複数の視差のそれぞれについて、第１視差画像と第２視差画像と、の差分に基づいて、複数種類の開口マスクに対応した複数の視差とは異なる新たな視差に対応した第３視差画像を生成する視差画像生成段階とを備える。
【０００５】
本発明の第２の態様における画像処理方法は、二次元的に配された複数の光電変換素子に対して、複数の視差に対応した複数種類の開口マスクを一対一に対応させて設けた撮像素子により撮像された複数の第１視差画像を取得する第１視差画像取得段階と、複数の光電変換素子全体に対して設けられた絞りにより、第１視差画像取得段よりも入射光の光軸に対する周縁の光束を遮光して、撮像素子により撮像された複数の第２視差画像を取得する第２視差画像取得段階と、第１視差画像と第２視差画像とを互いに、異なる視差に対応付けて、視差画像群を生成する画像群生成段階とを備える。
【０００６】
本発明の第３の態様における画像処理プログラムは、二次元的に配された複数の光電変換素子に対して、複数の視差に対応した複数種類の開口マスクを一対一に対応させて設けた撮像素子により撮像された複数の第１視差画像を取得する第１視差画像取得ステップと、複数の光電変換素子全体に対して設けられた絞りにより、第１視差画像取得段よりも入射光の光軸に対する周縁の光束を遮光して、撮像素子により撮像された複数の第２視差画像を取得する第２視差画像取得ステップと、複数の視差のそれぞれについて、第１視差画像と第２視差画像と、の差分に基づいて、複数種類の開口マスクに対応した複数の視差とは異なる新たな視差に対応した第３視差画像を生成する視差画像生成ステップとをコンピュータに実行させる。
【０００７】
本発明の第４の態様における画像処理プログラムは、二次元的に配された複数の光電変換素子に対して、複数の視差に対応した複数種類の開口マスクを一対一に対応させて設けた撮像素子により撮像された複数の第１視差画像を取得する第１視差画像取得ステップと、複数の光電変換素子全体に対して設けられた絞りにより、第１視差画像取得段よりも入射光の光軸に対する周縁の光束を遮光して、撮像素子により撮像された複数の第２視差画像を取得する第２視差画像取得ステップと、第１視差画像と第２視差画像とを互いに、異なる視差に対応付けて、視差画像群を生成する画像群生成ステップとをコンピュータにより実行させる。
【０００８】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係るデジタルカメラの構成を説明する図である。
【図２】本発明の実施形態に係る撮像素子の断面を表す概略図である。
【図３】第１の実施形態に係る撮像素子の一部を拡大した様子を表す概略図である。
【図４】視差画素と被写体の関係を説明する概念図である。
【図５】本実施形態に係る絞りと合成開口の関係を説明する概略図である。
【図６】本実施形態に係る絞りと合成開口の関係を説明する概略図である。
【図７】本実施形態に係る絞りと合成開口の関係を説明する概略図である。
【図８】本実施形態に係る絞りと合成開口の関係を説明する概略図である。
【図９】差分に基づいて形成される新たな視差画像に対応する合成開口の例である。
【図１０】視差画像を生成する処理を説明する概念図である。
【図１１】ベイヤー配列を説明する図である。
【図１２】ベイヤー配列に対する視差画素の割り振りについて、バリエーションの一例を示す図である。
【図１３】第２の実施形態に係る開口マスクの形状を説明する図である。
【図１４】本実施形態に係る絞りと合成開口の関係を説明する概略図である。
【図１５】本実施形態に係る絞りと合成開口の関係を説明する概略図である。
【図１６】本実施形態に係る絞りと合成開口の関係を説明する概略図である。
【図１７】本実施形態に係る絞りと合成開口の関係を説明する概略図である。
【図１８】差分に基づいて形成される新たな視差画像に対応する合成開口の例である。
【図１９】第３の実施形態に係る開口マスクの形状を説明する図である。
【図２０】本実施形態に係る絞りと合成開口の関係を説明する概略図である。
【図２１】本実施形態に係る絞りと合成開口の関係を説明する概略図である。
【図２２】本実施形態に係る絞りと合成開口の関係を説明する概略図である。
【図２３】本実施形態に係る絞りと合成開口の関係を説明する概略図である。
【図２４】差分に基づいて形成される新たな視差画像に対応する合成開口の例である。
【図２５】第４の実施形態に係る視差画素をカラー化する方法を示す図である。
【図２６】図２５で得られたカラー視差画像から視差の異なるカラー視差画像を得る方法を示す概念図であるである。
【図２７】第１視差画像の取得からの視差画像の生成までの処理フローを示す図である。
【図２８】第１視差画像の取得からの視差画像群の生成までの処理フローを示す図である。
【発明を実施するための形態】
【００１０】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１１】
撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて複数の視点数の画像を一度の撮影により生成する。さらに、本実施形態に係るデジタルカメラは、同一の撮影位置から絞り値を変えて撮影することで、同一のシーンについて撮影時に生成した上記複数の視点とは別の視点に対応する画像を生成する。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。
【００１２】
図１は、本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、絞り４０、撮像素子１００、駆動部２０４、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９、ＬＣＤ駆動回路２１０およびＡＦセンサ２１１を備える。
【００１３】
なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向をｚ軸プラス方向と定め、ｚ軸と直交する平面において紙面手前へ向かう方向をｘ軸プラス方向、紙面上方向をｙ軸プラス方向と定める。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
【００１４】
撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。
【００１５】
絞り４０は、撮影レンズ２０と共に光軸２１に沿って配置される。図１で絞り４０は光軸２１に沿って撮影レンズ２０よりも撮像素子１００側に配置されているが、撮影レンズ２０が複数のレンズ群を有する場合には、光軸２１に沿って当該光学レンズ群のいずれか間に配置される。絞り４０の一例は、複数の絞り羽根を有する虹彩絞りである。絞り４０が虹彩絞りの場合には、制御部２０１の制御により、複数の絞り羽根が電磁駆動されて、被写体光束の通過光量を段階的に制限する。絞り４０は、撮像素子１００の全体に対して１つ設けられる。
【００１６】
撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。
【００１７】
Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。画像処理部２０５は、異なる絞り値によって撮影された複数の視差画像データから新たな視差画像データを生成する。
【００１８】
画像処理部２０５は、他にも、撮像素子１００の画素配列に即して、入力される画像信号から非視差画像データとしての２Ｄ画像データおよび視差画像データを生成したり、選択された画像フォーマットに従って画像データを調整する機能も担う。生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。
【００１９】
ＡＦセンサ２１１は、被写体空間に対して複数の測距点が設定された位相差センサであり、それぞれの測距点において被写体像のデフォーカス量を検出する。一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、制御部２０１に制御されて実行される。例えば、制御部２０１は、ＡＦセンサ２１１の検出信号を解析して、撮影レンズ２０の一部を構成するフォーカスレンズを移動させる合焦制御を実行する。
【００２０】
次に、撮像素子１００の構成について詳細に説明する。図２は、本発明の実施形態に係る撮像素子の断面を表す概略図である。図２（ａ）は、カラーフィルタ１０２と開口マスク１０３が別体で構成される撮像素子１００の断面概略図である。また、図２（ｂ）は、撮像素子１００の変形例として、カラーフィルタ部１２２と開口マスク部１２３が一体的に構成されたスクリーンフィルタ１２１を備える撮像素子１２０の断面外略図である。
【００２１】
図２（ａ）に示すように、撮像素子１００は、被写体側から順に、マイクロレンズ１０１、カラーフィルタ１０２、開口マスク１０３、配線層１０５および光電変換素子１０８が配列されて構成されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８は、基板１０９の表面に二次元的に複数配列されている。
【００２２】
光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。また、各光電変換素子１０８に一対一に対応して設けられた開口部１０４を有する開口マスク１０３が、配線層に接して設けられている。開口部１０４は、後述するように、対応する光電変換素子１０８ごとにシフトさせて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部１０４を備える開口マスク１０３の作用により、光電変換素子１０８が受光する被写体光束に視差が生じる。
【００２３】
一方、視差を生じさせない光電変換素子１０８上には、開口マスク１０３が存在しない。別言すれば、対応する光電変換素子１０８に対して入射する被写体光束を制限しない、つまり有効光束の全体を通過させる開口部１０４を有する開口マスク１０３が設けられているとも言える。視差を生じさせることはないが、実質的には配線１０６によって形成される開口１０７が入射する被写体光束を規定するので、配線１０６を、視差を生じさせない有効光束の全体を通過させる開口マスクと捉えることもできる。開口マスク１０３は、各光電変換素子１０８に対応して別個独立に配列しても良いし、カラーフィルタ１０２の製造プロセスと同様に複数の光電変換素子１０８に対して一括して形成しても良い。
【００２４】
カラーフィルタ１０２は、開口マスク１０３上に設けられている。カラーフィルタ１０２は、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも２種類のカラーフィルタが配列されれば良いが、より高画質のカラー画像を取得するには３種類以上のカラーフィルタを配列すると良い。例えば赤色波長帯を透過させる赤フィルタ、緑色波長帯を透過させる緑フィルタ、および青色波長帯を透過させる青フィルタを格子状に配列すると良い。具体的な配列については後述する。
【００２５】
マイクロレンズ１０１は、カラーフィルタ１０２上に設けられている。マイクロレンズ１０１は、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズである。マイクロレンズ１０１は、光電変換素子１０８のそれぞれに一対一に対応して設けられている。マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク１０３の開口部１０４の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されても良い。
【００２６】
このように、各々の光電変換素子１０８に対応して一対一に設けられる開口マスク１０３、カラーフィルタ１０２およびマイクロレンズ１０１の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク１０３が設けられた画素を視差画素、視差を生じさせる開口マスク１０３が設けられていない画素を視差なし画素と呼ぶ。例えば、撮像素子１００の有効画素領域が２４ｍｍ×１６ｍｍ程度の場合、画素数は１２００万程度に及ぶ。
【００２７】
なお、集光効率、光電変換効率が良いイメージセンサの場合は、マイクロレンズ１０１を設けなくても良い。また、裏面照射型イメージセンサの場合は、配線層１０５が光電変換素子１０８とは反対側に設けられる。
【００２８】
カラーフィルタ１０２と開口マスク１０３の組み合わせには、さまざまなバリエーションが存在する。図２（ａ）において、開口マスク１０３の開口部１０４に色成分を持たせれば、カラーフィルタ１０２と開口マスク１０３を一体的に形成することができる。また、特定の画素を被写体の輝度情報を取得する画素として特化させる場合、その画素には、対応するカラーフィルタ１０２を設けなくても良い。あるいは、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタを配列しても良い。
【００２９】
輝度情報を取得する画素を視差画素とする場合、つまり、視差画像をモノクロ画像として出力するのであれば、図２（ｂ）として示す撮像素子１２０の構成を採用し得る。すなわち、カラーフィルタとして機能するカラーフィルタ部１２２と、開口部１０４を有する開口マスク部１２３とが一体的に構成されたスクリーンフィルタ１２１を、マイクロレンズ１０１と配線層１０５の間に配設することができる。
【００３０】
スクリーンフィルタ１２１は、カラーフィルタ部１２２において例えば青緑赤の着色が施され、開口マスク部１２３において開口部１０４以外のマスク部分が黒の着色が施されて形成される。スクリーンフィルタ１２１を採用する撮像素子１２０は、撮像素子１００に比較して、マイクロレンズ１０１から光電変換素子１０８までの距離が短いので、被写体光束の集光効率が高い。
【００３１】
次に、開口マスク１０３の開口部１０４と、生じる視差の関係について説明する。図３は、第１の実施形態に係る撮像素子１００の一部を拡大した様子を表す概略図である。ここでは、説明を簡単にすべく、カラーフィルタ１０２の配色については後に言及するまで考慮しない。カラーフィルタ１０２の配色に言及しない以下の説明においては、同色のカラーフィルタ１０２を有する視差画素のみを寄せ集めたイメージセンサであると捉えることができる。したがって、以下に説明する繰り返しパターンは、同色のカラーフィルタ１０２における隣接画素として考えても良い。
【００３２】
図３に示すように、開口マスク１０３は２種類あって、一方は開口部１０４ｌを有し、他方は開口部１０４ｒを有する。開口部１０４ｌ、１０４ｒはいずれも長方形である。開口部１０４ｌおよび１０４ｒは、それぞれの画素に対して相対的にシフトして設けられている。そして、隣接する画素同士においても、それぞれの開口部１０４ｌおよび１０４ｒは互いに変位した位置に設けられている。
【００３３】
図３の例において、開口部１０４ｌは−ｘ方向にシフトしており、開口部１０４ｒはｘ方向にシフトしている。撮像素子１００の全体は、開口部１０４ｌを有する開口マスク１０３と開口部１０４ｒを有する開口マスク１０３とを有する２つの視差画素を一組とする光電変換素子群が、二次元的かつ周期的に配列されている。つまり、撮像素子１００は、上記光電変換素子群を含む繰り返しパターン１１０が、周期的に敷き詰められている。ここで、ｘ方向は、例えば、デジタルカメラ１０を横位置で撮像する場合における左右方向である。
【００３４】
図４は、視差画素と被写体の関係を説明する概念図である。特に図４（ａ）は撮像素子１００のうち光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔの光電変換素子群を示し、図４（ｂ）は周辺部分に配列されている繰り返しパターン１１０ｕの光電変換素子群を模式的に示している。図４（ａ）、（ｂ）における被写体３０は、撮影レンズ２０に対して合焦位置に存在する。図４（ｃ）は、図４（ａ）に対応して、撮影レンズ２０に対して非合焦位置に存在する被写体３０を捉えた場合の関係を模式的に示している。
【００３５】
まず、撮影レンズ２０が合焦状態に存在する被写体３０を捉えている場合の、視差画素と被写体の関係を説明する。被写体光束は、撮影レンズ２０の瞳を通過して撮像素子１００へ導かれるが、被写体光束が通過する全体の断面領域に対して、２つの部分領域ＰｌおよびＰｒが規定されている。そして、例えば繰り返しパターン１１０ｔ、１１０ｕを構成する光電変換素子群の紙面左側の画素は、拡大図からもわかるように、部分領域Ｐｒから射出された被写体光束のみが光電変換素子１０８へ到達するように、開口マスク１０３の開口部１０４ｒの位置が定められている。同様に、右側の画素に向かって、部分領域Ｐｌに対応して開口部１０４ｌの位置が定められている。
【００３６】
別言すれば、例えば部分領域Ｐｒと左側画素の相対的な位置関係によって定義される、部分領域Ｐｒから射出される被写体光束の主光線Ｒｒの傾きにより、開口部１０４ｒの位置が定められていると言っても良い。そして、合焦位置に存在する被写体３０からの被写体光束を、開口部１０４ｒを介して光電変換素子１０８が受光する場合、その被写体光束は、点線で図示するように、光電変換素子１０８上で結像する。同様に、右側の画素に向かって、主光線Ｒｌの傾きにより開口部１０４ｌの位置が、定められていると言える。
【００３７】
図４（ａ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１と交差する被写体３０上の微小領域Ｏｔから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素は、それぞれ２つの部分領域ＰｒおよびＰｌを介して、一つの微小領域Ｏｔから放射される光束を受光している。微小領域Ｏｔは、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。同様に、図４（ｂ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１から離間した被写体３０上の微小領域Ｏｕから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素は、それぞれ２つの部分領域ＰｒおよびＰｌを介して、一つの微小領域Ｏｕから放射される光束を受光している。微小領域Ｏｕも、微小領域Ｏｔと同様に、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。
【００３８】
つまり、被写体３０が合焦位置に存在する限りは、撮像素子１００上における繰り返しパターン１１０の位置に応じて、光電変換素子群が捉える微小領域が異なり、かつ、光電変換素子群を構成する各画素は互いに異なる部分領域を介して同一の微小領域を捉えている。そして、それぞれの繰り返しパターン１１０において、対応する画素同士は同じ部分領域からの被写体光束を受光している。つまり、図においては、例えば繰り返しパターン１１０ｔ、１１０ｕのそれぞれの左側の画素は、同じ部分領域Ｐｒからの被写体光束を受光している。
【００３９】
光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔにおいて左側画素が部分領域Ｐｒからの被写体光束を受光する開口部１０４ｒの位置と、周辺部分に配列されている繰り返しパターン１１０ｕにおいて左側画素が部分領域Ｐｒからの被写体光束を受光する開口部１０４ｒの位置は厳密には異なる。しかしながら、機能的な観点からは、部分領域Ｐｒからの被写体光束を受光するための開口マスクという点で、これらを同一種類の開口マスクとして扱うことができる。したがって、図４の例では、撮像素子１００上に配列される視差画素のそれぞれは、２つの視差に対応する２種類の開口マスクの一つを備えると言える。
【００４０】
次に、撮影レンズ２０が非合焦状態に存在する被写体３０を捉えている場合の、視差画素と被写体の関係を説明する。この場合も、非合焦位置に存在する被写体３０からの被写体光束は、撮影レンズ２０の瞳の２つの部分領域ＰｒおよびＰｌを通過して、撮像素子１００へ到達する。ただし、非合焦位置に存在する被写体３０からの被写体光束は、光電変換素子１０８上ではなく他の位置で結像する。例えば、図４（ｃ）に示すように、被写体３０が被写体３０よりも撮像素子１００に対して遠い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３０側で結像する。逆に、被写体が図４（ａ）および（ｂ）の被写体３０よりも撮像素子１００に対して近い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３０とは反対側で結像する。
【００４１】
したがって、非合焦位置に存在する被写体３０のうち、微小領域Ｏｔ'から放射される被写体光束は、２つの部分領域ＰｒおよびＰｌのいずれを通過するかにより、異なる組の繰り返しパターン１１０における対応画素に到達する。例えば、部分領域Ｐｌを通過した被写体光束は、図４（ｃ）の拡大図に示すように、主光線Ｒｌ'として、繰り返しパターン１１０ｔ'に含まれる、開口部１０４ｌを有する光電変換素子１０８へ入射する。そして、微小領域Ｏｔ'から放射された被写体光束であっても、他の部分領域を通過した被写体光束は、繰り返しパターン１１０ｔ'に含まれる光電変換素子１０８へは入射せず、他の繰り返しパターンにおける対応する開口部を有する光電変換素子１０８へ入射する。換言すると、繰り返しパターン１１０ｔ'を構成する各光電変換素子１０８へ到達する被写体光束は、被写体３０の互いに異なる微小領域から放射された被写体光束である。すなわち、左側の開口部１０４ｌに対応する光電変換素子１０８へは主光線をＲｌ'とする被写体光束が入射し、右側の開口部１０４ｒに対応する光電変換素子１０８へは主光線をＲｒ＋とする被写体光束が入射するが、この被写体光束は、被写体３０のＯｔ'とは異なる微小領域から放射された被写体光束である。このような関係は、図４（ｂ）における周辺部分に配列されている繰り返しパターン１１０ｕにおいても同様である。
【００４２】
すると、撮像素子１００の全体で見た場合、例えば、開口部１０４ｌに対応する光電変換素子１０８で被写体３０を捉えた左視差画像と、開口部１０４ｒに対応する光電変換素子１０８で被写体３０を捉えた右視差画像は、合焦位置に存在する被写体に対する画像であれば互いにずれが無く、非合焦位置に存在する被写体に対する画像であればずれが生じることになる。そして、そのずれは、非合焦位置に存在する被写体が合焦位置に対してどちら側にどれだけずれているかにより、また、部分領域Ｐｒと部分領域Ｐｌの距離により、方向と量が定まる。つまり、左視差画像と右視差画像は、互いに視差像となる。
【００４３】
したがって、このように構成されたそれぞれの繰り返しパターン１１０において、互いに対応する画素の出力を寄せ集めると、複数の視差画像が得られる。つまり、２つの部分領域ＰｌおよびＰｒうちの特定の部分領域から射出された被写体光束を受光した画素の出力は、２つの視差画像を形成する。
【００４４】
なお、２種類の開口マスクを用いて２つの視差画像を得ることを説明したが、開口マスクを３種類以上設けることもできる。この場合、開口マスクの種類の数に応じて、３以上の視差画像を得ることができる。
【００４５】
図５（ａ）から図５（ｄ）は、本実施形態に係る絞りと合成開口の関係を説明する概略図である。撮像素子１００には、図３で示した長方形形状の開口部１０４ｌおよび１０４ｒを有する開口マスク１０３が設けられている。図５（ａ）の絞り４０ａは、絞り４０が最大に開口した状態、例えばＦ値が１．８の状態を示す。
【００４６】
図５（ｂ）に示すように、物点Ｏｔから放射された光束は、撮影レンズ２０を通過したのち、絞り４０ａに入射する。絞り４０ａに入射した光束のうち、外周部の光束は絞り４０ａに遮光される。その結果、光軸近傍の光束が撮像素子１００へ入射する。
【００４７】
撮像素子１００に到達した光束のうち部分領域Ｐｌを透過した光束は、開口部１０４ｌを通過し、開口部１０４ｌに対応する光電変換素子に入射する。開口部１０４ｌに対応する光電変換素子には、部分領域Ｐｒを通過した光束は入射しない。したがって、絞り４０ａと開口部１０４ｌとの両方を透過して光電変換素子に到達する光は、絞り４０ａの位置に、当該絞り４０ａと開口部１０４ｌとを光学的に重畳した開口を透過した光と光学的に等価である。この「光学的に重畳した開口」を合成開口という。
【００４８】
図５（ｃ）は、絞り４０ａと開口部１０４ｌとを光学的に重畳した合成開口１３０ｌａを示す。合成開口１３０ｌａは、略円形状の絞り４０ａの紙面左半分に相当する略半円形状となる。合成開口１３０ｌａにおいて光が透過する透過領域の重心は、絞り４０ａの円の中心に対して紙面左側に存在する。図中で、当該重心をＸで示す。
【００４９】
図５（ｄ）は、絞り４０ａと開口部１０４ｒとを光学的に重畳した合成開口１３０ｒａを示す。合成開口１３０ｒａは、略円形状の絞り４０ａの紙面右半分に相当する略半円形状となる。合成開口１３０ｒａの透過領域の重心は、絞り４０ａの円の中心に対して紙面右側に存在している。
【００５０】
合成開口１３０ｌａの透過領域の重心は、部分領域Ｐｌの重心と対応する。よって、合成開口１３０ｌａの透過領域の重心が絞り４０ａからシフトしているシフト量は、絞り４０ａおよび開口部１０４ｌにより得られる視差画像の視差量に対応する。同様に、合成開口１３０ｒａの透過領域の重心のシフト量は、絞り４０ａおよび開口部１０４ｒにより得られる視差画像の視差量に対応する。
【００５１】
このように、本実施形態では、合成開口１３０ｌａおよび合成開口１３０ｒａに対応した形状の複数の部分領域ＰｌおよびＰｒを通過する光束によって、２つの視差像を得ている。
【００５２】
図６（ａ）から図６（ｄ）は、他の絞り値と合成開口の関係を説明する概略図である。図６（ａ）の絞り４０ｂは、絞り４０を図５（ａ）における絞り４０ａよりも絞った状態、例えばＦ値を４．０、に設定した状態を示す。物点Ｏｔから放射され、撮影レンズ２０を通過した光束は、絞り４０ｂで一部が遮光され、撮像素子１００へ入射する。
【００５３】
絞り４０ｂは、絞り４０ａよりも開口領域が狭いので、入射光の光束のうち絞り４０ａよりも光軸に近い領域の光束も遮光する。よって、絞り４０ａを通過する部分領域ＰｌおよびＰｒよりも、絞り４０ｂを通過する部分領域ＰｌおよびＰｒは縮小する。
【００５４】
図６（ｃ）に示すように、部分領域Ｐｌに対応する合成開口１３０ｌｂは、図５（ｃ）の合成開口１３０ｌａと比較して、半円の半径が短くなり、透過領域の重心の位置がより円の中心に近くなる。同様に、図６（ｄ）に示すように、部分領域Ｐｒに対応する、略半円形状の合成開口１３０ｒｂは、図５（ｄ）の合成開口１３０ｒａと比較して、半円の半径が短くなり、透過領域の重心の位置がより円の中心に近くなる。
【００５５】
よって、合成開口１３０ｌｂおよび１３０ｒｂに対応する視差画像は、合成開口１３０ｌａおよび１３０ｒａに対応する視差画像よりも視差量が小さくなる。このように、絞り値を変更することで、撮像素子１００の構成や撮影位置を変えることなく、一つのシーンについて異なる視差量の視差画像を得られる。すなわち、絞り値を変更することで、撮像素子１００の構成や撮影位置を変えることなく、また、複数の光学系を用いることなく、一つのシーンについて、異なる視点からの視差画像を得ることができる。
【００５６】
図７（ａ）から図８（ｄ）は、さらに他の絞りと合成開口の関係を説明する概略図である。図７（ａ）の絞り４０ｃは、絞り４０を図６の絞り４０ｂよりも絞った状態、例えばＦ値が８．０の状態を示し、図８（ａ）の絞り４０ｄは、さらに絞った状態、例えば、Ｆ値が１１．０の状態を示す。
【００５７】
図７（ａ）における絞り４０ｃは、図６（ａ）における絞り４０ｂによりもさらに透過領域が狭いので、図７（ｃ）および図７（ｄ）に示すように、合成開口１３０ｌｃおよび１３０ｒｃに対応する視差画像は、合成開口１３０ｌｂおよび１３０ｒｂに対応する視差画像よりも視差量がさらに小さくなる。同様に、図８（ｃ）および図８（ｄ）に示すように、合成開口１３０ｌｄおよび１３０ｒｄに対応する視差画像は、合成開口１３０ｌｃおよび１３０ｒｃに対応する視差画像よりも視差量がさらに小さくなる。
【００５８】
以上、図５から図８の実施形態によれば、絞り４０の絞り値を変えて複数回撮像することにより、一の撮像素子１００について、当該撮像素子１００に含まれる開口マスクの種類の数に対応する視点よりも多くの視点に対応する視差画像を得ることができる。上記実施形態において、開口マスクの種類が２種の場合に、互いに異なる３つの絞り値で撮像することにより、一つのシーンに対して６（＝２×３）個の異なる視差画像を得ることができる。
【００５９】
図９は、合成開口と別の合成開口との差分に基づいて生成される視差画像に対応する合成開口の例である。より具体的には、図９の合成開口１３０ｌｅ〜ｌｇは、図５から図８の合成開口１３０ａ〜ｄに対応する視差画像の差分に基づいて生成された視差画像に対応する。
【００６０】
図５の絞り４０ａを用いて撮像された第１視差画像と、図６の絞り４０ｂを用いて撮像された第２視差画像との差分をとることにより、新しい視差画像である第３視差画像が得られる。例えば、合成開口１３０ｌａに対応する第１視差画像の画素値から、合成開口１３０ｌｂに対応する第２視差画像における対応する画素値を引くと、合成開口１３０ｌａを通過する光束から合成開口１３０ｌｂを通過する光束を除いた光束から生成される第３視差画像の画素値が得られる。当該第３視差画像は、合成開口１３０ｌａの透過領域から合成開口１３０ｌｂの透過領域を除いた合成開口１３０ｌｅを透過した光束により得られる画像と光学的に等価である。
【００６１】
合成開口１３０ｌｅの透過領域の重心の位置は、合成開口１３０ｌａおよび合成開口１３０ｌｂの透過領域のいずれの重心と異なる。合成開口１３０ｌｅの透過領域の重心の位置は、合成開口１３０ｌａおよび合成開口１３０ｌｂの両方と比較して、より円の中心から遠くなる。すなわち、合成開口１３０ｌｅに対応する第３視差画像は、合成開口１３０ｌａに対応する第１視差画像および合成開口１３０ｌｂに対応する第２視差画像よりも視差量が大きくなる。よって、図５から図７で得られた撮影時の視差画像に対応する視点とは異なる視点からの視差画像を得ることができる。
【００６２】
同様に、合成開口１３０ｒａに対応する第１視差画像と、合成開口１３０ｒｂに対応する第２視差画像との差分から、新たな第３視差画像をえることができる。
【００６３】
ここで、差分をとる場合に、複数の視差のそれぞれについて、第１視差画像と第２視差画像との間で、絞り以外の露光条件が対応するように、それぞれの視差画像の全体の明るさを調整することが好ましい。露光条件は、例えば、感度、露光時間である。
【００６４】
絞り以外の露光条件は、図５から図８の視差画像の撮像時に制御部２０１により設定されている。すなわち、感度と露光時間のそれぞれ、またはそれらの積を予め一致させておいて、図５から図８の撮像を行う。
【００６５】
他の例として、図５から図８の撮像後にそれらの視差画像を取得してから、絞り以外の露光条件が等しくなるように画像処理してもよい。例えば、図５においてＩＳＯ感度１００でシャッター速度１／２５秒で第１視差画像を撮像し、図６においてＩＳＯ感度１００でシャッター速度１／５０秒で第２視差画像を撮像した場合は、第２視差画像の明るさを約２倍することにより、第１視差画像の露光条件とあわせてもよい。
【００６６】
このような調整を行うと、合成開口１３０ｌａを通過する光束から合成開口１３０ｌｂを通過する光束を過不足なく除くことができ、より自然な第３視差画像を得ることができる。なお、絞り値、感度および露光時間を含む露光条件は、撮像時に取得されて視差画像のヘッダ部分に書き込まれる。
【００６７】
新たに生成した第３視差画像における合焦領域の明るさが、第１視差画像の合焦領域の明るさ、第２視差画像の合焦領域の明るさと異なる場合がある。よって、第３視差画像における合焦領域の明るさが、第１視差画像の合焦領域の明るさ、第２視差画像の合焦領域の明るさ、および、それらの平均のいずれかと同じになるように、第３視差画像の全体の明るさを調整してもよい。これにより、画像処理により生成した第３視差画像の明るさを、実際に撮像した他の視差画像と揃えて、それら全体の視差画像の不自然さを抑えることができる。
【００６８】
図６で得られた視差画像、図７で得られた視差画像および図８で得られた視差画像のそれぞれの差分をもちいて、さらに新たな視差画像を生成することができる。図９の合成開口１３０ｌｆは、図６の合成開口１３０ｌｂに対応する視差画像から図７の合成開口１３０ｌｃに対応する視差画像の差分をとることにより生成される視差画像に対応する開口である。同様に、図９の合成開口１３０ｌｇは、図７の合成開口１３０ｌｃに対応する視差画像から図８の合成開口１３０ｌｄに対応する左視差画像の差分をとることにより生成される開口である。合成開口１３０ｒｂ〜１３０ｒｄについてもそれらに対応する視差画像の差分から新たな視差画像を生成することができる。
【００６９】
以上、図９の実施形態によれば、複数の視差のそれぞれについて、絞り値を変更して得られた複数の視差画像の差分をとることにより、撮像時の開口マスクに対応した複数の視差とは異なる新たな視差に対応した視差画像を生成する。これにより、撮像素子１００の構成や撮影位置を変えることなく、一つのシーンについて、撮像時の開口マスクに対応する視差量とは異なる視差量の視差画像を得られる。すなわち、撮像素子１００の構成や撮影位置を変えることなく、一つのシーンについて、撮像時の開口マスクに対応する視点とは異なる視点からの視差画像を得ることができる。また、絞り値を変更して得られた複数の視差画像の差分に対応する合成開口は、撮像時の開口マスクよりも開口面積が小さいので、差分により生成された視差画像の被写界深度はより深くなる。したがって、この方法によれば、ボケが少なく視差がより強調された視差画像を取得することができる。
【００７０】
図１０は、視差画像を生成する処理を説明する概念図である。左列から順に、合成開口１３０ｌｅに対応する視差画素の出力を集めて生成される視差画像データの生成の様子、合成開口１３０ｌａに対応する視差画像データの生成の様子、合成開口１３０ｌｂに対応する視差画像データの生成の様子、合成開口１３０ｒｂに対応する視差画像データの生成の様子を説明する。
【００７１】
既に説明したように、絞り４０ｂでの撮影により、合成開口１３０ｌｂおよび合成開口１３０ｒｂに対応する視差画像が得られる。２つの左右視差画素を一組とする光電変換素子群から成る繰り返しパターン１１０は、例えば横一列に配列されている。したがって、開口部１０４ｌを有する視差画素は、例えば撮像素子１００上において、左右方向に２画素おき、かつ、上下方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる部分領域からの被写体光束を受光している。したがって、これらの視差画素の出力を寄せ集めて配列すると、合成開口１３０ｌｂに対応する視差画像と、および合成開口１３０ｒｂに対応する視差画像とが得られる。
【００７２】
しかし、本実施形態における撮像素子１００の各画素は正方画素であるので、単に寄せ集めただけでは、横方向の画素数が１／２に間引かれた結果となり、縦長の画像データが生成されてしまう。そこで、補間処理を施して横方向に２倍の画素数とすることにより、本来のアスペクト比の画像として視差画像データを生成する。ただし、そもそも補間処理前の視差画像データが横方向に１／２に間引かれた画像であるので、横方向の解像度は、縦方向の解像度よりも低下している。つまり、生成される視差画像データの数と、解像度の向上は相反関係にあると言える。
【００７３】
絞り値を変更し、絞り４０ａの状態で視差画像を取得すると、合成開口１３０ｌａに対応する左視差画像が得られる。さらに、合成開口１３０ｌａに対応する左視差画像と、合成開口１３０ｌｂに対応する左視差画像の差分から、合成開口１３０ｌｅに対応する新しい視差画像が得られる。
【００７４】
合成開口１３０ｌａ、合成開口１３０ｌｂ、合成開口１３０ｒｂに対応する視差画像データについても、上記補間処理を行う。これにより、デジタルカメラ１０は、横方向に視差を有する４視点の視差画像を生成することができる。上記の例では、横一列を繰り返しパターン１１０として周期的に配列される例を説明したが、繰り返しパターン１１０はこれに限らない。
【００７５】
ここで、図５から図８の合成開口１３０ｌａ〜１３０ｌｄ、１３０ｒａ〜１３０ｒｄに対応する８個の視差画像、および、それらの差分を示す合成開口１３０ｌｅ等の６個の視差画像により、計１４種類の視差画像を得ることができる。すなわち、２種類の開口部を有する撮像素子１００、４つの絞り値、および、画像処理によって、１４個の異なる視点からの視差画像を得ることができる。
【００７６】
次に、カラーフィルタ１０２と視差画像について説明する。図１１は、ベイヤー配列を説明する図である。図示するように、ベイヤー配列は、緑フィルタが左上と右下の２画素に、赤フィルタが左下の１画素に、青フィルタが右上の１画素に割り当てられる配列である。ここでは、緑フィルタが割り当てられた左上の画素をＧｂ画素と、同じく緑色フィルタが割り当てられた右下の画素をＧｒ画素とする。また、赤色フィルタが割り当てられた画素をＲ画素と、青色が割り当てられた画素をＢ画素とする。そして、Ｇｂ画素およびＢ画素が並ぶ横方向をＧｂ行とし、Ｒ画素およびＧｒ画素が並ぶ横方向をＧｒ行とする。また、Ｇｂ画素およびＲ画素が並ぶ縦方向をＧｂ列とし、Ｂ画素およびＧｒ画素が並ぶ縦方向をＧｒ列とする。
【００７７】
このようなカラーフィルタ１０２の配列に対して、視差画素と視差なし画素を、何色の画素にどのような周期で割り振っていくかにより、膨大な数の繰り返しパターン１１０が設定され得る。視差なし画素の出力を集めれば、通常の撮影画像と同じく視差のない撮影画像データを生成することができる。したがって、相対的に視差なし画素の割合を増やせば、解像度の高い２Ｄ画像を出力させることができる。この場合、視差画素は相対的に少ない割合となるので、複数の視差画像からなる３Ｄ画像としては画質が低下する。逆に、視差画素の割合を増やせば、３Ｄ画像としては画質が向上するが、視差なし画素は相対的に減少するので、解像度の低い２Ｄ画像が出力される。
【００７８】
図１２は、カラーフィルタおよび視差画素の配列のバリエーションの一例を示す図である。図の例においては、ベイヤー配列と同じ４画素を繰り返しパターン１１０とする。Ｒ画素とＢ画素は視差なし画素であり、Ｇｂ画素を視差Ｌ画素に、Ｇｒ画素を視差Ｒ画素に割り当てる。この場合、同一の繰り返しパターン１１０に含まれる視差Ｌ画素と視差Ｒ画素は、被写体が合焦位置に存在するときに、同じ部分領域から放射される光束を受光するように開口部１０４が定められる。
【００７９】
図の例においては、視感度の高い緑画素であるＧｂ画素およびＧｒ画素を視差画素として用いるので、コントラストの高い視差画像を得ることが期待できる。また、同じ緑色画素であるＧｂ画素およびＧｒ画素を視差画素として用いるので、これら２つの出力から視差のない出力に変換演算がし易く、視差なし画素であるＲ画素およびＢ画素の出力と共に、高画質の２Ｄ画像データを生成できる。
【００８０】
図１３は、第２の実施形態に係る開口マスクの形状を説明する図である。図においては、開口マスク１０３の開口部２０４ｌおよび２０４ｒの形状を視差方向と垂直な辺の長さが視差方向と平行な辺の長さよりも短い矩形とした。
【００８１】
図１４（ａ）から図１７（ｄ）は、第２の実施形態に係る絞りと合成開口の関係を説明する概略図である。本実施形態は、開口マスク１０３の開口部１０４の形状が異なる以外は、図５〜図８において説明した第１の実施形態と同じである。
【００８２】
図１４（ｃ）に示すように、図１３の開口マスク１０３を用いることにより、合成開口２３０ｌａの透過領域は、図５（ｃ）における合成開口１３０ｌａと比較して、半円の上下部分が省かれた形状となっている。同様に、図１４（ｄ）の合成開口２３０ｌａの透過領域は、図５（ｄ）の合成開口１３０ｌａと比較して、半円の上下部分が省かれた形状となっている。
【００８３】
同様に、図１４とは絞り値を変えて撮像した図１５〜１７における合成開口２３０ｌｂ〜ｄおよび２３０ｒｂ〜ｄの透過領域は、図６〜８における合成開口１３０ｌｂ〜ｄおよび１３０ｒｂ〜ｄと比較して、左右に分割された半円の上下部分が省かれた形状となっている。また、合成開口２３０ｌａ〜ｄの透過領域の重心は中央から離れている順に、合成開口２３０ｌａ〜ｄとなっている。合成開口２３０ｒａ〜ｄの透過領域の重心は中央から離れている順に、合成開口２３０ｒａ〜ｄとなっている。
【００８４】
図１８は、本実施形態において撮影時の視差画像の差分に基づいて形成される新たな視差画像に対応する合成開口の例である。合成開口２３０ｌｅは、合成開口２３０ｌａに対応する視差画像から合成開口２３０ｌｂに対応する視差画像を減算して生成される新たな視差画像に対応する開口である。合成開口２３０ｌｆは、合成開口２３０ｌｂに対応する視差画像から合成開口２３０ｌｃに対応する視差画像を減算して生成される新たな視差画像に対応する開口である。合成開口２３０ｌｇは、合成開口２３０ｌｃに対応する視差画像から合成開口２３０ｌｄに対応する視差画像を減算して生成される新たな視差画像に対応する開口である。
【００８５】
合成開口２３０ｌｅ〜２３０ｌｇは、合成開口１３０ｌｅ〜１３０ｌｇと比べると、三日月形状の端部の湾曲した部分が少ないので、合成開口２３０ｌｅ〜２３０ｌｇは、合成開口１３０ｌｅ〜１３０ｌｇと比較して、透過領域の重心の位置を円弧の中心から離すことができる。このため、本実施形態に係る合成開口２３０ｌｅ〜２３０ｌｇに対応する視差画像は、第１の実施形態に係る合成開口１３０ｌｅ〜１３０ｌｇに対応する視差画像と比較して、視差量を大きくすることができる。
【００８６】
図１９は、第３の実施形態に係る開口マスクの形状を説明する図である。この図においては、開口マスク１０３は、斜め方向にシフトするように配置された正方形の開口部３０４ｌおよび３０４ｒを有する。具体的には、開口部３０４ｌおよび３０４ｒは、左上方向および右下方向にシフトされている。このような開口マスク１０３を有する撮像素子１００は、上下方向および左右方向に視差を与える。
【００８７】
図２０（ａ）から図２３（ｄ）は、第３の実施形態に係る絞りと合成開口の関係を説明する概略図である。本実施形態は、開口マスク１０３の開口部３０４ｌおよび３０４ｒの形状が異なる以外は、図５〜図８において説明した第１の実施形態と同じである。
【００８８】
図２０（ｃ）に示すように、図１９の開口マスク１０３を用いることにより、合成開口３３０ｌａの透過領域は、図５（ｃ）における合成開口１３０ｌａと比較して、半円の下半分が省かれた形状となっている。また、図２０（ｄ）の合成開口３３０ｒａの透過領域は、図５（ｄ）における合成開口１３０ｒａと比較して、半円の上半分が省かれた形状となっている。
【００８９】
同様に、図２０とは絞り値を変えて撮像した図２１〜２３における合成開口３３０ｌｂ〜ｄおよび３３０ｒｂ〜ｄの開口は、図６〜８における合成開口１３０ｌｂ〜ｄおよび１３０ｒｂ〜ｄと比較して、半円の上半分または下半分が省かれた形状となっている。また、合成開口３３０ｌａ〜ｄの透過領域の重心は中央から離れている順に、合成開口３３０ｌａ〜ｄとなっている。合成開口３３０ｒａ〜ｄの透過領域の重心は中央から離れている順に、合成開口３３０ｒａ〜ｄとなっている。
【００９０】
図２４は、本実施形態において撮影時の視差画像の差分に基づいて形成される新たな視差画像に対応する合成開口の例である。合成開口３３０ｌｅは、合成開口３３０ｌａに対応する視差画像から合成開口３３０ｌｂに対応する視差画像を減算することにより生成される視差画像に対応する開口である。合成開口３３０ｌｆは、合成開口３３０ｌｂに対応する視差画像から合成開口３３０ｌｃに対応する視差画像を減算して生成される新たな視差画像に対応する開口である。合成開口３３０ｌｇは、合成開口３３０ｌｃに対応する視差画像から合成開口３３０ｌｄに対応する視差画像を減算して生成される視差画像に対応する開口である。
【００９１】
上記合成開口３３０ｌｅ〜３３０ｌｇの透過領域の重心は左右方向および上下方向にシフトしている。よって、本実施形態に係る合成開口３３０ｌｅ〜３３０ｌｇに対応する視差画像は、左右方向および上下方向に視差を有する。
【００９２】
図２５（ａ）〜（ｈ）は、第４の実施形態に係る、視差画素をカラー化する方法を示す図である。図２５（ａ）および（ｅ）は、カラー画像用の撮像素子上でベイヤー配列されたカラーフィルタに、開口マスクの複数種類の開口部を割り当てた例を示す。右上の青画素Ｂと左下の赤画素Ｒには、横長形状の開口部が割り当てられる。左上の緑画素Ｇには、横長形状の左半分が開口した開口部が割り当てられ、右下の緑画素Ｇには横長形状の右半分が開口した開口部が割り当てられる。このように、緑画素Ｇの左半分の開口と右半分の開口を足し合わせると、赤画素Ｒおよび青画素Ｂの開口と等しくなる。
【００９３】
ここで、図２５（ａ）のように色ごとに配置された開口部と、（ｂ）に示される最大に開口した絞り４０ａとを合成すると、（ｃ）に示されるような合成開口が得られる。（ａ）と同様に、緑画素Ｇの左半分の合成開口と右半分の合成開口を足し合わせると、赤画素Ｒおよび青画素Ｂの合成開口と等しくなる。緑画素Ｇについては、左半分開口の緑画素と右半分開口の緑画素を組み合わせることにより、左右方向に視差を有する１組の視差画素を構成するが、青画素Ｂおよび赤画素Ｒは視差無し画素である。したがって、このままでは緑単色の視差画像は得られるが、フルカラーの視差画像を得ることができない。
【００９４】
そこで、左右の緑画素Ｇの光強度等の画素値を、青画素Ｂおよび赤画素Ｒに適用することにより、青色および赤色についても仮想的に左右の画素値を得る。具体的には、
Ｒ（ｌｔ）＝Ｒ（ｎ）×Ｇ（ｌｔ）／（Ｇ（ｌｔ）＋Ｇ（ｒｔ）） …数式１
Ｒ（ｒｔ）＝Ｒ（ｎ）×Ｇ（ｒｔ）／（Ｇ（ｌｔ）＋Ｇ（ｒｔ）） …数式２
を演算することにより、左右の赤画素の画素値Ｒ（ｌｔ）およびＲ（ｒｔ）が得られ、赤単色の視差画像が取得される。Ｒ（ｌｔ）およびＲ（ｒｔ）は、演算される赤色の左視差画素および右視差画素の画素値を示し、Ｒ（ｎ）は、検出された視差なし赤画素Ｒの画素値を示し、Ｇ（ｌｔ）およびＧ（ｒｔ）は、検出された左視差の緑画素および右視差の緑画素の画素値を示す。
【００９５】
同様に、青色についても、
Ｂ（ｌｔ）＝Ｂ（ｎ）×Ｇ（ｌｔ）／（Ｇ（ｌｔ）＋Ｇ（ｒｔ）） …数式３
Ｂ（ｒｔ）＝Ｂ（ｎ）×Ｇ（ｒｔ）／（Ｇ（ｌｔ）＋Ｇ（ｒｔ）） …数式４
を計算することにより、左右の青画素の画素値Ｂ（ｌｔ）およびＢ（ｒｔ）が得られ、青単色の視差画像が取得される。Ｂ（ｌｔ）およびＢ（ｒｔ）は、計算される左視差の青画素および右視差の青画素の画素値を示し、Ｂ（ｎ）は、検出された視差なし青画素Ｂの画素値を示す。図２５（ｄ）は、このようにして得られた左右視差を有する赤緑青画素に対応する合成開口を示す。
【００９６】
同様に、図２５（ｅ）に示される開口部と、４０ａよりも絞りを絞った図２５（ｆ）の絞り４０ｂとを合成すると、図２５（ｇ）に示されるような合成開口が得られる。図２５（ｈ）は、図２５（ｄ）と同様の方法により得られた、左右視差を有する赤緑青画素に対応する合成開口を示す。（ｃ）と同様に、緑画素Ｇの左半分の合成開口と右半分の合成開口を足し合わせると、赤画素Ｒおよび青画素Ｂの合成開口と等しくなる関係は維持される。図２５（ｄ）の合成開口から得られるカラー視差画像は、図２５（ｈ）の合成開口から得られるカラー視差画像よりも視差量が大きく立体感が強調される。このように、絞りの絞り値を変化させることで、異なる視点からのカラー視差画像を得ることができる。
【００９７】
図２６は、図２５で得られたカラー視差画像から視差の異なるカラー視差画像を得る方法を示す概念図である。図２６（ａ）は図２５（ｄ）のＲＧＢの合成開口に対応し、図２６（ｂ）は図２５（ｈ）のＲＧＢの合成開口に対応する。図２６（ａ）の合成開口に対応する視差画像から、図２６（ｂ）の合成開口に対応する視差画像を差分することにより、図２６（ｃ）の合成開口に対応する視差画像を得ることができる。
【００９８】
図２６（ｃ）の合成開口は、図２６（ａ）の合成開口と比較して、重心の位置を画素の中心から離すことができる。このため、図２６（ｃ）の合成開口に対応する視差画像は、図２６（ａ）の合成開口に対応する視差画像と比較して、視差量が大きくなり立体感が強調される。さらに、図２６（ｃ）の合成開口に対応する視差画像は、（ａ）と比較して開口面積が小さいので、被写界深度が深くボケが生じにくい。したがって、この方法によれば、視差がより強調された鮮明なカラー視差画像を得ることができる。
【００９９】
カラーフィルタの色配列はベイヤー配列でなくてもよい。例えば、単位配列中のいずれかの画素が色のないホワイト画素Ｗであってもよい。また、左右の開口は、緑画素Ｇでなく、赤画素Ｒ、青画素Ｂ、またはホワイト画素Ｗに割り当てられても良い。ただし、一部の色の画素に対してのみ左右の開口を割り当てる場合には、カラー視差画像を得るために数式１〜４を用いて他の色の画素値を演算する必要が生じる。従って、この場合は、数式１〜４が適用できるように、視差画素に設けられる左右の開口を合成した開口と、視差無し画素に設けられる全開口を等しくすることが望ましい。
【０１００】
図２７は、第１視差画素および第２視差画像に基づいて第３視差画素を生成する場合において、第１視差画像の取得からの視差画像の生成までの処理フローを示す図である。本フローにおける一連の処理は、制御部２０１が操作部材を介してユーザから視差画像生成の指示を受け付けたとき、または、予め定められた制御プログラムに視差画像生成が組み込まれているとき等に開始される。
【０１０１】
ステップＳ１００では、制御部２０１により撮影動作が行われて、撮像素子１００から画像処理部２０５が開口部１０３の種類の数に対応した数の第１視差画像を取得する。ステップＳ２００では、制御部２０１が絞り４０の絞り値を変更した後、さらに撮影動作が行われ、開口部１０３の種類の数に対応した数の第２視差画像を取得する。絞り値の変更は上記の通り制御部２０１が自動的に行う、いわゆるブラケット撮影でもよいし、マニュアルにより絞り値が切り替えられてもよい。また、絞り値の変更およびその後の撮像の回数は、２回以上であってもよい。ステップ３００では、画像処理部２０５が第１視差画像と第２視差画像の差分をとることで、第３視差画像を生成する。画像処理部２０５は当該第１視差画像、第２視差画像および第３視差画像をそれぞれの視差に対応付けてメモリカード２２０に保存する。
【０１０２】
図２８は、第１視差画素および第２視差画像に基づいて視差画像群を生成する場合において、第１視差画像の取得からの視差画像の生成までの処理フローを示す図である。本フローにおける一連の処理は、制御部２０１が操作部材を介してユーザから視差画像生成の指示を受け付けたとき、または、予め定められた制御プログラムに視差画像生成が組み込まれているとき等に開始される。
【０１０３】
ステップＳ２０１では、制御部２０１により撮影動作が行われ、撮像素子１００から画像処理部２０５が開口部１０３の種類の数に対応した数の第１視差画像を取得する。ステップＳ２０１では、制御部２０１が絞り４０の絞り値を変更した後、さらに撮影動作が行われ、開口部１０３の種類の数に対応した数の第２視差画像を取得する。絞り値の変更は上記の通り制御部２０１が自動的に行う、いわゆるブラケット撮影でもよいし、マニュアルにより絞り値が切り替えられてもよい。また、絞り値の変更およびその後の撮像の回数は、２回以上であってもよい。ステップ３０１では、画像処理部２０５は、第１視差画像と第２視差画像とを互いに、異なる視差に対応付けて、視差画像群メモリカード２２０に保存する。
【０１０４】
なお、上記実施形態はいずれも絞り４０を開いた状態から徐々に絞っているが、これに代えて、絞った状態から徐々に開いてもよい。また、撮像時の視差画像の差分に基づいた新たな視差画像を生成する場合に、絞り値が隣接していない例えば図５の視差画像と図７の視差画像との差分から新たな視差画像を生成してもよい。
【０１０５】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【０１０６】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【０１０７】
１０ デジタルカメラ、２０ 撮影レンズ、２１ 光軸、３０ 被写体、４０、４０ａ、４０ｂ、４０ｃ、４０ｄ 絞り、１００ 撮像素子、１０１ マイクロレンズ、１０２ カラーフィルタ、１０３ 開口マスク、１０４、１０４ｌ、１０４ｒ 開口部、１０５ 配線層、１０６ 配線、１０７ 開口、１０８ 光電変換素子、１０９ 基板、１１０ 繰り返しパターン、１２０ 撮像素子、１２１ スクリーンフィルタ、１２２ カラーフィルタ部、１２３ 開口マスク部、１３０ａ、１３０ｂ、１３０ｃ、１３０ｄ、１３０ｅ、１３０ｆ、１３０ｇ 合成開口、２０４ 駆動部、２０１ 制御部、２０２ Ａ／Ｄ変換回路、２０３ メモリ、２０４ｌ、２０４ｒ 開口部、２０５ 画像処理部、２０７ メモリカードＩＦ、２０８ 操作部、２０９ 表示部、２１０ ＬＣＤ駆動回路、２１１ ＡＦセンサ、２２０ メモリカード、２３０ａ、２３０ｂ、２３０ｃ、２３０ｄ、２３０ｅ、２３０ｆ、２３０ｇ 合成開口、３０４ｌ、３０４ｒ 開口部、３３０ａ、３３０ｂ、３３０ｃ、３３０ｄ、３３０ｅ、３３０ｆ、３３０ｇ 合成開口
【技術分野】
【０００１】
本発明は、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
２つの撮影光学系を用いて、右目用の画像と左目用の画像とから成るステレオ画像を撮像するステレオ撮像装置が知られている。このようなステレオ撮像装置は、２つの撮像光学系を一定の間隔で配置することにより、同一の被写体を撮像して得られる２つの画像に視差を生じさせる。
［先行技術文献］
［特許文献］
［特許文献１］ 特開平８−４７００１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、複数の視差を生じさせる画像を取得するには、その数に応じた複雑な撮影光学系を用意しなければならなかった。
【課題を解決するための手段】
【０００４】
本発明の第１の態様における画像処理方法は、二次元的に配された複数の光電変換素子に対して、複数の視差に対応した複数種類の開口マスクを一対一に対応させて設けた撮像素子により撮像された複数の第１視差画像を取得する第１視差画像取得段階と、複数の光電変換素子全体に対して設けられた絞りにより、第１視差画像取得段よりも入射光の光軸に対する周縁の光束を遮光して、撮像素子により撮像された複数の第２視差画像を取得する第２視差画像取得段階と、複数の視差のそれぞれについて、第１視差画像と第２視差画像と、の差分に基づいて、複数種類の開口マスクに対応した複数の視差とは異なる新たな視差に対応した第３視差画像を生成する視差画像生成段階とを備える。
【０００５】
本発明の第２の態様における画像処理方法は、二次元的に配された複数の光電変換素子に対して、複数の視差に対応した複数種類の開口マスクを一対一に対応させて設けた撮像素子により撮像された複数の第１視差画像を取得する第１視差画像取得段階と、複数の光電変換素子全体に対して設けられた絞りにより、第１視差画像取得段よりも入射光の光軸に対する周縁の光束を遮光して、撮像素子により撮像された複数の第２視差画像を取得する第２視差画像取得段階と、第１視差画像と第２視差画像とを互いに、異なる視差に対応付けて、視差画像群を生成する画像群生成段階とを備える。
【０００６】
本発明の第３の態様における画像処理プログラムは、二次元的に配された複数の光電変換素子に対して、複数の視差に対応した複数種類の開口マスクを一対一に対応させて設けた撮像素子により撮像された複数の第１視差画像を取得する第１視差画像取得ステップと、複数の光電変換素子全体に対して設けられた絞りにより、第１視差画像取得段よりも入射光の光軸に対する周縁の光束を遮光して、撮像素子により撮像された複数の第２視差画像を取得する第２視差画像取得ステップと、複数の視差のそれぞれについて、第１視差画像と第２視差画像と、の差分に基づいて、複数種類の開口マスクに対応した複数の視差とは異なる新たな視差に対応した第３視差画像を生成する視差画像生成ステップとをコンピュータに実行させる。
【０００７】
本発明の第４の態様における画像処理プログラムは、二次元的に配された複数の光電変換素子に対して、複数の視差に対応した複数種類の開口マスクを一対一に対応させて設けた撮像素子により撮像された複数の第１視差画像を取得する第１視差画像取得ステップと、複数の光電変換素子全体に対して設けられた絞りにより、第１視差画像取得段よりも入射光の光軸に対する周縁の光束を遮光して、撮像素子により撮像された複数の第２視差画像を取得する第２視差画像取得ステップと、第１視差画像と第２視差画像とを互いに、異なる視差に対応付けて、視差画像群を生成する画像群生成ステップとをコンピュータにより実行させる。
【０００８】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係るデジタルカメラの構成を説明する図である。
【図２】本発明の実施形態に係る撮像素子の断面を表す概略図である。
【図３】第１の実施形態に係る撮像素子の一部を拡大した様子を表す概略図である。
【図４】視差画素と被写体の関係を説明する概念図である。
【図５】本実施形態に係る絞りと合成開口の関係を説明する概略図である。
【図６】本実施形態に係る絞りと合成開口の関係を説明する概略図である。
【図７】本実施形態に係る絞りと合成開口の関係を説明する概略図である。
【図８】本実施形態に係る絞りと合成開口の関係を説明する概略図である。
【図９】差分に基づいて形成される新たな視差画像に対応する合成開口の例である。
【図１０】視差画像を生成する処理を説明する概念図である。
【図１１】ベイヤー配列を説明する図である。
【図１２】ベイヤー配列に対する視差画素の割り振りについて、バリエーションの一例を示す図である。
【図１３】第２の実施形態に係る開口マスクの形状を説明する図である。
【図１４】本実施形態に係る絞りと合成開口の関係を説明する概略図である。
【図１５】本実施形態に係る絞りと合成開口の関係を説明する概略図である。
【図１６】本実施形態に係る絞りと合成開口の関係を説明する概略図である。
【図１７】本実施形態に係る絞りと合成開口の関係を説明する概略図である。
【図１８】差分に基づいて形成される新たな視差画像に対応する合成開口の例である。
【図１９】第３の実施形態に係る開口マスクの形状を説明する図である。
【図２０】本実施形態に係る絞りと合成開口の関係を説明する概略図である。
【図２１】本実施形態に係る絞りと合成開口の関係を説明する概略図である。
【図２２】本実施形態に係る絞りと合成開口の関係を説明する概略図である。
【図２３】本実施形態に係る絞りと合成開口の関係を説明する概略図である。
【図２４】差分に基づいて形成される新たな視差画像に対応する合成開口の例である。
【図２５】第４の実施形態に係る視差画素をカラー化する方法を示す図である。
【図２６】図２５で得られたカラー視差画像から視差の異なるカラー視差画像を得る方法を示す概念図であるである。
【図２７】第１視差画像の取得からの視差画像の生成までの処理フローを示す図である。
【図２８】第１視差画像の取得からの視差画像群の生成までの処理フローを示す図である。
【発明を実施するための形態】
【００１０】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１１】
撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて複数の視点数の画像を一度の撮影により生成する。さらに、本実施形態に係るデジタルカメラは、同一の撮影位置から絞り値を変えて撮影することで、同一のシーンについて撮影時に生成した上記複数の視点とは別の視点に対応する画像を生成する。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。
【００１２】
図１は、本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、絞り４０、撮像素子１００、駆動部２０４、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９、ＬＣＤ駆動回路２１０およびＡＦセンサ２１１を備える。
【００１３】
なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向をｚ軸プラス方向と定め、ｚ軸と直交する平面において紙面手前へ向かう方向をｘ軸プラス方向、紙面上方向をｙ軸プラス方向と定める。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
【００１４】
撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。
【００１５】
絞り４０は、撮影レンズ２０と共に光軸２１に沿って配置される。図１で絞り４０は光軸２１に沿って撮影レンズ２０よりも撮像素子１００側に配置されているが、撮影レンズ２０が複数のレンズ群を有する場合には、光軸２１に沿って当該光学レンズ群のいずれか間に配置される。絞り４０の一例は、複数の絞り羽根を有する虹彩絞りである。絞り４０が虹彩絞りの場合には、制御部２０１の制御により、複数の絞り羽根が電磁駆動されて、被写体光束の通過光量を段階的に制限する。絞り４０は、撮像素子１００の全体に対して１つ設けられる。
【００１６】
撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。
【００１７】
Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。画像処理部２０５は、異なる絞り値によって撮影された複数の視差画像データから新たな視差画像データを生成する。
【００１８】
画像処理部２０５は、他にも、撮像素子１００の画素配列に即して、入力される画像信号から非視差画像データとしての２Ｄ画像データおよび視差画像データを生成したり、選択された画像フォーマットに従って画像データを調整する機能も担う。生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。
【００１９】
ＡＦセンサ２１１は、被写体空間に対して複数の測距点が設定された位相差センサであり、それぞれの測距点において被写体像のデフォーカス量を検出する。一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、制御部２０１に制御されて実行される。例えば、制御部２０１は、ＡＦセンサ２１１の検出信号を解析して、撮影レンズ２０の一部を構成するフォーカスレンズを移動させる合焦制御を実行する。
【００２０】
次に、撮像素子１００の構成について詳細に説明する。図２は、本発明の実施形態に係る撮像素子の断面を表す概略図である。図２（ａ）は、カラーフィルタ１０２と開口マスク１０３が別体で構成される撮像素子１００の断面概略図である。また、図２（ｂ）は、撮像素子１００の変形例として、カラーフィルタ部１２２と開口マスク部１２３が一体的に構成されたスクリーンフィルタ１２１を備える撮像素子１２０の断面外略図である。
【００２１】
図２（ａ）に示すように、撮像素子１００は、被写体側から順に、マイクロレンズ１０１、カラーフィルタ１０２、開口マスク１０３、配線層１０５および光電変換素子１０８が配列されて構成されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８は、基板１０９の表面に二次元的に複数配列されている。
【００２２】
光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。また、各光電変換素子１０８に一対一に対応して設けられた開口部１０４を有する開口マスク１０３が、配線層に接して設けられている。開口部１０４は、後述するように、対応する光電変換素子１０８ごとにシフトさせて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部１０４を備える開口マスク１０３の作用により、光電変換素子１０８が受光する被写体光束に視差が生じる。
【００２３】
一方、視差を生じさせない光電変換素子１０８上には、開口マスク１０３が存在しない。別言すれば、対応する光電変換素子１０８に対して入射する被写体光束を制限しない、つまり有効光束の全体を通過させる開口部１０４を有する開口マスク１０３が設けられているとも言える。視差を生じさせることはないが、実質的には配線１０６によって形成される開口１０７が入射する被写体光束を規定するので、配線１０６を、視差を生じさせない有効光束の全体を通過させる開口マスクと捉えることもできる。開口マスク１０３は、各光電変換素子１０８に対応して別個独立に配列しても良いし、カラーフィルタ１０２の製造プロセスと同様に複数の光電変換素子１０８に対して一括して形成しても良い。
【００２４】
カラーフィルタ１０２は、開口マスク１０３上に設けられている。カラーフィルタ１０２は、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも２種類のカラーフィルタが配列されれば良いが、より高画質のカラー画像を取得するには３種類以上のカラーフィルタを配列すると良い。例えば赤色波長帯を透過させる赤フィルタ、緑色波長帯を透過させる緑フィルタ、および青色波長帯を透過させる青フィルタを格子状に配列すると良い。具体的な配列については後述する。
【００２５】
マイクロレンズ１０１は、カラーフィルタ１０２上に設けられている。マイクロレンズ１０１は、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズである。マイクロレンズ１０１は、光電変換素子１０８のそれぞれに一対一に対応して設けられている。マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク１０３の開口部１０４の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されても良い。
【００２６】
このように、各々の光電変換素子１０８に対応して一対一に設けられる開口マスク１０３、カラーフィルタ１０２およびマイクロレンズ１０１の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク１０３が設けられた画素を視差画素、視差を生じさせる開口マスク１０３が設けられていない画素を視差なし画素と呼ぶ。例えば、撮像素子１００の有効画素領域が２４ｍｍ×１６ｍｍ程度の場合、画素数は１２００万程度に及ぶ。
【００２７】
なお、集光効率、光電変換効率が良いイメージセンサの場合は、マイクロレンズ１０１を設けなくても良い。また、裏面照射型イメージセンサの場合は、配線層１０５が光電変換素子１０８とは反対側に設けられる。
【００２８】
カラーフィルタ１０２と開口マスク１０３の組み合わせには、さまざまなバリエーションが存在する。図２（ａ）において、開口マスク１０３の開口部１０４に色成分を持たせれば、カラーフィルタ１０２と開口マスク１０３を一体的に形成することができる。また、特定の画素を被写体の輝度情報を取得する画素として特化させる場合、その画素には、対応するカラーフィルタ１０２を設けなくても良い。あるいは、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタを配列しても良い。
【００２９】
輝度情報を取得する画素を視差画素とする場合、つまり、視差画像をモノクロ画像として出力するのであれば、図２（ｂ）として示す撮像素子１２０の構成を採用し得る。すなわち、カラーフィルタとして機能するカラーフィルタ部１２２と、開口部１０４を有する開口マスク部１２３とが一体的に構成されたスクリーンフィルタ１２１を、マイクロレンズ１０１と配線層１０５の間に配設することができる。
【００３０】
スクリーンフィルタ１２１は、カラーフィルタ部１２２において例えば青緑赤の着色が施され、開口マスク部１２３において開口部１０４以外のマスク部分が黒の着色が施されて形成される。スクリーンフィルタ１２１を採用する撮像素子１２０は、撮像素子１００に比較して、マイクロレンズ１０１から光電変換素子１０８までの距離が短いので、被写体光束の集光効率が高い。
【００３１】
次に、開口マスク１０３の開口部１０４と、生じる視差の関係について説明する。図３は、第１の実施形態に係る撮像素子１００の一部を拡大した様子を表す概略図である。ここでは、説明を簡単にすべく、カラーフィルタ１０２の配色については後に言及するまで考慮しない。カラーフィルタ１０２の配色に言及しない以下の説明においては、同色のカラーフィルタ１０２を有する視差画素のみを寄せ集めたイメージセンサであると捉えることができる。したがって、以下に説明する繰り返しパターンは、同色のカラーフィルタ１０２における隣接画素として考えても良い。
【００３２】
図３に示すように、開口マスク１０３は２種類あって、一方は開口部１０４ｌを有し、他方は開口部１０４ｒを有する。開口部１０４ｌ、１０４ｒはいずれも長方形である。開口部１０４ｌおよび１０４ｒは、それぞれの画素に対して相対的にシフトして設けられている。そして、隣接する画素同士においても、それぞれの開口部１０４ｌおよび１０４ｒは互いに変位した位置に設けられている。
【００３３】
図３の例において、開口部１０４ｌは−ｘ方向にシフトしており、開口部１０４ｒはｘ方向にシフトしている。撮像素子１００の全体は、開口部１０４ｌを有する開口マスク１０３と開口部１０４ｒを有する開口マスク１０３とを有する２つの視差画素を一組とする光電変換素子群が、二次元的かつ周期的に配列されている。つまり、撮像素子１００は、上記光電変換素子群を含む繰り返しパターン１１０が、周期的に敷き詰められている。ここで、ｘ方向は、例えば、デジタルカメラ１０を横位置で撮像する場合における左右方向である。
【００３４】
図４は、視差画素と被写体の関係を説明する概念図である。特に図４（ａ）は撮像素子１００のうち光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔの光電変換素子群を示し、図４（ｂ）は周辺部分に配列されている繰り返しパターン１１０ｕの光電変換素子群を模式的に示している。図４（ａ）、（ｂ）における被写体３０は、撮影レンズ２０に対して合焦位置に存在する。図４（ｃ）は、図４（ａ）に対応して、撮影レンズ２０に対して非合焦位置に存在する被写体３０を捉えた場合の関係を模式的に示している。
【００３５】
まず、撮影レンズ２０が合焦状態に存在する被写体３０を捉えている場合の、視差画素と被写体の関係を説明する。被写体光束は、撮影レンズ２０の瞳を通過して撮像素子１００へ導かれるが、被写体光束が通過する全体の断面領域に対して、２つの部分領域ＰｌおよびＰｒが規定されている。そして、例えば繰り返しパターン１１０ｔ、１１０ｕを構成する光電変換素子群の紙面左側の画素は、拡大図からもわかるように、部分領域Ｐｒから射出された被写体光束のみが光電変換素子１０８へ到達するように、開口マスク１０３の開口部１０４ｒの位置が定められている。同様に、右側の画素に向かって、部分領域Ｐｌに対応して開口部１０４ｌの位置が定められている。
【００３６】
別言すれば、例えば部分領域Ｐｒと左側画素の相対的な位置関係によって定義される、部分領域Ｐｒから射出される被写体光束の主光線Ｒｒの傾きにより、開口部１０４ｒの位置が定められていると言っても良い。そして、合焦位置に存在する被写体３０からの被写体光束を、開口部１０４ｒを介して光電変換素子１０８が受光する場合、その被写体光束は、点線で図示するように、光電変換素子１０８上で結像する。同様に、右側の画素に向かって、主光線Ｒｌの傾きにより開口部１０４ｌの位置が、定められていると言える。
【００３７】
図４（ａ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１と交差する被写体３０上の微小領域Ｏｔから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素は、それぞれ２つの部分領域ＰｒおよびＰｌを介して、一つの微小領域Ｏｔから放射される光束を受光している。微小領域Ｏｔは、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。同様に、図４（ｂ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１から離間した被写体３０上の微小領域Ｏｕから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素は、それぞれ２つの部分領域ＰｒおよびＰｌを介して、一つの微小領域Ｏｕから放射される光束を受光している。微小領域Ｏｕも、微小領域Ｏｔと同様に、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。
【００３８】
つまり、被写体３０が合焦位置に存在する限りは、撮像素子１００上における繰り返しパターン１１０の位置に応じて、光電変換素子群が捉える微小領域が異なり、かつ、光電変換素子群を構成する各画素は互いに異なる部分領域を介して同一の微小領域を捉えている。そして、それぞれの繰り返しパターン１１０において、対応する画素同士は同じ部分領域からの被写体光束を受光している。つまり、図においては、例えば繰り返しパターン１１０ｔ、１１０ｕのそれぞれの左側の画素は、同じ部分領域Ｐｒからの被写体光束を受光している。
【００３９】
光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔにおいて左側画素が部分領域Ｐｒからの被写体光束を受光する開口部１０４ｒの位置と、周辺部分に配列されている繰り返しパターン１１０ｕにおいて左側画素が部分領域Ｐｒからの被写体光束を受光する開口部１０４ｒの位置は厳密には異なる。しかしながら、機能的な観点からは、部分領域Ｐｒからの被写体光束を受光するための開口マスクという点で、これらを同一種類の開口マスクとして扱うことができる。したがって、図４の例では、撮像素子１００上に配列される視差画素のそれぞれは、２つの視差に対応する２種類の開口マスクの一つを備えると言える。
【００４０】
次に、撮影レンズ２０が非合焦状態に存在する被写体３０を捉えている場合の、視差画素と被写体の関係を説明する。この場合も、非合焦位置に存在する被写体３０からの被写体光束は、撮影レンズ２０の瞳の２つの部分領域ＰｒおよびＰｌを通過して、撮像素子１００へ到達する。ただし、非合焦位置に存在する被写体３０からの被写体光束は、光電変換素子１０８上ではなく他の位置で結像する。例えば、図４（ｃ）に示すように、被写体３０が被写体３０よりも撮像素子１００に対して遠い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３０側で結像する。逆に、被写体が図４（ａ）および（ｂ）の被写体３０よりも撮像素子１００に対して近い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３０とは反対側で結像する。
【００４１】
したがって、非合焦位置に存在する被写体３０のうち、微小領域Ｏｔ'から放射される被写体光束は、２つの部分領域ＰｒおよびＰｌのいずれを通過するかにより、異なる組の繰り返しパターン１１０における対応画素に到達する。例えば、部分領域Ｐｌを通過した被写体光束は、図４（ｃ）の拡大図に示すように、主光線Ｒｌ'として、繰り返しパターン１１０ｔ'に含まれる、開口部１０４ｌを有する光電変換素子１０８へ入射する。そして、微小領域Ｏｔ'から放射された被写体光束であっても、他の部分領域を通過した被写体光束は、繰り返しパターン１１０ｔ'に含まれる光電変換素子１０８へは入射せず、他の繰り返しパターンにおける対応する開口部を有する光電変換素子１０８へ入射する。換言すると、繰り返しパターン１１０ｔ'を構成する各光電変換素子１０８へ到達する被写体光束は、被写体３０の互いに異なる微小領域から放射された被写体光束である。すなわち、左側の開口部１０４ｌに対応する光電変換素子１０８へは主光線をＲｌ'とする被写体光束が入射し、右側の開口部１０４ｒに対応する光電変換素子１０８へは主光線をＲｒ＋とする被写体光束が入射するが、この被写体光束は、被写体３０のＯｔ'とは異なる微小領域から放射された被写体光束である。このような関係は、図４（ｂ）における周辺部分に配列されている繰り返しパターン１１０ｕにおいても同様である。
【００４２】
すると、撮像素子１００の全体で見た場合、例えば、開口部１０４ｌに対応する光電変換素子１０８で被写体３０を捉えた左視差画像と、開口部１０４ｒに対応する光電変換素子１０８で被写体３０を捉えた右視差画像は、合焦位置に存在する被写体に対する画像であれば互いにずれが無く、非合焦位置に存在する被写体に対する画像であればずれが生じることになる。そして、そのずれは、非合焦位置に存在する被写体が合焦位置に対してどちら側にどれだけずれているかにより、また、部分領域Ｐｒと部分領域Ｐｌの距離により、方向と量が定まる。つまり、左視差画像と右視差画像は、互いに視差像となる。
【００４３】
したがって、このように構成されたそれぞれの繰り返しパターン１１０において、互いに対応する画素の出力を寄せ集めると、複数の視差画像が得られる。つまり、２つの部分領域ＰｌおよびＰｒうちの特定の部分領域から射出された被写体光束を受光した画素の出力は、２つの視差画像を形成する。
【００４４】
なお、２種類の開口マスクを用いて２つの視差画像を得ることを説明したが、開口マスクを３種類以上設けることもできる。この場合、開口マスクの種類の数に応じて、３以上の視差画像を得ることができる。
【００４５】
図５（ａ）から図５（ｄ）は、本実施形態に係る絞りと合成開口の関係を説明する概略図である。撮像素子１００には、図３で示した長方形形状の開口部１０４ｌおよび１０４ｒを有する開口マスク１０３が設けられている。図５（ａ）の絞り４０ａは、絞り４０が最大に開口した状態、例えばＦ値が１．８の状態を示す。
【００４６】
図５（ｂ）に示すように、物点Ｏｔから放射された光束は、撮影レンズ２０を通過したのち、絞り４０ａに入射する。絞り４０ａに入射した光束のうち、外周部の光束は絞り４０ａに遮光される。その結果、光軸近傍の光束が撮像素子１００へ入射する。
【００４７】
撮像素子１００に到達した光束のうち部分領域Ｐｌを透過した光束は、開口部１０４ｌを通過し、開口部１０４ｌに対応する光電変換素子に入射する。開口部１０４ｌに対応する光電変換素子には、部分領域Ｐｒを通過した光束は入射しない。したがって、絞り４０ａと開口部１０４ｌとの両方を透過して光電変換素子に到達する光は、絞り４０ａの位置に、当該絞り４０ａと開口部１０４ｌとを光学的に重畳した開口を透過した光と光学的に等価である。この「光学的に重畳した開口」を合成開口という。
【００４８】
図５（ｃ）は、絞り４０ａと開口部１０４ｌとを光学的に重畳した合成開口１３０ｌａを示す。合成開口１３０ｌａは、略円形状の絞り４０ａの紙面左半分に相当する略半円形状となる。合成開口１３０ｌａにおいて光が透過する透過領域の重心は、絞り４０ａの円の中心に対して紙面左側に存在する。図中で、当該重心をＸで示す。
【００４９】
図５（ｄ）は、絞り４０ａと開口部１０４ｒとを光学的に重畳した合成開口１３０ｒａを示す。合成開口１３０ｒａは、略円形状の絞り４０ａの紙面右半分に相当する略半円形状となる。合成開口１３０ｒａの透過領域の重心は、絞り４０ａの円の中心に対して紙面右側に存在している。
【００５０】
合成開口１３０ｌａの透過領域の重心は、部分領域Ｐｌの重心と対応する。よって、合成開口１３０ｌａの透過領域の重心が絞り４０ａからシフトしているシフト量は、絞り４０ａおよび開口部１０４ｌにより得られる視差画像の視差量に対応する。同様に、合成開口１３０ｒａの透過領域の重心のシフト量は、絞り４０ａおよび開口部１０４ｒにより得られる視差画像の視差量に対応する。
【００５１】
このように、本実施形態では、合成開口１３０ｌａおよび合成開口１３０ｒａに対応した形状の複数の部分領域ＰｌおよびＰｒを通過する光束によって、２つの視差像を得ている。
【００５２】
図６（ａ）から図６（ｄ）は、他の絞り値と合成開口の関係を説明する概略図である。図６（ａ）の絞り４０ｂは、絞り４０を図５（ａ）における絞り４０ａよりも絞った状態、例えばＦ値を４．０、に設定した状態を示す。物点Ｏｔから放射され、撮影レンズ２０を通過した光束は、絞り４０ｂで一部が遮光され、撮像素子１００へ入射する。
【００５３】
絞り４０ｂは、絞り４０ａよりも開口領域が狭いので、入射光の光束のうち絞り４０ａよりも光軸に近い領域の光束も遮光する。よって、絞り４０ａを通過する部分領域ＰｌおよびＰｒよりも、絞り４０ｂを通過する部分領域ＰｌおよびＰｒは縮小する。
【００５４】
図６（ｃ）に示すように、部分領域Ｐｌに対応する合成開口１３０ｌｂは、図５（ｃ）の合成開口１３０ｌａと比較して、半円の半径が短くなり、透過領域の重心の位置がより円の中心に近くなる。同様に、図６（ｄ）に示すように、部分領域Ｐｒに対応する、略半円形状の合成開口１３０ｒｂは、図５（ｄ）の合成開口１３０ｒａと比較して、半円の半径が短くなり、透過領域の重心の位置がより円の中心に近くなる。
【００５５】
よって、合成開口１３０ｌｂおよび１３０ｒｂに対応する視差画像は、合成開口１３０ｌａおよび１３０ｒａに対応する視差画像よりも視差量が小さくなる。このように、絞り値を変更することで、撮像素子１００の構成や撮影位置を変えることなく、一つのシーンについて異なる視差量の視差画像を得られる。すなわち、絞り値を変更することで、撮像素子１００の構成や撮影位置を変えることなく、また、複数の光学系を用いることなく、一つのシーンについて、異なる視点からの視差画像を得ることができる。
【００５６】
図７（ａ）から図８（ｄ）は、さらに他の絞りと合成開口の関係を説明する概略図である。図７（ａ）の絞り４０ｃは、絞り４０を図６の絞り４０ｂよりも絞った状態、例えばＦ値が８．０の状態を示し、図８（ａ）の絞り４０ｄは、さらに絞った状態、例えば、Ｆ値が１１．０の状態を示す。
【００５７】
図７（ａ）における絞り４０ｃは、図６（ａ）における絞り４０ｂによりもさらに透過領域が狭いので、図７（ｃ）および図７（ｄ）に示すように、合成開口１３０ｌｃおよび１３０ｒｃに対応する視差画像は、合成開口１３０ｌｂおよび１３０ｒｂに対応する視差画像よりも視差量がさらに小さくなる。同様に、図８（ｃ）および図８（ｄ）に示すように、合成開口１３０ｌｄおよび１３０ｒｄに対応する視差画像は、合成開口１３０ｌｃおよび１３０ｒｃに対応する視差画像よりも視差量がさらに小さくなる。
【００５８】
以上、図５から図８の実施形態によれば、絞り４０の絞り値を変えて複数回撮像することにより、一の撮像素子１００について、当該撮像素子１００に含まれる開口マスクの種類の数に対応する視点よりも多くの視点に対応する視差画像を得ることができる。上記実施形態において、開口マスクの種類が２種の場合に、互いに異なる３つの絞り値で撮像することにより、一つのシーンに対して６（＝２×３）個の異なる視差画像を得ることができる。
【００５９】
図９は、合成開口と別の合成開口との差分に基づいて生成される視差画像に対応する合成開口の例である。より具体的には、図９の合成開口１３０ｌｅ〜ｌｇは、図５から図８の合成開口１３０ａ〜ｄに対応する視差画像の差分に基づいて生成された視差画像に対応する。
【００６０】
図５の絞り４０ａを用いて撮像された第１視差画像と、図６の絞り４０ｂを用いて撮像された第２視差画像との差分をとることにより、新しい視差画像である第３視差画像が得られる。例えば、合成開口１３０ｌａに対応する第１視差画像の画素値から、合成開口１３０ｌｂに対応する第２視差画像における対応する画素値を引くと、合成開口１３０ｌａを通過する光束から合成開口１３０ｌｂを通過する光束を除いた光束から生成される第３視差画像の画素値が得られる。当該第３視差画像は、合成開口１３０ｌａの透過領域から合成開口１３０ｌｂの透過領域を除いた合成開口１３０ｌｅを透過した光束により得られる画像と光学的に等価である。
【００６１】
合成開口１３０ｌｅの透過領域の重心の位置は、合成開口１３０ｌａおよび合成開口１３０ｌｂの透過領域のいずれの重心と異なる。合成開口１３０ｌｅの透過領域の重心の位置は、合成開口１３０ｌａおよび合成開口１３０ｌｂの両方と比較して、より円の中心から遠くなる。すなわち、合成開口１３０ｌｅに対応する第３視差画像は、合成開口１３０ｌａに対応する第１視差画像および合成開口１３０ｌｂに対応する第２視差画像よりも視差量が大きくなる。よって、図５から図７で得られた撮影時の視差画像に対応する視点とは異なる視点からの視差画像を得ることができる。
【００６２】
同様に、合成開口１３０ｒａに対応する第１視差画像と、合成開口１３０ｒｂに対応する第２視差画像との差分から、新たな第３視差画像をえることができる。
【００６３】
ここで、差分をとる場合に、複数の視差のそれぞれについて、第１視差画像と第２視差画像との間で、絞り以外の露光条件が対応するように、それぞれの視差画像の全体の明るさを調整することが好ましい。露光条件は、例えば、感度、露光時間である。
【００６４】
絞り以外の露光条件は、図５から図８の視差画像の撮像時に制御部２０１により設定されている。すなわち、感度と露光時間のそれぞれ、またはそれらの積を予め一致させておいて、図５から図８の撮像を行う。
【００６５】
他の例として、図５から図８の撮像後にそれらの視差画像を取得してから、絞り以外の露光条件が等しくなるように画像処理してもよい。例えば、図５においてＩＳＯ感度１００でシャッター速度１／２５秒で第１視差画像を撮像し、図６においてＩＳＯ感度１００でシャッター速度１／５０秒で第２視差画像を撮像した場合は、第２視差画像の明るさを約２倍することにより、第１視差画像の露光条件とあわせてもよい。
【００６６】
このような調整を行うと、合成開口１３０ｌａを通過する光束から合成開口１３０ｌｂを通過する光束を過不足なく除くことができ、より自然な第３視差画像を得ることができる。なお、絞り値、感度および露光時間を含む露光条件は、撮像時に取得されて視差画像のヘッダ部分に書き込まれる。
【００６７】
新たに生成した第３視差画像における合焦領域の明るさが、第１視差画像の合焦領域の明るさ、第２視差画像の合焦領域の明るさと異なる場合がある。よって、第３視差画像における合焦領域の明るさが、第１視差画像の合焦領域の明るさ、第２視差画像の合焦領域の明るさ、および、それらの平均のいずれかと同じになるように、第３視差画像の全体の明るさを調整してもよい。これにより、画像処理により生成した第３視差画像の明るさを、実際に撮像した他の視差画像と揃えて、それら全体の視差画像の不自然さを抑えることができる。
【００６８】
図６で得られた視差画像、図７で得られた視差画像および図８で得られた視差画像のそれぞれの差分をもちいて、さらに新たな視差画像を生成することができる。図９の合成開口１３０ｌｆは、図６の合成開口１３０ｌｂに対応する視差画像から図７の合成開口１３０ｌｃに対応する視差画像の差分をとることにより生成される視差画像に対応する開口である。同様に、図９の合成開口１３０ｌｇは、図７の合成開口１３０ｌｃに対応する視差画像から図８の合成開口１３０ｌｄに対応する左視差画像の差分をとることにより生成される開口である。合成開口１３０ｒｂ〜１３０ｒｄについてもそれらに対応する視差画像の差分から新たな視差画像を生成することができる。
【００６９】
以上、図９の実施形態によれば、複数の視差のそれぞれについて、絞り値を変更して得られた複数の視差画像の差分をとることにより、撮像時の開口マスクに対応した複数の視差とは異なる新たな視差に対応した視差画像を生成する。これにより、撮像素子１００の構成や撮影位置を変えることなく、一つのシーンについて、撮像時の開口マスクに対応する視差量とは異なる視差量の視差画像を得られる。すなわち、撮像素子１００の構成や撮影位置を変えることなく、一つのシーンについて、撮像時の開口マスクに対応する視点とは異なる視点からの視差画像を得ることができる。また、絞り値を変更して得られた複数の視差画像の差分に対応する合成開口は、撮像時の開口マスクよりも開口面積が小さいので、差分により生成された視差画像の被写界深度はより深くなる。したがって、この方法によれば、ボケが少なく視差がより強調された視差画像を取得することができる。
【００７０】
図１０は、視差画像を生成する処理を説明する概念図である。左列から順に、合成開口１３０ｌｅに対応する視差画素の出力を集めて生成される視差画像データの生成の様子、合成開口１３０ｌａに対応する視差画像データの生成の様子、合成開口１３０ｌｂに対応する視差画像データの生成の様子、合成開口１３０ｒｂに対応する視差画像データの生成の様子を説明する。
【００７１】
既に説明したように、絞り４０ｂでの撮影により、合成開口１３０ｌｂおよび合成開口１３０ｒｂに対応する視差画像が得られる。２つの左右視差画素を一組とする光電変換素子群から成る繰り返しパターン１１０は、例えば横一列に配列されている。したがって、開口部１０４ｌを有する視差画素は、例えば撮像素子１００上において、左右方向に２画素おき、かつ、上下方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる部分領域からの被写体光束を受光している。したがって、これらの視差画素の出力を寄せ集めて配列すると、合成開口１３０ｌｂに対応する視差画像と、および合成開口１３０ｒｂに対応する視差画像とが得られる。
【００７２】
しかし、本実施形態における撮像素子１００の各画素は正方画素であるので、単に寄せ集めただけでは、横方向の画素数が１／２に間引かれた結果となり、縦長の画像データが生成されてしまう。そこで、補間処理を施して横方向に２倍の画素数とすることにより、本来のアスペクト比の画像として視差画像データを生成する。ただし、そもそも補間処理前の視差画像データが横方向に１／２に間引かれた画像であるので、横方向の解像度は、縦方向の解像度よりも低下している。つまり、生成される視差画像データの数と、解像度の向上は相反関係にあると言える。
【００７３】
絞り値を変更し、絞り４０ａの状態で視差画像を取得すると、合成開口１３０ｌａに対応する左視差画像が得られる。さらに、合成開口１３０ｌａに対応する左視差画像と、合成開口１３０ｌｂに対応する左視差画像の差分から、合成開口１３０ｌｅに対応する新しい視差画像が得られる。
【００７４】
合成開口１３０ｌａ、合成開口１３０ｌｂ、合成開口１３０ｒｂに対応する視差画像データについても、上記補間処理を行う。これにより、デジタルカメラ１０は、横方向に視差を有する４視点の視差画像を生成することができる。上記の例では、横一列を繰り返しパターン１１０として周期的に配列される例を説明したが、繰り返しパターン１１０はこれに限らない。
【００７５】
ここで、図５から図８の合成開口１３０ｌａ〜１３０ｌｄ、１３０ｒａ〜１３０ｒｄに対応する８個の視差画像、および、それらの差分を示す合成開口１３０ｌｅ等の６個の視差画像により、計１４種類の視差画像を得ることができる。すなわち、２種類の開口部を有する撮像素子１００、４つの絞り値、および、画像処理によって、１４個の異なる視点からの視差画像を得ることができる。
【００７６】
次に、カラーフィルタ１０２と視差画像について説明する。図１１は、ベイヤー配列を説明する図である。図示するように、ベイヤー配列は、緑フィルタが左上と右下の２画素に、赤フィルタが左下の１画素に、青フィルタが右上の１画素に割り当てられる配列である。ここでは、緑フィルタが割り当てられた左上の画素をＧｂ画素と、同じく緑色フィルタが割り当てられた右下の画素をＧｒ画素とする。また、赤色フィルタが割り当てられた画素をＲ画素と、青色が割り当てられた画素をＢ画素とする。そして、Ｇｂ画素およびＢ画素が並ぶ横方向をＧｂ行とし、Ｒ画素およびＧｒ画素が並ぶ横方向をＧｒ行とする。また、Ｇｂ画素およびＲ画素が並ぶ縦方向をＧｂ列とし、Ｂ画素およびＧｒ画素が並ぶ縦方向をＧｒ列とする。
【００７７】
このようなカラーフィルタ１０２の配列に対して、視差画素と視差なし画素を、何色の画素にどのような周期で割り振っていくかにより、膨大な数の繰り返しパターン１１０が設定され得る。視差なし画素の出力を集めれば、通常の撮影画像と同じく視差のない撮影画像データを生成することができる。したがって、相対的に視差なし画素の割合を増やせば、解像度の高い２Ｄ画像を出力させることができる。この場合、視差画素は相対的に少ない割合となるので、複数の視差画像からなる３Ｄ画像としては画質が低下する。逆に、視差画素の割合を増やせば、３Ｄ画像としては画質が向上するが、視差なし画素は相対的に減少するので、解像度の低い２Ｄ画像が出力される。
【００７８】
図１２は、カラーフィルタおよび視差画素の配列のバリエーションの一例を示す図である。図の例においては、ベイヤー配列と同じ４画素を繰り返しパターン１１０とする。Ｒ画素とＢ画素は視差なし画素であり、Ｇｂ画素を視差Ｌ画素に、Ｇｒ画素を視差Ｒ画素に割り当てる。この場合、同一の繰り返しパターン１１０に含まれる視差Ｌ画素と視差Ｒ画素は、被写体が合焦位置に存在するときに、同じ部分領域から放射される光束を受光するように開口部１０４が定められる。
【００７９】
図の例においては、視感度の高い緑画素であるＧｂ画素およびＧｒ画素を視差画素として用いるので、コントラストの高い視差画像を得ることが期待できる。また、同じ緑色画素であるＧｂ画素およびＧｒ画素を視差画素として用いるので、これら２つの出力から視差のない出力に変換演算がし易く、視差なし画素であるＲ画素およびＢ画素の出力と共に、高画質の２Ｄ画像データを生成できる。
【００８０】
図１３は、第２の実施形態に係る開口マスクの形状を説明する図である。図においては、開口マスク１０３の開口部２０４ｌおよび２０４ｒの形状を視差方向と垂直な辺の長さが視差方向と平行な辺の長さよりも短い矩形とした。
【００８１】
図１４（ａ）から図１７（ｄ）は、第２の実施形態に係る絞りと合成開口の関係を説明する概略図である。本実施形態は、開口マスク１０３の開口部１０４の形状が異なる以外は、図５〜図８において説明した第１の実施形態と同じである。
【００８２】
図１４（ｃ）に示すように、図１３の開口マスク１０３を用いることにより、合成開口２３０ｌａの透過領域は、図５（ｃ）における合成開口１３０ｌａと比較して、半円の上下部分が省かれた形状となっている。同様に、図１４（ｄ）の合成開口２３０ｌａの透過領域は、図５（ｄ）の合成開口１３０ｌａと比較して、半円の上下部分が省かれた形状となっている。
【００８３】
同様に、図１４とは絞り値を変えて撮像した図１５〜１７における合成開口２３０ｌｂ〜ｄおよび２３０ｒｂ〜ｄの透過領域は、図６〜８における合成開口１３０ｌｂ〜ｄおよび１３０ｒｂ〜ｄと比較して、左右に分割された半円の上下部分が省かれた形状となっている。また、合成開口２３０ｌａ〜ｄの透過領域の重心は中央から離れている順に、合成開口２３０ｌａ〜ｄとなっている。合成開口２３０ｒａ〜ｄの透過領域の重心は中央から離れている順に、合成開口２３０ｒａ〜ｄとなっている。
【００８４】
図１８は、本実施形態において撮影時の視差画像の差分に基づいて形成される新たな視差画像に対応する合成開口の例である。合成開口２３０ｌｅは、合成開口２３０ｌａに対応する視差画像から合成開口２３０ｌｂに対応する視差画像を減算して生成される新たな視差画像に対応する開口である。合成開口２３０ｌｆは、合成開口２３０ｌｂに対応する視差画像から合成開口２３０ｌｃに対応する視差画像を減算して生成される新たな視差画像に対応する開口である。合成開口２３０ｌｇは、合成開口２３０ｌｃに対応する視差画像から合成開口２３０ｌｄに対応する視差画像を減算して生成される新たな視差画像に対応する開口である。
【００８５】
合成開口２３０ｌｅ〜２３０ｌｇは、合成開口１３０ｌｅ〜１３０ｌｇと比べると、三日月形状の端部の湾曲した部分が少ないので、合成開口２３０ｌｅ〜２３０ｌｇは、合成開口１３０ｌｅ〜１３０ｌｇと比較して、透過領域の重心の位置を円弧の中心から離すことができる。このため、本実施形態に係る合成開口２３０ｌｅ〜２３０ｌｇに対応する視差画像は、第１の実施形態に係る合成開口１３０ｌｅ〜１３０ｌｇに対応する視差画像と比較して、視差量を大きくすることができる。
【００８６】
図１９は、第３の実施形態に係る開口マスクの形状を説明する図である。この図においては、開口マスク１０３は、斜め方向にシフトするように配置された正方形の開口部３０４ｌおよび３０４ｒを有する。具体的には、開口部３０４ｌおよび３０４ｒは、左上方向および右下方向にシフトされている。このような開口マスク１０３を有する撮像素子１００は、上下方向および左右方向に視差を与える。
【００８７】
図２０（ａ）から図２３（ｄ）は、第３の実施形態に係る絞りと合成開口の関係を説明する概略図である。本実施形態は、開口マスク１０３の開口部３０４ｌおよび３０４ｒの形状が異なる以外は、図５〜図８において説明した第１の実施形態と同じである。
【００８８】
図２０（ｃ）に示すように、図１９の開口マスク１０３を用いることにより、合成開口３３０ｌａの透過領域は、図５（ｃ）における合成開口１３０ｌａと比較して、半円の下半分が省かれた形状となっている。また、図２０（ｄ）の合成開口３３０ｒａの透過領域は、図５（ｄ）における合成開口１３０ｒａと比較して、半円の上半分が省かれた形状となっている。
【００８９】
同様に、図２０とは絞り値を変えて撮像した図２１〜２３における合成開口３３０ｌｂ〜ｄおよび３３０ｒｂ〜ｄの開口は、図６〜８における合成開口１３０ｌｂ〜ｄおよび１３０ｒｂ〜ｄと比較して、半円の上半分または下半分が省かれた形状となっている。また、合成開口３３０ｌａ〜ｄの透過領域の重心は中央から離れている順に、合成開口３３０ｌａ〜ｄとなっている。合成開口３３０ｒａ〜ｄの透過領域の重心は中央から離れている順に、合成開口３３０ｒａ〜ｄとなっている。
【００９０】
図２４は、本実施形態において撮影時の視差画像の差分に基づいて形成される新たな視差画像に対応する合成開口の例である。合成開口３３０ｌｅは、合成開口３３０ｌａに対応する視差画像から合成開口３３０ｌｂに対応する視差画像を減算することにより生成される視差画像に対応する開口である。合成開口３３０ｌｆは、合成開口３３０ｌｂに対応する視差画像から合成開口３３０ｌｃに対応する視差画像を減算して生成される新たな視差画像に対応する開口である。合成開口３３０ｌｇは、合成開口３３０ｌｃに対応する視差画像から合成開口３３０ｌｄに対応する視差画像を減算して生成される視差画像に対応する開口である。
【００９１】
上記合成開口３３０ｌｅ〜３３０ｌｇの透過領域の重心は左右方向および上下方向にシフトしている。よって、本実施形態に係る合成開口３３０ｌｅ〜３３０ｌｇに対応する視差画像は、左右方向および上下方向に視差を有する。
【００９２】
図２５（ａ）〜（ｈ）は、第４の実施形態に係る、視差画素をカラー化する方法を示す図である。図２５（ａ）および（ｅ）は、カラー画像用の撮像素子上でベイヤー配列されたカラーフィルタに、開口マスクの複数種類の開口部を割り当てた例を示す。右上の青画素Ｂと左下の赤画素Ｒには、横長形状の開口部が割り当てられる。左上の緑画素Ｇには、横長形状の左半分が開口した開口部が割り当てられ、右下の緑画素Ｇには横長形状の右半分が開口した開口部が割り当てられる。このように、緑画素Ｇの左半分の開口と右半分の開口を足し合わせると、赤画素Ｒおよび青画素Ｂの開口と等しくなる。
【００９３】
ここで、図２５（ａ）のように色ごとに配置された開口部と、（ｂ）に示される最大に開口した絞り４０ａとを合成すると、（ｃ）に示されるような合成開口が得られる。（ａ）と同様に、緑画素Ｇの左半分の合成開口と右半分の合成開口を足し合わせると、赤画素Ｒおよび青画素Ｂの合成開口と等しくなる。緑画素Ｇについては、左半分開口の緑画素と右半分開口の緑画素を組み合わせることにより、左右方向に視差を有する１組の視差画素を構成するが、青画素Ｂおよび赤画素Ｒは視差無し画素である。したがって、このままでは緑単色の視差画像は得られるが、フルカラーの視差画像を得ることができない。
【００９４】
そこで、左右の緑画素Ｇの光強度等の画素値を、青画素Ｂおよび赤画素Ｒに適用することにより、青色および赤色についても仮想的に左右の画素値を得る。具体的には、
Ｒ（ｌｔ）＝Ｒ（ｎ）×Ｇ（ｌｔ）／（Ｇ（ｌｔ）＋Ｇ（ｒｔ）） …数式１
Ｒ（ｒｔ）＝Ｒ（ｎ）×Ｇ（ｒｔ）／（Ｇ（ｌｔ）＋Ｇ（ｒｔ）） …数式２
を演算することにより、左右の赤画素の画素値Ｒ（ｌｔ）およびＲ（ｒｔ）が得られ、赤単色の視差画像が取得される。Ｒ（ｌｔ）およびＲ（ｒｔ）は、演算される赤色の左視差画素および右視差画素の画素値を示し、Ｒ（ｎ）は、検出された視差なし赤画素Ｒの画素値を示し、Ｇ（ｌｔ）およびＧ（ｒｔ）は、検出された左視差の緑画素および右視差の緑画素の画素値を示す。
【００９５】
同様に、青色についても、
Ｂ（ｌｔ）＝Ｂ（ｎ）×Ｇ（ｌｔ）／（Ｇ（ｌｔ）＋Ｇ（ｒｔ）） …数式３
Ｂ（ｒｔ）＝Ｂ（ｎ）×Ｇ（ｒｔ）／（Ｇ（ｌｔ）＋Ｇ（ｒｔ）） …数式４
を計算することにより、左右の青画素の画素値Ｂ（ｌｔ）およびＢ（ｒｔ）が得られ、青単色の視差画像が取得される。Ｂ（ｌｔ）およびＢ（ｒｔ）は、計算される左視差の青画素および右視差の青画素の画素値を示し、Ｂ（ｎ）は、検出された視差なし青画素Ｂの画素値を示す。図２５（ｄ）は、このようにして得られた左右視差を有する赤緑青画素に対応する合成開口を示す。
【００９６】
同様に、図２５（ｅ）に示される開口部と、４０ａよりも絞りを絞った図２５（ｆ）の絞り４０ｂとを合成すると、図２５（ｇ）に示されるような合成開口が得られる。図２５（ｈ）は、図２５（ｄ）と同様の方法により得られた、左右視差を有する赤緑青画素に対応する合成開口を示す。（ｃ）と同様に、緑画素Ｇの左半分の合成開口と右半分の合成開口を足し合わせると、赤画素Ｒおよび青画素Ｂの合成開口と等しくなる関係は維持される。図２５（ｄ）の合成開口から得られるカラー視差画像は、図２５（ｈ）の合成開口から得られるカラー視差画像よりも視差量が大きく立体感が強調される。このように、絞りの絞り値を変化させることで、異なる視点からのカラー視差画像を得ることができる。
【００９７】
図２６は、図２５で得られたカラー視差画像から視差の異なるカラー視差画像を得る方法を示す概念図である。図２６（ａ）は図２５（ｄ）のＲＧＢの合成開口に対応し、図２６（ｂ）は図２５（ｈ）のＲＧＢの合成開口に対応する。図２６（ａ）の合成開口に対応する視差画像から、図２６（ｂ）の合成開口に対応する視差画像を差分することにより、図２６（ｃ）の合成開口に対応する視差画像を得ることができる。
【００９８】
図２６（ｃ）の合成開口は、図２６（ａ）の合成開口と比較して、重心の位置を画素の中心から離すことができる。このため、図２６（ｃ）の合成開口に対応する視差画像は、図２６（ａ）の合成開口に対応する視差画像と比較して、視差量が大きくなり立体感が強調される。さらに、図２６（ｃ）の合成開口に対応する視差画像は、（ａ）と比較して開口面積が小さいので、被写界深度が深くボケが生じにくい。したがって、この方法によれば、視差がより強調された鮮明なカラー視差画像を得ることができる。
【００９９】
カラーフィルタの色配列はベイヤー配列でなくてもよい。例えば、単位配列中のいずれかの画素が色のないホワイト画素Ｗであってもよい。また、左右の開口は、緑画素Ｇでなく、赤画素Ｒ、青画素Ｂ、またはホワイト画素Ｗに割り当てられても良い。ただし、一部の色の画素に対してのみ左右の開口を割り当てる場合には、カラー視差画像を得るために数式１〜４を用いて他の色の画素値を演算する必要が生じる。従って、この場合は、数式１〜４が適用できるように、視差画素に設けられる左右の開口を合成した開口と、視差無し画素に設けられる全開口を等しくすることが望ましい。
【０１００】
図２７は、第１視差画素および第２視差画像に基づいて第３視差画素を生成する場合において、第１視差画像の取得からの視差画像の生成までの処理フローを示す図である。本フローにおける一連の処理は、制御部２０１が操作部材を介してユーザから視差画像生成の指示を受け付けたとき、または、予め定められた制御プログラムに視差画像生成が組み込まれているとき等に開始される。
【０１０１】
ステップＳ１００では、制御部２０１により撮影動作が行われて、撮像素子１００から画像処理部２０５が開口部１０３の種類の数に対応した数の第１視差画像を取得する。ステップＳ２００では、制御部２０１が絞り４０の絞り値を変更した後、さらに撮影動作が行われ、開口部１０３の種類の数に対応した数の第２視差画像を取得する。絞り値の変更は上記の通り制御部２０１が自動的に行う、いわゆるブラケット撮影でもよいし、マニュアルにより絞り値が切り替えられてもよい。また、絞り値の変更およびその後の撮像の回数は、２回以上であってもよい。ステップ３００では、画像処理部２０５が第１視差画像と第２視差画像の差分をとることで、第３視差画像を生成する。画像処理部２０５は当該第１視差画像、第２視差画像および第３視差画像をそれぞれの視差に対応付けてメモリカード２２０に保存する。
【０１０２】
図２８は、第１視差画素および第２視差画像に基づいて視差画像群を生成する場合において、第１視差画像の取得からの視差画像の生成までの処理フローを示す図である。本フローにおける一連の処理は、制御部２０１が操作部材を介してユーザから視差画像生成の指示を受け付けたとき、または、予め定められた制御プログラムに視差画像生成が組み込まれているとき等に開始される。
【０１０３】
ステップＳ２０１では、制御部２０１により撮影動作が行われ、撮像素子１００から画像処理部２０５が開口部１０３の種類の数に対応した数の第１視差画像を取得する。ステップＳ２０１では、制御部２０１が絞り４０の絞り値を変更した後、さらに撮影動作が行われ、開口部１０３の種類の数に対応した数の第２視差画像を取得する。絞り値の変更は上記の通り制御部２０１が自動的に行う、いわゆるブラケット撮影でもよいし、マニュアルにより絞り値が切り替えられてもよい。また、絞り値の変更およびその後の撮像の回数は、２回以上であってもよい。ステップ３０１では、画像処理部２０５は、第１視差画像と第２視差画像とを互いに、異なる視差に対応付けて、視差画像群メモリカード２２０に保存する。
【０１０４】
なお、上記実施形態はいずれも絞り４０を開いた状態から徐々に絞っているが、これに代えて、絞った状態から徐々に開いてもよい。また、撮像時の視差画像の差分に基づいた新たな視差画像を生成する場合に、絞り値が隣接していない例えば図５の視差画像と図７の視差画像との差分から新たな視差画像を生成してもよい。
【０１０５】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【０１０６】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【０１０７】
１０ デジタルカメラ、２０ 撮影レンズ、２１ 光軸、３０ 被写体、４０、４０ａ、４０ｂ、４０ｃ、４０ｄ 絞り、１００ 撮像素子、１０１ マイクロレンズ、１０２ カラーフィルタ、１０３ 開口マスク、１０４、１０４ｌ、１０４ｒ 開口部、１０５ 配線層、１０６ 配線、１０７ 開口、１０８ 光電変換素子、１０９ 基板、１１０ 繰り返しパターン、１２０ 撮像素子、１２１ スクリーンフィルタ、１２２ カラーフィルタ部、１２３ 開口マスク部、１３０ａ、１３０ｂ、１３０ｃ、１３０ｄ、１３０ｅ、１３０ｆ、１３０ｇ 合成開口、２０４ 駆動部、２０１ 制御部、２０２ Ａ／Ｄ変換回路、２０３ メモリ、２０４ｌ、２０４ｒ 開口部、２０５ 画像処理部、２０７ メモリカードＩＦ、２０８ 操作部、２０９ 表示部、２１０ ＬＣＤ駆動回路、２１１ ＡＦセンサ、２２０ メモリカード、２３０ａ、２３０ｂ、２３０ｃ、２３０ｄ、２３０ｅ、２３０ｆ、２３０ｇ 合成開口、３０４ｌ、３０４ｒ 開口部、３３０ａ、３３０ｂ、３３０ｃ、３３０ｄ、３３０ｅ、３３０ｆ、３３０ｇ 合成開口
【特許請求の範囲】
【請求項１】
二次元的に配された複数の光電変換素子に対して、複数の視差に対応した複数種類の開口マスクを一対一に対応させて設けた撮像素子により撮像された複数の第１視差画像を取得する第１視差画像取得段階と、
前記複数の光電変換素子全体に対して設けられた絞りにより、前記第１視差画像取得段よりも入射光の光軸に対する周縁の光束を遮光して、前記撮像素子により撮像された複数の第２視差画像を取得する第２視差画像取得段階と、
複数の視差のそれぞれについて、前記第１視差画像と前記第２視差画像と、の差分に基づいて、前記複数種類の開口マスクに対応した前記複数の視差とは異なる新たな視差に対応した第３視差画像を生成する視差画像生成段階と
を備える画像処理方法。
【請求項２】
前記視差画像生成段階において、複数の視差のそれぞれについて、前記第１視差画像と前記第２視差画像との間で、絞り以外の露光条件が対応するように、それぞれの視差画像の全体の明るさを調整して、差分をとる請求項１に記載の画像処理方法。
【請求項３】
前記視差画像生成段階において、前記第１視差画像の画素の画素値と、前記第２視差画像における対応する画素の画素値と、の差分を画素値とすることにより、前記第３視差画像を生成する請求項１または２に記載の画像処理方法。
【請求項４】
前記第３視差画像における合焦領域の明るさが、前記第１視差画像の合焦領域の明るさ、前記第２視差画像の合焦領域の明るさ、および、それらの平均のいずれかと同じになるように、前記第３視差画像の全体の明るさを調整する画像調整段階をさらに備える請求項１から３のいずれか１項に記載の画像処理方法。
【請求項５】
前記絞りは、虹彩絞りである請求項１から４のいずれか１項に記載の画像処理方法。
【請求項６】
二次元的に配された複数の光電変換素子に対して、複数の視差に対応した複数種類の開口マスクを一対一に対応させて設けた撮像素子により撮像された複数の第１視差画像を取得する第１視差画像取得段階と、
前記複数の光電変換素子全体に対して設けられた絞りにより、前記第１視差画像取得段よりも入射光の光軸に対する周縁の光束を遮光して、前記撮像素子により撮像された複数の第２視差画像を取得する第２視差画像取得段階と、
前記第１視差画像と前記第２視差画像とを互いに、異なる視差に対応付けて、視差画像群を生成する画像群生成段階と
を備える画像処理方法。
【請求項７】
前記画像群生成段階において、複数の視差のそれぞれについて、前記第１視差画像における合焦領域の明るさと前記第２視差画像における合焦領域の明るさとが同じになるように、それぞれの視差画像の全体の明るさを調整して、前記視差画像群を生成する請求項６に記載の画像処理方法。
【請求項８】
前記絞りは、虹彩絞りである請求項６または７に記載の画像処理方法。
【請求項９】
前記撮像素子は、前記光電変換素子のそれぞれに一対一に対応して設けられる複数色のフィルタを含むカラーフィルタを有する、請求項１から８のいずれか１項に記載の画像処理方法。
【請求項１０】
二次元的に配された複数の光電変換素子に対して、複数の視差に対応した複数種類の開口マスクを一対一に対応させて設けた撮像素子により撮像された複数の第１視差画像を取得する第１視差画像取得ステップと、
前記複数の光電変換素子全体に対して設けられた絞りにより、前記第１視差画像取得ステップよりも入射光の光軸に対する周縁の光束を遮光して、前記撮像素子により撮像された複数の第２視差画像を取得する第２視差画像取得ステップと、
複数の視差のそれぞれについて、前記第１視差画像と前記第２視差画像と、の差分に基づいて、前記複数種類の開口マスクに対応した前記複数の視差とは異なる新たな視差に対応した第３視差画像を生成する視差画像生成ステップと
をコンピュータにより実行させる撮像装置の画像処理プログラム。
【請求項１１】
二次元的に配された複数の光電変換素子に対して、複数の視差に対応した複数種類の開口マスクを一対一に対応させて設けた撮像素子により撮像された複数の第１視差画像を取得する第１視差画像取得ステップと、
前記複数の光電変換素子全体に対して設けられた絞りにより、前記第１視差画像取得ステップよりも入射光の光軸に対する周縁の光束を遮光して、前記撮像素子により撮像された複数の第２視差画像を取得する第２視差画像取得ステップと、
前記第１視差画像と前記第２視差画像とを互いに、異なる視差に対応付けて、視差画像群を生成する画像群生成ステップと
をコンピュータにより実行させる撮像装置の画像処理プログラム。
【請求項１２】
前記撮像素子は、前記光電変換素子のそれぞれに一対一に対応して設けられる複数色のフィルタを含むカラーフィルタを有する、請求項１０または１１に記載の撮像装置の画像処理プログラム。
【請求項１】
二次元的に配された複数の光電変換素子に対して、複数の視差に対応した複数種類の開口マスクを一対一に対応させて設けた撮像素子により撮像された複数の第１視差画像を取得する第１視差画像取得段階と、
前記複数の光電変換素子全体に対して設けられた絞りにより、前記第１視差画像取得段よりも入射光の光軸に対する周縁の光束を遮光して、前記撮像素子により撮像された複数の第２視差画像を取得する第２視差画像取得段階と、
複数の視差のそれぞれについて、前記第１視差画像と前記第２視差画像と、の差分に基づいて、前記複数種類の開口マスクに対応した前記複数の視差とは異なる新たな視差に対応した第３視差画像を生成する視差画像生成段階と
を備える画像処理方法。
【請求項２】
前記視差画像生成段階において、複数の視差のそれぞれについて、前記第１視差画像と前記第２視差画像との間で、絞り以外の露光条件が対応するように、それぞれの視差画像の全体の明るさを調整して、差分をとる請求項１に記載の画像処理方法。
【請求項３】
前記視差画像生成段階において、前記第１視差画像の画素の画素値と、前記第２視差画像における対応する画素の画素値と、の差分を画素値とすることにより、前記第３視差画像を生成する請求項１または２に記載の画像処理方法。
【請求項４】
前記第３視差画像における合焦領域の明るさが、前記第１視差画像の合焦領域の明るさ、前記第２視差画像の合焦領域の明るさ、および、それらの平均のいずれかと同じになるように、前記第３視差画像の全体の明るさを調整する画像調整段階をさらに備える請求項１から３のいずれか１項に記載の画像処理方法。
【請求項５】
前記絞りは、虹彩絞りである請求項１から４のいずれか１項に記載の画像処理方法。
【請求項６】
二次元的に配された複数の光電変換素子に対して、複数の視差に対応した複数種類の開口マスクを一対一に対応させて設けた撮像素子により撮像された複数の第１視差画像を取得する第１視差画像取得段階と、
前記複数の光電変換素子全体に対して設けられた絞りにより、前記第１視差画像取得段よりも入射光の光軸に対する周縁の光束を遮光して、前記撮像素子により撮像された複数の第２視差画像を取得する第２視差画像取得段階と、
前記第１視差画像と前記第２視差画像とを互いに、異なる視差に対応付けて、視差画像群を生成する画像群生成段階と
を備える画像処理方法。
【請求項７】
前記画像群生成段階において、複数の視差のそれぞれについて、前記第１視差画像における合焦領域の明るさと前記第２視差画像における合焦領域の明るさとが同じになるように、それぞれの視差画像の全体の明るさを調整して、前記視差画像群を生成する請求項６に記載の画像処理方法。
【請求項８】
前記絞りは、虹彩絞りである請求項６または７に記載の画像処理方法。
【請求項９】
前記撮像素子は、前記光電変換素子のそれぞれに一対一に対応して設けられる複数色のフィルタを含むカラーフィルタを有する、請求項１から８のいずれか１項に記載の画像処理方法。
【請求項１０】
二次元的に配された複数の光電変換素子に対して、複数の視差に対応した複数種類の開口マスクを一対一に対応させて設けた撮像素子により撮像された複数の第１視差画像を取得する第１視差画像取得ステップと、
前記複数の光電変換素子全体に対して設けられた絞りにより、前記第１視差画像取得ステップよりも入射光の光軸に対する周縁の光束を遮光して、前記撮像素子により撮像された複数の第２視差画像を取得する第２視差画像取得ステップと、
複数の視差のそれぞれについて、前記第１視差画像と前記第２視差画像と、の差分に基づいて、前記複数種類の開口マスクに対応した前記複数の視差とは異なる新たな視差に対応した第３視差画像を生成する視差画像生成ステップと
をコンピュータにより実行させる撮像装置の画像処理プログラム。
【請求項１１】
二次元的に配された複数の光電変換素子に対して、複数の視差に対応した複数種類の開口マスクを一対一に対応させて設けた撮像素子により撮像された複数の第１視差画像を取得する第１視差画像取得ステップと、
前記複数の光電変換素子全体に対して設けられた絞りにより、前記第１視差画像取得ステップよりも入射光の光軸に対する周縁の光束を遮光して、前記撮像素子により撮像された複数の第２視差画像を取得する第２視差画像取得ステップと、
前記第１視差画像と前記第２視差画像とを互いに、異なる視差に対応付けて、視差画像群を生成する画像群生成ステップと
をコンピュータにより実行させる撮像装置の画像処理プログラム。
【請求項１２】
前記撮像素子は、前記光電変換素子のそれぞれに一対一に対応して設けられる複数色のフィルタを含むカラーフィルタを有する、請求項１０または１１に記載の撮像装置の画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【公開番号】特開２０１３−１０２３６８（Ｐ２０１３−１０２３６８Ａ）
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願番号】特願２０１１−２４５３２５（Ｐ２０１１−２４５３２５）
【出願日】平成２３年１１月９日（２０１１．１１．９）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願日】平成２３年１１月９日（２０１１．１１．９）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]