撮像装置および撮像装置の制御プログラム
【課題】ＡＦ情報を利用して撮影した画像データに写り込む複数の被写体のそれぞれを分離し、被写体の領域ごとにホワイトバランス調整を行う場合、ＡＦ情報から取得される被写体の距離情報が粗いので、最適な調整を行うことが困難であった。
【解決手段】撮像装置は、少なくとも２つの視差画像データを出力する撮像部と、視差画像データ間のマッチング処理を行うことにより算出される奥行き情報に基づいて、被写体像の輪郭を抽出する輪郭抽出部と、輪郭により囲まれた領域ごとにホワイトバランス調整に用いる制御量を算出する制御量演算部とを備える。
【解決手段】撮像装置は、少なくとも２つの視差画像データを出力する撮像部と、視差画像データ間のマッチング処理を行うことにより算出される奥行き情報に基づいて、被写体像の輪郭を抽出する輪郭抽出部と、輪郭により囲まれた領域ごとにホワイトバランス調整に用いる制御量を算出する制御量演算部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および撮像装置の制御プログラムに関する。
【背景技術】
【０００２】
撮影時におけるＡＦ情報を利用して撮影した画像データに写り込む複数の被写体のそれぞれを分離し、被写体の領域ごとにホワイトバランス調整を行う技術が知られている。
［先行技術文献］
［特許文献］
［特許文献１］ 特開２００１−２８７６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかし、ＡＦ情報から取得される被写体の距離情報は粗く、被写体の輪郭を精確に抽出することができないので、被写体領域ごとの最適なホワイトバランス調整は困難であった。
【課題を解決するための手段】
【０００４】
本発明の第１の態様における撮像装置は、少なくとも２つの視差画像データを出力する撮像部と、視差画像データ間のマッチング処理を行うことにより算出される奥行き情報に基づいて、被写体像の輪郭を抽出する輪郭抽出部と、輪郭により囲まれた領域ごとにホワイトバランス調整に用いる制御量を算出する制御量演算部とを備える。
【０００５】
本発明の第２の態様における撮像装置の制御プログラムは、少なくとも２つの視差画像データを出力する撮像ステップと、視差画像データ間のマッチング処理を行うことにより算出される奥行き情報に基づいて、被写体像の輪郭を抽出する輪郭抽出ステップと、輪郭により囲まれた領域ごとにホワイトバランス調整に用いる制御量を算出する制御量演算ステップとをコンピュータに実行させる。
【０００６】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施形態に係るデジタルカメラの構成を説明する図である。
【図２】本発明の実施形態に係る撮像素子の断面を表す概略図である。
【図３】撮像素子の一部を拡大した様子を表す概略図である。
【図４】視差画素と被写体の関係を説明する概念図である。
【図５】視差画像を生成する処理を説明する概念図である。
【図６】繰り返しパターンの他の例を示す図である。
【図７】二次元的な繰り返しパターンの例を示す図である。
【図８】開口部の他の形状を説明する図である。
【図９】ベイヤー配列を説明する図である。
【図１０】ベイヤー配列に対する視差画素の割り振りについて、視差画素の種類が２つである場合のバリエーションを説明する図である。
【図１１】バリエーションの一例を示す図である。
【図１２】他のバリエーションの一例を示す図である。
【図１３】他のバリエーションの一例を示す図である。
【図１４】他のカラーフィルタ配列を説明する図である。
【図１５】Ｗ画素と視差画素の配列の一例を示す図である。
【図１６】視差画像と２Ｄ画像の生成過程を示す概念図である。
【図１７】光学ファインダから観察される被写体像および測距領域を示す図である。
【図１８】デジタルカメラと各被写体との距離を示す概念図である。
【図１９】マッチング処理から被写体領域の確定までの過程を示す概念図である。
【図２０】白抽出領域を示す図である。
【図２１】被写体が奥行き方向に分散するシーンの説明図である。
【図２２】被写体が奥行き方向に分散する画像に対するホワイトバランス制御量の演算について説明する図である。
【図２３】画像の取得からホワイトバランス調整までの処理フローを示す図である。
【発明を実施するための形態】
【０００８】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００９】
撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。
【００１０】
図１は、本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９、ＬＣＤ駆動回路２１０およびＡＦセンサ２１１を備える。
【００１１】
なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向をｚ軸プラス方向と定め、ｚ軸と直交する平面において紙面手前へ向かう方向をｘ軸プラス方向、紙面上方向をｙ軸プラス方向と定める。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
【００１２】
撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。
【００１３】
Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。特に、画像処理部２０５は、視差画像データ間のマッチング処理を実行して被写体像の輪郭を抽出する輪郭抽出部２３１、抽出された輪郭を被写体領域としてホワイトバランスの制御量を演算する制御量演算部２３２、演算された制御量を用いて被写体像のホワイトバランスを調整する画像調整部２３３を有する。それぞれの処理の詳細については、後述する。
【００１４】
画像処理部２０５は、他にも、撮像素子１００の画素配列に即して、入力される画像信号から非視差画像データとしての２Ｄ画像データおよび視差画像データを生成したり、選択された画像フォーマットに従って画像データを調整する機能も担う。生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。
【００１５】
ＡＦセンサ２１１は、被写体空間に対して複数の測距点が設定された位相差センサであり、それぞれの測距点において被写体像のデフォーカス量を検出する。一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、制御部２０１に制御されて実行される。例えば、制御部２０１は、ＡＦセンサ２１１の検出信号を解析して、撮影レンズ２０の一部を構成するフォーカスレンズを移動させる合焦制御を実行する。
【００１６】
次に、撮像素子１００の構成について詳細に説明する。図２は、本発明の実施形態に係る撮像素子の断面を表す概略図である。図２（ａ）は、カラーフィルタ１０２と開口マスク１０３が別体で構成される撮像素子１００の断面概略図である。また、図２（ｂ）は、撮像素子１００の変形例として、カラーフィルタ部１２２と開口マスク部１２３が一体的に構成されたスクリーンフィルタ１２１を備える撮像素子１２０の断面外略図である。
【００１７】
図２（ａ）に示すように、撮像素子１００は、被写体側から順に、マイクロレンズ１０１、カラーフィルタ１０２、開口マスク１０３、配線層１０５および光電変換素子１０８が配列されて構成されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８は、基板１０９の表面に二次元的に複数配列されている。
【００１８】
光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。また、各光電変換素子１０８に一対一に対応して設けられた開口部１０４を有する開口マスク１０３が、配線層に接して設けられている。開口部１０４は、後述するように、対応する光電変換素子１０８ごとにシフトさせて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部１０４を備える開口マスク１０３の作用により、光電変換素子１０８が受光する被写体光束に視差が生じる。
【００１９】
一方、視差を生じさせない光電変換素子１０８上には、開口マスク１０３が存在しない。別言すれば、対応する光電変換素子１０８に対して入射する被写体光束を制限しない、つまり有効光束の全体を通過させる開口部１０４を有する開口マスク１０３が設けられているとも言える。視差を生じさせることはないが、実質的には配線１０６によって形成される開口１０７が入射する被写体光束を規定するので、配線１０６を、視差を生じさせない有効光束の全体を通過させる開口マスクと捉えることもできる。開口マスク１０３は、各光電変換素子１０８に対応して別個独立に配列しても良いし、カラーフィルタ１０２の製造プロセスと同様に複数の光電変換素子１０８に対して一括して形成しても良い。
【００２０】
カラーフィルタ１０２は、開口マスク１０３上に設けられている。カラーフィルタ１０２は、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも２種類のカラーフィルタが配列されれば良いが、より高画質のカラー画像を取得するには３種類以上のカラーフィルタを配列すると良い。例えば赤色波長帯を透過させる赤フィルタ、緑色波長帯を透過させる緑フィルタ、および青色波長帯を透過させる青フィルタを格子状に配列すると良い。具体的な配列については後述する。
【００２１】
マイクロレンズ１０１は、カラーフィルタ１０２上に設けられている。マイクロレンズ１０１は、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズである。マイクロレンズ１０１は、光電変換素子１０８のそれぞれに一対一に対応して設けられている。マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク１０３の開口部１０４の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されても良い。
【００２２】
このように、各々の光電変換素子１０８に対応して一対一に設けられる開口マスク１０３、カラーフィルタ１０２およびマイクロレンズ１０１の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク１０３が設けられた画素を視差画素、視差を生じさせる開口マスク１０３が設けられていない画素を視差なし画素と呼ぶ。例えば、撮像素子１００の有効画素領域が２４ｍｍ×１６ｍｍ程度の場合、画素数は１２００万程度に及ぶ。
【００２３】
なお、集光効率、光電変換効率が良いイメージセンサの場合は、マイクロレンズ１０１を設けなくても良い。また、裏面照射型イメージセンサの場合は、配線層１０５が光電変換素子１０８とは反対側に設けられる。
【００２４】
カラーフィルタ１０２と開口マスク１０３の組み合わせには、さまざまなバリエーションが存在する。図２（ａ）において、開口マスク１０３の開口部１０４に色成分を持たせれば、カラーフィルタ１０２と開口マスク１０３を一体的に形成することができる。また、特定の画素を被写体の輝度情報を取得する画素として特化させる場合、その画素には、対応するカラーフィルタ１０２を設けなくても良い。あるいは、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタを配列しても良い。
【００２５】
輝度情報を取得する画素を視差画素とする場合、つまり、視差画像をモノクロ画像として出力するのであれば、図２（ｂ）として示す撮像素子１２０の構成を採用し得る。すなわち、カラーフィルタとして機能するカラーフィルタ部１２２と、開口部１０４を有する開口マスク部１２３とが一体的に構成されたスクリーンフィルタ１２１を、マイクロレンズ１０１と配線層１０５の間に配設することができる。
【００２６】
スクリーンフィルタ１２１は、カラーフィルタ部１２２において例えば青緑赤の着色が施され、開口マスク部１２３において開口部１０４以外のマスク部分が黒の着色が施されて形成される。スクリーンフィルタ１２１を採用する撮像素子１２０は、撮像素子１００に比較して、マイクロレンズ１０１から光電変換素子１０８までの距離が短いので、被写体光束の集光効率が高い。
【００２７】
次に、開口マスク１０３の開口部１０４と、生じる視差の関係について説明する。図３は、撮像素子１００の一部を拡大した様子を表す概略図である。ここでは、説明を簡単にすべく、カラーフィルタ１０２の配色については後に言及を再開するまで考慮しない。カラーフィルタ１０２の配色に言及しない以下の説明においては、同色のカラーフィルタ１０２を有する視差画素のみを寄せ集めたイメージセンサであると捉えることができる。したがって、以下に説明する繰り返しパターンは、同色のカラーフィルタ１０２における隣接画素として考えても良い。
【００２８】
図３に示すように、開口マスク１０３の開口部１０４は、それぞれの画素に対して相対的にシフトして設けられている。そして、隣接する画素同士においても、それぞれの開口部１０４は互いに変位した位置に設けられている。
【００２９】
図の例においては、それぞれの画素に対する開口部１０４の位置として、互いに左右方向にシフトした６種類の開口マスク１０３が用意されている。そして、撮像素子１００の全体は、紙面左側から右側へ徐々にシフトする開口マスク１０３をそれぞれ有する６つの視差画素を一組とする光電変換素子群が、二次元的かつ周期的に配列されている。つまり、撮像素子１００は、一組の光電変換素子群を含む繰り返しパターン１１０が、周期的に敷き詰められて構成されていると言える。
【００３０】
図４は、視差画素と被写体の関係を説明する概念図である。特に図４（ａ）は撮像素子１００のうち撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔの光電変換素子群を示し、図４（ｂ）は周辺部分に配列されている繰り返しパターン１１０ｕの光電変換素子群を模式的に示している。図４（ａ）、（ｂ）における被写体３０は、撮影レンズ２０に対して合焦位置に存在する。図４（ｃ）は、図４（ａ）に対応して、撮影レンズ２０に対して非合焦位置に存在する被写体３１を捉えた場合の関係を模式的に示している。
【００３１】
まず、撮影レンズ２０が合焦状態に存在する被写体３０を捉えている場合の、視差画素と被写体の関係を説明する。被写体光束は、撮影レンズ２０の瞳を通過して撮像素子１００へ導かれるが、被写体光束が通過する全体の断面領域に対して、６つの部分領域Ｐａ〜Ｐｆが規定されている。そして、例えば繰り返しパターン１１０ｔ、１１０ｕを構成する光電変換素子群の紙面左端の画素は、拡大図からもわかるように、部分領域Ｐｆから射出された被写体光束のみが光電変換素子１０８へ到達するように、開口マスク１０３の開口部１０４ｆの位置が定められている。同様に、右端の画素に向かって、部分領域Ｐｅに対応して開口部１０４ｅの位置が、部分領域Ｐｄに対応して開口部１０４ｄの位置が、部分領域Ｐｃに対応して開口部１０４ｃの位置が、部分領域Ｐｂに対応して開口部１０４ｂの位置が、部分領域Ｐａに対応して開口部１０４ａの位置がそれぞれ定められている。
【００３２】
別言すれば、例えば部分領域Ｐｆと左端画素の相対的な位置関係によって定義される、部分領域Ｐｆから射出される被写体光束の主光線Ｒｆの傾きにより、開口部１０４ｆの位置が定められていると言っても良い。そして、合焦位置に存在する被写体３０からの被写体光束を、開口部１０４ｆを介して光電変換素子１０８が受光する場合、その被写体光束は、点線で図示するように、光電変換素子１０８上で結像する。同様に、右端の画素に向かって、主光線Ｒｅの傾きにより開口部１０４ｅの位置が、主光線Ｒｄの傾きにより開口部１０４ｄの位置が、主光線Ｒｃの傾きにより開口部１０４ｃの位置が、主光線Ｒｂの傾きにより開口部１０４ｂの位置が、主光線Ｒａの傾きにより開口部１０４ａの位置がそれぞれ定められていると言える。
【００３３】
図４（ａ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１と交差する被写体３０上の微小領域Ｏｔから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｔから放射される光束を受光している。微小領域Ｏｔは、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。同様に、図４（ｂ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１から離間した被写体３０上の微小領域Ｏｕから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｕから放射される光束を受光している。微小領域Ｏｕも、微小領域Ｏｔと同様に、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。
【００３４】
つまり、被写体３０が合焦位置に存在する限りは、撮像素子１００上における繰り返しパターン１１０の位置に応じて、光電変換素子群が捉える微小領域が異なり、かつ、光電変換素子群を構成する各画素は互いに異なる部分領域を介して同一の微小領域を捉えている。そして、それぞれの繰り返しパターン１１０において、対応する画素同士は同じ部分領域からの被写体光束を受光している。つまり、図においては、例えば繰り返しパターン１１０ｔ、１１０ｕのそれぞれの左端の画素は、同じ部分領域Ｐｆからの被写体光束を受光している。
【００３５】
撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置と、周辺部分に配列されている繰り返しパターン１１０ｕにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置は厳密には異なる。しかしながら、機能的な観点からは、部分領域Ｐｆからの被写体光束を受光するための開口マスクという点で、これらを同一種類の開口マスクとして扱うことができる。したがって、図４の例では、撮像素子１００上に配列される視差画素のそれぞれは、６種類の開口マスクの一つを備えると言える。
【００３６】
次に、撮影レンズ２０が非合焦状態に存在する被写体３１を捉えている場合の、視差画素と被写体の関係を説明する。この場合も、非合焦位置に存在する被写体３１からの被写体光束は、撮影レンズ２０の瞳の６つの部分領域Ｐａ〜Ｐｆを通過して、撮像素子１００へ到達する。ただし、非合焦位置に存在する被写体３１からの被写体光束は、光電変換素子１０８上ではなく他の位置で結像する。例えば、図４（ｃ）に示すように、被写体３１が被写体３０よりも撮像素子１００に対して遠い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１側で結像する。逆に、被写体３１が被写体３０よりも撮像素子１００に対して近い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１とは反対側で結像する。
【００３７】
したがって、非合焦位置に存在する被写体３１のうち、微小領域Ｏｔ'から放射される被写体光束は、６つの部分領域Ｐａ〜Ｐｆのいずれを通過するかにより、異なる組の繰り返しパターン１１０における対応画素に到達する。例えば、部分領域Ｐｄを通過した被写体光束は、図４（ｃ）の拡大図に示すように、主光線Ｒｄ'として、繰り返しパターン１１０ｔ'に含まれる、開口部１０４ｄを有する光電変換素子１０８へ入射する。そして、微小領域Ｏｔ'から放射された被写体光束であっても、他の部分領域を通過した被写体光束は、繰り返しパターン１１０ｔ'に含まれる光電変換素子１０８へは入射せず、他の繰り返しパターンにおける対応する開口部を有する光電変換素子１０８へ入射する。換言すると、繰り返しパターン１１０ｔ'を構成する各光電変換素子１０８へ到達する被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。すなわち、開口部１０４ｄに対応する１０８へは主光線をＲｄ'とする被写体光束が入射し、他の開口部に対応する光電変換素子１０８へは主光線をＲａ＋、Ｒｂ＋、Ｒｃ＋、Ｒｅ＋、Ｒｆ＋とする被写体光束が入射するが、これらの被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。このような関係は、図４（ｂ）における周辺部分に配列されている繰り返しパターン１１０ｕにおいても同様である。
【００３８】
すると、撮像素子１００の全体で見た場合、例えば、開口部１０４ａに対応する光電変換素子１０８で捉えた被写体像Ａと、開口部１０４ｄに対応する光電変換素子１０８で捉えた被写体像Ｄは、合焦位置に存在する被写体に対する像であれば互いにずれが無く、非合焦位置に存在する被写体に対する像であればずれが生じることになる。そして、そのずれは、非合焦位置に存在する被写体が合焦位置に対してどちら側にどれだけずれているかにより、また、部分領域Ｐａと部分領域Ｐｄの距離により、方向と量が定まる。つまり、被写体像Ａと被写体像Ｄは、互いに視差像となる。この関係は、他の開口部に対しても同様であるので、開口部１０４ａから１０４ｆに対応して、６つの視差像が形成されることになる。
【００３９】
したがって、このように構成されたそれぞれの繰り返しパターン１１０において、互いに対応する画素の出力を寄せ集めると、視差画像が得られる。つまり、６つの部分領域Ｐａ〜Ｐｆうちの特定の部分領域から射出された被写体光束を受光した画素の出力は、視差画像を形成する。
【００４０】
図５は、視差画像を生成する処理を説明する概念図である。図は、左列から順に、開口部１０４ｆに対応する視差画素の出力を集めて生成される視差画像データＩｍ＿ｆの生成の様子、開口部１０４ｅの出力による視差画像データＩｍ＿ｅの生成の様子、開口部１０４ｄの出力による視差画像データＩｍ＿ｄの生成の様子、開口部１０４ｃの出力による視差画像データＩｍ＿ｃの生成の様子、開口部１０４ｂの出力による視差画像データＩｍ＿ｂの生成の様子、開口部１０４ａの出力による視差画像データＩｍ＿ａの生成の様子を表す。まず開口部１０４ｆの出力による視差画像データＩｍ＿ｆの生成の様子について説明する。
【００４１】
６つの視差画素を一組とする光電変換素子群から成る繰り返しパターン１１０は、横一列に配列されている。したがって、開口部１０４ｆを有する視差画素は、撮像素子１００上において、左右方向に６画素おき、かつ、上下方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる微小領域からの被写体光束を受光している。したがって、これらの視差画素の出力を寄せ集めて配列すると、視差画像が得られる。
【００４２】
しかし、本実施形態における撮像素子１００の各画素は正方画素であるので、単に寄せ集めただけでは、横方向の画素数が１／６に間引かれた結果となり、縦長の画像データが生成されてしまう。そこで、補間処理を施して横方向に６倍の画素数とすることにより、本来のアスペクト比の画像として視差画像データＩｍ＿ｆを生成する。ただし、そもそも補間処理前の視差画像データが横方向に１／６に間引かれた画像であるので、横方向の解像度は、縦方向の解像度よりも低下している。つまり、生成される視差画像データの数と、解像度の向上は相反関係にあると言える。
【００４３】
同様にして、視差画像データＩｍ＿ｅ〜視差画像データＩｍ＿ａが得られる。すなわち、デジタルカメラ１０は、横方向に視差を有する６視点の視差画像を生成することができる。
【００４４】
上記の例では、横一列を繰り返しパターン１１０として周期的に配列される例を説明したが、繰り返しパターン１１０はこれに限らない。図６は、繰り返しパターン１１０の他の例を示す図である。
【００４５】
図６（ａ）は、縦６画素を繰り返しパターン１１０とした例である。ただし、それぞれの開口部１０４は、紙面上端の視差画素から下に向かって、紙面左側から右側へ徐々にシフトするように位置が定められている。このように配列された繰り返しパターン１１０によっても、横方向に視差を与える６視点の視差画像を生成することができる。この場合は、図３の繰り返しパターン１１０に比較すると、縦方向の解像度を犠牲にする代わりに横方向の解像度を維持する繰り返しパターンであると言える。
【００４６】
図６（ｂ）は、斜め方向に隣接する６画素を繰り返しパターン１１０とした例である。それぞれの開口部１０４は、紙面左上端の視差画素から右下に向かって、紙面左側から右側へ徐々にシフトするように位置が定められている。このように配列された繰り返しパターン１１０によっても、横方向に視差を与える６視点の視差画像を生成することができる。この場合は、図３の繰り返しパターン１１０に比較すると、縦方向の解像度および横方向の解像度をある程度維持しつつ、視差画像の数を増やす繰り返しパターンであると言える。
【００４７】
図３の繰り返しパターン１１０、および図６（ａ）（ｂ）の繰り返しパターン１１０をそれぞれ比較すると、いずれも６視点の視差画像を生成する場合において、視差画像でない全体から一枚の画像を出力する場合の解像度に対し、縦方向、横方向のいずれの方向の解像度を犠牲にするかの違いであると言える。図３の繰り返しパターン１１０の場合は、横方向の解像度を１／６とする構成である。図６（ａ）の繰り返しパターン１１０の場合は、縦方向の解像度を１／６とする構成である。また、図６（ｂ）の繰り返しパターン１１０の場合は、縦方向を１／３、横方向を１／２とする構成である。いずれの場合も、一つのパターン内には、各画素に対応して開口部１０４ａ〜１０４ｆが一つずつ設けられており、それぞれが対応する部分領域Ｐａ〜Ｐｆのいずれかから被写体光束を受光するように構成されている。したがって、いずれの繰り返しパターン１１０であっても視差量は同等である。
【００４８】
上述の例では、左右方向に視差を与える視差画像を生成する場合について説明したが、もちろん上下方向に視差を与える視差画像を生成することもできるし、上下左右の二次元方向に視差を与える視差画像を生成することもできる。図７は、二次元的な繰り返しパターン１１０の例を示す図である。
【００４９】
図７の例によれば、縦６画素横６画素の３６画素を一組の光電変換素子群として繰り返しパターン１１０を形成する。それぞれの画素に対する開口部１０４の位置として、互いに上下左右方向にシフトした３６種類の開口マスク１０３が用意されている。具体的には、各開口部１０４は、繰り返しパターン１１０の上端画素から下端画素に向かって、上側から下側へ徐々にシフトすると同時に、左端画素から右端画素に向かって、左側から右側へ徐々にシフトするように位置決めされている。
【００５０】
このような繰り返しパターン１１０を有する撮像素子１００は、上下方向および左右方向に視差を与える、３６視点の視差画像を出力することができる。もちろん図７の例に限らず、さまざまな視点数の視差画像を出力するように繰り返しパターン１１０を定めることができる。
【００５１】
以上の説明においては、開口部１０４の形状として矩形を採用した。特に、横方向に視差を与える配列においては、シフトさせる方向である左右方向の幅よりも、シフトさせない上下方向の幅を広くすることにより、光電変換素子１０８へ導く光量を確保している。しかし、開口部１０４の形状は矩形に限定されない。
【００５２】
図８は、開口部１０４の他の形状を説明する図である。図においては、開口部１０４の形状を円形とした。円形とした場合、半球形状であるマイクロレンズ１０１との相対的な関係から、予定外の被写体光束が迷光となって光電変換素子１０８へ入射することを防ぐことができる。
【００５３】
次に、カラーフィルタ１０２と視差画像について説明する。図９は、ベイヤー配列を説明する図である。図示するように、ベイヤー配列は、緑フィルタが左上と右下の２画素に、赤フィルタが左下の１画素に、青フィルタが右上の１画素に割り当てられる配列である。ここでは、緑フィルタが割り当てられた左上の画素をＧｂ画素と、同じく緑色フィルタが割り当てられた右下の画素をＧｒ画素とする。また、赤色フィルタが割り当てられた画素をＲ画素と、青色が割り当てられた画素をＢ画素とする。そして、Ｇｂ画素およびＢ画素が並ぶ横方向をＧｂ行とし、Ｒ画素およびＧｒ画素が並ぶ横方向をＧｒ行とする。また、Ｇｂ画素およびＲ画素が並ぶ縦方向をＧｂ列とし、Ｂ画素およびＧｒ画素が並ぶ縦方向をＧｒ列とする。
【００５４】
このようなカラーフィルタ１０２の配列に対して、視差画素と視差なし画素を、何色の画素にどのような周期で割り振っていくかにより、膨大な数の繰り返しパターン１１０が設定され得る。視差なし画素の出力を集めれば、通常の撮影画像と同じく視差のない撮影画像データを生成することができる。したがって、相対的に視差なし画素の割合を増やせば、解像度の高い２Ｄ画像を出力させることができる。この場合、視差画素は相対的に少ない割合となるので、複数の視差画像からなる３Ｄ画像としては画質が低下する。逆に、視差画素の割合を増やせば、３Ｄ画像としては画質が向上するが、視差なし画素は相対的に減少するので、解像度の低い２Ｄ画像が出力される。
【００５５】
このようなトレードオフの関係において、何れの画素を視差画素とするか、あるいは視差なし画素とするかにより、様々な特徴を有する繰り返しパターン１１０が設定される。図１０は、ベイヤー配列に対する視差画素の割り振りについて、視差画素の種類が２つである場合のバリエーションを説明する図である。この場合の視差画素は、開口部１０４が中心よりも左側に偏心した視差Ｌ画素と、同じく右側に偏心した視差Ｒ画素を想定している。つまり、このような視差画素から出力される２視点の視差画像は、いわゆる立体視を実現する。
【００５６】
それぞれの繰り返しパターンに対する特徴の説明は図に示す通りである。例えば、視差なし画素が多く割り振られていれば高解像度の２Ｄ画像データとなり、ＲＧＢのいずれの画素に対しても均等に割り振られていれば、色ずれの少ない高画質の２Ｄ画像データとなる。視差画素の出力も利用して２Ｄ画像データを生成する場合、ずれた被写体像を周辺画素の出力を参照して補正する。したがって、例えば全部のＲ画素が視差画素であったとしても２Ｄ画像を生成することはできるものの、その画質は自ずと低下する。
【００５７】
一方、視差画素が多く割り振られていれば高解像度の３Ｄ画像データとなり、ＲＧＢのいずれの画素に対しても均等に割り振られていれば、３Ｄ画像でありながら、色再現性の良い高品質のカラー画像データとなる。視差なし画素の出力も利用して３Ｄ画像データを生成する場合、視差のない被写体像から周辺の視差画素の出力を参照してずれた被写体像を生成する。したがって、例えば全部のＲ画素が視差なし画素であったとしてもカラーの３Ｄ画像を生成することはできるものの、やはりその品質は低下する。
【００５８】
以下にいくつかのバリエーションについて説明する。図１１は、バリエーションの一例を示す図である。図１１のバリエーションは、図１０における繰り返しパターン分類Ａ−１に相当する。
【００５９】
図の例においては、ベイヤー配列と同じ４画素を繰り返しパターン１１０とする。Ｒ画素とＢ画素は視差なし画素であり、Ｇｂ画素を視差Ｌ画素に、Ｇｒ画素を視差Ｒ画素に割り当てる。この場合、同一の繰り返しパターン１１０に含まれる視差Ｌ画素と視差Ｒ画素は、被写体が合焦位置に存在するときに、同じ微小領域から放射される光束を受光するように開口部１０４が定められる。
【００６０】
図の例においては、視感度の高い緑画素であるＧｂ画素およびＧｒ画素を視差画素として用いるので、コントラストの高い視差画像を得ることが期待できる。また、同じ緑色画素であるＧｂ画素およびＧｒ画素を視差画素として用いるので、これら２つの出力から視差のない出力に変換演算がし易く、視差なし画素であるＲ画素およびＢ画素の出力と共に、高画質の２Ｄ画像データを生成できる。
【００６１】
図１２は、他のバリエーションの一例を示す図である。図１２のバリエーションは、図１０における繰り返しパターン分類Ｂ−１に相当する。
【００６２】
図の例においては、ベイヤー配列の４画素が左右に２組続く８画素を繰り返しパターン１１０とする。８画素のうち、左側のＧｂ画素に視差Ｌ画素を、右側のＧｂ画素に視差Ｒ画素を割り当てる。このような配列においては、Ｇｒ画素を視差なし画素としたことにより、図１０の例よりも、更に２Ｄ画像の高画質化が望める。
【００６３】
図１３は、更に他のバリエーションの一例を示す図である。図１３のバリエーションは、図１０における繰り返しパターン分類Ｄ−１に相当する。
【００６４】
図の例においては、ベイヤー配列の４画素が左右に２組続く８画素を繰り返しパターン１１０とする。８画素のうち、左側のＧｂ画素に視差Ｌ画素を、右側のＧｂ画素に視差Ｒ画素を割り当てる。さらに、左側のＲ画素に視差Ｌ画素を、右側のＲ画素に視差Ｒ画素を割り当てる。さらに、左側のＢ画素に視差Ｌ画素を、右側のＢ画素に視差Ｒ画素を割り当てる。２つのＧｒ画素には視差なし画素を割り当てる。
【００６５】
２つのＧｂ画素に割り当てられた視差Ｌ画素と視差Ｒ画素は、被写体が合焦位置に存在するときに、一つの微小領域から放射される光束を受光する。また、２つのＲ画素に割り当てられた視差Ｌ画素と視差Ｒ画素は、Ｇｂ画素のそれとは異なる一つの微小領域から放射される光束を受光し、２つのＢ画素に割り当てられた視差Ｌ画素と視差Ｒ画素は、Ｇｂ画素およびＲ画素のそれとは異なる一つの微小領域から放射される光束を受光する。したがって、図１２の例に比較して、３Ｄ画像としての解像度が縦方向に３倍となる。しかも、ＲＧＢの３色の出力が得られるので、カラー画像としての３Ｄ画像として高品質である。
【００６６】
なお、上述のように視差画素の種類を２つにすれば２視点の視差画像が得られるが、もちろん視差画素の種類は、出力したい視差画像数に合わせて、図３、図７、図８などで説明したような様々な数を採用し得る。視点数が増えていっても、さまざまな繰り返しパターン１１０を形成することができる。したがって、仕様、目的等に応じた繰り返しパターン１１０を選択することができる。
【００６７】
上述の例では、カラーフィルタ配列としてベイヤー配列を採用した場合について説明したが、もちろん他のカラーフィルタ配列であっても差し支えない。図３等を用いて説明したように、カラーフィルタ配列を構成するある１色に着目して寄せ集めた場合に、隣接する複数の画素を一組の光電変換素子群とする繰り返しパターンを形成し、視差画像を出力するように視差画素が割り当てられていれば良い。このとき、一組の光電変換素子群を構成する視差画素のそれぞれは、互いに異なる部分領域を向く開口部１０４を有する開口マスク１０３を備えると良い。
【００６８】
したがって、撮像素子１００は、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子１０８と、光電変換素子１０８の少なくとも一部のそれぞれに一対一に対応して設けられた開口マスク１０３と、光電変換素子１０８の少なくとも一部のそれぞれに一対一に対応して設けられたカラーフィルタ１０２とを備え、隣接するｎ個（ｎは３以上の整数）の光電変換素子１０８のうち、少なくとも２つ（３つ以上であっても良い）に対応して設けられたそれぞれの開口マスク１０３の開口部１０４は、互いに異なる波長帯域を透過させる少なくとも２種類（好ましくは３種類）のカラーフィルタ１０２から構成されるカラーフィルターパターンの一パターン内に含まれると共に、入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、ｎ個の光電変換素子１０８を一組とする光電変換素子群が周期的に配列されていれば良い。
【００６９】
図１４は、他のカラーフィルタ配列を説明する図である。図示するように、他のカラーフィルタ配列は、図９で示したベイヤー配列のＧｒ画素を緑フィルタが割り当てられるＧ画素として維持する一方、Ｇｂ画素をカラーフィルタが割り当てられないＷ画素に変更した配列である。なお、Ｗ画素は、上述のように、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタが配列されていても良い。
【００７０】
このようなＷ画素を含むカラーフィルタ配列を採用すれば、撮像素子が出力するカラー情報の精度は若干低下するものの、Ｗ画素が受光する光量はカラーフィルタが設けられている場合に比較して多いので、精度の高い輝度情報を取得できる。Ｗ画素の出力を寄せ集めれば、モノクロ画像を形成することもできる。
【００７１】
Ｗ画素を含むカラーフィルタ配列の場合、視差画素と視差なし画素の繰り返しパターン１１０は、さらなるバリエーションが存在する。例えば、比較的暗い環境下で撮影された画像であっても、カラー画素から出力された画像に比較してＷ画素から出力された画像であれば、被写体像のコントラストが高い。そこで、Ｗ画素に視差画素を割り振れば、複数の視差画像間で行うマッチング処理において、精度の高い演算結果が期待できる。後述するように、マッチング処理は、画像データに写り込む被写体像の距離情報を取得する処理の一環として実行される。したがって、２Ｄ画像の解像度および視差画像の画質への影響に加え、抽出される他の情報への利害得失も考慮して、視差画素と視差なし画素の繰り返しパターン１１０が設定される。
【００７２】
図１５は、図１４の他のカラーフィルタ配列を採用する場合の、Ｗ画素と視差画素の配列の一例を示す図である。図１５のバリエーションは、ベイヤー配列における図１２の繰り返しパターン分類Ｂ−１に類似するので、ここではＢ'−１とする。図の例においては、他のカラーフィルタ配列の４画素が左右に２組続く８画素を繰り返しパターン１１０とする。８画素のうち、左側のＷ画素に視差Ｌ画素を、右側のＷ画素に視差Ｒ画素を割り当てる。このような配列において撮像素子１００は、視差画像をモノクロ画像として出力し、２Ｄ画像をカラー画像として出力する。
【００７３】
この場合、撮像素子１００は、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子１０８と、光電変換素子１０８の少なくとも一部のそれぞれに一対一に対応して設けられた開口マスク１０３と、光電変換素子１０８の少なくとも一部のそれぞれに一対一に対応して設けられたカラーフィルタ１０２とを有し、隣接するｎ個（ｎは４以上の整数）の光電変換素子１０８のうち、少なくとも２つに対応して設けられたそれぞれの開口マスク１０３の開口部１０４は、互いに異なる波長帯域を透過させる少なくとも２種類（好ましくは３種類）のカラーフィルタ１０２から構成されるカラーフィルターパターンの一パターン内には含まれず、かつ、入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、ｎ個の光電変換素子１０８を一組とする光電変換素子群が周期的に配列されていれば良い。
【００７４】
ここで、モノクロ画像としての視差画像の生成と、カラー画像としての２Ｄ画像の生成について説明する。
【００７５】
図１６は、視差画像と２Ｄ画像の生成過程を示す概念図である。図示するように、視差Ｌ画素の出力が、撮像素子１００上の相対的な位置関係を維持しながら寄せ集められて、Ｌ画像データが生成される。一つの繰り返しパターン１１０に含まれる視差Ｌ画素は一つであるので、Ｌ画像データを形成する各視差Ｌ画素は、それぞれ異なる繰り返しパターン１１０から寄せ集められていると言える。すなわち、寄せ集められたそれぞれの視差Ｌ画素の出力は、被写体の互いに異なる微小領域から放射された光が光電変換された結果であるので、Ｌ画像データは、特定の視点（Ｌ視点）から被写体を捉えた一つの視差画像データとなる。そして、視差Ｌ画素は、Ｗ画素に割り振られているので、Ｌ画像データは、カラー情報を持たず、モノクロ画像として生成される。
【００７６】
同様に、視差Ｒ画素の出力が、撮像素子１００上の相対的な位置関係を維持しながら寄せ集められて、Ｒ画像データが生成される。寄せ集められたそれぞれの視差Ｒ画素の出力は、被写体の互いに異なる微小領域から放射された光が光電変換された結果であるので、Ｒ画像データは、特定の視点（Ｒ視点）から被写体を捉えた一つの視差画像データとなる。そして、視差Ｒ画素は、Ｗ画素に割り振られているので、Ｒ画像データは、カラー情報を持たず、モノクロ画像として生成される。
【００７７】
被写体が合焦位置に存在するときに、一つの繰り返しパターン１１０において、Ｌ画素とＲ画素は、被写体の同一の微小領域から放射される光束を受光する。また、被写体が非合焦位置に存在するときに、一つの繰り返しパターン１１０において、Ｌ画素とＲ画素は、被写体の互いにずれた微小領域から放射される光束を受光する。そのずれは、被写体位置の合焦位置に対する相対関係と瞳の部分領域の関係とから、方向と量が定まる。したがって、Ｌ画像データとＲ画像データのそれぞれにおいて、視差Ｌ画素と視差Ｒ画素が撮像素子１００上の相対的な位置関係を維持しながら寄せ集められていれば、それぞれが視差画像を形成する。
【００７８】
また、視差なし画素の出力が、撮像素子１００上の相対的な位置関係を維持しながら寄せ集められて、２Ｄ画像データが生成される。このとき、Ｗ画素は視差画素であるので、視差なし画素のみで構成されるベイヤー配列からの出力に対して、Ｇｂ画素の出力に相当する出力が欠落する。そこで、本実施形態においては、この欠落した出力の値として、Ｇ画素の出力値を代入する。つまり、Ｇ画素の出力で補間処理を行う。このように、補間処理を施せば、ベイヤー配列の出力に対する画像処理を採用して２Ｄ画像データを生成することができる。
【００７９】
なお、以上の画像処理は、画像処理部２０５によって実行される。画像処理部２０５は、制御部２０１を介して撮像素子１００から出力される画像信号を受け取り、上述のようにそれぞれの画素の出力ごとに分配してＬ画像データ、Ｒ画像データおよび２Ｄ画像データを生成する。
【００８０】
次に、図１６で説明したＬ画像データ、Ｒ画像データおよび２Ｄ画像データを用いて、よりシーンに適したホワイトバランスを施す処理について説明する。図１６の例によって出力される画像データは、Ｌ画像データおよびＲ画像データがモノクロ画像データであり、２Ｄ画像データがカラー画像データである。そこで、以下の処理においては、Ｌ画像データおよびＲ画像データを利用して、各被写体までの距離情報を算出してそれぞれの被写体の輪郭を定め、この輪郭を２Ｄ画像に当てはめて、輪郭に囲まれた領域ごとにホワイトバランス調整に用いるＷＢ制御量を算出する。そして、算出されたＷＢ制御量を用いて２Ｄ画像のホワイトバランス調整を実行する。以下に、処理の具体的な例について説明する。
【００８１】
図１７は、光学ファインダから観察される被写体像および測距領域を示す図である。ここではシーンの例として、手前から順に少女３０１、少年３０２および女性３０３が存在する場合を説明する。
【００８２】
ＡＦセンサ２１１は、被写体空間に対して二次元的かつ離散的に配置される複数の測距点４６０を有する。図の例の場合、１１点の測距点４６０が、全体として略菱形形状に離散的に配置されている。ＡＦセンサ２１１は、それぞれの測距点４６０に対応するデフォーカス量を独立に出力することができる。
【００８３】
制御部２０１は、例えば近点優先等のアルゴリズムにより選択された合焦測距点４６１のデフォーカス量を検出して、合焦に至るフォーカスレンズの移動量および移動方向を決定する。さらに制御部２０１は、これらの情報に従ってフォーカスレンズを移動させる。フォーカスレンズの移動が完了すると、制御部２０１は、ＡＦセンサ２１１により合焦測距点４６１のデフォーカス量を再度検出して、合焦測距点４６１に対応するオブジェクトにピントが合ったことを確認する。
【００８４】
制御部２０１は、ピントが合ったことを確認できたら、スーパーインポーズ表示等により合焦測距点４６１を明滅させ、合焦動作完了をユーザに告知する。また、制御部２０１は、合焦測距点４６１のデフォーカス量を再度検出すると同時に、他の測距点４６０のデフォーカス量も検出する。
【００８５】
図１８は、デジタルカメラ１０と各被写体との距離を示す概念図である。制御部２０１は、それぞれの測距点４６０におけるデフォーカス量から、被写体までの距離を算出できる。具体的には、レンズ情報として、フォーカスレンズ位置と合焦被写体距離の対応テーブルを取得し、現在のフォーカスレンズ位置を入力することにより、合焦被写体までの距離を得る。この距離は少女３０１までの距離ＤＡに相当する。オートフォーカスにおいては、あるデフォーカス量に対して、合焦位置までフォーカスレンズをどれだけ移動させればよいかの移動量変換関数を利用している。そこで、ここでもこの移動量関数を利用して、非合焦測距点におけるデフォーカス量から、フォーカスレンズの移動量を算出する。そして、現在のフォーカスレンズ位置に算出した移動量を加算した値を対応テーブルに入力することにより、距離ＤＢおよび距離ＤＣを得る。本実施形態においては、絶対距離を用いる場合に、このようにＡＦセンサ２１１の出力であるデフォーカス情報から算出された距離情報を参照する。
【００８６】
本実施形態においては、奥行き方向の距離に従って区分された区分帯によりそれぞれの被写体の輪郭を定める。例えば、図示するように、デジタルカメラ１０から予め定められた距離までの区分帯をレンジＡとし、レンジＡに続く区分帯をレンジＢ，レンジＢに続く区分帯をレンジＣ、レンジＣから無限遠までの区分をレンジＤというように、距離を区分する。区分帯の区分幅は、装着される撮影レンズ２０の焦点距離等に応じて、適宜変更されても良い。なおここでは、少女３０１がレンジＡに属し、少年３０２がレンジＢに属し、女性３０３がレンジＣに属するものと規定して以下の説明を続ける。
【００８７】
図１９は、マッチング処理から被写体領域の確定までの過程を示す概念図である。上述のように撮像素子１００の出力信号から生成された視差画像データであるＬ画像データとＲ画像データは、まず、画像処理部２０５の輪郭抽出部２３１によって、マッチング処理が施される。
【００８８】
輪郭抽出部２３１は、対象画素４８１に対して局所ウィンドウ４８２を定め、２画像間でマッチング処理を行い、対象画素４８１における視差量を決定する。具体的には、輪郭抽出部２３１は、Ｌ画像上の局所ウィンドウ４８２に対応してＲ画像上に局所ウィンドウ４８４を設定して、局所ウィンドウ４８４を局所ウィンドウ４８２に対して相対的にずらしながら互いにマッチングの良い画像領域を探索する。そして、マッチングが良いと判断される局所ウィンドウ４８４の位置を定め、その中心座標である探索画素４８３の座標値を算出する。視差量は、対象画素４８１の座標値と探索画素４８３の座標値の差として決定される。つまり、輪郭抽出部２３１は、被写体の同一点を捉えている対象画素４８１と探索画素４８３が、互いに何ピクセルずれているかを視差量として決定する。
【００８９】
対象画素４８１が合焦領域に含まれる場合は、視差量が０となる。また、対象画素４８１が合焦領域に対して奥行き方向に遠い被写体の領域に含まれる場合は、視差量が大きくなる。つまり、ピクセル単位で決定される視差量は、被写体の奥行き方向の距離と比例関係にある。また、レンズ情報および合焦被写体の絶対距離から、単位ピクセルあたりの奥行き方向の距離が算出される。したがって、輪郭抽出部２３１は、算出した単位ピクセルあたりの距離に決定した視差量を乗じて合焦被写体の絶対距離を加算することにより、対象画素４８１における奥行き方向の距離を決定することができる。このようにして、輪郭抽出部２３１は、Ｌ画像およびＲ画像に対する奥行き情報を取得することができる。
【００９０】
輪郭抽出部２３１は、Ｌ画像上の局所ウィンドウ４８２に対して、２Ｄ画像上にも局所ウィンドウ４８６を定め、２画像間でマッチング処理を行う。具体的には、輪郭抽出部２３１は、Ｌ画像上の局所ウィンドウ４８２に対応して２Ｄ画像上に局所ウィンドウ４８６を設定して、局所ウィンドウ４８６を局所ウィンドウ４８２に対して相対的にずらしながら互いにマッチングの良い画像領域を探索する。このとき、図１６を用いて説明したように、Ｌ画像のサイズと２Ｄ画像のサイズは異なるので、画像サイズの違いに合わせて互いのウィンドウサイズも異ならせる。
【００９１】
そして、輪郭抽出部２３１は、マッチングが良いと判断される局所ウィンドウ４８６の位置を定め、その中心座標である探索画素４８５の座標値を算出する。そして、輪郭抽出部２３１は、Ｌ画像とＲ画像のマッチング処理により決定された対象画素４８１の奥行き方向の距離を、探索画素４８５の奥行き方向の距離として定める。
【００９２】
輪郭抽出部２３１は、Ｌ画像上において対象画素４８１を左上から右下まで順次走査しながら上記のマッチング処理を逐次実行して、Ｌ画像、Ｒ画像および２Ｄ画像のそれぞれの画素における奥行き方向の距離を算出する。なお、本実施形態においては、２Ｄ画像のサイズはＬ画像のサイズよりも大きいので、２Ｄ画像上におけるすべての画素が探索画素４８５には成り得ない。この場合、探索画素４８５と成らなかった他の画素については、近傍の探索画素４８５を参照して、奥行き方向の距離が算出される。
【００９３】
輪郭抽出部２３１は、以上の処理により、２Ｄ画像の各画素に対する奥行き情報を取得する。つまり、２Ｄ画像の各画素に対する距離マップである、いわゆるデプスマップを完成させる。そして、輪郭抽出部２３１はさらに、各画素の距離が如何なる区分帯に属するかにより、各画素をグループ化する。具体的には、レンジＡに含まれる画素、レンジＢに含まれる画素、レンジＣに含まれる画素、レンジＤに含まれる画素でグループ化する。ここでは、各被写体である少女３０１、少年３０２および女性３０３はそれぞれレンジＡ、レンジＢおよびレンジＣに含まれるので、輪郭抽出部２３１がグループごとに輪郭を抽出すると、それぞれの輪郭は、図１９の下図のように表される。輪郭抽出部２３１は、このように輪郭で囲まれたそれぞれの領域を、被写体像の輪郭を規定する領域として確定する。なお、ここでは各区分帯に対応して、４つの領域Ａ〜領域Ｄを確定する。
【００９４】
本実施形態においては、画像処理部２０５の制御量演算部２３２が、以上のように確定した領域ごとにホワイトバランス調整に用いるＷＢ制御量を算出する。ここで、ＷＢ制御量の算出について説明する。
【００９５】
一般的に基準となる色温度は、画像中の白領域について、色差信号Ｒ−Ｙ、Ｂ−Ｙと輝度信号Ｙを用いた、（Ｒ−Ｙ）／Ｙ、（Ｂ−Ｙ）／Ｙの平均値の演算結果から推定される。ホワイトバランス調整とは、これらの色差信号が０になるように補正することである。ここで、輝度信号Ｙは、ベイヤー配列の場合、Ｙ＝（Ｒ＋Ｇr＋Ｇb＋Ｂ）／４で与えられる。図１６の例による他のカラーフィルタ配列の場合であれば、Ｙ＝（Ｒ＋２Ｇ＋Ｂ）／４で与えられる。なお、それぞれの４つの画素の単位を画素ブロックとする。
【００９６】
図２０は、（Ｒ−Ｙ）、（Ｂ−Ｙ）座標上における白抽出領域５０２を示す図である。制御量演算部２３２は、対象となる画像領域ごとに、図の白抽出領域５０２に入る画素ブロックの数、各色の出力値の積分値を算出する。なお、白抽出領域５０２は、黒体輻射カーブ５０１に対して予め定められた幅を有する領域として規定される。
【００９７】
本実施形態においては、輪郭抽出部２３１が抽出した輪郭に囲まれた領域ごとにＷＢ制御量を算出するが、制御量演算部２３２は、ある領域において白抽出領域に含まれる画素ブロック数Ｎが予め設定されたブロック数Ｎ０以下であると算出したら、その領域を、ＷＢ制御量の算出ができない小さすぎる被写体領域であると判断する。予め設定されるブロック数Ｎ０としては、例えば、画像全体のブロック数に対する割合として規定される。制御量演算部２３２により小さすぎる被写体領域が存在すると判断されたら、輪郭抽出部２３１は、その領域を区分帯が隣り合う領域に併合して、輪郭を修正する。
【００９８】
制御量演算部２３２は、領域ＫのＷＢ制御量として（ΔＲＫ，ΔＢＫ）を算出する。具体的には、領域Ｋにおいて、ΔＲＫ＝Σ（Ｒ−Ｙ）／Ｎ、ΔＢＫ＝Σ（Ｂ−Ｙ）／Ｎのように算出する。
【００９９】
制御量演算部２３２が算出したＷＢ制御量（ΔＲＫ，ΔＢＫ）を用いて、画像調整部２３３は、２Ｄ画像データにホワイトバランス調整を施す。具体的には、画像調整部２３３は、領域Ｋに含まれる各Ｒ画素、Ｂ画素の値を補正することによりホワイトバラスを調整する。例えば、Ｒ'＝Ｒ−γΔＲＫ、Ｂ'＝Ｂ−γΔＢＫのように補正値が算出される。ここで、γは補正係数であり、通常は１が採用されるが、ゲイン補正のフィードバックが効きすぎるときに1以下の小数値を採用する。
【０１００】
このように、奥行き情報に従って区分された領域ごとにホワイトバランス調整を実行すれば、被写体の特徴を適切に表現する色味を実現することが期待できる。特に奥行き方向に沿って各々の被写体の照射環境が変化するようなシーンでは有効である。例えば、図１７の例のシーンにおいて、フラッシュを照射する場合、デジタルカメラ１０から近い距離に存在する少女３０１の領域Ａにおいては、フラッシュ光の色温度がホワイトバランス調整に大きな影響を与える。一方で、フラッシュ光が減衰する距離である少年３０２、女性３０３の領域Ｂ、Ｃにおいては、例えば街路灯である白熱球の色温度がホワイトバランス調整に大きな影響を与える。さらには、背景領域である領域Ｄにおいては、例えば夕方の太陽光の色温度がホワイトバランス調整に大きな影響を与える。このようなシーンであっても、領域ごとにホワイトバランス調整を行えば、全体としてより調和の取れた２Ｄ画像データを生成することができる。
【０１０１】
なお、図１７のシーンにおいては、それぞれの被写体が別個の区分帯に属するものとして説明したが、ある被写体が奥行き方向に分散するシーンも多く想定される。つまり、ひとつの纏まった被写体が、複数の区分帯に跨がる場合がある。特に設定する区分帯数を少なくする場合、広い画角を有する撮影レンズを使用する場合等において、区分帯を跨ぐ被写体に対するホワイトバランス調整に考慮が必要となる。すなわち、上述のように領域ごとにＷＢ制御量を算出してホワイトバランス調整を実行すると、同一被写体でありながら位置によって異なるＷＢ制御量が適用され、不自然な色味となる場合がある。そこで、被写体が奥行き方向に分散するシーンに対しては、以下に説明するようにホワイトバランス調整を実行する。
【０１０２】
図２１は、被写体が奥行き方向に分散するシーンの説明図である。図示するように、このシーンでは、デジタルカメラ１０に近い側から順に、バス６０１、樹木６０２、山６０３が存在する。デジタルカメラ１０において奥行き方向に区分される区分帯は、図のように、デジタルカメラ１０に近い側から順に、レンジＡ，レンジＢ、レンジＣおよびレンジＤである。そして、奥行き方向に分散する樹木６０２は、レンジＣとレンジＤに跨いで存在する。
【０１０３】
このようなシーンを撮影して生成される２Ｄ画像では、図２２で示すように、輪郭抽出部２３１により、それぞれおよそ点線の輪郭が抽出され、領域Ｂ〜領域Ｄが規定される。ここで、領域Ｄは、２つの被写体である樹木６０２と山６０３を含む。
【０１０４】
上述の手法により、制御量演算部２３２は、領域Ｂに含まれる画素の色情報を用いて、領域ＢにおけるＷＢ制御量Ｗｂを算出する。領域Ｂにおいては、バス６０１の色がＷＢ制御量Ｗｂに対して支配的に影響を与える。同様に、制御量演算部２３２は、領域Ｃに含まれる画素の色情報を用いて、領域ＣにおけるＷＢ制御量Ｗｃを算出する。領域Ｃにおいては、樹木６０２の色がＷＢ制御量Ｗｃに対して支配的に影響を与える。さらに、制御量演算部２３２は、領域Ｄに含まれる色情報を用いて、領域ＤにおけるＷＢ制御量Ｗｄを算出する。領域Ｄには樹木６０２と山６０３の像がそれぞれ含まれ、両者の色が共にＷＢ制御量Ｗｄに影響を与える。
【０１０５】
図１９を用いて説明したように、領域に含まれる画素のホワイトバランス調整を、その領域において算出されたＷＢ制御量で行うと、領域Ｃと領域Ｄの境界で色味の違いが目立つことになる。つまり、同じ被写体としての樹木６０２でありながら、領域ＣではＷＢ制御量Ｗｃが適用され、領域ＤではＷＢ制御量Ｗｄが適用されるので、境界部分の色味の違いが観察者に違和感を与えることになる。
【０１０６】
そこで、このような一つの領域に複数の被写体が含まれる場合には、画素ごとにＷＢ制御量を算出して適用すると良い。以下に具体的な処理について説明する。
【０１０７】
上述のように、区分帯は奥行き方向の距離によって区分されている。その区分帯には、例えばその区分の中央値をレンジ代表距離として定義することができる。したがって、それぞれ、領域Ｂにはレンジ代表距離Ｄｂが、領域Ｃにはレンジ代表距離Ｄｃが、領域Ｄにはレンジ代表距離Ｄｄが定義される。
【０１０８】
また、上述のように、輪郭抽出部２３１は、各画素に対して距離を算出している。そこで、制御量演算部２３２は、各画素に適用するＷＢ制御量を、画素の距離を利用して算出する。具体的には、対象となる画素Ｐの距離をＤｐとし、ＤｐがＤｃとＤｄの間に存在する場合、その内分比に従ってＷｃとＷｄを内分した値を画素ＰにおけるＷＢ制御量Ｗｐとして算出する。つまり、Ｗｐ＝｛（Ｗｄ−Ｗｃ）／（Ｄｄ−Ｄｃ）｝・Ｄｐ＋（Ｄｄ・Ｗｃ−Ｄｃ・Ｗｄ）／（Ｄｄ−Ｄｃ）で算出される。
【０１０９】
このようにして、制御量演算部２３２が、全ての画素に対して各々ＷＢ制御量を算出する。そして、画像調整部２３３が、その値を利用して各画素に対してホワイトバランス調整を実行する。すると、領域の境界で不連続となるＷＢ制御量が算出されないので、観察者に違和感を与えない、滑らかで自然な色味を提供することができる。
【０１１０】
図２３は、画像の取得からホワイトバランス調整完了までの処理フローを示す図である。フローは、例えば露光動作を終え撮像素子１００が画像信号を出力する時点から開始する。
【０１１１】
ステップＳ１０１において、画像処理部２０５は、Ｌ画像データ、Ｒ画像データおよび２Ｄ画像データを取得する。なお、画像処理部２０５は、これらの画像データを取得するにあたり、撮像素子１００から出力される画像信号を受け取って画素の出力ごとに３つの画像データに分配して生成することにより取得しても良いし、メモリカード２２０に記録されているこれらの画像を読み出すことにより取得しても良い。
【０１１２】
ステップＳ１０２へ進み、画像処理部２０５の輪郭抽出部２３１は、上述のように、Ｌ画像の対象画素に対するＲ画像とのマッチング処理を実行し、奥行き量（距離）を決定する。さらに、ステップＳ１０３で、輪郭抽出部２３１は、Ｌ画像の対象画素に対応する対応画素を探索し、探索された画素にステップＳ１０２で決定した奥行き量を対応付ける。
【０１１３】
ステップＳ１０４へ進み、輪郭抽出部２３１は、２Ｄ画像データの全ての画素に対して奥行き量の関連付けが完了したか、つまりデプスマップが完成したか否かを判断する。未処理の画素があればステップＳ１０２へ戻る。
【０１１４】
輪郭抽出部２３１は、ステップＳ１０４で、デプスマップが完成していると判断した場合はステップＳ１０５へ進み、奥行き方向の区分帯に従って輪郭を生成し、生成された輪郭で囲まれた領域を決定する。
【０１１５】
ステップＳ１０６へ進み、制御量演算部２３２は、領域ＧｉがＷＢ制御量を算出できるだけの画素数を含むか否かを判断する。含まないと判断されると、ステップＳ１０７へ進み、輪郭抽出部２３１は、当該領域を隣接する領域と併合し、領域の修正を実行して、再びステップＳ１０６へ戻す。
【０１１６】
ステップＳ１０６で、制御量演算部２３２は、領域ＧｉがＷＢ制御量を算出できるだけの画素数を含むと判断すると、領域Ｇｉに対するＷＢ制御量を算出して、画像調整部２３３へ引き渡す。
【０１１７】
ステップＳ１０８で、画像調整部２３３は、領域Ｇｉの各画素に対するホワイトバランス調整を実行する。なお、ある被写体が他の領域と領域Ｇｉに跨っていると判断される場合には、図２２を用いて説明したように、画像調整部２３３は、各画素に対するＷＢ制御量を算出してホワイトバランス調整を実行しても良い。
【０１１８】
ステップＳ１０９へ進み、画像調整部２３３は、全ての領域においてホワイトバランス調整が完了したか否かを判断する。完了していないと判断した場合は、ステップＳ１０６へ進み、完了したと判断した場合は、一連のホワイトバランス調整処理を終了する。
【０１１９】
以上説明したマッチング処理においては、対応画素を画素単位で探索した。しかし、１画素未満の小数値でマッチング度合いが最大となる場合もあり得る。そのような場合においては、隣接する画素との比例配分等により補間処理を実行して、奥行き情報等を決定しても良い。
【０１２０】
以上の本実施形態におけるホワイトバランス調整処理では、モノクロ画像データであるＬ画像データ、Ｒ画像データおよびカラー画像データである２Ｄ画像データの組み合わせの例により説明した。しかし、撮像素子１００の繰り返しパターン１１０に対するバリエーションは、上述のように膨大であり、画像処理部２０５は、それぞれにおいて出力される画像データを用いて、上述のホワイトバランス調整処理を応用し得る。例えば、色情報が欠落する非視差画像データとしての２Ｄ画像データに、視差画像データから色情報を補間した後に、ホワイトバランス調整を実行することができる。
【０１２１】
また、視差画像データはＬ画像データおよびＲ画像データに限らず、更に多数の視差画像データを利用することもできる。例えば、複数の視差画像データを利用することにより、奥行き情報の精度を高めることができる。
【０１２２】
さらに、ホワイトバランス調整を行う対象画像データは、２Ｄ画像データに限らない。視差画像をカラー画像として表示する場合、視差画像データに対しても、上述のように奥行き情報を利用したホワイトバランス調整を施せば良い。
【０１２３】
以上説明した本実施形態においては、開口マスク１０３を備える撮像素子１００が出力した視差画像データと２Ｄ画像データを用いてホワイトバランス調整を説明した。しかし、上述のホワイトバランス調整が適用される視差画像データと２Ｄ画像データは、撮像素子１００によって出力された画像データに限らない。対応する視差画像データと２Ｄ画像データであれば、如何なる撮像素子、撮像装置によって出力された画像データであっても構わない。例えば、対となる視差画像データと２Ｄ画像データは、一度の露光により共に出力される場合に限らず、視差画像データと２Ｄ画像データが連続的に出力される場合であっても良い。
【０１２４】
また、上述の実施形態においては、ＡＦ情報を利用して奥行き情報を絶対距離に換算して処理を実行した。しかし、視差画像データにおけるそれぞれの被写体像間のずれ量は、相対的な距離差に比例するので、画像処理部２０５は、絶対距離を用いなくても距離に応じたホワイトバランス調整を行うことができる。
【０１２５】
また、上述の実施形態によれば、各画素が距離情報を有するので、換言すればデプスマップを生成するので、ホワイトバランス調整において、距離情報を加味した視覚効果を付与することもできる。例えば、画像調整部２３３は、遠方に向かうほど青味が増すように、制御量ＷｂのうちＢの値の算出にオフセット量を加えることができる。もちろん、オフセット量は、距離に応じて増減させても良い。
【０１２６】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【０１２７】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【０１２８】
１０ デジタルカメラ、２０ 撮影レンズ、２１ 光軸、３０、３１ 被写体、１００ 撮像素子、１０１ マイクロレンズ、１０２ カラーフィルタ、１０３ 開口マスク、１０４ 開口部、１０５ 配線層、１０６ 配線、１０７ 開口、１０８ 光電変換素子、１０９ 基板、１１０ 繰り返しパターン、１２０ 撮像素子、１２１ スクリーンフィルタ、１２２ カラーフィルタ部、１２３ 開口マスク部、２０１ 制御部、２０２ Ａ／Ｄ変換回路、２０３ メモリ、２０４ 駆動部、２０５ 画像処理部、２０７ メモリカードＩＦ、２０８ 操作部、２０９ 表示部、２１０ ＬＣＤ駆動回路、２１１ ＡＦセンサ、２２０ メモリカード、２３１ 輪郭抽出部、２３２ 制御量演算部、２３３ 画像調整部、３０１ 少女、３０２ 少年、３０３ 女性、４６０ 測距点、４６１ 合焦測距点、４８１ 対象画素、４８２、４８４、４８６ 局所ウィンドウ、４８３、４８５ 探索画素、５０１ 黒体輻射カーブ、５０２ 白抽出領域、６０１ バス、６０２ 樹木、６０３ 山
【技術分野】
【０００１】
本発明は、撮像装置および撮像装置の制御プログラムに関する。
【背景技術】
【０００２】
撮影時におけるＡＦ情報を利用して撮影した画像データに写り込む複数の被写体のそれぞれを分離し、被写体の領域ごとにホワイトバランス調整を行う技術が知られている。
［先行技術文献］
［特許文献］
［特許文献１］ 特開２００１−２８７６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかし、ＡＦ情報から取得される被写体の距離情報は粗く、被写体の輪郭を精確に抽出することができないので、被写体領域ごとの最適なホワイトバランス調整は困難であった。
【課題を解決するための手段】
【０００４】
本発明の第１の態様における撮像装置は、少なくとも２つの視差画像データを出力する撮像部と、視差画像データ間のマッチング処理を行うことにより算出される奥行き情報に基づいて、被写体像の輪郭を抽出する輪郭抽出部と、輪郭により囲まれた領域ごとにホワイトバランス調整に用いる制御量を算出する制御量演算部とを備える。
【０００５】
本発明の第２の態様における撮像装置の制御プログラムは、少なくとも２つの視差画像データを出力する撮像ステップと、視差画像データ間のマッチング処理を行うことにより算出される奥行き情報に基づいて、被写体像の輪郭を抽出する輪郭抽出ステップと、輪郭により囲まれた領域ごとにホワイトバランス調整に用いる制御量を算出する制御量演算ステップとをコンピュータに実行させる。
【０００６】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施形態に係るデジタルカメラの構成を説明する図である。
【図２】本発明の実施形態に係る撮像素子の断面を表す概略図である。
【図３】撮像素子の一部を拡大した様子を表す概略図である。
【図４】視差画素と被写体の関係を説明する概念図である。
【図５】視差画像を生成する処理を説明する概念図である。
【図６】繰り返しパターンの他の例を示す図である。
【図７】二次元的な繰り返しパターンの例を示す図である。
【図８】開口部の他の形状を説明する図である。
【図９】ベイヤー配列を説明する図である。
【図１０】ベイヤー配列に対する視差画素の割り振りについて、視差画素の種類が２つである場合のバリエーションを説明する図である。
【図１１】バリエーションの一例を示す図である。
【図１２】他のバリエーションの一例を示す図である。
【図１３】他のバリエーションの一例を示す図である。
【図１４】他のカラーフィルタ配列を説明する図である。
【図１５】Ｗ画素と視差画素の配列の一例を示す図である。
【図１６】視差画像と２Ｄ画像の生成過程を示す概念図である。
【図１７】光学ファインダから観察される被写体像および測距領域を示す図である。
【図１８】デジタルカメラと各被写体との距離を示す概念図である。
【図１９】マッチング処理から被写体領域の確定までの過程を示す概念図である。
【図２０】白抽出領域を示す図である。
【図２１】被写体が奥行き方向に分散するシーンの説明図である。
【図２２】被写体が奥行き方向に分散する画像に対するホワイトバランス制御量の演算について説明する図である。
【図２３】画像の取得からホワイトバランス調整までの処理フローを示す図である。
【発明を実施するための形態】
【０００８】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００９】
撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。
【００１０】
図１は、本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９、ＬＣＤ駆動回路２１０およびＡＦセンサ２１１を備える。
【００１１】
なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向をｚ軸プラス方向と定め、ｚ軸と直交する平面において紙面手前へ向かう方向をｘ軸プラス方向、紙面上方向をｙ軸プラス方向と定める。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
【００１２】
撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。
【００１３】
Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。特に、画像処理部２０５は、視差画像データ間のマッチング処理を実行して被写体像の輪郭を抽出する輪郭抽出部２３１、抽出された輪郭を被写体領域としてホワイトバランスの制御量を演算する制御量演算部２３２、演算された制御量を用いて被写体像のホワイトバランスを調整する画像調整部２３３を有する。それぞれの処理の詳細については、後述する。
【００１４】
画像処理部２０５は、他にも、撮像素子１００の画素配列に即して、入力される画像信号から非視差画像データとしての２Ｄ画像データおよび視差画像データを生成したり、選択された画像フォーマットに従って画像データを調整する機能も担う。生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。
【００１５】
ＡＦセンサ２１１は、被写体空間に対して複数の測距点が設定された位相差センサであり、それぞれの測距点において被写体像のデフォーカス量を検出する。一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、制御部２０１に制御されて実行される。例えば、制御部２０１は、ＡＦセンサ２１１の検出信号を解析して、撮影レンズ２０の一部を構成するフォーカスレンズを移動させる合焦制御を実行する。
【００１６】
次に、撮像素子１００の構成について詳細に説明する。図２は、本発明の実施形態に係る撮像素子の断面を表す概略図である。図２（ａ）は、カラーフィルタ１０２と開口マスク１０３が別体で構成される撮像素子１００の断面概略図である。また、図２（ｂ）は、撮像素子１００の変形例として、カラーフィルタ部１２２と開口マスク部１２３が一体的に構成されたスクリーンフィルタ１２１を備える撮像素子１２０の断面外略図である。
【００１７】
図２（ａ）に示すように、撮像素子１００は、被写体側から順に、マイクロレンズ１０１、カラーフィルタ１０２、開口マスク１０３、配線層１０５および光電変換素子１０８が配列されて構成されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８は、基板１０９の表面に二次元的に複数配列されている。
【００１８】
光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。また、各光電変換素子１０８に一対一に対応して設けられた開口部１０４を有する開口マスク１０３が、配線層に接して設けられている。開口部１０４は、後述するように、対応する光電変換素子１０８ごとにシフトさせて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部１０４を備える開口マスク１０３の作用により、光電変換素子１０８が受光する被写体光束に視差が生じる。
【００１９】
一方、視差を生じさせない光電変換素子１０８上には、開口マスク１０３が存在しない。別言すれば、対応する光電変換素子１０８に対して入射する被写体光束を制限しない、つまり有効光束の全体を通過させる開口部１０４を有する開口マスク１０３が設けられているとも言える。視差を生じさせることはないが、実質的には配線１０６によって形成される開口１０７が入射する被写体光束を規定するので、配線１０６を、視差を生じさせない有効光束の全体を通過させる開口マスクと捉えることもできる。開口マスク１０３は、各光電変換素子１０８に対応して別個独立に配列しても良いし、カラーフィルタ１０２の製造プロセスと同様に複数の光電変換素子１０８に対して一括して形成しても良い。
【００２０】
カラーフィルタ１０２は、開口マスク１０３上に設けられている。カラーフィルタ１０２は、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも２種類のカラーフィルタが配列されれば良いが、より高画質のカラー画像を取得するには３種類以上のカラーフィルタを配列すると良い。例えば赤色波長帯を透過させる赤フィルタ、緑色波長帯を透過させる緑フィルタ、および青色波長帯を透過させる青フィルタを格子状に配列すると良い。具体的な配列については後述する。
【００２１】
マイクロレンズ１０１は、カラーフィルタ１０２上に設けられている。マイクロレンズ１０１は、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズである。マイクロレンズ１０１は、光電変換素子１０８のそれぞれに一対一に対応して設けられている。マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク１０３の開口部１０４の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されても良い。
【００２２】
このように、各々の光電変換素子１０８に対応して一対一に設けられる開口マスク１０３、カラーフィルタ１０２およびマイクロレンズ１０１の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク１０３が設けられた画素を視差画素、視差を生じさせる開口マスク１０３が設けられていない画素を視差なし画素と呼ぶ。例えば、撮像素子１００の有効画素領域が２４ｍｍ×１６ｍｍ程度の場合、画素数は１２００万程度に及ぶ。
【００２３】
なお、集光効率、光電変換効率が良いイメージセンサの場合は、マイクロレンズ１０１を設けなくても良い。また、裏面照射型イメージセンサの場合は、配線層１０５が光電変換素子１０８とは反対側に設けられる。
【００２４】
カラーフィルタ１０２と開口マスク１０３の組み合わせには、さまざまなバリエーションが存在する。図２（ａ）において、開口マスク１０３の開口部１０４に色成分を持たせれば、カラーフィルタ１０２と開口マスク１０３を一体的に形成することができる。また、特定の画素を被写体の輝度情報を取得する画素として特化させる場合、その画素には、対応するカラーフィルタ１０２を設けなくても良い。あるいは、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタを配列しても良い。
【００２５】
輝度情報を取得する画素を視差画素とする場合、つまり、視差画像をモノクロ画像として出力するのであれば、図２（ｂ）として示す撮像素子１２０の構成を採用し得る。すなわち、カラーフィルタとして機能するカラーフィルタ部１２２と、開口部１０４を有する開口マスク部１２３とが一体的に構成されたスクリーンフィルタ１２１を、マイクロレンズ１０１と配線層１０５の間に配設することができる。
【００２６】
スクリーンフィルタ１２１は、カラーフィルタ部１２２において例えば青緑赤の着色が施され、開口マスク部１２３において開口部１０４以外のマスク部分が黒の着色が施されて形成される。スクリーンフィルタ１２１を採用する撮像素子１２０は、撮像素子１００に比較して、マイクロレンズ１０１から光電変換素子１０８までの距離が短いので、被写体光束の集光効率が高い。
【００２７】
次に、開口マスク１０３の開口部１０４と、生じる視差の関係について説明する。図３は、撮像素子１００の一部を拡大した様子を表す概略図である。ここでは、説明を簡単にすべく、カラーフィルタ１０２の配色については後に言及を再開するまで考慮しない。カラーフィルタ１０２の配色に言及しない以下の説明においては、同色のカラーフィルタ１０２を有する視差画素のみを寄せ集めたイメージセンサであると捉えることができる。したがって、以下に説明する繰り返しパターンは、同色のカラーフィルタ１０２における隣接画素として考えても良い。
【００２８】
図３に示すように、開口マスク１０３の開口部１０４は、それぞれの画素に対して相対的にシフトして設けられている。そして、隣接する画素同士においても、それぞれの開口部１０４は互いに変位した位置に設けられている。
【００２９】
図の例においては、それぞれの画素に対する開口部１０４の位置として、互いに左右方向にシフトした６種類の開口マスク１０３が用意されている。そして、撮像素子１００の全体は、紙面左側から右側へ徐々にシフトする開口マスク１０３をそれぞれ有する６つの視差画素を一組とする光電変換素子群が、二次元的かつ周期的に配列されている。つまり、撮像素子１００は、一組の光電変換素子群を含む繰り返しパターン１１０が、周期的に敷き詰められて構成されていると言える。
【００３０】
図４は、視差画素と被写体の関係を説明する概念図である。特に図４（ａ）は撮像素子１００のうち撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔの光電変換素子群を示し、図４（ｂ）は周辺部分に配列されている繰り返しパターン１１０ｕの光電変換素子群を模式的に示している。図４（ａ）、（ｂ）における被写体３０は、撮影レンズ２０に対して合焦位置に存在する。図４（ｃ）は、図４（ａ）に対応して、撮影レンズ２０に対して非合焦位置に存在する被写体３１を捉えた場合の関係を模式的に示している。
【００３１】
まず、撮影レンズ２０が合焦状態に存在する被写体３０を捉えている場合の、視差画素と被写体の関係を説明する。被写体光束は、撮影レンズ２０の瞳を通過して撮像素子１００へ導かれるが、被写体光束が通過する全体の断面領域に対して、６つの部分領域Ｐａ〜Ｐｆが規定されている。そして、例えば繰り返しパターン１１０ｔ、１１０ｕを構成する光電変換素子群の紙面左端の画素は、拡大図からもわかるように、部分領域Ｐｆから射出された被写体光束のみが光電変換素子１０８へ到達するように、開口マスク１０３の開口部１０４ｆの位置が定められている。同様に、右端の画素に向かって、部分領域Ｐｅに対応して開口部１０４ｅの位置が、部分領域Ｐｄに対応して開口部１０４ｄの位置が、部分領域Ｐｃに対応して開口部１０４ｃの位置が、部分領域Ｐｂに対応して開口部１０４ｂの位置が、部分領域Ｐａに対応して開口部１０４ａの位置がそれぞれ定められている。
【００３２】
別言すれば、例えば部分領域Ｐｆと左端画素の相対的な位置関係によって定義される、部分領域Ｐｆから射出される被写体光束の主光線Ｒｆの傾きにより、開口部１０４ｆの位置が定められていると言っても良い。そして、合焦位置に存在する被写体３０からの被写体光束を、開口部１０４ｆを介して光電変換素子１０８が受光する場合、その被写体光束は、点線で図示するように、光電変換素子１０８上で結像する。同様に、右端の画素に向かって、主光線Ｒｅの傾きにより開口部１０４ｅの位置が、主光線Ｒｄの傾きにより開口部１０４ｄの位置が、主光線Ｒｃの傾きにより開口部１０４ｃの位置が、主光線Ｒｂの傾きにより開口部１０４ｂの位置が、主光線Ｒａの傾きにより開口部１０４ａの位置がそれぞれ定められていると言える。
【００３３】
図４（ａ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１と交差する被写体３０上の微小領域Ｏｔから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｔから放射される光束を受光している。微小領域Ｏｔは、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。同様に、図４（ｂ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１から離間した被写体３０上の微小領域Ｏｕから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｕから放射される光束を受光している。微小領域Ｏｕも、微小領域Ｏｔと同様に、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。
【００３４】
つまり、被写体３０が合焦位置に存在する限りは、撮像素子１００上における繰り返しパターン１１０の位置に応じて、光電変換素子群が捉える微小領域が異なり、かつ、光電変換素子群を構成する各画素は互いに異なる部分領域を介して同一の微小領域を捉えている。そして、それぞれの繰り返しパターン１１０において、対応する画素同士は同じ部分領域からの被写体光束を受光している。つまり、図においては、例えば繰り返しパターン１１０ｔ、１１０ｕのそれぞれの左端の画素は、同じ部分領域Ｐｆからの被写体光束を受光している。
【００３５】
撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置と、周辺部分に配列されている繰り返しパターン１１０ｕにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置は厳密には異なる。しかしながら、機能的な観点からは、部分領域Ｐｆからの被写体光束を受光するための開口マスクという点で、これらを同一種類の開口マスクとして扱うことができる。したがって、図４の例では、撮像素子１００上に配列される視差画素のそれぞれは、６種類の開口マスクの一つを備えると言える。
【００３６】
次に、撮影レンズ２０が非合焦状態に存在する被写体３１を捉えている場合の、視差画素と被写体の関係を説明する。この場合も、非合焦位置に存在する被写体３１からの被写体光束は、撮影レンズ２０の瞳の６つの部分領域Ｐａ〜Ｐｆを通過して、撮像素子１００へ到達する。ただし、非合焦位置に存在する被写体３１からの被写体光束は、光電変換素子１０８上ではなく他の位置で結像する。例えば、図４（ｃ）に示すように、被写体３１が被写体３０よりも撮像素子１００に対して遠い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１側で結像する。逆に、被写体３１が被写体３０よりも撮像素子１００に対して近い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１とは反対側で結像する。
【００３７】
したがって、非合焦位置に存在する被写体３１のうち、微小領域Ｏｔ'から放射される被写体光束は、６つの部分領域Ｐａ〜Ｐｆのいずれを通過するかにより、異なる組の繰り返しパターン１１０における対応画素に到達する。例えば、部分領域Ｐｄを通過した被写体光束は、図４（ｃ）の拡大図に示すように、主光線Ｒｄ'として、繰り返しパターン１１０ｔ'に含まれる、開口部１０４ｄを有する光電変換素子１０８へ入射する。そして、微小領域Ｏｔ'から放射された被写体光束であっても、他の部分領域を通過した被写体光束は、繰り返しパターン１１０ｔ'に含まれる光電変換素子１０８へは入射せず、他の繰り返しパターンにおける対応する開口部を有する光電変換素子１０８へ入射する。換言すると、繰り返しパターン１１０ｔ'を構成する各光電変換素子１０８へ到達する被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。すなわち、開口部１０４ｄに対応する１０８へは主光線をＲｄ'とする被写体光束が入射し、他の開口部に対応する光電変換素子１０８へは主光線をＲａ＋、Ｒｂ＋、Ｒｃ＋、Ｒｅ＋、Ｒｆ＋とする被写体光束が入射するが、これらの被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。このような関係は、図４（ｂ）における周辺部分に配列されている繰り返しパターン１１０ｕにおいても同様である。
【００３８】
すると、撮像素子１００の全体で見た場合、例えば、開口部１０４ａに対応する光電変換素子１０８で捉えた被写体像Ａと、開口部１０４ｄに対応する光電変換素子１０８で捉えた被写体像Ｄは、合焦位置に存在する被写体に対する像であれば互いにずれが無く、非合焦位置に存在する被写体に対する像であればずれが生じることになる。そして、そのずれは、非合焦位置に存在する被写体が合焦位置に対してどちら側にどれだけずれているかにより、また、部分領域Ｐａと部分領域Ｐｄの距離により、方向と量が定まる。つまり、被写体像Ａと被写体像Ｄは、互いに視差像となる。この関係は、他の開口部に対しても同様であるので、開口部１０４ａから１０４ｆに対応して、６つの視差像が形成されることになる。
【００３９】
したがって、このように構成されたそれぞれの繰り返しパターン１１０において、互いに対応する画素の出力を寄せ集めると、視差画像が得られる。つまり、６つの部分領域Ｐａ〜Ｐｆうちの特定の部分領域から射出された被写体光束を受光した画素の出力は、視差画像を形成する。
【００４０】
図５は、視差画像を生成する処理を説明する概念図である。図は、左列から順に、開口部１０４ｆに対応する視差画素の出力を集めて生成される視差画像データＩｍ＿ｆの生成の様子、開口部１０４ｅの出力による視差画像データＩｍ＿ｅの生成の様子、開口部１０４ｄの出力による視差画像データＩｍ＿ｄの生成の様子、開口部１０４ｃの出力による視差画像データＩｍ＿ｃの生成の様子、開口部１０４ｂの出力による視差画像データＩｍ＿ｂの生成の様子、開口部１０４ａの出力による視差画像データＩｍ＿ａの生成の様子を表す。まず開口部１０４ｆの出力による視差画像データＩｍ＿ｆの生成の様子について説明する。
【００４１】
６つの視差画素を一組とする光電変換素子群から成る繰り返しパターン１１０は、横一列に配列されている。したがって、開口部１０４ｆを有する視差画素は、撮像素子１００上において、左右方向に６画素おき、かつ、上下方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる微小領域からの被写体光束を受光している。したがって、これらの視差画素の出力を寄せ集めて配列すると、視差画像が得られる。
【００４２】
しかし、本実施形態における撮像素子１００の各画素は正方画素であるので、単に寄せ集めただけでは、横方向の画素数が１／６に間引かれた結果となり、縦長の画像データが生成されてしまう。そこで、補間処理を施して横方向に６倍の画素数とすることにより、本来のアスペクト比の画像として視差画像データＩｍ＿ｆを生成する。ただし、そもそも補間処理前の視差画像データが横方向に１／６に間引かれた画像であるので、横方向の解像度は、縦方向の解像度よりも低下している。つまり、生成される視差画像データの数と、解像度の向上は相反関係にあると言える。
【００４３】
同様にして、視差画像データＩｍ＿ｅ〜視差画像データＩｍ＿ａが得られる。すなわち、デジタルカメラ１０は、横方向に視差を有する６視点の視差画像を生成することができる。
【００４４】
上記の例では、横一列を繰り返しパターン１１０として周期的に配列される例を説明したが、繰り返しパターン１１０はこれに限らない。図６は、繰り返しパターン１１０の他の例を示す図である。
【００４５】
図６（ａ）は、縦６画素を繰り返しパターン１１０とした例である。ただし、それぞれの開口部１０４は、紙面上端の視差画素から下に向かって、紙面左側から右側へ徐々にシフトするように位置が定められている。このように配列された繰り返しパターン１１０によっても、横方向に視差を与える６視点の視差画像を生成することができる。この場合は、図３の繰り返しパターン１１０に比較すると、縦方向の解像度を犠牲にする代わりに横方向の解像度を維持する繰り返しパターンであると言える。
【００４６】
図６（ｂ）は、斜め方向に隣接する６画素を繰り返しパターン１１０とした例である。それぞれの開口部１０４は、紙面左上端の視差画素から右下に向かって、紙面左側から右側へ徐々にシフトするように位置が定められている。このように配列された繰り返しパターン１１０によっても、横方向に視差を与える６視点の視差画像を生成することができる。この場合は、図３の繰り返しパターン１１０に比較すると、縦方向の解像度および横方向の解像度をある程度維持しつつ、視差画像の数を増やす繰り返しパターンであると言える。
【００４７】
図３の繰り返しパターン１１０、および図６（ａ）（ｂ）の繰り返しパターン１１０をそれぞれ比較すると、いずれも６視点の視差画像を生成する場合において、視差画像でない全体から一枚の画像を出力する場合の解像度に対し、縦方向、横方向のいずれの方向の解像度を犠牲にするかの違いであると言える。図３の繰り返しパターン１１０の場合は、横方向の解像度を１／６とする構成である。図６（ａ）の繰り返しパターン１１０の場合は、縦方向の解像度を１／６とする構成である。また、図６（ｂ）の繰り返しパターン１１０の場合は、縦方向を１／３、横方向を１／２とする構成である。いずれの場合も、一つのパターン内には、各画素に対応して開口部１０４ａ〜１０４ｆが一つずつ設けられており、それぞれが対応する部分領域Ｐａ〜Ｐｆのいずれかから被写体光束を受光するように構成されている。したがって、いずれの繰り返しパターン１１０であっても視差量は同等である。
【００４８】
上述の例では、左右方向に視差を与える視差画像を生成する場合について説明したが、もちろん上下方向に視差を与える視差画像を生成することもできるし、上下左右の二次元方向に視差を与える視差画像を生成することもできる。図７は、二次元的な繰り返しパターン１１０の例を示す図である。
【００４９】
図７の例によれば、縦６画素横６画素の３６画素を一組の光電変換素子群として繰り返しパターン１１０を形成する。それぞれの画素に対する開口部１０４の位置として、互いに上下左右方向にシフトした３６種類の開口マスク１０３が用意されている。具体的には、各開口部１０４は、繰り返しパターン１１０の上端画素から下端画素に向かって、上側から下側へ徐々にシフトすると同時に、左端画素から右端画素に向かって、左側から右側へ徐々にシフトするように位置決めされている。
【００５０】
このような繰り返しパターン１１０を有する撮像素子１００は、上下方向および左右方向に視差を与える、３６視点の視差画像を出力することができる。もちろん図７の例に限らず、さまざまな視点数の視差画像を出力するように繰り返しパターン１１０を定めることができる。
【００５１】
以上の説明においては、開口部１０４の形状として矩形を採用した。特に、横方向に視差を与える配列においては、シフトさせる方向である左右方向の幅よりも、シフトさせない上下方向の幅を広くすることにより、光電変換素子１０８へ導く光量を確保している。しかし、開口部１０４の形状は矩形に限定されない。
【００５２】
図８は、開口部１０４の他の形状を説明する図である。図においては、開口部１０４の形状を円形とした。円形とした場合、半球形状であるマイクロレンズ１０１との相対的な関係から、予定外の被写体光束が迷光となって光電変換素子１０８へ入射することを防ぐことができる。
【００５３】
次に、カラーフィルタ１０２と視差画像について説明する。図９は、ベイヤー配列を説明する図である。図示するように、ベイヤー配列は、緑フィルタが左上と右下の２画素に、赤フィルタが左下の１画素に、青フィルタが右上の１画素に割り当てられる配列である。ここでは、緑フィルタが割り当てられた左上の画素をＧｂ画素と、同じく緑色フィルタが割り当てられた右下の画素をＧｒ画素とする。また、赤色フィルタが割り当てられた画素をＲ画素と、青色が割り当てられた画素をＢ画素とする。そして、Ｇｂ画素およびＢ画素が並ぶ横方向をＧｂ行とし、Ｒ画素およびＧｒ画素が並ぶ横方向をＧｒ行とする。また、Ｇｂ画素およびＲ画素が並ぶ縦方向をＧｂ列とし、Ｂ画素およびＧｒ画素が並ぶ縦方向をＧｒ列とする。
【００５４】
このようなカラーフィルタ１０２の配列に対して、視差画素と視差なし画素を、何色の画素にどのような周期で割り振っていくかにより、膨大な数の繰り返しパターン１１０が設定され得る。視差なし画素の出力を集めれば、通常の撮影画像と同じく視差のない撮影画像データを生成することができる。したがって、相対的に視差なし画素の割合を増やせば、解像度の高い２Ｄ画像を出力させることができる。この場合、視差画素は相対的に少ない割合となるので、複数の視差画像からなる３Ｄ画像としては画質が低下する。逆に、視差画素の割合を増やせば、３Ｄ画像としては画質が向上するが、視差なし画素は相対的に減少するので、解像度の低い２Ｄ画像が出力される。
【００５５】
このようなトレードオフの関係において、何れの画素を視差画素とするか、あるいは視差なし画素とするかにより、様々な特徴を有する繰り返しパターン１１０が設定される。図１０は、ベイヤー配列に対する視差画素の割り振りについて、視差画素の種類が２つである場合のバリエーションを説明する図である。この場合の視差画素は、開口部１０４が中心よりも左側に偏心した視差Ｌ画素と、同じく右側に偏心した視差Ｒ画素を想定している。つまり、このような視差画素から出力される２視点の視差画像は、いわゆる立体視を実現する。
【００５６】
それぞれの繰り返しパターンに対する特徴の説明は図に示す通りである。例えば、視差なし画素が多く割り振られていれば高解像度の２Ｄ画像データとなり、ＲＧＢのいずれの画素に対しても均等に割り振られていれば、色ずれの少ない高画質の２Ｄ画像データとなる。視差画素の出力も利用して２Ｄ画像データを生成する場合、ずれた被写体像を周辺画素の出力を参照して補正する。したがって、例えば全部のＲ画素が視差画素であったとしても２Ｄ画像を生成することはできるものの、その画質は自ずと低下する。
【００５７】
一方、視差画素が多く割り振られていれば高解像度の３Ｄ画像データとなり、ＲＧＢのいずれの画素に対しても均等に割り振られていれば、３Ｄ画像でありながら、色再現性の良い高品質のカラー画像データとなる。視差なし画素の出力も利用して３Ｄ画像データを生成する場合、視差のない被写体像から周辺の視差画素の出力を参照してずれた被写体像を生成する。したがって、例えば全部のＲ画素が視差なし画素であったとしてもカラーの３Ｄ画像を生成することはできるものの、やはりその品質は低下する。
【００５８】
以下にいくつかのバリエーションについて説明する。図１１は、バリエーションの一例を示す図である。図１１のバリエーションは、図１０における繰り返しパターン分類Ａ−１に相当する。
【００５９】
図の例においては、ベイヤー配列と同じ４画素を繰り返しパターン１１０とする。Ｒ画素とＢ画素は視差なし画素であり、Ｇｂ画素を視差Ｌ画素に、Ｇｒ画素を視差Ｒ画素に割り当てる。この場合、同一の繰り返しパターン１１０に含まれる視差Ｌ画素と視差Ｒ画素は、被写体が合焦位置に存在するときに、同じ微小領域から放射される光束を受光するように開口部１０４が定められる。
【００６０】
図の例においては、視感度の高い緑画素であるＧｂ画素およびＧｒ画素を視差画素として用いるので、コントラストの高い視差画像を得ることが期待できる。また、同じ緑色画素であるＧｂ画素およびＧｒ画素を視差画素として用いるので、これら２つの出力から視差のない出力に変換演算がし易く、視差なし画素であるＲ画素およびＢ画素の出力と共に、高画質の２Ｄ画像データを生成できる。
【００６１】
図１２は、他のバリエーションの一例を示す図である。図１２のバリエーションは、図１０における繰り返しパターン分類Ｂ−１に相当する。
【００６２】
図の例においては、ベイヤー配列の４画素が左右に２組続く８画素を繰り返しパターン１１０とする。８画素のうち、左側のＧｂ画素に視差Ｌ画素を、右側のＧｂ画素に視差Ｒ画素を割り当てる。このような配列においては、Ｇｒ画素を視差なし画素としたことにより、図１０の例よりも、更に２Ｄ画像の高画質化が望める。
【００６３】
図１３は、更に他のバリエーションの一例を示す図である。図１３のバリエーションは、図１０における繰り返しパターン分類Ｄ−１に相当する。
【００６４】
図の例においては、ベイヤー配列の４画素が左右に２組続く８画素を繰り返しパターン１１０とする。８画素のうち、左側のＧｂ画素に視差Ｌ画素を、右側のＧｂ画素に視差Ｒ画素を割り当てる。さらに、左側のＲ画素に視差Ｌ画素を、右側のＲ画素に視差Ｒ画素を割り当てる。さらに、左側のＢ画素に視差Ｌ画素を、右側のＢ画素に視差Ｒ画素を割り当てる。２つのＧｒ画素には視差なし画素を割り当てる。
【００６５】
２つのＧｂ画素に割り当てられた視差Ｌ画素と視差Ｒ画素は、被写体が合焦位置に存在するときに、一つの微小領域から放射される光束を受光する。また、２つのＲ画素に割り当てられた視差Ｌ画素と視差Ｒ画素は、Ｇｂ画素のそれとは異なる一つの微小領域から放射される光束を受光し、２つのＢ画素に割り当てられた視差Ｌ画素と視差Ｒ画素は、Ｇｂ画素およびＲ画素のそれとは異なる一つの微小領域から放射される光束を受光する。したがって、図１２の例に比較して、３Ｄ画像としての解像度が縦方向に３倍となる。しかも、ＲＧＢの３色の出力が得られるので、カラー画像としての３Ｄ画像として高品質である。
【００６６】
なお、上述のように視差画素の種類を２つにすれば２視点の視差画像が得られるが、もちろん視差画素の種類は、出力したい視差画像数に合わせて、図３、図７、図８などで説明したような様々な数を採用し得る。視点数が増えていっても、さまざまな繰り返しパターン１１０を形成することができる。したがって、仕様、目的等に応じた繰り返しパターン１１０を選択することができる。
【００６７】
上述の例では、カラーフィルタ配列としてベイヤー配列を採用した場合について説明したが、もちろん他のカラーフィルタ配列であっても差し支えない。図３等を用いて説明したように、カラーフィルタ配列を構成するある１色に着目して寄せ集めた場合に、隣接する複数の画素を一組の光電変換素子群とする繰り返しパターンを形成し、視差画像を出力するように視差画素が割り当てられていれば良い。このとき、一組の光電変換素子群を構成する視差画素のそれぞれは、互いに異なる部分領域を向く開口部１０４を有する開口マスク１０３を備えると良い。
【００６８】
したがって、撮像素子１００は、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子１０８と、光電変換素子１０８の少なくとも一部のそれぞれに一対一に対応して設けられた開口マスク１０３と、光電変換素子１０８の少なくとも一部のそれぞれに一対一に対応して設けられたカラーフィルタ１０２とを備え、隣接するｎ個（ｎは３以上の整数）の光電変換素子１０８のうち、少なくとも２つ（３つ以上であっても良い）に対応して設けられたそれぞれの開口マスク１０３の開口部１０４は、互いに異なる波長帯域を透過させる少なくとも２種類（好ましくは３種類）のカラーフィルタ１０２から構成されるカラーフィルターパターンの一パターン内に含まれると共に、入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、ｎ個の光電変換素子１０８を一組とする光電変換素子群が周期的に配列されていれば良い。
【００６９】
図１４は、他のカラーフィルタ配列を説明する図である。図示するように、他のカラーフィルタ配列は、図９で示したベイヤー配列のＧｒ画素を緑フィルタが割り当てられるＧ画素として維持する一方、Ｇｂ画素をカラーフィルタが割り当てられないＷ画素に変更した配列である。なお、Ｗ画素は、上述のように、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタが配列されていても良い。
【００７０】
このようなＷ画素を含むカラーフィルタ配列を採用すれば、撮像素子が出力するカラー情報の精度は若干低下するものの、Ｗ画素が受光する光量はカラーフィルタが設けられている場合に比較して多いので、精度の高い輝度情報を取得できる。Ｗ画素の出力を寄せ集めれば、モノクロ画像を形成することもできる。
【００７１】
Ｗ画素を含むカラーフィルタ配列の場合、視差画素と視差なし画素の繰り返しパターン１１０は、さらなるバリエーションが存在する。例えば、比較的暗い環境下で撮影された画像であっても、カラー画素から出力された画像に比較してＷ画素から出力された画像であれば、被写体像のコントラストが高い。そこで、Ｗ画素に視差画素を割り振れば、複数の視差画像間で行うマッチング処理において、精度の高い演算結果が期待できる。後述するように、マッチング処理は、画像データに写り込む被写体像の距離情報を取得する処理の一環として実行される。したがって、２Ｄ画像の解像度および視差画像の画質への影響に加え、抽出される他の情報への利害得失も考慮して、視差画素と視差なし画素の繰り返しパターン１１０が設定される。
【００７２】
図１５は、図１４の他のカラーフィルタ配列を採用する場合の、Ｗ画素と視差画素の配列の一例を示す図である。図１５のバリエーションは、ベイヤー配列における図１２の繰り返しパターン分類Ｂ−１に類似するので、ここではＢ'−１とする。図の例においては、他のカラーフィルタ配列の４画素が左右に２組続く８画素を繰り返しパターン１１０とする。８画素のうち、左側のＷ画素に視差Ｌ画素を、右側のＷ画素に視差Ｒ画素を割り当てる。このような配列において撮像素子１００は、視差画像をモノクロ画像として出力し、２Ｄ画像をカラー画像として出力する。
【００７３】
この場合、撮像素子１００は、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子１０８と、光電変換素子１０８の少なくとも一部のそれぞれに一対一に対応して設けられた開口マスク１０３と、光電変換素子１０８の少なくとも一部のそれぞれに一対一に対応して設けられたカラーフィルタ１０２とを有し、隣接するｎ個（ｎは４以上の整数）の光電変換素子１０８のうち、少なくとも２つに対応して設けられたそれぞれの開口マスク１０３の開口部１０４は、互いに異なる波長帯域を透過させる少なくとも２種類（好ましくは３種類）のカラーフィルタ１０２から構成されるカラーフィルターパターンの一パターン内には含まれず、かつ、入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、ｎ個の光電変換素子１０８を一組とする光電変換素子群が周期的に配列されていれば良い。
【００７４】
ここで、モノクロ画像としての視差画像の生成と、カラー画像としての２Ｄ画像の生成について説明する。
【００７５】
図１６は、視差画像と２Ｄ画像の生成過程を示す概念図である。図示するように、視差Ｌ画素の出力が、撮像素子１００上の相対的な位置関係を維持しながら寄せ集められて、Ｌ画像データが生成される。一つの繰り返しパターン１１０に含まれる視差Ｌ画素は一つであるので、Ｌ画像データを形成する各視差Ｌ画素は、それぞれ異なる繰り返しパターン１１０から寄せ集められていると言える。すなわち、寄せ集められたそれぞれの視差Ｌ画素の出力は、被写体の互いに異なる微小領域から放射された光が光電変換された結果であるので、Ｌ画像データは、特定の視点（Ｌ視点）から被写体を捉えた一つの視差画像データとなる。そして、視差Ｌ画素は、Ｗ画素に割り振られているので、Ｌ画像データは、カラー情報を持たず、モノクロ画像として生成される。
【００７６】
同様に、視差Ｒ画素の出力が、撮像素子１００上の相対的な位置関係を維持しながら寄せ集められて、Ｒ画像データが生成される。寄せ集められたそれぞれの視差Ｒ画素の出力は、被写体の互いに異なる微小領域から放射された光が光電変換された結果であるので、Ｒ画像データは、特定の視点（Ｒ視点）から被写体を捉えた一つの視差画像データとなる。そして、視差Ｒ画素は、Ｗ画素に割り振られているので、Ｒ画像データは、カラー情報を持たず、モノクロ画像として生成される。
【００７７】
被写体が合焦位置に存在するときに、一つの繰り返しパターン１１０において、Ｌ画素とＲ画素は、被写体の同一の微小領域から放射される光束を受光する。また、被写体が非合焦位置に存在するときに、一つの繰り返しパターン１１０において、Ｌ画素とＲ画素は、被写体の互いにずれた微小領域から放射される光束を受光する。そのずれは、被写体位置の合焦位置に対する相対関係と瞳の部分領域の関係とから、方向と量が定まる。したがって、Ｌ画像データとＲ画像データのそれぞれにおいて、視差Ｌ画素と視差Ｒ画素が撮像素子１００上の相対的な位置関係を維持しながら寄せ集められていれば、それぞれが視差画像を形成する。
【００７８】
また、視差なし画素の出力が、撮像素子１００上の相対的な位置関係を維持しながら寄せ集められて、２Ｄ画像データが生成される。このとき、Ｗ画素は視差画素であるので、視差なし画素のみで構成されるベイヤー配列からの出力に対して、Ｇｂ画素の出力に相当する出力が欠落する。そこで、本実施形態においては、この欠落した出力の値として、Ｇ画素の出力値を代入する。つまり、Ｇ画素の出力で補間処理を行う。このように、補間処理を施せば、ベイヤー配列の出力に対する画像処理を採用して２Ｄ画像データを生成することができる。
【００７９】
なお、以上の画像処理は、画像処理部２０５によって実行される。画像処理部２０５は、制御部２０１を介して撮像素子１００から出力される画像信号を受け取り、上述のようにそれぞれの画素の出力ごとに分配してＬ画像データ、Ｒ画像データおよび２Ｄ画像データを生成する。
【００８０】
次に、図１６で説明したＬ画像データ、Ｒ画像データおよび２Ｄ画像データを用いて、よりシーンに適したホワイトバランスを施す処理について説明する。図１６の例によって出力される画像データは、Ｌ画像データおよびＲ画像データがモノクロ画像データであり、２Ｄ画像データがカラー画像データである。そこで、以下の処理においては、Ｌ画像データおよびＲ画像データを利用して、各被写体までの距離情報を算出してそれぞれの被写体の輪郭を定め、この輪郭を２Ｄ画像に当てはめて、輪郭に囲まれた領域ごとにホワイトバランス調整に用いるＷＢ制御量を算出する。そして、算出されたＷＢ制御量を用いて２Ｄ画像のホワイトバランス調整を実行する。以下に、処理の具体的な例について説明する。
【００８１】
図１７は、光学ファインダから観察される被写体像および測距領域を示す図である。ここではシーンの例として、手前から順に少女３０１、少年３０２および女性３０３が存在する場合を説明する。
【００８２】
ＡＦセンサ２１１は、被写体空間に対して二次元的かつ離散的に配置される複数の測距点４６０を有する。図の例の場合、１１点の測距点４６０が、全体として略菱形形状に離散的に配置されている。ＡＦセンサ２１１は、それぞれの測距点４６０に対応するデフォーカス量を独立に出力することができる。
【００８３】
制御部２０１は、例えば近点優先等のアルゴリズムにより選択された合焦測距点４６１のデフォーカス量を検出して、合焦に至るフォーカスレンズの移動量および移動方向を決定する。さらに制御部２０１は、これらの情報に従ってフォーカスレンズを移動させる。フォーカスレンズの移動が完了すると、制御部２０１は、ＡＦセンサ２１１により合焦測距点４６１のデフォーカス量を再度検出して、合焦測距点４６１に対応するオブジェクトにピントが合ったことを確認する。
【００８４】
制御部２０１は、ピントが合ったことを確認できたら、スーパーインポーズ表示等により合焦測距点４６１を明滅させ、合焦動作完了をユーザに告知する。また、制御部２０１は、合焦測距点４６１のデフォーカス量を再度検出すると同時に、他の測距点４６０のデフォーカス量も検出する。
【００８５】
図１８は、デジタルカメラ１０と各被写体との距離を示す概念図である。制御部２０１は、それぞれの測距点４６０におけるデフォーカス量から、被写体までの距離を算出できる。具体的には、レンズ情報として、フォーカスレンズ位置と合焦被写体距離の対応テーブルを取得し、現在のフォーカスレンズ位置を入力することにより、合焦被写体までの距離を得る。この距離は少女３０１までの距離ＤＡに相当する。オートフォーカスにおいては、あるデフォーカス量に対して、合焦位置までフォーカスレンズをどれだけ移動させればよいかの移動量変換関数を利用している。そこで、ここでもこの移動量関数を利用して、非合焦測距点におけるデフォーカス量から、フォーカスレンズの移動量を算出する。そして、現在のフォーカスレンズ位置に算出した移動量を加算した値を対応テーブルに入力することにより、距離ＤＢおよび距離ＤＣを得る。本実施形態においては、絶対距離を用いる場合に、このようにＡＦセンサ２１１の出力であるデフォーカス情報から算出された距離情報を参照する。
【００８６】
本実施形態においては、奥行き方向の距離に従って区分された区分帯によりそれぞれの被写体の輪郭を定める。例えば、図示するように、デジタルカメラ１０から予め定められた距離までの区分帯をレンジＡとし、レンジＡに続く区分帯をレンジＢ，レンジＢに続く区分帯をレンジＣ、レンジＣから無限遠までの区分をレンジＤというように、距離を区分する。区分帯の区分幅は、装着される撮影レンズ２０の焦点距離等に応じて、適宜変更されても良い。なおここでは、少女３０１がレンジＡに属し、少年３０２がレンジＢに属し、女性３０３がレンジＣに属するものと規定して以下の説明を続ける。
【００８７】
図１９は、マッチング処理から被写体領域の確定までの過程を示す概念図である。上述のように撮像素子１００の出力信号から生成された視差画像データであるＬ画像データとＲ画像データは、まず、画像処理部２０５の輪郭抽出部２３１によって、マッチング処理が施される。
【００８８】
輪郭抽出部２３１は、対象画素４８１に対して局所ウィンドウ４８２を定め、２画像間でマッチング処理を行い、対象画素４８１における視差量を決定する。具体的には、輪郭抽出部２３１は、Ｌ画像上の局所ウィンドウ４８２に対応してＲ画像上に局所ウィンドウ４８４を設定して、局所ウィンドウ４８４を局所ウィンドウ４８２に対して相対的にずらしながら互いにマッチングの良い画像領域を探索する。そして、マッチングが良いと判断される局所ウィンドウ４８４の位置を定め、その中心座標である探索画素４８３の座標値を算出する。視差量は、対象画素４８１の座標値と探索画素４８３の座標値の差として決定される。つまり、輪郭抽出部２３１は、被写体の同一点を捉えている対象画素４８１と探索画素４８３が、互いに何ピクセルずれているかを視差量として決定する。
【００８９】
対象画素４８１が合焦領域に含まれる場合は、視差量が０となる。また、対象画素４８１が合焦領域に対して奥行き方向に遠い被写体の領域に含まれる場合は、視差量が大きくなる。つまり、ピクセル単位で決定される視差量は、被写体の奥行き方向の距離と比例関係にある。また、レンズ情報および合焦被写体の絶対距離から、単位ピクセルあたりの奥行き方向の距離が算出される。したがって、輪郭抽出部２３１は、算出した単位ピクセルあたりの距離に決定した視差量を乗じて合焦被写体の絶対距離を加算することにより、対象画素４８１における奥行き方向の距離を決定することができる。このようにして、輪郭抽出部２３１は、Ｌ画像およびＲ画像に対する奥行き情報を取得することができる。
【００９０】
輪郭抽出部２３１は、Ｌ画像上の局所ウィンドウ４８２に対して、２Ｄ画像上にも局所ウィンドウ４８６を定め、２画像間でマッチング処理を行う。具体的には、輪郭抽出部２３１は、Ｌ画像上の局所ウィンドウ４８２に対応して２Ｄ画像上に局所ウィンドウ４８６を設定して、局所ウィンドウ４８６を局所ウィンドウ４８２に対して相対的にずらしながら互いにマッチングの良い画像領域を探索する。このとき、図１６を用いて説明したように、Ｌ画像のサイズと２Ｄ画像のサイズは異なるので、画像サイズの違いに合わせて互いのウィンドウサイズも異ならせる。
【００９１】
そして、輪郭抽出部２３１は、マッチングが良いと判断される局所ウィンドウ４８６の位置を定め、その中心座標である探索画素４８５の座標値を算出する。そして、輪郭抽出部２３１は、Ｌ画像とＲ画像のマッチング処理により決定された対象画素４８１の奥行き方向の距離を、探索画素４８５の奥行き方向の距離として定める。
【００９２】
輪郭抽出部２３１は、Ｌ画像上において対象画素４８１を左上から右下まで順次走査しながら上記のマッチング処理を逐次実行して、Ｌ画像、Ｒ画像および２Ｄ画像のそれぞれの画素における奥行き方向の距離を算出する。なお、本実施形態においては、２Ｄ画像のサイズはＬ画像のサイズよりも大きいので、２Ｄ画像上におけるすべての画素が探索画素４８５には成り得ない。この場合、探索画素４８５と成らなかった他の画素については、近傍の探索画素４８５を参照して、奥行き方向の距離が算出される。
【００９３】
輪郭抽出部２３１は、以上の処理により、２Ｄ画像の各画素に対する奥行き情報を取得する。つまり、２Ｄ画像の各画素に対する距離マップである、いわゆるデプスマップを完成させる。そして、輪郭抽出部２３１はさらに、各画素の距離が如何なる区分帯に属するかにより、各画素をグループ化する。具体的には、レンジＡに含まれる画素、レンジＢに含まれる画素、レンジＣに含まれる画素、レンジＤに含まれる画素でグループ化する。ここでは、各被写体である少女３０１、少年３０２および女性３０３はそれぞれレンジＡ、レンジＢおよびレンジＣに含まれるので、輪郭抽出部２３１がグループごとに輪郭を抽出すると、それぞれの輪郭は、図１９の下図のように表される。輪郭抽出部２３１は、このように輪郭で囲まれたそれぞれの領域を、被写体像の輪郭を規定する領域として確定する。なお、ここでは各区分帯に対応して、４つの領域Ａ〜領域Ｄを確定する。
【００９４】
本実施形態においては、画像処理部２０５の制御量演算部２３２が、以上のように確定した領域ごとにホワイトバランス調整に用いるＷＢ制御量を算出する。ここで、ＷＢ制御量の算出について説明する。
【００９５】
一般的に基準となる色温度は、画像中の白領域について、色差信号Ｒ−Ｙ、Ｂ−Ｙと輝度信号Ｙを用いた、（Ｒ−Ｙ）／Ｙ、（Ｂ−Ｙ）／Ｙの平均値の演算結果から推定される。ホワイトバランス調整とは、これらの色差信号が０になるように補正することである。ここで、輝度信号Ｙは、ベイヤー配列の場合、Ｙ＝（Ｒ＋Ｇr＋Ｇb＋Ｂ）／４で与えられる。図１６の例による他のカラーフィルタ配列の場合であれば、Ｙ＝（Ｒ＋２Ｇ＋Ｂ）／４で与えられる。なお、それぞれの４つの画素の単位を画素ブロックとする。
【００９６】
図２０は、（Ｒ−Ｙ）、（Ｂ−Ｙ）座標上における白抽出領域５０２を示す図である。制御量演算部２３２は、対象となる画像領域ごとに、図の白抽出領域５０２に入る画素ブロックの数、各色の出力値の積分値を算出する。なお、白抽出領域５０２は、黒体輻射カーブ５０１に対して予め定められた幅を有する領域として規定される。
【００９７】
本実施形態においては、輪郭抽出部２３１が抽出した輪郭に囲まれた領域ごとにＷＢ制御量を算出するが、制御量演算部２３２は、ある領域において白抽出領域に含まれる画素ブロック数Ｎが予め設定されたブロック数Ｎ０以下であると算出したら、その領域を、ＷＢ制御量の算出ができない小さすぎる被写体領域であると判断する。予め設定されるブロック数Ｎ０としては、例えば、画像全体のブロック数に対する割合として規定される。制御量演算部２３２により小さすぎる被写体領域が存在すると判断されたら、輪郭抽出部２３１は、その領域を区分帯が隣り合う領域に併合して、輪郭を修正する。
【００９８】
制御量演算部２３２は、領域ＫのＷＢ制御量として（ΔＲＫ，ΔＢＫ）を算出する。具体的には、領域Ｋにおいて、ΔＲＫ＝Σ（Ｒ−Ｙ）／Ｎ、ΔＢＫ＝Σ（Ｂ−Ｙ）／Ｎのように算出する。
【００９９】
制御量演算部２３２が算出したＷＢ制御量（ΔＲＫ，ΔＢＫ）を用いて、画像調整部２３３は、２Ｄ画像データにホワイトバランス調整を施す。具体的には、画像調整部２３３は、領域Ｋに含まれる各Ｒ画素、Ｂ画素の値を補正することによりホワイトバラスを調整する。例えば、Ｒ'＝Ｒ−γΔＲＫ、Ｂ'＝Ｂ−γΔＢＫのように補正値が算出される。ここで、γは補正係数であり、通常は１が採用されるが、ゲイン補正のフィードバックが効きすぎるときに1以下の小数値を採用する。
【０１００】
このように、奥行き情報に従って区分された領域ごとにホワイトバランス調整を実行すれば、被写体の特徴を適切に表現する色味を実現することが期待できる。特に奥行き方向に沿って各々の被写体の照射環境が変化するようなシーンでは有効である。例えば、図１７の例のシーンにおいて、フラッシュを照射する場合、デジタルカメラ１０から近い距離に存在する少女３０１の領域Ａにおいては、フラッシュ光の色温度がホワイトバランス調整に大きな影響を与える。一方で、フラッシュ光が減衰する距離である少年３０２、女性３０３の領域Ｂ、Ｃにおいては、例えば街路灯である白熱球の色温度がホワイトバランス調整に大きな影響を与える。さらには、背景領域である領域Ｄにおいては、例えば夕方の太陽光の色温度がホワイトバランス調整に大きな影響を与える。このようなシーンであっても、領域ごとにホワイトバランス調整を行えば、全体としてより調和の取れた２Ｄ画像データを生成することができる。
【０１０１】
なお、図１７のシーンにおいては、それぞれの被写体が別個の区分帯に属するものとして説明したが、ある被写体が奥行き方向に分散するシーンも多く想定される。つまり、ひとつの纏まった被写体が、複数の区分帯に跨がる場合がある。特に設定する区分帯数を少なくする場合、広い画角を有する撮影レンズを使用する場合等において、区分帯を跨ぐ被写体に対するホワイトバランス調整に考慮が必要となる。すなわち、上述のように領域ごとにＷＢ制御量を算出してホワイトバランス調整を実行すると、同一被写体でありながら位置によって異なるＷＢ制御量が適用され、不自然な色味となる場合がある。そこで、被写体が奥行き方向に分散するシーンに対しては、以下に説明するようにホワイトバランス調整を実行する。
【０１０２】
図２１は、被写体が奥行き方向に分散するシーンの説明図である。図示するように、このシーンでは、デジタルカメラ１０に近い側から順に、バス６０１、樹木６０２、山６０３が存在する。デジタルカメラ１０において奥行き方向に区分される区分帯は、図のように、デジタルカメラ１０に近い側から順に、レンジＡ，レンジＢ、レンジＣおよびレンジＤである。そして、奥行き方向に分散する樹木６０２は、レンジＣとレンジＤに跨いで存在する。
【０１０３】
このようなシーンを撮影して生成される２Ｄ画像では、図２２で示すように、輪郭抽出部２３１により、それぞれおよそ点線の輪郭が抽出され、領域Ｂ〜領域Ｄが規定される。ここで、領域Ｄは、２つの被写体である樹木６０２と山６０３を含む。
【０１０４】
上述の手法により、制御量演算部２３２は、領域Ｂに含まれる画素の色情報を用いて、領域ＢにおけるＷＢ制御量Ｗｂを算出する。領域Ｂにおいては、バス６０１の色がＷＢ制御量Ｗｂに対して支配的に影響を与える。同様に、制御量演算部２３２は、領域Ｃに含まれる画素の色情報を用いて、領域ＣにおけるＷＢ制御量Ｗｃを算出する。領域Ｃにおいては、樹木６０２の色がＷＢ制御量Ｗｃに対して支配的に影響を与える。さらに、制御量演算部２３２は、領域Ｄに含まれる色情報を用いて、領域ＤにおけるＷＢ制御量Ｗｄを算出する。領域Ｄには樹木６０２と山６０３の像がそれぞれ含まれ、両者の色が共にＷＢ制御量Ｗｄに影響を与える。
【０１０５】
図１９を用いて説明したように、領域に含まれる画素のホワイトバランス調整を、その領域において算出されたＷＢ制御量で行うと、領域Ｃと領域Ｄの境界で色味の違いが目立つことになる。つまり、同じ被写体としての樹木６０２でありながら、領域ＣではＷＢ制御量Ｗｃが適用され、領域ＤではＷＢ制御量Ｗｄが適用されるので、境界部分の色味の違いが観察者に違和感を与えることになる。
【０１０６】
そこで、このような一つの領域に複数の被写体が含まれる場合には、画素ごとにＷＢ制御量を算出して適用すると良い。以下に具体的な処理について説明する。
【０１０７】
上述のように、区分帯は奥行き方向の距離によって区分されている。その区分帯には、例えばその区分の中央値をレンジ代表距離として定義することができる。したがって、それぞれ、領域Ｂにはレンジ代表距離Ｄｂが、領域Ｃにはレンジ代表距離Ｄｃが、領域Ｄにはレンジ代表距離Ｄｄが定義される。
【０１０８】
また、上述のように、輪郭抽出部２３１は、各画素に対して距離を算出している。そこで、制御量演算部２３２は、各画素に適用するＷＢ制御量を、画素の距離を利用して算出する。具体的には、対象となる画素Ｐの距離をＤｐとし、ＤｐがＤｃとＤｄの間に存在する場合、その内分比に従ってＷｃとＷｄを内分した値を画素ＰにおけるＷＢ制御量Ｗｐとして算出する。つまり、Ｗｐ＝｛（Ｗｄ−Ｗｃ）／（Ｄｄ−Ｄｃ）｝・Ｄｐ＋（Ｄｄ・Ｗｃ−Ｄｃ・Ｗｄ）／（Ｄｄ−Ｄｃ）で算出される。
【０１０９】
このようにして、制御量演算部２３２が、全ての画素に対して各々ＷＢ制御量を算出する。そして、画像調整部２３３が、その値を利用して各画素に対してホワイトバランス調整を実行する。すると、領域の境界で不連続となるＷＢ制御量が算出されないので、観察者に違和感を与えない、滑らかで自然な色味を提供することができる。
【０１１０】
図２３は、画像の取得からホワイトバランス調整完了までの処理フローを示す図である。フローは、例えば露光動作を終え撮像素子１００が画像信号を出力する時点から開始する。
【０１１１】
ステップＳ１０１において、画像処理部２０５は、Ｌ画像データ、Ｒ画像データおよび２Ｄ画像データを取得する。なお、画像処理部２０５は、これらの画像データを取得するにあたり、撮像素子１００から出力される画像信号を受け取って画素の出力ごとに３つの画像データに分配して生成することにより取得しても良いし、メモリカード２２０に記録されているこれらの画像を読み出すことにより取得しても良い。
【０１１２】
ステップＳ１０２へ進み、画像処理部２０５の輪郭抽出部２３１は、上述のように、Ｌ画像の対象画素に対するＲ画像とのマッチング処理を実行し、奥行き量（距離）を決定する。さらに、ステップＳ１０３で、輪郭抽出部２３１は、Ｌ画像の対象画素に対応する対応画素を探索し、探索された画素にステップＳ１０２で決定した奥行き量を対応付ける。
【０１１３】
ステップＳ１０４へ進み、輪郭抽出部２３１は、２Ｄ画像データの全ての画素に対して奥行き量の関連付けが完了したか、つまりデプスマップが完成したか否かを判断する。未処理の画素があればステップＳ１０２へ戻る。
【０１１４】
輪郭抽出部２３１は、ステップＳ１０４で、デプスマップが完成していると判断した場合はステップＳ１０５へ進み、奥行き方向の区分帯に従って輪郭を生成し、生成された輪郭で囲まれた領域を決定する。
【０１１５】
ステップＳ１０６へ進み、制御量演算部２３２は、領域ＧｉがＷＢ制御量を算出できるだけの画素数を含むか否かを判断する。含まないと判断されると、ステップＳ１０７へ進み、輪郭抽出部２３１は、当該領域を隣接する領域と併合し、領域の修正を実行して、再びステップＳ１０６へ戻す。
【０１１６】
ステップＳ１０６で、制御量演算部２３２は、領域ＧｉがＷＢ制御量を算出できるだけの画素数を含むと判断すると、領域Ｇｉに対するＷＢ制御量を算出して、画像調整部２３３へ引き渡す。
【０１１７】
ステップＳ１０８で、画像調整部２３３は、領域Ｇｉの各画素に対するホワイトバランス調整を実行する。なお、ある被写体が他の領域と領域Ｇｉに跨っていると判断される場合には、図２２を用いて説明したように、画像調整部２３３は、各画素に対するＷＢ制御量を算出してホワイトバランス調整を実行しても良い。
【０１１８】
ステップＳ１０９へ進み、画像調整部２３３は、全ての領域においてホワイトバランス調整が完了したか否かを判断する。完了していないと判断した場合は、ステップＳ１０６へ進み、完了したと判断した場合は、一連のホワイトバランス調整処理を終了する。
【０１１９】
以上説明したマッチング処理においては、対応画素を画素単位で探索した。しかし、１画素未満の小数値でマッチング度合いが最大となる場合もあり得る。そのような場合においては、隣接する画素との比例配分等により補間処理を実行して、奥行き情報等を決定しても良い。
【０１２０】
以上の本実施形態におけるホワイトバランス調整処理では、モノクロ画像データであるＬ画像データ、Ｒ画像データおよびカラー画像データである２Ｄ画像データの組み合わせの例により説明した。しかし、撮像素子１００の繰り返しパターン１１０に対するバリエーションは、上述のように膨大であり、画像処理部２０５は、それぞれにおいて出力される画像データを用いて、上述のホワイトバランス調整処理を応用し得る。例えば、色情報が欠落する非視差画像データとしての２Ｄ画像データに、視差画像データから色情報を補間した後に、ホワイトバランス調整を実行することができる。
【０１２１】
また、視差画像データはＬ画像データおよびＲ画像データに限らず、更に多数の視差画像データを利用することもできる。例えば、複数の視差画像データを利用することにより、奥行き情報の精度を高めることができる。
【０１２２】
さらに、ホワイトバランス調整を行う対象画像データは、２Ｄ画像データに限らない。視差画像をカラー画像として表示する場合、視差画像データに対しても、上述のように奥行き情報を利用したホワイトバランス調整を施せば良い。
【０１２３】
以上説明した本実施形態においては、開口マスク１０３を備える撮像素子１００が出力した視差画像データと２Ｄ画像データを用いてホワイトバランス調整を説明した。しかし、上述のホワイトバランス調整が適用される視差画像データと２Ｄ画像データは、撮像素子１００によって出力された画像データに限らない。対応する視差画像データと２Ｄ画像データであれば、如何なる撮像素子、撮像装置によって出力された画像データであっても構わない。例えば、対となる視差画像データと２Ｄ画像データは、一度の露光により共に出力される場合に限らず、視差画像データと２Ｄ画像データが連続的に出力される場合であっても良い。
【０１２４】
また、上述の実施形態においては、ＡＦ情報を利用して奥行き情報を絶対距離に換算して処理を実行した。しかし、視差画像データにおけるそれぞれの被写体像間のずれ量は、相対的な距離差に比例するので、画像処理部２０５は、絶対距離を用いなくても距離に応じたホワイトバランス調整を行うことができる。
【０１２５】
また、上述の実施形態によれば、各画素が距離情報を有するので、換言すればデプスマップを生成するので、ホワイトバランス調整において、距離情報を加味した視覚効果を付与することもできる。例えば、画像調整部２３３は、遠方に向かうほど青味が増すように、制御量ＷｂのうちＢの値の算出にオフセット量を加えることができる。もちろん、オフセット量は、距離に応じて増減させても良い。
【０１２６】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【０１２７】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【０１２８】
１０ デジタルカメラ、２０ 撮影レンズ、２１ 光軸、３０、３１ 被写体、１００ 撮像素子、１０１ マイクロレンズ、１０２ カラーフィルタ、１０３ 開口マスク、１０４ 開口部、１０５ 配線層、１０６ 配線、１０７ 開口、１０８ 光電変換素子、１０９ 基板、１１０ 繰り返しパターン、１２０ 撮像素子、１２１ スクリーンフィルタ、１２２ カラーフィルタ部、１２３ 開口マスク部、２０１ 制御部、２０２ Ａ／Ｄ変換回路、２０３ メモリ、２０４ 駆動部、２０５ 画像処理部、２０７ メモリカードＩＦ、２０８ 操作部、２０９ 表示部、２１０ ＬＣＤ駆動回路、２１１ ＡＦセンサ、２２０ メモリカード、２３１ 輪郭抽出部、２３２ 制御量演算部、２３３ 画像調整部、３０１ 少女、３０２ 少年、３０３ 女性、４６０ 測距点、４６１ 合焦測距点、４８１ 対象画素、４８２、４８４、４８６ 局所ウィンドウ、４８３、４８５ 探索画素、５０１ 黒体輻射カーブ、５０２ 白抽出領域、６０１ バス、６０２ 樹木、６０３ 山
【特許請求の範囲】
【請求項１】
少なくとも２つの視差画像データを出力する撮像部と、
前記視差画像データ間のマッチング処理を行うことにより算出される奥行き情報に基づいて、被写体像の輪郭を抽出する輪郭抽出部と、
前記輪郭により囲まれた領域ごとにホワイトバランス調整に用いる制御量を算出する制御量演算部と、
を備える撮像装置。
【請求項２】
前記制御量に基づいて撮影画像データにホワイトバランス調整を実行する画像調整部を備える請求項１に記載の撮像装置。
【請求項３】
前記撮影画像データは、前記視差画像データを含む請求項２に記載の撮像装置。
【請求項４】
前記撮影画像データは、前記撮像部に対する一度の露光により前記視差画像データと共に出力される非視差画像データを含む請求項２または３に記載の撮像装置。
【請求項５】
前記撮像部は、
入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、
前記光電変換素子の少なくとも一部のそれぞれに一対一に対応して設けられた開口マスクと、
前記光電変換素子の少なくとも一部のそれぞれに一対一に対応して設けられたカラーフィルタと
を備え、
隣接するｎ個（ｎは３以上の整数）の前記光電変換素子のうち、少なくとも２つに対応して設けられたそれぞれの前記開口マスクの開口は、互いに異なる波長帯域を透過させる少なくとも２種類の前記カラーフィルタから構成されるカラーフィルターパターンの一パターン内に含まれると共に、前記入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、前記ｎ個の前記光電変換素子を一組とする光電変換素子群が周期的に配列されている撮像素子を有し、
前記撮像部は、前記開口マスクが設けられた前記光電変換素子の出力信号に基づいて前記視差画像データを出力する請求項２から４のいずれか１項に記載の撮像装置。
【請求項６】
前記撮像部は、
入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、
前記光電変換素子の少なくとも一部のそれぞれに一対一に対応して設けられた開口マスクと、
前記光電変換素子の少なくとも一部のそれぞれに一対一に対応して設けられたカラーフィルタと
を有し、
隣接するｎ個（ｎは４以上の整数）の前記光電変換素子のうち、少なくとも２つに対応して設けられたそれぞれの前記開口マスクの開口は、互いに異なる波長帯域を透過させる少なくとも２種類の前記カラーフィルタから構成されるカラーフィルターパターンの一パターン内には含まれず、かつ、前記入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、前記ｎ個の前記光電変換素子を一組とする光電変換素子群が周期的に配列されている撮像素子を有し、
前記撮像部は、前記開口マスクが設けられた前記光電変換素子の出力信号に基づいて前記視差画像データを出力する請求項２から４のいずれか１項に記載の撮像装置。
【請求項７】
前記輪郭抽出部は、奥行き方向の距離に従って区分されたそれぞれの区分帯に基づいて前記輪郭を定める請求項２から６のいずれか１項に記載の撮像装置。
【請求項８】
前記輪郭抽出部は、前記輪郭に含まれる画素数が予め定められた画素数以上となるように前記輪郭を定める請求項２から７のいずれか１項に記載の撮像装置。
【請求項９】
前記画像調整部は、前記奥行き情報に基づいて前記制御量を修正して、前記ホワイトバランス調整を実行する請求項２から８のいずれか１項に記載の撮像装置。
【請求項１０】
前記画像調整部は、画素ごとに対応付けられた奥行き情報に基づいて前記制御量を修正し、当該画素に対して前記ホワイトバランス調整を実行する請求項９に記載の撮像装置。
【請求項１１】
前記画像調整部は、奥行きに対応して設定されたオフセット量を前記制御量に加えて、前記ホワイトバランス調整を実行する請求項９または１０に記載の撮像装置。
【請求項１２】
少なくとも２つの視差画像データを出力する撮像ステップと、
前記視差画像データ間のマッチング処理を行うことにより算出される奥行き情報に基づいて、被写体像の輪郭を抽出する輪郭抽出ステップと、
前記輪郭により囲まれた領域ごとにホワイトバランス調整に用いる制御量を算出する制御量演算ステップと
をコンピュータに実行させる撮像装置の制御プログラム。
【請求項１】
少なくとも２つの視差画像データを出力する撮像部と、
前記視差画像データ間のマッチング処理を行うことにより算出される奥行き情報に基づいて、被写体像の輪郭を抽出する輪郭抽出部と、
前記輪郭により囲まれた領域ごとにホワイトバランス調整に用いる制御量を算出する制御量演算部と、
を備える撮像装置。
【請求項２】
前記制御量に基づいて撮影画像データにホワイトバランス調整を実行する画像調整部を備える請求項１に記載の撮像装置。
【請求項３】
前記撮影画像データは、前記視差画像データを含む請求項２に記載の撮像装置。
【請求項４】
前記撮影画像データは、前記撮像部に対する一度の露光により前記視差画像データと共に出力される非視差画像データを含む請求項２または３に記載の撮像装置。
【請求項５】
前記撮像部は、
入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、
前記光電変換素子の少なくとも一部のそれぞれに一対一に対応して設けられた開口マスクと、
前記光電変換素子の少なくとも一部のそれぞれに一対一に対応して設けられたカラーフィルタと
を備え、
隣接するｎ個（ｎは３以上の整数）の前記光電変換素子のうち、少なくとも２つに対応して設けられたそれぞれの前記開口マスクの開口は、互いに異なる波長帯域を透過させる少なくとも２種類の前記カラーフィルタから構成されるカラーフィルターパターンの一パターン内に含まれると共に、前記入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、前記ｎ個の前記光電変換素子を一組とする光電変換素子群が周期的に配列されている撮像素子を有し、
前記撮像部は、前記開口マスクが設けられた前記光電変換素子の出力信号に基づいて前記視差画像データを出力する請求項２から４のいずれか１項に記載の撮像装置。
【請求項６】
前記撮像部は、
入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、
前記光電変換素子の少なくとも一部のそれぞれに一対一に対応して設けられた開口マスクと、
前記光電変換素子の少なくとも一部のそれぞれに一対一に対応して設けられたカラーフィルタと
を有し、
隣接するｎ個（ｎは４以上の整数）の前記光電変換素子のうち、少なくとも２つに対応して設けられたそれぞれの前記開口マスクの開口は、互いに異なる波長帯域を透過させる少なくとも２種類の前記カラーフィルタから構成されるカラーフィルターパターンの一パターン内には含まれず、かつ、前記入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、前記ｎ個の前記光電変換素子を一組とする光電変換素子群が周期的に配列されている撮像素子を有し、
前記撮像部は、前記開口マスクが設けられた前記光電変換素子の出力信号に基づいて前記視差画像データを出力する請求項２から４のいずれか１項に記載の撮像装置。
【請求項７】
前記輪郭抽出部は、奥行き方向の距離に従って区分されたそれぞれの区分帯に基づいて前記輪郭を定める請求項２から６のいずれか１項に記載の撮像装置。
【請求項８】
前記輪郭抽出部は、前記輪郭に含まれる画素数が予め定められた画素数以上となるように前記輪郭を定める請求項２から７のいずれか１項に記載の撮像装置。
【請求項９】
前記画像調整部は、前記奥行き情報に基づいて前記制御量を修正して、前記ホワイトバランス調整を実行する請求項２から８のいずれか１項に記載の撮像装置。
【請求項１０】
前記画像調整部は、画素ごとに対応付けられた奥行き情報に基づいて前記制御量を修正し、当該画素に対して前記ホワイトバランス調整を実行する請求項９に記載の撮像装置。
【請求項１１】
前記画像調整部は、奥行きに対応して設定されたオフセット量を前記制御量に加えて、前記ホワイトバランス調整を実行する請求項９または１０に記載の撮像装置。
【請求項１２】
少なくとも２つの視差画像データを出力する撮像ステップと、
前記視差画像データ間のマッチング処理を行うことにより算出される奥行き情報に基づいて、被写体像の輪郭を抽出する輪郭抽出ステップと、
前記輪郭により囲まれた領域ごとにホワイトバランス調整に用いる制御量を算出する制御量演算ステップと
をコンピュータに実行させる撮像装置の制御プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２０１２−２１２９７５（Ｐ２０１２−２１２９７５Ａ）
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願番号】特願２０１１−７６３７４（Ｐ２０１１−７６３７４）
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]