画像合成装置
【課題】１枚の撮像画像から焦点を合わせたい位置に焦点の合った画像を合成する。
【解決手段】撮影光学系３と、二次元状に配列した複数のマイクロレンズを有し、撮影光学系３の背後に配置されたマイクロレンズアレイ４ａと、マイクロレンズアレイ４ａの背後に配置され、複数のマイクロレンズごとに複数の光電変換領域が割り当てられた光電変換装置４ｂと、焦点を合わせる被写体を特定する被写体特定手段５ａ、５ｂ、５ｃと、被写体特定手段５ａ、５ｂ、５ｃにより特定された被写体に焦点のあった画像を光電変換装置の出力に基づき合成する画像作成手段５ｄとを有する。
【解決手段】撮影光学系３と、二次元状に配列した複数のマイクロレンズを有し、撮影光学系３の背後に配置されたマイクロレンズアレイ４ａと、マイクロレンズアレイ４ａの背後に配置され、複数のマイクロレンズごとに複数の光電変換領域が割り当てられた光電変換装置４ｂと、焦点を合わせる被写体を特定する被写体特定手段５ａ、５ｂ、５ｃと、被写体特定手段５ａ、５ｂ、５ｃにより特定された被写体に焦点のあった画像を光電変換装置の出力に基づき合成する画像作成手段５ｄとを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像合成装置に関する。
【背景技術】
【０００２】
複数のマイクロレンズを二次元状に配列したマイクロレンズアレイと、光電変換素子を二次元状に配列した光電変換素子アレイとを撮影光学系の背後に順次配置し、任意の奥行き位置（撮影光学系の光軸方向）に焦点の合った画像を合成するようにした画像合成カメラが知られている（例えば、非特許文献１参照）。
【特許文献１】特開２００７−００４４７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述した従来の画像合成カメラは、撮像画像の任意の奥行き位置に焦点の合った画像を合成するもので、どのような画像を合成するかについては何も触れていない。
【課題を解決するための手段】
【０００４】
(１) 請求項１の発明は、撮影光学系と、二次元状に配列した複数のマイクロレンズを有し、撮影光学系の背後に配置されたマイクロレンズアレイと、マイクロレンズアレイの背後に配置され、複数のマイクロレンズごとに複数の光電変換領域が割り当てられた光電変換装置と、焦点を合わせる被写体を特定する被写体特定手段と、被写体特定手段により特定された被写体に焦点のあった画像を光電変換装置の出力に基づき合成する画像作成手段とを有する。
(２) 請求項２の発明は、請求項１に記載の画像合成装置において、被写体特定手段は焦点検出手段を有し、画像作成手段は焦点検出手段による焦点検出に先立ち予め取得した光電変換装置の出力に基づき、焦点検出手段が焦点検出した被写体に焦点の合った画像を作成する。
(３) 請求項３の発明は、請求項２に記載の画像合成装置において、光電変換装置の光電変換領域は撮影光学系の射出瞳と共役であり、焦点検出手段はマイクロレンズごとに割り当てられた複数の光電変換領域のうちの一対の光電変換領域の出力に基づき被写体までの焦点外れ量を検出する。
(４) 請求項４の発明は、請求項１に記載の画像合成装置において、被写体特定手段は、被写体の予め指定された特徴を識別し、この特徴部分に焦点検出手段により焦点検出を行い、焦点検出対象となった被写体に焦点の合った画像を合成するよう画像作成手段に指示する指示手段を有する。
(５) 請求項５の発明は、請求項１に記載の画像合成装置において、画像合成手段は、撮像素子の出力に基づき焦点深度の深い画像を作成し表示する表示手段を有し、被写体特定手段は、表示手段の表示に基づき、焦点を合わせたい被写体を設定する設定手段を有し、設定手段にて設定された被写体に焦点のあった画像を得る。
(６) 請求項６の発明は、請求項１〜５のいずれか一項に記載の画像合成装置において、被写体特定手段は、撮影光学系の光軸方向へ異なる位置の被写体を特定し、画像作成手段は特定した複数の被写体に焦点の合った一つの画像を作成する。
【発明の効果】
【０００５】
本発明によれば、１枚の撮像画像から焦点を合わせたい位置で焦点の合った画像を合成することができる。
【発明を実施するための最良の形態】
【０００６】
本発明の画像合成装置をデジタルカメラに適用した一実施の形態を説明する。図１は一実施の形態のデジタルカメラの構成を示す図であり、この図により一実施の形態の構成について説明する。なお、図１では本発明に直接関係のあるカメラの装置および機器のみを図示する。
【０００７】
一実施の形態のデジタルカメラ１には、カメラボディ２に撮影レンズ３が装着されている。カメラボディ２は撮像素子４、駆動制御装置５、メモリ６などを備えている。撮像素子４は、微小なマイクロレンズを平面上に稠密に配列したマイクロレンズアレイ４ａと、微小な光電変換素子を平面上に稠密に配列した光電変換素子アレイ４ｂとから構成される。
【０００８】
光電変換素子アレイ４ｂの受光面はマイクロレンズの焦点距離の位置に配置されている。そして、マイクロレンズアレイ４ａと光電変換素子アレイ４ｂとは、光電変換素子アレイ４ｂの受光面が撮影レンズ３の射出瞳面と共役になる位置に配置される。
【０００９】
撮影レンズ３による被写体像は、被写体の奥行き方向の位置関係（撮影レンズ３の光軸方向の位置）によって決まり、マイクロレンズ頂点面の前側（撮影レンズ３側）で焦点を結ぶ被写体、後側で焦点を結ぶ被写体、あるいはマイクロレンズ頂点面で焦点を結ぶ被写体が存在する。
【００１０】
図２は、一実施の形態のマイクロレンズアレイ４ａを撮影レンズ３側から見た図である。この一実施の形態では微小なマイクロレンズを千鳥状に稠密に配列した例を示し、奇数列（または奇数行）と偶数列（または偶数行）とが互い違い配置されている。なお、マイクロレンズの配列は千鳥状配列に限定されず、例えば正方配列でもよいし、あるいはハニカム状配列（六方稠密配列）でもよい。
【００１１】
図３は、マイクロレンズアレイ４ａの一つのマイクロレンズの外径を光電変換素子アレイ４ｂ上に投影した図である（光電変換素子アレイ４ｂの光電変換素子は説明に必要なマイクロレンズの外径に含まれるもののみを示した）。光電変換素子アレイ４ｂは、微小な光電変換素子がマイクロレンズの焦点距離の位置にある受光面に正方格子状に配列されている。図３から明らかなように、マイクロレンズアレイ４ａの各マイクロレンズは、光電変換素子アレイ４ｂの複数の光電変換素子を被覆している。
【００１２】
図１において、駆動制御装置５は、図示しないマイクロコンピューターとメモリ、Ａ／Ｄコンバーター、駆動回路などの周辺部品から構成され、カメラ１の種々の演算制御やシーケンス制御を実行する。駆動制御装置５には、マイクロコンピューターのソフトウエア形態により瞳データ抽出部５ａ、データ列形成部５ｂ、焦点演算部５ｃ、画像合成部５ｄなどが構成されている。これらの各部５ａ〜５ｄの詳細については後述する。
【００１３】
メモリ６は種々のデータや画像を記憶する。画像メモリ６ａは撮像素子４により撮像された画像を記憶する。光軸データメモリ６ｂは、マイクロレンズアレイ４ａを構成する各マイクロレンズの光軸の、光電変換素子アレイ４ｂ上における位置データを記憶するメモリである。このマイクロレンズの光軸位置データは、光電変換素子アレイ４ｂの光電変換素子位置の座標を小数レベルまで展開したものである。つまり、光電変換素子１個を１とした単位よりも小さい値、例えば光電変換素子０．５個を０．５というように光軸位置を正確に表したものである。
【００１４】
駆動制御装置５の瞳データ抽出部５ａは、光電変換素子４ｂから出力され画像メモリ６ａに記憶されている光電変換素子ごとの光電変換データの中から、光軸データメモリ６ｂに記憶されている各マイクロレンズの光軸位置を中心とする左右対象位置の光電変換素子（通常は複数）の光電変換データを抽出する。この一実施の形態では、図３に示すように、マイクロレンズ光軸位置を中心とする左右対象位置にあるそれぞれ３個の光電変換素子の光電変換データをそれぞれ積算し、右瞳データおよび左瞳データとする。瞳データ抽出部５ａは、各マイクロレンズごとに左右一対の瞳データを抽出して画像データメモリ６ａに一時的に記憶する。
【００１５】
図３において、マイクロレンズ光軸位置を中心とする左右対象位置にあるそれぞれ３個の光電変換素子は、対応するマイクロレンズにより撮影レンズ３の射出瞳上に投影され、射出瞳上に一対の投影領域を形成する。撮影レンズ３の射出瞳上のこの一対の投影領域を通過する一対の光束は、撮影レンズ３およびマイクロレンズを介してマイクロレンズ光軸位置を中心とする左右対象位置にあるそれぞれ３個の光電変換素子へ導かれ、それぞれ３個の光電変換素子上に一対の像が結像される。この一対の像の位相差すなわち像ずれ量は撮影レンズ３の焦点調節状態に応じて変化するため、それぞれ３個の光電変換素子から出力される一対の像に対応する一対の画像データに基づいて像ずれ量を演算すれば、いわゆる瞳分割位相差検出方式により撮影レンズ３の焦点調節状態、つまりマイクロレンズ頂点面からの焦点の外れ量を検出することができる。各マイクロレンズの背後にある光電変換素子による右瞳、左瞳の焦点はずれ量は、各マイクロレンズの頂点位置に対応する被写体像の焦点外れ量を示すことになる（特開２００７−１１３１４号公報などを参照）。
【００１６】
なお、左右一対の瞳データを抽出する光電変換素子の位置および個数は、図３に示す一実施の形態の位置および個数に限定されない。
【００１７】
駆動制御装置５のデータ列形成部５ｂは、左右方向に配列されている所定数のマイクロレンズに対応する左右一対の瞳データを、右瞳データと左瞳データに分けてマイクロレンズの順に並べ、右瞳データ列と左瞳データ列を構成する。
【００１８】
図４は、左右の瞳データ列を抽出するためにマイクロレンズアレイ４ａから１１個のマイクロレンズを選択した例を示す。マイクロレンズアレイ４ａはマイクロレンズが千鳥格子状に配列されているので、図中に黒丸を繋げて示すように、偶数列のマイクロレンズと奇数列のマイクロレンズとを交互に選択して１３個の焦点検出用のマイクロレンズ配列とする。この例では左から７番目のマイクロレンズが焦点検出用マイクロレンズ配列の中心になり、この位置を焦点検出位置と決める。
【００１９】
駆動制御装置５の焦点演算部５ｃは、画像メモリ６ａから左右一対の瞳データ列を読み出し、上述した瞳分割位相差検出方式により焦点検出演算（相関演算）を行い、撮影レンズ３の焦点調節状態を検出する。
【００２０】
一対のデータ列に基づく焦点検出演算については周知であるが、ここでその概要を説明する。上述した左右一対の瞳データ列をＡ{ａi}、Ｂ{ｂi}とし、データの個数をそれぞれＮ個（ｉ＝１,２，・・,Ｎ）とする。一対のデータ列Ａ、Ｂのずらし量をｋとしたとき、データ列ＡとＢの差分Ｄは次式で表される。
Ｄk＝Σ｜ａi+k−ｂi｜ ・・・（１）
(１)式により差分Ｄが最も小さくなるずらし量ｋを求める。一対のデータ列Ａ、Ｂは離散的な数列であるから、マイクロレンズの間隔以上の分解能で差分Ｄが最小値となる真のずらし量ｋを得ることはできない。
【００２１】
ここで、一対のデータ列Ａ、Ｂは正弦波の合成とみなすことができるので、その内のある空間周波数ωを持つ正弦波信号に注目すると、（１）式は次式（２）とみなすことができる。
Ｄ(θ)＝Ｋ∫｜sin(ωｘ＋θ)−sinωｘ｜dx ・・・（２）
さらに(２)式を変形すると次式が得られる。
Ｄ(θ)＝Ｋ’｜sin(θ／２)・sin(ωｘ＋φ)｜ ・・・（３）
(３)式は他の空間周波数にも適用でき、これらもすべてθに関する項が独立に乗ぜられていることから、差分式は正弦波の絶対値で変化することがわかる。また、θが０付近では正弦波は線形であるから、図５に示すように左右同じ傾きの直線に挟まれた、谷間の底が最小値であると見なせる。
【００２２】
以下の三点内挿演算により差分Ｄが最小となる真のずらし量ｋを求める。まず、(１)式により差分Ｄの最小値Ｄiとその時のずらし量ｋを求める。次に、最小値Ｄiを与えるずらし量ｋに隣接するずらし量(ｋ−１)と(ｋ＋１)の内、差分Ｄが大きい方Ｄi-1を選び、二点(ｋ,Ｄi)と(ｋ−１,Ｄi-1)を結ぶ直線を引く。そして、この直線の傾きをａとすると、二番目に小さい差分Ｄi+1を与えるずらし量ｋ＋１の点(ｋ＋１,Ｄi+1)を通る傾き(−ａ)の直線を引き、２本の直線の交点を差分Ｄの真の最小値Ｄminとし、その真の最小差分Ｄminを与えるずらし量ｋを真のずらし量ｋminとする。
【００２３】
この真のずらし量ｋminに所定の変換係数ｍを乗じ、撮影レンズ３による被写体像面のマイクロレンズ頂点面からの焦点外れ量、すなわちデフォーカス量ＤEFを求める。
ＤEF＝ｍ・ｋmin ・・・（４）
【００２４】
以上の方法により、図４に示す焦点検出用マイクロレンズ配列の中心のマイクロレンズ位置において、撮影レンズ３の焦点調節状態を検出することができる。
【００２５】
駆動制御装置５の瞳データ抽出部５ａ、データ列形成部５ｂおよび焦点演算部５ｃは、以上の焦点検出処理を撮像素子４の撮影画面内のすべてのマイクロレンズに対して行う。なお、図１に破線で囲む駆動制御装置５の瞳データ抽出部５ａ、データ列形成部５ｂおよび焦点演算部５ｃは上述した被写体特定手段を構成する。撮影画面内のすべてのマイクロレンズに対し水平方向位置を表す添え字ｐと垂直方向位置を表す添え字ｑを付して表すと、撮影画面内の各マイクロレンズ位置のデフォーカス量はＤEFpqで表される。
【００２６】
ただし、撮影画面内の焦点検出が可能な範囲は、撮影画面の縦および横の長さよりも焦点検出用マイクロレンズ配列の長さ分だけ狭い範囲になるが、検出できない部分については検出可能な範囲の検出結果に基づいて推定するか、あるいは焦点検出用マイクロレンズ配列の長さを短くして撮影画面の全範囲、もしくはそれに近い範囲において焦点検出を行う。
【００２７】
なお、撮影画面内のコントラスト変化が少ない部分では、焦点検出が不能、もしくは検出結果の信頼性が低くなる。このような場合にはその周辺の信頼性が高い焦点検出結果が得られた範囲の検出値を用いて補間により求める。補間方法は単なる線形補間でもよいし、スプライン曲線補間でもよい。これにより、撮影画面の全範囲における焦点情報あるいは焦点曲面を得ることができる。
【００２８】
また、この一実施の形態では、撮影画面の左右方向の焦点検出を例に挙げて説明するが、撮影画面の上下方向や斜め方向についても上記左右方向の焦点検出手法と同様な手法で焦点検出を行うことができる。
【００２９】
駆動制御装置５の画像合成部５ｄは、焦点演算部５ｃにより検出された撮影画面内のすべてのマイクロレンズ位置の焦点情報を用いて、撮像素子４から出力される光電変換データから任意の位置あるいはすべての位置に焦点の合った画像を合成する。図６および図７を参照して画像合成部５ｄによる画像合成方法を説明する。
【００３０】
図６は、撮影画面内の注目するマイクロレンズ（焦点検出位置）ｍ０の焦点検出結果が、マイクロレンズ頂点面Ｓ０に焦点があるとされた場合の、該マイクロレンズｍ０位置の画像合成方法を説明する図である。この焦点面Ｓ０を通る光束は、撮影レンズ３の開口径とマイクロレンズの開口径とが同一、ないしは撮影レンズ３の開口径の方が小さくなるように設定されているので、マイクロレンズｍ０に対応した光電変換素子へ導かれる。したがって、マイクロレンズｍ０に被覆される光電変換素子（図中に黒く塗りつぶした光電変換素子）の出力を積算すれば、マイクロレンズ頂点面（予定焦点面）に焦点を持つマイクロレンズｍ０に対応する部分の画素出力（画像）が得られる。
【００３１】
図７は、撮影画面内の注目するマイクロレンズ（焦点検出位置）ｍ１の焦点検出結果が、マイクロレンズ頂点面からｙの距離にある面Ｓ１に焦点があるとされた場合の、撮影画面内のマイクロレンズｍ１位置の画像合成方法を説明する図である。図６および図７において、マイクロレンズアレイ４ａのマイクロレンズ間隔をｄとし、マイクロレンズ頂点面から光電変換素子アレイ４ｂの受光面までの距離、つまりマイクロレンズの焦点距離をｆとする。また、注目するマイクロレンズｍ１の光軸と焦点面Ｓ１との交点Ｐ１を通り、マイクロレンズｍ１に隣接するマイクロレンズｍ２を介して光電変換素子アレイ４ｂの受光面へ光束が到達する位置と、マイクロレンズｍ２の光軸との間の距離をｘとすると、図７から明らかなように次の関係が成立する。
ｙ／ｄ＝ｆ／ｘ ・・・(５)
【００３２】
焦点面Ｓ１の点Ｐ１を通る光束は、注目するマイクロレンズｍ１の光軸上にある光電変換素子ｅ１へ到達するとともに、注目マイクロレンズｍ１に隣接するマイクロレンズｍ２の光軸から距離ｘだけ遠ざかる位置にある光電変換素子ｅ２へ到達する。同様に、注目マイクロレンズｍ１の反対側に隣接するマイクロレンズｍ６では、マイクロレンズｍ６の光軸から距離ｘだけ遠ざかる位置にある光電変換素子ｅ６へ到達する。
【００３３】
さらに、注目するマイクロレンズｍ１から距離ｎ・ｄ(ｎ＝２、３、・・)の位置にある周辺のマイクロレンズｍ３、ｍ４、・・に対しても(５)式の関係が成立する。ｎとｘにマイクロレンズの二次元位置を表す添え字“ij”を付け、(５)式を注目するマイクロレンズｍ１の周辺のマイクロレンズｍ３、ｍ４、・・に拡張する。
ｙ／(ｎij・ｄ)＝ｆ／ｘij ・・・(６)
そして、注目するマイクロレンズｍ１に対する焦点面Ｓ１までの距離ｙを固定し、距離ｘを周辺のマイクロレンズｍ３、ｍ４、・・に被覆される光電変換素子の範囲内で動かすと、焦点面Ｓ１の点Ｐ１を通る光束が注目するマイクロレンズｍ１の周辺のマイクロレンズｍ３、ｍ４、・・のどの光電変換素子へ到達するかを知ることができる。
【００３４】
図７に示す例では、焦点面Ｓ１の点Ｐ１を通る光束が、注目マイクロレンズｍ１から距離２ｄにあるマイクロレンズｍ３およびｍ７の光電変換素子ｅ３およびｅ７へ到達する。注目マイクロレンズｍ１の周辺のすべてのマイクロレンズｍ２、ｍ３、・・に対して(６)式により光電変換素子を特定し、それらの光電変換素子の出力を積算すれば、マイクロレンズ頂点面から距離ｙの位置に焦点面Ｓ１を持つ注目マイクロレンズｍ１に対応する画素出力（画像）が得られる。
【００３５】
図６に示す例では、予定焦点面に焦点を持つマイクロレンズｍ０部分の画素出力（画像）が得られ、図７に示す例では、予定焦点面から距離ｙの位置に焦点を持つマイクロレンズｍ１部分の画素出力（画像）が得られる。これらの部分画素出力つまり画像はそれぞれピントが合った画像である。
【００３６】
なお、それぞれのマイクロレンズに対応する画素出力は、複数の光電変換素子の出力を積算して求められるが、積算値を積算した光電変換素子数で正規化する。撮影画面の端にあるマイクロレンズでは、そのマイクロレンズの３６０度全周に亘って周辺のマイクロレンズが存在しないために積算値が小さくなるが、上記の正規化処理により画面端のマイクロレンズの画像も画面中央のマイクロレンズの画像と同じ明るさにすることができる。また、撮影レンズ３の絞り開口が小さくなると、積算する光電変換素子数が撮影画面内で均等にならず、同様な問題を生じるが、積算値を積算数で正規化することによって解決できる。
【００３７】
上述したように、焦点演算部５ｃにより撮影画面内のすべてのマイクロレンズ位置におけるデフォーカス量ＤEFpqが求められているので、画像合成部５ｄによる上記手法を撮影画面内のすべてのマイクロレンズのデフォーカス量ＤEFpqに応じて画像合成処理を行えば、マイクロレンズと同じ数の画素出力すなわち画像が得られ、これらを二次元平面上のマイクロレンズ位置に応じて展開すれば、それぞれのマイクロレンズに対応するピントのあった画像が展開される。このようにして一度光電変換素子アレイ４ｂの信号を取り込むことにより、撮影画面内のどの位置にもピントの合った画像を合成することができる。
【００３８】
なお、一部のマイクロレンズ位置の焦点を意図的に外すようにしたり、指定された範囲にのみ、焦点の合った画像を合成することもできる。例えば、撮影画像を処理して画像内から人物の顔を検出し、人物の顔部分に対応するマイクロレンズに対して上述した画像合成処理を行えば、すべての顔部分に焦点の合った画像を合成することもできる。
【００３９】
上述した実施の形態とその変形例によれば以下のような作用効果を奏することができる。まず、複数のマイクロレンズを平面上に配列したマイクロレンズアレイ４ａを撮影レンズ３の予定焦点面近傍に配置するとともに、複数の光電変換素子を平面上に配列した光電変換素子アレイ４をマイクロレンズアレイ４ａの背後のマイクロレンズの焦点位置に配置し、撮影レンズ３により予定焦点面に結像された被写体像を撮像する撮像素子４と、マイクロレンズが被覆する複数の光電変換素子の内の一対の光電変換素子の出力に基づいて、撮影レンズ３の射出瞳を通過した一対の光束による一対の像のズレ量を検出し、被写体像の中のマイクロレンズに対応する位置の撮影レンズ３の焦点外れ量を検出する瞳データ抽出部５ａ、データ列形成部５ｂおよび焦点演算部５ｃと、被写体像の中のマイクロレンズに対応する位置の焦点はずれ量に応じて、該マイクロレンズとその周辺のマイクロレンズにそれぞれ被覆される光電変換素子の出力を積算し、被写体像の中の該マイクロレンズに対応する位置に焦点の合った画像を合成する画像合成部５ｄとを備える。これにより、１枚の撮像画像から焦点を合わせたい位置で焦点の合った画像を合成することができる。
【００４０】
次に、被写体像を処理して人物の顔部分を検出し、人物の顔部分を焦点を合わせたい位置に設定し、設定位置の焦点外れ量に応じて被写体像の中の設定位置に焦点のあった画像を合成するようにしたので、１枚の撮像画像から人物の顔部分に焦点の合った画像を合成することができる。この場合、背景は適当にボケた画像を用いることができる。
【００４１】
なお、上述した被写体特定手段により被写体像のすべての位置を特定することによって、被写体像のすべての位置においてピントの合った画像を合成することができる。また、上述した焦点検出方法によれば画面内のあらゆる位置における焦点調節状態を検出することができるので、全画面または任意の位置に焦点の合った画像を合成することができる。
【図面の簡単な説明】
【００４２】
【図１】一実施の形態のデジタルカメラの構成を示す図
【図２】マイクロレンズアレイを撮影レンズ側から見た図
【図３】一つのマイクロレンズの外径を光電変換素子アレイ上に投影した図
【図４】焦点検出用のマイクロレンズ配列の一例を示す図
【図５】三点内挿方法を説明するための図
【図６】撮影画面内の注目するマイクロレンズ（焦点検出位置）ｍ０の焦点検出結果が、マイクロレンズ頂点面（撮影レンズの予定焦点面）Ｓ０に焦点があるとされた場合の、該マイクロレンズｍ０位置の画像合成方法を説明する図
【図７】撮影画面内の注目するマイクロレンズ（焦点検出位置）ｍ１の焦点検出結果が、マイクロレンズ頂点面（撮影レンズの予定焦点面）からｙの距離にある面Ｓ１に焦点があるとされた場合の、撮影画面内のマイクロレンズｍ１位置の画像合成方法を説明する図
【符号の説明】
【００４３】
１；カメラ、２；カメラボディ、３；撮影レンズ、４；撮像素子、４ａ；マイクロレンズアレイ、４ｂ；光電変換素子アレイ、５；駆動制御装置、５ａ；瞳データ抽出部、５ｂ；データ列形成部、５ｃ；焦点演算部、５ｄ；画像合成部
【技術分野】
【０００１】
本発明は画像合成装置に関する。
【背景技術】
【０００２】
複数のマイクロレンズを二次元状に配列したマイクロレンズアレイと、光電変換素子を二次元状に配列した光電変換素子アレイとを撮影光学系の背後に順次配置し、任意の奥行き位置（撮影光学系の光軸方向）に焦点の合った画像を合成するようにした画像合成カメラが知られている（例えば、非特許文献１参照）。
【特許文献１】特開２００７−００４４７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述した従来の画像合成カメラは、撮像画像の任意の奥行き位置に焦点の合った画像を合成するもので、どのような画像を合成するかについては何も触れていない。
【課題を解決するための手段】
【０００４】
(１) 請求項１の発明は、撮影光学系と、二次元状に配列した複数のマイクロレンズを有し、撮影光学系の背後に配置されたマイクロレンズアレイと、マイクロレンズアレイの背後に配置され、複数のマイクロレンズごとに複数の光電変換領域が割り当てられた光電変換装置と、焦点を合わせる被写体を特定する被写体特定手段と、被写体特定手段により特定された被写体に焦点のあった画像を光電変換装置の出力に基づき合成する画像作成手段とを有する。
(２) 請求項２の発明は、請求項１に記載の画像合成装置において、被写体特定手段は焦点検出手段を有し、画像作成手段は焦点検出手段による焦点検出に先立ち予め取得した光電変換装置の出力に基づき、焦点検出手段が焦点検出した被写体に焦点の合った画像を作成する。
(３) 請求項３の発明は、請求項２に記載の画像合成装置において、光電変換装置の光電変換領域は撮影光学系の射出瞳と共役であり、焦点検出手段はマイクロレンズごとに割り当てられた複数の光電変換領域のうちの一対の光電変換領域の出力に基づき被写体までの焦点外れ量を検出する。
(４) 請求項４の発明は、請求項１に記載の画像合成装置において、被写体特定手段は、被写体の予め指定された特徴を識別し、この特徴部分に焦点検出手段により焦点検出を行い、焦点検出対象となった被写体に焦点の合った画像を合成するよう画像作成手段に指示する指示手段を有する。
(５) 請求項５の発明は、請求項１に記載の画像合成装置において、画像合成手段は、撮像素子の出力に基づき焦点深度の深い画像を作成し表示する表示手段を有し、被写体特定手段は、表示手段の表示に基づき、焦点を合わせたい被写体を設定する設定手段を有し、設定手段にて設定された被写体に焦点のあった画像を得る。
(６) 請求項６の発明は、請求項１〜５のいずれか一項に記載の画像合成装置において、被写体特定手段は、撮影光学系の光軸方向へ異なる位置の被写体を特定し、画像作成手段は特定した複数の被写体に焦点の合った一つの画像を作成する。
【発明の効果】
【０００５】
本発明によれば、１枚の撮像画像から焦点を合わせたい位置で焦点の合った画像を合成することができる。
【発明を実施するための最良の形態】
【０００６】
本発明の画像合成装置をデジタルカメラに適用した一実施の形態を説明する。図１は一実施の形態のデジタルカメラの構成を示す図であり、この図により一実施の形態の構成について説明する。なお、図１では本発明に直接関係のあるカメラの装置および機器のみを図示する。
【０００７】
一実施の形態のデジタルカメラ１には、カメラボディ２に撮影レンズ３が装着されている。カメラボディ２は撮像素子４、駆動制御装置５、メモリ６などを備えている。撮像素子４は、微小なマイクロレンズを平面上に稠密に配列したマイクロレンズアレイ４ａと、微小な光電変換素子を平面上に稠密に配列した光電変換素子アレイ４ｂとから構成される。
【０００８】
光電変換素子アレイ４ｂの受光面はマイクロレンズの焦点距離の位置に配置されている。そして、マイクロレンズアレイ４ａと光電変換素子アレイ４ｂとは、光電変換素子アレイ４ｂの受光面が撮影レンズ３の射出瞳面と共役になる位置に配置される。
【０００９】
撮影レンズ３による被写体像は、被写体の奥行き方向の位置関係（撮影レンズ３の光軸方向の位置）によって決まり、マイクロレンズ頂点面の前側（撮影レンズ３側）で焦点を結ぶ被写体、後側で焦点を結ぶ被写体、あるいはマイクロレンズ頂点面で焦点を結ぶ被写体が存在する。
【００１０】
図２は、一実施の形態のマイクロレンズアレイ４ａを撮影レンズ３側から見た図である。この一実施の形態では微小なマイクロレンズを千鳥状に稠密に配列した例を示し、奇数列（または奇数行）と偶数列（または偶数行）とが互い違い配置されている。なお、マイクロレンズの配列は千鳥状配列に限定されず、例えば正方配列でもよいし、あるいはハニカム状配列（六方稠密配列）でもよい。
【００１１】
図３は、マイクロレンズアレイ４ａの一つのマイクロレンズの外径を光電変換素子アレイ４ｂ上に投影した図である（光電変換素子アレイ４ｂの光電変換素子は説明に必要なマイクロレンズの外径に含まれるもののみを示した）。光電変換素子アレイ４ｂは、微小な光電変換素子がマイクロレンズの焦点距離の位置にある受光面に正方格子状に配列されている。図３から明らかなように、マイクロレンズアレイ４ａの各マイクロレンズは、光電変換素子アレイ４ｂの複数の光電変換素子を被覆している。
【００１２】
図１において、駆動制御装置５は、図示しないマイクロコンピューターとメモリ、Ａ／Ｄコンバーター、駆動回路などの周辺部品から構成され、カメラ１の種々の演算制御やシーケンス制御を実行する。駆動制御装置５には、マイクロコンピューターのソフトウエア形態により瞳データ抽出部５ａ、データ列形成部５ｂ、焦点演算部５ｃ、画像合成部５ｄなどが構成されている。これらの各部５ａ〜５ｄの詳細については後述する。
【００１３】
メモリ６は種々のデータや画像を記憶する。画像メモリ６ａは撮像素子４により撮像された画像を記憶する。光軸データメモリ６ｂは、マイクロレンズアレイ４ａを構成する各マイクロレンズの光軸の、光電変換素子アレイ４ｂ上における位置データを記憶するメモリである。このマイクロレンズの光軸位置データは、光電変換素子アレイ４ｂの光電変換素子位置の座標を小数レベルまで展開したものである。つまり、光電変換素子１個を１とした単位よりも小さい値、例えば光電変換素子０．５個を０．５というように光軸位置を正確に表したものである。
【００１４】
駆動制御装置５の瞳データ抽出部５ａは、光電変換素子４ｂから出力され画像メモリ６ａに記憶されている光電変換素子ごとの光電変換データの中から、光軸データメモリ６ｂに記憶されている各マイクロレンズの光軸位置を中心とする左右対象位置の光電変換素子（通常は複数）の光電変換データを抽出する。この一実施の形態では、図３に示すように、マイクロレンズ光軸位置を中心とする左右対象位置にあるそれぞれ３個の光電変換素子の光電変換データをそれぞれ積算し、右瞳データおよび左瞳データとする。瞳データ抽出部５ａは、各マイクロレンズごとに左右一対の瞳データを抽出して画像データメモリ６ａに一時的に記憶する。
【００１５】
図３において、マイクロレンズ光軸位置を中心とする左右対象位置にあるそれぞれ３個の光電変換素子は、対応するマイクロレンズにより撮影レンズ３の射出瞳上に投影され、射出瞳上に一対の投影領域を形成する。撮影レンズ３の射出瞳上のこの一対の投影領域を通過する一対の光束は、撮影レンズ３およびマイクロレンズを介してマイクロレンズ光軸位置を中心とする左右対象位置にあるそれぞれ３個の光電変換素子へ導かれ、それぞれ３個の光電変換素子上に一対の像が結像される。この一対の像の位相差すなわち像ずれ量は撮影レンズ３の焦点調節状態に応じて変化するため、それぞれ３個の光電変換素子から出力される一対の像に対応する一対の画像データに基づいて像ずれ量を演算すれば、いわゆる瞳分割位相差検出方式により撮影レンズ３の焦点調節状態、つまりマイクロレンズ頂点面からの焦点の外れ量を検出することができる。各マイクロレンズの背後にある光電変換素子による右瞳、左瞳の焦点はずれ量は、各マイクロレンズの頂点位置に対応する被写体像の焦点外れ量を示すことになる（特開２００７−１１３１４号公報などを参照）。
【００１６】
なお、左右一対の瞳データを抽出する光電変換素子の位置および個数は、図３に示す一実施の形態の位置および個数に限定されない。
【００１７】
駆動制御装置５のデータ列形成部５ｂは、左右方向に配列されている所定数のマイクロレンズに対応する左右一対の瞳データを、右瞳データと左瞳データに分けてマイクロレンズの順に並べ、右瞳データ列と左瞳データ列を構成する。
【００１８】
図４は、左右の瞳データ列を抽出するためにマイクロレンズアレイ４ａから１１個のマイクロレンズを選択した例を示す。マイクロレンズアレイ４ａはマイクロレンズが千鳥格子状に配列されているので、図中に黒丸を繋げて示すように、偶数列のマイクロレンズと奇数列のマイクロレンズとを交互に選択して１３個の焦点検出用のマイクロレンズ配列とする。この例では左から７番目のマイクロレンズが焦点検出用マイクロレンズ配列の中心になり、この位置を焦点検出位置と決める。
【００１９】
駆動制御装置５の焦点演算部５ｃは、画像メモリ６ａから左右一対の瞳データ列を読み出し、上述した瞳分割位相差検出方式により焦点検出演算（相関演算）を行い、撮影レンズ３の焦点調節状態を検出する。
【００２０】
一対のデータ列に基づく焦点検出演算については周知であるが、ここでその概要を説明する。上述した左右一対の瞳データ列をＡ{ａi}、Ｂ{ｂi}とし、データの個数をそれぞれＮ個（ｉ＝１,２，・・,Ｎ）とする。一対のデータ列Ａ、Ｂのずらし量をｋとしたとき、データ列ＡとＢの差分Ｄは次式で表される。
Ｄk＝Σ｜ａi+k−ｂi｜ ・・・（１）
(１)式により差分Ｄが最も小さくなるずらし量ｋを求める。一対のデータ列Ａ、Ｂは離散的な数列であるから、マイクロレンズの間隔以上の分解能で差分Ｄが最小値となる真のずらし量ｋを得ることはできない。
【００２１】
ここで、一対のデータ列Ａ、Ｂは正弦波の合成とみなすことができるので、その内のある空間周波数ωを持つ正弦波信号に注目すると、（１）式は次式（２）とみなすことができる。
Ｄ(θ)＝Ｋ∫｜sin(ωｘ＋θ)−sinωｘ｜dx ・・・（２）
さらに(２)式を変形すると次式が得られる。
Ｄ(θ)＝Ｋ’｜sin(θ／２)・sin(ωｘ＋φ)｜ ・・・（３）
(３)式は他の空間周波数にも適用でき、これらもすべてθに関する項が独立に乗ぜられていることから、差分式は正弦波の絶対値で変化することがわかる。また、θが０付近では正弦波は線形であるから、図５に示すように左右同じ傾きの直線に挟まれた、谷間の底が最小値であると見なせる。
【００２２】
以下の三点内挿演算により差分Ｄが最小となる真のずらし量ｋを求める。まず、(１)式により差分Ｄの最小値Ｄiとその時のずらし量ｋを求める。次に、最小値Ｄiを与えるずらし量ｋに隣接するずらし量(ｋ−１)と(ｋ＋１)の内、差分Ｄが大きい方Ｄi-1を選び、二点(ｋ,Ｄi)と(ｋ−１,Ｄi-1)を結ぶ直線を引く。そして、この直線の傾きをａとすると、二番目に小さい差分Ｄi+1を与えるずらし量ｋ＋１の点(ｋ＋１,Ｄi+1)を通る傾き(−ａ)の直線を引き、２本の直線の交点を差分Ｄの真の最小値Ｄminとし、その真の最小差分Ｄminを与えるずらし量ｋを真のずらし量ｋminとする。
【００２３】
この真のずらし量ｋminに所定の変換係数ｍを乗じ、撮影レンズ３による被写体像面のマイクロレンズ頂点面からの焦点外れ量、すなわちデフォーカス量ＤEFを求める。
ＤEF＝ｍ・ｋmin ・・・（４）
【００２４】
以上の方法により、図４に示す焦点検出用マイクロレンズ配列の中心のマイクロレンズ位置において、撮影レンズ３の焦点調節状態を検出することができる。
【００２５】
駆動制御装置５の瞳データ抽出部５ａ、データ列形成部５ｂおよび焦点演算部５ｃは、以上の焦点検出処理を撮像素子４の撮影画面内のすべてのマイクロレンズに対して行う。なお、図１に破線で囲む駆動制御装置５の瞳データ抽出部５ａ、データ列形成部５ｂおよび焦点演算部５ｃは上述した被写体特定手段を構成する。撮影画面内のすべてのマイクロレンズに対し水平方向位置を表す添え字ｐと垂直方向位置を表す添え字ｑを付して表すと、撮影画面内の各マイクロレンズ位置のデフォーカス量はＤEFpqで表される。
【００２６】
ただし、撮影画面内の焦点検出が可能な範囲は、撮影画面の縦および横の長さよりも焦点検出用マイクロレンズ配列の長さ分だけ狭い範囲になるが、検出できない部分については検出可能な範囲の検出結果に基づいて推定するか、あるいは焦点検出用マイクロレンズ配列の長さを短くして撮影画面の全範囲、もしくはそれに近い範囲において焦点検出を行う。
【００２７】
なお、撮影画面内のコントラスト変化が少ない部分では、焦点検出が不能、もしくは検出結果の信頼性が低くなる。このような場合にはその周辺の信頼性が高い焦点検出結果が得られた範囲の検出値を用いて補間により求める。補間方法は単なる線形補間でもよいし、スプライン曲線補間でもよい。これにより、撮影画面の全範囲における焦点情報あるいは焦点曲面を得ることができる。
【００２８】
また、この一実施の形態では、撮影画面の左右方向の焦点検出を例に挙げて説明するが、撮影画面の上下方向や斜め方向についても上記左右方向の焦点検出手法と同様な手法で焦点検出を行うことができる。
【００２９】
駆動制御装置５の画像合成部５ｄは、焦点演算部５ｃにより検出された撮影画面内のすべてのマイクロレンズ位置の焦点情報を用いて、撮像素子４から出力される光電変換データから任意の位置あるいはすべての位置に焦点の合った画像を合成する。図６および図７を参照して画像合成部５ｄによる画像合成方法を説明する。
【００３０】
図６は、撮影画面内の注目するマイクロレンズ（焦点検出位置）ｍ０の焦点検出結果が、マイクロレンズ頂点面Ｓ０に焦点があるとされた場合の、該マイクロレンズｍ０位置の画像合成方法を説明する図である。この焦点面Ｓ０を通る光束は、撮影レンズ３の開口径とマイクロレンズの開口径とが同一、ないしは撮影レンズ３の開口径の方が小さくなるように設定されているので、マイクロレンズｍ０に対応した光電変換素子へ導かれる。したがって、マイクロレンズｍ０に被覆される光電変換素子（図中に黒く塗りつぶした光電変換素子）の出力を積算すれば、マイクロレンズ頂点面（予定焦点面）に焦点を持つマイクロレンズｍ０に対応する部分の画素出力（画像）が得られる。
【００３１】
図７は、撮影画面内の注目するマイクロレンズ（焦点検出位置）ｍ１の焦点検出結果が、マイクロレンズ頂点面からｙの距離にある面Ｓ１に焦点があるとされた場合の、撮影画面内のマイクロレンズｍ１位置の画像合成方法を説明する図である。図６および図７において、マイクロレンズアレイ４ａのマイクロレンズ間隔をｄとし、マイクロレンズ頂点面から光電変換素子アレイ４ｂの受光面までの距離、つまりマイクロレンズの焦点距離をｆとする。また、注目するマイクロレンズｍ１の光軸と焦点面Ｓ１との交点Ｐ１を通り、マイクロレンズｍ１に隣接するマイクロレンズｍ２を介して光電変換素子アレイ４ｂの受光面へ光束が到達する位置と、マイクロレンズｍ２の光軸との間の距離をｘとすると、図７から明らかなように次の関係が成立する。
ｙ／ｄ＝ｆ／ｘ ・・・(５)
【００３２】
焦点面Ｓ１の点Ｐ１を通る光束は、注目するマイクロレンズｍ１の光軸上にある光電変換素子ｅ１へ到達するとともに、注目マイクロレンズｍ１に隣接するマイクロレンズｍ２の光軸から距離ｘだけ遠ざかる位置にある光電変換素子ｅ２へ到達する。同様に、注目マイクロレンズｍ１の反対側に隣接するマイクロレンズｍ６では、マイクロレンズｍ６の光軸から距離ｘだけ遠ざかる位置にある光電変換素子ｅ６へ到達する。
【００３３】
さらに、注目するマイクロレンズｍ１から距離ｎ・ｄ(ｎ＝２、３、・・)の位置にある周辺のマイクロレンズｍ３、ｍ４、・・に対しても(５)式の関係が成立する。ｎとｘにマイクロレンズの二次元位置を表す添え字“ij”を付け、(５)式を注目するマイクロレンズｍ１の周辺のマイクロレンズｍ３、ｍ４、・・に拡張する。
ｙ／(ｎij・ｄ)＝ｆ／ｘij ・・・(６)
そして、注目するマイクロレンズｍ１に対する焦点面Ｓ１までの距離ｙを固定し、距離ｘを周辺のマイクロレンズｍ３、ｍ４、・・に被覆される光電変換素子の範囲内で動かすと、焦点面Ｓ１の点Ｐ１を通る光束が注目するマイクロレンズｍ１の周辺のマイクロレンズｍ３、ｍ４、・・のどの光電変換素子へ到達するかを知ることができる。
【００３４】
図７に示す例では、焦点面Ｓ１の点Ｐ１を通る光束が、注目マイクロレンズｍ１から距離２ｄにあるマイクロレンズｍ３およびｍ７の光電変換素子ｅ３およびｅ７へ到達する。注目マイクロレンズｍ１の周辺のすべてのマイクロレンズｍ２、ｍ３、・・に対して(６)式により光電変換素子を特定し、それらの光電変換素子の出力を積算すれば、マイクロレンズ頂点面から距離ｙの位置に焦点面Ｓ１を持つ注目マイクロレンズｍ１に対応する画素出力（画像）が得られる。
【００３５】
図６に示す例では、予定焦点面に焦点を持つマイクロレンズｍ０部分の画素出力（画像）が得られ、図７に示す例では、予定焦点面から距離ｙの位置に焦点を持つマイクロレンズｍ１部分の画素出力（画像）が得られる。これらの部分画素出力つまり画像はそれぞれピントが合った画像である。
【００３６】
なお、それぞれのマイクロレンズに対応する画素出力は、複数の光電変換素子の出力を積算して求められるが、積算値を積算した光電変換素子数で正規化する。撮影画面の端にあるマイクロレンズでは、そのマイクロレンズの３６０度全周に亘って周辺のマイクロレンズが存在しないために積算値が小さくなるが、上記の正規化処理により画面端のマイクロレンズの画像も画面中央のマイクロレンズの画像と同じ明るさにすることができる。また、撮影レンズ３の絞り開口が小さくなると、積算する光電変換素子数が撮影画面内で均等にならず、同様な問題を生じるが、積算値を積算数で正規化することによって解決できる。
【００３７】
上述したように、焦点演算部５ｃにより撮影画面内のすべてのマイクロレンズ位置におけるデフォーカス量ＤEFpqが求められているので、画像合成部５ｄによる上記手法を撮影画面内のすべてのマイクロレンズのデフォーカス量ＤEFpqに応じて画像合成処理を行えば、マイクロレンズと同じ数の画素出力すなわち画像が得られ、これらを二次元平面上のマイクロレンズ位置に応じて展開すれば、それぞれのマイクロレンズに対応するピントのあった画像が展開される。このようにして一度光電変換素子アレイ４ｂの信号を取り込むことにより、撮影画面内のどの位置にもピントの合った画像を合成することができる。
【００３８】
なお、一部のマイクロレンズ位置の焦点を意図的に外すようにしたり、指定された範囲にのみ、焦点の合った画像を合成することもできる。例えば、撮影画像を処理して画像内から人物の顔を検出し、人物の顔部分に対応するマイクロレンズに対して上述した画像合成処理を行えば、すべての顔部分に焦点の合った画像を合成することもできる。
【００３９】
上述した実施の形態とその変形例によれば以下のような作用効果を奏することができる。まず、複数のマイクロレンズを平面上に配列したマイクロレンズアレイ４ａを撮影レンズ３の予定焦点面近傍に配置するとともに、複数の光電変換素子を平面上に配列した光電変換素子アレイ４をマイクロレンズアレイ４ａの背後のマイクロレンズの焦点位置に配置し、撮影レンズ３により予定焦点面に結像された被写体像を撮像する撮像素子４と、マイクロレンズが被覆する複数の光電変換素子の内の一対の光電変換素子の出力に基づいて、撮影レンズ３の射出瞳を通過した一対の光束による一対の像のズレ量を検出し、被写体像の中のマイクロレンズに対応する位置の撮影レンズ３の焦点外れ量を検出する瞳データ抽出部５ａ、データ列形成部５ｂおよび焦点演算部５ｃと、被写体像の中のマイクロレンズに対応する位置の焦点はずれ量に応じて、該マイクロレンズとその周辺のマイクロレンズにそれぞれ被覆される光電変換素子の出力を積算し、被写体像の中の該マイクロレンズに対応する位置に焦点の合った画像を合成する画像合成部５ｄとを備える。これにより、１枚の撮像画像から焦点を合わせたい位置で焦点の合った画像を合成することができる。
【００４０】
次に、被写体像を処理して人物の顔部分を検出し、人物の顔部分を焦点を合わせたい位置に設定し、設定位置の焦点外れ量に応じて被写体像の中の設定位置に焦点のあった画像を合成するようにしたので、１枚の撮像画像から人物の顔部分に焦点の合った画像を合成することができる。この場合、背景は適当にボケた画像を用いることができる。
【００４１】
なお、上述した被写体特定手段により被写体像のすべての位置を特定することによって、被写体像のすべての位置においてピントの合った画像を合成することができる。また、上述した焦点検出方法によれば画面内のあらゆる位置における焦点調節状態を検出することができるので、全画面または任意の位置に焦点の合った画像を合成することができる。
【図面の簡単な説明】
【００４２】
【図１】一実施の形態のデジタルカメラの構成を示す図
【図２】マイクロレンズアレイを撮影レンズ側から見た図
【図３】一つのマイクロレンズの外径を光電変換素子アレイ上に投影した図
【図４】焦点検出用のマイクロレンズ配列の一例を示す図
【図５】三点内挿方法を説明するための図
【図６】撮影画面内の注目するマイクロレンズ（焦点検出位置）ｍ０の焦点検出結果が、マイクロレンズ頂点面（撮影レンズの予定焦点面）Ｓ０に焦点があるとされた場合の、該マイクロレンズｍ０位置の画像合成方法を説明する図
【図７】撮影画面内の注目するマイクロレンズ（焦点検出位置）ｍ１の焦点検出結果が、マイクロレンズ頂点面（撮影レンズの予定焦点面）からｙの距離にある面Ｓ１に焦点があるとされた場合の、撮影画面内のマイクロレンズｍ１位置の画像合成方法を説明する図
【符号の説明】
【００４３】
１；カメラ、２；カメラボディ、３；撮影レンズ、４；撮像素子、４ａ；マイクロレンズアレイ、４ｂ；光電変換素子アレイ、５；駆動制御装置、５ａ；瞳データ抽出部、５ｂ；データ列形成部、５ｃ；焦点演算部、５ｄ；画像合成部
【特許請求の範囲】
【請求項１】
撮影光学系と、
二次元状に配列した複数のマイクロレンズを有し、前記撮影光学系の背後に配置されたマイクロレンズアレイと、
前記マイクロレンズアレイの背後に配置され、前記複数のマイクロレンズごとに複数の光電変換領域が割り当てられた光電変換装置と、
焦点を合わせる被写体を特定する被写体特定手段と、
前記被写体特定手段により特定された被写体に焦点のあった画像を前記光電変換装置の出力に基づき合成する画像作成手段とを有することを特徴とする画像合成装置。
【請求項２】
請求項１に記載の画像合成装置において、
前記被写体特定手段は焦点検出手段を有し、
前記画像作成手段は前記焦点検出手段による焦点検出に先立ち予め取得した前記光電変換装置の出力に基づき、前記焦点検出手段が焦点検出した被写体に焦点の合った画像を作成することを特徴とする画像合成装置。
【請求項３】
請求項２に記載の画像合成装置において、
前記光電変換装置の前記光電変換領域は前記撮影光学系の射出瞳と共役であり、前記焦点検出手段は前記マイクロレンズごとに割り当てられた複数の光電変換領域のうちの一対の光電変換領域の出力に基づき被写体までの焦点外れ量を検出することを特徴とする画像合成装置。
【請求項４】
請求項１に記載の画像合成装置において、
前記被写体特定手段は、被写体の予め指定された特徴を識別し、この特徴部分に前記焦点検出手段により焦点検出を行い、焦点検出対象となった被写体に焦点の合った画像を合成するよう前記画像作成手段に指示する指示手段を有することを特徴とする画像合成装置。
【請求項５】
請求項１に記載の画像合成装置において、
前記画像合成手段は、前記撮像素子の出力に基づき焦点深度の深い画像を作成し表示する表示手段を有し、
前記被写体特定手段は、前記表示手段の表示に基づき、焦点を合わせたい被写体を設定する設定手段を有し、
前記設定手段にて設定された被写体に焦点のあった画像を得ることを特徴とする画像合成装置。
【請求項６】
請求項１〜５のいずれか一項に記載の画像合成装置において、
前記被写体特定手段は、前記撮影光学系の光軸方向へ異なる位置の被写体を特定し、前記画像作成手段は前記特定した複数の被写体に焦点の合った一つの画像を作成することを特徴とする画像合成装置。
【請求項１】
撮影光学系と、
二次元状に配列した複数のマイクロレンズを有し、前記撮影光学系の背後に配置されたマイクロレンズアレイと、
前記マイクロレンズアレイの背後に配置され、前記複数のマイクロレンズごとに複数の光電変換領域が割り当てられた光電変換装置と、
焦点を合わせる被写体を特定する被写体特定手段と、
前記被写体特定手段により特定された被写体に焦点のあった画像を前記光電変換装置の出力に基づき合成する画像作成手段とを有することを特徴とする画像合成装置。
【請求項２】
請求項１に記載の画像合成装置において、
前記被写体特定手段は焦点検出手段を有し、
前記画像作成手段は前記焦点検出手段による焦点検出に先立ち予め取得した前記光電変換装置の出力に基づき、前記焦点検出手段が焦点検出した被写体に焦点の合った画像を作成することを特徴とする画像合成装置。
【請求項３】
請求項２に記載の画像合成装置において、
前記光電変換装置の前記光電変換領域は前記撮影光学系の射出瞳と共役であり、前記焦点検出手段は前記マイクロレンズごとに割り当てられた複数の光電変換領域のうちの一対の光電変換領域の出力に基づき被写体までの焦点外れ量を検出することを特徴とする画像合成装置。
【請求項４】
請求項１に記載の画像合成装置において、
前記被写体特定手段は、被写体の予め指定された特徴を識別し、この特徴部分に前記焦点検出手段により焦点検出を行い、焦点検出対象となった被写体に焦点の合った画像を合成するよう前記画像作成手段に指示する指示手段を有することを特徴とする画像合成装置。
【請求項５】
請求項１に記載の画像合成装置において、
前記画像合成手段は、前記撮像素子の出力に基づき焦点深度の深い画像を作成し表示する表示手段を有し、
前記被写体特定手段は、前記表示手段の表示に基づき、焦点を合わせたい被写体を設定する設定手段を有し、
前記設定手段にて設定された被写体に焦点のあった画像を得ることを特徴とする画像合成装置。
【請求項６】
請求項１〜５のいずれか一項に記載の画像合成装置において、
前記被写体特定手段は、前記撮影光学系の光軸方向へ異なる位置の被写体を特定し、前記画像作成手段は前記特定した複数の被写体に焦点の合った一つの画像を作成することを特徴とする画像合成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−１０９９２１（Ｐ２０１０−１０９９２１Ａ）
【公開日】平成２２年５月１３日（２０１０．５．１３）
【国際特許分類】
【出願番号】特願２００８−２８２２９５（Ｐ２００８−２８２２９５）
【出願日】平成２０年１０月３１日（２００８．１０．３１）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２２年５月１３日（２０１０．５．１３）
【国際特許分類】
【出願日】平成２０年１０月３１日（２００８．１０．３１）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]