説明

撮像モジュールおよび撮像装置

【課題】広い空間周波数領域にわたって低ノイズな画像を提供すること。
【解決手段】撮像モジュールは、第1撮像系と、第1空間周波数領域での応答が第1撮像系より低く、第1空間周波数領域より高い第2空間周波数領域での応答が第1撮像系より高い第2撮像系と、第1撮像系により撮像された被写体の画像の第1空間周波数領域における空間周波数成分と、第2撮像系により撮像された被写体の画像の第2空間周波数領域における空間周波数成分とを用いて、被写体の画像を生成する画像生成部とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像モジュールおよび撮像装置に関する。
【背景技術】
【0002】
複数の結像系を持ち、結像系の光軸からの距離が大きくなるにしたがい透過率が小さくなる光学フィルターを備える撮像装置が知られている(例えば、特許文献1参照。)。また、空間周波数特性の異なる2つの光学LPFをそれぞれ通じて被写体の像を2回撮像する技術が知られている(例えば、特許文献2参照。)。
特許文献1 特開2001−78214号公報
特許文献2 特開平9−116911号公報
【発明の概要】
【発明が解決しようとする課題】
【0003】
撮像装置としては、広い空間周波数領域にわたって低ノイズな画像を提供できることが望ましい。MTFが低い空間周波数領域の周波数成分をデジタル処理で増幅しても、ノイズも増幅されてしまうので、広い空間周波数領域にわたって低ノイズな画像を提供することができない、という課題があった。
【課題を解決するための手段】
【0004】
上記課題を解決するために、本発明の第1の態様においては、撮像モジュールであって、第1撮像系と、第1空間周波数領域での応答が第1撮像系より低く、第1空間周波数領域より高い第2空間周波数領域での応答が第1撮像系より高い第2撮像系と、第1撮像系により撮像された被写体の画像の第1空間周波数領域における空間周波数成分と、第2撮像系により撮像された被写体の画像の第2空間周波数領域における空間周波数成分とを用いて、被写体の画像を生成する画像生成部とを備える。
【0005】
第1撮像系は、第1光学系を有し、第2撮像系は、第1空間周波数領域での光学応答が第1光学系より低く、第2空間周波数での光学応答が第1光学系より高い第2光学系を有してよい。
【0006】
第1光学系および第2光学系は、それぞれ瞳面で光透過率分布を与える光学フィルタを有し、第1光学系が有する第1光学フィルタは、瞳面の周辺領域よりも中央領域で高い光透過率を持ち、第2光学系が有する第2光学フィルタは、瞳面の中央領域よりも周辺領域において高い光透過率を持ってよい。
【0007】
第1光学系は、第1レンズを有し、第2光学系は、第1レンズより有効口径が大きい第2レンズを有してよい。
【0008】
第1光学系は、第1レンズを有し、第2光学系は、第1レンズより倍率が大きい第2レンズを有してよい。
【0009】
第1撮像系は、被写体からの光を第1光学系を通じて受光する複数の撮像素子を含む第1受光部を有し、第2撮像系は、被写体からの光を第2光学系を通じて受光する複数の撮像素子を含む第2受光部を有し、第1受光部が含む複数の撮像素子は、第2受光部が含む複数の撮像素子より低いピッチで配列されてよい。
【0010】
第1撮像系は、被写体からの光を第1光学系を通じて受光する複数の撮像素子を含む第1受光部を有し、第2撮像系は、被写体からの光を第2光学系を通じて受光する複数の撮像素子を含む第2受光部を有し、撮像モジュールは、第1受光部が含む複数の撮像素子から、第2受光部が含む複数の撮像素子よりも低い読み出しピッチで読み出しする読み出し部をさらに備えてよい。
【0011】
第1受光部および第2受光部がそれぞれ有する複数の撮像素子は、同一平面上に設けられてよい。
【0012】
画像生成部は、第1撮像系および第2撮像系のそれぞれの撮像光軸の位置に基づいて、第1撮像系と第2撮像系とで同一被写体が撮像されるべき画像領域を特定する対応領域特定部と、画像領域毎に、第1撮像系により撮像された被写体の画像の第1空間周波数領域における空間周波数成分および第2撮像系により撮像された被写体の画像の第2空間周波数領域における空間周波数成分を合成することにより、被写体の画像を生成する画像合成部とを有してよい。
【0013】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【0014】
【図1】撮像装置100の構成の一例を模式的に示す図である。
【図2】第1光学フィルタ114および第2光学フィルタ124による光透過率分布の一例を示す図である。
【図3】第1光学系115および第2光学系125のMTFの一例を示す図である。
【図4】画像生成部150のブロック構成の一例を示す図である。
【図5】周波数フィルタ部410におけるフィルタ処理の一例を示す図である。
【図6】各撮像系で撮像された画像に対する画像処理の一例を示す図である。
【図7】レンズ配置の他の一例を示す図である。
【図8】物体側から見た受光部809の構成の一例を示す図である。
【発明を実施するための形態】
【0015】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0016】
図1は、撮像装置100の構成の一例を模式的に示す。本実施形態に係る撮像装置100は、比較的に広い空間周波数領域にわたって低ノイズな画像を提供することを目的とする。撮像装置100は、第1撮像系101、第2撮像系102、読み出し部140、画像生成部150、および、記録部180を備える。第1撮像系101、第2撮像系102、読み出し部140、および、画像生成部150は、撮像装置100に組み込まれる撮像モジュールとして機能する。
【0017】
第1撮像系101の撮像光軸は、第2撮像系の撮像光軸と平行であるとする。第2撮像系102は、撮像光軸に垂直な面内で、第1撮像系101とは撮像光軸の位置を異ならせて設けられる。本実施形態では、撮像光軸に沿う方向をz軸方向とした場合に、第2撮像系102の撮像光軸は、第1撮像系101の撮像光軸に対してx方向に離間して設けられるとする。
【0018】
第2撮像系102は、第1撮像系101とは異なる空間周波数応答を持つ。具体的には、第2撮像系102は、第1空間周波数領域での応答が第1撮像系101より低く、第1空間周波数領域より高い第2空間周波数領域での応答が第1撮像系101より高い。空間周波数領域での応答は、一例としてMTFを指標とすることができる。撮像装置100によると、第1撮像系101に加えて第2撮像系102を備えるので、第1撮像系101が撮像した画像と第2撮像系102が撮像した画像とを組み合わせて被写体の画像を生成することができる。このため、第2撮像系102を備えない場合と比較して、比較的に広い空間周波数領域にわたって低ノイズな画像を提供することができる。
【0019】
第1撮像系101は、第1光学系115および第1受光部119を有する。第1光学系115は、第1レンズ110、第1絞り部112、および、第1光学フィルタ114を持つ。第1受光部119は、第1カラーフィルタアレイ116および第1撮像素子アレイ118を持つ。
【0020】
第1レンズ110は、結像レンズであり、被写体からの光である被写体光を第1受光部119に結像する。第1絞り部112は、第1光学系115を通過する光の量を調整する。第1光学系115を通過する光は、第1絞り部112の開口部を通過するものに制限される。
【0021】
第1光学フィルタ114は、瞳面での光透過率に分布を与える。第1光学系115を通過する光は、第1レンズ110、第1絞り部112および第1光学フィルタ114を通過して第1受光部119に結像される。
【0022】
第1カラーフィルタアレイ116は、予め定められた波長域の光をそれぞれ通過する複数のカラーフィルタを含む。第1カラーフィルタアレイ116は、複数のカラーフィルタがマトリクス状に配列されて形成される。例えば、第1カラーフィルタアレイ116は、赤色の波長域に属するR光を選択的に透過するR光フィルタ、緑色の波長域に属するG光を選択的に透過するG光フィルタ、青色の波長域に属するB光を選択的に透過するB光フィルタが、予め定められたパターンでマトリクス状に配列されて形成される。
【0023】
第1撮像素子アレイ118は、被写体からの光を第1光学系115を通じて受光する複数の撮像素子を含む。第1撮像素子アレイ118が含む複数の撮像素子は、第1カラーフィルタアレイ116が含む複数のカラーフィルタに対応して設けられる。各撮像素子は、第1カラーフィルタアレイ116に入射した被写体光のうち、対応するカラーフィルタを透過した特定の波長域の光を受光する。各撮像素子は、受光した光の量に応じた強度の撮像信号を出力する。
【0024】
第2撮像系102は、第2光学系125および第2受光部129を有する。第2光学系125は、第2レンズ120、第2絞り部122、および、第2光学フィルタ124を持つ。第2受光部129は、第2カラーフィルタアレイ126および第2撮像素子アレイ128を持つ。
【0025】
第2撮像系102が有する光学要素のうち、第2レンズ120、第2絞り部122、第2カラーフィルタアレイ126、および、第2撮像素子アレイ128は、それぞれ第1レンズ110、第1絞り部112、第1カラーフィルタアレイ116、および、第1撮像素子アレイ118と略同一の特性を持つとする。
【0026】
一方、第2光学フィルタ124は、第2光学系125の瞳面において、第1光学フィルタ114が第1光学系115の瞳面に与える光透過率分布とは異なる光透過率分布を与える。第1光学フィルタ114および第2光学フィルタ124のそれぞれによるアポダイゼーションによって、第1撮像系101と第2撮像系102とは互いに異なる空間周波数応答を持つ。
【0027】
第2撮像系が有する光学要素について説明する。第2レンズ120は、結像レンズであり、被写体からの光である被写体光を第2受光部129に結像する。第2絞り部122は、第2光学系125を通過する光の量を調整する。第2光学系125を通過する光は、第2絞り部122の開口部を通過するものに制限される。
【0028】
第2光学フィルタ124は、瞳面での光透過率に分布を与える。第2光学系125を通過する光は、第2レンズ120、第2絞り部122および第2光学フィルタ124を通過して第2受光部129に結像される。
【0029】
第2カラーフィルタアレイ126は、予め定められた波長域の光をそれぞれ通過する複数のカラーフィルタを含む。第2カラーフィルタアレイ126は、複数のカラーフィルタがマトリクス状に配列されて形成される。例えば、第2カラーフィルタアレイ126は、赤色の波長域に属するR光を選択的に透過するR光フィルタ、緑色の波長域に属するG光を選択的に透過するG光フィルタ、青色の波長域に属するB光を選択的に透過するB光フィルタが、予め定められたパターンでマトリクス状に配列されて形成される。
【0030】
第2撮像素子アレイ128は、被写体からの光を第2光学系125を通じて受光する複数の撮像素子を含む。第2撮像素子アレイ128が含む複数の撮像素子は、第2カラーフィルタアレイ126が含む複数のカラーフィルタに対応して設けられる。各撮像素子は、第2カラーフィルタアレイ126に入射した被写体光のうち、対応するカラーフィルタを透過した特定の波長域の光を受光する。各撮像素子は、受光した光の量に応じた強度の撮像信号を出力する。
【0031】
第1光学フィルタ114と第2光学フィルタ124との光透過特性の相違について説明する。第1光学系115が有する第1光学フィルタ114は、瞳面の周辺領域よりも中央領域で高い光透過率を持つ。一方、第2光学系125が有する第2光学フィルタ124は、瞳面の中央領域よりも周辺領域において高い光透過率を持つ。
【0032】
上述したように、第1レンズ110と第2レンズ120とは略同一の特性を持ち、第1絞り部112と第2絞り部122とは略同一の特性を持つ。例えば、第1レンズ110と第2レンズ120とは、略等しい結像特性を持つとする。また、第1絞り部112および第2絞り部122は、開口の大きさおよび形状が略等しいとする。したがって、第1光学系115と第2光学系125との間の空間周波数応答の相違は、第1光学フィルタ114による光透過率分布と第2光学フィルタ124による光透過率分布の相違により、もたらされる。
【0033】
また、上述したように、第1カラーフィルタアレイ116と第2カラーフィルタアレイ126とは略同一の特性を持ち、第1撮像素子アレイ118と第2撮像素子アレイ128とは略同一の特性を持つ。例えば、第1撮像素子アレイ118が有する複数の撮像素子は、第2撮像素子アレイ128が有する複数の撮像素子と略同一のピッチで配列されるとする。同様に、第1カラーフィルタアレイ116が有する複数のカラーフィルタは、第2カラーフィルタアレイ126が有する複数のカラーフィルタと略同一のピッチで配列されるとする。また、各色の光を透過するカラーフィルタの配列パターンも、第1カラーフィルタアレイ116と第2カラーフィルタアレイ126とで同じであるとする。したがって、第1撮像系101と第2撮像系102との間の空間周波数応答の相違も、第1光学フィルタ114と第2光学フィルタ124との間の光透過率分布の相違により、もたらされる。
【0034】
ここで、第1受光部119および第2受光部129がそれぞれ有する複数の撮像素子は、同一平面上に設けられる。例えば、第1撮像素子アレイ118が有する複数の撮像素子、および、第2撮像素子アレイ128が有する複数の撮像素子は、同一基板上に形成される。例えば、第1撮像素子アレイ118が有する複数の撮像素子、および、第2撮像素子アレイ128が有する複数の撮像素子は、同一プロセスで同一基板の一面に同時に形成される。また、第1カラーフィルタアレイ116が有する複数のカラーフィルタおよび第2カラーフィルタアレイ126が有する複数のカラーフィルタも、対応する撮像素子の上部に同一プロセスで同時に形成される。これにより、第1受光部119および第2受光部129が一体に含む1つの受光部109が製造される。第1受光部119の撮像面および第2受光部129の撮像面は、受光部109が持つ撮像面の部分領域となる。なお、第1撮像素子アレイ118および第1カラーフィルタアレイ116を持つ第1受光部119と、第2撮像素子アレイ128および第2カラーフィルタアレイ126を持つ第2受光部129とは、互いに別個に製造して組み付けられてもよい。
【0035】
第1受光部119が含む複数の撮像素子、および、第2受光部129が含む複数の撮像素子が実質的に同時に露光される。各撮像素子が露光されると、読み出し部140は、第1受光部119が含む複数の撮像素子、および、第2受光部129が含む複数の撮像素子から、撮像信号を読み出す。読み出し部140は、第1受光部119および第2受光部129が有する複数の撮像素子と同一基板上に形成された読み出し回路を有してよい。当該読み出し回路は、複数の第1撮像系101および第2撮像系102に対して1つ設けられ、1つの読み出し回路が第1受光部119および第2受光部129がそれぞれ含む複数の撮像素子から、撮像信号を順次に読み出してよい。なお、当該読み出し回路は、複数の第1撮像系101および第2撮像系102に対してそれぞれ別個に設けられてよい。
【0036】
第1受光部119が含む複数の撮像素子、および、第2受光部129が含む複数の撮像素子は、MOS型撮像素子であってよい。各撮像素子が同一プロセスで同一基板の一面に形成されたMOS型撮像素子である場合、読み出し部140は、第1光学系115を通過した被写体光が入射する撮像面に形成された撮像素子と、第2光学系125を通過した被写体光が入射する撮像面に形成された撮像素子とから、部分読み出しをすることができる。第1受光部119が含む複数の撮像素子、および、第2受光部129が含む複数の撮像素子は、MOS型撮像素子の他、CCD型撮像素子などの固体撮像素子で実装することもできる。
【0037】
読み出し部140が読み出した撮像信号は、画像生成部150に供給される。第1受光部119が含む複数の撮像素子から読み出した撮像信号は、第1撮像系101により撮像された被写体の画像を示す。第2受光部129が含む複数の撮像素子から読み出した撮像信号は、第2撮像系102により撮像された被写体の画像を示す。画像生成部150は、第1撮像系101により撮像された被写体の画像の第1空間周波数領域における空間周波数成分と、第2撮像系102により撮像された被写体の画像の第2空間周波数領域における空間周波数成分とを用いて、被写体の画像を生成する。
【0038】
具体的には、画像生成部150は、第1撮像系101により撮像された被写体の画像から第1空間周波数領域における空間周波数成分を抽出する。また、画像生成部150は、第2撮像系102により撮像された被写体の画像から、第2空間周波数領域における空間周波数成分を抽出する。そして、画像生成部150は、抽出した第1空間周波数領域における空間周波数成分と第2空間周波数領域における空間周波数成分とを、空間周波数領域で合成する。
【0039】
画像生成部150は、当該空間周波数領域での合成により得られた空間周波数領域の画像信号を、被写体の画像として記録部180に出力してよい。他にも、画像生成部150は、当該空間周波数領域の画像信号を空間領域の画像信号に変換して、得られた空間領域の画像信号を、被写体の画像として記録部180に出力してもよい。記録部180は、画像生成部150が生成した画像を記録する。
【0040】
記録部180は、画像生成部150から供給された画像を、不揮発性メモリに記録してよい。当該不揮発性メモリは、記録部180が有してよい。また、当該不揮発性メモリは、撮像装置100に対して着脱可能に設けられた外部メモリであってよい。
【0041】
撮像装置100は、カメラ機能付きの携帯電話、デジタルカメラなどの撮像機器であってよい。第1撮像系101、第2撮像系102、読み出し部140、および、画像生成部150を有する撮像モジュールは、これらの撮像機器用のカメラモジュールとして提供することができる。
【0042】
撮像装置100によれば、比較的に低い空間周波数領域で高いMTFを第1撮像系101と、比較的に高い空間周波数領域で高いMTFを持つ撮像信号を提供する第2撮像系102とを備える。そして、第1撮像系101が出力した撮像信号のうちの比較的に低い空間周波数領域の成分と、第2撮像系102が出力した撮像信号の比較的に高い空間周波数領域の成分とを用いて被写体の画像信号を生成する。
【0043】
仮に一の撮像系で得られた撮像信号から被写体の画像を生成する場合、MTFが比較的に低い周波数領域の撮像信号を強調するデジタル処理をするとノイズも一緒に強調されてしまう。このため、SN比の高い画像を得ることができず、解像力の高い画像を提供することができない場合がある。一方、撮像装置100によると、第1撮像系101と、第1撮像系101と比較して高周波数領域で高い応答を持つ第2撮像系102とを備えるので、上記の強調処理の程度を低減でき、場合によっては強調処理を施さなくてもよくなる。このため、撮像装置100によると、SN比が高く、解像力の高い画像を提供することができる。
【0044】
図2は、第1光学フィルタ114および第2光学フィルタ124による光透過率分布の一例を示す。ここではx軸方向の光透過率分布を一例として示す。x軸の原点は、撮像光軸の位置に対応する。
【0045】
第1光学フィルタ114による瞳面での光透過率分布210は、上に凸の分布を持つ。例えば、光透過率は、撮像光軸の位置で極大値を持ち、周辺に向かって単調に低下する。また、光透過率分布210は、撮像光軸の位置に対して対称な形を持つ。第2光学フィルタ124による瞳面での光透過率分布220は、下に凸の分布を持つ。光透過率は、撮像光軸の位置で極小値を持ち、周辺に向かって単調に増加する。また、光透過率分布220は、撮像光軸の位置に対して対称な形を持つ。このため、第2光学系125は、第1光学系115と比較して、比較的に高い空間周波数領域で高いMTFを持つことができる。
【0046】
図3は、第1光学系115および第2光学系125のMTFの一例を示す。ここでは、x方向の空間周波数成分に対するMTFの依存性を示す。本図で示すMTFは、特定の物体位置からの光についてのMTFとする。
【0047】
第1光学系115は、空間周波数が0より大きくf1より低い第1空間周波数領域で、第2光学系125より高いMTF310を持つ。このため、第1撮像系101は、第1空間周波数領域では、第2撮像系102よりもSN比が高い撮像信号を生成することができる。
【0048】
一方、第2光学系125は、空間周波数f1より高い第2空間周波数領域で、第1光学系115より高いMTF320を持つ。このため、第2撮像系102は、第2空間周波数領域では、第1撮像系101よりもSN比が高い撮像信号を生成することができる。また、第2光学系125は、第2空間周波数領域では、第1光学系115よりも解像力が高い光学系であるとみなすことができる。このように、第2光学系125は、第1空間周波数領域での光学応答が第1光学系115より低く、第2空間周波数での光学応答が第1光学系115より高い。
【0049】
なお、図2および図3において、説明を分かり易くすることを目的として、光透過率分布およびMTFの一例を模式的に示した。第1光学フィルタ114および第2光学フィルタ124による光透過率特性、ならびに、第1光学系115および第2光学系125のMTF特性は、図示された特性に限られない。第2光学系125のMTFを、第1光学系115のMTFより特定空間周波数領域で低く、かつ、当該特定空間周波数領域とは異なる空間周波数領域で高くすべく、第1光学フィルタ114および第2光学フィルタ124による光透過率特性を設計すればよい。
【0050】
ところで、同一の光学系においても、物点までの距離によってMTFは異なる。このため、第1光学系115と第2光学系125とでMTFが一致する空間周波数f1は、物点までの距離によって異なる場合がある。空間周波数f1が物点までの距離によって異なる場合、画像生成部150は、物点までの距離に応じて、抽出する空間周波数領域を適切に選択することが好ましい。また、同一の光学系においても、光軸から物点までの距離によっても、MTFが異なる場合がある。光軸から物点までの距離は、像側では画像領域に対応する。したがって、画像生成部150は、物点までの距離および画像領域の少なくとも一方に応じて、抽出する空間周波数領域を適切に選択することが好ましい。
【0051】
図4は、画像生成部150のブロック構成の一例を示す。画像生成部150は、周波数フィルタ部410、画像合成部420、および、対応領域特定部430を有する。周波数フィルタ部410は、低域フィルタ部411および高域フィルタ部412を含む。
【0052】
周波数フィルタ部410には、読み出し部140から撮像信号が供給される。このうち、第1撮像系101が出力した撮像信号が、低域フィルタ部411に供給される。低域フィルタ部411は、第1撮像系101が出力した撮像信号から第1空間周波数領域の周波数成分を抽出して、画像合成部420に供給する。高域フィルタ部412には、第2撮像系102が出力した撮像信号が供給される。高域フィルタ部412は、第2撮像系102が出力した撮像信号から第2空間周波数領域の周波数成分を抽出して、画像合成部420に供給する。
【0053】
画像合成部420は、低域フィルタ部411が抽出した空間周波数領域の信号と、高域フィルタ部412が抽出した空間周波数領域の信号とを合成して、1つの画像に相当する画像信号を生成する。画像合成部420は、生成した画像信号を記録部180に出力する。
【0054】
ここで、上述したように、第1撮像系101と第2撮像系102とは撮像光軸が離間して設けられる。このため、第1撮像系101および第2撮像系102は互いに異なる視点から同一被写体を撮像することとなる。このため、いわゆる視差により像ズレが生じるので、同一被写体であってもその像位置は完全には一致しない。各画像領域の像ズレ量は、第1撮像系101と第2撮像系102との間の離間距離、および、被写体までの距離に応じて実質的に定まる。このため、像ズレ量が特定されれば、特定した像ズレ量と、第1撮像系101および第2撮像系102の間の離間距離とに基づいて、被写体までの距離を画像領域毎に特定することができる。
【0055】
対応領域特定部430は、第1撮像系101および第2撮像系102のそれぞれの撮像光軸の位置に基づいて、第1撮像系101と第2撮像系102とで同一被写体が撮像されるべき画像領域を特定する。具体的には、対応領域特定部430は、読み出し部140から出力された撮像信号が示すそれぞれの画像の画像内容から、同一被写体が撮像された領域である対応領域を特定する。より具体的には、対応領域特定部430は、画像間の対応点マッチングにより対応点を特定することにより、対応領域を特定することができる。対応領域特定部430は、特定した対応領域を示す情報を、画像合成部420に供給する。画像合成部420は、対応領域特定部430が特定した対応領域毎に、第1撮像系101により撮像された被写体の画像の第1空間周波数領域における空間周波数成分および第2撮像系102により撮像された被写体の画像の第2空間周波数領域における空間周波数成分を合成することにより、被写体の画像を生成する。これにより、画像合成部420は、いわゆる一視点からの画像、すなわち、視差が実質的に解消された画像を生成することができる。
【0056】
ところで、画像間での対応領域の位置の差または対応点の位置の差は、像ズレ量に対応する。したがって、対応領域特定部430は、特定した対応領域の位置の差または対応点の位置の差、および、第1撮像系101および第2撮像系102のそれぞれの撮像光軸の位置に基づいて、被写体までの距離を画像領域毎に特定することができる。対応領域特定部430は、画像領域毎に特定した被写体までの距離を示す距離情報を、周波数フィルタ部410に供給する。周波数フィルタ部410は、画像領域毎に特定された被写体までの距離に応じて、第1空間周波数領域および第2空間周波数領域を適切に選択する。空間周波数領域の選択については、後述する。
【0057】
なお、上述したように各画像領域の像ズレ量は、第1撮像系101と第2撮像系102との間の離間距離、および、被写体までの距離に相関するので、被写体までの距離が特定されれば、像ズレ量を特定することができる。そして、対応領域は、像ズレ量によって特定される。対応領域特定部430は、上記の対応点マッチングにより対応領域を直接特定することの他、第1撮像系101および第2撮像系102のそれぞれの撮像光軸の位置と測距情報とに基づき、対応領域を特定してよい。測距情報は、例えば撮像装置100が備える外部の測距デバイスから取得してもよい。
【0058】
図5は、周波数フィルタ部410における周波数フィルタ処理の一例を示す。低域フィルタ部411は、第1撮像系101が出力した撮像信号に対して、空間周波数f1に基づいて周波数領域でフィルタ処理を施す。具体的には、低域フィルタ部411は、第1撮像系101が出力した撮像信号を空間周波数領域の信号に変換する。例えば、本図の(a)で示される空間周波数領域の信号が、撮像信号から得られたとする。低域フィルタ部411は、得られた空間周波数領域の信号のうち、空間周波数f1より高い空間周波数領域の信号成分をカットして、空間周波数f1以下の空間周波数領域Aの空間周波数成分を通過させ、画像合成部420に出力する。
【0059】
高域フィルタ部412は、第2撮像系102が出力した撮像信号に対して、空間周波数f1に基づいて周波数領域でフィルタ処理を施す。具体的には、高域フィルタ部412は、第2撮像系102が出力した撮像信号を空間周波数領域の信号に変換する。例えば、本図の(b)で示される空間周波数領域の信号が、撮像信号から得られたとする。高域フィルタ部412は、得られた空間周波数領域の信号のうち、空間周波数f1以下の空間周波数領域の信号成分をカットして、空間周波数f1より高い空間周波数領域Bの空間周波数成分を通過して、画像合成部420に出力する。
【0060】
上述したように、空間周波数f1の値は、物点までの距離または画像領域によって異なる場合がある。したがって、周波数フィルタ部410は、被写体までの距離、または、被写体までの距離および画像領域に応じて、周波数フィルタ処理を制御する。
【0061】
具体的には、周波数フィルタ部410は、被写体までの距離に対応づけて、複数の空間周波数f1の値を予め記憶している。対応領域特定部430から供給された画像領域毎の距離情報に基づいて、空間周波数f1の値を画像領域毎に決定する。例えば、周波数フィルタ部410は、複数の画像領域のそれぞれについて、予め記憶している複数の空間周波数f1のうち、距離情報が示す被写体までの距離に最も近い距離に対応づけられた空間周波数f1の値を、特定する。低域フィルタ部411および高域フィルタ部412は、特定された空間周波数f1の値によって定まる空間周波数領域Aを画像領域毎に選択して、撮像信号に対してフィルタ処理を施す。これにより、物点までの距離に応じて適切に空間周波数領域Aを選択して合成に用いることができる。
【0062】
また、周波数フィルタ部410は、複数の画像領域のそれぞれに対して、被写体までの距離に対応づけて複数の空間周波数f1の値を予め記憶していてよい。そして、周波数フィルタ部410は、画像領域毎の距離情報に基づいて、空間周波数f1の値を画像領域毎に決定する。例えば、周波数フィルタ部410は、複数の画像領域のそれぞれについて、それぞれの画像領域に対して予め記憶している複数の空間周波数f1のうち、被写体までの距離に最も近い距離に対応づけられた空間周波数f1の値を、特定する。低域フィルタ部411および高域フィルタ部412は、特定された空間周波数f1の値によって定まる空間周波数領域Aを画像領域毎に選択して、撮像信号に対してフィルタ処理を施す。これにより、物点までの距離および画像領域に応じて適切に空間周波数f1を選択して合成に用いることができる。
【0063】
図6は、第1撮像系101および第2撮像系102で撮像された画像に対する画像処理の一例を示す。ここでは、撮像装置100から被写体を見た場合に、第1撮像系101は第2撮像系102の右方に位置しているとする。無限遠ではない被写体を撮像した場合、第1撮像系101が撮像した画像610および第2撮像系102が撮像した画像620には、当該被写体の像は互いに異なる画像領域に位置する。
【0064】
上述したように、対応領域特定部430は、対応点マッチング等により、画像610および画像620から、対応領域612および対応領域622を特定する。第1撮像系101が第2撮像系102の右方に位置しているので、対応領域612は、対応領域622よりも左側にズレた位置に存在する。ここで、説明を分かりやすくすべく、対応領域612および対応領域622に撮像された被写体は、第1撮像系101の撮像光軸および第2撮像系102の撮像光軸の中点に存在する被写体であるとする。
【0065】
低域フィルタ部411は、対応領域612の空間周波数成分に対して、空間周波数領域Aを選択的に通過する低域フィルタ614でフィルタリングする。高域フィルタ部412は、対応領域622の空間周波数成分に対して、空間周波数領域Bを選択的に通過する高域フィルタ624でフィルタリングする。
【0066】
画像合成部420は、低域フィルタ614でフィルタリングされた空間周波数成分と、高域フィルタ624でフィルタリングされた空間周波数成分とを対応領域毎に合成することにより、1視点から撮像した場合に得られるべき画像630を生成する。一例として、画像合成部420が第1撮像系101の撮像光軸と第2撮像系102の撮像光軸との中間点を視点とする画像630を生成する場合、画像合成部420は、各対応領域の空間周波数成分を合成した画像信号を、対応領域の中間の領域の画像信号として生成する。具体的には、第1撮像系101の撮像光軸と第2撮像系102の撮像光軸との中点を視点とする画像630を生成する場合、画像合成部420は、対応領域612および対応領域622の空間周波数成分を合成した画像信号を、画像630内の中央の画像領域632の画像信号として生成する。
【0067】
第1撮像系101の撮像光軸と第2撮像系102の撮像光軸との中点を視点とする画像630を生成するのではなく、第1撮像系101および第2撮像系102の一方から撮像した画像を生成してもよい。例えば、第2撮像系102から撮像した画像を生成する場合であれば、画像合成部420は、対応領域612および対応領域622の空間周波数成分を合成した画像信号を、対応領域622の画像信号として生成すればよい。
【0068】
図7は、レンズ配置の他の一例を示す。図1から図6にかけて、第1撮像系101および第2撮像系102はそれぞれ、赤の波長域に属するR光、緑の波長域に属するG光、および、青の波長域に属するB光で被写体を撮像するとした。すなわち、第1撮像系101および第2撮像系102はそれぞれ3色のカラー画像を撮像するとした。
【0069】
本レンズ配置では、第1撮像系101および第2撮像系102は、G光で被写体を撮像する撮像系であるとする。すなわち、低空間周波数用の画像および高空間周波数用の画像を、G光で取得する。そして、R光およびB光で被写体を撮像する第3撮像系がさらに設けられる。本図には、物体側から見たレンズ配置例が示されている。本レンズ配置において、レンズ鏡筒700の内側に、G光用第1レンズ710、G光用第2レンズ720、および、RB光用レンズ730が設けられる。
【0070】
G光用第1レンズ710は、第1光学系115の第1レンズ110を代替する。G光用第2レンズ720は、第2光学系125の第2レンズ120を代替する。第1光学系115および第2光学系125が有する他の光学要素は、本配置例にも適用できる。すなわち、本配置例に係る第1光学系115および第2光学系125は、結像レンズがG光を受光部109に結像する結像特性を持つ点を除いて、図1から図6にかけて説明した第1光学系115および第2光学系125の光学特性と略同一の光学特性を持つ。
【0071】
本レンズ配置によると、G光用第1レンズ710およびG光用第2レンズ720に加えて、R光およびB光を結像するレンズであるRB光用レンズ730がさらに設けられる。RB光用レンズ730の撮像光軸は、G光用第1レンズ710およびG光用第2レンズ720の撮像光軸に対してy方向に離間して設けられる。RB光用レンズ730は、R光およびB光で被写体を撮像する第3撮像系の結像レンズとして機能する。第1光学系115が有する光学要素のうち、第1レンズ110を除く光学要素を、第3撮像系の光学要素としてさらに適用することができる。第3撮像系は、第1光学フィルタ114に対応するアポダイゼーションフィルタを有しなくてもよい。
【0072】
図8は、物体側から見た受光部809の構成の一例を示す。受光部809は、図1から図6に関連して説明した受光部109に対応する。
【0073】
G光用第1受光領域819およびG光用第2受光領域829は、それぞれ第1受光部119および第2受光部129に対応する。第1カラーフィルタアレイ116および第2カラーフィルタアレイ126は、G光を選択的に透過するカラーフィルタで形成される。各カラーフィルタを通過した光を受光する撮像素子は、図1から図6に関連して説明した第1撮像素子アレイ118および第2撮像素子アレイ128と同様の撮像素子が適用される。G光用第1受光領域819およびG光用第2受光領域829は、G光を選択的に受光できればよく、撮像面内で2次元的な波長分離はなされない。撮像面内で波長分離されないことが、本図において点線で模式的に示される。
【0074】
RB光用受光領域839は、第3撮像系の受光部として機能する。RB光用受光領域839は、R光を選択的に透過するカラーフィルタおよびB光を選択的に透過するカラーフィルタが所定のパターンで配置されて形成される。RB光用受光領域839は、複数のカラーフィルタに対応して設けられた複数の撮像素子を含む。RB光用受光領域839は、撮像面内でR光とB光とに波長分離される。撮像面内で2次元的に波長分離されていることが、本図において実線で模式的に示される。
【0075】
本例によると、G光によって、低空間周波数用の画像および高空間周波数用の画像を高解像度で撮像することができる。したがって、広い空間周波数領域にわたりSN比が高いGの画像信号を得ることができる。また、Gの画像信号において解像度を高めることができる。人間の目の視感度は緑の波長域で最も高いので、Gの画像信号に対してSN比および解像度を高めることで、画質を実効的に高めることができる。
【0076】
以上、図1から図8に関連して説明した撮像装置100によると、特定の空間周波数応答を持つ一の撮像系で撮像する場合、または、略同一の空間周波数応答を持つ複数の撮像系で撮像する場合と比較して、SN比が高く解像力の高い画像を提供することができる。また、高い空間周波数領域の画像信号に実質的に寄与する撮像信号は、第2撮像系102の撮像信号である。したがって、第1撮像系101については、高い空間周波数領域において偽解像を許容することができる。一方、低い空間周波数領域の画像信号に実質的に寄与する撮像信号は、第1撮像系101の撮像信号である。したがって、第2撮像系102においては、低い空間周波数領域においてMTFが低くSN比が低くてもよい。撮像装置100によると、複数の撮像系でいわば空間周波数領域を分担することができるので、低域から高域にわたってきちんと解像した画像を提供することができる。
【0077】
上記説明では、説明を分かりやすくすべく、第1光学フィルタ114および第2光学フィルタ124によるアポダイゼーション効果によって、複数の撮像系の間で有効な空間周波数応答を相違させるとした。空間周波数応答は、アポダイゼーション効果の他、結像レンズの有効口径および倍率の少なくとも一方によって異ならせることができる。
【0078】
例えば、第2レンズ120を第1レンズ110より有効口径の大きいレンズとすることで、比較的に高い空間周波数領域における第2撮像系102の応答を、第1レンズ110よりも高めることができる。例えば、第2絞り部122の開口を、第1絞り部112の開口より大きくすることで、第2レンズ120を第1レンズ110より有効口径の大きいレンズとすることができる。特に、第2撮像系102のカットオフ周波数を高域まで延ばすことができる。また、第2レンズ120を第1レンズ110より倍率の大きいレンズとすることで、比較的に高い空間周波数領域における第2撮像系102の実効的な応答を、第1レンズ110よりも高めることができる。このように、複数の撮像系の空間周波数応答を、F値を指標として相違させることができる。
【0079】
また、上記説明では、説明を分かりやすくすべく、第1受光部119が含む複数の撮像素子は、第2受光部129が含む複数の撮像素子と等しいピッチで配列されるとした。そして、第1受光部119が含む複数の撮像素子および第2受光部129が含む複数の撮像素子から、それぞれ撮像信号を読み出すとした。ここで、撮像系全体の空間周波数応答は、受光部による被写体光のサンプリング特性によっても影響される。そこで、各撮像系が担当すべき空間周波数領域に応じて、受光部によるサンプリング特性を異ならせてもよい。
【0080】
例えば、第1撮像系101と第2撮像系102とで、撮像素子の読み出しピッチを異ならせてよい。具体的には、読み出し部140は、第1受光部119が含む複数の撮像素子から、第2受光部129が含む複数の撮像素子に対する読み出しピッチよりも低いピッチで読み出しをする。読み出し部140は、第1受光部119が含む複数の撮像素子から、第2受光部129が含む複数の撮像素子よりも高い間引き率で間引き読み出しをしてよい。
【0081】
他にも、読み出し部140は、読み出しピッチを異ならせるべく、第1受光部119が含む複数の撮像素子に対して、ビニング読み出しをしてよい。例えば、読み出し部140は、第1受光部119が含む複数の撮像素子に対してビニング読み出しをする一方、第2受光部129が含む複数の撮像素子に対してビニング読み出しをしなくともよい。読み出し部140は、第2受光部129が含む複数の撮像素子に対してもビニング読み出しをする場合、ビニング読み出しの一単位とする撮像素子の数を、第1受光部119よりも第2受光部129で多くしてよい。
【0082】
他にも、第1撮像系101と第2撮像系102とで、撮像素子配列のピッチを異ならせてよい。具体的には、第1受光部119が含む複数の撮像素子が、第2受光部129が含む複数の撮像素子より低いピッチで配列されてもよい。
【0083】
第1撮像系101は、比較的に低い第1空間周波数領域を担当するので、第1撮像系101のサンプリング特性を低くしても、第1空間周波数領域での応答が著しく低下することはない。また、サンプリング特性を低くすることで第2空間周波数領域で偽解像が生じたとしても、画像生成部150が生成する画像信号には実質的に影響することはない。一方で、第1撮像系101のサンプリング特性を低くすることで、撮像信号の読み出し速度を高めることができる。
【0084】
また、撮像装置100は、4以上の撮像系を備えることもできる。撮像装置100は、上記のように特定の空間周波数領域と他の空間周波数領域とで応答が相互に異なる2つの撮像系を少なくとも備えればよい。
【0085】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0086】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【0087】
100 撮像装置
101 第1撮像系
102 第2撮像系
109 受光部
110 第1レンズ
112 第1絞り部
114 第1光学フィルタ
115 第1光学系
116 第1カラーフィルタアレイ
118 第1撮像素子アレイ
119 第1受光部
120 第2レンズ
122 第2絞り部
124 第2光学フィルタ
125 第2光学系
126 第2カラーフィルタアレイ
128 第2撮像素子アレイ
129 第2受光部
140 読み出し部
150 画像生成部
180 記録部
210、220 光透過率分布
310、320 MTF
430 対応領域特定部
410 周波数フィルタ部
411 低域フィルタ部
412 高域フィルタ部
420 画像合成部
610、620、630 画像
612、622 対応領域
614 低域フィルタ
624 高域フィルタ
632 画像領域
700 レンズ鏡筒
710 G光用第1レンズ
720 G光用第2レンズ
730 RB光用レンズ
809 受光部
819 G光用第1受光領域
829 G光用第2受光領域
839 RB光用受光領域

【特許請求の範囲】
【請求項1】
第1撮像系と、
第1空間周波数領域での応答が前記第1撮像系より低く、前記第1空間周波数領域より高い第2空間周波数領域での応答が前記第1撮像系より高い第2撮像系と、
前記第1撮像系により撮像された被写体の画像の第1空間周波数領域における空間周波数成分と、前記第2撮像系により撮像された前記被写体の画像の第2空間周波数領域における空間周波数成分とを用いて、前記被写体の画像を生成する画像生成部と
を備える撮像モジュール。
【請求項2】
前記第1撮像系は、第1光学系を有し、
前記第2撮像系は、前記第1空間周波数領域での光学応答が前記第1光学系より低く、前記第2空間周波数での光学応答が前記第1光学系より高い第2光学系を有する
請求項1に記載の撮像モジュール。
【請求項3】
前記第1光学系および前記第2光学系は、それぞれ瞳面で光透過率分布を与える光学フィルタを有し、
前記第1光学系が有する第1光学フィルタは、瞳面の周辺領域よりも中央領域で高い光透過率を持ち、
前記第2光学系が有する第2光学フィルタは、瞳面の中央領域よりも周辺領域において高い光透過率を持つ
請求項2に記載の撮像モジュール。
【請求項4】
前記第1光学系は、第1レンズを有し、
前記第2光学系は、前記第1レンズより有効口径が大きい第2レンズを有する
請求項2または3に記載の撮像モジュール。
【請求項5】
前記第1光学系は、第1レンズを有し、
前記第2光学系は、前記第1レンズより倍率が大きい第2レンズを有する
請求項2または3に記載の撮像モジュール。
【請求項6】
前記第1撮像系は、前記被写体からの光を前記第1光学系を通じて受光する複数の撮像素子を含む第1受光部を有し、
前記第2撮像系は、前記被写体からの光を前記第2光学系を通じて受光する複数の撮像素子を含む第2受光部を有し、
前記第1受光部が含む前記複数の撮像素子は、前記第2受光部が含む前記複数の撮像素子より低いピッチで配列される
請求項2から5のいずれかに記載の撮像モジュール。
【請求項7】
前記第1撮像系は、前記被写体からの光を前記第1光学系を通じて受光する複数の撮像素子を含む第1受光部を有し、
前記第2撮像系は、前記被写体からの光を前記第2光学系を通じて受光する複数の撮像素子を含む第2受光部を有し、
前記撮像モジュールは、
前記第1受光部が含む前記複数の撮像素子から、前記第2受光部が含む前記複数の撮像素子よりも低い読み出しピッチで読み出しする読み出し部
をさらに備える請求項2から5のいずれかに記載の撮像モジュール。
【請求項8】
前記第1受光部および前記第2受光部がそれぞれ有する前記複数の撮像素子は、同一平面上に設けられる
請求項6または7に記載の撮像モジュール。
【請求項9】
前記画像生成部は、
前記第1撮像系および前記第2撮像系のそれぞれの撮像光軸の位置に基づいて、前記第1撮像系と前記第2撮像系とで同一被写体が撮像されるべき画像領域を特定する対応領域特定部と、
前記画像領域毎に、前記第1撮像系により撮像された前記被写体の画像の前記第1空間周波数領域における空間周波数成分および前記第2撮像系により撮像された前記被写体の画像の第2空間周波数領域における空間周波数成分を合成することにより、前記被写体の画像を生成する画像合成部と
を有する請求項1から8のいずれかに記載の撮像モジュール。
【請求項10】
請求項1から9のいずれかに記載の撮像モジュールを備え、前記撮像モジュールにより前記被写体を撮像する撮像装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2012−44443(P2012−44443A)
【公開日】平成24年3月1日(2012.3.1)
【国際特許分類】
【出願番号】特願2010−183919(P2010−183919)
【出願日】平成22年8月19日(2010.8.19)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】