撮像装置、撮像方法およびプログラム
【課題】特定の撮像系でエラーが生じても高画質な画像を提供すること。
【解決手段】撮像装置は、互いに撮像光軸の位置が異なり、それぞれ少なくとも第１波長域の光で被写体を撮像する３以上の撮像系を有する撮像部と、３以上の撮像系により撮像された３以上の画像を比較して、同一被写体が撮像された画像領域で他の複数の画像との差が予め定められた値より大きい少なくとも一つの画像を選択する画像選択部と、３以上の撮像系により撮像された３以上の画像のうち、画像選択部が選択した画像を除く複数の画像を、画像選択部が選択した画像より大きい重みづけで合成して、出力画像を生成する画像合成部とを備える。
【解決手段】撮像装置は、互いに撮像光軸の位置が異なり、それぞれ少なくとも第１波長域の光で被写体を撮像する３以上の撮像系を有する撮像部と、３以上の撮像系により撮像された３以上の画像を比較して、同一被写体が撮像された画像領域で他の複数の画像との差が予め定められた値より大きい少なくとも一つの画像を選択する画像選択部と、３以上の撮像系により撮像された３以上の画像のうち、画像選択部が選択した画像を除く複数の画像を、画像選択部が選択した画像より大きい重みづけで合成して、出力画像を生成する画像合成部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法およびプログラムに関する。
【背景技術】
【０００２】
２つの撮像光学系で撮像センサ出力に差が生じた場合にエラーを出力する技術が知られている（例えば、特許文献１参照。）。また、複数の撮像手段で撮像する技術として、下記特許文献２および特許文献３に記載の技術が知られている。
特許文献１ 特開２００３−２３５０５３号公報
特許文献２ 特表２００７−５２０１０７号公報
特許文献３ 特開２０１０−１５４３１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
複数の撮像光学系を備えても、エラーの有無を検出するだけでは、エラー領域の画像を提供することができない。エラー領域についても、きちんと画像を提供できるだけでなく、より高画質な画像を提供することが望ましい。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の一態様においては、撮像装置であって、互いに撮像光軸の位置が異なり、それぞれ少なくとも第１波長域の光で被写体を撮像する３以上の撮像系を有する撮像部と、３以上の撮像系により撮像された３以上の画像を比較して、同一被写体が撮像された画像領域で他の複数の画像との差が予め定められた値より大きい少なくとも一つの画像を選択する画像選択部と、３以上の撮像系により撮像された３以上の画像のうち、画像選択部が選択した画像を除く複数の画像を、画像選択部が選択した画像より大きい重みづけで合成して、出力画像を生成する画像合成部とを備える。
【０００５】
画像合成部は、３以上の撮像系により撮像された３以上の画像のうち、画像選択部が選択した画像を除く複数の画像を合成して、出力画像を生成してよい。
【０００６】
画像選択部は、３以上の画像を複数の画像領域毎に比較して、少なくとも一つの画像を複数の画像領域毎に選択し、画像合成部は、画像選択部が選択した画像を除く複数の画像を、複数の画像領域毎に合成して、出力画像を生成してよい。
【０００７】
撮像部は、第１波長域とは異なる波長域の光で被写体を撮像する撮像系をさらに有してよい。第１波長域は、Ｇの波長域であり、撮像部は、Ｒの波長域の光で被写体を撮像する撮像系、および、Ｂの波長域の光で被写体を撮像する撮像系を有してよい。
【０００８】
撮像部は、第１波長域の光で被写体を撮像する３以上の第１撮像系と、第２波長域の光で被写体を撮像する３以上の第２撮像系と、第３波長域の光で被写体を撮像する３以上の第３撮像系とを有し、画像選択部は、撮像部が有する同一の波長域の光で被写体を撮像する３以上の撮像系毎に、少なくとも一つの画像を選択し、画像合成部は、撮像部が有する同一の波長域の光で被写体を撮像する３以上の撮像系毎に、画像選択部が選択した画像を除く複数の画像を合成することにより、第１波長域、第２波長域および第３波長域のそれぞれの光による３の出力画像を生成してよい。
【０００９】
３以上の撮像系は、それぞれ時間的に連続して撮像し、画像選択部は、同一の撮像系が連続して撮像した複数の画像のそれぞれにおいて、他の複数の画像との差が予め定められた値より大きい場合に、当該撮像系が連続して撮像した複数の画像を選択してよい。
【００１０】
３以上の撮像系は、それぞれ互いに異なる結像特性を有する光学系をそれぞれ有してよい。
【００１１】
画像合成部は、３以上の撮像系で撮像された画像の明るさが予め定められた値以下である場合に、画像選択部が選択した画像を除く複数の画像を合成してよい。
【００１２】
撮像部は、同一基板上に形成された複数の受光素子を有し、撮像部が有する撮像系は、基板上の対応する領域に形成された複数の受光素子で被写体を撮像してよい。
【００１３】
３以上の撮像系がそれぞれ撮像した３以上の画像に対して被写体像の位置合わせをする補正を施す位置補正部をさらに備え、画像選択部は、位置補正部により補正された３以上の画像を比較して、少なくとも一つの画像を選択し、画像合成部は、位置補正部により補正された３以上の画像のうち、画像選択部が選択した画像を除く複数の画像を合成して、出力画像を生成してよい。
【００１４】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【００１５】
【図１】撮像装置１００のブロック構成の一例を模式的に示す図である。
【図２】撮像装置１００が備えるレンズ部の一例を模式的に示す図である。
【図３】撮像モジュールのブロック構成の一例を模式的に示す図である。
【図４】Ｇ成分出力画像の生成処理の一例を模式的に示す図である。
【図５】画像選択部３３０が画像の比較に用いる情報の一例を示す図である。
【図６】連続して撮像した画像に対する処理の一例を模式的に示す図である。
【図７】画像信号生成部１７０における処理フローの一例を示す図である。
【図８】画像合成部３４０における合成処理の一例を模式的に示す図である。
【図９】画像合成部３４０における合成処理の他の一例を模式的に示す図である。
【図１０】レンズ部の他の一例を模式的に示す図である。
【発明を実施するための形態】
【００１６】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１７】
図１は、撮像装置１００のブロック構成の一例を模式的に示す。本実施形態に係る撮像装置１００は、画像内のエラー領域についてもきちんと画像を提供すること、望ましくは、より高画質な画像を提供することを目的とする。撮像装置１００は、撮像部１６０、画像信号生成部１７０、および、記録部１８０を備える。撮像部１６０は、複数の第１撮像系１０１ａ〜ｃ、第２撮像系１０２、第３撮像系１０３を有する。複数の第１撮像系１０１ａ〜ｃを、第１撮像系１０１と総称する場合がある。第１撮像系１０１、第２撮像系１０２、第３撮像系１０３、および、画像信号生成部１７０は、撮像装置１００に組み込まれる撮像モジュールとして機能してよい。
【００１８】
第１撮像系１０１ａ〜ｃは、緑に属する波長域の光であるＧ光で被写体を撮像する。第２撮像系１０２は、赤に属する波長域の光であるＲ光で被写体を撮像する。第３撮像系１０３は、青に属する波長域の光であるＢ光で被写体を撮像する。Ｇ光は、第１波長域の一例とする。このように、撮像部１６０は、互いに撮像光軸の位置が異なり、それぞれ少なくとも第１波長域の光で被写体を撮像する３の第１撮像系１０１と、第１波長域とは異なる波長域の光で被写体を撮像する、第２撮像系１０２および第３撮像系１０３とを有する。
【００１９】
第１撮像系１０１ａ〜ｃは、それぞれ同様の機能を持つ光学要素を有するので、ここでは第１撮像系１０１ａが有する光学要素について説明する。第１撮像系１０１ａは、第１光学系１１５ａおよび第１受光部１１９ａを有する。第１光学系１１５ａは、被写体光を結像する第１レンズ１１０ａ、および、第１光学系１１５ａを通過する光の量を調整する第１絞り部１１２ａを持つ。第１受光部１１９ａは、被写第１レンズ１１０ａにより結像された被写体光のうちＧ光を受光して、被写体を撮像する。第１撮像系１０１ａ〜ｃが有する各光学要素は、各光学要素が属する第１撮像系１０１の符号の添え字により区別する。
【００２０】
第２撮像系１０２および第３撮像系１０３も、第１撮像系１０１ａが有する光学要素と類似の機能を持つ光学要素を持つ。具体的には、第２撮像系１０２は、第２光学系１２５および第２受光部１２９を有する。第２光学系１２５は、第２レンズ１２０および第２絞り部１２２を持つ。第３撮像系１０３は、第３光学系１３５および第３受光部１３９を有する。第３光学系１３５は、第３レンズ１３０および第３絞り部１３２を持つ。第２レンズ１２０および第３レンズ１３０は、第１レンズ１１０に対応する光学要素であり、第２絞り部１２２および第３絞り部１３２は、第１絞り部１１２に対応する光学要素である。第２光学系１２５及び第３光学系１３５は、それぞれ赤に属する波長域および青に属する波長域に対して光学設計されている点を除き、第１光学系１１５と略同様の機能を持つ。
【００２１】
第２受光部１２９および第３受光部１３９は、第１受光部１１９に対応する光学要素である。第２受光部１２９および第３受光部１３９は、それぞれＲ光およびＢ光で被写体を撮像する点を除き、第１受光部１１９と略同様の機能を持つ。
【００２２】
このように、第１撮像系１０１、第２撮像系１０２および第３撮像系１０３は、同一の被写体を互いに異なる波長域の光で撮像する。第１撮像系１０１、第２撮像系１０２および第３撮像系１０３は、それぞれ被写体を撮像して、撮像画像を示す撮像信号を生成する。画像信号生成部１７０は、第１撮像系１０１、第２撮像系１０２および第３撮像系１０３から、それぞれ撮像信号を取得する。画像信号生成部１７０は、取得した撮像信号から１つの出力画像を示す画像信号を生成する。例えば、画像信号生成部１７０は、取得した撮像信号を色合成して、１つの出力画像を示す画像信号を生成する。
【００２３】
撮像装置１００は、Ｇ光で撮像する撮像系を３つ備える。画像信号生成部１７０は、当該３つの撮像系、すなわち第１撮像系１０１ａ、第１撮像系１０１ｂ、第１撮像系１０１ｃからの撮像信号を比較する。一例として、第１撮像系１０１ｂの第１レンズ１１０ｂが、異物が付着するなどして汚れたとする。この場合、汚れの影響により、第１撮像系１０１ｂからの撮像信号は、第１撮像系１０１ａからの撮像信号および第１撮像系１０１ｃからの撮像信号とは異なる信号となる。
【００２４】
画像信号生成部１７０は、第１撮像系１０１ｂからの撮像信号が、第１撮像系１０１ａおよび第１撮像系１０１ｃからの撮像信号と実質的に差があり、第１撮像系１０１ａからの撮像信号および第１撮像系１０１ｃからの撮像信号に実質的に差がない場合、第１撮像系１０１ａからの撮像信号および第１撮像系１０１ｃからの撮像信号を用いて、Ｇ成分の画像信号を生成する。そして、画像信号生成部１７０は、生成したＧ成分の画像信号を、第２撮像系１０２からの撮像信号および第３撮像系１０３からの撮像信号と色合成して、１つの出力画像を示す画像信号を生成する。このため、画像信号生成部１７０は、第１レンズ１１０ｂに汚れが付着した場合でも、汚れの影響で出力画像のカラーバランスにくずれが生じる確率を、低減することができる。
【００２５】
記録部１８０は、画像信号生成部１７０が生成した画像信号を記録する。記録部１８０は、画像信号生成部１７０から供給された画像信号が示す画像を、不揮発性メモリに記録してよい。当該不揮発性メモリは、記録部１８０が有してよい。また、当該不揮発性メモリは、撮像装置１００に対して着脱可能に設けられた外部メモリであってよい。記録部１８０は、撮像装置１００の外部に画像を出力してもよい。
【００２６】
撮像装置１００は、カメラ機能付きの携帯電話、デジタルカメラなどの撮像機器であってよい。第１撮像系１０１、第２撮像系１０２、第３撮像系１０３および画像信号生成部１７０を有する撮像モジュールは、これらの撮像機器用のカメラモジュールとして提供することができる。
【００２７】
図２は、撮像装置１００が備えるレンズ部の一例を模式的に示す。レンズ部は、複数の第１レンズ１１０ａ〜ｃ、第２レンズ１２０、第３レンズ１３０、および、レンズ鏡筒２００を有する。本図には、各レンズの中央部分に、それぞれの撮像系が撮像に利用する光の波長域をＲ、Ｇ、Ｂで示されている。本図は、物体側からレンズ部を見た場合の第１レンズ１１０、第２レンズ１２０、および、第３レンズ１３０の位置を示す。第１レンズ１１０ａは、レンズ鏡筒２００の中心に設けられる。第１レンズ１１０ｂ、第１レンズ１１０ｃ、第２レンズ１２０、および、第３レンズ１３０は、第１レンズ１１０ａの周囲に設けられる。
【００２８】
第１レンズ１１０ａ〜ｃ、第２レンズ１２０、および、第３レンズ１３０は、光軸が互いに離間して設けられる。具体的には、第１レンズ１１０ａ、第１レンズ１１０ｂ、および、第１レンズ１１０ｃは、ｘ方向に離間して設けられる。第２レンズ１２０および第３レンズ１３０は、光軸がｙ方向に離間して設けられる。
【００２９】
第１レンズ１１０、第２レンズ１２０、および、第３レンズ１３０の光軸は、互いに平行であるとする。すなわち、第１撮像系１０１、第２撮像系１０２、および、第３撮像系１０３の撮像光軸は、互いに平行であり、各撮像系は、撮像光軸に垂直な面内で、互いに撮像光軸の位置を異ならせて設けられることとなる。
【００３０】
図３は、撮像装置１００が有する撮像モジュールのブロック構成の一例を模式的に示す。ここでは、第１撮像系１０１、第２撮像系１０２、第３撮像系１０３のブロック構成が、画像信号生成部１７０のブロック構成とともに示される。本図の第１撮像系１０１、第２撮像系１０２、および、第３撮像系１０３のブロック構成は、第１レンズ１１０、第２レンズ１２０、および、第３レンズ１３０の光軸を含む面で切断した模式断面図とする。
【００３１】
画像信号生成部１７０は、読み出し部３１０、位置補正部３２０、画像選択部３３０、および、画像合成部３４０を有する。第１撮像系１０１が有する第１受光部１１９、第２撮像系１０２が有する第２受光部１２９、および、第３撮像系１０３が有する第３受光部１３９は、受光部３０９として一体に設けられる。
【００３２】
第１受光部１１９ａは、第１カラーフィルタアレイ１１６ａおよび第１受光素子アレイ１１８ａを含む。第２受光部１２９は、第２カラーフィルタアレイ１２６および第２受光素子アレイ１２８を含む。第３受光部１３９は、第３カラーフィルタアレイ１３６および第３受光素子アレイ１３８を含む。
【００３３】
第１撮像系１０１ａが持つ光学構成について説明する。第１レンズ１１０ａは、結像レンズである。第１光学系１１５ａを通過する光は、第１絞り部１１２ａの開口部を通過するものに制限される。
【００３４】
第１カラーフィルタアレイ１１６ａは、緑の波長域の光を選択的に透過する複数のカラーフィルタを含む。第１受光素子アレイ１１８ａは、被写体からの光を第１光学系１１５ａを通じて受光する複数の受光素子を含む。第１受光素子アレイ１１８ａが含む複数の受光素子は、第１カラーフィルタアレイ１１６ａが含む複数のカラーフィルタに対応して設けられる。各受光素子は、第１カラーフィルタアレイ１１６ａに入射した被写体光のうち、対応するカラーフィルタを透過した光を受光する。各受光素子は、受光した光の量に応じた強度の撮像信号を出力する。このように、第１受光素子アレイ１１８ａは、第１レンズ１１０ａにより結像された被写体光により撮像する複数の受光素子を有する。
【００３５】
ここでは、第１撮像系１０１ｂが有する第１受光部１１９ｂ、および、第１撮像系１０１ｃが有する第１受光部１１９ｃは、第１受光部１１９ａと同様の光学構成を有する。第１受光部１１９ｂおよび第１受光部１１９ｃも、受光部３０９として一体に設けられる。このため、説明を省略する。
【００３６】
第２撮像系１０２および第３撮像系１０３が持つ光学構成について説明する。第２レンズ１２０は、結像レンズである。第２光学系１２５を通過する光は、第２絞り部１２２の開口部を通過するものに制限される。第３レンズ１３０は、結像レンズである。第３光学系１３５を通過する光は、第３絞り部１３２の開口部を通過するものに制限される。
【００３７】
第２カラーフィルタアレイ１２６は、赤の波長域の光を選択的に透過する複数のカラーフィルタを含む。第３カラーフィルタアレイ１３６は、青の波長域の光を選択的に透過する複数のカラーフィルタを含む。
【００３８】
第２受光素子アレイ１２８は、第２カラーフィルタアレイ１２６を通じて被写体光を受光する点を除いて、第１受光素子アレイ１１８と略同一の光学構成を持つので、説明を省略する。同様に、第３受光素子アレイ１３８は、第３カラーフィルタアレイ１３６を通じて被写体光を受光する点を除いて、第１受光素子アレイ１１８と略同一の光学構成を持つので、説明を省略する。
【００３９】
受光部３０９の光学構成について説明する。第１受光部１１９、第２受光部１２９および第３受光部１３９がそれぞれ有する複数の受光素子は、同一平面上に設けられる。例えば、第１受光素子アレイ１１８が有する複数の受光素子、第２受光素子アレイ１２８が有する複数の受光素子、および、第３受光素子アレイ１３８が有する複数の受光素子は、同一基板上に形成される。例えば、各受光素子は、同一プロセスで同一基板の一面に同時に形成される。また、第１カラーフィルタアレイ１１６、第２カラーフィルタアレイ１２６、および、第３カラーフィルタアレイ１３６が有する複数のカラーフィルタも、対応する受光素子の上部に同一プロセスで同時に形成される。これにより、第１受光部１１９、第２受光部１２９および第３受光部１３９を一体に含む１つの受光部３０９が製造される。第１受光部１１９の撮像面、第２受光部１２９の撮像面、および第３受光部１３９の撮像面は、当該受光部３０９が持つ撮像面の部分領域となる。このように、撮像部１６０は、同一基板上に形成された複数の受光素子を有する。そして、撮像部１６０が有する撮像系は、基板上の対応する領域に形成された複数の受光素子で被写体を撮像する。なお、第１受光部１１９、第２受光部１２９、および、第３受光部１３９は、互いに別個に製造して組み付けられてもよい。
【００４０】
各撮像系が備える複数の受光素子は実質的に同時に露光される。各受光素子が露光されると、読み出し部３１０は、当該複数の受光素子から、撮像信号を読み出す。読み出し部３１０は、複数の受光素子と同一基板上に形成された読み出し回路を有してよい。当該読み出し回路は、各撮像系に対して１つ設けられ、１つの読み出し回路が、各撮像系が備える複数の受光素子から、撮像信号を順次に読み出してよい。なお、当該読み出し回路は、各撮像系に対してそれぞれ別個に設けられてもよい。
【００４１】
各撮像系が備える複数の受光素子は、ＭＯＳ型撮像素子を形成してよい。各受光素子が同一プロセスで同一基板の一面に形成されＭＯＳ型撮像素子として実装されている場合、読み出し部３１０は、各撮像系が備える光学系毎に、部分的に読み出しをすることができる。各撮像系が含む複数の受光素子は、ＭＯＳ型撮像素子の他、ＣＣＤ型撮像素子などの固体撮像素子として実装されてよい。
【００４２】
読み出し部３１０が各撮像系が備える受光素子から読み出した撮像信号は、位置補正部３２０に供給される。位置補正部３２０は、各撮像系がそれぞれ撮像した画像に対して被写体像の位置合わせをする補正を施す。一例として、位置補正部３２０は、対応点マッチング等の画像解析によって各画像間の対応点を検出して、対応点を位置合わせする補正を、各撮像系がそれぞれ撮像した画像に対して施してよい。このように、位置補正部３２０は、３以上の撮像系がそれぞれ撮像した３以上の画像に対して被写体像の位置合わせをする補正を施す。
【００４３】
位置補正部３２０により補正された画像は、画像選択部３３０および画像合成部３４０に供給される。画像選択部３３０は、第１撮像系１０１ａ〜ｃで撮像された画像を比較して、同一被写体が撮像された画像領域で他の２つの画像との差が予め定められた値より大きい画像が存在するか否かを判断する。画像選択部３３０は、複数の画素から形成されるブロックのボケ量またはエッジ量の差、当該ブロックの平均輝度の差等を、画像の差として検出してよい。画像選択部３３０は、他の２つの画像との差が予め定められた値より大きい画像が存在すると判断した場合、当該画像を特定する情報を画像合成部３４０に供給する。このように、画像選択部３３０は、３以上の撮像系により撮像された３以上の画像を比較して、同一被写体が撮像された画像領域で他の複数の画像との差が予め定められた値より大きい少なくとも一つの画像を選択する。具体的には、画像選択部３３０は、位置補正部３２０により補正された３以上の画像を比較して、少なくとも一つの画像を選択する。
【００４４】
画像合成部３４０は、各撮像系から読み出された画像を合成して、１つの出力画像を示す画像信号を生成する。このとき、画像合成部３４０は、第１レンズ１１０ａ〜ｃで撮像された画像のうち、画像選択部３３０が選択した画像を除く２つの画像を合成して、Ｇ光による画像を示すＧ成分出力画像を生成する。そして、画像合成部３４０は、生成したＧ成分出力画像を、第２撮像系１０２で撮像された画像および第３撮像系１０３で撮像された画像と合成して、１つの出力画像を生成する。このように、画像合成部３４０は、３以上の撮像系により撮像された３以上の画像のうち、画像選択部３３０が選択した画像を除く複数の画像を、画像選択部３３０が選択した画像より大きい重みづけで合成して、出力画像を生成する。具体的には、画像合成部３４０は、位置補正部３２０により補正された３以上の画像のうち、画像選択部３３０が選択した画像を除く複数の画像を合成して、出力画像を生成する。
【００４５】
撮像装置１００によると、第１撮像系１０１で撮像された画像のうち２つ以上の画像の間で差が実質的に検出されなかった場合には、当該２つ以上の画像を用いてＧ成分出力画像を生成することができる。このため、第１レンズ１１０ａ〜ｃのいずれかに汚れが付着した場合でも、汚れの影響を受けた画像を高い確率で特定でき、Ｇ成分出力画像の生成処理から除外することができる。このため、Ｇ成分出力画像が汚れの影響を受ける確率を低減することができる。また、２つ以上の画像を合成することができるので、高画質のＧ成分出力画像を提供することができる。
【００４６】
図４は、Ｇ成分出力画像の生成処理の一例を模式的に示す。Ｇ成分画像４００ａ、Ｇ成分画像４００ｂ、および、Ｇ成分画像４００ｃは、それぞれ第１撮像系１０１ａ、第１撮像系１０１ｂ、および、第１撮像系１０１ｃによって撮像された画像とする。Ｇ成分画像４００ｂ内の画像領域４０２ｂは、第１レンズ１１０ｂに汚れが付着したことにより生じた汚れ像を含む。
【００４７】
Ｇ成分画像４００ａ内の画像領域４０２ａ、および、Ｇ成分画像４００ｃ内の画像領域４０２ｃは、画像領域４０２ｂに撮像された被写体と同一の被写体が撮像された領域とする。画像領域４０２ａおよび画像領域４０２ｃには、同一の被写体が撮像されているので、位置補正部３２０によって対応点を特定することができる。Ｇ成分画像４００ａとＧ成分画像４００ｃとの間で対応点の位置ズレ量が特定できれば、当該位置ズレ量、および、第１レンズ１１０ａ〜ｃの光軸の位置に基づき、Ｇ成分画像４００ｂ内の対応点を特定することができる。したがって、位置補正部３２０は、画像領域４０２ａおよび画像領域４０２ｃの位置ズレ量、および、第１レンズ１１０ａ〜ｃの光軸の位置に基づいて、画像領域４０２ａおよび画像領域４０２ｃと同一被写体が撮像されているべき画像領域４０２ｂを特定することができる。
【００４８】
画像合成部３４０は、Ｇ成分画像４００ａ〜ｃを用いてＧ成分出力画像４１０を生成する。このとき、画像合成部３４０は、画像領域４０２ａおよび画像領域４０２ｃを合成して、Ｇ成分出力画像４１０内の画像領域４１２の画像を生成する。一方、画像合成部３４０は、Ｇ成分出力画像４１０内の画像領域４１２以外の画像領域の画像を、Ｇ成分画像４００ａ内の画像領域４０２ａ以外の画像領域、Ｇ成分画像４００ｂの画像領域４０２ｂ以外の画像領域、および、Ｇ成分画像４００ｃの画像領域４０２ｃ以外の画像領域を合成することにより、生成する。
【００４９】
撮像装置１００によれば、第１レンズ１１０ｂに付着した汚れの影響を含む画像領域４０２ｂを除外して、Ｇ成分出力画像４１０を生成することができる。このため、Ｇ成分出力画像４１０に汚れの影響が混入することを未然に防ぐことができる。また、画像領域４１２以外の画像領域を、第１撮像系１０１ａ〜ｃが撮像した画像を合成して生成することができる。画像領域４１２についても、第１撮像系１０１ａおよび第１撮像系１０１ｃが撮像した画像を合成して生成することができる。このため、撮像装置１００によると、汚れが付着した領域についても複数の画像を合成することができ、その領域の画質を高めることができる。
【００５０】
図５は、画像選択部３３０が画像の比較に用いる情報の一例を示す。画像選択部３３０は、各撮像系で撮像された画像からそれぞれ空間周波数成分を抽出して、抽出した空間周波数成分を比較する。画像選択部３３０は、それぞれ複数の画素から形成される複数の画素ブロックのからそれぞれ空間周波数成分を抽出して、画素ブロック毎に比較する。なお、画像選択部３３０は、画素ブロックの平均輝度値で空間周波数成分を規格化してよい。例えば、画像選択部３３０は、空間周波数０の空間周波数成分で各空間周波数成分を規格化した値を用いて、画素ブロック毎に比較してよい。
【００５１】
画像領域４０２ａ、画像領域４０２ｂおよび画像領域４０２ｃからそれぞれ抽出された空間周波数成分の信号強度を、それぞれ本図のＡ、ＢおよびＣに模式的に示す。ここではｘ方向の空間周波数成分を一例として示す。本図のＡおよびＣの間では、各空間周波数において信号強度に実質的な差はない。一方、第１レンズ１１０ｂに付着した汚れの像は、ボケ像となる。このため、本図のＢに示されるように、比較的に低い空間周波数では、他の画像と信号強度の差は小さいものの、比較的に高い空間周波数での信号強度は、他の画像の信号強度よりも小さくなる。このため、画像選択部３３０は、本信号強度の差に基づき、画像領域４０２ｂを合成から除外すべき画像領域として選択する。
【００５２】
例えば、画像選択部３３０は、空間周波数成分の信号強度の差を比較する。具体的には、ある一の画像と他の複数の画像とを比較する場合、画像選択部３３０は、他の画像にわたる信号強度の平均値を、空間周波数毎に算出する。そして、画像選択部３３０は、当該平均値との間の信号強度の差を、空間周波数毎に算出して、算出した差を空間周波数にわたり加算する。画像選択部３３０は、当該加算値を各画像について算出して、算出した加算値の絶対値が最も大きい画像を、合成から除外すべき画像として選択する。
【００５３】
画像選択部３３０は、当該加算値を算出する場合に、空間周波数に応じて予め定められた重みづけで重みづけ加算をしてもよい。例えば、画像選択部３３０は、より高い空間周波数に、より大きい重みづけを設定して、加算してよい。予め定められた空間周波数より低い空間周波数の重みづけを０として、予め定められた空間周波数以上の空間周波数の重みづけを０より大きい値としてよい。なお、他の画像にわたる信号強度の平均値を算出するとしたが、全画像にわたる信号強度の平均値を算出するとしてもよい。
【００５４】
このように、画像選択部３３０が空間周波数領域で画像を比較するので、第１レンズ１１０に付着した汚れの影響を受けた画像を適切に選択することができる。また、画素単位ではなく一定の面積を持つ画素ブロック単位で画像の差を判断するので、画素単位で画素値の差を判定する場合と比較して、汚れ等の影響の有無を安定的に判断することができる。また、画像選択部３３０が、平均輝度で空間周波数成分を規格化して比較することで、第１レンズ１１０の明るさの違いを適切に補正して比較することができる。
【００５５】
ここでは空間周波数領域でＧ成分画像を比較するとしたが、種々の種類の指標に基づきＧ成分画像を比較することができる。例えば、画像選択部３３０は、Ｇ成分画像のエッジ量に基づき比較してよい。エッジ量としては、画素値の１次微分値または２次微分値などの濃度勾配特性を例示することができる。画像選択部３３０は、ブロック内で画素値の平均値を算出して、当該平均値の差に基づき、比較してもよい。
【００５６】
図３および図４では、分かり易く説明すべく、１つの画像領域４０２に対する画像選択部３３０および画像合成部３４０の処理を例示した。画像選択部３３０は、複数の画像領域毎に、異なるＧ成分画像を選択することができる。そして、画像合成部３４０は、複数の画像領域毎に、選択されたＧ成分画像を除く複数のＧ成分画像を合成することができる。これにより、異なるレンズの異なる場所に汚れが付着した場合でも、合成すべきＧ成分画像を適切に選択することができる。このように、画像選択部３３０は、３以上の撮像系で撮像された３以上の画像を複数の画像領域毎に比較して、少なくとも一つの画像を、複数の画像領域毎に選択する。そして、画像合成部３４０は、画像選択部３３０が選択した画像を除く複数の画像を、複数の画像領域毎に合成して、出力画像を生成する。
【００５７】
図６は、連続して撮像した画像に対する画像信号生成部１７０の処理の一例を模式的に示す。画像選択部３３０は、他の画像との間に差が生じた状態が予め定められた時間長さより長い期間にわたって継続したことを条件として、差が生じた画像を、合成から除外すべき画像として選択する。他の画像との間に差が生じた状態が予め定められた時間長さ継続するまでの間は、画像選択部３３０は、合成の重みづけを他の画像よりも小さくすべき画像として選択する。
【００５８】
本図において、Ｇ成分画像６００ａ〜ｃは、それぞれ第１撮像系１０１ａ〜ｃが時刻ｔ０で撮像した画像とする。Ｇ成分画像６００ａ〜ｃには、第１撮像系１０１ａ〜ｃの間で画像の差が実質的に存在しない。このため、いずれの画像も除外画像として選択されることはない。画像合成部３４０は、全画像領域にわたってＧ成分画像６００ａ〜ｃを加算してＧ成分出力画像６０５を生成する。
【００５９】
第１撮像系１０１ａ〜ｃは、時刻ｔ０から予め定められた期間が経過した時刻ｔ１０で撮像して、Ｇ成分画像６１０ａ〜ｃを生成する。Ｇ成分画像６１０ｂには、第１レンズ１１０に付着した汚れの像である汚れ像６１２が含まれる。画像選択部３３０は、Ｇ成分画像６１０ｂを、汚れ像６１２の画像領域において合成の重みづけを他の画像より低くすべき画像として選択する。画像合成部３４０は、汚れ像６１２以外の画像領域については、各画像の重みづけを予め定められた等しい値に設定する。一方、画像合成部３４０は、汚れ像６１２の画像領域については、Ｇ成分画像６１０ｂの重みづけを小さく設定する。例えば重みづけを、他の画像に対する重みづけの半分とする。これにより、画像領域６１７で第１レンズ１１０ｂの汚れの影響を多少含むＧ成分出力画像６１５が生成される。
【００６０】
その後、第１撮像系１０１ａ〜ｃは、予め定められた時間間隔で連続的に撮像していき、時刻ｔ２０でそれぞれＧ成分画像６２０ａ〜ｃを撮像する。Ｇ成分画像６１０ｂには、第１レンズ１１０に付着した汚れの像である汚れ像６２２が含まれる。なお、時刻ｔ１０〜ｔ２０の間に第１撮像系１０１ｂが撮像したＧ成分画像のいずれにも、汚れ像が含まれていたとする。しかし、時刻ｔ１０〜時刻ｔ２０の期間は予め定められた時間長さより短い期間であるので、画像選択部３３０は、時刻ｔ１０と同様、Ｇ成分画像６２０ｂを、合成の重みづけを他の画像より低くすべき画像として選択する。このため、画像合成部３４０は、時刻ｔ１０で得られた画像に対する重みづけと同様の重みづけで合成することにより、Ｇ成分出力画像６２５を生成する。
【００６１】
Ｇ成分出力画像６１５の画像領域６１７、および、Ｇ成分出力画像６２５の画像領域６２７には、第１レンズ１１０ｂの汚れの影響を多少含む。しかしながら、第１撮像系１０１ａおよび第１撮像系１０１ｃで得られた２つの画像には汚れの影響が含まれておらず、かつ、第２撮像系１０２ｂが撮像した画像は小さい重みづけで合成処理される。このため、Ｇ成分出力画像６１５および６２５における汚れの影響は、単眼で撮像した場合と比較すれば極めて小さい。
【００６２】
次に、第１撮像系１０１ａ〜ｃは、時刻ｔ２０から予め定められた期間が経過した時刻ｔ３０で撮像して、Ｇ成分画像６３０ａ〜ｃを生成する。Ｇ成分画像６３０ｂには、第１レンズ１１０に付着した汚れの像である汚れ像６３２が含まれる。ここで、時刻ｔ１０〜時刻ｔ３０の期間は、予め定められた時間長さより長い期間とする。この場合、他の画像との間に差が生じた状態が予め定められた時間長さより長い期間にわたって継続したことになるので、画像選択部３３０は、Ｇ成分画像６３０ｂの汚れ像６３２の画像領域を、合成から除外すべき画像として選択する。つまり、画像合成部３４０は、汚れ像６２２以外の画像領域については、各画像の重みづけを予め定められた等しい値に設定する。一方、画像合成部３４０は、汚れ像６３２の画像領域については、Ｇ成分画像６１０ｂの重みづけを０とする。これにより、汚れ像６３２に対応する画像領域でも、第１レンズ１１０ｂの汚れの影響を含まないＧ成分出力画像６３５を生成することができる。
【００６３】
このように、３以上の第１撮像系１０１は、それぞれ時間的に連続して撮像する。そして、画像選択部３３０は、同一の撮像系が連続して撮像した複数の画像のそれぞれにおいて、他の複数の画像との差が予め定められた値より大きい場合に、当該撮像系が連続して撮像した複数の画像を選択する。そして、画像合成部３４０は、３以上の第１撮像系１０１により撮像された３以上の画像のうち、画像選択部３３０が選択した画像を除く複数の画像を合成して、出力画像を生成する。
【００６４】
このように、撮像装置１００は、他の画像との間に差が生じた状態が予め定められた期間にわたって継続したことを条件として、他の画像との間で差が生じたＧ成分画像を、合成処理から除外することができる。このため、汚れ等の影響ではない一時的な画素変動によって、合成処理から除外される画像が頻繁に切り替わってしまうことを未然に防ぐことができる。また、撮像装置１００は、他の画像との間に差が生じた状態が予め定められた時間長さに達するまでは、重みづけを低減させる。このため、第１レンズ１１０ｂに本当に汚れ等が付着した場合であっても、汚れの影響がＧ成分出力画像に顕著に表れてしまうことを未然に防ぐことができる。また、汚れの影響がいきなりなくなってしまうことがないので、比較的に見易いＧ成分出力画像を提供することができる。
【００６５】
図７は、画像信号生成部１７０における処理フローの一例を示す。Ｓ７１０において、位置補正部３２０は、第１撮像系１０１ａ〜ｃが撮像したＧ成分画像のうち、対応点が明確なＧ成分画像の組を選択する。例えば図４において、画像領域４０２ｂには汚れ像が含まれるが、画像領域４０２ａおよび画像領域４０２ｃには汚れ像は含まれていないので、画像領域４０２ａおよび画像領域４０２ｃの対応点は明確であるといえる。対応点が明確であるか否かは、画素値の差に基づいて特定してよい。また、位置補正部３２０は、任意の組のＧ成分画像の間で対応点マッチングを行い、最も小さい誤差が得られたＧ成分画像の組を、対応点が明確なＧ成分画像の組として選択してもよい。
【００６６】
Ｓ７１２において位置補正部３２０は、Ｓ７１０で選択したＧ成分画像の組から検出した対応点を揃えることにより、被写体像の位置合わせを施す。また、Ｓ７１０で選択されなかったＧ成分画像についても、Ｓ７１０で選択したＧ成分画像の組から検出した対応点の位置の差と、第１レンズ１１０の間の光軸位置の差とに基づいて、他のＧ成分画像と被写体像の位置合わせをすることができる。Ｓ７１０では対応点が明確なＧ成分画像の組から対応点マッチングをするので、１つの第１レンズ１１０に汚れが付着していた場合でも、高い精度で対応点を検出することができる。
【００６７】
Ｓ７１４において画像選択部３３０は、第１撮像系１０１が撮像した複数のＧ成分画像を比較する。画像選択部３３０は、図５等に関連して説明した処理によりＧ成分画像を比較することができる。Ｓ７１６において、画像選択部３３０は、予め定められた値以上の画像差があるか否かを判断する。なお、Ｓ７１６では、予め定められた値以上の画像差があるか否かを、画像領域毎に判断する。本図のＳ７１６からＳ７４０の処理は、特に言及しないが画像領域毎にそれぞれ行うとする。
【００６８】
Ｓ７１６において予め定められた値以上の画像差がないと判断された場合、画像選択部３３０は、合成処理から除外すべきＧ成分画像がない旨を、画像合成部３４０に通知する。そして、Ｓ７３０において、画像合成部３４０は、十分な明るさで撮像されているか否かを判断すべく、第１撮像系１０１ａ〜ｃが撮像したＧ成分画像の中に、予め定められた輝度値よりも高い輝度値を持つＧ成分画像が存在するか否かを判断する。
【００６９】
予め定められた輝度値よりも高い輝度値を持つＧ成分画像が存在する場合、画像合成部３４０は、Ｇ成分出力画像として、第１撮像系１０１ａ〜ｃのいずれか１つの撮像系が撮像したＧ成分画像を選択する（Ｓ７３２）。そして、Ｓ７４０において、Ｓ７３２で選択したＧ成分画像を、第２撮像系１０２が撮像したＲ成分画像および第３撮像系１０３が撮像したＢ成分画像と色合成し出力画像を生成して、処理を終了する。
【００７０】
Ｓ７３０において、予め定められた輝度値よりも高い輝度値を持つＧ成分画像が存在しない場合、画像合成部３４０は、第１撮像系１０１ａ〜ｃが撮像したＧ成分画像を合成して、Ｇ成分出力画像を生成する（Ｓ７３４）。そして、画像合成部３４０は、Ｓ７４０において、Ｓ７３４で生成したＧ成分出力画像を、第２撮像系１０２が撮像したＲ成分画像および第３撮像系１０３が撮像したＢ成分画像と色合成処理をして出力画像を生成する。このように、撮像装置１００は、十分に明るいＧ成分画像が得られなかったことを条件として、第１撮像系１０１ａ〜ｃで得られたＧ成分画像を合成する。十分に明るい画像はＳＮ比が高い画像であるといえるので、合成処理で画質を向上させずとも十分な画質の出力画像を提供することができる場合がある。一方、暗い画像はＳＮ比が低く低画像な画像であるといえる。このため、合成処理によって画質を向上することが期待できる。このように、画像合成部３４０は、３以上の撮像系で撮像された画像の明るさが予め定められた値以下である場合に、複数の画像を合成する。
【００７１】
Ｓ７１６において予め定められた値以上の画像差があると判断された場合、画像選択部３３０は、図６に関連して説明したように、画像差がある状態が予め定められた時間長さより長い期間にわたって継続したか否かを判断する（Ｓ７１８）。画像差がある状態が予め定められた時間長さより長い期間にわたって継続していない場合、画像選択部３３０は、Ｇ成分画像に対する重みづけを決定する。重みづけの大きさは、図６に関連して説明したように予め定められた値であってよい。画像選択部３３０は、画像差がある状態が継続した時間が長いほど、より小さい重みづけを決定してよい。画像選択部３３０は、画像差がある旨が判断されたＧ成分画像および重みづけを特定する情報を、画像合成部３４０に供給する。
【００７２】
Ｓ７３０およびＳ７３２の処理は、Ｓ７３０での判断対象となるＧ成分画像、および、Ｓ７３２での選択対象となるＧ成分画像が、画像選択部３３０から供給された情報が示すＧ成分画像以外のＧ成分画像であることを除き、上述した処理と同様である。このように、画像合成部３４０は、画像選択部３３０が選択した画像を除く複数の画像の少なくとも一方を出力画像として出力する。また、Ｓ７３４での処理は、Ｓ７２０で決定された重みづけで合成する点を除き、上述した合成処理と同様である。また、Ｓ７４０での色合成処理は、上述したようにＳ７３２でＧ成分出力画像として選択されたＧ成分画像、または、Ｓ７３４で生成されたＧ成分出力画像を、第２撮像系１０２および第３撮像系１０３が撮像したＲ成分画像およびＢ成分画像と色合成する処理となる。
【００７３】
Ｓ７１８に戻って、画像差がある状態が予め定められた時間長さより長い期間にわたって継続している場合、画像選択部３３０は、合成処理に使用できるＧ成分画像として、画像差がある旨が判断されたＧ成分画像を除く画像を選択する。すなわち、画像選択部３３０は、画像差がある旨が判断されたＧ成分画像を特定する情報を、画像合成部３４０に供給する。Ｓ７３０以後の処理は、画像差がある旨が判断されたＧ成分画像に対して重みづけを０にした場合の処理と事実上等価であるので、説明を省略する。このように、画像合成部３４０は、３以上の撮像系で撮像された画像の明るさが予め定められた値以下である場合に、画像選択部３３０が選択した画像を除く複数の画像を合成する。
【００７４】
図８は、画像合成部３４０における合成処理の一例を模式的に示す。第１撮像系１０１ａと第１撮像系１０１ｃとの間の視差および被写体までの距離に応じて、両撮像系が互いに異なる点をサンプリングすることになる場合がある。本図では、第１撮像系１０１ａが撮像したＧ成分画像９００ａを形成する画素と、第１撮像系１０１ｃが撮像したＧ成分画像９００ｃを形成する画素との間の位置関係を示す。Ｇ成分画像９００ａの画素は黒丸で示すように格子の交点に位置しているとする。本図では、白丸で示したＧ成分画像９００ｃの画素上に、当該格子を重畳することで、Ｇ成分画像９００ａとＧ成分画像９００ｃとの間の画素の対応関係を示す。
【００７５】
ここでは分かり易さを目的として、第１撮像系１０１ａと第１撮像系１０１ｃとの間の視差によって、Ｇ成分画像９００ｃの画素が、Ｇ成分画像９００ａの画素からｘ方向に半画素分ずれた点の画素に対応する場合を例示した。例えば、画素９０１ｃは、画素９０１ａと画素９０２ａとの中点の画素値を表す。また、画素９０３ｃは、画素９０３ａおよび画素９０４ａの中点の画素値を表す。視差による対応点のズレ幅が、画素間隔の（Ｎ＋１／２）倍に一致した場合に、本図の例の状態となる（Ｎは整数とする）。
【００７６】
視差ズレが図示した状態にある場合、画像合成部３４０は、Ｇ成分画像９００ａとＧ成分画像９００ｃとを単に重ね合わせることで、Ｇ成分出力画像９１０を生成することができる。Ｇ成分出力画像９１０は、ｘ方向に画素９０１ａ、画素９０１ｃ、画素９０２ａ、画素９０２ｃ・・・の順で並ぶ画素で形成される。このため、ｘ方向の解像度が２倍のＧ成分出力画像９１０を生成することができる。
【００７７】
本重ね合わせよっても、ｙ方向の画素ピッチは、Ｇ成分画像９００ａおよびＧ成分画像９００ｃと変わらない。しかしながら、画像合成部３４０は、周辺画素の画素値を用いてｙ方向の中間位置の画素値を算出することで、ｙ方向の解像度を高めることができる。例えば、画像合成部３４０は、画素９０１ｃ、画素９０２ａ、画素９０２ｃ、画素９０３ｃ、画素９０４ａおよび画素９０４ｃの画素値を用いて、画素９１１の画素値を算出する。例えば、画像合成部３４０は、画素９０１ｃ、画素９０２ａ、画素９０２ｃ、画素９０３ｃ、画素９０４ａおよび画素９０４ｃの画素値を、それぞれ補間係数に基づく予め定められた係数値で加重加算することによって、画素９１１の画素値を算出することができる。このように、画像合成部３４０は、周辺画素の画素値を補間演算することで、ｙ方向の解像度を高めることができる。
【００７８】
本図の例では、ｘ方向にズレた位置の画素値をＧ成分画像９００ｃが提供することができる。このため、画素９０２ａおよび画素９０４ａの画素値を用いて画素９１１の画素値を補間演算する場合よりも、追加で画素９０１〜９０４ｃの画素値を用いることができる。このため、画素９１１の画素値をより高精度で算出することができ、ｙ方向についても実質的に解像度を高めることができる。
【００７９】
図９は、画像合成部３４０における合成処理の他の一例を模式的に示す。本図では、Ｇ成分画像９００ｃの画素が、Ｇ成分画像９００ａと全く同じ点の画素を表す場合を示した。視差による対応点のズレ幅が画素間隔の整数倍に一致した場合に、本図の例の状態となる。本図で例示する状態の場合、画像合成部３４０は、Ｇ成分画像９００ａとＧ成分画像９００ａとを、対応する画素の画素値を足し合わせることで、Ｇ成分出力画像９１０の画素値を算出する。具体的には、画像合成部３４０は、画素９０１ａの画素値と画素９０１ｃの画素値を足し合わせることで、画素９１１の画素値を算出する。
【００８０】
Ｇ成分画像９００ａおよびＧ成分画像９００ｃの画素値を足し合わせることで、例えばランダムノイズを統計的に低減することができる。このため、Ｇ成分出力画像９１０のＳＮ比を直接的に高めることができる。
【００８１】
図８および図９では、視差により生じる対応点の位置ズレ量が画素間隔の１／２の整数倍となった場合を例に挙げて、合成処理による画質向上効果を説明した。対応点の位置ズレ量が画素間隔の１／２の整数倍でない場合であっても、補間演算で中間点の画素値を高精度に算出できる。このため、解像度を実質的に高めることができる。また、補間演算する場合でも、複数の画素値を加算することになるので、ランダムノイズを低減することができる。以上は２つの画像を合成することによる画質向上効果を説明したが、３以上の画像を合成する場合も同様である。
【００８２】
なお、対応点の位置ズレ量は、例えば対応点マッチングで算出することができる。対応点マッチングでは、画像をサブピクセル単位でずらしていき、複数の画素にわたる誤差の合計値が最小となるズレ量を位置ズレ量として決定することで、位置ズレ量をサブピクセル精度で算出することができる。また、対応点の位置ズレ量は、測距情報および光軸位置の違いから算出することができる。この場合でも、測距精度を十分に高めることで、位置ズレ量をサブピクセル精度で算出することができる。
【００８３】
図１０は、撮像装置１００が備えるレンズ部の他の一例を模式的に示す。本例におけるレンズ部は、第１レンズ１１０ａ〜ｃ、第２レンズ１２０に対応する第２レンズ１２０ａ、第３レンズ１３０に対応する第３レンズ１３０ａに加えて、第２レンズ１２０ｂおよび第２レンズ１２０ｃ、第３レンズ１３０ｂおよび第３レンズ１３０ｃを備える。第２レンズ１２０ｂ、第２レンズ１２０ｃ、第３レンズ１３０ｂ、および、第３レンズ１３０ｃは、それぞれ異なる撮像系のレンズとして機能する。すなわち、本例のレンズ部を備える撮像装置１００は、９の撮像系を備える。
【００８４】
各レンズの中央部分に、それぞれの撮像系が撮像に利用する光の波長域をＲ、Ｇ、Ｂで示したとおり、第２レンズ１２０ｂおよび第２レンズ１２０ｃは、Ｒ光で被写体を撮像する撮像系のレンズであり、第３レンズ１３０ｂおよび第３レンズ１３０ｃは、Ｂ光で被写体を撮像する撮像系のレンズである。すなわち、本例に係る撮像装置１００は、Ｇ光で被写体を撮像する３の第１撮像系１０１と、Ｒ光で被写体を撮像する３の第２撮像系１０２と、Ｂ光で被写体を撮像する３の第３撮像系１０３とを有する撮像部１６０を備える。
【００８５】
図１から図９にかけて、画像選択部３３０および画像合成部３４０が、第１撮像系１０１が撮像したＧ成分画像に対して画像の選択処理および合成処理を説明した。本例に係る構成でば、画像選択部３３０および画像合成部３４０は、第１撮像系１０１が撮像した３のＧ成分画像だけでなく、第２撮像系１０２が撮像した３のＲ成分画像、および、第３撮像系１０３が撮像した３のＢ成分画像に対しても、上述の選択処理および合成処理を適用することができる。このため、Ｇ成分画像だけでなく、Ｒ成分画像およびＢ成分画像についても、汚れの影響が混入することを防ぎつつ、出力画像の画質を高めることができる。
【００８６】
撮像装置１００が備える第１撮像系１０１、第２撮像系１０２および第３撮像系１０３の数は、３に限定されない。すなわち、撮像装置１００は、第１波長域の光で被写体を撮像する３以上の第１撮像系１０１と、第２波長域の光で被写体を撮像する３以上の第２撮像系１０２と、第３波長域の光で被写体を撮像する３以上の第３撮像系１０３と有する撮像部１６０を備える構成を採用することができる。この場合、画像選択部３３０は、撮像部１６０が有する同一の波長域の光で被写体を撮像する３以上の撮像系毎に、少なくとも一つの画像を選択する。そして、画像合成部３４０は、撮像部１６０が有する同一の波長域の光で被写体を撮像する３以上の撮像系毎に、画像選択部３３０が選択した画像を除く複数の画像を合成することにより、第１波長域、第２波長域および第３波長域のそれぞれの光による３の出力画像を生成する。
【００８７】
以上に説明した撮像装置１００では、各撮像系は特定の波長域の光で被写体を撮像するとしたが、各撮像系は、複数の波長域の光で撮像してもよい。例えば、３以上の第１撮像系１０１のうちの少なくとも１つの第１撮像系１０１が、Ｒ光、Ｇ光およびＢ光で被写体を撮像するとしてよい。この場合でも、３以上の第１撮像系１０１が、特定の波長域の光で被写体を撮像することになるので、以上に説明した撮像装置１００と同様の効果を奏することができる。
【００８８】
各撮像系は、撮像に利用する光の波長域を除き、撮像特性が同一であってよい。例えば、各撮像系の光学系は、結像特性が同一であってよい。より具体的には、各撮像系が備えるレンズの結像特性が同一であってよい。同一波長域の光で撮像する３以上の撮像系が、それぞれ互いに異なる撮像特性を有する構成を採用してもよい。例えば、当該３以上の撮像系は、それぞれ互いに異なる光学特性を有する光学系をそれぞれ有してよい。当該３以上の撮像系は、それぞれ互いに異なる結像特性を有するレンズを有してよい。レンズの結像特性としは、レンズのＦ値、倍率、焦点深度等を例示することができる。他にも、同一波長域の光で撮像する３以上の撮像系は、互いに受光特性が異なる受光部を有してよい。３以上の撮像系は、それぞれ互いに異なるピッチで受光素子が配列された受光部を有してよい。
【００８９】
図８および９において具体的に説明したように、３以上の撮像系が同一の撮像特性を有する場合でも、合成処理により画質を高めることができる。３以上の撮像系が異なる撮像特性を有する構成においても、撮像された画像を合成することで、出力画像の画質を高めることができる。例えば、第１レンズ１１０ｃが第１レンズ１１０ａよりも高倍率のレンズである場合、Ｇ成分出力画像は、Ｇ成分画像９００ｃが持つ高周波成分を含むことができる。また、第１レンズ１１０ｃが第１レンズ１１０ａよりも明るいレンズである場合、第１レンズ１１０ｃで得られた画像の画素値から、暗い画像領域の画素値を高精度に算出することができる。このため、ダイナミックレンジの広いＧ成分出力画像を生成することができる。
【００９０】
なお、以上に説明した撮像装置１００の各部の機能は、コンピュータおよびプログラムによって実現することができる。例えば、コンピュータが備えるプロセッサが、プログラムによって提供される命令に従って動作し周辺デバイスを制御することで、コンピュータは、撮像装置１００の画像信号生成部１７０の各部および記録部１８０として機能することができる。当該プログラムは、ＣＤ−ＲＯＭ、半導体メモリ、ハードディスク等の記録媒体に記録されてよい。コンピュータに、当該記録媒体に記録されたプログラムを読み込ませることで、コンピュータにプログラムを提供することができる。
【００９１】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００９２】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００９３】
１００ 撮像装置
１０１ 第１撮像系
１０２ 第２撮像系
１０３ 第３撮像系
１１０ 第１レンズ
１１２ 第１絞り部
１１５ 第１光学系
１１６ 第１カラーフィルタアレイ
１１８ 第１受光素子アレイ
１１９ 第１受光部
１２０ 第２レンズ
１２２ 第２絞り部
１２５ 第２光学系
１２６ 第２カラーフィルタアレイ
１２８ 第２受光素子アレイ
１２９ 第２受光部
１３０ 第３レンズ
１３２ 第３絞り部
１３５ 第３光学系
１３６ 第３カラーフィルタアレイ
１３８ 第３受光素子アレイ
１３９ 第３受光部
１６０ 撮像部
１７０ 画像信号生成部
１８０ 記録部
２００ レンズ鏡筒
３０９ 受光部
３１０ 読み出し部
３２０ 位置補正部
３３０ 画像選択部
３４０ 画像合成部
４００ Ｇ成分画像
４０２ 画像領域
４１０ Ｇ成分出力画像
４１２ 画像領域
６００、６１０、６２０、６３０ Ｇ成分画像
６１２、６２２、６３２ 汚れ像
６０５、６１５、６２５、６３５ Ｇ成分出力画像
６１７、６２７ 画像領域
９００ Ｇ成分画像
９０１、９０２、９０３、９０４ 画素
９１０ Ｇ成分出力画像
９１１ 画素
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法およびプログラムに関する。
【背景技術】
【０００２】
２つの撮像光学系で撮像センサ出力に差が生じた場合にエラーを出力する技術が知られている（例えば、特許文献１参照。）。また、複数の撮像手段で撮像する技術として、下記特許文献２および特許文献３に記載の技術が知られている。
特許文献１ 特開２００３−２３５０５３号公報
特許文献２ 特表２００７−５２０１０７号公報
特許文献３ 特開２０１０−１５４３１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
複数の撮像光学系を備えても、エラーの有無を検出するだけでは、エラー領域の画像を提供することができない。エラー領域についても、きちんと画像を提供できるだけでなく、より高画質な画像を提供することが望ましい。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の一態様においては、撮像装置であって、互いに撮像光軸の位置が異なり、それぞれ少なくとも第１波長域の光で被写体を撮像する３以上の撮像系を有する撮像部と、３以上の撮像系により撮像された３以上の画像を比較して、同一被写体が撮像された画像領域で他の複数の画像との差が予め定められた値より大きい少なくとも一つの画像を選択する画像選択部と、３以上の撮像系により撮像された３以上の画像のうち、画像選択部が選択した画像を除く複数の画像を、画像選択部が選択した画像より大きい重みづけで合成して、出力画像を生成する画像合成部とを備える。
【０００５】
画像合成部は、３以上の撮像系により撮像された３以上の画像のうち、画像選択部が選択した画像を除く複数の画像を合成して、出力画像を生成してよい。
【０００６】
画像選択部は、３以上の画像を複数の画像領域毎に比較して、少なくとも一つの画像を複数の画像領域毎に選択し、画像合成部は、画像選択部が選択した画像を除く複数の画像を、複数の画像領域毎に合成して、出力画像を生成してよい。
【０００７】
撮像部は、第１波長域とは異なる波長域の光で被写体を撮像する撮像系をさらに有してよい。第１波長域は、Ｇの波長域であり、撮像部は、Ｒの波長域の光で被写体を撮像する撮像系、および、Ｂの波長域の光で被写体を撮像する撮像系を有してよい。
【０００８】
撮像部は、第１波長域の光で被写体を撮像する３以上の第１撮像系と、第２波長域の光で被写体を撮像する３以上の第２撮像系と、第３波長域の光で被写体を撮像する３以上の第３撮像系とを有し、画像選択部は、撮像部が有する同一の波長域の光で被写体を撮像する３以上の撮像系毎に、少なくとも一つの画像を選択し、画像合成部は、撮像部が有する同一の波長域の光で被写体を撮像する３以上の撮像系毎に、画像選択部が選択した画像を除く複数の画像を合成することにより、第１波長域、第２波長域および第３波長域のそれぞれの光による３の出力画像を生成してよい。
【０００９】
３以上の撮像系は、それぞれ時間的に連続して撮像し、画像選択部は、同一の撮像系が連続して撮像した複数の画像のそれぞれにおいて、他の複数の画像との差が予め定められた値より大きい場合に、当該撮像系が連続して撮像した複数の画像を選択してよい。
【００１０】
３以上の撮像系は、それぞれ互いに異なる結像特性を有する光学系をそれぞれ有してよい。
【００１１】
画像合成部は、３以上の撮像系で撮像された画像の明るさが予め定められた値以下である場合に、画像選択部が選択した画像を除く複数の画像を合成してよい。
【００１２】
撮像部は、同一基板上に形成された複数の受光素子を有し、撮像部が有する撮像系は、基板上の対応する領域に形成された複数の受光素子で被写体を撮像してよい。
【００１３】
３以上の撮像系がそれぞれ撮像した３以上の画像に対して被写体像の位置合わせをする補正を施す位置補正部をさらに備え、画像選択部は、位置補正部により補正された３以上の画像を比較して、少なくとも一つの画像を選択し、画像合成部は、位置補正部により補正された３以上の画像のうち、画像選択部が選択した画像を除く複数の画像を合成して、出力画像を生成してよい。
【００１４】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【００１５】
【図１】撮像装置１００のブロック構成の一例を模式的に示す図である。
【図２】撮像装置１００が備えるレンズ部の一例を模式的に示す図である。
【図３】撮像モジュールのブロック構成の一例を模式的に示す図である。
【図４】Ｇ成分出力画像の生成処理の一例を模式的に示す図である。
【図５】画像選択部３３０が画像の比較に用いる情報の一例を示す図である。
【図６】連続して撮像した画像に対する処理の一例を模式的に示す図である。
【図７】画像信号生成部１７０における処理フローの一例を示す図である。
【図８】画像合成部３４０における合成処理の一例を模式的に示す図である。
【図９】画像合成部３４０における合成処理の他の一例を模式的に示す図である。
【図１０】レンズ部の他の一例を模式的に示す図である。
【発明を実施するための形態】
【００１６】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１７】
図１は、撮像装置１００のブロック構成の一例を模式的に示す。本実施形態に係る撮像装置１００は、画像内のエラー領域についてもきちんと画像を提供すること、望ましくは、より高画質な画像を提供することを目的とする。撮像装置１００は、撮像部１６０、画像信号生成部１７０、および、記録部１８０を備える。撮像部１６０は、複数の第１撮像系１０１ａ〜ｃ、第２撮像系１０２、第３撮像系１０３を有する。複数の第１撮像系１０１ａ〜ｃを、第１撮像系１０１と総称する場合がある。第１撮像系１０１、第２撮像系１０２、第３撮像系１０３、および、画像信号生成部１７０は、撮像装置１００に組み込まれる撮像モジュールとして機能してよい。
【００１８】
第１撮像系１０１ａ〜ｃは、緑に属する波長域の光であるＧ光で被写体を撮像する。第２撮像系１０２は、赤に属する波長域の光であるＲ光で被写体を撮像する。第３撮像系１０３は、青に属する波長域の光であるＢ光で被写体を撮像する。Ｇ光は、第１波長域の一例とする。このように、撮像部１６０は、互いに撮像光軸の位置が異なり、それぞれ少なくとも第１波長域の光で被写体を撮像する３の第１撮像系１０１と、第１波長域とは異なる波長域の光で被写体を撮像する、第２撮像系１０２および第３撮像系１０３とを有する。
【００１９】
第１撮像系１０１ａ〜ｃは、それぞれ同様の機能を持つ光学要素を有するので、ここでは第１撮像系１０１ａが有する光学要素について説明する。第１撮像系１０１ａは、第１光学系１１５ａおよび第１受光部１１９ａを有する。第１光学系１１５ａは、被写体光を結像する第１レンズ１１０ａ、および、第１光学系１１５ａを通過する光の量を調整する第１絞り部１１２ａを持つ。第１受光部１１９ａは、被写第１レンズ１１０ａにより結像された被写体光のうちＧ光を受光して、被写体を撮像する。第１撮像系１０１ａ〜ｃが有する各光学要素は、各光学要素が属する第１撮像系１０１の符号の添え字により区別する。
【００２０】
第２撮像系１０２および第３撮像系１０３も、第１撮像系１０１ａが有する光学要素と類似の機能を持つ光学要素を持つ。具体的には、第２撮像系１０２は、第２光学系１２５および第２受光部１２９を有する。第２光学系１２５は、第２レンズ１２０および第２絞り部１２２を持つ。第３撮像系１０３は、第３光学系１３５および第３受光部１３９を有する。第３光学系１３５は、第３レンズ１３０および第３絞り部１３２を持つ。第２レンズ１２０および第３レンズ１３０は、第１レンズ１１０に対応する光学要素であり、第２絞り部１２２および第３絞り部１３２は、第１絞り部１１２に対応する光学要素である。第２光学系１２５及び第３光学系１３５は、それぞれ赤に属する波長域および青に属する波長域に対して光学設計されている点を除き、第１光学系１１５と略同様の機能を持つ。
【００２１】
第２受光部１２９および第３受光部１３９は、第１受光部１１９に対応する光学要素である。第２受光部１２９および第３受光部１３９は、それぞれＲ光およびＢ光で被写体を撮像する点を除き、第１受光部１１９と略同様の機能を持つ。
【００２２】
このように、第１撮像系１０１、第２撮像系１０２および第３撮像系１０３は、同一の被写体を互いに異なる波長域の光で撮像する。第１撮像系１０１、第２撮像系１０２および第３撮像系１０３は、それぞれ被写体を撮像して、撮像画像を示す撮像信号を生成する。画像信号生成部１７０は、第１撮像系１０１、第２撮像系１０２および第３撮像系１０３から、それぞれ撮像信号を取得する。画像信号生成部１７０は、取得した撮像信号から１つの出力画像を示す画像信号を生成する。例えば、画像信号生成部１７０は、取得した撮像信号を色合成して、１つの出力画像を示す画像信号を生成する。
【００２３】
撮像装置１００は、Ｇ光で撮像する撮像系を３つ備える。画像信号生成部１７０は、当該３つの撮像系、すなわち第１撮像系１０１ａ、第１撮像系１０１ｂ、第１撮像系１０１ｃからの撮像信号を比較する。一例として、第１撮像系１０１ｂの第１レンズ１１０ｂが、異物が付着するなどして汚れたとする。この場合、汚れの影響により、第１撮像系１０１ｂからの撮像信号は、第１撮像系１０１ａからの撮像信号および第１撮像系１０１ｃからの撮像信号とは異なる信号となる。
【００２４】
画像信号生成部１７０は、第１撮像系１０１ｂからの撮像信号が、第１撮像系１０１ａおよび第１撮像系１０１ｃからの撮像信号と実質的に差があり、第１撮像系１０１ａからの撮像信号および第１撮像系１０１ｃからの撮像信号に実質的に差がない場合、第１撮像系１０１ａからの撮像信号および第１撮像系１０１ｃからの撮像信号を用いて、Ｇ成分の画像信号を生成する。そして、画像信号生成部１７０は、生成したＧ成分の画像信号を、第２撮像系１０２からの撮像信号および第３撮像系１０３からの撮像信号と色合成して、１つの出力画像を示す画像信号を生成する。このため、画像信号生成部１７０は、第１レンズ１１０ｂに汚れが付着した場合でも、汚れの影響で出力画像のカラーバランスにくずれが生じる確率を、低減することができる。
【００２５】
記録部１８０は、画像信号生成部１７０が生成した画像信号を記録する。記録部１８０は、画像信号生成部１７０から供給された画像信号が示す画像を、不揮発性メモリに記録してよい。当該不揮発性メモリは、記録部１８０が有してよい。また、当該不揮発性メモリは、撮像装置１００に対して着脱可能に設けられた外部メモリであってよい。記録部１８０は、撮像装置１００の外部に画像を出力してもよい。
【００２６】
撮像装置１００は、カメラ機能付きの携帯電話、デジタルカメラなどの撮像機器であってよい。第１撮像系１０１、第２撮像系１０２、第３撮像系１０３および画像信号生成部１７０を有する撮像モジュールは、これらの撮像機器用のカメラモジュールとして提供することができる。
【００２７】
図２は、撮像装置１００が備えるレンズ部の一例を模式的に示す。レンズ部は、複数の第１レンズ１１０ａ〜ｃ、第２レンズ１２０、第３レンズ１３０、および、レンズ鏡筒２００を有する。本図には、各レンズの中央部分に、それぞれの撮像系が撮像に利用する光の波長域をＲ、Ｇ、Ｂで示されている。本図は、物体側からレンズ部を見た場合の第１レンズ１１０、第２レンズ１２０、および、第３レンズ１３０の位置を示す。第１レンズ１１０ａは、レンズ鏡筒２００の中心に設けられる。第１レンズ１１０ｂ、第１レンズ１１０ｃ、第２レンズ１２０、および、第３レンズ１３０は、第１レンズ１１０ａの周囲に設けられる。
【００２８】
第１レンズ１１０ａ〜ｃ、第２レンズ１２０、および、第３レンズ１３０は、光軸が互いに離間して設けられる。具体的には、第１レンズ１１０ａ、第１レンズ１１０ｂ、および、第１レンズ１１０ｃは、ｘ方向に離間して設けられる。第２レンズ１２０および第３レンズ１３０は、光軸がｙ方向に離間して設けられる。
【００２９】
第１レンズ１１０、第２レンズ１２０、および、第３レンズ１３０の光軸は、互いに平行であるとする。すなわち、第１撮像系１０１、第２撮像系１０２、および、第３撮像系１０３の撮像光軸は、互いに平行であり、各撮像系は、撮像光軸に垂直な面内で、互いに撮像光軸の位置を異ならせて設けられることとなる。
【００３０】
図３は、撮像装置１００が有する撮像モジュールのブロック構成の一例を模式的に示す。ここでは、第１撮像系１０１、第２撮像系１０２、第３撮像系１０３のブロック構成が、画像信号生成部１７０のブロック構成とともに示される。本図の第１撮像系１０１、第２撮像系１０２、および、第３撮像系１０３のブロック構成は、第１レンズ１１０、第２レンズ１２０、および、第３レンズ１３０の光軸を含む面で切断した模式断面図とする。
【００３１】
画像信号生成部１７０は、読み出し部３１０、位置補正部３２０、画像選択部３３０、および、画像合成部３４０を有する。第１撮像系１０１が有する第１受光部１１９、第２撮像系１０２が有する第２受光部１２９、および、第３撮像系１０３が有する第３受光部１３９は、受光部３０９として一体に設けられる。
【００３２】
第１受光部１１９ａは、第１カラーフィルタアレイ１１６ａおよび第１受光素子アレイ１１８ａを含む。第２受光部１２９は、第２カラーフィルタアレイ１２６および第２受光素子アレイ１２８を含む。第３受光部１３９は、第３カラーフィルタアレイ１３６および第３受光素子アレイ１３８を含む。
【００３３】
第１撮像系１０１ａが持つ光学構成について説明する。第１レンズ１１０ａは、結像レンズである。第１光学系１１５ａを通過する光は、第１絞り部１１２ａの開口部を通過するものに制限される。
【００３４】
第１カラーフィルタアレイ１１６ａは、緑の波長域の光を選択的に透過する複数のカラーフィルタを含む。第１受光素子アレイ１１８ａは、被写体からの光を第１光学系１１５ａを通じて受光する複数の受光素子を含む。第１受光素子アレイ１１８ａが含む複数の受光素子は、第１カラーフィルタアレイ１１６ａが含む複数のカラーフィルタに対応して設けられる。各受光素子は、第１カラーフィルタアレイ１１６ａに入射した被写体光のうち、対応するカラーフィルタを透過した光を受光する。各受光素子は、受光した光の量に応じた強度の撮像信号を出力する。このように、第１受光素子アレイ１１８ａは、第１レンズ１１０ａにより結像された被写体光により撮像する複数の受光素子を有する。
【００３５】
ここでは、第１撮像系１０１ｂが有する第１受光部１１９ｂ、および、第１撮像系１０１ｃが有する第１受光部１１９ｃは、第１受光部１１９ａと同様の光学構成を有する。第１受光部１１９ｂおよび第１受光部１１９ｃも、受光部３０９として一体に設けられる。このため、説明を省略する。
【００３６】
第２撮像系１０２および第３撮像系１０３が持つ光学構成について説明する。第２レンズ１２０は、結像レンズである。第２光学系１２５を通過する光は、第２絞り部１２２の開口部を通過するものに制限される。第３レンズ１３０は、結像レンズである。第３光学系１３５を通過する光は、第３絞り部１３２の開口部を通過するものに制限される。
【００３７】
第２カラーフィルタアレイ１２６は、赤の波長域の光を選択的に透過する複数のカラーフィルタを含む。第３カラーフィルタアレイ１３６は、青の波長域の光を選択的に透過する複数のカラーフィルタを含む。
【００３８】
第２受光素子アレイ１２８は、第２カラーフィルタアレイ１２６を通じて被写体光を受光する点を除いて、第１受光素子アレイ１１８と略同一の光学構成を持つので、説明を省略する。同様に、第３受光素子アレイ１３８は、第３カラーフィルタアレイ１３６を通じて被写体光を受光する点を除いて、第１受光素子アレイ１１８と略同一の光学構成を持つので、説明を省略する。
【００３９】
受光部３０９の光学構成について説明する。第１受光部１１９、第２受光部１２９および第３受光部１３９がそれぞれ有する複数の受光素子は、同一平面上に設けられる。例えば、第１受光素子アレイ１１８が有する複数の受光素子、第２受光素子アレイ１２８が有する複数の受光素子、および、第３受光素子アレイ１３８が有する複数の受光素子は、同一基板上に形成される。例えば、各受光素子は、同一プロセスで同一基板の一面に同時に形成される。また、第１カラーフィルタアレイ１１６、第２カラーフィルタアレイ１２６、および、第３カラーフィルタアレイ１３６が有する複数のカラーフィルタも、対応する受光素子の上部に同一プロセスで同時に形成される。これにより、第１受光部１１９、第２受光部１２９および第３受光部１３９を一体に含む１つの受光部３０９が製造される。第１受光部１１９の撮像面、第２受光部１２９の撮像面、および第３受光部１３９の撮像面は、当該受光部３０９が持つ撮像面の部分領域となる。このように、撮像部１６０は、同一基板上に形成された複数の受光素子を有する。そして、撮像部１６０が有する撮像系は、基板上の対応する領域に形成された複数の受光素子で被写体を撮像する。なお、第１受光部１１９、第２受光部１２９、および、第３受光部１３９は、互いに別個に製造して組み付けられてもよい。
【００４０】
各撮像系が備える複数の受光素子は実質的に同時に露光される。各受光素子が露光されると、読み出し部３１０は、当該複数の受光素子から、撮像信号を読み出す。読み出し部３１０は、複数の受光素子と同一基板上に形成された読み出し回路を有してよい。当該読み出し回路は、各撮像系に対して１つ設けられ、１つの読み出し回路が、各撮像系が備える複数の受光素子から、撮像信号を順次に読み出してよい。なお、当該読み出し回路は、各撮像系に対してそれぞれ別個に設けられてもよい。
【００４１】
各撮像系が備える複数の受光素子は、ＭＯＳ型撮像素子を形成してよい。各受光素子が同一プロセスで同一基板の一面に形成されＭＯＳ型撮像素子として実装されている場合、読み出し部３１０は、各撮像系が備える光学系毎に、部分的に読み出しをすることができる。各撮像系が含む複数の受光素子は、ＭＯＳ型撮像素子の他、ＣＣＤ型撮像素子などの固体撮像素子として実装されてよい。
【００４２】
読み出し部３１０が各撮像系が備える受光素子から読み出した撮像信号は、位置補正部３２０に供給される。位置補正部３２０は、各撮像系がそれぞれ撮像した画像に対して被写体像の位置合わせをする補正を施す。一例として、位置補正部３２０は、対応点マッチング等の画像解析によって各画像間の対応点を検出して、対応点を位置合わせする補正を、各撮像系がそれぞれ撮像した画像に対して施してよい。このように、位置補正部３２０は、３以上の撮像系がそれぞれ撮像した３以上の画像に対して被写体像の位置合わせをする補正を施す。
【００４３】
位置補正部３２０により補正された画像は、画像選択部３３０および画像合成部３４０に供給される。画像選択部３３０は、第１撮像系１０１ａ〜ｃで撮像された画像を比較して、同一被写体が撮像された画像領域で他の２つの画像との差が予め定められた値より大きい画像が存在するか否かを判断する。画像選択部３３０は、複数の画素から形成されるブロックのボケ量またはエッジ量の差、当該ブロックの平均輝度の差等を、画像の差として検出してよい。画像選択部３３０は、他の２つの画像との差が予め定められた値より大きい画像が存在すると判断した場合、当該画像を特定する情報を画像合成部３４０に供給する。このように、画像選択部３３０は、３以上の撮像系により撮像された３以上の画像を比較して、同一被写体が撮像された画像領域で他の複数の画像との差が予め定められた値より大きい少なくとも一つの画像を選択する。具体的には、画像選択部３３０は、位置補正部３２０により補正された３以上の画像を比較して、少なくとも一つの画像を選択する。
【００４４】
画像合成部３４０は、各撮像系から読み出された画像を合成して、１つの出力画像を示す画像信号を生成する。このとき、画像合成部３４０は、第１レンズ１１０ａ〜ｃで撮像された画像のうち、画像選択部３３０が選択した画像を除く２つの画像を合成して、Ｇ光による画像を示すＧ成分出力画像を生成する。そして、画像合成部３４０は、生成したＧ成分出力画像を、第２撮像系１０２で撮像された画像および第３撮像系１０３で撮像された画像と合成して、１つの出力画像を生成する。このように、画像合成部３４０は、３以上の撮像系により撮像された３以上の画像のうち、画像選択部３３０が選択した画像を除く複数の画像を、画像選択部３３０が選択した画像より大きい重みづけで合成して、出力画像を生成する。具体的には、画像合成部３４０は、位置補正部３２０により補正された３以上の画像のうち、画像選択部３３０が選択した画像を除く複数の画像を合成して、出力画像を生成する。
【００４５】
撮像装置１００によると、第１撮像系１０１で撮像された画像のうち２つ以上の画像の間で差が実質的に検出されなかった場合には、当該２つ以上の画像を用いてＧ成分出力画像を生成することができる。このため、第１レンズ１１０ａ〜ｃのいずれかに汚れが付着した場合でも、汚れの影響を受けた画像を高い確率で特定でき、Ｇ成分出力画像の生成処理から除外することができる。このため、Ｇ成分出力画像が汚れの影響を受ける確率を低減することができる。また、２つ以上の画像を合成することができるので、高画質のＧ成分出力画像を提供することができる。
【００４６】
図４は、Ｇ成分出力画像の生成処理の一例を模式的に示す。Ｇ成分画像４００ａ、Ｇ成分画像４００ｂ、および、Ｇ成分画像４００ｃは、それぞれ第１撮像系１０１ａ、第１撮像系１０１ｂ、および、第１撮像系１０１ｃによって撮像された画像とする。Ｇ成分画像４００ｂ内の画像領域４０２ｂは、第１レンズ１１０ｂに汚れが付着したことにより生じた汚れ像を含む。
【００４７】
Ｇ成分画像４００ａ内の画像領域４０２ａ、および、Ｇ成分画像４００ｃ内の画像領域４０２ｃは、画像領域４０２ｂに撮像された被写体と同一の被写体が撮像された領域とする。画像領域４０２ａおよび画像領域４０２ｃには、同一の被写体が撮像されているので、位置補正部３２０によって対応点を特定することができる。Ｇ成分画像４００ａとＧ成分画像４００ｃとの間で対応点の位置ズレ量が特定できれば、当該位置ズレ量、および、第１レンズ１１０ａ〜ｃの光軸の位置に基づき、Ｇ成分画像４００ｂ内の対応点を特定することができる。したがって、位置補正部３２０は、画像領域４０２ａおよび画像領域４０２ｃの位置ズレ量、および、第１レンズ１１０ａ〜ｃの光軸の位置に基づいて、画像領域４０２ａおよび画像領域４０２ｃと同一被写体が撮像されているべき画像領域４０２ｂを特定することができる。
【００４８】
画像合成部３４０は、Ｇ成分画像４００ａ〜ｃを用いてＧ成分出力画像４１０を生成する。このとき、画像合成部３４０は、画像領域４０２ａおよび画像領域４０２ｃを合成して、Ｇ成分出力画像４１０内の画像領域４１２の画像を生成する。一方、画像合成部３４０は、Ｇ成分出力画像４１０内の画像領域４１２以外の画像領域の画像を、Ｇ成分画像４００ａ内の画像領域４０２ａ以外の画像領域、Ｇ成分画像４００ｂの画像領域４０２ｂ以外の画像領域、および、Ｇ成分画像４００ｃの画像領域４０２ｃ以外の画像領域を合成することにより、生成する。
【００４９】
撮像装置１００によれば、第１レンズ１１０ｂに付着した汚れの影響を含む画像領域４０２ｂを除外して、Ｇ成分出力画像４１０を生成することができる。このため、Ｇ成分出力画像４１０に汚れの影響が混入することを未然に防ぐことができる。また、画像領域４１２以外の画像領域を、第１撮像系１０１ａ〜ｃが撮像した画像を合成して生成することができる。画像領域４１２についても、第１撮像系１０１ａおよび第１撮像系１０１ｃが撮像した画像を合成して生成することができる。このため、撮像装置１００によると、汚れが付着した領域についても複数の画像を合成することができ、その領域の画質を高めることができる。
【００５０】
図５は、画像選択部３３０が画像の比較に用いる情報の一例を示す。画像選択部３３０は、各撮像系で撮像された画像からそれぞれ空間周波数成分を抽出して、抽出した空間周波数成分を比較する。画像選択部３３０は、それぞれ複数の画素から形成される複数の画素ブロックのからそれぞれ空間周波数成分を抽出して、画素ブロック毎に比較する。なお、画像選択部３３０は、画素ブロックの平均輝度値で空間周波数成分を規格化してよい。例えば、画像選択部３３０は、空間周波数０の空間周波数成分で各空間周波数成分を規格化した値を用いて、画素ブロック毎に比較してよい。
【００５１】
画像領域４０２ａ、画像領域４０２ｂおよび画像領域４０２ｃからそれぞれ抽出された空間周波数成分の信号強度を、それぞれ本図のＡ、ＢおよびＣに模式的に示す。ここではｘ方向の空間周波数成分を一例として示す。本図のＡおよびＣの間では、各空間周波数において信号強度に実質的な差はない。一方、第１レンズ１１０ｂに付着した汚れの像は、ボケ像となる。このため、本図のＢに示されるように、比較的に低い空間周波数では、他の画像と信号強度の差は小さいものの、比較的に高い空間周波数での信号強度は、他の画像の信号強度よりも小さくなる。このため、画像選択部３３０は、本信号強度の差に基づき、画像領域４０２ｂを合成から除外すべき画像領域として選択する。
【００５２】
例えば、画像選択部３３０は、空間周波数成分の信号強度の差を比較する。具体的には、ある一の画像と他の複数の画像とを比較する場合、画像選択部３３０は、他の画像にわたる信号強度の平均値を、空間周波数毎に算出する。そして、画像選択部３３０は、当該平均値との間の信号強度の差を、空間周波数毎に算出して、算出した差を空間周波数にわたり加算する。画像選択部３３０は、当該加算値を各画像について算出して、算出した加算値の絶対値が最も大きい画像を、合成から除外すべき画像として選択する。
【００５３】
画像選択部３３０は、当該加算値を算出する場合に、空間周波数に応じて予め定められた重みづけで重みづけ加算をしてもよい。例えば、画像選択部３３０は、より高い空間周波数に、より大きい重みづけを設定して、加算してよい。予め定められた空間周波数より低い空間周波数の重みづけを０として、予め定められた空間周波数以上の空間周波数の重みづけを０より大きい値としてよい。なお、他の画像にわたる信号強度の平均値を算出するとしたが、全画像にわたる信号強度の平均値を算出するとしてもよい。
【００５４】
このように、画像選択部３３０が空間周波数領域で画像を比較するので、第１レンズ１１０に付着した汚れの影響を受けた画像を適切に選択することができる。また、画素単位ではなく一定の面積を持つ画素ブロック単位で画像の差を判断するので、画素単位で画素値の差を判定する場合と比較して、汚れ等の影響の有無を安定的に判断することができる。また、画像選択部３３０が、平均輝度で空間周波数成分を規格化して比較することで、第１レンズ１１０の明るさの違いを適切に補正して比較することができる。
【００５５】
ここでは空間周波数領域でＧ成分画像を比較するとしたが、種々の種類の指標に基づきＧ成分画像を比較することができる。例えば、画像選択部３３０は、Ｇ成分画像のエッジ量に基づき比較してよい。エッジ量としては、画素値の１次微分値または２次微分値などの濃度勾配特性を例示することができる。画像選択部３３０は、ブロック内で画素値の平均値を算出して、当該平均値の差に基づき、比較してもよい。
【００５６】
図３および図４では、分かり易く説明すべく、１つの画像領域４０２に対する画像選択部３３０および画像合成部３４０の処理を例示した。画像選択部３３０は、複数の画像領域毎に、異なるＧ成分画像を選択することができる。そして、画像合成部３４０は、複数の画像領域毎に、選択されたＧ成分画像を除く複数のＧ成分画像を合成することができる。これにより、異なるレンズの異なる場所に汚れが付着した場合でも、合成すべきＧ成分画像を適切に選択することができる。このように、画像選択部３３０は、３以上の撮像系で撮像された３以上の画像を複数の画像領域毎に比較して、少なくとも一つの画像を、複数の画像領域毎に選択する。そして、画像合成部３４０は、画像選択部３３０が選択した画像を除く複数の画像を、複数の画像領域毎に合成して、出力画像を生成する。
【００５７】
図６は、連続して撮像した画像に対する画像信号生成部１７０の処理の一例を模式的に示す。画像選択部３３０は、他の画像との間に差が生じた状態が予め定められた時間長さより長い期間にわたって継続したことを条件として、差が生じた画像を、合成から除外すべき画像として選択する。他の画像との間に差が生じた状態が予め定められた時間長さ継続するまでの間は、画像選択部３３０は、合成の重みづけを他の画像よりも小さくすべき画像として選択する。
【００５８】
本図において、Ｇ成分画像６００ａ〜ｃは、それぞれ第１撮像系１０１ａ〜ｃが時刻ｔ０で撮像した画像とする。Ｇ成分画像６００ａ〜ｃには、第１撮像系１０１ａ〜ｃの間で画像の差が実質的に存在しない。このため、いずれの画像も除外画像として選択されることはない。画像合成部３４０は、全画像領域にわたってＧ成分画像６００ａ〜ｃを加算してＧ成分出力画像６０５を生成する。
【００５９】
第１撮像系１０１ａ〜ｃは、時刻ｔ０から予め定められた期間が経過した時刻ｔ１０で撮像して、Ｇ成分画像６１０ａ〜ｃを生成する。Ｇ成分画像６１０ｂには、第１レンズ１１０に付着した汚れの像である汚れ像６１２が含まれる。画像選択部３３０は、Ｇ成分画像６１０ｂを、汚れ像６１２の画像領域において合成の重みづけを他の画像より低くすべき画像として選択する。画像合成部３４０は、汚れ像６１２以外の画像領域については、各画像の重みづけを予め定められた等しい値に設定する。一方、画像合成部３４０は、汚れ像６１２の画像領域については、Ｇ成分画像６１０ｂの重みづけを小さく設定する。例えば重みづけを、他の画像に対する重みづけの半分とする。これにより、画像領域６１７で第１レンズ１１０ｂの汚れの影響を多少含むＧ成分出力画像６１５が生成される。
【００６０】
その後、第１撮像系１０１ａ〜ｃは、予め定められた時間間隔で連続的に撮像していき、時刻ｔ２０でそれぞれＧ成分画像６２０ａ〜ｃを撮像する。Ｇ成分画像６１０ｂには、第１レンズ１１０に付着した汚れの像である汚れ像６２２が含まれる。なお、時刻ｔ１０〜ｔ２０の間に第１撮像系１０１ｂが撮像したＧ成分画像のいずれにも、汚れ像が含まれていたとする。しかし、時刻ｔ１０〜時刻ｔ２０の期間は予め定められた時間長さより短い期間であるので、画像選択部３３０は、時刻ｔ１０と同様、Ｇ成分画像６２０ｂを、合成の重みづけを他の画像より低くすべき画像として選択する。このため、画像合成部３４０は、時刻ｔ１０で得られた画像に対する重みづけと同様の重みづけで合成することにより、Ｇ成分出力画像６２５を生成する。
【００６１】
Ｇ成分出力画像６１５の画像領域６１７、および、Ｇ成分出力画像６２５の画像領域６２７には、第１レンズ１１０ｂの汚れの影響を多少含む。しかしながら、第１撮像系１０１ａおよび第１撮像系１０１ｃで得られた２つの画像には汚れの影響が含まれておらず、かつ、第２撮像系１０２ｂが撮像した画像は小さい重みづけで合成処理される。このため、Ｇ成分出力画像６１５および６２５における汚れの影響は、単眼で撮像した場合と比較すれば極めて小さい。
【００６２】
次に、第１撮像系１０１ａ〜ｃは、時刻ｔ２０から予め定められた期間が経過した時刻ｔ３０で撮像して、Ｇ成分画像６３０ａ〜ｃを生成する。Ｇ成分画像６３０ｂには、第１レンズ１１０に付着した汚れの像である汚れ像６３２が含まれる。ここで、時刻ｔ１０〜時刻ｔ３０の期間は、予め定められた時間長さより長い期間とする。この場合、他の画像との間に差が生じた状態が予め定められた時間長さより長い期間にわたって継続したことになるので、画像選択部３３０は、Ｇ成分画像６３０ｂの汚れ像６３２の画像領域を、合成から除外すべき画像として選択する。つまり、画像合成部３４０は、汚れ像６２２以外の画像領域については、各画像の重みづけを予め定められた等しい値に設定する。一方、画像合成部３４０は、汚れ像６３２の画像領域については、Ｇ成分画像６１０ｂの重みづけを０とする。これにより、汚れ像６３２に対応する画像領域でも、第１レンズ１１０ｂの汚れの影響を含まないＧ成分出力画像６３５を生成することができる。
【００６３】
このように、３以上の第１撮像系１０１は、それぞれ時間的に連続して撮像する。そして、画像選択部３３０は、同一の撮像系が連続して撮像した複数の画像のそれぞれにおいて、他の複数の画像との差が予め定められた値より大きい場合に、当該撮像系が連続して撮像した複数の画像を選択する。そして、画像合成部３４０は、３以上の第１撮像系１０１により撮像された３以上の画像のうち、画像選択部３３０が選択した画像を除く複数の画像を合成して、出力画像を生成する。
【００６４】
このように、撮像装置１００は、他の画像との間に差が生じた状態が予め定められた期間にわたって継続したことを条件として、他の画像との間で差が生じたＧ成分画像を、合成処理から除外することができる。このため、汚れ等の影響ではない一時的な画素変動によって、合成処理から除外される画像が頻繁に切り替わってしまうことを未然に防ぐことができる。また、撮像装置１００は、他の画像との間に差が生じた状態が予め定められた時間長さに達するまでは、重みづけを低減させる。このため、第１レンズ１１０ｂに本当に汚れ等が付着した場合であっても、汚れの影響がＧ成分出力画像に顕著に表れてしまうことを未然に防ぐことができる。また、汚れの影響がいきなりなくなってしまうことがないので、比較的に見易いＧ成分出力画像を提供することができる。
【００６５】
図７は、画像信号生成部１７０における処理フローの一例を示す。Ｓ７１０において、位置補正部３２０は、第１撮像系１０１ａ〜ｃが撮像したＧ成分画像のうち、対応点が明確なＧ成分画像の組を選択する。例えば図４において、画像領域４０２ｂには汚れ像が含まれるが、画像領域４０２ａおよび画像領域４０２ｃには汚れ像は含まれていないので、画像領域４０２ａおよび画像領域４０２ｃの対応点は明確であるといえる。対応点が明確であるか否かは、画素値の差に基づいて特定してよい。また、位置補正部３２０は、任意の組のＧ成分画像の間で対応点マッチングを行い、最も小さい誤差が得られたＧ成分画像の組を、対応点が明確なＧ成分画像の組として選択してもよい。
【００６６】
Ｓ７１２において位置補正部３２０は、Ｓ７１０で選択したＧ成分画像の組から検出した対応点を揃えることにより、被写体像の位置合わせを施す。また、Ｓ７１０で選択されなかったＧ成分画像についても、Ｓ７１０で選択したＧ成分画像の組から検出した対応点の位置の差と、第１レンズ１１０の間の光軸位置の差とに基づいて、他のＧ成分画像と被写体像の位置合わせをすることができる。Ｓ７１０では対応点が明確なＧ成分画像の組から対応点マッチングをするので、１つの第１レンズ１１０に汚れが付着していた場合でも、高い精度で対応点を検出することができる。
【００６７】
Ｓ７１４において画像選択部３３０は、第１撮像系１０１が撮像した複数のＧ成分画像を比較する。画像選択部３３０は、図５等に関連して説明した処理によりＧ成分画像を比較することができる。Ｓ７１６において、画像選択部３３０は、予め定められた値以上の画像差があるか否かを判断する。なお、Ｓ７１６では、予め定められた値以上の画像差があるか否かを、画像領域毎に判断する。本図のＳ７１６からＳ７４０の処理は、特に言及しないが画像領域毎にそれぞれ行うとする。
【００６８】
Ｓ７１６において予め定められた値以上の画像差がないと判断された場合、画像選択部３３０は、合成処理から除外すべきＧ成分画像がない旨を、画像合成部３４０に通知する。そして、Ｓ７３０において、画像合成部３４０は、十分な明るさで撮像されているか否かを判断すべく、第１撮像系１０１ａ〜ｃが撮像したＧ成分画像の中に、予め定められた輝度値よりも高い輝度値を持つＧ成分画像が存在するか否かを判断する。
【００６９】
予め定められた輝度値よりも高い輝度値を持つＧ成分画像が存在する場合、画像合成部３４０は、Ｇ成分出力画像として、第１撮像系１０１ａ〜ｃのいずれか１つの撮像系が撮像したＧ成分画像を選択する（Ｓ７３２）。そして、Ｓ７４０において、Ｓ７３２で選択したＧ成分画像を、第２撮像系１０２が撮像したＲ成分画像および第３撮像系１０３が撮像したＢ成分画像と色合成し出力画像を生成して、処理を終了する。
【００７０】
Ｓ７３０において、予め定められた輝度値よりも高い輝度値を持つＧ成分画像が存在しない場合、画像合成部３４０は、第１撮像系１０１ａ〜ｃが撮像したＧ成分画像を合成して、Ｇ成分出力画像を生成する（Ｓ７３４）。そして、画像合成部３４０は、Ｓ７４０において、Ｓ７３４で生成したＧ成分出力画像を、第２撮像系１０２が撮像したＲ成分画像および第３撮像系１０３が撮像したＢ成分画像と色合成処理をして出力画像を生成する。このように、撮像装置１００は、十分に明るいＧ成分画像が得られなかったことを条件として、第１撮像系１０１ａ〜ｃで得られたＧ成分画像を合成する。十分に明るい画像はＳＮ比が高い画像であるといえるので、合成処理で画質を向上させずとも十分な画質の出力画像を提供することができる場合がある。一方、暗い画像はＳＮ比が低く低画像な画像であるといえる。このため、合成処理によって画質を向上することが期待できる。このように、画像合成部３４０は、３以上の撮像系で撮像された画像の明るさが予め定められた値以下である場合に、複数の画像を合成する。
【００７１】
Ｓ７１６において予め定められた値以上の画像差があると判断された場合、画像選択部３３０は、図６に関連して説明したように、画像差がある状態が予め定められた時間長さより長い期間にわたって継続したか否かを判断する（Ｓ７１８）。画像差がある状態が予め定められた時間長さより長い期間にわたって継続していない場合、画像選択部３３０は、Ｇ成分画像に対する重みづけを決定する。重みづけの大きさは、図６に関連して説明したように予め定められた値であってよい。画像選択部３３０は、画像差がある状態が継続した時間が長いほど、より小さい重みづけを決定してよい。画像選択部３３０は、画像差がある旨が判断されたＧ成分画像および重みづけを特定する情報を、画像合成部３４０に供給する。
【００７２】
Ｓ７３０およびＳ７３２の処理は、Ｓ７３０での判断対象となるＧ成分画像、および、Ｓ７３２での選択対象となるＧ成分画像が、画像選択部３３０から供給された情報が示すＧ成分画像以外のＧ成分画像であることを除き、上述した処理と同様である。このように、画像合成部３４０は、画像選択部３３０が選択した画像を除く複数の画像の少なくとも一方を出力画像として出力する。また、Ｓ７３４での処理は、Ｓ７２０で決定された重みづけで合成する点を除き、上述した合成処理と同様である。また、Ｓ７４０での色合成処理は、上述したようにＳ７３２でＧ成分出力画像として選択されたＧ成分画像、または、Ｓ７３４で生成されたＧ成分出力画像を、第２撮像系１０２および第３撮像系１０３が撮像したＲ成分画像およびＢ成分画像と色合成する処理となる。
【００７３】
Ｓ７１８に戻って、画像差がある状態が予め定められた時間長さより長い期間にわたって継続している場合、画像選択部３３０は、合成処理に使用できるＧ成分画像として、画像差がある旨が判断されたＧ成分画像を除く画像を選択する。すなわち、画像選択部３３０は、画像差がある旨が判断されたＧ成分画像を特定する情報を、画像合成部３４０に供給する。Ｓ７３０以後の処理は、画像差がある旨が判断されたＧ成分画像に対して重みづけを０にした場合の処理と事実上等価であるので、説明を省略する。このように、画像合成部３４０は、３以上の撮像系で撮像された画像の明るさが予め定められた値以下である場合に、画像選択部３３０が選択した画像を除く複数の画像を合成する。
【００７４】
図８は、画像合成部３４０における合成処理の一例を模式的に示す。第１撮像系１０１ａと第１撮像系１０１ｃとの間の視差および被写体までの距離に応じて、両撮像系が互いに異なる点をサンプリングすることになる場合がある。本図では、第１撮像系１０１ａが撮像したＧ成分画像９００ａを形成する画素と、第１撮像系１０１ｃが撮像したＧ成分画像９００ｃを形成する画素との間の位置関係を示す。Ｇ成分画像９００ａの画素は黒丸で示すように格子の交点に位置しているとする。本図では、白丸で示したＧ成分画像９００ｃの画素上に、当該格子を重畳することで、Ｇ成分画像９００ａとＧ成分画像９００ｃとの間の画素の対応関係を示す。
【００７５】
ここでは分かり易さを目的として、第１撮像系１０１ａと第１撮像系１０１ｃとの間の視差によって、Ｇ成分画像９００ｃの画素が、Ｇ成分画像９００ａの画素からｘ方向に半画素分ずれた点の画素に対応する場合を例示した。例えば、画素９０１ｃは、画素９０１ａと画素９０２ａとの中点の画素値を表す。また、画素９０３ｃは、画素９０３ａおよび画素９０４ａの中点の画素値を表す。視差による対応点のズレ幅が、画素間隔の（Ｎ＋１／２）倍に一致した場合に、本図の例の状態となる（Ｎは整数とする）。
【００７６】
視差ズレが図示した状態にある場合、画像合成部３４０は、Ｇ成分画像９００ａとＧ成分画像９００ｃとを単に重ね合わせることで、Ｇ成分出力画像９１０を生成することができる。Ｇ成分出力画像９１０は、ｘ方向に画素９０１ａ、画素９０１ｃ、画素９０２ａ、画素９０２ｃ・・・の順で並ぶ画素で形成される。このため、ｘ方向の解像度が２倍のＧ成分出力画像９１０を生成することができる。
【００７７】
本重ね合わせよっても、ｙ方向の画素ピッチは、Ｇ成分画像９００ａおよびＧ成分画像９００ｃと変わらない。しかしながら、画像合成部３４０は、周辺画素の画素値を用いてｙ方向の中間位置の画素値を算出することで、ｙ方向の解像度を高めることができる。例えば、画像合成部３４０は、画素９０１ｃ、画素９０２ａ、画素９０２ｃ、画素９０３ｃ、画素９０４ａおよび画素９０４ｃの画素値を用いて、画素９１１の画素値を算出する。例えば、画像合成部３４０は、画素９０１ｃ、画素９０２ａ、画素９０２ｃ、画素９０３ｃ、画素９０４ａおよび画素９０４ｃの画素値を、それぞれ補間係数に基づく予め定められた係数値で加重加算することによって、画素９１１の画素値を算出することができる。このように、画像合成部３４０は、周辺画素の画素値を補間演算することで、ｙ方向の解像度を高めることができる。
【００７８】
本図の例では、ｘ方向にズレた位置の画素値をＧ成分画像９００ｃが提供することができる。このため、画素９０２ａおよび画素９０４ａの画素値を用いて画素９１１の画素値を補間演算する場合よりも、追加で画素９０１〜９０４ｃの画素値を用いることができる。このため、画素９１１の画素値をより高精度で算出することができ、ｙ方向についても実質的に解像度を高めることができる。
【００７９】
図９は、画像合成部３４０における合成処理の他の一例を模式的に示す。本図では、Ｇ成分画像９００ｃの画素が、Ｇ成分画像９００ａと全く同じ点の画素を表す場合を示した。視差による対応点のズレ幅が画素間隔の整数倍に一致した場合に、本図の例の状態となる。本図で例示する状態の場合、画像合成部３４０は、Ｇ成分画像９００ａとＧ成分画像９００ａとを、対応する画素の画素値を足し合わせることで、Ｇ成分出力画像９１０の画素値を算出する。具体的には、画像合成部３４０は、画素９０１ａの画素値と画素９０１ｃの画素値を足し合わせることで、画素９１１の画素値を算出する。
【００８０】
Ｇ成分画像９００ａおよびＧ成分画像９００ｃの画素値を足し合わせることで、例えばランダムノイズを統計的に低減することができる。このため、Ｇ成分出力画像９１０のＳＮ比を直接的に高めることができる。
【００８１】
図８および図９では、視差により生じる対応点の位置ズレ量が画素間隔の１／２の整数倍となった場合を例に挙げて、合成処理による画質向上効果を説明した。対応点の位置ズレ量が画素間隔の１／２の整数倍でない場合であっても、補間演算で中間点の画素値を高精度に算出できる。このため、解像度を実質的に高めることができる。また、補間演算する場合でも、複数の画素値を加算することになるので、ランダムノイズを低減することができる。以上は２つの画像を合成することによる画質向上効果を説明したが、３以上の画像を合成する場合も同様である。
【００８２】
なお、対応点の位置ズレ量は、例えば対応点マッチングで算出することができる。対応点マッチングでは、画像をサブピクセル単位でずらしていき、複数の画素にわたる誤差の合計値が最小となるズレ量を位置ズレ量として決定することで、位置ズレ量をサブピクセル精度で算出することができる。また、対応点の位置ズレ量は、測距情報および光軸位置の違いから算出することができる。この場合でも、測距精度を十分に高めることで、位置ズレ量をサブピクセル精度で算出することができる。
【００８３】
図１０は、撮像装置１００が備えるレンズ部の他の一例を模式的に示す。本例におけるレンズ部は、第１レンズ１１０ａ〜ｃ、第２レンズ１２０に対応する第２レンズ１２０ａ、第３レンズ１３０に対応する第３レンズ１３０ａに加えて、第２レンズ１２０ｂおよび第２レンズ１２０ｃ、第３レンズ１３０ｂおよび第３レンズ１３０ｃを備える。第２レンズ１２０ｂ、第２レンズ１２０ｃ、第３レンズ１３０ｂ、および、第３レンズ１３０ｃは、それぞれ異なる撮像系のレンズとして機能する。すなわち、本例のレンズ部を備える撮像装置１００は、９の撮像系を備える。
【００８４】
各レンズの中央部分に、それぞれの撮像系が撮像に利用する光の波長域をＲ、Ｇ、Ｂで示したとおり、第２レンズ１２０ｂおよび第２レンズ１２０ｃは、Ｒ光で被写体を撮像する撮像系のレンズであり、第３レンズ１３０ｂおよび第３レンズ１３０ｃは、Ｂ光で被写体を撮像する撮像系のレンズである。すなわち、本例に係る撮像装置１００は、Ｇ光で被写体を撮像する３の第１撮像系１０１と、Ｒ光で被写体を撮像する３の第２撮像系１０２と、Ｂ光で被写体を撮像する３の第３撮像系１０３とを有する撮像部１６０を備える。
【００８５】
図１から図９にかけて、画像選択部３３０および画像合成部３４０が、第１撮像系１０１が撮像したＧ成分画像に対して画像の選択処理および合成処理を説明した。本例に係る構成でば、画像選択部３３０および画像合成部３４０は、第１撮像系１０１が撮像した３のＧ成分画像だけでなく、第２撮像系１０２が撮像した３のＲ成分画像、および、第３撮像系１０３が撮像した３のＢ成分画像に対しても、上述の選択処理および合成処理を適用することができる。このため、Ｇ成分画像だけでなく、Ｒ成分画像およびＢ成分画像についても、汚れの影響が混入することを防ぎつつ、出力画像の画質を高めることができる。
【００８６】
撮像装置１００が備える第１撮像系１０１、第２撮像系１０２および第３撮像系１０３の数は、３に限定されない。すなわち、撮像装置１００は、第１波長域の光で被写体を撮像する３以上の第１撮像系１０１と、第２波長域の光で被写体を撮像する３以上の第２撮像系１０２と、第３波長域の光で被写体を撮像する３以上の第３撮像系１０３と有する撮像部１６０を備える構成を採用することができる。この場合、画像選択部３３０は、撮像部１６０が有する同一の波長域の光で被写体を撮像する３以上の撮像系毎に、少なくとも一つの画像を選択する。そして、画像合成部３４０は、撮像部１６０が有する同一の波長域の光で被写体を撮像する３以上の撮像系毎に、画像選択部３３０が選択した画像を除く複数の画像を合成することにより、第１波長域、第２波長域および第３波長域のそれぞれの光による３の出力画像を生成する。
【００８７】
以上に説明した撮像装置１００では、各撮像系は特定の波長域の光で被写体を撮像するとしたが、各撮像系は、複数の波長域の光で撮像してもよい。例えば、３以上の第１撮像系１０１のうちの少なくとも１つの第１撮像系１０１が、Ｒ光、Ｇ光およびＢ光で被写体を撮像するとしてよい。この場合でも、３以上の第１撮像系１０１が、特定の波長域の光で被写体を撮像することになるので、以上に説明した撮像装置１００と同様の効果を奏することができる。
【００８８】
各撮像系は、撮像に利用する光の波長域を除き、撮像特性が同一であってよい。例えば、各撮像系の光学系は、結像特性が同一であってよい。より具体的には、各撮像系が備えるレンズの結像特性が同一であってよい。同一波長域の光で撮像する３以上の撮像系が、それぞれ互いに異なる撮像特性を有する構成を採用してもよい。例えば、当該３以上の撮像系は、それぞれ互いに異なる光学特性を有する光学系をそれぞれ有してよい。当該３以上の撮像系は、それぞれ互いに異なる結像特性を有するレンズを有してよい。レンズの結像特性としは、レンズのＦ値、倍率、焦点深度等を例示することができる。他にも、同一波長域の光で撮像する３以上の撮像系は、互いに受光特性が異なる受光部を有してよい。３以上の撮像系は、それぞれ互いに異なるピッチで受光素子が配列された受光部を有してよい。
【００８９】
図８および９において具体的に説明したように、３以上の撮像系が同一の撮像特性を有する場合でも、合成処理により画質を高めることができる。３以上の撮像系が異なる撮像特性を有する構成においても、撮像された画像を合成することで、出力画像の画質を高めることができる。例えば、第１レンズ１１０ｃが第１レンズ１１０ａよりも高倍率のレンズである場合、Ｇ成分出力画像は、Ｇ成分画像９００ｃが持つ高周波成分を含むことができる。また、第１レンズ１１０ｃが第１レンズ１１０ａよりも明るいレンズである場合、第１レンズ１１０ｃで得られた画像の画素値から、暗い画像領域の画素値を高精度に算出することができる。このため、ダイナミックレンジの広いＧ成分出力画像を生成することができる。
【００９０】
なお、以上に説明した撮像装置１００の各部の機能は、コンピュータおよびプログラムによって実現することができる。例えば、コンピュータが備えるプロセッサが、プログラムによって提供される命令に従って動作し周辺デバイスを制御することで、コンピュータは、撮像装置１００の画像信号生成部１７０の各部および記録部１８０として機能することができる。当該プログラムは、ＣＤ−ＲＯＭ、半導体メモリ、ハードディスク等の記録媒体に記録されてよい。コンピュータに、当該記録媒体に記録されたプログラムを読み込ませることで、コンピュータにプログラムを提供することができる。
【００９１】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００９２】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００９３】
１００ 撮像装置
１０１ 第１撮像系
１０２ 第２撮像系
１０３ 第３撮像系
１１０ 第１レンズ
１１２ 第１絞り部
１１５ 第１光学系
１１６ 第１カラーフィルタアレイ
１１８ 第１受光素子アレイ
１１９ 第１受光部
１２０ 第２レンズ
１２２ 第２絞り部
１２５ 第２光学系
１２６ 第２カラーフィルタアレイ
１２８ 第２受光素子アレイ
１２９ 第２受光部
１３０ 第３レンズ
１３２ 第３絞り部
１３５ 第３光学系
１３６ 第３カラーフィルタアレイ
１３８ 第３受光素子アレイ
１３９ 第３受光部
１６０ 撮像部
１７０ 画像信号生成部
１８０ 記録部
２００ レンズ鏡筒
３０９ 受光部
３１０ 読み出し部
３２０ 位置補正部
３３０ 画像選択部
３４０ 画像合成部
４００ Ｇ成分画像
４０２ 画像領域
４１０ Ｇ成分出力画像
４１２ 画像領域
６００、６１０、６２０、６３０ Ｇ成分画像
６１２、６２２、６３２ 汚れ像
６０５、６１５、６２５、６３５ Ｇ成分出力画像
６１７、６２７ 画像領域
９００ Ｇ成分画像
９０１、９０２、９０３、９０４ 画素
９１０ Ｇ成分出力画像
９１１ 画素
【特許請求の範囲】
【請求項１】
互いに撮像光軸の位置が異なり、それぞれ少なくとも第１波長域の光で被写体を撮像する３以上の撮像系を有する撮像部と、
前記３以上の撮像系により撮像された３以上の画像を比較して、同一被写体が撮像された画像領域で他の複数の画像との差が予め定められた値より大きい少なくとも一つの画像を選択する画像選択部と、
前記３以上の撮像系により撮像された３以上の画像のうち、前記画像選択部が選択した画像を除く複数の画像を、前記画像選択部が選択した画像より大きい重みづけで合成して、出力画像を生成する画像合成部と
を備える撮像装置。
【請求項２】
前記画像合成部は、前記３以上の撮像系により撮像された３以上の画像のうち、前記画像選択部が選択した画像を除く複数の画像を合成して、前記出力画像を生成する
請求項１に記載の撮像装置。
【請求項３】
前記画像選択部は、前記３以上の画像を複数の画像領域毎に比較して、前記少なくとも一つの画像を複数の画像領域毎に選択し、
前記画像合成部は、前記画像選択部が選択した画像を除く複数の画像を、前記複数の画像領域毎に合成して、前記出力画像を生成する
請求項１または２に記載の撮像装置。
【請求項４】
前記撮像部は、前記第１波長域とは異なる波長域の光で被写体を撮像する撮像系をさらに有する
請求項１から３のいずれか一項に記載の撮像装置。
【請求項５】
前記第１波長域は、Ｇの波長域であり、
前記撮像部は、Ｒの波長域の光で被写体を撮像する撮像系、および、Ｂの波長域の光で被写体を撮像する撮像系を有する
請求項４に記載の撮像装置。
【請求項６】
前記撮像部は、
前記第１波長域の光で被写体を撮像する３以上の第１撮像系と、
第２波長域の光で被写体を撮像する３以上の第２撮像系と、
第３波長域の光で被写体を撮像する３以上の第３撮像系と
を有し、
前記画像選択部は、前記撮像部が有する同一の波長域の光で被写体を撮像する３以上の撮像系毎に、前記少なくとも一つの画像を選択し、
前記画像合成部は、前記撮像部が有する同一の波長域の光で被写体を撮像する３以上の撮像系毎に、前記画像選択部が選択した画像を除く複数の画像を合成することにより、前記第１波長域、前記第２波長域および前記第３波長域のそれぞれの光による３の出力画像を生成する
請求項１から５のいずれか一項に記載の撮像装置。
【請求項７】
前記３以上の撮像系は、それぞれ時間的に連続して撮像し、
前記画像選択部は、同一の撮像系が連続して撮像した複数の画像のそれぞれにおいて、前記他の複数の画像との差が予め定められた値より大きい場合に、当該撮像系が連続して撮像した複数の画像を選択する
請求項１から６のいずれか一項に記載の撮像装置。
【請求項８】
前記３以上の撮像系は、それぞれ互いに異なる結像特性を有する光学系をそれぞれ有する
請求項１から７のいずれか一項に記載の撮像装置。
【請求項９】
前記画像合成部は、前記３以上の撮像系で撮像された画像の明るさが予め定められた値以下である場合に、前記画像選択部が選択した画像を除く複数の画像を合成する
請求項１から８のいずれか一項に記載の撮像装置。
【請求項１０】
前記撮像部は、同一基板上に形成された複数の受光素子を有し、
前記撮像部が有する撮像系は、前記基板上の対応する領域に形成された複数の受光素子で前記被写体を撮像する
請求項１から９のいずれか一項に記載の撮像装置。
【請求項１１】
前記３以上の撮像系がそれぞれ撮像した３以上の画像に対して被写体像の位置合わせをする補正を施す位置補正部
をさらに備え、
前記画像選択部は、前記位置補正部により補正された３以上の画像を比較して、前記少なくとも一つの画像を選択し、
前記画像合成部は、前記位置補正部により補正された３以上の画像のうち、前記画像選択部が選択した画像を除く複数の画像を合成して、前記出力画像を生成する
請求項１から１０のいずれか一項に記載の撮像装置。
【請求項１２】
互いに撮像光軸の位置が異なり、それぞれ少なくとも第１波長域の光で被写体を撮像する３以上の撮像系を有する撮像部で撮像する段階と、
前記３以上の撮像系により撮像された３以上の画像を比較して、同一被写体が撮像された画像領域で他の複数の画像との差が予め定められた値より大きい少なくとも一つの画像を選択する画像選択段階と、
前記３以上の撮像系により撮像された３以上の画像のうち、前記画像選択段階において選択された画像を除く複数の画像を、前記画像選択段階において選択された画像より大きい重みづけで合成して、出力画像を生成する画像合成段階と
を備える撮像方法。
【請求項１３】
撮像装置用のプログラムであって、コンピュータを、
互いに撮像光軸の位置が異なり、それぞれ少なくとも第１波長域の光で被写体を撮像する３以上の撮像系を有する撮像部の撮像を制御する撮像制御部、
前記３以上の撮像系により撮像された３以上の画像を比較して、同一被写体が撮像された画像領域で他の複数の画像との差が予め定められた値より大きい少なくとも一つの画像を選択する画像選択部、
前記３以上の撮像系により撮像された３以上の画像のうち、前記画像選択部が選択した画像を除く複数の画像を、前記画像選択部が選択した画像より大きい重みづけで合成して、出力画像を生成する画像合成部
として機能させるプログラム。
【請求項１】
互いに撮像光軸の位置が異なり、それぞれ少なくとも第１波長域の光で被写体を撮像する３以上の撮像系を有する撮像部と、
前記３以上の撮像系により撮像された３以上の画像を比較して、同一被写体が撮像された画像領域で他の複数の画像との差が予め定められた値より大きい少なくとも一つの画像を選択する画像選択部と、
前記３以上の撮像系により撮像された３以上の画像のうち、前記画像選択部が選択した画像を除く複数の画像を、前記画像選択部が選択した画像より大きい重みづけで合成して、出力画像を生成する画像合成部と
を備える撮像装置。
【請求項２】
前記画像合成部は、前記３以上の撮像系により撮像された３以上の画像のうち、前記画像選択部が選択した画像を除く複数の画像を合成して、前記出力画像を生成する
請求項１に記載の撮像装置。
【請求項３】
前記画像選択部は、前記３以上の画像を複数の画像領域毎に比較して、前記少なくとも一つの画像を複数の画像領域毎に選択し、
前記画像合成部は、前記画像選択部が選択した画像を除く複数の画像を、前記複数の画像領域毎に合成して、前記出力画像を生成する
請求項１または２に記載の撮像装置。
【請求項４】
前記撮像部は、前記第１波長域とは異なる波長域の光で被写体を撮像する撮像系をさらに有する
請求項１から３のいずれか一項に記載の撮像装置。
【請求項５】
前記第１波長域は、Ｇの波長域であり、
前記撮像部は、Ｒの波長域の光で被写体を撮像する撮像系、および、Ｂの波長域の光で被写体を撮像する撮像系を有する
請求項４に記載の撮像装置。
【請求項６】
前記撮像部は、
前記第１波長域の光で被写体を撮像する３以上の第１撮像系と、
第２波長域の光で被写体を撮像する３以上の第２撮像系と、
第３波長域の光で被写体を撮像する３以上の第３撮像系と
を有し、
前記画像選択部は、前記撮像部が有する同一の波長域の光で被写体を撮像する３以上の撮像系毎に、前記少なくとも一つの画像を選択し、
前記画像合成部は、前記撮像部が有する同一の波長域の光で被写体を撮像する３以上の撮像系毎に、前記画像選択部が選択した画像を除く複数の画像を合成することにより、前記第１波長域、前記第２波長域および前記第３波長域のそれぞれの光による３の出力画像を生成する
請求項１から５のいずれか一項に記載の撮像装置。
【請求項７】
前記３以上の撮像系は、それぞれ時間的に連続して撮像し、
前記画像選択部は、同一の撮像系が連続して撮像した複数の画像のそれぞれにおいて、前記他の複数の画像との差が予め定められた値より大きい場合に、当該撮像系が連続して撮像した複数の画像を選択する
請求項１から６のいずれか一項に記載の撮像装置。
【請求項８】
前記３以上の撮像系は、それぞれ互いに異なる結像特性を有する光学系をそれぞれ有する
請求項１から７のいずれか一項に記載の撮像装置。
【請求項９】
前記画像合成部は、前記３以上の撮像系で撮像された画像の明るさが予め定められた値以下である場合に、前記画像選択部が選択した画像を除く複数の画像を合成する
請求項１から８のいずれか一項に記載の撮像装置。
【請求項１０】
前記撮像部は、同一基板上に形成された複数の受光素子を有し、
前記撮像部が有する撮像系は、前記基板上の対応する領域に形成された複数の受光素子で前記被写体を撮像する
請求項１から９のいずれか一項に記載の撮像装置。
【請求項１１】
前記３以上の撮像系がそれぞれ撮像した３以上の画像に対して被写体像の位置合わせをする補正を施す位置補正部
をさらに備え、
前記画像選択部は、前記位置補正部により補正された３以上の画像を比較して、前記少なくとも一つの画像を選択し、
前記画像合成部は、前記位置補正部により補正された３以上の画像のうち、前記画像選択部が選択した画像を除く複数の画像を合成して、前記出力画像を生成する
請求項１から１０のいずれか一項に記載の撮像装置。
【請求項１２】
互いに撮像光軸の位置が異なり、それぞれ少なくとも第１波長域の光で被写体を撮像する３以上の撮像系を有する撮像部で撮像する段階と、
前記３以上の撮像系により撮像された３以上の画像を比較して、同一被写体が撮像された画像領域で他の複数の画像との差が予め定められた値より大きい少なくとも一つの画像を選択する画像選択段階と、
前記３以上の撮像系により撮像された３以上の画像のうち、前記画像選択段階において選択された画像を除く複数の画像を、前記画像選択段階において選択された画像より大きい重みづけで合成して、出力画像を生成する画像合成段階と
を備える撮像方法。
【請求項１３】
撮像装置用のプログラムであって、コンピュータを、
互いに撮像光軸の位置が異なり、それぞれ少なくとも第１波長域の光で被写体を撮像する３以上の撮像系を有する撮像部の撮像を制御する撮像制御部、
前記３以上の撮像系により撮像された３以上の画像を比較して、同一被写体が撮像された画像領域で他の複数の画像との差が予め定められた値より大きい少なくとも一つの画像を選択する画像選択部、
前記３以上の撮像系により撮像された３以上の画像のうち、前記画像選択部が選択した画像を除く複数の画像を、前記画像選択部が選択した画像より大きい重みづけで合成して、出力画像を生成する画像合成部
として機能させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−６５０９３（Ｐ２０１２−６５０９３Ａ）
【公開日】平成２４年３月２９日（２０１２．３．２９）
【国際特許分類】
【出願番号】特願２０１０−２０６７３６（Ｐ２０１０−２０６７３６）
【出願日】平成２２年９月１５日（２０１０．９．１５）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２４年３月２９日（２０１２．３．２９）
【国際特許分類】
【出願日】平成２２年９月１５日（２０１０．９．１５）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]