撮像装置
【課題】可動部や複雑な装置構成を必要とせずに、また、複雑な処理や像の取扱を必要とせずに、オートフォーカス機能を実現する撮像装置を提供する。
【解決手段】複数のレンズがアレイ配列されてなるレンズアレイと、複数のレンズのそれぞれにより結像される被写体の縮小像（個眼像）の集合である複眼像を撮像する撮像素子を備え、前記レンズアレイを構成する複数のレンズは、各々異なる曲率半径と略等しいバックフォーカスを有するようにする。そして、撮像素子で撮像された複眼像を複数の個眼像に分離し、各個眼像の中から最も焦点の合った個眼像を選択して合焦画像として出力するか、あるいは、各個眼像から、対応する画素ごとに最も焦点の合った画素を選択し、これら画素を合成して合焦画像として出力する演算器を更に備える。
【解決手段】複数のレンズがアレイ配列されてなるレンズアレイと、複数のレンズのそれぞれにより結像される被写体の縮小像（個眼像）の集合である複眼像を撮像する撮像素子を備え、前記レンズアレイを構成する複数のレンズは、各々異なる曲率半径と略等しいバックフォーカスを有するようにする。そして、撮像素子で撮像された複眼像を複数の個眼像に分離し、各個眼像の中から最も焦点の合った個眼像を選択して合焦画像として出力するか、あるいは、各個眼像から、対応する画素ごとに最も焦点の合った画素を選択し、これら画素を合成して合焦画像として出力する演算器を更に備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、レンズアレイと撮像素子からなる撮像装置に係り、詳しくは、薄型、小型で可動部を有さずにオートフォーカス機能を実現する撮像装置に関する。
【背景技術】
【０００２】
撮像装置は、携帯機器、車載機器、医療機器や産業機器等における情報取得手段として有用であり、その薄型、小型化は場所を選ばない装置の設置を可能とするために、非常に重要である。また正確な情報取得のためには、焦点の合った画像を得ることが必須である。あらゆる被写体距離で焦点の合った画像を得るには、レンズを所定の被写体距離にフォーカスさせる必要があり、特に被写体距離が短い接写の場合には、被写界深度が浅く、被写体距離の変化による画質変動が大きくなるため、フォーカス機能の必要性はより高くなる。
【０００３】
あらゆる被写体距離にフォーカスさせる従来技術としては、例えば特許文献１に示されるような被写体距離に応じてレンズ群の配置を変化させるオートフォーカス技術がある。しかし、オートフォーカス機能を持たせるためには、複数枚のレンズを用い、かつそれらの位置を相互に変化させる必要があるため、装置が大型化、複雑化し、かつコストも増大するという問題がある。
【０００４】
また、特許文献２や特許文献３に示されるように、電圧によりレンズの曲率半径を変化させる液体レンズ（エレクトロウェッティングレンズ）や液晶レンズを用いる方法もあるが、それらのレンズは消費電力が大きく、また流動体であってかつ可動であるため、耐久性、耐環境性に劣るという問題がある。
【０００５】
さらに他の従来技術としては、特許文献４に示されるように、合焦距離の異なる複数のレンズセットからなるレンズアレイを用い、取得される複眼像の中から所定位置の画素を選択して取り出して、それらの画素から単一像を再構成することにより複数の被写体距離に焦点のあった画像を得る方法がある。しかし、ここでは、レンズアレイの各レンズのバックフォーカスを規定しないため、それぞれのレンズの撮像距離、並びに光学倍率が異なり、各々のレンズで得られる像の大きさが変わってくる。そのため、取得した複眼像から焦点の合った個眼像や画素を抽出する処理や焦点の合った像の取得後の取り扱いが複雑になるという問題がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、可動部や複雑な装置構成を必要とせず、また耐久性、耐環境性に優れ、複雑な処理や像の取り扱いを要さないで、異なる任意の被写体距離に対してフォーカスの合った画像を取得することができる、薄型、小型で低コストの撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
請求項１の発明は、被写体に対向する位置に設けられた、複数のレンズがアレイ配列されてなるレンズアレイと、前記レンズアレイの像面側に設けられた、前記複数のレンズのそれぞれにより略結像される前記被写体の縮小像（個眼像）の集合である複眼像を撮像する撮像素子と、前記撮像素子により撮像された複眼像を処理する演算器とからなる撮像装置において、前記レンズアレイを構成する複数のレンズが、各々異なる曲率半径と略等しいバックフォーカスを有し、前記演算器は、前記レンズアレイの複数のレンズを通して前記撮像素子により撮像される複眼像から所定の合焦画像を選択抽出することを特徴とする。
【０００８】
請求項２の発明は、請求項１記載の撮像装置において、レンズアレイを構成する複数のレンズは略等しいレンズサグからなり、該レンズアレイを構成する複数のレンズの有効径を略等しくするために、該レンズアレイの一方の面に、各レンズに対向して略等しい円形の開口部を設けた開口アレイを更に有することを特徴とする。
【０００９】
請求項３の発明は、請求項２記載の撮像装置において、レンズアレイの一部に突起部を設け、該突起部を介して開口アレイとレンズアレイを接着して、前記開口アレイのレンズ光軸方向の位置を規定していることを特徴する。
【００１０】
請求項４の発明は、請求項１乃至３のいずれか１項に記載の撮像装置において、演算器は、複眼像を複数の個眼像に分離する画像キャプチャ手段と、前記複数の個眼像から所定の合焦画像を選択抽出する合焦画像選択抽出手段とを有することを特徴とする。
【００１１】
請求項５の発明は、請求項４記載の撮像装置において、合焦画像選択抽出手段は、複数の個眼像の中から最も焦点の合った個眼像を選択して合焦画像とすることを特徴とする。
【００１２】
請求項６の発明は、請求項５記載の撮像装置において、合焦画像選択抽出手段は、各個眼像について画素の輝度の最高値と最低値を検出して、その差（輝度差）が最大となる個眼像を選択して合焦画像とすることを特徴とする。
【００１３】
請求項７の発明は、請求項４記載の撮像装置において、合焦画像選択抽出手段は、複数の個眼像から、対応する画素ごとに最も焦点の合った画素を抽出し、これら画素を合成して合焦画像とすることを特徴とする。
【００１４】
請求項８の発明は、請求項７記載の撮像装置において、合焦画像選択抽出手段は、各個眼像の中で、共通する視域をもつ画素の輝度が極値となる画素を抽出し、該画素を合成して合焦画像とすることを特徴とする。
【００１５】
請求項９の発明は、請求項８記載の撮像装置において、合焦画像選択抽出手段は、各個眼像の当該画素の輝度変化の近似曲線を求め、該近似曲線の極値となる値を合焦の画素輝度とすることを特徴とする。
【００１６】
請求項１０の発明は、請求項８または９記載の撮像装置において、合焦画像選択抽出手段は、各個眼像間の視差を検出し、該視差に基づいて対応する画素の位置を補正した後、極値検出を行うことを特徴とする。
【００１７】
請求項１１の発明は、請求項１０記載の撮像装置において、合焦画像選択抽出手段は、各個眼像について仮の極値検出を行って合焦に近い複数の個眼像を検出し、該複数の個眼像を用いて視差検出を行うことを特徴とする。
【発明の効果】
【００１８】
本発明の撮像装置によれば、可動部や複雑な装置構成を必要とせずに、また、複雑な処理や像の取扱を必要とせずに、異なる任意の被写体距離に対して焦点の合った画像を取得することが可能になる。
なお、本発明の撮像装置特有の種々の作用効果は、後述の実施形態の説明で更に明らかになる。
【図面の簡単な説明】
【００１９】
【図１】本発明の撮像装置の一実施形態の全体構成図である。
【図２】図１のレンズアレイ面を示す図である。
【図３】本発明の撮像装置のレイアウト図である。
【図４】レンズアレイを構成する一部のレンズセット（レンズ）のレンズパラメータを比較する図である。
【図５】図１の撮像装置のレンズアレイを構成する各レンズセットのスルーフォーカスＭＴＦ特性を示す図である。
【図６】レンズの曲率半径を変化させたときのレンズサグの変化及びレンズの有効径の変化を説明する図である。
【図７】図１の撮像装置のレンズアレイを通して取得される複眼像の一例を示す図である。
【図８】合焦画像を選択抽出する実施例１の処理フローチャートである。
【図９】合焦画像を選択抽出する実施例２の個眼像を変えたときの対応点画素での画素輝度の変化を説明する図である。
【図１０】合焦画像を選択抽出する実施例２の処理フローチャートである。
【図１１】合焦画像を選択抽出する実施例３の処理フローチャートである。
【図１２】合焦画像を選択抽出する実施例４の処理フローチャートである。
【図１３】本発明の撮像装置の別の実施形態の全体構成図である。
【図１４】図１３のレンズアレイ面を示す図である。
【図１５】図１３の撮像装置のレンズアレイを構成する各レンズセットのスルーフォーカスＭＴＦ特性を示す図である。
【図１６】図１３の撮像装置のレンズアレイを通して取得される複眼像の一例を示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態について図面を参照して説明する。
【００２１】
図１、図２に、本発明の撮像装置の一実施形態の全体構成図を示す。図１は、矢印方向に被写体があるものとし、被写体を撮像する撮像ユニットの構成の断面模式図、及び、撮像された複眼像より合焦画像を選択抽出する演算器を示したものである。図２は、図１における撮像ユニットを被写体方向から観察したときの模式図であり、図１と図２で共通する部品には共通する番号が付されている。
【００２２】
図１において、１はレンズアレイである。レンズアレイ１は被写体側の面と像面側の面の二面からなり、面内に複数のレンズがアレイ状に配列されている。図１では、被写体側、像側の両方の面にレンズ面が設けられた両面レンズアレイが示されている。１ａは被写体側の面に設けられたレンズ、１ｂは像側の面に設けられたレンズであり、１ａと１ｂがセット（以下、レンズセット）になって被写体の像を像面上で結像させる。図２に示すように、本実施形態では、レンズアレイ１は６つのレンズアレイセット１１１，１２１，１３１，１４１，１５１，１６１から構成されている。
【００２３】
２は、レンズアレイ１における隣接するレンズセット間での光線のクロストーク（混線）を防止するための遮光用の隔壁（以下、遮光壁）であり、金属や樹脂等の撮像光線に対して不透明な材料からなる。遮光壁２は、図２に示したように、レンズアレイ１の各レンズセットに対応して矩形の孔があけられており、孔と孔の間の壁が混線防止のための隔壁として作用する。遮光壁２は、レンズアレイ１の像側の面の平面部に接着されている。３は、板状部材に、各レンズセットに対応して略等しい直径の円形の孔（開口部）３ａを設けた開口アレイであり、レンズの絞りとして作用する。開口アレイ３は、レンズアレイ１の被写体側の面の平面部の４隅に設けられた突起部１ｃを介してレンズアレイ１に接着されている。４は、レンズアレイ１における各レンズセット１１〜１６１により撮影される被写体の像を撮像するＣＭＯＳセンサなどの撮像素子であり、基板５の上に実装されている。図１の例では、エイリアジング防止のための光学的ローパスフィルタやセンサ保護用のカバーガラスを設けていないが、必要に応じて設けても良い。６は筐体であり、レンズアレイ１の被写体側の面と接着して、レンズアレイ１を、遮光壁２、開口アレイ３も含めて保持し、さらに基板５を接着して固定している。
【００２４】
１０は、撮像素子４で撮像される画像（複眼像）を入力して合焦画像を選択抽出するための演算器であり、画像キャプチャ部１１と合焦画像選択抽出部１２からなる。
【００２５】
図３に、本撮像装置のレイアウト図を示す。図３（ａ）は、基板２０上に、光学系２１とイメージセンサ（ＣＭＯＳセンサ）２２からなる撮像ユニット２３、及び、コントローラ２４とメモリ２５からなる処理ユニット２６が形成されていることを示している。図３（ｂ）は、撮像ユニット２３と処理ユニット２６を分解して示したものである。ここで、撮像ユニット２３は、図１、図２に示した構成を有する。処理ユニット２６のコントローラ２４に図１の演算器１０が含まれる。メモリ２５は画像データや処理途中の種々のデータ等を保持するためのものである。なお、図３の基板２０は、図１の基板５と同じものである。基板２０の全体の大きさは、例えば２０mm×１５mm程度である。
【００２６】
図１、図２に戻り、まず、レンズアレイ１の作用について説明する。レンズアレイ１を構成する各レンズセット１１１〜１６１は、レンズ面が異なる曲率半径を有しており、相互に異なる被写体距離に焦点を合わせるように曲率半径が設定されている。
【００２７】
ここで、レンズアレイを構成するすべてのレンズアレイ（レンズ）が略等しい焦点距離、あるいはバックフォーカスを有し，かつ各レンズでフォーカスする被写体距離が異なる作用について説明する。
【００２８】
図４はレンズアレイを構成する一つのレンズによる結像を支配するレンズパラメータの一部を示したもので、図４の左側が被写体側、右側が像側である。レンズは被写体側の面と像側の面の二つの曲面から構成されている。Ｆはレンズの焦点距離であり、ＢＦは像側レンズ面から像面までの距離、すなわちバックフォーカスで、Ｂは像側主平面から像面までの距離、すなわち像距離である。また、図４では、レンズアレイを構成する各レンズで、略等しい焦点距離及びバックフォーカスを有し、フォーカスする被写体距離が異なる２種類のものが、（ａ）と（ｂ）に分けて示してある。
レンズの近軸結像式は次式で表される。Ｆは焦点距離、Ａは被写体距離、Ｂは像距離である。
【００２９】
【数１】
【００３０】
図４（ａ）のレンズ１１が、同（ｂ）のレンズ１２に対して、より遠方の被写体にフォーカスするようにするには（すなわち、Ａ１＞Ａ２）、Ｆはレンズ１１とレンズ１２で等しいため，Ｂ１＜Ｂ２となるように各レンズ面の曲率半径を設計する。すなわち、レンズ１１の主平面位置が、レンズ１２の主平面位置より被写体側にくるようにレンズの曲率半径を決めることにより、各レンズが略等しい焦点距離、あるいはバックフォーカスを有し、かつ各レンズでフォーカスする被写体距離が異なるという作用を得ることができる。
【００３１】
図５に、レンズアレイ１を構成する各レンズセット１１１〜１６１によるスルーフォーカスＭＴＦの例を示す。ａからｆは各レンズセット１１１〜１６１に対応するスルーフォーカスＭＴＦを表しており、各レンズセット１１１〜１６１で焦点の合う被写体距離が異なるため、ＭＴＦがピークとなる被写体距離もそれぞれ異なっている。被写体距離が数mmオーダーで短くなると被写界深度は非常に浅くなり（図５ではａ）、わずかの焦点ずれで大きくＭＴＦ（コントラスト）が低下し、像がぼける。被写体距離が遠くなるにつれ被写界深度は深くなっていき、ｆでは一定距離以上は無限遠まで像がぼけない。
【００３２】
図５のように、被写体距離に伴い、一定のコントラストレベルでスルーフォーカスＭＴＦが交差するようにレンズアレイの各レンズを設計し、被写体距離に応じて適したＭＴＦを有するレンズによる個眼像や画素を選択することにより、数mmオーダーの至近距離から無限遠方まで、被写体に焦点を合わせることができる。
【００３３】
このような、曲率半径の設定に加えて、各レンズセット１１１〜１６１のバックフォーカスは、全てのレンズセットで略等しくなるように設計されている。バックフォーカスは、像側のレンズ１ｂの頂点から像面までの距離を表わしている。全てのレンズセットでバックフォーカスを等しくすることにより、各レンズセットによる光学倍率は被写体距離のみによっておよそ規定されるため、各レンズセットによる像の合焦（ボケ）のレベルは相互で異なっても像のサイズは一定となる。したがって、後述するように取得した複眼像の中から焦点の合った個眼像のみを選択抽出したり、焦点の合った画素のみを抽出して合焦画像を合成したりする際に、各レンズセットによる像サイズの相違を考慮しないですむ。また取得後の像を用いてなんらかの情報認識をする場合においても像サイズの相違の考慮は不要となる。
【００３４】
図６（ａ）から（ｃ）に、レンズのバックフォーカスを略一定にしたままレンズの曲率を変えたときのレンズサグとレンズ有効径の変化の様子を示す。図６（ａ）の状態からレンズ１ａ面、１ｂ面の曲率を変えた場合、レンズの有効径を不変とした場合は、図６（ｂ）のようにレンズのサグを変える必要が生じる。するとレンズ間にサグの相違に基づく高低差を設ける等、レンズアレイの形状が複雑になる。一方で、レンズのサグを不変とした場合は、図６（ｃ）に示したようにレンズの有効径を変える必要が生じる。すると各レンズでレンズの有効径に起因する光学特性、たとえばレンズのカットオフ周波数や明るさが変わるため、画像と取得後にそれらの条件を合わせる調整が必要となり、取り扱いが複雑になる。
【００３５】
図１、図２の構成では、レンズのサグを一定にしたまま曲率半径を変え、略等しい径の開口部３ａを有する開口アレイ３をレンズアレイ１の被写体側に設けることにより、各レンズの有効径が略一定となるようにしている。それにより、レンズアレイ１の各レンズの有効径を略一定にできるため、レンズ有効径の相違に起因した不具合が排除される。なお、各レンズの曲率半径が異なるため、レンズアレイ１の各レンズと開口アレイ３とは、レンズによっては接触する位置が異なってくるが、図１に示すように、レンズアレイ１の平面部に設けた突起部１ｃを介して、レンズアレイ１と開口アレイ３を接触させることにより、開口アレイ３が傾いてレンズアレイ１と接触される等の不具合を取り除いている。
【００３６】
図２のように、操作ユニットを被写体方向から観察すると、各レンズセット１１１〜１６１において実線で示された円は開口部（有効径）３ａを表し、その直径は一定である。破線で示された円は、無効領域（有効径外のレンズ部）も含めた被写体側のレンズ１ａの直径を表し、点線で示された円は、撮像側のレンズ１ｂの直径を表す。各レンズで曲率半径が異なり、かつレンズのサグが一定になるようにしているため、破線、点線で示された円の直径はレンズごとで相違している。
【００３７】
次に、図１、図２の撮像装置により取得される画像について説明する。本実施形態では、撮像素子４（ＣＭＯＳセンサ）による像は、図７に示したような複眼像８になる。図７のＩ１からＩ６は、レンズアレイ１の各レンズセット１１１〜１６１に対応する個眼像であり、レンズセット数が６であるため、複眼像８の個眼像数も６である。図７で各個眼像の周辺で黒くなっている領域は、遮光壁２により影となっている領域である。各レンズセット１１１〜１６１でバックフォーカスは略等しく、それぞれのレンズセットで撮像距離及び光学倍率は略等しくなるため、各個眼像Ｉ１〜Ｉ６における像のサイズは一定である。一方で、各レンズセットで焦点の合う被写体距離は、レンズの曲率半径により異なるため、個眼像の合焦状態は相互で異なっている。図７の場合、個眼像Ｉ５で像の焦点が合っていることを示している。
【００３８】
次に、図１の演算器１０の動作について説明する。撮像素子４で取得された図７のような複眼像８は、画像キャプチャ部１１でキャプチャされ、Ｉ１〜Ｉ６の個眼像データ（以下、単に個眼像）に分けられて、合焦画像選択抽出部１２に転送される。合焦画像選択抽出部１２は、個眼像Ｉ１〜Ｉ６を入力して画像処理し、所定の合焦画像を選択抽出して出力する。これには、個眼像Ｉ１〜Ｉ６の中から最も焦点の合った個眼像を選択して合焦画像とする方法や、個眼像Ｉ１〜Ｉ６から、対応する画素ごとに最も焦点の合った画素を抽出し、これら画素を合成して合焦画像として出力する方法などが考えられる。
【００３９】
以下に、複数の個眼像から合焦画像を取得する方法のいくつかの具体的実施例について詳述する。
＜実施例１＞
これは、複数の個眼像の中で画素の輝度差が最大となる個眼像を合焦画像とするものである。焦点が合うと像のコントラストが最大となるため、個眼像内で最も高い輝度を有する画素と最も低い輝度を有する画素で輝度の差が最大となる。これを利用して、各個眼像を構成する画素の輝度値の最高値と最低値を検出して、その輝度差が最も大きい個眼像を選択抽出して合焦画像とする。図７においては、個画像Ｉ５が合焦画像として選択抽出される。
【００４０】
図８に、実施例１の処理フローチャートを示す。画像キャプチャ部１１は、撮像素子４で取得された図７に示すような複眼像８をキャプチャし、Ｉ１〜Ｉ６の個眼像に分離する（ステップ２０１）。分離された各個眼像Ｉ１〜Ｉ６は、合焦画像選択抽出部１２に送られる。合焦画像選択抽出部１２は、個眼像Ｉ１〜Ｉ６の中で最も焦点の合ったものを画像処理により選択抽出する。具体的には、まず、一つの個眼像を選択し（ステップ２０２）、該個眼像を構成する全画素の中の輝度値の最高値と最低値を検出し（ステップ２０３）、その差（輝度差）を計算する（ステップ２０４）。以下、ステップ２０２〜２０４を各個眼像について繰り返す（ステップ２０５）。そして、各個眼像の輝度差を比較して（ステップ２０６）、最大輝度差を有する個眼像（図７ではＩ５）を、最も焦点の合った個眼像として選択抽出し、合焦画像とする（ステップ２０７）。
【００４１】
本実施例によれば、複数の個眼像から最も焦点の合った個眼像を選択して合焦画像とすることで、簡易な処理で合焦画像を取得することができる。
【００４２】
＜実施例２＞
これは、各個眼像の中で、共通する視域を持つ画素の輝度が極値（極大値あるいは極小値）となる画素を抽出し、当該画素を合成して合焦画像とするものである。
【００４３】
各個眼像で同一の被写体を撮像する画素（対応点）があるため、個眼像を変えながら対応点の画素輝度を抽出すると、その画素における被写体の合焦状態に応じて輝度値が変化する。例えば、図７の９で示した画素（被写体の目の部分）について、個眼像Ｉ１からＩ６の輝度を抽出する。焦点が合うと、暗い部分はより暗く、明るい部分はより明るくなる。したがって、各個眼像の輝度変化の極値（暗い被写体のときは極小値、明るい被写体のときは極大値）となる輝度を取り出せば、最も合焦に近い輝度を検出することができる。この処理を、各個眼像を構成する全画素について繰返し、各個眼像の中の輝度画素が極値を示す画素を抽出して合成することにより、合焦画像を取得することができる。
【００４４】
図９に、図７の９で示した画素（対応点）における各個眼像Ｉ１〜Ｉ６の輝度変化の例を示す。この例では、Ｉ５が極大値を示し、画素９では、Ｉ５を採用すればよいことが分かる。なお、図９における離散的な６つの輝度値から極値となる輝度値を採用して合焦の画素輝度としてもよいが、図９の変化の近似曲線を求め、近似曲線の極値となる値を合焦の画素輝度とすれば、より精度よく合焦画像を取得できる。
【００４５】
図１０に、実施例２の処理フローチャートを示す。画像キャプチャ部１１は、撮像素子４で取得された図７に示すような複眼像８をキャプチャし、Ｉ１〜Ｉ６の各個眼像に分離する（ステップ３０１）。分離された各個眼像Ｉ１〜Ｉ６は、合焦画像選択抽出部１２に送られる。
【００４６】
合焦画像選択抽出部１２では、まず、各個眼像Ｉ１〜Ｉ６における一つの対応点（画素）を選択する（ステップ３０２）。次に、各個眼像Ｉ１〜Ｉ６について、選択した対応点の画素輝度を抽出し（ステップ３０３）、その輝度変化の極値（極大値あるいは極小値）を検出する（ステップ３０４）。以下、ステップ３０２〜３０４を各対応点（画素）について繰り返す（ステップ３０５）。そして、全画素について、検出された極値に対応する個眼像の画素を合成し（ステップ３０６）、合焦画像とする（ステップ３０７）。
【００４７】
本実施例によれば、複数の個眼像から、対応する画素ごとに最も焦点の合った画素を抽出し、これら画素を合成して合焦画像とすることで、より正確に合焦画像を抽出することができる。
【００４８】
＜実施例３＞
これは、実施例２を発展させたものである。各レンズにより被写体を観察する方向が、レンズアレイにおけるレンズピッチに応じて変わるため、各個眼像は視差を有し、また被写体距離によって視差は変化する。被写体が遠方にあると、視差は小さくなるため無視しても影響は小さい。しかし、被写体が近いと、生じる視差が大きくなるため、極値検出において異なる画素を参照することになり正確に輝度の極値を求められなくなる。したがって、その場合は視差を考慮して対応点を補正しながら極値検出処理を実行することが望ましい。すなわち、個眼像間での被写体の視差を、例えば個眼像内の微小領域ごとに相互相関演算により検出し、各個眼像で対応点の位置を検知したのち、当該位置を補正しながら極値検出を行う。視差検出においては２つの個眼像、例えばＩ５とＩ６の微小領域の対応点探索により、対応位置とその位置での視差を求める。レンズピッチは設計上一定であるため、一組の個眼像間（例えばＩ５とＩ６）での視差を求めれば、他の個眼像（例えばI１からI４）の対応位置とその位置での視差は算出でき、視差から対応点の位置を算出できる。そのようにして各個眼像において対応点の画素を求めてから、前述の輝度の極値を求めると、より正確な合焦画像を取得することができる。
【００４９】
図１１に、実施例３の処理フローチャートを示す。画像キャプチャ部１１は、撮像素子４で取得された図７に示すような複眼像８をキャプチャし、Ｉ１〜Ｉ６の各個眼像に分離す（ステップ４０１）。分離された各個眼像Ｉ１〜Ｉ６は合焦画像選択抽出部１２に送られる。
【００５０】
合焦画像選択抽出部１２では、まず、任意の二つの個眼像（例えばＩ５とＩ６）を選択する（ステップ４０２）。次に、該選択した二つの個眼像の間で対応点を探索する（ステップ４０３）。具体的には、例えば、Ｉ５から小領域を切り出し、それに対応する領域を探索するため、Ｉ６から小領域を切り出し、Ｉ５の小領域の位置を基準に、Ｉ６の小領域を所定の範囲内で移動させて、それぞれの位置でＳＡＤ（輝度差の総和）やＳＳＤ（輝度差の２乗和）の最小値を与える位置を探索することで、対応位置とその位置での視差を求める。そして、これを画素単位に繰り返す。視差計算法は周知・公知であるので省略する。なお、ＳＡＤやＳＳＤを演算するために用いるデータは輝度ではなく、輝度を微分した値を用いることも可能である。次に、この一組の個眼像間（例えばＩ５とＩ６）での視差を基に、他の個眼像（例えばＩ１〜Ｉ４）の対応位置とその位置での視差を算出し、該視差から対応点の位置を算出する（ステップ４０４）。具体的には、視差だけずれた位置が対応点となる。その後の処理（ステップ４０５〜４１０）は、図１０と同様であるので省略する。
【００５１】
本実施例によれば、各個眼像間での視差を検出して、各個眼像における対応点の画素を求めてから、輝度の極値を求めることで、更に正確に合焦画像を抽出することができる。
【００５２】
＜実施例４＞
これは、実施例３を更に発展させたものである。視差検出による対応点探索においては、できるだけ距離の離れた二つの個眼像を用いると、より正確に対応点を求められる。一方で、合焦状態に近い二つの個眼像を用いる方が視差検出の正確性が増す。そこで、本実施例では、実施例３のように任意の二つの個眼像を選択する代わりに、まず、合焦状態に近い二つの個眼像を検出し、この検出された二つの個眼像について視差検出による対応点探索を行った後、あらためて極値検出を実行して合焦画像を得る。ここで、合焦状態に近い個眼像の検出には、実施例２の極値検出を利用して極値を多く含む二つの個眼像を選択し、合焦状態に近い個眼像とする。
【００５３】
図１２に、実施例４の処理フローチャートを示す。画像キャプチャ部１１は、撮像素子４で取得された図７に示すような複眼像８をキャプチャし、Ｉ１〜Ｉ６の各個眼像に分離する（ステップ５０１）。分離された各個眼像Ｉ１〜Ｉ６は合焦画像選択抽出部１２に送られる。
【００５４】
合焦画像選択抽出部１２では、まず、各個眼像Ｉ１〜Ｉ６の各画素での仮の極値検出を実行する（ステップ５０２，５０３）。すなわち、視差検出による補正前の仮の各対応点について極値を検出する。極値検出は、図１０のステップ３０２〜３０５と同様である。次に、各個眼像の極値の発生頻度を表わすヒストグラムを生成し（ステップ５０４）、極値の発生頻度が多い二つの個眼像、すなわち、極値を多く含む二つの個眼像を選択する（ステップ５０５）。その後の処理のうち、ステップ５０６，５０７は、図１１のステップ４０３，４０４と同様であり、ステップ５０８〜５１３は図１１のステップ４０５〜４１０（図１０のステップ３０２〜３０７）と同様であるので、説明を省略する。
【００５５】
本実施例によれば、視差検出による対応点探索において、合焦状態に近い二つの個眼像を利用することで、正確性を増すことができる。
【００５６】
以上、本発明の一実施形態について説明したが、もちろん、本発明は、これまで説明したものに限定されるものではない。例えば、図１、図２では、レンズアレイは各々異なる曲率半径と略等しいバックフォーカスを有する６つのレンズセットで構成されるとしたが、レンズセットの数は６つに限られるものではない。
【００５７】
図１３、図１４に、本発明の撮像装置の他の実施形態の全体構成図を示す。これは、レンズアレイを簡単に２つのレンズセットで構成したものである。図１３、図１４において、図１、図２と共通する部品には共通する番号が付されている。
【００５８】
図１、図２と同様に、レンズアレイ１を構成する２つのレンズセット１７１，１８１は、各々レンズ面が異なる曲率半径を有しており、相互に異なる被写体距離に焦点を合わせるように曲率半径が設定されている。図１５に、２つのレンズセット１７１，１８１のスルーフォーカスＭＴＦの例を示す。ここで、ａはレンズセット１７１に対応するスルーフォーカスＭＴＦ、ｂはレンズセット１７１に対応するスルーフォーカスＭＴＦを表わしており、レンズセット１７１，１８１で焦点の合う被写体距離が異なるため、ＭＴＦがピークとなる被写体距離がそれぞれ異なっている。図１５のように、被写体距離に伴い、所定のコントラストレベルでスルーフォーカスＭＴＦが交差するようにレンズセット１７１，１８１を設計し、被写体距離に応じて適したＭＴＦを有するレンズによる個眼像や画素を選択することにより、近距離から無限遠方まで、被写体に焦点を合わせることができる。
【００５９】
また、ここでも、２つのレンズセット１７１，１８１のバックフォーカスは略等しくなるように設計されている。それにより、レンズセット１７１，１８１による光学倍率は被写体距離のみによっておよそ規定されるため、レンズセット１７１，１８１による像の合焦（ボケ）のレベルは相互で異なっても像のサイズは一定となる。
【００６０】
図１６に、図１３、図１４の撮像ユニットにより取得される画像の例を示す。ここでは、複眼像８は、Ｉ１とＩ２の２つの個眼像からなり、Ｉ１はレンズセット１７１に対応する個眼像、Ｉ２はレンズセット１８１に対応する個眼像である。レンズセット１７１，１８１でバックフォーカスは略等しく、それぞれのレンズセットで撮像距離及び光学倍率は略等しくなるため、各個眼像Ｉ１，Ｉ２における像のサイズは一定である。一方、レンズセット１７１，１８１で焦点の合う被写体距離は、レンズの曲率半径により異なるため、個眼像の合焦状態は相互で異なっている。図１６の場合、個眼像Ｉ２で像の焦点が合っていることを示している。
【００６１】
演算器１０の動作は、図１，図２の実施形態の場合と基本的に同様であるが、個眼像が２つだけであるため、特に図９の実施例１に適している。処理は、個眼像が２つだけであるため、極めて簡単である。
【符号の説明】
【００６２】
１ レンズアレイ
１ａ，１ｂ レンズセット
２ 遮光壁
３ 開口アレイ
３ａ 開口部
４ 撮像素子
５ 基板
６ 筐体
１０ 演算器
１１ 画像キャプチャ部
１２ 合焦画像選択抽出部
【先行技術文献】
【特許文献】
【００６３】
【特許文献１】特開２００５−１６５０５８号公報
【特許文献２】特開２００６−２５１６１３号公報
【特許文献３】特開２００８−５２１０４３号公報
【特許文献４】特開２００７−１５８８２５号公報
【技術分野】
【０００１】
本発明は、レンズアレイと撮像素子からなる撮像装置に係り、詳しくは、薄型、小型で可動部を有さずにオートフォーカス機能を実現する撮像装置に関する。
【背景技術】
【０００２】
撮像装置は、携帯機器、車載機器、医療機器や産業機器等における情報取得手段として有用であり、その薄型、小型化は場所を選ばない装置の設置を可能とするために、非常に重要である。また正確な情報取得のためには、焦点の合った画像を得ることが必須である。あらゆる被写体距離で焦点の合った画像を得るには、レンズを所定の被写体距離にフォーカスさせる必要があり、特に被写体距離が短い接写の場合には、被写界深度が浅く、被写体距離の変化による画質変動が大きくなるため、フォーカス機能の必要性はより高くなる。
【０００３】
あらゆる被写体距離にフォーカスさせる従来技術としては、例えば特許文献１に示されるような被写体距離に応じてレンズ群の配置を変化させるオートフォーカス技術がある。しかし、オートフォーカス機能を持たせるためには、複数枚のレンズを用い、かつそれらの位置を相互に変化させる必要があるため、装置が大型化、複雑化し、かつコストも増大するという問題がある。
【０００４】
また、特許文献２や特許文献３に示されるように、電圧によりレンズの曲率半径を変化させる液体レンズ（エレクトロウェッティングレンズ）や液晶レンズを用いる方法もあるが、それらのレンズは消費電力が大きく、また流動体であってかつ可動であるため、耐久性、耐環境性に劣るという問題がある。
【０００５】
さらに他の従来技術としては、特許文献４に示されるように、合焦距離の異なる複数のレンズセットからなるレンズアレイを用い、取得される複眼像の中から所定位置の画素を選択して取り出して、それらの画素から単一像を再構成することにより複数の被写体距離に焦点のあった画像を得る方法がある。しかし、ここでは、レンズアレイの各レンズのバックフォーカスを規定しないため、それぞれのレンズの撮像距離、並びに光学倍率が異なり、各々のレンズで得られる像の大きさが変わってくる。そのため、取得した複眼像から焦点の合った個眼像や画素を抽出する処理や焦点の合った像の取得後の取り扱いが複雑になるという問題がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、可動部や複雑な装置構成を必要とせず、また耐久性、耐環境性に優れ、複雑な処理や像の取り扱いを要さないで、異なる任意の被写体距離に対してフォーカスの合った画像を取得することができる、薄型、小型で低コストの撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
請求項１の発明は、被写体に対向する位置に設けられた、複数のレンズがアレイ配列されてなるレンズアレイと、前記レンズアレイの像面側に設けられた、前記複数のレンズのそれぞれにより略結像される前記被写体の縮小像（個眼像）の集合である複眼像を撮像する撮像素子と、前記撮像素子により撮像された複眼像を処理する演算器とからなる撮像装置において、前記レンズアレイを構成する複数のレンズが、各々異なる曲率半径と略等しいバックフォーカスを有し、前記演算器は、前記レンズアレイの複数のレンズを通して前記撮像素子により撮像される複眼像から所定の合焦画像を選択抽出することを特徴とする。
【０００８】
請求項２の発明は、請求項１記載の撮像装置において、レンズアレイを構成する複数のレンズは略等しいレンズサグからなり、該レンズアレイを構成する複数のレンズの有効径を略等しくするために、該レンズアレイの一方の面に、各レンズに対向して略等しい円形の開口部を設けた開口アレイを更に有することを特徴とする。
【０００９】
請求項３の発明は、請求項２記載の撮像装置において、レンズアレイの一部に突起部を設け、該突起部を介して開口アレイとレンズアレイを接着して、前記開口アレイのレンズ光軸方向の位置を規定していることを特徴する。
【００１０】
請求項４の発明は、請求項１乃至３のいずれか１項に記載の撮像装置において、演算器は、複眼像を複数の個眼像に分離する画像キャプチャ手段と、前記複数の個眼像から所定の合焦画像を選択抽出する合焦画像選択抽出手段とを有することを特徴とする。
【００１１】
請求項５の発明は、請求項４記載の撮像装置において、合焦画像選択抽出手段は、複数の個眼像の中から最も焦点の合った個眼像を選択して合焦画像とすることを特徴とする。
【００１２】
請求項６の発明は、請求項５記載の撮像装置において、合焦画像選択抽出手段は、各個眼像について画素の輝度の最高値と最低値を検出して、その差（輝度差）が最大となる個眼像を選択して合焦画像とすることを特徴とする。
【００１３】
請求項７の発明は、請求項４記載の撮像装置において、合焦画像選択抽出手段は、複数の個眼像から、対応する画素ごとに最も焦点の合った画素を抽出し、これら画素を合成して合焦画像とすることを特徴とする。
【００１４】
請求項８の発明は、請求項７記載の撮像装置において、合焦画像選択抽出手段は、各個眼像の中で、共通する視域をもつ画素の輝度が極値となる画素を抽出し、該画素を合成して合焦画像とすることを特徴とする。
【００１５】
請求項９の発明は、請求項８記載の撮像装置において、合焦画像選択抽出手段は、各個眼像の当該画素の輝度変化の近似曲線を求め、該近似曲線の極値となる値を合焦の画素輝度とすることを特徴とする。
【００１６】
請求項１０の発明は、請求項８または９記載の撮像装置において、合焦画像選択抽出手段は、各個眼像間の視差を検出し、該視差に基づいて対応する画素の位置を補正した後、極値検出を行うことを特徴とする。
【００１７】
請求項１１の発明は、請求項１０記載の撮像装置において、合焦画像選択抽出手段は、各個眼像について仮の極値検出を行って合焦に近い複数の個眼像を検出し、該複数の個眼像を用いて視差検出を行うことを特徴とする。
【発明の効果】
【００１８】
本発明の撮像装置によれば、可動部や複雑な装置構成を必要とせずに、また、複雑な処理や像の取扱を必要とせずに、異なる任意の被写体距離に対して焦点の合った画像を取得することが可能になる。
なお、本発明の撮像装置特有の種々の作用効果は、後述の実施形態の説明で更に明らかになる。
【図面の簡単な説明】
【００１９】
【図１】本発明の撮像装置の一実施形態の全体構成図である。
【図２】図１のレンズアレイ面を示す図である。
【図３】本発明の撮像装置のレイアウト図である。
【図４】レンズアレイを構成する一部のレンズセット（レンズ）のレンズパラメータを比較する図である。
【図５】図１の撮像装置のレンズアレイを構成する各レンズセットのスルーフォーカスＭＴＦ特性を示す図である。
【図６】レンズの曲率半径を変化させたときのレンズサグの変化及びレンズの有効径の変化を説明する図である。
【図７】図１の撮像装置のレンズアレイを通して取得される複眼像の一例を示す図である。
【図８】合焦画像を選択抽出する実施例１の処理フローチャートである。
【図９】合焦画像を選択抽出する実施例２の個眼像を変えたときの対応点画素での画素輝度の変化を説明する図である。
【図１０】合焦画像を選択抽出する実施例２の処理フローチャートである。
【図１１】合焦画像を選択抽出する実施例３の処理フローチャートである。
【図１２】合焦画像を選択抽出する実施例４の処理フローチャートである。
【図１３】本発明の撮像装置の別の実施形態の全体構成図である。
【図１４】図１３のレンズアレイ面を示す図である。
【図１５】図１３の撮像装置のレンズアレイを構成する各レンズセットのスルーフォーカスＭＴＦ特性を示す図である。
【図１６】図１３の撮像装置のレンズアレイを通して取得される複眼像の一例を示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態について図面を参照して説明する。
【００２１】
図１、図２に、本発明の撮像装置の一実施形態の全体構成図を示す。図１は、矢印方向に被写体があるものとし、被写体を撮像する撮像ユニットの構成の断面模式図、及び、撮像された複眼像より合焦画像を選択抽出する演算器を示したものである。図２は、図１における撮像ユニットを被写体方向から観察したときの模式図であり、図１と図２で共通する部品には共通する番号が付されている。
【００２２】
図１において、１はレンズアレイである。レンズアレイ１は被写体側の面と像面側の面の二面からなり、面内に複数のレンズがアレイ状に配列されている。図１では、被写体側、像側の両方の面にレンズ面が設けられた両面レンズアレイが示されている。１ａは被写体側の面に設けられたレンズ、１ｂは像側の面に設けられたレンズであり、１ａと１ｂがセット（以下、レンズセット）になって被写体の像を像面上で結像させる。図２に示すように、本実施形態では、レンズアレイ１は６つのレンズアレイセット１１１，１２１，１３１，１４１，１５１，１６１から構成されている。
【００２３】
２は、レンズアレイ１における隣接するレンズセット間での光線のクロストーク（混線）を防止するための遮光用の隔壁（以下、遮光壁）であり、金属や樹脂等の撮像光線に対して不透明な材料からなる。遮光壁２は、図２に示したように、レンズアレイ１の各レンズセットに対応して矩形の孔があけられており、孔と孔の間の壁が混線防止のための隔壁として作用する。遮光壁２は、レンズアレイ１の像側の面の平面部に接着されている。３は、板状部材に、各レンズセットに対応して略等しい直径の円形の孔（開口部）３ａを設けた開口アレイであり、レンズの絞りとして作用する。開口アレイ３は、レンズアレイ１の被写体側の面の平面部の４隅に設けられた突起部１ｃを介してレンズアレイ１に接着されている。４は、レンズアレイ１における各レンズセット１１〜１６１により撮影される被写体の像を撮像するＣＭＯＳセンサなどの撮像素子であり、基板５の上に実装されている。図１の例では、エイリアジング防止のための光学的ローパスフィルタやセンサ保護用のカバーガラスを設けていないが、必要に応じて設けても良い。６は筐体であり、レンズアレイ１の被写体側の面と接着して、レンズアレイ１を、遮光壁２、開口アレイ３も含めて保持し、さらに基板５を接着して固定している。
【００２４】
１０は、撮像素子４で撮像される画像（複眼像）を入力して合焦画像を選択抽出するための演算器であり、画像キャプチャ部１１と合焦画像選択抽出部１２からなる。
【００２５】
図３に、本撮像装置のレイアウト図を示す。図３（ａ）は、基板２０上に、光学系２１とイメージセンサ（ＣＭＯＳセンサ）２２からなる撮像ユニット２３、及び、コントローラ２４とメモリ２５からなる処理ユニット２６が形成されていることを示している。図３（ｂ）は、撮像ユニット２３と処理ユニット２６を分解して示したものである。ここで、撮像ユニット２３は、図１、図２に示した構成を有する。処理ユニット２６のコントローラ２４に図１の演算器１０が含まれる。メモリ２５は画像データや処理途中の種々のデータ等を保持するためのものである。なお、図３の基板２０は、図１の基板５と同じものである。基板２０の全体の大きさは、例えば２０mm×１５mm程度である。
【００２６】
図１、図２に戻り、まず、レンズアレイ１の作用について説明する。レンズアレイ１を構成する各レンズセット１１１〜１６１は、レンズ面が異なる曲率半径を有しており、相互に異なる被写体距離に焦点を合わせるように曲率半径が設定されている。
【００２７】
ここで、レンズアレイを構成するすべてのレンズアレイ（レンズ）が略等しい焦点距離、あるいはバックフォーカスを有し，かつ各レンズでフォーカスする被写体距離が異なる作用について説明する。
【００２８】
図４はレンズアレイを構成する一つのレンズによる結像を支配するレンズパラメータの一部を示したもので、図４の左側が被写体側、右側が像側である。レンズは被写体側の面と像側の面の二つの曲面から構成されている。Ｆはレンズの焦点距離であり、ＢＦは像側レンズ面から像面までの距離、すなわちバックフォーカスで、Ｂは像側主平面から像面までの距離、すなわち像距離である。また、図４では、レンズアレイを構成する各レンズで、略等しい焦点距離及びバックフォーカスを有し、フォーカスする被写体距離が異なる２種類のものが、（ａ）と（ｂ）に分けて示してある。
レンズの近軸結像式は次式で表される。Ｆは焦点距離、Ａは被写体距離、Ｂは像距離である。
【００２９】
【数１】
【００３０】
図４（ａ）のレンズ１１が、同（ｂ）のレンズ１２に対して、より遠方の被写体にフォーカスするようにするには（すなわち、Ａ１＞Ａ２）、Ｆはレンズ１１とレンズ１２で等しいため，Ｂ１＜Ｂ２となるように各レンズ面の曲率半径を設計する。すなわち、レンズ１１の主平面位置が、レンズ１２の主平面位置より被写体側にくるようにレンズの曲率半径を決めることにより、各レンズが略等しい焦点距離、あるいはバックフォーカスを有し、かつ各レンズでフォーカスする被写体距離が異なるという作用を得ることができる。
【００３１】
図５に、レンズアレイ１を構成する各レンズセット１１１〜１６１によるスルーフォーカスＭＴＦの例を示す。ａからｆは各レンズセット１１１〜１６１に対応するスルーフォーカスＭＴＦを表しており、各レンズセット１１１〜１６１で焦点の合う被写体距離が異なるため、ＭＴＦがピークとなる被写体距離もそれぞれ異なっている。被写体距離が数mmオーダーで短くなると被写界深度は非常に浅くなり（図５ではａ）、わずかの焦点ずれで大きくＭＴＦ（コントラスト）が低下し、像がぼける。被写体距離が遠くなるにつれ被写界深度は深くなっていき、ｆでは一定距離以上は無限遠まで像がぼけない。
【００３２】
図５のように、被写体距離に伴い、一定のコントラストレベルでスルーフォーカスＭＴＦが交差するようにレンズアレイの各レンズを設計し、被写体距離に応じて適したＭＴＦを有するレンズによる個眼像や画素を選択することにより、数mmオーダーの至近距離から無限遠方まで、被写体に焦点を合わせることができる。
【００３３】
このような、曲率半径の設定に加えて、各レンズセット１１１〜１６１のバックフォーカスは、全てのレンズセットで略等しくなるように設計されている。バックフォーカスは、像側のレンズ１ｂの頂点から像面までの距離を表わしている。全てのレンズセットでバックフォーカスを等しくすることにより、各レンズセットによる光学倍率は被写体距離のみによっておよそ規定されるため、各レンズセットによる像の合焦（ボケ）のレベルは相互で異なっても像のサイズは一定となる。したがって、後述するように取得した複眼像の中から焦点の合った個眼像のみを選択抽出したり、焦点の合った画素のみを抽出して合焦画像を合成したりする際に、各レンズセットによる像サイズの相違を考慮しないですむ。また取得後の像を用いてなんらかの情報認識をする場合においても像サイズの相違の考慮は不要となる。
【００３４】
図６（ａ）から（ｃ）に、レンズのバックフォーカスを略一定にしたままレンズの曲率を変えたときのレンズサグとレンズ有効径の変化の様子を示す。図６（ａ）の状態からレンズ１ａ面、１ｂ面の曲率を変えた場合、レンズの有効径を不変とした場合は、図６（ｂ）のようにレンズのサグを変える必要が生じる。するとレンズ間にサグの相違に基づく高低差を設ける等、レンズアレイの形状が複雑になる。一方で、レンズのサグを不変とした場合は、図６（ｃ）に示したようにレンズの有効径を変える必要が生じる。すると各レンズでレンズの有効径に起因する光学特性、たとえばレンズのカットオフ周波数や明るさが変わるため、画像と取得後にそれらの条件を合わせる調整が必要となり、取り扱いが複雑になる。
【００３５】
図１、図２の構成では、レンズのサグを一定にしたまま曲率半径を変え、略等しい径の開口部３ａを有する開口アレイ３をレンズアレイ１の被写体側に設けることにより、各レンズの有効径が略一定となるようにしている。それにより、レンズアレイ１の各レンズの有効径を略一定にできるため、レンズ有効径の相違に起因した不具合が排除される。なお、各レンズの曲率半径が異なるため、レンズアレイ１の各レンズと開口アレイ３とは、レンズによっては接触する位置が異なってくるが、図１に示すように、レンズアレイ１の平面部に設けた突起部１ｃを介して、レンズアレイ１と開口アレイ３を接触させることにより、開口アレイ３が傾いてレンズアレイ１と接触される等の不具合を取り除いている。
【００３６】
図２のように、操作ユニットを被写体方向から観察すると、各レンズセット１１１〜１６１において実線で示された円は開口部（有効径）３ａを表し、その直径は一定である。破線で示された円は、無効領域（有効径外のレンズ部）も含めた被写体側のレンズ１ａの直径を表し、点線で示された円は、撮像側のレンズ１ｂの直径を表す。各レンズで曲率半径が異なり、かつレンズのサグが一定になるようにしているため、破線、点線で示された円の直径はレンズごとで相違している。
【００３７】
次に、図１、図２の撮像装置により取得される画像について説明する。本実施形態では、撮像素子４（ＣＭＯＳセンサ）による像は、図７に示したような複眼像８になる。図７のＩ１からＩ６は、レンズアレイ１の各レンズセット１１１〜１６１に対応する個眼像であり、レンズセット数が６であるため、複眼像８の個眼像数も６である。図７で各個眼像の周辺で黒くなっている領域は、遮光壁２により影となっている領域である。各レンズセット１１１〜１６１でバックフォーカスは略等しく、それぞれのレンズセットで撮像距離及び光学倍率は略等しくなるため、各個眼像Ｉ１〜Ｉ６における像のサイズは一定である。一方で、各レンズセットで焦点の合う被写体距離は、レンズの曲率半径により異なるため、個眼像の合焦状態は相互で異なっている。図７の場合、個眼像Ｉ５で像の焦点が合っていることを示している。
【００３８】
次に、図１の演算器１０の動作について説明する。撮像素子４で取得された図７のような複眼像８は、画像キャプチャ部１１でキャプチャされ、Ｉ１〜Ｉ６の個眼像データ（以下、単に個眼像）に分けられて、合焦画像選択抽出部１２に転送される。合焦画像選択抽出部１２は、個眼像Ｉ１〜Ｉ６を入力して画像処理し、所定の合焦画像を選択抽出して出力する。これには、個眼像Ｉ１〜Ｉ６の中から最も焦点の合った個眼像を選択して合焦画像とする方法や、個眼像Ｉ１〜Ｉ６から、対応する画素ごとに最も焦点の合った画素を抽出し、これら画素を合成して合焦画像として出力する方法などが考えられる。
【００３９】
以下に、複数の個眼像から合焦画像を取得する方法のいくつかの具体的実施例について詳述する。
＜実施例１＞
これは、複数の個眼像の中で画素の輝度差が最大となる個眼像を合焦画像とするものである。焦点が合うと像のコントラストが最大となるため、個眼像内で最も高い輝度を有する画素と最も低い輝度を有する画素で輝度の差が最大となる。これを利用して、各個眼像を構成する画素の輝度値の最高値と最低値を検出して、その輝度差が最も大きい個眼像を選択抽出して合焦画像とする。図７においては、個画像Ｉ５が合焦画像として選択抽出される。
【００４０】
図８に、実施例１の処理フローチャートを示す。画像キャプチャ部１１は、撮像素子４で取得された図７に示すような複眼像８をキャプチャし、Ｉ１〜Ｉ６の個眼像に分離する（ステップ２０１）。分離された各個眼像Ｉ１〜Ｉ６は、合焦画像選択抽出部１２に送られる。合焦画像選択抽出部１２は、個眼像Ｉ１〜Ｉ６の中で最も焦点の合ったものを画像処理により選択抽出する。具体的には、まず、一つの個眼像を選択し（ステップ２０２）、該個眼像を構成する全画素の中の輝度値の最高値と最低値を検出し（ステップ２０３）、その差（輝度差）を計算する（ステップ２０４）。以下、ステップ２０２〜２０４を各個眼像について繰り返す（ステップ２０５）。そして、各個眼像の輝度差を比較して（ステップ２０６）、最大輝度差を有する個眼像（図７ではＩ５）を、最も焦点の合った個眼像として選択抽出し、合焦画像とする（ステップ２０７）。
【００４１】
本実施例によれば、複数の個眼像から最も焦点の合った個眼像を選択して合焦画像とすることで、簡易な処理で合焦画像を取得することができる。
【００４２】
＜実施例２＞
これは、各個眼像の中で、共通する視域を持つ画素の輝度が極値（極大値あるいは極小値）となる画素を抽出し、当該画素を合成して合焦画像とするものである。
【００４３】
各個眼像で同一の被写体を撮像する画素（対応点）があるため、個眼像を変えながら対応点の画素輝度を抽出すると、その画素における被写体の合焦状態に応じて輝度値が変化する。例えば、図７の９で示した画素（被写体の目の部分）について、個眼像Ｉ１からＩ６の輝度を抽出する。焦点が合うと、暗い部分はより暗く、明るい部分はより明るくなる。したがって、各個眼像の輝度変化の極値（暗い被写体のときは極小値、明るい被写体のときは極大値）となる輝度を取り出せば、最も合焦に近い輝度を検出することができる。この処理を、各個眼像を構成する全画素について繰返し、各個眼像の中の輝度画素が極値を示す画素を抽出して合成することにより、合焦画像を取得することができる。
【００４４】
図９に、図７の９で示した画素（対応点）における各個眼像Ｉ１〜Ｉ６の輝度変化の例を示す。この例では、Ｉ５が極大値を示し、画素９では、Ｉ５を採用すればよいことが分かる。なお、図９における離散的な６つの輝度値から極値となる輝度値を採用して合焦の画素輝度としてもよいが、図９の変化の近似曲線を求め、近似曲線の極値となる値を合焦の画素輝度とすれば、より精度よく合焦画像を取得できる。
【００４５】
図１０に、実施例２の処理フローチャートを示す。画像キャプチャ部１１は、撮像素子４で取得された図７に示すような複眼像８をキャプチャし、Ｉ１〜Ｉ６の各個眼像に分離する（ステップ３０１）。分離された各個眼像Ｉ１〜Ｉ６は、合焦画像選択抽出部１２に送られる。
【００４６】
合焦画像選択抽出部１２では、まず、各個眼像Ｉ１〜Ｉ６における一つの対応点（画素）を選択する（ステップ３０２）。次に、各個眼像Ｉ１〜Ｉ６について、選択した対応点の画素輝度を抽出し（ステップ３０３）、その輝度変化の極値（極大値あるいは極小値）を検出する（ステップ３０４）。以下、ステップ３０２〜３０４を各対応点（画素）について繰り返す（ステップ３０５）。そして、全画素について、検出された極値に対応する個眼像の画素を合成し（ステップ３０６）、合焦画像とする（ステップ３０７）。
【００４７】
本実施例によれば、複数の個眼像から、対応する画素ごとに最も焦点の合った画素を抽出し、これら画素を合成して合焦画像とすることで、より正確に合焦画像を抽出することができる。
【００４８】
＜実施例３＞
これは、実施例２を発展させたものである。各レンズにより被写体を観察する方向が、レンズアレイにおけるレンズピッチに応じて変わるため、各個眼像は視差を有し、また被写体距離によって視差は変化する。被写体が遠方にあると、視差は小さくなるため無視しても影響は小さい。しかし、被写体が近いと、生じる視差が大きくなるため、極値検出において異なる画素を参照することになり正確に輝度の極値を求められなくなる。したがって、その場合は視差を考慮して対応点を補正しながら極値検出処理を実行することが望ましい。すなわち、個眼像間での被写体の視差を、例えば個眼像内の微小領域ごとに相互相関演算により検出し、各個眼像で対応点の位置を検知したのち、当該位置を補正しながら極値検出を行う。視差検出においては２つの個眼像、例えばＩ５とＩ６の微小領域の対応点探索により、対応位置とその位置での視差を求める。レンズピッチは設計上一定であるため、一組の個眼像間（例えばＩ５とＩ６）での視差を求めれば、他の個眼像（例えばI１からI４）の対応位置とその位置での視差は算出でき、視差から対応点の位置を算出できる。そのようにして各個眼像において対応点の画素を求めてから、前述の輝度の極値を求めると、より正確な合焦画像を取得することができる。
【００４９】
図１１に、実施例３の処理フローチャートを示す。画像キャプチャ部１１は、撮像素子４で取得された図７に示すような複眼像８をキャプチャし、Ｉ１〜Ｉ６の各個眼像に分離す（ステップ４０１）。分離された各個眼像Ｉ１〜Ｉ６は合焦画像選択抽出部１２に送られる。
【００５０】
合焦画像選択抽出部１２では、まず、任意の二つの個眼像（例えばＩ５とＩ６）を選択する（ステップ４０２）。次に、該選択した二つの個眼像の間で対応点を探索する（ステップ４０３）。具体的には、例えば、Ｉ５から小領域を切り出し、それに対応する領域を探索するため、Ｉ６から小領域を切り出し、Ｉ５の小領域の位置を基準に、Ｉ６の小領域を所定の範囲内で移動させて、それぞれの位置でＳＡＤ（輝度差の総和）やＳＳＤ（輝度差の２乗和）の最小値を与える位置を探索することで、対応位置とその位置での視差を求める。そして、これを画素単位に繰り返す。視差計算法は周知・公知であるので省略する。なお、ＳＡＤやＳＳＤを演算するために用いるデータは輝度ではなく、輝度を微分した値を用いることも可能である。次に、この一組の個眼像間（例えばＩ５とＩ６）での視差を基に、他の個眼像（例えばＩ１〜Ｉ４）の対応位置とその位置での視差を算出し、該視差から対応点の位置を算出する（ステップ４０４）。具体的には、視差だけずれた位置が対応点となる。その後の処理（ステップ４０５〜４１０）は、図１０と同様であるので省略する。
【００５１】
本実施例によれば、各個眼像間での視差を検出して、各個眼像における対応点の画素を求めてから、輝度の極値を求めることで、更に正確に合焦画像を抽出することができる。
【００５２】
＜実施例４＞
これは、実施例３を更に発展させたものである。視差検出による対応点探索においては、できるだけ距離の離れた二つの個眼像を用いると、より正確に対応点を求められる。一方で、合焦状態に近い二つの個眼像を用いる方が視差検出の正確性が増す。そこで、本実施例では、実施例３のように任意の二つの個眼像を選択する代わりに、まず、合焦状態に近い二つの個眼像を検出し、この検出された二つの個眼像について視差検出による対応点探索を行った後、あらためて極値検出を実行して合焦画像を得る。ここで、合焦状態に近い個眼像の検出には、実施例２の極値検出を利用して極値を多く含む二つの個眼像を選択し、合焦状態に近い個眼像とする。
【００５３】
図１２に、実施例４の処理フローチャートを示す。画像キャプチャ部１１は、撮像素子４で取得された図７に示すような複眼像８をキャプチャし、Ｉ１〜Ｉ６の各個眼像に分離する（ステップ５０１）。分離された各個眼像Ｉ１〜Ｉ６は合焦画像選択抽出部１２に送られる。
【００５４】
合焦画像選択抽出部１２では、まず、各個眼像Ｉ１〜Ｉ６の各画素での仮の極値検出を実行する（ステップ５０２，５０３）。すなわち、視差検出による補正前の仮の各対応点について極値を検出する。極値検出は、図１０のステップ３０２〜３０５と同様である。次に、各個眼像の極値の発生頻度を表わすヒストグラムを生成し（ステップ５０４）、極値の発生頻度が多い二つの個眼像、すなわち、極値を多く含む二つの個眼像を選択する（ステップ５０５）。その後の処理のうち、ステップ５０６，５０７は、図１１のステップ４０３，４０４と同様であり、ステップ５０８〜５１３は図１１のステップ４０５〜４１０（図１０のステップ３０２〜３０７）と同様であるので、説明を省略する。
【００５５】
本実施例によれば、視差検出による対応点探索において、合焦状態に近い二つの個眼像を利用することで、正確性を増すことができる。
【００５６】
以上、本発明の一実施形態について説明したが、もちろん、本発明は、これまで説明したものに限定されるものではない。例えば、図１、図２では、レンズアレイは各々異なる曲率半径と略等しいバックフォーカスを有する６つのレンズセットで構成されるとしたが、レンズセットの数は６つに限られるものではない。
【００５７】
図１３、図１４に、本発明の撮像装置の他の実施形態の全体構成図を示す。これは、レンズアレイを簡単に２つのレンズセットで構成したものである。図１３、図１４において、図１、図２と共通する部品には共通する番号が付されている。
【００５８】
図１、図２と同様に、レンズアレイ１を構成する２つのレンズセット１７１，１８１は、各々レンズ面が異なる曲率半径を有しており、相互に異なる被写体距離に焦点を合わせるように曲率半径が設定されている。図１５に、２つのレンズセット１７１，１８１のスルーフォーカスＭＴＦの例を示す。ここで、ａはレンズセット１７１に対応するスルーフォーカスＭＴＦ、ｂはレンズセット１７１に対応するスルーフォーカスＭＴＦを表わしており、レンズセット１７１，１８１で焦点の合う被写体距離が異なるため、ＭＴＦがピークとなる被写体距離がそれぞれ異なっている。図１５のように、被写体距離に伴い、所定のコントラストレベルでスルーフォーカスＭＴＦが交差するようにレンズセット１７１，１８１を設計し、被写体距離に応じて適したＭＴＦを有するレンズによる個眼像や画素を選択することにより、近距離から無限遠方まで、被写体に焦点を合わせることができる。
【００５９】
また、ここでも、２つのレンズセット１７１，１８１のバックフォーカスは略等しくなるように設計されている。それにより、レンズセット１７１，１８１による光学倍率は被写体距離のみによっておよそ規定されるため、レンズセット１７１，１８１による像の合焦（ボケ）のレベルは相互で異なっても像のサイズは一定となる。
【００６０】
図１６に、図１３、図１４の撮像ユニットにより取得される画像の例を示す。ここでは、複眼像８は、Ｉ１とＩ２の２つの個眼像からなり、Ｉ１はレンズセット１７１に対応する個眼像、Ｉ２はレンズセット１８１に対応する個眼像である。レンズセット１７１，１８１でバックフォーカスは略等しく、それぞれのレンズセットで撮像距離及び光学倍率は略等しくなるため、各個眼像Ｉ１，Ｉ２における像のサイズは一定である。一方、レンズセット１７１，１８１で焦点の合う被写体距離は、レンズの曲率半径により異なるため、個眼像の合焦状態は相互で異なっている。図１６の場合、個眼像Ｉ２で像の焦点が合っていることを示している。
【００６１】
演算器１０の動作は、図１，図２の実施形態の場合と基本的に同様であるが、個眼像が２つだけであるため、特に図９の実施例１に適している。処理は、個眼像が２つだけであるため、極めて簡単である。
【符号の説明】
【００６２】
１ レンズアレイ
１ａ，１ｂ レンズセット
２ 遮光壁
３ 開口アレイ
３ａ 開口部
４ 撮像素子
５ 基板
６ 筐体
１０ 演算器
１１ 画像キャプチャ部
１２ 合焦画像選択抽出部
【先行技術文献】
【特許文献】
【００６３】
【特許文献１】特開２００５−１６５０５８号公報
【特許文献２】特開２００６−２５１６１３号公報
【特許文献３】特開２００８−５２１０４３号公報
【特許文献４】特開２００７−１５８８２５号公報
【特許請求の範囲】
【請求項１】
被写体に対向する位置に設けられた、複数のレンズがアレイ配列されてなるレンズアレイと、前記レンズアレイの像面側に設けられた、前記複数のレンズのそれぞれにより略結像される前記被写体の縮小像（個眼像）の集合である複眼像を撮像する撮像素子と、前記撮像素子により撮像された複眼像を処理する演算器とからなる撮像装置において、
前記レンズアレイを構成する複数のレンズが、各々異なる曲率半径と略等しいバックフォーカスを有し、
前記演算器は、前記レンズアレイの複数のレンズを通して前記撮像素子により撮像される複眼像から所定の合焦画像を選択抽出する、
ことを特徴とする撮像装置。
【請求項２】
レンズアレイを構成する複数のレンズは略等しいレンズサグからなり、該レンズアレイを構成する複数のレンズの有効径を略等しくするために、該レンズアレイの一方の面に、各レンズに対向して略等しい円形の開口部を設けた開口アレイを更に有する、
ことを特徴とする請求項１記載の撮像装置。
【請求項３】
レンズアレイの一部に突起部を設け、該突起部を介して開口アレイとレンズアレイを接着して、前記開口アレイのレンズ光軸方向の位置を規定している、
ことを特徴する請求項２記載の撮像装置。
【請求項４】
演算器は、複眼像を複数の個眼像に分離する画像キャプチャ手段と、前記複数の個眼像から所定の合焦画像を選択抽出する合焦画像選択抽出手段とを有することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
合焦画像選択抽出手段は、複数の個眼像の中から最も焦点の合った個眼像を選択して合焦画像とする、
ことを特徴とする請求項４記載の撮像装置。
【請求項６】
合焦画像選択抽出手段は、各個眼像について画素の輝度の最高値と最低値を検出して、その差（輝度差）が最大となる個眼像を選択して合焦画像とする、
ことを特徴とする請求項５記載の撮像装置。
【請求項７】
合焦画像選択抽出手段は、複数の個眼像から、対応する画素ごとに最も焦点の合った画素を抽出し、これら画素を合成して合焦画像とする、
ことを特徴とする請求項４記載の撮像装置。
【請求項８】
合焦画像選択抽出手段は、各個眼像の中で、共通する視域をもつ画素の輝度が極値となる画素を抽出し、該画素を合成して合焦画像とする、
ことを特徴とする請求項７記載の撮像装置。
【請求項９】
合焦画像選択抽出手段は、各個眼像の当該画素の輝度変化の近似曲線を求め、該近似曲線の極値となる値を合焦の画素輝度とする、
ことを特徴とする請求項８記載の撮像装置。
【請求項１０】
合焦画像選択抽出手段は、各個眼像間の視差を検出し、該視差に基づいて対応する画素の位置を補正した後、極値検出を行う、
ことを特徴とする請求項８または９記載の撮像装置。
【請求項１１】
合焦画像選択抽出手段は、各個眼像について仮の極値検出を行って合焦に近い複数の個眼像を検出し、該複数の個眼像を用いて視差検出を行う、
ことを特徴とする請求項１０記載の撮像装置。
【請求項１】
被写体に対向する位置に設けられた、複数のレンズがアレイ配列されてなるレンズアレイと、前記レンズアレイの像面側に設けられた、前記複数のレンズのそれぞれにより略結像される前記被写体の縮小像（個眼像）の集合である複眼像を撮像する撮像素子と、前記撮像素子により撮像された複眼像を処理する演算器とからなる撮像装置において、
前記レンズアレイを構成する複数のレンズが、各々異なる曲率半径と略等しいバックフォーカスを有し、
前記演算器は、前記レンズアレイの複数のレンズを通して前記撮像素子により撮像される複眼像から所定の合焦画像を選択抽出する、
ことを特徴とする撮像装置。
【請求項２】
レンズアレイを構成する複数のレンズは略等しいレンズサグからなり、該レンズアレイを構成する複数のレンズの有効径を略等しくするために、該レンズアレイの一方の面に、各レンズに対向して略等しい円形の開口部を設けた開口アレイを更に有する、
ことを特徴とする請求項１記載の撮像装置。
【請求項３】
レンズアレイの一部に突起部を設け、該突起部を介して開口アレイとレンズアレイを接着して、前記開口アレイのレンズ光軸方向の位置を規定している、
ことを特徴する請求項２記載の撮像装置。
【請求項４】
演算器は、複眼像を複数の個眼像に分離する画像キャプチャ手段と、前記複数の個眼像から所定の合焦画像を選択抽出する合焦画像選択抽出手段とを有することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
合焦画像選択抽出手段は、複数の個眼像の中から最も焦点の合った個眼像を選択して合焦画像とする、
ことを特徴とする請求項４記載の撮像装置。
【請求項６】
合焦画像選択抽出手段は、各個眼像について画素の輝度の最高値と最低値を検出して、その差（輝度差）が最大となる個眼像を選択して合焦画像とする、
ことを特徴とする請求項５記載の撮像装置。
【請求項７】
合焦画像選択抽出手段は、複数の個眼像から、対応する画素ごとに最も焦点の合った画素を抽出し、これら画素を合成して合焦画像とする、
ことを特徴とする請求項４記載の撮像装置。
【請求項８】
合焦画像選択抽出手段は、各個眼像の中で、共通する視域をもつ画素の輝度が極値となる画素を抽出し、該画素を合成して合焦画像とする、
ことを特徴とする請求項７記載の撮像装置。
【請求項９】
合焦画像選択抽出手段は、各個眼像の当該画素の輝度変化の近似曲線を求め、該近似曲線の極値となる値を合焦の画素輝度とする、
ことを特徴とする請求項８記載の撮像装置。
【請求項１０】
合焦画像選択抽出手段は、各個眼像間の視差を検出し、該視差に基づいて対応する画素の位置を補正した後、極値検出を行う、
ことを特徴とする請求項８または９記載の撮像装置。
【請求項１１】
合焦画像選択抽出手段は、各個眼像について仮の極値検出を行って合焦に近い複数の個眼像を検出し、該複数の個眼像を用いて視差検出を行う、
ことを特徴とする請求項１０記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１１−１１８２３５（Ｐ２０１１−１１８２３５Ａ）
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願番号】特願２００９−２７６７３２（Ｐ２００９−２７６７３２）
【出願日】平成２１年１２月４日（２００９．１２．４）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願日】平成２１年１２月４日（２００９．１２．４）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]