光学画像処理装置
【課題】画像エラーを修正するための画像処理手段を有している画像処理装置によって、より高い画質が達成される光学画像処理装置を提供する。
【解決手段】光学画像処理装置は、第1画像検出器マトリクス30aに関連した複数の第1画像検出器と、第2画像検出器マトリクス30bに関連した複数の第2画像検出器と、を有する画像センサ100と、画像エラーを修正して、画像検出器マトリクスの画像検出器上の画像から全体画像300を再構成するための画像処理手段70と、画像センサ100がマイクロレンズ・フィールド10の焦点面に位置するように、マイクロレンズ・フィールド10を画像処理手段70上に実装するように設けられたマイクロレンズ・フィールド受け入れ用ユニットを、を備える。画像処理手段70は、歪みを修正するための複数の処理手段を含む。
【解決手段】光学画像処理装置は、第1画像検出器マトリクス30aに関連した複数の第1画像検出器と、第2画像検出器マトリクス30bに関連した複数の第2画像検出器と、を有する画像センサ100と、画像エラーを修正して、画像検出器マトリクスの画像検出器上の画像から全体画像300を再構成するための画像処理手段70と、画像センサ100がマイクロレンズ・フィールド10の焦点面に位置するように、マイクロレンズ・フィールド10を画像処理手段70上に実装するように設けられたマイクロレンズ・フィールド受け入れ用ユニットを、を備える。画像処理手段70は、歪みを修正するための複数の処理手段を含む。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば、携帯端末装置の小型カメラシステムの中で使用される光学画像処理装置に関する。
【背景技術】
【0002】
電子装置および光電子装置の小型化は別として、携帯端末装置(携帯電話、PDA、ラップトップなど)の小型カメラシステムの使用は、画像形成対物レンズの小型化を要求する。このための前提条件は、短い長さの画像形成物および少ない点数の光学部品(特にレンズ素子)である。しかしながら、画像センサの筋交いの減少を増やすことは、レンズの構成をより簡単にする代わりに、レンズの高解像度能力および高光強度が達成されなければならないことを必要とする。画像センサの筋交いの減少は、半導体パターン技術(より小さい光ダイオードは、同じ画像領域上の、より多数の画素数と等しい)の開発と、センサ製造コストの減少とによって支援される。既存のレンズ設計解決法は、現在の生産技術の可能性を尽くした、わずかな、しかし、複雑な(通常、非球面の)レンズ形式によって特徴付けられる。さらに、既存のレンズ設計解決法を実行するとき、そのような複雑な領域の品質管理に不十分な測定方法と、開始するために必要な非常に正確な横方向および軸方向の実装精度とによって、そのような小型カメラレンズまたは対物レンズの光学部品は、制限される。小型カメラモジュールの既存の解決法は、要求仕様、または、コストに関する集積(組み立て)業者およびユーザの期待に合致しない。
【0003】
小型カメラレンズの確立した製造方法は、超精密に処理された金型挿入器にプラスチック射出成形することによる、単一レンズおよび実装部の生成である。通常、レンズは、実装部と共に、2部品射出成形で製造される。個々の部品は、その後、プラグ挿入実装部に実装され、積極的な接続(捻り接触、接着)によって固定される。しかしながら、この方法は、十分な位置調整精度での、5×5×5mm3より小さい組み立てサイズを有する小型化された対物レンズの製造に適用されない。さらに、そのような小型部品の供給、実装および接続技術の問題が生じる。詳細には、部品の取り扱いに関する問題は、静電気(装置のわずかな重量と寸法)と、繊細な光学表面の汚染および掻き傷の危険と、のために生じる。これらの理由のため、製造費用の80%以上は、組み立て工程のために費やされる。ハイブリッド実装技術(空気マイクロ把持器と同様に、感覚的に機械的かつ電気的に支援された実装技術)において、より小さいレンズの取り扱いに関する先進的手法が存在する。しかし、この実装技術は、大量生産(例えば、携帯電話のためのカメラレンズ)に対して、大幅に費用が上昇する。さらに、より高い解像度形式のハイブリッド生産技術によって、能動的位置決め(例えば、プラスチックレンズの圧電アクチュエータ)が、光電子画像コンバータ(画像センサ)上に対物レンズを実装する許容範囲のバランスをとるために要求される。これはユニット価格の更なる増加をもたらす。
【0004】
5×5×5mm3より小さいサイズ範囲の対象物のための別の方法は、ウエハーレベル上のレンズ(WLOウエハーレベルレンズ)の製造である。ここで、それぞれの単一レンズのための「道具の先(ツールビット)」が、基板ウエハー(ウエハーレベルレンズモジュール)上における個々の部品の繰り返しUV(紫外線)複製(ステップおよび繰り返し工程)のために、使用される。「道具の先」は、超精度の処理(例えば、ダイヤモンドカット法)によって生成される。あるいはまた、常に同じ個々の部品を有する完全なツールウエハーが、超精度の処理によって生成され、その後、ウエハーレベル上におけるただ1つのUV複製ステップの中で、複製される。同じタイプの多くのレンズ、スペーサ、および窓が、このようにして、並行して製造される。その後のステップにおいて、個々のウエハー基板は軸方向に互いに接着され、多数の対物レンズを有するウエハー積層体が得られる。これは、マイクロエレクトロニクス製造の工程およびシステムを使用する並行製造技術である。小型化されたレンズ(しかしながら、従来のマイクロレンズと比べて大きい)のためのマイクロレンズのこれらの製造方法を使用する主な欠点は、適した再生産道具の高い製造コストと、例えば、材料の収縮、または、高角度点(100μmより高い)のマイクロレンズのUV複製の中の達成可能な表面輪郭の収縮による制限された精度と、である。さらに、複製性(再生産性)および品質検査に関する問題は、特に、このサイズの複雑なレンズ形式を特徴付けたまま残っている。モジュールは、これまで、他の全ての光学部品に接続された状態で、部品および製造ステップの数に依存して歩留まりが強く減少する画像形成方法を使用して、検査されるだけである。
【0005】
さらに、昆虫の複眼と同格の技術的実行を表す平坦な光学画像センサの配置が、存在している。この非常に小型のマルチ光路画像システムにおいて、光検出器(画素)はそれぞれのマイクロレンズに関連している。
【0006】
また、以下において、光検出器は、部分的に画像検出器または光ダイオードとも称される。
【0007】
それぞれのマイクロレンズに対する光検出器のオフセット(相殺)のために、小さいサイズにもかかわらず、非常に大きい視野が広がる。しかしながら、1光路当たり1つの光検出器の使用のために、光検出器フィールド(CMOSまたはCCD画像センサ)の広い領域が、適度の画像解像度能力を達成するために必要である。これは、対応する小型画像センサの製造コストをかなり上昇させる。
【0008】
特許文献1および特許文献2は、人工的複眼に基づいたマルチ光路画像システムについて説明する。ここで、1つの画像検出器が、各光路に割り当てられる、または、異なる機能を有するいくつかの画像検出器が、各光路に割り当てられる。その結果、各光路は、対象物フィールドの狭く限られた領域だけを占める。
【0009】
特許文献3および特許文献4は、人工的複眼に基づいた別のマルチ光路画像システムについて説明する。マルチ光路屈折/回折画像レンズおよび区分された視野を有する小型のデジタルカメラが、説明される。システムは、分散レンズ区域として実行されるレンズのフィールド配置から成る。感光性の画像センサフィールドは、レンズの焦点長に位置している。軸方向において、レンズフィールドの前に、傾斜側壁とレンズフィールドに関して一層大きい間隔とを有する2つの窓フィールドが、視野のサイズを指示するために使用される。光学クロストーク(混線)を抑制するために、光吸収材料の垂直壁が、隣接する光路の間に提供される。
【0010】
非特許文献1は、光学画像形成のための別のマルチ光路配置を示す。非特許文献1から、マルチ光路配置が知られている。光電子画像センサのマイクロ画像は、それぞれに関連したマイクロレンズの下の、軸方向の中心に位置している。垂直な不透明壁を有する隣接する光路は、互いに分離されている。しかしながら、この配置を使用して、小さい対象物フィールドだけが検出される。小さい対象物距離(約2m未満)に対して、同じ対象物点に関する隣接する光路の透視(視差)のオフセットの発生のため、光路ごとに、画像センサの光ダイオード群に関して画像形成しているマイクロ画像の副画素移行が、得られる。副画素移行は、超解像度アルゴリズムによって、多数の低解像度マイクロ画像から、高解像度の全体画像を計算する。この配置は、原則に従って、小さい対象物距離と小さい対象物フィールドサイズとのために使用されるだけである。さらに、この方法は、超解像度アルゴリズム(画像処理から知られている)が、高い複雑度を有するので、画像読み出しおよび処理時間が増加する。
【先行技術文献】
【特許文献】
【0011】
【特許文献1】独国特許出願 DE10 2004 003 013.8
【特許文献2】国際公開第2005/069607号
【特許文献3】米国特許第005696371A号
【特許文献4】欧州特許第0840502A2号
【非特許文献】
【0012】
【非特許文献1】J.タニダ、T.クマガイ、K.ヤマダ、S.ミヤタケ(「制限されたレンズ(Tombo)概念による薄い観測モジュールと実験的検証」応用光学40、1806〜1813ページ、2001年4月
【発明の概要】
【発明が解決しようとする課題】
【0013】
代わりの回避の技術的可能性は、1光路レンズに接続された、光電子画像センサのための非常に小さい光ダイオード(画素)の使用である。その結果、短い長さのレンズで、小さい画像筋交いは、縁部において、小さい対象物フィールド角(小さい軸外れ異常と低い窓食)をもたらし、また、小さい対象物フィールドだけを検出する欠点をもたらす。この小型化された1光路レンズのために、非常に小さい長さと十分な画質とを有する相対的に小さいレンズが、使用される。この結果、ここでも、発明の(石版の)技術が、ウエハーレベル上で回避される。しかしながら、小さい画素は、小さい感光性領域の欠点、すなわち、レンズの同じ開口絞りで、全体配置の低感度化の欠点を有する。
【0014】
まとめると、従来技術において、低背と高画質とを結合し、同時に、周知のマイクロ光学製造技術によって、優れた費用対効果で製造される画像装置の有利な構造は、存在しない、ことが注目される。
【0015】
それゆえに、本発明の主たる目的は、低背かつ高画質を達成でき、同時に、マイクロ光学製造技術によって優れた費用対効果が実現される、光学画像装置、光学画像処理装置および光学画像形成方法を提供することである。
【課題を解決するための手段】
【0016】
本目的は、請求項1に記載の光学画像処理装置により達成される。
【0017】
本発明は、少なくとも2つのマイクロレンズを有する少なくとも1つのマイクロレンズ・フィールドと、少なくとも2つの画像検出器マトリクスを有する画像センサと、を有している光学画像装置(例えば、マルチ光路画像および画像記録システムとも称される)を提供する。少なくとも2つの画像検出器マトリクス(例えば、光ダイオード群、光ダイオードマトリクス、または、光ダイオードフィールドとも称される)は、それぞれ、多数の画像検出器を含む。
【0018】
それぞれのマイクロレンズは、1つの画像検出器マトリクスと共に光路を形成するように、画像検出器マトリクスとマイクロレンズとの間の配置が存在する。画像検出器マトリクスの中心は、関連した光路のマイクロレンズ窓の図心に関して、異なる距離だけ横方向に移行されている。図心は、画像検出器マトリクス上に映し出される。こうして、異なる光路は、異なるけれども部分的に重複している検出領域を有する。2つの光路の2つの検出領域の重複部分は、画像検出器マトリクスの画像検出器ラスタ(水平方向の走査線)に関して、オフセット(相殺)方法で、光路の画像検出器マトリクス上に作像される。
【0019】
本発明の主要な考えは、対象物フィールドをいくつかの部分的領域に分割して、それぞれの部分的領域を、マイクロレンズ・フィールドの少なくとも1つのマイクロレンズで、関連画像検出器マトリクス上に作像することによって、光学画像装置を提供することが可能である、ということである。異なる光路の検出領域の重複のために、対象物フィールドの部分的領域は、光路のいくつかの画像検出器マトリクスによって、並行して検出される。
【0020】
その結果、本発明の利点は、別々の光路において、対象物フィールドの部分的領域の並行検出が、それぞれの個別の光路の短い焦点長、および、拡張された対象物フィールドのための画像装置の構築長(背高)の減少を許容する、ということである。さらに、小さい対象物フィールドに接続された短い焦点長は、全体の対象物フィールドに関して、それぞれの個別の光路ごとに、1光路当たり簡素な光学部品(例えば、低い頂点または低い角度点を有する屈折レンズ)の使用を可能にする。さらに、最大の視野が、横方向の寸法(例えば、光路の数)によって決定され、その結果、構築長、組立長、または、それぞれの個別の光路の光学的組み立ての複雑さから基本的に独立していることは、利点である。それとは別に、光路の検出領域の重複のために、高い画像解像度能力が、従来技術の人工的複眼と比較して、達成される。さらに、その低い複雑度およびサイズのために、光学装置が、確立されたマイクロ光学製造技術(レーザ刻み付け、写真製版、溶解もしくは逆溶解(リフロー)、ウエハーレベル上のUV複製)で、生成される。これらの技術は、洗練され、非常に正確で費用対効果に優れているので、大量生産に使用される。
【0021】
更なる面は、画像処理装置が、画像エラーを修正して全体画像を再構成するための画像処理手段を含むとき、より高い画質が達成される、という発見に基づいている。画像処理手段は、個別の画像の挟み込みが考慮されるように、互いに独立した全ての画像検出器マトリクスの個別の画像の画像エラーを、時間的に並行して修正し、全体像を個別の画像から再構築することを実行する、ように構成されている。
【0022】
その結果、本発明の更なる利点は、画像エラーを修正するための画像処理手段を有している画像処理装置によって、より高い画質が達成されることである。
【0023】
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の発明を実施するための形態の説明から一層明らかとなろう。
【図面の簡単な説明】
【0024】
【図1】本発明に係る第1実施形態の光学画像装置を示す模式図である。
【図2】付加的抽出格子を有する第1実施形態による対象物フィールド抽出を示す模式図である。
【図3】本発明に係る第2実施形態の光学画像装置を示す模式平面図である。
【図4】第2実施形態の光学画像装置による対象物フィールド抽出を示す模式図である。
【図5a】第2実施形態の光学画像装置の部分的領域を示す模式平面図である。
【図5b】図5の部分的領域によって考慮された対象物フィールドを示す模式図である。
【図6a】追加されたスペクトル伝達フィールド(領域パターン)を有する第2実施形態の光学画像装置を示す一部模式平面図である。
【図6b】図7の部分的領域によって考慮された対象物フィールド領域を示す模式図である。
【図7a】第2実施形態の光学画像装置の中央の対象物フィールド領域における歪みを示す模式図である。
【図7b】傾斜した入射角の下での、第2実施形態の光学画像装置の外側の対象物フィールド領域における歪みを示す模式図である。
【図8】正の樽型歪みの基本的コースを示す模式図である。
【図9】格子対象物を有する第2実施形態の光学画像装置の正方形の対象物領域の画像歪みを示す模式図である。
【図10】画像センサの受光面上の、第2実施形態の光学画像装置の主ビームおよび第3実施形態の光学画像装置の主ビームの傾斜角を示す模式図である。
【図11】対象物フィールドの最も重要な抽出原則を示す模式図である。
【図12】本発明に係る第2実施形態の光学画像装置を示す模式断面図である。
【図13】本発明に係る第3実施形態の光学画像装置を示す模式断面図である。
【図14】本発明に係る第4実施形態の光学画像装置を示す模式断面図である。
【図15】本発明に係る第5実施形態の光学画像装置を示す模式断面図である。
【発明を実施するための形態】
【0025】
図1は、本発明に係る第1実施形態の光学画像装置1000の模式図である。光学画像装置1000は、第1マイクロレンズ10aと第2マイクロレンズ10bとを有するマイクロレンズ・フィールド10を含む。画像センサ30はマイクロレンズ・フィールド10の下に位置している。この画像センサ30は、第1画像検出器マトリクス30aと第2画像検出器マトリクス30bとを含む。2つの画像検出器マトリクス30a,30bは、それぞれ、複数の(例えば、3つの)画像検出器32a,32bを含む。第1マイクロレンズ10aは、第1画像検出器マトリクス30aに関連し、第1画像検出器マトリクス30aと供に第1光路を形成する。第2マイクロレンズ10bは、第2画像検出器マトリクス30bに関連し、第2画像検出器マトリクス30bと共に第2光路を形成する。画像検出器マトリクス30a,30bの中心34a,34bは、関連マイクロレンズ10a,10bまたは関連光路のマイクロレンズ窓13a,13bの図心に関して、横方向にオフセット(相殺)されている。図心は、画像検出器マトリクス30a,30b上に映し出される。
【0026】
第1実施形態の光学画像装置1000の構造の記述に基づいて、機能が議論される。対象物800は、2つのマイクロレンズ10a,10bによって、それぞれに関連した画像検出器マトリクス30a,30b上に作像される。第1光路および第2光路は、それらの検出領域の中で重複する。マイクロレンズ10a,10bに向かった画像検出器マトリクス30a,30bの中心34a,34bの横方向のオフセットのため、2つの検出領域の重複部分は、画像検出器マトリクス30a,30bの画像検出器上にオフセット作像される。
【0027】
さらに、抽出格子はそれぞれの光路(図2参照)に関連している。第1光路の抽出格子810は、対象物800のどの対象物点が、第1光路の画像検出器マトリクス30aのどの画像検出器上に作像されるか、を説明する。そして、第2光路の抽出格子820は、対象物800のどの対象物点が、第2光路の画像検出器マトリクス30bのどの画像検出器上に作像されるか、を説明する。
【0028】
図2は、第1光路の抽出格子810と第2光路の抽出格子820とを有する対象物800の表面を示す。抽出格子810は実線によって図示され、抽出格子820は点線によって図示される。実線の交点は、第1光路の画像検出器マトリクス30aの画像検出器上に作像された対象物800の対象物セルを説明する。点線の交点は、第2光路の画像検出器マトリクス30bの画像検出器上に作像された対象物800の対象物セルを説明する。
【0029】
抽出格子は、対象物800の第1対象物セル840が、第1光路の画像検出器マトリクス30aの第1画像検出器に作像されるように選択され、かつ、第1対象物セル840に隣接する第2対象物セル850が、第2光路の第2画像検出器マトリクス30bの第1画像検出器に作像されるように選択される。光路のこの「挟み込み」によって、これまで知られている人工的複眼原則より高い画像解像度が達成される。
【0030】
以下において、本発明の別の実施形態が、図12〜図15を参照してさらに詳細に説明される。
【0031】
図12〜図15の実施形態のマルチ光路のマイクロ光学画像形成と画像記録システムは、共通して以下の特性を有する。全てが、互いの軸方向の後ろに取り付けられた1つ以上のマイクロレンズ・フィールド10から成る。マイクロレンズ・フィールド10は、数個の(少なくとも部分的に透明な基板層20,21,22、および/または、スペーサー層40の)スタック上に成型され、または、複製される。完全な積層体は、光電子画像センサ100に取り付けられる。その結果、光電子画像センサ100は、マイクロレンズ・フィールド10のマイクロレンズの焦点長(または、画像平面や焦点面)に配置される。以下において、光電子画像センサ100は、簡潔に「画像センサ」または「画像センサチップ」とも称される。マイクロレンズ・フィールド10と光電子画像センサ100との間に、透明な窓または開口と、不透明な(すなわち、吸収または反射)スペースと、を有する少なくとも1つの窓フィールド層(12,12´)が、配置されている。別の特性は、マイクロレンズ・フィールド10のそれぞれのマイクロレンズに関連している。光電子画像センサ100の少なくとも5×5個の密に実装された画像検出器のマトリクス(すなわち、画像検出器マトリクス)30が、各光路の中で生じているマイクロ画像を読み出すために使用される。画像読み取りは、この場合、発生した電磁放射(光)から電子写真流への変換を含む。それは、行と列に配列されて、光ダイオードごとに(画素ごとに)読み出される。画像解像度は、光ダイオードのサイズと数に制限される。簡単な光学画像形成が、各光路の中で生じるとき、それぞれのマイクロ画像は、それ自体、逆さであり、回転している(図4のマイクロ画像44a〜44e参照)。それとは別に、それぞれの光路(すなわち、マイクロレンズの頂点と関連画像検出器マトリクス30の中心との間の接続線)の視点400の主方向と、全体が拡大された視野のサイズとは、関連光路または関連マイクロレンズのマイクロレンズ窓の図心に関して、それぞれのマイクロレンズから関連画像検出器マトリクス30にオフセット(相殺)された中心によって、または、画像検出器マトリクス30の中心点のオフセットによって、説明される。図心は、画像検出器マトリクス30上に映し出される。さらに、マイクロレンズの焦点長と供に、それぞれの画像検出器マトリクス30の拡張が、それぞれの光路の中で伝達された対象物フィールドの範囲を決定する。
【0032】
さらに、少なくとも1つの窓フィールド11は、光がマイクロレンズ・フィールド(10)のギャップまたはスペースを通り抜けて、点在する光のように画像センサ100に達することを防止する。そうでなければ、これは画像コントラストを減少させる。
【0033】
光路分離構造(例えば、水平な窓層、または、垂直もしくは傾斜した吸収壁)の使用は、光学クロストークを防止することにおいて賢明である(いくつかの場合には不可欠である)。すなわち、光は、マイクロレンズから、隣接する光路(または、さらに離れた光路)のマイクロ画像の領域の中に作像する。光学クロストークは、異なる対象物点から、全く同じ画像点上に達する光束の重なりをもたらす。その結果、画像コントラストが減少する。それぞれの光路が他の光路と独立して働いている場合、それぞれのマイクロ画像に属している光電子画像センサ100の領域(画像センサ)30を、それぞれの光路に分類することは、有利である。一方、これは、画像センサ100のチップ上に集積されたエレクトロニクス(例えば、光路ごとに分離された回路、SoC=「チップ上のシステム」)によって、光ダイオードフィールドの読み取り領域の物理的な分類によって達成される。または、これは、対応して分離された別のデータ処理によって(例えば、FPGA上の周辺、または、パーソナルコンピュータ(PC)上のソフトウェアによって)、半導体チップの外でも達成される。それぞれは、マイクロ画像を表示する。第1方法(画像センサのチップ上の物理的な分類)の場合、対象物に特に適合した画像センサが、使用されなければならない。それとは対照的に、第2方法の場合、適合している下流の画像処理ハードウェアまたはソフトウェアを有する従来の画像センサが使用される。しかしながら、ここに、従来の画像センサ上のマイクロ画像の間のギャップの中の活性画素は、暗くて、未使用のままで残る。大部分の活性画素は、暗電流雑音を修正するために役立つ。
【0034】
隣接する光路のマイクロ画像の読み出し信号は、ハードウェアまたはソフトウェアの中で、完全な画像(例えば、図4の完全な画像再構成器60によって)を説明する。個々のマイクロ画像の能動的焦点合わせ手段は、マイクロレンズの短い焦点長、および、大きな深い焦点(または、焦点の深さ)のために必要ない。それとは別に、マイクロレンズ・フィールド10の個々のマイクロレンズの表面輪郭が、平均傾斜角に関して(特に、フィールドの湾曲と乱視に関して)修正される。これは、接線かつ矢状的方向に、焦点長を個別に適合させることによって実行される。その結果、マイクロ画像の中央における、対応する画像くぼみ部分は、画像平面に一致する。この適合によって、それぞれのマイクロレンズ・フィールド10の中のマイクロレンズの輪郭が生じる。マイクロレンズの輪郭は、回転対称から逸脱する(非不定形輪郭)。
【0035】
マルチ光路画像形成対物レンズ(マイクロレンズ・フィールド、スペース層および窓)は、マイクロ光学製造方法(UV石版、溶解処理(リフロー方法)、UV複製、レーザ刻み付け、グレー陰影、2光子写真製版)によって有利に生成される。ここで、マイクロ光学対物レンズは、光電子画像センサ100上に、直接かつ平坦に実装されるので、マイクロ光学対物レンズの軸方向の位置決め精度は非常に高い。軸方向の許容範囲は、層の厚み許容範囲によって与えられる(μmの範囲内で)。横方向の実装許容範囲は、それぞれのマスク照準器のマスクの精度、位置調整マークおよび位置調整装置によって決定される。それらは数μm(例えば、1〜2μm)である。
【0036】
本発明の1つの面によると、本発明に係る光学画像装置は、特に、1光路当たり多数の画素使用と、全体画像を説明する、または、結合される小さいマイクロ画像の画像形成とのために、例えば、特許文献1と特許文献2との中で説明されている人工的複眼の分野の従来技術と異なる。対象物フィールドの非常に限られた領域の代わりに、全ての光路は、特許文献1および特許文献2と比べて、多数倍大きい対象物フィールドを検出する。各光路において、広範囲にわたる対象物フィールド領域の画素化されたマイクロ画像が検出される。異なる光路の画素化されたマイクロ画像は、互いに挟み込まれる。この結果、より高い全体解像度能力が可能になる。さらに、1光路当たり多数の画素の使用は、製造がより容易な、より大きいマイクロレンズの使用を可能にする。
【0037】
個々の光路によって検出された対象物フィールド領域は、部分的に重複する。それでも、光ダイオード群の個々の画素上に作像された対象物は、主に分画している。この理由は、隣接する光路の抽出格子が、互いに関して単一の光路の抽出間隔(抽出格子の2つの隣接する線の間の距離)の整数倍で移行しない、ということである。マイクロレンズの短い焦点長と光ダイオードの固定サイズとにかかわらず、隣接する光路が相互作用する、密集した対象物フィールド抽出が可能である。特に、ここで、隣接する光路の抽出格子を移行するための2つの場合が、言及される。図11はこれら2つの場合を模式的に示す。対象物フィールドの中で、光学画像装置の光電子画像センサの光ダイオードによって抽出された(または、検出された)二次元領域が、断面図において、箱関数によって示される。線の種類および番号は、それぞれの光路への抽出領域の配分を指定する。一般性を制限しないで、それぞれ5つの光ダイオードが、光路ごとに示される(N=5、Nは、1光路当たりの抽出領域または光ダイオードの数)。例えば、第3光路に対して、5つの光ダイオード32aであり、第4光路に対して、5つの光ダイオード32bである。
【0038】
第1光路の光ダイオードは、番号1によって指定され、一点鎖線によって示される。第2光路の光ダイオードは、番号2によって指定され、点線によって示される。第3の光路の光ダイオード32aは、番号3によって指定され、実線によって示される。第4の光路の光ダイオード32bは、番号4によって指定され、破線によって示される。第5の光路の光ダイオードは、番号5によって指定され、近接した破線によって示される。第6の光路の光ダイオードは、番号6によって指定され、二点鎖線によって示される。異なる光路の隣接する光ダイオードは、光学画像装置によって検出された対象物の隣接する対象物セルを検出する。
【0039】
図11の上段の場合(1)は、2つの隣接する光路の抽出格子が、それぞれ、互いに関して、個々の光路の抽出間隔dAの半分だけ移行される(移行:dV)。考慮している組の1つの光路から、隣接する組のそれぞれの次の光路への抽出格子の移行dVは、単一光路において、抽出間隔の非整数倍である(例えば、{(N−(1/2)}×dA、ここで、Nは整数である)。この場合(1)は、少ない数の光路(例えば、2×2個の光路)に、または、より小さい対象物距離(50×焦点長より小さい)に関連しており、対象物フィールドのギャップ無しの等距離抽出を保証する。言い換えれば、単一光路の抽出間隔の半分の奇数倍だけ移行が行われる。
【0040】
図11の下段の場合(2)は、1光路内の全ての抽出間隔の全合計(N×dA)の半分だけ、または、光ダイオードの数(N)と光路の抽出間隔(dA)との積の半分(例えば、N×dA/2)だけ、光路または光路の光検知器マトリクスの中心の移行dVを示す。同時に、1光路当たりの光ダイオードまたは抽出領域の奇数(N)も示す。この場合(2)は、より多数の光路に関連しており、隣接する光路と協働して抽出周期を半分にし、抽出ギャップやマルチ抽出を得ない。この特性は、いくつかの利点を有する。第1利点は、構築長(マルチ光路システムさえ)の短縮化(例えば、半分化)が、一定の角度抽出で可能になる、ということである。これは、レンズによって背後に映し出された、全体画像の2つの隣接する画素の間の角距離が、維持されること、を意味する。これは、光ダイオードの同じ開口絞り(F/#)および同じサイズが、従来技術に関して想定されるとき、適用される。構築長またはマイクロレンズの焦点長の減少から、マイクロレンズ直径の減少は、一定の開口絞りまたはf番号(f/#=マイクロレンズの焦点長/マイクロレンズの直径)を得ることをもたらす。小さい足跡(受光面)を有する光電子画像センサが使用されるので、対物レンズの横方向の寸法の結果として起こる減少が、コスト削減をもたらす。更なる利点は、画像形成が、マイクロレンズの、より短い焦点長で、等しいサイズの光ダイオード上で実行されるので、角度抽出が一定に維持されたままで、感度が増加することである。周知のシステムと比較して、焦点長を短くすることによって、角度解像度能力が、一定に維持された光ダイオードのサイズの状態で減少する。さらに、角度解像度を一定に保つために、より小さい光ダイオードを有する光電子画像センサが、使用される。それぞれの光ダイオードの感度は、より大きい光ダイオードに関して減少する。
【0041】
個々の光路の挟み込みを明確にするために、図5aは、単一光路10´を有する光学画像システムの一部領域500の平面図を示す。言い換えれば、図5aはマイクロレンズ・フィールド10´の例示的配置を示す。それは、図12〜図15に示された実施形態の中の配置であり、または、並びである。光学画像システムのそれぞれの光路に、正確に1つのマイクロレンズ101〜103,201〜203,301〜303が関連している。マイクロレンズ101〜303は、マイクロレンズ・フィールド10´の中に配置されている。マイクロレンズ101〜303の輪郭は、等高線510によって表示されている。
【0042】
図5bは、この一部領域500によって観察される対象物フィールド領域800´を示す。対象物フィールド領域800´は対象物セル810に分割される。対象物セル810は、それぞれ、(光路に関連付けられたマイクロレンズ101〜103,201〜203,301〜303によって、)単一光路10´内の光ダイオード上に作像される。単一光路10´の挟み込まれた抽出格子を明確にするために、それぞれの対象物セル810は、この対象物セル810を検出するそれぞれの単一光路10´(または、マイクロレンズ101〜103,201〜203,301〜303)の指数によって指定される。その結果、隣接する対象物セルが、隣接する光路(または、マイクロレンズ101〜103,201〜203,301〜303)の光ダイオードによって、検出されることが認められる。光路の挟み込みのため、光路の抽出ギャップは、隣接する光路によって検出されることが、可能である。
【0043】
別の実施形態で、マルチスペクトル画像記録(例えば、カラー画像記録)が、実行されることは、さらに可能である。必要なスペクトル伝達フィルタは、画素ごとに、すなわち、光電子画像センサの個々の光ダイオード上に集積される(例えば、周知の「バイエル・モザイク」の中の配置)。または、光路ごとに、例えば、マイクロレンズの対物レンズ内に、または、関連画像センサ領域上に集積される。光路ごとのスペクトル伝達フィルタの集積は、従来の単一光路画像システムに関して、レンズが、光路特有の入射角のための修正に加えて、光路特有の伝達スペクトル分配に関して適合されるという利点を有する。。それとは別に、この構成において、色クロストークは、隣接する光ダイオードの間に全く起らない。これから、例えば、画像の一層高い色輝度が、視覚スペクトル(例えば、赤、緑、青)のカラーフィルタを使用するとき、結果として生じる。さらに、光学画像システムの構築長さが短縮化される。光路ごとのフィルタの集積の変形で、全ての異なるスペクトル部分に対して、対象物フィールドの一定の抽出を保証するために、抽出体系は、図4と図6aと図6bに従って使用される。
【0044】
図6aは、光学画像装置の一部領域600の平面図を示す。光学画像装置は、単一光路10´と、光路ごとに集積されたスペクトル伝達フィルタ(領域パターン)と、を有する。図6aに示された光学画像装置の平面図は、光路(または、マイクロレンズ)101〜103,201〜203,301〜303上のスペクトル伝達フィルタ、だけ異なる。それぞれの領域パターンは、正確に、1つのスペクトル伝達フィルタに関連し、それぞれの光路は、正確に、1つのスペクトル色に関連している。全ての異なるスペクトル部分に対して、対象物フィールドの一定の抽出を保証するために、異なる光路は、同じスペクトル伝達フィルタを有する。図6aにおいて、光路101,103,301,303は、斜線領域パターンと第1伝達フィルタ(例えば、赤色フィルタ)を有する。光路102,302は、水平線領域パターンと第2伝達フィルタ(例えば、緑色フィルタ)を有する。光路201,202は、波線領域パターンと第3伝達フィルタ(例えば、青色フィルタ)を有する。光路202は、点を打たれた領域パターンと第4伝達フィルタ(例えば、灰色フィルタ)を有する。
【0045】
図6bは、図6aの一部領域600から監視された対象物フィールド領域800´を示す。対象物フィールド領域800´は、対象物セル810に分割される。1つの対象物セル810は、それぞれ(少なくとも基本的には)、単一光路(マイクロレンズ・フィールド)10´内の光ダイオードに作像される。単一光路101〜103,201〜203,301〜303の挟み込まれた抽出格子と、それぞれのスペクトル伝達フィルタによる対象物セル810の適用範囲とを示すために、それぞれの対象物セル810は、それぞれの単一光路10´の識別番号101〜103,201〜203,301〜303と、フィルタパターン(斜線、水平線、波線、点線)とが提供される。隣接する対象物セル810は、隣接する光路101〜103,201〜203,301〜303によって検出された抽出格子のために、検出される。抽出格子は、画像形成装置の焦点領域の対象物側深さにある。隣接する光路(例えば、101,102,201,202)によって検出された対象物フィールド領域は、部分的に重複する、ことが明確になる。その結果、直接に隣接する画像情報(例えば、810a,810b,810c,810d)は、それぞれ、異なるスペクトル伝達フィルタ(例えば、赤色フィルタ、緑色フィルタ、青色フィルタ、灰色フィルタ)によって結合された全体画像の中で得られる。あるいは、スペクトルデータを得るために、それぞれフィルタにかけられる。例えば、対象物フィールド800´の4つの直接に隣接する領域(画像情報)810a,810b,810c,810dは、全部で4つのスペクトル伝達フィルタを含む群820を形成する。
【0046】
それぞれの画像画素または画像情報(例えば、810a)のマルチスペクトルデータ(例えば、1色当たり1つの灰色値)は、関連スペクトル域または画像情報(例えば、810a)の物理的に記録された値の、および、残っているスペクトル域の、または、隣接および/または周囲の画素(例えば、810b,810c,810d)の画像情報(例えば、810b,810c,810d)の値の、重み付けされた補間によって補間される。スペクトル域またはスペクトル伝達フィルタは、各画素に関連付けられる。光路ごとの、スペクトル伝達フィルタの集積の変形、すなわち、各光路は自身のスペクトル伝達フィルタを含む。隣接する光路は、好ましくは、異なるスペクトル伝達フィルタを含む。対照的に、それぞれの光ダイオード上にスペクトル伝達フィルタを集積することは、製造中に取り扱い易い、より大きいスペクトル伝達フィルタが使用される、という利点を有する。ここで、示された変形に対して、スペクトル伝達フィルタが、光路ごとに、それぞれの光路の画像センサ領域上に集積される。
【0047】
図12は、第2実施形態の光学画像装置1200を示す。画像マイクロレンズ10は、全体に層厚みを有する、透明または少なくとも一部透明な基板層20,21,22の積層体上の二次元フィールドの中に配置される(一次元配置も可能である)。層厚みは、それぞれの材料(ガラス、プラスチック)のマイクロレンズの焦点長に対応する。透明な基板層20,21,22の裏に、光電子画像センサ100が、二次元フィールドに配置される多数の光ダイオード30´と供に、(例えば、マイクロレンズ10の焦点面に)配置される。光ダイオード30´は、マイクロレンズ・フィールドの光路分割に従って、光路のそれぞれのマイクロ画像のために、少なくとも5×5個の光ダイオード30´の別々の群に分割される。これらの群は、それぞれ画像検出器マトリクス30または光ダイオードフィールド30を形成する。
【0048】
マイクロレンズ・フィールド10の下に、窓フィールド11が位置している。基板層20と基板層21との間に、第1窓フィールド12が位置している。第2窓フィールド12´は、基板層21と基板層22との間に位置している。基板層22の下側に、画像センサ100が実装されている。画像検出器マトリクス30の中心は、関連光路のマイクロレンズ窓の図心に関して、オフセット(相殺)された中心を含む。図心は、画像検出器マトリクス30上に映し出される。
【0049】
構造記述に基づいて、機能が説明される。それぞれの光路の視点400の主方向は、それぞれの光路のマイクロレンズ窓の図心に関して、画像検出器マトリクス30の中心のオフセットによって説明される。
【0050】
それぞれの画像検出器マトリクス30の拡張は、マイクロレンズの焦点長と共に、それぞれの光路の中で伝達された対象物フィールド領域を決定する。隣接する光路によって検出された対象物フィールド領域は、相互に、少なくとも部分的に重複する。光路の2つの粗い抽出格子は、より密集した新しい抽出格子を形成するために、相互に補い合う。考慮されている光路の抽出格子は、例えば、考慮されている光路の焦点領域の深さ(または、焦点領域の深さの平面)における、それらの対象物点の全体である。対象物点は、考慮されている光路の画像検出器マトリクス30の個々の画像検出器上に作像される。図2、図4、図5aおよび図5bは、この特性、すなわち、隣接する光路の挟み込みを示している。マイクロレンズ・フィールド10の下に直接に窓フィールド11を使用することは、散乱光を抑制するために有利である。そうでなければ、散乱光は、マイクロレンズのギャップを通過する。さらに、不透明な(吸収または反射する)材料で作られた、少なくとも2つの水平な窓フィールド12,12´が、光路間の光学クロストークを防止するために使用される。透明基板層20,21,22は、好ましくは、ガラス、プラスチック、または、無機の共重合体(例えば、ORMOCER)で作られている。ここで示されたことに加えて、スペクトル伝達フィルタ(例えば、光路ごとに、赤色フィルタ、緑色フィルタ、青色フィルタ)のフィールド型配置は、窓層(窓フィールド)11とマイクロレンズ10との間に直接に構造化され、マルチスペクトルの画像記録を可能にする。
【0051】
光学画像装置1200は、単層の組み立て、簡素な製造技術、および、それらに繋がった安定性によって、特徴付けられる。レンズは、光電子画像センサ100とは別に製造され、その後のステップにおいて、位置調整マークによって、ウエハーレベル上にレンズが実装される(一のウエハー上に多くの光電子系が実装されるのと並行して、他のウエハー上に多くの光学系が実装される)。あるいは、個々のレンズは、光学ウエハー接合から切断され、個別にそれぞれの光電子画像センサに実装される。固定は、例えば、接着、はんだ付け、または、陽極接合によって実行される。また、ハイブリッド製造技術が可能である。光学部品は、多数の光電子画像センサ100を有する光学ウエハー上に、段階的に組み立てられる。それらの関連マイクロレンズに関して(または、関連光路もしくは関連マイクロレンズのマイクロレンズ窓の、画像検出器マトリクス30上に映し出された、図心に関して)、画像検出器マトリクス30の中心点のオフセットを示すために、図3において、第2実施形態の二次元画像形成および画像記録システムの簡略な模式平面図が示される。ここで、フィールド型に配置されたマイクロレンズ10が示される。マイクロレンズ10の輪郭は等高線によって示される。そして、マイクロレンズ10は、光電子画像センサ100の光ダイオード(画像検出器マトリクス30)の群を、(それぞれの光路のマイクロレンズ窓またはそれぞれのマイクロレンズの図心に関して、)軸方向に基本的に横方向にオフセットする。図心は、画像検出器マトリクス30上に映し出される。
【0052】
さらに、第2実施形態と他の可能な実施形態は、光路ごとに、マイクロ画像信号の電子前処理のためのユニット(画像処理装置)70を含む。画像処理装置70は、任意に、光電子画像センサ100の回路に集積される、または、光電子画像センサ100の外で下流回路に接続される。
【0053】
ユニット70が、以下ににおいて、「画像処理装置」としても参照される。
【0054】
例えば、以下において、画像処理装置70のハードウェア実行のための4つの変形が、光学画像装置に接続された状態で示される。
【0055】
1.画像処理装置70は、光電子画像センサチップ100の外側周辺部(例えば、光電子画像センサチップ100が配置されているのと同じ印刷回路基板上に配置されたFPGA)に配置されている。すなわち、画像処理装置70は、画像センサチップ100上に配置されていない(オフチップ)。光電子画像センサチップ100は、わずかな出力しかない。完全な画像マトリクス(画像検出器マトリクス30の画像検出器30´によって検出された全ての画像情報の全体)は、出力されて、その後、(時間的に直列に)一緒に処理される。
【0056】
2.画像処理装置70は、光電子画像センサチップ100の外側周辺部に配置されている。しかし、光電子画像センサチップ100は、多数(少なくとも画像検出器マトリクス30と同じ数)の出力を有する。ここで、歪みの修正と、それぞれのマイクロ画像のための更なる画像前処理とは、別々に実行される。仮に、適用されるならば、両者は、時間的に並行して実行される。
【0057】
3.画像処理装置70は、光電子画像センサチップ100(例えば、「ASIC(応用仕様集積回路))上に配置されている。しかし、光能動的領域の外側に配置されている。完全な画像マトリクスは、光電子画像センサチップ100内の光能動的領域から画像処理装置70に移送され、その後、(時間的に直列に)一緒に処理される。
【0058】
4.画像処理装置70は、光電子画像センサチップ100(例えば、ASIC)上に配置され、一部(すなわち、マイクロ画像処理手段50)は、画像検出器マトリクス30のギャップの中に配置されている。この場合、画像検出器マトリクス30の画像処理の一部は、別々に、時間的に並行して実行される。それとは別に、必要な回路を光能動的領域に集積することによって、シリコン領域が抑えられる。すなわち、マイクロ画像処理は、画像検出器マトリクス30の間のマイクロ画像処理装置によって、それぞれの画像検出器マトリクス30ごとに、別々にかつ時間的に並行して実行される。
【0059】
例えば、FPGA、ASICなどの中の画像処理装置70のハードウェア実行の場合、光路ごとの歪みの修正は、「時間的に並行して」実行されるだけである。特性「時間的に並行して」は任意である。高い画像繰返し速度に関して、ハードウェア実行のこの実施形態は好まれる。しかし、ソフトウェアに基づいた修正も、例えば、PCに接続された状態で実行される。
【0060】
画像処理装置70は、第2実施形態に関して説明されるべきである。それは、光路ごとに、マイクロ画像の歪みの、ハードウェアおよび/またはソフトウェアで実現された電子補正を実行する。
【0061】
増加する入射角を有する(すなわち、対象物フィールドの外縁域の)単一の画像形成レンズ(例えば、単一の平凸のレンズ)による画像形成と傾斜入射光とのため、画像歪みの増加が起こる。これは、傾斜した入射角を有する正方形の対象物範囲が、ダイヤモンド形をした画像領域の中に作像される、という事実をもたらす。
【0062】
図7aは、第2実施形態の中央の対象物フィールド領域における歪みの質的図を示す。正方格子に配置されている対象物セルは、傾斜した入射角の下で、より小さい半径の画像座標の中に作像される。その結果、樽形をした歪みが生じる。
【0063】
図7bは、傾斜した入射角(ここでは、対象物フィールドの中の筋交いの角度が38°)の下で、歪みが、さらに、強く非対称的になることを示す。図7aと図7bの効果は、視覚化目的のために強く誇張して示される。
【0064】
図8は、正の樽形歪みの基本コースを示す。これは、軸近傍の(すなわち、理想的な)歪みのない衝突高さ(「理想的な衝突高さ」)と比較した、画像平面の中の主ビームの半径の高さ(「現実の衝突高さ」)によって示される。「現実の衝突高さ」は、対象物フィールドの中の入射角(AOI)に依存している。画像形成が、入射角の増加に従って、衝突高さが小さくなる傾向にあることは、明白である。異なる光路のマイクロ画像上に作像された隣接する対象物点は、再び、全体画像の中の隣接する画像点の中にまとめられなければならないので、マイクロ画像の均等化または修正が賢明である。さもなければ、入射角に対応して増大している歪みの結果として、光路ごとに、画像検出器マトリクスの中心が、全体画像の縁に向かうそれぞれの光路(いわゆる、軸外れ光路)のマイクロレンズ窓の図心に関して、横方向に移行しているため、画像情報の間のオフセット(相殺)が、より多く生じる。その結果、マイクロ画像の誤った接続と減少した解像度とが生じる。マイクロ画像の信号は、集積回路(例えば、ASIC、SoC)、または、下流の回路(例えば、FPGA、CPU)のいずれかの中のハードウェア部品、および/または、ソフトウェア部品によって、直接に回転され、逆転にされ、修正される(すなわち、例えば、図4の歪み修正器50によって、歪みに関して修正される)。それとは別に、同じ系列内において、言い換えれば、歪み修正器50によって、マイクロ画像の中の固定パターン雑音と、照度の不均一性(陰影)とが、修正される。この画像処理の並行化の可能性は、例えば、応用仕様集積回路(ASIC)によって、短い計算時間と、全体画像の高い繰返し速度とを可能にする。
【0065】
歪みを修正して、個々のマイクロ画像から全体画像をまとめるためのユニットは、図4および図9に示され、これらの2つの図に関して詳細に説明される。
【0066】
図4は、マイクロ画像を修正して、マイクロ画像から全体画像300を再構成するための下流のユニット50,60,61を有する第2実施形態の光学画像装置を示す。拡張された対象物フィールド領域(例えば、焦点領域の深さ)に配置された対象物800は、光学画像装置の数個の光路によって、サイズに従って検出される。マイクロレンズ・フィールド10の個々のマイクロレンズによって作像された対象物フィールド領域は、相互に少なくとも一部重複する。それでも、画像検出器マトリクス(30a〜30e)上に作像された対象物領域(44a〜44e)は、主に分画されている。すなわち、既に画像検出器マトリクス(30a〜30e)上に作像されている対象物領域(44a〜44e)は、好ましくは、別の画像検出器マトリクス(30a〜30e)上に作像されない。この理由は、隣接する光路の抽出格子が、例えば、光路内の全ての抽出領域の完全な合計の半分だけ、相互に関して移行されるからである。抽出領域は、奇数の抽出領域または光ダイオードを有する。密集した対象物フィールド抽出は、マイクロレンズ10の短い焦点長と光ダイオード30´の固定サイズにもかかわらず、可能である。
【0067】
図4は、さらに、画像処理手段70を有する画像前処理を示す。画像処理手段70は、画素群または画像検出器マトリクス(30a〜30e)の記録されたマイクロ画像から、全体対象物800の完全で歪みのない画像300を形成するために必要である。個々のマイクロ画像30a〜30eは、画像処理手段70の第1処理手段(「マイクロ画像インバータ」)51の中で、水平方向および垂直方向に鏡像される(180°回転に対応する)。画像処理手段70の第2処理手段(「均等化または修正ステージ」)52の中において、マイクロ画像の画素値は、位置変換(例えば、x座標とy座標との双一次変換)によって、離散的格子構造から、連続した仮想座標面に変換される。変換パラメータは、光学設計データと模擬実験から知られる。その結果、遠近画法、画像形成拡大の変化、および、画像エラーによる画像歪みは、修正される。追加的補間によって、歪みのない画素値は、光路ごとに、新しい離散的格子(31a〜31eの中のx´,y´)上に作像をされる。処理手段51,52の中で実行される処理ステップは、好ましくは、光路ごとに並行して実行される。適合した光電子画像センサ100の使用で、それぞれの各光路ごと存在する回路モジュール内の第1処理手段51と第2処理手段52とを、画像センサ100のチップ(例えば、ASIC)上に直接に集積することは、処理過程の加速のために有利である。対応する回路の配置のために、隣接する光路の画像検出器マトリクス30の間の光学的に不使用のギャップが、提示される。全てのマイクロ画像(31a〜31e)の画素値の溶融(または、全体画像の再構成)は、選択的に、略ハードウェアで、すなわち、光電子画像センサのチップ(例えば、FPGA)の周辺部において電子的に、または、略ソフトウェアで、すなわち、外部的に接続されたCPU(例えば、PC)内だけで、行われる。
【0068】
画素値の溶融は、画像処理手段70の第3処理手段(「全体画像再構成器」)60によって、実行される。第3処理手段60は、固定パターンに従って、画素値を、歪みのないマイクロ画像31a〜31eから最終画像マトリクス300の中に、再分類を実行する。固定パターンは、個々の光路の抽出格子の挟み込みによって与えられる。
【0069】
図9は、傾斜した入射角の下で、画像形成における歪みの結果として、格子対象物800を有する正方形の対象物領域の画像歪みを示す。図9の左側は、比較例として、歪み修正のための第2処理手段52を有さない格子対象物800の再構成を示す。図9の右側は、歪み修正のための第2処理手段52を有する格子対象物800の再構成を示す。
【0070】
図9の左側では、マルチ光路画像および画像記録システムによる、または、光学画像装置による画像形成を含む画像記録系列と、マイクロ画像(ここでは、3×3個)の第1処理手段51による後続の変換とが、示される。第2処理手段52が無い結果として、マイクロ画像32は、まだ歪んでいる。以下のことは、対象物距離に依存する視差のオフセットを補償するために、(例えば、画像処理手段70の「視差補償器」61による)マイクロ画像32の仮想移行化である。最終的に、全てのマイクロ画像32の第3処理手段60よる画素値の溶融は、全体画像320になる。歪みのため、異なるマイクロ画像の細かい部分は接続できない。対象物800は、全体画像320によって十分正確に表示されない。
【0071】
これとは対照的に、図9の右側では、画像処理系列が、歪みを修正するためのステージ(均等化または修正ステージ52)と共に、示される。その結果、変換されたマイクロ画像31は、歪みがなく、視差補償器61(マイクロ画像の仮想移行)による視差補償、および、全体画像再構成器60による全てのマイクロ画像の画素値の溶融の後に、対象物800の十分正確な表現を表示する全体画像300を形成する。
【0072】
特許文献3と特許文献4のシステムとは対照的に、本発明に係る実施形態において、マイクロ画像の歪みの光路ごとの修正、および、マイクロ画像の画素値の補間が、実行される。その結果、全体画像における解像度能力は、区分化によって減少しない。
【0073】
歪みの適切な修正、および、マイクロ画像を全体画像に再構成することを可能にするために、対象物スペースの中の作動距離の電子的設定が使用される。横方向に離れて区切られた2つの光路から、隣接する2つの対象物点を抽出するとき、異なる光路間の視差のため、小さい対象物距離で、隣接する画像情報のオフセットが生じる。このオフセットは、部分的な画像情報の(「仮想」)移行によって修正される。ここでの移行は、対象物距離と、光路間の基本長(すなわち、それぞれの光路の光検出器マトリクスの中心点の間の距離)とに依存する。基本長が知られているので、(例えば、適した独立のギャップセンサで、)対象物距離を測定することによって、オフセットが電子的に後修正される。光学画像形成および画像記録システムは、それぞれの対象物距離ごとに、歪みのない方法で(例えば、図4の視差補償器61によって)、溶け合う(マイクロ画像を全体画像に溶融すること)前に、マイクロ画像の仮想オフセットの変化によって、全体画像に焦点を当てる。
【0074】
作動距離の設定は、離散的ステップの中で、それぞれのマイクロ画像の画像画素の数に従って、実行される。しかしながら、マイクロ画像の均等化または修正のために、(歪みの無いマイクロ画像への)座標変換と、(離散的画素位置を有する歪みの無いマイクロ画像の信号強度の)補間とが、必要である。作動距離の設定は、より微細な等級であっても、仮想の副画素移行によって、実行される。
【0075】
言い換えれば、小さい(100×焦点長より小さい)対象物距離で、部分的に重複している対象物フィールド領域の間の画角(視差)のオフセットが、隣接するマイクロ画像の中で起こるので、同様のことが、マイクロ画像の溶融において、マイクロ画像の細部の規則正しい連続した接続を保証するために、考慮されるべきである。仮に、(平均)対象物距離が知られているならば、全体画像再構築器60の中の分類アルゴリズムは、数値表に応じて、単一光路のマイクロ画像を、相互に事実上横方向にオフセットすることによって、変化される。(平均)対象物距離は、例えば、測定ファインダーカメラと同様に、視差補償器61の中の外部センサ源によって決定される。これは、副画素補間によって、1画素の等級、または、さらに微細な等級でも、実行される。全体画像300の縁では、挟み込まれた抽出格子のため、関連対象物フィールドセルが、マイクロレンズ・フィールド10の縁を超えて配置された外れた隣接光路によって検出されるので、「空白の画素値」が起こる。
【0076】
図13は、第3実施形態の光学画像装置1300を示す。光学画像装置1300は、例えば、5つの画像検出器マトリクス30を有する画像センサ100を含む。対象物に面している画像センサ100の一方の面(または、上面)には、透明な基板層22が配置されている。基板層22の上には、第1窓フィールド12´が配置されている。第1窓フィールド12´の上には、別の透明な基板層21が配置されている。基板層21の上には、第2窓フィールド12が配置されている。スペーサ層40は、第2窓フィールド12の上に配置され、マイクロレンズ・フィールド10は、このスペーサ層40内に逆さに設置されている。すなわち、マイクロレンズ・フィールド10のマイクロレンズの平面側は、対象物に向けられ、一方、マイクロレンズの曲面側は、画像センサ100に向けられている。第1窓フィールド11は、マイクロレンズフィールド10の上側に配置されている。第1窓フィールド11の上には、別の基板層20が配置されている。基板層20は、上面側に第2窓フィールド11´を有している。フィルタ層200は、第2窓フィールド11´の上に配置されている。
【0077】
以下において、第3実施形態の光学画像装置1300の機能および利点が説明される。光学画像装置1300において、少なくとも1つの基板層20を有するマイクロレンズ・フィールド10が、透明な基板層21,22の基本的積層体を有するスペーサ40に逆さに取り付けられるので、第2窓フィールド11´は、レンズから分離され、透明な基板層20の前側に位置する。これは、第2実施形態の光学画像装置1200と比較して、以下の利点がある。
【0078】
第1の利点は、平凸レンズに関連する第2窓フィールド11´の上流の位置によって、光学画像エラー(特に、コマ(彗星の頭部の雲状のもの)、乱視、および画像フィールド効果)が部分的に補償される、ということである。そうでなければ、それぞれの単一光路内のより大きい数の光学要素(レンズ)が必要である。対物レンズによる大きな入射角から作像されるべき光410は、実際のレンズ領域に達する前に、フィルタ層200によって屈折され、基板層20の中に入射する、という更なる利点がある。大気と比較して、基板層20の、より高い屈折率のため、ビームは、より小さい角度の下、レンズ輪郭を通過する。それは、光学画像エラー(異常)の減少をもたらす。
【0079】
さらに、第2実施形態の場合、対象物フィールドの中の画角に依存して、画像平面上への実際に同じサイズの主ビームの入射角が生じる(図10参照)。特に、大きい入射角で、これは、光電子画像センサ100の3次元画素構造と、隣接する光ダイオード30´の間のクロストークとによって、陰影をもたらす。これらの効果は、相対的照度の強さと画像内のコントラストとを減少させる。それとは対照的に、第3実施形態の場合、中間フィールド(それぞれの画像検出器マトリクス30の中心の光ダイオードによって検出される、対象物フィールドの対象物セル)の主ビームは、小さい角度の下で、各光路の中で、光電子画像センサ100の光能動的領域上に衝突する。光電子画像センサ100は、画像の中の相対的照度の強さに関する有利な効果を有する。
【0080】
図10は、75°の完全な視野角度を有するマルチ光路画像および画像記録システムのための光電子画像センサ100の平面の正規化直径座標を横切って記載された、光電子画像センサ100の平面上のそれぞれの主ビームの入射角(度)を示す。データ列1は第2実施形態の光学画像装置1200を使用して得られ、データ列2は第3実施形態の光学画像装置1300を使用して得られた。
【0081】
さらに、マイクロレンズ・フィールド10の前側が平らに設けられているので、マイクロレンズ・フィールド10は、光学フィルタ200(例えば、視覚光における応用のためのIR帯域阻止フィルタ)の前側に、逆さに実装される。および/または、スペクトル伝達フィルタ(例えば、光路ごとの、赤色フィルタ、緑色フィルタおよび青色フィルタ)のフィールド型配置は、集積されている。さらに、平らな境界領域またはインタフェースは、反射防止(例えば、ARコーティング)のために、および、環境の影響から後続の第2窓フィールド11´を保護すること(例えば、耐摺り傷のコーティング)のために役立つ。あるいはまた、スペクトル伝達フィルタのフィールド型配置は、第1窓フィールド11とマイクロレンズフィールド10との間で直接に構造化される。
【0082】
フィールドとして設けられたスペーサ40は、不透明な材料(例えば、プラスチック、深くエッチングされたシリコン)、または、透明な材料(例えば、プラスチック、ガラスまたは無機の有機ポリマー(例えば、ORMOCER))のいずれかで作成されることが勧められる。ギャップは、マイクロレンズと比較して低屈折率を有する材料(例えば、空気、真空引きされた空気、窒素または同様のもの)を含む。その結果、焦点合わせがレンズによって達成される。スペーサ40のために透明な材料を使用するとき、いくつかの場合において、基板層21の前側の第2窓フィールド層12が、光路間の光学クロストークを防ぐために必要である。さらに、第1窓フィールド12´が、いくつかの場合において、同じ理由のために必要である。さらに、追加の窓フィールドが、光路間のクロストークを最小限にするために導入されてもよい。さらにまた、第2実施形態においても、不透明な材料(例えば、光吸収物質、または、深くエッチングされたシリコン)で作成された、垂直方向に傾斜した壁が、光学クロストークを抑制するための水平な窓フィールド12,12´の代わりに適している。しかし、垂直方向に傾斜した壁は、技術的に、より費用および手間がかかる。軸方向(垂直方向)の光路分離構造の場合において、軸方向の光路分離構造が、マイクロレンズ・フィールド10と基板層20とを実装するための安定した枠組みを代表する限り、基板層21,22は省略されてもよい。そして、光束は、それぞれの充填媒体(例えば、空気、真空引きされた空気、窒素または同様のもの)の中で、軸方向にマイクロレンズ10の後で、焦点が合わせられる。
【0083】
第2実施形態と比較して、逆さの組み立てによって生じた空洞とスペーサ40とは、変更された組み立ておよび接続技術を引き起こす。フィルタ層200、基板層20、窓フィールド11,11´およびマイクロレンズ10の積層体は、窓層12,12´を有する基板層21,22のスペーサ40の積層体から分離して製造されてもよい。2つの部品は、マークによって、ウエハーレベル上で正確に位置調整され、相互に接続(例えば、接着、はんだ付け、または、陽極接合)される。完全なマイクロレンズの対物レンズは、任意に、ウエハーレベル上で、あるいは、光電子画像センサ100上の切断された単一対物レンズの中で、位置調整または接合される。あるいはまた、光学部品は、多数の光電子画像センサを有する光学ウエハーの上に、ステップ順に、または、層順に組み立てられる。
【0084】
マイクロレンズの対物レンズを通過する有効光の伝達を増加させるために、マイクロレンズ10の曲面上と基板層21の前側表面上とに、反射防止被覆をすることは利点がある。
【0085】
図14は、第4実施形態の光学画像装置1400を示す。図14において、3つのマイクロレンズ・フィールド10,101,102が、窓フィールド11´の周りに、事実上、対称的配置で、軸方向に順に使用される。また、3つより多いマイクロレンズ・フィールドを使用することも可能である。凸平面レンズから成る第1マイクロレンズ・フィールド10は、薄い基板層20の上面(対象物に面している側の面)に配置されている。窓フィールド11は、基板層20とマイクロレンズ・フィールド10との間に、構造化されている。薄い基板層20の下には、第2マイクロレンズ・フィールド101が配置されている。第2マイクロレンズ・フィールド101のレンズは、ここでは、凹平面レンズとして実行される。それに続く基板層21の上面側には、すなわち、基板層21とマイクロレンズ・フィールド101との間には、各光路の中の実際のシステム窓を代表する窓フィールド11´が、配置されている。窓フィールド11´を前側(対象物に面している側)に有する基板層21は、基板層20の後側(対象物から離れている側)のマイクロレンズ・フィールド101の残りの層に直接に接続されている。その結果、単一画像形成対物レンズが、結果として生じる。基板層21の後側面には、別の水平窓層12が配置されている。水平窓層12は、光学クロストークを抑制するために役に立つ。別の凸平面マイクロレンズ・フィールド102は、基板層21の後側に形成されている。その結果、得られた積層体は、光電子画像センサ100上に、軸方向空間構造物(スペーサ)41によって固定されている。スペーサ41は、マルチ光路対物レンズの縁上に設けられている。また、スペーサ41は、光路ごとに設けられている。スペーサ41の材料として、特に、ガラス、プラスチックまたは金属が使用される。材料は、不透明であるべき、または、その後の実装ステップで不透明にする(例えば、ガラスを使用するときは、光吸収物質によって黒くする)べきである。それぞれの光ダイオード群30は、マイクロレンズ・フィールド10,101,102の関連マイクロレンズと比較して、横方向オフセット(ピッチ差)を有する。横方向オフセットは、対象物フィールドの中で、それぞれの光路の平均観測方向を与える。光学ビームは、マイクロレンズを通過して、関連光ダイオードマトリクス30の中心で、光ダイオードに衝突する。
【0086】
構造の記述に基づいて、光学画像装置1400の機能および利点が、第4実施形態に従って説明される。異なるマイクロレンズ・フィールド10,101,102は、例えば、材料の異なる分散特性による色彩の画像エラーを修正するために、異なる材料(異なるガラス種類、プラスチック、無機の有機的ポリマーなど)から形成される、または、割り当てられる。さらに、1つ以上のマイクロレンズ・フィールド10,101,102が、色消しの要素のフィールドとして、設けられてもよい。対物レンズの縁部に取り付けられた不透明な軸方向スペーサのため、マルチ光路画像システムと光電子画像センサ100の感光性領域の両方が、外側から来る散乱光から保護される。さらに、マイクロレンズ・フィールド10,101,102は、相互に異なる中心距離を有する。その結果、隣接する光路間の個々のマイクロレンズ10,101,102の頂点1420間の軸方向接続直線1410は、図14の光学画像装置1400の中のように、角度を取り囲み、平行でない。
【0087】
上で説明された組み立てのため、全ての光路において、小さいマイクロ対物レンズが、生じる。マイクロ対物レンズは、それぞれの関連対象物部分の画像を、光電子画像センサ100の関連光ダイオード群30の上に写像する。ここで、明らかに、中間像を有する2ステージ画像形成は、全体対物レンズの最小可能構築長を得るために使用ない。図14の3つのマイクロレンズ・フィールド10,101,102の配置は、それぞれの光路内の(歪み、色彩エラー、およびコマのような)光学画像エラーを減少させ、かつ、他の実施形態と比較して、光学解像度能力を増加させるために、有利である。特に、この第4実施形態を使用して、樽形歪みは大きく修正される。その結果、全体画像の解像度能力が、歪みの結果として、大きな対象物の画角に対して減少しない。それとは別に、増加する複雑さのため、光学光強度の増加(f番号の減少)が可能である。
【0088】
図15は、第5実施形態の光学画像装置1500を示す。光学画像装置1500は、第4実施形態とは対照的に、基板層20の上面に、マイクロレンズ・フィールド10を含む。マイクロレンズ・フィールド10は、屈折の自由形式表面の第1フィールドとして設けられている。基板層21の下面には、マイクロレンズ・フィールド102を含む。マイクロレンズ・フィールド102は、屈折の自由形式表面の第2フィールドとして設けられている。屈折の自由形式表面のフィールドは、一般に、マイクロレンズ・フィールドである。個々のレンズパラメータ(すなわち、窓の形式およびサイズも)は、光路ごとに(または、自由形式表面ごとに)、異なる。屈折の自由形式表面の第1フィールド10と関連窓フィールド11とは、薄い透明な基板層20の上に配置されている。基板層20の後側に、凹平面マイクロレンズ・フィールド101が配置されている。軸方向に続く基板層21の前側に、窓フィールド11´が配置されている。窓フィールド11´を前側に有する基板層21は、基板層20の後側のマイクロレンズ・フィールド101の残りの層に、直接に接続されている。その結果、単一画像形成対物レンズが生じる。基板層21の後側面には、水平な窓シート12および屈折の自由形式表面の第2フィールドが配置されている。水平な窓シート12は、光学クロストークを抑制するために役立つ。異なるマイクロレンズ・フィールド(または、屈折の自由形式表面フィールド)10,101,102は、例えば、材料の異なる分散特性によって色彩画像エラーを修正するために、異なる材料(異なるガラス種類、プラスチック、無機の有機的共同重合体など)から成る。さらに、1つ以上のマイクロレンズフィールド(または、屈折の自由形式表面フィールド)10,101,102は、無色の要素のフィールドとして設けられる。マルチ光路画像形成対物レンズは、光電子画像センサ100の軸方向間隔構造体(スペーサ)41によって固定されている。これらのスペーサ41は、マルチ光路対物レンズの縁に設けられているけれども、任意に、光路ごとに設けられてもよい。材料として、特に、ガラス、プラスチックまたは金属が使用される。材料は、不透明であるべき、または、その後の実装ステップで不透明にする(例えば、ガラスを使用するときは、光吸収物質によって黒くする)べきである。
【0089】
一般に、焦点は、非球面レンズおよび屈折自由形式表面に対して、入射光線が、(例えば、画像センサ100の主表面に)常に束ねられる点である。
【0090】
レンズの縁に取り付けられた、不透明かつ軸方向のスペーサ41によって、マルチ光路画像システムと光電子画像センサ100の感光性領域の両方が、横方向から入射する散乱光から保護される。それぞれの光ダイオード群30は、マイクロレンズ・フィールドまたは屈折自由形式表面フィールド10,101,102からの、関連マイクロレンズまたは屈折自由形式表面に関して、横方向オフセット(ピッチ差)を有する。横方向オフセットは、対象物フィールドの中のそれぞれの光路の視点または監視の平均方向を定義する。
【0091】
構造に基づいて、第5実施形態の機能と利点が説明される。図15に示した第5実施形態の光学画像装置1500は、図14に示した第4実施形態の光学画像装置1400と比較して、より高い光学的に十分な要素を有する。これは、それぞれのマイクロレンズ・フィールドの代わりとして、屈折形式表面の少なくとも1つのフィールド型配置の使用によって、達成される。例えば、図15の光学画像装置1500において、屈折自由形式表面の2つのフィールド、つまり、屈折自由形式表面の第1フィールド10と屈折自由形式表面の第2フィールド102とが、使用される。各光路内のこれらの屈折自由形式表面の横方向の拡張は、屈折自由形式表面と比較して、より大きい(完全な)マイクロレンズのそれぞれの光ダイオード群30に属している点灯された領域より実質的に大きくない。この理由のため、光ダイオード(光ダイオードマトリクス)群30は、相互に隣接してまとめられ、密集した状態で配置される。それは、マイクロレンズの使用と比較して、光電子画像センサ100の、より小さい能動領域(または能動表面)および製造コストの減少を意味する。
【0092】
第4実施形態の光学画像装置1400に関して既に言及したように、第5実施形態の光学画像装置1500も、第4実施形態の中で言及した利点を有する窓フィールド11´の周りに、殆んど軸対称の配置が、光学解像度能力を増加するために使用される。示された配置において、歪みは、主に、光路内の軸方向に対称的な光学的組み立てによって強く減少される。傾斜した入射光の下、光路ごとの、画像エラーの修正の最適化の結果として、接線で矢状縫合のマイクロレンズパラメータの独立した適合が好ましい。しかしながら、1光路当たり1つの(従って、非無定形の)屈折自由形式表面による画像形成は、接線方向で矢状縫合の方向に、異なる画像形成拡大を、その都度、発生する。それは、それぞれのマイクロ画像の単一軸歪みを導く。この歪みは、光路ごとに、(例えば、図4の第2処理手段52を使用して、)画素値の位置変換および補間によって有利に修正され、隣接する光路の画像細部の接続(適する相互接続)、および、全体画像の高解像度能力が保証される。また、図15に示すように、1光路当たり1つの第2屈折自由形式表面が、傾斜した入射光の下で、光路ごとに、画像エラーの修正と同時に、接線方向で矢状縫合方向において、画像形成拡大の変化を、光学的に修正するために使用される。
【0093】
屈折自由形式表面10,102は、より大きい2円錐形マイクロレンズ(すなわち、表面輪郭を通した2つの縦断面に沿った異なる円錐を有する、2つの非球面の輪郭を含むマイクロレンズ)の区域によって少なくとも近似的に説明される。2円錐形レンズの表面輪郭は、一般に、回転対称形(すなわち、非無定形)でない。光路ごとに異なる、様々な表面輪郭の正確な数学的記述は、基準点に関して、二次元座標に依存する軸方向の矢の高さの多項式の発展によって実行される。非定常構造が、隣接する光路の間で重複するため、フィールド型配置の中のこれらの屈折自由形式表面10,102に対して、レーザ刻み付け、灰色調または2光子石版、熱またはガラススタンプのような製造方法が必要である。あるいはまた、超精度処理が、対応する成形道具の原型を製造するために役立つ。
【0094】
さらに、これまで示された実施形態から逸脱する実施形態が使用される。したがって、別の実施形態において、例えば、フィールド配置内のマイクロレンズが、少なくとも1つのマイクロレンズの構造パラメータ(例えば、足跡、直径、矢の高さ、曲率半径、中心点距離、および他のものの形式)において異なる。特定の表面において、マイクロレンズの輪郭は、球体形、円環形(すなわち、2つの縦断面に沿った、2つの球面曲率半径)、2円錐形(すなわち、2つの縦断面に沿った、異なる円錐を有する2つの非球面形輪郭)、または、非球面である、ことが更に可能である。さらに、マイクロレンズも、屈折自由形式表面として設けられる。マイクロレンズは、一般に屈折型であるけれども、別の実施形態では、回折型、または、屈折と回折の混合型でもよい。マイクロレンズ・フィールドの個々のマイクロレンズが、垂直(縦)方向および水平(横)方向の色エラーを最小にするために、色消しレンズとして設けられることは、さらに可能である。マイクロレンズ・フィールド、および、異なる屈折率を有する材料の間のインタフェースまたは境界領域が、反射防止コーティング(ARコーティング)と共に提供されることは、さらに可能である。
【0095】
ハードウェア歪み修正の更なる可能性は、光電子画像センサ100の中の光ダイオード30´の物理的中心距離の変化である。その結果、光路特有の歪みは、マイクロ画像内の光ダイオード30´の配置の光路依存変化を有するレンズに適合した光電子画像センサ100によって、修正される。光ダイオード30´の光路特有の配置は、この点において、光路ごとに、レンズ設計データ、および、特に歪みコースから決定される(図8参照)。
【0096】
仮に、光ダイオード群30が、六角形の、正方形の、長方形の、または、別の分配で、光電子画像センサ100上に配置されるならば、関連マイクロレンズ10も、六角形の、正方形の、長方形の、または、別の分配で配置されることが、さらに可能である。
【0097】
まとめると、各実施形態は、マルチ光路画像と画像記録システムとに関わることに注目すべきである。画像形成および画像記録システムは、1つ以上のマイクロレンズ・フィールドと、各光路において、対象物フィールドの一部領域を検出する画像検出器フィールドとから成る。そして、画像形成および画像記録システムは、対象物フィールドの一部領域を写像して、全ての個々の光路の電子/ディジタル信号から、拡張対象物フィールドの全体画像をまとめる。本システムは、完全に独立して画像形成し、他の光学系に結合される必要はない。これは、画像形成されないけれども、光学的に十分な要素を増加させるための光束化に役立つ光電子画像センサのそれぞれの光ダイオード上のマイクロレンズ・フィールドに対する対照を表す。周知の従来技術とは対照的に、以下の利点が、特に結果として生じる。(スペーサ層のための光学部品、および、光電子画像センサのためのマルチ光路対物レンズの)組み立てと接続技術とは、主に、ウエハーレベル上で並行して、多数のシステムのために実行される。これらの方法の精度は、位置調整マークによる光学的位置調整支援の使用のため、ミクロンの範囲内である。これによって、手動実装の割合と1モジュール当たりの実装時間とが、明確に減少し、費用低減をもたらす。更なる利点は、既に知られている人工的同格複眼に関する、1光路当たりの画素数と、特に適合した抽出原則の使用が、同じセンサ足跡またはより小さいセンサ足跡であっても、実質的により高解像度能力が可能である、ということである。この理由のため、光電子画像センサの製造コストが減少し、その結果、全体システムの製造コストも、減少する。更なる利点は、特に、それぞれのマイクロ画像内の光学的歪みの修正のための、光路ごとの信号前処理の使用が、全体フィールドの中で、解像度能力を減少させないで、対象物フィールドの区分化を可能にする、ということである。対象物フィールドの一部領域は、マイクロレンズを通して、画像検出器マトリクス上に作像されるとき、マイクロ画像が結果として生じる。さらに、多数の分離光路による対象物フィールドの画像形成の分割のため、光学系の構築長の短縮化が可能になる。そして、これにもかかわらず、広大な対象物フィールド領域の検出が可能になる。しかしながら、特に、検出可能な対象物フィールドのサイズは、光路の数と横方向のシステムサイズとで伸縮化されるけれども、構築長からは独立している。さらに、実際には一定の解像度能力を有する大きい対象物フィールドが、全体フィールドにわたって作像される。各光路において、簡素な(製造しやすい)光学系が使用される。さらに、費用対効果に優れた生産と、画像形成対物レンズの実装と、費用対効果に優れた組み立てと、光電子画像センサの接続技術とが、ウエハーレベル上の半導体パターン化の技術関連の製造工程によって可能になる。更なる利点は、画像エラー(特に、コマ、乱視、画像フィールド湾曲)の光路ごとの修正のために、光学的配置に関する1光路当たりの数画素の使用による画像解像度能力(最大約1000×1000画素以上)の増加である。光路ごとの、歪みの修正のための画像前処理の追加的な使用によって、マイクロ画像の細部のエラー無し接続が可能になる。さらに、光学画像装置は、画像分解度能力の指数、および、光電子画像センサの必要領域の増加を可能にし、その結果、全体システムのコストの減少を可能にする。それとは別に、光学的組み立て(第3実施形態を参照)の適した変化によって、縁に向かっての画像の明るさの減少が抑えられる。さらに、スペクトル伝達フィルタの容易な集積の可能性が提供される(例えば、IRブロック化フィルタ、および/または、色フィルタ)。
【0098】
全ての実施形態の例示的パラメータ範囲が、以下に示される。マイクロレンズの通常の直径は、10μm〜1mmの範囲内である。マイクロレンズの焦点長は、通常、30μm〜3mmの範囲内である。二次元フィールドにおいて、マイクロレンズまたは光路の数は、通常、4〜25000個である。一方、一次元フィールドにおいて、マイクロレンズまたは光路の数は、通常、2〜1000個である。光学画像装置が有する利点に基づいて、画像形成レンズの完全な構築長は、通常、50μm〜4.5mmのサイズをもたらす。光学画像装置の全体画像解像度は、通常、1万画素と1000万画素との間である。
【0099】
実施形態に係る光電子画像センサ上の(例えば、窓層を有する薄い基板上の)、画像形成マイクロレンズ・フィールドは、従来の単一光路光学系と唯一区別される。レンズは別々に(射出成形して)製造され、画像センサと共に共通ハウジング内に組み込まれるので、組み立ては、通常、ハイブリッドである。
【0100】
それらの可能な超小型構造と潜在的な費用対効果に優れた製造技術とに基づいて、マルチ光路画像形成と画像検出システムとは、娯楽電子製品(ラップトップ、家庭用ゲーム機、玩具)の中での使用と、特に、携帯機器(携帯電話、PDAおよびその他)の中での使用とが、運命付けられている。別の応用分野は、センサ工学(例えば、カメラ型センサ、製造技術の中の画像形成センサ)、自動車技術(例えば、自動車の内部の光安全センサ、高度運転支援システム、後方カメラ、車線検出など)、安全監視(例えば、ビル、博物館、構築物での/中にある、大きな視野を有する切り換え可能な環境カメラ)、ロボット工学(例えば、ナビゲーション、把持器の光学的制御、または、部品取り上げ装置のための光センサとして)、および、医療技術(例えば、画像形成診断法、内視鏡検査における使用)である。
【0101】
方法の実施形態は、発明の装置の全ての局面と機能性によって補われる。
【0102】
いくつかの局面は、装置に関係して説明したけれども、これらの局面が、対応する方法の記述を表すことは明白である。その結果、装置のブロックまたは部品は、対応する方法のステップとして、または、方法のステップの特徴として見做される。これとの類似で、方法のステップと関係して、または、方法のステップとして説明された局面は、対応する装置の、対応するブロックまたは細部または特徴の記述を表す。
【0103】
特定の実現要求によって、本発明に係る実施形態は、ハードウェアまたはソフトウェアの中で実現される。実現は、デジタル保存媒体(例えば、フロッピー(登録商標)ディスク、DVD、ブルーレイディスク、DC、ROM、PROM、EPROM、EEPROM、フラッシュメモリ)を使用して実行される。電子的に読み取り可能な制御信号が保存された、主ディスクまたは別の磁気的または光学的記憶部が、プログラム可能なコンピュータ・システムと協働する。その結果、それぞれの方法が実行される。したがって、デジタル保存媒体は、コンピュータ読み取り可能である。本発明に係るいくつかの実施形態は、プログラム可能コンピュータ・システムと協働できる、電子的に読み取り可能な制御信号を含むデータ担持体を含む。その結果、ここで説明された方法の1つが実行される。
【0104】
一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として、実行される。コンピュータプログラム製品が、コンピュータで実行されるとき、プログラムコードは、方法の1つを実行するために有効である。例えば、プログラムコードは、機械読み取り可能な担持体上に保存される。
【0105】
他の実施形態は、ここで説明された方法を実行するためのコンピュータプログラムを含む。コンピュータプログラムは、機械読み取り可能な担持体上に保存される。
【0106】
言い換えれば、発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行されるとき、ここで説明された方法の1つを実行するためのプログラムコードを含んでいるコンピュータプログラムである。発明の方法の別の実施形態は、ここで説明された方法の1つを実行するためのコンピュータプログラムが保存されるデータ担持体(または、デジタル保存媒体またはコンピュータ読み取り可能な媒体)である。
【0107】
発明の方法の別の実施形態は、ここで説明された方法を実行するためのコンピュータプログラムを表すデータストリームまたは信号の系列である。例えば、データストリームまたは信号の系列は、データ通信接続(インターネット)を介して、伝達するように構成される。
【0108】
別の実施形態は、ここで説明された方法の1つを実行するために構成される、または、適合させられる処理手段(例えば、コンピュータまたはプログラム可能な論理回路装置を含む。
【0109】
別の実施形態は、ここで説明された方法の1つを実行するためのコンピュータプログラムがインストールされるコンピュータを含む。
【0110】
いくつかの実施形態において、プログラム可能な論理回路装置(例えば、電界プログム可能なゲートアレイ、FPGA)は、ここで説明された方法のいくつか、または、全ての機能を実行するために使用される。いくつかの実施形態において、電界プログム可能なゲートアレイは、マイクロプロセッサと協働して、ここで説明された方法の1つを実行する。一般に、方法は、いくつかの実施形態において、どんなハードウェア装置によっても実行される。ハードウェア装置は、コンピュータプロセッサのような一般に使用可能なハードウェア(CPU)、または、例えば、ASICのような方法のための特定のハードウェアである。
【0111】
上述されている実施例は、本発明の原理のために、単に図示するだけである。配置および本願明細書において記載されている詳細の修正および変更は、他の当業者にとって明らかであることは言うまでもない。従って、以下の特許請求の範囲だけによって制限され、本願明細書において実施例の参照および記述として示される具体的な詳細だけによって制限されないことは明らかである。
【符号の説明】
【0112】
10 マイクロレンズ・フィールド
30a 第1画像検出器マトリクス
30b 第2画像検出器マトリクス
70 画像処理手段
100 画像センサ
300 全体画像
【技術分野】
【0001】
本発明は、例えば、携帯端末装置の小型カメラシステムの中で使用される光学画像処理装置に関する。
【背景技術】
【0002】
電子装置および光電子装置の小型化は別として、携帯端末装置(携帯電話、PDA、ラップトップなど)の小型カメラシステムの使用は、画像形成対物レンズの小型化を要求する。このための前提条件は、短い長さの画像形成物および少ない点数の光学部品(特にレンズ素子)である。しかしながら、画像センサの筋交いの減少を増やすことは、レンズの構成をより簡単にする代わりに、レンズの高解像度能力および高光強度が達成されなければならないことを必要とする。画像センサの筋交いの減少は、半導体パターン技術(より小さい光ダイオードは、同じ画像領域上の、より多数の画素数と等しい)の開発と、センサ製造コストの減少とによって支援される。既存のレンズ設計解決法は、現在の生産技術の可能性を尽くした、わずかな、しかし、複雑な(通常、非球面の)レンズ形式によって特徴付けられる。さらに、既存のレンズ設計解決法を実行するとき、そのような複雑な領域の品質管理に不十分な測定方法と、開始するために必要な非常に正確な横方向および軸方向の実装精度とによって、そのような小型カメラレンズまたは対物レンズの光学部品は、制限される。小型カメラモジュールの既存の解決法は、要求仕様、または、コストに関する集積(組み立て)業者およびユーザの期待に合致しない。
【0003】
小型カメラレンズの確立した製造方法は、超精密に処理された金型挿入器にプラスチック射出成形することによる、単一レンズおよび実装部の生成である。通常、レンズは、実装部と共に、2部品射出成形で製造される。個々の部品は、その後、プラグ挿入実装部に実装され、積極的な接続(捻り接触、接着)によって固定される。しかしながら、この方法は、十分な位置調整精度での、5×5×5mm3より小さい組み立てサイズを有する小型化された対物レンズの製造に適用されない。さらに、そのような小型部品の供給、実装および接続技術の問題が生じる。詳細には、部品の取り扱いに関する問題は、静電気(装置のわずかな重量と寸法)と、繊細な光学表面の汚染および掻き傷の危険と、のために生じる。これらの理由のため、製造費用の80%以上は、組み立て工程のために費やされる。ハイブリッド実装技術(空気マイクロ把持器と同様に、感覚的に機械的かつ電気的に支援された実装技術)において、より小さいレンズの取り扱いに関する先進的手法が存在する。しかし、この実装技術は、大量生産(例えば、携帯電話のためのカメラレンズ)に対して、大幅に費用が上昇する。さらに、より高い解像度形式のハイブリッド生産技術によって、能動的位置決め(例えば、プラスチックレンズの圧電アクチュエータ)が、光電子画像コンバータ(画像センサ)上に対物レンズを実装する許容範囲のバランスをとるために要求される。これはユニット価格の更なる増加をもたらす。
【0004】
5×5×5mm3より小さいサイズ範囲の対象物のための別の方法は、ウエハーレベル上のレンズ(WLOウエハーレベルレンズ)の製造である。ここで、それぞれの単一レンズのための「道具の先(ツールビット)」が、基板ウエハー(ウエハーレベルレンズモジュール)上における個々の部品の繰り返しUV(紫外線)複製(ステップおよび繰り返し工程)のために、使用される。「道具の先」は、超精度の処理(例えば、ダイヤモンドカット法)によって生成される。あるいはまた、常に同じ個々の部品を有する完全なツールウエハーが、超精度の処理によって生成され、その後、ウエハーレベル上におけるただ1つのUV複製ステップの中で、複製される。同じタイプの多くのレンズ、スペーサ、および窓が、このようにして、並行して製造される。その後のステップにおいて、個々のウエハー基板は軸方向に互いに接着され、多数の対物レンズを有するウエハー積層体が得られる。これは、マイクロエレクトロニクス製造の工程およびシステムを使用する並行製造技術である。小型化されたレンズ(しかしながら、従来のマイクロレンズと比べて大きい)のためのマイクロレンズのこれらの製造方法を使用する主な欠点は、適した再生産道具の高い製造コストと、例えば、材料の収縮、または、高角度点(100μmより高い)のマイクロレンズのUV複製の中の達成可能な表面輪郭の収縮による制限された精度と、である。さらに、複製性(再生産性)および品質検査に関する問題は、特に、このサイズの複雑なレンズ形式を特徴付けたまま残っている。モジュールは、これまで、他の全ての光学部品に接続された状態で、部品および製造ステップの数に依存して歩留まりが強く減少する画像形成方法を使用して、検査されるだけである。
【0005】
さらに、昆虫の複眼と同格の技術的実行を表す平坦な光学画像センサの配置が、存在している。この非常に小型のマルチ光路画像システムにおいて、光検出器(画素)はそれぞれのマイクロレンズに関連している。
【0006】
また、以下において、光検出器は、部分的に画像検出器または光ダイオードとも称される。
【0007】
それぞれのマイクロレンズに対する光検出器のオフセット(相殺)のために、小さいサイズにもかかわらず、非常に大きい視野が広がる。しかしながら、1光路当たり1つの光検出器の使用のために、光検出器フィールド(CMOSまたはCCD画像センサ)の広い領域が、適度の画像解像度能力を達成するために必要である。これは、対応する小型画像センサの製造コストをかなり上昇させる。
【0008】
特許文献1および特許文献2は、人工的複眼に基づいたマルチ光路画像システムについて説明する。ここで、1つの画像検出器が、各光路に割り当てられる、または、異なる機能を有するいくつかの画像検出器が、各光路に割り当てられる。その結果、各光路は、対象物フィールドの狭く限られた領域だけを占める。
【0009】
特許文献3および特許文献4は、人工的複眼に基づいた別のマルチ光路画像システムについて説明する。マルチ光路屈折/回折画像レンズおよび区分された視野を有する小型のデジタルカメラが、説明される。システムは、分散レンズ区域として実行されるレンズのフィールド配置から成る。感光性の画像センサフィールドは、レンズの焦点長に位置している。軸方向において、レンズフィールドの前に、傾斜側壁とレンズフィールドに関して一層大きい間隔とを有する2つの窓フィールドが、視野のサイズを指示するために使用される。光学クロストーク(混線)を抑制するために、光吸収材料の垂直壁が、隣接する光路の間に提供される。
【0010】
非特許文献1は、光学画像形成のための別のマルチ光路配置を示す。非特許文献1から、マルチ光路配置が知られている。光電子画像センサのマイクロ画像は、それぞれに関連したマイクロレンズの下の、軸方向の中心に位置している。垂直な不透明壁を有する隣接する光路は、互いに分離されている。しかしながら、この配置を使用して、小さい対象物フィールドだけが検出される。小さい対象物距離(約2m未満)に対して、同じ対象物点に関する隣接する光路の透視(視差)のオフセットの発生のため、光路ごとに、画像センサの光ダイオード群に関して画像形成しているマイクロ画像の副画素移行が、得られる。副画素移行は、超解像度アルゴリズムによって、多数の低解像度マイクロ画像から、高解像度の全体画像を計算する。この配置は、原則に従って、小さい対象物距離と小さい対象物フィールドサイズとのために使用されるだけである。さらに、この方法は、超解像度アルゴリズム(画像処理から知られている)が、高い複雑度を有するので、画像読み出しおよび処理時間が増加する。
【先行技術文献】
【特許文献】
【0011】
【特許文献1】独国特許出願 DE10 2004 003 013.8
【特許文献2】国際公開第2005/069607号
【特許文献3】米国特許第005696371A号
【特許文献4】欧州特許第0840502A2号
【非特許文献】
【0012】
【非特許文献1】J.タニダ、T.クマガイ、K.ヤマダ、S.ミヤタケ(「制限されたレンズ(Tombo)概念による薄い観測モジュールと実験的検証」応用光学40、1806〜1813ページ、2001年4月
【発明の概要】
【発明が解決しようとする課題】
【0013】
代わりの回避の技術的可能性は、1光路レンズに接続された、光電子画像センサのための非常に小さい光ダイオード(画素)の使用である。その結果、短い長さのレンズで、小さい画像筋交いは、縁部において、小さい対象物フィールド角(小さい軸外れ異常と低い窓食)をもたらし、また、小さい対象物フィールドだけを検出する欠点をもたらす。この小型化された1光路レンズのために、非常に小さい長さと十分な画質とを有する相対的に小さいレンズが、使用される。この結果、ここでも、発明の(石版の)技術が、ウエハーレベル上で回避される。しかしながら、小さい画素は、小さい感光性領域の欠点、すなわち、レンズの同じ開口絞りで、全体配置の低感度化の欠点を有する。
【0014】
まとめると、従来技術において、低背と高画質とを結合し、同時に、周知のマイクロ光学製造技術によって、優れた費用対効果で製造される画像装置の有利な構造は、存在しない、ことが注目される。
【0015】
それゆえに、本発明の主たる目的は、低背かつ高画質を達成でき、同時に、マイクロ光学製造技術によって優れた費用対効果が実現される、光学画像装置、光学画像処理装置および光学画像形成方法を提供することである。
【課題を解決するための手段】
【0016】
本目的は、請求項1に記載の光学画像処理装置により達成される。
【0017】
本発明は、少なくとも2つのマイクロレンズを有する少なくとも1つのマイクロレンズ・フィールドと、少なくとも2つの画像検出器マトリクスを有する画像センサと、を有している光学画像装置(例えば、マルチ光路画像および画像記録システムとも称される)を提供する。少なくとも2つの画像検出器マトリクス(例えば、光ダイオード群、光ダイオードマトリクス、または、光ダイオードフィールドとも称される)は、それぞれ、多数の画像検出器を含む。
【0018】
それぞれのマイクロレンズは、1つの画像検出器マトリクスと共に光路を形成するように、画像検出器マトリクスとマイクロレンズとの間の配置が存在する。画像検出器マトリクスの中心は、関連した光路のマイクロレンズ窓の図心に関して、異なる距離だけ横方向に移行されている。図心は、画像検出器マトリクス上に映し出される。こうして、異なる光路は、異なるけれども部分的に重複している検出領域を有する。2つの光路の2つの検出領域の重複部分は、画像検出器マトリクスの画像検出器ラスタ(水平方向の走査線)に関して、オフセット(相殺)方法で、光路の画像検出器マトリクス上に作像される。
【0019】
本発明の主要な考えは、対象物フィールドをいくつかの部分的領域に分割して、それぞれの部分的領域を、マイクロレンズ・フィールドの少なくとも1つのマイクロレンズで、関連画像検出器マトリクス上に作像することによって、光学画像装置を提供することが可能である、ということである。異なる光路の検出領域の重複のために、対象物フィールドの部分的領域は、光路のいくつかの画像検出器マトリクスによって、並行して検出される。
【0020】
その結果、本発明の利点は、別々の光路において、対象物フィールドの部分的領域の並行検出が、それぞれの個別の光路の短い焦点長、および、拡張された対象物フィールドのための画像装置の構築長(背高)の減少を許容する、ということである。さらに、小さい対象物フィールドに接続された短い焦点長は、全体の対象物フィールドに関して、それぞれの個別の光路ごとに、1光路当たり簡素な光学部品(例えば、低い頂点または低い角度点を有する屈折レンズ)の使用を可能にする。さらに、最大の視野が、横方向の寸法(例えば、光路の数)によって決定され、その結果、構築長、組立長、または、それぞれの個別の光路の光学的組み立ての複雑さから基本的に独立していることは、利点である。それとは別に、光路の検出領域の重複のために、高い画像解像度能力が、従来技術の人工的複眼と比較して、達成される。さらに、その低い複雑度およびサイズのために、光学装置が、確立されたマイクロ光学製造技術(レーザ刻み付け、写真製版、溶解もしくは逆溶解(リフロー)、ウエハーレベル上のUV複製)で、生成される。これらの技術は、洗練され、非常に正確で費用対効果に優れているので、大量生産に使用される。
【0021】
更なる面は、画像処理装置が、画像エラーを修正して全体画像を再構成するための画像処理手段を含むとき、より高い画質が達成される、という発見に基づいている。画像処理手段は、個別の画像の挟み込みが考慮されるように、互いに独立した全ての画像検出器マトリクスの個別の画像の画像エラーを、時間的に並行して修正し、全体像を個別の画像から再構築することを実行する、ように構成されている。
【0022】
その結果、本発明の更なる利点は、画像エラーを修正するための画像処理手段を有している画像処理装置によって、より高い画質が達成されることである。
【0023】
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の発明を実施するための形態の説明から一層明らかとなろう。
【図面の簡単な説明】
【0024】
【図1】本発明に係る第1実施形態の光学画像装置を示す模式図である。
【図2】付加的抽出格子を有する第1実施形態による対象物フィールド抽出を示す模式図である。
【図3】本発明に係る第2実施形態の光学画像装置を示す模式平面図である。
【図4】第2実施形態の光学画像装置による対象物フィールド抽出を示す模式図である。
【図5a】第2実施形態の光学画像装置の部分的領域を示す模式平面図である。
【図5b】図5の部分的領域によって考慮された対象物フィールドを示す模式図である。
【図6a】追加されたスペクトル伝達フィールド(領域パターン)を有する第2実施形態の光学画像装置を示す一部模式平面図である。
【図6b】図7の部分的領域によって考慮された対象物フィールド領域を示す模式図である。
【図7a】第2実施形態の光学画像装置の中央の対象物フィールド領域における歪みを示す模式図である。
【図7b】傾斜した入射角の下での、第2実施形態の光学画像装置の外側の対象物フィールド領域における歪みを示す模式図である。
【図8】正の樽型歪みの基本的コースを示す模式図である。
【図9】格子対象物を有する第2実施形態の光学画像装置の正方形の対象物領域の画像歪みを示す模式図である。
【図10】画像センサの受光面上の、第2実施形態の光学画像装置の主ビームおよび第3実施形態の光学画像装置の主ビームの傾斜角を示す模式図である。
【図11】対象物フィールドの最も重要な抽出原則を示す模式図である。
【図12】本発明に係る第2実施形態の光学画像装置を示す模式断面図である。
【図13】本発明に係る第3実施形態の光学画像装置を示す模式断面図である。
【図14】本発明に係る第4実施形態の光学画像装置を示す模式断面図である。
【図15】本発明に係る第5実施形態の光学画像装置を示す模式断面図である。
【発明を実施するための形態】
【0025】
図1は、本発明に係る第1実施形態の光学画像装置1000の模式図である。光学画像装置1000は、第1マイクロレンズ10aと第2マイクロレンズ10bとを有するマイクロレンズ・フィールド10を含む。画像センサ30はマイクロレンズ・フィールド10の下に位置している。この画像センサ30は、第1画像検出器マトリクス30aと第2画像検出器マトリクス30bとを含む。2つの画像検出器マトリクス30a,30bは、それぞれ、複数の(例えば、3つの)画像検出器32a,32bを含む。第1マイクロレンズ10aは、第1画像検出器マトリクス30aに関連し、第1画像検出器マトリクス30aと供に第1光路を形成する。第2マイクロレンズ10bは、第2画像検出器マトリクス30bに関連し、第2画像検出器マトリクス30bと共に第2光路を形成する。画像検出器マトリクス30a,30bの中心34a,34bは、関連マイクロレンズ10a,10bまたは関連光路のマイクロレンズ窓13a,13bの図心に関して、横方向にオフセット(相殺)されている。図心は、画像検出器マトリクス30a,30b上に映し出される。
【0026】
第1実施形態の光学画像装置1000の構造の記述に基づいて、機能が議論される。対象物800は、2つのマイクロレンズ10a,10bによって、それぞれに関連した画像検出器マトリクス30a,30b上に作像される。第1光路および第2光路は、それらの検出領域の中で重複する。マイクロレンズ10a,10bに向かった画像検出器マトリクス30a,30bの中心34a,34bの横方向のオフセットのため、2つの検出領域の重複部分は、画像検出器マトリクス30a,30bの画像検出器上にオフセット作像される。
【0027】
さらに、抽出格子はそれぞれの光路(図2参照)に関連している。第1光路の抽出格子810は、対象物800のどの対象物点が、第1光路の画像検出器マトリクス30aのどの画像検出器上に作像されるか、を説明する。そして、第2光路の抽出格子820は、対象物800のどの対象物点が、第2光路の画像検出器マトリクス30bのどの画像検出器上に作像されるか、を説明する。
【0028】
図2は、第1光路の抽出格子810と第2光路の抽出格子820とを有する対象物800の表面を示す。抽出格子810は実線によって図示され、抽出格子820は点線によって図示される。実線の交点は、第1光路の画像検出器マトリクス30aの画像検出器上に作像された対象物800の対象物セルを説明する。点線の交点は、第2光路の画像検出器マトリクス30bの画像検出器上に作像された対象物800の対象物セルを説明する。
【0029】
抽出格子は、対象物800の第1対象物セル840が、第1光路の画像検出器マトリクス30aの第1画像検出器に作像されるように選択され、かつ、第1対象物セル840に隣接する第2対象物セル850が、第2光路の第2画像検出器マトリクス30bの第1画像検出器に作像されるように選択される。光路のこの「挟み込み」によって、これまで知られている人工的複眼原則より高い画像解像度が達成される。
【0030】
以下において、本発明の別の実施形態が、図12〜図15を参照してさらに詳細に説明される。
【0031】
図12〜図15の実施形態のマルチ光路のマイクロ光学画像形成と画像記録システムは、共通して以下の特性を有する。全てが、互いの軸方向の後ろに取り付けられた1つ以上のマイクロレンズ・フィールド10から成る。マイクロレンズ・フィールド10は、数個の(少なくとも部分的に透明な基板層20,21,22、および/または、スペーサー層40の)スタック上に成型され、または、複製される。完全な積層体は、光電子画像センサ100に取り付けられる。その結果、光電子画像センサ100は、マイクロレンズ・フィールド10のマイクロレンズの焦点長(または、画像平面や焦点面)に配置される。以下において、光電子画像センサ100は、簡潔に「画像センサ」または「画像センサチップ」とも称される。マイクロレンズ・フィールド10と光電子画像センサ100との間に、透明な窓または開口と、不透明な(すなわち、吸収または反射)スペースと、を有する少なくとも1つの窓フィールド層(12,12´)が、配置されている。別の特性は、マイクロレンズ・フィールド10のそれぞれのマイクロレンズに関連している。光電子画像センサ100の少なくとも5×5個の密に実装された画像検出器のマトリクス(すなわち、画像検出器マトリクス)30が、各光路の中で生じているマイクロ画像を読み出すために使用される。画像読み取りは、この場合、発生した電磁放射(光)から電子写真流への変換を含む。それは、行と列に配列されて、光ダイオードごとに(画素ごとに)読み出される。画像解像度は、光ダイオードのサイズと数に制限される。簡単な光学画像形成が、各光路の中で生じるとき、それぞれのマイクロ画像は、それ自体、逆さであり、回転している(図4のマイクロ画像44a〜44e参照)。それとは別に、それぞれの光路(すなわち、マイクロレンズの頂点と関連画像検出器マトリクス30の中心との間の接続線)の視点400の主方向と、全体が拡大された視野のサイズとは、関連光路または関連マイクロレンズのマイクロレンズ窓の図心に関して、それぞれのマイクロレンズから関連画像検出器マトリクス30にオフセット(相殺)された中心によって、または、画像検出器マトリクス30の中心点のオフセットによって、説明される。図心は、画像検出器マトリクス30上に映し出される。さらに、マイクロレンズの焦点長と供に、それぞれの画像検出器マトリクス30の拡張が、それぞれの光路の中で伝達された対象物フィールドの範囲を決定する。
【0032】
さらに、少なくとも1つの窓フィールド11は、光がマイクロレンズ・フィールド(10)のギャップまたはスペースを通り抜けて、点在する光のように画像センサ100に達することを防止する。そうでなければ、これは画像コントラストを減少させる。
【0033】
光路分離構造(例えば、水平な窓層、または、垂直もしくは傾斜した吸収壁)の使用は、光学クロストークを防止することにおいて賢明である(いくつかの場合には不可欠である)。すなわち、光は、マイクロレンズから、隣接する光路(または、さらに離れた光路)のマイクロ画像の領域の中に作像する。光学クロストークは、異なる対象物点から、全く同じ画像点上に達する光束の重なりをもたらす。その結果、画像コントラストが減少する。それぞれの光路が他の光路と独立して働いている場合、それぞれのマイクロ画像に属している光電子画像センサ100の領域(画像センサ)30を、それぞれの光路に分類することは、有利である。一方、これは、画像センサ100のチップ上に集積されたエレクトロニクス(例えば、光路ごとに分離された回路、SoC=「チップ上のシステム」)によって、光ダイオードフィールドの読み取り領域の物理的な分類によって達成される。または、これは、対応して分離された別のデータ処理によって(例えば、FPGA上の周辺、または、パーソナルコンピュータ(PC)上のソフトウェアによって)、半導体チップの外でも達成される。それぞれは、マイクロ画像を表示する。第1方法(画像センサのチップ上の物理的な分類)の場合、対象物に特に適合した画像センサが、使用されなければならない。それとは対照的に、第2方法の場合、適合している下流の画像処理ハードウェアまたはソフトウェアを有する従来の画像センサが使用される。しかしながら、ここに、従来の画像センサ上のマイクロ画像の間のギャップの中の活性画素は、暗くて、未使用のままで残る。大部分の活性画素は、暗電流雑音を修正するために役立つ。
【0034】
隣接する光路のマイクロ画像の読み出し信号は、ハードウェアまたはソフトウェアの中で、完全な画像(例えば、図4の完全な画像再構成器60によって)を説明する。個々のマイクロ画像の能動的焦点合わせ手段は、マイクロレンズの短い焦点長、および、大きな深い焦点(または、焦点の深さ)のために必要ない。それとは別に、マイクロレンズ・フィールド10の個々のマイクロレンズの表面輪郭が、平均傾斜角に関して(特に、フィールドの湾曲と乱視に関して)修正される。これは、接線かつ矢状的方向に、焦点長を個別に適合させることによって実行される。その結果、マイクロ画像の中央における、対応する画像くぼみ部分は、画像平面に一致する。この適合によって、それぞれのマイクロレンズ・フィールド10の中のマイクロレンズの輪郭が生じる。マイクロレンズの輪郭は、回転対称から逸脱する(非不定形輪郭)。
【0035】
マルチ光路画像形成対物レンズ(マイクロレンズ・フィールド、スペース層および窓)は、マイクロ光学製造方法(UV石版、溶解処理(リフロー方法)、UV複製、レーザ刻み付け、グレー陰影、2光子写真製版)によって有利に生成される。ここで、マイクロ光学対物レンズは、光電子画像センサ100上に、直接かつ平坦に実装されるので、マイクロ光学対物レンズの軸方向の位置決め精度は非常に高い。軸方向の許容範囲は、層の厚み許容範囲によって与えられる(μmの範囲内で)。横方向の実装許容範囲は、それぞれのマスク照準器のマスクの精度、位置調整マークおよび位置調整装置によって決定される。それらは数μm(例えば、1〜2μm)である。
【0036】
本発明の1つの面によると、本発明に係る光学画像装置は、特に、1光路当たり多数の画素使用と、全体画像を説明する、または、結合される小さいマイクロ画像の画像形成とのために、例えば、特許文献1と特許文献2との中で説明されている人工的複眼の分野の従来技術と異なる。対象物フィールドの非常に限られた領域の代わりに、全ての光路は、特許文献1および特許文献2と比べて、多数倍大きい対象物フィールドを検出する。各光路において、広範囲にわたる対象物フィールド領域の画素化されたマイクロ画像が検出される。異なる光路の画素化されたマイクロ画像は、互いに挟み込まれる。この結果、より高い全体解像度能力が可能になる。さらに、1光路当たり多数の画素の使用は、製造がより容易な、より大きいマイクロレンズの使用を可能にする。
【0037】
個々の光路によって検出された対象物フィールド領域は、部分的に重複する。それでも、光ダイオード群の個々の画素上に作像された対象物は、主に分画している。この理由は、隣接する光路の抽出格子が、互いに関して単一の光路の抽出間隔(抽出格子の2つの隣接する線の間の距離)の整数倍で移行しない、ということである。マイクロレンズの短い焦点長と光ダイオードの固定サイズとにかかわらず、隣接する光路が相互作用する、密集した対象物フィールド抽出が可能である。特に、ここで、隣接する光路の抽出格子を移行するための2つの場合が、言及される。図11はこれら2つの場合を模式的に示す。対象物フィールドの中で、光学画像装置の光電子画像センサの光ダイオードによって抽出された(または、検出された)二次元領域が、断面図において、箱関数によって示される。線の種類および番号は、それぞれの光路への抽出領域の配分を指定する。一般性を制限しないで、それぞれ5つの光ダイオードが、光路ごとに示される(N=5、Nは、1光路当たりの抽出領域または光ダイオードの数)。例えば、第3光路に対して、5つの光ダイオード32aであり、第4光路に対して、5つの光ダイオード32bである。
【0038】
第1光路の光ダイオードは、番号1によって指定され、一点鎖線によって示される。第2光路の光ダイオードは、番号2によって指定され、点線によって示される。第3の光路の光ダイオード32aは、番号3によって指定され、実線によって示される。第4の光路の光ダイオード32bは、番号4によって指定され、破線によって示される。第5の光路の光ダイオードは、番号5によって指定され、近接した破線によって示される。第6の光路の光ダイオードは、番号6によって指定され、二点鎖線によって示される。異なる光路の隣接する光ダイオードは、光学画像装置によって検出された対象物の隣接する対象物セルを検出する。
【0039】
図11の上段の場合(1)は、2つの隣接する光路の抽出格子が、それぞれ、互いに関して、個々の光路の抽出間隔dAの半分だけ移行される(移行:dV)。考慮している組の1つの光路から、隣接する組のそれぞれの次の光路への抽出格子の移行dVは、単一光路において、抽出間隔の非整数倍である(例えば、{(N−(1/2)}×dA、ここで、Nは整数である)。この場合(1)は、少ない数の光路(例えば、2×2個の光路)に、または、より小さい対象物距離(50×焦点長より小さい)に関連しており、対象物フィールドのギャップ無しの等距離抽出を保証する。言い換えれば、単一光路の抽出間隔の半分の奇数倍だけ移行が行われる。
【0040】
図11の下段の場合(2)は、1光路内の全ての抽出間隔の全合計(N×dA)の半分だけ、または、光ダイオードの数(N)と光路の抽出間隔(dA)との積の半分(例えば、N×dA/2)だけ、光路または光路の光検知器マトリクスの中心の移行dVを示す。同時に、1光路当たりの光ダイオードまたは抽出領域の奇数(N)も示す。この場合(2)は、より多数の光路に関連しており、隣接する光路と協働して抽出周期を半分にし、抽出ギャップやマルチ抽出を得ない。この特性は、いくつかの利点を有する。第1利点は、構築長(マルチ光路システムさえ)の短縮化(例えば、半分化)が、一定の角度抽出で可能になる、ということである。これは、レンズによって背後に映し出された、全体画像の2つの隣接する画素の間の角距離が、維持されること、を意味する。これは、光ダイオードの同じ開口絞り(F/#)および同じサイズが、従来技術に関して想定されるとき、適用される。構築長またはマイクロレンズの焦点長の減少から、マイクロレンズ直径の減少は、一定の開口絞りまたはf番号(f/#=マイクロレンズの焦点長/マイクロレンズの直径)を得ることをもたらす。小さい足跡(受光面)を有する光電子画像センサが使用されるので、対物レンズの横方向の寸法の結果として起こる減少が、コスト削減をもたらす。更なる利点は、画像形成が、マイクロレンズの、より短い焦点長で、等しいサイズの光ダイオード上で実行されるので、角度抽出が一定に維持されたままで、感度が増加することである。周知のシステムと比較して、焦点長を短くすることによって、角度解像度能力が、一定に維持された光ダイオードのサイズの状態で減少する。さらに、角度解像度を一定に保つために、より小さい光ダイオードを有する光電子画像センサが、使用される。それぞれの光ダイオードの感度は、より大きい光ダイオードに関して減少する。
【0041】
個々の光路の挟み込みを明確にするために、図5aは、単一光路10´を有する光学画像システムの一部領域500の平面図を示す。言い換えれば、図5aはマイクロレンズ・フィールド10´の例示的配置を示す。それは、図12〜図15に示された実施形態の中の配置であり、または、並びである。光学画像システムのそれぞれの光路に、正確に1つのマイクロレンズ101〜103,201〜203,301〜303が関連している。マイクロレンズ101〜303は、マイクロレンズ・フィールド10´の中に配置されている。マイクロレンズ101〜303の輪郭は、等高線510によって表示されている。
【0042】
図5bは、この一部領域500によって観察される対象物フィールド領域800´を示す。対象物フィールド領域800´は対象物セル810に分割される。対象物セル810は、それぞれ、(光路に関連付けられたマイクロレンズ101〜103,201〜203,301〜303によって、)単一光路10´内の光ダイオード上に作像される。単一光路10´の挟み込まれた抽出格子を明確にするために、それぞれの対象物セル810は、この対象物セル810を検出するそれぞれの単一光路10´(または、マイクロレンズ101〜103,201〜203,301〜303)の指数によって指定される。その結果、隣接する対象物セルが、隣接する光路(または、マイクロレンズ101〜103,201〜203,301〜303)の光ダイオードによって、検出されることが認められる。光路の挟み込みのため、光路の抽出ギャップは、隣接する光路によって検出されることが、可能である。
【0043】
別の実施形態で、マルチスペクトル画像記録(例えば、カラー画像記録)が、実行されることは、さらに可能である。必要なスペクトル伝達フィルタは、画素ごとに、すなわち、光電子画像センサの個々の光ダイオード上に集積される(例えば、周知の「バイエル・モザイク」の中の配置)。または、光路ごとに、例えば、マイクロレンズの対物レンズ内に、または、関連画像センサ領域上に集積される。光路ごとのスペクトル伝達フィルタの集積は、従来の単一光路画像システムに関して、レンズが、光路特有の入射角のための修正に加えて、光路特有の伝達スペクトル分配に関して適合されるという利点を有する。。それとは別に、この構成において、色クロストークは、隣接する光ダイオードの間に全く起らない。これから、例えば、画像の一層高い色輝度が、視覚スペクトル(例えば、赤、緑、青)のカラーフィルタを使用するとき、結果として生じる。さらに、光学画像システムの構築長さが短縮化される。光路ごとのフィルタの集積の変形で、全ての異なるスペクトル部分に対して、対象物フィールドの一定の抽出を保証するために、抽出体系は、図4と図6aと図6bに従って使用される。
【0044】
図6aは、光学画像装置の一部領域600の平面図を示す。光学画像装置は、単一光路10´と、光路ごとに集積されたスペクトル伝達フィルタ(領域パターン)と、を有する。図6aに示された光学画像装置の平面図は、光路(または、マイクロレンズ)101〜103,201〜203,301〜303上のスペクトル伝達フィルタ、だけ異なる。それぞれの領域パターンは、正確に、1つのスペクトル伝達フィルタに関連し、それぞれの光路は、正確に、1つのスペクトル色に関連している。全ての異なるスペクトル部分に対して、対象物フィールドの一定の抽出を保証するために、異なる光路は、同じスペクトル伝達フィルタを有する。図6aにおいて、光路101,103,301,303は、斜線領域パターンと第1伝達フィルタ(例えば、赤色フィルタ)を有する。光路102,302は、水平線領域パターンと第2伝達フィルタ(例えば、緑色フィルタ)を有する。光路201,202は、波線領域パターンと第3伝達フィルタ(例えば、青色フィルタ)を有する。光路202は、点を打たれた領域パターンと第4伝達フィルタ(例えば、灰色フィルタ)を有する。
【0045】
図6bは、図6aの一部領域600から監視された対象物フィールド領域800´を示す。対象物フィールド領域800´は、対象物セル810に分割される。1つの対象物セル810は、それぞれ(少なくとも基本的には)、単一光路(マイクロレンズ・フィールド)10´内の光ダイオードに作像される。単一光路101〜103,201〜203,301〜303の挟み込まれた抽出格子と、それぞれのスペクトル伝達フィルタによる対象物セル810の適用範囲とを示すために、それぞれの対象物セル810は、それぞれの単一光路10´の識別番号101〜103,201〜203,301〜303と、フィルタパターン(斜線、水平線、波線、点線)とが提供される。隣接する対象物セル810は、隣接する光路101〜103,201〜203,301〜303によって検出された抽出格子のために、検出される。抽出格子は、画像形成装置の焦点領域の対象物側深さにある。隣接する光路(例えば、101,102,201,202)によって検出された対象物フィールド領域は、部分的に重複する、ことが明確になる。その結果、直接に隣接する画像情報(例えば、810a,810b,810c,810d)は、それぞれ、異なるスペクトル伝達フィルタ(例えば、赤色フィルタ、緑色フィルタ、青色フィルタ、灰色フィルタ)によって結合された全体画像の中で得られる。あるいは、スペクトルデータを得るために、それぞれフィルタにかけられる。例えば、対象物フィールド800´の4つの直接に隣接する領域(画像情報)810a,810b,810c,810dは、全部で4つのスペクトル伝達フィルタを含む群820を形成する。
【0046】
それぞれの画像画素または画像情報(例えば、810a)のマルチスペクトルデータ(例えば、1色当たり1つの灰色値)は、関連スペクトル域または画像情報(例えば、810a)の物理的に記録された値の、および、残っているスペクトル域の、または、隣接および/または周囲の画素(例えば、810b,810c,810d)の画像情報(例えば、810b,810c,810d)の値の、重み付けされた補間によって補間される。スペクトル域またはスペクトル伝達フィルタは、各画素に関連付けられる。光路ごとの、スペクトル伝達フィルタの集積の変形、すなわち、各光路は自身のスペクトル伝達フィルタを含む。隣接する光路は、好ましくは、異なるスペクトル伝達フィルタを含む。対照的に、それぞれの光ダイオード上にスペクトル伝達フィルタを集積することは、製造中に取り扱い易い、より大きいスペクトル伝達フィルタが使用される、という利点を有する。ここで、示された変形に対して、スペクトル伝達フィルタが、光路ごとに、それぞれの光路の画像センサ領域上に集積される。
【0047】
図12は、第2実施形態の光学画像装置1200を示す。画像マイクロレンズ10は、全体に層厚みを有する、透明または少なくとも一部透明な基板層20,21,22の積層体上の二次元フィールドの中に配置される(一次元配置も可能である)。層厚みは、それぞれの材料(ガラス、プラスチック)のマイクロレンズの焦点長に対応する。透明な基板層20,21,22の裏に、光電子画像センサ100が、二次元フィールドに配置される多数の光ダイオード30´と供に、(例えば、マイクロレンズ10の焦点面に)配置される。光ダイオード30´は、マイクロレンズ・フィールドの光路分割に従って、光路のそれぞれのマイクロ画像のために、少なくとも5×5個の光ダイオード30´の別々の群に分割される。これらの群は、それぞれ画像検出器マトリクス30または光ダイオードフィールド30を形成する。
【0048】
マイクロレンズ・フィールド10の下に、窓フィールド11が位置している。基板層20と基板層21との間に、第1窓フィールド12が位置している。第2窓フィールド12´は、基板層21と基板層22との間に位置している。基板層22の下側に、画像センサ100が実装されている。画像検出器マトリクス30の中心は、関連光路のマイクロレンズ窓の図心に関して、オフセット(相殺)された中心を含む。図心は、画像検出器マトリクス30上に映し出される。
【0049】
構造記述に基づいて、機能が説明される。それぞれの光路の視点400の主方向は、それぞれの光路のマイクロレンズ窓の図心に関して、画像検出器マトリクス30の中心のオフセットによって説明される。
【0050】
それぞれの画像検出器マトリクス30の拡張は、マイクロレンズの焦点長と共に、それぞれの光路の中で伝達された対象物フィールド領域を決定する。隣接する光路によって検出された対象物フィールド領域は、相互に、少なくとも部分的に重複する。光路の2つの粗い抽出格子は、より密集した新しい抽出格子を形成するために、相互に補い合う。考慮されている光路の抽出格子は、例えば、考慮されている光路の焦点領域の深さ(または、焦点領域の深さの平面)における、それらの対象物点の全体である。対象物点は、考慮されている光路の画像検出器マトリクス30の個々の画像検出器上に作像される。図2、図4、図5aおよび図5bは、この特性、すなわち、隣接する光路の挟み込みを示している。マイクロレンズ・フィールド10の下に直接に窓フィールド11を使用することは、散乱光を抑制するために有利である。そうでなければ、散乱光は、マイクロレンズのギャップを通過する。さらに、不透明な(吸収または反射する)材料で作られた、少なくとも2つの水平な窓フィールド12,12´が、光路間の光学クロストークを防止するために使用される。透明基板層20,21,22は、好ましくは、ガラス、プラスチック、または、無機の共重合体(例えば、ORMOCER)で作られている。ここで示されたことに加えて、スペクトル伝達フィルタ(例えば、光路ごとに、赤色フィルタ、緑色フィルタ、青色フィルタ)のフィールド型配置は、窓層(窓フィールド)11とマイクロレンズ10との間に直接に構造化され、マルチスペクトルの画像記録を可能にする。
【0051】
光学画像装置1200は、単層の組み立て、簡素な製造技術、および、それらに繋がった安定性によって、特徴付けられる。レンズは、光電子画像センサ100とは別に製造され、その後のステップにおいて、位置調整マークによって、ウエハーレベル上にレンズが実装される(一のウエハー上に多くの光電子系が実装されるのと並行して、他のウエハー上に多くの光学系が実装される)。あるいは、個々のレンズは、光学ウエハー接合から切断され、個別にそれぞれの光電子画像センサに実装される。固定は、例えば、接着、はんだ付け、または、陽極接合によって実行される。また、ハイブリッド製造技術が可能である。光学部品は、多数の光電子画像センサ100を有する光学ウエハー上に、段階的に組み立てられる。それらの関連マイクロレンズに関して(または、関連光路もしくは関連マイクロレンズのマイクロレンズ窓の、画像検出器マトリクス30上に映し出された、図心に関して)、画像検出器マトリクス30の中心点のオフセットを示すために、図3において、第2実施形態の二次元画像形成および画像記録システムの簡略な模式平面図が示される。ここで、フィールド型に配置されたマイクロレンズ10が示される。マイクロレンズ10の輪郭は等高線によって示される。そして、マイクロレンズ10は、光電子画像センサ100の光ダイオード(画像検出器マトリクス30)の群を、(それぞれの光路のマイクロレンズ窓またはそれぞれのマイクロレンズの図心に関して、)軸方向に基本的に横方向にオフセットする。図心は、画像検出器マトリクス30上に映し出される。
【0052】
さらに、第2実施形態と他の可能な実施形態は、光路ごとに、マイクロ画像信号の電子前処理のためのユニット(画像処理装置)70を含む。画像処理装置70は、任意に、光電子画像センサ100の回路に集積される、または、光電子画像センサ100の外で下流回路に接続される。
【0053】
ユニット70が、以下ににおいて、「画像処理装置」としても参照される。
【0054】
例えば、以下において、画像処理装置70のハードウェア実行のための4つの変形が、光学画像装置に接続された状態で示される。
【0055】
1.画像処理装置70は、光電子画像センサチップ100の外側周辺部(例えば、光電子画像センサチップ100が配置されているのと同じ印刷回路基板上に配置されたFPGA)に配置されている。すなわち、画像処理装置70は、画像センサチップ100上に配置されていない(オフチップ)。光電子画像センサチップ100は、わずかな出力しかない。完全な画像マトリクス(画像検出器マトリクス30の画像検出器30´によって検出された全ての画像情報の全体)は、出力されて、その後、(時間的に直列に)一緒に処理される。
【0056】
2.画像処理装置70は、光電子画像センサチップ100の外側周辺部に配置されている。しかし、光電子画像センサチップ100は、多数(少なくとも画像検出器マトリクス30と同じ数)の出力を有する。ここで、歪みの修正と、それぞれのマイクロ画像のための更なる画像前処理とは、別々に実行される。仮に、適用されるならば、両者は、時間的に並行して実行される。
【0057】
3.画像処理装置70は、光電子画像センサチップ100(例えば、「ASIC(応用仕様集積回路))上に配置されている。しかし、光能動的領域の外側に配置されている。完全な画像マトリクスは、光電子画像センサチップ100内の光能動的領域から画像処理装置70に移送され、その後、(時間的に直列に)一緒に処理される。
【0058】
4.画像処理装置70は、光電子画像センサチップ100(例えば、ASIC)上に配置され、一部(すなわち、マイクロ画像処理手段50)は、画像検出器マトリクス30のギャップの中に配置されている。この場合、画像検出器マトリクス30の画像処理の一部は、別々に、時間的に並行して実行される。それとは別に、必要な回路を光能動的領域に集積することによって、シリコン領域が抑えられる。すなわち、マイクロ画像処理は、画像検出器マトリクス30の間のマイクロ画像処理装置によって、それぞれの画像検出器マトリクス30ごとに、別々にかつ時間的に並行して実行される。
【0059】
例えば、FPGA、ASICなどの中の画像処理装置70のハードウェア実行の場合、光路ごとの歪みの修正は、「時間的に並行して」実行されるだけである。特性「時間的に並行して」は任意である。高い画像繰返し速度に関して、ハードウェア実行のこの実施形態は好まれる。しかし、ソフトウェアに基づいた修正も、例えば、PCに接続された状態で実行される。
【0060】
画像処理装置70は、第2実施形態に関して説明されるべきである。それは、光路ごとに、マイクロ画像の歪みの、ハードウェアおよび/またはソフトウェアで実現された電子補正を実行する。
【0061】
増加する入射角を有する(すなわち、対象物フィールドの外縁域の)単一の画像形成レンズ(例えば、単一の平凸のレンズ)による画像形成と傾斜入射光とのため、画像歪みの増加が起こる。これは、傾斜した入射角を有する正方形の対象物範囲が、ダイヤモンド形をした画像領域の中に作像される、という事実をもたらす。
【0062】
図7aは、第2実施形態の中央の対象物フィールド領域における歪みの質的図を示す。正方格子に配置されている対象物セルは、傾斜した入射角の下で、より小さい半径の画像座標の中に作像される。その結果、樽形をした歪みが生じる。
【0063】
図7bは、傾斜した入射角(ここでは、対象物フィールドの中の筋交いの角度が38°)の下で、歪みが、さらに、強く非対称的になることを示す。図7aと図7bの効果は、視覚化目的のために強く誇張して示される。
【0064】
図8は、正の樽形歪みの基本コースを示す。これは、軸近傍の(すなわち、理想的な)歪みのない衝突高さ(「理想的な衝突高さ」)と比較した、画像平面の中の主ビームの半径の高さ(「現実の衝突高さ」)によって示される。「現実の衝突高さ」は、対象物フィールドの中の入射角(AOI)に依存している。画像形成が、入射角の増加に従って、衝突高さが小さくなる傾向にあることは、明白である。異なる光路のマイクロ画像上に作像された隣接する対象物点は、再び、全体画像の中の隣接する画像点の中にまとめられなければならないので、マイクロ画像の均等化または修正が賢明である。さもなければ、入射角に対応して増大している歪みの結果として、光路ごとに、画像検出器マトリクスの中心が、全体画像の縁に向かうそれぞれの光路(いわゆる、軸外れ光路)のマイクロレンズ窓の図心に関して、横方向に移行しているため、画像情報の間のオフセット(相殺)が、より多く生じる。その結果、マイクロ画像の誤った接続と減少した解像度とが生じる。マイクロ画像の信号は、集積回路(例えば、ASIC、SoC)、または、下流の回路(例えば、FPGA、CPU)のいずれかの中のハードウェア部品、および/または、ソフトウェア部品によって、直接に回転され、逆転にされ、修正される(すなわち、例えば、図4の歪み修正器50によって、歪みに関して修正される)。それとは別に、同じ系列内において、言い換えれば、歪み修正器50によって、マイクロ画像の中の固定パターン雑音と、照度の不均一性(陰影)とが、修正される。この画像処理の並行化の可能性は、例えば、応用仕様集積回路(ASIC)によって、短い計算時間と、全体画像の高い繰返し速度とを可能にする。
【0065】
歪みを修正して、個々のマイクロ画像から全体画像をまとめるためのユニットは、図4および図9に示され、これらの2つの図に関して詳細に説明される。
【0066】
図4は、マイクロ画像を修正して、マイクロ画像から全体画像300を再構成するための下流のユニット50,60,61を有する第2実施形態の光学画像装置を示す。拡張された対象物フィールド領域(例えば、焦点領域の深さ)に配置された対象物800は、光学画像装置の数個の光路によって、サイズに従って検出される。マイクロレンズ・フィールド10の個々のマイクロレンズによって作像された対象物フィールド領域は、相互に少なくとも一部重複する。それでも、画像検出器マトリクス(30a〜30e)上に作像された対象物領域(44a〜44e)は、主に分画されている。すなわち、既に画像検出器マトリクス(30a〜30e)上に作像されている対象物領域(44a〜44e)は、好ましくは、別の画像検出器マトリクス(30a〜30e)上に作像されない。この理由は、隣接する光路の抽出格子が、例えば、光路内の全ての抽出領域の完全な合計の半分だけ、相互に関して移行されるからである。抽出領域は、奇数の抽出領域または光ダイオードを有する。密集した対象物フィールド抽出は、マイクロレンズ10の短い焦点長と光ダイオード30´の固定サイズにもかかわらず、可能である。
【0067】
図4は、さらに、画像処理手段70を有する画像前処理を示す。画像処理手段70は、画素群または画像検出器マトリクス(30a〜30e)の記録されたマイクロ画像から、全体対象物800の完全で歪みのない画像300を形成するために必要である。個々のマイクロ画像30a〜30eは、画像処理手段70の第1処理手段(「マイクロ画像インバータ」)51の中で、水平方向および垂直方向に鏡像される(180°回転に対応する)。画像処理手段70の第2処理手段(「均等化または修正ステージ」)52の中において、マイクロ画像の画素値は、位置変換(例えば、x座標とy座標との双一次変換)によって、離散的格子構造から、連続した仮想座標面に変換される。変換パラメータは、光学設計データと模擬実験から知られる。その結果、遠近画法、画像形成拡大の変化、および、画像エラーによる画像歪みは、修正される。追加的補間によって、歪みのない画素値は、光路ごとに、新しい離散的格子(31a〜31eの中のx´,y´)上に作像をされる。処理手段51,52の中で実行される処理ステップは、好ましくは、光路ごとに並行して実行される。適合した光電子画像センサ100の使用で、それぞれの各光路ごと存在する回路モジュール内の第1処理手段51と第2処理手段52とを、画像センサ100のチップ(例えば、ASIC)上に直接に集積することは、処理過程の加速のために有利である。対応する回路の配置のために、隣接する光路の画像検出器マトリクス30の間の光学的に不使用のギャップが、提示される。全てのマイクロ画像(31a〜31e)の画素値の溶融(または、全体画像の再構成)は、選択的に、略ハードウェアで、すなわち、光電子画像センサのチップ(例えば、FPGA)の周辺部において電子的に、または、略ソフトウェアで、すなわち、外部的に接続されたCPU(例えば、PC)内だけで、行われる。
【0068】
画素値の溶融は、画像処理手段70の第3処理手段(「全体画像再構成器」)60によって、実行される。第3処理手段60は、固定パターンに従って、画素値を、歪みのないマイクロ画像31a〜31eから最終画像マトリクス300の中に、再分類を実行する。固定パターンは、個々の光路の抽出格子の挟み込みによって与えられる。
【0069】
図9は、傾斜した入射角の下で、画像形成における歪みの結果として、格子対象物800を有する正方形の対象物領域の画像歪みを示す。図9の左側は、比較例として、歪み修正のための第2処理手段52を有さない格子対象物800の再構成を示す。図9の右側は、歪み修正のための第2処理手段52を有する格子対象物800の再構成を示す。
【0070】
図9の左側では、マルチ光路画像および画像記録システムによる、または、光学画像装置による画像形成を含む画像記録系列と、マイクロ画像(ここでは、3×3個)の第1処理手段51による後続の変換とが、示される。第2処理手段52が無い結果として、マイクロ画像32は、まだ歪んでいる。以下のことは、対象物距離に依存する視差のオフセットを補償するために、(例えば、画像処理手段70の「視差補償器」61による)マイクロ画像32の仮想移行化である。最終的に、全てのマイクロ画像32の第3処理手段60よる画素値の溶融は、全体画像320になる。歪みのため、異なるマイクロ画像の細かい部分は接続できない。対象物800は、全体画像320によって十分正確に表示されない。
【0071】
これとは対照的に、図9の右側では、画像処理系列が、歪みを修正するためのステージ(均等化または修正ステージ52)と共に、示される。その結果、変換されたマイクロ画像31は、歪みがなく、視差補償器61(マイクロ画像の仮想移行)による視差補償、および、全体画像再構成器60による全てのマイクロ画像の画素値の溶融の後に、対象物800の十分正確な表現を表示する全体画像300を形成する。
【0072】
特許文献3と特許文献4のシステムとは対照的に、本発明に係る実施形態において、マイクロ画像の歪みの光路ごとの修正、および、マイクロ画像の画素値の補間が、実行される。その結果、全体画像における解像度能力は、区分化によって減少しない。
【0073】
歪みの適切な修正、および、マイクロ画像を全体画像に再構成することを可能にするために、対象物スペースの中の作動距離の電子的設定が使用される。横方向に離れて区切られた2つの光路から、隣接する2つの対象物点を抽出するとき、異なる光路間の視差のため、小さい対象物距離で、隣接する画像情報のオフセットが生じる。このオフセットは、部分的な画像情報の(「仮想」)移行によって修正される。ここでの移行は、対象物距離と、光路間の基本長(すなわち、それぞれの光路の光検出器マトリクスの中心点の間の距離)とに依存する。基本長が知られているので、(例えば、適した独立のギャップセンサで、)対象物距離を測定することによって、オフセットが電子的に後修正される。光学画像形成および画像記録システムは、それぞれの対象物距離ごとに、歪みのない方法で(例えば、図4の視差補償器61によって)、溶け合う(マイクロ画像を全体画像に溶融すること)前に、マイクロ画像の仮想オフセットの変化によって、全体画像に焦点を当てる。
【0074】
作動距離の設定は、離散的ステップの中で、それぞれのマイクロ画像の画像画素の数に従って、実行される。しかしながら、マイクロ画像の均等化または修正のために、(歪みの無いマイクロ画像への)座標変換と、(離散的画素位置を有する歪みの無いマイクロ画像の信号強度の)補間とが、必要である。作動距離の設定は、より微細な等級であっても、仮想の副画素移行によって、実行される。
【0075】
言い換えれば、小さい(100×焦点長より小さい)対象物距離で、部分的に重複している対象物フィールド領域の間の画角(視差)のオフセットが、隣接するマイクロ画像の中で起こるので、同様のことが、マイクロ画像の溶融において、マイクロ画像の細部の規則正しい連続した接続を保証するために、考慮されるべきである。仮に、(平均)対象物距離が知られているならば、全体画像再構築器60の中の分類アルゴリズムは、数値表に応じて、単一光路のマイクロ画像を、相互に事実上横方向にオフセットすることによって、変化される。(平均)対象物距離は、例えば、測定ファインダーカメラと同様に、視差補償器61の中の外部センサ源によって決定される。これは、副画素補間によって、1画素の等級、または、さらに微細な等級でも、実行される。全体画像300の縁では、挟み込まれた抽出格子のため、関連対象物フィールドセルが、マイクロレンズ・フィールド10の縁を超えて配置された外れた隣接光路によって検出されるので、「空白の画素値」が起こる。
【0076】
図13は、第3実施形態の光学画像装置1300を示す。光学画像装置1300は、例えば、5つの画像検出器マトリクス30を有する画像センサ100を含む。対象物に面している画像センサ100の一方の面(または、上面)には、透明な基板層22が配置されている。基板層22の上には、第1窓フィールド12´が配置されている。第1窓フィールド12´の上には、別の透明な基板層21が配置されている。基板層21の上には、第2窓フィールド12が配置されている。スペーサ層40は、第2窓フィールド12の上に配置され、マイクロレンズ・フィールド10は、このスペーサ層40内に逆さに設置されている。すなわち、マイクロレンズ・フィールド10のマイクロレンズの平面側は、対象物に向けられ、一方、マイクロレンズの曲面側は、画像センサ100に向けられている。第1窓フィールド11は、マイクロレンズフィールド10の上側に配置されている。第1窓フィールド11の上には、別の基板層20が配置されている。基板層20は、上面側に第2窓フィールド11´を有している。フィルタ層200は、第2窓フィールド11´の上に配置されている。
【0077】
以下において、第3実施形態の光学画像装置1300の機能および利点が説明される。光学画像装置1300において、少なくとも1つの基板層20を有するマイクロレンズ・フィールド10が、透明な基板層21,22の基本的積層体を有するスペーサ40に逆さに取り付けられるので、第2窓フィールド11´は、レンズから分離され、透明な基板層20の前側に位置する。これは、第2実施形態の光学画像装置1200と比較して、以下の利点がある。
【0078】
第1の利点は、平凸レンズに関連する第2窓フィールド11´の上流の位置によって、光学画像エラー(特に、コマ(彗星の頭部の雲状のもの)、乱視、および画像フィールド効果)が部分的に補償される、ということである。そうでなければ、それぞれの単一光路内のより大きい数の光学要素(レンズ)が必要である。対物レンズによる大きな入射角から作像されるべき光410は、実際のレンズ領域に達する前に、フィルタ層200によって屈折され、基板層20の中に入射する、という更なる利点がある。大気と比較して、基板層20の、より高い屈折率のため、ビームは、より小さい角度の下、レンズ輪郭を通過する。それは、光学画像エラー(異常)の減少をもたらす。
【0079】
さらに、第2実施形態の場合、対象物フィールドの中の画角に依存して、画像平面上への実際に同じサイズの主ビームの入射角が生じる(図10参照)。特に、大きい入射角で、これは、光電子画像センサ100の3次元画素構造と、隣接する光ダイオード30´の間のクロストークとによって、陰影をもたらす。これらの効果は、相対的照度の強さと画像内のコントラストとを減少させる。それとは対照的に、第3実施形態の場合、中間フィールド(それぞれの画像検出器マトリクス30の中心の光ダイオードによって検出される、対象物フィールドの対象物セル)の主ビームは、小さい角度の下で、各光路の中で、光電子画像センサ100の光能動的領域上に衝突する。光電子画像センサ100は、画像の中の相対的照度の強さに関する有利な効果を有する。
【0080】
図10は、75°の完全な視野角度を有するマルチ光路画像および画像記録システムのための光電子画像センサ100の平面の正規化直径座標を横切って記載された、光電子画像センサ100の平面上のそれぞれの主ビームの入射角(度)を示す。データ列1は第2実施形態の光学画像装置1200を使用して得られ、データ列2は第3実施形態の光学画像装置1300を使用して得られた。
【0081】
さらに、マイクロレンズ・フィールド10の前側が平らに設けられているので、マイクロレンズ・フィールド10は、光学フィルタ200(例えば、視覚光における応用のためのIR帯域阻止フィルタ)の前側に、逆さに実装される。および/または、スペクトル伝達フィルタ(例えば、光路ごとの、赤色フィルタ、緑色フィルタおよび青色フィルタ)のフィールド型配置は、集積されている。さらに、平らな境界領域またはインタフェースは、反射防止(例えば、ARコーティング)のために、および、環境の影響から後続の第2窓フィールド11´を保護すること(例えば、耐摺り傷のコーティング)のために役立つ。あるいはまた、スペクトル伝達フィルタのフィールド型配置は、第1窓フィールド11とマイクロレンズフィールド10との間で直接に構造化される。
【0082】
フィールドとして設けられたスペーサ40は、不透明な材料(例えば、プラスチック、深くエッチングされたシリコン)、または、透明な材料(例えば、プラスチック、ガラスまたは無機の有機ポリマー(例えば、ORMOCER))のいずれかで作成されることが勧められる。ギャップは、マイクロレンズと比較して低屈折率を有する材料(例えば、空気、真空引きされた空気、窒素または同様のもの)を含む。その結果、焦点合わせがレンズによって達成される。スペーサ40のために透明な材料を使用するとき、いくつかの場合において、基板層21の前側の第2窓フィールド層12が、光路間の光学クロストークを防ぐために必要である。さらに、第1窓フィールド12´が、いくつかの場合において、同じ理由のために必要である。さらに、追加の窓フィールドが、光路間のクロストークを最小限にするために導入されてもよい。さらにまた、第2実施形態においても、不透明な材料(例えば、光吸収物質、または、深くエッチングされたシリコン)で作成された、垂直方向に傾斜した壁が、光学クロストークを抑制するための水平な窓フィールド12,12´の代わりに適している。しかし、垂直方向に傾斜した壁は、技術的に、より費用および手間がかかる。軸方向(垂直方向)の光路分離構造の場合において、軸方向の光路分離構造が、マイクロレンズ・フィールド10と基板層20とを実装するための安定した枠組みを代表する限り、基板層21,22は省略されてもよい。そして、光束は、それぞれの充填媒体(例えば、空気、真空引きされた空気、窒素または同様のもの)の中で、軸方向にマイクロレンズ10の後で、焦点が合わせられる。
【0083】
第2実施形態と比較して、逆さの組み立てによって生じた空洞とスペーサ40とは、変更された組み立ておよび接続技術を引き起こす。フィルタ層200、基板層20、窓フィールド11,11´およびマイクロレンズ10の積層体は、窓層12,12´を有する基板層21,22のスペーサ40の積層体から分離して製造されてもよい。2つの部品は、マークによって、ウエハーレベル上で正確に位置調整され、相互に接続(例えば、接着、はんだ付け、または、陽極接合)される。完全なマイクロレンズの対物レンズは、任意に、ウエハーレベル上で、あるいは、光電子画像センサ100上の切断された単一対物レンズの中で、位置調整または接合される。あるいはまた、光学部品は、多数の光電子画像センサを有する光学ウエハーの上に、ステップ順に、または、層順に組み立てられる。
【0084】
マイクロレンズの対物レンズを通過する有効光の伝達を増加させるために、マイクロレンズ10の曲面上と基板層21の前側表面上とに、反射防止被覆をすることは利点がある。
【0085】
図14は、第4実施形態の光学画像装置1400を示す。図14において、3つのマイクロレンズ・フィールド10,101,102が、窓フィールド11´の周りに、事実上、対称的配置で、軸方向に順に使用される。また、3つより多いマイクロレンズ・フィールドを使用することも可能である。凸平面レンズから成る第1マイクロレンズ・フィールド10は、薄い基板層20の上面(対象物に面している側の面)に配置されている。窓フィールド11は、基板層20とマイクロレンズ・フィールド10との間に、構造化されている。薄い基板層20の下には、第2マイクロレンズ・フィールド101が配置されている。第2マイクロレンズ・フィールド101のレンズは、ここでは、凹平面レンズとして実行される。それに続く基板層21の上面側には、すなわち、基板層21とマイクロレンズ・フィールド101との間には、各光路の中の実際のシステム窓を代表する窓フィールド11´が、配置されている。窓フィールド11´を前側(対象物に面している側)に有する基板層21は、基板層20の後側(対象物から離れている側)のマイクロレンズ・フィールド101の残りの層に直接に接続されている。その結果、単一画像形成対物レンズが、結果として生じる。基板層21の後側面には、別の水平窓層12が配置されている。水平窓層12は、光学クロストークを抑制するために役に立つ。別の凸平面マイクロレンズ・フィールド102は、基板層21の後側に形成されている。その結果、得られた積層体は、光電子画像センサ100上に、軸方向空間構造物(スペーサ)41によって固定されている。スペーサ41は、マルチ光路対物レンズの縁上に設けられている。また、スペーサ41は、光路ごとに設けられている。スペーサ41の材料として、特に、ガラス、プラスチックまたは金属が使用される。材料は、不透明であるべき、または、その後の実装ステップで不透明にする(例えば、ガラスを使用するときは、光吸収物質によって黒くする)べきである。それぞれの光ダイオード群30は、マイクロレンズ・フィールド10,101,102の関連マイクロレンズと比較して、横方向オフセット(ピッチ差)を有する。横方向オフセットは、対象物フィールドの中で、それぞれの光路の平均観測方向を与える。光学ビームは、マイクロレンズを通過して、関連光ダイオードマトリクス30の中心で、光ダイオードに衝突する。
【0086】
構造の記述に基づいて、光学画像装置1400の機能および利点が、第4実施形態に従って説明される。異なるマイクロレンズ・フィールド10,101,102は、例えば、材料の異なる分散特性による色彩の画像エラーを修正するために、異なる材料(異なるガラス種類、プラスチック、無機の有機的ポリマーなど)から形成される、または、割り当てられる。さらに、1つ以上のマイクロレンズ・フィールド10,101,102が、色消しの要素のフィールドとして、設けられてもよい。対物レンズの縁部に取り付けられた不透明な軸方向スペーサのため、マルチ光路画像システムと光電子画像センサ100の感光性領域の両方が、外側から来る散乱光から保護される。さらに、マイクロレンズ・フィールド10,101,102は、相互に異なる中心距離を有する。その結果、隣接する光路間の個々のマイクロレンズ10,101,102の頂点1420間の軸方向接続直線1410は、図14の光学画像装置1400の中のように、角度を取り囲み、平行でない。
【0087】
上で説明された組み立てのため、全ての光路において、小さいマイクロ対物レンズが、生じる。マイクロ対物レンズは、それぞれの関連対象物部分の画像を、光電子画像センサ100の関連光ダイオード群30の上に写像する。ここで、明らかに、中間像を有する2ステージ画像形成は、全体対物レンズの最小可能構築長を得るために使用ない。図14の3つのマイクロレンズ・フィールド10,101,102の配置は、それぞれの光路内の(歪み、色彩エラー、およびコマのような)光学画像エラーを減少させ、かつ、他の実施形態と比較して、光学解像度能力を増加させるために、有利である。特に、この第4実施形態を使用して、樽形歪みは大きく修正される。その結果、全体画像の解像度能力が、歪みの結果として、大きな対象物の画角に対して減少しない。それとは別に、増加する複雑さのため、光学光強度の増加(f番号の減少)が可能である。
【0088】
図15は、第5実施形態の光学画像装置1500を示す。光学画像装置1500は、第4実施形態とは対照的に、基板層20の上面に、マイクロレンズ・フィールド10を含む。マイクロレンズ・フィールド10は、屈折の自由形式表面の第1フィールドとして設けられている。基板層21の下面には、マイクロレンズ・フィールド102を含む。マイクロレンズ・フィールド102は、屈折の自由形式表面の第2フィールドとして設けられている。屈折の自由形式表面のフィールドは、一般に、マイクロレンズ・フィールドである。個々のレンズパラメータ(すなわち、窓の形式およびサイズも)は、光路ごとに(または、自由形式表面ごとに)、異なる。屈折の自由形式表面の第1フィールド10と関連窓フィールド11とは、薄い透明な基板層20の上に配置されている。基板層20の後側に、凹平面マイクロレンズ・フィールド101が配置されている。軸方向に続く基板層21の前側に、窓フィールド11´が配置されている。窓フィールド11´を前側に有する基板層21は、基板層20の後側のマイクロレンズ・フィールド101の残りの層に、直接に接続されている。その結果、単一画像形成対物レンズが生じる。基板層21の後側面には、水平な窓シート12および屈折の自由形式表面の第2フィールドが配置されている。水平な窓シート12は、光学クロストークを抑制するために役立つ。異なるマイクロレンズ・フィールド(または、屈折の自由形式表面フィールド)10,101,102は、例えば、材料の異なる分散特性によって色彩画像エラーを修正するために、異なる材料(異なるガラス種類、プラスチック、無機の有機的共同重合体など)から成る。さらに、1つ以上のマイクロレンズフィールド(または、屈折の自由形式表面フィールド)10,101,102は、無色の要素のフィールドとして設けられる。マルチ光路画像形成対物レンズは、光電子画像センサ100の軸方向間隔構造体(スペーサ)41によって固定されている。これらのスペーサ41は、マルチ光路対物レンズの縁に設けられているけれども、任意に、光路ごとに設けられてもよい。材料として、特に、ガラス、プラスチックまたは金属が使用される。材料は、不透明であるべき、または、その後の実装ステップで不透明にする(例えば、ガラスを使用するときは、光吸収物質によって黒くする)べきである。
【0089】
一般に、焦点は、非球面レンズおよび屈折自由形式表面に対して、入射光線が、(例えば、画像センサ100の主表面に)常に束ねられる点である。
【0090】
レンズの縁に取り付けられた、不透明かつ軸方向のスペーサ41によって、マルチ光路画像システムと光電子画像センサ100の感光性領域の両方が、横方向から入射する散乱光から保護される。それぞれの光ダイオード群30は、マイクロレンズ・フィールドまたは屈折自由形式表面フィールド10,101,102からの、関連マイクロレンズまたは屈折自由形式表面に関して、横方向オフセット(ピッチ差)を有する。横方向オフセットは、対象物フィールドの中のそれぞれの光路の視点または監視の平均方向を定義する。
【0091】
構造に基づいて、第5実施形態の機能と利点が説明される。図15に示した第5実施形態の光学画像装置1500は、図14に示した第4実施形態の光学画像装置1400と比較して、より高い光学的に十分な要素を有する。これは、それぞれのマイクロレンズ・フィールドの代わりとして、屈折形式表面の少なくとも1つのフィールド型配置の使用によって、達成される。例えば、図15の光学画像装置1500において、屈折自由形式表面の2つのフィールド、つまり、屈折自由形式表面の第1フィールド10と屈折自由形式表面の第2フィールド102とが、使用される。各光路内のこれらの屈折自由形式表面の横方向の拡張は、屈折自由形式表面と比較して、より大きい(完全な)マイクロレンズのそれぞれの光ダイオード群30に属している点灯された領域より実質的に大きくない。この理由のため、光ダイオード(光ダイオードマトリクス)群30は、相互に隣接してまとめられ、密集した状態で配置される。それは、マイクロレンズの使用と比較して、光電子画像センサ100の、より小さい能動領域(または能動表面)および製造コストの減少を意味する。
【0092】
第4実施形態の光学画像装置1400に関して既に言及したように、第5実施形態の光学画像装置1500も、第4実施形態の中で言及した利点を有する窓フィールド11´の周りに、殆んど軸対称の配置が、光学解像度能力を増加するために使用される。示された配置において、歪みは、主に、光路内の軸方向に対称的な光学的組み立てによって強く減少される。傾斜した入射光の下、光路ごとの、画像エラーの修正の最適化の結果として、接線で矢状縫合のマイクロレンズパラメータの独立した適合が好ましい。しかしながら、1光路当たり1つの(従って、非無定形の)屈折自由形式表面による画像形成は、接線方向で矢状縫合の方向に、異なる画像形成拡大を、その都度、発生する。それは、それぞれのマイクロ画像の単一軸歪みを導く。この歪みは、光路ごとに、(例えば、図4の第2処理手段52を使用して、)画素値の位置変換および補間によって有利に修正され、隣接する光路の画像細部の接続(適する相互接続)、および、全体画像の高解像度能力が保証される。また、図15に示すように、1光路当たり1つの第2屈折自由形式表面が、傾斜した入射光の下で、光路ごとに、画像エラーの修正と同時に、接線方向で矢状縫合方向において、画像形成拡大の変化を、光学的に修正するために使用される。
【0093】
屈折自由形式表面10,102は、より大きい2円錐形マイクロレンズ(すなわち、表面輪郭を通した2つの縦断面に沿った異なる円錐を有する、2つの非球面の輪郭を含むマイクロレンズ)の区域によって少なくとも近似的に説明される。2円錐形レンズの表面輪郭は、一般に、回転対称形(すなわち、非無定形)でない。光路ごとに異なる、様々な表面輪郭の正確な数学的記述は、基準点に関して、二次元座標に依存する軸方向の矢の高さの多項式の発展によって実行される。非定常構造が、隣接する光路の間で重複するため、フィールド型配置の中のこれらの屈折自由形式表面10,102に対して、レーザ刻み付け、灰色調または2光子石版、熱またはガラススタンプのような製造方法が必要である。あるいはまた、超精度処理が、対応する成形道具の原型を製造するために役立つ。
【0094】
さらに、これまで示された実施形態から逸脱する実施形態が使用される。したがって、別の実施形態において、例えば、フィールド配置内のマイクロレンズが、少なくとも1つのマイクロレンズの構造パラメータ(例えば、足跡、直径、矢の高さ、曲率半径、中心点距離、および他のものの形式)において異なる。特定の表面において、マイクロレンズの輪郭は、球体形、円環形(すなわち、2つの縦断面に沿った、2つの球面曲率半径)、2円錐形(すなわち、2つの縦断面に沿った、異なる円錐を有する2つの非球面形輪郭)、または、非球面である、ことが更に可能である。さらに、マイクロレンズも、屈折自由形式表面として設けられる。マイクロレンズは、一般に屈折型であるけれども、別の実施形態では、回折型、または、屈折と回折の混合型でもよい。マイクロレンズ・フィールドの個々のマイクロレンズが、垂直(縦)方向および水平(横)方向の色エラーを最小にするために、色消しレンズとして設けられることは、さらに可能である。マイクロレンズ・フィールド、および、異なる屈折率を有する材料の間のインタフェースまたは境界領域が、反射防止コーティング(ARコーティング)と共に提供されることは、さらに可能である。
【0095】
ハードウェア歪み修正の更なる可能性は、光電子画像センサ100の中の光ダイオード30´の物理的中心距離の変化である。その結果、光路特有の歪みは、マイクロ画像内の光ダイオード30´の配置の光路依存変化を有するレンズに適合した光電子画像センサ100によって、修正される。光ダイオード30´の光路特有の配置は、この点において、光路ごとに、レンズ設計データ、および、特に歪みコースから決定される(図8参照)。
【0096】
仮に、光ダイオード群30が、六角形の、正方形の、長方形の、または、別の分配で、光電子画像センサ100上に配置されるならば、関連マイクロレンズ10も、六角形の、正方形の、長方形の、または、別の分配で配置されることが、さらに可能である。
【0097】
まとめると、各実施形態は、マルチ光路画像と画像記録システムとに関わることに注目すべきである。画像形成および画像記録システムは、1つ以上のマイクロレンズ・フィールドと、各光路において、対象物フィールドの一部領域を検出する画像検出器フィールドとから成る。そして、画像形成および画像記録システムは、対象物フィールドの一部領域を写像して、全ての個々の光路の電子/ディジタル信号から、拡張対象物フィールドの全体画像をまとめる。本システムは、完全に独立して画像形成し、他の光学系に結合される必要はない。これは、画像形成されないけれども、光学的に十分な要素を増加させるための光束化に役立つ光電子画像センサのそれぞれの光ダイオード上のマイクロレンズ・フィールドに対する対照を表す。周知の従来技術とは対照的に、以下の利点が、特に結果として生じる。(スペーサ層のための光学部品、および、光電子画像センサのためのマルチ光路対物レンズの)組み立てと接続技術とは、主に、ウエハーレベル上で並行して、多数のシステムのために実行される。これらの方法の精度は、位置調整マークによる光学的位置調整支援の使用のため、ミクロンの範囲内である。これによって、手動実装の割合と1モジュール当たりの実装時間とが、明確に減少し、費用低減をもたらす。更なる利点は、既に知られている人工的同格複眼に関する、1光路当たりの画素数と、特に適合した抽出原則の使用が、同じセンサ足跡またはより小さいセンサ足跡であっても、実質的により高解像度能力が可能である、ということである。この理由のため、光電子画像センサの製造コストが減少し、その結果、全体システムの製造コストも、減少する。更なる利点は、特に、それぞれのマイクロ画像内の光学的歪みの修正のための、光路ごとの信号前処理の使用が、全体フィールドの中で、解像度能力を減少させないで、対象物フィールドの区分化を可能にする、ということである。対象物フィールドの一部領域は、マイクロレンズを通して、画像検出器マトリクス上に作像されるとき、マイクロ画像が結果として生じる。さらに、多数の分離光路による対象物フィールドの画像形成の分割のため、光学系の構築長の短縮化が可能になる。そして、これにもかかわらず、広大な対象物フィールド領域の検出が可能になる。しかしながら、特に、検出可能な対象物フィールドのサイズは、光路の数と横方向のシステムサイズとで伸縮化されるけれども、構築長からは独立している。さらに、実際には一定の解像度能力を有する大きい対象物フィールドが、全体フィールドにわたって作像される。各光路において、簡素な(製造しやすい)光学系が使用される。さらに、費用対効果に優れた生産と、画像形成対物レンズの実装と、費用対効果に優れた組み立てと、光電子画像センサの接続技術とが、ウエハーレベル上の半導体パターン化の技術関連の製造工程によって可能になる。更なる利点は、画像エラー(特に、コマ、乱視、画像フィールド湾曲)の光路ごとの修正のために、光学的配置に関する1光路当たりの数画素の使用による画像解像度能力(最大約1000×1000画素以上)の増加である。光路ごとの、歪みの修正のための画像前処理の追加的な使用によって、マイクロ画像の細部のエラー無し接続が可能になる。さらに、光学画像装置は、画像分解度能力の指数、および、光電子画像センサの必要領域の増加を可能にし、その結果、全体システムのコストの減少を可能にする。それとは別に、光学的組み立て(第3実施形態を参照)の適した変化によって、縁に向かっての画像の明るさの減少が抑えられる。さらに、スペクトル伝達フィルタの容易な集積の可能性が提供される(例えば、IRブロック化フィルタ、および/または、色フィルタ)。
【0098】
全ての実施形態の例示的パラメータ範囲が、以下に示される。マイクロレンズの通常の直径は、10μm〜1mmの範囲内である。マイクロレンズの焦点長は、通常、30μm〜3mmの範囲内である。二次元フィールドにおいて、マイクロレンズまたは光路の数は、通常、4〜25000個である。一方、一次元フィールドにおいて、マイクロレンズまたは光路の数は、通常、2〜1000個である。光学画像装置が有する利点に基づいて、画像形成レンズの完全な構築長は、通常、50μm〜4.5mmのサイズをもたらす。光学画像装置の全体画像解像度は、通常、1万画素と1000万画素との間である。
【0099】
実施形態に係る光電子画像センサ上の(例えば、窓層を有する薄い基板上の)、画像形成マイクロレンズ・フィールドは、従来の単一光路光学系と唯一区別される。レンズは別々に(射出成形して)製造され、画像センサと共に共通ハウジング内に組み込まれるので、組み立ては、通常、ハイブリッドである。
【0100】
それらの可能な超小型構造と潜在的な費用対効果に優れた製造技術とに基づいて、マルチ光路画像形成と画像検出システムとは、娯楽電子製品(ラップトップ、家庭用ゲーム機、玩具)の中での使用と、特に、携帯機器(携帯電話、PDAおよびその他)の中での使用とが、運命付けられている。別の応用分野は、センサ工学(例えば、カメラ型センサ、製造技術の中の画像形成センサ)、自動車技術(例えば、自動車の内部の光安全センサ、高度運転支援システム、後方カメラ、車線検出など)、安全監視(例えば、ビル、博物館、構築物での/中にある、大きな視野を有する切り換え可能な環境カメラ)、ロボット工学(例えば、ナビゲーション、把持器の光学的制御、または、部品取り上げ装置のための光センサとして)、および、医療技術(例えば、画像形成診断法、内視鏡検査における使用)である。
【0101】
方法の実施形態は、発明の装置の全ての局面と機能性によって補われる。
【0102】
いくつかの局面は、装置に関係して説明したけれども、これらの局面が、対応する方法の記述を表すことは明白である。その結果、装置のブロックまたは部品は、対応する方法のステップとして、または、方法のステップの特徴として見做される。これとの類似で、方法のステップと関係して、または、方法のステップとして説明された局面は、対応する装置の、対応するブロックまたは細部または特徴の記述を表す。
【0103】
特定の実現要求によって、本発明に係る実施形態は、ハードウェアまたはソフトウェアの中で実現される。実現は、デジタル保存媒体(例えば、フロッピー(登録商標)ディスク、DVD、ブルーレイディスク、DC、ROM、PROM、EPROM、EEPROM、フラッシュメモリ)を使用して実行される。電子的に読み取り可能な制御信号が保存された、主ディスクまたは別の磁気的または光学的記憶部が、プログラム可能なコンピュータ・システムと協働する。その結果、それぞれの方法が実行される。したがって、デジタル保存媒体は、コンピュータ読み取り可能である。本発明に係るいくつかの実施形態は、プログラム可能コンピュータ・システムと協働できる、電子的に読み取り可能な制御信号を含むデータ担持体を含む。その結果、ここで説明された方法の1つが実行される。
【0104】
一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として、実行される。コンピュータプログラム製品が、コンピュータで実行されるとき、プログラムコードは、方法の1つを実行するために有効である。例えば、プログラムコードは、機械読み取り可能な担持体上に保存される。
【0105】
他の実施形態は、ここで説明された方法を実行するためのコンピュータプログラムを含む。コンピュータプログラムは、機械読み取り可能な担持体上に保存される。
【0106】
言い換えれば、発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行されるとき、ここで説明された方法の1つを実行するためのプログラムコードを含んでいるコンピュータプログラムである。発明の方法の別の実施形態は、ここで説明された方法の1つを実行するためのコンピュータプログラムが保存されるデータ担持体(または、デジタル保存媒体またはコンピュータ読み取り可能な媒体)である。
【0107】
発明の方法の別の実施形態は、ここで説明された方法を実行するためのコンピュータプログラムを表すデータストリームまたは信号の系列である。例えば、データストリームまたは信号の系列は、データ通信接続(インターネット)を介して、伝達するように構成される。
【0108】
別の実施形態は、ここで説明された方法の1つを実行するために構成される、または、適合させられる処理手段(例えば、コンピュータまたはプログラム可能な論理回路装置を含む。
【0109】
別の実施形態は、ここで説明された方法の1つを実行するためのコンピュータプログラムがインストールされるコンピュータを含む。
【0110】
いくつかの実施形態において、プログラム可能な論理回路装置(例えば、電界プログム可能なゲートアレイ、FPGA)は、ここで説明された方法のいくつか、または、全ての機能を実行するために使用される。いくつかの実施形態において、電界プログム可能なゲートアレイは、マイクロプロセッサと協働して、ここで説明された方法の1つを実行する。一般に、方法は、いくつかの実施形態において、どんなハードウェア装置によっても実行される。ハードウェア装置は、コンピュータプロセッサのような一般に使用可能なハードウェア(CPU)、または、例えば、ASICのような方法のための特定のハードウェアである。
【0111】
上述されている実施例は、本発明の原理のために、単に図示するだけである。配置および本願明細書において記載されている詳細の修正および変更は、他の当業者にとって明らかであることは言うまでもない。従って、以下の特許請求の範囲だけによって制限され、本願明細書において実施例の参照および記述として示される具体的な詳細だけによって制限されないことは明らかである。
【符号の説明】
【0112】
10 マイクロレンズ・フィールド
30a 第1画像検出器マトリクス
30b 第2画像検出器マトリクス
70 画像処理手段
100 画像センサ
300 全体画像
【特許請求の範囲】
【請求項1】
第1画像検出器マトリクス(30a)に関連した複数の第1画像検出器と、第2画像検出器マトリクス(30b)に関連した複数の第2画像検出器と、を有する画像センサ(100)と、
画像エラーを修正して、前記画像検出器マトリクスの画像検出器上の画像から全体画像(300)を再構成するための画像処理手段(70)と、
前記画像センサ(100)がマイクロレンズ・フィールド(10)の焦点面に位置するように、マイクロレンズ・フィールド(10)を前記画像処理手段(70)上に実装するように設けられたマイクロレンズ・フィールド受け入れ用ユニットと、を備え、
隣接する光路の個々の画像は挟み込まれ、
前記画像処理手段(70)は、歪みを修正するための複数の処理手段を含み、
前記画像処理手段(70)は、個々の画像の挟み込みが考慮されるように、時間的に並行して、相互に独立して、全ての画像検出器マトリクスの個々の画像の画像エラーの修正を実行し、前記個々の画像から全体画像を再構成するように、構成されていること、
を特徴とする、光学画像処理装置。
【請求項2】
前記画像処理手段(70)は、画像センサ(100)を有するチップ上に設けられていること、を特徴とする、請求項1に記載の光学画像処理装置。
【請求項3】
前記複数の処理手段は、前記画像センサ(100)の前記画像検出器マトリクスのギャップの中の歪みを修正するために配置されていること、を特徴とする、請求項2に記載の光学画像処理装置。
【請求項1】
第1画像検出器マトリクス(30a)に関連した複数の第1画像検出器と、第2画像検出器マトリクス(30b)に関連した複数の第2画像検出器と、を有する画像センサ(100)と、
画像エラーを修正して、前記画像検出器マトリクスの画像検出器上の画像から全体画像(300)を再構成するための画像処理手段(70)と、
前記画像センサ(100)がマイクロレンズ・フィールド(10)の焦点面に位置するように、マイクロレンズ・フィールド(10)を前記画像処理手段(70)上に実装するように設けられたマイクロレンズ・フィールド受け入れ用ユニットと、を備え、
隣接する光路の個々の画像は挟み込まれ、
前記画像処理手段(70)は、歪みを修正するための複数の処理手段を含み、
前記画像処理手段(70)は、個々の画像の挟み込みが考慮されるように、時間的に並行して、相互に独立して、全ての画像検出器マトリクスの個々の画像の画像エラーの修正を実行し、前記個々の画像から全体画像を再構成するように、構成されていること、
を特徴とする、光学画像処理装置。
【請求項2】
前記画像処理手段(70)は、画像センサ(100)を有するチップ上に設けられていること、を特徴とする、請求項1に記載の光学画像処理装置。
【請求項3】
前記複数の処理手段は、前記画像センサ(100)の前記画像検出器マトリクスのギャップの中の歪みを修正するために配置されていること、を特徴とする、請求項2に記載の光学画像処理装置。
【図1】
【図2】
【図3】
【図4】
【図5a】
【図5b】
【図6a】
【図6b】
【図7a】
【図7b】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図2】
【図3】
【図4】
【図5a】
【図5b】
【図6a】
【図6b】
【図7a】
【図7b】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【公開番号】特開2013−102534(P2013−102534A)
【公開日】平成25年5月23日(2013.5.23)
【国際特許分類】
【出願番号】特願2013−17198(P2013−17198)
【出願日】平成25年1月31日(2013.1.31)
【分割の表示】特願2011−543783(P2011−543783)の分割
【原出願日】平成22年10月12日(2010.10.12)
【出願人】(591037214)フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ (259)
【Fターム(参考)】
【公開日】平成25年5月23日(2013.5.23)
【国際特許分類】
【出願日】平成25年1月31日(2013.1.31)
【分割の表示】特願2011−543783(P2011−543783)の分割
【原出願日】平成22年10月12日(2010.10.12)
【出願人】(591037214)フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ (259)
【Fターム(参考)】
[ Back to top ]