超解像電気光学画像化システムのエンド・ツー・エンド設計
【課題】システム全体が異なるサブシステムを考慮に入れる超解像電気光学画像化システムを提供することにより、先行技術の制約を解消することである。
【解決手段】超解像電気光学画像化システムである。該システムは、ディテクタサブシステムに結合した光学サブシステムを有する画像化サブシステムであって、異なる画像化ＭＴＦを用いて信号源の低解像度画像を作るための調整可能画像化ＭＴＦにより特徴付けられる画像化サブシステムと、前記画像化サブシステムに結合された、超解像処理により前記低解像度画像を結合して前記信号源の高解像度画像を作る超解像デジタル画像処理サブシステムとを有する。
【解決手段】超解像電気光学画像化システムである。該システムは、ディテクタサブシステムに結合した光学サブシステムを有する画像化サブシステムであって、異なる画像化ＭＴＦを用いて信号源の低解像度画像を作るための調整可能画像化ＭＴＦにより特徴付けられる画像化サブシステムと、前記画像化サブシステムに結合された、超解像処理により前記低解像度画像を結合して前記信号源の高解像度画像を作る超解像デジタル画像処理サブシステムとを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、超解像電気光学画像化システムに関し、かかるシステムの「エンド・ツー・エンド」設計を含む。
【背景技術】
【０００２】
電気光学画像化システムは、一般的に、光学サブシステム（例えば、レンズアセンブリ）、電子ディテクタサブシステム（例えば、ＣＣＤディテクタアレイ）、及び（例えば、典型的には専用チップまたはソフトウェアに実装された）デジタル画像処理サブシステムとを含む。ほとんどの電気光学画像化システムにおいて、フォトディテクタの空間的サンプリングレートは、光学サブシステムの回折限界よりも大幅に低い。現在の技術では、最も小さなピクセルの大きさ（すなわち、ピクセル間ピッチ）は、一般的には３〜４ミクロンのオーダーである。かかるピクセルの大きさに対応するナイキストレート（Nyquistrate）は、１ｍｍあたり１２５から１６６ラインペア（ｌｐ／ｍｍ）である。光学サブシステムのＦナンバーが低く、３から４であることは特別なことではない。回折限界は１／（λ×Ｆナンバー）であるから、回折限界の光学サブシステムは可視スペクトルが５００ｌｐ／ｍｍ程度の低い空間的周波数の画像コンテンツを通すことができる。
【０００３】
図１は、Ｆ／４．５回折限界の光学サブシステムの変調伝達関数（ＭＴＦ）１１０と、充填比１００％１５ミクロンピッチピクセルの場合のＭＴＦ１２０と、光学サブシステムとディテクタを併せた累積ＭＴＦ１３０の例を示している。便宜上、光学サブシステムのＭＴＦを光学ＭＴＦ１１０と呼び、ディテクタサブシステムのＭＴＦをディテクタＭＴＦ１２０と呼び、合成したＭＴＦを画像化ＭＴＦ１３０と呼ぶ。画像化ＭＴＦは光学ＭＴＦとディテクタＭＴＦの積である。ディテクタサブシステムのナイキストレートも示した。この場合、３３ｌｐ／ｍｍである。ナイキストサンプルレートはディテクタサンプリング周波数とも呼ぶ。ボックス１４０は、ナイキストレートまでのＭＴＦ領域を示す。画像化ＭＴＦ１３０の大きな部分がサンプリングバンド１４０の外側にある（すなわち、サンプリング周波数より高い周波数である）。その結果、この電気光学画像化システムは、ナイキストレートより高い空間周波数の画像コンテンツを通す可能性がある。
【０００４】
理論的には、高い周波数の画像コンテンツは、ディテクタアレイのピッチを小さくして、ディテクタのサンプリング周波数を高くすることによりキャプチャできる。しかし、ピクセルの寸法を小さくすることには限界がある。ピクセルの大きさが小さくなると、ピクセルのダイナミックレンジと信号雑音比（ＳＮＲ）とが悪くなる。
【０００５】
図１を参照して、ナイキストレートより高い空間周波数の情報をサンプリングすると、最終的な画像はモアレパターン等のエイリアシングアーティファクトを含む。エイリアシングの効果は、単一のフォトディテクタを用いるカラーシステムでより一層顕著である。かかる場合、バイエルパターン（Bayer pattern）によりナイキストレートが１／２に減少するが、エイリアシングの問題はさらに悪化する。研究者は、エイリアシングパターンをなくす様々な方法を開発している。程度の差こそあれ、これらのアプローチは一般的にはある種の光学ローパスフィルタを含み、ナイキストレートより上の情報コンテンツを効果的に破壊してしまう。例えば、コダック社は、ディテクタの前に直接配置する光学的に透明なプレートを販売している。そのプレートには粒子がランダムに配置されており、ランダムな位相エラーを生じさせる。これにより光学画像が効果的ににじみ、ナイキストレートより高い周波数のコンテンツを減らし、エイリアシングの効果を低減する。
【０００６】
他のアプローチでは、画像コンテンツは、複屈折板の空間シフト特性を用いて、色に依存する方法で複製される。複屈折板は、光学サブシステムの点広がり関数を複製するが、元の点広がり関数に対してシフトしている。元の点広がり関数とそれがシフトしたものとにより作られた累積点広がり関数は、１〜２ピクセスの幅にわたる。この複製により光学画像がぼやけ、ナイキストレートに関する周波数情報が低下する。しかし、かかる光学的ローパスフィルタは波長依存であることが多い。
【０００７】
さらに別のアプローチでは、ＣＤＭオプティクス社（コロラド州ボールダー）が、ある方法で入来波形をエンコード（encode）するために光学サブシステムの開口に配置される特殊設計の位相板を開発した。後でデジタル画像処理を仕様して、その位相板により生じたエンコードを逆転し、ある画像コンテンツを読み出す。しかし、ＣＤＭ社のアプローチは、ある種のアーティファクトにしか機能せず、過度になめらかな画像となる。
【０００８】
超解像は、異なるアプローチであり、エイリアス（aliased）情報を抑圧するのではなくこれを利用しようとするものである。超解像は、エイリアス画像コンテンツを含む低解像度画像の集合を取り、高解像度の単一画像または画像セット（set of images）を作る。例えば、従来の超解像システムでは、光学サブシステムはディテクタサブシステムによりキャプチャされた回折限界画像を作る。画像のシフトしたものをキャプチャし、結合して解像度がより高い画像を形成する。しかし、超解像処理により効果的にサンプリング周波数を高くしたとしても、多数の高品質光学サブシステムは、効果的に超解像された（superresolved）サンプリング周波数より高い周波数に大きなエネルギーを含んでいる。これによりエイリアシングアーティファクトが生じてしまう。
【０００９】
よって、ディテクタサンプリング周波数より高い画像コンテンツを利用でき、及び／またはエイリアシング効果を低減するが、上記の欠点の一部または全部を解消するアプローチが必要である。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明は、システム全体が異なるサブシステムを考慮に入れる超解像電気光学画像化システムを提供することにより、先行技術の制約を解消するものである。例えば、回折限界の光学サブシステムを設計するのではなく、光学サブシステムを後続の超解像処理により適したように、及び／または超解像システムのエイリアシング効果を低減するように設計することができる。
【課題を解決するための手段】
【００１１】
本発明の一態様では、超解像電気光学画像化システムは、光学サブシステム、ディテクタサブシステム、及び超解像デジタル画像処理サブシステムを含む。ディテクタサブシステムは、信号源の２つ以上の低解像度画像をキャプチャする。その低解像度画像は、超解像処理を用いてデジタル画像処理サブシステムにより結合されて、信号源の高解像度画像となる。ディテクタサブシステムはディテクタサンプリング周波数により特徴付けられ、超解像処理により、ディテクタサンプリング周波数より高い全体的な有効システムサンプリング周波数（超解像サンプリング周波数）が決定される。それは、一般的にはディテクタサンプリング周波数の整数倍である。光学サブシステムは超解像処理のために設計され、光学サブシステムの実際の光学ＭＴＦは、回折限界の光学サブシステム、またはディテクタナイキストレート（すなわち、ローパスフィルタされた単一フレーム光学サブシステム）にマッチ（matched）するようにローパスフィルタをかけられた光学サブシステムのいずれかの光学MTFに通常含まれるよりも、超解像サンプリング帯域（すなわち、超解像サンプリング周波数より下の周波数）に大きな割合のエネルギーを含む。このように、画像コンテンツは超解像サンプリング帯域に集中される。その超解像サンプリング帯域は超解像処理に使用可能な周波数である。より高い周波数の画像コンテンツは低減され、それによりエイリアシング効果が低減される。
【００１２】
１つの設計例では、前記光学ＭＴＦは実質的に超解像サンプリング周波数にカットオフ周波数があるローパスフィルタとして振る舞う。他の実施形態では、前記光学サブシステムとディテクタサブシステムは超解像サンプリング周波数より下にゼロがない画像化ＭＴＦにより特徴づけられる。超解像システムは、ディテクタサンプリング周波数より高く、超解像サンプリング周波数より低い周波数の画像コンテンツを使用できる。この周波数帯域を超解像帯域（バンド）と呼ぶ。単一フレームシステムでは、超解像帯域はナイキストレートよりも高く、エイリアシング効果を生じる。それゆえ、１つのアプローチでは、光学ＭＴＦは、（高い周波数により多くのエネルギーを含む）等価回折限界光学ＭＴＦ、または（超解像帯域のエネルギーを低減するようにローパスフィルタをかけられた）ローパスフィルタされた等価単一フレームＭＴＦのいずれかと比較して、超解像帯域に大きな割合のエネルギーを含んでいる。
【００１３】
本発明の他の態様では、画像化サブシステム（すなわち、光学サブシステムとディテクタサブシステム）は、異なる画像化ＭＴＦを用いる低解像度画像を作るために調整できる画像かＭＴＦにより特徴付けられる。これらの低解像度画像は超解像処理を用いて結合される。例えば、前記ディテクタサブシステムは調整可能ジオメトリを有するディテクタを含み、前記ディテクタジオメトリの調整により前記画像化ＭＴＦが調整される。調整可能ジオメトリの例には、可変充填率ディテクタや可変形状ディテクタがある。他の例として、前記光学サブシステムは可動光学コンポーネントを有し、前記光学コンポーネントを動かすことにより前記画像化ＭＴＦが調整される。１つの設計では、前記画像化ＭＴＦは画像化カットオフ周波数により特徴付けられ、画像化ＭＴＦが異なると画像化カットオフ周波数が異なる。このように、異なる周波数のコンテンツをキャプチャすることができる。例えば、異なる画像化ＭＴＦを用いてキャプチャした低解像度画像を結合して、有効画像化ＭＴＦがゼロとならない高解像度画像を作る。
【００１４】
本発明の他の態様では、電気光学画像化システムはマルチモードである。単一フレーム（すなわち、非超解像）モードでも、超解像モードでも使用できる。１つのアプローチでは、前記光学サブシステムは１つ以上の可動光学コンポーネントを有し、前記光学サブシステムは前記光学コンポーネントを動かすことにより単一フレームモードと超解像モードとの間で切り換えられる。多くの場合、サブシステムは、超解像モードにおける画像ＭＴＦカットオフ周波数が単一フレームモードの画像化ＭＴＦカットオフ周波数よりも高くなるように設計される。
【００１５】
本発明の他の態様には、上記の装置及びシステムの設計方法、及び上記全部のアプリケーションが含まれる。
【００１６】
本発明には他の利点と特徴があり、これらは添付した図面を参照して以下の本発明の詳細な説明と添付した請求項から容易に明らかになるであろう。
【図面の簡単な説明】
【００１７】
【図１】先行技術による電気光学画像化システムの変調伝達関数（ＭＴＦ）を示すグラフである。
【図２】本発明による電気光学画像化システムのブロック図である。
【図３Ａ】超解像画像化のフォワードモデルを示す。
【図３Ｂ】超解像デジタル画像処理サブシステムの動作を示す。
【図４】様々な周波数パスバンドを示すグラフである。
【図５Ａ】超解像電気光学画像化システムの「エンド・ツー・エンド」設計を示すブロック図である。
【図５Ｂ】超解像電気光学画像化システムの「エンド・ツー・エンド」設計方法を示すフロー図である。
【図６】マルチモード動作のために設計されたトリプレット（triplet）を示す図である。
【図７】超解像処理のある場合とない場合に動作できる電気光学画像化システムのＭＴＦを示すグラフである。
【図８】可変ジオメトリディテクタを示す図である。
【図９】様々なジオメトリディテクタの充填比の関数としてのＲＭＳＥのグラフである。
【発明を実施するための形態】
【００１８】
図面は、本発明の実施例を例示のみを目的として示している。当業者には以下の説明から言うまでもないことであるが、ここに例示した構成と方法の別の実施形態を、ここに説明する本発明の原理から逸脱することなく、利用することができる。
【００１９】
図２は、本発明による電気光学画像化システムのブロック図である。システム２００は、光学サブシステム２１０と、ディテクタサブシステム２２０と、超解像デジタル画像処理サブシステム２３０とを含む。画像処理部２３０は超解像機能を有する。光学サブシステムとディテクタサブシステム２２０とは、信号源２５０の低解像画像２２５を作る。この低解像画像２２５は超解像サブシステム２３０により結合され、信号源の高解像画像２８０となる。
【００２０】
より詳細には、超解像は、エアリアス画像コンテンツ（aliased image content）を含む低解像度画像の集合を取り、低解像度画像中のエアリアス画像コンテンツを利用して、低解像度画像を結合して高解像度画像２８０にするプロセスである。１つのアプローチでは、この画像化プロセスを説明するために使用される数学的線形モデルは、次式（１）で与えられる
【００２１】
【数１】
図３Ａは、このフォワード画像化モデルを図的記述を示している。
このモデルでは、信号源２５０のいくつかの低解像度画像ｙｉを画像化サブシステム（すなわち、光学サブシステム２１０とディテクタサブシステム２２０）でキャプチャする。本プロセスは以下のように行われる。理想画像ｓは信号源２５０のデジタル画像であり、光学サブシステム２１０の回折限界に一致（match）するようにサンプリングされている。シフトモデルＦｉに応じて、入力フレームに対するシフトまたはオフセットを含む画像セット（a set of images）を生成する。Ｆｉは、基準フレームに対するｉ番目の画像のシフトである。これらの画像は、光学サブシステムとディテクタサブシステムの点広がり関数（あるいはＭＴＦ）により、ぼやけ項Ａだけぼけている。行列Ｄは、回折限界のサンプルレートとディテクタの実際のサンプルレートとの間のサンプルレート変換を表している。ベクトルｅは画像化サブシステムのノイズを表している。画像化プロセスの線形モデルに関する詳細は、例えば、米国特許出願第１１／３３２，６４０号（発明の名称「End-to-end design of electro-optic imaging systems with constrained digital filters」、出願日２００６年１月１３日、段落３９乃至４３）、及び米国特許出願第１１／１５５，８７０号（発明の名称「End-to-end design of electro-optic imaging systems」、出願日２００５年６月１７日、段落３２乃至４７）を参照せよ。両文献の教示はここに参照援用する。
【００２２】
シフトＦｉはいろいろなメカニズムを用いて実現できる。例えば、アクチュエータを使用して、システム中のコンポーネントを物理的にシフトしてもよい。１つのアプローチでは、光学サブシステムの位置は固定され、ディテクタが動かされる。あるいは、ディテクタの位置を固定し、光学系を動かしてもよい。他の例として、画像化光学系またはディテクタを互いに物理的に動かすのではなく、画像化光学系とディテクタを互いに固定した位置に配置し、例えば、フラットなガラス板を傾けて、光学的な効果によりシフトをさせることもできる。
【００２３】
超解像デジタル画像処理サブシステム２３０は、低解像度画像セット（a set of lower resolution images）ｙｉの間の一組のシフトまたはオフセットにより得られる追加的位相情報を用いて、高解像度画像を再構成する。一般的には、解像度は低解像度（ディテクタ）サンプリングレートの倍数だけ高くなる。例えば、解像度は、整数倍ｍ（通常は２乃至５）だけよくなる。効果的に、超解像アルゴリズムは、ピクセル密度がｍ倍のセンサーによりキャプチャされたであろう画像を合成する。言い換えると、有効サンプリングレート（すなわち、超解像サンプリング周波数）は、ディテクタの実際のサンプリングレート（すなわち、ディテクタサンプリング周波数）のｍ倍である。
【００２４】
図３Ｂは、典型的な超解像デジタル画像処理サブシステム２３０に関連するステップを示すブロック図を示している。最初に、低解像度画像のピクセルのシフトまたはオフセットを推定して（または、アプリオリに分かっていて）、キャプチャした画像のセットを絶対座標系に関連づける。次に、シフトに基づき、低解像度画像を合成して高解像度画像を作り、シャープにして光学系及びディテクタによるぼけの効果を除去する。アルゴリズムによっては、これらのステップを繰り返して性能を高くする。
【００２５】
超解像処理により、ディテクタサンプリング周波数より高く超解像サンプリング周波数よりは低い周波数にある情報を抽出する。この情報により、低解像度画像ではエイリアシングが生じるが、再構成された高解像度画像の解像度が高くなる。便宜上、この周波数帯域を超解像帯域（バンド）と呼ぶ。
【００２６】
図４は、これらのコンセプトを例示する図である。図４において、曲線４１０は等価回折限界光学サブシステムのＭＴＦである。実際の光学サブシステムは回折限界ではないかも知れない。ＭＴＦ４１０は、Ｆナンバーと開口が同じであるが、性能的に回折限界である光学サブシステムのものである。周波数４２５はディテクタサンプリング周波数であり、ディテクタのピッチにより決まる。超解像機能を有さない従来のシステムでは、ディテクタサンプリング周波数４２５が一般的にはシステム全体のカットオフ周波数を決定し、高い周波数の情報はエイリアシングを生じない。
【００２７】
しかし、超解像では、超解像サンプリング周波数４３５は、ディテクタサンプリング周波数４２５よりも大幅に高く、一般的にはディテクタサンプリング周波数４２５の整数倍である。超解像帯域４４５は、ディテクタサンプリング周波数４２５と超解像サンプリング周波数４３５の間にある周波数帯域である。超解像帯域４４５は、非超解像システムではエイリアシングを生じるが、超解像システムのパスバンド（pass band）における有用な情報を表す。
【００２８】
曲線４５０は、超解像処理の理想に近い光学ＭＴＦ（すなわち、光学サブシステムのみのＭＴＦ）を示している。このＭＴＦでは、超解像サンプリング周波数４３５より下の（超解像帯域４４５を含む）エネルギーが最大となり、超解像サンプリング周波数４３５より上のエネルギーが最小となっている。言い換えると、等価回折限界ＭＴＦ４１０と比較して、この光学ＭＴＦ４５０では、超解像度サンプリング周波数４３５より下の周波数に含まれるエネルギーの割合が高い。また、超解像帯域４４５に含まれるエネルギーの割合も高い。
【００２９】
曲線４２０は、ローパスフィルタをかけた等価単一フレームシステムの理想に近い光学ＭＴＦを示している。このシステムでは、超解像処理は行われないが、光学サブシステムがローパスフィルタ（例えば、コダック社のランダム位相板）を含み、ディテクタサンプリング周波数４２５よりも高い周波数の画像コンテンツを低減する。ローパスフィルタをかけた単一フレームＭＴＦと比較して、ＭＴＦ４５０は超解像帯域４４５の画像コンテンツが大きい。言い換えれば、ＭＴＦ４５０では、より大きなエネルギーが超解像帯域４４５に含まれている。
【００３０】
画像ＭＴＦ全体（すなわち、光学ＭＴＦにディテクタＭＴＦをかけたもの）は、部分的に、ディテクタＭＴＦにより決まる。ピッチとジオメトリ（geometry）が固定されたディテクタの場合、ディテクタＭＴＦは、そのナイキストレートより高く超解像ナイキストレートより低い周波数ではゼロになる。これは一般的には望ましくないことである。何故なら、超解像サンプリング帯域でゼロになるということは、超解像システムにとって有用な情報が利用できないことを意味するからである。それゆえ、画像化ＭＴＦは、超解像サンプリング周波数４３５より下ではゼロにならないことが好ましい。このサンプリング帯域においてゼロにならない光学ＭＴＦを設計することは通常は易しいので、画像化ＭＴＦがこのサンプリング帯域でゼロになるかどうかは、ディテクタサブシステムが超解像サンプリング周波数４３５より下でゼロとなるかどうかにより決まる。これらのゼロを効果的に回避するシステムの例を以下に説明する。
【００３１】
電気光学画像化システムを設計する従来の方法は、一般的には、いくつかの段階を含む。最初、光学サブシステムを、信号源の高品質な中間光学像を形成することを目標として設計する（例えば、回折限界光学サブシステムを設計する）。次に、基本的な光学設計が完了して高品質な画像が実現できた後、光学的ローパスフィルタを追加するかしないかして、ディテクタサンプリング周波数より高い周波数のコンテンツを意図的に改悪（corrupt）する（すなわち、高品質画像を改悪する）。最後に、（回折限界）光学サブシステムを設計した後、回折限界光学サブシステムがキャプチャした低解像度画像に超解像を適用するための超解像度処理を設計する。しかし、図４に示したように、回折限界ＭＴＦやローパスフィルタをかけた単一フレームＭＴＦは、超解像処理の点では必ずしも最適ではない。
【００３２】
それゆえ、光学サブシステム、ディテクタサブシステム、超解像デジタル画像処理サブシステムを同時に設計すれば、相乗効果がえられる。例えば、ディテクタサブシステムをアプリオリに指定して、光学サブシステムをそのディテクタサブシステムとキャプチャした画像に超解像処理を適用することとを考慮して設計する。
【００３３】
図５Ａは、超解像電気光学画像化システムの「エンド・ツー・エンド」設計を示すブロック図である。一般的な設計上の問題は、一定の制約条件下で超解像画像化システム２００をその全体的な性能を「最適化」するように設計することである。多くの場合、最適化の目標は、入力源の特定用途向けに理想化したバージョン２５５に一致する高解像度画像２８０を作ることである。
図５Ａと図５Ｂは、本発明による電気光学画像化システム１００の設計方法例を示している。図５Ｂを参照して、この設計方法は入力源２５０の空間モデルを生成する段階を含む（ステップ５１０）。入力源の空間モデルは、前に作ったモデルや与えられたモデルに基づき、経験的に測定された（empirically measured）具体的な状況に対して求められる。照明、放射分析（radiometry）、ジオメトリ（geometry）が入力源モデルに反映できるファクタである。空間モデルは、好ましくは入力源の統計的モデルを含む。
【００３４】
電気光学画像化システムの設計空間も決める（ステップ５２０）。図５Ａにおいて、各サブシステムはそれぞれそのパラメータθｏ、θｄ、θｉにより決まる。例えば、光学サブシステム２１０の設計空間は、ベクトルθｏにより記述され、レンズの数、タイプ、サイズ、曲率半径、絞り等により決まる。ディテクタサブシステム２２０の設計空間は、ベクトルθｄにより記述され、ピクセル数、ディテクタピッチ、充填率（fill factor）、帯域幅、ピクセルジオメトリ等を数値化したものである。この具体例では、超解像デジタル画像処理サブシステム２３０の設計空間は、ベクトルθｉで記述され、結合する低解像度画像の数、低解像度画像の相対的重み、鮮鋭化フィルタ係数等を含む。設計に付随する様々な非画像化制約条件すなわちコスト２７０を決めてもよい。各サブシステムの設計空間の大きさは、アプリケーションに応じて変わり得る。場合により、サブシステムの設計に大きな自由度が許され得る。他の場合には、サブシステムの設計には強い制約があったり、予め決められている場合（例えば、ディテクタアレイが事前に選択されている場合）もある。
【００３５】
後処理性能メトリック２９０も決定される（ステップ５３０）。超解像処理の前ではなく後の性能に基づくという意味で、性能メトリック（performance metric）は後処理に係わるものである。例えば、光学サブシステムのみにより作られる中間光学画像の波面誤差またはスポットサイズの大きさは、光学サブシステムの従来の誤差メトリックであり、後処理性能のメトリックではない。図５Ａにおいて、後処理性能メトリック２９０は、超解像プロセッサ２３０により作られた高解像度デジタル画像２８０の、理想的デジタル画像２５５との比較に基づく。設計状況では多くの場合、システムにより作られた画像２８０の計算は、入力源の空間的モデルに基づき、サブシステム２１０、２２０、２３０を通る入力源２５０の特徴の伝搬をモデル化することにより行われる。
【００３６】
設計ステップ５４０は、場合によっては一定の制約条件（例えば、デジタルフィルタ設計の制限）の下で、後処理性能メトリック２９０を最適化する設計空間内の設計を選択することである。光学サブシステム２１０と超解像プロセッサ２３０は、従来の設計アプローチのように順次に設計するのではなく、同時に設計する。数学的には、図５Ａの記法を用いると、設計ステップは、場合によってはコスト２７０による一定の制約条件の下で、システムパラメータθｏ、θｄ、θｉを選択して性能メトリックを直接最適化することである。例えば、画像ベースの後処理性能メトリック２９０を、最大金銭的コストの下で最適化することができる。あるいは、デジタル画像２８０の最小許容後処理性能メトリック２９０の下で、金銭的コストを最小化してもよい。
【００３７】
いくつかの最適化アルゴリズムを使用できる。線形の場合には、パラメータを解析的に解くか、または既知の振る舞いのよい数値解法を用いて解くことができる。より複雑な場合には、一定の非線形の場合が含まれ、期待値最大化、傾斜降下、線形プログラミング等の方法を使用して設計空間をサーチすることができる。
【００３８】
図５Ａと図５Ｂでは、光学サブシステム２１０、ディテクタサブシステム２２０、または超解像プロセッサ２３０が単体で最適化される必要はないことに留意せよ。よくあることだが、これらのサブシステムは、単体で考えると最適以下の性能を示すが、超解像電気光学画像化システム２００全体としては性能がよく最適性能を示す。これは、従来の設計方法とはまったく対照的である。従来の設計方法では、例えば、光学サブシステム２１０により形成される中間光学画像の画像品質を直接最適化することにより、光学サブシステム２１０を設計することが一般的である。例えば、光学サブシステム２１０は、ＲＭＳ波面誤差またはＲＭＳスポットサイズの最小化に基づき設計される。これと比べて、図５Ａ、図５Ｂの設計アプローチの場合、例えば、超解像サンプリング周波数より上の周波数における画像コンテンツを低減するために、光学サブシステム２１０により形成される中間光学画像の（例えば、波面誤差またはスポットサイズにより測定される）画質は悪くなっていてもよい。光学サブシステム２１０は、中間光学画像の画像品質をよくすることに直接的に基づいて設計されるのではない。むしろ、後処理性能メトリック（post-processing performance metric）２９０をよくすることに直接的に基づいて、超解像デジタル画像処理サブシステム２３０と同時に設計される
エンド・ツー・エンド設計のさらに詳細な説明と例については、例えば米国特許出願第１１／３３２，６４０号（発明の名称「End-to-end design of electro-optic imaging systems with constrained digital filters」、出願日２００６年１月１３日）、及び米国特許出願第１１／１５５，８７０号（発明の名称「End-to-end design of electro-optic imaging systems」、出願日２００５年６月１７日）を参照せよ。両文献の教示はここに参照援用する。
【００３９】
以下は、光学サブシステムとディテクタサブシステムの設計例である。式１のぼかし演算子（blurring operator）Ａは、光学サブシステムとディテクタサブシステムそれぞれに対する２つの成分ＡｏとＡｄに展開できる。Φを設計プロセス中（またはその後の動作中）に調整できる設計パラメータを表すとする。問題は、超解像処理を含むエンド・ツー・エンドの性能を最大化するΦを求めることである。
【００４０】
最初の例として、光学サブシステムの設計を検討する。ぼかし行列Ａｏ（Φ）は、光学サブシステムに関連する設計パラメータΦ（例えば、表面曲率、スペーシング等）に依存する。以下の例では、これらの設計パラメータを最適化して、超解像処理後の画像品質を最大化する。
【００４１】
最初に、式１を調べて、システムの画像情報スループット（image information throughput）を分析する。相対シフトＦｉは制御可能であると仮定する。これに基づき、超解像処理により超解像サンプリングレートをディテクタサンプリングレートのｍ倍にまで大きくする。よって、電気光学画像化システム設計の１つの目標は、ディテクタナイキストレート（Nyquist rate）のｍ倍までの周波数における平均画像化ＭＴＦを最大化するように、設計パラメータΦを求めることである。ここで、平均は画像セットｙｉにわたってとる。信号源に関する統計その他の情報が分かっているときは、その情報を設計プロセスで使用できることに留意せよ。
【００４２】
このコンセプトを例示する実験として、超解像処理によりサンプルレートがｍ＝２倍でけ高くなるとの仮定の下に、３要素の光学系を設計する。さらにまた、電気光学画像化システムはマルチモードとなるように設計する。これは、従来の単一フレームモード、すなわち画像化サブシステムが１つの画像をキャプチャしてそれを処理するか、超解像モード、すなわち画像化サブシステムが複数のフレームをキャプチャして超解像処理によい合成して高解像度画像を作るかいずれかで動作できる。
【００４３】
図６は光学サブシステムの図である。モードは光軸に沿って中央レンズをシフトすることにより制御する。機械的動きにより、空間周波数カットオフを標準ナイキストレート（すなわち、１×ディテクタサンプリング周波数）と超解像ナイキストレート（すなわち、ｍ×ディテクタサンプリング周波数）との間で変化させて、画像化サブシステムを単一フレームモードと超解像モードの間で切り換える。この実験では、システムは、波長５５０ｎｍにおいて充填率１００％の１５ミクロンの正方形ピクセルに対して、２０度、７０ｍｍ、Ｆ／８．０の光学系により画成されている。
レンズの表面パワー（lens surface powers）と要素間のスペーシングは設計パラメータである。４つの高次回転対称非球面表面サグも含め瞳関数を制御している。設計最適化の際、マルチコンフィギュレーションメリット機能（multi-configuration merit function）が、単一フレームモードの場合はナイキストレートまで、超解像モードの場合はナイキストレートの２倍まで、ＭＴＦを最大化するように試みる。使用できないエイリアシングアーティファクトを阻止するため、これらのサンプルレートより上の情報を通すとペナルティも課される。
結果として得られたレンズ設計を表１に示す：
【００４４】
【表１】
表面４は回転対称非球面表面であり、以下のパラメータで画成されている：
パラメータ1：3.91E-06
パラメータ2：2.11E-08
パラメータ3：-3.24E-08
パラメータ4：-1.27E-09
図７は、このシステムの回折限界までの画像化ＭＴＦを示している。ＭＴＦ７１０は、回折限界光学サブシステムの画像化ＭＴＦであり、比較のために示されている。ＭＴＦ７２０は単一フレームモードでのＭＴＦであり、ＭＴＦ７３０は超解像モードでのＭＴＦである。ＭＴＦ７２０と７３０は両方とも、６６ｌｐ／ｍｍより高い空間周波数で担われる情報が大幅に減少していることに留意せよ。これは、画像コンテンツの大部分が高次の極大部分にエイリアシングアーティファクトとして現れる回折限界の場合７１０と対照的である。このように、光学サブシステムは効果的に両方の動作モードにおける好ましくないエイリアシングを除去している。
【００４５】
ここで、超解像帯域７４５を考える。この帯域は、３３ｌｐ／ｍｍのディテクタサンプリング周波数と、６６ｌｐ／ｍｍの超解像サンプリング周波数７３５との間にある。単一フレームモード７２０では、超解像帯域７４５の空間周波数はブロックされる。超解像モード７３０では、より多くの情報コンテンツが通過する。このように、単一フレームモード７２０では、光学サブシステムは効果的にディテクタサンプリング周波数７２５よりも上にあるエイリアシングアーティファクトを除去する。超解像モード７３０では、（６６ｌｐ／ｍｍの超解像サンプリング周波数７３５より上の）回復不能なエイリアシングアーティファクトが削除され、一方超解像帯域７４５の使用可能なエイリアシングアーティファクトは保持される。
【００４６】
この光学サブシステム例は、中心要素（center element）を光軸に沿ってシフトして、レンズ系の光学経路差を変えることにより機能する。その要素がシフトすると、波面誤差が大きくなり、点広がり関数のサイズが効果的に大きくなり、よって光学ＭＴＦのローパスカットオフ周波数が低くなる。かかる要素の開口サイズを増加減少することによる他のアプローチでもよい。
【００４７】
前記の例では超解像処理のための光学サブシステムの設計を検討した。ここで、超解像処理のためのディテクタサブシステムの設計に関する例を検討する。再び図７を参照して、ディテクタＭＴＦによる約６６ ｌｐ／ｍｍにおけるゼロクロスは、超解像処理をもってしても修正できないことに留意せよ。言い換えると、低解像度画像をいくつ取得しても、超解像処理によりアプリオリな情報に基づいてこれらの周波数における情報に関して経験に基づいた推定をできるだけである。
【００４８】
しかし、他のアプローチとして、画像取得プロセスの際にディテクタジオメトリを変更することができる。例えば、図８は、フジ（Ｆｕｊｉ）社によりＣＣＤ技術を示している。このＣＣＤは、各ピクセルに２つの異なる感光領域を有している。かかるピクセルは、元々、ＣＣＤのダイナミックレンジを大きくするために発明されたものである。しかし、ディテクタＭＴＦを、及びそれゆえに画像化ＭＴＦを変更するために使用することもできる。このように、あるゼロクロスを有する第１のディテクタＭＴＦを用いて１つの低解像度画像を取得し、他のゼロクロスを有する第２のディテクタＭＴＦを用いて他の低解像度画像を取得することができる。異なる画像化ＭＴＦを用いてゼロクロスをシフトすることにより、画像の集合をキャプチャし、超解像アルゴリズムによりゼロクロスのない「有効」ＭＴＦを作ることができる。好ましくは、可変ピクセルジオメトリを考慮しつつ、光学サブシステムを設計して情報スループットを最大化する。
【００４９】
このコンセプトを例示するため、図６−７と同様な例であるが、設計パラメータがディテクタジオメトリに限定されている例を考える。ディテクタは２つのモードで動作できると仮定する。第１のモードでは、センサピクセルジオメトリはピクセルの充填率（fill-factor）が１００％である。このモードは、エイリアシングを最小化してピクセルＳＮＲを最大化するために充填率を最大化することが望ましい単一フレーム画像化に対応する。ここで、センサーの設計者は、ピクセルの有効充填率を変更することにより、副ピクセルジオメトリ（secondary pixel geometry）で動作するピクセルを設計できると仮定する。しかし、充填率を下げると、測定ノイズが増加するというコストがかかる。ノイズは１／ｆａに従って増減する。ここで、ｆは副モードピクセルジオメトリに関連する充填率であり、ａはピクセルジオメトリが小さくなることによるノイズゲイン（ＳＮＲ損失）を表す定数である。
【００５０】
超解像デジタル画像処理サブシステムは２つのフレームを取って解像度を２倍にすることができると仮定する。とりあえず、サンプリングオフセットは取得時に制御可能であり、光学サブシステムは超解像モードの場合、図７に示した光学サブシステムと同様の性能を発揮すると仮定する。すると、画像ｙ０とｙ１のペアとし、第２の画像キャプチャｙ１ではピクセル充填率を変化させる。また、とりあえず、第２の画像のオフセットはピクセルピッチの１／２であると仮定する。推定される高解像度画像の分散（ＭＳＥ）すなわち有効ノイズは、次式（２）で与えられる：
【００５１】
【数２】
式（２）では、設計パラメータΦｉはｉ番目のフレームのピクセルの充填率を表すものとする。この例では、第１のフレームの充填率は１００％である。このように、画像化ＭＴＦは図７に示したように高解像度サンプリングレート７３５でゼロに近づく。
【００５２】
式（２）は第２のフレームの充填率の関数としてＭＳＥを推定するものである。図９は、ノイズゲインファクタａの異なる値における、第２の画像の充填率の関数として推定したＲＭＳＥを示す。充填率１００％のピクセルのノイズパワーをσ２＝１とする。いくつかのノイズゲインファクタａに対するピクセル充填率の関数として、式（２）の推定ＭＳＥの２乗平方根を図９に示した。曲線９１０、９２０、９３０、９４０は、それぞれａ＝１、２、３、４に対応する。ピクセル充填率を小さくする場合のノイズペナルティが小さい（例えば、ａ＝１）とき、推定ＲＭＳＥにより、曲線９１０から明らかなように、４５％程度の小さい充填率が好ましいことが分かる。しかし、ノイズゲインファクタが大きくなってａ＝４になると、曲線９４０が示すように、光学充填率は８０％まで高くなる。これは、ピクセルジオメトリの多様性とＳＮＲの間の設計上のトレードオフを示している。ピクセルを小さくすることに対するノイズペナルティが最小であれば、小さい副ピクセルを有することにより後処理システム（post-processed system）の有効ＭＴＦを大きくするためによいことである。ピクセル充填率を小さくしてＳＮＲを大幅に小さくすると、ＲＭＳＥをよくするには充填率を大きくした方がよい。実際のシステムでは、ファクタａはセンサーの設計と製造プロセスに関連する製造上の制約条件に依存する。
【００５３】
詳細な説明には具体的事項が多数含まれているが、これらは本発明の範囲を限定するものではなく、本発明の異なる実施例と態様を例示することのみを目的としたものと解釈しなければならない。言うまでもなく、本発明の範囲はここで詳細に説明していない他の実施形態も含む。その他の様々な修正、変更、変形が、当該技術分野の当業者には明らかである。添付した請求項に記載した本発明の精神と範囲から逸脱することなく、ここに開示した本発明の方法と装置の構成、動作、詳細に対して、こうした様々な修正、変更、変形をすることが可能である。
【００５４】
なお、上記実施形態について、以下の付記を記す。
（付記１）超解像電気光学画像化システムであって、
信号源を画像化する光学サブシステムであって、等価な回折限界光学ＭＴＦと比較して超解像サンプリング周波数より低い周波数のパスバンドにおいてエネルギーの割合が高い光学ＭＴＦにより特徴づけられる光学サブシステムと、
前記信号源の２つ以上の低解像度画像をキャプチャするように配置された、ディテクタサンプリング周波数により特徴づけられるディテクタサブシステムと、
超解像処理により前記低解像度画像を結合して前記信号源の高解像度画像を求める前記ディテクタサブシステムに結合した超解像デジタル画像処理サブシステムであって、前記超解像処理は前記ディテクタサンプリング周波数より高い超解像サンプリング周波数を決定する超解像デジタル画像処理サブシステムとを有するシステム。
（付記２）前記光学ＭＴＦは実質的に超解像サンプリング周波数にカットオフ周波数があるローパスフィルタとして振る舞う、付記１に記載の電気光学画像化システム。
（付記３）前記光学サブシステムとディテクタサブシステムは超解像サンプリング周波数より下にゼロがない画像化ＭＴＦにより特徴づけられる、付記１に記載の電気光学画像化システム。
（付記４）等価回折限界光学ＭＴＦとローパスフィルタをかけた等価単一フレーム光学ＭＴＦの両方と比較して、前記ディテクタサンプリング周波数と前記超解像サンプリング周波数の間の超解像周波数帯域に前記光学ＭＴＦが大きな割合のエネルギーを含む、付記１に記載の電気光学画像化システム。
（付記５）前記超解像サンプリング周波数は前記ディテクタサンプリング周波数の整数倍である、付記１に記載の電気光学画像化システム。
（付記６）前記低解像度画像は同解像度のシフト画像を含む、付記１に記載の電気光学画像化システム。
（付記７）前記ディテクタサブシステムは、
ディテクタアレイと、
前記光学サブシステムに対して前記ディテクタアレイをシフトして前記シフト画像を作るアクチュエータとを含む、付記６に記載の電気光学画像化システム。
（付記８）前記光学サブシステムは、
画像化光学系と、
前記ディテクタサブシステムに対して前記画像化光学系をシフトして前記シフト画像を作るアクチュエータとを含む、付記６に記載の電気光学画像化システム。
（付記９）前記光学サブシステムと前記ディテクタサブシステムの位置は互いに固定され、
前記光学サブシステムは前記ディテクタサブシステムに対して前記光学サブシステムにより形成された画像を光学的にシフトして前記シフト画像を作る光学要素を含む、付記６に記載の電気光学画像化システム。
（付記１０）前記光学サブシステムは前記ディテクタサブシステムと前記超解像処理に従って設計された、付記１に記載の電気光学画像化システム。
（付記１１）前記高解像度画像の有効画像化ＭＴＦは前記超解像サンプリング周波数より下でゼロとならない、付記１に記載の電気光学画像化システム。
【符号の説明】
【００５５】
２１０ 光学系
２２０ ディテクタ
２２５ 低解像度画像
２３０ 超解像プロセッサ
２５０ 信号源
２５５ アプリケーション依存の理想的表現
２８０ 高解像度画像
２９０ 性能メトリック
【技術分野】
【０００１】
この発明は、超解像電気光学画像化システムに関し、かかるシステムの「エンド・ツー・エンド」設計を含む。
【背景技術】
【０００２】
電気光学画像化システムは、一般的に、光学サブシステム（例えば、レンズアセンブリ）、電子ディテクタサブシステム（例えば、ＣＣＤディテクタアレイ）、及び（例えば、典型的には専用チップまたはソフトウェアに実装された）デジタル画像処理サブシステムとを含む。ほとんどの電気光学画像化システムにおいて、フォトディテクタの空間的サンプリングレートは、光学サブシステムの回折限界よりも大幅に低い。現在の技術では、最も小さなピクセルの大きさ（すなわち、ピクセル間ピッチ）は、一般的には３〜４ミクロンのオーダーである。かかるピクセルの大きさに対応するナイキストレート（Nyquistrate）は、１ｍｍあたり１２５から１６６ラインペア（ｌｐ／ｍｍ）である。光学サブシステムのＦナンバーが低く、３から４であることは特別なことではない。回折限界は１／（λ×Ｆナンバー）であるから、回折限界の光学サブシステムは可視スペクトルが５００ｌｐ／ｍｍ程度の低い空間的周波数の画像コンテンツを通すことができる。
【０００３】
図１は、Ｆ／４．５回折限界の光学サブシステムの変調伝達関数（ＭＴＦ）１１０と、充填比１００％１５ミクロンピッチピクセルの場合のＭＴＦ１２０と、光学サブシステムとディテクタを併せた累積ＭＴＦ１３０の例を示している。便宜上、光学サブシステムのＭＴＦを光学ＭＴＦ１１０と呼び、ディテクタサブシステムのＭＴＦをディテクタＭＴＦ１２０と呼び、合成したＭＴＦを画像化ＭＴＦ１３０と呼ぶ。画像化ＭＴＦは光学ＭＴＦとディテクタＭＴＦの積である。ディテクタサブシステムのナイキストレートも示した。この場合、３３ｌｐ／ｍｍである。ナイキストサンプルレートはディテクタサンプリング周波数とも呼ぶ。ボックス１４０は、ナイキストレートまでのＭＴＦ領域を示す。画像化ＭＴＦ１３０の大きな部分がサンプリングバンド１４０の外側にある（すなわち、サンプリング周波数より高い周波数である）。その結果、この電気光学画像化システムは、ナイキストレートより高い空間周波数の画像コンテンツを通す可能性がある。
【０００４】
理論的には、高い周波数の画像コンテンツは、ディテクタアレイのピッチを小さくして、ディテクタのサンプリング周波数を高くすることによりキャプチャできる。しかし、ピクセルの寸法を小さくすることには限界がある。ピクセルの大きさが小さくなると、ピクセルのダイナミックレンジと信号雑音比（ＳＮＲ）とが悪くなる。
【０００５】
図１を参照して、ナイキストレートより高い空間周波数の情報をサンプリングすると、最終的な画像はモアレパターン等のエイリアシングアーティファクトを含む。エイリアシングの効果は、単一のフォトディテクタを用いるカラーシステムでより一層顕著である。かかる場合、バイエルパターン（Bayer pattern）によりナイキストレートが１／２に減少するが、エイリアシングの問題はさらに悪化する。研究者は、エイリアシングパターンをなくす様々な方法を開発している。程度の差こそあれ、これらのアプローチは一般的にはある種の光学ローパスフィルタを含み、ナイキストレートより上の情報コンテンツを効果的に破壊してしまう。例えば、コダック社は、ディテクタの前に直接配置する光学的に透明なプレートを販売している。そのプレートには粒子がランダムに配置されており、ランダムな位相エラーを生じさせる。これにより光学画像が効果的ににじみ、ナイキストレートより高い周波数のコンテンツを減らし、エイリアシングの効果を低減する。
【０００６】
他のアプローチでは、画像コンテンツは、複屈折板の空間シフト特性を用いて、色に依存する方法で複製される。複屈折板は、光学サブシステムの点広がり関数を複製するが、元の点広がり関数に対してシフトしている。元の点広がり関数とそれがシフトしたものとにより作られた累積点広がり関数は、１〜２ピクセスの幅にわたる。この複製により光学画像がぼやけ、ナイキストレートに関する周波数情報が低下する。しかし、かかる光学的ローパスフィルタは波長依存であることが多い。
【０００７】
さらに別のアプローチでは、ＣＤＭオプティクス社（コロラド州ボールダー）が、ある方法で入来波形をエンコード（encode）するために光学サブシステムの開口に配置される特殊設計の位相板を開発した。後でデジタル画像処理を仕様して、その位相板により生じたエンコードを逆転し、ある画像コンテンツを読み出す。しかし、ＣＤＭ社のアプローチは、ある種のアーティファクトにしか機能せず、過度になめらかな画像となる。
【０００８】
超解像は、異なるアプローチであり、エイリアス（aliased）情報を抑圧するのではなくこれを利用しようとするものである。超解像は、エイリアス画像コンテンツを含む低解像度画像の集合を取り、高解像度の単一画像または画像セット（set of images）を作る。例えば、従来の超解像システムでは、光学サブシステムはディテクタサブシステムによりキャプチャされた回折限界画像を作る。画像のシフトしたものをキャプチャし、結合して解像度がより高い画像を形成する。しかし、超解像処理により効果的にサンプリング周波数を高くしたとしても、多数の高品質光学サブシステムは、効果的に超解像された（superresolved）サンプリング周波数より高い周波数に大きなエネルギーを含んでいる。これによりエイリアシングアーティファクトが生じてしまう。
【０００９】
よって、ディテクタサンプリング周波数より高い画像コンテンツを利用でき、及び／またはエイリアシング効果を低減するが、上記の欠点の一部または全部を解消するアプローチが必要である。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明は、システム全体が異なるサブシステムを考慮に入れる超解像電気光学画像化システムを提供することにより、先行技術の制約を解消するものである。例えば、回折限界の光学サブシステムを設計するのではなく、光学サブシステムを後続の超解像処理により適したように、及び／または超解像システムのエイリアシング効果を低減するように設計することができる。
【課題を解決するための手段】
【００１１】
本発明の一態様では、超解像電気光学画像化システムは、光学サブシステム、ディテクタサブシステム、及び超解像デジタル画像処理サブシステムを含む。ディテクタサブシステムは、信号源の２つ以上の低解像度画像をキャプチャする。その低解像度画像は、超解像処理を用いてデジタル画像処理サブシステムにより結合されて、信号源の高解像度画像となる。ディテクタサブシステムはディテクタサンプリング周波数により特徴付けられ、超解像処理により、ディテクタサンプリング周波数より高い全体的な有効システムサンプリング周波数（超解像サンプリング周波数）が決定される。それは、一般的にはディテクタサンプリング周波数の整数倍である。光学サブシステムは超解像処理のために設計され、光学サブシステムの実際の光学ＭＴＦは、回折限界の光学サブシステム、またはディテクタナイキストレート（すなわち、ローパスフィルタされた単一フレーム光学サブシステム）にマッチ（matched）するようにローパスフィルタをかけられた光学サブシステムのいずれかの光学MTFに通常含まれるよりも、超解像サンプリング帯域（すなわち、超解像サンプリング周波数より下の周波数）に大きな割合のエネルギーを含む。このように、画像コンテンツは超解像サンプリング帯域に集中される。その超解像サンプリング帯域は超解像処理に使用可能な周波数である。より高い周波数の画像コンテンツは低減され、それによりエイリアシング効果が低減される。
【００１２】
１つの設計例では、前記光学ＭＴＦは実質的に超解像サンプリング周波数にカットオフ周波数があるローパスフィルタとして振る舞う。他の実施形態では、前記光学サブシステムとディテクタサブシステムは超解像サンプリング周波数より下にゼロがない画像化ＭＴＦにより特徴づけられる。超解像システムは、ディテクタサンプリング周波数より高く、超解像サンプリング周波数より低い周波数の画像コンテンツを使用できる。この周波数帯域を超解像帯域（バンド）と呼ぶ。単一フレームシステムでは、超解像帯域はナイキストレートよりも高く、エイリアシング効果を生じる。それゆえ、１つのアプローチでは、光学ＭＴＦは、（高い周波数により多くのエネルギーを含む）等価回折限界光学ＭＴＦ、または（超解像帯域のエネルギーを低減するようにローパスフィルタをかけられた）ローパスフィルタされた等価単一フレームＭＴＦのいずれかと比較して、超解像帯域に大きな割合のエネルギーを含んでいる。
【００１３】
本発明の他の態様では、画像化サブシステム（すなわち、光学サブシステムとディテクタサブシステム）は、異なる画像化ＭＴＦを用いる低解像度画像を作るために調整できる画像かＭＴＦにより特徴付けられる。これらの低解像度画像は超解像処理を用いて結合される。例えば、前記ディテクタサブシステムは調整可能ジオメトリを有するディテクタを含み、前記ディテクタジオメトリの調整により前記画像化ＭＴＦが調整される。調整可能ジオメトリの例には、可変充填率ディテクタや可変形状ディテクタがある。他の例として、前記光学サブシステムは可動光学コンポーネントを有し、前記光学コンポーネントを動かすことにより前記画像化ＭＴＦが調整される。１つの設計では、前記画像化ＭＴＦは画像化カットオフ周波数により特徴付けられ、画像化ＭＴＦが異なると画像化カットオフ周波数が異なる。このように、異なる周波数のコンテンツをキャプチャすることができる。例えば、異なる画像化ＭＴＦを用いてキャプチャした低解像度画像を結合して、有効画像化ＭＴＦがゼロとならない高解像度画像を作る。
【００１４】
本発明の他の態様では、電気光学画像化システムはマルチモードである。単一フレーム（すなわち、非超解像）モードでも、超解像モードでも使用できる。１つのアプローチでは、前記光学サブシステムは１つ以上の可動光学コンポーネントを有し、前記光学サブシステムは前記光学コンポーネントを動かすことにより単一フレームモードと超解像モードとの間で切り換えられる。多くの場合、サブシステムは、超解像モードにおける画像ＭＴＦカットオフ周波数が単一フレームモードの画像化ＭＴＦカットオフ周波数よりも高くなるように設計される。
【００１５】
本発明の他の態様には、上記の装置及びシステムの設計方法、及び上記全部のアプリケーションが含まれる。
【００１６】
本発明には他の利点と特徴があり、これらは添付した図面を参照して以下の本発明の詳細な説明と添付した請求項から容易に明らかになるであろう。
【図面の簡単な説明】
【００１７】
【図１】先行技術による電気光学画像化システムの変調伝達関数（ＭＴＦ）を示すグラフである。
【図２】本発明による電気光学画像化システムのブロック図である。
【図３Ａ】超解像画像化のフォワードモデルを示す。
【図３Ｂ】超解像デジタル画像処理サブシステムの動作を示す。
【図４】様々な周波数パスバンドを示すグラフである。
【図５Ａ】超解像電気光学画像化システムの「エンド・ツー・エンド」設計を示すブロック図である。
【図５Ｂ】超解像電気光学画像化システムの「エンド・ツー・エンド」設計方法を示すフロー図である。
【図６】マルチモード動作のために設計されたトリプレット（triplet）を示す図である。
【図７】超解像処理のある場合とない場合に動作できる電気光学画像化システムのＭＴＦを示すグラフである。
【図８】可変ジオメトリディテクタを示す図である。
【図９】様々なジオメトリディテクタの充填比の関数としてのＲＭＳＥのグラフである。
【発明を実施するための形態】
【００１８】
図面は、本発明の実施例を例示のみを目的として示している。当業者には以下の説明から言うまでもないことであるが、ここに例示した構成と方法の別の実施形態を、ここに説明する本発明の原理から逸脱することなく、利用することができる。
【００１９】
図２は、本発明による電気光学画像化システムのブロック図である。システム２００は、光学サブシステム２１０と、ディテクタサブシステム２２０と、超解像デジタル画像処理サブシステム２３０とを含む。画像処理部２３０は超解像機能を有する。光学サブシステムとディテクタサブシステム２２０とは、信号源２５０の低解像画像２２５を作る。この低解像画像２２５は超解像サブシステム２３０により結合され、信号源の高解像画像２８０となる。
【００２０】
より詳細には、超解像は、エアリアス画像コンテンツ（aliased image content）を含む低解像度画像の集合を取り、低解像度画像中のエアリアス画像コンテンツを利用して、低解像度画像を結合して高解像度画像２８０にするプロセスである。１つのアプローチでは、この画像化プロセスを説明するために使用される数学的線形モデルは、次式（１）で与えられる
【００２１】
【数１】
図３Ａは、このフォワード画像化モデルを図的記述を示している。
このモデルでは、信号源２５０のいくつかの低解像度画像ｙｉを画像化サブシステム（すなわち、光学サブシステム２１０とディテクタサブシステム２２０）でキャプチャする。本プロセスは以下のように行われる。理想画像ｓは信号源２５０のデジタル画像であり、光学サブシステム２１０の回折限界に一致（match）するようにサンプリングされている。シフトモデルＦｉに応じて、入力フレームに対するシフトまたはオフセットを含む画像セット（a set of images）を生成する。Ｆｉは、基準フレームに対するｉ番目の画像のシフトである。これらの画像は、光学サブシステムとディテクタサブシステムの点広がり関数（あるいはＭＴＦ）により、ぼやけ項Ａだけぼけている。行列Ｄは、回折限界のサンプルレートとディテクタの実際のサンプルレートとの間のサンプルレート変換を表している。ベクトルｅは画像化サブシステムのノイズを表している。画像化プロセスの線形モデルに関する詳細は、例えば、米国特許出願第１１／３３２，６４０号（発明の名称「End-to-end design of electro-optic imaging systems with constrained digital filters」、出願日２００６年１月１３日、段落３９乃至４３）、及び米国特許出願第１１／１５５，８７０号（発明の名称「End-to-end design of electro-optic imaging systems」、出願日２００５年６月１７日、段落３２乃至４７）を参照せよ。両文献の教示はここに参照援用する。
【００２２】
シフトＦｉはいろいろなメカニズムを用いて実現できる。例えば、アクチュエータを使用して、システム中のコンポーネントを物理的にシフトしてもよい。１つのアプローチでは、光学サブシステムの位置は固定され、ディテクタが動かされる。あるいは、ディテクタの位置を固定し、光学系を動かしてもよい。他の例として、画像化光学系またはディテクタを互いに物理的に動かすのではなく、画像化光学系とディテクタを互いに固定した位置に配置し、例えば、フラットなガラス板を傾けて、光学的な効果によりシフトをさせることもできる。
【００２３】
超解像デジタル画像処理サブシステム２３０は、低解像度画像セット（a set of lower resolution images）ｙｉの間の一組のシフトまたはオフセットにより得られる追加的位相情報を用いて、高解像度画像を再構成する。一般的には、解像度は低解像度（ディテクタ）サンプリングレートの倍数だけ高くなる。例えば、解像度は、整数倍ｍ（通常は２乃至５）だけよくなる。効果的に、超解像アルゴリズムは、ピクセル密度がｍ倍のセンサーによりキャプチャされたであろう画像を合成する。言い換えると、有効サンプリングレート（すなわち、超解像サンプリング周波数）は、ディテクタの実際のサンプリングレート（すなわち、ディテクタサンプリング周波数）のｍ倍である。
【００２４】
図３Ｂは、典型的な超解像デジタル画像処理サブシステム２３０に関連するステップを示すブロック図を示している。最初に、低解像度画像のピクセルのシフトまたはオフセットを推定して（または、アプリオリに分かっていて）、キャプチャした画像のセットを絶対座標系に関連づける。次に、シフトに基づき、低解像度画像を合成して高解像度画像を作り、シャープにして光学系及びディテクタによるぼけの効果を除去する。アルゴリズムによっては、これらのステップを繰り返して性能を高くする。
【００２５】
超解像処理により、ディテクタサンプリング周波数より高く超解像サンプリング周波数よりは低い周波数にある情報を抽出する。この情報により、低解像度画像ではエイリアシングが生じるが、再構成された高解像度画像の解像度が高くなる。便宜上、この周波数帯域を超解像帯域（バンド）と呼ぶ。
【００２６】
図４は、これらのコンセプトを例示する図である。図４において、曲線４１０は等価回折限界光学サブシステムのＭＴＦである。実際の光学サブシステムは回折限界ではないかも知れない。ＭＴＦ４１０は、Ｆナンバーと開口が同じであるが、性能的に回折限界である光学サブシステムのものである。周波数４２５はディテクタサンプリング周波数であり、ディテクタのピッチにより決まる。超解像機能を有さない従来のシステムでは、ディテクタサンプリング周波数４２５が一般的にはシステム全体のカットオフ周波数を決定し、高い周波数の情報はエイリアシングを生じない。
【００２７】
しかし、超解像では、超解像サンプリング周波数４３５は、ディテクタサンプリング周波数４２５よりも大幅に高く、一般的にはディテクタサンプリング周波数４２５の整数倍である。超解像帯域４４５は、ディテクタサンプリング周波数４２５と超解像サンプリング周波数４３５の間にある周波数帯域である。超解像帯域４４５は、非超解像システムではエイリアシングを生じるが、超解像システムのパスバンド（pass band）における有用な情報を表す。
【００２８】
曲線４５０は、超解像処理の理想に近い光学ＭＴＦ（すなわち、光学サブシステムのみのＭＴＦ）を示している。このＭＴＦでは、超解像サンプリング周波数４３５より下の（超解像帯域４４５を含む）エネルギーが最大となり、超解像サンプリング周波数４３５より上のエネルギーが最小となっている。言い換えると、等価回折限界ＭＴＦ４１０と比較して、この光学ＭＴＦ４５０では、超解像度サンプリング周波数４３５より下の周波数に含まれるエネルギーの割合が高い。また、超解像帯域４４５に含まれるエネルギーの割合も高い。
【００２９】
曲線４２０は、ローパスフィルタをかけた等価単一フレームシステムの理想に近い光学ＭＴＦを示している。このシステムでは、超解像処理は行われないが、光学サブシステムがローパスフィルタ（例えば、コダック社のランダム位相板）を含み、ディテクタサンプリング周波数４２５よりも高い周波数の画像コンテンツを低減する。ローパスフィルタをかけた単一フレームＭＴＦと比較して、ＭＴＦ４５０は超解像帯域４４５の画像コンテンツが大きい。言い換えれば、ＭＴＦ４５０では、より大きなエネルギーが超解像帯域４４５に含まれている。
【００３０】
画像ＭＴＦ全体（すなわち、光学ＭＴＦにディテクタＭＴＦをかけたもの）は、部分的に、ディテクタＭＴＦにより決まる。ピッチとジオメトリ（geometry）が固定されたディテクタの場合、ディテクタＭＴＦは、そのナイキストレートより高く超解像ナイキストレートより低い周波数ではゼロになる。これは一般的には望ましくないことである。何故なら、超解像サンプリング帯域でゼロになるということは、超解像システムにとって有用な情報が利用できないことを意味するからである。それゆえ、画像化ＭＴＦは、超解像サンプリング周波数４３５より下ではゼロにならないことが好ましい。このサンプリング帯域においてゼロにならない光学ＭＴＦを設計することは通常は易しいので、画像化ＭＴＦがこのサンプリング帯域でゼロになるかどうかは、ディテクタサブシステムが超解像サンプリング周波数４３５より下でゼロとなるかどうかにより決まる。これらのゼロを効果的に回避するシステムの例を以下に説明する。
【００３１】
電気光学画像化システムを設計する従来の方法は、一般的には、いくつかの段階を含む。最初、光学サブシステムを、信号源の高品質な中間光学像を形成することを目標として設計する（例えば、回折限界光学サブシステムを設計する）。次に、基本的な光学設計が完了して高品質な画像が実現できた後、光学的ローパスフィルタを追加するかしないかして、ディテクタサンプリング周波数より高い周波数のコンテンツを意図的に改悪（corrupt）する（すなわち、高品質画像を改悪する）。最後に、（回折限界）光学サブシステムを設計した後、回折限界光学サブシステムがキャプチャした低解像度画像に超解像を適用するための超解像度処理を設計する。しかし、図４に示したように、回折限界ＭＴＦやローパスフィルタをかけた単一フレームＭＴＦは、超解像処理の点では必ずしも最適ではない。
【００３２】
それゆえ、光学サブシステム、ディテクタサブシステム、超解像デジタル画像処理サブシステムを同時に設計すれば、相乗効果がえられる。例えば、ディテクタサブシステムをアプリオリに指定して、光学サブシステムをそのディテクタサブシステムとキャプチャした画像に超解像処理を適用することとを考慮して設計する。
【００３３】
図５Ａは、超解像電気光学画像化システムの「エンド・ツー・エンド」設計を示すブロック図である。一般的な設計上の問題は、一定の制約条件下で超解像画像化システム２００をその全体的な性能を「最適化」するように設計することである。多くの場合、最適化の目標は、入力源の特定用途向けに理想化したバージョン２５５に一致する高解像度画像２８０を作ることである。
図５Ａと図５Ｂは、本発明による電気光学画像化システム１００の設計方法例を示している。図５Ｂを参照して、この設計方法は入力源２５０の空間モデルを生成する段階を含む（ステップ５１０）。入力源の空間モデルは、前に作ったモデルや与えられたモデルに基づき、経験的に測定された（empirically measured）具体的な状況に対して求められる。照明、放射分析（radiometry）、ジオメトリ（geometry）が入力源モデルに反映できるファクタである。空間モデルは、好ましくは入力源の統計的モデルを含む。
【００３４】
電気光学画像化システムの設計空間も決める（ステップ５２０）。図５Ａにおいて、各サブシステムはそれぞれそのパラメータθｏ、θｄ、θｉにより決まる。例えば、光学サブシステム２１０の設計空間は、ベクトルθｏにより記述され、レンズの数、タイプ、サイズ、曲率半径、絞り等により決まる。ディテクタサブシステム２２０の設計空間は、ベクトルθｄにより記述され、ピクセル数、ディテクタピッチ、充填率（fill factor）、帯域幅、ピクセルジオメトリ等を数値化したものである。この具体例では、超解像デジタル画像処理サブシステム２３０の設計空間は、ベクトルθｉで記述され、結合する低解像度画像の数、低解像度画像の相対的重み、鮮鋭化フィルタ係数等を含む。設計に付随する様々な非画像化制約条件すなわちコスト２７０を決めてもよい。各サブシステムの設計空間の大きさは、アプリケーションに応じて変わり得る。場合により、サブシステムの設計に大きな自由度が許され得る。他の場合には、サブシステムの設計には強い制約があったり、予め決められている場合（例えば、ディテクタアレイが事前に選択されている場合）もある。
【００３５】
後処理性能メトリック２９０も決定される（ステップ５３０）。超解像処理の前ではなく後の性能に基づくという意味で、性能メトリック（performance metric）は後処理に係わるものである。例えば、光学サブシステムのみにより作られる中間光学画像の波面誤差またはスポットサイズの大きさは、光学サブシステムの従来の誤差メトリックであり、後処理性能のメトリックではない。図５Ａにおいて、後処理性能メトリック２９０は、超解像プロセッサ２３０により作られた高解像度デジタル画像２８０の、理想的デジタル画像２５５との比較に基づく。設計状況では多くの場合、システムにより作られた画像２８０の計算は、入力源の空間的モデルに基づき、サブシステム２１０、２２０、２３０を通る入力源２５０の特徴の伝搬をモデル化することにより行われる。
【００３６】
設計ステップ５４０は、場合によっては一定の制約条件（例えば、デジタルフィルタ設計の制限）の下で、後処理性能メトリック２９０を最適化する設計空間内の設計を選択することである。光学サブシステム２１０と超解像プロセッサ２３０は、従来の設計アプローチのように順次に設計するのではなく、同時に設計する。数学的には、図５Ａの記法を用いると、設計ステップは、場合によってはコスト２７０による一定の制約条件の下で、システムパラメータθｏ、θｄ、θｉを選択して性能メトリックを直接最適化することである。例えば、画像ベースの後処理性能メトリック２９０を、最大金銭的コストの下で最適化することができる。あるいは、デジタル画像２８０の最小許容後処理性能メトリック２９０の下で、金銭的コストを最小化してもよい。
【００３７】
いくつかの最適化アルゴリズムを使用できる。線形の場合には、パラメータを解析的に解くか、または既知の振る舞いのよい数値解法を用いて解くことができる。より複雑な場合には、一定の非線形の場合が含まれ、期待値最大化、傾斜降下、線形プログラミング等の方法を使用して設計空間をサーチすることができる。
【００３８】
図５Ａと図５Ｂでは、光学サブシステム２１０、ディテクタサブシステム２２０、または超解像プロセッサ２３０が単体で最適化される必要はないことに留意せよ。よくあることだが、これらのサブシステムは、単体で考えると最適以下の性能を示すが、超解像電気光学画像化システム２００全体としては性能がよく最適性能を示す。これは、従来の設計方法とはまったく対照的である。従来の設計方法では、例えば、光学サブシステム２１０により形成される中間光学画像の画像品質を直接最適化することにより、光学サブシステム２１０を設計することが一般的である。例えば、光学サブシステム２１０は、ＲＭＳ波面誤差またはＲＭＳスポットサイズの最小化に基づき設計される。これと比べて、図５Ａ、図５Ｂの設計アプローチの場合、例えば、超解像サンプリング周波数より上の周波数における画像コンテンツを低減するために、光学サブシステム２１０により形成される中間光学画像の（例えば、波面誤差またはスポットサイズにより測定される）画質は悪くなっていてもよい。光学サブシステム２１０は、中間光学画像の画像品質をよくすることに直接的に基づいて設計されるのではない。むしろ、後処理性能メトリック（post-processing performance metric）２９０をよくすることに直接的に基づいて、超解像デジタル画像処理サブシステム２３０と同時に設計される
エンド・ツー・エンド設計のさらに詳細な説明と例については、例えば米国特許出願第１１／３３２，６４０号（発明の名称「End-to-end design of electro-optic imaging systems with constrained digital filters」、出願日２００６年１月１３日）、及び米国特許出願第１１／１５５，８７０号（発明の名称「End-to-end design of electro-optic imaging systems」、出願日２００５年６月１７日）を参照せよ。両文献の教示はここに参照援用する。
【００３９】
以下は、光学サブシステムとディテクタサブシステムの設計例である。式１のぼかし演算子（blurring operator）Ａは、光学サブシステムとディテクタサブシステムそれぞれに対する２つの成分ＡｏとＡｄに展開できる。Φを設計プロセス中（またはその後の動作中）に調整できる設計パラメータを表すとする。問題は、超解像処理を含むエンド・ツー・エンドの性能を最大化するΦを求めることである。
【００４０】
最初の例として、光学サブシステムの設計を検討する。ぼかし行列Ａｏ（Φ）は、光学サブシステムに関連する設計パラメータΦ（例えば、表面曲率、スペーシング等）に依存する。以下の例では、これらの設計パラメータを最適化して、超解像処理後の画像品質を最大化する。
【００４１】
最初に、式１を調べて、システムの画像情報スループット（image information throughput）を分析する。相対シフトＦｉは制御可能であると仮定する。これに基づき、超解像処理により超解像サンプリングレートをディテクタサンプリングレートのｍ倍にまで大きくする。よって、電気光学画像化システム設計の１つの目標は、ディテクタナイキストレート（Nyquist rate）のｍ倍までの周波数における平均画像化ＭＴＦを最大化するように、設計パラメータΦを求めることである。ここで、平均は画像セットｙｉにわたってとる。信号源に関する統計その他の情報が分かっているときは、その情報を設計プロセスで使用できることに留意せよ。
【００４２】
このコンセプトを例示する実験として、超解像処理によりサンプルレートがｍ＝２倍でけ高くなるとの仮定の下に、３要素の光学系を設計する。さらにまた、電気光学画像化システムはマルチモードとなるように設計する。これは、従来の単一フレームモード、すなわち画像化サブシステムが１つの画像をキャプチャしてそれを処理するか、超解像モード、すなわち画像化サブシステムが複数のフレームをキャプチャして超解像処理によい合成して高解像度画像を作るかいずれかで動作できる。
【００４３】
図６は光学サブシステムの図である。モードは光軸に沿って中央レンズをシフトすることにより制御する。機械的動きにより、空間周波数カットオフを標準ナイキストレート（すなわち、１×ディテクタサンプリング周波数）と超解像ナイキストレート（すなわち、ｍ×ディテクタサンプリング周波数）との間で変化させて、画像化サブシステムを単一フレームモードと超解像モードの間で切り換える。この実験では、システムは、波長５５０ｎｍにおいて充填率１００％の１５ミクロンの正方形ピクセルに対して、２０度、７０ｍｍ、Ｆ／８．０の光学系により画成されている。
レンズの表面パワー（lens surface powers）と要素間のスペーシングは設計パラメータである。４つの高次回転対称非球面表面サグも含め瞳関数を制御している。設計最適化の際、マルチコンフィギュレーションメリット機能（multi-configuration merit function）が、単一フレームモードの場合はナイキストレートまで、超解像モードの場合はナイキストレートの２倍まで、ＭＴＦを最大化するように試みる。使用できないエイリアシングアーティファクトを阻止するため、これらのサンプルレートより上の情報を通すとペナルティも課される。
結果として得られたレンズ設計を表１に示す：
【００４４】
【表１】
表面４は回転対称非球面表面であり、以下のパラメータで画成されている：
パラメータ1：3.91E-06
パラメータ2：2.11E-08
パラメータ3：-3.24E-08
パラメータ4：-1.27E-09
図７は、このシステムの回折限界までの画像化ＭＴＦを示している。ＭＴＦ７１０は、回折限界光学サブシステムの画像化ＭＴＦであり、比較のために示されている。ＭＴＦ７２０は単一フレームモードでのＭＴＦであり、ＭＴＦ７３０は超解像モードでのＭＴＦである。ＭＴＦ７２０と７３０は両方とも、６６ｌｐ／ｍｍより高い空間周波数で担われる情報が大幅に減少していることに留意せよ。これは、画像コンテンツの大部分が高次の極大部分にエイリアシングアーティファクトとして現れる回折限界の場合７１０と対照的である。このように、光学サブシステムは効果的に両方の動作モードにおける好ましくないエイリアシングを除去している。
【００４５】
ここで、超解像帯域７４５を考える。この帯域は、３３ｌｐ／ｍｍのディテクタサンプリング周波数と、６６ｌｐ／ｍｍの超解像サンプリング周波数７３５との間にある。単一フレームモード７２０では、超解像帯域７４５の空間周波数はブロックされる。超解像モード７３０では、より多くの情報コンテンツが通過する。このように、単一フレームモード７２０では、光学サブシステムは効果的にディテクタサンプリング周波数７２５よりも上にあるエイリアシングアーティファクトを除去する。超解像モード７３０では、（６６ｌｐ／ｍｍの超解像サンプリング周波数７３５より上の）回復不能なエイリアシングアーティファクトが削除され、一方超解像帯域７４５の使用可能なエイリアシングアーティファクトは保持される。
【００４６】
この光学サブシステム例は、中心要素（center element）を光軸に沿ってシフトして、レンズ系の光学経路差を変えることにより機能する。その要素がシフトすると、波面誤差が大きくなり、点広がり関数のサイズが効果的に大きくなり、よって光学ＭＴＦのローパスカットオフ周波数が低くなる。かかる要素の開口サイズを増加減少することによる他のアプローチでもよい。
【００４７】
前記の例では超解像処理のための光学サブシステムの設計を検討した。ここで、超解像処理のためのディテクタサブシステムの設計に関する例を検討する。再び図７を参照して、ディテクタＭＴＦによる約６６ ｌｐ／ｍｍにおけるゼロクロスは、超解像処理をもってしても修正できないことに留意せよ。言い換えると、低解像度画像をいくつ取得しても、超解像処理によりアプリオリな情報に基づいてこれらの周波数における情報に関して経験に基づいた推定をできるだけである。
【００４８】
しかし、他のアプローチとして、画像取得プロセスの際にディテクタジオメトリを変更することができる。例えば、図８は、フジ（Ｆｕｊｉ）社によりＣＣＤ技術を示している。このＣＣＤは、各ピクセルに２つの異なる感光領域を有している。かかるピクセルは、元々、ＣＣＤのダイナミックレンジを大きくするために発明されたものである。しかし、ディテクタＭＴＦを、及びそれゆえに画像化ＭＴＦを変更するために使用することもできる。このように、あるゼロクロスを有する第１のディテクタＭＴＦを用いて１つの低解像度画像を取得し、他のゼロクロスを有する第２のディテクタＭＴＦを用いて他の低解像度画像を取得することができる。異なる画像化ＭＴＦを用いてゼロクロスをシフトすることにより、画像の集合をキャプチャし、超解像アルゴリズムによりゼロクロスのない「有効」ＭＴＦを作ることができる。好ましくは、可変ピクセルジオメトリを考慮しつつ、光学サブシステムを設計して情報スループットを最大化する。
【００４９】
このコンセプトを例示するため、図６−７と同様な例であるが、設計パラメータがディテクタジオメトリに限定されている例を考える。ディテクタは２つのモードで動作できると仮定する。第１のモードでは、センサピクセルジオメトリはピクセルの充填率（fill-factor）が１００％である。このモードは、エイリアシングを最小化してピクセルＳＮＲを最大化するために充填率を最大化することが望ましい単一フレーム画像化に対応する。ここで、センサーの設計者は、ピクセルの有効充填率を変更することにより、副ピクセルジオメトリ（secondary pixel geometry）で動作するピクセルを設計できると仮定する。しかし、充填率を下げると、測定ノイズが増加するというコストがかかる。ノイズは１／ｆａに従って増減する。ここで、ｆは副モードピクセルジオメトリに関連する充填率であり、ａはピクセルジオメトリが小さくなることによるノイズゲイン（ＳＮＲ損失）を表す定数である。
【００５０】
超解像デジタル画像処理サブシステムは２つのフレームを取って解像度を２倍にすることができると仮定する。とりあえず、サンプリングオフセットは取得時に制御可能であり、光学サブシステムは超解像モードの場合、図７に示した光学サブシステムと同様の性能を発揮すると仮定する。すると、画像ｙ０とｙ１のペアとし、第２の画像キャプチャｙ１ではピクセル充填率を変化させる。また、とりあえず、第２の画像のオフセットはピクセルピッチの１／２であると仮定する。推定される高解像度画像の分散（ＭＳＥ）すなわち有効ノイズは、次式（２）で与えられる：
【００５１】
【数２】
式（２）では、設計パラメータΦｉはｉ番目のフレームのピクセルの充填率を表すものとする。この例では、第１のフレームの充填率は１００％である。このように、画像化ＭＴＦは図７に示したように高解像度サンプリングレート７３５でゼロに近づく。
【００５２】
式（２）は第２のフレームの充填率の関数としてＭＳＥを推定するものである。図９は、ノイズゲインファクタａの異なる値における、第２の画像の充填率の関数として推定したＲＭＳＥを示す。充填率１００％のピクセルのノイズパワーをσ２＝１とする。いくつかのノイズゲインファクタａに対するピクセル充填率の関数として、式（２）の推定ＭＳＥの２乗平方根を図９に示した。曲線９１０、９２０、９３０、９４０は、それぞれａ＝１、２、３、４に対応する。ピクセル充填率を小さくする場合のノイズペナルティが小さい（例えば、ａ＝１）とき、推定ＲＭＳＥにより、曲線９１０から明らかなように、４５％程度の小さい充填率が好ましいことが分かる。しかし、ノイズゲインファクタが大きくなってａ＝４になると、曲線９４０が示すように、光学充填率は８０％まで高くなる。これは、ピクセルジオメトリの多様性とＳＮＲの間の設計上のトレードオフを示している。ピクセルを小さくすることに対するノイズペナルティが最小であれば、小さい副ピクセルを有することにより後処理システム（post-processed system）の有効ＭＴＦを大きくするためによいことである。ピクセル充填率を小さくしてＳＮＲを大幅に小さくすると、ＲＭＳＥをよくするには充填率を大きくした方がよい。実際のシステムでは、ファクタａはセンサーの設計と製造プロセスに関連する製造上の制約条件に依存する。
【００５３】
詳細な説明には具体的事項が多数含まれているが、これらは本発明の範囲を限定するものではなく、本発明の異なる実施例と態様を例示することのみを目的としたものと解釈しなければならない。言うまでもなく、本発明の範囲はここで詳細に説明していない他の実施形態も含む。その他の様々な修正、変更、変形が、当該技術分野の当業者には明らかである。添付した請求項に記載した本発明の精神と範囲から逸脱することなく、ここに開示した本発明の方法と装置の構成、動作、詳細に対して、こうした様々な修正、変更、変形をすることが可能である。
【００５４】
なお、上記実施形態について、以下の付記を記す。
（付記１）超解像電気光学画像化システムであって、
信号源を画像化する光学サブシステムであって、等価な回折限界光学ＭＴＦと比較して超解像サンプリング周波数より低い周波数のパスバンドにおいてエネルギーの割合が高い光学ＭＴＦにより特徴づけられる光学サブシステムと、
前記信号源の２つ以上の低解像度画像をキャプチャするように配置された、ディテクタサンプリング周波数により特徴づけられるディテクタサブシステムと、
超解像処理により前記低解像度画像を結合して前記信号源の高解像度画像を求める前記ディテクタサブシステムに結合した超解像デジタル画像処理サブシステムであって、前記超解像処理は前記ディテクタサンプリング周波数より高い超解像サンプリング周波数を決定する超解像デジタル画像処理サブシステムとを有するシステム。
（付記２）前記光学ＭＴＦは実質的に超解像サンプリング周波数にカットオフ周波数があるローパスフィルタとして振る舞う、付記１に記載の電気光学画像化システム。
（付記３）前記光学サブシステムとディテクタサブシステムは超解像サンプリング周波数より下にゼロがない画像化ＭＴＦにより特徴づけられる、付記１に記載の電気光学画像化システム。
（付記４）等価回折限界光学ＭＴＦとローパスフィルタをかけた等価単一フレーム光学ＭＴＦの両方と比較して、前記ディテクタサンプリング周波数と前記超解像サンプリング周波数の間の超解像周波数帯域に前記光学ＭＴＦが大きな割合のエネルギーを含む、付記１に記載の電気光学画像化システム。
（付記５）前記超解像サンプリング周波数は前記ディテクタサンプリング周波数の整数倍である、付記１に記載の電気光学画像化システム。
（付記６）前記低解像度画像は同解像度のシフト画像を含む、付記１に記載の電気光学画像化システム。
（付記７）前記ディテクタサブシステムは、
ディテクタアレイと、
前記光学サブシステムに対して前記ディテクタアレイをシフトして前記シフト画像を作るアクチュエータとを含む、付記６に記載の電気光学画像化システム。
（付記８）前記光学サブシステムは、
画像化光学系と、
前記ディテクタサブシステムに対して前記画像化光学系をシフトして前記シフト画像を作るアクチュエータとを含む、付記６に記載の電気光学画像化システム。
（付記９）前記光学サブシステムと前記ディテクタサブシステムの位置は互いに固定され、
前記光学サブシステムは前記ディテクタサブシステムに対して前記光学サブシステムにより形成された画像を光学的にシフトして前記シフト画像を作る光学要素を含む、付記６に記載の電気光学画像化システム。
（付記１０）前記光学サブシステムは前記ディテクタサブシステムと前記超解像処理に従って設計された、付記１に記載の電気光学画像化システム。
（付記１１）前記高解像度画像の有効画像化ＭＴＦは前記超解像サンプリング周波数より下でゼロとならない、付記１に記載の電気光学画像化システム。
【符号の説明】
【００５５】
２１０ 光学系
２２０ ディテクタ
２２５ 低解像度画像
２３０ 超解像プロセッサ
２５０ 信号源
２５５ アプリケーション依存の理想的表現
２８０ 高解像度画像
２９０ 性能メトリック
【特許請求の範囲】
【請求項１】
超解像電気光学画像化システムであって、
ディテクタサブシステムに結合した光学サブシステムを有する画像化サブシステムであって、異なる画像化ＭＴＦを用いて信号源の低解像度画像を作るための調整可能画像化ＭＴＦにより特徴付けられる画像化サブシステムと、
前記画像化サブシステムに結合された、超解像処理により前記低解像度画像を結合して前記信号源の高解像度画像を作る超解像デジタル画像処理サブシステムとを有するシステム。
【請求項２】
前記ディテクタサブシステムは調整可能ジオメトリを有するディテクタを含み、前記ディテクタジオメトリの調整により前記画像化ＭＴＦが調整される、請求項１に記載の電気光学画像化システム。
【請求項３】
ディテクタジオメトリが異なると、ディテクタピッチは同じであるがディテクタ充填率が異なる、請求項２に記載の電気光学画像化システム。
【請求項４】
ディテクタジオメトリが異なると、ディテクタピッチは同じであるがディテクタ形状が異なる、請求項２に記載の電気光学画像化システム。
【請求項５】
前記光学サブシステムは可動光学コンポーネントを有し、前記光学コンポーネントを動かすことにより前記画像化ＭＴＦが調整される、請求項１に記載の電気光学画像化システム。
【請求項６】
前記画像化ＭＴＦは画像化カットオフ周波数により特徴付けられ、画像化ＭＴＦが異なると画像化カットオフ周波数が異なる、請求項１に記載の電気光学画像化システム。
【請求項７】
前記高解像度画像の有効画像化ＭＴＦは前記高解像度画像の超解像サンプリング周波数より下でゼロとならない、請求項１に記載の電気光学画像化システム。
【請求項８】
前記光学ＭＴＦは実質的に前記高解像度画像の超解像サンプリング周波数にカットオフ周波数があるローパスフィルタとして振る舞う、請求項１に記載の電気光学画像化システム。
【請求項９】
前記画像化ＭＴＦは前記高解像度画像の超解像サンプリング周波数より下でゼロとならない、請求項１に記載の電気光学画像化システム。
【請求項１０】
等価回折限界画像化ＭＴＦとローパスフィルタをかけた等価単一フレーム画像化ＭＴＦの両方と比較して、ディテクタサンプリング周波数と前記高解像度画像の超解像サンプリング周波数の間の超解像周波数帯域に前記画像化ＭＴＦが大きな割合のエネルギーを含む、請求項１に記載の電気光学画像化システム。
【請求項１１】
マルチモード超解像電気光学画像化システムであって、
ディテクタサブシステムに結合した光学サブシステムを有する画像化サブシステムと、前記画像化サブシステムに結合したデジタル画像処理サブシステムとを有し、前記画像化サブシステムとデジタル画像処理サブシステムの両方は単一フレームモードまたは超解像モードのいずれかで動作可能であり、
単一フレームモードにおいて、前記画像化サブシステムは信号源の画像を生成し、前記デジタル画像処理サブシステムは前記画像を処理し、
超解像モードにおいて、前記画像化サブシステムは信号源の２つ以上の低解像度画像を生成し、前記デジタル画像処理サブシステムは超解像処理により前記低解像度画像を結合して前記信号源の高解像度画像にする、マルチモード超解像電気光学画像化システム。
【請求項１２】
光学サブシステムと、ディテクタサブシステムと、超解像デジタル画像処理サブシステムとを含む、信号源を画像化する超解像電気光学画像化システムの設計方法であって、
前記信号源の空間的モデルに基づき、前記光学サブシステムと前記ディテクタサブシステムと前記超解像デジタル画像処理サブシステムとを通る前記信号源の伝搬をモデル化する段階と、
前記モデル化された伝搬の関数である後処理性能メトリックに直接基づいて前記光学サブシステムと前記超解像デジタル画像処理サブシステムとを同時に設計する段階とを有する方法。
【請求項１】
超解像電気光学画像化システムであって、
ディテクタサブシステムに結合した光学サブシステムを有する画像化サブシステムであって、異なる画像化ＭＴＦを用いて信号源の低解像度画像を作るための調整可能画像化ＭＴＦにより特徴付けられる画像化サブシステムと、
前記画像化サブシステムに結合された、超解像処理により前記低解像度画像を結合して前記信号源の高解像度画像を作る超解像デジタル画像処理サブシステムとを有するシステム。
【請求項２】
前記ディテクタサブシステムは調整可能ジオメトリを有するディテクタを含み、前記ディテクタジオメトリの調整により前記画像化ＭＴＦが調整される、請求項１に記載の電気光学画像化システム。
【請求項３】
ディテクタジオメトリが異なると、ディテクタピッチは同じであるがディテクタ充填率が異なる、請求項２に記載の電気光学画像化システム。
【請求項４】
ディテクタジオメトリが異なると、ディテクタピッチは同じであるがディテクタ形状が異なる、請求項２に記載の電気光学画像化システム。
【請求項５】
前記光学サブシステムは可動光学コンポーネントを有し、前記光学コンポーネントを動かすことにより前記画像化ＭＴＦが調整される、請求項１に記載の電気光学画像化システム。
【請求項６】
前記画像化ＭＴＦは画像化カットオフ周波数により特徴付けられ、画像化ＭＴＦが異なると画像化カットオフ周波数が異なる、請求項１に記載の電気光学画像化システム。
【請求項７】
前記高解像度画像の有効画像化ＭＴＦは前記高解像度画像の超解像サンプリング周波数より下でゼロとならない、請求項１に記載の電気光学画像化システム。
【請求項８】
前記光学ＭＴＦは実質的に前記高解像度画像の超解像サンプリング周波数にカットオフ周波数があるローパスフィルタとして振る舞う、請求項１に記載の電気光学画像化システム。
【請求項９】
前記画像化ＭＴＦは前記高解像度画像の超解像サンプリング周波数より下でゼロとならない、請求項１に記載の電気光学画像化システム。
【請求項１０】
等価回折限界画像化ＭＴＦとローパスフィルタをかけた等価単一フレーム画像化ＭＴＦの両方と比較して、ディテクタサンプリング周波数と前記高解像度画像の超解像サンプリング周波数の間の超解像周波数帯域に前記画像化ＭＴＦが大きな割合のエネルギーを含む、請求項１に記載の電気光学画像化システム。
【請求項１１】
マルチモード超解像電気光学画像化システムであって、
ディテクタサブシステムに結合した光学サブシステムを有する画像化サブシステムと、前記画像化サブシステムに結合したデジタル画像処理サブシステムとを有し、前記画像化サブシステムとデジタル画像処理サブシステムの両方は単一フレームモードまたは超解像モードのいずれかで動作可能であり、
単一フレームモードにおいて、前記画像化サブシステムは信号源の画像を生成し、前記デジタル画像処理サブシステムは前記画像を処理し、
超解像モードにおいて、前記画像化サブシステムは信号源の２つ以上の低解像度画像を生成し、前記デジタル画像処理サブシステムは超解像処理により前記低解像度画像を結合して前記信号源の高解像度画像にする、マルチモード超解像電気光学画像化システム。
【請求項１２】
光学サブシステムと、ディテクタサブシステムと、超解像デジタル画像処理サブシステムとを含む、信号源を画像化する超解像電気光学画像化システムの設計方法であって、
前記信号源の空間的モデルに基づき、前記光学サブシステムと前記ディテクタサブシステムと前記超解像デジタル画像処理サブシステムとを通る前記信号源の伝搬をモデル化する段階と、
前記モデル化された伝搬の関数である後処理性能メトリックに直接基づいて前記光学サブシステムと前記超解像デジタル画像処理サブシステムとを同時に設計する段階とを有する方法。
【図１】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−２２７９４４（Ｐ２０１２−２２７９４４Ａ）
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願番号】特願２０１２−１４２２１２（Ｐ２０１２−１４２２１２）
【出願日】平成２４年６月２５日（２０１２．６．２５）
【分割の表示】特願２００７−１２７４０５（Ｐ２００７−１２７４０５）の分割
【原出願日】平成１９年５月１１日（２００７．５．１１）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願日】平成２４年６月２５日（２０１２．６．２５）
【分割の表示】特願２００７−１２７４０５（Ｐ２００７−１２７４０５）の分割
【原出願日】平成１９年５月１１日（２００７．５．１１）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]