撮像装置
【課題】高い解像度を確保しつつ、コントラストおよび精鋭度の低下を防止することが可能な撮像装置を提供すること
【解決手段】撮像装置は、前記光学像と前記撮像素子の一方が他方に対して移動した後に撮像素子から画像信号を取得し、複数回の撮像によって取得した複数の画像信号を統合して各画像信号よりも高解像度の画像信号を生成し、撮像素子の開口部と画素ピッチのサイズはそれぞれ制限されている。
【解決手段】撮像装置は、前記光学像と前記撮像素子の一方が他方に対して移動した後に撮像素子から画像信号を取得し、複数回の撮像によって取得した複数の画像信号を統合して各画像信号よりも高解像度の画像信号を生成し、撮像素子の開口部と画素ピッチのサイズはそれぞれ制限されている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子を備えた顕微鏡（「デジタル顕微鏡」と呼ぶ場合もある）としての撮像装置に関する。
【背景技術】
【０００２】
デジタル顕微鏡は、病理診断などの分野に適用され、その解像力は、光学顕微鏡部の解像力と撮像素子の解像力の両方に依存する。特許文献１は、光学像と撮像素子の相対位置を変化させて複数回撮像し、高解像度の画像を出力し、取得画像の解像度を撮像素子の画素数よりも上げる方法（超解像技術）を開示している。その他の従来技術としては、非特許文献１がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−３０６４９２号公報
【非特許文献】
【０００４】
【非特許文献１】オファー・ヘイダー（Ofer Hadar）、グレン・ディー・ボアマン（Glenn D. Boreman）著、「オーバーサンプリング・レクワイアメンツ・フォー・ピクセレーティッドイメージャー・システムズ（Oversampling requirements for pixelated-imager systems）」、オプティカル・エンジニアリング（Optical Engineering）、１９９９年第３８号、ｐ．７８２−７８５
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、本発明者は特許文献１の方法では、コントラストや鮮鋭度が低下して、微細構造が認識できなくなるおそれがあることを発見した。
【０００６】
そこで、本発明は、高い解像度を確保しつつ、コントラストおよび精鋭度の低下を防止することが可能な撮像装置を提供することを例示的な目的とする。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、顕微鏡光学系によって形成された標本の光学像を光電変換する撮像素子と、前記光学像と前記撮像素子の一方が他方に対して移動した後に前記撮像素子から画像信号を取得し、複数回の撮像によって取得した複数の画像信号を統合して各画像信号よりも高解像度の画像信号を生成する画像処理手段と、を有し、次式を満足することを特徴とする。
【０００８】
【数３】
【０００９】
【数４】
【００１０】
ここで、ａは前記撮像素子の各画素の開口部の１辺の長さの最大値、Ｒは撮像素子のＳ／Ｎ比、Ｖはノイズの分散、Ｗは単位時間および面積当たりの光量、Ｔは露出時間、ηは量子効率、Ｍは前記顕微鏡光学系の結像光学系の結像倍率、λは前記顕微鏡光学系において前記標本を照明する照明光の波長、ＮＡは前記顕微鏡光学系の対物レンズの開口数、σは前記顕微鏡光学系において前記標本を照明する照明光学系のコヒーレンスファクタを表し、ｐは画素ピッチの最大値、Ｎは１回の撮像における１方向の画素数に対する前記高解像度の画像信号の１方向の解像度の比を表す。
【発明の効果】
【００１１】
本発明によれば、高い解像度を確保しつつ、コントラストおよび精鋭度の低下を防止することが可能な撮像装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本実施例の撮像装置のブロック図である。
【図２】図１に示す撮像装置の動作を説明するための図である。
【図３】図１に示す撮像装置の動作を説明するための図である。
【図４】空間周波数と、開口率が異なる撮像素子のＭＴＦとの関係を示すグラフである。
【図５】超解像を行わない場合のシミュレーション結果を示すグラフである。
【図６】数式６の効果を説明するための超解像を行った場合のシミュレーション結果を示すグラフである。
【図７】数式１０の効果を説明するための超解像を行った場合のシミュレーション結果を示すグラフである。
【発明を実施するための形態】
【００１３】
図１は、本実施例の撮像装置（デジタル顕微鏡）のブロック図である。
【００１４】
撮像装置は、図１に示すように、顕微鏡本体１１０、パーソナルコンピュータ（ＰＣ）１２０、表示部（表示手段）１２２、入力部（入力手段）１２４、制御部１３０、画像処理部（画像処理手段）１４０、メモリ１５０を有する。
【００１５】
顕微鏡本体１１０は、顕微鏡光学系によって標本（試料）の光学像を形成して観察可能にすると共に撮像素子１１５によってその撮像面に光学像を形成して撮像可能に構成されている。
【００１６】
顕微鏡本体１１０は、駆動部１１１、照明光学系１１２、標本ステージ１１３、結像光学系１１４、撮像素子１１５、撮像素子ステージ１１８を有する。照明光学系１１２〜結像光学系１１４は顕微鏡光学系を構成し、照明光学系１１２〜撮像素子ステージ１１８は撮像部を構成する。
【００１７】
駆動部１１１は、撮像素子１１５の撮像面における光学像と各画素の開口部の一方を他方に対して移動させる移動手段として機能すれば、その構成は限定されない。例えば、駆動部１１１は、撮像素子ステージ１１８に設けられて撮像素子１１５の、顕微鏡光学系の光軸に垂直な方向の位置を変化させるアクチュエータとして構成されてもよい。この場合、移動方向は、顕微鏡光学系の光軸に垂直な平面に設定された直交座標系におけるＸＹ方向であってもよいし、当該平面において設定された基準軸からの回転角であってもよい。また、顕微鏡光学系の光軸に垂直な成分があれば移動方向は光軸に斜めの方向であってもよい。
【００１８】
あるいは、結像光学系１１４に光路を変化させる光学素子（例えば、結像光学系１１４の瞳位置に設置されたプリズム）を設け、駆動部１１１は、当該光学素子を変化させるアクチュエータとして構成されてもよい。更に、駆動部１１１は、標本ステージ１１３に設けられて標本ステージ１１３の顕微鏡光学系の光軸に垂直な位置を変化させるアクチュエータとして構成されてもよい。
【００１９】
駆動部１１１の駆動により、画素ピッチ以下の距離だけ位置が変化した画像を複数回撮像して取得画像の解像度を撮像素子の画素数よりも向上する超解像を実現することができる。
【００２０】
不図示の光源から発せられた照明光は照明光学系１１２を介して標本ステージ１１３上の不図示の標本を照明し、標本からの透過光が結像光学系１１４によって撮像素子１１５の撮像面に光学像として結像される。なお、顕微鏡光学系は標本が上方から照明され、その反射光を結像する落射照明方式を使用してもよい。
【００２１】
撮像素子１１５は顕微鏡光学系が形成した光学像を光電変換してアナログ電気信号に変換する。撮像素子１１５は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのイメージセンサ（エリアセンサ）を使用することができる。
【００２２】
図１には、撮像素子１１５の２×２画素の構成を拡大した平面図が示されている。一般に、撮像素子１１５の各画素は、光路に沿って物体側から順に、不図示のマイクロレンズ、不図示のカラーフィルタ、遮光膜１１６、開口部１１７、開口部１１７の下に配置されて光電変換を行う不図示のフォトディテクタ（光電変換素子）を有する。開口部１１７は、遮光膜に設けられてフォトディテクタが受光することを可能にする。
【００２３】
撮像素子１１５の画素面積において開口部１１７の面積が占める割合は開口率と呼ばれ、撮像素子１１５の飽和電荷容量と感度を向上するために通常は開口率は可能な最大値に設定されている。
【００２４】
一方、撮像素子１１５のＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）は開口部の面積が大きくなると高周波領域で低下する。このため、画素ピッチｐを一定として開口率を増大すると、画像の高周波成分が劣化して微細構造を識別するために必要なコントラストや精鋭度が低下する。なお、ここで、画素ピッチｐを撮像素子１１５の各画素の中心点間の距離と定義し、１画素の面積は画素ピッチｐの２乗であるとする。
【００２５】
超解像を開口率が大きい状態で行うと、撮像素子１１５によって微細構造の情報が消失した状態で解像度が増えることになり、微細構造の再現性が低下する（微細構造の一部が認識できなくなる）。
【００２６】
そこで、本実施例では、撮像素子１１５のＭＴＦの遮断周波数（ＭＴＦが０になる最小の周波数）が顕微鏡光学系の遮断周波数以上となるように開口率を決定している。この条件は、顕微鏡光学系が伝達しうる標本の最小の構造を撮像素子が消失させないことを意味する。
【００２７】
以下では、画素および開口部１１７の形状を正方形と仮定した上でこの条件を数式で表しているが、実用上は正方形に限定される必要はない。まず、撮像素子１１５の１次元のＭＴＦは次式で表すことができる。
【００２８】
【数５】
【００２９】
ＭＴＦが０になる遮断周波数は１／ａであり、ａ［μｍ］は画素の開口部１１７の１辺の長さを表す（正方形でなければ１辺の長さの最大値を表す）。また、顕微鏡光学系の遮断周波数はＮＡ（１＋σ）／Ｍλと表すことができる。ここで、ＮＡは結像光学系１１４に含まれる対物レンズの開口数、σは照明光学系１１２のコヒーレンスファクタ、Ｍは結像光学系１１４の結像倍率、λ［μｍ］は照明光の波長を表す。
【００３０】
微細な構造が光学系が形成する像では認識できるにも拘らず撮像素子を通すと認識できなくなることを防止するために、撮像素子１１５のＭＴＦの遮断周波数が顕微鏡光学系の遮断周波数以上である条件は、次式で表すことができる。
【００３１】
【数６】
【００３２】
一方、撮像素子１１５の画素ピッチｐまたは開口部１１７の長さａを縮小すると、飽和電荷容量と感度が低下するためにノイズが相対的に増大し、Ｓ／Ｎ比が低下する。飽和電荷容量は、撮像素子１１５のフォトディテクタの面積によって決定されるため、Ｓ／Ｎ比の低下を防止するにはフォトディテクタの面積を縮小せずに遮光膜１１６を広げ、顕微鏡の照明光の強度を上げることが考えられる。しかし、照明光の強度には上限があるため、開口部１１７の長さには下限値を設定する必要がある。
【００３３】
例えば、撮像素子１１５の単位時間・単位面積当たりの光量の上限値をＷ［光子数／秒／μｍ２］、電子数に換算した撮像素子１１５のノイズの分散をＶ［電子数］、Ｓ／Ｎ比の下限値をＲ［ｄＢ］、露出時間をＴ［秒］、量子効率をηと仮定する。
【００３４】
なお、Ｗ、Ｖ、ηは撮像装置の部品の仕様として予め決定されており、Ｒ、Ｔは撮像装置の目標仕様に基づき設計時に決められる値である。これらを踏まえ、開口部１１５の長さａが満たすべき条件は以下で表すことができる。
【００３５】
【数７】
【００３６】
数式７を変形すると数式８が得られる。
【００３７】
【数８】
【００３８】
数式６と８から次式が得られる。
【００３９】
【数９】
【００４０】
超解像を行わない場合は、撮像素子１１５の画素ピッチを縮小することで解像度を上げることができるが、画素間の信号の漏れ出し（クロストーク）の増大が避けられず、また、撮像素子の作製技術（プロセスルール）の進歩を待たねばならない。これに対して、本実施例は画素ピッチを縮小しないため、クロストークを増大させることなく現在のプロセスルールを用いて作製できる撮像素子１１５によって解像度を上げることができる。
【００４１】
また、超解像を行うとモアレ縞が抑制される。モアレ縞は、一般にナイキスト周波数と呼ばれる画素ピッチの逆数の１／２よりもＭＴＦが０になる最小の周波数（遮断周波数）が小さければ発生しない。ｐを画素ピッチ、Ｍを結像倍率、λを照明光の波長、ＮＡを対物レンズの開口数、σを照明光学系１１２のコヒーレンスファクタ、Ｎを１回の撮像における１方向の画素数に対する高解像度画像の１方向の解像度の比とすると、この条件は次式で表すことができる。なお、画素が正方形形状でなければｐは画素ピッチの最大値となる。
【００４２】
【数１０】
【００４３】
また、数式８のａをｐに置き換え数式１０と組み合わせると、次式が得られる。
【００４４】
【数１１】
【００４５】
撮像素子１１５から出力されたアナログ電気信号は不図示のＡ／Ｄ変換部によってデジタル信号に変換されて画像処理部１４０に入力される。
【００４６】
ＰＣ１２０は、予め設定されているプログラムに従って制御部１３０に駆動部１１１の駆動を制御するように命令したり、制御部１３０を介して撮像素子１１５の撮像タイミングを制御する制御手段である。表示部１２２はディスプレイなどからなり、入力部１２４はキーボードやポインティングデバイスなどから構成される。
【００４７】
画像処理部１４０は光学像と撮像素子の一方が他方に対して移動されるたびに撮像部によって撮像された画像信号を取得し、複数の位置において複数回に撮像された画像信号を統合して各画像信号よりも高解像度の画像信号を生成する。また、画像処理部１４０は表示や保存に必要な様々な処理を行う。画像処理部１４０で生成された画像データはＰＣ１２０に伝送され、表示部１２２に表示される。メモリ１５０は、画像処理部１４０が処理した画像を保存する。画像処理部１４０およびメモリ１５０はＰＣ１２０の内部に設けられてもよいし、顕微鏡本体１１０の内部に設けられてもよい。
【００４８】
動作において、ＰＣ１２０は、予め設定されているプログラムに従って制御部１３０に駆動部１１１の駆動を制御するように命令する。これにより、駆動部１１１は、撮像素子１１５の撮像面における光学像と各画素の開口部の位置を変化させる。解像度をＮ倍にする場合について説明する。
【００４９】
図２は、Ｎ＝４として４回撮像を行う例を説明するための平面図であり、ここでは、駆動部１１１は撮像素子ステージ１１８に設けられて２×２画素の領域からなる撮像素子１１５をＸＹ方向に移動させている。図２において、直交座標軸であるＸＹ方向が図示のごとく設定されており、Ｘ方向は水平方向であり、Ｙ方向は垂直方向である。実線の正方形の領域は１画素の領域である。
【００５０】
図２（ａ）は、駆動部１１１が撮像素子ステージ１１８を駆動する前の状態を示しており、ハッチングされた領域は撮像素子１１５の２×２画素の領域を示している。４つの開口部１１７の下に設けられた不図示のフォトディテクタからの出力信号はＡ１、Ｂ１、Ｃ１、Ｄ１として区別されている。点線で示した領域は顕微鏡光学系が撮像素子１１５の撮像面に形成した光学像ＯＩの領域である。図２（ａ）では、撮像素子１１５の領域と光学像ＯＩとがぴったりと重なっており、両者は同じ広さの領域となっている。
【００５１】
図２（ｂ）は、駆動部１１１が撮像素子ステージ１１８をＸ方向に駆動した状態を示しており、光学像ＯＩの位置は変化せず、撮像素子１１５の領域は光学像ＯＩに対して＋Ｘ方向に画素ピッチｐの１／２（＝ｐ／２）だけずれている。４つの開口部１１７の下に設けられた不図示のフォトディテクタからの出力信号はＡ２、Ｂ２、Ｃ２、Ｄ２として区別されている。
【００５２】
図２（ｃ）は、駆動部１１１が撮像素子ステージ１１８をＸＹ方向に駆動した状態を示しており、光学像ＯＩの位置は変化せず、撮像素子１１５の領域は光学像ＯＩに対して＋Ｘ方向と＋Ｙ方向にそれぞれ画素ピッチｐの１／２だけずれている。４つの開口部１１７の下に設けられた不図示のフォトディテクタからの出力信号はＡ３、Ｂ３、Ｃ３、Ｄ３として区別されている。
【００５３】
図２（ｄ）は、駆動部１１１が撮像素子ステージ１１８をＹ方向に駆動した状態を示しており、光学像ＯＩの位置は変化せず、撮像素子１１５の領域は光学像ＯＩに対して＋Ｙ方向に画素ピッチｐの１／２だけずれている。４つの開口部１１７の下に設けられた不図示のフォトディテクタからの出力信号はＡ４、Ｂ４、Ｃ４、Ｄ４として区別されている。
【００５４】
図２（ｅ）は、画像処理部１４０が２×２画素から生成した４×４の解像度の画像を示している。Ａ１〜Ｄ４は図２（ａ）〜図２（ｄ）で得られた出力信号（複数の画像信号）である。このように撮像素子を用いてサブ画素ピッチで撮像素子と光学像の一方の位置を他方に対してシフトして複数回撮像した後に統合処理を行うことによって高解像度の画像を得ることができる。また、この時に、数式６に従うように小さくした開口部１１７を使用することによってコントラストや精鋭度の低下を防止することができる。
【００５５】
撮像素子１１５が１つしかない場合には、上述したように、画素ピッチｐの１／２だけ微動させて画像を４回撮像し、得られた４枚の画像を統合して解像度が４倍の画像を得ることができる。撮像素子１１５が間隔を置いて複数配置されている場合には、撮像素子間の空隙の領域の画像を取得するために画素ピッチの１／２だけ撮像素子１１５を微動させ画像を４回撮像する。こうして得られた全ての画像を統合することで、解像度が１回撮像の場合の４倍の画像を得ることができる。なお、撮像素子の微動と撮像の繰り返し回数は４回に限定されない。
【００５６】
なお、図２と同様の効果は、駆動部１１１が結像光学系１１４に設けた光路を変更する光学素子を駆動する場合でも得ることができる。
【００５７】
図３（ａ）は、４回撮像の場合に駆動部１１１を撮像素子ステージ１１８を回転する手段として構成した場合の例を示す図である。各撮像時の駆動部１１１による回転角は９０度となっている。
【００５８】
図３（ｂ）は、４回撮像の場合に駆動部１１１を標本ステージ１１３をＸＹ方向に駆動する手段として構成した場合の例を示す図である。各撮像時の駆動部１１１によるシフト量は画素ピッチの１／２となっている。
【００５９】
図３（ａ）と図３（ｂ）においても図２と同様に、コントラストや精鋭度の低下を防止した状態で高解像度の画像を得ることができる。
【００６０】
撮像回数は４回に限定されない。例えば、図３（ｃ）は駆動部１１１を図２と同様に構成した場合において９倍の解像度（Ｎ＝９）を得るための９回撮像の例を示している。各撮像時の駆動部１１１によるシフト量は画素ピッチの１／３となっている。
【００６１】
一般に、撮像回数がＮ回の場合の各撮像時の駆動部１１１によるシフト量は画素ピッチの１／√Ｎとなる。また、超解像のための動作を行うか否かや動作方法については、観察者が撮像の度に毎回選択してもよいし、あらかじめＰＣ１２０に保存されている設定に従ってもよい。更に、画素や開口部が正方形形状ではない場合等、Ｎは画像の縦方向と横方向とで異なってもよい。
【実施例１】
【００６２】
図２の例において、結像光学系１１４の結像倍率が６倍、対物レンズのＮＡが０．７５、照明のコヒーレンスファクタが０．７、照明光の波長が４００ｎｍである場合に数式６の等号が成立するａの値は１．８８［μｍ］である。なお、画素および受光部は正方形を仮定している。
【００６３】
また、数式８において、Ｖを１０［電子数］、Ｒを１０［ｄＢ］、Ｗを２００［光子数／秒／μｍ２］、Ｔを０．１秒、ηを０．５としたときに等号が成立するａの値は１．７８［μｍ］である。
【００６４】
撮像素子１１５の画素ピッチｐを３μｍとし、開口部１１７の１辺の長さａが２．７μｍ（開口率８１％）と１．８８μｍ（開口率３９％）の２通りを考える。
【００６５】
図４は、画素ピッチｐが３μｍの場合の撮像素子１１５のＭＴＦを示すグラフであり、横軸は空間周波数［本／ｍｍ］、縦軸が撮像素子１１５のＭＴＦである。なお、このＭＴＦは超解像とは無関係に、画素の開口部の１辺の長さａと空間周波数ξから数式５によって決定される。
【００６６】
開口率を８１％から３９％にすることで１．０μｍ周期に対応する１０００本／ｍｍでのＭＴＦは０．７０から０．８５に向上している。同様に、０．３３μｍ周期に対応する３０００本／ｍｍでのＭＴＦは開口率８１％では０．０６、開口率３９％では０．３０である。このことから、０．３３μｍ周期の格子パターンは開口率８１％ではほぼ消失してしまうのに対し、開口率３９％では消失せず解像することが予測できる。
【００６７】
次に、前記条件で１．０μｍ周期で０．５μｍ幅の５本バーチャートを用いたシミュレーション結果を示す。まず、光学像のコントラストを算出し、次に撮像素子１１５の出力を計算したうえでコントラストを算出する。
【００６８】
ここで、撮像素子１１５の各画素の開口率は３９％と８１％の２種類、画素ピッチｐの１／２だけずらした４回撮像（超解像）を行うか否かの２通りについて計算した。コントラストＣの定義は、５本のうち中央の３本のバーの中心を結ぶ線分上の光学像の最大値Ｉｍａｘと最小値Ｉｍｉｎとを用いて次式で表される。
【００６９】
【数１２】
【００７０】
図５は超解像を行わない場合のシミュレーション結果、図６は超解像を行った場合のシミュレーション結果をそれぞれ示しており、それぞれ横軸は５本バーチャートの位置を表し、縦軸は光強度を表している。
【００７１】
図５および図６では、破線は光学像、点線は開口率８１％、実線は開口率３９％の場合の撮像素子の出力を示している。図５に比べ図６の方が、撮像素子１１５の出力が光学像に明確に近づいており、かつ開口率３９％の方が開口率８１％の場合よりも良好である。
【００７２】
これらのデータに対し数式１２のコントラストを計算した結果を表１に示す。
【００７３】
【表１】
【００７４】
超解像を行い、かつ開口率が数式６を満たすように縮小することで、光学像に近いコントラストが得られる。例えば４回撮像で開口率を８１％から３９％に下げることで、コントラストが２５％向上していることが表１から分かる。
【００７５】
現在一般的なデジタル顕微鏡の解像力は０．５μｍに設定されていることが多いが、これは一般的な細胞内部の小器官の最小サイズが０．５μｍであるためである。この０．５μｍは空間周波数に換算すると１０００本／ｍｍであるが、図４に示すように１０００本／ｍｍでＭＴＦが０．９を超えるためにはａの値が画素ピッチｐの１／２未満（開口率２５％未満）である必要がある。
【００７６】
ここで、撮像素子１１５のフォトディテクタを現実的な値として画素の面積の５０％とする。このとき、飽和電荷容量を維持しながら開口率を２５％未満にするためには、開口部１１７のフォトディテクタに対する面積比は０．５未満でなければならない。
【実施例２】
【００７７】
撮像素子の画素以外は実施例１と同じ条件とする。画素ピッチの１／２だけずらして画像を４回撮像する場合は数式１０のＮ＝２に相当し、その場合に数式１０で等号が成立するｐの値は１．８８μｍである。
【００７８】
開口率を８１％または３９％とし、０．４μｍ周期で０．２μｍ幅の５本バーチャートを用いたシミュレーションを、ｐを下回る画素ピッチ１．５μｍとｐを上回る画素ピッチ３．０μｍの２通りで行った。
【００７９】
図７に示すシミュレーション結果は、破線が光学像、点線が画素ピッチ３．０μｍ、実線が画素ピッチ１．５μｍの場合の撮像素子の出力を示しており、横軸は５本バーチャートの位置を表し、縦軸は光強度を表している。画素ピッチ３．０μｍでは５本のバーを識別することは不可能であるのに対し、画素ピッチ１．５μｍでは５本のバーを識別することができる。
【００８０】
表２に対応するコントラスト値を示す。
【００８１】
【表２】
【００８２】
表２において、数式９と数式１１を共に満足するコントラスト値は０．１０６、数式９を満足するが数式１１は満足しないコントラスト値は０．０３５である。また、数式９を満足しないが数式１１は満足するコントラスト値は０．０７５、数式９と数式１１を共に満足しないコントラスト値は０．００６である。
【００８３】
数式１０を満たさない、換言するとモアレ縞が発生する条件の画素ピッチ３．０μｍを適用すると、５本バーチャートと異なる偽パターンが発生し識別できない結果になっている。一方、数式１０を満たす画素ピッチ１．５μｍを適用すると偽パターンは発生せず、５本バーチャートであることが識別できる。
【００８４】
また、開口率を８１％から３９％に下げることでコントラストが４２％向上しており、０．５μｍ幅のバーチャートを用いた実施例１よりも効果が増大していることが表２から分かる。このようにパターンの大きさが解像限界に近づくほど、開口率を下げる効果は増大する。
【実施例３】
【００８５】
実施例３は、図１のＰＣ１２０が顕微鏡本体１１０の結像倍率、対物レンズの開口数、照明のコヒーレンスファクタのうち決定されていないパラメータを自動的に決定し、制御部１３０を介して設定する。
【００８６】
画素の開口部１１７のサイズが予め決定されている場合には、数式６を満たすようにパラメータを決定する。例えば、開口部１１７のサイズが１．８８μｍ、結像倍率が６倍、対物レンズのＮＡが０．７５、照明光の波長が４００ｎｍである場合に照明光学系１１２のコヒーレンスファクタσを決定する場合を考える。数式６にパラメータを代入すると、コヒーレンスファクタσは０．７以下となる。撮像時間の短縮のために照明光の強度を最大にしたい場合はσ＝０．７が解となる。
【００８７】
同様に、画素ピッチｐが予め決定されている場合は数式１０を満たすようにパラメータを決定する。例えば、画素ピッチｐが４μｍ、結像倍率が６倍、対物レンズのＮＡが０．７５、照明光の波長が４００ｎｍである場合にコヒーレンスファクタσを決定する場合を考える。数式１０にパラメータを代入すると、照明のコヒーレンスファクタσは０．６以下となる。撮像時間の短縮のために照明光の強度を最大にしたい場合はσ＝０．６が解となる。このように数式６または１０以外の条件を加えるかパラメータの選択肢を限定しておくことによって、一意にパラメータを決定することができる。
【実施例４】
【００８８】
制御部１３０は駆動部１１１の動作と同期して照明光が瞬間的に標本に放射されるように不図示の照明装置または照明光学系１１２の絞りの動作を制御する。これにより、駆動動作に起因する振動が十分に減衰した状態で撮像を行うことができ、コントラストや精鋭度の低下を防止することができる。
【実施例５】
【００８９】
実施例５は、取得した画像を図１の表示部１２２に表示し、その後観察者が入力部１２４からより高解像度の画像取得を指示した場合には、再度駆動と撮像を繰り返し、より高解像度の画像を表示部１２２に表示する。装置の制約上取得できる解像度の限界に達するまでは、この動作は繰り返すことが可能である。この動作により、観察者にとって必要な解像度の画像が対話的に取得することができる。また、高解像度の画像の再取得を観察者が判断する代わりに、ＰＣ１２０が備える公知の自動判定アルゴリズムによって取得画像を解析し、予め指定された条件を満たさなければ再取得動作を自動的に開始することも可能である。
【００９０】
以上、本実施形態について説明したが、本発明は本実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【産業上の利用可能性】
【００９１】
本発明の撮像装置のデジタル顕微鏡の用途に適用することができる。
【符号の説明】
【００９２】
１１２ 照明光学系
１１４ 結像光学系
１１５ 撮像素子
１１７ 開口部
１４０ 画像処理部（画像処理手段）
【技術分野】
【０００１】
本発明は、撮像素子を備えた顕微鏡（「デジタル顕微鏡」と呼ぶ場合もある）としての撮像装置に関する。
【背景技術】
【０００２】
デジタル顕微鏡は、病理診断などの分野に適用され、その解像力は、光学顕微鏡部の解像力と撮像素子の解像力の両方に依存する。特許文献１は、光学像と撮像素子の相対位置を変化させて複数回撮像し、高解像度の画像を出力し、取得画像の解像度を撮像素子の画素数よりも上げる方法（超解像技術）を開示している。その他の従来技術としては、非特許文献１がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−３０６４９２号公報
【非特許文献】
【０００４】
【非特許文献１】オファー・ヘイダー（Ofer Hadar）、グレン・ディー・ボアマン（Glenn D. Boreman）著、「オーバーサンプリング・レクワイアメンツ・フォー・ピクセレーティッドイメージャー・システムズ（Oversampling requirements for pixelated-imager systems）」、オプティカル・エンジニアリング（Optical Engineering）、１９９９年第３８号、ｐ．７８２−７８５
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、本発明者は特許文献１の方法では、コントラストや鮮鋭度が低下して、微細構造が認識できなくなるおそれがあることを発見した。
【０００６】
そこで、本発明は、高い解像度を確保しつつ、コントラストおよび精鋭度の低下を防止することが可能な撮像装置を提供することを例示的な目的とする。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、顕微鏡光学系によって形成された標本の光学像を光電変換する撮像素子と、前記光学像と前記撮像素子の一方が他方に対して移動した後に前記撮像素子から画像信号を取得し、複数回の撮像によって取得した複数の画像信号を統合して各画像信号よりも高解像度の画像信号を生成する画像処理手段と、を有し、次式を満足することを特徴とする。
【０００８】
【数３】
【０００９】
【数４】
【００１０】
ここで、ａは前記撮像素子の各画素の開口部の１辺の長さの最大値、Ｒは撮像素子のＳ／Ｎ比、Ｖはノイズの分散、Ｗは単位時間および面積当たりの光量、Ｔは露出時間、ηは量子効率、Ｍは前記顕微鏡光学系の結像光学系の結像倍率、λは前記顕微鏡光学系において前記標本を照明する照明光の波長、ＮＡは前記顕微鏡光学系の対物レンズの開口数、σは前記顕微鏡光学系において前記標本を照明する照明光学系のコヒーレンスファクタを表し、ｐは画素ピッチの最大値、Ｎは１回の撮像における１方向の画素数に対する前記高解像度の画像信号の１方向の解像度の比を表す。
【発明の効果】
【００１１】
本発明によれば、高い解像度を確保しつつ、コントラストおよび精鋭度の低下を防止することが可能な撮像装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本実施例の撮像装置のブロック図である。
【図２】図１に示す撮像装置の動作を説明するための図である。
【図３】図１に示す撮像装置の動作を説明するための図である。
【図４】空間周波数と、開口率が異なる撮像素子のＭＴＦとの関係を示すグラフである。
【図５】超解像を行わない場合のシミュレーション結果を示すグラフである。
【図６】数式６の効果を説明するための超解像を行った場合のシミュレーション結果を示すグラフである。
【図７】数式１０の効果を説明するための超解像を行った場合のシミュレーション結果を示すグラフである。
【発明を実施するための形態】
【００１３】
図１は、本実施例の撮像装置（デジタル顕微鏡）のブロック図である。
【００１４】
撮像装置は、図１に示すように、顕微鏡本体１１０、パーソナルコンピュータ（ＰＣ）１２０、表示部（表示手段）１２２、入力部（入力手段）１２４、制御部１３０、画像処理部（画像処理手段）１４０、メモリ１５０を有する。
【００１５】
顕微鏡本体１１０は、顕微鏡光学系によって標本（試料）の光学像を形成して観察可能にすると共に撮像素子１１５によってその撮像面に光学像を形成して撮像可能に構成されている。
【００１６】
顕微鏡本体１１０は、駆動部１１１、照明光学系１１２、標本ステージ１１３、結像光学系１１４、撮像素子１１５、撮像素子ステージ１１８を有する。照明光学系１１２〜結像光学系１１４は顕微鏡光学系を構成し、照明光学系１１２〜撮像素子ステージ１１８は撮像部を構成する。
【００１７】
駆動部１１１は、撮像素子１１５の撮像面における光学像と各画素の開口部の一方を他方に対して移動させる移動手段として機能すれば、その構成は限定されない。例えば、駆動部１１１は、撮像素子ステージ１１８に設けられて撮像素子１１５の、顕微鏡光学系の光軸に垂直な方向の位置を変化させるアクチュエータとして構成されてもよい。この場合、移動方向は、顕微鏡光学系の光軸に垂直な平面に設定された直交座標系におけるＸＹ方向であってもよいし、当該平面において設定された基準軸からの回転角であってもよい。また、顕微鏡光学系の光軸に垂直な成分があれば移動方向は光軸に斜めの方向であってもよい。
【００１８】
あるいは、結像光学系１１４に光路を変化させる光学素子（例えば、結像光学系１１４の瞳位置に設置されたプリズム）を設け、駆動部１１１は、当該光学素子を変化させるアクチュエータとして構成されてもよい。更に、駆動部１１１は、標本ステージ１１３に設けられて標本ステージ１１３の顕微鏡光学系の光軸に垂直な位置を変化させるアクチュエータとして構成されてもよい。
【００１９】
駆動部１１１の駆動により、画素ピッチ以下の距離だけ位置が変化した画像を複数回撮像して取得画像の解像度を撮像素子の画素数よりも向上する超解像を実現することができる。
【００２０】
不図示の光源から発せられた照明光は照明光学系１１２を介して標本ステージ１１３上の不図示の標本を照明し、標本からの透過光が結像光学系１１４によって撮像素子１１５の撮像面に光学像として結像される。なお、顕微鏡光学系は標本が上方から照明され、その反射光を結像する落射照明方式を使用してもよい。
【００２１】
撮像素子１１５は顕微鏡光学系が形成した光学像を光電変換してアナログ電気信号に変換する。撮像素子１１５は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのイメージセンサ（エリアセンサ）を使用することができる。
【００２２】
図１には、撮像素子１１５の２×２画素の構成を拡大した平面図が示されている。一般に、撮像素子１１５の各画素は、光路に沿って物体側から順に、不図示のマイクロレンズ、不図示のカラーフィルタ、遮光膜１１６、開口部１１７、開口部１１７の下に配置されて光電変換を行う不図示のフォトディテクタ（光電変換素子）を有する。開口部１１７は、遮光膜に設けられてフォトディテクタが受光することを可能にする。
【００２３】
撮像素子１１５の画素面積において開口部１１７の面積が占める割合は開口率と呼ばれ、撮像素子１１５の飽和電荷容量と感度を向上するために通常は開口率は可能な最大値に設定されている。
【００２４】
一方、撮像素子１１５のＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）は開口部の面積が大きくなると高周波領域で低下する。このため、画素ピッチｐを一定として開口率を増大すると、画像の高周波成分が劣化して微細構造を識別するために必要なコントラストや精鋭度が低下する。なお、ここで、画素ピッチｐを撮像素子１１５の各画素の中心点間の距離と定義し、１画素の面積は画素ピッチｐの２乗であるとする。
【００２５】
超解像を開口率が大きい状態で行うと、撮像素子１１５によって微細構造の情報が消失した状態で解像度が増えることになり、微細構造の再現性が低下する（微細構造の一部が認識できなくなる）。
【００２６】
そこで、本実施例では、撮像素子１１５のＭＴＦの遮断周波数（ＭＴＦが０になる最小の周波数）が顕微鏡光学系の遮断周波数以上となるように開口率を決定している。この条件は、顕微鏡光学系が伝達しうる標本の最小の構造を撮像素子が消失させないことを意味する。
【００２７】
以下では、画素および開口部１１７の形状を正方形と仮定した上でこの条件を数式で表しているが、実用上は正方形に限定される必要はない。まず、撮像素子１１５の１次元のＭＴＦは次式で表すことができる。
【００２８】
【数５】
【００２９】
ＭＴＦが０になる遮断周波数は１／ａであり、ａ［μｍ］は画素の開口部１１７の１辺の長さを表す（正方形でなければ１辺の長さの最大値を表す）。また、顕微鏡光学系の遮断周波数はＮＡ（１＋σ）／Ｍλと表すことができる。ここで、ＮＡは結像光学系１１４に含まれる対物レンズの開口数、σは照明光学系１１２のコヒーレンスファクタ、Ｍは結像光学系１１４の結像倍率、λ［μｍ］は照明光の波長を表す。
【００３０】
微細な構造が光学系が形成する像では認識できるにも拘らず撮像素子を通すと認識できなくなることを防止するために、撮像素子１１５のＭＴＦの遮断周波数が顕微鏡光学系の遮断周波数以上である条件は、次式で表すことができる。
【００３１】
【数６】
【００３２】
一方、撮像素子１１５の画素ピッチｐまたは開口部１１７の長さａを縮小すると、飽和電荷容量と感度が低下するためにノイズが相対的に増大し、Ｓ／Ｎ比が低下する。飽和電荷容量は、撮像素子１１５のフォトディテクタの面積によって決定されるため、Ｓ／Ｎ比の低下を防止するにはフォトディテクタの面積を縮小せずに遮光膜１１６を広げ、顕微鏡の照明光の強度を上げることが考えられる。しかし、照明光の強度には上限があるため、開口部１１７の長さには下限値を設定する必要がある。
【００３３】
例えば、撮像素子１１５の単位時間・単位面積当たりの光量の上限値をＷ［光子数／秒／μｍ２］、電子数に換算した撮像素子１１５のノイズの分散をＶ［電子数］、Ｓ／Ｎ比の下限値をＲ［ｄＢ］、露出時間をＴ［秒］、量子効率をηと仮定する。
【００３４】
なお、Ｗ、Ｖ、ηは撮像装置の部品の仕様として予め決定されており、Ｒ、Ｔは撮像装置の目標仕様に基づき設計時に決められる値である。これらを踏まえ、開口部１１５の長さａが満たすべき条件は以下で表すことができる。
【００３５】
【数７】
【００３６】
数式７を変形すると数式８が得られる。
【００３７】
【数８】
【００３８】
数式６と８から次式が得られる。
【００３９】
【数９】
【００４０】
超解像を行わない場合は、撮像素子１１５の画素ピッチを縮小することで解像度を上げることができるが、画素間の信号の漏れ出し（クロストーク）の増大が避けられず、また、撮像素子の作製技術（プロセスルール）の進歩を待たねばならない。これに対して、本実施例は画素ピッチを縮小しないため、クロストークを増大させることなく現在のプロセスルールを用いて作製できる撮像素子１１５によって解像度を上げることができる。
【００４１】
また、超解像を行うとモアレ縞が抑制される。モアレ縞は、一般にナイキスト周波数と呼ばれる画素ピッチの逆数の１／２よりもＭＴＦが０になる最小の周波数（遮断周波数）が小さければ発生しない。ｐを画素ピッチ、Ｍを結像倍率、λを照明光の波長、ＮＡを対物レンズの開口数、σを照明光学系１１２のコヒーレンスファクタ、Ｎを１回の撮像における１方向の画素数に対する高解像度画像の１方向の解像度の比とすると、この条件は次式で表すことができる。なお、画素が正方形形状でなければｐは画素ピッチの最大値となる。
【００４２】
【数１０】
【００４３】
また、数式８のａをｐに置き換え数式１０と組み合わせると、次式が得られる。
【００４４】
【数１１】
【００４５】
撮像素子１１５から出力されたアナログ電気信号は不図示のＡ／Ｄ変換部によってデジタル信号に変換されて画像処理部１４０に入力される。
【００４６】
ＰＣ１２０は、予め設定されているプログラムに従って制御部１３０に駆動部１１１の駆動を制御するように命令したり、制御部１３０を介して撮像素子１１５の撮像タイミングを制御する制御手段である。表示部１２２はディスプレイなどからなり、入力部１２４はキーボードやポインティングデバイスなどから構成される。
【００４７】
画像処理部１４０は光学像と撮像素子の一方が他方に対して移動されるたびに撮像部によって撮像された画像信号を取得し、複数の位置において複数回に撮像された画像信号を統合して各画像信号よりも高解像度の画像信号を生成する。また、画像処理部１４０は表示や保存に必要な様々な処理を行う。画像処理部１４０で生成された画像データはＰＣ１２０に伝送され、表示部１２２に表示される。メモリ１５０は、画像処理部１４０が処理した画像を保存する。画像処理部１４０およびメモリ１５０はＰＣ１２０の内部に設けられてもよいし、顕微鏡本体１１０の内部に設けられてもよい。
【００４８】
動作において、ＰＣ１２０は、予め設定されているプログラムに従って制御部１３０に駆動部１１１の駆動を制御するように命令する。これにより、駆動部１１１は、撮像素子１１５の撮像面における光学像と各画素の開口部の位置を変化させる。解像度をＮ倍にする場合について説明する。
【００４９】
図２は、Ｎ＝４として４回撮像を行う例を説明するための平面図であり、ここでは、駆動部１１１は撮像素子ステージ１１８に設けられて２×２画素の領域からなる撮像素子１１５をＸＹ方向に移動させている。図２において、直交座標軸であるＸＹ方向が図示のごとく設定されており、Ｘ方向は水平方向であり、Ｙ方向は垂直方向である。実線の正方形の領域は１画素の領域である。
【００５０】
図２（ａ）は、駆動部１１１が撮像素子ステージ１１８を駆動する前の状態を示しており、ハッチングされた領域は撮像素子１１５の２×２画素の領域を示している。４つの開口部１１７の下に設けられた不図示のフォトディテクタからの出力信号はＡ１、Ｂ１、Ｃ１、Ｄ１として区別されている。点線で示した領域は顕微鏡光学系が撮像素子１１５の撮像面に形成した光学像ＯＩの領域である。図２（ａ）では、撮像素子１１５の領域と光学像ＯＩとがぴったりと重なっており、両者は同じ広さの領域となっている。
【００５１】
図２（ｂ）は、駆動部１１１が撮像素子ステージ１１８をＸ方向に駆動した状態を示しており、光学像ＯＩの位置は変化せず、撮像素子１１５の領域は光学像ＯＩに対して＋Ｘ方向に画素ピッチｐの１／２（＝ｐ／２）だけずれている。４つの開口部１１７の下に設けられた不図示のフォトディテクタからの出力信号はＡ２、Ｂ２、Ｃ２、Ｄ２として区別されている。
【００５２】
図２（ｃ）は、駆動部１１１が撮像素子ステージ１１８をＸＹ方向に駆動した状態を示しており、光学像ＯＩの位置は変化せず、撮像素子１１５の領域は光学像ＯＩに対して＋Ｘ方向と＋Ｙ方向にそれぞれ画素ピッチｐの１／２だけずれている。４つの開口部１１７の下に設けられた不図示のフォトディテクタからの出力信号はＡ３、Ｂ３、Ｃ３、Ｄ３として区別されている。
【００５３】
図２（ｄ）は、駆動部１１１が撮像素子ステージ１１８をＹ方向に駆動した状態を示しており、光学像ＯＩの位置は変化せず、撮像素子１１５の領域は光学像ＯＩに対して＋Ｙ方向に画素ピッチｐの１／２だけずれている。４つの開口部１１７の下に設けられた不図示のフォトディテクタからの出力信号はＡ４、Ｂ４、Ｃ４、Ｄ４として区別されている。
【００５４】
図２（ｅ）は、画像処理部１４０が２×２画素から生成した４×４の解像度の画像を示している。Ａ１〜Ｄ４は図２（ａ）〜図２（ｄ）で得られた出力信号（複数の画像信号）である。このように撮像素子を用いてサブ画素ピッチで撮像素子と光学像の一方の位置を他方に対してシフトして複数回撮像した後に統合処理を行うことによって高解像度の画像を得ることができる。また、この時に、数式６に従うように小さくした開口部１１７を使用することによってコントラストや精鋭度の低下を防止することができる。
【００５５】
撮像素子１１５が１つしかない場合には、上述したように、画素ピッチｐの１／２だけ微動させて画像を４回撮像し、得られた４枚の画像を統合して解像度が４倍の画像を得ることができる。撮像素子１１５が間隔を置いて複数配置されている場合には、撮像素子間の空隙の領域の画像を取得するために画素ピッチの１／２だけ撮像素子１１５を微動させ画像を４回撮像する。こうして得られた全ての画像を統合することで、解像度が１回撮像の場合の４倍の画像を得ることができる。なお、撮像素子の微動と撮像の繰り返し回数は４回に限定されない。
【００５６】
なお、図２と同様の効果は、駆動部１１１が結像光学系１１４に設けた光路を変更する光学素子を駆動する場合でも得ることができる。
【００５７】
図３（ａ）は、４回撮像の場合に駆動部１１１を撮像素子ステージ１１８を回転する手段として構成した場合の例を示す図である。各撮像時の駆動部１１１による回転角は９０度となっている。
【００５８】
図３（ｂ）は、４回撮像の場合に駆動部１１１を標本ステージ１１３をＸＹ方向に駆動する手段として構成した場合の例を示す図である。各撮像時の駆動部１１１によるシフト量は画素ピッチの１／２となっている。
【００５９】
図３（ａ）と図３（ｂ）においても図２と同様に、コントラストや精鋭度の低下を防止した状態で高解像度の画像を得ることができる。
【００６０】
撮像回数は４回に限定されない。例えば、図３（ｃ）は駆動部１１１を図２と同様に構成した場合において９倍の解像度（Ｎ＝９）を得るための９回撮像の例を示している。各撮像時の駆動部１１１によるシフト量は画素ピッチの１／３となっている。
【００６１】
一般に、撮像回数がＮ回の場合の各撮像時の駆動部１１１によるシフト量は画素ピッチの１／√Ｎとなる。また、超解像のための動作を行うか否かや動作方法については、観察者が撮像の度に毎回選択してもよいし、あらかじめＰＣ１２０に保存されている設定に従ってもよい。更に、画素や開口部が正方形形状ではない場合等、Ｎは画像の縦方向と横方向とで異なってもよい。
【実施例１】
【００６２】
図２の例において、結像光学系１１４の結像倍率が６倍、対物レンズのＮＡが０．７５、照明のコヒーレンスファクタが０．７、照明光の波長が４００ｎｍである場合に数式６の等号が成立するａの値は１．８８［μｍ］である。なお、画素および受光部は正方形を仮定している。
【００６３】
また、数式８において、Ｖを１０［電子数］、Ｒを１０［ｄＢ］、Ｗを２００［光子数／秒／μｍ２］、Ｔを０．１秒、ηを０．５としたときに等号が成立するａの値は１．７８［μｍ］である。
【００６４】
撮像素子１１５の画素ピッチｐを３μｍとし、開口部１１７の１辺の長さａが２．７μｍ（開口率８１％）と１．８８μｍ（開口率３９％）の２通りを考える。
【００６５】
図４は、画素ピッチｐが３μｍの場合の撮像素子１１５のＭＴＦを示すグラフであり、横軸は空間周波数［本／ｍｍ］、縦軸が撮像素子１１５のＭＴＦである。なお、このＭＴＦは超解像とは無関係に、画素の開口部の１辺の長さａと空間周波数ξから数式５によって決定される。
【００６６】
開口率を８１％から３９％にすることで１．０μｍ周期に対応する１０００本／ｍｍでのＭＴＦは０．７０から０．８５に向上している。同様に、０．３３μｍ周期に対応する３０００本／ｍｍでのＭＴＦは開口率８１％では０．０６、開口率３９％では０．３０である。このことから、０．３３μｍ周期の格子パターンは開口率８１％ではほぼ消失してしまうのに対し、開口率３９％では消失せず解像することが予測できる。
【００６７】
次に、前記条件で１．０μｍ周期で０．５μｍ幅の５本バーチャートを用いたシミュレーション結果を示す。まず、光学像のコントラストを算出し、次に撮像素子１１５の出力を計算したうえでコントラストを算出する。
【００６８】
ここで、撮像素子１１５の各画素の開口率は３９％と８１％の２種類、画素ピッチｐの１／２だけずらした４回撮像（超解像）を行うか否かの２通りについて計算した。コントラストＣの定義は、５本のうち中央の３本のバーの中心を結ぶ線分上の光学像の最大値Ｉｍａｘと最小値Ｉｍｉｎとを用いて次式で表される。
【００６９】
【数１２】
【００７０】
図５は超解像を行わない場合のシミュレーション結果、図６は超解像を行った場合のシミュレーション結果をそれぞれ示しており、それぞれ横軸は５本バーチャートの位置を表し、縦軸は光強度を表している。
【００７１】
図５および図６では、破線は光学像、点線は開口率８１％、実線は開口率３９％の場合の撮像素子の出力を示している。図５に比べ図６の方が、撮像素子１１５の出力が光学像に明確に近づいており、かつ開口率３９％の方が開口率８１％の場合よりも良好である。
【００７２】
これらのデータに対し数式１２のコントラストを計算した結果を表１に示す。
【００７３】
【表１】
【００７４】
超解像を行い、かつ開口率が数式６を満たすように縮小することで、光学像に近いコントラストが得られる。例えば４回撮像で開口率を８１％から３９％に下げることで、コントラストが２５％向上していることが表１から分かる。
【００７５】
現在一般的なデジタル顕微鏡の解像力は０．５μｍに設定されていることが多いが、これは一般的な細胞内部の小器官の最小サイズが０．５μｍであるためである。この０．５μｍは空間周波数に換算すると１０００本／ｍｍであるが、図４に示すように１０００本／ｍｍでＭＴＦが０．９を超えるためにはａの値が画素ピッチｐの１／２未満（開口率２５％未満）である必要がある。
【００７６】
ここで、撮像素子１１５のフォトディテクタを現実的な値として画素の面積の５０％とする。このとき、飽和電荷容量を維持しながら開口率を２５％未満にするためには、開口部１１７のフォトディテクタに対する面積比は０．５未満でなければならない。
【実施例２】
【００７７】
撮像素子の画素以外は実施例１と同じ条件とする。画素ピッチの１／２だけずらして画像を４回撮像する場合は数式１０のＮ＝２に相当し、その場合に数式１０で等号が成立するｐの値は１．８８μｍである。
【００７８】
開口率を８１％または３９％とし、０．４μｍ周期で０．２μｍ幅の５本バーチャートを用いたシミュレーションを、ｐを下回る画素ピッチ１．５μｍとｐを上回る画素ピッチ３．０μｍの２通りで行った。
【００７９】
図７に示すシミュレーション結果は、破線が光学像、点線が画素ピッチ３．０μｍ、実線が画素ピッチ１．５μｍの場合の撮像素子の出力を示しており、横軸は５本バーチャートの位置を表し、縦軸は光強度を表している。画素ピッチ３．０μｍでは５本のバーを識別することは不可能であるのに対し、画素ピッチ１．５μｍでは５本のバーを識別することができる。
【００８０】
表２に対応するコントラスト値を示す。
【００８１】
【表２】
【００８２】
表２において、数式９と数式１１を共に満足するコントラスト値は０．１０６、数式９を満足するが数式１１は満足しないコントラスト値は０．０３５である。また、数式９を満足しないが数式１１は満足するコントラスト値は０．０７５、数式９と数式１１を共に満足しないコントラスト値は０．００６である。
【００８３】
数式１０を満たさない、換言するとモアレ縞が発生する条件の画素ピッチ３．０μｍを適用すると、５本バーチャートと異なる偽パターンが発生し識別できない結果になっている。一方、数式１０を満たす画素ピッチ１．５μｍを適用すると偽パターンは発生せず、５本バーチャートであることが識別できる。
【００８４】
また、開口率を８１％から３９％に下げることでコントラストが４２％向上しており、０．５μｍ幅のバーチャートを用いた実施例１よりも効果が増大していることが表２から分かる。このようにパターンの大きさが解像限界に近づくほど、開口率を下げる効果は増大する。
【実施例３】
【００８５】
実施例３は、図１のＰＣ１２０が顕微鏡本体１１０の結像倍率、対物レンズの開口数、照明のコヒーレンスファクタのうち決定されていないパラメータを自動的に決定し、制御部１３０を介して設定する。
【００８６】
画素の開口部１１７のサイズが予め決定されている場合には、数式６を満たすようにパラメータを決定する。例えば、開口部１１７のサイズが１．８８μｍ、結像倍率が６倍、対物レンズのＮＡが０．７５、照明光の波長が４００ｎｍである場合に照明光学系１１２のコヒーレンスファクタσを決定する場合を考える。数式６にパラメータを代入すると、コヒーレンスファクタσは０．７以下となる。撮像時間の短縮のために照明光の強度を最大にしたい場合はσ＝０．７が解となる。
【００８７】
同様に、画素ピッチｐが予め決定されている場合は数式１０を満たすようにパラメータを決定する。例えば、画素ピッチｐが４μｍ、結像倍率が６倍、対物レンズのＮＡが０．７５、照明光の波長が４００ｎｍである場合にコヒーレンスファクタσを決定する場合を考える。数式１０にパラメータを代入すると、照明のコヒーレンスファクタσは０．６以下となる。撮像時間の短縮のために照明光の強度を最大にしたい場合はσ＝０．６が解となる。このように数式６または１０以外の条件を加えるかパラメータの選択肢を限定しておくことによって、一意にパラメータを決定することができる。
【実施例４】
【００８８】
制御部１３０は駆動部１１１の動作と同期して照明光が瞬間的に標本に放射されるように不図示の照明装置または照明光学系１１２の絞りの動作を制御する。これにより、駆動動作に起因する振動が十分に減衰した状態で撮像を行うことができ、コントラストや精鋭度の低下を防止することができる。
【実施例５】
【００８９】
実施例５は、取得した画像を図１の表示部１２２に表示し、その後観察者が入力部１２４からより高解像度の画像取得を指示した場合には、再度駆動と撮像を繰り返し、より高解像度の画像を表示部１２２に表示する。装置の制約上取得できる解像度の限界に達するまでは、この動作は繰り返すことが可能である。この動作により、観察者にとって必要な解像度の画像が対話的に取得することができる。また、高解像度の画像の再取得を観察者が判断する代わりに、ＰＣ１２０が備える公知の自動判定アルゴリズムによって取得画像を解析し、予め指定された条件を満たさなければ再取得動作を自動的に開始することも可能である。
【００９０】
以上、本実施形態について説明したが、本発明は本実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【産業上の利用可能性】
【００９１】
本発明の撮像装置のデジタル顕微鏡の用途に適用することができる。
【符号の説明】
【００９２】
１１２ 照明光学系
１１４ 結像光学系
１１５ 撮像素子
１１７ 開口部
１４０ 画像処理部（画像処理手段）
【特許請求の範囲】
【請求項１】
顕微鏡光学系によって形成された標本の光学像を光電変換する撮像素子と、
前記光学像と前記撮像素子の一方が他方に対して移動した後に前記撮像素子から画像信号を取得し、複数回の撮像によって取得した複数の画像信号を統合して各画像信号よりも高解像度の画像信号を生成する画像処理手段と、
を有し、
次式を満足することを特徴とする撮像装置。
【数１】
【数２】
ここで、ａは前記撮像素子の各画素の開口部の１辺の長さの最大値、Ｒは撮像素子のＳ／Ｎ比、Ｖはノイズの分散、Ｗは単位時間および面積当たりの光量、Ｔは露出時間、ηは量子効率、Ｍは前記顕微鏡光学系の結像光学系の結像倍率、λは前記顕微鏡光学系において前記標本を照明する照明光の波長、ＮＡは前記顕微鏡光学系の対物レンズの開口数、σは前記顕微鏡光学系において前記標本を照明する照明光学系のコヒーレンスファクタを表し、ｐは画素ピッチの最大値、Ｎは１回の撮像における１方向の画素数に対する前記高解像度の画像信号の１方向の解像度の比を表す。
【請求項２】
前記コヒーレンスファクタ、前記開口数および前記結像倍率のいずれかを自動的に決定する制御手段を更に有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記比が画像の縦方向と横方向とで異なることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記光学像と前記撮像素子の一方の移動と同期して照明光を瞬間的に前記標本に放射するように前記顕微鏡光学系を制御する制御手段を更に有することを特徴とする請求項１乃至３のうちいずれか一項に記載の撮像装置。
【請求項５】
前記光学像と前記撮像素子の一方の移動と前記撮像素子による撮像の回数を変更する入力を受け付ける入力手段を更に有することを特徴とする請求項１乃至４のうちいずれか一項に記載の撮像装置。
【請求項６】
前記撮像素子の各画素の開口部の１辺の長さの最大値が前記画素ピッチの１／２未満であることを特徴とする請求項１乃至５のうちいずれか一項に記載の撮像装置。
【請求項７】
前記撮像素子は光電変換を行うフォトディテクタと、前記フォトディテクタが前記標本からの光を受光することを可能にする前記開口部を有する遮光膜と、を有し、前記フォトディテクタの面積に対する前記開口部の面積の比が０．５未満であることを特徴とする請求項１乃至６のうちいずれか一項に記載の撮像装置。
【請求項１】
顕微鏡光学系によって形成された標本の光学像を光電変換する撮像素子と、
前記光学像と前記撮像素子の一方が他方に対して移動した後に前記撮像素子から画像信号を取得し、複数回の撮像によって取得した複数の画像信号を統合して各画像信号よりも高解像度の画像信号を生成する画像処理手段と、
を有し、
次式を満足することを特徴とする撮像装置。
【数１】
【数２】
ここで、ａは前記撮像素子の各画素の開口部の１辺の長さの最大値、Ｒは撮像素子のＳ／Ｎ比、Ｖはノイズの分散、Ｗは単位時間および面積当たりの光量、Ｔは露出時間、ηは量子効率、Ｍは前記顕微鏡光学系の結像光学系の結像倍率、λは前記顕微鏡光学系において前記標本を照明する照明光の波長、ＮＡは前記顕微鏡光学系の対物レンズの開口数、σは前記顕微鏡光学系において前記標本を照明する照明光学系のコヒーレンスファクタを表し、ｐは画素ピッチの最大値、Ｎは１回の撮像における１方向の画素数に対する前記高解像度の画像信号の１方向の解像度の比を表す。
【請求項２】
前記コヒーレンスファクタ、前記開口数および前記結像倍率のいずれかを自動的に決定する制御手段を更に有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記比が画像の縦方向と横方向とで異なることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記光学像と前記撮像素子の一方の移動と同期して照明光を瞬間的に前記標本に放射するように前記顕微鏡光学系を制御する制御手段を更に有することを特徴とする請求項１乃至３のうちいずれか一項に記載の撮像装置。
【請求項５】
前記光学像と前記撮像素子の一方の移動と前記撮像素子による撮像の回数を変更する入力を受け付ける入力手段を更に有することを特徴とする請求項１乃至４のうちいずれか一項に記載の撮像装置。
【請求項６】
前記撮像素子の各画素の開口部の１辺の長さの最大値が前記画素ピッチの１／２未満であることを特徴とする請求項１乃至５のうちいずれか一項に記載の撮像装置。
【請求項７】
前記撮像素子は光電変換を行うフォトディテクタと、前記フォトディテクタが前記標本からの光を受光することを可能にする前記開口部を有する遮光膜と、を有し、前記フォトディテクタの面積に対する前記開口部の面積の比が０．５未満であることを特徴とする請求項１乃至６のうちいずれか一項に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−１８１４０６（Ｐ２０１２−１８１４０６Ａ）
【公開日】平成２４年９月２０日（２０１２．９．２０）
【国際特許分類】
【出願番号】特願２０１１−４４８７６（Ｐ２０１１−４４８７６）
【出願日】平成２３年３月２日（２０１１．３．２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年９月２０日（２０１２．９．２０）
【国際特許分類】
【出願日】平成２３年３月２日（２０１１．３．２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]