画像取得装置
【課題】 焦点が伸張された観察画像を効率的に取得することが可能な画像取得装置を提供する。
【解決手段】 試料Sを載置する試料ステージ10と、2次元画像の取得及びTDI駆動が可能な撮像装置20と、対物レンズ32を含む撮像光学系30と、撮像装置20及び撮像光学系30によって試料Sを走査して観察画像を取得する走査部と、試料Sでの撮像の焦点が光軸方向に振動周波数fsで振動するように試料Sでの焦点の振動を制御する焦点振動制御装置40とによって画像取得装置1Aを構成する。また、焦点振動制御装置40は、撮像装置20におけるTDI駆動での撮像期間Tiの逆数1/Tiを基本周波数として、振動周波数fsが基本周波数のNs倍(Nsは1以上の整数)に略一致するように、振動周波数fsを設定する。
【解決手段】 試料Sを載置する試料ステージ10と、2次元画像の取得及びTDI駆動が可能な撮像装置20と、対物レンズ32を含む撮像光学系30と、撮像装置20及び撮像光学系30によって試料Sを走査して観察画像を取得する走査部と、試料Sでの撮像の焦点が光軸方向に振動周波数fsで振動するように試料Sでの焦点の振動を制御する焦点振動制御装置40とによって画像取得装置1Aを構成する。また、焦点振動制御装置40は、撮像装置20におけるTDI駆動での撮像期間Tiの逆数1/Tiを基本周波数として、振動周波数fsが基本周波数のNs倍(Nsは1以上の整数)に略一致するように、振動周波数fsを設定する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、試料の観察画像を取得するための画像取得装置に関するものである。
【背景技術】
【0002】
近年、病理学の分野などにおいて、パーソナルコンピュータ等の仮想空間上であたかも実際の顕微鏡で試料を見ているかのように操作可能なバーチャル顕微鏡が知られている。このバーチャル顕微鏡で扱われる試料データは、予め実際の顕微鏡を利用して高解像度で取得された試料の画像データに基づいている。
【0003】
このようにバーチャル顕微鏡で利用される試料の画像データ(バーチャルスライド)を取得する画像取得装置では、バーチャル顕微鏡での画像操作を実現するために、充分に高解像度で試料の画像を取得することが要求される。このような高解像度の画像取得には、例えば、撮像装置で試料を2次元に走査しながら撮像することによって、試料全体に対する観察画像を取得する方法が用いられている(例えば、特許文献1、2参照)。このように、試料を2次元に走査しながら画像を取得することで、試料全体の高解像度画像を短時間で取得することが容易となる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2007−233098号公報
【特許文献2】特開2008−51773号公報
【特許文献3】米国特許第7444014号公報
【特許文献4】特許第3191928号公報
【特許文献5】特表2004−507743号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記したような試料の観察画像の取得において、病理診断における病理サンプルは薄い切片であるが、細胞診などの場合にはそのサンプルは厚みがある。そのように厚みがある試料についての観察画像の取得では、顕微鏡の光軸に沿ったz軸方向(試料の深さ方向)の情報の取得が要求される場合がある。このような要求に対して、従来、z軸方向で焦点位置を変えた複数の焦点面で試料の走査を行って、深さ方向の位置が異なる複数の観察画像を取得する方法(Z−stack)が用いられている。このような方法によれば、バーチャルスライドにおいても、焦点位置を変えて試料の観察を行うことができる。
【0006】
これに対し、観察対象となる病理サンプル等の試料について、焦点深度を伸張した1枚の観察画像を作成する Extended Depth of Focus と呼ばれる方法がある(例えば、特許文献3〜5参照)。このような方法によって得られる焦点伸張画像は、z軸方向についての情報が集中したものであり、病理診断には適さない場合もあるが、FISH、CISH等においてz軸方向に分布する点を数えたり、画像をコンピュータで解析する場合などにおいては、このような機能が有効である。
【0007】
また、厚さが不均一な試料や、焦点が取りにくい薄い試料などについても、上記のような焦点伸張画像の機能を適用することにより、実用上、失敗が少ない試料の走査を実現することができる。また、Z−stackによる複数の観察画像の取得では、画像のスタックの数に比例してファイルサイズが増大するが、Extended Depth of Focus による焦点伸張画像の取得では、ファイルサイズが増大することはない。
【0008】
焦点伸張画像の取得方法としては、例えば、Z−stackにおける複数の観察画像から演算で焦点伸張画像を作成する方法が考えられる。しかしながら、この方法では、前提となるZ−stackの複数の画像を取得するために長時間を要し、また、上記したようにそのためのファイルサイズも増大する。また、焦点位置が異なる画像毎の位置ずれ補正や演算のために時間がかかり、特にバーチャルスライドのような大容量画像においては、それらの処理にかなりの時間を要するなど、実用上でいくつかの問題がある。
【0009】
また、焦点伸張画像の取得の他の方法として、試料を静止させた状態で試料の撮像中に焦点位置を変動させることで、焦点が伸張された観察画像を得る方法がある。しかしながら、このような方法においても、上述したバーチャルスライドのように、撮像装置で試料を走査しながら観察画像を取得する場合に、焦点位置を変動させながらの画像取得を走査と同時に行うことが可能かどうか、また、その方法については、これまでに充分な検討がなされていない。
【0010】
本発明は、以上の問題点を解決するためになされたものであり、撮像装置で試料を走査しながら試料の高解像度画像を取得する構成においても、焦点が伸張された観察画像を効率的に取得することが可能な画像取得装置を提供することを目的とする。
【課題を解決するための手段】
【0011】
このような目的を達成するために、本発明による画像取得装置は、(1)撮像対象となる試料を載置するための試料ステージと、(2)第1の方向を長手方向とする2次元画像の取得、及びTDI駆動が可能な撮像装置と、(3)試料ステージと撮像装置との間に配置された対物レンズを含む撮像光学系と、(4)試料を第1の方向とは異なる第2の方向に走査しながら撮像装置及び撮像光学系によって観察画像を取得するための走査手段と、(5)撮像光学系によって設定される試料での撮像の焦点が、試料に対して光軸方向に所定の振動周波数fsで振動するように、試料での焦点の振動を制御する焦点振動制御手段とを備え、(6)焦点振動制御手段は、撮像装置におけるTDI駆動での電荷転送速度及び転送画素数によって決まる撮像期間Tiに対し、撮像期間の逆数1/Tiを基本周波数として、振動周波数fsが基本周波数のNs倍(Nsは1以上の整数)に所定範囲内で一致するように、振動周波数fsを設定することを特徴とする。
【0012】
上記した画像取得装置においては、試料を走査するための撮像装置として、2次元画像の取得及びTDI(Time Delay and Integration)駆動が可能な撮像装置を用いている。TDI駆動は、各画素で発生する電荷の垂直転送のタイミングと、試料における撮像対象物(撮像対象部位)の移動タイミングとを同期することで、2次元画素構造での垂直方向(第1の方向に直交する方向)の画素段数分の積分露光を行う駆動方法である。このような撮像装置を用いることにより、試料を走査しながら画像を取得することが可能となり、試料について短時間に高感度な画像取得が可能となる。
【0013】
また、撮像装置と、対物レンズを含む撮像光学系とによって、第2の方向(好ましくは第1の方向に直交する方向)に試料を走査しながら観察画像を取得するとともに、その撮像の焦点を試料に対して光軸方向(z軸方向)に振動周波数fsで振動させつつ、画像の取得を行っている。このように、試料の走査においてラインセンサではなくTDIセンサを用いるとともに、焦点を振動させつつ画像を取得することにより、短時間で焦点が伸張された試料の観察画像が得られる。
【0014】
さらに、一般的な2次元撮像装置とは異なり、TDI駆動の撮像装置では、撮像対象物の移動タイミングに同期された1画素当たりの電荷転送速度と、転送画素数(垂直方向の画素段数)との積によって、試料の各撮像対象物に対する撮像期間Tiが決まる。このようなTDI駆動での撮像期間Tiに対して、上記した画像取得装置では、撮像期間の逆数1/Tiを基本周波数とし、振動周波数fsが基本周波数のNs倍に略一致するように、試料での焦点の振動を制御している。これにより、撮像装置におけるTDI駆動と、焦点の振動とを同期させて、試料の焦点伸張画像を効率的、かつ確実に取得することが可能となる。
【0015】
上記構成の画像取得装置において、TDI駆動と焦点振動との同期については、焦点振動制御手段は、焦点の振動周期をTs、撮像期間Tiに対する焦点の振動回数をNs、光軸方向での焦点の振動幅をZs、焦点深度の幅を2Dとして、振動回数Nsの全体での振動全期間Ns×Tsが、撮像期間Tiに対して下記式
ΔTs/Ts=D/2Zs
を満たす許容期間ずれΔTsの範囲内で一致するように、振動周波数fsを設定することが好ましい。このような構成によれば、焦点の振動幅Zsの全体について、焦点が伸張された試料の観察画像を好適に取得することができる。
【0016】
あるいは、焦点振動制御手段は、光の波長をλ、対物レンズの開口数をNA、対物レンズと試料との間の媒質の屈折率をn、焦点の振動周期をTs、撮像期間Tiに対する焦点の振動回数をNs、光軸方向での焦点の振動幅をZsとして、振動回数Nsの全体での振動全期間Ns×Tsが、撮像期間Tiに対して下記式
ΔTs/Ts=nλ/4Zs(NA)2
を満たす許容期間ずれΔTsの範囲内で一致するように、振動周波数fsを設定することが好ましい。このような構成によっても、焦点の振動幅Zsの全体について、焦点が伸張された試料の観察画像を好適に取得することができる。
【0017】
あるいは、焦点振動制御手段は、振動周波数fsが基本周波数のNs倍に一致するように、振動周波数fsを設定することとしても良い。この場合、撮像装置におけるTDI駆動と、焦点の振動とを完全に同期させて、焦点の振動幅Zsの全体について、焦点が伸張された試料の観察画像を高精度で確実に取得することができる。
【0018】
試料に対して焦点を振動させる構成については、具体的には、焦点振動制御手段が、対物レンズの位置または試料ステージの位置を光軸方向に変動させることで、試料での焦点を振動させる構成を用いることができる。あるいは、撮像光学系が、光軸上に設置された液体レンズを有し、焦点振動制御手段が、液体レンズにおける焦点条件を変動させることで、試料での焦点を振動させる構成を用いることができる。
【0019】
また、画像取得装置は、撮像装置におけるTDI駆動による試料の撮像動作を制御する撮像制御手段、及び焦点振動制御手段による焦点の振動動作を制御する焦点制御手段を含む制御装置を備えることとしても良い。このような制御装置を設けることにより、TDI駆動と焦点の振動との同期を含む画像取得装置の動作を好適に実現することができる。
【0020】
また、この場合、制御装置の焦点制御手段は、制御装置において指定された焦点の振動の有無及び焦点振動条件に基づいて、焦点振動制御手段による焦点の振動動作を制御することが好ましい。この場合、焦点の振動の有無、及び焦点振動条件については、制御装置に接続された入力手段からの入力内容によって指定する構成を用いることができる。あるいは、制御装置内での自動処理によって、各条件を指定する構成を用いても良い。
【発明の効果】
【0021】
本発明の画像取得装置によれば、試料を走査するための撮像装置として、2次元画像の取得及びTDI駆動が可能な撮像装置を用い、撮像装置及び撮像光学系による試料の走査中に、その撮像の焦点を試料に対して光軸方向に振動周波数fsで振動させつつ画像の取得を行うとともに、TDI駆動での撮像期間Tiに対して、撮像期間の逆数1/Tiを基本周波数とし、振動周波数fsが基本周波数のNs倍に所定範囲内で一致するように、試料での焦点の振動を制御することにより、TDI駆動と焦点の振動とを同期させて、試料の焦点伸張画像を効率的、かつ短時間に取得することが可能となる。
【図面の簡単な説明】
【0022】
【図1】画像取得装置の一実施形態の構成を示すブロック図である。
【図2】撮像装置における2次元センサの画素構造の一例を示す平面図である。
【図3】撮像装置におけるTDI駆動について示す模式図である。
【図4】撮像装置におけるTDI駆動、及び試料での撮像の焦点の振動制御について示す模式図である。
【図5】TDI駆動と焦点の振動との同期制御について示すグラフである。
【図6】TDI駆動と焦点の振動との同期制御における、焦点の振動の許容期間ずれについて示す図である。
【図7】焦点の振動の有無、及び焦点振動条件の指定画面の一例を示す図である。
【図8】撮像装置におけるTDI駆動による撮像動作の例を示す図である。
【図9】試料に対する焦点の振動動作の例を示す図である。
【図10】画像取得装置によって取得される試料の観察画像の例を示す図である。
【図11】画像取得装置によって取得される試料の観察画像の例を示す図である。
【図12】画像取得装置の他の実施形態の構成を示すブロック図である。
【発明を実施するための形態】
【0023】
以下、図面とともに、本発明による画像取得装置の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明のものと必ずしも一致していない。
【0024】
図1は、本発明による画像取得装置の一実施形態の構成を示すブロック図である。この画像取得装置1Aは、試料Sの観察画像の取得に用いられる透過型の顕微鏡装置として構成されている。撮像対象となる試料Sは、例えば生体サンプルであり、試料ステージ10上に載置されている。なお、以下の説明において、図1及び図2に示すように、画像取得装置1Aの光軸方向をz軸方向、z軸方向に直交する撮像装置20での2次元画素構造の長手方向をx軸方向(第1の方向)、z軸方向及びx軸方向の両者に直交する方向をy軸方向(第2の方向)とする。
【0025】
試料ステージ10は、x軸方向及びy軸方向(水平方向)に可動なXYステージからなり、このXYステージ10をxy面内で駆動することにより、試料Sに対する撮像位置の設定、調整、試料Sの走査を行うことが可能となっている。また、試料ステージ10は、ステージ制御装置12によって駆動制御されている。試料ステージ10の下方には、照明光学系15が設けられている。照明光学系15は、例えば、撮像対象となる光像を生成するための光を試料Sへと供給する照明光源、及び照明光源からの光を試料Sへと入射させる導光光学系によって構成される。
【0026】
照明光学系15からの光が照射されるステージ10上の試料Sに対し、ステージ10の上方の所定位置に、撮像装置20が設置されている。この撮像装置20としては、x軸方向を長手方向とする2次元画像の取得、及びTDI駆動が可能な撮像装置が用いられる。また、この撮像装置20に対し、撮像装置20で取得された画像データについて必要な処理を行う画像処理装置21、及び撮像装置20で取得され、または画像処理装置21で処理された画像データを必要に応じて記憶する画像記憶部22が設けられている。
【0027】
図2は、撮像装置20における2次元センサの画素構造の一例を示す平面図である。本画像取得装置1Aにおける撮像装置20としては、好ましくはTDI駆動が可能な2次元CCDセンサを有するCCDカメラが用いられる。図2においては、この撮像装置20の2次元CCDセンサ25における画素構造を示している。
【0028】
本構成例による2次元CCDセンサ25は、光検出部26と、電荷転送部28とを備えている。光検出部26は、2次元アレイ状に配列され、それぞれ光電変換機能を有する複数の画素27を有し、各画素27において光入射量に応じて生成された電荷を画像データとして出力するように構成されている。また、光検出部26は、その画素の配列軸であるx軸、y軸について、x軸方向を長手方向として構成されており、これによって、x軸方向を長手方向とする2次元画像の取得が可能となっている。なお、図2においては、x軸方向(水平転送方向)での画素数を64画素、y軸方向(垂直転送方向)での画素数を8画素とした場合の画素構造を模式的に示している。
【0029】
また、この光検出部26に対し、その図中の上方にx軸方向に沿って電荷転送部28が設けられている。この電荷転送部28は、光検出部26を構成する複数の垂直シフトレジスタから出力されて並列に入力した電荷を水平方向に転送して、出力端から出力する水平シフトレジスタである。なお、CCDセンサ25におけるTDI駆動を含む撮像装置20の動作については、具体的には後述する。
【0030】
試料ステージ10と撮像装置20との間には、試料Sの光像を導光する撮像光学系30が設けられている。本実施形態においては、撮像光学系30は、チューブレンズ31と、対物レンズ32とを有して構成されている。また、対物レンズ32に対して焦点調整機構33が設けられており、この焦点調整機構33によって対物レンズ32の位置をz軸方向に変動させることで、試料Sに対する焦点位置を調整する構成となっている。
【0031】
これらの撮像装置20及び撮像光学系30に対し、試料ステージ10は、撮像装置20及び撮像光学系30によって試料Sをy軸方向(第1の方向とは異なる第2の方向)に走査しながら、試料Sの観察画像を取得するための走査手段として機能する。すなわち、試料ステージ10をy軸方向に移動しつつ試料Sの撮像を行うことにより、撮像装置20によって試料Sが走査されながら、その高解像度の観察画像が取得される。また、このような試料Sの走査をx軸方向の走査位置を変更して複数回行って、得られた複数の画像を合成することにより、高解像度、かつ広範囲での試料Sの観察画像を得ることができる。
【0032】
また、本実施形態では、撮像装置20及び撮像光学系30からなる上記撮像系に対し、別個の撮像系として、マクロ撮像装置38がさらに設けられている。このマクロ撮像装置38は、撮像装置20での高解像度の画像(ミクロ画像)の取得に先立って、試料Sの全体像の把握などに用いられる低解像度の画像(マクロ画像)を取得する際に用いられる。また、撮像装置20に対応する撮像位置と、マクロ撮像装置38に対応する撮像位置との間での試料Sの移動は、例えば試料ステージ10の駆動によって行われる。
【0033】
さらに、対物レンズ32の焦点調整機構33に対し、焦点振動制御装置40が設けられている。この焦点振動制御装置40は、撮像光学系30によって設定される試料Sでの撮像の焦点が、試料Sに対して光軸方向(z軸方向)に所定の振動周波数fsで振動するように、試料Sでの焦点の振動を制御する焦点振動制御手段である。
【0034】
具体的には、焦点振動制御装置40は、撮像装置20におけるTDI駆動での電荷転送速度及び転送画素数によって決まる撮像期間Tiに対し、撮像期間の逆数1/Tiを基本周波数とし、振動周波数fsが基本周波数のNs倍(Nsは1以上の整数)に所定範囲内で一致するように振動周波数fsを設定して、焦点振動の制御を行う。また、本実施形態では、焦点振動制御装置40は、焦点調整機構33によって対物レンズ32の位置を光軸方向に変動させることで、試料Sでの撮像の焦点を振動させる。これにより、試料Sの観察画像として、後述するように焦点が伸張された画像が取得される。
【0035】
これらの試料ステージ10、ステージ制御装置12、撮像装置20、撮像光学系30、及び焦点振動制御装置40に対し、装置各部の動作を制御する制御装置50が設けられている。制御装置50は、例えばCPU及び必要なメモリ、ハードディスクなどの記憶装置を含むコンピュータによって構成される。また、この制御装置50に対して、表示部56及び入力部57が接続されている。表示部56は、例えばCRTディスプレイまたは液晶ディスプレイであり、本画像取得装置1Aの動作に必要な操作画面の表示、あるいは取得された試料Sの観察画像の表示等に用いられる。また、入力部57は、例えばキーボードまたはマウスであり、画像取得に必要な情報の入力、画像取得動作についての指示の入力等に用いられる。
【0036】
図1に示す構成においては、制御装置50は、撮像制御部51と、焦点制御部52とを有している。撮像制御部51は、撮像装置20におけるTDI駆動による試料Sの撮像動作を制御する。また、焦点制御部52は、焦点振動制御装置40による撮像の焦点の振動動作を制御する。このような撮像動作及び焦点の振動動作の制御は、自動で、または操作者の指示等に基づいて行われる。
【0037】
このような構成の画像取得装置1Aにおいて、試料Sの画像取得を行う場合、まず、ステージ10上に載置された試料Sは、XYステージ10を駆動することによってマクロ撮像装置38による撮像位置へと移動される。そして、撮像装置38によって、試料Sの全体像を示す低解像度のマクロ画像が取得され、このマクロ画像を用いて、制御装置50において、実際に撮像対象となる範囲等の撮像条件が認識、設定される。
【0038】
ここで、撮像対象の試料Sとしては、例えば、生体サンプルがのったスライドグラスを用いることができる。この場合、スライドグラス中で生体サンプルが存在する範囲が、撮像対象範囲として認識される。なお、生体サンプル自体が試料Sとしてステージ10上に載置される場合には、スライドグラスは不要である。また、撮像対象範囲があらかじめ決まっている場合には、このようなマクロ撮像装置38は不要である。
【0039】
次に、撮像対象範囲が認識された試料Sを、XYステージ10を駆動することによって撮像装置20及び撮像光学系30による撮像位置へと移動する。また、焦点調整機構33によって焦点を制御しつつ試料Sの撮像対象範囲に対して焦点計測を行って、試料Sを走査する際の焦点位置の情報が取得される。この場合の焦点位置については、撮像対象範囲の全体に対して一定であっても良く、あるいは、例えば焦点面、2次元焦点マップなどのように各撮像位置で焦点位置が異なっても良い。試料Sに対する焦点計測については、具体的には様々な方法を用いて良い。また、焦点位置情報があらかじめ与えられている試料Sについて撮像を行う場合には、このような焦点計測は不要である。
【0040】
続いて、取得された焦点位置情報を参照しつつ、撮像装置20のTDI駆動と、試料ステージ10での試料Sの走査とによって、試料Sの高解像度の観察画像であるミクロ画像の取得を実行する。この際、上述したように、焦点振動制御装置40によって、撮像装置20での撮像期間Tiの逆数1/Tiを基本周波数とし、そのNs倍に略一致するように設定された振動周波数fsによって、試料Sでの撮像の焦点を振動させる。これにより、試料Sについての焦点が伸張された観察画像が取得される。
【0041】
図1及び図2に示した画像取得装置1Aにおける撮像動作、及び焦点の振動動作について、図3〜図5を参照してさらに具体的に説明する。なお、図3、図4においては、説明の簡単のため、TDI駆動での電荷転送方向となるy軸方向(CCDセンサの垂直方向)についての転送画素数を6画素として、TDI駆動の方法を模式的に図示している。
【0042】
図3は、撮像装置20におけるTDI駆動による試料Sの撮像動作について示す模式図である。図3(a)は、TDI駆動における撮像対象物の移動及びCCDセンサの光検出部での電荷の垂直転送について示している。また、図3(b)は、対物レンズ32及び撮像の焦点Fの光軸方向の位置の時間変化を示している。また、図3(c)は、TDI駆動による蓄積電荷量の時間変化を示している。
【0043】
図3(a)に示すように、TDI駆動による撮像動作では、撮像装置20によって試料Sをy軸方向に走査しながら画像取得を行う場合に、試料Sにおける撮像対象物(撮像対象部位)Aの移動と、CCDセンサの光検出部の垂直シフトレジスタにおける電荷の転送とが同期するように、試料ステージ10、及び撮像装置20を駆動する。このような駆動方法では、図3(c)に示すように、撮像対象物Aのデータ取得において、画素1〜6で電荷が転送されるごとに、光電変換によって生成されて蓄積された電荷が増加する。
【0044】
これにより、垂直方向の転送画素数がn段(図3の例では6段)のTDIセンサでは、1次元ラインセンサ(n=1)などと比べてその露光時間、すなわちTDI駆動における撮像期間Tiをn倍に長くすることができ、高い感度での試料Sの撮像が可能となる。また、このような試料Sの走査及び撮像において、対物レンズ32の光軸方向の位置、及びそれによる試料Sでの撮像の焦点Fについては、従来の構成では、例えば、図3(b)に示すように基準焦点位置F0において一定に保たれ、もしくは、焦点面、2次元焦点マップ等の焦点位置情報に基づいて通常の焦点制御が行われる。
【0045】
図4は、撮像装置20におけるTDI駆動、及び試料Sでの撮像の焦点Fの振動制御について示す模式図である。なお、図4(a)に示す撮像対象物Aの移動及び電荷の垂直転送については、図3(a)に示したものと同様である。また、図4(b)〜図4(d)では、それぞれ、撮像装置20でのTDI駆動に対する対物レンズ32の光軸方向の位置、及びそれによる試料Sでの撮像の焦点Fの時間変化について示している。
【0046】
図4(b)に示す動作例では、図4(a)に示したTDI動作に対して対物レンズ32を光軸方向に移動し、基準焦点位置F0を含む上下の一定範囲において焦点Fを変化させている。このとき、撮像対象物Aに対応するCCDセンサでの蓄積電荷において、単一の焦点位置の情報ではなく、電荷が画素1から画素6まで移動する間に通過したすべての焦点位置の情報が蓄積されることとなり、取得される観察画像での焦点深度が実質的に伸張される。このような焦点伸張が、試料Sの焦点伸張画像の取得の基本原理である。
【0047】
ただし、TDI駆動の撮像装置20を用いた試料Sの撮像では、上記した撮像動作が試料Sでの各撮像対象部位に対して連続的に行われるため、撮像対象部位毎に、焦点Fの変動の始点が異なる位置となる。例えば、図4(c)に示す動作例では、始点となる焦点位置が基準焦点位置F0の上方近傍にあるため、基準焦点位置F0よりも上方の焦点位置の情報のみが蓄積され、それよりも下方の焦点位置の情報は蓄積されない。すなわち、図4(b)、(c)に示した動作方法では、TDI駆動を用いた試料Sの撮像において、全ての撮像対象部位に対して同様の焦点伸張の効果を得ることができない。
【0048】
これに対して、図1に示した画像取得装置1Aでは、TDI駆動での撮像期間Tiの逆数1/Tiを振動周波数fsに設定し、この周波数fsによって対物レンズ32及び撮像の焦点Fの位置を光軸方向に振動させる。このとき、図4(d)に示すように、TDI動作の周期に対し、撮像の焦点Fが基準焦点位置F0を含む上下の一定範囲(振動範囲)において、その焦点位置が往復するように変化する。このような構成では、焦点Fの振動の始点が異なる場合であっても、焦点位置は常に振動範囲の全体を通過する。したがって、このような動作方法では、試料Sの撮像において、全ての撮像対象部位に対して同様の焦点伸張の効果を得ることができ、試料Sの撮像対象範囲の全体について、同様の条件で焦点伸張画像を好適に取得することができる。
【0049】
図5は、上述した画像取得装置1AにおけるTDI駆動と、焦点Fの振動との同期制御について示すグラフである。ここでは、焦点Fの振動制御を、その振動の時間波形として三角波を用いて行う場合を例として示している。
【0050】
図5のグラフ(a)は、図4(d)に関して上記したように、TDI駆動での撮像期間Tiの逆数1/Tiを振動周波数fsに設定した場合の焦点Fの振動制御の例を示している。この動作例では、基準焦点位置を位置0として、焦点位置をその上下の−Z〜+Z、振動幅Zsの範囲で振動させている。この場合、撮像期間Tiに対する焦点の振動回数はNs=1であり、振動周期はTs=Tiである。また、振動回数Nsの全体での振動全期間Ns×Tsは、撮像期間Tiと一致している。
【0051】
また、このような焦点伸張画像の取得は、TDI駆動での撮像期間Tiの逆数1/Tiをそのまま振動周波数fsに設定した構成に限られない。すなわち、より一般には、撮像期間Tiの逆数1/Tiを基本周波数として、そのNs倍(Nsは1以上の整数、fs=Ns/Ti)となるように振動周波数fsを設定する構成を用いることができる。このような場合にも、上記と同様に、焦点伸張画像を好適に取得することができる。
【0052】
図5のグラフ(b)は、そのような動作の一例として、TDI駆動での撮像期間Tiの逆数の2倍である2/Tiを振動周波数fsに設定した場合の焦点Fの振動制御の例を示している。この場合、撮像期間Tiに対する焦点の振動回数はNs=2であり、振動周期はTs=Ti/2である。また、振動回数Nsの全体での振動全期間Ns×Tsは、撮像期間Tiと一致している。また、Nsを3以上に設定した場合においても、同様に振動制御及び焦点伸張画像の取得を実行することが可能である。
【0053】
本実施形態による画像取得装置1Aの効果について説明する。
【0054】
図1及び図2に示した画像取得装置1Aにおいては、試料Sを走査するための撮像装置20として、x軸方向を長手方向とした2次元画像の取得及びTDI駆動が可能な2次元CCDセンサ25を含む撮像装置を用いている。TDI駆動は、図3に示したように、各画素で発生する電荷の垂直転送のタイミングと、試料Sにおける撮像対象物Aの移動タイミングとを同期することで、2次元画素構造でのy軸方向の画素段数分の積分露光を行う駆動方法である。このような撮像装置20を用いることにより、試料Sについて高感度での画像取得が可能となる。
【0055】
また、撮像装置20と、対物レンズ32を含む撮像光学系30とによって、所定の走査方向(上記した例では、CCDセンサ25の画素構造の長手方向に直交するy軸方向)に試料Sを走査して観察画像を取得するとともに、その撮像の焦点Fを試料Sに対して光軸方向に振動周波数fsで振動させつつ、画像の取得を行っている。これにより、焦点Fが伸張された試料Sの観察画像が得られる。
【0056】
さらに、TDI駆動の撮像装置20では、撮像対象物Aの移動に同期された1画素当たりの電荷の転送速度と、転送画素数(垂直方向の画素段数)との積によって、試料Sの各撮像対象部位Aに対する実質的な露光時間である撮像期間Tiが決まる。例えば、試料Sの走査速度と同期した電荷転送速度が0.2msec/pixelで、垂直方向の転送画素数が64画素の場合、撮像期間はTi=0.2×64=12.8msecである。
【0057】
このような撮像装置20のTDI駆動での撮像期間Tiに対して、上記した画像取得装置1Aでは、撮像期間の逆数1/Tiを基本周波数とし、振動周波数fsが基本周波数のNs倍に一致するように、焦点振動制御装置40による試料Sでの焦点の振動を制御している。これにより、撮像装置20におけるTDI駆動と、焦点Fの振動とを同期させて、試料Sの焦点伸張画像を効率的、かつ確実に取得することが可能となる。
【0058】
なお、これらの撮像装置20での電荷転送速度、撮像期間Ti、及び焦点の振動周波数fsについては、対物レンズ32の倍率などの撮像光学系30の具体的な構成、及び撮像装置20の構成等に応じて設定される。例えば、倍率40倍の対物レンズに対して、上記したように撮像装置20における撮像期間をTi=12.8msecとすると、振動回数がNs=1であれば焦点の振動周波数はfs=1/Ti=78Hzである。
【0059】
ここで、焦点振動制御装置40による振動制御において、焦点Fの振動範囲−Z〜+Zについては、基準焦点位置F0に対してプラス側とマイナス側とで異なる振動範囲としても良い。また、その振動幅Zsについては、試料Sの走査の全体において一定の振動幅としても良く、あるいは走査中に振動幅を変更する構成としても良い。また、振動幅Zsについては、撮像対象となる試料Sの厚み等を考慮して設定することが好ましい。また、基準焦点位置F0についても、焦点計測を行って得られた最適な焦点位置から上下にオフセットがある位置を基準焦点位置としても良い。
【0060】
また、焦点振動の時間波形については、図5においては三角波を用いた例を示したが、所定の周期及び周波数で焦点を振動させることが可能なものであれば、具体的には様々な振動波形を用いて良い。そのような波形としては、例えば正弦波や余弦波による振動波形がある。正弦波を用いた場合、三角波に比べて対物レンズ32の位置及び焦点位置の変動が滑らかになるという利点がある。また、このような振動波形については、実際に焦点を振動する機構やその駆動方法の特性を考慮して設定することが好ましい。
【0061】
焦点の振動周波数fsの具体的な設定については、上記した焦点制御の例では、基本周波数1/TiのNs倍に実質的に一致するように振動周波数fsを設定している。この場合、撮像装置20におけるTDI駆動と、焦点振動制御装置40による焦点の振動とを完全に同期させて、焦点Fの振動幅Zsの全体について、焦点が伸張された試料Sの観察画像を確実かつ精度良く取得することができる。
【0062】
また、焦点の振動周波数fsについては、一般には、焦点振動の周波数のずれについて撮像精度等の観点から想定される許容範囲等を考慮し、振動周波数fsが基本周波数のNs倍に所定範囲内で一致するように設定することとしても良い。このような構成によっても、撮像装置20におけるTDI駆動と焦点Fの振動とを充分な精度で同期させて、試料Sの焦点伸張画像を効率的、かつ確実に取得することが可能である。そのような所定範囲としては、例えば、焦点の振動周期をTs、撮像期間Tiに対する焦点の振動回数をNsとして、振動回数Nsの全体での振動全期間Ns×Tsが、撮像期間Tiに対して、振動周期Tsを下回らない条件で振動周期Tsの50%の範囲内で一致することが好ましい。
【0063】
また、TDI駆動と焦点振動との同期の所定範囲については、具体的には、焦点振動制御装置40において、焦点の振動周期をTs、撮像期間Tiに対する焦点の振動回数をNs、光軸方向での焦点の振動幅をZs、焦点深度の幅を2Dとして、振動回数Nsの全体での振動全期間Ns×Tsが、撮像期間Tiに対して下記式
ΔTs/Ts=D/2Zs
を満たす許容期間ずれΔTsの範囲内で一致するように、振動周波数fsを設定することが好ましい。このような構成によれば、焦点の振動幅Zsの全体について、焦点が伸張された試料の観察画像を好適に取得することができる。
【0064】
あるいは、焦点振動制御装置40において、光の波長をλ(例えば、0.4μm〜0.7μmの可視光波長であればよく、好ましくは基準波長として一般的に用いられる緑の波長λ=0.55μm)、対物レンズ32の開口数をNA、対物レンズ32と試料Sとの間の媒質(例えば空気)の屈折率をn、焦点の振動周期をTs、撮像期間Tiに対する焦点の振動回数をNs、光軸方向での焦点の振動幅をZsとして、振動回数Nsの全体での振動全期間Ns×Tsが、撮像期間Tiに対して下記式
ΔTs/Ts=nλ/4Zs(NA)2
を満たす許容期間ずれΔTsの範囲内で一致するように、振動周波数fsを設定することが好ましい。このような構成によっても、焦点の振動幅Zsの全体について、焦点が伸張された試料の観察画像を好適に取得することができる。
【0065】
上記したTDI駆動と焦点振動との同期の許容期間ずれΔTsについて、図6を参照して説明する。図6は、TDI駆動と焦点の振動との同期制御における、焦点の振動の許容期間ずれについて示す図である。図6(a)は、対物レンズ32による撮像における焦点F及び焦点深度について示している。また、図6(b)は、上記した焦点振動の許容期間ずれΔTsについて説明するグラフである。
【0066】
図6(a)に示すように、対物レンズ32による焦点深度は、焦点位置Fに対してプラス側に+D、マイナス側に−Dと表すことができる。また、このとき全体としての焦点深度の幅は2Dとなる。このような焦点深度の幅2Dが存在することを考慮すると、その範囲内ではTDI駆動と焦点振動との同期がずれた場合でも、実質的に同期しているときとほぼ同等の焦点伸張効果が得られると考えられる。したがって、この対物レンズ32での焦点深度の幅2Dから、許容期間ずれΔTsを設定することができる。
【0067】
ここで、図6(b)のグラフに示すように、焦点の振動周期がTs、撮像期間Tiに対する焦点の振動回数がNs=1、光軸方向での焦点の振動幅がZsの場合を考える。このような焦点振動では、振動周期Tsの終点において焦点深度の一方の幅Dの分だけ振動量が少ない場合でも、焦点深度Dの効果により、擬似的に1周期の焦点振動が達成される。したがって、この焦点深度Dから、振動周期Tsについて、擬似的に1周期の焦点振動が実現可能な範囲となる許容期間ずれΔTsを算出することができる。
【0068】
この許容期間ずれΔTsについては、図6(b)のグラフからわかるように、Zs/2:Ts/4=D:ΔTsが成り立つ。したがって、この関係から、上述した許容期間ずれΔTsの式
ΔTs/Ts=D/2Zs
=100×D/2Zs(%)
が得られる。
【0069】
また、焦点深度±Dについては、様々な定義があるが、通常、上記したように光の波長をλ、対物レンズ32の開口数をNA、対物レンズ32と試料Sとの間の媒質の屈折率をnとして
D=nλ/2(NA)2
と近似される。この焦点深度Dを上記の許容期間ずれΔTsに代入すると、下記式
ΔTs/Ts=nλ/4Zs(NA)2
=100×nλ/4Zs(NA)2(%)
が得られる。したがって、これらのΔTs/Tsについての条件式を、焦点の振動制御における許容期間ずれΔTsとして適用することができる。また、これらの条件式は、焦点振動の振動回数Nsが2以上の場合にも、同様に適用することができる。
【0070】
許容期間ずれΔTsの具体例として、開口数NAが異なる対物レンズを用いて倍率が異なる画像を取得する場合を考える。ここで、上記した各パラメータについては、光の波長をλ=0.55μm、対物レンズと試料との間の媒質である空気の屈折率をn=1、試料Sの厚みに相当する振動幅をZs=10μmとする。このとき、倍率が40倍、開口数がNA=0.75の対物レンズを用いると、焦点深度はD=0.49μm、許容期間ずれはΔTs=2.45%となる。また、倍率が20倍、開口数がNA=0.5の対物レンズを用いると、焦点深度はD=1.1μm、許容期間ずれはΔTs=5.5%となる。
【0071】
次に、1つの対物レンズを用いて倍率が異なる画像を取得する場合を考える。一般に、焦点の振動制御において、その振動周波数fsは対物レンズの倍率等によって異なる値となるが、振動周波数が高すぎると、光学系と共振して好適な撮像条件が得られない場合がある。このような問題に対し、例えば、試料Sの撮像で高倍率(例えば40倍)の単一の対物レンズを用い、低倍率(例えば20倍)の画像についてはビニング処理によって画像を作成する方法を用いることができる。この場合、対物レンズの開口数は倍率に関わらずNA=0.75となり、許容期間ずれはΔTs=2.45%となる。
【0072】
ここで、試料Sの撮像において、焦点の振動制御を用いずに焦点深度を伸張する方法としては、例えば、撮像光学系における対物レンズ及びコンデンサレンズの開口を絞る方法がある。このとき、上記したように焦点深度は開口数NAの2乗に反比例するため、開口数NAを小さくすれば焦点深度は大きくなる。しかしながら、このような方法では、空間解像度や画質が劣化する。
【0073】
また、顕微鏡で解像できるサイズは対物レンズのNAとコンデンサレンズのNAとの和に反比例するため、コンデンサレンズのNAを小さくすると、解像可能なサイズが大きくなって解像度が劣化する。また、対物レンズのNAについては、一般にレンズ毎に固定されている。したがって、コンデンサレンズのNAを小さくすることによる焦点深度の伸張には限界がある。
【0074】
また、焦点深度を伸張する方法として、Z−stackによって得られる複数の観察画像から演算によって焦点伸張画像を作成する方法が考えられる。しかしながら、このような方法では、上述したように、Z−stackの複数の観察画像を取得するために長時間を要するなどの問題がある。
【0075】
また、特許文献3(米国特許第7444014号公報)に記載された ExtendedDepth of Focus による撮像方法では、2次元センサを用いて顕微鏡の1視野に対する撮像を行っており、TDI駆動の撮像装置を用いて試料を走査しながら撮像を行う構成には適用することができない。また、このような構成において、試料の走査を行わずに大視野の画像を取得する場合、視野を移動して、その都度焦点振動及び画像取得を行うステップアンドリピートの動作を続ける必要があり、全体として画像取得時間が長くなる。
【0076】
また、特許文献5(特表2004−507743号公報)では、TDIセンサを用いた試料の走査において、TDIセンサを走査方向に対して傾けて配置することで、焦点深度を伸張している。しかしながら、このような構成による焦点伸張画像の取得では、以下のような問題がある。
【0077】
すなわち、撮像装置の位置と、試料上の焦点位置とは、顕微鏡の総合倍率に対して2乗の関係にある。例えば、顕微鏡の総合倍率が20倍とすると、試料上で10μmの焦点伸張を行う場合、撮像装置側では、20×20×10μm=4mmの幅をとる必要がある。これを撮像装置を傾けることで実現する場合、傾き角度を30度と仮定すると、TDIセンサの転送方向のサイズを8mm以上にする必要がある。
【0078】
一般に、TDIセンサでは、図2に模式的に示したように、垂直転送方向での画素数は水平方向に比べて少ない。例えば、浜松ホトニクス社製のS10202−16では、水平方向の画素数4096に対して、垂直方向の画素数128であり、また、垂直方向での1画素の幅は12μmである。この場合、TDIセンサの光検出部全体での垂直転送方向の幅は128×12μm=1536μmである。
【0079】
このような構成において、上記した20倍の顕微鏡の総合倍率の条件では、試料上で約1.915μmの焦点伸張しか得られない。したがって、このような構成で広い焦点伸張を実現するには、解像度を犠牲にして全体の倍率を下げるか、もしくは、TDI駆動の垂直転送方向での画素数を増やすか画素幅を大きくするなど、特殊な構造のTDIセンサを用いる必要がある。また、センサのサイズとその傾きによって焦点位置に幅を持たせる構成では、試料上の焦点位置が変わると同時に光学的倍率も変化することとなり、したがって、焦点伸張を行った画像に歪みを生じる場合がある。
【0080】
また、TDIセンサを光軸に対して傾ける構成では、焦点伸張の幅は光学系の総合倍率と、TDIセンサの垂直転送方向の幅によって決まる。一方、TDIセンサにおいては、試料の移動方向とセンサとの位置精度が画質に影響を与えるため、TDIセンサは、位置等を調整した後に固定することが好ましい。また、TDIセンサを傾ける角度を変えた場合には、センサ上での撮像対象物の相対的な移動速度が変わるため、TDI駆動における転送クロック等も変更する必要がある。これらの点から、TDIセンサを光軸に対して傾ける構成では、焦点伸張の条件を可変に制御することが難しい。
【0081】
これに対して、上記実施形態の画像取得装置1Aでは、TDIセンサを含む撮像装置20と、対物レンズ32を含む撮像光学系30とによって試料Sを走査して観察画像を取得するとともに、その撮像の焦点Fを試料Sに対して光軸方向にTDI動作と同期する振動周波数fsで振動させつつ、画像の取得を行っている。これにより、上述したように、焦点伸張画像を効率的かつ確実に取得することが可能となる。また、このような構成では、焦点振動条件の設定により、焦点伸張の条件を可変に制御することが可能である。
【0082】
図1に示した画像取得装置1Aの具体的な構成について、さらに説明する。試料Sに対して焦点を振動させる構成については、図1に示した構成例では、焦点振動制御装置40が、焦点調整機構33を介して対物レンズ32の位置を物理的に、光軸方向に変動させることで、試料Sでの焦点Fを振動させる構成を用いている。この場合の焦点調整機構33としては、例えば対物レンズ32に取り付けたピエゾアクチュエータを用いることができる。また、焦点振動制御装置40としては、例えばピエゾアクチュエータの駆動制御装置を用いることができる。また、焦点調整機構33として、例えばボイスコイルモータ、ステッピングモータ、サーボモータ等を用いても良い。また、焦点振動制御装置40については、焦点調整機構33自体が焦点振動制御手段として機能する構成としても良い。
【0083】
また、焦点を振動させる構成として、図1において破線で示したように、焦点振動制御装置40が、ステージ制御装置12を介して試料ステージ10の位置を光軸方向に変動させることで、試料Sでの焦点Fを振動させる構成を用いても良い。この場合、試料ステージ10としては、Zステージの機能を有するものを用いる必要がある。また、このような構成においても、試料ステージ10及びステージ制御装置12自体が焦点振動制御手段として機能する構成としても良い。
【0084】
また、図1に示した画像取得装置1Aでは、TDI駆動による撮像動作を制御する撮像制御部51と、焦点の振動動作を制御する焦点制御部52とを有する制御装置50を設けている。このような制御装置50を設けることにより、TDI駆動と焦点の振動との同期を含む装置各部の動作を好適に制御、実行することができる。
【0085】
この場合、焦点制御部52は、制御装置50において指定された焦点の振動の有無、及び焦点振動条件に基づいて、焦点振動制御装置40による焦点の振動動作を制御することが好ましい。この場合、焦点の振動の有無、及び焦点振動条件については、制御装置50に接続された入力部57からの操作者による入力内容によって指定する構成を用いることができる。
【0086】
また、このように入力部57からの入力内容に基づいて焦点振動を制御する場合、制御装置50は、表示部56によって操作者に対して、それらの制御条件を入力させるための指定画面を表示することが好ましい。図7は、そのような焦点の振動の有無、及び焦点振動条件の指定画面の一例を示す図である。図7に示す指定画面58では、焦点の振動の有無(焦点伸張の要否)を操作者に指定させるための第1入力部58aと、焦点振動条件を指定させるための第2入力部58bとが設けられている。また、第2入力部58bでは、焦点振動条件として、焦点振動範囲を指定する上下それぞれでの振動幅を、サブミクロン単位で別個に指定可能な構成となっている。
【0087】
これらの焦点振動の制御条件については、制御装置50内での演算プログラムを用いた自動処理によって各制御条件を指定する構成を用いても良い。そのような構成としては、例えば、試料Sの厚みを計測によって自動検出し、その結果に基づいて、焦点の振動幅を自動で設定する構成が考えられる。
【0088】
また、焦点の振動制御における許容期間ずれΔTsは、上記したように、振動幅(試料Sの厚み)Zs、対物レンズ32の開口数NAなどのパラメータを用いて算出することができる。したがって、開口数NAなどの必要なパラメータをあらかじめ制御装置50に記憶させておけば、振動幅Zs等を指定することによって自動的に許容期間ずれΔTsを算出することができる。また、この許容期間ずれΔTsについては、焦点の振動制御において、期間ずれがΔTsを超えた場合のエラー検出、あるいは再測定の指示等に用いることも可能である。
【0089】
画像取得装置1Aにおいて取得される試料Sの観察画像については、上述した焦点伸張によって広い焦点範囲での情報を含んでいるが、焦点の振動範囲が広いと、焦点が合っていない部分の情報がぼけ成分として画像に反映される場合がある。このようなぼけ成分が問題となる場合には、画像処理を行うことでぼけ成分を取り除くことが可能である。この場合の画像処理の例としては、簡便な方法としてアンシャープマスクフィルタを観察画像に適用することにより、画質を改善することができる。
【0090】
また、ヒストグラム均等化法、あるいは、光学パラメータと対物レンズ32の振動幅などからデコンボリューション処理によってぼけ成分を除去する方法などを用いることも可能である。また、これらの画像処理については、図1に示す構成において、画像処理装置21において実行される構成としても良く、あるいは、制御装置50において実行される構成としても良い。また、このようなぼけ補正の画像処理については、観察画像の取得と同期させてリアルタイムで実行しても良く、あるいは、画像取得後に別に実行する構成としても良い。
【0091】
撮像装置20に用いられる2次元CCDセンサでのTDI駆動、及びそれに同期させた焦点の振動制御について、その具体的な一例を説明する。図8は、撮像装置20におけるTDI駆動による撮像動作の例を示す図である。また、図9は、試料Sに対する焦点の振動動作の例を示す図である。
【0092】
なお、図8に示すCCDセンサのTDI駆動においては、垂直方向についての転送画素数を、3画素(6受光部)としている。また、図9に示す焦点の振動制御では、撮像期間Tiに対する焦点の振動回数をNs=1としている。また、図9において、グラフ(a)は振動波形として三角波を用いた場合の焦点振動を示し、グラフ(b)は振動波形として正弦波を用いた場合の焦点振動を示している。
【0093】
図8において、図8(a)は、垂直転送方向についての2次元CCDセンサの光検出部の構成を示している。この構成例では、2相の転送電圧P1、P2による2相駆動のCCDセンサを用いている。このような2相駆動のCCDセンサでは、画素1〜3のそれぞれにおける各受光部は垂直方向に2つの部分に分割され、そのうちでポテンシャルが低い転送方向下流側の部分が実質的な受光部として機能するようになっている。
【0094】
図8(b)〜(g)は、それぞれ、時刻t1〜t6での各画素のポテンシャル、及び各画素における蓄積電荷量を示している。時刻t1では、受光部1、3、5のポテンシャルが受光部2、4、6よりも低くなるように転送電圧P1、P2が印加される。このとき、図8(b)に示すように、最も左側の受光部1において光電変換によって電荷が生成、蓄積される。また、同時に、図9のグラフ(a)、(b)に示すように、対物レンズ32の位置及びそれによる撮像の焦点位置が、位置aを起点として振動を開始する。
【0095】
次に、時刻t2では、受光部2、4、6のポテンシャルが受光部1、3、5よりも低くなるように転送電圧P1、P2が印加される。このとき、図8(c)に示すように、受光部1にあった電荷が受光部2へと転送されるとともに、受光部2において光電変換によってさらに電荷が生成、蓄積される。また、この時点では、対物レンズ32による撮像の焦点位置は位置bに移動している。したがって、時刻t1に受光部1で蓄積される電荷による画像データと、時刻t2に受光部2で蓄積される電荷による画像データとでは、試料Sにおける焦点位置が異なるデータとなっている。
【0096】
同様にして、図8(d)〜(g)に示すように、時刻t3、t4、t5、t6では、電荷が受光部3、4、5、6へと順に転送されるとともに、各受光部において光電変換によってさらに電荷が生成、蓄積される。また、これらの時点では、対物レンズ32による撮像の焦点位置は位置c、d、e、fに移動している。以上の動作により、撮像装置20のTDI駆動CCDセンサでの蓄積電荷において、焦点の振動幅Zs(−Z〜+Z)の全体について、焦点が伸張された画像データが得られる。また、受光部6に到達した電子は、水平シフトレジスタとして機能する電荷転送部(図2参照)へと出力され、電荷転送部を介して画像データ信号として外部へと読み出される。
【0097】
上記実施形態による画像取得装置1Aを用いて取得される試料Sの観察画像の例について説明する。図10、図11は、それぞれ画像取得装置1Aによって取得される試料Sの観察画像の例を示す図である。図10は、焦点振動制御を適用せずに取得された焦点伸張なしの観察画像を示している。この画像では、試料S中における深さ方向の位置により、焦点が合っている部分と、合っていない部分とが存在している。
【0098】
これに対して、図11(a)は、上述した焦点振動制御を適用して取得された焦点伸張ありの観察画像を示している。この画像では、図10の画像と比べて全体的に焦点が合っており、焦点深度が伸張されていることがわかる。また、図11(b)は、図11(a)の焦点伸張画像に対して、さらにぼけ成分除去のための画像補正処理を行った結果を示している。この画像では、深さ方向について全体的に焦点が合っており、かつコントラストが高い画像が得られている。
【0099】
図12は、本発明による画像取得装置の他の実施形態の構成を示すブロック図である。本実施形態による画像取得装置1Bの構成は、基本的に図1に示した画像取得装置1Aと同様であるが、試料Sでの撮像の焦点を振動させるための構成が画像取得装置1Aとは異なっている。すなわち、図12に示す画像取得装置1Bでは、撮像光学系30において、撮像装置20とチューブレンズ31との間の光軸上に液体レンズ35が挿入されている。また、この液体レンズ35に対し、焦点振動制御装置45が設けられている。
【0100】
試料Sに対して焦点を振動させる構成については、図12の構成例に示すように、撮像光学系30に液体レンズ35を設けるとともに、焦点振動制御装置45が、液体レンズ35における焦点条件を光学的に変動させて撮像装置20のTDI駆動CCDセンサに投影される試料Sの焦点位置を変えることで、試料Sでの焦点Fを振動させる構成を用いることも可能である。
【0101】
このような構成では、対物レンズ32等の光学要素に物理的な振動を与えることなく、焦点振動を実現することが可能である。ただし、このように液体レンズ35を用いる構成では、焦点振動制御に伴って画像の拡大率も変動するため、焦点の振動範囲の設定において注意が必要である。また、液体レンズ35以外にも、例えばディフォーマブルミラーを用いて焦点振動制御を行うことも可能である。
【0102】
本発明による画像取得装置は、上記した実施形態及び構成例に限られるものではなく、様々な変形が可能である。例えば、試料Sの走査については、上記実施形態では試料ステージ10をXYステージとして走査を行う構成を例示したが、ステージ10をxy面内で固定として、撮像装置20及び撮像光学系30をxy面内で駆動することによって、試料Sの走査を行う構成としても良い。また、試料Sの観察画像を取得する撮像装置20については、例えば3板CCDを用いた撮像装置(特許文献2:特開2008−51773号公報参照)など、カラー撮像が可能な撮像装置を用いても良い。
【0103】
また、撮像装置20、撮像光学系30、及び試料ステージ10等の具体的な構成については、上記した構成例以外にも様々な構成を用いて良い。また、図1、図12の構成例では、試料ステージ10の下方の照明光学系15を用いた透過型の顕微鏡装置の構成を例示したが、顕微鏡光学系としては、このような透過照明光学系に限らず、例えば反射照明光学系、落射蛍光光学系等を用いても良い。また、装置各部の動作を制御する制御装置50については、それらの動作を手動で制御する場合には、設けない構成としても良い。
【産業上の利用可能性】
【0104】
本発明は、撮像装置で試料を走査する構成において、焦点が伸張された観察画像を効率的に取得することが可能な画像取得装置として利用可能である。
【符号の説明】
【0105】
1A、1B…画像取得装置、S…試料(撮像対象)、10…試料ステージ、12…ステージ制御装置、15…照明光学系、20…撮像装置、21…画像処理装置、22…画像記憶部、25…CCDセンサ、26…光検出部、27…画素、28…電荷転送部、
30…撮像光学系、31…チューブレンズ、32…対物レンズ、33…焦点調整機構、35…液体レンズ、38…マクロ撮像装置、40、45…焦点振動制御装置、50…制御装置、51…撮像制御部、52…焦点制御部、56…表示部、57…入力部。
【技術分野】
【0001】
本発明は、試料の観察画像を取得するための画像取得装置に関するものである。
【背景技術】
【0002】
近年、病理学の分野などにおいて、パーソナルコンピュータ等の仮想空間上であたかも実際の顕微鏡で試料を見ているかのように操作可能なバーチャル顕微鏡が知られている。このバーチャル顕微鏡で扱われる試料データは、予め実際の顕微鏡を利用して高解像度で取得された試料の画像データに基づいている。
【0003】
このようにバーチャル顕微鏡で利用される試料の画像データ(バーチャルスライド)を取得する画像取得装置では、バーチャル顕微鏡での画像操作を実現するために、充分に高解像度で試料の画像を取得することが要求される。このような高解像度の画像取得には、例えば、撮像装置で試料を2次元に走査しながら撮像することによって、試料全体に対する観察画像を取得する方法が用いられている(例えば、特許文献1、2参照)。このように、試料を2次元に走査しながら画像を取得することで、試料全体の高解像度画像を短時間で取得することが容易となる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2007−233098号公報
【特許文献2】特開2008−51773号公報
【特許文献3】米国特許第7444014号公報
【特許文献4】特許第3191928号公報
【特許文献5】特表2004−507743号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記したような試料の観察画像の取得において、病理診断における病理サンプルは薄い切片であるが、細胞診などの場合にはそのサンプルは厚みがある。そのように厚みがある試料についての観察画像の取得では、顕微鏡の光軸に沿ったz軸方向(試料の深さ方向)の情報の取得が要求される場合がある。このような要求に対して、従来、z軸方向で焦点位置を変えた複数の焦点面で試料の走査を行って、深さ方向の位置が異なる複数の観察画像を取得する方法(Z−stack)が用いられている。このような方法によれば、バーチャルスライドにおいても、焦点位置を変えて試料の観察を行うことができる。
【0006】
これに対し、観察対象となる病理サンプル等の試料について、焦点深度を伸張した1枚の観察画像を作成する Extended Depth of Focus と呼ばれる方法がある(例えば、特許文献3〜5参照)。このような方法によって得られる焦点伸張画像は、z軸方向についての情報が集中したものであり、病理診断には適さない場合もあるが、FISH、CISH等においてz軸方向に分布する点を数えたり、画像をコンピュータで解析する場合などにおいては、このような機能が有効である。
【0007】
また、厚さが不均一な試料や、焦点が取りにくい薄い試料などについても、上記のような焦点伸張画像の機能を適用することにより、実用上、失敗が少ない試料の走査を実現することができる。また、Z−stackによる複数の観察画像の取得では、画像のスタックの数に比例してファイルサイズが増大するが、Extended Depth of Focus による焦点伸張画像の取得では、ファイルサイズが増大することはない。
【0008】
焦点伸張画像の取得方法としては、例えば、Z−stackにおける複数の観察画像から演算で焦点伸張画像を作成する方法が考えられる。しかしながら、この方法では、前提となるZ−stackの複数の画像を取得するために長時間を要し、また、上記したようにそのためのファイルサイズも増大する。また、焦点位置が異なる画像毎の位置ずれ補正や演算のために時間がかかり、特にバーチャルスライドのような大容量画像においては、それらの処理にかなりの時間を要するなど、実用上でいくつかの問題がある。
【0009】
また、焦点伸張画像の取得の他の方法として、試料を静止させた状態で試料の撮像中に焦点位置を変動させることで、焦点が伸張された観察画像を得る方法がある。しかしながら、このような方法においても、上述したバーチャルスライドのように、撮像装置で試料を走査しながら観察画像を取得する場合に、焦点位置を変動させながらの画像取得を走査と同時に行うことが可能かどうか、また、その方法については、これまでに充分な検討がなされていない。
【0010】
本発明は、以上の問題点を解決するためになされたものであり、撮像装置で試料を走査しながら試料の高解像度画像を取得する構成においても、焦点が伸張された観察画像を効率的に取得することが可能な画像取得装置を提供することを目的とする。
【課題を解決するための手段】
【0011】
このような目的を達成するために、本発明による画像取得装置は、(1)撮像対象となる試料を載置するための試料ステージと、(2)第1の方向を長手方向とする2次元画像の取得、及びTDI駆動が可能な撮像装置と、(3)試料ステージと撮像装置との間に配置された対物レンズを含む撮像光学系と、(4)試料を第1の方向とは異なる第2の方向に走査しながら撮像装置及び撮像光学系によって観察画像を取得するための走査手段と、(5)撮像光学系によって設定される試料での撮像の焦点が、試料に対して光軸方向に所定の振動周波数fsで振動するように、試料での焦点の振動を制御する焦点振動制御手段とを備え、(6)焦点振動制御手段は、撮像装置におけるTDI駆動での電荷転送速度及び転送画素数によって決まる撮像期間Tiに対し、撮像期間の逆数1/Tiを基本周波数として、振動周波数fsが基本周波数のNs倍(Nsは1以上の整数)に所定範囲内で一致するように、振動周波数fsを設定することを特徴とする。
【0012】
上記した画像取得装置においては、試料を走査するための撮像装置として、2次元画像の取得及びTDI(Time Delay and Integration)駆動が可能な撮像装置を用いている。TDI駆動は、各画素で発生する電荷の垂直転送のタイミングと、試料における撮像対象物(撮像対象部位)の移動タイミングとを同期することで、2次元画素構造での垂直方向(第1の方向に直交する方向)の画素段数分の積分露光を行う駆動方法である。このような撮像装置を用いることにより、試料を走査しながら画像を取得することが可能となり、試料について短時間に高感度な画像取得が可能となる。
【0013】
また、撮像装置と、対物レンズを含む撮像光学系とによって、第2の方向(好ましくは第1の方向に直交する方向)に試料を走査しながら観察画像を取得するとともに、その撮像の焦点を試料に対して光軸方向(z軸方向)に振動周波数fsで振動させつつ、画像の取得を行っている。このように、試料の走査においてラインセンサではなくTDIセンサを用いるとともに、焦点を振動させつつ画像を取得することにより、短時間で焦点が伸張された試料の観察画像が得られる。
【0014】
さらに、一般的な2次元撮像装置とは異なり、TDI駆動の撮像装置では、撮像対象物の移動タイミングに同期された1画素当たりの電荷転送速度と、転送画素数(垂直方向の画素段数)との積によって、試料の各撮像対象物に対する撮像期間Tiが決まる。このようなTDI駆動での撮像期間Tiに対して、上記した画像取得装置では、撮像期間の逆数1/Tiを基本周波数とし、振動周波数fsが基本周波数のNs倍に略一致するように、試料での焦点の振動を制御している。これにより、撮像装置におけるTDI駆動と、焦点の振動とを同期させて、試料の焦点伸張画像を効率的、かつ確実に取得することが可能となる。
【0015】
上記構成の画像取得装置において、TDI駆動と焦点振動との同期については、焦点振動制御手段は、焦点の振動周期をTs、撮像期間Tiに対する焦点の振動回数をNs、光軸方向での焦点の振動幅をZs、焦点深度の幅を2Dとして、振動回数Nsの全体での振動全期間Ns×Tsが、撮像期間Tiに対して下記式
ΔTs/Ts=D/2Zs
を満たす許容期間ずれΔTsの範囲内で一致するように、振動周波数fsを設定することが好ましい。このような構成によれば、焦点の振動幅Zsの全体について、焦点が伸張された試料の観察画像を好適に取得することができる。
【0016】
あるいは、焦点振動制御手段は、光の波長をλ、対物レンズの開口数をNA、対物レンズと試料との間の媒質の屈折率をn、焦点の振動周期をTs、撮像期間Tiに対する焦点の振動回数をNs、光軸方向での焦点の振動幅をZsとして、振動回数Nsの全体での振動全期間Ns×Tsが、撮像期間Tiに対して下記式
ΔTs/Ts=nλ/4Zs(NA)2
を満たす許容期間ずれΔTsの範囲内で一致するように、振動周波数fsを設定することが好ましい。このような構成によっても、焦点の振動幅Zsの全体について、焦点が伸張された試料の観察画像を好適に取得することができる。
【0017】
あるいは、焦点振動制御手段は、振動周波数fsが基本周波数のNs倍に一致するように、振動周波数fsを設定することとしても良い。この場合、撮像装置におけるTDI駆動と、焦点の振動とを完全に同期させて、焦点の振動幅Zsの全体について、焦点が伸張された試料の観察画像を高精度で確実に取得することができる。
【0018】
試料に対して焦点を振動させる構成については、具体的には、焦点振動制御手段が、対物レンズの位置または試料ステージの位置を光軸方向に変動させることで、試料での焦点を振動させる構成を用いることができる。あるいは、撮像光学系が、光軸上に設置された液体レンズを有し、焦点振動制御手段が、液体レンズにおける焦点条件を変動させることで、試料での焦点を振動させる構成を用いることができる。
【0019】
また、画像取得装置は、撮像装置におけるTDI駆動による試料の撮像動作を制御する撮像制御手段、及び焦点振動制御手段による焦点の振動動作を制御する焦点制御手段を含む制御装置を備えることとしても良い。このような制御装置を設けることにより、TDI駆動と焦点の振動との同期を含む画像取得装置の動作を好適に実現することができる。
【0020】
また、この場合、制御装置の焦点制御手段は、制御装置において指定された焦点の振動の有無及び焦点振動条件に基づいて、焦点振動制御手段による焦点の振動動作を制御することが好ましい。この場合、焦点の振動の有無、及び焦点振動条件については、制御装置に接続された入力手段からの入力内容によって指定する構成を用いることができる。あるいは、制御装置内での自動処理によって、各条件を指定する構成を用いても良い。
【発明の効果】
【0021】
本発明の画像取得装置によれば、試料を走査するための撮像装置として、2次元画像の取得及びTDI駆動が可能な撮像装置を用い、撮像装置及び撮像光学系による試料の走査中に、その撮像の焦点を試料に対して光軸方向に振動周波数fsで振動させつつ画像の取得を行うとともに、TDI駆動での撮像期間Tiに対して、撮像期間の逆数1/Tiを基本周波数とし、振動周波数fsが基本周波数のNs倍に所定範囲内で一致するように、試料での焦点の振動を制御することにより、TDI駆動と焦点の振動とを同期させて、試料の焦点伸張画像を効率的、かつ短時間に取得することが可能となる。
【図面の簡単な説明】
【0022】
【図1】画像取得装置の一実施形態の構成を示すブロック図である。
【図2】撮像装置における2次元センサの画素構造の一例を示す平面図である。
【図3】撮像装置におけるTDI駆動について示す模式図である。
【図4】撮像装置におけるTDI駆動、及び試料での撮像の焦点の振動制御について示す模式図である。
【図5】TDI駆動と焦点の振動との同期制御について示すグラフである。
【図6】TDI駆動と焦点の振動との同期制御における、焦点の振動の許容期間ずれについて示す図である。
【図7】焦点の振動の有無、及び焦点振動条件の指定画面の一例を示す図である。
【図8】撮像装置におけるTDI駆動による撮像動作の例を示す図である。
【図9】試料に対する焦点の振動動作の例を示す図である。
【図10】画像取得装置によって取得される試料の観察画像の例を示す図である。
【図11】画像取得装置によって取得される試料の観察画像の例を示す図である。
【図12】画像取得装置の他の実施形態の構成を示すブロック図である。
【発明を実施するための形態】
【0023】
以下、図面とともに、本発明による画像取得装置の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明のものと必ずしも一致していない。
【0024】
図1は、本発明による画像取得装置の一実施形態の構成を示すブロック図である。この画像取得装置1Aは、試料Sの観察画像の取得に用いられる透過型の顕微鏡装置として構成されている。撮像対象となる試料Sは、例えば生体サンプルであり、試料ステージ10上に載置されている。なお、以下の説明において、図1及び図2に示すように、画像取得装置1Aの光軸方向をz軸方向、z軸方向に直交する撮像装置20での2次元画素構造の長手方向をx軸方向(第1の方向)、z軸方向及びx軸方向の両者に直交する方向をy軸方向(第2の方向)とする。
【0025】
試料ステージ10は、x軸方向及びy軸方向(水平方向)に可動なXYステージからなり、このXYステージ10をxy面内で駆動することにより、試料Sに対する撮像位置の設定、調整、試料Sの走査を行うことが可能となっている。また、試料ステージ10は、ステージ制御装置12によって駆動制御されている。試料ステージ10の下方には、照明光学系15が設けられている。照明光学系15は、例えば、撮像対象となる光像を生成するための光を試料Sへと供給する照明光源、及び照明光源からの光を試料Sへと入射させる導光光学系によって構成される。
【0026】
照明光学系15からの光が照射されるステージ10上の試料Sに対し、ステージ10の上方の所定位置に、撮像装置20が設置されている。この撮像装置20としては、x軸方向を長手方向とする2次元画像の取得、及びTDI駆動が可能な撮像装置が用いられる。また、この撮像装置20に対し、撮像装置20で取得された画像データについて必要な処理を行う画像処理装置21、及び撮像装置20で取得され、または画像処理装置21で処理された画像データを必要に応じて記憶する画像記憶部22が設けられている。
【0027】
図2は、撮像装置20における2次元センサの画素構造の一例を示す平面図である。本画像取得装置1Aにおける撮像装置20としては、好ましくはTDI駆動が可能な2次元CCDセンサを有するCCDカメラが用いられる。図2においては、この撮像装置20の2次元CCDセンサ25における画素構造を示している。
【0028】
本構成例による2次元CCDセンサ25は、光検出部26と、電荷転送部28とを備えている。光検出部26は、2次元アレイ状に配列され、それぞれ光電変換機能を有する複数の画素27を有し、各画素27において光入射量に応じて生成された電荷を画像データとして出力するように構成されている。また、光検出部26は、その画素の配列軸であるx軸、y軸について、x軸方向を長手方向として構成されており、これによって、x軸方向を長手方向とする2次元画像の取得が可能となっている。なお、図2においては、x軸方向(水平転送方向)での画素数を64画素、y軸方向(垂直転送方向)での画素数を8画素とした場合の画素構造を模式的に示している。
【0029】
また、この光検出部26に対し、その図中の上方にx軸方向に沿って電荷転送部28が設けられている。この電荷転送部28は、光検出部26を構成する複数の垂直シフトレジスタから出力されて並列に入力した電荷を水平方向に転送して、出力端から出力する水平シフトレジスタである。なお、CCDセンサ25におけるTDI駆動を含む撮像装置20の動作については、具体的には後述する。
【0030】
試料ステージ10と撮像装置20との間には、試料Sの光像を導光する撮像光学系30が設けられている。本実施形態においては、撮像光学系30は、チューブレンズ31と、対物レンズ32とを有して構成されている。また、対物レンズ32に対して焦点調整機構33が設けられており、この焦点調整機構33によって対物レンズ32の位置をz軸方向に変動させることで、試料Sに対する焦点位置を調整する構成となっている。
【0031】
これらの撮像装置20及び撮像光学系30に対し、試料ステージ10は、撮像装置20及び撮像光学系30によって試料Sをy軸方向(第1の方向とは異なる第2の方向)に走査しながら、試料Sの観察画像を取得するための走査手段として機能する。すなわち、試料ステージ10をy軸方向に移動しつつ試料Sの撮像を行うことにより、撮像装置20によって試料Sが走査されながら、その高解像度の観察画像が取得される。また、このような試料Sの走査をx軸方向の走査位置を変更して複数回行って、得られた複数の画像を合成することにより、高解像度、かつ広範囲での試料Sの観察画像を得ることができる。
【0032】
また、本実施形態では、撮像装置20及び撮像光学系30からなる上記撮像系に対し、別個の撮像系として、マクロ撮像装置38がさらに設けられている。このマクロ撮像装置38は、撮像装置20での高解像度の画像(ミクロ画像)の取得に先立って、試料Sの全体像の把握などに用いられる低解像度の画像(マクロ画像)を取得する際に用いられる。また、撮像装置20に対応する撮像位置と、マクロ撮像装置38に対応する撮像位置との間での試料Sの移動は、例えば試料ステージ10の駆動によって行われる。
【0033】
さらに、対物レンズ32の焦点調整機構33に対し、焦点振動制御装置40が設けられている。この焦点振動制御装置40は、撮像光学系30によって設定される試料Sでの撮像の焦点が、試料Sに対して光軸方向(z軸方向)に所定の振動周波数fsで振動するように、試料Sでの焦点の振動を制御する焦点振動制御手段である。
【0034】
具体的には、焦点振動制御装置40は、撮像装置20におけるTDI駆動での電荷転送速度及び転送画素数によって決まる撮像期間Tiに対し、撮像期間の逆数1/Tiを基本周波数とし、振動周波数fsが基本周波数のNs倍(Nsは1以上の整数)に所定範囲内で一致するように振動周波数fsを設定して、焦点振動の制御を行う。また、本実施形態では、焦点振動制御装置40は、焦点調整機構33によって対物レンズ32の位置を光軸方向に変動させることで、試料Sでの撮像の焦点を振動させる。これにより、試料Sの観察画像として、後述するように焦点が伸張された画像が取得される。
【0035】
これらの試料ステージ10、ステージ制御装置12、撮像装置20、撮像光学系30、及び焦点振動制御装置40に対し、装置各部の動作を制御する制御装置50が設けられている。制御装置50は、例えばCPU及び必要なメモリ、ハードディスクなどの記憶装置を含むコンピュータによって構成される。また、この制御装置50に対して、表示部56及び入力部57が接続されている。表示部56は、例えばCRTディスプレイまたは液晶ディスプレイであり、本画像取得装置1Aの動作に必要な操作画面の表示、あるいは取得された試料Sの観察画像の表示等に用いられる。また、入力部57は、例えばキーボードまたはマウスであり、画像取得に必要な情報の入力、画像取得動作についての指示の入力等に用いられる。
【0036】
図1に示す構成においては、制御装置50は、撮像制御部51と、焦点制御部52とを有している。撮像制御部51は、撮像装置20におけるTDI駆動による試料Sの撮像動作を制御する。また、焦点制御部52は、焦点振動制御装置40による撮像の焦点の振動動作を制御する。このような撮像動作及び焦点の振動動作の制御は、自動で、または操作者の指示等に基づいて行われる。
【0037】
このような構成の画像取得装置1Aにおいて、試料Sの画像取得を行う場合、まず、ステージ10上に載置された試料Sは、XYステージ10を駆動することによってマクロ撮像装置38による撮像位置へと移動される。そして、撮像装置38によって、試料Sの全体像を示す低解像度のマクロ画像が取得され、このマクロ画像を用いて、制御装置50において、実際に撮像対象となる範囲等の撮像条件が認識、設定される。
【0038】
ここで、撮像対象の試料Sとしては、例えば、生体サンプルがのったスライドグラスを用いることができる。この場合、スライドグラス中で生体サンプルが存在する範囲が、撮像対象範囲として認識される。なお、生体サンプル自体が試料Sとしてステージ10上に載置される場合には、スライドグラスは不要である。また、撮像対象範囲があらかじめ決まっている場合には、このようなマクロ撮像装置38は不要である。
【0039】
次に、撮像対象範囲が認識された試料Sを、XYステージ10を駆動することによって撮像装置20及び撮像光学系30による撮像位置へと移動する。また、焦点調整機構33によって焦点を制御しつつ試料Sの撮像対象範囲に対して焦点計測を行って、試料Sを走査する際の焦点位置の情報が取得される。この場合の焦点位置については、撮像対象範囲の全体に対して一定であっても良く、あるいは、例えば焦点面、2次元焦点マップなどのように各撮像位置で焦点位置が異なっても良い。試料Sに対する焦点計測については、具体的には様々な方法を用いて良い。また、焦点位置情報があらかじめ与えられている試料Sについて撮像を行う場合には、このような焦点計測は不要である。
【0040】
続いて、取得された焦点位置情報を参照しつつ、撮像装置20のTDI駆動と、試料ステージ10での試料Sの走査とによって、試料Sの高解像度の観察画像であるミクロ画像の取得を実行する。この際、上述したように、焦点振動制御装置40によって、撮像装置20での撮像期間Tiの逆数1/Tiを基本周波数とし、そのNs倍に略一致するように設定された振動周波数fsによって、試料Sでの撮像の焦点を振動させる。これにより、試料Sについての焦点が伸張された観察画像が取得される。
【0041】
図1及び図2に示した画像取得装置1Aにおける撮像動作、及び焦点の振動動作について、図3〜図5を参照してさらに具体的に説明する。なお、図3、図4においては、説明の簡単のため、TDI駆動での電荷転送方向となるy軸方向(CCDセンサの垂直方向)についての転送画素数を6画素として、TDI駆動の方法を模式的に図示している。
【0042】
図3は、撮像装置20におけるTDI駆動による試料Sの撮像動作について示す模式図である。図3(a)は、TDI駆動における撮像対象物の移動及びCCDセンサの光検出部での電荷の垂直転送について示している。また、図3(b)は、対物レンズ32及び撮像の焦点Fの光軸方向の位置の時間変化を示している。また、図3(c)は、TDI駆動による蓄積電荷量の時間変化を示している。
【0043】
図3(a)に示すように、TDI駆動による撮像動作では、撮像装置20によって試料Sをy軸方向に走査しながら画像取得を行う場合に、試料Sにおける撮像対象物(撮像対象部位)Aの移動と、CCDセンサの光検出部の垂直シフトレジスタにおける電荷の転送とが同期するように、試料ステージ10、及び撮像装置20を駆動する。このような駆動方法では、図3(c)に示すように、撮像対象物Aのデータ取得において、画素1〜6で電荷が転送されるごとに、光電変換によって生成されて蓄積された電荷が増加する。
【0044】
これにより、垂直方向の転送画素数がn段(図3の例では6段)のTDIセンサでは、1次元ラインセンサ(n=1)などと比べてその露光時間、すなわちTDI駆動における撮像期間Tiをn倍に長くすることができ、高い感度での試料Sの撮像が可能となる。また、このような試料Sの走査及び撮像において、対物レンズ32の光軸方向の位置、及びそれによる試料Sでの撮像の焦点Fについては、従来の構成では、例えば、図3(b)に示すように基準焦点位置F0において一定に保たれ、もしくは、焦点面、2次元焦点マップ等の焦点位置情報に基づいて通常の焦点制御が行われる。
【0045】
図4は、撮像装置20におけるTDI駆動、及び試料Sでの撮像の焦点Fの振動制御について示す模式図である。なお、図4(a)に示す撮像対象物Aの移動及び電荷の垂直転送については、図3(a)に示したものと同様である。また、図4(b)〜図4(d)では、それぞれ、撮像装置20でのTDI駆動に対する対物レンズ32の光軸方向の位置、及びそれによる試料Sでの撮像の焦点Fの時間変化について示している。
【0046】
図4(b)に示す動作例では、図4(a)に示したTDI動作に対して対物レンズ32を光軸方向に移動し、基準焦点位置F0を含む上下の一定範囲において焦点Fを変化させている。このとき、撮像対象物Aに対応するCCDセンサでの蓄積電荷において、単一の焦点位置の情報ではなく、電荷が画素1から画素6まで移動する間に通過したすべての焦点位置の情報が蓄積されることとなり、取得される観察画像での焦点深度が実質的に伸張される。このような焦点伸張が、試料Sの焦点伸張画像の取得の基本原理である。
【0047】
ただし、TDI駆動の撮像装置20を用いた試料Sの撮像では、上記した撮像動作が試料Sでの各撮像対象部位に対して連続的に行われるため、撮像対象部位毎に、焦点Fの変動の始点が異なる位置となる。例えば、図4(c)に示す動作例では、始点となる焦点位置が基準焦点位置F0の上方近傍にあるため、基準焦点位置F0よりも上方の焦点位置の情報のみが蓄積され、それよりも下方の焦点位置の情報は蓄積されない。すなわち、図4(b)、(c)に示した動作方法では、TDI駆動を用いた試料Sの撮像において、全ての撮像対象部位に対して同様の焦点伸張の効果を得ることができない。
【0048】
これに対して、図1に示した画像取得装置1Aでは、TDI駆動での撮像期間Tiの逆数1/Tiを振動周波数fsに設定し、この周波数fsによって対物レンズ32及び撮像の焦点Fの位置を光軸方向に振動させる。このとき、図4(d)に示すように、TDI動作の周期に対し、撮像の焦点Fが基準焦点位置F0を含む上下の一定範囲(振動範囲)において、その焦点位置が往復するように変化する。このような構成では、焦点Fの振動の始点が異なる場合であっても、焦点位置は常に振動範囲の全体を通過する。したがって、このような動作方法では、試料Sの撮像において、全ての撮像対象部位に対して同様の焦点伸張の効果を得ることができ、試料Sの撮像対象範囲の全体について、同様の条件で焦点伸張画像を好適に取得することができる。
【0049】
図5は、上述した画像取得装置1AにおけるTDI駆動と、焦点Fの振動との同期制御について示すグラフである。ここでは、焦点Fの振動制御を、その振動の時間波形として三角波を用いて行う場合を例として示している。
【0050】
図5のグラフ(a)は、図4(d)に関して上記したように、TDI駆動での撮像期間Tiの逆数1/Tiを振動周波数fsに設定した場合の焦点Fの振動制御の例を示している。この動作例では、基準焦点位置を位置0として、焦点位置をその上下の−Z〜+Z、振動幅Zsの範囲で振動させている。この場合、撮像期間Tiに対する焦点の振動回数はNs=1であり、振動周期はTs=Tiである。また、振動回数Nsの全体での振動全期間Ns×Tsは、撮像期間Tiと一致している。
【0051】
また、このような焦点伸張画像の取得は、TDI駆動での撮像期間Tiの逆数1/Tiをそのまま振動周波数fsに設定した構成に限られない。すなわち、より一般には、撮像期間Tiの逆数1/Tiを基本周波数として、そのNs倍(Nsは1以上の整数、fs=Ns/Ti)となるように振動周波数fsを設定する構成を用いることができる。このような場合にも、上記と同様に、焦点伸張画像を好適に取得することができる。
【0052】
図5のグラフ(b)は、そのような動作の一例として、TDI駆動での撮像期間Tiの逆数の2倍である2/Tiを振動周波数fsに設定した場合の焦点Fの振動制御の例を示している。この場合、撮像期間Tiに対する焦点の振動回数はNs=2であり、振動周期はTs=Ti/2である。また、振動回数Nsの全体での振動全期間Ns×Tsは、撮像期間Tiと一致している。また、Nsを3以上に設定した場合においても、同様に振動制御及び焦点伸張画像の取得を実行することが可能である。
【0053】
本実施形態による画像取得装置1Aの効果について説明する。
【0054】
図1及び図2に示した画像取得装置1Aにおいては、試料Sを走査するための撮像装置20として、x軸方向を長手方向とした2次元画像の取得及びTDI駆動が可能な2次元CCDセンサ25を含む撮像装置を用いている。TDI駆動は、図3に示したように、各画素で発生する電荷の垂直転送のタイミングと、試料Sにおける撮像対象物Aの移動タイミングとを同期することで、2次元画素構造でのy軸方向の画素段数分の積分露光を行う駆動方法である。このような撮像装置20を用いることにより、試料Sについて高感度での画像取得が可能となる。
【0055】
また、撮像装置20と、対物レンズ32を含む撮像光学系30とによって、所定の走査方向(上記した例では、CCDセンサ25の画素構造の長手方向に直交するy軸方向)に試料Sを走査して観察画像を取得するとともに、その撮像の焦点Fを試料Sに対して光軸方向に振動周波数fsで振動させつつ、画像の取得を行っている。これにより、焦点Fが伸張された試料Sの観察画像が得られる。
【0056】
さらに、TDI駆動の撮像装置20では、撮像対象物Aの移動に同期された1画素当たりの電荷の転送速度と、転送画素数(垂直方向の画素段数)との積によって、試料Sの各撮像対象部位Aに対する実質的な露光時間である撮像期間Tiが決まる。例えば、試料Sの走査速度と同期した電荷転送速度が0.2msec/pixelで、垂直方向の転送画素数が64画素の場合、撮像期間はTi=0.2×64=12.8msecである。
【0057】
このような撮像装置20のTDI駆動での撮像期間Tiに対して、上記した画像取得装置1Aでは、撮像期間の逆数1/Tiを基本周波数とし、振動周波数fsが基本周波数のNs倍に一致するように、焦点振動制御装置40による試料Sでの焦点の振動を制御している。これにより、撮像装置20におけるTDI駆動と、焦点Fの振動とを同期させて、試料Sの焦点伸張画像を効率的、かつ確実に取得することが可能となる。
【0058】
なお、これらの撮像装置20での電荷転送速度、撮像期間Ti、及び焦点の振動周波数fsについては、対物レンズ32の倍率などの撮像光学系30の具体的な構成、及び撮像装置20の構成等に応じて設定される。例えば、倍率40倍の対物レンズに対して、上記したように撮像装置20における撮像期間をTi=12.8msecとすると、振動回数がNs=1であれば焦点の振動周波数はfs=1/Ti=78Hzである。
【0059】
ここで、焦点振動制御装置40による振動制御において、焦点Fの振動範囲−Z〜+Zについては、基準焦点位置F0に対してプラス側とマイナス側とで異なる振動範囲としても良い。また、その振動幅Zsについては、試料Sの走査の全体において一定の振動幅としても良く、あるいは走査中に振動幅を変更する構成としても良い。また、振動幅Zsについては、撮像対象となる試料Sの厚み等を考慮して設定することが好ましい。また、基準焦点位置F0についても、焦点計測を行って得られた最適な焦点位置から上下にオフセットがある位置を基準焦点位置としても良い。
【0060】
また、焦点振動の時間波形については、図5においては三角波を用いた例を示したが、所定の周期及び周波数で焦点を振動させることが可能なものであれば、具体的には様々な振動波形を用いて良い。そのような波形としては、例えば正弦波や余弦波による振動波形がある。正弦波を用いた場合、三角波に比べて対物レンズ32の位置及び焦点位置の変動が滑らかになるという利点がある。また、このような振動波形については、実際に焦点を振動する機構やその駆動方法の特性を考慮して設定することが好ましい。
【0061】
焦点の振動周波数fsの具体的な設定については、上記した焦点制御の例では、基本周波数1/TiのNs倍に実質的に一致するように振動周波数fsを設定している。この場合、撮像装置20におけるTDI駆動と、焦点振動制御装置40による焦点の振動とを完全に同期させて、焦点Fの振動幅Zsの全体について、焦点が伸張された試料Sの観察画像を確実かつ精度良く取得することができる。
【0062】
また、焦点の振動周波数fsについては、一般には、焦点振動の周波数のずれについて撮像精度等の観点から想定される許容範囲等を考慮し、振動周波数fsが基本周波数のNs倍に所定範囲内で一致するように設定することとしても良い。このような構成によっても、撮像装置20におけるTDI駆動と焦点Fの振動とを充分な精度で同期させて、試料Sの焦点伸張画像を効率的、かつ確実に取得することが可能である。そのような所定範囲としては、例えば、焦点の振動周期をTs、撮像期間Tiに対する焦点の振動回数をNsとして、振動回数Nsの全体での振動全期間Ns×Tsが、撮像期間Tiに対して、振動周期Tsを下回らない条件で振動周期Tsの50%の範囲内で一致することが好ましい。
【0063】
また、TDI駆動と焦点振動との同期の所定範囲については、具体的には、焦点振動制御装置40において、焦点の振動周期をTs、撮像期間Tiに対する焦点の振動回数をNs、光軸方向での焦点の振動幅をZs、焦点深度の幅を2Dとして、振動回数Nsの全体での振動全期間Ns×Tsが、撮像期間Tiに対して下記式
ΔTs/Ts=D/2Zs
を満たす許容期間ずれΔTsの範囲内で一致するように、振動周波数fsを設定することが好ましい。このような構成によれば、焦点の振動幅Zsの全体について、焦点が伸張された試料の観察画像を好適に取得することができる。
【0064】
あるいは、焦点振動制御装置40において、光の波長をλ(例えば、0.4μm〜0.7μmの可視光波長であればよく、好ましくは基準波長として一般的に用いられる緑の波長λ=0.55μm)、対物レンズ32の開口数をNA、対物レンズ32と試料Sとの間の媒質(例えば空気)の屈折率をn、焦点の振動周期をTs、撮像期間Tiに対する焦点の振動回数をNs、光軸方向での焦点の振動幅をZsとして、振動回数Nsの全体での振動全期間Ns×Tsが、撮像期間Tiに対して下記式
ΔTs/Ts=nλ/4Zs(NA)2
を満たす許容期間ずれΔTsの範囲内で一致するように、振動周波数fsを設定することが好ましい。このような構成によっても、焦点の振動幅Zsの全体について、焦点が伸張された試料の観察画像を好適に取得することができる。
【0065】
上記したTDI駆動と焦点振動との同期の許容期間ずれΔTsについて、図6を参照して説明する。図6は、TDI駆動と焦点の振動との同期制御における、焦点の振動の許容期間ずれについて示す図である。図6(a)は、対物レンズ32による撮像における焦点F及び焦点深度について示している。また、図6(b)は、上記した焦点振動の許容期間ずれΔTsについて説明するグラフである。
【0066】
図6(a)に示すように、対物レンズ32による焦点深度は、焦点位置Fに対してプラス側に+D、マイナス側に−Dと表すことができる。また、このとき全体としての焦点深度の幅は2Dとなる。このような焦点深度の幅2Dが存在することを考慮すると、その範囲内ではTDI駆動と焦点振動との同期がずれた場合でも、実質的に同期しているときとほぼ同等の焦点伸張効果が得られると考えられる。したがって、この対物レンズ32での焦点深度の幅2Dから、許容期間ずれΔTsを設定することができる。
【0067】
ここで、図6(b)のグラフに示すように、焦点の振動周期がTs、撮像期間Tiに対する焦点の振動回数がNs=1、光軸方向での焦点の振動幅がZsの場合を考える。このような焦点振動では、振動周期Tsの終点において焦点深度の一方の幅Dの分だけ振動量が少ない場合でも、焦点深度Dの効果により、擬似的に1周期の焦点振動が達成される。したがって、この焦点深度Dから、振動周期Tsについて、擬似的に1周期の焦点振動が実現可能な範囲となる許容期間ずれΔTsを算出することができる。
【0068】
この許容期間ずれΔTsについては、図6(b)のグラフからわかるように、Zs/2:Ts/4=D:ΔTsが成り立つ。したがって、この関係から、上述した許容期間ずれΔTsの式
ΔTs/Ts=D/2Zs
=100×D/2Zs(%)
が得られる。
【0069】
また、焦点深度±Dについては、様々な定義があるが、通常、上記したように光の波長をλ、対物レンズ32の開口数をNA、対物レンズ32と試料Sとの間の媒質の屈折率をnとして
D=nλ/2(NA)2
と近似される。この焦点深度Dを上記の許容期間ずれΔTsに代入すると、下記式
ΔTs/Ts=nλ/4Zs(NA)2
=100×nλ/4Zs(NA)2(%)
が得られる。したがって、これらのΔTs/Tsについての条件式を、焦点の振動制御における許容期間ずれΔTsとして適用することができる。また、これらの条件式は、焦点振動の振動回数Nsが2以上の場合にも、同様に適用することができる。
【0070】
許容期間ずれΔTsの具体例として、開口数NAが異なる対物レンズを用いて倍率が異なる画像を取得する場合を考える。ここで、上記した各パラメータについては、光の波長をλ=0.55μm、対物レンズと試料との間の媒質である空気の屈折率をn=1、試料Sの厚みに相当する振動幅をZs=10μmとする。このとき、倍率が40倍、開口数がNA=0.75の対物レンズを用いると、焦点深度はD=0.49μm、許容期間ずれはΔTs=2.45%となる。また、倍率が20倍、開口数がNA=0.5の対物レンズを用いると、焦点深度はD=1.1μm、許容期間ずれはΔTs=5.5%となる。
【0071】
次に、1つの対物レンズを用いて倍率が異なる画像を取得する場合を考える。一般に、焦点の振動制御において、その振動周波数fsは対物レンズの倍率等によって異なる値となるが、振動周波数が高すぎると、光学系と共振して好適な撮像条件が得られない場合がある。このような問題に対し、例えば、試料Sの撮像で高倍率(例えば40倍)の単一の対物レンズを用い、低倍率(例えば20倍)の画像についてはビニング処理によって画像を作成する方法を用いることができる。この場合、対物レンズの開口数は倍率に関わらずNA=0.75となり、許容期間ずれはΔTs=2.45%となる。
【0072】
ここで、試料Sの撮像において、焦点の振動制御を用いずに焦点深度を伸張する方法としては、例えば、撮像光学系における対物レンズ及びコンデンサレンズの開口を絞る方法がある。このとき、上記したように焦点深度は開口数NAの2乗に反比例するため、開口数NAを小さくすれば焦点深度は大きくなる。しかしながら、このような方法では、空間解像度や画質が劣化する。
【0073】
また、顕微鏡で解像できるサイズは対物レンズのNAとコンデンサレンズのNAとの和に反比例するため、コンデンサレンズのNAを小さくすると、解像可能なサイズが大きくなって解像度が劣化する。また、対物レンズのNAについては、一般にレンズ毎に固定されている。したがって、コンデンサレンズのNAを小さくすることによる焦点深度の伸張には限界がある。
【0074】
また、焦点深度を伸張する方法として、Z−stackによって得られる複数の観察画像から演算によって焦点伸張画像を作成する方法が考えられる。しかしながら、このような方法では、上述したように、Z−stackの複数の観察画像を取得するために長時間を要するなどの問題がある。
【0075】
また、特許文献3(米国特許第7444014号公報)に記載された ExtendedDepth of Focus による撮像方法では、2次元センサを用いて顕微鏡の1視野に対する撮像を行っており、TDI駆動の撮像装置を用いて試料を走査しながら撮像を行う構成には適用することができない。また、このような構成において、試料の走査を行わずに大視野の画像を取得する場合、視野を移動して、その都度焦点振動及び画像取得を行うステップアンドリピートの動作を続ける必要があり、全体として画像取得時間が長くなる。
【0076】
また、特許文献5(特表2004−507743号公報)では、TDIセンサを用いた試料の走査において、TDIセンサを走査方向に対して傾けて配置することで、焦点深度を伸張している。しかしながら、このような構成による焦点伸張画像の取得では、以下のような問題がある。
【0077】
すなわち、撮像装置の位置と、試料上の焦点位置とは、顕微鏡の総合倍率に対して2乗の関係にある。例えば、顕微鏡の総合倍率が20倍とすると、試料上で10μmの焦点伸張を行う場合、撮像装置側では、20×20×10μm=4mmの幅をとる必要がある。これを撮像装置を傾けることで実現する場合、傾き角度を30度と仮定すると、TDIセンサの転送方向のサイズを8mm以上にする必要がある。
【0078】
一般に、TDIセンサでは、図2に模式的に示したように、垂直転送方向での画素数は水平方向に比べて少ない。例えば、浜松ホトニクス社製のS10202−16では、水平方向の画素数4096に対して、垂直方向の画素数128であり、また、垂直方向での1画素の幅は12μmである。この場合、TDIセンサの光検出部全体での垂直転送方向の幅は128×12μm=1536μmである。
【0079】
このような構成において、上記した20倍の顕微鏡の総合倍率の条件では、試料上で約1.915μmの焦点伸張しか得られない。したがって、このような構成で広い焦点伸張を実現するには、解像度を犠牲にして全体の倍率を下げるか、もしくは、TDI駆動の垂直転送方向での画素数を増やすか画素幅を大きくするなど、特殊な構造のTDIセンサを用いる必要がある。また、センサのサイズとその傾きによって焦点位置に幅を持たせる構成では、試料上の焦点位置が変わると同時に光学的倍率も変化することとなり、したがって、焦点伸張を行った画像に歪みを生じる場合がある。
【0080】
また、TDIセンサを光軸に対して傾ける構成では、焦点伸張の幅は光学系の総合倍率と、TDIセンサの垂直転送方向の幅によって決まる。一方、TDIセンサにおいては、試料の移動方向とセンサとの位置精度が画質に影響を与えるため、TDIセンサは、位置等を調整した後に固定することが好ましい。また、TDIセンサを傾ける角度を変えた場合には、センサ上での撮像対象物の相対的な移動速度が変わるため、TDI駆動における転送クロック等も変更する必要がある。これらの点から、TDIセンサを光軸に対して傾ける構成では、焦点伸張の条件を可変に制御することが難しい。
【0081】
これに対して、上記実施形態の画像取得装置1Aでは、TDIセンサを含む撮像装置20と、対物レンズ32を含む撮像光学系30とによって試料Sを走査して観察画像を取得するとともに、その撮像の焦点Fを試料Sに対して光軸方向にTDI動作と同期する振動周波数fsで振動させつつ、画像の取得を行っている。これにより、上述したように、焦点伸張画像を効率的かつ確実に取得することが可能となる。また、このような構成では、焦点振動条件の設定により、焦点伸張の条件を可変に制御することが可能である。
【0082】
図1に示した画像取得装置1Aの具体的な構成について、さらに説明する。試料Sに対して焦点を振動させる構成については、図1に示した構成例では、焦点振動制御装置40が、焦点調整機構33を介して対物レンズ32の位置を物理的に、光軸方向に変動させることで、試料Sでの焦点Fを振動させる構成を用いている。この場合の焦点調整機構33としては、例えば対物レンズ32に取り付けたピエゾアクチュエータを用いることができる。また、焦点振動制御装置40としては、例えばピエゾアクチュエータの駆動制御装置を用いることができる。また、焦点調整機構33として、例えばボイスコイルモータ、ステッピングモータ、サーボモータ等を用いても良い。また、焦点振動制御装置40については、焦点調整機構33自体が焦点振動制御手段として機能する構成としても良い。
【0083】
また、焦点を振動させる構成として、図1において破線で示したように、焦点振動制御装置40が、ステージ制御装置12を介して試料ステージ10の位置を光軸方向に変動させることで、試料Sでの焦点Fを振動させる構成を用いても良い。この場合、試料ステージ10としては、Zステージの機能を有するものを用いる必要がある。また、このような構成においても、試料ステージ10及びステージ制御装置12自体が焦点振動制御手段として機能する構成としても良い。
【0084】
また、図1に示した画像取得装置1Aでは、TDI駆動による撮像動作を制御する撮像制御部51と、焦点の振動動作を制御する焦点制御部52とを有する制御装置50を設けている。このような制御装置50を設けることにより、TDI駆動と焦点の振動との同期を含む装置各部の動作を好適に制御、実行することができる。
【0085】
この場合、焦点制御部52は、制御装置50において指定された焦点の振動の有無、及び焦点振動条件に基づいて、焦点振動制御装置40による焦点の振動動作を制御することが好ましい。この場合、焦点の振動の有無、及び焦点振動条件については、制御装置50に接続された入力部57からの操作者による入力内容によって指定する構成を用いることができる。
【0086】
また、このように入力部57からの入力内容に基づいて焦点振動を制御する場合、制御装置50は、表示部56によって操作者に対して、それらの制御条件を入力させるための指定画面を表示することが好ましい。図7は、そのような焦点の振動の有無、及び焦点振動条件の指定画面の一例を示す図である。図7に示す指定画面58では、焦点の振動の有無(焦点伸張の要否)を操作者に指定させるための第1入力部58aと、焦点振動条件を指定させるための第2入力部58bとが設けられている。また、第2入力部58bでは、焦点振動条件として、焦点振動範囲を指定する上下それぞれでの振動幅を、サブミクロン単位で別個に指定可能な構成となっている。
【0087】
これらの焦点振動の制御条件については、制御装置50内での演算プログラムを用いた自動処理によって各制御条件を指定する構成を用いても良い。そのような構成としては、例えば、試料Sの厚みを計測によって自動検出し、その結果に基づいて、焦点の振動幅を自動で設定する構成が考えられる。
【0088】
また、焦点の振動制御における許容期間ずれΔTsは、上記したように、振動幅(試料Sの厚み)Zs、対物レンズ32の開口数NAなどのパラメータを用いて算出することができる。したがって、開口数NAなどの必要なパラメータをあらかじめ制御装置50に記憶させておけば、振動幅Zs等を指定することによって自動的に許容期間ずれΔTsを算出することができる。また、この許容期間ずれΔTsについては、焦点の振動制御において、期間ずれがΔTsを超えた場合のエラー検出、あるいは再測定の指示等に用いることも可能である。
【0089】
画像取得装置1Aにおいて取得される試料Sの観察画像については、上述した焦点伸張によって広い焦点範囲での情報を含んでいるが、焦点の振動範囲が広いと、焦点が合っていない部分の情報がぼけ成分として画像に反映される場合がある。このようなぼけ成分が問題となる場合には、画像処理を行うことでぼけ成分を取り除くことが可能である。この場合の画像処理の例としては、簡便な方法としてアンシャープマスクフィルタを観察画像に適用することにより、画質を改善することができる。
【0090】
また、ヒストグラム均等化法、あるいは、光学パラメータと対物レンズ32の振動幅などからデコンボリューション処理によってぼけ成分を除去する方法などを用いることも可能である。また、これらの画像処理については、図1に示す構成において、画像処理装置21において実行される構成としても良く、あるいは、制御装置50において実行される構成としても良い。また、このようなぼけ補正の画像処理については、観察画像の取得と同期させてリアルタイムで実行しても良く、あるいは、画像取得後に別に実行する構成としても良い。
【0091】
撮像装置20に用いられる2次元CCDセンサでのTDI駆動、及びそれに同期させた焦点の振動制御について、その具体的な一例を説明する。図8は、撮像装置20におけるTDI駆動による撮像動作の例を示す図である。また、図9は、試料Sに対する焦点の振動動作の例を示す図である。
【0092】
なお、図8に示すCCDセンサのTDI駆動においては、垂直方向についての転送画素数を、3画素(6受光部)としている。また、図9に示す焦点の振動制御では、撮像期間Tiに対する焦点の振動回数をNs=1としている。また、図9において、グラフ(a)は振動波形として三角波を用いた場合の焦点振動を示し、グラフ(b)は振動波形として正弦波を用いた場合の焦点振動を示している。
【0093】
図8において、図8(a)は、垂直転送方向についての2次元CCDセンサの光検出部の構成を示している。この構成例では、2相の転送電圧P1、P2による2相駆動のCCDセンサを用いている。このような2相駆動のCCDセンサでは、画素1〜3のそれぞれにおける各受光部は垂直方向に2つの部分に分割され、そのうちでポテンシャルが低い転送方向下流側の部分が実質的な受光部として機能するようになっている。
【0094】
図8(b)〜(g)は、それぞれ、時刻t1〜t6での各画素のポテンシャル、及び各画素における蓄積電荷量を示している。時刻t1では、受光部1、3、5のポテンシャルが受光部2、4、6よりも低くなるように転送電圧P1、P2が印加される。このとき、図8(b)に示すように、最も左側の受光部1において光電変換によって電荷が生成、蓄積される。また、同時に、図9のグラフ(a)、(b)に示すように、対物レンズ32の位置及びそれによる撮像の焦点位置が、位置aを起点として振動を開始する。
【0095】
次に、時刻t2では、受光部2、4、6のポテンシャルが受光部1、3、5よりも低くなるように転送電圧P1、P2が印加される。このとき、図8(c)に示すように、受光部1にあった電荷が受光部2へと転送されるとともに、受光部2において光電変換によってさらに電荷が生成、蓄積される。また、この時点では、対物レンズ32による撮像の焦点位置は位置bに移動している。したがって、時刻t1に受光部1で蓄積される電荷による画像データと、時刻t2に受光部2で蓄積される電荷による画像データとでは、試料Sにおける焦点位置が異なるデータとなっている。
【0096】
同様にして、図8(d)〜(g)に示すように、時刻t3、t4、t5、t6では、電荷が受光部3、4、5、6へと順に転送されるとともに、各受光部において光電変換によってさらに電荷が生成、蓄積される。また、これらの時点では、対物レンズ32による撮像の焦点位置は位置c、d、e、fに移動している。以上の動作により、撮像装置20のTDI駆動CCDセンサでの蓄積電荷において、焦点の振動幅Zs(−Z〜+Z)の全体について、焦点が伸張された画像データが得られる。また、受光部6に到達した電子は、水平シフトレジスタとして機能する電荷転送部(図2参照)へと出力され、電荷転送部を介して画像データ信号として外部へと読み出される。
【0097】
上記実施形態による画像取得装置1Aを用いて取得される試料Sの観察画像の例について説明する。図10、図11は、それぞれ画像取得装置1Aによって取得される試料Sの観察画像の例を示す図である。図10は、焦点振動制御を適用せずに取得された焦点伸張なしの観察画像を示している。この画像では、試料S中における深さ方向の位置により、焦点が合っている部分と、合っていない部分とが存在している。
【0098】
これに対して、図11(a)は、上述した焦点振動制御を適用して取得された焦点伸張ありの観察画像を示している。この画像では、図10の画像と比べて全体的に焦点が合っており、焦点深度が伸張されていることがわかる。また、図11(b)は、図11(a)の焦点伸張画像に対して、さらにぼけ成分除去のための画像補正処理を行った結果を示している。この画像では、深さ方向について全体的に焦点が合っており、かつコントラストが高い画像が得られている。
【0099】
図12は、本発明による画像取得装置の他の実施形態の構成を示すブロック図である。本実施形態による画像取得装置1Bの構成は、基本的に図1に示した画像取得装置1Aと同様であるが、試料Sでの撮像の焦点を振動させるための構成が画像取得装置1Aとは異なっている。すなわち、図12に示す画像取得装置1Bでは、撮像光学系30において、撮像装置20とチューブレンズ31との間の光軸上に液体レンズ35が挿入されている。また、この液体レンズ35に対し、焦点振動制御装置45が設けられている。
【0100】
試料Sに対して焦点を振動させる構成については、図12の構成例に示すように、撮像光学系30に液体レンズ35を設けるとともに、焦点振動制御装置45が、液体レンズ35における焦点条件を光学的に変動させて撮像装置20のTDI駆動CCDセンサに投影される試料Sの焦点位置を変えることで、試料Sでの焦点Fを振動させる構成を用いることも可能である。
【0101】
このような構成では、対物レンズ32等の光学要素に物理的な振動を与えることなく、焦点振動を実現することが可能である。ただし、このように液体レンズ35を用いる構成では、焦点振動制御に伴って画像の拡大率も変動するため、焦点の振動範囲の設定において注意が必要である。また、液体レンズ35以外にも、例えばディフォーマブルミラーを用いて焦点振動制御を行うことも可能である。
【0102】
本発明による画像取得装置は、上記した実施形態及び構成例に限られるものではなく、様々な変形が可能である。例えば、試料Sの走査については、上記実施形態では試料ステージ10をXYステージとして走査を行う構成を例示したが、ステージ10をxy面内で固定として、撮像装置20及び撮像光学系30をxy面内で駆動することによって、試料Sの走査を行う構成としても良い。また、試料Sの観察画像を取得する撮像装置20については、例えば3板CCDを用いた撮像装置(特許文献2:特開2008−51773号公報参照)など、カラー撮像が可能な撮像装置を用いても良い。
【0103】
また、撮像装置20、撮像光学系30、及び試料ステージ10等の具体的な構成については、上記した構成例以外にも様々な構成を用いて良い。また、図1、図12の構成例では、試料ステージ10の下方の照明光学系15を用いた透過型の顕微鏡装置の構成を例示したが、顕微鏡光学系としては、このような透過照明光学系に限らず、例えば反射照明光学系、落射蛍光光学系等を用いても良い。また、装置各部の動作を制御する制御装置50については、それらの動作を手動で制御する場合には、設けない構成としても良い。
【産業上の利用可能性】
【0104】
本発明は、撮像装置で試料を走査する構成において、焦点が伸張された観察画像を効率的に取得することが可能な画像取得装置として利用可能である。
【符号の説明】
【0105】
1A、1B…画像取得装置、S…試料(撮像対象)、10…試料ステージ、12…ステージ制御装置、15…照明光学系、20…撮像装置、21…画像処理装置、22…画像記憶部、25…CCDセンサ、26…光検出部、27…画素、28…電荷転送部、
30…撮像光学系、31…チューブレンズ、32…対物レンズ、33…焦点調整機構、35…液体レンズ、38…マクロ撮像装置、40、45…焦点振動制御装置、50…制御装置、51…撮像制御部、52…焦点制御部、56…表示部、57…入力部。
【特許請求の範囲】
【請求項1】
撮像対象となる試料を載置するための試料ステージと、
第1の方向を長手方向とする2次元画像の取得及びTDI駆動が可能な撮像装置と、
前記試料ステージと前記撮像装置との間に配置された対物レンズを含む撮像光学系と、
前記試料を前記第1の方向とは異なる第2の方向に走査しながら前記撮像装置及び前記撮像光学系によって観察画像を取得するための走査手段と、
前記撮像光学系によって設定される前記試料での撮像の焦点が、前記試料に対して光軸方向に所定の振動周波数fsで振動するように、前記試料での焦点の振動を制御する焦点振動制御手段とを備え、
前記焦点振動制御手段は、前記撮像装置におけるTDI駆動での電荷転送速度及び転送画素数によって決まる撮像期間Tiに対し、前記撮像期間の逆数1/Tiを基本周波数として、前記振動周波数fsが前記基本周波数のNs倍(Nsは1以上の整数)に所定範囲内で一致するように、前記振動周波数fsを設定することを特徴とする画像取得装置。
【請求項2】
前記焦点振動制御手段は、焦点の振動周期をTs、前記撮像期間Tiに対する焦点の振動回数をNs、光軸方向での焦点の振動幅をZs、焦点深度の幅を2Dとして、振動回数Nsの全体での振動全期間Ns×Tsが、前記撮像期間Tiに対して下記式
ΔTs/Ts=D/2Zs
を満たす許容期間ずれΔTsの範囲内で一致するように、前記振動周波数fsを設定することを特徴とする請求項1記載の画像取得装置。
【請求項3】
前記焦点振動制御手段は、光の波長をλ、前記対物レンズの開口数をNA、前記対物レンズと前記試料との間の媒質の屈折率をn、焦点の振動周期をTs、前記撮像期間Tiに対する焦点の振動回数をNs、光軸方向での焦点の振動幅をZsとして、振動回数Nsの全体での振動全期間Ns×Tsが、前記撮像期間Tiに対して下記式
ΔTs/Ts=nλ/4Zs(NA)2
を満たす許容期間ずれΔTsの範囲内で一致するように、前記振動周波数fsを設定することを特徴とする請求項1または2記載の画像取得装置。
【請求項4】
前記焦点振動制御手段は、前記振動周波数fsが前記基本周波数のNs倍に一致するように、前記振動周波数fsを設定することを特徴とする請求項1〜3のいずれか一項記載の画像取得装置。
【請求項5】
前記焦点振動制御手段は、前記対物レンズの位置または前記試料ステージの位置を光軸方向に変動させることで、前記試料での焦点を振動させることを特徴とする請求項1〜4のいずれか一項記載の画像取得装置。
【請求項6】
前記撮像光学系は、光軸上に設置された液体レンズを有し、前記焦点振動制御手段は、前記液体レンズにおける焦点条件を変動させることで、前記試料での焦点を振動させることを特徴とする請求項1〜5のいずれか一項記載の画像取得装置。
【請求項7】
前記撮像装置におけるTDI駆動による前記試料の撮像動作を制御する撮像制御手段、及び前記焦点振動制御手段による焦点の振動動作を制御する焦点制御手段を含む制御装置を備えることを特徴とする請求項1〜6のいずれか一項記載の画像取得装置。
【請求項8】
前記焦点制御手段は、前記制御装置において指定された焦点の振動の有無及び焦点振動条件に基づいて、前記焦点振動制御手段による焦点の振動動作を制御することを特徴とする請求項7記載の画像取得装置。
【請求項1】
撮像対象となる試料を載置するための試料ステージと、
第1の方向を長手方向とする2次元画像の取得及びTDI駆動が可能な撮像装置と、
前記試料ステージと前記撮像装置との間に配置された対物レンズを含む撮像光学系と、
前記試料を前記第1の方向とは異なる第2の方向に走査しながら前記撮像装置及び前記撮像光学系によって観察画像を取得するための走査手段と、
前記撮像光学系によって設定される前記試料での撮像の焦点が、前記試料に対して光軸方向に所定の振動周波数fsで振動するように、前記試料での焦点の振動を制御する焦点振動制御手段とを備え、
前記焦点振動制御手段は、前記撮像装置におけるTDI駆動での電荷転送速度及び転送画素数によって決まる撮像期間Tiに対し、前記撮像期間の逆数1/Tiを基本周波数として、前記振動周波数fsが前記基本周波数のNs倍(Nsは1以上の整数)に所定範囲内で一致するように、前記振動周波数fsを設定することを特徴とする画像取得装置。
【請求項2】
前記焦点振動制御手段は、焦点の振動周期をTs、前記撮像期間Tiに対する焦点の振動回数をNs、光軸方向での焦点の振動幅をZs、焦点深度の幅を2Dとして、振動回数Nsの全体での振動全期間Ns×Tsが、前記撮像期間Tiに対して下記式
ΔTs/Ts=D/2Zs
を満たす許容期間ずれΔTsの範囲内で一致するように、前記振動周波数fsを設定することを特徴とする請求項1記載の画像取得装置。
【請求項3】
前記焦点振動制御手段は、光の波長をλ、前記対物レンズの開口数をNA、前記対物レンズと前記試料との間の媒質の屈折率をn、焦点の振動周期をTs、前記撮像期間Tiに対する焦点の振動回数をNs、光軸方向での焦点の振動幅をZsとして、振動回数Nsの全体での振動全期間Ns×Tsが、前記撮像期間Tiに対して下記式
ΔTs/Ts=nλ/4Zs(NA)2
を満たす許容期間ずれΔTsの範囲内で一致するように、前記振動周波数fsを設定することを特徴とする請求項1または2記載の画像取得装置。
【請求項4】
前記焦点振動制御手段は、前記振動周波数fsが前記基本周波数のNs倍に一致するように、前記振動周波数fsを設定することを特徴とする請求項1〜3のいずれか一項記載の画像取得装置。
【請求項5】
前記焦点振動制御手段は、前記対物レンズの位置または前記試料ステージの位置を光軸方向に変動させることで、前記試料での焦点を振動させることを特徴とする請求項1〜4のいずれか一項記載の画像取得装置。
【請求項6】
前記撮像光学系は、光軸上に設置された液体レンズを有し、前記焦点振動制御手段は、前記液体レンズにおける焦点条件を変動させることで、前記試料での焦点を振動させることを特徴とする請求項1〜5のいずれか一項記載の画像取得装置。
【請求項7】
前記撮像装置におけるTDI駆動による前記試料の撮像動作を制御する撮像制御手段、及び前記焦点振動制御手段による焦点の振動動作を制御する焦点制御手段を含む制御装置を備えることを特徴とする請求項1〜6のいずれか一項記載の画像取得装置。
【請求項8】
前記焦点制御手段は、前記制御装置において指定された焦点の振動の有無及び焦点振動条件に基づいて、前記焦点振動制御手段による焦点の振動動作を制御することを特徴とする請求項7記載の画像取得装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図12】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図12】
【図10】
【図11】
【公開番号】特開2011−59515(P2011−59515A)
【公開日】平成23年3月24日(2011.3.24)
【国際特許分類】
【出願番号】特願2009−210739(P2009−210739)
【出願日】平成21年9月11日(2009.9.11)
【出願人】(000236436)浜松ホトニクス株式会社 (1,479)
【Fターム(参考)】
【公開日】平成23年3月24日(2011.3.24)
【国際特許分類】
【出願日】平成21年9月11日(2009.9.11)
【出願人】(000236436)浜松ホトニクス株式会社 (1,479)
【Fターム(参考)】
[ Back to top ]