撮像装置
【課題】 精度良く任意の位置での対象物の焦点位置を決定し、対象物の全体画像を短時間で取得すること
【解決手段】 対象物の表面形状を計測する計測部と、光源からの光で前記対象物を照明する照明光学系と、前記光で照明された対象物を結像するための撮像光学系と、前記撮像光学系の像面に配置された複数の撮像素子と、前記対象物の合焦位置検出点が前記像面に結像するときの前記対象物の位置である合焦位置を検出するための合焦位置検出手段と、を有する撮像部とを備え、前記撮像部は、前記合焦位置検出手段の検出結果と前記計測部の計測結果とを用いて、前記対象物の前記合焦位置検出点とは異なる点における前記対象物の合焦位置を決定する合焦位置決定手段を有し、前記合焦位置決定手段の決定結果を用いて前記対象物を前記複数の撮像素子に合焦させた状態で撮像することを特徴とする。
【解決手段】 対象物の表面形状を計測する計測部と、光源からの光で前記対象物を照明する照明光学系と、前記光で照明された対象物を結像するための撮像光学系と、前記撮像光学系の像面に配置された複数の撮像素子と、前記対象物の合焦位置検出点が前記像面に結像するときの前記対象物の位置である合焦位置を検出するための合焦位置検出手段と、を有する撮像部とを備え、前記撮像部は、前記合焦位置検出手段の検出結果と前記計測部の計測結果とを用いて、前記対象物の前記合焦位置検出点とは異なる点における前記対象物の合焦位置を決定する合焦位置決定手段を有し、前記合焦位置決定手段の決定結果を用いて前記対象物を前記複数の撮像素子に合焦させた状態で撮像することを特徴とする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象物の像を取得するデジタル顕微鏡等の撮像装置に関する。
【背景技術】
【0002】
近年、検体全体から、細胞組織の細部にわたる外形情報を電子化画像として取り込み、モニターに表示して観察することができる撮像装置が注目されている。
【0003】
この種の撮像装置は、対象物を観察するのに必要な対物レンズの解像度(<1μm)に対して、対象物の寸法が大きい(数mm〜数十mm)という特徴がある。そこで、高い解像力でかつ広視野の画像を形成するためには、視野は狭いが解像度の高い対物レンズを用いて対象物の異なる部分の撮像を行い、各部分の画像をつなぎ合わせて一枚の全体画像を得る必要がある。
【0004】
しかしながら、対象物の部分毎に焦点ずれを計測し、焦点合わせを行って撮像していたのでは、一枚の全体画像を得るのに時間が掛かる。そこで、特許文献1は、スライドグラス上の3点以上の場所で焦点合わせを行い、標本(対象物)を保持するスライドグラスの傾きを求めることで、焦点合わせを行った3点以外の点における焦点位置を計算により推定することを開示している。また、特許文献2は、標本が存在する領域を予め求めておき、その中で基準点3点の焦点位置を計測してその3点を含む平面式を求め、求めた平面式から任意の位置での焦点位置を求めることを開示している。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特登録04332905
【特許文献2】特開2004−191959
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1及び2は、対象物表面の3点の焦点位置からそれらを含む平面式を取得しているが、実際の標本の表面は平面であるとは限らない。そのため、特許文献1や2の方法では、求めた任意の位置の焦点位置と実際の焦点位置が大きくずれ、ぼけた画像になってしまう、あるいは焦点合わせを再度行うことでより時間が掛かってしまう可能性がある。
【0007】
そこで、本発明は、より精度良く任意の位置での対象物の焦点位置を決定し、対象物の全体画像をより短時間で取得可能にすることを目的とする。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明の撮像装置は、対象物の表面形状を計測する計測部と、光源からの光で前記対象物を照明する照明光学系と、前記光で照明された対象物を結像するための撮像光学系と、前記撮像光学系の像面に配置された複数の撮像素子と、前記対象物の合焦位置検出点が前記像面に結像するときの前記対象物の位置である合焦位置を検出するための合焦位置検出手段と、を有する撮像部とを備え、前記撮像部は、前記合焦位置検出手段の検出結果と前記計測部の計測結果とを用いて、前記対象物の前記合焦位置検出点とは異なる点における前記対象物の合焦位置を決定する合焦位置決定手段を有し、前記合焦位置決定手段の決定結果を用いて前記対象物表面を前記複数の撮像素子に合焦させた状態で撮像することを特徴とする撮像装置。
【発明の効果】
【0009】
本発明によれば、より精度良く任意の位置での対象物の焦点位置を決定し、対象物の全体画像をより短時間で取得することが可能となる。
【図面の簡単な説明】
【0010】
【図1】撮像装置全体図
【図2】標本部200を表す図
【図3】標本位置と撮像領域とカメラ標本基準点BP0の関係
【図4】シャックハルトマン型波面センサ
【図5】シャックハルトマン型波面センサでの結像点位置を表す図
【図6】標本位置と撮像領域とセンサ標本基準点BP1の関係
【図7】センサ基準点BP1とその他の場所における表面形状のデータを表す図
【図8】結像面の標本像を表す図
【図9】合焦センサ部の構成と合焦原理を表す図
【図10】照明光と散乱光の光路を表す図
【図11】焦点位置取得時の照明を表す図
【図12】合焦位置に合わせた撮像素子の高さ調節を表す図
【図13】複数回の撮像による全体像取得を表す図
【図14】標本を合焦させる手順を示す図
【図15】カメラ標本基準点BP0・傾き検出点TPと合焦センサの関係を示す図
【図16】標本を合焦させる手順を示す図
【図17】撮像装置全体図
【図18】標本を合焦させる手順を示す図
【図19】多数の合焦センサを有する撮像部を表す図
【図20】撮像装置全体図
【図21】標本を合焦させる手順を示す図
【発明を実施するための形態】
【0011】
以下、本発明における撮像装置の実施形態について説明する。
【0012】
(第1実施形態)
図1は本発明における撮像装置の第1実施形態の概要図である。
【0013】
図1において、撮像装置1は、高い解像度でかつ広い視野を撮像するための撮像部である本体撮像系10と、観察対象物である標本の位置及び表面形状を計測するための計測部である計測光学系20を含んで構成される。
【0014】
本体撮像系10は、標本225が配置されている被照射面に光源ユニット110からの光を導く照明光学系100、標本の像を結像するための撮像光学系300、撮像光学系300の像面に複数の撮像素子430を配置した撮像素子部400を有する。
【0015】
また、計測光学系20は、標本ステージ210の位置を計測する位置計測器510、標本を照明するための光源520、ハーフミラー530、標本の位置を計測するカメラ540、標本の表面形状を計測するためのカメラセンサ550を有する。
【0016】
標本225は、例えばスライドガラスとカバーガラス(不図示、カバーガラスがない場合もある)との間に配置され、プレパラート220が構成される。そして、プレパラート220は、標本ステージ210上に載置され、標本ステージ210により本体撮像系10と計測光学系20の間で搬送される。
【0017】
以下、撮像光学系300の光軸をZ方向、撮像光学系300の光軸に垂直な平面をXY平面とする。
【0018】
次に、プレパラート220が標本ステージに載置された後、図14に示す標本の全体画像を取得する流れに沿って、これらの構成物の詳細を示す。
【0019】
まず、標本225を計測光学系20で計測できる位置に配置する(Step101)。
【0020】
そして、計測光学系20で、標本225の大きさ、撮像領域、撮像位置(標本基準点)及び表面形状を計測する(Step102)。
【0021】
カメラ540は、光源520からハーフミラー530を介して照明された光の透過光を利用し、標本ステージ210上における標本225の位置を認識するために標本225を撮像する。これにより、標本225の大きさや撮像領域、撮像位置等を計測する。カメラセンサ550は、シャックハルトマン型波面センサであり、標本225の表面形状を計測する。また、カバーガラスが標本225上に配置されている場合、カバーガラスの表面形状に沿って標本225の表面形状も変形するとも言われている。そのため、カバーガラスが標本225上に配置されている場合は、カバーガラスの表面形状を計測することで、それを標本225の表面形状としてもよい。
【0022】
標本ステージ210は、プレパラート220の位置を、Z方向やX、Y方向、もしくはZ方向に対して傾くように変えることができ、標本225と被照射面とが一致するように駆動する。図2では、標本ステージ210におけるプレパラート220及び標本225の位置と、カメラ540が撮像する領域540a、本撮像での撮像領域400a、標本基準点BP0を示している。本撮像での撮像領域400a、標本基準点BP0、標本の表面形状は、それぞれ処理部610で決定される。
【0023】
撮像領域400aは、標本225の大きさ、形及び位置と撮像光学系300で撮像できる範囲とから決定される。
【0024】
図3に示すように、標本基準点BP0は、カメラ540から見る標本の代表的な位置を表し、撮像領域400aを決定した後、撮像した画像の座標(a0,b0)として決定される。
【0025】
標本基準点BP0は、例えば本体撮像系10の基準点を撮像光学系300の光軸中心とした場合、計測光学系20で決定した撮像領域400aを本体撮像系10での撮像領域と一致させたときに、撮像光学系300の光軸中心に対応する位置に決定される。そのため、標本基準点BP0は、予め決定された本体撮像系10の基準点(本体基準点)の位置に従って決定される。
【0026】
ステージ駆動量は、装置組み立て時に予め取得しておいた「ステージ位置(位置計測器510で計測)」、「画像座標」、「本体撮像系の基準位置(本体基準点)」の3点における位置関係データを使い、本体基準点と標本基準点BP0を一致させるように算出する。
【0027】
このようにして、本撮像での撮像領域400a、標本の表面形状、標本の位置(標本基準点BP0)が決定される。
【0028】
次に、カメラセンサ550を使って、標本225またはカバーガラスの表面形状を計測する方法を示す。カメラセンサ550は、上述したようにシャックハルトマン型波面センサであり、図4で示すように、撮像素子551とマイクロレンズアレイ552で構成される。カメラセンサ550は、光源520とハーフミラー530によって照明された標本225またはカバーガラスの反射光を受光する。そのとき、カメラセンサ550のマイクロレンズアレイ552に入射した光は、撮像素子551上に複数の点像を形成する。もし、標本225またはカバーガラスからの反射光が、理想的な平面であったとき、点像は図4(a)で示すように等間隔に配列される。逆に標本225表面の一部に歪みがあれば、その部分からの反射光は図4(b)で示すように理想点像位置からずれた場所で結像される。
【0029】
撮像素子551上で見ると、標本225またはカバーガラスの表面が理想的な平面であれば、図5(a)で示すように黒丸で示す結像点は規則的に見られる。一方、標本225表面(対象物表面)の一部に歪みがあれば、図5(b)で示すように結像点は白丸で示す理想的な結像点からずれる。理想的な結像点と実際の結像点との差分は、標本225またはカバーガラスの表面の理想平面からの傾きを示すことになる。そのため、これらを各計測点でつなぎ合わせることで標本またはカバーガラス表面のZ方向の凹凸を取得することができ、標本225またはカバーガラスの表面形状を取得することができる。このようにして、標本225表面の異なる複数の点における、撮像光学系300の光軸に直交する方向(X、Y方向)の位置および光軸に平行する方向(Z方向)の位置に関する情報を取得する。
【0030】
図6にて、撮像素子551上での標本位置、結像点位置、標本基準点BP1、カメラセンサ550が観察する領域550aの関係を示す。標本基準点BP1は、カメラセンサ550から見る標本の代表的な位置を表す。以下、カメラ540から見る標本の代表的な位置である標本基準点BP0と区別するために、標本基準点BP0をカメラ標本基準点BP0とし、標本基準点BP1をセンサ標本基準点BP1とする。
【0031】
センサ標本基準点BP1は、カメラ標本基準点BP0の位置と同様に、本体撮像系10での撮像領域と計測光学系20で決定した撮像領域400aを一致させるように決定される。つまり、センサ標本基準点BP1は、撮像領域400aにおけるカメラ標本基準点BP0に対応する位置に決定される。そのため、センサ標本基準点BP1は、カメラ標本基準点BP0が決定されることで一意に決まる。
【0032】
ここで、センサ標本基準点BP1の座標を(a1,b1)とする。このとき、例えば図7で示すように、センサ標本基準点BP1を(Xa1b1,Ya1b1,Za1b1)=(0,0,0)といったデータで表現する。そして、センサ標本基準点BP1以外の点ではセンサ標本基準点BP1からの変位量(Xxy,Yxy,Zxy)といったデータで表現する。ここで小文字x、yは、表面形状データのセルの列行を示す。このようにして、標本225の表面形状を計測し取得する。
【0033】
次に、標本225を撮像するために、標本ステージ210を駆動し、カメラ標本基準点BP0を本体基準点に一致させる(Step103)。
【0034】
図1に戻って、以下に、本体撮像系10の詳細を示す。照明光学系100は、光源ユニット110で発せられる光をオプティカルインテグレータ部120で重畳し、標本225の面全体を均一な照度で照明する。光源ユニット110は標本225を照明するための光束を放射しており、例えば1つまたは複数のハロゲンランプやキセノンランプ、LED等で構成されている。撮像光学系300は、照明された標本225の像を広画角かつ高い解像度で撮像面に結像する光学系である。図8(a)で示す標本225は、撮像光学系300によって、撮像面で図8(b)の点線で示すように像225Aとして結像される。
【0035】
撮像部400は、撮像ステージ410と、電気回路基板420と撮像素子430と合焦センサ440で構成される。撮像素子430は、図8(b)で示すように、電気回路基板420上に隙間を空けて配置されており、撮像ステージ410で撮像光学系300の結像面に一致するように配置されている。合焦センサ440は、合焦位置検出手段であり、標本225の合焦位置検出点を検出する。合焦センサ440は、電気回路基板420上に配置されるが、本体撮像系10と計測光学系20の位置合わせをする際の本体基準点としての役割を持つ。
【0036】
合焦センサ440は、例えば均一照明された標本を撮像した画像のコントラストを高速で処理できる二次元撮像素子であってもよいし、光量で焦点位置を決定するために複数の光量計で構成してもよい。ここで、合焦位置情報取得のための合焦センサ440の構成や合焦位置取得方法について、複数の光量計で構成した場合についての例を、図9を用いて説明する。
【0037】
合焦センサ440は、図9(a)に示すように撮像光学系300からの光301をハーフプリズム442によって分割し、異なる位置の光量を光量センサ441で取得するように構成されている。2つの光量センサ441の受光面441a、441bは撮像光学系300によってできる最小スポットサイズと同程度の大きさとすることで、ピンホールと同じ効果を持たせている。また、2つの受光面441a、441bは撮像光学系300の像面から等距離となるように調整されており、2つの受光面441a、441bが同じ光量を検出した時に撮像光学系300の像面と標本225の結像位置が一致するように構成されている。
【0038】
図9(b)は、結像位置によって変化する2つの受光面441a、441bに入射する光量Ia、Ibを縦軸に、横軸を結像位置として実線と点線で表したものである。図9(c)では、(Ia−Ib)/(Ia+Ib)を縦軸に、横軸を結像位置として表している。図9(b)に示すように、それぞれの光量センサに入射する光量の曲線は同じ形状でピークを持った形状となる。このとき、図9(c)に示すように、(Ia−Ib)/(Ia+Ib)は、ある結像位置では0となり、撮像素子440と標本225の結像位置が一致している状態となる。(Ia−Ib)/(Ia+Ib)が正の場合は前ピン状態、負の場合は後ピン状態というように2つの光量センサ441で受ける光量の差や比によって結像位置情報を定量的に計測することができる。
【0039】
また、合焦位置情報取得の際は暗視野照明として、標本225の散乱光のみを取得することで、信頼性を高めることができる。たとえば、照明光学系100からの照明NAを撮像光学系300で取り込めるNAよりも大きくして、照明光が撮像光学系300内に入らないようにすれば、標本225の散乱光のみを取得することができる。これを、照明光を実線、散乱光を点線として模式的に表すと、図10(a)のようになる。
【0040】
もしくは、照明光学系100からの照明を、撮像光学系の光軸にきわめて平行にしつつ、撮像光学系300の瞳面等で照明光を遮光部350により遮光する構成にしても、標本225の散乱光のみを取得することができる。これを、照明光を実線、散乱光を点線として模式的に表すと、図10(b)のようになる。
【0041】
また、図11のように、照明光学系100とは別の照明光学系111を用意し、撮像光学系300で取り込める範囲311よりも大きい角度で斜め方向から照明する。すると、標本部からの反射光が撮像光学系300に取り込まれず、標本220の散乱光のみを取得することができる。これを、照明光を実線、散乱光を点線として模式的に表すと、図10(c)のようになる。
【0042】
また、合焦専用のセンサを持たず、複数ある撮像素子430のどれかを合焦センサとして選択し、さらに選択した撮像素子の特定の画素を本体基準点とし、上述の方法を適用して焦点を合わせることもできる。
【0043】
以上のような構成、方法により、合焦センサ440で合焦位置を決定する。
【0044】
標本ステージ210をZ方向に駆動させながら、合焦センサ440で標本225のカメラ標本基準点BP0における合焦位置を求める(Step104)。
【0045】
ここでは、カメラ標本基準点BP0と合焦センサ440が撮像光学系300に対して共役な位置関係となるように標本225を配置する。標本225の画像を取得する際には、表面だけでなく、内部に焦点を合せて撮像する場合もあるため、合焦位置検出点は、標本225の表面だけでなく、標本225の内部にとることもできる。
【0046】
そして、カメラ標本基準点BP0で合焦した後、計測光学系500で得た表面形状データを標本全体に適用する(Step105)。
【0047】
ここではまず、カメラ標本基準点BP0と本体基準点を撮像光学系300で物点と像点の合焦関係にさせる。そして、カメラ標本基準点BP0以外の部分は、合焦センサ440の検出結果と予め得られた表面形状データを用いて、合焦位置決定手段としての処理部610でその合焦位置を決定する。このとき、センサ標本基準点BP1を、撮像領域400aにおけるカメラ標本基準点BP0に対応する位置に設定している場合は、カメラ標本基準点BP0での合焦位置を基準として、予め得られた表面形状データを適用する。つまり、カメラ標本基準点BP0での合焦位置を表面形状データの基準点であるセンサ標本基準点BP1に対応させ、センサ標本基準点BP1からの差分(表面形状)をZ方向の焦点位置ずれとして適用することで、標本全面における合焦位置を決定する。そして、センサ標本基準点BP1を、カメラ標本基準点BP0に対応する位置とは異なる位置に設定している場合は、表面形状データの中のカメラ標本基準点BP0に対応する位置とカメラ標本基準点BP0での合焦位置を対応させる。そして、表面形状データを標本全面に適用する。
【0048】
このようにすることで、少ない合焦動作で、標本225の表面から内部にわたって合焦位置を取得することが可能となる。
【0049】
ただし、撮像素子部側での焦点位置ずれ量に関しては、撮像光学系300の光学(横)倍率βを考慮する。例えば、撮像光学系が奇数回結像し、標本上の任意の点(Xxy,Yxy)でセンサ標本基準点BP1に対してZxyの焦点ずれがある場合を考える。その場合、撮像面側ではXY平面上の点(−Xxy×β,−Yxy×β)の位置でZxy×β2の焦点ずれを適用する。
【0050】
そして、実際に画面全体の焦点位置を合わせる場合は、標本ステージ210と各撮像素子430の位置が共役関係になるように、各々の相対位置を変える(Step106)。例えば、図12で示すように、Z方向の駆動、XY軸回りの回転を可能なように各撮像素子を構成する。そして、表面形状と倍率βを考慮し、標本225に合焦した状態で撮像できるように、合焦位置の決定結果を用いて各撮像素子430を駆動する。また、標本全体の焦点位置ずれ量が最小になるように標本ステージ210をZ方向に駆動したりXY軸回りに傾けたりしてもよい。
【0051】
ここまでが画面全体の焦点を合わせて画像を取得するまでの手順であるが、本例において撮像部は複数の撮像素子430が離散的に配置されているため、一度の撮像では、画面全体を撮像できない。ゆえに、標本225と撮像部400を、撮像光学系300の光軸方向に垂直な平面に対して相対的に変動させながら撮像し、離散的な画像を合成することで標本全体の画像を形成する必要がある。
【0052】
ここから、標本全体を一枚の画像として撮像する際の、標本225および標本ステージ210の動きと撮像光学系300や撮像部400の関係について説明する。図13にて、複数の撮像素子430を格子状に配置し、標本部200をXY平面上で3回ずらしながらその都度撮像し、撮像画像を張り合わせている例を示す。図13(a)〜図13(d)は、標本ステージ210を、撮像光学系300の光軸に対して垂直な方向に、各撮像素子430の間を埋めるようにしてずらしながら撮像した場合における、撮像素子430と標本の像225’の関係を示す。
【0053】
図13(a)の位置で1回目の撮像を行った場合、標本225の像225’は図13(e)に示すように撮像素子の存在する領域のみ(影部)が離散的に撮像される。次に、標本ステージ210をずらし図13(b)の位置で2回目の撮像を行った場合、先に取得した画像と組み合わせると、図13(f)に示す影部を撮像していることになる。更に、標本ステージ210をずらし図13(c)の位置で3回目の撮像を行った場合、先に取得した画像と組み合わせると、図13(g)に示す影部を撮像していることになる。更に標本ステージ210をずらして図13(d)の位置に標本225を移動させて撮像し、これまでの3回の撮像で取得した画像と重なり合わせると、図13(h)で示す撮像領域全体を画像化することができる。
【0054】
このようにして標本全体の画像を取得するが、合焦した画像を取得するために、上記4回の撮像それぞれで、図14のStep104〜Step106の焦点合わせを行う。
【0055】
以上が、大画角の光学系と複数の撮像素子を使って、合焦した高分解の全体画像を形成する方法である。
【0056】
(第2実施形態)
第1実施形態では、標本225の表面形状を計測し、カメラ標本基準点BP0を本体基準点と一致させた。そして、カメラ標本基準点BP0で撮像光学系の焦点位置を合わせ、表面形状のうねりに合わせて撮像素子等を駆動することで点BP0以外の複数の点でも焦点位置を合わせ、標本全体の合焦画像を取得した。
【0057】
しかし、計測光学系20側から本体撮像系10側にプレパラート220を搬送する間に、衝撃等によりプレパラート220が傾いてしまったような場合には、傾きを補正する必要がある。その場合、撮像部400に3点以上の合焦センサを一直線に並ばないように配置し、それらの合焦位置計測結果から標本225の傾きを算出して、標本ステージ210で傾きを補正することで、標本全体の合焦画像を取得してもよい。
【0058】
この場合の合焦方法について、図16に示す合焦手順に従って示す。ここでは第1実施形態の撮像の手順と同じ部分は省き、標本225を合焦する手順の部分のみを示す。
【0059】
3点の基準点のうち、1点が全面の合焦位置の基準となるカメラ標本基準点BP0であり、その他は傾き検出点TPとする(図15(a))。まず、標本ステージ210をZ方向に駆動し、合焦センサ440でカメラ標本基準点BP0と傾き検出点TPの合焦位置を取得する(Step201)。
【0060】
次に、カメラ標本基準点BP0での合焦位置が決定したときの、カメラ標本基準点BP0での合焦位置と傾き検出点TPでの合焦位置(Z方向)の差分を計算する(Step202)。
【0061】
そして、予め計測光学系20で得た表面形状の結果から、カメラ標本基準点BP0と傾き検出点TPにおける合焦位置(Z方向)の差分を計算する(Step203)。
【0062】
Step202とStep203の合焦位置の差分を比べ(Step204)、所定量以内であれば標本ステージ210の傾き補正は行わず合焦処理を完了し、所定量を超えていれば傾き量を計算する(Step205)。
【0063】
Step205で求めた傾き量を使って、標本ステージ210を駆動し、カメラ標本基準点BP0と傾き検出点TPにおける合焦位置(Z方向)の差分が所定量以内となるように傾きを補正する(Step206)。
【0064】
以上により、標本225の表面形状を計測し、カメラ標本基準点BP0での焦点位置を合わせ、表面形状(うねり)に合わせて焦点位置ずれを計算し、標本部200の駆動で発生した傾きを補正することで、標本全体の合焦画像を取得することができる。なお、傾きずれが大きい場合、Step206からStep201に戻り、同手順を繰り返し行っても良い。
【0065】
このようにすることで、より精度良く焦点合わせを行うことができる。
【0066】
(第3実施形態)
第1実施形態と第2実施形態で撮像光学系と計測光学系の光軸は異なっているが、例えば、図17に示すように、撮像光学系の光軸をハーフミラー等で分岐して、両者の光軸を一部同じにしても良い。この例では、計測光学系用の光源520からの光で標本225を照明し、その標本をカメラ540で撮像すると同時に、標本の表面形状をカメラセンサ550で計測している。
【0067】
この場合の合焦方法について、図18に示す合焦手順に従って示す。まず、標本部200を本体撮像系10で計測できる位置に配置し(Step301)、計測光学系20で、標本部200に置かれている標本225の大きさ、撮像領域400a、カメラ標本基準点BP0、表面形状を計測する(Step302)。
【0068】
次に、カメラ標本基準点BP0と合焦センサ(本体基準点)が撮像光学系300に対して共役な位置関係となるように、標本ステージ210をXY平面上で駆動させ、標本225の撮像領域を調整する(Step303)。
【0069】
そして、標本ステージ210をZ方向に駆動させながら、合焦センサでカメラ標本基準点BP0における合焦位置を求める(Step304)。このとき、カメラ標本基準点BP0と合焦センサが撮像光学系300に対して共役な位置関係となるように標本225を配置する。
【0070】
第1実施形態のStep105で説明したように、カメラ標本基準点BP0で合焦した後、本体基準点と、計測光学系500で得た表面形状データの基準点であるセンサ標本基準点BP1を一致させながら、画面全体に適用する(Step305)。
【0071】
画面全体の焦点位置を合わせる場合は、標本ステージと撮像素子の位置が共役関係になるように、各々の相対位置を変える(Step306)。
【0072】
Step304からStep306は、第2実施形態に倣って合焦センサを複数配置し、傾き検出の動作を入れるように変更してもよい。
【0073】
以上のようにすると、精度良く標本の全体画像を短時間で形成することができる。
【0074】
(第4実施形態)
第1実施形態から第3実施形態までは、シャックハルトマン型センサを用いて標本の表面形状を計測し、本体撮像系における基準点で焦点を合わせ、表面形状の結果から間接的に標本全体の焦点位置を決定していた。
【0075】
しかし、撮像部400において、図19のように各撮像素子430の間に複数の合焦センサを配置し、合焦センサのみで合焦位置を計測しても良い。この場合の合焦方法について、図20に示す装置全体図と、図21に示す合焦手順に従って示す。
【0076】
まず、標本部200を本体撮像系10で計測できる位置に配置し(Step401)、計測光学系20で、標本225の大きさ、撮像領域400a、カメラ標本基準点BP0、表面形状を計測する(Step402)。
【0077】
次に、カメラ標本基準点BP0と合焦センサ(本体基準点)が撮像光学系300に対して共役な位置関係となるように、標本ステージ210をZ方向に駆動させ、撮像領域を調整する(Step403)。
【0078】
そして、標本ステージ210を撮像光学系300のZ方向に駆動させながら、カメラ標本基準点BP0における標本225の合焦位置を求めつつ、カメラ標本基準点BP0と共役でない位置に配置される合焦センサでも合焦位置を計測する(Step404)。
【0079】
そうすると、複数点での合焦位置の結果から、合焦センサがない部分を含む画面内全面の合焦位置を割り出せる(Step405)。
【0080】
合焦位置の計算結果を画面全体の焦点位置を合わせるために、標本と撮像素子の位置が共役関係になるよう、各々の相対位置を変える(Step406)。
【0081】
また、Step404では、焦点位置を精密に求めるために、標本ステージ210をXY平面内で駆動させつつ、そのたびに各合焦センサで合焦位置を割り出し、合焦位置計測点を増やすことで、画面全体の焦点位置合わせ精度を高めてもよい。
【0082】
以上、本発明の撮像装置の実施形態として顕微鏡に適用した場合について説明した。各実施形態では標本に照射する光の透過光を像面に結像する透過型の光学系について示したが、落射型の光学系でも良い。
【0083】
また、いくつかの実施形態を示したが、多数の標本を撮像する場合では、第1実施形態や第2実施形態のように本体撮像系と計測光学系を分けて両者における処理を並列(同時)に行うことで、複数の標本を短時間で撮像できる。つまり、計測光学系では第1の検体の表面形状計測を行い、それと並行して、本体撮像系では第2の検体の撮像を行う。
【0084】
また、少数の標本を撮像する装置であれば、第3実施形態や第4実施形態で示すように、本体撮像系と計測光学系の光軸を一部同じにすることでコンパクトな構成にすることができる。
【符号の説明】
【0085】
1 撮像装置
10 本体撮像系
20 計測光学系
100 照明光学系
225 標本
300 撮像光学系
400 撮像部
430 撮像素子
440 合焦センサ
550 カメラセンサ
【技術分野】
【0001】
本発明は、対象物の像を取得するデジタル顕微鏡等の撮像装置に関する。
【背景技術】
【0002】
近年、検体全体から、細胞組織の細部にわたる外形情報を電子化画像として取り込み、モニターに表示して観察することができる撮像装置が注目されている。
【0003】
この種の撮像装置は、対象物を観察するのに必要な対物レンズの解像度(<1μm)に対して、対象物の寸法が大きい(数mm〜数十mm)という特徴がある。そこで、高い解像力でかつ広視野の画像を形成するためには、視野は狭いが解像度の高い対物レンズを用いて対象物の異なる部分の撮像を行い、各部分の画像をつなぎ合わせて一枚の全体画像を得る必要がある。
【0004】
しかしながら、対象物の部分毎に焦点ずれを計測し、焦点合わせを行って撮像していたのでは、一枚の全体画像を得るのに時間が掛かる。そこで、特許文献1は、スライドグラス上の3点以上の場所で焦点合わせを行い、標本(対象物)を保持するスライドグラスの傾きを求めることで、焦点合わせを行った3点以外の点における焦点位置を計算により推定することを開示している。また、特許文献2は、標本が存在する領域を予め求めておき、その中で基準点3点の焦点位置を計測してその3点を含む平面式を求め、求めた平面式から任意の位置での焦点位置を求めることを開示している。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特登録04332905
【特許文献2】特開2004−191959
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1及び2は、対象物表面の3点の焦点位置からそれらを含む平面式を取得しているが、実際の標本の表面は平面であるとは限らない。そのため、特許文献1や2の方法では、求めた任意の位置の焦点位置と実際の焦点位置が大きくずれ、ぼけた画像になってしまう、あるいは焦点合わせを再度行うことでより時間が掛かってしまう可能性がある。
【0007】
そこで、本発明は、より精度良く任意の位置での対象物の焦点位置を決定し、対象物の全体画像をより短時間で取得可能にすることを目的とする。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明の撮像装置は、対象物の表面形状を計測する計測部と、光源からの光で前記対象物を照明する照明光学系と、前記光で照明された対象物を結像するための撮像光学系と、前記撮像光学系の像面に配置された複数の撮像素子と、前記対象物の合焦位置検出点が前記像面に結像するときの前記対象物の位置である合焦位置を検出するための合焦位置検出手段と、を有する撮像部とを備え、前記撮像部は、前記合焦位置検出手段の検出結果と前記計測部の計測結果とを用いて、前記対象物の前記合焦位置検出点とは異なる点における前記対象物の合焦位置を決定する合焦位置決定手段を有し、前記合焦位置決定手段の決定結果を用いて前記対象物表面を前記複数の撮像素子に合焦させた状態で撮像することを特徴とする撮像装置。
【発明の効果】
【0009】
本発明によれば、より精度良く任意の位置での対象物の焦点位置を決定し、対象物の全体画像をより短時間で取得することが可能となる。
【図面の簡単な説明】
【0010】
【図1】撮像装置全体図
【図2】標本部200を表す図
【図3】標本位置と撮像領域とカメラ標本基準点BP0の関係
【図4】シャックハルトマン型波面センサ
【図5】シャックハルトマン型波面センサでの結像点位置を表す図
【図6】標本位置と撮像領域とセンサ標本基準点BP1の関係
【図7】センサ基準点BP1とその他の場所における表面形状のデータを表す図
【図8】結像面の標本像を表す図
【図9】合焦センサ部の構成と合焦原理を表す図
【図10】照明光と散乱光の光路を表す図
【図11】焦点位置取得時の照明を表す図
【図12】合焦位置に合わせた撮像素子の高さ調節を表す図
【図13】複数回の撮像による全体像取得を表す図
【図14】標本を合焦させる手順を示す図
【図15】カメラ標本基準点BP0・傾き検出点TPと合焦センサの関係を示す図
【図16】標本を合焦させる手順を示す図
【図17】撮像装置全体図
【図18】標本を合焦させる手順を示す図
【図19】多数の合焦センサを有する撮像部を表す図
【図20】撮像装置全体図
【図21】標本を合焦させる手順を示す図
【発明を実施するための形態】
【0011】
以下、本発明における撮像装置の実施形態について説明する。
【0012】
(第1実施形態)
図1は本発明における撮像装置の第1実施形態の概要図である。
【0013】
図1において、撮像装置1は、高い解像度でかつ広い視野を撮像するための撮像部である本体撮像系10と、観察対象物である標本の位置及び表面形状を計測するための計測部である計測光学系20を含んで構成される。
【0014】
本体撮像系10は、標本225が配置されている被照射面に光源ユニット110からの光を導く照明光学系100、標本の像を結像するための撮像光学系300、撮像光学系300の像面に複数の撮像素子430を配置した撮像素子部400を有する。
【0015】
また、計測光学系20は、標本ステージ210の位置を計測する位置計測器510、標本を照明するための光源520、ハーフミラー530、標本の位置を計測するカメラ540、標本の表面形状を計測するためのカメラセンサ550を有する。
【0016】
標本225は、例えばスライドガラスとカバーガラス(不図示、カバーガラスがない場合もある)との間に配置され、プレパラート220が構成される。そして、プレパラート220は、標本ステージ210上に載置され、標本ステージ210により本体撮像系10と計測光学系20の間で搬送される。
【0017】
以下、撮像光学系300の光軸をZ方向、撮像光学系300の光軸に垂直な平面をXY平面とする。
【0018】
次に、プレパラート220が標本ステージに載置された後、図14に示す標本の全体画像を取得する流れに沿って、これらの構成物の詳細を示す。
【0019】
まず、標本225を計測光学系20で計測できる位置に配置する(Step101)。
【0020】
そして、計測光学系20で、標本225の大きさ、撮像領域、撮像位置(標本基準点)及び表面形状を計測する(Step102)。
【0021】
カメラ540は、光源520からハーフミラー530を介して照明された光の透過光を利用し、標本ステージ210上における標本225の位置を認識するために標本225を撮像する。これにより、標本225の大きさや撮像領域、撮像位置等を計測する。カメラセンサ550は、シャックハルトマン型波面センサであり、標本225の表面形状を計測する。また、カバーガラスが標本225上に配置されている場合、カバーガラスの表面形状に沿って標本225の表面形状も変形するとも言われている。そのため、カバーガラスが標本225上に配置されている場合は、カバーガラスの表面形状を計測することで、それを標本225の表面形状としてもよい。
【0022】
標本ステージ210は、プレパラート220の位置を、Z方向やX、Y方向、もしくはZ方向に対して傾くように変えることができ、標本225と被照射面とが一致するように駆動する。図2では、標本ステージ210におけるプレパラート220及び標本225の位置と、カメラ540が撮像する領域540a、本撮像での撮像領域400a、標本基準点BP0を示している。本撮像での撮像領域400a、標本基準点BP0、標本の表面形状は、それぞれ処理部610で決定される。
【0023】
撮像領域400aは、標本225の大きさ、形及び位置と撮像光学系300で撮像できる範囲とから決定される。
【0024】
図3に示すように、標本基準点BP0は、カメラ540から見る標本の代表的な位置を表し、撮像領域400aを決定した後、撮像した画像の座標(a0,b0)として決定される。
【0025】
標本基準点BP0は、例えば本体撮像系10の基準点を撮像光学系300の光軸中心とした場合、計測光学系20で決定した撮像領域400aを本体撮像系10での撮像領域と一致させたときに、撮像光学系300の光軸中心に対応する位置に決定される。そのため、標本基準点BP0は、予め決定された本体撮像系10の基準点(本体基準点)の位置に従って決定される。
【0026】
ステージ駆動量は、装置組み立て時に予め取得しておいた「ステージ位置(位置計測器510で計測)」、「画像座標」、「本体撮像系の基準位置(本体基準点)」の3点における位置関係データを使い、本体基準点と標本基準点BP0を一致させるように算出する。
【0027】
このようにして、本撮像での撮像領域400a、標本の表面形状、標本の位置(標本基準点BP0)が決定される。
【0028】
次に、カメラセンサ550を使って、標本225またはカバーガラスの表面形状を計測する方法を示す。カメラセンサ550は、上述したようにシャックハルトマン型波面センサであり、図4で示すように、撮像素子551とマイクロレンズアレイ552で構成される。カメラセンサ550は、光源520とハーフミラー530によって照明された標本225またはカバーガラスの反射光を受光する。そのとき、カメラセンサ550のマイクロレンズアレイ552に入射した光は、撮像素子551上に複数の点像を形成する。もし、標本225またはカバーガラスからの反射光が、理想的な平面であったとき、点像は図4(a)で示すように等間隔に配列される。逆に標本225表面の一部に歪みがあれば、その部分からの反射光は図4(b)で示すように理想点像位置からずれた場所で結像される。
【0029】
撮像素子551上で見ると、標本225またはカバーガラスの表面が理想的な平面であれば、図5(a)で示すように黒丸で示す結像点は規則的に見られる。一方、標本225表面(対象物表面)の一部に歪みがあれば、図5(b)で示すように結像点は白丸で示す理想的な結像点からずれる。理想的な結像点と実際の結像点との差分は、標本225またはカバーガラスの表面の理想平面からの傾きを示すことになる。そのため、これらを各計測点でつなぎ合わせることで標本またはカバーガラス表面のZ方向の凹凸を取得することができ、標本225またはカバーガラスの表面形状を取得することができる。このようにして、標本225表面の異なる複数の点における、撮像光学系300の光軸に直交する方向(X、Y方向)の位置および光軸に平行する方向(Z方向)の位置に関する情報を取得する。
【0030】
図6にて、撮像素子551上での標本位置、結像点位置、標本基準点BP1、カメラセンサ550が観察する領域550aの関係を示す。標本基準点BP1は、カメラセンサ550から見る標本の代表的な位置を表す。以下、カメラ540から見る標本の代表的な位置である標本基準点BP0と区別するために、標本基準点BP0をカメラ標本基準点BP0とし、標本基準点BP1をセンサ標本基準点BP1とする。
【0031】
センサ標本基準点BP1は、カメラ標本基準点BP0の位置と同様に、本体撮像系10での撮像領域と計測光学系20で決定した撮像領域400aを一致させるように決定される。つまり、センサ標本基準点BP1は、撮像領域400aにおけるカメラ標本基準点BP0に対応する位置に決定される。そのため、センサ標本基準点BP1は、カメラ標本基準点BP0が決定されることで一意に決まる。
【0032】
ここで、センサ標本基準点BP1の座標を(a1,b1)とする。このとき、例えば図7で示すように、センサ標本基準点BP1を(Xa1b1,Ya1b1,Za1b1)=(0,0,0)といったデータで表現する。そして、センサ標本基準点BP1以外の点ではセンサ標本基準点BP1からの変位量(Xxy,Yxy,Zxy)といったデータで表現する。ここで小文字x、yは、表面形状データのセルの列行を示す。このようにして、標本225の表面形状を計測し取得する。
【0033】
次に、標本225を撮像するために、標本ステージ210を駆動し、カメラ標本基準点BP0を本体基準点に一致させる(Step103)。
【0034】
図1に戻って、以下に、本体撮像系10の詳細を示す。照明光学系100は、光源ユニット110で発せられる光をオプティカルインテグレータ部120で重畳し、標本225の面全体を均一な照度で照明する。光源ユニット110は標本225を照明するための光束を放射しており、例えば1つまたは複数のハロゲンランプやキセノンランプ、LED等で構成されている。撮像光学系300は、照明された標本225の像を広画角かつ高い解像度で撮像面に結像する光学系である。図8(a)で示す標本225は、撮像光学系300によって、撮像面で図8(b)の点線で示すように像225Aとして結像される。
【0035】
撮像部400は、撮像ステージ410と、電気回路基板420と撮像素子430と合焦センサ440で構成される。撮像素子430は、図8(b)で示すように、電気回路基板420上に隙間を空けて配置されており、撮像ステージ410で撮像光学系300の結像面に一致するように配置されている。合焦センサ440は、合焦位置検出手段であり、標本225の合焦位置検出点を検出する。合焦センサ440は、電気回路基板420上に配置されるが、本体撮像系10と計測光学系20の位置合わせをする際の本体基準点としての役割を持つ。
【0036】
合焦センサ440は、例えば均一照明された標本を撮像した画像のコントラストを高速で処理できる二次元撮像素子であってもよいし、光量で焦点位置を決定するために複数の光量計で構成してもよい。ここで、合焦位置情報取得のための合焦センサ440の構成や合焦位置取得方法について、複数の光量計で構成した場合についての例を、図9を用いて説明する。
【0037】
合焦センサ440は、図9(a)に示すように撮像光学系300からの光301をハーフプリズム442によって分割し、異なる位置の光量を光量センサ441で取得するように構成されている。2つの光量センサ441の受光面441a、441bは撮像光学系300によってできる最小スポットサイズと同程度の大きさとすることで、ピンホールと同じ効果を持たせている。また、2つの受光面441a、441bは撮像光学系300の像面から等距離となるように調整されており、2つの受光面441a、441bが同じ光量を検出した時に撮像光学系300の像面と標本225の結像位置が一致するように構成されている。
【0038】
図9(b)は、結像位置によって変化する2つの受光面441a、441bに入射する光量Ia、Ibを縦軸に、横軸を結像位置として実線と点線で表したものである。図9(c)では、(Ia−Ib)/(Ia+Ib)を縦軸に、横軸を結像位置として表している。図9(b)に示すように、それぞれの光量センサに入射する光量の曲線は同じ形状でピークを持った形状となる。このとき、図9(c)に示すように、(Ia−Ib)/(Ia+Ib)は、ある結像位置では0となり、撮像素子440と標本225の結像位置が一致している状態となる。(Ia−Ib)/(Ia+Ib)が正の場合は前ピン状態、負の場合は後ピン状態というように2つの光量センサ441で受ける光量の差や比によって結像位置情報を定量的に計測することができる。
【0039】
また、合焦位置情報取得の際は暗視野照明として、標本225の散乱光のみを取得することで、信頼性を高めることができる。たとえば、照明光学系100からの照明NAを撮像光学系300で取り込めるNAよりも大きくして、照明光が撮像光学系300内に入らないようにすれば、標本225の散乱光のみを取得することができる。これを、照明光を実線、散乱光を点線として模式的に表すと、図10(a)のようになる。
【0040】
もしくは、照明光学系100からの照明を、撮像光学系の光軸にきわめて平行にしつつ、撮像光学系300の瞳面等で照明光を遮光部350により遮光する構成にしても、標本225の散乱光のみを取得することができる。これを、照明光を実線、散乱光を点線として模式的に表すと、図10(b)のようになる。
【0041】
また、図11のように、照明光学系100とは別の照明光学系111を用意し、撮像光学系300で取り込める範囲311よりも大きい角度で斜め方向から照明する。すると、標本部からの反射光が撮像光学系300に取り込まれず、標本220の散乱光のみを取得することができる。これを、照明光を実線、散乱光を点線として模式的に表すと、図10(c)のようになる。
【0042】
また、合焦専用のセンサを持たず、複数ある撮像素子430のどれかを合焦センサとして選択し、さらに選択した撮像素子の特定の画素を本体基準点とし、上述の方法を適用して焦点を合わせることもできる。
【0043】
以上のような構成、方法により、合焦センサ440で合焦位置を決定する。
【0044】
標本ステージ210をZ方向に駆動させながら、合焦センサ440で標本225のカメラ標本基準点BP0における合焦位置を求める(Step104)。
【0045】
ここでは、カメラ標本基準点BP0と合焦センサ440が撮像光学系300に対して共役な位置関係となるように標本225を配置する。標本225の画像を取得する際には、表面だけでなく、内部に焦点を合せて撮像する場合もあるため、合焦位置検出点は、標本225の表面だけでなく、標本225の内部にとることもできる。
【0046】
そして、カメラ標本基準点BP0で合焦した後、計測光学系500で得た表面形状データを標本全体に適用する(Step105)。
【0047】
ここではまず、カメラ標本基準点BP0と本体基準点を撮像光学系300で物点と像点の合焦関係にさせる。そして、カメラ標本基準点BP0以外の部分は、合焦センサ440の検出結果と予め得られた表面形状データを用いて、合焦位置決定手段としての処理部610でその合焦位置を決定する。このとき、センサ標本基準点BP1を、撮像領域400aにおけるカメラ標本基準点BP0に対応する位置に設定している場合は、カメラ標本基準点BP0での合焦位置を基準として、予め得られた表面形状データを適用する。つまり、カメラ標本基準点BP0での合焦位置を表面形状データの基準点であるセンサ標本基準点BP1に対応させ、センサ標本基準点BP1からの差分(表面形状)をZ方向の焦点位置ずれとして適用することで、標本全面における合焦位置を決定する。そして、センサ標本基準点BP1を、カメラ標本基準点BP0に対応する位置とは異なる位置に設定している場合は、表面形状データの中のカメラ標本基準点BP0に対応する位置とカメラ標本基準点BP0での合焦位置を対応させる。そして、表面形状データを標本全面に適用する。
【0048】
このようにすることで、少ない合焦動作で、標本225の表面から内部にわたって合焦位置を取得することが可能となる。
【0049】
ただし、撮像素子部側での焦点位置ずれ量に関しては、撮像光学系300の光学(横)倍率βを考慮する。例えば、撮像光学系が奇数回結像し、標本上の任意の点(Xxy,Yxy)でセンサ標本基準点BP1に対してZxyの焦点ずれがある場合を考える。その場合、撮像面側ではXY平面上の点(−Xxy×β,−Yxy×β)の位置でZxy×β2の焦点ずれを適用する。
【0050】
そして、実際に画面全体の焦点位置を合わせる場合は、標本ステージ210と各撮像素子430の位置が共役関係になるように、各々の相対位置を変える(Step106)。例えば、図12で示すように、Z方向の駆動、XY軸回りの回転を可能なように各撮像素子を構成する。そして、表面形状と倍率βを考慮し、標本225に合焦した状態で撮像できるように、合焦位置の決定結果を用いて各撮像素子430を駆動する。また、標本全体の焦点位置ずれ量が最小になるように標本ステージ210をZ方向に駆動したりXY軸回りに傾けたりしてもよい。
【0051】
ここまでが画面全体の焦点を合わせて画像を取得するまでの手順であるが、本例において撮像部は複数の撮像素子430が離散的に配置されているため、一度の撮像では、画面全体を撮像できない。ゆえに、標本225と撮像部400を、撮像光学系300の光軸方向に垂直な平面に対して相対的に変動させながら撮像し、離散的な画像を合成することで標本全体の画像を形成する必要がある。
【0052】
ここから、標本全体を一枚の画像として撮像する際の、標本225および標本ステージ210の動きと撮像光学系300や撮像部400の関係について説明する。図13にて、複数の撮像素子430を格子状に配置し、標本部200をXY平面上で3回ずらしながらその都度撮像し、撮像画像を張り合わせている例を示す。図13(a)〜図13(d)は、標本ステージ210を、撮像光学系300の光軸に対して垂直な方向に、各撮像素子430の間を埋めるようにしてずらしながら撮像した場合における、撮像素子430と標本の像225’の関係を示す。
【0053】
図13(a)の位置で1回目の撮像を行った場合、標本225の像225’は図13(e)に示すように撮像素子の存在する領域のみ(影部)が離散的に撮像される。次に、標本ステージ210をずらし図13(b)の位置で2回目の撮像を行った場合、先に取得した画像と組み合わせると、図13(f)に示す影部を撮像していることになる。更に、標本ステージ210をずらし図13(c)の位置で3回目の撮像を行った場合、先に取得した画像と組み合わせると、図13(g)に示す影部を撮像していることになる。更に標本ステージ210をずらして図13(d)の位置に標本225を移動させて撮像し、これまでの3回の撮像で取得した画像と重なり合わせると、図13(h)で示す撮像領域全体を画像化することができる。
【0054】
このようにして標本全体の画像を取得するが、合焦した画像を取得するために、上記4回の撮像それぞれで、図14のStep104〜Step106の焦点合わせを行う。
【0055】
以上が、大画角の光学系と複数の撮像素子を使って、合焦した高分解の全体画像を形成する方法である。
【0056】
(第2実施形態)
第1実施形態では、標本225の表面形状を計測し、カメラ標本基準点BP0を本体基準点と一致させた。そして、カメラ標本基準点BP0で撮像光学系の焦点位置を合わせ、表面形状のうねりに合わせて撮像素子等を駆動することで点BP0以外の複数の点でも焦点位置を合わせ、標本全体の合焦画像を取得した。
【0057】
しかし、計測光学系20側から本体撮像系10側にプレパラート220を搬送する間に、衝撃等によりプレパラート220が傾いてしまったような場合には、傾きを補正する必要がある。その場合、撮像部400に3点以上の合焦センサを一直線に並ばないように配置し、それらの合焦位置計測結果から標本225の傾きを算出して、標本ステージ210で傾きを補正することで、標本全体の合焦画像を取得してもよい。
【0058】
この場合の合焦方法について、図16に示す合焦手順に従って示す。ここでは第1実施形態の撮像の手順と同じ部分は省き、標本225を合焦する手順の部分のみを示す。
【0059】
3点の基準点のうち、1点が全面の合焦位置の基準となるカメラ標本基準点BP0であり、その他は傾き検出点TPとする(図15(a))。まず、標本ステージ210をZ方向に駆動し、合焦センサ440でカメラ標本基準点BP0と傾き検出点TPの合焦位置を取得する(Step201)。
【0060】
次に、カメラ標本基準点BP0での合焦位置が決定したときの、カメラ標本基準点BP0での合焦位置と傾き検出点TPでの合焦位置(Z方向)の差分を計算する(Step202)。
【0061】
そして、予め計測光学系20で得た表面形状の結果から、カメラ標本基準点BP0と傾き検出点TPにおける合焦位置(Z方向)の差分を計算する(Step203)。
【0062】
Step202とStep203の合焦位置の差分を比べ(Step204)、所定量以内であれば標本ステージ210の傾き補正は行わず合焦処理を完了し、所定量を超えていれば傾き量を計算する(Step205)。
【0063】
Step205で求めた傾き量を使って、標本ステージ210を駆動し、カメラ標本基準点BP0と傾き検出点TPにおける合焦位置(Z方向)の差分が所定量以内となるように傾きを補正する(Step206)。
【0064】
以上により、標本225の表面形状を計測し、カメラ標本基準点BP0での焦点位置を合わせ、表面形状(うねり)に合わせて焦点位置ずれを計算し、標本部200の駆動で発生した傾きを補正することで、標本全体の合焦画像を取得することができる。なお、傾きずれが大きい場合、Step206からStep201に戻り、同手順を繰り返し行っても良い。
【0065】
このようにすることで、より精度良く焦点合わせを行うことができる。
【0066】
(第3実施形態)
第1実施形態と第2実施形態で撮像光学系と計測光学系の光軸は異なっているが、例えば、図17に示すように、撮像光学系の光軸をハーフミラー等で分岐して、両者の光軸を一部同じにしても良い。この例では、計測光学系用の光源520からの光で標本225を照明し、その標本をカメラ540で撮像すると同時に、標本の表面形状をカメラセンサ550で計測している。
【0067】
この場合の合焦方法について、図18に示す合焦手順に従って示す。まず、標本部200を本体撮像系10で計測できる位置に配置し(Step301)、計測光学系20で、標本部200に置かれている標本225の大きさ、撮像領域400a、カメラ標本基準点BP0、表面形状を計測する(Step302)。
【0068】
次に、カメラ標本基準点BP0と合焦センサ(本体基準点)が撮像光学系300に対して共役な位置関係となるように、標本ステージ210をXY平面上で駆動させ、標本225の撮像領域を調整する(Step303)。
【0069】
そして、標本ステージ210をZ方向に駆動させながら、合焦センサでカメラ標本基準点BP0における合焦位置を求める(Step304)。このとき、カメラ標本基準点BP0と合焦センサが撮像光学系300に対して共役な位置関係となるように標本225を配置する。
【0070】
第1実施形態のStep105で説明したように、カメラ標本基準点BP0で合焦した後、本体基準点と、計測光学系500で得た表面形状データの基準点であるセンサ標本基準点BP1を一致させながら、画面全体に適用する(Step305)。
【0071】
画面全体の焦点位置を合わせる場合は、標本ステージと撮像素子の位置が共役関係になるように、各々の相対位置を変える(Step306)。
【0072】
Step304からStep306は、第2実施形態に倣って合焦センサを複数配置し、傾き検出の動作を入れるように変更してもよい。
【0073】
以上のようにすると、精度良く標本の全体画像を短時間で形成することができる。
【0074】
(第4実施形態)
第1実施形態から第3実施形態までは、シャックハルトマン型センサを用いて標本の表面形状を計測し、本体撮像系における基準点で焦点を合わせ、表面形状の結果から間接的に標本全体の焦点位置を決定していた。
【0075】
しかし、撮像部400において、図19のように各撮像素子430の間に複数の合焦センサを配置し、合焦センサのみで合焦位置を計測しても良い。この場合の合焦方法について、図20に示す装置全体図と、図21に示す合焦手順に従って示す。
【0076】
まず、標本部200を本体撮像系10で計測できる位置に配置し(Step401)、計測光学系20で、標本225の大きさ、撮像領域400a、カメラ標本基準点BP0、表面形状を計測する(Step402)。
【0077】
次に、カメラ標本基準点BP0と合焦センサ(本体基準点)が撮像光学系300に対して共役な位置関係となるように、標本ステージ210をZ方向に駆動させ、撮像領域を調整する(Step403)。
【0078】
そして、標本ステージ210を撮像光学系300のZ方向に駆動させながら、カメラ標本基準点BP0における標本225の合焦位置を求めつつ、カメラ標本基準点BP0と共役でない位置に配置される合焦センサでも合焦位置を計測する(Step404)。
【0079】
そうすると、複数点での合焦位置の結果から、合焦センサがない部分を含む画面内全面の合焦位置を割り出せる(Step405)。
【0080】
合焦位置の計算結果を画面全体の焦点位置を合わせるために、標本と撮像素子の位置が共役関係になるよう、各々の相対位置を変える(Step406)。
【0081】
また、Step404では、焦点位置を精密に求めるために、標本ステージ210をXY平面内で駆動させつつ、そのたびに各合焦センサで合焦位置を割り出し、合焦位置計測点を増やすことで、画面全体の焦点位置合わせ精度を高めてもよい。
【0082】
以上、本発明の撮像装置の実施形態として顕微鏡に適用した場合について説明した。各実施形態では標本に照射する光の透過光を像面に結像する透過型の光学系について示したが、落射型の光学系でも良い。
【0083】
また、いくつかの実施形態を示したが、多数の標本を撮像する場合では、第1実施形態や第2実施形態のように本体撮像系と計測光学系を分けて両者における処理を並列(同時)に行うことで、複数の標本を短時間で撮像できる。つまり、計測光学系では第1の検体の表面形状計測を行い、それと並行して、本体撮像系では第2の検体の撮像を行う。
【0084】
また、少数の標本を撮像する装置であれば、第3実施形態や第4実施形態で示すように、本体撮像系と計測光学系の光軸を一部同じにすることでコンパクトな構成にすることができる。
【符号の説明】
【0085】
1 撮像装置
10 本体撮像系
20 計測光学系
100 照明光学系
225 標本
300 撮像光学系
400 撮像部
430 撮像素子
440 合焦センサ
550 カメラセンサ
【特許請求の範囲】
【請求項1】
対象物の表面形状を計測する計測部と、
光源からの光で前記対象物を照明する照明光学系と、前記光で照明された対象物を結像するための撮像光学系と、前記撮像光学系の像面に配置された複数の撮像素子と、前記対象物の合焦位置検出点が前記像面に結像するときの前記対象物の位置である合焦位置を検出するための合焦位置検出手段と、を有する撮像部とを備え、
前記撮像部は、前記合焦位置検出手段の検出結果と前記計測部の計測結果とを用いて、前記対象物の前記合焦位置検出点とは異なる点における前記対象物の合焦位置を決定する合焦位置決定手段を有し、
前記合焦位置決定手段の決定結果を用いて前記対象物を前記複数の撮像素子に合焦させた状態で撮像することを特徴とする撮像装置。
【請求項2】
前記計測部は、前記対象物表面の異なる複数の点における、前記撮像光学系の光軸に直交する方向の位置および前記光軸の方向の位置に関する情報を取得し、
前記合焦位置決定手段は、前記合焦位置検出点での合焦位置を基準として前記情報を補正することで前記合焦位置検出点とは異なる点における前記対象物の合焦位置を決定することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記計測部による前記対象物としての第1の検体の表面形状計測と前記撮像部による前記第1の検体とは異なる第2の検体の撮像とを同時に行うことを特徴とする請求項1または2に記載の撮像装置。
【請求項1】
対象物の表面形状を計測する計測部と、
光源からの光で前記対象物を照明する照明光学系と、前記光で照明された対象物を結像するための撮像光学系と、前記撮像光学系の像面に配置された複数の撮像素子と、前記対象物の合焦位置検出点が前記像面に結像するときの前記対象物の位置である合焦位置を検出するための合焦位置検出手段と、を有する撮像部とを備え、
前記撮像部は、前記合焦位置検出手段の検出結果と前記計測部の計測結果とを用いて、前記対象物の前記合焦位置検出点とは異なる点における前記対象物の合焦位置を決定する合焦位置決定手段を有し、
前記合焦位置決定手段の決定結果を用いて前記対象物を前記複数の撮像素子に合焦させた状態で撮像することを特徴とする撮像装置。
【請求項2】
前記計測部は、前記対象物表面の異なる複数の点における、前記撮像光学系の光軸に直交する方向の位置および前記光軸の方向の位置に関する情報を取得し、
前記合焦位置決定手段は、前記合焦位置検出点での合焦位置を基準として前記情報を補正することで前記合焦位置検出点とは異なる点における前記対象物の合焦位置を決定することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記計測部による前記対象物としての第1の検体の表面形状計測と前記撮像部による前記第1の検体とは異なる第2の検体の撮像とを同時に行うことを特徴とする請求項1または2に記載の撮像装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【公開番号】特開2013−25251(P2013−25251A)
【公開日】平成25年2月4日(2013.2.4)
【国際特許分類】
【出願番号】特願2011−162157(P2011−162157)
【出願日】平成23年7月25日(2011.7.25)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成25年2月4日(2013.2.4)
【国際特許分類】
【出願日】平成23年7月25日(2011.7.25)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]