説明

顕微鏡スライドの拡大イメージを作成するシステム及び方法

【課題】 最適なイメージ画質特性を有する仮想顕微鏡スライドを作成するシステム及び方法を提供すること。
【解決手段】 本発明による画像化システム(100)では、顕微鏡(12)のそれぞれの物理スライドに対して複数の領域を識別し、少なくとも2つの焦点z位置z1及びz2を定義する。物理スライドのそれぞれの領域は、第1のz位置において走査され、それぞれの定義された領域のデジタル・イメージの第1の集合を生じる。物理スライドのそれぞれの領域は、第2のz位置においても走査され、それぞれの定義された領域のデジタル・イメージの第2の集合を生じる。それぞれの集合のそれぞれのイメージは、その焦点画質計量が評価され、それぞれの領域に対して、当該領域に対応し、所望の焦点画質に対応する焦点画質計量を有する前記第1又は前記第2のいずれかのイメージが選択される。

【発明の詳細な説明】
【関連出願】
【0001】
この出願は、2004年8月31日及び2004年9月15日にそれぞれ出願された米国仮出願第60/605、835号及び第60/609、961号に関係し、これらの米国出願を基礎とした優先権主張を伴う。またこの出願は、同時継続中でありこの出願と同じ被譲渡人に譲渡されている「イメージ・ブロックをスティッチして顕微鏡スライドのシームレスな拡大イメージを作成するシステム及び方法」と関係し、この米国出願の内容全体を、この出願において援用する。
【技術分野】
【0002】
本発明は、広くは、仮想顕微鏡スライドを作成するのに用いられるイメージ・データを取得するシステム及び方法に関し、更に詳しくは、顕微鏡スライドの拡大されたイメージを取得する方法及びシステムに関する。
【背景技術】
【0003】
仮想顕微鏡スライドは、典型的には、顕微鏡スライドの拡大されたイメージを表すデジタル・データを含む。仮想スライドは、デジタル形式を有しているために、コンピュータ・メモリなどの媒体上に記憶することができ、インターネットやイントラネットを介して遠隔地にいるビューワに伝送することが可能である。
【0004】
仮想スライドは、伝統的な顕微鏡スライドと比較して著しい効果を生じさせる。場合によっては、仮想スライドは、医師が、伝統的な顕微鏡スライドを用いる場合に可能であっったよりも、より迅速・簡便・経済的に診断を下すことを可能にする。例えば、仮想スライドは、通信リンクを介して遠隔地にいる専門家など遠隔地のユーザも使用することができ、それによって、医師は遠隔地にいる専門家の意見を仰ぐことによって、そのようなコンサルテーションに通常は付随する時間的な遅延なく、より総合的な診断を下すことが可能になる。あるいは、仮想スライドをデジタル形式で保存しておいて、医師や専門家の都合のよい時間に検討することが可能である。
【0005】
典型的には、仮想スライドは、顕微鏡スライド(イメージの拡大が望まれているサンプルを含む)を顕微鏡の対物レンズにしたに位置決めして、そのスライドの全体又は一部をカバーする1又は複数のイメージを捕捉し、それらのイメージを合成してスライドの単一の一体化されたデジタル・イメージを作成することによって得られる。1つのスライドを複数の領域に分割して、それぞれの領域に対して別個のイメージを生成することが好ましい場合がある。その理由は、多くの場合に、スライドの全体の方が、高性能の対物レンズ(例えば、20xの対物レンズ)の視野よりも大きく、希望している20xの倍率でスライド・イメージの全体を捕らえるためには複数のイメージを取得しなければならないからである。更に、多くの組織タイプの表面は高さが不均一であり、垂直方向すなわちz位置が固定された状態ではスライド全体の合焦イメージ捕捉するのが困難であるからである。なお、この出願では、z位置という用語はデカルト座標系のz軸の座標値を意味するもとする。x及びy軸は、ステージが存在している平面内にある。従って、既存の技術では、スライドの上の様々な領域を表す複数のイメージを取得して、これら複数のイメージを合成してスライド全体の一体化されたイメージを得るのである。
【0006】
顕微鏡スライドのデジタル・イメージを捕捉する現在の技術の1つに、開始/停止取得法と称されるものがある。この技術によると、スライドの上のターゲット・ポイントが検査のために指定される。高性能の対物レンズ(例えば、20xの対物レンズ)がスライドの上方に位置決めされる。それぞれのターゲット・ポイントにおいて、z位置を変動させて、複数のz位置からイメージを捕捉する。これらのイメージを調べて、所望の焦点位置を決定する。合焦動作の間に得られたイメージの中の1つが十分に焦点が合っていると判断されると、それが、スライド上のそれぞれのターゲット・ポイントに対する所望の焦点イメージとして選択される。どのイメージも焦点が合っていない場合には、これらのイメージは、所望の焦点位置を決定するために分析され、対物レンズをその所望の焦点位置まで移動させ、新たなイメージが捕捉される。場合によっては、イメージの第1のシーケンスが所望の焦点位置を決定するのに十分な情報を提供しないことがある。そのような場合には、所望の焦点イメージが得られるまでより狭い範囲のz位置の中でイメージの第2のシーケンスを得ることが必要となる。このようにして得られた複数の所望の焦点イメージ(それぞれのターゲット・ポイントごとに1つずつ)を合成することによって、仮想スライドを作成できる。
【0007】
仮想スライドを作成するために合焦イメージを生成するのに用いられる別のアプローチとして、顕微鏡を調査して焦点マップを生成するものがあるが、この焦点マップとは、走査用の対物レンズをスライド上の限定された数の点の上に合焦することによって作られる評価された焦点面である。次に、走査動作は、この焦点マップに基づいて実行される。現在の技術では、スライド上の限定された数の点について所望の焦点情報を決定することによって、焦点マップが作成される。例えば、このようなシステムでは、スライド上に10から20のターゲット・ポイントを選択し、高性能対物レンズを用いてそれぞれのターゲット・ポイントにおける合焦動作を実行することで所望の焦点位置を決定する。これらのターゲット・ポイントに対して得られた情報が用いられて、スライド上の任意の調査されていない点に対する所望の焦点情報が評価される。
【0008】
既存の開始/停止取得システムは、上述したように、多くの場合に顕微鏡の対物レンズが顕微鏡スライドの上のそれぞれの指定されたターゲット・ポイントに対する複数回の合焦及び捕捉動作を実行することが求められるために、比較的低速である。更に、高性能対物レンズの視野はほとんどの場合に制限されているため、従って、所望の焦点情報が直接に得られる点の数は、スライド全体からすると比較的小さな部分を表すことになる。
【0009】
焦点マップを構築するための既存の技術にも複数の短所がある。第1に、上述したように、ある1つの与えられたターゲット・ポイントに対する所望の焦点データを得るために高性能対物レンズを用いるというのは低速である。第2に、スライド上の限られた数の点から焦点マップを生成するのでは、結果的に得られる焦点マップは不正確なものとなる可能性がある。スライド上の組織は、多くの場合、一様で滑らかな表面を有していない。実際、多くの組織の表面は、短い距離の間に変化する変動を含む(視野間の変動と称される)。欠陥又は著しい局所的な変動を有する組織の表面上の1つの点が焦点情報を得るためのターゲット・ポイントとして選択されると、この局所的な偏位は、焦点マップの全体にわたって所望の焦点位置に対して評価される値に影響を及ぼす。焦点情報が正確であっても、顕微鏡装置の機械的な性質により、走査の結果として、機械的な問題に起因する焦点の合っていないイメージを生じさせてしまうことがある。機械的な問題とは、例えば、装置の小さな移動や振動である。これは、高性能の対物レンズによる走査の場合に特に問題となりうる。
【0010】
更に別の技術では、複数の領域が1つの顕微鏡スライドの上に定義され、それぞれの領域のための焦点情報を含む焦点マップが生成される。それぞれの領域に対して、焦点マップにおける焦点情報に基づいて、複数のz位置が決定される。それぞれの領域について、少なくとも1つのイメージが、関連するz位置のそれぞれから捕捉される。所望の焦点画質を有するそれぞれの領域のイメージが選択され、選択された複数のイメージが合成されて仮想スライドが生成される。
【発明の開示】
【0011】
本発明は、顕微鏡の光学的視野の中を移動可能であってz位置に関して合焦可能である物理サンプル・スライドを走査する顕微鏡システムに関するものであり、特に、最適のイメージ画質特性を有するデジタル仮想スライドを作成する方法に関する。この方法は、それぞれの物理スライドに対して複数の領域を識別し、少なくとも2つの焦点z位置z1及びz2を定義するステップを含む。物理スライドのそれぞれの領域は、第1のz位置において走査され、それぞれの定義された領域のデジタル・イメージの第1の集合を生じる。物理スライドのそれぞれの領域は、第2のz位置においても走査され、それぞれの定義された領域のデジタル・イメージの第2の集合を生じる。それぞれの集合のそれぞれのイメージは、焦点画質計量(focus quality metric)に対して評価され、それぞれの領域に対して、当該領域に対応し、所望の焦点画質に対応する焦点画質計量を有する前記第1又は前記第2のいずれかのイメージが選択される。
【0012】
本発明のある特別の側面では、前記走査するステップは、それぞれの定義された領域に対してシーケンシャルに実行され、それぞれの領域は前記第1のz位置において画像化され、次に前記第2のz位置z2において画像化される。
【0013】
あるいは、前記走査するステップはすべての定義された領域に対して順に実行され、すべての定義された領域は前記第1のz位置z1においてシーケンシャルに画像化され次に第2のz位置z2においてシーケンシャルに画像化される。
【0014】
更に別の新規な側面では、焦点z位置を定義するステップは、サンプル・スライドに対して公称の合焦z位置を決定するステップと、前記公称のz位置を第1の方向に第1のz位置オフセットだけ調整するステップと、前記公称のz位置を逆の方向に第2のz位置オフセットだけ調整するステップと、前記第1及び第2の調整されたz位置を前記2つの焦点z位置z1及びz2として定義するステップと、を含む。サンプル・スライドに対する前記公称の合焦z位置は、焦点マップから、又は、経験的に決定される。更に、前記第1のz位置オフセットは、前記第2のz位置オフセットと等しい又は異なることがあり、従って、第2のz位置オフセットよりも大きい又は小さいことがありうる。特に、第1及び第2のオフセットは、顕微鏡システムの対物レンズの視野深度の範囲内にあるのが敵している。
【0015】
本発明の更なる特徴では、前記走査するステップはそれぞれの定義された領域に対して同時に実行され、それぞれの領域は前記第1のz位置と前記第2のz位置とにおいて同時に画像化される。この方法は、前記光学的視野の複数のイメージを捕捉するように前記顕微鏡システムに結合されている複数のデジタル画像化装置を提供するステップであって、前記複数のイメージは前記焦点z位置だけ相互に異っている、ステップを含む。また、前記光学的視野に与えられた前記物理スライドの一部は、複数の装置のすべてによって同時に画像化される。
【0016】
前記複数のデジタル画像化装置は、それぞれが前記物理スライドの同じ部分のイメージを捕捉する。あるいは、前記複数のデジタル画像化装置のそれぞれの視野は並進方向に沿って配置され、前記複数のデジタル画像化装置はそれぞれが前記物理スライドの次のシーケンシャルな部分のイメージを捕捉する。前記顕微鏡システムは、画像化装置の視野の定義された位置に対応する距離だけ、画像化装置の視野に沿って前記物理スライドを並進させる。特に、画像化装置の視野は幅の寸法Wを有し、前記顕微鏡システムは前記物理スライドを距離W/2だけ並進させ、よって、相互にW/2だけ重なり合う複数のシーケンシャルなイメージを生成する。
【0017】
本発明の更なる特徴は、顕微鏡の光学的視野の中を移動可能であってz位置に関して合焦可能である物理的物質のサンプル・スライドが見るため及びイメージ捕捉のために支持されているタイプの顕微鏡システムにおいて特徴付けられる。最適の画質特性を有するデジタル仮想スライドを作成する方法は、それぞれの物理スライドに対して複数の領域を定義するステップを含む。前記物理スライドは、第1のz位置において走査(画像化)され、第1の焦点画質計量を有するそれぞれの定義された領域のデジタル・イメージの第1の集合を生じる。前記物理スライドは、また、第2のz位置において走査(画像化)され、第2の焦点画質計量を有するそれぞれの定義された領域のデジタル・イメージの第2の集合を生じる。それぞれの集合のそれぞれのイメージは、焦点画質計量に対して評価され、それぞれの領域に対して、当該領域に対応し所望の焦点画質に対応する焦点画質計量を有する前記第1又は前記第2のいずれかのイメージが選択される。イメージのそれぞれの集合の中の選択された1つが、対応する領域の選択されたイメージとして識別され、前記識別された領域イメージは、前記仮想スライドを定義する合成イメージに合併される。
【0018】
特に、前記焦点画質計量を評価するステップは、制御プロセッサに常駐するアプリケーション・ソフトウェアによって実行される。前記制御プロセッサは、全体のイメージ・エントロピ、イメージ・テクスチャ・エネルギ、イメージ・コントラスト及び外形エッジ先鋭度から構成されるグループから選択されるイメージ特性を測定することによって、焦点画質計量の評価を実行する。
【0019】
顕微鏡の光学的視野の中をx及びy位置に沿って移動可能でありz位置に関して合焦可能である物理的物質のサンプル・スライドが見るため及びイメージ捕捉のために支持されているタイプの顕微鏡システムにおいて、本発明の別の側面は、最適の画質特性を有するデジタル仮想スライドを作成する方法として実現される。この方法は、それぞれの物理スライドに対して複数の領域を定義するステップを含み、それぞれの領域は、少なくとも幅の寸法Wによって特徴付けられる。前記顕微鏡が前記物理スライドに対して第1のz位置z1に位置決めされている第1の定義された領域のイメージを捕捉される。前記物理的スライドは、領域幅寸法の半分(W/2)に等しい距離だけ、顕微鏡の光学的視野の中を並進軸に沿って移動される。前記顕微鏡の位置は、第2のz位置z2まで調整され、前記光学的視野に与えられている物理スライドのイメージが捕捉される。
【0020】
前記物理スライドは、領域幅寸法の半分(W/2)に等しい距離だけ、顕微鏡の光学的視野の中を並進軸に沿って同じ方向に移動され、前記顕微鏡の位置が前記第1のz位置z1に戻される。前記顕微鏡が前記第1のz位置z1に位置決めされている第2の定義された領域のイメージが捕捉される。
【0021】
本発明の以上の及びそれ以外の特徴、側面及び効果は、以下の詳細な説明と冒頭の特許請求の範囲と添付の図面とを考慮することによって、より明らかになるはずである。
【発明を実施するための最良の形態】
【0022】
仮想顕微鏡スライドは、典型的には、顕微鏡スライドの全体又は一部の拡大された維持を表すデジタル・データを含む。仮想スライドは、デジタル形式で存在しているから、コンピュータ・メモリ、ディスク・ドライブ、CD−ROMなどの中のイメージという形式などのデジタル記憶媒体に容易に記憶することができ、インターネットやイントラネットなどの通信ネットワークを介して遠隔地にある適切なビューワにデジタル・ファイルとして容易に伝送することが可能である。
【0023】
この出願に記載されている様々な実施例は、顕微鏡スライドの所望部分の合焦イメージを取得する改良されたシステム及び方法を提供する。更に、完全な仮想スライドを作成するために複数の合焦イメージを合成する改善されたシステム及び方法を提供する。本発明の実施例のある1つの側面では、顕微鏡スライドの複数の領域が定義(画定)され、それぞれの領域の複数のイメージが捕捉され、それぞれの定義された領域に対して、所望の焦点画質を有するイメージが、複数の捕捉されたイメージから選択される。選択されたイメージは、領域ごとに合併されて仮想スライドが生成される。
【0024】
この実施例では、顕微鏡スライド上の複数の領域が定義される。これらは、シーケンシャルなストライプ、定義された正方形や矩形のモザイク・パターン、またそれ以外の類似のものなど、スライドの特定のシーケンシャルな領域として定義される。複数のz位置が決定され、顕微鏡スライドの指定された領域が、それぞれのz位置から走査される。それぞれの走査の間には、それぞれの定義された領域の少なくとも1つのイメージが得られる。結果的には、それぞれの定義された領域の複数のイメージが生成される(それぞれのイメージは、異なるz位置を表している)。それぞれの領域に対しては、z位置イメージの関連する集合が検査され、複数のz位置イメージの中の特定の1つ、所望の焦点画質を有している1つが、選択される。
【0025】
次に、選択された領域イメージは、完全な仮想スライドを生成するために合成される。上述したように、実際の領域選択技術は、本発明の実現にとっては、特に密接な関係があるのではない。実際には、水平方向又は垂直方向のラスタ走査モード、ベクトル走査などで動作する領域スキャナ又はライン・スキャナを用いて、複数領域が決定される。スライドの走査が既知の再生可能な経路に沿って実行され、定義されたスライド領域が後続の再結合に関してインデクス付け可能であれば、特定の走査技術は重要ではないのである。
【0026】
別の実施例では、複数の領域が、やはり、顕微鏡スライドの上に定義される。顕微鏡スライドの上の第1の領域のイメージが、第1のz位置から捕捉される。次に、顕微鏡の対物レンズが、z軸に沿って第2のz位置へ、そして、x軸に沿って、第1の領域の中に位置する1又は複数の点と第2の定義された領域の中の1又は複数の点とを包囲する位置まで移動される。複数領域イメージが第2のz位置から捕捉されるが、これは、第1及び第2の領域の部分的な重なり合いと考えられる。次に、顕微鏡対物レンズは、z軸に沿って第1のz位置まで、そして、x方向に第2の視野の上の位置まで戻る。そして、第2の領域のイメージが、第1のz位置から捕捉される。この手順が反復されて、顕微鏡スライド上の所望の数の領域の複数のイメージが捕捉され、それぞれの領域部分は、少なくとも2つのz位置イメージによって表されることになる。
【0027】
次に図1を参照すると、本発明の原理に従って、顕微鏡スライドの適切な拡大イメージを取得するのに用いられる画像化システム100の単純化されたブロック図が示されている。システム100は、モータ駆動の顕微鏡システム10と、カメラ又はイメージ取得システム11と、制御プロセッサ20とを適切に含んでいる。
【0028】
モータ駆動の顕微鏡システム10は、少なくとも1つの回転可能な対物ターレット18を含む実験室又は研究グレードの顕微鏡のような顕微鏡12を含む。受け入れられているプラクティスに従い、対物ターレットは、シングル、ダブル、トリプル、クアドラプル又はクインタプル型の反転対物ターレットとして提供される。従って、それぞれのターレットは、そのターレット上に通常の態様に設置された少なくとも1つの対物レンズ19を含む。顕微鏡システム10は、更に、コンピュータ制御された顕微鏡ステージ14を含み、これがスライド21を支持している。顕微鏡ステージ14は、x、y及びz方向に移動可能であり、x、y及びz並進モータをx、y制御16及びz制御17と称される制御システムを介してステージ・プラットフォームに機械的に結合することによって、ロボット的に制御可能である。適切な光源(図示せず)がステージ14の下側に配置され、また、顕微鏡ステージ14の上の試料に対する見かけの光源をシフトさせるため、ステージの下での並進運動が可能である。ステージ14の並進運動と光源の強度とは、例えば、制御プロセッサ20上でソフトウェア又はファームウェア・プログラム・アプリケーションとして動作しているソフトウェア・プログラムによって制御可能である。コンデンサ・レンズ(図示せず)が、光源が生じた光を収集し、それをサンプルの方向に向ける。
【0029】
対物ターレット18の回転により、複数でありうる対物レンズ19の中の所望の1つが顕微鏡の光学経路の中に移動され、試料の拡大イメージが生成される。図1の実施例では、2つの対物レンズ19が提供されている。図解のために、これらの対物レンズは、4xの対物レンズと20xの対物レンズとを含むと仮定する。本発明と共に用いるのに適しているロボット制御される顕微鏡システムの例には、プライア(Prior)H101を備えたオリンパス(Olympus)BX顕微鏡システムが含まれる。オリンパスBX顕微鏡システムは、米国ニューヨーク州メルビル(Melville)所在のオリンパス・アメリカ社によって製造され販売されている。プライアH101ステージは、米国マサチューセッツ州ロックランド(Rockland)所在のプライア・サイエンティフィック社によって製造され販売されている。これ以外の類似のコンピュータ化されたステージを用いることができるが、その例として、米国ニューヨーク州ホーソン(Hawthorne)所在のラドル(Ludl)エレクトロニクス・プロダクツ社によって製造販売されるものがある。
【0030】
顕微鏡の対物ターレット18が複数の対物システムであって、複数の対物レンズ19が設置されている場合には、ロボット制御可能なモータとモータ・ドライバとの組合せを有し対物ターレットに結合されている焦点/対物制御システム15を適切に提供して、ターレットを回転させて様々な所望の対物レンズ19を光学経路の中に移動させることができる。適切な移動コマンド信号を受け取ると、焦点/対物制御システム15は、ターレットを回転可能なフレームの中で回転させるようにモータに命令することによって、異なる対物レンズ19を顕微鏡システムの光学経路の中に移動させることができる。
【0031】
ある例では、x、y制御16は、x、y及びz方向にステージ14を制御するモータと、そのモータを付勢する適切なモータ・ドライバ回路とを有する。この出願では、x及びy方向は、ステージ14がその中に存在する平面におけるベクトルを意味する。ステージの運動を生じさせる機械的な装置と電子制御回路とが実現されるのが好ましく、何らかの形態の開又は閉ループ・モータ位置決めサーボ・システムが含まれていて、ステージ14は、非常な精度をもって位置決めが可能であるか、又は、その並進運動が、x、y及びz方向において非常に正確に決定可能である。ステージ14のx−y平面内での運動を制御する代わりに、又は、そのような運動を制御するのに加えて、顕微鏡12自体は、x−y平面の中での移動が可能である。この代替的な実施例では、顕微鏡の並進運動が制御されるか、又は、その位置がステージ14と同じ精度で、ステージ14と実質的に同じ位置決め装置を用いて決定可能である。
【0032】
x及びy制御16が閉ループの態様で動作するように構成されているときには、位置フィードバック情報は、モータ自体から、又は、より高い精度が望まれる場合には、光学的位置エンコーダ若しくはレーザ干渉計位置エンコーダから回復することが可能である。ステージ運動の閉ループ・サーボ制御により、ステージ位置を非常に正確に決定することが可能になり、並進コマンドが非常に高い精度をもって応答されることが保証されるが、このようなことは、運動制御技術における当業者にとっては広く理解されていることである。従って、ステージを50ミクロンだけ正のx方向に並進させるコマンドは、結果的に、正確に正のx方向に50ミクロンだけ、少なくともこのモータ・システムが機械的分解能の限度まで移動させることになる。
【0033】
顕微鏡システムが半閉ループ又は開ループの態様で動作するように構成されているときには、ステージ制御はフィードバック自体に依存することはなく、ステージを制御するモータがどこへ行くように命令されているかを正確に定義することが少なくとも必要である。例えば、典型的なステッパ・モータは、並進運動を、「方向」及び「ステップ数」コマンドに依存する一連の「ステップ」として提供する。「ステップ」当たりの並進運動が較正される限り(あるいは、異なって決定されるか知られている限り)、運動コマンドは、結果的に、ステージを既知の(又は、計算された)距離だけ、命令された方向に移動させることになる。残るのは、運動コマンドの記録を出発点と共に保存し、顕微鏡ステージの「現在位置」を決定することだけである。
【0034】
カメラ・システム11は、図1の実施例に示されているように、メイン・カメラ22と制御電子装置24とを含む。単一のメイン・カメラ22が示されているが、後で詳しく述べるように、複数のメイン・カメラが適切に提供されることもありうる。位置エンコーダがステージ・モータやステージ自体に結合されることがあり、ステージ14の位置を示す信号をメイン・カメラ22又はその制御電子装置24に伝送するように構成されている。このような構成により、ステージ14が連続的に動いている間であっても、カメラがイメージを所望の所定の位置で捕捉することが可能になる。例えば、位置エンコーダは、ステージ14が移動した距離をモニタして(又は、開ループや半閉ループ・システムの場合には運動コマンド)、所定の信号を、ステージが5ミクロン移動するたびに所定の信号を送信する。メイン・カメラ22は、例えば、ロータリ又は線形スケール・エンコーダなどの位置決めフィードバック装置から受け取られたそのような電気信号の集合又は部分集合に応答して、イメージを捕捉し、規則的な間隔で顕微鏡スライドのイメージを生じるように構成されている。
【0035】
ある特定の例では、スライドの走査軸に沿って設置された線形エンコーダが、制御システムに絶対位置フィードバックを提供して、イメージ捕捉のための正確な周期的信号を生成する。これらの周期的信号は、高速の一貫した断面イメージ捕捉のための、カメラへの外部トリガとして作用する。この実施例は、多くの位置決め誤差の問題を解決しているが、それは、例えば、カメラのイメージ平面に対するスライドの実際の機械的位置への電気制御信号の真の変換に関連する以下のような誤差である(電気的に命令された位置から、その命令された位置への位置決めシステムの実際の機械的応答までの位置の差異)。この実施例は、また、リード・ネジの反復的使用、緩いカップリング、摩擦、環境問題などに起因して生じる機械的ハードウェアの周期的な劣化に対する保護を提供する。
【0036】
あるいは、メイン・カメラ22は、規則的な時間間隔で、又は、モータへ送信されるパルスに基づいて、イメージを捕捉するように構成することもできる。例えば、ステッパ又はリニア・モータに送られる制御パルスを用いることができる。これらは、例えば、絶対又は相対出力パルスを生成してイメージ捕捉のためにカメラをトリガする電子カウンタ回路を介して与えられるそのままのトランジスタ・トランジスタ・ロジック(TTL)の信号パルスであったり、増幅された制御パルスであったりする。上述したようにステッパ・コントローラ・パルス生成器を介して生成されたTTLステップ及び命令信号は、エンコーダ・フィードバック・チャネルを介してコントローラにフィードバックされうる。この構成では、一体化されたリアルタイムの「パルス・カウンタ」がパルスをカウントして、カメラのための周期的なパルス化された出力を生成する。この技術は、運動の方向に基づいてイメージを捕捉する双方向又は一方向出力トリガ・パルス制御のためのコントローラへの入力として、モータ指向性信号出力と共に用いられる。あるいは、時計回り又は反時計回りの動作モードをモータ制御に用い、指向性パルスを、運動と同期した周期的なカメラのトリガのために、コントローラに戻すことができる。
【0037】
本発明のある側面では、合焦(focusing)は、対応するz制御回路17の制御の下で、ステージ14をz方向に僅かな偏位を生じさせることによって、実行される。合焦の間の相対運動量は正味のz並進運動の間の相対運動量よりも著しく小さいので、焦点回路17は、z軸ステージ並進モータと並列に動作する適切なモータ・ドライバ回路によって制御されるマイクロステッピング・モータを含む。従って、z軸ステージ並進モータには、より大きな正味の応答特性が与えられ、よって、このモータは、試料の垂直方向の光学的断面化が可能である。すなわち、試料に対して垂直方向に通過するように配置されている様々な水平方向の面の上にある試料を見ることができ、同時に、合焦モータは、それぞれのイメージ平面を適切に合焦するのに必要な微小運動を提供することができる。
【0038】
別の実施例では、合焦は、焦点/対物制御システム15の制御の下で、対物ターレット18をz方向に僅かに偏位させることによって、実行される。例えば、圧電トランスデューサは、対物ターレット18とそれに対応する対物レンズ19とを圧電増幅器から受け取られた信号に応答して僅かに偏位させることによって、合焦を実行することができる。
【0039】
メイン・カメラ22は、好ましくは、高い解像度及び高いデータ・レートで動作する高解像度のカラー・デジタル・カメラである。この実施例では、JAICV−M7CL+カメラを使用することが想定されているが、本発明の範囲内で、これに匹敵する画質と解像度とを有する他のカメラを用いることも可能である。メイン・カメラ22によって捕捉されたイメージは、カメラリンク・カードなどの制御電子装置24を介して、制御プロセッサ20に送られる。この技術分野の当業者には周知のように、カメラリンク・カードは、特定のプロトコルと物理インターフェースとをサポートするデジタル・カメラとのインターフェースを行う。本発明では、これ以外のプロトコル及び物理インターフェースも可能であり、ここで説明される特定のインターフェースは、いかなる意味においても限定を意味しない。
【0040】
制御プロセッサ20は、IBMタイプのx86パーソナル・コンピュータ・システムなどの小型プラットフォーム・コンピュータ・システムとして実現可能であるが、顕微鏡システムを動作させるのに必要なコマンド及び制御信号を生じさせるのに適したアプリケーション・ソフトウェア・プログラムのホストとなるデータ処理とプラットフォーム性能とを有する。制御プロセッサ20には、イメージ処理機能を実行することができる特別のソフトウェア又は回路が含まれる。例えば、制御プロセッサ20は、イメージ解析を実行し、コントラスト、エントロピ及び先鋭度などの測定値を取得する。制御プロセッサ20は、また、デジタル・イメージを操作し合成することができる特別のソフトウェア又は回路を含む。制御プロセッサ20は、マウスやキーボードなど従来型の入力デバイスにおいてシステム・ユーザが生じるコマンドを受け取り解釈することができ、また更に、ユーザが定義したコマンドを、顕微鏡システムの様々なコンポーネントを操作するのに適した信号に変換することが可能である。
【0041】
制御プロセッサ20は、典型的には、シリアル・インターフェース、ペリフェラル・コンポーネント・インターコネクト(PCI)インターフェース、顕微鏡システムを動作させる様々な制御電子装置が接続されているシステム・インターフェースを定義する多数の別の結合インターフェースの中の任意のものなどのインターフェースを介して、顕微鏡システム100と結合されている。
【0042】
顕微鏡スライドの拡大イメージを捕捉するのに用いられる多くの既存の技術は、走査動作の前に取得され例えば焦点マップに記憶されている焦点情報に基づいて、対物レンズを導く。場合によっては、そのような焦点情報は、例えばサンプルの表面に存在する視野内(intra-field)の変動が原因で非常に不正確である。焦点情報が正確な場合であっても、顕微鏡装置の機械的な性質により、機械的な原因に起因して焦点の合っていないイメージを走査により生じさせてしまうことがありうる。ここで機械的な原因とは、装置の微小運動又は振動、不正確な較正などである。
【0043】
本発明は、顕微鏡スライドのイメージを取得する改善されたシステム及び方法を提供する。本発明のある側面では、顕微鏡スライドの複数の領域が定義され、それぞれの領域の複数の「候補となる」イメージが捕捉され、それぞれの領域に対して、所望の焦点画質を有するイメージが選択される。選択されたイメージは、合併され、仮想スライドを生成する。顕微鏡スライドの上のそれぞれの領域の複数のイメージを捕捉して「候補となる」イメージの集合を作成することにより、当該領域についてアプリオリに決定されている焦点情報に関連する不確定性が補償される。
【0044】
図2は、本発明の原理に従って顕微鏡スライドのイメージを生成する例示的な方法の流れ図である。1又は複数の拡大されたイメージが望まれるサンプルを含む顕微鏡スライドた、顕微鏡スライドの上に配置される。図1を参照すると、顕微鏡スライド21yは、顕微鏡部分10のロボット制御されたサンプル・ステージ14の上に配置される。ステップ410では、図5に示され後述されるように、顕微鏡スライドの上に複数の領域が定義される。顕微鏡スライド21の全体を表す仮想スライドが望まれる場合には、スライド全体が、複数の領域に分割される。あるいは、興味の対象となる1又は複数の領域を含む顕微鏡スライド21の選択された1又は複数の部分は、複数の領域に分割される。ある実施例では、顕微鏡スライドは、顕微鏡の対物レンズの視野と同じ大きさを有する領域に分割されるが、それとは異なる大きさを有するように分割される実施例もある。
【0045】
ステップ420では、それぞれの領域に対して、それぞれが顕微鏡の対物レンズの異なるz位置を表す複数のイメージが捕捉される。ある1つの実施例では、それぞれの領域に対して、第1のz位置を表す第1のイメージと、第2のz位置を表す第2のイメージとが生成される。他の実施例では、3以上のz位置を表すイメージが捕捉される。z位置は、コンピュータ制御されたステージ14のz位置を調整することによって制御されたり、あるいは、z位置は、対物ターレット18と対物レンズ19との位置を調整することによって制御されることもある。別の実施例では、z位置を制御する他の方法が用いられる。
【0046】
ステップ430では、それぞれの領域に関連するイメージが調べられ、ステップ440では、所望の焦点画質を有するイメージがそれぞれの領域について選択される。イメージは、例えば、制御プロセッサ20によって、又は、オペレータによって、選択される。選択されたイメージは、顕微鏡スライドの所望の部分をカバーするイメージの集合を構成する。ステップ450では、選択されたイメージが合併され、仮想スライドが作成される。
エリア・センサ:
ある例では、図1に示されるように単一カメラ型の装置と共にエリア・センサを用いて、顕微鏡スライドのイメージを取得する。例えば、カメラ22はエリア・センサを含むことがある。この実施例では、顕微鏡スライド上の複数の領域が定義される。複数のz位置が決定され、顕微鏡スライドはそれぞれのz位置から走査される。それぞれの走査の間、それぞれの定義された領域の少なくとも1つのイメージが取得される。結果的に、それぞれの定義された領域の複数のイメージが生成される(それぞれのイメージが、異なるz位置を表す)。それぞれの領域に対しては、イメージの関連する集合が調べられ、所望の焦点画質を有するイメージが選択される。選択されたイメージは、合成され、仮想スライドが生成される。
【0047】
例えば、2つのz位置が選択され、顕微鏡スライド21がそれぞれのz位置からスライドの少なくとも一部にわたって様々なx位置において走査されることがありうる。これらのz位置は、様々な技術を用いて選択されうる。例えば、第1のz位置は、焦点マップからの評価された合焦z位置に基づき、それに固定されたオフセットを加算されたものでありうる。第2のz位置は、焦点マップからの評価された合焦z位置に基づき、それから固定されたオフセットを減算されたものでありうる。第2の固定されたオフセットは、第1の固定されたオフセットと等しい場合も異なる場合もありうる。
【0048】
これらのオフセットは、複数の方法で選択することができる。ある場合には、オフセットは、走査する対物レンズ19の視野深度のあるパーセンテージでありうる。例えば、対物レンズ19が2ミクロンの視野深度を有する場合には、オフセットは、その視野深度の50%すなわち1ミクロンでありうる。評価された焦点位置の精度が低いと考えられる場合には、より大きなパーセンテージを用いることができる。その場合には、例えば、視野深度の80%を用いることができる。
【0049】
上述したように、オフセットの値は異なる場合がある。オフセットの値は、例えば、それぞれの方向における焦点誤差の蓋然性に依存する。誤差が正のz方向よりも負のz方向にある可能性が高い場合には、zに対するオフセットは、オフセット1とオフセット2との走査対物レンズの視野深度のそれぞれ50%と80%とである。
【0050】
図3は、本発明に従ってエリア・センサを用いて顕微鏡スライドのイメージを取得する方法の一例の流れ図である。1又は複数の拡大イメージが望まれるサンプルを含む顕微鏡スライド(図1のスライド21など)が、顕微鏡システム100のロボット制御されたサンプル・ステージ14などの顕微鏡スライドの上に配置される。ステップ505では、スライドの上の複数の領域が定義される。一般に、領域内の焦点変動を回避しながら、可能な限り大きな領域を定義することが好ましい。ある実施例では、領域は経験的に定義される。しかし、他のアプローチを用いることも可能である。ある実施例では、顕微鏡スライド21は、顕微鏡の対物レンズ19(例えば、複数の対物レンズ19の中の1つ)の視野に対応する寸法を有する領域に分割されるが、他の実施例では、それ以外の寸法を有するように領域を定義することもできる。
【0051】
ステップ510では、顕微鏡スライドの第1の走査が第1のz位置z1から実行され、カメラ22がそのスライド上のそれぞれの定義された領域の第1のイメージを捕捉する。ステップ520では、顕微鏡スライドの定義された領域が、第2のz位置z2から走査され、カメラ22がそれぞれの定義された領域の第2のイメージを捕捉する。この特定の実施例では、z位置z1及びz2は、上述したように適用されたオフセットを有する焦点マップに記憶された所望の焦点位置など、所定の最適の焦点位置から選択される。例えば、焦点マップは、30マイクロメートル(ミクロン)のz位置が最良の合焦z位置であるという指示を与える。1ミクロンという第1のオフセットをこの焦点マップのz位置に加算して、31に等しくすることができる(z1=焦点マップのz位置+オフセット1=30+1=31)。0.9ミクロンという第2のオフセットを焦点マップのz位置から減算して、29.1に等しいz2の値を生じることができる(z2=焦点マップのz位置−オフセット2=呼吸センサ30−0.9=29.1)。更に注意すべきは、この例ではスライド上の定義された領域は2つのz位置から走査されるが、別の実施例では、スライドは任意の数(しかし、少なくとも2つ)のz位置から走査されうる、ということである。
【0052】
それぞれの定義された領域の複数のイメージの集合は(それぞれのイメージが、異なるz位置を表す)、イメージの「スタック」と称される。ある例では、それぞれのスタックは、関連する領域の第1のイメージと第2のイメージという2つだけのイメージから構成される。しかし、他の実施例では、スタックは、特定の領域の3以上のイメージから構成される。例えば、顕微鏡スライドは、3、4真野はそれより多くのz位置から走査することができ、結果的に、そこから走査されたz位置の数と等しいイメージから構成されるスタックが得られることになる。
【0053】
ステップ530では、制御プロセッサ20は、顕微鏡スライド上のそれぞれの定義された領域と関連する第1及び第2のイメージを調べる。ステップ560では、所望の焦点画質を有するそれぞれの領域のイメージが選択される。ある実施例では、1又は複数のイメージ処理技術が、スタックの中のそれぞれのイメージに対して適用され、それぞれのイメージから、焦点画質の1又は複数の測定値が得られる。例えば、全体のエントロピの測度(尺度、measure)がそれぞれの微小イメージから取得され、焦点画質の測度として用いられる。微小イメージに対する全体のエントロピの測度は、例えば、イメージを圧縮し、圧縮されたイメージの中のデータ量を測定することによって得られる。別の例では、テクスチャ・エネルギの測度が、それぞれの微小イメージに対して得られ、当該イメージの焦点画質を表す値が得られる。更に別の例では、コントラストの測定値が、それぞれのイメージに対して得られる。
【0054】
あるいは、エッジ検出技術をイメージに適用して、先鋭度(sharpness)に対する値を得ることができる。焦点画質に関係するこれ以外の値も測定することができる。このようにして得られた焦点画質の測定値は、解析され、それぞれの領域に対する所望の焦点値が決定される。例えば、ある実施例では、ある1つの領域と関連する複数のイメージのスタックを調べて、最大のテクスチャ・エネルギ測定値を有するイメージが所望のイメージとして選択され、所望のイメージと関連するz位置が所望の焦点値として選択される。あるいは、曲線適合アルゴリズムをそれぞれの微小領域に関係する焦点画質の様々な測定値に適用し、その領域に対する所望の焦点値を評価することができる。他の評価技術を用いることも可能である。
【0055】
ステップ560において選択された複数のイメージの集合(それぞれの定義された領域に対して1つのイメージ)が、所望の焦点画質における定義された領域のそれぞれを表す複数のイメージの集まりを構成する。ステップ570では、制御プロセッサ20が、選択された複数のイメージを合併して、仮想スライドを生成する。例えばステッチング・ソフトウェアなど、多数の既知の技術の中の任意の1つを用いて、選択された複数のイメージを合成して、仮想スライドを作る。
【0056】
ある追加的な実施例では、顕微鏡スライドの上のそれぞれの定義された領域を複数の微小領域に更に分割(再分割)することができる。例えば、上述した実施例では、顕微鏡スライドの上のそれぞれの定義された領域は、4つの「微小領域」に分割することができる。同様に、それぞれの領域に関連する第1及び第2のz位置イメージは、そのスライドの上の微小領域に対応する4つの微小イメージに分割することができる。顕微鏡スライドの上のそれぞれの微小領域に対応するz位置微小イメージは、微小イメージのスタックと称される。
【0057】
上述した例では、それぞれのスタックは、2つのz位置微小イメージを含む。従って、顕微鏡スライド上のそれぞれの定義された微小領域に対しては、微小イメージの対応するスタックが調べられ、所望の焦点画質を有する微小イメージが選択される。選択された複数の微小イメージは合併されて、定義された複数の領域を表す仮想スライドが作成される。
【0058】
注意すべきは、この特定の例ではそれぞれの領域が4つの微小領域に分割されたが、他の例では顕微鏡スライド上の定義された複数の領域は4未満の数の、又は、4よりも大きな数の微小領域に分割され、同様に、それぞれの定義された領域のイメージは、対応する数の微小イメージに分割されるということである。従って、微小領域と関連する微小イメージとの実際の数は本発明を限定するものとしてではなく、本発明の方法の動作を例示するものとして理解されるべきである。
フレーム間捕捉間隔の利用
走査の間は、顕微鏡装置の機械的性質が、イメージ捕捉速度の上限を与えることになる。顕微鏡の対物レンズ19(又は、実施例によっては、顕微鏡スライド14)が走査動作の間にある領域から別の領域まで物理的に移動しなければならないため、1つの領域のイメージが捕捉され次の領域のイメージを捕捉できるまでの間に遅延が生じるのが典型的である。この機械的運動に関連する遅延は、「フレーム間捕捉間隔(interframe capture interval)」と称され、特定の顕微鏡装置の機械的及び動作的な特徴に関連する。
【0059】
本発明のある側面では、顕微鏡スライド14の1又は複数のイメージが、フレーム間捕捉間隔の間に捕捉され、よって、イメージ捕捉の速度が上昇する。ある例では、1つのイメージが、第1の定義された領域に関して第1のx位置及びz位置から捕捉される。第2の定義された領域のイメージが第2のx位置において捕捉されるので、顕微鏡の対物レンズ19は、この第2のx位置に調整されなければならない。対物レンズ19のx位置が調整されるので、顕微鏡の対物レンズ19のz位置もまた第2のz位置に調整され、フレーム間捕捉間隔の間に、第2のx位置に到達する前に、第2のz位置からスライド14上の所望の領域のイメージが捕捉される。
【0060】
第2のz位置から捕捉されたイメージは、第1及び/又は第2の領域の複数の部分を含み、これら複数の領域は疑似的な重畳(quasi-overlapping)態様とでも称することができる。イメージが第2のz位置から捕捉された後では、対物レンズ19の次のx位置への調整が、対物レンズ19が第1のz位置に再調整され第2の定義された領域のイメージが捕捉されるまで、行われる。注意すべきは、この議論ではz位置とx位置との両方が顕微鏡の対物ターレット18と対物レンズ19との位置を変更することによって調整されるが、z位置とx位置とは、顕微鏡スライド21を移動させる又はそれ以外の方法によって調整することも可能である、ということである。
【0061】
以上で概観された技術を反復的に実行すると、顕微鏡スライド21の上の複数の領域に対して、第1のz位置からのそれぞれの領域の第1のイメージと、第2のz位置からのそれぞれの領域の第2のイメージとを得ることができる。これに関して、図4は、本発明の原理に従ってフレーム間捕捉間隔を用いて顕微鏡スライドの上の複数の領域の複数のイメージを捕捉する方法の例の例示的な流れ図である。
【0062】
図4では、ステップ310では、複数の領域が顕微鏡スライドの上で定義される。この例では、複数の領域のそれぞれは、顕微鏡の対物レンズ19の視野と同じ寸法を有するように定義される。特に、それぞれの領域は、対物レンズ19の視野の幅Wに等しい幅(x方向に)を有する。図5では、図解により、4つの領域726−729が定義されている例示的な顕微鏡スライド722の平面図が示されている。図解されているように、領域726−729は、幅Wを示している(x方向)。
【0063】
もういちど図4を参照すると、ステップ315において、2つのz位置が選択される。ある例では、z1及びz2が、所定の最適な焦点位置に基づいて選択される。これらのz位置は、既に述べたような様々な技術を用いて選択することができる。ある1つの選択方法では、焦点マップからの評価された合焦z位置に第1のz位置に対する固定されたオフセットを加算した値と、焦点マップからの評価された合焦位置から第2のz位置に対する第2の固定されたオフセットを減算した値とを用いる。ステップ320では、プロセッサ20は、顕微鏡の対物ターレット18のx:y位置と選択された対物レンズ19とを調整して、対物レンズ19を、顕微鏡スライドの第1のエッジの上に位置する点(0,y0)の上方に位置決めする。この例では、y値であるy0は、顕微鏡スライドの上の定義された領域の選択された1つのエッジの中点を表すように選択することができる。図5に示されているスライドの例を参照すると、顕微鏡の対物レンズ19は、点Pの上に位置決めされ、この点は、領域726のエッジの中点に位置している。
【0064】
ステップ325においては、制御プロセッサ20は、顕微鏡の対物レンズ19をz軸に沿ってz位置z1まで移動させる。この位置では、対物レンズ19の視野の半分が、顕微鏡スライド722の上の定義された領域726の一部を捕捉し、対物レンズ19の視野の残りの半分が、スライドのエッジを超えた領域を捕捉する。顕微鏡の対物レンズ19のこの初期の位置は、図6では位置864によって表されている。なお、図6は、顕微鏡スライド722の断面図と、顕微鏡の対物レンズ19がこのスライドのイメージを捕捉する複数の位置とを図解している。
【0065】
この特定の実施例によると、顕微鏡の対物レンズ19は、顕微鏡スライド722の反対側のエッジ(「第2のエッジ」)に向かってx軸に沿って移動され、それぞれの定義された領域を順に通過する。その間、顕微鏡の対物レンズ19は、z1及びz2の間を交代して、その結果、図6に示されているようなジグザグ運動を生じる。この運動により、顕微鏡の対物レンズ19は、z位置z2(例えば、位置866から)からそれぞれの定義された領域の完全なイメージを捕捉することが可能になり、更に、z位置z1から複数の領域の複数の部分をカバーするイメージを捕捉することが可能になる(例えば、位置864、868から)。従って、ステップ335では(位置864から開始して)、顕微鏡の対物レンズ19のx座標は、+(W/2)だけ調整され、すなわち、正の方向へ領域の幅の半分だけ調整され、顕微鏡の対物レンズ19は、z位置に沿ってz2まで移動される。好ましくは、x軸に沿った対物レンズ19の移動とそのz軸に沿った移動とは一体化された態様で実行され、対物レンズ19は、位置864から位置866へ滑らかに移動する。結果的な位置は、例えば、図6の位置866によって表されている。顕微鏡の対物レンズ19の視野は、ここで、定義された領域726の全体を捕捉する。ステップ345(図4の)では、イメージが捕捉される。ブロック350によって示されているように、顕微鏡の対物レンズ19の視野の中心が顕微鏡スライド722の第2のエッジを超えて配置されている場合には、このルーチンは終了する。この例では、対物レンズ19は、まだ顕微鏡スライドの第2のエッジには到達しておらず、従って、ルーチンはステップ355に進む。
【0066】
ステップ355では、顕微鏡の対物レンズ19のz座標は、やはり、+(W/2)だけ調整され、顕微鏡の対物レンズ19のz座標は、z1に調整される。顕微鏡の対物レンズ19の結果的な位置は、例えば、図6の位置868によって表されている。この位置で、顕微鏡の対物レンズ19の視野は、領域726及び727の複数の部分を捕捉する。ステップ370では、イメージが再び捕捉される。ブロック380によって示されているように、顕微鏡の対物レンズ19の視野の中心が顕微鏡スライド722の第2のエッジを超えて配置されている場合には、このルーチンは終了する。そうでなければ、ルーチンはステップ335に戻り、追加的なイメージが取得される。ルーチンは、関心対象となる領域が複数回の走査を必要とする場合には、複数回の走査の分だけ、複数回反復される。図5の例示的なスライド722は1回の走査を示しているが、当業者であれば理解するように、同様に、複数回の走査を備えている場合もありうる。
【0067】
上述し図4において概観されている「ジグザグ技術」と称されるルーチンは、定義された領域726−729の中のすべての点の2つのイメージを含む複数のイメージの集合を生じさせる。この場合、z位置z1から捕捉された点の第1のイメージと、z位置z2から捕捉された点の第2のイメージとを含んでいる。ある1つの例では、z位置z2から(例えば、位置866から)捕捉されたイメージは、定義された領域726−729に対応する。z位置z1から(例えば、位置864、868から)捕捉されたイメージは、定義された領域には対応しないが、しかし、プロセッサ20は、イメージ処理技術(例えば、ソフトウェア登録)をこれらのイメージに適用して、領域726−729に対応するイメージを生じさせる。プロセッサ20は、それぞれの定義された領域の複数のイメージを調べて、それぞれの領域に対して、上述したのと同様の態様で、所望の焦点画質を有するイメージを選択する。選択された複数のイメージは、後で合併されて、仮想スライドが作成される。
【0068】
この技術分野の当業者によって理解されるのは、上述したルーチンの方法は、既に述べたように、焦点マップからの評価された合焦z位置に第1のz位置z1に対する固定されたオフセットを加算した値を用いるということである。第2のz2位置は、焦点マップからの評価された合焦z位置から第1の固定されたオフセットと同じ値を有する又は有しない第2の固定されたオフセットを減算した値として計算することができる。z1及びz2を決定するこの方法によると、z1及びz2に対する実際の値は、対物ターレット18と対物レンズ19とのそれぞれの運動と共に変化しうる。これが生じるのは、評価された合焦z位置が、x:y座標に対する焦点マップの予測された最良の合焦z位置に従って、それぞれのx:y座標と共に変化するからである。もういちど図4を参照すると、ステップ315において、z1及びz2は最初に計算される。次に、ステップ335において、z1及びz2は、x:y位置(W/2,y0)に対する評価された合焦z位置を用いて再計算される。また、z1及びz2に対する値はステップ355でも計算されるが、そこでの後続のx:y位置は(W,y0)である。z1及びz2を再計算するプロセスは、x:y位置のそれぞれの変化と共に必然的に継続する。
【0069】
注意すべきであるが、上で説明し図4ないし6に示されている方法論は、単に、ジグザグ技術を用いて顕微鏡スライドを走査するという実施例を表している。他の例では、顕微鏡の対物レンズ19は、他の経路をたどる可能性がある。例えば、第3のz位置z3を、z1とz2との間の中間的な位置として定義することが可能であるし、また、z2の上にある、又は、z1の下にある、確固とした第3の位置として定義することも可能である。この追加的なz位置の結果として、顕微鏡の対物レンズのx座標が調整される量が変更される可能性がある。このような変化の例として、W/2の代わりにW/3をステップのサイズとして用いるということがありうる。この結果として、それぞれのステップのx座標を、ステップ335において+(W/3)だけ変化させ、ステップ355において+(W/3)だけ変化させることになる。同時に、ステップ355では、zの移動は、z1までではなくz3までとなる。ステップ380の後であってステップ335を反復する前に、顕微鏡の対物レンズをx方向に+(W/3)だけ移動させ、z方向にz1だけ移動させるという追加的なステップを含むことになる。
【0070】
この追加の結果として、3つの焦点面からのイメージが得られる。2つではなくて3つの焦点面からのイメージを有することによって、多数の効果が得られる。例えば、画像化された最良の焦点を捕捉するための最適なz位置に関する評価を追加することが可能になる。3つのイメージからの焦点情報があると、ガウス式の曲線適合などの複雑な曲線適合技術を実現することが可能になる。曲線適合は、最良の絶対焦点に対するz位置を予測することになる。このz位置が実際に捕捉された3つのz位置のどれも含まない場合には、予測される最良の焦点は、ソフトウェアによって用いられ、ローの再走査が必要であるかどうかを決定することができる。この再走査は、z1、z2及びz3に対する新たな最適なz位置の値を決定するために予測された焦点を用い、予測された最良の焦点イメージはイメージz1、z2及びz3の中の少なくとも1つによって捕捉される。
エリア・センサ(複数カメラの場合)
本発明の別の実施例では、エリア・センサは、複数カメラ型の装置において用いられ、顕微鏡スライドの上に定義された1又は複数の領域のイメージを同時に又はシーケンシャルに捕捉する。複数のカメラを用いることにより、顕微鏡スライドの上に定義された所定数の領域に対するイメージ捕捉速度が上昇する。この点で、図7は、本発明に従って顕微鏡スライド21の複数のイメージを取得するのに用いられるデュアル・カメラ型の顕微鏡画像化システム100‘の簡略化されたブロック図である。この図では、カメラ11’は、2つのカメラ22A及び22Bを適切に備えている。図1の顕微鏡システム100と共通である図7の他のコンポーネントには、参照の便宜のために、図1と同じ参照番号を付してある。
【0071】
2つのカメラ22A及び22Bは、それぞれが、エリア・センサを含む。カメラ22A及び22Bは、1回の走査による通過において顕微鏡スライド21上のそれぞれの領域の複数のイメージを同時に捕捉するように構成されている。ある特別な例では、カメラ22A及び22Bは、顕微鏡12の対物レンズ19から異なる距離の地点に位置決めされている。従って、カメラ22A及び22Bが顕微鏡スライド21の上に定義されたそれぞれの領域の上を通過すると、その領域の2つのイメージが捕捉され、それぞれのイメージは異なる焦点面と関連している。注意すべきであるが、別の実施例では、3以上のカメラを用いることもありうる。対物レンズによって見られた光学イメージを複数の経路に分割し、それぞれの経路に対応するカメラを方向付けることは、比較的単純なことである。それぞれのカメラは異なってはいるがスライド(又は、対物レンズ)からの周知の又は較正された焦点距離の位置に位置決めされることが必要であり、それによって、カメラの位置決めの違いの結果として、効果的な焦点距離(又は、z位置)の差異が生じる。
【0072】
図8は、図7のように、本発明に従って複数カメラ型の装置を用いて顕微鏡スライドのイメージを取得する方法の例の流れ図である。ステップ805では、従来の例に関して上述したように、顕微鏡スライド上の複数の領域が定義される。ステップ820では、顕微鏡スライドの走査が実行される。カメラ22A及びカメラ22Bは対物レンズ19から異なる距離に位置決めされているので、この走査によって、定義されたそれぞれの領域の2つの異なるイメージが得られる。
【0073】
ステップ830では、顕微鏡スライドの上に定義されたそれぞれの領域に対して、これらの2つのイメージが、上述の例でも説明したように、焦点画質に関して調査される。ステップ860では、所望の焦点画質を有するイメージが選択される。ステップ870では、選択された複数のイメージが合併され、仮想スライドが生成される。
【0074】
別の実施例では、図4との関係で既に説明されたジグザグ技術を、図7に示したデュアル・カメラ型の画像化システム100‘と共に用いて、イメージ捕捉速度を向上させ、顕微鏡スライド21のそれぞれの走査の間により多くのイメージを取得することができる。この例では、2つのz位置がそれぞれのカメラに対して選択され、ジグザグ技術を持ちインターネット・テレビ、1回の走査動作において定義されたそれぞれの領域について4つのイメージを生成することができる。
【0075】
更に別の例では、カメラ22A及び22Bは、それぞれが、対物レンズから同じ距離に位置決めされるが、並進方向に既知の又は較正された量だけオフセットされている(典型的には、x方向にオフセットされている)。この場合には、イメージ捕捉はカメラ22A及び22Bによって交互に実行され、顕微鏡装置をより高い走査速度で移動させることが可能になる。
複数平面型焦点面
更に別の実施例では、複数の領域が顕微鏡スライドの上に定義され、定義されたそれぞれの領域に対する1又は複数の所望の焦点値を含む焦点面が生成される。定義されたそれぞれの領域に対して、焦点面に記憶された所望の焦点値に基づいて、複数のz位置が選択される。それぞれの領域の1又は複数のイメージが、関連するそれぞれのz位置から捕捉され、所望の焦点画質を有するそれぞれの領域のイメージが選択される。選択されるイメージは合併され仮想スライドが得られる。
【0076】
図9は、この特定の実施例に従って焦点面を用いて顕微鏡スライドの複数のイメージを生成する方法の一例の流れ図である。ステップ1010では、上述した例と同じく、顕微鏡スライドの上に複数の領域が定義される。ステップ1020では、定義された複数の領域のそれぞれに対する1又は複数の所望の焦点値を含む焦点面が生成される。所望の焦点値は、与えられた顕微鏡の対物レンズがそこから顕微鏡スライド上のそれぞれの領域の合焦イメージを捕捉することができるようなz位置を表す。ある例では、焦点面は、4xなどの第1の倍率(拡大率)を有する第1の顕微鏡対物レンズ19を用いて生成され、20xなどの第2の倍率を有する第2の顕微鏡対物レンズ19を用いて、(ステップ1040に関して後述するように)走査が実行される。この実施例では、焦点面は、第2の顕微鏡の対物レンズの特性に基づいて走査の前に調整される。
【0077】
再び図9を参照すると、ステップ1030では、制御プロセッサ20が焦点面に含まれる情報を用いて、定義されたそれぞれの領域に対する複数のz位置を決定する。ここで、それぞれは、領域のイメージがそこから捕捉されるz位置を表している。例えば、定義されたそれぞれの領域に対して3つのz位置を選択することができる。第1のz位置は焦点面において指示される所望の焦点値に等しく、第2のz位置は所望の焦点値に所定のオフセットを加算した値に等しく、第3のz位置は所望の焦点値からshていのオフセットを減算した値に等しい。ステップ1040では、定義された複数の領域は、選択された複数のz位置のそれぞれから1回ずつ、複数回走査され、それぞれの領域の複数のイメージが得られる。上述した実施例では、走査は、第1の倍率よりも高いことが好ましい第2の倍率を有する第2の顕微鏡対物レンズ19を用いて実行される。ステップ1050では、プロセッサ20は、イメージの画質に関してそれぞれの領域に対応する複数のイメージを調査する。そして、次に、所望の焦点画質を有するそれぞれの領域のイメージが、ステップ1060において選択される。プロセッサ20は、ステップ1070において、選択された複数のイメージを合併して仮想スライドを生成する。
ライン・センサ
更に別の実施例では、図1の例示的な顕微鏡システム100と同じように、1方向だけに沿ってイメージ情報を検出するライン・センサを含むカメラ22を用いて、顕微鏡スライド21の複数のイメージを取得する。この点で、図10は、この代替的な実施例に従って、ライン・センサを用いて顕微鏡スライドの複数のイメージを取得する方法の例示的な流れ図である。ステップ610では、顕微鏡スライドの上の選択されたラインが第1のz位置z1から走査され、このラインの第1のイメージが生じる。ステップ620では、選択されたラインが第2のz位置z2から走査され、ラインの第2のイメージが生じる。
【0078】
ステップ630では、このラインの中の複数の領域が定義される。一般に、領域間の焦点変動を回避しながら、可能な限り大きな領域を定義するのが好ましい。ある実施例では、領域は経験的に定義される。ステップ640では、第1及び第2のイメージが、ラインの定義された領域に対応する微小イメージに分割される。ラインのそれぞれの領域に対応する微小イメージの集合は、微小イメージの「スタック」と称される。ステップ650では、ラインのそれぞれの定義された領域に対して、微小イメージの対応するスタックが調査され、ステップ660では、所望の焦点画質を有する微小イメージが選択される。ブロック670によって指示されているように、ステップ610は、1又は複数回反復され、顕微鏡スライドの全体又は一部の拡大された複数のイメージが取得される。ステップ680において、選択された複数の微小イメージは合併され、仮想スライドが得られる。注意すべきであるが、複数カメラ型の装置と共に複数のライン・センサを用いて、イメージ捕捉速度を向上させることが可能である。例えば、図7のデュアル・カメラ100‘をライン・センサと組み合わせて用いることにより、イメージ捕捉速度を更に向上させることが可能である。
【0079】
図1及び7の画像化システムは、この出願では、様々な機能が離散的な機能ブロック図によって実行されるという形態で開示されている。しかし、これらの機能の多くは、これらのブロックの1又は複数のの機能が例えば1又は複数の適切にプログラムされたプロセッサによって実現されるという構成において実現することも可能である。更には、様々な画像化システムや方法論が、それらの新規な特徴を明確に説明するために、別々な態様で説明されている。しかしこの技術分野の当業者であれば理解するように、この技術及び装置の多くは、本発明の有用性に影響を与えることなく、相互に組み合わせたり、一方によって他方を代替することが可能である。更に注意すべきは、上述した様々な運動や軸は、便宜的な軸概念を用いて説明したのであるが、そのような説明は、空間内における特定の方向又は特徴を意味しない。対物レンズの並進は、ステージ運動、ターレット運動、又は顕微鏡ヘッド自体の運動によって実現することができる。運動がスライド上のインデクス位置との関係で生じていて特徴付け可能であり測定可能であり反復可能である限りは、どのように運動が達成されるかは重要ではない。
【0080】
従って、以上では本発明の原理を単に説明しただけである。この技術分野の当業者であれば、本発明の精神及び範囲から逸脱することなく本発明の原理を実現する多くの他の構成を作り出すことが可能であろう。この出願において説明し図面に示した実施例は、限定を意味するものではなく、冒頭の特許請求の範囲によってのみ範囲が画定される本発明を単に説明するためのものである。
【図面の簡単な説明】
【0081】
【図1】ある実施例による、顕微鏡スライドのイメージを取得するのに用いられる画像化システムの例の簡略化されたブロック図である。
【図2】ある実施例による、顕微鏡スライドのイメージを生成する方法の例の流れ図である。
【図3】ある実施例による、面積センサを用いて顕微鏡スライドのイメージを取得する方法の例の流れ図である。
【図4】ある実施例による、フレーム間捕捉間隔を用いて顕微鏡スライドのイメージを取得する方法の例の流れ図である。
【図5】ある実施例による、4つの領域が定義されている顕微鏡スライドの表面図の例である。
【図6】ある実施例による、顕微鏡スライドと、顕微鏡の対物レンズがスライドのイメージを捕捉する複数の位置との断面図である。
【図7】ある実施例による、顕微鏡スライドのイメージを取得するのに用いられるデュアル・カメラ画像化システムのブロック図である。
【図8】ある実施例による、複数カメラ型の装置を用いて顕微鏡スライドのイメージを取得する方法の例の流れ図である。
【図9】ある実施例による、複数平面型の焦点面を用いて顕微鏡スライドのイメージを生成する例の流れ図である。
【図10】ある実施例による、ライン・センサを用いて顕微鏡スライドのイメージを取得する方法の例の流れ図である。

【特許請求の範囲】
【請求項1】
顕微鏡の光学的視野の中を移動可能であってz位置に関して合焦可能である物理サンプル・スライドを走査する顕微鏡システムにおいて、最適の画質特性を有するデジタル仮想スライドを作成する方法であって、
それぞれの物理スライドに対して複数の領域を定義するステップと、
少なくとも2つの焦点z位置z1及びz2を定義するステップと、
第1のz位置において前記物理スライドを走査し、それぞれの定義された領域のデジタル・イメージの第1の集合を生じるステップと、
第2のz位置において前記物理スライドを走査し、それぞれの定義された領域のデジタル・イメージの第2の集合を生じるステップと、
それぞれの集合のそれぞれのイメージを焦点画質計量(focus quality metric)に対して評価するステップと、
それぞれの領域に対して、当該領域に対応し、所望の焦点画質に対応する焦点画質計量を有する前記第1又は前記第2のいずれかのイメージを選択するステップと、
を含むことを特徴とする方法。
【請求項2】
請求項1記載の方法において、前記走査するステップはそれぞれの定義された領域に対してシーケンシャルに実行され、それぞれの領域は前記第1のz位置において画像化され次に前記第2のz位置z2において画像化されることを特徴とする方法。
【請求項3】
請求項1記載の方法において、前記走査するステップはすべての定義された領域に対して順に実行され、すべての定義された領域は前記第1のz位置z1においてシーケンシャルに画像化され次に第2のz位置z2においてシーケンシャルに画像化されることを特徴とする方法。
【請求項4】
請求項1記載の方法において、焦点z位置を定義するステップは、
サンプル・スライドに対して公称の合焦z位置を決定するステップと、
前記公称のz位置を第1の方向に第1のz位置オフセットだけ調整するステップと、
前記公称のz位置を逆の方向に第2のz位置オフセットだけ調整するステップと、
前記第1及び第2の調整されたz位置を前記2つの焦点z位置z1及びz2として定義するステップと、
を更に含むことを特徴とする方法。
【請求項5】
請求項4記載の方法において、サンプル・スライドに対する前記公称の合焦z位置は焦点マップから決定されることを特徴とする方法。
【請求項6】
請求項4記載の方法において、前記第1のz位置オフセットは前記第2のz位置オフセットと異なることを特徴とする方法。
【請求項7】
請求項1記載の方法において、前記走査するステップはそれぞれの定義された領域に対して同時に実行され、それぞれの領域は前記第1のz位置と前記第2のz位置とにおいて同時に画像化されることを特徴とする方法。
【請求項8】
請求項7記載の方法において、
前記光学的視野の複数のイメージを捕捉するように前記顕微鏡システムに結合されている複数のデジタル画像化装置を提供するステップであって、前記複数のイメージは前記焦点z位置だけ相互に異っている、ステップと、
前記光学的視野に与えられた前記物理スライドの一部を同時に画像化するステップと、
を更に含むことを特徴とする方法。
【請求項9】
請求項8記載の方法において、前記複数のデジタル画像化装置はそれぞれが前記物理スライドの同じ部分のイメージを捕捉することを特徴とする方法。
【請求項10】
請求項8記載の方法において、前記複数のデジタル画像化装置のそれぞれの視野は並進方向に沿って配置され、前記複数のデジタル画像化装置はそれぞれが前記物理スライドの次のシーケンシャルな部分のイメージを捕捉することを特徴とする方法。
【請求項11】
請求項10記載の方法において、前記顕微鏡システムは、画像化装置の視野の定義された位置に対応する距離だけ、画像化装置の視野に沿って前記物理スライドを並進させることを特徴とする方法。
【請求項12】
請求項11記載の方法において、画像化装置の視野は幅の寸法Wを有し、前記顕微鏡システムは前記物理スライドを距離W/2だけ並進させ、よって、相互にW/2だけ重なり合う複数のシーケンシャルなイメージを生成することを特徴とする方法。
【請求項13】
顕微鏡の光学的視野の中を移動可能であってz位置に関して合焦可能である物理的物質のサンプル・スライドが見るため及びイメージ捕捉のために支持されているタイプの顕微鏡システムにおいて、最適の画質特性を有するデジタル仮想スライドを作成する方法であって、
それぞれの物理スライドに対して複数の領域を定義するステップと、
第1のz位置において前記物理スライドを走査し、第1の焦点画質計量を有するそれぞれの定義された領域のデジタル・イメージの第1の集合を生じるステップと、
第2のz位置において前記物理スライドを走査し、第2の焦点画質計量を有するそれぞれの定義された領域のデジタル・イメージの第2の集合を生じるステップと、
それぞれの集合のそれぞれのイメージを焦点画質計量に対して評価するステップと、
それぞれの領域に対して、当該領域に対応し所望の焦点画質に対応する焦点画質計量を有する前記第1又は前記第2のいずれかのイメージを選択するステップと、
イメージのそれぞれの集合の中の選択された1つを、対応する領域の選択されたイメージとして識別するステップと、
前記識別された領域イメージを、前記仮想スライドを定義する合成イメージに合併するステップと、
を含むことを特徴とする方法。
【請求項14】
請求項13記載の方法において、前記焦点画質計量を評価するステップは、制御プロセッサに常駐するアプリケーション・ソフトウェアによって実行されることを特徴とする方法。
【請求項15】
請求項14記載の方法において、前記焦点画質評価は、全体のイメージ・エントロピ、イメージ・テクスチャ・エネルギ、イメージ・コントラスト及び外形エッジ先鋭度から構成されるグループから選択されるイメージ特性を測定することによって実行されることを特徴とする方法。
【請求項16】
請求項13記載の方法において、
サンプル・スライドに対して公称の合焦z位置を決定するステップと、
前記公称のz位置を第1の方向に第1のz位置オフセットだけ調整するステップと、
前記公称のz位置を逆の方向に第2のz位置オフセットだけ調整するステップと、
前記第1及び第2の調整されたz位置を前記第1及び第2のz位置として定義するステップと、
を更に含むことを特徴とする方法。
【請求項17】
請求項16記載の方法において、サンプル・スライドに対する前記公称の合焦z位置は焦点マップから決定されることを特徴とする方法。
【請求項18】
請求項16記載の方法において、前記第1のz位置オフセットは前記第2のz位置オフセットと異なることを特徴とする方法。
【請求項19】
請求項16記載の方法において、前記第1及び第2のz位置オフセットは前記顕微鏡システムの対物レンズの視野深度の範囲内にあることを特徴とする方法。
【請求項20】
顕微鏡の光学的視野の中をx及びy位置に沿って移動可能でありz位置に関して合焦可能である物理的物質のサンプル・スライドが見るため及びイメージ捕捉のために支持されているタイプの顕微鏡システムにおいて、最適の画質特性を有するデジタル仮想スライドを作成する方法であって、
それぞれの物理スライドに対して複数の領域を定義するステップと、
前記物理スライドを前記顕微鏡の光学的視野の中を移動させるステップと、
それぞれの定義された領域に対して、それぞれのイメージが他のイメージとは異なるz位置によって特徴付けられるイメージの集合を捕捉するステップと、
それぞれの集合のそれぞれのイメージを焦点画質計量に対して評価するステップと、
それぞれの領域に対して、当該領域に対応し所望の焦点画質に対応する焦点画質計量を有するイメージの集合の中の特定の1つを選択するステップと、
イメージのそれぞれの集合の中の選択された1つを、対応する領域の選択されたイメージとして識別するステップと、
前記識別された領域イメージを、前記仮想スライドを定義する合成イメージに合併するステップと、
を含むことを特徴とする方法。
【請求項21】
顕微鏡の光学的視野の中をx及びy位置に沿って移動可能でありz位置に関して合焦可能である物理的物質のサンプル・スライドが見るため及びイメージ捕捉のために支持されているタイプの顕微鏡システムにおいて、最適の画質特性を有するデジタル仮想スライドを作成する方法であって、
それぞれの物理スライドに対して、それぞれの領域が幅尺度Wによって少なくとも特徴付けられる面積を有するような複数の領域を定義するステップと、
前記顕微鏡が前記物理スライドに対して第1のz位置z1に位置決めされている第1の定義された領域のイメージを捕捉するステップと、
領域幅寸法の半分(W/2)に等しい距離だけ、顕微鏡の光学的視野の中を並進軸に沿って前記物理スライドを移動させるステップと、
前記顕微鏡の位置を第2のz位置z2まで調整するステップと、
前記光学的視野に与えられている物理スライドのイメージを捕捉するステップと、
領域幅寸法の半分(W/2)に等しい距離だけ、顕微鏡の光学的視野の中を並進軸に沿って前記物理スライドを同じ方向に移動させるステップと、
前記顕微鏡の位置を前記第1のz位置z1に戻すステップと、
前記顕微鏡が前記第1のz位置z1に位置決めされている第2の定義された領域のイメージを捕捉するステップと、
前記調整するステップと、捕捉するステップと、W/2だけ移動させるステップと、戻すステップと、捕捉するステップと、w/2だけ移動させるステップとを反復するステップと、
を含むことを特徴とする方法。
【請求項22】
請求項21記載の方法において、前記反復するステップは、第1の焦点位置z1を有するイメージの第1の集合と、第2の焦点位置z2を有するイメージの第2の集合とを生じ、前記イメージの第1及び第2の集合は、相互からW/2だけオフセットされたイメージ境界を有する定義された領域のイメージを表すことを特徴とする方法。
【請求項23】
請求項パターン分析モジュール22記載の方法において、
焦点画質計量に対して設定された前記第1及び第2の焦点位置集合のそれぞれのイメージを評価するステップと、
第1又は第2の焦点位置イメージ集合の1つをオフセット量W/2だけ登録処理して、イメージ境界を一致させるステップと、
定義された領域に対応し、所望の焦点画質に対応する焦点画質計量を有する、前記第1及び第2の焦点位置イメージの中の特定の1つを選択するステップと、
イメージの中の選択された1つを、対応する領域の選択されたイメージとして識別するステップと、
前記識別された領域イメージを、前記仮想イメージを定義する合成イメージに合併するステップと、
を更に含むことを特徴とする方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2007−58222(P2007−58222A)
【公開日】平成19年3月8日(2007.3.8)
【国際特許分類】
【外国語出願】
【出願番号】特願2006−228156(P2006−228156)
【出願日】平成18年8月24日(2006.8.24)
【出願人】(506288209)トレストル・アクウィジション・コーポレーション (2)
【Fターム(参考)】