仮想顕微鏡スライドデータ構造
【課題】仮想顕微鏡スライドデータ構造を提供すること。
【解決手段】仮想顕微鏡スライドには、所与の光学倍率レベルに対する、データ構造と結合し、かつ、データ構造中に記憶される標本３１の画像が含まれている。複数のＺ平面画像を有するデータ構造の形成には、主基準焦点面に自動的に焦点を合わせるステップ、光学的に拡大された基準Ｚ画像を捕獲し、かつ、ディジタル化するステップ、および他のＺ平面画像を捕獲し、かつ、ディジタル化するために、標本３１を所定の増分だけレンズ系１５に対してシフトさせるステップが含まれている。ユーザが仮想焦点合せ機能１２を利用することができるよう、得られた画像が検索され、かつ表示４０される。
【解決手段】仮想顕微鏡スライドには、所与の光学倍率レベルに対する、データ構造と結合し、かつ、データ構造中に記憶される標本３１の画像が含まれている。複数のＺ平面画像を有するデータ構造の形成には、主基準焦点面に自動的に焦点を合わせるステップ、光学的に拡大された基準Ｚ画像を捕獲し、かつ、ディジタル化するステップ、および他のＺ平面画像を捕獲し、かつ、ディジタル化するために、標本３１を所定の増分だけレンズ系１５に対してシフトさせるステップが含まれている。ユーザが仮想焦点合せ機能１２を利用することができるよう、得られた画像が検索され、かつ表示４０される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想顕微鏡スライドデータ構造に関し、より詳細には、サポート上の標本からの、ガラス顕微鏡スライドなどの仮想スライド全体に渡る、ガラス顕微鏡スライドの両端間の複数の個別の主画像、すなわち基準画像の焦点位置に関連する画像内容であるＺ軸画像次元を含んだ仮想顕微鏡スライドを獲得して構成するための仮想顕微鏡スライドデータ構造、および局部または遠隔位置への仮想集束を可能にするための第３者による観察のための、Ｚ軸次元のＸ、Ｙ平面中に座標化され、かつ継ぎ目のない仮想顕微鏡スライド画像を記憶し、かつ転送するための仮想顕微鏡スライドデータ構造に関する。
【背景技術】
【０００２】
本出願は、２００２年２月２２日出願の米国仮出願第６０／３５８，７４７号の利益を主張するものである。
【０００３】
顕微鏡を使用した微小対象物の拡大については良く知られている。顕微鏡により、容易に微小対象物を拡大することができ、それにより微小対象物の細部を観察することができる。顕微鏡は、任意の所与の倍率に対して、対応する視野を有している。一般的には、拡大する量が多くなるほど、対象物に対する対応する視野が狭くなる。
【０００４】
図１は、従来の顕微鏡対物レンズ及び対物レンズの焦点面内の対応する被写界深度を示す図である。図１に示すように、顕微鏡対物レンズ１０は、任意の所与の焦点距離に対して、被写界深度１１（つまり、焦点が合った対象物が現われるＺ軸方向の範囲）を有する対応する焦点面を有している。また、一般的には、拡大する量が多くなるほど、対象物に対する対応する被写界深度が小さくなる。これらの顕微鏡視野の単一ディジタル画像の捕獲については良く知られており、その技術の、被写界深度画像内容を記録するための単一対象物位置における画像スタックの捕獲および表示には実績がある。このような画像は、例えば、共焦点顕微鏡検査法機器（confocal microscopy instrument）で使用されており、単一Ｘ、Ｙ平面位置における画像スタック中の各画像のＺ軸焦点位置を変化させることによって、対象物を通して画像化している。
【０００５】
１７５０年前後の初期の顕微鏡技術における顕微鏡標本は、薄くかつ小型の２枚の円形ガラスプレートの間に置かれ、顕微鏡対物レンズの下側のスロット中で前後に引っ張ることができる細長い象牙の「スライダ」上に取り付けられていた。今日の技術では、スライダは、取付け構造としての長方形ガラス「スライド」に置き換えられ、対象標本は、そのガラススライド上に置かれ、場合によっては、より薄いガラス「カバースリップ」で覆われている。
【０００６】
これらのガラススライド取付け構造は、その表面積全体に渡って平らではなく、つまり、４０倍乃至１００倍の共通顕微鏡対物レンズの被写界深度の許容範囲内にある。ガラススライド取付け構造の一部は他の部分より分厚く、場合によっては、そり（warp）、すなわち曲率（curvature）を有しており、そのために、単一視野画像を獲得する場合と対照的に、仮想顕微鏡スライド（virtual microscope slide）の構成に重大な問題をもたらしている。これは、ほとんどの実例において、対物レンズのＺ軸焦点面を標本の断面部分と同じ面に位置付けすることができず、そのために、Ｚ軸次元の標本を何らかの方法で調整しない限り、スライドの表面全体に渡って、すなわち隣接する平面Ｘ、Ｙ視野の中で、Ｚ軸次元の「焦点が合わない」ことに起因している。
【０００７】
例えば、スライドの一方の端部がもう一方の端部より分厚く、他のすべての要素が同じで、かつ、ステージサポートが平らであると仮定した単純なケースの場合、対物レンズ焦点面内における標本の断面の同じ部分の位置決めに関して、スライドの両端間に傾斜が生成される。この傾斜は、狭い視野の中では明白ではないため、単一視野多重Ｚ次元画像の場合、これは問題ではない。この問題の他の面は、ステージサポートに関連している。
【０００８】
市販されているステージは、広く使用されているガラス顕微鏡スライドの全動作距離に渡って平行かつ平らでないことがしばしばであり、また、ミクロトームによる切片化も、一様な厚さの切片をもたらしていないため、標本対象物の断面の厚さが様々な厚さになっている。したがって、多数の要因により、適切な焦点面がスライド上の場所毎に変化している。焦点距離の位置は、顕微鏡の対物レンズによって決まり、また、焦点面の位置を調整するために対物レンズを移動させることができるが、一般的には、ガラススライド構造を保持しているステージプラットホームをＺ方向に上下に移動させることによって、所与の標本位置に対する最適焦点面および単一視野すなわち画像タイルを得ている。したがって、当分野で良く知られているように、顕微鏡スライドの平らな表面および顕微鏡スライドに付着された標本に対するＺ軸方向の焦点面位置は、所与の標本における正確な焦点に対して、実質的にポイント毎に変化している。
【０００９】
また、仮想顕微鏡スライドが知られており、仮想顕微鏡スライドの生成、保管およびインターネットディスプレイまたはイントラネットディスプレイが教示されている（例えば、参照によりその内容が本明細書に組み込まれている特許文献１参照）。特許文献１が教示しているように、仮想顕微鏡スライドは、通常、顕微鏡スライドの一部またはすべてのディジタル化拡大ビュー、および顕微鏡スライド上に配置された対象物（生物学的標本など）からなっている。生成された仮想顕微鏡スライドは、顕微鏡光学視野制限の限界を克服している。つまり、仮想顕微鏡スライドは、スライドの様々な部分からのディジタル画像を記憶するためのデータ構造を有しており、合成画像部分からのＸ、Ｙ平面ビューの復元を可能にしている。
【００１０】
また、観察に関しては、仮想画像（ｖｉｒｔｕａｌ ｉｍａｇｅ）において、ユーザによる場所から場所への継ぎ目のない迅速な操作を可能にし、かつ、様々な顕微鏡対物レンズを使用して倍率を変化させつつ仮想画像のズームを可能にするようにインターネットまたはイントラネットビューワソフトウェア（ｉｎｔｒａｎｅｔ ｖｉｅｗｅｒ ｓｏｆｔｗａｒｅ）を使用することにより、コンピュータ端末ディスプレイスクリーンの有限サイズの限界を克服している。従来技術による仮想スライドは、実際の顕微鏡を通した観察によって得られる観察プロセスおよび検査プロセスを、隣接かつ整列したＸ、Ｙ平面画像の観察に係るコンピュータ観察を可能にしている。
【００１１】
前述の特許文献１に示されているように、ディジタル化される対象物の領域は、単一Ｚ平面焦点距離で捕獲された、隣接する複数の顕微鏡対物レンズ光学視野からなっている。なかには、仮想顕微鏡スライドを表すために、数千の顕微鏡対物レンズ光学視野を記録しているものもある。前述の特許文献１に示されているように、ディジタル化された個々の視野は、タイル（tile）と呼ばれている。選択されるＺ平面の対象物位置は、所与のタイルに対して、顕微鏡スライド上のＸ、Ｙ位置によって変化し、また、前述の特許文献１に示されているように、個々の画像被写界深度に対する自動焦点決定、あるいは画像被写界深度の近傍の予め決定されている焦点位置からの延長による、代表的かつ合理的に最適な焦点位置選択として獲得されている。対象物がディジタル化され、得られた画像が、後続するレビューまたは画像処理のための検索が可能なデータ構造中に記憶されている。
【００１２】
顕微鏡対物レンズ光学視野の限界により、仮想顕微鏡スライドタイルの捕獲（ｃａｐｔｕｒｅ）は、少なくとも１つの平面内の対象物の微小部分のみに常に限定されている。前述の特許文献１に示されているように、ディジタル捕獲は、３色チップＣＣＤセンサを使用して実施され、このＣＣＤセンサは、タイル内の同一の対象物領域のサンプルピクセルポイントおよび個々のタイルを３つのカラーピクセルとして、互いにレジスタ中に捕獲することができる。
【００１３】
また、前述の特許文献１に示されていない、走査法の他の実施形態では、例えば、寸法が３×２０９８ピクセルのラインセンサが使用され、一定の速度で１つの方向に移動することができ、寸法が３×２０９８の一連のタイルを取得するようにサンプリングを実行し、コンピュータメモリに記憶してより大きい画像セグメントを形成する。しかしながら、この画像セグメントも、光学視野によって依然として一つの方向に制限されており、その後に、仮想顕微鏡スライドを構成するために、隣接するタイル画像セグメントを獲得している。この場合、ラインセンサに沿った所与の各位置における３つのピクセルが、異なるカラーセンシングを行なうため、若干のカラー損失および空間情報損失が存在している。
【００１４】
当分野で知られているように、センササンプリングの他の組合せが達成されているが、隣接する捕獲画像部分を復元することができる真の仮想顕微鏡スライド画像捕獲を構成するためには、上記方法は、顕微鏡対物レンズの高倍率における対象物平面の少なくとも１つの次元内の極めて狭い光学視野の限界を克服しなければならない。通常、これは、ステージまたは顕微鏡対物レンズのいずれかを移動して、対象物領域をカバーし、ディジタル化画像データ構造を構成することによって達成される。
【００１５】
また、さらなる観察を容易にするために、ディジタル化画像データ構造を様々な方法で記憶することができることを理解されたい。データ構造を記憶するための方法の１つは、各捕獲事象を極めて大型の連続ディジタルメモリすなわち記憶装置に単純に記憶させることである。この場合、このメモリを単純に索引し、コンピュータスクリーンに、例えば、Ｘ×Ｙピクセルサイズの標準二次元画像を表示することによって連続表示が達成される。しかしながら、この方法の場合、仮想スライドインターネットサーバメモリ要求が極めて大きくなる。前述の特許文献１に記載されているように、タイルデータ構造は、サーバメモリおよびインターネット伝送速度に対して、より有効である。
【００１６】
また、前述の特許文献１には、標準コンピュータビデオディスプレイに、全仮想スライドの微小部分のみを元の捕獲解像度、すなわち最大倍率で表示することができることについても示されている。これを克服するために、画像データ構造及び記憶に関する様々な方法が記述されており、典型的には、ビューワプログラムが、高倍率被写界深度および低倍率被写界深度を表示するために拡大および縮小し、ディジタル記憶装置またはインターネットサーバから既に伝送され、かつ、観察されている仮想スライド画像データ部分を保管している。ビューワディスプレイプログラムは、ユーザが要求する画像部分のみを提供するために、索引およびアドレス指定を処理しなければならない。また、仮想顕微鏡スライドを様々な方向にスクロールすることにより、顕微鏡対物レンズに対する対象物／スライドの移動を模擬することができる。このような仮想顕微鏡スライドは、教育、訓練、定量分析および定性分析を始めとする様々な目的に使用することができる。
【００１７】
このような仮想顕微鏡スライドは、特に、厚さが比較的一様である標本と、単一被写界深度内に存在する重要なフィーチャ（特徴部分）とを有するアプリケーションに対して良好に機能している。このような仮想顕微鏡スライドは、仮想顕微鏡検査法が抱えている２つの重要な技術的課題のうちの第１の問題を解決している。第１の問題は、隣接する微小画像セグメントを整列させ、それらをＸ、Ｙ位置決めにおいて継ぎ目なく表示する問題である。顕微鏡は、任意の所与の倍率レベルに対して、このような標本、およびディジタル捕獲され、かつ、後の検索および利用のために記憶されている、対応する単一焦点面画像の焦点を自動的に合わせることができる。
【００１８】
しかしながら、標本の深さの変化が大きい場合、および／または重要なフィーチャ（特徴部分）が深さに対してより幅広く間隔を隔てている場合、従来技術による仮想顕微鏡スライドには、１つまたは複数の望ましい要素に対して、焦点が完全に合わない画像が含まれることになる。これは、仮想顕微鏡検査法が抱えている第２の主要な技術的課題である。この課題は、第１の位置における画像を表示するための適切な焦点面を見出すことであり、あるいは、スライド全体に渡ってＺ軸次元を持たせることであり、それにより、いずれの場合においても、非平坦顕微鏡ガラススライドのサポートの課題、およびガラススライドの平らなＸ、Ｙ表面に対する最適焦点面の位置を変化させる組織切片化（ｓｅｃｔｉｏｎｉｎｇ）の課題および堆積不規則性（ｄｅｐｏｓｉｔｉｏｎ ｉｒｒｅｇｕｌａｒｉｔｙ）の課題が解決される。この第２の課題に固有の問題と矛盾しないよう、多くの異なる非隣接対象物位置から、仮想スライドデータ構造を統合することなく、非座標化方式でＺ平面画像のスタック（ｓｔａｃｋ）を取得することは、その適切な記憶および検索がいずれも困難であり、また、インターネットまたはイントラネット環境中における首尾一貫した方式での観察が困難である。
【００１９】
図２は、被写界深度の内部および外部の標本中の対象物の細部を示す、従来技術による顕微鏡スライド上の標本を示す図である。図２において、顕微鏡スライド２１は、比較的一様な深さ部分２２、すなわちＺ軸位置、および／または深さが大きく変化している部分２３を有する標本を保持している。ある部分２２が被写界深度１１内を維持しているのに対して、被写界深度１１の上側または下側に拡張した他の部分２６及び２７は、焦点が外れた状態で、得られる画像中に出現するものと思われる。同様に、被写界深度１１内に存在している重要なフィーチャ２４は、焦点が合った状態で出現するが、被写界深度の範囲外に存在している重要なフィーチャ２５は、焦点が外れた状態で出現することになる。
【００２０】
このような仮想顕微鏡スライドが学術的に使用されているかどうかに関係なく、組織微小配列（tissue microarray）を画像化する場合（例えば、特許文献２参照）、あるいは診断を目的としている場合、焦点外れの要素は、所望の活動のためのこのような画像を不適切にしていることがしばしばである。
【００２１】
【特許文献１】米国特許第６，２７２，２３５号明細書
【特許文献２】米国特許第６，４６６，６９０号明細書
【特許文献３】米国特許第６，３９６，９４１号明細書
【発明の開示】
【発明が解決しようとする課題】
【００２２】
本発明によれば、顕微鏡標本から仮想顕微鏡スライドを構成し、記憶し、かつ観察するための、被写界深度画像内容を保存するための複数のＺ平面画像捕獲ステップを含んだ、新しく、かつ改良された集束可能な仮想顕微鏡装置及びその方法が提供される。また、上述した改良型の方法及び装置には、個々のタイル画像すなわち捕獲画像のデータ構造を、Ｚ平面画像を含み、かつ、選択された最適画像タイルに関連するフォーマットで記憶するステップが含まれており、複数のＺ平面内の隣接する領域の完全な復元を可能にし、かつ、遠隔位置にいる第３者による観察のための、インターネット仮想顕微鏡サーバによる、複数のＺ平面を有する仮想スライド画像の効果的な転送を可能にしている。
【課題を解決するための手段】
【００２３】
上述した改良された方法及び装置の提供は、好ましい実施形態によって達成され、複数のＺ軸画像シーケンスが捕獲され、所与のＸ、Ｙ位置における単一タイルの、自動的に取得され、選択されるＺ軸焦点位置によって参照される。このような走査については、前述の特許文献に示されている。所与の基準タイルの上側および下側の複数のＺ平面画像が獲得され、データ構造の中で基準タイルと結合される。
【００２４】
また、好ましいデータ構造は、所有権を主張できる仮想スライドインターネット／イントラネットブラウザ、および汎用コンポーネントパネルビューイングプログラム、例えばＡｃｔｉｖｅＸコンポーネントおよびＪａｖａ Ａｐｐｌｅｔを備えており、所有権を主張できるインターネット／イントラネットブラウザ中であれ、あるいはユーザ独自のアプリケーションプログラム中であれ、もしくは汎用インターネット／イントラネットブラウザ中であれ、これらのすべてが、遠隔ユーザによる仮想スライド画像を観察する際のＺ平面画像次元の操作を可能にしている。
【００２５】
データ構造は、インターネットまたはイントラネットを介して転送することができるため、ユーザは、Ｚ軸の全深さに渡って仮想スライド標本を観察するために、所与の対象物位置で焦点を上下させることができ、したがって、記録されているＺ焦点深度タイル１つだけでは見ることができない対象物の細部に焦点を合わせることができる。
【００２６】
本発明による好ましい実施形態では、コンピュータのマウスホイールを前後に移動させることによって、あるいはコンピュータキーボードの上矢印または下矢印を異なるＺ平面画像を通して移動させることによって、このような観察が達成されている。また、ビューイングプログラムは、ユーザによるスクロール、隣接するタイルの隣接する画像領域の観察、および関連するＺ平面画像の観察を可能にしている。
【００２７】
次に、本発明の態様をより詳細に考察すると、画像焦点面に対するＺ平面画像の内容の追加の問題が、本発明によるシステムによって解決されている。このシステムには、顕微鏡対物レンズ１０の下側の特定の固定距離にガラススライド２１を保持し、かつ、サポートする顕微鏡ステージが含まれており、したがって、ガラススライド上の標本は、所与の顕微鏡対物レンズの焦点深度１１内に適切な対象物を有している。この顕微鏡ステージは、精密ステッピングモータによってコンピュータ制御され、Ｘ、Ｙ平面内およびＺ軸次元内を移動している。
【００２８】
本発明の好ましい方法によるＸ、Ｙ平面内の走査は、画像タイルを取得するために、Ｘ、Ｙステッピングモータを使用して、１つの画像視野から他の画像視野へステージを正確に移動させることによって達成されている。Ｘ方向またはＹ方向への各移動に対するステップサイズは、タイルが互いに隣接し、かつ、整列するよう、増分ステップサイズが予め決定されている。ガラススライドは、ステージによって保持され、かつ、堅固にサポートされており、また、標本は、ガラススライド上に堅固に保持されているため、その効果は、ガラススライドを移動させることであり、したがって、新しい標本部分を顕微鏡対物レンズの視野の中にもたらすことにあるが、画像の内容は、対物レンズの所与の焦点深度１１によって決まる。視野内ではあっても、焦点深度領域外の標本部分は画像内容には含まれない。
【００２９】
また、顕微鏡スライドをサポートしている顕微鏡ステージは、Ｚ軸方向に対しても制御されているため、スライド上の視野内の、Ｚ軸焦点深度領域外の標本部分を、所望のＺ軸焦点深度領域に移動させることができる。顕微鏡ステージのＺ軸方向の移動は、コンピュータによって、Ｚ軸ステップサイズのディジタル増分で制御されている。ディジタルユニットの各々は、最小可能増分ステップを表している。例えば、一自動顕微鏡システムでは、モータを備えた内部Ｚドライブを備えたＯｌｙｍｐｕｓ ＢＸ６１（Ｏｌｙｍｐｕｓ Ａｍｅｒｉｃａ Ｉｎｃ．２ Ｃｏｒｐｏｒａｔｅ Ｃｅｎｔｅｒ Ｄｒｉｖｅ，Ｍｅｌｖｉｌｌｅ，ＮＹ １１７４７，ＵＳＡが販売している）の１増分は、０．０１μｍである。セットアップ段階の間に、走査の起動に先立って、自動焦点手順および後続するＺスタック画像タイル保管手順のための特定のＺ軸ステップサイズパラメータが定義される。
【００３０】
任意の所与のタイルに対して、Ｚスタック保管手順は、所与の基準Ｚ軸位置の上側に４つの画像タイルセット（ｓｅｔ ｏｆ ４ ｉｍａｇｅ ｔｉｌｅｓ）を保管し、また、そのＺ軸基準位置の下側に４つの画像タイルを保管している。上記セット中の各画像タイルは、Ｚ軸次元内の次の画像タイルから、Ｚ軸ステップサイズパラメータだけ分離されている。新しい視野タイルの各々に対する相対基準位置は、以下に示す反復自動焦点手順によって得られる。
【００３１】
次のタイルに移動すると、Ｚ軸焦点位置が、自動焦点ステップサイズで４回増分変化して上昇し、各ステップ毎に画像が取得される。次に、自動焦点ステップサイズで下降し、各ステップ毎に画像が取得される。各画像に対する焦点コントラストパラメータ（ｆｏｃｕｓ ｃｏｎｔｒａｓｔ ｐａｒａｍｅｔｅｒ）が計算される。次に、基準画像および８つの画像タイルセット（ｓｅｔ ｏｆ ８ ｉｍａｇｅ ｔｉｌｅｓ）から、焦点パラメータ（ｆｏｃｕｓ ｐａｒａｍｅｔｅｒ）の最大値と結合したＺ軸位置を選択することによって自動焦点位置（ａｕｔｏｍａｔｉｃ ｆｏｃｕｓ ｐｏｓｉｔｉｏｎ）が決定される。最大値がシーケンスの一方の端部に存在する場合、最大値がタイルのシーケンス（ｓｅｑｕｅｎｃｅ ｏｆ ｔｉｌｅ）の中間レンジ内で見出されるまで、帰納的に手順が繰り返され、それにより基準タイル画像が得られる。その時点で、システムは、Ｚ軸ステップサイズを使用する手順へ進行し、Ｚスタック保管手順（Ｚ ｓｔａｃｋ ｓａｖｅ ｐｒｏｃｅｄｕｒｅ）が実行される。これらのＺスタック画像平面（Ｚ ｓｔａｃｋ ｉｍａｇｅ ｐｌａｎｅ）がタイル画像データ構造に付加され、後の検索および表示の際のアクセスを容易にするために、基準タイルに結合される。仮想顕微鏡スライドの捕獲に関連するすべての視野に対して、一連の同じ事象が反復される。
【００３２】
走査のための入力パラメータとして選択されるステップサイズは、主として、組織切片を切片化する厚さ、あるいは血液または細胞塗抹の塗抹厚さによって決定される、顕微鏡システムのＺ軸増分分解能、選択される顕微鏡対物レンズ、および標本の要求事項に関連している。例えば、増分Ｚ軸サイズが０．０１μｍ、自動焦点ステップサイズが４０ユニットの場合、移動範囲は、上側に１．６μｍ、下側に１．６μｍであり、組織切片中における１シーケンスの総移動範囲は、３．６μｍである。この移動範囲は、例えば、広く使用されている５μｍの組織切片厚さに匹敵している。Ｚスタックステップサイズが２０の場合も、同様に、事実上、本発明の装置および方法による９つの個別かつ異なる被写界深度焦点面内で調査することができる１．８μｍの焦点レンジが得られる。
【００３３】
次の相対焦点位置を最初に決定する２つのステップ手順に続いて、全選択Ｚスタックレンジを記録することにより、ガラススライド基板の非平坦性に起因し、かつ、組織の非一様な切片化および血液中および塗抹標本中に凝集した細胞の付着に起因する不規則性を補償することができることを理解すべきである。また、帰納的アスペクト、自動焦点のための調整可能な異なるＺ軸ステップサイズ、およびＺスタック捕獲のための調整可能な異なるＺ軸ステップサイズを備えたこの好ましい方法は、標本中の基準焦点被写界深度傾斜のロバストな上下追跡を可能にしている。また、この好ましい方法は、事実上、Ｚ軸次元の使用可能な画像内容を増加させる画像情報の有効な記憶を可能にしている。このことは、特に、ガラススライド上に取り付けられたプラント材料、あるいは微小生物および昆虫の全体標本を始めとする分厚い切片など、標本が極めて分厚い場合に云える。仮想スライドインターネットサーバおよびビューワソフトウェアと共に使用する場合、この好ましい方法は、ユーザによる有効な目視検査および追加Ｚ軸画像内容の観察を可能にしている。
【００３４】
各図に示す構成要素は、簡潔に分かり易く示したものであり、必ずしもスケール通りに描写されていないことは、当分野の技術者には理解されよう。例えば、各図に示すいくつかの構成要素の寸法は、本発明の様々な実施形態をより良く理解するために、他の構成要素に対して誇張されている。また、いくつかのフィーチャは、数を制限して示され、共通の構成要素は、簡潔かつ分かり易くするために省略されている。
【発明を実施するための最良の形態】
【００３５】
図３は、本発明に従って構成された実施形態のブロック図で、仮想スライド全体に渡ってＺ軸画像次元を含んだ仮想顕微鏡スライドを得るためのシステムのブロック図を示したものである。このシステムには、ガラス顕微鏡スライド２１をサポートするためのディジタル制御ステージプラットホーム２８を備えた顕微鏡サブシステム１５が含まれている。ディジタルステージプラットホーム２８は、極めて多数の増分を介して動作し、ステージを水平方向のＸおよびＹ平面内に高精度で位置付けすることができる。そのステージ２８の上に、ガラス顕微鏡スライドまたは他の基板２１が配置されている。また、このシステムには、キーボード３７、マウスホイールコントロール３９を備えたマウス３８、およびディスプレイモニタ４０を備えた制御コンピュータシステム３２が含まれている。制御コンピュータシステムのキーボードおよびマウスは、自動焦点ステップサイズパラメータを入力するための自動焦点ステップサイズセットアップウィンドウ１２を介して使用され、また、Ｚスタックステップサイズパラメータは、Ｚスタックステップサイズセットアップウィンドウ１３を使用して入力される。
【００３６】
図３Ａは、焦点セットアップステップサイズ５５の入力コントロールを示した図である。また、図３Ａには、焦点周波数（frequency of focus）５６のための関連するセットアップコントロール、特定の視野に対する自動焦点を実行すべきかどうかを制御するための閾値、および顕微鏡ステージ２８を垂直方向に増分ユニットで上または下に移動させるために、Ｚ軸次元を手動で増加させるためのコントロール５８が示されている。
【００３７】
前述の説明および以下の説明から理解されるように、また、当分野で良く知られているように、高倍率かつ小被写界深度での焦点の制御は複雑であり、かつ、多くの変数が必要である。また、仮想顕微鏡スライド画像データセットを構成または捕獲する際に、すべての標本画像視野に対して実行する場合、多大な時間を要することになる。したがって、好ましい実施形態では、また、後述する他の実施形態では、主要な可変性を克服し、かつ、総仮想スライド走査捕獲時間の短縮を可能にするために、制御パラメータおよびセットアップパラメータが追加されている。
【００３８】
図３Ａは、これらのパラメータのいくつかを示したものである。例えば、焦点周波数（frequency of focus）５６のパラメータを１にセットすると、隣接するすべての視野に対して自動焦点を実行することができ、あるいは、焦点周波数５６のパラメータを２にセットすると、１つおきの視野に対する自動焦点を実行することができる、等々である。以下の詳細説明においては、焦点周波数は１にセットされているものとする。しかしながら、もっと大きい数字にセットすると、焦点の合っていない視野の基準タイルの値が、焦点の合った直前の画像タイルのデフォルト焦点コントラスト値を取ることになる。
【００３９】
本発明による他の実施形態では、場合によっては、上述した実施形態による方法とは異なる方法で基準タイル位置を得ている。すべての視野に焦点を合わせないことにより、走査速度に対する大きな利点が得られるが、多くの標本に対して、そのような走査によって得られる被写界深度位置が、基準画像に対して最適ではないという欠点がある。また、複数のＺスタック画像のうちの１つが、より最適な画像を画像の最終遠隔観察者に提供することになることについても理解されよう。また、例えば、視野が実質的にブランクすなわち空白である場合、自動焦点を得るための十分な画像構造が視野中に存在していないことがしばしばであり、その場合は、コントロール５７が、このような被写界深度の省略を可能にするためにチェックすることができる焦点コントラスト閾値入力パラメータを可能にしている。また、この場合、焦点合わせの要求される次の画像のためのデフォルト基準Ｚ軸位置は、焦点が合った直前の画像タイルである。
【００４０】
図３Ｂは、Ｚスタックステップサイズ６０の入力コントロールを示した図である。このパラメータを個々の標本に対して変更する必要のある多数の要因が存在していることが理解されよう。しかしながら、標本の種類および標本の推定厚さが相俟って、各々のレンズが異なる被写界深度仕様を有しているため、これらの要因の中で最も重要な要因は、通常、使用している特定の顕微鏡対物レンズの倍率である。また、図３Ｂには、特定の仮想顕微鏡データの捕獲走査（ｃａｐｔｕｒｅ ｓｃａｎ）に対してＺスタック画像の保管をイネーブルあるいはディスエーブルするためのチェックボックスコントロール５９が示されている。
【００４１】
前述の特許文献によれば、精密ステージ２８を新しい対物レンズ１０の視野に移動させるためのステージコントローラ１４を使用してコンピュータ制御顕微鏡を移動させることにより、標本対象物３１全体の走査が開始され、その位置における初期画像が取得され、その画像の焦点コントラストパラメータが計算される。本発明によれば、反復自動焦点手順によって、第１の新しい視野画像タイルのための相対Ｚ軸基準位置が取得される。制御コンピュータシステム３２によって、顕微鏡サブシステム１５にＺ軸制御信号が送信され、それによりＺ軸位置コントロールが変化して、ステージが自動焦点ステップサイズで４回増分上昇移動し、続いて、自動焦点ステップサイズで４回下降する。Ｚ軸位置が増分変化する毎に画像収集エレクトロニクス１７が制御され、画像が取得される。取得した画像の各々に対して焦点コントラストパラメータが計算される。
【００４２】
次に、焦点パラメータの最大値と結合したＺ軸位置を選択することにより、初期基準画像および８つの画像のセットから自動焦点Ｚ軸位置が決定される。最大値がシーケンスの一方の端部、つまり、基準画像から４回目に下降した時点の画像あるいは４回目に上昇した時点の画像に存在する場合、その画像が基準画像になり、最大焦点コントラスト値が、両末端画像ではなく、画像シーケンスの中間レンジ内で見出されるまで、帰納的に手順が繰り返され、それにより、新しい視野画像に対する相対Ｚ軸基準位置が得られる。以下でより詳細に説明するが、次に、この相対Ｚ軸位置と結合した画像タイルが、仮想スライドデータ構造中に記憶される。
【００４３】
本発明による好ましい実施形態では、制御コンピュータシステムは、ウィンドウズオペレーティングシステム（Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎ，Ｒｅｄｍｏｎｄ，Ｗａｓｈｉｎｇｔｏｎ，ＵＳＡ）の下で動作している。図３Ａを参照すると、仮想顕微鏡スライドデータ構造は、ウィンドウズオペレーティングシステムファイルフォルダとして記憶されており、各タイル画像は、制御コンピュータシステムソフトウェアプログラムによって自動的に割り当てられる増分画像名称を有する ．ｊｐｇ画像ファイルである。 ．ｊｐｇ画像名称には番号が振られており、したがって、最初に取得された画像は、ＤＡ０．ｊｐｇと呼ばれ、第２の画像はＤＡ１．ｊｐｇ、第３の画像はＤＡ３、等々と呼ばれている。
【００４４】
図３Ｃは、仮想スライドデータフォルダ４２を、データ構造部分４３、４４、４５、４６および４７と共に示した図である。ＤＡ９８の名称が付された９つの画像タイル４３、４５および４６のセットは、特定のＸ、Ｙ標本画像平面位置と結合し、ＤＡ９９の名称が付された、隣接するセット４４および４８は、隣接する他の特定のＸ、Ｙ標本画像平面位置と結合している。２つの基準タイルが、２つのＸ、Ｙ位置におけるデータ構造用として、４３および４４で示されている。これらのタイルは、自動焦点決定されたＺ軸位置にあり、また、記憶された ．ｊｐｇ画像には、そのＺ軸位置およびそれぞれのＸ、Ｙ位置における視野と結合した構造を有する被写界深度画像が含まれている。
【００４５】
仮想顕微鏡スライドを生成するために、システムプログラムが動作している間、制御コンピュータシステムは、さらに、ウィンドウズオペレーティングシステムフォーマット ．ｉｎｉの追加テキスト情報ファイルを生成している。図３Ｃに示すように、このファイル４７には、ＦｉｎａｌＳｃａｎ．ｉｎｉの名称が付されている。とりわけこのファイルには、仮想顕微鏡データ構造中の基準タイルの各々に対応する名称のリストが含まれている。リスト中の各基準タイルに対して、そのタイルのＸ、ＹおよびＺディジタル位置が一覧表に作成されている。前述の特許文献に示されているように、次に、遠隔観察者による連続した仮想スライド画像領域の観察を可能にするために、様々なタイル画像を隣接させ、かつ、復元するために、仮想インターネットサーバおよび仮想顕微鏡ビジュアルディスプレイプログラムによってこの情報が使用される。
【００４６】
図３Ｃの実施例に示されているデータ構造の成分は、基準画像および全Ｚスタック成分への迅速な順次アクセスを可能にするデータベースまたは他の任意の形態に記憶することができることは理解されよう。このデータ構造の新規な態様は、これらの画像成分の閉結合（ｃｌｏｓｅ ａｓｓｏｃｉａｔｉｏｎ）であり、遠隔インターネット観察におけるクライアントサーバの対話を著しく容易にしている。
【００４７】
以下の説明から理解されるように、この種のデータ構造は、クライアントコンピュータへのＺ軸画像内容の迅速な伝送を容易にしている。インターネットサーバコンピュータの中には、異なるレベルの画像ズームが、元の画像から予め構成され、かつ、同時にメモリまたは仮想メモリ中に保管されるピラミッドデータ構造を使用することによって、拡大を必要とする極めて大型の画像の提供を容易にしているものもあるが、そのためには、例えば、図９に概念的に示すような画像構造の複数の平面を維持する要求事項を考慮した場合、極めて大量のメモリが必要である。本発明によるデータ構造は、本質的に、これらの小型基準画像ユニットおよびＺスタック画像ユニット中のメモリまたはディジタルディスク記憶装置から基準画像およびＺスタック画像を迅速に提供するように事前に構成されているため、とりわけ専用ビューイングプログラムを備えた仮想顕微鏡スライド用に使用する場合、本発明によるデータ構造は、はるかに有効である。
【００４８】
所与のＸ、Ｙ標本平面位置におけるＺ軸位置のための関連した画像タイルが捕獲されると、本発明によるシステムは、Ｚ軸ステップサイズを使用する手順に進行し、Ｚスタック保管手順が実行される。そのために、制御コンピュータシステム３２を指示し、最初にＺ軸をＺ軸ステップサイズの増分で下に向かって移動し、各ステップで画像タイルを取得するように顕微鏡サブシステム１５のＺ軸位置決めコントロール１６を制御する。これらの画像タイル４５は、図３のデータ構造セットＤＡ９８の実施例に示すデータ構造中に記憶される。次に、制御コンピュータシステム３２を指示し、Ｚ軸をＺ軸ステップサイズの増分で基準Ｚ軸位置から上に向かって移動し、各ステップで画像タイルを取得するように顕微鏡サブシステム１５のＺ軸位置決めコントロール１６を制御する。これらの画像タイル４６は、図３のデータ構造セットＤａ９８の実施例に示すデータ構造中に記憶される。
【００４９】
タイルセットＤａ９８のデータ構造、例えば、図３に示すデータ構造セットＤａ９９等々を捕獲するために、上で説明した事象と同じ一連の事象が、仮想顕微鏡スライドの捕獲に関連するすべての視野に対して繰り返される。
【００５０】
上述した本発明によるシステムの好ましい実施形態により、事実上、先ず、捕獲画像タイルに対して、スライドのＸ、Ｙ表面上の最適焦点位置におけるＺ軸の不規則性の要因が除去すなわち無効化され、次に、各平面が標本中の異なる被写界深度位置に関連する、凝集性のあるＺ軸次元化された捕獲画像平面が生成される。第１のＺ軸位置は、平行位置決め捕獲をもたらし、すなわち各標本の最適被写界深度位置をもたらし、また、Ｚスタック捕獲により、その最適被写界深度位置の上側および下側の画像平面が得られる。この画像シーケンスサンプリングは、データ構造エレメント４７に記憶されているＸ、Ｙ位置情報と共に使用する場合、データ構造記憶エレメント４３、４４、４４、４５、４６および４８から復元することができる。図４の断面図および図９の略斜視図は、得られた完全な仮想顕微鏡スライドデータ構造を視覚化する補助として、この復元を理想化して示したものである。
【００５１】
以下で説明するように、一般的に使用されているコンピュータスクリーンの画像表示に限界があるため、実際に遠隔観察者が同時に見ることができるのは、完全な仮想顕微鏡スライドデータ構造の微小部分にすぎないが、スクロールし、かつ、仮想顕微鏡スライドサーバに追加画像タイルを要求することによって、すべての仮想顕微鏡スライドデータ構造を利用することができる。
【００５２】
本発明による実施形態についての上述の好ましい説明を他の方法で改変し、Ｚ軸画像情報を有する仮想顕微鏡スライドを生成することができることは、この技術に習熟した人達には理解されよう。この点に関して、本発明を実践する代替方法について説明する。
【００５３】
この代替方法は、広い領域をカバーしていない標本対象物、あるいはステージプラットホーム２８および顕微鏡スライド２１が、合理的に平らな平面内に標本３１を提供するように位置付けされた実例、もしくは、より深い被写界深度を有する、より集光力の小さい対物レンズが使用されている実例に、より良好に適用することができる。所与の倍率レベル（例えば１０倍）に対して、関連するビデオカメラを備えた顕微鏡対物レンズ１０が上下に調整され、あるいは好ましい実施形態の場合と同様に、ステージが上下に調整される。いずれの調整においても、目に見えるようにするために、初期基準画像が顕微鏡対物レンズ１０の焦点面被写界深度内にもたらされ、標本平面内の所与のＸ、Ｙ位置における標本３１の拡大画像を生成するために使用される。
【００５４】
好ましい実施形態の中で説明したように、基準タイルセットとして第１のシリーズの平面隣接画像タイルが取得され、かつ、既に説明した、図３Ｃの実施例における基準タイル４３および４４の例で示すデータ構造中に記憶される。この実施形態における基準タイルのＺ軸位置は、既知のＺ軸値を有する３つのＸ、Ｙポイントを使用することによってＺ軸平面に適合させる計算によって、標本上の３つの個別位置におけるＺ軸位置が決定され、かつ、数学的Ｚ軸平面が標本のＸ、Ｙ平面全体に渡って決定されるセットアップ手順の結果を使用して計算される。この場合、走査プロセスの間、反復帰納自動焦点手順の代わりにこの計算位置が使用され、それにより、走査プロセスおよび画像捕獲プロセスがより高速化される。
【００５５】
図４は、この平面内における完全なタイルセットの捕獲を、被写界深度４１の断面で視覚化した図である。この走査により、標本３１の上部表面のほとんどの画像が捕獲される。この実施形態によれば、次に、ステージＺ軸位置が１つのＺスタック増分に従って変更され、もう１つの画像シリーズが捕獲され、図３Ｃに示すデータ構造中に記憶される。例えば、第１の画像シリーズが、参照番号４３によって表される被写界深度に対応する焦点距離を使用した場合、ステージＺ軸位置を顕微鏡対物レンズに近づけることにより、次の画像シリーズは、参照番号４６ａによって表されることになる。逆に、ステージＺ軸位置を顕微鏡対物レンズから遠ざけることにより、次の画像シリーズは、参照番号４５ａによって表されることになる。同様に、対物レンズの被写界深度領域内に異なるＺ軸平面を位置付けすることにより、次の画像シリーズが捕獲される。
【００５６】
図４に示す実施形態では、捕獲した原始画像シリーズ４３以外に、参照番号４６ａおよび４６ｂで表される２つの他のシリーズ、および参照番号４５ａおよび４５ｂで表される２つの追加シリーズが捕獲されている。標本の異なる領域からこれらの追加画像を捕獲し、かつ、記憶することにより、以下でより詳細に説明するように、仮想焦点合せ機能が実現される。また、この走査方法を、３×２０９８センサとして上で説明した三重ピクセル（triple pixel）タイプのラインセンサにより適したものにすることができる。
【００５７】
このラインセンサは、単一ラインセンサと呼ばれることもある。この場合、微小離散個別タイルを利用することができないため、計算によって、あるいは完璧に平らで、かつ、平行なＸ、Ｙ平面を単純に仮定することによって基準平面を予測することが好ましい。この種の走査により、より長い帯状タイルの画像が、顕微鏡対物レンズ１０の視野内の１つの方向に、２０９８ピクセル幅で保管されるが、保管される画像は、他の方向の連続走査および記憶により、視野を越えて拡張する。まとめて取得された、隣接する２０９８ピクセル幅の帯状タイルにより、仮想顕微鏡スライドが形成される。
【００５８】
同じく図４に示すように、初期基準設定値に対して、上側および下側にそれぞれ２つの焦点被写界深度が存在している。所与のアプリケーションにおいては、上下にわずかに異なる焦点被写界深度（すなわち焦点面）を１つだけ使用して、単一の追加画像セットのみを提供することが適切であるが、ほとんどの目的に対しては、複数の異なる焦点面で捕獲した画像が適切である。好ましい実施形態では、原始基準焦点面以外に、上下にいずれも４つの焦点面が使用され、合計９セットの焦点面画像が提供されている。焦点面画像の各セットは、基準設定値からの所与の焦点距離に対応し、すべてのセットが同じ倍率レベルを共有している。この多くのセットを基準焦点面の上下に提供することにより、有効焦点合せレンジ内において、実際の顕微鏡による焦点合せの見掛けおよび感覚を良好に模擬した、比較的滑らかで、かつ、細かい仮想焦点合せが実現される。
【００５９】
以上に説明したように、様々な被写界深度が実質的に互いに隣接している。他の実施形態では、図５に示すように、所与の画像シリーズに対する所与の被写界深度５１が、異なる画像シリーズに対する他の被写界深度５２と部分的にオーバラップしている。あるいは必要に応じて、図６に示すように、異なる画像シリーズに対応する異なる被写界深度６１と６２の間に微小ギャップを介在させることにより、２つの被写界深度が互いにオーバラップせず、また、隣接もしない被写界深度にすることもできる。一般的には、焦点距離は、被写界深度がほとんど、あるいは全くオーバラップしないよう、互いに実質的に隣接するように調整され、それが恐らくは最適構成であると思われるが、場合によっては、ユーザの要求に応じた他の代替構成も有用である。
【００６０】
図７を参照すると、顕微鏡が第１の位置１０Ａに設置された場合、視野内に存在する標本（図示せず）の特定の切片を画像化する際に、対応する被写界深度４１Ａを有する初期焦点面７１（初期決定されているか、あるいは予め手動または自動的に決定されている）が適切に使用されている。つまり、顕微鏡がこのように位置付けされると、ユーザがいかなる標準を適用しようとも、この初期焦点距離７１は最適焦点を表している。上述の様々な実施形態によれば、１つまたは複数の追加画像が、この同じ視野で、若干異なる焦点距離で取得される。しかし、スライドの他の部分では、顕微鏡が第２の位置１０Ｂに位置付けされると、既に適用されている標準と同じ標準を使用する場合、異なる初期焦点面７２が最適焦点になる。この異なる初期焦点距離７２は、スライド２１からの距離が異なる位置に位置付けされた第１の位置における初期焦点距離７１に対する被写界深度４１Ａと実質的に同じサイズの対応する被写界深度４１Ｂを有することになる。
【００６１】
これは、例えば特許文献２に記載されているように、組織微小配列（ＴＭＡ；（tissue microarray））コアを画像化する場合にしばしば生じる。画像は、本質的にガラス顕微鏡スライドの表面全体に配列された極めて多数の異なる対象物、すなわちＴＭＡコアから捕獲される。したがって、得られる画像は同じく対象物の隣接合成表現からなっているが、それらの画像には、異なる基準画像焦点面が参照されている。また、この実施形態によれば、対象物毎の初期焦点基準焦点面の間に存在する差に無関係に、得られる各画像は、ユーザによる微細な焦点合せに利用することができる同じ数のＺスタック焦点面を有している。
【００６２】
上述したように、好ましい実施形態の場合のように多数の微小タイルから生成されたものであれ、あるいは帯状線分に生成されたものであれ、また、タイルデータ構造中に記憶されるものであれ、あるいは図９に示す５つの焦点面のセット９１のうちの１つの焦点面などの大型復元画像の１つとしてメモリに記憶されるものであれ、遠隔観察者のコンピュータディスプレイスクリーンのサイズおよびピクセル寸法が有限であるため、仮想顕微鏡スライドは、一般的にはそれらの全体を初期捕獲解像度で観察することができない。
【００６３】
図８に示すように、この点に関して有用な従来技術による手法の１つは、タイルと呼ばれる複数の個別画像８３を利用して、スライド８１および標本８２のより大きい合成画像を形成している。仮想顕微鏡スライドのインターネットディスプレイまたはイントラネットディスプレイについては既に示されている（例えば、この参照によりその内容が本明細書に組み込まれる特許文献３参照）。特許文献３に示されているように、仮想顕微鏡スライドは、通常、顕微鏡スライドおよび顕微鏡スライド上に配置された対象物（生物学的標本など）の一部またはすべてのディジタル化された拡大視野（ｄｉｇｉｔｉｚｅｄ ｍａｇｎｉｆｉｅｄ ｖｉｅｗ）からなっている。
【００６４】
また、前述の特許文献３には、様々なインターネットサーバおよび若干のクライアント、および遠隔観察者のための仮想顕微鏡画像内容の復元を可能にする他のＪａｖａ ＡｐｐｌｅｔおよびＡｃｔｉｖｅＸビューワ方式についても教示されている。単一焦点面被写界深度の観察は、画像がタイル化データベース構造として、あるいは完全な単一画像平面としてコンピュータコアメモリに記憶されているかどうかにかかわらず達成されることについては理解されよう。
【００６５】
しかし、本発明による好ましい実施形態では、遠隔観察者が重要な定義済み領域に対する基準画像タイル焦点をサーバに要求した場合、サーバによって、その重要な領域に対するすべての関連Ｚスタック画像が逐次送信される。関連するＺスタック画像は、ローカルコンピュータによって保管され、それにより、滑らかで、かつ、迅速な局所観察による、実際の顕微鏡のアナログ光学焦点合せ操作をシミュレートすることができる。
【００６６】
次に、図１０を参照すると、実施形態では、ユーザは、標準計算プラットホーム（ｓｔａｎｄａｒｄ ｃｏｍｐｕｔｉｎｇ ｐｌａｔｆｏｒｍ）を使用して、仮想スライドサーバおよび所与の標本に対する、上述した仮想顕微鏡スライド情報を保持しているデータ記憶装置（ｄａｔａ ｓｔｒａｇｅ ｆａｃｉｌｉｔｙ）とインタフェースすることができる。標準クライアント／サーバモデルは、このような関係を容易にするように良好に機能しているが、他のデータ転送機構を所与のアプリケーションに適切に使用することも可能である。関連するプロセスは、ユーザプラットホームが、所望の画像を特定の倍率Ｘ（例えば、４０倍）で検索１０１することによって開始される。
【００６７】
前述の特許文献３に記載されているように、対象物のすべての画像を直ちに検索し、局所利用を可能にする必要はない。ネットワークトランザクションを最小にするために、実際に直ちに検索し、かつ、表示する必要があるのは、単一視野の表示に必要なデータのみである。本発明によるシステムおよび方法、および上述した様々な実施形態では、視野の各々が、対応する複数の画像を有しており、各画像はそれぞれ異なる焦点面を表している。したがって、第１の画像を検索し、表示する場合、最初にこれらの画像のうちの１つを選択しなければならない。
【００６８】
好ましい実施形態では、この選択により、遠隔観察者の画像ディスプレイスクリーンのビューウィンドウを満たすタイルに対応する基準画像セットが選択される。また、各基準タイルに対する関連Ｚスタック画像がローカルコンピュータに転送され、保管される。自動的に決定される初期最適焦点面画像が、４つの異なる焦点面画像によって両側に配置される一実施形態では、初期検索１０１および表示１０２に対して、初期画像自体が自動的に選択される。プロセスは、次に、ユーザからの焦点修正命令をモニタ１０３している。ユーザからの焦点修正命令が出現しない場合、プロセスは、どのようなものであるにせよ、サポートされている他の機能に従って継続１０４する（例えば、特定の方向への画像のスクロール要求を示すユーザからの入力を受け取り、対応する画像の検索および表示に使用することができる）。しかし、焦点修正命令を受け取ると、プロセスは、その命令に対応する視野に対する画像をローカルメモリキャッシュから検索１０５し、検索した画像を表示１０６する。
【００６９】
実施形態によれば、各増分によってＺ軸次元における次の隣接画像が検索され、表示されるよう、段階的プロセスにおける、ユーザによるマウスホイール９３またはキーボード３７の上矢印キーまたは下矢印キーを使用した焦点の移動が制限されている。好ましい実施形態では、ユーザすなわち遠隔観察者は、ホイールマウスコントロールを使用して移動させ、仮想顕微鏡スライドに焦点を合わせることができ、基本的には、物理的な顕微鏡およびスライドを使用した場合と同様に移動させ、かつ、焦点を合わせることができる。この機能により、広範囲に渡る様々な標本を容易に観察し、良好な結果を得ることができる。得られる仮想顕微鏡スライドは、教育および訓練に使用することができるばかりでなく、様々な診断プロセスをサポートするために、定性分析および定量分析にも使用することができる。
【００７０】
図１１を参照すると、一任意選択実施形態によれば、ユーザが、上で説明した焦点の修正１０３を要求した場合、プロセスは、焦点合せの限界に達したかどうかを判定１１１することができる。例えば、ユーザプラットホームが、基準タイルから最も遠いＺ軸次元における焦点面を使用して捕獲された画像を既に検索、表示済みであり、かつ、ユーザが、さらに遠くの距離への焦点合せをプラットホームに命令している場合、現行の表示を維持１１２することができる。任意選択で、テキストメッセージまたは他のインディケータをユーザに提供１１３し、焦点限界に到達したことをユーザに知らせることができる。他の実施形態では、現在の焦点位置が焦点合せ可能な範囲内であることを示す視覚インディケータをユーザに提供し、それによりユーザは、そのような状態であることをユーザ自ら確認することができる。
【００７１】
上述した実施形態に関して、本発明の精神および範囲を逸脱することなく、広範囲に渡る様々な改変、変更、および組合せを加えることができること、および、それらの改変、変更、および組合せが、本発明の概念の範囲内であると見なすべきであることは、当分野の技術者には認識されよう。特許請求の範囲の各請求項には、本発明の真の精神および範囲に帰属するこれらのすべての変更および改変が包含されているものとする。
【図面の簡単な説明】
【００７２】
【図１】従来の顕微鏡対物レンズ及び対物レンズの焦点面内の対応する被写界深度を示す図である。
【図２】被写界深度の内部及び外部の標本中の対象物の細部を示す、従来の顕微鏡スライド上の標本を示す図である。
【図３】本発明による実施形態のブロック図である。
【図３Ａ】自動焦点セットアップステップサイズパラメータの入力を可能にするウィンドウを示す図である。
【図３Ｂ】Ｚスタックセットアップステップサイズパラメータの入力を可能にするウィンドウを示す図である。
【図３Ｃ】基準データ構造画像タイル、Ｚ軸次元焦点データ構造画像タイル、および所与の仮想スライドのための ．ｉｎｉデータファイル間の対応を示す、データ構造部分を有する仮想スライドフォルダの実施例を示す図である。
【図４】本発明による実施形態の顕微鏡スライド上の標本の側面図である。
【図５】本発明による実施形態における重畳被写界深度を示す図である。
【図６】本発明による実施形態における非重畳被写界深度を示す図である。
【図７】本発明による他の実施形態の側面図である。
【図８】合成仮想顕微鏡スライドの平面図である。
【図９】本発明による仮想顕微鏡スライドの記号モデルの斜視図である。
【図１０】本発明の実施形態に従って構成される流れ図である。
【図１１】本発明の他の実施形態に従って構成される詳細な流れ図である。
【符号の説明】
【００７３】
１０ 顕微鏡対物レンズ
１１ 被写界深度
１２ 自動焦点ステップサイズセットアップウィンドウ
１３ Ｚスタックステップサイズセットアップウィンドウ
１４ ステージコントローラ
１５ 顕微鏡サブシステム
１６ Ｚ軸位置決めコントロール
１７ 画像収集エレクトロニクス
２１ 顕微鏡スライド
２２ 深さ部分
２３ 変化している部分
２４，２５ フィーチャ
２６，２７ 他の部分
２８ ディジタル制御ステージプラットホーム
３２ 制御コンピュータシステム
３１ 標本
３５ ローカルコンピュータ記憶装置
３７ キーボード
３８ マウス
３９ マウスホイールコントロール
４０ ディスプレイモニタ
【技術分野】
【０００１】
本発明は、仮想顕微鏡スライドデータ構造に関し、より詳細には、サポート上の標本からの、ガラス顕微鏡スライドなどの仮想スライド全体に渡る、ガラス顕微鏡スライドの両端間の複数の個別の主画像、すなわち基準画像の焦点位置に関連する画像内容であるＺ軸画像次元を含んだ仮想顕微鏡スライドを獲得して構成するための仮想顕微鏡スライドデータ構造、および局部または遠隔位置への仮想集束を可能にするための第３者による観察のための、Ｚ軸次元のＸ、Ｙ平面中に座標化され、かつ継ぎ目のない仮想顕微鏡スライド画像を記憶し、かつ転送するための仮想顕微鏡スライドデータ構造に関する。
【背景技術】
【０００２】
本出願は、２００２年２月２２日出願の米国仮出願第６０／３５８，７４７号の利益を主張するものである。
【０００３】
顕微鏡を使用した微小対象物の拡大については良く知られている。顕微鏡により、容易に微小対象物を拡大することができ、それにより微小対象物の細部を観察することができる。顕微鏡は、任意の所与の倍率に対して、対応する視野を有している。一般的には、拡大する量が多くなるほど、対象物に対する対応する視野が狭くなる。
【０００４】
図１は、従来の顕微鏡対物レンズ及び対物レンズの焦点面内の対応する被写界深度を示す図である。図１に示すように、顕微鏡対物レンズ１０は、任意の所与の焦点距離に対して、被写界深度１１（つまり、焦点が合った対象物が現われるＺ軸方向の範囲）を有する対応する焦点面を有している。また、一般的には、拡大する量が多くなるほど、対象物に対する対応する被写界深度が小さくなる。これらの顕微鏡視野の単一ディジタル画像の捕獲については良く知られており、その技術の、被写界深度画像内容を記録するための単一対象物位置における画像スタックの捕獲および表示には実績がある。このような画像は、例えば、共焦点顕微鏡検査法機器（confocal microscopy instrument）で使用されており、単一Ｘ、Ｙ平面位置における画像スタック中の各画像のＺ軸焦点位置を変化させることによって、対象物を通して画像化している。
【０００５】
１７５０年前後の初期の顕微鏡技術における顕微鏡標本は、薄くかつ小型の２枚の円形ガラスプレートの間に置かれ、顕微鏡対物レンズの下側のスロット中で前後に引っ張ることができる細長い象牙の「スライダ」上に取り付けられていた。今日の技術では、スライダは、取付け構造としての長方形ガラス「スライド」に置き換えられ、対象標本は、そのガラススライド上に置かれ、場合によっては、より薄いガラス「カバースリップ」で覆われている。
【０００６】
これらのガラススライド取付け構造は、その表面積全体に渡って平らではなく、つまり、４０倍乃至１００倍の共通顕微鏡対物レンズの被写界深度の許容範囲内にある。ガラススライド取付け構造の一部は他の部分より分厚く、場合によっては、そり（warp）、すなわち曲率（curvature）を有しており、そのために、単一視野画像を獲得する場合と対照的に、仮想顕微鏡スライド（virtual microscope slide）の構成に重大な問題をもたらしている。これは、ほとんどの実例において、対物レンズのＺ軸焦点面を標本の断面部分と同じ面に位置付けすることができず、そのために、Ｚ軸次元の標本を何らかの方法で調整しない限り、スライドの表面全体に渡って、すなわち隣接する平面Ｘ、Ｙ視野の中で、Ｚ軸次元の「焦点が合わない」ことに起因している。
【０００７】
例えば、スライドの一方の端部がもう一方の端部より分厚く、他のすべての要素が同じで、かつ、ステージサポートが平らであると仮定した単純なケースの場合、対物レンズ焦点面内における標本の断面の同じ部分の位置決めに関して、スライドの両端間に傾斜が生成される。この傾斜は、狭い視野の中では明白ではないため、単一視野多重Ｚ次元画像の場合、これは問題ではない。この問題の他の面は、ステージサポートに関連している。
【０００８】
市販されているステージは、広く使用されているガラス顕微鏡スライドの全動作距離に渡って平行かつ平らでないことがしばしばであり、また、ミクロトームによる切片化も、一様な厚さの切片をもたらしていないため、標本対象物の断面の厚さが様々な厚さになっている。したがって、多数の要因により、適切な焦点面がスライド上の場所毎に変化している。焦点距離の位置は、顕微鏡の対物レンズによって決まり、また、焦点面の位置を調整するために対物レンズを移動させることができるが、一般的には、ガラススライド構造を保持しているステージプラットホームをＺ方向に上下に移動させることによって、所与の標本位置に対する最適焦点面および単一視野すなわち画像タイルを得ている。したがって、当分野で良く知られているように、顕微鏡スライドの平らな表面および顕微鏡スライドに付着された標本に対するＺ軸方向の焦点面位置は、所与の標本における正確な焦点に対して、実質的にポイント毎に変化している。
【０００９】
また、仮想顕微鏡スライドが知られており、仮想顕微鏡スライドの生成、保管およびインターネットディスプレイまたはイントラネットディスプレイが教示されている（例えば、参照によりその内容が本明細書に組み込まれている特許文献１参照）。特許文献１が教示しているように、仮想顕微鏡スライドは、通常、顕微鏡スライドの一部またはすべてのディジタル化拡大ビュー、および顕微鏡スライド上に配置された対象物（生物学的標本など）からなっている。生成された仮想顕微鏡スライドは、顕微鏡光学視野制限の限界を克服している。つまり、仮想顕微鏡スライドは、スライドの様々な部分からのディジタル画像を記憶するためのデータ構造を有しており、合成画像部分からのＸ、Ｙ平面ビューの復元を可能にしている。
【００１０】
また、観察に関しては、仮想画像（ｖｉｒｔｕａｌ ｉｍａｇｅ）において、ユーザによる場所から場所への継ぎ目のない迅速な操作を可能にし、かつ、様々な顕微鏡対物レンズを使用して倍率を変化させつつ仮想画像のズームを可能にするようにインターネットまたはイントラネットビューワソフトウェア（ｉｎｔｒａｎｅｔ ｖｉｅｗｅｒ ｓｏｆｔｗａｒｅ）を使用することにより、コンピュータ端末ディスプレイスクリーンの有限サイズの限界を克服している。従来技術による仮想スライドは、実際の顕微鏡を通した観察によって得られる観察プロセスおよび検査プロセスを、隣接かつ整列したＸ、Ｙ平面画像の観察に係るコンピュータ観察を可能にしている。
【００１１】
前述の特許文献１に示されているように、ディジタル化される対象物の領域は、単一Ｚ平面焦点距離で捕獲された、隣接する複数の顕微鏡対物レンズ光学視野からなっている。なかには、仮想顕微鏡スライドを表すために、数千の顕微鏡対物レンズ光学視野を記録しているものもある。前述の特許文献１に示されているように、ディジタル化された個々の視野は、タイル（tile）と呼ばれている。選択されるＺ平面の対象物位置は、所与のタイルに対して、顕微鏡スライド上のＸ、Ｙ位置によって変化し、また、前述の特許文献１に示されているように、個々の画像被写界深度に対する自動焦点決定、あるいは画像被写界深度の近傍の予め決定されている焦点位置からの延長による、代表的かつ合理的に最適な焦点位置選択として獲得されている。対象物がディジタル化され、得られた画像が、後続するレビューまたは画像処理のための検索が可能なデータ構造中に記憶されている。
【００１２】
顕微鏡対物レンズ光学視野の限界により、仮想顕微鏡スライドタイルの捕獲（ｃａｐｔｕｒｅ）は、少なくとも１つの平面内の対象物の微小部分のみに常に限定されている。前述の特許文献１に示されているように、ディジタル捕獲は、３色チップＣＣＤセンサを使用して実施され、このＣＣＤセンサは、タイル内の同一の対象物領域のサンプルピクセルポイントおよび個々のタイルを３つのカラーピクセルとして、互いにレジスタ中に捕獲することができる。
【００１３】
また、前述の特許文献１に示されていない、走査法の他の実施形態では、例えば、寸法が３×２０９８ピクセルのラインセンサが使用され、一定の速度で１つの方向に移動することができ、寸法が３×２０９８の一連のタイルを取得するようにサンプリングを実行し、コンピュータメモリに記憶してより大きい画像セグメントを形成する。しかしながら、この画像セグメントも、光学視野によって依然として一つの方向に制限されており、その後に、仮想顕微鏡スライドを構成するために、隣接するタイル画像セグメントを獲得している。この場合、ラインセンサに沿った所与の各位置における３つのピクセルが、異なるカラーセンシングを行なうため、若干のカラー損失および空間情報損失が存在している。
【００１４】
当分野で知られているように、センササンプリングの他の組合せが達成されているが、隣接する捕獲画像部分を復元することができる真の仮想顕微鏡スライド画像捕獲を構成するためには、上記方法は、顕微鏡対物レンズの高倍率における対象物平面の少なくとも１つの次元内の極めて狭い光学視野の限界を克服しなければならない。通常、これは、ステージまたは顕微鏡対物レンズのいずれかを移動して、対象物領域をカバーし、ディジタル化画像データ構造を構成することによって達成される。
【００１５】
また、さらなる観察を容易にするために、ディジタル化画像データ構造を様々な方法で記憶することができることを理解されたい。データ構造を記憶するための方法の１つは、各捕獲事象を極めて大型の連続ディジタルメモリすなわち記憶装置に単純に記憶させることである。この場合、このメモリを単純に索引し、コンピュータスクリーンに、例えば、Ｘ×Ｙピクセルサイズの標準二次元画像を表示することによって連続表示が達成される。しかしながら、この方法の場合、仮想スライドインターネットサーバメモリ要求が極めて大きくなる。前述の特許文献１に記載されているように、タイルデータ構造は、サーバメモリおよびインターネット伝送速度に対して、より有効である。
【００１６】
また、前述の特許文献１には、標準コンピュータビデオディスプレイに、全仮想スライドの微小部分のみを元の捕獲解像度、すなわち最大倍率で表示することができることについても示されている。これを克服するために、画像データ構造及び記憶に関する様々な方法が記述されており、典型的には、ビューワプログラムが、高倍率被写界深度および低倍率被写界深度を表示するために拡大および縮小し、ディジタル記憶装置またはインターネットサーバから既に伝送され、かつ、観察されている仮想スライド画像データ部分を保管している。ビューワディスプレイプログラムは、ユーザが要求する画像部分のみを提供するために、索引およびアドレス指定を処理しなければならない。また、仮想顕微鏡スライドを様々な方向にスクロールすることにより、顕微鏡対物レンズに対する対象物／スライドの移動を模擬することができる。このような仮想顕微鏡スライドは、教育、訓練、定量分析および定性分析を始めとする様々な目的に使用することができる。
【００１７】
このような仮想顕微鏡スライドは、特に、厚さが比較的一様である標本と、単一被写界深度内に存在する重要なフィーチャ（特徴部分）とを有するアプリケーションに対して良好に機能している。このような仮想顕微鏡スライドは、仮想顕微鏡検査法が抱えている２つの重要な技術的課題のうちの第１の問題を解決している。第１の問題は、隣接する微小画像セグメントを整列させ、それらをＸ、Ｙ位置決めにおいて継ぎ目なく表示する問題である。顕微鏡は、任意の所与の倍率レベルに対して、このような標本、およびディジタル捕獲され、かつ、後の検索および利用のために記憶されている、対応する単一焦点面画像の焦点を自動的に合わせることができる。
【００１８】
しかしながら、標本の深さの変化が大きい場合、および／または重要なフィーチャ（特徴部分）が深さに対してより幅広く間隔を隔てている場合、従来技術による仮想顕微鏡スライドには、１つまたは複数の望ましい要素に対して、焦点が完全に合わない画像が含まれることになる。これは、仮想顕微鏡検査法が抱えている第２の主要な技術的課題である。この課題は、第１の位置における画像を表示するための適切な焦点面を見出すことであり、あるいは、スライド全体に渡ってＺ軸次元を持たせることであり、それにより、いずれの場合においても、非平坦顕微鏡ガラススライドのサポートの課題、およびガラススライドの平らなＸ、Ｙ表面に対する最適焦点面の位置を変化させる組織切片化（ｓｅｃｔｉｏｎｉｎｇ）の課題および堆積不規則性（ｄｅｐｏｓｉｔｉｏｎ ｉｒｒｅｇｕｌａｒｉｔｙ）の課題が解決される。この第２の課題に固有の問題と矛盾しないよう、多くの異なる非隣接対象物位置から、仮想スライドデータ構造を統合することなく、非座標化方式でＺ平面画像のスタック（ｓｔａｃｋ）を取得することは、その適切な記憶および検索がいずれも困難であり、また、インターネットまたはイントラネット環境中における首尾一貫した方式での観察が困難である。
【００１９】
図２は、被写界深度の内部および外部の標本中の対象物の細部を示す、従来技術による顕微鏡スライド上の標本を示す図である。図２において、顕微鏡スライド２１は、比較的一様な深さ部分２２、すなわちＺ軸位置、および／または深さが大きく変化している部分２３を有する標本を保持している。ある部分２２が被写界深度１１内を維持しているのに対して、被写界深度１１の上側または下側に拡張した他の部分２６及び２７は、焦点が外れた状態で、得られる画像中に出現するものと思われる。同様に、被写界深度１１内に存在している重要なフィーチャ２４は、焦点が合った状態で出現するが、被写界深度の範囲外に存在している重要なフィーチャ２５は、焦点が外れた状態で出現することになる。
【００２０】
このような仮想顕微鏡スライドが学術的に使用されているかどうかに関係なく、組織微小配列（tissue microarray）を画像化する場合（例えば、特許文献２参照）、あるいは診断を目的としている場合、焦点外れの要素は、所望の活動のためのこのような画像を不適切にしていることがしばしばである。
【００２１】
【特許文献１】米国特許第６，２７２，２３５号明細書
【特許文献２】米国特許第６，４６６，６９０号明細書
【特許文献３】米国特許第６，３９６，９４１号明細書
【発明の開示】
【発明が解決しようとする課題】
【００２２】
本発明によれば、顕微鏡標本から仮想顕微鏡スライドを構成し、記憶し、かつ観察するための、被写界深度画像内容を保存するための複数のＺ平面画像捕獲ステップを含んだ、新しく、かつ改良された集束可能な仮想顕微鏡装置及びその方法が提供される。また、上述した改良型の方法及び装置には、個々のタイル画像すなわち捕獲画像のデータ構造を、Ｚ平面画像を含み、かつ、選択された最適画像タイルに関連するフォーマットで記憶するステップが含まれており、複数のＺ平面内の隣接する領域の完全な復元を可能にし、かつ、遠隔位置にいる第３者による観察のための、インターネット仮想顕微鏡サーバによる、複数のＺ平面を有する仮想スライド画像の効果的な転送を可能にしている。
【課題を解決するための手段】
【００２３】
上述した改良された方法及び装置の提供は、好ましい実施形態によって達成され、複数のＺ軸画像シーケンスが捕獲され、所与のＸ、Ｙ位置における単一タイルの、自動的に取得され、選択されるＺ軸焦点位置によって参照される。このような走査については、前述の特許文献に示されている。所与の基準タイルの上側および下側の複数のＺ平面画像が獲得され、データ構造の中で基準タイルと結合される。
【００２４】
また、好ましいデータ構造は、所有権を主張できる仮想スライドインターネット／イントラネットブラウザ、および汎用コンポーネントパネルビューイングプログラム、例えばＡｃｔｉｖｅＸコンポーネントおよびＪａｖａ Ａｐｐｌｅｔを備えており、所有権を主張できるインターネット／イントラネットブラウザ中であれ、あるいはユーザ独自のアプリケーションプログラム中であれ、もしくは汎用インターネット／イントラネットブラウザ中であれ、これらのすべてが、遠隔ユーザによる仮想スライド画像を観察する際のＺ平面画像次元の操作を可能にしている。
【００２５】
データ構造は、インターネットまたはイントラネットを介して転送することができるため、ユーザは、Ｚ軸の全深さに渡って仮想スライド標本を観察するために、所与の対象物位置で焦点を上下させることができ、したがって、記録されているＺ焦点深度タイル１つだけでは見ることができない対象物の細部に焦点を合わせることができる。
【００２６】
本発明による好ましい実施形態では、コンピュータのマウスホイールを前後に移動させることによって、あるいはコンピュータキーボードの上矢印または下矢印を異なるＺ平面画像を通して移動させることによって、このような観察が達成されている。また、ビューイングプログラムは、ユーザによるスクロール、隣接するタイルの隣接する画像領域の観察、および関連するＺ平面画像の観察を可能にしている。
【００２７】
次に、本発明の態様をより詳細に考察すると、画像焦点面に対するＺ平面画像の内容の追加の問題が、本発明によるシステムによって解決されている。このシステムには、顕微鏡対物レンズ１０の下側の特定の固定距離にガラススライド２１を保持し、かつ、サポートする顕微鏡ステージが含まれており、したがって、ガラススライド上の標本は、所与の顕微鏡対物レンズの焦点深度１１内に適切な対象物を有している。この顕微鏡ステージは、精密ステッピングモータによってコンピュータ制御され、Ｘ、Ｙ平面内およびＺ軸次元内を移動している。
【００２８】
本発明の好ましい方法によるＸ、Ｙ平面内の走査は、画像タイルを取得するために、Ｘ、Ｙステッピングモータを使用して、１つの画像視野から他の画像視野へステージを正確に移動させることによって達成されている。Ｘ方向またはＹ方向への各移動に対するステップサイズは、タイルが互いに隣接し、かつ、整列するよう、増分ステップサイズが予め決定されている。ガラススライドは、ステージによって保持され、かつ、堅固にサポートされており、また、標本は、ガラススライド上に堅固に保持されているため、その効果は、ガラススライドを移動させることであり、したがって、新しい標本部分を顕微鏡対物レンズの視野の中にもたらすことにあるが、画像の内容は、対物レンズの所与の焦点深度１１によって決まる。視野内ではあっても、焦点深度領域外の標本部分は画像内容には含まれない。
【００２９】
また、顕微鏡スライドをサポートしている顕微鏡ステージは、Ｚ軸方向に対しても制御されているため、スライド上の視野内の、Ｚ軸焦点深度領域外の標本部分を、所望のＺ軸焦点深度領域に移動させることができる。顕微鏡ステージのＺ軸方向の移動は、コンピュータによって、Ｚ軸ステップサイズのディジタル増分で制御されている。ディジタルユニットの各々は、最小可能増分ステップを表している。例えば、一自動顕微鏡システムでは、モータを備えた内部Ｚドライブを備えたＯｌｙｍｐｕｓ ＢＸ６１（Ｏｌｙｍｐｕｓ Ａｍｅｒｉｃａ Ｉｎｃ．２ Ｃｏｒｐｏｒａｔｅ Ｃｅｎｔｅｒ Ｄｒｉｖｅ，Ｍｅｌｖｉｌｌｅ，ＮＹ １１７４７，ＵＳＡが販売している）の１増分は、０．０１μｍである。セットアップ段階の間に、走査の起動に先立って、自動焦点手順および後続するＺスタック画像タイル保管手順のための特定のＺ軸ステップサイズパラメータが定義される。
【００３０】
任意の所与のタイルに対して、Ｚスタック保管手順は、所与の基準Ｚ軸位置の上側に４つの画像タイルセット（ｓｅｔ ｏｆ ４ ｉｍａｇｅ ｔｉｌｅｓ）を保管し、また、そのＺ軸基準位置の下側に４つの画像タイルを保管している。上記セット中の各画像タイルは、Ｚ軸次元内の次の画像タイルから、Ｚ軸ステップサイズパラメータだけ分離されている。新しい視野タイルの各々に対する相対基準位置は、以下に示す反復自動焦点手順によって得られる。
【００３１】
次のタイルに移動すると、Ｚ軸焦点位置が、自動焦点ステップサイズで４回増分変化して上昇し、各ステップ毎に画像が取得される。次に、自動焦点ステップサイズで下降し、各ステップ毎に画像が取得される。各画像に対する焦点コントラストパラメータ（ｆｏｃｕｓ ｃｏｎｔｒａｓｔ ｐａｒａｍｅｔｅｒ）が計算される。次に、基準画像および８つの画像タイルセット（ｓｅｔ ｏｆ ８ ｉｍａｇｅ ｔｉｌｅｓ）から、焦点パラメータ（ｆｏｃｕｓ ｐａｒａｍｅｔｅｒ）の最大値と結合したＺ軸位置を選択することによって自動焦点位置（ａｕｔｏｍａｔｉｃ ｆｏｃｕｓ ｐｏｓｉｔｉｏｎ）が決定される。最大値がシーケンスの一方の端部に存在する場合、最大値がタイルのシーケンス（ｓｅｑｕｅｎｃｅ ｏｆ ｔｉｌｅ）の中間レンジ内で見出されるまで、帰納的に手順が繰り返され、それにより基準タイル画像が得られる。その時点で、システムは、Ｚ軸ステップサイズを使用する手順へ進行し、Ｚスタック保管手順（Ｚ ｓｔａｃｋ ｓａｖｅ ｐｒｏｃｅｄｕｒｅ）が実行される。これらのＺスタック画像平面（Ｚ ｓｔａｃｋ ｉｍａｇｅ ｐｌａｎｅ）がタイル画像データ構造に付加され、後の検索および表示の際のアクセスを容易にするために、基準タイルに結合される。仮想顕微鏡スライドの捕獲に関連するすべての視野に対して、一連の同じ事象が反復される。
【００３２】
走査のための入力パラメータとして選択されるステップサイズは、主として、組織切片を切片化する厚さ、あるいは血液または細胞塗抹の塗抹厚さによって決定される、顕微鏡システムのＺ軸増分分解能、選択される顕微鏡対物レンズ、および標本の要求事項に関連している。例えば、増分Ｚ軸サイズが０．０１μｍ、自動焦点ステップサイズが４０ユニットの場合、移動範囲は、上側に１．６μｍ、下側に１．６μｍであり、組織切片中における１シーケンスの総移動範囲は、３．６μｍである。この移動範囲は、例えば、広く使用されている５μｍの組織切片厚さに匹敵している。Ｚスタックステップサイズが２０の場合も、同様に、事実上、本発明の装置および方法による９つの個別かつ異なる被写界深度焦点面内で調査することができる１．８μｍの焦点レンジが得られる。
【００３３】
次の相対焦点位置を最初に決定する２つのステップ手順に続いて、全選択Ｚスタックレンジを記録することにより、ガラススライド基板の非平坦性に起因し、かつ、組織の非一様な切片化および血液中および塗抹標本中に凝集した細胞の付着に起因する不規則性を補償することができることを理解すべきである。また、帰納的アスペクト、自動焦点のための調整可能な異なるＺ軸ステップサイズ、およびＺスタック捕獲のための調整可能な異なるＺ軸ステップサイズを備えたこの好ましい方法は、標本中の基準焦点被写界深度傾斜のロバストな上下追跡を可能にしている。また、この好ましい方法は、事実上、Ｚ軸次元の使用可能な画像内容を増加させる画像情報の有効な記憶を可能にしている。このことは、特に、ガラススライド上に取り付けられたプラント材料、あるいは微小生物および昆虫の全体標本を始めとする分厚い切片など、標本が極めて分厚い場合に云える。仮想スライドインターネットサーバおよびビューワソフトウェアと共に使用する場合、この好ましい方法は、ユーザによる有効な目視検査および追加Ｚ軸画像内容の観察を可能にしている。
【００３４】
各図に示す構成要素は、簡潔に分かり易く示したものであり、必ずしもスケール通りに描写されていないことは、当分野の技術者には理解されよう。例えば、各図に示すいくつかの構成要素の寸法は、本発明の様々な実施形態をより良く理解するために、他の構成要素に対して誇張されている。また、いくつかのフィーチャは、数を制限して示され、共通の構成要素は、簡潔かつ分かり易くするために省略されている。
【発明を実施するための最良の形態】
【００３５】
図３は、本発明に従って構成された実施形態のブロック図で、仮想スライド全体に渡ってＺ軸画像次元を含んだ仮想顕微鏡スライドを得るためのシステムのブロック図を示したものである。このシステムには、ガラス顕微鏡スライド２１をサポートするためのディジタル制御ステージプラットホーム２８を備えた顕微鏡サブシステム１５が含まれている。ディジタルステージプラットホーム２８は、極めて多数の増分を介して動作し、ステージを水平方向のＸおよびＹ平面内に高精度で位置付けすることができる。そのステージ２８の上に、ガラス顕微鏡スライドまたは他の基板２１が配置されている。また、このシステムには、キーボード３７、マウスホイールコントロール３９を備えたマウス３８、およびディスプレイモニタ４０を備えた制御コンピュータシステム３２が含まれている。制御コンピュータシステムのキーボードおよびマウスは、自動焦点ステップサイズパラメータを入力するための自動焦点ステップサイズセットアップウィンドウ１２を介して使用され、また、Ｚスタックステップサイズパラメータは、Ｚスタックステップサイズセットアップウィンドウ１３を使用して入力される。
【００３６】
図３Ａは、焦点セットアップステップサイズ５５の入力コントロールを示した図である。また、図３Ａには、焦点周波数（frequency of focus）５６のための関連するセットアップコントロール、特定の視野に対する自動焦点を実行すべきかどうかを制御するための閾値、および顕微鏡ステージ２８を垂直方向に増分ユニットで上または下に移動させるために、Ｚ軸次元を手動で増加させるためのコントロール５８が示されている。
【００３７】
前述の説明および以下の説明から理解されるように、また、当分野で良く知られているように、高倍率かつ小被写界深度での焦点の制御は複雑であり、かつ、多くの変数が必要である。また、仮想顕微鏡スライド画像データセットを構成または捕獲する際に、すべての標本画像視野に対して実行する場合、多大な時間を要することになる。したがって、好ましい実施形態では、また、後述する他の実施形態では、主要な可変性を克服し、かつ、総仮想スライド走査捕獲時間の短縮を可能にするために、制御パラメータおよびセットアップパラメータが追加されている。
【００３８】
図３Ａは、これらのパラメータのいくつかを示したものである。例えば、焦点周波数（frequency of focus）５６のパラメータを１にセットすると、隣接するすべての視野に対して自動焦点を実行することができ、あるいは、焦点周波数５６のパラメータを２にセットすると、１つおきの視野に対する自動焦点を実行することができる、等々である。以下の詳細説明においては、焦点周波数は１にセットされているものとする。しかしながら、もっと大きい数字にセットすると、焦点の合っていない視野の基準タイルの値が、焦点の合った直前の画像タイルのデフォルト焦点コントラスト値を取ることになる。
【００３９】
本発明による他の実施形態では、場合によっては、上述した実施形態による方法とは異なる方法で基準タイル位置を得ている。すべての視野に焦点を合わせないことにより、走査速度に対する大きな利点が得られるが、多くの標本に対して、そのような走査によって得られる被写界深度位置が、基準画像に対して最適ではないという欠点がある。また、複数のＺスタック画像のうちの１つが、より最適な画像を画像の最終遠隔観察者に提供することになることについても理解されよう。また、例えば、視野が実質的にブランクすなわち空白である場合、自動焦点を得るための十分な画像構造が視野中に存在していないことがしばしばであり、その場合は、コントロール５７が、このような被写界深度の省略を可能にするためにチェックすることができる焦点コントラスト閾値入力パラメータを可能にしている。また、この場合、焦点合わせの要求される次の画像のためのデフォルト基準Ｚ軸位置は、焦点が合った直前の画像タイルである。
【００４０】
図３Ｂは、Ｚスタックステップサイズ６０の入力コントロールを示した図である。このパラメータを個々の標本に対して変更する必要のある多数の要因が存在していることが理解されよう。しかしながら、標本の種類および標本の推定厚さが相俟って、各々のレンズが異なる被写界深度仕様を有しているため、これらの要因の中で最も重要な要因は、通常、使用している特定の顕微鏡対物レンズの倍率である。また、図３Ｂには、特定の仮想顕微鏡データの捕獲走査（ｃａｐｔｕｒｅ ｓｃａｎ）に対してＺスタック画像の保管をイネーブルあるいはディスエーブルするためのチェックボックスコントロール５９が示されている。
【００４１】
前述の特許文献によれば、精密ステージ２８を新しい対物レンズ１０の視野に移動させるためのステージコントローラ１４を使用してコンピュータ制御顕微鏡を移動させることにより、標本対象物３１全体の走査が開始され、その位置における初期画像が取得され、その画像の焦点コントラストパラメータが計算される。本発明によれば、反復自動焦点手順によって、第１の新しい視野画像タイルのための相対Ｚ軸基準位置が取得される。制御コンピュータシステム３２によって、顕微鏡サブシステム１５にＺ軸制御信号が送信され、それによりＺ軸位置コントロールが変化して、ステージが自動焦点ステップサイズで４回増分上昇移動し、続いて、自動焦点ステップサイズで４回下降する。Ｚ軸位置が増分変化する毎に画像収集エレクトロニクス１７が制御され、画像が取得される。取得した画像の各々に対して焦点コントラストパラメータが計算される。
【００４２】
次に、焦点パラメータの最大値と結合したＺ軸位置を選択することにより、初期基準画像および８つの画像のセットから自動焦点Ｚ軸位置が決定される。最大値がシーケンスの一方の端部、つまり、基準画像から４回目に下降した時点の画像あるいは４回目に上昇した時点の画像に存在する場合、その画像が基準画像になり、最大焦点コントラスト値が、両末端画像ではなく、画像シーケンスの中間レンジ内で見出されるまで、帰納的に手順が繰り返され、それにより、新しい視野画像に対する相対Ｚ軸基準位置が得られる。以下でより詳細に説明するが、次に、この相対Ｚ軸位置と結合した画像タイルが、仮想スライドデータ構造中に記憶される。
【００４３】
本発明による好ましい実施形態では、制御コンピュータシステムは、ウィンドウズオペレーティングシステム（Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎ，Ｒｅｄｍｏｎｄ，Ｗａｓｈｉｎｇｔｏｎ，ＵＳＡ）の下で動作している。図３Ａを参照すると、仮想顕微鏡スライドデータ構造は、ウィンドウズオペレーティングシステムファイルフォルダとして記憶されており、各タイル画像は、制御コンピュータシステムソフトウェアプログラムによって自動的に割り当てられる増分画像名称を有する ．ｊｐｇ画像ファイルである。 ．ｊｐｇ画像名称には番号が振られており、したがって、最初に取得された画像は、ＤＡ０．ｊｐｇと呼ばれ、第２の画像はＤＡ１．ｊｐｇ、第３の画像はＤＡ３、等々と呼ばれている。
【００４４】
図３Ｃは、仮想スライドデータフォルダ４２を、データ構造部分４３、４４、４５、４６および４７と共に示した図である。ＤＡ９８の名称が付された９つの画像タイル４３、４５および４６のセットは、特定のＸ、Ｙ標本画像平面位置と結合し、ＤＡ９９の名称が付された、隣接するセット４４および４８は、隣接する他の特定のＸ、Ｙ標本画像平面位置と結合している。２つの基準タイルが、２つのＸ、Ｙ位置におけるデータ構造用として、４３および４４で示されている。これらのタイルは、自動焦点決定されたＺ軸位置にあり、また、記憶された ．ｊｐｇ画像には、そのＺ軸位置およびそれぞれのＸ、Ｙ位置における視野と結合した構造を有する被写界深度画像が含まれている。
【００４５】
仮想顕微鏡スライドを生成するために、システムプログラムが動作している間、制御コンピュータシステムは、さらに、ウィンドウズオペレーティングシステムフォーマット ．ｉｎｉの追加テキスト情報ファイルを生成している。図３Ｃに示すように、このファイル４７には、ＦｉｎａｌＳｃａｎ．ｉｎｉの名称が付されている。とりわけこのファイルには、仮想顕微鏡データ構造中の基準タイルの各々に対応する名称のリストが含まれている。リスト中の各基準タイルに対して、そのタイルのＸ、ＹおよびＺディジタル位置が一覧表に作成されている。前述の特許文献に示されているように、次に、遠隔観察者による連続した仮想スライド画像領域の観察を可能にするために、様々なタイル画像を隣接させ、かつ、復元するために、仮想インターネットサーバおよび仮想顕微鏡ビジュアルディスプレイプログラムによってこの情報が使用される。
【００４６】
図３Ｃの実施例に示されているデータ構造の成分は、基準画像および全Ｚスタック成分への迅速な順次アクセスを可能にするデータベースまたは他の任意の形態に記憶することができることは理解されよう。このデータ構造の新規な態様は、これらの画像成分の閉結合（ｃｌｏｓｅ ａｓｓｏｃｉａｔｉｏｎ）であり、遠隔インターネット観察におけるクライアントサーバの対話を著しく容易にしている。
【００４７】
以下の説明から理解されるように、この種のデータ構造は、クライアントコンピュータへのＺ軸画像内容の迅速な伝送を容易にしている。インターネットサーバコンピュータの中には、異なるレベルの画像ズームが、元の画像から予め構成され、かつ、同時にメモリまたは仮想メモリ中に保管されるピラミッドデータ構造を使用することによって、拡大を必要とする極めて大型の画像の提供を容易にしているものもあるが、そのためには、例えば、図９に概念的に示すような画像構造の複数の平面を維持する要求事項を考慮した場合、極めて大量のメモリが必要である。本発明によるデータ構造は、本質的に、これらの小型基準画像ユニットおよびＺスタック画像ユニット中のメモリまたはディジタルディスク記憶装置から基準画像およびＺスタック画像を迅速に提供するように事前に構成されているため、とりわけ専用ビューイングプログラムを備えた仮想顕微鏡スライド用に使用する場合、本発明によるデータ構造は、はるかに有効である。
【００４８】
所与のＸ、Ｙ標本平面位置におけるＺ軸位置のための関連した画像タイルが捕獲されると、本発明によるシステムは、Ｚ軸ステップサイズを使用する手順に進行し、Ｚスタック保管手順が実行される。そのために、制御コンピュータシステム３２を指示し、最初にＺ軸をＺ軸ステップサイズの増分で下に向かって移動し、各ステップで画像タイルを取得するように顕微鏡サブシステム１５のＺ軸位置決めコントロール１６を制御する。これらの画像タイル４５は、図３のデータ構造セットＤＡ９８の実施例に示すデータ構造中に記憶される。次に、制御コンピュータシステム３２を指示し、Ｚ軸をＺ軸ステップサイズの増分で基準Ｚ軸位置から上に向かって移動し、各ステップで画像タイルを取得するように顕微鏡サブシステム１５のＺ軸位置決めコントロール１６を制御する。これらの画像タイル４６は、図３のデータ構造セットＤａ９８の実施例に示すデータ構造中に記憶される。
【００４９】
タイルセットＤａ９８のデータ構造、例えば、図３に示すデータ構造セットＤａ９９等々を捕獲するために、上で説明した事象と同じ一連の事象が、仮想顕微鏡スライドの捕獲に関連するすべての視野に対して繰り返される。
【００５０】
上述した本発明によるシステムの好ましい実施形態により、事実上、先ず、捕獲画像タイルに対して、スライドのＸ、Ｙ表面上の最適焦点位置におけるＺ軸の不規則性の要因が除去すなわち無効化され、次に、各平面が標本中の異なる被写界深度位置に関連する、凝集性のあるＺ軸次元化された捕獲画像平面が生成される。第１のＺ軸位置は、平行位置決め捕獲をもたらし、すなわち各標本の最適被写界深度位置をもたらし、また、Ｚスタック捕獲により、その最適被写界深度位置の上側および下側の画像平面が得られる。この画像シーケンスサンプリングは、データ構造エレメント４７に記憶されているＸ、Ｙ位置情報と共に使用する場合、データ構造記憶エレメント４３、４４、４４、４５、４６および４８から復元することができる。図４の断面図および図９の略斜視図は、得られた完全な仮想顕微鏡スライドデータ構造を視覚化する補助として、この復元を理想化して示したものである。
【００５１】
以下で説明するように、一般的に使用されているコンピュータスクリーンの画像表示に限界があるため、実際に遠隔観察者が同時に見ることができるのは、完全な仮想顕微鏡スライドデータ構造の微小部分にすぎないが、スクロールし、かつ、仮想顕微鏡スライドサーバに追加画像タイルを要求することによって、すべての仮想顕微鏡スライドデータ構造を利用することができる。
【００５２】
本発明による実施形態についての上述の好ましい説明を他の方法で改変し、Ｚ軸画像情報を有する仮想顕微鏡スライドを生成することができることは、この技術に習熟した人達には理解されよう。この点に関して、本発明を実践する代替方法について説明する。
【００５３】
この代替方法は、広い領域をカバーしていない標本対象物、あるいはステージプラットホーム２８および顕微鏡スライド２１が、合理的に平らな平面内に標本３１を提供するように位置付けされた実例、もしくは、より深い被写界深度を有する、より集光力の小さい対物レンズが使用されている実例に、より良好に適用することができる。所与の倍率レベル（例えば１０倍）に対して、関連するビデオカメラを備えた顕微鏡対物レンズ１０が上下に調整され、あるいは好ましい実施形態の場合と同様に、ステージが上下に調整される。いずれの調整においても、目に見えるようにするために、初期基準画像が顕微鏡対物レンズ１０の焦点面被写界深度内にもたらされ、標本平面内の所与のＸ、Ｙ位置における標本３１の拡大画像を生成するために使用される。
【００５４】
好ましい実施形態の中で説明したように、基準タイルセットとして第１のシリーズの平面隣接画像タイルが取得され、かつ、既に説明した、図３Ｃの実施例における基準タイル４３および４４の例で示すデータ構造中に記憶される。この実施形態における基準タイルのＺ軸位置は、既知のＺ軸値を有する３つのＸ、Ｙポイントを使用することによってＺ軸平面に適合させる計算によって、標本上の３つの個別位置におけるＺ軸位置が決定され、かつ、数学的Ｚ軸平面が標本のＸ、Ｙ平面全体に渡って決定されるセットアップ手順の結果を使用して計算される。この場合、走査プロセスの間、反復帰納自動焦点手順の代わりにこの計算位置が使用され、それにより、走査プロセスおよび画像捕獲プロセスがより高速化される。
【００５５】
図４は、この平面内における完全なタイルセットの捕獲を、被写界深度４１の断面で視覚化した図である。この走査により、標本３１の上部表面のほとんどの画像が捕獲される。この実施形態によれば、次に、ステージＺ軸位置が１つのＺスタック増分に従って変更され、もう１つの画像シリーズが捕獲され、図３Ｃに示すデータ構造中に記憶される。例えば、第１の画像シリーズが、参照番号４３によって表される被写界深度に対応する焦点距離を使用した場合、ステージＺ軸位置を顕微鏡対物レンズに近づけることにより、次の画像シリーズは、参照番号４６ａによって表されることになる。逆に、ステージＺ軸位置を顕微鏡対物レンズから遠ざけることにより、次の画像シリーズは、参照番号４５ａによって表されることになる。同様に、対物レンズの被写界深度領域内に異なるＺ軸平面を位置付けすることにより、次の画像シリーズが捕獲される。
【００５６】
図４に示す実施形態では、捕獲した原始画像シリーズ４３以外に、参照番号４６ａおよび４６ｂで表される２つの他のシリーズ、および参照番号４５ａおよび４５ｂで表される２つの追加シリーズが捕獲されている。標本の異なる領域からこれらの追加画像を捕獲し、かつ、記憶することにより、以下でより詳細に説明するように、仮想焦点合せ機能が実現される。また、この走査方法を、３×２０９８センサとして上で説明した三重ピクセル（triple pixel）タイプのラインセンサにより適したものにすることができる。
【００５７】
このラインセンサは、単一ラインセンサと呼ばれることもある。この場合、微小離散個別タイルを利用することができないため、計算によって、あるいは完璧に平らで、かつ、平行なＸ、Ｙ平面を単純に仮定することによって基準平面を予測することが好ましい。この種の走査により、より長い帯状タイルの画像が、顕微鏡対物レンズ１０の視野内の１つの方向に、２０９８ピクセル幅で保管されるが、保管される画像は、他の方向の連続走査および記憶により、視野を越えて拡張する。まとめて取得された、隣接する２０９８ピクセル幅の帯状タイルにより、仮想顕微鏡スライドが形成される。
【００５８】
同じく図４に示すように、初期基準設定値に対して、上側および下側にそれぞれ２つの焦点被写界深度が存在している。所与のアプリケーションにおいては、上下にわずかに異なる焦点被写界深度（すなわち焦点面）を１つだけ使用して、単一の追加画像セットのみを提供することが適切であるが、ほとんどの目的に対しては、複数の異なる焦点面で捕獲した画像が適切である。好ましい実施形態では、原始基準焦点面以外に、上下にいずれも４つの焦点面が使用され、合計９セットの焦点面画像が提供されている。焦点面画像の各セットは、基準設定値からの所与の焦点距離に対応し、すべてのセットが同じ倍率レベルを共有している。この多くのセットを基準焦点面の上下に提供することにより、有効焦点合せレンジ内において、実際の顕微鏡による焦点合せの見掛けおよび感覚を良好に模擬した、比較的滑らかで、かつ、細かい仮想焦点合せが実現される。
【００５９】
以上に説明したように、様々な被写界深度が実質的に互いに隣接している。他の実施形態では、図５に示すように、所与の画像シリーズに対する所与の被写界深度５１が、異なる画像シリーズに対する他の被写界深度５２と部分的にオーバラップしている。あるいは必要に応じて、図６に示すように、異なる画像シリーズに対応する異なる被写界深度６１と６２の間に微小ギャップを介在させることにより、２つの被写界深度が互いにオーバラップせず、また、隣接もしない被写界深度にすることもできる。一般的には、焦点距離は、被写界深度がほとんど、あるいは全くオーバラップしないよう、互いに実質的に隣接するように調整され、それが恐らくは最適構成であると思われるが、場合によっては、ユーザの要求に応じた他の代替構成も有用である。
【００６０】
図７を参照すると、顕微鏡が第１の位置１０Ａに設置された場合、視野内に存在する標本（図示せず）の特定の切片を画像化する際に、対応する被写界深度４１Ａを有する初期焦点面７１（初期決定されているか、あるいは予め手動または自動的に決定されている）が適切に使用されている。つまり、顕微鏡がこのように位置付けされると、ユーザがいかなる標準を適用しようとも、この初期焦点距離７１は最適焦点を表している。上述の様々な実施形態によれば、１つまたは複数の追加画像が、この同じ視野で、若干異なる焦点距離で取得される。しかし、スライドの他の部分では、顕微鏡が第２の位置１０Ｂに位置付けされると、既に適用されている標準と同じ標準を使用する場合、異なる初期焦点面７２が最適焦点になる。この異なる初期焦点距離７２は、スライド２１からの距離が異なる位置に位置付けされた第１の位置における初期焦点距離７１に対する被写界深度４１Ａと実質的に同じサイズの対応する被写界深度４１Ｂを有することになる。
【００６１】
これは、例えば特許文献２に記載されているように、組織微小配列（ＴＭＡ；（tissue microarray））コアを画像化する場合にしばしば生じる。画像は、本質的にガラス顕微鏡スライドの表面全体に配列された極めて多数の異なる対象物、すなわちＴＭＡコアから捕獲される。したがって、得られる画像は同じく対象物の隣接合成表現からなっているが、それらの画像には、異なる基準画像焦点面が参照されている。また、この実施形態によれば、対象物毎の初期焦点基準焦点面の間に存在する差に無関係に、得られる各画像は、ユーザによる微細な焦点合せに利用することができる同じ数のＺスタック焦点面を有している。
【００６２】
上述したように、好ましい実施形態の場合のように多数の微小タイルから生成されたものであれ、あるいは帯状線分に生成されたものであれ、また、タイルデータ構造中に記憶されるものであれ、あるいは図９に示す５つの焦点面のセット９１のうちの１つの焦点面などの大型復元画像の１つとしてメモリに記憶されるものであれ、遠隔観察者のコンピュータディスプレイスクリーンのサイズおよびピクセル寸法が有限であるため、仮想顕微鏡スライドは、一般的にはそれらの全体を初期捕獲解像度で観察することができない。
【００６３】
図８に示すように、この点に関して有用な従来技術による手法の１つは、タイルと呼ばれる複数の個別画像８３を利用して、スライド８１および標本８２のより大きい合成画像を形成している。仮想顕微鏡スライドのインターネットディスプレイまたはイントラネットディスプレイについては既に示されている（例えば、この参照によりその内容が本明細書に組み込まれる特許文献３参照）。特許文献３に示されているように、仮想顕微鏡スライドは、通常、顕微鏡スライドおよび顕微鏡スライド上に配置された対象物（生物学的標本など）の一部またはすべてのディジタル化された拡大視野（ｄｉｇｉｔｉｚｅｄ ｍａｇｎｉｆｉｅｄ ｖｉｅｗ）からなっている。
【００６４】
また、前述の特許文献３には、様々なインターネットサーバおよび若干のクライアント、および遠隔観察者のための仮想顕微鏡画像内容の復元を可能にする他のＪａｖａ ＡｐｐｌｅｔおよびＡｃｔｉｖｅＸビューワ方式についても教示されている。単一焦点面被写界深度の観察は、画像がタイル化データベース構造として、あるいは完全な単一画像平面としてコンピュータコアメモリに記憶されているかどうかにかかわらず達成されることについては理解されよう。
【００６５】
しかし、本発明による好ましい実施形態では、遠隔観察者が重要な定義済み領域に対する基準画像タイル焦点をサーバに要求した場合、サーバによって、その重要な領域に対するすべての関連Ｚスタック画像が逐次送信される。関連するＺスタック画像は、ローカルコンピュータによって保管され、それにより、滑らかで、かつ、迅速な局所観察による、実際の顕微鏡のアナログ光学焦点合せ操作をシミュレートすることができる。
【００６６】
次に、図１０を参照すると、実施形態では、ユーザは、標準計算プラットホーム（ｓｔａｎｄａｒｄ ｃｏｍｐｕｔｉｎｇ ｐｌａｔｆｏｒｍ）を使用して、仮想スライドサーバおよび所与の標本に対する、上述した仮想顕微鏡スライド情報を保持しているデータ記憶装置（ｄａｔａ ｓｔｒａｇｅ ｆａｃｉｌｉｔｙ）とインタフェースすることができる。標準クライアント／サーバモデルは、このような関係を容易にするように良好に機能しているが、他のデータ転送機構を所与のアプリケーションに適切に使用することも可能である。関連するプロセスは、ユーザプラットホームが、所望の画像を特定の倍率Ｘ（例えば、４０倍）で検索１０１することによって開始される。
【００６７】
前述の特許文献３に記載されているように、対象物のすべての画像を直ちに検索し、局所利用を可能にする必要はない。ネットワークトランザクションを最小にするために、実際に直ちに検索し、かつ、表示する必要があるのは、単一視野の表示に必要なデータのみである。本発明によるシステムおよび方法、および上述した様々な実施形態では、視野の各々が、対応する複数の画像を有しており、各画像はそれぞれ異なる焦点面を表している。したがって、第１の画像を検索し、表示する場合、最初にこれらの画像のうちの１つを選択しなければならない。
【００６８】
好ましい実施形態では、この選択により、遠隔観察者の画像ディスプレイスクリーンのビューウィンドウを満たすタイルに対応する基準画像セットが選択される。また、各基準タイルに対する関連Ｚスタック画像がローカルコンピュータに転送され、保管される。自動的に決定される初期最適焦点面画像が、４つの異なる焦点面画像によって両側に配置される一実施形態では、初期検索１０１および表示１０２に対して、初期画像自体が自動的に選択される。プロセスは、次に、ユーザからの焦点修正命令をモニタ１０３している。ユーザからの焦点修正命令が出現しない場合、プロセスは、どのようなものであるにせよ、サポートされている他の機能に従って継続１０４する（例えば、特定の方向への画像のスクロール要求を示すユーザからの入力を受け取り、対応する画像の検索および表示に使用することができる）。しかし、焦点修正命令を受け取ると、プロセスは、その命令に対応する視野に対する画像をローカルメモリキャッシュから検索１０５し、検索した画像を表示１０６する。
【００６９】
実施形態によれば、各増分によってＺ軸次元における次の隣接画像が検索され、表示されるよう、段階的プロセスにおける、ユーザによるマウスホイール９３またはキーボード３７の上矢印キーまたは下矢印キーを使用した焦点の移動が制限されている。好ましい実施形態では、ユーザすなわち遠隔観察者は、ホイールマウスコントロールを使用して移動させ、仮想顕微鏡スライドに焦点を合わせることができ、基本的には、物理的な顕微鏡およびスライドを使用した場合と同様に移動させ、かつ、焦点を合わせることができる。この機能により、広範囲に渡る様々な標本を容易に観察し、良好な結果を得ることができる。得られる仮想顕微鏡スライドは、教育および訓練に使用することができるばかりでなく、様々な診断プロセスをサポートするために、定性分析および定量分析にも使用することができる。
【００７０】
図１１を参照すると、一任意選択実施形態によれば、ユーザが、上で説明した焦点の修正１０３を要求した場合、プロセスは、焦点合せの限界に達したかどうかを判定１１１することができる。例えば、ユーザプラットホームが、基準タイルから最も遠いＺ軸次元における焦点面を使用して捕獲された画像を既に検索、表示済みであり、かつ、ユーザが、さらに遠くの距離への焦点合せをプラットホームに命令している場合、現行の表示を維持１１２することができる。任意選択で、テキストメッセージまたは他のインディケータをユーザに提供１１３し、焦点限界に到達したことをユーザに知らせることができる。他の実施形態では、現在の焦点位置が焦点合せ可能な範囲内であることを示す視覚インディケータをユーザに提供し、それによりユーザは、そのような状態であることをユーザ自ら確認することができる。
【００７１】
上述した実施形態に関して、本発明の精神および範囲を逸脱することなく、広範囲に渡る様々な改変、変更、および組合せを加えることができること、および、それらの改変、変更、および組合せが、本発明の概念の範囲内であると見なすべきであることは、当分野の技術者には認識されよう。特許請求の範囲の各請求項には、本発明の真の精神および範囲に帰属するこれらのすべての変更および改変が包含されているものとする。
【図面の簡単な説明】
【００７２】
【図１】従来の顕微鏡対物レンズ及び対物レンズの焦点面内の対応する被写界深度を示す図である。
【図２】被写界深度の内部及び外部の標本中の対象物の細部を示す、従来の顕微鏡スライド上の標本を示す図である。
【図３】本発明による実施形態のブロック図である。
【図３Ａ】自動焦点セットアップステップサイズパラメータの入力を可能にするウィンドウを示す図である。
【図３Ｂ】Ｚスタックセットアップステップサイズパラメータの入力を可能にするウィンドウを示す図である。
【図３Ｃ】基準データ構造画像タイル、Ｚ軸次元焦点データ構造画像タイル、および所与の仮想スライドのための ．ｉｎｉデータファイル間の対応を示す、データ構造部分を有する仮想スライドフォルダの実施例を示す図である。
【図４】本発明による実施形態の顕微鏡スライド上の標本の側面図である。
【図５】本発明による実施形態における重畳被写界深度を示す図である。
【図６】本発明による実施形態における非重畳被写界深度を示す図である。
【図７】本発明による他の実施形態の側面図である。
【図８】合成仮想顕微鏡スライドの平面図である。
【図９】本発明による仮想顕微鏡スライドの記号モデルの斜視図である。
【図１０】本発明の実施形態に従って構成される流れ図である。
【図１１】本発明の他の実施形態に従って構成される詳細な流れ図である。
【符号の説明】
【００７３】
１０ 顕微鏡対物レンズ
１１ 被写界深度
１２ 自動焦点ステップサイズセットアップウィンドウ
１３ Ｚスタックステップサイズセットアップウィンドウ
１４ ステージコントローラ
１５ 顕微鏡サブシステム
１６ Ｚ軸位置決めコントロール
１７ 画像収集エレクトロニクス
２１ 顕微鏡スライド
２２ 深さ部分
２３ 変化している部分
２４，２５ フィーチャ
２６，２７ 他の部分
２８ ディジタル制御ステージプラットホーム
３２ 制御コンピュータシステム
３１ 標本
３５ ローカルコンピュータ記憶装置
３７ キーボード
３８ マウス
３９ マウスホイールコントロール
４０ ディスプレイモニタ
【特許請求の範囲】
【請求項１】
顕微鏡レンズに関して標本を動かし、かつ前記標本全体からの、隣接して重なり合わない視野画像を捕獲することによって生成され、顕微鏡スライド上に設けられた前記標本の第１及び第２の仮想顕微鏡スライド画像集合と、
前記第１の画像集合が、複数の画像を有し、各々の画像が、主焦点面からもたらされる前記標本のｘ，ｙ平面位置と関連しており、
前記第２の画像集合が、複数の画像を有し、各々の画像が、前記第１の仮想顕微鏡スライド画像集合に関して一つ又はそれ以上の異なる焦点面からもたらされる前記標本のｘ，ｙ平面位置と関連しており、
前記主焦点面と該主焦点面に関して一つ又はそれ以上の異なる焦点面において前記標本の少なくともの一つの部分を検索及び見るために、前記第１及び第２の仮想顕微鏡スライド画像集合のｘ，ｙ平面位置の座標を与える情報を得るように構成されている
ことを特徴とする仮想顕微鏡スライドデータ構造。
【請求項２】
インターネット伝送チャンネル又は汎用インターネットブラウザを用いるイントラネット伝送チャンネルで見ることのできることを特徴とする請求項１に記載の仮想顕微鏡スライドデータ構造。
【請求項３】
前記主焦点面が、基準画像平面で、前記第２の画像集合が、前記基準画像平面の上側または下側に間隔を隔てて位置付けされた異なる焦点面に焦点合わせされていることを特徴とする請求項１に記載の仮想顕微鏡スライドデータ構造。
【請求項４】
前記第１及び第２の画像集合が、単一の仮想顕微鏡スライドを示す一つ又はそれ以上のタイル化されたデータ構造に記憶されることを特徴とする請求項１に記載の仮想顕微鏡スライドデータ構造。
【請求項５】
記憶され、ディジタル化された画像タイル又はストリップが、所与の重要領域の異なる倍率レベルの画像間のズームを可能にするために、前記所与の重要領域に対して近接した前記主焦点面において異なる倍率レベルを示していることを特徴とする請求項４に記載の仮想顕微鏡スライドデータ構造。
【請求項１】
顕微鏡レンズに関して標本を動かし、かつ前記標本全体からの、隣接して重なり合わない視野画像を捕獲することによって生成され、顕微鏡スライド上に設けられた前記標本の第１及び第２の仮想顕微鏡スライド画像集合と、
前記第１の画像集合が、複数の画像を有し、各々の画像が、主焦点面からもたらされる前記標本のｘ，ｙ平面位置と関連しており、
前記第２の画像集合が、複数の画像を有し、各々の画像が、前記第１の仮想顕微鏡スライド画像集合に関して一つ又はそれ以上の異なる焦点面からもたらされる前記標本のｘ，ｙ平面位置と関連しており、
前記主焦点面と該主焦点面に関して一つ又はそれ以上の異なる焦点面において前記標本の少なくともの一つの部分を検索及び見るために、前記第１及び第２の仮想顕微鏡スライド画像集合のｘ，ｙ平面位置の座標を与える情報を得るように構成されている
ことを特徴とする仮想顕微鏡スライドデータ構造。
【請求項２】
インターネット伝送チャンネル又は汎用インターネットブラウザを用いるイントラネット伝送チャンネルで見ることのできることを特徴とする請求項１に記載の仮想顕微鏡スライドデータ構造。
【請求項３】
前記主焦点面が、基準画像平面で、前記第２の画像集合が、前記基準画像平面の上側または下側に間隔を隔てて位置付けされた異なる焦点面に焦点合わせされていることを特徴とする請求項１に記載の仮想顕微鏡スライドデータ構造。
【請求項４】
前記第１及び第２の画像集合が、単一の仮想顕微鏡スライドを示す一つ又はそれ以上のタイル化されたデータ構造に記憶されることを特徴とする請求項１に記載の仮想顕微鏡スライドデータ構造。
【請求項５】
記憶され、ディジタル化された画像タイル又はストリップが、所与の重要領域の異なる倍率レベルの画像間のズームを可能にするために、前記所与の重要領域に対して近接した前記主焦点面において異なる倍率レベルを示していることを特徴とする請求項４に記載の仮想顕微鏡スライドデータ構造。
【図１】
【図２】
【図３】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００９−１０４１６３（Ｐ２００９−１０４１６３Ａ）
【公開日】平成２１年５月１４日（２００９．５．１４）
【国際特許分類】
【出願番号】特願２００８−３２８８０８（Ｐ２００８−３２８８０８）
【出願日】平成２０年１２月２４日（２００８．１２．２４）
【分割の表示】特願２００３−５７１９８３（Ｐ２００３−５７１９８３）の分割
【原出願日】平成１５年２月２４日（２００３．２．２４）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡ
【出願人】（５０３２２２４７７）バクス ラボラトリーズ インコーポレイテッド (7)
【Ｆターム（参考）】
【公開日】平成２１年５月１４日（２００９．５．１４）
【国際特許分類】
【出願日】平成２０年１２月２４日（２００８．１２．２４）
【分割の表示】特願２００３−５７１９８３（Ｐ２００３−５７１９８３）の分割
【原出願日】平成１５年２月２４日（２００３．２．２４）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡ
【出願人】（５０３２２２４７７）バクス ラボラトリーズ インコーポレイテッド (7)
【Ｆターム（参考）】
[ Back to top ]