バーチャル顕微鏡スライドを作成する方法および装置
【課題】デジタル走査されたイメージを構築し、デジタル走査されたイメージを顕微鏡なしでビューするのに好都合なタイル化フォーマットで記憶し、かつリモートロケーションの他のユーザがビューできるように複数の倍率のタイル化イメージを転送するための改良された新規の方法および装置を提供すること。
【解決手段】バーチャル顕微鏡スライドの作成は、コンピュータ制御顕微鏡（１０）を使用して試料の複数の低倍率イメージを取り込み、これらのイメージをタイル化し、再構築されたマクロイメージ（２４）を作成することによって行われる。複数のより高い倍率のイメージもキャプチャされタイル化されて、ミクロイメージ（２６）が作成される。ついで、マクロイメージ（２６）およびミクロイメージ（２４）は、その後、対話的にビューするために、これらのイメージのマッピング座標とともにストアされる。
【解決手段】バーチャル顕微鏡スライドの作成は、コンピュータ制御顕微鏡（１０）を使用して試料の複数の低倍率イメージを取り込み、これらのイメージをタイル化し、再構築されたマクロイメージ（２４）を作成することによって行われる。複数のより高い倍率のイメージもキャプチャされタイル化されて、ミクロイメージ（２６）が作成される。ついで、マクロイメージ（２６）およびミクロイメージ（２４）は、その後、対話的にビューするために、これらのイメージのマッピング座標とともにストアされる。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、１９９７年３月３日に出願された米国特許出願第０８／８０５８５６号の一部継続出願であり、ここに、その番号を付して本明細書の一部とする。
【０００２】
本発明は、顕微鏡スライドのような支持体上の試料からタイル化デジタルイメージを獲得して構築し、ローカルロケーションまたはリモートロケーションにいる他のユーザがビュー（view）するため、このイメージを転送する方法および装置に関する。
【背景技術】
【０００３】
米国特許第４７４１０３１号に開示されている組織切片からのＤＮＡの画像分析と定量化、特に、Ｂａｃｕｓに発行された米国特許第５０８６４７６号、５２０２９３１号，５２５２４８７号に開示されている種類の細胞分析システムについての免疫組織化学分析では、まず、低い倍率で分析対象のガン領域の位置を突き止め、次に高い倍率で分析を実行する時にその領域を覚えておかなければならないという問題があった。高解像度／高倍率で比較的平坦な平面内にある対象を撮像し、ディジタル式に記録するニーズや要求がある。
【０００４】
上記出願に記載された発明は、比較的平坦なプレーン（plane）内のオブジェクトを、高解像度／高倍率で、イメージングしデジタル記録するという要求および要件を満たしている。今日、例えば、顕微鏡のスライド上の試料のイメージ区域全体を、必須の解像度でカバーできる程度の大きさの光学イメージセンサを作成することは実際的ではない。というのは、拡大された対象の視野の大きさと、その結果得られるイメージが、レンズサイズおよび解像度／倍率という課題により制限されるからである。顕微鏡を通して観るということは望遠鏡を通して観ることと似ていて、人間が１．２５倍のような低倍率で非常に狭い視野を見るようなものである。病理学者は、顕微鏡を使用している最中に、スライドをスキャンして全体のビューを想像したり、試料の構造についてヒントを得たりすることがよくあり、病理学者はこの試料の診察上重要な細片の全体的な位置を忘れないものである。通常、これらは疾患部分、例えば、試料の中でも、悪性部分か、悪性である可能性のある部分である。これらの疑わしい部分について、より高い解像度とより高い倍率を得るためには、病理学者はより高い倍率の対物レンズに切り換えるが、そうすると、視野がさらに狭くなってしまう。病理学者が良く行うことであるが、低倍率の視野の広い対物レンズと高倍率の狭い視野を切り換えて行ったり来たりして、試料に対して自分自身をなじませ、試料の疑わしい領域の詳細で高解像度のビューを獲得している。したがって、ユーザは試料や試料の一部の拡大され圧縮された全体的なビューを得ることはできず、低倍率で獲得された一連のビューを覚えておかなければならない。同様に、高解像度と高倍率では、ユーザは隣接するイメージの集まりを受け取ったり見たりすることはできず、これらの連続したイメージを頭の中で関係付けしなければならない。
【０００５】
病理学者はthe Internetやイントラネットを通じて、試料から取られた単一の視野の拡大画像を、自分のブラウザ上で受け取ることになるため、同様の問題がthe Internetやイントラネット上にも存在する。病理学者には、高解像度のビューと低解像度のビューをコーディネートするための説明を提供する必要がある。
【０００６】
病理学者にとって利用可能なビューの数は非常に限られており、他のビューを選択することも、自分が最も関心のある領域の近くにあるビューへスクロールすることもできない。
【０００７】
上記従来の出願により開示された方法および装置によれば、低倍率で全体的にデジタル化された試料全体のイメージビューか、スライド上の試料の選択された部分、例えば、ある組織の基礎層を人間が構築することができる。全体的な低倍率のデジタル化画像から、ユーザは、現在、自分が見ているもののどこに位置しているかと、次にどこを観察する必要があるかを理解することができる。すなわち、低解像度の全体ビューは、全体的にカラー表示され、経験豊富なユーザにスライドの視覚的な全体ビューまたはサムネイルビューを与え、ビューされている試料イメージ上のある位置に発現する悪性腫瘍およびその他の疾患についての当該の領域を示す。この低解像度の全体的なビューは、ユーザが、高倍率でビューする必要のある当該点をこのビュー上で選択することを可能にする。
【０００８】
この全体ビューは、顕微鏡走査システムによって試料の多数の低倍率イメージを得て、次いで、これらのそれぞれのより小さなビューまたはイメージ（以下、イメージタイルという）を、試料の１つの一貫した低倍率マクロイメージとして組み合わせ調和させることによって構築されていた。ローカルスクリーン上に表示させるか、あるいは、低帯域幅チャネルまたは高帯域幅チャネルを介してリモートビューイングスクリーンに転送させるため、このデジタル化マクロイメージはソフトウェアシステムによって、より小さなサイズに縮小される。
【０００９】
上記の従来の出願は、マクロイメージの多数のイメージタイル、例えば、３５個のイメージタイルを組み合わせ、次いで、やはりユーザがビューすることになるより高い倍率の一連の他のタイルを得るにはどうすべきかを教示している。この目的を達成するために、定義された当該の領域を選択し、かつ簡単なコマンドによって、選択されたより高い倍率のデジタル化イメージを、ユーザによりビューするためのスクリーン上に表示させるため、カーソルのようなマーカがユーザに用意されている。より高い倍率のイメージは、１０倍、２０倍、４０倍のような幾つかの倍率または解像度のうちの１つでよい。
【００１０】
上記出願に開示されたように、病理学者のようなユーザが高解像度ミクロイメージと低解像度マクロイメージを高速に切り換えるか、あるいは分割された別々のスクリーンを生提供することができるのが好ましい。このようにすることにより、病理学者に全体的なマクロビューが示され、病理学者に現在のより高倍率のビューがどこに位置しているかを示すマーカが示される。倍率が複数あるため、ユーザは中間対物レンズどうしを切り換える場合のように中間倍率に切り換えることができる。これによって、顕微鏡内の対物レンズどうしを切り換えること、すなわち、大部分の病理学者が慣れ親しみかつ訓練されている手順に対応するビューが病理学者に与えられる。
【００１１】
さらに、上記出願は、病理学者が、完全なタイルビューをビューすることのみに制限されず、隣接する近傍のタイルイメージから隣接するイメージマテリアルをビューすることができるように、ユーザがスクリーン上の拡大イメージに隣接するディスプレイスクリーンに移動することを可能にするスクロール機能もユーザに与える。
【００１２】
上記特許出願には、ＬＡＮ（local area network）またはthe Internetを介し様々なサーバおよびコンピュータを通して低倍率イメージを伝送することが開示されている。伝送されるタイル化イメージは完全コンピュータ制御顕微鏡を使用することによって得られ、このような顕微鏡は、試料全体をデジタル化し記憶しなくても済むように、ユーザが、基礎領域など当該の試料領域に沿って移動するか、あるいは試料全体に広がる他の疑わしいポイントへ移動し、選択された領域のタイル化イメージを得ることを可能にしている。上記出願中の好ましい実施形態で開示されたように、再構築されたマクロイメージタイルをビューするために、病理学者によってリモートロケーションから、the Internetブラウザリモコン式自動顕微鏡を使用することができ、病理学者がイントラネットブラウザまたはthe Internetブラウザを使用して顕微鏡を操作することによって、必要に応じてより高い倍率で単一イメージを得ることができる。何人かのユーザが、特定の病理学者によって得られthe Internetを介して伝送された特定のデジタル化イメージを見て、何人かのユーザが、記憶されているイメージをビューすることができるが、依然として、デジタル化イメージをビューする各ユーザによる顕微鏡の操作に対する制御の問題と、タイル化方法を使用してより倍率の高い大きなイメージ領域を得て伝送することに関する問題があった。
【００１３】
既に詳しく述べたように、顕微鏡で得られたディジタル画像の現在のアーカイブの状態としては、写真やビデオテープによって保持することが多い。写真はビデオテープと同じように、特にユーザが様々なイメージの間を素早く行ったり来たりしたい時や、試料のイメージの様々な隣り合った部分をスクロールしたい時には使いにくい。さらに現在のアーカイブ方法では試料の全体的なマクロイメージは得られず、このイメージによってユーザが高解像度のイメージを分析をしている時に特定の高解像度のビューを得た元の場所を正確に知ることがない。
【００１４】
ディジタル化されたイメージを磁気的にストアしたり、様々な記録媒体上にディジタル化して記録できる一方で、現在のアーカイブシステムでは、ユーザが高倍率のイメージと低倍率のイメージの間を切り換えることや、あるいは様々な倍率の様々なイメージの間を、病理学者が顕微鏡の対物レンズをリアルタイムで切り換えて試料の上の同じ位置からマクロイメージとミクロイメージを得られるように切り換えることはできない。これまで、病理学の現場では顕微鏡の使用が比較的限られており、特定の試料を検査するために顕微鏡を使用する必要のある病理学者に限られていた。
【００１５】
相談相手の病理学者を含む１人以上の病理学者が同じ領域を同時に見て、診断あるいは分析の際に互いにやりとりができるダイナミックなシステムへのニーズがある。また、試料からのイメージをストアでき、病理学者が後日、時間のある時にイントラネットやInternetのブラウザを使用してそのイメージが置かれた特定のウェブサイトにアクセスするだけで簡単にそのイメージを検査できるようなら、最も望ましいであろう。
【発明の開示】
【発明が解決しようとする課題】
【００１６】
当然のことであるが、イントラネットユーザまたはthe Internetユーザが、いくつかの隣接する最初の顕微鏡イメージの有用な低解像度マクロイメージおよび高解像度ミクロイメージをそれぞれのモニタ上で観ることを可能にするために多数の問題を解決する必要がある。最初の問題の１つは、隣接するタイルイメージを組み合わせてこれらのタイルのシームレスな全体的なビューを形成するにはどうすべきかということである。現在までのところ、タイルを組み合わせる試みでは、ソフトウェアを使用してタイル境界でピクセルが組み合わされており、このような試みはほとんど失敗している。他の問題は、スライドを保持する顕微鏡ステージの座標、通常はＸ座標およびＹ座標から始まる座標のマッピングと、それに続く、１つの倍率のためのみのマッピングではなく、典型的には、１．２５倍、１０倍、４０倍、またはそれ以上で得られるそれぞれの複数の解像度イメージに関するマッピングをコーディネートするためのマッピングでもある走査スクリーン上の座標のマッピングの問題である。これらのコーディネートは、１つのマクロイメージの多数のタイル化イメージ、例えば、１つのマクロイメージに対して４０個のタイル化イメージについて維持しなければならない。リモートユーザがこれらのタイルイメージを見て様々な解像度のタイルイメージを切り換えるには、ユーザのコンピュータおよびモニタが、各ピクセルについてのアドレスおよび記憶されたパラメータを受信しなければならないだけでなく、それらをジェネリックビューイングプログラム上でもラン（run）しなければならない。
【００１７】
イメージタイルを得て低帯域幅Internetチャネルを介して送信することに関する他の問題は、サーバ上のストレージ要件、例えば、１２０ＭＢないし１ＧＢと、スライド当たりに得られるデータの量との両方が高くなることである。１２０ＭＢは、基礎層に沿って高解像度でトレースするか、あるいは乳ガンの分散した疑わしいガン発現領域のみを高解像度でトレースする際に、試料全体のイメージタイルを取り出さず、病理学者によって選択された領域のイメージタイルのみを取り出すだけで得られる。病理学者によるこのような選択的な対話によって、イメージ全体を複数の倍率のそれぞれで撮像する場合と比べてかなり少ない量のイメージタイルを用いてマクロデジタル化イメージおよびミクロデジタル化イメージを構築する場合でも、得られるデータ量は、限られた記憶容量を有する通常のｗｅｂブラウザへ狭帯域幅チャネルを介して妥当な時間で伝送するには大きな問題である。粗圧縮技法を使用することができるが、病理学者が試料を診断するために有さなければならない高解像度イメージを与えることを犠牲にしてこのような技法を使用することはできない。
【課題を解決するための手段】
【００１８】
本発明によれば、顕微鏡試料からデジタル走査されたイメージを構築し、デジタル走査されたイメージを顕微鏡なしでビューするのに好都合なタイル化フォーマットで記憶し、かつリモートロケーションの他のユーザがビューできるように複数の倍率のタイル化イメージを転送するための改良された新規の方法および装置が提供される。これは、幾つかの隣接する最初の顕微鏡ビューを第１の倍率で組み合わせて試料の全体的なマクロイメージを得て、幾つかの隣接する最初の顕微鏡ビューをより高い倍率で組み合わせて結合データ構造を作成することによって行われる。ついで、このデータ構造をリモートビューアへ転送し、スライド試料上の領域の複数解像度のマクロイメージおよびミクロイメージをこのビューアに供給することができる。データ構造は、マッピング座標を含む低倍率イメージをデジタルにスキャンしストアし、マッピング座標を含むより高い倍率のイメージを同様にデジタルにスキャンしストアすることによって構築される。さらに、病理学者は、デジタルにスキャンし、ストアされる試料の診断上重要な領域のみを対話的に選択し、高解像度でストアされるイメージピクセルの数を著しく削減することができる。
【００１９】
データ構造をInternetまたはイントラネットを介して伝送し、複数のユーザが、それぞれ、試料のユーザ独自のバーチャルイメージを使用して特定の顕微鏡上で診断することを可能にすることができる。これらのユーザはそれぞれ、種々の解像度のビューを得るために、対物レンズを互いにシフトさせる際と同様にして、種々の解像度のイメージを切り換えることができる。しかし、本発明の好ましい実施形態は、ユーザがより高い解像度のイメージの位置をストアしなくても済むように、より高い解像度のイメージが試料上のどこに位置しているかをリモートユーザに示す全体的なマクロビュー上にマーカを提供する。現在得られる単一の小さな光学ビューとは異なり、各イメージが１つの小さな光学ビューとほぼ等しい一連の互いに当接されたタイル化イメージがリモートユーザに与えられる。
【００２０】
したがって、単一のタイル化イメージと同じ倍率で得られた単一の小さな光学ビューよりも良好で大きなマクロタイル化イメージおよびミクロタイル化イメージがリモートユーザに用意されている。
【００２１】
好ましいデータ構造は、リモートユーザがユーザのブラウザ上でタイル化イメージを処理し解釈することを可能にする汎用表示プログラムも備える。このジェネリックな表示プログラムには、種々のコンピュータ、ブラウザ、およびモニタと共に使用できるそれ自体の表示解釈プログラム（interactive program）が組み込まれる。データ構造は、選択的に圧縮されたデータを使用して、得られる大量のデータ、例えば１２０ＭＢを少量のデータ、例えば１．４ＭＢに削減する。
【００２２】
リモートの病理学者の分析を妨げる解像度を損なわずに、Internetのような低帯域幅チャネルを介して、このようなより小さくより管理可能な量のデータを伝送することができる。さらに、この対話型プログラムは、病理学者がスクロールする可能にし、かつ上記出願および本出願に記載された発明まで病理学者が得ることのできなかった近傍のイメージタイルの近傍のイメージ領域をビューすることを可能にする。
【００２３】
本発明の態様を詳しく参照するとわかるように、顕微鏡スライド上の試料のタイル可能な（すなわち、互いにシームレスに当接させて最初のイメージを種々の倍率で再生することのできる連続イメージ）複数のイメージを獲得することに関する問題は、本発明のシステムによって解消される。このシステムは、顕微鏡およびステージを含み、ステージ上のデジタルロケーションは、電気機械的にアドレス可能な座標系（都合上、Ｘ−Ｙ）に従って予め定められている。ステージ上の各点には、そのロケーションを一意に定義するＸ座標およびＹ座標が割り当てられる。Ｘ方向およびＹ方向のそれぞれのインクリメントは、定義済みの量、例えば、０．１μｍインクリメントに対して確立される。試料イメージの優れた解像度をより高い倍率で達成する上のキーファクタは、イメージセンサおよび所期のディスプレイの各ピクセルについて、ステージ上でより多くの物理的インクリメントを確立することである。例えば、本明細書に記載されたビットマップアドレス指定スクロール可能イメージ法を使用する場合、１．２５倍の倍率では、ステージ上の６４個の点がＣＣＤ光学センサ上の１個のピクセルに対応し、このピクセルは、(ＶＧＡディスプレイ用の)６４０×４８０モニタ上の１個のピクセルに対応する。
【００２４】
一度、顕微鏡ステージに関して座標系を定義し、顕微鏡スライド上の試料をステージ上に配置すると、スライド上の注目フィーチャをそれぞれステージに対して一意に位置付けることができる。ついで、顕微鏡システムを使用してイメージをデジタルにスキャンする。第１のスキャンは比較的低い倍率で行われる。これは、このイメージを使用して試料全体の「マクロ」イメージが獲得されるからである。好ましい実施形態では、１．２５倍の倍率が使用される。ついで、顕微鏡システムは１．２５倍の対物レンズを使用してスライドをスキャンする。イメージがＣＣＤグリッド内の光学センサのような矩形光学センサによって検出されるので、ステージを比較的大きなインクリメントで移動させ、スライドの隣接する物理部分を、この矩形領域がＣＣＤセンサ上に厳密に撮像される領域に厳密に配置しなければならない。
【００２５】
移動する領域は比較的大きいが、ＣＣＤセンサのピクセル解像度内での各イメージ部分の位置合わせを可能にするために、精度は高くなければならない。例えば、１．２５倍の倍率では、ステージ上の試料対象をＣＣＤセンサ上で光学的に撮像するために、新しい連続する領域へ移動させるには、４８１４３個のＸステップおよび３５８００個のＹステップが必要である。この場合、ＣＣＤグリッド内の光学センサによって生成された信号はコンピュータへ伝送され、コンピュータはイメージ信号を一連のタイル化イメージとしてストアする。各イメージフレームが所定のＸ−Ｙ座標によって定義されるので、これらのイメージを容易に、一連の連続するタイル化イメージに変換することができる。
【００２６】
コンピュータは、スキャンされたデジタルイメージをモニタ上に表示するときに、タイル化イメージの全体的なサイズ、例えばこの例では、１０×８に対応するイメージビットマップを予約する方法を使用し、１．２５倍のタイル化イメージを獲得する。この場合、７５２×４８０ピクセルＣＣＤセンサを使用した場合には、サイズが７５２０×３８４０のイメージビットマップが必要である。各イメージタイルについて、各タイル中の各ピクセルについてＸ−Ｙ座標がわかっているので、ビットマップを使用して、ストアされているイメージタイルをコーディネートさせ表示し、スクリーンピクセルとイメージピクセルを１ピクセルずつ対応させてイメージの合体マクロビューを表示することができる。通常、スクリーンピクセルのＸ−Ｙサイズはマクロタイル化イメージよりも小さく(すなわち、ある種のイメージ圧縮なしにモニタ上でイメージ全体をビューすることはできない)、この場合、マクロタイル化イメージはスクリーンの表示可能なウィンドウセグメント上でスクロールされ、１対１の対応が維持される。１対１の対応の利点は、ユーザが顕著なイメージディテイルを使用できることである。さらに、イメージピクセルとのステージ座標関係を介して試料上の物理的Ｘ、Ｙ位置がわかっているので、タイル化マクロイメージを使用して領域を突き止め、より高い倍率のタイル化イメージの集まりからこの領域へステージを移動させることができる。
【００２７】
光学系すなわちレンズの性質として、レンズにより得られるイメージは、イメージの中央領域が鮮明で、イメージの周縁部がファジーなほぼ円形のイメージであるので、顕微鏡システムは、光学イメージの中央にある高解像度イメージ部分のみをスキャンするようにスライド上の種々の位置に段階的に移動するように構成されている。ファジーな周縁領域は破棄される。このことにより、一度、ユーザがモニタ上でビューされるようにタイル化イメージが再構築されると、高解像度イメージが確保されるという利益も有する。
【００２８】
マクロイメージが完成した後、顧問病理学者のような訓練された専門家が、マクロイメージをビューして注目領域を探すことによって、試料のイメージをビューする。一般に、大部分の試料スライドは、診断上重要な少数の小さな領域のみを含む。スライドのバランスにはほとんど意味がない。顧問病理学者がスライドをビューする際、幾つかの領域における、より高い倍率でビューされ分析される注目領域が既にマーク付けされている可能性がある。一度、このような領域がマーク付けされると、顕微鏡は所望の高倍率に設定され、ついでマーク付けされた領域がスキャンされストアされる。あるいはまた、病理学者は、マクロイメージ上に直接、新しい領域を画定することができる。どちらの場合でも、それらの領域は、マウスのようなポインティングデバイスを使って、マクロイメージを表示する表示ウィンドウ上に直接輪郭が描かれる。上記で１．２５倍イメージに関して説明したように、ステージは定義済みの座標系を有するので、スキャンされた高倍率のイメージ部分をマクロイメージに対して容易に突き止め、一連のミクロイメージを作成することができる。
【００２９】
典型的な顕微鏡試料スライドが限られた注目情報しか含まないことと、本発明を実現するシステムの、そのような領域を正確に突き止める能力とによって、システムは、バーチャル顕微鏡スライド、すなわち、実際の試料スライドの代わりに使用できるデータ構造を作成することができる。このため、都合の良いことに、複数のユーザが特定の試料を診断することができる。また、データ構造のサイズが削減されるので、データ構造をパーソナルコンピュータ上でローカルにビューし、イントラネットを介して伝送するか、あるいはInternetを介してグローバルに伝送することができる。作成されたデータ構造は、種々の記憶装置または記録媒体、例えば、サーバのハードディスク、Ｊａｚｚドライブ、ＣＤ−ＲＯＭ等上にストアすることができる。さらに、データ構造をポータブル記憶媒体上にストアすると、複数のユーザによって顕微鏡スライドデータ構造を転送しアーカイブすることができる。
【００３０】
本発明の他の特徴は自己実行型データ構造である。これは、アクティブな動的制御プログラムを用いてタイル化イメージをパッケージングすることによって得られる。一般的なｗｅｂブラウザのような表示プログラムによってアクティブな動的制御プログラムが使用されると、ブラウザはこの動的制御プログラムを解釈することができる。この場合、ユーザは対話を行い、記録媒体からのイメージであってビューアによりスクリーン上でビューされるイメージを制御することができる。具体的には、本発明の好ましい実施形態では、多数の低倍率デジタル化タイル化イメージがデータ構造中に形成され組み込まれ、リンク情報が、これらのタイル化イメージを表示中に適切にタイル化してマクロイメージを形成することを可能にし、一連のより高倍率のタイル化イメージも同様にミクロイメージとして構築され、ＪＡＶＡアプレットのような制御プログラムが生成され、リモートユーザが使用できるようにマクロタイル化イメージおよびミクロタイル化イメージと共に転送される。したがって、例えば、アクティブ制御プログラムを含むマクロタイル化イメージおよびミクロタイル化イメージをInternetまたはイントラネットを介してブラウザか、イメージを表示する他のアプリケーションプログラムへ伝送することができ、ついで、ユーザがブラウザにアクセスし、複数の解像度で、ユーザの前のマクロビューを用いてイメージを分析することができる。これによって、光学顕微鏡を使用する場合と同様にイメージをビューすることができるが、この場合、視覚的には、ビューは複数の解像度のバーチャル顕微鏡スライドのビューである。
【００３１】
また、本発明によれば、構築されたタイル化マクロイメージおよびタイル化ミクロイメージを制御プログラムとともに、ｗｅｂサーバ上に配置することができ、これらのイメージにＷＡＮ（wide area network）を介してローカルにアクセスし、場合によっては、種々の時間に、複数のユーザによってグローバルにアクセスすることができる。例えば、３００個の試料スライドなど、多数の既にスキャンされストアされた試料スライドのそれぞれのミクロタイル化イメージおよびマクロタイル化イメージを、サーバ上に配置することができる。ついで、医学部または病理学部の学生は、それぞれ、スライドまたは全ての３００個のスライドにアクセスし、都合の良いときに、それぞれのｗｅｂブラウザ上で調べることができる。同様に、病理学者はダイヤルアップを行うか、あるいはその他の方法でInternetサービスプロバイダを介してInternetまたはその他のロングレベルネットワークに接続し、ｗｅｂサーバにアクセスし、特定の患者の試料結果を得ることができる。このような結果は（マクロタイル化イメージおよびミクロタイル化イメージを制御解釈プログラムとともに含む）データ構造としてストアされている。ついで、病理学者は、顕微鏡や特定のスライドを有する必要も、あるいはそのようなスライドを制御する必要もなしに、家庭または事務所で分析を行うことができる。病理学者は、ミクロイメージとマクロイメージを切り換え、ついで、ストアされているこれらのイメージから自分の分析、結果、または診断を指示するか、あるいはその他の方法で準備する。これによって、都合の良いことには、病理学者は都合に応じて家庭または事務所で自分の仕事の一部を行うことができ、研究所は、リモートロケーションでの顕微鏡検査のために、スライドを出荷する必要はなく、損傷を受ける恐れのない安全なロケーションに、実際の試料スライドを維持することができる。
【００３２】
制御プログラムは、本発明の好ましい実施形態では、ＪＡＶＡアプレットのような動的自己実行型プログラムであり、ユーザがブラウザ上にいる間にイメージを処理し解釈するのを可能にする。この動的自己実行型プログラムは、独自のディスプレイと、ブラウザのユーザによるオペレーションのための解釈プログラムとを有する完全な自己独立型（self-contained）プログラムである。タイル化デジタル化イメージおよびアクティブ制御プログラムを、ＣＤ−ＲＯＭまたはその他のポータブル記憶媒体上にストアし、メールを介すか、あるいはその他の方法でユーザへ転送し、ユーザの都合の良いときに、専用ビューアを用いて調べることができるので、本発明は、ブラウザ上での使用に制限されない。
したがって、前述のことから、種々のマクロイメージおよびミクロイメージの表示および解釈を可能にするアクティブ制御プログラムとともに、顕微鏡スライド情報を記憶媒体上にアーカイブするための改良された新規の方法および装置が提供されることがわかる。
本発明の他の重要な態様によれば、自己実行型データ構造(ストアされているマクロイメージおよびミクロイメージ、ならびにストアされているイメージを表示し、再構築し、処理する自己実行型プログラム)、および表示されたイメージをスクロールする能力が提供される。このため、ユーザは、あるイメージタイルを特定の倍率でビューすることができるだけでなく、ポインタまたはその他の方法を使用して点を移動させ、以前はビューすることのできなかった隣接する近傍のイメージタイルの表示イメージを、ユーザが見ているビューに含めることもできる。すなわち、ユーザは、ビューイングロケーションをタイル境界を横切って、あるタイルから別のタイルへ、上下左右に、あるいは他の注目点へ、通常の二次元スクローリング方法でシフトすることができる。したがって、ユーザには、アーカイブされストアされたスライドが複数の倍率で表示され、このスライドを、任意選択された方向へ容易にスクロールすることができる。上記出願と同様に、ユーザは、対話によって、選択された種々の領域に移動し、ポインタまたはマーカを操作して特定の注目領域を表示する高い倍率を選択し、また、注目近傍領域をスクロールすることもできる。
【００３３】
Internetブラウザだけでなく、例えばＪＡＶＡアプレットやACTIVE-Xアプレットのような動的自己実行型プログラムを使用して、データイメージを表示し、再構築し、処理することができる。データ構造上のデータイメージとリンクされた動的自己実行型プログラムを使用することの利点は、ユーザのコンピュータのＯＳ（operating system）とは独立にデータイメージを表示し、再構築し、処理することができることである。また、動的自己実行型プログラムの最新バージョンは、既に、データ構造または記憶媒体上のデータイメージとリンクされ、このデータイメージとともに供給されているので、ユーザが最新バージョンを得る必要はない。したがって、ユーザは、常に、種々のプログラムバージョンにかかわらずデータイメージをビューすることができる。
【００３４】
この動的自己実行型プログラムは、通常の機械式光学顕微鏡ビューにおいて対物レンズを変更することの視覚的効果をシミュレートするイメージ全体の交換を可能にする。したがって、ユーザは、容易に、ある倍率から他の倍率に切り換え、イメージの各部をスクロールし、顕微鏡レンズ下でスライドを移動させることによってイメージのトレースをシミュレートすることができる。
【００３５】
この動的自己実行型プログラムは、ウィンドウ内のイメージのスクロールを可能にし、再構築された大きなビューイメージの表示を可能にする。ユーザは、マウスまたは他のポインティングデバイスを使用して大きなビューイメージ上のイメージの一部を選択することができ、プログラムは、選択された部分を他のウィンドウに所望の倍率で表示する。
【００３６】
イメージタイルを使用して顕微鏡スライド上の試料のデジタルイメージのレコードを構築する方法は、ほぼ全ての試料が得られるようにイメージを第１の低倍率でスキャンすることを含む。ついで、試料の選択された（あるいは全ての）部分のイメージが得られるように、試料が第２の高倍率でスキャンされる。第１の低倍率のイメージと第２の高倍率のイメージとの空間関係を使用して、表示中にイメージが再構築される。スキャンされたメージの個々の部分またはタイルは、動的自己実行型プログラムによって組み合わされ、タイル化なしで個々に得られるイメージビューよりもかなり大きなデジタルイメージ領域が作成される。
【００３７】
本発明によるデータ構造は、まず所望の試料を複数のイメージ倍率でデジタルにスキャンすることによって作成される。ついで、スキャンされたイメージが一連の連続するイメージタイルにストアされる。ついで、記憶イメージを動的自己実行型プログラムとリンクする。ソフトウェアプログラムを使用してデータ構造を作成することができる。イメージは好ましくは、まずビットマップファイル（．ｂｍｐ）としてストアされる。(結果として得られたイメージファイルをビットマップフォーマットでストアすることは、本明細書に記載されたイメージファイルを作成するビットマップ方法とは異なる。)イメージ圧縮プログラムを使用してビットマップフアイルをＪＰＥＧ（．ｊｐｇ）フォーマットに変換する。この場合、必要な記憶空間が小さくなり、したがって、コンピュータ上の表示する必要のある時間が短くなる。データ構造を作成する人は、どれだけのディテイルを変換に含めるかを選択することができる。ＪＰＥＧイメージは、例えば、最初のイメージの２０％から８０％の圧縮比を使用して作成することができる。ＪＰＥＧフォーマットの利点は、ほぼ空のタイル（ほぼ白または黒の空間を有するタイル）が非常に小さなファイルに圧縮されることである。しかし、詳細なファイルはそれほど圧縮されない。また、この動的自己実行型プログラムは、イメージ全体またはその各部を表示ウィンドウに表示する圧縮アルゴリズムを含むことができる。
【００３８】
データ構造を記憶媒体上にダウンロードするかインストールした後、ユーザは、データイメージをビューする必要があるときに、マウスを使用して、自己実行型データ構造用のアイコンを「クリック」する。この動的自己実行型プログラムはイメージをウィンドウ内に表示する。典型的には、この動的自己実行型プログラムは、試料イメージ全体のマクロビューまたはサムネイルビューをより低い倍率で表示するとともに、特定のイメージタイルまたは一群のタイルを含むより小さなウィンドウをより高い倍率で表示する。この動的自己実行型プログラムは、ユーザがマウスまたは他のポインティングデバイスを使用して点を選択するか、あるいはサムネイルビュー上のある領域を示すことを可能にする。ついで、選択されたビューがより小さなウィンドウに第２の倍率で表示される。ユーザはマウスまたはポインティングデバイスを移動させることができ、より小さなウィンドウ内のイメージは、サムネイルビュー上の選択に応じてスクロールする。このようにして、この動的自己実行型プログラムは、機械式顕微鏡のビューの下で顕微鏡スライドの移動をシミュレートする。しかし、ＣＣＤピクセルとスクリーンピクセルが１対１で対応するため、モニタ上に全てのマクロイメージを表示できるわけではないことに留意されたい。ユーザは、マクロイメージをスクロールするか、あるいは圧縮機能を選択してマクロイメージ全体をウィンドウ内の表示することができる。
【００３９】
自己実行型データ構造の他の特徴は、ディスプレイスクリーン上にイメージが表示されたときに、ユーザがイメージタイルまたはイメージの一部を選択するか、あるいは選択された各倍率でイメージのこの部分をビューすることができることである。例えば、１．２５倍、２０倍、および４０倍の倍率でデータをスキャンした場合、ユーザは「クリック」によって同じタイルをこれらの倍率のそれぞれで代わるがわるビューすることができる。
【発明を実施するための最良の形態】
【００４０】
図１は本発明に係るシステムを示すブロック図である。これは、バーチャル顕微鏡スライド、すなわち、相互に関係付けをしたデータ構造を作成し、このデータ構造をイントラネットまたはInternetを介して伝送するシステムの例である。
【００４１】
また、図１は顕微鏡スライド上の試料のイメージを複数の解像度で表示する表示手順を示す。このシステムには、顕微鏡が含まれており、この顕微鏡は顕微鏡スライドを支持するデジタルプラットフォームを有する。デジタルプラットフォームまたはステージ１１は、試料イメージの各部を高精度に位置合わせするため、多数のインクリメント(increment)を含むように特別に較正してある。顕微鏡セットアップでは、ステージ１１を較正し初期位置合わせ（registration）をした後、スキャン試料を有する顕微鏡スライドまたはその他のサブストレートが、ステージ１１上に配置される。
【００４２】
本発明に係るバーチャル顕微鏡スライド試料の例として、乳ガン試料を作成する例を説明する。本発明によってデータ構造を作成する第１のステップでは、試料全体（または、マクロイメージとしてストアする必要のある試料の部分）のマクロイメージを確立する。このマクロイメージか、大区域のサムネイルイメージを作成する目的は、ビュアーが一度に試料全体をビューすることができることにあり、また、高倍率でビューするため、イメージ全体を使用して当該イメージ上の有意な部分を選択することができるようにすることにある。この例では、当該ユーザが乳ガンスライド全体を表示するために選択した倍率は、１．２５倍である。一度、ステージ１１上に試料１３ａが配置されると、回転光学アセンブリ１５が回転され、１．２５倍の倍率に対応するレンズ１７が選択される。
【００４３】
従来の特許出願の教示によれば、コンピュータ制御顕微鏡が移動され、試料１３ａのイメージ全体がスキャンされる。このフォーカシングシステムはビュー周辺のファジーな領域をストアするのを避けるため、ビューの中央部の高解像度領域のみを検出／選択するインクリメントをステッピングするようにプログラムされている。この例では、マクロイメージは、図１ａに示すように、１０×８アレイ、すなわち、合計で８０個の連続するイメージタイルとしてストアされることになる。
【００４４】
典型的な顕微鏡スライドは約７７ｍｍ×２５ｍｍであり、ラベルを含まない使用可能な領域は約５７ｍｍ×２５ｍｍである。これら８０個のイメージセグメントは、それぞれ、サイズが約４．８ｍｍ×３．５ｍｍである。このことは、８０個のイメージセグメントがそれぞれ別々にスキャンされ、別々のイメージタイルとしてストアされることを意味する。
【００４５】
この顕微鏡システムの精度は、モータの各ステップの精度が０．１μ（μｍ）になるようにセットアップされる。この例では、顕微鏡は、８０個の各イメージ区域について、１．２５倍の倍率で、Ｘ方向に４８，１４３ステップだけ移動し、Ｙ方向に３５，８００ステップだけ移動するようにセットアップされている。
【００４６】
高倍率では、スキャンイメージ区域はかなり小さく、したがって、スキャンイメージ区域のサイズに応じて、ステップ数は少なくなる。これら８０個のイメージ領域は、それぞれ、ビューの中央部分の高解像度領域のみが顕微鏡レンズにより検出されることになる。
ついで、所望のイメージ区域の光学イメージが、光学アレイセンサ１９（好ましくは、ＣＣＤセンサアレイ）によって検出される。この例では、これら８０個のスキャンされた区域が、それぞれ、この光学アレイ全体で検知され、このアレイは７５２ピクセル×４８０ピクセルを含む。この光学アレイセンサは、検出されたイメージを表す電気信号を顕微鏡制御コンピュータ３２へ送信する。コンピュータ３２はスキャンされたイメージをストアする。このスキャンされたイメージには、顕微鏡スライドの８０個の個々の区域に対して、左上Ｘ−Ｙステージ座標が含まれる。８０個のスキャンされたイメージ区域のピクセル位置は、それぞれ、ビットマップファイル（すなわち、当該区域内の各ビットの位置のマップを含むファイル）にストアされる。このビットマップファイルはイメージ区域上の個々のイメージのレイアウトに対応している。したがって、コンピュータメモリのビットマップファイル（図６）中の一意の位置が、図１Ａの領域Ａ、すなわち、一番上の行の左から７番目の領域から取り出されるイメージタイルの全ピクセルに個別に割り当てられる。この取り出されたイメージタイルの全ピクセルは、図１Ｂに示すように、データ構造イメージタイルファイルにもストアされる。
【００４７】
これらストアされたデータイメージタイルは、それぞれ、拡張子.bmpを有する標準イメージファイルであって、１ＭＢのオーダである。すなわち、７５２×４８０個のピクセルが３byteの赤、緑、青のイメージデータとしてストアされる(７５２×４８０×３２＝１，０８２，８８０byte)。各イメージタイルの位置はビットマップによって分かるので、当該完全な顕微鏡イメージは、各イメージタイルのグリッド位置に従って、各イメージタイルをペイント（表示）することによって再生することができる。このことは留意されたい。
【００４８】
得られたイメージを表示するため、コンピュータ３２はディスプレイスクリーンの相対的なサイズに応じて、表示される適正な部分を各イメージタイルから計算する。ストアされたイメージデータは、通常、典型的なモニタのサイズよりも大きいので、ビュアーはイメージデータ全体をビューするときは、ウィンドウ上でイメージをスクロールしなければならない。しかし、イメージ全体を圧縮してビューイングウィンドウにするのに、任意選択の圧縮アルゴリズムを使用することができる。Ｘ−Ｙ座標情報は、イメージタイルを再構築して試料の完全なイメージとするため、ビューイング処理プログラムによって使用される。得られたイメージは、もし、１つのビュー内で試料全体をビュー可能な単一のレンズが、光学技術によって構築されたとしたら、その単一のレンズにより得られるイメージより大きく、その解像度は良い。この例では、８０個のイメージタイルはそれぞれデジタル解像度が７５２×４８０ピクセルであり、対応する光学解像度は４０倍での約０．２μから１．２５倍での約６．４μまでである。
【００４９】
マクロイメージまたはサムネイルがデジタルにスキャンされ、そのＸ−Ｙ座標情報ととにストアされた後、ユーザにより、マクロイメージまたは最初の試料に有意のディテイルがあるかどうかが調べられる。通常、高倍率でビューされる領域はユーザによりマーキングペンでハイライトされる。ついで、ユーザにより、光学系１５の倍率が所望の高倍率に変更され、スキャンシステムが移動され、選択された領域がビューされる。そして、コンピュータ３２は選択された領域に対して、スキャンしイメージタイルを作成するプロセスを繰り返すが、そのプロセスは、スキャンされ選択された領域を突き止めるため、高倍率でかつ新しいグリッドシステムを用いて行われる。
【００５０】
この例では、ユーザは、高倍率で第２のビューを行うために、図１ａの領域Ｂを選択した。ユーザは、例えば、４０倍の倍率を選択する。コンピュータ３２は選択された領域を４０倍の倍率でカバーするためのタイルの数を計算し、第２のグリッドをセットアップする。
【００５１】
ここでは、図１ａの領域Ｂが図１ａ中のより大きなタイルのうちの幾つかと交差することに留意されたい。この計器の精度が極端に良い精度、すなわち、０．
１μであるため、選択されたこのような領域を高解像度で突き止めることは容易である。既に指摘したが、コンピュータ３２はイメージ部分のサイズ、この例では、例えば、Ｘ＝１５００ステッブインクリメントと、Ｙ＝１２００ステップインクリメントを計算する。４０倍解像度での各イメージ部分は、７５２×４８０ピクセルの光学センサアレイによって検出される。コンピュータ３２が、ユーザからの要求に応じて、領域Ｂの位置または２００個の個々のイメージタイルのうちのどれかの位置を容易に想起できるように、得られた各データファイルはメモリの高倍率マップエリアに別々にストアされる。
【００５２】
一度、ユーザが、イメージタイル中のデジタルイメージを選択し、このイメージをコンピュータ制御顕微鏡システムにスキャンさせストアさせることを完了すると、コンピュータ３２は、マップされた.bmpファイルをその座標情報とともにストアし、図１のスライドイメージデータ構造３１を作成する。スライドイメージデータ構造には、両方の倍率での全てのビットマップイメージタイルファイル（同様に、必要に応じて他の倍率で追加イメージをストアできることに留意されたい）が含まれ、同様に、種々のイメージタイルのロケーションに関する情報が含まれている。
【００５３】
図７ａはWindows 95ファイルマネージャの下で観察されるようなファイルリスティングであって、乳ガンに対するデータ構造に含まれるデータファイルを示すファイルリスティングである。このファイルリスティングには、FinalScan.iniおよびSlideScan.iniが含まれており、同様に、６０個のビットマップデータファイルが含まれている。SlideScan.iniは全てのオリジナルのビットマップ（.bmp）ファイルのリスティングである。これらビットマップファイルは例えば１．２５倍の倍率でスキャンされる個々のイメージタイルを表す。SlideScan.iniは次の表１で明らかにしてあり、各イメージタイルファイルに対するＸ−Ｙ座標を記載してある。乳ガンに対するデータ構造が制御プログラムによりビューされると、その制御プログラムは全てのイメージタイルを連続的に表示するため、Ｘ−Ｙ座標を使用する。
【００５４】
【表１】
【００５５】
【表１Ａ】
【００５６】
【表２】
【００５７】
【表２Ａ】
【００５８】
【表２Ｂ】
【００５９】
【表２Ｃ】
【００６０】
コンピュータ３２は自己実行型データ構造を作成するため、スキャンされたイメージファイルを使用することもできる。.bmpイメージを圧縮して.jpgにし、しかも、ユーザによるイメージタイルのビュー、再構築、処理が可能な動的自己実行型プログラムを追加することによって、ユーザはこのデータ構造をオリジナルの試料のバーチャル顕微鏡スライドとして使用することができる。この動的自己実行型プログラムは図７ｂに示すようなJavaアプレットであるのが好ましい。
【００６１】
コンピュータ３２はスライドイメージデータ構造３１を、直接か、あるいは、イントラネットブラウザ３３を介して、ローカルビュアー３４に供給することができ、あるいは、Internetサーバ３８を経由させることができる。図１に示すように、スライドイメージデータ構造３７はInternetサーバ３８から直接アクセスすることができる。あるいはまた、ユーザはスライドイメージデータ構造を自分のコンピュータ３９にダウンロードし、Internetブラウザ４３を使用し、再構築されたイメージをビューすることができる。あるいはまた、コンピュータ３２はＣＤ−ＲＯＭか、jazzドライブか、その他の記憶媒体上に、スライドイメージデータ構造をストアすることもできる。
【００６２】
スライドイメージデータ構造３１または３７をビューするため、例えば、ＣＤ−ＲＯＭによりデータ構造を獲得したユーザは、まず、このＣＤ−ＲＯＭを自分のコンピュータのＣＤ−ＲＯＭドライブにインストールする。ついで、ユーザは、このＣＤ−ＲＯＭ上にイメージタイルとともにインストールされたJavaアプレットをリード(read)することができるブラウザまたはその他のアプリケーションプログラムをオープンする。ここで、個別のブラウザプログラムが不要なことに注意されたい。このＣＤ−ＲＯＭが、イメージタイルを表示し再構築し処理する完全なアプリケーションプログラムを含むことができる例もある。この例では、ユーザがスライドイメージデータ構造に関するアイコンリスティングまたはファイルリスティングを選択し、制御プログラムがデータファイルを表示することになる。
【００６３】
図２は本発明を具現化したシステムのスクリーンを示す。このスクリーンには、顕微鏡スライド上の試料の低倍率イメージ２４が１つのウィンドウ内に示してあり、低倍率イメージのうちの領域マーカ３０によって選択された部分の高倍率イメージ２６が示してあり、制御ウィンドウ２８が示してある。図３は本発明を具現化した装置のディスプレイスクリーンのビューである。このディスプレイスクリーンには、制御ウィンドウ２８が示してあり、低倍率ウィンドウ２４内に描写された複数の高倍率ミクロイメージ領域３１０を有する低倍率ウィンドウ２４が示してあり、１つ以上のミクロイメージ領域３１０、３１４、３１６を含む高倍率ウィンドウ２６が示してある。図４は実際の乳ガン試料のマクロイメージであって、コンピュータモニタ上で観察される１．２５倍で表示された図である。図５は図４のグリッド部分のビューであって、病理学者によって選択された領域を４０倍の倍率で表示した図である。
【００６４】
ここで、図１ａ中の領域Ａが約４．８ｍｍ×３．５ｍｍであったことを想起されたい。この領域は、７５２×４８０ピクセルの検出データ、すなわち、３６０，９３０ピクセルの情報を生成する。各ピクセルは、各位置に関する情報と、この領域が検出したイメージとを、コンピュータへ送る。コンピュータはこの情報を一連のデータファイルにストアする(通常は、.bmpフォーマットであるが、.tifまたは.gifを使用することもできる)。したがって、６４０×４８０で動作するコンピュータモニタ上で、それよりも幾倍も多くのピクセルの検出データを使用できることがわかる。イメージ全体をビューする場合、ユーザはイメージタイルをスクロールしなければならない。しかし、スクロールはタイルごとにタイル上で行う必要はない。スクロールはユーザがモニタ上のピクセルを指し示すことによって行なわれる。
【００６５】
図６は制御プログラムが、どのように、ストアされているイメージタイルを突き止めスクロールするかを示すブロック図である。図１ａの例を使用すると、完全なデータ構造が作成された。ユーザが（顕微鏡スライドの）データ構造を自分のパーソナルコンピュータにロードするか、あるいはInternetブラウザからビューするとき、この制御プログラムはストアされているデータのビットマップを再作成する。図６には、スライド全体のビットマップを示してある。イメージタイルＡもハイライトしてある。このビットマップによれば、ユーザはスライド上の位置を指し示すか、あるいはその他の方法で参照することができる。
【００６６】
このデータ構造に指定されたＸ−Ｙ座標情報によれば、特定のイメージタイルと、イメージタイル中の特定のピクセルとのＸ−Ｙ変換を行なうことができる。
【００６７】
この制御プログラムが最初にイメージをロードしたときは、このロードされたイメージファイルが非常に大きいため、ユーザのモニタ上のアクティブウィンドウには、利用可能な少数のタイルしか表示されない。ユーザは自分のマウスまたはポインティングデバイスを使用してアクティブウィンドウをスクロールし、マクロイメージ全体をビューする。マウスによって選択されたＸ−Ｙ座標情報は、特定のイメージタイルまたはその一部に変換される。コンピュータはマウスポインタ情報を取り出し、ストアされている一連のタイルイメージからイメージデータを検索し、ユーザがビューできるようにモニタ上に表示する。
【００６８】
大量のＣＣＤピクセル情報がストアされているので、表示ウィンドウで実際のピクセル情報を再作成することができる。システム全体はループでオペレートし、この場合、ユーザがマウス位置を入力し、コンピュータがこのマウス位置をスクリーン座標（スクリーンピクセル）からビットマップ上のＸ−Ｙ座標に変換する。
【００６９】
同様に、ユーザは高倍率データイメージを選択することができる。このデータイメージは、ストアされている領域を示す黒いグリッドで示してある。ユーザは、前述と同様にしてマウスをオペレートする。この制御プログラムは、ストアされているＸ−Ｙ座標を突き止め、当該イメージの選択された部分をＣＣＤ記憶ピクセルごとに取り出す。
【００７０】
既に説明したように、記憶空間を節約するため、コンピュータ３２は各イメージタイルファイルに対してデータ圧縮を行うことができる。好ましいデータ圧縮はＪＰＥＧであって、ＪＰＥＧは大部分のInternetブラウザプログラムによって容易に転送され認識されている。ＪＰＥＧによれば、圧縮されるデータの量を２０％から８０％まで幅を持たせることもできる。図８はWindows 95ファイルマネージャの下で観察されるであろうファイルリスティングであって、代替データ構造に含まれたデータファイルを示す。このデータ構造では、乳ガン試料に関するデータファイルが圧縮されるか、あるいはＪＰＥＧ（.jpg）フォーマットに変換されている。ファイルindex.html（表３に示す）は、これらのデータファイルに関するＸ−Ｙ座標情報を含むリスティングである。これは、イメージタイルをマクロイメージおよびミクロイメージとしてビューし、再構築し、処理するために、動的自己実行型プログラムによりリードされる情報である。
【００７１】
【表３】
【００７２】
【表３Ａ】
【００７３】
【表３Ｂ】
【００７４】
【表３Ｃ】
【００７５】
【表３Ｄ】
【００７６】
【表３Ｅ】
【００７７】
図面、特に、図９Ａ、図９Ｂ、図１０を説明する。これらの図には、低倍率顕微鏡イメージと高倍率顕微鏡イメージを合成する装置が示してあり、この装置には、参照番号１０が付してある。本システムには、デュアルPentium Proパーソナルコンピュータであるコンピュータ１２が含まれており、このコンピュータ１２は、Zeiss Axioplan 2顕微鏡１６と関係付けをしたHitachi HV-C20ビデオカメラ１４と組み合わせてある。カメラ１４はＬＵＤＬコード化された電動ステージ２０上に位置された顕微鏡スライド１６を有する顕微鏡１６から光をキャプチャし、このカメラ１４からの信号を、コンピュータシステム１２が受信するできるようになっている。このコード化された電動ステージ２０には、コンピュータ１２に応答してこのステージを制御するＭＡＣ２０００ステージコントローラが含まれている。顕微鏡スライド１８には、顕微鏡によってビューされる生体試料２１が含まれ、この生体試料のイメージは、低倍率と、ユーザによって選択された高倍率との両方の倍率でデジタル化される。この低倍率でデジタル化されたイメージには、解像度が１６００×１２００の２１インチIIyamaビデオディスプレイモニタ２２上に表示され、例えば１．２５倍の低倍率イメージ２４と、例えば４０倍の高倍率イメージ２６を含む図１ないし図３に示す種類のディスプレイスクリーンと、制御ウィンドウまたはイメージ２８とが含まれている。この低倍率イメージによれば、高倍率のスクリーンまたはウィンドウ２６内に高倍率で再生される領域３０が、この低倍率イメージ内で識別される可能性があったかもしれない。低倍率イメージ内で領域識別が行われると、病理学者またはシステムの他のオペレータは、当該構造領域を低倍率イメージ２４で検討し、同時に、当該構造領域を高倍率のスクリーンまたはウィンドウ２６内に高倍率で表示し、構造的特徴（architectual feature）の一部を形成する細胞が、ガンのようなものであるかどうかをさらに検査する必要があるかどうかを判定することができる。
【００７８】
コンピュータ１０はＰＣＩシステムバス４０の周りに構築され、ＰＣＩシステムバスに接続された第１のPentium Proマイクロプロセッサ４２と第２のPentium Proマイクロプロセッサ４４を有する。システムバス４０には、ＰＣＩバス５０およびＩＳＡバス５２が接続してある。ＰＣＩバス５０には、情報をハードディスク６２との間で送受信するためにＳＣＳＩコントローラ６０が接続してある。ハードディスク６２は高容量リムーバブルディスクおよびＣＤ−ＲＯＭドライブ６６とデージーチェーンＳＣＳＩで結合してある。ハードディスク６２にストアされているプログラムは、顕微鏡１６を制御し、イメージを処理するとともに、スライド１８上でビューされている組織試料の選択された部分の定量分析を行うように、システムをオペレートするためのものである。システムバス４０には、ＲＡＭ７０と、ＲＯＭ７２とが接続してある。ＲＡＭ７０には、実行されているプログラムの一部がストアしてある。ＲＯＭ７２はブートストラップローダを保持するためのものであり、同様に、ＢＩＯＳ（basic input/output operationg system）の一部を保持するためのものである。フロッピィディスクコントローラ７４がシステムバス４０に結合してあり、フロッピィディスクドライブ７６に接続してある。フロッピィディスクコントローラ７４は必要に応じてフロッピィディスクから情報を読み取り、フロッピィディスクに情報を書き込むものである。マウスコントローラ８０がシステムバス４０に結合してあり、マウスを有する。このマウスは、スクリーン２２上並びにウィンドウ２４、２６、および２８内で、処理を制御するポインティングデバイスとしてオペレートする。キーボードコントローラ９０がシステムバス４０に接続してあり、キーボードコントローラ９０にはキーボード９２が接続してある。キーボード９２は、コンピュータの他の部分との間で、英数字信号を送受信するために、使用することができる。
【００７９】
オーディオコントローラ１００には、オーディオ入出力用に複数のスピーカ１０２および１つのマイクロフォン１０４が接続してあり、オーディオコントローラ１００はシステムバス４０に接続してある。ネットワークインタフェースカード１０５のようなネットワークインタフェースがシステムバス４０に接続してあり、このネットワークインタフェースは、システムを接続できるネットワークか、Internetの他の部分にチャネル１０６を介して信号を供給することができる。同様に、ＩＳＡバス５２に接続されたモデム１１０を介して、本システムから信号を送信することができ、本システムからの信号を、チャネル１１２を介して、例えばInternetへ信号を送信することができる。プリンタ１１６がパラレルＩ／Ｏコントローラ１１８を介してシステムバスに接続してある。これは、スクリーンおよびその他の情報が生成されたときに、必要に応じて、この情報をプリントアウトするためである。シリアルＩ／Ｏコントローラ１２２がシステムバス４０に接続してあり、シリアルＩ／Ｏコントローラ１２２に、カメラ内のＣＣＤセンサ１２６に結合されているカメラコントローラ１２４が接続してある。ＣＣＤセンサ１２６は、スライド１８上で見出されたものを表すピクセル信号またはイメージ信号を、Epix pixciイメージ獲得コントローラ１３０に供給する。Epix pixciイメージ獲得コントローラ１３０はＰＣＩバス５０に結合してある。
【００８０】
顕微鏡１６には、ベース１４０が含まれていて、このベース１４０にステージ２０が支持されており、同様に、顕微鏡１６には、複数の対物レンズ１４４、１４６、および１４８を有する対物レンズタレット１４２が含まれている。例えば、対物レンズ１４４は１．２５倍対物レンズでよい。対物レンズ１４６は２０倍対物レンズでよい。対物レンズ１４８は４０倍対物レンズでよい。カメラセンサおよびコントローラからの信号は、バス１２８を介してイメージ獲得システムに供給され、イメージ獲得システムによりデジタル化され、ＰＣＩバスに供給され、ＲＡＭにストアされるか、あるいはハードディスク６２にバックアップされる。
【００８１】
スライド１８上に試料があるとき、コンピュータの制御の下、シリアルＩ／Ｏコントローラ１２２に結合されたステージコントローラ１６０によりステージ２０を処理することができる。同様に、顕微鏡コントローラ１６２は顕微鏡のアスペクト(aspect)、例えば、ランプ１６８の照度、色温度、スペクトル出力を制御する。例えば、通常のオペレーションでは、スライド上に試料が配置されると、図１１に示すように、ステップ２００で、ステージ２０上に試料スライド１８が配置され、ステップ２０２で、プロセッサ４２または４４がシステムバスを介してコマンドを発行して、シリアルＩ／Ｏコントローラ１２２によって顕微鏡コントローラをシグナリングさせ、倍率を１．２５倍に変更させる。この倍率変更は、Axioplan 2顕微鏡の対物レンズタレットを回転させ、対物レンズ１４４を選択することにより行われる。同様に、顕微鏡コントローラは、ランプ１６８の色温度を設定し、一対の中性灰色フィルタホィール１７０および１７２をセットし、正しい照度が得られるようにフィールドダイヤフラム１７４を設定する。コンデンサダイヤフラム１７６も制御され、カメラ内のＣＣＤセンサ１２６に適切なフィルタカラーを供給するように、カラーフィルタホィール１８０を制御することもできる。ついで、ステップ２０４で、当該スライド全体がスキャンされる。イメージがタイル化され、それぞれ結合され全体的なイメージ２４とされ、このイメージがスクリーン２２上に供給され、ステップ２０６で、当該のスライドの関連領域の視覚的に検査できるマクロイメージが、オペレータに表示される。
【００８２】
拡大イメージを供給するために、マウスを移動させて、マーカセグメントまたはマーカ領域を識別することができる。このマーカセグメントまたは領域は、例えば、矩形の領域とすることができる。このマウス移動により、ステップ２０８と同様に、タレットを回転させ、適切な対物レンズシステムをビューイングポジションに運ぶので、顕微鏡の倍率を４倍、２０倍、４０倍等に変更させることになる。
【００８３】
次に、ユーザは、ステップ２０９ａで、マウスを使用して、マクロイメージ上の領域を選択し、スクリーン２２上でビューされるミクロイメージを選択する。
【００８４】
ユーザが検査の継続を命令したかどうかを判定するために、ステップ２０９ｂで、試験が行われ、ユーザが試験の継続を命令している場合には、ステップ２０９ｃで、試験が行われ、選択される対物レンズを変更することによって倍率を変更するかどうかが判定される。倍率を変更する場合、制御がステップ２０８に移行する。倍率を変更しない場合は、制御はステップ２０９ａに移行する。検査を継続しない場合は、ステップ２０９ｄで、選択された領域がより高い倍率でスキャンできるようにアウトライン（outline)させる。ステップ２０９ｅで、スクリーン２６に表示するため、より高い倍率のイメージをスキャンするか、あるいは獲得するためのコマンドを受け取ることができる。ついで、そのイメージを後で分析するためにアーカイブするか、表示するか、あるいは、直ちに分析することもできる。
【００８５】
ステップ２０８で要求された倍率をパフォームするため、顕微鏡の全体的な照明および制御が制御されることになり、その結果、ステップ２１０で、スライド１８上により高い倍率の対物レンズが位置されるように、対物レンズタレット１４２が回転される。選択された対物レンズに対して予め定めた適切な照度および色温度が与えられるようにランプ１６８を調整するため、ステップ２１２で、ランプの印加電圧が変更されることになる。選択された対物レンズに適正な照度を与えるため、ステップ２１４で、コンデンサダイヤフラム１７６は必要に応じて適正に選択された開口を有することになる。ステップ２１６で、フィルタタレット１８０はカメラセンサに供給される適正な光波長フィルタを選択する。特に、試料が汚れている場合は、必要に応じて、例えば、赤フィルタ、青フィルタ、または緑フィルタが選択される。ステップ２１８で、フィールドダイヤフラム１７４は開口を変更させることになる。ステップ２２０で、中性灰色フィルタホィール１７０により中性灰色フィルタが選択され、ステップ２２２で、中性灰色フィルタホィール１７２により中性灰色フィルタも選択される。ステップ２２４で、Ｘオフセット、Ｙオフセット、およびＺオフセットを使用して、記録されているイメージがこの倍率で再構築され、ステップ２２６で、精度が０．１０μのステージ内のエンコーダから現在位置がリードされる。
【００８６】
選択された領域を識別するために、図１４に示すステップ２４０におけるポインティングオペレーションにより、マウスがこの領域に移動される。選択された領域の周りにボックスを描画するように、マウスを移動させることができる。ステップ２４２で、選択された領域のエッジに対して、Ｘスクリーン点およびＹスクリーン点が計算され、顕微鏡のステージを制御するために、計算されたイメージ点またはピクセル点がステージ座標点に変換される。ステップ２４４で、当該対物レンズに対してステージを位置決めするため、全てのＸフィールドのリストがＲＡＭにストアされ、ハードディスク上にバックアップさせることができる。
【００８７】
対物レンズに対するＸオフセットと、ステージオフセットとからの情報が使用され、同様に、スライドを対物レンズの下方に適正に位置決めしてミクロイメージをキャプチャするため、フィールドのサイズが使用される。
【００８８】
当該スライドが適正に位置決めされると、図１５に示すように、ステップ２５０で、ステージ座標値中のＸ座標値およびＹ座標値のそれぞれについて、ステージが位置決めされ、デジタル化されたイメージがカメラによってキャプチャされ、ＲＡＭにストアされ、ハードディスク上にバックアップされる。ついで、上記米国特許出願に記載されたような種々の方法で、定量的にイメージを分析することができる。任意選択であるが、ステップ２５４で、当該イメージをアーカイブのためにストアすることができる。
【００８９】
図１２に示すような特定の制御機能をオーバライド（override）するため、図１３に示すようなスクリーンが用意されている。このスクリーンで、Ｘ−Ｙステップサイズを編集することができ、Ｘ、Ｙ、およびＺオフセットを編集することができ、ランプ電圧を選択することができ、中性灰色フィルタを選択するとともにフィールドダイヤフラムの開口および他の幾かの顕微鏡機能を選択することができる。図１３はAxioplan 2、すなわち、コンピュータ制御顕微鏡の顕微鏡対物レンズのセッティングを示す図である。
【００９０】
ＸおよびＹの位置決めは、具体的には、図１６に示すように行われる。図１６には、スライド１８がスライド境界２７０、２７２、２７４、および２７６とともに示してある。ステージの行程を制限するためのステージ境界により、ステージは左上隅部２７８から右下隅部２８０まで移動できる。左上隅部２７８では、移動終了位置に到達したことを示す信号が出力され、ついで、ステージがＸ方向の短い距離２８２およびＹ方向の短い距離２８４に変換され、左上隅部の基準点２９０を基準として第１のタイル２８８が画定される。マクロイメージタイル２８８のサイズが分かっているので、ステージを適正に移動させることにより、しかも、イメージ処理を行なわずに、カウンタに入れたステージ位置から、ステージの位置を測定することによって、次のマクロイメージタイル２９２を第１のタイル２８８に連続するように配置することができる。イメージタイル２８８とイメージタイル２９２は、実質的に重ね合せずに互いに当接させることも、あるいは１ピクセルだけ重なり合うようにわずかに重ね合わせることもできる。１ピクセルの重なり合いは、互いに当接されたイメージタイルの互いに隣接するエッジのぼやけとして無視することができる。タイル２９２の左上隅部３００はタイル２９２の残りの部分を画定し、同様にして、他のタイルも画定することができる。ミクロイメージタイルはコンポジットイメージに干渉しないように、連続するがほとんど重なり合わないように画定することができる。従って、次のような問題を避けることができる。すなわち、イメージどうしを一致させるか、あるいは、イメージどうしを隣接させても、連続するイメージタイルのエッジがぼやけないようにするため、１つのフレームストレージか、複数のフレームストレージのデジタルイメージに対して拡張された計算を行なわなければならないとした場合に遭遇する問題を避けることができる。当然のことであるが、低倍率イメージ２４は低倍率イメージ２４内に複数のミクロイメージが画定され、これらのミクロイメージがタイル化され、個々のタイル３１２、３１４、３１６等としてより高い倍率で示されている。その上、ウィンドウ２６に示すように、拡大された領域３１０は、ウィンドウ２６の境界を越える可能性があり、したがって、ウィンドウ２６には、スクロールバーまたは他の手段であって、ウィンドウ２６よりも大きなイメージ３１０をウィンドウ２６内から調べることができるものを含めることができる。
【００９１】
ステージ２００は図１６Ａに最も良く示されているが、ステージ２００には、Ｘステッパモータ２７９およびＹステッパモータ２８２が含まれている。Ｘステッパモータ２７９およびＹステッパモータ２８２は、それぞれ、エンコーダを有し、閉ループシステムが提供されている。このため、閉ループシステムがない場合に、大部分の顕微鏡ステージの精度が、通常、５μまたは６μであるのに対して、この閉ループシステムを有するステージ２００は０．１μの精度が得られる。この閉ループシステムとこの非常に高い精度により、イメージをほとんど重ね合せず、しかも、現行の時間のかかる高価なソフトウェアを用いずに、高倍率イメージと低倍率イメージの両方についてタイルイメージどうしを当接させることができ、互いに隣接するイメージタイルの重なり合ったエッジでの重なり合いとぼやけをなくすことができる。厳密に位置決めされたステージを用いるとともに、スライドがスライドの中心点ＣＰに対して厳密に位置決めされ、点２７８の既知の位置が常に同じ点から得られる図１６に関して説明したタイル化システムを使用することによって、タイルを水平方向に厳密に位置決めし、かつ垂直方向に厳密に位置決めして、マクロイメージおよびミクロイメージを再構築することができる。この再構築は、水平方向または垂直方向に重なり合ったイメージタイルや、イメージタイルのでたらめな配向がなくすため、従来技術とは異なり、広範囲なソフトウェア処理を使用せずに行われている。
【００９２】
本発明にも、システムをネットワーク通信機能、例えばネットワークインタフェースを介してイントラネットに結合するか、あるいはモデムまたはその他の適正なコネクションを介してInternetに結合することにより、リモート観測が可能な機能が含まれている。そのため、一度、イメージがスキャンされ、ハードディスクまたは他のストレージにストアされると、リモートユーザは低倍率イメージにアクセスすることができ、同様に、高倍率イメージにアクセスすることができ、両方のイメージ内で移動して、サンプルの組織特性に関する判定を下すことができる。
【００９３】
本システムには、その他の機能として、ネットワーク化された複数のワークステーションが含まれており、ネットワーク化された複数のワークステーションが第１コンピュータコンソール１２に結合してあり、第１コンピュータコンソールはディスプレイスクリーン２２を有し、顕微鏡１４に接続してある。サテライトワークステーション３５０および３５２は、ワークステーション１２と実質的に同一であって、コンピュータ３５４および３５６を個々に含み、コンピュータ３５４および３５６はディスプレイ３５８および３６０に個々に結合してある。これらの装置は入力装置３６０および３６２により処理することができ、入力装置３６０および３６２にはキーボードおよびマウス等を含めることができる。ディスプレイ３７２と、コンピュータ３７４と、入力装置３７６とを有するワークステーション３７０を含むものを、第３の装置として、本システムに接続することもできる。これらの装置は、それぞれ、個別のネットワークライン３８０、３８２、３８４を介して、コンピュータ１２に接続してあり、それらの伝送はネットワークまたはネットワークのようなもののいずれかを介して行なうことができる。物理的に別個のビューイングステーションにいる異なるオペレータは、それぞれ、マクロビューにより、組織断面全体のビューから各領域を突き止めることができ、その後にスキャンおよび／または定量分析を行えるように、これらの領域にラベル付けをすることができる。計器ステーション１２にいる１人のオペレータが、組織断面全体をビューして、各領域を突き止めることができる。これらの領域にラベル付けをすることができる。このラベル付けは、物理的に離れたビューイングステーション、例えば、手術室や個々の病理学者のサインアウト領域で、その後にスキャンおよび／または定量分析を行い、その後に検討するためである。このようにするのは、組織の全体的なマクロビューおよび／またはストアされている個々のイメージ（これらのイメージから定量的な結果が得られる）を保持するとともに検討しながら、分析結果を検討するためである。ビューイングステーション３５０、３５２、および３７０は、デスクトップコンピュータ、ラップトップ、等を備えることができる。ネットワークステーション３５０、３５２、および３７０には、顕微鏡は必要でない。
【００９４】
他の代替実施形態では、リモートワークステーション４００、４０２、４０４、４０６、および４０８を、パケット交換網を介して供給することのできるサーバ４１０を介して、接続することができる。サーバ４１０としては、World Wide Webに使用されている種類のＨＴＴＰ（hypertext transport protocol）ベースのサーバか、あるいは、以前Internetリモートオペレーション・アプリケーションで使用されているtelnet型サーバでもよい。サーバ４１０は通信チャネル４１４を介してローカルコンピュータ４１６と通信している。ローカルコンピュータ４１６はディスプレイ４１８が関係付けしてある。ローカルコンピュータ４１６は顕微鏡４２０に接続してある。リモートワークステーション４００、４０２、４０４、４０６、および４０８は、それぞれ、ステーション３５０、３５２、および３７０と同じオペレーションをパフォームすることができる。ただし、リモートワークステーションはこのオペレーションを近傍のビルディングからか、あるいは、世界中からでさえもパフォームする。したがって、入手され顕微鏡４２０下で観察されている試料を、他人が利用する点において、融通性がさらに増大する。その上、ストアされているイメージをさらに分析し検討するために、ストアされているイメージをサーバ４１０を介してリモートサーバ４００ないし４０８へ配信することができる。
【００９５】
以上、本発明の特定の実施形態を例示し説明したが、当業者は、当然、多数の変更および修正を行なうことができる。しかし、これらの変更および修正は、請求の範囲においても、本発明の真の精神および範囲内を逸脱しないものとする。
【図面の簡単な説明】
【００９６】
【図１】顕微鏡スライド上の試料のイメージのデータ構造を作成し、イントラネットまたはInternetを介してローカルに伝送する、本発明によるシステムのブロック図である。
【図１ａ】８０個のタイル化イメージとしてスキャンされるように任意に割り当てられた顕微鏡スライドを表す図である。
【図１ｂ】タイル化される選択されたイメージ領域を検出した後の、ＣＣＤ光学アレイ内の個々のピクセルセンサの検出信号と、検出信号を記述した情報を含む参照データファイルとを表す図である。
【図２】１つのウィンドウ内の顕微鏡スライド上の試料の低倍率イメージと、低倍率イメージの、領域マーカによって選択された部分の高倍率イメージと、制御ウィンドウとを示す、本発明を実現するシステムのスクリーン図である。
【図３】制御ウィンドウと、内部に示された複数の高倍率ミクロイメージ領域を有する低倍率ウィンドウと、１つまたは複数のミクロイメージ領域を含む高倍率ウィンドウとを示す、本発明を実現する装置のディスプレイスクリーンの図である。
【図４】コンピュータモニタ上でビューされる１．２５倍で表示された実際の乳ガン試料のマクロイメージの図である。
【図５】４０倍の倍率で表示された、病理学者によって選択された当該の領域を示す図４のグリッド部の図である。
【図６】光学センサアレイからのスキャンされたイメージをメモリ内のコンピュータビットマップにマップし、ユーザのモニタ上のディスプレイにマップするステップのブロック図である。
【図７ａ】は乳ガン試料のデータ構造に含まれるデータファイルを示すWindows95ファイルマネージャの下で観察されるようなファイルリストを示す図である。
【図７ｂ】はデータ構造を制御するＪａｖａアプレットのファイルリストである。
【図８】は乳ガン試料の代替データ構造に含まれるデータファイルを示すWindows95ファイルマネージャの下で観察されるようなファイルリストを示す図である。
【図９Ａ】本発明を実現する装置のブロック図である。
【図９Ｂ】本発明を実現する装置のブロック図である。
【図１０】顕微鏡の機械的構成の詳細を示す図９に示した装置の一部のブロック図である。
【図１１】装置の動作に関する流れ図である。
【図１２】図１１中の１つのステップの詳細の流れ図である。
【図１３】ディスプレイスクリーン上で処理すべき制御パラメータを示すディスプレイスクリーンを示す図である。
【図１４】領域アウトラインルーチンのフローチャートである。
【図１５】スキャン分析ルーチンのフローチャートである。
【図１６】イメージタイルに対する顕微鏡ステージの移動の制限の概略図である。
【図１６Ａ】顕微鏡ステージと、ステップモータと、モータの閉ループ駆動を行うエンコーダの斜視図である。
【図１７】複数のワークステーションが顕微鏡にアクセスし、顕微鏡をローカルに各ワークステーションで操作することを可能にするネットワーク化システムのブロック図である。
【図１７Ａ】図１０に関して記載されたシステムの図である。
【図１８】診断イメージおよびデータ、すなわち、ＨＴＴＰベースのサーバを通して直接、あるいはパケットネットワーグを介してバーチャル顕微鏡スライドを配信し、かつそのようなスライドにアクセスするリモートネットワーク化システムのブロック図である。
【技術分野】
【０００１】
本出願は、１９９７年３月３日に出願された米国特許出願第０８／８０５８５６号の一部継続出願であり、ここに、その番号を付して本明細書の一部とする。
【０００２】
本発明は、顕微鏡スライドのような支持体上の試料からタイル化デジタルイメージを獲得して構築し、ローカルロケーションまたはリモートロケーションにいる他のユーザがビュー（view）するため、このイメージを転送する方法および装置に関する。
【背景技術】
【０００３】
米国特許第４７４１０３１号に開示されている組織切片からのＤＮＡの画像分析と定量化、特に、Ｂａｃｕｓに発行された米国特許第５０８６４７６号、５２０２９３１号，５２５２４８７号に開示されている種類の細胞分析システムについての免疫組織化学分析では、まず、低い倍率で分析対象のガン領域の位置を突き止め、次に高い倍率で分析を実行する時にその領域を覚えておかなければならないという問題があった。高解像度／高倍率で比較的平坦な平面内にある対象を撮像し、ディジタル式に記録するニーズや要求がある。
【０００４】
上記出願に記載された発明は、比較的平坦なプレーン（plane）内のオブジェクトを、高解像度／高倍率で、イメージングしデジタル記録するという要求および要件を満たしている。今日、例えば、顕微鏡のスライド上の試料のイメージ区域全体を、必須の解像度でカバーできる程度の大きさの光学イメージセンサを作成することは実際的ではない。というのは、拡大された対象の視野の大きさと、その結果得られるイメージが、レンズサイズおよび解像度／倍率という課題により制限されるからである。顕微鏡を通して観るということは望遠鏡を通して観ることと似ていて、人間が１．２５倍のような低倍率で非常に狭い視野を見るようなものである。病理学者は、顕微鏡を使用している最中に、スライドをスキャンして全体のビューを想像したり、試料の構造についてヒントを得たりすることがよくあり、病理学者はこの試料の診察上重要な細片の全体的な位置を忘れないものである。通常、これらは疾患部分、例えば、試料の中でも、悪性部分か、悪性である可能性のある部分である。これらの疑わしい部分について、より高い解像度とより高い倍率を得るためには、病理学者はより高い倍率の対物レンズに切り換えるが、そうすると、視野がさらに狭くなってしまう。病理学者が良く行うことであるが、低倍率の視野の広い対物レンズと高倍率の狭い視野を切り換えて行ったり来たりして、試料に対して自分自身をなじませ、試料の疑わしい領域の詳細で高解像度のビューを獲得している。したがって、ユーザは試料や試料の一部の拡大され圧縮された全体的なビューを得ることはできず、低倍率で獲得された一連のビューを覚えておかなければならない。同様に、高解像度と高倍率では、ユーザは隣接するイメージの集まりを受け取ったり見たりすることはできず、これらの連続したイメージを頭の中で関係付けしなければならない。
【０００５】
病理学者はthe Internetやイントラネットを通じて、試料から取られた単一の視野の拡大画像を、自分のブラウザ上で受け取ることになるため、同様の問題がthe Internetやイントラネット上にも存在する。病理学者には、高解像度のビューと低解像度のビューをコーディネートするための説明を提供する必要がある。
【０００６】
病理学者にとって利用可能なビューの数は非常に限られており、他のビューを選択することも、自分が最も関心のある領域の近くにあるビューへスクロールすることもできない。
【０００７】
上記従来の出願により開示された方法および装置によれば、低倍率で全体的にデジタル化された試料全体のイメージビューか、スライド上の試料の選択された部分、例えば、ある組織の基礎層を人間が構築することができる。全体的な低倍率のデジタル化画像から、ユーザは、現在、自分が見ているもののどこに位置しているかと、次にどこを観察する必要があるかを理解することができる。すなわち、低解像度の全体ビューは、全体的にカラー表示され、経験豊富なユーザにスライドの視覚的な全体ビューまたはサムネイルビューを与え、ビューされている試料イメージ上のある位置に発現する悪性腫瘍およびその他の疾患についての当該の領域を示す。この低解像度の全体的なビューは、ユーザが、高倍率でビューする必要のある当該点をこのビュー上で選択することを可能にする。
【０００８】
この全体ビューは、顕微鏡走査システムによって試料の多数の低倍率イメージを得て、次いで、これらのそれぞれのより小さなビューまたはイメージ（以下、イメージタイルという）を、試料の１つの一貫した低倍率マクロイメージとして組み合わせ調和させることによって構築されていた。ローカルスクリーン上に表示させるか、あるいは、低帯域幅チャネルまたは高帯域幅チャネルを介してリモートビューイングスクリーンに転送させるため、このデジタル化マクロイメージはソフトウェアシステムによって、より小さなサイズに縮小される。
【０００９】
上記の従来の出願は、マクロイメージの多数のイメージタイル、例えば、３５個のイメージタイルを組み合わせ、次いで、やはりユーザがビューすることになるより高い倍率の一連の他のタイルを得るにはどうすべきかを教示している。この目的を達成するために、定義された当該の領域を選択し、かつ簡単なコマンドによって、選択されたより高い倍率のデジタル化イメージを、ユーザによりビューするためのスクリーン上に表示させるため、カーソルのようなマーカがユーザに用意されている。より高い倍率のイメージは、１０倍、２０倍、４０倍のような幾つかの倍率または解像度のうちの１つでよい。
【００１０】
上記出願に開示されたように、病理学者のようなユーザが高解像度ミクロイメージと低解像度マクロイメージを高速に切り換えるか、あるいは分割された別々のスクリーンを生提供することができるのが好ましい。このようにすることにより、病理学者に全体的なマクロビューが示され、病理学者に現在のより高倍率のビューがどこに位置しているかを示すマーカが示される。倍率が複数あるため、ユーザは中間対物レンズどうしを切り換える場合のように中間倍率に切り換えることができる。これによって、顕微鏡内の対物レンズどうしを切り換えること、すなわち、大部分の病理学者が慣れ親しみかつ訓練されている手順に対応するビューが病理学者に与えられる。
【００１１】
さらに、上記出願は、病理学者が、完全なタイルビューをビューすることのみに制限されず、隣接する近傍のタイルイメージから隣接するイメージマテリアルをビューすることができるように、ユーザがスクリーン上の拡大イメージに隣接するディスプレイスクリーンに移動することを可能にするスクロール機能もユーザに与える。
【００１２】
上記特許出願には、ＬＡＮ（local area network）またはthe Internetを介し様々なサーバおよびコンピュータを通して低倍率イメージを伝送することが開示されている。伝送されるタイル化イメージは完全コンピュータ制御顕微鏡を使用することによって得られ、このような顕微鏡は、試料全体をデジタル化し記憶しなくても済むように、ユーザが、基礎領域など当該の試料領域に沿って移動するか、あるいは試料全体に広がる他の疑わしいポイントへ移動し、選択された領域のタイル化イメージを得ることを可能にしている。上記出願中の好ましい実施形態で開示されたように、再構築されたマクロイメージタイルをビューするために、病理学者によってリモートロケーションから、the Internetブラウザリモコン式自動顕微鏡を使用することができ、病理学者がイントラネットブラウザまたはthe Internetブラウザを使用して顕微鏡を操作することによって、必要に応じてより高い倍率で単一イメージを得ることができる。何人かのユーザが、特定の病理学者によって得られthe Internetを介して伝送された特定のデジタル化イメージを見て、何人かのユーザが、記憶されているイメージをビューすることができるが、依然として、デジタル化イメージをビューする各ユーザによる顕微鏡の操作に対する制御の問題と、タイル化方法を使用してより倍率の高い大きなイメージ領域を得て伝送することに関する問題があった。
【００１３】
既に詳しく述べたように、顕微鏡で得られたディジタル画像の現在のアーカイブの状態としては、写真やビデオテープによって保持することが多い。写真はビデオテープと同じように、特にユーザが様々なイメージの間を素早く行ったり来たりしたい時や、試料のイメージの様々な隣り合った部分をスクロールしたい時には使いにくい。さらに現在のアーカイブ方法では試料の全体的なマクロイメージは得られず、このイメージによってユーザが高解像度のイメージを分析をしている時に特定の高解像度のビューを得た元の場所を正確に知ることがない。
【００１４】
ディジタル化されたイメージを磁気的にストアしたり、様々な記録媒体上にディジタル化して記録できる一方で、現在のアーカイブシステムでは、ユーザが高倍率のイメージと低倍率のイメージの間を切り換えることや、あるいは様々な倍率の様々なイメージの間を、病理学者が顕微鏡の対物レンズをリアルタイムで切り換えて試料の上の同じ位置からマクロイメージとミクロイメージを得られるように切り換えることはできない。これまで、病理学の現場では顕微鏡の使用が比較的限られており、特定の試料を検査するために顕微鏡を使用する必要のある病理学者に限られていた。
【００１５】
相談相手の病理学者を含む１人以上の病理学者が同じ領域を同時に見て、診断あるいは分析の際に互いにやりとりができるダイナミックなシステムへのニーズがある。また、試料からのイメージをストアでき、病理学者が後日、時間のある時にイントラネットやInternetのブラウザを使用してそのイメージが置かれた特定のウェブサイトにアクセスするだけで簡単にそのイメージを検査できるようなら、最も望ましいであろう。
【発明の開示】
【発明が解決しようとする課題】
【００１６】
当然のことであるが、イントラネットユーザまたはthe Internetユーザが、いくつかの隣接する最初の顕微鏡イメージの有用な低解像度マクロイメージおよび高解像度ミクロイメージをそれぞれのモニタ上で観ることを可能にするために多数の問題を解決する必要がある。最初の問題の１つは、隣接するタイルイメージを組み合わせてこれらのタイルのシームレスな全体的なビューを形成するにはどうすべきかということである。現在までのところ、タイルを組み合わせる試みでは、ソフトウェアを使用してタイル境界でピクセルが組み合わされており、このような試みはほとんど失敗している。他の問題は、スライドを保持する顕微鏡ステージの座標、通常はＸ座標およびＹ座標から始まる座標のマッピングと、それに続く、１つの倍率のためのみのマッピングではなく、典型的には、１．２５倍、１０倍、４０倍、またはそれ以上で得られるそれぞれの複数の解像度イメージに関するマッピングをコーディネートするためのマッピングでもある走査スクリーン上の座標のマッピングの問題である。これらのコーディネートは、１つのマクロイメージの多数のタイル化イメージ、例えば、１つのマクロイメージに対して４０個のタイル化イメージについて維持しなければならない。リモートユーザがこれらのタイルイメージを見て様々な解像度のタイルイメージを切り換えるには、ユーザのコンピュータおよびモニタが、各ピクセルについてのアドレスおよび記憶されたパラメータを受信しなければならないだけでなく、それらをジェネリックビューイングプログラム上でもラン（run）しなければならない。
【００１７】
イメージタイルを得て低帯域幅Internetチャネルを介して送信することに関する他の問題は、サーバ上のストレージ要件、例えば、１２０ＭＢないし１ＧＢと、スライド当たりに得られるデータの量との両方が高くなることである。１２０ＭＢは、基礎層に沿って高解像度でトレースするか、あるいは乳ガンの分散した疑わしいガン発現領域のみを高解像度でトレースする際に、試料全体のイメージタイルを取り出さず、病理学者によって選択された領域のイメージタイルのみを取り出すだけで得られる。病理学者によるこのような選択的な対話によって、イメージ全体を複数の倍率のそれぞれで撮像する場合と比べてかなり少ない量のイメージタイルを用いてマクロデジタル化イメージおよびミクロデジタル化イメージを構築する場合でも、得られるデータ量は、限られた記憶容量を有する通常のｗｅｂブラウザへ狭帯域幅チャネルを介して妥当な時間で伝送するには大きな問題である。粗圧縮技法を使用することができるが、病理学者が試料を診断するために有さなければならない高解像度イメージを与えることを犠牲にしてこのような技法を使用することはできない。
【課題を解決するための手段】
【００１８】
本発明によれば、顕微鏡試料からデジタル走査されたイメージを構築し、デジタル走査されたイメージを顕微鏡なしでビューするのに好都合なタイル化フォーマットで記憶し、かつリモートロケーションの他のユーザがビューできるように複数の倍率のタイル化イメージを転送するための改良された新規の方法および装置が提供される。これは、幾つかの隣接する最初の顕微鏡ビューを第１の倍率で組み合わせて試料の全体的なマクロイメージを得て、幾つかの隣接する最初の顕微鏡ビューをより高い倍率で組み合わせて結合データ構造を作成することによって行われる。ついで、このデータ構造をリモートビューアへ転送し、スライド試料上の領域の複数解像度のマクロイメージおよびミクロイメージをこのビューアに供給することができる。データ構造は、マッピング座標を含む低倍率イメージをデジタルにスキャンしストアし、マッピング座標を含むより高い倍率のイメージを同様にデジタルにスキャンしストアすることによって構築される。さらに、病理学者は、デジタルにスキャンし、ストアされる試料の診断上重要な領域のみを対話的に選択し、高解像度でストアされるイメージピクセルの数を著しく削減することができる。
【００１９】
データ構造をInternetまたはイントラネットを介して伝送し、複数のユーザが、それぞれ、試料のユーザ独自のバーチャルイメージを使用して特定の顕微鏡上で診断することを可能にすることができる。これらのユーザはそれぞれ、種々の解像度のビューを得るために、対物レンズを互いにシフトさせる際と同様にして、種々の解像度のイメージを切り換えることができる。しかし、本発明の好ましい実施形態は、ユーザがより高い解像度のイメージの位置をストアしなくても済むように、より高い解像度のイメージが試料上のどこに位置しているかをリモートユーザに示す全体的なマクロビュー上にマーカを提供する。現在得られる単一の小さな光学ビューとは異なり、各イメージが１つの小さな光学ビューとほぼ等しい一連の互いに当接されたタイル化イメージがリモートユーザに与えられる。
【００２０】
したがって、単一のタイル化イメージと同じ倍率で得られた単一の小さな光学ビューよりも良好で大きなマクロタイル化イメージおよびミクロタイル化イメージがリモートユーザに用意されている。
【００２１】
好ましいデータ構造は、リモートユーザがユーザのブラウザ上でタイル化イメージを処理し解釈することを可能にする汎用表示プログラムも備える。このジェネリックな表示プログラムには、種々のコンピュータ、ブラウザ、およびモニタと共に使用できるそれ自体の表示解釈プログラム（interactive program）が組み込まれる。データ構造は、選択的に圧縮されたデータを使用して、得られる大量のデータ、例えば１２０ＭＢを少量のデータ、例えば１．４ＭＢに削減する。
【００２２】
リモートの病理学者の分析を妨げる解像度を損なわずに、Internetのような低帯域幅チャネルを介して、このようなより小さくより管理可能な量のデータを伝送することができる。さらに、この対話型プログラムは、病理学者がスクロールする可能にし、かつ上記出願および本出願に記載された発明まで病理学者が得ることのできなかった近傍のイメージタイルの近傍のイメージ領域をビューすることを可能にする。
【００２３】
本発明の態様を詳しく参照するとわかるように、顕微鏡スライド上の試料のタイル可能な（すなわち、互いにシームレスに当接させて最初のイメージを種々の倍率で再生することのできる連続イメージ）複数のイメージを獲得することに関する問題は、本発明のシステムによって解消される。このシステムは、顕微鏡およびステージを含み、ステージ上のデジタルロケーションは、電気機械的にアドレス可能な座標系（都合上、Ｘ−Ｙ）に従って予め定められている。ステージ上の各点には、そのロケーションを一意に定義するＸ座標およびＹ座標が割り当てられる。Ｘ方向およびＹ方向のそれぞれのインクリメントは、定義済みの量、例えば、０．１μｍインクリメントに対して確立される。試料イメージの優れた解像度をより高い倍率で達成する上のキーファクタは、イメージセンサおよび所期のディスプレイの各ピクセルについて、ステージ上でより多くの物理的インクリメントを確立することである。例えば、本明細書に記載されたビットマップアドレス指定スクロール可能イメージ法を使用する場合、１．２５倍の倍率では、ステージ上の６４個の点がＣＣＤ光学センサ上の１個のピクセルに対応し、このピクセルは、(ＶＧＡディスプレイ用の)６４０×４８０モニタ上の１個のピクセルに対応する。
【００２４】
一度、顕微鏡ステージに関して座標系を定義し、顕微鏡スライド上の試料をステージ上に配置すると、スライド上の注目フィーチャをそれぞれステージに対して一意に位置付けることができる。ついで、顕微鏡システムを使用してイメージをデジタルにスキャンする。第１のスキャンは比較的低い倍率で行われる。これは、このイメージを使用して試料全体の「マクロ」イメージが獲得されるからである。好ましい実施形態では、１．２５倍の倍率が使用される。ついで、顕微鏡システムは１．２５倍の対物レンズを使用してスライドをスキャンする。イメージがＣＣＤグリッド内の光学センサのような矩形光学センサによって検出されるので、ステージを比較的大きなインクリメントで移動させ、スライドの隣接する物理部分を、この矩形領域がＣＣＤセンサ上に厳密に撮像される領域に厳密に配置しなければならない。
【００２５】
移動する領域は比較的大きいが、ＣＣＤセンサのピクセル解像度内での各イメージ部分の位置合わせを可能にするために、精度は高くなければならない。例えば、１．２５倍の倍率では、ステージ上の試料対象をＣＣＤセンサ上で光学的に撮像するために、新しい連続する領域へ移動させるには、４８１４３個のＸステップおよび３５８００個のＹステップが必要である。この場合、ＣＣＤグリッド内の光学センサによって生成された信号はコンピュータへ伝送され、コンピュータはイメージ信号を一連のタイル化イメージとしてストアする。各イメージフレームが所定のＸ−Ｙ座標によって定義されるので、これらのイメージを容易に、一連の連続するタイル化イメージに変換することができる。
【００２６】
コンピュータは、スキャンされたデジタルイメージをモニタ上に表示するときに、タイル化イメージの全体的なサイズ、例えばこの例では、１０×８に対応するイメージビットマップを予約する方法を使用し、１．２５倍のタイル化イメージを獲得する。この場合、７５２×４８０ピクセルＣＣＤセンサを使用した場合には、サイズが７５２０×３８４０のイメージビットマップが必要である。各イメージタイルについて、各タイル中の各ピクセルについてＸ−Ｙ座標がわかっているので、ビットマップを使用して、ストアされているイメージタイルをコーディネートさせ表示し、スクリーンピクセルとイメージピクセルを１ピクセルずつ対応させてイメージの合体マクロビューを表示することができる。通常、スクリーンピクセルのＸ−Ｙサイズはマクロタイル化イメージよりも小さく(すなわち、ある種のイメージ圧縮なしにモニタ上でイメージ全体をビューすることはできない)、この場合、マクロタイル化イメージはスクリーンの表示可能なウィンドウセグメント上でスクロールされ、１対１の対応が維持される。１対１の対応の利点は、ユーザが顕著なイメージディテイルを使用できることである。さらに、イメージピクセルとのステージ座標関係を介して試料上の物理的Ｘ、Ｙ位置がわかっているので、タイル化マクロイメージを使用して領域を突き止め、より高い倍率のタイル化イメージの集まりからこの領域へステージを移動させることができる。
【００２７】
光学系すなわちレンズの性質として、レンズにより得られるイメージは、イメージの中央領域が鮮明で、イメージの周縁部がファジーなほぼ円形のイメージであるので、顕微鏡システムは、光学イメージの中央にある高解像度イメージ部分のみをスキャンするようにスライド上の種々の位置に段階的に移動するように構成されている。ファジーな周縁領域は破棄される。このことにより、一度、ユーザがモニタ上でビューされるようにタイル化イメージが再構築されると、高解像度イメージが確保されるという利益も有する。
【００２８】
マクロイメージが完成した後、顧問病理学者のような訓練された専門家が、マクロイメージをビューして注目領域を探すことによって、試料のイメージをビューする。一般に、大部分の試料スライドは、診断上重要な少数の小さな領域のみを含む。スライドのバランスにはほとんど意味がない。顧問病理学者がスライドをビューする際、幾つかの領域における、より高い倍率でビューされ分析される注目領域が既にマーク付けされている可能性がある。一度、このような領域がマーク付けされると、顕微鏡は所望の高倍率に設定され、ついでマーク付けされた領域がスキャンされストアされる。あるいはまた、病理学者は、マクロイメージ上に直接、新しい領域を画定することができる。どちらの場合でも、それらの領域は、マウスのようなポインティングデバイスを使って、マクロイメージを表示する表示ウィンドウ上に直接輪郭が描かれる。上記で１．２５倍イメージに関して説明したように、ステージは定義済みの座標系を有するので、スキャンされた高倍率のイメージ部分をマクロイメージに対して容易に突き止め、一連のミクロイメージを作成することができる。
【００２９】
典型的な顕微鏡試料スライドが限られた注目情報しか含まないことと、本発明を実現するシステムの、そのような領域を正確に突き止める能力とによって、システムは、バーチャル顕微鏡スライド、すなわち、実際の試料スライドの代わりに使用できるデータ構造を作成することができる。このため、都合の良いことに、複数のユーザが特定の試料を診断することができる。また、データ構造のサイズが削減されるので、データ構造をパーソナルコンピュータ上でローカルにビューし、イントラネットを介して伝送するか、あるいはInternetを介してグローバルに伝送することができる。作成されたデータ構造は、種々の記憶装置または記録媒体、例えば、サーバのハードディスク、Ｊａｚｚドライブ、ＣＤ−ＲＯＭ等上にストアすることができる。さらに、データ構造をポータブル記憶媒体上にストアすると、複数のユーザによって顕微鏡スライドデータ構造を転送しアーカイブすることができる。
【００３０】
本発明の他の特徴は自己実行型データ構造である。これは、アクティブな動的制御プログラムを用いてタイル化イメージをパッケージングすることによって得られる。一般的なｗｅｂブラウザのような表示プログラムによってアクティブな動的制御プログラムが使用されると、ブラウザはこの動的制御プログラムを解釈することができる。この場合、ユーザは対話を行い、記録媒体からのイメージであってビューアによりスクリーン上でビューされるイメージを制御することができる。具体的には、本発明の好ましい実施形態では、多数の低倍率デジタル化タイル化イメージがデータ構造中に形成され組み込まれ、リンク情報が、これらのタイル化イメージを表示中に適切にタイル化してマクロイメージを形成することを可能にし、一連のより高倍率のタイル化イメージも同様にミクロイメージとして構築され、ＪＡＶＡアプレットのような制御プログラムが生成され、リモートユーザが使用できるようにマクロタイル化イメージおよびミクロタイル化イメージと共に転送される。したがって、例えば、アクティブ制御プログラムを含むマクロタイル化イメージおよびミクロタイル化イメージをInternetまたはイントラネットを介してブラウザか、イメージを表示する他のアプリケーションプログラムへ伝送することができ、ついで、ユーザがブラウザにアクセスし、複数の解像度で、ユーザの前のマクロビューを用いてイメージを分析することができる。これによって、光学顕微鏡を使用する場合と同様にイメージをビューすることができるが、この場合、視覚的には、ビューは複数の解像度のバーチャル顕微鏡スライドのビューである。
【００３１】
また、本発明によれば、構築されたタイル化マクロイメージおよびタイル化ミクロイメージを制御プログラムとともに、ｗｅｂサーバ上に配置することができ、これらのイメージにＷＡＮ（wide area network）を介してローカルにアクセスし、場合によっては、種々の時間に、複数のユーザによってグローバルにアクセスすることができる。例えば、３００個の試料スライドなど、多数の既にスキャンされストアされた試料スライドのそれぞれのミクロタイル化イメージおよびマクロタイル化イメージを、サーバ上に配置することができる。ついで、医学部または病理学部の学生は、それぞれ、スライドまたは全ての３００個のスライドにアクセスし、都合の良いときに、それぞれのｗｅｂブラウザ上で調べることができる。同様に、病理学者はダイヤルアップを行うか、あるいはその他の方法でInternetサービスプロバイダを介してInternetまたはその他のロングレベルネットワークに接続し、ｗｅｂサーバにアクセスし、特定の患者の試料結果を得ることができる。このような結果は（マクロタイル化イメージおよびミクロタイル化イメージを制御解釈プログラムとともに含む）データ構造としてストアされている。ついで、病理学者は、顕微鏡や特定のスライドを有する必要も、あるいはそのようなスライドを制御する必要もなしに、家庭または事務所で分析を行うことができる。病理学者は、ミクロイメージとマクロイメージを切り換え、ついで、ストアされているこれらのイメージから自分の分析、結果、または診断を指示するか、あるいはその他の方法で準備する。これによって、都合の良いことには、病理学者は都合に応じて家庭または事務所で自分の仕事の一部を行うことができ、研究所は、リモートロケーションでの顕微鏡検査のために、スライドを出荷する必要はなく、損傷を受ける恐れのない安全なロケーションに、実際の試料スライドを維持することができる。
【００３２】
制御プログラムは、本発明の好ましい実施形態では、ＪＡＶＡアプレットのような動的自己実行型プログラムであり、ユーザがブラウザ上にいる間にイメージを処理し解釈するのを可能にする。この動的自己実行型プログラムは、独自のディスプレイと、ブラウザのユーザによるオペレーションのための解釈プログラムとを有する完全な自己独立型（self-contained）プログラムである。タイル化デジタル化イメージおよびアクティブ制御プログラムを、ＣＤ−ＲＯＭまたはその他のポータブル記憶媒体上にストアし、メールを介すか、あるいはその他の方法でユーザへ転送し、ユーザの都合の良いときに、専用ビューアを用いて調べることができるので、本発明は、ブラウザ上での使用に制限されない。
したがって、前述のことから、種々のマクロイメージおよびミクロイメージの表示および解釈を可能にするアクティブ制御プログラムとともに、顕微鏡スライド情報を記憶媒体上にアーカイブするための改良された新規の方法および装置が提供されることがわかる。
本発明の他の重要な態様によれば、自己実行型データ構造(ストアされているマクロイメージおよびミクロイメージ、ならびにストアされているイメージを表示し、再構築し、処理する自己実行型プログラム)、および表示されたイメージをスクロールする能力が提供される。このため、ユーザは、あるイメージタイルを特定の倍率でビューすることができるだけでなく、ポインタまたはその他の方法を使用して点を移動させ、以前はビューすることのできなかった隣接する近傍のイメージタイルの表示イメージを、ユーザが見ているビューに含めることもできる。すなわち、ユーザは、ビューイングロケーションをタイル境界を横切って、あるタイルから別のタイルへ、上下左右に、あるいは他の注目点へ、通常の二次元スクローリング方法でシフトすることができる。したがって、ユーザには、アーカイブされストアされたスライドが複数の倍率で表示され、このスライドを、任意選択された方向へ容易にスクロールすることができる。上記出願と同様に、ユーザは、対話によって、選択された種々の領域に移動し、ポインタまたはマーカを操作して特定の注目領域を表示する高い倍率を選択し、また、注目近傍領域をスクロールすることもできる。
【００３３】
Internetブラウザだけでなく、例えばＪＡＶＡアプレットやACTIVE-Xアプレットのような動的自己実行型プログラムを使用して、データイメージを表示し、再構築し、処理することができる。データ構造上のデータイメージとリンクされた動的自己実行型プログラムを使用することの利点は、ユーザのコンピュータのＯＳ（operating system）とは独立にデータイメージを表示し、再構築し、処理することができることである。また、動的自己実行型プログラムの最新バージョンは、既に、データ構造または記憶媒体上のデータイメージとリンクされ、このデータイメージとともに供給されているので、ユーザが最新バージョンを得る必要はない。したがって、ユーザは、常に、種々のプログラムバージョンにかかわらずデータイメージをビューすることができる。
【００３４】
この動的自己実行型プログラムは、通常の機械式光学顕微鏡ビューにおいて対物レンズを変更することの視覚的効果をシミュレートするイメージ全体の交換を可能にする。したがって、ユーザは、容易に、ある倍率から他の倍率に切り換え、イメージの各部をスクロールし、顕微鏡レンズ下でスライドを移動させることによってイメージのトレースをシミュレートすることができる。
【００３５】
この動的自己実行型プログラムは、ウィンドウ内のイメージのスクロールを可能にし、再構築された大きなビューイメージの表示を可能にする。ユーザは、マウスまたは他のポインティングデバイスを使用して大きなビューイメージ上のイメージの一部を選択することができ、プログラムは、選択された部分を他のウィンドウに所望の倍率で表示する。
【００３６】
イメージタイルを使用して顕微鏡スライド上の試料のデジタルイメージのレコードを構築する方法は、ほぼ全ての試料が得られるようにイメージを第１の低倍率でスキャンすることを含む。ついで、試料の選択された（あるいは全ての）部分のイメージが得られるように、試料が第２の高倍率でスキャンされる。第１の低倍率のイメージと第２の高倍率のイメージとの空間関係を使用して、表示中にイメージが再構築される。スキャンされたメージの個々の部分またはタイルは、動的自己実行型プログラムによって組み合わされ、タイル化なしで個々に得られるイメージビューよりもかなり大きなデジタルイメージ領域が作成される。
【００３７】
本発明によるデータ構造は、まず所望の試料を複数のイメージ倍率でデジタルにスキャンすることによって作成される。ついで、スキャンされたイメージが一連の連続するイメージタイルにストアされる。ついで、記憶イメージを動的自己実行型プログラムとリンクする。ソフトウェアプログラムを使用してデータ構造を作成することができる。イメージは好ましくは、まずビットマップファイル（．ｂｍｐ）としてストアされる。(結果として得られたイメージファイルをビットマップフォーマットでストアすることは、本明細書に記載されたイメージファイルを作成するビットマップ方法とは異なる。)イメージ圧縮プログラムを使用してビットマップフアイルをＪＰＥＧ（．ｊｐｇ）フォーマットに変換する。この場合、必要な記憶空間が小さくなり、したがって、コンピュータ上の表示する必要のある時間が短くなる。データ構造を作成する人は、どれだけのディテイルを変換に含めるかを選択することができる。ＪＰＥＧイメージは、例えば、最初のイメージの２０％から８０％の圧縮比を使用して作成することができる。ＪＰＥＧフォーマットの利点は、ほぼ空のタイル（ほぼ白または黒の空間を有するタイル）が非常に小さなファイルに圧縮されることである。しかし、詳細なファイルはそれほど圧縮されない。また、この動的自己実行型プログラムは、イメージ全体またはその各部を表示ウィンドウに表示する圧縮アルゴリズムを含むことができる。
【００３８】
データ構造を記憶媒体上にダウンロードするかインストールした後、ユーザは、データイメージをビューする必要があるときに、マウスを使用して、自己実行型データ構造用のアイコンを「クリック」する。この動的自己実行型プログラムはイメージをウィンドウ内に表示する。典型的には、この動的自己実行型プログラムは、試料イメージ全体のマクロビューまたはサムネイルビューをより低い倍率で表示するとともに、特定のイメージタイルまたは一群のタイルを含むより小さなウィンドウをより高い倍率で表示する。この動的自己実行型プログラムは、ユーザがマウスまたは他のポインティングデバイスを使用して点を選択するか、あるいはサムネイルビュー上のある領域を示すことを可能にする。ついで、選択されたビューがより小さなウィンドウに第２の倍率で表示される。ユーザはマウスまたはポインティングデバイスを移動させることができ、より小さなウィンドウ内のイメージは、サムネイルビュー上の選択に応じてスクロールする。このようにして、この動的自己実行型プログラムは、機械式顕微鏡のビューの下で顕微鏡スライドの移動をシミュレートする。しかし、ＣＣＤピクセルとスクリーンピクセルが１対１で対応するため、モニタ上に全てのマクロイメージを表示できるわけではないことに留意されたい。ユーザは、マクロイメージをスクロールするか、あるいは圧縮機能を選択してマクロイメージ全体をウィンドウ内の表示することができる。
【００３９】
自己実行型データ構造の他の特徴は、ディスプレイスクリーン上にイメージが表示されたときに、ユーザがイメージタイルまたはイメージの一部を選択するか、あるいは選択された各倍率でイメージのこの部分をビューすることができることである。例えば、１．２５倍、２０倍、および４０倍の倍率でデータをスキャンした場合、ユーザは「クリック」によって同じタイルをこれらの倍率のそれぞれで代わるがわるビューすることができる。
【発明を実施するための最良の形態】
【００４０】
図１は本発明に係るシステムを示すブロック図である。これは、バーチャル顕微鏡スライド、すなわち、相互に関係付けをしたデータ構造を作成し、このデータ構造をイントラネットまたはInternetを介して伝送するシステムの例である。
【００４１】
また、図１は顕微鏡スライド上の試料のイメージを複数の解像度で表示する表示手順を示す。このシステムには、顕微鏡が含まれており、この顕微鏡は顕微鏡スライドを支持するデジタルプラットフォームを有する。デジタルプラットフォームまたはステージ１１は、試料イメージの各部を高精度に位置合わせするため、多数のインクリメント(increment)を含むように特別に較正してある。顕微鏡セットアップでは、ステージ１１を較正し初期位置合わせ（registration）をした後、スキャン試料を有する顕微鏡スライドまたはその他のサブストレートが、ステージ１１上に配置される。
【００４２】
本発明に係るバーチャル顕微鏡スライド試料の例として、乳ガン試料を作成する例を説明する。本発明によってデータ構造を作成する第１のステップでは、試料全体（または、マクロイメージとしてストアする必要のある試料の部分）のマクロイメージを確立する。このマクロイメージか、大区域のサムネイルイメージを作成する目的は、ビュアーが一度に試料全体をビューすることができることにあり、また、高倍率でビューするため、イメージ全体を使用して当該イメージ上の有意な部分を選択することができるようにすることにある。この例では、当該ユーザが乳ガンスライド全体を表示するために選択した倍率は、１．２５倍である。一度、ステージ１１上に試料１３ａが配置されると、回転光学アセンブリ１５が回転され、１．２５倍の倍率に対応するレンズ１７が選択される。
【００４３】
従来の特許出願の教示によれば、コンピュータ制御顕微鏡が移動され、試料１３ａのイメージ全体がスキャンされる。このフォーカシングシステムはビュー周辺のファジーな領域をストアするのを避けるため、ビューの中央部の高解像度領域のみを検出／選択するインクリメントをステッピングするようにプログラムされている。この例では、マクロイメージは、図１ａに示すように、１０×８アレイ、すなわち、合計で８０個の連続するイメージタイルとしてストアされることになる。
【００４４】
典型的な顕微鏡スライドは約７７ｍｍ×２５ｍｍであり、ラベルを含まない使用可能な領域は約５７ｍｍ×２５ｍｍである。これら８０個のイメージセグメントは、それぞれ、サイズが約４．８ｍｍ×３．５ｍｍである。このことは、８０個のイメージセグメントがそれぞれ別々にスキャンされ、別々のイメージタイルとしてストアされることを意味する。
【００４５】
この顕微鏡システムの精度は、モータの各ステップの精度が０．１μ（μｍ）になるようにセットアップされる。この例では、顕微鏡は、８０個の各イメージ区域について、１．２５倍の倍率で、Ｘ方向に４８，１４３ステップだけ移動し、Ｙ方向に３５，８００ステップだけ移動するようにセットアップされている。
【００４６】
高倍率では、スキャンイメージ区域はかなり小さく、したがって、スキャンイメージ区域のサイズに応じて、ステップ数は少なくなる。これら８０個のイメージ領域は、それぞれ、ビューの中央部分の高解像度領域のみが顕微鏡レンズにより検出されることになる。
ついで、所望のイメージ区域の光学イメージが、光学アレイセンサ１９（好ましくは、ＣＣＤセンサアレイ）によって検出される。この例では、これら８０個のスキャンされた区域が、それぞれ、この光学アレイ全体で検知され、このアレイは７５２ピクセル×４８０ピクセルを含む。この光学アレイセンサは、検出されたイメージを表す電気信号を顕微鏡制御コンピュータ３２へ送信する。コンピュータ３２はスキャンされたイメージをストアする。このスキャンされたイメージには、顕微鏡スライドの８０個の個々の区域に対して、左上Ｘ−Ｙステージ座標が含まれる。８０個のスキャンされたイメージ区域のピクセル位置は、それぞれ、ビットマップファイル（すなわち、当該区域内の各ビットの位置のマップを含むファイル）にストアされる。このビットマップファイルはイメージ区域上の個々のイメージのレイアウトに対応している。したがって、コンピュータメモリのビットマップファイル（図６）中の一意の位置が、図１Ａの領域Ａ、すなわち、一番上の行の左から７番目の領域から取り出されるイメージタイルの全ピクセルに個別に割り当てられる。この取り出されたイメージタイルの全ピクセルは、図１Ｂに示すように、データ構造イメージタイルファイルにもストアされる。
【００４７】
これらストアされたデータイメージタイルは、それぞれ、拡張子.bmpを有する標準イメージファイルであって、１ＭＢのオーダである。すなわち、７５２×４８０個のピクセルが３byteの赤、緑、青のイメージデータとしてストアされる(７５２×４８０×３２＝１，０８２，８８０byte)。各イメージタイルの位置はビットマップによって分かるので、当該完全な顕微鏡イメージは、各イメージタイルのグリッド位置に従って、各イメージタイルをペイント（表示）することによって再生することができる。このことは留意されたい。
【００４８】
得られたイメージを表示するため、コンピュータ３２はディスプレイスクリーンの相対的なサイズに応じて、表示される適正な部分を各イメージタイルから計算する。ストアされたイメージデータは、通常、典型的なモニタのサイズよりも大きいので、ビュアーはイメージデータ全体をビューするときは、ウィンドウ上でイメージをスクロールしなければならない。しかし、イメージ全体を圧縮してビューイングウィンドウにするのに、任意選択の圧縮アルゴリズムを使用することができる。Ｘ−Ｙ座標情報は、イメージタイルを再構築して試料の完全なイメージとするため、ビューイング処理プログラムによって使用される。得られたイメージは、もし、１つのビュー内で試料全体をビュー可能な単一のレンズが、光学技術によって構築されたとしたら、その単一のレンズにより得られるイメージより大きく、その解像度は良い。この例では、８０個のイメージタイルはそれぞれデジタル解像度が７５２×４８０ピクセルであり、対応する光学解像度は４０倍での約０．２μから１．２５倍での約６．４μまでである。
【００４９】
マクロイメージまたはサムネイルがデジタルにスキャンされ、そのＸ−Ｙ座標情報ととにストアされた後、ユーザにより、マクロイメージまたは最初の試料に有意のディテイルがあるかどうかが調べられる。通常、高倍率でビューされる領域はユーザによりマーキングペンでハイライトされる。ついで、ユーザにより、光学系１５の倍率が所望の高倍率に変更され、スキャンシステムが移動され、選択された領域がビューされる。そして、コンピュータ３２は選択された領域に対して、スキャンしイメージタイルを作成するプロセスを繰り返すが、そのプロセスは、スキャンされ選択された領域を突き止めるため、高倍率でかつ新しいグリッドシステムを用いて行われる。
【００５０】
この例では、ユーザは、高倍率で第２のビューを行うために、図１ａの領域Ｂを選択した。ユーザは、例えば、４０倍の倍率を選択する。コンピュータ３２は選択された領域を４０倍の倍率でカバーするためのタイルの数を計算し、第２のグリッドをセットアップする。
【００５１】
ここでは、図１ａの領域Ｂが図１ａ中のより大きなタイルのうちの幾つかと交差することに留意されたい。この計器の精度が極端に良い精度、すなわち、０．
１μであるため、選択されたこのような領域を高解像度で突き止めることは容易である。既に指摘したが、コンピュータ３２はイメージ部分のサイズ、この例では、例えば、Ｘ＝１５００ステッブインクリメントと、Ｙ＝１２００ステップインクリメントを計算する。４０倍解像度での各イメージ部分は、７５２×４８０ピクセルの光学センサアレイによって検出される。コンピュータ３２が、ユーザからの要求に応じて、領域Ｂの位置または２００個の個々のイメージタイルのうちのどれかの位置を容易に想起できるように、得られた各データファイルはメモリの高倍率マップエリアに別々にストアされる。
【００５２】
一度、ユーザが、イメージタイル中のデジタルイメージを選択し、このイメージをコンピュータ制御顕微鏡システムにスキャンさせストアさせることを完了すると、コンピュータ３２は、マップされた.bmpファイルをその座標情報とともにストアし、図１のスライドイメージデータ構造３１を作成する。スライドイメージデータ構造には、両方の倍率での全てのビットマップイメージタイルファイル（同様に、必要に応じて他の倍率で追加イメージをストアできることに留意されたい）が含まれ、同様に、種々のイメージタイルのロケーションに関する情報が含まれている。
【００５３】
図７ａはWindows 95ファイルマネージャの下で観察されるようなファイルリスティングであって、乳ガンに対するデータ構造に含まれるデータファイルを示すファイルリスティングである。このファイルリスティングには、FinalScan.iniおよびSlideScan.iniが含まれており、同様に、６０個のビットマップデータファイルが含まれている。SlideScan.iniは全てのオリジナルのビットマップ（.bmp）ファイルのリスティングである。これらビットマップファイルは例えば１．２５倍の倍率でスキャンされる個々のイメージタイルを表す。SlideScan.iniは次の表１で明らかにしてあり、各イメージタイルファイルに対するＸ−Ｙ座標を記載してある。乳ガンに対するデータ構造が制御プログラムによりビューされると、その制御プログラムは全てのイメージタイルを連続的に表示するため、Ｘ−Ｙ座標を使用する。
【００５４】
【表１】
【００５５】
【表１Ａ】
【００５６】
【表２】
【００５７】
【表２Ａ】
【００５８】
【表２Ｂ】
【００５９】
【表２Ｃ】
【００６０】
コンピュータ３２は自己実行型データ構造を作成するため、スキャンされたイメージファイルを使用することもできる。.bmpイメージを圧縮して.jpgにし、しかも、ユーザによるイメージタイルのビュー、再構築、処理が可能な動的自己実行型プログラムを追加することによって、ユーザはこのデータ構造をオリジナルの試料のバーチャル顕微鏡スライドとして使用することができる。この動的自己実行型プログラムは図７ｂに示すようなJavaアプレットであるのが好ましい。
【００６１】
コンピュータ３２はスライドイメージデータ構造３１を、直接か、あるいは、イントラネットブラウザ３３を介して、ローカルビュアー３４に供給することができ、あるいは、Internetサーバ３８を経由させることができる。図１に示すように、スライドイメージデータ構造３７はInternetサーバ３８から直接アクセスすることができる。あるいはまた、ユーザはスライドイメージデータ構造を自分のコンピュータ３９にダウンロードし、Internetブラウザ４３を使用し、再構築されたイメージをビューすることができる。あるいはまた、コンピュータ３２はＣＤ−ＲＯＭか、jazzドライブか、その他の記憶媒体上に、スライドイメージデータ構造をストアすることもできる。
【００６２】
スライドイメージデータ構造３１または３７をビューするため、例えば、ＣＤ−ＲＯＭによりデータ構造を獲得したユーザは、まず、このＣＤ−ＲＯＭを自分のコンピュータのＣＤ−ＲＯＭドライブにインストールする。ついで、ユーザは、このＣＤ−ＲＯＭ上にイメージタイルとともにインストールされたJavaアプレットをリード(read)することができるブラウザまたはその他のアプリケーションプログラムをオープンする。ここで、個別のブラウザプログラムが不要なことに注意されたい。このＣＤ−ＲＯＭが、イメージタイルを表示し再構築し処理する完全なアプリケーションプログラムを含むことができる例もある。この例では、ユーザがスライドイメージデータ構造に関するアイコンリスティングまたはファイルリスティングを選択し、制御プログラムがデータファイルを表示することになる。
【００６３】
図２は本発明を具現化したシステムのスクリーンを示す。このスクリーンには、顕微鏡スライド上の試料の低倍率イメージ２４が１つのウィンドウ内に示してあり、低倍率イメージのうちの領域マーカ３０によって選択された部分の高倍率イメージ２６が示してあり、制御ウィンドウ２８が示してある。図３は本発明を具現化した装置のディスプレイスクリーンのビューである。このディスプレイスクリーンには、制御ウィンドウ２８が示してあり、低倍率ウィンドウ２４内に描写された複数の高倍率ミクロイメージ領域３１０を有する低倍率ウィンドウ２４が示してあり、１つ以上のミクロイメージ領域３１０、３１４、３１６を含む高倍率ウィンドウ２６が示してある。図４は実際の乳ガン試料のマクロイメージであって、コンピュータモニタ上で観察される１．２５倍で表示された図である。図５は図４のグリッド部分のビューであって、病理学者によって選択された領域を４０倍の倍率で表示した図である。
【００６４】
ここで、図１ａ中の領域Ａが約４．８ｍｍ×３．５ｍｍであったことを想起されたい。この領域は、７５２×４８０ピクセルの検出データ、すなわち、３６０，９３０ピクセルの情報を生成する。各ピクセルは、各位置に関する情報と、この領域が検出したイメージとを、コンピュータへ送る。コンピュータはこの情報を一連のデータファイルにストアする(通常は、.bmpフォーマットであるが、.tifまたは.gifを使用することもできる)。したがって、６４０×４８０で動作するコンピュータモニタ上で、それよりも幾倍も多くのピクセルの検出データを使用できることがわかる。イメージ全体をビューする場合、ユーザはイメージタイルをスクロールしなければならない。しかし、スクロールはタイルごとにタイル上で行う必要はない。スクロールはユーザがモニタ上のピクセルを指し示すことによって行なわれる。
【００６５】
図６は制御プログラムが、どのように、ストアされているイメージタイルを突き止めスクロールするかを示すブロック図である。図１ａの例を使用すると、完全なデータ構造が作成された。ユーザが（顕微鏡スライドの）データ構造を自分のパーソナルコンピュータにロードするか、あるいはInternetブラウザからビューするとき、この制御プログラムはストアされているデータのビットマップを再作成する。図６には、スライド全体のビットマップを示してある。イメージタイルＡもハイライトしてある。このビットマップによれば、ユーザはスライド上の位置を指し示すか、あるいはその他の方法で参照することができる。
【００６６】
このデータ構造に指定されたＸ−Ｙ座標情報によれば、特定のイメージタイルと、イメージタイル中の特定のピクセルとのＸ−Ｙ変換を行なうことができる。
【００６７】
この制御プログラムが最初にイメージをロードしたときは、このロードされたイメージファイルが非常に大きいため、ユーザのモニタ上のアクティブウィンドウには、利用可能な少数のタイルしか表示されない。ユーザは自分のマウスまたはポインティングデバイスを使用してアクティブウィンドウをスクロールし、マクロイメージ全体をビューする。マウスによって選択されたＸ−Ｙ座標情報は、特定のイメージタイルまたはその一部に変換される。コンピュータはマウスポインタ情報を取り出し、ストアされている一連のタイルイメージからイメージデータを検索し、ユーザがビューできるようにモニタ上に表示する。
【００６８】
大量のＣＣＤピクセル情報がストアされているので、表示ウィンドウで実際のピクセル情報を再作成することができる。システム全体はループでオペレートし、この場合、ユーザがマウス位置を入力し、コンピュータがこのマウス位置をスクリーン座標（スクリーンピクセル）からビットマップ上のＸ−Ｙ座標に変換する。
【００６９】
同様に、ユーザは高倍率データイメージを選択することができる。このデータイメージは、ストアされている領域を示す黒いグリッドで示してある。ユーザは、前述と同様にしてマウスをオペレートする。この制御プログラムは、ストアされているＸ−Ｙ座標を突き止め、当該イメージの選択された部分をＣＣＤ記憶ピクセルごとに取り出す。
【００７０】
既に説明したように、記憶空間を節約するため、コンピュータ３２は各イメージタイルファイルに対してデータ圧縮を行うことができる。好ましいデータ圧縮はＪＰＥＧであって、ＪＰＥＧは大部分のInternetブラウザプログラムによって容易に転送され認識されている。ＪＰＥＧによれば、圧縮されるデータの量を２０％から８０％まで幅を持たせることもできる。図８はWindows 95ファイルマネージャの下で観察されるであろうファイルリスティングであって、代替データ構造に含まれたデータファイルを示す。このデータ構造では、乳ガン試料に関するデータファイルが圧縮されるか、あるいはＪＰＥＧ（.jpg）フォーマットに変換されている。ファイルindex.html（表３に示す）は、これらのデータファイルに関するＸ−Ｙ座標情報を含むリスティングである。これは、イメージタイルをマクロイメージおよびミクロイメージとしてビューし、再構築し、処理するために、動的自己実行型プログラムによりリードされる情報である。
【００７１】
【表３】
【００７２】
【表３Ａ】
【００７３】
【表３Ｂ】
【００７４】
【表３Ｃ】
【００７５】
【表３Ｄ】
【００７６】
【表３Ｅ】
【００７７】
図面、特に、図９Ａ、図９Ｂ、図１０を説明する。これらの図には、低倍率顕微鏡イメージと高倍率顕微鏡イメージを合成する装置が示してあり、この装置には、参照番号１０が付してある。本システムには、デュアルPentium Proパーソナルコンピュータであるコンピュータ１２が含まれており、このコンピュータ１２は、Zeiss Axioplan 2顕微鏡１６と関係付けをしたHitachi HV-C20ビデオカメラ１４と組み合わせてある。カメラ１４はＬＵＤＬコード化された電動ステージ２０上に位置された顕微鏡スライド１６を有する顕微鏡１６から光をキャプチャし、このカメラ１４からの信号を、コンピュータシステム１２が受信するできるようになっている。このコード化された電動ステージ２０には、コンピュータ１２に応答してこのステージを制御するＭＡＣ２０００ステージコントローラが含まれている。顕微鏡スライド１８には、顕微鏡によってビューされる生体試料２１が含まれ、この生体試料のイメージは、低倍率と、ユーザによって選択された高倍率との両方の倍率でデジタル化される。この低倍率でデジタル化されたイメージには、解像度が１６００×１２００の２１インチIIyamaビデオディスプレイモニタ２２上に表示され、例えば１．２５倍の低倍率イメージ２４と、例えば４０倍の高倍率イメージ２６を含む図１ないし図３に示す種類のディスプレイスクリーンと、制御ウィンドウまたはイメージ２８とが含まれている。この低倍率イメージによれば、高倍率のスクリーンまたはウィンドウ２６内に高倍率で再生される領域３０が、この低倍率イメージ内で識別される可能性があったかもしれない。低倍率イメージ内で領域識別が行われると、病理学者またはシステムの他のオペレータは、当該構造領域を低倍率イメージ２４で検討し、同時に、当該構造領域を高倍率のスクリーンまたはウィンドウ２６内に高倍率で表示し、構造的特徴（architectual feature）の一部を形成する細胞が、ガンのようなものであるかどうかをさらに検査する必要があるかどうかを判定することができる。
【００７８】
コンピュータ１０はＰＣＩシステムバス４０の周りに構築され、ＰＣＩシステムバスに接続された第１のPentium Proマイクロプロセッサ４２と第２のPentium Proマイクロプロセッサ４４を有する。システムバス４０には、ＰＣＩバス５０およびＩＳＡバス５２が接続してある。ＰＣＩバス５０には、情報をハードディスク６２との間で送受信するためにＳＣＳＩコントローラ６０が接続してある。ハードディスク６２は高容量リムーバブルディスクおよびＣＤ−ＲＯＭドライブ６６とデージーチェーンＳＣＳＩで結合してある。ハードディスク６２にストアされているプログラムは、顕微鏡１６を制御し、イメージを処理するとともに、スライド１８上でビューされている組織試料の選択された部分の定量分析を行うように、システムをオペレートするためのものである。システムバス４０には、ＲＡＭ７０と、ＲＯＭ７２とが接続してある。ＲＡＭ７０には、実行されているプログラムの一部がストアしてある。ＲＯＭ７２はブートストラップローダを保持するためのものであり、同様に、ＢＩＯＳ（basic input/output operationg system）の一部を保持するためのものである。フロッピィディスクコントローラ７４がシステムバス４０に結合してあり、フロッピィディスクドライブ７６に接続してある。フロッピィディスクコントローラ７４は必要に応じてフロッピィディスクから情報を読み取り、フロッピィディスクに情報を書き込むものである。マウスコントローラ８０がシステムバス４０に結合してあり、マウスを有する。このマウスは、スクリーン２２上並びにウィンドウ２４、２６、および２８内で、処理を制御するポインティングデバイスとしてオペレートする。キーボードコントローラ９０がシステムバス４０に接続してあり、キーボードコントローラ９０にはキーボード９２が接続してある。キーボード９２は、コンピュータの他の部分との間で、英数字信号を送受信するために、使用することができる。
【００７９】
オーディオコントローラ１００には、オーディオ入出力用に複数のスピーカ１０２および１つのマイクロフォン１０４が接続してあり、オーディオコントローラ１００はシステムバス４０に接続してある。ネットワークインタフェースカード１０５のようなネットワークインタフェースがシステムバス４０に接続してあり、このネットワークインタフェースは、システムを接続できるネットワークか、Internetの他の部分にチャネル１０６を介して信号を供給することができる。同様に、ＩＳＡバス５２に接続されたモデム１１０を介して、本システムから信号を送信することができ、本システムからの信号を、チャネル１１２を介して、例えばInternetへ信号を送信することができる。プリンタ１１６がパラレルＩ／Ｏコントローラ１１８を介してシステムバスに接続してある。これは、スクリーンおよびその他の情報が生成されたときに、必要に応じて、この情報をプリントアウトするためである。シリアルＩ／Ｏコントローラ１２２がシステムバス４０に接続してあり、シリアルＩ／Ｏコントローラ１２２に、カメラ内のＣＣＤセンサ１２６に結合されているカメラコントローラ１２４が接続してある。ＣＣＤセンサ１２６は、スライド１８上で見出されたものを表すピクセル信号またはイメージ信号を、Epix pixciイメージ獲得コントローラ１３０に供給する。Epix pixciイメージ獲得コントローラ１３０はＰＣＩバス５０に結合してある。
【００８０】
顕微鏡１６には、ベース１４０が含まれていて、このベース１４０にステージ２０が支持されており、同様に、顕微鏡１６には、複数の対物レンズ１４４、１４６、および１４８を有する対物レンズタレット１４２が含まれている。例えば、対物レンズ１４４は１．２５倍対物レンズでよい。対物レンズ１４６は２０倍対物レンズでよい。対物レンズ１４８は４０倍対物レンズでよい。カメラセンサおよびコントローラからの信号は、バス１２８を介してイメージ獲得システムに供給され、イメージ獲得システムによりデジタル化され、ＰＣＩバスに供給され、ＲＡＭにストアされるか、あるいはハードディスク６２にバックアップされる。
【００８１】
スライド１８上に試料があるとき、コンピュータの制御の下、シリアルＩ／Ｏコントローラ１２２に結合されたステージコントローラ１６０によりステージ２０を処理することができる。同様に、顕微鏡コントローラ１６２は顕微鏡のアスペクト(aspect)、例えば、ランプ１６８の照度、色温度、スペクトル出力を制御する。例えば、通常のオペレーションでは、スライド上に試料が配置されると、図１１に示すように、ステップ２００で、ステージ２０上に試料スライド１８が配置され、ステップ２０２で、プロセッサ４２または４４がシステムバスを介してコマンドを発行して、シリアルＩ／Ｏコントローラ１２２によって顕微鏡コントローラをシグナリングさせ、倍率を１．２５倍に変更させる。この倍率変更は、Axioplan 2顕微鏡の対物レンズタレットを回転させ、対物レンズ１４４を選択することにより行われる。同様に、顕微鏡コントローラは、ランプ１６８の色温度を設定し、一対の中性灰色フィルタホィール１７０および１７２をセットし、正しい照度が得られるようにフィールドダイヤフラム１７４を設定する。コンデンサダイヤフラム１７６も制御され、カメラ内のＣＣＤセンサ１２６に適切なフィルタカラーを供給するように、カラーフィルタホィール１８０を制御することもできる。ついで、ステップ２０４で、当該スライド全体がスキャンされる。イメージがタイル化され、それぞれ結合され全体的なイメージ２４とされ、このイメージがスクリーン２２上に供給され、ステップ２０６で、当該のスライドの関連領域の視覚的に検査できるマクロイメージが、オペレータに表示される。
【００８２】
拡大イメージを供給するために、マウスを移動させて、マーカセグメントまたはマーカ領域を識別することができる。このマーカセグメントまたは領域は、例えば、矩形の領域とすることができる。このマウス移動により、ステップ２０８と同様に、タレットを回転させ、適切な対物レンズシステムをビューイングポジションに運ぶので、顕微鏡の倍率を４倍、２０倍、４０倍等に変更させることになる。
【００８３】
次に、ユーザは、ステップ２０９ａで、マウスを使用して、マクロイメージ上の領域を選択し、スクリーン２２上でビューされるミクロイメージを選択する。
【００８４】
ユーザが検査の継続を命令したかどうかを判定するために、ステップ２０９ｂで、試験が行われ、ユーザが試験の継続を命令している場合には、ステップ２０９ｃで、試験が行われ、選択される対物レンズを変更することによって倍率を変更するかどうかが判定される。倍率を変更する場合、制御がステップ２０８に移行する。倍率を変更しない場合は、制御はステップ２０９ａに移行する。検査を継続しない場合は、ステップ２０９ｄで、選択された領域がより高い倍率でスキャンできるようにアウトライン（outline)させる。ステップ２０９ｅで、スクリーン２６に表示するため、より高い倍率のイメージをスキャンするか、あるいは獲得するためのコマンドを受け取ることができる。ついで、そのイメージを後で分析するためにアーカイブするか、表示するか、あるいは、直ちに分析することもできる。
【００８５】
ステップ２０８で要求された倍率をパフォームするため、顕微鏡の全体的な照明および制御が制御されることになり、その結果、ステップ２１０で、スライド１８上により高い倍率の対物レンズが位置されるように、対物レンズタレット１４２が回転される。選択された対物レンズに対して予め定めた適切な照度および色温度が与えられるようにランプ１６８を調整するため、ステップ２１２で、ランプの印加電圧が変更されることになる。選択された対物レンズに適正な照度を与えるため、ステップ２１４で、コンデンサダイヤフラム１７６は必要に応じて適正に選択された開口を有することになる。ステップ２１６で、フィルタタレット１８０はカメラセンサに供給される適正な光波長フィルタを選択する。特に、試料が汚れている場合は、必要に応じて、例えば、赤フィルタ、青フィルタ、または緑フィルタが選択される。ステップ２１８で、フィールドダイヤフラム１７４は開口を変更させることになる。ステップ２２０で、中性灰色フィルタホィール１７０により中性灰色フィルタが選択され、ステップ２２２で、中性灰色フィルタホィール１７２により中性灰色フィルタも選択される。ステップ２２４で、Ｘオフセット、Ｙオフセット、およびＺオフセットを使用して、記録されているイメージがこの倍率で再構築され、ステップ２２６で、精度が０．１０μのステージ内のエンコーダから現在位置がリードされる。
【００８６】
選択された領域を識別するために、図１４に示すステップ２４０におけるポインティングオペレーションにより、マウスがこの領域に移動される。選択された領域の周りにボックスを描画するように、マウスを移動させることができる。ステップ２４２で、選択された領域のエッジに対して、Ｘスクリーン点およびＹスクリーン点が計算され、顕微鏡のステージを制御するために、計算されたイメージ点またはピクセル点がステージ座標点に変換される。ステップ２４４で、当該対物レンズに対してステージを位置決めするため、全てのＸフィールドのリストがＲＡＭにストアされ、ハードディスク上にバックアップさせることができる。
【００８７】
対物レンズに対するＸオフセットと、ステージオフセットとからの情報が使用され、同様に、スライドを対物レンズの下方に適正に位置決めしてミクロイメージをキャプチャするため、フィールドのサイズが使用される。
【００８８】
当該スライドが適正に位置決めされると、図１５に示すように、ステップ２５０で、ステージ座標値中のＸ座標値およびＹ座標値のそれぞれについて、ステージが位置決めされ、デジタル化されたイメージがカメラによってキャプチャされ、ＲＡＭにストアされ、ハードディスク上にバックアップされる。ついで、上記米国特許出願に記載されたような種々の方法で、定量的にイメージを分析することができる。任意選択であるが、ステップ２５４で、当該イメージをアーカイブのためにストアすることができる。
【００８９】
図１２に示すような特定の制御機能をオーバライド（override）するため、図１３に示すようなスクリーンが用意されている。このスクリーンで、Ｘ−Ｙステップサイズを編集することができ、Ｘ、Ｙ、およびＺオフセットを編集することができ、ランプ電圧を選択することができ、中性灰色フィルタを選択するとともにフィールドダイヤフラムの開口および他の幾かの顕微鏡機能を選択することができる。図１３はAxioplan 2、すなわち、コンピュータ制御顕微鏡の顕微鏡対物レンズのセッティングを示す図である。
【００９０】
ＸおよびＹの位置決めは、具体的には、図１６に示すように行われる。図１６には、スライド１８がスライド境界２７０、２７２、２７４、および２７６とともに示してある。ステージの行程を制限するためのステージ境界により、ステージは左上隅部２７８から右下隅部２８０まで移動できる。左上隅部２７８では、移動終了位置に到達したことを示す信号が出力され、ついで、ステージがＸ方向の短い距離２８２およびＹ方向の短い距離２８４に変換され、左上隅部の基準点２９０を基準として第１のタイル２８８が画定される。マクロイメージタイル２８８のサイズが分かっているので、ステージを適正に移動させることにより、しかも、イメージ処理を行なわずに、カウンタに入れたステージ位置から、ステージの位置を測定することによって、次のマクロイメージタイル２９２を第１のタイル２８８に連続するように配置することができる。イメージタイル２８８とイメージタイル２９２は、実質的に重ね合せずに互いに当接させることも、あるいは１ピクセルだけ重なり合うようにわずかに重ね合わせることもできる。１ピクセルの重なり合いは、互いに当接されたイメージタイルの互いに隣接するエッジのぼやけとして無視することができる。タイル２９２の左上隅部３００はタイル２９２の残りの部分を画定し、同様にして、他のタイルも画定することができる。ミクロイメージタイルはコンポジットイメージに干渉しないように、連続するがほとんど重なり合わないように画定することができる。従って、次のような問題を避けることができる。すなわち、イメージどうしを一致させるか、あるいは、イメージどうしを隣接させても、連続するイメージタイルのエッジがぼやけないようにするため、１つのフレームストレージか、複数のフレームストレージのデジタルイメージに対して拡張された計算を行なわなければならないとした場合に遭遇する問題を避けることができる。当然のことであるが、低倍率イメージ２４は低倍率イメージ２４内に複数のミクロイメージが画定され、これらのミクロイメージがタイル化され、個々のタイル３１２、３１４、３１６等としてより高い倍率で示されている。その上、ウィンドウ２６に示すように、拡大された領域３１０は、ウィンドウ２６の境界を越える可能性があり、したがって、ウィンドウ２６には、スクロールバーまたは他の手段であって、ウィンドウ２６よりも大きなイメージ３１０をウィンドウ２６内から調べることができるものを含めることができる。
【００９１】
ステージ２００は図１６Ａに最も良く示されているが、ステージ２００には、Ｘステッパモータ２７９およびＹステッパモータ２８２が含まれている。Ｘステッパモータ２７９およびＹステッパモータ２８２は、それぞれ、エンコーダを有し、閉ループシステムが提供されている。このため、閉ループシステムがない場合に、大部分の顕微鏡ステージの精度が、通常、５μまたは６μであるのに対して、この閉ループシステムを有するステージ２００は０．１μの精度が得られる。この閉ループシステムとこの非常に高い精度により、イメージをほとんど重ね合せず、しかも、現行の時間のかかる高価なソフトウェアを用いずに、高倍率イメージと低倍率イメージの両方についてタイルイメージどうしを当接させることができ、互いに隣接するイメージタイルの重なり合ったエッジでの重なり合いとぼやけをなくすことができる。厳密に位置決めされたステージを用いるとともに、スライドがスライドの中心点ＣＰに対して厳密に位置決めされ、点２７８の既知の位置が常に同じ点から得られる図１６に関して説明したタイル化システムを使用することによって、タイルを水平方向に厳密に位置決めし、かつ垂直方向に厳密に位置決めして、マクロイメージおよびミクロイメージを再構築することができる。この再構築は、水平方向または垂直方向に重なり合ったイメージタイルや、イメージタイルのでたらめな配向がなくすため、従来技術とは異なり、広範囲なソフトウェア処理を使用せずに行われている。
【００９２】
本発明にも、システムをネットワーク通信機能、例えばネットワークインタフェースを介してイントラネットに結合するか、あるいはモデムまたはその他の適正なコネクションを介してInternetに結合することにより、リモート観測が可能な機能が含まれている。そのため、一度、イメージがスキャンされ、ハードディスクまたは他のストレージにストアされると、リモートユーザは低倍率イメージにアクセスすることができ、同様に、高倍率イメージにアクセスすることができ、両方のイメージ内で移動して、サンプルの組織特性に関する判定を下すことができる。
【００９３】
本システムには、その他の機能として、ネットワーク化された複数のワークステーションが含まれており、ネットワーク化された複数のワークステーションが第１コンピュータコンソール１２に結合してあり、第１コンピュータコンソールはディスプレイスクリーン２２を有し、顕微鏡１４に接続してある。サテライトワークステーション３５０および３５２は、ワークステーション１２と実質的に同一であって、コンピュータ３５４および３５６を個々に含み、コンピュータ３５４および３５６はディスプレイ３５８および３６０に個々に結合してある。これらの装置は入力装置３６０および３６２により処理することができ、入力装置３６０および３６２にはキーボードおよびマウス等を含めることができる。ディスプレイ３７２と、コンピュータ３７４と、入力装置３７６とを有するワークステーション３７０を含むものを、第３の装置として、本システムに接続することもできる。これらの装置は、それぞれ、個別のネットワークライン３８０、３８２、３８４を介して、コンピュータ１２に接続してあり、それらの伝送はネットワークまたはネットワークのようなもののいずれかを介して行なうことができる。物理的に別個のビューイングステーションにいる異なるオペレータは、それぞれ、マクロビューにより、組織断面全体のビューから各領域を突き止めることができ、その後にスキャンおよび／または定量分析を行えるように、これらの領域にラベル付けをすることができる。計器ステーション１２にいる１人のオペレータが、組織断面全体をビューして、各領域を突き止めることができる。これらの領域にラベル付けをすることができる。このラベル付けは、物理的に離れたビューイングステーション、例えば、手術室や個々の病理学者のサインアウト領域で、その後にスキャンおよび／または定量分析を行い、その後に検討するためである。このようにするのは、組織の全体的なマクロビューおよび／またはストアされている個々のイメージ（これらのイメージから定量的な結果が得られる）を保持するとともに検討しながら、分析結果を検討するためである。ビューイングステーション３５０、３５２、および３７０は、デスクトップコンピュータ、ラップトップ、等を備えることができる。ネットワークステーション３５０、３５２、および３７０には、顕微鏡は必要でない。
【００９４】
他の代替実施形態では、リモートワークステーション４００、４０２、４０４、４０６、および４０８を、パケット交換網を介して供給することのできるサーバ４１０を介して、接続することができる。サーバ４１０としては、World Wide Webに使用されている種類のＨＴＴＰ（hypertext transport protocol）ベースのサーバか、あるいは、以前Internetリモートオペレーション・アプリケーションで使用されているtelnet型サーバでもよい。サーバ４１０は通信チャネル４１４を介してローカルコンピュータ４１６と通信している。ローカルコンピュータ４１６はディスプレイ４１８が関係付けしてある。ローカルコンピュータ４１６は顕微鏡４２０に接続してある。リモートワークステーション４００、４０２、４０４、４０６、および４０８は、それぞれ、ステーション３５０、３５２、および３７０と同じオペレーションをパフォームすることができる。ただし、リモートワークステーションはこのオペレーションを近傍のビルディングからか、あるいは、世界中からでさえもパフォームする。したがって、入手され顕微鏡４２０下で観察されている試料を、他人が利用する点において、融通性がさらに増大する。その上、ストアされているイメージをさらに分析し検討するために、ストアされているイメージをサーバ４１０を介してリモートサーバ４００ないし４０８へ配信することができる。
【００９５】
以上、本発明の特定の実施形態を例示し説明したが、当業者は、当然、多数の変更および修正を行なうことができる。しかし、これらの変更および修正は、請求の範囲においても、本発明の真の精神および範囲内を逸脱しないものとする。
【図面の簡単な説明】
【００９６】
【図１】顕微鏡スライド上の試料のイメージのデータ構造を作成し、イントラネットまたはInternetを介してローカルに伝送する、本発明によるシステムのブロック図である。
【図１ａ】８０個のタイル化イメージとしてスキャンされるように任意に割り当てられた顕微鏡スライドを表す図である。
【図１ｂ】タイル化される選択されたイメージ領域を検出した後の、ＣＣＤ光学アレイ内の個々のピクセルセンサの検出信号と、検出信号を記述した情報を含む参照データファイルとを表す図である。
【図２】１つのウィンドウ内の顕微鏡スライド上の試料の低倍率イメージと、低倍率イメージの、領域マーカによって選択された部分の高倍率イメージと、制御ウィンドウとを示す、本発明を実現するシステムのスクリーン図である。
【図３】制御ウィンドウと、内部に示された複数の高倍率ミクロイメージ領域を有する低倍率ウィンドウと、１つまたは複数のミクロイメージ領域を含む高倍率ウィンドウとを示す、本発明を実現する装置のディスプレイスクリーンの図である。
【図４】コンピュータモニタ上でビューされる１．２５倍で表示された実際の乳ガン試料のマクロイメージの図である。
【図５】４０倍の倍率で表示された、病理学者によって選択された当該の領域を示す図４のグリッド部の図である。
【図６】光学センサアレイからのスキャンされたイメージをメモリ内のコンピュータビットマップにマップし、ユーザのモニタ上のディスプレイにマップするステップのブロック図である。
【図７ａ】は乳ガン試料のデータ構造に含まれるデータファイルを示すWindows95ファイルマネージャの下で観察されるようなファイルリストを示す図である。
【図７ｂ】はデータ構造を制御するＪａｖａアプレットのファイルリストである。
【図８】は乳ガン試料の代替データ構造に含まれるデータファイルを示すWindows95ファイルマネージャの下で観察されるようなファイルリストを示す図である。
【図９Ａ】本発明を実現する装置のブロック図である。
【図９Ｂ】本発明を実現する装置のブロック図である。
【図１０】顕微鏡の機械的構成の詳細を示す図９に示した装置の一部のブロック図である。
【図１１】装置の動作に関する流れ図である。
【図１２】図１１中の１つのステップの詳細の流れ図である。
【図１３】ディスプレイスクリーン上で処理すべき制御パラメータを示すディスプレイスクリーンを示す図である。
【図１４】領域アウトラインルーチンのフローチャートである。
【図１５】スキャン分析ルーチンのフローチャートである。
【図１６】イメージタイルに対する顕微鏡ステージの移動の制限の概略図である。
【図１６Ａ】顕微鏡ステージと、ステップモータと、モータの閉ループ駆動を行うエンコーダの斜視図である。
【図１７】複数のワークステーションが顕微鏡にアクセスし、顕微鏡をローカルに各ワークステーションで操作することを可能にするネットワーク化システムのブロック図である。
【図１７Ａ】図１０に関して記載されたシステムの図である。
【図１８】診断イメージおよびデータ、すなわち、ＨＴＴＰベースのサーバを通して直接、あるいはパケットネットワーグを介してバーチャル顕微鏡スライドを配信し、かつそのようなスライドにアクセスするリモートネットワーク化システムのブロック図である。
【特許請求の範囲】
【請求項１】
バーチャル顕微鏡スライドを表すデータ構造を構築する装置であって、
顕微鏡スライド上の試料からイメージをデジタルにスキャンするコンピュータ制御顕微鏡撮像システムと、
前記顕微鏡スライドを支持する顕微鏡ステージであって、前記顕微鏡の対物レンズに対してアドレス可能な座標システムに従って移動可能な顕微鏡ステージと、
デジタルにスキャンし、前記顕微鏡スライド上の試料の一部から得られる第１の一連のデジタル化イメージを格納するプログラムであって、前記プログラムによって、
前記座標システム内で前記顕微鏡ステージを増加的に移動させて、前記増加のそれぞれの段でデジタルイメージを、前記システムの前記アドレス可能な座標と一緒にそれぞれの段で格納し、
前記増加のサイズは、第１の一連の連続するイメージタイルを生成するように選択され、
前記顕微鏡は全体ビューを形成することを可能とする第１の光学倍率であり、
前記プログラムはさらに、デジタルにスキャンし、前記顕微鏡スライド上の前記試料の一部から得られる第２の一連のデジタル化イメージを格納することを提供し、前記プログラムによって、
前記同一の座標システム内で前記顕微鏡ステージを増加的に移動させて、前記増加のそれぞれの段でデジタルイメージを、前記システムの前記アドレス可能な座標と一緒にそれぞれの段で格納し、
前記増加のサイズは、第２の一連の連続するイメージタイルを生成するように選択され、
前記第２のより高い光学倍率で前記顕微鏡を備えており、
前記プログラムはさらに、前記データ構造に前記第１および第２の一連のデジタル化され格納されたイメージと、前記格納されたアドレス可能な座標システムを提供して、前記データ構造のユーザに前記試料からの多様な解像度イメージを提供し、その結果、前記イメージが共に縫い合わされ、より高倍率のイメージ上の点を、より低倍率のイメージ上の同一の点に対して容易に見つけることを可能とするように構成される、プログラムと
を備えることを特徴とする装置。
【請求項２】
デジタルにスキャンされたイメージを大幅に圧縮してインターネットを介して送信可能にするデータ圧縮器をさらに備えることを特徴とする請求項１に記載の装置。
【請求項３】
前記圧縮されたデータをインターネットチャネルを介して遠隔地に送信するための、前記装置と接続するインターネット通信チャネルを備えることを特徴とする請求項２に記載の装置。
【請求項４】
前記データ構造は、前記格納されたイメージを操作し解釈するために専用ビューワ上で使用可能なアクティブ制御プログラムをさらに含むことを特徴とする請求項２に記載の装置。
【請求項５】
隣接するイメージの一部を前記ユーザがビュー内にスクロールすることを可能にするビューワを備えることを特徴とする請求項２に記載の装置。
【請求項６】
多様なビューワが分析および注釈のために同一の領域を特定することを支援するために前記座標を表示するアドレスディスプレイをさらに含むことを特徴とする請求項２に記載の装置。
【請求項７】
動的な自己実行型プログラムを格納するブラウザと、前記データ構造からの前記イメージをビューし、低解像度のマクロイメージと、高解像度のミクロイメージとの間でイメージを切り替えるためのモニタをさらに備えることを特徴とする請求項２に記載の装置。
【請求項８】
前記ビューワは、低解像度マクロイメージ上のアドレス可能な領域をマークして、前記アドレスされた領域が前記モニタ上の高解像度であるミクロイメージに現れるようにするマーカを含むことを特徴とする請求項５に記載の装置。
【請求項９】
前記顕微鏡ステージは、前記顕微鏡撮像システムの単一のピクセル範囲よりも多くのステージ移動の増加を有することを特徴とする請求項１に記載の装置。
【請求項１０】
前記イメージタイルの光学倍率は、少なくとも４０ｘ倍率で約０．２ミクロンであることを特徴とする請求項１に記載の装置。
【請求項１】
バーチャル顕微鏡スライドを表すデータ構造を構築する装置であって、
顕微鏡スライド上の試料からイメージをデジタルにスキャンするコンピュータ制御顕微鏡撮像システムと、
前記顕微鏡スライドを支持する顕微鏡ステージであって、前記顕微鏡の対物レンズに対してアドレス可能な座標システムに従って移動可能な顕微鏡ステージと、
デジタルにスキャンし、前記顕微鏡スライド上の試料の一部から得られる第１の一連のデジタル化イメージを格納するプログラムであって、前記プログラムによって、
前記座標システム内で前記顕微鏡ステージを増加的に移動させて、前記増加のそれぞれの段でデジタルイメージを、前記システムの前記アドレス可能な座標と一緒にそれぞれの段で格納し、
前記増加のサイズは、第１の一連の連続するイメージタイルを生成するように選択され、
前記顕微鏡は全体ビューを形成することを可能とする第１の光学倍率であり、
前記プログラムはさらに、デジタルにスキャンし、前記顕微鏡スライド上の前記試料の一部から得られる第２の一連のデジタル化イメージを格納することを提供し、前記プログラムによって、
前記同一の座標システム内で前記顕微鏡ステージを増加的に移動させて、前記増加のそれぞれの段でデジタルイメージを、前記システムの前記アドレス可能な座標と一緒にそれぞれの段で格納し、
前記増加のサイズは、第２の一連の連続するイメージタイルを生成するように選択され、
前記第２のより高い光学倍率で前記顕微鏡を備えており、
前記プログラムはさらに、前記データ構造に前記第１および第２の一連のデジタル化され格納されたイメージと、前記格納されたアドレス可能な座標システムを提供して、前記データ構造のユーザに前記試料からの多様な解像度イメージを提供し、その結果、前記イメージが共に縫い合わされ、より高倍率のイメージ上の点を、より低倍率のイメージ上の同一の点に対して容易に見つけることを可能とするように構成される、プログラムと
を備えることを特徴とする装置。
【請求項２】
デジタルにスキャンされたイメージを大幅に圧縮してインターネットを介して送信可能にするデータ圧縮器をさらに備えることを特徴とする請求項１に記載の装置。
【請求項３】
前記圧縮されたデータをインターネットチャネルを介して遠隔地に送信するための、前記装置と接続するインターネット通信チャネルを備えることを特徴とする請求項２に記載の装置。
【請求項４】
前記データ構造は、前記格納されたイメージを操作し解釈するために専用ビューワ上で使用可能なアクティブ制御プログラムをさらに含むことを特徴とする請求項２に記載の装置。
【請求項５】
隣接するイメージの一部を前記ユーザがビュー内にスクロールすることを可能にするビューワを備えることを特徴とする請求項２に記載の装置。
【請求項６】
多様なビューワが分析および注釈のために同一の領域を特定することを支援するために前記座標を表示するアドレスディスプレイをさらに含むことを特徴とする請求項２に記載の装置。
【請求項７】
動的な自己実行型プログラムを格納するブラウザと、前記データ構造からの前記イメージをビューし、低解像度のマクロイメージと、高解像度のミクロイメージとの間でイメージを切り替えるためのモニタをさらに備えることを特徴とする請求項２に記載の装置。
【請求項８】
前記ビューワは、低解像度マクロイメージ上のアドレス可能な領域をマークして、前記アドレスされた領域が前記モニタ上の高解像度であるミクロイメージに現れるようにするマーカを含むことを特徴とする請求項５に記載の装置。
【請求項９】
前記顕微鏡ステージは、前記顕微鏡撮像システムの単一のピクセル範囲よりも多くのステージ移動の増加を有することを特徴とする請求項１に記載の装置。
【請求項１０】
前記イメージタイルの光学倍率は、少なくとも４０ｘ倍率で約０．２ミクロンであることを特徴とする請求項１に記載の装置。
【図１】
【図１ａ】
【図１ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７ａ】
【図７ｂ】
【図８】
【図９Ａ】
【図９Ｂ】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１６Ａ】
【図１７】
【図１７Ａ】
【図１８】
【図１ａ】
【図１ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７ａ】
【図７ｂ】
【図８】
【図９Ａ】
【図９Ｂ】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１６Ａ】
【図１７】
【図１７Ａ】
【図１８】
【公開番号】特開２００９−５３７０１（Ｐ２００９−５３７０１Ａ）
【公開日】平成２１年３月１２日（２００９．３．１２）
【国際特許分類】
【出願番号】特願２００８−２３２７１８（Ｐ２００８−２３２７１８）
【出願日】平成２０年９月１０日（２００８．９．１０）
【分割の表示】特願平１０−５３８６４４の分割
【原出願日】平成１０年３月２日（１９９８．３．２）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡ
２．ＷＩＮＤＯＷＳ
３．ＰＥＮＴＩＵＭ
【出願人】（５０３２２２４７７）バクス ラボラトリーズ インコーポレイテッド (7)
【Ｆターム（参考）】
【公開日】平成２１年３月１２日（２００９．３．１２）
【国際特許分類】
【出願日】平成２０年９月１０日（２００８．９．１０）
【分割の表示】特願平１０−５３８６４４の分割
【原出願日】平成１０年３月２日（１９９８．３．２）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡ
２．ＷＩＮＤＯＷＳ
３．ＰＥＮＴＩＵＭ
【出願人】（５０３２２２４７７）バクス ラボラトリーズ インコーポレイテッド (7)
【Ｆターム（参考）】
[ Back to top ]