三次元仮想スライドを可視化するためのシステム及び方法
【課題】3D仮想顕微鏡スライド画像から3D画像化対象を検索、操作、閲覧するためのシステムと方法を提供する。
【解決手段】画像ライブラリモジュールは、3D仮想スライドの画像データへのアクセスを提供して、3D仮想スライドまたはその3Dサブ部分で同一空間に広がる3D画像化対象を作成する。3D画像化対象内から、3D仮想スライドのさまざまな奥行に及んでいるクロス層平面表示は、3D角柱および他の成形された像領域と同様に生成する。画像ライブラリモジュールは、3D画像化対象を水平および垂直表示にスライスすることができ、ユーザによる表示のためにクロス層表示、標準および不規則形の3D画像領域を歪曲することができる。
【解決手段】画像ライブラリモジュールは、3D仮想スライドの画像データへのアクセスを提供して、3D仮想スライドまたはその3Dサブ部分で同一空間に広がる3D画像化対象を作成する。3D画像化対象内から、3D仮想スライドのさまざまな奥行に及んでいるクロス層平面表示は、3D角柱および他の成形された像領域と同様に生成する。画像ライブラリモジュールは、3D画像化対象を水平および垂直表示にスライスすることができ、ユーザによる表示のためにクロス層表示、標準および不規則形の3D画像領域を歪曲することができる。
【発明の詳細な説明】
【技術分野】
【0001】
本願は2005年1月27日に出願の米国暫定特許出願番号第60/647,452号に優先権を主張して、同時係属米国特許出願番号11/140,265に関連があり、それぞれは完全に本願明細書に引用したものとする。
【0002】
本発明は、一般に仮想顕微鏡に関し、特に三次元仮想顕微鏡スライド画像から三次元画像化対象を検索、操作および表示することに関する。
【背景技術】
【0003】
十分な品質の機械的合焦機構を使用する従来の顕微鏡は、観察者によって容易に合焦できる。目/脳と指との間のフィードバックル一プは、非常に高速かつ正確である。しかしながら、フィードバックループの何れかの部分が損なわれた場合、完全な焦点を得るプロセスは極めて困難で時間が掛かり、不正確にもなる。これらの障害は、低い光学的品質、不十分な、若しくは不適当な照明、合焦機構の不正確さから、若しくは操作者の低い視力からも発生することがある。
【0004】
最近では、従来のコンピュータにより実行される顕微鏡システムは、何年にも渡って顕微鏡スライドの高解像度画像に遠隔からアクセスする能力を提供している。このような画像を生成する能力のあるデバイスは、大きく分けて、(1)遠隔操作式(又は、ロボット式)顕微鏡、及び、(2)試料の幾分か又は全ての何らかのタイプの電子画像又は写真画像を生成する撮像装置の2つのカテゴリーに分類される。各タイプは、その優位点及び欠点を有し、その多くは特定の用途に固有である。
【0005】
従来の画像システムは、試料全体を中程度の倍率又は高い倍率で捕捉するのに足る大きさの画像を生成する能力を有する。これらの画像は、仮想顕微鏡スライド又は仮想スライドと呼ばれる。仮想スライドのサイズが非常に大きいことにより、仮想スライドは、通常レベルの(「Z平面」)単焦点に限られている。顕微鏡試料の多くの種類は非常に薄く、よって、単一のZ平面仮想スライドで充分である。しかしながら、他のタイプ顕微鏡試料は対物レンズの被写界深度より厚い。
【0006】
結像系の最近の改良は、複数のZ平面を有する仮想スライドを創作する能力を含む。これらの仮想スライド画像は、三次元(「3D」)仮想スライドと呼ばれていて、顕微鏡標本の厚み幅の全体にわたって、複数のフォーカスレベルからイメージデータを含む。
【発明の概要】
【発明が解決しようとする課題】
【0007】
そこで、ユーザによって表示するための三次元画像化対象を三次元仮想スライドの像データから抽出することためのシステムと方法が必要となる。
【0008】
従って、本発明は、システム及び方法を3D仮想顕微鏡スライド画像から3D画像化対象を読み出して、操作して、見るために提供する。
【課題を解決するための手段】
【0009】
イメージライブラリモジュールは、3D仮想スライドのイメージデータのアクセスを提供して、3D仮想スライドで同一の広がりを有する3D画像化対象またはその3Dサブ部分を作成する。3D画像化対象内から、3D仮想スライドのさまざまな奥行にまたがっているクロス層平面表示は、3D角柱および他の成形された像領域と同様に作成される。画像ライブラリモジュールは、3D画像化対象を水平および垂直表示に剪断し、クロス層表示を斜めに向け、標準サイズおよび不規則に3D画像領域を成形して、ユーザに表示する。
【0010】
他の本発明の特徴および効果は、以下の詳細な説明および添付図面を精査した後に、当業者に容易に明らかになる。
【0011】
本発明の構造及び動作の双方に関する詳細な内容は、部分的に、添付図面を検討することによって探ることができる。諸図を通じて、類似の参照番号は類似の部分を指す。
【図面の簡単な説明】
【0012】
【図1】本発明の一実施形態に係る顕微鏡スライドと試料の一例を示すブロック図である。
【図2】本発明の一実施形態に係るZ平面の顕微鏡スライドと試料の一例を示すブロック図である。
【図3A】本発明の一実施形態に係るZ平面の一例を示すブロック図である。
【図3B】本発明の一実施形態に係るブロック化したZ平面の一例を示すブロック図である。
【図4A】本発明の一実施形態に係る層の一例を示すブロック図である。
【図4B】本発明の一実施形態に係るブロック化した層の一例を示すブロック図である。
【図5】本発明の一実施形態に係る画像化対象の一例を示すブロック図である。
【図6】本発明の一実施形態に係る画像化対象の階層の一例を示すブロック図である。
【図7A】本発明の一実施形態に係る画像化対象および平面図の一例を示すブロック図である。
【図7B】本発明の一実施形態に係る画像化対象およびクロス層表示の一例を示すブロック図である。
【図7C】本発明の一実施形態に係る画像化対象および垂直クロス層表示の一例を示すブロック図である。
【図7D】本発明の一実施形態に係る画像化対象およびクロス層角柱の一例を示すブロック図である。
【図8】本発明の一実施形態に係るネットワーク化されたシステムの一例を示すブロック図である。
【図9】本発明の一実施形態に係る、三次元画像化対象から平面表示を生成するための方法の一例を示すフロー図である。
【図10】本発明の一実施形態に係る三次元画像化対象からクロス層表示を生成するための方法の一例を示すフロー図である。
【図11】本発明の一実施形態に係る3D仮想スライドから画像化対象を生成するための方法の一例を示すフロー図である。
【図12】本明細書に記載されている様々な実施形態に関連して使用される一例としてのコンピュータシステムを示すブロック図である。
【発明を実施するための形態】
【0013】
本明細書に開示するような所定の実施形態は、3D仮想顕微鏡のスライド画像から画像化対象を検索、操作、および表示するためのシステム及び方法を提供する。例えば、本願明細書において開示する1つの方法において、3D画像化対象が3D仮想スライドから取得され、3D画像対象は、回転、反転する場合もあり、そして、組織サンプルの全部の3D問合せに関するユーザに提供するために剪断される場合もある。
【0014】
本明細書本文を読めば、当業者には、本発明を様々な代替実施形態及び代替用途に実装する方法が明らかとなるであろう。しかしながら、本明細書では本発明の様々な実施形態を記載するが、これらの実施形態は限定ではなく単なる例示として提示される点が当業者に理解される。従って、様々な代替実施形態のこの詳細な説明は、添付の請求の範囲に記載されている本発明の範囲及び幅を限定するものとして解釈されるべきではない。
【0015】
仮想スライド表示の一実施形態において、イメージライブラリモジュールは、仮想スライド画像化対象に対するアクセスを提供してもよい。イメージライブラリモジュールは、ソフトウェア、ハードウェアまたは2つの若干の組み合わせにおいて実装されるプログラムされたかプログラム可能なオブジェクトでもよい。例えば、イメージライブラリモジュールは、仮想スライドに対するアクセスを簡約することができる。従って、このモジュールを経由して、仮想スライドに対するローカル(ディスクファイルに対するアクセス)または、遠隔(画像サーバマシンに対するアクセス)アクセスの全てを行う。画像サーバは、ディスクファイルにアクセスするために、イメージライブラリモジュールを使用することもできる。仮想スライドは3Dデータを含むことができ、複数の画像平面は一連のZ値で提供される。これらの複数の画像平面は全ての走査組織領域を通じて発生する、または、選択された領域はこのようにして取り込まれる。
【0016】
多断面の捕捉から生じる画像データは、真に3次元である。それは、立方体の画素に分割される三次元立体として理解される場合もある。XまたはYの解像度が双一次または双三次サンプリングによって増加することができると同様に、物理的に取り込まれなかった画像平面は、内挿法を使用して取り込まれた画像平面の間に合成することができる。
【0017】
実施形態において、イメージライブラリモジュールは、「表示」の中心コンセプトを利用する。図は、画像化対象から導き出される二次元の矩形状領域である。画像化対象は、全ての3D仮想スライドまたはその多少の一部でもよい。画像化対象からデータを表示または処理することが求められるソフトウェアは、図としてオブジェクトからデータを検索する。例えば、多様な表示パラメータを確定し、それに応答して検索する画像ライブラリモジュールに提供し、表示を提供する。
【0018】
二次元の画像化対象のために、すべての表示は、画像化対象の平面を有する共平面である。表示は、画像化対象の中のいかなるX,Y位置からも始まることができ、いかなる所望の次元(幅と高さ)も有し、いかなる所望の解像度(「ズームしている」)にも基準化することができる。表示は、原画像と関連して回転することもできる。
【0019】
さらに、三次元画像化対象のために、表示は、二次元状態を維持して、三次元空間によるスライスに相当する。最も単純で可能な事例は、二次元の表示が画像化対象のZ軸と直角をなすということである。この場合、表示は、画像化対象の中のいかなるX,Y位置からも始まり、いかなる所望の次元(幅と高さ)も有し、いかなる所望の解像度(「ズーミング」)にも拡大・縮小される。加えて、表示平面は、Z軸(「焦点調節」)の、いかなる所望の位置にも位置決めしてもよい。
【0020】
表示平面がZ軸と直角をなさない場合、より複雑な事例が発生する。例えば、表示のための任意の位置決め基準点が提供され、完全な3D表示を可能にする場合もある。加えて、直交変換(回転およびフリップ)は、「側面表示」および他の興味深い実現能力を可能にする。Z軸から表示を僅かに傾動する能力は、「視差」効果を提供することができる。注意を要するのは、表示位置決め基準点に関係なく、表示に垂直軸が常にあり、表示平面はこの垂直軸(「焦点調節」は、Z以外の軸に沿って実行される場合もある)に沿っていかなる所望点でも位置決めできることである。三次元画像化対象を補助する、画像ライブラリモジュールは、明確なアプリケーションプログラミングインターフェース(「API」)を提供して、多くの機能および機能性をモジュールを含むアプリケーションまで拡張する。
【0021】
画像は、収集時間に判定される特性値を有し、APIを介して問い合わすことができる。全幅(X)および高さ(Y)は、これらの特性値の一つである。三次元画像化対象は、深さ(Z)も有する。画像が得られるときにこれらが物理次元を有しない場合であっても、整合性のために、深さの単位は画素である。画像化対象の解像度は、画素寸法を物量単位(例えばミクロン)に変換するために、読み出してもよい。画像化対象が前描画される多様な解像度を有してもよい実際的な理由は、種々の電動式対物レンズまたは内挿法による捕捉のどちらでもよいからである。
【0022】
画像ライブラリモジュールは、各物理画像(幅、高さ、基台と関連するズーム)の特性値を問合せることを可能にする。三次元画像化対象は、前描画された(例えば、取り込まれた実際の平面に対応する)複数のZ平面を有してもよい。これらのz平面(幅、高さ、基台と関連するズームおよびZ位置)の特性は、問合せられる場合もある。
【0023】
表示は、画像ライブラリモジュールによって修正することができる特性値を有する。これらの特性値は、XおよびYオフセット、幅、高さを含み、現在の表示解像度と関連して画素において表され、ズームして、浮動小数点尺度値として表される。3D画像化対象の表示は、同様に焦点属性を有し、符号付き浮動小数点値として表される。一実施形態において、焦点のためのゼロ値は、画像化対象の中心であり、焦点値は−1から+1の範囲を有し、負値によって平面クロッサの観察方向を示す。
【0024】
3D画像化対象による二次元表示に加えて、標準および異形を検索することは、例えば3D画像化対象から角柱および多角形を検索することに有用である。これらの形状は、三次元表示である。一実施形態において、角柱は、表示の全ての特性値を有し、加えて、指定された深さを有する。画像化対象と同様に、角柱は、立方体の画素を有するものとして案出され、角柱の位置決め基準点を定める表示軸に向きを定める。
【0025】
用語「深さ」に関係があることを画像に適用した説明は、この接続で有用である。従来の技術用語において、画像は、ピクセル当たりのビット数と呼ばれている特性を有する。これは、時には「色深度」と呼ばれる。色深度は、3D画像の「画像奥行」属性と同様ではない。ピクセル当たりのビット数は、「色深度」より非常に的確な用語である。しかし、両方の用語は、デジタル画像作成のフィールドのワーカーによって、取り換えられて使用される。色深度(ピクセル当たりのビット数)は、記憶された色値の精度を決める。例えば、色仮想スライドに関して、通常、24ビット/ピクセル、すなわち、色チャネルの赤・緑・青の各々の8ビットが記憶される。各画素は、従って、3バイトを必要とする。
【0026】
3Dオブジェクトは、奥行(Z)(側方限界(X、Y)と同様に)を有する。「画像奥行」は、Z方向のピクセル数であって、Z値の全体の変化に相当する。例えば、4OXで10枚のZ平面を調べる場合、各平面は相互に1ミクロンに分離する。これは、1ミクロンにつき約4ピクセルがある理由から、「画像奥行」は約40ピクセルである。もし奥行が40ピクセルでなければ、10枚の平面がある点に注意する。これは、Zサンプリングが各画像平面の横方向の(X、Y)画素サンプリングより粗いからである。
【0027】
3D画像化対象には、Z方向の一つ以上の層が具備されている。各層は奥行(「厚さ」)を有するが、これは、各層が複数の平面で構成されるからである。1つの層が単一の平面の中で構成される場合、それは1つの画素の奥行を有する。各平面は、一つ以上の同一平面上の画像の中で順番に構成されてもよい。
【0028】
画像化対象は、ブロック化してもよい。この場合、ブロックは層の範囲内でXオフセットおよびYオフセットによって識別される。他がそうではない反面、何枚かの層がブロック化することは可能である。層がブロック化される場合、その層の範囲内の全ての平面は同じブロック化オフセットを有する。しかしながら、各層は、他層と同じブロッキングオフセットを有する必要はない。一実施形態において、一つの層の範囲内のブロックの各々は、同じ奥行を有する。
【0029】
画像化対象が画像の全ての3D著作集であって、全ての仮想スライドまたは一部の仮想スライドでもよいことに留意されたい。加えて、単一画像は、画像化対象の一部の1つの層でもよい。別の実施形態では、仮想スライドは、複数画像を含む単一ファイルまたは各々1つの画像を含む一まとまりの個々のファイルでもよい。
【0030】
一実施形態において、ファイルサイズを減らすために、2D仮想スライドを格納するために使用する好適なファイル形式は、圧縮を考慮に入れておく。この圧縮方法は、同様に3D画像化対象に延長することができ、結果としてディスク空間の実質的節減および遠隔表示のパフォーマンスに対応した改善になる。3D圧縮においては、3D画像を記憶する能力であり、また、1つのディスクファイル(例えば、TIFFのようなマルチ画像ディスクファイル形式を使用している)の3D画像の断面でもある。この種の場合、奥行を有する出力ブロックが形成され、ディスクファイルは単一の層を有し、層の各ブロックは奥行を有する。長所として、2Dおよび3D圧縮法は、検索している空間領域と同じ領域の隣接領域のブロックの画像データのだけにアクセスすることで能率的に取り出すことができるようにブロック形圧縮を行う。
【0031】
通常、画像情報にアクセスして表示す場合、「最大限の解像度」は、データが獲得した解像度を意味する。40Xで、Aperio ScanScope(登録商標)のような典型的捕捉装置を使用して、これは、1画素につき約0.25ミクロンまで対応する。表示する場合、解像度を低下させるためにズームすることが役立つ。急速にズームインするのを促進するために、画像化対象のサブサンプルを取ったバージョンを生成して記憶する場合もある。これらのサブサンプルを取った画像は、画像化対象の一部として記憶してもよい。3D画像化対象に対して、各層のサブサンプルを取ってもよい。このように、変更解像度で、仮想スライド画像ファイルは、各層に対しての複数イメージを含んでもよい。
【0032】
周辺での移動を単純化するので、1つのファイルに全ての3D画像化対象を有することは、名称を変更するなどの点で好都合である。それが標準であるので、3D画像化対象に対して標準TIFFファイル形式を使用することも好都合であり、既存のlibtiffモジュールを用いて実装するのが容易であり、非常によく動作する。しかしながら、1つの制限条件は、単一のTIFFファイルを使用することに、4GBのサイズ許容値である。仮想スライドが一般に損失ある圧縮を使用するので、このサイズ許容値は通常、2D画像に対しては問題ないが、3D画像化対象に対しては、著しく大きくなる場合もある。
【0033】
TIFFファイルに対して4GBのサイズ許容値に対処する様々な方法があるのは、当業者に理解される。例えば、TIFF以外のファイル形式が使用される場合、4GBより大きい単一の仮想スライドファイルが作られる場合もある。あるいは、画像化対象は、複数ファイルとして記憶する場合もある。既に使用中の技術に関して旧版互換性を持って作られる場合があり、4GBより大きいファイルには他の固有の問題(例えば、デジタル多用途ディスク(「DVD」)の容量より大きい)があるので、複数ファイル方法は、好適である。
【0034】
図1は、本発明の一実施形態に係る顕微鏡スライド100および試料の一例の平面図を示すブロック図である。図示した実施形態では、スライド110は組織100の標本(本明細書では、試料とも称する)を支持している。組織100は、血液又は他の物質等の任意のタイフの顕微鏡スライド試料であってもよい。
【0035】
顕微鏡スライド上の組織100等の組織標本は平坦であるように見えるが、ミタロン及びサブミクロンの解像度レベルでは、事実上、厚さに相当な量がある。標本の厚さは、0.5ミクロン乃至10ミクロンの範囲で変わる可能性がある。厚い試料に関する医学的に重要な情報をデジタル的に取り込むために、対物レンズは、焦点深度を変更して試料に焦束する。画像平面は各焦点深度で取り込まれ、例えば、10ミクロン厚の試料の領域は、10枚の別々の画像平面を有してもよい。組織100の厚さがスライド110全体に均一性がなくともよいから、画像平面の一組は、試料上の異なる位置から取得していてもよい。試料の厚い領域に対応する個々の画像平面は、「Z平面」と呼ばれている。
【0036】
図2は、本発明の一実施形態に係る顕微鏡スライド110の一例の側面表示、およびZ平面210を有する組織試料100を示すブロック図である。図に示す実施形態では、Z平面210は、10ミクロン厚の試料上の位置で識別される。組織100は比較的同一の厚み幅を有してもよく、またはピークおよび谷を有してもよいことが理解される。図に示す実施形態では、10枚のZ平面210がある。この特定の実施形態では、隣接する10枚のZ平面が各Z平面との間に1ミクロン間隔で取り込まれて、集合的に試料の全ての10ミクロン厚をカバーするように、対物レンズの焦点深度は1ミクロンである。ある代替実施形態では、単一のZ平面の深度は1ミクロンより大きくても小さくてもよく、様々なZ平面が隣接せず隔離されていてもよい。
【0037】
各Z平面画像の横方向(X,Y)寸法は、典型的には、カメラのCCDアレイのサイズ等の捕捉用ハードウェアによって決定される場合もある。実施形態では、CCDアレイの寸法は2048×1536ピクセルであってもよい。Z平面の像はまた、幾つかの視野を組み合わせたものであってもよい。Z平面画像の数および間隔は、設定可能であり、かつ医療用途の標本タイプ及び特性に従って最適化してもよい。一実施形態では、典型的な5乃至10枚の三次元仮想スライドのZ平面画像は、0.25乃至1.0ミクロンの間隔で配置される。
【0038】
図3は、本発明の一実施形態に係る、一例のZ平面120を示すブロック図である。図に示す実施形態では、z平面120は、高さ130および幅140を有する。Z平面120は、仮想スライドの全ての平面領域に及んでもよく、また、一部の仮想スライド画像に及んでもよい。
【0039】
図3は、本発明の一実施形態に係る、一例のブロック化されたZ平面150を示すブロック図である。図に示す実施形態では、各ブロックのブロック化されたZ平面150は、ブロック高さ160およびブロック幅170を有する。一実施形態において、ブロック化されたZ平面150の全てのブロックは、同じブロック高さ160および同じブロック幅170を有する。長所として、ブロック化されたZ平面150の各ブロックは、別に取り込まれた画像でもよく、または、より大きいZ平面から裁断される画像領域でもよく、個々のブロックとして記憶されるか、または個々のブロックとして圧縮される。一実施形態において、ブロックZ平面150の種々ブロックは、単一ファイルに記憶される。
【0040】
図4Aは、本発明の実施形態に係る一例の層180を示すブロック図である。図に示す実施形態では、層180は、層深度190を有する層を設けた、一連の隣接するZ平面を含んでもよい。層180も、高さ(図示せず)および幅(図示せず)を有する。隣接するZ平面の各々は、画像獲得装置によって別に取り込まれてよく、またこの代わりに、隣接するZ平面のいくつかまたは全ては、画像獲得装置によって取り込まれたZ平面画像から内挿されてもよい。
【0041】
図4Bは、本発明の一実施の形態による一例の層200を示したブロック図である。図に示す実施形態では、各ブロックのブロック化された層200は、ブロック奥行210を有する。各ブロックも、ブロック高さ(図示せず)およびブロック幅(図示せず)を有する。一実施形態において、ブロック化された層200の全てのブロックは、同じ高さ、同じブロック幅、同じブロック奥行210を有する。ブロック化された平面と同様に、ブロック化された層200のブロックは、別に取り込まれた隣接する画像の組合せでもよい。これに代わって、ブロックは、より大きい層から裁断される角柱でもよく、個々のブロックとして記憶されるか、または個々のブロックとして圧縮されてもよい。一実施形態において、ブロック化された層200の様々なブロックは、単一ファイルに記憶される。
【0042】
特に、図3A、3B、4Aおよび4Bに関して、様々な平面、ブロック化された平面および層、およびブロック化された層は、単一ファイルに記憶されるかまたは複数ファイルに記憶される画像の物理的属性でもよい。代わりに、様々な平面およびブロック化された平面および層、およびブロック化された層は、単一ファイルに記憶されるかまたは複数ファイルに記憶される画像の論理的特性値でもよい。別な方法ために物理的または論理的に仮想スライドの画像データを配置して記憶することが当業者に理解され、本発明の用途に企図される。
【0043】
図5は、本発明の実施形態に係る一例の画像化対象230を示すブロック図である。図に示す実施形態では、画像化対象230は、幅240、高さ250および奥行260を有する。画像化対象230は、全ての仮想スライドでもよく、一部の仮想スライドでもよい。画像化対象230は隣接する画像データによって充満状態にされてもよく、また、それは様々な平面および隣接しない画像データの層を含んでもよく、従って、それらとの間に空間を規定すればよい。
【0044】
一実施形態において、画像化対象230は、3D仮想スライドに対するX、YおよびZ座標系のその位置によって規定される。X、YおよびZ値は、画像化対象230の第1の角に対して最初のオフセットを設けることができる。結果として生じる画像化対象230の形状およびサイズは、その幅240、高さ250および奥行260の値によって決めてもよい。従って、完全な画像化対象230の画像データは、それから、実際の走査Z平面単独から、または、空間を所要の書入れをする走査Z平面の内挿法と結合して3D仮想スライドから得てもよい。
【0045】
画像化対象230の形状およびサイズを規定するための代替法を利用してもよい。好都合にも、画像化対象230は、球形、または不規則に成形されかつ適切な方程式によって定義されたものとして、当業者によって理解される。例えば、画像化対象230は、組織サンプルまたは多少の他の関心領域の単細胞を有する同一空間に広がってもよく、ユーザにまさに目標とされた領域の3D画像を提供し、次いで、詳細な問合せに応じて回転することができ、剪断されることができる。
【0046】
図6は、本発明の実施形態に係る一例の画像化対象層180を示すブロック図である。図に示す実施形態において、画像化対象230の層180は、Z平面120、ブロック化されたZ平面150、層180およびブロック化された層200を含む。長所として、画像化対象230は、集合的に、画像化対象230の上面によって同一空間に広がる単一の層および画像化対象230の底面を占める一連の隣接するZ平面の完全な隣接する画像データを含んでもよい。
【0047】
代替の実施形態では、画像化対象230(メモリにおいて記憶されるにつれて)は、単一のZ平面を含むだけでもよい。この種の画像化対象230が表示(例えば、画像ライブラリモジュールによって)のために検索される場合、失ったイメージデータは、仮想スライドの画像データの単一平面から内挿される場合もあり、また、画像化対象230の失った画像情報を所要の書入れをするために、適切な仮想スライドの画像データの2つの平面との間に内挿される場合もある。3D仮想スライドのために画像データの不連続Z平面を取り込むことの効果は、単一ファイル仮想スライド画像の結果として生じるサイズが著しく減じているということにある。
【0048】
図7Aは、本発明の一実施形態に係る画像化対象230および平面表示300を示すブロック図である。図に示す実施形態において、画像化対象230は、画像化対象230の中心を通って延びるゼロ焦点270平面を含む3D座標系に、論理上の向きを定めてもよい。一実施形態において、画像化対象230の焦点は−1〜+1の範囲であり、画像撮影の間に平面クロッサを対物レンズに指定している負焦点280値と、画像撮影の間に対物レンズから更なる平面を示している正焦点290値とを有する。例えば、画像化対象230の−1の焦点値が、組織サンプルの上面方向にあり、画像化対象230の+1の焦点値が、組織サンプルの底面方向にある。
【0049】
画像化対象230は、平面表示300を含むことを示す。平面表示300は、画像化対象230と関連してゼロフォーカス値およびオフセット値(X、Y)を有する。一旦、画像化対象が読み出されると、平面表示300のような様々な平面表示はオフセットおよび焦点値(X、YおよびZ)を設けるユーザに表示してもよい。平面表示300は、画像化対象230の高さおよび幅によって同一空間に広がってもよく、または、それは完全にnまたは部分的に内部領域でもよい。
【0050】
図7Bは、本発明の一実施形態に係る、一例の画像化対象230およびクロス層表示320を示すブロック図である。図に示す実施形態では、クロス層表示320は平面であり、画像化対象230を含む水平方向のZ平面(図示せず)に対して歪曲されている。好都合にも、様々な位置決め基準点、回転、フリップ、などは、クロス層表示320として画像化対象230から取得することができる。表示位置決め基準点に関係なく、表示に対して垂直である軸が残る点に注意する。それが複数のZ平面全体に延長するので、図に示す表示はクロス層表示と呼ばれる。
【0051】
一実施形態において、クロス層表示(それは、平面である)を生成するために、適正高さ、幅および焦点値の画像化対象230に隣接する水平方向のZ平面からイメージデータを取得して、クロス層表示320を形成するために結合する。
【0052】
図7Cは、本発明の一実施形態に係る一例の画像化対象230および垂直クロス層表示330を示すブロック図である。図に示す実施形態において、画像化対象230を含むZ平面(図示せず)に対して直角であることを除いては、垂直クロス層表示330は図7Bに記載されている上記クロス層表示と類似している。好都合にも、垂直クロス層表示330のような任意の表示は、最大限の3D表示を使用可能にする、直交変換(回転およびフリップ)、側面表示および他の興味深いゆがみおよび傾斜を含み、例えば視差効果を提供することができる。Z軸と直角をなさない表示平面を有する平面表示を与えることでより複雑になるにもかかわらず、一旦、3D画像化対象が取得されると、いかなる種類の平面表示もユーザが読み出すことができ、表示することができる。
【0053】
図7Dは、本発明の一実施形態に係る一例の画像化対象230およびクロス層角柱340を示すブロック図である。平面表示と同様に、(表示が画像化対象230から導き出される二次元領域であることを取り消す)角柱は、画像化対象230から導き出してもよい。これらの角柱は焦点平面に整列する場合もあり、または、歪曲する場合もある。クロス層角柱340は、歪曲された角柱の一例である。平面表示によって角柱の全ての種類、形状およびサイズを導き出すことができるので、画像化対象230を形成する場合もある。単純な実施形態において、角柱は、立方体でもよい。より複合した実施形態において、角柱は、画像化対象230の中の不規則形の3D領域でもよくて、例えば、特定の関心領域(例えば単細胞またはセル群)を有する同一空間に広がってもよい。加えて、一旦、角柱が識別されて読み出されると、実施形態において、表示は関心領域の全部および詳細な問合せを可能にするために角柱の垂直および水および歪曲された横断面を提供するために角柱から導き出される場合もある。
【0054】
クロス層角柱340のような角柱は、高さ、幅と角柱の二個以上の角または高さによる奥行、ファーストカマー(先着者)の幅および高さの奥行、幅および角柱の奥行によって画像化対象230の中で規定することができる。これに対して、角柱(例えば、表面が不規則であるか曲がっている場合、など)の表面を規定する方程式は、画像化対象230から角柱の画像データを取得するために利用される場合ある。
【0055】
図8は、本発明の実施形態に係る一例のネットワーク化されたシステム350を示すブロック図である。例示した実施形態では、システム350は、画像捕捉デバイス(「IAD:ImageAcquisition Device」)360と、画像データサーバ(「IDS:Image Data Server」)370と、画像可視化ワークステーション(「IVW:Image Viewing Workstation」)380とを備える。これらの装置の各々は、それぞれのデータ記憶領域365、375および385と関連している。
【0056】
IDS370およびIVW380は、本願明細書において記載されている、表示および角柱を取得し、操作し、示すこと関連した機能の多数を実行する画像ライブラリモジュール(「ILM」)390を有し、それぞれ各々任意選択で構成する。ILM390は、プログラムされたオブジェクト、ハードウェア装置またはハードウェアおよびソフトウェアの多少の組合せでもよい。IDS370は、データ記憶領域375のファイルにアクセスするために、ILM390を使用してもよい。ILM390は、一部の機能が存在してIVW380に作用し、かつ、一部の機能が存在してIDS370に作用するように、共に実装してもよい。一実施形態において、3D仮想スライド画像データへの全てのアクセスは、ILM390を経由して行う。
【0057】
3D画像化対象および3D仮想スライドを補助するために、ILM390は、アプリケーションに対してインターフェース(例えば、様々な性能および機能を拡張するAPI)を提供する。ILM390は、アプリケーションまたは、例えばIDS520にホストをつとめる役割を果たすサービスとして組み込むことができるソフトウェア例として、実装してもよい。好ましくは、ILM390の様々な性能および機能は、明確に定義されたAPIにおいてカプセル化して提供する。例えば、画像3D仮想スライド画像は収集時間に決められる特性値を有する、そして、これらの特性値はILM390を介して問い合わせてもよい。
【0058】
装置360、370および380は、ネットワーク395を介して互いに通信して接続される。若しくは、これらのデバイスは互いに直接接続してもよく、別々のネットワークを介して互いに接続してもよい。実施形態では、2つ以上のデバイスが同じ物理的デバイスにモジュール的に統合してもよく、この場合、機能モジュ一ル間の通信はプロセス間通信、共有メモリ、共通ファイル等を介して行ってもよい。
【0059】
lAD360は、顕微鏡スライドから二次元画像を捕捉することのできるハードウェア及びソフトウェアを備える。IAD360は、スライドから画像を、スライド内の任意の位置(X,Y)において、任意の焦点深度(Z)で捕捉してもよい。
【0060】
IAD360は、典型的には、顕微鏡スライド上の試料を病理学者による医学的診断に必要な解像度にまで拡大する光学素子を提供する。最も低い解像度は、典型的には1ピクセル当たり1.0ミクロン(しばしば「10X」と呼ばれる。)であり、最も高い解像度は、1ピクセル当たり0.1ミクロン(「100X」)であってもよい。典型的な解像度は通常、1ピクセル当たり0.5ミクロン(「20X」)又は1ピクセル当たり0,25ミクロン(「40X」)である。光学素子の開口数(「NA」)は、典型的には0.5又は0.75であり、0.5ミクロン乃至1ミクロンの焦点深度をもたらし、それぞれ、1および2ミクロンより厚い組織サンプルの隣接するZ平面を得る。
【0061】
顕微鏡スライド上の標本は通常、側面が10乃至30mmの全体の寸法を有する。例えば、ある典型的な試料は、20×15mmの範囲をカバーすることができる。このような標本が1ピクセル当たり0.25ミクロンの解像度(すなわち40X)で完全に画像化されるとき、80,000×60,000ピクセルを有する画像が生み出される。完全なスライド画像を正確に得ることは技術的に困難ではあるが、本参照によりその全体が本明細書に組み込まれる特許文献1に記述されているAperio ScanScope(登録商標)等の機器を使用して達成されてもよい。
【0062】
lDS370は、lAD360によって捕捉されるニ次元及び三次元画像を格納しかつアクセスを有効化するサーバコンピュ一タ及びソフトウェアを備える。IDS370は、ローカルネットワーク395上のIAD360の近傍に配置することができる。別の実施形態において、IDS370がIAD360から遠隔に存在し、広域ネットワーク395を介して観察ステーションおよび他のアクセス装置に接続していることが望ましい。3D仮想スライド画像データの配達に適切なように、IDS370はILM390を含んでもよい。
【0063】
IVW380は、IAD360によって捕捉されかつIDS370から検索される二次元及び三次元画像を表示すことのできるパーソナルコンピュータ及びソフトウェアを備える。IVW380は、TCP/IPなどの標準コンピュータネットワーク技術を用いて、IAD360及びIDS370からローカルネットワーク又はワイドネットワークを横断して配置されてもよい。IAD360で取り込まれる画像データは、データ記憶領域365において記憶されてもよいかまたはデータ記憶領域375のIDS370によって記憶されてもよい。画像データは、IVW380を使用して、後で見られてもよい。IVW380は、3D仮想スライド画像データを取得し、操作し、表示すために適切なように、ILM390を含んでもよい。ILM390は、IVW380によりユーザに3D画像データを提供するために、IVW380およびIDS370を配置してもよい。
【0064】
ネットワーク395は、ローカルネットワーク、ワイドネットワーク、有線又は無線ネットワークであっても、複数のネットワークの任意の組合わせであってもよい。このようなネットワークの組み合わせは、通常インタネットと呼ばれる。ネットワーク395は、インタネットでもよく、インタネットを含むネットワークの任意のサブコンビネーションでもよい。またネットワーク395は、私的ネットワーク又は公的ネットワーク、若しくは複数のネットワークの任意の組み合せであってもよい。
【0065】
図9は、本発明の一実施形熊に係る、三次元画像化対象から平面表示を生成するための方法の一例を示すフロー図である。一実施形態において、この方法は、例えば図8に関して上述したように、画像ライブラリモジュールによって画像データサーバから外部へ転送されてもよい。まず最初に、ステップ400において、ILMは、表示要求情報を受信する。要求情報は、好ましくは要求された表示(例えば画像データおよびオフセットおよび高さとともに表示の焦点の解像度および表示の幅)に関する特定の個体群統計学情報を提供する。十分に役に立つ情報のような表示に関する付加的なパラメータは表示を識別する、または、角柱は要求情報、例えば、要求される画像存在の種類(例えば、角柱、クロス層表示、標準表示)の中で提供されてもよい。
【0066】
一旦、識別情報が要求情報から解析されると、ステップ405に示すように、次のILMは要求情報が角柱に対してかどうか判定する。角柱が要求された場合、ILMは角柱を生成するステップ410へ進む。図11(後述する)は、角柱を生成する詳細な方法を提示す。要求情報が角柱に対してではない場合、ILMは次にステップ415において、要求情報がクロス層表示に対してかどうか判定する。クロス層表示が要求された場合、ILMはクロス層表示を生成するステップ420へ進む。図10(後述する)は、クロス層表示を生成する詳細な方法を提示する。
【0067】
要求情報がクロス層表示に対してではない場合、ステップ425において、ILMは表示に対するオフセットを識別する。そして、ステップ430において、ILMは表示に対して焦点を識別する。次に、ステップ435において、ILMは、識別されたZ平面の中のイメージデータをアクセスし、次に、ステップ440において、平面表示を生成する。例えば、高さおよび幅値と組み合わせてオフセットおよび焦点値を使用して全体のイメージデータから切り取ることで、上記要求された表示のZ平面を識別する。
【0068】
図10は、本発明の一実施形態に係る、三次元画像化対象からクロス層表示を生成するための方法の一例を示すフロー図である。一実施形態において、この方法は、例えば図8に関して上述した画像ライブラリモジュールによって画像データサーバから外部へ転送してもよい。まず最初に、ステップ455、460および465において、ILMは、要求されたクロス層平面上の第1、第2および、第3の要点を識別する。これらの要点は、上記要求情報に含まれるパラメータの一つまたは組合せによって識別してもよい。例えば、上記要点は、オフセットおよびクロス層平面の第1、第2および第3の角部に対する焦点値に基づいて導き出してもよい。
【0069】
次に、ステップ470において、ILMは、3つの識別された要点に基づいてクロス層平面を算出する。一旦、クロス層平面が算出されると、ステップ475において、ILMはクロス層平面の中のイメージデータにアクセスする。一実施形態において、このイメージデータにアクセスするために、ILMは、Z軸と直角をなす複数のZ平面の中のイメージデータにアクセスしなければならない。これに対して、ステップ480に示すように、ILMは、直接、クロス層平面の中のイメージデータにアクセスし、次いで、クロス層表示を生成する。クロス層表示の生成において、画像化対象の全部のクロス層平面に対して一部のイメージデータは放棄してもよい。
【0070】
上記した方法は、画像化対象から角柱を生成するために使用してもよい。例えば、一番上の平面および角柱の下部平面は上記の方法に従って識別することができ、次いで、それらの平面の間にイメージデータは要求された角柱を規定する。従って、クロス層角柱またはより単純な角柱を生成することができる。
【0071】
加えて、当業者に公知であるように、角柱を生成している概要は、他の形状(例えば球または異形)の3D表示を生成するために、利用されることもある。この方法において、所望の3D形状の表面は画像化対象の中で最初に算出され、次に、算出表面に対するイメージデータ内部は、3D表示として読み出される。この明細書において、用語となる角柱は、平行した対向辺を有する平均の標準サイズの3D形状に主に使用される。しかし、角柱は、画像化対象内から異形または球面形状または他の3D形状を意味し、断続的に使用され、3D表示として読み出して表示される場合もある。全てのこの種の形状は、本発明の範囲として考慮される。
【0072】
図11は、本発明の一実施形態に係る、3D仮想スライドから画像化対象を生成するための方法の一例を示すフロー図である。一実施形態において、この方法は、例えば図8に関して上述したように、画像ライブラリモジュールによって画像データサーバから外部へ転送されてもよい。まず最初に、ステップ500において、ILMは、画像化対象の上下面を識別する。次に、ステップ505において、ILMは、上部平面に対するイメージデータが3D仮想スライドの中に存在するかどうか、または、それが走査イメージデータの間に空のギャップがあるかどうか判定する。上記上部平面に対するイメージデータが3D仮想スライドの中に存在しないことがステップ505において判定された場合、ステップ510において、ステップ515において図示したのと同様に、ILMは、画像データでZ平面に最も近いものを取得して、上面に対してイメージデータを内挿する。
【0073】
トッププレート(走査データから、または、内挿法によって)に対するイメージデータを取得した後に、ステップ520において、次のILMは、底面に対するイメージデータが3D仮想スライドにあるかどうか、または、底面が走査イメージデータの間に空のギャップがあるかどうか判定する。上記下部平面が存在しないとステップ520において判定された場合、ステップ525において、ILMは画像データでZ平面に最も近いものを取得して、ステップ530の底面に対するイメージデータを内挿する。底面(再び、走査データから、または、内挿法によって)に対するイメージデータを取得した後に、ILMは、画像化対象を生成することができる。画像化対象を生成するためのILMにより用いられる付加的なパラメータは、画像化対象の高さ、幅および奥行を含んでもよい。
【0074】
上記方法は、隣接する画像データによって完全に占有されない画像化対象から角柱を生成するために利用してもよい。従って、角柱を生成するときに、上下面に対する画像データは、画像化対象に存在するか、または存在する画像データから内挿する。次に、上下面間の画像データは、画像化対象からのデータによって中に充満状態にするか、または必要な場合にデータを内挿する。この方法では、標準サイズまたはクロス層角柱は、画像化対象から生成してもよい。
【0075】
図12は、本明細書に記載されている様々な実施形態に関連して使用され得る一例としてのコンピュータシステム550を示すブロック図である。例えば、コンピュータシステム550は、図11に関して上述したIAD、IDSまたはIVW装置と連動して使用してもよい。但し、当業者に明白であるように、他のコンピュ一タシステム及び/又はアーキテクチャを使用してもよい。
【0076】
コンピュ一タシステム550は、好適にはプロセッサ552等の1つ以上のプロセッサを含む。さらに、入/出力を管理する補助プロセッサ、浮動小数点数学演算を実行する補助プロセッサ、信号処理アルゴリズムの高速実行に適したアーキテクチャを有する専用マイクロプロセッサ(例えば、デジタル信号プロセッサ)、主処理システムに従属するスレーブプロセッサ(例えば、バックエンドプロセッサ)、デュアル又はマルチプロセッサシステム用の追加のマイクロブロセッサ又はコントローラ、若しくはコプロセッサ等の追加のプロセッサが提供されてもよい。このような補助プロセッサは、離散プロセッサであっても、プロセッサ552と統合されてもよい。
【0077】
プロセッサ552は、好適には、通信バス554に接続される。通信バス554は、コンピュータシステム550のストレージと他の周辺コンポーネントとの間の情報転送を促進するためのデータチャネルを含んでもよい。通信バス554はさらに、データバス、アドレスバス及び制御バス(図示されていない)を含む、プロセッサ552との連絡に使用される信号の1組を提供してもよい。通信バス554は、例えば業界標準アーキテクチャ(「ISA:Industry Standard Architecture」)、拡張業界標準アーキテクチャ(「EISA:Extended Industry Standard Architecture」)、マイクロチャネルアーキテクチャ(「MCA」)、周辺コンポーネント相互接続(「PCI:Peripheral Component Interconnect」)ローカルバス、又は電気電子会(「IEEE:Institute of Electrical and Electronics Engineers」)が普及している、IEEE488汎用インターフェースバス(「GPIB:Genera1−Purpose Interface Bus」)、IEEE696/S−100及び等を含む規格に準拠するバスアーキテクチャ等である任意の標準又は非標準バスアーキテクチャを備えてもよい。
【0078】
コンピュータシステム550は、好適には、主メモリ556を含み、かつ二次メモリ558を含んでもよい。主メモリ556は、プロセッサ5521上で実行するプログラムのための命令及びデータのストレージを供給する。主メモリ556は、典型的には、ダイナミックランダムアクセスメモリ(「DRAM」)及び/又はスタティックランダムアクセスメモリ(「SRAM」)等の半導体ベースのメモリである。他の半導体ベースのメモリのタイプとしては、例えば、読取り専用メモリ(「ROM:Read Only Memory」)を含む、同期ダイナミックランダムアクセスメモリ(「SDRAM:Synchronous Dynamic RandomAccess Memory」)、ラムバスダイナミックランダムアクセスメモリ(「RDRAM:Rambus Dynamic Random Access Memory」)、強誘電ランダムアクセスメモリ(「FRAM:Ferroelectric Random Access Memory」)等が含まれる。
【0079】
二次メモリ558は、任意選択として、ハードディスクドライブ560及び/又は、例えばフロッピー(登録商標)ディスクドライブ、磁気テープドライブ、コンパクトディスク(「CD」)ドライブ、デジタルバーサタイルディスク(「DVD」)ドライブ等のリムーバブルストレージドライブ562を含んでもよい。リムーバブルストレージメディア564は、例えば、フロッピー(登録商標)ディスク、磁気テープ、CD、DVD等であってもよい。
【0080】
リムーバブルストレージメディア564は、好ましくは、コンピュータ実行可能コ一ド(即ち、ソフトウェア)及び/又はデータを格納しているコンピュ一タ読取り可能メディアである。リムーバブルストレージメディア564に格納されたコンピュータソフウェア又はデータは、電気通信号578としてコンピュータシステム550に読み込まれる。
【0081】
代替実施形態では、二次メモリ558は、コンピュータプログラム又は他のデータ又は命令をコンピュータシステム550にロードできるようにする他の類似手段を含んでもよい。このような手段としては、例えば、外部ストレージメディア572及びインタフェ一ス570を含んでもよい。外部ストレージメディア572の例としては、外部ハードディスクドライブ又は外部光ドライブ及び/又外部磁気光学ドライブを含んでもよい。
【0082】
二次メモリ558の他の例としては、プログラム可能読取り専用メモリ(「PROM:Programmable Read−Only Memory」)、消去可能なプログラム可能読取り専用メモリ(「EPROM : Erasable Programmable Read−Only Memory」)、電気的に消去可能な読取り専用メモリ(「EEPROM:Electrically Erasable Read−Only Memory」)又はフラッシュメモリ(EEPROMに類似するブロック指向のメモリ)等の半導体ベ一スのメモリを含んでもよい。また、ソフトウェア及びデータをリムーバブルストレージユニット572からコンピュータシステム550に転送できるようにする他の任意のリムーバブルストレージユニット572及びインターフェース570も含まれる。
【0083】
またコンピュータシステム550は、通信インターフェース574を含んでもよい。通信インターフェース574は、ソフトウェア及びデータがコンピュータシステム550と、外部デバイス(例えば、プリンタ)、ネットワーク又は情報ソースとの間で転送できるようにする。例えば、コンピュータソフトウェア又は実行可能コードは、ネットワークサーバから通信インターフェース574を介してコンピュータシステム550に転送してもよい。通信インターフェース574の例としては、数例を挙げるだけでも、モデム、ネットワークインターフェースカード(「NIC」)、通信ポート、PCMCIAスロット及びカード、赤外線インターフェース及びIEEE1394ファイアワイヤが含まれる。
【0084】
通信インターフェース574は、好適には、イーサネット(登録商標)IEEE802規格、ファイバチャネル、デジタル加入者線(「DSL:Digital Subscriber Line」)、非同期デジタル加入者線(「ADSL:Asynchronous Digital Subscriber Line」)、フレームリレー、非同期転送モード(「ATM:Asynchronous Transfer Mode」)、統合デジタルサービス網(「ISDNlIntegrated Digital Services Network」)、パーソナル通信サービス(PCS : Personal Communications Services」)、通信制御プロトコル/インターネットプロトコル(「TCP/IP.:Transmission Control Protocol/lnternet Protocol」)、シリアルラインインターネットプロトコル/ポイントツーポイントプロトコル(「SLIP/PPP」)等々のような業界が公布するプロトコル標準を実装するが、カスタマイズされた、若しくは非標準インターフェースプロトコルも同様に実装してもよい。
【0085】
通信インターフェース574を介して転送されるソフトウェア及びデータは、概して、電気通信信号578の形式である。これらの信号578は、好適には、通信チャネル576を介して通信インターフェース574に供給される。通信チャネル576は、搬送波信号578を伝送し、かつ、数例を挙げるだけでも電信線又はケーブル、光ファイバ、従来の電話線、携帯電話リンク、無線データ通信リンク、高周波(RF)リンク又は赤外線リンクを含む様々な有線、又は無線通信手段を使用して実装してもよい。
【0086】
コンピュータ実行可能コード(即ち、コンピュータプログラム又はソフトウェア)は、主メモリ556及び/又は二次メモリ558に格納する。コンピュータプログラムは、また通信インターフェース574を介して受信され、主メモリ556及び/又は二次メモリ558に格納することもできる。このようなコンピュータプログラムは、実行されると、コンピュータシステム550が先に述べたような本発明の様々な機能を実行することを可能にする。
【0087】
この明細書本文における「コンピュータ読取り可能メディア」という表現は、コンピュータ実行可能コード(例えば、ソフトウェア及びコンピュータプログラム)をコンピュータシステム550に提供するために使用する任意のメディアを指して使用する。これらのメディアの例としては、主メモリ556、二次メモリ558(ハードディスクドライブ560、リムーバブルストレージメディア564及び外部ストレージメディア572を含む)、及び通信インターフェース574と通信により接続する任意の周辺デバイス(ネットワーク情報サーバ又は他のネットワークデバイスを含む)を含む。これらのコンピュータ読取り可能メディアは、コンピュータシステム550に実行可能コード、プログラミング命令及びソフトウェアを提供するための手段である。
【0088】
ソフトウェアを使用して実装される一実施形態では、ソフトウェアはコンピュータ読取り可能メディア上に格納され、かつリムーバブルストレージドライブ562、インターフェース570又は通信インターフェース574によってコンピュータシステム550にロードされてもよい。このような実施形態では、ソフトウェアは、コンピュータシステム550に電気通信信号578の形式でロードされる。ソフトウェアは、プロセッサ552によって実行されると、好適には、プロセッサ552に本明細書で先に述べた発明的特徴及び機能を実行させる。
【0089】
また主としてハードウェアにおいては、例えば特定用途向け集積回路(「ASIC:Application Specific Integrated Circuit」)又はフィールドプログラマブルゲートアレイ(「FPGA」)等のコンポーネントを使用して、様々な実施形態を実装してもよい。本明細書に記載された機能を実行することのできるハードウェア状態マシンの実装も、当業者には明らかであろう。また様々な実施形態は、ハードウェア及びソフトウェア双方の組み合わせを使用して実装してもよい。
【0090】
さらに、当業者は、上述の諸図面及び本明細書に開示されている実施形態に関連して記載された例示的な様々な論理ブロック、モジュール、回路及び方法ステップが、しばしば電子ハードウェア、コンピュータソフトウェア又は両者の組み合わせとして実装し得ることを評価するであろう。以上、ハードウェアとソフトウェアのこの互換性を明確に例示すために、様々な例示的コンポーネント、ブロック、モジュール、回路及びステップを概してその機能性に関連して記載した。このような機能性をハードウェア又はソフトウェアとして実装するかどうかは、全体システムに課される特定の用途及び設計上の制約に依存する。当業者は、記載された機能性を特定の各用途に合わせて様々に実装することができるが、このような実装の決定は、本発明の範囲からの逸脱を招くものとして解釈されるべきではない。さらに、機能をモジュール、ブロック、回路又はステップにまとめることは、説明を簡便にするためのものである。特定の機能又はステップは、本発明から逸脱することなく1つのモジュール、プロソク又は回路からもう1つのものへ移動させることができる。
【0091】
さらに、本明細書に開示されている実施形態に関連して記載された様々な例示的な論理ブロック、モジュール及び方法は、汎用プロセッサ、デジタル信号プロセッサ(「DSP:Digital Signal Processor」)、ASIC、FPGA又は他のプログラム可能論理デバイス、離散ゲート又はトランジスタ論理、離散型ハードウェアコンポーネント又は本明細書に記載されている機能を実行するように設計されるこれらの任意の組み合わせによって実装又は実行されてもよい。汎用プロセッサはマイクロプロセッサであってもよいが、代替例では、プロセッサは任意のプロセッサ、コントローラ、マイクロコントローラ又は状態マシンであってもよい。プロセッサは計算デバイスの組み合わせとして、例えば、DSPとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、DSPコアと併用する1つ以上のマイクロプロセッサ又は他の任意のこのような構成として実装してもよい。
【0092】
さらに、本明細書に開示されている実施形態に関連して述べた方法のステップ又はアルゴリズムは、ハードウェア、プロセッサにより直接実行されるソフトウェアモジュール又は両者の組み合わせの形で具現され得る。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD−ROM又はネットワークストレージメディアを含む他の任意の形式のストレージメディア内に存在し得る。一例としてのストレージメディアは、プロセッサがストレージメディアとの間で情報の読取り及び書込みを行えるようにプロセッサに接続され得る。上記代替例では、ストレージメディアはプロセッサに統合され得る。また、プロセッサ及びストレージメディアは、また、ASIC内に存在し得る。
【0093】
開示した実施形態に関する上述の説明は、任意の当業者が本発明を利用できるように提供される。当業者には、これらの実施形態に対する様々な修正が直ちに明らかとなり、本明細書に記載された一般原理は、本発明の精神及び範囲を逸脱することなく他の実施形態に適用できる。従って、本明細書に提示されている説明及び図面は、本発明の現時点での好適な実施形態を表し、よって、本発明により広範に企図されている発明対象を表すものである点は理解されるべきである。さらに、本発明の範囲は、当業者にとって自明となる能性のある他の実施形態を完全に包含すること、よって、本発明の範囲は唯一、添付の請求の範囲によってのみ限定されることも理解される。
【技術分野】
【0001】
本願は2005年1月27日に出願の米国暫定特許出願番号第60/647,452号に優先権を主張して、同時係属米国特許出願番号11/140,265に関連があり、それぞれは完全に本願明細書に引用したものとする。
【0002】
本発明は、一般に仮想顕微鏡に関し、特に三次元仮想顕微鏡スライド画像から三次元画像化対象を検索、操作および表示することに関する。
【背景技術】
【0003】
十分な品質の機械的合焦機構を使用する従来の顕微鏡は、観察者によって容易に合焦できる。目/脳と指との間のフィードバックル一プは、非常に高速かつ正確である。しかしながら、フィードバックループの何れかの部分が損なわれた場合、完全な焦点を得るプロセスは極めて困難で時間が掛かり、不正確にもなる。これらの障害は、低い光学的品質、不十分な、若しくは不適当な照明、合焦機構の不正確さから、若しくは操作者の低い視力からも発生することがある。
【0004】
最近では、従来のコンピュータにより実行される顕微鏡システムは、何年にも渡って顕微鏡スライドの高解像度画像に遠隔からアクセスする能力を提供している。このような画像を生成する能力のあるデバイスは、大きく分けて、(1)遠隔操作式(又は、ロボット式)顕微鏡、及び、(2)試料の幾分か又は全ての何らかのタイプの電子画像又は写真画像を生成する撮像装置の2つのカテゴリーに分類される。各タイプは、その優位点及び欠点を有し、その多くは特定の用途に固有である。
【0005】
従来の画像システムは、試料全体を中程度の倍率又は高い倍率で捕捉するのに足る大きさの画像を生成する能力を有する。これらの画像は、仮想顕微鏡スライド又は仮想スライドと呼ばれる。仮想スライドのサイズが非常に大きいことにより、仮想スライドは、通常レベルの(「Z平面」)単焦点に限られている。顕微鏡試料の多くの種類は非常に薄く、よって、単一のZ平面仮想スライドで充分である。しかしながら、他のタイプ顕微鏡試料は対物レンズの被写界深度より厚い。
【0006】
結像系の最近の改良は、複数のZ平面を有する仮想スライドを創作する能力を含む。これらの仮想スライド画像は、三次元(「3D」)仮想スライドと呼ばれていて、顕微鏡標本の厚み幅の全体にわたって、複数のフォーカスレベルからイメージデータを含む。
【発明の概要】
【発明が解決しようとする課題】
【0007】
そこで、ユーザによって表示するための三次元画像化対象を三次元仮想スライドの像データから抽出することためのシステムと方法が必要となる。
【0008】
従って、本発明は、システム及び方法を3D仮想顕微鏡スライド画像から3D画像化対象を読み出して、操作して、見るために提供する。
【課題を解決するための手段】
【0009】
イメージライブラリモジュールは、3D仮想スライドのイメージデータのアクセスを提供して、3D仮想スライドで同一の広がりを有する3D画像化対象またはその3Dサブ部分を作成する。3D画像化対象内から、3D仮想スライドのさまざまな奥行にまたがっているクロス層平面表示は、3D角柱および他の成形された像領域と同様に作成される。画像ライブラリモジュールは、3D画像化対象を水平および垂直表示に剪断し、クロス層表示を斜めに向け、標準サイズおよび不規則に3D画像領域を成形して、ユーザに表示する。
【0010】
他の本発明の特徴および効果は、以下の詳細な説明および添付図面を精査した後に、当業者に容易に明らかになる。
【0011】
本発明の構造及び動作の双方に関する詳細な内容は、部分的に、添付図面を検討することによって探ることができる。諸図を通じて、類似の参照番号は類似の部分を指す。
【図面の簡単な説明】
【0012】
【図1】本発明の一実施形態に係る顕微鏡スライドと試料の一例を示すブロック図である。
【図2】本発明の一実施形態に係るZ平面の顕微鏡スライドと試料の一例を示すブロック図である。
【図3A】本発明の一実施形態に係るZ平面の一例を示すブロック図である。
【図3B】本発明の一実施形態に係るブロック化したZ平面の一例を示すブロック図である。
【図4A】本発明の一実施形態に係る層の一例を示すブロック図である。
【図4B】本発明の一実施形態に係るブロック化した層の一例を示すブロック図である。
【図5】本発明の一実施形態に係る画像化対象の一例を示すブロック図である。
【図6】本発明の一実施形態に係る画像化対象の階層の一例を示すブロック図である。
【図7A】本発明の一実施形態に係る画像化対象および平面図の一例を示すブロック図である。
【図7B】本発明の一実施形態に係る画像化対象およびクロス層表示の一例を示すブロック図である。
【図7C】本発明の一実施形態に係る画像化対象および垂直クロス層表示の一例を示すブロック図である。
【図7D】本発明の一実施形態に係る画像化対象およびクロス層角柱の一例を示すブロック図である。
【図8】本発明の一実施形態に係るネットワーク化されたシステムの一例を示すブロック図である。
【図9】本発明の一実施形態に係る、三次元画像化対象から平面表示を生成するための方法の一例を示すフロー図である。
【図10】本発明の一実施形態に係る三次元画像化対象からクロス層表示を生成するための方法の一例を示すフロー図である。
【図11】本発明の一実施形態に係る3D仮想スライドから画像化対象を生成するための方法の一例を示すフロー図である。
【図12】本明細書に記載されている様々な実施形態に関連して使用される一例としてのコンピュータシステムを示すブロック図である。
【発明を実施するための形態】
【0013】
本明細書に開示するような所定の実施形態は、3D仮想顕微鏡のスライド画像から画像化対象を検索、操作、および表示するためのシステム及び方法を提供する。例えば、本願明細書において開示する1つの方法において、3D画像化対象が3D仮想スライドから取得され、3D画像対象は、回転、反転する場合もあり、そして、組織サンプルの全部の3D問合せに関するユーザに提供するために剪断される場合もある。
【0014】
本明細書本文を読めば、当業者には、本発明を様々な代替実施形態及び代替用途に実装する方法が明らかとなるであろう。しかしながら、本明細書では本発明の様々な実施形態を記載するが、これらの実施形態は限定ではなく単なる例示として提示される点が当業者に理解される。従って、様々な代替実施形態のこの詳細な説明は、添付の請求の範囲に記載されている本発明の範囲及び幅を限定するものとして解釈されるべきではない。
【0015】
仮想スライド表示の一実施形態において、イメージライブラリモジュールは、仮想スライド画像化対象に対するアクセスを提供してもよい。イメージライブラリモジュールは、ソフトウェア、ハードウェアまたは2つの若干の組み合わせにおいて実装されるプログラムされたかプログラム可能なオブジェクトでもよい。例えば、イメージライブラリモジュールは、仮想スライドに対するアクセスを簡約することができる。従って、このモジュールを経由して、仮想スライドに対するローカル(ディスクファイルに対するアクセス)または、遠隔(画像サーバマシンに対するアクセス)アクセスの全てを行う。画像サーバは、ディスクファイルにアクセスするために、イメージライブラリモジュールを使用することもできる。仮想スライドは3Dデータを含むことができ、複数の画像平面は一連のZ値で提供される。これらの複数の画像平面は全ての走査組織領域を通じて発生する、または、選択された領域はこのようにして取り込まれる。
【0016】
多断面の捕捉から生じる画像データは、真に3次元である。それは、立方体の画素に分割される三次元立体として理解される場合もある。XまたはYの解像度が双一次または双三次サンプリングによって増加することができると同様に、物理的に取り込まれなかった画像平面は、内挿法を使用して取り込まれた画像平面の間に合成することができる。
【0017】
実施形態において、イメージライブラリモジュールは、「表示」の中心コンセプトを利用する。図は、画像化対象から導き出される二次元の矩形状領域である。画像化対象は、全ての3D仮想スライドまたはその多少の一部でもよい。画像化対象からデータを表示または処理することが求められるソフトウェアは、図としてオブジェクトからデータを検索する。例えば、多様な表示パラメータを確定し、それに応答して検索する画像ライブラリモジュールに提供し、表示を提供する。
【0018】
二次元の画像化対象のために、すべての表示は、画像化対象の平面を有する共平面である。表示は、画像化対象の中のいかなるX,Y位置からも始まることができ、いかなる所望の次元(幅と高さ)も有し、いかなる所望の解像度(「ズームしている」)にも基準化することができる。表示は、原画像と関連して回転することもできる。
【0019】
さらに、三次元画像化対象のために、表示は、二次元状態を維持して、三次元空間によるスライスに相当する。最も単純で可能な事例は、二次元の表示が画像化対象のZ軸と直角をなすということである。この場合、表示は、画像化対象の中のいかなるX,Y位置からも始まり、いかなる所望の次元(幅と高さ)も有し、いかなる所望の解像度(「ズーミング」)にも拡大・縮小される。加えて、表示平面は、Z軸(「焦点調節」)の、いかなる所望の位置にも位置決めしてもよい。
【0020】
表示平面がZ軸と直角をなさない場合、より複雑な事例が発生する。例えば、表示のための任意の位置決め基準点が提供され、完全な3D表示を可能にする場合もある。加えて、直交変換(回転およびフリップ)は、「側面表示」および他の興味深い実現能力を可能にする。Z軸から表示を僅かに傾動する能力は、「視差」効果を提供することができる。注意を要するのは、表示位置決め基準点に関係なく、表示に垂直軸が常にあり、表示平面はこの垂直軸(「焦点調節」は、Z以外の軸に沿って実行される場合もある)に沿っていかなる所望点でも位置決めできることである。三次元画像化対象を補助する、画像ライブラリモジュールは、明確なアプリケーションプログラミングインターフェース(「API」)を提供して、多くの機能および機能性をモジュールを含むアプリケーションまで拡張する。
【0021】
画像は、収集時間に判定される特性値を有し、APIを介して問い合わすことができる。全幅(X)および高さ(Y)は、これらの特性値の一つである。三次元画像化対象は、深さ(Z)も有する。画像が得られるときにこれらが物理次元を有しない場合であっても、整合性のために、深さの単位は画素である。画像化対象の解像度は、画素寸法を物量単位(例えばミクロン)に変換するために、読み出してもよい。画像化対象が前描画される多様な解像度を有してもよい実際的な理由は、種々の電動式対物レンズまたは内挿法による捕捉のどちらでもよいからである。
【0022】
画像ライブラリモジュールは、各物理画像(幅、高さ、基台と関連するズーム)の特性値を問合せることを可能にする。三次元画像化対象は、前描画された(例えば、取り込まれた実際の平面に対応する)複数のZ平面を有してもよい。これらのz平面(幅、高さ、基台と関連するズームおよびZ位置)の特性は、問合せられる場合もある。
【0023】
表示は、画像ライブラリモジュールによって修正することができる特性値を有する。これらの特性値は、XおよびYオフセット、幅、高さを含み、現在の表示解像度と関連して画素において表され、ズームして、浮動小数点尺度値として表される。3D画像化対象の表示は、同様に焦点属性を有し、符号付き浮動小数点値として表される。一実施形態において、焦点のためのゼロ値は、画像化対象の中心であり、焦点値は−1から+1の範囲を有し、負値によって平面クロッサの観察方向を示す。
【0024】
3D画像化対象による二次元表示に加えて、標準および異形を検索することは、例えば3D画像化対象から角柱および多角形を検索することに有用である。これらの形状は、三次元表示である。一実施形態において、角柱は、表示の全ての特性値を有し、加えて、指定された深さを有する。画像化対象と同様に、角柱は、立方体の画素を有するものとして案出され、角柱の位置決め基準点を定める表示軸に向きを定める。
【0025】
用語「深さ」に関係があることを画像に適用した説明は、この接続で有用である。従来の技術用語において、画像は、ピクセル当たりのビット数と呼ばれている特性を有する。これは、時には「色深度」と呼ばれる。色深度は、3D画像の「画像奥行」属性と同様ではない。ピクセル当たりのビット数は、「色深度」より非常に的確な用語である。しかし、両方の用語は、デジタル画像作成のフィールドのワーカーによって、取り換えられて使用される。色深度(ピクセル当たりのビット数)は、記憶された色値の精度を決める。例えば、色仮想スライドに関して、通常、24ビット/ピクセル、すなわち、色チャネルの赤・緑・青の各々の8ビットが記憶される。各画素は、従って、3バイトを必要とする。
【0026】
3Dオブジェクトは、奥行(Z)(側方限界(X、Y)と同様に)を有する。「画像奥行」は、Z方向のピクセル数であって、Z値の全体の変化に相当する。例えば、4OXで10枚のZ平面を調べる場合、各平面は相互に1ミクロンに分離する。これは、1ミクロンにつき約4ピクセルがある理由から、「画像奥行」は約40ピクセルである。もし奥行が40ピクセルでなければ、10枚の平面がある点に注意する。これは、Zサンプリングが各画像平面の横方向の(X、Y)画素サンプリングより粗いからである。
【0027】
3D画像化対象には、Z方向の一つ以上の層が具備されている。各層は奥行(「厚さ」)を有するが、これは、各層が複数の平面で構成されるからである。1つの層が単一の平面の中で構成される場合、それは1つの画素の奥行を有する。各平面は、一つ以上の同一平面上の画像の中で順番に構成されてもよい。
【0028】
画像化対象は、ブロック化してもよい。この場合、ブロックは層の範囲内でXオフセットおよびYオフセットによって識別される。他がそうではない反面、何枚かの層がブロック化することは可能である。層がブロック化される場合、その層の範囲内の全ての平面は同じブロック化オフセットを有する。しかしながら、各層は、他層と同じブロッキングオフセットを有する必要はない。一実施形態において、一つの層の範囲内のブロックの各々は、同じ奥行を有する。
【0029】
画像化対象が画像の全ての3D著作集であって、全ての仮想スライドまたは一部の仮想スライドでもよいことに留意されたい。加えて、単一画像は、画像化対象の一部の1つの層でもよい。別の実施形態では、仮想スライドは、複数画像を含む単一ファイルまたは各々1つの画像を含む一まとまりの個々のファイルでもよい。
【0030】
一実施形態において、ファイルサイズを減らすために、2D仮想スライドを格納するために使用する好適なファイル形式は、圧縮を考慮に入れておく。この圧縮方法は、同様に3D画像化対象に延長することができ、結果としてディスク空間の実質的節減および遠隔表示のパフォーマンスに対応した改善になる。3D圧縮においては、3D画像を記憶する能力であり、また、1つのディスクファイル(例えば、TIFFのようなマルチ画像ディスクファイル形式を使用している)の3D画像の断面でもある。この種の場合、奥行を有する出力ブロックが形成され、ディスクファイルは単一の層を有し、層の各ブロックは奥行を有する。長所として、2Dおよび3D圧縮法は、検索している空間領域と同じ領域の隣接領域のブロックの画像データのだけにアクセスすることで能率的に取り出すことができるようにブロック形圧縮を行う。
【0031】
通常、画像情報にアクセスして表示す場合、「最大限の解像度」は、データが獲得した解像度を意味する。40Xで、Aperio ScanScope(登録商標)のような典型的捕捉装置を使用して、これは、1画素につき約0.25ミクロンまで対応する。表示する場合、解像度を低下させるためにズームすることが役立つ。急速にズームインするのを促進するために、画像化対象のサブサンプルを取ったバージョンを生成して記憶する場合もある。これらのサブサンプルを取った画像は、画像化対象の一部として記憶してもよい。3D画像化対象に対して、各層のサブサンプルを取ってもよい。このように、変更解像度で、仮想スライド画像ファイルは、各層に対しての複数イメージを含んでもよい。
【0032】
周辺での移動を単純化するので、1つのファイルに全ての3D画像化対象を有することは、名称を変更するなどの点で好都合である。それが標準であるので、3D画像化対象に対して標準TIFFファイル形式を使用することも好都合であり、既存のlibtiffモジュールを用いて実装するのが容易であり、非常によく動作する。しかしながら、1つの制限条件は、単一のTIFFファイルを使用することに、4GBのサイズ許容値である。仮想スライドが一般に損失ある圧縮を使用するので、このサイズ許容値は通常、2D画像に対しては問題ないが、3D画像化対象に対しては、著しく大きくなる場合もある。
【0033】
TIFFファイルに対して4GBのサイズ許容値に対処する様々な方法があるのは、当業者に理解される。例えば、TIFF以外のファイル形式が使用される場合、4GBより大きい単一の仮想スライドファイルが作られる場合もある。あるいは、画像化対象は、複数ファイルとして記憶する場合もある。既に使用中の技術に関して旧版互換性を持って作られる場合があり、4GBより大きいファイルには他の固有の問題(例えば、デジタル多用途ディスク(「DVD」)の容量より大きい)があるので、複数ファイル方法は、好適である。
【0034】
図1は、本発明の一実施形態に係る顕微鏡スライド100および試料の一例の平面図を示すブロック図である。図示した実施形態では、スライド110は組織100の標本(本明細書では、試料とも称する)を支持している。組織100は、血液又は他の物質等の任意のタイフの顕微鏡スライド試料であってもよい。
【0035】
顕微鏡スライド上の組織100等の組織標本は平坦であるように見えるが、ミタロン及びサブミクロンの解像度レベルでは、事実上、厚さに相当な量がある。標本の厚さは、0.5ミクロン乃至10ミクロンの範囲で変わる可能性がある。厚い試料に関する医学的に重要な情報をデジタル的に取り込むために、対物レンズは、焦点深度を変更して試料に焦束する。画像平面は各焦点深度で取り込まれ、例えば、10ミクロン厚の試料の領域は、10枚の別々の画像平面を有してもよい。組織100の厚さがスライド110全体に均一性がなくともよいから、画像平面の一組は、試料上の異なる位置から取得していてもよい。試料の厚い領域に対応する個々の画像平面は、「Z平面」と呼ばれている。
【0036】
図2は、本発明の一実施形態に係る顕微鏡スライド110の一例の側面表示、およびZ平面210を有する組織試料100を示すブロック図である。図に示す実施形態では、Z平面210は、10ミクロン厚の試料上の位置で識別される。組織100は比較的同一の厚み幅を有してもよく、またはピークおよび谷を有してもよいことが理解される。図に示す実施形態では、10枚のZ平面210がある。この特定の実施形態では、隣接する10枚のZ平面が各Z平面との間に1ミクロン間隔で取り込まれて、集合的に試料の全ての10ミクロン厚をカバーするように、対物レンズの焦点深度は1ミクロンである。ある代替実施形態では、単一のZ平面の深度は1ミクロンより大きくても小さくてもよく、様々なZ平面が隣接せず隔離されていてもよい。
【0037】
各Z平面画像の横方向(X,Y)寸法は、典型的には、カメラのCCDアレイのサイズ等の捕捉用ハードウェアによって決定される場合もある。実施形態では、CCDアレイの寸法は2048×1536ピクセルであってもよい。Z平面の像はまた、幾つかの視野を組み合わせたものであってもよい。Z平面画像の数および間隔は、設定可能であり、かつ医療用途の標本タイプ及び特性に従って最適化してもよい。一実施形態では、典型的な5乃至10枚の三次元仮想スライドのZ平面画像は、0.25乃至1.0ミクロンの間隔で配置される。
【0038】
図3は、本発明の一実施形態に係る、一例のZ平面120を示すブロック図である。図に示す実施形態では、z平面120は、高さ130および幅140を有する。Z平面120は、仮想スライドの全ての平面領域に及んでもよく、また、一部の仮想スライド画像に及んでもよい。
【0039】
図3は、本発明の一実施形態に係る、一例のブロック化されたZ平面150を示すブロック図である。図に示す実施形態では、各ブロックのブロック化されたZ平面150は、ブロック高さ160およびブロック幅170を有する。一実施形態において、ブロック化されたZ平面150の全てのブロックは、同じブロック高さ160および同じブロック幅170を有する。長所として、ブロック化されたZ平面150の各ブロックは、別に取り込まれた画像でもよく、または、より大きいZ平面から裁断される画像領域でもよく、個々のブロックとして記憶されるか、または個々のブロックとして圧縮される。一実施形態において、ブロックZ平面150の種々ブロックは、単一ファイルに記憶される。
【0040】
図4Aは、本発明の実施形態に係る一例の層180を示すブロック図である。図に示す実施形態では、層180は、層深度190を有する層を設けた、一連の隣接するZ平面を含んでもよい。層180も、高さ(図示せず)および幅(図示せず)を有する。隣接するZ平面の各々は、画像獲得装置によって別に取り込まれてよく、またこの代わりに、隣接するZ平面のいくつかまたは全ては、画像獲得装置によって取り込まれたZ平面画像から内挿されてもよい。
【0041】
図4Bは、本発明の一実施の形態による一例の層200を示したブロック図である。図に示す実施形態では、各ブロックのブロック化された層200は、ブロック奥行210を有する。各ブロックも、ブロック高さ(図示せず)およびブロック幅(図示せず)を有する。一実施形態において、ブロック化された層200の全てのブロックは、同じ高さ、同じブロック幅、同じブロック奥行210を有する。ブロック化された平面と同様に、ブロック化された層200のブロックは、別に取り込まれた隣接する画像の組合せでもよい。これに代わって、ブロックは、より大きい層から裁断される角柱でもよく、個々のブロックとして記憶されるか、または個々のブロックとして圧縮されてもよい。一実施形態において、ブロック化された層200の様々なブロックは、単一ファイルに記憶される。
【0042】
特に、図3A、3B、4Aおよび4Bに関して、様々な平面、ブロック化された平面および層、およびブロック化された層は、単一ファイルに記憶されるかまたは複数ファイルに記憶される画像の物理的属性でもよい。代わりに、様々な平面およびブロック化された平面および層、およびブロック化された層は、単一ファイルに記憶されるかまたは複数ファイルに記憶される画像の論理的特性値でもよい。別な方法ために物理的または論理的に仮想スライドの画像データを配置して記憶することが当業者に理解され、本発明の用途に企図される。
【0043】
図5は、本発明の実施形態に係る一例の画像化対象230を示すブロック図である。図に示す実施形態では、画像化対象230は、幅240、高さ250および奥行260を有する。画像化対象230は、全ての仮想スライドでもよく、一部の仮想スライドでもよい。画像化対象230は隣接する画像データによって充満状態にされてもよく、また、それは様々な平面および隣接しない画像データの層を含んでもよく、従って、それらとの間に空間を規定すればよい。
【0044】
一実施形態において、画像化対象230は、3D仮想スライドに対するX、YおよびZ座標系のその位置によって規定される。X、YおよびZ値は、画像化対象230の第1の角に対して最初のオフセットを設けることができる。結果として生じる画像化対象230の形状およびサイズは、その幅240、高さ250および奥行260の値によって決めてもよい。従って、完全な画像化対象230の画像データは、それから、実際の走査Z平面単独から、または、空間を所要の書入れをする走査Z平面の内挿法と結合して3D仮想スライドから得てもよい。
【0045】
画像化対象230の形状およびサイズを規定するための代替法を利用してもよい。好都合にも、画像化対象230は、球形、または不規則に成形されかつ適切な方程式によって定義されたものとして、当業者によって理解される。例えば、画像化対象230は、組織サンプルまたは多少の他の関心領域の単細胞を有する同一空間に広がってもよく、ユーザにまさに目標とされた領域の3D画像を提供し、次いで、詳細な問合せに応じて回転することができ、剪断されることができる。
【0046】
図6は、本発明の実施形態に係る一例の画像化対象層180を示すブロック図である。図に示す実施形態において、画像化対象230の層180は、Z平面120、ブロック化されたZ平面150、層180およびブロック化された層200を含む。長所として、画像化対象230は、集合的に、画像化対象230の上面によって同一空間に広がる単一の層および画像化対象230の底面を占める一連の隣接するZ平面の完全な隣接する画像データを含んでもよい。
【0047】
代替の実施形態では、画像化対象230(メモリにおいて記憶されるにつれて)は、単一のZ平面を含むだけでもよい。この種の画像化対象230が表示(例えば、画像ライブラリモジュールによって)のために検索される場合、失ったイメージデータは、仮想スライドの画像データの単一平面から内挿される場合もあり、また、画像化対象230の失った画像情報を所要の書入れをするために、適切な仮想スライドの画像データの2つの平面との間に内挿される場合もある。3D仮想スライドのために画像データの不連続Z平面を取り込むことの効果は、単一ファイル仮想スライド画像の結果として生じるサイズが著しく減じているということにある。
【0048】
図7Aは、本発明の一実施形態に係る画像化対象230および平面表示300を示すブロック図である。図に示す実施形態において、画像化対象230は、画像化対象230の中心を通って延びるゼロ焦点270平面を含む3D座標系に、論理上の向きを定めてもよい。一実施形態において、画像化対象230の焦点は−1〜+1の範囲であり、画像撮影の間に平面クロッサを対物レンズに指定している負焦点280値と、画像撮影の間に対物レンズから更なる平面を示している正焦点290値とを有する。例えば、画像化対象230の−1の焦点値が、組織サンプルの上面方向にあり、画像化対象230の+1の焦点値が、組織サンプルの底面方向にある。
【0049】
画像化対象230は、平面表示300を含むことを示す。平面表示300は、画像化対象230と関連してゼロフォーカス値およびオフセット値(X、Y)を有する。一旦、画像化対象が読み出されると、平面表示300のような様々な平面表示はオフセットおよび焦点値(X、YおよびZ)を設けるユーザに表示してもよい。平面表示300は、画像化対象230の高さおよび幅によって同一空間に広がってもよく、または、それは完全にnまたは部分的に内部領域でもよい。
【0050】
図7Bは、本発明の一実施形態に係る、一例の画像化対象230およびクロス層表示320を示すブロック図である。図に示す実施形態では、クロス層表示320は平面であり、画像化対象230を含む水平方向のZ平面(図示せず)に対して歪曲されている。好都合にも、様々な位置決め基準点、回転、フリップ、などは、クロス層表示320として画像化対象230から取得することができる。表示位置決め基準点に関係なく、表示に対して垂直である軸が残る点に注意する。それが複数のZ平面全体に延長するので、図に示す表示はクロス層表示と呼ばれる。
【0051】
一実施形態において、クロス層表示(それは、平面である)を生成するために、適正高さ、幅および焦点値の画像化対象230に隣接する水平方向のZ平面からイメージデータを取得して、クロス層表示320を形成するために結合する。
【0052】
図7Cは、本発明の一実施形態に係る一例の画像化対象230および垂直クロス層表示330を示すブロック図である。図に示す実施形態において、画像化対象230を含むZ平面(図示せず)に対して直角であることを除いては、垂直クロス層表示330は図7Bに記載されている上記クロス層表示と類似している。好都合にも、垂直クロス層表示330のような任意の表示は、最大限の3D表示を使用可能にする、直交変換(回転およびフリップ)、側面表示および他の興味深いゆがみおよび傾斜を含み、例えば視差効果を提供することができる。Z軸と直角をなさない表示平面を有する平面表示を与えることでより複雑になるにもかかわらず、一旦、3D画像化対象が取得されると、いかなる種類の平面表示もユーザが読み出すことができ、表示することができる。
【0053】
図7Dは、本発明の一実施形態に係る一例の画像化対象230およびクロス層角柱340を示すブロック図である。平面表示と同様に、(表示が画像化対象230から導き出される二次元領域であることを取り消す)角柱は、画像化対象230から導き出してもよい。これらの角柱は焦点平面に整列する場合もあり、または、歪曲する場合もある。クロス層角柱340は、歪曲された角柱の一例である。平面表示によって角柱の全ての種類、形状およびサイズを導き出すことができるので、画像化対象230を形成する場合もある。単純な実施形態において、角柱は、立方体でもよい。より複合した実施形態において、角柱は、画像化対象230の中の不規則形の3D領域でもよくて、例えば、特定の関心領域(例えば単細胞またはセル群)を有する同一空間に広がってもよい。加えて、一旦、角柱が識別されて読み出されると、実施形態において、表示は関心領域の全部および詳細な問合せを可能にするために角柱の垂直および水および歪曲された横断面を提供するために角柱から導き出される場合もある。
【0054】
クロス層角柱340のような角柱は、高さ、幅と角柱の二個以上の角または高さによる奥行、ファーストカマー(先着者)の幅および高さの奥行、幅および角柱の奥行によって画像化対象230の中で規定することができる。これに対して、角柱(例えば、表面が不規則であるか曲がっている場合、など)の表面を規定する方程式は、画像化対象230から角柱の画像データを取得するために利用される場合ある。
【0055】
図8は、本発明の実施形態に係る一例のネットワーク化されたシステム350を示すブロック図である。例示した実施形態では、システム350は、画像捕捉デバイス(「IAD:ImageAcquisition Device」)360と、画像データサーバ(「IDS:Image Data Server」)370と、画像可視化ワークステーション(「IVW:Image Viewing Workstation」)380とを備える。これらの装置の各々は、それぞれのデータ記憶領域365、375および385と関連している。
【0056】
IDS370およびIVW380は、本願明細書において記載されている、表示および角柱を取得し、操作し、示すこと関連した機能の多数を実行する画像ライブラリモジュール(「ILM」)390を有し、それぞれ各々任意選択で構成する。ILM390は、プログラムされたオブジェクト、ハードウェア装置またはハードウェアおよびソフトウェアの多少の組合せでもよい。IDS370は、データ記憶領域375のファイルにアクセスするために、ILM390を使用してもよい。ILM390は、一部の機能が存在してIVW380に作用し、かつ、一部の機能が存在してIDS370に作用するように、共に実装してもよい。一実施形態において、3D仮想スライド画像データへの全てのアクセスは、ILM390を経由して行う。
【0057】
3D画像化対象および3D仮想スライドを補助するために、ILM390は、アプリケーションに対してインターフェース(例えば、様々な性能および機能を拡張するAPI)を提供する。ILM390は、アプリケーションまたは、例えばIDS520にホストをつとめる役割を果たすサービスとして組み込むことができるソフトウェア例として、実装してもよい。好ましくは、ILM390の様々な性能および機能は、明確に定義されたAPIにおいてカプセル化して提供する。例えば、画像3D仮想スライド画像は収集時間に決められる特性値を有する、そして、これらの特性値はILM390を介して問い合わせてもよい。
【0058】
装置360、370および380は、ネットワーク395を介して互いに通信して接続される。若しくは、これらのデバイスは互いに直接接続してもよく、別々のネットワークを介して互いに接続してもよい。実施形態では、2つ以上のデバイスが同じ物理的デバイスにモジュール的に統合してもよく、この場合、機能モジュ一ル間の通信はプロセス間通信、共有メモリ、共通ファイル等を介して行ってもよい。
【0059】
lAD360は、顕微鏡スライドから二次元画像を捕捉することのできるハードウェア及びソフトウェアを備える。IAD360は、スライドから画像を、スライド内の任意の位置(X,Y)において、任意の焦点深度(Z)で捕捉してもよい。
【0060】
IAD360は、典型的には、顕微鏡スライド上の試料を病理学者による医学的診断に必要な解像度にまで拡大する光学素子を提供する。最も低い解像度は、典型的には1ピクセル当たり1.0ミクロン(しばしば「10X」と呼ばれる。)であり、最も高い解像度は、1ピクセル当たり0.1ミクロン(「100X」)であってもよい。典型的な解像度は通常、1ピクセル当たり0.5ミクロン(「20X」)又は1ピクセル当たり0,25ミクロン(「40X」)である。光学素子の開口数(「NA」)は、典型的には0.5又は0.75であり、0.5ミクロン乃至1ミクロンの焦点深度をもたらし、それぞれ、1および2ミクロンより厚い組織サンプルの隣接するZ平面を得る。
【0061】
顕微鏡スライド上の標本は通常、側面が10乃至30mmの全体の寸法を有する。例えば、ある典型的な試料は、20×15mmの範囲をカバーすることができる。このような標本が1ピクセル当たり0.25ミクロンの解像度(すなわち40X)で完全に画像化されるとき、80,000×60,000ピクセルを有する画像が生み出される。完全なスライド画像を正確に得ることは技術的に困難ではあるが、本参照によりその全体が本明細書に組み込まれる特許文献1に記述されているAperio ScanScope(登録商標)等の機器を使用して達成されてもよい。
【0062】
lDS370は、lAD360によって捕捉されるニ次元及び三次元画像を格納しかつアクセスを有効化するサーバコンピュ一タ及びソフトウェアを備える。IDS370は、ローカルネットワーク395上のIAD360の近傍に配置することができる。別の実施形態において、IDS370がIAD360から遠隔に存在し、広域ネットワーク395を介して観察ステーションおよび他のアクセス装置に接続していることが望ましい。3D仮想スライド画像データの配達に適切なように、IDS370はILM390を含んでもよい。
【0063】
IVW380は、IAD360によって捕捉されかつIDS370から検索される二次元及び三次元画像を表示すことのできるパーソナルコンピュータ及びソフトウェアを備える。IVW380は、TCP/IPなどの標準コンピュータネットワーク技術を用いて、IAD360及びIDS370からローカルネットワーク又はワイドネットワークを横断して配置されてもよい。IAD360で取り込まれる画像データは、データ記憶領域365において記憶されてもよいかまたはデータ記憶領域375のIDS370によって記憶されてもよい。画像データは、IVW380を使用して、後で見られてもよい。IVW380は、3D仮想スライド画像データを取得し、操作し、表示すために適切なように、ILM390を含んでもよい。ILM390は、IVW380によりユーザに3D画像データを提供するために、IVW380およびIDS370を配置してもよい。
【0064】
ネットワーク395は、ローカルネットワーク、ワイドネットワーク、有線又は無線ネットワークであっても、複数のネットワークの任意の組合わせであってもよい。このようなネットワークの組み合わせは、通常インタネットと呼ばれる。ネットワーク395は、インタネットでもよく、インタネットを含むネットワークの任意のサブコンビネーションでもよい。またネットワーク395は、私的ネットワーク又は公的ネットワーク、若しくは複数のネットワークの任意の組み合せであってもよい。
【0065】
図9は、本発明の一実施形熊に係る、三次元画像化対象から平面表示を生成するための方法の一例を示すフロー図である。一実施形態において、この方法は、例えば図8に関して上述したように、画像ライブラリモジュールによって画像データサーバから外部へ転送されてもよい。まず最初に、ステップ400において、ILMは、表示要求情報を受信する。要求情報は、好ましくは要求された表示(例えば画像データおよびオフセットおよび高さとともに表示の焦点の解像度および表示の幅)に関する特定の個体群統計学情報を提供する。十分に役に立つ情報のような表示に関する付加的なパラメータは表示を識別する、または、角柱は要求情報、例えば、要求される画像存在の種類(例えば、角柱、クロス層表示、標準表示)の中で提供されてもよい。
【0066】
一旦、識別情報が要求情報から解析されると、ステップ405に示すように、次のILMは要求情報が角柱に対してかどうか判定する。角柱が要求された場合、ILMは角柱を生成するステップ410へ進む。図11(後述する)は、角柱を生成する詳細な方法を提示す。要求情報が角柱に対してではない場合、ILMは次にステップ415において、要求情報がクロス層表示に対してかどうか判定する。クロス層表示が要求された場合、ILMはクロス層表示を生成するステップ420へ進む。図10(後述する)は、クロス層表示を生成する詳細な方法を提示する。
【0067】
要求情報がクロス層表示に対してではない場合、ステップ425において、ILMは表示に対するオフセットを識別する。そして、ステップ430において、ILMは表示に対して焦点を識別する。次に、ステップ435において、ILMは、識別されたZ平面の中のイメージデータをアクセスし、次に、ステップ440において、平面表示を生成する。例えば、高さおよび幅値と組み合わせてオフセットおよび焦点値を使用して全体のイメージデータから切り取ることで、上記要求された表示のZ平面を識別する。
【0068】
図10は、本発明の一実施形態に係る、三次元画像化対象からクロス層表示を生成するための方法の一例を示すフロー図である。一実施形態において、この方法は、例えば図8に関して上述した画像ライブラリモジュールによって画像データサーバから外部へ転送してもよい。まず最初に、ステップ455、460および465において、ILMは、要求されたクロス層平面上の第1、第2および、第3の要点を識別する。これらの要点は、上記要求情報に含まれるパラメータの一つまたは組合せによって識別してもよい。例えば、上記要点は、オフセットおよびクロス層平面の第1、第2および第3の角部に対する焦点値に基づいて導き出してもよい。
【0069】
次に、ステップ470において、ILMは、3つの識別された要点に基づいてクロス層平面を算出する。一旦、クロス層平面が算出されると、ステップ475において、ILMはクロス層平面の中のイメージデータにアクセスする。一実施形態において、このイメージデータにアクセスするために、ILMは、Z軸と直角をなす複数のZ平面の中のイメージデータにアクセスしなければならない。これに対して、ステップ480に示すように、ILMは、直接、クロス層平面の中のイメージデータにアクセスし、次いで、クロス層表示を生成する。クロス層表示の生成において、画像化対象の全部のクロス層平面に対して一部のイメージデータは放棄してもよい。
【0070】
上記した方法は、画像化対象から角柱を生成するために使用してもよい。例えば、一番上の平面および角柱の下部平面は上記の方法に従って識別することができ、次いで、それらの平面の間にイメージデータは要求された角柱を規定する。従って、クロス層角柱またはより単純な角柱を生成することができる。
【0071】
加えて、当業者に公知であるように、角柱を生成している概要は、他の形状(例えば球または異形)の3D表示を生成するために、利用されることもある。この方法において、所望の3D形状の表面は画像化対象の中で最初に算出され、次に、算出表面に対するイメージデータ内部は、3D表示として読み出される。この明細書において、用語となる角柱は、平行した対向辺を有する平均の標準サイズの3D形状に主に使用される。しかし、角柱は、画像化対象内から異形または球面形状または他の3D形状を意味し、断続的に使用され、3D表示として読み出して表示される場合もある。全てのこの種の形状は、本発明の範囲として考慮される。
【0072】
図11は、本発明の一実施形態に係る、3D仮想スライドから画像化対象を生成するための方法の一例を示すフロー図である。一実施形態において、この方法は、例えば図8に関して上述したように、画像ライブラリモジュールによって画像データサーバから外部へ転送されてもよい。まず最初に、ステップ500において、ILMは、画像化対象の上下面を識別する。次に、ステップ505において、ILMは、上部平面に対するイメージデータが3D仮想スライドの中に存在するかどうか、または、それが走査イメージデータの間に空のギャップがあるかどうか判定する。上記上部平面に対するイメージデータが3D仮想スライドの中に存在しないことがステップ505において判定された場合、ステップ510において、ステップ515において図示したのと同様に、ILMは、画像データでZ平面に最も近いものを取得して、上面に対してイメージデータを内挿する。
【0073】
トッププレート(走査データから、または、内挿法によって)に対するイメージデータを取得した後に、ステップ520において、次のILMは、底面に対するイメージデータが3D仮想スライドにあるかどうか、または、底面が走査イメージデータの間に空のギャップがあるかどうか判定する。上記下部平面が存在しないとステップ520において判定された場合、ステップ525において、ILMは画像データでZ平面に最も近いものを取得して、ステップ530の底面に対するイメージデータを内挿する。底面(再び、走査データから、または、内挿法によって)に対するイメージデータを取得した後に、ILMは、画像化対象を生成することができる。画像化対象を生成するためのILMにより用いられる付加的なパラメータは、画像化対象の高さ、幅および奥行を含んでもよい。
【0074】
上記方法は、隣接する画像データによって完全に占有されない画像化対象から角柱を生成するために利用してもよい。従って、角柱を生成するときに、上下面に対する画像データは、画像化対象に存在するか、または存在する画像データから内挿する。次に、上下面間の画像データは、画像化対象からのデータによって中に充満状態にするか、または必要な場合にデータを内挿する。この方法では、標準サイズまたはクロス層角柱は、画像化対象から生成してもよい。
【0075】
図12は、本明細書に記載されている様々な実施形態に関連して使用され得る一例としてのコンピュータシステム550を示すブロック図である。例えば、コンピュータシステム550は、図11に関して上述したIAD、IDSまたはIVW装置と連動して使用してもよい。但し、当業者に明白であるように、他のコンピュ一タシステム及び/又はアーキテクチャを使用してもよい。
【0076】
コンピュ一タシステム550は、好適にはプロセッサ552等の1つ以上のプロセッサを含む。さらに、入/出力を管理する補助プロセッサ、浮動小数点数学演算を実行する補助プロセッサ、信号処理アルゴリズムの高速実行に適したアーキテクチャを有する専用マイクロプロセッサ(例えば、デジタル信号プロセッサ)、主処理システムに従属するスレーブプロセッサ(例えば、バックエンドプロセッサ)、デュアル又はマルチプロセッサシステム用の追加のマイクロブロセッサ又はコントローラ、若しくはコプロセッサ等の追加のプロセッサが提供されてもよい。このような補助プロセッサは、離散プロセッサであっても、プロセッサ552と統合されてもよい。
【0077】
プロセッサ552は、好適には、通信バス554に接続される。通信バス554は、コンピュータシステム550のストレージと他の周辺コンポーネントとの間の情報転送を促進するためのデータチャネルを含んでもよい。通信バス554はさらに、データバス、アドレスバス及び制御バス(図示されていない)を含む、プロセッサ552との連絡に使用される信号の1組を提供してもよい。通信バス554は、例えば業界標準アーキテクチャ(「ISA:Industry Standard Architecture」)、拡張業界標準アーキテクチャ(「EISA:Extended Industry Standard Architecture」)、マイクロチャネルアーキテクチャ(「MCA」)、周辺コンポーネント相互接続(「PCI:Peripheral Component Interconnect」)ローカルバス、又は電気電子会(「IEEE:Institute of Electrical and Electronics Engineers」)が普及している、IEEE488汎用インターフェースバス(「GPIB:Genera1−Purpose Interface Bus」)、IEEE696/S−100及び等を含む規格に準拠するバスアーキテクチャ等である任意の標準又は非標準バスアーキテクチャを備えてもよい。
【0078】
コンピュータシステム550は、好適には、主メモリ556を含み、かつ二次メモリ558を含んでもよい。主メモリ556は、プロセッサ5521上で実行するプログラムのための命令及びデータのストレージを供給する。主メモリ556は、典型的には、ダイナミックランダムアクセスメモリ(「DRAM」)及び/又はスタティックランダムアクセスメモリ(「SRAM」)等の半導体ベースのメモリである。他の半導体ベースのメモリのタイプとしては、例えば、読取り専用メモリ(「ROM:Read Only Memory」)を含む、同期ダイナミックランダムアクセスメモリ(「SDRAM:Synchronous Dynamic RandomAccess Memory」)、ラムバスダイナミックランダムアクセスメモリ(「RDRAM:Rambus Dynamic Random Access Memory」)、強誘電ランダムアクセスメモリ(「FRAM:Ferroelectric Random Access Memory」)等が含まれる。
【0079】
二次メモリ558は、任意選択として、ハードディスクドライブ560及び/又は、例えばフロッピー(登録商標)ディスクドライブ、磁気テープドライブ、コンパクトディスク(「CD」)ドライブ、デジタルバーサタイルディスク(「DVD」)ドライブ等のリムーバブルストレージドライブ562を含んでもよい。リムーバブルストレージメディア564は、例えば、フロッピー(登録商標)ディスク、磁気テープ、CD、DVD等であってもよい。
【0080】
リムーバブルストレージメディア564は、好ましくは、コンピュータ実行可能コ一ド(即ち、ソフトウェア)及び/又はデータを格納しているコンピュ一タ読取り可能メディアである。リムーバブルストレージメディア564に格納されたコンピュータソフウェア又はデータは、電気通信号578としてコンピュータシステム550に読み込まれる。
【0081】
代替実施形態では、二次メモリ558は、コンピュータプログラム又は他のデータ又は命令をコンピュータシステム550にロードできるようにする他の類似手段を含んでもよい。このような手段としては、例えば、外部ストレージメディア572及びインタフェ一ス570を含んでもよい。外部ストレージメディア572の例としては、外部ハードディスクドライブ又は外部光ドライブ及び/又外部磁気光学ドライブを含んでもよい。
【0082】
二次メモリ558の他の例としては、プログラム可能読取り専用メモリ(「PROM:Programmable Read−Only Memory」)、消去可能なプログラム可能読取り専用メモリ(「EPROM : Erasable Programmable Read−Only Memory」)、電気的に消去可能な読取り専用メモリ(「EEPROM:Electrically Erasable Read−Only Memory」)又はフラッシュメモリ(EEPROMに類似するブロック指向のメモリ)等の半導体ベ一スのメモリを含んでもよい。また、ソフトウェア及びデータをリムーバブルストレージユニット572からコンピュータシステム550に転送できるようにする他の任意のリムーバブルストレージユニット572及びインターフェース570も含まれる。
【0083】
またコンピュータシステム550は、通信インターフェース574を含んでもよい。通信インターフェース574は、ソフトウェア及びデータがコンピュータシステム550と、外部デバイス(例えば、プリンタ)、ネットワーク又は情報ソースとの間で転送できるようにする。例えば、コンピュータソフトウェア又は実行可能コードは、ネットワークサーバから通信インターフェース574を介してコンピュータシステム550に転送してもよい。通信インターフェース574の例としては、数例を挙げるだけでも、モデム、ネットワークインターフェースカード(「NIC」)、通信ポート、PCMCIAスロット及びカード、赤外線インターフェース及びIEEE1394ファイアワイヤが含まれる。
【0084】
通信インターフェース574は、好適には、イーサネット(登録商標)IEEE802規格、ファイバチャネル、デジタル加入者線(「DSL:Digital Subscriber Line」)、非同期デジタル加入者線(「ADSL:Asynchronous Digital Subscriber Line」)、フレームリレー、非同期転送モード(「ATM:Asynchronous Transfer Mode」)、統合デジタルサービス網(「ISDNlIntegrated Digital Services Network」)、パーソナル通信サービス(PCS : Personal Communications Services」)、通信制御プロトコル/インターネットプロトコル(「TCP/IP.:Transmission Control Protocol/lnternet Protocol」)、シリアルラインインターネットプロトコル/ポイントツーポイントプロトコル(「SLIP/PPP」)等々のような業界が公布するプロトコル標準を実装するが、カスタマイズされた、若しくは非標準インターフェースプロトコルも同様に実装してもよい。
【0085】
通信インターフェース574を介して転送されるソフトウェア及びデータは、概して、電気通信信号578の形式である。これらの信号578は、好適には、通信チャネル576を介して通信インターフェース574に供給される。通信チャネル576は、搬送波信号578を伝送し、かつ、数例を挙げるだけでも電信線又はケーブル、光ファイバ、従来の電話線、携帯電話リンク、無線データ通信リンク、高周波(RF)リンク又は赤外線リンクを含む様々な有線、又は無線通信手段を使用して実装してもよい。
【0086】
コンピュータ実行可能コード(即ち、コンピュータプログラム又はソフトウェア)は、主メモリ556及び/又は二次メモリ558に格納する。コンピュータプログラムは、また通信インターフェース574を介して受信され、主メモリ556及び/又は二次メモリ558に格納することもできる。このようなコンピュータプログラムは、実行されると、コンピュータシステム550が先に述べたような本発明の様々な機能を実行することを可能にする。
【0087】
この明細書本文における「コンピュータ読取り可能メディア」という表現は、コンピュータ実行可能コード(例えば、ソフトウェア及びコンピュータプログラム)をコンピュータシステム550に提供するために使用する任意のメディアを指して使用する。これらのメディアの例としては、主メモリ556、二次メモリ558(ハードディスクドライブ560、リムーバブルストレージメディア564及び外部ストレージメディア572を含む)、及び通信インターフェース574と通信により接続する任意の周辺デバイス(ネットワーク情報サーバ又は他のネットワークデバイスを含む)を含む。これらのコンピュータ読取り可能メディアは、コンピュータシステム550に実行可能コード、プログラミング命令及びソフトウェアを提供するための手段である。
【0088】
ソフトウェアを使用して実装される一実施形態では、ソフトウェアはコンピュータ読取り可能メディア上に格納され、かつリムーバブルストレージドライブ562、インターフェース570又は通信インターフェース574によってコンピュータシステム550にロードされてもよい。このような実施形態では、ソフトウェアは、コンピュータシステム550に電気通信信号578の形式でロードされる。ソフトウェアは、プロセッサ552によって実行されると、好適には、プロセッサ552に本明細書で先に述べた発明的特徴及び機能を実行させる。
【0089】
また主としてハードウェアにおいては、例えば特定用途向け集積回路(「ASIC:Application Specific Integrated Circuit」)又はフィールドプログラマブルゲートアレイ(「FPGA」)等のコンポーネントを使用して、様々な実施形態を実装してもよい。本明細書に記載された機能を実行することのできるハードウェア状態マシンの実装も、当業者には明らかであろう。また様々な実施形態は、ハードウェア及びソフトウェア双方の組み合わせを使用して実装してもよい。
【0090】
さらに、当業者は、上述の諸図面及び本明細書に開示されている実施形態に関連して記載された例示的な様々な論理ブロック、モジュール、回路及び方法ステップが、しばしば電子ハードウェア、コンピュータソフトウェア又は両者の組み合わせとして実装し得ることを評価するであろう。以上、ハードウェアとソフトウェアのこの互換性を明確に例示すために、様々な例示的コンポーネント、ブロック、モジュール、回路及びステップを概してその機能性に関連して記載した。このような機能性をハードウェア又はソフトウェアとして実装するかどうかは、全体システムに課される特定の用途及び設計上の制約に依存する。当業者は、記載された機能性を特定の各用途に合わせて様々に実装することができるが、このような実装の決定は、本発明の範囲からの逸脱を招くものとして解釈されるべきではない。さらに、機能をモジュール、ブロック、回路又はステップにまとめることは、説明を簡便にするためのものである。特定の機能又はステップは、本発明から逸脱することなく1つのモジュール、プロソク又は回路からもう1つのものへ移動させることができる。
【0091】
さらに、本明細書に開示されている実施形態に関連して記載された様々な例示的な論理ブロック、モジュール及び方法は、汎用プロセッサ、デジタル信号プロセッサ(「DSP:Digital Signal Processor」)、ASIC、FPGA又は他のプログラム可能論理デバイス、離散ゲート又はトランジスタ論理、離散型ハードウェアコンポーネント又は本明細書に記載されている機能を実行するように設計されるこれらの任意の組み合わせによって実装又は実行されてもよい。汎用プロセッサはマイクロプロセッサであってもよいが、代替例では、プロセッサは任意のプロセッサ、コントローラ、マイクロコントローラ又は状態マシンであってもよい。プロセッサは計算デバイスの組み合わせとして、例えば、DSPとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、DSPコアと併用する1つ以上のマイクロプロセッサ又は他の任意のこのような構成として実装してもよい。
【0092】
さらに、本明細書に開示されている実施形態に関連して述べた方法のステップ又はアルゴリズムは、ハードウェア、プロセッサにより直接実行されるソフトウェアモジュール又は両者の組み合わせの形で具現され得る。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD−ROM又はネットワークストレージメディアを含む他の任意の形式のストレージメディア内に存在し得る。一例としてのストレージメディアは、プロセッサがストレージメディアとの間で情報の読取り及び書込みを行えるようにプロセッサに接続され得る。上記代替例では、ストレージメディアはプロセッサに統合され得る。また、プロセッサ及びストレージメディアは、また、ASIC内に存在し得る。
【0093】
開示した実施形態に関する上述の説明は、任意の当業者が本発明を利用できるように提供される。当業者には、これらの実施形態に対する様々な修正が直ちに明らかとなり、本明細書に記載された一般原理は、本発明の精神及び範囲を逸脱することなく他の実施形態に適用できる。従って、本明細書に提示されている説明及び図面は、本発明の現時点での好適な実施形態を表し、よって、本発明により広範に企図されている発明対象を表すものである点は理解されるべきである。さらに、本発明の範囲は、当業者にとって自明となる能性のある他の実施形態を完全に包含すること、よって、本発明の範囲は唯一、添付の請求の範囲によってのみ限定されることも理解される。
【特許請求の範囲】
【請求項1】
コンピュータにより生成された画像化対象に含まれる仮想スライド情報の三次元表示を提供するシステムであって、
コンピュータにより生成される画像化対象は、
1つの画素の画像厚みを有する下部平面の走査画像データと、
1つの画素の画像厚みを有する一番上の平面の走査画像データと、
前記一番上の平面の走査画像データと前記下部平面の走査画像データとの間の二個以上の平面の走査画像データと、
前記下部平面の画像データと前記二個以上の平面の一番目の平面の走査画像データのとの間に定めた空き領域の第1の画像データと、
前記一番上の平面の画像データと前記二個以上の平面の二番目の平面の走査画像データのとの間に定めた空き領域の第2の画像データと、
画像化対象を生成した前記コンピュータにアクセスするように構成し、隣接する仮想スライド情報の三次元表示を提供する画像ライブラリモジュールとを含む、ことを特徴とするシステム。
【請求項2】
隣接する仮想スライド情報の前記三次元表示は、走査画像データと内挿された画像データとを含む、ことを特徴とする請求項1に記載のシステム。
【請求項3】
隣接する仮想スライド情報の三次元表示の前記内挿された画像データが前記第1の画像データの空き領域に配置する、ことを特徴とする請求項2記載のシステム。
【請求項4】
隣接する仮想スライド情報の前記三次元表示の前記内挿された画像データは、前記第2の画像データの空き領域に配置する、ことを特徴とする請求項2記載のシステム。
【請求項5】
前記画像ライブラリモジュールは、画像データの前記下部平面と、走査画像データの前記第1の前記二個以上の平面との間に画像情報を内挿するように更に構成する、ことを特徴とする請求項1記載のシステム。
【請求項6】
前記画像ライブラリモジュールは、画像データの前記一番上の平面と、走査画像データの前記第2の前記二個以上の平面との間に画像情報を内挿するように更に構成する、ことを特徴とする請求項1記載のシステム。
【請求項7】
画像化対象から仮想スライド画像データの三次元表示を生成するコンピュータに実装する方法であって、
第1の高さ、第1の幅および第1のフォーカス値を有する画像化対象で第1の位置を識別するステップと、
第2の高さ、第2の幅および第2のフォーカス値を有する前記画像化対象の第2の位置を識別するステップと、
第3の高さ、第3の幅および第3のフォーカス値を有する前記画像化対象の第3の位置を識別するステップと、
前記第1の位置、第2の位置および第3の位置から前記画像化対象の内の第1の平面を生成するステップと、
第4の高さ、第4の幅および第4のフォーカス値を有する前記画像化対象の第4の位置を識別するステップと、
第5の高さ、第5の幅および第5のフォーカス値を有する前記画像化対象の第5の位置を識別するステップと、
第6の高さ、第6の幅および第6のフォーカス値を有する前記画像化対象の第6の位置を識別するステップと、
前記第4の位置、第5の位置および第6の位置から前記画像化対象の第2の平面を生成するステップと、
前記第1の平面と第2の平面との間にコンティギュアス画像データを取得するステップと、を含むことを特徴とする方法。
【請求項8】
前記取得するステップは、前記第1の平面と、前記第2の平面との間に画像データを内挿するステップを、更に含むことを特徴とする請求項7記載の方法。
【請求項1】
コンピュータにより生成された画像化対象に含まれる仮想スライド情報の三次元表示を提供するシステムであって、
コンピュータにより生成される画像化対象は、
1つの画素の画像厚みを有する下部平面の走査画像データと、
1つの画素の画像厚みを有する一番上の平面の走査画像データと、
前記一番上の平面の走査画像データと前記下部平面の走査画像データとの間の二個以上の平面の走査画像データと、
前記下部平面の画像データと前記二個以上の平面の一番目の平面の走査画像データのとの間に定めた空き領域の第1の画像データと、
前記一番上の平面の画像データと前記二個以上の平面の二番目の平面の走査画像データのとの間に定めた空き領域の第2の画像データと、
画像化対象を生成した前記コンピュータにアクセスするように構成し、隣接する仮想スライド情報の三次元表示を提供する画像ライブラリモジュールとを含む、ことを特徴とするシステム。
【請求項2】
隣接する仮想スライド情報の前記三次元表示は、走査画像データと内挿された画像データとを含む、ことを特徴とする請求項1に記載のシステム。
【請求項3】
隣接する仮想スライド情報の三次元表示の前記内挿された画像データが前記第1の画像データの空き領域に配置する、ことを特徴とする請求項2記載のシステム。
【請求項4】
隣接する仮想スライド情報の前記三次元表示の前記内挿された画像データは、前記第2の画像データの空き領域に配置する、ことを特徴とする請求項2記載のシステム。
【請求項5】
前記画像ライブラリモジュールは、画像データの前記下部平面と、走査画像データの前記第1の前記二個以上の平面との間に画像情報を内挿するように更に構成する、ことを特徴とする請求項1記載のシステム。
【請求項6】
前記画像ライブラリモジュールは、画像データの前記一番上の平面と、走査画像データの前記第2の前記二個以上の平面との間に画像情報を内挿するように更に構成する、ことを特徴とする請求項1記載のシステム。
【請求項7】
画像化対象から仮想スライド画像データの三次元表示を生成するコンピュータに実装する方法であって、
第1の高さ、第1の幅および第1のフォーカス値を有する画像化対象で第1の位置を識別するステップと、
第2の高さ、第2の幅および第2のフォーカス値を有する前記画像化対象の第2の位置を識別するステップと、
第3の高さ、第3の幅および第3のフォーカス値を有する前記画像化対象の第3の位置を識別するステップと、
前記第1の位置、第2の位置および第3の位置から前記画像化対象の内の第1の平面を生成するステップと、
第4の高さ、第4の幅および第4のフォーカス値を有する前記画像化対象の第4の位置を識別するステップと、
第5の高さ、第5の幅および第5のフォーカス値を有する前記画像化対象の第5の位置を識別するステップと、
第6の高さ、第6の幅および第6のフォーカス値を有する前記画像化対象の第6の位置を識別するステップと、
前記第4の位置、第5の位置および第6の位置から前記画像化対象の第2の平面を生成するステップと、
前記第1の平面と第2の平面との間にコンティギュアス画像データを取得するステップと、を含むことを特徴とする方法。
【請求項8】
前記取得するステップは、前記第1の平面と、前記第2の平面との間に画像データを内挿するステップを、更に含むことを特徴とする請求項7記載の方法。
【図1】
【図2】
【図3A】
【図3B】
【図4A】
【図4B】
【図5】
【図6】
【図7A】
【図7B】
【図7C】
【図7D】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3A】
【図3B】
【図4A】
【図4B】
【図5】
【図6】
【図7A】
【図7B】
【図7C】
【図7D】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2012−84158(P2012−84158A)
【公開日】平成24年4月26日(2012.4.26)
【国際特許分類】
【出願番号】特願2011−243159(P2011−243159)
【出願日】平成23年11月7日(2011.11.7)
【分割の表示】特願2007−553229(P2007−553229)の分割
【原出願日】平成18年1月27日(2006.1.27)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.FRAM
【出願人】(503293765)アペリオ・テクノロジーズ・インコーポレイテッド (24)
【氏名又は名称原語表記】Aperio Technologies, Inc.
【Fターム(参考)】
【公開日】平成24年4月26日(2012.4.26)
【国際特許分類】
【出願日】平成23年11月7日(2011.11.7)
【分割の表示】特願2007−553229(P2007−553229)の分割
【原出願日】平成18年1月27日(2006.1.27)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.FRAM
【出願人】(503293765)アペリオ・テクノロジーズ・インコーポレイテッド (24)
【氏名又は名称原語表記】Aperio Technologies, Inc.
【Fターム(参考)】
[ Back to top ]