スライドの可変品質画像を形成するためのシステムおよび方法
スライドの可変品質画像を形成するためのシステムおよび方法。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願への相互参照)
この出願は、米国仮特許出願番号60/651,129、出願日2005年2月7日、60/647,856、出願日2005年1月27日、60/651,038、出願日2005年2月7日、60/645,409、出願日2005年1月18日、60/685,159、出願日2005年5月27日の優先権を主張する。
(連邦政府が出資した研究に関する記述)
適用せず。
画像システムは、例えば、組織や血液などの試料の拡大した画像を捕捉するために用いられる。例えば、それらの画像を観察および操作し、試料が病変しているかどうかを診断する。それらの画像はさらに、インターネットなどのネットワークを介して画像データを送信することによって、他の市や国にいる診断医などの他者と共有できる。
【発明の開示】
【発明が解決しようとする課題】
【0002】
しかし、それらの画像を効率的に捕捉、処理および転送し、診断医と同様の方法でそれらの画像を表示し、診断処理の時間を節約し安価にするシステム、デバイスおよび方法が必要となっている。
【課題を解決するための手段】
【0003】
ここで、添付の図面に示されている画像および画像インタフェース装置、システム、および方法の実施例を参照する。画像および画像インタフェース装置、システム、および方法の詳細、特徴、および利点は、その実施例についての以降の詳細な説明においてさらに明らかになる。
【0004】
明細書内での「一実施例」、「所定の実施例」への任意の参照、またはある実施例についての同様の参照は、その実施例と共に説明される特定の特徴、構造または性質がこの発明の少なくとも一つの実施例に含まれることを示すものとする。明細書内の様々な場所でのこのような用語の出現は、必ずしも全ての同じ実施例を参照するものではない。「または」への参照も包含的なものであるので、「または」はオアで接続した用語の一方または他方、またはオアで接続した用語の一つ以上を示すことができる。
【0005】
ここで用いられる「デジタルスライド」または「スライド画像」は、スライドの画像を指している。ここで用いられる「スライド」は、試料、および試料を配置または収容する顕微鏡スライドまたは他の基板を指している。
【0006】
デジタルスライドの出現は、破壊的技術(disruptive technology)と考えられる。スライド検査のアナログ的性質は、情報および他のコンピュータ技術の効率性を活用する顕微鏡における作業方法の採用を妨げている。解剖病理学者などのスライドを観察する一般的な顕微鏡ユーザは、検査されるスライドについての情報を見るためのテキストデータベースを有し、それらの検査の結果に関するメモ書きを指示または入力するためにその同じ情報システムを用いることができる。それを超える任意のデータ捕捉は、かなり制限されることがある。カメラからスライド画像を捕捉し、着目領域にメモ書きするためにデータベースにそれらを送信することは煩雑であり、スライド検査にかかる時間を増やし、実際のスライド観察の時点に関連すると思われるスライドのそれらの部分だけを捕捉することがある(データマイニングアプリケーション内で望まれる洞察力を制限する)。
【0007】
デジタルスライドを利用することによって、顕微鏡スライド検査用のデジタル作業場を形成する際に失われる部分が提供される。現在では、所定の環境では、データの操作に含まれる全てのデータおよび処理をデジタル的に処理することが可能になっている。このような垂直統合は、新しいアプリケーション、新しい作業場組織を切り開き、以前は臨床病理学に制限されていた解剖病理学の処理に同種の効率、品質改善、および拡張性をもたらす。
【0008】
ガラススライドを検査する処理は、所定の例では非常に速い処理になることがある。操作者は、顕微鏡システムの一部であるか、またはそれと共に使用されるステージ上にスライドを置くことができる。ユーザはステージ用の制御を用いてスライドを移動することも、適用可能な場合はステージクリップを取り除き指でスライドを自由に移動させることもできる。いずれの場合でも、任意の着目領域へのスライドの物理的移動は極めて高速であり、顕微鏡の対物レンズ下のスライドの着目領域からの任意の画像の提示は文字通り光速で行われる。また、顕微鏡の日常的ユーザは、スライド画像の高速な検査を容易にするシステムを用いて効率的に作業できる。
【0009】
ユーザは、新しい能力を提供するデジタル作業場において画像を検査することから恩恵を受け、競合する作業場上での恩恵は他の能力の損失によって打ち消されない。デジタルスライド技術の構成は、ここで説明される画像サーバ850などの画像サーバを含むことができ、前記画像サーバはデジタルスライドまたは画像を格納し、リモート観察ステーションにデジタルスライドの一部を「ストリーミング」することによって送信できる。リモート観察ステーションは、例えば、ここで説明される画像インタフェース200またはデジタル顕微鏡ステーション901、またはネットワーク上で通信可能な別のコンピュータまたはコンピュータ化システムであってもよい。デジタルスライド技術の別の構成では、リモートサイトのユーザはデジタルスライドファイルをローカルコンピュータにコピーし、そのコンピュータのファイルアクセスおよび観察システムを用いてデジタルスライドを観察できる。
【発明を実施するための最良の形態】
【0010】
図1は、組織の形成および検査用の処理100の一実施例のフローチャートである。102では、生検および針生検を含む様々な外科手術によって、人間や動物などの生体から組織を除去または採取する。104では全体観察を行い、除去した一つ以上の組織を除去した形態で観察するか、もしくはじっくり調べる。それから、一つ以上の断面を全組織から取り除き、顕微鏡スライドまたは顕微鏡ステージなどの基板上に取り付け観察することができる。106では、組織上または組織に対して特別な処理を行うことができる。特別な処理の一形態は、組織に染色を加えることである。108では一般に基板上に組織を配置し、組織上にカバースリップを接着させるか、または他の手段によってスライドを準備する。また、生体から血液などの流体または他の材料を除去して基板上に配置することもでき、もしくは画像化用の準備を行うことができる。画像化される組織、流体、および他の材料、医学的サンプルまたは他のサンプルは、ここでは「試料」と呼ばれることもある。例えば、様々な実施例では試料は組織サンプルまたは血液サンプルを含むことができる。
【0011】
110では、スライドを画像化できる。スライドは、スライドの少なくとも一部のデジタル画像を捕捉することによって画像化でき、試料は米国特許出願番号09/919,452内で説明されているように前記スライド上に配置するか、または画像技術において公知の他の方法で配置する。デジタルスライドまたはスライドの画像は、所定の機能的目標の実現に十分なスライド(従って試料)のデジタル表現であってもよい。この表現はスナップショットと同じぐらいに単純であっても、マルチスペクトル、マルチ断面、マルチ解像度データセットと同じぐらいに複雑であってもよい。それから112ではデジタルスライドは技術者によって検査され、試料が診断に適していることを保証する。114では診断医がデジタル画像またはスライドを考慮し、試料に関連する病気または他の問題を診断する。
【0012】
一実施例では、110において一つ以上の仮想顕微鏡スライドを形成する際に使用するために、試料の画像データを得るためのシステムおよび方法が用いられる。このシステムおよび方法は、一つ以上の顕微鏡スライドの可変解像度の画像を獲得するために用いられる。
【0013】
仮想顕微鏡スライドまたは仮想スライドは、顕微鏡スライドの画像または拡大した画像を表すデジタルデータを有することができ、デジタルスライドまたはスライドの画像であってもよい。仮想スライドがデジタル形態である場合、コンピュータメモリまたはストレージ装置内などの媒体上に格納でき、インターネット、イントラネット、図6および図7などに対して説明されるネットワークなどの通信ネットワークを介して図7に対して説明されるノード254、256、258、または260の一つなどのリモート位置の観察者に送信でき、前記観察者は、例えば、ここで説明される画像インタフェース200またはデジタル顕微鏡ステーション901であってもよい。
【0014】
仮想スライドは、いくつかの例では既存の顕微鏡スライドを超える利点を提供できる。いくつかの場合、仮想スライドによって医師は既存の顕微鏡スライドを用いて可能なものより素早く、簡便で、経済的に診断を提供できる。例えば、仮想スライドは、通信ネットワークを介してリモート位置の技術者などリモートユーザにとって利用可能になり、医師は技術者と協議して遅延なしに診断を提供できる。また、仮想スライドはデジタル形態で無限に格納し、医師または技術者の都合により後で観察できる。
【0015】
仮想スライドは、顕微鏡の対物レンズの下に顕微鏡スライド(拡大した画像が望まれる試料を有することができる)を配置し、スライドの全てまたは一部をカバーする一つ以上の画像を捕捉し、画像を組み合わせてスライドの単一の統合したデジタル画像を形成することによって生成される。スライド全体は、画像化部の拡大する(例えば、20×の)対物レンズの視野より大きいことがあるので、スライドを複数の領域または部分に分割し、各領域または部分に対して別個の画像を形成することが望ましい場合もある。さらに、多くの組織の表面は不均一であって局所的な振動を含んでもよい(それは、固定z位置を用いて、スライド全体の焦点画像を捕捉する場合は困難をもたらす)。ここで用いられるように、用語「z位置」は、デカルト(Cartesian)座標系のz軸の座標値を指している。z軸は、ステージに向かって対物レンズを導く軸を指示することができる。z軸はx軸とy軸の各々から90°の角度であってもよく、必要に応じて別の角度であってもよい。x軸とy軸は、顕微鏡ステージが存在する面内であってもよい。従って、いくつかの技術はスライドの様々な領域または部分を表す複数の画像を獲得することや、それらの画像をスライド全体の統合された画像に組み合わせることを含むことができる。
【0016】
顕微鏡スライドのデジタル画像を捕捉するための一つの技術は、開始/停止捕捉法である。この技術によると、調査のためにスライド上の複数の対象点を指定できる。スライド上には、対物レンズ(例えば、20×)を配置できる。各対象点ではz位置を変更し、複数のz位置から画像を捕捉できる。それから画像を調査し、所望の焦点位置を決定できる。焦点調節動作中に得られた画像の一つの焦点が十分に合っていると決定された場合、スライド上の各対象点に対する所望の焦点画像としてその画像を選択できる。画像の焦点がどれも合っていない場合、画像を解析し所望の焦点位置を決定できる。対物レンズは所望の焦点位置に移動させ、新しい画像を捕捉できる。いくつかの場合、画像の第一シーケンスは、所望の焦点位置を決定するための十分な情報を提供できないことがある。このような場合、z位置の狭い範囲内の画像の第二シーケンスを捕捉し、所望の焦点位置の決定を容易にできる。この方法で得られた複数の所望の焦点画像(各対象点に対して一つ)を組み合わせて、仮想スライドを形成できる。
【0017】
焦点画像を形成し仮想スライドを形成するために用いられる別の方式は、顕微鏡スライドを調査し焦点マップを生成することを含み、前記焦点マップはスライド上の限られた数の点上で対物レンズの焦点を合わせることによって形成された推定焦点面である。それから、焦点マップに基づいて走査動作を行うことができる。いくつかの技術またはシステムは、スライド上の限られた数の点に対して、所望の焦点情報を決定することによって焦点マップを構成できる。例えば、このような技術またはシステムはスライド上の3〜20個の対象点から選択し、対物レンズを用いて各対象点において焦点調整動作を行って所望の焦点位置を決定できる。それから、これらの対象点に対して得られた情報を用いて、スライド上の任意の未調査の点に対して所望の焦点情報を推定できる。
【0018】
顕微鏡の対物レンズは、顕微鏡スライド上の指定された各対象点に対して複数の焦点捕捉動作を行う必要が頻繁にあるので、開始/停止捕捉システムは、上記のように比較的低速になる可能性がある。さらに、対物レンズの視野が制限されることがある。所望の焦点情報を直接得る点の数は、スライド全体の比較的小さな部分となることがある。
【0019】
焦点マップを構成するための技術は、いくつかの場合は他の技術のいくつかの利点を欠くこともある。第一に、所定の対象点に対して所望の焦点データを得るために、高倍率の対物レンズを用いると比較的低速になることがある。第二に、スライド上の限られた数の点から焦点マップを生成すると、得られた焦点マップが不正確になることがある。例えば、スライド上の組織は、均一で滑らかな表面を有していない場合も多い。また、多くの組織面は、わずかな距離で変化するムラを含むこともある。焦点情報を得るために、欠陥または著しい位置のバラツキを有する組織の面上の点を対象点として選択した場合、そのズレが焦点マップ全体の所望の焦点位置に対する推定値に影響を与えることがある。
【0020】
焦点技術にかかわらず、ユーザは高品質を希望しながら、同時にさらなる高速化を要求し続けている。様々なシステムが、画像捕捉手順の一部として、着目領域検出ルーチンを用いることによってユーザの要求に適合しようとしている。スライド全体を走査もしくは画像化するのではなく、これらの技術は、スライドのどの部分が試料または対象組織を含むかを決定しようとしている。そして、試料または対象組織を含むスライドの領域だけを走査もしくは画像化できる。スライドの大部分は試料を含まないことがあるので、この画像技術は走査時間全体の著しい低減をもたらす可能性がある。概念的に簡単であるが、実際にはこの技術は、スライド内に存在する多くのアーチファクト(artifact)によって妨げられることがある。これらのアーチファクトには、埃、引っ掻き傷、スライドの気泡、スライドのカバースリップ(coverslip)の端部、および浮遊組織の破片が含まれる。所定の場合、これらのアーチファクトは非常に大きなバラツキとなるので、このような着目領域検出ルーチンは一つ以上の高度な画像シーン解析アルゴリズムを含むことが必要とされる。全ての組織を走査もしくは画像化する必要がある要件の場合、このようなアルゴリズムを生成することは非常に困難であり、いくつかの場合、かなりのユーザごとのカスタマイズなしでは実際に100%は成功しそうにない。別の選択は、システムの感度は非常に高くするが、特異性は低くすることである。この選択は、その感度のために組織を検出する可能性はより高くなり、その低特異性のためにアーチファクトを検出する可能性も高くなる。その選択は、走査または他の画像スループットも実質的に低減し、それに応じて着目領域検出の利便性も得られる。
【0021】
一実施例では、図1の110における画像の捕捉は、図8のような画像形成方法700を用いている。画像形成方法700は、一つ以上の構成要素を組み込むことができる。第一はルーチンであり、それは、例えば、機能を実行するためのコンピュータプロセッサによって実行可能なソフトウェア、または他のプログラム内などの一組の命令であってもよい。このルーチンは、多層着目領域(ROI)検出ルーチンであってもよい。ROI検出ルーチンは、例えば、米国特許出願番号09/919,452または09/758,037で説明されているような画像化のための組織を含む領域など、スライド上にROIを配置するためのシステムまたは方法を含むことができる。ROI検出ルーチンは、スライド全体のマクロ画像またはスライドの一部の画像などスライドの捕捉した画像を解析することによってROIを配置できる。スライド上のどこに組織が配置され、どこに配置されていないかに関する二者択一を提供するのではなく、画像形成方法700は、多層ROI検出ルーチンであるROI検出ルーチンを用いて、ROIを含むそれらの確率に従って信頼度スコアなどを用いて、様々な部分の捕捉した画像をグレード付けすることによってスライドの一部を評価する。
【0022】
多層ROIルーチンは、例えば、スライド画像部の画素強度または他のテクスチャフィルタ出力の平均、および標準偏差などの所定の統計量の閾値を付けることによってこのようなグレード付けを行い、対応するスライド部分が組織を含むか非組織であるかを判断することができる。組織を含むことが期待される第一閾値は、平均などの第一尺度の一つに適用できる。画像内の各画素に対して、例えば、1mm×1mmの領域内の周囲の画素の平均を計算できる。所定の領域の平均が、例えば、50〜200(8ビット(0〜255)のグレイスケール値の場合)の閾値範囲にあれば、画素が対応するスライドのその部分には、組織を含むと考えられる。平均が50より小さいか200より大きい場合、組織を示していないか、もしくは組織を含まないと考えられる。第二の閾値付けステップは、標準偏差に適用することで構成される。平均に対する計算と同様に、各画素がそれおよびその周囲の画素(例えば、1mm×1mmの領域)に対して計算された標準偏差を有する。標準偏差が所定の閾値、例えば、5より大きい場合、その画素は組織を示すと考えられる。閾値以下であれば、組織を示すとは考えられない。各画素の位置に対して、第一および第二閾値付けステップの結果を比較できる。所定の画素位置に対して、画素が組織を示すことを閾値演算のどちらも指示していない場合、その画素は非組織として割り当てられる。画素が組織を示すことを閾値の一方だけが指示する場合、その画素は組織を示す中間の確率が与えられる。画素が組織を示すことを両方が指示する場合、どちらも組織を示すと考えられる。
【0023】
また、一実施例では、単一の閾値を維持し、タイリング(tiling)マトリクス相、つまりスライド画像をタイル、画素または他の部分に分割した相に強調を加えることができる。タイリングマトリクス内の全画素の割合として組織を示すようにマークを付けた画素の数が、信頼度スコアとして用いられる。大量の正の画素、つまり組織を示すとしてマークを付けた画素を備えたタイルは組織を示す可能性が高いが、正の画素の量が非常に少ないタイルが実際に組織を示す可能性は低くなる。このような方法論(methodology)は、より連続的なスコアのアレイ(例えば、0〜100)をもたらし、画像を形成する各画素または他の部分の品質設定のより連続的なアレイを可能にする。
【0024】
画像形成方法700は、710において評価される一つ以上のスライド部を識別する。従って、画像形成方法700は710において、一実施例では、均一なグリッドにスライド画像を分割することによるなどスライド画像を評価部分に最初に分割する。一例は、スライドの50mm×25mmの領域を50×25のグリッドに分割し、前記グリッドは1250個の部分を有し、それがブロックとなり、各々がほぼ1mm2のブロックを形成する。一実施例では、画像形成方法700は710において、例えば、図9の画像化部801を用いて、もしくはここで説明されるように評価用に識別される少なくともスライド部の画像をまず捕捉することを含んでいる。
【0025】
720では、各ブロックを評価する。この例の各ブロックには730において、組織を含むブロックの領域の確率に対応する信頼度スコアを与えることができる。信頼度スコア(ROI確率または可能性)は740で決定され、以降で説明されるように品質の決定、それへの対応、もしくは影響を与えることが可能であり、図9の実施例の画像化装置800などの画像化装置によって750において、それと共にブロックまたは他の部分の画像が獲得される。画質は、解像度、ステージ速度、走査または他の画像設定、ビットまたは色の深み、画像補正処理や画像結合処理などの一つ以上の画像化パラメータに依存する。一実施例では、多層ROI検出ルーチンは、720、730、および可能であれば740も含むことができる。別の実施例では、多層ROI検出ルーチンは710で、スライドを評価部分に分割することを含んでいてもよい。
【0026】
一実施例では、スライド画像または試料画像の解像度は、画質の最も直接関連のある尺度である。ここで説明されるように、図9の画像化部801などの画像化部によって形成される画像の解像度は、画像の鋭敏さおよび明瞭さを指し、デジタル解像度、光学系の分解能、および他の因子を含む画像化部の一つ以上の基準の関数であってもよい。デジタル解像度は、捕捉したデジタル画像の面積当たりの最大ドット数を指している。組織を有する確率が最も高い画像の部分は750において、利用可能な最高解像度で走査または画像化でき、それはいくつかの状況では最高の品質に対応する。組織を有する確率が最も低く、従って信頼度スコアが最も低い部分は750において最低品質で画像化され、それは利用可能な最も低い画像の解像度に対応する。信頼度スコアは、画像の解像度、画質の一つ以上の他の形態、もしくはここで説明される他の所望の画像化パラメータと直接相関させることができる。
【0027】
多層ROI検出ルーチンによって評価するために710などで、最低品質の画像の一つ以上の部分を既に捕捉している実施例では、既に捕捉している画像を用いることができ、画像の冗長性について以降で説明するように一つ以上の部分を再画像化することはできない。
【0028】
一実施例による画像システムの能力に依存して、組織の中間の確率、従って中間の信頼度スコアに対応する一つ以上の中間の解像度が740において決定され、750において画像化される。画像化部または画像化装置が離散的(discrete)な解像度を有する場合、中間の解像度数は基本的に離散的であってもよい。例えば、5個の対物レンズの倍率(2×、4×、10×、20×、40×)が利用可能な場合、システムは2×の対物レンズを用いて行う場合に最低解像度の画像化、40×の対物レンズの場合に最高解像度、4×、10×、および20×の対物レンズの場合に三つの中間の解像度を定義できる。
【0029】
離散的な解像度選択を備えた実施例では、組織を含むスライド部の確率、従って730において決定される信頼度スコアは、740においてその部分に対する画像解像度設定を定義するために解像度の一つのビンに入れる(binned into)ことができる。例えば、画像形成法700は、そのスライド部を画像化する解像度と共にスライド上のその位置を格納することによって、740などにおいてスライド部をビンに入れることができる。
【0030】
ビンの決定は740において、例えば、閾値化および適応閾値化を含む様々な方法のいずれかによって行うことができる。三つの離散的な解像度選択の場合の簡単な閾値化の一例は、二つの閾値を定義することである。第一の閾値は10%の信頼度スコアであってもよく、第二の閾値は20%の信頼度スコアであってもよい。つまり、10%未満の信頼度スコアが最低解像度ビンに分類される。10%以上で20%未満の信頼度スコアは、中間の解像度ビン内であってもよい。20%以上の信頼度スコアは、最高解像度ビン内であってもよい。
【0031】
適応閾値化の一例では、特定の試料のグリッド部の最高確率スコアと最低確率スコア、従って最高信頼度スコアと最低信頼度スコアを計算できる。最高信頼度スコアと最低信頼度スコアの差の事前に定義された割合を最低信頼度スコアに加えて、低解像度閾値信頼度スコアを決定することができる。低信頼度スコアと低閾値の間にある部分の信頼度スコアは、最低解像度ビン内に分類される。最高信頼度スコアと最低信頼度スコアの間の差の異なる(より高い)割合を最低信頼度スコアに加えて、全ての異なる解像度に対して次のより高い解像度閾値などを決定できる。様々な割合の差の選択は様々なパラメータの関数として決定でき、それは、例えば、システムに対して利用可能な対物レンズの数、それらの各画像の分解能、その範囲で利用可能な最高の解像度、などの一つ以上を含むことができる。
【0032】
一実施例では、画像形成法700の一例は、720、730、および740においてスライドまたは他のサンプルを解析し、その評価部分の中で、最低信頼度スコア5および最高信頼度スコア80を有することを決定することをが含まれる。これらのスコアは、その部分がROIであるかどうかに関する確率の割合に対応することも、他の値に対応することもできる。画像形成法700は、ここで説明される画像化部801などの画像化部と共に利用でき、三つの離散的な解像度選択−例えば、1画素当たり2μmの解像度、1画素当たり0.5μmの解像度、および1画素当たり0.25μmの解像度を有することができる。第一の閾値は(最低値)+(最高値と最低値の差の10%)、つまり5+((80−5)*0.1)=12.5として定義される。第二の閾値は(最低値)+(最高値と最低値の差の20%)、つまり5+((80−5)*0.2)=20として定義される。第一閾値より小さな信頼度スコアの部分は、1画素当たり2μmで画素化される。第一閾値以上であるが第二閾値未満の信頼度スコアの部分は、1画素当たり0.5μmで画素化される。第二閾値以上の信頼度スコアの領域は、1画素当たり0.25μmで画像化される。
【0033】
別の実施例では、離散的な解像度選択は740において他の画像捕捉パラメータを加えることによって、より連続的な組の品質選択に変換され、前記パラメータは解像度アルゴリズムに対する画質に影響を与える。連続的走査または他の画像化装置の場合、ステージ速度が画像捕捉パラメータの一つであってもよく、前記パラメータは画質に重要な影響を与えることができる。より高いステージ速度はより高い画像捕捉技術速度を提供することが多いが、画像解像度が低くなるとそれに応じて画質も低くなる。より高いステージ速度における画像化に関連したこれらの特性は、複数の対物レンズと組み合わせて用いられる。公称画像解像度は公称画像速度と関連付けられ、前記公称画像速度は、例えば、速度範囲の中間であってもよい。各対物レンズは複数の画像速度設定と関連付けられ、公称画像速度より速くても遅くてもよく、その対物レンズに対する公称画像速度からの画像速度を変化させて、その対物レンズで捕捉される画像の解像度を増減できる。画像化中にステージ速度を変化させるこの技術によって、各対物レンズに関連したビン、およびこれらの対物レンズの一つ以上に関連した二つ以上のステージ速度用の追加または下位のビンを含めることなどによって、対物レンズ数を超えて品質ビンの数を拡張できる。
【0034】
例えば、10×と20×の走査対物レンズの各々で画像化される部分に対して指定される二つの主ビンがあってもよい。これらの二つの主ビンは二つのより小さいビンに再分割でき、10×の対物レンズでステージ速度50mm/s、10×の対物レンズでステージ速度100mm/s、20×の対物レンズでステージ速度25mm/s、20×の対物レンズでステージ速度50mm/sとなる。
【0035】
別の実施例では、複数の捕捉方法つまり750において画像を捕捉する焦点面の数は、画像捕捉の品質および速度に影響を与える変数であってもよい。従って、740において追加の品質ビンを提供するために、焦点面の数または焦点距離を用いることもできる。複数の焦点面を利用し、平面の組み合わせ(例えば、様々なz位置におけるスライドの画像化)によって焦点品質を改善するシステムの場合、より多くの面が画像化用の対物レンズで利用可能な最高解像度のより高い確率に対応する。その結果、740において対物レンズに対してより多くの解像度ビンまたは品質ビンを提供するために、捕捉される焦点面の数を用いることができる。対物レンズに対する最低品質ビンは一つの焦点面を有することができ、最高品質ビンは、例えば、7個の焦点面を有することができる。各対物レンズは、それ自体の固有のビンを定義を有することができる。例えば、2×の対物レンズは一つの焦点面に一つのビンだけを有することができるが、10×の対物レンズは三つのビンを有することができ、一つの焦点面で最低品質、二つの焦点面で別の品質、三つの焦点面で最高品質を有することができる。所定の画像化対物レンズに適した品質ビンの数はユーザにより定義可能であってもよいが、対物レンズの開口数(NA)に比例することができ、より高いNAの対物レンズはより多くの焦点面を有する。例えば、0.95の高NAの対物レンズは10個の焦点面を有するが、0.5の低NAの対物レンズは3個の焦点面を有することができる。
【0036】
得られる画像データは、スライドの所望の領域全体に対して画像データを生成できる。しかし、捕捉される画像領域の各部分は、750において異なる品質設定で捕捉される場合もある。システムは、画像化される領域内の冗長性をなくすための機能を本質的に提供できる。例えば、システムはデフォルトでは750において複数の品質設定で同じ領域を画像化できず、それはシステムの効率を増大できる。例えば、画像を捕捉するために用いられるデータ(タイルである部分(例えば、正方形または他の形状の部分)を備えたタイリングマトリクスなど)が複数の品質レベルで画像の一部を捕捉することを示す場合、その部分は示された最高品質レベルで画像化できる。
【0037】
画質は、例えば、対物レンズおよび他の形態の光学系の光学的分解能、カメラまたは画像捕捉装置のデジタル解像度、およびビット深さ捕捉能力および画像圧縮レベルやフォーマット(例えば、ロスなし、ロスあり)などの画像捕捉装置の他の形態、光学系および画像捕捉装置に対する試料の移動、適用可能な場合のストロボ光の速度、画像化する試料上に光学系や画像捕捉装置を集束させる精度、およびこれらの画像化パラメータのいずれかに対して可能な設定数を含む様々な画像化パラメータに依存できる。
【0038】
焦点品質、従って画質はさらに、例えば、米国特許出願番号09/919,452で説明されているものなどの焦点面の数や、焦点制御を含む様々な焦点パラメータに依存している。
【0039】
画質に影響を与える他のパラメータは、例えば、加えられる画像補正技術、画像結合技術、および光学系の開口数を画像化中に動的に調整可能かどうかを含んでいる。
【0040】
画像形成方法700の別の構成および実施例は、画像冗長性を提供できる。画像冗長性は、画像領域の焦点品質を決定するための有用な機構であってもよい。例えば、所定の領域を画像化するために、4×の対物レンズなどのより低品質であるが被写界深度の高い対物レンズを用いることができる。同じ領域を画像化するために、20×の対物レンズなどのより高品質であるが被写界深度の狭いものを用いることができる。20×の画像内の画素強度のコントラスト範囲と4×の画像のコントラスト範囲を比較することによって、20×の画像の焦点品質を決定できる。20×の画像のコントラストが4×の画像より低い場合、20×の画像は焦点がずれている可能性がある。この技術はさらに、対物レンズの各OTF(光学的伝達関数)と共に、フーリエ空間内で4×と20×の対物レンズから得られる対応する画像を解析することによって改良できる。4×の画像のフーリエ変換は、4×の対物レンズのOTFと対象物のフーリエ変換の積である。同じことは、20×の対物レンズに対しても適用できる。両方の画像の焦点が合っていれば、対象物は同一となる。従って、4×のOTFと20×のフーリエ画像の積は、20×のOTFと4×のフーリエ画像の積と等しくなる。4×の画像は焦点が合っている可能性が高いので、上記の式からの大きなズレは20×の画像の焦点が合っていないことを意味する。式の両側で絶対値を取ることによって、より容易に利用可能で測定も容易になるようにOTFの代わりにMTF(変調伝達関数)を用いることができる。
【0041】
OTFとMTFはどちらもレンズ製造業者から入手したり、独立した研究所によって測定することができる。実際には、個々の対物レンズに対して得られるOTF/MTFではなく、その対物レンズの種類に対して推定されたOTFまたはMTFを用いることができる。
【0042】
他の実施上の考慮点は、比較において周波数の範囲を制限することによって、システム雑音の寄与を最小化することが含まれる。構成は、比較のための最も効率的な周波数範囲と、何が式で大きなバラツキを構成するかを決定するために必要とされる。異なる対象の厚さに対して構成することも必要とされる。一実施例では、画像の冗長性は、複数のビンに入れるステップによって実現される。スライドの所定のグリッドブロックまたは他の部分は、一つ以上の規則を用いて第二のビンに入れるステップを適用することによって第二ビン内に配置できる。例えば、上記のように、740の一部であってもよいビンに入れることに加えて、第二ルールが740において適用される。第二ルールの一例は、第一のビンに入れるステップ中、それらが配置されるビンに加えて最低の解像度または品質のビンに試料の全てのブロックまたは他の部分を配置するルールである。第一のビンに入れるステップによって、そのブロックまたは他の部分が最低の解像度または品質ビンに配置される場合、そのブロックまたは他の部分は既にそのビン内にあるので、そのブロックまたは他の部分に対して追加のステップは発生しない。
【0043】
ROIの決定に利用される元の画像が適切な品質であれば、それはデータ源として利用できる。元の画像は冗長画像源として役立つことも、ビンの一つに画像データを提供するために利用することもできる。例えば、2×の対物レンズを用いてROIを決定するための画像が形成された場合、この画像は2×のビン用の画像データを提供するために利用できる。冗長画像の一つとして既に捕捉されているデータを用いることができるので、これは効率を提供できる。
【0044】
一実施例では、画像化される領域の決定は、画像化前にユーザによって指定できる。例えば、画像化部の対物レンズ、ステージ速度、他の品質要因、またはそれらの一つ以上の追加のパラメータもユーザ調整可能にすることができる。焦点または領域選択は、手動であっても自動であってもよい。手動焦点または領域選択の場合、ユーザはスライド上の領域にマークを付け、焦点マップを形成する焦点または領域を捕捉する。焦点または領域検出用の自動システムの場合は自動ROI検出ルーチンを適用するが、画像領域を定義するのではなく焦点マップ用の焦点を提供するために役立つ。焦点マップは、例えば、係属中の米国特許出願番号09/919,452で説明されているように生成できる。
【0045】
図9は、一実施例による画像システム799を示している。獲得した画像は、図9の画像システム799の圧縮部/アーカイバ803について説明するように圧縮でき、図9についてここで説明されるように画像サーバ850のハードディスクドライブや記憶装置854などの固定媒体上に格納できる。画像を圧縮し格納するために、多くのフォーマットを用いることができる。このようなフォーマットの例には、JPEG in TIFF、JPEG2000、GeoTIFF、およびJPEG2000 in TIFFが含まれる。任意の所定の領域が対応する組の画像データを有することができ、それはファイル内に格納できる。所定の画像領域に対して利用可能な画像が一つ以上ある場合、いずれも格納できる。マルチ領域記憶は、各ファイル内に複数の画像ディレクトリを生成し、各ディレクトリが一つの画像を表すことを含む処理によって実現できる。
【0046】
図8を参照すると、例えば、ここで説明される画像インタフェース200またはデジタル顕微鏡ステーション901などの観察ステーションでの観察目的や、コンピュータベースの解析目的で人が760で画像を用いようとするとき、画像データを抽出し描画するために一つ以上の追加のルールが利用される。画像リクエストは760において、表示されるスライドの領域、およびズームの割合またはそれと関連した解像度についての画像へのリクエストを含むことができる。リクエストされたズームの割合またはリクエストされた領域の解像度レベルにおいて、画像データがリクエストされた画像データの全てまたは一部に存在しない場合、一実施例によるシステムはリクエストされたズームの仕様に対して、画像の必要な部分を再サンプル(アップサンプル(upsample)またはダウンサンプル)するために役立つサンプリング技術を利用できる。
【0047】
例えば、ユーザは760において長方形「A」によって定義された所定の領域に対して、ズーム割合100%で画像をリクエストしたが、システムは100%のズームでは画像の半分だけに対して利用可能なデータを有し、他の半分が50%であった場合、システムは50%の画像をアップサンプルし、ズーム割合を100%にした場合と等価な画像を形成できる。アップサンプルしたデータは真の100%の画像データと組み合わせて、長方形Aによって定義された領域に対して100%における画像を生成できる。このアップサンプリングは、図7のノード254、256、および258などのクライアントにサーバ260から送信を行う前後に行うことができる。送信後のアップサンプリングは、送信されるデータサイズを最小化する際に効率よく提供できる。この発明の一実施例は複数の品質で画像を形成できるので、いくつかの領域はリクエストされた品質で全ての所望のデータを有する可能性があるが、他の領域はリクエストされた品質で利用可能な領域の一部だけを有し、従って、変更された画像化パラメータを用いて750において再サンプルしなければならない可能性がある。他の領域は、リクエストされた品質で利用可能なものを全く有しておらず、全領域に対して再サンプルしなければならない可能性もある。
【0048】
トリガされるz捕捉は、例えば、710または750などにおいて、図9の画像化部801の実施例などの画像化部の光学系が一つ以上の所望の焦点距離に配置されるとき、対象の全てまたは一部の一つ以上の画像を捕捉することを含むことができる。画像化部801は、命令された光学位置に基づいて、または位置センサによって検出されるようにそれらの画像を捕捉できる。
【0049】
一実施例は、複数の焦点面を素早く捕捉するための方法を含んでいる。図9の画像化部801の顕微鏡光学系807などのシステムで用いられる顕微鏡上のz軸制御システムは、所定の経路に沿った移動内に設定される。この移動中、z位置を示すエンコーダまたは同様の装置は制御装置に位置データを送信できる。所定の位置では、制御部は画像化部801のカメラ802などのカメラ、ストロボ光、または他の装置にトリガパルスを起動して所定のz位置で画像の捕捉を実現する。各画像に対応するz位置データを伴った複数の画像の捕捉は複数の焦点面のデータの組を提供し、さらに最適または所望の焦点のz位置を計算するためのデータを提供できる。この最適または所望の焦点計算は、エントロピに基づく焦点のインデックスを利用する方法など様々な方法によって実行される。
【0050】
カメラの露出をトリガする別の実施例はフリーランモードでカメラを動かすことであり、前記モードではカメラは所定の時間間隔で画像を捕捉する。捕捉される各画像に対するz位置は、この処理中のzエンコーダから読み取ることができる。これは、各画像に対して正確なz位置を備えた画像の同様のzスタックを提供する。このようなフリーランモードを利用すると、より広範囲にカメラにアクセスでき、トリガされる露出より電子的に簡単であるので望ましい。
【0051】
一実施例では、スライド画像の品質は、捕捉された画像の品質と、品質を変化することができる任意の捕捉画像の後処理の両方に依存する。
【0052】
一実施例では、可変解像度の捕捉画像の後処理は、画質に基づいて画像またはそれらの一部を選択することを含み、それは少なくとも部分的に焦点品質に依存する。一実施例では、後処理は、画像化したスライドの隣接する部分に対応する画像部分を重み付けすることを含むことができる。このような重み付けは、隣接するスライド部分を画像化した焦点面または他の焦点距離の大きなバラツキを避けることができ、共に組み合わせたとき対応する画像部分に分離ラインや他の不連続性の出現を避けることができる。このような重み付けは、画像内の歪みや他の望ましくない特性の出現を避けることもできる。
【0053】
例えば、正方形または長方形の部分で画像を捕捉する実施例では、デジタル画像を組み合わせるとき選択部分は8個の隣接部分を有する可能性がある。これらの選択部分と隣接部分はさらに、10個の焦点距離で捕捉される可能性がある。選択部分に対する最善の焦点距離が第六焦点距離であり、隣接するタイルに対する最善の焦点距離が第八から第九焦点距離に変わる場合、選択部分に対して第七焦点距離を用いて隣接する部分に対する焦点距離のバラツキを制限し、上記のような望ましくない特性を避けることができる。
【0054】
別の実施例では、750において捕捉したスライド画像を760において一つ以上の解像度で修正し、新しい可変品質スライド画像を有するようにできる。修正は所定の領域に対して品質設定を指定することを含み、それは一実施例ではスライド画像の一つ以上の部分を各々含むことができる。スライドを観察している間、ユーザは新しい品質設定で再保存するためにスライド画像の複数の部分または領域を指定できる。この領域指定は、閉じた領域のフリーハンド描画によることであっても、長方形、円、または他の領域指定によることであってもよい。ユーザは、解像度、圧縮レベル、および焦点面の数(複数焦点面走査の場合)を含む、各領域に対する複数の品質特性を修正できる。ユーザはさらに完全なホワイトアウトまたはブラックアウト用の領域を指定でき、それはスライドのその領域からデータを完全に除去し、より高いまたは最高の圧縮可能性を実現できる。追加の圧縮は、白色または黒色ブロックまたは他の領域を格納する代わりに、別の白色または黒色ブロックまたは他の領域を参照することによって実現することもできる。
【0055】
ユーザはさらにスライド画像をより小さなサイズにするために、スライド画像を切り取ることもできる。上記のような切り取りおよびユーザ選択領域の再処理の組み合わせをスライド画像データに適用し、新しいスライドを組み立てることもできる。新しいスライドは、前のスライドと同じ名前を有することも、異なる名前を有することもできる。上書きをサポートするファイルフォーマットの場合、完全に新しいスライドを生成することなく、元のスライドを修正することもできる。このような機構は、あまり変更する領域がないスライド画像の場合は特に時間効率がよくなる。
【0056】
これらの後処理法は、例えば、ここで説明される自動QCシステム内で用いられる。
【0057】
画像に関連した注釈は760において、ここで説明される画像サーバ850などのサーバの画像上に格納したり、それと関連付けるために追加でき、ユーザや注釈の幾何学的記述などそれらと関連した複数のフィールドを有することができる。注釈に対するz位置を追加することは、注釈の空間的能力をさらに提供できる。このような能力は、図5の教育システム600を用いる場合など、教育的設定において特に有用となり、前記システムでは教育者は、特定のx、y、z位置にある形状に注意を促したいと考える。
【0058】
一実施例では、注釈を追加することは、ここで説明される図3の診断システム400の実施例の使用によって行われる。
【0059】
図2は画像管理システム150の実施例を示しており、システム150は画像化を完了した後、画像をまとめて承認することを可能にするために利用される。110では、試料の画像を捕捉する。画像は152において、例えば、試料検査システムまたは技術者によって検査され、画像が検査に適切であるか、または診断システム、医師、病理学者、毒物学者、組織学者、技術者または別の診断などの診断者による診断154に適用可能かを確認する。画像が検査に適していれば、その画像は156において診断システムまたは診断者に解放される。画像が検査に適していなければ、その画像は158で拒絶される。拒絶された画像は、画像修正システムまたは画像専門技術者などの画像修正部160によって検査される。図8の実施例に対して説明した画像形成法700などによって試料に対して新しい画像化パラメータを決定し、画像捕捉システム110で試料の新しい画像を捕捉できる。診断システムまたは診断者はさらに162で画像を拒絶し、これらの拒絶された画像は画像修正システムまたは画像専門技術者160によって検査され、画像捕捉システム110による新しい条件下で新しい画像を捕捉できる。
【0060】
画像検査152は、例えば、診断を実現するために新しい試料を必要とする可能性があるかどうか、または診断の実行に役立つ画像を獲得するために、既存の試料を再画像化できるかどうかを決定するコンピュータ化システムまたは人間により決定することを含むことができる。例えば、試料が適切に染色されていない場合や、染色が不適切に加えられていたり、過度に加えられ試料が診断には暗すぎる場合、新しい試料が要求される。画像を拒絶し、新しい試料を取り付ける必要がある多くの他の理由の一つは、画像化される試料に損傷を与え、その試料からは診断を行うことができない場合である。また、既存の試料を再画像化することによって補正可能な理由でも画像は拒絶される。
【0061】
158において画像が拒絶されると、その画像は画像修正システムまたは画像専門技術者160に送られる。既存の試料から画像を再捕捉することによって画像を改善可能と判断される場合、画像修正システムまたは画像専門技術者は画像を検討し、画像が診断に役立ちそうにない理由を決定する。画像修正システムまたは画像専門技術者は様々な画像化パラメータを変更し、使用可能な試料から取った低品質の画像に対して修正を行うことができる。例えば、画像化中に試料に加えた照明レベルを増大させることによって暗い画像を明るくでき、画像化中に試料に加えた照明レベルを低減することによって色飛びした画像のコントラストを増大できる。理想的な焦点に合っていない試料またはその一部は異なる焦点距離で再捕捉でき、完全には画像化されていない組織はスライド上の組織の位置を指定することによって再捕捉し、例えば、そのスライドを再画像化できる。画像化部上で設定可能な任意の他のパラメータは、画像修正システムまたは画像専門技術者によって同様に調整できる。
【0062】
同様に、診断医154は、修正した画像が望ましいことを決定した場合、画像修正システムまたは画像専門技術者160によって156において解放された一つ以上の画像を拒絶できる。画像修正システムまたは画像技術者160が画像を拒絶した理由と同じ理由で、画像は診断医154によって拒絶される可能性がある。拒絶された画像は画像再捕捉のために画像修正システムまたは画像専門技術者160に送ることができ、このような再捕捉は改善された画像を実現する可能性がある。
【0063】
一実施例では、画像検査152と画像拒絶158は、単独でまたは診断者や画像専門技術者などの人による検査と共に、図8の画像形成法700の実施例の一つ以上の部分を含むことができる。
【0064】
再び図1と2を参照すると、画像検査152または他の場所に症例管理を組み込み、画像および関連のテキストと情報を症例内にまとめることができる。症例管理は、全ての所望の画像を捕捉し関連の情報を収集した後に適用でき、例えば、ある症例に対して期待される画像の数および種類と関連のテキストをユーザに知らせることによって、画像と関連のテキストを収集する前に適用することもできる。症例管理は、症例の状態をユーザに知らせ欠けている情報をユーザに警告できる。
【0065】
102において組織の資料を除去または採取したとき、多くの試料に分離され、これらの試料は複数のスライド上に配置されることが多い。従って、症例管理の一実施例では、複数のスライドからの複数の画像が、共に単一の患者または生体の単一の症例を構成できる。さらに、研究情報システム(LIS)、研究情報管理システム(LIMS)または、例えば、表示される試料の種類、試料を獲得するために行われた手順、試料が得られた器官、または試料に加えた染色などの関連の症例情報を含む別のデータベースは画像管理システム150に含めることも、それと通信し、情報をLISまたはLIMSから画像管理システムに送ることも、画像管理システムからLISまたはLIMSに情報を送ることもできる。LISまたはLIMSは、試料上で行った試験からの結果、全体観察104の時点で入力されたテキスト、その症例が疑われる病気を持った他の患者から採取した同じ器官で発見された画像などの診断ツール、および症例が疑われる病気に共通の状態を示すテキストなどの様々な種類の情報を有することができ、それらは所望の症例と関連付けられる。従って、画像検査152の間、各症例に対する全ての画像および関連の情報はデータベース内のその症例に関連付けられる。このような症例の整理は、診断システムまたは診断医が所望の全ての情報を関連付けることによって画像診断に役立ち、診断システムまたは診断医はその情報に効率的にアクセスできる。
【0066】
コンピュータ化システム内に実装可能な症例管理法の一実施例では、バーコード、RFID、インフォグリフ(Infoglyph)、一つ以上の文字、または他のコンピュータ読み取り可能な識別子は、各スライド上に配置しスライドが属する症例を識別する。識別子を備えたスライド上のこれらの領域は一般に「ラベル領域」と呼ばれ、スライドが属する症例を識別するためにスライドと共に画像化することも、そうでなければスライドと共に読み取りそれと関連付けることができる。また、技術者または他の人間は症例と共に各スライドを識別できる。
【0067】
一実施例では、画像化パラメータは画像を捕捉する際に手動で設定することも、パラメータを設定して特定のスライドと関連付け、画像を捕捉する際にデータベースから取得することもできる。例えば、画像化パラメータは、スライドのトレイ内にスライドを格納または配置した位置によってスライドと関連付けることができる。また、画像化パラメータは、スライド上に配置したバーコード、または他のコンピュータ読み取り可能な識別子によって特定のスライドと関連付けることもできる。画像化パラメータは、一実施例では、ここで説明される図8の画像形成法700によって少なくとも部分的に決定される。
【0068】
一実施例では、捕捉される画像に関連付けした特別なパラメータ設定の画像化部のチェックは任意のこのような特別なパラメータ設定を利用し、捕捉される画像に特別なパラメータが関連付けられていない場合はデフォルトのパラメータを利用する。このような画像化パラメータの例には、解像度、焦点面の数、圧縮法、ファイルフォーマット、および色モデルなどが含まれる。追加の情報は、LIS、LIMS、または一つ以上の他の情報システムから取得される。この追加の情報には、例えば、染色の種類、カバースリップ、固定法、またはそれらの一つ以上が含まれる。この追加の情報は画像システムによって利用され、例えば、焦点設定の数(焦点を合わせる点の数、点に適合させる曲線の種類、捕捉する面の数など)、着目領域検出パラメータ(閾値、前処理法など)、スペクトル画像設定、解像度、圧縮法、およびファイルフォーマットなどの画像化パラメータを抽出する。これらの画像化パラメータは、スキャナ自体の内部メモリ、または他の情報データベースから抽出される。それからスライドを選択し、画像化装置上に配置する際、適切な画像化パラメータを呼び出して捕捉される画像に適用できる。
【0069】
LIS、LIMSまたは他の情報システムからスライドについて取得した情報は、スライド画像化中またはその後に動作する自動品質管理(QC)システムによっても利用される。自動QCシステムは、LISまたはLIMS内で指定された染色がスライド上の実際の染色であることを確認する。例えば、LISはそのスライド用の染色がH+Eであることを指定でき、解析はその染色がトリクロムであることを明らかにできる。さらに、LISは、スライド上にあるべき組織の種類や数を指定できる。組織の分割および対象識別アルゴリズムはスライド上の組織の数を決定するために利用され、テクスチャ解析または統計的パターン認識は組織の種類を決定するために用いられる。
【0070】
自動QCシステムは、弱い染色、折り畳み、裂け目、または引き摺りなどのスライド内の技術的欠陥、および焦点のボケ、継ぎ目欠陥、視野内焦点振動、または色欠陥などの画像化関連の欠陥を検索することもできる。検出した欠陥の種類および位置についての情報は保存し、技術者または画像専門技術者によって行われるスライド検査処理の一部として、技術者は疑わしい欠陥を素早く観察できるようにする。それから、発見された各欠陥に対して欠陥値を適用できる。欠陥値は、その欠陥が画像に影響を与えると予想される度合、欠陥が画像から診断を行う能力に与えると予想される影響、または欠陥の影響の別の定量化を反映できる。システムは、全欠陥の順番によって画像化されたスライドを自動的にソートできる。全欠陥は、スライド上の全ての欠陥に対応するスコアによって表される。このスコアは、各欠陥に適用された値の合計、各欠陥値の規格化された合計、または各値の二乗の合計の平方根であってもよい。欠陥スコアが提示されるが、ユーザは各スライドの個々の欠陥の値を見て、個々の欠陥のいずれか一つおよび全欠陥値に基づいて表示されるスライドの順番をソートすることもできる。例えば、ユーザは所望の欠陥に対して焦点を選択し、最も焦点が合っている欠陥から最も合っていない欠陥の順にスライドをソートできる。ユーザは、ある範囲の欠陥値を含むスライドがユーザに特に指摘されるようにフィルタを適用することもできる。
【0071】
自動QCシステムは、自動再走査処理を呼び出すこともできる。ユーザは、ある範囲の欠陥値が自動再走査を要求するように指定できる(なお、この欠陥値の範囲は既に言及した表示をソートするために用いられるものとは異なっていてもよい)。例えば、最適値の95%未満の焦点品質を備えたスライドを自動的に再画像化できる。
【0072】
スライドは、異なる走査または他の画像設定を用いて再画像化できる。異なる画像設定は事前に決定することも、欠陥の性質に応じて動的に決定することもできる。所定の画像設定変更を用いて再画像化する一例は、欠陥の性質にかかわらず複数の焦点面を備えたスライドを再画像化することである。動的に決定された画像設定を用いて再画像化する例は、焦点がボケている場合に複数の焦点面を用いて再画像化すること、および継ぎ目(seaming)の欠陥の場合の画像位置合わせ用により広い検索領域で再画像化することである。
【0073】
選択的または追加的に診断が画像から不可能であることを診断者が決定した場合、スライドを顕微鏡内に搭載して診断者が直接検査できる。診断者がスライドおよび顕微鏡から離れた位置にいる場合、診断者はリモート顕微鏡制御システムを用いてスライドから診断を行うことができる。
【0074】
図3は、人間または動物の組織または血液サンプルなどの医学的サンプル、または他の試料400用のコンピュータ化システム内で利用可能な方法の一例のフローチャートである。診断システム400はコンピュータ化データベースシステムを有し、その方法はシステムを利用でき、前記データベース内の情報はグラフィカルユーザインタフェース(GUI)などのユーザインタフェースを備えた画像インタフェースのコンピュータアプリケーションによってアクセスおよび観察可能である。一実施例では、コンピュータアプリケーションは、ネットワークやインターネット上で動作可能である。一実施例では、いったん試料の画像の一つまたはグループが検査を認められると、組織学者または他の研究者などのユーザは診断システム400を介して試料の画像にアクセスできる。一実施例では、ユーザは410において、診断システム400にサインオンするかもしくはアクセスする。診断システム400は、ユーザがサインオンするためにユーザ識別コードやパスワードを提供するように要求できる。
【0075】
いったんユーザがサインオンすると、システムは420において、ユーザが寄与していたり関連付けられている症例のリストを提示する。さらに、ユーザは420において、寄与していなかったり関連付けられていない症例にアクセスすることもできる。診断システム400は検索バーや索引を利用することによって、このような他の症例の発見を容易にでき、そこでは症例は名前、医療分野、病気、試料の種類や他の基準によって分類されている。診断システム400は420において、ユーザプロンプトによってシステムがユーザに割り当てた症例と類似性を備えた症例を取得する機能を有することができる。類似性は、医療分野、病気、試料の種類や他の基準によって分類できる。
【0076】
430において、ユーザはハイパーリンクをマウスクリックするか、またはコンピュータキーボードなどの入力装置を介して症例名を入力することなどによって検査用の症例を選択できる。症例が選択されると、診断システム400は440において画像インタフェースによって解析用の症例を提示できる。
【0077】
450において、ユーザは症例を解析できる。ユーザは450においてウィンドウ形式の画像インタフェースを介して、症例の情報要素を見ることによって症例を解析できる。ウィンドウ形式では試料画像と他の症例情報はウィンドウ内に観察され、前記ウィンドウはユーザが見たい情報や画像に応じてユーザによってサイズ変更できる。例えば、450においてユーザは画像インタフェースに指示し、スライド上に配置した組織サンプルの一つ以上の画像を観察画面の右半分に提示し、試料を除去した患者の病歴を記述するテキストを左半分に提示できる。一実施例では、診断システム400によってユーザは450において、一つの組織サンプルまたは複数の組織サンプルの複数の表示を同時に観察できる。
【0078】
一実施例では、画像インタフェースは、タスク、リソース、ツール、およびサポートなどの機能へのリンクを含むナビゲーションバーを含むことができ、ユーザはマウスクリックなどの機能に素早くアクセスできる。特定の機能は、ユーザが病理学者、毒物学者、組織学者、技術者、または管理者であるかなどのユーザの種類に基づいてカスタマイズ可能である。画像インタフェースはアクションバーを有することもでき、前記アクションバーはマウスによって「クリック」可能な仮想ボタンを有することができる。アクションバーは、画像インタフェース内に現在示されている画面に対して、ユーザにとって利用可能な機能を有することができる。これらの機能は、試料画像上に番号付きのグリッドを示すこと、次または前の一連の試料を示すこと、および診断システム400からログオフすることを含むことができる。診断システム400によって、ユーザは番号付きのグリッドのオンとオフを切り替えることができる。
【0079】
一実施例では、診断システム400によってユーザは、ナビゲーションまたはアクションバーなどを介して複数の倍率や解像度で試料の画像を観察できる。例えば、組織サンプルである試料に対してユーザは診断システム400に指示し、画像インタフェースを介してサンプルの低倍率観察を表示できる。この観察によって、ユーザは組織サンプル全体を見ることができる。診断システム400によってユーザは、組織サンプル全体内にある領域を選択できる。ユーザが診断システム400に指示し、組織サンプル上に重ね合わせた番号付きグリッドを表示した場合、ユーザはグリッドの行および列番号などのグリッド座標を提供することによって領域を選択できる。ユーザは診断システム400に指示し、重要な解析用の組織領域を「ズーム」または拡大でき、画像インタフェース内の領域の中心に合わせることができる。ユーザがシステムに指示して組織サンプル上に重ね合わせた番号付きのグリッドを表示した場合、ユーザはグリッド座標を提供することによって領域を選択できる。
【0080】
一実施例では、診断システム400によってユーザはこのようなナビゲーションまたはアクションバーなどを介して、観察される一つ以上の症例についてのレポートのブックマーク、メモ書き、比較や提供を行うことができる。従って、ユーザは、組織サンプルまたは他の試料画像の所定の領域の観察を所定の倍率でブックマークし、ユーザはブックマークにアクセスすることによって後でその観察にアクセスできる。
【0081】
診断システム400によって、ユーザは診断関連付け可能な組織サンプルまたは他の試料の観察の説明など、その観察または別の観察についてのメモ書きを提供することもできる。
【0082】
診断システム400によって、ユーザはある試料を別の試料と比較することもできる。診断システム400によってユーザは異なる症例の試料の画像を同時に表示できるので、他の試料を現在の症例と関連付けても関連付けなくてもよい。
【0083】
診断システム400によって、ユーザは観察される試料に関連したレポートを提供することもできる。レポートは診断結果であってもよく、診断システム400内に直接入力することもできる。
【0084】
診断システム400は、ユーザが症例について診断システム400上で行った選択の一部または全てを追跡できる。従って、例えば、診断システム400はユーザが試料の画像を観察する各位置および倍率を記録できる。診断システム400は、上記のナビゲーションおよびアクションバーに対して行ったものなど他の選択を記録することもできる。従って、ユーザは、この記録された情報にアクセスすることによって症例の解析を監査し、例えば、どのような試料を解析したか、および単一の試料のどのような部分を観察したかを決定できる。この記録された情報へのアクセスを認められた医者や研究者などの他人が、教育や品質保証/品質管理の目的でこの記録された情報を監査することもできる。
【0085】
医者および研究者は、様々な規律で試料を解析する。例えば、病理学者は、組織や血液サンプルを解析できる。例えば、病院および研究施設は、品質保証プログラムを有するように求められる可能性がある。品質保証プログラムは、施設の病理学者によって行われる診断の精度を評価するために施設によって用いられる。さらに、品質保証プログラムは、解析を完了するための病理学者のスループットや時間に関連したものや、診断に用いられる装置の品質などの診断に関連した二次統計量を集めることもできる。
【0086】
病院や研究施設内での品質保証方法は、同じ診断者または異なる診断者によってさらに一回以上、ある割合の症例診断を有することを含むことができる。この方法では、病理学の例に適用する場合、第一の病理学者がある症例について診断を行った後、第二の病理学者がその症例の解析を行って第二の診断を行うことができる。第二の診断を行う際、第二の病理学者はその症例に関連した背景情報を入手でき、その症例は患者の病歴、組織全体の説明、および第一の病理学者が入手可能であった任意のスライド画像などの情報を含んでいる。背景情報は、元の診断を行う際に協議した他の医師や研究者と共に第一の病理学者の識別コードを開示することもできる。
【0087】
検査者(別の病理学者または第一および第二の病理学者の一方であってもよい)は、第一の診断と第二の診断を比較する。検査者は、診断の間の任意の相違を解析し、それらの相違および重要性に基づいて任意の差異を評価する。
【0088】
しかし、このような方法は偏見または他の誤りをもたらす可能性がある。例えば、症例に関連した背景情報を検査するとき、非常に尊敬されている病理学者によって行われた場合、第二の病理学者は元の診断に反対することに抵抗感がある。さらに、元の診断医が第二の診断医より優れていたり同じ部署である場合などは政治的に偏見が生じる可能性がある。このような偏見を取り除く試みでは、いくつかの病院および研究施設は技術者または事務員に指示し、症例背景情報内の第一の病理学者の識別コードへの参照を禁止することもできる。しかし、このような処理は時間がかかり人的ミスが起こりやすい。
【0089】
さらに、品質保証処理内で検査者は両方の診断に関連した情報を入手でき、両方の診断者の識別コードを得ることができる。識別コードを知ることは、さらに検査に偏見をもたらす可能性もある。
【0090】
品質保証処理内の偏見または他の誤りの別の潜在的な原因には、診断用の試料を含むガラススライドの使用が含まれる。診断処理でスライドを用いる場合、第一および第二の病理学者が各々顕微鏡下でスライドを観察することがある。第一および第二の診断の違いに応じて、検査者もスライドを観察することがある。時間がたったり使用回数が増えると、スライドおよびそれらの試料の損失、破壊または損傷が起こる可能性がある。さらに、検査者の一人がそれらを解析しながら、スライド上の試料の主要な領域にマークを付けることがある。このようなマーキングはマークされた領域に着目することを次の検査者に促す一方、他の領域を無視する可能性がある。
【0091】
図4は、医療用サンプルまたは他の試料の診断に関する品質保証/品質管理(QA/QC)システム500を提供するための方法の一例のフローチャートである。QA/QCシステム500は、上記の診断システム400に含まれていてもよい。この実施例では、QA/QCシステム500のソフトウェアは510においてユーザ(病理学者であってもよい)に診断される症例を割り当てるが、その症例は細胞学者、毒物学者、および他の診断医などの任意の数および分類をユーザに割り当てることもできる。割り当て者は、処理の匿名性を保証するために、診断および検査能力の両方においてその症例の品質保証処理には含まれなくてもよい。割り当ては、症例およびユーザに対してランダムであってもよい。ユーザは520において、電子メールまたは画像インタフェース内のグラフィック表示などによって、QA/QC処理の一部として診断用の症例を割り当てられることの通知を受けることができる。530では、ユーザ識別コードおよびパスワードを用いてQA/QCシステム500にログオンすることなどによって、ユーザは症例背景情報にアクセスできる。
【0092】
QA/QCシステム500は症例背景情報の匿名の発信源を作成することによって、ユーザの「ブラインド」による診断を行うことができる。従って、QA/QCシステム500は530において名前なしで症例背景情報を提示し、ユーザが元の診断者や、元の診断を行う際に協議した任意の他者の識別コードを決定できないようにする。さらに、試料および他の症例情報は、最初の診断者がその症例を解析中に含めた診断、関連の情報または任意のメモ書きやマーキングを含まなくてもよい。しかし、元の診断医が自分の識別コードとパスワードを用いてQA/QCシステム500にログインすると、これらのメモ書きやマーキングは元の診断医によって観察可能にできる。
【0093】
QA/QCシステム500は540において症例背景情報にランダムな識別番号または他のコードを割り当て、そのコードでタグ付けした任意の情報が割り当てられた症例に適用可能であることをユーザは知ることができる。
【0094】
症例背景情報は、元の診断医がアクセスしたものと同じ情報であってもよい。従って、例えば、診断される試料がガラススライド上に配置された組織サンプルの場合、ユーザは530において、元の診断医がアクセス可能な患者の履歴情報と共に元の診断医が解析した組織サンプルの同じ捕捉画像にアクセスできる。
【0095】
一実施例では、ユーザにとって利用可能な症例背景情報はさらに、元の診断医によって入力されたものであるが元の診断医を識別する情報を取り除くために編集された情報を含むことができる。
【0096】
ユーザは550において、上の図3の診断システム400の450について説明されるものと同じ方法で症例を解析できる。一実施例では、QA/QCシステム500は、各診断医のユーザが症例についてQA/QCシステム500上で行った選択の一部または全てを追跡する。従って、例えば、QA/QCシステム500は、ユーザが試料の画像を観察する各位置および倍率を記録できる。システムは、上記のナビゲーションおよびアクションバーについて行ったものなどの他の選択を記録することもできる。QA/QCシステム500は、検査者が行った選択を記録することもできる。
【0097】
QA/QC処理により全てのユーザが診断を行った後、検査者(症例の診断医の一人ではない医者または研究者であってもよい)は、560において診断にアクセスし比較できる。検査者は530において、上記のようなQA/QCシステムにログインできる。それから検査者は570において診断の間の相違を決定および解析し、それらの相違および重要性に基づいて任意の差異を評価できる。一実施例では検査者が受け取る診断情報は匿名であり、検査者は任意の診断医の識別コードを決定することも、診断が行われた順番を知ることもできない。このような匿名性を提供することは、検査者が診断医の識別コードや診断を行った順番を知ることから持つ可能性がある偏見を取り除くことができる。
【0098】
診断の間の差異が重要であると検査者が決定した場合、検査者は追加の診断を行うようにリクエストできる。QA/QCシステム500は検査者の識別コードを与えずに、以前、将来または両方の診断に対して検査者の匿名性を提供することもできる。
【0099】
一実施例では、QA/QCシステム500は診断を自動的に比較し、診断の一部または全部の相違についてのリストを表形式などで作成することによって、検査者の機能の一部または全ての代わりとなることもできる。また、検査者はQA/QCシステム500に指示し、検査者の専門知識を求めることなく客観的に比較可能な診断情報の比較を行うことができる。それから、検査者は570において他の診断情報を検査できる。
【0100】
一実施例では、品質保証方法は、コンピュータデータベース内に統計的情報を収集および整理することを含んでいる。データベースは、QA/QCシステム500内に各診断医および検査者が電子的に入力した診断および検査情報を有することによって構築できる。これらの統計値は、例えば、検査期間中に処理された全数に対してサンプルした症例数、正確に診断された症例数、些細な誤りを持って診断された数(元の診断が患者の治療に最低限の影響を与えた症例)、および誤って診断された症例数(元の診断が著しい欠陥を有する症例)、関連の病理学者の数、各病理学者についての診断の誤りの個数および重要度に関する情報、またはそれらの一つ以上を含むことができる。追加または別の統計値は、第二診断を行うために用いられた第二病理学者、検査者が診断を検査し評価するために用いた時間、検査者が決定を行う前に症例の詳細に戻らなければならなかった回数、またはそれらの一つ以上を含むことができる。
【0101】
図5は、医学的サンプルまたは他の試料を診断するための教育システム600を提供する方法の一実施例のフローチャートである。教育システム600は610において、図3の診断システム400の基本機能を備えたシステムへのアクセスを学生ユーザに提供できる。診断システム400の追跡機能を用いることによって、教師は620において診断システム400の画像インタフェース内に観察される試料の画像を診断する際、学生ユーザが行った選択を監査できる。教師は620において、各学生が行った選択を各々観察できる。そして、教師は学生が行った選択が適切であるか不適切であるかを学生に通知できる。
【0102】
教育システム600は、学生ユーザが参照可能な試料画像の一部、百科事典的または指導的テキストまたは画像情報への参照を備えたメモ書きなどの他の情報や、試料を診断する際にユーザに教えることが可能な他の情報または画像などを含むことができる。
【0103】
図6は、一つ以上の画像および画像に関連した情報を同時に、または別個に表示するために使用可能な画像インタフェース200の一実施例を示している。その実施例の画像インタフェース200は、メモリ202、プロセッサ204、ストレージ装置206、モニタ208、キーボードまたはマウス210、および通信アダプタ212を有する。プロセッサ204、ストレージ装置206、モニタ208、キーボードまたはマウス210、および通信アダプタ212の間の通信は通信バス214を介して実現される。画像インタフェース200は人間以外によって実行される際、ここで説明される任意の機能を実行するために用いられ、このようにユーザによって実行される際、ここで説明される任意の機能を実行するためにユーザと共に用いられる。
【0104】
当然のことながら、画像インタフェース200の構成要素202〜212のいずれかまたは全ては、単一マシン内に実装することができる。例えば、状態マシンまたは他のハードウェアベースのロジックマシン内で、メモリ202とプロセッサ204を組み合わせることもできる。
【0105】
メモリ202は、例えば、ランダムアクセスメモリ(RAM)、動的RAM、リードオンリメモリ(ROM)(例えば、プログラム可能なROM、消去可能プログラム可能なROM、または電子的に消去可能プログラム可能なROM)の一つ以上を含むことができ、コンピュータプログラム命令および情報を格納できる。メモリはさらに、オペレーティングシステム命令を格納するオペレーティングシステム区分216、データを格納するデータ区分218、および画像インタフェース機能を実行するための命令を格納する画像インタフェース区分220の領域に分割できる。画像インタフェース区分220はプログラム命令を格納でき、プログラム命令のプロセッサ204による実行を可能にする。データ区分218はさらに、プログラム命令の実行中に画像および関連テキストなどのデータを格納できる。
【0106】
プロセッサ204はプログラム命令を実行し、メモリ202内に格納されたデータを処理できる。一実施例では、命令は、圧縮フォーマットや暗号化フォーマットでメモリ202内に格納される。ここで用いられるように、語句「プロセッサによって実行される」は、圧縮フォーマットや暗号化フォーマットで格納された命令、およびプロセッサ204によって実行される前にインストーラによってコンパイルまたはインストール可能な命令を含むものとする。
【0107】
ストレージ装置206は、例えば、磁気ディスク(フレキシブルディスクやハードディスクなど)、光ディスク(CD−ROMなど)またはデジタル情報を格納可能な任意の他の装置または信号であってもよい。通信アダプタ212は、画像インタフェース200と、通信アダプタポート224において通信アダプタ212に接続された他の装置またはノードの間の通信を可能にする。通信アダプタ212は、ネットワーク上のノードから画像インタフェース200へ、または画像インタフェース200からネットワーク上のノードへ情報を送信するネットワークインタフェースであってもよい。ネットワークは、例えば、インターネット、ワールドワイドウェブ、または図7に示したネットワーク250などのローカルエリアネットワーク、またはワイドエリアネットワークであってもよい。当然のことながら、画像インタフェース200は選択的または追加的に、一つ以上の入出力アダプタ(図示せず)を介して一つ以上の他の装置に直接接続することもできる。
【0108】
画像インタフェース200は、例えば、モニタ208またはプリンタ(図示せず)などの出力装置208、および、例えば、キーボードまたはマウス110などの様々な入力装置にも一般に接続される。さらに、画像インタフェース200の他の構成要素は、画像インタフェース200の動作に必須でなくてもよい。例えば、画像インタフェース200によって参照される全ての情報をメモリ202内に保持できるので、ストレージ装置206は画像インタフェース200の動作に必須でなくてもよい。
【0109】
画像インタフェース200の要素202、204、206、208、210、および212は、一つ以上の通信バス214を介して通信できる。これらのバス214は、例えば、システムバス、周辺構成要素のインタフェースバス、および業界標準アーキテクチャのバスを含むことができる。
【0110】
画像インタフェースを実装可能なネットワークは、コンピュータ、テレフォニベースの装置、または一つ以上の形式の通信媒体によって相互接続された他の一般にプロセッサベースの装置などのノードのネットワークであってもよい。これらの装置を接続する通信媒体は、例えば、ツイストペア、同軸ケーブル、光ファイバ、および高周波などを用いる無線通信方法を含むことができる。画像インタフェースとして動作するノードは、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、インターネット、または公衆交換電話網(PSTN)または構内交換機(PBX)などの電話ネットワークに接続した別のノードから、データストリーム152を受信できる。
【0111】
ネットワークノードは一つ以上のプロトコルに従って情報を通信するために必要な適切なハードウェア、ソフトウェア、またはファームウェアを備えることができ、プロトコルは一組の命令を有し、前記命令によって情報は通信媒体上に通信される。
【0112】
図7は、画像インタフェースを動作可能なネットワーク250の一実施例を示している。ネットワークは、PSTN、インターネット、LAN、WAN、または他のネットワークなどのネットワーク252に接続した二つ以上のノード254、256、258、260を有することができる。
【0113】
ネットワーク250は、ネットワーク252に接続したノード256、258、および260などの第二ノードから画像関連の情報などのデータストリームを受信する画像インタフェースノード254を有することができる。
【0114】
一実施例は、デジタルスライドの処理、保管、特徴抽出および解析用のシステムおよび方法に関する。一実施例は、ネットワーク分散デジタルスライドを問い合わせ、解析するシステムおよび方法に関する。
【0115】
各ネットワークシステムは、一実施例に従って画像システム799を有し、画像システム799は図9〜11に示し、それらについて説明されるように一つ以上の画像化装置800と画像サーバ850、および一つ以上のデジタル顕微鏡ステーション901を有する。様々な実施例において、画像システム799は、図1〜5および8について説明される方法の各々の一部または全部の性能を実現または促進できる。
【0116】
画像化装置800は、スライドのデジタル画像、またはその後、デジタル形式に変換される非デジタル画像を走査もしくは画像化することによって、その動作が図1の110などにおける捕捉を含む装置であってもよい。画像化装置800は、画像の走査もしくは捕捉用の画像化部801、画像を圧縮および格納するための一つ以上の画像圧縮部/アーカイバ803、およびスライドを処理しそれから特徴を抽出するための一つ以上の画像インデクサ852を有することができる。一実施例では、特徴は二つの値またはベクトルによって記述できる。二つの値は、例えば、核の有糸分裂活性および癌性形成異常の各々に対応するテクスチャおよび丸みであってもよい。
【0117】
一実施例では、Trestle Corporation(本社カリフォルニア州、アービン)のMedScan(登録商標)高速スライドスキャナなどの画像化部801は、高解像度デジタルカメラ802、顕微鏡光学系807、移動ハードウェア806、および制御ロジックユニット808を有する。ストレージ装置への画像転送はカメラレベルまたはシステムレベルのいずれかにおいて分岐され、画像は一つ以上の圧縮部/アーカイバ803および一つ以上の画像インデクサ852に送信される。図9について示されているカメラレベルにおける分岐を含む実施例では、イーサネット(登録商標)、ファイアワイヤUSB、無線、または他の通信プロトコルを介したカメラからの出力は、マルチキャストなどを介して同時に送信され、圧縮部/アーカイバ803と画像インデクサ852の両方が画像のコピーを受信する。システムレベルにおける分岐を含む実施例では、画像は揮発性RAMまたは別の高速の一時的ストレージ装置内に存在可能であり、圧縮部/アーカイバ803と画像インデクサ852によってアクセスされる。
【0118】
一実施例では、画像化部801はカメラ802としてJAI CV−M7CL+カメラ、顕微鏡光学系807としてOlympus BX顕微鏡システムを有し、Prior H101遠隔制御ステージを備えている。Olympus BX顕微鏡システムは、Olympus America Inc.,(所在地:ニューヨーク州メルビル)によって製造および販売されている。Prior H101ステージは、Prior Scientific Inc.,(所在地:マサチューセッツ州、ロックランド)によって製造および販売されている。
【0119】
一実施例では、画像圧縮部/アーカイバ803は一次の保管機能を実行し、ストレージ装置854に画像を保存する前に、画像の選択的なロスあり/ロスなし圧縮を実行できる。一実施例では、スライド画像は圧縮部/アーカイバ803などによって、圧縮部/アーカイバ803に含まれる一つ以上の汎用CPUまたは一つ以上の専用圧縮カードを用いて、JPEG in TIFF、JPEG2000、またはJPEG2000 in TIFFファイル内に書き込まれる。元の最高解像度の画像は、最高解像度の画像から構成されたより低解像度の(またはサブバンド)画像と共に格納され、低解像度画像から高解像度画像へのピラミッドを構成する。より低解像度の画像は、ここで説明されるようなスケールダウンおよび圧縮エンジンを用いてまたは別の方法によって構成される。所定の画像ファイルフォーマットの任意のファイルサイズの制限(現在のTIFF仕様では4GBの制限など)に対応するために、スライド画像はストレージ装置854において、複数のより小さなストレージユニットまたは「ストレージブロック」内に格納される。
【0120】
画像圧縮部/アーカイバ803はさらに、等方性ガウスピラミッドの生成などによる画像の追加の処理および保管を提供できる。等方性ガウスピラミッドは、マルチスケールテンプレート照合などの多くのコンピュータビジョン機能に対しても利用できる。スライド画像化装置800はマルチレベルのガウスピラミッドを生成し、保管用にピラミッドの全てまたはサブセットを選択できる。例えば、システムはピラミッドのより低解像度の部分だけを保存し、最高解像度のレベルを破棄できる。より低解像度のレベルはファイルサイズが著しく小さくでき、最高解像度のレベルより実用的になりロスなしの圧縮または非圧縮で保管できる。より低解像度のレベルのストレージは、ストレージ装置854において、このような高忠実度のフォーマットで、より多くのデータがロスありの画像を用いる場合より利用可能であるので、新しい特徴を抽出するために拡張型の次世代の索引付け機能を提供できる。最高解像度のロスのある形式や他の形式は、画像を捕捉した時点で既に格納されている可能性があり、より低解像度の画像を用いて格納できる。
【0121】
画像化装置800の別の実施例では、最高解像度の画像は主アーカイブのストレージ装置854内に保持され、ガウスピラミッドからのものなどのより低解像度の形式はキャッシュフォーマットで、スライド画像サーバ850のストレージまたはメモリ装置内に保持される。キャッシュは所定の最大サイズで設定され、前記サイズは「最高水準」と呼ばれることがあり、アーカイブ内の画像を決定するために統計値の利用および他のルールを含むことができ、そのためにより低解像度の画像やより低解像度の画像の構成要素を保持する。どのような画像をキャッシュに保持するかを決定する一例では、頻繁にアクセスする画像に対してより低解像度の画像を全て保持する。画像のどのような構成要素をキャッシュに保持するかを決定する一例では、頻繁にアクセスする画像に対して解像度レベルのみを保持する。二つの決定は一例では組み合わせ、頻繁にアクセスするファイルの頻繁に用いる解像度レベルのみをキャッシュ内に保持する。アクセスルールに対して追加的または選択的な他のルールを利用し、画像処理アルゴリズムに対する画像またはその構成要素の利用可能性、および画像データの再生成のコストについての事前知識の一部を組み込むことができる。つまり、画像処理アルゴリズムによって用いられる可能性が高かったり、再生成に非常に時間がかかる画像データはキャッシュの優先度チェーンがより高くなる。
【0122】
画像インデクサ852は、一実施例では画像プロセッサ/特徴抽出部としても知られ、画像上でユーザ定義可能な解析処理を実行できる。処理は、画像強調、画像統計値の決定、組織分割、特徴抽出、および対象分類の一つ以上を含むことができる。画像強調は、例えば、焦点距離や照明レベルなどの新しい捕捉パラメータを用いて、画像の全てまたは一部を再捕捉することを含むことができる。画像統計値は、例えば、捕捉された画像の物理的サイズ、画像を格納するために用いられるメモリ量、画像を捕捉する際に用いられたパラメータ、捕捉された画像の様々な部分に対して用いられた焦点距離、格納された画像の解像度の数、および診断の鍵として識別された領域を含むことができる。組織分割は、スライドまたは症例に関連した組織分割のサイズおよび数を含むことができる。特徴抽出は、分割の特徴に関連した位置および他の情報に関連付けられる。対象分類は、例えば、識別された特徴に関連した診断情報を含むことができる。画像処理中に画像データのこのような特性を計算することは、著しい効率性をもたらす。特に、画像統計値の決定などのステップについて画像化と並列に特性を決定することは、画像化を完了した後に同じステップを行うことよりかなり効率的になる可能性がある。このような効率性によって、媒体から画像データを再抽出し、データを解凍したり、データをフォーマットするなどの必要性を避けることができる。複数の画像統計値は、画像の一つ以上の色空間(HSV、HIS、YUV、およびRGBなど)に適用できる。このような統計値の例には、所定の領域上でのヒストグラム、モーメント、標準偏差およびエントロピ、または様々な生理的疾病状態と相関のある他の同様の計算が含まれる。このような画像統計値はコンピュータ的に高価であるとは一概には言えないがより入出力制約がある可能性があり、従って後でではなく画像化と並列に行うと、特に画像を圧縮する場合ははるかに効率的になる。
【0123】
図10に示した一実施例では、画像インデクサ852は、一つ以上の汎用CPU960、デジタル信号処理基板970、またはグラフィクス処理ユニット(GPU)980を有することができ、それらは一つ以上のビデオカード内に含められる。汎用CPU960の例は、Intel Corporationのx86系、やIBM CorporationのPowerシリーズを含んでいる。デジタル信号処理基板970の例は、Philips CorporationのTriMediaである。最新のビデオカード内のGPUの処理能力は6か月ごとに2倍になっている一方、汎用CPUの場合は18か月ごとに2倍になっていると見積もられる。高レベルのグラフィクス言語(カリフォルニア州サンタクララにあるNvidia CorporationのCgなど)の利用可能性によって、GPUの使用はますます魅力的になっている。画像インデクサ852のソフトウェアインタフェース990は、最も効率的な処理を行うために異なるハードウェアに異なる演算をスケジュールし指示する。例えば、図9の画像インデクサ852を用いて形態学的演算を行う場合、デジタル信号処理(DSP)カード970には畳み込み(convolutional)フィルタが最も適している可能性が高く、GPU980には所定の種類の幾何学的変換が最も適している可能性が高い一方、CPU960には高レベルの統計的演算が最も適している可能性が高い。
【0124】
一実施例では、画像圧縮部/アーカイバ803と画像インデクサ852は、高速通信を容易にするために一つ以上の同じ物理的処理素子を共有している。
【0125】
スライド上の異なる種類の組織(例えば、肝臓、皮膚、腎臓、筋肉、脳、眼など)は、組織画像を捕捉するために異なる種類の処理を用いることができる。従って、ユーザはスライド上の各組織サンプル用の種類を指定でき、システムはスライドについての情報を自動的に取得し、組織サンプルの分類情報を決定する。分類情報は、組織の種類、準備方法(例えば、ホルマリン固定、冷凍など)、染色の種類、使用された抗体、使用されたプローブの種類の一つ以上を含むことができる。分類情報の取得は、RFIDまたはバーコードなどのスライド上の一意的スライド識別コードを読み取ること、もしくは必要に応じてここで説明されるようにまたは発見的(heuristic)アプリケーションを介した自動検出などいくつかの方法の一つで実現される。一実施例では、一意的スライド識別コードまたは他の取得した情報は直接的な分類情報を提供しないが、一意的識別子(UID)、グローバルな一意的識別子(GUID)、またはIPv6アドレスなどの一意的識別子のみを提供する。これらの識別子は電子的に符号を付けられ、修正を妨げて作成者の信憑性を証明する。この一意的識別子は、ここで説明されるLISまたはLIMSなどの外部情報システムに問い合わせを行うために用いられ、必要な資料分類情報を提供できる。
【0126】
画像インデクサ852の出力またはその一部は、一実施例では特徴ベクトルの形態であってもよい。特徴ベクトルは、組み合わせてデジタルスライドまたはその一部についてのある関連情報を簡潔な方法で提供する一組の特性であってもよく、それはデジタルスライドおよび関連の情報のサイズを一意的な組の識別可能な特徴に低減できる。例えば、三次元特徴ベクトルは、細胞数、テクスチャ、および色ヒストグラムに関連した値または他の情報を含むことができる。
【0127】
より高速または最大精度および速度に対して、画像インデクサは原画像またはロスのない圧縮画像上で動作可能である。しかし、所定の動作は、ロスのある圧縮画像を用いて許容可能な結果を生成できる。
【0128】
一実施例では、肝臓組織サンプルの所定の分類において、例えば、これらの核は通常の核より「白い」ので、画像インデクサ852で彩度を用いて組織内の糖原核を検出できる。既に保存されている画像統計情報(HSV色空間内のヒストグラムなど)を用いる適応閾値技術を画像インデクサ852で用いて、通常の核から糖原核(glycogenated nuclei)を分離できる。各々の核の重心位置は、面積、周囲、最大幅、および最大高さなどの他の幾何的属性、および色強度と共に特徴ベクトルとして画像インデクサ852によって抽出できる。別の実施例では、幾何学的属性、色強度、または他の基準のいくつかの組み合わせを特徴ベクトルとして抽出できる。
【0129】
画像プロセサ/特徴抽出部、または画像インデクサ852からの結果は、スライドのメタデータ(被験者のID、年齢、性別など)とストレージ装置内の画像位置へのポインタと共に以降で説明するようなデジタルスライドの実体を構成し、画像サーバ850などのデータベースに格納できる。
【0130】
画像圧縮部/アーカイバ803は画像インデクサ852に中間結果を出力できる一方、マルチ解像度画像ピラミッドを構成できる。それから、あらゆる解像度または選択した解像度において画像インデクサ852によって特徴ベクトルを抽出し、将来のマルチ解像度/階層分析/モデリングに役立つ。
【0131】
図12は、一実施例による画像処理法992の例のフローチャートである。画像処理法992は、例えば、図9について説明される画像システム799の実施例などの画像制御システムによって実行される。画像システム799の画像化部801は994aにおいて、スライドの高解像度の原画像を捕捉し、例えば、同時にもしくはここで説明されるように、一つ以上の圧縮部/アーカイバ803と一つ以上の画像インデクサ852に画像を送信できる。一つ以上の圧縮部/アーカイバ803は994bにおいて高解像度の原画像を圧縮し、999aにおいて画像を保管する。一つ以上の画像インデクサ852は994cにおいて、高解像度の原画像から特徴ベクトルを抽出し、999bにおいて特徴ベクトルをデータベース内に格納する。
【0132】
995aにおいて、画像システム799は高解像度の原画像を処理し、そこから間引き(decimated)画像またはサブバンド画像を構成する。994bと999a、および994cと999bなどの特徴ベクトルの圧縮と抽出処理は一つ以上の圧縮部/アーカイバ803によって、995bと999a、および995cと999bにおいて各々一つ以上の画像インデクサ852によって、および995aにおいて構成される間引き画像またはサブバンド画像に対して繰り返される。
【0133】
996aにおいて、画像システムは995aから間引き画像またはサブバンド画像を処理し、そこから別の間引き画像またはサブバンド画像を構成できる。特徴ベクトル処理の圧縮/保管と抽出および格納は、996a、996bと999a、および996cと999bにおいて各々他の間引き画像またはサブバンド画像に対して繰り返すことができる。
【0134】
この処理は、997a、997bと999a、および997cと999bにおいて繰り返される。
【0135】
一実施例では、画像サーバ850は、スライド画像を格納するための一つ以上のストレージ装置854、およびスライド画像の位置、スライドから抽出された特徴ベクトル、スライドに関するメタデータ、およびシステム監査証跡情報(audit trail information)を格納するための関係データベースまたはオブジェクト指向データベース、もしくは他のエンジン851を有することができる。
【0136】
データベース内の保管され圧縮された画像と特徴ベクトルは、図9について説明される画像サーバ850などを介してアクセスできる。
【0137】
画像サーバ850は、デジタルスライドの実体を格納、問い合わせおよび解析するために用いられる。デジタルスライドの実体は一実施例では、一つ以上のスライド画像、特徴ベクトル、関連のスライドのメタデータやデータ、および監査証跡情報を含んでいる。監査証跡情報は、例えば、図3の診断システム400についてここで説明したように症例を診断するためにシステムを用いる際、ユーザが行った選択に関して記録された情報を有することができる。画像サーバ850は、スライド画像用の一つ以上のストレージ装置854と、スライド画像の位置、スライドから抽出された特徴ベクトル、スライドに関するメタデータ、およびシステム監査証跡情報を格納するための関係データベースまたはオブジェクト指向データベースを有することができる。デジタルスライドサーバ150は図7についてここで説明されるネットワーク252などのネットワークの一部であってもよく、一つ以上のスマート検索エージェント860を有し、リクエスト上で問い合わせと解析を実行できる。スマート検索エージェント860は、格納した画像を取得することもできる。画像サーバ850は、ユーザ特権、データ完全性、およびセキュリティを維持および実施することもできる。セキュリティを提供し、データのプライバシを保護するために、異なる特権要求を用いて同じデジタルスライドの実体内に異なる入力を割り当てることができる。例えば、政府のプライバシ要件を満たすために、患者の識別情報は組織外のユーザには入手不可能にすることもできる(ハッシュ値または人に関連した値としてのみ入手可能であるがユーザに人を識別させない)。会計目的のために画像サーバ850内に、異なる種類の問い合わせ/解析動作の支払いマトリクスなどの出来高払いのフレームワークを含めることもできる。
【0138】
一実施例では、所定の監視、非監視、または両方のニューラルネットワーク訓練セッションが、画像サーバ850内で動作している。実行可能なこのようなニューラルネットワーク機能の例は、自動品質保証(図4のQA/QCシステム500の機能を含むことも、それと共に用いることも可能)、および自動診断(図3の自動診断システム400に対して用いることができるものなど)を含み、人間の診断をフィードバックとして用いる。管理者(例えば、ITの専門家であってもよい)は、ネットワークのセットアップや修正を行うことができる。訓練効率を増大させることが望まれる場合、複数の画像サーバ850から訓練中にアクセスされる単一の画像サーバ850に特徴ベクトルを移動できる。
【0139】
効率的な処理に役立たせるために、画像化装置800と画像サーバ850と共に広範囲の階層的なキャッシュ/保管システムを利用し、それと結合できる。例えば、スキャナまたは他の画像化部801から供給された原画像は短時間は揮発性メモリ内に留まり、同時に様々な処理機能を実行できる。利用可能な揮発性メモリが所定の閾値(「低水準」としても知られる)より低くなると、画像は高速SCSI独立ディスク冗長アレイ(RAID)またはファイバチャネルのストレージエリアネットワーク装置などの高速の一時的ストレージ装置に移動される。最初の処理を全て行った後、画像を圧縮して低コストであるがより低速のストレージ装置(通常のIDEドライブなど)に移動し、最終的にはDLTテープライブラリまたは他のストレージ装置にバックアップできる。一方、もし大量の揮発性メモリが利用可能なときは、多少の投機的予測を行って、将来の処理のために所定の画像を揮発性メモリやより高速のストレージに移動/復元できる。
【0140】
複数の画像サーバ850を用いる場合、データを複製することが望ましいことがある。例えば、画像データおよびメタデータ内に多くの冗長性が存在する可能性があるので、スマート複製機能を呼び出すことができる。このようなスマート複製技術は画像または他のデータの一部だけを送信し、送信されたデータに基づいて他の部分を再構成できる。例えば、ガウスピラミッドや、JPEG in TIFFまたはJPEG2000 in TIFFなどの他の種類のマルチ解像度ピラミッドを構成するソフトウェアなどによって、ここで望まれ説明されるような、より高解像度の画像から低解像度の画像を再構成できる。どのようなデータを送信し、どのようなデータを送信せずに再構成するかを決定する際、画像やその一部を再構成する処理時間、性能、またはコストと、ストレージから画像データを取得または送信する送信時間やコストを重み付けできる。例えば、高速ローカルエリアネットワーク(LAN)または高速ギガビットワイドエリアネットワーク(WAN)上では完全な特徴ベクトル構成、メタデータ複製、および画像コピー(セキュリティ特権の要件を満足する場合)は経済的観点や時間的観点から合理的な方式となる。一方、より低いインターネットまたは他のワイドエリアネットワーク(標準1.5MbpsのT1など)の接続上ではメタデータおよび所定の特徴ベクトルのみを複製する一方、画像は画像サーバ850などのリモート位置に残しておくことが合理的となる。将来、問い合わせ/処理機能がリクエストされた場合、画像データを必要とする所定の動作をリモートのスマート検索エージェント860に自動的に委譲できる。
【0141】
一実施例では、所定のコスト尺度が各種の処理および送信に関連付けられる。例えば、コスト尺度は画像データの1MBの送信用の一つの係数と、画像データの1MBの復元および取得用の別の係数を有することができる。グローバル最適化部は、動作の全コスト(一般に上記の係数を用いる全ての処理/送信量の線形の組み合わせ)を最小化するために用いられる。これらのコスト係数は、会計目的で用いられる支払いマトリクスとは異なっていてもよい。
【0142】
デジタルスライドサーバ850の一実施例では、IBMのネットワーク接続ストレージ(NAS)がストレージ装置854として用いられ、Oracleのオラクル関係データベースがデータベースエンジン851として用いられ、いくつかのIBM互換PCまたはブレードワークステーションがソフトウェアプログラムまたは他の要素と共にスマート検索エージェント860として機能できる。これらの装置はギガビットイーサネット(登録商標)またはファイバチャネルなどの高速ローカルエリアネットワーク(LAN)を介して接続され、高速インターネット接続を共有できる。
【0143】
図11に示されるようなデジタル顕微鏡ステーション901は、一実施例では図6について説明される画像インタフェース200などのワークステーションまたは他の機器を有することができ逆もまた同様であり、デジタルスライドの検査、解析および管理や、このような動作の品質保証を提供することができる。デジタル顕微鏡ステーション901は、一つ以上の高解像度モニタ、処理要素(CPU)、および高速ネットワーク接続を有することができる。デジタル顕微鏡ステーション901は、動作中に一つ以上の画像サーバ850に接続できる。他のデジタル顕微鏡ステーション901と通信することも、相互検査(図4について説明されるQA/QCシステム500について説明される相互検査など)を容易に行うこともできる。
【0144】
一実施例では、デジタル顕微鏡ステーション901は一つ以上の拡大レンズなどを介して、およびモータ付きステージを用いることによって、リモート位置において組織または試料の画像を捕捉するために動作するカメラを操作するために用いられる。デジタル顕微鏡ステーション901によって、そのユーザはレンズ選択、観察したい組織または試料の一部、および照明レベルなどの画像捕捉制御パラメータを入力できる。それから、デジタル顕微鏡ステーション901は、図11に示したネットワーク991などのネットワークを介してスライド画像化装置800にこれらのパラメータを送信できる。それから、スライド画像化装置は制御パラメータに従って一つ以上の画像を捕捉し、ネットワークを介して捕捉した画像をデジタル顕微鏡ステーションに送信できる。
【0145】
一実施例では、デジタル顕微鏡ステーション901は、症例に関連したリクエストを送受信でき、前記リクエストはユーザからの命令および入力を含み、一組の問い合わせ/解析コマンドを構成し、その後、一つ以上の画像サーバ850に送信される。リクエストは、スライド画像および症例に関連した他の情報に対するリクエストであってもよい。コマンドは、標準的なSQL、PL/SQLストアドプロシージャ、またはJava(登録商標)ストアドプロシージャの一つ以上の画像処理/マシンビジョン要素であってもよく、Java(登録商標)アプレットなどの動的言語内で呼び出される。
【0146】
一実施例では、デジタル顕微鏡ステーション901は、Trestle Corporation(所在地:カリフォルニア州、アービン)の拡張型MedMicroscopyStationを有することができる。
【0147】
顕微鏡ステーション901の別の実施例はウェブブラウザベースのシンクライアントであり、それはJava(登録商標)アプレットまたは他の動的言語を利用して捕捉パラメータの通信や画像の受信を行うことができる。
【0148】
リクエストを受信する際、画像サーバ850はそのリクエストに関連したユーザの証明書および特権をチェックおよび確認できる。このような証明書および特権は、例えば、暗号化またはパスワードによって実現される。証明書および特権がリクエストされた症例情報へのアクセスに適切でない場合、画像サーバ850はリクエストを拒否し、拒否したことをユーザに通知する。証明書および特権がアクセスに適切な場合は、画像サーバ850は関係データベースまたはオブジェクト指向データベースエンジン851に問い合わせタスクを委譲でき、専用スマート検索エージェント860に画像処理/マシンビジョン機能を委譲できる。問い合わせの結果はデジタル顕微鏡ステーション901に戻され、リクエストを行ったデジタル顕微鏡ステーション901や、リクエストされた一つ以上の別のデジタル顕微鏡ステーション901に戻される。タスクは、同期的に行うことも非同期に行うこともできる。並列タスクのスケジュールの観察や変更には、特別な権利が要求される。
【0149】
一実施例では、ユーザは技術者、監督者および管理者に分かれる。この実施例では、技術者が未保護の画像を観察する特権を有することができる一方、監督者だけが画像に関連したメタデータを変更できる。未保護の画像は、例えば、画像が検査に適しているか、または診断に適用可能であることを確認するために図2の152において観察される画像であってもよい。その実施例では、管理者だけが他のユーザに証明書および特権の割り当てや変更を行うことができ、監査証跡情報は誰も変更できない。
【0150】
画像サーバ850に格納されたデータのプライバシおよび完全性を保護するために、デジタル顕微鏡ステーション901と画像サーバ850および複数の画像サーバ850の間ではセキュアな通信形態が利用される。一実施例は、セキュアソケットレイヤ(SSL)または仮想プライベートネットワーク(VPN)に基づくことができる。ユーザアカウントは、例えば、パスワード、パスフレーズ、スマートカード、バイオメトリック情報の一つ以上によって保護される。
【0151】
以降は、デジタル顕微鏡ステーション901において行われる共通タスクのいくつかの例である。一実施例では、ユーザはデジタル顕微鏡ステーション901を用いて、一組のデジタルスライドまたは画像を視覚的に検査できる。ユーザはデジタル顕微鏡ステーション901に指示し、例えば、所定の時間枠で画像化された特定の研究所からの肝臓組織の全ての画像を検索することなどによって、その組を問い合わせもしくは検索できる。ユーザは、デジタル顕微鏡ステーション901に指示し、検索結果をダウンロードもしくは提供することもできる。ユーザは同様にまたは選択的に、より複雑な問い合わせ/解析(所定の統計的基準に適合する組織スライドの全ての画像など)によって、その組の発見およびアクセスを行うことができる。ユーザは、スライド画像のクラスまたは組上でデータマイニングなどの統計的モデリングを利用して、検索結果数のフィルタ処理および制限を行うことができる。ユーザの証明書および特権は、ユーザが利用する画像サーバ850によってチェックおよび確認される。ユーザは、アクセスした画像のサブセットをリクエストし、ユーザの診断に到達または批評する際の共同作業または相互協議など、実時間または後で検査するために別のユーザに送信できる。ユーザは、ダウンロード時間を考慮するために一日前など、検索結果を検査する予定の前に検索を実行できる。診断や検査操作のコストは、後で課金するための確立された支払いマトリクスに従って計算される。
【0152】
検索、アクセス、およびフィルタ処理機能の一例では、ユーザはデジタル顕微鏡ステーション901を用いて、画像サーバ850に問い合わせを行い、所定の割り合いを超える糖原核密度を有する肝臓組織の全ての画像を選択し、これらの組織画像から異常な領域を取得できる。他の閾値を問い合わせ内で指定し、境界基準を備えた組織の画像を別のデジタル顕微鏡ステーション901の別のユーザに送信し、さらに検査することもできる。
【0153】
一実施例では、デジタル顕微鏡ステーション901は、所定の基準に基づいて、後で一つ以上の検索、アクセス、およびフィルタ処理機能を自動的に実行するように指示することもできる。例えば、ユーザはデジタル顕微鏡ステーション901に指示し、所定の基準に適合する全ての組織サンプルに対して画像サーバ850を自動的におよび周期的に検索し、それからデジタル顕微鏡ステーション901に任意の新しい検索結果をダウンロードできる。
【0154】
一実施例では、病院の別棟などシステムに関連した組織の地理的位置の一つの画像サーバ850が、複数のスライド画像化装置800、または画像化のために定期的に提供されるスライドを備えた他のスライド画像化部を有する。この場所の技術者はデジタル顕微鏡ステーション901を用いて品質保証や品質管理を行うことができ、別の場所の病理学者または他の診断医はデジタル顕微鏡ステーション901を用いてスライド画像の検査や解析を行い、リモート診断を効率的に提供できる。技術者および診断医は、一実施例では図2の画像管理システム150、および図3の診断システム400の処理を介して画像を処理できる。
【0155】
画像サーバ850とデジタル顕微鏡ステーション901を用いるこのようなサーバ/クライアントモデルは、Trestle CorporationのTrestle ePathNetサービスおよびシステムなどの外部委託の画像化研究所を含むことができる。図13に示されているような画像化ネットワーク1000の一実施例では、Trestle ePathNetまたは他のサーバは病理学データ管理および仮想顕微鏡機能を提供でき、マスタ画像サーバ1010を有する。マスタ画像サーバ1010は画像サーバ850またはその一部の機能を含むことができる一方、異なる顧客のサイト(製薬会社および生命工学研究所など)における複数のスレーブ画像サーバ1020は各々画像サーバ850またはその一部の機能を有することができる。画像化部801は、画像アーカイバ/圧縮部803および画像インデクサ852と共に、顧客のサイトにおいてスレーブ画像サーバ1020に画像および特徴ベクトルを各々抽出できる。
【0156】
一つ以上のスマート検索エージェント860は、顧客のスレーブ画像サーバ1020上またはそれに密接して配置できる。スレーブ画像サーバ1020上に格納された画像のメタデータおよび所定の特徴ベクトルは複製し、SSLまたVPNなどのセキュアな通信方法または他の通信方法を用いて、TrestleのePathNetサーバなどのマスタ画像サーバ1010を含む施設に送信できる。問い合わせ/解析機能はデジタル顕微鏡ステーション901などを介して命令され、施設においてスマート検索エージェント860によって少なくとも部分的に実行される。それから、施設におけるスマート検索エージェント860は、マスタ画像サーバ1010上に格納された任意の画像のメタデータおよび所定の特徴ベクトルを検索および解析したり、スレーブ画像サーバ1020からのデータを検索および取得できる。施設におけるスマート検索エージェント860は選択的または追加的に、クライアント側または顧客側、つまりスマート検索エージェント860にタスクを委譲でき、スマート検索エージェント860はデータベース上の情報を解析でき、前記データベースは顧客の施設におけるスレーブ画像サーバ1020上にあってもよい。
【0157】
顧客のサイトまたは施設から、Trestleの施設などにおけるマスタ画像サーバ1010に送信されたデータは未識別のデータであってもよく、例えば、一方向のハッシュ関数を用いて識別を除去、暗号化、ハッシュするようにユーザがフィールド内に定義し、顧客管理のコードブロックを用いて、ユーザの識別コードを決定または翻訳されないようにしたデータであってもよい。一実施例では、未識別のデータは、ソフトウェアプログラムによって自動的に指定できる。スマート複製技術を用いて、オフサイトのデータベースストレージおよび制限された画像ストレージを容易にできる。帯域幅を節約するために、豊富なストレージ容量を備えたスレーブ画像サーバ1020などの主画像ストレージ手段を顧客のサイトに配置し、スライド画像の特徴ベクトル、メタデータおよび所定のより低い解像度の表現を格納でき、前記画像はスマート複製を介して、Trestle CorporationのePathNetサーバなどのマスタ画像サーバ1010において複製できる。一実施例では、高レベルのモデリング/データマイニングの大部分または別の部分は、ePathNetサーバなどの高性能のマスタサーバ上で実行し、スレーブ画像サーバ1020などの顧客のサーバ上での解析量を制限できる。
【0158】
デジタル作業場では、様々なシステム設計を用いることができる。例えば、必要に応じて観察ステーションに画像をストリーミングすることが用いられる処理の一つである。より速いアクセスが望まれる場合、観察ステーションのコンピュータに局所的に画像を格納できる。しかし、デジタルスライド全体を手動またはスクリプトでコピーすることは煩雑であり、ネットワーク適応型ではなくなる(例えば、システムがユーザに画像ファイル全体のダウンロードを要求するか何も要求しない場合)。
【0159】
一実施例では、システムおよび方法は仮想的な顕微鏡スライドを作成する際に使用するための画像データを送信することであり、顕微鏡スライドの拡大画像を得るために用いることができる。この実施例では、システムおよび方法は、画像を観察可能なコンピュータシステムに画像をストリーミングすることと、その上に画像を格納することの両方の機能を組み合わせている。別の実施例のシステムおよび方法では、スライドの画像の一部を観察ステーションにストリームまたはダウンロードできる。これらの実施例は、一つ以上のデジタルスライドのより素早い検査を容易にできる。
【0160】
一実施例によるシステムで用いられる方法を構成するために、予想されるワークフローを調べることによって開始できる。デジタル作業場では、例えば、ここで説明される画像サーバ850または他のサーバなどの上でスライドを画像化し格納でき、スライドに関する追加の情報もサーバ上のデータベースに入力できる。次に、データが検査される。一実施例によると、誰がデータを検査する可能性があり、その人はどこにいるかがわかっている範囲でシステムおよび方法が構築され、適切な場所のユーザに適切な画像および関連のデータをより効率的に提供できる。
【0161】
その実施例では、システムは、その検査者が実際に特定のスライド画像をリクエストする前に、ここで説明される画像サーバ850などの画像サーバから、ここで説明される画像インタフェース200などの検査または観察ステーションに、デジタルスライドまたはスライド画像の全てまたは一部を「プッシュ」または「プル」もしくは送受信できる。このような早期のスライド画像の送信によって、ユーザ/検査者は高速で画像を観察できる。一実施例では、このようなシステムは、画像サーバアーキテクチャと呼ばれる可能性があるものを保持できる。画像サーバアーキテクチャでは、観察ステーションは基本的に通常の観察者のように機能できるが、一実施例では「オートパイロット」上で動作することもできる。観察ステーションは、画像サーバからのスライド画像の一部を自動的、周期的にリクエストし(または画像の一部を周期的に受け取り)それらをローカルに保存する。当然のことながら、この特徴を備えたシステムは、特定のスライド画像の全てが送信されなくても重要な機能性を保持できる。
【0162】
観察者は、一実施例では、ブラウザ設計および一般的なウェブサーバ技術と一致する枠組みで操作でき、それは一般にリクエスト/応答と呼ばれる。観察者は、ここで説明される画像サーバ850または別のサーバから、観察者が操作可能なシステム下の多数の事前ストリーミングルールを受信(ダウンロード)できる。これらのルールは、様々な実施例では、ユーザがどのスライドまたはスライドストレージ位置にアクセスするか、どんな種類の書き込み(例えば、読み出しだけ、読み書き)を用いることができるか、最大ダウンロード速度、可能なダウンロード接続の最大数、暗号化要件(例えば、SSLまたは同様のものを用いてデータをダウンロードする必要があるか、または暗号化せずにデータを送信できるか)、ローカルマシン上にデータを暗号化せずにキャッシュできるか、およびどの程度の長さのダウンロードデータをキャッシュできるかに関するルールを有することができる。それから、観察ステーションはこれらのルール内で観察者のリクエストを実行し、実際のスライドをナビゲートしているかのように、スライドの画像を観察するために画像サーバと通信できる。言い換えると、観察ステーションはそのユーザの類似物となり、ダウンロードした事前ストリーミングルールによって確立された制約下で動作できる。
【0163】
システムは、第一の所定の観察解像度において画像サーバから観察ステーションに画像をダウンロードするように構成でき、それは、例えば、利用可能な二番目に高い解像度であってもよい。それから、様々な画像処理技術のいずれか、または図9で示しそれについて説明した画像化装置800などについて説明したアルゴリズムの動作によって、観察ステーションにおいて最初にロードした解像度からより低い解像度の画像を形成できる。これらのより低い解像度の画像は、柔軟な分離型のスケールダウンおよび圧縮エンジンによって生成できる。スケールダウンおよび圧縮エンジンは独立に動作できる。この独立性は、用いられる技術の柔軟性を許容できる。
【0164】
段階的圧縮技術は、画像間隔を解像度成分に一体化するために用いられ、その後、量子化およびエントロピ符号化などの技術を用いて前記解像度成分を圧縮できる。他の圧縮形態からの解像度成分に間隔を分離することによって、柔軟性を提供することもできる。例えば、ウェーブレット圧縮技術は、それらの基底関数の直交性によってより低い解像度の画像の生成を本質的に促進できる。関数は共依存していないので、直交性は周波数の混合および整合を行うことができる。しかし、符号化などの完全なウェーブレット圧縮を行うことに関連した他の形態は、かなり時間がかかる可能性がある。従って、一実施例ではウェーブレット圧縮の一部、つまり最初のウェーブレット分解だけを用いれば、その実施例はこの形態の圧縮システムから利便性が得られる。ウェーブレット分解後、所望のより低い解像度における新しい画像が修正される。それから、この新しい画像は圧縮エンジンに供給される。圧縮エンジンは、JPEGまたはPNGなどの任意のロスなしまたはロスあり技術を用いることができる。
【0165】
また、これらの画像の実際の解像度は、観察ステーションに直接ダウンロードされる。十分時間がある場合、利用可能な最高解像度における画像を最初にダウンロードし、上記のようにより低い解像度の画像をそれから構成、後処理、または後でダウンロードできる。
【0166】
観察ステーションにおいて実際に観察する前に、最高解像度の画像の任意の部分が利用可能でない場合、その最高解像度における画像の部分は、ここで説明される画像サーバ850などのサーバから観察ステーションに必要に応じてダウンロードできる。画像部分は、例えば、スライドまたはその画像の平面を定義する座標の組、またはスライドの一部としてのそれらの位置または場所(例えば、左の第三、中央の第三など)における場所によってユーザが識別できる。
【0167】
一実施例では、観察ステーションは、低解像度画像のどの部分をユーザが観察しているかに基づいて、より高解像度または最高解像度の画像の部分を自動的にダウンロードする。システムは、ユーザが観察している低解像度の部分と同じ、それに近い、もしくは関連した高解像度の画像の部分を自動的にダウンロードできる。システムはこれらの関連の高解像度の画像をキャッシュにダウンロードし、前記キャッシュはユーザの希望する場所で、またはユーザの以降の観察挙動に基づいて自動的にアクセスされる。
【0168】
例えば、一実施例では、先取りキャッシュまたは先取りバッファ処理が用いられ、過去のユーザ観察や発見的知識に基づいて、画像部分の断定的バッファ処理を用いることができる。一実施例では、先取りキャッシュ処理またはバッファ処理は、例えば、「一方向への移動は次に同じ方向に移動する可能性が高く、次に直交する方向に移動する可能性はやや低くなり、逆方向に移動する可能性は最も低くなる」といった所定の発見的知識に基づくことができる。別の実施例では、先取りキャッシュまたはバッファ処理は、次の移動を推測するための過去のデータの優位性を解析することなどによって、過去の使用法に基づいて動作できる。例えば、ユーザのナビゲーション移動の75%が左右で、25%が上下であれば、システムは現在の位置に対して上または下のデータをキャッシュする前に、現在の位置の左または右の画像部分をキャッシュする可能性がより高くなる。
【0169】
比較的低パワー(低解像度)の画像を用いて、一部または大部分の検査作業が日常的に行われる場合や、画像ファイルサイズの一部または大部分が最高パワーで表されている場合、ユーザが既にダウンロードした画像を観察する際、最高解像度の画像の利用不可能な(ユーザの観察時にはまだ観察ステーションにダウンロードされていない)部分に対応するより低解像度の画像の部分をダウンロードできる。低解像度の画像ファイルは高解像度の画像ファイルより小さくなるので、より低解像度のファイルは素早くダウンロードでき、高速検査を容易にできる。ユーザが(まだダウンロードしていない)最高解像度またはより高解像度の画像を観察する必要がある場合だけは、リモート位置から画像データを取得する際により大きな待ち時間がかかることとなる。
【0170】
画像のダウンロードの順番は一実施例では、最低解像度の画像を最初に観察ステーションにダウンロードし、それから次に高い解像度の画像をダウンロードするように反転させることができる。このようなダウンロード設計は、プログレッシブJPEGまたはJPEG2000などの段階的画像フォーマットに特に適している。段階的フォーマットでは、より高い解像度の画像が既に送信されているより低い解像度のデータ上に構築される。新しい高解像度の画像全体を送信するのではなく、一実施例では、高解像度と低解像度の画像の間の差異の係数だけを送信するだけでよい。これは、より高解像度の画像に対するいくつかの他の代替フォーマットに比べて送信される全体のデータを低減できる。
【0171】
システムの特徴は、一実施例では、スライドの画像化中に画像サーバから観察ステーションに事前ストリームダウンロードを行うことである。画像化し画像サーバ内に格納することなどによってデジタルスライドの新しい部分が利用可能になると、それらは観察ステーションに送信可能になる。
【0172】
この設計の特徴はデジタルワークフローを補完するだけでなく、一実施例ではライブの遠隔病理診断を増やすこともできる。ライブの遠隔病理診断システムは診察に用いることができ、一実施例では、いくつかの動作に対して二次元(2D)デジタルスライドを超える所定の機能的利点を有することもでき、より安価である。低解像度のデジタルスライドは、仮想的な対象または直接的な仮想スライド検査として、このような技術を介して観察ステーションにおいてローカルで観察されるので、これらのシステムの低解像度のデジタルスライドのダウンロードを事前にストリームすることは、このようなシステムのさらに高速な動作を可能にする。従って、この実施例のシステムは、ダウンロード画像とライブの遠隔病理診断の機能の両方を有することができ、ユーザはローカルに格納した低解像度のスライド画像を観察し、必要に応じて遠隔病理診断アプリケーションを介してライブのスライド画像を観察できる。
【0173】
高速ネットワークが出現しても、画像サーバ850などの画像サーバから、使用するための観察ステーションに画像をダウンロードすることに関連した方法論およびアーキテクチャは、システムの高速動作を促進できる。観察ステーションに画像を分散させることによって、サーバの作業負荷を低減できる。観察ステーションまたは他のクライアントをサーバに接続する高速光ファイバラインを用いる場合でも、複数のクライアントが同時にサーバにアクセスすると、システムの性能に悪影響を与える可能性がある。この影響は、サーバの帯域幅の作業負荷をより効率的に広げることによって低減できる。
【0174】
一実施例では、システムの構成要素は、サーバ用の管理インタフェースである(ここでは「スライドエージェントサーバ」と呼ばれる)。スライドエージェントサーバは、例えば、ここで説明される画像サーバ850やマスタ画像サーバ1010、または他のシステムまたはサーバを有することができる。スライドエージェントサーバは自動的に、もしくは症例研究調整者または病院の管理者などのユーザによる入力と共にスライドトラフィックの計画および指示を行う。スライドエージェントサーバは新しいジョブを生成でき、実行すると症例に関連した一つ以上のスライド画像および他の情報を制御し、所定の診断者および他の観察者の観察ステーションにその情報を送信することによって前記ジョブは症例の診断や検査を促進できる。観察ステーションにおける診断や観察用のシステムおよび処理は、例えば、図3と4についてここで説明され、この出願全体説明されるそれらのシステムおよび処理であってもよい。
【0175】
ジョブは、スクリプトによって記述し実行できる。スクリプトは、VBScript、VBA、Java(登録商標)Script、XML、もしくは任意の同様のまたは適切なソフトウェアプログラミング言語などの標準ソフトウェアプログラミング言語で書き込むこともできる。各スクリプトは、システムのユーザまたはユーザのグループごとに個々に作成できる。スクリプトは、一意的識別子(グローバルな一意的識別子(GUID)など)、ジョブを行うように割り当てられた一人以上のユーザ、ジョブの信憑性を確認するためのデジタル署名、ジョブのテキスト記述およびどのスライド、症例、または他のデータがユーザによって検査されるかを含むことができる。スクリプトおよび周囲の管理データ(所定のユーザの識別コードを含むことができる)の作成は、セキュアなウェブブラウザインタフェースを介して編集可能であり、画像サーバ850または他の画像サーバなどの中央サーバ上に格納できる。正当なユーザのリスト、およびユーザのジョブ情報にアクセスするための認証情報と範囲も修正できる。
【0176】
それから、各スクリプトは、所定のユーザのワークステーション、指定されたプロキシ(ユーザのコンピュータの代わりに動作するように指定されたコンピュータ)、または他の観察ステーション上で実行するソフトウェアに適用することもできる。観察ステーションは、一実施例では、スライドエージェントクライアントと呼ばれることもある。いくつかのセキュリティ機能はスライドエージェントクライアントのソフトウェアプログラム内に実装し、各スクリプトの命令を処理できる。例えば、プログラムはスクリプトを実行する前に、ユーザがダウンロードされる各スクリプトを具体的に許容することを要求できる。新しくダウンロードされるスクリプトは、デジタル署名または他の方法論を介して信頼されたサーバによって認証することもできる。システムはスクリプトをダウンロードするために、ユーザの認証を要求することもできる(例えば、ダウンロード前に、ユーザにユーザ名およびパスワードを入力することを促すことができる)。全ての通信に、セキュアソケット(SSL)を用いることもできる。キャッシュに書き込まれたファイルは、暗号化フォーマットで格納することもできる。
【0177】
スライドエージェントクライアントは、例えば、ダウンロードされるファイルの種類、ファイルの数、ファイルのサイズなど、ユーザへのスクリプト内に含まれる規則の性質についてユーザに情報を表示できる。スクリプトは、ダウンロードされるファイルに対して完全修飾識別子を提供できる(例えば、サーバのマシン名、サーバのIPアドレス、サーバのGUID、パスおよびファイル名)。スクリプトは、データのダウンロードの順番も指定できる。例えば、全てのファイルに対して最低解像度のロードをまず指定し、それから全てのファイルに対して次に低い解像度などのロードを指定できる。また、特定のファイルに対して全ての解像度のロードを行い、それから次に指定したファイルに進むこともできる。さらに別の形態では、各ファイルに対して中間の解像度のダウンロードを行い、それから各ファイルに対して次に高い解像度をダウンロードできる。ファイルの順番、ダウンロードされる解像度、および解像度の順番についての多くの変形形態を指定できる。
【0178】
ダウンロード処理中、問い合わせおよびファイル管理機能は、ユーザや管理者に提供できる。スライドエージェントクライアントまたはサーバは、ダウンロードするファイル、ダウンロードされたファイル、進捗、現在残された推定時間および全問い合わせなど、スクリプトによって指定された問い合わせの現在の状態を表示できる。スライドエージェントクライアントまたはサーバのユーザは、問い合わせからの項目の削除、リモートリストからの項目の追加、および項目を問い合わせる際の順番の変更を行うこともできる。スライドエージェントクライアントまたはサーバのユーザは、問い合わせ内の各項目についての基本情報をブラウズすることもでき、問い合わせ内の各項目のサムネイル画像を観察することもできる。スライドエージェントクライアントまたはサーバのユーザは、問い合わせ内の各ファイルの対象ディレクトリをブラウズおよび変更することもできる。問い合わせおよびファイル管理システムは、最大キャッシュサイズおよび警告キャッシュサイズの設定を有することもできる。警告キャッシュサイズは、閾値を超えた場合に、ユーザに警告を送るために使用されるキャッシュ空間の閾値であってもよい。問い合わせおよびファイル管理システムは、キャッシュが制限を超えたときキャッシュ内のファイルを削除することもできる。これは、作成日、ダウンロード日、または最後にアクセスした日に基づいて選択可能であるべきである。
【0179】
効率的なダウンロードを容易にするために、様々なネットワーク機能がシステム内で提示される。まず、ファイアウォールトンネリングインテリジェンスを実装し、ファイアウォールを介してダウンロードを実行でき、ファイアウォールによって提供されたセキュリティを無効化もしくは低下させる必要はない。これを実現するために、一つの技術はリクエスト/応答機構を介してユーザコンピュータまたはプロキシと、外部サーバとの間の全ての通信を発生させることである。従って、情報は、前もって対応するリクエストを送信することなく、ユーザコンピュータまたはプロキシにプッシュすることはできない。
【0180】
例えば、ユーザコンピュータまたはプロキシは新しいスクリプトに対するリクエストを周期的に生成し、それをサーバに送信できる。新しいスクリプトが準備されると、サーバは応答としてそのスクリプトを送信できる。これらのリクエストおよび応答がHTTPまたはHTTPSなどの共通プロトコルを用いる場合、さらにファイアウォールとの互換性をもたらすことができる。
【0181】
提示される別のネットワーク機能は、各ユーザまたはプロキシがファイルをダウンロード可能な最大ダウンロード速度を指定する各ユーザ用の事前設定である。これらの事前設定は、様々なネットワーク上のトラフィックをかなり大きな効率性および柔軟性を備えて管理可能にする。システムはアプリケーションに基づいた帯域幅優先度決定機能を有することもでき、例えば、ウェブブラウザなどの他のユーザアプリケーションがダウンロード処理中にユーザによって用いられる場合、ユーザアプリケーションに優先度を与えることができ、それに応じてダウンロード速度を低下できる。この概念は、CPU利用率に適用することもできる。CPU利用率がかなり高いユーザアプリケーションを用いる場合、ダウンロードアプリケーションより高い優先度を与えて、ユーザアプリケーションがより高速または可能な最高速度で実行できるようにする。
【0182】
次の表は、一実施例において、スライドエージェントクライアントとスライドエージェントサーバの間で発生可能な通信の例を示している。
【0183】
【表1】
【0184】
ファイルリストの一例は一実施例では、次のリストのようなものである。
/folder2/Filename1.tif;checksum
/folder2/Filename2.tif;checksum
/folder2/Filename3.tif;checksum
/folder3/Filename2.tif;checksum
【0185】
ここで議論されるシステムおよび方法の様々な実施例は、医師または診断医のデスクトップ上の完全な画像拡張型患者向け診断リポート上で生成できる。
【0186】
試料を解析する全てのユーザが同じ画像を観察でき、ガラススライドを利用するリモートユーザは異なるスライドの組を用いることができるので、様々な実施例は整合性を保証して偏見を取り除くことができる。画像はネットワーク上に素早く送信され、スライド検査では、別個の組のスライドが一般に生成されリモート観察者にメールされるので、様々な実施例はリモート診断を高速化し、よりコスト効率的にする。
【0187】
ここで議論されるシステムおよび方法の様々な実施例によってユーザは複数のスライドを同時に観察し、画像検査処理を高速化できる。さらに、ここで議論されるシステムの実施例を利用することによってスライドを各検査者に送る必要がないので、スライドの損傷を避けることができる。
【0188】
ここで議論されるシステムおよび方法の様々な実施例は、組織学、毒物学、細胞学、および解剖病理学などの様々な医学的規律に対してカスタマイズでき、組織マイクロアレイなどの様々な試料形式に対して利用できる。組織マイクロアレイに対しては、システムおよび方法の様々な実施例をカスタマイズ可能であり、試料の行および列番号を指定することによって、マイクロアレイ内の個々の試料をグリッド形式で提示できる。毒物学用途では、病気または他の状態が存在するかどうかを決定するために多くの画像が素早く観察され、ここで議論されるシステムおよび方法の様々な実施例を用いて単一の観察内で多数の画像を表示し、その処理を促進できる。
【0189】
画像システムを用いる際に機能できる製造部材の一実施例は、その上に格納可能な命令を備えたコンピュータ読み取り可能な媒体を含み、前記命令がプロセッサによって実行されるとプロセッサはユーザインタフェース情報を表示する。一実施例では、コンピュータ読み取り可能な媒体は、プロセッサがユーザインタフェースから発行されたコマンドを受け取り、それらの受け取ったコマンドに従って表示されるユーザインタフェース情報を調整するような命令を含むことができる。
【0190】
一実施例では、画像インタフェースは命令を実行するプロセッサを含み、それによってプロセッサが症例内の単一の生体から取った試料の少なくとも二つの画像を関連させる。少なくとも二つの画像は、同時に表示することも別個に表示することもできる。
【0191】
命令の実行によってさらに、プロセッサは症例にアクセスする際、ユーザに少なくとも二つの画像を表示できる。命令の実行によってさらに、プロセッサは症例内の少なくとも二つの画像から診断を下すことができる。命令の実行によってさらに、プロセッサは症例内の少なくとも二つの画像の一つ以上に存在する着目領域を区別できる。
【0192】
命令の実行によってさらに、プロセッサは少なくとも二つの画像に関連した情報を症例と関連付けることができる。情報は、第一診断を含むことができる。第一診断は第二診断を下す第二診断者にとって利用可能であってもよく、命令の実行によってさらにプロセッサは第二診断を症例と関連付けることができる。第一診断を行った第一診断者の識別コードは、第二診断者には利用可能でなくてもよい。第一および第二診断と、第一および第二診断を行った第一および第二診断者の識別コードはユーザにとって利用可能であってもよい。ユーザは、第一診断と第二診断の意見が一致しているかどうかを決定できる。プロセッサは命令を実行でき、前記命令によってさらにプロセッサは、第一および第二診断が一致しているかどうかを決定する。第一診断と第一診断を行った第一診断者の識別コードは、第二診断を下した第二診断者にとって利用可能でなくてもよく、命令の実行によってさらにプロセッサは第二診断を症例と関連付けることができる。第一および第二診断を行った第一および第二新診断者の識別コードは、ユーザにとって利用可能でなくてもよい。
【0193】
一実施例では、データベース構造は、症例内の単一の生体から取った試料の少なくとも二つの画像を関連付ける。
【0194】
一実施例では、症例の整理方法は、症例内の単一の組織から取った試料の少なくとも二つの画像を関連付け、画像インタフェースを介して関連付けた少なくとも二つの画像へのアクセスを提供することを含んでいる。
【0195】
一実施例では、製造部材は命令を含むコンピュータ読み取り可能な媒体を有し、前記命令がプロセッサによって実行されると、プロセッサは症例内の単一の生体から取った試料の少なくとも二つの画像を関連付ける。
【0196】
一実施例では、画像確認法は診断に使用するために試料の第一画像を許容するか拒絶するかを解決し、第一画像が許容された場合、第一画像を診断者に送り、第一画像が拒絶された場合、第一画像を画像改善部に送り、画像改善部が画像捕捉に関連した少なくとも一つのパラメータを変更し、第一画像が拒絶された場合、第二画像の捕捉について変更した少なくとも一つのパラメータを用いて試料の第二画像を捕捉し、第二画像を捕捉した場合、第二画像を診断者に送ることを含んでいる。診断者は、人間の診断医であっても診断装置であってもよい。画像改善部は、人間の診断医であっても診断装置であってもよい。画像確認法はさらに、診断に使用するために第二画像が許容されるか拒絶されるかを解決することを含むことができる。
【0197】
一実施例では、画像確認装置は命令を含むプロセッサを有し、実行されたとき前記命令によってプロセッサは、診断に使用するために試料の第一画像を許容するか拒絶するかを解決し、第一画像が許容された場合、第一画像を診断者に送り、第一画像が拒絶された場合、第一画像を画像改善部に送り、画像改善部が画像捕捉に関連した少なくとも一つのパラメータを変更し、第一画像が拒絶された場合、第二画像の捕捉について変更した少なくとも一つのパラメータを用いて試料の第二画像を捕捉し、第二画像を捕捉した場合、第二画像を診断者に送る。
【0198】
一実施例では、製造部材は命令を含むコンピュータ読み取り可能な媒体を有し、実行されたとき前記命令によってプロセッサは、診断に使用するために試料の第一画像を許容するか拒絶するかを解決し、第一画像が許容された場合、第一画像を診断者に送り、第一画像が拒絶された場合、第一画像を画像改善部に送り、画像改善部が画像捕捉に関連した少なくとも一つのパラメータを変更し、第一画像が拒絶された場合、第二画像の捕捉について変更した少なくとも一つのパラメータを用いて試料の第二画像を捕捉し、第二画像を捕捉した場合、第二画像を診断者に送る。
【0199】
試料の画像と共にグラフィックユーザインタフェースを用いるシステム、装置、および方法を詳細に、その具体的な実施例を参照しながら説明してきたが、当業者には明らかなように、その精神および範囲から逸脱することなく様々な変更および修正をその中で行うことができる。従って、それらが添付の請求項およびそれらの等価物の範囲内にある限り、その修正および変更を含むものとする。
【図面の簡単な説明】
【0200】
添付の図面では、同様の参照番号は同様の構成要素を指示するために用いられ、前記図面は画像および画像インタフェース装置、システム、および方法をさらに理解するために含められ、この明細書に組み込まれ、その一部を構成し、画像および画像インタフェース装置、システム、および方法の実施例を示し、前記実施例はその説明と共に画像および画像インタフェース装置、システムおよび方法の原理の説明に役立つ。
【図1】組織を形成し検査するための処理の一実施例のフローチャートである。
【図2】画像管理システムの一実施例を示す図である。
【図3】医学的試料サンプルを診断するためのコンピュータ化システム内で使用可能な方法の一実施例のフローチャートである。
【図4】品質保証/品質管理(QA/QC)システムを提供するための方法の一実施例のフローチャートである。
【図5】医学的サンプルを診断する教育システムを提供するための方法の一実施例のフローチャートである。
【図6】グラフィックユーザインタフェースの一実施例を示す図である。
【図7】グラフィックユーザインタフェースが動作可能なネットワークの一実施例を示す図である。
【図8】試料の画像を形成するための方法の一実施例のフローチャートである。
【図9】画像システムの一実施例を示す図である。
【図10】画像インデクサの一実施例を示す図である。
【図11】画像化ネットワークの一実施例を示す図である。
【図12】画像特徴抽出処理の一実施例を示す図である。
【図13】画像化ネットワークの一実施例を示す図である。
【技術分野】
【0001】
(関連出願への相互参照)
この出願は、米国仮特許出願番号60/651,129、出願日2005年2月7日、60/647,856、出願日2005年1月27日、60/651,038、出願日2005年2月7日、60/645,409、出願日2005年1月18日、60/685,159、出願日2005年5月27日の優先権を主張する。
(連邦政府が出資した研究に関する記述)
適用せず。
画像システムは、例えば、組織や血液などの試料の拡大した画像を捕捉するために用いられる。例えば、それらの画像を観察および操作し、試料が病変しているかどうかを診断する。それらの画像はさらに、インターネットなどのネットワークを介して画像データを送信することによって、他の市や国にいる診断医などの他者と共有できる。
【発明の開示】
【発明が解決しようとする課題】
【0002】
しかし、それらの画像を効率的に捕捉、処理および転送し、診断医と同様の方法でそれらの画像を表示し、診断処理の時間を節約し安価にするシステム、デバイスおよび方法が必要となっている。
【課題を解決するための手段】
【0003】
ここで、添付の図面に示されている画像および画像インタフェース装置、システム、および方法の実施例を参照する。画像および画像インタフェース装置、システム、および方法の詳細、特徴、および利点は、その実施例についての以降の詳細な説明においてさらに明らかになる。
【0004】
明細書内での「一実施例」、「所定の実施例」への任意の参照、またはある実施例についての同様の参照は、その実施例と共に説明される特定の特徴、構造または性質がこの発明の少なくとも一つの実施例に含まれることを示すものとする。明細書内の様々な場所でのこのような用語の出現は、必ずしも全ての同じ実施例を参照するものではない。「または」への参照も包含的なものであるので、「または」はオアで接続した用語の一方または他方、またはオアで接続した用語の一つ以上を示すことができる。
【0005】
ここで用いられる「デジタルスライド」または「スライド画像」は、スライドの画像を指している。ここで用いられる「スライド」は、試料、および試料を配置または収容する顕微鏡スライドまたは他の基板を指している。
【0006】
デジタルスライドの出現は、破壊的技術(disruptive technology)と考えられる。スライド検査のアナログ的性質は、情報および他のコンピュータ技術の効率性を活用する顕微鏡における作業方法の採用を妨げている。解剖病理学者などのスライドを観察する一般的な顕微鏡ユーザは、検査されるスライドについての情報を見るためのテキストデータベースを有し、それらの検査の結果に関するメモ書きを指示または入力するためにその同じ情報システムを用いることができる。それを超える任意のデータ捕捉は、かなり制限されることがある。カメラからスライド画像を捕捉し、着目領域にメモ書きするためにデータベースにそれらを送信することは煩雑であり、スライド検査にかかる時間を増やし、実際のスライド観察の時点に関連すると思われるスライドのそれらの部分だけを捕捉することがある(データマイニングアプリケーション内で望まれる洞察力を制限する)。
【0007】
デジタルスライドを利用することによって、顕微鏡スライド検査用のデジタル作業場を形成する際に失われる部分が提供される。現在では、所定の環境では、データの操作に含まれる全てのデータおよび処理をデジタル的に処理することが可能になっている。このような垂直統合は、新しいアプリケーション、新しい作業場組織を切り開き、以前は臨床病理学に制限されていた解剖病理学の処理に同種の効率、品質改善、および拡張性をもたらす。
【0008】
ガラススライドを検査する処理は、所定の例では非常に速い処理になることがある。操作者は、顕微鏡システムの一部であるか、またはそれと共に使用されるステージ上にスライドを置くことができる。ユーザはステージ用の制御を用いてスライドを移動することも、適用可能な場合はステージクリップを取り除き指でスライドを自由に移動させることもできる。いずれの場合でも、任意の着目領域へのスライドの物理的移動は極めて高速であり、顕微鏡の対物レンズ下のスライドの着目領域からの任意の画像の提示は文字通り光速で行われる。また、顕微鏡の日常的ユーザは、スライド画像の高速な検査を容易にするシステムを用いて効率的に作業できる。
【0009】
ユーザは、新しい能力を提供するデジタル作業場において画像を検査することから恩恵を受け、競合する作業場上での恩恵は他の能力の損失によって打ち消されない。デジタルスライド技術の構成は、ここで説明される画像サーバ850などの画像サーバを含むことができ、前記画像サーバはデジタルスライドまたは画像を格納し、リモート観察ステーションにデジタルスライドの一部を「ストリーミング」することによって送信できる。リモート観察ステーションは、例えば、ここで説明される画像インタフェース200またはデジタル顕微鏡ステーション901、またはネットワーク上で通信可能な別のコンピュータまたはコンピュータ化システムであってもよい。デジタルスライド技術の別の構成では、リモートサイトのユーザはデジタルスライドファイルをローカルコンピュータにコピーし、そのコンピュータのファイルアクセスおよび観察システムを用いてデジタルスライドを観察できる。
【発明を実施するための最良の形態】
【0010】
図1は、組織の形成および検査用の処理100の一実施例のフローチャートである。102では、生検および針生検を含む様々な外科手術によって、人間や動物などの生体から組織を除去または採取する。104では全体観察を行い、除去した一つ以上の組織を除去した形態で観察するか、もしくはじっくり調べる。それから、一つ以上の断面を全組織から取り除き、顕微鏡スライドまたは顕微鏡ステージなどの基板上に取り付け観察することができる。106では、組織上または組織に対して特別な処理を行うことができる。特別な処理の一形態は、組織に染色を加えることである。108では一般に基板上に組織を配置し、組織上にカバースリップを接着させるか、または他の手段によってスライドを準備する。また、生体から血液などの流体または他の材料を除去して基板上に配置することもでき、もしくは画像化用の準備を行うことができる。画像化される組織、流体、および他の材料、医学的サンプルまたは他のサンプルは、ここでは「試料」と呼ばれることもある。例えば、様々な実施例では試料は組織サンプルまたは血液サンプルを含むことができる。
【0011】
110では、スライドを画像化できる。スライドは、スライドの少なくとも一部のデジタル画像を捕捉することによって画像化でき、試料は米国特許出願番号09/919,452内で説明されているように前記スライド上に配置するか、または画像技術において公知の他の方法で配置する。デジタルスライドまたはスライドの画像は、所定の機能的目標の実現に十分なスライド(従って試料)のデジタル表現であってもよい。この表現はスナップショットと同じぐらいに単純であっても、マルチスペクトル、マルチ断面、マルチ解像度データセットと同じぐらいに複雑であってもよい。それから112ではデジタルスライドは技術者によって検査され、試料が診断に適していることを保証する。114では診断医がデジタル画像またはスライドを考慮し、試料に関連する病気または他の問題を診断する。
【0012】
一実施例では、110において一つ以上の仮想顕微鏡スライドを形成する際に使用するために、試料の画像データを得るためのシステムおよび方法が用いられる。このシステムおよび方法は、一つ以上の顕微鏡スライドの可変解像度の画像を獲得するために用いられる。
【0013】
仮想顕微鏡スライドまたは仮想スライドは、顕微鏡スライドの画像または拡大した画像を表すデジタルデータを有することができ、デジタルスライドまたはスライドの画像であってもよい。仮想スライドがデジタル形態である場合、コンピュータメモリまたはストレージ装置内などの媒体上に格納でき、インターネット、イントラネット、図6および図7などに対して説明されるネットワークなどの通信ネットワークを介して図7に対して説明されるノード254、256、258、または260の一つなどのリモート位置の観察者に送信でき、前記観察者は、例えば、ここで説明される画像インタフェース200またはデジタル顕微鏡ステーション901であってもよい。
【0014】
仮想スライドは、いくつかの例では既存の顕微鏡スライドを超える利点を提供できる。いくつかの場合、仮想スライドによって医師は既存の顕微鏡スライドを用いて可能なものより素早く、簡便で、経済的に診断を提供できる。例えば、仮想スライドは、通信ネットワークを介してリモート位置の技術者などリモートユーザにとって利用可能になり、医師は技術者と協議して遅延なしに診断を提供できる。また、仮想スライドはデジタル形態で無限に格納し、医師または技術者の都合により後で観察できる。
【0015】
仮想スライドは、顕微鏡の対物レンズの下に顕微鏡スライド(拡大した画像が望まれる試料を有することができる)を配置し、スライドの全てまたは一部をカバーする一つ以上の画像を捕捉し、画像を組み合わせてスライドの単一の統合したデジタル画像を形成することによって生成される。スライド全体は、画像化部の拡大する(例えば、20×の)対物レンズの視野より大きいことがあるので、スライドを複数の領域または部分に分割し、各領域または部分に対して別個の画像を形成することが望ましい場合もある。さらに、多くの組織の表面は不均一であって局所的な振動を含んでもよい(それは、固定z位置を用いて、スライド全体の焦点画像を捕捉する場合は困難をもたらす)。ここで用いられるように、用語「z位置」は、デカルト(Cartesian)座標系のz軸の座標値を指している。z軸は、ステージに向かって対物レンズを導く軸を指示することができる。z軸はx軸とy軸の各々から90°の角度であってもよく、必要に応じて別の角度であってもよい。x軸とy軸は、顕微鏡ステージが存在する面内であってもよい。従って、いくつかの技術はスライドの様々な領域または部分を表す複数の画像を獲得することや、それらの画像をスライド全体の統合された画像に組み合わせることを含むことができる。
【0016】
顕微鏡スライドのデジタル画像を捕捉するための一つの技術は、開始/停止捕捉法である。この技術によると、調査のためにスライド上の複数の対象点を指定できる。スライド上には、対物レンズ(例えば、20×)を配置できる。各対象点ではz位置を変更し、複数のz位置から画像を捕捉できる。それから画像を調査し、所望の焦点位置を決定できる。焦点調節動作中に得られた画像の一つの焦点が十分に合っていると決定された場合、スライド上の各対象点に対する所望の焦点画像としてその画像を選択できる。画像の焦点がどれも合っていない場合、画像を解析し所望の焦点位置を決定できる。対物レンズは所望の焦点位置に移動させ、新しい画像を捕捉できる。いくつかの場合、画像の第一シーケンスは、所望の焦点位置を決定するための十分な情報を提供できないことがある。このような場合、z位置の狭い範囲内の画像の第二シーケンスを捕捉し、所望の焦点位置の決定を容易にできる。この方法で得られた複数の所望の焦点画像(各対象点に対して一つ)を組み合わせて、仮想スライドを形成できる。
【0017】
焦点画像を形成し仮想スライドを形成するために用いられる別の方式は、顕微鏡スライドを調査し焦点マップを生成することを含み、前記焦点マップはスライド上の限られた数の点上で対物レンズの焦点を合わせることによって形成された推定焦点面である。それから、焦点マップに基づいて走査動作を行うことができる。いくつかの技術またはシステムは、スライド上の限られた数の点に対して、所望の焦点情報を決定することによって焦点マップを構成できる。例えば、このような技術またはシステムはスライド上の3〜20個の対象点から選択し、対物レンズを用いて各対象点において焦点調整動作を行って所望の焦点位置を決定できる。それから、これらの対象点に対して得られた情報を用いて、スライド上の任意の未調査の点に対して所望の焦点情報を推定できる。
【0018】
顕微鏡の対物レンズは、顕微鏡スライド上の指定された各対象点に対して複数の焦点捕捉動作を行う必要が頻繁にあるので、開始/停止捕捉システムは、上記のように比較的低速になる可能性がある。さらに、対物レンズの視野が制限されることがある。所望の焦点情報を直接得る点の数は、スライド全体の比較的小さな部分となることがある。
【0019】
焦点マップを構成するための技術は、いくつかの場合は他の技術のいくつかの利点を欠くこともある。第一に、所定の対象点に対して所望の焦点データを得るために、高倍率の対物レンズを用いると比較的低速になることがある。第二に、スライド上の限られた数の点から焦点マップを生成すると、得られた焦点マップが不正確になることがある。例えば、スライド上の組織は、均一で滑らかな表面を有していない場合も多い。また、多くの組織面は、わずかな距離で変化するムラを含むこともある。焦点情報を得るために、欠陥または著しい位置のバラツキを有する組織の面上の点を対象点として選択した場合、そのズレが焦点マップ全体の所望の焦点位置に対する推定値に影響を与えることがある。
【0020】
焦点技術にかかわらず、ユーザは高品質を希望しながら、同時にさらなる高速化を要求し続けている。様々なシステムが、画像捕捉手順の一部として、着目領域検出ルーチンを用いることによってユーザの要求に適合しようとしている。スライド全体を走査もしくは画像化するのではなく、これらの技術は、スライドのどの部分が試料または対象組織を含むかを決定しようとしている。そして、試料または対象組織を含むスライドの領域だけを走査もしくは画像化できる。スライドの大部分は試料を含まないことがあるので、この画像技術は走査時間全体の著しい低減をもたらす可能性がある。概念的に簡単であるが、実際にはこの技術は、スライド内に存在する多くのアーチファクト(artifact)によって妨げられることがある。これらのアーチファクトには、埃、引っ掻き傷、スライドの気泡、スライドのカバースリップ(coverslip)の端部、および浮遊組織の破片が含まれる。所定の場合、これらのアーチファクトは非常に大きなバラツキとなるので、このような着目領域検出ルーチンは一つ以上の高度な画像シーン解析アルゴリズムを含むことが必要とされる。全ての組織を走査もしくは画像化する必要がある要件の場合、このようなアルゴリズムを生成することは非常に困難であり、いくつかの場合、かなりのユーザごとのカスタマイズなしでは実際に100%は成功しそうにない。別の選択は、システムの感度は非常に高くするが、特異性は低くすることである。この選択は、その感度のために組織を検出する可能性はより高くなり、その低特異性のためにアーチファクトを検出する可能性も高くなる。その選択は、走査または他の画像スループットも実質的に低減し、それに応じて着目領域検出の利便性も得られる。
【0021】
一実施例では、図1の110における画像の捕捉は、図8のような画像形成方法700を用いている。画像形成方法700は、一つ以上の構成要素を組み込むことができる。第一はルーチンであり、それは、例えば、機能を実行するためのコンピュータプロセッサによって実行可能なソフトウェア、または他のプログラム内などの一組の命令であってもよい。このルーチンは、多層着目領域(ROI)検出ルーチンであってもよい。ROI検出ルーチンは、例えば、米国特許出願番号09/919,452または09/758,037で説明されているような画像化のための組織を含む領域など、スライド上にROIを配置するためのシステムまたは方法を含むことができる。ROI検出ルーチンは、スライド全体のマクロ画像またはスライドの一部の画像などスライドの捕捉した画像を解析することによってROIを配置できる。スライド上のどこに組織が配置され、どこに配置されていないかに関する二者択一を提供するのではなく、画像形成方法700は、多層ROI検出ルーチンであるROI検出ルーチンを用いて、ROIを含むそれらの確率に従って信頼度スコアなどを用いて、様々な部分の捕捉した画像をグレード付けすることによってスライドの一部を評価する。
【0022】
多層ROIルーチンは、例えば、スライド画像部の画素強度または他のテクスチャフィルタ出力の平均、および標準偏差などの所定の統計量の閾値を付けることによってこのようなグレード付けを行い、対応するスライド部分が組織を含むか非組織であるかを判断することができる。組織を含むことが期待される第一閾値は、平均などの第一尺度の一つに適用できる。画像内の各画素に対して、例えば、1mm×1mmの領域内の周囲の画素の平均を計算できる。所定の領域の平均が、例えば、50〜200(8ビット(0〜255)のグレイスケール値の場合)の閾値範囲にあれば、画素が対応するスライドのその部分には、組織を含むと考えられる。平均が50より小さいか200より大きい場合、組織を示していないか、もしくは組織を含まないと考えられる。第二の閾値付けステップは、標準偏差に適用することで構成される。平均に対する計算と同様に、各画素がそれおよびその周囲の画素(例えば、1mm×1mmの領域)に対して計算された標準偏差を有する。標準偏差が所定の閾値、例えば、5より大きい場合、その画素は組織を示すと考えられる。閾値以下であれば、組織を示すとは考えられない。各画素の位置に対して、第一および第二閾値付けステップの結果を比較できる。所定の画素位置に対して、画素が組織を示すことを閾値演算のどちらも指示していない場合、その画素は非組織として割り当てられる。画素が組織を示すことを閾値の一方だけが指示する場合、その画素は組織を示す中間の確率が与えられる。画素が組織を示すことを両方が指示する場合、どちらも組織を示すと考えられる。
【0023】
また、一実施例では、単一の閾値を維持し、タイリング(tiling)マトリクス相、つまりスライド画像をタイル、画素または他の部分に分割した相に強調を加えることができる。タイリングマトリクス内の全画素の割合として組織を示すようにマークを付けた画素の数が、信頼度スコアとして用いられる。大量の正の画素、つまり組織を示すとしてマークを付けた画素を備えたタイルは組織を示す可能性が高いが、正の画素の量が非常に少ないタイルが実際に組織を示す可能性は低くなる。このような方法論(methodology)は、より連続的なスコアのアレイ(例えば、0〜100)をもたらし、画像を形成する各画素または他の部分の品質設定のより連続的なアレイを可能にする。
【0024】
画像形成方法700は、710において評価される一つ以上のスライド部を識別する。従って、画像形成方法700は710において、一実施例では、均一なグリッドにスライド画像を分割することによるなどスライド画像を評価部分に最初に分割する。一例は、スライドの50mm×25mmの領域を50×25のグリッドに分割し、前記グリッドは1250個の部分を有し、それがブロックとなり、各々がほぼ1mm2のブロックを形成する。一実施例では、画像形成方法700は710において、例えば、図9の画像化部801を用いて、もしくはここで説明されるように評価用に識別される少なくともスライド部の画像をまず捕捉することを含んでいる。
【0025】
720では、各ブロックを評価する。この例の各ブロックには730において、組織を含むブロックの領域の確率に対応する信頼度スコアを与えることができる。信頼度スコア(ROI確率または可能性)は740で決定され、以降で説明されるように品質の決定、それへの対応、もしくは影響を与えることが可能であり、図9の実施例の画像化装置800などの画像化装置によって750において、それと共にブロックまたは他の部分の画像が獲得される。画質は、解像度、ステージ速度、走査または他の画像設定、ビットまたは色の深み、画像補正処理や画像結合処理などの一つ以上の画像化パラメータに依存する。一実施例では、多層ROI検出ルーチンは、720、730、および可能であれば740も含むことができる。別の実施例では、多層ROI検出ルーチンは710で、スライドを評価部分に分割することを含んでいてもよい。
【0026】
一実施例では、スライド画像または試料画像の解像度は、画質の最も直接関連のある尺度である。ここで説明されるように、図9の画像化部801などの画像化部によって形成される画像の解像度は、画像の鋭敏さおよび明瞭さを指し、デジタル解像度、光学系の分解能、および他の因子を含む画像化部の一つ以上の基準の関数であってもよい。デジタル解像度は、捕捉したデジタル画像の面積当たりの最大ドット数を指している。組織を有する確率が最も高い画像の部分は750において、利用可能な最高解像度で走査または画像化でき、それはいくつかの状況では最高の品質に対応する。組織を有する確率が最も低く、従って信頼度スコアが最も低い部分は750において最低品質で画像化され、それは利用可能な最も低い画像の解像度に対応する。信頼度スコアは、画像の解像度、画質の一つ以上の他の形態、もしくはここで説明される他の所望の画像化パラメータと直接相関させることができる。
【0027】
多層ROI検出ルーチンによって評価するために710などで、最低品質の画像の一つ以上の部分を既に捕捉している実施例では、既に捕捉している画像を用いることができ、画像の冗長性について以降で説明するように一つ以上の部分を再画像化することはできない。
【0028】
一実施例による画像システムの能力に依存して、組織の中間の確率、従って中間の信頼度スコアに対応する一つ以上の中間の解像度が740において決定され、750において画像化される。画像化部または画像化装置が離散的(discrete)な解像度を有する場合、中間の解像度数は基本的に離散的であってもよい。例えば、5個の対物レンズの倍率(2×、4×、10×、20×、40×)が利用可能な場合、システムは2×の対物レンズを用いて行う場合に最低解像度の画像化、40×の対物レンズの場合に最高解像度、4×、10×、および20×の対物レンズの場合に三つの中間の解像度を定義できる。
【0029】
離散的な解像度選択を備えた実施例では、組織を含むスライド部の確率、従って730において決定される信頼度スコアは、740においてその部分に対する画像解像度設定を定義するために解像度の一つのビンに入れる(binned into)ことができる。例えば、画像形成法700は、そのスライド部を画像化する解像度と共にスライド上のその位置を格納することによって、740などにおいてスライド部をビンに入れることができる。
【0030】
ビンの決定は740において、例えば、閾値化および適応閾値化を含む様々な方法のいずれかによって行うことができる。三つの離散的な解像度選択の場合の簡単な閾値化の一例は、二つの閾値を定義することである。第一の閾値は10%の信頼度スコアであってもよく、第二の閾値は20%の信頼度スコアであってもよい。つまり、10%未満の信頼度スコアが最低解像度ビンに分類される。10%以上で20%未満の信頼度スコアは、中間の解像度ビン内であってもよい。20%以上の信頼度スコアは、最高解像度ビン内であってもよい。
【0031】
適応閾値化の一例では、特定の試料のグリッド部の最高確率スコアと最低確率スコア、従って最高信頼度スコアと最低信頼度スコアを計算できる。最高信頼度スコアと最低信頼度スコアの差の事前に定義された割合を最低信頼度スコアに加えて、低解像度閾値信頼度スコアを決定することができる。低信頼度スコアと低閾値の間にある部分の信頼度スコアは、最低解像度ビン内に分類される。最高信頼度スコアと最低信頼度スコアの間の差の異なる(より高い)割合を最低信頼度スコアに加えて、全ての異なる解像度に対して次のより高い解像度閾値などを決定できる。様々な割合の差の選択は様々なパラメータの関数として決定でき、それは、例えば、システムに対して利用可能な対物レンズの数、それらの各画像の分解能、その範囲で利用可能な最高の解像度、などの一つ以上を含むことができる。
【0032】
一実施例では、画像形成法700の一例は、720、730、および740においてスライドまたは他のサンプルを解析し、その評価部分の中で、最低信頼度スコア5および最高信頼度スコア80を有することを決定することをが含まれる。これらのスコアは、その部分がROIであるかどうかに関する確率の割合に対応することも、他の値に対応することもできる。画像形成法700は、ここで説明される画像化部801などの画像化部と共に利用でき、三つの離散的な解像度選択−例えば、1画素当たり2μmの解像度、1画素当たり0.5μmの解像度、および1画素当たり0.25μmの解像度を有することができる。第一の閾値は(最低値)+(最高値と最低値の差の10%)、つまり5+((80−5)*0.1)=12.5として定義される。第二の閾値は(最低値)+(最高値と最低値の差の20%)、つまり5+((80−5)*0.2)=20として定義される。第一閾値より小さな信頼度スコアの部分は、1画素当たり2μmで画素化される。第一閾値以上であるが第二閾値未満の信頼度スコアの部分は、1画素当たり0.5μmで画素化される。第二閾値以上の信頼度スコアの領域は、1画素当たり0.25μmで画像化される。
【0033】
別の実施例では、離散的な解像度選択は740において他の画像捕捉パラメータを加えることによって、より連続的な組の品質選択に変換され、前記パラメータは解像度アルゴリズムに対する画質に影響を与える。連続的走査または他の画像化装置の場合、ステージ速度が画像捕捉パラメータの一つであってもよく、前記パラメータは画質に重要な影響を与えることができる。より高いステージ速度はより高い画像捕捉技術速度を提供することが多いが、画像解像度が低くなるとそれに応じて画質も低くなる。より高いステージ速度における画像化に関連したこれらの特性は、複数の対物レンズと組み合わせて用いられる。公称画像解像度は公称画像速度と関連付けられ、前記公称画像速度は、例えば、速度範囲の中間であってもよい。各対物レンズは複数の画像速度設定と関連付けられ、公称画像速度より速くても遅くてもよく、その対物レンズに対する公称画像速度からの画像速度を変化させて、その対物レンズで捕捉される画像の解像度を増減できる。画像化中にステージ速度を変化させるこの技術によって、各対物レンズに関連したビン、およびこれらの対物レンズの一つ以上に関連した二つ以上のステージ速度用の追加または下位のビンを含めることなどによって、対物レンズ数を超えて品質ビンの数を拡張できる。
【0034】
例えば、10×と20×の走査対物レンズの各々で画像化される部分に対して指定される二つの主ビンがあってもよい。これらの二つの主ビンは二つのより小さいビンに再分割でき、10×の対物レンズでステージ速度50mm/s、10×の対物レンズでステージ速度100mm/s、20×の対物レンズでステージ速度25mm/s、20×の対物レンズでステージ速度50mm/sとなる。
【0035】
別の実施例では、複数の捕捉方法つまり750において画像を捕捉する焦点面の数は、画像捕捉の品質および速度に影響を与える変数であってもよい。従って、740において追加の品質ビンを提供するために、焦点面の数または焦点距離を用いることもできる。複数の焦点面を利用し、平面の組み合わせ(例えば、様々なz位置におけるスライドの画像化)によって焦点品質を改善するシステムの場合、より多くの面が画像化用の対物レンズで利用可能な最高解像度のより高い確率に対応する。その結果、740において対物レンズに対してより多くの解像度ビンまたは品質ビンを提供するために、捕捉される焦点面の数を用いることができる。対物レンズに対する最低品質ビンは一つの焦点面を有することができ、最高品質ビンは、例えば、7個の焦点面を有することができる。各対物レンズは、それ自体の固有のビンを定義を有することができる。例えば、2×の対物レンズは一つの焦点面に一つのビンだけを有することができるが、10×の対物レンズは三つのビンを有することができ、一つの焦点面で最低品質、二つの焦点面で別の品質、三つの焦点面で最高品質を有することができる。所定の画像化対物レンズに適した品質ビンの数はユーザにより定義可能であってもよいが、対物レンズの開口数(NA)に比例することができ、より高いNAの対物レンズはより多くの焦点面を有する。例えば、0.95の高NAの対物レンズは10個の焦点面を有するが、0.5の低NAの対物レンズは3個の焦点面を有することができる。
【0036】
得られる画像データは、スライドの所望の領域全体に対して画像データを生成できる。しかし、捕捉される画像領域の各部分は、750において異なる品質設定で捕捉される場合もある。システムは、画像化される領域内の冗長性をなくすための機能を本質的に提供できる。例えば、システムはデフォルトでは750において複数の品質設定で同じ領域を画像化できず、それはシステムの効率を増大できる。例えば、画像を捕捉するために用いられるデータ(タイルである部分(例えば、正方形または他の形状の部分)を備えたタイリングマトリクスなど)が複数の品質レベルで画像の一部を捕捉することを示す場合、その部分は示された最高品質レベルで画像化できる。
【0037】
画質は、例えば、対物レンズおよび他の形態の光学系の光学的分解能、カメラまたは画像捕捉装置のデジタル解像度、およびビット深さ捕捉能力および画像圧縮レベルやフォーマット(例えば、ロスなし、ロスあり)などの画像捕捉装置の他の形態、光学系および画像捕捉装置に対する試料の移動、適用可能な場合のストロボ光の速度、画像化する試料上に光学系や画像捕捉装置を集束させる精度、およびこれらの画像化パラメータのいずれかに対して可能な設定数を含む様々な画像化パラメータに依存できる。
【0038】
焦点品質、従って画質はさらに、例えば、米国特許出願番号09/919,452で説明されているものなどの焦点面の数や、焦点制御を含む様々な焦点パラメータに依存している。
【0039】
画質に影響を与える他のパラメータは、例えば、加えられる画像補正技術、画像結合技術、および光学系の開口数を画像化中に動的に調整可能かどうかを含んでいる。
【0040】
画像形成方法700の別の構成および実施例は、画像冗長性を提供できる。画像冗長性は、画像領域の焦点品質を決定するための有用な機構であってもよい。例えば、所定の領域を画像化するために、4×の対物レンズなどのより低品質であるが被写界深度の高い対物レンズを用いることができる。同じ領域を画像化するために、20×の対物レンズなどのより高品質であるが被写界深度の狭いものを用いることができる。20×の画像内の画素強度のコントラスト範囲と4×の画像のコントラスト範囲を比較することによって、20×の画像の焦点品質を決定できる。20×の画像のコントラストが4×の画像より低い場合、20×の画像は焦点がずれている可能性がある。この技術はさらに、対物レンズの各OTF(光学的伝達関数)と共に、フーリエ空間内で4×と20×の対物レンズから得られる対応する画像を解析することによって改良できる。4×の画像のフーリエ変換は、4×の対物レンズのOTFと対象物のフーリエ変換の積である。同じことは、20×の対物レンズに対しても適用できる。両方の画像の焦点が合っていれば、対象物は同一となる。従って、4×のOTFと20×のフーリエ画像の積は、20×のOTFと4×のフーリエ画像の積と等しくなる。4×の画像は焦点が合っている可能性が高いので、上記の式からの大きなズレは20×の画像の焦点が合っていないことを意味する。式の両側で絶対値を取ることによって、より容易に利用可能で測定も容易になるようにOTFの代わりにMTF(変調伝達関数)を用いることができる。
【0041】
OTFとMTFはどちらもレンズ製造業者から入手したり、独立した研究所によって測定することができる。実際には、個々の対物レンズに対して得られるOTF/MTFではなく、その対物レンズの種類に対して推定されたOTFまたはMTFを用いることができる。
【0042】
他の実施上の考慮点は、比較において周波数の範囲を制限することによって、システム雑音の寄与を最小化することが含まれる。構成は、比較のための最も効率的な周波数範囲と、何が式で大きなバラツキを構成するかを決定するために必要とされる。異なる対象の厚さに対して構成することも必要とされる。一実施例では、画像の冗長性は、複数のビンに入れるステップによって実現される。スライドの所定のグリッドブロックまたは他の部分は、一つ以上の規則を用いて第二のビンに入れるステップを適用することによって第二ビン内に配置できる。例えば、上記のように、740の一部であってもよいビンに入れることに加えて、第二ルールが740において適用される。第二ルールの一例は、第一のビンに入れるステップ中、それらが配置されるビンに加えて最低の解像度または品質のビンに試料の全てのブロックまたは他の部分を配置するルールである。第一のビンに入れるステップによって、そのブロックまたは他の部分が最低の解像度または品質ビンに配置される場合、そのブロックまたは他の部分は既にそのビン内にあるので、そのブロックまたは他の部分に対して追加のステップは発生しない。
【0043】
ROIの決定に利用される元の画像が適切な品質であれば、それはデータ源として利用できる。元の画像は冗長画像源として役立つことも、ビンの一つに画像データを提供するために利用することもできる。例えば、2×の対物レンズを用いてROIを決定するための画像が形成された場合、この画像は2×のビン用の画像データを提供するために利用できる。冗長画像の一つとして既に捕捉されているデータを用いることができるので、これは効率を提供できる。
【0044】
一実施例では、画像化される領域の決定は、画像化前にユーザによって指定できる。例えば、画像化部の対物レンズ、ステージ速度、他の品質要因、またはそれらの一つ以上の追加のパラメータもユーザ調整可能にすることができる。焦点または領域選択は、手動であっても自動であってもよい。手動焦点または領域選択の場合、ユーザはスライド上の領域にマークを付け、焦点マップを形成する焦点または領域を捕捉する。焦点または領域検出用の自動システムの場合は自動ROI検出ルーチンを適用するが、画像領域を定義するのではなく焦点マップ用の焦点を提供するために役立つ。焦点マップは、例えば、係属中の米国特許出願番号09/919,452で説明されているように生成できる。
【0045】
図9は、一実施例による画像システム799を示している。獲得した画像は、図9の画像システム799の圧縮部/アーカイバ803について説明するように圧縮でき、図9についてここで説明されるように画像サーバ850のハードディスクドライブや記憶装置854などの固定媒体上に格納できる。画像を圧縮し格納するために、多くのフォーマットを用いることができる。このようなフォーマットの例には、JPEG in TIFF、JPEG2000、GeoTIFF、およびJPEG2000 in TIFFが含まれる。任意の所定の領域が対応する組の画像データを有することができ、それはファイル内に格納できる。所定の画像領域に対して利用可能な画像が一つ以上ある場合、いずれも格納できる。マルチ領域記憶は、各ファイル内に複数の画像ディレクトリを生成し、各ディレクトリが一つの画像を表すことを含む処理によって実現できる。
【0046】
図8を参照すると、例えば、ここで説明される画像インタフェース200またはデジタル顕微鏡ステーション901などの観察ステーションでの観察目的や、コンピュータベースの解析目的で人が760で画像を用いようとするとき、画像データを抽出し描画するために一つ以上の追加のルールが利用される。画像リクエストは760において、表示されるスライドの領域、およびズームの割合またはそれと関連した解像度についての画像へのリクエストを含むことができる。リクエストされたズームの割合またはリクエストされた領域の解像度レベルにおいて、画像データがリクエストされた画像データの全てまたは一部に存在しない場合、一実施例によるシステムはリクエストされたズームの仕様に対して、画像の必要な部分を再サンプル(アップサンプル(upsample)またはダウンサンプル)するために役立つサンプリング技術を利用できる。
【0047】
例えば、ユーザは760において長方形「A」によって定義された所定の領域に対して、ズーム割合100%で画像をリクエストしたが、システムは100%のズームでは画像の半分だけに対して利用可能なデータを有し、他の半分が50%であった場合、システムは50%の画像をアップサンプルし、ズーム割合を100%にした場合と等価な画像を形成できる。アップサンプルしたデータは真の100%の画像データと組み合わせて、長方形Aによって定義された領域に対して100%における画像を生成できる。このアップサンプリングは、図7のノード254、256、および258などのクライアントにサーバ260から送信を行う前後に行うことができる。送信後のアップサンプリングは、送信されるデータサイズを最小化する際に効率よく提供できる。この発明の一実施例は複数の品質で画像を形成できるので、いくつかの領域はリクエストされた品質で全ての所望のデータを有する可能性があるが、他の領域はリクエストされた品質で利用可能な領域の一部だけを有し、従って、変更された画像化パラメータを用いて750において再サンプルしなければならない可能性がある。他の領域は、リクエストされた品質で利用可能なものを全く有しておらず、全領域に対して再サンプルしなければならない可能性もある。
【0048】
トリガされるz捕捉は、例えば、710または750などにおいて、図9の画像化部801の実施例などの画像化部の光学系が一つ以上の所望の焦点距離に配置されるとき、対象の全てまたは一部の一つ以上の画像を捕捉することを含むことができる。画像化部801は、命令された光学位置に基づいて、または位置センサによって検出されるようにそれらの画像を捕捉できる。
【0049】
一実施例は、複数の焦点面を素早く捕捉するための方法を含んでいる。図9の画像化部801の顕微鏡光学系807などのシステムで用いられる顕微鏡上のz軸制御システムは、所定の経路に沿った移動内に設定される。この移動中、z位置を示すエンコーダまたは同様の装置は制御装置に位置データを送信できる。所定の位置では、制御部は画像化部801のカメラ802などのカメラ、ストロボ光、または他の装置にトリガパルスを起動して所定のz位置で画像の捕捉を実現する。各画像に対応するz位置データを伴った複数の画像の捕捉は複数の焦点面のデータの組を提供し、さらに最適または所望の焦点のz位置を計算するためのデータを提供できる。この最適または所望の焦点計算は、エントロピに基づく焦点のインデックスを利用する方法など様々な方法によって実行される。
【0050】
カメラの露出をトリガする別の実施例はフリーランモードでカメラを動かすことであり、前記モードではカメラは所定の時間間隔で画像を捕捉する。捕捉される各画像に対するz位置は、この処理中のzエンコーダから読み取ることができる。これは、各画像に対して正確なz位置を備えた画像の同様のzスタックを提供する。このようなフリーランモードを利用すると、より広範囲にカメラにアクセスでき、トリガされる露出より電子的に簡単であるので望ましい。
【0051】
一実施例では、スライド画像の品質は、捕捉された画像の品質と、品質を変化することができる任意の捕捉画像の後処理の両方に依存する。
【0052】
一実施例では、可変解像度の捕捉画像の後処理は、画質に基づいて画像またはそれらの一部を選択することを含み、それは少なくとも部分的に焦点品質に依存する。一実施例では、後処理は、画像化したスライドの隣接する部分に対応する画像部分を重み付けすることを含むことができる。このような重み付けは、隣接するスライド部分を画像化した焦点面または他の焦点距離の大きなバラツキを避けることができ、共に組み合わせたとき対応する画像部分に分離ラインや他の不連続性の出現を避けることができる。このような重み付けは、画像内の歪みや他の望ましくない特性の出現を避けることもできる。
【0053】
例えば、正方形または長方形の部分で画像を捕捉する実施例では、デジタル画像を組み合わせるとき選択部分は8個の隣接部分を有する可能性がある。これらの選択部分と隣接部分はさらに、10個の焦点距離で捕捉される可能性がある。選択部分に対する最善の焦点距離が第六焦点距離であり、隣接するタイルに対する最善の焦点距離が第八から第九焦点距離に変わる場合、選択部分に対して第七焦点距離を用いて隣接する部分に対する焦点距離のバラツキを制限し、上記のような望ましくない特性を避けることができる。
【0054】
別の実施例では、750において捕捉したスライド画像を760において一つ以上の解像度で修正し、新しい可変品質スライド画像を有するようにできる。修正は所定の領域に対して品質設定を指定することを含み、それは一実施例ではスライド画像の一つ以上の部分を各々含むことができる。スライドを観察している間、ユーザは新しい品質設定で再保存するためにスライド画像の複数の部分または領域を指定できる。この領域指定は、閉じた領域のフリーハンド描画によることであっても、長方形、円、または他の領域指定によることであってもよい。ユーザは、解像度、圧縮レベル、および焦点面の数(複数焦点面走査の場合)を含む、各領域に対する複数の品質特性を修正できる。ユーザはさらに完全なホワイトアウトまたはブラックアウト用の領域を指定でき、それはスライドのその領域からデータを完全に除去し、より高いまたは最高の圧縮可能性を実現できる。追加の圧縮は、白色または黒色ブロックまたは他の領域を格納する代わりに、別の白色または黒色ブロックまたは他の領域を参照することによって実現することもできる。
【0055】
ユーザはさらにスライド画像をより小さなサイズにするために、スライド画像を切り取ることもできる。上記のような切り取りおよびユーザ選択領域の再処理の組み合わせをスライド画像データに適用し、新しいスライドを組み立てることもできる。新しいスライドは、前のスライドと同じ名前を有することも、異なる名前を有することもできる。上書きをサポートするファイルフォーマットの場合、完全に新しいスライドを生成することなく、元のスライドを修正することもできる。このような機構は、あまり変更する領域がないスライド画像の場合は特に時間効率がよくなる。
【0056】
これらの後処理法は、例えば、ここで説明される自動QCシステム内で用いられる。
【0057】
画像に関連した注釈は760において、ここで説明される画像サーバ850などのサーバの画像上に格納したり、それと関連付けるために追加でき、ユーザや注釈の幾何学的記述などそれらと関連した複数のフィールドを有することができる。注釈に対するz位置を追加することは、注釈の空間的能力をさらに提供できる。このような能力は、図5の教育システム600を用いる場合など、教育的設定において特に有用となり、前記システムでは教育者は、特定のx、y、z位置にある形状に注意を促したいと考える。
【0058】
一実施例では、注釈を追加することは、ここで説明される図3の診断システム400の実施例の使用によって行われる。
【0059】
図2は画像管理システム150の実施例を示しており、システム150は画像化を完了した後、画像をまとめて承認することを可能にするために利用される。110では、試料の画像を捕捉する。画像は152において、例えば、試料検査システムまたは技術者によって検査され、画像が検査に適切であるか、または診断システム、医師、病理学者、毒物学者、組織学者、技術者または別の診断などの診断者による診断154に適用可能かを確認する。画像が検査に適していれば、その画像は156において診断システムまたは診断者に解放される。画像が検査に適していなければ、その画像は158で拒絶される。拒絶された画像は、画像修正システムまたは画像専門技術者などの画像修正部160によって検査される。図8の実施例に対して説明した画像形成法700などによって試料に対して新しい画像化パラメータを決定し、画像捕捉システム110で試料の新しい画像を捕捉できる。診断システムまたは診断者はさらに162で画像を拒絶し、これらの拒絶された画像は画像修正システムまたは画像専門技術者160によって検査され、画像捕捉システム110による新しい条件下で新しい画像を捕捉できる。
【0060】
画像検査152は、例えば、診断を実現するために新しい試料を必要とする可能性があるかどうか、または診断の実行に役立つ画像を獲得するために、既存の試料を再画像化できるかどうかを決定するコンピュータ化システムまたは人間により決定することを含むことができる。例えば、試料が適切に染色されていない場合や、染色が不適切に加えられていたり、過度に加えられ試料が診断には暗すぎる場合、新しい試料が要求される。画像を拒絶し、新しい試料を取り付ける必要がある多くの他の理由の一つは、画像化される試料に損傷を与え、その試料からは診断を行うことができない場合である。また、既存の試料を再画像化することによって補正可能な理由でも画像は拒絶される。
【0061】
158において画像が拒絶されると、その画像は画像修正システムまたは画像専門技術者160に送られる。既存の試料から画像を再捕捉することによって画像を改善可能と判断される場合、画像修正システムまたは画像専門技術者は画像を検討し、画像が診断に役立ちそうにない理由を決定する。画像修正システムまたは画像専門技術者は様々な画像化パラメータを変更し、使用可能な試料から取った低品質の画像に対して修正を行うことができる。例えば、画像化中に試料に加えた照明レベルを増大させることによって暗い画像を明るくでき、画像化中に試料に加えた照明レベルを低減することによって色飛びした画像のコントラストを増大できる。理想的な焦点に合っていない試料またはその一部は異なる焦点距離で再捕捉でき、完全には画像化されていない組織はスライド上の組織の位置を指定することによって再捕捉し、例えば、そのスライドを再画像化できる。画像化部上で設定可能な任意の他のパラメータは、画像修正システムまたは画像専門技術者によって同様に調整できる。
【0062】
同様に、診断医154は、修正した画像が望ましいことを決定した場合、画像修正システムまたは画像専門技術者160によって156において解放された一つ以上の画像を拒絶できる。画像修正システムまたは画像技術者160が画像を拒絶した理由と同じ理由で、画像は診断医154によって拒絶される可能性がある。拒絶された画像は画像再捕捉のために画像修正システムまたは画像専門技術者160に送ることができ、このような再捕捉は改善された画像を実現する可能性がある。
【0063】
一実施例では、画像検査152と画像拒絶158は、単独でまたは診断者や画像専門技術者などの人による検査と共に、図8の画像形成法700の実施例の一つ以上の部分を含むことができる。
【0064】
再び図1と2を参照すると、画像検査152または他の場所に症例管理を組み込み、画像および関連のテキストと情報を症例内にまとめることができる。症例管理は、全ての所望の画像を捕捉し関連の情報を収集した後に適用でき、例えば、ある症例に対して期待される画像の数および種類と関連のテキストをユーザに知らせることによって、画像と関連のテキストを収集する前に適用することもできる。症例管理は、症例の状態をユーザに知らせ欠けている情報をユーザに警告できる。
【0065】
102において組織の資料を除去または採取したとき、多くの試料に分離され、これらの試料は複数のスライド上に配置されることが多い。従って、症例管理の一実施例では、複数のスライドからの複数の画像が、共に単一の患者または生体の単一の症例を構成できる。さらに、研究情報システム(LIS)、研究情報管理システム(LIMS)または、例えば、表示される試料の種類、試料を獲得するために行われた手順、試料が得られた器官、または試料に加えた染色などの関連の症例情報を含む別のデータベースは画像管理システム150に含めることも、それと通信し、情報をLISまたはLIMSから画像管理システムに送ることも、画像管理システムからLISまたはLIMSに情報を送ることもできる。LISまたはLIMSは、試料上で行った試験からの結果、全体観察104の時点で入力されたテキスト、その症例が疑われる病気を持った他の患者から採取した同じ器官で発見された画像などの診断ツール、および症例が疑われる病気に共通の状態を示すテキストなどの様々な種類の情報を有することができ、それらは所望の症例と関連付けられる。従って、画像検査152の間、各症例に対する全ての画像および関連の情報はデータベース内のその症例に関連付けられる。このような症例の整理は、診断システムまたは診断医が所望の全ての情報を関連付けることによって画像診断に役立ち、診断システムまたは診断医はその情報に効率的にアクセスできる。
【0066】
コンピュータ化システム内に実装可能な症例管理法の一実施例では、バーコード、RFID、インフォグリフ(Infoglyph)、一つ以上の文字、または他のコンピュータ読み取り可能な識別子は、各スライド上に配置しスライドが属する症例を識別する。識別子を備えたスライド上のこれらの領域は一般に「ラベル領域」と呼ばれ、スライドが属する症例を識別するためにスライドと共に画像化することも、そうでなければスライドと共に読み取りそれと関連付けることができる。また、技術者または他の人間は症例と共に各スライドを識別できる。
【0067】
一実施例では、画像化パラメータは画像を捕捉する際に手動で設定することも、パラメータを設定して特定のスライドと関連付け、画像を捕捉する際にデータベースから取得することもできる。例えば、画像化パラメータは、スライドのトレイ内にスライドを格納または配置した位置によってスライドと関連付けることができる。また、画像化パラメータは、スライド上に配置したバーコード、または他のコンピュータ読み取り可能な識別子によって特定のスライドと関連付けることもできる。画像化パラメータは、一実施例では、ここで説明される図8の画像形成法700によって少なくとも部分的に決定される。
【0068】
一実施例では、捕捉される画像に関連付けした特別なパラメータ設定の画像化部のチェックは任意のこのような特別なパラメータ設定を利用し、捕捉される画像に特別なパラメータが関連付けられていない場合はデフォルトのパラメータを利用する。このような画像化パラメータの例には、解像度、焦点面の数、圧縮法、ファイルフォーマット、および色モデルなどが含まれる。追加の情報は、LIS、LIMS、または一つ以上の他の情報システムから取得される。この追加の情報には、例えば、染色の種類、カバースリップ、固定法、またはそれらの一つ以上が含まれる。この追加の情報は画像システムによって利用され、例えば、焦点設定の数(焦点を合わせる点の数、点に適合させる曲線の種類、捕捉する面の数など)、着目領域検出パラメータ(閾値、前処理法など)、スペクトル画像設定、解像度、圧縮法、およびファイルフォーマットなどの画像化パラメータを抽出する。これらの画像化パラメータは、スキャナ自体の内部メモリ、または他の情報データベースから抽出される。それからスライドを選択し、画像化装置上に配置する際、適切な画像化パラメータを呼び出して捕捉される画像に適用できる。
【0069】
LIS、LIMSまたは他の情報システムからスライドについて取得した情報は、スライド画像化中またはその後に動作する自動品質管理(QC)システムによっても利用される。自動QCシステムは、LISまたはLIMS内で指定された染色がスライド上の実際の染色であることを確認する。例えば、LISはそのスライド用の染色がH+Eであることを指定でき、解析はその染色がトリクロムであることを明らかにできる。さらに、LISは、スライド上にあるべき組織の種類や数を指定できる。組織の分割および対象識別アルゴリズムはスライド上の組織の数を決定するために利用され、テクスチャ解析または統計的パターン認識は組織の種類を決定するために用いられる。
【0070】
自動QCシステムは、弱い染色、折り畳み、裂け目、または引き摺りなどのスライド内の技術的欠陥、および焦点のボケ、継ぎ目欠陥、視野内焦点振動、または色欠陥などの画像化関連の欠陥を検索することもできる。検出した欠陥の種類および位置についての情報は保存し、技術者または画像専門技術者によって行われるスライド検査処理の一部として、技術者は疑わしい欠陥を素早く観察できるようにする。それから、発見された各欠陥に対して欠陥値を適用できる。欠陥値は、その欠陥が画像に影響を与えると予想される度合、欠陥が画像から診断を行う能力に与えると予想される影響、または欠陥の影響の別の定量化を反映できる。システムは、全欠陥の順番によって画像化されたスライドを自動的にソートできる。全欠陥は、スライド上の全ての欠陥に対応するスコアによって表される。このスコアは、各欠陥に適用された値の合計、各欠陥値の規格化された合計、または各値の二乗の合計の平方根であってもよい。欠陥スコアが提示されるが、ユーザは各スライドの個々の欠陥の値を見て、個々の欠陥のいずれか一つおよび全欠陥値に基づいて表示されるスライドの順番をソートすることもできる。例えば、ユーザは所望の欠陥に対して焦点を選択し、最も焦点が合っている欠陥から最も合っていない欠陥の順にスライドをソートできる。ユーザは、ある範囲の欠陥値を含むスライドがユーザに特に指摘されるようにフィルタを適用することもできる。
【0071】
自動QCシステムは、自動再走査処理を呼び出すこともできる。ユーザは、ある範囲の欠陥値が自動再走査を要求するように指定できる(なお、この欠陥値の範囲は既に言及した表示をソートするために用いられるものとは異なっていてもよい)。例えば、最適値の95%未満の焦点品質を備えたスライドを自動的に再画像化できる。
【0072】
スライドは、異なる走査または他の画像設定を用いて再画像化できる。異なる画像設定は事前に決定することも、欠陥の性質に応じて動的に決定することもできる。所定の画像設定変更を用いて再画像化する一例は、欠陥の性質にかかわらず複数の焦点面を備えたスライドを再画像化することである。動的に決定された画像設定を用いて再画像化する例は、焦点がボケている場合に複数の焦点面を用いて再画像化すること、および継ぎ目(seaming)の欠陥の場合の画像位置合わせ用により広い検索領域で再画像化することである。
【0073】
選択的または追加的に診断が画像から不可能であることを診断者が決定した場合、スライドを顕微鏡内に搭載して診断者が直接検査できる。診断者がスライドおよび顕微鏡から離れた位置にいる場合、診断者はリモート顕微鏡制御システムを用いてスライドから診断を行うことができる。
【0074】
図3は、人間または動物の組織または血液サンプルなどの医学的サンプル、または他の試料400用のコンピュータ化システム内で利用可能な方法の一例のフローチャートである。診断システム400はコンピュータ化データベースシステムを有し、その方法はシステムを利用でき、前記データベース内の情報はグラフィカルユーザインタフェース(GUI)などのユーザインタフェースを備えた画像インタフェースのコンピュータアプリケーションによってアクセスおよび観察可能である。一実施例では、コンピュータアプリケーションは、ネットワークやインターネット上で動作可能である。一実施例では、いったん試料の画像の一つまたはグループが検査を認められると、組織学者または他の研究者などのユーザは診断システム400を介して試料の画像にアクセスできる。一実施例では、ユーザは410において、診断システム400にサインオンするかもしくはアクセスする。診断システム400は、ユーザがサインオンするためにユーザ識別コードやパスワードを提供するように要求できる。
【0075】
いったんユーザがサインオンすると、システムは420において、ユーザが寄与していたり関連付けられている症例のリストを提示する。さらに、ユーザは420において、寄与していなかったり関連付けられていない症例にアクセスすることもできる。診断システム400は検索バーや索引を利用することによって、このような他の症例の発見を容易にでき、そこでは症例は名前、医療分野、病気、試料の種類や他の基準によって分類されている。診断システム400は420において、ユーザプロンプトによってシステムがユーザに割り当てた症例と類似性を備えた症例を取得する機能を有することができる。類似性は、医療分野、病気、試料の種類や他の基準によって分類できる。
【0076】
430において、ユーザはハイパーリンクをマウスクリックするか、またはコンピュータキーボードなどの入力装置を介して症例名を入力することなどによって検査用の症例を選択できる。症例が選択されると、診断システム400は440において画像インタフェースによって解析用の症例を提示できる。
【0077】
450において、ユーザは症例を解析できる。ユーザは450においてウィンドウ形式の画像インタフェースを介して、症例の情報要素を見ることによって症例を解析できる。ウィンドウ形式では試料画像と他の症例情報はウィンドウ内に観察され、前記ウィンドウはユーザが見たい情報や画像に応じてユーザによってサイズ変更できる。例えば、450においてユーザは画像インタフェースに指示し、スライド上に配置した組織サンプルの一つ以上の画像を観察画面の右半分に提示し、試料を除去した患者の病歴を記述するテキストを左半分に提示できる。一実施例では、診断システム400によってユーザは450において、一つの組織サンプルまたは複数の組織サンプルの複数の表示を同時に観察できる。
【0078】
一実施例では、画像インタフェースは、タスク、リソース、ツール、およびサポートなどの機能へのリンクを含むナビゲーションバーを含むことができ、ユーザはマウスクリックなどの機能に素早くアクセスできる。特定の機能は、ユーザが病理学者、毒物学者、組織学者、技術者、または管理者であるかなどのユーザの種類に基づいてカスタマイズ可能である。画像インタフェースはアクションバーを有することもでき、前記アクションバーはマウスによって「クリック」可能な仮想ボタンを有することができる。アクションバーは、画像インタフェース内に現在示されている画面に対して、ユーザにとって利用可能な機能を有することができる。これらの機能は、試料画像上に番号付きのグリッドを示すこと、次または前の一連の試料を示すこと、および診断システム400からログオフすることを含むことができる。診断システム400によって、ユーザは番号付きのグリッドのオンとオフを切り替えることができる。
【0079】
一実施例では、診断システム400によってユーザは、ナビゲーションまたはアクションバーなどを介して複数の倍率や解像度で試料の画像を観察できる。例えば、組織サンプルである試料に対してユーザは診断システム400に指示し、画像インタフェースを介してサンプルの低倍率観察を表示できる。この観察によって、ユーザは組織サンプル全体を見ることができる。診断システム400によってユーザは、組織サンプル全体内にある領域を選択できる。ユーザが診断システム400に指示し、組織サンプル上に重ね合わせた番号付きグリッドを表示した場合、ユーザはグリッドの行および列番号などのグリッド座標を提供することによって領域を選択できる。ユーザは診断システム400に指示し、重要な解析用の組織領域を「ズーム」または拡大でき、画像インタフェース内の領域の中心に合わせることができる。ユーザがシステムに指示して組織サンプル上に重ね合わせた番号付きのグリッドを表示した場合、ユーザはグリッド座標を提供することによって領域を選択できる。
【0080】
一実施例では、診断システム400によってユーザはこのようなナビゲーションまたはアクションバーなどを介して、観察される一つ以上の症例についてのレポートのブックマーク、メモ書き、比較や提供を行うことができる。従って、ユーザは、組織サンプルまたは他の試料画像の所定の領域の観察を所定の倍率でブックマークし、ユーザはブックマークにアクセスすることによって後でその観察にアクセスできる。
【0081】
診断システム400によって、ユーザは診断関連付け可能な組織サンプルまたは他の試料の観察の説明など、その観察または別の観察についてのメモ書きを提供することもできる。
【0082】
診断システム400によって、ユーザはある試料を別の試料と比較することもできる。診断システム400によってユーザは異なる症例の試料の画像を同時に表示できるので、他の試料を現在の症例と関連付けても関連付けなくてもよい。
【0083】
診断システム400によって、ユーザは観察される試料に関連したレポートを提供することもできる。レポートは診断結果であってもよく、診断システム400内に直接入力することもできる。
【0084】
診断システム400は、ユーザが症例について診断システム400上で行った選択の一部または全てを追跡できる。従って、例えば、診断システム400はユーザが試料の画像を観察する各位置および倍率を記録できる。診断システム400は、上記のナビゲーションおよびアクションバーに対して行ったものなど他の選択を記録することもできる。従って、ユーザは、この記録された情報にアクセスすることによって症例の解析を監査し、例えば、どのような試料を解析したか、および単一の試料のどのような部分を観察したかを決定できる。この記録された情報へのアクセスを認められた医者や研究者などの他人が、教育や品質保証/品質管理の目的でこの記録された情報を監査することもできる。
【0085】
医者および研究者は、様々な規律で試料を解析する。例えば、病理学者は、組織や血液サンプルを解析できる。例えば、病院および研究施設は、品質保証プログラムを有するように求められる可能性がある。品質保証プログラムは、施設の病理学者によって行われる診断の精度を評価するために施設によって用いられる。さらに、品質保証プログラムは、解析を完了するための病理学者のスループットや時間に関連したものや、診断に用いられる装置の品質などの診断に関連した二次統計量を集めることもできる。
【0086】
病院や研究施設内での品質保証方法は、同じ診断者または異なる診断者によってさらに一回以上、ある割合の症例診断を有することを含むことができる。この方法では、病理学の例に適用する場合、第一の病理学者がある症例について診断を行った後、第二の病理学者がその症例の解析を行って第二の診断を行うことができる。第二の診断を行う際、第二の病理学者はその症例に関連した背景情報を入手でき、その症例は患者の病歴、組織全体の説明、および第一の病理学者が入手可能であった任意のスライド画像などの情報を含んでいる。背景情報は、元の診断を行う際に協議した他の医師や研究者と共に第一の病理学者の識別コードを開示することもできる。
【0087】
検査者(別の病理学者または第一および第二の病理学者の一方であってもよい)は、第一の診断と第二の診断を比較する。検査者は、診断の間の任意の相違を解析し、それらの相違および重要性に基づいて任意の差異を評価する。
【0088】
しかし、このような方法は偏見または他の誤りをもたらす可能性がある。例えば、症例に関連した背景情報を検査するとき、非常に尊敬されている病理学者によって行われた場合、第二の病理学者は元の診断に反対することに抵抗感がある。さらに、元の診断医が第二の診断医より優れていたり同じ部署である場合などは政治的に偏見が生じる可能性がある。このような偏見を取り除く試みでは、いくつかの病院および研究施設は技術者または事務員に指示し、症例背景情報内の第一の病理学者の識別コードへの参照を禁止することもできる。しかし、このような処理は時間がかかり人的ミスが起こりやすい。
【0089】
さらに、品質保証処理内で検査者は両方の診断に関連した情報を入手でき、両方の診断者の識別コードを得ることができる。識別コードを知ることは、さらに検査に偏見をもたらす可能性もある。
【0090】
品質保証処理内の偏見または他の誤りの別の潜在的な原因には、診断用の試料を含むガラススライドの使用が含まれる。診断処理でスライドを用いる場合、第一および第二の病理学者が各々顕微鏡下でスライドを観察することがある。第一および第二の診断の違いに応じて、検査者もスライドを観察することがある。時間がたったり使用回数が増えると、スライドおよびそれらの試料の損失、破壊または損傷が起こる可能性がある。さらに、検査者の一人がそれらを解析しながら、スライド上の試料の主要な領域にマークを付けることがある。このようなマーキングはマークされた領域に着目することを次の検査者に促す一方、他の領域を無視する可能性がある。
【0091】
図4は、医療用サンプルまたは他の試料の診断に関する品質保証/品質管理(QA/QC)システム500を提供するための方法の一例のフローチャートである。QA/QCシステム500は、上記の診断システム400に含まれていてもよい。この実施例では、QA/QCシステム500のソフトウェアは510においてユーザ(病理学者であってもよい)に診断される症例を割り当てるが、その症例は細胞学者、毒物学者、および他の診断医などの任意の数および分類をユーザに割り当てることもできる。割り当て者は、処理の匿名性を保証するために、診断および検査能力の両方においてその症例の品質保証処理には含まれなくてもよい。割り当ては、症例およびユーザに対してランダムであってもよい。ユーザは520において、電子メールまたは画像インタフェース内のグラフィック表示などによって、QA/QC処理の一部として診断用の症例を割り当てられることの通知を受けることができる。530では、ユーザ識別コードおよびパスワードを用いてQA/QCシステム500にログオンすることなどによって、ユーザは症例背景情報にアクセスできる。
【0092】
QA/QCシステム500は症例背景情報の匿名の発信源を作成することによって、ユーザの「ブラインド」による診断を行うことができる。従って、QA/QCシステム500は530において名前なしで症例背景情報を提示し、ユーザが元の診断者や、元の診断を行う際に協議した任意の他者の識別コードを決定できないようにする。さらに、試料および他の症例情報は、最初の診断者がその症例を解析中に含めた診断、関連の情報または任意のメモ書きやマーキングを含まなくてもよい。しかし、元の診断医が自分の識別コードとパスワードを用いてQA/QCシステム500にログインすると、これらのメモ書きやマーキングは元の診断医によって観察可能にできる。
【0093】
QA/QCシステム500は540において症例背景情報にランダムな識別番号または他のコードを割り当て、そのコードでタグ付けした任意の情報が割り当てられた症例に適用可能であることをユーザは知ることができる。
【0094】
症例背景情報は、元の診断医がアクセスしたものと同じ情報であってもよい。従って、例えば、診断される試料がガラススライド上に配置された組織サンプルの場合、ユーザは530において、元の診断医がアクセス可能な患者の履歴情報と共に元の診断医が解析した組織サンプルの同じ捕捉画像にアクセスできる。
【0095】
一実施例では、ユーザにとって利用可能な症例背景情報はさらに、元の診断医によって入力されたものであるが元の診断医を識別する情報を取り除くために編集された情報を含むことができる。
【0096】
ユーザは550において、上の図3の診断システム400の450について説明されるものと同じ方法で症例を解析できる。一実施例では、QA/QCシステム500は、各診断医のユーザが症例についてQA/QCシステム500上で行った選択の一部または全てを追跡する。従って、例えば、QA/QCシステム500は、ユーザが試料の画像を観察する各位置および倍率を記録できる。システムは、上記のナビゲーションおよびアクションバーについて行ったものなどの他の選択を記録することもできる。QA/QCシステム500は、検査者が行った選択を記録することもできる。
【0097】
QA/QC処理により全てのユーザが診断を行った後、検査者(症例の診断医の一人ではない医者または研究者であってもよい)は、560において診断にアクセスし比較できる。検査者は530において、上記のようなQA/QCシステムにログインできる。それから検査者は570において診断の間の相違を決定および解析し、それらの相違および重要性に基づいて任意の差異を評価できる。一実施例では検査者が受け取る診断情報は匿名であり、検査者は任意の診断医の識別コードを決定することも、診断が行われた順番を知ることもできない。このような匿名性を提供することは、検査者が診断医の識別コードや診断を行った順番を知ることから持つ可能性がある偏見を取り除くことができる。
【0098】
診断の間の差異が重要であると検査者が決定した場合、検査者は追加の診断を行うようにリクエストできる。QA/QCシステム500は検査者の識別コードを与えずに、以前、将来または両方の診断に対して検査者の匿名性を提供することもできる。
【0099】
一実施例では、QA/QCシステム500は診断を自動的に比較し、診断の一部または全部の相違についてのリストを表形式などで作成することによって、検査者の機能の一部または全ての代わりとなることもできる。また、検査者はQA/QCシステム500に指示し、検査者の専門知識を求めることなく客観的に比較可能な診断情報の比較を行うことができる。それから、検査者は570において他の診断情報を検査できる。
【0100】
一実施例では、品質保証方法は、コンピュータデータベース内に統計的情報を収集および整理することを含んでいる。データベースは、QA/QCシステム500内に各診断医および検査者が電子的に入力した診断および検査情報を有することによって構築できる。これらの統計値は、例えば、検査期間中に処理された全数に対してサンプルした症例数、正確に診断された症例数、些細な誤りを持って診断された数(元の診断が患者の治療に最低限の影響を与えた症例)、および誤って診断された症例数(元の診断が著しい欠陥を有する症例)、関連の病理学者の数、各病理学者についての診断の誤りの個数および重要度に関する情報、またはそれらの一つ以上を含むことができる。追加または別の統計値は、第二診断を行うために用いられた第二病理学者、検査者が診断を検査し評価するために用いた時間、検査者が決定を行う前に症例の詳細に戻らなければならなかった回数、またはそれらの一つ以上を含むことができる。
【0101】
図5は、医学的サンプルまたは他の試料を診断するための教育システム600を提供する方法の一実施例のフローチャートである。教育システム600は610において、図3の診断システム400の基本機能を備えたシステムへのアクセスを学生ユーザに提供できる。診断システム400の追跡機能を用いることによって、教師は620において診断システム400の画像インタフェース内に観察される試料の画像を診断する際、学生ユーザが行った選択を監査できる。教師は620において、各学生が行った選択を各々観察できる。そして、教師は学生が行った選択が適切であるか不適切であるかを学生に通知できる。
【0102】
教育システム600は、学生ユーザが参照可能な試料画像の一部、百科事典的または指導的テキストまたは画像情報への参照を備えたメモ書きなどの他の情報や、試料を診断する際にユーザに教えることが可能な他の情報または画像などを含むことができる。
【0103】
図6は、一つ以上の画像および画像に関連した情報を同時に、または別個に表示するために使用可能な画像インタフェース200の一実施例を示している。その実施例の画像インタフェース200は、メモリ202、プロセッサ204、ストレージ装置206、モニタ208、キーボードまたはマウス210、および通信アダプタ212を有する。プロセッサ204、ストレージ装置206、モニタ208、キーボードまたはマウス210、および通信アダプタ212の間の通信は通信バス214を介して実現される。画像インタフェース200は人間以外によって実行される際、ここで説明される任意の機能を実行するために用いられ、このようにユーザによって実行される際、ここで説明される任意の機能を実行するためにユーザと共に用いられる。
【0104】
当然のことながら、画像インタフェース200の構成要素202〜212のいずれかまたは全ては、単一マシン内に実装することができる。例えば、状態マシンまたは他のハードウェアベースのロジックマシン内で、メモリ202とプロセッサ204を組み合わせることもできる。
【0105】
メモリ202は、例えば、ランダムアクセスメモリ(RAM)、動的RAM、リードオンリメモリ(ROM)(例えば、プログラム可能なROM、消去可能プログラム可能なROM、または電子的に消去可能プログラム可能なROM)の一つ以上を含むことができ、コンピュータプログラム命令および情報を格納できる。メモリはさらに、オペレーティングシステム命令を格納するオペレーティングシステム区分216、データを格納するデータ区分218、および画像インタフェース機能を実行するための命令を格納する画像インタフェース区分220の領域に分割できる。画像インタフェース区分220はプログラム命令を格納でき、プログラム命令のプロセッサ204による実行を可能にする。データ区分218はさらに、プログラム命令の実行中に画像および関連テキストなどのデータを格納できる。
【0106】
プロセッサ204はプログラム命令を実行し、メモリ202内に格納されたデータを処理できる。一実施例では、命令は、圧縮フォーマットや暗号化フォーマットでメモリ202内に格納される。ここで用いられるように、語句「プロセッサによって実行される」は、圧縮フォーマットや暗号化フォーマットで格納された命令、およびプロセッサ204によって実行される前にインストーラによってコンパイルまたはインストール可能な命令を含むものとする。
【0107】
ストレージ装置206は、例えば、磁気ディスク(フレキシブルディスクやハードディスクなど)、光ディスク(CD−ROMなど)またはデジタル情報を格納可能な任意の他の装置または信号であってもよい。通信アダプタ212は、画像インタフェース200と、通信アダプタポート224において通信アダプタ212に接続された他の装置またはノードの間の通信を可能にする。通信アダプタ212は、ネットワーク上のノードから画像インタフェース200へ、または画像インタフェース200からネットワーク上のノードへ情報を送信するネットワークインタフェースであってもよい。ネットワークは、例えば、インターネット、ワールドワイドウェブ、または図7に示したネットワーク250などのローカルエリアネットワーク、またはワイドエリアネットワークであってもよい。当然のことながら、画像インタフェース200は選択的または追加的に、一つ以上の入出力アダプタ(図示せず)を介して一つ以上の他の装置に直接接続することもできる。
【0108】
画像インタフェース200は、例えば、モニタ208またはプリンタ(図示せず)などの出力装置208、および、例えば、キーボードまたはマウス110などの様々な入力装置にも一般に接続される。さらに、画像インタフェース200の他の構成要素は、画像インタフェース200の動作に必須でなくてもよい。例えば、画像インタフェース200によって参照される全ての情報をメモリ202内に保持できるので、ストレージ装置206は画像インタフェース200の動作に必須でなくてもよい。
【0109】
画像インタフェース200の要素202、204、206、208、210、および212は、一つ以上の通信バス214を介して通信できる。これらのバス214は、例えば、システムバス、周辺構成要素のインタフェースバス、および業界標準アーキテクチャのバスを含むことができる。
【0110】
画像インタフェースを実装可能なネットワークは、コンピュータ、テレフォニベースの装置、または一つ以上の形式の通信媒体によって相互接続された他の一般にプロセッサベースの装置などのノードのネットワークであってもよい。これらの装置を接続する通信媒体は、例えば、ツイストペア、同軸ケーブル、光ファイバ、および高周波などを用いる無線通信方法を含むことができる。画像インタフェースとして動作するノードは、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、インターネット、または公衆交換電話網(PSTN)または構内交換機(PBX)などの電話ネットワークに接続した別のノードから、データストリーム152を受信できる。
【0111】
ネットワークノードは一つ以上のプロトコルに従って情報を通信するために必要な適切なハードウェア、ソフトウェア、またはファームウェアを備えることができ、プロトコルは一組の命令を有し、前記命令によって情報は通信媒体上に通信される。
【0112】
図7は、画像インタフェースを動作可能なネットワーク250の一実施例を示している。ネットワークは、PSTN、インターネット、LAN、WAN、または他のネットワークなどのネットワーク252に接続した二つ以上のノード254、256、258、260を有することができる。
【0113】
ネットワーク250は、ネットワーク252に接続したノード256、258、および260などの第二ノードから画像関連の情報などのデータストリームを受信する画像インタフェースノード254を有することができる。
【0114】
一実施例は、デジタルスライドの処理、保管、特徴抽出および解析用のシステムおよび方法に関する。一実施例は、ネットワーク分散デジタルスライドを問い合わせ、解析するシステムおよび方法に関する。
【0115】
各ネットワークシステムは、一実施例に従って画像システム799を有し、画像システム799は図9〜11に示し、それらについて説明されるように一つ以上の画像化装置800と画像サーバ850、および一つ以上のデジタル顕微鏡ステーション901を有する。様々な実施例において、画像システム799は、図1〜5および8について説明される方法の各々の一部または全部の性能を実現または促進できる。
【0116】
画像化装置800は、スライドのデジタル画像、またはその後、デジタル形式に変換される非デジタル画像を走査もしくは画像化することによって、その動作が図1の110などにおける捕捉を含む装置であってもよい。画像化装置800は、画像の走査もしくは捕捉用の画像化部801、画像を圧縮および格納するための一つ以上の画像圧縮部/アーカイバ803、およびスライドを処理しそれから特徴を抽出するための一つ以上の画像インデクサ852を有することができる。一実施例では、特徴は二つの値またはベクトルによって記述できる。二つの値は、例えば、核の有糸分裂活性および癌性形成異常の各々に対応するテクスチャおよび丸みであってもよい。
【0117】
一実施例では、Trestle Corporation(本社カリフォルニア州、アービン)のMedScan(登録商標)高速スライドスキャナなどの画像化部801は、高解像度デジタルカメラ802、顕微鏡光学系807、移動ハードウェア806、および制御ロジックユニット808を有する。ストレージ装置への画像転送はカメラレベルまたはシステムレベルのいずれかにおいて分岐され、画像は一つ以上の圧縮部/アーカイバ803および一つ以上の画像インデクサ852に送信される。図9について示されているカメラレベルにおける分岐を含む実施例では、イーサネット(登録商標)、ファイアワイヤUSB、無線、または他の通信プロトコルを介したカメラからの出力は、マルチキャストなどを介して同時に送信され、圧縮部/アーカイバ803と画像インデクサ852の両方が画像のコピーを受信する。システムレベルにおける分岐を含む実施例では、画像は揮発性RAMまたは別の高速の一時的ストレージ装置内に存在可能であり、圧縮部/アーカイバ803と画像インデクサ852によってアクセスされる。
【0118】
一実施例では、画像化部801はカメラ802としてJAI CV−M7CL+カメラ、顕微鏡光学系807としてOlympus BX顕微鏡システムを有し、Prior H101遠隔制御ステージを備えている。Olympus BX顕微鏡システムは、Olympus America Inc.,(所在地:ニューヨーク州メルビル)によって製造および販売されている。Prior H101ステージは、Prior Scientific Inc.,(所在地:マサチューセッツ州、ロックランド)によって製造および販売されている。
【0119】
一実施例では、画像圧縮部/アーカイバ803は一次の保管機能を実行し、ストレージ装置854に画像を保存する前に、画像の選択的なロスあり/ロスなし圧縮を実行できる。一実施例では、スライド画像は圧縮部/アーカイバ803などによって、圧縮部/アーカイバ803に含まれる一つ以上の汎用CPUまたは一つ以上の専用圧縮カードを用いて、JPEG in TIFF、JPEG2000、またはJPEG2000 in TIFFファイル内に書き込まれる。元の最高解像度の画像は、最高解像度の画像から構成されたより低解像度の(またはサブバンド)画像と共に格納され、低解像度画像から高解像度画像へのピラミッドを構成する。より低解像度の画像は、ここで説明されるようなスケールダウンおよび圧縮エンジンを用いてまたは別の方法によって構成される。所定の画像ファイルフォーマットの任意のファイルサイズの制限(現在のTIFF仕様では4GBの制限など)に対応するために、スライド画像はストレージ装置854において、複数のより小さなストレージユニットまたは「ストレージブロック」内に格納される。
【0120】
画像圧縮部/アーカイバ803はさらに、等方性ガウスピラミッドの生成などによる画像の追加の処理および保管を提供できる。等方性ガウスピラミッドは、マルチスケールテンプレート照合などの多くのコンピュータビジョン機能に対しても利用できる。スライド画像化装置800はマルチレベルのガウスピラミッドを生成し、保管用にピラミッドの全てまたはサブセットを選択できる。例えば、システムはピラミッドのより低解像度の部分だけを保存し、最高解像度のレベルを破棄できる。より低解像度のレベルはファイルサイズが著しく小さくでき、最高解像度のレベルより実用的になりロスなしの圧縮または非圧縮で保管できる。より低解像度のレベルのストレージは、ストレージ装置854において、このような高忠実度のフォーマットで、より多くのデータがロスありの画像を用いる場合より利用可能であるので、新しい特徴を抽出するために拡張型の次世代の索引付け機能を提供できる。最高解像度のロスのある形式や他の形式は、画像を捕捉した時点で既に格納されている可能性があり、より低解像度の画像を用いて格納できる。
【0121】
画像化装置800の別の実施例では、最高解像度の画像は主アーカイブのストレージ装置854内に保持され、ガウスピラミッドからのものなどのより低解像度の形式はキャッシュフォーマットで、スライド画像サーバ850のストレージまたはメモリ装置内に保持される。キャッシュは所定の最大サイズで設定され、前記サイズは「最高水準」と呼ばれることがあり、アーカイブ内の画像を決定するために統計値の利用および他のルールを含むことができ、そのためにより低解像度の画像やより低解像度の画像の構成要素を保持する。どのような画像をキャッシュに保持するかを決定する一例では、頻繁にアクセスする画像に対してより低解像度の画像を全て保持する。画像のどのような構成要素をキャッシュに保持するかを決定する一例では、頻繁にアクセスする画像に対して解像度レベルのみを保持する。二つの決定は一例では組み合わせ、頻繁にアクセスするファイルの頻繁に用いる解像度レベルのみをキャッシュ内に保持する。アクセスルールに対して追加的または選択的な他のルールを利用し、画像処理アルゴリズムに対する画像またはその構成要素の利用可能性、および画像データの再生成のコストについての事前知識の一部を組み込むことができる。つまり、画像処理アルゴリズムによって用いられる可能性が高かったり、再生成に非常に時間がかかる画像データはキャッシュの優先度チェーンがより高くなる。
【0122】
画像インデクサ852は、一実施例では画像プロセッサ/特徴抽出部としても知られ、画像上でユーザ定義可能な解析処理を実行できる。処理は、画像強調、画像統計値の決定、組織分割、特徴抽出、および対象分類の一つ以上を含むことができる。画像強調は、例えば、焦点距離や照明レベルなどの新しい捕捉パラメータを用いて、画像の全てまたは一部を再捕捉することを含むことができる。画像統計値は、例えば、捕捉された画像の物理的サイズ、画像を格納するために用いられるメモリ量、画像を捕捉する際に用いられたパラメータ、捕捉された画像の様々な部分に対して用いられた焦点距離、格納された画像の解像度の数、および診断の鍵として識別された領域を含むことができる。組織分割は、スライドまたは症例に関連した組織分割のサイズおよび数を含むことができる。特徴抽出は、分割の特徴に関連した位置および他の情報に関連付けられる。対象分類は、例えば、識別された特徴に関連した診断情報を含むことができる。画像処理中に画像データのこのような特性を計算することは、著しい効率性をもたらす。特に、画像統計値の決定などのステップについて画像化と並列に特性を決定することは、画像化を完了した後に同じステップを行うことよりかなり効率的になる可能性がある。このような効率性によって、媒体から画像データを再抽出し、データを解凍したり、データをフォーマットするなどの必要性を避けることができる。複数の画像統計値は、画像の一つ以上の色空間(HSV、HIS、YUV、およびRGBなど)に適用できる。このような統計値の例には、所定の領域上でのヒストグラム、モーメント、標準偏差およびエントロピ、または様々な生理的疾病状態と相関のある他の同様の計算が含まれる。このような画像統計値はコンピュータ的に高価であるとは一概には言えないがより入出力制約がある可能性があり、従って後でではなく画像化と並列に行うと、特に画像を圧縮する場合ははるかに効率的になる。
【0123】
図10に示した一実施例では、画像インデクサ852は、一つ以上の汎用CPU960、デジタル信号処理基板970、またはグラフィクス処理ユニット(GPU)980を有することができ、それらは一つ以上のビデオカード内に含められる。汎用CPU960の例は、Intel Corporationのx86系、やIBM CorporationのPowerシリーズを含んでいる。デジタル信号処理基板970の例は、Philips CorporationのTriMediaである。最新のビデオカード内のGPUの処理能力は6か月ごとに2倍になっている一方、汎用CPUの場合は18か月ごとに2倍になっていると見積もられる。高レベルのグラフィクス言語(カリフォルニア州サンタクララにあるNvidia CorporationのCgなど)の利用可能性によって、GPUの使用はますます魅力的になっている。画像インデクサ852のソフトウェアインタフェース990は、最も効率的な処理を行うために異なるハードウェアに異なる演算をスケジュールし指示する。例えば、図9の画像インデクサ852を用いて形態学的演算を行う場合、デジタル信号処理(DSP)カード970には畳み込み(convolutional)フィルタが最も適している可能性が高く、GPU980には所定の種類の幾何学的変換が最も適している可能性が高い一方、CPU960には高レベルの統計的演算が最も適している可能性が高い。
【0124】
一実施例では、画像圧縮部/アーカイバ803と画像インデクサ852は、高速通信を容易にするために一つ以上の同じ物理的処理素子を共有している。
【0125】
スライド上の異なる種類の組織(例えば、肝臓、皮膚、腎臓、筋肉、脳、眼など)は、組織画像を捕捉するために異なる種類の処理を用いることができる。従って、ユーザはスライド上の各組織サンプル用の種類を指定でき、システムはスライドについての情報を自動的に取得し、組織サンプルの分類情報を決定する。分類情報は、組織の種類、準備方法(例えば、ホルマリン固定、冷凍など)、染色の種類、使用された抗体、使用されたプローブの種類の一つ以上を含むことができる。分類情報の取得は、RFIDまたはバーコードなどのスライド上の一意的スライド識別コードを読み取ること、もしくは必要に応じてここで説明されるようにまたは発見的(heuristic)アプリケーションを介した自動検出などいくつかの方法の一つで実現される。一実施例では、一意的スライド識別コードまたは他の取得した情報は直接的な分類情報を提供しないが、一意的識別子(UID)、グローバルな一意的識別子(GUID)、またはIPv6アドレスなどの一意的識別子のみを提供する。これらの識別子は電子的に符号を付けられ、修正を妨げて作成者の信憑性を証明する。この一意的識別子は、ここで説明されるLISまたはLIMSなどの外部情報システムに問い合わせを行うために用いられ、必要な資料分類情報を提供できる。
【0126】
画像インデクサ852の出力またはその一部は、一実施例では特徴ベクトルの形態であってもよい。特徴ベクトルは、組み合わせてデジタルスライドまたはその一部についてのある関連情報を簡潔な方法で提供する一組の特性であってもよく、それはデジタルスライドおよび関連の情報のサイズを一意的な組の識別可能な特徴に低減できる。例えば、三次元特徴ベクトルは、細胞数、テクスチャ、および色ヒストグラムに関連した値または他の情報を含むことができる。
【0127】
より高速または最大精度および速度に対して、画像インデクサは原画像またはロスのない圧縮画像上で動作可能である。しかし、所定の動作は、ロスのある圧縮画像を用いて許容可能な結果を生成できる。
【0128】
一実施例では、肝臓組織サンプルの所定の分類において、例えば、これらの核は通常の核より「白い」ので、画像インデクサ852で彩度を用いて組織内の糖原核を検出できる。既に保存されている画像統計情報(HSV色空間内のヒストグラムなど)を用いる適応閾値技術を画像インデクサ852で用いて、通常の核から糖原核(glycogenated nuclei)を分離できる。各々の核の重心位置は、面積、周囲、最大幅、および最大高さなどの他の幾何的属性、および色強度と共に特徴ベクトルとして画像インデクサ852によって抽出できる。別の実施例では、幾何学的属性、色強度、または他の基準のいくつかの組み合わせを特徴ベクトルとして抽出できる。
【0129】
画像プロセサ/特徴抽出部、または画像インデクサ852からの結果は、スライドのメタデータ(被験者のID、年齢、性別など)とストレージ装置内の画像位置へのポインタと共に以降で説明するようなデジタルスライドの実体を構成し、画像サーバ850などのデータベースに格納できる。
【0130】
画像圧縮部/アーカイバ803は画像インデクサ852に中間結果を出力できる一方、マルチ解像度画像ピラミッドを構成できる。それから、あらゆる解像度または選択した解像度において画像インデクサ852によって特徴ベクトルを抽出し、将来のマルチ解像度/階層分析/モデリングに役立つ。
【0131】
図12は、一実施例による画像処理法992の例のフローチャートである。画像処理法992は、例えば、図9について説明される画像システム799の実施例などの画像制御システムによって実行される。画像システム799の画像化部801は994aにおいて、スライドの高解像度の原画像を捕捉し、例えば、同時にもしくはここで説明されるように、一つ以上の圧縮部/アーカイバ803と一つ以上の画像インデクサ852に画像を送信できる。一つ以上の圧縮部/アーカイバ803は994bにおいて高解像度の原画像を圧縮し、999aにおいて画像を保管する。一つ以上の画像インデクサ852は994cにおいて、高解像度の原画像から特徴ベクトルを抽出し、999bにおいて特徴ベクトルをデータベース内に格納する。
【0132】
995aにおいて、画像システム799は高解像度の原画像を処理し、そこから間引き(decimated)画像またはサブバンド画像を構成する。994bと999a、および994cと999bなどの特徴ベクトルの圧縮と抽出処理は一つ以上の圧縮部/アーカイバ803によって、995bと999a、および995cと999bにおいて各々一つ以上の画像インデクサ852によって、および995aにおいて構成される間引き画像またはサブバンド画像に対して繰り返される。
【0133】
996aにおいて、画像システムは995aから間引き画像またはサブバンド画像を処理し、そこから別の間引き画像またはサブバンド画像を構成できる。特徴ベクトル処理の圧縮/保管と抽出および格納は、996a、996bと999a、および996cと999bにおいて各々他の間引き画像またはサブバンド画像に対して繰り返すことができる。
【0134】
この処理は、997a、997bと999a、および997cと999bにおいて繰り返される。
【0135】
一実施例では、画像サーバ850は、スライド画像を格納するための一つ以上のストレージ装置854、およびスライド画像の位置、スライドから抽出された特徴ベクトル、スライドに関するメタデータ、およびシステム監査証跡情報(audit trail information)を格納するための関係データベースまたはオブジェクト指向データベース、もしくは他のエンジン851を有することができる。
【0136】
データベース内の保管され圧縮された画像と特徴ベクトルは、図9について説明される画像サーバ850などを介してアクセスできる。
【0137】
画像サーバ850は、デジタルスライドの実体を格納、問い合わせおよび解析するために用いられる。デジタルスライドの実体は一実施例では、一つ以上のスライド画像、特徴ベクトル、関連のスライドのメタデータやデータ、および監査証跡情報を含んでいる。監査証跡情報は、例えば、図3の診断システム400についてここで説明したように症例を診断するためにシステムを用いる際、ユーザが行った選択に関して記録された情報を有することができる。画像サーバ850は、スライド画像用の一つ以上のストレージ装置854と、スライド画像の位置、スライドから抽出された特徴ベクトル、スライドに関するメタデータ、およびシステム監査証跡情報を格納するための関係データベースまたはオブジェクト指向データベースを有することができる。デジタルスライドサーバ150は図7についてここで説明されるネットワーク252などのネットワークの一部であってもよく、一つ以上のスマート検索エージェント860を有し、リクエスト上で問い合わせと解析を実行できる。スマート検索エージェント860は、格納した画像を取得することもできる。画像サーバ850は、ユーザ特権、データ完全性、およびセキュリティを維持および実施することもできる。セキュリティを提供し、データのプライバシを保護するために、異なる特権要求を用いて同じデジタルスライドの実体内に異なる入力を割り当てることができる。例えば、政府のプライバシ要件を満たすために、患者の識別情報は組織外のユーザには入手不可能にすることもできる(ハッシュ値または人に関連した値としてのみ入手可能であるがユーザに人を識別させない)。会計目的のために画像サーバ850内に、異なる種類の問い合わせ/解析動作の支払いマトリクスなどの出来高払いのフレームワークを含めることもできる。
【0138】
一実施例では、所定の監視、非監視、または両方のニューラルネットワーク訓練セッションが、画像サーバ850内で動作している。実行可能なこのようなニューラルネットワーク機能の例は、自動品質保証(図4のQA/QCシステム500の機能を含むことも、それと共に用いることも可能)、および自動診断(図3の自動診断システム400に対して用いることができるものなど)を含み、人間の診断をフィードバックとして用いる。管理者(例えば、ITの専門家であってもよい)は、ネットワークのセットアップや修正を行うことができる。訓練効率を増大させることが望まれる場合、複数の画像サーバ850から訓練中にアクセスされる単一の画像サーバ850に特徴ベクトルを移動できる。
【0139】
効率的な処理に役立たせるために、画像化装置800と画像サーバ850と共に広範囲の階層的なキャッシュ/保管システムを利用し、それと結合できる。例えば、スキャナまたは他の画像化部801から供給された原画像は短時間は揮発性メモリ内に留まり、同時に様々な処理機能を実行できる。利用可能な揮発性メモリが所定の閾値(「低水準」としても知られる)より低くなると、画像は高速SCSI独立ディスク冗長アレイ(RAID)またはファイバチャネルのストレージエリアネットワーク装置などの高速の一時的ストレージ装置に移動される。最初の処理を全て行った後、画像を圧縮して低コストであるがより低速のストレージ装置(通常のIDEドライブなど)に移動し、最終的にはDLTテープライブラリまたは他のストレージ装置にバックアップできる。一方、もし大量の揮発性メモリが利用可能なときは、多少の投機的予測を行って、将来の処理のために所定の画像を揮発性メモリやより高速のストレージに移動/復元できる。
【0140】
複数の画像サーバ850を用いる場合、データを複製することが望ましいことがある。例えば、画像データおよびメタデータ内に多くの冗長性が存在する可能性があるので、スマート複製機能を呼び出すことができる。このようなスマート複製技術は画像または他のデータの一部だけを送信し、送信されたデータに基づいて他の部分を再構成できる。例えば、ガウスピラミッドや、JPEG in TIFFまたはJPEG2000 in TIFFなどの他の種類のマルチ解像度ピラミッドを構成するソフトウェアなどによって、ここで望まれ説明されるような、より高解像度の画像から低解像度の画像を再構成できる。どのようなデータを送信し、どのようなデータを送信せずに再構成するかを決定する際、画像やその一部を再構成する処理時間、性能、またはコストと、ストレージから画像データを取得または送信する送信時間やコストを重み付けできる。例えば、高速ローカルエリアネットワーク(LAN)または高速ギガビットワイドエリアネットワーク(WAN)上では完全な特徴ベクトル構成、メタデータ複製、および画像コピー(セキュリティ特権の要件を満足する場合)は経済的観点や時間的観点から合理的な方式となる。一方、より低いインターネットまたは他のワイドエリアネットワーク(標準1.5MbpsのT1など)の接続上ではメタデータおよび所定の特徴ベクトルのみを複製する一方、画像は画像サーバ850などのリモート位置に残しておくことが合理的となる。将来、問い合わせ/処理機能がリクエストされた場合、画像データを必要とする所定の動作をリモートのスマート検索エージェント860に自動的に委譲できる。
【0141】
一実施例では、所定のコスト尺度が各種の処理および送信に関連付けられる。例えば、コスト尺度は画像データの1MBの送信用の一つの係数と、画像データの1MBの復元および取得用の別の係数を有することができる。グローバル最適化部は、動作の全コスト(一般に上記の係数を用いる全ての処理/送信量の線形の組み合わせ)を最小化するために用いられる。これらのコスト係数は、会計目的で用いられる支払いマトリクスとは異なっていてもよい。
【0142】
デジタルスライドサーバ850の一実施例では、IBMのネットワーク接続ストレージ(NAS)がストレージ装置854として用いられ、Oracleのオラクル関係データベースがデータベースエンジン851として用いられ、いくつかのIBM互換PCまたはブレードワークステーションがソフトウェアプログラムまたは他の要素と共にスマート検索エージェント860として機能できる。これらの装置はギガビットイーサネット(登録商標)またはファイバチャネルなどの高速ローカルエリアネットワーク(LAN)を介して接続され、高速インターネット接続を共有できる。
【0143】
図11に示されるようなデジタル顕微鏡ステーション901は、一実施例では図6について説明される画像インタフェース200などのワークステーションまたは他の機器を有することができ逆もまた同様であり、デジタルスライドの検査、解析および管理や、このような動作の品質保証を提供することができる。デジタル顕微鏡ステーション901は、一つ以上の高解像度モニタ、処理要素(CPU)、および高速ネットワーク接続を有することができる。デジタル顕微鏡ステーション901は、動作中に一つ以上の画像サーバ850に接続できる。他のデジタル顕微鏡ステーション901と通信することも、相互検査(図4について説明されるQA/QCシステム500について説明される相互検査など)を容易に行うこともできる。
【0144】
一実施例では、デジタル顕微鏡ステーション901は一つ以上の拡大レンズなどを介して、およびモータ付きステージを用いることによって、リモート位置において組織または試料の画像を捕捉するために動作するカメラを操作するために用いられる。デジタル顕微鏡ステーション901によって、そのユーザはレンズ選択、観察したい組織または試料の一部、および照明レベルなどの画像捕捉制御パラメータを入力できる。それから、デジタル顕微鏡ステーション901は、図11に示したネットワーク991などのネットワークを介してスライド画像化装置800にこれらのパラメータを送信できる。それから、スライド画像化装置は制御パラメータに従って一つ以上の画像を捕捉し、ネットワークを介して捕捉した画像をデジタル顕微鏡ステーションに送信できる。
【0145】
一実施例では、デジタル顕微鏡ステーション901は、症例に関連したリクエストを送受信でき、前記リクエストはユーザからの命令および入力を含み、一組の問い合わせ/解析コマンドを構成し、その後、一つ以上の画像サーバ850に送信される。リクエストは、スライド画像および症例に関連した他の情報に対するリクエストであってもよい。コマンドは、標準的なSQL、PL/SQLストアドプロシージャ、またはJava(登録商標)ストアドプロシージャの一つ以上の画像処理/マシンビジョン要素であってもよく、Java(登録商標)アプレットなどの動的言語内で呼び出される。
【0146】
一実施例では、デジタル顕微鏡ステーション901は、Trestle Corporation(所在地:カリフォルニア州、アービン)の拡張型MedMicroscopyStationを有することができる。
【0147】
顕微鏡ステーション901の別の実施例はウェブブラウザベースのシンクライアントであり、それはJava(登録商標)アプレットまたは他の動的言語を利用して捕捉パラメータの通信や画像の受信を行うことができる。
【0148】
リクエストを受信する際、画像サーバ850はそのリクエストに関連したユーザの証明書および特権をチェックおよび確認できる。このような証明書および特権は、例えば、暗号化またはパスワードによって実現される。証明書および特権がリクエストされた症例情報へのアクセスに適切でない場合、画像サーバ850はリクエストを拒否し、拒否したことをユーザに通知する。証明書および特権がアクセスに適切な場合は、画像サーバ850は関係データベースまたはオブジェクト指向データベースエンジン851に問い合わせタスクを委譲でき、専用スマート検索エージェント860に画像処理/マシンビジョン機能を委譲できる。問い合わせの結果はデジタル顕微鏡ステーション901に戻され、リクエストを行ったデジタル顕微鏡ステーション901や、リクエストされた一つ以上の別のデジタル顕微鏡ステーション901に戻される。タスクは、同期的に行うことも非同期に行うこともできる。並列タスクのスケジュールの観察や変更には、特別な権利が要求される。
【0149】
一実施例では、ユーザは技術者、監督者および管理者に分かれる。この実施例では、技術者が未保護の画像を観察する特権を有することができる一方、監督者だけが画像に関連したメタデータを変更できる。未保護の画像は、例えば、画像が検査に適しているか、または診断に適用可能であることを確認するために図2の152において観察される画像であってもよい。その実施例では、管理者だけが他のユーザに証明書および特権の割り当てや変更を行うことができ、監査証跡情報は誰も変更できない。
【0150】
画像サーバ850に格納されたデータのプライバシおよび完全性を保護するために、デジタル顕微鏡ステーション901と画像サーバ850および複数の画像サーバ850の間ではセキュアな通信形態が利用される。一実施例は、セキュアソケットレイヤ(SSL)または仮想プライベートネットワーク(VPN)に基づくことができる。ユーザアカウントは、例えば、パスワード、パスフレーズ、スマートカード、バイオメトリック情報の一つ以上によって保護される。
【0151】
以降は、デジタル顕微鏡ステーション901において行われる共通タスクのいくつかの例である。一実施例では、ユーザはデジタル顕微鏡ステーション901を用いて、一組のデジタルスライドまたは画像を視覚的に検査できる。ユーザはデジタル顕微鏡ステーション901に指示し、例えば、所定の時間枠で画像化された特定の研究所からの肝臓組織の全ての画像を検索することなどによって、その組を問い合わせもしくは検索できる。ユーザは、デジタル顕微鏡ステーション901に指示し、検索結果をダウンロードもしくは提供することもできる。ユーザは同様にまたは選択的に、より複雑な問い合わせ/解析(所定の統計的基準に適合する組織スライドの全ての画像など)によって、その組の発見およびアクセスを行うことができる。ユーザは、スライド画像のクラスまたは組上でデータマイニングなどの統計的モデリングを利用して、検索結果数のフィルタ処理および制限を行うことができる。ユーザの証明書および特権は、ユーザが利用する画像サーバ850によってチェックおよび確認される。ユーザは、アクセスした画像のサブセットをリクエストし、ユーザの診断に到達または批評する際の共同作業または相互協議など、実時間または後で検査するために別のユーザに送信できる。ユーザは、ダウンロード時間を考慮するために一日前など、検索結果を検査する予定の前に検索を実行できる。診断や検査操作のコストは、後で課金するための確立された支払いマトリクスに従って計算される。
【0152】
検索、アクセス、およびフィルタ処理機能の一例では、ユーザはデジタル顕微鏡ステーション901を用いて、画像サーバ850に問い合わせを行い、所定の割り合いを超える糖原核密度を有する肝臓組織の全ての画像を選択し、これらの組織画像から異常な領域を取得できる。他の閾値を問い合わせ内で指定し、境界基準を備えた組織の画像を別のデジタル顕微鏡ステーション901の別のユーザに送信し、さらに検査することもできる。
【0153】
一実施例では、デジタル顕微鏡ステーション901は、所定の基準に基づいて、後で一つ以上の検索、アクセス、およびフィルタ処理機能を自動的に実行するように指示することもできる。例えば、ユーザはデジタル顕微鏡ステーション901に指示し、所定の基準に適合する全ての組織サンプルに対して画像サーバ850を自動的におよび周期的に検索し、それからデジタル顕微鏡ステーション901に任意の新しい検索結果をダウンロードできる。
【0154】
一実施例では、病院の別棟などシステムに関連した組織の地理的位置の一つの画像サーバ850が、複数のスライド画像化装置800、または画像化のために定期的に提供されるスライドを備えた他のスライド画像化部を有する。この場所の技術者はデジタル顕微鏡ステーション901を用いて品質保証や品質管理を行うことができ、別の場所の病理学者または他の診断医はデジタル顕微鏡ステーション901を用いてスライド画像の検査や解析を行い、リモート診断を効率的に提供できる。技術者および診断医は、一実施例では図2の画像管理システム150、および図3の診断システム400の処理を介して画像を処理できる。
【0155】
画像サーバ850とデジタル顕微鏡ステーション901を用いるこのようなサーバ/クライアントモデルは、Trestle CorporationのTrestle ePathNetサービスおよびシステムなどの外部委託の画像化研究所を含むことができる。図13に示されているような画像化ネットワーク1000の一実施例では、Trestle ePathNetまたは他のサーバは病理学データ管理および仮想顕微鏡機能を提供でき、マスタ画像サーバ1010を有する。マスタ画像サーバ1010は画像サーバ850またはその一部の機能を含むことができる一方、異なる顧客のサイト(製薬会社および生命工学研究所など)における複数のスレーブ画像サーバ1020は各々画像サーバ850またはその一部の機能を有することができる。画像化部801は、画像アーカイバ/圧縮部803および画像インデクサ852と共に、顧客のサイトにおいてスレーブ画像サーバ1020に画像および特徴ベクトルを各々抽出できる。
【0156】
一つ以上のスマート検索エージェント860は、顧客のスレーブ画像サーバ1020上またはそれに密接して配置できる。スレーブ画像サーバ1020上に格納された画像のメタデータおよび所定の特徴ベクトルは複製し、SSLまたVPNなどのセキュアな通信方法または他の通信方法を用いて、TrestleのePathNetサーバなどのマスタ画像サーバ1010を含む施設に送信できる。問い合わせ/解析機能はデジタル顕微鏡ステーション901などを介して命令され、施設においてスマート検索エージェント860によって少なくとも部分的に実行される。それから、施設におけるスマート検索エージェント860は、マスタ画像サーバ1010上に格納された任意の画像のメタデータおよび所定の特徴ベクトルを検索および解析したり、スレーブ画像サーバ1020からのデータを検索および取得できる。施設におけるスマート検索エージェント860は選択的または追加的に、クライアント側または顧客側、つまりスマート検索エージェント860にタスクを委譲でき、スマート検索エージェント860はデータベース上の情報を解析でき、前記データベースは顧客の施設におけるスレーブ画像サーバ1020上にあってもよい。
【0157】
顧客のサイトまたは施設から、Trestleの施設などにおけるマスタ画像サーバ1010に送信されたデータは未識別のデータであってもよく、例えば、一方向のハッシュ関数を用いて識別を除去、暗号化、ハッシュするようにユーザがフィールド内に定義し、顧客管理のコードブロックを用いて、ユーザの識別コードを決定または翻訳されないようにしたデータであってもよい。一実施例では、未識別のデータは、ソフトウェアプログラムによって自動的に指定できる。スマート複製技術を用いて、オフサイトのデータベースストレージおよび制限された画像ストレージを容易にできる。帯域幅を節約するために、豊富なストレージ容量を備えたスレーブ画像サーバ1020などの主画像ストレージ手段を顧客のサイトに配置し、スライド画像の特徴ベクトル、メタデータおよび所定のより低い解像度の表現を格納でき、前記画像はスマート複製を介して、Trestle CorporationのePathNetサーバなどのマスタ画像サーバ1010において複製できる。一実施例では、高レベルのモデリング/データマイニングの大部分または別の部分は、ePathNetサーバなどの高性能のマスタサーバ上で実行し、スレーブ画像サーバ1020などの顧客のサーバ上での解析量を制限できる。
【0158】
デジタル作業場では、様々なシステム設計を用いることができる。例えば、必要に応じて観察ステーションに画像をストリーミングすることが用いられる処理の一つである。より速いアクセスが望まれる場合、観察ステーションのコンピュータに局所的に画像を格納できる。しかし、デジタルスライド全体を手動またはスクリプトでコピーすることは煩雑であり、ネットワーク適応型ではなくなる(例えば、システムがユーザに画像ファイル全体のダウンロードを要求するか何も要求しない場合)。
【0159】
一実施例では、システムおよび方法は仮想的な顕微鏡スライドを作成する際に使用するための画像データを送信することであり、顕微鏡スライドの拡大画像を得るために用いることができる。この実施例では、システムおよび方法は、画像を観察可能なコンピュータシステムに画像をストリーミングすることと、その上に画像を格納することの両方の機能を組み合わせている。別の実施例のシステムおよび方法では、スライドの画像の一部を観察ステーションにストリームまたはダウンロードできる。これらの実施例は、一つ以上のデジタルスライドのより素早い検査を容易にできる。
【0160】
一実施例によるシステムで用いられる方法を構成するために、予想されるワークフローを調べることによって開始できる。デジタル作業場では、例えば、ここで説明される画像サーバ850または他のサーバなどの上でスライドを画像化し格納でき、スライドに関する追加の情報もサーバ上のデータベースに入力できる。次に、データが検査される。一実施例によると、誰がデータを検査する可能性があり、その人はどこにいるかがわかっている範囲でシステムおよび方法が構築され、適切な場所のユーザに適切な画像および関連のデータをより効率的に提供できる。
【0161】
その実施例では、システムは、その検査者が実際に特定のスライド画像をリクエストする前に、ここで説明される画像サーバ850などの画像サーバから、ここで説明される画像インタフェース200などの検査または観察ステーションに、デジタルスライドまたはスライド画像の全てまたは一部を「プッシュ」または「プル」もしくは送受信できる。このような早期のスライド画像の送信によって、ユーザ/検査者は高速で画像を観察できる。一実施例では、このようなシステムは、画像サーバアーキテクチャと呼ばれる可能性があるものを保持できる。画像サーバアーキテクチャでは、観察ステーションは基本的に通常の観察者のように機能できるが、一実施例では「オートパイロット」上で動作することもできる。観察ステーションは、画像サーバからのスライド画像の一部を自動的、周期的にリクエストし(または画像の一部を周期的に受け取り)それらをローカルに保存する。当然のことながら、この特徴を備えたシステムは、特定のスライド画像の全てが送信されなくても重要な機能性を保持できる。
【0162】
観察者は、一実施例では、ブラウザ設計および一般的なウェブサーバ技術と一致する枠組みで操作でき、それは一般にリクエスト/応答と呼ばれる。観察者は、ここで説明される画像サーバ850または別のサーバから、観察者が操作可能なシステム下の多数の事前ストリーミングルールを受信(ダウンロード)できる。これらのルールは、様々な実施例では、ユーザがどのスライドまたはスライドストレージ位置にアクセスするか、どんな種類の書き込み(例えば、読み出しだけ、読み書き)を用いることができるか、最大ダウンロード速度、可能なダウンロード接続の最大数、暗号化要件(例えば、SSLまたは同様のものを用いてデータをダウンロードする必要があるか、または暗号化せずにデータを送信できるか)、ローカルマシン上にデータを暗号化せずにキャッシュできるか、およびどの程度の長さのダウンロードデータをキャッシュできるかに関するルールを有することができる。それから、観察ステーションはこれらのルール内で観察者のリクエストを実行し、実際のスライドをナビゲートしているかのように、スライドの画像を観察するために画像サーバと通信できる。言い換えると、観察ステーションはそのユーザの類似物となり、ダウンロードした事前ストリーミングルールによって確立された制約下で動作できる。
【0163】
システムは、第一の所定の観察解像度において画像サーバから観察ステーションに画像をダウンロードするように構成でき、それは、例えば、利用可能な二番目に高い解像度であってもよい。それから、様々な画像処理技術のいずれか、または図9で示しそれについて説明した画像化装置800などについて説明したアルゴリズムの動作によって、観察ステーションにおいて最初にロードした解像度からより低い解像度の画像を形成できる。これらのより低い解像度の画像は、柔軟な分離型のスケールダウンおよび圧縮エンジンによって生成できる。スケールダウンおよび圧縮エンジンは独立に動作できる。この独立性は、用いられる技術の柔軟性を許容できる。
【0164】
段階的圧縮技術は、画像間隔を解像度成分に一体化するために用いられ、その後、量子化およびエントロピ符号化などの技術を用いて前記解像度成分を圧縮できる。他の圧縮形態からの解像度成分に間隔を分離することによって、柔軟性を提供することもできる。例えば、ウェーブレット圧縮技術は、それらの基底関数の直交性によってより低い解像度の画像の生成を本質的に促進できる。関数は共依存していないので、直交性は周波数の混合および整合を行うことができる。しかし、符号化などの完全なウェーブレット圧縮を行うことに関連した他の形態は、かなり時間がかかる可能性がある。従って、一実施例ではウェーブレット圧縮の一部、つまり最初のウェーブレット分解だけを用いれば、その実施例はこの形態の圧縮システムから利便性が得られる。ウェーブレット分解後、所望のより低い解像度における新しい画像が修正される。それから、この新しい画像は圧縮エンジンに供給される。圧縮エンジンは、JPEGまたはPNGなどの任意のロスなしまたはロスあり技術を用いることができる。
【0165】
また、これらの画像の実際の解像度は、観察ステーションに直接ダウンロードされる。十分時間がある場合、利用可能な最高解像度における画像を最初にダウンロードし、上記のようにより低い解像度の画像をそれから構成、後処理、または後でダウンロードできる。
【0166】
観察ステーションにおいて実際に観察する前に、最高解像度の画像の任意の部分が利用可能でない場合、その最高解像度における画像の部分は、ここで説明される画像サーバ850などのサーバから観察ステーションに必要に応じてダウンロードできる。画像部分は、例えば、スライドまたはその画像の平面を定義する座標の組、またはスライドの一部としてのそれらの位置または場所(例えば、左の第三、中央の第三など)における場所によってユーザが識別できる。
【0167】
一実施例では、観察ステーションは、低解像度画像のどの部分をユーザが観察しているかに基づいて、より高解像度または最高解像度の画像の部分を自動的にダウンロードする。システムは、ユーザが観察している低解像度の部分と同じ、それに近い、もしくは関連した高解像度の画像の部分を自動的にダウンロードできる。システムはこれらの関連の高解像度の画像をキャッシュにダウンロードし、前記キャッシュはユーザの希望する場所で、またはユーザの以降の観察挙動に基づいて自動的にアクセスされる。
【0168】
例えば、一実施例では、先取りキャッシュまたは先取りバッファ処理が用いられ、過去のユーザ観察や発見的知識に基づいて、画像部分の断定的バッファ処理を用いることができる。一実施例では、先取りキャッシュ処理またはバッファ処理は、例えば、「一方向への移動は次に同じ方向に移動する可能性が高く、次に直交する方向に移動する可能性はやや低くなり、逆方向に移動する可能性は最も低くなる」といった所定の発見的知識に基づくことができる。別の実施例では、先取りキャッシュまたはバッファ処理は、次の移動を推測するための過去のデータの優位性を解析することなどによって、過去の使用法に基づいて動作できる。例えば、ユーザのナビゲーション移動の75%が左右で、25%が上下であれば、システムは現在の位置に対して上または下のデータをキャッシュする前に、現在の位置の左または右の画像部分をキャッシュする可能性がより高くなる。
【0169】
比較的低パワー(低解像度)の画像を用いて、一部または大部分の検査作業が日常的に行われる場合や、画像ファイルサイズの一部または大部分が最高パワーで表されている場合、ユーザが既にダウンロードした画像を観察する際、最高解像度の画像の利用不可能な(ユーザの観察時にはまだ観察ステーションにダウンロードされていない)部分に対応するより低解像度の画像の部分をダウンロードできる。低解像度の画像ファイルは高解像度の画像ファイルより小さくなるので、より低解像度のファイルは素早くダウンロードでき、高速検査を容易にできる。ユーザが(まだダウンロードしていない)最高解像度またはより高解像度の画像を観察する必要がある場合だけは、リモート位置から画像データを取得する際により大きな待ち時間がかかることとなる。
【0170】
画像のダウンロードの順番は一実施例では、最低解像度の画像を最初に観察ステーションにダウンロードし、それから次に高い解像度の画像をダウンロードするように反転させることができる。このようなダウンロード設計は、プログレッシブJPEGまたはJPEG2000などの段階的画像フォーマットに特に適している。段階的フォーマットでは、より高い解像度の画像が既に送信されているより低い解像度のデータ上に構築される。新しい高解像度の画像全体を送信するのではなく、一実施例では、高解像度と低解像度の画像の間の差異の係数だけを送信するだけでよい。これは、より高解像度の画像に対するいくつかの他の代替フォーマットに比べて送信される全体のデータを低減できる。
【0171】
システムの特徴は、一実施例では、スライドの画像化中に画像サーバから観察ステーションに事前ストリームダウンロードを行うことである。画像化し画像サーバ内に格納することなどによってデジタルスライドの新しい部分が利用可能になると、それらは観察ステーションに送信可能になる。
【0172】
この設計の特徴はデジタルワークフローを補完するだけでなく、一実施例ではライブの遠隔病理診断を増やすこともできる。ライブの遠隔病理診断システムは診察に用いることができ、一実施例では、いくつかの動作に対して二次元(2D)デジタルスライドを超える所定の機能的利点を有することもでき、より安価である。低解像度のデジタルスライドは、仮想的な対象または直接的な仮想スライド検査として、このような技術を介して観察ステーションにおいてローカルで観察されるので、これらのシステムの低解像度のデジタルスライドのダウンロードを事前にストリームすることは、このようなシステムのさらに高速な動作を可能にする。従って、この実施例のシステムは、ダウンロード画像とライブの遠隔病理診断の機能の両方を有することができ、ユーザはローカルに格納した低解像度のスライド画像を観察し、必要に応じて遠隔病理診断アプリケーションを介してライブのスライド画像を観察できる。
【0173】
高速ネットワークが出現しても、画像サーバ850などの画像サーバから、使用するための観察ステーションに画像をダウンロードすることに関連した方法論およびアーキテクチャは、システムの高速動作を促進できる。観察ステーションに画像を分散させることによって、サーバの作業負荷を低減できる。観察ステーションまたは他のクライアントをサーバに接続する高速光ファイバラインを用いる場合でも、複数のクライアントが同時にサーバにアクセスすると、システムの性能に悪影響を与える可能性がある。この影響は、サーバの帯域幅の作業負荷をより効率的に広げることによって低減できる。
【0174】
一実施例では、システムの構成要素は、サーバ用の管理インタフェースである(ここでは「スライドエージェントサーバ」と呼ばれる)。スライドエージェントサーバは、例えば、ここで説明される画像サーバ850やマスタ画像サーバ1010、または他のシステムまたはサーバを有することができる。スライドエージェントサーバは自動的に、もしくは症例研究調整者または病院の管理者などのユーザによる入力と共にスライドトラフィックの計画および指示を行う。スライドエージェントサーバは新しいジョブを生成でき、実行すると症例に関連した一つ以上のスライド画像および他の情報を制御し、所定の診断者および他の観察者の観察ステーションにその情報を送信することによって前記ジョブは症例の診断や検査を促進できる。観察ステーションにおける診断や観察用のシステムおよび処理は、例えば、図3と4についてここで説明され、この出願全体説明されるそれらのシステムおよび処理であってもよい。
【0175】
ジョブは、スクリプトによって記述し実行できる。スクリプトは、VBScript、VBA、Java(登録商標)Script、XML、もしくは任意の同様のまたは適切なソフトウェアプログラミング言語などの標準ソフトウェアプログラミング言語で書き込むこともできる。各スクリプトは、システムのユーザまたはユーザのグループごとに個々に作成できる。スクリプトは、一意的識別子(グローバルな一意的識別子(GUID)など)、ジョブを行うように割り当てられた一人以上のユーザ、ジョブの信憑性を確認するためのデジタル署名、ジョブのテキスト記述およびどのスライド、症例、または他のデータがユーザによって検査されるかを含むことができる。スクリプトおよび周囲の管理データ(所定のユーザの識別コードを含むことができる)の作成は、セキュアなウェブブラウザインタフェースを介して編集可能であり、画像サーバ850または他の画像サーバなどの中央サーバ上に格納できる。正当なユーザのリスト、およびユーザのジョブ情報にアクセスするための認証情報と範囲も修正できる。
【0176】
それから、各スクリプトは、所定のユーザのワークステーション、指定されたプロキシ(ユーザのコンピュータの代わりに動作するように指定されたコンピュータ)、または他の観察ステーション上で実行するソフトウェアに適用することもできる。観察ステーションは、一実施例では、スライドエージェントクライアントと呼ばれることもある。いくつかのセキュリティ機能はスライドエージェントクライアントのソフトウェアプログラム内に実装し、各スクリプトの命令を処理できる。例えば、プログラムはスクリプトを実行する前に、ユーザがダウンロードされる各スクリプトを具体的に許容することを要求できる。新しくダウンロードされるスクリプトは、デジタル署名または他の方法論を介して信頼されたサーバによって認証することもできる。システムはスクリプトをダウンロードするために、ユーザの認証を要求することもできる(例えば、ダウンロード前に、ユーザにユーザ名およびパスワードを入力することを促すことができる)。全ての通信に、セキュアソケット(SSL)を用いることもできる。キャッシュに書き込まれたファイルは、暗号化フォーマットで格納することもできる。
【0177】
スライドエージェントクライアントは、例えば、ダウンロードされるファイルの種類、ファイルの数、ファイルのサイズなど、ユーザへのスクリプト内に含まれる規則の性質についてユーザに情報を表示できる。スクリプトは、ダウンロードされるファイルに対して完全修飾識別子を提供できる(例えば、サーバのマシン名、サーバのIPアドレス、サーバのGUID、パスおよびファイル名)。スクリプトは、データのダウンロードの順番も指定できる。例えば、全てのファイルに対して最低解像度のロードをまず指定し、それから全てのファイルに対して次に低い解像度などのロードを指定できる。また、特定のファイルに対して全ての解像度のロードを行い、それから次に指定したファイルに進むこともできる。さらに別の形態では、各ファイルに対して中間の解像度のダウンロードを行い、それから各ファイルに対して次に高い解像度をダウンロードできる。ファイルの順番、ダウンロードされる解像度、および解像度の順番についての多くの変形形態を指定できる。
【0178】
ダウンロード処理中、問い合わせおよびファイル管理機能は、ユーザや管理者に提供できる。スライドエージェントクライアントまたはサーバは、ダウンロードするファイル、ダウンロードされたファイル、進捗、現在残された推定時間および全問い合わせなど、スクリプトによって指定された問い合わせの現在の状態を表示できる。スライドエージェントクライアントまたはサーバのユーザは、問い合わせからの項目の削除、リモートリストからの項目の追加、および項目を問い合わせる際の順番の変更を行うこともできる。スライドエージェントクライアントまたはサーバのユーザは、問い合わせ内の各項目についての基本情報をブラウズすることもでき、問い合わせ内の各項目のサムネイル画像を観察することもできる。スライドエージェントクライアントまたはサーバのユーザは、問い合わせ内の各ファイルの対象ディレクトリをブラウズおよび変更することもできる。問い合わせおよびファイル管理システムは、最大キャッシュサイズおよび警告キャッシュサイズの設定を有することもできる。警告キャッシュサイズは、閾値を超えた場合に、ユーザに警告を送るために使用されるキャッシュ空間の閾値であってもよい。問い合わせおよびファイル管理システムは、キャッシュが制限を超えたときキャッシュ内のファイルを削除することもできる。これは、作成日、ダウンロード日、または最後にアクセスした日に基づいて選択可能であるべきである。
【0179】
効率的なダウンロードを容易にするために、様々なネットワーク機能がシステム内で提示される。まず、ファイアウォールトンネリングインテリジェンスを実装し、ファイアウォールを介してダウンロードを実行でき、ファイアウォールによって提供されたセキュリティを無効化もしくは低下させる必要はない。これを実現するために、一つの技術はリクエスト/応答機構を介してユーザコンピュータまたはプロキシと、外部サーバとの間の全ての通信を発生させることである。従って、情報は、前もって対応するリクエストを送信することなく、ユーザコンピュータまたはプロキシにプッシュすることはできない。
【0180】
例えば、ユーザコンピュータまたはプロキシは新しいスクリプトに対するリクエストを周期的に生成し、それをサーバに送信できる。新しいスクリプトが準備されると、サーバは応答としてそのスクリプトを送信できる。これらのリクエストおよび応答がHTTPまたはHTTPSなどの共通プロトコルを用いる場合、さらにファイアウォールとの互換性をもたらすことができる。
【0181】
提示される別のネットワーク機能は、各ユーザまたはプロキシがファイルをダウンロード可能な最大ダウンロード速度を指定する各ユーザ用の事前設定である。これらの事前設定は、様々なネットワーク上のトラフィックをかなり大きな効率性および柔軟性を備えて管理可能にする。システムはアプリケーションに基づいた帯域幅優先度決定機能を有することもでき、例えば、ウェブブラウザなどの他のユーザアプリケーションがダウンロード処理中にユーザによって用いられる場合、ユーザアプリケーションに優先度を与えることができ、それに応じてダウンロード速度を低下できる。この概念は、CPU利用率に適用することもできる。CPU利用率がかなり高いユーザアプリケーションを用いる場合、ダウンロードアプリケーションより高い優先度を与えて、ユーザアプリケーションがより高速または可能な最高速度で実行できるようにする。
【0182】
次の表は、一実施例において、スライドエージェントクライアントとスライドエージェントサーバの間で発生可能な通信の例を示している。
【0183】
【表1】
【0184】
ファイルリストの一例は一実施例では、次のリストのようなものである。
/folder2/Filename1.tif;checksum
/folder2/Filename2.tif;checksum
/folder2/Filename3.tif;checksum
/folder3/Filename2.tif;checksum
【0185】
ここで議論されるシステムおよび方法の様々な実施例は、医師または診断医のデスクトップ上の完全な画像拡張型患者向け診断リポート上で生成できる。
【0186】
試料を解析する全てのユーザが同じ画像を観察でき、ガラススライドを利用するリモートユーザは異なるスライドの組を用いることができるので、様々な実施例は整合性を保証して偏見を取り除くことができる。画像はネットワーク上に素早く送信され、スライド検査では、別個の組のスライドが一般に生成されリモート観察者にメールされるので、様々な実施例はリモート診断を高速化し、よりコスト効率的にする。
【0187】
ここで議論されるシステムおよび方法の様々な実施例によってユーザは複数のスライドを同時に観察し、画像検査処理を高速化できる。さらに、ここで議論されるシステムの実施例を利用することによってスライドを各検査者に送る必要がないので、スライドの損傷を避けることができる。
【0188】
ここで議論されるシステムおよび方法の様々な実施例は、組織学、毒物学、細胞学、および解剖病理学などの様々な医学的規律に対してカスタマイズでき、組織マイクロアレイなどの様々な試料形式に対して利用できる。組織マイクロアレイに対しては、システムおよび方法の様々な実施例をカスタマイズ可能であり、試料の行および列番号を指定することによって、マイクロアレイ内の個々の試料をグリッド形式で提示できる。毒物学用途では、病気または他の状態が存在するかどうかを決定するために多くの画像が素早く観察され、ここで議論されるシステムおよび方法の様々な実施例を用いて単一の観察内で多数の画像を表示し、その処理を促進できる。
【0189】
画像システムを用いる際に機能できる製造部材の一実施例は、その上に格納可能な命令を備えたコンピュータ読み取り可能な媒体を含み、前記命令がプロセッサによって実行されるとプロセッサはユーザインタフェース情報を表示する。一実施例では、コンピュータ読み取り可能な媒体は、プロセッサがユーザインタフェースから発行されたコマンドを受け取り、それらの受け取ったコマンドに従って表示されるユーザインタフェース情報を調整するような命令を含むことができる。
【0190】
一実施例では、画像インタフェースは命令を実行するプロセッサを含み、それによってプロセッサが症例内の単一の生体から取った試料の少なくとも二つの画像を関連させる。少なくとも二つの画像は、同時に表示することも別個に表示することもできる。
【0191】
命令の実行によってさらに、プロセッサは症例にアクセスする際、ユーザに少なくとも二つの画像を表示できる。命令の実行によってさらに、プロセッサは症例内の少なくとも二つの画像から診断を下すことができる。命令の実行によってさらに、プロセッサは症例内の少なくとも二つの画像の一つ以上に存在する着目領域を区別できる。
【0192】
命令の実行によってさらに、プロセッサは少なくとも二つの画像に関連した情報を症例と関連付けることができる。情報は、第一診断を含むことができる。第一診断は第二診断を下す第二診断者にとって利用可能であってもよく、命令の実行によってさらにプロセッサは第二診断を症例と関連付けることができる。第一診断を行った第一診断者の識別コードは、第二診断者には利用可能でなくてもよい。第一および第二診断と、第一および第二診断を行った第一および第二診断者の識別コードはユーザにとって利用可能であってもよい。ユーザは、第一診断と第二診断の意見が一致しているかどうかを決定できる。プロセッサは命令を実行でき、前記命令によってさらにプロセッサは、第一および第二診断が一致しているかどうかを決定する。第一診断と第一診断を行った第一診断者の識別コードは、第二診断を下した第二診断者にとって利用可能でなくてもよく、命令の実行によってさらにプロセッサは第二診断を症例と関連付けることができる。第一および第二診断を行った第一および第二新診断者の識別コードは、ユーザにとって利用可能でなくてもよい。
【0193】
一実施例では、データベース構造は、症例内の単一の生体から取った試料の少なくとも二つの画像を関連付ける。
【0194】
一実施例では、症例の整理方法は、症例内の単一の組織から取った試料の少なくとも二つの画像を関連付け、画像インタフェースを介して関連付けた少なくとも二つの画像へのアクセスを提供することを含んでいる。
【0195】
一実施例では、製造部材は命令を含むコンピュータ読み取り可能な媒体を有し、前記命令がプロセッサによって実行されると、プロセッサは症例内の単一の生体から取った試料の少なくとも二つの画像を関連付ける。
【0196】
一実施例では、画像確認法は診断に使用するために試料の第一画像を許容するか拒絶するかを解決し、第一画像が許容された場合、第一画像を診断者に送り、第一画像が拒絶された場合、第一画像を画像改善部に送り、画像改善部が画像捕捉に関連した少なくとも一つのパラメータを変更し、第一画像が拒絶された場合、第二画像の捕捉について変更した少なくとも一つのパラメータを用いて試料の第二画像を捕捉し、第二画像を捕捉した場合、第二画像を診断者に送ることを含んでいる。診断者は、人間の診断医であっても診断装置であってもよい。画像改善部は、人間の診断医であっても診断装置であってもよい。画像確認法はさらに、診断に使用するために第二画像が許容されるか拒絶されるかを解決することを含むことができる。
【0197】
一実施例では、画像確認装置は命令を含むプロセッサを有し、実行されたとき前記命令によってプロセッサは、診断に使用するために試料の第一画像を許容するか拒絶するかを解決し、第一画像が許容された場合、第一画像を診断者に送り、第一画像が拒絶された場合、第一画像を画像改善部に送り、画像改善部が画像捕捉に関連した少なくとも一つのパラメータを変更し、第一画像が拒絶された場合、第二画像の捕捉について変更した少なくとも一つのパラメータを用いて試料の第二画像を捕捉し、第二画像を捕捉した場合、第二画像を診断者に送る。
【0198】
一実施例では、製造部材は命令を含むコンピュータ読み取り可能な媒体を有し、実行されたとき前記命令によってプロセッサは、診断に使用するために試料の第一画像を許容するか拒絶するかを解決し、第一画像が許容された場合、第一画像を診断者に送り、第一画像が拒絶された場合、第一画像を画像改善部に送り、画像改善部が画像捕捉に関連した少なくとも一つのパラメータを変更し、第一画像が拒絶された場合、第二画像の捕捉について変更した少なくとも一つのパラメータを用いて試料の第二画像を捕捉し、第二画像を捕捉した場合、第二画像を診断者に送る。
【0199】
試料の画像と共にグラフィックユーザインタフェースを用いるシステム、装置、および方法を詳細に、その具体的な実施例を参照しながら説明してきたが、当業者には明らかなように、その精神および範囲から逸脱することなく様々な変更および修正をその中で行うことができる。従って、それらが添付の請求項およびそれらの等価物の範囲内にある限り、その修正および変更を含むものとする。
【図面の簡単な説明】
【0200】
添付の図面では、同様の参照番号は同様の構成要素を指示するために用いられ、前記図面は画像および画像インタフェース装置、システム、および方法をさらに理解するために含められ、この明細書に組み込まれ、その一部を構成し、画像および画像インタフェース装置、システム、および方法の実施例を示し、前記実施例はその説明と共に画像および画像インタフェース装置、システムおよび方法の原理の説明に役立つ。
【図1】組織を形成し検査するための処理の一実施例のフローチャートである。
【図2】画像管理システムの一実施例を示す図である。
【図3】医学的試料サンプルを診断するためのコンピュータ化システム内で使用可能な方法の一実施例のフローチャートである。
【図4】品質保証/品質管理(QA/QC)システムを提供するための方法の一実施例のフローチャートである。
【図5】医学的サンプルを診断する教育システムを提供するための方法の一実施例のフローチャートである。
【図6】グラフィックユーザインタフェースの一実施例を示す図である。
【図7】グラフィックユーザインタフェースが動作可能なネットワークの一実施例を示す図である。
【図8】試料の画像を形成するための方法の一実施例のフローチャートである。
【図9】画像システムの一実施例を示す図である。
【図10】画像インデクサの一実施例を示す図である。
【図11】画像化ネットワークの一実施例を示す図である。
【図12】画像特徴抽出処理の一実施例を示す図である。
【図13】画像化ネットワークの一実施例を示す図である。
【特許請求の範囲】
【請求項1】
領域のある部分の画像を形成する方法であって、前記領域がその内部に配置した試料を備え、
前記部分が着目領域である確率を決定し、
前記確率に少なくとも部分的に基づいて画像を形成する品質を指定し、
前記品質における画像を形成することを含む方法。
【請求項2】
試料の少なくとも一部が前記部分上に配置されていれば、前記部分が着目領域である請求項1記載の方法。
【請求項3】
品質が少なくとも部分的に、画像を形成する解像度に依存する請求項1記載の方法。
【請求項4】
品質が少なくとも部分的に、画像を捕捉する速度に依存する請求項1記載の方法。
【請求項5】
品質が少なくとも部分的に、画像を捕捉する装置の光学分解能に依存する請求項1記載の方法。
【請求項6】
品質が少なくとも部分的に、画像を捕捉する装置の焦点品質パラメータに依存する請求項1記載の方法。
【請求項7】
焦点パラメータが少なくとも部分的に、画像を捕捉する焦点距離に依存する請求項6記載の方法。
【請求項8】
品質が少なくとも部分的に、画像を捕捉する装置のビット深さ捕捉能力に依存する請求項1記載の方法。
【請求項9】
品質が少なくとも部分的に、画像の圧縮レベルに依存する請求項1記載の方法。
【請求項10】
品質が少なくとも部分的に、画像の圧縮フォーマットに依存する請求項1記載の方法。
【請求項11】
品質が少なくとも部分的に、画像に適用される画像補正技術に依存する請求項1記載の方法。
【請求項12】
品質が少なくとも部分的に、画像を捕捉する焦点面の数に依存する請求項1記載の方法。
【請求項13】
試料を含む領域を評価するシステムであって、
領域のある部分の画像を捕捉する画像化部と、
画像を解析するための命令を実行し、それによって試料の少なくとも一部が前記部分上に配置されているかどうかに関連した信頼度スコアを決定するプロセッサを有するシステム。
【請求項14】
信頼度スコアが少なくとも部分的に、前記部分が試料の一部を含む確率の範囲であることに対応する請求項13記載のシステム。
【請求項15】
信頼度スコアが少なくとも部分的に、前記部分が試料の一部を含む確率に対応する請求項14記載のシステム。
【請求項16】
信頼度スコアが少なくとも部分的に、前記部分の画質指定に対応する請求項14記載のシステム。
【請求項17】
信頼度スコアの画質指定への対応が少なくとも部分的に、閾値化に基づく請求項16記載のシステム。
【請求項18】
信頼度スコアの画質指定への対応が少なくとも部分的に、適応閾値化に基づく請求項16記載のシステム。
【請求項19】
スライドを評価するためのシステムであって、
スライドの画像を捕捉する画像化部と、
画像を複数の部分に分割するための命令を実行し、各部分を解析して各部分と関連する画質を決定するプロセッサを有するシステム。
【請求項20】
画質が、少なくとも三つの値から選択される請求項19記載のシステム。
【請求項21】
各部分に対する画質の決定が、各部分が着目領域である確率に依存する請求項19記載のシステム。
【請求項22】
画質が、一つ以上の画像化パラメータに依存する請求項19記載のシステム。
【請求項23】
領域のある部分の画像を獲得するためのシステムであって、前記領域がその内部に配置した試料を備え、
命令を実行し、それによって前記部分が着目領域である確率を決定し、前記確率の関数として画像を捕捉する品質を決定するプロセッサと、
前記品質において画像を捕捉する画像化部を有するシステム。
【請求項1】
領域のある部分の画像を形成する方法であって、前記領域がその内部に配置した試料を備え、
前記部分が着目領域である確率を決定し、
前記確率に少なくとも部分的に基づいて画像を形成する品質を指定し、
前記品質における画像を形成することを含む方法。
【請求項2】
試料の少なくとも一部が前記部分上に配置されていれば、前記部分が着目領域である請求項1記載の方法。
【請求項3】
品質が少なくとも部分的に、画像を形成する解像度に依存する請求項1記載の方法。
【請求項4】
品質が少なくとも部分的に、画像を捕捉する速度に依存する請求項1記載の方法。
【請求項5】
品質が少なくとも部分的に、画像を捕捉する装置の光学分解能に依存する請求項1記載の方法。
【請求項6】
品質が少なくとも部分的に、画像を捕捉する装置の焦点品質パラメータに依存する請求項1記載の方法。
【請求項7】
焦点パラメータが少なくとも部分的に、画像を捕捉する焦点距離に依存する請求項6記載の方法。
【請求項8】
品質が少なくとも部分的に、画像を捕捉する装置のビット深さ捕捉能力に依存する請求項1記載の方法。
【請求項9】
品質が少なくとも部分的に、画像の圧縮レベルに依存する請求項1記載の方法。
【請求項10】
品質が少なくとも部分的に、画像の圧縮フォーマットに依存する請求項1記載の方法。
【請求項11】
品質が少なくとも部分的に、画像に適用される画像補正技術に依存する請求項1記載の方法。
【請求項12】
品質が少なくとも部分的に、画像を捕捉する焦点面の数に依存する請求項1記載の方法。
【請求項13】
試料を含む領域を評価するシステムであって、
領域のある部分の画像を捕捉する画像化部と、
画像を解析するための命令を実行し、それによって試料の少なくとも一部が前記部分上に配置されているかどうかに関連した信頼度スコアを決定するプロセッサを有するシステム。
【請求項14】
信頼度スコアが少なくとも部分的に、前記部分が試料の一部を含む確率の範囲であることに対応する請求項13記載のシステム。
【請求項15】
信頼度スコアが少なくとも部分的に、前記部分が試料の一部を含む確率に対応する請求項14記載のシステム。
【請求項16】
信頼度スコアが少なくとも部分的に、前記部分の画質指定に対応する請求項14記載のシステム。
【請求項17】
信頼度スコアの画質指定への対応が少なくとも部分的に、閾値化に基づく請求項16記載のシステム。
【請求項18】
信頼度スコアの画質指定への対応が少なくとも部分的に、適応閾値化に基づく請求項16記載のシステム。
【請求項19】
スライドを評価するためのシステムであって、
スライドの画像を捕捉する画像化部と、
画像を複数の部分に分割するための命令を実行し、各部分を解析して各部分と関連する画質を決定するプロセッサを有するシステム。
【請求項20】
画質が、少なくとも三つの値から選択される請求項19記載のシステム。
【請求項21】
各部分に対する画質の決定が、各部分が着目領域である確率に依存する請求項19記載のシステム。
【請求項22】
画質が、一つ以上の画像化パラメータに依存する請求項19記載のシステム。
【請求項23】
領域のある部分の画像を獲得するためのシステムであって、前記領域がその内部に配置した試料を備え、
命令を実行し、それによって前記部分が着目領域である確率を決定し、前記確率の関数として画像を捕捉する品質を決定するプロセッサと、
前記品質において画像を捕捉する画像化部を有するシステム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公表番号】特表2008−535528(P2008−535528A)
【公表日】平成20年9月4日(2008.9.4)
【国際特許分類】
【出願番号】特願2007−552295(P2007−552295)
【出願日】平成18年1月18日(2006.1.18)
【国際出願番号】PCT/US2006/002074
【国際公開番号】WO2006/078928
【国際公開日】平成18年7月27日(2006.7.27)
【出願人】(507241573)トレストル コーポレーション (1)
【Fターム(参考)】
【公表日】平成20年9月4日(2008.9.4)
【国際特許分類】
【出願日】平成18年1月18日(2006.1.18)
【国際出願番号】PCT/US2006/002074
【国際公開番号】WO2006/078928
【国際公開日】平成18年7月27日(2006.7.27)
【出願人】(507241573)トレストル コーポレーション (1)
【Fターム(参考)】
[ Back to top ]