顕微鏡画像取得装置を用いた、スライド上のサンプル中の対象物の位置を再検索するためのシステムおよび方法
対応する保存された座標および画像をそれぞれ有する決定された対象物であって、互いに相対的にマッピングされている対象物を有する既にスキャンされたスライドのための、サンプル中の対象物の位置を再検索する方法が提供される。前記スライドは、顕微鏡ステージ上に配置され、前記対象物の保存された画像は視覚的に表示され、目的対象物が選択される。前記スライドは、前記目的対象物の座標に対応する推定された座標位置に移動され、前記目的の保存された画像と比較するために、前記サンプルの視野画像が取得される。前記視野画像に前記目的が存在した場合、検索された目的の実際の座標と、対応する対象物の保存された座標との間のオフセットが決定される。その後、前記スライドは、前記ステージを介して推定された座標位置から前記オフセットに従って、前記視野画像の中央に移動される。関連するシステムおよび方法もまた提供される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顕微鏡画像取得装置を用いた、スライド上のサンプル中の対象物の位置を再検索するためのシステムおよび方法に関するものである。
【背景技術】
【０００２】
顕微鏡による解析は、特に細胞生物学、細胞学および病理学の分野における研究および日常的な評価のための広く用いられているツールである。組織サンプルおよび細胞標本が、病理学者によっていくつかの異なる条件およびテスト手法の下で、顕微鏡を用いて視覚的に検査される。病理学者によるそのような視覚的な検査に基づいて、組織または細胞標本に関する判定がなされる。例えば、癌の検出および研究において、顕微鏡による解析は、癌の発生原因および進行に関係する遺伝学的な変異および／または異常、例えば、ＤＮＡまたはメッセンジャーＲＮＡの形態での特定の遺伝子の発現（遺伝子増幅、遺伝子欠損、遺伝子突然変異）、またはエンコードされたタンパク質の発現の変化のようなものを検出および定量することを補助する。これらの変化／異常は、特に、細胞学における標準的な手法のように、独立した細胞を提示するように調製された顕微鏡検査用スライドにおいて評価することもできるし、組織学的な全体切片または組織マイクロアレイを評価することもできる。
【０００３】
多くの他の好適な実験手法または解析法が存在するにもかかわらず、顕微鏡検査は日常的に使用されている。これは顕微鏡検査が、有益な技術であり、細胞レベルまたは順細胞レベルで迅速な調査が可能であり、比較的低いコストで手早く備えることが可能であるためである。ただし、例えば、従来の顕微鏡検査の主観性、および／または限界のある再現性を克服するために、改良された解析装置は、顕微鏡と自動画像解析装置とを組み合わせている。そのような改良された装置は、例えば、インタラクティブシステム、自動スキャン装置、およびバーチャルスライドスキャナを含んでいる。
【０００４】
インタラクティブシステムは、通常、病理学者が顕微鏡下にてスライドを解析し解釈する仕事の流れを変化させない。典型的には、そのようなインタラクティブシステムは、画像解析を介してスライドからさらなる定量的な情報を抽出することができ、それゆえ、操作者の結果の再現性および解釈を向上させることができる。解析結果の報告および文書化のための優れたツールもまた実用化されている。適切に設定された場合、インタラクティブシステムは比較的迅速かつ経済的であるが、そのようなインタラクティブシステムの日常的な仕事の流れに与える影響は比較的小さい。
【０００５】
自動的なレアケース検出装置は、スライドの全ての解析がシステムによって、スキャン用ステージにスライドを載置することから結果の報告まで、全く監視を必要としない態様にてなされる。そのような自動化されたシステムは、通常スライドをスキャンして、自動的に解析のための興味対象物または興味領域を同定し、ターゲットを定量的に評価し、結果の報告および文章化を行う。病理学者または全般的な細胞技術者の日常的な仕事の流れは、大きな労働力を要する選別作業から解析結果の解釈に至るまで、急峻に変化する。しかしながら、そのような自動化されたシステムは、通常非常に高価であり、そのような装置の取得のコストを正当化するためには、比較的大量のスライドが毎年処理される必要がある。
【０００６】
バーチャルスライドスキャンシステムは、様々な視覚的解像度において、大きな概観画像を自動的に取得するために開発されている。そのような概観画像は、顕微鏡において観察される個々の視野に比べ非常に大きいものであり得る。
【０００７】
上述の三つの使用形態、すなわち、インタラクティブシステム、自動スキャン装置、およびバーチャルスライドスキャナに関する、装置によらず存在する共通要素は、一度スキャンされ、画像化され、および／または解析されたスライドを、操作者によって再度物理的に再検査する場合が存在することである。そのような場合、操作者は、スライドの以前の検査において発見された、スライド上のサンプル中の興味対象物の位置を再検索する作業に直面する。その作業をさらに煩雑化することに、操作者は、いくつかの場合、以前にスライドをスキャン、画像化、および／または解析するために用いられた、顕微鏡画像化装置またはその他の装置とは異なる顕微鏡画像化装置を用いることがある。いくつかの場合においては、以前にスライドの画像化または解析のために用いられた倍率が判明しないことがあり得、装置部材の動作条件および画像化の限界において、操作者が使用する装置が異なる解像度を有していることもあり得る。
【０００８】
スライド上のサンプル中の興味対象物の位置を再検索する典型的な方法では、一つまたはそれ以上の位置再検索用マークが指定され、スライド上に配置される。そして、それらのマークは、スライドがスキャンされるか、または画像化される前に、参照座標として蓄積保存される。スライドをスキャンする処理の間、一つかそれ以上のスライドまたはスライド上のサンプル内の対象物の画像が、取得され、位置再検索用マークに相対的な座標地とともに蓄積保存され得る。スライド上の対象物を再調査、または位置再検索を試みる前に、一つかそれ以上の位置再検索用マークが物理的なスライド上に存在する必要がある。適切な機能性が提供された場合、操作者は、目的の興味対象を、サンプル中の興味対象群から選択することができる。そして、前記選択時には、選択された対象物が視野内に納まるように予期されたまたは推定された位置に、ステージが移動する。しかしながら、操作者は、予期された位置に存在している対象物が、操作者によって選択された対象物と同じものであるかを主観的に判断しなければならない場合がある。操作者はまた、表示された対象物が視野の中心から外れていた場合、手動でステージの位置を調整しなければいけない場合がある。加えて、選択された対象物が表示されない場合、または視野内の予期された位置において確認することができない場合、一般に、操作者は、手動で対象物を見つける必要がある。しかしながら、一度、操作者によって手動での検索がなされた場合、座標調整機能は通常失われ、その後に再調査のために選択される対象物は、同様に時間を必要とする手動の位置再検索処理が操作者によってなされる必要がある。
【０００９】
このように、典型的な位置再検索方法は、特に位置再検索処理のための正確なマークを有する特別のスライドを必要とする場合がある。その上、スライドの全域にわたって、以前にスキャンされた画像に関する十分な再現性を維持するために、対象物の画像取得および／または位置再検索のための高価な高精度の（典型的にはミクロン単位精度の）自動化ステージが、必要になる場合がある。スライドをスキャンする前に、位置再検索用マークまたはその他の要素が、スライド上のそれらのマークの物理的な発見により確立される必要がある。そして、そのような位置再検索用マークは、興味対象物の位置を再検索するためにスライドを再調査する前に、再度見つけられる必要がある。位置再検索手法が十分に正確でない場合、選択された対象物の位置は、その対象物を視野内の適切な位置に移動させるように手動により調整される必要がある。そしてまた、一つの対象物の位置を再検索することは、スライド上の続いて選択される興味対象物の位置の再検索の正確性を向上することには、ほとんど役に立たない。なおさらに、位置再再検索の精度は、スキャンステージの精度とともに、調査ステージの精度にも依存し、スキャンおよび位置再検索処理の両方における位置再検索用マークの決定の精度にも影響され得る。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
したがって、顕微鏡画像化装置下において、既にスキャンされている顕微鏡スライド上のサンプル中の興味対象物の位置を、迅速かつ効果的に再検索する方法および装置であって、もし存在したとしても求められる手作業の介入は最小限であり、顕微鏡ステージが自動化され、それゆえ、顕微鏡が、位置再検索処理の全てではないにせよ殆どすべてを自動的に行い得るものが求められている。そのような方法および装置は、スライドがスキャンされたのがその装置であるか他の装置であるかによらず、対象物の位置を好適に再検索することができることが好ましい。そのような方法および装置は、比較的経済的であり、比較的小さいまたは簡素な設備しか要さず、容易に様々な倍率に適用されることが好ましい。
【課題を解決するための手段】
【００１１】
上記およびその他の課題を解決するために、本発明は、一実施形態において、顕微鏡対物レンズを介して観察される、スライド上のサンプル中の興味対象物の位置を再検索する方法を提供する。上記方法は、前記サンプル中の興味対象物を決定するために前記スライドをスキャンすること、各興味対象物について対応する座標を関連付けること、および各興味対象物について画像および対応する座標を蓄積保存することを包含する。前記興味対象物は、前記座標を用いて、それぞれ互いに相対的にマッピングされる。そして、前記スライドが、顕微鏡ステージ上において位置決めされ、画像表示部上に、前記蓄積保存された前記興味対象物の画像が表示される。前記表示された前記蓄積保存された前記興味対象物の画像から、第１の目的興味対象物が選択される。前記スライドは、前記顕微鏡ステージを介して、前記第１の目的興味対象物の座標に対応する、前記スライド上の第１の推定座標位置へ動かされる。前記第１の推定座標位置における、前記サンプルの視野画像が、前記顕微鏡対物レンズを介して取得される。そして、前記視野画像と、前記第１の目的興味対象物の前記蓄積保存された画像とが比較され、前記第１の目的興味対象物が前記視野画像中に所在していた場合、前記所在していた第１の目的興味対象物の実際の座標と、前記第１の目的興味対象物に対応する前記蓄積保存された前記興味対象物の座標との間の第１のオフセットが決定される。その後、前記スライドは、前記第１のオフセットに従って、前記顕微鏡ステージを介して、前記第１の推定座標位置から、前記視野画像において前記第１の目的興味対象物が中心に位置するように動かされる。
【００１２】
他の局面において、本発明は、顕微鏡対物レンズを介して観察される、スライド上のサンプル中の興味対象物の位置を再検索する方法であって、前記スライドは前記サンプル中の興味対象物を決定するために既にスキャンされており、各興味対象物について対応する座標が既に関連付けられており、各興味対象物について画像および対応する座標が既に蓄積保存されており、前記興味対象物は、前記座標を用いて、それぞれ互いに相対的に既にマッピングされている方法を含む。上記方法は、画像表示部上に、前記蓄積保存された前記興味対象物の画像を表示すること、および前記表示された前記蓄積保存された前記興味対象物の画像から、第１の目的興味対象物を選択することを含んでいる。前記スライドはその後、前記顕微鏡ステージを介して、前記第１の目的興味対象物の座標に対応する、前記スライド上の第１の推定座標位置へと動かされる。前記第１の推定座標位置における、前記サンプルの視野画像が、前記顕微鏡対物レンズを介して取得される。前記視野画像と、前記第１の目的興味対象物の前記蓄積保存された画像とが比較され、前記第１の目的興味対象物が前記視野画像中に所在していた場合、前記所在していた第１の目的興味対象物の実際の座標と、前記第１の目的興味対象物に対応する前記蓄積保存された前記興味対象物の座標との間の第１のオフセットが決定される。そして、前記スライドが、前記視野画像において前記第１の目的興味対象物が中心に位置するように、前記第１のオフセットに従って、前記顕微鏡ステージを介して、前記第１の推定座標位置から動かされる。
【００１３】
他の局面において、本発明は、顕微鏡対物レンズを介して観察される、スライド上のサンプル中の興味対象物の位置を再検索する方法であって、前記スライドは前記サンプル中の興味対象物を決定するために既にスキャンされており、各興味対象物について対応する座標が既に関連付けられており、各興味対象物について画像および対応する座標が既に蓄積保存されており、前記興味対象物は、前記座標を用いて、それぞれ互いに相対的に既にマッピングされている方法を含む。上記方法は、画像表示部上に、前記蓄積保存された前記興味対象物の画像を表示すること、および前記表示された前記蓄積保存された前記興味対象物の画像から、第１の目的興味対象物を選択することを含んでいる。前記スライドはその後、前記顕微鏡ステージを介して、前記第１の目的興味対象物の座標に対応する、前記スライド上の第１の推定座標位置へと動かされる。前記顕微鏡対物レンズを介して観察された、前記第１の推定座標位置における、前記サンプルの視野画像と、前記第１の目的興味対象物の前記蓄積保存された画像とが手作業により比較され、前記第１の目的興味対象物が前記視野画像中に所在していた場合、前記所在していた第１の目的興味対象物の実際の座標と、前記第１の目的興味対象物に対応する前記蓄積保存された前記興味対象物の座標との間の第１のオフセットが決定される。そして、前記スライドが、前記視野画像において前記第１の目的興味対象物が中心に位置するように、前記第１のオフセットに従って、前記顕微鏡ステージを介して、前記第１の推定座標位置から動かされる。
【００１４】
開示された方法を実装し達成するための好適な装置もまた提供される。前記装置では、当業者によって理解される様々な装置構成および配置が用いられ得る。したがって、本発明に係る実施形態は、上記および本明細書において言及される明確な優位性を提供する。
【発明を実施するための最良の形態】
【００１５】
本発明を図面への参照を伴って一般用語によって説明する。なお、前記図面は、必ずしも一定の縮尺率で描かれていはいない。
【００１６】
以下、添付の図面を参照して、本発明をさらに詳しく説明するが、本発明の全ての実施形態が示されるわけではない。実際、本発明は様々な形態で実体化され得、本明細書において後述する実施形態に限定して解釈されるべきではない。むしろ、上記実施形態は、法的な要件を充足させるために提供される。同じ数字は明細書を当して同じ要素を参照する。
【００１７】
本発明の実施形態は、既に検査されたスライド上のサンプル中における対象物の位置の再検索するための、顕微鏡画像化装置（顕微鏡イメージング装置）を用いた方法を対象とする。そのような方法を実施するために、本発明の一実施形態は、例えば、図１に示すようなシステム５０を備える。システム５０は、自動化機能を内蔵した顕微鏡１００（例えば、Ｚｅｉｓｓ ＡｘｉｏＩｍａｇｅｒ）、コンピュータ装置３００によって制御されるか、操作者によって手動操作され得る、顕微鏡１００のための電動ステージ１５０（代わりに、電動ステージ１５０は、例えば、調整されたｘ−ｙ、またはその他の適切な座標系に従って動くように構成されたおよび／または制御可能な手動で位置決め可能なステージであってもよい）、ならびにプログレッシブ領域スキャンカメラ（例えば、ＣＣＤまたはＣＭＯＳ型カメラ）のようなカメラ装置２００を備えている。電動顕微鏡ステージ１５０は、画像表示部３２５を有するコンピュータ装置３００と通信し得、カメラ装置２００もまた、例えば、デジタイザーまたはフレーム取り込み装置を介してコンピュータ装置３００と通信し得る。システム５０は、ステージ１５０上に、関連付けられたサンプルを有するスライド３５０を受容するように構成されている。前記サンプル／スライド３５０は画像化装置によって既にスキャンされており、前記サンプル内に所在する、前記スキャンの結果としての興味対象物が、独立した画像として蓄積保存されている。前記独立した画像は、例えば、移動可能媒体、またはコンピュータ装置３００のハードドライブもしくはコンピュータ装置３００に関連付けられたその他の記憶装置に蓄積保存され得る。
【００１８】
そのような興味対象物の画像は、システム５０を介して取得してもよいし、興味対象物を同定し画像化することが可能な他の好適な画像化システムを介して取得してもよい。しかしながら、システム５０は、特に、スライド３５０上の興味対象物の位置を再検索するように構成されており、スライド３５０が他の画像化システムからシステム５０に運ばれても、スライド３５０が画像化後にシステム５０から除去され、その後に、さらなる検査にためにステージ１５０に再配置されてもよい。しかしながら、当業者は、本明細書に記載された方法が、スライド３５０がステージ１５０に対して移動した場合、または操作者が、画像化した条件に対するスライド３５０の方向および配置を確かめることを望んだ場合にも同様に適用可能であることに気付き得る。
【００１９】
コンピュータ装置３００は、一つまたはそれ以上のデータベースを提供する。上記データベースは、検査またはスキャンされたサンプル／スライドからの興味対象物の画像を含んでいる。加えて、蓄積保存された興味対象物の、直角座標またはその他の任意の適切な座標系の、前記スライド上の参照地点に対しての座標（本明細書において、「スキャン座標系」における画像の「スキャン座標」として言及されることもある）が、決定され、それぞれの画像に関連付けられて蓄積保存される。前記参照地点は、前記スライド上にいかなる好適な形態で存在し得る。例えば、前記スライドの隅、または前記スライド上の明確に形成された特別な基準点であり得る。いくつかの場合において、前記参照地点は、そのものが前記スキャンされたスライドでの興味対象物のいずれかとして、またはそれとともに保存されている。また代わりに、前記座標系は顕微鏡ステージ１５０の調整に沿って確立されるか、関連付けられている。そこでは、前記蓄積保存された画像は、前記ステージ座標系に対して相対的な座標に関連付けられている。
【００２０】
さらなる検査のために、スライド３５０がシステム５０のステージ１５０上に配置された場合、本発明の実施形態では、生物学的な標本等の標本の既に画像化された任意の興味対象物の位置を、顕微鏡１００の操作者が、自身に対して画像表示部３２５上に示されている、前記スライド上の興味対象物の既にスキャンされたデジタル画像から、前記任意の興味対象物の画像を選択することにより、スライド３５０上で再検索することができる。しかしながら、スライド３５０がステージ１５０上に配置される前に、顕微鏡ステージ１５０は、現在の座標系（前記スライドのスキャン時において確立されたステージ座標系と、もし同じシステム５０を使用していた場合、同一であり得、システム５０がスキャナーとは異なる場合、スキャン時におけるステージ座標系とは異なるものであり得る）を確立するために最初に調整される。そのような現在の座標系は、本明細書において、「ステージ座標系」に対して「ステージ座標」と言及される場合がある。
【００２１】
スライド３５０がステージ１５０上に最初に配置され、興味対象物３５０（「第１の興味対象物」）が前記操作者により画像表示部３２５から選択されたとき、システム５０は、ステージ１５０の前記ステージ座標系のためのパラメータを、自動的に、決定し調整する。そのような調整を実施するために、ステージ１５０は、コンピュータ装置３００と相互作用し得る。典型的には、前記操作者の操作は必要ないが、ひどい誤配置または処理中に生じ得るその他の問題が、必要であれば手動での修正のために、コンピュータ装置３００を介して、前記操作者に報告される。ステージ１５０のためのステージ座標系が調整された後、カメラ装置２００は、顕微鏡１００によって観察された前記サンプルの視野（ＦＯＶ）３４０画像をコンピュータ装置３００へと継続的に提供する。コンピュータ装置３００は、いくつかの場合、画像表示部３２５上に視野画像３４０を継続的に表示する。スライド３５０に関連付けられた興味対象物３３０の既にスキャンされた画像は、画像表示部３２５上に視野画像３４０に並べて表示され得、または、例えば、図２に示すように、前記操作者に対して視覚的に提供され得る。コンピュータ装置３００は、視野画像３４０とともに、スライド３５０に対する前記視野の現在位置を、調整されたステージ座標系から推定または決定する。すなわち、スライド３５０がステージ１５０にステージ１５０上の所定の位置に組み込まれ、ステージ１５０の動きが前記ステージ上の前記所定の位置からの座標の変化に相関する場合、前記調整されたステージ上に配置された任意のスライドにおいて、前記スライドに対する前記視野のおおよその現在位置は、前記ステージ座標系においてステージ１５０の位置から決定することができる。
【００２２】
スライド３５０に対する前記視野のおおよその現在位置が決定され得るとしても、前記ステージ座標系は、必ずしも既にスキャンされたスライドに関連付けられた前記スキャン座標系に対応する必要はない。さらに、前述した、スライド３５０に関連付けられた前記興味対象物の情報は、前記スキャン座標系に関連付けられる。このように、望ましい第１の興味対象物の画像が、画像表示部３２５またはその他の視覚的表示装置（図示せず）から前記操作者によって選択されたとき、第１の興味対象物の前記蓄積保存された座標は、前記スキャン座標系に関連付けられる。それゆえ、システム５０は、画像表示部３２５上に表示された前記視野内の第１の興味対象物の位置を再検索するために、前記スキャン座標系と、前記ステージ座標系とを調和させることができる。したがって、前記ステージ座標系からのスライド３５０に対する前記視野のおおよその現在位置は判明しているので、システム５０は、選択された第１の興味対象物の、前記ステージ座標系に変換された座標に対応する、前記視野の推定された座標位置に、スライド３５０を動かすように構成される。前記推定された座標位置は、それゆえ、選択された第１の興味対象物を自動的な検索の開始地点である、スライド３５０上の汎用位置を含む。
【００２３】
本発明の一つの好ましい局面によれば、前記推定された座標位置での前記視野画像は、前記蓄積保存された第１の興味対象物の画像と、本明細書において後述する相関手法を用いて、前記推定座標位置の前記視野画像内に選択された興味対象物が存在するか否かを決定するために比較される。そのような画像の相関処理は、例えば、空間領域（Space domain）、または周波数領域（Frequency domain）において達成され得る。前記相関処理を実施するために、周波数領域法は高速フーリエ変換（「ＦＦＴ」）処理を用い、空間領域は畳み込み（Convolution）処理を用いる。グレースケール画像に対しては、そのような相関処理は、それぞれの画像のピクセルの濃度値に基づいて行われ得る。ＲＧＢ画像に対しては、そのような相関処理は、例えば、それぞれの画像の、各ピクセルの明度、赤、緑。および青の強度の平均値、または単一カラーチャンネルに基づいて実施され得る。いくつかの場合、色素源分離技術（Chromogen separation technique、この技術は、さらに詳細には、例えば米国特許出願公開番号US2003/0091221A1(Method for quantitative video-microscopy and associated system and computer software program product)、および米国特許出願公開番号US2003/0138140A1(Method for quantitative video-microscopy and associated system and computer software program product)において記載されている。上記出願は、ともにＭａｒｃｅｌｐｏｌｉら。本発明の譲受人はこれらの出願を譲受されている。その内容のすべてが、本明細書に参照として援用される）から得られる特異的な三色（ＲＧＢ）の組み合わせが、各画像間の相関のための基準値として用いられ得る。すなわち、そのような相関のために、選択された第１の興味対象の特異的な特徴が決定され、推定された座標位置における前記視野画像が、前記特異的な特徴が、前記視野画像内に存在するか否かを決定するために、解析される。
【００２４】
そのような相関処理は、下記の様に定義される前記二つの画像の相関係数として説明され得る。
【００２５】
【数１】
【００２６】
σ１は、画像１（すなわち、選択された第１お興味対象物の画像）の選択された基準値の標準偏差を指し、σ２は、画像２（すなわち、前記視野画像）の対応する基準値の標準偏差を指す。σ１，２は、画像１および２の基準値の積の標準偏差を指す。
【００２７】
周波数領域法を用いれば、両画像はＦＦＴを用いて変換された二次元のデータセットまたは行列を形成するように周波数領域に変換される。すなわち、前記変換された二次元のデータセットは、前記元の画像（行列形式において）と同一の次元を有する複素数の行列を含んでなる。前記それぞれの画像の前記変換された二次元のデータセットは、それゆえ、結果として二次元のデータオブジェクトを形成するような因子同士の積である。中心値（すなわち、結果としての二次元のデータオブジェクトの中心）から前記結果としての二次元のデータオブジェクトの最も高い絶対値へのベクタは、それゆえ、前記両画像の距離および方向についての位置ずれ(displacement)を表す。しかしながら、周波数領域法を用いた場合、それぞれの画像は、例えば、同一のｘおよびｙ次元を有することが好ましく、各画像次元は、２の階乗（すなわち、６４、１２８、５１２、・・・）であるべきである。この方法を用いた場合、前記位置ずれまたはオフセットを決定するために必要な時間は、前記両画像のサイズ（次元、ピクセル、その他）のみに依存し、それらの実際の内容には依存しない。この方法において、前記相関係数の実際の値は判明または決定されず、最も高い相関の点のみが解析の結果から得られる。
【００２８】
空間領域法を用いれば、画像１はまずｘおよびｙ方向にシフトされ、画像２に対する相関係数が、位置ずれベクタ（ｘ，ｙ）の関数として決定される。そのような手順において見出される、最も高い相関係数のｘおよびｙの値は、前記相関係数が所定の閾値を越える場合、画像２に対する画像１の位置ずれとして用いられる。もし、前記相関係数が前記閾値を下回る場合、前記ぞれぞれの画像は、一致し得ず、そのような結果は、前記選択された第１の興味対象物が、前記視野画像内に所在していないことを示す。
【００２９】
しかしながら、記載したような空間領域法を用いた場合、その内部に存在し得るすべてのｘおよびｙの組み合わせについて大きな画像を解析をすることは、時間を食う操作であり得る。いくつかの場合において、上記操作は、以下の反復的な手順により加速し得る：
１．開始点Ｄ（ｘ，ｙ）を用い、すべてのＮｘ番目およびＮｙ番目のピクセルのみを用いた限定された領域Ｒ（ｘ，ｙ）を用いて、前記両画像を相関する。まず、前記開始点Ｄ（ｘ，ｙ）は、画像１の中心に設定され、領域Ｒ（ｘ，ｙ）は画像全体に設定される。
【００３０】
２．最も高い相関の点を、新しい開始点として用いる。探索領域Ｒ（ｘ，ｙ）を（±Ｎｘ，±Ｎｙ）に設定する。Ｎｘ／２およびＮｙ／２を新しいＮｘおよびＮｙの値として用いる。
【００３１】
３．ＮｘおよびＮｙが１になるまで繰り返す。
【００３２】
もし得られた相関係数が所定の閾値（例えば、０．９）を超えた場合、選択された第１の興味対象物は前記視野画像内に所在すると決定され、結果のオフセットが決定される。しかしながら、前記相関係数が前記閾値を下回った場合、前記ぞれぞれの画像は、一致し得ず、そのような結果は、前記選択された第１の興味対象物が、前記視野画像内に所在していないことを示す。
【００３３】
上述した態様において、周波数領域法または空間領域法の何れかを用いれば、スライド３５０上の特別の基準点または他のはっきりと判る位置再検索用マークは必要ではない。さらに、もし、興味対象物の前記蓄積保存された画像が、システム５０によって使用される現在の顕微鏡倍率とは異なる倍率を用いて取得（スキャン）されていた場合、相関処理の前に、二つの倍率のうち大きい方が、低倍率の画像の倍率に対応するように縮小される。
【００３４】
もし、上述した相関処理における周波数領域法または空間領域法のいずれかによって、第１の興味対象物３３０が視野画像３４０内に見出されなかった場合、ステージ１５０（電動でありコンピュータ装置３００によって制御されるように構成されている）は、例えば図３に示すように、元々の推定された座標位置の周りを、円を描くような態様で、第１の興味対象物３３０を探索するために自動的に動き得る。すなわち、ステージ１５０は、コンピュータ装置３００に反応するように構成されており、第１の興味対象物３３０が、前記推定された座標位置における視野画像３４０内に見出されなかった場合、ステージ１５０はスライド３５０を移動させ、カメラ装置２００が継続的に、推定された座標位置の周囲を円を描くようなパターンにて視野画像を取得するようにする。継続的な視野画像は、その視野画像が、第１の興味対象物を含んでいるか否かを判断するための前記相関処理に供される。探索のための前記円の半径は、特定の視野画像内に第１の興味対象物が見出されるまで、継続的に増大する（すなわち、らせん状に）。もし、第１の興味対象物が、ステージ１５０の前記視野画像内に見出されず、ステージ１５０が、手動操作されるように構成されている場合、前記操作者は、手動で推定された座標位置における視野の外側にステージ１５０を動かして、続く視野画像が第１の興味対象物の、前述した相関処理を用いた探索のために用い得るようにする。
【００３５】
第１の興味対象物の位置が、スライド３５０上に見出された場合、前記蓄積保存された座標（スキャン座標系において）および第１の興味対象物が見出されたスライド３５０上の実際の座標の間のオフセットが記録され蓄積保存される。第１の興味対象物は続いて、操作者によるさらなる検査を可能にするために、前記視野の中央に移動される。選択された第１の興味対象物が、スライド３５０に見出された後は、前記操作者はスライド３５０に関連付けられ、前記画像表示部上に、またはその他視覚的に操作者に提供された、前記視野画像（ちょうど、第１の目的興味対象物が視野の中央に位置している）に並べて表示されている既に蓄積保存された興味対象物の画像から、第２の興味対象物を選択することができる。前記ステージ座標系および前期スキャン座標系の両方に対する第１の興味対象物の実際の座標が既に判明しているので、第２の興味対象物の位置再検索は、第２の興味対象物の前期スキャン座標系における第１の興味対象物に対する相対的な位置、および対応するステージ１５０／スライド３５０の前期ステージ座標系における位置ずれの適切な計算を含む。第２の興味対象物の計算された位置において、第２の興味対象物の実際の位置を検証するために、前述した相関方法が再度道いられる。第２の興味対象物（または、その他の続いて選択された興味対象物）の実際の位置が判明すれば、コンピュータ装置３００により、前記オフセットの精度が向上される。加えて、第１および第２の興味対象物の実際の位置が判明すれば、コンピュータ装置３００は、前記ステージ座標系において、前記スキャン座標系における蓄積保存された座標に対して、スライド３５０の回転度合いを決定し得る。このように、スライド３５０上のサンプル中の他の興味対象物の位置の再検索の精度をさらに改善することができる。
【００３６】
ステージ１５０が手動操作されるようにシステム５０が構成されている場合、本発明の実施形態は、選択された興味対象物を検索する際に、前記操作者へ案内を提供し得る。例えば、ステージ１５０の移動についての方向指示３４５が、画像表示部３２５上に視覚的に前記操作者に提供される（すなわち、前記興味対象物に対するステージ１５０の手動操作による位置決めの視覚的な補助）。しかしながら、当業者は、そのような指示が、音声的、また、別個の画像表示部に表示されるテキストメッセージのような様々な態様で提供され得ることを理解する。一例において、図４に示すように、スライド３５０の全体画像が画像表示部３２５上に表示され、以前にスキャンされた興味対象物が、互いに相対的に示されている。それとともに、スライド３５０に対する現在の視野３４０の、前記推定された座標位置もまた、画像表示部３２５上に示される。すなわち、この様式では、システム５０は、スキャンされた興味対象物を、観察中のスライド上のそれら興味対象物の位置の推定と並べて提供する。前記操作者による第１の興味対象物３３０の選択の後、第１の興味対象物３３０および前記視野の推定された座標位置の両方が、ハイライトまたは他の方法により明確に画像表示部３２５上に標識される。
【００３７】
前記視野および第１の興味対象物の前記推定された座標位置の差異が、画像表示部３２５上に提供され、前記操作者は、画像表示部３２５上にスライド全体の画像中に視覚的に指示された第１の興味対象物の方向へ、ステージ１５０を手動操作で動かす。任意の必要な案内が、コンピュータ装置３００を介してシステム５０により提供される。前記視野の座標位置の変化は、継続的に画像表示部３２５上において更新される。前記相関処理は、ステージ１５０が前記操作者によって移動されるのとともに、継続的に実行されるか、または、前記相関処理は、ステージ１５０の移動が停止したときに実行される。ステージ１５０の移動のための前記操作者への案内は、それゆえ、第１の興味対象物が、画像表示部３２５上に表示された視野の中央に位置しているとコンピュータ装置３００が決定するまで継続される。第１の興味対象物の位置が実際にスライド３５０上に見出されたとき、以前にスキャンされた第１の興味対象物の前記スキャン座標系における蓄積保存された座標と、スライド３５０上の第１の興味対象物の前記ステージ座標系における実際の座標との間のオフセットが記録される。また、望まれた第１の興味対象物の位置を指示するための、例えば、十字型のカーソルまたはその他の好適な指示のような案内指示が、実際のスライド３５０上の第１の興味対象物への指示を提供するために、スライド３５０または前記視野のリアルタイム画像に、重ねられるか、他の方法により関連付けられる。続く興味対象物の選択は、前述したように、前記オフセットの精度を向上させ、前記ステージ座標系の、前記スキャン座標系に対する回転を修正し得る。これらにより、興味対象物の位置の再検索処理の精度を向上させることができる。
【００３８】
本発明の実施形態は、それゆえ、操作者が、以前にスキャンされ画像化されたスライドを再度検査する必要のある顕微鏡画像化システムにおける、仕事の流れ、スピードおよび精度を改善し促進する。そのような実施形態は、顕微鏡画像化システムおよび関連する用途において、設備投資の低減および／またはその他の経済的利益をもたらす。より具体的には、本明細書において述べたように、本発明の実施形態は、その位置再検索の局面において特別なスライドを必要とせず、スキャン時の使用または位置再検索時の使用のいずれであっても、顕微鏡装置の電動ステージの必要とされる再現性および精度は低から中程度である。さらに、個々のスライドそれぞれについての、検査のための設定処理および調整処理は必要でない。代わりに、ただ顕微鏡ステージのみが調整を必要とする。この調整は、一日につき一回または一つの検査処理バッチにつき一回のような様々な間隔で実施し得る。さらに、一度調整がなされれば、前記電動ステージは、検査のためにスライドを受容する前に、特別な設定処理を行う必要はない。
【００３９】
本明細書において開示された位置再検索処理を用いれば、高解像度の空間においてピクセル単位に基づいて相関処理が実施されるため、興味対象物の位置の低水準な、または不正確な再検索の危険性は大幅に低減される。加えて、前記位置再検索処理は、自動的に望ましい興味対象物の位置を再検索し、該処理において倍率の違いを考慮するようにさえ構成されている。検索されたいかなる興味対象物も、操作者の解析を助けるために、自動的に顕微鏡視野の中央に位置するように調整される。前記システムはまた、操作者によってさらに多くのスライド上の興味対象物が検査されるように、位置再検索の精度および効率を向上させるために、位置再検索用パラメータを継続的に更新する。加えて、位置再検索の精度は、前記スライドを観察する装置のステージの最小ステップサイズを減少させることにより向上させることができ、もし、ステージのステップサイズの解像度が十分に高ければ、例えば、正確なピクセル単位の興味対象物の位置再検索を可能とする。
【００４０】
本明細書において説明された本発明の、様々な改変およびその他の実施形態は、上述した説明および関連する図面において存在する教示の利点により、本発明に関連する分野における当業者が発想し得る。例えば、本明細書において開示されたスライド上の対象物の位置を再検索する方法は、いくつかの場合において、顕微鏡１００が、カメラ装置２００とともに備えられていない場合であってもまた達成され得る。そのような場合には、顕微鏡１００は、上述したような、電動の、制御可能な、手動で位置決め可能でありまたコンピュータ装置３００によっても制御されるステージ１５０を備えている。ステージ１５０は、さらに、ステージ１５０の現在位置がコンピュータ装置３００に報告され得るように、コンピュータ装置３００と通信するように構成されている。既にスキャンされたスライド３５０について、コンピュータ装置３００は、任意の既に同定された興味対象物の、スライド３５０上の参照地点に対する直角座標またはその他の適切な座標のような座標を含んでいる。前記参照地点は、スライド３５０のいかなる適切な地点でもよく、例えば、前記スライドの隅の一つ、またはスライド３５０の正確かつ明確に形成された基準点であり得る。
【００４１】
そのような代替的な方法によれば、相互相関を用いることはできない。なぜなら、スライド３５０のリアルタイムの画像がカメラ装置２００の欠如のために得られないからである。そこでは、まず、スライド３５０は、顕微鏡ステージ１５０上に配置され、コンピュータ装置３００に関連付けられた画像表示部３２５上で第１の目興味対象物が選択される。コンピュータ装置３００は、上述したように、ステージ１５０を、第１の目的興味対象物の推定された座標位置に移動するように導く。一度、推定された座標位置に移動した後、操作者は、顕微鏡１００の視野と、画像表示部３２５上の第１の興味対象物の画像とを比較することにより、第１の目的興味対象物の位置を手動で再検索する。第１の目的興味対象物が前記操作者によって同定された場合、第１の目的興味対象物は、顕微鏡１００の視野の中央に、前記操作者によって、移動される。いくつかの場合において、前記操作者は、第１の目的興味対象物を顕微鏡１００の視野の中央に移動させたときに、コンピュータ装置３００に、コンピュータ装置３００によって実施される一連の工程の開始を促進するために指示を送ってもよい。ステージ１５０に対する第１の目的興味対象物の実際の座標はまた、コンピュータ装置３００によって蓄積保存される。そして、蓄積保存された第１の目的興味対象物の実際の座標と、以前のスキャン（すなわち、スキャン座標系における）からの蓄積保存された第１の目的興味対象物の座標との間のオフセットがまた、コンピュータ装置３００によって算定される。
【００４２】
続いて、前記操作者は、次の、または第２の目的興味対象物を、スライド３５０に関連付けられ、画像表示部３２５上に前記視野画像（ちょうど、第１の目的興味対象物が視野の中央に位置している）に並べて表示されている既に蓄積保存された興味対象物の画像から選択する。前記ステージ座標系および前期スキャン座標系の両方に対する第１の興味対象物の実際の座標が既に判明しているので、第２の興味対象物の位置再検索は、第２の興味対象物の前期スキャン座標系における第１の興味対象物に対する相対的な位置、および対応するステージ１５０／スライド３５０の前期ステージ座標系における位置ずれの適切な計算を含む。第２の興味対象物の計算された位置において、前記操作者は、、第２の目的興味対象物を顕微鏡１００の視野と、画像表示部３２５上の第２の目的興味対象物の画像とを比較することにより、第２の目的興味対象物の位置を再度手動で検索する必要がある。そしてまた、顕微鏡１００の前記視野において見出され中央に移動されたの値、第２の興味対象物の実際の座標（前記ステージ座標系における）が、コンピュータ装置３００により蓄積保存される。第２の興味対象物（または、その他の続いて選択された興味対象物）の実際の位置が判明すれば、コンピュータ装置３００により、前記オフセットの精度が向上される。加えて、第１および第２の興味対象物の実際の位置が判明すれば、コンピュータ装置３００は、前記ステージ座標系において、前記スキャン座標系における蓄積保存された座標に対して、スライド３５０の回転度合いを決定し得る。選択された興味対象物の新しい座標が決定され、蓄積保存されたとき、必要であれば、前記ステージ座標系の精度を、例えば、興味対象物の座標の外れ値を選択的に除外すること、および／または、平均化、またはその他の誤り最小化手法により、さらに改善することができる。
【００４３】
加えて、さらなる機能性を本明細書において開示された装置、システムおよび方法に関連付けることもできる。例えば、前記操作者は、スライド３５０の顕微鏡１００を介した手動による探索の際に、スライド３５０上に、現在選択しているものではない興味対象物を見つけることがあるが、コンピュータ装置３００は、スライド３５０の以前のスキャンから、例えば、ステージ１５０の位置を前記スキャン座標系に関連付けて（もし既に計算されていれば、すべての同定されたオフセットを考慮して）、前記データベースおよび／または画像表示部３２５上に表示されたスライド３５０と関連付けられた、以前に蓄積保存されている興味対象物の画像から前記興味対象物を同定することにより、前記興味対象物を同定するように構成されていてもよい。したがって、そのような方法は、カメラ装置２００を備えていない安価な機器を用いて、スライド３５０上の対象物の位置を再検索する際に有利である。
【００４４】
以上の様に、本発明は開示された特定の実施形態に限定されるべきではなく、請求項に示した範囲での種々の変更および異なる実施形態も含むことを意図している。本明細書において特定の用語が採用されるが、それらは一般的かつ説明的な意味において用いられ、限定のために用いられるものではない。
【図面の簡単な説明】
【００４５】
【図１】本発明の一実施形態における、顕微鏡下で既にスキャンされたスライド上の興味対象物の位置を再検索するための装置を概略的に示す図である。
【図２】本発明の一実施形態における、画像表示部上に視野画像と並べて表示されている、既にスキャンされた興味対象物の画面表示を概略的に示す図である。
【図３】本発明の一実施形態における、視野画像内に興味対象物が所在しなかった場合に、興味対象物をさらに探索するために、元々の推定された座標位置の周りを螺旋状に自動的に移動するステージを概略的に示す図である。
【図４】本発明の一実施形態における、選択された興味対象物、ならびに選択された興味対象物およびスライド上の他の興味対象物に対する顕微鏡の現在の視野の位置を示している、互いに対して配置された既にスキャンされた興味対象物の画面表示を概略的に示す図である。
【技術分野】
【０００１】
本発明は、顕微鏡画像取得装置を用いた、スライド上のサンプル中の対象物の位置を再検索するためのシステムおよび方法に関するものである。
【背景技術】
【０００２】
顕微鏡による解析は、特に細胞生物学、細胞学および病理学の分野における研究および日常的な評価のための広く用いられているツールである。組織サンプルおよび細胞標本が、病理学者によっていくつかの異なる条件およびテスト手法の下で、顕微鏡を用いて視覚的に検査される。病理学者によるそのような視覚的な検査に基づいて、組織または細胞標本に関する判定がなされる。例えば、癌の検出および研究において、顕微鏡による解析は、癌の発生原因および進行に関係する遺伝学的な変異および／または異常、例えば、ＤＮＡまたはメッセンジャーＲＮＡの形態での特定の遺伝子の発現（遺伝子増幅、遺伝子欠損、遺伝子突然変異）、またはエンコードされたタンパク質の発現の変化のようなものを検出および定量することを補助する。これらの変化／異常は、特に、細胞学における標準的な手法のように、独立した細胞を提示するように調製された顕微鏡検査用スライドにおいて評価することもできるし、組織学的な全体切片または組織マイクロアレイを評価することもできる。
【０００３】
多くの他の好適な実験手法または解析法が存在するにもかかわらず、顕微鏡検査は日常的に使用されている。これは顕微鏡検査が、有益な技術であり、細胞レベルまたは順細胞レベルで迅速な調査が可能であり、比較的低いコストで手早く備えることが可能であるためである。ただし、例えば、従来の顕微鏡検査の主観性、および／または限界のある再現性を克服するために、改良された解析装置は、顕微鏡と自動画像解析装置とを組み合わせている。そのような改良された装置は、例えば、インタラクティブシステム、自動スキャン装置、およびバーチャルスライドスキャナを含んでいる。
【０００４】
インタラクティブシステムは、通常、病理学者が顕微鏡下にてスライドを解析し解釈する仕事の流れを変化させない。典型的には、そのようなインタラクティブシステムは、画像解析を介してスライドからさらなる定量的な情報を抽出することができ、それゆえ、操作者の結果の再現性および解釈を向上させることができる。解析結果の報告および文書化のための優れたツールもまた実用化されている。適切に設定された場合、インタラクティブシステムは比較的迅速かつ経済的であるが、そのようなインタラクティブシステムの日常的な仕事の流れに与える影響は比較的小さい。
【０００５】
自動的なレアケース検出装置は、スライドの全ての解析がシステムによって、スキャン用ステージにスライドを載置することから結果の報告まで、全く監視を必要としない態様にてなされる。そのような自動化されたシステムは、通常スライドをスキャンして、自動的に解析のための興味対象物または興味領域を同定し、ターゲットを定量的に評価し、結果の報告および文章化を行う。病理学者または全般的な細胞技術者の日常的な仕事の流れは、大きな労働力を要する選別作業から解析結果の解釈に至るまで、急峻に変化する。しかしながら、そのような自動化されたシステムは、通常非常に高価であり、そのような装置の取得のコストを正当化するためには、比較的大量のスライドが毎年処理される必要がある。
【０００６】
バーチャルスライドスキャンシステムは、様々な視覚的解像度において、大きな概観画像を自動的に取得するために開発されている。そのような概観画像は、顕微鏡において観察される個々の視野に比べ非常に大きいものであり得る。
【０００７】
上述の三つの使用形態、すなわち、インタラクティブシステム、自動スキャン装置、およびバーチャルスライドスキャナに関する、装置によらず存在する共通要素は、一度スキャンされ、画像化され、および／または解析されたスライドを、操作者によって再度物理的に再検査する場合が存在することである。そのような場合、操作者は、スライドの以前の検査において発見された、スライド上のサンプル中の興味対象物の位置を再検索する作業に直面する。その作業をさらに煩雑化することに、操作者は、いくつかの場合、以前にスライドをスキャン、画像化、および／または解析するために用いられた、顕微鏡画像化装置またはその他の装置とは異なる顕微鏡画像化装置を用いることがある。いくつかの場合においては、以前にスライドの画像化または解析のために用いられた倍率が判明しないことがあり得、装置部材の動作条件および画像化の限界において、操作者が使用する装置が異なる解像度を有していることもあり得る。
【０００８】
スライド上のサンプル中の興味対象物の位置を再検索する典型的な方法では、一つまたはそれ以上の位置再検索用マークが指定され、スライド上に配置される。そして、それらのマークは、スライドがスキャンされるか、または画像化される前に、参照座標として蓄積保存される。スライドをスキャンする処理の間、一つかそれ以上のスライドまたはスライド上のサンプル内の対象物の画像が、取得され、位置再検索用マークに相対的な座標地とともに蓄積保存され得る。スライド上の対象物を再調査、または位置再検索を試みる前に、一つかそれ以上の位置再検索用マークが物理的なスライド上に存在する必要がある。適切な機能性が提供された場合、操作者は、目的の興味対象を、サンプル中の興味対象群から選択することができる。そして、前記選択時には、選択された対象物が視野内に納まるように予期されたまたは推定された位置に、ステージが移動する。しかしながら、操作者は、予期された位置に存在している対象物が、操作者によって選択された対象物と同じものであるかを主観的に判断しなければならない場合がある。操作者はまた、表示された対象物が視野の中心から外れていた場合、手動でステージの位置を調整しなければいけない場合がある。加えて、選択された対象物が表示されない場合、または視野内の予期された位置において確認することができない場合、一般に、操作者は、手動で対象物を見つける必要がある。しかしながら、一度、操作者によって手動での検索がなされた場合、座標調整機能は通常失われ、その後に再調査のために選択される対象物は、同様に時間を必要とする手動の位置再検索処理が操作者によってなされる必要がある。
【０００９】
このように、典型的な位置再検索方法は、特に位置再検索処理のための正確なマークを有する特別のスライドを必要とする場合がある。その上、スライドの全域にわたって、以前にスキャンされた画像に関する十分な再現性を維持するために、対象物の画像取得および／または位置再検索のための高価な高精度の（典型的にはミクロン単位精度の）自動化ステージが、必要になる場合がある。スライドをスキャンする前に、位置再検索用マークまたはその他の要素が、スライド上のそれらのマークの物理的な発見により確立される必要がある。そして、そのような位置再検索用マークは、興味対象物の位置を再検索するためにスライドを再調査する前に、再度見つけられる必要がある。位置再検索手法が十分に正確でない場合、選択された対象物の位置は、その対象物を視野内の適切な位置に移動させるように手動により調整される必要がある。そしてまた、一つの対象物の位置を再検索することは、スライド上の続いて選択される興味対象物の位置の再検索の正確性を向上することには、ほとんど役に立たない。なおさらに、位置再再検索の精度は、スキャンステージの精度とともに、調査ステージの精度にも依存し、スキャンおよび位置再検索処理の両方における位置再検索用マークの決定の精度にも影響され得る。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
したがって、顕微鏡画像化装置下において、既にスキャンされている顕微鏡スライド上のサンプル中の興味対象物の位置を、迅速かつ効果的に再検索する方法および装置であって、もし存在したとしても求められる手作業の介入は最小限であり、顕微鏡ステージが自動化され、それゆえ、顕微鏡が、位置再検索処理の全てではないにせよ殆どすべてを自動的に行い得るものが求められている。そのような方法および装置は、スライドがスキャンされたのがその装置であるか他の装置であるかによらず、対象物の位置を好適に再検索することができることが好ましい。そのような方法および装置は、比較的経済的であり、比較的小さいまたは簡素な設備しか要さず、容易に様々な倍率に適用されることが好ましい。
【課題を解決するための手段】
【００１１】
上記およびその他の課題を解決するために、本発明は、一実施形態において、顕微鏡対物レンズを介して観察される、スライド上のサンプル中の興味対象物の位置を再検索する方法を提供する。上記方法は、前記サンプル中の興味対象物を決定するために前記スライドをスキャンすること、各興味対象物について対応する座標を関連付けること、および各興味対象物について画像および対応する座標を蓄積保存することを包含する。前記興味対象物は、前記座標を用いて、それぞれ互いに相対的にマッピングされる。そして、前記スライドが、顕微鏡ステージ上において位置決めされ、画像表示部上に、前記蓄積保存された前記興味対象物の画像が表示される。前記表示された前記蓄積保存された前記興味対象物の画像から、第１の目的興味対象物が選択される。前記スライドは、前記顕微鏡ステージを介して、前記第１の目的興味対象物の座標に対応する、前記スライド上の第１の推定座標位置へ動かされる。前記第１の推定座標位置における、前記サンプルの視野画像が、前記顕微鏡対物レンズを介して取得される。そして、前記視野画像と、前記第１の目的興味対象物の前記蓄積保存された画像とが比較され、前記第１の目的興味対象物が前記視野画像中に所在していた場合、前記所在していた第１の目的興味対象物の実際の座標と、前記第１の目的興味対象物に対応する前記蓄積保存された前記興味対象物の座標との間の第１のオフセットが決定される。その後、前記スライドは、前記第１のオフセットに従って、前記顕微鏡ステージを介して、前記第１の推定座標位置から、前記視野画像において前記第１の目的興味対象物が中心に位置するように動かされる。
【００１２】
他の局面において、本発明は、顕微鏡対物レンズを介して観察される、スライド上のサンプル中の興味対象物の位置を再検索する方法であって、前記スライドは前記サンプル中の興味対象物を決定するために既にスキャンされており、各興味対象物について対応する座標が既に関連付けられており、各興味対象物について画像および対応する座標が既に蓄積保存されており、前記興味対象物は、前記座標を用いて、それぞれ互いに相対的に既にマッピングされている方法を含む。上記方法は、画像表示部上に、前記蓄積保存された前記興味対象物の画像を表示すること、および前記表示された前記蓄積保存された前記興味対象物の画像から、第１の目的興味対象物を選択することを含んでいる。前記スライドはその後、前記顕微鏡ステージを介して、前記第１の目的興味対象物の座標に対応する、前記スライド上の第１の推定座標位置へと動かされる。前記第１の推定座標位置における、前記サンプルの視野画像が、前記顕微鏡対物レンズを介して取得される。前記視野画像と、前記第１の目的興味対象物の前記蓄積保存された画像とが比較され、前記第１の目的興味対象物が前記視野画像中に所在していた場合、前記所在していた第１の目的興味対象物の実際の座標と、前記第１の目的興味対象物に対応する前記蓄積保存された前記興味対象物の座標との間の第１のオフセットが決定される。そして、前記スライドが、前記視野画像において前記第１の目的興味対象物が中心に位置するように、前記第１のオフセットに従って、前記顕微鏡ステージを介して、前記第１の推定座標位置から動かされる。
【００１３】
他の局面において、本発明は、顕微鏡対物レンズを介して観察される、スライド上のサンプル中の興味対象物の位置を再検索する方法であって、前記スライドは前記サンプル中の興味対象物を決定するために既にスキャンされており、各興味対象物について対応する座標が既に関連付けられており、各興味対象物について画像および対応する座標が既に蓄積保存されており、前記興味対象物は、前記座標を用いて、それぞれ互いに相対的に既にマッピングされている方法を含む。上記方法は、画像表示部上に、前記蓄積保存された前記興味対象物の画像を表示すること、および前記表示された前記蓄積保存された前記興味対象物の画像から、第１の目的興味対象物を選択することを含んでいる。前記スライドはその後、前記顕微鏡ステージを介して、前記第１の目的興味対象物の座標に対応する、前記スライド上の第１の推定座標位置へと動かされる。前記顕微鏡対物レンズを介して観察された、前記第１の推定座標位置における、前記サンプルの視野画像と、前記第１の目的興味対象物の前記蓄積保存された画像とが手作業により比較され、前記第１の目的興味対象物が前記視野画像中に所在していた場合、前記所在していた第１の目的興味対象物の実際の座標と、前記第１の目的興味対象物に対応する前記蓄積保存された前記興味対象物の座標との間の第１のオフセットが決定される。そして、前記スライドが、前記視野画像において前記第１の目的興味対象物が中心に位置するように、前記第１のオフセットに従って、前記顕微鏡ステージを介して、前記第１の推定座標位置から動かされる。
【００１４】
開示された方法を実装し達成するための好適な装置もまた提供される。前記装置では、当業者によって理解される様々な装置構成および配置が用いられ得る。したがって、本発明に係る実施形態は、上記および本明細書において言及される明確な優位性を提供する。
【発明を実施するための最良の形態】
【００１５】
本発明を図面への参照を伴って一般用語によって説明する。なお、前記図面は、必ずしも一定の縮尺率で描かれていはいない。
【００１６】
以下、添付の図面を参照して、本発明をさらに詳しく説明するが、本発明の全ての実施形態が示されるわけではない。実際、本発明は様々な形態で実体化され得、本明細書において後述する実施形態に限定して解釈されるべきではない。むしろ、上記実施形態は、法的な要件を充足させるために提供される。同じ数字は明細書を当して同じ要素を参照する。
【００１７】
本発明の実施形態は、既に検査されたスライド上のサンプル中における対象物の位置の再検索するための、顕微鏡画像化装置（顕微鏡イメージング装置）を用いた方法を対象とする。そのような方法を実施するために、本発明の一実施形態は、例えば、図１に示すようなシステム５０を備える。システム５０は、自動化機能を内蔵した顕微鏡１００（例えば、Ｚｅｉｓｓ ＡｘｉｏＩｍａｇｅｒ）、コンピュータ装置３００によって制御されるか、操作者によって手動操作され得る、顕微鏡１００のための電動ステージ１５０（代わりに、電動ステージ１５０は、例えば、調整されたｘ−ｙ、またはその他の適切な座標系に従って動くように構成されたおよび／または制御可能な手動で位置決め可能なステージであってもよい）、ならびにプログレッシブ領域スキャンカメラ（例えば、ＣＣＤまたはＣＭＯＳ型カメラ）のようなカメラ装置２００を備えている。電動顕微鏡ステージ１５０は、画像表示部３２５を有するコンピュータ装置３００と通信し得、カメラ装置２００もまた、例えば、デジタイザーまたはフレーム取り込み装置を介してコンピュータ装置３００と通信し得る。システム５０は、ステージ１５０上に、関連付けられたサンプルを有するスライド３５０を受容するように構成されている。前記サンプル／スライド３５０は画像化装置によって既にスキャンされており、前記サンプル内に所在する、前記スキャンの結果としての興味対象物が、独立した画像として蓄積保存されている。前記独立した画像は、例えば、移動可能媒体、またはコンピュータ装置３００のハードドライブもしくはコンピュータ装置３００に関連付けられたその他の記憶装置に蓄積保存され得る。
【００１８】
そのような興味対象物の画像は、システム５０を介して取得してもよいし、興味対象物を同定し画像化することが可能な他の好適な画像化システムを介して取得してもよい。しかしながら、システム５０は、特に、スライド３５０上の興味対象物の位置を再検索するように構成されており、スライド３５０が他の画像化システムからシステム５０に運ばれても、スライド３５０が画像化後にシステム５０から除去され、その後に、さらなる検査にためにステージ１５０に再配置されてもよい。しかしながら、当業者は、本明細書に記載された方法が、スライド３５０がステージ１５０に対して移動した場合、または操作者が、画像化した条件に対するスライド３５０の方向および配置を確かめることを望んだ場合にも同様に適用可能であることに気付き得る。
【００１９】
コンピュータ装置３００は、一つまたはそれ以上のデータベースを提供する。上記データベースは、検査またはスキャンされたサンプル／スライドからの興味対象物の画像を含んでいる。加えて、蓄積保存された興味対象物の、直角座標またはその他の任意の適切な座標系の、前記スライド上の参照地点に対しての座標（本明細書において、「スキャン座標系」における画像の「スキャン座標」として言及されることもある）が、決定され、それぞれの画像に関連付けられて蓄積保存される。前記参照地点は、前記スライド上にいかなる好適な形態で存在し得る。例えば、前記スライドの隅、または前記スライド上の明確に形成された特別な基準点であり得る。いくつかの場合において、前記参照地点は、そのものが前記スキャンされたスライドでの興味対象物のいずれかとして、またはそれとともに保存されている。また代わりに、前記座標系は顕微鏡ステージ１５０の調整に沿って確立されるか、関連付けられている。そこでは、前記蓄積保存された画像は、前記ステージ座標系に対して相対的な座標に関連付けられている。
【００２０】
さらなる検査のために、スライド３５０がシステム５０のステージ１５０上に配置された場合、本発明の実施形態では、生物学的な標本等の標本の既に画像化された任意の興味対象物の位置を、顕微鏡１００の操作者が、自身に対して画像表示部３２５上に示されている、前記スライド上の興味対象物の既にスキャンされたデジタル画像から、前記任意の興味対象物の画像を選択することにより、スライド３５０上で再検索することができる。しかしながら、スライド３５０がステージ１５０上に配置される前に、顕微鏡ステージ１５０は、現在の座標系（前記スライドのスキャン時において確立されたステージ座標系と、もし同じシステム５０を使用していた場合、同一であり得、システム５０がスキャナーとは異なる場合、スキャン時におけるステージ座標系とは異なるものであり得る）を確立するために最初に調整される。そのような現在の座標系は、本明細書において、「ステージ座標系」に対して「ステージ座標」と言及される場合がある。
【００２１】
スライド３５０がステージ１５０上に最初に配置され、興味対象物３５０（「第１の興味対象物」）が前記操作者により画像表示部３２５から選択されたとき、システム５０は、ステージ１５０の前記ステージ座標系のためのパラメータを、自動的に、決定し調整する。そのような調整を実施するために、ステージ１５０は、コンピュータ装置３００と相互作用し得る。典型的には、前記操作者の操作は必要ないが、ひどい誤配置または処理中に生じ得るその他の問題が、必要であれば手動での修正のために、コンピュータ装置３００を介して、前記操作者に報告される。ステージ１５０のためのステージ座標系が調整された後、カメラ装置２００は、顕微鏡１００によって観察された前記サンプルの視野（ＦＯＶ）３４０画像をコンピュータ装置３００へと継続的に提供する。コンピュータ装置３００は、いくつかの場合、画像表示部３２５上に視野画像３４０を継続的に表示する。スライド３５０に関連付けられた興味対象物３３０の既にスキャンされた画像は、画像表示部３２５上に視野画像３４０に並べて表示され得、または、例えば、図２に示すように、前記操作者に対して視覚的に提供され得る。コンピュータ装置３００は、視野画像３４０とともに、スライド３５０に対する前記視野の現在位置を、調整されたステージ座標系から推定または決定する。すなわち、スライド３５０がステージ１５０にステージ１５０上の所定の位置に組み込まれ、ステージ１５０の動きが前記ステージ上の前記所定の位置からの座標の変化に相関する場合、前記調整されたステージ上に配置された任意のスライドにおいて、前記スライドに対する前記視野のおおよその現在位置は、前記ステージ座標系においてステージ１５０の位置から決定することができる。
【００２２】
スライド３５０に対する前記視野のおおよその現在位置が決定され得るとしても、前記ステージ座標系は、必ずしも既にスキャンされたスライドに関連付けられた前記スキャン座標系に対応する必要はない。さらに、前述した、スライド３５０に関連付けられた前記興味対象物の情報は、前記スキャン座標系に関連付けられる。このように、望ましい第１の興味対象物の画像が、画像表示部３２５またはその他の視覚的表示装置（図示せず）から前記操作者によって選択されたとき、第１の興味対象物の前記蓄積保存された座標は、前記スキャン座標系に関連付けられる。それゆえ、システム５０は、画像表示部３２５上に表示された前記視野内の第１の興味対象物の位置を再検索するために、前記スキャン座標系と、前記ステージ座標系とを調和させることができる。したがって、前記ステージ座標系からのスライド３５０に対する前記視野のおおよその現在位置は判明しているので、システム５０は、選択された第１の興味対象物の、前記ステージ座標系に変換された座標に対応する、前記視野の推定された座標位置に、スライド３５０を動かすように構成される。前記推定された座標位置は、それゆえ、選択された第１の興味対象物を自動的な検索の開始地点である、スライド３５０上の汎用位置を含む。
【００２３】
本発明の一つの好ましい局面によれば、前記推定された座標位置での前記視野画像は、前記蓄積保存された第１の興味対象物の画像と、本明細書において後述する相関手法を用いて、前記推定座標位置の前記視野画像内に選択された興味対象物が存在するか否かを決定するために比較される。そのような画像の相関処理は、例えば、空間領域（Space domain）、または周波数領域（Frequency domain）において達成され得る。前記相関処理を実施するために、周波数領域法は高速フーリエ変換（「ＦＦＴ」）処理を用い、空間領域は畳み込み（Convolution）処理を用いる。グレースケール画像に対しては、そのような相関処理は、それぞれの画像のピクセルの濃度値に基づいて行われ得る。ＲＧＢ画像に対しては、そのような相関処理は、例えば、それぞれの画像の、各ピクセルの明度、赤、緑。および青の強度の平均値、または単一カラーチャンネルに基づいて実施され得る。いくつかの場合、色素源分離技術（Chromogen separation technique、この技術は、さらに詳細には、例えば米国特許出願公開番号US2003/0091221A1(Method for quantitative video-microscopy and associated system and computer software program product)、および米国特許出願公開番号US2003/0138140A1(Method for quantitative video-microscopy and associated system and computer software program product)において記載されている。上記出願は、ともにＭａｒｃｅｌｐｏｌｉら。本発明の譲受人はこれらの出願を譲受されている。その内容のすべてが、本明細書に参照として援用される）から得られる特異的な三色（ＲＧＢ）の組み合わせが、各画像間の相関のための基準値として用いられ得る。すなわち、そのような相関のために、選択された第１の興味対象の特異的な特徴が決定され、推定された座標位置における前記視野画像が、前記特異的な特徴が、前記視野画像内に存在するか否かを決定するために、解析される。
【００２４】
そのような相関処理は、下記の様に定義される前記二つの画像の相関係数として説明され得る。
【００２５】
【数１】
【００２６】
σ１は、画像１（すなわち、選択された第１お興味対象物の画像）の選択された基準値の標準偏差を指し、σ２は、画像２（すなわち、前記視野画像）の対応する基準値の標準偏差を指す。σ１，２は、画像１および２の基準値の積の標準偏差を指す。
【００２７】
周波数領域法を用いれば、両画像はＦＦＴを用いて変換された二次元のデータセットまたは行列を形成するように周波数領域に変換される。すなわち、前記変換された二次元のデータセットは、前記元の画像（行列形式において）と同一の次元を有する複素数の行列を含んでなる。前記それぞれの画像の前記変換された二次元のデータセットは、それゆえ、結果として二次元のデータオブジェクトを形成するような因子同士の積である。中心値（すなわち、結果としての二次元のデータオブジェクトの中心）から前記結果としての二次元のデータオブジェクトの最も高い絶対値へのベクタは、それゆえ、前記両画像の距離および方向についての位置ずれ(displacement)を表す。しかしながら、周波数領域法を用いた場合、それぞれの画像は、例えば、同一のｘおよびｙ次元を有することが好ましく、各画像次元は、２の階乗（すなわち、６４、１２８、５１２、・・・）であるべきである。この方法を用いた場合、前記位置ずれまたはオフセットを決定するために必要な時間は、前記両画像のサイズ（次元、ピクセル、その他）のみに依存し、それらの実際の内容には依存しない。この方法において、前記相関係数の実際の値は判明または決定されず、最も高い相関の点のみが解析の結果から得られる。
【００２８】
空間領域法を用いれば、画像１はまずｘおよびｙ方向にシフトされ、画像２に対する相関係数が、位置ずれベクタ（ｘ，ｙ）の関数として決定される。そのような手順において見出される、最も高い相関係数のｘおよびｙの値は、前記相関係数が所定の閾値を越える場合、画像２に対する画像１の位置ずれとして用いられる。もし、前記相関係数が前記閾値を下回る場合、前記ぞれぞれの画像は、一致し得ず、そのような結果は、前記選択された第１の興味対象物が、前記視野画像内に所在していないことを示す。
【００２９】
しかしながら、記載したような空間領域法を用いた場合、その内部に存在し得るすべてのｘおよびｙの組み合わせについて大きな画像を解析をすることは、時間を食う操作であり得る。いくつかの場合において、上記操作は、以下の反復的な手順により加速し得る：
１．開始点Ｄ（ｘ，ｙ）を用い、すべてのＮｘ番目およびＮｙ番目のピクセルのみを用いた限定された領域Ｒ（ｘ，ｙ）を用いて、前記両画像を相関する。まず、前記開始点Ｄ（ｘ，ｙ）は、画像１の中心に設定され、領域Ｒ（ｘ，ｙ）は画像全体に設定される。
【００３０】
２．最も高い相関の点を、新しい開始点として用いる。探索領域Ｒ（ｘ，ｙ）を（±Ｎｘ，±Ｎｙ）に設定する。Ｎｘ／２およびＮｙ／２を新しいＮｘおよびＮｙの値として用いる。
【００３１】
３．ＮｘおよびＮｙが１になるまで繰り返す。
【００３２】
もし得られた相関係数が所定の閾値（例えば、０．９）を超えた場合、選択された第１の興味対象物は前記視野画像内に所在すると決定され、結果のオフセットが決定される。しかしながら、前記相関係数が前記閾値を下回った場合、前記ぞれぞれの画像は、一致し得ず、そのような結果は、前記選択された第１の興味対象物が、前記視野画像内に所在していないことを示す。
【００３３】
上述した態様において、周波数領域法または空間領域法の何れかを用いれば、スライド３５０上の特別の基準点または他のはっきりと判る位置再検索用マークは必要ではない。さらに、もし、興味対象物の前記蓄積保存された画像が、システム５０によって使用される現在の顕微鏡倍率とは異なる倍率を用いて取得（スキャン）されていた場合、相関処理の前に、二つの倍率のうち大きい方が、低倍率の画像の倍率に対応するように縮小される。
【００３４】
もし、上述した相関処理における周波数領域法または空間領域法のいずれかによって、第１の興味対象物３３０が視野画像３４０内に見出されなかった場合、ステージ１５０（電動でありコンピュータ装置３００によって制御されるように構成されている）は、例えば図３に示すように、元々の推定された座標位置の周りを、円を描くような態様で、第１の興味対象物３３０を探索するために自動的に動き得る。すなわち、ステージ１５０は、コンピュータ装置３００に反応するように構成されており、第１の興味対象物３３０が、前記推定された座標位置における視野画像３４０内に見出されなかった場合、ステージ１５０はスライド３５０を移動させ、カメラ装置２００が継続的に、推定された座標位置の周囲を円を描くようなパターンにて視野画像を取得するようにする。継続的な視野画像は、その視野画像が、第１の興味対象物を含んでいるか否かを判断するための前記相関処理に供される。探索のための前記円の半径は、特定の視野画像内に第１の興味対象物が見出されるまで、継続的に増大する（すなわち、らせん状に）。もし、第１の興味対象物が、ステージ１５０の前記視野画像内に見出されず、ステージ１５０が、手動操作されるように構成されている場合、前記操作者は、手動で推定された座標位置における視野の外側にステージ１５０を動かして、続く視野画像が第１の興味対象物の、前述した相関処理を用いた探索のために用い得るようにする。
【００３５】
第１の興味対象物の位置が、スライド３５０上に見出された場合、前記蓄積保存された座標（スキャン座標系において）および第１の興味対象物が見出されたスライド３５０上の実際の座標の間のオフセットが記録され蓄積保存される。第１の興味対象物は続いて、操作者によるさらなる検査を可能にするために、前記視野の中央に移動される。選択された第１の興味対象物が、スライド３５０に見出された後は、前記操作者はスライド３５０に関連付けられ、前記画像表示部上に、またはその他視覚的に操作者に提供された、前記視野画像（ちょうど、第１の目的興味対象物が視野の中央に位置している）に並べて表示されている既に蓄積保存された興味対象物の画像から、第２の興味対象物を選択することができる。前記ステージ座標系および前期スキャン座標系の両方に対する第１の興味対象物の実際の座標が既に判明しているので、第２の興味対象物の位置再検索は、第２の興味対象物の前期スキャン座標系における第１の興味対象物に対する相対的な位置、および対応するステージ１５０／スライド３５０の前期ステージ座標系における位置ずれの適切な計算を含む。第２の興味対象物の計算された位置において、第２の興味対象物の実際の位置を検証するために、前述した相関方法が再度道いられる。第２の興味対象物（または、その他の続いて選択された興味対象物）の実際の位置が判明すれば、コンピュータ装置３００により、前記オフセットの精度が向上される。加えて、第１および第２の興味対象物の実際の位置が判明すれば、コンピュータ装置３００は、前記ステージ座標系において、前記スキャン座標系における蓄積保存された座標に対して、スライド３５０の回転度合いを決定し得る。このように、スライド３５０上のサンプル中の他の興味対象物の位置の再検索の精度をさらに改善することができる。
【００３６】
ステージ１５０が手動操作されるようにシステム５０が構成されている場合、本発明の実施形態は、選択された興味対象物を検索する際に、前記操作者へ案内を提供し得る。例えば、ステージ１５０の移動についての方向指示３４５が、画像表示部３２５上に視覚的に前記操作者に提供される（すなわち、前記興味対象物に対するステージ１５０の手動操作による位置決めの視覚的な補助）。しかしながら、当業者は、そのような指示が、音声的、また、別個の画像表示部に表示されるテキストメッセージのような様々な態様で提供され得ることを理解する。一例において、図４に示すように、スライド３５０の全体画像が画像表示部３２５上に表示され、以前にスキャンされた興味対象物が、互いに相対的に示されている。それとともに、スライド３５０に対する現在の視野３４０の、前記推定された座標位置もまた、画像表示部３２５上に示される。すなわち、この様式では、システム５０は、スキャンされた興味対象物を、観察中のスライド上のそれら興味対象物の位置の推定と並べて提供する。前記操作者による第１の興味対象物３３０の選択の後、第１の興味対象物３３０および前記視野の推定された座標位置の両方が、ハイライトまたは他の方法により明確に画像表示部３２５上に標識される。
【００３７】
前記視野および第１の興味対象物の前記推定された座標位置の差異が、画像表示部３２５上に提供され、前記操作者は、画像表示部３２５上にスライド全体の画像中に視覚的に指示された第１の興味対象物の方向へ、ステージ１５０を手動操作で動かす。任意の必要な案内が、コンピュータ装置３００を介してシステム５０により提供される。前記視野の座標位置の変化は、継続的に画像表示部３２５上において更新される。前記相関処理は、ステージ１５０が前記操作者によって移動されるのとともに、継続的に実行されるか、または、前記相関処理は、ステージ１５０の移動が停止したときに実行される。ステージ１５０の移動のための前記操作者への案内は、それゆえ、第１の興味対象物が、画像表示部３２５上に表示された視野の中央に位置しているとコンピュータ装置３００が決定するまで継続される。第１の興味対象物の位置が実際にスライド３５０上に見出されたとき、以前にスキャンされた第１の興味対象物の前記スキャン座標系における蓄積保存された座標と、スライド３５０上の第１の興味対象物の前記ステージ座標系における実際の座標との間のオフセットが記録される。また、望まれた第１の興味対象物の位置を指示するための、例えば、十字型のカーソルまたはその他の好適な指示のような案内指示が、実際のスライド３５０上の第１の興味対象物への指示を提供するために、スライド３５０または前記視野のリアルタイム画像に、重ねられるか、他の方法により関連付けられる。続く興味対象物の選択は、前述したように、前記オフセットの精度を向上させ、前記ステージ座標系の、前記スキャン座標系に対する回転を修正し得る。これらにより、興味対象物の位置の再検索処理の精度を向上させることができる。
【００３８】
本発明の実施形態は、それゆえ、操作者が、以前にスキャンされ画像化されたスライドを再度検査する必要のある顕微鏡画像化システムにおける、仕事の流れ、スピードおよび精度を改善し促進する。そのような実施形態は、顕微鏡画像化システムおよび関連する用途において、設備投資の低減および／またはその他の経済的利益をもたらす。より具体的には、本明細書において述べたように、本発明の実施形態は、その位置再検索の局面において特別なスライドを必要とせず、スキャン時の使用または位置再検索時の使用のいずれであっても、顕微鏡装置の電動ステージの必要とされる再現性および精度は低から中程度である。さらに、個々のスライドそれぞれについての、検査のための設定処理および調整処理は必要でない。代わりに、ただ顕微鏡ステージのみが調整を必要とする。この調整は、一日につき一回または一つの検査処理バッチにつき一回のような様々な間隔で実施し得る。さらに、一度調整がなされれば、前記電動ステージは、検査のためにスライドを受容する前に、特別な設定処理を行う必要はない。
【００３９】
本明細書において開示された位置再検索処理を用いれば、高解像度の空間においてピクセル単位に基づいて相関処理が実施されるため、興味対象物の位置の低水準な、または不正確な再検索の危険性は大幅に低減される。加えて、前記位置再検索処理は、自動的に望ましい興味対象物の位置を再検索し、該処理において倍率の違いを考慮するようにさえ構成されている。検索されたいかなる興味対象物も、操作者の解析を助けるために、自動的に顕微鏡視野の中央に位置するように調整される。前記システムはまた、操作者によってさらに多くのスライド上の興味対象物が検査されるように、位置再検索の精度および効率を向上させるために、位置再検索用パラメータを継続的に更新する。加えて、位置再検索の精度は、前記スライドを観察する装置のステージの最小ステップサイズを減少させることにより向上させることができ、もし、ステージのステップサイズの解像度が十分に高ければ、例えば、正確なピクセル単位の興味対象物の位置再検索を可能とする。
【００４０】
本明細書において説明された本発明の、様々な改変およびその他の実施形態は、上述した説明および関連する図面において存在する教示の利点により、本発明に関連する分野における当業者が発想し得る。例えば、本明細書において開示されたスライド上の対象物の位置を再検索する方法は、いくつかの場合において、顕微鏡１００が、カメラ装置２００とともに備えられていない場合であってもまた達成され得る。そのような場合には、顕微鏡１００は、上述したような、電動の、制御可能な、手動で位置決め可能でありまたコンピュータ装置３００によっても制御されるステージ１５０を備えている。ステージ１５０は、さらに、ステージ１５０の現在位置がコンピュータ装置３００に報告され得るように、コンピュータ装置３００と通信するように構成されている。既にスキャンされたスライド３５０について、コンピュータ装置３００は、任意の既に同定された興味対象物の、スライド３５０上の参照地点に対する直角座標またはその他の適切な座標のような座標を含んでいる。前記参照地点は、スライド３５０のいかなる適切な地点でもよく、例えば、前記スライドの隅の一つ、またはスライド３５０の正確かつ明確に形成された基準点であり得る。
【００４１】
そのような代替的な方法によれば、相互相関を用いることはできない。なぜなら、スライド３５０のリアルタイムの画像がカメラ装置２００の欠如のために得られないからである。そこでは、まず、スライド３５０は、顕微鏡ステージ１５０上に配置され、コンピュータ装置３００に関連付けられた画像表示部３２５上で第１の目興味対象物が選択される。コンピュータ装置３００は、上述したように、ステージ１５０を、第１の目的興味対象物の推定された座標位置に移動するように導く。一度、推定された座標位置に移動した後、操作者は、顕微鏡１００の視野と、画像表示部３２５上の第１の興味対象物の画像とを比較することにより、第１の目的興味対象物の位置を手動で再検索する。第１の目的興味対象物が前記操作者によって同定された場合、第１の目的興味対象物は、顕微鏡１００の視野の中央に、前記操作者によって、移動される。いくつかの場合において、前記操作者は、第１の目的興味対象物を顕微鏡１００の視野の中央に移動させたときに、コンピュータ装置３００に、コンピュータ装置３００によって実施される一連の工程の開始を促進するために指示を送ってもよい。ステージ１５０に対する第１の目的興味対象物の実際の座標はまた、コンピュータ装置３００によって蓄積保存される。そして、蓄積保存された第１の目的興味対象物の実際の座標と、以前のスキャン（すなわち、スキャン座標系における）からの蓄積保存された第１の目的興味対象物の座標との間のオフセットがまた、コンピュータ装置３００によって算定される。
【００４２】
続いて、前記操作者は、次の、または第２の目的興味対象物を、スライド３５０に関連付けられ、画像表示部３２５上に前記視野画像（ちょうど、第１の目的興味対象物が視野の中央に位置している）に並べて表示されている既に蓄積保存された興味対象物の画像から選択する。前記ステージ座標系および前期スキャン座標系の両方に対する第１の興味対象物の実際の座標が既に判明しているので、第２の興味対象物の位置再検索は、第２の興味対象物の前期スキャン座標系における第１の興味対象物に対する相対的な位置、および対応するステージ１５０／スライド３５０の前期ステージ座標系における位置ずれの適切な計算を含む。第２の興味対象物の計算された位置において、前記操作者は、、第２の目的興味対象物を顕微鏡１００の視野と、画像表示部３２５上の第２の目的興味対象物の画像とを比較することにより、第２の目的興味対象物の位置を再度手動で検索する必要がある。そしてまた、顕微鏡１００の前記視野において見出され中央に移動されたの値、第２の興味対象物の実際の座標（前記ステージ座標系における）が、コンピュータ装置３００により蓄積保存される。第２の興味対象物（または、その他の続いて選択された興味対象物）の実際の位置が判明すれば、コンピュータ装置３００により、前記オフセットの精度が向上される。加えて、第１および第２の興味対象物の実際の位置が判明すれば、コンピュータ装置３００は、前記ステージ座標系において、前記スキャン座標系における蓄積保存された座標に対して、スライド３５０の回転度合いを決定し得る。選択された興味対象物の新しい座標が決定され、蓄積保存されたとき、必要であれば、前記ステージ座標系の精度を、例えば、興味対象物の座標の外れ値を選択的に除外すること、および／または、平均化、またはその他の誤り最小化手法により、さらに改善することができる。
【００４３】
加えて、さらなる機能性を本明細書において開示された装置、システムおよび方法に関連付けることもできる。例えば、前記操作者は、スライド３５０の顕微鏡１００を介した手動による探索の際に、スライド３５０上に、現在選択しているものではない興味対象物を見つけることがあるが、コンピュータ装置３００は、スライド３５０の以前のスキャンから、例えば、ステージ１５０の位置を前記スキャン座標系に関連付けて（もし既に計算されていれば、すべての同定されたオフセットを考慮して）、前記データベースおよび／または画像表示部３２５上に表示されたスライド３５０と関連付けられた、以前に蓄積保存されている興味対象物の画像から前記興味対象物を同定することにより、前記興味対象物を同定するように構成されていてもよい。したがって、そのような方法は、カメラ装置２００を備えていない安価な機器を用いて、スライド３５０上の対象物の位置を再検索する際に有利である。
【００４４】
以上の様に、本発明は開示された特定の実施形態に限定されるべきではなく、請求項に示した範囲での種々の変更および異なる実施形態も含むことを意図している。本明細書において特定の用語が採用されるが、それらは一般的かつ説明的な意味において用いられ、限定のために用いられるものではない。
【図面の簡単な説明】
【００４５】
【図１】本発明の一実施形態における、顕微鏡下で既にスキャンされたスライド上の興味対象物の位置を再検索するための装置を概略的に示す図である。
【図２】本発明の一実施形態における、画像表示部上に視野画像と並べて表示されている、既にスキャンされた興味対象物の画面表示を概略的に示す図である。
【図３】本発明の一実施形態における、視野画像内に興味対象物が所在しなかった場合に、興味対象物をさらに探索するために、元々の推定された座標位置の周りを螺旋状に自動的に移動するステージを概略的に示す図である。
【図４】本発明の一実施形態における、選択された興味対象物、ならびに選択された興味対象物およびスライド上の他の興味対象物に対する顕微鏡の現在の視野の位置を示している、互いに対して配置された既にスキャンされた興味対象物の画面表示を概略的に示す図である。
【特許請求の範囲】
【請求項１】
顕微鏡対物レンズを介して観察される、スライド上のサンプル中の興味対象物の位置を再検索する方法であって、以下の各工程を含むことを特徴とする方法：
前記サンプル中の興味対象物を決定するために前記スライドをスキャンして、各興味対象物について対応する座標を関連付けて、各興味対象物について画像および対応する座標を蓄積保存する工程；
前記座標を用いて、前記興味対象物をそれぞれ互いに相対的にマッピングする工程；
顕微鏡ステージ上の前記スライドの位置決めを行う工程；
画像表示部上に、前記蓄積保存された前記興味対象物の画像を表示する工程；
前記表示された前記蓄積保存された前記興味対象物の画像から、第１の目的興味対象物を選択する工程；
前記顕微鏡ステージを介して、前記第１の目的興味対象物の座標に対応する、前記スライド上の第１の推定座標位置へ、前記スライドを動かす工程；
前記顕微鏡対物レンズを介して、前記第１の推定座標位置における、前記サンプルの視野画像を取得する工程；
前記視野画像と、前記第１の目的興味対象物の前記蓄積保存された画像とを比較して、前記第１の目的興味対象物が前記視野画像中に所在していた場合に、前記所在していた第１の目的興味対象物の実際の座標と、前記第１の目的興味対象物に対応する前記蓄積保存された前記興味対象物の座標との間の第１のオフセットを決定する工程；および
前記視野画像において前記第１の目的興味対象物が中心に位置するように、前記第１のオフセットに従って、前記顕微鏡ステージを介して、前記スライドを前記第１の推定座標位置から動かす工程。
【請求項２】
前記顕微鏡ステージ上の前記スライドの位置決めを行う工程の後に、前記スライドの配置と前記顕微鏡ステージの動きとに関連付けられるステージ座標系を決定する工程をさらに含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記顕微鏡ステージを介して、前記第１の目的興味対象物の座標に対応する、前記スライド上の第１の推定座標位置へ、前記スライドを動かす工程が、前記ステージ座標系に変換された、前記第１の目的興味対象物の座標に対応する前記スライド上の第１の推定座標位置へ、前記スライドを動かすことをさらに含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記視野画像と、前記第１の目的興味対象物の前記蓄積保存された画像との比較が、手動による同定処理、および相関処理のうちの一つを用いて、前記視野画像と、前記第１の目的興味対象物の前記蓄積保存された画像とを比較することをさらに含むことを特徴とする請求項１に記載の方法。
【請求項５】
前記視野画像と、前記第１の目的興味対象物の前記蓄積保存された画像との相関処理を用いた比較が、空間領域相関処理および周波数領域相関処理のうちの一つを用いて、前記視野画像と、前記第１の目的興味対象物の前記蓄積保存された画像とを比較することをさらに含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記視野画像と、前記第１の目的興味対象物の前記蓄積保存された画像との相関処理を用いた比較が、畳み込み相関処理および高速フーリエ変換のうちの一つを用いて、前記視野画像と、前記第１の目的興味対象物の前記蓄積保存された画像とを比較することをさらに含むことを特徴とする請求項４に記載の方法。
【請求項７】
前記第１の目的興味対象物が前記視野画像中に所在していない場合に、自動的に、前記スライドを、前記顕微鏡ステージを介して、前記推定座標位置の周りを、継続的に半径が増大する回転運動により動かすとともに、さらなる視野画像を取得し、それぞれの視野画像内において前記第１の目的興味対象物を探す工程をさらに含むことを特徴とする請求項１に記載の方法。
【請求項８】
前記第１の目的興味対象物が前記視野画像中に所在していない場合に、手動操作により、前記顕微鏡ステージを介して前記スライドを動かすとともに、さらなる視野画像を取得し、それぞれの視野画像内において前記第１の目的興味対象物を探す工程をさらに含むことを特徴とする請求項１に記載の方法。
【請求項９】
前記顕微鏡ステージを介して前記スライドを動かす工程が、前記スライドを動かすために前記顕微鏡ステージを、手動操作により動かすこと、および自動的に動かすことの少なくとも一方をさらに含むことを特徴とする請求項１に記載の方法。
【請求項１０】
前記顕微鏡ステージが手動操作により動かされる際、前記第１の目的興味対象物に向かって、前記顕微鏡ステージを手動操作により動かすための方向指示が提供され、前記方向指示は、視覚的な指示および聴覚的な指示からなる群から選択される方向指示であることを特徴とする請求項９に記載の方法。
【請求項１１】
前記視覚的な方向指示を提供する工程が、前記視野画像を、前記第１の目的興味対象物の前記推定座標位置に対して関連付ける、英数字による指示、文字による指示、および動的なマップによる指示のうち少なくとも一つを提供する工程をさらに含むことを特徴とする請求項１０に記載の方法。
【請求項１２】
下記の各工程をさらに含むことを特徴とする請求項１に記載の方法：
前記表示された前記蓄積保存された前記興味対象物の画像から、第２の目的興味対象物を選択する工程；
前記興味対象物が互いに相対的にマッピングされたマップ、および第２の目的興味対象物に対応する、前記興味対象物の蓄積保存された座標についての第１のオフセットのうち少なくとも一つを用いて、第１の目的興味対象物に対して相対的に、第２の目的興味対象物の前記スライド上での位置を再検索する工程；および
前記所在していた第２の目的興味対象物の実際の座標と、前記第２の目的興味対象物に対応する前記蓄積保存された前記興味対象物の座標との間の第２のオフセットを決定する工程。
【請求項１３】
前記第２の目的興味対象物の位置を再検索する工程が、第２の目的興味対象物に対応する、前記スライド上の第２の推定座標位置における視野画像と、前記蓄積保存された第２の目的興味対象物の画像とを比較して、第２の目的興味対象物が前記視野画像中に所在しているか否かを決定する工程をさらに含むことを特徴とする請求項１２に記載の方法。
【請求項１４】
第２の目的興味対象物の実際の座標に対する相対的な第１の目的興味対象物の実際の座標、および対応するマッピングされた興味対象物について検証するために、第１のオフセットと、第２のオフセットとを比較する工程をさらに含むことを特徴とする請求項１２に記載の方法。
【請求項１５】
第１および第２の目的興味対象物の実際の座標と、対応するマッピングされた興味対象物とを比較することにより、マッピングされた興味対象物に関わる前記スライドの回転度合いを決定する工程をさらに含むことを特徴とする請求項１２に記載の方法。
【請求項１６】
顕微鏡対物レンズを介して観察される、スライド上のサンプル中の興味対象物の位置を再検索する方法であって、前記スライドは前記サンプル中の興味対象物を決定するために既にスキャンされており、各興味対象物について対応する座標が既に関連付けられており、各興味対象物について画像および対応する座標が既に蓄積保存されており、前記興味対象物は、前記座標を用いて、それぞれ互いに相対的に既にマッピングされており、かつ、以下の各工程を含むことを特徴とする方法：
画像表示部上に、前記蓄積保存された前記興味対象物の画像を表示する工程；
前記表示された前記蓄積保存された前記興味対象物の画像から、第１の目的興味対象物を選択する工程；
前記顕微鏡ステージを介して、前記第１の目的興味対象物の座標に対応する、前記スライド上の第１の推定座標位置へ、前記スライドを動かす工程；
前記顕微鏡対物レンズを介して、前記第１の推定座標位置における、前記サンプルの視野画像を取得する工程；
前記視野画像と、前記第１の目的興味対象物の前記蓄積保存された画像とを比較して、前記第１の目的興味対象物が前記視野画像中に所在していた場合に、前記所在していた第１の目的興味対象物の実際の座標と、前記第１の目的興味対象物に対応する前記蓄積保存された前記興味対象物の座標との間の第１のオフセットを決定する工程；および
前記視野画像において前記第１の目的興味対象物が中心に位置するように、前記第１のオフセットに従って、前記顕微鏡ステージを介して、前記スライドを前記第１の推定座標位置から動かす工程。
【請求項１７】
前記顕微鏡ステージ上の前記スライドの位置決めを行う工程の後に、前記スライドの配置と前記顕微鏡ステージの動きとに関連付けられるステージ座標系を決定する工程をさらに含むことを特徴とする請求項１６に記載の方法。
【請求項１８】
前記顕微鏡ステージを介して、前記第１の目的興味対象物の座標に対応する、前記スライド上の第１の推定座標位置へ、前記スライドを動かす工程が、前記ステージ座標系に変換された、前記第１の目的興味対象物の座標に対応する前記スライド上の第１の推定座標位置へ、前記スライドを動かすことをさらに含むことを特徴とする請求項１７に記載の方法。
【請求項１９】
前記視野画像と、前記第１の目的興味対象物の前記蓄積保存された画像との比較が、手動による同定処理、および相関処理のうちの一つを用いて、前記視野画像と、前記第１の目的興味対象物の前記蓄積保存された画像とを比較することをさらに含むことを特徴とする請求項１６に記載の方法。
【請求項２０】
前記視野画像と、前記第１の目的興味対象物の前記蓄積保存された画像との相関処理を用いた比較が、空間領域相関処理および周波数領域相関処理のうちの一つを用いて、前記視野画像と、前記第１の目的興味対象物の前記蓄積保存された画像とを比較することをさらに含むことを特徴とする請求項１９に記載の方法。
【請求項２１】
前記視野画像と、前記第１の目的興味対象物の前記蓄積保存された画像との相関処理を用いた比較が、畳み込み相関処理および高速フーリエ変換のうちの一つを用いて、前記視野画像と、前記第１の目的興味対象物の前記蓄積保存された画像とを比較することをさらに含むことを特徴とする請求項１９に記載の方法。
【請求項２２】
前記第１の目的興味対象物が前記視野画像中に所在していない場合に、自動的に、前記スライドを、前記顕微鏡ステージを介して、前記推定座標位置の周りを、継続的に半径が増大する回転運動により動かすとともに、さらなる視野画像を取得し、それぞれの視野画像内において前記第１の目的興味対象物を探す工程をさらに含むことを特徴とする請求項１６に記載の方法。
【請求項２３】
前記第１の目的興味対象物が前記視野画像中に所在していない場合に、手動操作により、前記顕微鏡ステージを介して前記スライドを動かすとともに、さらなる視野画像を取得し、それぞれの視野画像内において前記第１の目的興味対象物を探す工程をさらに含むことを特徴とする請求項１６に記載の方法。
【請求項２４】
前記顕微鏡ステージを介して前記スライドを動かす工程が、前記スライドを動かすために前記顕微鏡ステージを、手動操作により動かすこと、および自動的に動かすことの少なくとも一方をさらに含むことを特徴とする請求項１６に記載の方法。
【請求項２５】
前記顕微鏡ステージが手動操作により動かされる際、前記第１の目的興味対象物に向かって、前記顕微鏡ステージを手動操作により動かすための方向指示が提供され、前記方向指示は、視覚的な指示および聴覚的な指示からなる群から選択される方向指示であることを特徴とする請求項２４に記載の方法。
【請求項２６】
前記視覚的な方向指示を提供する工程が、前記視野画像を、前記第１の目的興味対象物の前記推定座標位置に対して関連付ける、英数字による指示、文字による指示、および動的なマップによる指示のうち少なくとも一つを提供する工程をさらに含むことを特徴とする請求項２５に記載の方法。
【請求項２７】
下記の各工程をさらに含むことを特徴とする請求項１６に記載の方法：
前記表示された前記蓄積保存された前記興味対象物の画像から、第２の目的興味対象物を選択する工程；
前記興味対象物が互いに相対的にマッピングされたマップ、および第２の目的興味対象物に対応する、前記興味対象物の蓄積保存された座標についての第１のオフセットのうち少なくとも一つを用いて、第１の目的興味対象物に対して相対的に、第２の目的興味対象物の前記スライド上での位置を再検索する工程；および
前記所在していた第２の目的興味対象物の実際の座標と、前記第２の目的興味対象物に対応する前記蓄積保存された前記興味対象物の座標との間の第２のオフセットを決定する工程。
【請求項２８】
前記第２の目的興味対象物の位置を再検索する工程が、第２の目的興味対象物に対応する、前記スライド上の第２の推定座標位置における視野画像と、前記蓄積保存された第２の目的興味対象物の画像とを比較して、第２の目的興味対象物が前記視野画像中に所在しているか否かを決定する工程をさらに含むことを特徴とする請求項２７に記載の方法。
【請求項２９】
第２の目的興味対象物の実際の座標に対する相対的な第１の目的興味対象物の実際の座標、および対応するマッピングされた興味対象物について検証するために、第１のオフセットと、第２のオフセットとを比較する工程をさらに含むことを特徴とする請求項２７に記載の方法。
【請求項３０】
第１および第２の目的興味対象物の実際の座標と、対応するマッピングされた興味対象物とを比較することにより、マッピングされた興味対象物に関わる前記スライドの回転度合いを決定する工程をさらに含むことを特徴とする請求項２７に記載の方法。
【請求項３１】
顕微鏡対物レンズを介して観察される、スライド上のサンプル中の興味対象物の位置を再検索する方法であって、前記スライドは前記サンプル中の興味対象物を決定するために既にスキャンされており、各興味対象物について対応する座標が既に関連付けられており、各興味対象物について画像および対応する座標が既に蓄積保存されており、前記興味対象物は、前記座標を用いて、それぞれ互いに相対的に既にマッピングされており、かつ、以下の各工程を含むことを特徴とする方法：
画像表示部上に、前記蓄積保存された前記興味対象物の画像を表示する工程；
前記表示された前記蓄積保存された前記興味対象物の画像から、第１の目的興味対象物を選択する工程；
前記顕微鏡ステージを介して、前記第１の目的興味対象物の座標に対応する、前記スライド上の第１の推定座標位置へ、前記スライドを動かす工程；
前記顕微鏡対物レンズを介して観察された、前記第１の推定座標位置における、前記サンプルの視野画像と、前記第１の目的興味対象物の前記蓄積保存された画像とを手作業により比較して、前記第１の目的興味対象物が前記視野画像中に所在していた場合に、前記所在していた第１の目的興味対象物の実際の座標と、前記第１の目的興味対象物に対応する前記蓄積保存された前記興味対象物の座標との間の第１のオフセットを決定する工程；および
前記視野画像において前記第１の目的興味対象物が中心に位置するように、前記第１のオフセットに従って、前記顕微鏡ステージを介して、前記スライドを前記第１の推定座標位置から動かす工程。
【請求項３２】
前記顕微鏡ステージ上の前記スライドの位置決めを行う工程の後に、前記スライドの配置と前記顕微鏡ステージの動きとに関連付けられるステージ座標系を決定する工程をさらに含むことを特徴とする請求項３１に記載の方法。
【請求項３３】
前記顕微鏡ステージを介して、前記第１の目的興味対象物の座標に対応する、前記スライド上の第１の推定座標位置へ、前記スライドを動かす工程が、前記ステージ座標系に変換された、前記第１の目的興味対象物の座標に対応する前記スライド上の第１の推定座標位置へ、前記スライドを動かすことをさらに含むことを特徴とする請求項３２に記載の方法。
【請求項３４】
前記顕微鏡ステージを介して前記スライドを動かす工程が、前記スライドを動かすために前記顕微鏡ステージを、手動操作により動かすこと、および自動的に動かすことの少なくとも一方をさらに含むことを特徴とする請求項３１に記載の方法。
【請求項３５】
前記顕微鏡ステージが手動操作により動かされる際、前記第１の目的興味対象物に向かって、前記顕微鏡ステージを手動操作により動かすための方向指示が提供され、前記方向指示は、視覚的な指示および聴覚的な指示からなる群から選択される方向指示であることを特徴とする請求項３４に記載の方法。
【請求項３６】
前記視覚的な方向指示を提供する工程が、前記視野画像を、前記第１の目的興味対象物の前記推定座標位置に対して関連付ける、英数字による指示、文字による指示、および動的なマップによる指示のうち少なくとも一つを提供する工程をさらに含むことを特徴とする請求項３５に記載の方法。
【請求項３７】
下記の各工程をさらに含むことを特徴とする請求項３１に記載の方法：
前記表示された前記蓄積保存された前記興味対象物の画像から、第２の目的興味対象物を選択する工程；
前記興味対象物が互いに相対的にマッピングされたマップ、および第２の目的興味対象物に対応する、前記興味対象物の蓄積保存された座標についての第１のオフセットのうち少なくとも一つを用いて、第２の目的興味対象物の第２の推定座標位置に前記スライドを動かす工程；および
前記顕微鏡対物レンズを介して観察された、第２の推定座標位置における、前記サンプルの視野画像と、第２の目的興味対象物の前記蓄積保存された画像とを手作業により比較して、前記第２の目的興味対象物が前記視野画像中に所在していた場合に、前記所在していた第２の目的興味対象物の実際の座標と、前記第２の目的興味対象物に対応する前記蓄積保存された前記興味対象物の座標との間の第２のオフセットを決定する工程。
【請求項３８】
第２の目的興味対象物の実際の座標に対する相対的な第１の目的興味対象物の実際の座標、および対応するマッピングされた興味対象物について検証するために、第１のオフセットと、第２のオフセットとを比較する工程をさらに含むことを特徴とする請求項３７に記載の方法。
【請求項３９】
第１および第２の目的興味対象物の実際の座標と、対応するマッピングされた興味対象物とを比較することにより、マッピングされた興味対象物に関わる前記スライドの回転度合いを決定する工程をさらに含むことを特徴とする請求項３７に記載の方法。
【請求項１】
顕微鏡対物レンズを介して観察される、スライド上のサンプル中の興味対象物の位置を再検索する方法であって、以下の各工程を含むことを特徴とする方法：
前記サンプル中の興味対象物を決定するために前記スライドをスキャンして、各興味対象物について対応する座標を関連付けて、各興味対象物について画像および対応する座標を蓄積保存する工程；
前記座標を用いて、前記興味対象物をそれぞれ互いに相対的にマッピングする工程；
顕微鏡ステージ上の前記スライドの位置決めを行う工程；
画像表示部上に、前記蓄積保存された前記興味対象物の画像を表示する工程；
前記表示された前記蓄積保存された前記興味対象物の画像から、第１の目的興味対象物を選択する工程；
前記顕微鏡ステージを介して、前記第１の目的興味対象物の座標に対応する、前記スライド上の第１の推定座標位置へ、前記スライドを動かす工程；
前記顕微鏡対物レンズを介して、前記第１の推定座標位置における、前記サンプルの視野画像を取得する工程；
前記視野画像と、前記第１の目的興味対象物の前記蓄積保存された画像とを比較して、前記第１の目的興味対象物が前記視野画像中に所在していた場合に、前記所在していた第１の目的興味対象物の実際の座標と、前記第１の目的興味対象物に対応する前記蓄積保存された前記興味対象物の座標との間の第１のオフセットを決定する工程；および
前記視野画像において前記第１の目的興味対象物が中心に位置するように、前記第１のオフセットに従って、前記顕微鏡ステージを介して、前記スライドを前記第１の推定座標位置から動かす工程。
【請求項２】
前記顕微鏡ステージ上の前記スライドの位置決めを行う工程の後に、前記スライドの配置と前記顕微鏡ステージの動きとに関連付けられるステージ座標系を決定する工程をさらに含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記顕微鏡ステージを介して、前記第１の目的興味対象物の座標に対応する、前記スライド上の第１の推定座標位置へ、前記スライドを動かす工程が、前記ステージ座標系に変換された、前記第１の目的興味対象物の座標に対応する前記スライド上の第１の推定座標位置へ、前記スライドを動かすことをさらに含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記視野画像と、前記第１の目的興味対象物の前記蓄積保存された画像との比較が、手動による同定処理、および相関処理のうちの一つを用いて、前記視野画像と、前記第１の目的興味対象物の前記蓄積保存された画像とを比較することをさらに含むことを特徴とする請求項１に記載の方法。
【請求項５】
前記視野画像と、前記第１の目的興味対象物の前記蓄積保存された画像との相関処理を用いた比較が、空間領域相関処理および周波数領域相関処理のうちの一つを用いて、前記視野画像と、前記第１の目的興味対象物の前記蓄積保存された画像とを比較することをさらに含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記視野画像と、前記第１の目的興味対象物の前記蓄積保存された画像との相関処理を用いた比較が、畳み込み相関処理および高速フーリエ変換のうちの一つを用いて、前記視野画像と、前記第１の目的興味対象物の前記蓄積保存された画像とを比較することをさらに含むことを特徴とする請求項４に記載の方法。
【請求項７】
前記第１の目的興味対象物が前記視野画像中に所在していない場合に、自動的に、前記スライドを、前記顕微鏡ステージを介して、前記推定座標位置の周りを、継続的に半径が増大する回転運動により動かすとともに、さらなる視野画像を取得し、それぞれの視野画像内において前記第１の目的興味対象物を探す工程をさらに含むことを特徴とする請求項１に記載の方法。
【請求項８】
前記第１の目的興味対象物が前記視野画像中に所在していない場合に、手動操作により、前記顕微鏡ステージを介して前記スライドを動かすとともに、さらなる視野画像を取得し、それぞれの視野画像内において前記第１の目的興味対象物を探す工程をさらに含むことを特徴とする請求項１に記載の方法。
【請求項９】
前記顕微鏡ステージを介して前記スライドを動かす工程が、前記スライドを動かすために前記顕微鏡ステージを、手動操作により動かすこと、および自動的に動かすことの少なくとも一方をさらに含むことを特徴とする請求項１に記載の方法。
【請求項１０】
前記顕微鏡ステージが手動操作により動かされる際、前記第１の目的興味対象物に向かって、前記顕微鏡ステージを手動操作により動かすための方向指示が提供され、前記方向指示は、視覚的な指示および聴覚的な指示からなる群から選択される方向指示であることを特徴とする請求項９に記載の方法。
【請求項１１】
前記視覚的な方向指示を提供する工程が、前記視野画像を、前記第１の目的興味対象物の前記推定座標位置に対して関連付ける、英数字による指示、文字による指示、および動的なマップによる指示のうち少なくとも一つを提供する工程をさらに含むことを特徴とする請求項１０に記載の方法。
【請求項１２】
下記の各工程をさらに含むことを特徴とする請求項１に記載の方法：
前記表示された前記蓄積保存された前記興味対象物の画像から、第２の目的興味対象物を選択する工程；
前記興味対象物が互いに相対的にマッピングされたマップ、および第２の目的興味対象物に対応する、前記興味対象物の蓄積保存された座標についての第１のオフセットのうち少なくとも一つを用いて、第１の目的興味対象物に対して相対的に、第２の目的興味対象物の前記スライド上での位置を再検索する工程；および
前記所在していた第２の目的興味対象物の実際の座標と、前記第２の目的興味対象物に対応する前記蓄積保存された前記興味対象物の座標との間の第２のオフセットを決定する工程。
【請求項１３】
前記第２の目的興味対象物の位置を再検索する工程が、第２の目的興味対象物に対応する、前記スライド上の第２の推定座標位置における視野画像と、前記蓄積保存された第２の目的興味対象物の画像とを比較して、第２の目的興味対象物が前記視野画像中に所在しているか否かを決定する工程をさらに含むことを特徴とする請求項１２に記載の方法。
【請求項１４】
第２の目的興味対象物の実際の座標に対する相対的な第１の目的興味対象物の実際の座標、および対応するマッピングされた興味対象物について検証するために、第１のオフセットと、第２のオフセットとを比較する工程をさらに含むことを特徴とする請求項１２に記載の方法。
【請求項１５】
第１および第２の目的興味対象物の実際の座標と、対応するマッピングされた興味対象物とを比較することにより、マッピングされた興味対象物に関わる前記スライドの回転度合いを決定する工程をさらに含むことを特徴とする請求項１２に記載の方法。
【請求項１６】
顕微鏡対物レンズを介して観察される、スライド上のサンプル中の興味対象物の位置を再検索する方法であって、前記スライドは前記サンプル中の興味対象物を決定するために既にスキャンされており、各興味対象物について対応する座標が既に関連付けられており、各興味対象物について画像および対応する座標が既に蓄積保存されており、前記興味対象物は、前記座標を用いて、それぞれ互いに相対的に既にマッピングされており、かつ、以下の各工程を含むことを特徴とする方法：
画像表示部上に、前記蓄積保存された前記興味対象物の画像を表示する工程；
前記表示された前記蓄積保存された前記興味対象物の画像から、第１の目的興味対象物を選択する工程；
前記顕微鏡ステージを介して、前記第１の目的興味対象物の座標に対応する、前記スライド上の第１の推定座標位置へ、前記スライドを動かす工程；
前記顕微鏡対物レンズを介して、前記第１の推定座標位置における、前記サンプルの視野画像を取得する工程；
前記視野画像と、前記第１の目的興味対象物の前記蓄積保存された画像とを比較して、前記第１の目的興味対象物が前記視野画像中に所在していた場合に、前記所在していた第１の目的興味対象物の実際の座標と、前記第１の目的興味対象物に対応する前記蓄積保存された前記興味対象物の座標との間の第１のオフセットを決定する工程；および
前記視野画像において前記第１の目的興味対象物が中心に位置するように、前記第１のオフセットに従って、前記顕微鏡ステージを介して、前記スライドを前記第１の推定座標位置から動かす工程。
【請求項１７】
前記顕微鏡ステージ上の前記スライドの位置決めを行う工程の後に、前記スライドの配置と前記顕微鏡ステージの動きとに関連付けられるステージ座標系を決定する工程をさらに含むことを特徴とする請求項１６に記載の方法。
【請求項１８】
前記顕微鏡ステージを介して、前記第１の目的興味対象物の座標に対応する、前記スライド上の第１の推定座標位置へ、前記スライドを動かす工程が、前記ステージ座標系に変換された、前記第１の目的興味対象物の座標に対応する前記スライド上の第１の推定座標位置へ、前記スライドを動かすことをさらに含むことを特徴とする請求項１７に記載の方法。
【請求項１９】
前記視野画像と、前記第１の目的興味対象物の前記蓄積保存された画像との比較が、手動による同定処理、および相関処理のうちの一つを用いて、前記視野画像と、前記第１の目的興味対象物の前記蓄積保存された画像とを比較することをさらに含むことを特徴とする請求項１６に記載の方法。
【請求項２０】
前記視野画像と、前記第１の目的興味対象物の前記蓄積保存された画像との相関処理を用いた比較が、空間領域相関処理および周波数領域相関処理のうちの一つを用いて、前記視野画像と、前記第１の目的興味対象物の前記蓄積保存された画像とを比較することをさらに含むことを特徴とする請求項１９に記載の方法。
【請求項２１】
前記視野画像と、前記第１の目的興味対象物の前記蓄積保存された画像との相関処理を用いた比較が、畳み込み相関処理および高速フーリエ変換のうちの一つを用いて、前記視野画像と、前記第１の目的興味対象物の前記蓄積保存された画像とを比較することをさらに含むことを特徴とする請求項１９に記載の方法。
【請求項２２】
前記第１の目的興味対象物が前記視野画像中に所在していない場合に、自動的に、前記スライドを、前記顕微鏡ステージを介して、前記推定座標位置の周りを、継続的に半径が増大する回転運動により動かすとともに、さらなる視野画像を取得し、それぞれの視野画像内において前記第１の目的興味対象物を探す工程をさらに含むことを特徴とする請求項１６に記載の方法。
【請求項２３】
前記第１の目的興味対象物が前記視野画像中に所在していない場合に、手動操作により、前記顕微鏡ステージを介して前記スライドを動かすとともに、さらなる視野画像を取得し、それぞれの視野画像内において前記第１の目的興味対象物を探す工程をさらに含むことを特徴とする請求項１６に記載の方法。
【請求項２４】
前記顕微鏡ステージを介して前記スライドを動かす工程が、前記スライドを動かすために前記顕微鏡ステージを、手動操作により動かすこと、および自動的に動かすことの少なくとも一方をさらに含むことを特徴とする請求項１６に記載の方法。
【請求項２５】
前記顕微鏡ステージが手動操作により動かされる際、前記第１の目的興味対象物に向かって、前記顕微鏡ステージを手動操作により動かすための方向指示が提供され、前記方向指示は、視覚的な指示および聴覚的な指示からなる群から選択される方向指示であることを特徴とする請求項２４に記載の方法。
【請求項２６】
前記視覚的な方向指示を提供する工程が、前記視野画像を、前記第１の目的興味対象物の前記推定座標位置に対して関連付ける、英数字による指示、文字による指示、および動的なマップによる指示のうち少なくとも一つを提供する工程をさらに含むことを特徴とする請求項２５に記載の方法。
【請求項２７】
下記の各工程をさらに含むことを特徴とする請求項１６に記載の方法：
前記表示された前記蓄積保存された前記興味対象物の画像から、第２の目的興味対象物を選択する工程；
前記興味対象物が互いに相対的にマッピングされたマップ、および第２の目的興味対象物に対応する、前記興味対象物の蓄積保存された座標についての第１のオフセットのうち少なくとも一つを用いて、第１の目的興味対象物に対して相対的に、第２の目的興味対象物の前記スライド上での位置を再検索する工程；および
前記所在していた第２の目的興味対象物の実際の座標と、前記第２の目的興味対象物に対応する前記蓄積保存された前記興味対象物の座標との間の第２のオフセットを決定する工程。
【請求項２８】
前記第２の目的興味対象物の位置を再検索する工程が、第２の目的興味対象物に対応する、前記スライド上の第２の推定座標位置における視野画像と、前記蓄積保存された第２の目的興味対象物の画像とを比較して、第２の目的興味対象物が前記視野画像中に所在しているか否かを決定する工程をさらに含むことを特徴とする請求項２７に記載の方法。
【請求項２９】
第２の目的興味対象物の実際の座標に対する相対的な第１の目的興味対象物の実際の座標、および対応するマッピングされた興味対象物について検証するために、第１のオフセットと、第２のオフセットとを比較する工程をさらに含むことを特徴とする請求項２７に記載の方法。
【請求項３０】
第１および第２の目的興味対象物の実際の座標と、対応するマッピングされた興味対象物とを比較することにより、マッピングされた興味対象物に関わる前記スライドの回転度合いを決定する工程をさらに含むことを特徴とする請求項２７に記載の方法。
【請求項３１】
顕微鏡対物レンズを介して観察される、スライド上のサンプル中の興味対象物の位置を再検索する方法であって、前記スライドは前記サンプル中の興味対象物を決定するために既にスキャンされており、各興味対象物について対応する座標が既に関連付けられており、各興味対象物について画像および対応する座標が既に蓄積保存されており、前記興味対象物は、前記座標を用いて、それぞれ互いに相対的に既にマッピングされており、かつ、以下の各工程を含むことを特徴とする方法：
画像表示部上に、前記蓄積保存された前記興味対象物の画像を表示する工程；
前記表示された前記蓄積保存された前記興味対象物の画像から、第１の目的興味対象物を選択する工程；
前記顕微鏡ステージを介して、前記第１の目的興味対象物の座標に対応する、前記スライド上の第１の推定座標位置へ、前記スライドを動かす工程；
前記顕微鏡対物レンズを介して観察された、前記第１の推定座標位置における、前記サンプルの視野画像と、前記第１の目的興味対象物の前記蓄積保存された画像とを手作業により比較して、前記第１の目的興味対象物が前記視野画像中に所在していた場合に、前記所在していた第１の目的興味対象物の実際の座標と、前記第１の目的興味対象物に対応する前記蓄積保存された前記興味対象物の座標との間の第１のオフセットを決定する工程；および
前記視野画像において前記第１の目的興味対象物が中心に位置するように、前記第１のオフセットに従って、前記顕微鏡ステージを介して、前記スライドを前記第１の推定座標位置から動かす工程。
【請求項３２】
前記顕微鏡ステージ上の前記スライドの位置決めを行う工程の後に、前記スライドの配置と前記顕微鏡ステージの動きとに関連付けられるステージ座標系を決定する工程をさらに含むことを特徴とする請求項３１に記載の方法。
【請求項３３】
前記顕微鏡ステージを介して、前記第１の目的興味対象物の座標に対応する、前記スライド上の第１の推定座標位置へ、前記スライドを動かす工程が、前記ステージ座標系に変換された、前記第１の目的興味対象物の座標に対応する前記スライド上の第１の推定座標位置へ、前記スライドを動かすことをさらに含むことを特徴とする請求項３２に記載の方法。
【請求項３４】
前記顕微鏡ステージを介して前記スライドを動かす工程が、前記スライドを動かすために前記顕微鏡ステージを、手動操作により動かすこと、および自動的に動かすことの少なくとも一方をさらに含むことを特徴とする請求項３１に記載の方法。
【請求項３５】
前記顕微鏡ステージが手動操作により動かされる際、前記第１の目的興味対象物に向かって、前記顕微鏡ステージを手動操作により動かすための方向指示が提供され、前記方向指示は、視覚的な指示および聴覚的な指示からなる群から選択される方向指示であることを特徴とする請求項３４に記載の方法。
【請求項３６】
前記視覚的な方向指示を提供する工程が、前記視野画像を、前記第１の目的興味対象物の前記推定座標位置に対して関連付ける、英数字による指示、文字による指示、および動的なマップによる指示のうち少なくとも一つを提供する工程をさらに含むことを特徴とする請求項３５に記載の方法。
【請求項３７】
下記の各工程をさらに含むことを特徴とする請求項３１に記載の方法：
前記表示された前記蓄積保存された前記興味対象物の画像から、第２の目的興味対象物を選択する工程；
前記興味対象物が互いに相対的にマッピングされたマップ、および第２の目的興味対象物に対応する、前記興味対象物の蓄積保存された座標についての第１のオフセットのうち少なくとも一つを用いて、第２の目的興味対象物の第２の推定座標位置に前記スライドを動かす工程；および
前記顕微鏡対物レンズを介して観察された、第２の推定座標位置における、前記サンプルの視野画像と、第２の目的興味対象物の前記蓄積保存された画像とを手作業により比較して、前記第２の目的興味対象物が前記視野画像中に所在していた場合に、前記所在していた第２の目的興味対象物の実際の座標と、前記第２の目的興味対象物に対応する前記蓄積保存された前記興味対象物の座標との間の第２のオフセットを決定する工程。
【請求項３８】
第２の目的興味対象物の実際の座標に対する相対的な第１の目的興味対象物の実際の座標、および対応するマッピングされた興味対象物について検証するために、第１のオフセットと、第２のオフセットとを比較する工程をさらに含むことを特徴とする請求項３７に記載の方法。
【請求項３９】
第１および第２の目的興味対象物の実際の座標と、対応するマッピングされた興味対象物とを比較することにより、マッピングされた興味対象物に関わる前記スライドの回転度合いを決定する工程をさらに含むことを特徴とする請求項３７に記載の方法。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公表番号】特表２００８−５４４３０８（Ｐ２００８−５４４３０８Ａ）
【公表日】平成２０年１２月４日（２００８．１２．４）
【国際特許分類】
【出願番号】特願２００８−５１６４３２（Ｐ２００８−５１６４３２）
【出願日】平成１８年６月８日（２００６．６．８）
【国際出願番号】ＰＣＴ／ＩＢ２００６／００１５１８
【国際公開番号】ＷＯ２００６／１３４４４４
【国際公開日】平成１８年１２月２１日（２００６．１２．２１）
【出願人】（５０２１１８９９３）トライパス イメージング インコーポレイテッド (5)
【Ｆターム（参考）】
【公表日】平成２０年１２月４日（２００８．１２．４）
【国際特許分類】
【出願日】平成１８年６月８日（２００６．６．８）
【国際出願番号】ＰＣＴ／ＩＢ２００６／００１５１８
【国際公開番号】ＷＯ２００６／１３４４４４
【国際公開日】平成１８年１２月２１日（２００６．１２．２１）
【出願人】（５０２１１８９９３）トライパス イメージング インコーポレイテッド (5)
【Ｆターム（参考）】
[ Back to top ]