無染色細胞の顕微鏡画像を向上させるための画像システム及び方法
本発明は、一態様によれば、非染色細胞の顕微鏡画像を向上させるための画像システム（１００）に関する。画像システム（１００）は、光（１２０a）を生成するための光源（１０２）と、画像化される細胞を収容するための試料ホルダ（１０９）と、試料ホルダ（１０９）内の焦点面への光（１２０ｂ）を、画像化される細胞に集束するための集光レンズ１０４と、光（１２０ｂ）の焦点面を、試料ホルダ（１０９）に対して移動するための移動メカニズムと、試料ホルダ（１０９）内の個々の焦点面において複数の画像を捕捉し、且つ、向上された処理画像を提供するために、これらの画像を処理するよう構成された検出システム（１１２）とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顕微鏡法に関し、特に、画像コントラストを向上させるための顕微鏡画像の画像処理に関する。
【背景技術】
【０００２】
生体細胞を画像化するための技術としての顕微鏡法は、何百年も用いられており、その間に、多くの技術が開発されて、さまざまな顕微鏡を使用して取得された生体細胞の画像の質を向上させてきた。
歴史的に、顕微鏡技術については、画像を向上させるための複雑な光学ベースのソリューション[１〜６]から、画像を向上させるために、取得された画像に種々の画像処理を技術[７〜９]を適用するような最近の発展へと、進化が見られる。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、現代光学及び画像処理技術の組み合わせによって、顕微鏡画像の向上が可能になってはきたが、従来の技術が画像を向上させるための最適なものとはいえない応用も、依然として存在している。
例えば、種々の応用においては、透過光を用いた非染色細胞の可視化が、画像化の望ましい方法であると考えられている。しかし、細胞が周囲の媒体とのコントラストを欠いている場合には、細胞の画像化が難しい。さらには、蛍光マーカ［６，８］の使用等の、この問題に対処するために用いられるある種の従来技術を使用することは、ハイスループットスクリーニング（HTS）顕微鏡解析等の種々の応用にはあまり適していない。なぜなら、これらの従来技術では、生体細胞を傷つけるか、又は生体細胞の中で起こっている生化学プロセスに影響を与える可能性のある、化学造影剤の使用を必要とするからである。
【０００４】
本発明のさまざまな態様及び実施形態は、上述した従来の顕微鏡システムの欠点を念頭において開発されたものである。
【課題を解決するための手段】
【０００５】
本発明の第１の態様では、非染色細胞の顕微鏡画像を向上させるための画像システムが提供される。この画像システムは、光を発生するための光源と、画像化される細胞を収容するための試料ホルダと、試料ホルダ内の焦点面への光を、画像化される細胞に集束するための集光レンズと、試料ホルダに対して光の焦点面を移動するための移動メカニズムと、最良の焦点に近い試料ホルダ内の各焦点面で、複数の画像を捕捉するよう構成された検出システムと、を備えている。
【０００６】
本発明の第２の態様では、非染色細胞の顕微鏡画像を向上させるための方法が提供される。該方法は、試料ホルダ内の各焦点面で複数の画像を捕捉するステップと、向上された処理画像を提供するために、該複数の画像を処理するステップとを含んでいる。
【０００７】
このような画像システム及び方法は、細胞の画像化のための画像の捕捉及び向上処理の自動化を可能にする。これにより、非熟練者が、本発明の態様を利用して、ハイスループットスクリーニング解析において、潜在的関心のある効果を示している細胞の変化を、より正確に識別することができることになる。例えば、さまざまなタイプの細胞に効果のある、潜在的に有用な薬剤化合物が、これらの細胞を自動的に画像化することにより特定することができる。さらに、これらの細胞の体内を正確に画像化することができるので、例えば、向上された処理画像を捕捉するために、蛍光マーカ又は放射性アイソトープを用いて細胞の染色又はタグ付けをする必要がない。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る、非染色細胞の顕微鏡画像を向上させるための画像システムを示す図である。
【図２】本発明の一実施形態に係る、非染色細胞の顕微鏡画像を向上させるための方法を示すフロー図である。
【図３】本発明のさまざまな実施形態で用いる光学システムの一部を示す図である。
【図４】細胞のレンズ化(cell lensing)によってもたらされる暗コントラストを示す図である。
【図５】本発明に係る方法によって取得された原画像及び処理画像を示す図である。
【図６】本発明に係る方法によって取得された図５の画像について、処理画像に閾値フィルタを適用した画像を示す図である。
【発明を実施するための形態】
【０００９】
図１は、本発明の一実施形態に係る、非染色細胞の顕微鏡画像を向上させるための画像システム１００を示している。明確にするために概略的に示した画像システム１００は、光１２０ａを生成するための光源１０２を備えている。光源１０２は、明視野ケーラ照明(bright-field Kohler illumination)を提供する。
【００１０】
光１２０ａは、集光レンズ１０４によって試料ホルダ１０９上に集束される。試料ホルダ１０９は、画像化される細胞を収容するために用いられ、集光レンズ１０４は、光１２０ｂを試料ホルダ１０９内の焦点面に集束する。１又は複数の試料ホルダ１０９は、試料ホルダトレイ１０８内にマトリックス状に提供される。例えば、試料ホルダは、数多くの試料ホルダを有するコンシューマブルスポットプレート(consumable spot plate)上のスポットとして提供され、それぞれのスポットには、特定の１又は複数の生化学反応を識別するのに適した１又は複数の細胞型(cell type)が提供される。
【００１１】
画像システム１００はさらに、検出システム１１２及び移動メカニズム（不図示）を備えている。移動メカニズムは、試料ホルダ１０９に対して光１２０ｂの焦点を移動する（例：試料ホルダトレイ１０８の深さ方向すなわち±ｚ方向に移動する）よう構成される。これにより、複数の画像が、さまざまな試料ホルダ１０９内からの複数の個別の焦点面（ｚ方向と垂直の）で捕捉される。また、移動メカニズムは、例えば、複数の試料ホルダ１０９に焦点を合わせるために、図１に示すように、試料ホルダトレイ１０８を種々のｘ-ｙ平面において、１次元又は２次元のいずれかにおいて移動するよう動作する。
【００１２】
検出システム１１２は、試料ホルダ１０９内の最良の焦点を特定するために用いられる。検出システム１１２は、試料ホルダ１０９内の（例：最良の焦点の近くで）個別の焦点面（例：ｚ位置）で複数の画像を捕捉して、該複数の画像を処理して向上された処理画像を提供するよう動作する。このような機能を実施するための種々の方法を、以下で詳細に説明する。
【００１３】
開口絞り１０６は、光源１０２と検出システム１１２との間に設けられるが、そのサイズは可変である。例えば、多様な異なるサイズの可動絞りを回転して位置させるか、又は連続的に変化する虹彩型絞りが設けられてもよい。画像コントラストは、開口絞り１０６の絞りの設定を変更することによって制御することができる。
【００１４】
開口絞り１０６を通過した集光（集光された光）１２０bは、透過画像モードで試料ホルダトレイ１０８を通過する。各試料ホルダ１０９に保持された任意の細胞に関する画像情報によって変調された、発生光(emergent light)１２０cは、対物レンズ１１０によって集められ、検出システム１１２上に集光される(１２０d)。
【００１５】
変形形態の１つでは、複数の画像の処理がプロセッサ（不図示）によって実行される。プロセッサは、検出システム１１２を制御して、検出システムによって取得された画像を捕捉、記憶、かつ処理するよう動作する。さらに、プロセッサは、移動メカニズムを制御して、試料ホルダ１０９に対する光源１０２の焦点（すなわち、ｚ方向である深さ方向の位置）を移動して、かつオプションで最良の焦点（すなわち、最適ｚ位置設定）を特定するよう構成される。プロセッサは、例えば、これらのタスクを実行するよう適切にプログラムされた、コンピュータシステムの一部として提供される。
【００１６】
プロセッサは、ピクセルバイピクセル（画素毎）の最小化動作を、複数の画像のそれぞれに適用することによって、いわゆる暗画像であるU1を識別する。それから非線形トップハット（NTH：non-linear top-hat）変換が暗画像U1に適用されることにより、中間画像U2が取得され、そして中間画像U2が処理されて、向上された出力画像Urが生成される。
NTHセグメンテーションの基準は、以下に示すピクセル単位の画像変換である。
NTH(U; ε|K)＝U・<U>ε／(<U>Kε)2 （１）
ただし、K＞１
【００１７】
スケールパラメータε（検出スケール）は、関心対象の物体のサイズに関連している。上記した式（１）によって示された変換は、次の局所処理に関する発見的数式（heuristic formula)、すなわち「あるピクセルが明(bright)であり、ピクセルのすぐ付近（εサイズ）が明であり、かつピクセルから離れた付近(Kεサイズ）が薄暗(dim)であれば、そのピクセルは画質向上処理される」を実行する。
【００１８】
多様な実施形態において、暗画像は、
U1＝mink{U(Zk)} （２）
によって定義される。ここで、U(Zk)はｚ平面におけるk番目の画像である。
また、中間画像は、
U2＝NTH(inv[U１];ε|.) （３）
によって定義される。ここで、NHTは、反転された暗画像に適用された、非線形のεピクセルサイズ（例：m=９）のトップハット動作であり、inv[ ]は、画像反転動作である。セグメント化された出力画像Urは、以下の変換を適用することによって取得される。
Ur＝UT＋{(U2−UT)+|U2−UT|}／2 （４）
ここで、UTは閾値画像を定義している。例えば、いくつかの実施形態では、全てのピクセル値に関して、UTは、UT＝１に設定されている。
【００１９】
従来の顕微鏡法では、コントラストはデフォーカス量に比例している。しかし、明特性情報を除去して暗特性情報を用いることにより、細胞のレンズ化効果(cell lensing effect)を用いて画像コントラストを向上することができることを示すために、本出願人は、ある種の細胞はレンズの役割を果たすという理論を応用している。このクライテリアが満足されると、以下で概説するように、さまざまな作用効果が得られる。このように、本発明に係るさまざまな実施形態において、以下にさらに詳述するように、明特性及び／又は暗特性の情報を、可能であれば組み合わせて、用いることが可能である。
【００２０】
細胞のレンズ化効果を利用した種々のシステム及び方法を、単純なやり方で細胞のコントラスト比を最適化するために用いることができる。さらに、良好なコントラスト画像を、比較的厚めの試料（たとえば、試料の厚みが、画像化される細胞の平均的な細胞直径である約２ｘ、５ｘ、１０ｘ、２０ｘ、５０ｘ、１００ｘ、等よりも大きい場合）から取得することができ、かつ、マークのないすなわちタグのない、光学的コントラストの低い細胞を用いることができる。例えば、レンズ化効果を生じさせるのに適した細胞は、ある種の血管新生細胞、血液細胞、精子細胞、各膜実質細胞、幹細胞、又は通常の正曲率を有する袋状の種々の他の細胞等、ほぼレンズ状の形状をしている。
【００２１】
さらに、さまざまな細胞核及び細胞体が画像化され、かつ／又は、多数のｚ平面セクションが、簡単に自動的又は半自動的に解析できるように、単一の画像にまとめられる。このようにして、関心対象の種々の細胞特性の迅速かつ正確な識別がもたらされるので、本発明のさまざまな実施形態は、HTSを含むアプリケーションに特に適している。
【００２２】
図２は、本発明の種々の様態及び実施形態に係る、非染色細胞の顕微鏡画像を向上させるための方法２００を示している。方法２００は、画質が向上した処理画像を提供するために、一連の画像を捕捉し処理するステップを含み、該方法は、軸方向のデフォーカシングを用いて、ｚ方向において複数の画像を取得することにより、非染色細胞の顕微鏡画像を向上させるために用いられる。
【００２３】
ステップ２０２では、画像が第１の焦点面で取得される。例えば、この画像は、上述の図１に関して説明されたタイプの画像システムを使用して取得される。オプション的に、例えば画像のコントラストを向上させるために、画像を取得する前段で開口絞りを設定する追加ステップを実行してもよい。
画像が取得されると、ステップ２０４で画像は記憶される。そしてステップ２０６で、さらに追加の画像を捕捉する必要があるかどうかが決定される。
【００２４】
追加的な画像を捕捉する必要がある場合は、試料内の焦点面の位置を修正するために、ステップ２０８でＺステージの移動（Ｚ方向へのステージの移動）がなされる。次に、方法２００はステップ２０２に戻って、追加的な画像が捕捉される。それから、ステップ２０４で追加的な画像が記憶されて、決定ステップ２０６は、一連のｋ個の画像が取得されるまで、ｚステージの移動、画像の捕捉、及び記憶のステップを繰り返す（ここでｋは２以上の整数である）。複数のｋ個の画像が取得されると、方法２００は処理ステップ２１０に進む。処理ステップ２１０は、暗画像U1を識別するために、ピクセルバイピクセルの最小化動作を、複数の画像のそれぞれに適応するステップと、次に中間画像U2を取得するために、反転された暗画像U1に非線形トップハット変換を適用するステップと、最後にセグメント化された出力画像Urを生成するために、中間画像U2を処理するステップと、を含んでいる。種々の実施形態では、U1、U2、及びUrの値は、上述で定義した式（２）〜（４）のそれぞれに従って決定される。
【００２５】
図３は、本発明のさまざまな実施形態での使用に最適なシステムの一部を示している。この最適なシステムの一部は、検出システム１１２の一部を形成するカメラ上に集光するための上側対物レンズ１１０と、画像システム１００の最適中央軸(central optical axis)であるｚ軸に沿ったさまざまな位置にある、直径Dcellのレンズ状細胞１５０を示している。
【００２６】
図３の左側の図では、細胞１５０は、ｚ軸に沿って対物レンズ１１０から離れる方向へ、対物レンズ１１０の焦点面Ｆから距離Pcellずれた位置にある。これによって、カメラで暗画像（図３の左下に図示）が生成される。
図３の右側の図では、細胞１５０は、ｚ軸に沿って対物レンズ１１０に向かう方向へ、対物レンズ１１０の焦点面Ｆから距離Pcellずれた位置にある。これによって、カメラで明画像（図３の右下に図示）が生成される。
【００２７】
図３の光学を解析すると、試料内の非均一Ｌの特性スケールが、入射のＥＭ放射の波長λに匹敵する状態（すなわち、λ≒Ｌ）では、結果として生じる（相互作用の）フィールドは回折によって決定される。一方、λ＜＜Ｌでは、屈折によって支配的な影響を受けるので、相互作用のフィールドは幾何光学的制限[９]が考慮される。
また一方で、生物細胞は、細胞質基質及び別の生物物質によって満たされたミクロンサイズの袋(sack)であるいうことができる。したがって、幾何光学の観点からは、細胞の大多数が凸レンズに似た形状を有している。
【００２８】
そこで、以下の番号を付した種々の考察及び予測を解析に使用する。
１．試料内の細胞は、ｚ軸に沿って分散される（例えば、厚い試料内で）ので、全ての細胞に同時に焦点が合うわけではない。従って、試料の厚みに渡って全体から現在の情報を収集するために、複数のｚ平面が画像化される。
２．明視野ケーラ照明モードが使用される。対物及び集光の開口数は、それぞれNAO及びNACであり、対物レンズの開き角α＝arcsin(NAO)である。
３．細胞は、周囲の媒体nmの屈折率とは若干異なる、平均的な屈折率ncの物質からなる、直径Dcell及び等しい曲率半径Rc, cell（ここで、Rc, cell≧Dcell/２）をもつ正（凸）のミクロンサイズの薄いレンズと表現できる。その差異は、｜Δn｜＝｜nc−nm｜≒0.02程度である。細胞が浸されている媒体は、均一かつ透明であり、なおかつnc＞nmであると考えられている。
【００２９】
４．物体の焦点面に正確に配置されると、該細胞は、なんらかの入射光を散乱するので、明るい背景でわずかに暗めに見える。細胞による散乱は、内部の非均一性（横方向の散乱side directional lobes of scattering）上の回折によって生じ、かつ入射光強度の数パーセントを構成している。
５．細胞は、物体の開口絞りの閉塞に対応した距離で、物体空間の焦点面の直前に配置されると（図３の左側にあるように）、主にレンズ化効果によって効果的な集光開口(effective light gathering aperture)が低減されることで、ピントがずれて見え、かつ明るい背景で暗くみえる。
６．同様に、細胞は、物体の開口絞りの閉塞に対応した距離で、物体により近くに焦点面の直後に配置されると（図３の右側にあるように）、集光開口が増大することによって、細胞はピントがずれて見えるが、暗い背景でより明るく見える。しかしながら、これはNAC＞NAOである場合にのみ生じる。なぜなら、この場合は、前述した光強度の利得（ゲイン）が、αよりも大きいαCell, brightの角度で集束する光線によって制限されるからである。
【００３０】
7．細胞のレンズ化効果によってもたらされるコントラストは、開口角αCellの比によって図３に示されているように推定することができる。この比は、「細胞」対「非細胞」の強度比によるものである。
ICell／INoCell≒αCell／α
≒{arctg[tg(α)±Δn／nm・DCell／Rc,Cell]}／α （５）
式（５）は、レンズの式及びレンズメーカの式に直接従う。（＋）及び（−）の記号は、「明」視野及び「暗」視野の場合に対応する。｜Δn｜が小さい場合、tg(α)付近の（4）におけるアークタンジェントのテーラ展開は、
ICell／INoCell≒αCell／α
≒1＋1／α・Δn／nm・DCell／Rc,Cell]・(1−NA02)
＝1＋1／arcsin(NA0)・Δn／nm・DCell／Rc,Cell・(1−NA02) （６）
である。なお、第２項のモジュールは、NAOの減少関数である。言い換えると、レンズ化によって生じたコントラストは、開口絞りの設定が低いほど大きくなる。この特性は、図４に示されたプロットによって例示されている。
【００３１】
上述の考察を考慮すると、以下に示すコントラスト向上のための単純なストラテジが可能である。
a)顕微鏡をNAC≦NAOに設定する。
b)薄い試料に関しては、２つの画像を捕捉する。その１つは焦点の合った画像であり、もう１つは、最良の焦点面に対して物体空間内の距離Pcell=Dcell/2tg(α)での画像である。
c)厚い試料に関しては、関連レンジにおいて複数のｚ平面からΔｚの間隔で画像を捕捉する。およそΔｚ＝Pcell/2=Dcell/4tg(α)である。
d)例えば、本明細書で言及された技術を用いることにより、捕捉されたｚ面の画像における細胞の暗特性(dark signatures)を探す。
【００３２】
他に可能なことは、NAC＞NAOで「明化」現象を利用することである。しかし、この効果はいささかはっきりしないと考えられている（分散によるコントラストの余剰で蓄積されない）。「明化」技術の利用は、a)顕微鏡をNAC＞NAOに設定する。d) 細胞の明特性(bright signatures)を探すという点を除けば、上述された暗特性技術と類似している。
【００３３】
本明細書に記載された手順により、厚い試料の内部の異なる深度から情報を収集するために使用される、「投影」画像が作成される。
この態様によれば、この手順は、例えば、次の式（７）及び式（８）を用いて定義されるもの等のような蛍光モダリティ(fluorescence modality)のために適用される、既知の「最良の焦点」（「拡張焦点(extended focus)」）のアルゴリズムに類似している（かつ、例えば同一のGUIを用いることができる）。
【００３４】
まず、ピクセル方向の変換のFocus Measure[J]は、
FocusMeasure[J]＝＜（J−＜J＞ε）2＞ε （７）
FocusMeasure[J]＝（∇εJ）2 （８）
のいずれかで規定することができる。そして、Ｎ個の画像Jiのそれぞれに関し、i=1,…,Nで、FocusMeasure[Ji]が算出される。
【００３５】
本発明のさまざまな実施形態で用いられる所定の最良の焦点アルゴリズムを、式（９）〜（１４）と関連して以下に簡潔に述べるが、これらのアルゴリズムは、単に非制限的な例示として提供されている。
画像合成の重み付け方法(image combination weighting method)に関しては、その計算結果resultは、合焦測定値(focus measure)を有する画像の加重和である。
wi＝(FocusMeasure[Ji])p／Σ(FocusMeasure[Jk])p （９）
ただし、p≧1
Σは、k＝1,2,・・・,Nについての加算
result＝ΣwiJi （１０）
ただし、Σは、i＝1,2,・・・,Nについての加算
【００３６】
あるいは、ダイレクト値方法を用いた画像の合成に関しては、複数の画像における各ピクセル(x, y)に関し、焦点に最も近いＪk(x,y)における画像が探し出されて、ピクセル値Ｊk(x,y)(x, y)が結果resultとして選択される。
k(x,y)=arg maxi{FocusMeasure[Ji](x,y)} （１１）
result(x,y)=Jk(x,y)(x,y) （１２）
【００３７】
なお、両方のケースにおいて、画像Jは、εサイズのスクエアマスク1Box(ε）で平均化される。
【数１】
そして、ガウス導関数(δサイズ)の法(modulus)の２乗は、以下の式で表される。
【数２】
【００３８】
図５は、原画像５０２及び５０４並びに、本発明に係る方法によって取得された処理画像５１２及び５１４である。上段の原画像５０２は、非刺激の血管新生細胞を含む試料から抽出されている。下段の原画像５０４は、血管内非細胞増殖因子(VEGF)及び腫瘍壊死因子アルファ(TNFα)によって刺激された血管新生細胞を含む試料に関するものである。
【００３９】
この実験では、対物の開口はNAO =0.1 (Nikon 4x, 焦点深度は約５０μｍ）であり、ΔzはΔz＝５０μｍに保たれていた。４つの明視野像U(Zk)は、最良の焦点の付近で、Zk＝Z0＋k・ΔZで取得された（k＝１，2，3，4）。画像の分解能は、視野２．７８×２．０８ｍｍで、２μｍ／ピクセルであった。
【００４０】
図５に示された、それぞれの画質向上された処理画像Urである５１２及び５１４を取得するために画像U(Zk)を合成するには、まず、単純なピクセルバイピクセルの最小動作(minimum operation)がU(Zk)に適用される。次に、非線形のεサイズのトップハット変換が、反転された最小画像に適用されて、それから信号の閾値がU＝UTに設定された。すなわち、
i) U1＝mink{U(Zk)}
ii) U2＝NTH(inv[U1];ε|.)
iii) Ur＝UT＋{(U2−UT)+|U2−UT|}／2
である。ここでinv[ ]は画像反転動作である。非線形トップハット変換は、典型的な細胞サイズに近い、特徴的なサイズεによってパラメータ化される。非線形トップハット変換は、この場合にはシェーディングエリミネーション(shading elimination)のために適用された。なぜなら、強度比に関連する式i)は、局所的な推定のみを出すものだからである。
【００４１】
このようにして、NAC＜NAOで、細胞のレンズ化効果によって画像内に存在する暗特性を検出するよう設計された、本発明のさまざまな態様に係るこの方法の応用によって、画質が向上されたグレースケール処理画像５１２及び５１４が生成される。
【００４２】
しかしながら、本発明のさまざまな態様及び実施形態は、NAC＞NAOでの明化現象を利用してもよい。例えば、明特性及び暗特性の両方の解析は、以下のように組み合わせることもできる。
i) U1dark＝mink{U(Zk)} 及び
U1bright＝maxk{U(Zk)}
ii) U2dark＝NTH (inv[U1dark];ε|.) 及び
U2bright= NTH(U1 bright;ε|.)
iii) Ur＝1 U2dark＞UT及びU2bright＞UTの場合
＝0 その他の場合
【００４３】
このような技術を適用する際には、同一の細胞が、NAC＜NAOにおいて試料化された時の暗特性、及びNAC＞NAOにおいて試料化された時の明特性によって、Ｚ平面上に充分に表現されるようにすることが望ましい。
【００４４】
図６は、図５の原画像５０２及び５０４と、それらの処理画像５１２及び５１４に閾値フィルタが適用されて生成された閾値処理後の画像５２２及び５２４である。画像５１２及び５１４は、閾値がU＝1.06に設定され、サイズでふるいにかけられ、それから２ピクセルサイズのマスクを用いて、白黒化(black/white-closed)される。この処理のためのトップハットの特徴的なサイズは、ε＝９であった。
したがって、閾値処理後の画像５２２及び５２４は、
Ur＝1 U2＞UTの場合
＝0 その他の場合
にyori得られたバイナリ（すなわち白黒）画像Urである。
【００４５】
図５及び図６の両方において、種々の画像特性が、本発明の態様及び実施形態に係る種々の技術の適用によって向上されていることが明らかである。
【００４６】
本発明と関連してさまざまな技術を論述したが、種々の関数はコンピュータプログラム製品を用いて実施できることが、当業者には明らかであろう。例えば、本発明の実施形態に係るさまざまなアルゴリズムの、１又は複数の方法ステップを実施する画像システムを、構成するよう動作可能なコンピュータプログラム製品が提供される。
【００４７】
さまざまな実施形態は、１又は複数のソフトウェア、ハードウェア、及び／又はファームウェアの部品も含んでいる。例えば、従来の画像システムは、本発明によってその機能性を向上するために、例えばインターネットを介してこれらのシステムに送信された、ソフトウェア部品を用いることにより、アップグレードされる。
【００４８】
本発明のさまざまな実施形態では、複数の画像を処理するステップは、試料内の細胞による光のデフォーカシングによって生じる、複数の画像のそれぞれの間の強度変化を識別するステップと、暗強度又は光場強度の変更を探索するステップと、を含んでいる。このような実施形態の利点の１つは、自動又は非自動のいずれかで、サイズによる細胞の検出を迅速に実行することを可能にすることである。例えば、あらかじめ特性が知られている特定の細胞が存在するか存在しないかを表す、イエス／ノー、の回答を速やかに得ることができる。
【００４９】
本発明のいくつかの態様及び実施形態は、周囲との屈折率のミスマッチが少ない、非染色細胞を用いる。ハイスループットスクリーニング（例：薬剤のスクリーニングのための）も、厚い試料及び／又は薄い試料を用いて実行することができる。
【００５０】
本発明のさまざまな態様及び実施形態は、例えば、英国バッキンガムシャー、リトル・チャルフォントのGEヘルスケアライフサイエンスによって市販されているGE IN Cell Analyzer 1000（商標）等において、自動顕微鏡の一部としても使用される。このような自動顕微鏡は使用が容易であり、例えば複数の細胞試料を解析するために、非熟練者であるユーザがこれを使用することができる。このような自動顕微鏡に本発明のさまざまな態様及び実施形態を追加することによって、使用をさらに容易にし、かつ、その過程で向上された出力画像を提供することができる。
【００５１】
本発明を、さまざまな態様及び実施形態によって説明したが、本発明の範囲はこれらのみに限定されるものではなく、本出願人は、これらの変更形態及び同等物の全てもまた、添付した請求項の範囲内にあるとしている。
【００５２】
（参考文献）
1. M. Sernetz, A. Thaer, Immersion Refractometry on Living Cells with the Method of Refractive Index Gradient, Fresenius' Zeitschrift fur Analytische Chemie 252(2-3), pp. 90-93, 1970
2. G. A. Jamjoom, Dark-field Microscopy for Detection of Malaria in Unstained Blood Films, Journal of Clinical Microbiology, 17(5), pp. 717-721, 1983
3. H. B. Steen, Simultaneous Separate Detection of Low Angle and Large Angle Light Scattering in an Arc Lamp-based Flow Cytometer, Cytometry: The Journal of the Society for Analytical Cytology, 7(5), pp. 445-449, 1986
4. 米国特許第4,577,964 (Hansen)
5. 米国特許第4,601,551 (Pettingell)
6. 米国特許第4,915,501 (Steen)
7. D. Ott, Optical Scatter Imaging Tracks Cell Changes, Biophotonics International, 9(9), pp. 23-24, 2002
8. 米国特許出願公開2006/0166305 (Jiang)
9. J. Degerman, E. Winterfors, J. Faijerson and T. Gustavsson, A Computational 3D Model for Reconstruction of Neural Stem Cells in Bright-Field Time-Lapse Microscopy, Proceedings of SPIE The International Society for Optical Engineering, IS&T Electronic Imaging, vol. 6498, pp. 469-483, 2007
10. M. W. Davidson et al, Darkfield Illumination, FSU primer, http://microscopy.fsu.edu/primer/techniques/darkfield.html
認められる場合は、上記の参考文献の内容全体を、参照によって本出願に援用する。
【技術分野】
【０００１】
本発明は、顕微鏡法に関し、特に、画像コントラストを向上させるための顕微鏡画像の画像処理に関する。
【背景技術】
【０００２】
生体細胞を画像化するための技術としての顕微鏡法は、何百年も用いられており、その間に、多くの技術が開発されて、さまざまな顕微鏡を使用して取得された生体細胞の画像の質を向上させてきた。
歴史的に、顕微鏡技術については、画像を向上させるための複雑な光学ベースのソリューション[１〜６]から、画像を向上させるために、取得された画像に種々の画像処理を技術[７〜９]を適用するような最近の発展へと、進化が見られる。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、現代光学及び画像処理技術の組み合わせによって、顕微鏡画像の向上が可能になってはきたが、従来の技術が画像を向上させるための最適なものとはいえない応用も、依然として存在している。
例えば、種々の応用においては、透過光を用いた非染色細胞の可視化が、画像化の望ましい方法であると考えられている。しかし、細胞が周囲の媒体とのコントラストを欠いている場合には、細胞の画像化が難しい。さらには、蛍光マーカ［６，８］の使用等の、この問題に対処するために用いられるある種の従来技術を使用することは、ハイスループットスクリーニング（HTS）顕微鏡解析等の種々の応用にはあまり適していない。なぜなら、これらの従来技術では、生体細胞を傷つけるか、又は生体細胞の中で起こっている生化学プロセスに影響を与える可能性のある、化学造影剤の使用を必要とするからである。
【０００４】
本発明のさまざまな態様及び実施形態は、上述した従来の顕微鏡システムの欠点を念頭において開発されたものである。
【課題を解決するための手段】
【０００５】
本発明の第１の態様では、非染色細胞の顕微鏡画像を向上させるための画像システムが提供される。この画像システムは、光を発生するための光源と、画像化される細胞を収容するための試料ホルダと、試料ホルダ内の焦点面への光を、画像化される細胞に集束するための集光レンズと、試料ホルダに対して光の焦点面を移動するための移動メカニズムと、最良の焦点に近い試料ホルダ内の各焦点面で、複数の画像を捕捉するよう構成された検出システムと、を備えている。
【０００６】
本発明の第２の態様では、非染色細胞の顕微鏡画像を向上させるための方法が提供される。該方法は、試料ホルダ内の各焦点面で複数の画像を捕捉するステップと、向上された処理画像を提供するために、該複数の画像を処理するステップとを含んでいる。
【０００７】
このような画像システム及び方法は、細胞の画像化のための画像の捕捉及び向上処理の自動化を可能にする。これにより、非熟練者が、本発明の態様を利用して、ハイスループットスクリーニング解析において、潜在的関心のある効果を示している細胞の変化を、より正確に識別することができることになる。例えば、さまざまなタイプの細胞に効果のある、潜在的に有用な薬剤化合物が、これらの細胞を自動的に画像化することにより特定することができる。さらに、これらの細胞の体内を正確に画像化することができるので、例えば、向上された処理画像を捕捉するために、蛍光マーカ又は放射性アイソトープを用いて細胞の染色又はタグ付けをする必要がない。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る、非染色細胞の顕微鏡画像を向上させるための画像システムを示す図である。
【図２】本発明の一実施形態に係る、非染色細胞の顕微鏡画像を向上させるための方法を示すフロー図である。
【図３】本発明のさまざまな実施形態で用いる光学システムの一部を示す図である。
【図４】細胞のレンズ化(cell lensing)によってもたらされる暗コントラストを示す図である。
【図５】本発明に係る方法によって取得された原画像及び処理画像を示す図である。
【図６】本発明に係る方法によって取得された図５の画像について、処理画像に閾値フィルタを適用した画像を示す図である。
【発明を実施するための形態】
【０００９】
図１は、本発明の一実施形態に係る、非染色細胞の顕微鏡画像を向上させるための画像システム１００を示している。明確にするために概略的に示した画像システム１００は、光１２０ａを生成するための光源１０２を備えている。光源１０２は、明視野ケーラ照明(bright-field Kohler illumination)を提供する。
【００１０】
光１２０ａは、集光レンズ１０４によって試料ホルダ１０９上に集束される。試料ホルダ１０９は、画像化される細胞を収容するために用いられ、集光レンズ１０４は、光１２０ｂを試料ホルダ１０９内の焦点面に集束する。１又は複数の試料ホルダ１０９は、試料ホルダトレイ１０８内にマトリックス状に提供される。例えば、試料ホルダは、数多くの試料ホルダを有するコンシューマブルスポットプレート(consumable spot plate)上のスポットとして提供され、それぞれのスポットには、特定の１又は複数の生化学反応を識別するのに適した１又は複数の細胞型(cell type)が提供される。
【００１１】
画像システム１００はさらに、検出システム１１２及び移動メカニズム（不図示）を備えている。移動メカニズムは、試料ホルダ１０９に対して光１２０ｂの焦点を移動する（例：試料ホルダトレイ１０８の深さ方向すなわち±ｚ方向に移動する）よう構成される。これにより、複数の画像が、さまざまな試料ホルダ１０９内からの複数の個別の焦点面（ｚ方向と垂直の）で捕捉される。また、移動メカニズムは、例えば、複数の試料ホルダ１０９に焦点を合わせるために、図１に示すように、試料ホルダトレイ１０８を種々のｘ-ｙ平面において、１次元又は２次元のいずれかにおいて移動するよう動作する。
【００１２】
検出システム１１２は、試料ホルダ１０９内の最良の焦点を特定するために用いられる。検出システム１１２は、試料ホルダ１０９内の（例：最良の焦点の近くで）個別の焦点面（例：ｚ位置）で複数の画像を捕捉して、該複数の画像を処理して向上された処理画像を提供するよう動作する。このような機能を実施するための種々の方法を、以下で詳細に説明する。
【００１３】
開口絞り１０６は、光源１０２と検出システム１１２との間に設けられるが、そのサイズは可変である。例えば、多様な異なるサイズの可動絞りを回転して位置させるか、又は連続的に変化する虹彩型絞りが設けられてもよい。画像コントラストは、開口絞り１０６の絞りの設定を変更することによって制御することができる。
【００１４】
開口絞り１０６を通過した集光（集光された光）１２０bは、透過画像モードで試料ホルダトレイ１０８を通過する。各試料ホルダ１０９に保持された任意の細胞に関する画像情報によって変調された、発生光(emergent light)１２０cは、対物レンズ１１０によって集められ、検出システム１１２上に集光される(１２０d)。
【００１５】
変形形態の１つでは、複数の画像の処理がプロセッサ（不図示）によって実行される。プロセッサは、検出システム１１２を制御して、検出システムによって取得された画像を捕捉、記憶、かつ処理するよう動作する。さらに、プロセッサは、移動メカニズムを制御して、試料ホルダ１０９に対する光源１０２の焦点（すなわち、ｚ方向である深さ方向の位置）を移動して、かつオプションで最良の焦点（すなわち、最適ｚ位置設定）を特定するよう構成される。プロセッサは、例えば、これらのタスクを実行するよう適切にプログラムされた、コンピュータシステムの一部として提供される。
【００１６】
プロセッサは、ピクセルバイピクセル（画素毎）の最小化動作を、複数の画像のそれぞれに適用することによって、いわゆる暗画像であるU1を識別する。それから非線形トップハット（NTH：non-linear top-hat）変換が暗画像U1に適用されることにより、中間画像U2が取得され、そして中間画像U2が処理されて、向上された出力画像Urが生成される。
NTHセグメンテーションの基準は、以下に示すピクセル単位の画像変換である。
NTH(U; ε|K)＝U・<U>ε／(<U>Kε)2 （１）
ただし、K＞１
【００１７】
スケールパラメータε（検出スケール）は、関心対象の物体のサイズに関連している。上記した式（１）によって示された変換は、次の局所処理に関する発見的数式（heuristic formula)、すなわち「あるピクセルが明(bright)であり、ピクセルのすぐ付近（εサイズ）が明であり、かつピクセルから離れた付近(Kεサイズ）が薄暗(dim)であれば、そのピクセルは画質向上処理される」を実行する。
【００１８】
多様な実施形態において、暗画像は、
U1＝mink{U(Zk)} （２）
によって定義される。ここで、U(Zk)はｚ平面におけるk番目の画像である。
また、中間画像は、
U2＝NTH(inv[U１];ε|.) （３）
によって定義される。ここで、NHTは、反転された暗画像に適用された、非線形のεピクセルサイズ（例：m=９）のトップハット動作であり、inv[ ]は、画像反転動作である。セグメント化された出力画像Urは、以下の変換を適用することによって取得される。
Ur＝UT＋{(U2−UT)+|U2−UT|}／2 （４）
ここで、UTは閾値画像を定義している。例えば、いくつかの実施形態では、全てのピクセル値に関して、UTは、UT＝１に設定されている。
【００１９】
従来の顕微鏡法では、コントラストはデフォーカス量に比例している。しかし、明特性情報を除去して暗特性情報を用いることにより、細胞のレンズ化効果(cell lensing effect)を用いて画像コントラストを向上することができることを示すために、本出願人は、ある種の細胞はレンズの役割を果たすという理論を応用している。このクライテリアが満足されると、以下で概説するように、さまざまな作用効果が得られる。このように、本発明に係るさまざまな実施形態において、以下にさらに詳述するように、明特性及び／又は暗特性の情報を、可能であれば組み合わせて、用いることが可能である。
【００２０】
細胞のレンズ化効果を利用した種々のシステム及び方法を、単純なやり方で細胞のコントラスト比を最適化するために用いることができる。さらに、良好なコントラスト画像を、比較的厚めの試料（たとえば、試料の厚みが、画像化される細胞の平均的な細胞直径である約２ｘ、５ｘ、１０ｘ、２０ｘ、５０ｘ、１００ｘ、等よりも大きい場合）から取得することができ、かつ、マークのないすなわちタグのない、光学的コントラストの低い細胞を用いることができる。例えば、レンズ化効果を生じさせるのに適した細胞は、ある種の血管新生細胞、血液細胞、精子細胞、各膜実質細胞、幹細胞、又は通常の正曲率を有する袋状の種々の他の細胞等、ほぼレンズ状の形状をしている。
【００２１】
さらに、さまざまな細胞核及び細胞体が画像化され、かつ／又は、多数のｚ平面セクションが、簡単に自動的又は半自動的に解析できるように、単一の画像にまとめられる。このようにして、関心対象の種々の細胞特性の迅速かつ正確な識別がもたらされるので、本発明のさまざまな実施形態は、HTSを含むアプリケーションに特に適している。
【００２２】
図２は、本発明の種々の様態及び実施形態に係る、非染色細胞の顕微鏡画像を向上させるための方法２００を示している。方法２００は、画質が向上した処理画像を提供するために、一連の画像を捕捉し処理するステップを含み、該方法は、軸方向のデフォーカシングを用いて、ｚ方向において複数の画像を取得することにより、非染色細胞の顕微鏡画像を向上させるために用いられる。
【００２３】
ステップ２０２では、画像が第１の焦点面で取得される。例えば、この画像は、上述の図１に関して説明されたタイプの画像システムを使用して取得される。オプション的に、例えば画像のコントラストを向上させるために、画像を取得する前段で開口絞りを設定する追加ステップを実行してもよい。
画像が取得されると、ステップ２０４で画像は記憶される。そしてステップ２０６で、さらに追加の画像を捕捉する必要があるかどうかが決定される。
【００２４】
追加的な画像を捕捉する必要がある場合は、試料内の焦点面の位置を修正するために、ステップ２０８でＺステージの移動（Ｚ方向へのステージの移動）がなされる。次に、方法２００はステップ２０２に戻って、追加的な画像が捕捉される。それから、ステップ２０４で追加的な画像が記憶されて、決定ステップ２０６は、一連のｋ個の画像が取得されるまで、ｚステージの移動、画像の捕捉、及び記憶のステップを繰り返す（ここでｋは２以上の整数である）。複数のｋ個の画像が取得されると、方法２００は処理ステップ２１０に進む。処理ステップ２１０は、暗画像U1を識別するために、ピクセルバイピクセルの最小化動作を、複数の画像のそれぞれに適応するステップと、次に中間画像U2を取得するために、反転された暗画像U1に非線形トップハット変換を適用するステップと、最後にセグメント化された出力画像Urを生成するために、中間画像U2を処理するステップと、を含んでいる。種々の実施形態では、U1、U2、及びUrの値は、上述で定義した式（２）〜（４）のそれぞれに従って決定される。
【００２５】
図３は、本発明のさまざまな実施形態での使用に最適なシステムの一部を示している。この最適なシステムの一部は、検出システム１１２の一部を形成するカメラ上に集光するための上側対物レンズ１１０と、画像システム１００の最適中央軸(central optical axis)であるｚ軸に沿ったさまざまな位置にある、直径Dcellのレンズ状細胞１５０を示している。
【００２６】
図３の左側の図では、細胞１５０は、ｚ軸に沿って対物レンズ１１０から離れる方向へ、対物レンズ１１０の焦点面Ｆから距離Pcellずれた位置にある。これによって、カメラで暗画像（図３の左下に図示）が生成される。
図３の右側の図では、細胞１５０は、ｚ軸に沿って対物レンズ１１０に向かう方向へ、対物レンズ１１０の焦点面Ｆから距離Pcellずれた位置にある。これによって、カメラで明画像（図３の右下に図示）が生成される。
【００２７】
図３の光学を解析すると、試料内の非均一Ｌの特性スケールが、入射のＥＭ放射の波長λに匹敵する状態（すなわち、λ≒Ｌ）では、結果として生じる（相互作用の）フィールドは回折によって決定される。一方、λ＜＜Ｌでは、屈折によって支配的な影響を受けるので、相互作用のフィールドは幾何光学的制限[９]が考慮される。
また一方で、生物細胞は、細胞質基質及び別の生物物質によって満たされたミクロンサイズの袋(sack)であるいうことができる。したがって、幾何光学の観点からは、細胞の大多数が凸レンズに似た形状を有している。
【００２８】
そこで、以下の番号を付した種々の考察及び予測を解析に使用する。
１．試料内の細胞は、ｚ軸に沿って分散される（例えば、厚い試料内で）ので、全ての細胞に同時に焦点が合うわけではない。従って、試料の厚みに渡って全体から現在の情報を収集するために、複数のｚ平面が画像化される。
２．明視野ケーラ照明モードが使用される。対物及び集光の開口数は、それぞれNAO及びNACであり、対物レンズの開き角α＝arcsin(NAO)である。
３．細胞は、周囲の媒体nmの屈折率とは若干異なる、平均的な屈折率ncの物質からなる、直径Dcell及び等しい曲率半径Rc, cell（ここで、Rc, cell≧Dcell/２）をもつ正（凸）のミクロンサイズの薄いレンズと表現できる。その差異は、｜Δn｜＝｜nc−nm｜≒0.02程度である。細胞が浸されている媒体は、均一かつ透明であり、なおかつnc＞nmであると考えられている。
【００２９】
４．物体の焦点面に正確に配置されると、該細胞は、なんらかの入射光を散乱するので、明るい背景でわずかに暗めに見える。細胞による散乱は、内部の非均一性（横方向の散乱side directional lobes of scattering）上の回折によって生じ、かつ入射光強度の数パーセントを構成している。
５．細胞は、物体の開口絞りの閉塞に対応した距離で、物体空間の焦点面の直前に配置されると（図３の左側にあるように）、主にレンズ化効果によって効果的な集光開口(effective light gathering aperture)が低減されることで、ピントがずれて見え、かつ明るい背景で暗くみえる。
６．同様に、細胞は、物体の開口絞りの閉塞に対応した距離で、物体により近くに焦点面の直後に配置されると（図３の右側にあるように）、集光開口が増大することによって、細胞はピントがずれて見えるが、暗い背景でより明るく見える。しかしながら、これはNAC＞NAOである場合にのみ生じる。なぜなら、この場合は、前述した光強度の利得（ゲイン）が、αよりも大きいαCell, brightの角度で集束する光線によって制限されるからである。
【００３０】
7．細胞のレンズ化効果によってもたらされるコントラストは、開口角αCellの比によって図３に示されているように推定することができる。この比は、「細胞」対「非細胞」の強度比によるものである。
ICell／INoCell≒αCell／α
≒{arctg[tg(α)±Δn／nm・DCell／Rc,Cell]}／α （５）
式（５）は、レンズの式及びレンズメーカの式に直接従う。（＋）及び（−）の記号は、「明」視野及び「暗」視野の場合に対応する。｜Δn｜が小さい場合、tg(α)付近の（4）におけるアークタンジェントのテーラ展開は、
ICell／INoCell≒αCell／α
≒1＋1／α・Δn／nm・DCell／Rc,Cell]・(1−NA02)
＝1＋1／arcsin(NA0)・Δn／nm・DCell／Rc,Cell・(1−NA02) （６）
である。なお、第２項のモジュールは、NAOの減少関数である。言い換えると、レンズ化によって生じたコントラストは、開口絞りの設定が低いほど大きくなる。この特性は、図４に示されたプロットによって例示されている。
【００３１】
上述の考察を考慮すると、以下に示すコントラスト向上のための単純なストラテジが可能である。
a)顕微鏡をNAC≦NAOに設定する。
b)薄い試料に関しては、２つの画像を捕捉する。その１つは焦点の合った画像であり、もう１つは、最良の焦点面に対して物体空間内の距離Pcell=Dcell/2tg(α)での画像である。
c)厚い試料に関しては、関連レンジにおいて複数のｚ平面からΔｚの間隔で画像を捕捉する。およそΔｚ＝Pcell/2=Dcell/4tg(α)である。
d)例えば、本明細書で言及された技術を用いることにより、捕捉されたｚ面の画像における細胞の暗特性(dark signatures)を探す。
【００３２】
他に可能なことは、NAC＞NAOで「明化」現象を利用することである。しかし、この効果はいささかはっきりしないと考えられている（分散によるコントラストの余剰で蓄積されない）。「明化」技術の利用は、a)顕微鏡をNAC＞NAOに設定する。d) 細胞の明特性(bright signatures)を探すという点を除けば、上述された暗特性技術と類似している。
【００３３】
本明細書に記載された手順により、厚い試料の内部の異なる深度から情報を収集するために使用される、「投影」画像が作成される。
この態様によれば、この手順は、例えば、次の式（７）及び式（８）を用いて定義されるもの等のような蛍光モダリティ(fluorescence modality)のために適用される、既知の「最良の焦点」（「拡張焦点(extended focus)」）のアルゴリズムに類似している（かつ、例えば同一のGUIを用いることができる）。
【００３４】
まず、ピクセル方向の変換のFocus Measure[J]は、
FocusMeasure[J]＝＜（J−＜J＞ε）2＞ε （７）
FocusMeasure[J]＝（∇εJ）2 （８）
のいずれかで規定することができる。そして、Ｎ個の画像Jiのそれぞれに関し、i=1,…,Nで、FocusMeasure[Ji]が算出される。
【００３５】
本発明のさまざまな実施形態で用いられる所定の最良の焦点アルゴリズムを、式（９）〜（１４）と関連して以下に簡潔に述べるが、これらのアルゴリズムは、単に非制限的な例示として提供されている。
画像合成の重み付け方法(image combination weighting method)に関しては、その計算結果resultは、合焦測定値(focus measure)を有する画像の加重和である。
wi＝(FocusMeasure[Ji])p／Σ(FocusMeasure[Jk])p （９）
ただし、p≧1
Σは、k＝1,2,・・・,Nについての加算
result＝ΣwiJi （１０）
ただし、Σは、i＝1,2,・・・,Nについての加算
【００３６】
あるいは、ダイレクト値方法を用いた画像の合成に関しては、複数の画像における各ピクセル(x, y)に関し、焦点に最も近いＪk(x,y)における画像が探し出されて、ピクセル値Ｊk(x,y)(x, y)が結果resultとして選択される。
k(x,y)=arg maxi{FocusMeasure[Ji](x,y)} （１１）
result(x,y)=Jk(x,y)(x,y) （１２）
【００３７】
なお、両方のケースにおいて、画像Jは、εサイズのスクエアマスク1Box(ε）で平均化される。
【数１】
そして、ガウス導関数(δサイズ)の法(modulus)の２乗は、以下の式で表される。
【数２】
【００３８】
図５は、原画像５０２及び５０４並びに、本発明に係る方法によって取得された処理画像５１２及び５１４である。上段の原画像５０２は、非刺激の血管新生細胞を含む試料から抽出されている。下段の原画像５０４は、血管内非細胞増殖因子(VEGF)及び腫瘍壊死因子アルファ(TNFα)によって刺激された血管新生細胞を含む試料に関するものである。
【００３９】
この実験では、対物の開口はNAO =0.1 (Nikon 4x, 焦点深度は約５０μｍ）であり、ΔzはΔz＝５０μｍに保たれていた。４つの明視野像U(Zk)は、最良の焦点の付近で、Zk＝Z0＋k・ΔZで取得された（k＝１，2，3，4）。画像の分解能は、視野２．７８×２．０８ｍｍで、２μｍ／ピクセルであった。
【００４０】
図５に示された、それぞれの画質向上された処理画像Urである５１２及び５１４を取得するために画像U(Zk)を合成するには、まず、単純なピクセルバイピクセルの最小動作(minimum operation)がU(Zk)に適用される。次に、非線形のεサイズのトップハット変換が、反転された最小画像に適用されて、それから信号の閾値がU＝UTに設定された。すなわち、
i) U1＝mink{U(Zk)}
ii) U2＝NTH(inv[U1];ε|.)
iii) Ur＝UT＋{(U2−UT)+|U2−UT|}／2
である。ここでinv[ ]は画像反転動作である。非線形トップハット変換は、典型的な細胞サイズに近い、特徴的なサイズεによってパラメータ化される。非線形トップハット変換は、この場合にはシェーディングエリミネーション(shading elimination)のために適用された。なぜなら、強度比に関連する式i)は、局所的な推定のみを出すものだからである。
【００４１】
このようにして、NAC＜NAOで、細胞のレンズ化効果によって画像内に存在する暗特性を検出するよう設計された、本発明のさまざまな態様に係るこの方法の応用によって、画質が向上されたグレースケール処理画像５１２及び５１４が生成される。
【００４２】
しかしながら、本発明のさまざまな態様及び実施形態は、NAC＞NAOでの明化現象を利用してもよい。例えば、明特性及び暗特性の両方の解析は、以下のように組み合わせることもできる。
i) U1dark＝mink{U(Zk)} 及び
U1bright＝maxk{U(Zk)}
ii) U2dark＝NTH (inv[U1dark];ε|.) 及び
U2bright= NTH(U1 bright;ε|.)
iii) Ur＝1 U2dark＞UT及びU2bright＞UTの場合
＝0 その他の場合
【００４３】
このような技術を適用する際には、同一の細胞が、NAC＜NAOにおいて試料化された時の暗特性、及びNAC＞NAOにおいて試料化された時の明特性によって、Ｚ平面上に充分に表現されるようにすることが望ましい。
【００４４】
図６は、図５の原画像５０２及び５０４と、それらの処理画像５１２及び５１４に閾値フィルタが適用されて生成された閾値処理後の画像５２２及び５２４である。画像５１２及び５１４は、閾値がU＝1.06に設定され、サイズでふるいにかけられ、それから２ピクセルサイズのマスクを用いて、白黒化(black/white-closed)される。この処理のためのトップハットの特徴的なサイズは、ε＝９であった。
したがって、閾値処理後の画像５２２及び５２４は、
Ur＝1 U2＞UTの場合
＝0 その他の場合
にyori得られたバイナリ（すなわち白黒）画像Urである。
【００４５】
図５及び図６の両方において、種々の画像特性が、本発明の態様及び実施形態に係る種々の技術の適用によって向上されていることが明らかである。
【００４６】
本発明と関連してさまざまな技術を論述したが、種々の関数はコンピュータプログラム製品を用いて実施できることが、当業者には明らかであろう。例えば、本発明の実施形態に係るさまざまなアルゴリズムの、１又は複数の方法ステップを実施する画像システムを、構成するよう動作可能なコンピュータプログラム製品が提供される。
【００４７】
さまざまな実施形態は、１又は複数のソフトウェア、ハードウェア、及び／又はファームウェアの部品も含んでいる。例えば、従来の画像システムは、本発明によってその機能性を向上するために、例えばインターネットを介してこれらのシステムに送信された、ソフトウェア部品を用いることにより、アップグレードされる。
【００４８】
本発明のさまざまな実施形態では、複数の画像を処理するステップは、試料内の細胞による光のデフォーカシングによって生じる、複数の画像のそれぞれの間の強度変化を識別するステップと、暗強度又は光場強度の変更を探索するステップと、を含んでいる。このような実施形態の利点の１つは、自動又は非自動のいずれかで、サイズによる細胞の検出を迅速に実行することを可能にすることである。例えば、あらかじめ特性が知られている特定の細胞が存在するか存在しないかを表す、イエス／ノー、の回答を速やかに得ることができる。
【００４９】
本発明のいくつかの態様及び実施形態は、周囲との屈折率のミスマッチが少ない、非染色細胞を用いる。ハイスループットスクリーニング（例：薬剤のスクリーニングのための）も、厚い試料及び／又は薄い試料を用いて実行することができる。
【００５０】
本発明のさまざまな態様及び実施形態は、例えば、英国バッキンガムシャー、リトル・チャルフォントのGEヘルスケアライフサイエンスによって市販されているGE IN Cell Analyzer 1000（商標）等において、自動顕微鏡の一部としても使用される。このような自動顕微鏡は使用が容易であり、例えば複数の細胞試料を解析するために、非熟練者であるユーザがこれを使用することができる。このような自動顕微鏡に本発明のさまざまな態様及び実施形態を追加することによって、使用をさらに容易にし、かつ、その過程で向上された出力画像を提供することができる。
【００５１】
本発明を、さまざまな態様及び実施形態によって説明したが、本発明の範囲はこれらのみに限定されるものではなく、本出願人は、これらの変更形態及び同等物の全てもまた、添付した請求項の範囲内にあるとしている。
【００５２】
（参考文献）
1. M. Sernetz, A. Thaer, Immersion Refractometry on Living Cells with the Method of Refractive Index Gradient, Fresenius' Zeitschrift fur Analytische Chemie 252(2-3), pp. 90-93, 1970
2. G. A. Jamjoom, Dark-field Microscopy for Detection of Malaria in Unstained Blood Films, Journal of Clinical Microbiology, 17(5), pp. 717-721, 1983
3. H. B. Steen, Simultaneous Separate Detection of Low Angle and Large Angle Light Scattering in an Arc Lamp-based Flow Cytometer, Cytometry: The Journal of the Society for Analytical Cytology, 7(5), pp. 445-449, 1986
4. 米国特許第4,577,964 (Hansen)
5. 米国特許第4,601,551 (Pettingell)
6. 米国特許第4,915,501 (Steen)
7. D. Ott, Optical Scatter Imaging Tracks Cell Changes, Biophotonics International, 9(9), pp. 23-24, 2002
8. 米国特許出願公開2006/0166305 (Jiang)
9. J. Degerman, E. Winterfors, J. Faijerson and T. Gustavsson, A Computational 3D Model for Reconstruction of Neural Stem Cells in Bright-Field Time-Lapse Microscopy, Proceedings of SPIE The International Society for Optical Engineering, IS&T Electronic Imaging, vol. 6498, pp. 469-483, 2007
10. M. W. Davidson et al, Darkfield Illumination, FSU primer, http://microscopy.fsu.edu/primer/techniques/darkfield.html
認められる場合は、上記の参考文献の内容全体を、参照によって本出願に援用する。
【特許請求の範囲】
【請求項１】
非染色細胞の顕微鏡画像を向上させるための画像システム（１００）であって、該システムは、
光（１２０a）を生成するための光源（１０２）と、
画像化される細胞を収容するための試料ホルダ（１０９）と、
試料ホルダ（１０９）内の焦点面への光（１２０ｂ）を、画像化される細胞に集束するための集光レンズ（１０４）と、
光（１２０ｂ）の焦点面を、試料ホルダ（１０９）に対して移動するための移動機構と、
試料ホルダ（１０９）の個々の焦点面における複数の画像を捕捉し、且つ、該複数の画像の暗特性及び明特性の両方を解析することによって、画質が向上された処理画像（Ur）を提供するために、該複数の画像を処理するよう構成された検出システム（１１２）と
を備えることを特徴とする画像システム。
【請求項２】
請求項１記載の画像システム（１００）において、検出システム（１１２）はさらに、試料ホルダ（１０９）内で最良の焦点を特定し、かつ、最良の焦点の付近で、試料ホルダ（１０９）内の個々の焦点面で複数の画像を捕捉するよう構成されたことを特徴とする画像システム。
【請求項３】
請求項２記載の画像システム（１００）において、該システムはさらに、光源（１０２）と検出システム（１１２）との間に設けられた開口絞り（１０６）を備えていることを特徴とする画像システム。
【請求項４】
請求項３記載の画像システム（１００）において、開口絞り（１０６）のサイズは可変であることを特徴とする画像システム。
【請求項５】
請求項１−４いずれかに記載の画像システム（１００）において、複数の画像を処理するステップは、
暗画像（U1dark)を識別するために、複数の画像のそれぞれに、ピクセルバイピクセルの最小化動作を適用するステップと、
中間画像(U2dark)を取得するために、暗画像（U1dark)に非線形トップハット変換を適用するステップと、
画質が向上された出力画像(Ur)を生成するために、中間画像(U2dark)を処理するステップと
を含んでいることを特徴とする画像システム。
【請求項６】
請求項５記載の画像システム（１００）において、
暗画像は、
U1dark＝mink{U(Zk)}
ただし、U(Zk)は、ｚ平面におけるk番目の画像
によって定義され、
中間画像は、
U2dark＝NTH(inv[U1dark];ε|.)
ただし、NHTは、反転された暗画像に適用された非線形の
εピクセルのトップハット処理であり、
inv[ ]は、画像反転動作である
によって定義され、
画質が向上された出力画像は、
Ur＝UT＋{(U2dark−UT)+|U2dark−UT|}／2
ただし、UTは、所定の閾値画像を定義する
を適用することによって取得される
ことを特徴とする画像システム。
【請求項７】
請求項１−６いずれかに記載の画像システム（１００）において、複数の画像を処理するステップは、
明画像（U1bright)を識別するために、複数の画像のそれぞれに、ピクセルバイピクセルの最小化動作を適用するステップと、
中間画像(U2bright)を取得するために、明画像（U1bright)に非線形トップハット変換を適用するステップと、
画質が向上された出力画像(Ur)を生成するために、中間画像(U2bright)を処理するステップと
を含んでいることを特徴とする画像システム。
【請求項８】
請求項７記載の画像システム（１００）において、
明画像は、
U1bright＝maxk{U(Zk)}
ただし、U(Zk)はｚ平面におけるk番目の画像
によって定義され、
中間画像は、
U2bright＝NTH(U1bright;ε|.)
ただし、NHTは明画像に適用された非線形のεピクセルの
トップハット動作である
によって定義され、
画質が向上された出力画像は、
Ur＝UT＋{(U2bright−UT)+|U2bright−UT|}／2
ただし、UTは、所定の閾値画像を定義する
を適用することによって取得される
ことを特徴とする画像システム。
【請求項９】
請求項１−８いずれかに記載の画像システム（１００）において、複数の画像を処理するステップはさらに、画質が向上された処理画像（Ur)に、閾値化を適用するステップを含んでいることを特徴とする、画像システム。
【請求項１０】
請求項９記載の画像システム（１００）において、閾値化は、
Ur＝1 U2dark＞UT及びU2bright＞UTの場合
＝0 その他の場合
のアルゴリズムに従って、１又は複数の中間暗画像及び／又は中間明画像に適用されることを特徴とする画像システム。
【請求項１１】
非染色細胞の顕微鏡画像を向上させるための方法（２００）であって、方法（２００）は、
試料ホルダ（１０９）内の個々の焦点面において、複数の画像を捕捉するステップ（２０２）と、
複数の画像の暗特性及び明特性の両方を解析することによって、向上された処理画像（Ur）を提供するために、該複数の画像を処理するステップ（２１０）と
を含んでいることを特徴とする方法。
【請求項１２】
請求項１１記載の方法（２００）において、該方法はさらに、複数の画像を捕捉するステップの前に、開口絞りを設定するステップを含んでいることを特徴とする方法。
【請求項１３】
請求項１１又は１２記載の方法（２００）において、複数の画像を処理するステップ（２１０）は、
暗画像（U1dark)を識別するために、複数の画像のそれぞれに、ピクセルバイピクセルの最小化動作を適用するステップと、
中間画像(U2dark)を取得するために、暗画像（U1dark)に非線形トップハット変換を適用するステップと、
画質が向上された出力画像(Ur)を生成するために、中間画像(U2dark)を処理するステップと
を含んでいることを特徴とする方法。
【請求項１４】
請求項１３記載の方法（２００）において、
暗画像は、
U1dark＝mink{U(Zk)}
ただし、U(Zk)は、ｚ平面におけるk番目の画像
によって定義され、
中間画像は、
U2dark＝NTH(inv[U1dark];ε|.)
ただし、NHTは、反転された暗画像に適用された非線形の
εピクセルのトップハット処理であり、
inv[ ]は、画像反転動作である
によって定義され、
画質が向上された出力画像は、
Ur＝UT＋{(U2dark−UT)+|U2dark−UT|}／2
ただし、UTは、所定の閾値画像を定義する
を適用することによって取得される
ことを特徴とする方法。
【請求項１５】
請求項１１−１４いずれかに記載の方法（２００）において、複数の画像を処理するステップ（２１０）は、
明画像（U1bright)を識別するために、複数の画像のそれぞれに、ピクセルバイピクセルの最小化動作を適用するステップと、
中間画像(U2 bright)を取得するために、明画像（U1bright)に非線形トップハット変換を適用するステップと、
画質が向上された出力画像(Ur)を生成するために、中間画像(U2bright)を処理するステップと
を含んでいることを特徴とする方法。
【請求項１６】
請求項１５記載の方法（２００）において、
明画像は、
U1bright＝maxk{U(Zk)}
ただし、U(Zk)はｚ平面におけるk番目の画像
によって定義され、
中間画像は、
U2bright＝NTH(U1bright;ε|.)
ただし、NHTは明画像に適用された非線形のεピクセルの
トップハット動作である
によって定義され、
画質が向上された出力画像は、
Ur＝UT＋{(U2bright−UT)+|U2bright−UT|}／2
ただし、UTは、所定の閾値画像を定義する
を適用することによって取得される
ことを特徴とする方法。
【請求項１７】
請求項１１−１６いずれかに記載の方法（２００）において、複数の画像を処理するステップ（２１０）はさらに、向上された処理画像（Ur)に、閾値化を適用するステップを含んでいることを特徴とする方法。
【請求項１８】
請求項１７記載の方法（２００）において、閾値化は、
Ur＝1 U2dark＞UT及びU2bright＞UTの場合
＝0 その他の場合
のアルゴリズムに従って、１又は複数の中間暗画像及び／又は中間明画像に適用されることを特徴とする方法。
【請求項１９】
コンピュータプログラム製品であって、請求項１１−１８いずれかに記載の方法を実行する画像システムを構成するよう動作可能なコンピュータプログラム製品。
【請求項１】
非染色細胞の顕微鏡画像を向上させるための画像システム（１００）であって、該システムは、
光（１２０a）を生成するための光源（１０２）と、
画像化される細胞を収容するための試料ホルダ（１０９）と、
試料ホルダ（１０９）内の焦点面への光（１２０ｂ）を、画像化される細胞に集束するための集光レンズ（１０４）と、
光（１２０ｂ）の焦点面を、試料ホルダ（１０９）に対して移動するための移動機構と、
試料ホルダ（１０９）の個々の焦点面における複数の画像を捕捉し、且つ、該複数の画像の暗特性及び明特性の両方を解析することによって、画質が向上された処理画像（Ur）を提供するために、該複数の画像を処理するよう構成された検出システム（１１２）と
を備えることを特徴とする画像システム。
【請求項２】
請求項１記載の画像システム（１００）において、検出システム（１１２）はさらに、試料ホルダ（１０９）内で最良の焦点を特定し、かつ、最良の焦点の付近で、試料ホルダ（１０９）内の個々の焦点面で複数の画像を捕捉するよう構成されたことを特徴とする画像システム。
【請求項３】
請求項２記載の画像システム（１００）において、該システムはさらに、光源（１０２）と検出システム（１１２）との間に設けられた開口絞り（１０６）を備えていることを特徴とする画像システム。
【請求項４】
請求項３記載の画像システム（１００）において、開口絞り（１０６）のサイズは可変であることを特徴とする画像システム。
【請求項５】
請求項１−４いずれかに記載の画像システム（１００）において、複数の画像を処理するステップは、
暗画像（U1dark)を識別するために、複数の画像のそれぞれに、ピクセルバイピクセルの最小化動作を適用するステップと、
中間画像(U2dark)を取得するために、暗画像（U1dark)に非線形トップハット変換を適用するステップと、
画質が向上された出力画像(Ur)を生成するために、中間画像(U2dark)を処理するステップと
を含んでいることを特徴とする画像システム。
【請求項６】
請求項５記載の画像システム（１００）において、
暗画像は、
U1dark＝mink{U(Zk)}
ただし、U(Zk)は、ｚ平面におけるk番目の画像
によって定義され、
中間画像は、
U2dark＝NTH(inv[U1dark];ε|.)
ただし、NHTは、反転された暗画像に適用された非線形の
εピクセルのトップハット処理であり、
inv[ ]は、画像反転動作である
によって定義され、
画質が向上された出力画像は、
Ur＝UT＋{(U2dark−UT)+|U2dark−UT|}／2
ただし、UTは、所定の閾値画像を定義する
を適用することによって取得される
ことを特徴とする画像システム。
【請求項７】
請求項１−６いずれかに記載の画像システム（１００）において、複数の画像を処理するステップは、
明画像（U1bright)を識別するために、複数の画像のそれぞれに、ピクセルバイピクセルの最小化動作を適用するステップと、
中間画像(U2bright)を取得するために、明画像（U1bright)に非線形トップハット変換を適用するステップと、
画質が向上された出力画像(Ur)を生成するために、中間画像(U2bright)を処理するステップと
を含んでいることを特徴とする画像システム。
【請求項８】
請求項７記載の画像システム（１００）において、
明画像は、
U1bright＝maxk{U(Zk)}
ただし、U(Zk)はｚ平面におけるk番目の画像
によって定義され、
中間画像は、
U2bright＝NTH(U1bright;ε|.)
ただし、NHTは明画像に適用された非線形のεピクセルの
トップハット動作である
によって定義され、
画質が向上された出力画像は、
Ur＝UT＋{(U2bright−UT)+|U2bright−UT|}／2
ただし、UTは、所定の閾値画像を定義する
を適用することによって取得される
ことを特徴とする画像システム。
【請求項９】
請求項１−８いずれかに記載の画像システム（１００）において、複数の画像を処理するステップはさらに、画質が向上された処理画像（Ur)に、閾値化を適用するステップを含んでいることを特徴とする、画像システム。
【請求項１０】
請求項９記載の画像システム（１００）において、閾値化は、
Ur＝1 U2dark＞UT及びU2bright＞UTの場合
＝0 その他の場合
のアルゴリズムに従って、１又は複数の中間暗画像及び／又は中間明画像に適用されることを特徴とする画像システム。
【請求項１１】
非染色細胞の顕微鏡画像を向上させるための方法（２００）であって、方法（２００）は、
試料ホルダ（１０９）内の個々の焦点面において、複数の画像を捕捉するステップ（２０２）と、
複数の画像の暗特性及び明特性の両方を解析することによって、向上された処理画像（Ur）を提供するために、該複数の画像を処理するステップ（２１０）と
を含んでいることを特徴とする方法。
【請求項１２】
請求項１１記載の方法（２００）において、該方法はさらに、複数の画像を捕捉するステップの前に、開口絞りを設定するステップを含んでいることを特徴とする方法。
【請求項１３】
請求項１１又は１２記載の方法（２００）において、複数の画像を処理するステップ（２１０）は、
暗画像（U1dark)を識別するために、複数の画像のそれぞれに、ピクセルバイピクセルの最小化動作を適用するステップと、
中間画像(U2dark)を取得するために、暗画像（U1dark)に非線形トップハット変換を適用するステップと、
画質が向上された出力画像(Ur)を生成するために、中間画像(U2dark)を処理するステップと
を含んでいることを特徴とする方法。
【請求項１４】
請求項１３記載の方法（２００）において、
暗画像は、
U1dark＝mink{U(Zk)}
ただし、U(Zk)は、ｚ平面におけるk番目の画像
によって定義され、
中間画像は、
U2dark＝NTH(inv[U1dark];ε|.)
ただし、NHTは、反転された暗画像に適用された非線形の
εピクセルのトップハット処理であり、
inv[ ]は、画像反転動作である
によって定義され、
画質が向上された出力画像は、
Ur＝UT＋{(U2dark−UT)+|U2dark−UT|}／2
ただし、UTは、所定の閾値画像を定義する
を適用することによって取得される
ことを特徴とする方法。
【請求項１５】
請求項１１−１４いずれかに記載の方法（２００）において、複数の画像を処理するステップ（２１０）は、
明画像（U1bright)を識別するために、複数の画像のそれぞれに、ピクセルバイピクセルの最小化動作を適用するステップと、
中間画像(U2 bright)を取得するために、明画像（U1bright)に非線形トップハット変換を適用するステップと、
画質が向上された出力画像(Ur)を生成するために、中間画像(U2bright)を処理するステップと
を含んでいることを特徴とする方法。
【請求項１６】
請求項１５記載の方法（２００）において、
明画像は、
U1bright＝maxk{U(Zk)}
ただし、U(Zk)はｚ平面におけるk番目の画像
によって定義され、
中間画像は、
U2bright＝NTH(U1bright;ε|.)
ただし、NHTは明画像に適用された非線形のεピクセルの
トップハット動作である
によって定義され、
画質が向上された出力画像は、
Ur＝UT＋{(U2bright−UT)+|U2bright−UT|}／2
ただし、UTは、所定の閾値画像を定義する
を適用することによって取得される
ことを特徴とする方法。
【請求項１７】
請求項１１−１６いずれかに記載の方法（２００）において、複数の画像を処理するステップ（２１０）はさらに、向上された処理画像（Ur)に、閾値化を適用するステップを含んでいることを特徴とする方法。
【請求項１８】
請求項１７記載の方法（２００）において、閾値化は、
Ur＝1 U2dark＞UT及びU2bright＞UTの場合
＝0 その他の場合
のアルゴリズムに従って、１又は複数の中間暗画像及び／又は中間明画像に適用されることを特徴とする方法。
【請求項１９】
コンピュータプログラム製品であって、請求項１１−１８いずれかに記載の方法を実行する画像システムを構成するよう動作可能なコンピュータプログラム製品。
【図１】
【図２】
【図４】
【図５】
【図６】
【図３】
【図２】
【図４】
【図５】
【図６】
【図３】
【公表番号】特表２０１１−５３００９４（Ｐ２０１１−５３００９４Ａ）
【公表日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願番号】特願２０１１−５２１５３９（Ｐ２０１１−５２１５３９）
【出願日】平成２１年７月３０日（２００９．７．３０）
【国際出願番号】ＰＣＴ／ＥＰ２００９／０５９８８１
【国際公開番号】ＷＯ２０１０／０１５５６３
【国際公開日】平成２２年２月１１日（２０１０．２．１１）
【出願人】（３９８０４８９１４）ジーイー・ヘルスケア・ユーケイ・リミテッド (30)
【Ｆターム（参考）】
【公表日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願日】平成２１年７月３０日（２００９．７．３０）
【国際出願番号】ＰＣＴ／ＥＰ２００９／０５９８８１
【国際公開番号】ＷＯ２０１０／０１５５６３
【国際公開日】平成２２年２月１１日（２０１０．２．１１）
【出願人】（３９８０４８９１４）ジーイー・ヘルスケア・ユーケイ・リミテッド (30)
【Ｆターム（参考）】
[ Back to top ]