画像データ処理の方法及びシステム
【課題】画像データ処理の方法、記憶媒体、システムを提供する。
【解決手段】この方法、記憶媒体、システムの実施形態は、背景信号測定と、分類染料放射及びクラスタ拒絶を使用する粒子識別と、画像間整列と、画像間粒子相関と、リポータ放射の蛍光積分と、画像平面正規化とのうちの１つ又は複数のステップを実行する構成を含む。
【解決手段】この方法、記憶媒体、システムの実施形態は、背景信号測定と、分類染料放射及びクラスタ拒絶を使用する粒子識別と、画像間整列と、画像間粒子相関と、リポータ放射の蛍光積分と、画像平面正規化とのうちの１つ又は複数のステップを実行する構成を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、全般的には画像データ処理の方法とシステムに関する。ある種の実施態様は、多重化された応用例に関する粒子の画像を処理する１つ又は複数のステップを実行する方法とシステムに関する。
【背景技術】
【０００２】
次の説明と例は、このセクションに含まれることによって従来技術とは認められない。
【０００３】
電荷結合素子（ＣＣＤ）検出器などの検出器を使用する結像は、バイオテクノロジ応用例において現在使用可能な複数の機器に使用されている。多くの市販システムは、ターゲットのヒト（又は他の動物）の細胞を画像化するように構成されている。しかし、そのようなシステムは、細胞のアイデンティティ又は細胞が属するサブセットを判定するのに光の異なる波長を使用して画像を生成するのには利用されてはいない。ＣＣＤ検出器が細胞の蛍光放射を測定するのに使用される多重化応用例に関して、細胞又は他の粒子のサブセット又はクラスは、波長構成などの蛍光放射の特性ではなく、画像内の蛍光放射の絶対位置に基づく。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
したがって、多重化応用例用の粒子の画像のデータ処理の方法とシステムを開発することが望ましい。
【課題を解決するための手段】
【０００５】
上で概要を示した問題は、主に、粒子のデータ画像処理に関連する１つ又は複数のステップを実行するコンピュータ実施される方法、記憶媒体、システムによって対処される。以下は、そのコンピュータ実施される方法、記憶媒体、システムの単なる例示的実施態様であって、いかなる形であれ、特許請求の範囲の主題を限定するものと解釈してはならない。
【０００６】
コンピュータ実施される方法、記憶媒体、システムの実施態様は、蛍光材料を会合された粒子の画像を、サブセクションの配列に分離し、サブセクション内の複数の画素について測定された光学パラメータの統計的値を判定し、判定された統計的値を対応するサブセクションの背景信号として割り当てるように構成することができる。
【０００７】
コンピュータ実施される方法、記憶媒体、システムの他の実施態様を、それに加えて又はその代わりに、蛍光材料を会合された粒子の画像内の、第１の所定のしきい値を超える光学パラメータ値を示す１つ又は複数の画素を識別するために、その画像を分析するように構成することができる。さらに、これらの方法、記憶媒体、システムを、セット内の光学パラメータの最大値をそれぞれが示す、１つ又は複数の識別された画素のセット内の位置を判定し、位置の少なくとも１つを囲む複数の画素の光学パラメータの強度変化の割合を計算するように構成することができる。
【０００８】
コンピュータ実施される方法、記憶媒体、システムの他の実施態様を、それに加えて又はその代わりに、粒子の複数の画像のデータを獲得するように構成することができ、複数の画像のそれぞれは、異なる波長域に対応する。さらに、これらの方法、記憶媒体、システムを、複数の画像の合成画像を作成し、複数の画像のそれぞれの中の粒子に対応するスポットが、続く合成画像内で収束するように複数の画像の少なくとも１つの座標を操作するように構成することができる。
【０００９】
コンピュータ実施される方法、記憶媒体、システムの他の実施態様を、それに加えて又はその代わりに、均一な濃度の蛍光材料を会合された粒子の第１画像と未知の濃度の蛍光材料を会合された粒子の第２画像を分析して、それぞれ、第１の所定のしきい値を超える光学パラメータ値を示す、第１と第２の画像内の１つ又は複数の画素を識別するように構成することができる。さらに、これらの方法、記憶媒体、システムを、第１と第２の画像のめいめいのサブセクション内で、第１と第２の画像を分析するステップ中にそれぞれ識別された画素の集合を分類するように構成することができ、ここで、第１と第２の画像内のサブセクションの寸法は、実質的に等しい。これらの方法、記憶媒体、システムを、第１画像内のめいめいのサブセクションごとに、それに分類された画素の集合の蛍光放射レベルを表す統計値を展開するように構成することもできる。さらに、これらの方法、記憶媒体、システムを、蛍光の正規化された値を得るために、第２画像を分析するステップ中に識別された画素の各集合の蛍光放射レベルを、対応する第１画像サブセクションについて展開された統計値によって除算するように構成することができる。
【図面の簡単な説明】
【００１０】
【図１】多重化された応用例用の画像を獲得し、処理するように構成されたシステムの一実施形態の断面図を示す概略図である。
【図２】画像内の背景信号を判定する方法の概要を示す流れ図である。
【図３】粒子の発見及びさらなる結像処理のための粒子の受け入れ又は拒絶の判定の方法の概要を示す流れ図である。
【図４】画像間整列の方法の概要を示す流れ図である。
【図５】結像システムに関する正規化行列を作成し、後続結像にその正規化行列を適用する方法の概要を示す流れ図である。
【発明を実施するための形態】
【００１１】
本発明の他の目的及び利益は、次の詳細な説明を読み、添付図面を参照する時に明白になる。
【００１２】
本発明は、さまざまな修正形態及び代替形態を許すが、本発明の特定の実施形態を、例として図面に示し、本明細書で詳細に説明する。しかし、図面及びそれに対する詳細な説明は、開示される特定の形態に本発明を限定することを意図されたものではなく、むしろその意図は、添付の特許請求の範囲によって定義される本発明の趣旨及び範囲に含まれるすべての修正形態、均等物、代替形態を包含することであることを理解すべきである。
【００１３】
実施形態を、本明細書では粒子に関して説明するが、本明細書で説明するシステムと方法を、ミクロスフィア、ポリスチレン・ビーズ、微粒子、金ナノ粒子、量子ドット、ナノドット、ナノ粒子、ナノシェル、ビーズ、マイクロビーズ、ラテックス粒子、ラテックス・ビーズ、蛍光ビーズ、蛍光粒子、カラー粒子、カラー・ビーズ、組織、細胞、微生物、有機物、非有機物、又は当技術分野で既知の任意の他の別個の物質と共に使用することもできることを理解されたい。粒子は、分子反応の媒介物として働くことができる。適切な粒子の例が、全体が本明細書に記載されているかのように参照によって組み込まれている、Ｆｕｌｔｏｎの米国特許第５，７３６，３３０号、Ｃｈａｎｄｌｅｒ他の米国特許第５，９８１，１８０号、Ｆｕｌｔｏｎの米国特許第６，０５７，１０７号、Ｃｈａｎｄｌｅｒ他の米国特許第６，２６８，２２２号、Ｃｈａｎｄｌｅｒ他の米国特許第６，４４９，５６２号、Ｃｈａｎｄｌｅｒ他の米国特許第６，５１４，２９５号、Ｃｈａｎｄｌｅｒ他の米国特許第６，５２４，７９３号、Ｃｈａｎｄｌｅｒの米国特許第６，５２８，１６５号に示され、説明されている。本明細書で説明するシステム及び方法は、これらの特許に記載された粒子のいずれとも共に使用することができる。さらに、本明細書で説明する方法及びシステムの実施形態で使用される粒子は、米国テキサス州オースチンのＬｕｍｉｎｅｘ Ｃｏｒｐｏｒａｔｉｏｎ社などの製造業者から入手することができる。用語「粒子」と「ミクロスフィア」は、本明細書では交換可能に使用される。
【００１４】
さらに、本明細書で説明するシステムと方法と互換のタイプの粒子は、粒子の表面に付着されたかそれに会合された蛍光材料を有する粒子を含む。これらのタイプの粒子は、蛍光染料又は蛍光粒子が分類蛍光(classification fluorescence)（すなわち、粒子又は粒子が属するサブセットのアイデンティティを判定するために測定され、使用される蛍光放射）をもたらすために粒子の表面に直接に結合されるが、全体が本明細書に記載されているかのように参照によって組み込まれている、Ｃｈａｎｄｌｅｒ他の米国特許第６２６８２２２号及びＣｈａｎｄｌｅｒ他の米国特許第６，６４９，４１４号に示され、説明されている。本明細書で説明する方法及びシステムで使用できるタイプの粒子は、粒子の核に組み込まれた１つ又は複数の蛍光色素又は蛍光染料を有する粒子をも含む。
【００１５】
本明細書で説明する方法やシステムで使用できる粒子は、さらに、１つ又は複数の適切な光源にさらされた時にひとりでに１つ又は複数の蛍光信号を示す粒子を含む。さらに、励起時に粒子が複数の蛍光信号を示し、粒子のアイデンティティを判定するのにこの蛍光信号のそれぞれを別々に又は組み合わせて使用できる粒子を製造することができる。下で説明するように、画像データ処理は、特に複数検体流体に関する粒子の分類や、粒子に結合した検体の量の判定を含む。粒子に結合した検体の量を表すリポータ信号(reporter signal)は、通常、オペレーション中には未知なので、１つ又は複数の分類波長又は分類波長域だけではなくリポータ波長又はリポータ波長域でも蛍光を発する特別に染められた粒子を、本明細書で説明する処理に使用する。
【００１６】
本明細書で説明する方法は、全般的に、複数の検出波長で粒子の蛍光放射の大きさを表す数値などであるがこれに限定はされない粒子の１つ又は複数の特性を判定するために、粒子の１つ又は複数の画像を分析することと、画像から測定されたデータを処理することとを含む。粒子が属する多重サブセットを表すトークンＩＤ及び／又は存在を表すリポータ値及び／又は粒子の表面に結合した検体の量を判定するための１つ又は複数の数値の使用など、粒子の１つ又は複数の特性の後続処理は、全体が本明細書に記載されているかのように参照によって組み込まれている、Ｆｕｌｔｏｎの米国特許第５，７３６，３３０号、Ｃｈａｎｄｌｅｒ他の米国特許第５，９８１，１８０号、Ｃｈａｎｄｌｅｒ他の米国特許第６，４４９，５６２号、Ｃｈａｎｄｌｅｒ他の米国特許第６，５２４，７９３号、Ｃｈａｎｄｌｅｒの米国特許第６，５９２，８２２号、Ｃｈａｎｄｌｅｒ他の米国特許第６，９３９，７２０号に記載の方法に従って実行することができる。一例で、Ｃｈａｎｄｌｅｒ他の米国特許第５，９８１，１８０号に記載の技法を、粒子が単一試料内の複数の検体の分析のためにサブセットに分類される多重化方式で、本明細書で説明する蛍光測定と共に使用することができる。
【００１７】
ここで図面に移るが、図１が原寸通りに描かれてはいないことに留意されたい。具体的に言うと、この図の要素の一部の縮尺は、それらの要素の特性を強調するために非常に誇張されている。このシステムの一部の要素は、図を明瞭にするためにこの図には含まれていない。
【００１８】
本明細書で説明する方法の実施形態に従って粒子の画像を生成し、獲得し、又は供給し、それらの画像を処理するように構成されたシステムの一実施形態を、図１に示す。図１に示されたシステムは、粒子の複数検体測定などの応用例で使用することができる。このシステムは、光源１０を含む結像サブシステムを含む。光源１０は、発光ダイオード（ＬＥＤ）、レーザー、アーク灯、白熱灯、又は当技術分野で既知の任意の他の適切な光源など、１つ又は複数の光源を含む。それに加えて又はその代わりに、光源は、それぞれが異なる波長又は異なる波長域ごとに光を生成するように構成された複数の光源（図示せず）を含んでもよい。図１に示されたシステムでの使用に適切な光源の組合せの一例は、複数のＬＥＤを含むがこれに限定はされない。複数の光源からの光を、ビーム・スプリッタ（図示せず）又は当技術分野で既知の任意の他の適切な光学要素によって共通の照明経路に組み合わせることができ、それらの光源からの光を、粒子に同時に向けることができる。代替案では、結像サブシステムは、反射鏡などの光学要素（図示せず）と、どの光源が粒子を照明するのに使用されるかに応じて光学要素を照明経路の中又は外に移動するように構成されたデバイス（図示せず）とを含む。この形で、光源を使用して、光の異なる波長又は異なる波長域を用いて粒子を順次照明する。光源（１つ又は複数）は、基板の下からではなく基板の上から照明することもできる（図示せず）。
【００１９】
光源（１つ又は複数）は、粒子又はそれに結合された材料に蛍光を放射させる１つ又は複数の波長又は波長域で光を供給するように選択する。たとえば、１つ又は複数の波長又は波長域は、粒子に組み込まれ、かつ／又は粒子の表面に結合された蛍光染料又は他の蛍光材料を励起するように選択する。この形で、１つ又は複数の波長又は波長域を、粒子がその粒子の分類に使用される蛍光を発するように選択する。さらに、１つ又は複数の波長又は波長域を、粒子の表面の試薬を介して粒子に結合された蛍光染料又は他の蛍光材料を励起するように選択する。したがって、１つ又は複数の波長又は波長域を、粒子の表面で発生する１つ又は複数の反応を検出し、かつ／又は定量化するのに使用される蛍光を粒子が発するように選択する。
【００２０】
図１に示されているように、結像サブシステムは、光源１０からの光を粒子１６が固定される基板１４に向けるように構成された光学要素１２を含む。一例での光学要素１２は、コリメーティング・レンズである。しかし、光学要素１２は、光源１０からの光を基板１４に結像するのに使用できる任意の他の適切な光学要素を含んでもよい。さらに、光学要素は、図１では単一の光学要素として図示されているが、光学要素１２が、複数の屈折要素を含むことができることを理解されたい。さらに、光学要素１２は、図１では屈折光学要素として図示されているが、１つ又は複数の反射光学要素を使用して（おそらくは１つ又は複数の屈折光学要素と組み合わせて）、光源１０からの光を基板１４に結像できることを理解されたい。
【００２１】
粒子１６は、上で説明した粒子のいずれをも含むことができる。基板１４は、当技術分野で既知の任意の適切な基板を含むことができる。基板１４上に固定された粒子は、結像チャンバ（図示せず）又は結像サブシステムに関する基板１４内や固定された粒子１６の位置を維持する任意の他のデバイス内に配置される。基板１４の位置を維持するデバイスを、結像の前に基板の位置を変更する（たとえば、結像サブシステムの焦点を基板に合わせるために）ように構成することもできる。基板上での粒子の固定は、磁気吸引、真空フィルタ・プレート、又は当技術分野で既知の任意の他の適切な方法を使用して実行することができる。結像のためにミクロスフィアを位置決めする方法とシステムの例が、全体が本明細書に記載されているかのように参照によって組み込まれている、２００５年１１月９日出願のＰｅｍｐｓｅｌｌの米国特許出願第１１／２７０，７８６号に示されている。粒子固定方法自体は、本明細書で説明する方法とシステムにとって特に重要ではない。しかし、粒子は、粒子が検出器積分器間（複数秒の長さになる場合がある）中に知覚可能に移動しないように固定されることが好ましい。
【００２２】
図１に示されているように、結像サブシステムは、光学要素１８とビーム・スプリッタ２０を含む。光学要素１８は、基板１４とその上に固定された粒子１６からの光の焦点をビーム・スプリッタ２０に合わせるように構成される。光学要素１８を、さらに、光学要素１２に関して上で説明したように構成することができる。ビーム・スプリッタ２０は、当技術分野で既知の任意の適切なビーム・スプリッタを含むことができる。ビーム・スプリッタ２０を、光の波長に基づいて、光学要素１８からの光を異なる検出器に向けるように構成することができる。たとえば、第１の波長又は波長域を有する光を、ビーム・スプリッタ２０によって透過させ、第１の波長又は波長域と異なる第２の波長又は波長域を有する光を、ビーム・スプリッタ２０によって反射させることができる。結像サブシステムは、光学要素２２と検出器２４をも含む。ビーム・スプリッタ２０によって透過された光を、光学要素２２に向けることができる。光学要素２２は、ビーム・スプリッタによって透過された光の焦点を検出器２４に合わせるように構成される。結像サブシステムは、さらに、光学要素２６と検出器２８を含むことができる。ビーム・スプリッタ２０によって反射された光を、光学要素２６に向けることができる。光学要素２６は、ビーム・スプリッタによって反射された光の焦点を検出器２８に合わせるように構成される。光学要素２２、２６を、光学要素１２に関して上で説明したように構成することができる。
【００２３】
検出器２４、２８は、たとえば、電荷結合素子（ＣＣＤ）検出器又は、ＣＭＯＳ検出器、感光要素の２次元アレイ、時間遅延統合（time delay integration：ＴＤＩ）検出器など、当技術分野で既知の任意の他の適切な結像検出器を含むことができる。いくつかの実施形態で、２次元ＣＣＤ結像アレイなどの検出器を使用して、実質的に基板全体の画像又は基板上に固定されたすべての粒子の画像を同時に獲得する。この形で、基板の照明された区域からのすべての光子を同時に集めることができ、これによって、光電子倍管（ＰＭＴ）やスキャニング・デバイスを含む他の現在入手可能なシステムで使用されるサンプリング・アパーチャに起因する誤差が除去される。さらに、このシステムに含まれる検出器の個数は、関心を持たれている波長又は波長域の個数と等しくすることができ、各検出器は、それらの波長又は波長域のうちの１つで画像を生成するのに使用される。
【００２４】
検出器によって生成された画像のそれぞれを、ビーム・スプリッタから検出器までの光経路内に配置される、光学帯域通過要素(optical bandpass element)（図示せず）又は当技術分野で既知の任意の他の適切な光学要素を使用してスペクトル的にフィルタリングする。異なるフィルタ「帯域」を、取り込まれる画像ごとに使用される。画像が獲得される各波長又は各波長域の検出波長の中心と幅を、粒子分類に使用されるものであれ、リポータ信号であれ、関心を持たれている蛍光放射に一致させることができる。この形で、図１に示されたシステムの結像サブシステムは、異なる波長又は波長域で複数の画像を同時に生成するように構成される。図１に示されたシステムは、２つの検出器を含むが、このシステムが、２つを超える検出器（たとえば、３つの検出器、４つの検出器など）を含むことができることを理解されたい。上で説明したように、検出器のそれぞれを、異なる波長又は波長域の光を異なる検出器に同時に向ける１つ又は複数の光学要素を含めることによって異なる波長又は波長域で画像を同時に生成するように構成することができる。
【００２５】
さらに、図１に示されたシステムは、複数の検出器を含むが、このシステムが単一の検出器でもよいことを理解されたい。単一の検出器は、複数の波長又は波長域で複数の画像を順次生成するために使用される。たとえば、異なる波長又は波長域の光を、基板に順次向けることができ、異なる画像を、異なる波長又は波長域のそれぞれを用いる基板の照明中に生成させる。もう１つの例で、単一の検出器に向けられる光の波長又は波長域を選択する異なるフィルタを変更して（たとえば、異なるフィルタを結像経路の中に又は外に移動することによって）、異なる波長又は波長域で画像を順次生成することができる。
【００２６】
したがって、図１に示された結像サブシステムは、関心を持たれている複数の波長で粒子１６の蛍光放射を表す複数の画像又は一連の画像を生成するように構成される。さらに、このシステムを、粒子の蛍光放射を表す複数のディジタル画像又は一連のディジタル画像をプロセッサ（すなわち、処理エンジン）に供給するように構成することができる。１つのそのような例で、このシステムは、プロセッサ３０を含むことができる。プロセッサ３０を、検出器２４、２８から画像データを獲得する（たとえば、受け取る）ように構成することができる。たとえば、プロセッサ３０を、当技術分野で既知の任意の適切な形で検出器２４、２８に結合することができる（たとえば、それぞれが検出器のうちの１つをプロセッサに結合する伝送媒体（図示せず）を介して、それぞれが検出器のうちの１つとプロセッサとの間に結合されたアナログ−ディジタル変換器などの１つ又は複数の電子構成要素（図示せず）を介してなど）。プロセッサ３０は、粒子の分類や、粒子の表面で発生する反応に関する情報など、粒子１６の１つ又は複数の特性を判定するためにこれらの画像を処理し、分析するように構成されることが好ましい。この１つ又は複数の特性を、粒子ごとに波長ごとに蛍光の大きさの１項目を有するデータ配列などの任意の適切なフォーマットでプロセッサによって出力する。具体的に言うと、プロセッサを、画像を処理し分析するための本明細書で説明する方法の実施形態の１つ又は複数のステップを実行するように構成することができる。
【００２７】
プロセッサ３０は、通常のパーソナル・コンピュータ、メインフレーム・コンピュータ・システム、ワークステーションなどに一般に含まれるプロセッサなどのプロセッサである。一般に、用語「コンピュータ・システム」は、メモリ媒体から命令を実行する１つ又は複数のプロセッサを有するすべてのデバイスを含むものとして幅広く定義することができる。プロセッサは、任意の他の適切な機能的ハードウェアを使用して実施することができる。たとえば、プロセッサは、ファームウェア内の固定プログラムを伴うディジタル信号プロセッサ（ＤＳＰ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、又はｖｅｒｙ ｈｉｇｈ ｓｐｅｅｄ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ（ＶＨＳＩＣ）ｈａｒｄｗａｒｅ ｄｅｓｃｒｉｐｔｉｏｎ ｌａｎｇｕａｇｅ（ＶＨＤＬ）などの高水準プログラミング言語で「記述された」シーケンシャル・ロジックを使用する他のプログラマブル・ロジック・デバイス（ＰＬＤ）を含むことができる。もう１つの例で、本明細書で説明するコンピュータ実施される方法の１つ又は複数のステップを実行するためにプロセッサ３０上で実行可能なプログラム命令（図示せず）を、望み通りに、適宜Ｃ＋＋で記述されたセクションを伴うＣ＃、ＡｃｔｉｖｅＸコントロール、Ｊａｖａ（登録商標）Ｂｅａｎｓ、Ｍｉｃｒｏｓｏｆｔ Ｆｏｕｎｄａｔｉｏｎ Ｃｌａｓｓｅｓ（「ＭＦＣ」）などの高水準言語、又は他の技法もしくは方法論でコーディングすることができる。プログラム命令は、とりわけ、手続きベースの技法、コンポーネント・ベースの技法、及び／又はオブジェクト指向の技法を含むさまざまな形のいずれかで実装される。
【００２８】
本明細書で説明するものなどの方法を実施するプログラム命令を、記憶媒体を介して伝送するか記憶媒体に格納する。記憶媒体は、読取専用メモリ、ランダム・アクセス・メモリ、磁気ディスク、光ディスク、又は磁気テープを含むことができるが、これらに限定はされない。画像ごとに、すべての置かれた粒子と識別された粒子ごとに判定された値及び／又は統計値を、記憶媒体内のメモリ媒体に格納する。本明細書で説明する画像処理方法を、１つ又は複数のアルゴリズムを使用して実行することができる。下で詳細に説明するように、これらのアルゴリズムは、複雑である場合があり、したがって、コンピュータを介して最もよく実施することができる。したがって、本明細書で説明する方法、特に図２〜５に関して説明する方法を、「コンピュータ実施される方法」と称する場合があり、したがって、用語「方法」や「コンピュータ実施される方法」は、本明細書では交換可能に使用される場合がある。本明細書で説明されるシステムのコンピュータ実施される方法やプログラム命令を、いくつかの場合に、本明細書で説明される方法に関連する処理以外の処理を実行するように構成することができ、したがって、本明細書で説明されるシステムのコンピュータ実施される方法とプログラム命令が、必ずしも図２〜５の図示に限定されないことに留意されたい。
【００２９】
本明細書で説明する結像ベースのシステムは、伝統的なフロー・サイトメトリ・タイプの測定システムを置換する、実行可能な候補である。本明細書で説明する方法、記憶媒体、システムは、データ処理の意味において、フロー・サイトメトリ・ベースの応用例に必要なものより複雑である可能性がある。しかし、本明細書で説明するシステムのハードウェア（たとえば、光源、光学要素、検出器など）は、通常のフロー・サイトメータよりかなり安価であり、堅牢である。本明細書で説明する方法のさらなる評価や改善（たとえば、これらの方法を実施するのに使用できるアルゴリズムのさらなる評価や改善）は、処理能力の必要の減少と蛍光放射値のより正確な判定につながり、したがって、粒子の１つ又は複数の特性のより正確な判定につながる。
【００３０】
一実施形態によれば、画像データ処理のコンピュータ実施される方法は、背景信号測定と、分類染料放射及びクラスタ拒絶(cluster rejection)を使用する粒子識別（すなわち、発見）と、画像間整列と、画像間粒子相関と、リポータ放射の蛍光積分(fluorescence integration)と、画像平面正規化とのうちの１つ又は複数のステップ（すなわち、高水準オペレーション）を含む。これらのステップを、上にリストした順序で順次実行することができる。
【００３１】
一般に、背景信号測定は、ある粒子から発する蛍光を正確に判定できる（すなわち、ある粒子からの蛍光の測定を、画像の背景の反射光のレベルに関わりなく、さらに、粒子を画像化するのに使用される結像システムからの雑音と暗電流オフセットに関わりなく判定できる）ように実行することができる。図２に、画像の背景信号を測定するステップの例示的なシーケンスを示す流れ図を示す。図２のブロック４０に示されているように、この方法は、蛍光材料を会合された粒子の画像をサブセクションの配列に分離することを含むことができる。そのような配列は、所望の背景信号の明瞭さ、システムの処理能力、及び／又は分析される粒子の個数に応じて、任意の個数の行と列を含む。図２にさらに示されているように、この方法がブロック４０の後に継続するルートは、画像内の粒子の占有率に依存する。具体的に言うと、ブロック４０の後に、この流れ図はブロック４２に継続し、このブロック４２で、画像内の粒子の占有率を定量化したかどうかに関する判定を行う。
【００３２】
粒子の占有率が定量化されている実施形態では、この方法はブロック４４に継続する。ここで、占有率が所定のしきい値未満であるかどうかを判定する。図２の流れ図は、具体的には、ブロック４４内で５０％占有率のしきい値を示すが、この方法が必ずしもそれに限定されないことに留意されたい。具体的に言うと、この方法は、画像の背景信号を測定する動作のコースを決定するための任意の所定の量の占有率を考慮するように変更できる。関心を持たれている粒子が、結像区域の所定のしきい値未満（たとえば約５０％未満）を占める実施形態では、ブロック４６に示されているように、背景信号測定に、サブセクション内のすべての画素の間で光学パラメータの統計的値を判定することを含めることができる。その結果、サブセクション内の粒子に対応する比較的明るい画素の蛍光値を、そのサブセクション内の背景画素（画素の存在に対応しない画素）からの信号とマージする。しかし、粒子は、サブセクションのより小さい量を占めるので、統計的値が、背景画素をより強く表す場合がある。一般に、統計的値は、中央値、平均値、最頻値、トリム平均を含むがこれらに限定されない任意の個数の統計パラメータを含むことができる。いくつかの実施形態で、中央値の判定が、特に有利である場合がある。
【００３３】
他の実施形態では、この方法は、ブロック５０、５２、５４に継続して、サブセクション内のすべてより少数の画素の光学パラメータの統計的値を判定することができる。具体的に言うと、関心を持たれている粒子の占有率が、結像区域の所定のしきい値以上（たとえば、ブロック４４をブロック５０に接続する矢印によって示されるように、約５０％以上）である実施形態で、又は粒子による結像区域の占有率が未知である（たとえば、ブロック４２をブロック５０に接続する矢印によって示されるように）時に、背景信号測定の方法は、サブセクション内のすべてより少数の画素の光学パラメータの統計的値を判定することによって、背景区域に対する粒子区域のより大きい又は未知の比率を補償することができる。具体的に言うと、ブロック５０に示されているように、所定のしきい値を超える光学パラメータ値を示す画像内の画素を識別することができる。いくつかの場合に、ブロック５２に示されているように、ブロック５０で識別された画素を、それに直接に隣接して配置された画素と共にグループ化する。しかし、そのような処理ステップは、このブロックの破線の境界によって示されるように任意選択であり、したがって、いくつかの場合にこの方法から省略することができる。
【００３４】
どの場合でも、この方法は、ブロック５４に継続し、ここで、光学パラメータの統計的値を、ブロック５０で概要を示した所定のしきい値を超える光学パラメータを示すと識別されないサブセクション内の画素のセットの中だけで判定する。いくつかの実施形態で、そのような識別された画素と共にグループ化された画素を、光学パラメータの統計的値の判定から除外することもできる。この形で、ブロック５０で識別された画素と、いくつかの場合に、ブロック５２で識別された画素と共にグループ化された画素とを、背景信号の測定から隔離する。
【００３５】
どの場合でも、使用される処理ステップのシーケンスに関わりなく、その統計的値が判定される光学パラメータは、１つ又は複数の検出波長で測定された粒子の任意の蛍光放射、画像の背景内の散乱光の放射や、粒子を画像化するのに使用された結像システムからの任意の雑音と暗電流オフセットである。さらに、使用される処理ステップのシーケンスに関わりなく、この方法は、ブロック５６に継続して、判定された統計的値を対応するサブセクションの背景信号として割り当てることができる。より具体的には、あるサブセクション内のすべての画素の背景信号レベルに、そのサブセクションについて計算された統計的値を割り当てることができる。いくつかの場合に、ブロック４６、５０、５２、５４、５６の処理ステップを、画像内の他のサブセクションについて繰り返すことができ、いくつかの場合に、画像内のすべてのサブセクションについて繰り返すことができる。この形で、光学パラメータの統計的値を、複数のサブセクションのそれぞれについて判定し、いくつかの場合に、すべてのサブセクションについて判定する。いくつかの場合に、統計的値の比較的鋭い対照が、２つのサブセクションの間の境界に存在する。隣接するサブセクションの間の統計的値の不連続な差を平滑化するために、２次元統計的フィルタ（たとえば、中央値フィルタ又は平均値フィルタ）を、サブセクションの配列に対して実行する。その結果、サブセクションを、そのエッジで平滑化することができる。そのような統計的フィルタが使用されるかどうかに関わりなく、計算された統計的値を含む画素のサブセクションの結果のｎ×ｍ行列を、「背景画像」として保存することができ、この背景画像を、本明細書でさらに説明するように利用することができる。
【００３６】
図２に関して説明した方法が、背景信号測定の上で説明した方法の追加ステップを含むことができ、したがって、この方法が、必ずしも図２の図示によって限定されないことに留意されたい。たとえば、図２のブロック４６、５０、５２、５４、５６の反復の省略は、必ずしも本明細書で説明する方法のそのような可能性の包含を制限しない。上で注記したように、本明細書で説明する画像データ処理の方法は、分類染料からの蛍光放射とクラスタ拒絶（すなわち、一緒に比較的近くに配置された粒子の拒絶）を使用することによる粒子発見の処理を含むことができる。いくつかの実施形態で、本明細書で説明する粒子発見の処理を、画像内の背景信号のレベルの判定の後に実行することができ、いくつかの場合に、特に、図２に関して説明した背景信号測定の方法の後で実行することができる。しかし、他の実施形態では、本明細書で説明する粒子発見の処理を、背景信号測定と独立に実行することができる。
【００３７】
図３に、粒子発見の処理のステップの例示的シーケンスを示す流れ図を示す。図３のブロック６０に示されているように、この方法は、蛍光材料を会合された粒子の画像内の、所定のしきい値を超える光学パラメータ値を示す１つ又は複数の画素を識別するために、その画像を分析することを含む。たとえば、分類画像（すなわち、分類染料の１つの波長又は波長域で放たれる光から生成された画像）から、画像の背景信号より大きい強度の蛍光を示す画素を検索する。いくつかの実施形態で、画像から、強度において２倍から１０００倍程度など、画像の背景信号よりかなり大きい強度の画素を検索することができる。画像の背景信号に対する相対的なより小さい又はより大きい強度レベルを使用することもできる。他の場合に、画像から、画像の背景信号に依存しても、しなくてもよい蛍光の固定された値を示す画素を検索することができる。どの場合でも、１つの画素又は画素の集合による蛍光放射のより高いレベルは、蛍光を放射する粒子の存在を示す可能性がある。いくつかの実施形態で、粒子が、単一画素の中に含まれる場合がある。しかし、他の実施形態で、粒子が、複数の画素にまたがって広がっている場合がある。
【００３８】
どの場合でも、ブロック６０で識別された画素を、画像内の粒子の位置を判定するために評価することができる。具体的に言うと、図３で概要を示される方法は、ブロック６２に継続して、画像内の存在粒子を検出するために、光学パラメータの最大値をそれぞれが示す１つ又は複数の識別された画素のセット内の位置を判定することができる。画素を個別に評価することができ、したがって単一画素内の位置をブロック６２によって判定することができるが、ブロック６２は、識別された画素の集合の中での位置の判定をも含むことができる。本明細書で使用される時に、「画素の集合」は、一般に、互いに直接に隣接して配置された画素のグループ化（すなわち、連続して配置された画素のクラスタ又は集団）を指すことができる。
【００３９】
いくつかの実施形態で、画像内の粒子の位置を判定するために画素の集合を評価することが有利である場合がある。具体的に言うと、上で注記したように、１つの粒子が複数の画素にまたがって広がっている場合があり、したがって、個々の画素内の位置の判定が、実際に画像化されたものより多数の粒子の存在を誤って伝える場合がある。さらに、ある粒子が、画像内で１つ又は複数の他の粒子の比較的近くに位置する場合に、それら粒子の蛍光が、互いの特性の評価に影響する場合がある。その結果、粒子のデータを正確に判定できなくなる。いくつかの場合に、含まれる粒子の特性を正確に評価できないと判定される場合に、画素の集合を拒絶する（たとえば、さらなる画像処理から除去する）ことができる。さらなる画像処理について画素の集合を受け入れることができるか拒否するかを判定する例示的な形を、下で図３のブロック７０〜７８に関してより詳細に説明する。
【００４０】
一般に、１つ又は複数の識別された画素のセット内の位置を判定する、ブロック６２に概要を示した処理は、複数の異なる形で行うことができる。いくつかの例示的な方法を、図３のブロック６４、６６、６８で概要を示す（ブロック６４、６６、６８は、破線によってブロック６２から延び、破線によって囲まれ、これは、これらの処理が例示的であることを示す）。図３に示されているように、ブロック６４は、光学パラメータの最大値をそれぞれが示す、１つ又は複数の識別された画素のセットの中のピーク画素を確かめる処理の概要を示す。そのような処理では、画素の各セットを通って反復して、画素ごとに測定された蛍光値が画素のセット内の最大値を有するかどうかを判定することができる。最大値を有する画素を、「ピーク画素」として確かめることができる。いくつかの場合に、ピーク画素の中心部分を、その位置として指定することができる。その場合に、ブロック６２に概要を示された位置を判定する処理を、ブロック６４に概要を示された処理によって単純に行うことができる。
【００４１】
しかし、いくつかの実施形態で、光学パラメータの最大値を示す位置について、ピーク画素の代替部分が、より適切であるかどうかを判定することが有利である場合がある。たとえば、粒子が、画像の画素の間で完全には整列されておらず、その結果、粒子からのエネルギが、識別された画素のセットの間で均等に分布していない場合がある。その場合に、ピーク画素の中心部分が、粒子の最大蛍光測定値を表していない場合があり、したがって、ピーク画素のオフセンタ部分が粒子の最大蛍光測定値をよりよく表す可能性があるかどうかを判定することが有利である場合がある。その場合に、この方法は、ブロック６６に継続して、光学パラメータの最大値を示す１つ又は複数の識別された画素の少なくとも１つのセット内の重心位置を計算することができる。具体的に言うと、この方法は、ピーク画素に隣接する画素とピーク画素の所定の半径内の画素の蛍光測定値を積分することを含む。ピーク画素からの例示的半径は、１画素から１０画素までの範囲から選択することができるが、他の半径を考慮することができる。所定の半径が、所定のしきい値を超える光学パラメータを有すると識別されなかった画素を含む実施形態で、そのような「背景画素」のすべての背景信号を、この積分から減算できることに留意されたい。
【００４２】
いくつかの場合に、計算された重心位置を光学パラメータの最大値を示す位置として割り当てるかどうかを分析することが有利である場合がある。したがって、いくつかの実施形態で、この方法は、いくつかの実施形態において、計算された重心位置の特性に応じてブロック６８に継続する。たとえば、重心位置が、任意の方向で画素幅の半分を超える場合に、次の整数値に丸められた計算された位置（たとえば、ｘ座標及びｙ座標で）を、光学パラメータの最大値を示す位置として割り当てることができる。ブロック６８は、重心位置を割り当てるために、計算された重心位置の寸法しきい値が画素の寸法の５０％より大きいことを指定するが、この偶発的処理は、必ずしもそれに限定されない。具体的に言うと、重心位置の任意の寸法しきい値（画素寸法と独立の寸法しきい値を含む）を使用して、重心位置を割り当てるかどうかを判定することができる。
【００４３】
光学パラメータの最大値を示す位置を判定する処理の後に、この方法は、さらなる画像処理について画素を受け入れ、拒絶する処理に継続する。たとえば、この方法は、いくつかの実施形態でブロック７０に継続し、ここで、２つのピーク画素の間の距離を計算する。ピーク画素の識別は、一般に、ブロック６４に関して上で説明した処理によって実行することができ、したがって、図３の流れ図は、相関を示すためにブロック６４と７０とを接続する破線を含む。ブロック７０で計算された距離に基づいて、ブロック７２に示されているように、２つのピーク画素のうちの１つに対応する画素のセットを、さらなる画像処理について受け入れるか拒絶する。たとえば、ピーク画素の間の距離が、１つ又は２つの画像化された粒子の投影された直径又はその間の任意の距離と同等のしきい値などであるがこれに限定されない所定のしきい値より小さい（かつ／又はこれと等しい）場合に、２つのピーク画素のうちの１つに対応する画素のセットを、さらなる画像処理について拒絶することができる。この形で、関心を持たれている粒子の評価を妨げる可能性がある、関心を持たれている粒子に近すぎて配置された粒子の蛍光放射を防ぐことができる。
【００４４】
一般に、用語「画像化された粒子の投影された直径」は、本明細書で使用される時に、粒子を画像化するのに使用されたシステムの構成要素構成に基づく画像化された粒子の推定された直径を指す。一般に、画像化された粒子のサイズは、その粒子を画像化するのに使用される結像システムの倍率に依存して、実際の粒子の寸法と異なる可能性がある。さらに、結像システムの他の構成要素構成も、直径に影響する可能性がある。たとえば、不完全なレンズ、光学的開口からの回折、光学フィルタ歪み、結像システムの複数の他の構成要素が、影響する可能性があり、いくつかの場合に、画像化される画素の寸法を歪ませる可能性がある（本明細書では、画像化された粒子のスミアと称する）。いくつかの場合に、結像レンズの点像分布関数（ＰＳＦ）（代替案では変調伝達関数（ＭＴＦ）として定量化される）が、歪みの主要因である場合がある。
【００４５】
２つのピーク画素に対応する画素のセットのいずれをも拒絶することができるが、より低い蛍光測定値を有するピーク画素に対応する画素のセットを拒絶することが有利である可能性がある。というのは、そのような画素のセットの特性が、さらなる画像処理中に画素の他方のセットに対して区別可能である可能性がより低いからである。いくつかの場合に、この方法は、さらなる画像処理に十分であるかどうかを判定するために画素の残りのセットを評価することに継続する。たとえば、この方法は、ブロック７４に継続して、画素のセットの間の光学パラメータの強度変化の割合が単一の粒子又は粒子のクランプを示すかどうかを判定することができる。一般に、粒子のそれぞれの正確で別個の情報を入手することのむずかしさに起因して、粒子のクランプを拒絶することが望ましい。もう１つの実施形態では、ブロック７２での拒絶に関する画素の２つのセットの選択を、画素のセットの間の光学パラメータの強度変化の割合を計算することによって判定することができる。具体的に言うと、ピーク画素の間の距離が所定のしきい値未満であることを判定する際に、光学パラメータの強度変化の割合を、拒絶すべきセットのインジケータとして画素のセットごとに計算することができる。画素のセットの間の強度変化の割合を計算する異なる形を、それぞれブロック７６〜７８及び８０〜８２に概要を示し、下でより詳細に説明する。
【００４６】
粒子拒絶の方法は、ブロック７２及び７４の組合せ又は順次処理を含むことができるので、図３の流れ図は、めいめいのプロセスの間のそのような接続の可能性を示すブロック７２と７４との間の破線を含む。しかし、そのような接続は、任意選択である。具体的に言うと、ブロック７２、７４は、いくつかの実施形態で、共に実行されない場合があり、したがって、ブロック７２と７４との間の矢印を省略することができる。他の実施形態で、ブロック７４、７２の処理を逆転することができ、したがって、本明細書で説明する方法は、ブロック７８及び／又は８２とブロック７０との間の接続を含むことができる。他の実施形態では、ブロック７０、７２を、この方法から省略することができる。その代わりに、ブロック７４（及び、ブロック７６〜８２に概要を示された処理などを実行するためのその例示的手順）をこの方法から省略することができる。もう１つの場合に、この方法を、ブロック６２の後の画像処理のルートを選択するように構成することができ、したがって、図３に示されているブロック７０又は７４のいずれかにつなげることができる。
【００４７】
ブロック７４を参照すると、ブロック６２で判定された位置のうちの少なくとも１つを囲む複数の画素の間の光学パラメータの強度の割合を計算することができる。上で注記したように、この割合は、さらなる画像データ処理に関して粒子を受け入れるか、粒子を拒絶するのに使用することができる。より具体的に言うと、この割合は、粒子の放射特性の空間的勾配（すなわち、蛍光放射レベルの分布）の測定値とすることができ、この空間的勾配を使用して、関心を持たれている粒子が隣接する粒子からどれほど分離されているかを判定することができる。いくつかの実施形態で、ブロック７４の処理は、ブロック７６、７８に概要を示されたステップのシーケンスに従うことができる。具体的に言うと、この方法は、ブロック６２で判定された位置を囲む所定の半径の中に配置された画素のセットの光学パラメータの強度の割合を計算することを含めることができる。いくつかの実施形態で、所定の半径は、判定された位置によって表される粒子の投影された直径とほぼ等しいものとすることができる。他の場合に、所定の半径は、判定された位置によって表される画像化された粒子の投影された直径より大きいかこれより小さいものとすることができる。
【００４８】
光学パラメータの強度変化の割合を計算した後に、この方法は、ブロック７８に継続し、ここで、強度の割合を所定のしきい値と比較することによって、さらなる画像データ処理について画素のセットを受け入れるか、拒絶することができる。いくつかの実施形態で、ブロック７８は、強度変化の割合が所定のしきい値以上であることを計算した時に、さらなる処理について画素のセットを受け入れることを含む。具体的に言うと、光学パラメータの強度変化の比較的高い割合は、画素のセット内の単一の粒子を示す場合があり、これは、さらなる画像処理に望ましい可能性がある。そのような処理に加えて、ブロック７８に、強度変化の割合が所定のしきい値未満であることを計算した時に、さらなる処理について画素のセットを拒絶することを含めることができる。具体的に言うと、光学パラメータの強度変化の比較的低い割合は、画素のセット内の粒子のクランプを示す場合があり、これは、上で注記したように、さらなる画像処理に望ましくない可能性がある。
【００４９】
画素のセット内の光学パラメータの強度変化の割合を計算する代替の形の概要を、図３のブロック８０と８２に示す。具体的に言うと、この方法は、それに加えて又はその代わりに、ブロック８０に経路指定されて、ブロック６２で判定された位置の１つを囲む異なる所定の半径内にそれぞれが配置された画素の２つの別個のセットの光学パラメータの値を合計することができる。この半径を、検出器画素アレイにまたがる粒子の広がりに最もよく一致するように調整することができ、この広がりが、通常、結像レンズの点像分布関数（ＰＳＦ）（代替案では変調伝達関数（ＭＴＦ）として定量化される）、結像サブシステムの焦点面に関する粒子の位置、及び粒子自体のサイズに依存して変化することに留意されたい。たとえば、いくつかの実施形態で、一方の所定の半径が、画像内の単一の粒子の投影された直径とほぼ等しく、他方の所定の半径が、画像内の単一の粒子の投影された直径より約１．５倍大きいことが有利である場合がある。しかし、他の半径を使用することができ、半径の異なる比率を使用することができる。さらに、背景信号の値が、一方の半径の中の画素について減算される場合に、背景信号を、他方の半径の中の画素の値から減算することもできることに留意されたい。
【００５０】
光学パラメータの値の合計の値に、半径のそれぞれに対応する合計された値の比率を計算することができる。具体的に言うと、より小さい半径を使用して入手された合計された値を、より大きい半径を使用して入手された合計された値によって除算することができ、あるいはその逆を行うことができる。どちらの場合でも、この比率は、ブロック８２に示されているように、さらなる画像データ処理について画素のセットを受け入れるか拒絶するのに使用することができる。具体的に言うと、ブロック８２は、この比率が、所定のしきい値以下の量だけセット値と異なることを判定する時に、さらなる評価について画素のセットを受け入れることを含むことができる。さらに、ブロック８３は、この比率が、所定のしきい値を超える量だけセット値と異なることを判定する時に、さらなる評価について画素のセットを拒絶することを含むことができる。
【００５１】
しきい値の判定は、ブロック８０で概要を示した処理を実行するために選択された半径、画像化される粒子のサイズ、画像内の粒子のスミア、使用される結像システムのセッティングを含むがこれらに限定はされないさまざまな要因に依存する。その結果、ブロック８３で画素のセットを受け入れるか拒絶するための所定のしきい値は、異なる応用例の間で大きく変化する可能性がある。しかし、一般的なガイドラインは、１により近い比率が、さらなる処理に望ましい可能性がある画素のセットを示す可能性があるということである。というのは、より小さい半径の外側の画素からの寄与がほとんどないからである。言い換えると、隣接する粒子からの光学パラメータ値の影響が、最小限である可能性が高く、したがって、関心を持たれている光学パラメータの値の誤差が、比較的小さくなる。代替案では、この比率が、１より大幅に小さい場合に、隣接する明るい粒子が、関心を持たれている粒子の光学パラメータ値に影響している可能性が高い。その場合に、関心を持たれている粒子を破棄することができ、あるいは、積分半径が、不正に選択されている可能性がある。この形で、関心を持たれている粒子の画像データを破棄する前に、上で説明した積分を、異なる半径を用いて実行することができる。
【００５２】
そのような追加積分を実行するアルゴリズムは、ある固定された比率（１．５×など）でビーズごとに外径に対して内径を確立することと、その結果を格納することとを含む。その場合に、内径は、期待されるビーズ投影より１．５倍大きいなど、期待されるビーズ投影よりわずかに大きくすることができる。次に、内径と外径を、ビーズごとにわずかに減らす（前と同一の比率を保ちながら）。その後、比率の集合を比較して、比率の大多数が変化したかどうかを調べる。比率のほとんどが変化していない場合には、内径は、まだ大きすぎ、エネルギは、内側の円の外側で外側の円までに（まだ）あり、したがって、内径と外径をビーズごとにもう一度減らす必要がある。逆に、比率の一部が変化している場合には、これは、一部のエネルギが外側の円に移動しつつある可能性があることを示す。
【００５３】
この処理を、最後の直径の比率の集合からの変化の分布に基づいて任意の回数だけ繰り返す。たとえば、一致する粒子のパーセンテージがわかっている（その結果、破棄されなければならない）場合に、そのパーセンテージを、比率の所望のパーセンテージと等しくして、反復を終わらせることができる。一致する粒子のパーセンテージの推定値は、生産ラインからの過去のデータからの、システムが通常どのように振る舞うかの知識から、あるいはその代わりに試験画像の視覚的検査から引き出すことができる。一致する粒子のパーセンテージがわからない場合には、内径の減少に伴って変化したり一定のままになる現れるパーセンテージに関するステップごとの変化の「ヒストリ」を、反復を終了させるためのインジケータとすることができる。例として、１つの減少で比率の５％が変化し、次に１０％、次にまた１０％、４回目に１２％が変化するものとする。そのような例では、１０％を、破棄しなければならない粒子の個数とすることができる。１２％のパーセンテージに達した時に、内側の円が小さすぎ、より小さい単一のよいビーズを切り捨てていた可能性がある。したがって、以前の直径を、停止する点として使用しなければならない。そのような処理ステップのすべてを、異なる内径／外径比率を用いて繰り返して、パーセンテージ変化のより明瞭な傾向が現れるかどうかを調べることができる。その場合に、この処理は、まずより大きい比率から始め、最初の比率より実際に小さくなるまで比率をスイープしながらステップ・スルーする（任意選択で、最初の比率は既に計算されているので、これをスキップするアルゴリズムの「外側ループ」を含むことができる。
【００５４】
上で注記したように、本明細書で説明する画像データ処理の方法は、画像間整列の処理を含む。いくつかの実施形態で、本明細書で説明する画像間整列の処理を、画像内の背景信号のレベルの判定の後に、及び／又は画像内の粒子の発見の後に実行することができる。いくつかの場合に、画像間整列の処理を、特に、図２に関して説明した背景信号測定の方法の後に、及び／又は図３に関して説明した粒子発見の方法の後に実行することができる。しかし、他の実施形態では、本明細書で説明する画像間整列の処理を、背景信号測定処理及び／又は粒子発見処理と独立に実行することができる。どの場合でも、画像間整列処理を、機器が組み立てられた後に工場で実行することができる。それに加えて又はその代わりに、画像間整列処理を、特にシステムの構成要素が工場からの出荷の後に変更される場合に、現場で実行することができる。
【００５５】
一般に、粒子の複数の画像が、上で説明したようにそれぞれを１つの光学フィルタに結合できる複数の検出器を使用して獲得される場合に、又は交換可能な光学フィルタが単一のカメラを用いて撮影される画像の間に交換される（フィルタ自体が画像に影響し得るので）場合に、画像間整列を実行することができる。複数の画像は、一般に、異なるレベルの蛍光を測定でき、粒子の分類に使用できるように、異なる波長で撮影される。しかし、結像サブシステム・ハードウェアの機械的公差に起因して、複数の画像のそれぞれの中の粒子に対応するスポットが、複数の画像の合成物内で絶対的に整列されてはいない場合がある。スポットのそのような位置ずれは、画像化されるすべてのチャネルでの粒子の位置を関連付ける能力を望ましくなく妨げる可能性がある。しかし、画像対画像の位置合わせは、本明細書で説明する、スポットをよりよく整列する画像間整列技法を使用して修正することができる。下で説明するように、画像間整列訂正処理は、ｘ方向及び／又はｙ方向での画像座標の単純な平行移動とすることができる。それに加えて又はその代わりに、画像間整列処理は、複数の画像のうちの１つ又は複数の回転を含むことができる。
【００５６】
図４に、画像間整列の処理のステップの例示的シーケンスを示す流れ図を示す。図４のブロック９０に示されているように、この処理は、蛍光材料を会合された粒子の複数の画像のデータを獲得することを含むことができ、ここで、複数の画像のそれぞれは、異なる波長域に対応する。いくつかの場合に、データを結像システムから直接に獲得することができるが、他の場合に、データを記憶媒体から獲得することができる。どちらの場合でも、データは、上で注記したように異なる波長で撮影された複数の画像を表すことができる。使用できる例示的な波長は、分類チャネル１の赤、分類チャネル２の緑、リポータ・チャネルの青などであるがこれらに限定はされない、異なるカラー・チャネルに対応することができる。上でさらに注記したように、各カラー・チャネルに対処するために、本明細書で説明する方法に関して使用される粒子を、関心を持たれているすべての波長で又はすべての波長域で発光するように特別に染めることができる。具体的に言うと、複数の画像内で分類信号とリポータ信号との両方を測定するために、本明細書で説明する画像間整列処理を、分類波長又は分類波長域だけではなく、リポータ波長又はリポータ波長域でも蛍光を発光する特別に染められた粒子を使用して実行することができる。
【００５７】
複数の画像のデータを獲得した後に、この方法は、ブロック９２に継続し、ここで、複数の画像の合成画像を作成する。一般に、この合成画像は、複数の画像がお互いに対して相対的にオーバーラップされた単一の画像である。上で注記したように、結像サブシステム・ハードウェアの機械的公差に起因して、複数の画像のそれぞれの中の粒子に対応するスポットが、複数の画像の合成物内で絶対的に整列されてはいない場合がある。したがって、画像間整列が必要になる場合がある。具体的に言うと、この方法は、ブロック９４に示されているように、複数の画像のそれぞれの中の粒子に対応するスポットが、続く合成画像内で収束するように、複数の画像のうちの少なくとも１つの座標を操作することを含む。いくつかの実施形態で、複数の画像のうちの１つ（本明細書で「基準画像」と称する画像）を除くすべての画像の座標値を操作することができる。代替案では、より少数の複数の画像の座標値を操作することができる。この形で、基準画像以外の画像の座標値を、画像間整列処理について維持することができる。いくつかの場合に、リポータ染料の放つ光の波長又は波長域で獲得された画像を、基準画像として指定することができる。他の実施形態では、分類染料の放つ光の波長又は波長域で獲得された画像を、基準画像として指定することができる。
【００５８】
上で注記し、図４に示されているように、座標の操作は、いくつかの場合に、ブロック９６に示されているように、ｘ方向及び／又はｙ方向での画像座標の直交オフセットを含む。それに加えて又はその代わりに、座標の操作は、ブロック９８に示されているように、複数の画像のうちの１つ又は複数の回転を含んでもよい。ブロック９６、９８は、破線によって輪郭を示されている。これは、これらの処理の一方又は両方を画像座標の操作に使用できることを示す。
【００５９】
直交平行移動の処理では、ｘ次元又はｙ次元のいずれかの正又は負の整数平行移動オフセットを、座標値を操作すするために決定することができる。めいめいのオフセットを、１つ又は複数の非基準画像の座標に加算することができ、新しい合成画像を、いくつかが新しい座標を有する複数の画像を用いて作成することができる。一般に、直交平行移動訂正ステップは、合成画像内の整列のさらなる改善が可能でなくなるまで実行することができる。直交平行移動によるさらなる改善を得ることができないと判定された時に、この処理によって操作された座標を有する各非基準画像のｘ平行移動値とｙ平行移動値を、粒子の後続結像のために保存することができる。テーブルなど、任意の適切なデータ構造が、そのような値に適切である可能性がある。
【００６０】
上で注記したように、座標値の操作は、それに加えて又はその代わりに、１つ又は複数の非基準画像の座標の回転を含むことができる。いくつかの実施形態で、画像が平行移動訂正を介して十分に整列されていない場合に、回転処理を使用することができる。他の実施形態では、回転処理を、直交平行移動処理の前に、直交平行移動処理の代わりに、又は直交平行移動処理と共に実行することができる。他の場合に、回転処理を、直交平行移動処理と同時に実行することができる。具体的に言うと、画像座標の操作のために、１つ又は複数の非基準画像を回転させることができ、１つ又は複数の他の非基準を、直交オフセットを用いて平行移動させることができる。他の実施形態で、個々の非基準画像の座標を、回転させると同時に直交させてオフセットさせることができる。どの場合でも、画像間整列処理に使用できる直交オフセットの範囲は、いくつかの実施形態で、±１０画素とすることができ、回転オフセットの範囲は、±２°とすることができる。しかし、より大きい又はより小さい量のオフセットを、座標操作の一方の形又は両方の形に使用することができる。
【００６１】
画像の回転が画像座標の直交オフセットに対して相対的に組み込まれる形に関わりなく、回転処理は、一般に、画像のｘ次元とｙ次元の中点の近くになるように原点（すなわち、回転の中心）（ｘoriginとｙoriginと表す）を選択することを含む。ソース画像（すなわち、回転される非基準画像）と同一の寸法を有する新しい空白の画像バッファを作成することができる。ソース画像内の画素ごとに、回転の中心からの現在のベクトルを判定することができる。具体的に言うと、関心を持たれている画素から画像の回転の中心までの距離を、［（ｘ−ｘorigin）2＋（ｙ−ｙorigin）2］の平方根から判定することができ、ｘとｙは、その画素の座標である。さらに、現在のベクトルの角度を、ｙdistanceをｘdistanceで割った逆正接と、象限ごとの角度を調整するためにその逆正接の値から象限依存の変更子を加算又は減算することから判定することができる。その場合に、ｙdistanceは、ｙ軸に沿ったｙoriginと関心を持たれている画素との間の距離であり、ｘdistanceは、ｘ軸に沿ったｘoriginと関心を持たれている画素との間の距離である。
【００６２】
前述の計算の後に、一定のユーザ定義の「調整」角度を現在の画素のベクトルに加算して、画素を回転する角度を判定する。画素の新しい位置（たとえば、ｘ座標とｙ座標での）は、次の式によって判定することができる。
新しいｘ座標＝［（ｘ−ｘorigin）2＋（ｙ−ｙorigin）2］の平方根×ｃｏｓ（回転
角度）＋ｘorigin＋ｘtranslation（適用可能な場合に）＋０．５ （１）
新しいｙ座標＝［（ｘ−ｘorigin）2＋（ｙ−ｙorigin）2］の平方根×ｓｉｎ（回転
角度）＋ｙorigin＋ｙtranslation（適用可能な場合に）＋０．５ （２）
検討中の画素の値を、空白の画像バッファの、新しいｘ座標とｙ座標の画素にコピーすることができる。回転を意図された非基準画像を処理した後に、新しい合成擬似カラー画像を作成することができる。一般に、回転処理に関する上で概要を示したステップを、各非基準画像にまたがる色の相違を最小にするために繰り返す。最終的な回転値を、非基準画像ごとに、後続結像に関する調整テーブルなどの適切なデータ構造に保存することができる。
【００６３】
一般に、ブロック９４に関して上で説明した座標操作の反復は、複数の異なるパラメータに関して行う。たとえば、座標操作の反復は、合成画像のスポットの間の色の相違の量、合成画像のスポットに対応する画素の間の強度の合計誤差又は平均二乗差、及び／又は合成画像内のスポットの位置の合計誤差又は平均二乗差に依存する。そのような技法のそれぞれの概要を、図４のブロック１００から１２８に示し、下でより詳細に説明する。
【００６４】
具体的に言うと、ブロック１００は、続く合成画像内のスポットの間の色の相違の量が、先行する合成画像に対して減らされるように、複数の画像のうちの少なくとも１つの座標を変更するオフセットをアルゴリズム的に（すなわち、アルゴリズムによって）判定する処理を含む。合成画像内の色の相違は、一般に、複数の画像のうちの少なくとも１つの不整列によって誘発される。たとえば、赤チャネル、緑チャネル、青チャネルがめいめいの複数の画像について使用される実施形態で、合成画像内の粒子に対応するスポットの収束された色は、白になると期待される。しかし、複数の画像の整列変動が、赤チャネル、緑チャネル、青チャネルのうちの１つ又は複数に対応する個々の画像上のスポットを互いに対して相対的にオフセットさせる場合がある。その結果、合成画像内の個々の色が、白スポットの縁を超えて延び、そのスポットの色の相違を誘発する場合がある。合成画像内の白スポットの形成は、赤チャネル、緑チャネル、青チャネルによって作られる画像の組合せの結果であるが、本明細書で説明する方法が、そのようなチャネルを用いて画像を作成することに必ずしも限定されないことに留意されたい。具体的に言うと、任意の個数の
複数の画像を、複数の異なるカラー・チャネルによって形成することができ、その結果、本明細書で説明する方法は、３つの画像又は赤、緑、青のカラー・チャネルの形成には制限されない。
【００６５】
上で説明し、図４のブロック１０２に概要を示されているように、画像の不整列は、複数の画像のうちの１つ又は複数の座標を所定のオフセットだけ調整することによって減らすことができる。そのような所定のオフセットは、ブロック９６、９８に関して上で説明したように、直交オフセット及び／又は回転オフセットを含む。ブロック１０２の後に、ブロック１０４に示されているように、所定のオフセットを含む複数の画像の異なる合成画像を作成する。この方法は、ブロック１０６に継続し、ここで、新たに作成された合成画像内のスポットの間の色の相違を判定する。判断ブロック１０８に示されているように、色の相違が特定のオフセット量に関する所定の誤差許容量より大きい（及び／又はこれと等しい）実施形態では、ブロック１００〜１０６を繰り返す。逆に、画像間整列のこの方法は、色の相違が所定の誤差許容量より小さい（及び／又はこれと等しい）実施形態では、ブロック１１０で終了する。一般に、ブロック１０８のためにセットされる所定の誤差許容量は、合成画像に望まれる精度とオフセット量に依存し、したがって、応用例の間で変化する可能性がある。
【００６６】
合成画像内の画素強度及び／又はスポットの位置の合計誤差もしくは平均二乗差に基づく座標操作の反復の技法を、図４のブロック１１２〜１２８に関して説明する。具体的に言うと、両方の技法を、ブロック１１２で開始する。ここで、ｉが、１と等しくなるようにセットされる。そのような指定は、ブロック１１４に示されているように、複数の画像のうちの少なくとも１つの座標を調整するための複数の所定のオフセットのうちの第１のオフセットを参照するのに使用される。いくつかの実施形態で、処理がそれを通って繰り返される所定のオフセットの選択は、合成画像内の整列がそれによって測定される（すなわち、合成画像内の画素強度又はスポットの位置の合計誤差もしくは平均二乗差によって）パラメータに固有とすることができる。他の実施形態では、所定のオフセットの選択を、使用される技法と独立とすることができる。どちらの場合でも、処理は、ブロック１１６に継続して、所定のオフセットを含む複数の画像の異なる合成画像を作成することができる。さらに、技法に固有の処理を使用することができる。たとえば、この方法は、ブロック１１８に継続して、ブロック１１６で作成された合成画像の画素の間の強度の合計誤差又は平均二乗差を判定することができる。代替案では、この方法は、ブロック１２０に継続して、ブロック１１６で作成された合成画像内のスポットの位置の合計誤差又は平均二乗差を判定することができる。
【００６７】
どちらの場合でも、その後、ブロック１２２で、ｉがｎと等しいかどうかに関する判定を行う。ｎは、複数の画像の座標を調整するための所定のオフセットの個数である。ｉがｎと等しくない場合には、この方法は、ブロック１２４に継続して、ｉの値を１つ増分して、ブロック１１４〜１２０に概要を示された処理を繰り返すことができる。ｉがｎと等しいと判定される時には、この方法は、ブロック１２６に継続し、ここで、異なる合成画像のそれぞれの合計誤差又は平均二乗差の計算された値を評価する。具体的に言うと、異なる合成画像のそれぞれの合計誤差又は平均二乗差の計算された値を評価して、合成画像の最小誤差をもたらしたオフセット（すなわち、平行移動及び／又は回転）値を識別する。ブロック１２８に示されているように、識別されたオフセット値を、座標が調整された非基準画像ごとに保存する。テーブルなど、任意の適切なデータ構造が、そのような値に適切である可能性がある。上で説明した実施形態の両方で、識別されたオフセット値を、後続画像中に作成される分類画像の座標系に適用することができる。具体的に言うと、分類画像を、上で説明した式を使用して新しい画像バッファに直接に平行移動し、かつ／又は回転することができ、その後、元の分類画像バッファを破棄する。
【００６８】
画像間粒子相関を、画像座標系が整列された後に実行することができる。具体的に言うと、複数の分類画像が複数の波長又は波長域で獲得されると仮定して、画像座標系が整列された後に、実際の粒子を位置によって破棄する。単純に言えば、粒子がすべての分類画像にまたがって存在してはいない場合に、その粒子をさらなる処理から除去する。
【００６９】
一例で、上で説明した粒子発見方法を使用して以前に識別された各分類画像の粒子の集合と、分類画像ごとの平行移動／回転値とを使用することによって、所与の半径の中にある最もよく一致する粒子を識別することができる。最もよく一致する粒子の識別は、粒子の各集合を通って反復するための、各レベルが１つの分類画像を表すｎ個のループの入れ子になったシリーズを作成することを含む。最も深い入れ子レベルで、この方法は、すべての外側ループからの粒子の調整された座標が、所与の半径の中にあるかどうかを判定することを含む。距離を判定する前に、各入れ子レベルでの座標を、画像間整列に関して上で説明した整列テーブル及び式に従って平行移動させる。距離が所与の半径より小さい場合に、最も内側のループの粒子位置を、最も内側のレベルでの他の一致との後の比較のために一時的に格納する。最も内側のレベルで第２の粒子の距離が前に見つかった粒子の距離より小さい場合には、一時的に格納された粒子位置を、現在の距離に置換する。そうでない場合には、この方法を、次の粒子について継続する。最も外側から２番目のループの反復の終わりに、最も外側の位置への最良の一致の一時的位置を、集合に格納する。外側ループ粒子に関して所与の半径の中での一致がない場合には、粒子のその実例は、相関アルゴリズムの出力が上で作成された集合なので、さらなる検討から自動的に除去される。
【００７０】
全体的な処理の速度を高めるために、上で説明されたように識別された一致がある場合に、その粒子をもう一度検討するために処理時間が費やされないように、各後続ループでその粒子を「使用済み」として識別することができる。処理時間を減らすために、画像を複数のサブセクションに分離して、各サブセクションを別々に相関させることができる。その場合に、サブセクションの個数は、ループ反復における全体的な節約が、画像をセクションに分解するのに要する時間で失われないように選択されることが好ましい。さらに、サブセクションの境界で比較能力が失われるのを避けるために、領域が、わずかなオーバーラップを有する。さらに、領域がオーバーラップする場合に、オーバーラップで粒子が複製される可能性を減らすように、領域がオーバーラップする度合を選択することができる。
【００７１】
この方法は、リポータ蛍光放射の蛍光積分をも含む。リポータ放射レベルは、一定ではなく、未知なので、積分に使用されるリポータ画像内の画素を識別するために分類画像に使用される粒子発見技法を使用することは、不可能であるか不必要である。そうではなく、分類画像で見つかった粒子と同一のｘ座標とｙ座標の蛍光を使用することができる。
【００７２】
１つのそのような例で、画像間相関によって判定された調整テーブルからの平行移動値及び回転値を使用して、各発見された粒子をリポータ画像の適切な座標に写像する。各粒子の開始位置について、調整されない基準分類画像からの座標系を使用する。リポータについて判定された平行移動のｘ値とｙ値や回転角度は、リポータ画像内の画像化された粒子を移動させて、これによって分類基準画像内の粒子の位置と一致させることのできる方向を表す。しかし、ここで実行される変換は、基準座標系をリポータ座標系に平行移動することを含む。ｘ平行移動値とｙ平行移動値を、各調整パラメータの符号を単純に反転させる（負の値が正の値になり、逆も同様である）ことによって「変換する」ことができる。同様に、回転角度の符号をも、リポータ座標を見つける前に反転させることができる。すべてのパラメータの符号を反転させた後に、画像間整列ステップに関して上で説明した式を使用して、積分の中心を識別する。所与の積分半径の中にあるすべてのリポータ画素の積分を判定することができる。
【００７３】
上で注記したように、本明細書で説明する画像データ処理の方法は、画像平面正規化の処理を含む。理想的には、結像システムは、粒子の間の位置依存の放射の相違を防ぐために、均一に照明される。しかし、現実には、結像フィールド上の各スポットは、所与の照明レベルを有する。さらに、このシステム内で使用される蛍光帯域フィルタ（１つ又は複数）と１つ又は複数の結像レンズが、画像内のすべての点について同一の量の光を透過させない場合がある。画像にまたがるそのような変動を補償するために、光学パラメータの測定値に、正規化方法又は正規化アルゴリズムを適用することができる。いくつかの実施形態で、本明細書で説明する画像平面正規化の処理は、上で、特に図２〜４に関して説明した処理に関して説明した処理のうちの１つ又は複数の後に実行することができる。しかし、他の実施形態では、本明細書で説明する画像平面正規化を、そのような処理のうちの１つ又は複数と独立に実行することができる。
【００７４】
図５に、画像平面正規化の処理のステップの例示的シーケンスを示す流れ図を示す。図５のブロック１３０に示されているように、この処理は、均一な濃度の蛍光材料を会合された粒子の第１セットから撮影された画像の第１セット内の第１の所定のしきい値を超える光学パラメータ値を示す１つ又は複数の画素を識別するために、画像の第１セットを分析することを含む。画像の第１セットは、単一の画像又は複数の画像を含む任意の個数の画像を含む。複数の画像が撮影される実施形態で、画像の第１セットは、赤チャネル、緑チャネル、青チャネルに対応する波長などであるがこれらに限定はされない異なる波長の照明源を使用して形成される。
【００７５】
いくつかの場合に、この方法は、任意選択で（破線の境界によって示されるように）ブロック１３２を含み、このブロック１３２では、均一な濃度の蛍光材料を会合された粒子の第２の別個のセットから撮影された画像の第２セット内の第１の所定のしきい値を超える光学パラメータ値を示す１つ又は複数の画素を識別するために、画像の第２セットを分析する。画像の第１セットと同様に、画像の第２セットは、任意の個数の画像を含み、複数の画像が撮影される場合には、その複数の画像を、異なる波長の照明源を使用して形成する。いくつかの実施形態で、既知の濃度を有する粒子の異なるセットについて撮影された画像の第２セットの分析は、画像の第１セットと第２セットのめいめいのサブセクションについて後に展開される統計値の間で雑音と粒子不均一性の影響を減らすために有利である。具体的に言うと、ブロック１４０に関して下で説明するように、画像の第１セットと第２セットのめいめいのサブセクションのそれぞれについて測定された光学パラメータ値の平均をとることによって、雑音と粒子不均一性の影響を減らすことができる。
【００７６】
この方法が画像の第２セットの分析を含むかどうかに関わりなく、この方法は、ブロック１３４に継続して、画像の第１セット及びいくつかの場合に画像の第２セットのめいめいのサブセクション内で、ブロック１３０、１３２に関して説明した処理で識別された画素の集合を分類することができる。具体的に言うと、画像のセットを、サブセクションの配列に分離することができ、連続して配置された画素の集合又は集団を、画像内のその位置に基づいてサブセクション内に配置する。より具体的には、識別された粒子ごとに、それが属する画像の第１セット及び第２セット内のサブセクションを判定する。サブセクションの配列は、所望の背景信号の明瞭さ、システムの処理能力、及び／又は分析される粒子の個数に応じて、任意の個数の行と列を含む。図５にさらに示されているように、この方法は、ブロック１３６に継続して、画像の第１セット及びいくつかの場合に画像の第２セットのめいめいのサブセクションごとに、それに分類された画素の集合の光学パラメータのレベルを表す単一の統計値を展開する。一般に、この統計値は、中央値、平均値、最頻値、トリム平均を含むがこれらに限定されない任意の個数の統計パラメータから選択することができる。いくつかの実施形態で、中央値の判定が特に有利である。
【００７７】
図５の判断ブロック１３８によって示されるように、この方法は、粒子の２つの別個のセットについて撮影された画像の２つのセットが分析される実施形態で、ブロック１４０に継続する。ブロック１４０は、画像の第１セットと第２セットのめいめいのサブセクションごとに展開された統計値の平均値を計算することを指定する。ブロック１４０の後に、又は画素集合の分類に関して画像の１つのセットだけが分析されるとブロック１３８で判定された時に、この方法は、ブロック１４２に継続して、画像の第１セットと第２セットを形成するのに使用された波長に固有の行列に、めいめいのサブセクションについて展開された統計値を保存する。そのような行列は、ブロック１４８に関して下でさらに説明するように、未知の濃度の蛍光材料を会合された画像粒子について測定された光学パラメータの正規化された値を計算するのに使用される。
【００７８】
具体的に言うと、この方法は、未知の濃度の蛍光材料を会合された粒子から撮影された画像の第３セット内の第１の所定のしきい値を超える光学パラメータ値を示す１つ又は複数の画素を識別するために、画像の第３セットを分析するブロック１４４を含む。画像の第１セットと同様に、画像の第３セットは、任意の個数の画像を含み、複数の画像が撮影される場合には、その複数の画像を、異なる波長の照明源を使用して形成する。この方法は、ブロック１４６に継続し、ここで、ブロック１４４で識別された画素の集合を、画像の第３セットのめいめいのサブセクションに分類する。未知の濃度の蛍光材料を有する粒子の間の位置依存の放射の相違を補償するために、測定された光学パラメータの正規化された値を計算する。具体的に言うと、ブロック１４８は、画像内で識別された画素のそれぞれの光学パラメータ値を、その光学パラメータの正規化された値を入手するために、画像の第１セットと第２セットの対応するサブセクションについて展開された統計値によって除算することができることの概要を示す。
【００７９】
いくつかの実施形態で、識別された画素ごとの結果の正規化された値に単一の「キャリブレータ」値を乗じて、その最終的な較正された値を、外部の標準に対して相対的に調整する。このキャリブレータ値は、既知の濃度の粒子の実質的に均一なセットに関する上で説明した正規化行列から判定する。具体的に言うと、この方法は、任意選択で（破線の境界によって示されるように）画像の第１セット及び第２セットの一方又は両方のめいめいのサブセクションについて展開された統計値のすべてを表す統計的値を計算するブロック１５０を含む。この統計的値は、中央値、平均値、最頻値、トリム平均を含むがこれらに限定されない任意の個数の統計パラメータから選択することができる。いくつかの実施形態で、中央値の判定が特に有利である。較正値の判定は、さらに、ブロック１５２に示されているように、均一な濃度の蛍光材料を会合された粒子の異なるセットに関連する光学パラメータのレベルに関連する所定の数値を、計算された統計的値によって除算することを含む。上で注記し、図５のブロック１５４に示されているように、未知の濃度を有する粒子の光学パラメータについて入手された正規化された値を外部標準に対して調整するために、この正規化された値によってキャリブレータ値を乗算することができる。
【００８０】
上で説明した正規化技法及び較正技法が、すべての画像内の各画素の正規化に限定されないことに留意されたい。そうではなく、この正規化技法及び較正技法を、１つの画像内で識別された粒子に適用することができる。そのような処理は、応用例固有の画素の正規化と較正に対して計算を最小にするのに特に有利である。
【００８１】
本開示の利益を有する当業者は、本発明が画像データ処理のコンピュータ実施される方法、記憶媒体、システムを提供することを了解するであろう。本発明のさまざまな態様のさらなる修正形態や代替実施形態は、この説明に鑑みて当業者に明白であろう。したがって、この説明は、例示的であるのみと解釈されなければならず、本発明を実行する一般的な形を当業者に教示するためのものである。図示され本明細書で説明された本発明の形が、現在好ましい実施形態と解釈されなければならないことを理解されたい。本発明のこの説明の利益を有した後に当業者に明白であるとおり、要素及び材料を、図示され本明細書で説明されたものについて置換することができ、部分及び処理を反転することができ、本発明のある種の特徴を独立に利用することができる。添付の特許請求の範囲に記載の本発明の趣旨及び範囲から逸脱せずに、本明細書で説明された要素において変更を行うことができる。
【技術分野】
【０００１】
本発明は、全般的には画像データ処理の方法とシステムに関する。ある種の実施態様は、多重化された応用例に関する粒子の画像を処理する１つ又は複数のステップを実行する方法とシステムに関する。
【背景技術】
【０００２】
次の説明と例は、このセクションに含まれることによって従来技術とは認められない。
【０００３】
電荷結合素子（ＣＣＤ）検出器などの検出器を使用する結像は、バイオテクノロジ応用例において現在使用可能な複数の機器に使用されている。多くの市販システムは、ターゲットのヒト（又は他の動物）の細胞を画像化するように構成されている。しかし、そのようなシステムは、細胞のアイデンティティ又は細胞が属するサブセットを判定するのに光の異なる波長を使用して画像を生成するのには利用されてはいない。ＣＣＤ検出器が細胞の蛍光放射を測定するのに使用される多重化応用例に関して、細胞又は他の粒子のサブセット又はクラスは、波長構成などの蛍光放射の特性ではなく、画像内の蛍光放射の絶対位置に基づく。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
したがって、多重化応用例用の粒子の画像のデータ処理の方法とシステムを開発することが望ましい。
【課題を解決するための手段】
【０００５】
上で概要を示した問題は、主に、粒子のデータ画像処理に関連する１つ又は複数のステップを実行するコンピュータ実施される方法、記憶媒体、システムによって対処される。以下は、そのコンピュータ実施される方法、記憶媒体、システムの単なる例示的実施態様であって、いかなる形であれ、特許請求の範囲の主題を限定するものと解釈してはならない。
【０００６】
コンピュータ実施される方法、記憶媒体、システムの実施態様は、蛍光材料を会合された粒子の画像を、サブセクションの配列に分離し、サブセクション内の複数の画素について測定された光学パラメータの統計的値を判定し、判定された統計的値を対応するサブセクションの背景信号として割り当てるように構成することができる。
【０００７】
コンピュータ実施される方法、記憶媒体、システムの他の実施態様を、それに加えて又はその代わりに、蛍光材料を会合された粒子の画像内の、第１の所定のしきい値を超える光学パラメータ値を示す１つ又は複数の画素を識別するために、その画像を分析するように構成することができる。さらに、これらの方法、記憶媒体、システムを、セット内の光学パラメータの最大値をそれぞれが示す、１つ又は複数の識別された画素のセット内の位置を判定し、位置の少なくとも１つを囲む複数の画素の光学パラメータの強度変化の割合を計算するように構成することができる。
【０００８】
コンピュータ実施される方法、記憶媒体、システムの他の実施態様を、それに加えて又はその代わりに、粒子の複数の画像のデータを獲得するように構成することができ、複数の画像のそれぞれは、異なる波長域に対応する。さらに、これらの方法、記憶媒体、システムを、複数の画像の合成画像を作成し、複数の画像のそれぞれの中の粒子に対応するスポットが、続く合成画像内で収束するように複数の画像の少なくとも１つの座標を操作するように構成することができる。
【０００９】
コンピュータ実施される方法、記憶媒体、システムの他の実施態様を、それに加えて又はその代わりに、均一な濃度の蛍光材料を会合された粒子の第１画像と未知の濃度の蛍光材料を会合された粒子の第２画像を分析して、それぞれ、第１の所定のしきい値を超える光学パラメータ値を示す、第１と第２の画像内の１つ又は複数の画素を識別するように構成することができる。さらに、これらの方法、記憶媒体、システムを、第１と第２の画像のめいめいのサブセクション内で、第１と第２の画像を分析するステップ中にそれぞれ識別された画素の集合を分類するように構成することができ、ここで、第１と第２の画像内のサブセクションの寸法は、実質的に等しい。これらの方法、記憶媒体、システムを、第１画像内のめいめいのサブセクションごとに、それに分類された画素の集合の蛍光放射レベルを表す統計値を展開するように構成することもできる。さらに、これらの方法、記憶媒体、システムを、蛍光の正規化された値を得るために、第２画像を分析するステップ中に識別された画素の各集合の蛍光放射レベルを、対応する第１画像サブセクションについて展開された統計値によって除算するように構成することができる。
【図面の簡単な説明】
【００１０】
【図１】多重化された応用例用の画像を獲得し、処理するように構成されたシステムの一実施形態の断面図を示す概略図である。
【図２】画像内の背景信号を判定する方法の概要を示す流れ図である。
【図３】粒子の発見及びさらなる結像処理のための粒子の受け入れ又は拒絶の判定の方法の概要を示す流れ図である。
【図４】画像間整列の方法の概要を示す流れ図である。
【図５】結像システムに関する正規化行列を作成し、後続結像にその正規化行列を適用する方法の概要を示す流れ図である。
【発明を実施するための形態】
【００１１】
本発明の他の目的及び利益は、次の詳細な説明を読み、添付図面を参照する時に明白になる。
【００１２】
本発明は、さまざまな修正形態及び代替形態を許すが、本発明の特定の実施形態を、例として図面に示し、本明細書で詳細に説明する。しかし、図面及びそれに対する詳細な説明は、開示される特定の形態に本発明を限定することを意図されたものではなく、むしろその意図は、添付の特許請求の範囲によって定義される本発明の趣旨及び範囲に含まれるすべての修正形態、均等物、代替形態を包含することであることを理解すべきである。
【００１３】
実施形態を、本明細書では粒子に関して説明するが、本明細書で説明するシステムと方法を、ミクロスフィア、ポリスチレン・ビーズ、微粒子、金ナノ粒子、量子ドット、ナノドット、ナノ粒子、ナノシェル、ビーズ、マイクロビーズ、ラテックス粒子、ラテックス・ビーズ、蛍光ビーズ、蛍光粒子、カラー粒子、カラー・ビーズ、組織、細胞、微生物、有機物、非有機物、又は当技術分野で既知の任意の他の別個の物質と共に使用することもできることを理解されたい。粒子は、分子反応の媒介物として働くことができる。適切な粒子の例が、全体が本明細書に記載されているかのように参照によって組み込まれている、Ｆｕｌｔｏｎの米国特許第５，７３６，３３０号、Ｃｈａｎｄｌｅｒ他の米国特許第５，９８１，１８０号、Ｆｕｌｔｏｎの米国特許第６，０５７，１０７号、Ｃｈａｎｄｌｅｒ他の米国特許第６，２６８，２２２号、Ｃｈａｎｄｌｅｒ他の米国特許第６，４４９，５６２号、Ｃｈａｎｄｌｅｒ他の米国特許第６，５１４，２９５号、Ｃｈａｎｄｌｅｒ他の米国特許第６，５２４，７９３号、Ｃｈａｎｄｌｅｒの米国特許第６，５２８，１６５号に示され、説明されている。本明細書で説明するシステム及び方法は、これらの特許に記載された粒子のいずれとも共に使用することができる。さらに、本明細書で説明する方法及びシステムの実施形態で使用される粒子は、米国テキサス州オースチンのＬｕｍｉｎｅｘ Ｃｏｒｐｏｒａｔｉｏｎ社などの製造業者から入手することができる。用語「粒子」と「ミクロスフィア」は、本明細書では交換可能に使用される。
【００１４】
さらに、本明細書で説明するシステムと方法と互換のタイプの粒子は、粒子の表面に付着されたかそれに会合された蛍光材料を有する粒子を含む。これらのタイプの粒子は、蛍光染料又は蛍光粒子が分類蛍光(classification fluorescence)（すなわち、粒子又は粒子が属するサブセットのアイデンティティを判定するために測定され、使用される蛍光放射）をもたらすために粒子の表面に直接に結合されるが、全体が本明細書に記載されているかのように参照によって組み込まれている、Ｃｈａｎｄｌｅｒ他の米国特許第６２６８２２２号及びＣｈａｎｄｌｅｒ他の米国特許第６，６４９，４１４号に示され、説明されている。本明細書で説明する方法及びシステムで使用できるタイプの粒子は、粒子の核に組み込まれた１つ又は複数の蛍光色素又は蛍光染料を有する粒子をも含む。
【００１５】
本明細書で説明する方法やシステムで使用できる粒子は、さらに、１つ又は複数の適切な光源にさらされた時にひとりでに１つ又は複数の蛍光信号を示す粒子を含む。さらに、励起時に粒子が複数の蛍光信号を示し、粒子のアイデンティティを判定するのにこの蛍光信号のそれぞれを別々に又は組み合わせて使用できる粒子を製造することができる。下で説明するように、画像データ処理は、特に複数検体流体に関する粒子の分類や、粒子に結合した検体の量の判定を含む。粒子に結合した検体の量を表すリポータ信号(reporter signal)は、通常、オペレーション中には未知なので、１つ又は複数の分類波長又は分類波長域だけではなくリポータ波長又はリポータ波長域でも蛍光を発する特別に染められた粒子を、本明細書で説明する処理に使用する。
【００１６】
本明細書で説明する方法は、全般的に、複数の検出波長で粒子の蛍光放射の大きさを表す数値などであるがこれに限定はされない粒子の１つ又は複数の特性を判定するために、粒子の１つ又は複数の画像を分析することと、画像から測定されたデータを処理することとを含む。粒子が属する多重サブセットを表すトークンＩＤ及び／又は存在を表すリポータ値及び／又は粒子の表面に結合した検体の量を判定するための１つ又は複数の数値の使用など、粒子の１つ又は複数の特性の後続処理は、全体が本明細書に記載されているかのように参照によって組み込まれている、Ｆｕｌｔｏｎの米国特許第５，７３６，３３０号、Ｃｈａｎｄｌｅｒ他の米国特許第５，９８１，１８０号、Ｃｈａｎｄｌｅｒ他の米国特許第６，４４９，５６２号、Ｃｈａｎｄｌｅｒ他の米国特許第６，５２４，７９３号、Ｃｈａｎｄｌｅｒの米国特許第６，５９２，８２２号、Ｃｈａｎｄｌｅｒ他の米国特許第６，９３９，７２０号に記載の方法に従って実行することができる。一例で、Ｃｈａｎｄｌｅｒ他の米国特許第５，９８１，１８０号に記載の技法を、粒子が単一試料内の複数の検体の分析のためにサブセットに分類される多重化方式で、本明細書で説明する蛍光測定と共に使用することができる。
【００１７】
ここで図面に移るが、図１が原寸通りに描かれてはいないことに留意されたい。具体的に言うと、この図の要素の一部の縮尺は、それらの要素の特性を強調するために非常に誇張されている。このシステムの一部の要素は、図を明瞭にするためにこの図には含まれていない。
【００１８】
本明細書で説明する方法の実施形態に従って粒子の画像を生成し、獲得し、又は供給し、それらの画像を処理するように構成されたシステムの一実施形態を、図１に示す。図１に示されたシステムは、粒子の複数検体測定などの応用例で使用することができる。このシステムは、光源１０を含む結像サブシステムを含む。光源１０は、発光ダイオード（ＬＥＤ）、レーザー、アーク灯、白熱灯、又は当技術分野で既知の任意の他の適切な光源など、１つ又は複数の光源を含む。それに加えて又はその代わりに、光源は、それぞれが異なる波長又は異なる波長域ごとに光を生成するように構成された複数の光源（図示せず）を含んでもよい。図１に示されたシステムでの使用に適切な光源の組合せの一例は、複数のＬＥＤを含むがこれに限定はされない。複数の光源からの光を、ビーム・スプリッタ（図示せず）又は当技術分野で既知の任意の他の適切な光学要素によって共通の照明経路に組み合わせることができ、それらの光源からの光を、粒子に同時に向けることができる。代替案では、結像サブシステムは、反射鏡などの光学要素（図示せず）と、どの光源が粒子を照明するのに使用されるかに応じて光学要素を照明経路の中又は外に移動するように構成されたデバイス（図示せず）とを含む。この形で、光源を使用して、光の異なる波長又は異なる波長域を用いて粒子を順次照明する。光源（１つ又は複数）は、基板の下からではなく基板の上から照明することもできる（図示せず）。
【００１９】
光源（１つ又は複数）は、粒子又はそれに結合された材料に蛍光を放射させる１つ又は複数の波長又は波長域で光を供給するように選択する。たとえば、１つ又は複数の波長又は波長域は、粒子に組み込まれ、かつ／又は粒子の表面に結合された蛍光染料又は他の蛍光材料を励起するように選択する。この形で、１つ又は複数の波長又は波長域を、粒子がその粒子の分類に使用される蛍光を発するように選択する。さらに、１つ又は複数の波長又は波長域を、粒子の表面の試薬を介して粒子に結合された蛍光染料又は他の蛍光材料を励起するように選択する。したがって、１つ又は複数の波長又は波長域を、粒子の表面で発生する１つ又は複数の反応を検出し、かつ／又は定量化するのに使用される蛍光を粒子が発するように選択する。
【００２０】
図１に示されているように、結像サブシステムは、光源１０からの光を粒子１６が固定される基板１４に向けるように構成された光学要素１２を含む。一例での光学要素１２は、コリメーティング・レンズである。しかし、光学要素１２は、光源１０からの光を基板１４に結像するのに使用できる任意の他の適切な光学要素を含んでもよい。さらに、光学要素は、図１では単一の光学要素として図示されているが、光学要素１２が、複数の屈折要素を含むことができることを理解されたい。さらに、光学要素１２は、図１では屈折光学要素として図示されているが、１つ又は複数の反射光学要素を使用して（おそらくは１つ又は複数の屈折光学要素と組み合わせて）、光源１０からの光を基板１４に結像できることを理解されたい。
【００２１】
粒子１６は、上で説明した粒子のいずれをも含むことができる。基板１４は、当技術分野で既知の任意の適切な基板を含むことができる。基板１４上に固定された粒子は、結像チャンバ（図示せず）又は結像サブシステムに関する基板１４内や固定された粒子１６の位置を維持する任意の他のデバイス内に配置される。基板１４の位置を維持するデバイスを、結像の前に基板の位置を変更する（たとえば、結像サブシステムの焦点を基板に合わせるために）ように構成することもできる。基板上での粒子の固定は、磁気吸引、真空フィルタ・プレート、又は当技術分野で既知の任意の他の適切な方法を使用して実行することができる。結像のためにミクロスフィアを位置決めする方法とシステムの例が、全体が本明細書に記載されているかのように参照によって組み込まれている、２００５年１１月９日出願のＰｅｍｐｓｅｌｌの米国特許出願第１１／２７０，７８６号に示されている。粒子固定方法自体は、本明細書で説明する方法とシステムにとって特に重要ではない。しかし、粒子は、粒子が検出器積分器間（複数秒の長さになる場合がある）中に知覚可能に移動しないように固定されることが好ましい。
【００２２】
図１に示されているように、結像サブシステムは、光学要素１８とビーム・スプリッタ２０を含む。光学要素１８は、基板１４とその上に固定された粒子１６からの光の焦点をビーム・スプリッタ２０に合わせるように構成される。光学要素１８を、さらに、光学要素１２に関して上で説明したように構成することができる。ビーム・スプリッタ２０は、当技術分野で既知の任意の適切なビーム・スプリッタを含むことができる。ビーム・スプリッタ２０を、光の波長に基づいて、光学要素１８からの光を異なる検出器に向けるように構成することができる。たとえば、第１の波長又は波長域を有する光を、ビーム・スプリッタ２０によって透過させ、第１の波長又は波長域と異なる第２の波長又は波長域を有する光を、ビーム・スプリッタ２０によって反射させることができる。結像サブシステムは、光学要素２２と検出器２４をも含む。ビーム・スプリッタ２０によって透過された光を、光学要素２２に向けることができる。光学要素２２は、ビーム・スプリッタによって透過された光の焦点を検出器２４に合わせるように構成される。結像サブシステムは、さらに、光学要素２６と検出器２８を含むことができる。ビーム・スプリッタ２０によって反射された光を、光学要素２６に向けることができる。光学要素２６は、ビーム・スプリッタによって反射された光の焦点を検出器２８に合わせるように構成される。光学要素２２、２６を、光学要素１２に関して上で説明したように構成することができる。
【００２３】
検出器２４、２８は、たとえば、電荷結合素子（ＣＣＤ）検出器又は、ＣＭＯＳ検出器、感光要素の２次元アレイ、時間遅延統合（time delay integration：ＴＤＩ）検出器など、当技術分野で既知の任意の他の適切な結像検出器を含むことができる。いくつかの実施形態で、２次元ＣＣＤ結像アレイなどの検出器を使用して、実質的に基板全体の画像又は基板上に固定されたすべての粒子の画像を同時に獲得する。この形で、基板の照明された区域からのすべての光子を同時に集めることができ、これによって、光電子倍管（ＰＭＴ）やスキャニング・デバイスを含む他の現在入手可能なシステムで使用されるサンプリング・アパーチャに起因する誤差が除去される。さらに、このシステムに含まれる検出器の個数は、関心を持たれている波長又は波長域の個数と等しくすることができ、各検出器は、それらの波長又は波長域のうちの１つで画像を生成するのに使用される。
【００２４】
検出器によって生成された画像のそれぞれを、ビーム・スプリッタから検出器までの光経路内に配置される、光学帯域通過要素(optical bandpass element)（図示せず）又は当技術分野で既知の任意の他の適切な光学要素を使用してスペクトル的にフィルタリングする。異なるフィルタ「帯域」を、取り込まれる画像ごとに使用される。画像が獲得される各波長又は各波長域の検出波長の中心と幅を、粒子分類に使用されるものであれ、リポータ信号であれ、関心を持たれている蛍光放射に一致させることができる。この形で、図１に示されたシステムの結像サブシステムは、異なる波長又は波長域で複数の画像を同時に生成するように構成される。図１に示されたシステムは、２つの検出器を含むが、このシステムが、２つを超える検出器（たとえば、３つの検出器、４つの検出器など）を含むことができることを理解されたい。上で説明したように、検出器のそれぞれを、異なる波長又は波長域の光を異なる検出器に同時に向ける１つ又は複数の光学要素を含めることによって異なる波長又は波長域で画像を同時に生成するように構成することができる。
【００２５】
さらに、図１に示されたシステムは、複数の検出器を含むが、このシステムが単一の検出器でもよいことを理解されたい。単一の検出器は、複数の波長又は波長域で複数の画像を順次生成するために使用される。たとえば、異なる波長又は波長域の光を、基板に順次向けることができ、異なる画像を、異なる波長又は波長域のそれぞれを用いる基板の照明中に生成させる。もう１つの例で、単一の検出器に向けられる光の波長又は波長域を選択する異なるフィルタを変更して（たとえば、異なるフィルタを結像経路の中に又は外に移動することによって）、異なる波長又は波長域で画像を順次生成することができる。
【００２６】
したがって、図１に示された結像サブシステムは、関心を持たれている複数の波長で粒子１６の蛍光放射を表す複数の画像又は一連の画像を生成するように構成される。さらに、このシステムを、粒子の蛍光放射を表す複数のディジタル画像又は一連のディジタル画像をプロセッサ（すなわち、処理エンジン）に供給するように構成することができる。１つのそのような例で、このシステムは、プロセッサ３０を含むことができる。プロセッサ３０を、検出器２４、２８から画像データを獲得する（たとえば、受け取る）ように構成することができる。たとえば、プロセッサ３０を、当技術分野で既知の任意の適切な形で検出器２４、２８に結合することができる（たとえば、それぞれが検出器のうちの１つをプロセッサに結合する伝送媒体（図示せず）を介して、それぞれが検出器のうちの１つとプロセッサとの間に結合されたアナログ−ディジタル変換器などの１つ又は複数の電子構成要素（図示せず）を介してなど）。プロセッサ３０は、粒子の分類や、粒子の表面で発生する反応に関する情報など、粒子１６の１つ又は複数の特性を判定するためにこれらの画像を処理し、分析するように構成されることが好ましい。この１つ又は複数の特性を、粒子ごとに波長ごとに蛍光の大きさの１項目を有するデータ配列などの任意の適切なフォーマットでプロセッサによって出力する。具体的に言うと、プロセッサを、画像を処理し分析するための本明細書で説明する方法の実施形態の１つ又は複数のステップを実行するように構成することができる。
【００２７】
プロセッサ３０は、通常のパーソナル・コンピュータ、メインフレーム・コンピュータ・システム、ワークステーションなどに一般に含まれるプロセッサなどのプロセッサである。一般に、用語「コンピュータ・システム」は、メモリ媒体から命令を実行する１つ又は複数のプロセッサを有するすべてのデバイスを含むものとして幅広く定義することができる。プロセッサは、任意の他の適切な機能的ハードウェアを使用して実施することができる。たとえば、プロセッサは、ファームウェア内の固定プログラムを伴うディジタル信号プロセッサ（ＤＳＰ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、又はｖｅｒｙ ｈｉｇｈ ｓｐｅｅｄ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ（ＶＨＳＩＣ）ｈａｒｄｗａｒｅ ｄｅｓｃｒｉｐｔｉｏｎ ｌａｎｇｕａｇｅ（ＶＨＤＬ）などの高水準プログラミング言語で「記述された」シーケンシャル・ロジックを使用する他のプログラマブル・ロジック・デバイス（ＰＬＤ）を含むことができる。もう１つの例で、本明細書で説明するコンピュータ実施される方法の１つ又は複数のステップを実行するためにプロセッサ３０上で実行可能なプログラム命令（図示せず）を、望み通りに、適宜Ｃ＋＋で記述されたセクションを伴うＣ＃、ＡｃｔｉｖｅＸコントロール、Ｊａｖａ（登録商標）Ｂｅａｎｓ、Ｍｉｃｒｏｓｏｆｔ Ｆｏｕｎｄａｔｉｏｎ Ｃｌａｓｓｅｓ（「ＭＦＣ」）などの高水準言語、又は他の技法もしくは方法論でコーディングすることができる。プログラム命令は、とりわけ、手続きベースの技法、コンポーネント・ベースの技法、及び／又はオブジェクト指向の技法を含むさまざまな形のいずれかで実装される。
【００２８】
本明細書で説明するものなどの方法を実施するプログラム命令を、記憶媒体を介して伝送するか記憶媒体に格納する。記憶媒体は、読取専用メモリ、ランダム・アクセス・メモリ、磁気ディスク、光ディスク、又は磁気テープを含むことができるが、これらに限定はされない。画像ごとに、すべての置かれた粒子と識別された粒子ごとに判定された値及び／又は統計値を、記憶媒体内のメモリ媒体に格納する。本明細書で説明する画像処理方法を、１つ又は複数のアルゴリズムを使用して実行することができる。下で詳細に説明するように、これらのアルゴリズムは、複雑である場合があり、したがって、コンピュータを介して最もよく実施することができる。したがって、本明細書で説明する方法、特に図２〜５に関して説明する方法を、「コンピュータ実施される方法」と称する場合があり、したがって、用語「方法」や「コンピュータ実施される方法」は、本明細書では交換可能に使用される場合がある。本明細書で説明されるシステムのコンピュータ実施される方法やプログラム命令を、いくつかの場合に、本明細書で説明される方法に関連する処理以外の処理を実行するように構成することができ、したがって、本明細書で説明されるシステムのコンピュータ実施される方法とプログラム命令が、必ずしも図２〜５の図示に限定されないことに留意されたい。
【００２９】
本明細書で説明する結像ベースのシステムは、伝統的なフロー・サイトメトリ・タイプの測定システムを置換する、実行可能な候補である。本明細書で説明する方法、記憶媒体、システムは、データ処理の意味において、フロー・サイトメトリ・ベースの応用例に必要なものより複雑である可能性がある。しかし、本明細書で説明するシステムのハードウェア（たとえば、光源、光学要素、検出器など）は、通常のフロー・サイトメータよりかなり安価であり、堅牢である。本明細書で説明する方法のさらなる評価や改善（たとえば、これらの方法を実施するのに使用できるアルゴリズムのさらなる評価や改善）は、処理能力の必要の減少と蛍光放射値のより正確な判定につながり、したがって、粒子の１つ又は複数の特性のより正確な判定につながる。
【００３０】
一実施形態によれば、画像データ処理のコンピュータ実施される方法は、背景信号測定と、分類染料放射及びクラスタ拒絶(cluster rejection)を使用する粒子識別（すなわち、発見）と、画像間整列と、画像間粒子相関と、リポータ放射の蛍光積分(fluorescence integration)と、画像平面正規化とのうちの１つ又は複数のステップ（すなわち、高水準オペレーション）を含む。これらのステップを、上にリストした順序で順次実行することができる。
【００３１】
一般に、背景信号測定は、ある粒子から発する蛍光を正確に判定できる（すなわち、ある粒子からの蛍光の測定を、画像の背景の反射光のレベルに関わりなく、さらに、粒子を画像化するのに使用される結像システムからの雑音と暗電流オフセットに関わりなく判定できる）ように実行することができる。図２に、画像の背景信号を測定するステップの例示的なシーケンスを示す流れ図を示す。図２のブロック４０に示されているように、この方法は、蛍光材料を会合された粒子の画像をサブセクションの配列に分離することを含むことができる。そのような配列は、所望の背景信号の明瞭さ、システムの処理能力、及び／又は分析される粒子の個数に応じて、任意の個数の行と列を含む。図２にさらに示されているように、この方法がブロック４０の後に継続するルートは、画像内の粒子の占有率に依存する。具体的に言うと、ブロック４０の後に、この流れ図はブロック４２に継続し、このブロック４２で、画像内の粒子の占有率を定量化したかどうかに関する判定を行う。
【００３２】
粒子の占有率が定量化されている実施形態では、この方法はブロック４４に継続する。ここで、占有率が所定のしきい値未満であるかどうかを判定する。図２の流れ図は、具体的には、ブロック４４内で５０％占有率のしきい値を示すが、この方法が必ずしもそれに限定されないことに留意されたい。具体的に言うと、この方法は、画像の背景信号を測定する動作のコースを決定するための任意の所定の量の占有率を考慮するように変更できる。関心を持たれている粒子が、結像区域の所定のしきい値未満（たとえば約５０％未満）を占める実施形態では、ブロック４６に示されているように、背景信号測定に、サブセクション内のすべての画素の間で光学パラメータの統計的値を判定することを含めることができる。その結果、サブセクション内の粒子に対応する比較的明るい画素の蛍光値を、そのサブセクション内の背景画素（画素の存在に対応しない画素）からの信号とマージする。しかし、粒子は、サブセクションのより小さい量を占めるので、統計的値が、背景画素をより強く表す場合がある。一般に、統計的値は、中央値、平均値、最頻値、トリム平均を含むがこれらに限定されない任意の個数の統計パラメータを含むことができる。いくつかの実施形態で、中央値の判定が、特に有利である場合がある。
【００３３】
他の実施形態では、この方法は、ブロック５０、５２、５４に継続して、サブセクション内のすべてより少数の画素の光学パラメータの統計的値を判定することができる。具体的に言うと、関心を持たれている粒子の占有率が、結像区域の所定のしきい値以上（たとえば、ブロック４４をブロック５０に接続する矢印によって示されるように、約５０％以上）である実施形態で、又は粒子による結像区域の占有率が未知である（たとえば、ブロック４２をブロック５０に接続する矢印によって示されるように）時に、背景信号測定の方法は、サブセクション内のすべてより少数の画素の光学パラメータの統計的値を判定することによって、背景区域に対する粒子区域のより大きい又は未知の比率を補償することができる。具体的に言うと、ブロック５０に示されているように、所定のしきい値を超える光学パラメータ値を示す画像内の画素を識別することができる。いくつかの場合に、ブロック５２に示されているように、ブロック５０で識別された画素を、それに直接に隣接して配置された画素と共にグループ化する。しかし、そのような処理ステップは、このブロックの破線の境界によって示されるように任意選択であり、したがって、いくつかの場合にこの方法から省略することができる。
【００３４】
どの場合でも、この方法は、ブロック５４に継続し、ここで、光学パラメータの統計的値を、ブロック５０で概要を示した所定のしきい値を超える光学パラメータを示すと識別されないサブセクション内の画素のセットの中だけで判定する。いくつかの実施形態で、そのような識別された画素と共にグループ化された画素を、光学パラメータの統計的値の判定から除外することもできる。この形で、ブロック５０で識別された画素と、いくつかの場合に、ブロック５２で識別された画素と共にグループ化された画素とを、背景信号の測定から隔離する。
【００３５】
どの場合でも、使用される処理ステップのシーケンスに関わりなく、その統計的値が判定される光学パラメータは、１つ又は複数の検出波長で測定された粒子の任意の蛍光放射、画像の背景内の散乱光の放射や、粒子を画像化するのに使用された結像システムからの任意の雑音と暗電流オフセットである。さらに、使用される処理ステップのシーケンスに関わりなく、この方法は、ブロック５６に継続して、判定された統計的値を対応するサブセクションの背景信号として割り当てることができる。より具体的には、あるサブセクション内のすべての画素の背景信号レベルに、そのサブセクションについて計算された統計的値を割り当てることができる。いくつかの場合に、ブロック４６、５０、５２、５４、５６の処理ステップを、画像内の他のサブセクションについて繰り返すことができ、いくつかの場合に、画像内のすべてのサブセクションについて繰り返すことができる。この形で、光学パラメータの統計的値を、複数のサブセクションのそれぞれについて判定し、いくつかの場合に、すべてのサブセクションについて判定する。いくつかの場合に、統計的値の比較的鋭い対照が、２つのサブセクションの間の境界に存在する。隣接するサブセクションの間の統計的値の不連続な差を平滑化するために、２次元統計的フィルタ（たとえば、中央値フィルタ又は平均値フィルタ）を、サブセクションの配列に対して実行する。その結果、サブセクションを、そのエッジで平滑化することができる。そのような統計的フィルタが使用されるかどうかに関わりなく、計算された統計的値を含む画素のサブセクションの結果のｎ×ｍ行列を、「背景画像」として保存することができ、この背景画像を、本明細書でさらに説明するように利用することができる。
【００３６】
図２に関して説明した方法が、背景信号測定の上で説明した方法の追加ステップを含むことができ、したがって、この方法が、必ずしも図２の図示によって限定されないことに留意されたい。たとえば、図２のブロック４６、５０、５２、５４、５６の反復の省略は、必ずしも本明細書で説明する方法のそのような可能性の包含を制限しない。上で注記したように、本明細書で説明する画像データ処理の方法は、分類染料からの蛍光放射とクラスタ拒絶（すなわち、一緒に比較的近くに配置された粒子の拒絶）を使用することによる粒子発見の処理を含むことができる。いくつかの実施形態で、本明細書で説明する粒子発見の処理を、画像内の背景信号のレベルの判定の後に実行することができ、いくつかの場合に、特に、図２に関して説明した背景信号測定の方法の後で実行することができる。しかし、他の実施形態では、本明細書で説明する粒子発見の処理を、背景信号測定と独立に実行することができる。
【００３７】
図３に、粒子発見の処理のステップの例示的シーケンスを示す流れ図を示す。図３のブロック６０に示されているように、この方法は、蛍光材料を会合された粒子の画像内の、所定のしきい値を超える光学パラメータ値を示す１つ又は複数の画素を識別するために、その画像を分析することを含む。たとえば、分類画像（すなわち、分類染料の１つの波長又は波長域で放たれる光から生成された画像）から、画像の背景信号より大きい強度の蛍光を示す画素を検索する。いくつかの実施形態で、画像から、強度において２倍から１０００倍程度など、画像の背景信号よりかなり大きい強度の画素を検索することができる。画像の背景信号に対する相対的なより小さい又はより大きい強度レベルを使用することもできる。他の場合に、画像から、画像の背景信号に依存しても、しなくてもよい蛍光の固定された値を示す画素を検索することができる。どの場合でも、１つの画素又は画素の集合による蛍光放射のより高いレベルは、蛍光を放射する粒子の存在を示す可能性がある。いくつかの実施形態で、粒子が、単一画素の中に含まれる場合がある。しかし、他の実施形態で、粒子が、複数の画素にまたがって広がっている場合がある。
【００３８】
どの場合でも、ブロック６０で識別された画素を、画像内の粒子の位置を判定するために評価することができる。具体的に言うと、図３で概要を示される方法は、ブロック６２に継続して、画像内の存在粒子を検出するために、光学パラメータの最大値をそれぞれが示す１つ又は複数の識別された画素のセット内の位置を判定することができる。画素を個別に評価することができ、したがって単一画素内の位置をブロック６２によって判定することができるが、ブロック６２は、識別された画素の集合の中での位置の判定をも含むことができる。本明細書で使用される時に、「画素の集合」は、一般に、互いに直接に隣接して配置された画素のグループ化（すなわち、連続して配置された画素のクラスタ又は集団）を指すことができる。
【００３９】
いくつかの実施形態で、画像内の粒子の位置を判定するために画素の集合を評価することが有利である場合がある。具体的に言うと、上で注記したように、１つの粒子が複数の画素にまたがって広がっている場合があり、したがって、個々の画素内の位置の判定が、実際に画像化されたものより多数の粒子の存在を誤って伝える場合がある。さらに、ある粒子が、画像内で１つ又は複数の他の粒子の比較的近くに位置する場合に、それら粒子の蛍光が、互いの特性の評価に影響する場合がある。その結果、粒子のデータを正確に判定できなくなる。いくつかの場合に、含まれる粒子の特性を正確に評価できないと判定される場合に、画素の集合を拒絶する（たとえば、さらなる画像処理から除去する）ことができる。さらなる画像処理について画素の集合を受け入れることができるか拒否するかを判定する例示的な形を、下で図３のブロック７０〜７８に関してより詳細に説明する。
【００４０】
一般に、１つ又は複数の識別された画素のセット内の位置を判定する、ブロック６２に概要を示した処理は、複数の異なる形で行うことができる。いくつかの例示的な方法を、図３のブロック６４、６６、６８で概要を示す（ブロック６４、６６、６８は、破線によってブロック６２から延び、破線によって囲まれ、これは、これらの処理が例示的であることを示す）。図３に示されているように、ブロック６４は、光学パラメータの最大値をそれぞれが示す、１つ又は複数の識別された画素のセットの中のピーク画素を確かめる処理の概要を示す。そのような処理では、画素の各セットを通って反復して、画素ごとに測定された蛍光値が画素のセット内の最大値を有するかどうかを判定することができる。最大値を有する画素を、「ピーク画素」として確かめることができる。いくつかの場合に、ピーク画素の中心部分を、その位置として指定することができる。その場合に、ブロック６２に概要を示された位置を判定する処理を、ブロック６４に概要を示された処理によって単純に行うことができる。
【００４１】
しかし、いくつかの実施形態で、光学パラメータの最大値を示す位置について、ピーク画素の代替部分が、より適切であるかどうかを判定することが有利である場合がある。たとえば、粒子が、画像の画素の間で完全には整列されておらず、その結果、粒子からのエネルギが、識別された画素のセットの間で均等に分布していない場合がある。その場合に、ピーク画素の中心部分が、粒子の最大蛍光測定値を表していない場合があり、したがって、ピーク画素のオフセンタ部分が粒子の最大蛍光測定値をよりよく表す可能性があるかどうかを判定することが有利である場合がある。その場合に、この方法は、ブロック６６に継続して、光学パラメータの最大値を示す１つ又は複数の識別された画素の少なくとも１つのセット内の重心位置を計算することができる。具体的に言うと、この方法は、ピーク画素に隣接する画素とピーク画素の所定の半径内の画素の蛍光測定値を積分することを含む。ピーク画素からの例示的半径は、１画素から１０画素までの範囲から選択することができるが、他の半径を考慮することができる。所定の半径が、所定のしきい値を超える光学パラメータを有すると識別されなかった画素を含む実施形態で、そのような「背景画素」のすべての背景信号を、この積分から減算できることに留意されたい。
【００４２】
いくつかの場合に、計算された重心位置を光学パラメータの最大値を示す位置として割り当てるかどうかを分析することが有利である場合がある。したがって、いくつかの実施形態で、この方法は、いくつかの実施形態において、計算された重心位置の特性に応じてブロック６８に継続する。たとえば、重心位置が、任意の方向で画素幅の半分を超える場合に、次の整数値に丸められた計算された位置（たとえば、ｘ座標及びｙ座標で）を、光学パラメータの最大値を示す位置として割り当てることができる。ブロック６８は、重心位置を割り当てるために、計算された重心位置の寸法しきい値が画素の寸法の５０％より大きいことを指定するが、この偶発的処理は、必ずしもそれに限定されない。具体的に言うと、重心位置の任意の寸法しきい値（画素寸法と独立の寸法しきい値を含む）を使用して、重心位置を割り当てるかどうかを判定することができる。
【００４３】
光学パラメータの最大値を示す位置を判定する処理の後に、この方法は、さらなる画像処理について画素を受け入れ、拒絶する処理に継続する。たとえば、この方法は、いくつかの実施形態でブロック７０に継続し、ここで、２つのピーク画素の間の距離を計算する。ピーク画素の識別は、一般に、ブロック６４に関して上で説明した処理によって実行することができ、したがって、図３の流れ図は、相関を示すためにブロック６４と７０とを接続する破線を含む。ブロック７０で計算された距離に基づいて、ブロック７２に示されているように、２つのピーク画素のうちの１つに対応する画素のセットを、さらなる画像処理について受け入れるか拒絶する。たとえば、ピーク画素の間の距離が、１つ又は２つの画像化された粒子の投影された直径又はその間の任意の距離と同等のしきい値などであるがこれに限定されない所定のしきい値より小さい（かつ／又はこれと等しい）場合に、２つのピーク画素のうちの１つに対応する画素のセットを、さらなる画像処理について拒絶することができる。この形で、関心を持たれている粒子の評価を妨げる可能性がある、関心を持たれている粒子に近すぎて配置された粒子の蛍光放射を防ぐことができる。
【００４４】
一般に、用語「画像化された粒子の投影された直径」は、本明細書で使用される時に、粒子を画像化するのに使用されたシステムの構成要素構成に基づく画像化された粒子の推定された直径を指す。一般に、画像化された粒子のサイズは、その粒子を画像化するのに使用される結像システムの倍率に依存して、実際の粒子の寸法と異なる可能性がある。さらに、結像システムの他の構成要素構成も、直径に影響する可能性がある。たとえば、不完全なレンズ、光学的開口からの回折、光学フィルタ歪み、結像システムの複数の他の構成要素が、影響する可能性があり、いくつかの場合に、画像化される画素の寸法を歪ませる可能性がある（本明細書では、画像化された粒子のスミアと称する）。いくつかの場合に、結像レンズの点像分布関数（ＰＳＦ）（代替案では変調伝達関数（ＭＴＦ）として定量化される）が、歪みの主要因である場合がある。
【００４５】
２つのピーク画素に対応する画素のセットのいずれをも拒絶することができるが、より低い蛍光測定値を有するピーク画素に対応する画素のセットを拒絶することが有利である可能性がある。というのは、そのような画素のセットの特性が、さらなる画像処理中に画素の他方のセットに対して区別可能である可能性がより低いからである。いくつかの場合に、この方法は、さらなる画像処理に十分であるかどうかを判定するために画素の残りのセットを評価することに継続する。たとえば、この方法は、ブロック７４に継続して、画素のセットの間の光学パラメータの強度変化の割合が単一の粒子又は粒子のクランプを示すかどうかを判定することができる。一般に、粒子のそれぞれの正確で別個の情報を入手することのむずかしさに起因して、粒子のクランプを拒絶することが望ましい。もう１つの実施形態では、ブロック７２での拒絶に関する画素の２つのセットの選択を、画素のセットの間の光学パラメータの強度変化の割合を計算することによって判定することができる。具体的に言うと、ピーク画素の間の距離が所定のしきい値未満であることを判定する際に、光学パラメータの強度変化の割合を、拒絶すべきセットのインジケータとして画素のセットごとに計算することができる。画素のセットの間の強度変化の割合を計算する異なる形を、それぞれブロック７６〜７８及び８０〜８２に概要を示し、下でより詳細に説明する。
【００４６】
粒子拒絶の方法は、ブロック７２及び７４の組合せ又は順次処理を含むことができるので、図３の流れ図は、めいめいのプロセスの間のそのような接続の可能性を示すブロック７２と７４との間の破線を含む。しかし、そのような接続は、任意選択である。具体的に言うと、ブロック７２、７４は、いくつかの実施形態で、共に実行されない場合があり、したがって、ブロック７２と７４との間の矢印を省略することができる。他の実施形態で、ブロック７４、７２の処理を逆転することができ、したがって、本明細書で説明する方法は、ブロック７８及び／又は８２とブロック７０との間の接続を含むことができる。他の実施形態では、ブロック７０、７２を、この方法から省略することができる。その代わりに、ブロック７４（及び、ブロック７６〜８２に概要を示された処理などを実行するためのその例示的手順）をこの方法から省略することができる。もう１つの場合に、この方法を、ブロック６２の後の画像処理のルートを選択するように構成することができ、したがって、図３に示されているブロック７０又は７４のいずれかにつなげることができる。
【００４７】
ブロック７４を参照すると、ブロック６２で判定された位置のうちの少なくとも１つを囲む複数の画素の間の光学パラメータの強度の割合を計算することができる。上で注記したように、この割合は、さらなる画像データ処理に関して粒子を受け入れるか、粒子を拒絶するのに使用することができる。より具体的に言うと、この割合は、粒子の放射特性の空間的勾配（すなわち、蛍光放射レベルの分布）の測定値とすることができ、この空間的勾配を使用して、関心を持たれている粒子が隣接する粒子からどれほど分離されているかを判定することができる。いくつかの実施形態で、ブロック７４の処理は、ブロック７６、７８に概要を示されたステップのシーケンスに従うことができる。具体的に言うと、この方法は、ブロック６２で判定された位置を囲む所定の半径の中に配置された画素のセットの光学パラメータの強度の割合を計算することを含めることができる。いくつかの実施形態で、所定の半径は、判定された位置によって表される粒子の投影された直径とほぼ等しいものとすることができる。他の場合に、所定の半径は、判定された位置によって表される画像化された粒子の投影された直径より大きいかこれより小さいものとすることができる。
【００４８】
光学パラメータの強度変化の割合を計算した後に、この方法は、ブロック７８に継続し、ここで、強度の割合を所定のしきい値と比較することによって、さらなる画像データ処理について画素のセットを受け入れるか、拒絶することができる。いくつかの実施形態で、ブロック７８は、強度変化の割合が所定のしきい値以上であることを計算した時に、さらなる処理について画素のセットを受け入れることを含む。具体的に言うと、光学パラメータの強度変化の比較的高い割合は、画素のセット内の単一の粒子を示す場合があり、これは、さらなる画像処理に望ましい可能性がある。そのような処理に加えて、ブロック７８に、強度変化の割合が所定のしきい値未満であることを計算した時に、さらなる処理について画素のセットを拒絶することを含めることができる。具体的に言うと、光学パラメータの強度変化の比較的低い割合は、画素のセット内の粒子のクランプを示す場合があり、これは、上で注記したように、さらなる画像処理に望ましくない可能性がある。
【００４９】
画素のセット内の光学パラメータの強度変化の割合を計算する代替の形の概要を、図３のブロック８０と８２に示す。具体的に言うと、この方法は、それに加えて又はその代わりに、ブロック８０に経路指定されて、ブロック６２で判定された位置の１つを囲む異なる所定の半径内にそれぞれが配置された画素の２つの別個のセットの光学パラメータの値を合計することができる。この半径を、検出器画素アレイにまたがる粒子の広がりに最もよく一致するように調整することができ、この広がりが、通常、結像レンズの点像分布関数（ＰＳＦ）（代替案では変調伝達関数（ＭＴＦ）として定量化される）、結像サブシステムの焦点面に関する粒子の位置、及び粒子自体のサイズに依存して変化することに留意されたい。たとえば、いくつかの実施形態で、一方の所定の半径が、画像内の単一の粒子の投影された直径とほぼ等しく、他方の所定の半径が、画像内の単一の粒子の投影された直径より約１．５倍大きいことが有利である場合がある。しかし、他の半径を使用することができ、半径の異なる比率を使用することができる。さらに、背景信号の値が、一方の半径の中の画素について減算される場合に、背景信号を、他方の半径の中の画素の値から減算することもできることに留意されたい。
【００５０】
光学パラメータの値の合計の値に、半径のそれぞれに対応する合計された値の比率を計算することができる。具体的に言うと、より小さい半径を使用して入手された合計された値を、より大きい半径を使用して入手された合計された値によって除算することができ、あるいはその逆を行うことができる。どちらの場合でも、この比率は、ブロック８２に示されているように、さらなる画像データ処理について画素のセットを受け入れるか拒絶するのに使用することができる。具体的に言うと、ブロック８２は、この比率が、所定のしきい値以下の量だけセット値と異なることを判定する時に、さらなる評価について画素のセットを受け入れることを含むことができる。さらに、ブロック８３は、この比率が、所定のしきい値を超える量だけセット値と異なることを判定する時に、さらなる評価について画素のセットを拒絶することを含むことができる。
【００５１】
しきい値の判定は、ブロック８０で概要を示した処理を実行するために選択された半径、画像化される粒子のサイズ、画像内の粒子のスミア、使用される結像システムのセッティングを含むがこれらに限定はされないさまざまな要因に依存する。その結果、ブロック８３で画素のセットを受け入れるか拒絶するための所定のしきい値は、異なる応用例の間で大きく変化する可能性がある。しかし、一般的なガイドラインは、１により近い比率が、さらなる処理に望ましい可能性がある画素のセットを示す可能性があるということである。というのは、より小さい半径の外側の画素からの寄与がほとんどないからである。言い換えると、隣接する粒子からの光学パラメータ値の影響が、最小限である可能性が高く、したがって、関心を持たれている光学パラメータの値の誤差が、比較的小さくなる。代替案では、この比率が、１より大幅に小さい場合に、隣接する明るい粒子が、関心を持たれている粒子の光学パラメータ値に影響している可能性が高い。その場合に、関心を持たれている粒子を破棄することができ、あるいは、積分半径が、不正に選択されている可能性がある。この形で、関心を持たれている粒子の画像データを破棄する前に、上で説明した積分を、異なる半径を用いて実行することができる。
【００５２】
そのような追加積分を実行するアルゴリズムは、ある固定された比率（１．５×など）でビーズごとに外径に対して内径を確立することと、その結果を格納することとを含む。その場合に、内径は、期待されるビーズ投影より１．５倍大きいなど、期待されるビーズ投影よりわずかに大きくすることができる。次に、内径と外径を、ビーズごとにわずかに減らす（前と同一の比率を保ちながら）。その後、比率の集合を比較して、比率の大多数が変化したかどうかを調べる。比率のほとんどが変化していない場合には、内径は、まだ大きすぎ、エネルギは、内側の円の外側で外側の円までに（まだ）あり、したがって、内径と外径をビーズごとにもう一度減らす必要がある。逆に、比率の一部が変化している場合には、これは、一部のエネルギが外側の円に移動しつつある可能性があることを示す。
【００５３】
この処理を、最後の直径の比率の集合からの変化の分布に基づいて任意の回数だけ繰り返す。たとえば、一致する粒子のパーセンテージがわかっている（その結果、破棄されなければならない）場合に、そのパーセンテージを、比率の所望のパーセンテージと等しくして、反復を終わらせることができる。一致する粒子のパーセンテージの推定値は、生産ラインからの過去のデータからの、システムが通常どのように振る舞うかの知識から、あるいはその代わりに試験画像の視覚的検査から引き出すことができる。一致する粒子のパーセンテージがわからない場合には、内径の減少に伴って変化したり一定のままになる現れるパーセンテージに関するステップごとの変化の「ヒストリ」を、反復を終了させるためのインジケータとすることができる。例として、１つの減少で比率の５％が変化し、次に１０％、次にまた１０％、４回目に１２％が変化するものとする。そのような例では、１０％を、破棄しなければならない粒子の個数とすることができる。１２％のパーセンテージに達した時に、内側の円が小さすぎ、より小さい単一のよいビーズを切り捨てていた可能性がある。したがって、以前の直径を、停止する点として使用しなければならない。そのような処理ステップのすべてを、異なる内径／外径比率を用いて繰り返して、パーセンテージ変化のより明瞭な傾向が現れるかどうかを調べることができる。その場合に、この処理は、まずより大きい比率から始め、最初の比率より実際に小さくなるまで比率をスイープしながらステップ・スルーする（任意選択で、最初の比率は既に計算されているので、これをスキップするアルゴリズムの「外側ループ」を含むことができる。
【００５４】
上で注記したように、本明細書で説明する画像データ処理の方法は、画像間整列の処理を含む。いくつかの実施形態で、本明細書で説明する画像間整列の処理を、画像内の背景信号のレベルの判定の後に、及び／又は画像内の粒子の発見の後に実行することができる。いくつかの場合に、画像間整列の処理を、特に、図２に関して説明した背景信号測定の方法の後に、及び／又は図３に関して説明した粒子発見の方法の後に実行することができる。しかし、他の実施形態では、本明細書で説明する画像間整列の処理を、背景信号測定処理及び／又は粒子発見処理と独立に実行することができる。どの場合でも、画像間整列処理を、機器が組み立てられた後に工場で実行することができる。それに加えて又はその代わりに、画像間整列処理を、特にシステムの構成要素が工場からの出荷の後に変更される場合に、現場で実行することができる。
【００５５】
一般に、粒子の複数の画像が、上で説明したようにそれぞれを１つの光学フィルタに結合できる複数の検出器を使用して獲得される場合に、又は交換可能な光学フィルタが単一のカメラを用いて撮影される画像の間に交換される（フィルタ自体が画像に影響し得るので）場合に、画像間整列を実行することができる。複数の画像は、一般に、異なるレベルの蛍光を測定でき、粒子の分類に使用できるように、異なる波長で撮影される。しかし、結像サブシステム・ハードウェアの機械的公差に起因して、複数の画像のそれぞれの中の粒子に対応するスポットが、複数の画像の合成物内で絶対的に整列されてはいない場合がある。スポットのそのような位置ずれは、画像化されるすべてのチャネルでの粒子の位置を関連付ける能力を望ましくなく妨げる可能性がある。しかし、画像対画像の位置合わせは、本明細書で説明する、スポットをよりよく整列する画像間整列技法を使用して修正することができる。下で説明するように、画像間整列訂正処理は、ｘ方向及び／又はｙ方向での画像座標の単純な平行移動とすることができる。それに加えて又はその代わりに、画像間整列処理は、複数の画像のうちの１つ又は複数の回転を含むことができる。
【００５６】
図４に、画像間整列の処理のステップの例示的シーケンスを示す流れ図を示す。図４のブロック９０に示されているように、この処理は、蛍光材料を会合された粒子の複数の画像のデータを獲得することを含むことができ、ここで、複数の画像のそれぞれは、異なる波長域に対応する。いくつかの場合に、データを結像システムから直接に獲得することができるが、他の場合に、データを記憶媒体から獲得することができる。どちらの場合でも、データは、上で注記したように異なる波長で撮影された複数の画像を表すことができる。使用できる例示的な波長は、分類チャネル１の赤、分類チャネル２の緑、リポータ・チャネルの青などであるがこれらに限定はされない、異なるカラー・チャネルに対応することができる。上でさらに注記したように、各カラー・チャネルに対処するために、本明細書で説明する方法に関して使用される粒子を、関心を持たれているすべての波長で又はすべての波長域で発光するように特別に染めることができる。具体的に言うと、複数の画像内で分類信号とリポータ信号との両方を測定するために、本明細書で説明する画像間整列処理を、分類波長又は分類波長域だけではなく、リポータ波長又はリポータ波長域でも蛍光を発光する特別に染められた粒子を使用して実行することができる。
【００５７】
複数の画像のデータを獲得した後に、この方法は、ブロック９２に継続し、ここで、複数の画像の合成画像を作成する。一般に、この合成画像は、複数の画像がお互いに対して相対的にオーバーラップされた単一の画像である。上で注記したように、結像サブシステム・ハードウェアの機械的公差に起因して、複数の画像のそれぞれの中の粒子に対応するスポットが、複数の画像の合成物内で絶対的に整列されてはいない場合がある。したがって、画像間整列が必要になる場合がある。具体的に言うと、この方法は、ブロック９４に示されているように、複数の画像のそれぞれの中の粒子に対応するスポットが、続く合成画像内で収束するように、複数の画像のうちの少なくとも１つの座標を操作することを含む。いくつかの実施形態で、複数の画像のうちの１つ（本明細書で「基準画像」と称する画像）を除くすべての画像の座標値を操作することができる。代替案では、より少数の複数の画像の座標値を操作することができる。この形で、基準画像以外の画像の座標値を、画像間整列処理について維持することができる。いくつかの場合に、リポータ染料の放つ光の波長又は波長域で獲得された画像を、基準画像として指定することができる。他の実施形態では、分類染料の放つ光の波長又は波長域で獲得された画像を、基準画像として指定することができる。
【００５８】
上で注記し、図４に示されているように、座標の操作は、いくつかの場合に、ブロック９６に示されているように、ｘ方向及び／又はｙ方向での画像座標の直交オフセットを含む。それに加えて又はその代わりに、座標の操作は、ブロック９８に示されているように、複数の画像のうちの１つ又は複数の回転を含んでもよい。ブロック９６、９８は、破線によって輪郭を示されている。これは、これらの処理の一方又は両方を画像座標の操作に使用できることを示す。
【００５９】
直交平行移動の処理では、ｘ次元又はｙ次元のいずれかの正又は負の整数平行移動オフセットを、座標値を操作すするために決定することができる。めいめいのオフセットを、１つ又は複数の非基準画像の座標に加算することができ、新しい合成画像を、いくつかが新しい座標を有する複数の画像を用いて作成することができる。一般に、直交平行移動訂正ステップは、合成画像内の整列のさらなる改善が可能でなくなるまで実行することができる。直交平行移動によるさらなる改善を得ることができないと判定された時に、この処理によって操作された座標を有する各非基準画像のｘ平行移動値とｙ平行移動値を、粒子の後続結像のために保存することができる。テーブルなど、任意の適切なデータ構造が、そのような値に適切である可能性がある。
【００６０】
上で注記したように、座標値の操作は、それに加えて又はその代わりに、１つ又は複数の非基準画像の座標の回転を含むことができる。いくつかの実施形態で、画像が平行移動訂正を介して十分に整列されていない場合に、回転処理を使用することができる。他の実施形態では、回転処理を、直交平行移動処理の前に、直交平行移動処理の代わりに、又は直交平行移動処理と共に実行することができる。他の場合に、回転処理を、直交平行移動処理と同時に実行することができる。具体的に言うと、画像座標の操作のために、１つ又は複数の非基準画像を回転させることができ、１つ又は複数の他の非基準を、直交オフセットを用いて平行移動させることができる。他の実施形態で、個々の非基準画像の座標を、回転させると同時に直交させてオフセットさせることができる。どの場合でも、画像間整列処理に使用できる直交オフセットの範囲は、いくつかの実施形態で、±１０画素とすることができ、回転オフセットの範囲は、±２°とすることができる。しかし、より大きい又はより小さい量のオフセットを、座標操作の一方の形又は両方の形に使用することができる。
【００６１】
画像の回転が画像座標の直交オフセットに対して相対的に組み込まれる形に関わりなく、回転処理は、一般に、画像のｘ次元とｙ次元の中点の近くになるように原点（すなわち、回転の中心）（ｘoriginとｙoriginと表す）を選択することを含む。ソース画像（すなわち、回転される非基準画像）と同一の寸法を有する新しい空白の画像バッファを作成することができる。ソース画像内の画素ごとに、回転の中心からの現在のベクトルを判定することができる。具体的に言うと、関心を持たれている画素から画像の回転の中心までの距離を、［（ｘ−ｘorigin）2＋（ｙ−ｙorigin）2］の平方根から判定することができ、ｘとｙは、その画素の座標である。さらに、現在のベクトルの角度を、ｙdistanceをｘdistanceで割った逆正接と、象限ごとの角度を調整するためにその逆正接の値から象限依存の変更子を加算又は減算することから判定することができる。その場合に、ｙdistanceは、ｙ軸に沿ったｙoriginと関心を持たれている画素との間の距離であり、ｘdistanceは、ｘ軸に沿ったｘoriginと関心を持たれている画素との間の距離である。
【００６２】
前述の計算の後に、一定のユーザ定義の「調整」角度を現在の画素のベクトルに加算して、画素を回転する角度を判定する。画素の新しい位置（たとえば、ｘ座標とｙ座標での）は、次の式によって判定することができる。
新しいｘ座標＝［（ｘ−ｘorigin）2＋（ｙ−ｙorigin）2］の平方根×ｃｏｓ（回転
角度）＋ｘorigin＋ｘtranslation（適用可能な場合に）＋０．５ （１）
新しいｙ座標＝［（ｘ−ｘorigin）2＋（ｙ−ｙorigin）2］の平方根×ｓｉｎ（回転
角度）＋ｙorigin＋ｙtranslation（適用可能な場合に）＋０．５ （２）
検討中の画素の値を、空白の画像バッファの、新しいｘ座標とｙ座標の画素にコピーすることができる。回転を意図された非基準画像を処理した後に、新しい合成擬似カラー画像を作成することができる。一般に、回転処理に関する上で概要を示したステップを、各非基準画像にまたがる色の相違を最小にするために繰り返す。最終的な回転値を、非基準画像ごとに、後続結像に関する調整テーブルなどの適切なデータ構造に保存することができる。
【００６３】
一般に、ブロック９４に関して上で説明した座標操作の反復は、複数の異なるパラメータに関して行う。たとえば、座標操作の反復は、合成画像のスポットの間の色の相違の量、合成画像のスポットに対応する画素の間の強度の合計誤差又は平均二乗差、及び／又は合成画像内のスポットの位置の合計誤差又は平均二乗差に依存する。そのような技法のそれぞれの概要を、図４のブロック１００から１２８に示し、下でより詳細に説明する。
【００６４】
具体的に言うと、ブロック１００は、続く合成画像内のスポットの間の色の相違の量が、先行する合成画像に対して減らされるように、複数の画像のうちの少なくとも１つの座標を変更するオフセットをアルゴリズム的に（すなわち、アルゴリズムによって）判定する処理を含む。合成画像内の色の相違は、一般に、複数の画像のうちの少なくとも１つの不整列によって誘発される。たとえば、赤チャネル、緑チャネル、青チャネルがめいめいの複数の画像について使用される実施形態で、合成画像内の粒子に対応するスポットの収束された色は、白になると期待される。しかし、複数の画像の整列変動が、赤チャネル、緑チャネル、青チャネルのうちの１つ又は複数に対応する個々の画像上のスポットを互いに対して相対的にオフセットさせる場合がある。その結果、合成画像内の個々の色が、白スポットの縁を超えて延び、そのスポットの色の相違を誘発する場合がある。合成画像内の白スポットの形成は、赤チャネル、緑チャネル、青チャネルによって作られる画像の組合せの結果であるが、本明細書で説明する方法が、そのようなチャネルを用いて画像を作成することに必ずしも限定されないことに留意されたい。具体的に言うと、任意の個数の
複数の画像を、複数の異なるカラー・チャネルによって形成することができ、その結果、本明細書で説明する方法は、３つの画像又は赤、緑、青のカラー・チャネルの形成には制限されない。
【００６５】
上で説明し、図４のブロック１０２に概要を示されているように、画像の不整列は、複数の画像のうちの１つ又は複数の座標を所定のオフセットだけ調整することによって減らすことができる。そのような所定のオフセットは、ブロック９６、９８に関して上で説明したように、直交オフセット及び／又は回転オフセットを含む。ブロック１０２の後に、ブロック１０４に示されているように、所定のオフセットを含む複数の画像の異なる合成画像を作成する。この方法は、ブロック１０６に継続し、ここで、新たに作成された合成画像内のスポットの間の色の相違を判定する。判断ブロック１０８に示されているように、色の相違が特定のオフセット量に関する所定の誤差許容量より大きい（及び／又はこれと等しい）実施形態では、ブロック１００〜１０６を繰り返す。逆に、画像間整列のこの方法は、色の相違が所定の誤差許容量より小さい（及び／又はこれと等しい）実施形態では、ブロック１１０で終了する。一般に、ブロック１０８のためにセットされる所定の誤差許容量は、合成画像に望まれる精度とオフセット量に依存し、したがって、応用例の間で変化する可能性がある。
【００６６】
合成画像内の画素強度及び／又はスポットの位置の合計誤差もしくは平均二乗差に基づく座標操作の反復の技法を、図４のブロック１１２〜１２８に関して説明する。具体的に言うと、両方の技法を、ブロック１１２で開始する。ここで、ｉが、１と等しくなるようにセットされる。そのような指定は、ブロック１１４に示されているように、複数の画像のうちの少なくとも１つの座標を調整するための複数の所定のオフセットのうちの第１のオフセットを参照するのに使用される。いくつかの実施形態で、処理がそれを通って繰り返される所定のオフセットの選択は、合成画像内の整列がそれによって測定される（すなわち、合成画像内の画素強度又はスポットの位置の合計誤差もしくは平均二乗差によって）パラメータに固有とすることができる。他の実施形態では、所定のオフセットの選択を、使用される技法と独立とすることができる。どちらの場合でも、処理は、ブロック１１６に継続して、所定のオフセットを含む複数の画像の異なる合成画像を作成することができる。さらに、技法に固有の処理を使用することができる。たとえば、この方法は、ブロック１１８に継続して、ブロック１１６で作成された合成画像の画素の間の強度の合計誤差又は平均二乗差を判定することができる。代替案では、この方法は、ブロック１２０に継続して、ブロック１１６で作成された合成画像内のスポットの位置の合計誤差又は平均二乗差を判定することができる。
【００６７】
どちらの場合でも、その後、ブロック１２２で、ｉがｎと等しいかどうかに関する判定を行う。ｎは、複数の画像の座標を調整するための所定のオフセットの個数である。ｉがｎと等しくない場合には、この方法は、ブロック１２４に継続して、ｉの値を１つ増分して、ブロック１１４〜１２０に概要を示された処理を繰り返すことができる。ｉがｎと等しいと判定される時には、この方法は、ブロック１２６に継続し、ここで、異なる合成画像のそれぞれの合計誤差又は平均二乗差の計算された値を評価する。具体的に言うと、異なる合成画像のそれぞれの合計誤差又は平均二乗差の計算された値を評価して、合成画像の最小誤差をもたらしたオフセット（すなわち、平行移動及び／又は回転）値を識別する。ブロック１２８に示されているように、識別されたオフセット値を、座標が調整された非基準画像ごとに保存する。テーブルなど、任意の適切なデータ構造が、そのような値に適切である可能性がある。上で説明した実施形態の両方で、識別されたオフセット値を、後続画像中に作成される分類画像の座標系に適用することができる。具体的に言うと、分類画像を、上で説明した式を使用して新しい画像バッファに直接に平行移動し、かつ／又は回転することができ、その後、元の分類画像バッファを破棄する。
【００６８】
画像間粒子相関を、画像座標系が整列された後に実行することができる。具体的に言うと、複数の分類画像が複数の波長又は波長域で獲得されると仮定して、画像座標系が整列された後に、実際の粒子を位置によって破棄する。単純に言えば、粒子がすべての分類画像にまたがって存在してはいない場合に、その粒子をさらなる処理から除去する。
【００６９】
一例で、上で説明した粒子発見方法を使用して以前に識別された各分類画像の粒子の集合と、分類画像ごとの平行移動／回転値とを使用することによって、所与の半径の中にある最もよく一致する粒子を識別することができる。最もよく一致する粒子の識別は、粒子の各集合を通って反復するための、各レベルが１つの分類画像を表すｎ個のループの入れ子になったシリーズを作成することを含む。最も深い入れ子レベルで、この方法は、すべての外側ループからの粒子の調整された座標が、所与の半径の中にあるかどうかを判定することを含む。距離を判定する前に、各入れ子レベルでの座標を、画像間整列に関して上で説明した整列テーブル及び式に従って平行移動させる。距離が所与の半径より小さい場合に、最も内側のループの粒子位置を、最も内側のレベルでの他の一致との後の比較のために一時的に格納する。最も内側のレベルで第２の粒子の距離が前に見つかった粒子の距離より小さい場合には、一時的に格納された粒子位置を、現在の距離に置換する。そうでない場合には、この方法を、次の粒子について継続する。最も外側から２番目のループの反復の終わりに、最も外側の位置への最良の一致の一時的位置を、集合に格納する。外側ループ粒子に関して所与の半径の中での一致がない場合には、粒子のその実例は、相関アルゴリズムの出力が上で作成された集合なので、さらなる検討から自動的に除去される。
【００７０】
全体的な処理の速度を高めるために、上で説明されたように識別された一致がある場合に、その粒子をもう一度検討するために処理時間が費やされないように、各後続ループでその粒子を「使用済み」として識別することができる。処理時間を減らすために、画像を複数のサブセクションに分離して、各サブセクションを別々に相関させることができる。その場合に、サブセクションの個数は、ループ反復における全体的な節約が、画像をセクションに分解するのに要する時間で失われないように選択されることが好ましい。さらに、サブセクションの境界で比較能力が失われるのを避けるために、領域が、わずかなオーバーラップを有する。さらに、領域がオーバーラップする場合に、オーバーラップで粒子が複製される可能性を減らすように、領域がオーバーラップする度合を選択することができる。
【００７１】
この方法は、リポータ蛍光放射の蛍光積分をも含む。リポータ放射レベルは、一定ではなく、未知なので、積分に使用されるリポータ画像内の画素を識別するために分類画像に使用される粒子発見技法を使用することは、不可能であるか不必要である。そうではなく、分類画像で見つかった粒子と同一のｘ座標とｙ座標の蛍光を使用することができる。
【００７２】
１つのそのような例で、画像間相関によって判定された調整テーブルからの平行移動値及び回転値を使用して、各発見された粒子をリポータ画像の適切な座標に写像する。各粒子の開始位置について、調整されない基準分類画像からの座標系を使用する。リポータについて判定された平行移動のｘ値とｙ値や回転角度は、リポータ画像内の画像化された粒子を移動させて、これによって分類基準画像内の粒子の位置と一致させることのできる方向を表す。しかし、ここで実行される変換は、基準座標系をリポータ座標系に平行移動することを含む。ｘ平行移動値とｙ平行移動値を、各調整パラメータの符号を単純に反転させる（負の値が正の値になり、逆も同様である）ことによって「変換する」ことができる。同様に、回転角度の符号をも、リポータ座標を見つける前に反転させることができる。すべてのパラメータの符号を反転させた後に、画像間整列ステップに関して上で説明した式を使用して、積分の中心を識別する。所与の積分半径の中にあるすべてのリポータ画素の積分を判定することができる。
【００７３】
上で注記したように、本明細書で説明する画像データ処理の方法は、画像平面正規化の処理を含む。理想的には、結像システムは、粒子の間の位置依存の放射の相違を防ぐために、均一に照明される。しかし、現実には、結像フィールド上の各スポットは、所与の照明レベルを有する。さらに、このシステム内で使用される蛍光帯域フィルタ（１つ又は複数）と１つ又は複数の結像レンズが、画像内のすべての点について同一の量の光を透過させない場合がある。画像にまたがるそのような変動を補償するために、光学パラメータの測定値に、正規化方法又は正規化アルゴリズムを適用することができる。いくつかの実施形態で、本明細書で説明する画像平面正規化の処理は、上で、特に図２〜４に関して説明した処理に関して説明した処理のうちの１つ又は複数の後に実行することができる。しかし、他の実施形態では、本明細書で説明する画像平面正規化を、そのような処理のうちの１つ又は複数と独立に実行することができる。
【００７４】
図５に、画像平面正規化の処理のステップの例示的シーケンスを示す流れ図を示す。図５のブロック１３０に示されているように、この処理は、均一な濃度の蛍光材料を会合された粒子の第１セットから撮影された画像の第１セット内の第１の所定のしきい値を超える光学パラメータ値を示す１つ又は複数の画素を識別するために、画像の第１セットを分析することを含む。画像の第１セットは、単一の画像又は複数の画像を含む任意の個数の画像を含む。複数の画像が撮影される実施形態で、画像の第１セットは、赤チャネル、緑チャネル、青チャネルに対応する波長などであるがこれらに限定はされない異なる波長の照明源を使用して形成される。
【００７５】
いくつかの場合に、この方法は、任意選択で（破線の境界によって示されるように）ブロック１３２を含み、このブロック１３２では、均一な濃度の蛍光材料を会合された粒子の第２の別個のセットから撮影された画像の第２セット内の第１の所定のしきい値を超える光学パラメータ値を示す１つ又は複数の画素を識別するために、画像の第２セットを分析する。画像の第１セットと同様に、画像の第２セットは、任意の個数の画像を含み、複数の画像が撮影される場合には、その複数の画像を、異なる波長の照明源を使用して形成する。いくつかの実施形態で、既知の濃度を有する粒子の異なるセットについて撮影された画像の第２セットの分析は、画像の第１セットと第２セットのめいめいのサブセクションについて後に展開される統計値の間で雑音と粒子不均一性の影響を減らすために有利である。具体的に言うと、ブロック１４０に関して下で説明するように、画像の第１セットと第２セットのめいめいのサブセクションのそれぞれについて測定された光学パラメータ値の平均をとることによって、雑音と粒子不均一性の影響を減らすことができる。
【００７６】
この方法が画像の第２セットの分析を含むかどうかに関わりなく、この方法は、ブロック１３４に継続して、画像の第１セット及びいくつかの場合に画像の第２セットのめいめいのサブセクション内で、ブロック１３０、１３２に関して説明した処理で識別された画素の集合を分類することができる。具体的に言うと、画像のセットを、サブセクションの配列に分離することができ、連続して配置された画素の集合又は集団を、画像内のその位置に基づいてサブセクション内に配置する。より具体的には、識別された粒子ごとに、それが属する画像の第１セット及び第２セット内のサブセクションを判定する。サブセクションの配列は、所望の背景信号の明瞭さ、システムの処理能力、及び／又は分析される粒子の個数に応じて、任意の個数の行と列を含む。図５にさらに示されているように、この方法は、ブロック１３６に継続して、画像の第１セット及びいくつかの場合に画像の第２セットのめいめいのサブセクションごとに、それに分類された画素の集合の光学パラメータのレベルを表す単一の統計値を展開する。一般に、この統計値は、中央値、平均値、最頻値、トリム平均を含むがこれらに限定されない任意の個数の統計パラメータから選択することができる。いくつかの実施形態で、中央値の判定が特に有利である。
【００７７】
図５の判断ブロック１３８によって示されるように、この方法は、粒子の２つの別個のセットについて撮影された画像の２つのセットが分析される実施形態で、ブロック１４０に継続する。ブロック１４０は、画像の第１セットと第２セットのめいめいのサブセクションごとに展開された統計値の平均値を計算することを指定する。ブロック１４０の後に、又は画素集合の分類に関して画像の１つのセットだけが分析されるとブロック１３８で判定された時に、この方法は、ブロック１４２に継続して、画像の第１セットと第２セットを形成するのに使用された波長に固有の行列に、めいめいのサブセクションについて展開された統計値を保存する。そのような行列は、ブロック１４８に関して下でさらに説明するように、未知の濃度の蛍光材料を会合された画像粒子について測定された光学パラメータの正規化された値を計算するのに使用される。
【００７８】
具体的に言うと、この方法は、未知の濃度の蛍光材料を会合された粒子から撮影された画像の第３セット内の第１の所定のしきい値を超える光学パラメータ値を示す１つ又は複数の画素を識別するために、画像の第３セットを分析するブロック１４４を含む。画像の第１セットと同様に、画像の第３セットは、任意の個数の画像を含み、複数の画像が撮影される場合には、その複数の画像を、異なる波長の照明源を使用して形成する。この方法は、ブロック１４６に継続し、ここで、ブロック１４４で識別された画素の集合を、画像の第３セットのめいめいのサブセクションに分類する。未知の濃度の蛍光材料を有する粒子の間の位置依存の放射の相違を補償するために、測定された光学パラメータの正規化された値を計算する。具体的に言うと、ブロック１４８は、画像内で識別された画素のそれぞれの光学パラメータ値を、その光学パラメータの正規化された値を入手するために、画像の第１セットと第２セットの対応するサブセクションについて展開された統計値によって除算することができることの概要を示す。
【００７９】
いくつかの実施形態で、識別された画素ごとの結果の正規化された値に単一の「キャリブレータ」値を乗じて、その最終的な較正された値を、外部の標準に対して相対的に調整する。このキャリブレータ値は、既知の濃度の粒子の実質的に均一なセットに関する上で説明した正規化行列から判定する。具体的に言うと、この方法は、任意選択で（破線の境界によって示されるように）画像の第１セット及び第２セットの一方又は両方のめいめいのサブセクションについて展開された統計値のすべてを表す統計的値を計算するブロック１５０を含む。この統計的値は、中央値、平均値、最頻値、トリム平均を含むがこれらに限定されない任意の個数の統計パラメータから選択することができる。いくつかの実施形態で、中央値の判定が特に有利である。較正値の判定は、さらに、ブロック１５２に示されているように、均一な濃度の蛍光材料を会合された粒子の異なるセットに関連する光学パラメータのレベルに関連する所定の数値を、計算された統計的値によって除算することを含む。上で注記し、図５のブロック１５４に示されているように、未知の濃度を有する粒子の光学パラメータについて入手された正規化された値を外部標準に対して調整するために、この正規化された値によってキャリブレータ値を乗算することができる。
【００８０】
上で説明した正規化技法及び較正技法が、すべての画像内の各画素の正規化に限定されないことに留意されたい。そうではなく、この正規化技法及び較正技法を、１つの画像内で識別された粒子に適用することができる。そのような処理は、応用例固有の画素の正規化と較正に対して計算を最小にするのに特に有利である。
【００８１】
本開示の利益を有する当業者は、本発明が画像データ処理のコンピュータ実施される方法、記憶媒体、システムを提供することを了解するであろう。本発明のさまざまな態様のさらなる修正形態や代替実施形態は、この説明に鑑みて当業者に明白であろう。したがって、この説明は、例示的であるのみと解釈されなければならず、本発明を実行する一般的な形を当業者に教示するためのものである。図示され本明細書で説明された本発明の形が、現在好ましい実施形態と解釈されなければならないことを理解されたい。本発明のこの説明の利益を有した後に当業者に明白であるとおり、要素及び材料を、図示され本明細書で説明されたものについて置換することができ、部分及び処理を反転することができ、本発明のある種の特徴を独立に利用することができる。添付の特許請求の範囲に記載の本発明の趣旨及び範囲から逸脱せずに、本明細書で説明された要素において変更を行うことができる。
【特許請求の範囲】
【請求項１】
結像サブシステムであって、
異なる波長域で前記結像サブシステム内に配置された粒子を画像化し、
画像化された粒子の放射に対応するデータを獲得する
ように構成された結像サブシステムと、
前記粒子の複数の画像について獲得されたデータを格納する、プロセッサによって実行可能なプログラム命令であって、前記複数の画像のそれぞれが、異なる波長域に対応する、プログラム命令と、
前記複数の画像の１つから基準画像を選択する、プロセッサによって実行可能なプログラム命令と、
前記複数の画像のそれぞれの中の前記粒子に対応するスポットが、前記基準画像内のスポットについて整列するように、前記基準画像でない前記複数の画像のうちの少なくとも１つの座標を操作する、プロセッサによって実行可能なプログラム命令と
を含む記憶媒体と
を含む、画像データを獲得し、処理するように構成されたシステム。
【請求項２】
前記異なる波長域が、異なる波長の光を放出する２つまたはそれ以上のＬＥＤにより生成される請求項１に記載のシステム。
【請求項３】
座標パラメータを操作する前記プログラム命令が、前記座標の直交オフセットを実行するプログラム命令を含む請求項１に記載のシステム。
【請求項４】
座標パラメータを操作する前記プログラム命令が、前記基準画像に対する前記非基準画像の整列を最大限にするように前記座標の複数の直交オフセットを実行するプログラム命令を含む請求項３に記載のシステム。
【請求項５】
座標パラメータを操作する前記プログラム命令が、前記基準画像に対する前記非基準画像の前記最大限にされた整列に必要とされたオフセットを保存し、前記保存されたオフセットを追加の前記非基準画像に適用するプログラム命令を含む請求項４に記載のシステム。
【請求項６】
座標パラメータを操作する前記プログラム命令が、前記複数の画像のうちの少なくとも１つの回転を実行するプログラム命令を含む請求項１に記載のシステム。
【請求項７】
座標パラメータを操作する前記プログラム命令が、
少なくとも１つの画像の座標を所定のオフセットだけ調整するプログラム命令と、
異なる前記画像内のスポットに対応する画素の間の強度の合計誤差又は平均二乗差を計算するプログラム命令と、
所定の回数の反復に関する異なる所定のオフセットを用いて、前記少なくとも１つの画像の前記座標を調整する前記ステップと強度の前記合計誤差又は平均二乗差を計算する前記ステップとを繰り返すプログラム命令と、
前記少なくとも１つの画像の前記異なる調整された座標のそれぞれの強度の合計誤差又は平均二乗差の前記計算された値を比較するプログラム命令と、
強度の最小の合計誤差又は平均二乗差を有する前記画像のセットに対応する調整された座標を有する画像ごとのオフセット値を保存するプログラム命令と
を含む請求項１に記載のシステム。
【請求項８】
座標パラメータを操作する前記プログラム命令が、
少なくとも１つの画像の座標を所定のオフセットだけ調整するプログラム命令と、
異なる前記画像内のスポットの位置の中で合計誤差又は平均二乗差を計算するプログラム命令と、
所定の回数の反復に関する異なる所定のオフセットを用いて、前記少なくとも１つの画像の前記座標を調整する前記ステップとスポット位置の前記合計誤差又は平均二乗差を計算する前記ステップを繰り返すプログラム命令と、
前記少なくとも１つの画像の前記異なる調整された座標のそれぞれの前記スポット位置の合計誤差又は平均二乗差の前記計算された値を比較するプログラム命令と、
スポット位置の最小の合計誤差又は平均二乗差を有する前記画像のセットに対応する調整された座標を有する画像ごとのオフセット値を保存するプログラム命令と
を含む請求項１に記載のシステム。
【請求項９】
前記記憶媒体が、
前記結像サブシステム内に配置された粒子を分類するのに使用される１つの波長域で画像化された粒子が、前記粒子を分類するのに使用されたものと異なる波長域でさらに画像化されるかどうかを判定する、プロセッサによって実行可能なプログラム命令と、
前記粒子が前記異なる波長域で画像化されると判定される時に、さらなる評価に関して前記粒子を受け入れる、プロセッサによって実行可能なプログラム命令と、
前記粒子が前記異なる波長域で画像化されないと判定される時に、さらなる評価に関して前記粒子を拒絶する、プロセッサによって実行可能なプログラム命令と
をさらに含む請求項１に記載のシステム。
【請求項１】
結像サブシステムであって、
異なる波長域で前記結像サブシステム内に配置された粒子を画像化し、
画像化された粒子の放射に対応するデータを獲得する
ように構成された結像サブシステムと、
前記粒子の複数の画像について獲得されたデータを格納する、プロセッサによって実行可能なプログラム命令であって、前記複数の画像のそれぞれが、異なる波長域に対応する、プログラム命令と、
前記複数の画像の１つから基準画像を選択する、プロセッサによって実行可能なプログラム命令と、
前記複数の画像のそれぞれの中の前記粒子に対応するスポットが、前記基準画像内のスポットについて整列するように、前記基準画像でない前記複数の画像のうちの少なくとも１つの座標を操作する、プロセッサによって実行可能なプログラム命令と
を含む記憶媒体と
を含む、画像データを獲得し、処理するように構成されたシステム。
【請求項２】
前記異なる波長域が、異なる波長の光を放出する２つまたはそれ以上のＬＥＤにより生成される請求項１に記載のシステム。
【請求項３】
座標パラメータを操作する前記プログラム命令が、前記座標の直交オフセットを実行するプログラム命令を含む請求項１に記載のシステム。
【請求項４】
座標パラメータを操作する前記プログラム命令が、前記基準画像に対する前記非基準画像の整列を最大限にするように前記座標の複数の直交オフセットを実行するプログラム命令を含む請求項３に記載のシステム。
【請求項５】
座標パラメータを操作する前記プログラム命令が、前記基準画像に対する前記非基準画像の前記最大限にされた整列に必要とされたオフセットを保存し、前記保存されたオフセットを追加の前記非基準画像に適用するプログラム命令を含む請求項４に記載のシステム。
【請求項６】
座標パラメータを操作する前記プログラム命令が、前記複数の画像のうちの少なくとも１つの回転を実行するプログラム命令を含む請求項１に記載のシステム。
【請求項７】
座標パラメータを操作する前記プログラム命令が、
少なくとも１つの画像の座標を所定のオフセットだけ調整するプログラム命令と、
異なる前記画像内のスポットに対応する画素の間の強度の合計誤差又は平均二乗差を計算するプログラム命令と、
所定の回数の反復に関する異なる所定のオフセットを用いて、前記少なくとも１つの画像の前記座標を調整する前記ステップと強度の前記合計誤差又は平均二乗差を計算する前記ステップとを繰り返すプログラム命令と、
前記少なくとも１つの画像の前記異なる調整された座標のそれぞれの強度の合計誤差又は平均二乗差の前記計算された値を比較するプログラム命令と、
強度の最小の合計誤差又は平均二乗差を有する前記画像のセットに対応する調整された座標を有する画像ごとのオフセット値を保存するプログラム命令と
を含む請求項１に記載のシステム。
【請求項８】
座標パラメータを操作する前記プログラム命令が、
少なくとも１つの画像の座標を所定のオフセットだけ調整するプログラム命令と、
異なる前記画像内のスポットの位置の中で合計誤差又は平均二乗差を計算するプログラム命令と、
所定の回数の反復に関する異なる所定のオフセットを用いて、前記少なくとも１つの画像の前記座標を調整する前記ステップとスポット位置の前記合計誤差又は平均二乗差を計算する前記ステップを繰り返すプログラム命令と、
前記少なくとも１つの画像の前記異なる調整された座標のそれぞれの前記スポット位置の合計誤差又は平均二乗差の前記計算された値を比較するプログラム命令と、
スポット位置の最小の合計誤差又は平均二乗差を有する前記画像のセットに対応する調整された座標を有する画像ごとのオフセット値を保存するプログラム命令と
を含む請求項１に記載のシステム。
【請求項９】
前記記憶媒体が、
前記結像サブシステム内に配置された粒子を分類するのに使用される１つの波長域で画像化された粒子が、前記粒子を分類するのに使用されたものと異なる波長域でさらに画像化されるかどうかを判定する、プロセッサによって実行可能なプログラム命令と、
前記粒子が前記異なる波長域で画像化されると判定される時に、さらなる評価に関して前記粒子を受け入れる、プロセッサによって実行可能なプログラム命令と、
前記粒子が前記異なる波長域で画像化されないと判定される時に、さらなる評価に関して前記粒子を拒絶する、プロセッサによって実行可能なプログラム命令と
をさらに含む請求項１に記載のシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−１０８９２７（Ｐ２０１２−１０８９２７Ａ）
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願番号】特願２０１２−１４８（Ｐ２０１２−１４８）
【出願日】平成２４年１月４日（２０１２．１．４）
【分割の表示】特願２００８−５３２３６２（Ｐ２００８−５３２３６２）の分割
【原出願日】平成１８年９月２１日（２００６．９．２１）
【出願人】（５００１７４５０２）ルミネックス コーポレーション (15)
【Ｆターム（参考）】
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願日】平成２４年１月４日（２０１２．１．４）
【分割の表示】特願２００８−５３２３６２（Ｐ２００８−５３２３６２）の分割
【原出願日】平成１８年９月２１日（２００６．９．２１）
【出願人】（５００１７４５０２）ルミネックス コーポレーション (15)
【Ｆターム（参考）】
[ Back to top ]