マイクロ流体装置用の画像処理方法およびシステム
マイクロ流体装置の画像を処理する方法である。この方法は、マイクロ流体装置の第１画像を受信する。第１画像は第１状態に関連している。さらに、この方法は、マイクロ流体装置の第２画像を受信する。第２画像は第２状態に関連している。さらに、この方法は、第１画像と第２画像を第３座標空間に変換する。さらに、この方法は、変換された第１画像と変換された第２画像に関連した情報に少なくとも基づいて第３画像を取得し、また、第１状態と第２状態に関連した情報を取得するべく第３画像を処理する。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は、米国仮特許出願第６０／４９０，７１２号（２００３年７月２８日出願）の優先権を主張し、この仮特許出願は本明細書中に参考として援用される。
【０００２】
さらに、タイトルが「Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｍｉｃｒｏｆｌｕｉｄｉｃ Ｄｅｖｉｃｅ ａｎｄ Ｉｍａｇｉｎｇ Ｔｈｅｒｅｏｆ」の米国特許第１０／８５１，７７７号（２００４年５月２０日出願）が本明細書中に参考として援用される。
【０００３】
（連邦政府による後援の研究または開発の下なされた発明を受ける権利に関する記載）
該当なし。
【０００４】
（コンパクトディスクに提出された「配列表」、表、またはコンピュータプログラムリストへの参照）
該当なし。
【０００５】
（著作権注意）
本願明細書の一部分は、Ｆｌｕｉｄｉｇｍ Ｃｏｒｐｏｒａｔｉｏｎが所用するコンピュータコードを含んでいる。全ての権利は、Ｆｌｕｉｄｉｇｍ Ｃｏｒｐｏｒａｔｉｏｎ（著作権）２００４の著作権保護の下で保護される。
【０００６】
（発明の背景）
本発明は、画像処理技術に関連する。より詳細には、本発明は、画像化した物体の変化を検出する画像処理方法およびシステムを提供する。本発明は、単純に例証の方法によって、マイクロ流体装置における結晶化に適用されている。しかし、本発明の適用範囲はこれよりも遥かに幅広いことが理解されるだろう。
【背景技術】
【０００７】
結晶化は、生物分野および化学分野にとって重要な技術である。詳細には、対象化合物の高品質結晶は、対象物の正確な３次元構造を生成するｘ線回折技術によって分析することができる。次に、この３次元構造情報を利用して、対象物の機能性と動作を推測することができる。
【０００８】
理論上、結晶化工程は単純である。純粋な形態の対象化合物が溶液中で溶解される。次に、溶解した対象材料の化学環境が、可溶解度が低下し、結晶形態の固体位相へ戻るよう変更される。一般に、化学環境におけるこの変更は、対象材料の溶解度を低下させる結晶化剤を導入することで達成されるが、温度および圧力における変化も対象材料の溶解性に影響を及ぼすことができる。
【０００９】
しかしながら実際には、高品質結晶の形成は概して困難で、時によっては不可能であり、研究者は相当な試行錯誤と忍耐を強いられる。詳細には、さらに単純な生物化合物の複雑性の高い構造とは、これらが高度に整列した結晶構造の形成には馴染まないことを意味する。したがって研究者は、高品質の結晶を得るために、多数の結晶化条件の経験において、また実際に結晶が得られるのであれば、サンプル濃縮、溶液タイプ、対溶液タイプ、温度、継続期間のようなパラメータの変更において忍耐強く几帳面でなければならない。
【００１０】
Ｈａｎｓｅｎ等は、２００２年１０月１７日付けで公告され、あちこちで開示されている汎用途および特定用途について、本願明細書中でその全体を参照により援用している国際特許出願公開第０２／０８２０４７号において、対象材料、例えば蛋白質の結晶化の条件をスクリーニングするための高スループットシステムを記述している。このシステムは、多層膜エラストマ製造工程によって一列の測定セルを形成したマイクロ流体装置にて提供される。各測定セルは、一つ以上の対の対向するチャンバを備えており、この対の各々は、相互接続流体チャネルを介して相互に流体連通しており、一方のチャンバは蛋白質溶液を内容し、これと対向する他方のチャンバは結晶化試薬を内容している。チャネルに沿って弁が配置されていることで、対向するチャンバの内容物を弁開放時まで各々の内部に保留することができ、これにより、相互接続マイクロ流体チャネルを介した対向するチャンバ間における自由な界面拡散が可能になる。自由界面拡散が進行するに従い、対向するチャンバが結晶化試薬および蛋白質濃縮に対して平衡に近づくにつれ、いずれかの時点で蛋白質が結晶を形成することが望まれる。好ましい実施形態では、Ｈａｎｓｅｎ等によって示唆されたマイクロ流体装置は、蛋白質結晶化実験を内部で実施するためのチャンバを含んだ測定セルの列を有する。このような列を使用することで、分析を要するたんぱく質結晶化のための数多い条件の高スループット検査が提供される。
【００１１】
本願明細書で開示している本発明は、特定の蛋白質結晶化条件の組が結晶の形成を生じるのか否かを決定するべく、このような分析を実施するシステムおよび方法を提供する。
【発明の開示】
【課題を解決するための手段】
【００１２】
（発明の概要）
本発明は、画像処理技術に関する。より詳細には、本発明は、画像化されたオブジェクトの変化を検出する画像処理方法およびシステムに関する。本発明は、単に例証の方法により、マイクロ流体装置内での結晶化に適用されている。しかし、本発明は遥かに幅広い使用範囲を有することが理解されるだろう。
【００１３】
本発明によれば、マイクロ流体装置用の画像処理方法およびシステムの多数の実施形態が提供される。マイクロ流体装置の画像を処理する方法は、単に例証の方法により、マイクロ流体装置の第１画像を受信する。この第１画像は第１状態に関連している。さらにこの方法は、マイクロ流体装置の第２画像を受信する。この第２画像は第２状態に関連している。さらに、この方法は第１画像を第３座標空間に変換する。この変換は、少なくとも第１画像上の第１基底を使用する。またこの方法は、第２画像を第３座標空間に変換する。この変換は、少なくとも第２画像上の第２基底を使用する。さらにこの方法は、変換された第１画像と変換されたに画像に関連した情報に少なくとも基づいて第３画像を取得し、第１状態と第２状態に関連した情報を取得するべく第３画像を処理する。一実施形態では、第３座標空間はマイクロ流体装置の既知の幾何学的配列に基づく。別の例では、第１画像を使用することに特定の利点はあるが、この方法は第１画像を使用しなくても適切に機能することができる。第２画像は第３座標空間に変換される。
【００１４】
本発明の別の実施形態によれば、マイクロ流体装置の画像を処理する旨の命令を含んだコンピュータ読取り可能な媒体は、マイクロ流体装置の第１画像を受信する旨の一つ以上の命令を備えている。この第１画像は第１状態に関連している。さらに、コンピュータ読取り可能な媒体は、マイクロ流体装置の第２画像を受信する旨の一つ以上の命令を含んでいる。第２画像は第２状態に関連している。さらに、コンピュータ読取り可能な媒体は、第１画像を第３座標空間に変換する旨の一つ以上の命令を含んでいる。この変換は、少なくとも第１画像上の第１基底を使用する。また、コンピュータ媒体は、第２画像を第３座標空間に変換する旨の一つ以上の命令も含んでいる。この変換は、少なくとも第２画像上の第２基底を使用する。これに加えて、コンピュータ読み取り媒体は、変換された第１画像と変換されたに画像に関連した少なくとも基づいて第３画像を取得する旨の一つ以上の命令と、第１状態と第２状態に関連した情報を取得する旨の第１画像を処理する旨の一つ以上の命令とを含んでいる。
【００１５】
従来技術にかけて本発明を用いることで多数の利点が達成される。実施形態によれば、これらの利点の一つ以上を達成できる。例えば、本発明による特定の実施形態は、画像化分析と結晶化検出の速度を改善する。本発明のいくつかの実施形態は、結晶化検出のための画像処理システムを単純化する。本発明の特定の実施形態は、画像処理方法およびシステムの感度を改善する。
【００１６】
本発明のさらに別の実施形態によれば、マイクロ流体装置の画像を処理する方法は、マイクロ流体装置の第１画像を受信する。第１画像は第１基底点と第１チャンバ領域を含んでおり、第１チャンバ領域は第１チャンバ境界線に関連している。さらに、この方法は、第１基底点に関連した第１情報に基づいて、第１画像を第１座標空間に変換し、第１チャンバ領域に関連した情報を処理し、第１チャンバ領域内に第１結晶が存在するか否かを決定する。
【００１７】
本発明のまたさらに別の実施形態によれば、マイクロ流体装置の複数の画像を処理する方法は、マイクロ流体装置の少なくとも第１画像と第２画像を受信する。第１画像と第２画像は第１焦点位置と第２焦点位置にそれぞれ関連しており、第１画像と第２画像の各々は第１チャンバ領域を含んでいる。さらに、この方法は、第１画像と第２画像に関連した情報を処理し、第１画像と第２画像に関連した情報に少なくとも基づいて第３画像を生成し、第３画像に関連した情報を処理し、また、第３画像に関連した情報に少なくとも基づいて、第１チャンバ領域内に第１結晶が存在するか否かを決定する。
【００１８】
本発明のまた別の実施形態によれば、マイクロ流体装置の画像を調整および処理する方法は、マイクロ流体装置の第１画像を受信する。第１画像は少なくとも第１の所定の特徴に関連している。さらに、この方法は、第１画像に関連した情報に少なくとも基づいて第１の複数の特徴を生成し、第１の複数の特徴と第１の所定の特徴とに関連した情報に少なくとも基づいて、第１の複数の特徴から第２の複数の特徴を選択する。さらに、この方法は、第２の複数の特徴に関連する情報に少なくとも基づいて第３の複数の特徴を決定し、第３の複数の特徴に関連した情報を処理する。またこの方法は、第３の複数の特徴と第１の複数のパラメータとに基づく情報に少なくとも基づいて、少なくとも第１の可能性を決定し、第１の可能性と第１の複数のパラメータとに関連した情報を処理し、第１の可能性と第１の所定の特徴に少なくとも関連した情報に少なくとも基づいて、第１の複数のパラメータを調整する。
【００１９】
本発明の別の実施形態によれば、コンピュータ読取り可能な媒体は、マイクロ流体装置の画像を処理する命令を含んでいる。コンピュータ読み取り媒体は、マイクロ流体装置の第１画像を受信する旨の一つ以上の命令を含んでいる。第１画像は第１基底点と第１チャンバ領域を含んでおり、この第１チャンバ領域は第１チャンバ境界線に関連している。さらに、コンピュータ読取り可能な媒体は、第１基底点に関連した情報に少なくとも基づいて、第１画像を第１座標空間に変換する旨の一つ以上の命令と、少なくとも第１チャンバ境界線の第１部分を第１画像から除去する旨の一つ以上の命令とを含んでいる。また、コンピュータ読取り可能な媒体は、第１チャンバ領域に関連した情報を処理する旨の一つ以上の命令と、第１チャンバ領域内に第１結晶が存在するか否かを決定する旨の一つ以上の命令とを含んでいる。
【００２０】
本発明のまた別の実施形態によれば、コンピュータ読取り可能な媒体は、マイクロ流体装置の複数の画像を処理する旨の命令を含んでいる。コンピュータ読取り可能な媒体は、マイクロ流体装置の少なくとも第１画像と第２画像を受信する旨の一つ以上の命令を含んでいる。この第１画像と第２画像は、第１焦点位置と第２焦点位置にそれぞれ関連しており、また、第１画像と第２画像の各々は第１チャンバ領域を含んでいる。さらに、コンピュータ読取り可能な媒体は、第１画像と第２画像に関連した情報を処理する旨の一つ以上の命令と、第１画像と第２画像に関連する情報に少なくとも基づいて、第３画像を生成する旨の一つ以上の命令とを含んでいる。さらに、コンピュータ読取り可能な媒体は、第３画像に関連した情報を処理する旨の一つ以上の命令と、第３画像に関連した情報に少なくとも基づいて、第１チャンバ領域内に第１結晶が存在するか否かを決定する旨の一つ以上の命令とを含む。
【００２１】
本発明のさらに別の実施形態によれば、コンピュータ読取り可能な媒体は、クラシファイア（ｃｌａｓｓｉｆｉｅｒ）を調整し、マイクロ流体装置の画像を処理する旨の命令を含んでいる。コンピュータ読取り可能な媒体は、マイクロ流体装置の第１画像を受信する旨の一つ以上の命令を含む。この第１画像は少なくとも第１の所定の特徴に関連している。さらに、コンピュータ読取り可能な媒体は、第１画像に関連した情報に少なくとも基づいて、第１の複数の特徴を生成する旨の一つ以上の命令と、少なくとも第１の複数の特徴と少なくとも第１の所定の特徴とに関連した情報に基づいて、第１の複数の特徴から第２の複数の特徴を選択する旨の一つ以上の命令とを含んでいる。さらに、コンピュータ読取り可能な媒体は、第２の複数の特徴に関連した情報に少なくとも基づいて、第３の複数の特徴を決定する旨の一つ以上の命令と、第３の複数の特徴に関連した情報を処理する一つ以上の命令とを含む。また、コンピュータ読取り可能な媒体は、第３の複数の特徴と第１の複数のパラメータとに少なくとも関連した情報に基づいて、少なくとも第１の可能性を決定する旨の一つ以上の命令と、第１の可能性と少なくとも第１の所定の特徴とに関連した情報を処理する一つ以上の命令と、第１の可能性と少なくとも第１の所定の特徴とに関連した情報に基づいて、第１の複数のパラメータを調整する旨の一つ以上の命令とを含んでいる。
【００２２】
考慮されている実施形態に基づいて、本発明のこれらの利点の一つ以上を達成することができる。本発明のこれらの利点および様々な追加的な目的、特徴、利点は、以降の詳細な記述と添付の図面とを参照することで十分に理解することができる。
【発明を実施するための最良の形態】
【００２３】
本発明は、画像処理技術に関連する。より詳細には、本発明は、画像化した物体の変化を検出する画像処理方法およびシステムを提供する。本発明は、単純に例証の方法によって、マイクロ流体装置における結晶化に適用されている。しかし、本発明の適用範囲はこれよりも遥かに幅広いことが理解されるだろう。
【００２４】
図１は、本発明の一実施形態による画像化システムの単純な線図である。図２ａ、図２ｂは、本発明の一実施形態によるマイクロ流体装置の平面図および断面図の単純な線図である。図２ａ、図２ｂに示すマイクロ流体装置は、図１に示した画像化システムと共に使用することができる。これらの線図は単純に例証であり、本願明細書中の特許請求の範囲を不当に制限するものではない。当業者は、多くの応用、代替、改良を認識するだろう。
【００２５】
一実施形態では、画像化システム（１０）は以下の方法で動作する。第１マイクロ流体装置（３０）はステージ（２０）上に安全に配置されている。マイクロ流体装置（３０）の固定された特徴、例えば、マイクロ流体装置（３０）の基部支持部の縁に基づいて、コンピュータ（１１０）がｘ、ｙドライブ（２５）に、マイクロ流体装置（３０）が第１ｘ、ｙ位置において第１の複数の基底点（３０）と整列するよう、ステージ（２０）を動き回らせ、この場合、基底点は、マイクロ流体装置内の、チャンバ中心点から既知のｚ寸法距離だけ離れた場所に組み込まれており、また、固定された特徴からの推測航法に基づいて画像化装置（６０）によって焦点される。次に、このシステムのユーザは、正確な座標を画像化システムに登録する。その後、２つまたはそれ以上の点も、ユーザの補助によって同様にマッピングされる。別の実施形態では、この工程は、左右対称なＸＹ規定オブジェクトを探し、任意の非対称的構成要素を排除することにより基底の図心を正確に計算できるため、自動的に行われる。次に、コンピュータ（１１０）の制御下にある画像化装置（６０）が焦点面（１０５）のｚ寸法位置を調整して、基底点（図１に示したものとは異なり、図２に示すもの）に焦点できるようにする。例えば、一度、第１基底点上に焦点すると、画像化システムは、画像化装置（６０）の視野内でさらなる基底点を探しながら、マイクロ流体装置（３０）の第１のｘ、ｙ座標画像を入手する。好ましい実施形態では、この視野は測定セル全体を包括することができる。その後、コンピュータがこの第１のｘ、ｙ座標画像を分析して、マイクロ流体装置がスキューおよびストレッチを有するか否かを判断し、スキューまたストレッチが決定されると、第１のｘ、ｙ画像を、マイクロ流体装置の画像および座標マップを理想的な座標マップと整列させるべく変換する。この理想的な座標マップは、後の、画像減算ステップおよび画像マスキングステップにおいて使用される。
【００２６】
好ましい実施形態では、本システムは、マイクロ流体装置ｘ、ｙ座標画像が理想的な座標マップに対して整列された状態で、ｘ、ｙ座標画像内の基底点の場所を理想的な穂損ざれている画像マップのｘ、ｙ座標画像内の基底点場所と比較することで、ストレッチ、歪み、または様々なマイクロ流体層間での共通登録の欠如がマイクロ流体装置内に存在するか否かを判断する。実際の基底場所と画像化された基底場所との間に違いがある場合には、測定セルの画像化された形状を理想的な測定セル形状の仮想形状に変換するべく、マトリックス変換、好ましい擬似変換を実行する。測定された実基底場所と保存されている理想的な基底場所の間の差分から計算されたマトリックス変換を使用することで、実画像を既知および固定された画像に変換することで、画像減算および他の画像分析が可能となる。例えば、図３は、理想的なマイクロ流体装置の保存された画像（実際には座標マップとして保存されている）と、実際の歪んだマイクロ流体装置（やはり、基底マッピングで決定された座標マップとして保存されている）とを示す。マトリックス分析を介して座標マップ間の差分を計算することにより、マトリックス変換を、実画像を、本願明細書中で記述しているさらなる画像処理に使用可能な理想画像に改良するべく展開することができる。画像化されたマイクロ流体装置を標準的形状と一致させることで、測定セルチャンバのビューイング可能範囲を最大化するよう、画像の減算およびマスキングを行うことが可能となる。さらに、一連の時間ベースの画像内の、ゼロ時間において、チャンバ内に不良品または屑が存在する場合には、このような不良品または屑を連続画像からマスクアウトすることで、自動結晶認識分析適用時の偽陽性を防止することができる。不良品または屑を含有したチャンバのマスキングオフ範囲に加えて、チャンバの壁を後続の画像から減じることで、やはり、結晶認識分析による偽読み取りを生じさせないようにすることができる。様々な層間の不一致、例えば制御層とチャネル層の間の不一致も、制御ライン自体のような、制御層内に見付かったオブジェクトの位置に基づいて計算することができる。別の例では、この修正は制御層基底自体に基づいて決定される。特定の実施形態の場合には、制御層が蛋白質チャンバをこれ以外の制御ラインから区画しているために、この特別な変換が重要となる。
【００２７】
図４ａ〜図４ｃは、上述の、結晶形成以前のゼロ時間における画像減算およびマスキングが発生する様子を示す。図４ａは、測定セルチャンバ周辺に散在した文字“Ｄ”で示す屑を有する測定セルを示す。上述した技術を使用することで、理想的な測定座標システムと整列させるべく必要に応じて測定セルを回転させた後、また、画像化された測定セル寸法を理想的な測定セル寸法と一致させるべく、測定セルがストレッチ補正され後に、理想的な画像内の異物がマスクアウトされなくなる、つまり、異物を含有し、異物を直接包囲している領域がマスキングされることで、結晶検出分析を偽トリガして、形成された異物を結晶と判断してしまうことが防止される。図４ｂは、マスクが画像から異物を除去した結果、画像分析に偽トリガを提供できなくなった画像を示す。図４ｃは、画像からチャンバ縁特徴を除去して、生画像を単に壁の無いチャンバの１つに縮小するべく、画像減算を適用する様子を示す。壁の内方への破裂が検出された場合、この最終画像からさらなるマスキングが生じる可能性があり、また、マイクロ流体装置が脱水し、チャンバ内容物がチャンバ外部へ浸出する際に通常生じる事象によって、チャンバ内に負圧が生じ、その結果、壁が崩壊または内方破裂を起こす可能性がある。このような内方破裂を生じさせるさらなるマスキングでは、このような既知の形状を使用することで、チャンバの内方破裂が生じた場合に一連の既知の形状を採用し、また、追加のマスクを作成することで、内方破裂した壁に現在侵入している画像からの遮断を行う。
【００２８】
図５は、本発明の一実施形態による画像処理方法の簡略線図である。この線図は、単に一例に過ぎず、本発明の特許請求の範囲を不当に制限するものであってはならない。当業者は、数多くの応用、代替、そして改良を理解するだろう。この方法は、基底を探す工程５１０、画像を変換する工程５２０、画像をマスキングする工程５３０、画像を比較する工程５４０、画像を検査する工程５５０を含む。上述を、選択された一連の工程を用いて示したが、多数の代替、改良、そして応用があってよい。例えば、いくつかの工程を拡張および／または組み合わせることができる。上述の工程に別の工程を挿入してもよい。実施形態によっては、特定の連続した工程を、これ以外の代替工程と相互交換することができる。画像を比較する工程５４０は、画像をマスキングする工程５３０の前、画像をマスキングする工程５３０の最中、および／または画像をマスキングする工程５３０の後に実行してもよい。本発明のさらなる詳細は、本明細書全体、そして特に以降の記述に見ることができる。
【００２９】
工程５１０では、点基底は一画像上に位置している。ホワイトバランシングまたは露出標準か、あるいはこれ以外の望ましい特徴のために、この画像を、事前に、標準化したスラブまたは顕微鏡下での無と共に取り込んだ基準画像に対して繰り込むことができる。点基底はクロスヘアを含んでいてよい。本発明の一実施形態では、画像は、Ｆｌｕｉｄｉｇｍロゴに加えて、測定セルを含んでいる。各々の測定セルは、測定セル周囲の既知の場所にクロスヘア基底を有する。画像取得の最中に、これらの基底の位置がＸ−Ｙ修正工程にかけて＋／−１００ミクロンの範囲内で決定される。この推測の正確性は、回転方位の確定中であっても達成できる。工程５１０の最中に、これらの推測された場所の周囲で数枚のサブ画像が抽出される。これらのサブ画像内では、クロスヘア基底が見付かり、その大域的位置が決定される。Ｔ０画像内の大域的位置が、後続の、例えばＴ１画像、Ｔ２画像、・・・、ＴＭ画像、・・・、またはＴＮ画像といった画像内の大域的位置と比較される。Ｎは正整数であり、Ｍは、Ｎよりも小さい、またはＮと等しい負整数である。Ｔ０画像はＴ０にて記録され；ＴＭ画像はＴＭにて捕獲される。例えば、Ｔ０では蛋白質の結晶化は生じていない。ＴＭでは、蛋白質の結晶化が生じた可能性がある。Ｔ０画像または後続のＴＭ画像から１つの基底が欠損している場合には、通常、この欠損した基底は後続の画像分析の最中には考慮されない。
【００３０】
図６は、本発明の位置実施形態による、画像を変換するための、簡略化された工程５２０である。この線図は単純に一例であり、本願明細書中の特許請求の範囲を不当に制限するものであってはならない。当業者は、多数の応用、代替、改良を理解するだろう。工程５２０は、基底を一致させるための工程６１０、変換を計算するための工程６２０、画像を変換するための工程６３０を含んでいる。上述を、選択された一連の工程を用いて示したが、多数の代替、改良、応用が可能である。例えば、いくつかの工程を拡張および／または組み合わせることができる。変換を計算する工程６２０、画像を変換する工程６３０を組み合わせることができる。上述した工程に別の工程を挿入することもできる。実施形態によっては、特定の連続した工程をこれ以外の代替工程と交換することができる。本発明のさらなる詳細は、本願明細書中全体、そして特に以降において見ることができる。
【００３１】
工程６１０では、画像中の基底が、理想的な座標マップ内の対応する基底と一致される。例えば、この画像はＴ０画像またはＴＭ画像である。一実施形態では、この画像はｘ‐ｙ座標画像であり、理想的座標マップはｘ‐ｙ座標マップである。この画像が理想的な座標マップに対して整列される。画像中の基底の場所が、理想的な座標マップ中の基底の場所と比較される。このような比較により、Ｔ０またはＴＭのような画像の捕獲時におけるマイクロ流体装置のストレッチを含む歪みが露呈する。
【００３２】
工程６２０では、或る画像から理想的な座標空間への空間的変換が計算される。理想的な座標空間は理想的な座標マップに関連する。一実施形態では、擬似変換のようなマトリックス変換が計算される。例えば、Ｔ０画像から理想的な座標空間まで、ＴＭ画像から理想的な座標空間まで、２つの最小二乗法変換が計算される。
【００３３】
工程６３０では、画像が理想的な座標空間に変更する。例えば、擬似変換のようなマトリックス変換が、画像内の測定セルの形状を理想的な形状に変更する。測定セルは、３枚またはそれ以上の枚数の拡散実験片に薄く切り分けることができる。一実施形態において、図３ａは簡略化された理想的な座標マップを示し、図３ｂは簡略化された歪み画像を示す。座標マップ中の基底場所と歪み画像中の対応する基底場所との差分を計算することで、歪み画像を理想的な画像に変換するべくマトリックス変換を実行することができる。
【００３４】
工程６３０では、Ｔ０画像と変換されたＴＭ画像とは同一の座標空間内に配置されているため、共通登録および相互比較が可能である。ＴＭ画像内における結晶化を検出するために、ＴＭ画像から変換されたＴ０画像を減算することができる。しかし、このような減算では、除去されるべきノイズ源を全て除去するものではない。
【００３５】
理論では、クロスヘア基底がウェルと同一層上に在るため、理想的な座標空間内のウェルの場所はわかっているが、実際には、各測定セルは一意である。通常、ウェル壁を含んだウェルの場所を推測航法測定することでは正確な情報は得られない。代わりに、通常、副矩形が各ウェルの場所周辺で抽出され、Ｔ０画像はウェル壁をロックするために使用される。例えば、４本の直線がウェルの４つの壁と合致する。さらに、通常、４本の垂直ラインを使用して、３つのチャネル区画のために、６つの壁のうち４つが決定される。
【００３６】
図７は、本発明の一実施形態による簡略化されたウェルとチャネルを示す。この線図は、単に一例であり、本願明細書中の特許請求の範囲を不当に制限するものであってはならない。当業者は、多数の応用、代替、および改良を理解するだろう。上述した４本の垂直ラインには、右チャネルの左壁、中央チャネルの右壁と左壁、左チャネルの右壁が含まれる。残りの２つの壁、例えば右チャネルの右壁と左チャネルの左壁は、総左右サブ画像の１次元水平信号の閾値の決定を介して見付かった汚染ラインによって仕切られている。１次元水平信号の分析は、ｘ次元にわたる小さいウィンドウを使用することで、中心チャネル内と、水平チャネルの頂壁と底壁に界面ラインを配置することもできる。整列エラーにより、水平チャネルを水平から傾斜させることができる。界面ライン、チャネルの頂壁と底壁は、後続の工程で使用される。
【００３７】
図８〜図１０は、サンプル１次元信号を示す簡略化された線図である。これらの線図は単に例証であり、本願明細書中の特許請求の範囲を不当に制限するものであってはならない。当業者は多数の応用、代替、改良を理解するだろう。特定の実施形態では、信号の強度が画像取得時のｚ場所に依存するため、チャネル壁は、図８〜図１０の信号内に示すほど明確でない。詳細には、図９は、界面ライン検出の簡略化された線図である。図１０は、フィルタリングおよび幅整合された信号の簡略化された線図である。いくつかの実施形態では、基底はチャネルと同一層上に在る。チャネル位置は、チャネル壁を探すことなく、擬似変換を介して見付けることができる。
【００３８】
工程５３０では、画像のマスキングが行われる。このマスキングにより、測定セルチャンバのビューイング可能範囲が増加する。Ｔ０画像中のチャンバ内に不良品または屑が存在する場合には、これらの不良品または屑をＴ０画像および後述のＴＭ画像からマスクアウトすることができる。不良品または屑を除去することで、自動結晶認識分析において偽陽性の数を低減することができる。
【００３９】
例えば、結晶認識分析に関係ない信号を含んだ領域をＴ０画像のマスクアウトするために、Ｔ０画像からスタンプまたはマスクが計算される。図１１は、本発明の一実施形態による画像マスキングの簡略化された線図である。Ｔ０画像とＴ１画像は、捕獲され、理想的な座標空間に変換される。各々の直線領域は４つの境界壁を含んでいる。Ｔ０画像内の、４つの境界壁を超えた領域は、後続の分析からマスクアウトされる。同様に、界面ラインもマスクアウトされる。さらに、かかる領域内に現れており、Ｔ０画像内の閾値を超える大型のＢｌｏｂブジェクトも、結晶化以前から存在していたと仮定されるため、同様にマスキングされる。図１１に示すように、ＢｌｏｂオブジェクトがＴ０画像とＴ１画像の両方の右チャネル内に現れているが、しかし、スクラブ処理された下方右画像内にはＢｌｏｂオブジェクトは存在していない。
【００４０】
セル、ビデオ、空間は、マイクロ流体装置内において変形可能であるため、そのサイズをＴ０からＴＭまで変更することができる。セル表面のこのような変形をモデリングし、これに従って、関連するＴＭについてマスクをモデリングする。例えば、図１１に示すように、左ウェル・サブコンポーネントと右ウェル・サブコンポーネントは、計算された各自の「内方破裂するパディング」値を有する。これは、Ｔ０とＴＭ間のウェル内の相当な圧力差によって壁がその元の位置から内方破裂を起こしてしまうため、必要である。
【００４１】
本発明の一実施形態によれば、内方破裂パディング工程は、Ｔ０画像中のウェル周辺の矩形を抽出し、Ｔ０画像から連続した矩形周辺の平均を計算し、このベクトルと指数の最小値を見付け、後続のＴ１画像、Ｔ２画像、・・・、ＴＭ画像、・・・、ＴＮ画像について、上述の抽出し、計算し、見付ける３工程を繰り返し、指数内の差分を計算する。この指数における差分は、オリジナルＴ０画像でのマスキング領域へのさらなるパディングを推測するために使用される。図１２は、内方破裂パディング工程を簡略化された線図である。上述し、さらにここで強調しているように、この線図は単に一例であるため、本願明細書中の特許請求の範囲を不当に制限するものであってはならない。当業者は、多数の応用、代替、改良を認識するだろう。
【００４２】
工程５４０では、画像が比較され、比較画像が生成される。例えば、ＴＭ画像からＴ０画像を減算することで比較画像が生じる。通常、スクラブ処理によってチャンバの壁を除去することができる。このような除去は、結晶認識分析における偽読み取りを低減させる。上述し、さらにここで強調しているように、画像を比較する工程５４０を、画像をマスキングする工程５３０の前、画像をマスキングする工程５３０の最中、および／または画像をマスキングする工程５３０の後に実行することができる。
【００４３】
一実施形態では、通常生じるであろう任意値の代わりに中央を１２８へと押すために、この比較画像が中央値再センタリングされる。この画像の強度は、チップ上の脱水状況に依存するため、参照画像に関連してでさえも変化することができる。工程５３０において生成されたマスクを比較画像に適用することで、マスクが画像に導入する粗い境界線を滑らかにする減衰フロントを作成する。画像画素がマスク画素に近づくに従い、より多くの画像画素が減衰される。この工程はスクラブ加工の一例である。マスク画素から各画像画素の距離を表す距離マップが、Ｔ０画像から別個に計算される。
【００４４】
図４ａ〜図４ｃは、画像の減算、マスキング、スクラブ処理の簡略化された線図である。これらの線図は単に例証であり、本願明細書中の特許請求の範囲を不当に制限するものであってはならない。当業者は多数の応用、代替、改良を理解するだろう。図４ａに示すように、測定セルは、測定セルチャンバ周囲に分布した、文字Ｄで示す屑を含んでいる。上述の工程によって、測定セルを回転させて理想の座標マップと整列させ、また、画像化した測定セル寸法が理想の測定セル寸法と一致するよう変換することができる。例えば、変換により、画像をストレッチ補正することができる。その後、理想の画像内に現れていない異物がマスクアウトされる。このマスキング処理により、異物を含み、これを直接包囲している領域から信号が除去される。この除去により、異物を結晶として認識してしまう偽識別を低減することができる。図４ｂは、異物を除去した画像の簡略化された線図である。図４ｃは、画像減算の簡略化された線図である。画像減算は、Ｔ０画像とＴＭ画像間の差分を計算することで、ＴＭ画像からチャンバ縁特徴を除去する。このＴＭ画像が、無壁チャンバを有する画像に変換される。
【００４５】
この変換された画像で壁内方破裂が検出された場合には、さらなるマスキングが必要となる可能性がある。通常、壁の内方破裂は、マイクロ流体装置の脱水中に、チャンバ内容物がチャンバ外部へ浸出している際に生じる。この浸出によって負圧が生じ、さらに壁の崩壊または内方破裂が生じる。このような内方破裂のためのさらなるマスキングは、チャンバの内方破裂を発生させる一連の既知の形状を採用し、また、このような既知の形状を使用することで追加のマスクを作成して、現在侵入中の内方破裂した壁を画像から遮断する。
【００４６】
本発明の一実施形態によれば、出力スクラブ処理した画像が、まずＴ０画像とＴＭ画像を相互に繰り込むことで計算される。この繰り込み工程により、チップへの環境変化によって生じた直流または背景信号を低減することができる。次に、単純な減算画像が１２８オフセットで計算される。その後、この減算画像が、スタンプ内の全ての画素場所を１２８でスタンプ処理することで「スクラブ処理」され、これによりその出力信号が削除される。さらに、画素場所が、そのｘ‐ｙ距離に基づいて、マスク内のスタンプ処理された画素へと徐々に減衰してゆく。これにより、マスク画素周囲において減算画像がスクラブ処理されることで、スタンプ処理した１２８値および実画像値からの滑らかな変換が確実に達成される。
【００４７】
工程５５０では、結晶について画像が検査される。例えば、最後にスクラブ処理された画像が、さらなる画像処理技術を画像上で実行する特徴抽出器を通って送信される。
【００４８】
これらの特徴の訓練および選択は、Ｍａｔｌａｂスクリプトを使用した半自動処理である。これら特徴の無作為な組み合わせが選択される。結晶の他の材料からの分離性を高めるために、より高い次元空間が、フィッシャー（Ｆｉｓｈｅｒ）／ライナー判別式分析を介してより低い次元性へマッピングされる。Ｋに最も近い近傍アルゴリズムを使用して、このより低い次元空間においてクラス付けが実施される。テスト下にあるインスタンスを除外することで、オリジナルの訓練セットについて混乱マトリックスが計算され、また、コストマトリックスを訓練マトリックスに適用することで訓練実行の「優良」性が評価される。最良の訓練実行を使用して近傍の数、偽陽性拒絶と偽陰性拒絶に使用される特徴および使用される２つの閾値が決定される。
【００４９】
本発明のさらに別の実施形態によれば、コンピュータ媒体は、マイクロ流体装置の画像を処理する命令を含んでいる。このコンピュータ媒体は、プロセッサに上述した本発明の処理を実行させるコンピュータコードを保存する。例証的なコンピュータコードは、Ｍａｔｌａｂまたは他のコンピュータ言語を使用でき、また、Ｐｅｎｔｉｕｍ（登録商標）ＰＣまたは他のコンピュータ上で実行することができる。このコンピュータコードは、本願明細書中の特許請求の範囲を制限することを意図したものではない。当業者は、これ以外の応用、改良、代替を理解するだろう。
【００５０】
例えば、このコンピュータ読み取り可能な媒体は、マイクロ流体装置のＴ０画像を受信する旨の一つ以上の命令を含んでいる。このＴ０画像が結晶化前に捕獲される。さらに、コンピュータ読み取り可能な媒体は、マイクロ流体装置のＴＭ画像を受信する旨の一つ以上の命令を含んでいる。ＴＭ画像はＴ０画像の後に捕獲される。コンピュータ読み取り可能な媒体はさらに、Ｔ０画像上の少なくとも１つの基底を使用して、Ｔ０画像を理想の座標空間に変換する旨の一つ以上の命令と、ＴＭ画像上の少なくとも１つの基底を使用して、ＴＭ画像を理想の座標空間に変換する旨の一つ以上の命令と、少なくとも変換されたＴ０画像と変換されたＴＭ画像に関連した情報に基づいて、比較画像を取得する旨の一つ以上の命令と、結晶化に関連した情報を取得するべく、この比較画像を処理する旨の一つ以上の命令とを含んでいる。
【００５１】
別例として、コンピュータコードは、基底の探索、画像の変換、画像のマスキング、画像の比較、画像の検査を実行することができる。さらに別の例として、コンピュータコードは、図１〜図１２に記述した処理のいくつかまたは全てを実行する。
【００５２】
上述し、さらにここで強調したように、コンピュータ読取り可能な媒体およびコンピュータコードの上述の例は単に例証でしかないため、本願明細書中の特許請求の範囲を不当に制限するものであってはならない。当業者は、多数の応用、代替、改良を理解するだろう。例えば、いくつかの工程はハードウェアによって達成することができ、また他の工程はソフトウェアによって達成することができる。工程によっては、ハードウェアとソフトウェアの組み合わせによって達成できるものもある。上述を、選択された一連の工程を用いて示したが、多数の代替、改良、応用が可能である。例えば、いくつかの工程を拡張および／または組み合わせることができる。実施形態によっては、特定の連続した工程を他の代替工程と相互交換することも可能である。
【００５３】
従来技術にかけて本発明を使用することで、多くの恩恵が得られる。実施形態によっては、一つ以上のこれらの恩恵が得られるものもある。例えば、本発明の特定の実施形態は、分析の画像化および結晶化検出の速度を改善する。本発明のいくつかの実施形態は、結晶化を検出するための画像処理システムを単純化する。本発明の特定の実施形態は、画像処理方法およびシステムの感度を改善する。
【００５４】
上述に記述し、さらにここで強調されるように、図１〜図１２は本発明の特定の実施形態を表しており、これらの実施形態は多くの例証を含んでいる。一例では、処理５１０にて、点基底は一画像上に位置している。この画像を、ホワイトバランシングまたは露出標準か、あるいはこれ以外の望ましい特徴のために、この画像を、事前に、標準化したスラブまたは顕微鏡下での無と共に取り込んだ基準画像に対して繰り込むことができる。この画像は、高解像度の８ビット繰り込み、または他の望ましい特徴であってよい。点基底はクロスヘアを含んでいてよい。本発明の一実施形態では、画像は、Ｆｌｕｉｄｉｇｍロゴに加えて測定セルを含んでいる。各測定セルは、測定セル周囲の既知の場所にクロスヘア基底を有する。画像取得の最中に、これら基底の位置が、Ｘ‐Ｙ修正工程にかけて、＋／−１００ミクロン以内で決定される。この推測の正確性は、回転方位付けの下であっても達成できる。工程５１０の最中に、これら推測された場所の周囲において、いくつかのサブ画像が抽出される。一実施形態では、工程５１０にてＴ０画像は分析され、別の例証では、工程５２０にてＴ０画像は分析されない。例えば、Ｔ０にてＴ０画像が捕獲される。Ｔ０にて、蛋白質の結晶化は発生しない。ＴＭにて、蛋白質の結晶化が発生した可能性がある。
【００５５】
工程５２０でＴ０画像が分析されると、Ｔ０画像内の大域的位置が、後続の画像、例えばＴ１画像、Ｔ２画像、・・・、ＴＭ画像、・・・、またはＴＮ画像内の大域的位置と比較される。Ｎが正整数であり、Ｍは、Ｎよりも小さいか、Ｎと等しい負整数である。ＴＭにてＴＭ画像が捕獲される。Ｔ０画像または後続のＴＭ画像において１つの基底が欠損している場合、この欠損した基底は、通常構造の画像分析の最中には考慮されない。
【００５６】
別の例では、工程５２０は、基底を整合する工程６１０、変換を計算する工程６２０、画像を変換する工程６３０を含んでいる。工程６１０では、画像内の基底が、理想の座標マップ内の対応する基底と整合される。例えば、画像はＴＭ画像である。一実施形態では、画像はｘ‐ｙ座標画像であり、理想の座標マップはｘ‐ｙ座標マップである。画像が理想の座標マップに対して整列される。画像内の基底の場所が、理想の座標マップ内の基底の場所と比較される。このような比較により、例えばＴＭのような画像捕獲時におけるマイクロ流体装置のストレッチを含む任意の歪みがわかる。一実施形態では、理想の座標マップは、画像システム１０および／またはマイクロ流体装置３０の特定の特徴を考慮する。これらの特徴には、例えば、理想の座標マップ生成時に既にわかっている、または予測されている不完全性が含まれる。
【００５７】
工程６２０では、画像から理想の座標空間への空間的変換が計算される。理想の座標空間は理想の座標マップに関連している。一例では、Ｔ０画像から理想の座標空間までの最小二乗変換が計算される。別の例では、Ｔ０画像から理想の座標空間までの最小二乗変換が計算される。
【００５８】
工程６３０では、画像が理想の座標空間へ変換される。例えば、Ｔ０画像の変換を行う。別の例では、Ｔ０画像は変換されない。一実施形態では、変換された画像が同一の座標空間内に配置されるため、これらは共通登録され、相互に比較可能となる。別の実施形態では、変換された画像は、マイクロ流体装置３０の少なくとも一部分を含んでいる。例えば、マイクロ流体装置３０はチャネル領域とウェル領域を有する。特定の実施形態では、チャネル領域とウェル領域は相互交換可能である。チャネルとウェルとは、マイクロ流体装置内の凹状領域を意味する。別の実施形態では、マイクロ流体装置は、チャネル領域をウェル領域として機能するべく使用する。さらに別の実施形態では、マイクロ流体装置は、流体チャネル、制御チャネル、ウェルとして使用可能なチャンバを含んでいる。
【００５９】
工程５３０では、画像がマスキングされる。例えば、スタンプマスクは、理想化された画像に関する所定の情報を使用して計算される。図１１に示すように、ＴＭ画像は捕獲され、理想の座標空間に変換される。各々の矩形領域は４つの結合ウェルを含んでいる。後続の分析では、ＴＭ画像内の４つの結合ウェルを超える領域がマスクアウトされる。同様に、界面ラインもマスクアウトされる。
【００６０】
別の実施形態において、図１３は簡略化された壁検出方法である。この線図は単に一例であるため、特許請求の範囲を不当に制限するものであってはならない。当業者は、多数の応用、代替、改良を理解するだろう。方法１３００は、画像を受信する工程１３１０、強度分析を実行する工程１３２０、強度を変換する工程１３３０、第１制御チャネルについて壁を検出する工程１３４０、第２制御チャネルについて壁を検出する工程１３５０を含んでいる。上述を、選択された一連の工程を用いて示したが、多くの代替、改良、応用が可能である。例えば、工程１３１０、１３２０を組み合わせる。別の例では、工程１３４０、１３５０を組み合わせている。上述の工程に別の工程を挿入することができる。実施形態によっては、特定の連続した工程を別の代替と相互交換することができる。これら工程のさらなる詳細は、本願明細書全体、そして以降において見ることができる。
【００６１】
図１４（ａ）、（ｂ）、（ｃ）は、本発明の一実施形態による壁検出の簡略化された線図である。これらの線図は単に例証であるため、本願明細書中の特許請求の範囲を不当に制限するものであってはならない。当業者は多数の応用、代替、改良を理解するだろう。
【００６２】
工程１３１０では、画像が受信される。例えば、画像はＴ０画像またはＴＭ画像である。図１４（ａ）に示すように、一実施形態では、画像１４４０は第１制御チャネルとしての界面ライン１４１０と、第２制御チャネルとしての汚染物ライン１４２０と、反応チャネル１４３０とを含んでいる。界面ライン１４１０は、壁１４１２、１４１４を含み、汚染物ライン１４２０は壁１４２２を含んでいる。反応チャネルは壁１４３２、１４３４を含んでいる。例えば、界面ライン１４１０と汚染物ライン１４２０は制御層内にある。別例では、反応チャネル１４３０は蛋白質結晶化に使用される。
【００６３】
工程１３２０では、強度分析が実施される。一実施形態では、図１４（ｂ）に示すように、画像１４００が強度に基づいて分析される。曲線１４４０は、反応チャネル１４３０の方向に沿った画像強度を表す。曲線１４４０は、少なくとも５つのピーク１４４２、１４４４、１４５２、１４５４、１４５６を含んでいる。ピーク１４４２、１４４４は、明るい領域に関連し、ピーク１４５２、１４５４、１４５６は暗い領域に関連している。ピーク１４４２、１４５２は壁１４１２に関連し、ピーク１４４、１４５４は壁１４１４に関連し、ピーク１４５６は壁１４２２に関連している。
【００６４】
工程１３３０にて、強度が変換される。一実施形態では、図１４（ｃ）に示すように、曲線１４４０は曲線１４６０に変換される。この変換により、ピーク１４４２と１４５２の間、ピーク１４４４と１４５４の間の極性の差分が排除される。さらに、この変換により平滑化工程が得られる。例えば、曲線１４４０の強度値が曲線１４４０の平均強度値に対して比較され、差分の絶対値が反応チャネル１４３０の方向に沿ってプロットされる。その結果、曲線１４６０は３つのピーク１４７２、１４７４、１４７６を含むようになる。ピーク１４７２はピーク１４４２、１４５２に関連し、ピーク１４７４はピーク１４４４、１４５４に関連し、ピーク１４７６はピーク１４５６に関連する。一実施形態では、平滑化工程により、ピーク１４４２、１４５２がシングルピーク１４７２に確実に変換される。本発明の別の実施形態では、この変換は、平滑化工程を設けることなく実施される。例えば、曲線１４４０は、ピーク１４４２、１４５２の代わりに、単極性を設けたシングルピークを有する。２つのピークを平滑化または融合する必要はない。
【００６５】
工程１３４０では、第１制御チャネルの壁が検出される。一実施形態では、図１４（ｃ）に示すように、ピーク１４７２、１４７４は、第１制御チャネル１４１０の壁１４１２、１４１４に関連している。ライン１４８８は、反応チャネルの方向に沿ったｘ軸と平行に描かれている。ライン１４８８は、４つの交差点１４８２、１４８４、１４８６、１４８８にて曲線１４６０と交差している。交差点１４８２と１４８４の平均ｘ値、交差点１４８６と１４８８の平均ｘ値が計算される。計算された界面ライン１４１０の幅が計算されると、２つの平均ｘ値の間の差分が決定される。計算された幅は、界面ライン１４１０の所定幅と比較される。ライン１４８８をｙ方向に沿って上下に移動させることで、計算された幅と所定幅の間の差分が、ライン１４８８の特定のｙ位置において最小化する。このｙ位置にて、交差点１４８２、１４８４の平均ｘ値が壁１４１２の位置として考慮され、また交差点１４８６、１４８８の平均ｘ値が壁１４１４の位置として考慮される。
【００６６】
工程１３５０にて、第２制御チャネルの壁が検出される。一実施形態では、界面ライン１４１０が見付かると、界面ライン１４１０と汚染物ライン１４２０の間の所定長さの反応チャネル１４３０を使用して、汚染物ライン１４２０の位置が計算される。この計算によって、壁１４２２のおおよその位置が得られる。その後、この壁１４１４、１４２２のおおよその位置が、微修正工程によってさらに調整される。この微修正工程は、壁１４１４と壁１４１６にとってのペナルティ関数を計算し、これらを組み合わせたペナルティ関数を壁位置の関数として決定する。一実施形態では、組み合わされたペナルティ関数は曲線１４６０の信号強度を考慮する。別例では、組み合わされたペナルティ関数は、微修正された壁位置と微修正していないおおよその壁位置との間の距離を考慮する。さらに別の例では、組み合わせたペナルティ関数を最小化することで、壁１４１４と壁１４２２の位置が決定される。また別の例では、組み合わせたペナルティ関数を平滑化することで、壁１４１４と壁１４２２の位置が決定される。
【００６７】
上述し、さらにここでも強調するように、図１３は単に一例であるため、特許請求の範囲を不当に制限するものであってはならない。当業者は多数の応用、代替、改良を理解するだろう。例えば、図１４（ａ）に示す反応チャネル１４３０の壁１４３２、１４３４は、壁１４１２、１４１４、１４２２と類似の方法で見付けられる。２つの壁１４３２、１４３４の間の距離は事前に決定されている。反応チャネル１４３０の複数の範囲が、壁１４３２、１４３４の複合推測場所を生成するべくサンプリングされる。別例では、基底点がチャネル層上で検出および登録され、これにより、壁１４３２、１４３４が決定する。さらに別の例では、壁１４３２、１４３４、１４１４、１４２２の場所は、少なくとも、マイクロ流体装置３０上のバーコードから得た情報に基づいて決定することができる。また別の例では、図１４（ａ）に示すように、４つの境界壁１４３２、１４３４、１４１４、１４２２を超える領域を、後続の分析でマスクアウトすることができる。
【００６８】
さらに、マイクロ流体システム３０に様々な基底点を含めることができる。一実施形態では、基底点は可変層に凹状領域を備えている。この凹状領域が、可変層または他の層によって包囲された容積または開口領域となる。この容積または開口領域は、空気または他の非反応性流体を含む気体のような流体で充填されることが好ましい。この流体はさらに、包囲している可変層に関連した光の実質的に異なる屈折指数を有する。開口領域は、空気または空気タイプの混合物で充填され、屈折指数が低いことが好ましい。同様に、制御層の基底点も、特定の実施形態の特徴と同様の特徴を有する。別の実施形態では、基底点は、点をその周囲から目立たせるための鋭い縁を有する。さらに別の実施形態では、基底点は、マイクロ流体装置３０に関連した任意の物理的特徴であってよい。例えば、基底点はマイクロ流体装置３０のチャネル壁または縁を含む。
【００６９】
工程５４０では、比較画像を生成するべく画像が比較される。例えば、ＴＭ画像からＴ０画像を減算することで比較画像が生じる。別例では、ＴＭ２画像からＴＭ１画像を減算することで比較画像が生じる。Ｍ１、Ｍ２の各々は、Ｎよりも小さい、またはＮと等しい正整数である。例えば、Ｍ１はＭ２よりも小さい。このような除去によって、結晶認識分析における偽読み取りを低減することができる。別例では、工程５３０にて生成されたマスクを比較画像に適用することで、マスクが画像に導入する粗い境界線を滑らかにする減衰フロントを作成する。画像画素がマスク画素に近づくに従い、より多くの画像画素が減衰される。さらに別の例では、マスクは、内方破裂パディング工程によって壁内方破裂を考慮する。上述し、ここでもさらに強調するように、いくつかの例では工程５４０を省略することができる。
【００７０】
図１５は、本発明の一実施形態による内方パディングのための簡略化された方法である。この線図は単に一例であり、特許請求の範囲を不当に制限するものであってはならない。当業者は多数の応用、代替、改良を理解するだろう。この方法４５００は、画像エリアを選択する工程４５１０、中央値強度を決定する工程４５２０、画像エリア追加の必要性を決定する工程４５３０、最小強度を決定する工程４５４０、内方破裂パディングを決定する工程４５５０を含んでいる。上述を、選択された一連の工程を用いて示したが、多数の代替、改良、応用が可能である。例えば、いくつかの工程を組み合わせる、または拡張できる。上述した工程に別の工程を挿入してもよい。実施形態によっては、特定の連続した工程をこれ以外の代替工程と交換することができる。これら工程のさらなる詳細を、本願明細書全体、そして特に以降の説明に見ることができる。
【００７１】
工程４５１０では、Ｔ０画像またはＴＭ画像から１つの画像エリアが選択される。例えば、この選択された画像エリアは矩形境界線に関連している。図１６は、本発明の一実施形態による壁内方破裂のための簡略化された線図である。この線図は単に一例であり、特許請求の範囲を不当に制限するものであってはならない。当業者は多数の応用、代替、改良を理解するだろう。矩形４６１０の外辺に沿った１つの画像エリアが１つの画像から選択される。矩形４６１０に指数が割り当てられる。
【００７２】
工程４５２０では、中央値強度が決定される。図１６に示すように、画像エリアの中央値強度が計算される。中央値強度は矩形４６１０に関する指数に関連しており、矩形４６１０の外辺に沿った生画素強度に基づいて決定される。工程４５３０では、追加の画像エリアを選択すべきか否かが決定される。追加の画像エリアの選択が必要である場合には、工程４５１０が実行される。追加の画像エリアの選択が不要である場合には、工程４５４０が実行される。一実施形態では、ネストした一連の矩形について工程４５２０、４５３０が繰り返され、曲線４６２０に示すように、矩形指数が決定した中央値強度にプロットされる。
【００７３】
工程４５４０では、最小中央値強度が決定される。図１６に示すように、中央値強度は指数の関数であり、曲線４６２０としてプロットできる。約１０と等しい指数にて、中央値強度がほぼ最小に達する。この最小中央値強度に関連した矩形は、反応チャンバの壁に関連しており、内方破裂の範囲を決定するために使用される。別の実施形態では、この画像エリアについて、最小中央値強度の代わりに最小平均強度が決定される。
【００７４】
工程４５５０では、内方破裂パディングが決定される。図１７は、本発明の一実施形態による別な時の壁内方破裂の簡略化された線図である。この線図は単に一例であり、特許請求の範囲を不当に制限するものであってはならない。当業者は多数の応用、代替、改良を理解するだろう。図１７は、図１６の画像分析以降に１つの画像に実行される工程４５１０、４５２０、４５３０、４５４０を示す。例えば、図１６はＴ０画像またはＴＭ１画像に関連している。図１７はＴＭ２画像に関連しており、Ｍ２はＭ１よりも大きい。図１７では、最小中央値強度に関連した指数は１０から約２９へとシフトされる。この指数値の変化が壁の内方破裂を示す。２つの指数値に関連した矩形の場所に基づいて、図１７の画像に適用される追加の内方破裂パディングが決定される。マスクは壁の内方破裂を被覆するよう設計することができる。
【００７５】
工程５５０では、結晶について画像が検査される。例えば、図１８は画像検査の簡略化された方法である。この線図は単に一例であり、特許請求の範囲を不当に制限するものであってはならない。当業者は多数の応用、代替、改良を理解するだろう。この方法１５００は、クラシファイアを訓練する工程１５１０、画像をクラス付けする工程１５２０を含んでいる。上述を、選択された連続する工程を用いて示したが、多数の代替、改良、応用が可能である。例えば、いくつかの工程は組み合わせおよび拡張される。上述の工程に別の工程を挿入することもできる。実施形態によっては、特定の連続した工程を、これ以外の代替工程と相互交換することができる。例えば、工程１５１０が省略される。別の実施形態では、複数の画像について工程１５１０が繰り返される。これらの工程のさらなる詳細は、本願明細書全体、そして特に以降において見ることができる。
【００７６】
工程１５１０では、クラシファイアが訓練される。図１９は、本発明の一実施形態による簡略化された訓練方法である。この線図は単に一例であり、特許明細書の範囲を不当に制限するものであってはならない。当業者は多数の応用、代替、改良を理解するだろう。工程１５１０は、特徴を生成する工程１６１０、特徴を選択する工程１６２０、特徴を投影する工程１６３０、クラシファイアを調整する工程１６４０を含んでいる。上述を、選択された連続した工程を用いて示したが、多数の代替、改良、応用が可能である。例えば、いくつかの工程を組み合わせる、または拡張することができる。上述の工程に別の工程を挿入することもできる。実施形態によっては、特定の連続した工程を、これ以外の代替工程と相互交換することができる。これらの工程のさらなる詳細は、本願明細書全体、そして特に以降において見ることができる。
【００７７】
工程１６１０では、多数の特徴が生成される。一実施形態では、画像全体において特徴が計算される。別の実施形態では、画像は重なり合うタイルまたは空間コンポーネントに分割され、各画像タイルまたは空間コンポーネント上で特徴が計算される。これらの特徴は、画像のクラス付けに有用な画像の特定の特徴を表す。例えば、画像を結晶タイプ、位相／沈殿タイプ、透明タイプにクラス付けできる。
【００７８】
一実施形態では、画像のいくつかの特徴が事前決定される。この事前決定は、画像を手動および／または自動的に検査することで達成される。特徴は、画像が関連している結晶クラス、位相／沈殿クラス、透明クラスの各々によって表される。所定の特徴は、正確性を評価するため、クラシファイアの様々な設定を調整するために使用できる。
【００７９】
一実施形態では、これらの特徴は以下のうちいくつかまたは全てを含んでいる：
粗い画像の統計：大域的画像特徴；
円形カウント画像統計：種類の異なる円形および楕円形をカウントする；
閾値スライド特徴：十分な大きさのオブジェクトを区画化する閾値；
最大オブジェクト特徴：最大Ｂｌｏｂまたは画像中に見付かったオブジェクトの特徴；
離散フーリエ変換特徴：周波数分析特徴；
フォーム分析特徴：形状分析特徴；
Ｘ軸対称特徴：Ｘ軸周囲の対称を表す特徴；
Ｃａｎｎｙ画像サイン・フォリッピング特徴：Ｃａｎｎｙエッジ検出器を使用してサインのフリッピングを表す；
Ｈｏｕｇｈ変換特徴：直線を検出するために、Ｈｏｕｇｈ変換方法を用いて計算された特徴；
近傍ライン検出器特徴：直線パターンを検出する局所近傍において計算される特徴。
【００８０】
上述した特徴のリストは単に一例であり、特許請求の範囲を不当に制限するものであってはならない。当業者は多数の応用、代替、改良を理解するだろう。一実施形態では、近傍ライン検出器特徴について、Ｎ×Ｎ画素平方近傍が画像内の各画素周囲で中心決めされ、Ｎの固定値に考慮される。例えば、Ｎは９と等しい。近傍における各画素の勾配が計算される。近傍内における画素の全ての勾配に基づいて、近傍内の直線パターンを表す優勢方位角度が決定される。さらに、優勢な方位と整列した近傍内の画素数に基づいて、直線パターンの強度が決定される。多数の画素が１本の直線を形成しており、これらの画素にて中心決めされている各近傍が強力かつ同様に方位付けされた直線パターンを有する場合には、このような画素数と、方位の強度および類似性とを、クラス付けの特徴として使用することができる。
【００８１】
工程１６２０では、生成された複数の特徴から特定の特徴が選択される。例えば、反復的に特徴の追加・除去を行う自動方法を使用して特徴のサブセットが選択され、クラス付けの正確性が改善または最適化される。一実施形態では、クラスの各々の対について特徴選択工程が繰り返され、クラスの各々の対どうしの間を区別する正確性が改善される。この正確性は、クラシファイアからの結果と画像の所定の特徴との間で決定できる。例えば、画像は、結晶、位相／沈殿、透明を含む３つのクラスに関連している。別例では、クラスの各々の対について、工程１６１０で得られた全ての特徴から特定の特徴が選択される。この選択では、対どうしの間のフィッシャー判別式を計算し、偽陰性速度と偽陽性速度の間のプロットである受信機動作特徴（ＲＯＣ）曲線エリアを使用してそのクラス付けの正確性を評価する。３対のクラスについて、選択された特徴の３つのグループが決定される。各グループは１対のクラスに関連しており、別のグループと異なる、または同じであってよい。さらに、工程１６１０で得た近傍ライン検出器特徴のみについて、特徴選択工程が実行される。例えば、この選択は３対のクラスのうち２対に関連しており、２グループの選択された近傍ライン検出器特徴が決定される。さらに別の実施形態では、特徴選択工程にサブクラスの対を使用するために、クラスタリングアルゴリズムを用いて３つのクラスを副分割することができる。
【００８２】
工程１６３０では、選択された特徴が投影される。一実施形態では、選択された特徴の全てがより低い次元特徴空間上へ投影される。例えば、１３０個のオリジナル特徴から、５グループの特徴が選択される。上述で述べたように、３対のクラスについて、全ての特徴から３グループの特徴が選択され、また、２対のクラスについて、近傍ライン検出器特徴のみから２グループの特徴が選択される。これらの５グループの選択された特徴を使用して、５つのフィッシャー特徴を計算する。寸法の数は１３０から５へと減少される。
【００８３】
工程１６４０では、クラシファイアが調整される。一実施形態では、フィッシャー特徴がフィードフォワード・ニューラル・ネットワークに入力される。このネットワークは、バックプロパゲーション・アルゴリズムのようなニューラル・ネットワーク訓練アルゴリズムを使用して訓練される。ニューラル・ネットワークは複数の出力を有することができ、この出力の各々が、画像または画像タイルが結晶、位相／沈殿、透明のようなクラスのうちの１つに含まれている可能性を示している。画像が画像タイルに分割される場合には、空間融合アルゴリズムを使用して、異なる画像タイルへのニューラル・ネットワーク出力が１つの出力に組み合わされる。ニューラル・ネットワークからの出力と画像の所定の特徴との間の比較に基づいて、ニューラル・ネットワークの調整が行われる。例えば、ニューラル・ネットワークの重量および／または付勢が変更される。
【００８４】
工程１５２０では、画像のクラス付けが行われる。図２０は、本発明の一実施形態によるクラス付けを行うための簡略化された方法である。この線図は単に一例であり、特許請求の範囲を不当に制限するものであってはならない。当業者は多数の応用、代替、改良を理解するだろう。工程１５２０は、特徴を生成する工程１７１０、特徴を投影する工程１７２０、画像クラスを決定する工程１７３０を含んでいる。上述を、選択された連続した工程を用いて示したが、多数の代替、改良、応用が可能である。上述の工程に別の工程を挿入することができる。実施形態によっては、特定の連続した工程をこれ以外の代替工程と交換することができる。本発明のさらなる詳細は、本願明細書中全体、そして特に以降において見ることができる。
【００８５】
工程１７１０では、多数の特徴が生成される。これらの特徴には、工程１６２０で選択された全ての特徴が含まれる。一実施形態では、これらの特徴は画像全体上で計算される。別の実施形態では、画像が、重なり合うタイルまたは空間コンポーネントに分割され、これらの特徴が各々の画像タイルまたは空間コンポーネント上で計算される。さらに別の実施形態では、工程１７１０へ進む以前に、画像上にスクラブ操作およびリッピング操作が実行される。
【００８６】
工程１７２０では、選択された特徴が投影される。一実施形態では、工程１６２０にて選択された全ての特徴がより低い寸法特徴空間上に投影される。例えば、工程１６２０では、１３０個のオリジナルの特徴から５グループの特徴が選択される。これらの選択された特徴は、工程１７１０にて計算され、５つのフィッシャー特徴を計算するために使用される。
【００８７】
工程１７３０では、画像クラスが決定される。一実施形態では、フィッシャー特徴がフィードフォワード・ニューラル・ネットワークに入力される。ニューラル・ネットワークは複数の出力を有することができ、各々の出力は、画像または画像タイルが、結晶、位相／沈殿、透明のクラスのうちの１つに含まれている可能性を示す。画像が画像タイトルに分割される場合には、空間融合アルゴリズムを使用して、異なる画像タイルへのニューラル・ネットワーク出力が１つの出力に組み合わされる。別の実施形態では、結晶の可能性が閾値と比較される。結晶の可能性が閾値を超える場合には、画像は結晶画像とクラス付けされる。例えば、閾値は５０％である。
【００８８】
上述し、さらにここで強調するように、図１〜図１７は本発明の特徴の実施形態を示しており、これらの実施形態には多くの例が含まれている。例えば、工程５１０、５２０、５３０、５４０、５５０のいくつかまたは全てに関連しているＴ０画像および／またはＴＭ画像を、画像化システム１０によって直接取得できる、または、画像化システム１０によって取得した複数の画像から生成できる。本発明の一実施形態では、画像化システム１０は、複数のｚ焦点位置の各々において、マイクロ流体システム３０のいくつかのエリアにつき複数の画像を捕獲する。異なるｚ平面における複数の画像が、Ｔ０画像またはＴＭ画像を用いて１つの画像に組み合わされる。
【００８９】
図２１は、本発明の一実施形態による、画像を合成する簡略化された方法である。この線図は単に一例であり、特許請求の範囲を不当に制限するものであってはならない。当業者は多数の応用、代替、改造を理解するだろう。この方法１８００は、画像特徴を決定する工程１８１０、統計分析を実行する工程１８２０、合成画像を生成する工程１８３０を含んでいる。上述を、選択された連続する工程を用いて示したが、多数の代替、改良、応用が可能である、例えば、いくつかの工程は組み合わせまたは拡張される。上述の工程に別の工程を挿入することもできる。実施形態によっては、特定の連続した工程を、これ以外の代替工程と相互交換することができる。これら工程のさらなる詳細は、本願明細書全体にかけて、特に以降において見ることができる。
【００９０】
工程１８１０では、複数の画像について特定の画像特徴が決定される。一実施形態では、各画像の各々の画素について、鮮明さと色が決定される。例えば、鮮明さはラプラス演算子によって決定され、色はＨＳＶカラーモードの飽和によって決定される。工程１８２０では、統計分析が実行される。一実施形態では、鮮明さの手段、および色の手段のような統計が、全ての画像に決定される。
【００９１】
工程１８３０では、合成画像が生成される。例えば、
【００９２】
【数１】
ここで、Ｎは複数の画像についての画像の数である。合成画像（ｘ、ｙ）は、画素（ｘ、ｙ）にて合成された画像の強度であり、画像ｍ（ｘ、ｙ）は画素（ｘ、ｙ）における画像ｍの強度である。例えば、画像強度は、赤色強度、緑色強度、青色強度を含む３つの構成要素を有する。所与の色に関連した組み合わされた画像の強度は、同色に関連した画像ｍの強度に依存する。重量Ｗｔｍは、画像ｍの画素（ｘ、ｙ）における鮮明さと色に基づいて決定される。例えば、
【００９３】
【数２】
ここで、ラプラスｍ（ｘ、ｙ）と飽和ｍ（ｘ、ｙ）は、画像ｍ上の画素（ｘ、ｙ）のラプラス演算子と飽和の各々の値である。平均ラプラスは、複数の画像全ての全画素についてのラプラス値の平均であり、平均飽和は、複数の画像全ての全画素についての飽和値の平均である。
【００９４】
画像を合成する方法には様々な用途がある。例えば、特定のマイクロ流体装置では、反応チャネルまたは蛋白質ウェルのような反応チャンバの深度が大きい。結晶は、反応チャンバ内のいずれかの場所に配置できる。図２２は、本発明の位置実施形態による深いチャンバのための単純化された線図である。この線図は単に一例であり、特許請求の範囲を不当に制限するものであってはならない。当業者は多数の応用、代替、改良を理解するだろう。蛋白質ウェル１９００は約３００ミクロンの深度を有する。一例では、１０Ｘ対物レンズの焦点深度は３００ミクロン未満であり、単一のｚ面画像捕獲は全ての結晶１９１０、１９２０、１９３０を捕獲することはできない。画像化システムが蛋白質ウェルの中央に焦点すると、この画像は結晶１９２０のみを捕獲する。
【００９５】
図２３は、本発明の一実施形態による複数の画像を捕獲する簡略化された線図である。この線図は単に一例であり、特許請求の範囲を不当に制限するものであってはならない。当業者は多数の応用、代替、改良を理解するだろう。一例では、３枚の画像が取得される。画像＃１は結晶１９１０を捕獲し、画像＃２は結晶１９２０を捕獲し、画像＃３は結晶１９３０を捕獲する。この画像の枚数は、画像化システムの対物レンズおよびアパーチャ設定に従って異なる。アパーチャがより小さいほど、被写界深度がより大きくなり、さらに必要な画像枚数も少なくなる。例えば、ステップサイズが７０ミクロンの５枚の画像を、１０Ｘ対物レンズと共に使用できる。捕獲された複数の画像は、方法１８００に従って組み合わせられる。
【００９６】
一実施形態では、３枚の画像の各々は、所与の（ｘ、ｙ）の場所毎に３つの構成要素を有する。この３つの構成要素は、赤色強度、緑色強度、青色強度を含んでいる。同様に、合成画像も、所与（ｘ、ｙ）の場所毎に同じ３つの構成要素を有する。例えば、画素場所（１０、１０）において、画像１（１０、１０）＝（２００、１００、５０）、画像２（１０、１０）＝（１００、２００、１５０）、画像３（１０、１０）＝５０、５０、５０）である。これに関連する重量はｗｔ１（１０、１０）＝０．１、ｗｔ２（１０、１０）＝１０、ｗｔ３（１０、１０）＝０．２である。式１によれば、合成画像（１０、１０）は以下のとおりである。
【００９７】
【数３】
ここで、合成画像は、１０と等しいｘ、１０と等しいｙにおいて、１００の赤色強度、１９６．１２の緑色強度、１４７．０９の青色強度を有する。上述し、ここでさらに強調するように、式３は単に一例であり、特許請求の範囲を不当に制限するものであってはならない。当業者は多数の応用、代替、改良を理解するだろう。
【００９８】
本発明の例は、上述した発明的工程の全てまたは特定をプロセッサに実行させるコードを含んでいる。このコンピュータコードは、Ｃ＋＋言語または他のコンピュータ言語を使用して実現される。このコンピュータコードは、本願明細書中の特許請求の範囲を制限することを意図したものではない。当業者は、これ以外の応用、改良、代替を理解するだろう。
【００９９】
本発明の一実施形態によれば、コンピュータ読取り可能な媒体は、マイクロ留置ａ装置の１画像を処理する旨の命令を含んでいる。コンピュータ読み取り媒体は、マイクロ流体画像の第１画像を受信する旨の一つ以上の命令を含んでいる。第１画像は、第１基底点と第１チャンバ領域を含んでおり、第１チャンバ領域は第１チャンバ境界線に関連している。これに加え、コンピュータ読取り可能な媒体は、第１基底点に関連した情報に少なくとも基づいて、第１画像を第１座標空間に変換する旨の一つ以上の命令と、第１画像から第１チャンバ境界線の少なくとも第１部分を除去する旨の一つ以上の命令とを含んでいる。さらに、コンピュータ読取り可能な媒体は、第１チャンバ領域に関連した情報を処理する旨の一つ以上の命令と、第１チャンバ領域内に第１結晶が存在するか否かを決定する旨の一つ以上の命令とを含んでいる。
【０１００】
本発明の別の実施形態によれば、コンピュータ読取り可能な媒体は、マイクロ流体装置の複数の画像を処理する旨の命令を含んでいる。このコンピュータ読み取り媒体は、マイクロ流体装置の少なくとも第１画像と第２画像を受信する旨の、一つ以上の命令を含んでいる。第１画像と第２画像は、第１焦点位置と第２焦点位置をそれぞれ設けており、第１画像と第２画像の各々は第１チャンバ領域を含んでいる。さらに、コンピュータ読取り可能な媒体は、第１画像と第２画像に関連した情報を処理する旨の、一つ以上の命令と、第１画像と第２画像に関連した情報に少なくとも基づき第３画像を生成する旨の、一つ以上の命令とを含んでいる。さらに、コンピュータ読取り可能な媒体は、第３画像に関連した情報を処理する旨の一つ以上の命令と、第１チャンバ領域内に第１結晶が存在するか否かを、第３画像に関連した情報に少なくとも基づき決定する旨の一つ以上の命令とを含んでいる。
【０１０１】
本発明のさらに別の実施形態によれば、コンピュータ読取り可能な媒体は、クラシファイアを調整し、マイクロ流体装置の画像を処理する旨の命令を含んでいる。コンピュータ読取り可能な媒体は、マイクロ流体装置の第１画像を受信する旨の一つ以上の命令を含んでいる。第１画像は、少なくとも第１の所定の特徴に関連している。さらに、コンピュータ読取り可能な媒体は、第１画像に関連した情報に少なくとも基づき第１の複数の特徴を生成する旨の一つ以上の命令と、第１の複数の特徴から第２の複数の特徴を、第１の複数の特徴と少なくとも第１の所定の特徴とに関連した情報に少なくとも基づいて選択する旨の一つ以上の命令とを含む。さらに、コンピュータ読取り可能な媒体は、第３の複数の特徴を、第２の複数の特徴に関連した情報に少なくとも基づき決定する旨の一つ以上の命令と、第３の複数の特徴に関連した情報を処理する旨の一つ以上の命令とを含む。また、コンピュータ読取り可能な媒体は、情報に少なくとも基づいた少なくとも第１の可能性を、第３の複数の特徴および第１の複数のパラメータに基づいて決定する旨の一つ以上の命令と、第１の可能性および少なくとも第１の所定の特徴に関連した情報を処理する旨の一つ以上の命令と、第１の可能性および少なくとも第１の所定の特徴に関連した情報に少なくとも基づき、第１の複数のパラメータを調整する旨の一つ以上の命令とを含んでいる。
【０１０２】
さらに別の実施形態では、工程１３５０にて、第２制御チャネルの壁が検出される。一実施形態では、界面ライン１４１０が見付かると、界面ライン１４１０と汚染物ライン１４２０の間の所定長さの反応チャネル１４３０を使用して、汚染物ライン１４２０の位置が計算される。この計算により、この壁１４２２のおおよその場所が得られる。その後、壁１４１４、１４２２のおおよその場所が、微修正工程によってさらに調整される。微修正のための例証的なコンピュータコードを以下に示す。
【０１０３】
【表１】
【０１０４】
【表２】
【０１０５】
【表３】
【０１０６】
【表４】
【０１０７】
【表５】
【０１０８】
【表６】
【０１０９】
【表７】
【０１１０】
【表８】
上述し、ここでされに強調するように、上述のコンピュータ読み取り媒体およびコンピュータコードの例は単に例証であり、本願明細書中の特許請求の範囲を不当に制限するものであってはならない。当業者は多数の応用、代替、改良を理解するだろう。例えば、いくつかの工程はハードウェアによって達成でき、他の工程はソフトウェアによって達成できる。いくつかの工程は、ハードウェアとソフトウェアの組み合わせによって達成できる。上述を、選択された連続した工程を用いて説明したが、多数の代替、改良、応用が可能である。例えば、いくつかの工程は拡張および／または組み合わせることができる。実施形態によっては、特定の連続した工程を、これ以外の代替工程と相互交換することができる。
【０１１１】
付録Ａと付録Ｂは、本特許明細書の一部分として添付されている。これらの付録はいくつかの例を提供しているが、これらは本願明細書中の特許請求の範囲を不当に制限するものであってはならない。当業者は多数の応用、代替、改良を理解するだろう。
【０１１２】
ここに記載した例および実施形態は例証のみを目的としたものであり、これを考慮した様々な改良または変更が当業者に提案され、またこれらは本願明細書および付属の特許請求の範囲の精神および範囲内に包括されるものである。
【０１１３】
【表９】
【０１１４】
【表１０】
【０１１５】
【表１１】
【０１１６】
【表１２】
【０１１７】
【表１３】
【０１１８】
【表１４】
【０１１９】
【表１５】
【０１２０】
【表１６】
【０１２１】
【表１７】
【０１２２】
【表１８】
【０１２３】
【表１９】
【０１２４】
【表２０】
【０１２５】
【表２１】
【０１２６】
【表２２】
【０１２７】
【表２３】
【０１２８】
【表２４】
【０１２９】
【表２５】
【０１３０】
【表２６】
【０１３１】
【表２７】
【０１３２】
【表２８】
【０１３３】
【表２９】
【０１３４】
【表３０】
【０１３５】
【表３１】
【０１３６】
【表３２】
【０１３７】
【表３３】
【０１３８】
【表３４】
【０１３９】
【表３５】
【０１４０】
【表３６】
【０１４１】
【表３７】
【０１４２】
【表３８】
【０１４３】
【表３９】
【０１４４】
【表４０】
【０１４５】
【表４１】
【０１４６】
【表４２】
【０１４７】
【表４３】
【０１４８】
【表４４】
【０１４９】
【表４５】
【０１５０】
【表４６】
【０１５１】
【表４７】
【０１５２】
【表４８】
【０１５３】
【表４９】
【０１５４】
【表５０】
【０１５５】
【表５１】
【０１５６】
【表５２】
【０１５７】
【表５３】
【０１５８】
【表５４】
【０１５９】
【表５５】
【０１６０】
【表５６】
【０１６１】
【表５７】
【０１６２】
【表５８】
【０１６３】
【表５９】
【０１６４】
【表６０】
【０１６５】
【表６１】
【０１６６】
【表６２】
【０１６７】
【表６３】
【０１６８】
【表６４】
【０１６９】
【表６５】
【０１７０】
【表６６】
【０１７１】
【表６７】
【０１７２】
【表６８】
【０１７３】
【表６９】
【０１７４】
【表７０】
【０１７５】
【表７１】
【０１７６】
【表７２】
【０１７７】
【表７３】
【０１７８】
【表７４】
【０１７９】
【表７５】
【０１８０】
【表７６】
【０１８１】
【表７７】
【０１８２】
【表７８】
【図面の簡単な説明】
【０１８３】
【図１】図１は、例証的な画像システムの概観を示す。
【図２】図２ａおよび２ｂは、本発明によって使用される例証的なマイクロ流体装置の平面図と断面図を示す。
【図３】図３ａおよび３ｂは、本発明による測定セルのストレッチと歪みの補正の実施状態を示す。
【図４】図４ａ〜４ｃは、本発明によって採用されたマスキングおよび画像減算の工程を示す。
【図５】図５は、本発明の一実施形態による画像処理方法の簡略化された線図である。
【図６】図６は、本発明の一実施形態による画像を変換するための簡略化された工程５２０である。
【図７】図７は、本発明の一実施形態による簡略化されたウェルおよびチャネルを示す。
【図８】図８は、サンプル１‐Ｄ信号を示す簡略化された線図である。
【図９】図９は、サンプル１‐Ｄ信号を示す簡略化された線図である。
【図１０】図１０は、サンプル１‐Ｄ信号を示す簡略化された線図である。
【図１１】図１１は、本発明の位置実施形態よる、画像のマスキングを行うための簡略化された線図である。
【図１２】図１２は、内方破裂パディング工程のための簡略化された線図である。
【図１３】図１３は、本発明の一実施形態よる壁検出を行うための簡略化された方法である。
【図１４】図１４（ａ）、（ｂ）および（ｃ）は、本発明の一実施形態による壁検出を行うための簡略化された線図である。
【図１５】図１５は、本発明の一実施形態による内方破裂パディングのための簡略化された方法である。
【図１６】図１６は、本発明の一実施形態による壁内方破裂のための簡略化された線図である。
【図１７】図１７は、本発明の一実施形態による、別時における壁内方破裂のための簡略化された線図である。
【図１８】図１８は、本発明の一実施形態による画像検査のための簡略化された方法である。
【図１９】図１９は、本発明の一実施形態による簡略化された訓練方法である。
【図２０】図２０は、本発明の一実施形態によるクラス付けのための簡略化された方法である。
【図２１】図２１は、本発明の一実施形態による、画像を合成するための簡略化された方法である。
【図２２】図２２は、本発明の一実施形態によるディープチャンバのための簡略化された線図である。
【図２３】図２３は、本発明の一実施形態による、複数の画像を捕獲するための簡略化された線図である。
【技術分野】
【０００１】
（関連出願の相互参照）
本願は、米国仮特許出願第６０／４９０，７１２号（２００３年７月２８日出願）の優先権を主張し、この仮特許出願は本明細書中に参考として援用される。
【０００２】
さらに、タイトルが「Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｍｉｃｒｏｆｌｕｉｄｉｃ Ｄｅｖｉｃｅ ａｎｄ Ｉｍａｇｉｎｇ Ｔｈｅｒｅｏｆ」の米国特許第１０／８５１，７７７号（２００４年５月２０日出願）が本明細書中に参考として援用される。
【０００３】
（連邦政府による後援の研究または開発の下なされた発明を受ける権利に関する記載）
該当なし。
【０００４】
（コンパクトディスクに提出された「配列表」、表、またはコンピュータプログラムリストへの参照）
該当なし。
【０００５】
（著作権注意）
本願明細書の一部分は、Ｆｌｕｉｄｉｇｍ Ｃｏｒｐｏｒａｔｉｏｎが所用するコンピュータコードを含んでいる。全ての権利は、Ｆｌｕｉｄｉｇｍ Ｃｏｒｐｏｒａｔｉｏｎ（著作権）２００４の著作権保護の下で保護される。
【０００６】
（発明の背景）
本発明は、画像処理技術に関連する。より詳細には、本発明は、画像化した物体の変化を検出する画像処理方法およびシステムを提供する。本発明は、単純に例証の方法によって、マイクロ流体装置における結晶化に適用されている。しかし、本発明の適用範囲はこれよりも遥かに幅広いことが理解されるだろう。
【背景技術】
【０００７】
結晶化は、生物分野および化学分野にとって重要な技術である。詳細には、対象化合物の高品質結晶は、対象物の正確な３次元構造を生成するｘ線回折技術によって分析することができる。次に、この３次元構造情報を利用して、対象物の機能性と動作を推測することができる。
【０００８】
理論上、結晶化工程は単純である。純粋な形態の対象化合物が溶液中で溶解される。次に、溶解した対象材料の化学環境が、可溶解度が低下し、結晶形態の固体位相へ戻るよう変更される。一般に、化学環境におけるこの変更は、対象材料の溶解度を低下させる結晶化剤を導入することで達成されるが、温度および圧力における変化も対象材料の溶解性に影響を及ぼすことができる。
【０００９】
しかしながら実際には、高品質結晶の形成は概して困難で、時によっては不可能であり、研究者は相当な試行錯誤と忍耐を強いられる。詳細には、さらに単純な生物化合物の複雑性の高い構造とは、これらが高度に整列した結晶構造の形成には馴染まないことを意味する。したがって研究者は、高品質の結晶を得るために、多数の結晶化条件の経験において、また実際に結晶が得られるのであれば、サンプル濃縮、溶液タイプ、対溶液タイプ、温度、継続期間のようなパラメータの変更において忍耐強く几帳面でなければならない。
【００１０】
Ｈａｎｓｅｎ等は、２００２年１０月１７日付けで公告され、あちこちで開示されている汎用途および特定用途について、本願明細書中でその全体を参照により援用している国際特許出願公開第０２／０８２０４７号において、対象材料、例えば蛋白質の結晶化の条件をスクリーニングするための高スループットシステムを記述している。このシステムは、多層膜エラストマ製造工程によって一列の測定セルを形成したマイクロ流体装置にて提供される。各測定セルは、一つ以上の対の対向するチャンバを備えており、この対の各々は、相互接続流体チャネルを介して相互に流体連通しており、一方のチャンバは蛋白質溶液を内容し、これと対向する他方のチャンバは結晶化試薬を内容している。チャネルに沿って弁が配置されていることで、対向するチャンバの内容物を弁開放時まで各々の内部に保留することができ、これにより、相互接続マイクロ流体チャネルを介した対向するチャンバ間における自由な界面拡散が可能になる。自由界面拡散が進行するに従い、対向するチャンバが結晶化試薬および蛋白質濃縮に対して平衡に近づくにつれ、いずれかの時点で蛋白質が結晶を形成することが望まれる。好ましい実施形態では、Ｈａｎｓｅｎ等によって示唆されたマイクロ流体装置は、蛋白質結晶化実験を内部で実施するためのチャンバを含んだ測定セルの列を有する。このような列を使用することで、分析を要するたんぱく質結晶化のための数多い条件の高スループット検査が提供される。
【００１１】
本願明細書で開示している本発明は、特定の蛋白質結晶化条件の組が結晶の形成を生じるのか否かを決定するべく、このような分析を実施するシステムおよび方法を提供する。
【発明の開示】
【課題を解決するための手段】
【００１２】
（発明の概要）
本発明は、画像処理技術に関する。より詳細には、本発明は、画像化されたオブジェクトの変化を検出する画像処理方法およびシステムに関する。本発明は、単に例証の方法により、マイクロ流体装置内での結晶化に適用されている。しかし、本発明は遥かに幅広い使用範囲を有することが理解されるだろう。
【００１３】
本発明によれば、マイクロ流体装置用の画像処理方法およびシステムの多数の実施形態が提供される。マイクロ流体装置の画像を処理する方法は、単に例証の方法により、マイクロ流体装置の第１画像を受信する。この第１画像は第１状態に関連している。さらにこの方法は、マイクロ流体装置の第２画像を受信する。この第２画像は第２状態に関連している。さらに、この方法は第１画像を第３座標空間に変換する。この変換は、少なくとも第１画像上の第１基底を使用する。またこの方法は、第２画像を第３座標空間に変換する。この変換は、少なくとも第２画像上の第２基底を使用する。さらにこの方法は、変換された第１画像と変換されたに画像に関連した情報に少なくとも基づいて第３画像を取得し、第１状態と第２状態に関連した情報を取得するべく第３画像を処理する。一実施形態では、第３座標空間はマイクロ流体装置の既知の幾何学的配列に基づく。別の例では、第１画像を使用することに特定の利点はあるが、この方法は第１画像を使用しなくても適切に機能することができる。第２画像は第３座標空間に変換される。
【００１４】
本発明の別の実施形態によれば、マイクロ流体装置の画像を処理する旨の命令を含んだコンピュータ読取り可能な媒体は、マイクロ流体装置の第１画像を受信する旨の一つ以上の命令を備えている。この第１画像は第１状態に関連している。さらに、コンピュータ読取り可能な媒体は、マイクロ流体装置の第２画像を受信する旨の一つ以上の命令を含んでいる。第２画像は第２状態に関連している。さらに、コンピュータ読取り可能な媒体は、第１画像を第３座標空間に変換する旨の一つ以上の命令を含んでいる。この変換は、少なくとも第１画像上の第１基底を使用する。また、コンピュータ媒体は、第２画像を第３座標空間に変換する旨の一つ以上の命令も含んでいる。この変換は、少なくとも第２画像上の第２基底を使用する。これに加えて、コンピュータ読み取り媒体は、変換された第１画像と変換されたに画像に関連した少なくとも基づいて第３画像を取得する旨の一つ以上の命令と、第１状態と第２状態に関連した情報を取得する旨の第１画像を処理する旨の一つ以上の命令とを含んでいる。
【００１５】
従来技術にかけて本発明を用いることで多数の利点が達成される。実施形態によれば、これらの利点の一つ以上を達成できる。例えば、本発明による特定の実施形態は、画像化分析と結晶化検出の速度を改善する。本発明のいくつかの実施形態は、結晶化検出のための画像処理システムを単純化する。本発明の特定の実施形態は、画像処理方法およびシステムの感度を改善する。
【００１６】
本発明のさらに別の実施形態によれば、マイクロ流体装置の画像を処理する方法は、マイクロ流体装置の第１画像を受信する。第１画像は第１基底点と第１チャンバ領域を含んでおり、第１チャンバ領域は第１チャンバ境界線に関連している。さらに、この方法は、第１基底点に関連した第１情報に基づいて、第１画像を第１座標空間に変換し、第１チャンバ領域に関連した情報を処理し、第１チャンバ領域内に第１結晶が存在するか否かを決定する。
【００１７】
本発明のまたさらに別の実施形態によれば、マイクロ流体装置の複数の画像を処理する方法は、マイクロ流体装置の少なくとも第１画像と第２画像を受信する。第１画像と第２画像は第１焦点位置と第２焦点位置にそれぞれ関連しており、第１画像と第２画像の各々は第１チャンバ領域を含んでいる。さらに、この方法は、第１画像と第２画像に関連した情報を処理し、第１画像と第２画像に関連した情報に少なくとも基づいて第３画像を生成し、第３画像に関連した情報を処理し、また、第３画像に関連した情報に少なくとも基づいて、第１チャンバ領域内に第１結晶が存在するか否かを決定する。
【００１８】
本発明のまた別の実施形態によれば、マイクロ流体装置の画像を調整および処理する方法は、マイクロ流体装置の第１画像を受信する。第１画像は少なくとも第１の所定の特徴に関連している。さらに、この方法は、第１画像に関連した情報に少なくとも基づいて第１の複数の特徴を生成し、第１の複数の特徴と第１の所定の特徴とに関連した情報に少なくとも基づいて、第１の複数の特徴から第２の複数の特徴を選択する。さらに、この方法は、第２の複数の特徴に関連する情報に少なくとも基づいて第３の複数の特徴を決定し、第３の複数の特徴に関連した情報を処理する。またこの方法は、第３の複数の特徴と第１の複数のパラメータとに基づく情報に少なくとも基づいて、少なくとも第１の可能性を決定し、第１の可能性と第１の複数のパラメータとに関連した情報を処理し、第１の可能性と第１の所定の特徴に少なくとも関連した情報に少なくとも基づいて、第１の複数のパラメータを調整する。
【００１９】
本発明の別の実施形態によれば、コンピュータ読取り可能な媒体は、マイクロ流体装置の画像を処理する命令を含んでいる。コンピュータ読み取り媒体は、マイクロ流体装置の第１画像を受信する旨の一つ以上の命令を含んでいる。第１画像は第１基底点と第１チャンバ領域を含んでおり、この第１チャンバ領域は第１チャンバ境界線に関連している。さらに、コンピュータ読取り可能な媒体は、第１基底点に関連した情報に少なくとも基づいて、第１画像を第１座標空間に変換する旨の一つ以上の命令と、少なくとも第１チャンバ境界線の第１部分を第１画像から除去する旨の一つ以上の命令とを含んでいる。また、コンピュータ読取り可能な媒体は、第１チャンバ領域に関連した情報を処理する旨の一つ以上の命令と、第１チャンバ領域内に第１結晶が存在するか否かを決定する旨の一つ以上の命令とを含んでいる。
【００２０】
本発明のまた別の実施形態によれば、コンピュータ読取り可能な媒体は、マイクロ流体装置の複数の画像を処理する旨の命令を含んでいる。コンピュータ読取り可能な媒体は、マイクロ流体装置の少なくとも第１画像と第２画像を受信する旨の一つ以上の命令を含んでいる。この第１画像と第２画像は、第１焦点位置と第２焦点位置にそれぞれ関連しており、また、第１画像と第２画像の各々は第１チャンバ領域を含んでいる。さらに、コンピュータ読取り可能な媒体は、第１画像と第２画像に関連した情報を処理する旨の一つ以上の命令と、第１画像と第２画像に関連する情報に少なくとも基づいて、第３画像を生成する旨の一つ以上の命令とを含んでいる。さらに、コンピュータ読取り可能な媒体は、第３画像に関連した情報を処理する旨の一つ以上の命令と、第３画像に関連した情報に少なくとも基づいて、第１チャンバ領域内に第１結晶が存在するか否かを決定する旨の一つ以上の命令とを含む。
【００２１】
本発明のさらに別の実施形態によれば、コンピュータ読取り可能な媒体は、クラシファイア（ｃｌａｓｓｉｆｉｅｒ）を調整し、マイクロ流体装置の画像を処理する旨の命令を含んでいる。コンピュータ読取り可能な媒体は、マイクロ流体装置の第１画像を受信する旨の一つ以上の命令を含む。この第１画像は少なくとも第１の所定の特徴に関連している。さらに、コンピュータ読取り可能な媒体は、第１画像に関連した情報に少なくとも基づいて、第１の複数の特徴を生成する旨の一つ以上の命令と、少なくとも第１の複数の特徴と少なくとも第１の所定の特徴とに関連した情報に基づいて、第１の複数の特徴から第２の複数の特徴を選択する旨の一つ以上の命令とを含んでいる。さらに、コンピュータ読取り可能な媒体は、第２の複数の特徴に関連した情報に少なくとも基づいて、第３の複数の特徴を決定する旨の一つ以上の命令と、第３の複数の特徴に関連した情報を処理する一つ以上の命令とを含む。また、コンピュータ読取り可能な媒体は、第３の複数の特徴と第１の複数のパラメータとに少なくとも関連した情報に基づいて、少なくとも第１の可能性を決定する旨の一つ以上の命令と、第１の可能性と少なくとも第１の所定の特徴とに関連した情報を処理する一つ以上の命令と、第１の可能性と少なくとも第１の所定の特徴とに関連した情報に基づいて、第１の複数のパラメータを調整する旨の一つ以上の命令とを含んでいる。
【００２２】
考慮されている実施形態に基づいて、本発明のこれらの利点の一つ以上を達成することができる。本発明のこれらの利点および様々な追加的な目的、特徴、利点は、以降の詳細な記述と添付の図面とを参照することで十分に理解することができる。
【発明を実施するための最良の形態】
【００２３】
本発明は、画像処理技術に関連する。より詳細には、本発明は、画像化した物体の変化を検出する画像処理方法およびシステムを提供する。本発明は、単純に例証の方法によって、マイクロ流体装置における結晶化に適用されている。しかし、本発明の適用範囲はこれよりも遥かに幅広いことが理解されるだろう。
【００２４】
図１は、本発明の一実施形態による画像化システムの単純な線図である。図２ａ、図２ｂは、本発明の一実施形態によるマイクロ流体装置の平面図および断面図の単純な線図である。図２ａ、図２ｂに示すマイクロ流体装置は、図１に示した画像化システムと共に使用することができる。これらの線図は単純に例証であり、本願明細書中の特許請求の範囲を不当に制限するものではない。当業者は、多くの応用、代替、改良を認識するだろう。
【００２５】
一実施形態では、画像化システム（１０）は以下の方法で動作する。第１マイクロ流体装置（３０）はステージ（２０）上に安全に配置されている。マイクロ流体装置（３０）の固定された特徴、例えば、マイクロ流体装置（３０）の基部支持部の縁に基づいて、コンピュータ（１１０）がｘ、ｙドライブ（２５）に、マイクロ流体装置（３０）が第１ｘ、ｙ位置において第１の複数の基底点（３０）と整列するよう、ステージ（２０）を動き回らせ、この場合、基底点は、マイクロ流体装置内の、チャンバ中心点から既知のｚ寸法距離だけ離れた場所に組み込まれており、また、固定された特徴からの推測航法に基づいて画像化装置（６０）によって焦点される。次に、このシステムのユーザは、正確な座標を画像化システムに登録する。その後、２つまたはそれ以上の点も、ユーザの補助によって同様にマッピングされる。別の実施形態では、この工程は、左右対称なＸＹ規定オブジェクトを探し、任意の非対称的構成要素を排除することにより基底の図心を正確に計算できるため、自動的に行われる。次に、コンピュータ（１１０）の制御下にある画像化装置（６０）が焦点面（１０５）のｚ寸法位置を調整して、基底点（図１に示したものとは異なり、図２に示すもの）に焦点できるようにする。例えば、一度、第１基底点上に焦点すると、画像化システムは、画像化装置（６０）の視野内でさらなる基底点を探しながら、マイクロ流体装置（３０）の第１のｘ、ｙ座標画像を入手する。好ましい実施形態では、この視野は測定セル全体を包括することができる。その後、コンピュータがこの第１のｘ、ｙ座標画像を分析して、マイクロ流体装置がスキューおよびストレッチを有するか否かを判断し、スキューまたストレッチが決定されると、第１のｘ、ｙ画像を、マイクロ流体装置の画像および座標マップを理想的な座標マップと整列させるべく変換する。この理想的な座標マップは、後の、画像減算ステップおよび画像マスキングステップにおいて使用される。
【００２６】
好ましい実施形態では、本システムは、マイクロ流体装置ｘ、ｙ座標画像が理想的な座標マップに対して整列された状態で、ｘ、ｙ座標画像内の基底点の場所を理想的な穂損ざれている画像マップのｘ、ｙ座標画像内の基底点場所と比較することで、ストレッチ、歪み、または様々なマイクロ流体層間での共通登録の欠如がマイクロ流体装置内に存在するか否かを判断する。実際の基底場所と画像化された基底場所との間に違いがある場合には、測定セルの画像化された形状を理想的な測定セル形状の仮想形状に変換するべく、マトリックス変換、好ましい擬似変換を実行する。測定された実基底場所と保存されている理想的な基底場所の間の差分から計算されたマトリックス変換を使用することで、実画像を既知および固定された画像に変換することで、画像減算および他の画像分析が可能となる。例えば、図３は、理想的なマイクロ流体装置の保存された画像（実際には座標マップとして保存されている）と、実際の歪んだマイクロ流体装置（やはり、基底マッピングで決定された座標マップとして保存されている）とを示す。マトリックス分析を介して座標マップ間の差分を計算することにより、マトリックス変換を、実画像を、本願明細書中で記述しているさらなる画像処理に使用可能な理想画像に改良するべく展開することができる。画像化されたマイクロ流体装置を標準的形状と一致させることで、測定セルチャンバのビューイング可能範囲を最大化するよう、画像の減算およびマスキングを行うことが可能となる。さらに、一連の時間ベースの画像内の、ゼロ時間において、チャンバ内に不良品または屑が存在する場合には、このような不良品または屑を連続画像からマスクアウトすることで、自動結晶認識分析適用時の偽陽性を防止することができる。不良品または屑を含有したチャンバのマスキングオフ範囲に加えて、チャンバの壁を後続の画像から減じることで、やはり、結晶認識分析による偽読み取りを生じさせないようにすることができる。様々な層間の不一致、例えば制御層とチャネル層の間の不一致も、制御ライン自体のような、制御層内に見付かったオブジェクトの位置に基づいて計算することができる。別の例では、この修正は制御層基底自体に基づいて決定される。特定の実施形態の場合には、制御層が蛋白質チャンバをこれ以外の制御ラインから区画しているために、この特別な変換が重要となる。
【００２７】
図４ａ〜図４ｃは、上述の、結晶形成以前のゼロ時間における画像減算およびマスキングが発生する様子を示す。図４ａは、測定セルチャンバ周辺に散在した文字“Ｄ”で示す屑を有する測定セルを示す。上述した技術を使用することで、理想的な測定座標システムと整列させるべく必要に応じて測定セルを回転させた後、また、画像化された測定セル寸法を理想的な測定セル寸法と一致させるべく、測定セルがストレッチ補正され後に、理想的な画像内の異物がマスクアウトされなくなる、つまり、異物を含有し、異物を直接包囲している領域がマスキングされることで、結晶検出分析を偽トリガして、形成された異物を結晶と判断してしまうことが防止される。図４ｂは、マスクが画像から異物を除去した結果、画像分析に偽トリガを提供できなくなった画像を示す。図４ｃは、画像からチャンバ縁特徴を除去して、生画像を単に壁の無いチャンバの１つに縮小するべく、画像減算を適用する様子を示す。壁の内方への破裂が検出された場合、この最終画像からさらなるマスキングが生じる可能性があり、また、マイクロ流体装置が脱水し、チャンバ内容物がチャンバ外部へ浸出する際に通常生じる事象によって、チャンバ内に負圧が生じ、その結果、壁が崩壊または内方破裂を起こす可能性がある。このような内方破裂を生じさせるさらなるマスキングでは、このような既知の形状を使用することで、チャンバの内方破裂が生じた場合に一連の既知の形状を採用し、また、追加のマスクを作成することで、内方破裂した壁に現在侵入している画像からの遮断を行う。
【００２８】
図５は、本発明の一実施形態による画像処理方法の簡略線図である。この線図は、単に一例に過ぎず、本発明の特許請求の範囲を不当に制限するものであってはならない。当業者は、数多くの応用、代替、そして改良を理解するだろう。この方法は、基底を探す工程５１０、画像を変換する工程５２０、画像をマスキングする工程５３０、画像を比較する工程５４０、画像を検査する工程５５０を含む。上述を、選択された一連の工程を用いて示したが、多数の代替、改良、そして応用があってよい。例えば、いくつかの工程を拡張および／または組み合わせることができる。上述の工程に別の工程を挿入してもよい。実施形態によっては、特定の連続した工程を、これ以外の代替工程と相互交換することができる。画像を比較する工程５４０は、画像をマスキングする工程５３０の前、画像をマスキングする工程５３０の最中、および／または画像をマスキングする工程５３０の後に実行してもよい。本発明のさらなる詳細は、本明細書全体、そして特に以降の記述に見ることができる。
【００２９】
工程５１０では、点基底は一画像上に位置している。ホワイトバランシングまたは露出標準か、あるいはこれ以外の望ましい特徴のために、この画像を、事前に、標準化したスラブまたは顕微鏡下での無と共に取り込んだ基準画像に対して繰り込むことができる。点基底はクロスヘアを含んでいてよい。本発明の一実施形態では、画像は、Ｆｌｕｉｄｉｇｍロゴに加えて、測定セルを含んでいる。各々の測定セルは、測定セル周囲の既知の場所にクロスヘア基底を有する。画像取得の最中に、これらの基底の位置がＸ−Ｙ修正工程にかけて＋／−１００ミクロンの範囲内で決定される。この推測の正確性は、回転方位の確定中であっても達成できる。工程５１０の最中に、これらの推測された場所の周囲で数枚のサブ画像が抽出される。これらのサブ画像内では、クロスヘア基底が見付かり、その大域的位置が決定される。Ｔ０画像内の大域的位置が、後続の、例えばＴ１画像、Ｔ２画像、・・・、ＴＭ画像、・・・、またはＴＮ画像といった画像内の大域的位置と比較される。Ｎは正整数であり、Ｍは、Ｎよりも小さい、またはＮと等しい負整数である。Ｔ０画像はＴ０にて記録され；ＴＭ画像はＴＭにて捕獲される。例えば、Ｔ０では蛋白質の結晶化は生じていない。ＴＭでは、蛋白質の結晶化が生じた可能性がある。Ｔ０画像または後続のＴＭ画像から１つの基底が欠損している場合には、通常、この欠損した基底は後続の画像分析の最中には考慮されない。
【００３０】
図６は、本発明の位置実施形態による、画像を変換するための、簡略化された工程５２０である。この線図は単純に一例であり、本願明細書中の特許請求の範囲を不当に制限するものであってはならない。当業者は、多数の応用、代替、改良を理解するだろう。工程５２０は、基底を一致させるための工程６１０、変換を計算するための工程６２０、画像を変換するための工程６３０を含んでいる。上述を、選択された一連の工程を用いて示したが、多数の代替、改良、応用が可能である。例えば、いくつかの工程を拡張および／または組み合わせることができる。変換を計算する工程６２０、画像を変換する工程６３０を組み合わせることができる。上述した工程に別の工程を挿入することもできる。実施形態によっては、特定の連続した工程をこれ以外の代替工程と交換することができる。本発明のさらなる詳細は、本願明細書中全体、そして特に以降において見ることができる。
【００３１】
工程６１０では、画像中の基底が、理想的な座標マップ内の対応する基底と一致される。例えば、この画像はＴ０画像またはＴＭ画像である。一実施形態では、この画像はｘ‐ｙ座標画像であり、理想的座標マップはｘ‐ｙ座標マップである。この画像が理想的な座標マップに対して整列される。画像中の基底の場所が、理想的な座標マップ中の基底の場所と比較される。このような比較により、Ｔ０またはＴＭのような画像の捕獲時におけるマイクロ流体装置のストレッチを含む歪みが露呈する。
【００３２】
工程６２０では、或る画像から理想的な座標空間への空間的変換が計算される。理想的な座標空間は理想的な座標マップに関連する。一実施形態では、擬似変換のようなマトリックス変換が計算される。例えば、Ｔ０画像から理想的な座標空間まで、ＴＭ画像から理想的な座標空間まで、２つの最小二乗法変換が計算される。
【００３３】
工程６３０では、画像が理想的な座標空間に変更する。例えば、擬似変換のようなマトリックス変換が、画像内の測定セルの形状を理想的な形状に変更する。測定セルは、３枚またはそれ以上の枚数の拡散実験片に薄く切り分けることができる。一実施形態において、図３ａは簡略化された理想的な座標マップを示し、図３ｂは簡略化された歪み画像を示す。座標マップ中の基底場所と歪み画像中の対応する基底場所との差分を計算することで、歪み画像を理想的な画像に変換するべくマトリックス変換を実行することができる。
【００３４】
工程６３０では、Ｔ０画像と変換されたＴＭ画像とは同一の座標空間内に配置されているため、共通登録および相互比較が可能である。ＴＭ画像内における結晶化を検出するために、ＴＭ画像から変換されたＴ０画像を減算することができる。しかし、このような減算では、除去されるべきノイズ源を全て除去するものではない。
【００３５】
理論では、クロスヘア基底がウェルと同一層上に在るため、理想的な座標空間内のウェルの場所はわかっているが、実際には、各測定セルは一意である。通常、ウェル壁を含んだウェルの場所を推測航法測定することでは正確な情報は得られない。代わりに、通常、副矩形が各ウェルの場所周辺で抽出され、Ｔ０画像はウェル壁をロックするために使用される。例えば、４本の直線がウェルの４つの壁と合致する。さらに、通常、４本の垂直ラインを使用して、３つのチャネル区画のために、６つの壁のうち４つが決定される。
【００３６】
図７は、本発明の一実施形態による簡略化されたウェルとチャネルを示す。この線図は、単に一例であり、本願明細書中の特許請求の範囲を不当に制限するものであってはならない。当業者は、多数の応用、代替、および改良を理解するだろう。上述した４本の垂直ラインには、右チャネルの左壁、中央チャネルの右壁と左壁、左チャネルの右壁が含まれる。残りの２つの壁、例えば右チャネルの右壁と左チャネルの左壁は、総左右サブ画像の１次元水平信号の閾値の決定を介して見付かった汚染ラインによって仕切られている。１次元水平信号の分析は、ｘ次元にわたる小さいウィンドウを使用することで、中心チャネル内と、水平チャネルの頂壁と底壁に界面ラインを配置することもできる。整列エラーにより、水平チャネルを水平から傾斜させることができる。界面ライン、チャネルの頂壁と底壁は、後続の工程で使用される。
【００３７】
図８〜図１０は、サンプル１次元信号を示す簡略化された線図である。これらの線図は単に例証であり、本願明細書中の特許請求の範囲を不当に制限するものであってはならない。当業者は多数の応用、代替、改良を理解するだろう。特定の実施形態では、信号の強度が画像取得時のｚ場所に依存するため、チャネル壁は、図８〜図１０の信号内に示すほど明確でない。詳細には、図９は、界面ライン検出の簡略化された線図である。図１０は、フィルタリングおよび幅整合された信号の簡略化された線図である。いくつかの実施形態では、基底はチャネルと同一層上に在る。チャネル位置は、チャネル壁を探すことなく、擬似変換を介して見付けることができる。
【００３８】
工程５３０では、画像のマスキングが行われる。このマスキングにより、測定セルチャンバのビューイング可能範囲が増加する。Ｔ０画像中のチャンバ内に不良品または屑が存在する場合には、これらの不良品または屑をＴ０画像および後述のＴＭ画像からマスクアウトすることができる。不良品または屑を除去することで、自動結晶認識分析において偽陽性の数を低減することができる。
【００３９】
例えば、結晶認識分析に関係ない信号を含んだ領域をＴ０画像のマスクアウトするために、Ｔ０画像からスタンプまたはマスクが計算される。図１１は、本発明の一実施形態による画像マスキングの簡略化された線図である。Ｔ０画像とＴ１画像は、捕獲され、理想的な座標空間に変換される。各々の直線領域は４つの境界壁を含んでいる。Ｔ０画像内の、４つの境界壁を超えた領域は、後続の分析からマスクアウトされる。同様に、界面ラインもマスクアウトされる。さらに、かかる領域内に現れており、Ｔ０画像内の閾値を超える大型のＢｌｏｂブジェクトも、結晶化以前から存在していたと仮定されるため、同様にマスキングされる。図１１に示すように、ＢｌｏｂオブジェクトがＴ０画像とＴ１画像の両方の右チャネル内に現れているが、しかし、スクラブ処理された下方右画像内にはＢｌｏｂオブジェクトは存在していない。
【００４０】
セル、ビデオ、空間は、マイクロ流体装置内において変形可能であるため、そのサイズをＴ０からＴＭまで変更することができる。セル表面のこのような変形をモデリングし、これに従って、関連するＴＭについてマスクをモデリングする。例えば、図１１に示すように、左ウェル・サブコンポーネントと右ウェル・サブコンポーネントは、計算された各自の「内方破裂するパディング」値を有する。これは、Ｔ０とＴＭ間のウェル内の相当な圧力差によって壁がその元の位置から内方破裂を起こしてしまうため、必要である。
【００４１】
本発明の一実施形態によれば、内方破裂パディング工程は、Ｔ０画像中のウェル周辺の矩形を抽出し、Ｔ０画像から連続した矩形周辺の平均を計算し、このベクトルと指数の最小値を見付け、後続のＴ１画像、Ｔ２画像、・・・、ＴＭ画像、・・・、ＴＮ画像について、上述の抽出し、計算し、見付ける３工程を繰り返し、指数内の差分を計算する。この指数における差分は、オリジナルＴ０画像でのマスキング領域へのさらなるパディングを推測するために使用される。図１２は、内方破裂パディング工程を簡略化された線図である。上述し、さらにここで強調しているように、この線図は単に一例であるため、本願明細書中の特許請求の範囲を不当に制限するものであってはならない。当業者は、多数の応用、代替、改良を認識するだろう。
【００４２】
工程５４０では、画像が比較され、比較画像が生成される。例えば、ＴＭ画像からＴ０画像を減算することで比較画像が生じる。通常、スクラブ処理によってチャンバの壁を除去することができる。このような除去は、結晶認識分析における偽読み取りを低減させる。上述し、さらにここで強調しているように、画像を比較する工程５４０を、画像をマスキングする工程５３０の前、画像をマスキングする工程５３０の最中、および／または画像をマスキングする工程５３０の後に実行することができる。
【００４３】
一実施形態では、通常生じるであろう任意値の代わりに中央を１２８へと押すために、この比較画像が中央値再センタリングされる。この画像の強度は、チップ上の脱水状況に依存するため、参照画像に関連してでさえも変化することができる。工程５３０において生成されたマスクを比較画像に適用することで、マスクが画像に導入する粗い境界線を滑らかにする減衰フロントを作成する。画像画素がマスク画素に近づくに従い、より多くの画像画素が減衰される。この工程はスクラブ加工の一例である。マスク画素から各画像画素の距離を表す距離マップが、Ｔ０画像から別個に計算される。
【００４４】
図４ａ〜図４ｃは、画像の減算、マスキング、スクラブ処理の簡略化された線図である。これらの線図は単に例証であり、本願明細書中の特許請求の範囲を不当に制限するものであってはならない。当業者は多数の応用、代替、改良を理解するだろう。図４ａに示すように、測定セルは、測定セルチャンバ周囲に分布した、文字Ｄで示す屑を含んでいる。上述の工程によって、測定セルを回転させて理想の座標マップと整列させ、また、画像化した測定セル寸法が理想の測定セル寸法と一致するよう変換することができる。例えば、変換により、画像をストレッチ補正することができる。その後、理想の画像内に現れていない異物がマスクアウトされる。このマスキング処理により、異物を含み、これを直接包囲している領域から信号が除去される。この除去により、異物を結晶として認識してしまう偽識別を低減することができる。図４ｂは、異物を除去した画像の簡略化された線図である。図４ｃは、画像減算の簡略化された線図である。画像減算は、Ｔ０画像とＴＭ画像間の差分を計算することで、ＴＭ画像からチャンバ縁特徴を除去する。このＴＭ画像が、無壁チャンバを有する画像に変換される。
【００４５】
この変換された画像で壁内方破裂が検出された場合には、さらなるマスキングが必要となる可能性がある。通常、壁の内方破裂は、マイクロ流体装置の脱水中に、チャンバ内容物がチャンバ外部へ浸出している際に生じる。この浸出によって負圧が生じ、さらに壁の崩壊または内方破裂が生じる。このような内方破裂のためのさらなるマスキングは、チャンバの内方破裂を発生させる一連の既知の形状を採用し、また、このような既知の形状を使用することで追加のマスクを作成して、現在侵入中の内方破裂した壁を画像から遮断する。
【００４６】
本発明の一実施形態によれば、出力スクラブ処理した画像が、まずＴ０画像とＴＭ画像を相互に繰り込むことで計算される。この繰り込み工程により、チップへの環境変化によって生じた直流または背景信号を低減することができる。次に、単純な減算画像が１２８オフセットで計算される。その後、この減算画像が、スタンプ内の全ての画素場所を１２８でスタンプ処理することで「スクラブ処理」され、これによりその出力信号が削除される。さらに、画素場所が、そのｘ‐ｙ距離に基づいて、マスク内のスタンプ処理された画素へと徐々に減衰してゆく。これにより、マスク画素周囲において減算画像がスクラブ処理されることで、スタンプ処理した１２８値および実画像値からの滑らかな変換が確実に達成される。
【００４７】
工程５５０では、結晶について画像が検査される。例えば、最後にスクラブ処理された画像が、さらなる画像処理技術を画像上で実行する特徴抽出器を通って送信される。
【００４８】
これらの特徴の訓練および選択は、Ｍａｔｌａｂスクリプトを使用した半自動処理である。これら特徴の無作為な組み合わせが選択される。結晶の他の材料からの分離性を高めるために、より高い次元空間が、フィッシャー（Ｆｉｓｈｅｒ）／ライナー判別式分析を介してより低い次元性へマッピングされる。Ｋに最も近い近傍アルゴリズムを使用して、このより低い次元空間においてクラス付けが実施される。テスト下にあるインスタンスを除外することで、オリジナルの訓練セットについて混乱マトリックスが計算され、また、コストマトリックスを訓練マトリックスに適用することで訓練実行の「優良」性が評価される。最良の訓練実行を使用して近傍の数、偽陽性拒絶と偽陰性拒絶に使用される特徴および使用される２つの閾値が決定される。
【００４９】
本発明のさらに別の実施形態によれば、コンピュータ媒体は、マイクロ流体装置の画像を処理する命令を含んでいる。このコンピュータ媒体は、プロセッサに上述した本発明の処理を実行させるコンピュータコードを保存する。例証的なコンピュータコードは、Ｍａｔｌａｂまたは他のコンピュータ言語を使用でき、また、Ｐｅｎｔｉｕｍ（登録商標）ＰＣまたは他のコンピュータ上で実行することができる。このコンピュータコードは、本願明細書中の特許請求の範囲を制限することを意図したものではない。当業者は、これ以外の応用、改良、代替を理解するだろう。
【００５０】
例えば、このコンピュータ読み取り可能な媒体は、マイクロ流体装置のＴ０画像を受信する旨の一つ以上の命令を含んでいる。このＴ０画像が結晶化前に捕獲される。さらに、コンピュータ読み取り可能な媒体は、マイクロ流体装置のＴＭ画像を受信する旨の一つ以上の命令を含んでいる。ＴＭ画像はＴ０画像の後に捕獲される。コンピュータ読み取り可能な媒体はさらに、Ｔ０画像上の少なくとも１つの基底を使用して、Ｔ０画像を理想の座標空間に変換する旨の一つ以上の命令と、ＴＭ画像上の少なくとも１つの基底を使用して、ＴＭ画像を理想の座標空間に変換する旨の一つ以上の命令と、少なくとも変換されたＴ０画像と変換されたＴＭ画像に関連した情報に基づいて、比較画像を取得する旨の一つ以上の命令と、結晶化に関連した情報を取得するべく、この比較画像を処理する旨の一つ以上の命令とを含んでいる。
【００５１】
別例として、コンピュータコードは、基底の探索、画像の変換、画像のマスキング、画像の比較、画像の検査を実行することができる。さらに別の例として、コンピュータコードは、図１〜図１２に記述した処理のいくつかまたは全てを実行する。
【００５２】
上述し、さらにここで強調したように、コンピュータ読取り可能な媒体およびコンピュータコードの上述の例は単に例証でしかないため、本願明細書中の特許請求の範囲を不当に制限するものであってはならない。当業者は、多数の応用、代替、改良を理解するだろう。例えば、いくつかの工程はハードウェアによって達成することができ、また他の工程はソフトウェアによって達成することができる。工程によっては、ハードウェアとソフトウェアの組み合わせによって達成できるものもある。上述を、選択された一連の工程を用いて示したが、多数の代替、改良、応用が可能である。例えば、いくつかの工程を拡張および／または組み合わせることができる。実施形態によっては、特定の連続した工程を他の代替工程と相互交換することも可能である。
【００５３】
従来技術にかけて本発明を使用することで、多くの恩恵が得られる。実施形態によっては、一つ以上のこれらの恩恵が得られるものもある。例えば、本発明の特定の実施形態は、分析の画像化および結晶化検出の速度を改善する。本発明のいくつかの実施形態は、結晶化を検出するための画像処理システムを単純化する。本発明の特定の実施形態は、画像処理方法およびシステムの感度を改善する。
【００５４】
上述に記述し、さらにここで強調されるように、図１〜図１２は本発明の特定の実施形態を表しており、これらの実施形態は多くの例証を含んでいる。一例では、処理５１０にて、点基底は一画像上に位置している。この画像を、ホワイトバランシングまたは露出標準か、あるいはこれ以外の望ましい特徴のために、この画像を、事前に、標準化したスラブまたは顕微鏡下での無と共に取り込んだ基準画像に対して繰り込むことができる。この画像は、高解像度の８ビット繰り込み、または他の望ましい特徴であってよい。点基底はクロスヘアを含んでいてよい。本発明の一実施形態では、画像は、Ｆｌｕｉｄｉｇｍロゴに加えて測定セルを含んでいる。各測定セルは、測定セル周囲の既知の場所にクロスヘア基底を有する。画像取得の最中に、これら基底の位置が、Ｘ‐Ｙ修正工程にかけて、＋／−１００ミクロン以内で決定される。この推測の正確性は、回転方位付けの下であっても達成できる。工程５１０の最中に、これら推測された場所の周囲において、いくつかのサブ画像が抽出される。一実施形態では、工程５１０にてＴ０画像は分析され、別の例証では、工程５２０にてＴ０画像は分析されない。例えば、Ｔ０にてＴ０画像が捕獲される。Ｔ０にて、蛋白質の結晶化は発生しない。ＴＭにて、蛋白質の結晶化が発生した可能性がある。
【００５５】
工程５２０でＴ０画像が分析されると、Ｔ０画像内の大域的位置が、後続の画像、例えばＴ１画像、Ｔ２画像、・・・、ＴＭ画像、・・・、またはＴＮ画像内の大域的位置と比較される。Ｎが正整数であり、Ｍは、Ｎよりも小さいか、Ｎと等しい負整数である。ＴＭにてＴＭ画像が捕獲される。Ｔ０画像または後続のＴＭ画像において１つの基底が欠損している場合、この欠損した基底は、通常構造の画像分析の最中には考慮されない。
【００５６】
別の例では、工程５２０は、基底を整合する工程６１０、変換を計算する工程６２０、画像を変換する工程６３０を含んでいる。工程６１０では、画像内の基底が、理想の座標マップ内の対応する基底と整合される。例えば、画像はＴＭ画像である。一実施形態では、画像はｘ‐ｙ座標画像であり、理想の座標マップはｘ‐ｙ座標マップである。画像が理想の座標マップに対して整列される。画像内の基底の場所が、理想の座標マップ内の基底の場所と比較される。このような比較により、例えばＴＭのような画像捕獲時におけるマイクロ流体装置のストレッチを含む任意の歪みがわかる。一実施形態では、理想の座標マップは、画像システム１０および／またはマイクロ流体装置３０の特定の特徴を考慮する。これらの特徴には、例えば、理想の座標マップ生成時に既にわかっている、または予測されている不完全性が含まれる。
【００５７】
工程６２０では、画像から理想の座標空間への空間的変換が計算される。理想の座標空間は理想の座標マップに関連している。一例では、Ｔ０画像から理想の座標空間までの最小二乗変換が計算される。別の例では、Ｔ０画像から理想の座標空間までの最小二乗変換が計算される。
【００５８】
工程６３０では、画像が理想の座標空間へ変換される。例えば、Ｔ０画像の変換を行う。別の例では、Ｔ０画像は変換されない。一実施形態では、変換された画像が同一の座標空間内に配置されるため、これらは共通登録され、相互に比較可能となる。別の実施形態では、変換された画像は、マイクロ流体装置３０の少なくとも一部分を含んでいる。例えば、マイクロ流体装置３０はチャネル領域とウェル領域を有する。特定の実施形態では、チャネル領域とウェル領域は相互交換可能である。チャネルとウェルとは、マイクロ流体装置内の凹状領域を意味する。別の実施形態では、マイクロ流体装置は、チャネル領域をウェル領域として機能するべく使用する。さらに別の実施形態では、マイクロ流体装置は、流体チャネル、制御チャネル、ウェルとして使用可能なチャンバを含んでいる。
【００５９】
工程５３０では、画像がマスキングされる。例えば、スタンプマスクは、理想化された画像に関する所定の情報を使用して計算される。図１１に示すように、ＴＭ画像は捕獲され、理想の座標空間に変換される。各々の矩形領域は４つの結合ウェルを含んでいる。後続の分析では、ＴＭ画像内の４つの結合ウェルを超える領域がマスクアウトされる。同様に、界面ラインもマスクアウトされる。
【００６０】
別の実施形態において、図１３は簡略化された壁検出方法である。この線図は単に一例であるため、特許請求の範囲を不当に制限するものであってはならない。当業者は、多数の応用、代替、改良を理解するだろう。方法１３００は、画像を受信する工程１３１０、強度分析を実行する工程１３２０、強度を変換する工程１３３０、第１制御チャネルについて壁を検出する工程１３４０、第２制御チャネルについて壁を検出する工程１３５０を含んでいる。上述を、選択された一連の工程を用いて示したが、多くの代替、改良、応用が可能である。例えば、工程１３１０、１３２０を組み合わせる。別の例では、工程１３４０、１３５０を組み合わせている。上述の工程に別の工程を挿入することができる。実施形態によっては、特定の連続した工程を別の代替と相互交換することができる。これら工程のさらなる詳細は、本願明細書全体、そして以降において見ることができる。
【００６１】
図１４（ａ）、（ｂ）、（ｃ）は、本発明の一実施形態による壁検出の簡略化された線図である。これらの線図は単に例証であるため、本願明細書中の特許請求の範囲を不当に制限するものであってはならない。当業者は多数の応用、代替、改良を理解するだろう。
【００６２】
工程１３１０では、画像が受信される。例えば、画像はＴ０画像またはＴＭ画像である。図１４（ａ）に示すように、一実施形態では、画像１４４０は第１制御チャネルとしての界面ライン１４１０と、第２制御チャネルとしての汚染物ライン１４２０と、反応チャネル１４３０とを含んでいる。界面ライン１４１０は、壁１４１２、１４１４を含み、汚染物ライン１４２０は壁１４２２を含んでいる。反応チャネルは壁１４３２、１４３４を含んでいる。例えば、界面ライン１４１０と汚染物ライン１４２０は制御層内にある。別例では、反応チャネル１４３０は蛋白質結晶化に使用される。
【００６３】
工程１３２０では、強度分析が実施される。一実施形態では、図１４（ｂ）に示すように、画像１４００が強度に基づいて分析される。曲線１４４０は、反応チャネル１４３０の方向に沿った画像強度を表す。曲線１４４０は、少なくとも５つのピーク１４４２、１４４４、１４５２、１４５４、１４５６を含んでいる。ピーク１４４２、１４４４は、明るい領域に関連し、ピーク１４５２、１４５４、１４５６は暗い領域に関連している。ピーク１４４２、１４５２は壁１４１２に関連し、ピーク１４４、１４５４は壁１４１４に関連し、ピーク１４５６は壁１４２２に関連している。
【００６４】
工程１３３０にて、強度が変換される。一実施形態では、図１４（ｃ）に示すように、曲線１４４０は曲線１４６０に変換される。この変換により、ピーク１４４２と１４５２の間、ピーク１４４４と１４５４の間の極性の差分が排除される。さらに、この変換により平滑化工程が得られる。例えば、曲線１４４０の強度値が曲線１４４０の平均強度値に対して比較され、差分の絶対値が反応チャネル１４３０の方向に沿ってプロットされる。その結果、曲線１４６０は３つのピーク１４７２、１４７４、１４７６を含むようになる。ピーク１４７２はピーク１４４２、１４５２に関連し、ピーク１４７４はピーク１４４４、１４５４に関連し、ピーク１４７６はピーク１４５６に関連する。一実施形態では、平滑化工程により、ピーク１４４２、１４５２がシングルピーク１４７２に確実に変換される。本発明の別の実施形態では、この変換は、平滑化工程を設けることなく実施される。例えば、曲線１４４０は、ピーク１４４２、１４５２の代わりに、単極性を設けたシングルピークを有する。２つのピークを平滑化または融合する必要はない。
【００６５】
工程１３４０では、第１制御チャネルの壁が検出される。一実施形態では、図１４（ｃ）に示すように、ピーク１４７２、１４７４は、第１制御チャネル１４１０の壁１４１２、１４１４に関連している。ライン１４８８は、反応チャネルの方向に沿ったｘ軸と平行に描かれている。ライン１４８８は、４つの交差点１４８２、１４８４、１４８６、１４８８にて曲線１４６０と交差している。交差点１４８２と１４８４の平均ｘ値、交差点１４８６と１４８８の平均ｘ値が計算される。計算された界面ライン１４１０の幅が計算されると、２つの平均ｘ値の間の差分が決定される。計算された幅は、界面ライン１４１０の所定幅と比較される。ライン１４８８をｙ方向に沿って上下に移動させることで、計算された幅と所定幅の間の差分が、ライン１４８８の特定のｙ位置において最小化する。このｙ位置にて、交差点１４８２、１４８４の平均ｘ値が壁１４１２の位置として考慮され、また交差点１４８６、１４８８の平均ｘ値が壁１４１４の位置として考慮される。
【００６６】
工程１３５０にて、第２制御チャネルの壁が検出される。一実施形態では、界面ライン１４１０が見付かると、界面ライン１４１０と汚染物ライン１４２０の間の所定長さの反応チャネル１４３０を使用して、汚染物ライン１４２０の位置が計算される。この計算によって、壁１４２２のおおよその位置が得られる。その後、この壁１４１４、１４２２のおおよその位置が、微修正工程によってさらに調整される。この微修正工程は、壁１４１４と壁１４１６にとってのペナルティ関数を計算し、これらを組み合わせたペナルティ関数を壁位置の関数として決定する。一実施形態では、組み合わされたペナルティ関数は曲線１４６０の信号強度を考慮する。別例では、組み合わされたペナルティ関数は、微修正された壁位置と微修正していないおおよその壁位置との間の距離を考慮する。さらに別の例では、組み合わせたペナルティ関数を最小化することで、壁１４１４と壁１４２２の位置が決定される。また別の例では、組み合わせたペナルティ関数を平滑化することで、壁１４１４と壁１４２２の位置が決定される。
【００６７】
上述し、さらにここでも強調するように、図１３は単に一例であるため、特許請求の範囲を不当に制限するものであってはならない。当業者は多数の応用、代替、改良を理解するだろう。例えば、図１４（ａ）に示す反応チャネル１４３０の壁１４３２、１４３４は、壁１４１２、１４１４、１４２２と類似の方法で見付けられる。２つの壁１４３２、１４３４の間の距離は事前に決定されている。反応チャネル１４３０の複数の範囲が、壁１４３２、１４３４の複合推測場所を生成するべくサンプリングされる。別例では、基底点がチャネル層上で検出および登録され、これにより、壁１４３２、１４３４が決定する。さらに別の例では、壁１４３２、１４３４、１４１４、１４２２の場所は、少なくとも、マイクロ流体装置３０上のバーコードから得た情報に基づいて決定することができる。また別の例では、図１４（ａ）に示すように、４つの境界壁１４３２、１４３４、１４１４、１４２２を超える領域を、後続の分析でマスクアウトすることができる。
【００６８】
さらに、マイクロ流体システム３０に様々な基底点を含めることができる。一実施形態では、基底点は可変層に凹状領域を備えている。この凹状領域が、可変層または他の層によって包囲された容積または開口領域となる。この容積または開口領域は、空気または他の非反応性流体を含む気体のような流体で充填されることが好ましい。この流体はさらに、包囲している可変層に関連した光の実質的に異なる屈折指数を有する。開口領域は、空気または空気タイプの混合物で充填され、屈折指数が低いことが好ましい。同様に、制御層の基底点も、特定の実施形態の特徴と同様の特徴を有する。別の実施形態では、基底点は、点をその周囲から目立たせるための鋭い縁を有する。さらに別の実施形態では、基底点は、マイクロ流体装置３０に関連した任意の物理的特徴であってよい。例えば、基底点はマイクロ流体装置３０のチャネル壁または縁を含む。
【００６９】
工程５４０では、比較画像を生成するべく画像が比較される。例えば、ＴＭ画像からＴ０画像を減算することで比較画像が生じる。別例では、ＴＭ２画像からＴＭ１画像を減算することで比較画像が生じる。Ｍ１、Ｍ２の各々は、Ｎよりも小さい、またはＮと等しい正整数である。例えば、Ｍ１はＭ２よりも小さい。このような除去によって、結晶認識分析における偽読み取りを低減することができる。別例では、工程５３０にて生成されたマスクを比較画像に適用することで、マスクが画像に導入する粗い境界線を滑らかにする減衰フロントを作成する。画像画素がマスク画素に近づくに従い、より多くの画像画素が減衰される。さらに別の例では、マスクは、内方破裂パディング工程によって壁内方破裂を考慮する。上述し、ここでもさらに強調するように、いくつかの例では工程５４０を省略することができる。
【００７０】
図１５は、本発明の一実施形態による内方パディングのための簡略化された方法である。この線図は単に一例であり、特許請求の範囲を不当に制限するものであってはならない。当業者は多数の応用、代替、改良を理解するだろう。この方法４５００は、画像エリアを選択する工程４５１０、中央値強度を決定する工程４５２０、画像エリア追加の必要性を決定する工程４５３０、最小強度を決定する工程４５４０、内方破裂パディングを決定する工程４５５０を含んでいる。上述を、選択された一連の工程を用いて示したが、多数の代替、改良、応用が可能である。例えば、いくつかの工程を組み合わせる、または拡張できる。上述した工程に別の工程を挿入してもよい。実施形態によっては、特定の連続した工程をこれ以外の代替工程と交換することができる。これら工程のさらなる詳細を、本願明細書全体、そして特に以降の説明に見ることができる。
【００７１】
工程４５１０では、Ｔ０画像またはＴＭ画像から１つの画像エリアが選択される。例えば、この選択された画像エリアは矩形境界線に関連している。図１６は、本発明の一実施形態による壁内方破裂のための簡略化された線図である。この線図は単に一例であり、特許請求の範囲を不当に制限するものであってはならない。当業者は多数の応用、代替、改良を理解するだろう。矩形４６１０の外辺に沿った１つの画像エリアが１つの画像から選択される。矩形４６１０に指数が割り当てられる。
【００７２】
工程４５２０では、中央値強度が決定される。図１６に示すように、画像エリアの中央値強度が計算される。中央値強度は矩形４６１０に関する指数に関連しており、矩形４６１０の外辺に沿った生画素強度に基づいて決定される。工程４５３０では、追加の画像エリアを選択すべきか否かが決定される。追加の画像エリアの選択が必要である場合には、工程４５１０が実行される。追加の画像エリアの選択が不要である場合には、工程４５４０が実行される。一実施形態では、ネストした一連の矩形について工程４５２０、４５３０が繰り返され、曲線４６２０に示すように、矩形指数が決定した中央値強度にプロットされる。
【００７３】
工程４５４０では、最小中央値強度が決定される。図１６に示すように、中央値強度は指数の関数であり、曲線４６２０としてプロットできる。約１０と等しい指数にて、中央値強度がほぼ最小に達する。この最小中央値強度に関連した矩形は、反応チャンバの壁に関連しており、内方破裂の範囲を決定するために使用される。別の実施形態では、この画像エリアについて、最小中央値強度の代わりに最小平均強度が決定される。
【００７４】
工程４５５０では、内方破裂パディングが決定される。図１７は、本発明の一実施形態による別な時の壁内方破裂の簡略化された線図である。この線図は単に一例であり、特許請求の範囲を不当に制限するものであってはならない。当業者は多数の応用、代替、改良を理解するだろう。図１７は、図１６の画像分析以降に１つの画像に実行される工程４５１０、４５２０、４５３０、４５４０を示す。例えば、図１６はＴ０画像またはＴＭ１画像に関連している。図１７はＴＭ２画像に関連しており、Ｍ２はＭ１よりも大きい。図１７では、最小中央値強度に関連した指数は１０から約２９へとシフトされる。この指数値の変化が壁の内方破裂を示す。２つの指数値に関連した矩形の場所に基づいて、図１７の画像に適用される追加の内方破裂パディングが決定される。マスクは壁の内方破裂を被覆するよう設計することができる。
【００７５】
工程５５０では、結晶について画像が検査される。例えば、図１８は画像検査の簡略化された方法である。この線図は単に一例であり、特許請求の範囲を不当に制限するものであってはならない。当業者は多数の応用、代替、改良を理解するだろう。この方法１５００は、クラシファイアを訓練する工程１５１０、画像をクラス付けする工程１５２０を含んでいる。上述を、選択された連続する工程を用いて示したが、多数の代替、改良、応用が可能である。例えば、いくつかの工程は組み合わせおよび拡張される。上述の工程に別の工程を挿入することもできる。実施形態によっては、特定の連続した工程を、これ以外の代替工程と相互交換することができる。例えば、工程１５１０が省略される。別の実施形態では、複数の画像について工程１５１０が繰り返される。これらの工程のさらなる詳細は、本願明細書全体、そして特に以降において見ることができる。
【００７６】
工程１５１０では、クラシファイアが訓練される。図１９は、本発明の一実施形態による簡略化された訓練方法である。この線図は単に一例であり、特許明細書の範囲を不当に制限するものであってはならない。当業者は多数の応用、代替、改良を理解するだろう。工程１５１０は、特徴を生成する工程１６１０、特徴を選択する工程１６２０、特徴を投影する工程１６３０、クラシファイアを調整する工程１６４０を含んでいる。上述を、選択された連続した工程を用いて示したが、多数の代替、改良、応用が可能である。例えば、いくつかの工程を組み合わせる、または拡張することができる。上述の工程に別の工程を挿入することもできる。実施形態によっては、特定の連続した工程を、これ以外の代替工程と相互交換することができる。これらの工程のさらなる詳細は、本願明細書全体、そして特に以降において見ることができる。
【００７７】
工程１６１０では、多数の特徴が生成される。一実施形態では、画像全体において特徴が計算される。別の実施形態では、画像は重なり合うタイルまたは空間コンポーネントに分割され、各画像タイルまたは空間コンポーネント上で特徴が計算される。これらの特徴は、画像のクラス付けに有用な画像の特定の特徴を表す。例えば、画像を結晶タイプ、位相／沈殿タイプ、透明タイプにクラス付けできる。
【００７８】
一実施形態では、画像のいくつかの特徴が事前決定される。この事前決定は、画像を手動および／または自動的に検査することで達成される。特徴は、画像が関連している結晶クラス、位相／沈殿クラス、透明クラスの各々によって表される。所定の特徴は、正確性を評価するため、クラシファイアの様々な設定を調整するために使用できる。
【００７９】
一実施形態では、これらの特徴は以下のうちいくつかまたは全てを含んでいる：
粗い画像の統計：大域的画像特徴；
円形カウント画像統計：種類の異なる円形および楕円形をカウントする；
閾値スライド特徴：十分な大きさのオブジェクトを区画化する閾値；
最大オブジェクト特徴：最大Ｂｌｏｂまたは画像中に見付かったオブジェクトの特徴；
離散フーリエ変換特徴：周波数分析特徴；
フォーム分析特徴：形状分析特徴；
Ｘ軸対称特徴：Ｘ軸周囲の対称を表す特徴；
Ｃａｎｎｙ画像サイン・フォリッピング特徴：Ｃａｎｎｙエッジ検出器を使用してサインのフリッピングを表す；
Ｈｏｕｇｈ変換特徴：直線を検出するために、Ｈｏｕｇｈ変換方法を用いて計算された特徴；
近傍ライン検出器特徴：直線パターンを検出する局所近傍において計算される特徴。
【００８０】
上述した特徴のリストは単に一例であり、特許請求の範囲を不当に制限するものであってはならない。当業者は多数の応用、代替、改良を理解するだろう。一実施形態では、近傍ライン検出器特徴について、Ｎ×Ｎ画素平方近傍が画像内の各画素周囲で中心決めされ、Ｎの固定値に考慮される。例えば、Ｎは９と等しい。近傍における各画素の勾配が計算される。近傍内における画素の全ての勾配に基づいて、近傍内の直線パターンを表す優勢方位角度が決定される。さらに、優勢な方位と整列した近傍内の画素数に基づいて、直線パターンの強度が決定される。多数の画素が１本の直線を形成しており、これらの画素にて中心決めされている各近傍が強力かつ同様に方位付けされた直線パターンを有する場合には、このような画素数と、方位の強度および類似性とを、クラス付けの特徴として使用することができる。
【００８１】
工程１６２０では、生成された複数の特徴から特定の特徴が選択される。例えば、反復的に特徴の追加・除去を行う自動方法を使用して特徴のサブセットが選択され、クラス付けの正確性が改善または最適化される。一実施形態では、クラスの各々の対について特徴選択工程が繰り返され、クラスの各々の対どうしの間を区別する正確性が改善される。この正確性は、クラシファイアからの結果と画像の所定の特徴との間で決定できる。例えば、画像は、結晶、位相／沈殿、透明を含む３つのクラスに関連している。別例では、クラスの各々の対について、工程１６１０で得られた全ての特徴から特定の特徴が選択される。この選択では、対どうしの間のフィッシャー判別式を計算し、偽陰性速度と偽陽性速度の間のプロットである受信機動作特徴（ＲＯＣ）曲線エリアを使用してそのクラス付けの正確性を評価する。３対のクラスについて、選択された特徴の３つのグループが決定される。各グループは１対のクラスに関連しており、別のグループと異なる、または同じであってよい。さらに、工程１６１０で得た近傍ライン検出器特徴のみについて、特徴選択工程が実行される。例えば、この選択は３対のクラスのうち２対に関連しており、２グループの選択された近傍ライン検出器特徴が決定される。さらに別の実施形態では、特徴選択工程にサブクラスの対を使用するために、クラスタリングアルゴリズムを用いて３つのクラスを副分割することができる。
【００８２】
工程１６３０では、選択された特徴が投影される。一実施形態では、選択された特徴の全てがより低い次元特徴空間上へ投影される。例えば、１３０個のオリジナル特徴から、５グループの特徴が選択される。上述で述べたように、３対のクラスについて、全ての特徴から３グループの特徴が選択され、また、２対のクラスについて、近傍ライン検出器特徴のみから２グループの特徴が選択される。これらの５グループの選択された特徴を使用して、５つのフィッシャー特徴を計算する。寸法の数は１３０から５へと減少される。
【００８３】
工程１６４０では、クラシファイアが調整される。一実施形態では、フィッシャー特徴がフィードフォワード・ニューラル・ネットワークに入力される。このネットワークは、バックプロパゲーション・アルゴリズムのようなニューラル・ネットワーク訓練アルゴリズムを使用して訓練される。ニューラル・ネットワークは複数の出力を有することができ、この出力の各々が、画像または画像タイルが結晶、位相／沈殿、透明のようなクラスのうちの１つに含まれている可能性を示している。画像が画像タイルに分割される場合には、空間融合アルゴリズムを使用して、異なる画像タイルへのニューラル・ネットワーク出力が１つの出力に組み合わされる。ニューラル・ネットワークからの出力と画像の所定の特徴との間の比較に基づいて、ニューラル・ネットワークの調整が行われる。例えば、ニューラル・ネットワークの重量および／または付勢が変更される。
【００８４】
工程１５２０では、画像のクラス付けが行われる。図２０は、本発明の一実施形態によるクラス付けを行うための簡略化された方法である。この線図は単に一例であり、特許請求の範囲を不当に制限するものであってはならない。当業者は多数の応用、代替、改良を理解するだろう。工程１５２０は、特徴を生成する工程１７１０、特徴を投影する工程１７２０、画像クラスを決定する工程１７３０を含んでいる。上述を、選択された連続した工程を用いて示したが、多数の代替、改良、応用が可能である。上述の工程に別の工程を挿入することができる。実施形態によっては、特定の連続した工程をこれ以外の代替工程と交換することができる。本発明のさらなる詳細は、本願明細書中全体、そして特に以降において見ることができる。
【００８５】
工程１７１０では、多数の特徴が生成される。これらの特徴には、工程１６２０で選択された全ての特徴が含まれる。一実施形態では、これらの特徴は画像全体上で計算される。別の実施形態では、画像が、重なり合うタイルまたは空間コンポーネントに分割され、これらの特徴が各々の画像タイルまたは空間コンポーネント上で計算される。さらに別の実施形態では、工程１７１０へ進む以前に、画像上にスクラブ操作およびリッピング操作が実行される。
【００８６】
工程１７２０では、選択された特徴が投影される。一実施形態では、工程１６２０にて選択された全ての特徴がより低い寸法特徴空間上に投影される。例えば、工程１６２０では、１３０個のオリジナルの特徴から５グループの特徴が選択される。これらの選択された特徴は、工程１７１０にて計算され、５つのフィッシャー特徴を計算するために使用される。
【００８７】
工程１７３０では、画像クラスが決定される。一実施形態では、フィッシャー特徴がフィードフォワード・ニューラル・ネットワークに入力される。ニューラル・ネットワークは複数の出力を有することができ、各々の出力は、画像または画像タイルが、結晶、位相／沈殿、透明のクラスのうちの１つに含まれている可能性を示す。画像が画像タイトルに分割される場合には、空間融合アルゴリズムを使用して、異なる画像タイルへのニューラル・ネットワーク出力が１つの出力に組み合わされる。別の実施形態では、結晶の可能性が閾値と比較される。結晶の可能性が閾値を超える場合には、画像は結晶画像とクラス付けされる。例えば、閾値は５０％である。
【００８８】
上述し、さらにここで強調するように、図１〜図１７は本発明の特徴の実施形態を示しており、これらの実施形態には多くの例が含まれている。例えば、工程５１０、５２０、５３０、５４０、５５０のいくつかまたは全てに関連しているＴ０画像および／またはＴＭ画像を、画像化システム１０によって直接取得できる、または、画像化システム１０によって取得した複数の画像から生成できる。本発明の一実施形態では、画像化システム１０は、複数のｚ焦点位置の各々において、マイクロ流体システム３０のいくつかのエリアにつき複数の画像を捕獲する。異なるｚ平面における複数の画像が、Ｔ０画像またはＴＭ画像を用いて１つの画像に組み合わされる。
【００８９】
図２１は、本発明の一実施形態による、画像を合成する簡略化された方法である。この線図は単に一例であり、特許請求の範囲を不当に制限するものであってはならない。当業者は多数の応用、代替、改造を理解するだろう。この方法１８００は、画像特徴を決定する工程１８１０、統計分析を実行する工程１８２０、合成画像を生成する工程１８３０を含んでいる。上述を、選択された連続する工程を用いて示したが、多数の代替、改良、応用が可能である、例えば、いくつかの工程は組み合わせまたは拡張される。上述の工程に別の工程を挿入することもできる。実施形態によっては、特定の連続した工程を、これ以外の代替工程と相互交換することができる。これら工程のさらなる詳細は、本願明細書全体にかけて、特に以降において見ることができる。
【００９０】
工程１８１０では、複数の画像について特定の画像特徴が決定される。一実施形態では、各画像の各々の画素について、鮮明さと色が決定される。例えば、鮮明さはラプラス演算子によって決定され、色はＨＳＶカラーモードの飽和によって決定される。工程１８２０では、統計分析が実行される。一実施形態では、鮮明さの手段、および色の手段のような統計が、全ての画像に決定される。
【００９１】
工程１８３０では、合成画像が生成される。例えば、
【００９２】
【数１】
ここで、Ｎは複数の画像についての画像の数である。合成画像（ｘ、ｙ）は、画素（ｘ、ｙ）にて合成された画像の強度であり、画像ｍ（ｘ、ｙ）は画素（ｘ、ｙ）における画像ｍの強度である。例えば、画像強度は、赤色強度、緑色強度、青色強度を含む３つの構成要素を有する。所与の色に関連した組み合わされた画像の強度は、同色に関連した画像ｍの強度に依存する。重量Ｗｔｍは、画像ｍの画素（ｘ、ｙ）における鮮明さと色に基づいて決定される。例えば、
【００９３】
【数２】
ここで、ラプラスｍ（ｘ、ｙ）と飽和ｍ（ｘ、ｙ）は、画像ｍ上の画素（ｘ、ｙ）のラプラス演算子と飽和の各々の値である。平均ラプラスは、複数の画像全ての全画素についてのラプラス値の平均であり、平均飽和は、複数の画像全ての全画素についての飽和値の平均である。
【００９４】
画像を合成する方法には様々な用途がある。例えば、特定のマイクロ流体装置では、反応チャネルまたは蛋白質ウェルのような反応チャンバの深度が大きい。結晶は、反応チャンバ内のいずれかの場所に配置できる。図２２は、本発明の位置実施形態による深いチャンバのための単純化された線図である。この線図は単に一例であり、特許請求の範囲を不当に制限するものであってはならない。当業者は多数の応用、代替、改良を理解するだろう。蛋白質ウェル１９００は約３００ミクロンの深度を有する。一例では、１０Ｘ対物レンズの焦点深度は３００ミクロン未満であり、単一のｚ面画像捕獲は全ての結晶１９１０、１９２０、１９３０を捕獲することはできない。画像化システムが蛋白質ウェルの中央に焦点すると、この画像は結晶１９２０のみを捕獲する。
【００９５】
図２３は、本発明の一実施形態による複数の画像を捕獲する簡略化された線図である。この線図は単に一例であり、特許請求の範囲を不当に制限するものであってはならない。当業者は多数の応用、代替、改良を理解するだろう。一例では、３枚の画像が取得される。画像＃１は結晶１９１０を捕獲し、画像＃２は結晶１９２０を捕獲し、画像＃３は結晶１９３０を捕獲する。この画像の枚数は、画像化システムの対物レンズおよびアパーチャ設定に従って異なる。アパーチャがより小さいほど、被写界深度がより大きくなり、さらに必要な画像枚数も少なくなる。例えば、ステップサイズが７０ミクロンの５枚の画像を、１０Ｘ対物レンズと共に使用できる。捕獲された複数の画像は、方法１８００に従って組み合わせられる。
【００９６】
一実施形態では、３枚の画像の各々は、所与の（ｘ、ｙ）の場所毎に３つの構成要素を有する。この３つの構成要素は、赤色強度、緑色強度、青色強度を含んでいる。同様に、合成画像も、所与（ｘ、ｙ）の場所毎に同じ３つの構成要素を有する。例えば、画素場所（１０、１０）において、画像１（１０、１０）＝（２００、１００、５０）、画像２（１０、１０）＝（１００、２００、１５０）、画像３（１０、１０）＝５０、５０、５０）である。これに関連する重量はｗｔ１（１０、１０）＝０．１、ｗｔ２（１０、１０）＝１０、ｗｔ３（１０、１０）＝０．２である。式１によれば、合成画像（１０、１０）は以下のとおりである。
【００９７】
【数３】
ここで、合成画像は、１０と等しいｘ、１０と等しいｙにおいて、１００の赤色強度、１９６．１２の緑色強度、１４７．０９の青色強度を有する。上述し、ここでさらに強調するように、式３は単に一例であり、特許請求の範囲を不当に制限するものであってはならない。当業者は多数の応用、代替、改良を理解するだろう。
【００９８】
本発明の例は、上述した発明的工程の全てまたは特定をプロセッサに実行させるコードを含んでいる。このコンピュータコードは、Ｃ＋＋言語または他のコンピュータ言語を使用して実現される。このコンピュータコードは、本願明細書中の特許請求の範囲を制限することを意図したものではない。当業者は、これ以外の応用、改良、代替を理解するだろう。
【００９９】
本発明の一実施形態によれば、コンピュータ読取り可能な媒体は、マイクロ留置ａ装置の１画像を処理する旨の命令を含んでいる。コンピュータ読み取り媒体は、マイクロ流体画像の第１画像を受信する旨の一つ以上の命令を含んでいる。第１画像は、第１基底点と第１チャンバ領域を含んでおり、第１チャンバ領域は第１チャンバ境界線に関連している。これに加え、コンピュータ読取り可能な媒体は、第１基底点に関連した情報に少なくとも基づいて、第１画像を第１座標空間に変換する旨の一つ以上の命令と、第１画像から第１チャンバ境界線の少なくとも第１部分を除去する旨の一つ以上の命令とを含んでいる。さらに、コンピュータ読取り可能な媒体は、第１チャンバ領域に関連した情報を処理する旨の一つ以上の命令と、第１チャンバ領域内に第１結晶が存在するか否かを決定する旨の一つ以上の命令とを含んでいる。
【０１００】
本発明の別の実施形態によれば、コンピュータ読取り可能な媒体は、マイクロ流体装置の複数の画像を処理する旨の命令を含んでいる。このコンピュータ読み取り媒体は、マイクロ流体装置の少なくとも第１画像と第２画像を受信する旨の、一つ以上の命令を含んでいる。第１画像と第２画像は、第１焦点位置と第２焦点位置をそれぞれ設けており、第１画像と第２画像の各々は第１チャンバ領域を含んでいる。さらに、コンピュータ読取り可能な媒体は、第１画像と第２画像に関連した情報を処理する旨の、一つ以上の命令と、第１画像と第２画像に関連した情報に少なくとも基づき第３画像を生成する旨の、一つ以上の命令とを含んでいる。さらに、コンピュータ読取り可能な媒体は、第３画像に関連した情報を処理する旨の一つ以上の命令と、第１チャンバ領域内に第１結晶が存在するか否かを、第３画像に関連した情報に少なくとも基づき決定する旨の一つ以上の命令とを含んでいる。
【０１０１】
本発明のさらに別の実施形態によれば、コンピュータ読取り可能な媒体は、クラシファイアを調整し、マイクロ流体装置の画像を処理する旨の命令を含んでいる。コンピュータ読取り可能な媒体は、マイクロ流体装置の第１画像を受信する旨の一つ以上の命令を含んでいる。第１画像は、少なくとも第１の所定の特徴に関連している。さらに、コンピュータ読取り可能な媒体は、第１画像に関連した情報に少なくとも基づき第１の複数の特徴を生成する旨の一つ以上の命令と、第１の複数の特徴から第２の複数の特徴を、第１の複数の特徴と少なくとも第１の所定の特徴とに関連した情報に少なくとも基づいて選択する旨の一つ以上の命令とを含む。さらに、コンピュータ読取り可能な媒体は、第３の複数の特徴を、第２の複数の特徴に関連した情報に少なくとも基づき決定する旨の一つ以上の命令と、第３の複数の特徴に関連した情報を処理する旨の一つ以上の命令とを含む。また、コンピュータ読取り可能な媒体は、情報に少なくとも基づいた少なくとも第１の可能性を、第３の複数の特徴および第１の複数のパラメータに基づいて決定する旨の一つ以上の命令と、第１の可能性および少なくとも第１の所定の特徴に関連した情報を処理する旨の一つ以上の命令と、第１の可能性および少なくとも第１の所定の特徴に関連した情報に少なくとも基づき、第１の複数のパラメータを調整する旨の一つ以上の命令とを含んでいる。
【０１０２】
さらに別の実施形態では、工程１３５０にて、第２制御チャネルの壁が検出される。一実施形態では、界面ライン１４１０が見付かると、界面ライン１４１０と汚染物ライン１４２０の間の所定長さの反応チャネル１４３０を使用して、汚染物ライン１４２０の位置が計算される。この計算により、この壁１４２２のおおよその場所が得られる。その後、壁１４１４、１４２２のおおよその場所が、微修正工程によってさらに調整される。微修正のための例証的なコンピュータコードを以下に示す。
【０１０３】
【表１】
【０１０４】
【表２】
【０１０５】
【表３】
【０１０６】
【表４】
【０１０７】
【表５】
【０１０８】
【表６】
【０１０９】
【表７】
【０１１０】
【表８】
上述し、ここでされに強調するように、上述のコンピュータ読み取り媒体およびコンピュータコードの例は単に例証であり、本願明細書中の特許請求の範囲を不当に制限するものであってはならない。当業者は多数の応用、代替、改良を理解するだろう。例えば、いくつかの工程はハードウェアによって達成でき、他の工程はソフトウェアによって達成できる。いくつかの工程は、ハードウェアとソフトウェアの組み合わせによって達成できる。上述を、選択された連続した工程を用いて説明したが、多数の代替、改良、応用が可能である。例えば、いくつかの工程は拡張および／または組み合わせることができる。実施形態によっては、特定の連続した工程を、これ以外の代替工程と相互交換することができる。
【０１１１】
付録Ａと付録Ｂは、本特許明細書の一部分として添付されている。これらの付録はいくつかの例を提供しているが、これらは本願明細書中の特許請求の範囲を不当に制限するものであってはならない。当業者は多数の応用、代替、改良を理解するだろう。
【０１１２】
ここに記載した例および実施形態は例証のみを目的としたものであり、これを考慮した様々な改良または変更が当業者に提案され、またこれらは本願明細書および付属の特許請求の範囲の精神および範囲内に包括されるものである。
【０１１３】
【表９】
【０１１４】
【表１０】
【０１１５】
【表１１】
【０１１６】
【表１２】
【０１１７】
【表１３】
【０１１８】
【表１４】
【０１１９】
【表１５】
【０１２０】
【表１６】
【０１２１】
【表１７】
【０１２２】
【表１８】
【０１２３】
【表１９】
【０１２４】
【表２０】
【０１２５】
【表２１】
【０１２６】
【表２２】
【０１２７】
【表２３】
【０１２８】
【表２４】
【０１２９】
【表２５】
【０１３０】
【表２６】
【０１３１】
【表２７】
【０１３２】
【表２８】
【０１３３】
【表２９】
【０１３４】
【表３０】
【０１３５】
【表３１】
【０１３６】
【表３２】
【０１３７】
【表３３】
【０１３８】
【表３４】
【０１３９】
【表３５】
【０１４０】
【表３６】
【０１４１】
【表３７】
【０１４２】
【表３８】
【０１４３】
【表３９】
【０１４４】
【表４０】
【０１４５】
【表４１】
【０１４６】
【表４２】
【０１４７】
【表４３】
【０１４８】
【表４４】
【０１４９】
【表４５】
【０１５０】
【表４６】
【０１５１】
【表４７】
【０１５２】
【表４８】
【０１５３】
【表４９】
【０１５４】
【表５０】
【０１５５】
【表５１】
【０１５６】
【表５２】
【０１５７】
【表５３】
【０１５８】
【表５４】
【０１５９】
【表５５】
【０１６０】
【表５６】
【０１６１】
【表５７】
【０１６２】
【表５８】
【０１６３】
【表５９】
【０１６４】
【表６０】
【０１６５】
【表６１】
【０１６６】
【表６２】
【０１６７】
【表６３】
【０１６８】
【表６４】
【０１６９】
【表６５】
【０１７０】
【表６６】
【０１７１】
【表６７】
【０１７２】
【表６８】
【０１７３】
【表６９】
【０１７４】
【表７０】
【０１７５】
【表７１】
【０１７６】
【表７２】
【０１７７】
【表７３】
【０１７８】
【表７４】
【０１７９】
【表７５】
【０１８０】
【表７６】
【０１８１】
【表７７】
【０１８２】
【表７８】
【図面の簡単な説明】
【０１８３】
【図１】図１は、例証的な画像システムの概観を示す。
【図２】図２ａおよび２ｂは、本発明によって使用される例証的なマイクロ流体装置の平面図と断面図を示す。
【図３】図３ａおよび３ｂは、本発明による測定セルのストレッチと歪みの補正の実施状態を示す。
【図４】図４ａ〜４ｃは、本発明によって採用されたマスキングおよび画像減算の工程を示す。
【図５】図５は、本発明の一実施形態による画像処理方法の簡略化された線図である。
【図６】図６は、本発明の一実施形態による画像を変換するための簡略化された工程５２０である。
【図７】図７は、本発明の一実施形態による簡略化されたウェルおよびチャネルを示す。
【図８】図８は、サンプル１‐Ｄ信号を示す簡略化された線図である。
【図９】図９は、サンプル１‐Ｄ信号を示す簡略化された線図である。
【図１０】図１０は、サンプル１‐Ｄ信号を示す簡略化された線図である。
【図１１】図１１は、本発明の位置実施形態よる、画像のマスキングを行うための簡略化された線図である。
【図１２】図１２は、内方破裂パディング工程のための簡略化された線図である。
【図１３】図１３は、本発明の一実施形態よる壁検出を行うための簡略化された方法である。
【図１４】図１４（ａ）、（ｂ）および（ｃ）は、本発明の一実施形態による壁検出を行うための簡略化された線図である。
【図１５】図１５は、本発明の一実施形態による内方破裂パディングのための簡略化された方法である。
【図１６】図１６は、本発明の一実施形態による壁内方破裂のための簡略化された線図である。
【図１７】図１７は、本発明の一実施形態による、別時における壁内方破裂のための簡略化された線図である。
【図１８】図１８は、本発明の一実施形態による画像検査のための簡略化された方法である。
【図１９】図１９は、本発明の一実施形態による簡略化された訓練方法である。
【図２０】図２０は、本発明の一実施形態によるクラス付けのための簡略化された方法である。
【図２１】図２１は、本発明の一実施形態による、画像を合成するための簡略化された方法である。
【図２２】図２２は、本発明の一実施形態によるディープチャンバのための簡略化された線図である。
【図２３】図２３は、本発明の一実施形態による、複数の画像を捕獲するための簡略化された線図である。
【特許請求の範囲】
【請求項１】
マイクロ流体装置の画像を処理する方法であって、
該マイクロ流体装置の第１画像を受信することであって、該第１画像は第１状態に対応している、ことと、
該マイクロ流体装置の第２画像を受信することであって、該第２画像は第２状態に対応している、ことと、
該第１画像を第３座標空間に変換することであって、該変換は該第１画像の少なくとも第１基底を用いる、ことと、
該第２画像を該第３座標空間に変換することであって、該変換は該第２画像の少なくとも第２基底を用いる、ことと、
該変換された第１画像と該変換された第２画像に関連した情報に少なくとも基づいて第３画像を取得することと、
該第３画像を処理することによって該第１状態と該第２状態とに関連した情報を取得することと
を包含する、方法。
【請求項２】
前記少なくとも第１画像上の第１基底を定めることと、
前記少なくとも第２画像上の第２基底を定めることと
をさらに包含する、請求項１に記載の方法。
【請求項３】
前記第１画像を第３座標空間に変換することが、
前記少なくとも第１基底を該第３座標空間の少なくとも第３基底に関連付けることと、
前記少なくとも第１基底と少なくとも第３基底とに関連した情報に少なくとも基づいて、該第１画像への第１変換を実行することと
を包含する、請求項１に記載の方法。
【請求項４】
前記第１変換を実行することが、
前記少なくとも第１基底と前記少なくとも第３基底に関連した情報に少なくとも基づいて、該第１変換を推測することと、
該第１変換を用いて前記第１画像を前記第３座標空間に変換することと
を包含する、請求項３に記載の方法。
【請求項５】
前記第２画像を第３座標空間に変換することが、
前記少なくとも第２基底を、前記第３座標空間の少なくとも第３基底に関連付けることと、
該少なくとも第２基底と該少なくとも第３基底に関連した情報に少なくとも基づいて、該第２画像に第２変換を実行することと
を包含する、請求項４に記載の方法。
【請求項６】
前記第２変換を実行することが、
前記少なくとも第２基底と前記少なくとも第３基底に関連した情報に少なくとも基づいて、該第２変換を推測することと、
該第２変換を用いて前記第２画像を前記第３座標空間に変換することと
を包含する、請求項５に記載の方法。
【請求項７】
前記第３画像を取得することが、前記第１画像と第２画像との差分を取得することを包含する、請求項１に記載の方法。
【請求項８】
前記第３画像を取得することが、
前記第１画像の少なくとも第１部分をマスキングすることであって、該少なくとも第１部分は前記第１状態に関連した情報を含まない、ことと、
前記第２画像の少なくとも第２部分をマスキングすることであって、該少なくとも第２部分は前記第２状態に関連した情報を含まない、ことと
をさらに包含する、請求項７に記載の方法。
【請求項９】
前記少なくとも第２部分が前記少なくとも第１部分に対応し、該少なくとも第２部分は、前記第１画像から前記第２画像への特徴の変更に関連した情報に少なくとも基づく、請求項８に記載の方法。
【請求項１０】
前記第３画像を取得することが、該第３画像の少なくとも第３部分をマスキングすることをさらに包含し、該少なくとも第３部分は、前記第１状態と前記第２状態とに関連した情報を含まない、請求項７に記載の方法。
【請求項１１】
前記少なくとも第３部分が、前記第１画像から前記第２画像への特徴の変更に関連した情報に少なくとも基づく、請求項１０に記載の方法。
【請求項１２】
マイクロ流体装置の画像を処理する命令を含むコンピュータ読取り可能な媒体であって、
該マイクロ流体装置の第１画像を受信する一つ以上の命令であって、該第１画像は第１状態に対応する、命令と、
該マイクロ流体装置の第２画像を受信する一つ以上の命令であって、該第２画像は第２状態に対応する、命令と、
該第１画像を第３座標空間に変換する一つ以上の命令であって、該変換は害第１画像上の少なくとも第１基底を用いる、命令と、
該第２画像を該第３座標空間に変換する一つ以上の命令であって、該変換は該第２画像上の少なくとも第２基底を用いる、命令と、
該変換された第１画像と該変換されたに画像に関連した情報に少なくとも基づいて第３画像を取得する一つ以上の命令と、
該第３画像を処理することによって該第１状態と該第２状態に関連した情報を取得する一つ以上の命令と
を含む、コンピュータ読取り可能な媒体。
【請求項１３】
前記少なくとも第１画像上の第１基底を定める一つ以上の命令と、
前記少なくとも第２画像上の第２基底を定める一つ以上の命令と
を含む、請求項１２に記載のコンピュータ読取り可能な媒体。
【請求項１４】
前記第１画像を第３座標空間に変換する一つ以上の命令が、
前記少なくとも第１基底を前記第３座標空間内の少なくとも第３基底に関連付ける一つ以上の命令と、
該少なくとも第１基底と該少なくとも第３基底とに関連した情報に少なくとも基づいて、該第１画像に第１変換を実行する一つ以上の命令と
を含む、請求項１２に記載のコンピュータ読取り可能な媒体。
【請求項１５】
前記第１変換を実行する一つ以上の命令が、
前記少なくとも第１基底と前記少なくとも第２基底とに関連した情報に少なくとも基づいて、第１変換を推測する一つ以上の命令と、
該第１変換を用いて前記第１画像を前記第３座標空間に変換する一つ以上の命令と
を含む、請求項１４に記載のコンピュータ読取り可能な媒体。
【請求項１６】
前記第２画像を第３座標空間に変換する一つ以上の命令が、
前記少なくとも第２基底を該第３座標空間内の少なくとも第３基底に関連付ける一つ以上の命令と、
該少なくとも第２基底と該少なくとも第３基底とに関連した情報に少なくともに基づいて、該第２画像に第２変換を実行する一つ以上の命令と
を含む、請求項１５に記載のコンピュータ読取り可能な媒体。
【請求項１７】
前記第２変換を実行する一つ以上の命令が、
前記少なくとも第２基底と前記少なくとも第３基底とに関連した情報に少なくとも基づいて、前記第２変換を推測する一つ以上の命令と、
該第２変換を用いて前記第２画像を前記第３座標空間に変換する一つ以上の命令と
を含む、請求項１６に記載のコンピュータ読取り可能な媒体。
【請求項１８】
前記第３画像を取得する一つ以上の命令が、前記第１画像と前記第２画像との差分を取得する一つ以上の命令を含む、請求項１２に記載のコンピュータ読取り可能な媒体。
【請求項１９】
前記第３画像を取得する一つ以上の命令が、
前記少なくとも第１画像の第１部分をマスキングする一つ以上の命令であって、該少なくとも第１部分は前記第１状態に関連した情報を含まない、命令と、
前記少なくとも第２画像の第２部分をマスキングする一つ以上の命令であって、該少なくとも第２部分は前記第２状態に関連した情報を含まない、命令と
をさらに含む、請求項１８に記載のコンピュータ読取り可能な媒体。
【請求項２０】
前記少なくとも第２部分が前記少なくとも第１部分に対応し、該少なくとも第２部分は、前記第１画像から前記第２画像への特徴の変更に関連した情報に少なくとも基づく、請求項１９に記載のコンピュータ読取り可能な媒体。
【請求項２１】
前記第３画像を取得する一つ以上の命令が、該第３画像の少なくとも第３部分をマスキングする一つ以上の命令であって、該少なくとも第３部分は、第１状態と第２状態に関連した情報を含まない、命令をさらに含む、請求項１８に記載のコンピュータ読取り可能な媒体。
【請求項２２】
前記少なくとも第３部分が、前記第１画像から前記第２画像への特徴の変更に関連した情報に少なくとも基づく、請求項２１に記載のコンピュータ読取り可能な媒体。
【請求項２３】
前記第１状態が前記第２状態と異なる、請求項１に記載の方法。
【請求項２４】
前記第１状態が前記第２状態と同一である、請求項１に記載の方法。
【請求項２５】
前記第１状態が結晶化の欠如に関連する、請求項１に記載の方法。
【請求項２６】
前記第２状態が結晶化の存在に関連する、請求項２５に記載の方法。
【請求項２７】
前記第２状態が結晶化の欠如に関連する、請求項２５に記載の方法。
【請求項２８】
前記第１状態が前記第２状態と異なる、請求項１２に記載のコンピュータ読取り可能な媒体。
【請求項２９】
前記第１状態が前記第２状態と同一である、請求項１２に記載のコンピュータ読取り可能な媒体。
【請求項３０】
前記第１状態が結晶化の欠如に関連する、請求項１２に記載のコンピュータ読取り可能な媒体。
【請求項３１】
前記第２状態が結晶化の存在に関連する、請求項３０に記載のコンピュータ読取り可能な媒体。
【請求項３２】
前記第２状態が結晶化の欠如に関連する、請求項３０に記載のコンピュータ読取り可能な媒体。
【請求項３３】
マイクロ流体装置の画像を処理する方法であって、
該マイクロ流体装置の第１画像を受信することであって、該第１画像は第１基底点と第１チャンバ領域を含み、該第１チャンバ領域は第１チャンバ境界線に関連する、ことと、
該第１基底点に関連した情報に少なくとも基づいて、該第１画像を第１座標空間に変換することと、
該第１画像から該第１チャンバ境界線の少なくとも第１部分を除去することと、
該第１チャンバ領域に関連した情報を処理することと、
該第１チャンバ領域内に第１結晶が存在するか否かを決定することと
を包含する、方法。
【請求項３４】
前記第１チャンバ領域内に第１結晶が存在するか否かを決定することが、
該第１チャンバ領域に関連した情報に少なくともに基づいて、第１の複数の特徴を生成することと、
該第１の複数の特徴に関連した情報を処理することと、
該第１の複数の特徴に関連した情報に少なくとも基づいて、第２の複数の特徴を決定することと、
該第２の複数の特徴に関連した情報を処理することと、
該第１チャンバ領域内に該第１結晶が存在するか欠如しているかを決定することと
を包含する、請求項３３に記載の方法。
【請求項３５】
前記第１チャンバ領域内に第１結晶が存在するか欠如しているかを決定することが、
前記第２の複数の特徴に関連した情報に少なくとも基づいて、該チャンバ領域内に該第１結晶が存在する第１の可能性を決定することと、
該第１の可能性と第１閾値とに関連した情報を処理することと、
該第１の可能性が該第１閾値を超えた場合には、該第１結晶が存在すると決定し、該第１の可能性が該第１閾値を超えない場合には、該第１結晶が欠如していると決定することと
を包含する、請求項３４に記載の方法。
【請求項３６】
前記第１の複数の特徴が、少なくとも近傍ライン検出器特徴を備え、該近傍ライン検出器特徴は少なくとも直線パターンの検出に関連する、請求項３４に記載の方法。
【請求項３７】
前記第２の複数の特徴が第１フィッシャー特徴を備える、請求項３４に記載の方法。
【請求項３８】
前記第１フィッシャー特徴が第１画像状態および第２画像状態に関連し、該第１画像状態と該第２画像状態の各々は、結晶状態と、位相／沈殿状態と、透明状態とからなる群から選択される、請求項３７に記載の方法。
【請求項３９】
前記第１チャンバ境界線が第１区画と第２区画を備え、該第１区画は該第２区画と実質的に平行の関係にあり、
該第１画像から該第１チャンバ境界線の少なくとも第１部分を除去することが、
第１方向に沿った第１の複数の画素に関連した第１複数の強度を決定することであって、該第１方向は該第１区画と該第２区画の両方に交差する、ことと、
該第１の複数の強度に関連した情報を処理することと、
該第１複数の強度に関連した情報に少なくとも基づいて、該第１区画に関連した第１場所と、該第２区画に関連した第２場所とを決定することと
を包含する、請求項３３に記載の方法。
【請求項４０】
前記第１区画に関連した第１場所と、前記第２区画に関連した第２場所とを決定することが、
前記第１の複数の強度に関連した情報に少なくとも基づいて、該第１区画に関連した第３場所を決定することと、
該第３場所に関連した情報と、該第１区画と該第２区画間の所定の距離とに少なくとも基づいて、該第２区画に関連した第４場所を決定することと、
該第３場所と、該第４場所と、該第１の複数の強度とに関連した情報を少なくとも処理することと、
該第３場所と、該第４場所と、該第１の複数の強度とに関連した情報に少なくとも基づいて、該第１場所と該第２場所とを決定することと
を包含する、請求項３９に記載の方法。
【請求項４１】
前記第３場所と、前記第４場所と、前記第１の複数の強度とに関連した情報に少なくとも基づいた前記第１場所と前記第２場所とを決定することが、
該第３場所に関連した第１ペナルティ関数を決定することと、
該第４場所に関連した第２ペナルティ関数を決定することと、
該第１ペナルティ関数と該第２ペナルティ関数とに関連した情報を処理することと、
該第３ペナルティ関数を決定することであって、該第３ペナルティ関数は該第１ペナルティ関数と該第２ペナルティ関数とに関連する、ことと、
該第３ペナルティ関数に関連した情報を処理することと、
該第３ペナルティ関数に関連した情報に少なくとも基づいて、該第１場所と該第２場所とを決定することと
を包含する、請求項４０に記載の方法。
【請求項４２】
前記第３ペナルティ関数に関連した情報に少なくとも基づいて前記第１場所と前記第２場所とを決定することが、前記第３ペナルティ関数を最小化することを包含する、請求項４１に記載の方法。
【請求項４３】
マイクロ流体装置の複数の画像を処理する方法であって、
該マイクロ流体装置の少なくとも第１画像および第２画像を受信することであって、該第１画像は第１焦点位置に関連し、該第２画像は第２焦点位置に関連し、該第１画像と該第２画像の各々は第１チャンバ領域を含む、ことと、
該第１画像と該第２画像とに関連した情報を処理することと、
該第１画像と該第２画像とに関連した情報に少なくとも基づいて第３画像を生成することと、
該第３画像に関連した画像を処理することと、
該第３画像に関連した情報に少なくとも基づいて、該第１チャンバ領域内に第１結晶が存在するか否かを決定することと
を包含する、方法。
【請求項４４】
前記第３画像が第１基底点を備え、
前記第１チャンバ領域が第１チャンバ境界線に関連し、
該第１チャンバ領域内に第１結晶が存在するか否かを決定することが、
該第１基底点に関連した情報に少なくとも基づいて、該第３画像を第１座標空間に変換することと、
該第３画像から少なくとも該第１チャンバ境界線の第１部分を除去することと、
該第１チャンバ領域に関連した情報を処理することと、
該第１チャンバ領域内に第１結晶が存在するか欠如しているかを決定することと
を包含する、請求項４３に記載の方法。
【請求項４５】
前記チャンバ領域内に第１結晶が存在するか欠如しているかを決定することが、
前記第１チャンバ領域に関連した情報に少なくとも基づいて、第１の複数の特徴を生成することと、
該第１の複数の特徴に関連した情報を処理することと、
該第１の複数の特徴に関連した情報に少なくとも基づいて、第２の複数の特徴を決定することと、
該第２の複数の特徴に関連した情報を処理することと、
該第１チャンバ領域内に前記第１結晶が存在するか欠如しているかを、該第２の複数の特徴に関連した情報に少なくとも基づいて決定することと
を包含する、請求項４４に記載の方法。
【請求項４６】
前記第３画像を生成することが、
前記第１画像に関連した第１の複数の鮮明値と第１の複数の色値とを決定することと、
前記第２画像に関連した第２の複数の鮮明値と第２の複数の色値とを決定することと、
該第１の複数の鮮明値と、該第１の複数の色値と、該第２の複数の鮮明値と、該第２の複数の色値とに関連した情報を処理することと、
該第１の複数の鮮明値と、該第１の複数の色値と、該第２の複数の鮮明値と、該第２の複数の色値に関連した情報に少なくとも基づいて、該第３画像に関連した第１の複数の強度を決定することと
を包含する、請求項４３に記載の方法。
【請求項４７】
前記第１の複数の強度が、複数の赤色強度と、複数の緑色強度と、複数の青色強度とを含む、請求項４６に記載の方法。
【請求項４８】
クラシファイアを調整しマイクロ流体装置の画像を処理する方法であって、
該マイクロ流体装置の第１画像を受信することであって、該第１画像は少なくとも第１の所定の特徴に関連する、ことと、
該第１画像に関連した情報に少なくとも基づいて、第１の複数の特徴を生成することと、
該第１の複数の特徴と該第１の所定の特徴とに少なくとも基づいて、該第１の複数の特徴から第２の複数の特徴を選択することと、
該第２の複数の特徴に関連した情報に少なくとも基づいて第３の複数の特徴を決定することと、
該第３の複数の特徴に関連した情報を処理することと、
該第３の複数の特徴と第１の複数のパラメータとに関連した情報に少なくとも基づいて、少なくとも第１の可能性を決定することと、
該少なくとも第１の可能性と該第１の所定の特徴とに関連した情報を処理することと、
該第１の可能性と該少なくとも第１の所定の特徴とに関連した情報に少なくとも基づいて、該第１の複数のパラメータを調整することと
を包含する、方法。
【請求項４９】
前記マイクロ流体装置の第２画像を受信することと、
該第２画像に関連した情報に少なくとも基づいて、前記第２の複数の特徴を生成することと、
該第２の複数の特徴に関連した情報を処理することと、
該第２の複数の特徴に関連した情報に少なくとも基づいて、前記第３の複数の特徴を決定することと、
該第３の複数の特徴と前記第１の複数の調整されたパラメータとに関連した情報を処理することと、
該第３の複数の特徴と該第１の複数の調整されたパラメータとに関連した情報に基づいて、該第２画像内に第１結晶が存在するか欠如しているかを決定することと
をさらに包含する、請求項４８に記載の方法。
【請求項５０】
前記第２画像内に前記第１結晶が存在するか欠如しているかを決定することが、
前記第３の複数の特徴に関連した情報に少なくとも基づいて、該第２画像内に該第１結晶が存在している第２の可能性を決定することと、
該第２の可能性と第１閾値とに関連した情報を処理することと、
該第２の可能性が第１閾値を超えた場合には該第１結晶が存在すると決定し、該第２の可能性が該第１閾値を超えない場合には該第１結晶が欠如していると決定することと
を包含する、請求項４９に記載の方法。
【請求項５１】
前記第１の複数の特徴が少なくとも近傍ライン検出器特徴を備え、該近傍ライン検出器特徴は少なくとも直線パターンの検出に関連する、請求項４８に記載の方法。
【請求項５２】
前記第３の複数の特徴が第１フィッシャー特徴を備える、請求項４８に記載の方法。
【請求項５３】
前記第１フィッシャー特徴が第１画像状態と第２画像状態とに関連し、該第１画像状態と該第２画像状態との各々は、結晶状態と、位相／沈殿状態と、透明状態とからなる群から選択される、請求項４８に記載の方法。
【請求項５４】
マイクロ流体装置の画像を処理する命令を含むコンピュータ読取り可能な媒体であって、
該マイクロ流体装置の第１画像を受信する一つ以上の命令であって、該第１画像は第１基底点と第１チャンバ領域を含み、該第１チャンバ領域は第１チャンバ境界線に関連する、命令と、
該第１基底点に関連した情報に少なくとも基づいて、該第１画像を第１座標空間に変換する一つ以上の命令と、
該第１画像から該第１チャンバ境界線の第１部分を除去する一つ以上の命令と、
該第１チャンバ領域に関連した情報を処理する一つ以上の命令と、
該第１チャンバ領域内に第１結晶が存在するか否かを決定する一つ以上の命令と
を含む、コンピュータ読取り可能な媒体。
【請求項５５】
前記第１チャンバ領域内に前記第１結晶が存在するか否かを決定する一つ以上の命令が、
該第１チャンバ領域に関連した情報に少なくとも基づいて、第１の複数の特徴を生成する一つ以上の命令と、
該第１の複数の特徴に関連した情報を処理する一つ以上の命令と、
該第１の複数の特徴に関連した情報に少なくとも基づいて、第２の複数の特徴を決定する一つ以上の命令と、
該第２の複数の特徴に関連した情報を処理する一つ以上の命令と、
該第１チャンバ領域内に該第１結晶が存在または欠如していることを決定する一つ以上の命令と
を含む、請求項５４に記載のコンピュータ読取り可能な媒体。
【請求項５６】
前記第１チャンバ領域内に前記第１結晶が存在または欠如していることを決定する一つ以上の命令が、
該第１チャンバ領域内に該第１結晶が存在する第１の可能性を、前記第２の複数の特徴に関連した情報に少なくとも基づいて決定する一つ以上の命令と、
該第１の可能性と第１閾値とに関連した情報を処理する一つ以上の命令と、
該第１の可能性が該第１閾値を超えた場合には該第１結晶が存在すると決定し、該第１の可能性が該第１閾値を超えない場合には該第１結晶が欠如していると決定する一つ以上の命令と
を含む、請求項５５に記載のコンピュータ読取り可能な媒体。
【請求項５７】
第１の複数の特徴が少なくとも近傍ライン検出器特徴を備え、該近傍ライン検出器特徴は少なくとも直線パターンの検出に関連する、請求項５５に記載のコンピュータ読取り可能な媒体。
【請求項５８】
前記第２の複数の特徴が第１フィッシャー特徴を備える、請求項５５に記載のコンピュータ読取り可能な媒体。
【請求項５９】
前記第１フィッシャー特徴が第１画像状態と第２画像状態とに関連し、該第１画像と該第２画像の各々は、結晶状態と、位相／沈殿状態と、透明状態とからなる群から選択される、請求項５８に記載のコンピュータ読取り可能な媒体。
【請求項６０】
前記第１チャンバ境界線が第１区画と第２区画を備え、該第１区画は該第２区画と実質的に平行の関係にあり、
前記第１画像から該第１チャンバ境界線の少なくとも第１部分を除去する一つ以上の命令が、
第１方向に沿った第１の複数の画素に関連した第１の複数の強度を決定する一つ以上の命令であって、該第１方向は第１区画と第２区画の両方に交差する、命令と、
該第１の複数の強度に関連した情報を処理する一つ以上の命令と、
該第１の複数の強度に関連した情報に少なくとも基づいて、該第１区画に関連した第１場所と、該第２区画に関連した第２場所とを決定する一つ以上の命令と
を含む、請求項５４に記載のコンピュータ読取り可能な媒体。
【請求項６１】
前記第１区画に関連した第１場所と、前記第２区画に関連した第２場所とを決定する一つ以上の命令が、
前記第１の複数の強度に関連した情報に少なくとも基づいて、該第１区画に関連した第３場所を決定する一つ以上の命令と、
該第３場所と、該第１区画と該第２区画間の所定の距離とに関連した情報に少なくとも基づいて、該第２区画に関連した第４場所を決定する一つ以上の命令と、
該第３場所と、該第４場所と、該第１の複数の強度とに関連した情報を少なくとも処理する一つ以上の命令と、
該第３場所と、該第４場所と、該第１の複数の強度とに関連した情報に少なくとも基づいて、該第１場所と該第２場所とを決定する一つ以上の命令と
を含む、請求項６０に記載のコンピュータ読取り可能な媒体。
【請求項６２】
前記第３場所と、前記第４場所と、前記第１の複数の強度に関連した情報に少なくとも基づいて、前記第１場所と前記第２場所を決定する一つ以上の命令が、
該第３場所に関連した第１ペナルティ関数を決定する一つ以上の命令と、
該第４場所に関連した第２ペナルティ関数を決定する一つ以上の命令と、
該第１ペナルティ関数と該第２ペナルティ関数とに関連した情報を処理する一つ以上の命令と、
第３ペナルティ関数を決定する一つ以上の命令であって、該第３ペナルティ関数は該第１ペナルティ関数と該第２ペナルティ関数とに関連する、命令と、
該第３ペナルティ関数に関連した情報を処理する一つ以上の命令と、
該第３ペナルティ関数に関連した情報に少なくとも基づいて、該第１場所と該第２場所とを決定する一つ以上の命令と
を含む、請求項６１に記載のコンピュータ読取り可能な媒体。
【請求項６３】
前記第３ペナルティ関数に関連した情報に少なくとも基づいて、前記第１場所と前記第２場所とを決定する一つ以上の命令が、該第３ペナルティ関数を最小化する一つ以上の命令を含む、請求項６２に記載のコンピュータ読取り可能な媒体。
【請求項６４】
マイクロ流体装置の複数の画像を処理する命令を含むコンピュータ読取り可能な媒体であって、
該マイクロ流体装置の少なくとも第１画像と第２画像とを受信する一つ以上の命令であって、該第１画像は第１焦点位置に関連し、該第２画像は第２焦点位置に関連し、該第１画像と該第２画像の各々は第１チャンバ領域を含む、命令と、
該第１画像と該第２画像とに関連した情報を処理する一つ以上の命令と、
該第１画像と該第２画像とに関連した情報に少なくとも基づいて、第３画像を生成する一つ以上の命令と、
該第３画像に関連した情報を処理する一つ以上の命令と、
該第３画像に関連した情報に少なくとも基づいて、該第１チャンバ領域内に第１結晶が存在しているか否かを決定する一つ以上の命令と
を含む、コンピュータ読取り可能な媒体。
【請求項６５】
前記第３画像が第１基底点を備え、
前記第１チャンバ領域が第１チャンバ境界線に関連し、
該第１チャンバ領域内に第１結晶が存在するか否かを決定する一つ以上の命令が、
該第１基底点に関連した情報に少なくとも基づいて、該第３画像を第１座標空間に変換する一つ以上の命令と、
該第３画像から該第１チャンバ境界線の少なくとも第１部分を除去する一つ以上の命令と、
該第１チャンバ領域に関連した情報を処理する一つ以上の命令と、
該第１チャンバ領域内に第１結晶が存在または欠如しているかを決定する一つ以上の命令と
を含む、請求項６４に記載のコンピュータ読取り可能な媒体。
【請求項６６】
前記チャンバ領域内に第１結晶が存在するか欠如しているかを決定する一つ以上の命令が、
前記第１チャンバ領域に関連した情報に少なくとも基づいて、第１の複数の特徴を生成する一つ以上の命令と、
該第１の複数の特徴に関連した情報を処理する一つ以上の命令と、
該第１の複数の特徴に関連した情報に少なくとも基づいて、第２の複数の特徴を決定する一つ以上の命令と、
該第２の複数の特徴に関連した情報を処理する一つ以上の命令と、
該第２の複数の特徴に関連した情報に少なくとも基づいて、該第１チャンバ領域内に該第１結晶が存在または欠如していることを決定する一つ以上の命令と
を含む、請求項６５に記載のコンピュータ読取り可能な媒体。
【請求項６７】
前記第３画像を生成する一つ以上の命令が、
前記第１画像に関連した第１の複数の鮮明値と第１の複数の色値とを決定する一つ以上の命令と、
前記第２画像に関連した第２の複数の鮮明値と第２の複数の色値とを決定する一つ以上の命令と、
該第１の複数の鮮明度と、該第１の複数の色値と、該第２の複数の鮮明値と、該第２の複数の色値とに関連した情報を処理する一つ以上の命令と、
該第１の複数の鮮明値と、該第１の複数の色値と、該第２の複数の鮮明値と、該第２の複数の色値とに関連した情報に少なくとも基づいて、該第３画像に関連した第１の複数の強度を決定する一つ以上の命令と
を含む、請求項６４に記載のコンピュータ読取り可能な媒体。
【請求項６８】
前記第１の複数の強度が、複数の赤色強度と、複数の緑色強度と、複数の青色強度とを含む、請求項６７に記載のコンピュータ読取り可能な媒体。
【請求項６９】
クラシファイアを調整しマイクロ流体装置の画像を処理する命令を含むコンピュータ読取り可能な媒体であって、
該マイクロ流体装置の第１画像を受信する一つ以上の命令であって、該第１画像は少なくとも第１の所定の特徴に関連する、命令と、
該第１画像に関連した情報に少なくとも基づいて第１の複数の特徴を生成する一つ以上の命令と、
該第１の複数の特徴と該少なくとも第１の所定の特徴とに関連した情報に少なくとも基づいて、該第１の複数の特徴から第２の複数の特徴を選択する一つ以上の命令と、
該第２の複数の特徴に関連した情報に少なくも基づいて、第３の複数の特徴を決定する一つ以上の命令と、
該第３の複数の特徴に関連した情報を処理する一つ以上の命令と、
該第３の複数の特徴と第１の複数のパラメータとに基づく情報に少なくとも基づいて、第１の可能性を決定する一つ以上の命令と、
該第１の可能性と該少なくとも第１の所定の特徴とに関連した情報を処理する一つ以上の命令と、
該第１の可能性と該少なくとも第１の所定の特徴とに関連した情報に少なくとも基づいて、該第１の複数のパラメータを調整する一つ以上の命令と
を含む、コンピュータ読取り可能な媒体。
【請求項７０】
前記マイクロ流体装置の第２画像を受信する一つ以上の命令と、
該第２画像に関連した情報に少なくとも基づいて、前記第２の複数の特徴を生成する一つ以上の命令と、
該第２の複数の特徴に関連した情報を処理する一つ以上の命令と、
該第２の複数の特徴に関連した情報に少なくとも基づいて、第３の複数の特徴を決定する一つ以上の命令と、
該第３の複数の特徴と前記第１の複数の調整されたパラメータとに関連した情報を処理する一つ以上の命令と、
該第３の複数の特徴と該第１の複数の調整されたパラメータとに関連した情報に少なくとも基づいて、該第２画像内に第１結晶が存在または欠如しているかを決定する一つ以上の命令と
をさらに含む、請求項６９に記載のコンピュータ読取り可能な媒体。
【請求項７１】
前記第２画像内に前記第１結晶が存在または欠如していることを決定する一つ以上の命令が、
前記第３の複数の特徴に関連した情報に少なくとも基づいて、該第２画像内に該第１結晶が存在する第２の可能性を決定する一つ以上の命令と、
該第２の可能性と第１閾値に関連した情報を処理する一つ以上の命令と、
該第２の可能性が該第１閾値を超えた場合には該第１結晶が存在すると決定し、該第２の可能性が該第１閾値を超えない場合には第１結晶が欠如していることを決定する一つ以上の命令と
を含む、請求項７０に記載のコンピュータ読取り可能な媒体。
【請求項７２】
前記第１の複数の特徴が少なくとも近傍ライン検出器特徴を備え、該近傍ライン検出器特徴は少なくとも直線パターンの検出に関連する、請求項６９に記載のコンピュータ読取り可能な媒体。
【請求項７３】
前記第３の複数の特徴が第１フィッシャー特徴を備える、請求項６９に記載のコンピュータ読取り可能な媒体。
【請求項７４】
前記第１フィッシャー特徴が第１画像状態と第２画像状態とに関連し、該第１画像状態と該第２画像状態の各々は、結晶状態と、位相／沈殿状態と、透明状態とからなる群から選択される、請求項６９に記載のコンピュータ読取り可能な媒体。
【請求項７５】
前記第１画像が、第１チャンバ境界線に関連した第１チャンバ領域を備え、
前記第２画像が、第２チャンバ境界線に関連した第２チャンバ領域を備え、
前記第３画像を取得することが、該第１画像と該第２画像とに関連した情報に基づいて内方破裂パディングを決定することを包含する、請求項１に記載の方法。
【請求項７６】
前記内方破裂パディングを決定することが、
前記第１画像に関連した情報を処理することと、
該第１画像に関連した情報に少なくとも基づいて、前記第１チャンバ境界線に関連した第１内方破裂に関する第１指数を決定することと、
前記第２画像に関連した情報を処理することと、
該第２画像に関連した情報に少なくとも基づいて、前記第２チャンバ境界線に関連した第２内方破裂に関する第２指数を決定することと、
該第１指数と該第２指数とに関連した情報を処理することと、
該第１指数と該第２指数とに関連した情報に少なくとも基づいて、該内方破裂パディングを決定することと
を包含する、請求項７５に記載の方法。
【請求項７７】
前記第１内方破裂に関する第１指数を決定することが、
複数の画像エリアの選択することであって、該複数の画像エリアは複数の境界線にそれぞれ関連する、ことと、
該複数の境界線にそれぞれ関連した複数の中央値強度を決定することと、
該複数の中央値強度に関連した情報を処理することと、
該複数の中央値強度に関連した情報に少なくとも基づいて該第１指数を決定することと
を包含する、請求項７６に記載の方法。
【請求項７８】
前記複数の中央値強度に関連した情報に少なくとも基づいて第１指数を決定することが、
該複数の中央値強度から最小強度を決定することであって、該最小強度は複数の境界線のうち１つに関連する、ことと、
該複数の境界線のうちの１つに関連した情報に少なくとも基づいて、該第１指数を決定することと
を包含する、請求項７７に記載の方法。
【請求項７９】
前記第１画像が、第１チャンバ境界線に関連した第１チャンバ領域を備え、
前記第２画像が、第２チャンバ境界線に関連した第２チャンバ領域を備え、
前記第３画像を取得する一つ以上の命令が、該第１画像と該第２画像とに関連した情報に基づいて、内方破裂パディングを決定する一つ以上の命令を含む、請求項１２に記載のコンピュータ読取り可能な媒体。
【請求項８０】
前記内方破裂パディングを決定する一つ以上の命令が、
前記第１画像に関連した情報を処理する一つ以上の命令と、
該第１画像に関連した情報に少なくとも基づいて、前記第１チャンバ境界線に関連した第１内方破裂に関する第１指数を決定する一つ以上の命令と、
前記第２画像に関連した情報を処理する一つ以上の命令と、
該第２画像に関連した情報に少なくとも基づいて、前記第２チャンバ境界線に関連した第２内方破裂に関する第２指数を決定する一つ以上の命令と、
該第１指数と該第２指数とに関連した情報を処理する一つ以上の命令と、
該第１指数と該第２指数とに関連した情報に少なくとも基づいて、該内方破裂パディングを決定する一つ以上の命令と
を含む、請求項７９に記載の方法。
【請求項８１】
前記第１内方破裂に関する第１指数を決定する一つ以上の命令が、
前記複数の画像領域を選択する一つ以上の命令であって、該複数の画像領域は複数の境界線にそれぞれ関連する、命令と、
該複数の境界線にそれぞれ関連した複数の中央値強度を決定する一つ以上の命令と、
該複数の中央値強度に関連した情報を処理する一つ以上の命令と、
該複数の中央値強度に関連した情報に少なくとも基づいて、該第１指数を決定する一つ以上の命令と
を含む、請求項８０に記載のコンピュータ読取り可能な媒体。
【請求項８２】
前記複数の中央値強度に関連した情報に少なくとも基づいて、第１指数を決定する一つ以上の命令が、
該複数の中央値強度から最小強度を決定する一つ以上の命令であって、該最小強度は複数の境界線のうちの１つに関連する、命令と、
前記複数の境界線のうちの１つに関連した情報に少なくとも基づいて、該第１指数を決定することと
を含む、請求項８１に記載のコンピュータ読取り可能な媒体。
【請求項１】
マイクロ流体装置の画像を処理する方法であって、
該マイクロ流体装置の第１画像を受信することであって、該第１画像は第１状態に対応している、ことと、
該マイクロ流体装置の第２画像を受信することであって、該第２画像は第２状態に対応している、ことと、
該第１画像を第３座標空間に変換することであって、該変換は該第１画像の少なくとも第１基底を用いる、ことと、
該第２画像を該第３座標空間に変換することであって、該変換は該第２画像の少なくとも第２基底を用いる、ことと、
該変換された第１画像と該変換された第２画像に関連した情報に少なくとも基づいて第３画像を取得することと、
該第３画像を処理することによって該第１状態と該第２状態とに関連した情報を取得することと
を包含する、方法。
【請求項２】
前記少なくとも第１画像上の第１基底を定めることと、
前記少なくとも第２画像上の第２基底を定めることと
をさらに包含する、請求項１に記載の方法。
【請求項３】
前記第１画像を第３座標空間に変換することが、
前記少なくとも第１基底を該第３座標空間の少なくとも第３基底に関連付けることと、
前記少なくとも第１基底と少なくとも第３基底とに関連した情報に少なくとも基づいて、該第１画像への第１変換を実行することと
を包含する、請求項１に記載の方法。
【請求項４】
前記第１変換を実行することが、
前記少なくとも第１基底と前記少なくとも第３基底に関連した情報に少なくとも基づいて、該第１変換を推測することと、
該第１変換を用いて前記第１画像を前記第３座標空間に変換することと
を包含する、請求項３に記載の方法。
【請求項５】
前記第２画像を第３座標空間に変換することが、
前記少なくとも第２基底を、前記第３座標空間の少なくとも第３基底に関連付けることと、
該少なくとも第２基底と該少なくとも第３基底に関連した情報に少なくとも基づいて、該第２画像に第２変換を実行することと
を包含する、請求項４に記載の方法。
【請求項６】
前記第２変換を実行することが、
前記少なくとも第２基底と前記少なくとも第３基底に関連した情報に少なくとも基づいて、該第２変換を推測することと、
該第２変換を用いて前記第２画像を前記第３座標空間に変換することと
を包含する、請求項５に記載の方法。
【請求項７】
前記第３画像を取得することが、前記第１画像と第２画像との差分を取得することを包含する、請求項１に記載の方法。
【請求項８】
前記第３画像を取得することが、
前記第１画像の少なくとも第１部分をマスキングすることであって、該少なくとも第１部分は前記第１状態に関連した情報を含まない、ことと、
前記第２画像の少なくとも第２部分をマスキングすることであって、該少なくとも第２部分は前記第２状態に関連した情報を含まない、ことと
をさらに包含する、請求項７に記載の方法。
【請求項９】
前記少なくとも第２部分が前記少なくとも第１部分に対応し、該少なくとも第２部分は、前記第１画像から前記第２画像への特徴の変更に関連した情報に少なくとも基づく、請求項８に記載の方法。
【請求項１０】
前記第３画像を取得することが、該第３画像の少なくとも第３部分をマスキングすることをさらに包含し、該少なくとも第３部分は、前記第１状態と前記第２状態とに関連した情報を含まない、請求項７に記載の方法。
【請求項１１】
前記少なくとも第３部分が、前記第１画像から前記第２画像への特徴の変更に関連した情報に少なくとも基づく、請求項１０に記載の方法。
【請求項１２】
マイクロ流体装置の画像を処理する命令を含むコンピュータ読取り可能な媒体であって、
該マイクロ流体装置の第１画像を受信する一つ以上の命令であって、該第１画像は第１状態に対応する、命令と、
該マイクロ流体装置の第２画像を受信する一つ以上の命令であって、該第２画像は第２状態に対応する、命令と、
該第１画像を第３座標空間に変換する一つ以上の命令であって、該変換は害第１画像上の少なくとも第１基底を用いる、命令と、
該第２画像を該第３座標空間に変換する一つ以上の命令であって、該変換は該第２画像上の少なくとも第２基底を用いる、命令と、
該変換された第１画像と該変換されたに画像に関連した情報に少なくとも基づいて第３画像を取得する一つ以上の命令と、
該第３画像を処理することによって該第１状態と該第２状態に関連した情報を取得する一つ以上の命令と
を含む、コンピュータ読取り可能な媒体。
【請求項１３】
前記少なくとも第１画像上の第１基底を定める一つ以上の命令と、
前記少なくとも第２画像上の第２基底を定める一つ以上の命令と
を含む、請求項１２に記載のコンピュータ読取り可能な媒体。
【請求項１４】
前記第１画像を第３座標空間に変換する一つ以上の命令が、
前記少なくとも第１基底を前記第３座標空間内の少なくとも第３基底に関連付ける一つ以上の命令と、
該少なくとも第１基底と該少なくとも第３基底とに関連した情報に少なくとも基づいて、該第１画像に第１変換を実行する一つ以上の命令と
を含む、請求項１２に記載のコンピュータ読取り可能な媒体。
【請求項１５】
前記第１変換を実行する一つ以上の命令が、
前記少なくとも第１基底と前記少なくとも第２基底とに関連した情報に少なくとも基づいて、第１変換を推測する一つ以上の命令と、
該第１変換を用いて前記第１画像を前記第３座標空間に変換する一つ以上の命令と
を含む、請求項１４に記載のコンピュータ読取り可能な媒体。
【請求項１６】
前記第２画像を第３座標空間に変換する一つ以上の命令が、
前記少なくとも第２基底を該第３座標空間内の少なくとも第３基底に関連付ける一つ以上の命令と、
該少なくとも第２基底と該少なくとも第３基底とに関連した情報に少なくともに基づいて、該第２画像に第２変換を実行する一つ以上の命令と
を含む、請求項１５に記載のコンピュータ読取り可能な媒体。
【請求項１７】
前記第２変換を実行する一つ以上の命令が、
前記少なくとも第２基底と前記少なくとも第３基底とに関連した情報に少なくとも基づいて、前記第２変換を推測する一つ以上の命令と、
該第２変換を用いて前記第２画像を前記第３座標空間に変換する一つ以上の命令と
を含む、請求項１６に記載のコンピュータ読取り可能な媒体。
【請求項１８】
前記第３画像を取得する一つ以上の命令が、前記第１画像と前記第２画像との差分を取得する一つ以上の命令を含む、請求項１２に記載のコンピュータ読取り可能な媒体。
【請求項１９】
前記第３画像を取得する一つ以上の命令が、
前記少なくとも第１画像の第１部分をマスキングする一つ以上の命令であって、該少なくとも第１部分は前記第１状態に関連した情報を含まない、命令と、
前記少なくとも第２画像の第２部分をマスキングする一つ以上の命令であって、該少なくとも第２部分は前記第２状態に関連した情報を含まない、命令と
をさらに含む、請求項１８に記載のコンピュータ読取り可能な媒体。
【請求項２０】
前記少なくとも第２部分が前記少なくとも第１部分に対応し、該少なくとも第２部分は、前記第１画像から前記第２画像への特徴の変更に関連した情報に少なくとも基づく、請求項１９に記載のコンピュータ読取り可能な媒体。
【請求項２１】
前記第３画像を取得する一つ以上の命令が、該第３画像の少なくとも第３部分をマスキングする一つ以上の命令であって、該少なくとも第３部分は、第１状態と第２状態に関連した情報を含まない、命令をさらに含む、請求項１８に記載のコンピュータ読取り可能な媒体。
【請求項２２】
前記少なくとも第３部分が、前記第１画像から前記第２画像への特徴の変更に関連した情報に少なくとも基づく、請求項２１に記載のコンピュータ読取り可能な媒体。
【請求項２３】
前記第１状態が前記第２状態と異なる、請求項１に記載の方法。
【請求項２４】
前記第１状態が前記第２状態と同一である、請求項１に記載の方法。
【請求項２５】
前記第１状態が結晶化の欠如に関連する、請求項１に記載の方法。
【請求項２６】
前記第２状態が結晶化の存在に関連する、請求項２５に記載の方法。
【請求項２７】
前記第２状態が結晶化の欠如に関連する、請求項２５に記載の方法。
【請求項２８】
前記第１状態が前記第２状態と異なる、請求項１２に記載のコンピュータ読取り可能な媒体。
【請求項２９】
前記第１状態が前記第２状態と同一である、請求項１２に記載のコンピュータ読取り可能な媒体。
【請求項３０】
前記第１状態が結晶化の欠如に関連する、請求項１２に記載のコンピュータ読取り可能な媒体。
【請求項３１】
前記第２状態が結晶化の存在に関連する、請求項３０に記載のコンピュータ読取り可能な媒体。
【請求項３２】
前記第２状態が結晶化の欠如に関連する、請求項３０に記載のコンピュータ読取り可能な媒体。
【請求項３３】
マイクロ流体装置の画像を処理する方法であって、
該マイクロ流体装置の第１画像を受信することであって、該第１画像は第１基底点と第１チャンバ領域を含み、該第１チャンバ領域は第１チャンバ境界線に関連する、ことと、
該第１基底点に関連した情報に少なくとも基づいて、該第１画像を第１座標空間に変換することと、
該第１画像から該第１チャンバ境界線の少なくとも第１部分を除去することと、
該第１チャンバ領域に関連した情報を処理することと、
該第１チャンバ領域内に第１結晶が存在するか否かを決定することと
を包含する、方法。
【請求項３４】
前記第１チャンバ領域内に第１結晶が存在するか否かを決定することが、
該第１チャンバ領域に関連した情報に少なくともに基づいて、第１の複数の特徴を生成することと、
該第１の複数の特徴に関連した情報を処理することと、
該第１の複数の特徴に関連した情報に少なくとも基づいて、第２の複数の特徴を決定することと、
該第２の複数の特徴に関連した情報を処理することと、
該第１チャンバ領域内に該第１結晶が存在するか欠如しているかを決定することと
を包含する、請求項３３に記載の方法。
【請求項３５】
前記第１チャンバ領域内に第１結晶が存在するか欠如しているかを決定することが、
前記第２の複数の特徴に関連した情報に少なくとも基づいて、該チャンバ領域内に該第１結晶が存在する第１の可能性を決定することと、
該第１の可能性と第１閾値とに関連した情報を処理することと、
該第１の可能性が該第１閾値を超えた場合には、該第１結晶が存在すると決定し、該第１の可能性が該第１閾値を超えない場合には、該第１結晶が欠如していると決定することと
を包含する、請求項３４に記載の方法。
【請求項３６】
前記第１の複数の特徴が、少なくとも近傍ライン検出器特徴を備え、該近傍ライン検出器特徴は少なくとも直線パターンの検出に関連する、請求項３４に記載の方法。
【請求項３７】
前記第２の複数の特徴が第１フィッシャー特徴を備える、請求項３４に記載の方法。
【請求項３８】
前記第１フィッシャー特徴が第１画像状態および第２画像状態に関連し、該第１画像状態と該第２画像状態の各々は、結晶状態と、位相／沈殿状態と、透明状態とからなる群から選択される、請求項３７に記載の方法。
【請求項３９】
前記第１チャンバ境界線が第１区画と第２区画を備え、該第１区画は該第２区画と実質的に平行の関係にあり、
該第１画像から該第１チャンバ境界線の少なくとも第１部分を除去することが、
第１方向に沿った第１の複数の画素に関連した第１複数の強度を決定することであって、該第１方向は該第１区画と該第２区画の両方に交差する、ことと、
該第１の複数の強度に関連した情報を処理することと、
該第１複数の強度に関連した情報に少なくとも基づいて、該第１区画に関連した第１場所と、該第２区画に関連した第２場所とを決定することと
を包含する、請求項３３に記載の方法。
【請求項４０】
前記第１区画に関連した第１場所と、前記第２区画に関連した第２場所とを決定することが、
前記第１の複数の強度に関連した情報に少なくとも基づいて、該第１区画に関連した第３場所を決定することと、
該第３場所に関連した情報と、該第１区画と該第２区画間の所定の距離とに少なくとも基づいて、該第２区画に関連した第４場所を決定することと、
該第３場所と、該第４場所と、該第１の複数の強度とに関連した情報を少なくとも処理することと、
該第３場所と、該第４場所と、該第１の複数の強度とに関連した情報に少なくとも基づいて、該第１場所と該第２場所とを決定することと
を包含する、請求項３９に記載の方法。
【請求項４１】
前記第３場所と、前記第４場所と、前記第１の複数の強度とに関連した情報に少なくとも基づいた前記第１場所と前記第２場所とを決定することが、
該第３場所に関連した第１ペナルティ関数を決定することと、
該第４場所に関連した第２ペナルティ関数を決定することと、
該第１ペナルティ関数と該第２ペナルティ関数とに関連した情報を処理することと、
該第３ペナルティ関数を決定することであって、該第３ペナルティ関数は該第１ペナルティ関数と該第２ペナルティ関数とに関連する、ことと、
該第３ペナルティ関数に関連した情報を処理することと、
該第３ペナルティ関数に関連した情報に少なくとも基づいて、該第１場所と該第２場所とを決定することと
を包含する、請求項４０に記載の方法。
【請求項４２】
前記第３ペナルティ関数に関連した情報に少なくとも基づいて前記第１場所と前記第２場所とを決定することが、前記第３ペナルティ関数を最小化することを包含する、請求項４１に記載の方法。
【請求項４３】
マイクロ流体装置の複数の画像を処理する方法であって、
該マイクロ流体装置の少なくとも第１画像および第２画像を受信することであって、該第１画像は第１焦点位置に関連し、該第２画像は第２焦点位置に関連し、該第１画像と該第２画像の各々は第１チャンバ領域を含む、ことと、
該第１画像と該第２画像とに関連した情報を処理することと、
該第１画像と該第２画像とに関連した情報に少なくとも基づいて第３画像を生成することと、
該第３画像に関連した画像を処理することと、
該第３画像に関連した情報に少なくとも基づいて、該第１チャンバ領域内に第１結晶が存在するか否かを決定することと
を包含する、方法。
【請求項４４】
前記第３画像が第１基底点を備え、
前記第１チャンバ領域が第１チャンバ境界線に関連し、
該第１チャンバ領域内に第１結晶が存在するか否かを決定することが、
該第１基底点に関連した情報に少なくとも基づいて、該第３画像を第１座標空間に変換することと、
該第３画像から少なくとも該第１チャンバ境界線の第１部分を除去することと、
該第１チャンバ領域に関連した情報を処理することと、
該第１チャンバ領域内に第１結晶が存在するか欠如しているかを決定することと
を包含する、請求項４３に記載の方法。
【請求項４５】
前記チャンバ領域内に第１結晶が存在するか欠如しているかを決定することが、
前記第１チャンバ領域に関連した情報に少なくとも基づいて、第１の複数の特徴を生成することと、
該第１の複数の特徴に関連した情報を処理することと、
該第１の複数の特徴に関連した情報に少なくとも基づいて、第２の複数の特徴を決定することと、
該第２の複数の特徴に関連した情報を処理することと、
該第１チャンバ領域内に前記第１結晶が存在するか欠如しているかを、該第２の複数の特徴に関連した情報に少なくとも基づいて決定することと
を包含する、請求項４４に記載の方法。
【請求項４６】
前記第３画像を生成することが、
前記第１画像に関連した第１の複数の鮮明値と第１の複数の色値とを決定することと、
前記第２画像に関連した第２の複数の鮮明値と第２の複数の色値とを決定することと、
該第１の複数の鮮明値と、該第１の複数の色値と、該第２の複数の鮮明値と、該第２の複数の色値とに関連した情報を処理することと、
該第１の複数の鮮明値と、該第１の複数の色値と、該第２の複数の鮮明値と、該第２の複数の色値に関連した情報に少なくとも基づいて、該第３画像に関連した第１の複数の強度を決定することと
を包含する、請求項４３に記載の方法。
【請求項４７】
前記第１の複数の強度が、複数の赤色強度と、複数の緑色強度と、複数の青色強度とを含む、請求項４６に記載の方法。
【請求項４８】
クラシファイアを調整しマイクロ流体装置の画像を処理する方法であって、
該マイクロ流体装置の第１画像を受信することであって、該第１画像は少なくとも第１の所定の特徴に関連する、ことと、
該第１画像に関連した情報に少なくとも基づいて、第１の複数の特徴を生成することと、
該第１の複数の特徴と該第１の所定の特徴とに少なくとも基づいて、該第１の複数の特徴から第２の複数の特徴を選択することと、
該第２の複数の特徴に関連した情報に少なくとも基づいて第３の複数の特徴を決定することと、
該第３の複数の特徴に関連した情報を処理することと、
該第３の複数の特徴と第１の複数のパラメータとに関連した情報に少なくとも基づいて、少なくとも第１の可能性を決定することと、
該少なくとも第１の可能性と該第１の所定の特徴とに関連した情報を処理することと、
該第１の可能性と該少なくとも第１の所定の特徴とに関連した情報に少なくとも基づいて、該第１の複数のパラメータを調整することと
を包含する、方法。
【請求項４９】
前記マイクロ流体装置の第２画像を受信することと、
該第２画像に関連した情報に少なくとも基づいて、前記第２の複数の特徴を生成することと、
該第２の複数の特徴に関連した情報を処理することと、
該第２の複数の特徴に関連した情報に少なくとも基づいて、前記第３の複数の特徴を決定することと、
該第３の複数の特徴と前記第１の複数の調整されたパラメータとに関連した情報を処理することと、
該第３の複数の特徴と該第１の複数の調整されたパラメータとに関連した情報に基づいて、該第２画像内に第１結晶が存在するか欠如しているかを決定することと
をさらに包含する、請求項４８に記載の方法。
【請求項５０】
前記第２画像内に前記第１結晶が存在するか欠如しているかを決定することが、
前記第３の複数の特徴に関連した情報に少なくとも基づいて、該第２画像内に該第１結晶が存在している第２の可能性を決定することと、
該第２の可能性と第１閾値とに関連した情報を処理することと、
該第２の可能性が第１閾値を超えた場合には該第１結晶が存在すると決定し、該第２の可能性が該第１閾値を超えない場合には該第１結晶が欠如していると決定することと
を包含する、請求項４９に記載の方法。
【請求項５１】
前記第１の複数の特徴が少なくとも近傍ライン検出器特徴を備え、該近傍ライン検出器特徴は少なくとも直線パターンの検出に関連する、請求項４８に記載の方法。
【請求項５２】
前記第３の複数の特徴が第１フィッシャー特徴を備える、請求項４８に記載の方法。
【請求項５３】
前記第１フィッシャー特徴が第１画像状態と第２画像状態とに関連し、該第１画像状態と該第２画像状態との各々は、結晶状態と、位相／沈殿状態と、透明状態とからなる群から選択される、請求項４８に記載の方法。
【請求項５４】
マイクロ流体装置の画像を処理する命令を含むコンピュータ読取り可能な媒体であって、
該マイクロ流体装置の第１画像を受信する一つ以上の命令であって、該第１画像は第１基底点と第１チャンバ領域を含み、該第１チャンバ領域は第１チャンバ境界線に関連する、命令と、
該第１基底点に関連した情報に少なくとも基づいて、該第１画像を第１座標空間に変換する一つ以上の命令と、
該第１画像から該第１チャンバ境界線の第１部分を除去する一つ以上の命令と、
該第１チャンバ領域に関連した情報を処理する一つ以上の命令と、
該第１チャンバ領域内に第１結晶が存在するか否かを決定する一つ以上の命令と
を含む、コンピュータ読取り可能な媒体。
【請求項５５】
前記第１チャンバ領域内に前記第１結晶が存在するか否かを決定する一つ以上の命令が、
該第１チャンバ領域に関連した情報に少なくとも基づいて、第１の複数の特徴を生成する一つ以上の命令と、
該第１の複数の特徴に関連した情報を処理する一つ以上の命令と、
該第１の複数の特徴に関連した情報に少なくとも基づいて、第２の複数の特徴を決定する一つ以上の命令と、
該第２の複数の特徴に関連した情報を処理する一つ以上の命令と、
該第１チャンバ領域内に該第１結晶が存在または欠如していることを決定する一つ以上の命令と
を含む、請求項５４に記載のコンピュータ読取り可能な媒体。
【請求項５６】
前記第１チャンバ領域内に前記第１結晶が存在または欠如していることを決定する一つ以上の命令が、
該第１チャンバ領域内に該第１結晶が存在する第１の可能性を、前記第２の複数の特徴に関連した情報に少なくとも基づいて決定する一つ以上の命令と、
該第１の可能性と第１閾値とに関連した情報を処理する一つ以上の命令と、
該第１の可能性が該第１閾値を超えた場合には該第１結晶が存在すると決定し、該第１の可能性が該第１閾値を超えない場合には該第１結晶が欠如していると決定する一つ以上の命令と
を含む、請求項５５に記載のコンピュータ読取り可能な媒体。
【請求項５７】
第１の複数の特徴が少なくとも近傍ライン検出器特徴を備え、該近傍ライン検出器特徴は少なくとも直線パターンの検出に関連する、請求項５５に記載のコンピュータ読取り可能な媒体。
【請求項５８】
前記第２の複数の特徴が第１フィッシャー特徴を備える、請求項５５に記載のコンピュータ読取り可能な媒体。
【請求項５９】
前記第１フィッシャー特徴が第１画像状態と第２画像状態とに関連し、該第１画像と該第２画像の各々は、結晶状態と、位相／沈殿状態と、透明状態とからなる群から選択される、請求項５８に記載のコンピュータ読取り可能な媒体。
【請求項６０】
前記第１チャンバ境界線が第１区画と第２区画を備え、該第１区画は該第２区画と実質的に平行の関係にあり、
前記第１画像から該第１チャンバ境界線の少なくとも第１部分を除去する一つ以上の命令が、
第１方向に沿った第１の複数の画素に関連した第１の複数の強度を決定する一つ以上の命令であって、該第１方向は第１区画と第２区画の両方に交差する、命令と、
該第１の複数の強度に関連した情報を処理する一つ以上の命令と、
該第１の複数の強度に関連した情報に少なくとも基づいて、該第１区画に関連した第１場所と、該第２区画に関連した第２場所とを決定する一つ以上の命令と
を含む、請求項５４に記載のコンピュータ読取り可能な媒体。
【請求項６１】
前記第１区画に関連した第１場所と、前記第２区画に関連した第２場所とを決定する一つ以上の命令が、
前記第１の複数の強度に関連した情報に少なくとも基づいて、該第１区画に関連した第３場所を決定する一つ以上の命令と、
該第３場所と、該第１区画と該第２区画間の所定の距離とに関連した情報に少なくとも基づいて、該第２区画に関連した第４場所を決定する一つ以上の命令と、
該第３場所と、該第４場所と、該第１の複数の強度とに関連した情報を少なくとも処理する一つ以上の命令と、
該第３場所と、該第４場所と、該第１の複数の強度とに関連した情報に少なくとも基づいて、該第１場所と該第２場所とを決定する一つ以上の命令と
を含む、請求項６０に記載のコンピュータ読取り可能な媒体。
【請求項６２】
前記第３場所と、前記第４場所と、前記第１の複数の強度に関連した情報に少なくとも基づいて、前記第１場所と前記第２場所を決定する一つ以上の命令が、
該第３場所に関連した第１ペナルティ関数を決定する一つ以上の命令と、
該第４場所に関連した第２ペナルティ関数を決定する一つ以上の命令と、
該第１ペナルティ関数と該第２ペナルティ関数とに関連した情報を処理する一つ以上の命令と、
第３ペナルティ関数を決定する一つ以上の命令であって、該第３ペナルティ関数は該第１ペナルティ関数と該第２ペナルティ関数とに関連する、命令と、
該第３ペナルティ関数に関連した情報を処理する一つ以上の命令と、
該第３ペナルティ関数に関連した情報に少なくとも基づいて、該第１場所と該第２場所とを決定する一つ以上の命令と
を含む、請求項６１に記載のコンピュータ読取り可能な媒体。
【請求項６３】
前記第３ペナルティ関数に関連した情報に少なくとも基づいて、前記第１場所と前記第２場所とを決定する一つ以上の命令が、該第３ペナルティ関数を最小化する一つ以上の命令を含む、請求項６２に記載のコンピュータ読取り可能な媒体。
【請求項６４】
マイクロ流体装置の複数の画像を処理する命令を含むコンピュータ読取り可能な媒体であって、
該マイクロ流体装置の少なくとも第１画像と第２画像とを受信する一つ以上の命令であって、該第１画像は第１焦点位置に関連し、該第２画像は第２焦点位置に関連し、該第１画像と該第２画像の各々は第１チャンバ領域を含む、命令と、
該第１画像と該第２画像とに関連した情報を処理する一つ以上の命令と、
該第１画像と該第２画像とに関連した情報に少なくとも基づいて、第３画像を生成する一つ以上の命令と、
該第３画像に関連した情報を処理する一つ以上の命令と、
該第３画像に関連した情報に少なくとも基づいて、該第１チャンバ領域内に第１結晶が存在しているか否かを決定する一つ以上の命令と
を含む、コンピュータ読取り可能な媒体。
【請求項６５】
前記第３画像が第１基底点を備え、
前記第１チャンバ領域が第１チャンバ境界線に関連し、
該第１チャンバ領域内に第１結晶が存在するか否かを決定する一つ以上の命令が、
該第１基底点に関連した情報に少なくとも基づいて、該第３画像を第１座標空間に変換する一つ以上の命令と、
該第３画像から該第１チャンバ境界線の少なくとも第１部分を除去する一つ以上の命令と、
該第１チャンバ領域に関連した情報を処理する一つ以上の命令と、
該第１チャンバ領域内に第１結晶が存在または欠如しているかを決定する一つ以上の命令と
を含む、請求項６４に記載のコンピュータ読取り可能な媒体。
【請求項６６】
前記チャンバ領域内に第１結晶が存在するか欠如しているかを決定する一つ以上の命令が、
前記第１チャンバ領域に関連した情報に少なくとも基づいて、第１の複数の特徴を生成する一つ以上の命令と、
該第１の複数の特徴に関連した情報を処理する一つ以上の命令と、
該第１の複数の特徴に関連した情報に少なくとも基づいて、第２の複数の特徴を決定する一つ以上の命令と、
該第２の複数の特徴に関連した情報を処理する一つ以上の命令と、
該第２の複数の特徴に関連した情報に少なくとも基づいて、該第１チャンバ領域内に該第１結晶が存在または欠如していることを決定する一つ以上の命令と
を含む、請求項６５に記載のコンピュータ読取り可能な媒体。
【請求項６７】
前記第３画像を生成する一つ以上の命令が、
前記第１画像に関連した第１の複数の鮮明値と第１の複数の色値とを決定する一つ以上の命令と、
前記第２画像に関連した第２の複数の鮮明値と第２の複数の色値とを決定する一つ以上の命令と、
該第１の複数の鮮明度と、該第１の複数の色値と、該第２の複数の鮮明値と、該第２の複数の色値とに関連した情報を処理する一つ以上の命令と、
該第１の複数の鮮明値と、該第１の複数の色値と、該第２の複数の鮮明値と、該第２の複数の色値とに関連した情報に少なくとも基づいて、該第３画像に関連した第１の複数の強度を決定する一つ以上の命令と
を含む、請求項６４に記載のコンピュータ読取り可能な媒体。
【請求項６８】
前記第１の複数の強度が、複数の赤色強度と、複数の緑色強度と、複数の青色強度とを含む、請求項６７に記載のコンピュータ読取り可能な媒体。
【請求項６９】
クラシファイアを調整しマイクロ流体装置の画像を処理する命令を含むコンピュータ読取り可能な媒体であって、
該マイクロ流体装置の第１画像を受信する一つ以上の命令であって、該第１画像は少なくとも第１の所定の特徴に関連する、命令と、
該第１画像に関連した情報に少なくとも基づいて第１の複数の特徴を生成する一つ以上の命令と、
該第１の複数の特徴と該少なくとも第１の所定の特徴とに関連した情報に少なくとも基づいて、該第１の複数の特徴から第２の複数の特徴を選択する一つ以上の命令と、
該第２の複数の特徴に関連した情報に少なくも基づいて、第３の複数の特徴を決定する一つ以上の命令と、
該第３の複数の特徴に関連した情報を処理する一つ以上の命令と、
該第３の複数の特徴と第１の複数のパラメータとに基づく情報に少なくとも基づいて、第１の可能性を決定する一つ以上の命令と、
該第１の可能性と該少なくとも第１の所定の特徴とに関連した情報を処理する一つ以上の命令と、
該第１の可能性と該少なくとも第１の所定の特徴とに関連した情報に少なくとも基づいて、該第１の複数のパラメータを調整する一つ以上の命令と
を含む、コンピュータ読取り可能な媒体。
【請求項７０】
前記マイクロ流体装置の第２画像を受信する一つ以上の命令と、
該第２画像に関連した情報に少なくとも基づいて、前記第２の複数の特徴を生成する一つ以上の命令と、
該第２の複数の特徴に関連した情報を処理する一つ以上の命令と、
該第２の複数の特徴に関連した情報に少なくとも基づいて、第３の複数の特徴を決定する一つ以上の命令と、
該第３の複数の特徴と前記第１の複数の調整されたパラメータとに関連した情報を処理する一つ以上の命令と、
該第３の複数の特徴と該第１の複数の調整されたパラメータとに関連した情報に少なくとも基づいて、該第２画像内に第１結晶が存在または欠如しているかを決定する一つ以上の命令と
をさらに含む、請求項６９に記載のコンピュータ読取り可能な媒体。
【請求項７１】
前記第２画像内に前記第１結晶が存在または欠如していることを決定する一つ以上の命令が、
前記第３の複数の特徴に関連した情報に少なくとも基づいて、該第２画像内に該第１結晶が存在する第２の可能性を決定する一つ以上の命令と、
該第２の可能性と第１閾値に関連した情報を処理する一つ以上の命令と、
該第２の可能性が該第１閾値を超えた場合には該第１結晶が存在すると決定し、該第２の可能性が該第１閾値を超えない場合には第１結晶が欠如していることを決定する一つ以上の命令と
を含む、請求項７０に記載のコンピュータ読取り可能な媒体。
【請求項７２】
前記第１の複数の特徴が少なくとも近傍ライン検出器特徴を備え、該近傍ライン検出器特徴は少なくとも直線パターンの検出に関連する、請求項６９に記載のコンピュータ読取り可能な媒体。
【請求項７３】
前記第３の複数の特徴が第１フィッシャー特徴を備える、請求項６９に記載のコンピュータ読取り可能な媒体。
【請求項７４】
前記第１フィッシャー特徴が第１画像状態と第２画像状態とに関連し、該第１画像状態と該第２画像状態の各々は、結晶状態と、位相／沈殿状態と、透明状態とからなる群から選択される、請求項６９に記載のコンピュータ読取り可能な媒体。
【請求項７５】
前記第１画像が、第１チャンバ境界線に関連した第１チャンバ領域を備え、
前記第２画像が、第２チャンバ境界線に関連した第２チャンバ領域を備え、
前記第３画像を取得することが、該第１画像と該第２画像とに関連した情報に基づいて内方破裂パディングを決定することを包含する、請求項１に記載の方法。
【請求項７６】
前記内方破裂パディングを決定することが、
前記第１画像に関連した情報を処理することと、
該第１画像に関連した情報に少なくとも基づいて、前記第１チャンバ境界線に関連した第１内方破裂に関する第１指数を決定することと、
前記第２画像に関連した情報を処理することと、
該第２画像に関連した情報に少なくとも基づいて、前記第２チャンバ境界線に関連した第２内方破裂に関する第２指数を決定することと、
該第１指数と該第２指数とに関連した情報を処理することと、
該第１指数と該第２指数とに関連した情報に少なくとも基づいて、該内方破裂パディングを決定することと
を包含する、請求項７５に記載の方法。
【請求項７７】
前記第１内方破裂に関する第１指数を決定することが、
複数の画像エリアの選択することであって、該複数の画像エリアは複数の境界線にそれぞれ関連する、ことと、
該複数の境界線にそれぞれ関連した複数の中央値強度を決定することと、
該複数の中央値強度に関連した情報を処理することと、
該複数の中央値強度に関連した情報に少なくとも基づいて該第１指数を決定することと
を包含する、請求項７６に記載の方法。
【請求項７８】
前記複数の中央値強度に関連した情報に少なくとも基づいて第１指数を決定することが、
該複数の中央値強度から最小強度を決定することであって、該最小強度は複数の境界線のうち１つに関連する、ことと、
該複数の境界線のうちの１つに関連した情報に少なくとも基づいて、該第１指数を決定することと
を包含する、請求項７７に記載の方法。
【請求項７９】
前記第１画像が、第１チャンバ境界線に関連した第１チャンバ領域を備え、
前記第２画像が、第２チャンバ境界線に関連した第２チャンバ領域を備え、
前記第３画像を取得する一つ以上の命令が、該第１画像と該第２画像とに関連した情報に基づいて、内方破裂パディングを決定する一つ以上の命令を含む、請求項１２に記載のコンピュータ読取り可能な媒体。
【請求項８０】
前記内方破裂パディングを決定する一つ以上の命令が、
前記第１画像に関連した情報を処理する一つ以上の命令と、
該第１画像に関連した情報に少なくとも基づいて、前記第１チャンバ境界線に関連した第１内方破裂に関する第１指数を決定する一つ以上の命令と、
前記第２画像に関連した情報を処理する一つ以上の命令と、
該第２画像に関連した情報に少なくとも基づいて、前記第２チャンバ境界線に関連した第２内方破裂に関する第２指数を決定する一つ以上の命令と、
該第１指数と該第２指数とに関連した情報を処理する一つ以上の命令と、
該第１指数と該第２指数とに関連した情報に少なくとも基づいて、該内方破裂パディングを決定する一つ以上の命令と
を含む、請求項７９に記載の方法。
【請求項８１】
前記第１内方破裂に関する第１指数を決定する一つ以上の命令が、
前記複数の画像領域を選択する一つ以上の命令であって、該複数の画像領域は複数の境界線にそれぞれ関連する、命令と、
該複数の境界線にそれぞれ関連した複数の中央値強度を決定する一つ以上の命令と、
該複数の中央値強度に関連した情報を処理する一つ以上の命令と、
該複数の中央値強度に関連した情報に少なくとも基づいて、該第１指数を決定する一つ以上の命令と
を含む、請求項８０に記載のコンピュータ読取り可能な媒体。
【請求項８２】
前記複数の中央値強度に関連した情報に少なくとも基づいて、第１指数を決定する一つ以上の命令が、
該複数の中央値強度から最小強度を決定する一つ以上の命令であって、該最小強度は複数の境界線のうちの１つに関連する、命令と、
前記複数の境界線のうちの１つに関連した情報に少なくとも基づいて、該第１指数を決定することと
を含む、請求項８１に記載のコンピュータ読取り可能な媒体。
【図１】
【図２】
【図３ａ】
【図３ｂ】
【図４ａ】
【図４ｂ】
【図４ｃ】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３ａ】
【図３ｂ】
【図４ａ】
【図４ｂ】
【図４ｃ】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公表番号】特表２００７−５０６９４３（Ｐ２００７−５０６９４３Ａ）
【公表日】平成１９年３月２２日（２００７．３．２２）
【国際特許分類】
【出願番号】特願２００６−５２２０８６（Ｐ２００６−５２２０８６）
【出願日】平成１６年７月２８日（２００４．７．２８）
【国際出願番号】ＰＣＴ／ＵＳ２００４／０２４５９１
【国際公開番号】ＷＯ２００５／０１１９４７
【国際公開日】平成１７年２月１０日（２００５．２．１０）
【出願人】（５０３３６７１６９）フルイディグム コーポレイション (14)
【Ｆターム（参考）】
【公表日】平成１９年３月２２日（２００７．３．２２）
【国際特許分類】
【出願日】平成１６年７月２８日（２００４．７．２８）
【国際出願番号】ＰＣＴ／ＵＳ２００４／０２４５９１
【国際公開番号】ＷＯ２００５／０１１９４７
【国際公開日】平成１７年２月１０日（２００５．２．１０）
【出願人】（５０３３６７１６９）フルイディグム コーポレイション (14)
【Ｆターム（参考）】
[ Back to top ]