説明

合焦位置を決定する方法及びビジョン検査システム

【課題】試料位置と合焦位置との間の差分を求める方法を提供する。
【解決手段】試料を示す画像データを獲得するステップと、獲得データから特徴セットを抽出するステップと、画像データ特徴を位置差分値に関連付けるように教え込まれた機械学習アルゴリズムを用いることにより、特徴セットを位置差分値に分類するステップとを含み、位置差分値が差分に対応する。任意に、特徴セットは対比特徴のサブセットを含みうる。任意に、対比特徴のサブセットは、画像データに基づく二乗勾配関数、画像データに基づくウェーブレット関数及び画像データに基づく自己相関関数、例えば、VollathのF4関数若しくはVollathのF4関数とVollathのF5関数との組合せ、全画像データの分散及び並びにLaplaceベースの焦点測定からなる群より選択されうる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、概して、試料位置と合焦位置との間の差分を求める方法、ビジョン検査システム及び制御装置に関する。
【背景技術】
【0002】
生物材料のコンピュータ支援画像解析はここ数年間一般的になっている。例えば、血液塗抹標本中の白血球を計数・分類するコンピュータ支援プロセスが開発されている。これらのタイプの検査は、例えば、患者が、感染症、アレルギー又は血液癌を患っているのかを判定するプロセスにおいて重要なステップである。
【0003】
信頼性の高い解析をすることができるためには、画像データが適質であることが大いに重要であり、例えば、画像データが鮮明、即ち、正確な焦点設定にて獲得されることを含む。
【0004】
現在、合焦位置を見出す一般的な方法は、異なる位置にて複数の画像を獲得する第一のステップと、獲得画像における高周波成分を同定する第二のステップと、最大量の高周波成分を有する画像を特定する第三のステップとを含む。その後、最大量の高周波成分を有する画像として対応する位置が合焦位置に選択される。合焦位置を見出すため、異なる位置における20個もの画像が獲得される必要がある可能性が低いことはない。
【0005】
更に、画像データが各分類対象物に対して獲得されることになっている場合、画像獲得プロセスはすべての対象物に対して多数回、例えば、20回繰り返されねばならず、これは、同様に、すべての試料に対して大量の画像データが獲得される必要があり、且つビジョン検査システムがすべての試料に対して多数回再調整されねばならないということを示唆する。従って、この方法は多くの時間を費やし、大量の再調整は該システムを消耗させうる。
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記の点から、本発明の目的は上述の課題を解決又は少なくとも低減することにある。
特に、目的の1つは画像データに基づいて試料位置と合焦位置との間の差分を求める方法を提供することである。これは、合焦位置を決定するためにより少ない画像が獲得される必要があることを示唆し、多くの場合、1つのみの画像が必要とされる。画像数を減少させることにより、処理時間及びステアリングモーターシステムを消耗させるリスクが低減されるであろう。
【課題を解決するための手段】
【0007】
第一の態様に従って、上記目的は試料位置と合焦位置との間の差分を求める方法により示され、前記方法は、
試料を示す画像データを獲得するステップと、
前記獲得データから特徴セットを抽出するステップと、
画像データ特徴を位置差分値に関連付けるように教え込まれた機械学習アルゴリズムを用いることにより、前記特徴セットを前記位置差分値に分類するステップと
を含み、前記位置差分値が前記差分に対応する。
【0008】
任意に、前記特徴セットは対比特徴のサブセットを含みうる。
【0009】
任意に、前記対比特徴のサブセットは、前記画像データに基づく二乗勾配関数、前記画像データに基づくウェーブレット関数及び前記画像データに基づく自己相関関数、例えば、VollathのF関数若しくはVollathのF関数とVollathのF関数との組合せ、全画像データの分散及び並びにLaplaceベースの焦点測定からなる群より選択されうる。
【0010】
任意に、前記対比特徴は複数のカラー層に対して決定されうる。
【0011】
任意に、前記対比特徴は前記画像データのサブセットに対して決定されうる。
【0012】
任意に、前記特徴セットは方向特徴のサブセットを含みうる。
【0013】
任意に、前記方向特徴のサブセットの複数の特徴は、複数のカラー層間の差異を特定し、前記特定差異に基づいて少なくとも1つの特徴値を求めることにより決定されうる。
【0014】
任意に、前記方向特徴のサブセットの複数の特徴は、前記試料において異なる高さを有する複数の異なる対象物を特定し、前記異なる対象物の差異を特定し、前記異なる対象物の前記特定差異に基づいて少なくとも1つの特徴値を求めることにより決定されうる。
【0015】
任意に、前記方向特徴のサブセットは、数式
【数1】

に従って異なるLaplaceベースの焦点測定間の指数を含みうる。
【0016】
任意に、前記方向特徴は前記画像データのサブセットに対して決定されうる。
【0017】
任意に、前記特徴セットはコンテンツ特徴のサブセットを含みうる。
【0018】
任意に、前記コンテンツ特徴のサブセットは全体的コンテンツ特徴及び部分的コンテンツ特徴を含みうる。
【0019】
任意に、前記全体的コンテンツ特徴は、全画像データの平均強度及び全画像データの分散からなる群より選択されうる。
【0020】
任意に、前記全体的コンテンツ特徴は複数のカラー層に対して決定されうる。
【0021】
任意に、該方法は、前記画像データにおける前景及び背景セグメントを決定するステップを更に含みうる。
【0022】
任意に、該方法は、前記前景及び背景セグメントを対象物クラスのセグメントに分割するステップを更に含みうる。
【0023】
任意に、該方法は、少なくとも1つの前記対象物クラスにおける複数の対象物を決定するステップを更に含みうる。
【0024】
任意に、該方法は、少なくとも1つの前記対象物クラスに対して、1つの対象物クラスの対象物に属する複数の画素を決定するステップを更に含みうる。
【0025】
任意に、前記部分的コンテンツ特徴は、前景セグメントの平均強度、背景セグメントの平均強度、前景セグメントの分散、背景セグメントの分散及び異なるセグメント間の面積分布を示す面積関数からなる群より選択されうる。
【0026】
任意に、前記部分的コンテンツ特徴は、少なくとも1つの前記対象物クラスの平均強度、少なくとも1つの前記対象物クラスの分散及び異なる対象物クラス間の面積分布を示す面積関数からなる群より選択されうる。
【0027】
任意に、少なくとも1つの前記対象物クラスは、赤血球(RBC)対象物クラス及び白血球(WBC)対象物クラスからなる群より選択されうる。
【0028】
任意に、前記前景及び背景セグメントは複数のカラー層に対して決定されうる。
【0029】
該面積関数は、例えば、例えば、複数の背景セグメント画素で除される複数の前景セグメント画素のような、前景セグメントと背景セグメントとの関係を示す関数でありうる。
【0030】
該コンテンツ特徴の主要目的は、焦点の程度/レベルには影響を及ぼさないが、それでも該対比特徴及び該方向特徴に影響を及ぼす画像の変動を補償することにある。
【0031】
任意に、前記特徴セットを位置差分値に分類する前記ステップは、サポートベクターマシンにより行われうる。
【0032】
第二の態様に従って、上記目的は、
試料を含む少なくとも1つのスライドを保持するように適合されたスライドホルダー、前記試料を示す画像データを獲得するように構成され、光学システム及び画像センサーを含む画像獲得装置、
前記試料と前記光学システムの間の距離を変更するように構成されたステアリングモーターシステム、
前記画像獲得装置及び前記ステアリングモーターシステムに接続されたプロセッサーであって、メモリーと関連して、前記画像獲得装置から前記試料を示す前記画像データを受け取り、前記画像データから特徴セットを抽出し、画像データ特徴を位置差分値に関連付けるように教え込まれた機械学習アルゴリズムを用いることによって前記特徴セットを試料位置と合焦位置との間の差分に対応する前記位置差分値に分類し、確定された前記差分に従って前記試料と前記光学システムの間の前記距離を変更するように前記ステアリングモーターシステムに命令することにより、前記差分を求めるように構成されるプロセッサー、
を含むビジョン検査システムによって示される。
【0033】
任意に、前記特徴セットは対比特徴のサブセットを含みうる。
【0034】
任意に、前記対比特徴のサブセットは、前記画像データに基づく二乗勾配関数、前記画像データに基づくウェーブレット関数及び前記画像データに基づく自己相関関数、例えば、VollathのF関数若しくはVollathのF関数とVollathのF関数との組合せ、全画像データの分散及びLaplaceベースの焦点測定からなる群より選択されうる。
【0035】
任意に、前記特徴セットは方向特徴のサブセットを含みうる。
【0036】
任意に、前記方向特徴のサブセットの複数の特徴は、複数のカラー層間の差異を特定し、前記特定差異に基づいて少なくとも1つの特徴値を求めることにより決定されうる。任意に、前記方向特徴のサブセットは、数式
【数2】

に従って異なるLaplaceベースの焦点測定間の指数を含みうる。
【0037】
任意に、前記特徴セットはコンテンツ特徴のサブセットを含みうる。
【0038】
任意に、前記特徴は複数のカラー層に対して決定されうる。
【0039】
任意に、前記特徴は前記画像データのサブセットに対して決定されうる。
【0040】
任意に、前記特徴セットを位置差分値に分類する前記ステップは、サポートベクターマシンにより行われうる。
【0041】
第一の態様の選択肢はこの第二の態様にも適用可能である。
【0042】
第三の態様に従って、上記目的は、
前記試料を示す画像データを受け取るように構成された受信機、
メモリーと関連して、前記画像データから特徴セットを抽出し、画像データ特徴を位置差分値に関連付けるように教え込まれた機械学習アルゴリズムを用いることによって前記特徴セットを試料位置と合焦位置との間の差分に対応する前記位置差分値に分類することにより、前記差分を求めるように構成されたプロセッサー及び
確定された前記差分を送信するように構成された送信機
を含む制御装置により示される。
【0043】
第一の態様の選択肢はこの第三の態様にも適用可能である。
【0044】
第四の態様に従って、上記目的は、装置にダウンロードされ、実行されると、上述の方法を実行するように設定された、ソフトウェア命令を含むコンピュータプログラムにより示される。
【0045】
本発明の他の目的、特徴及び利点は、以下の詳細な開示内容、従属クレーム及び図面から明らかになるであろう。
【0046】
概して、本明細書で別様に明示されない限り、特許請求の範囲において用いられる用語はすべて、当該技術分野におけるその通常の意味に従って解釈されるべきである。別様に明示されない限り、「1つの(a)/1つの(an)/その(the)[要素、装置、構成要素、手段、ステップなど]」への言及はすべて、前記要素、装置、構成要素、手段、ステップなどの少なくとも一例を指すものと広く解釈されるべきである。明示されない限り、本明細書で開示されるいずれの方法のステップも、開示される正確な順序で実施される必要はない。
【図面の簡単な説明】
【0047】
【図1】ビジョン検査システムを示す概略図である。
【図2】ビジョン検査システムを用いて試料を検査する一般的方法を示す流れ図である。
【図3】負の焦点ずれビジョン検査システムの一例を示す概略図である。
【図4】正の焦点ずれビジョン検査システムの一例を示す概略図である。
【図5】正の焦点ずれビジョン検査システムの別例を示す概略図である。
【図6】試料位置と合焦位置との間の差分を求める方法を示す全体の概要図である。
【図7】試料中の小型の対象物が合焦位置にないのと同時に、試料中の大型の対象物が合焦位置にある状態の一例を示す概略図である。
【図8】試料位置と合焦位置との間の差分を求める方法を示す流れ図である。
【図9】試料位置と合焦位置との間の差分を求めるように適合された制御装置を示す概略図である。
【発明を実施するための形態】
【0048】
本発明の上記並びに追加の目的、特徴及び利点は、添付図面を参照し、以下の本発明の好ましい実施形態の例示的且つ非限定的な詳細な説明を通じてより理解されるであろう。
【0049】
図1はビジョン検査システム100を概略的に示す。血液試料のような試料を含むスライド102はスライドホルダー104に配置される。図1に示すように、スライドホルダー104は複数のスライド又は1枚のみを保持するように適合されうる。光学システム108及び画像センサー110を含む画像獲得装置106は、スライド102における試料を示す画像データを獲得するように適合される。更に、光環境を制御して、解析がより容易な画像データを得るため、発光装置(図示せず)が用いられうる。
【0050】
画像獲得装置106によって獲得された画像データは画像処理装置112に転送されうる。画像処理装置112は画像獲得装置106に接続されたパソコンのような外部装置でありうる。或いは、画像処理装置112は画像獲得装置106に組み込まれうる。
【0051】
画像処理装置112は、試料位置と合焦位置との間の差分を求めるように構成された、メモリー116と関連するプロセッサー114を含みうる。このプロセスは図8に更に示される。
【0052】
該差分が求められると、ステアリングモーターシステム118に命令が転送されうる。
ステアリングモーターシステム118は画像処理装置112からの命令に基づき、スライド102と光学システム108の間の距離zを変更することができる。
【0053】
該ビジョン検査システムを用いることにより試料を検査する方法が図2に概略的に示される。
【0054】
第一のステップ200において、該ビジョン検査システムは1枚又は複数のスライドをロードされうる。各スライドは試料を保持する。試料は生物試料でよいが、これに限定されない。
【0055】
次に、ステップ202において、1枚又は複数のスライドの最初のスライドが分析される。これは、最初のスライドが画像獲得装置の視野にあるようにスライドホルダーを移動させることにより行われうる。或いは、最初のスライドが画像獲得装置の視野にあるように、画像獲得装置が移動されうる。
【0056】
第三のステップ204において、更に詳細に分析される白血球のような複数の対象物が認識される。更に詳細に分析することができるように、対象物の位置は保存されうる。
【0057】
第四のステップ206において、各検出対象物に対して対象物画像データが獲得される。各検出対象物に対して対象物画像データを獲得するため、スライドホルダーは保存位置に従って移動されうる。或いは、スライドホルダーを移動させる代わりに、画像獲得装置が保存位置に従って移動されうる。
【0058】
第五のステップ208において、対象物画像データは所定の分類に事前に分類されうる。例えば、対象物が白血球である場合、このステップは白血球を特定のタイプの白血球に分類するステップを含みうる。
【0059】
第六のステップ210において、対象物画像データ及び関連する事前分類は保存されうる。従って、該ビジョン検査システムの運用者が、関連する事前分類と共に各試料の対象物を示す画像データを検討することが可能である。
【0060】
該ビジョン検査システムが2枚以上のスライドをロードされる場合、第二のステップ202から第六のステップ210は該ビジョン検査システムの他のスライドに対して反復されうる。
【0061】
更に、ステップ204において、スライド全体画像が獲得されうる。スライド全体画像を獲得する場合、画像獲得装置の倍率は10倍、即ち、10倍拡大であり得、対象物画像データを獲得する場合、画像獲得装置の倍率は100倍、即ち、100倍拡大に切り替えられうる。倍率は異なるシステムで異なりうるが、一般的に、画像獲得装置の倍率は、スライド全体画像の獲得から対象物画像データの獲得に切り替える場合に高くされる。
【0062】
上述の図2のステップ204及び206において、試料中の各検出対象物を示す画像データを獲得するため、該光学システムは移動されうる。対象物の正確な事前分類を行う可能性を向上させるため、該スライドは合焦位置に配置されるべきであり、それは、該スライドと該光学システムの間の距離zが焦点距離fに等しく、又は少なくとも近いということである。距離zが焦点距離fより長い場合、該システムは正の焦点ずれであると言われ得、逆もまた同様に、距離zが焦点距離fより短い場合、該システムは負の焦点ずれであると言われうる。
【0063】
試料が、例えば、血液試料である場合、該試料は該スライド上に塗抹されうる。これは、試料が十分に単純ではないことを示唆し、それは、次に、新たな対象物画像データが獲得されようとするたび毎に距離zと焦点距離fの間の差分が求められねばならないということを示唆する。
【0064】
更に、該ステアリングモーターシステムはわずかに調整を誤り得、それは、次に、新たな対象物画像データが獲得されようとするたび毎に距離zと焦点距離fの間の差分が求められねばならないということを示唆する。
【0065】
更に、該ビジョン検査システムに干渉する他の因子、例えば、機械誘導振動が、新たな対象物画像データが獲得されようとするたび毎に距離zと焦点距離fの間の差分が求められることが好ましいということをもたらしうる。
【0066】
図3は負の焦点ずれシステムの一例を示す。この例では、画像獲得装置300は固定され、試料を含むスライド304a/304bを保持するスライドホルダー302a/302bは、垂直方向に変更されるように適合される。
【0067】
第一の位置において、スライドホルダー302a上に配置されたスライド304aはzobj位置に配置されている。この位置では、該システムは負の焦点ずれであり、それは、対象物画像データが該ビジョン検査システムの運用者により不鮮明と認識されるということである。
【0068】
この第一の位置において獲得される画像データを解析することにより、差分Δzが見出されうる。次に、この確定差分Δzに従って該スライドホルダーを移動させることにより、新たな位置zが到達される。この新たな位置zにおいて、該光学システムとスライド304bの間の距離zは該ビジョン検査システムの焦点距離fに等しく、又は近い。従って、この位置において獲得される対象物画像データは運用者により鮮明と認識される。
【0069】
図3に示されるビジョン検査システムと対照的に、図4に示されるビジョン検査システムは正の焦点ずれであり得、即ち、画像獲得装置400の光学システムとスライドホルダー402上に配置されたスライド404の間の距離が、該ビジョン検査システムの焦点距離より長い。
【0070】
画像データを獲得し、この獲得画像データに基づいて差分Δzを求めることにより、距離zが該ビジョン検査システムの焦点距離fに等しく、又は近くなるように、該ビジョン検査システムは変更されうる。これは、例えば、画像獲得装置400を、確定差分Δzに対応する距離だけスライド404により近くなるように移動させることによって達成されうる。
【0071】
距離zが焦点距離fに等しく、又は近くなるように、正の焦点ずれビジョン検査システムを変更する別の可能性が図5に示される。
【0072】
該ビジョン検査システムは、画像獲得装置500及びスライドホルダー502上に配置されたスライド504を含む。確定差分Δzに従って該ビジョン検査システムを補償するため、図3及び図4に示される方法の組合せが利用されうる。図3に示されるように、スライド504及びスライドホルダー502は画像獲得装置500方向に移動され、図4に示されるように、画像獲得装置500はスライド504及びスライドホルダー502方向に移動される。スライド504及びスライドホルダー502は画像獲得装置500方向に距離(1−α)Δz(式中、0≦α≦1)だけ移動され、該画像獲得装置はスライド502及びスライドホルダー504方向に距離αΔz(式中、0≦α≦1)だけ移動される。
【0073】
該ビジョン検査システムの一実施形態では、焦点距離fは約100μmであり、差分|z−f|が0.5μm超である場合、画像データは不鮮明と認識されるであろう(式中、zは該光学システムと該試料の間の距離であり、fは焦点距離である)。上述の距離は他の実施形態では異なりうる。
【0074】
試料位置と合焦位置との間の差分を求める方法の概要が図6に示される。この概要において、画像データ600は背景及び前景からなると想定される。該前景は赤血球(RBC)及び白血球(WBC)を含みうる。WBC及びRBCの代わりに他の対象物が同定されるように該システムが変更されうることは当業者には理解されるであろう。
【0075】
該画像獲得装置により獲得される画像データ600は、セグメンテーションモジュール602に、そして特徴抽出モジュール604に転送される。
【0076】
セグメンテーションモジュール602は複数の異なる対象物、この場合、RBC及びWBCを同定する。その後、各同定対象物に対するマスクが生成され、特徴抽出モジュール604に転送されうる。この特定の場合、WBC用マスク、RBC用マスク及び背景用マスクが生成され、特徴抽出モジュール604に転送される。
【0077】
一部の実施形態では、WBCの核が特に興味深いといえる。従って、これらの実施形態では、WBCマスクの代わりに、又はこれと組み合わせてWBC核マスクが用いられうる。
【0078】
更に、一部の実施形態では、WBCの核はWBC全体より同定が容易でありうる。従って、これらの実施形態では、WBCマスクはWBC核マスクに置き換えられうる。或いは、これらの実施形態では、WBCマスク及びWBC核マスクが共に用いられうる。
【0079】
更に、一部の実施形態では、核の一部が特に興味深く、又は同定がより容易である。これらの実施形態では、WBC核部分マスクが利用されうる。
【0080】
受信画像データ600及びセグメンテーションモジュール602から転送されるマスクに基づき、特徴抽出モジュール604は3つのカテゴリーの特徴を抽出することができる。
【0081】
第一のカテゴリーは本明細書で対比特徴606と称される。簡潔には、このカテゴリーは、画像データ600における高周波成分量を異なる方法にて表す複数の特徴を含みうる。コンテンツ特徴606は、例えば、ウェーブレット関数及びVollath F関数を含みうる。更に、セグメンテーションモジュール602によって生成されるマスクの1つを利用することにより、画像データのサブセットの特徴が決定され得、例えば、WBCマスク又はRBCマスクを利用することにより、画像データのWBC領域又はRBC領域のコンテンツ特徴が決定されうる。
【0082】
第二のカテゴリーは本明細書で方向特徴608と称される。このカテゴリーは、簡潔には、該システムが正の焦点ずれ又は負の焦点ずれであるかを示す複数の特徴を含みうる。
【0083】
第三のカテゴリーは本明細書でコンテンツ特徴610と称される。簡潔には、このカテゴリーは画像データ600を特徴付ける複数の特徴を含みうる。該コンテンツ特徴の主要目的は、焦点の程度/レベルには影響を及ぼさないが、それでも該対比特徴及び該方向特徴に影響を及ぼす画像の変動を補償することにある。
【0084】
特徴抽出モジュール604において決定される特徴は分類モジュール612に転送されうる。例えば、サポートベクターマシン(SVM)を含みうるこの分類モジュールにおいて、距離zと焦点距離fの間の差分が求められうる。図6に示されるように、該差分は、例えば、0.5μmずつにて表されうる。
【0085】
或いは、SVMを用いる代わりに別のタイプの機械学習アルゴリズム、例えば、人工神経ネットワーク、ファジー論理アルゴリズム又はk‐最近傍アルゴリズムが用いられうる。
【0086】
上述のモジュールは、ソフトウェア実行、ハードウェア実行又はその組合せ、例えば、ASIC(「特定用途集積回路」)でもよい。モジュールの実行は、異なるプログラミング言語、異なるフレームワーク及び異なるプラットフォームについて異なりうることが当業者には理解されるであろう。
【0087】
該対比特徴は画像における高周波成分量を異なる方法にて表す特徴とみなされうる。
【0088】
対比特徴606は複数の関数を含みうるが、信頼できる結果を出すため、可能な限り以下の因子を満たすことが望ましい。
精度
現位置と合焦位置の間の距離が関数に基づいて求められ得、例えば、関数の最大(又は最小)が合焦位置において獲得される画像と一致するように関数が表されれば有利である。
ユニモダリティ
関数が1つのみの最大値(又は最小値)を有すれば有利である。
速度
関数をリアルタイムアプリケーションにて用いることができるためには、関数が高速であれば有利である。
【0089】
異なる関数は異なる因子と一致しうる。従って、対比特徴として複数の関数が選択されうる。これらの関数の一部は全因子とかなり良く一致しうるが、他の関数は因子の1つと極めて良く一致し、他の因子に関しては許容しうる。分類モジュール612において良好な分類を行うためには、すべての対比特徴全体が上記に示される因子を満たせば有利である。従って、一部の実施形態では、少なすぎる対比特徴より多すぎる対比特徴を分類モジュール612に転送するほうが良い。それは、分類モジュール612が正確に構成され、関連する訓練データを教え込まれていれば、分類モジュール612は入来対比特徴の関連性を推定することができうるためである。
【0090】
微分に基づく焦点関数は次のように示されうる。
【数3】

(式中、g(x,y)は(x,y)における強度レベルであり、Θは閾値であり、z≧0の場合、E(z)=zであり、z<0の場合、E(z)=0である。これらの関数は画像を微分し、微分値を合計することにより、画像における高周波量を測定する)
【0091】
パラメータをΘ=0,m=2及びn=1のように設定して二乗勾配関数が得られる。この関数の利点は閾値が必要ではないことである。別の利点は、微分値を二乗することによってより鮮明なピークが得られ得、それは関数の最大を見出すことがより容易でありうることを示唆する。
【0092】
画像データの分散に基づく焦点関数は次のように示されうる。
【数4】

(式中、gは画像における平均グレーレベルである)
【0093】
m=2により、画像データの標準分散が得られる。これは対比特徴及び/又はコンテンツ特徴として用いられうる。
【0094】
更に、自己相関関数であるVollathのFと称される焦点関数が対比特徴として含まれうる。VollathのFは次のように示されうる。
【数5】

【0095】
加えて、VollathのFとVollathのFとの組合せが対比特徴として含まれうる。その組合せは次のように示されうる。
【数6】

【0096】
更に、ウェーブレット関数が対比特徴として用いられうる。ウェーブレット関数の一例は、画像データを複数のサブサンプル化画像、例えば、LL1,HL1,LH1及びHH1と称される4つのサブサンプル化画像にサブサンプリングすることにより得られ、その場合、HL1,LH1及びHH1は差分を含み、LL1は画像データの圧縮版を含み、次のステップにおいて、LL1は二重サブサンプル化画像にサブサンプリングされ得、例えば、LL1画像はLL2,HL2,LH2及びHH2と称される4つの二重サブサンプル化画像にサブサンプリングされ、その場合、HL2,LH2及びHH2は差分を含み、LL2はLL1の圧縮版である。次に、該サブサンプル化画像の1つにおいて高周波成分が同定され、例えば、高強度を有するHL2画像において複数の画素を同定し、ノイズの影響を低減するために極めて高い強度を有する画素を除去し、残りの数の高強度画素を高強度測定に合計し、該高強度測定をLL2画像の平均強度で除することによって該高強度測定を正規化することにより、高周波測定が求められる。
【0097】
該対比特徴はLaplaceベースの焦点測定、即ち、Laplace様カーネルによる畳み込みに基づく焦点測定を更に含みうる。一実施形態では、この焦点測定は二次元畳み込みとして実行されうる。別の実施形態では、この焦点測定は2つの一次元畳み込みの二乗和、例えば、F(R)+F(R)として実行されうる。
【数7】

【0098】
この場合、I(x,y)は(x,y)点において評価されるカラー層cの強度であり、Rは像点のサブセットであり、n≧0はLaplace様カーネルにおいてゼロの数を制御するパラメータである。対比特徴としてF(R)及びF(R)の1つのみを用いることも可能である。
【0099】
更に、畳み込みは所定の閾値より大きい画素値のみにされるように限定されうる。
【0100】
セグメンテーションモジュール602から受け取るRBCマスク、WBCマスク及び背景マスクにより、上述の対比特徴は画像データの特定領域に対しても決定されうる。画像データの異なる領域間に明確な差異がある場合、このタイプの対比特徴は分類モジュール612の結果を向上させうる。
【0101】
該ビジョン検査システムが正又は負の焦点ずれであるかを判定するため、方向特徴のサブセットが決定されうる。
【0102】
試料に含まれる対象物がサイズで異なりうるため、WBCのような大型の対象物は焦点を合わせられうるが、RBCのようなより小さいタイプの対象物は焦点が合わない。この現象は図7に概略的に示され、スライドホルダー700が試料を含むスライド702を保持し、次に、該試料が大型の対象物704及び小型の対象物706を含む。ビジョン検査システム(図示せず)の光学システム708と大型の対象物704の間の距離は焦点距離fに等しく、又は近くなり得、同時に、小型の対象物706と光学システム708の間の距離は焦点距離fに等しくなく、又は近くない。これは、大型の対象物を含む画像データの領域の画素強度の標準偏差が、小型の対象物を含む画像データの領域より大きい可能性があることを示唆する。従って、画像データの異なる領域の標準偏差の差異が方向特徴として用いられうる。
【0103】
更に、異なるカラーが異なる波長を有するため、異なるカラー層は異なる焦点距離を有しうる。各カラー層の標準偏差を求めることにより、差異が検出され得、この差異に基づいて該システムが正又は負の焦点ずれであるかの指標が得られうる。従って、異なるカラー層の標準偏差の差異が方向特徴として用いられうる。異なるカラー層における標準偏差の差異は、全画像データ或いは画像データの特定領域、例えば、大型の対象物を含む画像データの領域及び/又は小型の対象物を含む領域について求められうる。
【0104】
標準偏差は次のように示されうる。
【数8】

(式中、I(x,y)は(x,y)点において評価されるカラー層cの強度であり、Rは像点のサブセットであり、I(R)はRにおける像点上のカラー層cの平均強度である)
【0105】
異なるLaplace様畳み込み間の指数を形成し、カーネルのゼロの数を変え、複数の層を用いることにより、別の方向特徴が決定されうる。
【数9】

(式中、AはX又はYを示し、即ち、FはLaplaceベースの焦点測定の定義に用いられる関数F及びFの1つであり、m>n,p>qであり、c1及びc2は2つの異なるカラー層を示し、Rは像点のサブセットである。Rは該セグメンテーションモジュール由来のマスクに対応しうる)
【0106】
上述による方向特徴の一例は次のようになりうる。
【数10】

(式中、gは緑色層を示し、bは青色層を示し、RはRのすべての第二列及びすべての第四行の交点である)
【0107】
該コンテンツ特徴は画像データのコンテンツを異なる方法にて表す特徴とみなされうる。例えば、多数の血球が存在する場合、高周波成分量は少数の血球が存在する場合より多い。該コンテンツ特徴の主要目的は、焦点の程度/レベルには影響を及ぼさないが、それでも該対比特徴及び該方向特徴に影響を及ぼす画像の変動を補償することにある。
【0108】
該コンテンツ特徴は、全画像データの平均強度、背景の平均強度、RBCの平均強度、WBCの平均強度、全画像データの像標準偏差、RBCの像標準偏差、WBCの像標準偏差、RBCによって占められる画素数、WBCによって占められる画素数、RBC数及び/又はWBC数を含みうる。
【0109】
該セグメンテーションモジュールによって生成されるマスクを利用することにより、対比特徴、方向特徴及び/又はコンテンツ特徴は画像データのサブセットに対して決定されうる。
【0110】
更に、対比特徴、方向特徴及び/又はコンテンツ特徴は、1つの特定のカラー層又は複数のカラー層の組合せに対して決定されうる。
【0111】
更に、対比特徴、方向特徴及び/又はコンテンツ特徴は、1つの特定のカラー層又は複数のカラー層の組合せの画像データのサブセットに対して決定されうる。
【0112】
図8は試料位置と合焦位置との間の差分を求める方法を示す。
【0113】
第一のステップ800において、試料を示す画像データが獲得される。
【0114】
第二のステップ802において、該画像データから特徴セットが抽出される。
【0115】
第三のステップ804において、該特徴セットは位置差分値に分類され、該位置差分値が該差分に対応する。
【0116】
図9は試料位置と合焦位置との間の差分を求めるように適合された制御装置900を示す。制御装置900は画像獲得装置から画像データを受け取るように構成された受信機902を含みうる。受信画像データはプロセッサー904に転送され、プロセッサー904はメモリー906と関連して、該画像データから特徴セットを抽出し、該特徴セットを位置差分値に分類するように適合され得、前記位置差分値が該差分に対応する。更に、該制御装置は該位置差分値を、例えば、ステアリングモーターシステムに転送するように適合された送信機908を含みうる。
【0117】
本発明は、主に、数例の実施形態に関連して上記に述べられている。しかし、当業者には容易に理解されるように、上記に開示された実施形態以外の実施形態が、添付の特許請求の範囲により定義されるように、本発明の範囲内にて同様に可能である。

【特許請求の範囲】
【請求項1】
試料位置と合焦位置との間の差分を前記試料位置にある試料の一つの画像に基づいて、求める方法であって、
前記試料位置にある試料を示す画像データを獲得するステップと、
前記獲得データによる特徴から特徴セットを抽出するステップであって、前記特徴セットは対比特徴のサブセットを含み、前記対比特徴のサブセットは、前記画像データに基づく二乗勾配関数、前記画像データに基づくウェーブレット関数、VollathのF関数若しくはVollathのF関数とVollathのF関数との組合せのような前記画像データに基づく自己相関関数、全画像データの分散及びLaplaceベースの焦点測定からなる群より選択される複数の対比特徴を含む、ステップと、
特徴セットを各位置差分値に関連付けるように教え込まれた機械学習アルゴリズムを用いることにより、前記特徴セットを前記位置差分値に分類するステップと、
を備え、
前記位置差分値が前記差分に対応する方法。
【請求項2】
前記対比特徴のサブセットは、前記画像データに基づくウェーブレット関数を含む、請求項1に記載の方法。
【請求項3】
前記対比特徴のサブセットは、VollathのF関数又はVollathのF関数とVollathのF関数との組合せのような、前記画像データに基づく自己相関関数を含む、請求項1又は2のいずれかに記載の方法。
【請求項4】
前記対比特徴のサブセットは、前記画像データに基づく二乗勾配関数、前記画像データに基づくウェーブレット関数、VollathのF関数若しくはVollathのF関数とVollathのF関数との組合せのような前記画像データに基づく自己相関関数、全画像データの分散及びLaplaceベースの焦点測定を含む、請求項1から3のいずれか一項に記載の方法。
【請求項5】
前記対比特徴が複数のカラー層に対して決定される、請求項1から4のいずれか一項に記載の方法。
【請求項6】
前記対比特徴が前記画像データのサブセットに対して決定される、請求項1から5のいずれか一項に記載の方法。
【請求項7】
前記特徴セットが方向特徴のサブセットを含む、請求項1から6のいずれか一項に記載の方法。
【請求項8】
少なくとも前記方向特徴が1つのカラー層に対して決定される、請求項7に記載の方法。
【請求項9】
前記方向特徴のサブセットの複数の特徴が、前記試料において異なる高さを有する複数の異なる対象物を特定し、
前記異なる対象物の差異を特定し、
前記異なる対象物の前記特定差異に基づいて少なくとも1つの特徴値を求めることにより決定される、請求項7又は8のいずれか一項に記載の方法。
【請求項10】
前記方向特徴が前記画像データのサブセットに対して決定される、請求項7から9のいずれか一項に記載の方法。
【請求項11】
前記特徴セットを位置差分値に分類する前記ステップが、サポートベクターマシンによって行われる、請求項1から10のいずれか一項に記載の方法。
【請求項12】
試料を含む少なくとも1つのスライドを保持するように適合されたスライドホルダーと、
前記試料を示す画像データを獲得するように構成され、光学システム及び画像センサーを含む画像獲得装置と、
前記試料と前記光学システムの間の距離を変更するように構成されたステアリングモーターシステムと、
前記画像獲得装置及び前記ステアリングモーターシステムに接続されたプロセッサーであって、メモリーと関連して、前記画像獲得装置から試料位置にある前記試料を示す前記画像データを受け取り、前記画像データによる特徴から特徴セットを抽出し、前記特徴セットは対比特徴のサブセットを含み、前記対比特徴のサブセットは、前記画像データに基づく二乗勾配関数、前記画像データに基づくウェーブレット関数、VollathのF関数若しくはVollathのF関数とVollathのF関数との組合せのような前記画像データに基づく自己相関関数、全画像データの分散及びLaplaceベースの焦点測定からなる群より選択される複数の対比特徴を含み、特徴セットを各位置差分値に関連付けるように教え込まれた機械学習アルゴリズムを用いることによって前記特徴セットを試料位置と合焦位置との間の差分に対応する前記位置差分値に分類し、確定された前記差分に従って前記試料と前記光学システムの間の前記距離を変更するように前記ステアリングモーターシステムに命令することによって、前記試料位置と合焦位置との間の差分を前記試料位置にある試料の一つの画像に基づいて求めるように構成されたプロセッサーと、
を備えたビジョン検査システム。
【請求項13】
前記対比特徴のサブセットは、前記画像データに基づくウェーブレット関数を含む、請求項12に記載のビジョン検査システム。
【請求項14】
前記対比特徴のサブセットは、VollathのF関数又はVollathのF関数とVollathのF関数との組合せのような、前記画像データに基づく自己相関関数を含む、請求項12又は13のいずれかに記載のビジョン検査システム。
【請求項15】
前記対比特徴のサブセットは、前記画像データに基づく二乗勾配関数、前記画像データに基づくウェーブレット関数、VollathのF関数若しくはVollathのF関数とVollathのF関数との組合せのような前記画像データに基づく自己相関関数、全画像データの分散及びLaplaceベースの焦点測定を含む、請求項12から14のいずれか一項に記載のビジョン検査システム。
【請求項16】
前記対比特徴が複数のカラー層に対して決定される、請求項12から15のいずれか一項に記載のビジョン検査システム。
【請求項17】
前記特徴セットが方向特徴のサブセットを含む、請求項12から16のいずれか一項に記載のビジョン検査システム。
【請求項18】
少なくとも前記方向特徴が1つのカラー層に対して決定される、請求項17に記載の方法。
【請求項19】
前記特徴が前記画像データのサブセットに対して決定される、請求項12から18のいずれか一項に記載のビジョン検査システム。
【請求項20】
前記特徴セットを位置差分値に分類する前記ステップが、サポートベクターマシンによって行われる、請求項12から19のいずれか一項に記載のビジョン検査システム。
【請求項21】
試料位置にある試料を示す画像データを受け取るように構成された受信機と、
メモリーと関連して、前記画像データによる特徴から特徴セットを抽出し、前記特徴セットは対比特徴のサブセットを含み、前記対比特徴のサブセットは、前記画像データに基づく二乗勾配関数、前記画像データに基づくウェーブレット関数、VollathのF関数若しくはVollathのF関数とVollathのF関数との組合せのような前記画像データに基づく自己相関関数、全画像データの分散及びLaplaceベースの焦点測定からなる群より選択される複数の対比特徴を含み、特徴セットを各位置差分値に関連付けるように教え込まれた機械学習アルゴリズムを用いることによって前記特徴セットを試料位置と合焦位置との間の差分に対応する前記位置差分値に分類することにより、前記試料位置と合焦位置との間の差分を前記試料位置にある試料の一つの画像に基づいて求めるように構成されたプロセッサーと、
確定された前記差分を送信するように構成された送信機と
を含む制御装置。
【請求項22】
装置にダウンロードされ、実行されると、請求項1から11のいずれか一項に記載の方法を実行するように設定された、ソフトウェア命令を含むコンピュータプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2013−50713(P2013−50713A)
【公開日】平成25年3月14日(2013.3.14)
【国際特許分類】
【出願番号】特願2012−168747(P2012−168747)
【出願日】平成24年7月30日(2012.7.30)
【分割の表示】特願2009−552156(P2009−552156)の分割
【原出願日】平成20年2月19日(2008.2.19)
【出願人】(500354388)セラビジョン、アクチボラグ (2)
【氏名又は名称原語表記】CELLA VISION AB
【Fターム(参考)】