説明

画像処理装置の焦点を合わせる方法

【課題】生物検体のデジタル画像の焦点の質を判定し、検体画像処理装置を用いて検体のデジタル画像を取得する。
【解決手段】画像のテクスチャの測定が2つの異なるスケールで計算され、画像が低分解能のデータと比較してどのくらい高分解能のデータを含んでいるのかを判定するためにこの測定値が比較される。テクスチャの測定は、例えば、高分解能測定に関して隣接するピクセル対の平均から計算され、低分解能測定に関して隣接する3つのピクセルの平均から計算されるブレナー(Brenner)自動焦点スコアである。そして、低分解能及び高分解能の測定値の関数に基づいて焦点の質を示すスコアを確立し、自動画像処理装置がスコアを用いて容認し得る画像の質を変え、又は容認できないと見なされた画像を取り替えるために焦点を変えて新たな画像を取得する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明の技術分野は、全体的に、電子画像処理システムの分野に関し、特にコンピュータ制御された顕微鏡画像処理システム及びその中で使用される焦点システムに関する。
【背景技術】
【0002】
病理学の分野では、内在する病的状態又は疾患状態に関する組織の検体を検査することが多くの場合必要である。いくつかのケースでは、組織の検体又は他の生体物質が、包埋剤の中に埋め込まれ非常に薄切りにされる。そして、これらの薄切りを後に続く画像処理及び解析のためにスライドといった検体ホルダの上に載せる。他の適用例では、細胞又は他の生体物質が液体ベースの液体製剤の中でスライドに運ばれる。例えば、細胞が標的部位(例えば、組織)から擦り取られ、任意に溶液で洗浄される。代替的に、体液(例えば、尿)から細胞を直接的に採取する。細胞をスライドに直接的に移送してもよく、例えば、血液検体をスライド上に直接的に塗り付けることができる。また、細胞を採取して及びスライド上に配置するための自動化装置が開発されている。例えば、ThinPrep(登録商標)System(Cytyc Corporation,Marlborough,MA)が、細胞懸濁液を含む液体をろ過する。そして、その後の処理及び観察のために、フィルタ上に堆積した細胞の薄膜がスライド上に移される。
【発明の概要】
【発明が解決しようとする課題】
【0003】
自動化された画像処理又は走査システムが、検体のデジタル画像を取り込むのに益々採用されている。そして、病理学者又は他の熟練技術者によって、組織に内在する病的状態又は疾患状態に関するデジタル画像を分析し得る。自動化画像処理システムは、多くの場合、検体の1又はそれ以上の焦点画像を取得するために自動的に制御されるステージ及び光学部品を使用するコンピュータ制御される顕微鏡を採用する。例えば、このようなシステムは、スライド上に用意された検体全体の画像を取得するよう使用する。代替的に(又は組み合わせて)、このようなシステムは、関心のある特定の領域又は区域の1又はそれ以上の拡大画像を取得する。検体又はその拡大領域の高質の画像を取得するために、このようなシステムは、検体又は領域に迅速に焦点を合わせ得る必要がある。
【0004】
このような要請は、いくつかの技術的な障害を引き起こしている。画像を観察する際に、人間は焦点が合っているか否かを素早く認識し得る。コンピュータ化されたシステムは、このような作業が困難である。異なる焦点高さの同じ検体の2つの画像を与えると、コンピュータ作動の焦点システムは、焦点が良く合っている方の画像を特定し得る。しかしながら、1つの画像のみを与えた場合、コンピュータが焦点の質を自動的に評価するのは困難である。さらに、コンピュータが理想的な又は最適な焦点高さから結像される焦点面までの距離を判定するのは困難である。
【0005】
1つの画像の焦点の質を評価する多くの既存の方法は、フーリエ変換を用いている。雑音が無い場合には、焦点合わせが不完全な画像は、特定の周波数を超えるフーリエ信号を含んでいない。このようなカットオフ周波数の位置は、テクスチャのスケールを与える。都合の悪いことに、実画像は雑音を含んでおり、これがフーリエ変換の実用性を制限している。フーリエ変換に基づく方法は、低い信号対雑音比(SNR)を有すす画像で不完全に実行する。また、使用されるフーリエ変換による方法は、コンピュータ的に集約されており、強靱な計算ハードウェア及びソフトウェアを要する。
【0006】
自動化した顕微鏡では、焦点高さを変えることによって、コンピュータが、検体の中の所定の場所に関する最適な焦点面を概略的に見付け、各高さでの画像を取り込む。様々な「自動焦点関数」のうちの1つを用いて、それぞれ取得された画像のスコアを計算する;最もスコアの高い画像は理想的な焦点高さに対応する。自動焦点関数の値は視野にある検体に依存し、同じ検体の他の画像に対する1と画像の質の判定のみにこれらの関数を使用することができ、絶対的な質の評価をすることができない。ある種類の自動焦点関数が画像の区別に基づいて機能する。点広がり関数(PSF)がいくつかのピクセルの中で各ピクセル強度に分布しているため、それらをぼかして階調レベルを平均化し、焦点の合っていない画像は、通常、互いに隣接するピクセル間のわずかな差のみを有している。画像の相対的な焦点の質の測定として異なるタイプの画像の区別を使用する。例えば、ブレナー(Brenner)は、全てのピクセル及びそれらに隣接する2点間の差の二乗の合計の使用を提案した。例えば、ブレナーらによる、An Automated Microscope For Cytological Research,J.Histochem.Cytochem.24,100−111(1971)を参照されたい。
【0007】
ブレナー関数は、コンピュータ制御される画像処理システムが焦点高さを変えつつスライドの画像を取得する際に、焦点の質の基準として使用される。従来の方法は、複数の焦点高さで取得した画像についてのブレナー関数のスコアを比較する。ある画像に関する焦点の質の判定は、ある焦点高さでのある視野のブレナー関数スコアに対する異なる焦点高さでの同じ視野でのブレナー関数スコアの比較に依存している。ブレナー関数のスコアは、画像のテクスチャの測定である。焦点の合った画像は高いブレナー関数スコアを有しており、焦点の合っていない画像よりも小さなスケールのテクスチャを含んでいる。逆に、焦点の合っていない画像は低いブレナー関数スコアを有しており、小さなスケールのテクスチャを含んでいない。焦点高さは、理想的な高さよりも高い所からそれを下回るよう変化するため、ブレナー関数は低い値から始まって、理想的な焦点高さで画像の焦点が合う際にピーク値に達し、焦点が合わなくなると減少する。ブレナー関数の形状は、焦点高さに対してプロットされた場合に、釣鐘型の曲線である。
【0008】
ステージを優に上回る焦点高さを初めに設定し、光学装置を例えば、数ミクロンずつ検体に段階的に近づけることによって、非常にシンプルな自動焦点方法を実施し得る。このようなプロセスを、ブレナースコアが最大値に達するまで続ける。ピークの焦点高さを見付けるには、連続的な焦点高さで取り込まれた画像のブレナースコアを比較することを要する。しかしながら、大量の検体を処理しなければならない多くの医療上の画像処理の適用例において、この種の自動焦点を実行するのに、多くの場合非常に時間が掛かる。理想的には、自動化した画像処理システムは、各視野について1の画像のみを取り込むが、システムが依然として画像の質を保証する何らかの方法を有する必要がある。1の画像の焦点の質をチェックする効果的且つ精度の高い方法により、所定の画像の焦点の質が条件を満たしていないと判定されるときのみに、このような画像処理システムがさらなる自動焦点画像を取得することが可能となり、精度が低くなるリスクをもたらすことなく効果を最大限にするであろう。
【課題を解決するための手段】
【0009】
一実施例では、生物検体のデジタル画像の焦点の質を判定するための方法が、検体画像処理装置を用いて検体のデジタル画像を取得するステップを有している。このデジタル画像は複数のピクセルを具えている。画像の小スケールのテクスチャの測定を計算する。例えば、画像の小スケールのテクスチャが、デジタル画像全体にわたって隣接するピクセル対の平均の差を自乗することによって測定される。次に、画像の大スケールのテクスチャの測定を計算する。大スケールのテクスチャが、デジタル画像全体にわたって隣接する3つのピクセルの平均の差を自乗することによって測定される。そして、小スケール及び大スケールのテクスチャの測定値の比較に基づいて画像の焦点の質の推定を定める。
【0010】
一実施例では、生物検体のデジタル画像の焦点の質を判定するための方法が、検体画像処理装置を用いて複数のピクセルを具える検体のデジタル画像を取得するステップを有している。高分解能のブレナースコアが、デジタル画像の中の一連のピクセルにわたって隣接するピクセル対の平均の差を自乗し、自乗した差を合計することによって計算される。低分解能のブレナースコアが、デジタル画像の中の一連のピクセルにわたって隣接する3つのピクセルの平均の差を自乗し、自乗した差を合計することによって計算される。そして、高分解能のブレナースコアを低分解能のブレナースコアで割った比、又は低分解能のブレナースコアを高分解能のブレナースコアで割った比を計算する。本書で使用されているように、比は、高分解能のテクスチャスコアを低分解能のテクスチャスコアで割ること、又は代替的に、低分解能のテクスチャスコアを高分解能のテクスチャスコアで割ることに言及するために用いられている。そして、計算した比に基づいて、焦点の質を示す焦点スコアを定める。この焦点スコアは、例えば、理想的な焦点高さからの推定されるズレを有している。
【0011】
別の実施例では、検体の焦点を合わせる方法が、検体画像処理装置を用いて複数のピクセルを具える検体のデジタル画像を取得するステップを有している。高分解能のブレナースコアが、デジタル画像の中の一連のピクセルにわたって隣接するピクセル対の平均の差を自乗し、自乗した差を合計することによって計算される。低分解能のブレナースコアが、デジタル画像の中の一連のピクセルにわたって隣接する3つのピクセルの平均の差を自乗し、自乗した差を合計することによって計算される。低分解能のブレナースコアに対する高分解能のブレナースコアの比を計算する。そして、検体画像処理装置の焦点の長さをこの比に基づいて調整する。
【0012】
焦点を合わせる方法が、検体の1又はそれ以上のデジタル画像を取得し、ブレナースコア又はブレナー比を再計算して焦点の改善を評価するさらなるステップを有している。さらなるデジタル画像を取得して、焦点面が最適な又は実際の焦点高さに又はその近くになるまで解析する。焦点高さの関数としてのブレナースコアは釣鐘型の曲線(二次の指数関数)であるため、焦点スコアの対数に放物線の逆補間を用いて3又はそれ以上の点からそのピークの位置を推定することが可能である。
【0013】
さらに別の実施例では、検体ホルダに含まれる検体のデジタル画像の質の検査を実行する方法が、複数のピクセルを具える検体のデジタル画像を取得するステップを具えている。高分解能のブレナースコアが、デジタル画像の中の一連のピクセルにわたって隣接するピクセル対の平均の差を自乗し、自乗した差を合計することによって計算される。低分解能のブレナースコアが、デジタル画像の中の一連のピクセルにわたって隣接する3つのピクセルの平均の差を自乗し、自乗した差を合計することによって計算される。次に、高分解能のブレナースコアに対する低分解能のブレナースコアの比を計算する。デジタル画像は、計算した比に基づいて容認又は否認される。自動化画像処理システムは、焦点の質が満足できないと判定されたときに焦点を迅速に調整して新たな画像を取得し、又は焦点が合っていない画像の数が所定の閾値を超える場合に、画像処理を続けるが検体全体を最処理する。
【0014】
別の実施例では、自動化した画像処理装置を用いて検体の焦点を合わせる方法が、画像処理装置を用いて異なる焦点高さにおける検体の3つのデジタル画像を取得するステップを有している。デジタル画像は複数のピクセルから形成されている。3つのデジタル画像のそれぞれについてブレナー自動焦点スコアを計算する。3つの焦点高さ及び対応する画像のブレナースコアによってによって形成される(x,y)点に累乗二次関数を適合させる。データに適合した関数に基づいて新たな焦点高さで新たな画像を取得する。新たな画像について新たなブレナースコアを計算する。理想的な焦点高さに達するまで様々な新たな(例えば、修正した)焦点高さでさらなる画像を取得する。当然ながら、理想的な焦点高さ(例えば、±ズレ値)に近づいたことを画像処理装置が検出した時に、処理を止める。
【図面の簡単な説明】
【0015】
ここで、添付図面の使用を介してより特異的且つ詳細に本発明に係る実施例を記載及び説明することとする。
【0016】
【図1】図1は、典型的な検体画像処理装置を示す。
【図2】図2Aは、小スケールテクスチャ(例えば、2つのピクセルのブロック)についてのブレナースコアの計算の図式的な表現である。図2Bは、大スケールテクスチャ(例えば、ピクセルの3つのブロック)についてのブレナースコアの計算の図式的な表現である。
【図3】図3は、理想的な焦点高さからのズレ量の関数としての大スケール(低分解能)のブレナースコアに対する小スケール(高分解能)のブレナースコアの比の散布図である。
【図4】図4は、図3の12,000画像についての実際のズレ量と比較した、予測したズレ量の二乗平均平方根誤差を示すグラフである。
【図5】図5は、初期高さ(中実のデータ点)から0,−4,及び−8ミクロンのオフセットで取得されるブレナースコアを示すグラフである。点線は、3つのデータ点のみを使用して計算される最良の適合である。中空のデータ点は、1ミクロンずつの移動で取得された追加的なブレナースコアを示す。
【発明を実施するための形態】
【0017】
図1は、本発明の一実施例に係る検体の画像処理装置32の典型的な実施例を示す。画像処理装置32は、第1の光学系38と、それに対して可動なスライドステージ40とを有している。検査ステーション36が設けられており、第2の光学系44を有して、サーバ34を介して画像処理システム32に接続されている。内部コンピュータシステム46が第1の光学系38を制御し、サーバ34に接続されている。
【0018】
第1の光学系38は、CCDカメラ48といったデジタルカメラ48と、顕微鏡50とを有している。顕微鏡50は、好適には、自動化された顕微鏡である。自動化された顕微鏡50は、オートフォーカス機構54といった顕微鏡50の光路51に位置決めされたスライド10の領域の高速且つ精密な画像処理を提供する特徴を有している。第1の光学系38は、1又はそれ以上のレンズ系52を有している。照明器42が、スライド10上に配置された検体14を照らし、全体的にステージ40の下方からスライド10を照らす。
【0019】
ステージ40は、内部コンピュータシステム46からの適切な命令に応じて、顕微鏡50の光路51の中に検体スライド10を運ぶ。一実施例では、ロボットのスライドハンドラー64が、コンピュータシステム46からの適切な命令を受けて、検体の細胞を画像処理すべくスライド保持カセットから可動ステージ40に検体スライド10を移動させ、画像処理のあとにカセットに戻る。スライドホルダ65が、ステージ40上の正確な位置及び方向にスライド10を固定的且つ取り外し可能に繰り返して位置決めする。ステージ40は電動式であり、1又はそれ以上のステージモータ56によって駆動する。ステージ40はベアリング58上に取り付けられており、ベアリング58は同様に顕微鏡50の基部59に取り付けられている。一実施例では、ステージ40がx−y面で可動である。
【0020】
一実施例では、可動ステージ40と通信可能なインタフェースコントローラ60が、光路51及び顕微鏡50の表示画面に対するスライド10の制御された正確な移動を提供する。インタフェースコントローラ60は、コンピュータシステム46からの命令を、ステージ40を上記の場所に移動させるようモータ56を移動させる適切な信号に変換することによってステージモータ56を制御する。位置エンコーダ62がステージ40の正確な位置を検出し、コンピュータシステム46にステージの移動又は位置を示すパルスを与える。当技術分野で知られているように、これらのパルスをコンピュータシステム46によって復号化し、画像処理ステーション座標システムにおけるステージ40の位置を特定する。
【0021】
画像処理システム32は、スライド10がロボットのスライドハンドラー64によって可動ステージ40に運ばれたとき、又は手で装着されたときに、バーコードを含んだスライドの領域を調べるよう配置された光学バーコードリーダ66を有している。画像処理システム32は、潜在的に異常な細胞が存在する可能性のある検体の中の関心のある領域にドット、マーク、又は他の可視的サインを自動的に設置するマーカ68を有している。
【0022】
検査ステーション36は、サーバ34を介して画像処理システム32に接続されており、遠くに配置される。検査ステーション36は第2の光学系44を有している。第2の光学系44は、第1の光学系38のいずれか又は全ての態様を有している。一実施例では、第2の光学系44が、可動ステージに接続され画像処理システム32によって特定された関心のある領域の外観検査のために人間のオペレータによって使用するよう構成された顕微鏡50を有している。
【0023】
動作時に、画像処理システム32が、細胞検体14が配置されたスライド10の初期の観察及びスクリーニングを実行し、検体14の予備的な評価をする。画像処理システム32は、細胞検査技師又は病理学者が次に観察するために、可能性として最も関連のあるスライド上の関心のあるこれらの領域の場所を特定する。パパニコロースミアスクリーンで偽陰性の見解を防ぐために、予備的なスクリーニングにおいて画像処理システム32によって特定される領域の場所は、容認できる許容誤差の範囲内でなければならない。走査処理中の誤ったスライドの扱い又は位置決めにより、特定の領域の場所の誤りが発生し、検査ステーション36でのその後の読み間違いにつながる。
【0024】
画像処理システム32の動作に関するさらなる詳細が米国特許7,006,674号に見られる。本書に記載の方法を、生物検体の画像処理に使用される他の画像処理システムで使用してもよい。
【0025】
本発明の一実施例では、画像処理システム32を用いて取得されたデジタル画像の焦点の質を判定するための方法が提供されている。この方法はまず、検体14のデジタル画像を取得するステップを有している。デジタル画像がカメラ48を用いて取得される。検体14のデジタル画像が、ピクセル100の配列によって形成される。図2A及び2Bは、デジタル画像の中の隣接するピクセル100の一部を示す。画像の中の各ピクセル100は、特定のピクセルの強度又は明るさを表す8ビット(例えば、バイト)の数で表されている。各ピクセルの値は、シャッタが開放されたときにカメラ48の対応する容器に当たった光子の数に対して線形比例する。例えば、8ビットのシステムでは、各ピクセル100が、ピクセルの明るさ又は強度を示す256の可能な値のうちの1つを割り当てられる。これに関連して、画像システムが8ビットのグレースケール画像を解析する。本発明の一実施例によれば、デジタル画像の高分解能のテクスチャが、高分解能のブレナー(Brenner)スコア(BRHR)を計算することによって取得される。高分解能のブレナースコアは、隣接するピクセル対の平均の差を自乗して、デジタル画像の中の一連のピクセル100にわたって自乗した差を合計することによって計算される。高分解能のブレナースコアは式1を用いて計算され、rows及びcolsは、画像の中のピクセルの行及び列の数であり、Pi,jは、i行j列におけるピクセルの値である。この式は、図2Aに示すように視覚的に説明される。

【0026】
デジタル画像の高分解能のテクスチャに加えて、低分解能のブレナースコア(BRLR)を計算することによって、画像の低分解能のテクスチャを取得する。低分解能のブレナースコアは、隣接する3つのピクセルの平均の差を自乗して、デジタル画像の中の一連のピクセル100にわたって自乗した差を合計することによって計算される。低分解能ブラナースコアは、以下に説明され図2Bで視覚的に示されている式2を用いて計算される。

【0027】
低分解能のブラナースコアは、2つのピクセルから3つのピクセルに平均化窓の幅を増やすことによって得られる。平均化窓を広くすることによって画像の分解能を効果的に減らす。
【0028】
本発明の一実施例では、デジタル画像の焦点の質が、高分解能ブレナースコアと低分解能ブレナースコアとを比較することによって推定される。例えば、高分解能スコアを低分解能スコアで割ることができる(BRHR/BRLR)。代替的に、低分解能スコアを高分解能スコアで割ることができる(BRLR/BRHR)。スコアの計算及び比較が、検体画像処理装置32に動作可能に接続された内部コンピュータシステム46によって又は他のコンピュータ装置によって行われる。
【0029】
次に計算した比に基づいて焦点スコアを確立する。本発明に係る一実施例では、最適な又は実際の焦点からのズレ量の程度に関する実験的に得られたデータを用いて、低分解能ブレナースコアに対する高分解能ブレナースコアの比の関数として焦点スコアが得られる。最も適合する関数がこのデータに対して計算される。そして、この関数の逆関数を使用して推定したズレ量に対する測定した比をマッピングする。例えば、0.45(BRHR/BRLR)の比が、画像処理装置32の焦点が実際の焦点に対して±12.5μmであることを示す焦点スコアに対応する。焦点スコアは実際のズレ量の値(すなわち、距離)である。代替的に、焦点スコアは割合であってもよい。
【0030】
様々なスライドに関する異なる場所における様々な焦点高さでの1組のデジタル画像が実験的に得られた。40の異なる焦点高さで12,000画像を取り込んだ。30の異なるスライドに関して10の異なる場所で画像を取り込んだ。そして、低分解能ブレナースコアに対する高分解能ブレナースコアの比を判定した。図3は、理想的な焦点からのズレ量の関数としてプロットされた、12,000画像のそれぞれについての比の散布図である。図3のグラフのy軸が(BRHR/BRLR)を示す一方、グラフのx軸が最適な焦点からのズレ量の程度を示している(正及び負のズレ量の双方で表される)。図3に示すように、データは、通常は最適な焦点高さに対応する曲線のピークを具えた釣鐘型の曲線を示す。散布図に見られるように、数の幅広いバリエーション及び各場所における検体のタイプに拘わらず、比は異なるスライドに関して一致した。このように、ブレナー比(高分解能/低分解能及び低高分解能/高分解能)は、異なるスライドから取り込まれた画像の焦点の質を評価するのに比較的一定の計測値を与える。
【0031】
図3に示すデータに最も良く適合する式は釣鐘曲線である。式3は、y軸に中心がある釣鐘曲線に関する式であり、パラメータa及びcはピークの幅及び高さを制御し、dは理想的な焦点高さからのズレ量である。

【0032】
図3に示すデータに関しては、最も良好な適合を与えるパラメータa及びcは、a=−0.0015459で、c=−0.58835である。式3を用いたズレ量から実測の比と予測される比との間の自乗誤差の総和を最小限にすることによって、パラメータを判定し得る。yが測定した比(BRHR/BRLR)の自然対数と等しいと仮定し、

が予測される比の自然対数であるとすると:

となる。
【0033】
検体における各画像に関して、y及び

の値を計算し得る。i番目の画像では、yi及び

が一致する値とし、diがその画像のズレ量とする。理想的なパラメータの値a及びcは、セットされた検体全ての画像に関する自乗誤差の総和を最小限にするものであり:

となる。
【0034】
a及びcに関する偏導関数をゼロに設定することによって、a及びcの値を判定し得る。

【0035】
行列形式に式を変換することによって、この連立方程式を容易に解くことができる。

【0036】
そして、図3のデータに関しては、a=−0.0015459及びc=−0.58835となる。
【0037】
そして、予測される理想的な焦点からのズレ量を、低/高ブレナー比の関数として以下のように表すことができる。

【0038】
この式で予測される仮想のズレ量をゼロにマッピングできる。図4は、12,000の画像に関して実際のズレ量の値と比較した、式9を用いて予測されるズレ量の二乗平均平方根(RMS)の誤差を示す。RMS値をy軸で示し、ズレ量をx軸で示す。図4に見られるように、5μmよりも小さいズレ量では視覚上の効果があまりなく、偏差を識別するのが難しい。しかしながら約5μmと12μmとの間では、誤差が1μmに近づき又はそれよりも小さくなる。12μmを超えると偏差が大きくなる。また、このような限界を超えるデータ点の顕著な分散を示す図3からもこのようなことが見てとれる。
【0039】
このため、1つのデジタル画像から焦点の質を判定することが可能となる。そして、(BRHR/BRLR)比(又は高分解能に対する低分解能の比)を計算することによって、理想的な焦点からのズレ量を判定し得る。理想的な焦点高さからのズレ量を、上記の式3のようなモデル式に基づいて特定の比から推定する。所定の比が2つの可能なズレ量の値−正の値及び負の値、を与えることに留意されたい。
【0040】
上記のような方法で取得される焦点スコア又は測定値を多くの方法で使用してもよい。まず、本方法を使用して、1つのデジタル画像が容認又は否認されたかを判定する。例えば、ズレ量が所定の閾値に収まらない場合、画像は否認される。これは、様々な焦点高さで同じ場所から新たな画像を取得する必要があることを意味する。検体画像処理装置32に装填される複数の検体からの画像に関する焦点スコアを取得してもよい。例えば、所定のスライドからの全ての画像の焦点スコアの平均値、又はそれらの標準偏差を測定してもよい。代替的に、所定のスライドに関する所定の閾値を超える画像の数を測定し得る。そして、焦点スコアが容認できないと見なされる場合、あるバッチの中の特定のスライドを再処理する。代替的に、周期的又は累積的スコアをあるバッチの中で複数のスライドに与えてもよい。周期的又は累積的スコアが所定の閾値を超える場合、これらのスライドは疑わしいものと見なされ、結果として再走査する必要がある。閾値は、現在のズレ量の値、標準偏差値、割合、又は他の測定基準でよい。
【0041】
本発明に係る一実施例では、自動化された画像処理装置が、所定の範囲の条件を満たしたスコアから外れる所定のスライドの画像の数を追跡する。これらの基準を満たさない画像の数が特定の数を超える場合、スライドを再処理する。例えば、画像処理装置は、スライドから得られる2000画像のうちの100以上が条件を満たした範囲から外れるスライドを再処理する。代替的に、それぞれの焦点スコアが所定の閾値又は範囲を超える場合、個々のスライド又はスライドのバッチにフラグを立てる。そして、ユーザは、スライドを容認するか又はそれらを再び画像処理装置32に通すことを選ぶ。本発明に係る別の実施例では、あるパーセントを超えるスライドがこのような方法で否認された場合に、検体画像処理装置がそれ自身を再検査し又はメンテナンスを要することをユーザに知らせる。
【0042】
本発明に係る別の実施例では、自動化された画像処理装置が、条件を満たした画像についてブレナー比のスコアを計算し、スコアが条件を満たさない場合にはいつでも同じ場所で新たな画像を受け入れる。本装置は、エラーを発見する場合に即座にその場所に戻り、又は画像が条件を満たさない全ての場所を思い出し、残りのスライドが走査された後にそれらの場所に戻って新たな画像を受け入れる。
【0043】
本発明に係る別の実施例では、自動化された画像処理装置が比のスコアの動向を認識し、その動向に基づいて今後の焦点の移動を修正しようと試みる。例えば、全ての画像が4μmのズレ量を有すると推定される場合、本装置は、そうでなければ1μmを超える高さで取得したであろうがここでは1μmの高さで次の画像を取得する。次の画像の推定されたズレ量が減少する場合、本装置は、焦点の質がこれ以上良く成らなくなるまで、1μmずつ高さのオフセットを増やし続ける。一方、次の画像の推定されたズレ量がより大きい場合、本装置は反対の向きにオフセットを増加させる。
【0044】
一定の間隔で又は二分探索のパターンで高さを変えることによって理想的な焦点高さを検索し、各高さで自動焦点スコアを比較することは、自動化された画像処理で一般的な方法である。本発明に係る一実施例では、自動焦点スコアに曲線を適合させこのような曲線に基づいて焦点高さを調整するよって、このようなプロセスが、より効果的且つ精度よくなる。様々な焦点高さで取得された各デジタル画像によって複数のデジタル画像を取得する。そして、各画像についてブレナースコアを計算し、スコアに適合しブレナー関数のピーク(最適又は理想的な焦点高さ)を推定することができる関数(例えば、曲線)を作成する。そして、データに関して作成した曲線を用いて焦点長さを調整する。
【0045】
本発明に係る別の実施例では、検体14のデジタル画像を取得する。次に、隣接するピクセル対の平均の差を二乗し、デジタル画像の中の一連のピクセル100にわたって二乗した差を合計することによって、高分解能のブレナースコアを計算する。近くの3つのピクセルの平均の差を二乗し、デジタル画像の中の一連のピクセルにわたって二乗した差を合計することによって、低分解能のブレナースコアを計算する。そして、高分解能のブレナースコアを低分解能のブレナースコアで割ることによって、比を計算する。代替的に、低分解能のブレナースコアを高分解能のブレナースコアで割ることによって、比を計算する。上述の比のうちの一方に基づいて、焦点長さを調整する。調整の程度は、実験的なデータによって又は理想的な焦点からのズレ量の程度に対する比に関する式3のようなモデル化した式を通して決められる。
【0046】
所定の比については、2つのズレ量の値(正の値及び負の値)があるため、検体画像処理装置32は2つの選択肢のうちの一方をランダムに選びそれに応じて動く。そして、第2の(又は追加的な)画像を取得して最適な焦点に達しているか否かをチェックする。代替的に、初期画像が焦点面の一方の既知の側であると予測されるように、システムがセットされる。例えば、検体が光学素子にもっと近付くよう移動することを要すると推定するのが理にかなうように、初期の画像を所定の位置で取り込む。これに関連して、システムは、別の調整又は追加的な調整を行って光学焦点位置に達するよう焦点長さを減らす。
【0047】
検体画像処理装置32のコンピュータシステム46は、計算した比の関数としてズレ量の値を有する参照テーブル又はデータベースを有してよい。これに関連して、実際の焦点からの推定されるズレ量に関して迅速な判定を行うことができる。データベース又は参照テーブルから推定されるズレ量の値を取得すると、検体14を(ステージ40を介して)光学装置に向けて又はそれから遠ざけるよう移動できる。代替的に、式9といった式の係数をデータセットに基づいて計算し、式の逆関数を用いて計算した比の関数としてズレ量を予測してもよい。
【0048】
検体14(及び/又は光学装置)が予測された正しい焦点面を調整するよう移動すると、検体画像処理装置32を介して検体の別の画像を取得する。別の画像を使用して新たな場所が光学焦点位置に有るか又はそれに十分近いか否かを確認する。本書に記載されているようなブレナースコア又は比を再び計算することによって、これを判定することができる。例えば、別の新たな場所が最適な焦点位置から依然として離れている場合、検体14及び/又は光学装置を新たなスコア又は比に従って所定量(すなわち、ズレ量)移動させる。装置32が最適な(又はほとんど最適な)焦点面に達するまで、このようなプロセスを任意の回数繰り返す。
【0049】
本発明に係る一実施例では、様々な焦点高さで複数の画像を取得するための標準的な自動焦点方法を使用する装置を改良して、釣鐘曲線の式をこれらの複数の画像からのスコアに適合し、データから釣鐘曲線のピークを補間し得る。このような方法を使用して、比較的大きなオフセット(例えば、4μm)でデータ点を集めることができるが、非常に細かい分解能で理想的な高さを推定することができる。図5は、ズレ量の関数としてのブレナースコア(y軸)のグラフを示す。3つの中実のダイヤモンドは、4μmずつのステップを用いて収集されたデータ点を表している。点線は、この3つのデータ点(中実のダイヤモンド)を用いた最良な適合を表している。最良な適合は、式3のような指数関数を用いてモデル化又は近似し得る釣鐘型の曲線である。複数の高さでの同じフィールドについて焦点スコアを適合させると、焦点スコア曲線のピーク(又は光学焦点位置)を見付けることができる。これは、個々のフレーム間のステップ高よりも細かい分解能で推定する。また、図5は、焦点面を1μmと小さくステッピングすることによって取得された実測データを示している。図5に示すように、最良な適合曲線が、焦点面の1μmの段階的な調整から得られるデータと完璧に近い整合を示している。これは、広い間隔の中実の点からピークを推定することで、狭い間隔でより多くの画像を取得することによって得られるのと同じように、これらの画像を取得するのに要するさらなる時間なしにかなりの精度向上をもたらすことを示している。
【0050】
複数のデータ点の最良の曲線適合を用いて釣鐘型曲線のピークを推定することによって、検体画像処理装置の焦点動作の速さ及び精度を高めることができる。最良の焦点高さのために一定の間隔又は二分探索で移動させるのではなく、焦点アルゴリズムが、曲線を存在するポイントのセットに適合し、推定された曲線のピークで次の画像を取得することができ、より迅速にピークに収束し得る。
【0051】
本実施例は、デジタル画像における小スケール及び大スケールのテクスチャを計算及び測定するためのブレナースコアの使用について説明している。しかしながら、当業者に既知の他の自動焦点スコア法もまた使用して小スケール及び大スケールのテクスチャの分解能を数値化してもよいことに留意されたい。

【特許請求の範囲】
【請求項1】
自動化した画像処理装置を用いて検体の焦点を合わせる方法であって、当該方法が:
(a)前記画像処理装置を用いて異なる焦点高さにおける複数のピクセルを具える前記検体の3つのデジタル画像を取得するステップと;
(b)前記3つのデジタル画像のそれぞれについてブレナー(Brenner)自動焦点スコアを計算するステップと;
(c)前記3つの焦点高さ及び対応する画像の前記ブレナースコアによって形成される(x,y)点に累乗二次関数を適合させるステップと;
(d)ステップ(c)の前記関数に基づいて新たな焦点高さに移動させ、新たな画像を取得し、前記新たな画像に関する前記ブレナースコアを計算するステップと;
(e)理想的な焦点高さに達するまでステップ(d)を繰り返すステップと;
を具えていることを特徴とする方法。
【請求項2】
前のデータ点から計算される前記適合関数のピークでそれぞれ新たな画像を取得することを特徴とする請求項1に記載の方法。
【請求項3】
前記適合の中に最も新しいデータ点を取り込むときに推定される前記適合関数の高さが、推定される前の関数の高さの特定の閾値の範囲内であるときに、前記理想的な焦点高さに達することを特徴とする請求項2に記載の方法。
【請求項4】
それまでに見付けられた最も高いスコアを具えたデータ点、
前記それまでに見付けられた最も高いスコアを具えたデータ点に最も近いがこれを下回る前記焦点高さを具えたデータ点、及び
前記それまでに見付けられた最も高いスコアを具えたデータ点に最も近いがこれを上回る前記焦点高さを具えたデータ点、
のみを用いて前記適合関数を計算することを特徴とする請求項1に記載の方法。
【請求項5】
前記焦点高さが、それぞれの手順とともに、それまでにチェックされた全ての焦点高さから少なくとも特定の距離だけ離しつつ、前記適合関数のピークにできる限り近い高さに調整されることを特徴とする請求項4に記載の方法。
【請求項6】
前記適合に使用された3つの点が全て互いに特定の距離内にあるときに、前記理想的な焦点高さに達することを特徴とする請求項4に記載の方法。
【請求項7】
検体画像処理装置の焦点を合わせる方法であって、
(a)前記検体画像処理装置を用いて複数のピクセルを具える前記検体のデジタル画像を取得するステップと;
(b)隣接するピクセル対の平均の差を自乗し、前記デジタル画像の中の一連のピクセルわたって前記自乗した差を合計することによって、高分解能ブレナースコアを計算するステップと;
(c)隣接する3つのピクセルの平均の差を自乗し、前記デジタル画像の中の一連のピクセルにわたって前記自乗した差を合計することによって、低分解能ブレナースコアを計算するステップと;
(d)前記高分解能ブレナースコアを前記低分解能ブレナースコアで割ったものから成る比を計算するステップと;
(e)前記比に基づいて前記検体画像処理装置の前記焦点の長さを調整するステップと;
を具えていることを特徴とする方法。
【請求項8】
さらに、前記調節した焦点の長さで前記検体のデジタル画像を取得するステップと、
ステップ(b)からステップ(e)までを繰り返すステップと、
を具えていることを特徴とする請求項7に記載の方法。
【請求項9】
ステップ(b)からステップ(e)までを、前記調整した焦点の長さで様々な画像について複数回繰り返すことを特徴とする請求項8に記載の方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2012−73616(P2012−73616A)
【公開日】平成24年4月12日(2012.4.12)
【国際特許分類】
【出願番号】特願2011−226454(P2011−226454)
【出願日】平成23年10月14日(2011.10.14)
【分割の表示】特願2009−540386(P2009−540386)の分割
【原出願日】平成19年11月27日(2007.11.27)
【出願人】(507130015)サイテック コーポレイション (18)
【Fターム(参考)】