説明

レーザマイクロ切開におけるレーザ切断線の自動生成方法

本発明は、レーザマイクロ切開のための方法に関するが、本方法においては、設定された切断線が、顕微鏡試料において切り出される物体に関連してマークされ、続いて物体が、レーザビームと試料の間の相対的な動きによって切り出される。本方法は、試料の少なくとも1つの画像詳細の少なくとも1つの電子画像が捕捉され、画像詳細が解析的に処理され、この場合に、切り出される少なくとも1つの物体が自動的に決定され、設定された切断線が、切り出される少なくとも1つの物体の回りに自動的に決定されることを特徴とする。1つの有利な実施形態において、関連するレーザ切断線もまた自動的に生成される。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、請求項1の上位概念(所謂おいて部分)の特徴(メルクマール)を有する方法に関する。有利な実施形態は、従属項から導き出される。
【背景技術】
【0002】
レーザマイクロ切開(切断)システムは、レーザによって生成されたレーザビームを用いて、生物試料から、選択された顕微物体を抽出するために用いられる。十分な量で抽出された材料(収集された、マイクロ切開された切片)は、続いて、さらなる生化学解析ステップに供給される。現在、レーザマイクロ切開システムは、医学生物学分野で広く用いられている。
【0003】
この種のレーザマイクロ切開方法およびレーザマイクロ切開システムは、たとえば特許文献1および特許文献2に説明されている。かかるレーザマイクロ切開システムは、複数の相互に正確に同期された構成要素から構成されている。中心構成要素は、多くの電動機能を有しかつ処理される試料を収容するための電子的に調節可能なx−yステージを含む顕微鏡である。レーザユニットにおいて生成されたレーザビームは、ビーム偏向を顕微鏡のビーム経路へ統合する光学系を介して結合され、顕微鏡対物レンズによって固定試料の様々な位置に偏向されてその試料を切断する。別の実施形態において、レーザビームは固定され、試料が、x−yステージによって、レーザビームに対して移動される。制御機能は全て、接続されたコンピュータで動作する適切に設計されたプログラムによって実行される。顕微鏡において可視の試料の画像詳細は、顕微鏡に適合されたカメラによって、コンピュータモニタに表示される。コンピュータマウスを用いることによって、ユーザは、下記において名目上の切断線と呼ばれる境界線を、選択された試料領域の回りに、それを囲んで引くことができる。このようにして引かれた全ての線は、モニタ座標に関連して画定される一連のx−y点座標によって特徴付けられる。切断命令が起動されると、レーザビームは、事前に画定された引き線が試料上にイメージングされるような方法で、適切なx−yマッピングシステムによって制御され、その結果、モニタ線の、原寸アフィンマッピングが、試料上に走査される。したがって、前もって手動でマークされた物体は、適切に調節されたレーザビームによって切り出される。特許文献2に説明されているように、このシステムによって、マイクロ切開された切片を、切断平面の下にある標準化された小さな収集容器に、さらなる処理のために選択的に収集することが可能になり、複数の収集容器が選択可能であり、収集位置へ自動的に移動できる。
【0004】
しかしながら、周知のレーザマイクロ切開方法の固有の欠点は、ユーザが試みたときに、切り出される物体をマークするプロセスが、複雑で、時間がかかり、誤りを犯しやすいことである。これは、比較的多数のマイクロ切開された切片が後の解析ステップに必要である場合には、特に当てはまる。この場合には、疲労およびユーザに影響する他の影響が、重大な結果をもたらし得る。
【0005】
【特許文献1】独国特許発明第100 43 506 Cl号明細書
【特許文献2】独国特許発明第100 18 251 C2号明細書
【発明の開示】
【発明が解決しようとする課題】
【0006】
したがって、本発明の目的は、ほとんどエラーのないプロセスにおいて高い試料処理能力を可能にするレーザマイクロ切開方法を考案することである。
【課題を解決するための手段】
【0007】
この目的は、請求項1で述べる、特徴部分の特徴を有する種のレーザマイクロ切開方法によって達成される。本方法において、試料の少なくとも1つの画像詳細の電子画像(グレースケール画像またはカラー画像)が捕捉される。続いて画像解析を用いて、画像詳細を処理し、かつ切り出される物体を決定する。続いて、切り出される物体の回りの名目上の切断線が、自動的に画定される。次に、ユーザ命令に応じて、レーザビームにより名目上の切断線に沿って物体を切り出してもよい。
【0008】
本方法の有利な一実施形態は、自動的に画定される名目上の切断線から、同様に自動的な追加方法ステップにおいて導き出される、レーザビームと試料の間の相対的な動きを制御するための制御信号を供給する。次に、レーザ切断線は、ユーザの介入なしに自動的に生成される。
【0009】
本発明は、画像解析方法の一貫した適用を通じて、かつ実質的に向上したレベルの顕微鏡の自動化を提供することによって、言及した欠点を克服する。自動化は、検査される試料領域を電子的に調節可能なステージ上に配置することを主として伴う。
【0010】
特に高いレベルの自動化およびサンプル処理量の著しい増加を達成するために、本方法の別の実施形態は、いわゆるメアンダ機能が、関連するアプリケーションプログラムにおいて画定されるように準備し、確実に、試料を含むステージが定常動作中に適切に前進するようにする。このプロセスにおいて、試料は、画像フィールドごとにメアンダ形状で自動的に走査され、その結果、ユーザによって選択された全体的な試料領域が、カメラによって増分的に捕捉される。一方で、対象の試料領域の境界は、画像フィールドのサイズを設定する顕微鏡対物レンズの倍率と同様に、システムの設定モードにおいて画定してもよい。他方で、合焦システム(このシステムの支援で、画像がステージの自動横送り動作中に処理されるように、必要な合焦セッティングが提供される)のタイプおよびセッティングを画定してもよい。メアンダ機能と共に、本方法によって、ユーザによる介入を少しも必要とせずに、試料の完全な自動処理が可能になる。
【0011】
新しい試料位置に自動的に到達するたびに、画像がカメラによって記録される。次に、画像解析方法を用いて各記録画像を検査し、この記録画像が、事前にプログラム化された特徴と一致する独特な特徴を備えた物体を含むかどうかを決定するが、一致の程度は設定可能である。十分な一致がある場合には、物体は認識されマークされる。全ての認識された物体に対して、1つの単一で閉じた境界線が、自動輪郭計算を実行することによって生成される。境界線の形状を保持しながらも、マトリックス変換を適用して、この境界線を「膨張」させ、その結果として、この境界線は、名目上の切断線より大きなクリアランス距離で物体を囲む。この手順によって、レーザビームの最終的な切断厚さを考慮することが可能になる。このようにして得られる全ての名目上の切断線は、モニタ座標に関連して画定される一連のx−y点座標を特徴とする。適切なx−yマッピング命令に従うことによって、レーザビームの適切な偏向に必要な、切断線の原寸アフィンマッピングが生成される。
【0012】
説明した方法で当面の画像がひとたび処理されると、ステージの自動横送り動作によって、試料が次の画像フィールドに配置され、そこで試料が解析される。選択可能な収集容器が、収集位置に自動的に移動される。この手順は、画定された試料領域が処理されるか、または事前に設定された数の物体が切り出されるまで反復される。切断動作後、各切り出された物体は、切断手順が無事に完了したまさにそのときに、試料に孔を残す。孔は、レーザ切断の厚さに起因する拡張がなければ、事前に検出された物体(輪郭線内の)の表面面積に本質的に一致する。
【0013】
この理由で、画像解析によって検出された、切り出された孔の表面面積を事前に検出された物体物の表面面積と比較することは、切断の2値評価をするための効果的な方法である。
【0014】
本発明による方法の利点は、システムが、ひとたび適切に調節されると、ユーザによるさらなる監視なしに動作するということである。したがって、指摘した方法は、著しく増加したサンプル処理量につながり、同時に、耐久性および信頼性を向上させる。特徴データ記録は、ひとたび確認されれば格納してもよいので、これは、ほぼ同様の試料が用いられる場合には、全面的な再現可能条件につながる。特に、統計的な測定では、この再現性は、十分に信頼できる範囲の結果を得るための絶対的な必要条件である。
【0015】
さらに、複数の特徴データ記録を用いることによって、1つの試料内の異なる物体タイプを認識し、一動作シーケンスで切り出してもよい。マイクロ切開された切片を切断平面の下で収集するための複数の容器の間で選択可能なので、異なる物体タイプを異なる容器に収集することもまたできる。
【0016】
もちろんまた、システムは、データベースサーバおよび/または任意の所定のネットワーク(LAN=ローカルエリアネットワーク、WLAN=無線ローカルエリアネットワーク(無線ネットワーク)、ブルートゥース、TCP/IP、インターネット)を介してだけでなく、印刷または電子形状の任意の所定の媒体を介して、特徴データ記録を分配するかまたは読み込んでもよい。これによって、複数のレーザマイクロ切開システムを1つの相互接続されたネットワーク内で同期させることが可能になる。特に、時間圧力の下で処理を必要とする多数の統計的に事前画定されたテスト量を扱う場合には、この目的は、調整された特徴データ記録を用い、1つのネットワークを介して複数のレーザマイクロ切開システムをクラスタ化および同期させることによって達成してもよい。
【0017】
本発明を、概略図に関連して下記でより詳細に説明する。
【発明を実施するための最良の形態】
【0018】
画像解析方法を用いて、画像内の物体を自動的に分類することができる。画像解析に支援された解析は、典型的には特徴解析に基づいている。この手順では、ある数の個別の特徴によって、全ての物体を認識し分類できるという事実を用いる。特徴には、たとえば表面面積、外周部、直径、質量、テクスチャ、色、形状などの変動要素を含むことができる。適切な特徴セットを選択することによって、物体を他の物体から分類し区別することができる。
【0019】
典型的には、この適切な特徴セットは、n次元特徴空間にプロットされる。図1.1では、色、表面面積および直径の特徴を有する特徴空間が、例示的に選択されている。次に、「わずかな」色、小さな直径および小さな表面面積を有する物体が、たとえば、「物体3」を示す特徴クラスタ27によって分類される。他方では、特徴クラスタ26によって表わされる「物体2」が、その豊かな色、小さな直径と、同様に小さな表面面積によって区別される。しかしながら、特徴クラスタ25によって示される「物体1」は、わずかな色、大きな直径と、同様に大きな表面面積を有する。したがって、図1.1に従って、3つの物体を区別可能である。
【0020】
【表1】

【0021】
2つの物体の特徴領域が重なり合って、特徴をどれか1つの物体に一意に割り当てることが妨げられる状況が発生し得る。かかる場合には、新しい特徴を追加して、一意の割り当てを達成してもよい。
【0022】
物体特徴は、画像解析計算を実行することによって確認してもよい。物体特徴の決定を含む完結した機能シーケンスは、異なる増分ステップに分割してもよい。本方法の有利な一実施形態を示す流れ図を、図1.2に提示する。この図には、次のステップ1〜8が含まれる。
【0023】
1.画像取得
最初に、適切な装置、たとえば適合されたカメラを有する顕微鏡を用いて画像を取得する。カメラは、アナログまたはデジタルカメラであってもよい。分類される物体のタイプに依存して、カラーまたはグレースケールカメラを用いてもよい。
【0024】
2.シェーディング補正
次に、この画像にシェーディング補正を自動的に適用してもよい。すなわち、このステップは、任意である。このプロセスは、画像フィールドの不均一な照明のために、画質が既に歪められていることを考慮する。この場合に、この問題は、事前に自動または手動で捕捉されて格納されたシェーディング画像を自動的に用いることによって克服される。このプロセスにおいて、試料スライドステージは、いわゆる空位置に移動されるが、この空位置は、システムが、この位置において、空の試料スライドを用いることによって、照度分布の非歪曲画像を取得できるという点に特徴がある。この画像が歪められていないのは、対物レンズと照明源の間の試料スライド上に生物材料がないからである。次に、この補正画像を、同じ光学条件下で捕捉された全ての画像に後で適用して、試料照明の不均一によって引き起こされるシェーディングの影響を自動的に補正するようにする。
【0025】
3.グレースケール画像処理
図1.2の概略図に従い、この時点で「グレースケール値処理」が続く。また、上記で言及したシェーディング補正は、今ではグレースケール値処理として理解してもよい。このステップにおいて、グレースケールモルフォロジを用いて、最初に画像の小さなアーティファクトが除去される。
【0026】
4.閾値および2値画像への遷移
様々な画像解析方法が、閾値決定のために知られている。可能な限り最も堅固な方法を得るために、通常セグメント化と呼ばれる、グレースケール画像から2値画像への遷移のための最適な閾値が、いわゆるエントロピー最大化アプローチを用いて確認できるのが好ましい。エントロピー最大化の根本をなす考えは、閾値の適用によって導き出される2値画像が最大可能エントロピーを示すような方法で、閾値が、画像のグレースケール値ヒストグラムにおいて決定されるということである。たとえば、H.ローリングの「Einfuehrung in die Informations− und Codierungstheorie」(トイブナー出版、1995年)から周知のように、エントロピー量は、画像の情報量の基準である。したがって、エントロピー最大化アプローチを用いて閾値を決定することによって、可能な限りの最大情報量を有する2値画像が得られる。
【0027】
本方法は、自動セグメント化のために、したがって、画像から自動的に画像物体を抽出するためによく適している。セグメント化プロセスは、画像処理の基礎についての本、たとえば、シエラ,J.による本「Image Analysis and Mathematical Morphology」(アカデミックプレス、1988年)に詳細に説明されている。
【0028】
提示した方法において、画像物体のセグメント化は、レーザ切断線、すなわちレーザマイクロ切開プロセスの間に、レーザが沿うように向けられる線を計算するための必要条件である。容易にはセグメント化されない画像物体を扱う場合には、ユーザは、各色チャネルのための別個の閾値を画定することによって、2値画像を生成するための閾値を、追加的に手動で指定してもよい。
【0029】
5.2値画像処理
図1.2に従って、2値画像処理は、この時点でさらなるステップとして続く。この場合に、小さなアーティファクト(個別の画素、小さな画素クラスタ等)が、画像から除去される。本発明に従うと、この手順の目的は、切断動作の前に、レーザ切断プロセスには直径が小さすぎる小さな物体を除去することである。この文脈において、レーザ切断プロセスにとって、それ以下では物体が小さすぎると考えられる値を設定可能である。この点については、画像解析プロセスから知られているモルフォロジを用いてもよい。画像解析モルフォロジは、セラ,J.の「Image Analysis and Mathematical Morphology」(アカデミックプレス、1988年)で詳細に論じられている。説明した方法では、画像処理用の特別のモルフォロジカルフィルタとして、エロージョンが特に用いられる。モルフォロジカル演算子(SE=構造要素、数学的モルフォロジからの用語)の[数学的]サイズを選択することによって、または他方で、等価な方法で、特定サイズのSEが2値画像に適用されるサイクルの数[を選択すること]によって、ユーザは、レーザ切断の前に除外される粒径を設定してもよい。さらに、画像解析モルフォロジによって提供される可能性を利用することによって、非常に独特の形状、したがって物体サイズだけでなく独特の形状を有する物体も画像からフィルタで除去することがまた可能である。したがって、たとえば、皮針形の小さな物体をうまく無視することが可能であり、他方で小さくて丸い物体は、フィルタされずに切断プロセスに送られる。
【0030】
6.セグメント化および物体特徴の決定
この解析ステップにおいて、各セグメント化された物体の物体特徴が、最初に決定される(いわゆる特徴抽出)。物体分類のために利用される特徴は2値画像から決定され、その後、分類特徴と呼ばれる。分類可能な特徴には、パラメータの任意の所定の線形的組み合わせと同様に、画像解析によって現在測定可能であるか、または演繹的知識から推論できる全ての特徴が含まれる。特徴の例には、表面面積、凸面、等価直径、長さ、幅、角度、方位、真円度、長さ/幅比、バルジング、RGB[赤、緑、青]測定基準または任意の他の色測定基準における色値、曲線長さ、曲線幅、水平または垂直突起、テクスチャ、エネルギー等がある。
【0031】
非常に重要な特徴は、いわゆるFCPまたは特徴カウント点の位置(物体の位置を示すための十分に画定された開始点)である。FCPによって、2値画像における1つの特別で別個の境界画素、たとえば2値物体における最も低く最も右側の画素、または他方で、最も上で最も左側の画素が分かる。したがって、それは、各2値物体を囲む輪郭のための開始点として用いるのが効果的である。
【0032】
ひとたび2値画像における物体が測定されると、物体全ての特徴を含むリストが作成される。
【0033】
【表2】

【0034】
7.物体分類
次のステップで、抽出された物体特徴は、事前に画定された分類特徴と比較される。この目的のために、レーザを用いて切り出される物体の測定された物体特徴の組み合わせが、分類特徴の値との一致に関してチェックされる。このようにして、切り出される所望の物体が、目的ではない物体と区別される。特色となるいくつもの特徴が、同じタイプの所望の物体のために指定され、かつ他の特徴が別のタイプの物体のために指定されたので、全ての物体を、1つのかかるタイプに一意に割り当てるか、または廃棄物として、それゆえ使用不可能な材料として分類可能である。次に、使用不可能な物体は分離され、したがってまた、切り出されない。
【0035】
この点における例を次に示す。
【0036】
【表3】

【0037】
表1.3において、各測定された物体表面は、ある範囲の表面面積値と比較される。例において、物体は、その測定された表面面積が、事前に画定された比較値または限界値内に位置する場合には、識別される。比較が真の場合、それゆえ測定された表面面積(たとえば10μm)が値域[5μm、500μm]内にある場合には、物体は受け入れられ、結局レーザによって切り出される。これは、次のように形式的に表現してもよい。すなわち、
【数1】

Sは、物体の表面面積を示す。もちろん、ユーザはまた、切り出しプロセスのために他の基準を画定してもよい。
【0038】
したがって、もちろん、値域内にない物体を、レーザによって切り出してもよい。すなわち、
【数2】

【0039】
次の表記、
【数3】

を導入することによって、それぞれが個別の値域を提供された、測定された特徴の任意の組み合わせを用いて、試料から切り出される特定の物体を識別するための基準を画定してもよいことが明らかになる。
【0040】
【表4】

【0041】
したがって、切り出しのための条件を、
SR+RR+LR+CR
のときに切り出すとして、また他方で、
【数4】

の場合に切り出すとして画定可能である。
【0042】
後者は、測定された物体の表面面積が値域内にあり、真円度および長さが、それぞれ、問題の値域外にあり、同時に物体の色が値域内にある場合に、物体が、レーザによって切り出されることを示す。
【0043】
このようにして、多数の個別に測定された特徴をそれらの対応する値域と比較すること、および多くの特徴を組み合わせることが可能なので、事実上、画像における全ての物体を、特定の特徴セットによって一意に識別可能である。さらに、異なる物体タイプを認識して、異なる収集容器に個別に収集してもよい。たとえば、2つの物体タイプを、RIがR2と等しくない場合に、
物体1:SR1+RR1のときに切断、および
物体2:SR2+SR2のときに切断、
に基づいて個別に区別してもよい。システムには、マイクロ切開された材料用の異なる収集容器が含まれるので、様々な物体をまた、個別に収集してもよい。
【0044】
8.レーザ用の切断線の自動決定
マイクロ切開用に指定された物体がひとたび識別されると、切断動作が、図1.2に従って最後のステップで準備される。各識別された物体の物体輪郭が、最初に画像解析を通じて決定される。この物体輪郭は、レーザが切断動作を実行することになる、xy座標の試料上に示される。このようにして、切断線が、システムによって自動的に決定される。
【0045】
しかしながら、切断線の自動決定に先立って、下記で説明するように、識別された物体を、引き続きさらなるプロセスステップに選択的にさらしてもよい。たとえば、共に接近して位置する物体グループは、画像において一団にされる。すなわち、図1.3に示すように、1つの切り出される共有物体グループに組み合わされる。ここでは、互いに密集し隣接して配置された4つの物体34が、1つのクラスタ35を形成する。次に、外側を囲む共有の外側切断線36が、このクラスタのために画定される。かくして、レーザは、本発明に従って、切断動作中に隣接する試料物体の「間をスライスする」のを防止される。なぜなら、これらの物体は、実際に切り出されている物体に密集し隣接しすぎているからである(図1.3を比較されたい)。ここでは同様に、モルフォロジを用いてもよい。この例示的な実施形態において、クラスタ化は、[モルフォロジカル]クロージングによって達成されるが、画像解析において、n回クロージングは、nダイレーションの連続的実行の後に、nエロージョンが続くことを意味する。この原理は、シュナイダー(Schnaider)から周知である。http://www.zgdv.de/zgdv/departments/z2/Z2Staff/schnaide/local_images/ME200 3−02.pdfを参照されたい。
【0046】
さらに、図1.4に示すように、マイクロ切開用に意図された物体の切断動作中に、クラスタにおける内部の「孔」を特に処理してもよい。この場合、孔37は、実際には、複数の物体34のクラスタ化によって生成される。しかしながら、この形成されたクラスタ35の内部において、ある領域、要するに孔37は空であり、マイクロ切開用に指定されたどんな物体も欠いている。内側切断線38および外側切断線36が、画定される。次に、切断の順序は、最初に、内側切断線36に沿って孔が切り出され、そのときに初めて、実際のクラスタ35が、外側切断線36に沿って切り出される。このように、切り出し領域の「純度レベル」は、内部「孔」の材料によって小さくされない。
【0047】
物体位置を画像エッジ位置と比較することによって、分類された物体がビデオ画像のエッジに接触するかどうかを追加的に確認してもよい。このように、本発明に従って、画像エッジによって「中断」された不完全な物体が、レーザによって同様に不完全に切り出されることが防止される。したがって、システムは、ソフトウェア選択としてかまたはセレクタ制御によって、たとえば次の選択肢をユーザに提供してもよい。すなわち、
物体が画像エッジに接触する場合には、物体を切り出さない!
【0048】
この選択肢は、ユーザが必要に応じてスイッチオンおよびスイッチオフできるのが好ましい。
【0049】
さらに、本発明による方法によって、セグメント化された物体を異なる物体タイプに割り当てることが可能になる。この目的のために、分類特徴の異なるグループが、試料における異なる物体タイプのために事前に画定される。物体の物体特徴が、分類特徴の特定のグループに一致する場合には、物体は分類され、かつこのようにして分類特徴によって画定された物体タイプに割り当てられる。特定の一実施形態において、システムは、画像解析方法についての広範な知識のないユーザが、切り出しプロセス用の新しいまたは追加の基準を画定できるようにするビジュアル学習モードを有する。この目的のために、ユーザは、単に、コンピュータマウスを用いて、モニタ上で所望の物体または物体タイプを選択するだけである。次に、システムは、選択された物体または物体タイプのための分類特徴を自動的に決定する。
【0050】
切断線の決定
本方法の可能な一実施形態において、レーザは、偏向ユニットによって、x、y方向に試料上を案内され、このようにして試料から領域を切り出す。別の実施形態において、レーザビームは固定され、x−yステージが移動される。ステージの動きおよびレーザビームの案内の組み合わせがまた、可能である。画定された切断輪郭を得るために、レーザは、試料に対して、曲線に沿って案内される。曲線は、一連のx、y座標によって画定される。
【0051】
試料または試料の一部を、カメラを介してモニタで見ることができ、かつ画像の画素座標をレーザ動作の対応する座標上にマッピングするマッピング命令が存在するので、モニタ表示で引かれた曲線は、レーザ切断線に変換可能である。この目的のために、モニタ画像における曲線の座標は、アフィン変換によってレーザ動作に転換してもよい。
【0052】
この意味は、
ベクトルに対して、
u∈V
線形マッピングが提供されるということであり、
:V→V
ここで、
u:V→Vである。
【0053】
したがって、画像上の全ての点は、レーザまたはレーザ偏向ユニットが到達できる試料上の点に、線形マッピングによってマッピングされる。
【数5】

が成り立つが、(x’,y’)はレーザ位置であり、(x,y)は画像座標位置であり、(X,Y)は直線変位ベクトルである。
【0054】
この事実を本発明に従って利用し、事前に識別され分類された試料物体が自動的に切り出されるようにする。
【0055】
この目的のために、第1のステップで、それぞれ個別の識別され分類された試料物体の回りの物体輪郭が決定される。物体輪郭を計算するために、いわゆるフリーマンまたはチェーンコードを用いてもよい。
【0056】
輪郭線を確認する手順を明確にするために、図1.5に1つの単一2値物体を描く。図1.5における画像詳細の画素は、それらのx、y座標に従って特徴づけられる。図1.5におけるテスト画像のサイズは、11×8画素である。2値物体は、画像画素を表わす灰色に着色された正方形でマークされる。灰色の正方形(画素)の外側輪郭は、外部物体の境界をマークする。この境界を決定することは、必須である。なぜなら、それは、後でレーザ切断線を決定するための基礎として用いられるからである。それに対応して、[レーザ動作の対応する座標が]マッピングされたレーザが、灰色画素の座標シーケンス{{7,1}、{8,1}、{9,2}、...{6,3}、{7,2}}に沿って向けられる場合には、物体は切り出されるであろう。
【0057】
最も上で最も左の2値物体の点、点{7,1}が、切断開始点として選択される。この基準点は、下記において、一般に特徴カウント点(FCP)と呼ばれる。FCPは、常に開始点であり、全ての画素のようにx−y座標を有する。下記において、各2値画像物体に対して、各物体に属する最も上で最も左の輪郭画素が、特徴カウント点FCPとして画定される。もちろん、任意の輪郭画素をFCPとして画定してもよい。単に、統一された画定があることが重要なだけである。
【0058】
画像からレーザ切断線を自動的に決定するためには、対象の画像物体を2値パターンとして含む2値画像が、最初に存在しなければならない。かかる2値画像が存在する場合には、画像物体は全て、同じグレースケール値を有する。
【0059】
レーザ切断動作のための輪郭線を画定するために、2値画像における2値物体は、最初にラベル付けされる。すなわち、各物体は、その画素の全てに割り当てられる1つの単一で一定のグレースケール値、たとえば物体の全ての画素のためのグレースケール値3等を割り当てられる。2値画像から、グレースケール画像が効果的に再生成されるが、この場合に、1つのまとまりのある物体に属する全ての画素が、1つの統一された一意のグレースケール値を割り当てられる。図1.6は4つの物体28、29、30および31を示すが、これらは、それぞれ、1つの隣接する画素セットによって表わされる。前に2値画像において1つの統一されたグレースケール値を有した各物体は、今や、1つの個別のグレースケール値でラベル付けされる。
【0060】
図1.6において、たとえば、物体29は、グレースケール値2を与えられる。したがって、この物体は、グレースケール値2でラベル付けされた。
【0061】
次のステップで、外側の画素、したがって、物体の外側の境界に位置する画素が、全ての物体に対して決定される。この目的のために、1つの物体の孔の全てが、最初に閉じられる。この文脈において、異なるグレースケール値を有する画素に完全に囲まれた画素が、孔として示される。かかる例が、図1.6において物体31によって示されている。この例において、この物体31は、2つの隣接する画素で構成された内部孔を有する。物体が孔を有するかどうかに関する決定は、オイラー数、すなわち、
E=K−L
に基づいて行なってもよい。
ここで、
E=オイラー数、K=物体の数、L=孔の数である。
【0062】
オイラー数は位相的な特徴であり、したがって単純な変換がなされた場合には変化しない。変換の前に個別物体内の全ての孔が閉じられた場合、すなわちL=0、E=Kである場合には、もはや孔の輪郭は、画像がレーザ切断線にマッピングされるときに生じない。
【0063】
続いて、もはや孔を有しない各画像物体の外側輪郭を、容易に画定可能である。この目的のために、物体内に完全に位置している全ての画素が、同じグレースケール値の物体画素によって完全に囲まれていることを確認しなければならない。したがって、物体が孔を何も有していない場合には、物体画素に完全には属していない如何なる画素も、物体の外側境界に属さなければならない。この基準は、各画素に対してチェックされ、境界画素は、このようにして決定される。
【0064】
物体のための境界画素は、フリーマン命令に従って符号化され、物体に割り当てられた値リストに格納される。この文脈において、指向性の符号化のために、8画素の区域が用いられる。すなわち、各画素は、8つの他の画素に囲まれる。また、原則として、4画素の区域を用いてもよく、この場合には、4つの対角線上に隣接する画素または4つの非対角線上に隣接する画素のいずれかが考えられる。8画素の区域はより高い精度をもたらすが、4画素の区域は、より迅速に計算することができる。
【0065】
図1.7a)に、フリーマンコード用のかかる8画素の区域を示す。中央画素は、8つの隣接する画素に囲まれている。ここで、フリーマン表記は、特定の増分方向を表わす一意の数を各隣接する画素に割り当てる。続いて、物体輪郭は、FCPから始まって横に進む。
【0066】
図1.7b)に、物体の境界画素を示す。この例において、FCPは最も左で最も上の画素である。この点が開始点である。この点から始まって、次の画素位置は、たとえば時計回り方向に決定される。フリーマンコードに従って、図1.7a)に示すように、次の画素は、位置3で見つけられる。この画素から、次の画素は、位置3/4と考えられる。[そして]この画素から、次の画素は、位置5と考えられる、等である。
【0067】
各物体輪郭が、特定のFCPから開始して、段階的に完全に測定される[増分走査される]ので、特定の物体の輪郭を完全に描写する、番号チェーン形状のフリーマンコードが得られる。さらに、各物体のためにFCPの座標が格納されるので、画像における物体は全て、輪郭および位置の点で完全に描写可能である。図1.7c)は、図1.7bに示す物体の境界画素のための、フリーマンコードの対応する表記を示す。この符号化方法を用いれば、全ての物体に関する輪郭データを含むリストが、暫定的な結果として生成される。このリストには、FCPの特定の位置が含まれ、この位置から始めて、物体輪郭を描写しなければならない。
【0068】
【表5】

【0069】
フリーマンコードおよびFCP座標から、任意の1つの画素の正確なx−y位置が計算される。このようにして、レーザ切断線は、最初に完全に描写される。しかしながら、原則として、他の符号化方法もまた可能である。
【0070】
図1.7に示すように、フリーマン符号化を用いる場合には、x、yにおける次のそれぞれの画素位置のために、以下の変換表が導き出される。
【0071】
【表6】

【0072】
この文脈において、FCPの開始値は、最初に用いられる。すなわち、
last=xFCP
last=yFCP
【0073】
続いて、フリーマンコードは、輪郭に沿って続く。この手順の最後には、レーザ切断コードは、各識別され分類された画像物体にとって周知となるが、このレーザ切断コードは、変換
【数6】

を適用することによって、画像座標から対応するレーザ座標へ転換される。並進ベクトル{x、y}は、レーザ切断線をシフトしてもよい。
【0074】
さらに、物体を囲む確認されたレーザ切断線は、使用されているイメージングタイプに応じてスケール変更される。この目的の意図は、より低い解像度(より低い拡大対物レンズ)の物体を画像解析によって計測し、続いて、顕微鏡をより高い解像度(=より高い拡大対物レンズ)に手動または自動で切り換えた後で、分類された物体をレーザビームによって切り出すことである。レーザ切断線はベクトル表現として知られているので、低倍率で確認されたレーザ切断線は、より高い解像度の画像へ、事実上損失なしにスケール変更される。
【0075】
より高い倍率への切り換えは、縮小された画像フィールドに関連しているので、切断線の多くは、実際の画像フィールドの外側に位置し、したがって最初は、もはやレーザビームは達することができない。しかしながら、実際の視野の外側のレーザ切断線位置は知られているので、それらの位置は、顕微鏡ステージ位置を自動的に調節することによって再配置可能である。これは、自動ステージ、自動対物レンズ交換などの適切な手段を用いることによって達成される。
【0076】
非常に高い倍率および小さな物体を扱っている場合に、ステージの位置決め精度は、必要ならば、ステージのxおよびy方向用にピエゾトランスレータを追加的に用いることによって改善される。この文脈において、試料ホルダを調節するためにピエゾトランスレータを用いることによって、ほぼ同じ結果を達成してもよい。レーザビームは、偏向ユニットによって入射光軸において偏向されて、プロセスにおいて急に方向を変え、さらに切り出される物体は、それらの位置に関連して事前に自動的に決定されているので、自動的に確認された物体の非常に正確で迅速なマイクロ切開が、最適な切断位置(光軸の近辺における)へ移動するステージ動作および自動的に確認されたレーザ切断線に沿ったレーザ切断を組み合わせることにより、偏向ユニットによって達成される。
【0077】
さらに、ピエゾトランスレータの追加的使用によってもたらされるより精細な解像度と同様に、入射光軸において偏向ユニットに応じたレーザビームの同時動作および「通常の」顕微鏡ステージ動作を有益に組み合わせることによって、自動的に確認されたレーザ切断線により迅速に近づくことが可能である。この文脈において、実際の切断プロセスは、入射光軸において偏向ユニットによって実行され、他方で、物体の大まかなおよび精細な位置決めは、x−yの位置決めに伴うアクチュエータ(=ピエゾトランスレータ)の適切な自動動作によって達成される。
【0078】
異なる解像度モード、すなわち別の対物レンズに切り換えた後で、再び焦点を合わせる必要性から生じる問題は、オートフォーカス装置を用いることによって解決される。必要な速度は、対物レンズに対してピエゾ合焦装置を用いることによって達成される。すなわち、対物レンズは、ピエゾトランスレータによって垂直に移動される。
【0079】
他の可能な合焦アプローチには、手動合焦、または顕微鏡の垂直z軸を介した電子的に制御された合焦のために、ステッパモータを用いることがまた含まれる。本発明に従って得られる迅速な自動合焦の利点は、レーザが、所望の切断平面すなわち試料平面に常に合焦される場合に、最適なレーザ切断プロセスが実行可能だということである。
【0080】
自動的なレーザ切断線の決定の後に、多数の物体を切り出す次のプロセスが続くなどの完全な自動プロセスにおいて、自動的で迅速な合焦は、絶対に不可欠である。
【0081】
レーザ切断幅の考慮
レーザビーム切断は、考慮しなければならないある一定の幅を有するので、物体のすぐ外側のエッジで切断することは、物体エッジの一部を同様に焼くことに帰着する。これは、後の解析における望ましくないアーティファクトを結果としてもたらす。これらの生物アーティファクトが生成されるのは、境界構造の焼けが、物体の境界領域における分子構造の変化につながるからである。しかしながら、ほとんどの場合に、物体は、続く生化学解析ステップにおいてそれらの特性を決定するために(たとえばPCR[ポリメラーゼ連鎖反応]を用いて)切り出されて収集されるので、物体の境界線域における焼け防ぐことが不可欠である。これは、焼けアーティファクト(Verbrennungsartefakte, burning artifacts)が生じ得ないような方法で、物体の回りのある設定可能なクリアランス距離に、切断レーザビームを向けることによって達成される。
【0082】
例示的な実施形態1
例示的な一実施形態は、レーザ切断線を決定するプロセスの中間処理ステップとして形成された2値画像への数学的モルフォロジの適用である。2値画像は、レーザ切断線の輪郭が決定される前に形成されるので、したがって切断線が、フリーマンコードを用いて計算され、かつx−y座標に変換される(上記でさらに深く説明したように)前に、2値画像の操作が輪郭決定に影響を及ぼす。
【0083】
2値物体は、2値画像のダイレーション(ダイレーション=モルフォロジカル画像処理ステップ)によって拡大される。好ましくは可能な限り最も対称的な拡大を達成するために、原寸で方向は自由に膨張する対称要素が、構造要素SEとして選択される。これは、いわゆるディスク要素(disk element)であってもよい(たとえば、シエラを参照)。また、物体を変形させるために、必要なモルフォロジカル要件を満たす異なるSEも選択してもよい。さらに、ダイレーションを、反復的なサイクルで画像物体に適用してもよく、2値画像における各画像物体は、各回に特定の画素量だけ拡大される。
【0084】
適切なSEが選択されると、物体は、各適用サイクルにおいて各方向にわずか約1画素だけ拡大する。これは、物体直径が、このSEを用いた1つの単一ダイレーションステップの各適用(サイクル)において、約2画素だけ拡張することを意味する。
【0085】
さらに、画像画素を較正することによって、1画素のサイズを、μmの単位で確認してもよい。したがって、正方形画素の場合には、典型的には、
dx画素=dy画素=較正後の画素サイズ
が用いられる。
【0086】
レーザビームには周知の切断幅があるので、必要な物体拡大、すなわち、物体の回りの安全なクリアランス距離にレーザビームを向けるために必要なダイレーションステップ数を決定することが可能である。
【0087】

レーザビーム−切断断面L=8μm
画素サイズ(較正された)P=1μm
ダイレーション当りの物体拡大Dz=1=2画素(z=サイクル数)
物体からの、レーザの必要なクリアランス距離
クリアランス距離=L/2=4μm
所望のレーザクリアランス距離に達するために、ダイレーションZに必要なサイクル数
=Lクリアランス距離/P=4ダイレーションサイクル
【0088】
これが意味することは、4ダイレーションサイクル後に、仮想物体サイズが得られ、レーザが、(人工的な拡張の前の)実際の物体からの正確なクリアランス距離で、このサイズの外側輪郭の回りに向けられるということである。レーザ切断線が、(上記のように)ダイレーションによって適切に拡大された仮想物体に基づいて計算されるので、レーザビームは、物体境界からの所望のクリアランス距離に向けられ、物体境界領域を焼くことなしに、物体を安全に切り出す。
【0089】
例示的な実施形態2
別の例示的な実施形態において、レーザ切断線を自動的に決定するための上記の周知の方法に従って事前に計算された切断線のベクトル化が、基礎として実行される。
【0090】
レーザ切断線の全ての点が、スケーリング変換を受ける。これは、損傷なしに物体を切り出すことを確実にするために、レーザ切断線を所望の程度まで拡大させ、かつ安全なクリアランス距離で物体の回りにレーザビームを向けることによって達成される。
【0091】
下記において、レーザ切断線が、事前に画定された(自動または手動で)ことによって、既に知られていると仮定されている。レーザ切断線は、座標(x,y)有する一連の点Piから構成され、それらによって完全に表現される。スケーリングの場合には、全ての点Pに対して、
’=sx・x
’=sy・y
が当てはまり、sxおよびsyは、スケーリング係数である。ベクトル表記において、これは、
【数7】

として表現され、Pは、i番目の元の点であり、P’は、レーザ切断線のi番目のスケール変更された点である。したがって、スケーリング方程式は、レーザ切断線の区間[0,k]からの全ての点iに対して、
’=S・P
として表わされる。この手順において、レーザ切断線は、安全なクリアランス距離で物体を切り出しできるような方法で、スケール変更される。個別の輪郭点が離間配置される、かつこのタイプのスケーリングの結果である距離は、レーザビームが、点PからPi+1へ直線で切断するという点で補償される。したがって、かなり拡大すると、連続的に延伸するレーザ切断線は、個別の点Piが、レーザ切断線の直線セグメントによって連結されているという点で、多角形に接近する。
【0092】
さらに、画像歪み(収差)は、スケーリングマトリックスの、位置に依存する適切な適合によって補償してもよい。すなわち、
’=S・P
である。
【0093】
レーザ切断線の変換
切断線を異なる状況に適合させるために、自動的に計算されたレーザ切断線が、一連の点P=P(x、y)として存在するという事実を利用する。これらの点を新しい一連の点に変換することによって、レーザ切断エラーを補償するために、レーザ切断線の任意の所望の変形、移動または回転を達成することができる。したがって、たとえば、レーザビームをイメージングするレンズシステムの収差を補償することが可能である。
【0094】
下記において、様々な補償方法を例示的に説明する。
【0095】
並進によるエラー補償または操作
切断線は、dxおよびdyによってシフトされる。dx、dyの値は、各場合において確認されたエラーもしくは所望のレーザ切断線操作から、
’=x+dx
’=y+dy
【数8】

または短縮表記、
’=P+T
において導き出される。
【0096】
歪みは、適応性のある並進によって、特に、並進値の位置依存性によって補償してもよい。
’=P+T
【0097】
この措置によって、たとえば、顕微鏡ステージ再配置の精度における小さなずれを選択的に補償することが可能になる。
【0098】
スケーリングによるエラー補償または操作
切断線は、sxおよびsyによってスケール変更される。sx、syの値は、各場合において確認されたエラーもしくは所望のレーザ切断線操作から、
’=sx・x
’=sy・y
【数9】

または短縮表記、
’=S・P
において導き出される。
【0099】
歪みは、適応性のあるスケーリングによって、特に、スケーリング値の位置依存性によって補償してもよい。
’=S・P
【0100】
この措置の実行によって、たとえばレンズエラーによって引き起こされた歪みが補償される。レーザ切断線に影響を及ぼす次の可能性が導き出される。
【0101】
【表7】

【0102】
回転によるエラー補償または操作
切断線は、角度によって回転される。θのための値は、各場合において所望のレーザ切断線操作から、
’=x・cos(θ)−y・sin(θ)
’=x・sin(θ)+y・cos(θ)
【数10】

または短縮表記P’=R・Pにおいて、導き出される。
【0103】
歪みは、個別のレーザ切断線点の適応性のある回転によって、特に、回転角度の位置依存性によって補償してもよい。
’=R・P
たとえば、この措置を実行することによって、回転エラーは補償される。
【0104】
変換の[数学的]合成によるレーザ切断線の操作
計算されたレーザ切断線を特定の状況に適合させるためか、他方ではエラーを補正する目的のためか、または他方では他の適合目的のための上記で言及した操作はまた、様々な変換の合成によって達成してもよい。利点は、複雑なレーザ切断線を計算し操作することができる速度の増加にある。
【0105】
本方法を実行するのに適したレーザマイクロ切開装置の有利な一実施形態には適切なユーザインターフェースが含まれ、このユーザインターフェースによって、ユーザは、ユーザにトランスペアレントなプロセスにおいて、レーザ切断パターンの複雑なイメージングを容易に操作することが可能になる。
【0106】
この目的のために、変換は、3×3マトリックス表記に転換されなければならない。これは、次の変換に当てはまる。
並進:
【数11】

スケーリング:
【数12】

回転:
【数13】

合成例:
’=T・T・P(2つの並進が実行される)
’=S・S・P(2つのスケーリングが実行される)
’=R・R・P(2つの回転が実行される)
’=S・T・R・P(回転、並進およびスケーリングが実行される)
【0107】
変換を組み合わせることによって、事前に自動的に確認されたかまたは他の手段によって既に知られているレーザ切断線は、それが、P=P(x,y)である一連の点として知られているだけのときに、任意の所望の方法で回転、スケール変更および移動してもよい。特に、同じ切断パターンは反復可能であり、切り出されるほぼ同一の切断パターンのアレイが可能になる。
【0108】
マトリックス乗算(一般に可換ではない組み合わせシーケンス)ごとに個別の変換を組み合わせることもまた可能である。
【0109】
したがって、レーザ切断線は一連の点として表わされるので、線形代数からの全ての周知の演算を用い、できる限り最も単純な方法およびユーザに非常に分かりやすくトランスペアレントな方法で、レーザ切断を表現してもよい。
【0110】
図2は、本発明による方法を実行するためのレーザマイクロ切開装置を示すが、この装置は、この例示的な実施形態において、切断動作中にしかるべき場所に保持されるサンプル上でレーザビームを移動させる。別の実施形態(図示せず)では、レーザビームは固定され、それに対して試料が移動される。
【0111】
レーザマイクロ切開装置には、可動x−yステージ2を有する顕微鏡1が含まれ、ステージ2の上に試料ホルダ3が装着されている。本実施形態では、正立顕微鏡が用いられている。しかしながら、この目的のためには、倒立顕微鏡を含む構成もまた可能である。
【0112】
物体が、そこから切り出されることになる試料4は、試料ホルダ3の下側に配置される。試料4を照らすための照明システム5および集光レンズ11は、x−yステージ2の下に位置している。この特定の実施形態において、x−yステージ2は、切断動作中に水平に、すなわちxまたはy方向に移動されない。試料4の下に、マイクロ切開された切片を収集するための少なくとも1つの収集容器19が配置されている。
【0113】
レーザビーム7が、レーザ6、この例ではUVレーザによって放射され、照明ビーム経路20に結合される。レーザ走査装置22が、照明ビーム経路20に装着されている。レーザビーム7は、レーザ走査装置22を通過し、レーザビーム7を試料4に合焦させる対物レンズ9に、光学系13を介して到達する。光学系13は、二色性ビームスプリッタとして有利に設計され、試料4で生じた画像ビーム経路21が、対物レンズ9を通過し、ビームスプリッタを通って、少なくとも1つの接眼レンズ12に到達する。
【0114】
本実施形態において、レーザ走査装置22の調節、およびしたがって試料4へのレーザビーム7の位置決めは、レーザ走査装置22に割り当てられたモータ23、制御ユニット24、およびコンピュータ16によって達成される。モータ23は、モータ23を駆動するための制御信号を送出する制御ユニット24に連結されている。制御ユニット24は、モニタ18を自身に接続させたコンピュータ16に連結されている。カメラ17によって捕捉された試料4の画像詳細が、モニタ18に表示される。所望の名目上の切断線を、コンピュータマウス(図示せず)または他のカーソル制御装置を用いて、モニタ18上のカメラ画像で画定可能である。さらに、コンピュータ16は、レーザ光源6に接続されており、切断動作が実行される場合には、レーザパルスを誘発するためのトリガ信号をレーザ光源6に送出するだけである。
【0115】
レーザ走査装置22自体は、切断動作中に、レーザビーム7と試料4の間の相対的な動きを生じる切断線制御ユニットとして用いられる。ユーザは、同時に視覚的にカメラ画像を監視しながら、x−yステージ2の高さを手動で調節することによって、レーザビーム7を合焦させてもよい。しかしながら、レーザビーム7のためのオートフォーカス装置(図示せず)を含む装置の実施形態は、よりユーザフレンドリである。
【0116】
レーザ走査装置22の制御に応じて、レーザビーム7は、様々な偏向角でレーザ走査装置22の出力部に現れる。このプロセスにおいて、偏向角を変えることによって、レーザビーム7を、対物レンズ10の視野内に位置する、試料4上の任意の所定位置に向けてもよい。
【0117】
カメラ17によって捕捉された画像を処理するために、かつ本発明の方法に従って切り出される少なくとも1つの物体を画像において自動的に確認するために用いられる画像解析ソフトウェアが、コンピュータ16にインストールされている。続いて、物体を囲む名目上の切断線が、物体のために自動的に決定される。
【0118】
サンプルにおけるレーザの切断幅は、レーザビーム7のレーザパワーおよび開口などのレーザパラメータに依存する。目下設定されている切断幅に依存し、サンプル4においてレーザビームのいくつもの名目上の位置が、本方法に従って自動的に画定される名目上の切断線のために計算され、レーザビーム7の連続的に配置された名目上の位置が、所望の名目上の切断線を生じる。
【0119】
次に、レーザ走査装置22の支援で、名目上の位置は、サンプル4上で次々に接近される。レーザ走査装置22が、レーザビーム7の名目上の位置をサンプル4上に準備または設定するたびに、コンピュータ16は、レーザパルスを誘発するためのトリガ信号をレーザ光源6へ送出する。このようにして、レーザ切断が、試料において増分的にもたらされる。
【0120】
ひとたびレーザ切断プロセスが完了すると、マイクロ切開された切片は、周囲の試料4から完全に分離され、この構成においては、重力をうけてその下にある収集容器19に落下する。
【0121】
本方法の特定の実施形態。
下記に、本方法の様々な特定の実施形態もまた示す。
【0122】
本方法の別の実施形態は、自動シェーディング補正が追加的に提供され、次の、
− デフォルト位置としてプリプログラムされるか、または代替として、事前にプログラムされた位置に、顕微鏡ステージを手動または自動で位置決めし、それによって、空画像、したがって不均一な照明の画像を記録することが可能になるステップと、
− このシェーディング補正画像を、可逆的な画像データフォーマット(TIF=タグ付き画像ファイル(画像フォーマット)、BMP=ビットマップ(画像フォーマット)等)として格納するステップと、
− 物体が認識されることになる後の画像のために、格納されたシェーディング画像を用いるが、その意図が、不均一な照明によって引き起こされる画像の歪みを除去するように、これらの物体をレーザビームで切り出すことであるステップと、
を含むことを特徴とする。
【0123】
本方法の別の実施形態によって、切り出される物体の自動および手動の検出が追加的に準備される。この目的のために、適切な方法を用いて、好ましくは可能な限り最も好適な閾値をヒストグラムに配置して、レーザによって切り出される物体についての可能な限り最大の情報を含む最適な2値画像を生成する。たとえば、エントロピー最大化法を適用して、自動的に2値画像を生成するための最適の閾値を決定してもよい。代替として、2値画像を生成するための閾値はまた、手動で設定してもよい。
【0124】
閾値をデータ記憶媒体に格納しかつ再作動させて、レーザ切断方法のために、物体の反復的な2値化を可能にしてもよい。
【0125】
本方法の別の実施形態によって、レーザにより切り出すように指示されていない比較的小さな物体を、追加的に除去することが提供される。この目的のために、次の、
− 特定のエロージョンにおいて、画像解析モルフォロジを用いて比較的小さな物体を2値画像から除去するステップと、
− レーザ切断プロセスから除外されるこれらの物体のサイズの基準が、エロージョンサイクル数に応じて設定されるステップと、
− 幾何学的要素を用いること、したがって用いられている画像解析演算子のモルフォロジを利用することによって、特定の物体形状が、これらの物体が2値画像からフィルタで除去されるという点で、レーザ切断プロセスから排除されるステップと、
を提供してもよい。
【0126】
本方法の別の実施形態は、さらに、試料において互いに密集し隣接しすぎた物体がスライスされるのを防ぐ顕著な特徴を有する。この目的のために、レーザで切り出されるように指示されているが、しかし互いに密集し隣接しすぎた画像物体は、クラスタに組み合わせられる。これは、粒子全体の外周にレーザ切断を指向させ、それにより、対象の物体の全体的でまとまりのある領域を切り出すことによって達成される。結果として、対象の物体は、「スライス」されない。このプロセスにおいて、数学的モルフォロジを用いて、レーザ切断のための外側輪郭線を決定する。
【0127】
本方法の別の実施形態において、所望のクラスタに含まれている物体または領域、いわゆる孔が、クラスタから分離される。この目的のために、次の、
− 複数の切断線、特に2つの切断線が、n切断線が孔を囲みかつm切断線が対象の物体を囲むように、計算されるステップと、
− 特定の切断シーケンスを用いて、対象の物体から、したがってクラスタから孔を分離するステップと、
が提供される。
【0128】
レーザ切断動作の後で、切り出された物体またはクラスタが、試料ホルダまたはスライド、たとえば試料スライドまたはペトリ皿に留まっている倒立顕微鏡に基づいたマイクロ切開システムでは、切り出されるクラスタに含まれる孔を、実際にクラスタが切り出された後で切り出すことがまだ可能である。しかしながら、切断動作が正立顕微鏡に基づくマイクロ切開システムで実行される場合には、内部孔が最初に切り出され、実際のクラスタはそれに続く。
【0129】
実際に対象となる物体用に用いられる収集容器とは異なる収集容器に孔を収集することは、特に有利なことが分かる。このようにして、孔は「廃棄物」として適切に処分され、サンプルの純度レベルは向上する。同じ方法では、孔自体がまた、さらなる解析のための対象となる物体または領域である可能性があり、その結果、それらは別個に集められる。
【0130】
本方法の別の実施形態は、試料における異なる物体が、特徴抽出に基づいて自動的に検出され、かつ切り出されるように追加的に準備した顕著な特徴を有する。この文脈において、次の、
− レーザマイクロ切開を可能にするために、一群の物体の特徴が画像において測定されるステップと、
− 測定された物体の特徴が、各特徴に対して個別に指定された、事前に画定された値域と比較されるステップと、
が可能である。
【0131】
実験室での定常作業用に、物体の認識および分類のために用いられる値域を格納およびロードすることができ、したがって任意の所定の方法で交換できる場合には、有利なことが分かる。これに関連して、全ての電子データ記憶媒体、ネットワーク、インターネット、文書、口頭の指図は、記憶媒体であると考えられる。物体の認識および分類のために用いられる値域は、データベースに格納およびロードしてもよい。さらに、物体の認識および分類のために用いられる値域は、データベースにおいて外部操作を施すことによってか、または外部プログラムを用いることによって変更および適合させてもよい。
【0132】
特に有利な一実施形態において、物体の認識および分類のために用いられる値域をまた、自動的にレーザ切断線を決定し、かつデータネットワークを介して接続されてシステムクラスタを形成する複数の自動レーザ切断システムを同期させるために用いてもよい。これは、全ての自動レーザ切断システムが同じ条件下で動作するという点において、達成される。システムクラスタは、ローカルネットワーク、LAN、WLAN、ブルートゥース、インターネットまたはイントラネット等を介して形成してもよい。
【0133】
さらに、どんな所望の比較形式を適用してもよく、目的は、個別に事前画定された値域と測定された物体の特徴データとの個別の比較を組み合わせることによって、試料物体の一意の識別を実現することである。このプロセスにおいて、異なる物体が、個別の特徴データ記録に基づいて認識可能である。1つの動作シーケンスにおいて、異なる物体が試料から切り出され、マイクロ切開された材料のために個別かつ自動的に準備された収集容器に収集されることがまた有利である。
【0134】
本方法の別の有利な実施形態において、画像解析を用いて画像エッジに「接触する」物体を識別し、その後、かかる物体は、レーザによって切り出さない。このようにして、不完全な物体または不完全なクラスタは、切り出されるのを防止される。もっと正確に言えば、画像内に完全に位置する物体だけが、レーザによって切り出される。
【0135】
顕微鏡および/またはカメラ技術に基づくコントラスト法を追加的に用いることによって、試料詳細が、たとえばカメラを用いたイメージング方法により非常に効果的に提示されるので、レーザ切断線は、この画像に基づき、画像解析を通じて自動的に画定してもよい。
【0136】
さらに、イメージング装置を用いて自動的に確認された切断線を重ね合わせることによって、結果を制御することができる。結果は、レーザ切断システムのカメラ画像に直接表示されるか、または視覚的な顕微鏡画像への反映として表示される。
【0137】
物体特徴を分類する場合に、物体輪郭は、それらの幾何学的な輪郭を符号化することによって記述される。これは、画像解析から自動的または半自動的に実行される輪郭記述を、名目上の切断線、したがってレーザ切断座標上に直接マッピングすることが可能であるような方法によって達成される。
【0138】
本方法の別の実施形態において、物体分類のために学習プロセスが提供されるが、この学習プロセスは、レーザで切り出す物体を分類するために必要な値域を自動または手動で決定することができる。この学習プロセスは、値域が、ソフトウェアを用いて入力されるか、またはたとえば、試料画像におけるマウスクリックにより適切に物体をマークすることによって自動的に入力されるような方法で、構想されている。
【0139】
画像エッジに接触する物体は、レーザによって完全には切り出すことができない。さらに、不完全な形状のために、誤った分類の恐れがある。したがって、かかる物体は、物体が画像エッジに接触しているかどうかを決定する物体識別中にチェックすることによって、必要に応じて無視される。次に、解析結果に依存して、物体は、さらなるプロセスステップまたは の前にブロックされる。
【0140】
レーザ波長に依存しないイメージング方法を用いてレーザ切断線を自動的に分類および計算することによって、レーザ波長からの独立が達成される。この目的のために、たとえば、可視スペクトル領域における広帯域照明を有する顕微鏡画像が、記録され処理される。
【0141】
レーザ切断線を適切にスケール変更することによって、物体分類およびレーザ切断線の決定を、低倍率で始めてもよい。結果として、比較的大きな視野が利用可能であり、それによって、より多くの物体の検出が可能になる。したがって、実際のマイクロ切開プロセスは、より高い倍率で始めてもよい。
【0142】
レーザ切断の精度は、試料のx−y移動のための圧電アクチュエータを用いることによって向上される。また、最適な切断条件を得るために、x−y位置決め装置を用いて、物体およびそのレーザ切断線を光軸の近くに配置する場合には有利なことが分かる。この文脈において、偏向ユニットが、顕微鏡の入射光軸においてマイクロ切開プロセスを実行し、他方で、ステージが、切り出される物体を光軸の近くに自動的に配置する。レーザ切断動作のために、顕微鏡ステージ、x−yピエゾトランスレータおよび偏向ユニットの動作の適切な線形的組み合わせを適用することによって、切断速度が増加され、他方で切断精度が同時に向上される。
【0143】
オートフォーカス装置の使用によって、切断レーザビームは、常に、最適な切断位置に移動され、その結果、ユーザによる監視が何もなくても、任意の所定数の物体を切り出すための自動プロセスが可能になる。また、z−ピエゾトランスレータおよび/またはz−ガルバノメータの位置決め要素と共にオートフォーカス装置を用いることによって、システムの速度も実質的に増加される。この文脈において、対物レンズは、z−ピエゾトランスレータおよび/またはz−ガルバノメータの位置決め要素によってz方向に直接調節される。このようにして、任意の所定数の物体を切り出すための自動プロセスが、ユーザによる何の監視も必要とせずに、実行可能である。
【0144】
本方法の別の実施形態は、アーティファクトがないマイクロ切開を達成するために、物体からのレーザ切断線のクリアランス距離を自動的に変更することを追加的に提供する。この目的のために、名目上の切断線における個別点の座標は、画像物体が、実際のレーザ切断線の決定の前に画像解析を用いて適切に処理されるという点において、処理されるが、この処理は、処理された名目上の切断線がセグメント化された物体からのより大きなクリアランス距離に延伸するような方法で行なわれる。この目的のために、セグメント化された物体の2値画像は、好ましくは、切断線計算の前に膨張され、その結果、物体は、所望の画素数だけ、限定された方法で拡大される。次に、拡大された物体は、最初に説明したように、レーザ切断線計算の基礎として用いられる。
【0145】
レーザ切断線の個別点の座標は、適切なスケーリング変換を適用することによって増加され、その結果、実際のレーザ切断プロセス中に、レーザビームは、物体の回りの安全なクリアランス距離に向けられる。この目的のために、ユーザは、ソフトウェアインターフェースを介してレーザクリアランス距離を調節するが、このソフトウェアインターフェースにより、特に、プロセスオートメーションに関連して、システム設定のテストが可能になる。レーザクリアランス距離を自動的に計算および調節して、完全な自動プロセスを可能にするようにする。
【0146】
本方法の別の実施形態は、試料上にレーザをイメージングする場合に、収差(たとえば歪み)を補償することを追加的に提供する。この目的のために、スケーリング係数が、位置に応じて公式化される。代替または追加として、顕微鏡システムおよびカメラレンズシステム、したがって全てのイメージング要素の収差が補償されるような方法で、全てのレーザ切断線輪郭点が、個別に変形される。このようにして、確認された名目上の切断線は、正確にかつ収差なしに、レーザ切断線に変換される。
【0147】
本方法のさらに別の実施形態は、データ記憶媒体から自動または手動で事前に読み出したレーザ切断線を、操作し、線形的に組み合わせ、かつエラーに対して補償することを提供する。この目的のために、次のステップが可能である。
【0148】
上記の方法に従って計算されたレーザ切断線における横方向のエラーを補償するために、マトリックス変換を適用して、全てのレーザ切断線点をxおよびy方向に特定量だけ並進させるようにする。さらに、上記の方法に従って計算されたレーザ切断線にマトリックス変換を適用して、全てのレーザ切断線点をxおよびy方向に特定量だけスケール変更するようにしてもよい。代替または追加として、上記の方法に従って計算されたレーザ切断線にマトリックス変換を適用して、全てのレーザ切断線点をxおよびy方向に特定量だけ回転させるようにしてもよい。
【0149】
特定の一実施形態において、マトリックス変換の任意の所定の組み合わせを、上記の方法に従って計算されたレーザ切断線に適用して、全てのレーザ切断線点をxおよびy方向に特定量だけ増分的に並進および/またはスケール変更および/または回転させるようにする。マトリックス変換、特に並進マトリックスを用いることによって、顕微鏡ステージのどんな不正確な再配置も補償される(=顕微鏡ステージ位置へ戻る)。この目的のために、確認されたレーザ切断線は、特定量dx、dyだけ補正されるが、この特定量は、顕微鏡ステージの再位置が不正確である量に対応する。補償プロセスは、レーザ切断線パターンの座標マトリックスを直接操作することによって実行され、したがって実際のステージ移動はなく、顕微鏡の入射光軸において、レーザの偏向ユニットによってもっぱら達成される。
【0150】
任意の所定数のレーザ切断線パターンを反復することによって、レーザ切断線アレイが、周期的に反復されるマトリックス変換ごとに、任意の所望のパターンで生成される。これによって、試料からの、大きくてほぼ同一形状のサンプルの統計的サンプリングが可能になる。
【0151】
操作係数、線形的組み合わせおよびエラー補償係数は、電子データ記憶媒体またはデータベース等に適切に格納し、再作動させてもよい。したがって、ユーザ別の装置プロファイルを格納し、必要に応じて再作動させてもよい。
【図面の簡単な説明】
【0152】
【図1.1】物体を分類するための特徴空間。
【図1.2】プロセスシーケンスの流れ図。
【図1.3】いわゆるクラスタへの物体の組み合わせ。
【図1.4】内部孔を有するクラスタ。
【図1.5】2値物体を含む画像詳細。
【図1.6】異なるグレースケール値でラベル付けされた4つの物体。
【図1.7】境界画素の符号化を含むフリーマンコードおよび物体。
【図2】本方法を実行するためのレーザマイクロ切開装置。
【符号の説明】
【0153】
1 顕微鏡
2 可動x−yステージ
3 試料ホルダ
4 試料
5 照明システム
6 レーザ
7 レーザビーム
8 顕微鏡スタンド
9 対物レンズ
10 光軸
11 集光レンズ
12 接眼レンズ
13 光学系
14 口径
15 口径制御モータ
16 コンピュータ
17 カメラ
18 モニタ
19 収集容器
20 照明ビーム経路
21 イメージングビーム通路
22 レーザ走査装置
23 レーザ走査装置用モータ
24 制御ユニット
25 物体1
26 物体2
27 物体3
28 グレースケール値1を有する物体1
29 グレースケール値2を有する物体2
30 グレースケール値3を有する物体3
31 グレースケール値4を有する物体4
32 隣接画素
33 中央画素
34 物体
35 クラスタ
36 外側切断線
37 孔
38 内側切断線
【図1】


【特許請求の範囲】
【請求項1】
名目上の切断線が、顕微鏡試料から切り出される物体のためにマークされ、かつ続いて、前記物体が、レーザビームと試料の間の相対的な動きに応じて切り出されるレーザマイクロ切開方法であって、
− 前記試料の少なくとも1つの画像詳細の電子画像が捕捉され、
− 前記画像詳細が画像解析を用いて処理され、切り出される少なくとも1つの物体が自動的に確認され、
− 前記切り出される少なくとも1つの物体の回りの名目上の切断線が自動的に画定される方法。
【請求項2】
電子画像が、カメラまたは顕微鏡技術に基づくコントラスト法を用いた後続の画像解析処理のために準備される、請求項1に記載の方法。
【請求項3】
前記電子画像をセグメント化することによって、
− グレースケール値の閾値が前記電子画像に基づいて画定されることで、
− および前記グレースケール値の閾値と比較することによって、前記セグメント化された物体だけがなお含まれる前記電子画像が、2値画像に変換されることで
1以上の物体が確認される、請求項1に記載の方法。
【請求項4】
前記閾値が、エントロピー最大化プロセスにおいて、手動で設定されるかまたは自動的に画定される、請求項3に記載の方法。
【請求項5】
前記電子画像が、グレースケール画像またはカラー画像のいずれかである、請求項1に記載の方法。
【請求項6】
− 前記切り出される物体を確認するために、前記物体を特徴づける特定の分類特徴が画定され、
− 画像解析を用いて、前記セグメント化された物体の実際に存在する物体特徴が、前記画像から決定され、かつ前記分類特徴と比較され、
− 前記物体特徴が前記分類特徴に一致する場合には、前記物体が分類される、請求項3に記載の方法。
【請求項7】
分類特徴を含む個別特徴データ記録が、異なる物体タイプのために各場合において画定される、請求項6に記載の方法。
【請求項8】
前記分類特徴が、たとえばマウスクリックにより前記物体を適切にマークすることによって前記分類特徴がインタラクティブに入力されまたは自動的に入れられることで、学習プロセスにおいて自動または手動で画定される、請求項6に記載の方法。
【請求項9】
前記分類された物体のための名目上の切断線が自動的に画定され、未分類の物体が、名目上の切断線の決定から除外される、請求項6に記載の方法。
【請求項10】
値域が、少なくとも1つの分類特徴のために画定される、請求項6に記載の方法。
【請求項11】
前記画像詳細のエッジと境を接するか、または前記画像詳細において単に部分的に可視である物体が、特徴比較によって識別され、次に、名目上の切断線の決定から除外される、請求項6に記載の方法。
【請求項12】
− 互いにごく近接して配置された複数の物体が、いわゆるクラスタに組み合わされ、
− かつ前記クラスタを囲む共有した単一の名目上の切断線が、自動的に画定される、請求項1に記載の方法。
【請求項13】
− 追加的な方法ステップにおいて、数学的な変換を適用して、前記自動的に画定された名目上の切断線をレーザ切断線上に自動的にマッピングし、
− かつこのレーザ切断線が、前記レーザビームと前記試料の間の相対的な動きに変換され、それによってレーザ切断をもたらす、請求項1に記載の方法。
【請求項14】
前記相対的な動き、したがって前記レーザ切断が、ユーザによってインタラクティブに開始されるかまたは自動的に作動される、請求項13に記載の方法。
【請求項15】
前記レーザ切断線が、次の方法ステップ、すなわち、
− 画像解析を用いて、前記切り出される物体またはクラスタの外側輪郭を決定するステップと、
− 前記外側輪郭を、前記名目上の切断線を指定する数字コードに変換するステップと、
− 前記名目上の切断線を前記レーザ切断線に変換するステップと、
によって自動的に生成される、請求項13に記載の方法。
【請求項16】
フリーマンコードまたはチェーンコードが数字コードとして指定される、請求項15に記載の方法。
【請求項17】
自動シェーディング補正が追加的に設けられ、次のステップ、すなわち、
− 空画像、すなわち試料のない画像を記録するステップと、
− この画像を、シェーディング補正画像として格納するステップと、
− 前記シェーディング補正画像を用いて、オフセツト補正をその後記録される画像に適用するステップと、
を含む、請求項1に記載の方法。
【請求項18】
マイクロ切開用に指定されていない特定の不要な物体が、画像解析モルフォロジを用いて2値画像から除去される、請求項1に記載の方法。
【請求項19】
隣接する物体が、画定されたクリアランス距離を前記試料に設けることによって、スライスされるのを防止される、請求項1に記載の方法。
【請求項20】
クラスタによって囲まれ、かつ前記所望のクラスタに属さない少なくとも1つの領域が、別個に切り出される、請求項12に記載の方法。
【請求項21】
前記プロセスの結果を制御するために、前記自動的に確認された名目上の切断線が、イメージング装置によって前記電子画像に重ね合わされる、請求項1に記載の方法。
【請求項22】
前記レーザ切断線が、画像倍率に応じてスケール変更される、請求項1に記載の方法。
【請求項23】
前記物体からの、前記レーザ切断線の画定されたクリアランス距離が、レーザ照射によって引き起こされる損傷から前記物体を保護するために設定される、請求項1に記載の方法。
【請求項24】
前記顕微鏡ステージの不正確な再配置が、前記名目上の切断線を修正することによって補償される、請求項1に記載の方法。

【図1】
image rotate

【図1】
image rotate

【図1】
image rotate

【図1.5】
image rotate

【図1.6】
image rotate

【図1】
image rotate

【図2】
image rotate


【公表番号】特表2007−509334(P2007−509334A)
【公表日】平成19年4月12日(2007.4.12)
【国際特許分類】
【出願番号】特願2006−536088(P2006−536088)
【出願日】平成16年10月21日(2004.10.21)
【国際出願番号】PCT/EP2004/052600
【国際公開番号】WO2005/040762
【国際公開日】平成17年5月6日(2005.5.6)
【出願人】(500178876)ライカ マイクロシステムス ツェーエムエス ゲーエムベーハー (80)
【Fターム(参考)】