透過型電子顕微鏡用の検出器システム
【課題】
本発明の目的は、ＴＥＭ画像形成の質を改善することである。
【解決手段】
透過型電子顕微鏡の検出器システムにおいて、画像取得期間の間に、画像データがピクセルから読み出され、分析される。画像取得プロセスは、分析結果に基づいて修正される。例えば、分析は、チャージングやバブル形成の画像アーチファクトのデータへの混入を示す。そして、アーチファクトを含むデータは、最終画像から取り除かれる。ＣＭＯＳ検出器は、高速なデータレートで選択的にピクセルを読み出し、リアルタイムの適応画像処理を提供する。
本発明の目的は、ＴＥＭ画像形成の質を改善することである。
【解決手段】
透過型電子顕微鏡の検出器システムにおいて、画像取得期間の間に、画像データがピクセルから読み出され、分析される。画像取得プロセスは、分析結果に基づいて修正される。例えば、分析は、チャージングやバブル形成の画像アーチファクトのデータへの混入を示す。そして、アーチファクトを含むデータは、最終画像から取り除かれる。ＣＭＯＳ検出器は、高速なデータレートで選択的にピクセルを読み出し、リアルタイムの適応画像処理を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子顕微鏡に関する。より詳細には、電子顕微鏡用としての検出器システムに関する。
【背景技術】
【０００２】
透過型電子顕微鏡（ＴＥＭ：ｔｒａｎｓｍｉｓｓｉｏｎ ｅｌｅｃｔｒｏｎ ｍｉｃｒｏｓｃｏｐｅ）は、薄片サンプルを通過する電子ビームを照射し、かつ電子及びサンプルの間の相互作用によって生じる電子ビームの変化を検出する。電子は、通常は８０ないし３００ｋｅＶ間のエネルギーに加速される。加速は、好ましくは、電子のソースを高圧に維持し、かつ、グランド電位でのサンプルの方向へ電子を加速することによってなされる。デフレクタ、レンズ及び収差補正部によって、サンプルに照射するためにビームが制御される。サンプルは、電子を部分的に透過するよう十分に薄くなっている。
【０００３】
電子に対する透過性は、要素の原子番号に依存するので、典型的なサンプルの厚さはサンプルの性質によって変化する。例えば、金属、又は半導体（これらは高い原子番号を持つ多くの原子を含む）から成るサンプルは、厚さ約３０ナノメートルである。通常、生物材料のサンプルでは、より薄く、例えば約２００ナノメートルの厚さとなる。より厚いサンプル、例えば、１μｍのサンプルが一部のアプリケーションで使用されてもよい。
【０００４】
一部の電子は、妨害されず、サンプルを通過する。電子の一部は、回折する。また一部の電子は、エネルギーを失い吸収される。異なる技術によって、サンプルに関する異なる情報を測定するために、発射された電子の異なる特徴を利用する。ＴＥＭは、ナノメートル、又はサブナノメータレンジの構造特徴を示す画像を生成することができる。そして、サンプルの組成に関する情報を提供することができる。
【０００５】
電子がサンプルを通過した後、それらは写真フィルムによって検出される。あるいは、検出器に当たる電子の数及び／又はエネルギーを示す電気的信号が生成される。大部分のＴＥＭ電子検出器は、間接的に電子を検出する。電子は蛍光体に当たる。そして、これが検出器によって検出される光を発する。間接的な検出は、高エネルギーの電子の衝撃による半導体検出器へのダメージを防止する。光は、半導体検出器に当たり、かつ、電子正孔対を生成する。多くの間接遷移形半導体検出器において、電子は、ＣＣＤ（ｃｈａｒｇｅｄ−ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）の一部を形成するコンデンサの列にたまる。各々のコンデンサに対する蓄積されたチャージ（電荷）は、対応するピクセルに当たった電子の数に対応する。完全な画像を取得するために、各々のピクセルに対するチャージを読み込み、各々のピクセルで蓄積されたチャージは、バケツリレーの列のように、次のピクセルに移動する。そして、最後にそれがデジタル化されて、検出器から出力されコンピュータメモリに記憶される。電子を光源に変換する追加的なステップは、検出器の解像度を低下させる。なぜなら、蛍光材からの光は、ＣＣＤ検出器に到達する前に広がってしまうからである。ＣＣＤ検出器の他の不利な点は、画素アレーを読み出すのに時間が必要なことと、提供される視野が限定されることである。
【０００６】
一部の半導体検出器は直接電子を検出する。そして、ＣＣＤの代わりに、アクティブな、又は、パッシブなピクセルセンサを使用する。例えば、相補金属酸化物シリコン（ＣＭＯＳ）を使用した、モノリシック・アクティブ・ピクセルセンサ（ＭＡＰＳ）技術は、拘束に読み出せる高解像の検出器を提供する。アクティブなピクセルセンサにおいて、各々のピクセルは、分子の検出に必要な多くの機能を組みこむことができる。すなわち、チャージ生成及び取得、プリアンプリフィケーション、パルス整形、アナログデジタル変換、ノイズ識別、及び信号積分が挙げられる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】米国特許公報２００６／２７８９４３ “Ａｃｃｅｌｅｒａｔｅｄ ｐａｒｔｉｃｌｅ ａｎｄ ｈｉｇｈ ｅｎｅｒｇｙ ｒａｄｉａｔｉｏｎ ｓｅｎｓｏｒ，” Ｒ．Ｔｕｒｃｈｅｔｔａ他
【非特許文献】
【０００８】
【非特許文献１】“Ｅｖａｌｕａｔｉｏｎ ｏｆ ａ Ｈｙｂｒｉｄ Ｐｉｘｅｌ Ｄｅｔｅｃｔｏｒ ｆｏｒ Ｅｌｅｃｔｒｏｎ Ｍｉｃｒｏｓｃｏｐｙ．”， Ｕｌｔｒａｍｉｃｒｏｓｃｏｐｙ， ｖｏｌ． ９４， ２００２， ｐｐ．２６３−２７６． Ａ．Ｒ．Ｆａｒｕｑｉ他
【発明の概要】
【発明が解決しようとする課題】
【０００９】
アクティブなピクセルセンサは、例えば特許文献１に記載されている。そして、この文献は、本明細書に引用し、組み込まれたものとする。他のタイプのアクティブなピクセルセンサは、非特許文献１に記載されている。Ｆａｒｕｑｉ他のハイブリッド活性ピクセル検出器の論文では、高感度の読み出し回路は、電子検出部分の下に位置させているため、電子の衝撃から保護されることとなる。他のタイプの直接の電子検出器（両面細片検出器（ＤＳＳＤ：ｄｏｕｂｌｅ−ｓｉｄｅｄ ｓｔｒｉｐ ｄｅｔｅｃｔｏｒ））では、読出しシステムが電子ビームに沿っていないため、劣化しない。ＤＳＳＤ検出器は、検出器の上と下に置かれた取得ストリップを使用するため、双方に発生する電子の作用に関する情報を提供する。プロセッサは、例えば二つの電子がほぼ同じ時刻に到達した時刻を検出することができる。
【００１０】
ＴＥＭのサンプルは真空で維持される。その理由は、サンプル室の空気や他のガス分子がビームの電子を拡散させるからである。大量の水を含む生物学的サンプルは、高い真空環境において、すぐに分解してしまう。ＴＥＭでの観察のために、生物学的サンプルを保存するための技術としては、染色又はその他の固定技術があるが、観察に対してアーチファクトを発生させてしまうことがある。アーチファクトは、可視化処理の結果として観測される特徴であり、サンプルにおいて自然に発生するものではない。よりよく生物学的サンプルの完全性を維持する好適な保存技術としては、アモルファスアイスを形成するような固める過程によって、急速凍結させ、かつ、極低温でそれを観測することである。極低温透過電子顕微鏡法（クライオＴＥＭ：ｃｒｙｏ−ＴＥＭ）は、極低温（通常は液体窒素、又は液体ヘリウム温度）において透過型電子顕微鏡でサンプルの観察を行う。クライオＴＥＭは、サンプルをその本来の状態で、固定の過程でアーチファクトを発生させないで観察を行うことができる。
【００１１】
しかしながら、クライオＴＥＭからの画像は、観察の間の様々なプロセスによって分解する。例えば、ビームの高エネルギー電子の影響は薄片サンプルを加熱する。そして、ほんの短い観察の期間でサンプルにバブルを生じさせることがある。クライオＴＥＭに関する他の課題は、サンプルが画像形成の始めに静的チャージ（ｓｔａｔｉｃ ｅｌｅｃｔｒｉｃ ｃｈａｒｇｅ）すなわちチャージを蓄積するということである。そして、それは画像の角の強い縞を発生させる。チャージは、短い期間の後消える（消散する）。チャージのアーチファクトの発生を回避するために、ユーザは、時々、画像を形成する前にチャージを除去するために、サンプルを前もって発光（ｐｒｅ−ｉｌｌｕｍｉｎａｔｅ）させる。ユーザはまた、チャージの課題を克服するためにスポットスキャン（ｓｐｏｔ−ｓｃａｎ）画像形成、及び、ビーム誘起移動（ｂｅａｍ ｉｎｄｕｃｅｄ ｍｏｖｅｍｅｎｔ）を使用する。両方法とも、電子ビームが有益な情報を形成する時間を減少させるという望ましくない効果を有する。その理由は、前もって発光（ｐｒｅ−ｉｌｌｕｍｉｎａｔｅ）させることは、サンプルを加熱し始めるだけで、役立つ画像データを生成しない。
【００１２】
本発明の目的は、ＴＥＭ画像形成の質を改善することである。
【課題を解決するための手段】
【００１３】
好ましい実施例は、画像取得期間の間に、検出器の全てのピクセルの全てのあるいはそれより少ない画像データを、異なる時刻において読み出す電子検出器を含む。異なる時刻のデータは、どのデータを最終画像に含むべきかについて決定するために分析される。すなわち、好ましい実施例では、電子ビームがサンプルに当たり、画像データを生成しているとき、データが読み出され、リアルタイムで分析される。データ取得プロセスは、それから、分析の結果に基づき、画像取得期間の間に修正することができる。最終的な画像データは、取得された全てのデータの全て又はそれよりも少ないデータを含む。その他の実施例では、異なる時刻で読み出されたデータは、別個に記憶され、その後分析され、そして最終的な画像が形成される。
【００１４】
一つの実施例は、アーチファクトに関連する画像データを特定しかつ除去するために、画像取得期間の間の異なる時刻に取得されたデータを分析することによって、クライオ（ｃｒｙｏ）又はその他の少ない電子（ｌｏｗ ｄｏｓｅ）によるＴＥＭを用いて取得された画像を劣化させるアーチファクトを減少させ、又は、除去する。例えば、チャージングが終了したときを検出するために、画像取得の最初の時期に、全てのピクセルよりも少ないピクセルから取り出されたデータが利用される。そして、チャージングにより影響さていないデータのみが、取得される。別の実施例において、サンプルにバブルが入っていないか否かを検査するために、画像データが分析される。バブル形成（ｂｕｂｂｌｉｎｇ）の開始のときに、画像形成の期間が終了する。
【００１５】
以上は、本発明の実施例の特徴及び技術的に有利な点の概略を説明したものである。これにより、以下の本発明の詳細な説明をよりよく理解できるであろう。本発明の付加的な特徴及び効果は、以下に説明する。開示された概念及び具体的な実施例が、本発明の同じ目的を達成するための他の構成をデザインし、あるいは修正するためのベースとして利用できることは言うまでもない点を、当業者は理解すべきである。そして、当業者は、このような均等物が、物添付の請求項に規定された本発明の精神及び技術的範囲を逸脱しないことを理解すべきである。
【００１６】
本発明及びその効果のより完全な理解のために、添付の図面と共に以下に説明を行う。
【図面の簡単な説明】
【００１７】
【図１】本発明の好ましい実施例のフローチャートを示す図である。
【図２】本発明の実施例を使用する透過型電子顕微鏡の概略図である。
【図３】本発明の実施例に従うカメラ制御器の概略図である。
【図４】本発明の実施例に従うカメラサポートユニットの概略図である。
【図５】クライオＴＥＭサンプルのチャージによって生じる画像アーチファクトを検出し、かつ除去するために使用される本発明の実施例のフローチャートを示す図である。
【図６】クライオＴＥＭにおけるサンプルのバブル形成（ｂｕｂｂｌｉｎｇ）によって生じる画像アーチファクトを検出し、かつ除去するために使用される本発明の実施例のフローチャートを示す図である。
【発明を実施するための形態】
【００１８】
電子顕微鏡の画像に発生する画像形成アーチファクトによって、利用価値のより低い画像となる。多くのアーチファクトは、不規則的に発生し、画像取得期間の異なる時刻における画像を比較することにより発見することができ、除去できる。一部のアーチファクトは、また、一つのフレームの異なる領域のデータを比較することによって特定することもできる。本願明細書において使用される「フレーム」の語は、単一の読み出し期間に読み出されたピクセルデータのグループを意味する。すわなち、基本的に同時に読み出されたピクセルデータのグループを意味する。フレームは、全てのピクセルから得られたデータ、又は全てのピクセルよりも少ないピクセルから得られたデータを含む。本発明の好ましい実施例において、画像が取得されている間、画像データが複数の時間にわたって検出器から読み込まれる。すなわち、単一の画像は、複数のフレームからのデータを使用して形成することができる。異なる時間の、又は、同じ時間の画像の異なる部分からの画像データを比較することにより、アーチファクトの存在を特定することができる。そして、この種のアーチファクトは取得されたデータの部分を操作して、又は、除去することによって最終画像から除去することができる。
【００１９】
例えば、サンプルのチャージングは、クライオ顕微鏡法の課題であり、かつ可視化処理の初期に発生する。データは画像取得の間、ピクセルから読み出すことができる。そして、チャージングアーチファクトのある画像データを特定することができ、かつそれを除去することができる。クライオ顕微鏡法の他の課題はバブル形成である。これは、典型的には、画像取得の終わりに発生する。本発明の実施例は、良好なサンプル画像形成条件において取得されたデータからこれらの効果を分離することを可能とする。これによって、画像のデータの品質を向上させ、科学的な利用価値を高める。
【００２０】
本発明の好ましい実施例は、ＣＭＯＳ検出器を使用する。これはＣＣＤ検出器より速い読み出しを提供し、かつ選択されたピクセルからの読み出しを可能とする。好ましい実施例における、高速な読み出し能力、特定のピクセルを読み出す能力、及びオンチップ画像処理によって、データを分析し判断をすることが、画像データが取得されているときに実行可能となる。そして、画像処理はリアルタイムで調整され、より良好な画像が提供される。
【００２１】
画像取得期間の間における読み出しデータの分析に基づいて、画像取得プロセスが継続され、変更され、あるいは終了する。例えば、取得プロセスを変更することは、取得された幾つかの又は全部の画像データを廃棄することを含んでもよい。あるいは、分析の前及び後に取得された画像を異なるメモリ位置に保存してもよい。あるいは、データ取得を終了してもよい。例えば、データが取得されている画像データが良好なデータであることを示す場合、データ取得は変更なしで継続してもよい。データ解析によって、取得されたデータが望ましくないアーチファクトを含んでいる場合、最終的な画像データからそのデータを取り除いてもよい。データ解析及び取得プロセスの変更は、画像データの取得の異なるステージで異なってもよい。例えば、データ解析は、画像取得の時期の初期で、アーチファクトを発見し、チャージングアーチファクトを含む画像データを破棄する。そして、チャージングアーチファクトが消えた後、良好なデータが蓄積され始めることであってもよい。画像取得期間の後においては、解析は、バブルを発見し、そして、バブル発生が開始されたときにシステムがデータ取得を終了させることであってもよい。本発明によって、サンプルに当たる電子からの最良の画像データを取得することができる。
【実施例】
【００２２】
図１は、本発明の好ましい実施例のフローチャートを示している。ステップ１００で、電子がサンプルに照射される。サンプルを通過した電子が、サンプルの下にある検出器のピクセルアレーに当たり、そして、チャージに変換され、当たったピクセルにチャージが保存されるステップ１０２で、１つ以上のピクセルから、保存されたチャージが「読み出され」、デジタル化される。「読み出される」とは、チャージに対応する電気的信号が、ピクセルの外の回路に提供されることを意味する。ピクセルが読み出されたときに、チャージはリセットされてもよく、あるいは、リセットされなくてもよい。電気的信号が、全てのピクセルから読み出される。あるいは、アレーの全てのピクセルよりも少ないアレーから読み出される。この読み出しのオペレーションは、好ましくは、ピクセルをベースラインにリセットすることを含んでもよい。これによって、チャージの蓄積があらためて開始される。あるいは、その後の読み出しは、前に読み出した値を減算し、最後の読み出しオペレーションから蓄積されたチャージを検出してもよい。ステップ１０４で、読まれた画像データがメモリに保存される。好ましくは、デジタルとして保存される。
【００２３】
ステップ１０６で、ステップ１０２で読まれた同じピクセルから再び情報が読み出される。その情報は、ステップ１０８において記憶される。例えば、４ｋ×４ｋピクセルアレーを含む一実施例において、データは、４０Ｈｚで読み出される。これは、２５ｍｓ毎に読み出すことになる。ステップ１０６は、ステップ１０２よりも後に実行される。したがって、情報は、ステップ１０２の後に、検出器のピクセルに当たった電子を示している。ステップ１１０で、取得された画像データの特徴を決定するために、異なる時刻に読み出され、かつメモリに保存された二つのセットのピクセルデータがプロセッサにより分析される。例えば、この分析によって、画像が画像形成アーチファクトを含んでいるか否かを特定してもよい。ある実施例においては、この分析によって、異なる時刻からのデータを表す異なるフレームからのピクセルではなく、同じフレームの異なるピクセルを比較してもよい。
【００２４】
分析の結果に基づいて、ブロック１１４で、システムは、今読み込んだデータは画像アーチファクトがないか否か、そして、最終画像を形成する蓄積されたデータに追加すべきか否かを決定する。もし、そうであれば、ステップ１１６で、「良好な」画像データを蓄積しているメモリ位置にデータが追加される。決定ブロック１１４が、データは良好な画像でないことを示している場合、すなわち、このデータが望ましくないアーチファクトを含んでいる場合、そのデータは、蓄積されている「良好な」画像データに追加されない。取得されたデータは、蓄積されたデータに追加されるか否かに関わらず、その後のデータとの比較、又は他のデータ加工及び組合せのために、別々に保存され残されてもよい。
【００２５】
決定ブロック１２０で、システムは、ステップ１１０の分析から、画像取得プロセスが終了するか否かを決定する。その場合、ステップ１２２で、電子ビームは停止し、サンプルに照射されなくなる。そして、ステップ１２４で、蓄積されたデータが、最終的な画像データとして保存される。ステップ１２０の結果が、画像取得プロセスが終了していないことを示した場合、プロセスは、ステップ１０６でデータの取得を継続する。
【００２６】
ある実施例においては、後の処理のために画像のフレームを格納することによって、処理がオフラインで実行されてもよい。ピクセルの数が大量であるために、リアルタイムで要求された計算を行うことができない場合には、これが望ましい。各フレームに必要なメモリ量を考慮すると、リアルタイムでデータをサンプルし、そして、サンプリングにおいて画像取得処理に変化が発生したときに、追加的なフレームを格納することが望ましい。このような、オフラインの処理の実施例は、更なる画像を保存するために追加的なメモリを必要とする。特にチャージングと良好なデータとの間、あるいは、良好なデータとバブル発生との間の過渡的状況に対して追加的なメモリを必要とする。
【００２７】
図２は、本発明の好ましい実施例に従った検出器システム２０４を使用した透過型電子顕微鏡（ＴＥＭ）２０２の好ましい実施例を示す。ＴＥＭ２０２は、コンデンサーレンズ、収差補正器等の付加的なコンポーネント（図示せず）を含み得る上部電子コラム２１０を有する。上部電子コラム２１０は、電子ビームを形成し、この電子ビームは、サンプル２１２を通るよう照射され、そして、フォーカシングレンズ２１４によって、複数の個々のピクセル２１８を構成するピクセルアレー２１６に焦点が集められる。一実施例において、アレーは、４，０９６×４，０９６ピクセルである。このピクセルアレーは、好ましくはＣＭＯＳモノリシックアクティブピクセルセンサである。これについては、特許文献１に記載されている。ピクセル２１８に衝突する電子は、複数の電子的なチャージを生成する。このチャージは、蓄積され、カメラ制御ユニット（ＣＣＵ）２２０によって、定期的に読み出され、電気的信号としてデジタル化される。そして、これは付加的な処理のためのカメラサポートユニット（ＣＳＵ）２２２に転送される。
【００２８】
図３は、ＣＣＵ２２０のブロック図を示している。そして、図４は、ＣＳＵ２２２のブロック図を示している。ＣＳＵ２２０は、データを読み出すための各ピクセルのスイッチを制御する行（ｒｏｗ）読み出しコントローラ３０２を含む。列（ｃｏｌｕｍｎ）コントローラ３０６は、行読み出しコントローラ３０２によってアクティベートされた行のピクセルからデータを読み出す。ピクセルの行からの電子的信号は、アナログデジタル変換器３０８によってデジタル信号に変換される。一つの実施例において、各ピクセルから読み出されたアナログデータは、ＣＣＵ２２０によって、１４ビットデジタルデータに変換される。プロセッサ３１０（例えばＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ））は、プログラムされたロジック及びＣＳＵ２２０からの命令によって、ＣＣＵ２２０のオペレーションを制御する。ＦＰＧＡは、特定のオペレーションのために必要とされるロジックをプログラムすることができる。そして、異なる機能を実行するためにプログラムすることもできる。個々の画像データのフレーム、すなわち、特定の時刻にピクセルのグループに蓄積されたチャージを示すデータは、通信インターフェース３１４を介して、高速データリンク３１２によってＣＳＵに転送される。４ｋ×４ｋピクセルのアレーは、２５ｍｓで読み出される。すなわち、約４０Ｈｚの周波数で読み出されることになる。高速データリンク３１２は、例えば、１０Ｇｂｉｔ／ｓ光リンクを含んでもよい。これは、４０Ｈｚのレートで、ピクセルあたり１４ビットダイナミックレンジの４ｋ×４ｋピクセルに対応するデータを転送することができる。要求するフレームレートで全てのピクセルデータを蓄積するために十分なデータ転送レートである限り、データロスなく、データは転送することができる。ＣＣＤピクセルと異なり、ＣＭＯＳピクセルは、全てのピクセルより少ないピクセルに蓄積されたチャージを読み出す能力がある。これは、全てのピクセルを読み出すよりもはるかに短い時間である。例えば、５１２ピクセル×５１２ピクセルの小さい領域は、約１．５ｍｓで読み出すことができる。
【００２９】
図４は、ＣＳＵ２２２を示す。これは、ＣＣＵ２２０からのピクセル情報を処理するようプログラムされたプロセッサ４０２、及びピクセルデータを格納するためのメモリ４０４を有する。プロセッサ４０２は、ＦＰＧＡを含んでもよい。データメモリ４０４は、「バッファ」と呼ばれる複数のメモリ領域に分割されてもよい。図４は、４０６Ａ、４０６Ｂ、４０６Ｃ及び４０６Ｄの４つのバッファを示している。もっとも、異なる実施例においては、これよりも多い、あるいは少ないバッファを有してもよい。各バッファは、検出器の各ピクセルに対応するメモリーロケーションを含む複数のメモリーロケーションを有している。メモリーロケーションは、ある時刻にピクセルから読み出された値を格納するために用いられ得る。メモリーロケーションは、複数の読み出しによって蓄積されたデータを格納するために用いられてもよい。あるいは、対応する各ピクセルの計算結果、例えば、ピクセルの移動平均、又はピクセルの周辺のピクセルとの平均値が挙げられる。異なるバッファのコンテンツは結合されてもよい。例えば、平均、乗算、除算が挙げられる。
【００３０】
ＦＰＧＡは、ＣＣＵからの全てのデータ又は、異なる時刻の特定のピクセルのサブセットのデータを取得するためにプログラムされてもよい。比較の結果によって、ＣＳＵは、バッファの一つのデータを捨てるようにプログラムされてもよい。あるいは、第３のバッファの良好な画像データと結合されるようプログラムされてもよい。その他のデータの操作としては、ダークフレーム校正（ｄａｒｋ ｆｒａｍｅ ｃｏｒｒｅｃｔｉｏｎｓ）、ゲイン線形化、合算された最終的なカメラ画像にするための複数の画像の加算が挙げられる。ダークフレーム校正においては、電子ビームがサンプルに当てられていないときのピクセルから読み出されたデータを、一つのバッファに格納する。ここでの「ノイズ」は、「ダークフレーム」ノイズと呼ばれる。そして、このダークフレームノイズは、各フレーム又は最終的な画像データから減算される。ゲイン線形化とは、二つの電子がピクセルに衝突する信号が、一つの電子がピクセルに衝突する信号の二倍になるように信号を調節することを言う。
【００３１】
ＣＳＵ２２２は、ＴＥＭコンピュータ２３０（図２）によって制御される。ＴＥＭコンピュータ２３０は、ＴＥＭ２０２も制御する。データは、通信インターフェース４１０を介して通信リンク４１２によって、ＣＳＵからＴＥＭコンピュータ２３０に転送される。例えば、通信リンク４１２は、１Ｇｂｉｔ／ｓ又は１０Ｇｂｉｔ／ｓのレートで動作するイーサネット（登録商標）接続が挙げられる。ユーザインターフェース２３２は、ユーザに対して画像を表示し、ＴＥＭ２０２のオペレーション及び検出器システム２０４に関するユーザからの命令を受け入れる。
【００３２】
本発明の一つの実施例は、チャージのアーチファクトを排除する。試料に衝突する第１の電子は、モバイル電子正孔対を生成する。この試料は（液体窒素、又は液体ヘリウム温度のいずれであっても）、通常十分に導通する。このため、モバイルチャージキャリヤは、互いに押しのけ、検出器アレーの角に退いてしまう。サンプルが置かれたグリッドは絶縁体であり、したがって、チャージは、サンプルの角に蓄積する。画像は、蓄積された静的チャージによって生じる、検出器の角における著しい縞（ｓｔｒｅａｋｉｎｇ）を呈する。短い時間の後、通常は３０ｍｓで、電子ビームの衝突によって生成される二次電子が、チャージを中性化し、アーチファクトは消失する。
【００３３】
一つの実施例は、各々の取得されたデータの、第２の主要部分から、及び第３の最終部分から、第１の部分を分離するため、３つのバッファを使用する。第１の部分は、チャージングアーチファクトを含む。最後の部分は、バブルアーチファクトを含む。主要部分は、画像を生成するための最良のデータを含む。
【００３４】
図５は、本発明の実施例のフローチャートを示し、最初の試料のチャージを検出し、チャージングアーチファクトを回避した画像を生成する。ステップ５０２において、画像の一つの角の複数のピクセル、例えば、５１２ピクセル×５１２ピクセルの角は、ＣＣＵにより読み出され、ＣＳＵに転送される。ある実施例においては、複数の角が読み出されてもよい。ステップ５０４で、ＣＳＵは、画像データを第１のバッファに格納する。
【００３５】
ステップ５０６で、ＣＣＵは、ステップ５０２において角のピクセルの第１のセットが読み出された時刻よりも後の時刻における、同じ角からのピクセルデータの第２のセットを読み出す。一つの角の複数のピクセルだけが読み出されるため、データは、ピクセルから迅速に取り出される。５１２ピクセル×５１２ピクセルの角の領域の複数のピクセルは約１．５ｍｓで読み出される。ステップ５０８で、ＣＳＵは、データを第２のバッファに格納する。
【００３６】
ステップ５１０で、二つのデータバッファのデータが比較され、データが安定したか否かが判断される。ステップ５１０では、画像が安定しているときを判断するために、様々な技術が用いられる。例えば、二次元の相互相関は、時系列的な画像に実行することができる。画像が安定すると、時系列的なフレームは相関が高くなる。あるいは、ｘ方向とｙ方向の画像のコンテンツが投影され、二つの一次元相関が実行される。このような相関は、例えば、Ｃａｉｎ他の“Ｐｒｏｊｅｃｔｉｏｎ−Ｂａｓｅｄ Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ ｉｎ ｔｈｅ Ｐｒｅｓｅｎｃｅ ｏｆ Ｆｉｘｅｄ−Ｐａｔｔｅｒｎ Ｎｏｉｓｅ”ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．１０，Ｎｏ．１２，ｐ．１８６０（２００１）に記載されている。Ｃａｉｎ他は、画像が固定パターンのノイズを持つ場合（これは、ＣＣＵのバイアスが校正されておらず、かつ、ゲインが線形でないときの画像の場合）、一次元相関が優れていると言及している。あるいは、サンプルがチャージされていることを示すシフトを判断するために単純な減算が利用され得る。その他の方策としては、チャージングの終わりを検出するために、角の画像の統計（例えば平均及び分散）の変化が利用される。
【００３７】
判断ブロック５１２で、ステップ５１０の分析に基づいて、システムは、画像が安定しているか否かを判断する。すなわち、これは、チャージが終了したか否かを判断する。もし、画像が安定していない場合、このプロセスは、ステップ５０６から繰り返される。ステップ５０６で、新しいデータセットが角のピクセルから読み出される毎に、新しいデータすなわち最も最近のピクセルデータ及び次に最も最近のピクセルデータの相関が実行される。あるいは、最近のデータが、１つ以上の以前に読み出され蓄積されたデータと比較される。あるいは、例えば、以前の読み出されたデータの平均又は積算と比較される。
【００３８】
判断ブロック５１２における相関で、チャージングが終了したと判断された場合、ＣＳＵは、ステップ５１４において、「良好な画像データバッファ」にデータを蓄積し始める。現在蓄積されているデータは、正確な画像データであり、基本的にチャージングアーチファクトのないものである。以降のピクセルデータのセットの各々は、好ましくは、４ｋ×４ｋピクセルアレーから２５ｍｓ毎に読み出されたピクセルデータのセットであり、画像取得期間において、良好な画像データのバッファの以前のデータに加算される。画像取得が完了すると、蓄積されたデータが最終画像となる。画像処理は、予め定められた時間の後に完了する。これは、十分な数の電子がサンプルを通過し、あるいは、ピクセルから読み出された画像の分析によって、読み出されているデータがアーチファクトを含み始めることを示し始めているときである。ある実施例において、図６に示し後述するように、画像データは、他のアーチファクトのために継続してモニターされる。例えば、バブル形成である。そして、画像取得は、バブル形成が開始したときに終了する。
【００３９】
他の実施例において、チャージングアーチファクトを回避するために、特定の時間間隔（例えば３０ｍｓ）の後に、チャージングの終了を仮定する。そして、最初の３０ｍｓにおけるデータは、第１のバッファに格納され、その後のデータは、第２のバッファに格納される。この実施例は、単純であるが、良好な画像データを落としてしまったり、チャージングアーチファクトを含む幾つかのデータを含んでしまったりすることがある。
【００４０】
図６は、バブル形成のオンセット（開始：ｏｎｓｅｔ）を検出するために利用される、本発明の実施例のフローチャートを示す。バブル形成の開始の速さは、ある程度、サンプル及び電子ビームの電流に依存する。バブル形成は、通常、サンプルの局所的影響により発生し、この影響が画像全体に広がる。一部の異なった、予期不能な場所で、バブル形成の開始のときに、画像が典型的にシャープなスパイクの明るさを呈する。これらの明るさのスパイクは、幾つかの分析アルゴリズムによって検出できる。プロセッサは、バブル形成の影響を特に検出する局所的フィルタ（ｌｏｃａｌ ｆｉｌｔｅｒ）を適用する。チャージングが終了したか否かを検出することと同様に、バブル形成が開始されたか否かを検出するための、データを検討し、収集し、かつ分析する多くの方法が存在する。本発明は、このような特定のいかなるアルゴリズムにも限定されない。
【００４１】
図６は、バブル形成が開始されたか否かを検出する方法を示している。ステップ６０２で、全てのピクセル又は、代表のピクセルからデータが読み出され、バッファに格納される。ステップ６０４で、システムは、各ピクセルの近隣のピクセルの局所的グループの平均及び分散を計算する。そして、計算された値をバッファに格納する。例えば、ステップ６０２で、各ピクセルを中心とする７ピクセル×７ピクセルのブロックの平均及び分散を計算してもよい。ある実施例において、計算は、全てのピクセルに対してではなく、画像の代表のピクセルに対してだけ実行される。
【００４２】
ステップ６０６において、ピクセルアレーから第２のデータのセットが読み込まれ、異なるバッファに格納される。ステップ６０８において、システムは、ステップ６０４と同じ手順によって、第２のデータのセットにおける各ピクセルの近隣の局所的平均及び分散を計算する。ステップ６１０で、システムは、二つの異なるフレームから計算された平均及び分散を比較し、平均及び分散の変化が、大きな局所的な変化を示しているか否かを判断する。これは、バブル形成の始まりを示している。
【００４３】
４，０９６×４，０９６ピクセルのアレーの７×７フレームの各々を比較することは、計算量が膨大になる。大規模なＴＥＭ画像の処理のためのアルゴリズムは、例えば、Ｚｈｕ，Ｙ他の “Ａｕｔｏｍａｔｉｃ ｐａｒｔｉｃｌｅ ｓｅｌｅｃｔｉｏｎ：ｒｅｓｕｌｔｓ ｏｆ ａ ｃｏｍｐａｒａｔｉｖｅ ｓｔｕｄｙ，”Ｊｏｕｒｎａｌ ｏｆ Ｓｔｒｕｃｔｕｒａｌ Ｂｉｏｌｏｇｙ １４５（２００４）３−１４、Ｒｏｓｅｍａｎ，Ａ．Ｍ，２００３，“Ｐａｒｔｉｃｌｅ ｆｉｎｄｉｎｇ ｉｎ ｅｌｅｃｔｒｏｎ ｍｉｃｒｏｇｒａｐｈｓ ｕｓｉｎｇ ａ ｆａｓｔ ｌｏｃａｌ ｃｏｒｒｅｌａｔｉｏｎ ａｌｇｏｒｉｔｈｍ，”Ｕｌｔｒａｍｉｃｒｏｓｃｏｐｙ ９４，２２５−２３６（２００３）、及び Ｒｏｓｅｍａｎ，Ａ．Ｍ，“ＦｉｎｄＥＭ−ａ ｆａｓｔ，ｅｆｆｉｃｉｅｎｔ ｐｒｏｇｒａｍ ｆｏｒ ａｕｔｏｍａｔｉｃ ｓｅｌｅｃｔｉｏｎ ｏｆ ｐａｒｔｉｃｌｅｓ ｆｒｏｍ ｅｌｅｃｔｒｏｎ ｍｉｃｒｏｇｒａｐｈｓ，”Ｊｏｕｒｎａｌ ｏｆ Ｓｔｒｕｃｔｕｒａｌ Ｂｉｏｌｏｇｙ（２００４）に開示されている。Ｒｏｓｅｍａｎにより記述されたアルゴリズムは、３つのフーリエ変換を使用し、７×７のマスクを提供する。
【００４４】
バブル形成が開始されたか否かを判断する他の方法として、ビデオ処理として知られているテクスチャ分析方法が使用される。この方法は、例えば、Ｃ．Ｈ．Ｃｈｅｎ他の，Ｔｈｅ Ｈａｎｄｂｏｏｋ ｏｆ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，（２ｎｄ Ｅｄｉｔｉｏｎ）Ｗｏｒｌｄ Ｓｃｉｅｎｔｉｆｉｃ Ｐｕｂｌｉｓｈｉｎｇ Ｃｏ１９９８に記載されている。特に、Ｇｂｏｒフィルタが利用できる。
【００４５】
この処理は、処理の前にデータがリバインド（ｒｅ−ｂｉｎｎｅｄ）されれば、高速化される。すなわち、例えば９ピクセルの正方形の複数のピクセルは、結合され、解像度の低いピクセルとして、一つとして取り扱われる場合である。例えば、ＣＣＵは、４ピクセル×４ピクセルのグループを一つのピクセルとして扱う。そうすれば、アレーは、４ｋ×４ｋではなく、１ｋ×１ｋとなる。これは、付随的に必要とする計算の数を減少させる。バブル形成を検出するためのデータ分析の他の方法としては、現在のフレームと、１つ以上の以前のフレームとの局所的（ｌｏｃａｌ）な相互相関を実行することである。これについても、Ｒｏｓｅｍａｎの論文に記載されている。そして、相関係数の変化を観察する。
【００４６】
決定ブロック６１２で、ステップ６１０での比較が、バブル形成が開始されていないと判断される場合、ステップ６１４で、最も最近に取得されたデータが、良好な画像データバッファに蓄積された画像データに追加される。この最も最近に取得されたデータは、次のデータの比較のために保持される。本方法は、ステップ６０６から繰り返される。新しいデータセットを読み出し、平均及び分散を計算し、そして、各々のデータセットに対して計算された値と、以前のデータセットで計算された値とが比較される。新しい画像データは、好ましくは４０Ｈｚのレートで取得される。判断ブロック６１２で、バブル形成が廃止されたことが示されると、ステップ６１６で、最も最近に取得されたデータは、破棄される。そして、ステップ６１８で、良好な画像データバッファに格納された画像データが、最終的な画像データとなる。
【００４７】
本発明によって検出され修正することができるその他のアーチファクトは、ドリフト（ｄｒｉｆｔ）である。時間と共に、検出器上で、画像がシフトすることがある。例えば、少しの温度の変化によって、電子ビームのカラムのビーム位置がシフトする。システムの振動、あるいはカラムの電圧及び電流の不安定性によって、ドリフトが発生する。一つの実施例において、フレームは４０Ｈｚで読み出され、ドリフトを検出するために、以前のフレームと相関が取られる。これは、２０Ｈｚより低い周波数のドリフト又は振動の影響を取り除くことができる。このようなフレーム相関は、フレーム間の相関を取るためにサンプルに明瞭な特徴がある場合であって、電子がサンプルに当たる数が比較的大きい場合にはよく機能する。フレーム相関は、走査型電子顕微鏡の画像に用いられてきた。フレーム相関アルゴリズムは、例えば、上述のＲｏｓｅｍａｎの論文に記載されている。フレーム相関は、ピクセル間隔よりも大きな間隔のドリフトを補償する技術である。
【００４８】
本発明は、少ない電子数の画像（ｌｏｗ ｄｏｓｅ ｉｍａｇｅ）において特に有効な全く新たな取得方法に用いられる能力を提供する。検出器から得られる「良好な品質」の画像に比べて、チャージング及びバブル形成は、速い強度の差を示す。このような小さな変化を検出するための高速な画像処理技術を適用することによって、アーチファクトを回避し、画像の取得を開始及び停止するために、試料の変化及びビームによるダメージを検出することができる。
【００４９】
本発明の実施例によって、取得されたデータに基づきリアルタイムで適合するための画像取得プロセスが実現できる。画像データのリアルタイムでの分析に基づく修正としては、取得の時間、関心領域、バイニングモードの変更が挙げられる。分析は、利用できる処理パワー及びメモリにのみ制限される。
【００５０】
上述の実施例は、周期的に読み出されたチャージを蓄積するアクティブピクセルセンサを使用して記述されており、他の実施例では、電子の衝突が電気的信号を生成し、予め定められたフレーム期間を待つことなく、これはピクセルから迅速に転送される。本発明は、従来の透過型電子顕微鏡に適用した形で記載されているが、本発明は、走査型電子顕微鏡にも適用できるものである。
【００５１】
本発明及びその有利な効果を記載したが、添付の請求項に定義された本発明の精神及び技術的範囲から離れずに、本明細書に記載した実施例に対する様々な変更、置き換え、改変ができることは言うまでもない。更に、本出願の範囲は、明細書に記載した、プロセス、機械、製品、製造物、手段、方法、ステップに係る特定の実施例に限定されるものではない。当業者は、本発明の開示から、プロセス、機械、製品、製造物、手段、方法、ステップであって、現在又は将来開発される、本発明と実質同様の機能、又は結果を奏するものは、対応するここに開示した実施例として、本発明に従って利用することができる。したがって、添付の請求項は、そのようなプロセス、機械、製品、製造物、手段、方法、ステップを、その技術的範囲に包含するものである。
【技術分野】
【０００１】
本発明は、電子顕微鏡に関する。より詳細には、電子顕微鏡用としての検出器システムに関する。
【背景技術】
【０００２】
透過型電子顕微鏡（ＴＥＭ：ｔｒａｎｓｍｉｓｓｉｏｎ ｅｌｅｃｔｒｏｎ ｍｉｃｒｏｓｃｏｐｅ）は、薄片サンプルを通過する電子ビームを照射し、かつ電子及びサンプルの間の相互作用によって生じる電子ビームの変化を検出する。電子は、通常は８０ないし３００ｋｅＶ間のエネルギーに加速される。加速は、好ましくは、電子のソースを高圧に維持し、かつ、グランド電位でのサンプルの方向へ電子を加速することによってなされる。デフレクタ、レンズ及び収差補正部によって、サンプルに照射するためにビームが制御される。サンプルは、電子を部分的に透過するよう十分に薄くなっている。
【０００３】
電子に対する透過性は、要素の原子番号に依存するので、典型的なサンプルの厚さはサンプルの性質によって変化する。例えば、金属、又は半導体（これらは高い原子番号を持つ多くの原子を含む）から成るサンプルは、厚さ約３０ナノメートルである。通常、生物材料のサンプルでは、より薄く、例えば約２００ナノメートルの厚さとなる。より厚いサンプル、例えば、１μｍのサンプルが一部のアプリケーションで使用されてもよい。
【０００４】
一部の電子は、妨害されず、サンプルを通過する。電子の一部は、回折する。また一部の電子は、エネルギーを失い吸収される。異なる技術によって、サンプルに関する異なる情報を測定するために、発射された電子の異なる特徴を利用する。ＴＥＭは、ナノメートル、又はサブナノメータレンジの構造特徴を示す画像を生成することができる。そして、サンプルの組成に関する情報を提供することができる。
【０００５】
電子がサンプルを通過した後、それらは写真フィルムによって検出される。あるいは、検出器に当たる電子の数及び／又はエネルギーを示す電気的信号が生成される。大部分のＴＥＭ電子検出器は、間接的に電子を検出する。電子は蛍光体に当たる。そして、これが検出器によって検出される光を発する。間接的な検出は、高エネルギーの電子の衝撃による半導体検出器へのダメージを防止する。光は、半導体検出器に当たり、かつ、電子正孔対を生成する。多くの間接遷移形半導体検出器において、電子は、ＣＣＤ（ｃｈａｒｇｅｄ−ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）の一部を形成するコンデンサの列にたまる。各々のコンデンサに対する蓄積されたチャージ（電荷）は、対応するピクセルに当たった電子の数に対応する。完全な画像を取得するために、各々のピクセルに対するチャージを読み込み、各々のピクセルで蓄積されたチャージは、バケツリレーの列のように、次のピクセルに移動する。そして、最後にそれがデジタル化されて、検出器から出力されコンピュータメモリに記憶される。電子を光源に変換する追加的なステップは、検出器の解像度を低下させる。なぜなら、蛍光材からの光は、ＣＣＤ検出器に到達する前に広がってしまうからである。ＣＣＤ検出器の他の不利な点は、画素アレーを読み出すのに時間が必要なことと、提供される視野が限定されることである。
【０００６】
一部の半導体検出器は直接電子を検出する。そして、ＣＣＤの代わりに、アクティブな、又は、パッシブなピクセルセンサを使用する。例えば、相補金属酸化物シリコン（ＣＭＯＳ）を使用した、モノリシック・アクティブ・ピクセルセンサ（ＭＡＰＳ）技術は、拘束に読み出せる高解像の検出器を提供する。アクティブなピクセルセンサにおいて、各々のピクセルは、分子の検出に必要な多くの機能を組みこむことができる。すなわち、チャージ生成及び取得、プリアンプリフィケーション、パルス整形、アナログデジタル変換、ノイズ識別、及び信号積分が挙げられる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】米国特許公報２００６／２７８９４３ “Ａｃｃｅｌｅｒａｔｅｄ ｐａｒｔｉｃｌｅ ａｎｄ ｈｉｇｈ ｅｎｅｒｇｙ ｒａｄｉａｔｉｏｎ ｓｅｎｓｏｒ，” Ｒ．Ｔｕｒｃｈｅｔｔａ他
【非特許文献】
【０００８】
【非特許文献１】“Ｅｖａｌｕａｔｉｏｎ ｏｆ ａ Ｈｙｂｒｉｄ Ｐｉｘｅｌ Ｄｅｔｅｃｔｏｒ ｆｏｒ Ｅｌｅｃｔｒｏｎ Ｍｉｃｒｏｓｃｏｐｙ．”， Ｕｌｔｒａｍｉｃｒｏｓｃｏｐｙ， ｖｏｌ． ９４， ２００２， ｐｐ．２６３−２７６． Ａ．Ｒ．Ｆａｒｕｑｉ他
【発明の概要】
【発明が解決しようとする課題】
【０００９】
アクティブなピクセルセンサは、例えば特許文献１に記載されている。そして、この文献は、本明細書に引用し、組み込まれたものとする。他のタイプのアクティブなピクセルセンサは、非特許文献１に記載されている。Ｆａｒｕｑｉ他のハイブリッド活性ピクセル検出器の論文では、高感度の読み出し回路は、電子検出部分の下に位置させているため、電子の衝撃から保護されることとなる。他のタイプの直接の電子検出器（両面細片検出器（ＤＳＳＤ：ｄｏｕｂｌｅ−ｓｉｄｅｄ ｓｔｒｉｐ ｄｅｔｅｃｔｏｒ））では、読出しシステムが電子ビームに沿っていないため、劣化しない。ＤＳＳＤ検出器は、検出器の上と下に置かれた取得ストリップを使用するため、双方に発生する電子の作用に関する情報を提供する。プロセッサは、例えば二つの電子がほぼ同じ時刻に到達した時刻を検出することができる。
【００１０】
ＴＥＭのサンプルは真空で維持される。その理由は、サンプル室の空気や他のガス分子がビームの電子を拡散させるからである。大量の水を含む生物学的サンプルは、高い真空環境において、すぐに分解してしまう。ＴＥＭでの観察のために、生物学的サンプルを保存するための技術としては、染色又はその他の固定技術があるが、観察に対してアーチファクトを発生させてしまうことがある。アーチファクトは、可視化処理の結果として観測される特徴であり、サンプルにおいて自然に発生するものではない。よりよく生物学的サンプルの完全性を維持する好適な保存技術としては、アモルファスアイスを形成するような固める過程によって、急速凍結させ、かつ、極低温でそれを観測することである。極低温透過電子顕微鏡法（クライオＴＥＭ：ｃｒｙｏ−ＴＥＭ）は、極低温（通常は液体窒素、又は液体ヘリウム温度）において透過型電子顕微鏡でサンプルの観察を行う。クライオＴＥＭは、サンプルをその本来の状態で、固定の過程でアーチファクトを発生させないで観察を行うことができる。
【００１１】
しかしながら、クライオＴＥＭからの画像は、観察の間の様々なプロセスによって分解する。例えば、ビームの高エネルギー電子の影響は薄片サンプルを加熱する。そして、ほんの短い観察の期間でサンプルにバブルを生じさせることがある。クライオＴＥＭに関する他の課題は、サンプルが画像形成の始めに静的チャージ（ｓｔａｔｉｃ ｅｌｅｃｔｒｉｃ ｃｈａｒｇｅ）すなわちチャージを蓄積するということである。そして、それは画像の角の強い縞を発生させる。チャージは、短い期間の後消える（消散する）。チャージのアーチファクトの発生を回避するために、ユーザは、時々、画像を形成する前にチャージを除去するために、サンプルを前もって発光（ｐｒｅ−ｉｌｌｕｍｉｎａｔｅ）させる。ユーザはまた、チャージの課題を克服するためにスポットスキャン（ｓｐｏｔ−ｓｃａｎ）画像形成、及び、ビーム誘起移動（ｂｅａｍ ｉｎｄｕｃｅｄ ｍｏｖｅｍｅｎｔ）を使用する。両方法とも、電子ビームが有益な情報を形成する時間を減少させるという望ましくない効果を有する。その理由は、前もって発光（ｐｒｅ−ｉｌｌｕｍｉｎａｔｅ）させることは、サンプルを加熱し始めるだけで、役立つ画像データを生成しない。
【００１２】
本発明の目的は、ＴＥＭ画像形成の質を改善することである。
【課題を解決するための手段】
【００１３】
好ましい実施例は、画像取得期間の間に、検出器の全てのピクセルの全てのあるいはそれより少ない画像データを、異なる時刻において読み出す電子検出器を含む。異なる時刻のデータは、どのデータを最終画像に含むべきかについて決定するために分析される。すなわち、好ましい実施例では、電子ビームがサンプルに当たり、画像データを生成しているとき、データが読み出され、リアルタイムで分析される。データ取得プロセスは、それから、分析の結果に基づき、画像取得期間の間に修正することができる。最終的な画像データは、取得された全てのデータの全て又はそれよりも少ないデータを含む。その他の実施例では、異なる時刻で読み出されたデータは、別個に記憶され、その後分析され、そして最終的な画像が形成される。
【００１４】
一つの実施例は、アーチファクトに関連する画像データを特定しかつ除去するために、画像取得期間の間の異なる時刻に取得されたデータを分析することによって、クライオ（ｃｒｙｏ）又はその他の少ない電子（ｌｏｗ ｄｏｓｅ）によるＴＥＭを用いて取得された画像を劣化させるアーチファクトを減少させ、又は、除去する。例えば、チャージングが終了したときを検出するために、画像取得の最初の時期に、全てのピクセルよりも少ないピクセルから取り出されたデータが利用される。そして、チャージングにより影響さていないデータのみが、取得される。別の実施例において、サンプルにバブルが入っていないか否かを検査するために、画像データが分析される。バブル形成（ｂｕｂｂｌｉｎｇ）の開始のときに、画像形成の期間が終了する。
【００１５】
以上は、本発明の実施例の特徴及び技術的に有利な点の概略を説明したものである。これにより、以下の本発明の詳細な説明をよりよく理解できるであろう。本発明の付加的な特徴及び効果は、以下に説明する。開示された概念及び具体的な実施例が、本発明の同じ目的を達成するための他の構成をデザインし、あるいは修正するためのベースとして利用できることは言うまでもない点を、当業者は理解すべきである。そして、当業者は、このような均等物が、物添付の請求項に規定された本発明の精神及び技術的範囲を逸脱しないことを理解すべきである。
【００１６】
本発明及びその効果のより完全な理解のために、添付の図面と共に以下に説明を行う。
【図面の簡単な説明】
【００１７】
【図１】本発明の好ましい実施例のフローチャートを示す図である。
【図２】本発明の実施例を使用する透過型電子顕微鏡の概略図である。
【図３】本発明の実施例に従うカメラ制御器の概略図である。
【図４】本発明の実施例に従うカメラサポートユニットの概略図である。
【図５】クライオＴＥＭサンプルのチャージによって生じる画像アーチファクトを検出し、かつ除去するために使用される本発明の実施例のフローチャートを示す図である。
【図６】クライオＴＥＭにおけるサンプルのバブル形成（ｂｕｂｂｌｉｎｇ）によって生じる画像アーチファクトを検出し、かつ除去するために使用される本発明の実施例のフローチャートを示す図である。
【発明を実施するための形態】
【００１８】
電子顕微鏡の画像に発生する画像形成アーチファクトによって、利用価値のより低い画像となる。多くのアーチファクトは、不規則的に発生し、画像取得期間の異なる時刻における画像を比較することにより発見することができ、除去できる。一部のアーチファクトは、また、一つのフレームの異なる領域のデータを比較することによって特定することもできる。本願明細書において使用される「フレーム」の語は、単一の読み出し期間に読み出されたピクセルデータのグループを意味する。すわなち、基本的に同時に読み出されたピクセルデータのグループを意味する。フレームは、全てのピクセルから得られたデータ、又は全てのピクセルよりも少ないピクセルから得られたデータを含む。本発明の好ましい実施例において、画像が取得されている間、画像データが複数の時間にわたって検出器から読み込まれる。すなわち、単一の画像は、複数のフレームからのデータを使用して形成することができる。異なる時間の、又は、同じ時間の画像の異なる部分からの画像データを比較することにより、アーチファクトの存在を特定することができる。そして、この種のアーチファクトは取得されたデータの部分を操作して、又は、除去することによって最終画像から除去することができる。
【００１９】
例えば、サンプルのチャージングは、クライオ顕微鏡法の課題であり、かつ可視化処理の初期に発生する。データは画像取得の間、ピクセルから読み出すことができる。そして、チャージングアーチファクトのある画像データを特定することができ、かつそれを除去することができる。クライオ顕微鏡法の他の課題はバブル形成である。これは、典型的には、画像取得の終わりに発生する。本発明の実施例は、良好なサンプル画像形成条件において取得されたデータからこれらの効果を分離することを可能とする。これによって、画像のデータの品質を向上させ、科学的な利用価値を高める。
【００２０】
本発明の好ましい実施例は、ＣＭＯＳ検出器を使用する。これはＣＣＤ検出器より速い読み出しを提供し、かつ選択されたピクセルからの読み出しを可能とする。好ましい実施例における、高速な読み出し能力、特定のピクセルを読み出す能力、及びオンチップ画像処理によって、データを分析し判断をすることが、画像データが取得されているときに実行可能となる。そして、画像処理はリアルタイムで調整され、より良好な画像が提供される。
【００２１】
画像取得期間の間における読み出しデータの分析に基づいて、画像取得プロセスが継続され、変更され、あるいは終了する。例えば、取得プロセスを変更することは、取得された幾つかの又は全部の画像データを廃棄することを含んでもよい。あるいは、分析の前及び後に取得された画像を異なるメモリ位置に保存してもよい。あるいは、データ取得を終了してもよい。例えば、データが取得されている画像データが良好なデータであることを示す場合、データ取得は変更なしで継続してもよい。データ解析によって、取得されたデータが望ましくないアーチファクトを含んでいる場合、最終的な画像データからそのデータを取り除いてもよい。データ解析及び取得プロセスの変更は、画像データの取得の異なるステージで異なってもよい。例えば、データ解析は、画像取得の時期の初期で、アーチファクトを発見し、チャージングアーチファクトを含む画像データを破棄する。そして、チャージングアーチファクトが消えた後、良好なデータが蓄積され始めることであってもよい。画像取得期間の後においては、解析は、バブルを発見し、そして、バブル発生が開始されたときにシステムがデータ取得を終了させることであってもよい。本発明によって、サンプルに当たる電子からの最良の画像データを取得することができる。
【実施例】
【００２２】
図１は、本発明の好ましい実施例のフローチャートを示している。ステップ１００で、電子がサンプルに照射される。サンプルを通過した電子が、サンプルの下にある検出器のピクセルアレーに当たり、そして、チャージに変換され、当たったピクセルにチャージが保存されるステップ１０２で、１つ以上のピクセルから、保存されたチャージが「読み出され」、デジタル化される。「読み出される」とは、チャージに対応する電気的信号が、ピクセルの外の回路に提供されることを意味する。ピクセルが読み出されたときに、チャージはリセットされてもよく、あるいは、リセットされなくてもよい。電気的信号が、全てのピクセルから読み出される。あるいは、アレーの全てのピクセルよりも少ないアレーから読み出される。この読み出しのオペレーションは、好ましくは、ピクセルをベースラインにリセットすることを含んでもよい。これによって、チャージの蓄積があらためて開始される。あるいは、その後の読み出しは、前に読み出した値を減算し、最後の読み出しオペレーションから蓄積されたチャージを検出してもよい。ステップ１０４で、読まれた画像データがメモリに保存される。好ましくは、デジタルとして保存される。
【００２３】
ステップ１０６で、ステップ１０２で読まれた同じピクセルから再び情報が読み出される。その情報は、ステップ１０８において記憶される。例えば、４ｋ×４ｋピクセルアレーを含む一実施例において、データは、４０Ｈｚで読み出される。これは、２５ｍｓ毎に読み出すことになる。ステップ１０６は、ステップ１０２よりも後に実行される。したがって、情報は、ステップ１０２の後に、検出器のピクセルに当たった電子を示している。ステップ１１０で、取得された画像データの特徴を決定するために、異なる時刻に読み出され、かつメモリに保存された二つのセットのピクセルデータがプロセッサにより分析される。例えば、この分析によって、画像が画像形成アーチファクトを含んでいるか否かを特定してもよい。ある実施例においては、この分析によって、異なる時刻からのデータを表す異なるフレームからのピクセルではなく、同じフレームの異なるピクセルを比較してもよい。
【００２４】
分析の結果に基づいて、ブロック１１４で、システムは、今読み込んだデータは画像アーチファクトがないか否か、そして、最終画像を形成する蓄積されたデータに追加すべきか否かを決定する。もし、そうであれば、ステップ１１６で、「良好な」画像データを蓄積しているメモリ位置にデータが追加される。決定ブロック１１４が、データは良好な画像でないことを示している場合、すなわち、このデータが望ましくないアーチファクトを含んでいる場合、そのデータは、蓄積されている「良好な」画像データに追加されない。取得されたデータは、蓄積されたデータに追加されるか否かに関わらず、その後のデータとの比較、又は他のデータ加工及び組合せのために、別々に保存され残されてもよい。
【００２５】
決定ブロック１２０で、システムは、ステップ１１０の分析から、画像取得プロセスが終了するか否かを決定する。その場合、ステップ１２２で、電子ビームは停止し、サンプルに照射されなくなる。そして、ステップ１２４で、蓄積されたデータが、最終的な画像データとして保存される。ステップ１２０の結果が、画像取得プロセスが終了していないことを示した場合、プロセスは、ステップ１０６でデータの取得を継続する。
【００２６】
ある実施例においては、後の処理のために画像のフレームを格納することによって、処理がオフラインで実行されてもよい。ピクセルの数が大量であるために、リアルタイムで要求された計算を行うことができない場合には、これが望ましい。各フレームに必要なメモリ量を考慮すると、リアルタイムでデータをサンプルし、そして、サンプリングにおいて画像取得処理に変化が発生したときに、追加的なフレームを格納することが望ましい。このような、オフラインの処理の実施例は、更なる画像を保存するために追加的なメモリを必要とする。特にチャージングと良好なデータとの間、あるいは、良好なデータとバブル発生との間の過渡的状況に対して追加的なメモリを必要とする。
【００２７】
図２は、本発明の好ましい実施例に従った検出器システム２０４を使用した透過型電子顕微鏡（ＴＥＭ）２０２の好ましい実施例を示す。ＴＥＭ２０２は、コンデンサーレンズ、収差補正器等の付加的なコンポーネント（図示せず）を含み得る上部電子コラム２１０を有する。上部電子コラム２１０は、電子ビームを形成し、この電子ビームは、サンプル２１２を通るよう照射され、そして、フォーカシングレンズ２１４によって、複数の個々のピクセル２１８を構成するピクセルアレー２１６に焦点が集められる。一実施例において、アレーは、４，０９６×４，０９６ピクセルである。このピクセルアレーは、好ましくはＣＭＯＳモノリシックアクティブピクセルセンサである。これについては、特許文献１に記載されている。ピクセル２１８に衝突する電子は、複数の電子的なチャージを生成する。このチャージは、蓄積され、カメラ制御ユニット（ＣＣＵ）２２０によって、定期的に読み出され、電気的信号としてデジタル化される。そして、これは付加的な処理のためのカメラサポートユニット（ＣＳＵ）２２２に転送される。
【００２８】
図３は、ＣＣＵ２２０のブロック図を示している。そして、図４は、ＣＳＵ２２２のブロック図を示している。ＣＳＵ２２０は、データを読み出すための各ピクセルのスイッチを制御する行（ｒｏｗ）読み出しコントローラ３０２を含む。列（ｃｏｌｕｍｎ）コントローラ３０６は、行読み出しコントローラ３０２によってアクティベートされた行のピクセルからデータを読み出す。ピクセルの行からの電子的信号は、アナログデジタル変換器３０８によってデジタル信号に変換される。一つの実施例において、各ピクセルから読み出されたアナログデータは、ＣＣＵ２２０によって、１４ビットデジタルデータに変換される。プロセッサ３１０（例えばＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ））は、プログラムされたロジック及びＣＳＵ２２０からの命令によって、ＣＣＵ２２０のオペレーションを制御する。ＦＰＧＡは、特定のオペレーションのために必要とされるロジックをプログラムすることができる。そして、異なる機能を実行するためにプログラムすることもできる。個々の画像データのフレーム、すなわち、特定の時刻にピクセルのグループに蓄積されたチャージを示すデータは、通信インターフェース３１４を介して、高速データリンク３１２によってＣＳＵに転送される。４ｋ×４ｋピクセルのアレーは、２５ｍｓで読み出される。すなわち、約４０Ｈｚの周波数で読み出されることになる。高速データリンク３１２は、例えば、１０Ｇｂｉｔ／ｓ光リンクを含んでもよい。これは、４０Ｈｚのレートで、ピクセルあたり１４ビットダイナミックレンジの４ｋ×４ｋピクセルに対応するデータを転送することができる。要求するフレームレートで全てのピクセルデータを蓄積するために十分なデータ転送レートである限り、データロスなく、データは転送することができる。ＣＣＤピクセルと異なり、ＣＭＯＳピクセルは、全てのピクセルより少ないピクセルに蓄積されたチャージを読み出す能力がある。これは、全てのピクセルを読み出すよりもはるかに短い時間である。例えば、５１２ピクセル×５１２ピクセルの小さい領域は、約１．５ｍｓで読み出すことができる。
【００２９】
図４は、ＣＳＵ２２２を示す。これは、ＣＣＵ２２０からのピクセル情報を処理するようプログラムされたプロセッサ４０２、及びピクセルデータを格納するためのメモリ４０４を有する。プロセッサ４０２は、ＦＰＧＡを含んでもよい。データメモリ４０４は、「バッファ」と呼ばれる複数のメモリ領域に分割されてもよい。図４は、４０６Ａ、４０６Ｂ、４０６Ｃ及び４０６Ｄの４つのバッファを示している。もっとも、異なる実施例においては、これよりも多い、あるいは少ないバッファを有してもよい。各バッファは、検出器の各ピクセルに対応するメモリーロケーションを含む複数のメモリーロケーションを有している。メモリーロケーションは、ある時刻にピクセルから読み出された値を格納するために用いられ得る。メモリーロケーションは、複数の読み出しによって蓄積されたデータを格納するために用いられてもよい。あるいは、対応する各ピクセルの計算結果、例えば、ピクセルの移動平均、又はピクセルの周辺のピクセルとの平均値が挙げられる。異なるバッファのコンテンツは結合されてもよい。例えば、平均、乗算、除算が挙げられる。
【００３０】
ＦＰＧＡは、ＣＣＵからの全てのデータ又は、異なる時刻の特定のピクセルのサブセットのデータを取得するためにプログラムされてもよい。比較の結果によって、ＣＳＵは、バッファの一つのデータを捨てるようにプログラムされてもよい。あるいは、第３のバッファの良好な画像データと結合されるようプログラムされてもよい。その他のデータの操作としては、ダークフレーム校正（ｄａｒｋ ｆｒａｍｅ ｃｏｒｒｅｃｔｉｏｎｓ）、ゲイン線形化、合算された最終的なカメラ画像にするための複数の画像の加算が挙げられる。ダークフレーム校正においては、電子ビームがサンプルに当てられていないときのピクセルから読み出されたデータを、一つのバッファに格納する。ここでの「ノイズ」は、「ダークフレーム」ノイズと呼ばれる。そして、このダークフレームノイズは、各フレーム又は最終的な画像データから減算される。ゲイン線形化とは、二つの電子がピクセルに衝突する信号が、一つの電子がピクセルに衝突する信号の二倍になるように信号を調節することを言う。
【００３１】
ＣＳＵ２２２は、ＴＥＭコンピュータ２３０（図２）によって制御される。ＴＥＭコンピュータ２３０は、ＴＥＭ２０２も制御する。データは、通信インターフェース４１０を介して通信リンク４１２によって、ＣＳＵからＴＥＭコンピュータ２３０に転送される。例えば、通信リンク４１２は、１Ｇｂｉｔ／ｓ又は１０Ｇｂｉｔ／ｓのレートで動作するイーサネット（登録商標）接続が挙げられる。ユーザインターフェース２３２は、ユーザに対して画像を表示し、ＴＥＭ２０２のオペレーション及び検出器システム２０４に関するユーザからの命令を受け入れる。
【００３２】
本発明の一つの実施例は、チャージのアーチファクトを排除する。試料に衝突する第１の電子は、モバイル電子正孔対を生成する。この試料は（液体窒素、又は液体ヘリウム温度のいずれであっても）、通常十分に導通する。このため、モバイルチャージキャリヤは、互いに押しのけ、検出器アレーの角に退いてしまう。サンプルが置かれたグリッドは絶縁体であり、したがって、チャージは、サンプルの角に蓄積する。画像は、蓄積された静的チャージによって生じる、検出器の角における著しい縞（ｓｔｒｅａｋｉｎｇ）を呈する。短い時間の後、通常は３０ｍｓで、電子ビームの衝突によって生成される二次電子が、チャージを中性化し、アーチファクトは消失する。
【００３３】
一つの実施例は、各々の取得されたデータの、第２の主要部分から、及び第３の最終部分から、第１の部分を分離するため、３つのバッファを使用する。第１の部分は、チャージングアーチファクトを含む。最後の部分は、バブルアーチファクトを含む。主要部分は、画像を生成するための最良のデータを含む。
【００３４】
図５は、本発明の実施例のフローチャートを示し、最初の試料のチャージを検出し、チャージングアーチファクトを回避した画像を生成する。ステップ５０２において、画像の一つの角の複数のピクセル、例えば、５１２ピクセル×５１２ピクセルの角は、ＣＣＵにより読み出され、ＣＳＵに転送される。ある実施例においては、複数の角が読み出されてもよい。ステップ５０４で、ＣＳＵは、画像データを第１のバッファに格納する。
【００３５】
ステップ５０６で、ＣＣＵは、ステップ５０２において角のピクセルの第１のセットが読み出された時刻よりも後の時刻における、同じ角からのピクセルデータの第２のセットを読み出す。一つの角の複数のピクセルだけが読み出されるため、データは、ピクセルから迅速に取り出される。５１２ピクセル×５１２ピクセルの角の領域の複数のピクセルは約１．５ｍｓで読み出される。ステップ５０８で、ＣＳＵは、データを第２のバッファに格納する。
【００３６】
ステップ５１０で、二つのデータバッファのデータが比較され、データが安定したか否かが判断される。ステップ５１０では、画像が安定しているときを判断するために、様々な技術が用いられる。例えば、二次元の相互相関は、時系列的な画像に実行することができる。画像が安定すると、時系列的なフレームは相関が高くなる。あるいは、ｘ方向とｙ方向の画像のコンテンツが投影され、二つの一次元相関が実行される。このような相関は、例えば、Ｃａｉｎ他の“Ｐｒｏｊｅｃｔｉｏｎ−Ｂａｓｅｄ Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ ｉｎ ｔｈｅ Ｐｒｅｓｅｎｃｅ ｏｆ Ｆｉｘｅｄ−Ｐａｔｔｅｒｎ Ｎｏｉｓｅ”ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．１０，Ｎｏ．１２，ｐ．１８６０（２００１）に記載されている。Ｃａｉｎ他は、画像が固定パターンのノイズを持つ場合（これは、ＣＣＵのバイアスが校正されておらず、かつ、ゲインが線形でないときの画像の場合）、一次元相関が優れていると言及している。あるいは、サンプルがチャージされていることを示すシフトを判断するために単純な減算が利用され得る。その他の方策としては、チャージングの終わりを検出するために、角の画像の統計（例えば平均及び分散）の変化が利用される。
【００３７】
判断ブロック５１２で、ステップ５１０の分析に基づいて、システムは、画像が安定しているか否かを判断する。すなわち、これは、チャージが終了したか否かを判断する。もし、画像が安定していない場合、このプロセスは、ステップ５０６から繰り返される。ステップ５０６で、新しいデータセットが角のピクセルから読み出される毎に、新しいデータすなわち最も最近のピクセルデータ及び次に最も最近のピクセルデータの相関が実行される。あるいは、最近のデータが、１つ以上の以前に読み出され蓄積されたデータと比較される。あるいは、例えば、以前の読み出されたデータの平均又は積算と比較される。
【００３８】
判断ブロック５１２における相関で、チャージングが終了したと判断された場合、ＣＳＵは、ステップ５１４において、「良好な画像データバッファ」にデータを蓄積し始める。現在蓄積されているデータは、正確な画像データであり、基本的にチャージングアーチファクトのないものである。以降のピクセルデータのセットの各々は、好ましくは、４ｋ×４ｋピクセルアレーから２５ｍｓ毎に読み出されたピクセルデータのセットであり、画像取得期間において、良好な画像データのバッファの以前のデータに加算される。画像取得が完了すると、蓄積されたデータが最終画像となる。画像処理は、予め定められた時間の後に完了する。これは、十分な数の電子がサンプルを通過し、あるいは、ピクセルから読み出された画像の分析によって、読み出されているデータがアーチファクトを含み始めることを示し始めているときである。ある実施例において、図６に示し後述するように、画像データは、他のアーチファクトのために継続してモニターされる。例えば、バブル形成である。そして、画像取得は、バブル形成が開始したときに終了する。
【００３９】
他の実施例において、チャージングアーチファクトを回避するために、特定の時間間隔（例えば３０ｍｓ）の後に、チャージングの終了を仮定する。そして、最初の３０ｍｓにおけるデータは、第１のバッファに格納され、その後のデータは、第２のバッファに格納される。この実施例は、単純であるが、良好な画像データを落としてしまったり、チャージングアーチファクトを含む幾つかのデータを含んでしまったりすることがある。
【００４０】
図６は、バブル形成のオンセット（開始：ｏｎｓｅｔ）を検出するために利用される、本発明の実施例のフローチャートを示す。バブル形成の開始の速さは、ある程度、サンプル及び電子ビームの電流に依存する。バブル形成は、通常、サンプルの局所的影響により発生し、この影響が画像全体に広がる。一部の異なった、予期不能な場所で、バブル形成の開始のときに、画像が典型的にシャープなスパイクの明るさを呈する。これらの明るさのスパイクは、幾つかの分析アルゴリズムによって検出できる。プロセッサは、バブル形成の影響を特に検出する局所的フィルタ（ｌｏｃａｌ ｆｉｌｔｅｒ）を適用する。チャージングが終了したか否かを検出することと同様に、バブル形成が開始されたか否かを検出するための、データを検討し、収集し、かつ分析する多くの方法が存在する。本発明は、このような特定のいかなるアルゴリズムにも限定されない。
【００４１】
図６は、バブル形成が開始されたか否かを検出する方法を示している。ステップ６０２で、全てのピクセル又は、代表のピクセルからデータが読み出され、バッファに格納される。ステップ６０４で、システムは、各ピクセルの近隣のピクセルの局所的グループの平均及び分散を計算する。そして、計算された値をバッファに格納する。例えば、ステップ６０２で、各ピクセルを中心とする７ピクセル×７ピクセルのブロックの平均及び分散を計算してもよい。ある実施例において、計算は、全てのピクセルに対してではなく、画像の代表のピクセルに対してだけ実行される。
【００４２】
ステップ６０６において、ピクセルアレーから第２のデータのセットが読み込まれ、異なるバッファに格納される。ステップ６０８において、システムは、ステップ６０４と同じ手順によって、第２のデータのセットにおける各ピクセルの近隣の局所的平均及び分散を計算する。ステップ６１０で、システムは、二つの異なるフレームから計算された平均及び分散を比較し、平均及び分散の変化が、大きな局所的な変化を示しているか否かを判断する。これは、バブル形成の始まりを示している。
【００４３】
４，０９６×４，０９６ピクセルのアレーの７×７フレームの各々を比較することは、計算量が膨大になる。大規模なＴＥＭ画像の処理のためのアルゴリズムは、例えば、Ｚｈｕ，Ｙ他の “Ａｕｔｏｍａｔｉｃ ｐａｒｔｉｃｌｅ ｓｅｌｅｃｔｉｏｎ：ｒｅｓｕｌｔｓ ｏｆ ａ ｃｏｍｐａｒａｔｉｖｅ ｓｔｕｄｙ，”Ｊｏｕｒｎａｌ ｏｆ Ｓｔｒｕｃｔｕｒａｌ Ｂｉｏｌｏｇｙ １４５（２００４）３−１４、Ｒｏｓｅｍａｎ，Ａ．Ｍ，２００３，“Ｐａｒｔｉｃｌｅ ｆｉｎｄｉｎｇ ｉｎ ｅｌｅｃｔｒｏｎ ｍｉｃｒｏｇｒａｐｈｓ ｕｓｉｎｇ ａ ｆａｓｔ ｌｏｃａｌ ｃｏｒｒｅｌａｔｉｏｎ ａｌｇｏｒｉｔｈｍ，”Ｕｌｔｒａｍｉｃｒｏｓｃｏｐｙ ９４，２２５−２３６（２００３）、及び Ｒｏｓｅｍａｎ，Ａ．Ｍ，“ＦｉｎｄＥＭ−ａ ｆａｓｔ，ｅｆｆｉｃｉｅｎｔ ｐｒｏｇｒａｍ ｆｏｒ ａｕｔｏｍａｔｉｃ ｓｅｌｅｃｔｉｏｎ ｏｆ ｐａｒｔｉｃｌｅｓ ｆｒｏｍ ｅｌｅｃｔｒｏｎ ｍｉｃｒｏｇｒａｐｈｓ，”Ｊｏｕｒｎａｌ ｏｆ Ｓｔｒｕｃｔｕｒａｌ Ｂｉｏｌｏｇｙ（２００４）に開示されている。Ｒｏｓｅｍａｎにより記述されたアルゴリズムは、３つのフーリエ変換を使用し、７×７のマスクを提供する。
【００４４】
バブル形成が開始されたか否かを判断する他の方法として、ビデオ処理として知られているテクスチャ分析方法が使用される。この方法は、例えば、Ｃ．Ｈ．Ｃｈｅｎ他の，Ｔｈｅ Ｈａｎｄｂｏｏｋ ｏｆ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，（２ｎｄ Ｅｄｉｔｉｏｎ）Ｗｏｒｌｄ Ｓｃｉｅｎｔｉｆｉｃ Ｐｕｂｌｉｓｈｉｎｇ Ｃｏ１９９８に記載されている。特に、Ｇｂｏｒフィルタが利用できる。
【００４５】
この処理は、処理の前にデータがリバインド（ｒｅ−ｂｉｎｎｅｄ）されれば、高速化される。すなわち、例えば９ピクセルの正方形の複数のピクセルは、結合され、解像度の低いピクセルとして、一つとして取り扱われる場合である。例えば、ＣＣＵは、４ピクセル×４ピクセルのグループを一つのピクセルとして扱う。そうすれば、アレーは、４ｋ×４ｋではなく、１ｋ×１ｋとなる。これは、付随的に必要とする計算の数を減少させる。バブル形成を検出するためのデータ分析の他の方法としては、現在のフレームと、１つ以上の以前のフレームとの局所的（ｌｏｃａｌ）な相互相関を実行することである。これについても、Ｒｏｓｅｍａｎの論文に記載されている。そして、相関係数の変化を観察する。
【００４６】
決定ブロック６１２で、ステップ６１０での比較が、バブル形成が開始されていないと判断される場合、ステップ６１４で、最も最近に取得されたデータが、良好な画像データバッファに蓄積された画像データに追加される。この最も最近に取得されたデータは、次のデータの比較のために保持される。本方法は、ステップ６０６から繰り返される。新しいデータセットを読み出し、平均及び分散を計算し、そして、各々のデータセットに対して計算された値と、以前のデータセットで計算された値とが比較される。新しい画像データは、好ましくは４０Ｈｚのレートで取得される。判断ブロック６１２で、バブル形成が廃止されたことが示されると、ステップ６１６で、最も最近に取得されたデータは、破棄される。そして、ステップ６１８で、良好な画像データバッファに格納された画像データが、最終的な画像データとなる。
【００４７】
本発明によって検出され修正することができるその他のアーチファクトは、ドリフト（ｄｒｉｆｔ）である。時間と共に、検出器上で、画像がシフトすることがある。例えば、少しの温度の変化によって、電子ビームのカラムのビーム位置がシフトする。システムの振動、あるいはカラムの電圧及び電流の不安定性によって、ドリフトが発生する。一つの実施例において、フレームは４０Ｈｚで読み出され、ドリフトを検出するために、以前のフレームと相関が取られる。これは、２０Ｈｚより低い周波数のドリフト又は振動の影響を取り除くことができる。このようなフレーム相関は、フレーム間の相関を取るためにサンプルに明瞭な特徴がある場合であって、電子がサンプルに当たる数が比較的大きい場合にはよく機能する。フレーム相関は、走査型電子顕微鏡の画像に用いられてきた。フレーム相関アルゴリズムは、例えば、上述のＲｏｓｅｍａｎの論文に記載されている。フレーム相関は、ピクセル間隔よりも大きな間隔のドリフトを補償する技術である。
【００４８】
本発明は、少ない電子数の画像（ｌｏｗ ｄｏｓｅ ｉｍａｇｅ）において特に有効な全く新たな取得方法に用いられる能力を提供する。検出器から得られる「良好な品質」の画像に比べて、チャージング及びバブル形成は、速い強度の差を示す。このような小さな変化を検出するための高速な画像処理技術を適用することによって、アーチファクトを回避し、画像の取得を開始及び停止するために、試料の変化及びビームによるダメージを検出することができる。
【００４９】
本発明の実施例によって、取得されたデータに基づきリアルタイムで適合するための画像取得プロセスが実現できる。画像データのリアルタイムでの分析に基づく修正としては、取得の時間、関心領域、バイニングモードの変更が挙げられる。分析は、利用できる処理パワー及びメモリにのみ制限される。
【００５０】
上述の実施例は、周期的に読み出されたチャージを蓄積するアクティブピクセルセンサを使用して記述されており、他の実施例では、電子の衝突が電気的信号を生成し、予め定められたフレーム期間を待つことなく、これはピクセルから迅速に転送される。本発明は、従来の透過型電子顕微鏡に適用した形で記載されているが、本発明は、走査型電子顕微鏡にも適用できるものである。
【００５１】
本発明及びその有利な効果を記載したが、添付の請求項に定義された本発明の精神及び技術的範囲から離れずに、本明細書に記載した実施例に対する様々な変更、置き換え、改変ができることは言うまでもない。更に、本出願の範囲は、明細書に記載した、プロセス、機械、製品、製造物、手段、方法、ステップに係る特定の実施例に限定されるものではない。当業者は、本発明の開示から、プロセス、機械、製品、製造物、手段、方法、ステップであって、現在又は将来開発される、本発明と実質同様の機能、又は結果を奏するものは、対応するここに開示した実施例として、本発明に従って利用することができる。したがって、添付の請求項は、そのようなプロセス、機械、製品、製造物、手段、方法、ステップを、その技術的範囲に包含するものである。
【特許請求の範囲】
【請求項１】
透過型電子顕微鏡のための検出器システムであって：
画像処理期間に衝突する電子を電気信号に変換するためのピクセルのアレーと；
画像取得期間の間に異なる時刻に前記アレーの１つ以上のピクセルによって取得されたデータを格納するための複数のデータ格納領域を含む第１のコンピュータメモリと；
画像取得期間の間に異なる時刻に前記アレーの１以上の前記ピクセルからデータを分析し、前記分析の結果に基づいて、前記画像が取得されている間に、前記画像取得のプロセスを変更するようプログラムされたプロセッサと；
を有する検出器システム。
【請求項２】
前記プロセッサは、サンプルチャージングの影響を示す画像か否かを判断するために、前記アレーの全てのピクセルよりも少ないピクセルから、異なる時刻において読み出されたデータを比較するようプログラムされた、請求項１記載の検出器システム。
【請求項３】
前記プロセッサは、バブル形成の影響を示す画像か否かを判断するために、前記アレーのピクセルから、異なる時刻において読み出されたデータを比較するようプログラムされた、請求項１記載の検出器システム。
【請求項４】
前記プロセッサは、バブル形成が存在することを示す明るさの局所的増加を発見するために、画像取得期間の第１の部分の間に取得された前記データを、画像取得期間の後の部分の間に取得されたデータと比較する、請求項１記載の検出器システム。
【請求項５】
前記ピクセルは、ＣＭＯＳアクティブピクセルセンサを含む、請求項１記載の検出器システム。
【請求項６】
透過型電子顕微鏡を用いて画像を形成する方法であって、
サンプルに電子ビームを当てるステップと；
前記サンプルを通過した電子を検出するための複数のピクセルを含む検出器を提供するステップと；
画像取得期間の間に複数のピクセルの１つ以上からデータを得るステップと；
前記画像取得期間の間に前記１つ以上のピクセルから得られた前記データを分析するステップと；
前記分析の結果から前記画像取得のプロセスを変更するステップと；
を有する方法。
【請求項７】
画像取得期間の間に前記複数のピクセルの１つ以上からデータを得るステップは、前記画像取得期間の間に複数の時刻に１つ以上のピクセルからデータを得るステップと、異なる時刻の１つ以上のピクセルから得られた値を比較するステップと、を含む請求項６記載の方法。
【請求項８】
前記複数の時刻に１つ以上のピクセルからデータを得るステップは、少なくとも１００ｍｓ毎に全てのピクセルの値を読み出すステップ、を含む請求項７記載の方法。
【請求項９】
前記複数の時刻に１つ以上のピクセルからデータを得るステップは、前記画像がサンプルのチャージングにより影響を受けているか否かを検出するために、前記画像の１つの角のピクセルの値を読み出すステップ、を含む請求項７記載の方法。
【請求項１０】
前記複数の時刻に１つ以上のピクセルからデータを得るステップは、前記画像がバブル形成により影響を受けているか否かを検出するために、全てのピクセルの値を読み出すステップ、を含む請求項７記載の方法。
【請求項１１】
前記異なる時刻の１つ以上のピクセルから得られた値を比較するステップは、個々のピクセルを囲む局所領域の統計を比較するステップ、を含む請求項７記載の方法。
【請求項１２】
前記分析の結果から前記画像取得のプロセスを変更するステップは、画像形成アーチファクトを含むデータを破棄するステップ、を含む請求項７記載の方法。
【請求項１３】
前記分析の結果から前記画像取得のプロセスを変更するステップは、ドリフトを訂正するために、画像データを修正するステップ、を含む請求項７記載の方法。
【請求項１４】
電子のソースと；
前記電子をサンプルの方向に向けるための電子光カラムと；
請求項１記載の電子検出器と；
を有する透過型電子顕微鏡。
【請求項１】
透過型電子顕微鏡のための検出器システムであって：
画像処理期間に衝突する電子を電気信号に変換するためのピクセルのアレーと；
画像取得期間の間に異なる時刻に前記アレーの１つ以上のピクセルによって取得されたデータを格納するための複数のデータ格納領域を含む第１のコンピュータメモリと；
画像取得期間の間に異なる時刻に前記アレーの１以上の前記ピクセルからデータを分析し、前記分析の結果に基づいて、前記画像が取得されている間に、前記画像取得のプロセスを変更するようプログラムされたプロセッサと；
を有する検出器システム。
【請求項２】
前記プロセッサは、サンプルチャージングの影響を示す画像か否かを判断するために、前記アレーの全てのピクセルよりも少ないピクセルから、異なる時刻において読み出されたデータを比較するようプログラムされた、請求項１記載の検出器システム。
【請求項３】
前記プロセッサは、バブル形成の影響を示す画像か否かを判断するために、前記アレーのピクセルから、異なる時刻において読み出されたデータを比較するようプログラムされた、請求項１記載の検出器システム。
【請求項４】
前記プロセッサは、バブル形成が存在することを示す明るさの局所的増加を発見するために、画像取得期間の第１の部分の間に取得された前記データを、画像取得期間の後の部分の間に取得されたデータと比較する、請求項１記載の検出器システム。
【請求項５】
前記ピクセルは、ＣＭＯＳアクティブピクセルセンサを含む、請求項１記載の検出器システム。
【請求項６】
透過型電子顕微鏡を用いて画像を形成する方法であって、
サンプルに電子ビームを当てるステップと；
前記サンプルを通過した電子を検出するための複数のピクセルを含む検出器を提供するステップと；
画像取得期間の間に複数のピクセルの１つ以上からデータを得るステップと；
前記画像取得期間の間に前記１つ以上のピクセルから得られた前記データを分析するステップと；
前記分析の結果から前記画像取得のプロセスを変更するステップと；
を有する方法。
【請求項７】
画像取得期間の間に前記複数のピクセルの１つ以上からデータを得るステップは、前記画像取得期間の間に複数の時刻に１つ以上のピクセルからデータを得るステップと、異なる時刻の１つ以上のピクセルから得られた値を比較するステップと、を含む請求項６記載の方法。
【請求項８】
前記複数の時刻に１つ以上のピクセルからデータを得るステップは、少なくとも１００ｍｓ毎に全てのピクセルの値を読み出すステップ、を含む請求項７記載の方法。
【請求項９】
前記複数の時刻に１つ以上のピクセルからデータを得るステップは、前記画像がサンプルのチャージングにより影響を受けているか否かを検出するために、前記画像の１つの角のピクセルの値を読み出すステップ、を含む請求項７記載の方法。
【請求項１０】
前記複数の時刻に１つ以上のピクセルからデータを得るステップは、前記画像がバブル形成により影響を受けているか否かを検出するために、全てのピクセルの値を読み出すステップ、を含む請求項７記載の方法。
【請求項１１】
前記異なる時刻の１つ以上のピクセルから得られた値を比較するステップは、個々のピクセルを囲む局所領域の統計を比較するステップ、を含む請求項７記載の方法。
【請求項１２】
前記分析の結果から前記画像取得のプロセスを変更するステップは、画像形成アーチファクトを含むデータを破棄するステップ、を含む請求項７記載の方法。
【請求項１３】
前記分析の結果から前記画像取得のプロセスを変更するステップは、ドリフトを訂正するために、画像データを修正するステップ、を含む請求項７記載の方法。
【請求項１４】
電子のソースと；
前記電子をサンプルの方向に向けるための電子光カラムと；
請求項１記載の電子検出器と；
を有する透過型電子顕微鏡。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−４９１２９（Ｐ２０１２−４９１２９Ａ）
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【出願番号】特願２０１１−１８１２６２（Ｐ２０１１−１８１２６２）
【出願日】平成２３年８月２３日（２０１１．８．２３）
【出願人】（５０１２３３５３６）エフ イー アイ カンパニ (87)
【氏名又は名称原語表記】ＦＥＩ ＣＯＭＰＡＮＹ
【住所又は居所原語表記】７４５１ ＮＷ Ｅｖｅｒｇｒｅｅｎ Ｐａｒｋｗａｙ， Ｈｉｌｌｓｂｏｒｏ， ＯＲ ９７１２４−５８３０ ＵＳＡ
【Ｆターム（参考）】
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【出願日】平成２３年８月２３日（２０１１．８．２３）
【出願人】（５０１２３３５３６）エフ イー アイ カンパニ (87)
【氏名又は名称原語表記】ＦＥＩ ＣＯＭＰＡＮＹ
【住所又は居所原語表記】７４５１ ＮＷ Ｅｖｅｒｇｒｅｅｎ Ｐａｒｋｗａｙ， Ｈｉｌｌｓｂｏｒｏ， ＯＲ ９７１２４−５８３０ ＵＳＡ
【Ｆターム（参考）】
[ Back to top ]