説明

連続するビュー間で発生する物体検出器(OBJECT−DETECTOR)の相対的な運動(MOTION)を補正(CORRECTION)する方法

3次元における光断層イメージングのための運動補正の方法を開示する。対象となる物体(1)が照光され、イメージが作成される(111)。イメージの水平方向のオフセット補正値が決定される(114)。イメージの軸方向のオフセットの補正値が決定される(115)。イメージに水平方向のオフセット補正値と軸方向のオフセット補正値が適用され、補正されたファイル・イメージが作成される(116)。

【発明の詳細な説明】
【技術分野】
【0001】
本出願は、参照により本明細書に組み込まれている、2002年4月19日にNelsonによって出願された同時係属中の米国特許出願第10/126,026号「Variable Motion Optical Tomography of Small Objects」の一部継続出願(CIP)である。
【0002】
本発明は、イメージングに関し、より詳細には、通常は様々な位置からの連続するビューを必要とし、各ビューは3次元の物体の2次元投影または偽図法を表すイメージング・システムにおける物体検出器の相対的な運動の検出と補正に関する。
【背景技術】
【0003】
光学投影断層顕微鏡(OPTM:optical projection tomographic microscopy)システムは、内径40ミクロン、外径150ミクロンの微小毛細血管内の流体媒質に埋め込まれた生物学的な細胞とその核などの顕微鏡対象物の高解像度イメージングに適している。OPTMは、それぞれが物体とその格納容器を光軸に垂直で微小毛細血管の軸に平行な軸のまわりに回転させて得られた複数のビューを使用する。M×N型のピクセルの配列で構成されたCCDイメージ・センサーを備えるカメラは、物体と結像光学系(imaging optics)を通過した光をキャプチャし、CCD上に視野(FOV:field of view)の拡大イメージを作成する。各ビューは異なる視野からとらえられているので、各ビューの内容は他のビューとは異なっている。
【0004】
コンポーネントのサイズが極端に小さいために、検出器のFOVの中心に回転の軸(通常は微小毛細血管の中心軸に一致する)を配置するのが非常に難しくなる可能性がある。微小毛細血管を回転させるときに静止した状態にしておくのは、さらに困難である。また、ビュー間で細胞自体が管の軸に沿って移動する可能性がある。結果として、各ビューは管の回転によってすでに変更されているが、さらに軸方向(微小毛細血管の軸に平行)と水平方向(光軸と管の軸に垂直)の両方の軸方向に平行移動(translation)が発生している可能性がある。こうした水平方向の平行移動は、回転軸上にない物体に対してすでに存在している平行移動に追加される。
【0005】
したがって、3次元の正確な再構成を得るには、フィルタ逆投影法を使用するかその他の手段を使用するかにかかわらず、ビューごとの視野の変更によらない軸方向の運動と水平方向の運動の部分に関して補正する必要がある。さらに、検出器のFOVのどこに回転の軸があるかを確認する必要もある。
【0006】
Nowakが所有する米国特許4,858,128号では、連続するシーンが、まず1本の軸内で、次にもう1本の軸内で、独立して相互に相関する方法について説明している。2つの相関の最大値の位置によって、2本の軸に必要なオフセットが決まる。前述の方法には、視野の変更による「本来の(natural)」水平方向の平行移動と微小毛細血管の平行移動による「誤った(erroneous)」水平方向の平行移動とを区別する手段がない。Nowakの特許は、「こうした信号のバックグラウンド・コンポーネントを推定し、その推定をイメージ・データから差し引くことは有効な場合がある」ことを教示している。
【0007】
William H.Press et al.、Numerical Recipes in C:The Art of Scientific Computing、Cambridge University Press;2nd edition(January 1、1993)では、高速フーリエ変換(FFT:fast Fourier transforms)を使用した2つのデータ配列間の相互相関の技術をコンピュータ・プログラムによって実装する手段について説明している。手短に言えば、2つのデータ配列(イメージ・データなど)の相互相関は、各配列にFFTを適用し、得られた配列の一方に他方の複素共役をかけ、この結果にさらに逆FFTを適用することによって求めることができる。
【特許文献1】米国特許出願第10/126,026号
【特許文献2】米国特許4,858,128号
【非特許文献1】William H.Press et al.、Numerical Recipes in C:The Art of Scientific Computing、Cambridge University Press;2nd edition(January 1、1993)
【発明の開示】
【発明が解決しようとする課題】
【0008】
最新技術の現在の欠点を克服するために、本発明の1つの目的は、マルチビュー・イメージング・システムにおいてビューごとに微小毛細血管の中心軸の位置を検出する方法を提供することである。本発明のもう1つの目的は、マルチビュー・イメージング・システムにおいて、連続するビュー間の物体検出器の相対的な運動を検出する方法を提供することである。本発明のもう1つの目的は、イメージ・データを補正することによってイメージ・データを収集する間に生じる物体の運動による誤差を除去する方法を提供することである。本発明のさらにもう1つの目的は、物体の軸方向の切片に続く断層再構成を行うための物体の投影または偽図法によるビューを表す複数のX−Yデータの行列を作成するタイプのイメージング・システムを提供することである。検出された運動は、後のデータを前のデータに合わせて適切にシフトすることによって、またはその逆によって除去できる。
【課題を解決するための手段】
【0009】
本発明は、3次元における光断層イメージングのための運動補正の装置および方法を提供する。対象となる物体は、照光され、イメージが作成される。イメージの水平方向のオフセット補正値が決定される。イメージの軸方向のオフセット補正値が決定される。水平方向のオフセット補正値と軸方向のオフセット補正値がイメージに適用され、補正されたファイル・イメージが作成される。
【0010】
本発明の新しい機能は、添付の特許請求の範囲に詳細に示されているが、本発明は、以下の発明を実施するための最良の形態と後で説明する図面を組み合わせて参照することで、機構と内容の両方について、その他の目的および機能とともによりよく理解され、評価されるであろう。
【発明を実施するための最良の形態】
【0011】
本発明は、本明細書では生物学的な細胞に関連する特定の例について説明されているが、このような例が本発明の原理の説明を目的とすること、および本発明がそれに限定されないことは理解されるであろう。本発明は、例えばX線CT(computed tomography)イメージングなど、他のタイプのイメージング・システムに使用されてもよいが、説明を具体的なものにするために、以下の開示は光投影断層顕微鏡(OPTM)システムの環境で本発明を使用する場合を対象とする。
【0012】
以下の説明では、数値の例を示す場合に次の仮定が適用される。
1.各イメージは、幅640ピクセル、高さ480ピクセルで構成される。
2.各ピクセルには、8シングル・ビット(グレー・レベル0〜255)の輝度値が含まれる。
3.微小毛細血管を使用するOPTMに関連して、管の軸は短軸(480ピクセル)に平行である。
4.微小毛細血管を使用するOPTMに関連して、管壁分離(tube wall separation)は530ピクセルである。
5.水平方向のオフセットを求めるときに使用するビンの数(B1)は20である。
6.軸方向のオフセットを求めるときに使用するビンの数(B2)は2である。
7.配列は、1024×1024個のピクセルにゼロが埋め込まれている。
【0013】
以上の数値は説明を目的とするものにすぎないこと、すなわち他の数値を使用しても本発明の特性を損なわないことを理解されたい。
【0014】
ここで図1を参照すると、本発明の教示に従って構築された連続するビュー間で物体検出器の相対的な運動を補正する方法の例示的な実施形態を示す機能ブロック図が示されている。例示的な実施形態では、各イメージの変更されたコピーが生成され、ここで最も輝度の高いピクセルが輝度レベル0に割り当て変更され、他のピクセルはすべて最初のイメージと同じ輝度に維持される。次に、このしきい値化されたイメージの2次元の(2D)FFTに、ピクセルごとに参照イメージの2次元FFTの複素共役がかけられる。次に、得られる配列の輝度は微小毛細血管の軸(以下Y軸と呼ぶ)に平行な各行に沿って合計され、光軸および微小毛細血管の軸に垂直な方向(以下X軸と呼ぶ)の輝度パターンに関する情報を含む1次元(1D)配列が得られる。さらに1次元FFTが適用され、最大値の位置が決定される。この位置によって、微小毛細血管の中心軸のイメージをイメージ内の任意の位置に移動するためにX軸方向に適用されるオフセットの量が決定される。
【0015】
参照イメージは、微小毛細血管壁の分離の不変性を利用しており、取得されたイメージ内で検出された既知の量ごとに分離された最も輝度の高い2本の線で構成され、参照イメージの残りの部分は輝度がゼロである。偽図法のイメージでは、管壁の屈折の兆候が管内部および管とスライド/カバースリップ・アセンブリとの間の素材と一致するため、管壁はぼんやりとしか表示されない。ヒストグラム操作の効果は、管壁とその他のイメージとのコントラストを上げることである。事前に指定された管壁分離を使用すると、イメージのX軸に沿った既知のピクセル数と組み合わせることで、管自体の動きと管の回転とその結果としての視野の変更による管内部の物体の動きとを区別できるようになる。不変のフィーチャ(constant feature)に基づいて2つのイメージを相互相関させることによって、本発明の方法は細胞内の変化するフィーチャの動きを追跡する可能性を最小化する。
【0016】
相互相関の方法を使用することによって、Y軸からの軸方向のオフセットの量が決定される。そのために、元のイメージのコピーが再度しきい値化されるが、どのピクセルが輝度ゼロに設定変更されるかを決定するために異なる基準を使用する。このイメージに2次元FFTが適用され、ピクセルごとに直前のビューから得られるしきい値化されたイメージの2次元FFTの複素共役がかけられる。この結果に2次元FFTが適用され、現在のイメージの水平方向の補正と直前のイメージの水平方向の補正との差に対応する行に沿った相互相関関数の最大値としてX軸のオフセットが決定される。これは従来の方法と異なる点であり、この方法ではX軸のオフセットはY軸のオフセットによって制約を受ける。つまり、Y軸のオフセットと無関係には決定されない。
【0017】
軸方向の補正は、水平方向の補正とは異なり、反復処理なので累積誤差が発生する。ただし、軸方向の相互相関関数は、連続するイメージ間で視野が大幅に変更されない限り、つまり、視野の変更が回転における小さな角度の増加に対応する限り、効果的に機能する。角度の増加を小さく維持することによって、空間の内容が大幅には変化しないので、相互相関によって各イメージ内の類似のフィーチャを追跡できる。角度の増加は3次元断層再構成の水平方向の解像度も決定するので、相互相関が適切に機能できるように角度の増加を小さく維持するという要件は厄介なものではない。
【0018】
手短かに言えば、本発明のこの実施形態は、後続のイメージを適切にシフトして前のイメージに合わせることによって、またはその逆の操作によって、微小毛細血管による軸方向と水平方向の動きの影響を除去する。相互相関の方法を使用して、まず水平方向の軸上、次に管の軸上のオフセットを検出するが、水平方向の動きが決定した後で必ず軸方向の動きの相関が最大になるという制約を伴う。
【0019】
まず、工程111でテンプレート・イメージが生成される。2本の白線(例えば、グレースケール・レベル65、535)は、それぞれの理想的な位置に作成される。各線は長さ480ピクセルであり、イメージの短辺に平行に伸びている。2本の線の位置は、イメージの長辺の次元(640ピクセル)と管壁分離(実験的に530ピクセルと決定)によって決定される。第1の線は行0に配置され、第2の線は行530に配置される。この実施形態では、テンプレート・イメージのサイズは640×480から1024×1024まで拡張でき、両方の次元にゼロが埋め込まれるが、この操作は本発明に必須ではない。
【0020】
2次元FFTはテンプレート・イメージについて実行され、実部と虚部は結果として得られる配列の交互の添え字に保存される。このようにして、ゼロが埋め込まれた配列では、配列のサイズは2048×1024である。これで、テンプレート・イメージは使用可能な形式になる。
【0021】
工程114で、水平方向のオフセットが求められる。工程114では、背景のピクセルを黒く塗りつぶすためにイメージがしきい値化され、次に2つの輝線の2進のイメージとの相互相関が求められる。対象となるイメージについて、水平方向のオフセットが決定される(114)。軸方向の補正で使用するために、イメージごとにDLATが保存される。
【0022】
ここで図2を参照すると、図1で説明された例示的な実施形態を使用するイメージング・システムの水平方向の補正部分を示す機能ブロック図が示されている。水平方向のオフセットの算出に関連する工程114には、イメージのグレースケール・ヒストグラムを作成する工程が含まれており、ここでビンの数(B1)を2〜255の任意の整数に設定できる。この例では、B1=20と仮定される。ピクセル数が最大のビンが検出され(最も暗いピクセルに対応する最初のビンを除く)、元のイメージ内でグレースケール値がこのビンと同じかまたはそれを超えるすべてのピクセルは元のイメージのコピーではゼロに設定される。この手順21の効果は、背景のピクセルをこれ以降の考察の対象から除外し、しきい値化されたイメージを作成することである。
【0023】
例として、入力イメージの最大と最小のグレースケール値がそれぞれ31と190の場合は、各ビンの幅は8グレー・レベルである[(1+190−31)/20=8]。さらにここで、ヒストグラムはビン#16(すなわちグレー・レベル151〜158)で最大となると仮定する。したがって、これでしきい値化されたイメージは最初のグレー・レベルが150を上回るすべてのピクセルのグレー・レベルがゼロになることを除いて元のイメージと同様である。
【0024】
図4A〜4Cは、前述の工程21をイメージに適用することによる効果を示している。元のイメージとセグメント化されたイメージの視覚的な比較は、セグメント化およびしきい値化される前の細胞のイメージの例を示す図4Aを参照し、次に図4Aに示す元のイメージに対応するセグメント化およびしきい値化された細胞のイメージの例を示す図4Bを参照することによって実行できる。図4Cは、元のイメージとしきい値化を適用した後のイメージについて、グレー・レベルの比較を示す例としてのイメージのヒストグラムである。
【0025】
しきい値化されたイメージに2次元FFTが適用され(22)、そのフーリエ変換にテンプレート・イメージのフーリエ変換の複素共役がかけられる(23)。得られた配列が640行のそれぞれに沿って合計されて(24)、新しい配列が計算され、この配列に対してフーリエ変換(1次元)が実行され(25)、しきい値化されたイメージと参照イメージの行の相互相関が求められる。1次元配列の最大値が検出され(26)、評価される(28)。最大値の位置はDLATで表され、その大きさはCMAXで表される。
【0026】
必要なオフセットは、DLATとその理想的な位置55[(640−530)/2=55]との差で決定される。このようにして、例えば、DLAT=63の場合は、上向きに8ピクセルのシフトが必要であり(63−55=8)、DLAT=41の場合は、下向きに14ピクセルのシフトが必要である(55−41=14)。
【0027】
データ・セット内のすべてのイメージについて、手順114が繰り返される。ただし、各イメージは同じテンプレートを参照するので、累積誤差はないことに留意されたい。軸方向の補正値で使用するために、イメージごとにDLATが保存される(29)。
【0028】
ここで図3を参照すると、図1で説明された例示的な実施形態を使用するイメージング・システムの軸方向の補正部分を示す機能ブロック図が示されている。最初のイメージを除くすべてのイメージについて、軸方向の補正115が実行される。工程31で入力イメージのコピーがしきい値化され、次に前のイメージのしきい値化されたコピーとの相互相関が求められる。オフセットは、現在の視野[DLAT(N)]に関する水平方向の補正と直前の視野[DLAT(N−1)]に関する水平方向の補正との差に対応する行に沿った相互相関関数の最大値として決定される。したがって、軸方向の修正115は、水平方向の修正114とは異なり、反復処理なので累積誤差が発生する。
【0029】
水平方向の補正の場合と同様に入力イメージのコピーがしきい値化されるが(31)、この場合はヒストグラムのビンの数がB3である。この例では、B3=2である。このようにして、グレー・レベルが中間域より高いすべてのピクセルのグレー・レベルはゼロに設定され、グレー・レベルがそれより低いピクセルは初期値が維持される。例として、入力イメージの最大と最小のグレースケール値がそれぞれ31と190の場合は、輝度が最初に110より高かったすべてのピクセルがここでゼロになり、それ以外は最初の値と同じしきい値化されたイメージになる。
【0030】
このようにして輝度の高いピクセルを黒く塗りつぶしてから、しきい値化されたイメージに対して2次元フーリエ変換を実行する(32)。さらにフィルタが適用され(33)、最小のフィーチャが除去されることにより、相互相関の見かけの最大値が得られる。サイズが10ピクセル以下のフィーチャに対応する最大102サイクル/ピクセルの空間周波数のみが増大し、より空間周波数の高いピクセルはゼロに設定される。結果として得られた配列はSとして保存され(34)、前のイメージのしきい値化されたコピーから得られたSN−1の複素共役がかけられる(35)。次に、得られた配列に2次元FFTが適用され、しきい値化され、低域通過フィルタを適用された2つの連続するイメージについて相互相関が求められる。相関配列の大域的な最大値を検出するのは適切ではないので、ここで水平方向の補正の工程114から求められる2つの連続するイメージ間の水平方向のオフセットの差[DLAT(N)−DLAT(N−1)]が必要である。代わりに、局所的な最大値FMAXが[DLAT(N)−DLAT(N−1)]に対応する行で検出されるはずである。FMAXを含む列はGMAXと表される。埋め込まれたイメージの次元(この例では1024)の半分よりGMAXの方が大きい場合に、その値は前のイメージに対して負のシフトを表し、その大きさはゼロを埋め込まれた次元からGMAXの値を引いた値に等しい。ゼロを埋め込まれた次元の半分よりGMAXの方が小さい場合に、必要なシフトは前のイメージに対して正であり、GMAXに等しい。
【0031】
例として、DLAT(N−1)=45、DLAT(N)=63とする。この場合に、FMAXは相関配列の第18行で検出される(63−45=18)。FMAX(第18行の最大値)が第5列にある場合は、GMAX=5であり、イメージは前のイメージから左に5ピクセルだけシフトする必要がある。最大値が第1019行にある場合は(GMAX=1019)、1019は512より大きいので、イメージを前のイメージから右に5ピクセルだけシフトする必要がある(1024−1019=5)。
【0032】
MAXが検出されると、シフトの値が前の軸方向のオフセットすべての和に加えられ、最初に取得したイメージから現在のイメージまでの差の累積DAXCIALが求められる。シフトは正も負も可能なので、一部のイメージでは軸方向のシフトが必要ない場合もある。イメージごとに、次の4つの値がテキスト・ファイルに書き込まれる。
1.上の管壁の位置DLAT
2.現在のイメージと参照イメージとの相互相関の最大値CMAX
3.現在のイメージと前のイメージとの相互相関の該当する行のFMAXの位置GMAX(最初のイメージではGMAX=0)
4.FMAX(最初のイメージではFMAX=0)
【0033】
補正されたファイルは、1つまたは2つの辺から適切な数のピクセルを切り取り、切り取った数だけ残りのピクセルをシフトすることによって生成される。元のイメージの寸法(640×480)を維持するために、切り取られた辺の反対の端の空白を、元のイメージの最高のグレー・レベルに設定されたピクセルで置き換える。
【0034】
例えば、1つのイメージで最高のグレー・レベルを229とすると、DLAT=63、DAXIAL=29、GMAX=1022である。この場合、上から8行(63−55=8)のピクセルと左から27列(29−1024+1022=27)がイメージから削除される。したがって、第28列の第9行が左上コーナーに配置される。イメージの下側に8行が追加され、イメージの右側に28列が追加される。追加されたピクセルのグレー・レベルは229である。以上の手順が完了すると、補正されたイメージの左上632×453ピクセルの領域は、元のイメージの右下632×453ピクセルの領域と同等である。いずれのイメージも、寸法は640×480である。
【0035】
別の例示的な実施形態には、軸方向の補正(115)と、補正されたイメージの書き込み(116)のみが組み込まれている。この実施形態は、微小毛細血管の壁が見えない場合、および管の水平方向の運動が小さく、無視できることがわかっている場合に有効である。
【0036】
さらに別の実施形態では、最初のビュー(N=0)から管壁の分離が自動的に計算される。それ以外は、本明細書の以上の部分で図1〜3を参照しながら説明した実施形態と同等である。本発明の別の実施形態では、1つまたは複数のイメージにおける管壁の分離の計算に基づいて管壁の分離が決定される。これは、2次元FFTおよび複素共役による場合と同様に、唯一の輝線によるイメージを参照として使用することによって実行される。第1の実施形態と同様に行が合計され、参照イメージが導かれたイメージ内の位置を基準とする1つの管壁の位置として、最大値の位置が特定される。次に相関値の高い位置は、第1の管壁を基準とした他の管壁の位置を示す。必要に応じて、この第2の最大値の検出を、中心の位置が第1の管壁を基準として推定された管の太さに近い範囲に制限してもよい。この実施形態でも、取得されたすべての視点について唯一の輝線による参照イメージを使用することができる。こうした配置は管壁の分離が未知の場合,または管壁の内側が円でない場合(例えば、管の内側の断面が正方形またはだ円の場合)に有効である。
【0037】
本発明の別の実施形態では、しきい値化の工程の特性が相関によるフィードバックに基づいて変化してもよい。このような反復アプローチは、水平方向の補正における第1のしきい値化の工程でも、軸方向の補正における第2のしきい値化の工程でも、またはその両方でも使用できる。変更できる1つの特性は、ヒストグラムで使用する分割数すなわちビンの数である。変更できる別の特性は、各ヒストグラム・ビンに含まれるグレー・レベルの数である。例えば、ヒストグラムは輝度レベルの平方根に基づいていてもよい。
【0038】
本発明の機能により、本方法の出力は入力ファイルの切り取られたコピーであり、切り取られていない部分は垂直方向および/または水平方向にシフトされ、入力イメージのサイズを維持するために、1つまたは2つの縁に追加の空白のピクセルが挿入される。
【0039】
本発明の別の機能により、本方法を使用した結果はデジタル・ファイルに保存され、コンピュータのワードプロセッシング・アプリケーションで変更および編集できる。さらに、変更されたテキスト・ファイルを使用して2本の軸のオフセットを生成できるので、前述の計算の多くを省略できる。この実施形態では、工程114〜116の水平方向の補正手順が繰り返されてCMAXの最大値が検出される。CMAXの値が臨界値(critical value)CCRITより小さい場合は、しきい値化(27)で開始される手順全体が繰り返されるが、ヒストグラムのビンの数はB1からB2に変更される。再びCMAXが検出され(26)、評価される(28)。
【0040】
ここで図5を参照すると、本発明の実施形態で考察するように、毛細血管に充填された細胞の例が図式的に示されている。この例示的な実施形態では、毛細血管3の断面には対象となる物体1(細胞など)が充填されており、管に堅く詰め込まれている。各細胞には、核2が含まれていてもよい。毛細血管3は、x、y、z方向の座標値をとる座標系6を基準とする中心軸4を備えている。場合によっては、少なくとも1つの分子プローブ153が細胞内に含まれていてもよい。コンピュータ7は、回転モータ(rotational motor)5と並進モータ(translational motor)8に接続して制御信号を送信する。運動を発生させる1つまたは複数のモータ、ギア、流体工学、またはその他の手段による同等の編成を使用して、毛細血管またはその他の基質(substrate)に必要な平行移動と回転の運動を実現してもよいことは理解されるであろう。場合によっては、1つまたは複数のモータを手動の位置決め装置またはギア、あるいは水圧式(hydraulic)または圧電性(piezoelectronic)の装置のように運動を発生させるその他の手段で置き換えてもよい。平行移動の軸はz軸であり、回転はz軸を中心に行われる。位置決めモータ9が接続され、必要に応じてセントレーション(centration)を目的として中央軸に実質的に垂直なx軸とy軸で定義される平面内で細胞を移動する。
【0041】
毛細血管の湾曲した表面は円柱レンズの役割を果たすこと、およびこの焦点効果は投影システムにおいて望ましくない場合があることは理解されるであろう。管による光の屈折は、光源と管との間、および管と検出器の表面との間の空間に、屈折率(index of refraction)が毛細血管の屈折率に等しい物質10が充填されている場合には発生しないこと、および管は(例えばオイルまたはゲル状の物質を使用して)空間に充填された物質に光学的に結合できることは、当業者には言うまでもない。
【0042】
この毛細血管に充填された細胞の例について考察する。細胞は、一列に充填され、重ならないようにするのが好ましい。直径約100ミクロンの細胞全体を直径100ミクロン未満の毛細血管に充填する密度は、管の長さ1cmあたりおよそ100個でもよい。直径約20ミクロンの裸核では、管の直径が物体のサイズ(この場合は約20ミクロン)に比例する場合は、管の長さ1cmあたりおよそ500個充填できる。したがって、長さ数cmの毛細血管には数千個の裸核を重ならないように充填できる。管を中心軸4に沿って平行移動させることによって、z方向の運動を実行できる。x、y方向に管を移動することによって、必要に応じて管内の物体を光断層システムの再構成シリンダの中心に配置できる。管を中心軸4のまわりに回転させることによって、様々な放射方向の投影図を作成できる。管を回転せずにz方向に一定の速度で移動すると、流れ光断層(flow optical tomography)の特殊なケースがシミュレートされる。
【0043】
管には細胞が充填されており、管を移動しないと細胞は管の内部で静止の状態にあるという状況で、管を移動することの1つの利点は、対象となる物体が停止してから細胞単位で光断層にほぼ最適な露出を実現する速度で回転できることである。つまり、投影イメージの信号対騒音比を改善でき、流れシステムで一般的な一定の速度と方向で通常作成されるよりよいイメージを作成できる。対象外の物体は、イメージング・システムの外に速やかに移動できるので、多くの細胞で構成されるサンプル内で対象となる細胞を分析する上で区間速度(overall speed)を上げることができる。さらに、対象となる物体の上で停止してから必要に応じて回転して様々な投影が可能なので、運動アーチファクト(motion artifacts)をほとんど除去できる。さらに、運動システム(motion system)はサブミクロンの動きで誘導され、ピクセル・サイズの検出器より細胞を細かくサンプリングできるように有利に適用できる。より詳細には、例えば、Nyquist(ナイキスト)サンプリング係数(sampling factor)2はピクセル幅の半分を満たす増加で移動する運動システムによって管理できる。同様に、この運動システムは検出器の不完全な充填率(fill factor)を補正できる。
【0044】
ここで図6Aを参照すると、1つの細胞が光インデックス(optical indexing)物質の媒体に浸された例として、1つの標本の拡大図が示されている。1つの標本は、回転でき、複数の投影を実現できる微小毛細血管3(例えば、こうした1つの管は、ポリマイクロ(Polymicro)技術、LLC、AZ、USによって製造される)内に示されており、軸方向に走査できる対物レンズ40が図式的に示されている。照明光源には、顕微鏡のスライド54の前に配置されるアパーチャ(aperture)51、ストップ(stop)52、集光レンズ(condenser lens)53から光を投影する光源50が含まれる。スライドと薄いカバースリップ55の間にある微小毛細血管3には、細胞1が含まれている。対物レンズ40(油浸レンズ(oil−immersion lens)であるのが好ましい)は、微小毛細血管3を通過した光を受信するように配置されている。対物レンズは、アクチュエータ57(例えば圧電性のエレメント)によって光軸に沿って平行移動される。カバースリップ55は、微小毛細血管の中心とカバースリップの外側の表面との距離が対物レンズの作動距離より小さくなるように、十分に薄くなければならない。集光レンズ53は、屈折率n以内(例えば空気)である。スライド54とカバースリップ55の屈折率はnである。微小毛細血管3を囲む領域58には、屈折率が適合する媒体15(光学的ゲル状物質または液浸油(optical gel or immersion oil)、屈折率はn)が含まれる。微小毛細血管3自体の屈折率はnである。微小毛細血管内の細胞1を囲む領域59には、屈折率nを示す媒体10が含まれる。細胞内の領域60には、同じ媒体10が充填されてもよい。または屈折率がnの別の媒体でもよい。スライド54とカバースリップ55で構成される2つの平らで平行な表面間では、円柱レンズによる歪みを防止するために、n=n=n=nであるのが好ましい(差を最小化する必要がある)。イメージはカメラ43に投影される。
【0045】
ここで図6Aと6Bを参照すると、圧電性の並進装置に装着された顕微鏡の対物レンズ(micro−objective)を組み込んだ、本発明で使用する光断層システムの1つの実施形態が図式的に示されている。圧電性の並進装置57を使用して、対物レンズ60を軸方向の距離約40ミクロン以上移動する。1つの有効な実施形態では、顕微鏡の対物レンズの位置決めシステムは、管の座標系6のz軸に沿って上下に調整する適切なアクチュエータ57を備えている。この実施形態では、これは、ビデオ・カメラ43が装着され、コンピュータ制御の光源と集光レンズ・アセンブリ61を備える標準的な透過顕微鏡64に開口数の大きな対物レンズを装着して使用してもよい。コンピュータ制御の集光レンズと光源50は、1つまたは複数の白熱電球、アーク灯、レーザ、発光ダイオードを含む光源あるのが有利である。コンピュータ制御信号70は、コンピュータ制御の集光レンズと光源50にリンクして光変調を制御する。
【0046】
カメラ43の出力は、コンピュータ・メモリ72に格納される。標本を含む微小毛細血管3は、管の座標系6のx軸またはy軸に沿って平行移動できる。さらに、微小毛細血管3はコンピュータ制御の回転モータ5を使用してその「θ」軸49のまわりに回転できる。本明細書で使用するように、微小毛細血管は顕微鏡イメージングの視野が毛細血管の直径と同程度の直径をもつ毛細血管として定義される。例示的な実施形態において、回転モータ5はコンピュータ7から送信された制御信号71によって制御される。高速の適用例では、他の制御を追加して軸方向に走査する間の振動を軽減してもよい。取得されたイメージは、モニター73に表示されてもよい。
【0047】
ここで図7を参照すると、本発明の1つの実施形態で意図された3次元(3D)イメージ再構成で使用するイメージ取得処理を示す例示的な流れ図が示されている。本発明の1つの実施例で考察するように、3次元イメージ再構成処理には、細胞を充填した管を装填する工程(工程81)と、対象となる第1の細胞の位置が確認されるまで管を平行移動する工程(工程82)と、必要に応じて対象となる細胞を中心に配置する工程(工程83)と、様々な回転角から一連の投影図を作成する工程(工程84)と、データ・セットの完了を確認する工程(工程85)と、対象となる細胞がすべて走査されるまで工程82〜85を繰り返す工程とが含まれる。工程86で、運動の補正が行われる。この処理は、例えばコンピュータ7のようなパーソナル・コンピュータで実行されるコンピュータ・ソフトウェア・プログラムで実装してもよい。
【0048】
ここで図8を参照すると、本発明の1つの実施形態で意図された3次元(3D)イメージ再構築で使用する運動補正オフセットの例が図式的に示されている。運動補正を適用すると、毛細管壁62の毛細血管3に含まれる対象となる物体1(細胞または核2など)の水平方向の位置が検出される。水平方向のオフセットは、管の軸Zに垂直なイメージの長辺の次元(640ピクセル)に沿って発生する誤差である。軸方向のオフセットは、管の軸Zに平行なイメージの短辺の次元(480ピクセル)に沿って発生する誤差である。対象となる物体1の水平方向の位置はLP、軸方向の位置はAPである。イメージは様々な視点から得られるので、運動補正を適用すると様々なビューの同じ平面で維持される同等のフィーチャで対象となる物体を再構成できる。
【0049】
ソフトウェア・コード記述の例
ソース・コード
以下は、本発明の運動補正の方法による1つの実施形態を実装するソース・コード・テキストの例である。実行可能ファイル(regcorr.exe)は、2つのヘッダー・ファイル(rrahn.hとregcorr.h)および4つのC++ファイル(fileinfo.cpp、nr−fft.cpp、multiplycomplexvalues.cpp、regcorr2.cpp)がプロジェクト(regcorr.ide)によってリンクされて構成される。プロジェクトはBorland C++ 5.01によってコンパイルされ、「Win32 Console」モードに設定され、staticクラス・ライブラリ・フレームワークを使用する。実行可能ファイルのサイズはおよそ60kBである(プログラム「regcorr.exe」と「regcorr_no_lateral.exe」との相違は、水平方向のオフセットを計算してそれをテキスト・ファイルに書き込むというオプションがあるかどうかのみである。また、いずれのプログラムも計算を省略し、代わりにオフセットをテキスト・ファイルから読み込むことができる)。
【0050】
(プログラム)
本発明について、特許法に準拠するため、および本発明の新しい原理を適用し、必要に応じて例示的で特殊なコンポーネントを構築して使用するのに必要な情報を当業者に提供するために、本明細書で詳細に説明してきた。ただし、本発明は個々に様々な設備、装置、および再構成アルゴリズムで実行できること、および設備の細部および操作手順のいずれに関しても、本発明の真の精神と範囲を逸脱することなく様々な変更を実装できることは言うまでもない。
【図面の簡単な説明】
【0051】
【図1】本発明の教示に従って構築された連続するビュー間の物体検出器の相対的な運動を補正する方法の実施形態の例を示す機能ブロック図である。
【図2】図1で説明された例示的な実施形態を使用するイメージング・システムの水平方向の補正部分を示す機能ブロック図である。
【図3】図1で説明された例示的な実施形態を使用するイメージング・システムの軸方向の補正部分を示す機能ブロック図である。
【図4A】本発明による方法の1つの例で使用されるしきい値化操作を適用する前の細胞のイメージを示す図である。
【図4B】図4Aに示すイメージに本発明による方法の1つの例で使用されるしきい値化操作を適用した結果を示す図である。
【図4C】図4A〜4Bに示すイメージの輝度分布を示すヒストグラムである。
【図5】本発明の1つの実施形態で使用される光投影断層顕微鏡(OPTM)システムを図式的に示す図である。
【図6A】圧電性の並進装置に装着された顕微鏡対物レンズを採用する光断層システムの1つの実施形態を図式的に示す図である。
【図6B】圧電性の並進装置に装着された顕微鏡対物レンズを採用する光断層システムの1つの実施形態を図式的に示す図である。
【図7】本発明の1つの実施形態で意図された3次元(3D)イメージ再構成で使用するイメージ取得処理を示す例示的な流れ図である。
【図8】本発明の1つの実施形態で意図された3次元(3D)イメージ再構成で使用する運動補正オフセットの例を図式的に示す図である。

【特許請求の範囲】
【請求項1】
連続するビュー間で物体検出器の相対的な運動を補正する方法であって、
対象となる物体(1)を照光し、イメージを作成する工程(111)と、
前記イメージの水平方向のオフセット補正値を決定する工程(114)と、
前記イメージの軸方向のオフセット補正値を決定する工程(115)と、
前記水平方向のオフセット補正値と前記軸方向のオフセット補正値とを前記イメージに適用し、補正されたファイル・イメージを作成する工程(l16)とを備える方法。
【請求項2】
前記イメージの水平方向のオフセット補正値を決定する工程(114)は、
前記イメージをしきい値化する工程(21)と、
前記イメージをテンプレート・イメージと相互相関する工程(22、23、24、25、26、27)とをさらに備える請求項1に記載の方法。
【請求項3】
前記テンプレート・イメージは、
あらかじめ指定された位置に少なくとも2本の白線を作成し、暫定的なテンプレート・イメージを作成する工程と、
前記暫定的なテンプレート・イメージを拡張して2次元にゼロを埋め込み、拡張されたテンプレート・イメージを作成する工程と、
前記拡張されたテンプレート・イメージに対して2次元のFFTを実行(22)して最終的なテンプレート・イメージを作成する工程とを備える方法で作成される(111)請求項2に記載の方法。
【請求項4】
前記イメージをしきい値化する工程(21)は、
複数のビンを含む前記イメージのグレースケール・ヒストグラムを検出する工程と、
ピクセル数が最大のビンを特定する工程と、
前記イメージ内で前記ビンのグレースケール値以上のすべてのピクセルを前記イメージのコピー内でゼロに設定する工程と、
前記イメージの前記コピーに2次元のFFTを適用してフーリエ変換を作成する工程(22)と、
前記フーリエ変換に前記テンプレート・イメージのフーリエ変換の複素共役をかけて新しいイメージ配列を作成する工程(23)と、
複数の行のそれぞれについて前記新しいイメージ配列を合計し、水平方向の合計配列を計算する工程(24)と、
前記水平方向の合計配列の1次元フーリエ変換を計算し、前記元のイメージの前記コピーと前記テンプレート・イメージについて行の相互相関を検出する工程(25)と、
上側の管壁の補正されない位置を前記水平方向の合計配列の最大値の位置として設定する工程(26)と、
前記水平方向のオフセットを前記上側の管壁の前記補正されない位置とあらかじめ指定された管壁の端の位置との差として決定する工程(28)とをさらに備える請求項3に記載の方法。
【請求項5】
前記イメージの軸方向のオフセット補正値を決定する工程は、
前記イメージをしきい値化する工程(31)と、
前記イメージを前のイメージのしきい値化されたものと相互相関する工程(32、33、34、35、36、37)と、
軸方向のオフセットを前記2つのイメージの前記水平方向の補正の差に対応する行に沿った前記相互相関関数の最大値として決定する工程(38)とをさらに備える請求項4に記載の方法。
【請求項6】
軸方向のオフセットを決定する工程は、
複数のビンを含む前記イメージの前記グレースケール・ヒストグラムを検出する工程と、
前記ピクセル数が最大のビンを特定する工程と、
前記元のイメージ内の前記ビンのグレースケール値以上のすべてのピクセルを前記元のイメージのコピー内でゼロに設定する工程と、
前記しきい値化されたイメージに低域通過フィルタを適用する工程(33)と、
前記しきい値化され、低域通過フィルタを適用されたイメージと前のイメージのしきい値化され、低域通過フィルタを適用されたものとの相互相関を計算する工程(35、36)と、
前記2つのイメージの前記水平方向のオフセットの差に対応する前記得られた相互相関の前記行における最大の補正値を検出する工程(37)と、
前記補正値を前記前の軸方向のオフセットのすべての合計に加える工程とをさらに備える請求項5に記載の方法。
【請求項7】
前記上側の管壁の位置をファイルに書き込む工程と、
前記現在のイメージと前記テンプレート・イメージとの前記相互相関の前記最大値をファイルに書き込む工程と、
前記相互相関の適切な行の前記最大の補正値の位置をファイルに書き込み、前記適切な行は前記2つのイメージの水平方向のオフセットの前記差に対応する行である工程と、
前記最大の補正値をファイルに書き込む工程と、
1つまたは2つの辺から適切な数のピクセルを切り取り、残りのピクセルを前記切り取った数だけシフトすることによって補正されたイメージを生成する工程とをさらに備える請求項6に記載の方法。
【請求項8】
前記対象となる物体(1)は細胞または細胞核である請求項1に記載の方法。
【請求項9】
前記相互相関の前記最大値の大きさがあらかじめ指定された値より小さい場合に、前記ヒストグラムのビンの数を別の値にして前記工程を繰り返す工程をさらに備える請求項4に記載の方法。
【請求項10】
イメージング・システムにおける位置決めと運動の誤差を補正する装置であって、
物体(1)の少なくとも2つのビューを取得する手段(5、43、50、60)と、
M行N列のイメージ輝度データを含む前記少なくとも2つのビューと、
取得した各ビューのイメージ輝度データのパターンを対応するイメージ輝度データの標準パターンと比較してそれらの間の類似性に関する情報を含む2つの係数「A」と「B」を求める手段(7)とを備えており、
前記比較の手段(7)は、
輝度レベルが指定された範囲内にあるピクセルに対して輝度レベルの変更が適用された前記取得した1つのイメージの変更されたコピーを作成する第1の手段と、
前記取得した1つのビューの前記変更されたコピーと前記標準ビューとの相互相関を実行する第2の手段と、
前記得られた相互相関関数の最大値を検出して評価し、前記最大値がある行または列に基づいて前記係数「A」の値を決定する第3の手段と、
輝度レベルが指定された範囲内にあるピクセルに対して輝度レベルの変更が適用された前記取得した複数のイメージの変更されたコピーを作成する第4の手段と
取得した連続するイメージの前記変更されたコピー2つの間の相互相関を実行する第5の手段と、
前記得られた相互相関関数の制限された最大値を検出および評価し、前記制限は、前記制限された最大値がある行または列が、係数「A」がある行または列に直交し、それを横切る必要があることである第6の手段と、
係数「B」を決定する前記制限された最大値の場所とを含む装置。
【請求項11】
前記係数「A」と「B」の前記値に応答して前記取得したビューを2つの直交する方向にシフトし、前記量の方向と大きさは前記係数「A」と「B」の前記値に関連する手段を備える請求項10に記載の装置。
【請求項12】
前記相互相関を実行して係数「A」を決定する手段は、前記行または列を合計して1次元配列を取得し、前記合計は前記係数「A」によって大きさが決定される前記シフトの方向と直交する方向に実行される工程を含む請求項10に記載の装置。
【請求項13】
前記参照パターンは、1つまたは複数の行または列を除いてすべてのピクセルが同じ輝度の値をとり、前記1つまたは複数の行または列は均等であるが、他のピクセルとは大きく異なる輝度値をとるM行N列のイメージ輝度データの配列を備える請求項10に記載の装置。
【請求項14】
前記参照パターンは、1つまたは複数の行または列で構成される2つのグループを除いてすべてのピクセルが同じ輝度の値をとり、前記2つのグループは均等であるが、他のピクセルとは大きく異なる輝度値をとるM行N列のイメージ輝度データの配列を備えており、微小毛細血管(3)の向かい合う壁の明らかな分離に対応する分離があり、前記向かい合う壁の両方が2つ以上の連続するイメージの視野に表れ、前記微小毛細血管(3)は対象となる物体を含む請求項10に記載の装置。
【請求項15】
前記対象となる物体(1)は生物学的な細胞または細胞核である請求項14に記載の装置。
【請求項16】
しきい値化、相互相関、および前記相互相関の最大値の検出および評価の工程を繰り返す手段を含み、前記繰り返しの手段は複数のしきい値化に基づく前記最大の相関の最大値を検出する手段を含む請求項10に記載の装置。
【請求項17】
2つのグループすなわち行または列の分離は取得された1つまたは複数のイメージに基づいて計算される請求項14に記載の装置。
【請求項18】
対象となる物体の3次元の(3D)再構成を行う方法であって、
(a)対象となる一連の物体を線形の容器に充填する工程(81)と、
(b)少なくとも1つの光学投影ビームを使用して前記対象となる一連の物体の少なくとも1つの物体を照光する工程(50)と、
(c)前記対象となる少なくとも1つの物体が前記少なくとも1つの光学投影ビームの範囲内に入るまで、前記線形の容器を平行移動する工程(82)と、
(d)必要に応じて前記少なくとも1つの物体を中心に配置する工程(83)と、
(e)複数の放射角を使用して前記少なくとも1つの物体を回転させる工程(84)と、
(f)前記複数の放射角のそれぞれの角度で一連の投影イメージを生成する工程(84)と、
(g)前記対象となる一連の物体(1)の走査が完了するまで、工程(b)〜(f)を繰り返す工程(85)と、
(h)前記走査されたイメージの水平方向のオフセット補正値を決定し、前記走査されたイメージの軸方向のオフセット補正値を決定し、さらに前記水平方向のオフセット補正値と前記軸方向のオフセット補正値を前記走査されたイメージに適用して補正されたファイル・イメージを作成することによって、前記走査された対象となる一連の物体(1)の運動を補正する工程(86)とを備える方法。
【請求項19】
前記少なくとも1つの物体(1)は細胞または細胞核である請求項18に記載の方法。
【請求項20】
前記一連の対象となる物体を線型の容器に充填する工程(81)は、複数の細胞を微小毛細血管(3)に充填する工程を備える請求項18に記載の方法。
【請求項21】
連続するビュー間の物体検出器の相対的な運動を補正する方法であって、
対象となる物体(1)をイメージングしてイメージを作成する工程(111)と、
前記イメージの軸方向のオフセット補正値を決定し、前記イメージの軸方向のオフセット補正値を決定する工程はさらに前記イメージをしきい値化する工程(31)と、前記イメージを前のイメージのしきい値化されたものと相互相関する工程(32、33、35、36)と、軸方向のオフセットを前記2つのイメージの前記水平方向の補正値の差に対応する行に沿った前記相互相関関数の最大値として決定する工程(37)とを備える工程(115)と、
前記イメージの水平方向のオフセット補正値を決定する工程(114)と、
前記水平方向のオフセット補正値と前記軸方向のオフセット補正値とを前記イメージに適用し、補正されたファイル・イメージを作成する工程(l16)とを備える方法。
【請求項22】
複数のイメージが作成されて1つの入力イメージ・ファイルが生成され、複数の補正されたファイル・イメージは前記入力イメージ・ファイルの切り取られたコピーであり、切り取られていない部分は垂直方向および/または水平方向にシフトされ、入力ファイル・イメージのサイズを維持するために1つまたは2つのボーダーに追加の空白のピクセルが挿入される請求項1に記載の方法。
【請求項23】
前記補正されたファイル・イメージは、デジタル・ファイルに保存された計算されたオフセット値を備える請求項1に記載の方法。
【請求項24】
前記計算されたオフセット値はコンピュータ・ワードプロセッシングで処理されて変更されたテキスト・ファイルが作成され、前記変更されたテキスト・ファイルは2本の軸のオフセットを生成するのに使用され、前記イメージの水平方向のオフセット補正値を決定する工程は繰り返されて最大値が検出される請求項23に記載の方法。
【請求項25】
前記計算されたオフセット値は、
前記上側の管壁の位置と、
現在のイメージと前記テンプレート・イメージとの相互相関の最大値と、
前記現在のイメージと前記テンプレート・イメージとの相互相関に対応する行の最大相互相関の位置と、
最大相互相関値と
を備える請求項22に記載の方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4A】
image rotate

【図4B】
image rotate

【図4C】
image rotate

【図5】
image rotate

【図6A】
image rotate

【図6B】
image rotate

【図7】
image rotate

【図8】
image rotate


【公表番号】特表2008−504060(P2008−504060A)
【公表日】平成20年2月14日(2008.2.14)
【国際特許分類】
【出願番号】特願2007−518092(P2007−518092)
【出願日】平成17年6月6日(2005.6.6)
【国際出願番号】PCT/US2005/019847
【国際公開番号】WO2006/011945
【国際公開日】平成18年2月2日(2006.2.2)
【出願人】(503351962)ヴィジョンゲイト,インコーポレーテッド (7)
【Fターム(参考)】