腸控除システムにおける画像処理のための方法および装置
結腸の画像における腸のひだを処理するためのシステムおよび方法が記載される。結腸の画像中で腸の中心線を見出すための方法およびポリープを検出するための方法も記載される。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、概略的には結腸内視術に、より詳細には腸の画像を処理し、画像中でポリープを検出するためのシステムおよび方法に関する。
【背景技術】
【0002】
当技術分野において知られているように、結腸内視術とは、結腸を調査して結腸の解剖構造におけるポリープ、腫瘍または炎症プロセスといった異常を検出するための医学的処置のことをいう。結腸内視術は、典型的には一端にイメージング(たとえば光ファイバー)またはビデオ録画機能をもつ結腸内視鏡というしなやかな環状構造を用いて結腸の直接的な内視鏡検査を含む処置である。結腸内視鏡は患者の肛門から挿入され、結腸の長さに沿って指向され、それにより結腸ポリープおよび腫瘍の直接的な内視鏡による可視化を許容し、場合によっては内視鏡生検およびポリープ切除の機能をも提供する。結腸内視術は結腸検査の精密な手段を提供するものの、時間がかかり、実施が高価であり、検査者の細大の注意および技量が要求される。この処置はまた、下剤および浣腸剤の摂取ならびに通例は軽い麻酔を含む周到な患者の準備を要求する。また、結腸内視術は侵襲的処置であるため、結腸への傷害の著しいリスクがあり、致命的になりうる結腸穿孔および腹膜炎の可能性もある。
【0003】
これらの欠点を克服するため、仮想結腸内視術が着想された。仮想結腸内視術はコンピュータ断層(CT: computed tomography)撮像システム(コンピュータ支援断層(CAT: computer assisted tomography)撮像システムとも呼ばれる)によって生成される画像を利用する。CT(またはCAT)撮像システムにおいては、体の断面を通じてのX線の減衰測定を使って人体の諸領域の断面画像を生成するためにコンピュータが使用される。仮想結腸内視術では、CT撮像システムは腸の内部の二次元画像を生成する。一連のそのような二次元画像を組み合わせれば結腸の三次元画像が得られる。このアプローチは患者への内視鏡の挿入を必要とせず、よって結腸への傷害のリスクならびに結腸穿孔および腹膜炎の可能性を回避するものの、このアプローチでも下剤および浣腸を含む周到な患者の準備はやはり必要とされる。一般に、患者は絶食し、かなり大量の下剤を(典型的には飲むことによって)摂取することによって腸をきれいにする必要がある。仮想結腸内視術に関するもう一つの問題は、仮想結腸内視術の技法を使った検査および診断の精度が望まれるほど正確でないということである。これは、少なくとも部分的には、結腸内にポリープ、腫瘍または異常が存在しているかどうかを判定するために検査者(たとえば医師)が調べる必要のある画像の数がかなり多いことに起因している。
【発明の開示】
【発明が解決しようとする課題】
【0004】
さらに、結腸は折りたたまれた領域(あるいはより簡単に「ひだ(folds)」)を有する傾向がある。結腸の画像において、ひだは時として腸の内容物と区別するのが困難であり、よって時として意図せずして腸の内容物として標識付けまたは「タグ付け(tagged)」されてしまう。腸の内容物が画像からデジタル的に控除される(subtracted)とき、ひだ領域も控除される。この結果、処理された画像(すなわち内容物がデジタル的に除去された結腸の画像)に空隙ができたり、想定外のひだの控除に起因するその他の人工効果が生じたりすることになる。そのような空隙や人工効果は画像を調べる人(たとえば医師またはその他の医療担当者)にとってじゃまになる。
【0005】
したがって、腸の画像に現れるひだ領域を処理するための技法を提供することが望ましいであろう。
【課題を解決するための手段】
【0006】
本発明によれば、ひだ処理システムは、腸内のひだを検出して該ひだを画像中の腸の一部であると同定するひだプロセッサを含む。この具体的な構成により、腸のひだの不必要な控除を減らすシステムおよび技法が提供される。ある好ましい実施形態では、ひだ処理システムは、デジタル画像中で境界(たとえば空気‐水境界)を同定し、対称性を利用して画像中にひだが存在するかどうかを判定する。ひだがみつかれば、ひだは腸の内容物ではなく腸の一部であるとして同定される(すなわち標識付けまたはタグ付けされる)。よって、腸の内容物がデジタル的に画像から控除されるときにひだ領域は画像中に残される。
【0007】
本発明のさらなる側面によれば、結腸のデジタル画像中のひだ領域を処理するためのシステムは、第一のデジタル画像を受け取って、該画像中に第一の密度をもつ第一の物質と第二の異なる密度をもつ第二の物質との境界を同定する境界プロセッサと、該画像の前記境界についての一つまたは複数の部分を処理して前記境界について対称性が存在するかどうかを判定し、画像中で境界についての対称性をもつ領域を同定する対称性プロセッサとを含む。
【0008】
本発明の今ひとつのさらなる側面によれば、未洗浄結腸の画像中の結腸中心線を同定するためのシステムおよび技法は、結腸内にあるとわかっている第一の点(またはシード点)を同定することを含む。次いでシード点のまわりの領域が標識付けされる(たとえば、高密度または低密度物質のどちらかを含んでいるとして同定される)。ひとたび画像領域が標識付けされたら、シード点(すなわち、結腸内であるとわかっている点)をみつけ、シード点にどの標識が付されているかを判別することによって結腸領域が同定される。次いで、同じ標識をもつシード点のまわりの諸領域が結腸内であると同定される。次の結腸画像は画像中で諸領域を標識付けし、以前に処理された画像からの結腸情報を使うことによって処理され、現在処理されている画像中の結腸が同定される。ひとたび各画像中で結腸が同定されたら、各画像中で結腸の中心がみつかり、それにより結腸中心線を確立することが許容される。シード点は手動で同定されても、自動的に同定されてもよい。自動同定は、まず結腸の下面に対応する画像を処理し、画像中に現れるはずの解剖学的構造に関わる情報を使うことによって達成されうる。
【0009】
本発明の今ひとつのさらなる側面によれば、電子的にきれいにされた結腸画像データセット(たとえば結腸のCT画像データセット)におけるオブジェクト(ポリープを含む)を検出するシステムおよび技法は、結腸表面を画像データセットの残りの部分から分離することを含む。次いで、分離された結腸表面に対応する画像データセットの部分が処理されて、結腸の平面マップが生成される。平面マップ中の各ピクセルの値は、平面マップの中心軸からの動径距離に対応する。次いで結腸の平面マップ内の諸特徴の切り出しが実行される。すると、このセグメンテーション過程によって同定されたオブジェクト(ポリープを含む)が記述され、分類されることができる。画像内でオブジェクト(ポリープを含む)を同定および/または分類するためには統計的または相関技法を使うことができる。
【0010】
本発明そのものだけでなく本発明の以上の特徴は図面の以下の記述からより完全に理解されうる。
【発明を実施するための最良の形態】
【0011】
デジタル腸控除プロセッサ(DBSP: digital bowel subtraction processor)および/または自動化ポリープ検出プロセッサ(APDP: automated polyp detection processor)ならびにデジタル的に腸をきれいにし、自動的にポリープを検出するために実行される動作について述べる前に、若干の導入的な概念および用語を説明しておく。
【0012】
コンピュータ断層撮影(CT)システムは、デジタル値のマトリクスとしてコンピュータまたはその他のデジタル処理装置の記憶装置に保存できる信号を生成する。ここでの記述では、CT画像は二次元配列をなす、それぞれデジタルワードによって表されるピクセルに分割されている。当業者はここに記載される技法がさまざまな大きさおよび形状の配列に適用可能であることを認識するであろう。ピクセルの二次元配列を組み合わせることでピクセルの三次元配列が形成できる。各デジタルワードの値はそのピクセルにおける画像の強度に対応する。そのような仕方で表現される画像を表示する技法ならびにそのような画像をプロセッサからプロセッサへと渡す技法は既知である。
【0013】
ここでの記述では、デジタルデータの値(すなわち数値)の配列は一般に「デジタル画像」あるいはより簡単に「画像」と呼ばれ、たとえばメモリのようなデジタルデータ記憶装置に、ある場面における密度の値の空間分布を表現する数値の配列として保存されうる。ここでの用法では、「原画像」という述語はCTまたはその他の種類のスキャナ機から出力される表現マトリクスから与えられる画像を指す。
【0014】
配列中の数値のそれぞれは、デジタルワードとして表現でき、典型的には「画素」または「ピクセル」または「画像データ」と呼ばれる。画像は二次元配列のピクセルに分割されることができ、各ピクセルがデジタルワードによって表される。よって、ピクセルは画像中で特定の空間座標に位置する単一の瞬間的な値を表現する。
【0015】
デジタルワードがある数のビットからなり、本発明の技法が何ビットのデジタルワードについても使用できることは理解しておくべきである。たとえば、デジタルワードは8ビットの二進値、12ビットの二進値、16ビットの二進値、32ビットの二進値、64ビットの二進値、または他の任意のビット数(たとえば128ビットまたはそれ以上)の二進値として与えられうる。上記のビット数のそれぞれより多い、あるいは少ないビット数も使用されうる。
【0016】
また、ここに記載される技法は階調画像またはカラー画像のいずれにも同じように適用されうることを注意しておくべきであろう。灰色階調画像の場合、各デジタルワードの値はピクセルの強度に、よってその特定のピクセル位置における画像に対応する。カラー画像の場合、ここでは時に、各ピクセルが、赤色を表す所定の数(たとえば8ビット)のビット(Rビット)、緑色を表す所定の数(たとえば8ビット)のビット(Gビット)および青色を表す所定の数(たとえば8ビット)のビット(Bビット)によって表現されるという言い方をする。これはいわゆるRGB表色系を使ったもので、各ピクセルについての色および輝度の値はRGBの値から計算できる。よって、8ビットのカラーRGB表現では、1ピクセルは24ビットのデジタルワードによって表現されうる。
【0017】
もちろん、RGB値のそれぞれについて8ビットより多い、あるいは少ないビット数を使うことも可能である。また、色相、彩度、明度(HSB: hue, saturation, brightness)方式またはシアン、マゼンタ、イエロー、ブラック(CMYK: cyan, magenta, yellow, black)方式といったその他の表色系を使ってカラーピクセルを表現することも可能である。よって、ここに記載される技法は複数の表色系に適用できることを注意しておくべきであろう。それには、上述したRGB、HSB、CMYK方式や輝度およびカラー軸a&b(Lab)YUV色差色座標系、カルーネン・レーベ(Karhunen-Loeve)色座標系、網膜円錐色座表系およびXYZ方式が含まれるがこれに限定されない。
【0018】
ここでは時に、画像のことを二次元ピクセル配列という言い方をする。配列サイズの例は512×512の大きさである。当業者はもちろん、ここに記載される技法がさまざまなサイズおよび形状のピクセル配列に適用可能であることを認識するであろう。それには不規則な形状のピクセル配列も含まれる。
【0019】
「画像領域」あるいはより簡単に「領域」とは画像の一部分である。たとえば、画像が32×32のピクセル配列として与えられる場合、領域はその32×32のピクセル配列のある4×4の部分に対応するなどである。
【0020】
多くの事例において、画像中のピクセルのグループが同時考察のために選択される。そのような選択技法の一つが「マップ(map)」または「ローカル窓(local window)」と呼ばれている。たとえば、ピクセルの3×3部分配列を考える場合、そのグループは3×3のローカル窓内にあるという。当業者はもちろん、ここに記載される技法がさまざまな大きさおよび形状のローカル窓に適用可能であることを認識するであろう。それには不規則な形状の窓も含まれる。
【0021】
しばしば、画像から形成できるそのようなあらゆるピクセルのグループを処理することが必要である。そうした事例では、ローカル窓は画像を横切って「スライド」すると考えられる。ローカル窓はあるピクセルの上に置かれ、次いで移動して別のピクセルの上に置かれ、また次に別のピクセル、というようになるからである。時に、「スライド」はラスタパターンでなされる。ただし、他のパターンも使用可能であることを注意しておくべきであろう。
【0022】
また、ここに記載される検出技法は結腸中のポリープを検出することを背景として述べられるものの、当業者はこれらの検出技法がポリープ以外の構造を探して検出するためにも使われうること、および該技法が腸や結腸以外の体の領域でも応用を見出しうることを理解するはずであることを理解しておくべきであろう。
【0023】
結腸から内容物を控除することへの一つのアプローチは、まず空気領域の形態上の拡張と拡張された糞便領域と拡張された縁領域(これらは勾配を見出す機能および形態上の拡張を使うことによって見出される)との交わりを同定することである。システムは次いで、これら3つの領域の交わりを、除去することが好ましい残渣であると近似する。この技法は画像から腸の内容物をデジタル的に控除するという意味では満足のいく結果を与えるものの、過剰控除の問題につながりうる。時には画像中に残るべきであるひだが除去される残渣領域を横切ることがあり、そのためそうしたひだが除去されてしまうからである。
【0024】
このことは、画像中のひだが腸の内容物と一緒に画像から除去されてしまうという望ましくない結果をもたらす。よって、本発明によれば、いくつかのシステムでは、結腸のタグ付けされた領域を正しく控除し、粘膜再構成を実行することが可能になるが、それでも画像の一部を過剰控除してしまうということが認識されるに至った。ひだの過剰控除が生じると、システムはひだ領域に人工効果を残しうる。
【0025】
ひだ領域のこの誤同定は、少なくとも部分的には、撮像過程における体積平均化技法(これはCT処理においては不可避である)のために生じる。具体的には、同定された(すなわち「タグ付けされた」)糞便が比較的細い軟組織領域に接するとき、体積平均化は軟組織領域(これは低いピクセル値をもつ画像領域として表されるべきである)に腸の内容物(すなわち高いピクセル値をもつ画像領域)を表すピクセル値を近似するピクセル値を割り当てさせてしまうことができる。よって、これらのひだ領域では、低いピクセル値を割り当てられる(よって腸の内容物の控除後に通常は保持される)べきピクセルはそうではなく軟組織の密度範囲の値を割り当てられてしまう。結果として、画像の保持されるべき部分(たとえばひだ領域)がそうではなく腸の内容物とともに画像から控除して消されてしまう。
【0026】
ひだ領域が画像に残ることを可能にしつつ腸の内容物の控除を可能にする一つのアプローチは、ひだ対称性処理法と呼ばれる。このアプローチでは、画像中のオブジェクトの対称性を利用して画像中のひだ領域が同定される。対称性法では、ある点が残渣(腸の内容物とも呼ばれる)とひだとの交わり(intersection)の中にあれば、その点はあらゆる側で軟組織様のピクセルによって囲まれるはずであるということが認識される。よって、このピクセルとその周辺のピクセルとの間の変化を調べることによって、この変化は比較的低いはずである。しかし、残渣内にはあるがひだ内にはない点を調べたときには、その点は空気(低ピクセル値)および糞便(高ピクセル値)をまわりにもつはずである。よって、そのピクセルと周辺のピクセルとの変化は比較的大きくなるはずである。よって、残渣領域の同定後、処理は、比較的低い変化をもつピクセルの探索に関わる。次いでこれらのピクセルは画像に戻される(控除されるのではなく)。
【0027】
ひとたびひだ領域が同定されると、このプロセスへのさらなる洗練は、ひだ領域を定義するピクセルを拡張することを含みうる。この結果、それぞれの望まれるひだのより多くの部分が保持され、腸の内容物が控除された最終的な画像においても比較的薄い通常の構造をもつひだが与えられる。
【0028】
ここで図1を参照すると、仮想結腸内視術を実行するためのシステム10は、結合されたデータベースを有するコンピュータ断層(CT)撮像システム12を含んでいる。既知のように、CTシステム10は、体の断面を通じてのX線の減衰を測定することで人体の諸領域の二次元断面画像を生成する。そうした画像はデジタル画像または画像データとして画像データベース14に保存される。そのような二次元画像の系列を既知の技法を使って組み合わせることで、結腸の三次元画像が得られる。ユーザーインターフェース16は、ユーザーがCTシステムを操作することを許容し、またユーザーが画像データベースに保存されている画像にアクセスし、閲覧することをも許容する。
【0029】
デジタル腸控除プロセッサ(DBSP)18は画像データベース14およびユーザーインターフェース16に結合されている。DBSPは画像データベースから画像データを受け取り、その画像データを処理してデジタル画像から腸の内容物をデジタル的に除去する。DBSPは次いで画像を画像データベース14に戻して保存する。DBSPが画像を処理して画像から腸の内容物を控除または除去する具体的な仕方については、のちに図2〜6との関連で詳細に述べる。ここでは、DBSPがデジタル的に控除するかあるいはその他の方法でDBSPに与えられた画像から腸の内容物を除去するので、仮想結腸内視術を受ける患者は、患者にとって不快なものであることが知られている従来のような仕方で腸をきれいにする必要はないと言うにとどめておく。
【0030】
DBSP18は、少なくとも二つのモードのうちの一つで動作しうる。第一のモードはラスタモードと呼ばれ、DBSPは所定のパターンで画像中を動かされるマップまたは窓を利用する。ある好ましい実施形態では、パターンはラスタパターンに対応する。閾値処理が使われるが、これは、窓が画像全体を走査して画像内のピクセルに所定のシーケンスで閾値が適用されていくというものである。閾値処理は、絶対的な閾値が越えられたかどうか、そして越えられた率を評価する。ラスタスキャン閾値処理は、物質または物体(たとえば水もしくはその他の物質)を表す値をもつピクセルに近接(隣接も含む)する低密度領域(たとえば空気)を表す値をもつピクセル(時に「空気ピクセル」と呼ばれる)を同定するために使われる。プロセッサはピクセルのそれぞれを調べて、ネイティブな強調されていない軟組織を位置特定し、軟組織(たとえば腸壁)と腸の内容物との間の境界が確立され、境界のどちら側に現れるかに応じて諸ピクセルが所定の値にリセットされる。
【0031】
DBSP18の第二の動作モードはいわゆる勾配処理器モードである。勾配処理器モードでは、軟組織閾値(ST: soft tissue)、空気閾値(AT: air threshold)および腸閾値(BT: bowel threshold)が選択される。画像に第一のマスクが適用され、腸閾値よりも大きな値をもつすべてのピクセルがマークされる。次に諸画像におけるピクセルに勾配が適用され、画像中で空気値および腸値をもつはずのピクセルが同定される。勾配機能は高速に変化するピクセル値をもつ領域を同定する。経験的に、腸/空気および軟組織/空気の遷移領域は画像中で勾配閾値の適切な選択によって選択できる。勾配処理は、BT値よりも大きな値をもつ各ピクセルがマークされたあとに遷移領域における第一の肩領域を捕捉するために第二のマスクを使う。
【0032】
ひとたびDBSP18が画像から腸内容物を除去したら、腸壁の縁から腸内腔の「空気」まで動くときに比較的鮮鋭な境界と勾配が存在する。これは、控除処理の結果として、控除された腸内容物のすべてが同じ空気ピクセル値をもつことになるからである。よって、控除後には、腸壁の縁から腸内腔の「空気」まで動くときに鮮鋭な境界および勾配がある。ここで、「空気」とは空気の密度に対応する値にリセットされた画像ピクセルの値のことをいう。そのままにしておけば、この鮮鋭な境界(および勾配)は結局は結腸モデルの三次元の腔内評価を阻害することになる。鮮鋭なエッジはモデルにおいて明るい反射部として現れ、よって視覚的にじゃまになるからである。
【0033】
粘膜挿入プロセッサ19aを使って鮮鋭な境界をさらに処理することで、視覚的にじゃまになる領域の影響を小さくするか、そのような領域を除去するかする。鮮鋭なエッジは、腸内容物が抽出されるもとになった画像に勾配演算子を適用することによって位置特定される。勾配演算子は、ここで記載される勾配控除器法において境界領域を見出すために使われる勾配演算子と同様でありうる。ただし、この場合に使われる勾配閾値は典型的には腸内容物と腸壁との間の境界を確立するために使われたものとは異なる。
【0034】
使用すべき具体的な勾配閾値は経験的に決定できる。そのような経験的な選択は、たとえば、同じようなスキャンおよび腸準備技法のもとで検出された一組の画像についての勾配選択の結果を目で調べ、手動で勾配閾値を調整して適切な勾配(組織繊維選択器)の結果を得ることによって達成されうる。
【0035】
鮮鋭なエッジは結局は控除された画像において最高の勾配を有することになる。次いでこれらの境界(エッジ)ピクセルに対して、エッジを「平滑化」するためフィルタが適用される。ある実施形態では、制限ガウスフィルタ特性をもつフィルタが設けられる。制限というのは、平滑化は、境界に沿って所定の幅にわたってのみ行われることが許されるというものである。該所定の幅は、平滑化プロセスがいかなるポリープも、関心がある可能性のあるその他の腸構造も不明瞭にしないように選択されるべきである。ある実施形態では、該所定の幅は、10ピクセル未満の幅に対応する。ある好ましい実施形態では、該所定の幅は2ないし5ピクセルの範囲の幅に対応し、あるこの上なく好ましい実施形態では前記幅は3ピクセルの幅に対応する。結果は実質的に同じように、いくつかの場合には無傷の腸壁に見られる自然の粘膜と区別不能に見え、控除された画像の腔内評価を許容する。
【0036】
デジタル腸控除プロセッサ18はまた、ひだプロセッサ19bをも含んでいる。画像から腸内容物として同定または「タグ付け」された領域(以下では「タグ付け領域」)を控除するプロセスの間、ひだに対応する結腸の領域を控除することがありうることが認識されるに至っている。これは、控除プロセスの間、システムが期せずして、高密度にタグ付けされた物質(高ピクセル値によって表される)に接する軟組織要素(低ピクセル値によって表される)を控除してしまいうるからである。撮像プロセスの間に生じる体積平均化の人工効果(これはCT画像処理において不可避である)のため、低ピクセル値を割り当てられるべきであった(よって通常は画像からの腸内容物の控除後も保持されるはずの)ひだ領域のピクセルがそうではなく軟組織密度範囲の値を割り当てられる(その結果画像から控除される結果になる)。よって、画像のうち保持されるべきであった部分(すなわちひだ)がそうではなく画像から控除されて消されてしまう。
【0037】
ひだプロセッサ19bは画像からひだ領域が除去されるのを防止するのを助ける。図2および2Aとの関連でのちに与えられる記述から明らかとなるであろうように、ある好ましい実施形態では、ひだプロセッサは境界プロセッサおよび対称性プロセッサを含んでいる。これらは境界を同定し、画像のひだ領域の対称性特性を利用してひだを同定し、それによりひだが画像から控除されてしまうのを防ぐ。
【0038】
また、画像データベース14とユーザーインターフェース16との間には自動化ポリープ検出プロセッサ(APDP)20が結合されている。APDP20は画像データベースから画像データを受け取り、その画像データを処理してポリープ、腫瘍、炎症プロセスまたは結腸の解剖構造中でのその他の不規則性を検出および/または同定する。APDP20はよって、検査者(たとえば医師)がすべての画像を調べる必要がなく、画像のうちのポリープまたはその他の不規則性を有する可能性のある部分集合に注意を集中できるよう、データベース14における各画像を事前選別することができる。CTシステム10が仮想結腸内視術を受ける各患者について比較的多くの画像を生成するため、検査者は、該検査者が結腸中のポリープまたはその他の不規則性を最も検出しそうな諸画像に集中するより多くの時間を許される。APDP20が画像中のポリープを検出および/または同定するために画像を処理する具体的な仕方は、のちに図7〜9との関連で詳細に述べる。ここでは、APDP20は結腸の二次元または三次元画像を処理するために使うことができると言うにとどめておく。また、APDP20は従来式の仮想結腸内視術技法(たとえばCTスキャンに先立って患者が腸をきれいにする諸技法)を使って生成された画像を処理することもできるし、APDP20は腸内容物がデジタル的に控除された画像(たとえばDBSP18によって生成された画像)を処理することもできる。
【0039】
ポリープ検出システム20は、それにより生成された結果を指示システムに提供することができることも理解しておくべきである。指示システムは、検出システム20によって処理されたある画像における関心のある諸領域を注釈付けする(たとえばマーカー、アイコンまたはその他の手段の追加によって)かその他の仕方で(たとえば画像中の領域のまわりに線を引いたり画像中の領域の色を変えたりすることによって)同定するために使うことができるものである。
【0040】
ここで図2および2Aを参照すると、同様の要素は同様の参照符号を有するものとして与えられているが、腸断面100の画像は、腸の周を定義する腸壁101を含んでいる。腸はひだ102を含んでいる。腸画像の部分104a、104bは腸100の空気領域に対応し、腸画像の部分106a、106bは腸のうちその内容物を有する部分に対応する。腸のデジタル画像においては、空気領域104a、104bは低密度物質として現れ(よって、たとえば比較的小さな値をもつピクセルによって表現できる)、一方で腸内容物は高密度物質として表される(よって、たとえば前記低密度領域を要求するピクセルの値に比べて比較的大きな値をもつピクセルによって表現できる)。境界108は低密度領域104a、104bと高密度領域106a、106bの間に存在する。
【0041】
図2において最も明瞭に見て取れるように、ひだ領域102は比較的細長く、高密度物質106に突っ込んでいる。撮像プロセスの間に生じるピクセル値の平均化のため、ひだ領域102(またはひだ領域102の何らかの部分)は人工的に高密度物質の領域として表示されうる。よって、そのような表示のまま残されれば、そのひだ領域は、腸内容物を表す高密度領域106の一部として控除されることになる。
【0042】
しかし、本発明によれば、ある点が境界108領域沿いでかつひだ102中にあれば、その点はすべての側で低密度値をもつピクセルに囲まれているはずであることが認識されるに至った。よって、ひだ領域の内部では、該境界線108より下のひだ領域102でのピクセル値は実質的に境界線108より上のひだ領域102でのピクセル値に等しいという意味で、境界線108についての対称性がある。別の言い方をすると、ひだ領域102内のある選択された点のまわりのピクセルの変化を調べることによって、そのピクセルのまわりのピクセルに関する変化は比較的低いはずである。
【0043】
他方、残渣106内の境界108沿いにある(だがひだ102内にはない)点はそのまわりに空気(低ピクセル値)および糞便(高ピクセル値)の両方を有するはずである。よって、境界線108より下の領域106でのピクセル値は境界線108より上の領域104aまたは104bでのピクセル値に比べて実質的に異なる(たとえば比較的大きい)値を有するという意味で、境界線108について対称性はない。別の言い方をすれば、ひだ領域102内にない選択された点は、そのまわりのピクセル値の比較的大きな変化を有するはずである。
【0044】
このようにして、画像中でひだ領域(たとえばひだ領域102)を同定することが可能である。ひとたび低い変化をもつピクセルが同定されれば、それらのピクセルは画像から控除されるのではなく画像に戻される。
【0045】
ある実施形態では、低い変化をもつピクセルの同定は、窓110aを形成し、窓110a内のピクセル値をあるカーネルとの相関を取ることによってできる。境界108はある幅をもち、よって境界108の幅をまたぐに十分大きなサイズをもつ窓110aを与える必要があることは理解しておくべきである。実際的な用途では、境界108は典型的には最低3ないし5ピクセル幅である。窓110の大きさは経験的に決定されうる。もちろん、窓が期待されるひだの幅(典型的には約5ないし10ピクセルだが場合によっては11以上であったり4以下であったりすることもある)の中に収まるべきであることは理解しておくべきである。
【0046】
図2Aにおいて最も明瞭に見られるように、窓110aが生成され、境界108に沿って画像中をスライドまたは移動する。
【0047】
窓110aが領域104aおよび106aの両方の一部分を含むように位置されるとき、境界108より下のピクセルは境界108より上のピクセルの値に比べて比較的大きな値を有する。よって、境界108の上と下のピクセルの相関を取ると比較的高い相関値を生じ、これは境界108について対称性がないことを示す。
【0048】
窓が位置110bにスライドするとき、境界の上と下のピクセルの相関は、比較的低い相関値を生じる。境界の上と下のピクセルはいずれも低密度ピクセルに対応するからである。窓110が位置110cにスライドすると、境界の上と下のピクセルの相関は再び比較的高い相関値を生じる。境界108より上のピクセル値は低密度物質のピクセル値に対応する一方、境界108の下のピクセル値は高密度物質のピクセル値に対応するからである。
【0049】
このように、窓110を境界108に沿ってスライドさせることによって、画像中のひだ領域を同定することが可能である。
【0050】
図2および2Aではまっすぐな境界108が示されているものの、この技法はカーブした境界あるいは任意の形状の境界についても使用できる。
【0051】
この技法は二次元において記述されたものの、この技法は三次元においても同じように適用できることも理解されるべきである。つまり、幅、長さおよび深さをもつ窓が用意され、二次元境界ではなく表面上をスライドするのである。
【0052】
ひとたびひだ領域(たとえば図2のひだ領域102)をなすピクセルが同定され、画像に戻されたら、戻されたピクセルは拡張されることができる。この結果として、画像中にはそれぞれの所望のひだのより多くの部分が存在する結果となるが、その一方で同時に最終的な控除された画像において通常または自然な外観を有する比較的薄い構造が提供される。
【0053】
図3は、ひだ領域検出および自動化ポリープ検出を含むデジタル腸控除を実行するための、図1との関連で上述したような仮想結腸内視術システム10の一部などとして提供されうる処理装置によって実行される処理を示す流れ図である。長方形の要素(図3の要素120が典型例)はここでは「処理ブロック」と呼ばれ、コンピュータソフトウェア命令または命令グループを表す。
【0054】
代替的に、諸処理ブロックは、デジタル信号プロセッサ回路または特定用途向け集積回路(ASIC)といった機能的に等価な回路によって実行される機能を表現することができる。流れ図はいかなる特定のプログラミング言語のシンタックスを描くものでもない。むしろ、流れ図は、その特定の装置に必要とされる処理を実行するための回路を製造したり、あるいはコンピュータソフトウェアを生成したりするために当業者が必要とする機能情報を示している。ループおよび変数の初期化ならびに一時変数の使用といった日常的なプログラム要素は示されていないことを注意しておくべきであろう。ここで特に示されない限り、記述されるステップの特定の序列は例示的なものにすぎず、本発明の精神から外れることなく変えることができることは、当業者は理解することであろう。
【0055】
ここで図3に目を向けると、腸の画像においてひだ領域を検出および処理するためのプロセスは、ブロック120に示されるように空気境界を同定することによって開始される。ここでは空気‐水境界に言及しているが、いかなる具体的な境界(たとえば空気と水との間の境界)への言及も例であると意図されており、記述の明瞭さを増進するという理由のためになされており、限定するものとは意図されておらず、そのように解釈するべきではないことを理解しておくべきである。境界は空気と必ずしも水でない他の何らかの物質もしくは物体との間であってもよく、密度の異なる二つの物質の間であってもよいことを理解しておくべきである。次に、ブロック122で示されるように、相関行列が原画像の空気‐水境界に適用される。相関行列の適用は、空気‐水境界のまわりの対称性をもつ画像の領域の同定を許容する。そのような領域は当該画像の低変化領域に対応し、これらの領域はブロック124で示されるように同定される。ひとたび画像の低変化領域が同定されたら、これらの領域の形態上の領域拡張がブロック126で示されるように実行される。低変化領域がひだ領域に対応することを認識することにより、本質的にはひだ領域が拡張されている。この拡張プロセスの結果として、画像中にはそれぞれの所望のひだのより多くの部分が存在する結果となるが、その一方で同時にその画像を調べる人物によって見られるときの通常または自然な外観を有するひだ構造をもつ画像が提供される。
【0056】
ある実施形態では、画像から腸内容物を除去するために控除マスクが使用される。具体的には、控除マスクによってカバーされる領域が除去される。そのような実施形態では、ブロック126で実行される拡張操作の結果としては、控除マスクからのピクセル(ひだ領域を表すピクセル)の除去が生じる。ひだに対応するピクセルを控除マスクから除去することによって、画像から腸内容物が控除されたのちにひだ領域が画像中に残される。
【0057】
下記の図4での記述は中心線を見出すことに着目するものの、本技法はおそらくより適切には、画像のうち関心のあるセグメント、すなわち結腸を抽出する結腸セグメンテーションプロセッサによって実行される動作であるとして記述されることができることを理解しておくべきである。重要なことは、このステップをいわゆる極小準備(またはタグ付け)データセットにおいて実行しなければならないということである。ひとたび結腸が適切にセグメンテーションで切り出される、すなわち画像中で同定されれば、実際の中心線を計算することは従来の技法を使って達成できることは理解しておくべきである。二つの例示的な技法は形態上の細線化(morphological thinning)および中心軸変換(medial axis transform)計算であり、いずれもよく知られている。
【0058】
ここで図4および4Aを参照すると、結腸が洗浄されていないときの結腸の中心線を同定するためのプロセスが、第一の画像が選択されるブロック130で開始される。第一の選択された画像はここでは時にインデックス画像とも呼ぶ。処理は次いでブロック132に進み、ここでは結腸内にあるとわかっている第一の点(ここではシード点と呼ばれる)が同定される。シード点は手動で(たとえばユーザーにより)同定されてもよいし、あるいは実施形態によっては中心線プロセッサが自動的にシード点を決定してもよい。シード点の自動検出はたとえば、システムをして、まず結腸の最下面に対応する画像(すなわち、結腸の直腸/肛門部分を含む画像)を処理させることによって達成される。システムが、最下画像が処理されているということおよびどのような解剖学的構造がその画像中に現れるはずかについての先験的な知識を与えられていれば、システムは自動的にシード点を選択できる。ひとたびシード点がインデックス画像中で同定されれば、次いで結腸全体(腸内容物、空気およびいくらかの軟組織を含む)が画像中で同定できる。
【0059】
処理ブロック134で示されているように、次いで単純な控除が実行される。控除は、閾値および拡張技法を使って達成できる。次いでブロック138で示されるように諸領域が標識付けされる(たとえば、高密度物質または低密度物質のいずれかを含むものとして同定される)。ひとたび画像領域が標識付けされたら、ブロック140に示されるように、結腸領域はシード点(すなわち結腸内であるとわかっている点)を見出し、シード点にどの標識が割り当てられているかを判定することによって同定される。これで第一の画像が処理された。
【0060】
処理は次いで判断ブロック141に進む。ここでは処理すべき画像がまだあるかどうかについての判定がなされる。すべての画像が処理されたという判断がなされた場合には、中心線処理は終了する。他方、すべての画像が処理されたのではないとの判断がされれば、処理は処理ブロック142に進んで次の画像が選択される。また、先ほど処理された画像は「現在画像」として同定される。
【0061】
次いで処理はブロック144に進む。そこでは前記次の画像(すなわち現在処理されている画像)に対して単純な控除が実行される。控除は、閾値および拡張技法を使って達成できる。画像は空気および非空気の値を割り当てる(あるいは単に異なる密度の領域を示す値を割り当てる)閾値処理にかけられ、次いで諸領域が標識付けされる(たとえば、高密度物質または低密度物質のいずれかとして)。このことはブロック146および148に示されている。ひとたびブロック148で示されるように前記現在画像および前記次の画像の両方において画像領域が標識付けされたら、前記次の画像において結腸領域は、前記現在画像における結腸位置情報を使うことによって同定される。このようにして、一連の各画像における結腸の中心が見出され、それにより結腸中心線が確立されることが許容される。
【0062】
ここで図5を参照すると、腸内容物162を中に有する結腸160は、図4および4Aとの関連で上述した仕方で処理され、中心線164が与えられる。シード点が手動で(たとえばユーザーによって)与えられる場合には、点168a〜168dのうちのどれもがシード点として使うことができる。中心線プロセッサが自動的にシード点を検出する場合には、プロセスは最下画像170(インデックス画像とも呼ばれる)に関して開始され、直腸/肛門171に対応する画像170の中心に近いある点がシード点(すなわち、結腸の一部であるとわかっている画像中の点)として選択される。画像170が第一の画像として選択されたので、プロセスは画像172の方向に向かう各画像を逐次経ながら進む。
【0063】
ここで図6を参照すると、画像172は第一のオブジェクト174および第二のオブジェクト176を含むものとして示されている。オブジェクト174、176の両方とも高密度領域178、180を含むことは理解しておくべきである。腸の中心線が腸洗浄なしに見出されようとしているので、オブジェクト174、176のいずれかが腸に対応し、他方のオブジェクトが骨などといった他の何らかの構造に対応することが考えられる。構造176はまた、画像中の他のオブジェクトより低い密度をもつ領域182または諸領域(たとえば空気領域182)ならびに境界184をも含んでいる。
【0064】
ここで図7を参照すると、図6の同様の要素は同様の参照符号を与えられているが、空気領域182は境界190を有しており、結腸を他の物質から区別するのを助けるため、空気領域境界190は境界190aによって示されるように拡張される。同様に、内容物領域180は境界192を有しており、結腸を他の物質から区別するのを助けるために、内容物領域境界192は境界192aによって示されるように拡張される。領域178も境界194を有しており、これは境界194aによって示されるように拡張される。
【0065】
ここで図7Aを参照すると、空気および高密度領域の拡張の結果、重なり領域196が生成される。その際、各集合内の各点の和集合は結腸全体を同定するようにされる。集合の和集合内の点として含められるためには、点は連続的でなければならないことは理解しておくべきである。このようにして、構造178は構造178とは別個の構造として区別される。
【0066】
ここで図8を参照すると、中心線を見出すために、構造176′、178′が同定されている一対の画像200、202が処理される。現在画像200は、結腸内の点204がすでに同定されている画像に対応する。点204は上記のように手動または自動のどちらで同定されたのでもよい。ひとたび前記2つの画像が整列させられると、画像202におけるどの構造内に点204があるかについて判定がなされる。前記整列は従来のものと考えられるべきである。それは、両画像が同じスキャン手順において得られたものであり、CTスキャナによって確立された基準座標系内で固定位置を割り当てられているであろうという意味においてである。この特定の例では、点204は構造176″の内部にある。点204は結腸の内部にあるとわかっており、結腸に沿う方向に両画像200、202を隔てる距離Dは小さいとわかっているので、画像202における構造176″は結腸領域であるとして同定される。
【0067】
ここで図9を参照すると、上述したように、画像は図9に示される所与の方向に逐次的に処理されていく。いくつかの事例においては、たとえば結腸の曲がりに到達したときには画像が処理される方向を反転させることが必要であることは理解しておくべきである。結腸は時として180度の曲がり(屈曲、湾曲ともいう)をするのでこのことは重要である。そして結腸に関して解剖学的構造を正しくマッピングするためには、システムは結腸の解剖学的な方向(空間的方向に対して)に追随するよう方向を変えなければならない。反転すると、システムは、終端に到達したと判定する前に、少なくとも結腸の最大直径と等価な距離だけ「逆の」方向に続ける必要がある。なぜなら、管(たとえば結腸)のヘアピン様の曲がりを想像してみればわかるように、システムが一つのループを通って画像を処理して曲がりに達し、方向を反転させた場合、新たな連続的だがマークされていない結腸に遭遇しはじめるのは、ほぼ1直径に相当する距離下ってからのことだからである。1直径の距離は実際的な経験的な距離として採用されるが、もちろん、適切な処理を達成するために他の距離を使ってもよい。
【0068】
ここで図10および10Aを参照すると、結腸220の中心線222を見出すことによって、結腸は図10Aの参照符号220aによって示されるように「展開する」ことができる。ひとたび結腸が展開されたら、展開された結腸220aにポリープ検出技法を適用できる。中心線は二つの主要な用途がある。控除の改善(システムが三次元で折りたたまれた解剖学的構造を明瞭に追随できるようにすることによって)およびポリープ検出の改善である。結腸の解剖学的構造の全部が、中心線を用いれば可能であるように「平面」上に広げられたとすると、潜在的な病変は大きさに関して規格化されることができ、同時に目標病変の配向(回転)が最小化できる。
【0069】
ひとたび展開された結腸220aでポリープ(たとえばポリープ226a、226b)が同定されれば、結腸の三次元画像中でポリープ位置が同定される。未展開結腸のマップを使ってのポリープ検出へのアプローチについて次に述べる。
【0070】
以下の議論のため、CTCデータセットは上述した仕方で電子的にきれいにされていると想定する。DSBCのために意図されているもののようなほとんどの画像処理方法は、画像データセットに人工効果を導入する。具体的な意図は、予期される人工効果を適切に扱うために、極小準備および電子的にきれいにされたCTCデータセットのための判別子システムを最適化し、実装することである。
【0071】
検出の第一のステップは、結腸表面を画像データセットの残りの部分から分離することである。結腸表面をマッピングするための一つの有用な方法は、結腸中心線(すなわち、結腸の全長にわたってその内腔の中心に沿って走る三次元曲線)を計算することである。中心線は、幅広い画像処理問題の評価のための有用な構造体であり、形態上の細線化アルゴリズムおよび前記したいわゆる中心軸変換(MAT)の使用によって計算できる。形態上の細線化では、結腸内腔内の空気が関心のあるオブジェクトとされ、この空気の柱が逐次的に侵食され、結腸の中心軸に沿って単一の線セグメントが残るまで続けられる。中心軸変換は、前記柱内の規則的な間隔の点の集合と前記空気柱の外側境界との間の距離を表にする相補的アルゴリズムである。境界までのより大きな距離に関連付けられた点はより大きな値が割り当てられ、中心軸は、外側境界への最大距離をもつ点の集合として取られる。MATは、計算量的にはより高価ながら、一般には堅牢なアプローチである。
【0072】
結腸中心線の計算に続いて、動径距離シグネチャーが中心線の長さに沿って計算される。動径シグネチャーは、オブジェクトの中心からその境界までの距離を、動径方向の線分の360°掃引について表すグラフである。この場合、中心線から結腸粘膜表面への距離が中心線のまわりの一定の角度間隔ごとに測定され、そのプロセスが中心線曲線の長さに沿って繰り返される。この手順の結果は、各ピクセルの値が中心軸からの動径方向の距離を表す結腸の平面マップである。このプロセスは、結腸をまっすぐ伸ばし、縦に割いて病理標本のようにするのと似ている。このアプローチは、CTCについての評価のために、ファントムの場合と臨床の場合の両方において、結腸をマッピングするために用いられてきた。
【0073】
CT画像の標準的なユークリッド座標軸から結腸の長さに沿って位置する一連の座標に結腸粘膜の諸特徴を変換することは、ポリープ病変の配向を結腸粘膜に対して規格化する潜在的可能性を有する。これは、ポリープの大半が盛り上がった半円状であることによる。このため、ポリープは、結腸の内側表面の平面から突き出たほとんど半球状のオブジェクトとして見えるのである。上から見れば、これらのポリープはほとんど円形の輪郭を有すると期待される。
【0074】
マップ内の関心のあるオブジェクトの機械同定は、マップ内の諸特徴の予備的な切り出しを必要とする。このステップはセグメンテーションと呼ばれる。このプロセスは、分水セグメンテーション(watershed segmentation)として知られる方法によって達成できる。ひと言で言うと、この方法は、結腸マップの輪郭を数学上、洪水にし、水面より上に残っている諸特徴の輪郭線を評価するようなものと見ることができる。この類推では、すべてのオブジェクトが水没するまで水位の上昇が許され、アルゴリズムはマップの異なる領域からの水が混ざり合えるようになる直前の輪郭線の位置を表にする。このプロセスの結果は、マップ上の別個のオブジェクトを囲む連続的な境界の集合である。手順を最適化するため、分水セグメンテーションは通例画像の勾配変換(gradient transform)に対して適用される。勾配変換とは、形のエッジが強調された画像の表現である。エッジ強調は、画像マップをソーベル(Sobel)作用素のような作用素行列と畳み込みすることによって計算される。結腸マップの場合、強調されるべきエッジは、各特徴の動径方向の高さの結腸粘膜に沿った遷移である。これらの操作の結果は、結腸のマッピングされた内部表面に沿って位置するオブジェクトの集合の同定である。各オブジェクトの境界は、局所的な結腸表面が鋭く内側に発散する点からなる。以下は、このセグメンテーション過程によって同定されたこれらのオブジェクトを記述し、分類する二つの方法である。
【0075】
第一の方法は統計的記述に基づく(すなわち、ポリープ検出への統計的なアプローチである)。特徴判別のための統計的方法の主題については、よく発達した文献の集積がある。ポリープ検出の場合、セグメンテーションによって同定されたオブジェクトの境界および内部テクスチャーはそれぞれある中心点(重心と呼ばれる)のまわりのその分散、その平均および該平均のまわりのその分散を用いて記述される。重心とは、オブジェクトの重みをかけた平均であり、質量中心に対応する。平均と分散はそれぞれ標準的な統計的平均およびこの平均のまわりの二次モーメントである。特徴記述へのこのアプローチの一つの利点は、これらの統計的記述は、問題となっているオブジェクトの配向や縮尺には比較的依存せず不変であることである。目標オブジェクトがほぼ円形であるポリープ検出の場合、オブジェクト重心のまわりのオブジェクト境界の分散および各境界のコンパクト性は潜在的に一意的な値を与える。オブジェクトのコンパクト性(compactness)は式:(周)2/(面積)で定義される。オブジェクトのほぼ円形の表現では、境界分散および境界コンパクト性の両方が最小を示す。これに対し、結腸の他の構造は典型的には線形または曲がった線形である。よって、これらの構造のコンパクト性および境界分散はポリープのコンパクト性および境界分散とは区別可能であると期待できる。
【0076】
オブジェクトの内部テクスチャーも有用な分類情報を含んでいる。たとえば、オブジェクト内のピクセルの標準偏差および各オブジェクトを構成するピクセルの平均エントロピーはオブジェクト判別に有用であることが示されている。この場合、ピクセルの集合のエントロピーは、−Σ[p(i)log2p(i)]で定義される。ここで、p(i)はテクスチャー(CT密度)の値のヒストグラムを表す。和は、画像中での可能なテクスチャー値の範囲をなす各iについて実行される。結腸という設定では、結腸ポリープのよくある模倣者は残留糞便である。ポリープと同様、残留糞便はほとんど球形の輪郭を示しうる。しかし、ポリープは一様に軟組織密度を示すのに対し、残留便は一般に小さな気泡を含んでいる。この不均一性の結果として、ポリープと便の擬似病変とではテクスチャー分散およびエントロピーが異なっていると期待できる。
【0077】
一般に、パターン認識は境界およびテクスチャー記述子を組み合わせて単一の多次元特徴ベクトルにすることによって容易化できる。ポリープ検出の目的で輪郭およびテクスチャー解析の両者を組み合わせた研究で公開されたものはないと信じられるが、パターン認識のためのそれらの有用性を記述したものとしては膨大な文献がある。
【0078】
最もストレートなアプローチでは、パターン分類の目的のため、特徴ベクトルは、それらの間のユークリッド距離を計算することによって比較できる。ユークリッド距離は平面上での公式D=√((x0−x1)2+(y0−y1)2)に対する多次元の類推で、ここで、(x0,y0)および(x1,y1)は平面上での2点の座標を表す。特徴の類似したオブジェクトは小さなユークリッド距離を示し、経験的に閾値または判別子関数を設定することによって、未知のオブジェクトを、その特徴ベクトルの、既知のオブジェクトのベクトルへの距離に基づいて分類できる。実際上は、あるクラスのオブジェクトの特徴ベクトルの集合は同一ではない。そうではなく、オブジェクトの各クラス(ωjと記す)は統計的パラメータによって最もよく記述される。すなわち、平均特徴ベクトルmj、共分散行列Cjおよび生起確率P(j)である。これらのパラメータは、平均、分散および確率密度に基づく母集団の二次元評価と類似のものである。遭遇することになるオブジェクトの各クラスについてこれらのパラメータが知られていたら、理論上は、それらを分離するための明示的な判別子関数を定式化することが可能である。ベイズ判別子(Bayesian discriminator)と呼ばれるこの関数d( )は、一群のクラスjについて次の形をとる:
dj(x)=ln(P(ωj))+xTCj-1mj−1/2mjTCj-1mj
ここで、xは特徴ベクトル、xTはxの転置、CjおよびCj-1は共分散行列およびその逆、mjおよびmjTは平均特徴ベクトルおよびその転置、P(ωj)はクラスωjが生起する確率である。
【0079】
結腸中で遭遇されることになる軟組織密度構造の異なる種類の数は比較的少なく、ポリープ、膨起ひだ(haustral fold)および残留便が含まれる。ポリープ検出への一つのアプローチは、既知の結腸構造のライブラリを構築して、明示的な判別子を形成するために必要な平均、共分散および確率パラメータを導出することである。これらの構造の特徴ベクトルが明示的な判別子関数の構築を許容するのに十分に集群化するということは可能であるものの、これらのパラメータはまだ人間の結腸についてはカタログ化されていないと信じられる。
【0080】
諸オブジェクトクラスの平均特徴ベクトル、共分散行列および確率記述子が明示的に先験的に計算できない場合、有効なパターン判別が人工ニューラルネットワークの使用によって達成できることが示されている。この方法では、オブジェクトの特徴ベクトルは、ニューロンに対応する重みをかけられたノードの集合において評価される。各ノードは、入力値の組および関連付けられている重みに応じて非線形出力を生成する性質を有する。入力ノードは典型的には数において入力特徴ベクトルの次元に対応する。同様に、出力ノードは数において同定されるべき異なるオブジェクトクラスに対応する。ノードの重みの決定は、ネットワークを一組のトレーニングケースにかけることによって実行される。このプロセスでは、既知のクラスのベクトルがネットワークを通じてフィードフォワードされ、結果として得られる出力分類の誤差がステップごとにネットワークを通じて逆向きに伝搬される。各重みは、所与のノードにおいて先行層の入力と関連付けられた局所的な誤差を最小にするために調整される。トレーニングに続いて、未知の特徴ベクトルが後方フィードバックなしにネットワークを通じてフィードフォワードされ、クラスのメンバーであるかどうかが出力ノードの最終状態によって判定される。入力層、隠蔽層、出力層からなる3層ネットワークが理論上では任意の複雑さのオブジェクトクラスのグループを分離することができることが示されている。このため、カタログ化方法が実行不能であると判明した場合に結腸オブジェクトの特徴ベクトルを解析するためのもう一つの手段が存在する。
【0081】
ポリープ分類のためにとられる第二のアプローチ(ポリープ検出のための相関法と呼ばれる)は、平面状の結腸マップをテンプレート・マッチングと組み合わせる。このアプローチでは、結腸マップにおける諸オブジェクトのセグメント化された表現は、その大きさを規格化し、その内部テクスチャーの記述を組み込むためにさらに修正される。大きさについての規格化は、各オブジェクトのオブジェクト重心のまわりでの境界点の解析によって達成できる。この表現では、オブジェクトの境界点は、それぞれの動径に沿って、重心方向に、そのオブジェクトについての境界点の集合において観測される最小半径だけ位置を直される。このプロセスは、境界輪郭の基本的形態を保持し、大きめのオブジェクトについての境界点の変動を減少させる。オブジェクトの内部構成の記述は、オブジェクト境界の内部に含まれるピクセルの標準偏差によって表現できる。オブジェクトの規格化された表現内のピクセルはこの標準偏差の値に設定される。これらのステップの結果は、大きさについて規格化された輪郭を有し、オブジェクトの内部テクスチャーの標準偏差に設定された内部ピクセル値を有する平面状オブジェクトである。同様のマッピングがテンプレートポリープについて実行される――その輪郭および内部テクスチャーはそれぞれ大きさについて規格化され、内部の均一性を反映するよう修正される。テンプレートは次いで先に述べた相関プロセスにおいてテンプレートと組み合わされる。相関画像におけるピクセル値は、修正されたマップの各領域の修正されたテンプレートとの類似性を反映する。ピクセル値の鋭いピークは高い類似性の領域に対応し、ポリープの位置を表現すると解釈される。この種の相関ピークは高域通過フィルタおよび閾値によって選択されることができる。
【0082】
ポリープ検出システムをさらに発展させるもう一つのアプローチは、以下のように結腸マッピングおよびセグメンテーションを実装することによって提供されることができる。結腸の中心線はFerreira and Russによって記述されたアルゴリズムのような従来技術の技法を、結腸の屈曲を扱うためのZhangによって記述された修正とともに使って見出すことができる。結腸中心線が同定されたところで、結腸マッピングのプロセスが実行できる。臨床的に関心のある最小サイズのポリープは約7mmの大きさで、これは35cm視野CTCデータからの10個の等軸(isometric)ボクセルを表す。よって、計算効率とサンプリング誤差の最小化との兼ね合いのため、ソフトウェアは中心線を5ボクセル間隔でサンプリングする。中心線に沿った各停止における角度サンプリング間隔は同様の計算から導出される。CTCにおける通常の空気膨張された結腸の最大周は約180mmであり、これから50%のサンプリング重なりを達成するためには7°間隔となる。
【0083】
このセクションで記述される諸方法のための参照図が図11A〜Dに示されている。
【0084】
本技法は、結腸の中心線から内部表面への、三次元ユークリッド距離公式を使った動径距離を利用する。粘膜表面は、−50ハウンズフィールド単位より高いピクセルを排除するために設定されるグローバル閾値を使ってCTデータから切り出される。これまでの経験によれば、この閾値は粘膜の内面を明瞭に浮かび上がらせることが示されている。中心線のまわりの360°掃引ごとに、ソフトウェアは観測された最大半径rmaxを表にする。シグネチャーに沿った各点iの動径高さはrmax−riとして計算される。
【0085】
結腸マップのためのデータ構造体は三次元行列を含む。二つの軸は結腸の粘膜(内部)表面上の位置を記述し、第三の次元は表面からの特徴の動径高さを表現する。結腸内腔に突き出た構造の内部ボクセルは、切り出された結腸の動径シグネチャーの計算に基づいて、二つのステップでこの行列に組み込まれる。動径シグネチャーの最大rmaxは、結腸中心線に沿って動径シグネチャーが計算される各位置における結腸壁の最も膨張した領域を表すものと解釈される。結腸の角度シグネチャーの記録において、内部粘膜表面からrmaxまで伸びる動径セグメントに沿って位置する諸ボクセルはマップ行列に含められることになる。このようにして、マップは結腸内腔に突き出た諸特徴を表す諸層を有する。マップの高さ軸に沿った3つの追加的なレベルが使われる。その第一はz0と表され、動径高さデータを保持する。その第二であるz1はマップの勾配変換を保持し、第三であるz2は相関マッチングで使用うための各オブジェクトの規格化された形を保持する。
【0086】
レベルz1に位置する結腸マップの勾配変換はソーベル作用素を使って計算される。勾配はソーベル作用素とz0レベルデータとの畳み込みによって計算され、その結果は結腸内腔に突き出た構造の高さ軸に沿ったエッジを表現すると解釈される。
【0087】
次いでz1変換データに対する分水セグメンテーションが実行される。この分水セグメンテーションは、Bieniekの技法のようないかなる従来技術の技法を使って達成してもよい。分水法はその機能および出力の面でいくつかの既知の利点を有しているものの、このアルゴリズムは解析されている表面内の小規模な変動に起因する望まれない境界を生成することがあることが知られている。過剰セグメンテーションとして知られるこの問題は次のような仕方で対処できる。セグメンテーション・ステップに追加的情報をもたらすために解析されるべき表面を処理することでセグメンテーションの出力が改善できることが示されている。たとえば、平滑化フィルタの適用により小規模な表面変動の存在を減し、それらをセグメンテーションの偽目標として除去することができる。さらに、結腸マップの場合、勾配変換において十分高い勾配閾値を選ぶことで結腸表面に沿って関心のあるより大きな特徴のみの選択が許容されうる。これらの事前処理ステップはマーカー、すなわちセグメンテーションを最適化するために画像を事前フィルタ処理するのを助けるタグの生成につながる。
【0088】
特徴抽出および解析のプロセスは二つのアプローチに沿って続けることができる。その一方は画像特徴の統計的記述に基づき、もう一つは相関に基づく。以下に各方法についてのアプローチを述べる。
【0089】
一つの統計的アプローチでは、結腸マップから切り出された各オブジェクトについて、境界分散、境界コンパクト性、テクスチャー分散およびテクスチャーエントロピーが決定される。まず、データ構造のz1レベルで表現されている各オブジェクトの境界点の重心が決定される。これは、従来の技法を使って達成しうる。すると境界点の重心への距離の分散およびコンパクト性が決定できる。これも従来の技法を使って達成しうる。
【0090】
テクスチャー記述子について、結腸粘膜から生じる各三次元オブジェクトについての合成ボクセル(composite voxels)が集められる。一つのアプローチでは、これは二つのステップで達成できる。まず、切り出された各オブジェクトjについて、z1境界点を使ってz1の平面内に各オブジェクトの内点の集合z1内点jを定義することができる。データ構造の設計では、集合z1内点j内の各点piについて、各三次元オブジェクトの複合要素がpiより上の層のコラムにおいて保持される。これらの要素の垂直デリミタは、z0層の対応する角位置に保存されている動径シグネチャーである。よって、z1において定義された各平面状オブジェクトについて、結腸粘膜から生じる対応する三次元構造を構成するすべての要素を集めてきて該要素の平均、分散およびエントロピーを計算することができる。テクスチャー値の分散およびエントロピーは、Gonzalezによって記述されている技法のようなよく知られた技法を使って決定できる。
【0091】
相関アプローチでは、相関ベースのマッチング技法の評価のために、切り出された各オブジェクトの規格化されたバージョンが決定され、これらの表現がデータ構造のz2層に保存される。各オブジェクトの規格化されたバージョンは先に計算されたオブジェクト重心を中心としており、z1層に保存される。各オブジェクトについての大きさについての規格化は次のように進む。各オブジェクトについての境界点の集合と重心とを隔てる動径距離が決定される。境界点の各集合について観測された最小の動径距離rminは、各境界点を動径方向で重心に向かって変位させるのに使われる。変位は、各動径点半径をrminで割ることによる。その結果は、各オブジェクトの形を取り入れているが、大きさが小さくなった境界点の集合である。
【0092】
z2における各オブジェクトのテクスチャーは、ボクセル密度の標準偏差を計算することによってこの表現に組み込まれる。z1およびz2において表現されている各三次元オブジェクトをなす内部要素が統計的アプローチについて上述したように集められる。z2レベルにおける結果はオブジェクトの集合で、その境界はz1におけるオブジェクトに形態において対応するが、大きさについては規格化されており、その内部要素はオブジェクトテクスチャーを組み込んでいる。
【0093】
病変のカタログ化は統計的アプローチと相関アプローチのいずれを使ってもできる。一つの統計的アプローチでは、結腸内視術により確認されたポリープ、膨起ひだおよび便の擬似病変のグループについて境界分散、境界コンパクト性、テクスチャー分散およびテクスチャーエントロピーの推定がなされる。ポリープおよびその他のオブジェクトは以前に実行された研究CTC事例の大きなグループから抽出される。初期には、DSBC処理によって導入されるノイズを排除するために、伝統的な仕方で洗浄されたCTC検査に基づいて同定されたオブジェクトを使うことができる。あるプロトタイプ・システムでは、すでにライブラリにある50の病変は、同様に、大きさ5mmから35mmの範囲にわたるポリープのスペクトルを含む。膨起ひだは結腸の通常の一般的な構造であるので、これらについても多数が解析のために利用可能である。最後に、先例における便の擬似病変はカタログ化されており、これらのオブジェクトは、上記の技法を使って操作する実験的な実施形態において同定することが可能である。4つの統計的境界およびテクスチャー記述子は、上記したセグメンテーション・ステップに従ってCTCデータセットから計算できる。これらのデータは平均特徴ベクトルm、共分散行列Cおよびポリープ、膨起ひだおよび便の擬似病変についての生起確率を推定するために使われる。平均ベクトルおよび共分散行列は、Gonzalezによって記述された方法のような従来技術の技法を使ってベイズ・パターン判別子関数を構築するために基礎としてはたらくことができる。このアプローチによる解析ののち、ソフトウェアはポリープ・クラスに割り当てられたオブジェクトについて、各オブジェクトのz1層の重心を任意に大きな値にリセットすることによってフラグを立てる。マークされた重心のグループはポリープ候補のグループを表すと解釈され、これらのデータは評価を行う放射線医への識別のために、ポリープ・マークアップ・ルーチンに渡される。
【0094】
ベイズ判別子が十分にオブジェクトクラスの間の区別ができない場合には、無柄から有茎まで多様なポリープ形態が上記のアプローチのためには複雑すぎると判明することが考えられる。上に概説した特徴ベクトルのベイズ解析があまりに限界がある場合には、特徴ベクトルは三層人工ニューラルネットワークによって解析されてもよい。ベイズ技法の能力が不十分であることの判定は、結腸ファントム内のポリープの評価に基づいてなされることになる。一連のステップを以下に述べる。ベイズ法で結腸ファントム内のポリープについての感度が70%未満となる場合には、ニューラルネットワークによるアプローチが必要となりうると信じられる。ニューラルネットワーク設計についての手短な記述を以下に与える。
【0095】
構築されれば、三層ニューラルネットワークは4つの入力ノード、4つの隠蔽ノードおよび3つの出力ノードから構成されることになる。ネットワークの初期トレーニングは、伝統的な仕方で洗浄されたCTCから取得された一組のポリープ、ひだおよび擬似病変を用いて行われる。ネットワークノードの重みは初期には平均が0の小さなランダム値に設定される。これらは逆伝搬法に従って調整され、出力ノードがトレーニングの間モニタリングされる。プロセスは、ネットワークを、DSBC技法を使って得られた既知のファントム構造の組にさらすことに進む。人工ニューラルネットワークのパフォーマンスはトレーニングの間の段階を付けられたノイズへの暴露によって増加しうることが示されているからである。ネットワークについてのトレーニングが完了したと見なされるのは、クラスiのオブジェクトを呈示したときに、ノードOiの出力が0.95以上となり、他のすべてのノードの出力Oj(j≠i)が0.05以下となるときである。
【0096】
ある相関アプローチでは、規格化されたポリープ表現の属を生成するために上に概説した処理ステップを適用することによって、以前のデータのライブラリからポリープテンプレートを生成することができる。これらのポリープテンプレートは、イメージングデータ構造のz2レベルに保存されている結腸の規格化された表現と畳み込みされる。結果として得られる相関画像は、二次元高域通過フィルタを使ってフィルタ処理される。マッチの領域を最も表していそうな相関の鋭いピークを強調するためである。さらに、相関ピークを相関画像の残りからさらに孤立させるためにグローバル閾値を用いることが期待される。この閾値の値は経験的に決定できる。フィルタ処理された閾値処理された相関ピークの位置は、この技法についてのポリープ候補を表す。次いでこれらのデータはポリープ・マークアップ・ルーチンに渡される。
【0097】
次に、検出システムのポリープ・マークアップおよび出力について述べる。当該ポリープ・クラスに割り当てられたオブジェクトは、z1層における重心要素を任意に大きな値に設定することによってフラグを立てられる。その後、フラグを立てられた重心要素のグループはポリープ・マークアップ・システムによって処理される。このルーチンは各重心位置を取り、この値をもとのCTデータセットへマッピングし戻す。最後に、マークアップ・ルーチンは、重心位置に局所的な結腸の粘膜表面を白でエッチングする。このようにして、検出システムの出力が吟味する放射線医に表示される。
【0098】
本発明の好ましい実施形態について述べてきたが、当業者には今や、これらの概念を組み込んだその他の実施形態を使うこともできることは明らかとなるであろう。したがって、本発明は記載された実施形態に限定されるべきではなく、付属の請求項の精神および範囲によってのみ限定されるべきであると述べておく。
【図面の簡単な説明】
【0099】
【図1】デジタル腸控除および自動ポリープ検出のためのシステムのブロック図である。
【図2】腸のひだを検出および処理する技法を図解する図の系列の1つめである。
【図2A】腸のひだを検出および処理する技法を図解する図の系列の2つめである。
【図3】画像中の腸のひだ領域を処理するためのプロセスを示す流れ図である。
【図4】結腸内の中心線を見出すプロセスを示す流れ図の前半である。
【図4A】結腸内の中心線を見出すプロセスを示す流れ図の後半である。
【図5】中心線をもつ結腸の図である。
【図6】図5の線6‐6にわたって取られた結腸の断面図である。
【図7】図5の線6‐6にわたって取られた、拡張領域境界をもつ結腸の断面図である。
【図7A】図5の線6‐6にわたって取られた、拡張領域境界をもつ結腸の断面図である。
【図8】第一の画像から第二の画像へ結腸同定を延ばすよう整列された一組の画像を示す図である。
【図9】結腸の一連の画像において結腸領域を定義するために使用される、処理の方向を示す結腸の図である。
【図10】中心線をもつ結腸の図である。
【図10A】結腸中心線が同定されたあとで生成され、ポリープ検出に使用できる結腸マップの図である。
【図11A】結腸中心線と3Dデータセットとの間の対応を示す一連の図の一つである。
【図11B】結腸中心線と3Dデータセットとの間の対応を示す一連の図の一つである。
【図11C】結腸中心線と3Dデータセットとの間の対応を示す一連の図の一つである。
【符号の説明】
【0100】
12 CTシステム
14 画像データベース
16 ユーザーインターフェース
18 デジタル腸控除プロセッサ
19A 粘膜挿入プロセッサ
19B ひだ対称性プロセッサ
20 自動化ポリープ検出プロセッサ
120 空気‐水境界を同定
122 相関行列を原画像の空気‐水境界に適用
124 画像の低変化領域を同定
126 形態上の領域拡張を実行
130 第一の画像を選択
132 第一の画像で結腸を同定(シード点を選択)
134 単純な控除を実行
136 画像を空気/非空気の値に閾値処理
138 画像領域に標識付け
140 結腸中でのシード点の標識を見出すことにより結腸領域を同定
141 処理すべき画像まだあるか?
142 次の画像を選択(そして先の画像は現在画像として同定)
144 次の画像に対して単純な控除を実行
146 画像を空気/非空気の値に閾値処理
148 現在画像および次の画像の画像領域に標識付け
150 現在画像中での結腸位置の情報を使うことにより次の画像における結腸領域を同定
【技術分野】
【0001】
本発明は、概略的には結腸内視術に、より詳細には腸の画像を処理し、画像中でポリープを検出するためのシステムおよび方法に関する。
【背景技術】
【0002】
当技術分野において知られているように、結腸内視術とは、結腸を調査して結腸の解剖構造におけるポリープ、腫瘍または炎症プロセスといった異常を検出するための医学的処置のことをいう。結腸内視術は、典型的には一端にイメージング(たとえば光ファイバー)またはビデオ録画機能をもつ結腸内視鏡というしなやかな環状構造を用いて結腸の直接的な内視鏡検査を含む処置である。結腸内視鏡は患者の肛門から挿入され、結腸の長さに沿って指向され、それにより結腸ポリープおよび腫瘍の直接的な内視鏡による可視化を許容し、場合によっては内視鏡生検およびポリープ切除の機能をも提供する。結腸内視術は結腸検査の精密な手段を提供するものの、時間がかかり、実施が高価であり、検査者の細大の注意および技量が要求される。この処置はまた、下剤および浣腸剤の摂取ならびに通例は軽い麻酔を含む周到な患者の準備を要求する。また、結腸内視術は侵襲的処置であるため、結腸への傷害の著しいリスクがあり、致命的になりうる結腸穿孔および腹膜炎の可能性もある。
【0003】
これらの欠点を克服するため、仮想結腸内視術が着想された。仮想結腸内視術はコンピュータ断層(CT: computed tomography)撮像システム(コンピュータ支援断層(CAT: computer assisted tomography)撮像システムとも呼ばれる)によって生成される画像を利用する。CT(またはCAT)撮像システムにおいては、体の断面を通じてのX線の減衰測定を使って人体の諸領域の断面画像を生成するためにコンピュータが使用される。仮想結腸内視術では、CT撮像システムは腸の内部の二次元画像を生成する。一連のそのような二次元画像を組み合わせれば結腸の三次元画像が得られる。このアプローチは患者への内視鏡の挿入を必要とせず、よって結腸への傷害のリスクならびに結腸穿孔および腹膜炎の可能性を回避するものの、このアプローチでも下剤および浣腸を含む周到な患者の準備はやはり必要とされる。一般に、患者は絶食し、かなり大量の下剤を(典型的には飲むことによって)摂取することによって腸をきれいにする必要がある。仮想結腸内視術に関するもう一つの問題は、仮想結腸内視術の技法を使った検査および診断の精度が望まれるほど正確でないということである。これは、少なくとも部分的には、結腸内にポリープ、腫瘍または異常が存在しているかどうかを判定するために検査者(たとえば医師)が調べる必要のある画像の数がかなり多いことに起因している。
【発明の開示】
【発明が解決しようとする課題】
【0004】
さらに、結腸は折りたたまれた領域(あるいはより簡単に「ひだ(folds)」)を有する傾向がある。結腸の画像において、ひだは時として腸の内容物と区別するのが困難であり、よって時として意図せずして腸の内容物として標識付けまたは「タグ付け(tagged)」されてしまう。腸の内容物が画像からデジタル的に控除される(subtracted)とき、ひだ領域も控除される。この結果、処理された画像(すなわち内容物がデジタル的に除去された結腸の画像)に空隙ができたり、想定外のひだの控除に起因するその他の人工効果が生じたりすることになる。そのような空隙や人工効果は画像を調べる人(たとえば医師またはその他の医療担当者)にとってじゃまになる。
【0005】
したがって、腸の画像に現れるひだ領域を処理するための技法を提供することが望ましいであろう。
【課題を解決するための手段】
【0006】
本発明によれば、ひだ処理システムは、腸内のひだを検出して該ひだを画像中の腸の一部であると同定するひだプロセッサを含む。この具体的な構成により、腸のひだの不必要な控除を減らすシステムおよび技法が提供される。ある好ましい実施形態では、ひだ処理システムは、デジタル画像中で境界(たとえば空気‐水境界)を同定し、対称性を利用して画像中にひだが存在するかどうかを判定する。ひだがみつかれば、ひだは腸の内容物ではなく腸の一部であるとして同定される(すなわち標識付けまたはタグ付けされる)。よって、腸の内容物がデジタル的に画像から控除されるときにひだ領域は画像中に残される。
【0007】
本発明のさらなる側面によれば、結腸のデジタル画像中のひだ領域を処理するためのシステムは、第一のデジタル画像を受け取って、該画像中に第一の密度をもつ第一の物質と第二の異なる密度をもつ第二の物質との境界を同定する境界プロセッサと、該画像の前記境界についての一つまたは複数の部分を処理して前記境界について対称性が存在するかどうかを判定し、画像中で境界についての対称性をもつ領域を同定する対称性プロセッサとを含む。
【0008】
本発明の今ひとつのさらなる側面によれば、未洗浄結腸の画像中の結腸中心線を同定するためのシステムおよび技法は、結腸内にあるとわかっている第一の点(またはシード点)を同定することを含む。次いでシード点のまわりの領域が標識付けされる(たとえば、高密度または低密度物質のどちらかを含んでいるとして同定される)。ひとたび画像領域が標識付けされたら、シード点(すなわち、結腸内であるとわかっている点)をみつけ、シード点にどの標識が付されているかを判別することによって結腸領域が同定される。次いで、同じ標識をもつシード点のまわりの諸領域が結腸内であると同定される。次の結腸画像は画像中で諸領域を標識付けし、以前に処理された画像からの結腸情報を使うことによって処理され、現在処理されている画像中の結腸が同定される。ひとたび各画像中で結腸が同定されたら、各画像中で結腸の中心がみつかり、それにより結腸中心線を確立することが許容される。シード点は手動で同定されても、自動的に同定されてもよい。自動同定は、まず結腸の下面に対応する画像を処理し、画像中に現れるはずの解剖学的構造に関わる情報を使うことによって達成されうる。
【0009】
本発明の今ひとつのさらなる側面によれば、電子的にきれいにされた結腸画像データセット(たとえば結腸のCT画像データセット)におけるオブジェクト(ポリープを含む)を検出するシステムおよび技法は、結腸表面を画像データセットの残りの部分から分離することを含む。次いで、分離された結腸表面に対応する画像データセットの部分が処理されて、結腸の平面マップが生成される。平面マップ中の各ピクセルの値は、平面マップの中心軸からの動径距離に対応する。次いで結腸の平面マップ内の諸特徴の切り出しが実行される。すると、このセグメンテーション過程によって同定されたオブジェクト(ポリープを含む)が記述され、分類されることができる。画像内でオブジェクト(ポリープを含む)を同定および/または分類するためには統計的または相関技法を使うことができる。
【0010】
本発明そのものだけでなく本発明の以上の特徴は図面の以下の記述からより完全に理解されうる。
【発明を実施するための最良の形態】
【0011】
デジタル腸控除プロセッサ(DBSP: digital bowel subtraction processor)および/または自動化ポリープ検出プロセッサ(APDP: automated polyp detection processor)ならびにデジタル的に腸をきれいにし、自動的にポリープを検出するために実行される動作について述べる前に、若干の導入的な概念および用語を説明しておく。
【0012】
コンピュータ断層撮影(CT)システムは、デジタル値のマトリクスとしてコンピュータまたはその他のデジタル処理装置の記憶装置に保存できる信号を生成する。ここでの記述では、CT画像は二次元配列をなす、それぞれデジタルワードによって表されるピクセルに分割されている。当業者はここに記載される技法がさまざまな大きさおよび形状の配列に適用可能であることを認識するであろう。ピクセルの二次元配列を組み合わせることでピクセルの三次元配列が形成できる。各デジタルワードの値はそのピクセルにおける画像の強度に対応する。そのような仕方で表現される画像を表示する技法ならびにそのような画像をプロセッサからプロセッサへと渡す技法は既知である。
【0013】
ここでの記述では、デジタルデータの値(すなわち数値)の配列は一般に「デジタル画像」あるいはより簡単に「画像」と呼ばれ、たとえばメモリのようなデジタルデータ記憶装置に、ある場面における密度の値の空間分布を表現する数値の配列として保存されうる。ここでの用法では、「原画像」という述語はCTまたはその他の種類のスキャナ機から出力される表現マトリクスから与えられる画像を指す。
【0014】
配列中の数値のそれぞれは、デジタルワードとして表現でき、典型的には「画素」または「ピクセル」または「画像データ」と呼ばれる。画像は二次元配列のピクセルに分割されることができ、各ピクセルがデジタルワードによって表される。よって、ピクセルは画像中で特定の空間座標に位置する単一の瞬間的な値を表現する。
【0015】
デジタルワードがある数のビットからなり、本発明の技法が何ビットのデジタルワードについても使用できることは理解しておくべきである。たとえば、デジタルワードは8ビットの二進値、12ビットの二進値、16ビットの二進値、32ビットの二進値、64ビットの二進値、または他の任意のビット数(たとえば128ビットまたはそれ以上)の二進値として与えられうる。上記のビット数のそれぞれより多い、あるいは少ないビット数も使用されうる。
【0016】
また、ここに記載される技法は階調画像またはカラー画像のいずれにも同じように適用されうることを注意しておくべきであろう。灰色階調画像の場合、各デジタルワードの値はピクセルの強度に、よってその特定のピクセル位置における画像に対応する。カラー画像の場合、ここでは時に、各ピクセルが、赤色を表す所定の数(たとえば8ビット)のビット(Rビット)、緑色を表す所定の数(たとえば8ビット)のビット(Gビット)および青色を表す所定の数(たとえば8ビット)のビット(Bビット)によって表現されるという言い方をする。これはいわゆるRGB表色系を使ったもので、各ピクセルについての色および輝度の値はRGBの値から計算できる。よって、8ビットのカラーRGB表現では、1ピクセルは24ビットのデジタルワードによって表現されうる。
【0017】
もちろん、RGB値のそれぞれについて8ビットより多い、あるいは少ないビット数を使うことも可能である。また、色相、彩度、明度(HSB: hue, saturation, brightness)方式またはシアン、マゼンタ、イエロー、ブラック(CMYK: cyan, magenta, yellow, black)方式といったその他の表色系を使ってカラーピクセルを表現することも可能である。よって、ここに記載される技法は複数の表色系に適用できることを注意しておくべきであろう。それには、上述したRGB、HSB、CMYK方式や輝度およびカラー軸a&b(Lab)YUV色差色座標系、カルーネン・レーベ(Karhunen-Loeve)色座標系、網膜円錐色座表系およびXYZ方式が含まれるがこれに限定されない。
【0018】
ここでは時に、画像のことを二次元ピクセル配列という言い方をする。配列サイズの例は512×512の大きさである。当業者はもちろん、ここに記載される技法がさまざまなサイズおよび形状のピクセル配列に適用可能であることを認識するであろう。それには不規則な形状のピクセル配列も含まれる。
【0019】
「画像領域」あるいはより簡単に「領域」とは画像の一部分である。たとえば、画像が32×32のピクセル配列として与えられる場合、領域はその32×32のピクセル配列のある4×4の部分に対応するなどである。
【0020】
多くの事例において、画像中のピクセルのグループが同時考察のために選択される。そのような選択技法の一つが「マップ(map)」または「ローカル窓(local window)」と呼ばれている。たとえば、ピクセルの3×3部分配列を考える場合、そのグループは3×3のローカル窓内にあるという。当業者はもちろん、ここに記載される技法がさまざまな大きさおよび形状のローカル窓に適用可能であることを認識するであろう。それには不規則な形状の窓も含まれる。
【0021】
しばしば、画像から形成できるそのようなあらゆるピクセルのグループを処理することが必要である。そうした事例では、ローカル窓は画像を横切って「スライド」すると考えられる。ローカル窓はあるピクセルの上に置かれ、次いで移動して別のピクセルの上に置かれ、また次に別のピクセル、というようになるからである。時に、「スライド」はラスタパターンでなされる。ただし、他のパターンも使用可能であることを注意しておくべきであろう。
【0022】
また、ここに記載される検出技法は結腸中のポリープを検出することを背景として述べられるものの、当業者はこれらの検出技法がポリープ以外の構造を探して検出するためにも使われうること、および該技法が腸や結腸以外の体の領域でも応用を見出しうることを理解するはずであることを理解しておくべきであろう。
【0023】
結腸から内容物を控除することへの一つのアプローチは、まず空気領域の形態上の拡張と拡張された糞便領域と拡張された縁領域(これらは勾配を見出す機能および形態上の拡張を使うことによって見出される)との交わりを同定することである。システムは次いで、これら3つの領域の交わりを、除去することが好ましい残渣であると近似する。この技法は画像から腸の内容物をデジタル的に控除するという意味では満足のいく結果を与えるものの、過剰控除の問題につながりうる。時には画像中に残るべきであるひだが除去される残渣領域を横切ることがあり、そのためそうしたひだが除去されてしまうからである。
【0024】
このことは、画像中のひだが腸の内容物と一緒に画像から除去されてしまうという望ましくない結果をもたらす。よって、本発明によれば、いくつかのシステムでは、結腸のタグ付けされた領域を正しく控除し、粘膜再構成を実行することが可能になるが、それでも画像の一部を過剰控除してしまうということが認識されるに至った。ひだの過剰控除が生じると、システムはひだ領域に人工効果を残しうる。
【0025】
ひだ領域のこの誤同定は、少なくとも部分的には、撮像過程における体積平均化技法(これはCT処理においては不可避である)のために生じる。具体的には、同定された(すなわち「タグ付けされた」)糞便が比較的細い軟組織領域に接するとき、体積平均化は軟組織領域(これは低いピクセル値をもつ画像領域として表されるべきである)に腸の内容物(すなわち高いピクセル値をもつ画像領域)を表すピクセル値を近似するピクセル値を割り当てさせてしまうことができる。よって、これらのひだ領域では、低いピクセル値を割り当てられる(よって腸の内容物の控除後に通常は保持される)べきピクセルはそうではなく軟組織の密度範囲の値を割り当てられてしまう。結果として、画像の保持されるべき部分(たとえばひだ領域)がそうではなく腸の内容物とともに画像から控除して消されてしまう。
【0026】
ひだ領域が画像に残ることを可能にしつつ腸の内容物の控除を可能にする一つのアプローチは、ひだ対称性処理法と呼ばれる。このアプローチでは、画像中のオブジェクトの対称性を利用して画像中のひだ領域が同定される。対称性法では、ある点が残渣(腸の内容物とも呼ばれる)とひだとの交わり(intersection)の中にあれば、その点はあらゆる側で軟組織様のピクセルによって囲まれるはずであるということが認識される。よって、このピクセルとその周辺のピクセルとの間の変化を調べることによって、この変化は比較的低いはずである。しかし、残渣内にはあるがひだ内にはない点を調べたときには、その点は空気(低ピクセル値)および糞便(高ピクセル値)をまわりにもつはずである。よって、そのピクセルと周辺のピクセルとの変化は比較的大きくなるはずである。よって、残渣領域の同定後、処理は、比較的低い変化をもつピクセルの探索に関わる。次いでこれらのピクセルは画像に戻される(控除されるのではなく)。
【0027】
ひとたびひだ領域が同定されると、このプロセスへのさらなる洗練は、ひだ領域を定義するピクセルを拡張することを含みうる。この結果、それぞれの望まれるひだのより多くの部分が保持され、腸の内容物が控除された最終的な画像においても比較的薄い通常の構造をもつひだが与えられる。
【0028】
ここで図1を参照すると、仮想結腸内視術を実行するためのシステム10は、結合されたデータベースを有するコンピュータ断層(CT)撮像システム12を含んでいる。既知のように、CTシステム10は、体の断面を通じてのX線の減衰を測定することで人体の諸領域の二次元断面画像を生成する。そうした画像はデジタル画像または画像データとして画像データベース14に保存される。そのような二次元画像の系列を既知の技法を使って組み合わせることで、結腸の三次元画像が得られる。ユーザーインターフェース16は、ユーザーがCTシステムを操作することを許容し、またユーザーが画像データベースに保存されている画像にアクセスし、閲覧することをも許容する。
【0029】
デジタル腸控除プロセッサ(DBSP)18は画像データベース14およびユーザーインターフェース16に結合されている。DBSPは画像データベースから画像データを受け取り、その画像データを処理してデジタル画像から腸の内容物をデジタル的に除去する。DBSPは次いで画像を画像データベース14に戻して保存する。DBSPが画像を処理して画像から腸の内容物を控除または除去する具体的な仕方については、のちに図2〜6との関連で詳細に述べる。ここでは、DBSPがデジタル的に控除するかあるいはその他の方法でDBSPに与えられた画像から腸の内容物を除去するので、仮想結腸内視術を受ける患者は、患者にとって不快なものであることが知られている従来のような仕方で腸をきれいにする必要はないと言うにとどめておく。
【0030】
DBSP18は、少なくとも二つのモードのうちの一つで動作しうる。第一のモードはラスタモードと呼ばれ、DBSPは所定のパターンで画像中を動かされるマップまたは窓を利用する。ある好ましい実施形態では、パターンはラスタパターンに対応する。閾値処理が使われるが、これは、窓が画像全体を走査して画像内のピクセルに所定のシーケンスで閾値が適用されていくというものである。閾値処理は、絶対的な閾値が越えられたかどうか、そして越えられた率を評価する。ラスタスキャン閾値処理は、物質または物体(たとえば水もしくはその他の物質)を表す値をもつピクセルに近接(隣接も含む)する低密度領域(たとえば空気)を表す値をもつピクセル(時に「空気ピクセル」と呼ばれる)を同定するために使われる。プロセッサはピクセルのそれぞれを調べて、ネイティブな強調されていない軟組織を位置特定し、軟組織(たとえば腸壁)と腸の内容物との間の境界が確立され、境界のどちら側に現れるかに応じて諸ピクセルが所定の値にリセットされる。
【0031】
DBSP18の第二の動作モードはいわゆる勾配処理器モードである。勾配処理器モードでは、軟組織閾値(ST: soft tissue)、空気閾値(AT: air threshold)および腸閾値(BT: bowel threshold)が選択される。画像に第一のマスクが適用され、腸閾値よりも大きな値をもつすべてのピクセルがマークされる。次に諸画像におけるピクセルに勾配が適用され、画像中で空気値および腸値をもつはずのピクセルが同定される。勾配機能は高速に変化するピクセル値をもつ領域を同定する。経験的に、腸/空気および軟組織/空気の遷移領域は画像中で勾配閾値の適切な選択によって選択できる。勾配処理は、BT値よりも大きな値をもつ各ピクセルがマークされたあとに遷移領域における第一の肩領域を捕捉するために第二のマスクを使う。
【0032】
ひとたびDBSP18が画像から腸内容物を除去したら、腸壁の縁から腸内腔の「空気」まで動くときに比較的鮮鋭な境界と勾配が存在する。これは、控除処理の結果として、控除された腸内容物のすべてが同じ空気ピクセル値をもつことになるからである。よって、控除後には、腸壁の縁から腸内腔の「空気」まで動くときに鮮鋭な境界および勾配がある。ここで、「空気」とは空気の密度に対応する値にリセットされた画像ピクセルの値のことをいう。そのままにしておけば、この鮮鋭な境界(および勾配)は結局は結腸モデルの三次元の腔内評価を阻害することになる。鮮鋭なエッジはモデルにおいて明るい反射部として現れ、よって視覚的にじゃまになるからである。
【0033】
粘膜挿入プロセッサ19aを使って鮮鋭な境界をさらに処理することで、視覚的にじゃまになる領域の影響を小さくするか、そのような領域を除去するかする。鮮鋭なエッジは、腸内容物が抽出されるもとになった画像に勾配演算子を適用することによって位置特定される。勾配演算子は、ここで記載される勾配控除器法において境界領域を見出すために使われる勾配演算子と同様でありうる。ただし、この場合に使われる勾配閾値は典型的には腸内容物と腸壁との間の境界を確立するために使われたものとは異なる。
【0034】
使用すべき具体的な勾配閾値は経験的に決定できる。そのような経験的な選択は、たとえば、同じようなスキャンおよび腸準備技法のもとで検出された一組の画像についての勾配選択の結果を目で調べ、手動で勾配閾値を調整して適切な勾配(組織繊維選択器)の結果を得ることによって達成されうる。
【0035】
鮮鋭なエッジは結局は控除された画像において最高の勾配を有することになる。次いでこれらの境界(エッジ)ピクセルに対して、エッジを「平滑化」するためフィルタが適用される。ある実施形態では、制限ガウスフィルタ特性をもつフィルタが設けられる。制限というのは、平滑化は、境界に沿って所定の幅にわたってのみ行われることが許されるというものである。該所定の幅は、平滑化プロセスがいかなるポリープも、関心がある可能性のあるその他の腸構造も不明瞭にしないように選択されるべきである。ある実施形態では、該所定の幅は、10ピクセル未満の幅に対応する。ある好ましい実施形態では、該所定の幅は2ないし5ピクセルの範囲の幅に対応し、あるこの上なく好ましい実施形態では前記幅は3ピクセルの幅に対応する。結果は実質的に同じように、いくつかの場合には無傷の腸壁に見られる自然の粘膜と区別不能に見え、控除された画像の腔内評価を許容する。
【0036】
デジタル腸控除プロセッサ18はまた、ひだプロセッサ19bをも含んでいる。画像から腸内容物として同定または「タグ付け」された領域(以下では「タグ付け領域」)を控除するプロセスの間、ひだに対応する結腸の領域を控除することがありうることが認識されるに至っている。これは、控除プロセスの間、システムが期せずして、高密度にタグ付けされた物質(高ピクセル値によって表される)に接する軟組織要素(低ピクセル値によって表される)を控除してしまいうるからである。撮像プロセスの間に生じる体積平均化の人工効果(これはCT画像処理において不可避である)のため、低ピクセル値を割り当てられるべきであった(よって通常は画像からの腸内容物の控除後も保持されるはずの)ひだ領域のピクセルがそうではなく軟組織密度範囲の値を割り当てられる(その結果画像から控除される結果になる)。よって、画像のうち保持されるべきであった部分(すなわちひだ)がそうではなく画像から控除されて消されてしまう。
【0037】
ひだプロセッサ19bは画像からひだ領域が除去されるのを防止するのを助ける。図2および2Aとの関連でのちに与えられる記述から明らかとなるであろうように、ある好ましい実施形態では、ひだプロセッサは境界プロセッサおよび対称性プロセッサを含んでいる。これらは境界を同定し、画像のひだ領域の対称性特性を利用してひだを同定し、それによりひだが画像から控除されてしまうのを防ぐ。
【0038】
また、画像データベース14とユーザーインターフェース16との間には自動化ポリープ検出プロセッサ(APDP)20が結合されている。APDP20は画像データベースから画像データを受け取り、その画像データを処理してポリープ、腫瘍、炎症プロセスまたは結腸の解剖構造中でのその他の不規則性を検出および/または同定する。APDP20はよって、検査者(たとえば医師)がすべての画像を調べる必要がなく、画像のうちのポリープまたはその他の不規則性を有する可能性のある部分集合に注意を集中できるよう、データベース14における各画像を事前選別することができる。CTシステム10が仮想結腸内視術を受ける各患者について比較的多くの画像を生成するため、検査者は、該検査者が結腸中のポリープまたはその他の不規則性を最も検出しそうな諸画像に集中するより多くの時間を許される。APDP20が画像中のポリープを検出および/または同定するために画像を処理する具体的な仕方は、のちに図7〜9との関連で詳細に述べる。ここでは、APDP20は結腸の二次元または三次元画像を処理するために使うことができると言うにとどめておく。また、APDP20は従来式の仮想結腸内視術技法(たとえばCTスキャンに先立って患者が腸をきれいにする諸技法)を使って生成された画像を処理することもできるし、APDP20は腸内容物がデジタル的に控除された画像(たとえばDBSP18によって生成された画像)を処理することもできる。
【0039】
ポリープ検出システム20は、それにより生成された結果を指示システムに提供することができることも理解しておくべきである。指示システムは、検出システム20によって処理されたある画像における関心のある諸領域を注釈付けする(たとえばマーカー、アイコンまたはその他の手段の追加によって)かその他の仕方で(たとえば画像中の領域のまわりに線を引いたり画像中の領域の色を変えたりすることによって)同定するために使うことができるものである。
【0040】
ここで図2および2Aを参照すると、同様の要素は同様の参照符号を有するものとして与えられているが、腸断面100の画像は、腸の周を定義する腸壁101を含んでいる。腸はひだ102を含んでいる。腸画像の部分104a、104bは腸100の空気領域に対応し、腸画像の部分106a、106bは腸のうちその内容物を有する部分に対応する。腸のデジタル画像においては、空気領域104a、104bは低密度物質として現れ(よって、たとえば比較的小さな値をもつピクセルによって表現できる)、一方で腸内容物は高密度物質として表される(よって、たとえば前記低密度領域を要求するピクセルの値に比べて比較的大きな値をもつピクセルによって表現できる)。境界108は低密度領域104a、104bと高密度領域106a、106bの間に存在する。
【0041】
図2において最も明瞭に見て取れるように、ひだ領域102は比較的細長く、高密度物質106に突っ込んでいる。撮像プロセスの間に生じるピクセル値の平均化のため、ひだ領域102(またはひだ領域102の何らかの部分)は人工的に高密度物質の領域として表示されうる。よって、そのような表示のまま残されれば、そのひだ領域は、腸内容物を表す高密度領域106の一部として控除されることになる。
【0042】
しかし、本発明によれば、ある点が境界108領域沿いでかつひだ102中にあれば、その点はすべての側で低密度値をもつピクセルに囲まれているはずであることが認識されるに至った。よって、ひだ領域の内部では、該境界線108より下のひだ領域102でのピクセル値は実質的に境界線108より上のひだ領域102でのピクセル値に等しいという意味で、境界線108についての対称性がある。別の言い方をすると、ひだ領域102内のある選択された点のまわりのピクセルの変化を調べることによって、そのピクセルのまわりのピクセルに関する変化は比較的低いはずである。
【0043】
他方、残渣106内の境界108沿いにある(だがひだ102内にはない)点はそのまわりに空気(低ピクセル値)および糞便(高ピクセル値)の両方を有するはずである。よって、境界線108より下の領域106でのピクセル値は境界線108より上の領域104aまたは104bでのピクセル値に比べて実質的に異なる(たとえば比較的大きい)値を有するという意味で、境界線108について対称性はない。別の言い方をすれば、ひだ領域102内にない選択された点は、そのまわりのピクセル値の比較的大きな変化を有するはずである。
【0044】
このようにして、画像中でひだ領域(たとえばひだ領域102)を同定することが可能である。ひとたび低い変化をもつピクセルが同定されれば、それらのピクセルは画像から控除されるのではなく画像に戻される。
【0045】
ある実施形態では、低い変化をもつピクセルの同定は、窓110aを形成し、窓110a内のピクセル値をあるカーネルとの相関を取ることによってできる。境界108はある幅をもち、よって境界108の幅をまたぐに十分大きなサイズをもつ窓110aを与える必要があることは理解しておくべきである。実際的な用途では、境界108は典型的には最低3ないし5ピクセル幅である。窓110の大きさは経験的に決定されうる。もちろん、窓が期待されるひだの幅(典型的には約5ないし10ピクセルだが場合によっては11以上であったり4以下であったりすることもある)の中に収まるべきであることは理解しておくべきである。
【0046】
図2Aにおいて最も明瞭に見られるように、窓110aが生成され、境界108に沿って画像中をスライドまたは移動する。
【0047】
窓110aが領域104aおよび106aの両方の一部分を含むように位置されるとき、境界108より下のピクセルは境界108より上のピクセルの値に比べて比較的大きな値を有する。よって、境界108の上と下のピクセルの相関を取ると比較的高い相関値を生じ、これは境界108について対称性がないことを示す。
【0048】
窓が位置110bにスライドするとき、境界の上と下のピクセルの相関は、比較的低い相関値を生じる。境界の上と下のピクセルはいずれも低密度ピクセルに対応するからである。窓110が位置110cにスライドすると、境界の上と下のピクセルの相関は再び比較的高い相関値を生じる。境界108より上のピクセル値は低密度物質のピクセル値に対応する一方、境界108の下のピクセル値は高密度物質のピクセル値に対応するからである。
【0049】
このように、窓110を境界108に沿ってスライドさせることによって、画像中のひだ領域を同定することが可能である。
【0050】
図2および2Aではまっすぐな境界108が示されているものの、この技法はカーブした境界あるいは任意の形状の境界についても使用できる。
【0051】
この技法は二次元において記述されたものの、この技法は三次元においても同じように適用できることも理解されるべきである。つまり、幅、長さおよび深さをもつ窓が用意され、二次元境界ではなく表面上をスライドするのである。
【0052】
ひとたびひだ領域(たとえば図2のひだ領域102)をなすピクセルが同定され、画像に戻されたら、戻されたピクセルは拡張されることができる。この結果として、画像中にはそれぞれの所望のひだのより多くの部分が存在する結果となるが、その一方で同時に最終的な控除された画像において通常または自然な外観を有する比較的薄い構造が提供される。
【0053】
図3は、ひだ領域検出および自動化ポリープ検出を含むデジタル腸控除を実行するための、図1との関連で上述したような仮想結腸内視術システム10の一部などとして提供されうる処理装置によって実行される処理を示す流れ図である。長方形の要素(図3の要素120が典型例)はここでは「処理ブロック」と呼ばれ、コンピュータソフトウェア命令または命令グループを表す。
【0054】
代替的に、諸処理ブロックは、デジタル信号プロセッサ回路または特定用途向け集積回路(ASIC)といった機能的に等価な回路によって実行される機能を表現することができる。流れ図はいかなる特定のプログラミング言語のシンタックスを描くものでもない。むしろ、流れ図は、その特定の装置に必要とされる処理を実行するための回路を製造したり、あるいはコンピュータソフトウェアを生成したりするために当業者が必要とする機能情報を示している。ループおよび変数の初期化ならびに一時変数の使用といった日常的なプログラム要素は示されていないことを注意しておくべきであろう。ここで特に示されない限り、記述されるステップの特定の序列は例示的なものにすぎず、本発明の精神から外れることなく変えることができることは、当業者は理解することであろう。
【0055】
ここで図3に目を向けると、腸の画像においてひだ領域を検出および処理するためのプロセスは、ブロック120に示されるように空気境界を同定することによって開始される。ここでは空気‐水境界に言及しているが、いかなる具体的な境界(たとえば空気と水との間の境界)への言及も例であると意図されており、記述の明瞭さを増進するという理由のためになされており、限定するものとは意図されておらず、そのように解釈するべきではないことを理解しておくべきである。境界は空気と必ずしも水でない他の何らかの物質もしくは物体との間であってもよく、密度の異なる二つの物質の間であってもよいことを理解しておくべきである。次に、ブロック122で示されるように、相関行列が原画像の空気‐水境界に適用される。相関行列の適用は、空気‐水境界のまわりの対称性をもつ画像の領域の同定を許容する。そのような領域は当該画像の低変化領域に対応し、これらの領域はブロック124で示されるように同定される。ひとたび画像の低変化領域が同定されたら、これらの領域の形態上の領域拡張がブロック126で示されるように実行される。低変化領域がひだ領域に対応することを認識することにより、本質的にはひだ領域が拡張されている。この拡張プロセスの結果として、画像中にはそれぞれの所望のひだのより多くの部分が存在する結果となるが、その一方で同時にその画像を調べる人物によって見られるときの通常または自然な外観を有するひだ構造をもつ画像が提供される。
【0056】
ある実施形態では、画像から腸内容物を除去するために控除マスクが使用される。具体的には、控除マスクによってカバーされる領域が除去される。そのような実施形態では、ブロック126で実行される拡張操作の結果としては、控除マスクからのピクセル(ひだ領域を表すピクセル)の除去が生じる。ひだに対応するピクセルを控除マスクから除去することによって、画像から腸内容物が控除されたのちにひだ領域が画像中に残される。
【0057】
下記の図4での記述は中心線を見出すことに着目するものの、本技法はおそらくより適切には、画像のうち関心のあるセグメント、すなわち結腸を抽出する結腸セグメンテーションプロセッサによって実行される動作であるとして記述されることができることを理解しておくべきである。重要なことは、このステップをいわゆる極小準備(またはタグ付け)データセットにおいて実行しなければならないということである。ひとたび結腸が適切にセグメンテーションで切り出される、すなわち画像中で同定されれば、実際の中心線を計算することは従来の技法を使って達成できることは理解しておくべきである。二つの例示的な技法は形態上の細線化(morphological thinning)および中心軸変換(medial axis transform)計算であり、いずれもよく知られている。
【0058】
ここで図4および4Aを参照すると、結腸が洗浄されていないときの結腸の中心線を同定するためのプロセスが、第一の画像が選択されるブロック130で開始される。第一の選択された画像はここでは時にインデックス画像とも呼ぶ。処理は次いでブロック132に進み、ここでは結腸内にあるとわかっている第一の点(ここではシード点と呼ばれる)が同定される。シード点は手動で(たとえばユーザーにより)同定されてもよいし、あるいは実施形態によっては中心線プロセッサが自動的にシード点を決定してもよい。シード点の自動検出はたとえば、システムをして、まず結腸の最下面に対応する画像(すなわち、結腸の直腸/肛門部分を含む画像)を処理させることによって達成される。システムが、最下画像が処理されているということおよびどのような解剖学的構造がその画像中に現れるはずかについての先験的な知識を与えられていれば、システムは自動的にシード点を選択できる。ひとたびシード点がインデックス画像中で同定されれば、次いで結腸全体(腸内容物、空気およびいくらかの軟組織を含む)が画像中で同定できる。
【0059】
処理ブロック134で示されているように、次いで単純な控除が実行される。控除は、閾値および拡張技法を使って達成できる。次いでブロック138で示されるように諸領域が標識付けされる(たとえば、高密度物質または低密度物質のいずれかを含むものとして同定される)。ひとたび画像領域が標識付けされたら、ブロック140に示されるように、結腸領域はシード点(すなわち結腸内であるとわかっている点)を見出し、シード点にどの標識が割り当てられているかを判定することによって同定される。これで第一の画像が処理された。
【0060】
処理は次いで判断ブロック141に進む。ここでは処理すべき画像がまだあるかどうかについての判定がなされる。すべての画像が処理されたという判断がなされた場合には、中心線処理は終了する。他方、すべての画像が処理されたのではないとの判断がされれば、処理は処理ブロック142に進んで次の画像が選択される。また、先ほど処理された画像は「現在画像」として同定される。
【0061】
次いで処理はブロック144に進む。そこでは前記次の画像(すなわち現在処理されている画像)に対して単純な控除が実行される。控除は、閾値および拡張技法を使って達成できる。画像は空気および非空気の値を割り当てる(あるいは単に異なる密度の領域を示す値を割り当てる)閾値処理にかけられ、次いで諸領域が標識付けされる(たとえば、高密度物質または低密度物質のいずれかとして)。このことはブロック146および148に示されている。ひとたびブロック148で示されるように前記現在画像および前記次の画像の両方において画像領域が標識付けされたら、前記次の画像において結腸領域は、前記現在画像における結腸位置情報を使うことによって同定される。このようにして、一連の各画像における結腸の中心が見出され、それにより結腸中心線が確立されることが許容される。
【0062】
ここで図5を参照すると、腸内容物162を中に有する結腸160は、図4および4Aとの関連で上述した仕方で処理され、中心線164が与えられる。シード点が手動で(たとえばユーザーによって)与えられる場合には、点168a〜168dのうちのどれもがシード点として使うことができる。中心線プロセッサが自動的にシード点を検出する場合には、プロセスは最下画像170(インデックス画像とも呼ばれる)に関して開始され、直腸/肛門171に対応する画像170の中心に近いある点がシード点(すなわち、結腸の一部であるとわかっている画像中の点)として選択される。画像170が第一の画像として選択されたので、プロセスは画像172の方向に向かう各画像を逐次経ながら進む。
【0063】
ここで図6を参照すると、画像172は第一のオブジェクト174および第二のオブジェクト176を含むものとして示されている。オブジェクト174、176の両方とも高密度領域178、180を含むことは理解しておくべきである。腸の中心線が腸洗浄なしに見出されようとしているので、オブジェクト174、176のいずれかが腸に対応し、他方のオブジェクトが骨などといった他の何らかの構造に対応することが考えられる。構造176はまた、画像中の他のオブジェクトより低い密度をもつ領域182または諸領域(たとえば空気領域182)ならびに境界184をも含んでいる。
【0064】
ここで図7を参照すると、図6の同様の要素は同様の参照符号を与えられているが、空気領域182は境界190を有しており、結腸を他の物質から区別するのを助けるため、空気領域境界190は境界190aによって示されるように拡張される。同様に、内容物領域180は境界192を有しており、結腸を他の物質から区別するのを助けるために、内容物領域境界192は境界192aによって示されるように拡張される。領域178も境界194を有しており、これは境界194aによって示されるように拡張される。
【0065】
ここで図7Aを参照すると、空気および高密度領域の拡張の結果、重なり領域196が生成される。その際、各集合内の各点の和集合は結腸全体を同定するようにされる。集合の和集合内の点として含められるためには、点は連続的でなければならないことは理解しておくべきである。このようにして、構造178は構造178とは別個の構造として区別される。
【0066】
ここで図8を参照すると、中心線を見出すために、構造176′、178′が同定されている一対の画像200、202が処理される。現在画像200は、結腸内の点204がすでに同定されている画像に対応する。点204は上記のように手動または自動のどちらで同定されたのでもよい。ひとたび前記2つの画像が整列させられると、画像202におけるどの構造内に点204があるかについて判定がなされる。前記整列は従来のものと考えられるべきである。それは、両画像が同じスキャン手順において得られたものであり、CTスキャナによって確立された基準座標系内で固定位置を割り当てられているであろうという意味においてである。この特定の例では、点204は構造176″の内部にある。点204は結腸の内部にあるとわかっており、結腸に沿う方向に両画像200、202を隔てる距離Dは小さいとわかっているので、画像202における構造176″は結腸領域であるとして同定される。
【0067】
ここで図9を参照すると、上述したように、画像は図9に示される所与の方向に逐次的に処理されていく。いくつかの事例においては、たとえば結腸の曲がりに到達したときには画像が処理される方向を反転させることが必要であることは理解しておくべきである。結腸は時として180度の曲がり(屈曲、湾曲ともいう)をするのでこのことは重要である。そして結腸に関して解剖学的構造を正しくマッピングするためには、システムは結腸の解剖学的な方向(空間的方向に対して)に追随するよう方向を変えなければならない。反転すると、システムは、終端に到達したと判定する前に、少なくとも結腸の最大直径と等価な距離だけ「逆の」方向に続ける必要がある。なぜなら、管(たとえば結腸)のヘアピン様の曲がりを想像してみればわかるように、システムが一つのループを通って画像を処理して曲がりに達し、方向を反転させた場合、新たな連続的だがマークされていない結腸に遭遇しはじめるのは、ほぼ1直径に相当する距離下ってからのことだからである。1直径の距離は実際的な経験的な距離として採用されるが、もちろん、適切な処理を達成するために他の距離を使ってもよい。
【0068】
ここで図10および10Aを参照すると、結腸220の中心線222を見出すことによって、結腸は図10Aの参照符号220aによって示されるように「展開する」ことができる。ひとたび結腸が展開されたら、展開された結腸220aにポリープ検出技法を適用できる。中心線は二つの主要な用途がある。控除の改善(システムが三次元で折りたたまれた解剖学的構造を明瞭に追随できるようにすることによって)およびポリープ検出の改善である。結腸の解剖学的構造の全部が、中心線を用いれば可能であるように「平面」上に広げられたとすると、潜在的な病変は大きさに関して規格化されることができ、同時に目標病変の配向(回転)が最小化できる。
【0069】
ひとたび展開された結腸220aでポリープ(たとえばポリープ226a、226b)が同定されれば、結腸の三次元画像中でポリープ位置が同定される。未展開結腸のマップを使ってのポリープ検出へのアプローチについて次に述べる。
【0070】
以下の議論のため、CTCデータセットは上述した仕方で電子的にきれいにされていると想定する。DSBCのために意図されているもののようなほとんどの画像処理方法は、画像データセットに人工効果を導入する。具体的な意図は、予期される人工効果を適切に扱うために、極小準備および電子的にきれいにされたCTCデータセットのための判別子システムを最適化し、実装することである。
【0071】
検出の第一のステップは、結腸表面を画像データセットの残りの部分から分離することである。結腸表面をマッピングするための一つの有用な方法は、結腸中心線(すなわち、結腸の全長にわたってその内腔の中心に沿って走る三次元曲線)を計算することである。中心線は、幅広い画像処理問題の評価のための有用な構造体であり、形態上の細線化アルゴリズムおよび前記したいわゆる中心軸変換(MAT)の使用によって計算できる。形態上の細線化では、結腸内腔内の空気が関心のあるオブジェクトとされ、この空気の柱が逐次的に侵食され、結腸の中心軸に沿って単一の線セグメントが残るまで続けられる。中心軸変換は、前記柱内の規則的な間隔の点の集合と前記空気柱の外側境界との間の距離を表にする相補的アルゴリズムである。境界までのより大きな距離に関連付けられた点はより大きな値が割り当てられ、中心軸は、外側境界への最大距離をもつ点の集合として取られる。MATは、計算量的にはより高価ながら、一般には堅牢なアプローチである。
【0072】
結腸中心線の計算に続いて、動径距離シグネチャーが中心線の長さに沿って計算される。動径シグネチャーは、オブジェクトの中心からその境界までの距離を、動径方向の線分の360°掃引について表すグラフである。この場合、中心線から結腸粘膜表面への距離が中心線のまわりの一定の角度間隔ごとに測定され、そのプロセスが中心線曲線の長さに沿って繰り返される。この手順の結果は、各ピクセルの値が中心軸からの動径方向の距離を表す結腸の平面マップである。このプロセスは、結腸をまっすぐ伸ばし、縦に割いて病理標本のようにするのと似ている。このアプローチは、CTCについての評価のために、ファントムの場合と臨床の場合の両方において、結腸をマッピングするために用いられてきた。
【0073】
CT画像の標準的なユークリッド座標軸から結腸の長さに沿って位置する一連の座標に結腸粘膜の諸特徴を変換することは、ポリープ病変の配向を結腸粘膜に対して規格化する潜在的可能性を有する。これは、ポリープの大半が盛り上がった半円状であることによる。このため、ポリープは、結腸の内側表面の平面から突き出たほとんど半球状のオブジェクトとして見えるのである。上から見れば、これらのポリープはほとんど円形の輪郭を有すると期待される。
【0074】
マップ内の関心のあるオブジェクトの機械同定は、マップ内の諸特徴の予備的な切り出しを必要とする。このステップはセグメンテーションと呼ばれる。このプロセスは、分水セグメンテーション(watershed segmentation)として知られる方法によって達成できる。ひと言で言うと、この方法は、結腸マップの輪郭を数学上、洪水にし、水面より上に残っている諸特徴の輪郭線を評価するようなものと見ることができる。この類推では、すべてのオブジェクトが水没するまで水位の上昇が許され、アルゴリズムはマップの異なる領域からの水が混ざり合えるようになる直前の輪郭線の位置を表にする。このプロセスの結果は、マップ上の別個のオブジェクトを囲む連続的な境界の集合である。手順を最適化するため、分水セグメンテーションは通例画像の勾配変換(gradient transform)に対して適用される。勾配変換とは、形のエッジが強調された画像の表現である。エッジ強調は、画像マップをソーベル(Sobel)作用素のような作用素行列と畳み込みすることによって計算される。結腸マップの場合、強調されるべきエッジは、各特徴の動径方向の高さの結腸粘膜に沿った遷移である。これらの操作の結果は、結腸のマッピングされた内部表面に沿って位置するオブジェクトの集合の同定である。各オブジェクトの境界は、局所的な結腸表面が鋭く内側に発散する点からなる。以下は、このセグメンテーション過程によって同定されたこれらのオブジェクトを記述し、分類する二つの方法である。
【0075】
第一の方法は統計的記述に基づく(すなわち、ポリープ検出への統計的なアプローチである)。特徴判別のための統計的方法の主題については、よく発達した文献の集積がある。ポリープ検出の場合、セグメンテーションによって同定されたオブジェクトの境界および内部テクスチャーはそれぞれある中心点(重心と呼ばれる)のまわりのその分散、その平均および該平均のまわりのその分散を用いて記述される。重心とは、オブジェクトの重みをかけた平均であり、質量中心に対応する。平均と分散はそれぞれ標準的な統計的平均およびこの平均のまわりの二次モーメントである。特徴記述へのこのアプローチの一つの利点は、これらの統計的記述は、問題となっているオブジェクトの配向や縮尺には比較的依存せず不変であることである。目標オブジェクトがほぼ円形であるポリープ検出の場合、オブジェクト重心のまわりのオブジェクト境界の分散および各境界のコンパクト性は潜在的に一意的な値を与える。オブジェクトのコンパクト性(compactness)は式:(周)2/(面積)で定義される。オブジェクトのほぼ円形の表現では、境界分散および境界コンパクト性の両方が最小を示す。これに対し、結腸の他の構造は典型的には線形または曲がった線形である。よって、これらの構造のコンパクト性および境界分散はポリープのコンパクト性および境界分散とは区別可能であると期待できる。
【0076】
オブジェクトの内部テクスチャーも有用な分類情報を含んでいる。たとえば、オブジェクト内のピクセルの標準偏差および各オブジェクトを構成するピクセルの平均エントロピーはオブジェクト判別に有用であることが示されている。この場合、ピクセルの集合のエントロピーは、−Σ[p(i)log2p(i)]で定義される。ここで、p(i)はテクスチャー(CT密度)の値のヒストグラムを表す。和は、画像中での可能なテクスチャー値の範囲をなす各iについて実行される。結腸という設定では、結腸ポリープのよくある模倣者は残留糞便である。ポリープと同様、残留糞便はほとんど球形の輪郭を示しうる。しかし、ポリープは一様に軟組織密度を示すのに対し、残留便は一般に小さな気泡を含んでいる。この不均一性の結果として、ポリープと便の擬似病変とではテクスチャー分散およびエントロピーが異なっていると期待できる。
【0077】
一般に、パターン認識は境界およびテクスチャー記述子を組み合わせて単一の多次元特徴ベクトルにすることによって容易化できる。ポリープ検出の目的で輪郭およびテクスチャー解析の両者を組み合わせた研究で公開されたものはないと信じられるが、パターン認識のためのそれらの有用性を記述したものとしては膨大な文献がある。
【0078】
最もストレートなアプローチでは、パターン分類の目的のため、特徴ベクトルは、それらの間のユークリッド距離を計算することによって比較できる。ユークリッド距離は平面上での公式D=√((x0−x1)2+(y0−y1)2)に対する多次元の類推で、ここで、(x0,y0)および(x1,y1)は平面上での2点の座標を表す。特徴の類似したオブジェクトは小さなユークリッド距離を示し、経験的に閾値または判別子関数を設定することによって、未知のオブジェクトを、その特徴ベクトルの、既知のオブジェクトのベクトルへの距離に基づいて分類できる。実際上は、あるクラスのオブジェクトの特徴ベクトルの集合は同一ではない。そうではなく、オブジェクトの各クラス(ωjと記す)は統計的パラメータによって最もよく記述される。すなわち、平均特徴ベクトルmj、共分散行列Cjおよび生起確率P(j)である。これらのパラメータは、平均、分散および確率密度に基づく母集団の二次元評価と類似のものである。遭遇することになるオブジェクトの各クラスについてこれらのパラメータが知られていたら、理論上は、それらを分離するための明示的な判別子関数を定式化することが可能である。ベイズ判別子(Bayesian discriminator)と呼ばれるこの関数d( )は、一群のクラスjについて次の形をとる:
dj(x)=ln(P(ωj))+xTCj-1mj−1/2mjTCj-1mj
ここで、xは特徴ベクトル、xTはxの転置、CjおよびCj-1は共分散行列およびその逆、mjおよびmjTは平均特徴ベクトルおよびその転置、P(ωj)はクラスωjが生起する確率である。
【0079】
結腸中で遭遇されることになる軟組織密度構造の異なる種類の数は比較的少なく、ポリープ、膨起ひだ(haustral fold)および残留便が含まれる。ポリープ検出への一つのアプローチは、既知の結腸構造のライブラリを構築して、明示的な判別子を形成するために必要な平均、共分散および確率パラメータを導出することである。これらの構造の特徴ベクトルが明示的な判別子関数の構築を許容するのに十分に集群化するということは可能であるものの、これらのパラメータはまだ人間の結腸についてはカタログ化されていないと信じられる。
【0080】
諸オブジェクトクラスの平均特徴ベクトル、共分散行列および確率記述子が明示的に先験的に計算できない場合、有効なパターン判別が人工ニューラルネットワークの使用によって達成できることが示されている。この方法では、オブジェクトの特徴ベクトルは、ニューロンに対応する重みをかけられたノードの集合において評価される。各ノードは、入力値の組および関連付けられている重みに応じて非線形出力を生成する性質を有する。入力ノードは典型的には数において入力特徴ベクトルの次元に対応する。同様に、出力ノードは数において同定されるべき異なるオブジェクトクラスに対応する。ノードの重みの決定は、ネットワークを一組のトレーニングケースにかけることによって実行される。このプロセスでは、既知のクラスのベクトルがネットワークを通じてフィードフォワードされ、結果として得られる出力分類の誤差がステップごとにネットワークを通じて逆向きに伝搬される。各重みは、所与のノードにおいて先行層の入力と関連付けられた局所的な誤差を最小にするために調整される。トレーニングに続いて、未知の特徴ベクトルが後方フィードバックなしにネットワークを通じてフィードフォワードされ、クラスのメンバーであるかどうかが出力ノードの最終状態によって判定される。入力層、隠蔽層、出力層からなる3層ネットワークが理論上では任意の複雑さのオブジェクトクラスのグループを分離することができることが示されている。このため、カタログ化方法が実行不能であると判明した場合に結腸オブジェクトの特徴ベクトルを解析するためのもう一つの手段が存在する。
【0081】
ポリープ分類のためにとられる第二のアプローチ(ポリープ検出のための相関法と呼ばれる)は、平面状の結腸マップをテンプレート・マッチングと組み合わせる。このアプローチでは、結腸マップにおける諸オブジェクトのセグメント化された表現は、その大きさを規格化し、その内部テクスチャーの記述を組み込むためにさらに修正される。大きさについての規格化は、各オブジェクトのオブジェクト重心のまわりでの境界点の解析によって達成できる。この表現では、オブジェクトの境界点は、それぞれの動径に沿って、重心方向に、そのオブジェクトについての境界点の集合において観測される最小半径だけ位置を直される。このプロセスは、境界輪郭の基本的形態を保持し、大きめのオブジェクトについての境界点の変動を減少させる。オブジェクトの内部構成の記述は、オブジェクト境界の内部に含まれるピクセルの標準偏差によって表現できる。オブジェクトの規格化された表現内のピクセルはこの標準偏差の値に設定される。これらのステップの結果は、大きさについて規格化された輪郭を有し、オブジェクトの内部テクスチャーの標準偏差に設定された内部ピクセル値を有する平面状オブジェクトである。同様のマッピングがテンプレートポリープについて実行される――その輪郭および内部テクスチャーはそれぞれ大きさについて規格化され、内部の均一性を反映するよう修正される。テンプレートは次いで先に述べた相関プロセスにおいてテンプレートと組み合わされる。相関画像におけるピクセル値は、修正されたマップの各領域の修正されたテンプレートとの類似性を反映する。ピクセル値の鋭いピークは高い類似性の領域に対応し、ポリープの位置を表現すると解釈される。この種の相関ピークは高域通過フィルタおよび閾値によって選択されることができる。
【0082】
ポリープ検出システムをさらに発展させるもう一つのアプローチは、以下のように結腸マッピングおよびセグメンテーションを実装することによって提供されることができる。結腸の中心線はFerreira and Russによって記述されたアルゴリズムのような従来技術の技法を、結腸の屈曲を扱うためのZhangによって記述された修正とともに使って見出すことができる。結腸中心線が同定されたところで、結腸マッピングのプロセスが実行できる。臨床的に関心のある最小サイズのポリープは約7mmの大きさで、これは35cm視野CTCデータからの10個の等軸(isometric)ボクセルを表す。よって、計算効率とサンプリング誤差の最小化との兼ね合いのため、ソフトウェアは中心線を5ボクセル間隔でサンプリングする。中心線に沿った各停止における角度サンプリング間隔は同様の計算から導出される。CTCにおける通常の空気膨張された結腸の最大周は約180mmであり、これから50%のサンプリング重なりを達成するためには7°間隔となる。
【0083】
このセクションで記述される諸方法のための参照図が図11A〜Dに示されている。
【0084】
本技法は、結腸の中心線から内部表面への、三次元ユークリッド距離公式を使った動径距離を利用する。粘膜表面は、−50ハウンズフィールド単位より高いピクセルを排除するために設定されるグローバル閾値を使ってCTデータから切り出される。これまでの経験によれば、この閾値は粘膜の内面を明瞭に浮かび上がらせることが示されている。中心線のまわりの360°掃引ごとに、ソフトウェアは観測された最大半径rmaxを表にする。シグネチャーに沿った各点iの動径高さはrmax−riとして計算される。
【0085】
結腸マップのためのデータ構造体は三次元行列を含む。二つの軸は結腸の粘膜(内部)表面上の位置を記述し、第三の次元は表面からの特徴の動径高さを表現する。結腸内腔に突き出た構造の内部ボクセルは、切り出された結腸の動径シグネチャーの計算に基づいて、二つのステップでこの行列に組み込まれる。動径シグネチャーの最大rmaxは、結腸中心線に沿って動径シグネチャーが計算される各位置における結腸壁の最も膨張した領域を表すものと解釈される。結腸の角度シグネチャーの記録において、内部粘膜表面からrmaxまで伸びる動径セグメントに沿って位置する諸ボクセルはマップ行列に含められることになる。このようにして、マップは結腸内腔に突き出た諸特徴を表す諸層を有する。マップの高さ軸に沿った3つの追加的なレベルが使われる。その第一はz0と表され、動径高さデータを保持する。その第二であるz1はマップの勾配変換を保持し、第三であるz2は相関マッチングで使用うための各オブジェクトの規格化された形を保持する。
【0086】
レベルz1に位置する結腸マップの勾配変換はソーベル作用素を使って計算される。勾配はソーベル作用素とz0レベルデータとの畳み込みによって計算され、その結果は結腸内腔に突き出た構造の高さ軸に沿ったエッジを表現すると解釈される。
【0087】
次いでz1変換データに対する分水セグメンテーションが実行される。この分水セグメンテーションは、Bieniekの技法のようないかなる従来技術の技法を使って達成してもよい。分水法はその機能および出力の面でいくつかの既知の利点を有しているものの、このアルゴリズムは解析されている表面内の小規模な変動に起因する望まれない境界を生成することがあることが知られている。過剰セグメンテーションとして知られるこの問題は次のような仕方で対処できる。セグメンテーション・ステップに追加的情報をもたらすために解析されるべき表面を処理することでセグメンテーションの出力が改善できることが示されている。たとえば、平滑化フィルタの適用により小規模な表面変動の存在を減し、それらをセグメンテーションの偽目標として除去することができる。さらに、結腸マップの場合、勾配変換において十分高い勾配閾値を選ぶことで結腸表面に沿って関心のあるより大きな特徴のみの選択が許容されうる。これらの事前処理ステップはマーカー、すなわちセグメンテーションを最適化するために画像を事前フィルタ処理するのを助けるタグの生成につながる。
【0088】
特徴抽出および解析のプロセスは二つのアプローチに沿って続けることができる。その一方は画像特徴の統計的記述に基づき、もう一つは相関に基づく。以下に各方法についてのアプローチを述べる。
【0089】
一つの統計的アプローチでは、結腸マップから切り出された各オブジェクトについて、境界分散、境界コンパクト性、テクスチャー分散およびテクスチャーエントロピーが決定される。まず、データ構造のz1レベルで表現されている各オブジェクトの境界点の重心が決定される。これは、従来の技法を使って達成しうる。すると境界点の重心への距離の分散およびコンパクト性が決定できる。これも従来の技法を使って達成しうる。
【0090】
テクスチャー記述子について、結腸粘膜から生じる各三次元オブジェクトについての合成ボクセル(composite voxels)が集められる。一つのアプローチでは、これは二つのステップで達成できる。まず、切り出された各オブジェクトjについて、z1境界点を使ってz1の平面内に各オブジェクトの内点の集合z1内点jを定義することができる。データ構造の設計では、集合z1内点j内の各点piについて、各三次元オブジェクトの複合要素がpiより上の層のコラムにおいて保持される。これらの要素の垂直デリミタは、z0層の対応する角位置に保存されている動径シグネチャーである。よって、z1において定義された各平面状オブジェクトについて、結腸粘膜から生じる対応する三次元構造を構成するすべての要素を集めてきて該要素の平均、分散およびエントロピーを計算することができる。テクスチャー値の分散およびエントロピーは、Gonzalezによって記述されている技法のようなよく知られた技法を使って決定できる。
【0091】
相関アプローチでは、相関ベースのマッチング技法の評価のために、切り出された各オブジェクトの規格化されたバージョンが決定され、これらの表現がデータ構造のz2層に保存される。各オブジェクトの規格化されたバージョンは先に計算されたオブジェクト重心を中心としており、z1層に保存される。各オブジェクトについての大きさについての規格化は次のように進む。各オブジェクトについての境界点の集合と重心とを隔てる動径距離が決定される。境界点の各集合について観測された最小の動径距離rminは、各境界点を動径方向で重心に向かって変位させるのに使われる。変位は、各動径点半径をrminで割ることによる。その結果は、各オブジェクトの形を取り入れているが、大きさが小さくなった境界点の集合である。
【0092】
z2における各オブジェクトのテクスチャーは、ボクセル密度の標準偏差を計算することによってこの表現に組み込まれる。z1およびz2において表現されている各三次元オブジェクトをなす内部要素が統計的アプローチについて上述したように集められる。z2レベルにおける結果はオブジェクトの集合で、その境界はz1におけるオブジェクトに形態において対応するが、大きさについては規格化されており、その内部要素はオブジェクトテクスチャーを組み込んでいる。
【0093】
病変のカタログ化は統計的アプローチと相関アプローチのいずれを使ってもできる。一つの統計的アプローチでは、結腸内視術により確認されたポリープ、膨起ひだおよび便の擬似病変のグループについて境界分散、境界コンパクト性、テクスチャー分散およびテクスチャーエントロピーの推定がなされる。ポリープおよびその他のオブジェクトは以前に実行された研究CTC事例の大きなグループから抽出される。初期には、DSBC処理によって導入されるノイズを排除するために、伝統的な仕方で洗浄されたCTC検査に基づいて同定されたオブジェクトを使うことができる。あるプロトタイプ・システムでは、すでにライブラリにある50の病変は、同様に、大きさ5mmから35mmの範囲にわたるポリープのスペクトルを含む。膨起ひだは結腸の通常の一般的な構造であるので、これらについても多数が解析のために利用可能である。最後に、先例における便の擬似病変はカタログ化されており、これらのオブジェクトは、上記の技法を使って操作する実験的な実施形態において同定することが可能である。4つの統計的境界およびテクスチャー記述子は、上記したセグメンテーション・ステップに従ってCTCデータセットから計算できる。これらのデータは平均特徴ベクトルm、共分散行列Cおよびポリープ、膨起ひだおよび便の擬似病変についての生起確率を推定するために使われる。平均ベクトルおよび共分散行列は、Gonzalezによって記述された方法のような従来技術の技法を使ってベイズ・パターン判別子関数を構築するために基礎としてはたらくことができる。このアプローチによる解析ののち、ソフトウェアはポリープ・クラスに割り当てられたオブジェクトについて、各オブジェクトのz1層の重心を任意に大きな値にリセットすることによってフラグを立てる。マークされた重心のグループはポリープ候補のグループを表すと解釈され、これらのデータは評価を行う放射線医への識別のために、ポリープ・マークアップ・ルーチンに渡される。
【0094】
ベイズ判別子が十分にオブジェクトクラスの間の区別ができない場合には、無柄から有茎まで多様なポリープ形態が上記のアプローチのためには複雑すぎると判明することが考えられる。上に概説した特徴ベクトルのベイズ解析があまりに限界がある場合には、特徴ベクトルは三層人工ニューラルネットワークによって解析されてもよい。ベイズ技法の能力が不十分であることの判定は、結腸ファントム内のポリープの評価に基づいてなされることになる。一連のステップを以下に述べる。ベイズ法で結腸ファントム内のポリープについての感度が70%未満となる場合には、ニューラルネットワークによるアプローチが必要となりうると信じられる。ニューラルネットワーク設計についての手短な記述を以下に与える。
【0095】
構築されれば、三層ニューラルネットワークは4つの入力ノード、4つの隠蔽ノードおよび3つの出力ノードから構成されることになる。ネットワークの初期トレーニングは、伝統的な仕方で洗浄されたCTCから取得された一組のポリープ、ひだおよび擬似病変を用いて行われる。ネットワークノードの重みは初期には平均が0の小さなランダム値に設定される。これらは逆伝搬法に従って調整され、出力ノードがトレーニングの間モニタリングされる。プロセスは、ネットワークを、DSBC技法を使って得られた既知のファントム構造の組にさらすことに進む。人工ニューラルネットワークのパフォーマンスはトレーニングの間の段階を付けられたノイズへの暴露によって増加しうることが示されているからである。ネットワークについてのトレーニングが完了したと見なされるのは、クラスiのオブジェクトを呈示したときに、ノードOiの出力が0.95以上となり、他のすべてのノードの出力Oj(j≠i)が0.05以下となるときである。
【0096】
ある相関アプローチでは、規格化されたポリープ表現の属を生成するために上に概説した処理ステップを適用することによって、以前のデータのライブラリからポリープテンプレートを生成することができる。これらのポリープテンプレートは、イメージングデータ構造のz2レベルに保存されている結腸の規格化された表現と畳み込みされる。結果として得られる相関画像は、二次元高域通過フィルタを使ってフィルタ処理される。マッチの領域を最も表していそうな相関の鋭いピークを強調するためである。さらに、相関ピークを相関画像の残りからさらに孤立させるためにグローバル閾値を用いることが期待される。この閾値の値は経験的に決定できる。フィルタ処理された閾値処理された相関ピークの位置は、この技法についてのポリープ候補を表す。次いでこれらのデータはポリープ・マークアップ・ルーチンに渡される。
【0097】
次に、検出システムのポリープ・マークアップおよび出力について述べる。当該ポリープ・クラスに割り当てられたオブジェクトは、z1層における重心要素を任意に大きな値に設定することによってフラグを立てられる。その後、フラグを立てられた重心要素のグループはポリープ・マークアップ・システムによって処理される。このルーチンは各重心位置を取り、この値をもとのCTデータセットへマッピングし戻す。最後に、マークアップ・ルーチンは、重心位置に局所的な結腸の粘膜表面を白でエッチングする。このようにして、検出システムの出力が吟味する放射線医に表示される。
【0098】
本発明の好ましい実施形態について述べてきたが、当業者には今や、これらの概念を組み込んだその他の実施形態を使うこともできることは明らかとなるであろう。したがって、本発明は記載された実施形態に限定されるべきではなく、付属の請求項の精神および範囲によってのみ限定されるべきであると述べておく。
【図面の簡単な説明】
【0099】
【図1】デジタル腸控除および自動ポリープ検出のためのシステムのブロック図である。
【図2】腸のひだを検出および処理する技法を図解する図の系列の1つめである。
【図2A】腸のひだを検出および処理する技法を図解する図の系列の2つめである。
【図3】画像中の腸のひだ領域を処理するためのプロセスを示す流れ図である。
【図4】結腸内の中心線を見出すプロセスを示す流れ図の前半である。
【図4A】結腸内の中心線を見出すプロセスを示す流れ図の後半である。
【図5】中心線をもつ結腸の図である。
【図6】図5の線6‐6にわたって取られた結腸の断面図である。
【図7】図5の線6‐6にわたって取られた、拡張領域境界をもつ結腸の断面図である。
【図7A】図5の線6‐6にわたって取られた、拡張領域境界をもつ結腸の断面図である。
【図8】第一の画像から第二の画像へ結腸同定を延ばすよう整列された一組の画像を示す図である。
【図9】結腸の一連の画像において結腸領域を定義するために使用される、処理の方向を示す結腸の図である。
【図10】中心線をもつ結腸の図である。
【図10A】結腸中心線が同定されたあとで生成され、ポリープ検出に使用できる結腸マップの図である。
【図11A】結腸中心線と3Dデータセットとの間の対応を示す一連の図の一つである。
【図11B】結腸中心線と3Dデータセットとの間の対応を示す一連の図の一つである。
【図11C】結腸中心線と3Dデータセットとの間の対応を示す一連の図の一つである。
【符号の説明】
【0100】
12 CTシステム
14 画像データベース
16 ユーザーインターフェース
18 デジタル腸控除プロセッサ
19A 粘膜挿入プロセッサ
19B ひだ対称性プロセッサ
20 自動化ポリープ検出プロセッサ
120 空気‐水境界を同定
122 相関行列を原画像の空気‐水境界に適用
124 画像の低変化領域を同定
126 形態上の領域拡張を実行
130 第一の画像を選択
132 第一の画像で結腸を同定(シード点を選択)
134 単純な控除を実行
136 画像を空気/非空気の値に閾値処理
138 画像領域に標識付け
140 結腸中でのシード点の標識を見出すことにより結腸領域を同定
141 処理すべき画像まだあるか?
142 次の画像を選択(そして先の画像は現在画像として同定)
144 次の画像に対して単純な控除を実行
146 画像を空気/非空気の値に閾値処理
148 現在画像および次の画像の画像領域に標識付け
150 現在画像中での結腸位置の情報を使うことにより次の画像における結腸領域を同定
【特許請求の範囲】
【請求項1】
デジタル腸控除処理において画像のひだ領域を処理する方法であって、
画像中で第一の密度をもつ第一の物質と第二の異なる密度をもつ第二の物質との間の境界を同定し、
前記境界のまわりの画像の一つまたは複数の部分を処理して前記境界に関して対称性が存在するかどうかを判定し、
前記境界に関して対称性をもつ画像中の領域を同定する、
ことを含むことを特徴とする方法。
【請求項2】
境界を同定することが、閾値処理および拡張処理を使って境界を同定することであることを特徴とする、請求項1記載の方法。
【請求項3】
前記閾値処理が、ピクセル値を所定の閾値と比較し、該所定の閾値より大きいピクセル値をある第一の値に設定し、該所定の閾値より小さいピクセル値をある第二の値に設定することを含むことを特徴とする、請求項2記載の方法。
【請求項4】
請求項1記載の方法であって、前記境界のまわりの画像の一つまたは複数の部分を処理して前記境界に関して対称性が存在するかどうかを判定することが:
(a)前記境界より上のピクセルの値を前記境界より下のピクセルの値と比較すること、
(b)前記境界上のピクセルの値を前記境界より下のピクセルの値と比較すること、
(c)前記境界上のピクセルの値を前記境界より上のピクセルの値と比較すること、
のうち少なくとも一つを含むことを特徴とする方法。
【請求項5】
前記画像が原画像に対応することを特徴とする、請求項5記載の方法。
【請求項6】
前記境界に関する対称性を判定するための処理が、窓を生成し、
前記窓を前記境界にわたってスライドさせ、
前記窓内で前記境界より上のピクセル値と前記窓内で前記境界より下のピクセル値との間の対称性を示す値を計算する、
ことを含むことを特徴とする、請求項6記載の方法。
【請求項7】
デジタル腸控除処理において画像のひだ領域を処理する方法であって、
前記デジタル画像中で空気‐水境界を同定し、
前記空気‐水境界のまわりの画像の一つまたは複数の部分を処理して前記空気‐水境界に関して対称性が存在するかどうかを判定し、
前記空気‐水境界に関して対称性をもつ画像中の領域を同定する、
ことを含むことを特徴とする方法。
【請求項8】
空気‐水境界を同定することが、閾値処理および拡張処理を使って空気‐水境界を同定することであることを特徴とする、請求項1記載の方法。
【請求項9】
前記閾値処理が、ピクセル値を所定の閾値と比較し、該所定の閾値より大きいピクセル値をある第一の値に設定し、該所定の閾値より小さいピクセル値をある第二の値に設定することを含むことを特徴とする、請求項2記載の方法。
【請求項10】
請求項7記載の方法であって、前記空気‐水境界のまわりの画像の一つまたは複数の部分を処理して前記空気‐水境界に関して対称性が存在するかどうかを判定することが:
(a)前記境界より上のピクセルの値を前記境界より下のピクセルの値と比較すること、
(b)前記境界上のピクセルの値を前記境界より下のピクセルの値と比較すること、
(c)前記境界上のピクセルの値を前記境界より上のピクセルの値と比較すること、
のうち少なくとも一つを含むことを特徴とする方法。
【請求項11】
前記画像が原画像に対応することを特徴とする、請求項7記載の方法。
【請求項12】
前記空気‐水境界に関する対称性を判定するための処理が、窓を生成し、
前記窓を前記空気‐水境界にわたってスライドさせ、
前記窓内で前記境界より上のピクセル値と前記窓内で前記境界より下のピクセル値との間の対称性を示す値を計算する、
ことを含むことを特徴とする、請求項11記載の方法。
【請求項13】
結腸のデジタル画像中のひだ領域を処理するシステムであって、
第一のデジタル画像を受け取って該画像中で第一の密度をもつ第一の物質と第二の異なる密度をもつ第二の物質との間の境界を同定する境界プロセッサと、
前記境界のまわりの画像の一つまたは複数の部分を処理して前記境界に関して対称性が存在するかどうかを判定し、前記境界に関して対称性をもつ画像中の領域を同定する対称性プロセッサ、
とを有することを特徴とするシステム。
【請求項14】
前記境界プロセッサが、閾値手段および拡張手段を使って境界を同定する手段を有することを特徴とする、請求項13記載のシステム。
【請求項15】
前記閾値手段が、ピクセル値を所定の閾値と比較し、該所定の閾値より大きいピクセル値をある第一の値に設定し、該所定の閾値より小さいピクセル値をある第二の値に設定する手段を有することを特徴とする、請求項14記載のシステム。
【請求項16】
請求項13記載のシステムであって、前記対称性プロセッサが:(a)前記境界より上のピクセルの値を前記境界より下のピクセルの値と比較すること、(b)前記境界上のピクセルの値を前記境界より下のピクセルの値と比較すること、(c)前記境界上のピクセルの値を前記境界より上のピクセルの値と比較すること、のうち少なくとも一つによって前記境界のまわりの画像の一つまたは複数の部分を処理して前記境界に関して対称性が存在するかどうかを判定する手段を有することを特徴とするシステム。
【請求項17】
処理される前記画像が原画像に対応することを特徴とする、請求項16記載のシステム。
【請求項18】
前記境界に関する対称性を判定するための手段が、窓を生成し、前記窓を前記空気‐水境界にわたってスライドさせ、前記窓内で前記境界より上のピクセル値と前記窓内で前記境界より下のピクセル値との間の対称性を示す値を計算する手段を有することを特徴とする、請求項17記載のシステム。
【請求項19】
前記第一の物質の密度が前記第二の物質の密度より低いことを特徴とする、請求項13記載のシステム。
【請求項20】
前記第一の物質の密度が前記第二の物質の密度より低いことを特徴とする、請求項13記載のシステム。
【請求項21】
未洗浄結腸の画像中の結腸中心線を同定するためのシステムであって:
結腸内にあるとわかっているシード点を同定する手段と、
シード点およびシード点のまわりの諸領域を、画像中の当該領域の特性に基づいて、少なくとも二つの値のうちの一つを有するとして標識付けする手段と、
シード点と同じ標識をもつ画像領域を同定する手段と、
シード点と同じ標識をもつすべての領域を同定することによって画像中の結腸領域を同定する手段、
とを有することを特徴とするシステム。
【請求項22】
未洗浄結腸の画像中の結腸中心線を同定するための方法であって:
結腸内にあるとわかっているシード点を同定し、
シード点およびシード点のまわりの諸領域を、画像中の当該領域の特性に基づいて、少なくとも二つの値のうちの一つを有するとして標識付けし、
シード点と同じ標識をもつ画像領域を同定し、
シード点と同じ標識をもつすべての領域を同定することによって画像中の結腸領域を同定する、
ことを含むことを特徴とする方法。
【請求項1】
デジタル腸控除処理において画像のひだ領域を処理する方法であって、
画像中で第一の密度をもつ第一の物質と第二の異なる密度をもつ第二の物質との間の境界を同定し、
前記境界のまわりの画像の一つまたは複数の部分を処理して前記境界に関して対称性が存在するかどうかを判定し、
前記境界に関して対称性をもつ画像中の領域を同定する、
ことを含むことを特徴とする方法。
【請求項2】
境界を同定することが、閾値処理および拡張処理を使って境界を同定することであることを特徴とする、請求項1記載の方法。
【請求項3】
前記閾値処理が、ピクセル値を所定の閾値と比較し、該所定の閾値より大きいピクセル値をある第一の値に設定し、該所定の閾値より小さいピクセル値をある第二の値に設定することを含むことを特徴とする、請求項2記載の方法。
【請求項4】
請求項1記載の方法であって、前記境界のまわりの画像の一つまたは複数の部分を処理して前記境界に関して対称性が存在するかどうかを判定することが:
(a)前記境界より上のピクセルの値を前記境界より下のピクセルの値と比較すること、
(b)前記境界上のピクセルの値を前記境界より下のピクセルの値と比較すること、
(c)前記境界上のピクセルの値を前記境界より上のピクセルの値と比較すること、
のうち少なくとも一つを含むことを特徴とする方法。
【請求項5】
前記画像が原画像に対応することを特徴とする、請求項5記載の方法。
【請求項6】
前記境界に関する対称性を判定するための処理が、窓を生成し、
前記窓を前記境界にわたってスライドさせ、
前記窓内で前記境界より上のピクセル値と前記窓内で前記境界より下のピクセル値との間の対称性を示す値を計算する、
ことを含むことを特徴とする、請求項6記載の方法。
【請求項7】
デジタル腸控除処理において画像のひだ領域を処理する方法であって、
前記デジタル画像中で空気‐水境界を同定し、
前記空気‐水境界のまわりの画像の一つまたは複数の部分を処理して前記空気‐水境界に関して対称性が存在するかどうかを判定し、
前記空気‐水境界に関して対称性をもつ画像中の領域を同定する、
ことを含むことを特徴とする方法。
【請求項8】
空気‐水境界を同定することが、閾値処理および拡張処理を使って空気‐水境界を同定することであることを特徴とする、請求項1記載の方法。
【請求項9】
前記閾値処理が、ピクセル値を所定の閾値と比較し、該所定の閾値より大きいピクセル値をある第一の値に設定し、該所定の閾値より小さいピクセル値をある第二の値に設定することを含むことを特徴とする、請求項2記載の方法。
【請求項10】
請求項7記載の方法であって、前記空気‐水境界のまわりの画像の一つまたは複数の部分を処理して前記空気‐水境界に関して対称性が存在するかどうかを判定することが:
(a)前記境界より上のピクセルの値を前記境界より下のピクセルの値と比較すること、
(b)前記境界上のピクセルの値を前記境界より下のピクセルの値と比較すること、
(c)前記境界上のピクセルの値を前記境界より上のピクセルの値と比較すること、
のうち少なくとも一つを含むことを特徴とする方法。
【請求項11】
前記画像が原画像に対応することを特徴とする、請求項7記載の方法。
【請求項12】
前記空気‐水境界に関する対称性を判定するための処理が、窓を生成し、
前記窓を前記空気‐水境界にわたってスライドさせ、
前記窓内で前記境界より上のピクセル値と前記窓内で前記境界より下のピクセル値との間の対称性を示す値を計算する、
ことを含むことを特徴とする、請求項11記載の方法。
【請求項13】
結腸のデジタル画像中のひだ領域を処理するシステムであって、
第一のデジタル画像を受け取って該画像中で第一の密度をもつ第一の物質と第二の異なる密度をもつ第二の物質との間の境界を同定する境界プロセッサと、
前記境界のまわりの画像の一つまたは複数の部分を処理して前記境界に関して対称性が存在するかどうかを判定し、前記境界に関して対称性をもつ画像中の領域を同定する対称性プロセッサ、
とを有することを特徴とするシステム。
【請求項14】
前記境界プロセッサが、閾値手段および拡張手段を使って境界を同定する手段を有することを特徴とする、請求項13記載のシステム。
【請求項15】
前記閾値手段が、ピクセル値を所定の閾値と比較し、該所定の閾値より大きいピクセル値をある第一の値に設定し、該所定の閾値より小さいピクセル値をある第二の値に設定する手段を有することを特徴とする、請求項14記載のシステム。
【請求項16】
請求項13記載のシステムであって、前記対称性プロセッサが:(a)前記境界より上のピクセルの値を前記境界より下のピクセルの値と比較すること、(b)前記境界上のピクセルの値を前記境界より下のピクセルの値と比較すること、(c)前記境界上のピクセルの値を前記境界より上のピクセルの値と比較すること、のうち少なくとも一つによって前記境界のまわりの画像の一つまたは複数の部分を処理して前記境界に関して対称性が存在するかどうかを判定する手段を有することを特徴とするシステム。
【請求項17】
処理される前記画像が原画像に対応することを特徴とする、請求項16記載のシステム。
【請求項18】
前記境界に関する対称性を判定するための手段が、窓を生成し、前記窓を前記空気‐水境界にわたってスライドさせ、前記窓内で前記境界より上のピクセル値と前記窓内で前記境界より下のピクセル値との間の対称性を示す値を計算する手段を有することを特徴とする、請求項17記載のシステム。
【請求項19】
前記第一の物質の密度が前記第二の物質の密度より低いことを特徴とする、請求項13記載のシステム。
【請求項20】
前記第一の物質の密度が前記第二の物質の密度より低いことを特徴とする、請求項13記載のシステム。
【請求項21】
未洗浄結腸の画像中の結腸中心線を同定するためのシステムであって:
結腸内にあるとわかっているシード点を同定する手段と、
シード点およびシード点のまわりの諸領域を、画像中の当該領域の特性に基づいて、少なくとも二つの値のうちの一つを有するとして標識付けする手段と、
シード点と同じ標識をもつ画像領域を同定する手段と、
シード点と同じ標識をもつすべての領域を同定することによって画像中の結腸領域を同定する手段、
とを有することを特徴とするシステム。
【請求項22】
未洗浄結腸の画像中の結腸中心線を同定するための方法であって:
結腸内にあるとわかっているシード点を同定し、
シード点およびシード点のまわりの諸領域を、画像中の当該領域の特性に基づいて、少なくとも二つの値のうちの一つを有するとして標識付けし、
シード点と同じ標識をもつ画像領域を同定し、
シード点と同じ標識をもつすべての領域を同定することによって画像中の結腸領域を同定する、
ことを含むことを特徴とする方法。
【図1】
【図2】
【図2A】
【図3】
【図4】
【図4A】
【図5】
【図6】
【図7】
【図7A】
【図8】
【図9】
【図10】
【図10A】
【図11A】
【図11B】
【図11C】
【図2】
【図2A】
【図3】
【図4】
【図4A】
【図5】
【図6】
【図7】
【図7A】
【図8】
【図9】
【図10】
【図10A】
【図11A】
【図11B】
【図11C】
【公表番号】特表2007−532251(P2007−532251A)
【公表日】平成19年11月15日(2007.11.15)
【国際特許分類】
【出願番号】特願2007−508461(P2007−508461)
【出願日】平成17年4月12日(2005.4.12)
【国際出願番号】PCT/US2005/012325
【国際公開番号】WO2005/101314
【国際公開日】平成17年10月27日(2005.10.27)
【出願人】(592017633)ザ ジェネラル ホスピタル コーポレイション (177)
【Fターム(参考)】
【公表日】平成19年11月15日(2007.11.15)
【国際特許分類】
【出願日】平成17年4月12日(2005.4.12)
【国際出願番号】PCT/US2005/012325
【国際公開番号】WO2005/101314
【国際公開日】平成17年10月27日(2005.10.27)
【出願人】(592017633)ザ ジェネラル ホスピタル コーポレイション (177)
【Fターム(参考)】
[ Back to top ]