説明

画像処理方法および装置ならびにプログラム

【課題】入力画像中の特定領域の輪郭検出において、検出性能を向上させる。
【解決手段】輪郭が既知である特定領域を含む複数のサンプル画像における各画素の特徴量を予め機械学習することにより、各画素が輪郭を示す画素であるかどうかをその特徴量に基づいて評価する評価関数Fを求める。入力画像中の特定領域内に任意の点Cを設定し、その設定した点を基準として、入力画像中に特定領域を含む判別領域TTを設定し、設定した判別領域内の各画素の特徴量Lを取得する。取得した特徴量Lに基づいて、判別領域内の各画素が輪郭を示す画素であるかどうかの評価値Sを、評価関数Fを用いて算出し、算出した評価値Sに基づいて最適な輪郭Bを決定する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像中の特定領域の輪郭を検出する方法および装置ならびにプログラム、特に医用画像中の腫瘍領域の輪郭を検出する画像処理方法および装置ならびにプログラムに関するものである。
【背景技術】
【0002】
従来、医療分野においては、画像診断における医師等の読影者への負荷を軽減するとともに診断精度を向上させるために、デジタル医用画像(以下、単に医用画像という)を、コンピュータを用いて画像解析して診断するコンピュータ診断支援、いわゆるCAD(Computer Aided Diagnosis)が行われている。
【0003】
このようなCADとしては、たとえば、医用画像中の病変の大きさ等の画像的情報に基づいて、腫瘍の悪性度を自動的に解析するものが知られている。特許文献1においては、腫瘍の近似的輪郭を放射線専門医による手作業で設定し、輪郭により得られた腫瘍の画像的な特徴量、たとえば腫瘍の大きさ、腫瘍内部のCT値分布等に基づいて人工ニューラルネットワーク(ANN)手法により悪性腫瘍の尤度を自動解析する方法が提案されている。
【0004】
このような、腫瘍領域の画像的情報に基づく医療診断のためには、胸部CT画像から腫瘍領域または腫瘍領域の輪郭を正確に検出することが必要となる。腫瘍領域を検出する方法としては、たとえば特許文献2に示されているように、複数の連続CT断層像中の血管候補領域を2値化処理により抽出し、血管候補領域の内で外接直方体の体積が大きい領域を血管領域とし、その血管領域に対して収縮処理を施して孤立した領域を腫瘍候補領域とし、腫瘍候補領域のうちその形状が略球形であるものを腫瘍領域として検出する方法が知られている。
【0005】
また、非特許文献1では、腫瘍領域の輝度分布をガウス分布に仮定し、腫瘍領域の輝度分布にもっとも一致する異方性ガウス分布(Anisotropic Gaussian)の平均および分散を算出し、そのガウス分布の中央値の位置を中心とする楕円状の輪郭を取得する手法が提案されている。
【0006】
また、特許文献3では、ユーザーにより指定された画像中の対象領域を示す特定の画素と背景領域を示す特定の画素との情報に基づいて算出された、各画素が対象領域又は背景領域を示す画素である確からしさと、画像の局所的な明暗差(エッジ情報)に基づいて算出された隣接する画素が同一領域内の画素である確からしさとを用いて対象領域を抽出し、抽出された対象領域の輪郭を取得する手法が提案されている。
【0007】
また、非特許文献2では、画像の局所的な明暗差(エッジ情報)と、腫瘍領域の予想される大きさと、画像の輝度分布とを用いて、画像中の各画素が腫瘍領域の輪郭を示す画素であるか否かの評価値を取得し、その取得した評価値に基づいて動的計画法により得られた最適輪郭経路を腫瘍領域の輪郭として決定する手法が提案されている。
【特許文献1】特表2002−530133公報
【特許文献2】特開2003−250794号公報
【特許文献3】米国特許第6973212号明細書
【非特許文献1】K. Okada, D. Comaniciu, A. Krishnan, “Robust Anisotropic Gaussian Fitting for Volumetric Caracterization of Pulmonary Nodules in Multislice CT”, IEEE Trans. Medical Imaging, Vol. 24, NO. 3, pp.409-423, 2005
【非特許文献2】Sheila Timpa, Nico Karssemeijer, “A new 2D segmentation method based on dynamic programming applied to computer aided detection in mammography”, Med. Phys. 31(5), May 2004
【発明の開示】
【発明が解決しようとする課題】
【0008】
ところが、CT画像を用いた肝がん診断においては、肺がん、乳癌の画像診断の場合と比較し、画像中の腫瘍と背景肝組織との明暗差が小さく、腫瘍の形状が多様であるので、2値化処理を用いて抽出した領域から腫瘍領域を確定する特許文献2において提案されている手法では、腫瘍の領域を正しく検出できない場合が多くある。図2、図3は、肝腫瘍を通る直線上の1次元輝度プロファイルを表す図であり、ここでA,A′は腫瘍の輪郭部を示す。たとえば、図2(a)における直線AA′上の1次元輝度プロファイルを表す図2(b)では、腫瘍と背景肝組織との明暗差が大きく、適当な閾値を設定した2値化処理により腫瘍領域を検出することができるが、図2(d)、図3(b)および図3(d)では、腫瘍の内部と外部を輝度値だけでは判断できないので、2値化処理による腫瘍領域の検出は困難である。
【0009】
また、画像の局所的な明暗差(エッジ情報)に基づいて、対象領域の輪郭を取得する特許文献3または非特許文献2の手法では、輪郭の抽出が画像の局所的な明暗差の変化に影響されやすく、対象領域と背景領域との明暗差が小さくなるに従って、輪郭の検出性能が低下するという問題がある。
【0010】
また、腫瘍の輝度分布がガウシアン分布であることを前提に輪郭検出処理を行う非特許文献1にて提案されている手法は、図3(b)に示すように腫瘍内部において背景組織より輝度が低く、変化が小さい場合、図3(d)に示すように腫瘍内部および外部にガウシアン型の輝度分布が複数存在している場合等、腫瘍の輝度分布がガウシアン分布に近似できない場合には対応できない。また、輪郭を楕円として取得するので、規則性のない形状の腫瘍に対して正しい輪郭を検出することができず、画像診断の精度を損なう可能性がある。
【0011】
本発明は、上記事情に鑑み、腫瘍の輪郭検出性能をより向上させることが可能な画像処理方法および装置ならびにプログラムを提供することを目的とするものである。
【0012】
また本発明は、さらに広く、この技術を応用できる種々の画像中の特定領域の輪郭検出について、その検出性能をより向上させることが可能な画像処理方法および装置ならびにプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【0013】
本発明の画像処理方法は、入力画像中の特定領域の輪郭を決定する画像処理方法であって、輪郭が既知である特定領域を含む複数のサンプル画像における各画素の特徴量を予め機械学習することにより、各画素が輪郭を示す画素であるかどうかをその特徴量に基づいて評価する評価関数を取得し、入力画像中の特定領域内に任意の点を設定し、その点を基準として、入力画像中に特定領域を含む判別領域を設定し、その判別領域内の各画素の特徴量を取得し、その特徴量に基づいて、判別領域内の各画素が輪郭を示す画素であるかどうかの評価値を、上記評価関数を用いて算出し、その評価値を用いて輪郭を決定することを特徴とするものである。
【0014】
本発明の画像処理装置は、入力画像中の特定領域の輪郭を決定する画像処理装置であって、輪郭が既知である特定領域を含む複数のサンプル画像における各画素の特徴量を予め機械学習することにより、各画素が輪郭を示す画素であるかどうかをその特徴量に基づいて評価する評価関数を取得する評価関数取得手段と、入力画像中の特定領域内に任意の点を設定する点設定手段と、その任意の点を基準として、入力画像中に特定領域を含む判別領域を設定する領域設定手段と、その判別領域内の各画素の特徴量を取得する特徴量取得手段と、その特徴量に基づいて、判別領域内の各画素が輪郭を示す画素であるかどうかの評価値を、上記評価関数を用いて算出する評価値算出手段と、算出した評価値を用いて輪郭を決定する輪郭決定手段とを備えたことを特徴とするものである。
【0015】
本発明の画像処理プログラムは、入力画像中の特定領域の輪郭を決定するプログラムであって、コンピュータに、輪郭が既知である特定領域を含む複数のサンプル画像における各画素の特徴量を予め機械学習することにより、各画素が輪郭を示す画素であるかどうかをその特徴量に基づいて評価する評価関数を取得し、入力画像中の特定領域内に任意の点を設定し、その点を基準として、入力画像中に特定領域を含む判別領域を設定し、その判別領域内の各画素の特徴量を取得し、その特徴量に基づいて、判別領域内の各画素が輪郭を示す画素であるかどうかの評価値を、上記評価関数を用いて算出し、その評価値を用いて輪郭を決定することを実行させるためのものである。
【0016】
なお、上記特徴量は、その特徴量の取得対象となる画素の近傍領域内の輝度情報であってもよい。ここで、近傍領域は、正方形の領域であってもよい。
【0017】
また、特徴量は、その特徴量の取得対象となる画素から判別領域内の任意の方向に延びた1次元輝度プロファイル内の輝度情報であってもよい。
【0018】
また、特徴量は、上記任意の点からその特徴量の取得対象となる画素を通る方向に延びた1次元輝度プロファイルと、上記任意の点から該方向と異なる方向に延びた1次元輝度プロファイルとを組み合わせた1次元輝度プロファイル内の輝度情報であってもよい。
【0019】
また、評価関数は、各画素が輪郭を示す画素であるか否かを判別する複数の弱判別器による判別結果を用いて、その各画素が輪郭を示す画素であるかどうかを評価するものであってもよい。
【0020】
上記の画像処理装置は、判別領域の画像を多重解像度化して、解像度が異なる複数の画像を取得する多重解像度画像取得手段を備え、特徴量取得手段および評価値算出手段が、その複数の画像の各々に対して、それぞれ特徴量の取得、評価値の算出を行うものであってもよい。
【0021】
また、上記の画像処理装置は、判別領域の画像を直交座標系の画像から上記任意の点を基準とする極座標系の画像に変換する座標変換手段を備え、特徴量取得手段が、その座標変換された極座標系の判別領域の画像を用いて、特徴量の取得を行うものであってもよい。
【0022】
また、上記輪郭決定手段は、グラフカット法(Graph cuts)を用いて輪郭を決定するものであってもよいし、動的計画法を用いて輪郭を決定するものであってもよい。
【0023】
なお、ここで特定領域は、入力画像中からその輪郭を抽出したい領域を広く意味するものであって、入力画像中の異常領域、医用画像中の肝臓、脾臓、腎臓などの臓器を示す臓器領域であってもよい。
【0024】
ここで入力画像中の異常領域というのは、いかなる種類の画像でも、そこに本来あることが望ましくないものが含まれている領域を広く意味するものであって、医用画像中の脳腫瘍、胸部結節、肝臓腫瘍、肝臓嚢胞、腎嚢胞などの病変を示す病変領域、皮膚の画像中に見られるシミ、あるいは工業製品の画像中の傷などを意味するものである。
【0025】
また、評価関数を取得するとは、予め求められた評価関数を取得するものに限らず、評価関数を求めるものも含む。
【発明の効果】
【0026】
本発明の画像処理方法および装置ならびにプログラムによれば、入力画像中の特定領域内に設定した任意の点を基準として、入力画像中にその特定領域を含む判別領域を設定し、設定された判別領域内の各画素の特徴量に基づいて、判別領域内の各画素が輪郭を示す画素であるかどうかの評価値を、評価関数を用いて算出し、その評価値を用いて特定領域の輪郭を決定する方法において、特に、その評価関数として、輪郭が既知である特定領域を含む複数のサンプル画像における各画素の特徴量を予め機械学習することにより取得した、各画素が輪郭を示す画素であるかどうかをその特徴量に基づいて評価する評価関数を用いているので、特定領域が複雑な濃度分布を有する特定領域や規則性のない形状を有する特定領域や背景領域との明度差が小さい以上領域であってもその輪郭を精度よく自動検出することができる。
【0027】
また、特徴量が、上記設定された任意の点からその特徴量の取得対象となる画素を通る方向に延びた1次元輝度プロファイルと、上記任意の点からその方向と異なる方向に延びた1次元輝度プロファイルとを組み合わせた1次元輝度プロファイル内の輝度情報である場合には、その1次元輝度プロファイルを用いて、2次元的な評価が可能であり、より信頼性の高い評価を行うことができる。
【0028】
また、評価関数が、各画素が輪郭を示す画素であるか否かを判別する複数の弱判別器による判別結果を用いて、各画素が輪郭を示す画素であるかどうかを評価するものである場合、ロバスト性の高い評価を行うことができる。
【0029】
また、判別領域の画像を多重解像度化して、解像度が異なる複数の画像を取得する多重解像度画像取得手段を備え、特徴量取得手段および評価値算出手段が、その複数の画像の各々に対して、それぞれ特徴量の取得、評価値の算出を行うものである場合、さまざまな大きさの特定領域に対して精度よく評価値を算出することができる。
【0030】
また、判別領域の画像を直交座標系の画像から上記任意の点を基準とする極座標系の画像に変換する座標変換手段を備え、特徴量取得手段が、その座標変換されてなる極座標系の判別領域の画像を用いて、特徴量の取得を行うものであれば、計算処理の量を大幅に減らすことができる。
【発明を実施するための最良の形態】
【0031】
以下、図面を参照して本発明の画像処理装置を医用画像中の腫瘍領域の輪郭を決定するものに適用した第1の実施の形態について説明する。なお、図1のような画像処理装置1の構成は、補助記憶装置に読み込まれた画像処理装置プログラムをコンピュータ(たとえばパーソナルコンピュータ等)上で実行することにより実現される。このとき、この画像処理プログラムは、CD−ROM等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。
【0032】
図1に示すように、画像処理装置1は、CT装置等により取得された医用画像Pに含まれる腫瘍領域の輪郭を決定するものであって、輪郭が既知である腫瘍領域を含む複数のサンプル画像における各画素の特徴量を予め機械学習することにより、該各画素が輪郭を示す画素であるかどうかをその特徴量に基づいて評価する評価関数Fを取得する評価関数取得部10と、医用画像P中の腫瘍領域内に任意の点Cを設定する点設定部20と、点Cを基準として、医用画像P中に腫瘍領域を含む判別領域TTを設定する領域設定部30と、設定した判別領域TTの画像を直交座標系の画像から点Cを基準とする極座標系の画像PPに変換する座標変換部40と、座標変換してなる画像PPを多重解像度化して、解像度の異なる複数の画像RPを取得する多重解像度画像取得部50と、取得された複数の画像RPの各々に対して、腫瘍領域の輪郭Bを取得する輪郭取得部60と、複数の画像RPの各々に対して取得された輪郭Bから最適な輪郭を選択する最適輪郭選択部100と、選択された最適輪郭の情報を含む極座標系の画像を、点Cに関する直交座標系の画像に逆変換する逆座標変換部110を備えている。
【0033】
ここで、輪郭取得部60は、複数の画像RP中の各画素の特徴量Lを取得する特徴量取得部70と、取得した特徴量Lに基づいて、各画像RP内の各画素が輪郭を示す画素であるかどうかの評価値Sを、評価関数Fを用いて算出する評価値算出部80と、算出した評価値Sに基づいて各画像RPにおける腫瘍領域の輪郭Bを決定する輪郭決定部90とを有している。
【0034】
評価関数取得部10は、たとえばアダブースティングアルゴリズム(Adaboosting Algorithm)を用いて、輪郭が既知である腫瘍領域を含む複数のサンプル画像における各画素の特徴量を予め機械学習することにより、その各画素が輪郭を示す画素であるかどうかを評価する評価関数Fを取得する機能を有するものであり、この評価関数取得部10において取得された評価関数Fは、任意の医用画像中の各画素が腫瘍領域の輪郭を示す画素であるかどうかを評価する場合に適用することができる。
【0035】
以下、評価関数Fを取得する一方法について詳細に説明する。まず、輪郭が既知である腫瘍領域を含む医用画像から、予めポジティブサンプル又はネガティブサンプルであることが正解付けされた学習サンプル(x1,y1),・・・,(xN,yN)を用意する。ここで、xiは学習サンプルのデータ、すなわち、本実施の形態では一定の長さ(32画素等)を有する1次元輝度プロファイルを示す。また、yiは学習サンプルのラベルであり、yi=1は、学習サンプルがポジティブサンプルとしてラベリングされている場合を示し、yi=−1は、学習サンプルがネガティブサンプルとしてラベリングされていることを示す。
【0036】
たとえば図2に示すような、腫瘍を通る一定の長さを有する1次元輝度プロファイルの内、両端から一定範囲の2箇所でそれぞれ輪郭部を有する1次元輝度プロファイルをポジティブサンプルとして抽出する。また、その他の輪郭部を1箇所でしか含まない1次元輝度プロファイル、輪郭部を含まない腫瘍内部または背景組織における1次元輝度プロファイル等をネガティブサンプルとして抽出する。
【0037】
さらに、抽出された1次元輝度プロファイルにおいてコントラストを所定レベルに揃える正規化を施す。たとえば、図5(a)に示すように1次元輝度プロファイルの輝度値の大きさが小さい側に偏って分布している場合には、図5(b)に示すように、輝度値の大きさが0〜255の全領域に亘るように正規化する。
【0038】
なお、情報を有効に圧縮するために、図5(c)に示すように、1次元輝度プロファイルのヒストグラムにおける分布範囲をたとえば5分割し、5分割された頻度分布が図5(d)に示すように、0〜255の値を5分割した範囲に亘るものとなるように正規化することが好ましい。
【0039】
アダブーストにおいて、取得される評価関数Fは、図4に示すように、複数の弱判別器f〜f(M:弱判別器の個数)から構成されており、各弱判別器f〜fはそれぞれ上述した学習サンプルのデータ、すなわち、1次元輝度プロファイル内の輝度情報に基づく特徴量Lを用いて各学習サンプルがポジティブサンプルであるか否かの判別を行う機能を備える。
【0040】
各弱判別器f〜fは図6に示すようなヒストグラムを有しており、このヒストグラムに基づいて1次元輝度プロファイル内の輝度情報に基づく特徴量Lの値に応じた判別結果を出力する。
【0041】
本実施の形態では、正規化処理を施した1次元輝度プロファイル内の3つの異なる画素における輝度値の組み合わせを特徴量Lとする。各弱判別器f〜f毎にそれぞれ異なる3つの画素の輝度値の組み合わせを特徴量Lとして用いられるものであり、たとえば、弱判別器fでは1次元輝度プロファイルの左端から三つの画素における輝度値の組み合わせを特徴量Lとして用い、弱判別器fでは1次元輝度プロファイルの左端から1画素おきに位置する3つの画素における輝度値等の組み合わせを特徴量Lとして用いるようにすることができる。
【0042】
なお、各弱判別器f〜fがそれぞれ異なる複数の画素の輝度値の組み合わせを特徴量として用いる場合について例示しているが、輝度値の差分、コントラスト、エッジ等の情報を用いるようにしてもよい。
【0043】
次に、アダブーストのアルゴリズムに従って複数の弱判別器fを逐次生成し、評価関数Fを構成する方法について説明する。
【0044】
まず、全学習サンプルの重みW(i)を一様に設定し、下記の式(1)により、重み付き学習サンプルに対する評価関数Fの誤り率Jを算出する。ここで、学習サンプルのデータ重みW(i)は、繰り返し回数M=1回目の学習サンプルxiのデータ重みを示す。
【数1】

【0045】
ここで、M−1個の弱判別器から構成される評価関数FM-1=Σm=1M-1(x)の評価性能を高めるため、上記の式(1)に示す誤り率Jを最小にする新しい弱判別器fを、下記式(2)により生成し、評価関数F=Σm=1(x)を構成する。ここで、確率密度Pm(x)は、学習サンプルの重みWM-1に基づいた、全学習サンプルに対するポジティブサンプル(y=1)またはネガティブサンプル(y=−1)に対する正答率を示すものである。
【数2】

【0046】
次いで、この弱判別器fmを使用して、繰り返し処理M回目の各学習サンプルの重みWを下記式(3)により更新する。
【数3】

【0047】
そして、所定回数(=T回)の処理を繰り返し、生成された弱判別器全てを組み合わせた最終評価関数Fが学習データセットを所望の性能で判別できるようになるまで、弱判別器の生成を繰り返す。
【0048】
最終評価関数Fは、全ての弱判別器の判別結果の総和の符号、すなわち下記式(4)に示す評価関数Fが正か負かを判断することで、ポジティブサンプル、すなわち、両端から一定範囲の2箇所でそれぞれ輪郭部を有する1次元輝度プロファイルであるかどうかを評価することができる。
【数4】

【0049】
なお、ここでは、評価関数10がアダブースティングアルゴリズムを用いて評価関数Fを取得する場合について例示しているが、それに代えてニューラルネットワーク(Neural network)、SVM(Support Vector Machine)等他のマシンラーニングの手法を用いることもできる。
【0050】
点設定部20は、CT装置等により取得された医用画像Pに含まれる腫瘍領域内に任意の点Cを設定するものであって、例えば、画像処理装置1に備えるキーボードやポインティングデバイス等により指定された位置に基づいて、該位置を任意の点Psとして設定するものであってもよいし、上記特許文献2等の公知の対象領域検出方法により自動検出された腫瘍領域内の各点に一定の質量が与えられているとし、その領域の重心位置を任意の点Cとして設定するものであってもよい。
【0051】
ここで、任意の点Cは、腫瘍領域のおおまかな中心に設定されたものであってもよいし、腫瘍領域の中心から外れた位置に設定されたものであってもよい。
【0052】
領域設定部30は、図7の(a)に示すように、点設定部20において設定された任意の点Cを基準として、医用画像P中に、腫瘍領域を含む判別領域TTを設定するものであって、具体的には、任煮の点Cを中心とした、腫瘍領域を含む所定の半径の領域を判別領域TTとして設定する。これにより、全体の医用画像Pから注目する領域の範囲を限定することにより、以降の処理を高速化することができる。
【0053】
なお、判別領域TTは、その周縁形状として矩形、円形、楕円形等、種々の形状を採用することができる。
【0054】
座標変換部40は、領域設定部30において設定された判別領域TTの画像を、直交座標系の画像から、任意の点Cからの距離と任意の点Cを通る所定の直線とのなす角度θとで表される極座標系の画像PPに変換する機能を有する。たとえば、図7(b)に示す画像は、図7(a)に示す直交座標の画像を、点Cからの距離と点Cからの半径方向線分CDを基準とした時計方向の角度θとで表される極座標系の画像に変換してなるものである。これにより、平行移動という簡単な探索処理で、容易に判別領域内の各画素に対して処理を行なうことが可能となるため、計算処理の量を大幅に減らすことができる。
【0055】
多重解像度画像取得部50は、図8に示すように、座標変換部40において座標変換してなる画像PPを多重解像度化して、解像度の異なる複数の画像RP〜RPを取得する機能を有する。これにより、評価関数Fは予め設定された一定の長さの1次元輝度プロファイルに対応させて取得しているため、腫瘍領域の大きさが、評価関数Fにより評価できる範囲内に収まらない場合が生じるが、そのような場合であっても、低解像度化または高解像度化した画像上において腫瘍領域の大きさを評価関数Fにより評価できる範囲内に収めることが可能となり、さまざまな大きさの腫瘍領域に対して輪郭の検出を確実に行うことができる。
【0056】
なお、本実施の形態では、解像度の異なる複数の画像に対して、一定の長さ(画素数)を有する1次元輝度プロファイルに対応させて取得した評価関数を用いる場合について例示しているが、単一の解像度の画像に対して、異なる長さ(画素数)の1次元輝度プロファイルに対応させて取得した評価関数を用いることにより、さまざまな大きさの腫瘍領域に対して輪郭の検出を可能とすることができる。
【0057】
輪郭取得部60は、多重解像度画像取得部50において取得された複数の画像RP〜RPの各々に対して、腫瘍領域の輪郭B〜Bを取得するものであり、複数の画像RP〜RP中の各画素の特徴量Lを取得する特徴量取得部70と、取得した特徴量Lに基づいて、各画像RP中の各画素が輪郭を示す画素であるかどうかの評価値Sを、評価関数Fを用いて算出する評価値算出部80と、算出した評価値Sに基づいて各画像における腫瘍領域の輪郭Bを決定する輪郭決定部90を備えている。
【0058】
特徴量取得部70は、画像RP〜RPの各画素の特徴量を取得するものであり、図7(a)または(b)に示すように、任意の点Cから画素(x、y)を通る方向に延びた1次元輝度プロファイルと、任意の点Cからその方向と異なる方向である任意の画素(i、j)を通る方向に延びた1次元輝度プロファイルとを組み合わせた1次元輝度プロファイルを、画素(x、y)における1次元輝度プロファイルP((x、y)、(i、j))として取得する。そして、取得した1次元輝度プロファイルの長さを、評価関数Fが対応可能に設定された長さ(32画素等)数に合わせて調節し、さらに、正規化および5値化処理を行なうようになっている。また、評価関数Fを構成する各弱判別器f〜fに用いられる、正規化された1次元輝度プロファイル内のそれぞれ異なる3つの画素における輝度値の組み合わせを、画素(x、y)における特徴量Lとして取得する。評価値算出部80は、特徴量取得部70において取得された特徴量Lに基づいて、画像RP〜RPの各画素(x、y)が輪郭を表す画素であるかどうかの評価値Sを算出する機能を有している。具体的には、下記式(5)に示すように、1次元輝度プロファイルP((x、y)、(i、j))内の異なる3つの画素における輝度値の組み合わせからなる特徴量Lに基づいて得られた、各弱判別器f〜fでの判別結果の和Σm=1が設定しきい値(ゼロ)以上であるか否かを認識し、設定しきい値以上であるとき、得られた判別結果の和を AdaSとし、設定しきい値以下である場合はAdaSを0とする。ここで、 画素(x、y)および任意の画素(i、j)が腫瘍の輪郭部に相当する画素である可能性が高いほど、AdaSの値は大きくなる。このようなAdaSを、画素(x、y)とその画素を除いた判別画像RP内の各画素(i、j)とを通る1次元輝度プロファイルに対して取得し、下記式(6)により、画素(x、y)の評価値Sを算出する。図7(c)は(b)画像の各画素における特徴量に基づいて算出された評価値Sを各画素の輝度値として表した画像である。
【数5】

【数6】

【0059】
輪郭決定部90は、評価値算出部80において算出された各画素の評価値Sに基づいて画像RP〜RPにおける腫瘍領域の輪郭B〜Bを決定するものであり、例えば、動的計画法を用いて輪郭の最適な経路を抽出して輪郭Bとして決定する。具体的には、下記式(7)に示すように、任意の輪郭点に連続する次の輪郭点のy座標が、その任意の輪郭点のy座標から上下2画素の範囲内で選択されるように設定し、設定した範囲内の候補画素の中の最適点(評価値の合計が最大となる画素)を次の輪郭点とすることを繰り返して最適解を求めることにより、ある程度の連続性を確保した最適輪郭Bを抽出する。図7(d)は(c)画像の各画素の評価値Sに基づいて輪郭決定部90により決定した輪郭の一例を示す画像である。
【数7】

【0060】
なお、ここでは、動的計画法を用いて輪郭を決定する場合について例示しているが、それに代えて後述するグラフカット法(Graph Cuts)等他の手法を用いて輪郭を決定してもよい。
【0061】
最適輪郭選択部100は、多重解像度化された複数の画像RPの各々に対して取得された、腫瘍の輪郭B〜B毎に輪郭上の評価値Sの合計を求め、最も大きい値となる輪郭を最適な輪郭として選択するものである。
【0062】
逆座標変換部110は、座標変換部40による変換の逆変換として、任意の点Cに関する極座標系の画像を、直交座標系の画像に逆変換する機能を有するものであり、最適輪郭選択部100において選択された最適輪郭の情報を含む極座標系の画像を、直交座標の画像系の画像に逆変換することにより、図7(e)に示すように、判別領域TTの画像等の医用画像上に輪郭Bを表示することができる。
【0063】
次に、本発明による画像処理装置を医用画像中の腫瘍領域の輪郭を決定するものに適用した第2の実施の形態について図9を参照して説明する。図9は第2の実施の形態の画像処理装置2を示す概略構成図である。
【0064】
画像処理装置2は、CT装置等により取得された医用画像P2中の腫瘍領域の輪郭を決定するものであって、輪郭が既知である腫瘍領域を含む複数のサンプル画像における各画素の特徴量を予め機械学習することにより、該各画素が輪郭を示す画素であるかどうかをその特徴量に基づいて評価する評価関数F2を取得する評価関数取得部210と、医用画像P2中の腫瘍領域内に任意の点C2を設定する点設定部220と、設定した任意の点C2を基準として、医用画像P2中に腫瘍領域を含む判別領域TT2を設定する領域設定部230と、判別領域TT2内の各画素の特徴量L2を取得する特徴量取得部270と、取得した特徴量L2に基づいて、判別領域TT2内の各画素が輪郭を示す画素であるかどうかの評価値S2を、評価関数F2を用いて算出する評価値算出部280と、算出した評価値S2を用いて輪郭B2を決定する輪郭決定部290とを有している。
【0065】
評価関数取得部210は、評価関数取得部10と同様に、アダブースティングアルゴリズム(Adaboosting Algorithm)、ニューラルネットワーク(Neural network)、SVM(Support Vector Machine)等のマシンラーニングの手法を用いて、輪郭が既知である腫瘍領域を含む複数のサンプル画像における各画素の特徴量を予め機械学習することにより、該各画素が輪郭を示す画素であるかどうかをその特徴量に基づいて評価する評価関数F2を取得するものであって、この評価関数取得部210において取得された評価関数F2は、任意の医用画像中の各画素が腫瘍領域の輪郭を示す画素であるかどうかを評価する場合に適用することができる。
【0066】
本実施の形態では、サンプル画像における各画素の近傍領域内の輝度情報、例えば、その画素を中心とする水平方向5画素×垂直方向5画素の矩形の領域内の異なる3つの画素における輝度値の組み合わせを、その各画素における特徴量として機械学習し、その各画素が輪郭を示す画素であるかどうかをその特徴量に基づいて評価する評価関数F2を取得する。
【0067】
点設定部220は、点設定部20と同一の構成を有し、入力された医用画像中の腫瘍領域内に任意の点を設定するものであって、医用画像P2中の腫瘍領域内に任意の点C2を設定する。
【0068】
領域設定部230は、領域設定部30と同一の構成を有し、設定された任意の点を基準として、医用画像中に腫瘍領域を含む判別領域を設定するものであって、点設定部220において設定された任意の点C2を基準として、医用画像P2中に腫瘍領域を含む判別領域TT2を設定する。
【0069】
特徴量取得部270は、領域設定部230において設定された判別領域TT2内の各画素の特徴量L2を取得するものであって、その各画素の近傍領域内の輝度情報、例えば、その画素を中心とする水平方向5画素×垂直方向5画素の矩形の領域内の異なる3つの画素における輝度値の組み合わせを、その各画素における特徴量として取得する。
【0070】
評価値算出部280は、特徴量取得部270において取得した特徴量に基づいて、判別領域TT2内の各画素が輪郭を示す画素であるかどうかの評価値S2を、評価関数F2を用いて算出するものである。
【0071】
輪郭決定部290は、評価値算出部280において算出された各画素の評価値S2を用いて腫瘍領域の輪郭B2を決定するものであって、たとえば、Yuri Y. Boykov, Marie-Pierre Jolly, “Interactive Graph Cuts for Optimal Boundary and Region Segmentation of Objects in N-D images”, Proceedings of “International Conference on Computer Vision”, Vancouver, Canada, July 2001 vol.I, p.105-112.に記載されているような、隣接する画素が同一領域内の画素である確からしさを用いて対象領域と背景領域を分割するグラフカット法(Graph Cuts)領域分割方法により輪郭を決定する際、各画素の評価値S2を用いてその画素が隣接する画素と同一領域内の画素である確からしさを算出し、算出された確からしさに基づいて判別領域TT2を腫瘍領域と背景領域とに分割して、判別領域と特定領域の境界を腫瘍領域の輪郭B2として決定するようになっている。
【0072】
具体的には、まず、図10に示すように、判別領域中の各画素を表すノードNijと、各画素が取り得るラベル(本実施の形態では、腫瘍領域または背景領域)を表すノードS、Tと、隣接する画素のノード同士をつなぐリンクであるn−linkと、各画素を表すノードNijと腫瘍領域を表すノードSまたは腫瘍の背景領域を表すノードTとをつなぐリンクであるt−linkとから構成されるグラフを作成する。
【0073】
ここで、n−linkには、判別領域中の各画素を表すノードNij毎にそのノードから四方の隣接するノードへ向かう4本のリンクが存在し、各隣接するノード間には互いのノードに向かう2本のリンクが存在する。ここで、各ノードNijから四方の隣接するノードへ向かう4本のリンクは、そのノードが示す画素が四方の隣接する画素と同一領域内の画素である確からしさを表すものであり、その確からしさはその画素における評価値に基づいて求められる。具体的には、そのノードNijが示す画素の評価値が設定しきい値以下である場合には、それらの各リンクに確からしさの所定の最大値が設定され、評価値が設定しきい値以上である場合は、その評価値が大きいほど、小さい値の確からしさが各リンクに設定される。たとえば、確からしさの所定の最大値を1000とした場合、ノードNijが示す画素の評価値が設定しきい値(ゼロ)以下である場合には、そのノードから四方の隣接するノードへ向かう4本のリンクに1000という値が設定され、評価値が設定しきい値(ゼロ)以上である場合は、次式(1000−(評価値S/評価値の最大値)×1000)により算出された値をそれらの各リンクに設定することができる。ここで、評価値の最大値は、評価値算出部280により判別領域TT2内の各画素において算出された全ての評価値のうち最大の値を意味する。
【0074】
また、各画素を表すノードNijと腫瘍領域を表すノードSをつなぐt−linkは、各画素が腫瘍領域に含まれる画素である確からしさを表すものであり、各画素を表すノードと背景領域を表すノードTをつなぐt−linkは、各画素が背景領域に含まれる画素である確からしさを表すものである。それらの確からしさは、その画素が腫瘍領域又は背景領域のいずれかを示す画素であるかの情報がすでに与えられている場合には、その与えられた情報に従って設定でき、そのような情報が与えられてない場合には、腫瘍領域または背景領域を示す画素であることが既知である1以上の画素における画素値の統計的な特徴に基づいて算出することができる。
【0075】
たとえば、任意の点Cは腫瘍領域内に設定された画素であるので、図10に示すように、その点Cを示すノードN33と腫瘍領域を表すノードSとをつなぐt−linkに、大きい値の確からしさを設定する。また、腫瘍領域内に設定された任意の点を基準として、その腫瘍領域を含むように設定した判別領域TT2は、通常、腫瘍領域及びその腫瘍領域の周囲に存在する背景領域を含むようになっていることから、判別領域TT2の周縁の各画素を、背景領域を示す画素であろうと想定し、それらのその各画素を示すノードN11、N12、…、N15、N21、N25、N31、、と背景領域を表すノードTとをつなぐt−linkに、大きい値の確からしさを設定する。
【0076】
そして、腫瘍領域と背景領域は互いに排他的な領域であるので、たとえば図11に点線で示すように、全てのt−linkおよびn−linkのうち適当なリンクを切断してノードSをノードTから切り離すことにより、判別領域TT2を腫瘍領域と背景領域に分割する。ここで、切断する全てのt−linkおよびn−linkにおける確からしさの合計が最も小さくなるような切断を行うことにより、最適な領域分割をすることができる。以上のように領域分割して得られた病変領域において決定された輪郭の一例を図12に示す。この図では、病変領域の輪郭を実線で表示している。
【0077】
上記各実施の形態によれば、輪郭が既知である腫瘍領域を含む複数のサンプル画像における各画素の特徴量を予め機械学習することにより、各画素が輪郭を示す画素であるかどうかをその特徴量に基づいて評価する評価関数を取得し、医用画像中の腫瘍領域内に設定した任意の点から設定される判別領域内の各画素の特徴量に基づいて、判別領域内の各画素が輪郭を示す画素であるかどうかの評価値を、上記評価関数を用いて算出し、その評価値を用いて輪郭を決定することにより、腫瘍領域が複雑な濃度分布を有する腫瘍領域や規則性のない形状を有する腫瘍領域や背景領域との明度差が小さい以上領域であってもその輪郭を精度よく自動検出することができる。
【0078】
なお、上記各実施の形態において、特徴量は、その特徴量の取得対象となる画素が輪郭を示す画素であるかどうかをその特徴量に基づいて評価できるものであればよく、例えば、その画素の近傍領域内の輝度情報であってもよいし、その画素から判別領域内の任意の方向に延びた1次元輝度プロファイル内の輝度情報であってもよい。また、設定された任意の点からその特徴量の取得対象となる画素を通る方向に延びた1次元輝度プロファイルと、上記任意の点からその方向と異なる方向に延びた1次元輝度プロファイルとを組み合わせた1次元輝度プロファイル内の輝度情報であってもよい。
【0079】
また、上記第2の実施の形態の画像処理装置を用いて、3次元の医用画像中の腫瘍領域の輪郭を決定する場合には、まず、評価関数取得部210において、輪郭が既知である腫瘍領域を含む複数の3次元のサンプル画像における各画素(ボクセル)の特徴量を予め機械学習することにより、該各画素(ボクセル)が輪郭を示す画素(ボクセル)であるかどうかをその特徴量に基づいて評価する評価関数を取得する。ここで、特徴量としては、その画素(ボクセル)の近傍領域内の輝度情報、例えば、その画素(ボクセル)を中心とするX軸方向5画素×Y軸方向5画素×Z軸方向5画素の立方体の領域内の異なる複数個の画素(ボクセル)における輝度値の組み合わせを用いることができる。次に、点設定部220において、3次元の医用画像中の腫瘍領域内に3次元座標系での任意の点を設定し、領域設定部230において、設定した任意の点C2を基準として、3次元の医用画像中に腫瘍領域を含む判別領域を設定し、特徴量取得部270において、判別領域内の各ボクセルの特徴量を取得する。次に、評価値算出部280において、取得した特徴量に基づいて、判別領域内の各画素(ボクセル)が輪郭を示す画素であるかどうかの評価値を、評価関数F2を用いて算出し、輪郭決定部290において、その算出されたた評価値に基づいてグラフカット法(Graph Cuts)により判別領域を腫瘍領域と背景領域とに分割し、分割された判別領域と腫瘍領域の境界を腫瘍領域の輪郭として決定する。
【0080】
なお、腫瘍領域が、たとえば、その腫瘍領域内の任意の点から放射線状に延びた直線のうち、輪郭を2回以上通る直線が存在するような形状を有する場合、判別領域の画像を直交座標系の画像からその任意の点を基準とする極座標系の画像に変換し、変換された画像を横切るように所定の順方向に沿って単一の最適な輪郭点を次々と決定していくことによって輪郭の最適な経路を抽出する動的計画法による輪郭の抽出方法では、正しい輪郭を検出することができない場合がある。このような場合には、上述したグラフカット法(Graph Cut)領域分割方法により判別領域を腫瘍領域と背景領域とに分割して、腫瘍領域の輪郭を決定することが望ましい。
【0081】
なお、上記各実施の形態では、本発明の画像処理装置を、医用画像中の腫瘍領域の輪郭を決定するものに適用した場合について説明したが、医用画像中の腫瘍領域の輪郭を決定する場合に限らず、種々の入力画像からその輪郭を抽出したい領域、たとえば、医用画像中の臓器領域又は病変領域、皮膚の画像中に見られるシミ領域、工業製品の画像中の傷領域などの特定領域の輪郭を決定する場合に適用することができる。
【0082】
また、医用画像中の腫瘍領域の輪郭を決定する場合における上述した種々の対応についても、種々の入力画像からその輪郭を抽出したい様々な領域に対して、その輪郭を決定する場合に適用することができる。
【図面の簡単な説明】
【0083】
【図1】本発明の画像処理装置の実施の形態を示すブロック図
【図2】肝腫瘍を通る直線上の1次元輝度プロファイルを表す図
【図3】肝腫瘍を通る直線上の1次元輝度プロファイルを表す図
【図4】図1の評価関数取得部により取得された評価関数の一例を示すブロック図
【図5】(a)1次元輝度プロファイルの正規化前の輝度値ヒストグラムを示す図、(b)正規化後の輝度値ヒストグラムを示す図、(c)5値化した輝度値ヒストグラムを示す図、(d)正規化後の5値化した輝度値ヒストグラムを示す図
【図6】図4の弱判別器が有するヒストグラムの一例を示すグラフ図
【図7】本発明の画像処理方法による画像処理の一例を示す図
【図8】図1の多重解像度画像取得部において取得される多重解像度化画像の一例を示す図
【図9】本発明の画像処理装置の第2の実施の形態を示すブロック図
【図10】図9の輪郭決定部により輪郭を決定する一方法を説明するための図
【図11】図9の輪郭決定部により輪郭を決定する一方法を説明するための図
【図12】本発明の画像処理装置により決定された輪郭の一例を示す図
【符号の説明】
【0084】
1、2 画像処理装置
10、210 評価関数生成部
20、220 点設定部
30、230 領域決定部
70、270 特徴量取得部
80、280 評価値算出部
90、290 輪郭決定部
40 座標変換部
50 多重解像度画像取得部
C、C2 腫瘍領域内の任意の点
F、F2 評価関数
L、L2 特徴量
S、S2 評価値
B、B2 輪郭

【特許請求の範囲】
【請求項1】
入力画像中の特定領域の輪郭を決定する画像処理方法であって、
輪郭が既知である特定領域を含む複数のサンプル画像における各画素の特徴量を予め機械学習することにより、該各画素が前記輪郭を示す画素であるかどうかを前記特徴量に基づいて評価する評価関数を取得し、
前記入力画像中の特定領域内に任意の点を設定し、
設定した任意の点を基準として、入力画像中に前記特定領域を含む判別領域を設定し、
設定した判別領域内の各画素の特徴量を取得し、
取得した特徴量に基づいて、前記判別領域内の各画素が前記輪郭を示す画素であるかどうかの評価値を、前記評価関数を用いて算出し、
算出した評価値を用いて輪郭を決定することを特徴とする画像処理方法。
【請求項2】
入力画像中の特定領域の輪郭を決定する画像処理装置であって、
輪郭が既知である特定領域を含む複数のサンプル画像における各画素の特徴量を予め機械学習することにより、該各画素が前記輪郭を示す画素であるかどうかを前記特徴量に基づいて評価する評価関数を取得する評価関数取得手段と、
前記入力画像中の特定領域内に任意の点を設定する点設定手段と、
設定した任意の点を基準として、入力画像中に前記特定領域を含む判別領域を設定する領域設定手段と、
設定した判別領域内の各画素の特徴量を取得する特徴量取得手段と、
取得した特徴量に基づいて、前記判別領域内の各画素が前記輪郭を示す画素であるかどうかの評価値を、前記評価関数を用いて算出する評価値算出手段と、
算出した評価値を用いて輪郭を決定する輪郭決定手段と
を備えたことを特徴とする画像処理装置。
【請求項3】
前記特徴量が、該特徴量の取得対象となる画素の近傍領域内の輝度情報であることを特徴とする請求項2記載の画像処理装置。
【請求項4】
前記特徴量が、該特徴量の取得対象となる画素から判別領域内の任意の方向に延びた1次元輝度プロファイル内の輝度情報であることを特徴とする請求項2記載の画像処理装置。
【請求項5】
前記特徴量が、前記任意の点から該特徴量の取得対象となる画素を通る方向に延びた1次元輝度プロファイルと、前記任意の点から該方向と異なる方向に延びた1次元輝度プロファイルとを組み合わせた1次元輝度プロファイル内の輝度情報であることを特徴とする請求項2記載の画像処理装置。
【請求項6】
前記評価関数が、前記各画素が輪郭を示す画素であるか否かを判別する複数の弱判別器による判別結果を用いて、前記各画素が輪郭を示す画素であるかどうかを評価するものであることを特徴とする請求項2から5のいずれか1項記載の画像処理装置。
【請求項7】
前記判別領域の画像を多重解像度化して、解像度が異なる複数の画像を取得する多重解像度画像取得手段を備え、
前記特徴量取得手段および前記評価値算出手段が、前記複数の画像の各々に対して、それぞれ特徴量の取得、評価値の算出を行うものであることを特徴とする請求項2から6のいずれか1項記載の画像処理装置。
【請求項8】
前記判別領域の画像を直交座標系の画像から前記任意の点を基準とする極座標系の画像に変換する座標変換手段を備え、
前記特徴量取得手段が、前記座標変換された極座標系の判別領域の画像を用いて、特徴量の取得を行うものであることを特徴とする請求項2、4、5、6、7のいずれか1項記載の画像処理装置。
【請求項9】
前記輪郭決定手段が、グラフカット法を用いて輪郭を決定するものであることを特徴とする請求項2から8のいずれか1項記載の画像処理装置。
【請求項10】
前記輪郭決定手段が、動的計画法を用いて輪郭を決定するものであることを特徴とする請求項8記載の画像処理装置。
【請求項11】
前記特定領域が、医用画像中の腫瘍領域であることを特徴とする請求項2から10いずれか1項記載の画像処理装置。
【請求項12】
前記近傍領域が、正方形であることを特徴とする請求項3記載の画像処理装置。
【請求項13】
入力画像中の特定領域の輪郭を決定するプログラムであって、
コンピュータに、
輪郭が既知である特定領域を含む複数のサンプル画像における各画素の特徴量を予め機械学習することにより、該各画素が前記輪郭を示す画素であるかどうかを前記特徴量に基づいて評価する評価関数を取得し、
前記入力画像中の特定領域内に任意の点を設定し、
設定した任意の点を基準として、前記入力画像中に前記特定領域を含む判別領域を設定し、
設定した判別領域内の各画素の特徴量を取得し、
取得した特徴量に基づいて、前記判別領域内の各画素が前記輪郭を示す画素であるかどうかの評価値を、前記評価関数を用いて算出し、
算出した前記評価値を用いて輪郭を決定することを実行させるための画像処理プログラム。

【図1】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図2】
image rotate

【図3】
image rotate

【図7】
image rotate

【図12】
image rotate


【公開番号】特開2007−307358(P2007−307358A)
【公開日】平成19年11月29日(2007.11.29)
【国際特許分類】
【出願番号】特願2007−88428(P2007−88428)
【出願日】平成19年3月29日(2007.3.29)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】