説明

医用画像処理方法、記録媒体、及び医用画像処理装置

【課題】セグメンテーションの精度の向上。
【解決手段】複数の候補アトラスの各々について、前記候補アトラスと複数の訓練画像データセットとを位置合わせする。前記位置合わせされた訓練画像データセットと候補アトラスとに基づいて類似値を計算する。前記訓練画像データセットを前記候補アトラスを利用してセグメント化する。前記セグメント化された訓練画像データセットと前記候補アトラスとのジャカール係数値を計算する。前記計算された類似値と前記計算されたジャカール係数値とに基づく回帰パラメータを生成する。前記生成された回帰パラメータに基づいて前記複数の候補アトラスから複数のアトラスを選択する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、医用画像処理方法、記録媒体、及び医用画像処理装置に関する。
【背景技術】
【0002】
画像に描出されているオブジェクトをラベル付けする方法は、セグメンテーションと呼ばれている。
【0003】
例えば、オブジェクトは、ユーザにより手動でラベル付けされる。この手動によるラベル付け方法は、オブジェクトを認識するユーザ(例えば、2次元X線画像や3次元X線画像において器官や下部組織を特定する臨床医)の熟練技術を考慮すれば、非常に優れた方法である。
【0004】
コンピュータ装置により実行される自動画像処理方法は、多数のアプリケーションによりセグメンテーションを実行することにおいて広く利用可能である。
【0005】
図1は、従来例に係るセグメンテーション処理の典型的な流れを示す図である。
【0006】
ステップSX1において、患者に関する新規の画像データセットがセグメンテーションのためにコンピュータ装置に入力される。
【0007】
ステップSX2において、レジストレーションが実行され、新規の画像データセットが参照画像データセットに位置合わせされる。参照画像データセットは、既にセグメンテーションされ、セグメンテーションデータに関連付けて記憶されている。セグメンテーションデータが関連付けられた参照画像データセットは、アトラスデータセット、又は、単にアトラスと呼ばれる。アトラスは、複数のマスク画像を含むセットにセグメンテーションデータを記憶している。マスク画像は、少なくとも1以上のラベル付けされた特徴を示す。ラベル付けされた特徴は、例えば、手動でラベル付けされた解剖学的特長である。この位置合わせ処理は、従来技術において、レジストレーションと呼ばれている。例えば、3次元医用画像の場合、アトラスは、関心のあるラベル付けされた解剖学的領域を有する。解剖学的領域に属する全てのボクセルは、共通のラベルが付されている。典型的には、レジストレーションは、厳密及び非厳密な変換と少なくとも1つの歪み変換とを含む一連の変換により実行される。
【0008】
ステップSX3において、位置合わせされた新規の画像データセットは、セグメント化される。セグメント化は、ラベルが新規の画像データセットに付される、あるいは、割り付けられることにより行われる。
【0009】
ステップSX4において、セグメント化された新規の画像データセット、すなわち、新規の画像データセットとそれに関連付けられたセグメンテーションデータとが出力される。3次元医用画像データの場合、新規の画像データセットは、ロードされ、ボリュームレンダリングプログラムにより表示される。これは、セグメンテーションデータに基づく表示パラメータの選択的な設定を許可するために、セグメンテーションデータを利用する。
【0010】
ボリュームレンダリングは、3次元データセットを2次元で表示するための方法であり、画像診断において広く利用されている。MPR(Multi-planar reformatting)は、ボリュームレンダリングの一手法であり、画像診断装置により収集された3次元データセットを処理するために頻繁に利用されている。
【0011】
3次元画像診断の分野において、全ての新規の画像データセットをセグメント化するために単一のアトラスを利用するのではなく、複数のアトラスをセグメンテーションに利用することが広く知られている。以下、複数のアトラスを利用したセグメンテーションをマルチアトラスセグメンテーションと呼ぶことにする。
【0012】
マルチアトラスセグメンテーションは、ある種の知的な選択または複数のアトラス間で重み付けをして処理対象の新規の画像データセットについて最良の結果を得るために、または、少なくとも単一のアトラスを利用する場合よりも平均的に良好な結果を得るために、利用される。直感的に、画像診断においてマルチアトラスセグメンテーションの値は、標本となる全ての人間または動物の個体数が連続的になりえないが、例えば、年齢、環境、病理学、または、人種等に基づくグループに分離されないとすれば、評価される。
【0013】
胸腔中の解剖学的変異は、患者間に存在する相違の良い例である。心肺比率(CTR:Cardio-thoracic ratio)は、胸部のX線画像について規定され、胸腔の直径に対する心臓の直径の測定値である。CTRは、心臓病理学における良い指標であることが知られている。CTRは、病理学に基づいて変化するだけでなく、年齢、体の大きさ、及び人種によっても異なる。
【0014】
マルチアトラスセグメンテーションのアプリケーションにおいて、セグメンテーションのために単一のアトラスまたは複数のアトラスを選択することは、重要である。器官アトラスの全体的な目標は、解剖学的分類にできるだけ基準的であることである。これは、解剖学的な変異の根本となるため、画像診断解析に問題を提起している。
【0015】
図2は、従来例に係る、M個のアトラスに基づくマルチアトラスセグメンテーション処理の典型的な流れを示す図である。ここでMは、2以上の整数であり、典型的には、2,3,4、または5である。
【0016】
ステップSY1において、患者に関する新規の画像データセットがセグメンテーションのためにコンピュータ装置に入力される。
【0017】
ステップSY2Mにおいて、M個のアトラスの各々が新規の画像データセットに位置合わせされる。図示されているように、ステップS2Mの処理は、他のアトラスによる位置合わせに対して独立に行われるため並列的に行われる。
【0018】
ステップSY3Mにおいて、位置合わせされた画像のペアの各々について共通の類似性指標の値(類似値)が計算される。
【0019】
ステップSY4において、複数の類似値が比較され、複数の類似値に基づいて複数のアトラスのうちの1つのアトラスが選択される。選択されたアトラスは、新規の画像データセットをセグメント化するために利用される。ステップSY4に関して、単一のアトラスを選択せず、複数のアトラスを選択し、ある種の重み付け、または、ボーティングスキーム(voting scheme)を利用する結果を整理し、ボクセル(またはピクセル)のラベル付けを決定するような種々の変形例が知られている。最もよく利用されている類似性指標は、相互情報量(MI:mutual information)、正規化された相互情報量(NMI:normalized mutual information)、及び相互相関(CC:cross-correlation)である。
【0020】
ステップSY5において、位置合わせされた新規の画像データセットは、選択されたアトラスを利用してセグメント化される。
【0021】
ステップSY6において、セグメント化された新規の画像データセット、すなわち、新規の画像データセットとそれに関連付けられたセグメンテーションデータとが出力される。
【先行技術文献】
【非特許文献】
【0022】
【非特許文献1】P.Aljabar、R.A.heckemann、A.Hammers、J.V.Hajnal、及びD.Rueckert、「Multi-atklas based segmentation ob brain images: Atlas selection and its effect on accuracy」、NeuroImage, 2009年、第46巻、第3号、p.726−738
【非特許文献2】Olivier Commowick 及び Gregoire Malandain、「Efficient selection of the most similar image in a database for critical structures segmentation」、Proc. Medical Image Computing and Computer Assisted Intervention (MICCAI’07)、2007年10月 Part II、number 4792、p.203−210
【非特許文献3】T.Rohlfing、R,Brandt、R,Menzel、及びC.R.Maurer、「Evaluation of atlas selection strategies for atlas-based image segmentation with application to confocal microscopy images of bee brains」、Neuroimage, 2004年4月、第21巻、第4号、p.1428−1442
【非特許文献4】Torsten Rohlfing、Rober Brandt、Randolf Menzel、Daniel B.Russakoff、及びCalvin R.Maurer Jr、「Quo vadis atlas-based segmentation?」The Handbook of Medical Image Analysis − Volume III: Registration Models、Kluwer Academic / Plenum Publishers, New York, NY、2005年8月、第11章、p.435−486
【非特許文献5】Torsten Rohlfing、Daniel B.Russakoff、及びCalvin R.Maurer Jr、「Performance-based classifier combination in atlas-based image segmentation using expectation-maximization parameter estimation」、IEEE Trans.Med.Imag、2004年、第23巻、p.983−994
【非特許文献6】S.K.Warfield、K.H.Zou、及びW.M.Wells、「Simultaneous truth and performance level estimation(staple): an algorithm for the validation of image segmentation」、IEEE Transaction on Medical Imaging、2004年、第23巻、p.903−921
【非特許文献7】Minjie Wu、Caterina Rosano、Pilar Lopez-Garcia、Cameron S.Carter、及びHoward J. Aizenstein、「Optimum template selection for atlas-based segmentation」、Neuroimage、2006年、第34巻、p.1612−1618
【非特許文献8】J.Lotjonen、Robin Wolz、J.R.Koikkalainena、L.Thurfjellc、G.Waldemard、H.Soininen、D.Rueckert、「Fast and robust multi-atlas segmentation of brain magnetic resonance images」、NeuroImage、2009年、第34巻、p.2352−2365
【発明の概要】
【発明が解決しようとする課題】
【0023】
目的は、セグメンテーションの精度を向上することが可能な医用画像処理方法、記録媒体、及び医用画像処理装置。
【課題を解決するための手段】
【0024】
本実施形態に係る医用画像処理方法は、新規の画像データセットのセグメンテーションに利用される複数のアトラスを複数の候補アトラスから選択する医用画像処理方法であって、コンピュータ装置により、複数の候補アトラスの各々について、前記候補アトラスと複数の訓練画像データセットとを位置合わせし、前記コンピュータ装置により、前記位置合わせされた訓練画像データセットと候補アトラスとに基づいて類似値を計算し、前記コンピュータ装置により、前記訓練画像データセットを前記候補アトラスを利用してセグメント化し、前記コンピュータ装置により、前記セグメント化された訓練画像データセットと前記候補アトラスとのジャカール係数値を計算し、前記コンピュータ装置により、前記計算された類似値と前記計算されたジャカール係数値とに基づく回帰パラメータを生成し、前記コンピュータ装置により、前記生成された回帰パラメータに基づいて前記複数の候補アトラスから複数のアトラスを選択する、ことを具備する。
【図面の簡単な説明】
【0025】
【図1】従来例に係るセグメンテーション処理の典型的な流れを示す図。
【図2】従来例に係る、M個のアトラスに基づくマルチアトラスセグメンテーション処理の典型的な流れを示す図。
【図3】本実施形態に係るスキャナーの概観を示す図。
【図4】本実施形態に係るコンピュータ装置の構成を示す図。
【図5】図4のコンピュータ装置の構成を示す他の図。
【図6】本実施形態に係るコンピュータネットワークの一例を示す図。
【図7】本実施形態に係る、1つの候補アトラスの訓練処理の典型的な流れを示す図。
【図8】図7のステップS4におけるデータ点の計算処理の典型的な流れを示す図。
【図9】本実施形態に係る、類似値がx軸に規定され、ジャカール係数値がy軸に規定されたグラフを示す図。
【図10】本実施形態に係る、N個の候補アトラスから、M個のアトラスからなる最良のサブセットを選択する処理の一部分の典型的な流れを示す図。
【図11】本実施形態に係る、複数のアトラスを有するマルチアトラスデータセットを示す図。
【図12A】本実施形態に係る、サンプル母集団内の画像データセット間の相互相関CC値を示すテーブルを示す図。
【図12B】本実施形態に係る、サンプル母集団内の画像データセット間の相互情報量MI値を示すテーブルを示す図。
【図12C】本実施形態に係る、サンプル母集団内の画像データセット間のジャカール係数J値を示すテーブルを示す図。
【図13A】本実施形態に係る、x軸が相互相関CCに規定されy軸がジャカール係数Jに規定されたグラフを示す図。
【図13B】図13Aに対応する、x軸が相互情報量MIに規定されy軸がジャカール係数Jに規定されたグラフを示す図。
【図14】本実施形態に係る、アトラス毎の各種統計値を示す表を示す図。
【図15】本実施形態に係る、セグメンテーションの精度の良い新規の画像データセットとアトラスデータセットとの対応表を示す図。
【図16】本実施形態に係る、M=1から5までのマルチアトラスデータセットにより生成された、心臓セグメンテーションにおけるジャカール係数の平均値を示す図。
【図17】本実施形態に係る、M個のアトラスに基づくマルチアトラスセグメンテーション処理の典型的な流れを示す図。
【図18】本実施形態に係る図17の処理の流れを一部に含む、ライブシステムにおいて実行されうるセッションの典型的な流れを示す図。
【発明を実施するための形態】
【0026】
図3は、本実施形態に係るスキャナー2の外観を示す図である。スキャナー2は、被検体4に関する3次元X線スキャンを得るものである。スキャナー2の円形の開口6に配置された関心部位の解剖学的特長と被検体に関する一連のスライス画像とが得られる。生の画像データは、スキャナー2から伝送される。生の画像データは、例えば、千枚の2次元のデータサブセットを含んでいる。データサブセットは、例えば、512×512のマトリクスサイズを有している。これら複数のデータセブセットの各々は、検査対象の被検体の関心部位のスライスを描出している。複数のデータセブセットに基づいてボリュームデータが発生される。ボリュームデータは、複数のボクセルの集合である。ボクセルは、例えば、複数のスライスのうちの一枚のスライスにおけるピクセルに対応する。このように、ボリュームデータは、撮像された特徴の3次元表現である。ユーザにより選択された、3次元表現の様々な2次元投影(出力画像)は、典型的には、コンピュータ装置のモニタに表示される。
【0027】
画像診断装置(例えば、X線CT装置、MRI装置、PET装置、超音波診断装置)は、典型的には、画像診断装置に応じた画像分解能(例えば、ボクセルサイズ)を有している。撮像されたボリュームの全体的なサイズは、例えば、検査の種類に応じて異なる。ボリュームデータは、x軸、y軸、及ぶz軸で規定されるデカルト座標に、例えば、512×512×1024で配列された16ビットの複数のボクセルを有する。複数のボクセルは、各軸に沿って0.5mmずつ一定間隔を空けて配列される。これは、実空間上において約25cm×25cm×50cmのボリュームに対応する。このサイズは、人間の心臓とそれに隣接する領域とを包含するのに十分である。ボリュームデータは、各組織の診断等のため、慣習的に、横断面画像やコロナル断面画像、サジタル断面画像に変換される。例えば、横断面は、xy平面に対応し、コロナル断面は、xz平面に対応し、サジタル断面は、yz平面に対応する。
【0028】
図4は、本実施形態に係るコンピュータ装置22の構成を示す図である。コンピュータ装置22は、2次元画像を発生するためのボリュームデータの処理を実行するために構成される。コンピュータ装置22は、中央演算処理装置(CPU)24、読み出し専用メモリ(ROM)26、ランダムアクセスメモリ(RAM)28、ハードディスク装置30、ディスプレイドライバ32、ディスプレイ34、ユーザ入出力回路(ユーザI/O)36を有する。ユーザI/O36は、キーボード38とマウス40とに接続されている。これら装置は、共通バス42を介して接続されている。コンピュータ装置22は、さらに、共通バス42を介して接続されたグラフィックスカード(GFX)44を有している。グラフィックスカード44は、例えば、カナダのオンタリオにあるATI Technologies inc.により製造されたRadeonX800等の映像処理装置である。グラフィックスカード44は、図4に図示していないが、グラフィックス処理装置(GPU)とGPUに結合されたランダムアクセスメモリ(GPUメモリ)とを含んでいる。
【0029】
CPU24は、ROM26、RAM28、または、ハードディスク装置30に記憶されているプログラム命令を実行し、ボリュームデータのボクセル値に関連した信号値の処理を実行する。ボリュームデータは、RAM28、または、ハードディスク装置30に記憶されている。RAM28とハードディスク装置30とをまとめてシステムメモリと呼ぶことにする。GPUは、プログラム命令を実行し、CPUからのボリュームデータを処理してもよい。
【0030】
図5は、図4のコンピュータ装置の構成を示す他の図である。RAM28とハードディスク装置30とは、まとめてシステムメモリ46と示されている。ボリュームデータ48は、図3に示すスキャナー2から伝送され、システムメモリ46に記憶される。
【0031】
コンピュータ装置22内の装置間のデータ転送ルートを示すのを支援するために、共通バス42は、図5において、複数の分離された共通バス42a〜42dにより示される。第1の共通バス42aは、システムメモリ46とCPU24とを接続する。第2の共通バス42bは、CPU24とグラフィックスカード44とを接続する。第3の共通バス42cは、グラフィックスカード44とディスプレイ34とを接続する。第4の共通バス42dは、ユーザI/O36とCPU24とを接続する。CPU24は、CPUキャッシュ50を含む。グラフィックスカード44は、GPU54とGPUメモリ56とを含む。GPU54は、高速グラフィック処理インターフェース60、GPUキャッシュ入出力コントローラ(GPUキャッシュI/O)62、処理エンジン64、及び表示入出力コントローラ(表示I/O)66を含む。処理エンジン64は、例えば、3次元画像データセットの処理や3次元レンダリングに関するプログラム命令の実行に最適化されている。
【0032】
ユーザは、例えば、ディスプレイ34に表示されたオプションメニューをキーボード38やマウス40により操作して必要なパラメータを設定する。
【0033】
後述するように本実施形態は、心臓のCTデータ(すなわち、心臓の3次元X線画像データ)に関連している。コントラストを与えるため、血液は、典型的には、周囲組織よりも高いX線阻止能を有する造影剤により染色される。ヨウ素は、この目的のために使用される共通の造影剤である。以下の実施形態において、4次元のCT心臓データセットがCTスキャナーを利用して被検体から収集され、システムメモリに記憶されているものとする。
【0034】
これから述べる方法は、院内環境において利用される。この場合、この方法は、スタンドアローンのコンピュータ装置上で動作するソフトウェアアプリケーションに、あるいは、医用画像管理システム(PACS:Picture Archiving and Communication System)などのサーバ上のアプリケーションと共同して実行することができる。医用画像管理システムは、コンピュータ化された病院内のネットワークである。医用画像管理システムは、単一の中央アーカイブにおいて最適された異なるデジタル形式を有する複数の診断画像に関するボリュームデータを記憶する。例えば、複数の診断画像は、DICOM(Digital Imaging and Communications in Medicine)形式で記憶される。各診断画像は、アーカイブに記憶されている名前や生年月日等の患者情報に関連付けられている。アーカイブは、病院サイトの全てのユーザが必要に応じて患者データにアクセスし処理できるように、複数のワークステーションにより提供されるコンピュータネットワークに接続される。さらに、病院サイトからリモートしているユーザは、インターネットを介してアーカイブにアクセスすることが許可されうる。
【0035】
本実施形態において、複数の画像ボリュームデータセットは、PACSアーカイブに記憶される。また、選択されたボリュームデータセットの動画や他の出力画像を発生するコンピュータ装置に実装された方法は、コンピュータネットワークを介したアーカイブに接続されたワークステーションにより提供することができる。放射線技師やコンサルタント、研究者等のユーザは、ワークステーションからあらゆるボリュームデータセットにアクセスできる、また、本実施形態に係る方法を利用して、動画や他の画像(例えば、関心のある心位相での心臓部位の静止画像)を発生したり表示したりすることができる。
【0036】
図6は、本実施形態に係るコンピュータネットワークの一例を示す図である。ネットワーク150は、病院152内のローカルエリアネットワークを有している。病院152は、複数のワークステーション154を装備している。複数のワークステーション154の各々は、ローカルエリアネットワークを介して病院内のコンピュータサーバ装置156にアクセス可能である。コンピュータサーバ装置156は、記憶装置158を有している。アーカイブ内のデータに全てのワークステーション154がアクセス可能なように、PACSアーカイブは、記憶装置158に格納される。少なくとも1つのワークステーション154は、本実施形態に係るコンピュータ装置に実装されたグラフィックスカードとソフトウェアとにアクセスすることができる。このソフトウェアは、局所的あるいは遠隔的に各ワークステーション154に記憶されてもよいし、あるいは、必要な時にネットワーク150を介してワークステーション154にダウンロードされてもよい。また、本実施形態に係る方法は、端末装置として機能するワークステーションを備えるコンピュータサーバ装置により実行されてもよい。例えば、ワークステーションは、所望の画像データセットに関するユーザ入力を受信し、コンピュータ装置によるボリュームレンダリングの実行中において結果画像を表示するように構成される。さらに、画像診断装置160、162、164、及び166は、コンピュータサーバ装置156に接続される。
【0037】
画像診断装置160、162、164、及び166により収集された画像データは、記憶装置156のPACSアーカイブに直接的に記憶される。このように、救急医療における迅速な診断のために、ボリュームデータが記憶された直後に、記憶されたボリュームデータがレンダリングされ、レンダリングにより生成された患者画像が表示される。ローカルエリアネットワークは、病院内のインターネットサーバ装置170によりインターネット168に接続される。この接続により、PACSアーカイブへの遠隔的なアクセスが可能となる。この接続は、例えば、患者が移動した場合や外部で研究する場合等のため、データの遠隔的なアクセスや病院間のデータ転送に有用である。
【0038】
本実施形態において、データ記憶媒体またはメモリへのデータの記憶のための、コンピュータ装置に実装されるコンピュータプログラムコードは、コンピュータ装置のCPU及びGPUの動作を制御するために利用される。コンピュータプログラムは、例えば、固体記憶装置や記憶媒体(ディスクやテープによる磁気記憶媒体、光学記憶媒体、あるいは光磁気記憶媒体等)のような適切なデータ記憶媒体に供給される。あるいは、コンピュータプログラムは、伝送媒体(例えば、電話通信路、ラジオ通信路、あるいは、光学通信路のようなデータ記憶媒体を有する媒体)により供給されてもよい。
【0039】
以下、本実施形態に係る、マルチアトラスデータセットを生成するためにM個のアトラスをN(NはMよりも多い)個の候補アトラスの中から選択する方法を説明する。マルチアトラスデータセットは、画像中の関心部位にマークを付するために行われる、複数の新規の画像データセットのセグメンテーション処理に利用される。セグメンテーション処理は、コンピュータ装置により自動化されている。
【0040】
すなわち、本実施形態の第1局面に係る医用画像処理方法は、新規の画像データセットの自動的なセグメンテーションに利用されるマルチアトラスデータセットを生成するために、M個のアトラスをN(Mより多い)個のアトラスから選択するであって、(a)複数の候補アトラスをコンピュータ装置に入力することであって、前記複数の候補アトラスの各々は、参照画像処理データセットと前記参照画像データセット内の関心オブジェクトをマーク付けするためのセグメンテーションデータとを含み、(b)複数の訓練画像データセットをコンピュータ装置に入力することであって、前記複数の訓練画像データセットの各々は、前記訓練画像データセット内の関心オブジェクトをマーク付けするためのセグメンテーションデータに関連付けられ、(c)前記各候補アトラスに対して前記各訓練画像データセットを順番にセグメント化することであって、セグメント化することは、(1)前記候補アトラスを前記各訓練画像データセットに対して位置合わせし、(2)前記各訓練画像データセットを前記候補アトラスを利用してセグメント化し、(3)前記各訓練画像データセットと前記候補アトラスとのジャカール係数値を計算し、(4)各レジストレーションについて類似指標の値を計算し、(5)独立変数である前記類似指標と従属変数である前記ジャカール係数値とに基づく回帰分析を実行することにより回帰パラメータのセットを生成し、(d)前記マルチアトラスデータセットを形成するために、全てのN個の候補アトラスの中からM個のアトラスのサブセットを選択することであって、前記M個のアトラスは、前記複数の訓練画像データセットの全てに亘る前記M個のアトラスのジャカール係数値の平均値が最大値を有するように決定される、ことを具備することを特徴とする。
【0041】
マルチアトラスデータセットは、新規の画像データセットをセグメント化するために実行されるコンピュータプログラムに出力されるか、あるいは、そのコンピュータプログラムが記憶されるコンピュータプログラム製品に記憶されてもよい。
【0042】
参照画像データセットと訓練(training)画像データセットとは、Leave-one-out戦略を利用する場合、単一の、かつ、同一の画像データセットでも良い。
【0043】
以下、この方法について図7〜図11を参照しながら説明する。図7〜図11において訓練画像データセットは、本実施形態の原理をわかりやすくするため、候補アトラスから分離されているとする。しかしながら、実際には、各候補アトラスが全ての他の候補アトラスに対して訓練されるLeave-one-out戦略を利用することが好適である。すなわち、候補アトラスを訓練する場合、候補アトラス以外の他のアトラスは、訓練画像データセットとして利用される。なお、図12〜図15に例示する実施形態においては、Leave-one-out戦略が利用されている。
【0044】
図10は、本実施形態に係る、M個のアトラスがN個のアトラスから選択される処理の典型的な流れを示す図である。
【0045】
大まかな処理の流れは以下の通りである。まず、複数の画像データセットが候補アトラスを訓練するための訓練データとして供給される。各訓練画像データセットは、例えば専門家によって手動により、既に高精度にセグメント化されている。各候補アトラスは、各訓練画像データセットをセグメント化するために、これら訓練画像データセットを利用して訓練される。特定の候補アトラスによるマルチセグメンテーションの結果は、手動によるセグメンテーションデータと比較される。全ての候補アトラスについてこの処理が終了すると、全ての候補アトラスの性能指標が測定されている。性能指標は、N個の候補アトラスから、M個のアトラスからなるサブセットを選択するために利用される。M個のアトラスは、全体として訓練画像データセットに対して最良の性能を有する。
【0046】
図7は、本実施形態に係る、1つの候補アトラスnの訓練処理の典型的な流れを示す図である。ステップSA1において、T個の訓練画像データセットが入力される。T個の訓練画像データセットは、サンプル母集団の信頼性の高い代表例となり、かつ、統計的に信頼できる結果を提供できるように十分多く選択されるべきである。典型的には、Tは、10から15(好適には20)までの範囲内で設定される。過度に多い訓練画像データセットは、計算上の理由から回避される。典型的には、Tが10又は20から50又は60まで範囲に設定されることが期待される。過度に大きいTは、計算上直接的であり、サンプル母集団に多くのサブグループが存在する場合、利用されうる。ステップSA2において、訓練画像データセットを計数するためのカウンターtが0に初期化される。ステップSA3において、候補アトラスnが訓練のために入力される。ステップSA4において、候補アトラスnを利用して訓練画像データセットtがセグメント化され、セグメンテーションの性能を評価するためのデータ点が計算される。ステップSA4の詳細は、図8を参照しながら後述する。ステップSA5において、全ての訓練画像データセットが候補アトラスnによりセグメント化されたか否かをチェックするための論理計算が行われる。ステップSA5において否と判定された場合、tが増加され、次にセグメンテーションを実行するためにステップSA4に戻る。ステップSA5において、全ての訓練画像データセットがセグメント化されたと判定された場合、最後のステップSA6に進む。ステップSA6において、候補アトラスnについてのセグメンテーション結果から得られた全てのT個のデータ点が回帰分析を利用してコレート(collate)され、1セットの回帰パラメータが計算される。回帰パラメータと回帰パラメータを計算するための分析との詳細は、後述する。
【0047】
図8は、図7のステップSA4におけるデータ点の計算処理の典型的な流れを示す図である。ステップSA4.1において、候補アトラスnを訓練画像データセットtで位置合わせすることによりレジストレーションが実行される。ステップSA4.2において、レジストレーション後の候補アトラスnと訓練画像データセットtとの類似性指標の値(類似値)が計算される。類似値の計算は、関心領域内に選択的に制限される。ステップSA4.3において、訓練画像データセットtが候補アトラスnに基づいてセグメント化される。訓練画像データセットtのセグメント化により訓練画像データセットtのセグメンテーションデータが生成される。ステップSA4.4において、ステップSA4.3において生成されたセグメンテーションデータと手動によるセグメンテーションにより予め生成されたセグメンテーションデータとに基づくジャカール係数(Jaccard overlap)Jが計算される。このジャカール係数は、自動によるセグメンテーション結果と手動によるセグメンテーション結果(上述のように、手動によるセグメンテーション結果は、完全に正確であるとみなされている)との比較に基づいているので、真のジャカール係数であるとみなすことができる。類似値とジャカール係数値とはそれぞれ、図7のデータ点(x,y)のx座標とy座標とに規定される。
【0048】
処理が図7のステップSA6に到達した時点において、1セットのデータ点(x,y)が計算されている。これらデータ点は、図9に示される回帰分析に供される。
【0049】
図9は、本実施形態に係る、類似値がx軸に規定され、ジャカール係数値がy軸に規定されたグラフを示す図である。個々のデータ点は、グラフ上において「×」で示されている。ステップS7は、標準的な線形関数y=mx+cの傾きと切片と決定するためのデータ点の線形回帰を含んでいる。傾きと切片とは、上述の回帰パラメータである。
【0050】
この結果の重要性は、回帰パラメータを利用して、類似値からジャカール係数の予測値を計算できることである。この予測値は、実際のジャカール係数値の代用品として利用することができる。これは、典型的には、類似値自体よりもアトラスの性能の測定値としてより信頼性が高い。
【0051】
全ての候補アトラスが図7の「n」回の反復処理に供された場合、N個の全ての候補アトラスに対して計算された1セットの回帰パラメータ(m,c)が得られている。
【0052】
次に、N個の候補アトラスからのM個のアトラスの選択が行われる。
【0053】
N個の候補アトラスからのM個のアトラスの各置換は、順番に考慮される必要がある。例えば、21個の候補アトラスがあり、マルチアトラスデータセットが3個のアトラスを有する場合、すなわち、M=3且つN=21の場合、1つの置換は、2番目、5番目、及び18番目の候補アトラスである。各置換を候補マルチアトラスデータセット、あるいは、サブセットと呼ぶことにする。候補マルチアトラスデータセットは、N個の候補アトラスの中から、置換のルールに従って数学的に選択されたM個のアトラスのセットである。サブセット(候補マルチアトラスデータセット)は、「A」と表記され、このサブセット内の各アトラスを「a」と表記することにする。さらに、あらゆる特定の訓練画像データセットをセグメンテーションすることにおいて最高の性能を有するアトラスを「a」と表記することにする。
【0054】
図10は、本実施形態に係る、N個の候補アトラスから、M個のアトラスからなる最良のサブセットを選択する処理の一部分の典型的な流れを示す図である。図10の処理は、M個のアトラスの各置換の処理に関連している。従って、この図10の処理は、置換の数、すなわち、サブセットの数だけ繰り返される。
【0055】
ステップSB1において、サブセット「A」内の各アトラス「a」について回帰パラメータが計算される。なお、訓練画像データセットが候補アトラスから分離されている場合、回帰パラメータは、図7のステップSA6において既に計算されているので、ここで再び計算する必要はない。
【0056】
ステップSB2において、各アトラス「a」について、回帰パラメータに類似値を適用することによって、ジャカール係数の予測値が計算される。この類似値は、アトラス「a」と訓練画像データセット「t」とに基づいて計算される。
【0057】
ステップSB3において、全てのアトラス「a」の中から最大の予測値を有するアトラス「a」が選択される。選択されたアトラス「a」は、サブセット「A」に含まれる全てのアトラス「a」のうちの、訓練画像データセットtをセグメンテーションすることにおいて最高の性能を有するベスト(best)のアトラスである。
【0058】
ステップSB4において、選択されたアトラス「a」に関する実際のジャカール係数の値(実測値)がメモリから読み出される。実測値は、予め図8のステップSA4.4において、手動によるセグメンテーションデータと自動によるセグメンテーションデータとに基づいて計算されたジャカール係数値である。読み出された実測値は、訓練画像データセット「t」に適用された場合において、サブセット「A」内の全てのアトラス「a」から得られるジャカール係数値のうちの最良のジャカール係数値を意味する。
【0059】
ステップSB1からステップSB4は、各訓練画像データセット「t」について順番にT回繰り返される。
【0060】
ステップSB5において、ステップSB4において読み出されたジャカール係数のT個の実測値の平均値が計算される。計算された平均値は、サブセット「A」の性能を示す単一の指標である。すなわち、ステップSB5において、サブセット「A」に関するT個の実測値がコレートされ、サブセット「A」の性能を示す指標(すなわち、平均値)が提供される。
【0061】
図10の全ての工程は、全てのサブセットAについて繰り返される。
【0062】
この方法の最終部分は、全てのサブセットAの中の最高のジャカール係数値を有するサブセットAを決定することである。
【0063】
図11は、この方法の出力、すなわち、複数のアトラスaを有するマルチアトラスデータセットAを示す図である。各アトラスは、画像データセット、セグメンテーションデータ、及び回帰パラメータを有する。画像データセットは、典型的には、生の画像データセット又はグレイスケールCT画像データセットのような僅かに処理された画像データセットである。セグメンテーションデータは、典型的には、少なくとも1つの2値化されたマスク画像(バイナリーマスク画像)として記憶される。各バイナリーマスク画像は、手動のセグメンテーションにより得られ、画像データセット内の1つのオブジェクト又は1つのオブジェクトの部分を識別する。回帰パラメータは、典型的には、傾き及び/又は切片に対する線形回帰パラメータである。回帰パラメータは、ジャカール係数の予測値を計算するために、後述するように、ライブシステムにおいて利用されうる。
【0064】
[実施例]
マルチアトラスに基づくセグメンテーションに利用するアトラスデータセットの最良のサブセットを選択する実施例について説明する。
【0065】
21人の患者からの心臓CTアンギオグラフィ(CCTA)データセットが訓練画像データセットを構築するために使用された。このデータセットは、心臓解剖学的構造の2つの別個のカテゴリーを表現する。1つのカテゴリーは、小さな心胸郭比(CTR)を有する患者であり、他のカテゴリーは、大きな心胸郭比を有する患者である。データセット9、12、16−21は、大きなCTRを有する患者から得られた。全体的な心臓のセグメンテーション(心臓とその全ての下層組織とを含むマスク画像として表現される)は、それらのデータセットの各々について臨床的に適した患者から収集された。各データセットは、他の全てのデータセット内の心臓をセグメント化するためにアトラスとして順番に利用された。セグメンテーションは、マルチスケールの厳密なレジストレーションを利用して実行された。マルチスケールの厳密なレジストレーションは、3次元変換、異方性スケーリング、及び回転に基づいてボリュームを位置合わせすることである。マルチスケールの厳密なレジストレーションは、流体及び弾性体の制約内での最良の歪み場を探索するための相互情報量を利用する。詳細は、William R.Crum、Derek L.G.Hill、及びDavid J.Hawkes「Information theoretic similarity measures in non-rigid registration.」In IPMI、2003年、第378頁―第387頁に記載されている。この文献の内容は、引用により本実施形態に組み込まれている。
【0066】
アトラスデータセットと新規のデータセットとの最終的な相互情報量、位置合わせされた2つのボリューム間の相互係数、心臓の境界周囲で生成された外郭で測定された2つのボリューム間の相互係数、及びジャカール係数を利用して測定された最終的なセグメンテーションの精度は、各セグメンテーションから収集される。
【数1】

【0067】
これら測定値は、訓練パラメータを構築する。これら測定値は、個別の直交セグメンテーション行列J、MI、及びCC中で示される。J(r,c)は、アトラスデータセットcが新規の画像データセットr内の心臓をセグメント化するために利用された場合のセグメンテーションの精度である。MI(r,c)は、アトラスデータセットcと新規の画像データセットrとの最適な相互情報量である。対角成分は、自己セグメンテーションから収集されたパラメータを表現する。
【0068】
このシステムにおいて利用されたパラメータモデルは、各アトラスについての各類似性指標で測定された一変量の最小自乗法回帰関数である。この関数は、以下の式により表される。
【数2】

【0069】
この関数は、相互情報量または相関係数をセグメンテーションの精度に関連付ける。アトラスデータセットcが関心領域内の2つの間の相互係数に基づいてデータセットr内の心臓をセグメント化するために利用された場合、セグメンテーションの精度の予測値を計算することは可能である。
【0070】
図12Aは、サンプル母集団内の画像データセット間の相互相関(CC:cross-correlation)値を示すテーブルを示す図である。サンプル母集団は、Leave-one-out戦略による訓練画像データセットと候補アトラスとの両方として利用された。これら値は、CCが類似性指標である場合において図8のステップSA4.2において計算された類似値である。データセットのファイルの名称(例えば、1798_020)は、テーブル内の横行の先頭と縦列の先頭とに示されている。縦列は、アトラスデータセットを表し、横行は、訓練画像データセットを表している。
【0071】
図12Bは、図12Aに対応する、サンプル母集団内の画像データセット間の相互情報量(MI:mutual information)値を示すテーブルを示す図である。表の各セルの値は、MIが類似性指標である場合において図8のステップSA4.2において計算された類似値である。
【0072】
図12Cは、図12Aに対応する、サンプル母集団内の画像データセット間のジャカール係数(J)値を示すテーブルを示す図である。各J値は、図8のステップSA4.4において計算されたジャカール係数の実測値である。すなわち、各J値は、自動によるセグメンテーションと手動によるセグメンテーションとの比較に基づく真のジャカール係数を示している。
【0073】
テーブル又は行列の対角成分(図12A、12B、12Cにおいて影付けされている部分)は、候補アトラスの効率に関する有用な情報を示さない自己セグメンテーションパラメータである。対角成分は、後述の処理における考察から除外される。
【0074】
長点で囲まれたセル及び短点で囲まれたセルはそれぞれ、第1のアトラスと新規のデータセットとの間の類似値(CCまたはMI)が、第2のアトラスと同一の新規のデータセットとの間の類似値より高く、結果生じるジャカール係数がより低い場合を示している。
【0075】
図13Aは、x軸が相互相関CCに規定されy軸がジャカール係数Jに規定されたグラフを示す図である。CCとJとに対する個々のデータ点は、図12A及び図12Cに示すテーブルからそれぞれ得られた。直線は、データ点から計算された回帰関数である。
【0076】
実際には、グラフは生成されない。しかし、回帰パラメータは、傾きと切片とに対してそれぞれ下記の方程式を利用して計算される。
【数3】

【0077】
傾きと切片とに対するこれら2つのパラメータは、下記の方程式を使用した、ジャカール係数の予測値の計算に利用される。
【数4】

【0078】
類似性指標として相互相関を利用した場合、下記の方程式となる。
【数5】

【0079】
図13Bは、図13Aに対応する、x軸が相互情報量MIに規定されy軸がジャカール係数Jに規定されたグラフを示す図である。MIとJとに対する個々のデータ点は、図12B及び図12Cに示すテーブルからそれぞれ得られた。直線は、データ点から計算された回帰関数である。
【0080】
図13Aと図13Bとの比較により、CCデータは、MIデータよりも大きい傾きを有することがわかる。換言すれば、CCは、MIよりもジャカール係数に対する感度が高い。これは、この特定のアトラス例において、CCがMIよりもジャカール係数の予測値Jの計算に対する信頼性が高いことを示唆している。直線の傾きが0であり切片がかなり高い場合、一般的にそのアトラスが良いアトラスであるが、類似性指標がセグメンテーションの精度について何の情報も与えないということを示唆する。
【0081】
アトラス毎の回帰関数Jとジャカール係数行列Jとは、セグメンテーションジャカール係数を予測するために回帰関数を利用し、ジャカール係数の予測値J(r)と訓練期間に収集されたジャカール係数の実測値J(r,c)とを比較する。
【0082】
下記の情報が得られる。
【0083】
1.相関:
【数6】

【0084】
相関は、+1に近ければ近いほど予測性能が高い。
【0085】
2.平均絶対誤差:
【数7】

【0086】
平均絶対誤差は、全ての画像データセットに亘って特定のアトラスについて生成されたジャカール係数の予測値と実測値との差分の平均である。最良のアトラスは、典型的には、最小の平均絶対誤差を有するアトラスである。
【0087】
3.誤差の標準偏差:
【数8】

【0088】
誤差の標準偏差は、全ての画像データセットに亘って特定のアトラスについて生成されたジャカール係数の予測値と実測値との差分の分散の指標である。安定したアトラスは、誤差の標準偏差の値が低い。
【0089】
4.最大絶対誤差:
【数9】

【0090】
最大絶対誤差は、全ての画像データセットに亘って特定のアトラスについて生成されたジャカール係数の予測値と実測値との差分の最大値である。
【0091】
5.ゼロ相関のP値:
ゼロ相関のP値は、真の相関が0の場合において、無作為に得られた観測値と同じ相関を得る確率。ゼロ相関のP値が低ければ低いほど、観測された相関係数の値が高い。
【0092】
図14は、アトラス毎の各種統計値を示す表を示す図である。この表のx軸は、アトラスの番号に規定され、y軸は、統計値に規定されている。この表は、アトラス19についてのアトラス統計の1セットを示している。図14によれば、アトラス19は、ジャカール係数の予測値と実測値との間の高い相関係数値と低い平均絶対誤差とを有しているので、良い予測性能を有している。
【0093】
図15は、セグメンテーションの精度の良い新規の画像データセットとアトラスデータセットとの対応表を示す図である。新規の画像データセットは、セグメンテーションに関してベストのアトラス、2番目にベストのアトラス、及び3番目にベストのアトラスを有しており、図15において丸形、四角形、及び菱形でそれぞれ示されている。この図は、あるカテゴリーに対して最適な画像データセットを示している。画像データセット9、12、及び16〜19は、高いCTRを有するグループに属している。右上の集合は、このカテゴリーからのアトラス、特にアトラス19は、このグループ内の心臓をセグメント化に最適であることを示している。アトラス4は、データセット2〜14にわたって最良のセグメンテーション精度を有している。
【0094】
この方法の次の段階は、マルチアトラスデータセットを生成するために、N個の候補アトラスから最良のM個のアトラスを選択することである。これは、上述の図10において示した処理である。この段階の目的は、新規の画像データセットについて使用するアトラスを決定するために回帰関数を使用している間、平均的に最高のセグメンテーション精度を有するM個のアトラスの組み合わせを選択することである。最終目標は、この組み合わせが訓練母集団内の全てのカテゴリーを提供し、単一のアトラスを利用するよりも高精度なセグメンテーションを提供するか否かを見つけ出すことである。
【0095】
この場合、Mは2から連続的に増加され、各反復において下記の式により表される個数Numのアトラスの組み合わせが導かれる。
【数10】

【0096】
この処理は、各組み合わせあるいは置換Aについて行われる。ここでA={a,…,aM−1}である。以下の処理は、全ての置換について反復される。
【0097】
残りのN−M個の訓練画像データセットの各々iについて:
・観測からの画像データセットiを除いて、A内の各アトラスaについての回帰関数Jを計算する。Leave-one-out戦略についての傾きは、下記の式により表される。
【数11】

【0098】
ここでSIMは、ジャカール係数の予測値に利用された画像類似性指標を含む対角セグメンテーション行列である。
【0099】
・画像データセットiについてジャカール係数の予測値J(i)を計算する。
【数12】

【0100】
・サブセットAの複数のアトラスaの中から最大の予測値J(i)を有するアトラスaを選択する。
【数13】

【0101】
・画像データセットiでのaによるジャカール係数の実測値J(i)をジャカール係数行列J(i,a)から収集する。
【数14】

【0102】
そして、下記の式に従って、サブセットAについてのジャカール係数の実測値の平均値Jを計算する。
【数15】

【0103】
全ての置換について処理が行われた場合、複数のサブセットAの中から、最大の平均値Jを有するアトラスのサブセットAが下記の式に従って選択される。
【数16】

【0104】
このように、マルチアトラスデータセットは、コンピュータ装置による完全に自動化された方法により選択される。
【0105】
この実施例において、2個のアトラス、すなわち、M=2の最良のセットは、アトラス4とアトラス19とであった。これらデータセットは、図15において識別された主要な2つのカテゴリーを表現する、心臓の形状とCTRとにより著しく異なる。アトラス4がデータセット2から14のセグメント化に適しており、アトラス19がデータセット16から21のセグメントに適していることは明らかである。
【0106】
Mが4まで増加された場合、91.5%の平均精度を有する最良の信号アトラスに対して、92.8%の全体平均セグメンテーション精度が達成された。この性能は、心尖と肋骨壁とを含む関心領域に制限された相互相関を利用することにより達成された。
【0107】
図16は、M=1から5までのマルチアトラスデータセットにより生成された、心臓セグメンテーションにおけるジャカール係数の平均値を示す図である。一番上の線(菱形)は、最適なアトラスがMのセットから選択された場合において、生成されうる最良の平均値を示している。換言すれば、この線は、アトラスがジャカール係数の予測値ではなく、ジャカール係数の実測値に基づいて選択されたと推定する。計算された予測値に基づく最良の選択は、ROIに制限された相互相関CC(図16の大きな黒塗りの四角)に基づく選択である。予測値に基づく選択の他の例は、ROIに制限された相互情報量MI(図16の丸)、ボリューム全体でのMI(図16の小さい黒塗りの四角)、及びボリューム全体でのCC(図16の三角)である。参考のため、中空の四角は、従来技術(すなわち、図2の方法に従って類似性指標としてCCが使用され、且つROIに制限された)による結果を示している。従来技術は、回帰分析を行っておらず、直接的にCCに基づいて最適なアトラスが選択されている。明らかなように、従来技術は、1より大きい全てのMについて最悪の性能を有している。また、図16から明らかなように、ROIに基づく測定(特に相互相関)は、同じ類似性指標を利用したボリューム全体での測定よりも良い性能を示している。
【0108】
実施例の説明はこれで終了する。
【0109】
以下、関心領域内のオブジェクトにマーク付けするために新規の画像データセットをセグメント化する方法について説明する。
【0110】
すなわち、この方法は、(A)複数のアトラスを含むマルチアトラスデータセットを入力することであって、前記複数のアトラスの各々は、参照画像データセットと前記参照画像データセット内の関心オブジェクトをマーク付けするためのセグメンテーションデータとを含み、(B)セグメンテーションのために新規の画像データセットを入力し、(C)前記新規の画像データセットと前記複数のアトラスの各々とのレジストレーションを実行し、(D)セグメンテーションのために、前記レジストレーションに基づいて前記複数のアトラスの中から単一のアトラスを選択し、(E)前記選択されたアトラスに基づいて前記新規の画像データセットをセグメント化し、(F)前記新規の画像データセットと前記新規の画像データセット内の関心オブジェクトをマーク付けするためのセグメンテーションデータとを関連付けて出力すること、を具備し、各アトラスは、さらに回帰パラメータを含み、前記回帰パラメータは、(1)前記アトラスと複数の訓練画像データセットのセットとの実測のジャカール係数値と(2)前記アトラスと複数の訓練画像データセットのセットとの類似性指標と、に基づく回帰分析の結果を表現し、前記セグメンテーションは、(a)前記各レジストレーションについて類似性指標の値を計算し、(b)前記各レジストレーションについて、前記各レジストレーションに対応する回帰パラメータに、前記各レジストレーションに対応する類似性指標の値を適用することにより、予測されたジャカール係数値を計算し、(c)セグメンテーションのために、前記予測されたジャカール係数値に基づいて前記複数のアトラスの中から単一のアトラスを選択する。前記回帰分析は、例えば、線形回帰関数に基づく。また、前記回帰分析は、より高次の線形または非線形回帰関数に基づいてもよい。
【0111】
類似性指標は、画像データセット全体から計算されうる。しかし、幾つかの場合において、類似性指標は、画像データセット内の関心領域に基づいて計算される。関心領域は、関心のあるオブジェクト、すなわち、セグメント化されるオブジェクトに対応する。あるいは関心領域は、セグメント化対象のオブジェクトが占める領域を含む大領域またはセグメント化対象のオブジェクトが占める領域に含まれる小領域に規定される。
【0112】
上述の方法を実行するための、機械により読み取り可能な指示を有するコンピュータプログラム製品が示される。
【0113】
上述の方法を実行するための、機械により読み取り可能な指示をロードし実行するために実行可能なコンピュータ装置が示される。
【0114】
コンピュータ読み取り可能な記録媒体は、複数のアトラスを含むマルチアトラスデータセットが記録されたコンピュータ読み取り可能な記録媒体であって、前記複数のアトラスの各々は、参照画像処理データセット、セグメンテーションデータ、及び回帰パラメータを有し、前記セグメンテーションデータは、前記参照画像処理データセット内の関心オブジェクトにマーク付けをするためのデータセットであり、前記回帰パラメータは、(1)前記アトラスと複数の訓練画像データセットのセットとに基づく実測のジャカール係数値と、(2)前記アトラスと前記複数の訓練画像データセットのセットとに基づく類似値と、の回帰分析を表現する、ことを特徴とする。
【0115】
図17は、本実施形態に係る、M個のアトラスに基づくマルチアトラスセグメンテーション処理の典型的な流れを示す図である。ここでMは、2以上の正の整数であり、典型的には、2,3,4、または5である。
【0116】
ステップSC1において、セグメンテーションのため、患者に関する新規の画像データセットがコンピュータ装置に入力される。
【0117】
ステップSC2Mにおいて、M個のアトラスの各々は、新規の画像データセットと位置合わせされる。図示されているように、ステップS2Mの処理は、他のアトラスによる位置合わせに対して独立に行われるため並列的に行われる。
【0118】
ステップSC3Mにおいて、共通の類似性指標の類似値が位置合わせされた画像の各ペアについて計算される。類似性指標は、例えば、相互情報量(MI)、正規化された相互情報量(NMI)、または相互相関(CC)である。類似性指標は、アトラスの一部分である記憶された回帰パラメータに利用されるものと同一である。
【0119】
ステップSC4Mにおいて、ジャカール係数の予測値を計算するために、M個のアトラスの各々について類似性指標値が回帰関数に適用される。
【0120】
ステップSC5において、最良のアトラス、すなわち、最大の予測値を有するアトラスが、新規の画像データセットをセグメント化するために選択される。
【0121】
ステップSC6において、位置合わせされた新規の画像データセットが選択されたアトラスを利用してセグメント化される。
【0122】
ステップSC7において、セグメント化された新規の画像データセット、すなわち、新規の画像データセットとそれに関連付けられたセグメンテーションデータとが出力される。
【0123】
図18は、図17の処理の流れを一部に含む、ライブシステムにおいて実行されうるセッションの典型的な流れを示す図である。このセッションは、上述の図4と図5とに示すコンピュータ装置により実行されうる。さらに、このセッションは、図6に示すネットワーク上で実行されうる。セッション中に表示される新規の画像データセットは、例えば、セッションを開始するユーザが作業しているコンピュータ装置(クライアント装置)から離れたデータベースに記憶されている新規の画像データセットを有するクライアント・サーバ型のネットワーク上にアクセスされうる。
【0124】
ステップSD1において、ユーザは、例えば、3次元医用画像データのボリュームレンダリングに関するアプリケーションプログラム等の映像化アプリケーションプログラムのセッションを開始する。
【0125】
ステップSD2において、ユーザは、映像化のための患者に関する新規の画像データセットを選択する。このデータは、上述の図4、5、及び6から理解されるように、局所的または遠隔的な大容量記憶装置からシステムメモリ及び/又はキャッシュにロードされる。この患者画像は、その後、ユーザに対してディスプレイ装置で映像化される。
【0126】
ステップSD3において、ユーザは、ディスプレイ装置上において画像内の関心のあるオブジェクトを選択する。この選択を契機として、図17に係るセグメンテーション処理が開始される。セグメンテーション処理の結果は、表示画像を更新するために利用される。例えば、セグメント化されたボリュームに異なる色または透明度でマーク付けするために利用される。他の例として、セグメンテーション処理の結果は、セグメント化されたボリュームの背景を削除するために利用される。例えば、患者に関する画像データセットが胸部CTスキャンにより得られ、セグメント化されたボリュームが心臓の場合、表示された画像は、心臓のみであるかもしれない。
【0127】
ステップSD4において、ユーザは、例えば、データセット内の異なる色範囲を異なる不透明度範囲に割りつけるプリセットを適用することにより、表示パラメータを最適化する。
【0128】
ステップSD5において、最適化された表示パラメータとセグメンテーションデータとは、記憶される。好ましくは、記憶された表示パラメータとセグメンテーションデータとは、画像データセットに関連付けられる。データをリンク付けすることは、良く知られているように、個別のリンク付けされたDICOMファイルを有することにより、あるいは、画像データを含むファイルのDICOMヘッダーにデータを埋め込むことにより、DICOM規格の枠組み内で実行可能である。
【0129】
ステップSD5の後、ユーザは、図18のフィードバックループの矢印で示すように、さらなる患者に関する画像データセットを観察することができる。
【0130】
最終的に、このセッションは、ステップSD6においてユーザの指示により終了される。
【0131】
図7から図11に記載された処理を実行するための機械により読み取り可能な指示を有するコンピュータプログラム製品は、例えば、図4の大容量記憶装置HDD30、図4のROM26、図4のRAM28、図5のシステムメモリ46、及び図6のサーバ装置156又は170である。コンピュータプログラム製品の他の形態は、CDやDVDのような記憶装置に基づく回転盤、あるいは、USBフラッシュメモリ装置を含む。
【0132】
図7から図11に記載された処理を実行するための、機械により読み取り可能な指示をロードし実行するために実行可能なコンピュータ装置は、例えば、図4のコンピュータ装置、図5のコンピュータ装置、図6の端末装置154等の個々の要素、及び図6のコンピュータネットワークの複数の要素の組み合わせ(例えば、サーバ装置156、170と少なくとも1つの端末装置154や画像診断装置160、162、164、166に組み込まれるコンピュータ装置との組み合わせ)である。
【0133】
図16または図17に記載された処理を実行するための機械により読み取り可能な指示を有するコンピュータプログラム製品は、例えば、図4の大容量記憶装置HDD30、図4のROM26、図4のRAM28、図5のシステムメモリ46、及び図6のサーバ装置156又は170である。コンピュータプログラム製品の他の形態は、CDやDVDのような記憶装置に基づく回転盤、あるいは、USBフラッシュメモリ装置を含む。
【0134】
図16から図17に記載された処理を実行するための、機械により読み取り可能な指示をロードし実行するために実行可能なコンピュータ装置は、例えば、図4のコンピュータ装置、図5のコンピュータ装置、図6の端末装置154等の個々の要素、及び図6のコンピュータネットワークの複数の要素の組み合わせ(例えば、サーバ装置156、170と少なくとも1つの端末装置154や画像診断装置160、162、164、166に組み込まれるコンピュータ装置との組み合わせ)である。
【0135】
図11に示されるようなマルチアトラスデータセットが記録されたコンピュータ読み取り可能な記録媒体は、例えば、複数のアトラスを有する。各アトラスは、参照画像データセット、セグメンテーションデータ、及び回帰パラメータを有する。前記セグメンテーションデータは、前記参照画像処理データセット内の関心オブジェクトにマーク付けをするためのデータセットである。前記回帰パラメータは、(1)前記複数のアトラスの各々と複数の訓練画像データセットのセットとに基づく実測のジャカール係数値と、(2)前記複数のアトラスの各々と前記複数の訓練画像データセットのセットとに基づく類似値と、の回帰分析を表現する。この記録媒体は、例えば、図4の大容量記憶装置HDD30、図4のROM26、図4のRAM28、図5のシステムメモリ46、及び図6のサーバ装置156又は170である。コンピュータプログラム製品の他の形態は、CDやDVDのような記憶装置に基づく回転盤、あるいは、USBフラッシュメモリ装置を含む。
【0136】
本実施形態は、上述の方法とそれに関連するコンピュータプログラムとをボリュームレンダリングアプリケーションの一部に組み込むことを含んでいる。
【0137】
本実施形態に係る方法は、3次元の医用画像診断について記載されているが、多様な画像収集装置及び多様なオブジェクトから得られた2次元、3次元、4次元、あるいはより高次のデータセットにも適用可能である。
【0138】
例えば、本実施形態に係る方法は、モダリティと呼ばれる、医療分野で利用される様々な撮像形式に適用可能である。特に、本実施形態に係る方法は、X線CT装置、MRI装置、超音波診断装置、およびPET装置により収集された3次元画像データセットに適用可能である。
【0139】
これら3次元データセットは、ボリュームデータとも呼ばれる。医用画像診断において、3次元画像データセットは、典型的には、大きい。0.5から8までのサイズは、珍しくない。例えば、医用画像データセットは、1024×1024×1024で配列された16ビットの複数のボクセルを有する。この医用画像データセットは、約2ギガバイトのデータに対応する。従って、1024×1024で配列された16ビットの複数のピクセルを有する画像が生成されうる。
【0140】
本実施形態に係る方法は、慣習的にX線診断装置や超音波診断装置により収集されるような2次元画像データセットにも適用可能である。
【0141】
本実施形態に係る方法とそれに関連するコンピュータプログラム製品とは、様々な対象に適用可能である。医療分野においては、対象は、多様な解剖学的組織及び器官に適用される。例えば、本実施形態に係る方法は、腎臓(特に腎皮質)、心臓(特に複数腔が描出される断面での心臓のセグメンテーション)、脳、肝臓、及び膵臓のセグメント化に適用される。例えば、器官等の撮像対象に応じて最良の類似性指標が決まる。
【0142】
本実施形態に係る方法は、如何なるシナリオ及びサンプル母集団(あるいは非医学的な等価物)が複数の離散的なサブクラスに分類される如何なるタイプの画像データにも最良の精度を有する。
【0143】
上述の方法は、マルチアトラスデータセットを構成する複数のアトラスが画像類似性指標(例えば、相互情報量や相互相関)に基づいて選択されるマルチアトラスアプローチを利用する。しかし、画像類似性指標は、直接的には利用されず、予測されたセグメンテーション精度を計算するための中間生成物として利用される。予測されたセグメンテーション精度は、可能なセグメンテーションの全セットに亘って比較可能な指標である。画像類似性指標は、従って、セグメンテーションを比較するために直接的には使用されないが、セグメンテーションの精度を予測するために使用される。予測された精度は、セグメンテーションのセットを直接的に比較可能である。本実施形態に係る方法は、訓練画像データセットを利用する線形回帰予測モデルに基づいている。この方法をCTにおける全体的な心臓セグメンテーションに適用し、心臓の境界周辺の関心領域に関する相関係数を予測値として利用することによって、訓練セットにおいて利用可能な異なるカテゴリーをカバーする4つのアトラスの1セットが、単一のアトラスを利用する如何なる場合に比して高いセグメンテーション精度を有することが証明された。
【0144】
かくして、本実施形態によれば、セグメンテーションの精度の向上が実現される。
【0145】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0146】
22…コンピュータ装置、24…中央演算処理装置(CPU)、26…読み出し専用メモリ(ROM)、28…ランダムアクセスメモリ(RAM)、30…ハードディスク装置、32…ディスプレイドライバ、34…ディスプレイ、36…ユーザ入出力回路(ユーザI/O)、38…キーボード、40…マウス、42…共通バス、44…グラフィックスカード(GFX)、46…システムメモリ、50…CPUキャッシュ、54…GPU、56…GPUメモリ、60…高速グラフィック処理インターフェース、62…GPUキャッシュ入出力コントローラ(GPUキャッシュI/O)、64…処理エンジン、66…表示入出力コントローラ(表示I/O)。

【特許請求の範囲】
【請求項1】
新規の画像データセットのセグメンテーションに利用される複数のアトラスを複数の候補アトラスから選択する医用画像処理方法であって、
コンピュータ装置により、複数の候補アトラスの各々について、前記候補アトラスと複数の訓練画像データセットとを位置合わせし、
前記コンピュータ装置により、前記位置合わせされた訓練画像データセットと候補アトラスとに基づいて類似値を計算し、
前記コンピュータ装置により、前記訓練画像データセットを前記候補アトラスを利用してセグメント化し、
前記コンピュータ装置により、前記セグメント化された訓練画像データセットと前記候補アトラスとのジャカール係数値を計算し、
前記コンピュータ装置により、前記計算された類似値と前記計算されたジャカール係数値とに基づく回帰パラメータを生成し、
前記コンピュータ装置により、前記生成された回帰パラメータに基づいて前記複数の候補アトラスから複数のアトラスを選択する、
ことを具備することを特徴とする医用画像処理方法。
【請求項2】
前記選択された複数のアトラスを含むマルチアトラスデータセットをコンピュータプログラム製品に出力すること、をさらに備える請求項1記載の医用画像処理方法。
【請求項3】
前記参照画像データセットと前記訓練画像データセットとは、単一、かつ、同一の画像データセットである、請求項1記載の医用画像処理方法。
【請求項4】
コンピュータ装置に、請求項1記載の医用画像処理方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項5】
新規の画像データセットのセグメンテーションに利用される複数のアトラスを複数の候補アトラスから選択する医用画像処理装置であって、
複数の候補アトラスと訓練画像データセットとを記憶する記憶部と、
前記複数の候補アトラスの各々について、前記候補アトラスと前記複数の訓練画像データセットとを位置合わせする位置合わせ部と、
前記位置合わせされた訓練画像データセットと候補アトラスとに基づいて類似値を計算する類似値計算部と、
前記訓練画像データセットを前記候補アトラスを利用してセグメント化するセグメント化部と、
前記セグメント化された訓練画像データセットと前記候補アトラスとのジャカール係数値を計算するジャカール係数計算部と、
前記計算された類似値と前記計算されたジャカール係数値とに基づく回帰パラメータを生成する生成部と、
前記生成された回帰パラメータに基づいて前記複数の候補アトラスから複数のアトラスを選択する選択部と、
を具備することを特徴とする医用画像処理装置。
【請求項6】
新規の画像データセットと複数のアトラスの各々とを位置合わせすることであって、前記複数のアトラスの各々は、回帰パラメータを含み、前記回帰パラメータは、複数の訓練画像データセットの各々との類似値と、前記複数の訓練画像データセットの各々とのジャカール係数の実測値とを含み、
前記位置合わせされた新規の画像データセットと前記アトラスとに基づいて類似性指標の類似値を計算し、
前記回帰パラメータに前記計算された類似値を適用することによりジャカール係数の予測値を計算し、
前記計算された予測値に基づいて前記複数の候補アトラスの中から前記単一のアトラスを選択し、
前記選択された単一のアトラスに基づいて前記新規の画像データセットをセグメント化する、
ことを具備する医用画像処理方法。
【請求項7】
前記回帰パラメータは、前記類似値と前記ジャカール係数の実測値との線形回帰分析に基づいて生成される、請求項6記載の医用画像処理方法。
【請求項8】
前記類似性指標は、相互相関、相互情報量、及び正規化された相互情報量のうちのいずれか一つである、請求項6記載の医用画像処理方法。
【請求項9】
前記類似性指標は、画像データセット内の関心領域に基づいて計算される、請求項6記載の医用画像処理方法。
【請求項10】
前記関心領域は、前記画像データセット内の関心オブジェクト又は前記関心オブジェクトの一部分に対応する、請求項9記載の医用画像処理方法。
【請求項11】
コンピュータ装置に、請求項6記載の医用画像処理方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項12】
新規の画像データセットと複数のアトラスとを記憶する部であって、位置合わせすることであって、前記複数のアトラスの各々は、回帰パラメータを含み、前記回帰パラメータは、複数の訓練画像データセットの各々との類似値と、前記複数の訓練画像データセットの各々とのジャカール係数の実測値とを含む記憶部と、
前記新規の画像データセットと前記複数のアトラスの各々とを位置合わせする位置合わせ部と、
前記位置合わせされた新規の画像データセットと前記アトラスとに基づいて類似性指標の類似値を計算する類似値計算部と、
前記回帰パラメータに前記計算された類似値を適用することによりジャカール係数の予測値を計算する予測値計算部と、
前記計算された予測値に基づいて前記複数の候補アトラスの中から前記単一のアトラスを選択する選択部と、
前記選択された単一のアトラスに基づいて前記新規の画像データセットをセグメント化するセグメント化部と、
を具備する医用画像処理装置。
【請求項13】
複数のアトラスを含むマルチアトラスデータセットが記録されたコンピュータ読み取り可能な記録媒体であって、前記複数のアトラスの各々は、参照画像処理データセット、セグメンテーションデータ、及び回帰パラメータを有し、前記セグメンテーションデータは、前記参照画像処理データセット内の関心オブジェクトにマーク付けをするためのデータセットであり、前記回帰パラメータは、前記複数のアトラスの各々と複数の訓練画像データセットのセットとに基づく実測のジャカール係数値と、前記複数のアトラスの各々と前記複数の訓練画像データセットのセットとに基づく類似値との回帰分析を表現する、ことを特徴とする記録媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12A】
image rotate

【図12B】
image rotate

【図12C】
image rotate

【図13A】
image rotate

【図13B】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate


【公開番号】特開2012−30072(P2012−30072A)
【公開日】平成24年2月16日(2012.2.16)
【国際特許分類】
【出願番号】特願2011−164523(P2011−164523)
【出願日】平成23年7月27日(2011.7.27)
【出願人】(000003078)株式会社東芝 (54,554)
【出願人】(594164542)東芝メディカルシステムズ株式会社 (4,066)
【Fターム(参考)】