画像処理装置および方法ならびにプログラム
【課題】画像データから抽出した候補点を形状モデルのノードに的確に対応づけする。
【解決手段】画像データＤＶから複数の候補点Ｓｐが抽出し、その中から、形状モデルＭｒｅｆを構成する教師ラベルＴｑに対応する対応点を選択する。この対応点の選択は、「互いに接続される２つの前記教師ラベル毎に、該２つの教師ラベルの各々に対応づけられた２つの前記候補点間の経路を決定したときに、教師ラベルに対応づけられていない候補点の各々が、前記決定された全ての経路のうちいずれか１つの経路にのみふくまれるか、または前記決定されたいずれの経路にも含まれないこと」という制約条件の下で行う。そして、選択された複数の対応点を用いて画像データＤＶから構造物Ｍを検出する。
【解決手段】画像データＤＶから複数の候補点Ｓｐが抽出し、その中から、形状モデルＭｒｅｆを構成する教師ラベルＴｑに対応する対応点を選択する。この対応点の選択は、「互いに接続される２つの前記教師ラベル毎に、該２つの教師ラベルの各々に対応づけられた２つの前記候補点間の経路を決定したときに、教師ラベルに対応づけられていない候補点の各々が、前記決定された全ての経路のうちいずれか１つの経路にのみふくまれるか、または前記決定されたいずれの経路にも含まれないこと」という制約条件の下で行う。そして、選択された複数の対応点を用いて画像データＤＶから構造物Ｍを検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データから所定の構造物に属する複数の候補点を抽出し、所定の構造物の形状を表す既知の形状モデルのノードとのマッチングを行う画像処理装置および方法ならびにプログラムに関するものである。
【背景技術】
【０００２】
従来、ボリュームデータ等の３次元画像データから冠動脈などの構造物を自動的に抽出することが行われている（たとえば特許文献１参照）。特許文献１には、ボリュームデータを構成するボクセルデータの値に基づいて、冠動脈を構成する複数の候補点を抽出し、抽出された候補点の中から、複数の教師ラベルから構成される形状モデルに最も類似するグラフ構造を構成する、教師ラベルの各々に対応する対応点を選択し、選択された対応点間の経路を、複数の候補点を所定の指標値に基づくコストが最小となるように選択的に辿ることによって決定することが開示されている。
【０００３】
ここで、対応点の選択は、教師ラベルの対応づけられた候補点の集合により形成されるグラフ構造と形状モデルとの類似度を評価する評価関数を設け、その評価関数の最適解（候補点と教師ラベルの対応づけ）を求めることによって行われる。このとき、評価関数の許容解ｘの集合Ｃは通常下記式（１）のように規定される。
【数１】
ここで、Ｐは候補点Ｓｐの集合を表し、Ｑは教師ラベルＴｑの集合を表す。xＳｐＴｑは候補点Ｓｐと教師ラベルＴｑの対応関係を表す２値の変数であって、両者が対応づけられている場合には１の値を有し、対応づけられていない場合には０の値を有する。ｘは変数xＳｐＴｑを要素とするＰ×Ｑ次元のベクトルである。
【０００４】
この式（１）において、許容解ｘの制約条件は２つの不等式で構成されており、左側の不等式は、任意の教師ラベルＴｑと集合Ｐに属する全ての候補点Ｓｐの各々との関係で取得された変数xＳｐＴｑの総和が１以下であることを表す。これは教師ラベルの各々が、全ての候補点のうちいずれか１つにのみ対応づけられるか、または候補点のいずれにも対応づけられないことを意味する。右側の不等式は、任意の候補点Ｓｐと集合Ｑに属する全ての教師ラベルＴｑの各々との関係で取得された変数xＳｐＴｑの総和が１以下であることを表す。これは候補点の各々が、全ての教師ラベルのうちいずれか１つにのみ対応づけられるか、または教師ラベルのいずれにも対応づけられないことを意味する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−９８１９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上記集合Ｃに属する許容解ｘ中から教師ラベルに対応づけする候補点の集合を選択する上記従来の方法では、評価関数の最適解として得られる候補点と教師ラベルの対応づけが、教師ラベルに対応づけする候補点の選択が不適切なものとなる場合があり、問題となる。
【０００７】
たとえば、図１１Ａに示すように、画像データから複数の候補点Ｓ11〜Ｓ19が抽出されているときに、教師ラベルＴ11〜Ｔ1４により形成される形状モデルＭｒｅｆ１に一致もしくは最も類似するグラフ構造を構成する対応点として候補点Ｓ11，Ｓ15，Ｓ17，Ｓ19が選択され、それらの対応点間を接続してグラフ構造Ｍｓ１が形成されることがある。しかし、このグラフ構造Ｍｓ１では、構造物の分枝点に位置する教師ラベルＴ12に対応づけする候補点の選択が不適切であり、対応点間を接続する経路同士が一部重複している。これに対し、適切な対応づけとして、図１１Ｂに示すようなグラフ構造Ｍｓ１′を形成することが望まれる
【０００８】
また、たとえば、図１２Ａに示すように、画像データから複数の候補点Ｓ21〜Ｓ27が抽出されているときに、教師ラベルＴ21〜Ｔ23により形成される形状モデルＭｒｅｆ２に一致もしくは最も類似するグラフ構造を形成する対応点として候補点Ｓ21，Ｓ26，Ｓ27が選択され、それらの対応点間を接続してグラフ構造Ｍｓ２が形成されることがある。しかし、このグラフ構造Ｍｓ２では、構造物の分枝点に位置する教師ラベルＴ11に対応づけする候補点の選択が不適切であり、対応点間を接続する経路同士が重複している。これに対し、適切な対応づけとして、図１２Ｂに示すようなグラフ構造Ｍｓ２′を形成することが望まれる。
【０００９】
そこで、本発明は、画像データから抽出した候補点を形状モデルのノードにより的確に対応づけすることができる画像処理装置および方法ならびにプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置は、画像データから所定の構造物に属する複数の候補点を抽出する候補点抽出手段と、前記所定の構造物の既知の形状を表す、所定の接続関係を有する複数の教師ラベルから構成される形状モデルが記憶された形状モデル記憶手段と、下記（ａ）〜（ｃ）の制約条件の下で、前記候補点抽出手段により抽出された複数の候補点の中から前記教師ラベルに対応する対応点を選択する対応点選択手段とを備えたことを特徴とするものである。
（ａ）前記教師ラベルの各々が、全ての前記候補点のうちいずれか１つにのみ対応づけられるか、または前記候補点のいずれにも対応づけられないこと
（ｂ）前記候補点の各々が、全ての前記教師ラベルのうちいずれか１つにのみ対応づけられるか、または前記教師ラベルのいずれにも対応づけられないこと
（ｃ）互いに接続される２つの前記教師ラベル毎に、該２つの教師ラベルの各々に対応づけられた２つの前記候補点間の経路を決定したときに、前記教師ラベルに対応づけられていない候補点の各々が、前記決定された全ての経路のうちいずれか１つの経路に含まれるか、または前記決定されたいずれの経路に含まれないこと
【００１１】
本発明の画像処理方法は、画像データから所定の構造物に属する複数の候補点を抽出し、形状モデル記憶手段に予め記憶された前記所定の構造物の既知の形状を表す、所定の接続関係を有する複数の教師ラベルから構成される形状モデルを取得し、上記（ａ）〜（ｃ）の制約条件の下で、前記抽出された複数の候補点の中から前記教師ラベルに対応する対応点を選択し、前記選択された複数の対応点を用いて前記画像データから前記所定の構造物を検出することを特徴とするものである。
【００１２】
本発明の画像処理プログラムは、上記画像処理方法を少なくとも１台のコンピュータに実行させるプログラムである。このプログラムは、ＣＤ−ＲＯＭ，ＤＶＤなどの記録メディアに記録され、またはサーバコンピュータに付属するストレージやネットワークストレージにダウンロード可能な状態で記録されて、ユーザに提供される。
【００１３】
ここで、所定の構造物は、点とそれを結ぶ線とによりグラフ構造化可能なオブジェクトであればなんでもよく、特に、気管、腸、冠動脈、脳血管、肺血管、肝臓血管、気管支等の人体の管状構造物や人物の顔等を含む。
【００１４】
画像データは、たとえばＣＴ、ＭＲ、超音波装置、ＰＥＴ―ＣＴ、ＳＰＥＣＴ、４Ｄ-ＣＴ、ＯＣＴ、Ｘ線撮影装置（ＣＲ、ＤＲ）により撮像された医用画像データであってもよいし、たとえばボリュームデータ等の３次元画像データであってもよいし、デジタルカメラ等により撮影された画像データであってもよい。
【００１５】
形状モデルは、所定の構造物の既知の形状、言い換えると、所定の構造物の検出されるべき（検出したい）形状を表すものである。例えば、形状モデルは、所定の構造物の一般的な解剖学的形状や、正常な状態にある所定の構造物の解剖学的形状を表すものである。
【００１６】
また、上記（ｃ）の制約条件における前記経路は、所定の指標値に基づくコストが最小となるように前記候補点を選択的に辿ることによって決定することができる。
【００１７】
また、上記本発明の画像処理装置および方法ならびにプログラムにおいて、対応点の選択処理は、前記複数の候補点の集合をＰとし、前記複数の教師ラベルの集合をＱとし、前記複数の候補点と前記複数の教師ラベルとの対応関係をＰ×Ｑの要素を持つベクトルxで表したとき、下記式（２）の制約条件を満たす解候補集合Ｃから、前記対応関係を選択するものであってもよい。
【数２】
【００１８】
ここで、xＳｐＴｑ（xＳｐ′Ｔｑ、xＳｐ″Ｔｑ）は、候補点Ｓｐ（Ｓｐ′、Ｓｐ″）と教師ラベルＴｑの対応関係を表す２値の変数であって、両者が対応づけられている場合には１の値を有し、対応づけられていない場合には０の値を有する。yＳｐＳｐ′Ｓｐ″は、候補点Ｓｐが集合Ｐに属している他の２つの候補点Ｓｐ′とＳｐ″の間の経路に含まれる場合には１の値を有し、含まれない場合には０の値を有する２値の変数である。
【００１９】
この式（２）において、許容解ｘの制約条件は２つの不等式で構成されており、左側の不等式の左辺は、任意の教師ラベルＴｑと集合Ｐに属する全ての候補点Ｓｐの各々との関係で取得された変数xＳｐＴｑの総和を意味し、右側の不等式の左辺の第１項は、前記任意の候補点Ｓｐと前記集合Ｑに属する全ての教師ラベルＴｑの各々との関係で取得された変数xＳｐＴｑの総和を意味する。また、右側の不等式の左辺の第２項におけるΣxＳｐ′Ｔｑは、候補点Ｓｐ′と前記集合Ｑに属する全ての教師ラベルＴｑの各々との関係で取得された変数xＳｐ′Ｔｑの総和を意味し、ΣxＳｐ″Ｔｑは、候補点Ｓｐ″と前記集合Ｑに属する全ての教師ラベルＴｑの各々との関係で取得された変数xＳｐ″Ｔｑの総和を意味する。
【００２０】
対応点の選択処理は、前記ベクトルxを変数とする下記式（３）のエネルギ関数ＥをDual Decomposition法を用いて最小化することによって、前記対応点を選択するものであってもよい。
【数３】
ここで、ａ，ｂ（≠ａ）は、前記ベクトルxで表された対応関係における、前記候補点と前記教師ラベルの個々の対応づけを表すものであり（ａ，ｂ∈Ｒ⊆Ｐ×Ｑ）、θａは対応付けａ∈Ｒに対するコストであり、θａｂは対応付けａとｂの組み合わせ（ａ，ｂ）∈Ｒ×Ｒに対するコストである。
【００２１】
候補点の抽出処理は、画像データから所定の構造物の画像的特徴および／または構造的特徴を有する領域を検出し、検出された領域から複数の候補点を抽出する処理であってもよい。
【００２２】
対応点の選択処理は、複数の候補点のうち形状モデルに一致もしくは最も類似する対応点を選択するものであればその手法を問わず、たとえばグラフマッチングにより形状モデルに一致もしくは最も類似するグラフ構造となる対応点の集合を選択するものであってもよい。
【００２３】
さらに、形状モデル記憶手段は、所定の構造物であることが既知の教師画像データを用いて学習された、複数の候補点が形状モデルであることの尤度を示す評価関数を記憶したものであってもよい。このとき、対応点の選択処理では評価関数を用いて対応点を選択する。
【００２４】
上記本発明の画像処理装置は、対応点の選択処理により選択された複数の対応点および前記決定された前記対応点間の経路に基づいて、画像データから所定の構造物を検出する構造物検出手段をさらに備えたものであってもよい。
【００２５】
対応点選択手段は、前記経路を、所定の指標値に基づくコストが最小となるように前記候補点を選択的に辿ることによって決定するものであってもよい。
【発明の効果】
【００２６】
本発明の画像処理装置および方法ならびにプログラムによれば、画像データから所定の構造物に属する複数の候補点を抽出し、形状モデル記憶手段に予め記憶された前記所定の構造物の既知の形状を表す、所定の接続関係を有する複数の教師ラベルから構成される形状モデルを取得し、上記（ａ）〜（ｃ）の制約条件の下で、前記抽出された複数の候補点の中から教師ラベルに対応する対応点を選択しているので、図１１Ａのグラフ構造Ｍｓ１や図１２Ａのグラフ構造Ｍｓ２に示すような、対応点間を接続する経路同士が重複する候補点と教師ラベルの対応づけを除外することができ、上記従来の方法に比べて、画像データから抽出した候補点を形状モデルの教師ラベル（ノード）により的確に対応づけすることができる。
【００２７】
また、対応点の選択処理が、前記複数の候補点の集合をＰとし、前記複数の教師ラベルの集合をＱとし、前記複数の候補点と前記複数の教師ラベルとの対応関係をＰ×Ｑの要素を持つベクトルxで表したとき、上記式（２）の制約条件を満たす解候補集合Ｃから、前記対応関係を選択するものであれば、対応点間を接続する経路同士が重複する候補点と教師ラベルの対応づけを除外することができ、画像データから抽出した候補点を形状モデルの教師ラベルにより的確に対応づけすることができる。
【００２８】
また、対応点の選択処理が、前記ベクトルxを変数とする上記式（３）のエネルギ関数ＥをDual Decomposition法を用いて最小化することによって、前記対応点を選択するものであるとき、高速に精度良く対応点を選択することができる。
【００２９】
さらに、対応点の選択処理により選択された複数の対応点および前記決定された前記対応点間の経路に基づいて、画像データから所定の構造物を検出するようにした場合には、画像データから所定の構造物を精度良く検出することができる。
【図面の簡単な説明】
【００３０】
【図１】構造物検出装置の概略構成を示すブロック図
【図２】候補領域検出手段において所定の構造物として検出される冠動脈の一例を示す模式図
【図３】候補点抽出手段において候補領域から候補点が抽出される様子を示す模式図
【図４】対応点選択手段において所定の対応点が選択される様子を示す模式図
【図５Ａ】形状モデル記憶手段における設定モデルを学習する際の教師データの一例を示す模式図
【図５Ｂ】形状モデル記憶手段における設定モデルを学習する際の教師データの一例を示す模式図
【図６】対応点（教師ラベル）を結ぶことにより形成されるグラフ（エッジ）の一例を示す模式図
【図７】対応点選択手段において対応点を選択する様子を示す模式図
【図８】構造物検出装置によって構造物を検出する処理の流れを示すフローチャート
【図９Ａ】形状モデル記憶手段における設定モデルを学習する際の教師データの一例を示す模式図
【図９Ｂ】形状モデル記憶手段における設定モデルを学習する際の教師データの一例を示す模式図
【図１０】対応点（教師ラベル）を結ぶことにより形成されるグラフ（エッジ）の一例を示す模式図
【図１１Ａ】従来の方法により形成されたグラフ構造の一例を示す模式図
【図１１Ｂ】図１１Ａにおいて本来形成されるべきグラフ構造を示す模式図
【図１２Ａ】従来の方法により形成されたグラフ構造の一例を示す模式図
【図１２Ｂ】図１２Ａにおいて本来形成されるべきグラフ構造を示す模式図
【発明を実施するための形態】
【００３１】
以下、図面を参照して本発明の一実施の形態について説明する。図１は、構造物検出装置１の概略構成を示すブロック図である。なお、図１のような構造物検出装置１の構成は、補助記憶装置に読み込まれた構造物検出プログラムをコンピュータ上で実行することにより実現される。このとき、この構造物検出プログラムは、ＣＤ−ＲＯＭ等の記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされる。図１の構造物検出装置１は、画像データからたとえば冠動脈等の構造物Ｍを検出するものであって、候補領域検出手段１０、候補点抽出手段２０、正規化手段３０、対応点選択手段４０、構造物検出手段５０を備えている。
【００３２】
候補領域検出手段１０は、画像データにおいて所定の構造物Ｍの一部を構成するか否かを判断することにより候補領域Ｒｃを検出するものである。なお、画像データＤＶは、データ記憶手段ＶＤＢに記憶されたたとえば撮影装置もしくは放射線検出装置により撮像された２次元の画像もしくは複数の２次元画像から生成された３次元のボリュームデータからなっている。
【００３３】
ここで、候補領域検出手段１０はたとえば特願２００９−４８６７９号もしくは特願２００９−６９８９５号に開示された手法やその他公知の技術により候補領域を検出する。一例として、所定の構造物Ｍが図２に示すような心臓の冠動脈であり、ボリュームデータから候補領域Ｒｃを検出する場合について説明する。
【００３４】
まず、候補領域検出手段１０は、ボリュームデータＤＶを構成するボクセルデータの値に基づいて、冠動脈の芯線を構成する複数の候補点の位置と主軸方向とを算出する。あるいは、候補領域検出手段１０が、ボリュームデータＤＶについてヘッセ行列を算出し、算出されたヘッセ行列の固有値を解析することにより、冠動脈の芯線を構成する複数の候補点の位置情報と主軸方向とを算出するようにしてもよい。そして、候補領域検出手段１０は、候補点周辺のボクセルデータについて冠動脈らしさを表す特徴量を算出し、算出した特徴量に基づいてそのボクセルデータが冠動脈領域を表すものであるか否かを判別する。なお、特徴量に基づく判別は、たとえばマシンラーニングにより予め取得された評価関数に基づいて行なう。これにより、画像データのうち冠動脈領域であると判断された画像データＤＶが候補領域Ｒｃとして抽出される。
【００３５】
図１の候補点抽出手段２０は、候補領域検出手段１０において検出された候補領域Ｒｃから複数の候補点Ｓｐ（ｐ＝１〜ｎ：ｎは候補点の抽出数）を抽出するものである。図３は候補領域Ｒｃから候補点Ｓｐを抽出する様子を示す模式図である。図３において、候補点抽出手段２０は、候補領域Ｒｃ内から複数の（第１次）候補点Ｓｐ０を抽出し、抽出した複数の（第１次）候補点Ｓｐ０を連結する。ここで、連結方法として最小全域木アルゴリズムを用いれば、すべての（第１次）候補点Ｓｐ０を最小のコストで連結することができる。なお、このコストには、各（第１次）候補点Ｓｐ０間の距離等を用いることができる。（第１次）候補点Ｓｐ０間の距離を用いる場合、その距離が大きいほどコストが大きいと定義すればよい。そして、候補点抽出手段２０は複数の（第１次）候補点Ｓｐ０を所定の長さ単位毎に分割し（セグメント化）、分割した際の分割点を（第２次）候補点Ｓｐとして選択する。そして、候補点抽出手段２０は各（第２次）候補点に対しラベルＳｐを付与する。なお、候補点抽出手段２０が、（第１次）候補点Ｓｐ０から（第２次）候補点Ｓｐを再設定する場合について例示しているが、（第１次）候補点Ｓｐ０を用いて後述のグラフ構造Ｍｓの検出を行うようにしてもよい。このとき、候補領域検出手段１０が候補点抽出手段２０として機能していることになる。
【００３６】
図１の正規化手段３０は、候補点抽出手段２０により抽出された複数の候補点Ｓｐの座標を所定の基準位置Ｓｒｅｆに基づいて正規化するものである。たとえば所定の構造物が冠動脈である場合、正規化手段３０は図２に示す大動脈弁、僧帽弁、心尖部を検出して基準位置Ｓｒｅｆとして設定し、心尖部を原点、心尖部から大動脈弁に向かう軸をＺ軸、心尖部から僧帽弁に向かうベクトルとＺ軸との外積をＸ軸、Ｘ軸とＺ軸との外積をＹ軸とし、心尖部から大動脈弁までの長さを１とする新たな座標系で、各候補点Ｓｐの位置を表現する。大動脈弁、僧帽弁、心尖部は個体差によるばらつきが少なく、基準位置Ｓｒｅｆを用いて正規化することにより候補点Ｓｐの個体差によるばらつきを抑えることができる。
【００３７】
図１の対応点選択手段４０は、正規化手段３０により正規化された複数の候補点Ｓｐのうち、形状モデル記憶手段ＤＢに記憶された形状モデルＭｒｅｆに一致もしくは最も類似するグラフ構造Ｍｓを構成する対応点を選択し、選択した複数の対応点を形状モデルＭｒｅｆに略一致するように接続しグラフ構造Ｍｓを形成する。たとえば図４に示すように、候補点抽出手段２０により複数の候補点Ｓｐ（ｐ＝１〜８）が抽出され、形状モデル記憶手段ＤＢに所定の接続関係を有する４つの教師ラベルＴｑ（ｑ＝１〜４）により形成される形状モデルＭｒｅｆが記憶されているものとする。このとき、対応点選択手段４０は、形状モデルＭｒｅｆに一致もしくは最も類似するグラフ構造を形成する対応点（Ｔ１はＳ２、Ｔ２はＳ４、Ｔ３はＳ６、Ｔ４はＳ７）を選択しグラフ構造Ｍｓを形成する。
【００３８】
ここで、対応点選択手段４０はグラフマッチングにより複数の対応点を選択するものであり、形状モデル記憶手段ＤＢにはグラフマッチングにおけるエネルギ関数Ｅが形状モデルＭｒｅｆとして記憶されている。そこで、対応点選択手段４０は、下記式（４）の制約条件を満たす解候補の集合Ｃ´から、エネルギ関数Ｅの最小化を達成する最適解を求める。
【数４】
【００３９】
ここで、Ｐは候補点Ｓｐの集合を表し、Ｑは教師ラベルＴｑの集合を表す。xＳｐＴｑ（xＳｐ′Ｔｑ、xＳｐ″Ｔｑ）は、候補点Ｓｐ（Ｓｐ′、Ｓｐ″）と教師ラベルＴｑの対応関係を表す２値の変数であって、両者が対応づけられている場合には１の値を有し、対応づけられていない場合には０の値を有する。ｘは変数xＳｐＴｑを要素とするＰ×Ｑ次元のベクトルである。
【００４０】
この式（４）において、許容解ｘの制約条件は２つの不等式で構成されており、左側の不等式は、任意の教師ラベルＴｑと集合Ｐに属する全ての候補点Ｓｐの各々との関係で取得された変数xＳｐＴｑの総和が１以下であることを表す。これは教師ラベルの各々が、全ての候補点のうちいずれか１つにのみ対応づけられるか、または候補点のいずれにも対応づけられないことを意味する。
【００４１】
右側の不等式の左辺の第１項は、任意の候補点Ｓｐと前記集合Ｑに属する全ての教師ラベルＴｑの各々との関係で取得された変数xＳｐＴｑの総和であって、対象の候補点ｐがいずれの教師ラベルｑに対応付けられている場合には１となり、いずれの教師ラベルｑにも対応付けられていない場合には０となる。
【００４２】
右側の不等式の左辺の第２項は、yＳｐＳｐ′Ｓｐ″、ΣxＳｐ′ＴｑおよびΣxＳｐ″Ｔｑから構成されている。ここで、yＳｐＳｐ′Ｓｐ″は、候補点Ｓｐ′と候補点Ｓｐ″の間の経路を、教師ラベルに対応づけられていない候補点を所定の指標値に基づくコストが最小となるように選択的に辿ることによって決定したときに、候補点Ｓｐがそれらの候補点Ｓｐ′とＳｐ″の間の経路の決定において選択されている場合には１の値を有し、選択されていない場合には０の値を有する２値の変数である。ΣxＳｐ′Ｔｑは、候補点Ｓｐ′と前記集合Ｑに属する全ての教師ラベルＴｑの各々との関係で取得された変数xＳｐ′Ｔｑの総和であり、候補点Ｓｐ′がいずれの教師ラベルＴｑに対応付けられている場合には１となり、いずれの教師ラベルＴｑにも対応付けられていない場合には０となる。また、ΣxＳｐ″Ｔｑは、候補点Ｓｐ″と前記集合Ｑに属する全ての教師ラベルＴｑの各々との関係で取得された変数xＳｐ″Ｔｑの総和であり、候補点Ｓｐ″がいずれの教師ラベルＴｑに対応付けられている場合には１となり、いずれの教師ラベルＴｑにも対応付けられていない場合には０となる。
【００４３】
また、右側の不等式は、第１項と第２項を足し合わせた全体で１以下であることを要求するので、第１項と第２項はそのいずれか一方が１でもう一方が０であるか、両方とも０であることが要求される。すなわち、第１項が１の値を有するときに、第２項が１の値を有するような解は除外されることとなる。これは、候補点Ｓｐの各々が、全ての教師ラベルＴｑのうちいずれか１つにのみ対応づけられるか、または教師ラベルＴｑのいずれにも対応づけられないこと、および、教師ラベルに対応づけられた２つの候補点Ｓｐ′と候補点Ｓｐ″間の経路を、教師ラベルに対応づけられていない候補点を所定の指標値に基づくコストが最小となるように選択的に辿ることによって決定したときに、教師ラベルに対応づけられていない候補点Ｓｐの各々が、その決定された全ての経路のうちいずれか１つの経路にのみ含まれるか、または決定されたいずれの経路にも含まれないことを意味する。
【００４４】
エネルギ関数Ｅは、ベクトルxを変数とする下記式（５）で表すことができる。
【数５】
【００４５】
ここで、Ｒは許容解ｘにおける候補点と教師ラベルの対応づけの集合を表す。θａは集合Ｒに属する任意の対応づけａ（候補点Ｓｐ′と教師ラベルＴｑ′）に対するコストであり、下記（６）で表すことができる。
【数６】
【００４６】
上記式（６）において、ＬＴｑ′（ＣＳｐ′）は教師ラベルＴｑ′が候補点Ｓｐ′に対応づけられる確率を表し、その分布はガウス関数で近似され、下記式（７）で表すことができる。ここで、ＣＳｐは候補点Ｓｐ′の座標を表し、μＴｑ′およびσＴｑ′2はそれぞれ所定の構造物Ｍであることが既知の複数の教師データから取得した教師ラベルＴｑ′の平均座標および分散値である。これにより、ＬＴｑ′（ＣＳｐ′）の値は、候補点Ｓｐ′の座標がある教師ラベルＴｑ′の座標から離れるほど小さくなり、近づくほど大きくなる。
【数７】
【００４７】
なお、図５Ａ、図５Ｂに示すような予め所定の構造物Ｍであることが既知の教師データから複数の教師ラベルＴｑ（たとえばｑ＝１〜２６）が抽出される。なお、図５Ａ、図５Ｂにおいて教師ラベルＴ１〜Ｔ２０は所定の構造物Ｍである冠動脈から抽出したものであり、教師ラベルＴ２１〜Ｔ２６は冠静脈から抽出したものである。そして、図６に示すように、教師ラベルＴ１〜Ｔ２６のうち所定のラベル同士をエッジ（線）により結ぶことにより形状モデル（グラフ）Ｍｒｅｆが形成される。この教師ラベルＴｑ′の抽出が複数の教師データについて行われる。そして、各教師データの教師ラベルＴｑ′について平均座標μＴｑ′および分散値σＴｑ′2が算出され、教師ラベルＴｑ′毎に式（７）に示す確率密度関数ＬＴｑ′（ＣＳｐ′）が導出される。
【００４８】
一方、式（５）中のθａｂは、集合Ｒに属する２つの対応づけａとｂ（ａ：候補点Ｓｐ′と教師ラベルＴｑ′の対応づけ、ｂ：候補点Ｓｐ″と教師ラベルＴｑ″の対応づけ）の組み合わせに対するコストであり、下記式（８）で表すことができる。なお、ここではマッチングのコストθａｂに、Ｓｐ′とＳｐ″の間をコストの和が最小になるように辿って経路を求めた結果、得られたコストの和をそのまま利用している。しかし、求まった経路に関する別の評価値をマッチングのコストに用いてもよい。例えば、その経路上に位置する画素の輝度の平均や分散、その経路上の各位置における構造物Ｍの半径の平均や分散、その経路全体の長さなどの評価値を利用することができる。
【数８】
【００４９】
ここで、ＬＴｑ′Ｔｑ″（ＣＳｐ′ＣＳｐ″）は、教師ラベルのペア（Ｔｑ′，Ｔｑ″）が候補点のペア（Ｓｐ′，Ｓｐ″）に対応づけられる確率を表し、下記式（９）で表すことができる。ここで、（ＣＳｐ′−ＣＳｐ″）は候補点Ｓｐ′に対する候補点Ｓｐ″の相対座標であり、μＴｑ′Ｔｑ″およびσＴｑ′Ｔｑ″2はそれぞれ所定の構造物Ｍであることが既知の複数の教師データから取得した教師ラベルＴｑに対する教師ラベルＴｑ′の相対座標の平均値および分散値である（図７参照）。
【数９】
【００５０】
また、式（８）の第２項中のelocalは、教師ラベルに対応づけられた候補点Ｓｐ′とＳｐ″の間を他の候補点を辿ることによって接続する場合における、直接接続される２つの他の候補点Ｓｉ、Ｓｊの接続に対するコストを表すものであり、例えば、２点Ｓｉ、Ｓｊの距離が近いほど、あるいは、輝度値の差が小さいほど、あるいは、血管の太さの差が小さいほど、小さい値を持つように定義しておくことができる。Σelocalは、候補点Ｓｐ′とＳｐ″の間の経路上の、直接接続される２つの候補点のすべてについてのelocalの総和であり、minΣelocalは、例えば、各候補点を、各候補点間を結ぶ辺（エッジ）に対して上記elocalで定義された重みを持たせたグラフ構造として取り扱い、ダイクストラ法等を用いて、候補点Ｓｐ′とＳｐ″の間の最適経路を算出することにより求めることができる。
【００５１】
また、対応点選択手段４０は、Σelocalが最小値となるときの候補点Ｓｐ′とＳｐ″の間の候補点の接続経路を構造物検出装置１の所定のメモリ領域に記憶しておく。これにより、候補点Ｓｐ′とＳｐ″の間の様々な候補点の接続経路の中から、候補点Ｓｐ′とＳｐ″を他の候補点を経由して滑らかに結ばれるように接続する最適経路が決定される。
【００５２】
対応点選択手段４０は、上述の制約条件付きエネルギ関数Ｅの最小化問題をDual Decomposition (DD)法を用いて解く（最適解を求める）。DD法とは解きたい主問題を計算可能な複数のサブ問題に分割するものである。主問題は下記式（１０）で表す条件を満たせば凸結合となる。ここでθは主問題のエネルギ関数を表すベクトルであり、各サブ問題はベクトルθσ（σ∈Ｉ）で表されている。ρσは正の値をもつ重み係数であり、Ｉ はサブ問題のインデックスである。
【数１０】
【００５３】
そして、サブ問題から定義される、下記式（１１）で表す下界関数Ф（θ）は凸関数であるから、projected subgradient methodによって最大化することができる。下界値は主問題の解（上界値）以下という関係が成り立つため、下界値が上界値と一致したとき主問題の最小解が得られる。
【数１１】
【００５４】
ここで、サブ問題への分割は次のように行なう。それぞれのノードについて、そのノードとエッジで接続された近傍ノードのみを考慮する一つのサブ問題を生成する。それぞれのサブ問題は考慮しないノードに関するコストθａとθａｂは無視する（０として扱う）。サブ問題が十分に小さければ、その解は全組み合わせを探索しても計算できる。また分岐限定法(branch-and-bound method)を用いればより高速に解を得ることができる。分岐限定法を用いる場合、まず緩和下界(relaxed lower bound)を設定する。ここでは緩和下界を、あるノードがuniqueness constraintの条件なしに取る可能性がある最小のコストと定義する。この緩和下界を参照しながら、解が改善する可能性のない組み合わせの詳細な計算を省けば、計算量を大幅に減らすことができる。
【００５５】
なお、対応点選択手段４０は、上記エネルギ関数Ｅの最小化問題をループ有り確率伝播法を用いて解くこともできる。また、式（５）においてはエネルギ関数Ｅを最小化したが、１変数項および２変数項にマイナスを乗算し、エネルギ関数Ｅの評価値を大きくするようにしてもよい。
【００５６】
図１の構造物検出手段５０は、対応点選択手段４０によって選択された対応点、および、直接接続されている対応点間を他の候補点で結んだ最適経路に基づいて構造物Ｍを検出する。なお、この最適経路は、対応点選択手段４０においてminΣelocalの算出時に既に算出済みで、構造物検出装置１の所定のメモリ領域に記憶されている。
【００５７】
ここで、形状モデルＭｒｅｆが検出対象の構造物Ｍ全体を表すものではない場合には、構造物検出手段５０は、上記の対応点間の最適経路に用いられなかった候補点について、最小全域木アルゴリズムを用いて接続することによって、構造物Ｍ全体を検出する。このとき、候補点間の距離が所定の値以上に離れているところは、候補点間の接続を行わないようにし、最終的に形状モデルＭｒｅｆに基づいて検出された構造物Ｍの部分と接続されなかった候補点群は、構造物Ｍには属さないものとして取り扱う。逆に、形状モデルＭｒｅｆが検出対象の構造物Ｍ全体を表すものである場合には、上記の対応点間の最適経路に用いられなかった候補点は、検出対象の構造物Ｍに属さない余剰領域（例えば肺血管や心筋等）のものであるから、接続処理を行う必要はない。
【００５８】
図８は構造物検出装置によって構造物を検出する処理の流れを示すフローチャートである。図８に示すように、まず、候補領域検出手段１０において画像データＤＶから候補領域Ｒｃが検出され（ステップＳＴ１、図２参照）、候補点抽出手段２０により候補領域Ｒｃから複数の（第１次）候補点Ｓｐ０が抽出され、セグメント化により（第２次）候補点Ｓｐが抽出される（ステップＳＴ２、図３参照）。その後、正規化手段３０により正規化が行われた後、対応点選択手段４０において式（５）により複数の候補点Ｓｐから形状モデルＭｒｅｆに最も類似するグラフ構造Ｍｓを形成する対応点の集合が選択される（ステップＳＴ３、図４参照）。そして、構造物検出手段５０において、選択された対応点間を他の候補点で結んだ最適経路に基づいて構造物Ｍが検出される（ステップＳＴ４）。
【００５９】
以上に説明したとおり、本実施形態の構造物検出装置および方法ならびにプログラムによれば、画像データＤＶから前記所定の構造物Ｍに属する複数の候補点を抽出し、上記（ａ）〜（ｃ）の制約条件の下で、抽出された複数の候補点のうち、形状モデル記憶手段ＤＢに予め記憶された構造物Ｍの既知の形状を表す、所定の接続関係を有する複数の教師ラベルＴqから構成される形状モデルＭｒｅｆに一致もしくは最も類似するグラフ構造Ｍｓを構成する対応点を選択し、選択された複数の対応点を用いて画像データＤＶから構造物Ｍを検出することにより、画像データＤＶから構造物Ｍを精度よく検出することができる。特に、上記（ｃ）の制約条件を設けていることにより、図１１Ａのグラフ構造Ｍｓ１や図１２Ａのグラフ構造Ｍｓ２に示すような、対応点間を接続する経路同士が重複する候補点と教師ラベルの対応づけを除外することができ、特許文献１等に記載されている従来の方法に比べて、構造物Ｍの検出精度を向上させることができる。
【００６０】
また、対応点選択手段４０が、集合Ｐに属する任意の候補点Ｓｐおよび前記集合Ｑに属する任意の教師ラベルＴｑが上記式（４）を満たすという制約条件の下で、対応点を選択するものであるとき、対応点間を接続する経路同士が重複する候補点と教師ラベルの対応づけを除外することができ、画像データＤＶから精度良く構造物Ｍを検出することができる。
【００６１】
なお、上記実施の形態では、本発明の画像処理装置および方法ならびにプログラムを、画像データＤＶから冠動脈を検出するものに適用した場合について説明したが、たとえば、気管、腸、脳血管、肺血管、肝臓血管、気管支等の抽出に適用することもできる。この場合、脳血管等の他の構造物Ｍに対する形状モデルが形状モデル記憶手段ＤＢに記憶されており、構造物Ｍの種類に合った設計形状を用いて対応点を選択する。
【００６２】
たとえば、構造物Ｍが脳血管である場合、図９Ａ、図９Ｂに示すように、脳血管であることが既知の教師データから複数の教師ラベルＴｑ（たとえばｑ＝１〜２５）が抽出される。なお、図９Ａ、図９Ｂにおいて教師ラベルＴ１〜Ｔ１２は所定の構造物Ｍである動脈から抽出したものであり、教師ラベルＴ１３〜Ｔ２５は静脈から抽出したものである。そして、図１０に示すように、教師ラベルＴ１〜Ｔ２５のうち所定のラベル同士をエッジ（線）により結ぶことにより形状モデル（グラフ）Ｍｒｅｆが形成される。
【００６３】
また、本発明の画像処理装置および方法ならびにプログラムは、同一の患者を異なるフェーズで撮影した複数の画像について、各々の画像から抽出したグラフ構造同士を対応付けするものに適用することもできる。この場合、いずれか１つのフェーズから抽出したグラフ構造を形状モデルとし、そのグラフ構造を構成するノードが教師ラベルとすればよい。
【００６４】
また、上記実施の形態では、正規化手段３０と構造物検出手段５０を備えたものである場合について例示しているが、これらの構成は必ずしも必要ではなく、必要に応じて設ければよい。
【００６５】
また、構造物検出装置１は、複数の異なるサブ構造物（たとえば、動脈と静脈）が含まれている所定の構造物Ｍを形状モデルＭｒｅｆとした場合、異なるサブ構造物毎にそれぞれ異なる色で表示する表示制御手段をさらに備えたものであってもよい。
【００６６】
また、対応点選択手段４０は、所定の構造物が血管である場合に候補点の座標とともに候補点における血管半径または輝度値を用いて対応点を選択するものであってもよい。
【符号の説明】
【００６７】
１ 構造物検出装置
１０ 候補領域検出手段（候補点抽出手段）
２０ 候補点抽出手段
３０ 正規化手段
４０ 対応点選択手段
５０ 構造物検出手段
ＤＢ 形状モデル記憶手段
ＤＶ 画像データ
Ｍ 構造物
Ｍｒｅｆ 形状モデル
Ｍｓ グラフ構造
Ｒｃ 候補領域
Ｓｐ０ （第１次）候補点
Ｓｐ （第２次）候補点
Ｓｒｅｆ 基準位置
Ｔq 教師ラベル
【技術分野】
【０００１】
本発明は、画像データから所定の構造物に属する複数の候補点を抽出し、所定の構造物の形状を表す既知の形状モデルのノードとのマッチングを行う画像処理装置および方法ならびにプログラムに関するものである。
【背景技術】
【０００２】
従来、ボリュームデータ等の３次元画像データから冠動脈などの構造物を自動的に抽出することが行われている（たとえば特許文献１参照）。特許文献１には、ボリュームデータを構成するボクセルデータの値に基づいて、冠動脈を構成する複数の候補点を抽出し、抽出された候補点の中から、複数の教師ラベルから構成される形状モデルに最も類似するグラフ構造を構成する、教師ラベルの各々に対応する対応点を選択し、選択された対応点間の経路を、複数の候補点を所定の指標値に基づくコストが最小となるように選択的に辿ることによって決定することが開示されている。
【０００３】
ここで、対応点の選択は、教師ラベルの対応づけられた候補点の集合により形成されるグラフ構造と形状モデルとの類似度を評価する評価関数を設け、その評価関数の最適解（候補点と教師ラベルの対応づけ）を求めることによって行われる。このとき、評価関数の許容解ｘの集合Ｃは通常下記式（１）のように規定される。
【数１】
ここで、Ｐは候補点Ｓｐの集合を表し、Ｑは教師ラベルＴｑの集合を表す。xＳｐＴｑは候補点Ｓｐと教師ラベルＴｑの対応関係を表す２値の変数であって、両者が対応づけられている場合には１の値を有し、対応づけられていない場合には０の値を有する。ｘは変数xＳｐＴｑを要素とするＰ×Ｑ次元のベクトルである。
【０００４】
この式（１）において、許容解ｘの制約条件は２つの不等式で構成されており、左側の不等式は、任意の教師ラベルＴｑと集合Ｐに属する全ての候補点Ｓｐの各々との関係で取得された変数xＳｐＴｑの総和が１以下であることを表す。これは教師ラベルの各々が、全ての候補点のうちいずれか１つにのみ対応づけられるか、または候補点のいずれにも対応づけられないことを意味する。右側の不等式は、任意の候補点Ｓｐと集合Ｑに属する全ての教師ラベルＴｑの各々との関係で取得された変数xＳｐＴｑの総和が１以下であることを表す。これは候補点の各々が、全ての教師ラベルのうちいずれか１つにのみ対応づけられるか、または教師ラベルのいずれにも対応づけられないことを意味する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−９８１９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上記集合Ｃに属する許容解ｘ中から教師ラベルに対応づけする候補点の集合を選択する上記従来の方法では、評価関数の最適解として得られる候補点と教師ラベルの対応づけが、教師ラベルに対応づけする候補点の選択が不適切なものとなる場合があり、問題となる。
【０００７】
たとえば、図１１Ａに示すように、画像データから複数の候補点Ｓ11〜Ｓ19が抽出されているときに、教師ラベルＴ11〜Ｔ1４により形成される形状モデルＭｒｅｆ１に一致もしくは最も類似するグラフ構造を構成する対応点として候補点Ｓ11，Ｓ15，Ｓ17，Ｓ19が選択され、それらの対応点間を接続してグラフ構造Ｍｓ１が形成されることがある。しかし、このグラフ構造Ｍｓ１では、構造物の分枝点に位置する教師ラベルＴ12に対応づけする候補点の選択が不適切であり、対応点間を接続する経路同士が一部重複している。これに対し、適切な対応づけとして、図１１Ｂに示すようなグラフ構造Ｍｓ１′を形成することが望まれる
【０００８】
また、たとえば、図１２Ａに示すように、画像データから複数の候補点Ｓ21〜Ｓ27が抽出されているときに、教師ラベルＴ21〜Ｔ23により形成される形状モデルＭｒｅｆ２に一致もしくは最も類似するグラフ構造を形成する対応点として候補点Ｓ21，Ｓ26，Ｓ27が選択され、それらの対応点間を接続してグラフ構造Ｍｓ２が形成されることがある。しかし、このグラフ構造Ｍｓ２では、構造物の分枝点に位置する教師ラベルＴ11に対応づけする候補点の選択が不適切であり、対応点間を接続する経路同士が重複している。これに対し、適切な対応づけとして、図１２Ｂに示すようなグラフ構造Ｍｓ２′を形成することが望まれる。
【０００９】
そこで、本発明は、画像データから抽出した候補点を形状モデルのノードにより的確に対応づけすることができる画像処理装置および方法ならびにプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置は、画像データから所定の構造物に属する複数の候補点を抽出する候補点抽出手段と、前記所定の構造物の既知の形状を表す、所定の接続関係を有する複数の教師ラベルから構成される形状モデルが記憶された形状モデル記憶手段と、下記（ａ）〜（ｃ）の制約条件の下で、前記候補点抽出手段により抽出された複数の候補点の中から前記教師ラベルに対応する対応点を選択する対応点選択手段とを備えたことを特徴とするものである。
（ａ）前記教師ラベルの各々が、全ての前記候補点のうちいずれか１つにのみ対応づけられるか、または前記候補点のいずれにも対応づけられないこと
（ｂ）前記候補点の各々が、全ての前記教師ラベルのうちいずれか１つにのみ対応づけられるか、または前記教師ラベルのいずれにも対応づけられないこと
（ｃ）互いに接続される２つの前記教師ラベル毎に、該２つの教師ラベルの各々に対応づけられた２つの前記候補点間の経路を決定したときに、前記教師ラベルに対応づけられていない候補点の各々が、前記決定された全ての経路のうちいずれか１つの経路に含まれるか、または前記決定されたいずれの経路に含まれないこと
【００１１】
本発明の画像処理方法は、画像データから所定の構造物に属する複数の候補点を抽出し、形状モデル記憶手段に予め記憶された前記所定の構造物の既知の形状を表す、所定の接続関係を有する複数の教師ラベルから構成される形状モデルを取得し、上記（ａ）〜（ｃ）の制約条件の下で、前記抽出された複数の候補点の中から前記教師ラベルに対応する対応点を選択し、前記選択された複数の対応点を用いて前記画像データから前記所定の構造物を検出することを特徴とするものである。
【００１２】
本発明の画像処理プログラムは、上記画像処理方法を少なくとも１台のコンピュータに実行させるプログラムである。このプログラムは、ＣＤ−ＲＯＭ，ＤＶＤなどの記録メディアに記録され、またはサーバコンピュータに付属するストレージやネットワークストレージにダウンロード可能な状態で記録されて、ユーザに提供される。
【００１３】
ここで、所定の構造物は、点とそれを結ぶ線とによりグラフ構造化可能なオブジェクトであればなんでもよく、特に、気管、腸、冠動脈、脳血管、肺血管、肝臓血管、気管支等の人体の管状構造物や人物の顔等を含む。
【００１４】
画像データは、たとえばＣＴ、ＭＲ、超音波装置、ＰＥＴ―ＣＴ、ＳＰＥＣＴ、４Ｄ-ＣＴ、ＯＣＴ、Ｘ線撮影装置（ＣＲ、ＤＲ）により撮像された医用画像データであってもよいし、たとえばボリュームデータ等の３次元画像データであってもよいし、デジタルカメラ等により撮影された画像データであってもよい。
【００１５】
形状モデルは、所定の構造物の既知の形状、言い換えると、所定の構造物の検出されるべき（検出したい）形状を表すものである。例えば、形状モデルは、所定の構造物の一般的な解剖学的形状や、正常な状態にある所定の構造物の解剖学的形状を表すものである。
【００１６】
また、上記（ｃ）の制約条件における前記経路は、所定の指標値に基づくコストが最小となるように前記候補点を選択的に辿ることによって決定することができる。
【００１７】
また、上記本発明の画像処理装置および方法ならびにプログラムにおいて、対応点の選択処理は、前記複数の候補点の集合をＰとし、前記複数の教師ラベルの集合をＱとし、前記複数の候補点と前記複数の教師ラベルとの対応関係をＰ×Ｑの要素を持つベクトルxで表したとき、下記式（２）の制約条件を満たす解候補集合Ｃから、前記対応関係を選択するものであってもよい。
【数２】
【００１８】
ここで、xＳｐＴｑ（xＳｐ′Ｔｑ、xＳｐ″Ｔｑ）は、候補点Ｓｐ（Ｓｐ′、Ｓｐ″）と教師ラベルＴｑの対応関係を表す２値の変数であって、両者が対応づけられている場合には１の値を有し、対応づけられていない場合には０の値を有する。yＳｐＳｐ′Ｓｐ″は、候補点Ｓｐが集合Ｐに属している他の２つの候補点Ｓｐ′とＳｐ″の間の経路に含まれる場合には１の値を有し、含まれない場合には０の値を有する２値の変数である。
【００１９】
この式（２）において、許容解ｘの制約条件は２つの不等式で構成されており、左側の不等式の左辺は、任意の教師ラベルＴｑと集合Ｐに属する全ての候補点Ｓｐの各々との関係で取得された変数xＳｐＴｑの総和を意味し、右側の不等式の左辺の第１項は、前記任意の候補点Ｓｐと前記集合Ｑに属する全ての教師ラベルＴｑの各々との関係で取得された変数xＳｐＴｑの総和を意味する。また、右側の不等式の左辺の第２項におけるΣxＳｐ′Ｔｑは、候補点Ｓｐ′と前記集合Ｑに属する全ての教師ラベルＴｑの各々との関係で取得された変数xＳｐ′Ｔｑの総和を意味し、ΣxＳｐ″Ｔｑは、候補点Ｓｐ″と前記集合Ｑに属する全ての教師ラベルＴｑの各々との関係で取得された変数xＳｐ″Ｔｑの総和を意味する。
【００２０】
対応点の選択処理は、前記ベクトルxを変数とする下記式（３）のエネルギ関数ＥをDual Decomposition法を用いて最小化することによって、前記対応点を選択するものであってもよい。
【数３】
ここで、ａ，ｂ（≠ａ）は、前記ベクトルxで表された対応関係における、前記候補点と前記教師ラベルの個々の対応づけを表すものであり（ａ，ｂ∈Ｒ⊆Ｐ×Ｑ）、θａは対応付けａ∈Ｒに対するコストであり、θａｂは対応付けａとｂの組み合わせ（ａ，ｂ）∈Ｒ×Ｒに対するコストである。
【００２１】
候補点の抽出処理は、画像データから所定の構造物の画像的特徴および／または構造的特徴を有する領域を検出し、検出された領域から複数の候補点を抽出する処理であってもよい。
【００２２】
対応点の選択処理は、複数の候補点のうち形状モデルに一致もしくは最も類似する対応点を選択するものであればその手法を問わず、たとえばグラフマッチングにより形状モデルに一致もしくは最も類似するグラフ構造となる対応点の集合を選択するものであってもよい。
【００２３】
さらに、形状モデル記憶手段は、所定の構造物であることが既知の教師画像データを用いて学習された、複数の候補点が形状モデルであることの尤度を示す評価関数を記憶したものであってもよい。このとき、対応点の選択処理では評価関数を用いて対応点を選択する。
【００２４】
上記本発明の画像処理装置は、対応点の選択処理により選択された複数の対応点および前記決定された前記対応点間の経路に基づいて、画像データから所定の構造物を検出する構造物検出手段をさらに備えたものであってもよい。
【００２５】
対応点選択手段は、前記経路を、所定の指標値に基づくコストが最小となるように前記候補点を選択的に辿ることによって決定するものであってもよい。
【発明の効果】
【００２６】
本発明の画像処理装置および方法ならびにプログラムによれば、画像データから所定の構造物に属する複数の候補点を抽出し、形状モデル記憶手段に予め記憶された前記所定の構造物の既知の形状を表す、所定の接続関係を有する複数の教師ラベルから構成される形状モデルを取得し、上記（ａ）〜（ｃ）の制約条件の下で、前記抽出された複数の候補点の中から教師ラベルに対応する対応点を選択しているので、図１１Ａのグラフ構造Ｍｓ１や図１２Ａのグラフ構造Ｍｓ２に示すような、対応点間を接続する経路同士が重複する候補点と教師ラベルの対応づけを除外することができ、上記従来の方法に比べて、画像データから抽出した候補点を形状モデルの教師ラベル（ノード）により的確に対応づけすることができる。
【００２７】
また、対応点の選択処理が、前記複数の候補点の集合をＰとし、前記複数の教師ラベルの集合をＱとし、前記複数の候補点と前記複数の教師ラベルとの対応関係をＰ×Ｑの要素を持つベクトルxで表したとき、上記式（２）の制約条件を満たす解候補集合Ｃから、前記対応関係を選択するものであれば、対応点間を接続する経路同士が重複する候補点と教師ラベルの対応づけを除外することができ、画像データから抽出した候補点を形状モデルの教師ラベルにより的確に対応づけすることができる。
【００２８】
また、対応点の選択処理が、前記ベクトルxを変数とする上記式（３）のエネルギ関数ＥをDual Decomposition法を用いて最小化することによって、前記対応点を選択するものであるとき、高速に精度良く対応点を選択することができる。
【００２９】
さらに、対応点の選択処理により選択された複数の対応点および前記決定された前記対応点間の経路に基づいて、画像データから所定の構造物を検出するようにした場合には、画像データから所定の構造物を精度良く検出することができる。
【図面の簡単な説明】
【００３０】
【図１】構造物検出装置の概略構成を示すブロック図
【図２】候補領域検出手段において所定の構造物として検出される冠動脈の一例を示す模式図
【図３】候補点抽出手段において候補領域から候補点が抽出される様子を示す模式図
【図４】対応点選択手段において所定の対応点が選択される様子を示す模式図
【図５Ａ】形状モデル記憶手段における設定モデルを学習する際の教師データの一例を示す模式図
【図５Ｂ】形状モデル記憶手段における設定モデルを学習する際の教師データの一例を示す模式図
【図６】対応点（教師ラベル）を結ぶことにより形成されるグラフ（エッジ）の一例を示す模式図
【図７】対応点選択手段において対応点を選択する様子を示す模式図
【図８】構造物検出装置によって構造物を検出する処理の流れを示すフローチャート
【図９Ａ】形状モデル記憶手段における設定モデルを学習する際の教師データの一例を示す模式図
【図９Ｂ】形状モデル記憶手段における設定モデルを学習する際の教師データの一例を示す模式図
【図１０】対応点（教師ラベル）を結ぶことにより形成されるグラフ（エッジ）の一例を示す模式図
【図１１Ａ】従来の方法により形成されたグラフ構造の一例を示す模式図
【図１１Ｂ】図１１Ａにおいて本来形成されるべきグラフ構造を示す模式図
【図１２Ａ】従来の方法により形成されたグラフ構造の一例を示す模式図
【図１２Ｂ】図１２Ａにおいて本来形成されるべきグラフ構造を示す模式図
【発明を実施するための形態】
【００３１】
以下、図面を参照して本発明の一実施の形態について説明する。図１は、構造物検出装置１の概略構成を示すブロック図である。なお、図１のような構造物検出装置１の構成は、補助記憶装置に読み込まれた構造物検出プログラムをコンピュータ上で実行することにより実現される。このとき、この構造物検出プログラムは、ＣＤ−ＲＯＭ等の記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされる。図１の構造物検出装置１は、画像データからたとえば冠動脈等の構造物Ｍを検出するものであって、候補領域検出手段１０、候補点抽出手段２０、正規化手段３０、対応点選択手段４０、構造物検出手段５０を備えている。
【００３２】
候補領域検出手段１０は、画像データにおいて所定の構造物Ｍの一部を構成するか否かを判断することにより候補領域Ｒｃを検出するものである。なお、画像データＤＶは、データ記憶手段ＶＤＢに記憶されたたとえば撮影装置もしくは放射線検出装置により撮像された２次元の画像もしくは複数の２次元画像から生成された３次元のボリュームデータからなっている。
【００３３】
ここで、候補領域検出手段１０はたとえば特願２００９−４８６７９号もしくは特願２００９−６９８９５号に開示された手法やその他公知の技術により候補領域を検出する。一例として、所定の構造物Ｍが図２に示すような心臓の冠動脈であり、ボリュームデータから候補領域Ｒｃを検出する場合について説明する。
【００３４】
まず、候補領域検出手段１０は、ボリュームデータＤＶを構成するボクセルデータの値に基づいて、冠動脈の芯線を構成する複数の候補点の位置と主軸方向とを算出する。あるいは、候補領域検出手段１０が、ボリュームデータＤＶについてヘッセ行列を算出し、算出されたヘッセ行列の固有値を解析することにより、冠動脈の芯線を構成する複数の候補点の位置情報と主軸方向とを算出するようにしてもよい。そして、候補領域検出手段１０は、候補点周辺のボクセルデータについて冠動脈らしさを表す特徴量を算出し、算出した特徴量に基づいてそのボクセルデータが冠動脈領域を表すものであるか否かを判別する。なお、特徴量に基づく判別は、たとえばマシンラーニングにより予め取得された評価関数に基づいて行なう。これにより、画像データのうち冠動脈領域であると判断された画像データＤＶが候補領域Ｒｃとして抽出される。
【００３５】
図１の候補点抽出手段２０は、候補領域検出手段１０において検出された候補領域Ｒｃから複数の候補点Ｓｐ（ｐ＝１〜ｎ：ｎは候補点の抽出数）を抽出するものである。図３は候補領域Ｒｃから候補点Ｓｐを抽出する様子を示す模式図である。図３において、候補点抽出手段２０は、候補領域Ｒｃ内から複数の（第１次）候補点Ｓｐ０を抽出し、抽出した複数の（第１次）候補点Ｓｐ０を連結する。ここで、連結方法として最小全域木アルゴリズムを用いれば、すべての（第１次）候補点Ｓｐ０を最小のコストで連結することができる。なお、このコストには、各（第１次）候補点Ｓｐ０間の距離等を用いることができる。（第１次）候補点Ｓｐ０間の距離を用いる場合、その距離が大きいほどコストが大きいと定義すればよい。そして、候補点抽出手段２０は複数の（第１次）候補点Ｓｐ０を所定の長さ単位毎に分割し（セグメント化）、分割した際の分割点を（第２次）候補点Ｓｐとして選択する。そして、候補点抽出手段２０は各（第２次）候補点に対しラベルＳｐを付与する。なお、候補点抽出手段２０が、（第１次）候補点Ｓｐ０から（第２次）候補点Ｓｐを再設定する場合について例示しているが、（第１次）候補点Ｓｐ０を用いて後述のグラフ構造Ｍｓの検出を行うようにしてもよい。このとき、候補領域検出手段１０が候補点抽出手段２０として機能していることになる。
【００３６】
図１の正規化手段３０は、候補点抽出手段２０により抽出された複数の候補点Ｓｐの座標を所定の基準位置Ｓｒｅｆに基づいて正規化するものである。たとえば所定の構造物が冠動脈である場合、正規化手段３０は図２に示す大動脈弁、僧帽弁、心尖部を検出して基準位置Ｓｒｅｆとして設定し、心尖部を原点、心尖部から大動脈弁に向かう軸をＺ軸、心尖部から僧帽弁に向かうベクトルとＺ軸との外積をＸ軸、Ｘ軸とＺ軸との外積をＹ軸とし、心尖部から大動脈弁までの長さを１とする新たな座標系で、各候補点Ｓｐの位置を表現する。大動脈弁、僧帽弁、心尖部は個体差によるばらつきが少なく、基準位置Ｓｒｅｆを用いて正規化することにより候補点Ｓｐの個体差によるばらつきを抑えることができる。
【００３７】
図１の対応点選択手段４０は、正規化手段３０により正規化された複数の候補点Ｓｐのうち、形状モデル記憶手段ＤＢに記憶された形状モデルＭｒｅｆに一致もしくは最も類似するグラフ構造Ｍｓを構成する対応点を選択し、選択した複数の対応点を形状モデルＭｒｅｆに略一致するように接続しグラフ構造Ｍｓを形成する。たとえば図４に示すように、候補点抽出手段２０により複数の候補点Ｓｐ（ｐ＝１〜８）が抽出され、形状モデル記憶手段ＤＢに所定の接続関係を有する４つの教師ラベルＴｑ（ｑ＝１〜４）により形成される形状モデルＭｒｅｆが記憶されているものとする。このとき、対応点選択手段４０は、形状モデルＭｒｅｆに一致もしくは最も類似するグラフ構造を形成する対応点（Ｔ１はＳ２、Ｔ２はＳ４、Ｔ３はＳ６、Ｔ４はＳ７）を選択しグラフ構造Ｍｓを形成する。
【００３８】
ここで、対応点選択手段４０はグラフマッチングにより複数の対応点を選択するものであり、形状モデル記憶手段ＤＢにはグラフマッチングにおけるエネルギ関数Ｅが形状モデルＭｒｅｆとして記憶されている。そこで、対応点選択手段４０は、下記式（４）の制約条件を満たす解候補の集合Ｃ´から、エネルギ関数Ｅの最小化を達成する最適解を求める。
【数４】
【００３９】
ここで、Ｐは候補点Ｓｐの集合を表し、Ｑは教師ラベルＴｑの集合を表す。xＳｐＴｑ（xＳｐ′Ｔｑ、xＳｐ″Ｔｑ）は、候補点Ｓｐ（Ｓｐ′、Ｓｐ″）と教師ラベルＴｑの対応関係を表す２値の変数であって、両者が対応づけられている場合には１の値を有し、対応づけられていない場合には０の値を有する。ｘは変数xＳｐＴｑを要素とするＰ×Ｑ次元のベクトルである。
【００４０】
この式（４）において、許容解ｘの制約条件は２つの不等式で構成されており、左側の不等式は、任意の教師ラベルＴｑと集合Ｐに属する全ての候補点Ｓｐの各々との関係で取得された変数xＳｐＴｑの総和が１以下であることを表す。これは教師ラベルの各々が、全ての候補点のうちいずれか１つにのみ対応づけられるか、または候補点のいずれにも対応づけられないことを意味する。
【００４１】
右側の不等式の左辺の第１項は、任意の候補点Ｓｐと前記集合Ｑに属する全ての教師ラベルＴｑの各々との関係で取得された変数xＳｐＴｑの総和であって、対象の候補点ｐがいずれの教師ラベルｑに対応付けられている場合には１となり、いずれの教師ラベルｑにも対応付けられていない場合には０となる。
【００４２】
右側の不等式の左辺の第２項は、yＳｐＳｐ′Ｓｐ″、ΣxＳｐ′ＴｑおよびΣxＳｐ″Ｔｑから構成されている。ここで、yＳｐＳｐ′Ｓｐ″は、候補点Ｓｐ′と候補点Ｓｐ″の間の経路を、教師ラベルに対応づけられていない候補点を所定の指標値に基づくコストが最小となるように選択的に辿ることによって決定したときに、候補点Ｓｐがそれらの候補点Ｓｐ′とＳｐ″の間の経路の決定において選択されている場合には１の値を有し、選択されていない場合には０の値を有する２値の変数である。ΣxＳｐ′Ｔｑは、候補点Ｓｐ′と前記集合Ｑに属する全ての教師ラベルＴｑの各々との関係で取得された変数xＳｐ′Ｔｑの総和であり、候補点Ｓｐ′がいずれの教師ラベルＴｑに対応付けられている場合には１となり、いずれの教師ラベルＴｑにも対応付けられていない場合には０となる。また、ΣxＳｐ″Ｔｑは、候補点Ｓｐ″と前記集合Ｑに属する全ての教師ラベルＴｑの各々との関係で取得された変数xＳｐ″Ｔｑの総和であり、候補点Ｓｐ″がいずれの教師ラベルＴｑに対応付けられている場合には１となり、いずれの教師ラベルＴｑにも対応付けられていない場合には０となる。
【００４３】
また、右側の不等式は、第１項と第２項を足し合わせた全体で１以下であることを要求するので、第１項と第２項はそのいずれか一方が１でもう一方が０であるか、両方とも０であることが要求される。すなわち、第１項が１の値を有するときに、第２項が１の値を有するような解は除外されることとなる。これは、候補点Ｓｐの各々が、全ての教師ラベルＴｑのうちいずれか１つにのみ対応づけられるか、または教師ラベルＴｑのいずれにも対応づけられないこと、および、教師ラベルに対応づけられた２つの候補点Ｓｐ′と候補点Ｓｐ″間の経路を、教師ラベルに対応づけられていない候補点を所定の指標値に基づくコストが最小となるように選択的に辿ることによって決定したときに、教師ラベルに対応づけられていない候補点Ｓｐの各々が、その決定された全ての経路のうちいずれか１つの経路にのみ含まれるか、または決定されたいずれの経路にも含まれないことを意味する。
【００４４】
エネルギ関数Ｅは、ベクトルxを変数とする下記式（５）で表すことができる。
【数５】
【００４５】
ここで、Ｒは許容解ｘにおける候補点と教師ラベルの対応づけの集合を表す。θａは集合Ｒに属する任意の対応づけａ（候補点Ｓｐ′と教師ラベルＴｑ′）に対するコストであり、下記（６）で表すことができる。
【数６】
【００４６】
上記式（６）において、ＬＴｑ′（ＣＳｐ′）は教師ラベルＴｑ′が候補点Ｓｐ′に対応づけられる確率を表し、その分布はガウス関数で近似され、下記式（７）で表すことができる。ここで、ＣＳｐは候補点Ｓｐ′の座標を表し、μＴｑ′およびσＴｑ′2はそれぞれ所定の構造物Ｍであることが既知の複数の教師データから取得した教師ラベルＴｑ′の平均座標および分散値である。これにより、ＬＴｑ′（ＣＳｐ′）の値は、候補点Ｓｐ′の座標がある教師ラベルＴｑ′の座標から離れるほど小さくなり、近づくほど大きくなる。
【数７】
【００４７】
なお、図５Ａ、図５Ｂに示すような予め所定の構造物Ｍであることが既知の教師データから複数の教師ラベルＴｑ（たとえばｑ＝１〜２６）が抽出される。なお、図５Ａ、図５Ｂにおいて教師ラベルＴ１〜Ｔ２０は所定の構造物Ｍである冠動脈から抽出したものであり、教師ラベルＴ２１〜Ｔ２６は冠静脈から抽出したものである。そして、図６に示すように、教師ラベルＴ１〜Ｔ２６のうち所定のラベル同士をエッジ（線）により結ぶことにより形状モデル（グラフ）Ｍｒｅｆが形成される。この教師ラベルＴｑ′の抽出が複数の教師データについて行われる。そして、各教師データの教師ラベルＴｑ′について平均座標μＴｑ′および分散値σＴｑ′2が算出され、教師ラベルＴｑ′毎に式（７）に示す確率密度関数ＬＴｑ′（ＣＳｐ′）が導出される。
【００４８】
一方、式（５）中のθａｂは、集合Ｒに属する２つの対応づけａとｂ（ａ：候補点Ｓｐ′と教師ラベルＴｑ′の対応づけ、ｂ：候補点Ｓｐ″と教師ラベルＴｑ″の対応づけ）の組み合わせに対するコストであり、下記式（８）で表すことができる。なお、ここではマッチングのコストθａｂに、Ｓｐ′とＳｐ″の間をコストの和が最小になるように辿って経路を求めた結果、得られたコストの和をそのまま利用している。しかし、求まった経路に関する別の評価値をマッチングのコストに用いてもよい。例えば、その経路上に位置する画素の輝度の平均や分散、その経路上の各位置における構造物Ｍの半径の平均や分散、その経路全体の長さなどの評価値を利用することができる。
【数８】
【００４９】
ここで、ＬＴｑ′Ｔｑ″（ＣＳｐ′ＣＳｐ″）は、教師ラベルのペア（Ｔｑ′，Ｔｑ″）が候補点のペア（Ｓｐ′，Ｓｐ″）に対応づけられる確率を表し、下記式（９）で表すことができる。ここで、（ＣＳｐ′−ＣＳｐ″）は候補点Ｓｐ′に対する候補点Ｓｐ″の相対座標であり、μＴｑ′Ｔｑ″およびσＴｑ′Ｔｑ″2はそれぞれ所定の構造物Ｍであることが既知の複数の教師データから取得した教師ラベルＴｑに対する教師ラベルＴｑ′の相対座標の平均値および分散値である（図７参照）。
【数９】
【００５０】
また、式（８）の第２項中のelocalは、教師ラベルに対応づけられた候補点Ｓｐ′とＳｐ″の間を他の候補点を辿ることによって接続する場合における、直接接続される２つの他の候補点Ｓｉ、Ｓｊの接続に対するコストを表すものであり、例えば、２点Ｓｉ、Ｓｊの距離が近いほど、あるいは、輝度値の差が小さいほど、あるいは、血管の太さの差が小さいほど、小さい値を持つように定義しておくことができる。Σelocalは、候補点Ｓｐ′とＳｐ″の間の経路上の、直接接続される２つの候補点のすべてについてのelocalの総和であり、minΣelocalは、例えば、各候補点を、各候補点間を結ぶ辺（エッジ）に対して上記elocalで定義された重みを持たせたグラフ構造として取り扱い、ダイクストラ法等を用いて、候補点Ｓｐ′とＳｐ″の間の最適経路を算出することにより求めることができる。
【００５１】
また、対応点選択手段４０は、Σelocalが最小値となるときの候補点Ｓｐ′とＳｐ″の間の候補点の接続経路を構造物検出装置１の所定のメモリ領域に記憶しておく。これにより、候補点Ｓｐ′とＳｐ″の間の様々な候補点の接続経路の中から、候補点Ｓｐ′とＳｐ″を他の候補点を経由して滑らかに結ばれるように接続する最適経路が決定される。
【００５２】
対応点選択手段４０は、上述の制約条件付きエネルギ関数Ｅの最小化問題をDual Decomposition (DD)法を用いて解く（最適解を求める）。DD法とは解きたい主問題を計算可能な複数のサブ問題に分割するものである。主問題は下記式（１０）で表す条件を満たせば凸結合となる。ここでθは主問題のエネルギ関数を表すベクトルであり、各サブ問題はベクトルθσ（σ∈Ｉ）で表されている。ρσは正の値をもつ重み係数であり、Ｉ はサブ問題のインデックスである。
【数１０】
【００５３】
そして、サブ問題から定義される、下記式（１１）で表す下界関数Ф（θ）は凸関数であるから、projected subgradient methodによって最大化することができる。下界値は主問題の解（上界値）以下という関係が成り立つため、下界値が上界値と一致したとき主問題の最小解が得られる。
【数１１】
【００５４】
ここで、サブ問題への分割は次のように行なう。それぞれのノードについて、そのノードとエッジで接続された近傍ノードのみを考慮する一つのサブ問題を生成する。それぞれのサブ問題は考慮しないノードに関するコストθａとθａｂは無視する（０として扱う）。サブ問題が十分に小さければ、その解は全組み合わせを探索しても計算できる。また分岐限定法(branch-and-bound method)を用いればより高速に解を得ることができる。分岐限定法を用いる場合、まず緩和下界(relaxed lower bound)を設定する。ここでは緩和下界を、あるノードがuniqueness constraintの条件なしに取る可能性がある最小のコストと定義する。この緩和下界を参照しながら、解が改善する可能性のない組み合わせの詳細な計算を省けば、計算量を大幅に減らすことができる。
【００５５】
なお、対応点選択手段４０は、上記エネルギ関数Ｅの最小化問題をループ有り確率伝播法を用いて解くこともできる。また、式（５）においてはエネルギ関数Ｅを最小化したが、１変数項および２変数項にマイナスを乗算し、エネルギ関数Ｅの評価値を大きくするようにしてもよい。
【００５６】
図１の構造物検出手段５０は、対応点選択手段４０によって選択された対応点、および、直接接続されている対応点間を他の候補点で結んだ最適経路に基づいて構造物Ｍを検出する。なお、この最適経路は、対応点選択手段４０においてminΣelocalの算出時に既に算出済みで、構造物検出装置１の所定のメモリ領域に記憶されている。
【００５７】
ここで、形状モデルＭｒｅｆが検出対象の構造物Ｍ全体を表すものではない場合には、構造物検出手段５０は、上記の対応点間の最適経路に用いられなかった候補点について、最小全域木アルゴリズムを用いて接続することによって、構造物Ｍ全体を検出する。このとき、候補点間の距離が所定の値以上に離れているところは、候補点間の接続を行わないようにし、最終的に形状モデルＭｒｅｆに基づいて検出された構造物Ｍの部分と接続されなかった候補点群は、構造物Ｍには属さないものとして取り扱う。逆に、形状モデルＭｒｅｆが検出対象の構造物Ｍ全体を表すものである場合には、上記の対応点間の最適経路に用いられなかった候補点は、検出対象の構造物Ｍに属さない余剰領域（例えば肺血管や心筋等）のものであるから、接続処理を行う必要はない。
【００５８】
図８は構造物検出装置によって構造物を検出する処理の流れを示すフローチャートである。図８に示すように、まず、候補領域検出手段１０において画像データＤＶから候補領域Ｒｃが検出され（ステップＳＴ１、図２参照）、候補点抽出手段２０により候補領域Ｒｃから複数の（第１次）候補点Ｓｐ０が抽出され、セグメント化により（第２次）候補点Ｓｐが抽出される（ステップＳＴ２、図３参照）。その後、正規化手段３０により正規化が行われた後、対応点選択手段４０において式（５）により複数の候補点Ｓｐから形状モデルＭｒｅｆに最も類似するグラフ構造Ｍｓを形成する対応点の集合が選択される（ステップＳＴ３、図４参照）。そして、構造物検出手段５０において、選択された対応点間を他の候補点で結んだ最適経路に基づいて構造物Ｍが検出される（ステップＳＴ４）。
【００５９】
以上に説明したとおり、本実施形態の構造物検出装置および方法ならびにプログラムによれば、画像データＤＶから前記所定の構造物Ｍに属する複数の候補点を抽出し、上記（ａ）〜（ｃ）の制約条件の下で、抽出された複数の候補点のうち、形状モデル記憶手段ＤＢに予め記憶された構造物Ｍの既知の形状を表す、所定の接続関係を有する複数の教師ラベルＴqから構成される形状モデルＭｒｅｆに一致もしくは最も類似するグラフ構造Ｍｓを構成する対応点を選択し、選択された複数の対応点を用いて画像データＤＶから構造物Ｍを検出することにより、画像データＤＶから構造物Ｍを精度よく検出することができる。特に、上記（ｃ）の制約条件を設けていることにより、図１１Ａのグラフ構造Ｍｓ１や図１２Ａのグラフ構造Ｍｓ２に示すような、対応点間を接続する経路同士が重複する候補点と教師ラベルの対応づけを除外することができ、特許文献１等に記載されている従来の方法に比べて、構造物Ｍの検出精度を向上させることができる。
【００６０】
また、対応点選択手段４０が、集合Ｐに属する任意の候補点Ｓｐおよび前記集合Ｑに属する任意の教師ラベルＴｑが上記式（４）を満たすという制約条件の下で、対応点を選択するものであるとき、対応点間を接続する経路同士が重複する候補点と教師ラベルの対応づけを除外することができ、画像データＤＶから精度良く構造物Ｍを検出することができる。
【００６１】
なお、上記実施の形態では、本発明の画像処理装置および方法ならびにプログラムを、画像データＤＶから冠動脈を検出するものに適用した場合について説明したが、たとえば、気管、腸、脳血管、肺血管、肝臓血管、気管支等の抽出に適用することもできる。この場合、脳血管等の他の構造物Ｍに対する形状モデルが形状モデル記憶手段ＤＢに記憶されており、構造物Ｍの種類に合った設計形状を用いて対応点を選択する。
【００６２】
たとえば、構造物Ｍが脳血管である場合、図９Ａ、図９Ｂに示すように、脳血管であることが既知の教師データから複数の教師ラベルＴｑ（たとえばｑ＝１〜２５）が抽出される。なお、図９Ａ、図９Ｂにおいて教師ラベルＴ１〜Ｔ１２は所定の構造物Ｍである動脈から抽出したものであり、教師ラベルＴ１３〜Ｔ２５は静脈から抽出したものである。そして、図１０に示すように、教師ラベルＴ１〜Ｔ２５のうち所定のラベル同士をエッジ（線）により結ぶことにより形状モデル（グラフ）Ｍｒｅｆが形成される。
【００６３】
また、本発明の画像処理装置および方法ならびにプログラムは、同一の患者を異なるフェーズで撮影した複数の画像について、各々の画像から抽出したグラフ構造同士を対応付けするものに適用することもできる。この場合、いずれか１つのフェーズから抽出したグラフ構造を形状モデルとし、そのグラフ構造を構成するノードが教師ラベルとすればよい。
【００６４】
また、上記実施の形態では、正規化手段３０と構造物検出手段５０を備えたものである場合について例示しているが、これらの構成は必ずしも必要ではなく、必要に応じて設ければよい。
【００６５】
また、構造物検出装置１は、複数の異なるサブ構造物（たとえば、動脈と静脈）が含まれている所定の構造物Ｍを形状モデルＭｒｅｆとした場合、異なるサブ構造物毎にそれぞれ異なる色で表示する表示制御手段をさらに備えたものであってもよい。
【００６６】
また、対応点選択手段４０は、所定の構造物が血管である場合に候補点の座標とともに候補点における血管半径または輝度値を用いて対応点を選択するものであってもよい。
【符号の説明】
【００６７】
１ 構造物検出装置
１０ 候補領域検出手段（候補点抽出手段）
２０ 候補点抽出手段
３０ 正規化手段
４０ 対応点選択手段
５０ 構造物検出手段
ＤＢ 形状モデル記憶手段
ＤＶ 画像データ
Ｍ 構造物
Ｍｒｅｆ 形状モデル
Ｍｓ グラフ構造
Ｒｃ 候補領域
Ｓｐ０ （第１次）候補点
Ｓｐ （第２次）候補点
Ｓｒｅｆ 基準位置
Ｔq 教師ラベル
【特許請求の範囲】
【請求項１】
画像データから所定の構造物に属する複数の候補点を抽出する候補点抽出手段と、
前記所定の構造物の既知の形状を表す、所定の接続関係を有する複数の教師ラベルから構成される形状モデルが記憶された形状モデル記憶手段と、
下記（ａ）〜（ｃ）の制約条件の下で、前記候補点抽出手段により抽出された複数の候補点の中から前記教師ラベルに対応する対応点を選択する対応点選択手段と
（ａ）前記教師ラベルの各々が、全ての前記候補点のうちいずれか１つにのみ対応づけられるか、または前記候補点のいずれにも対応づけられないこと
（ｂ）前記候補点の各々が、全ての前記教師ラベルのうちいずれか１つにのみ対応づけられるか、または前記教師ラベルのいずれにも対応づけられないこと
（ｃ）互いに接続される２つの前記教師ラベル毎に、該２つの教師ラベルの各々に対応づけられた２つの前記候補点間の経路を決定したときに、前記教師ラベルに対応づけられていない候補点の各々が、前記決定された全ての経路のうちいずれか１つの経路にのみ含まれるか、または前記決定されたいずれの経路にも含まれないこと
を備えたことを特徴とする画像処理装置。
【請求項２】
前記複数の候補点の集合をＰとし、前記複数の教師ラベルの集合をＱとし、前記複数の候補点と前記複数の教師ラベルとの対応関係をＰ×Ｑの要素を持つベクトルxで表したとき、
前記対応点選択手段が、下記式（１）の制約条件を満たす解候補集合Ｃから、前記対応関係を選択するものであることを特徴とする請求項１記載の画像処理装置。
【数１】
ここで、前記xＳｐＴｑは、特定の前記候補点Ｓｐと特定の前記教師ラベルＴｑとが対応づけられている場合には１の値を有し、対応づけられていない場合には０の値を有する２値の変数であり、前記yＳｐＳｐ′Ｓｐ″は、特定の前記候補点Ｓｐが前記集合Ｐに属している他の２つの候補点Ｓｐ′とＳｐ″の間の経路に含まれる場合には１の値を有し、含まれない場合には０の値を有する２値の変数である。
【請求項３】
前記対応点選択手段が、前記ベクトルxを変数とする下記式（２）のエネルギ関数ＥをDual Decomposition法を用いて最小化することによって、前記対応点を選択するものであることを特徴とする請求項１または２記載の画像処理装置。
【数２】
ここで、ａ，ｂ（≠ａ）は、前記ベクトルxで表された対応関係における、前記候補点と前記教師ラベルの個々の対応づけを表すものであり（ａ，ｂ∈Ｒ⊆Ｐ×Ｑ）、θａは対応付けａ∈Ｒに対するコストであり、θａｂは対応付けａとｂの組み合わせ（ａ，ｂ）∈Ｒ×Ｒに対するコストである。
【請求項４】
前記対応点選択手段により選択された複数の対応点および前記決定された前記対応点間の経路に基づいて、前記画像データから前記所定の構造物を検出する構造物検出手段を備えたことを特徴とする請求項１から３のいずれか１項記載の画像処理装置。
【請求項５】
前記対応点選択手段が、前記経路を、所定の指標値に基づくコストが最小となるように前記候補点を選択的に辿ることによって決定するものであることを特徴とする請求項１から４のいずれか１項記載の画像処理装置。
【請求項６】
画像データから所定の構造物に属する複数の候補点を抽出し、
形状モデル記憶手段に予め記憶された前記所定の構造物の既知の形状を表す、所定の接続関係を有する複数の教師ラベルから構成される形状モデルを取得し、
下記（ａ）〜（ｃ）の制約条件の下で、前記抽出された複数の候補点の中から前記教師ラベルに対応する対応点を選択する
（ａ）前記教師ラベルの各々が、全ての前記候補点のうちいずれか１つにのみ対応づけられるか、または前記候補点のいずれにも対応づけられないこと
（ｂ）前記候補点の各々が、全ての前記教師ラベルのうちいずれか１つにのみ対応づけられるか、または前記教師ラベルのいずれにも対応づけられないこと
（ｃ）互いに接続される２つの前記教師ラベル毎に、該２つの教師ラベルの各々に対応づけられた２つの前記候補点間の経路を決定したときに、前記教師ラベルに対応づけられていない候補点の各々が、前記決定された全ての経路のうちいずれか１つの経路にのみ含まれるか、または前記決定されたいずれの経路にも含まれないこと
ことを特徴とする画像処理方法。
【請求項７】
前記複数の候補点の集合をＰとし、前記複数の教師ラベルの集合をＱとし、前記複数の候補点と前記複数の教師ラベルとの対応関係をＰ×Ｑの要素を持つベクトルxで表したとき、
前記対応点の選択処理が、下記式（１）の制約条件を満たす解候補集合Ｃから、前記対応関係を選択するものであることを特徴とする請求項６記載の画像処理方法。
【数３】
ここで、前記xＳｐＴｑは、特定の前記候補点Ｓｐと特定の前記教師ラベルＴｑとが対応づけられている場合には１の値を有し、対応づけられていない場合には０の値を有する２値の変数であり、前記yＳｐＳｐ′Ｓｐ″は、特定の前記候補点Ｓｐが前記集合Ｐに属している他の２つの候補点Ｓｐ′とＳｐ″の間の経路に含まれる場合には１の値を有し、含まれない場合には０の値を有する２値の変数である。
【請求項８】
前記対応点の選択処理が、前記ベクトルxを変数とする下記式（２）のエネルギ関数ＥをDual Decomposition法を用いて最小化することによって、前記対応点を選択するものであることを特徴とする請求項６または７記載の画像処理方法。
【数４】
ここで、ａ，ｂ（≠ａ）は、前記ベクトルxで表された対応関係における、前記候補点と前記教師ラベルの個々の対応づけを表すものであり（ａ，ｂ∈Ｒ⊆Ｐ×Ｑ）、θａは対応付けａ∈Ｒに対するコストであり、θａｂは対応付けａとｂの組み合わせ（ａ，ｂ）∈Ｒ×Ｒに対するコストである。
【請求項９】
コンピュータに、
画像データから所定の構造物に属する複数の候補点を抽出する手順と、
形状モデル記憶手段に予め記憶された前記所定の構造物の既知の形状を表す、所定の接続関係を有する複数の教師ラベルから構成される形状モデルを取得する手順と、
下記（ａ）〜（ｃ）の制約条件の下で、前記抽出された複数の候補点の中から前記教師ラベルに対応する対応点を選択する手順と、
（ａ）前記教師ラベルの各々が、全ての前記候補点のうちいずれか１つにのみ対応づけられるか、または前記候補点のいずれにも対応づけられないこと
（ｂ）前記候補点の各々が、全ての前記教師ラベルのうちいずれか１つにのみ対応づけられるか、または前記教師ラベルのいずれにも対応づけられないこと
（ｃ）互いに接続される２つの前記教師ラベル毎に、該２つの教師ラベルの各々に対応づけられた２つの前記候補点間の経路を決定したときに、前記教師ラベルに対応づけられていない候補点の各々が、前記決定された全ての経路のうちいずれか１つの経路の決定にのみ含まれるか、または前記決定されたいずれの経路にも含まれないこと
を実行させるためのものであることを特徴とする画像処理プログラム。
【請求項１０】
前記複数の候補点の集合をＰとし、前記複数の教師ラベルの集合をＱとし、前記複数の候補点と前記複数の教師ラベルとの対応関係をＰ×Ｑの要素を持つベクトルxで表したとき、
前記対応点を選択する手順が、下記式（１）の制約条件を満たす解候補集合Ｃから、前記対応関係を選択するものであることを特徴とする請求項９記載の画像処理プログラム。
【数５】
ここで、前記xＳｐＴｑは、特定の前記候補点Ｓｐと特定の前記教師ラベルＴｑとが対応づけられている場合には１の値を有し、対応づけられていない場合には０の値を有する２値の変数であり、前記yＳｐＳｐ′Ｓｐ″は、特定の前記候補点Ｓｐが前記集合Ｐに属している他の２つの候補点Ｓｐ′とＳｐ″の間の経路に含まれる場合には１の値を有し、含まれない場合には０の値を有する２値の変数である。
【請求項１１】
前記対応点を選択する手順が、前記ベクトルxを変数とする下記式（２）のエネルギ関数ＥをDual Decomposition法を用いて最小化することによって、前記対応点を選択するものであることを特徴とする請求項９または１０記載の画像処理プログラム。
【数６】
ここで、ａ，ｂ（≠ａ）は、前記ベクトルxで表された対応関係における、前記候補点と前記教師ラベルの個々の対応づけを表すものであり（ａ，ｂ∈Ｒ⊆Ｐ×Ｑ）、θａは対応付けａ∈Ｒに対するコストであり、θａｂは対応付けａとｂの組み合わせ（ａ，ｂ）∈Ｒ×Ｒに対するコストである。
【請求項１】
画像データから所定の構造物に属する複数の候補点を抽出する候補点抽出手段と、
前記所定の構造物の既知の形状を表す、所定の接続関係を有する複数の教師ラベルから構成される形状モデルが記憶された形状モデル記憶手段と、
下記（ａ）〜（ｃ）の制約条件の下で、前記候補点抽出手段により抽出された複数の候補点の中から前記教師ラベルに対応する対応点を選択する対応点選択手段と
（ａ）前記教師ラベルの各々が、全ての前記候補点のうちいずれか１つにのみ対応づけられるか、または前記候補点のいずれにも対応づけられないこと
（ｂ）前記候補点の各々が、全ての前記教師ラベルのうちいずれか１つにのみ対応づけられるか、または前記教師ラベルのいずれにも対応づけられないこと
（ｃ）互いに接続される２つの前記教師ラベル毎に、該２つの教師ラベルの各々に対応づけられた２つの前記候補点間の経路を決定したときに、前記教師ラベルに対応づけられていない候補点の各々が、前記決定された全ての経路のうちいずれか１つの経路にのみ含まれるか、または前記決定されたいずれの経路にも含まれないこと
を備えたことを特徴とする画像処理装置。
【請求項２】
前記複数の候補点の集合をＰとし、前記複数の教師ラベルの集合をＱとし、前記複数の候補点と前記複数の教師ラベルとの対応関係をＰ×Ｑの要素を持つベクトルxで表したとき、
前記対応点選択手段が、下記式（１）の制約条件を満たす解候補集合Ｃから、前記対応関係を選択するものであることを特徴とする請求項１記載の画像処理装置。
【数１】
ここで、前記xＳｐＴｑは、特定の前記候補点Ｓｐと特定の前記教師ラベルＴｑとが対応づけられている場合には１の値を有し、対応づけられていない場合には０の値を有する２値の変数であり、前記yＳｐＳｐ′Ｓｐ″は、特定の前記候補点Ｓｐが前記集合Ｐに属している他の２つの候補点Ｓｐ′とＳｐ″の間の経路に含まれる場合には１の値を有し、含まれない場合には０の値を有する２値の変数である。
【請求項３】
前記対応点選択手段が、前記ベクトルxを変数とする下記式（２）のエネルギ関数ＥをDual Decomposition法を用いて最小化することによって、前記対応点を選択するものであることを特徴とする請求項１または２記載の画像処理装置。
【数２】
ここで、ａ，ｂ（≠ａ）は、前記ベクトルxで表された対応関係における、前記候補点と前記教師ラベルの個々の対応づけを表すものであり（ａ，ｂ∈Ｒ⊆Ｐ×Ｑ）、θａは対応付けａ∈Ｒに対するコストであり、θａｂは対応付けａとｂの組み合わせ（ａ，ｂ）∈Ｒ×Ｒに対するコストである。
【請求項４】
前記対応点選択手段により選択された複数の対応点および前記決定された前記対応点間の経路に基づいて、前記画像データから前記所定の構造物を検出する構造物検出手段を備えたことを特徴とする請求項１から３のいずれか１項記載の画像処理装置。
【請求項５】
前記対応点選択手段が、前記経路を、所定の指標値に基づくコストが最小となるように前記候補点を選択的に辿ることによって決定するものであることを特徴とする請求項１から４のいずれか１項記載の画像処理装置。
【請求項６】
画像データから所定の構造物に属する複数の候補点を抽出し、
形状モデル記憶手段に予め記憶された前記所定の構造物の既知の形状を表す、所定の接続関係を有する複数の教師ラベルから構成される形状モデルを取得し、
下記（ａ）〜（ｃ）の制約条件の下で、前記抽出された複数の候補点の中から前記教師ラベルに対応する対応点を選択する
（ａ）前記教師ラベルの各々が、全ての前記候補点のうちいずれか１つにのみ対応づけられるか、または前記候補点のいずれにも対応づけられないこと
（ｂ）前記候補点の各々が、全ての前記教師ラベルのうちいずれか１つにのみ対応づけられるか、または前記教師ラベルのいずれにも対応づけられないこと
（ｃ）互いに接続される２つの前記教師ラベル毎に、該２つの教師ラベルの各々に対応づけられた２つの前記候補点間の経路を決定したときに、前記教師ラベルに対応づけられていない候補点の各々が、前記決定された全ての経路のうちいずれか１つの経路にのみ含まれるか、または前記決定されたいずれの経路にも含まれないこと
ことを特徴とする画像処理方法。
【請求項７】
前記複数の候補点の集合をＰとし、前記複数の教師ラベルの集合をＱとし、前記複数の候補点と前記複数の教師ラベルとの対応関係をＰ×Ｑの要素を持つベクトルxで表したとき、
前記対応点の選択処理が、下記式（１）の制約条件を満たす解候補集合Ｃから、前記対応関係を選択するものであることを特徴とする請求項６記載の画像処理方法。
【数３】
ここで、前記xＳｐＴｑは、特定の前記候補点Ｓｐと特定の前記教師ラベルＴｑとが対応づけられている場合には１の値を有し、対応づけられていない場合には０の値を有する２値の変数であり、前記yＳｐＳｐ′Ｓｐ″は、特定の前記候補点Ｓｐが前記集合Ｐに属している他の２つの候補点Ｓｐ′とＳｐ″の間の経路に含まれる場合には１の値を有し、含まれない場合には０の値を有する２値の変数である。
【請求項８】
前記対応点の選択処理が、前記ベクトルxを変数とする下記式（２）のエネルギ関数ＥをDual Decomposition法を用いて最小化することによって、前記対応点を選択するものであることを特徴とする請求項６または７記載の画像処理方法。
【数４】
ここで、ａ，ｂ（≠ａ）は、前記ベクトルxで表された対応関係における、前記候補点と前記教師ラベルの個々の対応づけを表すものであり（ａ，ｂ∈Ｒ⊆Ｐ×Ｑ）、θａは対応付けａ∈Ｒに対するコストであり、θａｂは対応付けａとｂの組み合わせ（ａ，ｂ）∈Ｒ×Ｒに対するコストである。
【請求項９】
コンピュータに、
画像データから所定の構造物に属する複数の候補点を抽出する手順と、
形状モデル記憶手段に予め記憶された前記所定の構造物の既知の形状を表す、所定の接続関係を有する複数の教師ラベルから構成される形状モデルを取得する手順と、
下記（ａ）〜（ｃ）の制約条件の下で、前記抽出された複数の候補点の中から前記教師ラベルに対応する対応点を選択する手順と、
（ａ）前記教師ラベルの各々が、全ての前記候補点のうちいずれか１つにのみ対応づけられるか、または前記候補点のいずれにも対応づけられないこと
（ｂ）前記候補点の各々が、全ての前記教師ラベルのうちいずれか１つにのみ対応づけられるか、または前記教師ラベルのいずれにも対応づけられないこと
（ｃ）互いに接続される２つの前記教師ラベル毎に、該２つの教師ラベルの各々に対応づけられた２つの前記候補点間の経路を決定したときに、前記教師ラベルに対応づけられていない候補点の各々が、前記決定された全ての経路のうちいずれか１つの経路の決定にのみ含まれるか、または前記決定されたいずれの経路にも含まれないこと
を実行させるためのものであることを特徴とする画像処理プログラム。
【請求項１０】
前記複数の候補点の集合をＰとし、前記複数の教師ラベルの集合をＱとし、前記複数の候補点と前記複数の教師ラベルとの対応関係をＰ×Ｑの要素を持つベクトルxで表したとき、
前記対応点を選択する手順が、下記式（１）の制約条件を満たす解候補集合Ｃから、前記対応関係を選択するものであることを特徴とする請求項９記載の画像処理プログラム。
【数５】
ここで、前記xＳｐＴｑは、特定の前記候補点Ｓｐと特定の前記教師ラベルＴｑとが対応づけられている場合には１の値を有し、対応づけられていない場合には０の値を有する２値の変数であり、前記yＳｐＳｐ′Ｓｐ″は、特定の前記候補点Ｓｐが前記集合Ｐに属している他の２つの候補点Ｓｐ′とＳｐ″の間の経路に含まれる場合には１の値を有し、含まれない場合には０の値を有する２値の変数である。
【請求項１１】
前記対応点を選択する手順が、前記ベクトルxを変数とする下記式（２）のエネルギ関数ＥをDual Decomposition法を用いて最小化することによって、前記対応点を選択するものであることを特徴とする請求項９または１０記載の画像処理プログラム。
【数６】
ここで、ａ，ｂ（≠ａ）は、前記ベクトルxで表された対応関係における、前記候補点と前記教師ラベルの個々の対応づけを表すものであり（ａ，ｂ∈Ｒ⊆Ｐ×Ｑ）、θａは対応付けａ∈Ｒに対するコストであり、θａｂは対応付けａとｂの組み合わせ（ａ，ｂ）∈Ｒ×Ｒに対するコストである。
【図１】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８】
【図９Ａ】
【図９Ｂ】
【図１０】
【図１１Ａ】
【図１１Ｂ】
【図１２Ａ】
【図１２Ｂ】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８】
【図９Ａ】
【図９Ｂ】
【図１０】
【図１１Ａ】
【図１１Ｂ】
【図１２Ａ】
【図１２Ｂ】
【公開番号】特開２０１３−６６６６７（Ｐ２０１３−６６６６７Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１１−２０９２４６（Ｐ２０１１−２０９２４６）
【出願日】平成２３年９月２６日（２０１１．９．２６）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２３年９月２６日（２０１１．９．２６）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]