画像処理装置および方法並びにプログラム
【課題】画像データに肝静脈の起始部が充分に描出されていない場合であっても、その起始部の位置を精度よく特定する。
【解決手段】画像データから肝静脈を表すものと推定されるグラフＧを抽出し、肝静脈の一般的な形状を表す木構造内の、起始部に対応する部分から分枝した複数の部分木構造を表す複数の形状モデルＭｉを取得し、所定のコスト関数を用いて、グラフＧに複数の形状モデルＭｉを対応付けし、グラフＧの中に、形状モデルＭｉに対応付けられたグラフ部分Ｇｉの頂点から延びるグラフ部分が存在するか否かを判定し、（ａ）存在しないと判定された場合には、その頂点の位置情報を、（ｂ）存在すると判定された場合には、その頂点から延びるグラフ部分上のノードを、起始部の推定位置Ｐに近づくようにその頂点から辿ることによって、推定位置Ｐに最も近い位置に存在するノードを特定し、そのノードの位置情報を起始部の位置を表す情報Ｉとして取得する。
【解決手段】画像データから肝静脈を表すものと推定されるグラフＧを抽出し、肝静脈の一般的な形状を表す木構造内の、起始部に対応する部分から分枝した複数の部分木構造を表す複数の形状モデルＭｉを取得し、所定のコスト関数を用いて、グラフＧに複数の形状モデルＭｉを対応付けし、グラフＧの中に、形状モデルＭｉに対応付けられたグラフ部分Ｇｉの頂点から延びるグラフ部分が存在するか否かを判定し、（ａ）存在しないと判定された場合には、その頂点の位置情報を、（ｂ）存在すると判定された場合には、その頂点から延びるグラフ部分上のノードを、起始部の推定位置Ｐに近づくようにその頂点から辿ることによって、推定位置Ｐに最も近い位置に存在するノードを特定し、そのノードの位置情報を起始部の位置を表す情報Ｉとして取得する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、１つの起始部から分枝を繰返しながら広がって延びる所定の構造物が表された画像データからその起始部の位置を表す情報を取得する画像処理装置および方法並びにプログラムに関するものである。
【背景技術】
【０００２】
肝臓・肺などの臓器において腫瘍を含む患部を切除する手術を行う際には、腫瘍に栄養を供給する血管を特定し、その血管の支配領域を切除すべき部分として適切に決定することが求められる。肝臓の切除手術においては、腫瘍に栄養を送っている門脈の部分と、その門脈の部分によって支配される、がん細胞などの注意すべき物質が送られている可能性のある領域を、肝機能を維持できる範囲で適切に切除するためである。このため、術前にどこを切除部位とすべきか綿密にシミュレートすることが重要であり、このシミュレートのために肺や肝臓を走行する血管の木構造（１つの起始部から分枝を繰返しながら広がって延びる構造）を精度よく抽出することが必要とされている。
【０００３】
画像データから対象の血管構造を自動的に抽出する方法として、特許文献１には、画像データから対象の血管構造の画像的特徴を有する領域を検出し、検出された領域を細線化して得られた細線を分枝点および所定の距離等により分割することによりグラフを作成し、作成されたグラフに対して対象の血管構造の一般的な形状を表す木構造の形状モデルをフィッティングさせることにより、血管の木構造を抽出することが提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−９８１９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、肝静脈等の血管構造を造影剤を注入して撮影すると、比較的太い血管からなる起始部においては造影剤の濃度ムラが生じ、例えば図１０の撮影画像に示すに、起始部Ｂが鮮明に描出されない場合がある。また、起始部は、通常撮影画像の端部に写されることが多く、場合によっては撮影範囲から外され、撮影画像中に写されないこともある。
【０００６】
このような場合、画像データからは起始部を除く他の血管部分についてのみグラフが作成されることとなるため、画像データから起始部を含む対象の血管構造の全体についてグラフが作成されていることを前提に、その作成されたグラフに対して血管構造の全体に対応する形状モデルをフィッティングさせることによって血管の構造を抽出する上記従来の方法をそのまま適用したのでは、血管の構造を正確に抽出することができないという問題がある。
【０００７】
そこで、本発明は、画像データに対象の構造物の起始部が充分に描出されていない場合であっても、その起始部の位置を精度よく特定することができる画像処理装置および方法ならびにプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、１つの起始部から分枝を繰返しながら広がって延びる所定の構造物が表された画像データから起始部の位置を表す情報を取得する画像処理装置であって、画像データから、所定の構造物を表すものと推定されるグラフを抽出するグラフ抽出手段と、所定の構造物の一般的な形状を表す木構造内の、起始部に対応する部分から分枝した複数の部分木構造を表す複数の形状モデルが記憶された形状モデル記憶手段と、所定のコスト関数を用いて、前記抽出されたグラフを構成する複数のノードの中から複数の形状モデルを構成する複数のノードの各々に対応する対応点を決定することにより、前記抽出されたグラフに複数の形状モデルを対応付けする対応付け手段と、前記いずれかの形状モデルに対応付けられたグラフ部分毎に、前記抽出されたグラフの中に、該対応付けられたグラフ部分の頂点から延びる前記形状モデルと対応付けられていないグラフ部分が存在するか否かを判定し、（ａ）存在しないと判定された場合には、その頂点の位置情報を起始部の位置を表す情報として取得し、（ｂ）存在すると判定された場合には、その頂点から延びるグラフ部分上のノードを、前記対応付けられた全てのグラフ部分の頂点の位置情報に基づいて推定された起始部の推定位置に近づくように前記頂点から辿ることによって、推定位置に最も近い位置に存在するノードを特定し、特定されたノードの位置情報を起始部の位置を表す情報として取得する起始部情報取得手段とを備えたことを特徴とする。
【０００９】
また、上記画像処理装置は、起始部情報取得手段により取得された起始部の位置を表す情報を用いて、画像データから所定の構造物を表すグラフを抽出する第２のグラフ抽出手段をさらに備えたものであってもよい。
【００１０】
ここで、グラフは、ノード群とノード間の連結関係を表すエッジ群で構成される構造であり、木構造は、木の構造をしたグラフである。また、形状モデルに応付けられたグラフ部分の頂点は、その対応付けられた形状モデルが表す部分木構造の根ノードに対応するノードをいう。
【００１１】
また、上記画像処理装置において、起始部情報取得手段は、複数の形状モデルの各々に対応付けられた全てのグラフ部分の頂点の中心点の位置を起始部の推定位置として推定するものであってもよいし、各々の対応付けられたグラフ部分の曲線または線について所定の関数による外挿を求め、それらの外挿が収束する所定の大きさの領域またはその中央位置を用いるようにしてもよい。
【００１２】
また、グラフ抽出手段は、画像データから所定の構造物の画像的特徴および／または構造的特徴を有する候補領域を検出し、その候補領域を細線化して得られた細線を分岐点および所定の距離などで分割することにより作成したグラフを、所定の構造物を表すものと推定されるグラフとして抽出するものであってもよい。
【００１３】
また、対応付け手段は、任意に設定された対応関係において、複数の形状モデルを構成する複数のノードに対応づけられた前記グラフを構成する複数のノードの集合により形成されるグラフ部分と複数の形状モデルとの類似度を評価する評価関数を前記所定のコスト関数として用いて、その類似度を最大化を達成する対応関係を求めることによって、前記抽出されたグラフに前記複数の形状モデルを対応付けするものであってもよい。
【００１４】
また、所定の構造物としては、例えば肺、肝臓または心臓の血管、さらに、肺における肺動脈、肺静脈、肝臓における門脈、冠動脈、肝静脈などが考えられる。
【００１５】
また、本発明の画像処理方法は、上記画像処理装置の各手段が行う処理を、少なくとも１台のコンピュータにより実行する方法である。
【００１６】
本発明の画像処理プログラムは、上記画像処理方法を少なくとも１台のコンピュータに実行させるプログラムである。このプログラムは、ＣＤ−ＲＯＭ，ＤＶＤなどの記録メディアに記録され、またはサーバコンピュータに付属するストレージやネットワークストレージにダウンロード可能な状態で記録されて、ユーザに提供される。
【発明の効果】
【００１７】
本発明の画像処理装置および方法ならびにプログラムによれば、１つの起始部から分枝を繰返しながら広がって延びる所定の構造物が表された画像データから前記起始部の位置を表す情報を取得する際に、画像データから、所定の構造物を表すものと推定されるグラフを抽出し、形状モデル記憶手段に予め記憶された、所定の構造物の一般的な形状を表す木構造内の前記起始部に対応する部分から分枝した複数の部分木構造を表す複数の形状モデルを取得し、所定のコスト関数を用いて、前記抽出されたグラフを構成する複数のノードの中から複数の形状モデルを構成する複数のノードの各々に対応する対応点を決定することにより、前記抽出されたグラフに複数の形状モデルを対応付けし、いずれかの形状モデルに対応付けられたグラフ部分毎に、前記抽出されたグラフの中に、その対応付けられたグラフ部分の頂点から延びる形状モデルと対応付けられていないグラフ部分が存在するか否かを判定し、（ａ）存在しないと判定された場合には、その頂点の位置情報を起始部の位置を表す情報として取得し、（ｂ）存在すると判定された場合には、その頂点から延びるグラフ部分上のノードを、対応付けられた全てのグラフ部分の頂点の位置情報に基づいて推定された起始部の推定位置に近づくように前記頂点から辿ることによって、推定位置に最も近い位置に存在するノードを特定し、特定されたノードの位置情報を起始部の位置を表す情報として取得しているので、画像データに対象の構造物の起始部が充分に描出されていない場合であっても、その起始部の位置を精度よく特定することができる。
【００１８】
さらに、その取得された起始部の位置を表す情報を用いて、画像データから所定の構造物を表すグラフを抽出するものである場合には、上記従来の方法に比べて、起始部を含む所定の構造物の全体をより正確に抽出することができる。
【図面の簡単な説明】
【００１９】
【図１】本実施形態における画像処理装置の概略構成を示す図
【図２】肝静脈があらわされた画像データの一例を示す図
【図３】グラフ抽出手段により抽出されたグラフの一例を示す図
【図４】形状モデル記憶手段に記憶された形状モデルの一例を示す図
【図５】対応付け手段により選択された対応関係の一例を示す図
【図６】延長グラフ部分上のノードを推定位置に近づくように辿っていく様子を示す図
【図７】その位置座標が起始部を表す情報として取得されるノードの一例を示す図
【図８】いずれのグラフ部分にも延長グラフ部分が存在しない場合の一例を示す図
【図９】一部のグラフ部分にのみ延長グラフ部分が存在する場合の一例を示す図
【図１０】肝静脈の起始部が鮮明に描出されていない画像データの一例を示す図
【発明を実施するための形態】
【００２０】
以下、本発明の画像処理装置および方法ならびにプログラムの実施形態について、図面を参照しながら詳細に説明する。図１は本発明の実施形態となる画像処理装置１の概略構成図である。なお、図１のような画像処理装置１の構成は、補助記憶装置に読み込まれた医用画像処理プログラムをコンピュータ上で実行することにより実現される。このとき、この画像処理プログラムは、ＣＤ−ＲＯＭ等の記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされる。図１の画像処理装置１は、１つの起始部Ｂから分枝を繰返しながら広がって延びる所定の構造物が表された画像データからその所定の構造物を表すグラフを抽出するものであって、グラフ抽出手段１０、対応付け手段２０、起始部情報取得手段３０、第２のグラフ抽出手段４０を備えている。以下、所定の構造物が、図２に示すような肝静脈である場合について説明する。
【００２１】
グラフ抽出手段１０は、肝静脈が表された画像データＶから肝静脈を表すものと推定されるグラフＧを抽出するものであって、具体的には、画像データＶから肝静脈の画像的特徴および／または構造的特徴を有する候補領域Ｒを検出し、その候補領域Ｒを細線化して得られた細線を分岐点および所定の距離などで分割することにより作成したグラフＧを、肝静脈を表すものと推定されるグラフとして抽出する。ここで、画像データＶは、データ記憶手段ＶＤＢに記憶されたたとえばＣＴ装置、ＭＲＩ装置、超音波診断装置等により取得された多数の２次元画像の群からなる被写体の３次元画像データである。
【００２２】
グラフ抽出手段１０は、まず、画像データＶを構成する画素（ボクセル）の画素値に基づいて肝静脈の芯線を構成する複数の候補点の位置と主軸方向とを算出し、あるいは、画像データＶについてヘッセ行列を算出し、算出されたヘッセ行列の固有値を解析することにより、肝静脈の芯線を構成する複数の候補点の位置情報と主軸方向とを算出する。そして、各候補点周辺の画素について肝静脈らしさを表す特徴量を算出し、算出した特徴量に基づいてその画素が肝静脈領域を表すものであるか否かを判別し、肝静脈領域を表すものであると判別された画素の集合を候補領域Ｒとして検出する。なお、特徴量に基づく判別は、たとえばマシンラーニングにより予め取得された評価関数に基づいて行なう。
【００２３】
そして、グラフ抽出手段１０は、検出した候補領域Ｒを周知の方法により細線化し、細線化処理された線を分岐点および所定の距離などで分割する。そして、分割点および端点を候補点（ノード）Ｓｐ（ｐ＝１〜n：nは候補点の数）と定義するとともに、候補点間を結ぶエッジを定義することによりグラフＧを作成する。これにより、たとえば図３に示すようなグラフＧが作成される。
【００２４】
対応付け手段２０は、コスト関数Ｅを用いて、グラフＧを構成する複数の候補点Ｓｐの中から形状モデル記憶手段ＤＢに記憶された形状モデルＭを構成する複数の教師ラベル（ノード）Ｔｑ（ｑ＝１〜ｍ：ｍは教師ラベルの数）の各々に対応する対応点を決定することにより、グラフＧに形状モデルＭを対応付けする。
【００２５】
ここで、形状モデルＭは、たとえば図４に示すような、肝静脈の一般的な形状を表す木構造内の、起始部Ｂに対応する点ＴＢから分枝した複数の部分木構造を表す複数の形状モデルＭｉ（ｉ＝１〜Ｌ：Ｌは形状モデルの数）の集合である。各形状モデルＭｉは、点ＴＢ側の端点（図中では黒点で表示）を頂点とする木構造のグラフである。ここで、肝静脈の一般的な形状を表す木構造は、多数のサンプル画像を学習することによって取得することができる。
【００２６】
コスト関数Ｅは、任意に設定された対応関係において、形状モデルＭを構成する複数の教師ラベルＴｑに対応づけられたグラフＧを構成する複数の候補点Ｓｐの集合により形成されるグラフ部分と形状モデルＭとの類似度を評価する評価関数であって、ベクトルxを変数とする下記式（1）で表すことができる。対応付け手段２０は、このコスト関数Ｅの最小化を達成する最適解(対応関係)を求めることによって、グラフＧに形状モデルＭを対応付けする。
【数１】
【００２７】
上記式（１）において、Ｒは許容解ｘにおける候補点と教師ラベルの対応づけの集合を表す。θａは集合Ｒに属する任意の対応づけａ（候補点Ｓｐ′と教師ラベルＴｑ′の対応付け）に対するコストであり、下記（２）で表すことができる。
【数２】
【００２８】
上記式（２）において、ＳＴｑ′（ｌＳｐ′）は教師ラベルＴｑ′と候補点Ｓｐ′の角度の一致度を表し、下記式（３）により求めることができる。式（３）において、ｌＴｑ′は教師ラベルＴｑ′の方向ベクトルを表し、ｌＳｐ′は候補点Ｓｐ′の方向ベクトルを表す。
【数３】
【００２９】
また、上記式（２）において、ＰＴｑ′（ｚＳｐ′）は教師ラベルＴｑ′と候補点Ｓｐ′のＺ軸（体軸方向）における位置の一致度を表し、これは、教師ラベルＴｑ′のＺ軸（体軸方向）における位置座標をその一般的な肝臓の高さＨＴで割ることにより正規化した値と、候補点Ｓｐ′のＺ軸における位置座標をその画像データＶ中の肝臓の高さＨＳで割ることにより正規化した値とを比較することにより求める。なお、ここでＺ軸の座標のみを比較するのは、切除手術後の肝臓ではその一部が切除され、固定のＸＹ軸の座標が規定できない場合がある一方、Ｚ軸の座標ではそのような問題が生じないからである。
【００３０】
一方、式（１）中のθａｂは、集合Ｒに属する２つの対応づけａとｂ（ａ：候補点Ｓｐ′と教師ラベルＴｑ′の対応づけ、ｂ：候補点Ｓｐ″と教師ラベルＴｑ″の対応づけ）の組み合わせに対するコストであり、下記（４）で表すことができる。
【数４】
【００３１】
ここで、ＳＴｑ′Ｔｑ″（ＸＳｐ′ＸＳｐ″）は、教師ラベルのペア（Ｔｑ′，Ｔｑ″）間を結ぶ線分と候補点のペア（Ｓｐ′，Ｓｐ″）間を結ぶ線分との角度の一致度を表し、下記式（５）で表すことができる。ここで、Ｘｊ（ｊ＝Ｔｑ′，Ｔｑ″，Ｓｐ′，Ｓｐ″）は各ノードｊの位置ベクトルを表す。
【数５】
【００３２】
以上に説明したコスト関数Ｅの最小化問題は、ループ有り確率伝播法、Dual Decomposition (DD)法を用いて解く（最適解を求める）ことができる。これにより、例えば図３に示すグラフＧと図４に示す形状モデルＭに対して、図５に示すような対応関係を最適解として選択することができる。図５に示す対応関係では、全体のグラフＧのうちのグラフ部分Ｇ１が形状モデルＭ１と対応づけられ、グラフ部分Ｇ２が形状モデルＭ２と対応づけられ、グラフ部分Ｇ３が形状モデルＭ１と対応づけられている。
【００３３】
起始部情報取得手段３０は、対応付け手段２０において選択された前記対応関係に基づいて起始部を表す情報Ｉを取得するものである。起始部情報取得手段３０は、まず、各形状モデルＭｉに対応付けられたグラフ部分Ｇｉ毎に、全体グラフＧの中に、そのグラフ部分Ｇｉの頂点から延びるグラフ部分であっていずれの形状モデルとも対応付けられていないグラフ部分（以下、延長グラフ部分という）が存在するか否かを判定する。
【００３４】
たとえば、対応付け手段２０において図５に示す対応関係が選択された場合、図６に示すように、グラフ部分Ｇ１には、その頂点Ｓ４から延びる延長グラフ部分Ｅ１とＥ４が存在し、グラフ部分Ｇ２には、その頂点Ｓ11から延びる延長グラフ部分Ｅ２が存在し、グラフ部分Ｇ３には、その頂点Ｓ19から延びる延長グラフ部分Ｅ３が存在しているので、起始部情報取得手段３０は、いずれのグラフ部分Ｇ１〜Ｇ３に対しても、延長グラフ部分が存在すると判定することとなる。
【００３５】
次に、起始部情報取得手段３０は、前記判定において延長グラフ部分が存在すると判定されたグラフ部分Ｇｉ毎に、その頂点から延びる延長グラフ部分上のノードを所定の起始部の推定位置Ｐに近づくように前記頂点から辿ることによって、前記推定位置に最も近い位置に存在するノードを特定し、その特定されたノードの位置情報を起始部の位置を表す情報Ｉとして取得する。ここで、起始部の推定位置Ｐとしては、全てのグラフ部分Ｇｉの頂点の中央点の位置を用いる。
【００３６】
たとえば図６に示す場合において、起始部情報取得手段３０は、まず、全てのグラフ部分Ｇ１〜Ｇ３の頂点Ｓ４，Ｓ11およびＳ19の中央点の位置を起始部の推定位置Ｐとして求める。次いで、起始部情報取得手段３０は、各グラフ部分Ｇｉから延長した延長グラフ部分上のノードを推定位置Ｐに近づくように辿っていくことによって、推定位置Ｐにもっとも近い位置に存在するノードを特定するが、図６に示す場合においては、グラフ部分Ｇ１から延長した延長グラフ部分Ｅ１上のノードとグラフ部分Ｇ２から延長した延長グラフ部分Ｅ２上のノードをそれぞれ推定位置Ｐに近づくように辿っていくと、両方の延長グラフ部分Ｅ１とＥ２は推定位置Ｐに最も近い位置に存在する一点のノードＳ３に収束することとなるので、まず、そのノードＳ３の位置情報を起始部の位置を表す情報Ｉとして取得する。また、グラフ部分Ｇ３についても、その頂点Ｓ19から延びる延長グラフ部分Ｅ３上のノードを推定位置Ｐに近づくように頂点Ｓ19から辿ることによって、推定位置Ｐに最も近い位置に存在するノードＳ18を特定し、その特定されたノードＳ18の位置情報を取得する。すなわち、起始部情報取得手段３０は、図７に示すように、点Ｓ３と点Ｓ18の位置座標を起始部を表す情報Ｉとして取得する。
【００３７】
一方、起始部情報取得手段３０は、前記判定において延長グラフ部分が存在しないと判定されたグラフ部分Ｇｉについては、その頂点の位置情報を起始部の位置を表す情報Ｉとして取得する。たとえば図８に示すように、いずれのグラフ部分Ｇ１〜Ｇ３についてもその頂点から延びるい延長グラフ部分が存在しない場合には、それらのグラフ部分Ｇｉの頂点Ｓ４，Ｓ11およびＳ19の位置情報を起始部の位置を表す情報Ｉとして取得する。
【００３８】
また、たとえば図９に示すように、全てのグラフ部分Ｇｉのうちの一部のグラフ部分Ｇ３にのみその頂点から延びる延長グラフ部分が存在する場合には、延長グラフ部分が存在しないグラフ部分Ｇ１およびＧ２については、それらのグラフ部分の頂点Ｓ４およびＳ11の位置情報を起始部の位置を表す情報Ｉとして取得し、延長グラフ部分が存在するグラフ部分Ｇ３については、その頂点Ｓ19から延びる延長グラフ部分Ｅ３上のノードを起始部の推定位置Ｐに近づくように頂点Ｓ19から辿ることによって推定位置Ｐに最も近い位置に存在するノードＳ18を特定し、その特定されたノードＳ18の位置情報を起始部の位置を表す情報Ｉとして取得する。すなわち、点Ｓ４，Ｓ11およびＳ18の位置情報を起始部の位置を表す情報Ｉとして取得する。
【００３９】
第２のグラフ抽出手段４０は、起始部情報取得手段３０により取得された起始部の位置を表す情報Ｉを用いて、画像データＶから肝静脈を表すグラフを抽出する。具体的には、第２のグラフ抽出手段４０は、グラフ抽出手段１０により作成されたグラフＧに対して、今度は肝静脈の一般的な形状を表す木構造の全体を表す形状モデルを対応付け（グラフフィッティング）することにより、肝静脈を表す木構造のグラフを抽出するが、この対応付け処理は、起始部の位置を表す情報Ｉとして取得された１または２以上の点の位置座標に位置するグラフＧ上のノードはいずれも形状モデルの根ノード（起始部を表すノード）または根ノードの近傍に位置するノードのいずれかに対応づけられるという制約条件下で、上述した対応付け手段２０における対応付け処理と同様に、所定のコスト関数の最小化を達成する最適解(対応関係)を求めることによって行う。
【００４０】
以上に説明したとおり、本実施形態の画像処理装置および方法ならびにプログラムによれば、グラフ抽出手段１０が、画像データＶから、肝静脈を表すものと推定されるグラフＧを抽出し、対応付け手段２０が、形状モデル記憶手段ＤＢに予め記憶された、肝静脈の一般的な形状を表す木構造内の起始部に対応する部分から分枝した複数の部分木構造を表す複数の形状モデルＭｉを取得し、所定のコスト関数Ｅを用いて、前記抽出されたグラフＧを構成する複数のノードＳｐの中から複数の形状モデルＭｉを構成する複数のノードＴｑの各々に対応する対応点を決定することにより、前記抽出されたグラフＧに複数の形状モデルＭｉを対応付けし、起始部情報取得手段３０が、いずれかの形状モデルＭｉに対応付けられたグラフ部分Ｇｉ毎に、前記抽出されたグラフＧの中に、その対応付けられたグラフ部分の頂点から延びる形状モデルと対応付けられていないグラフ部分Ｇｉが存在するか否かを判定し、（ａ）存在しないと判定された場合には、その頂点の位置情報を起始部の位置を表す情報Ｉとして取得し、（ｂ）存在すると判定された場合には、その頂点から延びるグラフ部分上のノードを、対応付けられた全てのグラフ部分の頂点の位置情報に基づいて推定された起始部の推定位置Ｐに近づくように前記頂点から辿ることによって、推定位置Ｐに最も近い位置に存在するノードを特定し、特定されたノードの位置情報を起始部の位置を表す情報Ｉとして取得しているので、すなわち、画像データＶにおける肝静脈の起始部の位置を表す情報Ｉを起始部が描出されている画像データの情報は使用せず、起始部から枝分かれした先の構造部分が描出されている画像データの情報を使用して取得しているので、画像データに対象の構造物の起始部が充分に描出されてい場合であっても、その起始部の位置を精度よく特定することができる。
【００４１】
また、上記実施の形態では、第２のグラフ抽出手段４０を備えたものである場合について例示しているが、これらの構成は必ずしも必要ではなく、必要に応じて設ければよい。
【００４２】
また、上記実施の形態では、起始部情報取得手段３０が、各グラフ部分の頂点から延長した延長グラフ部分上のノードをそれぞれ辿っていった結果たどり着いたノードがグラフ部分毎に異なる場合があって、１点のノードに収束しない場合、たどりついた複数のノードの位置情報を全て起始部を表す情報Ｉとして取得するものである場合について説明したが、それらの複数のノードの中から起始部の推定位置Ｐに最も近い位置に存在するノードをさらに特定し、その特定された一点のノードの位置情報のみを起始部を表す情報Ｉとして取得するようにしてもよい。
【００４３】
また、本実施の形態では、所定の構造物が肝静脈である場合について例示しているが、所定の構造物は、１つの起始部から分枝を繰返しながら広がって延びる構造物であればよく、例えば肺または心臓の血管、あるいは肝臓の門脈、冠動脈であってもよい。
【符号の説明】
【００４４】
１ 画像処理装置
１０ グラフ抽出手段
２０ 対応付け手段
３０ 起始部情報取得手段
４０ 第２のグラフ抽出手段
ＤＢ 形状モデル記憶手段
Ｖ 画像データ
Ｇ グラフ
Ｇｉ グラフ部分
Ｓｐ 候補点（ノード）
Ｔｑ 複数の教師ラベル（ノード）
Ｍｉ 形状モデル
Ｐ 起始部の推定位置
【技術分野】
【０００１】
本発明は、１つの起始部から分枝を繰返しながら広がって延びる所定の構造物が表された画像データからその起始部の位置を表す情報を取得する画像処理装置および方法並びにプログラムに関するものである。
【背景技術】
【０００２】
肝臓・肺などの臓器において腫瘍を含む患部を切除する手術を行う際には、腫瘍に栄養を供給する血管を特定し、その血管の支配領域を切除すべき部分として適切に決定することが求められる。肝臓の切除手術においては、腫瘍に栄養を送っている門脈の部分と、その門脈の部分によって支配される、がん細胞などの注意すべき物質が送られている可能性のある領域を、肝機能を維持できる範囲で適切に切除するためである。このため、術前にどこを切除部位とすべきか綿密にシミュレートすることが重要であり、このシミュレートのために肺や肝臓を走行する血管の木構造（１つの起始部から分枝を繰返しながら広がって延びる構造）を精度よく抽出することが必要とされている。
【０００３】
画像データから対象の血管構造を自動的に抽出する方法として、特許文献１には、画像データから対象の血管構造の画像的特徴を有する領域を検出し、検出された領域を細線化して得られた細線を分枝点および所定の距離等により分割することによりグラフを作成し、作成されたグラフに対して対象の血管構造の一般的な形状を表す木構造の形状モデルをフィッティングさせることにより、血管の木構造を抽出することが提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−９８１９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、肝静脈等の血管構造を造影剤を注入して撮影すると、比較的太い血管からなる起始部においては造影剤の濃度ムラが生じ、例えば図１０の撮影画像に示すに、起始部Ｂが鮮明に描出されない場合がある。また、起始部は、通常撮影画像の端部に写されることが多く、場合によっては撮影範囲から外され、撮影画像中に写されないこともある。
【０００６】
このような場合、画像データからは起始部を除く他の血管部分についてのみグラフが作成されることとなるため、画像データから起始部を含む対象の血管構造の全体についてグラフが作成されていることを前提に、その作成されたグラフに対して血管構造の全体に対応する形状モデルをフィッティングさせることによって血管の構造を抽出する上記従来の方法をそのまま適用したのでは、血管の構造を正確に抽出することができないという問題がある。
【０００７】
そこで、本発明は、画像データに対象の構造物の起始部が充分に描出されていない場合であっても、その起始部の位置を精度よく特定することができる画像処理装置および方法ならびにプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、１つの起始部から分枝を繰返しながら広がって延びる所定の構造物が表された画像データから起始部の位置を表す情報を取得する画像処理装置であって、画像データから、所定の構造物を表すものと推定されるグラフを抽出するグラフ抽出手段と、所定の構造物の一般的な形状を表す木構造内の、起始部に対応する部分から分枝した複数の部分木構造を表す複数の形状モデルが記憶された形状モデル記憶手段と、所定のコスト関数を用いて、前記抽出されたグラフを構成する複数のノードの中から複数の形状モデルを構成する複数のノードの各々に対応する対応点を決定することにより、前記抽出されたグラフに複数の形状モデルを対応付けする対応付け手段と、前記いずれかの形状モデルに対応付けられたグラフ部分毎に、前記抽出されたグラフの中に、該対応付けられたグラフ部分の頂点から延びる前記形状モデルと対応付けられていないグラフ部分が存在するか否かを判定し、（ａ）存在しないと判定された場合には、その頂点の位置情報を起始部の位置を表す情報として取得し、（ｂ）存在すると判定された場合には、その頂点から延びるグラフ部分上のノードを、前記対応付けられた全てのグラフ部分の頂点の位置情報に基づいて推定された起始部の推定位置に近づくように前記頂点から辿ることによって、推定位置に最も近い位置に存在するノードを特定し、特定されたノードの位置情報を起始部の位置を表す情報として取得する起始部情報取得手段とを備えたことを特徴とする。
【０００９】
また、上記画像処理装置は、起始部情報取得手段により取得された起始部の位置を表す情報を用いて、画像データから所定の構造物を表すグラフを抽出する第２のグラフ抽出手段をさらに備えたものであってもよい。
【００１０】
ここで、グラフは、ノード群とノード間の連結関係を表すエッジ群で構成される構造であり、木構造は、木の構造をしたグラフである。また、形状モデルに応付けられたグラフ部分の頂点は、その対応付けられた形状モデルが表す部分木構造の根ノードに対応するノードをいう。
【００１１】
また、上記画像処理装置において、起始部情報取得手段は、複数の形状モデルの各々に対応付けられた全てのグラフ部分の頂点の中心点の位置を起始部の推定位置として推定するものであってもよいし、各々の対応付けられたグラフ部分の曲線または線について所定の関数による外挿を求め、それらの外挿が収束する所定の大きさの領域またはその中央位置を用いるようにしてもよい。
【００１２】
また、グラフ抽出手段は、画像データから所定の構造物の画像的特徴および／または構造的特徴を有する候補領域を検出し、その候補領域を細線化して得られた細線を分岐点および所定の距離などで分割することにより作成したグラフを、所定の構造物を表すものと推定されるグラフとして抽出するものであってもよい。
【００１３】
また、対応付け手段は、任意に設定された対応関係において、複数の形状モデルを構成する複数のノードに対応づけられた前記グラフを構成する複数のノードの集合により形成されるグラフ部分と複数の形状モデルとの類似度を評価する評価関数を前記所定のコスト関数として用いて、その類似度を最大化を達成する対応関係を求めることによって、前記抽出されたグラフに前記複数の形状モデルを対応付けするものであってもよい。
【００１４】
また、所定の構造物としては、例えば肺、肝臓または心臓の血管、さらに、肺における肺動脈、肺静脈、肝臓における門脈、冠動脈、肝静脈などが考えられる。
【００１５】
また、本発明の画像処理方法は、上記画像処理装置の各手段が行う処理を、少なくとも１台のコンピュータにより実行する方法である。
【００１６】
本発明の画像処理プログラムは、上記画像処理方法を少なくとも１台のコンピュータに実行させるプログラムである。このプログラムは、ＣＤ−ＲＯＭ，ＤＶＤなどの記録メディアに記録され、またはサーバコンピュータに付属するストレージやネットワークストレージにダウンロード可能な状態で記録されて、ユーザに提供される。
【発明の効果】
【００１７】
本発明の画像処理装置および方法ならびにプログラムによれば、１つの起始部から分枝を繰返しながら広がって延びる所定の構造物が表された画像データから前記起始部の位置を表す情報を取得する際に、画像データから、所定の構造物を表すものと推定されるグラフを抽出し、形状モデル記憶手段に予め記憶された、所定の構造物の一般的な形状を表す木構造内の前記起始部に対応する部分から分枝した複数の部分木構造を表す複数の形状モデルを取得し、所定のコスト関数を用いて、前記抽出されたグラフを構成する複数のノードの中から複数の形状モデルを構成する複数のノードの各々に対応する対応点を決定することにより、前記抽出されたグラフに複数の形状モデルを対応付けし、いずれかの形状モデルに対応付けられたグラフ部分毎に、前記抽出されたグラフの中に、その対応付けられたグラフ部分の頂点から延びる形状モデルと対応付けられていないグラフ部分が存在するか否かを判定し、（ａ）存在しないと判定された場合には、その頂点の位置情報を起始部の位置を表す情報として取得し、（ｂ）存在すると判定された場合には、その頂点から延びるグラフ部分上のノードを、対応付けられた全てのグラフ部分の頂点の位置情報に基づいて推定された起始部の推定位置に近づくように前記頂点から辿ることによって、推定位置に最も近い位置に存在するノードを特定し、特定されたノードの位置情報を起始部の位置を表す情報として取得しているので、画像データに対象の構造物の起始部が充分に描出されていない場合であっても、その起始部の位置を精度よく特定することができる。
【００１８】
さらに、その取得された起始部の位置を表す情報を用いて、画像データから所定の構造物を表すグラフを抽出するものである場合には、上記従来の方法に比べて、起始部を含む所定の構造物の全体をより正確に抽出することができる。
【図面の簡単な説明】
【００１９】
【図１】本実施形態における画像処理装置の概略構成を示す図
【図２】肝静脈があらわされた画像データの一例を示す図
【図３】グラフ抽出手段により抽出されたグラフの一例を示す図
【図４】形状モデル記憶手段に記憶された形状モデルの一例を示す図
【図５】対応付け手段により選択された対応関係の一例を示す図
【図６】延長グラフ部分上のノードを推定位置に近づくように辿っていく様子を示す図
【図７】その位置座標が起始部を表す情報として取得されるノードの一例を示す図
【図８】いずれのグラフ部分にも延長グラフ部分が存在しない場合の一例を示す図
【図９】一部のグラフ部分にのみ延長グラフ部分が存在する場合の一例を示す図
【図１０】肝静脈の起始部が鮮明に描出されていない画像データの一例を示す図
【発明を実施するための形態】
【００２０】
以下、本発明の画像処理装置および方法ならびにプログラムの実施形態について、図面を参照しながら詳細に説明する。図１は本発明の実施形態となる画像処理装置１の概略構成図である。なお、図１のような画像処理装置１の構成は、補助記憶装置に読み込まれた医用画像処理プログラムをコンピュータ上で実行することにより実現される。このとき、この画像処理プログラムは、ＣＤ−ＲＯＭ等の記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされる。図１の画像処理装置１は、１つの起始部Ｂから分枝を繰返しながら広がって延びる所定の構造物が表された画像データからその所定の構造物を表すグラフを抽出するものであって、グラフ抽出手段１０、対応付け手段２０、起始部情報取得手段３０、第２のグラフ抽出手段４０を備えている。以下、所定の構造物が、図２に示すような肝静脈である場合について説明する。
【００２１】
グラフ抽出手段１０は、肝静脈が表された画像データＶから肝静脈を表すものと推定されるグラフＧを抽出するものであって、具体的には、画像データＶから肝静脈の画像的特徴および／または構造的特徴を有する候補領域Ｒを検出し、その候補領域Ｒを細線化して得られた細線を分岐点および所定の距離などで分割することにより作成したグラフＧを、肝静脈を表すものと推定されるグラフとして抽出する。ここで、画像データＶは、データ記憶手段ＶＤＢに記憶されたたとえばＣＴ装置、ＭＲＩ装置、超音波診断装置等により取得された多数の２次元画像の群からなる被写体の３次元画像データである。
【００２２】
グラフ抽出手段１０は、まず、画像データＶを構成する画素（ボクセル）の画素値に基づいて肝静脈の芯線を構成する複数の候補点の位置と主軸方向とを算出し、あるいは、画像データＶについてヘッセ行列を算出し、算出されたヘッセ行列の固有値を解析することにより、肝静脈の芯線を構成する複数の候補点の位置情報と主軸方向とを算出する。そして、各候補点周辺の画素について肝静脈らしさを表す特徴量を算出し、算出した特徴量に基づいてその画素が肝静脈領域を表すものであるか否かを判別し、肝静脈領域を表すものであると判別された画素の集合を候補領域Ｒとして検出する。なお、特徴量に基づく判別は、たとえばマシンラーニングにより予め取得された評価関数に基づいて行なう。
【００２３】
そして、グラフ抽出手段１０は、検出した候補領域Ｒを周知の方法により細線化し、細線化処理された線を分岐点および所定の距離などで分割する。そして、分割点および端点を候補点（ノード）Ｓｐ（ｐ＝１〜n：nは候補点の数）と定義するとともに、候補点間を結ぶエッジを定義することによりグラフＧを作成する。これにより、たとえば図３に示すようなグラフＧが作成される。
【００２４】
対応付け手段２０は、コスト関数Ｅを用いて、グラフＧを構成する複数の候補点Ｓｐの中から形状モデル記憶手段ＤＢに記憶された形状モデルＭを構成する複数の教師ラベル（ノード）Ｔｑ（ｑ＝１〜ｍ：ｍは教師ラベルの数）の各々に対応する対応点を決定することにより、グラフＧに形状モデルＭを対応付けする。
【００２５】
ここで、形状モデルＭは、たとえば図４に示すような、肝静脈の一般的な形状を表す木構造内の、起始部Ｂに対応する点ＴＢから分枝した複数の部分木構造を表す複数の形状モデルＭｉ（ｉ＝１〜Ｌ：Ｌは形状モデルの数）の集合である。各形状モデルＭｉは、点ＴＢ側の端点（図中では黒点で表示）を頂点とする木構造のグラフである。ここで、肝静脈の一般的な形状を表す木構造は、多数のサンプル画像を学習することによって取得することができる。
【００２６】
コスト関数Ｅは、任意に設定された対応関係において、形状モデルＭを構成する複数の教師ラベルＴｑに対応づけられたグラフＧを構成する複数の候補点Ｓｐの集合により形成されるグラフ部分と形状モデルＭとの類似度を評価する評価関数であって、ベクトルxを変数とする下記式（1）で表すことができる。対応付け手段２０は、このコスト関数Ｅの最小化を達成する最適解(対応関係)を求めることによって、グラフＧに形状モデルＭを対応付けする。
【数１】
【００２７】
上記式（１）において、Ｒは許容解ｘにおける候補点と教師ラベルの対応づけの集合を表す。θａは集合Ｒに属する任意の対応づけａ（候補点Ｓｐ′と教師ラベルＴｑ′の対応付け）に対するコストであり、下記（２）で表すことができる。
【数２】
【００２８】
上記式（２）において、ＳＴｑ′（ｌＳｐ′）は教師ラベルＴｑ′と候補点Ｓｐ′の角度の一致度を表し、下記式（３）により求めることができる。式（３）において、ｌＴｑ′は教師ラベルＴｑ′の方向ベクトルを表し、ｌＳｐ′は候補点Ｓｐ′の方向ベクトルを表す。
【数３】
【００２９】
また、上記式（２）において、ＰＴｑ′（ｚＳｐ′）は教師ラベルＴｑ′と候補点Ｓｐ′のＺ軸（体軸方向）における位置の一致度を表し、これは、教師ラベルＴｑ′のＺ軸（体軸方向）における位置座標をその一般的な肝臓の高さＨＴで割ることにより正規化した値と、候補点Ｓｐ′のＺ軸における位置座標をその画像データＶ中の肝臓の高さＨＳで割ることにより正規化した値とを比較することにより求める。なお、ここでＺ軸の座標のみを比較するのは、切除手術後の肝臓ではその一部が切除され、固定のＸＹ軸の座標が規定できない場合がある一方、Ｚ軸の座標ではそのような問題が生じないからである。
【００３０】
一方、式（１）中のθａｂは、集合Ｒに属する２つの対応づけａとｂ（ａ：候補点Ｓｐ′と教師ラベルＴｑ′の対応づけ、ｂ：候補点Ｓｐ″と教師ラベルＴｑ″の対応づけ）の組み合わせに対するコストであり、下記（４）で表すことができる。
【数４】
【００３１】
ここで、ＳＴｑ′Ｔｑ″（ＸＳｐ′ＸＳｐ″）は、教師ラベルのペア（Ｔｑ′，Ｔｑ″）間を結ぶ線分と候補点のペア（Ｓｐ′，Ｓｐ″）間を結ぶ線分との角度の一致度を表し、下記式（５）で表すことができる。ここで、Ｘｊ（ｊ＝Ｔｑ′，Ｔｑ″，Ｓｐ′，Ｓｐ″）は各ノードｊの位置ベクトルを表す。
【数５】
【００３２】
以上に説明したコスト関数Ｅの最小化問題は、ループ有り確率伝播法、Dual Decomposition (DD)法を用いて解く（最適解を求める）ことができる。これにより、例えば図３に示すグラフＧと図４に示す形状モデルＭに対して、図５に示すような対応関係を最適解として選択することができる。図５に示す対応関係では、全体のグラフＧのうちのグラフ部分Ｇ１が形状モデルＭ１と対応づけられ、グラフ部分Ｇ２が形状モデルＭ２と対応づけられ、グラフ部分Ｇ３が形状モデルＭ１と対応づけられている。
【００３３】
起始部情報取得手段３０は、対応付け手段２０において選択された前記対応関係に基づいて起始部を表す情報Ｉを取得するものである。起始部情報取得手段３０は、まず、各形状モデルＭｉに対応付けられたグラフ部分Ｇｉ毎に、全体グラフＧの中に、そのグラフ部分Ｇｉの頂点から延びるグラフ部分であっていずれの形状モデルとも対応付けられていないグラフ部分（以下、延長グラフ部分という）が存在するか否かを判定する。
【００３４】
たとえば、対応付け手段２０において図５に示す対応関係が選択された場合、図６に示すように、グラフ部分Ｇ１には、その頂点Ｓ４から延びる延長グラフ部分Ｅ１とＥ４が存在し、グラフ部分Ｇ２には、その頂点Ｓ11から延びる延長グラフ部分Ｅ２が存在し、グラフ部分Ｇ３には、その頂点Ｓ19から延びる延長グラフ部分Ｅ３が存在しているので、起始部情報取得手段３０は、いずれのグラフ部分Ｇ１〜Ｇ３に対しても、延長グラフ部分が存在すると判定することとなる。
【００３５】
次に、起始部情報取得手段３０は、前記判定において延長グラフ部分が存在すると判定されたグラフ部分Ｇｉ毎に、その頂点から延びる延長グラフ部分上のノードを所定の起始部の推定位置Ｐに近づくように前記頂点から辿ることによって、前記推定位置に最も近い位置に存在するノードを特定し、その特定されたノードの位置情報を起始部の位置を表す情報Ｉとして取得する。ここで、起始部の推定位置Ｐとしては、全てのグラフ部分Ｇｉの頂点の中央点の位置を用いる。
【００３６】
たとえば図６に示す場合において、起始部情報取得手段３０は、まず、全てのグラフ部分Ｇ１〜Ｇ３の頂点Ｓ４，Ｓ11およびＳ19の中央点の位置を起始部の推定位置Ｐとして求める。次いで、起始部情報取得手段３０は、各グラフ部分Ｇｉから延長した延長グラフ部分上のノードを推定位置Ｐに近づくように辿っていくことによって、推定位置Ｐにもっとも近い位置に存在するノードを特定するが、図６に示す場合においては、グラフ部分Ｇ１から延長した延長グラフ部分Ｅ１上のノードとグラフ部分Ｇ２から延長した延長グラフ部分Ｅ２上のノードをそれぞれ推定位置Ｐに近づくように辿っていくと、両方の延長グラフ部分Ｅ１とＥ２は推定位置Ｐに最も近い位置に存在する一点のノードＳ３に収束することとなるので、まず、そのノードＳ３の位置情報を起始部の位置を表す情報Ｉとして取得する。また、グラフ部分Ｇ３についても、その頂点Ｓ19から延びる延長グラフ部分Ｅ３上のノードを推定位置Ｐに近づくように頂点Ｓ19から辿ることによって、推定位置Ｐに最も近い位置に存在するノードＳ18を特定し、その特定されたノードＳ18の位置情報を取得する。すなわち、起始部情報取得手段３０は、図７に示すように、点Ｓ３と点Ｓ18の位置座標を起始部を表す情報Ｉとして取得する。
【００３７】
一方、起始部情報取得手段３０は、前記判定において延長グラフ部分が存在しないと判定されたグラフ部分Ｇｉについては、その頂点の位置情報を起始部の位置を表す情報Ｉとして取得する。たとえば図８に示すように、いずれのグラフ部分Ｇ１〜Ｇ３についてもその頂点から延びるい延長グラフ部分が存在しない場合には、それらのグラフ部分Ｇｉの頂点Ｓ４，Ｓ11およびＳ19の位置情報を起始部の位置を表す情報Ｉとして取得する。
【００３８】
また、たとえば図９に示すように、全てのグラフ部分Ｇｉのうちの一部のグラフ部分Ｇ３にのみその頂点から延びる延長グラフ部分が存在する場合には、延長グラフ部分が存在しないグラフ部分Ｇ１およびＧ２については、それらのグラフ部分の頂点Ｓ４およびＳ11の位置情報を起始部の位置を表す情報Ｉとして取得し、延長グラフ部分が存在するグラフ部分Ｇ３については、その頂点Ｓ19から延びる延長グラフ部分Ｅ３上のノードを起始部の推定位置Ｐに近づくように頂点Ｓ19から辿ることによって推定位置Ｐに最も近い位置に存在するノードＳ18を特定し、その特定されたノードＳ18の位置情報を起始部の位置を表す情報Ｉとして取得する。すなわち、点Ｓ４，Ｓ11およびＳ18の位置情報を起始部の位置を表す情報Ｉとして取得する。
【００３９】
第２のグラフ抽出手段４０は、起始部情報取得手段３０により取得された起始部の位置を表す情報Ｉを用いて、画像データＶから肝静脈を表すグラフを抽出する。具体的には、第２のグラフ抽出手段４０は、グラフ抽出手段１０により作成されたグラフＧに対して、今度は肝静脈の一般的な形状を表す木構造の全体を表す形状モデルを対応付け（グラフフィッティング）することにより、肝静脈を表す木構造のグラフを抽出するが、この対応付け処理は、起始部の位置を表す情報Ｉとして取得された１または２以上の点の位置座標に位置するグラフＧ上のノードはいずれも形状モデルの根ノード（起始部を表すノード）または根ノードの近傍に位置するノードのいずれかに対応づけられるという制約条件下で、上述した対応付け手段２０における対応付け処理と同様に、所定のコスト関数の最小化を達成する最適解(対応関係)を求めることによって行う。
【００４０】
以上に説明したとおり、本実施形態の画像処理装置および方法ならびにプログラムによれば、グラフ抽出手段１０が、画像データＶから、肝静脈を表すものと推定されるグラフＧを抽出し、対応付け手段２０が、形状モデル記憶手段ＤＢに予め記憶された、肝静脈の一般的な形状を表す木構造内の起始部に対応する部分から分枝した複数の部分木構造を表す複数の形状モデルＭｉを取得し、所定のコスト関数Ｅを用いて、前記抽出されたグラフＧを構成する複数のノードＳｐの中から複数の形状モデルＭｉを構成する複数のノードＴｑの各々に対応する対応点を決定することにより、前記抽出されたグラフＧに複数の形状モデルＭｉを対応付けし、起始部情報取得手段３０が、いずれかの形状モデルＭｉに対応付けられたグラフ部分Ｇｉ毎に、前記抽出されたグラフＧの中に、その対応付けられたグラフ部分の頂点から延びる形状モデルと対応付けられていないグラフ部分Ｇｉが存在するか否かを判定し、（ａ）存在しないと判定された場合には、その頂点の位置情報を起始部の位置を表す情報Ｉとして取得し、（ｂ）存在すると判定された場合には、その頂点から延びるグラフ部分上のノードを、対応付けられた全てのグラフ部分の頂点の位置情報に基づいて推定された起始部の推定位置Ｐに近づくように前記頂点から辿ることによって、推定位置Ｐに最も近い位置に存在するノードを特定し、特定されたノードの位置情報を起始部の位置を表す情報Ｉとして取得しているので、すなわち、画像データＶにおける肝静脈の起始部の位置を表す情報Ｉを起始部が描出されている画像データの情報は使用せず、起始部から枝分かれした先の構造部分が描出されている画像データの情報を使用して取得しているので、画像データに対象の構造物の起始部が充分に描出されてい場合であっても、その起始部の位置を精度よく特定することができる。
【００４１】
また、上記実施の形態では、第２のグラフ抽出手段４０を備えたものである場合について例示しているが、これらの構成は必ずしも必要ではなく、必要に応じて設ければよい。
【００４２】
また、上記実施の形態では、起始部情報取得手段３０が、各グラフ部分の頂点から延長した延長グラフ部分上のノードをそれぞれ辿っていった結果たどり着いたノードがグラフ部分毎に異なる場合があって、１点のノードに収束しない場合、たどりついた複数のノードの位置情報を全て起始部を表す情報Ｉとして取得するものである場合について説明したが、それらの複数のノードの中から起始部の推定位置Ｐに最も近い位置に存在するノードをさらに特定し、その特定された一点のノードの位置情報のみを起始部を表す情報Ｉとして取得するようにしてもよい。
【００４３】
また、本実施の形態では、所定の構造物が肝静脈である場合について例示しているが、所定の構造物は、１つの起始部から分枝を繰返しながら広がって延びる構造物であればよく、例えば肺または心臓の血管、あるいは肝臓の門脈、冠動脈であってもよい。
【符号の説明】
【００４４】
１ 画像処理装置
１０ グラフ抽出手段
２０ 対応付け手段
３０ 起始部情報取得手段
４０ 第２のグラフ抽出手段
ＤＢ 形状モデル記憶手段
Ｖ 画像データ
Ｇ グラフ
Ｇｉ グラフ部分
Ｓｐ 候補点（ノード）
Ｔｑ 複数の教師ラベル（ノード）
Ｍｉ 形状モデル
Ｐ 起始部の推定位置
【特許請求の範囲】
【請求項１】
１つの起始部から分枝を繰返しながら広がって延びる所定の構造物が表された画像データから前記起始部の位置を表す情報を取得する画像処理装置であって、
前記画像データから、前記所定の構造物を表すものと推定されるグラフを抽出するグラフ抽出手段と、
前記所定の構造物の一般的な形状を表す木構造内の、前記起始部に対応する部分から分枝した複数の部分木構造を表す複数の形状モデルが記憶された形状モデル記憶手段と、
所定のコスト関数を用いて、前記抽出されたグラフを構成する複数のノードの中から前記複数の形状モデルを構成する複数のノードの各々に対応する対応点を決定することにより、前記抽出されたグラフに前記複数の形状モデルを対応付けする対応付け手段と、
前記いずれかの形状モデルに対応付けられたグラフ部分毎に、前記抽出されたグラフの中に、該対応付けられたグラフ部分の頂点から延びる前記形状モデルと対応付けられていないグラフ部分が存在するか否かを判定し、
（ａ）存在しないと判定された場合には、前記頂点の位置情報を前記起始部の位置を表す情報として取得し、
（ｂ）存在すると判定された場合には、前記頂点から延びるグラフ部分上のノードを、前記対応付けられた全てのグラフ部分の頂点の位置情報に基づいて推定された前記起始部の推定位置に近づくように前記頂点から辿ることによって、前記推定位置に最も近い位置に存在するノードを特定し、該特定されたノードの位置情報を前記起始部の位置を表す情報として取得する起始部情報取得手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記起始部情報取得手段により取得された前記起始部の位置を表す情報を用いて、前記画像データから前記所定の構造物を表すグラフを抽出する第２のグラフ抽出手段を備えたことを特徴とする請求項１記載の画像処理装置。
【請求項３】
１つの起始部から分枝を繰返しながら広がって延びる所定の構造物が表された画像データから前記起始部の位置を表す情報を取得する画像処理方法であって、
前記画像データから、前記所定の構造物を表すものと推定されるグラフを抽出し、
形状モデル記憶手段に予め記憶された、前記所定の構造物の一般的な形状を表す木構造内の前記起始部に対応する部分から分枝した複数の部分木構造を表す複数の形状モデルを取得し、
所定のコスト関数を用いて、前記抽出されたグラフを構成する複数のノードの中から前記複数の形状モデルを構成する複数のノードの各々に対応する対応点を決定することにより、前記抽出されたグラフに前記複数の形状モデルを対応付けし、
前記いずれかの形状モデルに対応付けられたグラフ部分毎に、前記抽出されたグラフの中に、該対応付けられたグラフ部分の頂点から延びる前記形状モデルと対応付けられていないグラフ部分が存在するか否かを判定し、
（ａ）存在しないと判定された場合には、前記頂点の位置情報を前記起始部の位置を表す情報として取得し、
（ｂ）存在すると判定された場合には、前記頂点から延びるグラフ部分上のノードを、前記対応付けられた全てのグラフ部分の頂点の位置情報に基づいて推定された前記起始部の推定位置に近づくように前記頂点から辿ることによって、前記推定位置に最も近い位置に存在するノードを特定し、該特定されたノードの位置情報を前記起始部の位置を表す情報として取得する
ことを特徴とする画像処理方法。
【請求項４】
前記取得された前記起始部の位置を表す情報を用いて、前記画像データから前記所定の構造物を表すグラフを抽出することを特徴とする請求項３記載の画像処理方法。
【請求項５】
１つの起始部から分枝を繰返しながら広がって延びる所定の構造物が表された画像データから前記起始部の位置を表す情報を取得するための画像処理プログラムであって
コンピュータに、
前記画像データから、前記所定の構造物を表すものと推定されるグラフを抽出する手順と、
形状モデル記憶手段に予め記憶された、前記所定の構造物の一般的な形状を表す木構造内の前記起始部に対応する部分から分枝した複数の部分木構造を表す複数の形状モデルを取得する手順と、
所定のコスト関数を用いて、前記抽出されたグラフを構成する複数のノードの中から前記複数の形状モデルを構成する複数のノードの各々に対応する対応点を決定することにより、前記抽出されたグラフに前記複数の形状モデルを対応付けする手順と、
前記いずれかの形状モデルに対応付けられたグラフ部分毎に、前記抽出されたグラフの中に、該対応付けられたグラフ部分の頂点から延びる前記形状モデルと対応付けられていないグラフ部分が存在するか否かを判定し、
（ａ）存在しないと判定された場合には、前記頂点の位置情報を前記起始部の位置を表す情報として取得し、
（ｂ）存在すると判定された場合には、前記頂点から延びるグラフ部分上のノードを、前記対応付けられた全てのグラフ部分の頂点の位置情報に基づいて推定された前記起始部の推定位置に近づくように前記頂点から辿ることによって、前記推定位置に最も近い位置に存在するノードを特定し、該特定されたノードの位置情報を前記起始部の位置を表す情報として取得する手順と
を実行させるためのものであることを特徴とする画像処理プログラム。
【請求項６】
前記コンピュータに、前記取得された前記起始部の位置を表す情報を用いて、前記画像データから前記所定の構造物を表すグラフを抽出する手順をさらに実行させるためのものであることを特徴とする請求項５記載の画像処理プログラム。
【請求項１】
１つの起始部から分枝を繰返しながら広がって延びる所定の構造物が表された画像データから前記起始部の位置を表す情報を取得する画像処理装置であって、
前記画像データから、前記所定の構造物を表すものと推定されるグラフを抽出するグラフ抽出手段と、
前記所定の構造物の一般的な形状を表す木構造内の、前記起始部に対応する部分から分枝した複数の部分木構造を表す複数の形状モデルが記憶された形状モデル記憶手段と、
所定のコスト関数を用いて、前記抽出されたグラフを構成する複数のノードの中から前記複数の形状モデルを構成する複数のノードの各々に対応する対応点を決定することにより、前記抽出されたグラフに前記複数の形状モデルを対応付けする対応付け手段と、
前記いずれかの形状モデルに対応付けられたグラフ部分毎に、前記抽出されたグラフの中に、該対応付けられたグラフ部分の頂点から延びる前記形状モデルと対応付けられていないグラフ部分が存在するか否かを判定し、
（ａ）存在しないと判定された場合には、前記頂点の位置情報を前記起始部の位置を表す情報として取得し、
（ｂ）存在すると判定された場合には、前記頂点から延びるグラフ部分上のノードを、前記対応付けられた全てのグラフ部分の頂点の位置情報に基づいて推定された前記起始部の推定位置に近づくように前記頂点から辿ることによって、前記推定位置に最も近い位置に存在するノードを特定し、該特定されたノードの位置情報を前記起始部の位置を表す情報として取得する起始部情報取得手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記起始部情報取得手段により取得された前記起始部の位置を表す情報を用いて、前記画像データから前記所定の構造物を表すグラフを抽出する第２のグラフ抽出手段を備えたことを特徴とする請求項１記載の画像処理装置。
【請求項３】
１つの起始部から分枝を繰返しながら広がって延びる所定の構造物が表された画像データから前記起始部の位置を表す情報を取得する画像処理方法であって、
前記画像データから、前記所定の構造物を表すものと推定されるグラフを抽出し、
形状モデル記憶手段に予め記憶された、前記所定の構造物の一般的な形状を表す木構造内の前記起始部に対応する部分から分枝した複数の部分木構造を表す複数の形状モデルを取得し、
所定のコスト関数を用いて、前記抽出されたグラフを構成する複数のノードの中から前記複数の形状モデルを構成する複数のノードの各々に対応する対応点を決定することにより、前記抽出されたグラフに前記複数の形状モデルを対応付けし、
前記いずれかの形状モデルに対応付けられたグラフ部分毎に、前記抽出されたグラフの中に、該対応付けられたグラフ部分の頂点から延びる前記形状モデルと対応付けられていないグラフ部分が存在するか否かを判定し、
（ａ）存在しないと判定された場合には、前記頂点の位置情報を前記起始部の位置を表す情報として取得し、
（ｂ）存在すると判定された場合には、前記頂点から延びるグラフ部分上のノードを、前記対応付けられた全てのグラフ部分の頂点の位置情報に基づいて推定された前記起始部の推定位置に近づくように前記頂点から辿ることによって、前記推定位置に最も近い位置に存在するノードを特定し、該特定されたノードの位置情報を前記起始部の位置を表す情報として取得する
ことを特徴とする画像処理方法。
【請求項４】
前記取得された前記起始部の位置を表す情報を用いて、前記画像データから前記所定の構造物を表すグラフを抽出することを特徴とする請求項３記載の画像処理方法。
【請求項５】
１つの起始部から分枝を繰返しながら広がって延びる所定の構造物が表された画像データから前記起始部の位置を表す情報を取得するための画像処理プログラムであって
コンピュータに、
前記画像データから、前記所定の構造物を表すものと推定されるグラフを抽出する手順と、
形状モデル記憶手段に予め記憶された、前記所定の構造物の一般的な形状を表す木構造内の前記起始部に対応する部分から分枝した複数の部分木構造を表す複数の形状モデルを取得する手順と、
所定のコスト関数を用いて、前記抽出されたグラフを構成する複数のノードの中から前記複数の形状モデルを構成する複数のノードの各々に対応する対応点を決定することにより、前記抽出されたグラフに前記複数の形状モデルを対応付けする手順と、
前記いずれかの形状モデルに対応付けられたグラフ部分毎に、前記抽出されたグラフの中に、該対応付けられたグラフ部分の頂点から延びる前記形状モデルと対応付けられていないグラフ部分が存在するか否かを判定し、
（ａ）存在しないと判定された場合には、前記頂点の位置情報を前記起始部の位置を表す情報として取得し、
（ｂ）存在すると判定された場合には、前記頂点から延びるグラフ部分上のノードを、前記対応付けられた全てのグラフ部分の頂点の位置情報に基づいて推定された前記起始部の推定位置に近づくように前記頂点から辿ることによって、前記推定位置に最も近い位置に存在するノードを特定し、該特定されたノードの位置情報を前記起始部の位置を表す情報として取得する手順と
を実行させるためのものであることを特徴とする画像処理プログラム。
【請求項６】
前記コンピュータに、前記取得された前記起始部の位置を表す情報を用いて、前記画像データから前記所定の構造物を表すグラフを抽出する手順をさらに実行させるためのものであることを特徴とする請求項５記載の画像処理プログラム。
【図１】
【図３】
【図７】
【図２】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図３】
【図７】
【図２】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−９０７９９（Ｐ２０１３−９０７９９Ａ）
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願番号】特願２０１１−２３４６２５（Ｐ２０１１−２３４６２５）
【出願日】平成２３年１０月２６日（２０１１．１０．２６）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願日】平成２３年１０月２６日（２０１１．１０．２６）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]