画像処理装置、方法およびプログラム
【課題】血管等の所定の構造物の一部が表された断層画像を画面に表示させて観察する場合に、その断層画像上に設定した注目点と所定の構造物との位置関係を認識しやすく表示する。
【解決手段】１つの起始部から分枝を繰返しながら広がって延びる所定の構造物を表す木構造Ｍｓを３次元画像から抽出する構造抽出手段１０と、３次元画像上の任意の位置を指定する操作者による入力に応じて、木構造Ｍｓ上に注目点Ｓを設定する注目点設定手段２０と、注目点Ｓを含む任意の断層画像Ｉｊと、該断層画像Ｉｊに木構造Ｍｓの全体のうち注目点Ｓからその起始部を表す点Ｏまでの経路を構成する部分構造Ｐｊを投影した投影像とを重畳させてなる投影画像Ｉｊ´を生成する投影画像生成手段３０と、その生成された投影画像を表示する表示手段４０とを備える。
【解決手段】１つの起始部から分枝を繰返しながら広がって延びる所定の構造物を表す木構造Ｍｓを３次元画像から抽出する構造抽出手段１０と、３次元画像上の任意の位置を指定する操作者による入力に応じて、木構造Ｍｓ上に注目点Ｓを設定する注目点設定手段２０と、注目点Ｓを含む任意の断層画像Ｉｊと、該断層画像Ｉｊに木構造Ｍｓの全体のうち注目点Ｓからその起始部を表す点Ｏまでの経路を構成する部分構造Ｐｊを投影した投影像とを重畳させてなる投影画像Ｉｊ´を生成する投影画像生成手段３０と、その生成された投影画像を表示する表示手段４０とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、血管等の所定の構造物が表された画像上において注目点が設定された場合にその注目点と前記所定の構造物との位置関係を認識しやすく表示する画像処理装置、方法およびプログラムに関する。
【背景技術】
【０００２】
従来、血管が撮影されたＣＴ、ＭＲＩ等の断層画像を用いて血管の状態を調べる際に、注目する部分が動脈か静脈かを確認するため、医師等の操作者は、連続する断層画像を順次切り替えて表示させ、注目する部分から血管を根元まで辿っていくという処理を手作業を行っているが、この方法では操作者への負担が大きいため、より効率のよい確認方法が望まれている。
【０００３】
これに対し、特許文献１では、病巣などの注目する点が表された断層画像を表示する際に、肋骨や椎骨などの骨を投影した投影像を重ねて表示することにより、病巣の位置を骨の位置との関係で把握しやすくする方法が提案されている。そこで、この方法を適用して、上記血管の断層画像を表示する際に、血管全体の構造を投影した投影像を重ねて表示することにより、一枚の表示画像を観察するだけで注目する部分のその部分を含む血管全体における位置を把握可能にする方法が考えられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−９３２５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、血管全体の構造を投影した投影像を重畳表示する上記方法では、抽出された血管の全長が長いほど、又は血管の構造が複雑であるほど、重畳表示される血管の投影像が多くなり、注目する部分の観察の障害になるため、観察性能が低下するという問題がある。
【０００６】
本発明は、上記事情に鑑み、所定の構造物が表された画像を画面に表示させて観察する場合に、その画像上に設定した注目点と所定の構造物との位置関係を認識しやすく表示する画像処理装置、方法およびプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、１つの起始部から分枝を繰返しながら広がって延びる所定の構造物を表す木構造を３次元画像から抽出する構造抽出手段と、３次元画像上の任意の位置を指定する操作者による入力に応じて、前記抽出された木構造上に注目点を設定する注目点設定手段と、設定された注目点を含む任意の断層画像と、その断層画像に前記抽出された木構造の全体のうち注目点から起始部を表す点までの経路を構成する部分構造を投影した投影像とを重畳させてなる投影画像を生成する投影画像生成手段と、その生成された投影画像を表示する表示手段とを備えたことを特徴とする。
【０００８】
ここで、木構造は、ノード群とノード間の連結関係を表すエッジ群で構成されるグラフのうち、１つのノードから分枝を繰返しながら広がって延びる構造を有するものをいう。
【０００９】
上記画像処理装置において、構造抽出手段は、それぞれ１つの起始部から分枝を繰返しながら広がって延びる２以上の所定の構造物を表す複数の木構造を３次元画像から抽出するものであり、注目点設定手段は、前記指定された３次元画像上の位置に基づいて、前記抽出された複数の木構造上のいずれかの位置に注目点を設定するものであり、投影画像生成手段は、注目点設定手段により互いに連結する部分を有する複数の木構造上のその連結する部分あるいはその連結する部分よりも下流側に注目点が設定された場合、前記設定された注目点を含む任意の断層画像と、その断層画像に前記抽出された複数の木構造の全体のうち注目点から前記連結する部分を有する複数の木構造の各々の起始部を表す点までの経路を構成する部分構造を投影した投影像とを重畳させてなる投影画像を生成するものであってもよい。
【００１０】
ここで、「下流側」というのは、起始部から離れる側を意味する。
【００１１】
また、上記画像処理装置において、構造抽出手段は、それぞれ１つの起始部から分枝を繰返しながら広がって延びる２以上の所定の構造物を表す複数の木構造を３次元画像から抽出するものであり、注目点設定手段は、前記指定された３次元画像上の位置に基づいて、前記抽出された複数の木構造上のいずれかの位置に注目点を設定するものであり、投影画像生成手段は、注目点設定手段により互いに近接する部分を有する複数の木構造上のその近接する部分あるいはその近接する部分よりも下流側に注目点が設定された場合、その設定された注目点を含む任意の断層画像と、その断層画像に前記抽出された複数の木構造の全体のうち注目点が設定された木構造上の注目点からその起始部を表す点までおよび前記近接する部分を有する他の木構造上の前記近接する部分からその起始部を表す点までの経路を構成する部分構造を投影した投影像とを重畳させてなる投影画像を生成するものであってもよい。
【００１２】
ここで、木構造上の一部分が他の木構造と近接する部分であるかどうかは、たとえばその部分と他の木構造との間隔の最小値が所定の閾値以下であるか否かにより判定することができる。このとき、閾値は所定の構造物の半径に基づいて設定することができる。
【００１３】
また、木構造上の一部分を構成するエッジが他の木構造と近接する部分であるかどうかは、たとえばそのエッジの近傍に互いに直線をなすように接続可能なエッジのペアが２以上存在するか否かにより判定することができる。直線をなすように接続可能なエッジのペアが２以上存在する場合、ペア同士を接続する２以上の直線がそのエッジの近傍に存在する可能性が高いからである。このとき、近傍の範囲は所定の構造物の半径に基づいて設定することができる。
【００１４】
また、上述の「近接する部分から」というのは、近接する部分がある程度の範囲に亘っている場合には、その範囲内のいずれの位置から、という意味である。
【００１５】
また、上記画像処理装置において、投影画像生成手段は、前記部分構造と交差する任意の断層画像を指定する操作者の入力に応じて、その指定された第２の断層画像と、第２の断層画像に部分構造の全体のうちの第２の断層画像が部分構造と交差する点から起始部を表す点までの経路を構成する第２の部分構造を投影した投影像とを重畳させてなる第２の投影画像を生成する機能をさらに有するものであり、表示手段は、前記生成された第２の投影画像を前記投影画像に切り替えてあるいは前記投影画像とともに表示するものであってもよい。
【００１６】
また、投影画像生成手段は、２以上の異なる木構造の部分構造を投影して前記投影画像を生成する場合、木構造毎に投影像の表示色を互いに区別可能に異ならせるものであってもよい。
【００１７】
また、本発明の画像処理方法は、上記画像処理装置の各手段が行う処理を、少なくとも１台のコンピュータにより実行する方法である。
【００１８】
本発明の画像処理プログラムは、上記画像処理方法を少なくとも１台のコンピュータに実行させるプログラムである。このプログラムは、ＣＤ−ＲＯＭ，ＤＶＤなどの記録メディアに記録され、またはサーバコンピュータに付属するストレージやネットワークストレージにダウンロード可能な状態で記録されて、ユーザに提供される。
【発明の効果】
【００１９】
本発明の画像処理装置、方法およびプログラムによれば、１つの起始部から分枝を繰返しながら広がって延びる所定の構造物を表す木構造を３次元画像から抽出し、３次元画像上の任意の位置を指定する操作者による入力に応じて、前記抽出された木構造上に注目点を設定し、その設定された注目点を含む任意の断層画像と、該断層画像に前記抽出された木構造の全体のうち注目点から起始部を表す点までの経路を構成する部分構造を投影した投影像とを重畳させてなる投影画像を生成し、生成された投影画像を表示するようにしたので、注目点と所定の構造物との位置関係を認識しやすく表示することができる。
【００２０】
たとえば、断層画像を用いて血管の状態を調べる際に、注目点が設定された部分が動脈か静脈かは、その部分から血管の起始部までを確認すれば充分であることから、血管全体のうちその確認に用いられる限られた部分のみを重畳表示することにより、血管全体を重畳表示する方法に比べて、観察により適した画像を提供することができる。
【００２１】
上記本発明の画像処理装置、方法およびプログラムにおいて、それぞれ１つの起始部から分枝を繰返しながら広がって延びる２以上の所定の構造物を表す複数の木構造を３次元画像から抽出し、前記指定された３次元画像上の位置に基づいて、前記抽出された複数の木構造上のいずれかの位置に注目点を設定し、そこで互いに連結する部分を有する複数の木構造上のその連結する部分あるいはその連結する部分よりも下流側に注目点が設定された場合に、前記設定された注目点を含む任意の断層画像と、その断層画像に前記抽出された複数の木構造の全体のうち注目点から前記連結する部分を有する複数の木構造の各々の起始部を表す点までの経路を構成する部分構造を投影した投影像とを重畳させてなる投影画像を生成するようにした場合には、注目点が２以上の所定の構造物のうちいずれの構造物上の点であるかが不明確である場合に、注目点とそれらの全ての所定の構造物との位置関係を認識可能に表示することができ、いずれか一方の誤った構造物との位置関係のみを表示することによって誤った画像解析が行われてしまうような事態の発生を防止することができる。
【００２２】
また、それぞれ１つの起始部から分枝を繰返しながら広がって延びる２以上の所定の構造物を表す複数の木構造を３次元画像から抽出し、前記指定された３次元画像上の位置に基づいて、前記抽出された複数の木構造上のいずれかの位置に注目点を設定し、そこで互いに近接する部分を有する複数の木構造上のその近接する部分あるいはその近接する部分よりも下流側に注目点が設定された場合に、その設定された注目点を含む任意の断層画像と、その断層画像に前記抽出された複数の木構造の全体のうち注目点が設定された木構造上の注目点からその起始部を表す点までおよび前記近接する部分を有する他の木構造上の前記近接する部分からその起始部を表す点までの経路を構成する部分構造を投影した投影像とを重畳させてなる投影画像を生成するようにした場合には、複数の木構造が互いに近接する部分を有する場合、その部分において２以上の所定の構造物が交錯し、木構造の抽出に誤りがあった可能性があることから、注目点がある一つの所定の構造物上の点として初期認識されているものの、注目点が２以上の所定の構造物のうちいずれの構造物上の点であるかが不明確である場合に、注目点とそれらの全ての所定の構造物との位置関係を認識可能に表示することができ、いずれか一方の誤った構造物との位置関係のみを表示することによって誤った画像解析が行われてしまうような事態の発生を防止することができる。
【図面の簡単な説明】
【００２３】
【図１】第１の実施の形態に係る画像処理装置の概略構成を示す図
【図２】構造抽出手段により抽出された木構造の一例を示す図
【図３】投影画像生成手段による投影画像の生成処理を説明するための図
【図４】投影画像生成手段による第２の投影画像の生成処理を説明するための図
【図５】第２の実施の形態に係る画像処理装置の概略構成を示す図
【図６】構造抽出手段により抽出された木構造の一例を示す図（その１）
【図７】投影画像生成手段による投影画像の生成処理を説明するための図（その１）
【図８】構造抽出手段により抽出された木構造の一例を示す図（その２）
【図９】投影画像生成手段による投影画像の生成処理を説明するための図（その２）
【図１０】特定のエッジが他の木構造と近接する部分であるかどうかの判定方法を説明するための図
【発明を実施するための形態】
【００２４】
以下、本発明の画像処理装置および方法ならびにプログラムの実施形態について説明する。図１は本発明の実施形態となる画像処理装置１の概略構成図である。なお、図１のような画像処理装置１の構成は、補助記憶装置に読み込まれた画像処理プログラムをコンピュータ上で実行することにより実現される。このとき、この画像処理プログラムは、ＣＤ−ＲＯＭ等の記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされる。図１の画像処理装置１は、医者等がＣＴ、ＭＲＩ等の断層画像を画面に表示させて血管の状態を観察する場合に、その観察により適した表示を提供するものであって、構造抽出手段１０、注目点設定手段２０、投影画像生成手段３０、表示手段４０を備えている。以下、本実施の形態では、本発明における所定の構造物が肝静脈である場合について説明する。
【００２５】
構造抽出手段１０は、肝臓が表された３次元画像Ｖから肝静脈を表す木構造を抽出する。具体的には、まず、３次元画像Ｖから肝静脈の画像的特徴および／または構造的特徴を有する領域を検出し、その領域を細線化して得られた細線を分岐点および所定の距離などで分割することによりグラフを生成する。ここで、３次元画像Ｖは、データ記憶手段に記憶されたたとえばＣＴ装置、ＭＲＩ装置、超音波診断装置等により取得された多数の連続する断層画像Ｉｉ（ｉ＝１〜n：nは断層画像の数）からなるものである。
【００２６】
次に、生成されたグラフを構成する複数の候補点（ノード）の中から、形状モデル記憶手段ＤＢに記憶された肝静脈の形状モデルＭrefに一致もしくは最も類似する構造を形成する複数の候補点を、形状モデルＭrefを構成する複数の教師ラベル（ノード）の各々に対応する対応点として選択し、選択された複数の対応点を形状モデルＭrefに略一致するように接続することにより木構造Ｍｓを生成し、抽出する。これにより、たとえば図２に示すような木構造Ｍｓが抽出される。ここで、形状モデルＭrefは、肝静脈の一般的な形状を表す木構造のグラフであって、たとえば多数のサンプル画像を学習することによって取得することができる。
【００２７】
なお、上記対応点の選択は、たとえば下記式（１）で表すコスト関数Ｆの最小化を達成する最適解(対応関係)を求めることにより行う。ここで、Ｒは許容解ｘにおける候補点と教師ラベルの対応づけの集合を表し、θａは集合Ｒに属する任意の対応づけａに対するコストであり、θabは、集合Ｒに属する２つの対応づけａとｂの組み合わせに対するコストである（特開２０１１−９８１９５号公報参照）。
【数１】
【００２８】
注目点設定手段２０は、３次元画像Ｖ上の任意の位置を指定する操作者による入力に応じて、前記抽出された木構造Ｍｓ上に注目点Ｓを設定する。具体的には、ディスプレイ等の画像表示装置上に表示されたある断層画像Ｉｊ（ｊ∈ｉ）に対して、その画像表示装置上の任意の位置を指定するマウスやキーボード等の入力装置２による操作者の入力に応じて、その指定された位置に対応する断層画像Ｉｊ上の位置を取得し、さらにその取得された断層画像Ｉｊ上の位置に対応する３次元画像Ｖ上の位置を特定する。そして、特定された３次元画像Ｖ上の位置が木構造Ｍｓ上に有る場合にはその位置に、特定された位置が木構造Ｍｓ上にない場合にはその特定された位置から最も近い木構造上の位置に、注目点Ｓを設定する。
【００２９】
投影画像生成手段３０は、設定された注目点Ｓを含む断層画像と、その断層画像に木構造Ｍｓの全体のうち注目点からその起始部を表す点までの経路を構成する部分構造を投影した投影像とを重畳させてなる投影画像を生成する。具体的には、まず、図３の左図に示すように、注目点Ｓから木構造Ｍｓの起始部を表す点Ｏまでの経路を構成する部分構造Ｐｊ（図中太線で表示）を特定し、特定された部分構造Ｐｊを断層画像Ｉｊに投影した投影像Ｐｊ´を生成する。そして、その生成された投影像Ｐｊ´と断層画像Ｉｊとを重畳させてなる投影画像Ｉｊ´を生成する。これにより、たとえば図３の右図に示すような投影画像Ｉｊ´が生成される。この投影画像生成手段３０において生成された投影画像Ｉｊ´は、表示手段４０によってディスプレイ等の画像表示装置３上に表示される。
【００３０】
また、投影画像生成手段３０は、上記投影画像Ｉｊ´が生成および表示された後、その断層画像Ｉｊよりも起始部側に位置する他の断層画像Ｉｋ（ｋ∈ｉ、ｋ≠ｊ）を画像表示装置上に表示することを指示するマウスやキーボード等の入力装置２による操作者の入力を受け付けた場合、投影画像Ｉｋ´をさらに生成する。具体的には、図４の左図に示すように、前記部分構造Ｐｊの全体のうちの断層画像Ｉｋが部分構造Ｐｊと交差する点Ｓ´から木構造Ｍｓの起始部を表す点Ｏまでの経路を構成する第２の部分構造Ｐｋ（図中太線で表示）を特定し、特定された第２の部分構造Ｐｋを断層画像Ｉｋに投影した投影像Ｐｋ´を生成する。そして、その生成された投影像Ｐｋ´と断層画像Ｉｋとを重畳させてなる第２の投影画像Ｉｋ´を生成する。これにより、たとえば図４の右図に示すような第２の投影画像Ｉｋ´が生成される。この生成された第２の投影画像Ｉｋ´は、表示手段４０によって投影画像Ｉｊ´に切り替えてあるいは投影画像Ｉｊ´とともに画像表示装置３上に表示される。
【００３１】
次に、本発明の画像処理装置および方法ならびにプログラムの第２の実施の形態について説明する。図５は本発明の第２の実施形態となる画像処理装置１０１の概略構成図である。なお、図５のような画像処理装置１０１の構成は、補助記憶装置に読み込まれた画像処理プログラムをコンピュータ上で実行することにより実現される。このとき、この画像処理プログラムは、ＣＤ−ＲＯＭ等の記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされる。図５の画像処理装置１０１は、医者等がＣＴ、ＭＲＩ等の断層画像を画面に表示させて血管の状態を観察する場合に、その観察により適した表示を提供するものであって、構造抽出手段１１０、注目点設定手段１２０、投影画像生成手段１３０、表示手段１４０を備えている。以下、本実施の形態では、本発明における複数の所定の構造物が肝臓における門脈と肝動脈の２つの血管である場合について説明する。
【００３２】
構造抽出手段１１０は、肝臓が表された３次元画像Ｖから門脈を表す木構造Ｍｓ１と肝動脈を表す木構造Ｍｓ２をそれぞれ抽出するものである。具体的には、まず、３次元画像Ｖから血管の画像的特徴および／または構造的特徴を有する領域を検出し、その領域を細線化して得られた細線を分岐点および所定の距離などで分割することによりグラフを生成する。そして、生成されたグラフを構成する複数の候補点（ノード）の中から、形状モデル記憶手段ＤＢに記憶された門脈の形状モデルＭref１および肝動脈の形状モデルＭref２に一致もしくは最も類似する構造を形成する複数の候補点を、形状モデルＭref１と形状モデルＭref２を構成する複数の教師ラベルの各々に対応する対応点として選択し、選択された複数の対応点を形状モデルＭref１と形状モデルＭref２に略一致するように接続して門脈の木構造Ｍｓ１と肝動脈の木構造Ｍｓ２をを生成し、抽出する。これにより、たとえば図６、図８等に示すような木構造Ｍｓ１と木構造Ｍｓ２が作成される。
【００３３】
ここで、形状モデルＭref１は、門脈の一般的な形状を表す木構造のグラフであって、門脈を表す多数のサンプル画像を学習することによって取得することができ、形状モデルＭref２は、肝動脈の一般的な形状を表す木構造のグラフであって、肝動脈を表す多数のサンプル画像を学習することによって取得することができる。
【００３４】
注目点設定手段１２０は、３次元画像Ｖ上の任意の位置を指定する操作者による入力に応じて、前記抽出された複数の木構造上のいずれかの位置に注目点を設定するものであって、具体的には、ディスプレイ等の画像表示装置上に表示されたある断層画像Ｉｉに対して、その画像表示装置上の任意の位置を指定するマウスやキーボード等の入力手段による操作者の入力に応じて、その指定された位置に対応する断層画像Ｉｉ上の位置を取得し、さらにその取得された断層画像Ｉｉ上の位置に対応する３次元画像Ｖ上の位置を特定する。そして、特定された３次元画像Ｖ上の位置が木構造Ｍｓ１または木構造Ｍｓ２上に有る場合にはその位置に、特定された位置が木構造Ｍｓ１および木構造Ｍｓ２上のいずれかの位置にない場合にはその特定された位置から最も近い木構造Ｍｓ１および木構造Ｍｓ２上のいずれかの位置に、注目点Ｓを設定する。
【００３５】
投影画像生成手段１３０は、設定された注目点Ｓを含む断層画像と、その断層画像に前記抽出された木構造Ｍｓ１と木構造Ｍｓ２の全体のうち一部分構造を投影した投影像とを重畳させてなる投影画像を生成する。この投影画像の生成方法は、木構造Ｍｓ１と木構造Ｍｓ２間の位置関係および注目点Ｓの設定位置によって異なる。
【００３６】
図６に示すように、木構造Ｍｓ１と木構造Ｍｓ２が互いに連結する部分Ｊを有し、注目点Ｓがその連結する部分よりも下流側に設定されている場合、投影画像生成手段１３０は、図７の左図に示すように、注目点Ｓから木構造Ｍｓ１の起始部を表す点Ｏ１までおよび注目点Ｓから木構造Ｍｓ１の起始部を表す点Ｏ２までの両方の経路を構成する部分構造Ｐｊ（図中太線で表示）を特定し、特定された部分構造Ｐｊを断層画像Ｉｊに投影した投影像Ｐｊ´を生成する。そして、その生成された投影像Ｐｊ´と断層画像Ｉｊとを重畳させてなる投影画像Ｉｊ´を生成する。これにより、たとえば図７の右図に示すような投影画像Ｉｊ´が生成される。
【００３７】
一方、図８に示すように、木構造Ｍｓ１と木構造Ｍｓ２が互いに近接する部分Ｊを有し、注目点Ｓがその近接する部分よりも下流側に設定されている場合、投影画像生成手段１３０は、図９に示すように、注目点Ｓが設定された木構造Ｍｓ１上の注目点Ｓからその起始部を表す点Ｏ１までおよび前記近接する部分を有する他の木構造Ｍｓ２上の前記近接する部分からその起始部Ｏ２を表す点までの経路を構成する部分構造Ｐｊ（図中太線で表示）を特定し、特定された部分構造Ｐｊを断層画像Ｉｊに投影した投影像Ｐｊ´を生成する。そして、その生成された投影像Ｐｊ´と断層画像Ｉｊとを重畳させてなる投影画像Ｉｊ´を生成する。
【００３８】
このとき、注目点Ｓが設定された木構造Ｍｓ１の注目点Ｓよりも上流側に他の木構造Ｍｓ２と近接する部分であるかどうかは、図８の左図に示すように、注目点Ｓが設定された木構造Ｍｓ１上のエッジをエッジＥ０とし、エッジＥ０から木構造Ｍｓ１の起始部を表す点Ｏ1までの最短経路を構成する複数のエッジをエッジＥｉ（ｉ＝１〜n：nは最短路を構成するエッジの数）とし、エッジＥ０およびエッジＥｉの各々について、そのエッジが他の木構造Ｍｓ２と近接する部分であるかどうかを順次判定することにより調べる。
【００３９】
ここで、特定のエッジが他の木構造と近接する部分であるかどうかは、そのエッジの近傍に互いに直線をなすように接続可能なエッジのペアが２以上存在するか否かを調べることにより判定する。ここで、一組のエッジのペアが直線をなすように接続可能なものであるかどうかは、各エッジを含む直線間の最短距離および各エッジ間の角度がそれぞれ所定の閾値以下であるか否かによって判定することができる（特願２０１１−０６０１９３号公報参照）。たとえば、図１０に示すように、判定対象であるエッジＥｉの近傍に５つのエッジＥａ、Ｅｂ、Ｅｃ、Ｅｄ、Ｅｅが存在する場合、エッジＥａとエッジＥｄのペア、エッジＥｂとエッジＥｅのペアをそれぞれ直線をなすように接続可能なエッジのペアとして判定することができる。
【００４０】
また、投影画像生成手段１３０は、上記各方法により投影画像Ｉｊ´を生成する際に、門脈の木構造Ｍｓ１は青色、肝動脈の木構造Ｍｓ２は赤色といったように、木構造毎にその投影像の表示色を互いに区別可能に異ならせる。このように生成された投影画像Ｉｊ´は、表示手段１４０によってディスプレイ等の画像表示装置３上に表示される。
【００４１】
投影画像生成手段１３０は、さらに、上記投影画像Ｉｊ´が生成および表示された後、その断層画像Ｉｊよりも起始部側に位置する他の断層画像Ｉｋ（ｋ∈ｉ、ｋ≠ｊ）を画像表示装置上に表示することを指示するマウスやキーボード等の入力装置２による操作者の入力を受け付けた場合、第２の投影画像Ｉｋ´をさらに生成する。具体的には、前記部分構造Ｐｊの全体のうちの断層画像Ｉｋが部分構造Ｐｊと交差する点Ｓ´からその木構造の起始部を表す点までの経路を構成する第２の部分構造Ｐｋを特定し、特定された第２の部分構造Ｐｋを断層画像Ｉｋに投影した投影像Ｐｋ´を生成する。そして、その生成された投影像Ｐｋ´と断層画像Ｉｋとを重畳させてなる第２の投影画像Ｉｋ´を生成する。この生成された第２の投影画像Ｉｋ´は、表示手段１４０によって投影画像Ｉｊ´に切り替えてあるいは投影画像Ｉｊ´とともに画像表示装置３上に表示される。
【００４２】
以上に説明したとおり、上記各実施の形態によれば、構造抽出手段１０；１１０が、１つの起始部から分枝を繰返しながら広がって延びる血管を表す木構造Ｍｓ；Ｍｓ１、Ｍｓ２を３次元画像Ｖから抽出し、注目点設定手段２０；１２０が、３次元画像Ｖ上の任意の位置を指定する操作者による入力に応じて、前記抽出された木構造上に注目点Ｓを設定し、投影画像生成手段３０；１３０が、その設定された注目点Ｓを含む任意の断層画像Ｉｊと、該断層画像Ｉｊに前記抽出された木構造の全体のうち注目点から起始部を表す点までの経路を構成する部分構造Ｐｊを投影した投影像Ｐｊ´とを重畳させてなる投影画像Ｉｊ´を生成し、表示手段４０；１４０が、生成された投影画像Ｉｊ´を表示しているので、医者等の操作者に対し注目点Ｓと血管の起始部との位置関係を認識しやすく表示することができる。この表示により、熟練の医者等は注目点Ｓを設定した部分の血管が動脈か静脈かも容易に認識することができる。
【００４３】
また、上記第２の実施の形態によれば、設定された注目点Ｓが門脈と肝動脈の２つの血管のうちいずれの血管上の点であるかが不明確である場合に、注目点Ｓとそれらの全ての血管との位置関係を認識可能に表示しているので、いずれか一方の誤った構造物との位置関係のみを表示することによって誤った画像解析が行われてしまうような事態の発生を防止することができる。
【００４４】
なお、上記各実施の形態では、所定の構造物が肝静脈、門脈等の肝臓の血管である場合について例示しているが、所定の構造物は、１つの起始部から分枝を繰返しながら広がって延びる構造物であればよく、例えば肺または心臓の血管であってもよい。
【００４５】
また、上記各実施の形態では、注目点設定手段２０；１２０が、断層画像Ｉｊの表示に対する操作者の入力に応じて注目点Ｓを設定するものである場合について例示しているが、３次元画像Ｖの表示（たとえば、ボリュームレンダリング画像の表示）に対する操作者の入力に応じて注目点Ｓを設定するものであってもよい。
【００４６】
また、上記第２の実施の形態では、投影画像生成手段１３０が、注目点Ｓが設定された木構造の注目点Ｓよりも上流側に他の木構造と近接する部分が存在するかどうかを、上流側の各エッジについてその近傍に互いに直線をなすように接続可能なエッジのペアが２以上存在するか否かを調べることによって判定するものである場合について説明したが、たとえば上流側の各部分についてその部分と他の木構造との間隔の最小値が所定の閾値以下となる部分が存在するか否かを調べることによって判定するものであってもよい。
【符号の説明】
【００４７】
１ 画像処理装置
１０ 構造抽出手段
２０ 注目点設定手段
３０ 投影画像生成手段
４０ 表示手段
ＤＢ 形状モデル記憶手段
Ｉｉ 断層画像
Ｉｉ´ 投影画像
Ｍref 形状モデル
Ｍｓ 木構造
Ｏ 起始部を表す点
Ｐｊ 部分構造
Ｐｊ´ 投影像
Ｓ 注目点
Ｖ ３次元画像
【技術分野】
【０００１】
本発明は、血管等の所定の構造物が表された画像上において注目点が設定された場合にその注目点と前記所定の構造物との位置関係を認識しやすく表示する画像処理装置、方法およびプログラムに関する。
【背景技術】
【０００２】
従来、血管が撮影されたＣＴ、ＭＲＩ等の断層画像を用いて血管の状態を調べる際に、注目する部分が動脈か静脈かを確認するため、医師等の操作者は、連続する断層画像を順次切り替えて表示させ、注目する部分から血管を根元まで辿っていくという処理を手作業を行っているが、この方法では操作者への負担が大きいため、より効率のよい確認方法が望まれている。
【０００３】
これに対し、特許文献１では、病巣などの注目する点が表された断層画像を表示する際に、肋骨や椎骨などの骨を投影した投影像を重ねて表示することにより、病巣の位置を骨の位置との関係で把握しやすくする方法が提案されている。そこで、この方法を適用して、上記血管の断層画像を表示する際に、血管全体の構造を投影した投影像を重ねて表示することにより、一枚の表示画像を観察するだけで注目する部分のその部分を含む血管全体における位置を把握可能にする方法が考えられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−９３２５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、血管全体の構造を投影した投影像を重畳表示する上記方法では、抽出された血管の全長が長いほど、又は血管の構造が複雑であるほど、重畳表示される血管の投影像が多くなり、注目する部分の観察の障害になるため、観察性能が低下するという問題がある。
【０００６】
本発明は、上記事情に鑑み、所定の構造物が表された画像を画面に表示させて観察する場合に、その画像上に設定した注目点と所定の構造物との位置関係を認識しやすく表示する画像処理装置、方法およびプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、１つの起始部から分枝を繰返しながら広がって延びる所定の構造物を表す木構造を３次元画像から抽出する構造抽出手段と、３次元画像上の任意の位置を指定する操作者による入力に応じて、前記抽出された木構造上に注目点を設定する注目点設定手段と、設定された注目点を含む任意の断層画像と、その断層画像に前記抽出された木構造の全体のうち注目点から起始部を表す点までの経路を構成する部分構造を投影した投影像とを重畳させてなる投影画像を生成する投影画像生成手段と、その生成された投影画像を表示する表示手段とを備えたことを特徴とする。
【０００８】
ここで、木構造は、ノード群とノード間の連結関係を表すエッジ群で構成されるグラフのうち、１つのノードから分枝を繰返しながら広がって延びる構造を有するものをいう。
【０００９】
上記画像処理装置において、構造抽出手段は、それぞれ１つの起始部から分枝を繰返しながら広がって延びる２以上の所定の構造物を表す複数の木構造を３次元画像から抽出するものであり、注目点設定手段は、前記指定された３次元画像上の位置に基づいて、前記抽出された複数の木構造上のいずれかの位置に注目点を設定するものであり、投影画像生成手段は、注目点設定手段により互いに連結する部分を有する複数の木構造上のその連結する部分あるいはその連結する部分よりも下流側に注目点が設定された場合、前記設定された注目点を含む任意の断層画像と、その断層画像に前記抽出された複数の木構造の全体のうち注目点から前記連結する部分を有する複数の木構造の各々の起始部を表す点までの経路を構成する部分構造を投影した投影像とを重畳させてなる投影画像を生成するものであってもよい。
【００１０】
ここで、「下流側」というのは、起始部から離れる側を意味する。
【００１１】
また、上記画像処理装置において、構造抽出手段は、それぞれ１つの起始部から分枝を繰返しながら広がって延びる２以上の所定の構造物を表す複数の木構造を３次元画像から抽出するものであり、注目点設定手段は、前記指定された３次元画像上の位置に基づいて、前記抽出された複数の木構造上のいずれかの位置に注目点を設定するものであり、投影画像生成手段は、注目点設定手段により互いに近接する部分を有する複数の木構造上のその近接する部分あるいはその近接する部分よりも下流側に注目点が設定された場合、その設定された注目点を含む任意の断層画像と、その断層画像に前記抽出された複数の木構造の全体のうち注目点が設定された木構造上の注目点からその起始部を表す点までおよび前記近接する部分を有する他の木構造上の前記近接する部分からその起始部を表す点までの経路を構成する部分構造を投影した投影像とを重畳させてなる投影画像を生成するものであってもよい。
【００１２】
ここで、木構造上の一部分が他の木構造と近接する部分であるかどうかは、たとえばその部分と他の木構造との間隔の最小値が所定の閾値以下であるか否かにより判定することができる。このとき、閾値は所定の構造物の半径に基づいて設定することができる。
【００１３】
また、木構造上の一部分を構成するエッジが他の木構造と近接する部分であるかどうかは、たとえばそのエッジの近傍に互いに直線をなすように接続可能なエッジのペアが２以上存在するか否かにより判定することができる。直線をなすように接続可能なエッジのペアが２以上存在する場合、ペア同士を接続する２以上の直線がそのエッジの近傍に存在する可能性が高いからである。このとき、近傍の範囲は所定の構造物の半径に基づいて設定することができる。
【００１４】
また、上述の「近接する部分から」というのは、近接する部分がある程度の範囲に亘っている場合には、その範囲内のいずれの位置から、という意味である。
【００１５】
また、上記画像処理装置において、投影画像生成手段は、前記部分構造と交差する任意の断層画像を指定する操作者の入力に応じて、その指定された第２の断層画像と、第２の断層画像に部分構造の全体のうちの第２の断層画像が部分構造と交差する点から起始部を表す点までの経路を構成する第２の部分構造を投影した投影像とを重畳させてなる第２の投影画像を生成する機能をさらに有するものであり、表示手段は、前記生成された第２の投影画像を前記投影画像に切り替えてあるいは前記投影画像とともに表示するものであってもよい。
【００１６】
また、投影画像生成手段は、２以上の異なる木構造の部分構造を投影して前記投影画像を生成する場合、木構造毎に投影像の表示色を互いに区別可能に異ならせるものであってもよい。
【００１７】
また、本発明の画像処理方法は、上記画像処理装置の各手段が行う処理を、少なくとも１台のコンピュータにより実行する方法である。
【００１８】
本発明の画像処理プログラムは、上記画像処理方法を少なくとも１台のコンピュータに実行させるプログラムである。このプログラムは、ＣＤ−ＲＯＭ，ＤＶＤなどの記録メディアに記録され、またはサーバコンピュータに付属するストレージやネットワークストレージにダウンロード可能な状態で記録されて、ユーザに提供される。
【発明の効果】
【００１９】
本発明の画像処理装置、方法およびプログラムによれば、１つの起始部から分枝を繰返しながら広がって延びる所定の構造物を表す木構造を３次元画像から抽出し、３次元画像上の任意の位置を指定する操作者による入力に応じて、前記抽出された木構造上に注目点を設定し、その設定された注目点を含む任意の断層画像と、該断層画像に前記抽出された木構造の全体のうち注目点から起始部を表す点までの経路を構成する部分構造を投影した投影像とを重畳させてなる投影画像を生成し、生成された投影画像を表示するようにしたので、注目点と所定の構造物との位置関係を認識しやすく表示することができる。
【００２０】
たとえば、断層画像を用いて血管の状態を調べる際に、注目点が設定された部分が動脈か静脈かは、その部分から血管の起始部までを確認すれば充分であることから、血管全体のうちその確認に用いられる限られた部分のみを重畳表示することにより、血管全体を重畳表示する方法に比べて、観察により適した画像を提供することができる。
【００２１】
上記本発明の画像処理装置、方法およびプログラムにおいて、それぞれ１つの起始部から分枝を繰返しながら広がって延びる２以上の所定の構造物を表す複数の木構造を３次元画像から抽出し、前記指定された３次元画像上の位置に基づいて、前記抽出された複数の木構造上のいずれかの位置に注目点を設定し、そこで互いに連結する部分を有する複数の木構造上のその連結する部分あるいはその連結する部分よりも下流側に注目点が設定された場合に、前記設定された注目点を含む任意の断層画像と、その断層画像に前記抽出された複数の木構造の全体のうち注目点から前記連結する部分を有する複数の木構造の各々の起始部を表す点までの経路を構成する部分構造を投影した投影像とを重畳させてなる投影画像を生成するようにした場合には、注目点が２以上の所定の構造物のうちいずれの構造物上の点であるかが不明確である場合に、注目点とそれらの全ての所定の構造物との位置関係を認識可能に表示することができ、いずれか一方の誤った構造物との位置関係のみを表示することによって誤った画像解析が行われてしまうような事態の発生を防止することができる。
【００２２】
また、それぞれ１つの起始部から分枝を繰返しながら広がって延びる２以上の所定の構造物を表す複数の木構造を３次元画像から抽出し、前記指定された３次元画像上の位置に基づいて、前記抽出された複数の木構造上のいずれかの位置に注目点を設定し、そこで互いに近接する部分を有する複数の木構造上のその近接する部分あるいはその近接する部分よりも下流側に注目点が設定された場合に、その設定された注目点を含む任意の断層画像と、その断層画像に前記抽出された複数の木構造の全体のうち注目点が設定された木構造上の注目点からその起始部を表す点までおよび前記近接する部分を有する他の木構造上の前記近接する部分からその起始部を表す点までの経路を構成する部分構造を投影した投影像とを重畳させてなる投影画像を生成するようにした場合には、複数の木構造が互いに近接する部分を有する場合、その部分において２以上の所定の構造物が交錯し、木構造の抽出に誤りがあった可能性があることから、注目点がある一つの所定の構造物上の点として初期認識されているものの、注目点が２以上の所定の構造物のうちいずれの構造物上の点であるかが不明確である場合に、注目点とそれらの全ての所定の構造物との位置関係を認識可能に表示することができ、いずれか一方の誤った構造物との位置関係のみを表示することによって誤った画像解析が行われてしまうような事態の発生を防止することができる。
【図面の簡単な説明】
【００２３】
【図１】第１の実施の形態に係る画像処理装置の概略構成を示す図
【図２】構造抽出手段により抽出された木構造の一例を示す図
【図３】投影画像生成手段による投影画像の生成処理を説明するための図
【図４】投影画像生成手段による第２の投影画像の生成処理を説明するための図
【図５】第２の実施の形態に係る画像処理装置の概略構成を示す図
【図６】構造抽出手段により抽出された木構造の一例を示す図（その１）
【図７】投影画像生成手段による投影画像の生成処理を説明するための図（その１）
【図８】構造抽出手段により抽出された木構造の一例を示す図（その２）
【図９】投影画像生成手段による投影画像の生成処理を説明するための図（その２）
【図１０】特定のエッジが他の木構造と近接する部分であるかどうかの判定方法を説明するための図
【発明を実施するための形態】
【００２４】
以下、本発明の画像処理装置および方法ならびにプログラムの実施形態について説明する。図１は本発明の実施形態となる画像処理装置１の概略構成図である。なお、図１のような画像処理装置１の構成は、補助記憶装置に読み込まれた画像処理プログラムをコンピュータ上で実行することにより実現される。このとき、この画像処理プログラムは、ＣＤ−ＲＯＭ等の記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされる。図１の画像処理装置１は、医者等がＣＴ、ＭＲＩ等の断層画像を画面に表示させて血管の状態を観察する場合に、その観察により適した表示を提供するものであって、構造抽出手段１０、注目点設定手段２０、投影画像生成手段３０、表示手段４０を備えている。以下、本実施の形態では、本発明における所定の構造物が肝静脈である場合について説明する。
【００２５】
構造抽出手段１０は、肝臓が表された３次元画像Ｖから肝静脈を表す木構造を抽出する。具体的には、まず、３次元画像Ｖから肝静脈の画像的特徴および／または構造的特徴を有する領域を検出し、その領域を細線化して得られた細線を分岐点および所定の距離などで分割することによりグラフを生成する。ここで、３次元画像Ｖは、データ記憶手段に記憶されたたとえばＣＴ装置、ＭＲＩ装置、超音波診断装置等により取得された多数の連続する断層画像Ｉｉ（ｉ＝１〜n：nは断層画像の数）からなるものである。
【００２６】
次に、生成されたグラフを構成する複数の候補点（ノード）の中から、形状モデル記憶手段ＤＢに記憶された肝静脈の形状モデルＭrefに一致もしくは最も類似する構造を形成する複数の候補点を、形状モデルＭrefを構成する複数の教師ラベル（ノード）の各々に対応する対応点として選択し、選択された複数の対応点を形状モデルＭrefに略一致するように接続することにより木構造Ｍｓを生成し、抽出する。これにより、たとえば図２に示すような木構造Ｍｓが抽出される。ここで、形状モデルＭrefは、肝静脈の一般的な形状を表す木構造のグラフであって、たとえば多数のサンプル画像を学習することによって取得することができる。
【００２７】
なお、上記対応点の選択は、たとえば下記式（１）で表すコスト関数Ｆの最小化を達成する最適解(対応関係)を求めることにより行う。ここで、Ｒは許容解ｘにおける候補点と教師ラベルの対応づけの集合を表し、θａは集合Ｒに属する任意の対応づけａに対するコストであり、θabは、集合Ｒに属する２つの対応づけａとｂの組み合わせに対するコストである（特開２０１１−９８１９５号公報参照）。
【数１】
【００２８】
注目点設定手段２０は、３次元画像Ｖ上の任意の位置を指定する操作者による入力に応じて、前記抽出された木構造Ｍｓ上に注目点Ｓを設定する。具体的には、ディスプレイ等の画像表示装置上に表示されたある断層画像Ｉｊ（ｊ∈ｉ）に対して、その画像表示装置上の任意の位置を指定するマウスやキーボード等の入力装置２による操作者の入力に応じて、その指定された位置に対応する断層画像Ｉｊ上の位置を取得し、さらにその取得された断層画像Ｉｊ上の位置に対応する３次元画像Ｖ上の位置を特定する。そして、特定された３次元画像Ｖ上の位置が木構造Ｍｓ上に有る場合にはその位置に、特定された位置が木構造Ｍｓ上にない場合にはその特定された位置から最も近い木構造上の位置に、注目点Ｓを設定する。
【００２９】
投影画像生成手段３０は、設定された注目点Ｓを含む断層画像と、その断層画像に木構造Ｍｓの全体のうち注目点からその起始部を表す点までの経路を構成する部分構造を投影した投影像とを重畳させてなる投影画像を生成する。具体的には、まず、図３の左図に示すように、注目点Ｓから木構造Ｍｓの起始部を表す点Ｏまでの経路を構成する部分構造Ｐｊ（図中太線で表示）を特定し、特定された部分構造Ｐｊを断層画像Ｉｊに投影した投影像Ｐｊ´を生成する。そして、その生成された投影像Ｐｊ´と断層画像Ｉｊとを重畳させてなる投影画像Ｉｊ´を生成する。これにより、たとえば図３の右図に示すような投影画像Ｉｊ´が生成される。この投影画像生成手段３０において生成された投影画像Ｉｊ´は、表示手段４０によってディスプレイ等の画像表示装置３上に表示される。
【００３０】
また、投影画像生成手段３０は、上記投影画像Ｉｊ´が生成および表示された後、その断層画像Ｉｊよりも起始部側に位置する他の断層画像Ｉｋ（ｋ∈ｉ、ｋ≠ｊ）を画像表示装置上に表示することを指示するマウスやキーボード等の入力装置２による操作者の入力を受け付けた場合、投影画像Ｉｋ´をさらに生成する。具体的には、図４の左図に示すように、前記部分構造Ｐｊの全体のうちの断層画像Ｉｋが部分構造Ｐｊと交差する点Ｓ´から木構造Ｍｓの起始部を表す点Ｏまでの経路を構成する第２の部分構造Ｐｋ（図中太線で表示）を特定し、特定された第２の部分構造Ｐｋを断層画像Ｉｋに投影した投影像Ｐｋ´を生成する。そして、その生成された投影像Ｐｋ´と断層画像Ｉｋとを重畳させてなる第２の投影画像Ｉｋ´を生成する。これにより、たとえば図４の右図に示すような第２の投影画像Ｉｋ´が生成される。この生成された第２の投影画像Ｉｋ´は、表示手段４０によって投影画像Ｉｊ´に切り替えてあるいは投影画像Ｉｊ´とともに画像表示装置３上に表示される。
【００３１】
次に、本発明の画像処理装置および方法ならびにプログラムの第２の実施の形態について説明する。図５は本発明の第２の実施形態となる画像処理装置１０１の概略構成図である。なお、図５のような画像処理装置１０１の構成は、補助記憶装置に読み込まれた画像処理プログラムをコンピュータ上で実行することにより実現される。このとき、この画像処理プログラムは、ＣＤ−ＲＯＭ等の記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされる。図５の画像処理装置１０１は、医者等がＣＴ、ＭＲＩ等の断層画像を画面に表示させて血管の状態を観察する場合に、その観察により適した表示を提供するものであって、構造抽出手段１１０、注目点設定手段１２０、投影画像生成手段１３０、表示手段１４０を備えている。以下、本実施の形態では、本発明における複数の所定の構造物が肝臓における門脈と肝動脈の２つの血管である場合について説明する。
【００３２】
構造抽出手段１１０は、肝臓が表された３次元画像Ｖから門脈を表す木構造Ｍｓ１と肝動脈を表す木構造Ｍｓ２をそれぞれ抽出するものである。具体的には、まず、３次元画像Ｖから血管の画像的特徴および／または構造的特徴を有する領域を検出し、その領域を細線化して得られた細線を分岐点および所定の距離などで分割することによりグラフを生成する。そして、生成されたグラフを構成する複数の候補点（ノード）の中から、形状モデル記憶手段ＤＢに記憶された門脈の形状モデルＭref１および肝動脈の形状モデルＭref２に一致もしくは最も類似する構造を形成する複数の候補点を、形状モデルＭref１と形状モデルＭref２を構成する複数の教師ラベルの各々に対応する対応点として選択し、選択された複数の対応点を形状モデルＭref１と形状モデルＭref２に略一致するように接続して門脈の木構造Ｍｓ１と肝動脈の木構造Ｍｓ２をを生成し、抽出する。これにより、たとえば図６、図８等に示すような木構造Ｍｓ１と木構造Ｍｓ２が作成される。
【００３３】
ここで、形状モデルＭref１は、門脈の一般的な形状を表す木構造のグラフであって、門脈を表す多数のサンプル画像を学習することによって取得することができ、形状モデルＭref２は、肝動脈の一般的な形状を表す木構造のグラフであって、肝動脈を表す多数のサンプル画像を学習することによって取得することができる。
【００３４】
注目点設定手段１２０は、３次元画像Ｖ上の任意の位置を指定する操作者による入力に応じて、前記抽出された複数の木構造上のいずれかの位置に注目点を設定するものであって、具体的には、ディスプレイ等の画像表示装置上に表示されたある断層画像Ｉｉに対して、その画像表示装置上の任意の位置を指定するマウスやキーボード等の入力手段による操作者の入力に応じて、その指定された位置に対応する断層画像Ｉｉ上の位置を取得し、さらにその取得された断層画像Ｉｉ上の位置に対応する３次元画像Ｖ上の位置を特定する。そして、特定された３次元画像Ｖ上の位置が木構造Ｍｓ１または木構造Ｍｓ２上に有る場合にはその位置に、特定された位置が木構造Ｍｓ１および木構造Ｍｓ２上のいずれかの位置にない場合にはその特定された位置から最も近い木構造Ｍｓ１および木構造Ｍｓ２上のいずれかの位置に、注目点Ｓを設定する。
【００３５】
投影画像生成手段１３０は、設定された注目点Ｓを含む断層画像と、その断層画像に前記抽出された木構造Ｍｓ１と木構造Ｍｓ２の全体のうち一部分構造を投影した投影像とを重畳させてなる投影画像を生成する。この投影画像の生成方法は、木構造Ｍｓ１と木構造Ｍｓ２間の位置関係および注目点Ｓの設定位置によって異なる。
【００３６】
図６に示すように、木構造Ｍｓ１と木構造Ｍｓ２が互いに連結する部分Ｊを有し、注目点Ｓがその連結する部分よりも下流側に設定されている場合、投影画像生成手段１３０は、図７の左図に示すように、注目点Ｓから木構造Ｍｓ１の起始部を表す点Ｏ１までおよび注目点Ｓから木構造Ｍｓ１の起始部を表す点Ｏ２までの両方の経路を構成する部分構造Ｐｊ（図中太線で表示）を特定し、特定された部分構造Ｐｊを断層画像Ｉｊに投影した投影像Ｐｊ´を生成する。そして、その生成された投影像Ｐｊ´と断層画像Ｉｊとを重畳させてなる投影画像Ｉｊ´を生成する。これにより、たとえば図７の右図に示すような投影画像Ｉｊ´が生成される。
【００３７】
一方、図８に示すように、木構造Ｍｓ１と木構造Ｍｓ２が互いに近接する部分Ｊを有し、注目点Ｓがその近接する部分よりも下流側に設定されている場合、投影画像生成手段１３０は、図９に示すように、注目点Ｓが設定された木構造Ｍｓ１上の注目点Ｓからその起始部を表す点Ｏ１までおよび前記近接する部分を有する他の木構造Ｍｓ２上の前記近接する部分からその起始部Ｏ２を表す点までの経路を構成する部分構造Ｐｊ（図中太線で表示）を特定し、特定された部分構造Ｐｊを断層画像Ｉｊに投影した投影像Ｐｊ´を生成する。そして、その生成された投影像Ｐｊ´と断層画像Ｉｊとを重畳させてなる投影画像Ｉｊ´を生成する。
【００３８】
このとき、注目点Ｓが設定された木構造Ｍｓ１の注目点Ｓよりも上流側に他の木構造Ｍｓ２と近接する部分であるかどうかは、図８の左図に示すように、注目点Ｓが設定された木構造Ｍｓ１上のエッジをエッジＥ０とし、エッジＥ０から木構造Ｍｓ１の起始部を表す点Ｏ1までの最短経路を構成する複数のエッジをエッジＥｉ（ｉ＝１〜n：nは最短路を構成するエッジの数）とし、エッジＥ０およびエッジＥｉの各々について、そのエッジが他の木構造Ｍｓ２と近接する部分であるかどうかを順次判定することにより調べる。
【００３９】
ここで、特定のエッジが他の木構造と近接する部分であるかどうかは、そのエッジの近傍に互いに直線をなすように接続可能なエッジのペアが２以上存在するか否かを調べることにより判定する。ここで、一組のエッジのペアが直線をなすように接続可能なものであるかどうかは、各エッジを含む直線間の最短距離および各エッジ間の角度がそれぞれ所定の閾値以下であるか否かによって判定することができる（特願２０１１−０６０１９３号公報参照）。たとえば、図１０に示すように、判定対象であるエッジＥｉの近傍に５つのエッジＥａ、Ｅｂ、Ｅｃ、Ｅｄ、Ｅｅが存在する場合、エッジＥａとエッジＥｄのペア、エッジＥｂとエッジＥｅのペアをそれぞれ直線をなすように接続可能なエッジのペアとして判定することができる。
【００４０】
また、投影画像生成手段１３０は、上記各方法により投影画像Ｉｊ´を生成する際に、門脈の木構造Ｍｓ１は青色、肝動脈の木構造Ｍｓ２は赤色といったように、木構造毎にその投影像の表示色を互いに区別可能に異ならせる。このように生成された投影画像Ｉｊ´は、表示手段１４０によってディスプレイ等の画像表示装置３上に表示される。
【００４１】
投影画像生成手段１３０は、さらに、上記投影画像Ｉｊ´が生成および表示された後、その断層画像Ｉｊよりも起始部側に位置する他の断層画像Ｉｋ（ｋ∈ｉ、ｋ≠ｊ）を画像表示装置上に表示することを指示するマウスやキーボード等の入力装置２による操作者の入力を受け付けた場合、第２の投影画像Ｉｋ´をさらに生成する。具体的には、前記部分構造Ｐｊの全体のうちの断層画像Ｉｋが部分構造Ｐｊと交差する点Ｓ´からその木構造の起始部を表す点までの経路を構成する第２の部分構造Ｐｋを特定し、特定された第２の部分構造Ｐｋを断層画像Ｉｋに投影した投影像Ｐｋ´を生成する。そして、その生成された投影像Ｐｋ´と断層画像Ｉｋとを重畳させてなる第２の投影画像Ｉｋ´を生成する。この生成された第２の投影画像Ｉｋ´は、表示手段１４０によって投影画像Ｉｊ´に切り替えてあるいは投影画像Ｉｊ´とともに画像表示装置３上に表示される。
【００４２】
以上に説明したとおり、上記各実施の形態によれば、構造抽出手段１０；１１０が、１つの起始部から分枝を繰返しながら広がって延びる血管を表す木構造Ｍｓ；Ｍｓ１、Ｍｓ２を３次元画像Ｖから抽出し、注目点設定手段２０；１２０が、３次元画像Ｖ上の任意の位置を指定する操作者による入力に応じて、前記抽出された木構造上に注目点Ｓを設定し、投影画像生成手段３０；１３０が、その設定された注目点Ｓを含む任意の断層画像Ｉｊと、該断層画像Ｉｊに前記抽出された木構造の全体のうち注目点から起始部を表す点までの経路を構成する部分構造Ｐｊを投影した投影像Ｐｊ´とを重畳させてなる投影画像Ｉｊ´を生成し、表示手段４０；１４０が、生成された投影画像Ｉｊ´を表示しているので、医者等の操作者に対し注目点Ｓと血管の起始部との位置関係を認識しやすく表示することができる。この表示により、熟練の医者等は注目点Ｓを設定した部分の血管が動脈か静脈かも容易に認識することができる。
【００４３】
また、上記第２の実施の形態によれば、設定された注目点Ｓが門脈と肝動脈の２つの血管のうちいずれの血管上の点であるかが不明確である場合に、注目点Ｓとそれらの全ての血管との位置関係を認識可能に表示しているので、いずれか一方の誤った構造物との位置関係のみを表示することによって誤った画像解析が行われてしまうような事態の発生を防止することができる。
【００４４】
なお、上記各実施の形態では、所定の構造物が肝静脈、門脈等の肝臓の血管である場合について例示しているが、所定の構造物は、１つの起始部から分枝を繰返しながら広がって延びる構造物であればよく、例えば肺または心臓の血管であってもよい。
【００４５】
また、上記各実施の形態では、注目点設定手段２０；１２０が、断層画像Ｉｊの表示に対する操作者の入力に応じて注目点Ｓを設定するものである場合について例示しているが、３次元画像Ｖの表示（たとえば、ボリュームレンダリング画像の表示）に対する操作者の入力に応じて注目点Ｓを設定するものであってもよい。
【００４６】
また、上記第２の実施の形態では、投影画像生成手段１３０が、注目点Ｓが設定された木構造の注目点Ｓよりも上流側に他の木構造と近接する部分が存在するかどうかを、上流側の各エッジについてその近傍に互いに直線をなすように接続可能なエッジのペアが２以上存在するか否かを調べることによって判定するものである場合について説明したが、たとえば上流側の各部分についてその部分と他の木構造との間隔の最小値が所定の閾値以下となる部分が存在するか否かを調べることによって判定するものであってもよい。
【符号の説明】
【００４７】
１ 画像処理装置
１０ 構造抽出手段
２０ 注目点設定手段
３０ 投影画像生成手段
４０ 表示手段
ＤＢ 形状モデル記憶手段
Ｉｉ 断層画像
Ｉｉ´ 投影画像
Ｍref 形状モデル
Ｍｓ 木構造
Ｏ 起始部を表す点
Ｐｊ 部分構造
Ｐｊ´ 投影像
Ｓ 注目点
Ｖ ３次元画像
【特許請求の範囲】
【請求項１】
１つの起始部から分枝を繰返しながら広がって延びる所定の構造物を表す木構造を３次元画像から抽出する構造抽出手段と、
前記３次元画像上の任意の位置を指定する操作者による入力に応じて、前記抽出された木構造上に注目点を設定する注目点設定手段と、
該設定された注目点を含む任意の断層画像と、該断層画像に前記抽出された木構造の全体のうち前記注目点から前記起始部を表す点までの経路を構成する部分構造を投影した投影像とを重畳させてなる投影画像を生成する投影画像生成手段と、
該生成された投影画像を表示する表示手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記構造抽出手段が、それぞれ１つの起始部から分枝を繰返しながら広がって延びる２以上の所定の構造物を表す複数の木構造を前記３次元画像から抽出するものであり、
前記注目点設定手段が、前記指定された前記３次元画像上の位置に基づいて、前記抽出された複数の木構造上のいずれかの位置に前記注目点を設定するものであり、
前記投影画像生成手段が、前記注目点設定手段により互いに連結する部分を有する複数の木構造上のその部分あるいはその部分よりも下流側に前記注目点が設定された場合、前記設定された注目点を含む任意の断層画像と、該断層画像に前記抽出された複数の木構造の全体のうち前記注目点から前記部分を有する複数の木構造の各々の起始部を表す点までの経路を構成する前記部分構造を投影した投影像とを重畳させてなる前記投影画像を生成するものであることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記構造抽出手段が、それぞれ１つの起始部から分枝を繰返しながら広がって延びる２以上の所定の構造物を表す複数の木構造を前記３次元画像から抽出するものであり、
前記注目点設定手段が、前記指定された前記３次元画像上の位置に基づいて、前記抽出された複数の木構造上のいずれかの位置に前記注目点を設定するものであり、
前記投影画像生成手段が、前記注目点設定手段により互いに近接する部分を有する複数の木構造上のその近接する部分あるいはその近接する部分よりも下流側に前記注目点が設定された場合、前記設定された注目点を含む任意の断層画像と、該断層画像に前記抽出された複数の木構造の全体のうち前記注目点が設定された木構造上の前記注目点からその起始部を表す点までおよび前記近接する部分を有する他の木構造上の前記近接する部分からその起始部を表す点までの経路を構成する前記部分構造を投影した投影像とを重畳させてなる前記投影画像を生成するものであることを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記投影画像生成手段が、前記部分構造と交差する任意の断層画像を指定する操作者の入力に応じて、前記指定された断層画像と、該断層画像に前記部分構造の全体のうち前記指定された断層画像が前記部分構造と交差する点から前記起始部を表す点までの経路を構成する第２の部分構造を投影した投影像とを重畳させてなる第２の投影画像を生成する機能をさらに有するものであり、
前記表示手段が、前記生成された第２の投影画像を前記投影画像に切り替えてあるいは前記投影画像とともに表示するものであることを特徴とする請求項１から３のいずれか１項記載の画像処理装置。
【請求項５】
前記投影画像生成手段が、２以上の異なる木構造の部分構造を投影して前記投影画像を生成する場合、木構造毎に投影像の表示色を互いに区別可能に異ならせるものであることを特徴とする請求項２から４のいずれか１項記載の画像処理装置。
【請求項６】
１つの起始部から分枝を繰返しながら広がって延びる所定の構造物を表す木構造を３次元画像から抽出する処理と、
前記３次元画像上の任意の位置を指定する操作者による入力に応じて、前記抽出された木構造上に注目点を設定する処理と、
該設定された注目点を含む任意の断層画像と、該断層画像に前記抽出された木構造の全体のうち前記注目点から前記起始部を表す点までの経路を構成する部分構造を投影した投影像とを重畳させてなる投影画像を生成する処理と、
該生成された投影画像を表示する処理とを
少なくとも１台のコンピュータにより実行することを特徴とする画像処理方法。
【請求項７】
前記木構造の抽出処理が、それぞれ１つの起始部から分枝を繰返しながら広がって延びる２以上の所定の構造物を表す複数の木構造を前記３次元画像から抽出するものであり、
前記注目点の設定処理が、前記指定された前記３次元画像上の位置に基づいて、前記抽出された複数の木構造上のいずれかの位置に前記注目点を設定するものであり、
前記投影画像の生成処理が、前記注目点の設定処理により互いに連結する部分を有する複数の木構造上のその部分あるいはその部分よりも下流側に前記注目点が設定された場合、前記設定された注目点を含む任意の断層画像と、該断層画像に前記抽出された複数の木構造の全体のうち前記注目点から前記部分を有する複数の木構造の各々の起始部を表す点までの経路を構成する前記部分構造を投影した投影像とを重畳させてなる前記投影画像を生成するものであることを特徴とする請求項６記載の画像処理方法。
【請求項８】
前記木構造の抽出処理が、それぞれ１つの起始部から分枝を繰返しながら広がって延びる２以上の所定の構造物を表す複数の木構造を前記３次元画像から抽出するものであり、
前記注目点の設定処理が、前記指定された前記３次元画像上の位置に基づいて、前記抽出された複数の木構造上のいずれかの位置に前記注目点を設定するものであり、
前記投影画像の生成処理が、前記注目点の設定処理により互いに近接する部分を有する複数の木構造上のその近接する部分あるいはその近接する部分よりも下流側に前記注目点が設定された場合、前記設定された注目点を含む任意の断層画像と、該断層画像に前記抽出された複数の木構造の全体のうち前記注目点が設定された木構造上の前記注目点からその起始部を表す点までおよび前記近接する部分を有する他の木構造上の前記近接する部分からその起始部を表す点までの経路を構成する前記部分構造を投影した投影像とを重畳させてなる前記投影画像を生成するものであることを特徴とする請求項６記載の画像処理方法。
【請求項９】
前記投影画像の生成処理が、前記部分構造と交差する任意の断層画像を指定する操作者の入力に応じて、前記指定された断層画像と、該断層画像に前記部分構造の全体のうち前記指定された断層画像が前記部分構造と交差する点から前記起始部を表す点までの経路を構成する第２の部分構造を投影した投影像とを重畳させてなる第２の投影画像を生成するものであり、
前記表示処理が、前記生成された第２の投影画像を前記投影画像に切り替えてあるいは前記投影画像とともに表示するものであることを特徴とする請求項６から８のいずれか１項記載の画像処理方法。
【請求項１０】
コンピュータを
１つの起始部から分枝を繰返しながら広がって延びる所定の構造物を表す木構造を３次元画像から抽出する構造抽出手段、
前記３次元画像上の任意の位置を指定する操作者による入力に応じて、前記抽出された木構造上に注目点を設定する注目点設定手段、
該設定された注目点を含む任意の断層画像と、該断層画像に前記抽出された木構造の全体のうち前記注目点から前記起始部を表す点までの経路を構成する部分構造を投影した投影像とを重畳させてなる投影画像を生成する投影画像生成手段、
該生成された投影画像を表示する表示手段
として機能させるための画像処理プログラム。
【請求項１】
１つの起始部から分枝を繰返しながら広がって延びる所定の構造物を表す木構造を３次元画像から抽出する構造抽出手段と、
前記３次元画像上の任意の位置を指定する操作者による入力に応じて、前記抽出された木構造上に注目点を設定する注目点設定手段と、
該設定された注目点を含む任意の断層画像と、該断層画像に前記抽出された木構造の全体のうち前記注目点から前記起始部を表す点までの経路を構成する部分構造を投影した投影像とを重畳させてなる投影画像を生成する投影画像生成手段と、
該生成された投影画像を表示する表示手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記構造抽出手段が、それぞれ１つの起始部から分枝を繰返しながら広がって延びる２以上の所定の構造物を表す複数の木構造を前記３次元画像から抽出するものであり、
前記注目点設定手段が、前記指定された前記３次元画像上の位置に基づいて、前記抽出された複数の木構造上のいずれかの位置に前記注目点を設定するものであり、
前記投影画像生成手段が、前記注目点設定手段により互いに連結する部分を有する複数の木構造上のその部分あるいはその部分よりも下流側に前記注目点が設定された場合、前記設定された注目点を含む任意の断層画像と、該断層画像に前記抽出された複数の木構造の全体のうち前記注目点から前記部分を有する複数の木構造の各々の起始部を表す点までの経路を構成する前記部分構造を投影した投影像とを重畳させてなる前記投影画像を生成するものであることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記構造抽出手段が、それぞれ１つの起始部から分枝を繰返しながら広がって延びる２以上の所定の構造物を表す複数の木構造を前記３次元画像から抽出するものであり、
前記注目点設定手段が、前記指定された前記３次元画像上の位置に基づいて、前記抽出された複数の木構造上のいずれかの位置に前記注目点を設定するものであり、
前記投影画像生成手段が、前記注目点設定手段により互いに近接する部分を有する複数の木構造上のその近接する部分あるいはその近接する部分よりも下流側に前記注目点が設定された場合、前記設定された注目点を含む任意の断層画像と、該断層画像に前記抽出された複数の木構造の全体のうち前記注目点が設定された木構造上の前記注目点からその起始部を表す点までおよび前記近接する部分を有する他の木構造上の前記近接する部分からその起始部を表す点までの経路を構成する前記部分構造を投影した投影像とを重畳させてなる前記投影画像を生成するものであることを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記投影画像生成手段が、前記部分構造と交差する任意の断層画像を指定する操作者の入力に応じて、前記指定された断層画像と、該断層画像に前記部分構造の全体のうち前記指定された断層画像が前記部分構造と交差する点から前記起始部を表す点までの経路を構成する第２の部分構造を投影した投影像とを重畳させてなる第２の投影画像を生成する機能をさらに有するものであり、
前記表示手段が、前記生成された第２の投影画像を前記投影画像に切り替えてあるいは前記投影画像とともに表示するものであることを特徴とする請求項１から３のいずれか１項記載の画像処理装置。
【請求項５】
前記投影画像生成手段が、２以上の異なる木構造の部分構造を投影して前記投影画像を生成する場合、木構造毎に投影像の表示色を互いに区別可能に異ならせるものであることを特徴とする請求項２から４のいずれか１項記載の画像処理装置。
【請求項６】
１つの起始部から分枝を繰返しながら広がって延びる所定の構造物を表す木構造を３次元画像から抽出する処理と、
前記３次元画像上の任意の位置を指定する操作者による入力に応じて、前記抽出された木構造上に注目点を設定する処理と、
該設定された注目点を含む任意の断層画像と、該断層画像に前記抽出された木構造の全体のうち前記注目点から前記起始部を表す点までの経路を構成する部分構造を投影した投影像とを重畳させてなる投影画像を生成する処理と、
該生成された投影画像を表示する処理とを
少なくとも１台のコンピュータにより実行することを特徴とする画像処理方法。
【請求項７】
前記木構造の抽出処理が、それぞれ１つの起始部から分枝を繰返しながら広がって延びる２以上の所定の構造物を表す複数の木構造を前記３次元画像から抽出するものであり、
前記注目点の設定処理が、前記指定された前記３次元画像上の位置に基づいて、前記抽出された複数の木構造上のいずれかの位置に前記注目点を設定するものであり、
前記投影画像の生成処理が、前記注目点の設定処理により互いに連結する部分を有する複数の木構造上のその部分あるいはその部分よりも下流側に前記注目点が設定された場合、前記設定された注目点を含む任意の断層画像と、該断層画像に前記抽出された複数の木構造の全体のうち前記注目点から前記部分を有する複数の木構造の各々の起始部を表す点までの経路を構成する前記部分構造を投影した投影像とを重畳させてなる前記投影画像を生成するものであることを特徴とする請求項６記載の画像処理方法。
【請求項８】
前記木構造の抽出処理が、それぞれ１つの起始部から分枝を繰返しながら広がって延びる２以上の所定の構造物を表す複数の木構造を前記３次元画像から抽出するものであり、
前記注目点の設定処理が、前記指定された前記３次元画像上の位置に基づいて、前記抽出された複数の木構造上のいずれかの位置に前記注目点を設定するものであり、
前記投影画像の生成処理が、前記注目点の設定処理により互いに近接する部分を有する複数の木構造上のその近接する部分あるいはその近接する部分よりも下流側に前記注目点が設定された場合、前記設定された注目点を含む任意の断層画像と、該断層画像に前記抽出された複数の木構造の全体のうち前記注目点が設定された木構造上の前記注目点からその起始部を表す点までおよび前記近接する部分を有する他の木構造上の前記近接する部分からその起始部を表す点までの経路を構成する前記部分構造を投影した投影像とを重畳させてなる前記投影画像を生成するものであることを特徴とする請求項６記載の画像処理方法。
【請求項９】
前記投影画像の生成処理が、前記部分構造と交差する任意の断層画像を指定する操作者の入力に応じて、前記指定された断層画像と、該断層画像に前記部分構造の全体のうち前記指定された断層画像が前記部分構造と交差する点から前記起始部を表す点までの経路を構成する第２の部分構造を投影した投影像とを重畳させてなる第２の投影画像を生成するものであり、
前記表示処理が、前記生成された第２の投影画像を前記投影画像に切り替えてあるいは前記投影画像とともに表示するものであることを特徴とする請求項６から８のいずれか１項記載の画像処理方法。
【請求項１０】
コンピュータを
１つの起始部から分枝を繰返しながら広がって延びる所定の構造物を表す木構造を３次元画像から抽出する構造抽出手段、
前記３次元画像上の任意の位置を指定する操作者による入力に応じて、前記抽出された木構造上に注目点を設定する注目点設定手段、
該設定された注目点を含む任意の断層画像と、該断層画像に前記抽出された木構造の全体のうち前記注目点から前記起始部を表す点までの経路を構成する部分構造を投影した投影像とを重畳させてなる投影画像を生成する投影画像生成手段、
該生成された投影画像を表示する表示手段
として機能させるための画像処理プログラム。
【図１】
【図２】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図３】
【図４】
【図７】
【図２】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図３】
【図４】
【図７】
【公開番号】特開２０１３−９４４３８（Ｐ２０１３−９４４３８Ａ）
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願番号】特願２０１１−２４０１１２（Ｐ２０１１−２４０１１２）
【出願日】平成２３年１１月１日（２０１１．１１．１）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願日】平成２３年１１月１日（２０１１．１１．１）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]