画像処理装置、方法、及びプログラム
【課題】管腔臓器を表す３次元画像から仮想内視鏡画像を生成する際に、視点ごとにその位置における管腔臓器の観察に適したオパシティーカーブを設定する。
【解決手段】領域特定部１３が、３次元画像Ｖにおいて、予め設定された視点ＶＰ、観察方向ＤＯおよび視野角ＶＡに基づいて仮想内視鏡画像の視野範囲ＶＲを取得し、視野範囲ＶＲ内にある気管支の内腔領域ＬＲと壁領域ＷＲを特定し、オパシティーカーブ設定部１４が、内腔領域ＬＲにおける画素値情報と壁領域ＷＲにおける画素値情報に基づいて、内腔領域ＬＲにおける画素値の範囲と壁領域ＷＲにおける画素値の範囲の境界となる画素値区間を求め、その画素値区間において不透明度が「０」から「１」の値に変化するようにオパシティーカーブＣを設定し、仮想内視鏡画像生成部１５が、そのオパシティーカーブＣを用いて、３次元画像Ｖからボリュームレンダリングにより仮想内視鏡画像ＶＥを生成する。
【解決手段】領域特定部１３が、３次元画像Ｖにおいて、予め設定された視点ＶＰ、観察方向ＤＯおよび視野角ＶＡに基づいて仮想内視鏡画像の視野範囲ＶＲを取得し、視野範囲ＶＲ内にある気管支の内腔領域ＬＲと壁領域ＷＲを特定し、オパシティーカーブ設定部１４が、内腔領域ＬＲにおける画素値情報と壁領域ＷＲにおける画素値情報に基づいて、内腔領域ＬＲにおける画素値の範囲と壁領域ＷＲにおける画素値の範囲の境界となる画素値区間を求め、その画素値区間において不透明度が「０」から「１」の値に変化するようにオパシティーカーブＣを設定し、仮想内視鏡画像生成部１５が、そのオパシティーカーブＣを用いて、３次元画像Ｖからボリュームレンダリングにより仮想内視鏡画像ＶＥを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、管腔臓器を表す３次元画像から仮想内視鏡画像を生成する画像処理装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、マルチスライスＣＴ等のモダリティの進歩に伴い、被検体を表す高画質の３次元画像が得られるようになってきた。これに伴い、擬似３次元的な画像を生成する医用画像処理技術の開発も進められている。仮想内視鏡表示法はその一例である。仮想内視鏡表示法とは、管腔の内部に視点を設定し、その視点に基づいて透視投影画像を生成し表示する方法である。仮想内視鏡表示では、ユーザが逐次的に視点を変更することで、あたかも内視鏡のカメラが身体内部を移動しながら撮影したような画像を提供することが可能である。
【０００３】
仮想内視鏡画像の生成手法としてはボリュームレンダリング法が知られている。ボリュームレンダリング法は、３次元画像に対して不透明度や色度を割り当て、レイキャスティングを行うことで可視化を行う手法である。このボリュームレンダリング法により仮想内視鏡画像を生成する際には、視点がおかれる内腔に該当する部分に不透明度「０」が割り当てられ、壁に該当する部分に不透明度「１」が割り当てられるように、画素値と不透明度との関係を表すオパシティーカーブを適切に設定することが必要である。
【０００４】
ところで、観察対象の管腔器官が気管支や血管などである場合、管腔の構造として末端にいくほど徐々に細くなり、管腔の根元の部分と末端の部分とでは画素値が大きく異なる。このため、根元の部分と末端の部分とで同一のオパシティーカーブを用いて仮想内視鏡画像を生成すると、根元の部分では管腔の内壁を表示できても、末端の部分では内壁を表示することができなくなるという問題がある。
【０００５】
この問題を解決するため、特許文献１では、視点位置を順次に変更しながら仮想内視鏡画像の生成し表示する際に、変更前の視点位置の周辺領域における画素値のヒストグラムを画素値を変数ｖとしてＨＤ（ｖ）とし、変更後の視点位置の周辺領域における画素値のヒストグラムをＨｎ（ｖ）としたとき、ＨＤ（ｖ−ｘ）で表わされるヒストグラムとヒストグラムＨｎ（ｖ）との類似度をｘの値を変化させつつ計算し、類似度が最大となるときのｘの値を移動量ｍとして決定し、変更前の視点位置でのオパシティーカーブＯＤ（ｖ）を移動量ｍだけ移動させてなるオパシティーカーブＯ（ｖ）（＝ＯＤ（ｖ−ｍ））を変更後の視点位置でのオパシティーカーブとして設定することが提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−２１２２１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記視点位置の周辺領域における画素値のヒストグラムには、視点位置の周辺領域に位置する全ての領域、すなわち視点位置の周辺領域に位置する管腔臓器の内腔領域と壁領域および視点位置の周辺領域に位置するその他の領域における画素値の分布が全てひっくるめて表されているため、このヒストグラムからは内腔領域における画素値の範囲と壁領域における画素値の範囲の境界を正確に求めることは困難である。このため、このヒストグラムに基づいてオパシティーカーブを設定する上記特許文献１の方法では、内腔領域に不透明度「０」が割り当てられ、壁領域に不透明度「１」が割り当てられるような適切なオパシティーカーブを設定することができないという問題がある。この問題は特に内腔領域と壁領域の画素値の差が小さい場合に顕著となる。
【０００８】
本発明は、上記事情に鑑み、管腔臓器を表す３次元画像から仮想内視鏡画像を生成する際に、視点ごとにその位置における管腔臓器の観察に適したオパシティーカーブを設定することができる画像処理装置、方法およびプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、管腔臓器を表す３次元画像から仮想内視鏡画像を生成する画像処理装置であって、３次元画像において、予め設定された視点の近傍に所定の範囲を設定し、その設定された範囲内にある管腔臓器の内腔領域と壁領域をそれぞれ特定する領域特定手段と、特定された内腔領域における画素値情報と特定された壁領域における画素値情報に基づいて、特定された内腔領域における画素値の範囲と特定された壁領域における画素値の範囲の境界となる画素値または画素値区間を求め、その画素値または画素値区間において不透明度が透明状態を表す値から不透明状態を表す値に変化するように、画素値と不透明度との関係を表すオパシティーカーブを設定するオパシティーカーブ設定手段と、前記設定された視点およびオパシティーカーブを用いて、３次元画像からボリュームレンダリングにより仮想内視鏡画像を生成する仮想内視鏡画像生成手段とを備えたことを特徴とする。
【００１０】
この画像処理装置において、前記所定の範囲は、設定された視点、観察方向、および視野角に基づいて決められた視野範囲であってもよいし、設定された視点を中心とした一定の距離内の領域であってもよい。
【００１１】
また、オパシティーカーブ設定手段は、内腔領域における画素値の範囲と壁領域における画素値の範囲が重なっている場合に、その重なっている値または区間を前記境界となる画素値または画素値区間として求めるものであってもよいし、内腔領域のヒストグラムにおいて縦軸の画素数が最大となる画素値（最大画素値）と壁領域のヒストグラムにおいて縦軸の画素数が最大となる画素値（最大画素値）とを求め、それらの最大画素値に基づいて内腔領域における画素値の範囲と壁領域における画素値の範囲の境界となる画素値または画素値区間を求めるものであってもよい。
【００１２】
また、オパシティーカーブ設定手段は、前記画素値区間において不透明度が透明状態を表す値から不透明状態を表す値に徐々に変化するようなオパシティーカーブを設定するものであってもよいし、その画素値区間内のある一点を境に透明状態を表す値から不透明状態を表す値にステップ状に変化するようなオパシティーカーブを設定するものであってもよい。
【００１３】
また、オパシティーカーブ設定手段は、内腔領域における画素値の範囲と壁領域における画素値の範囲が重なっている画素値区間において不透明度が透明状態を表す値から不透明状態を表す値に徐々に変化するようなオパシティーカーブを設定する場合に、その重なっている画素値区間における、内腔領域における画素値のヒストグラムと壁領域における画素値のヒストグラムの形に基づいて、その画素値区間内の各点におけるオパシティーカーブの傾きを決定するものであってもよい。
【００１４】
また、オパシティーカーブ設定手段は、基準となる視点およびその視点におけるオパシティーカーブを記憶しておき、前記設定された視点と前記基準となる視点との間の管腔臓器の走行方向に沿った距離を用いて、不透明度の許容変化値をその距離が近いほど小さい値となるように設定し、前記設定された視点におけるオパシティーカーブと前記基準となる視点におけるオパシティーカーブの同じ画素値に対応付けられている不透明度同士の差が前記設定された許容変化値を超えないように、前記設定された視点におけるオパシティーカーブを設定するものであってもよい。
【００１５】
ここで、基準となる視点は、所定の初期視点であってもよいし、視点の位置を変更したときの変更前の視点であってもよい。
【００１６】
また、上記画像処理装置は、前記所定の範囲における画素値に基づいてウインドウレベルおよびウインドウ幅を設定し、該設定されたウインドウレベルおよびウインドウ幅を用いて、前記３次元画像から前記管腔臓器を表すＣＰＲ画像を生成するＣＰＲ画像生成手段をさらに備えたものであってもよい。
【００１７】
また、本発明の画像処理方法は、上記画像処理装置の各手段が行う処理を、少なくとも１台のコンピュータにより実行する方法である。
【００１８】
本発明の画像処理プログラムは、上記画像処理方法を少なくとも１台のコンピュータに実行させるプログラムである。このプログラムは、ＣＤ−ＲＯＭ，ＤＶＤなどの記録メディアに記録され、またはサーバコンピュータに付属するストレージやネットワークストレージにダウンロード可能な状態で記録されて、ユーザに提供される。
【発明の効果】
【００１９】
本発明の画像処理装置、方法およびプログラムでは、管腔臓器を表す３次元画像から仮想内視鏡画像を生成する際に、３次元画像において、予め設定された視点の近傍に所定の範囲を設定し、その設定された範囲内にある管腔臓器の内腔領域と壁領域をそれぞれ特定し、特定された内腔領域における画素値情報と特定された壁領域における画素値情報に基づいて、特定された内腔領域における画素値の範囲と特定された壁領域における画素値の範囲の境界となる画素値または画素値区間を求め、その画素値または画素値区間において不透明度が透明状態を表す値から不透明状態を表す値に変化するように、画素値と不透明度との関係を表すオパシティーカーブを設定し、前記設定された視点およびオパシティーカーブを用いて、３次元画像からボリュームレンダリングにより仮想内視鏡画像を生成する。このようにすることで、視点ごとにその近傍における、内腔領域における画素値の範囲と壁領域における画素値の範囲の境界を正確に求めることができ、その視点位置における管腔臓器の観察に適したオパシティーカーブを設定することができる。
【００２０】
上記本発明の画像処理装置、方法およびプログラムにおいて、前記所定の範囲が、設定された視点、観察方向、および視野角に基づいて決められた視野範囲である場合には、仮想内視鏡画像による表示の対象領域における画素値情報に依存したオパシティーカーブを設定することができ、管腔臓器の観察により適した仮想内視鏡画像を提供することができる。
【００２１】
また、オパシティーカーブの設定処理が、基準となる視点およびその視点におけるオパシティーカーブを記憶しておき、前記設定された視点と前記基準となる視点との間の管腔臓器の走行方向に沿った距離を用いて、不透明度の許容変化値をその距離が近いほど小さい値となるように設定し、前記設定された視点におけるオパシティーカーブと前記基準となる視点におけるオパシティーカーブの同じ画素値に対応付けられている不透明度同士の差が前記設定された許容変化値を超えないように、前記設定された視点におけるオパシティーカーブを設定するものである場合には、視点位置を順次に変更しながら仮想内視鏡画像の生成し表示する際に、表示される画像間の繋がりを滑らかにでき、管腔臓器の観察により適した仮想内視鏡画像を提供することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施の形態に係る画像処理装置の概略構成を示す図
【図２】ディスプレイに表示される気管支領域を表す画像の一例を示す図
【図３】視野範囲内にある気管支の内腔領域と壁領域を示す図
【図４】内腔領域および壁領域のヒストグラムに基づくオパシティーカーブの設定方法を説明するための図
【図５】設定された視点と基準となる視点との間の芯線に沿った距離を示す図
【図６】基準となる視点におけるオパシティーカーブを考慮したオパシティーカーブの設定方法を説明するための図（その１）
【図７】基準となる視点におけるオパシティーカーブを考慮したオパシティーカーブの設定方法を説明するための図（その２）
【図８】表示制御手段によりディスプレイに表示される表示画面の一例を示す図
【発明を実施するための形態】
【００２３】
以下、本発明の画像処理装置、方法、及びプログラムの実施形態について説明する。図１に、コンピュータに、本発明の画像処理プログラムをインストールすることにより実現された画像処理装置１の概略構成を示す。画像処理装置１は、標準的なコンピュータの構成として、プロセッサおよびメモリを備え、さらに、ＨＤＤやＳＳＤ等のストレージ２を備えている。また、画像処理装置１には、ディスプレイ３と、マウス、キーボード等の入力装置４が接続されている。
【００２４】
画像処理プログラムと画像処理プログラムが参照する各種データは、インストール時にストレージ２に記憶され、起動時にメモリにロードされる。画像処理プログラムは、ＣＰＵに実行させる処理として、視点設定処理、観察方向・視野角設定処理、領域特定処理、オパシティーカーブ設定処理、仮想内視鏡画像生成処理、ウインドウレベル（ＷＬ）・ウインドウ幅（ＷＷ）設定処理、ＣＰＲ画像生成処理および表示制御処理を規定している。そして、プログラムの規定にしたがって、ＣＰＵが上記各処理を実行することにより、汎用のワークステーションは、視点設定部１１、観察方向・視野角設定部１２、領域特定部１３、オパシティーカーブ設定部１４、仮想内視鏡画像生成部１５、ＷＬ・ＷＷ設定部１６、ＣＰＲ画像生成部１７および表示制御部１８として機能する。
【００２５】
ストレージ２には、撮影を担当する検査部門から転送された３次元画像Ｖ（ボリュームデータ）、もしくはデータベース検索により取得された３次元画像Ｖが記憶される。３次元画像Ｖは、マルチスキャンＣＴ装置等から直接出力された３次元画像でもよいし、従来型のＣＴ装置等から出力された２次元のスライスデータ群を再構成することにより生成された３次元画像でもよい。
【００２６】
画像処理装置１は、患者の識別子や検査日等の３次元画像の特定に必要な情報を選択または入力するユーザの操作に応じて、ストレージ２に記憶されている複数の３次元画像の中から該当する３次元画像Ｖが特定し、その３次元画像Ｖをストレージ２からメモリにロードし、以下に説明する処理を実行する。ここでは、気管支等を表す３次元画像Ｖがメモリにロードされているものとする。
【００２７】
視点設定部１１は、上記３次元画像Ｖ上に仮想内視鏡画像の視点ＶＰを設定する。具体的には、領域拡張法等の公知の手法によって抽出した気管支領域を表す２値化画像に対して３次元の細線化処理を行うことにより気管支の中心部を通る線（以下、芯線という）を抽出し、例えば図２に示すような、抽出された気管支領域５（或いは気管支領域と芯線）を表す画像４１をディスプレイ３に表示させ、気管支領域５上の任意の位置を指定するユーザの操作に応じて、その指定された位置に対応する芯線ＣＬ上の位置を視点ＶＰとして設定する。
【００２８】
また、視点設定部１１は、視点ＶＰを移動させるためのユーザの操作を受け付けた場合は、その操作により指定された変更後の位置に視点ＶＰを設定する。この視点ＶＰを移動させるための操作は、入力装置４のマウスのホイール操作や、キーボードの上下矢印キーの押下等とすることができる。ここで、視点ＶＰの移動方向は、例えば、前進方向のホイール操作や上向き矢印キーの押下の場合には、後述する観察方向ＤＯと同じ向き（前進）とし、後退方向のホイール操作や下向き矢印キーの押下の場合には、観察方向ＤＯと反対向き（後退）とすることができる。
【００２９】
観察方向・視野角設定部１２は、前記抽出された芯線に沿った気管支の観察方向ＤＯを設定するとともに、仮想内視鏡画像の視野角ＶＡを設定する。具体的には、芯線の連結関係に基づいて芯線上の各画素を端点、エッジ（辺）および分岐点に分類することによって、気管支を表す木構造データを得、その木構造の起始部および末梢部のいずれか一方の側（例えば起始部側）の端点を始点、もう一方の端点を終点とし、芯線に沿って始点から終点に向かう方向を観察方向ＤＯとして設定する。また、予め設定されてストレージ２に記憶されている視野角のデフォルト値ω（例えば１２０度）、或いは視野角の値を直接選択または入力するユーザの操作があった場合には、その選択または入力された値ωを視野角ＶＡとして設定する。
【００３０】
領域特定部１３は、上記３次元画像Ｖにおいて、前記設定された視点ＶＰ、観察方向ＤＯ、および視野角ＶＡに基づいて仮想内視鏡画像の視野範囲ＶＲを取得し、該取得された視野範囲ＶＲ内にある気管支の内腔領域ＬＲと壁領域ＷＲをそれぞれ特定する。ここでは、視野範囲ＶＲは、図３に示すような、視点ＶＰを頂点として、観察方向ＤＯを中心に視野角ＶＡの角度（ω）で扇状に広がる所定大きさの範囲とする。
【００３１】
具体的には、３次元画像Ｖの全体における気管支の内腔領域５ａ（以下、全体内腔領域という）と壁領域５ｂ（以下、全体壁領域という）を、Benjamin L. Odrya, Atilla P. Kiralya, Greg G. Slabaugha, Carol L. Novaka, David P. Naidichb and Jean-Francois Lerallutc, “Active contour approach for accurate quantitative aiＷＲay analysis,” Medical Imaging 2008: Physiology, Function, and Structure from Medical Images. Proceedings of SPIE - Int'l. Society for Optical Engineering. Vol. 6916, p. 691613. February 2008.に記載された領域抽出法を用いてそれぞれ抽出し、抽出された全体内腔領域５ａが視野範囲ＶＲと重なる部分を内腔領域ＬＲとし、抽出された全体壁領域５ｂが視野範囲ＶＲと重なる部分を壁領域ＷＲとする（図３参照）。
【００３２】
なお、上記文献においてBenjaminらは、３次元画像を気管支の芯線に沿って切断した断面画像において、気管支の中央部から所定の距離（内腔径の１／２程度）だけ離れた位置に第１の初期曲線を設定し、その第１の初期曲線を予め設定された所定のエネルギー関数を最小とするように修正し、その修正後の曲線を気管支の内腔と気管支の壁との境界を表す曲線とし、さらに、その修正後の曲線から所定の距離（壁厚程度）だけ離れた位置に第２の初期曲線を設定し、その第２の初期曲線を予め設定された所定のエネルギー関数を最小とするように修正し、その修正後の曲線を気管支の壁と気管支外の部分との境界を表す曲線とすることによって、３次元画像の全体を気管支の内腔領域（全体内腔領域）、壁領域（全体壁領域）およびそれ以外の領域の３つの領域に分割する方法を提案している。
【００３３】
オパシティーカーブ設定部１４は、前記特定された内腔領域ＬＲおよび壁領域ＷＲにおける画素値の分布をそれぞれ取得し、それらの画素値の分布に基づいて、後述する仮想内視鏡画像の生成に用いられるオパシティーカーブＣを設定する。具体的には、内腔領域ＬＲにおける画素値の範囲と壁領域ＷＲにおける画素値の範囲の境界となる画素値または画素値区間を求め、その画素値または画素値区間において不透明度が透明状態を表す値から不透明状態を表す値に変化するオパシティーカーブＣを設定する
【００３４】
例えば、図４の最上図のグラフに示すように、内腔領域ＬＲにおける画素値のヒストグラムＨｌと壁領域ＷＲにおける画素値のヒストグラムＨｗが画素値区間[ａ，ｂ]で重なっている場合に、画素値区間[ａ，ｂ]において不透明度が「０」から「０」以外の値（たとえば「１」）に変化するオパシティーカーブＣを設定する。たとえば図４（ａ）のグラフに示すような、画素値区間[ａ，ｂ]において不透明度が「０」から「１」の値に直線的に変化するオパシティーカーブＣ１を設定する。
【００３５】
なお、このオパシティーカーブＣ１の代えて、図４（ｂ）のグラフに示すような、画素値区間[ａ，ｂ]において不透明度が「０」から「１」の値に曲線的に変化するものオパシティーカーブＣ２、または、図４の（ｃ）のグラフに示すような、画素値区間[ａ，ｂ]内のある一点を境に不透明度「０」から不透明度「１」にステップ状に変化するオパシティーカーブＣ３を設定してもよい。
【００３６】
また、オパシティーカーブ設定部１４は、基準となる視点ＶＰｋおよびその視点ＶＰｋにおけるオパシティーカーブＣｋを予めメモリに記憶しておき、視点設定部１１により設定された視点ＶＰと基準となる視点ＶＰｋとの間の芯線ＣＬ（気管支の走行方向）に沿った距離ｄ（図５参照）を用いて、不透明度の許容変化値ｋを設定し、視点ＶＰにおけるオパシティーカーブＣと基準となる視点ＶＰｋにおけるオパシティーカーブＣｋの同じ画素値に対応付けられている不透明度同士の差ｂが許容変化値ｋを超えないように、視点ＶＰにおけるオパシティーカーブＣを設定する機能を有する。ここで、不透明度の許容変化値ｋは、距離ｄが近いほど小さい値となるように設定される。
【００３７】
基準となる視点ＶＰｋは、例えば視点設定部１４が視点の位置を変更したときの変更前の視点とすることができる。この場合、オパシティーカーブ設定部１４は、視点設定部１４が視点を変更するたびに、変更前の視点およびその視点におけるオパシティーカーブがメモリに記憶されるように構成される。なお、所定の初期視点を基準となる視点ＶＰｋとすることもできる。
【００３８】
たとえば、まず、図６の上図に示すように、不透明度のとり得る値の範囲[０，１]内で、視点ＶＰｋにおけるオパシティーカーブＣｋから不透明度の軸方向（図６では上下方向）に許容変化値ｋの幅を有する許容範囲Ａを求める。ここでは、オパシティーカーブＣｋは、画素値区間[ａ１，ｂ１]において不透明度が「０」から「１」の値に直線的に変化するものとする。そして、図６の下図に示すように、その求められた許容範囲Ａに収まるように定められたオパシティーカーブＣ１を、視点ＶＰにおけるオパシティーカーブＣとして設定する。ここで、オパシティーカーブＣ１は、画素値区間[ａ２，ｂ２]において不透明度が「０」から「１」の値に直線的に変化するものであって、そのカーブが許容範囲Ａに収まるように、画素値区間[ａ２，ｂ２]におけるカーブの傾きが定められたものである。
【００３９】
オパシティーカーブ設定部１４は、上述した方法の他、ひとまず視点ＶＰにおける仮のオパシティーカーブＣ２を、基準となる視点ＶＰｋにおけるオパシティーカーブＣｋを考慮することなく作成した上で、その作成されたオパシティーカーブＣ２と視点ＶＰｋにおけるオパシティーカーブＣｋの同じ画素値に対応付けられている不透明度同士の差ｂが許容変化値ｋを超える部分が存在するか否かを判定し、超える部分が存在しないと判定された場合にはそのままのオパシティーカーブＣ２を、超える部分が存在すると判定された場合にはその差ｂが許容変化値ｋ以下となるようにオパシティーカーブＣｉ２を修正してなる修正後のオパシティーカーブＣ２´を、視点ＶＰにおけるオパシティーカーブＣとして設定するものであってもよい。
【００４０】
たとえば、図７の上図に示すように、視点ＶＰにおける仮のオパシティーカーブとして、画素値区間[ａ２，ｂ２]において不透明度が「０」から「１」の値に直線的に変化するオパシティーカーブＣ２を作成し、その作成されたオパシティーカーブＣ２と視点ＶＰｋにおけるオパシティーカーブＣｋの同じ画素値に対応付けられている不透明度同士の差ｂが許容変化値ｋを超える部分が存在するか否かを判定する。ここでは、オパシティーカーブＣ２は、画素値区間[ｃａ，ｃｂ]において、オパシティーカーブＣｋとの間で同じ画素値に対応付けられている不透明度同士の差ｂが許容変化値ｋを超えていると判定され、図７の下図に示すように、その差ｂが許容変化値ｋ以下となるようにオパシティーカーブＣ２を修正してなる修正後のオパシティーカーブＣ２´を、視点ＶＰにおけるオパシティーカーブＣとして設定する。
【００４１】
仮想内視鏡画像生成部１５は、前記設定された視点ＶＰ、観察方向ＶＯ、視野角ＶＡおよび前記設定されたオパシティーカーブＣを用いて、３次元画像Ｖからボリュームレンダリングにより仮想内視鏡画像ＶＥを生成する。
【００４２】
ＷＬ・ＷＷ設定部１６は、前記取得された視野範囲ＶＲにおける画素値の分布を取得し、その画素値の分布に基づいて、後述するＣＰＲ画像の生成に用いられるウインドウレベルＷＬおよびウインドウ幅ＷＷを設定する。たとえば、視野範囲ＶＲにおける画素値の範囲の中心値をウインドウレベルＷＬとして設定し、その画素値の範囲の幅の１／２をウインドウ幅ＷＷとして設定する。
【００４３】
ＣＰＲ画像生成部１７は、前記設定されたウインドウレベルＷＬおよびウインドウ幅ＷＷを用いて、３次元画像Ｖから、気管支をその芯線に沿って切断した切断面の画像ＣＰ（ＣＰＲ画像）生成し表示する。ＣＰＲ画像には、切断面を２次元平面画像として表示する際の手法別に、投影ＣＰＲ画像、伸張ＣＰＲ画像、ストレートＣＰＲ画像の３種類がある。
【００４４】
表示制御部１８は、ディスプレイ３における各種表示を制御するものであって、たとえば、仮想内視鏡画像生成部１５により生成された仮想内視鏡画像ＶＥを表示させる。或いは、仮想内視鏡画像ＶＥとＣＰＲ画像生成部１７により生成されたＣＰＲ画像ＣＰとを同時に表示するようにしてもよい。ここで、具体的な表示態様としては、図８に示したように両画像を並べて表示する態様４２が挙げられる。
【００４５】
また、視点設定部１１により設定された視点ＶＰに対応する各視点において、視野範囲ＶＲに対応する各視野範囲内の気管支の内部を内視鏡で撮像することによって得られた実内視鏡画像を取得するようにし、表示制御部１８が、上記仮想内視鏡画像ＶＥと実内視鏡画像とを同時に表示するようにしてもよい。
【００４６】
以上のように、本発明の実施形態によれば、管腔臓器を表す３次元画像から仮想内視鏡画像を生成するに際して、領域特定部１３が、視点設定部１１および観察方向・視野角設定部１２により設定された視点ＶＰ、観察方向ＤＯ、および視野角ＶＡに基づいて仮想内視鏡画像の視野範囲ＶＲを取得し、該取得された視野範囲ＶＲ内にある気管支の内腔領域ＬＲと壁領域ＷＲをそれぞれ特定し、オパシティーカーブ設定部１４が、内腔領域ＬＲにおける画素値のヒストグラムＨｌと壁領域ＷＲにおける画素値のヒストグラムＨｗに基づいて、内腔領域ＬＲにおける画素値の範囲と壁領域ＷＲにおける画素値の範囲の境界となる画素値または画素値区間を求め、その画素値または画素値区間において不透明度が「０」から「１」の値に変化するように、画素値と不透明度との関係を表すオパシティーカーブＣを設定し、仮想内視鏡画像生成部１５が、設定された視点ＶＰおよびオパシティーカーブＣを用いて、３次元画像Ｖからボリュームレンダリングにより仮想内視鏡画像ＶＥを生成する。これにより、視点ＶＰごとにその近傍における、内腔領域ＬＲにおける画素値の範囲と壁領域ＷＲにおける画素値の範囲の境界を正確に求めることができ、その視点ＶＰにおける気管支の観察に適したオパシティーカーブＣを設定し、仮想内視鏡画像ＶＥを生成することができる。
【００４７】
上記実施形態では、視点が芯線上にあるとして説明したが、視点は必ずしも芯線上になくてもよい。オパシティーカーブ設定部１４は、視点設定部１１により設定された視点ＶＰおよび基準となる視点ＶＰｋのいずれか一方または両方が芯線上に存在しない場合には、その芯線上に存在しない点に最も近い芯線上の対応点を求め、対応点の位置をその点の気管支内での位置として、前記視点ＶＰと視点ＶＰｋとの間の芯線に沿った距離ｄを求めてもよい。
【００４８】
また、上記実施形態では、領域特定部１３が、Benjaminらが提案する領域抽出法を用いて３次元画像Ｖの全体における気管支の内腔領域と壁領域をそれぞれ抽出するものである場合について説明したが、領域拡張法、グラフカット法などの他の公知の領域抽出方法によりそれらの領域を抽出するものであってもよい。
【００４９】
また、上記実施形態では、管腔構造として気管支を例にしたが、胃、気管、大腸等を対象とすることもできる。
【符号の説明】
【００５０】
１ 画像処理装置
２ ストレージ
３ ディスプレイ
４ 入力装置
５ 気管支領域
１１ 視点設定部
１２ 観察方向・視野角設定部
１３ 領域特定部
１４ オパシティーカーブ設定部
１５ 仮想内視鏡画像生成部
１６ ＷＬ・ＷＷ設定部
１７ ＣＰＲ画像生成部
１８ 表示制御部
Ｃ オパシティーカーブ
ＣＬ 芯線
ＣＰ ＣＰＲ画像
ＤＯ 観察方向
ｋ 許容変位値
ＬＲ 内腔領域
ＶＡ 視野角
ＶＥ 仮想内視鏡画像
ＶＰ 視点
ＶＲ 視野範囲
ＷＲ 壁領域
【技術分野】
【０００１】
本発明は、管腔臓器を表す３次元画像から仮想内視鏡画像を生成する画像処理装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、マルチスライスＣＴ等のモダリティの進歩に伴い、被検体を表す高画質の３次元画像が得られるようになってきた。これに伴い、擬似３次元的な画像を生成する医用画像処理技術の開発も進められている。仮想内視鏡表示法はその一例である。仮想内視鏡表示法とは、管腔の内部に視点を設定し、その視点に基づいて透視投影画像を生成し表示する方法である。仮想内視鏡表示では、ユーザが逐次的に視点を変更することで、あたかも内視鏡のカメラが身体内部を移動しながら撮影したような画像を提供することが可能である。
【０００３】
仮想内視鏡画像の生成手法としてはボリュームレンダリング法が知られている。ボリュームレンダリング法は、３次元画像に対して不透明度や色度を割り当て、レイキャスティングを行うことで可視化を行う手法である。このボリュームレンダリング法により仮想内視鏡画像を生成する際には、視点がおかれる内腔に該当する部分に不透明度「０」が割り当てられ、壁に該当する部分に不透明度「１」が割り当てられるように、画素値と不透明度との関係を表すオパシティーカーブを適切に設定することが必要である。
【０００４】
ところで、観察対象の管腔器官が気管支や血管などである場合、管腔の構造として末端にいくほど徐々に細くなり、管腔の根元の部分と末端の部分とでは画素値が大きく異なる。このため、根元の部分と末端の部分とで同一のオパシティーカーブを用いて仮想内視鏡画像を生成すると、根元の部分では管腔の内壁を表示できても、末端の部分では内壁を表示することができなくなるという問題がある。
【０００５】
この問題を解決するため、特許文献１では、視点位置を順次に変更しながら仮想内視鏡画像の生成し表示する際に、変更前の視点位置の周辺領域における画素値のヒストグラムを画素値を変数ｖとしてＨＤ（ｖ）とし、変更後の視点位置の周辺領域における画素値のヒストグラムをＨｎ（ｖ）としたとき、ＨＤ（ｖ−ｘ）で表わされるヒストグラムとヒストグラムＨｎ（ｖ）との類似度をｘの値を変化させつつ計算し、類似度が最大となるときのｘの値を移動量ｍとして決定し、変更前の視点位置でのオパシティーカーブＯＤ（ｖ）を移動量ｍだけ移動させてなるオパシティーカーブＯ（ｖ）（＝ＯＤ（ｖ−ｍ））を変更後の視点位置でのオパシティーカーブとして設定することが提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−２１２２１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記視点位置の周辺領域における画素値のヒストグラムには、視点位置の周辺領域に位置する全ての領域、すなわち視点位置の周辺領域に位置する管腔臓器の内腔領域と壁領域および視点位置の周辺領域に位置するその他の領域における画素値の分布が全てひっくるめて表されているため、このヒストグラムからは内腔領域における画素値の範囲と壁領域における画素値の範囲の境界を正確に求めることは困難である。このため、このヒストグラムに基づいてオパシティーカーブを設定する上記特許文献１の方法では、内腔領域に不透明度「０」が割り当てられ、壁領域に不透明度「１」が割り当てられるような適切なオパシティーカーブを設定することができないという問題がある。この問題は特に内腔領域と壁領域の画素値の差が小さい場合に顕著となる。
【０００８】
本発明は、上記事情に鑑み、管腔臓器を表す３次元画像から仮想内視鏡画像を生成する際に、視点ごとにその位置における管腔臓器の観察に適したオパシティーカーブを設定することができる画像処理装置、方法およびプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、管腔臓器を表す３次元画像から仮想内視鏡画像を生成する画像処理装置であって、３次元画像において、予め設定された視点の近傍に所定の範囲を設定し、その設定された範囲内にある管腔臓器の内腔領域と壁領域をそれぞれ特定する領域特定手段と、特定された内腔領域における画素値情報と特定された壁領域における画素値情報に基づいて、特定された内腔領域における画素値の範囲と特定された壁領域における画素値の範囲の境界となる画素値または画素値区間を求め、その画素値または画素値区間において不透明度が透明状態を表す値から不透明状態を表す値に変化するように、画素値と不透明度との関係を表すオパシティーカーブを設定するオパシティーカーブ設定手段と、前記設定された視点およびオパシティーカーブを用いて、３次元画像からボリュームレンダリングにより仮想内視鏡画像を生成する仮想内視鏡画像生成手段とを備えたことを特徴とする。
【００１０】
この画像処理装置において、前記所定の範囲は、設定された視点、観察方向、および視野角に基づいて決められた視野範囲であってもよいし、設定された視点を中心とした一定の距離内の領域であってもよい。
【００１１】
また、オパシティーカーブ設定手段は、内腔領域における画素値の範囲と壁領域における画素値の範囲が重なっている場合に、その重なっている値または区間を前記境界となる画素値または画素値区間として求めるものであってもよいし、内腔領域のヒストグラムにおいて縦軸の画素数が最大となる画素値（最大画素値）と壁領域のヒストグラムにおいて縦軸の画素数が最大となる画素値（最大画素値）とを求め、それらの最大画素値に基づいて内腔領域における画素値の範囲と壁領域における画素値の範囲の境界となる画素値または画素値区間を求めるものであってもよい。
【００１２】
また、オパシティーカーブ設定手段は、前記画素値区間において不透明度が透明状態を表す値から不透明状態を表す値に徐々に変化するようなオパシティーカーブを設定するものであってもよいし、その画素値区間内のある一点を境に透明状態を表す値から不透明状態を表す値にステップ状に変化するようなオパシティーカーブを設定するものであってもよい。
【００１３】
また、オパシティーカーブ設定手段は、内腔領域における画素値の範囲と壁領域における画素値の範囲が重なっている画素値区間において不透明度が透明状態を表す値から不透明状態を表す値に徐々に変化するようなオパシティーカーブを設定する場合に、その重なっている画素値区間における、内腔領域における画素値のヒストグラムと壁領域における画素値のヒストグラムの形に基づいて、その画素値区間内の各点におけるオパシティーカーブの傾きを決定するものであってもよい。
【００１４】
また、オパシティーカーブ設定手段は、基準となる視点およびその視点におけるオパシティーカーブを記憶しておき、前記設定された視点と前記基準となる視点との間の管腔臓器の走行方向に沿った距離を用いて、不透明度の許容変化値をその距離が近いほど小さい値となるように設定し、前記設定された視点におけるオパシティーカーブと前記基準となる視点におけるオパシティーカーブの同じ画素値に対応付けられている不透明度同士の差が前記設定された許容変化値を超えないように、前記設定された視点におけるオパシティーカーブを設定するものであってもよい。
【００１５】
ここで、基準となる視点は、所定の初期視点であってもよいし、視点の位置を変更したときの変更前の視点であってもよい。
【００１６】
また、上記画像処理装置は、前記所定の範囲における画素値に基づいてウインドウレベルおよびウインドウ幅を設定し、該設定されたウインドウレベルおよびウインドウ幅を用いて、前記３次元画像から前記管腔臓器を表すＣＰＲ画像を生成するＣＰＲ画像生成手段をさらに備えたものであってもよい。
【００１７】
また、本発明の画像処理方法は、上記画像処理装置の各手段が行う処理を、少なくとも１台のコンピュータにより実行する方法である。
【００１８】
本発明の画像処理プログラムは、上記画像処理方法を少なくとも１台のコンピュータに実行させるプログラムである。このプログラムは、ＣＤ−ＲＯＭ，ＤＶＤなどの記録メディアに記録され、またはサーバコンピュータに付属するストレージやネットワークストレージにダウンロード可能な状態で記録されて、ユーザに提供される。
【発明の効果】
【００１９】
本発明の画像処理装置、方法およびプログラムでは、管腔臓器を表す３次元画像から仮想内視鏡画像を生成する際に、３次元画像において、予め設定された視点の近傍に所定の範囲を設定し、その設定された範囲内にある管腔臓器の内腔領域と壁領域をそれぞれ特定し、特定された内腔領域における画素値情報と特定された壁領域における画素値情報に基づいて、特定された内腔領域における画素値の範囲と特定された壁領域における画素値の範囲の境界となる画素値または画素値区間を求め、その画素値または画素値区間において不透明度が透明状態を表す値から不透明状態を表す値に変化するように、画素値と不透明度との関係を表すオパシティーカーブを設定し、前記設定された視点およびオパシティーカーブを用いて、３次元画像からボリュームレンダリングにより仮想内視鏡画像を生成する。このようにすることで、視点ごとにその近傍における、内腔領域における画素値の範囲と壁領域における画素値の範囲の境界を正確に求めることができ、その視点位置における管腔臓器の観察に適したオパシティーカーブを設定することができる。
【００２０】
上記本発明の画像処理装置、方法およびプログラムにおいて、前記所定の範囲が、設定された視点、観察方向、および視野角に基づいて決められた視野範囲である場合には、仮想内視鏡画像による表示の対象領域における画素値情報に依存したオパシティーカーブを設定することができ、管腔臓器の観察により適した仮想内視鏡画像を提供することができる。
【００２１】
また、オパシティーカーブの設定処理が、基準となる視点およびその視点におけるオパシティーカーブを記憶しておき、前記設定された視点と前記基準となる視点との間の管腔臓器の走行方向に沿った距離を用いて、不透明度の許容変化値をその距離が近いほど小さい値となるように設定し、前記設定された視点におけるオパシティーカーブと前記基準となる視点におけるオパシティーカーブの同じ画素値に対応付けられている不透明度同士の差が前記設定された許容変化値を超えないように、前記設定された視点におけるオパシティーカーブを設定するものである場合には、視点位置を順次に変更しながら仮想内視鏡画像の生成し表示する際に、表示される画像間の繋がりを滑らかにでき、管腔臓器の観察により適した仮想内視鏡画像を提供することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施の形態に係る画像処理装置の概略構成を示す図
【図２】ディスプレイに表示される気管支領域を表す画像の一例を示す図
【図３】視野範囲内にある気管支の内腔領域と壁領域を示す図
【図４】内腔領域および壁領域のヒストグラムに基づくオパシティーカーブの設定方法を説明するための図
【図５】設定された視点と基準となる視点との間の芯線に沿った距離を示す図
【図６】基準となる視点におけるオパシティーカーブを考慮したオパシティーカーブの設定方法を説明するための図（その１）
【図７】基準となる視点におけるオパシティーカーブを考慮したオパシティーカーブの設定方法を説明するための図（その２）
【図８】表示制御手段によりディスプレイに表示される表示画面の一例を示す図
【発明を実施するための形態】
【００２３】
以下、本発明の画像処理装置、方法、及びプログラムの実施形態について説明する。図１に、コンピュータに、本発明の画像処理プログラムをインストールすることにより実現された画像処理装置１の概略構成を示す。画像処理装置１は、標準的なコンピュータの構成として、プロセッサおよびメモリを備え、さらに、ＨＤＤやＳＳＤ等のストレージ２を備えている。また、画像処理装置１には、ディスプレイ３と、マウス、キーボード等の入力装置４が接続されている。
【００２４】
画像処理プログラムと画像処理プログラムが参照する各種データは、インストール時にストレージ２に記憶され、起動時にメモリにロードされる。画像処理プログラムは、ＣＰＵに実行させる処理として、視点設定処理、観察方向・視野角設定処理、領域特定処理、オパシティーカーブ設定処理、仮想内視鏡画像生成処理、ウインドウレベル（ＷＬ）・ウインドウ幅（ＷＷ）設定処理、ＣＰＲ画像生成処理および表示制御処理を規定している。そして、プログラムの規定にしたがって、ＣＰＵが上記各処理を実行することにより、汎用のワークステーションは、視点設定部１１、観察方向・視野角設定部１２、領域特定部１３、オパシティーカーブ設定部１４、仮想内視鏡画像生成部１５、ＷＬ・ＷＷ設定部１６、ＣＰＲ画像生成部１７および表示制御部１８として機能する。
【００２５】
ストレージ２には、撮影を担当する検査部門から転送された３次元画像Ｖ（ボリュームデータ）、もしくはデータベース検索により取得された３次元画像Ｖが記憶される。３次元画像Ｖは、マルチスキャンＣＴ装置等から直接出力された３次元画像でもよいし、従来型のＣＴ装置等から出力された２次元のスライスデータ群を再構成することにより生成された３次元画像でもよい。
【００２６】
画像処理装置１は、患者の識別子や検査日等の３次元画像の特定に必要な情報を選択または入力するユーザの操作に応じて、ストレージ２に記憶されている複数の３次元画像の中から該当する３次元画像Ｖが特定し、その３次元画像Ｖをストレージ２からメモリにロードし、以下に説明する処理を実行する。ここでは、気管支等を表す３次元画像Ｖがメモリにロードされているものとする。
【００２７】
視点設定部１１は、上記３次元画像Ｖ上に仮想内視鏡画像の視点ＶＰを設定する。具体的には、領域拡張法等の公知の手法によって抽出した気管支領域を表す２値化画像に対して３次元の細線化処理を行うことにより気管支の中心部を通る線（以下、芯線という）を抽出し、例えば図２に示すような、抽出された気管支領域５（或いは気管支領域と芯線）を表す画像４１をディスプレイ３に表示させ、気管支領域５上の任意の位置を指定するユーザの操作に応じて、その指定された位置に対応する芯線ＣＬ上の位置を視点ＶＰとして設定する。
【００２８】
また、視点設定部１１は、視点ＶＰを移動させるためのユーザの操作を受け付けた場合は、その操作により指定された変更後の位置に視点ＶＰを設定する。この視点ＶＰを移動させるための操作は、入力装置４のマウスのホイール操作や、キーボードの上下矢印キーの押下等とすることができる。ここで、視点ＶＰの移動方向は、例えば、前進方向のホイール操作や上向き矢印キーの押下の場合には、後述する観察方向ＤＯと同じ向き（前進）とし、後退方向のホイール操作や下向き矢印キーの押下の場合には、観察方向ＤＯと反対向き（後退）とすることができる。
【００２９】
観察方向・視野角設定部１２は、前記抽出された芯線に沿った気管支の観察方向ＤＯを設定するとともに、仮想内視鏡画像の視野角ＶＡを設定する。具体的には、芯線の連結関係に基づいて芯線上の各画素を端点、エッジ（辺）および分岐点に分類することによって、気管支を表す木構造データを得、その木構造の起始部および末梢部のいずれか一方の側（例えば起始部側）の端点を始点、もう一方の端点を終点とし、芯線に沿って始点から終点に向かう方向を観察方向ＤＯとして設定する。また、予め設定されてストレージ２に記憶されている視野角のデフォルト値ω（例えば１２０度）、或いは視野角の値を直接選択または入力するユーザの操作があった場合には、その選択または入力された値ωを視野角ＶＡとして設定する。
【００３０】
領域特定部１３は、上記３次元画像Ｖにおいて、前記設定された視点ＶＰ、観察方向ＤＯ、および視野角ＶＡに基づいて仮想内視鏡画像の視野範囲ＶＲを取得し、該取得された視野範囲ＶＲ内にある気管支の内腔領域ＬＲと壁領域ＷＲをそれぞれ特定する。ここでは、視野範囲ＶＲは、図３に示すような、視点ＶＰを頂点として、観察方向ＤＯを中心に視野角ＶＡの角度（ω）で扇状に広がる所定大きさの範囲とする。
【００３１】
具体的には、３次元画像Ｖの全体における気管支の内腔領域５ａ（以下、全体内腔領域という）と壁領域５ｂ（以下、全体壁領域という）を、Benjamin L. Odrya, Atilla P. Kiralya, Greg G. Slabaugha, Carol L. Novaka, David P. Naidichb and Jean-Francois Lerallutc, “Active contour approach for accurate quantitative aiＷＲay analysis,” Medical Imaging 2008: Physiology, Function, and Structure from Medical Images. Proceedings of SPIE - Int'l. Society for Optical Engineering. Vol. 6916, p. 691613. February 2008.に記載された領域抽出法を用いてそれぞれ抽出し、抽出された全体内腔領域５ａが視野範囲ＶＲと重なる部分を内腔領域ＬＲとし、抽出された全体壁領域５ｂが視野範囲ＶＲと重なる部分を壁領域ＷＲとする（図３参照）。
【００３２】
なお、上記文献においてBenjaminらは、３次元画像を気管支の芯線に沿って切断した断面画像において、気管支の中央部から所定の距離（内腔径の１／２程度）だけ離れた位置に第１の初期曲線を設定し、その第１の初期曲線を予め設定された所定のエネルギー関数を最小とするように修正し、その修正後の曲線を気管支の内腔と気管支の壁との境界を表す曲線とし、さらに、その修正後の曲線から所定の距離（壁厚程度）だけ離れた位置に第２の初期曲線を設定し、その第２の初期曲線を予め設定された所定のエネルギー関数を最小とするように修正し、その修正後の曲線を気管支の壁と気管支外の部分との境界を表す曲線とすることによって、３次元画像の全体を気管支の内腔領域（全体内腔領域）、壁領域（全体壁領域）およびそれ以外の領域の３つの領域に分割する方法を提案している。
【００３３】
オパシティーカーブ設定部１４は、前記特定された内腔領域ＬＲおよび壁領域ＷＲにおける画素値の分布をそれぞれ取得し、それらの画素値の分布に基づいて、後述する仮想内視鏡画像の生成に用いられるオパシティーカーブＣを設定する。具体的には、内腔領域ＬＲにおける画素値の範囲と壁領域ＷＲにおける画素値の範囲の境界となる画素値または画素値区間を求め、その画素値または画素値区間において不透明度が透明状態を表す値から不透明状態を表す値に変化するオパシティーカーブＣを設定する
【００３４】
例えば、図４の最上図のグラフに示すように、内腔領域ＬＲにおける画素値のヒストグラムＨｌと壁領域ＷＲにおける画素値のヒストグラムＨｗが画素値区間[ａ，ｂ]で重なっている場合に、画素値区間[ａ，ｂ]において不透明度が「０」から「０」以外の値（たとえば「１」）に変化するオパシティーカーブＣを設定する。たとえば図４（ａ）のグラフに示すような、画素値区間[ａ，ｂ]において不透明度が「０」から「１」の値に直線的に変化するオパシティーカーブＣ１を設定する。
【００３５】
なお、このオパシティーカーブＣ１の代えて、図４（ｂ）のグラフに示すような、画素値区間[ａ，ｂ]において不透明度が「０」から「１」の値に曲線的に変化するものオパシティーカーブＣ２、または、図４の（ｃ）のグラフに示すような、画素値区間[ａ，ｂ]内のある一点を境に不透明度「０」から不透明度「１」にステップ状に変化するオパシティーカーブＣ３を設定してもよい。
【００３６】
また、オパシティーカーブ設定部１４は、基準となる視点ＶＰｋおよびその視点ＶＰｋにおけるオパシティーカーブＣｋを予めメモリに記憶しておき、視点設定部１１により設定された視点ＶＰと基準となる視点ＶＰｋとの間の芯線ＣＬ（気管支の走行方向）に沿った距離ｄ（図５参照）を用いて、不透明度の許容変化値ｋを設定し、視点ＶＰにおけるオパシティーカーブＣと基準となる視点ＶＰｋにおけるオパシティーカーブＣｋの同じ画素値に対応付けられている不透明度同士の差ｂが許容変化値ｋを超えないように、視点ＶＰにおけるオパシティーカーブＣを設定する機能を有する。ここで、不透明度の許容変化値ｋは、距離ｄが近いほど小さい値となるように設定される。
【００３７】
基準となる視点ＶＰｋは、例えば視点設定部１４が視点の位置を変更したときの変更前の視点とすることができる。この場合、オパシティーカーブ設定部１４は、視点設定部１４が視点を変更するたびに、変更前の視点およびその視点におけるオパシティーカーブがメモリに記憶されるように構成される。なお、所定の初期視点を基準となる視点ＶＰｋとすることもできる。
【００３８】
たとえば、まず、図６の上図に示すように、不透明度のとり得る値の範囲[０，１]内で、視点ＶＰｋにおけるオパシティーカーブＣｋから不透明度の軸方向（図６では上下方向）に許容変化値ｋの幅を有する許容範囲Ａを求める。ここでは、オパシティーカーブＣｋは、画素値区間[ａ１，ｂ１]において不透明度が「０」から「１」の値に直線的に変化するものとする。そして、図６の下図に示すように、その求められた許容範囲Ａに収まるように定められたオパシティーカーブＣ１を、視点ＶＰにおけるオパシティーカーブＣとして設定する。ここで、オパシティーカーブＣ１は、画素値区間[ａ２，ｂ２]において不透明度が「０」から「１」の値に直線的に変化するものであって、そのカーブが許容範囲Ａに収まるように、画素値区間[ａ２，ｂ２]におけるカーブの傾きが定められたものである。
【００３９】
オパシティーカーブ設定部１４は、上述した方法の他、ひとまず視点ＶＰにおける仮のオパシティーカーブＣ２を、基準となる視点ＶＰｋにおけるオパシティーカーブＣｋを考慮することなく作成した上で、その作成されたオパシティーカーブＣ２と視点ＶＰｋにおけるオパシティーカーブＣｋの同じ画素値に対応付けられている不透明度同士の差ｂが許容変化値ｋを超える部分が存在するか否かを判定し、超える部分が存在しないと判定された場合にはそのままのオパシティーカーブＣ２を、超える部分が存在すると判定された場合にはその差ｂが許容変化値ｋ以下となるようにオパシティーカーブＣｉ２を修正してなる修正後のオパシティーカーブＣ２´を、視点ＶＰにおけるオパシティーカーブＣとして設定するものであってもよい。
【００４０】
たとえば、図７の上図に示すように、視点ＶＰにおける仮のオパシティーカーブとして、画素値区間[ａ２，ｂ２]において不透明度が「０」から「１」の値に直線的に変化するオパシティーカーブＣ２を作成し、その作成されたオパシティーカーブＣ２と視点ＶＰｋにおけるオパシティーカーブＣｋの同じ画素値に対応付けられている不透明度同士の差ｂが許容変化値ｋを超える部分が存在するか否かを判定する。ここでは、オパシティーカーブＣ２は、画素値区間[ｃａ，ｃｂ]において、オパシティーカーブＣｋとの間で同じ画素値に対応付けられている不透明度同士の差ｂが許容変化値ｋを超えていると判定され、図７の下図に示すように、その差ｂが許容変化値ｋ以下となるようにオパシティーカーブＣ２を修正してなる修正後のオパシティーカーブＣ２´を、視点ＶＰにおけるオパシティーカーブＣとして設定する。
【００４１】
仮想内視鏡画像生成部１５は、前記設定された視点ＶＰ、観察方向ＶＯ、視野角ＶＡおよび前記設定されたオパシティーカーブＣを用いて、３次元画像Ｖからボリュームレンダリングにより仮想内視鏡画像ＶＥを生成する。
【００４２】
ＷＬ・ＷＷ設定部１６は、前記取得された視野範囲ＶＲにおける画素値の分布を取得し、その画素値の分布に基づいて、後述するＣＰＲ画像の生成に用いられるウインドウレベルＷＬおよびウインドウ幅ＷＷを設定する。たとえば、視野範囲ＶＲにおける画素値の範囲の中心値をウインドウレベルＷＬとして設定し、その画素値の範囲の幅の１／２をウインドウ幅ＷＷとして設定する。
【００４３】
ＣＰＲ画像生成部１７は、前記設定されたウインドウレベルＷＬおよびウインドウ幅ＷＷを用いて、３次元画像Ｖから、気管支をその芯線に沿って切断した切断面の画像ＣＰ（ＣＰＲ画像）生成し表示する。ＣＰＲ画像には、切断面を２次元平面画像として表示する際の手法別に、投影ＣＰＲ画像、伸張ＣＰＲ画像、ストレートＣＰＲ画像の３種類がある。
【００４４】
表示制御部１８は、ディスプレイ３における各種表示を制御するものであって、たとえば、仮想内視鏡画像生成部１５により生成された仮想内視鏡画像ＶＥを表示させる。或いは、仮想内視鏡画像ＶＥとＣＰＲ画像生成部１７により生成されたＣＰＲ画像ＣＰとを同時に表示するようにしてもよい。ここで、具体的な表示態様としては、図８に示したように両画像を並べて表示する態様４２が挙げられる。
【００４５】
また、視点設定部１１により設定された視点ＶＰに対応する各視点において、視野範囲ＶＲに対応する各視野範囲内の気管支の内部を内視鏡で撮像することによって得られた実内視鏡画像を取得するようにし、表示制御部１８が、上記仮想内視鏡画像ＶＥと実内視鏡画像とを同時に表示するようにしてもよい。
【００４６】
以上のように、本発明の実施形態によれば、管腔臓器を表す３次元画像から仮想内視鏡画像を生成するに際して、領域特定部１３が、視点設定部１１および観察方向・視野角設定部１２により設定された視点ＶＰ、観察方向ＤＯ、および視野角ＶＡに基づいて仮想内視鏡画像の視野範囲ＶＲを取得し、該取得された視野範囲ＶＲ内にある気管支の内腔領域ＬＲと壁領域ＷＲをそれぞれ特定し、オパシティーカーブ設定部１４が、内腔領域ＬＲにおける画素値のヒストグラムＨｌと壁領域ＷＲにおける画素値のヒストグラムＨｗに基づいて、内腔領域ＬＲにおける画素値の範囲と壁領域ＷＲにおける画素値の範囲の境界となる画素値または画素値区間を求め、その画素値または画素値区間において不透明度が「０」から「１」の値に変化するように、画素値と不透明度との関係を表すオパシティーカーブＣを設定し、仮想内視鏡画像生成部１５が、設定された視点ＶＰおよびオパシティーカーブＣを用いて、３次元画像Ｖからボリュームレンダリングにより仮想内視鏡画像ＶＥを生成する。これにより、視点ＶＰごとにその近傍における、内腔領域ＬＲにおける画素値の範囲と壁領域ＷＲにおける画素値の範囲の境界を正確に求めることができ、その視点ＶＰにおける気管支の観察に適したオパシティーカーブＣを設定し、仮想内視鏡画像ＶＥを生成することができる。
【００４７】
上記実施形態では、視点が芯線上にあるとして説明したが、視点は必ずしも芯線上になくてもよい。オパシティーカーブ設定部１４は、視点設定部１１により設定された視点ＶＰおよび基準となる視点ＶＰｋのいずれか一方または両方が芯線上に存在しない場合には、その芯線上に存在しない点に最も近い芯線上の対応点を求め、対応点の位置をその点の気管支内での位置として、前記視点ＶＰと視点ＶＰｋとの間の芯線に沿った距離ｄを求めてもよい。
【００４８】
また、上記実施形態では、領域特定部１３が、Benjaminらが提案する領域抽出法を用いて３次元画像Ｖの全体における気管支の内腔領域と壁領域をそれぞれ抽出するものである場合について説明したが、領域拡張法、グラフカット法などの他の公知の領域抽出方法によりそれらの領域を抽出するものであってもよい。
【００４９】
また、上記実施形態では、管腔構造として気管支を例にしたが、胃、気管、大腸等を対象とすることもできる。
【符号の説明】
【００５０】
１ 画像処理装置
２ ストレージ
３ ディスプレイ
４ 入力装置
５ 気管支領域
１１ 視点設定部
１２ 観察方向・視野角設定部
１３ 領域特定部
１４ オパシティーカーブ設定部
１５ 仮想内視鏡画像生成部
１６ ＷＬ・ＷＷ設定部
１７ ＣＰＲ画像生成部
１８ 表示制御部
Ｃ オパシティーカーブ
ＣＬ 芯線
ＣＰ ＣＰＲ画像
ＤＯ 観察方向
ｋ 許容変位値
ＬＲ 内腔領域
ＶＡ 視野角
ＶＥ 仮想内視鏡画像
ＶＰ 視点
ＶＲ 視野範囲
ＷＲ 壁領域
【特許請求の範囲】
【請求項１】
管腔臓器を表す３次元画像から仮想内視鏡画像を生成する画像処理装置であって、
前記３次元画像において、予め設定された視点の近傍に所定の範囲を設定し、該設定された範囲内にある前記管腔臓器の内腔領域と前記設定された範囲内にある前記管腔臓器の壁領域をそれぞれ特定する領域特定手段と、
前記特定された内腔領域における画素値情報と前記特定された壁領域における画素値情報に基づいて、前記特定された内腔領域における画素値の範囲と前記特定された壁領域における画素値の範囲の境界となる画素値または画素値区間を求め、その画素値または画素値区間において不透明度が透明状態を表す値から不透明状態を表す値に変化するように、画素値と不透明度との関係を表すオパシティーカーブを設定するオパシティーカーブ設定手段と、
前記設定された視点および前記設定されたオパシティーカーブを用いて、前記３次元画像からボリュームレンダリングにより仮想内視鏡画像を生成する仮想内視鏡画像生成手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記所定の範囲が、前記設定された視点、観察方向、および視野角に基づいて決められた視野範囲であることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記オパシティーカーブ設定手段が、基準となる視点およびその視点におけるオパシティーカーブを記憶しておき、前記設定された視点と前記基準となる視点との間の前記管腔臓器の走行方向に沿った距離を用いて、不透明度の許容変化値を前記距離が近いほど小さい値となるように設定し、前記設定された視点におけるオパシティーカーブと前記基準となる視点におけるオパシティーカーブの同じ画素値に対応付けられている不透明度同士の差が前記設定された許容変化値を超えないように、前記設定された視点におけるオパシティーカーブを設定するものであることを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記所定の範囲における画素値に基づいてウインドウレベルおよびウインドウ幅を設定し、該設定されたウインドウレベルおよびウインドウ幅を用いて、前記３次元画像から前記管腔臓器を表すＣＰＲ画像を生成するＣＰＲ画像生成手段をさらに備えたことを特徴とする請求項１から３のいずれか１項記載の画像処理装置。
【請求項５】
管腔臓器を表す３次元画像から仮想内視鏡画像を生成する画像処理方法であって、
前記３次元画像において、予め設定された視点の近傍に所定の範囲を設定し、該設定された範囲内にある前記管腔臓器の内腔領域と前記設定された範囲内にある前記管腔臓器の壁領域をそれぞれ特定する処理と、
前記特定された内腔領域における画素値情報と前記特定された壁領域における画素値情報に基づいて、前記特定された内腔領域における画素値の範囲と前記特定された壁領域における画素値の範囲の境界となる画素値または画素値区間を求め、その画素値または画素値区間において不透明度が透明状態を表す値から不透明状態を表す値に変化するように、画素値と不透明度との関係を表すオパシティーカーブを設定する処理と、
前記設定された視点および前記設定されたオパシティーカーブを用いて、前記３次元画像からボリュームレンダリングにより仮想内視鏡画像を生成する処理と
を少なくとも１台のコンピュータにより実行することを特徴とする画像処理方法。
【請求項６】
前記所定の範囲が、前記設定された視点、観察方向、および視野角に基づいて決められた視野範囲であることを特徴とする請求項５記載の画像処理方法。
【請求項７】
前記オパシティーカーブの設定処理が、基準となる視点およびその視点におけるオパシティーカーブを記憶しておき、前記設定された視点と前記基準となる視点との間の前記管腔臓器の走行方向に沿った距離を用いて、不透明度の許容変化値を前記距離が近いほど小さい値となるように設定し、前記設定された視点におけるオパシティーカーブと前記基準となる視点におけるオパシティーカーブの同じ画素値に対応付けられている不透明度同士の差が前記設定された許容変化値を超えないように、前記設定された視点におけるオパシティーカーブを設定するものであることを特徴とする請求項５または６記載の画像処理方法。
【請求項８】
前記所定の範囲における画素値に基づいてウインドウレベルおよびウインドウ幅を設定し、該設定されたウインドウレベルおよびウインドウ幅を用いて、前記３次元画像から前記管腔臓器を表すＣＰＲ画像を生成する処理を
さらに実行することを特徴とする請求項５から７のいずれか１項記載の画像処理方法。
【請求項９】
管腔臓器を表す３次元画像から仮想内視鏡画像を生成するための画像処理プログラムであって、
コンピュータを、
前記３次元画像において、予め設定された視点の近傍に所定の範囲を設定し、該設定された範囲内にある前記管腔臓器の内腔領域と前記設定された範囲内にある前記管腔臓器の壁領域をそれぞれ特定する領域特定手段と、
前記特定された内腔領域における画素値情報と前記特定された壁領域における画素値情報に基づいて、前記特定された内腔領域における画素値の範囲と前記特定された壁領域における画素値の範囲の境界となる画素値または画素値区間を求め、その画素値または画素値区間において不透明度が透明状態を表す値から不透明状態を表す値に変化するように、画素値と不透明度との関係を表すオパシティーカーブを設定するオパシティーカーブ設定手段と、
前記設定された視点および前記設定されたオパシティーカーブを用いて、前記３次元画像からボリュームレンダリングにより仮想内視鏡画像を生成する仮想内視鏡画像生成手段として機能させるための画像処理プログラム。
【請求項１０】
前記所定の範囲が、前記設定された視点、観察方向、および視野角に基づいて決められた視野範囲であることを特徴とする請求項９記載の画像処理プログラム。
【請求項１】
管腔臓器を表す３次元画像から仮想内視鏡画像を生成する画像処理装置であって、
前記３次元画像において、予め設定された視点の近傍に所定の範囲を設定し、該設定された範囲内にある前記管腔臓器の内腔領域と前記設定された範囲内にある前記管腔臓器の壁領域をそれぞれ特定する領域特定手段と、
前記特定された内腔領域における画素値情報と前記特定された壁領域における画素値情報に基づいて、前記特定された内腔領域における画素値の範囲と前記特定された壁領域における画素値の範囲の境界となる画素値または画素値区間を求め、その画素値または画素値区間において不透明度が透明状態を表す値から不透明状態を表す値に変化するように、画素値と不透明度との関係を表すオパシティーカーブを設定するオパシティーカーブ設定手段と、
前記設定された視点および前記設定されたオパシティーカーブを用いて、前記３次元画像からボリュームレンダリングにより仮想内視鏡画像を生成する仮想内視鏡画像生成手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記所定の範囲が、前記設定された視点、観察方向、および視野角に基づいて決められた視野範囲であることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記オパシティーカーブ設定手段が、基準となる視点およびその視点におけるオパシティーカーブを記憶しておき、前記設定された視点と前記基準となる視点との間の前記管腔臓器の走行方向に沿った距離を用いて、不透明度の許容変化値を前記距離が近いほど小さい値となるように設定し、前記設定された視点におけるオパシティーカーブと前記基準となる視点におけるオパシティーカーブの同じ画素値に対応付けられている不透明度同士の差が前記設定された許容変化値を超えないように、前記設定された視点におけるオパシティーカーブを設定するものであることを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記所定の範囲における画素値に基づいてウインドウレベルおよびウインドウ幅を設定し、該設定されたウインドウレベルおよびウインドウ幅を用いて、前記３次元画像から前記管腔臓器を表すＣＰＲ画像を生成するＣＰＲ画像生成手段をさらに備えたことを特徴とする請求項１から３のいずれか１項記載の画像処理装置。
【請求項５】
管腔臓器を表す３次元画像から仮想内視鏡画像を生成する画像処理方法であって、
前記３次元画像において、予め設定された視点の近傍に所定の範囲を設定し、該設定された範囲内にある前記管腔臓器の内腔領域と前記設定された範囲内にある前記管腔臓器の壁領域をそれぞれ特定する処理と、
前記特定された内腔領域における画素値情報と前記特定された壁領域における画素値情報に基づいて、前記特定された内腔領域における画素値の範囲と前記特定された壁領域における画素値の範囲の境界となる画素値または画素値区間を求め、その画素値または画素値区間において不透明度が透明状態を表す値から不透明状態を表す値に変化するように、画素値と不透明度との関係を表すオパシティーカーブを設定する処理と、
前記設定された視点および前記設定されたオパシティーカーブを用いて、前記３次元画像からボリュームレンダリングにより仮想内視鏡画像を生成する処理と
を少なくとも１台のコンピュータにより実行することを特徴とする画像処理方法。
【請求項６】
前記所定の範囲が、前記設定された視点、観察方向、および視野角に基づいて決められた視野範囲であることを特徴とする請求項５記載の画像処理方法。
【請求項７】
前記オパシティーカーブの設定処理が、基準となる視点およびその視点におけるオパシティーカーブを記憶しておき、前記設定された視点と前記基準となる視点との間の前記管腔臓器の走行方向に沿った距離を用いて、不透明度の許容変化値を前記距離が近いほど小さい値となるように設定し、前記設定された視点におけるオパシティーカーブと前記基準となる視点におけるオパシティーカーブの同じ画素値に対応付けられている不透明度同士の差が前記設定された許容変化値を超えないように、前記設定された視点におけるオパシティーカーブを設定するものであることを特徴とする請求項５または６記載の画像処理方法。
【請求項８】
前記所定の範囲における画素値に基づいてウインドウレベルおよびウインドウ幅を設定し、該設定されたウインドウレベルおよびウインドウ幅を用いて、前記３次元画像から前記管腔臓器を表すＣＰＲ画像を生成する処理を
さらに実行することを特徴とする請求項５から７のいずれか１項記載の画像処理方法。
【請求項９】
管腔臓器を表す３次元画像から仮想内視鏡画像を生成するための画像処理プログラムであって、
コンピュータを、
前記３次元画像において、予め設定された視点の近傍に所定の範囲を設定し、該設定された範囲内にある前記管腔臓器の内腔領域と前記設定された範囲内にある前記管腔臓器の壁領域をそれぞれ特定する領域特定手段と、
前記特定された内腔領域における画素値情報と前記特定された壁領域における画素値情報に基づいて、前記特定された内腔領域における画素値の範囲と前記特定された壁領域における画素値の範囲の境界となる画素値または画素値区間を求め、その画素値または画素値区間において不透明度が透明状態を表す値から不透明状態を表す値に変化するように、画素値と不透明度との関係を表すオパシティーカーブを設定するオパシティーカーブ設定手段と、
前記設定された視点および前記設定されたオパシティーカーブを用いて、前記３次元画像からボリュームレンダリングにより仮想内視鏡画像を生成する仮想内視鏡画像生成手段として機能させるための画像処理プログラム。
【請求項１０】
前記所定の範囲が、前記設定された視点、観察方向、および視野角に基づいて決められた視野範囲であることを特徴とする請求項９記載の画像処理プログラム。
【図１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図８】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図８】
【公開番号】特開２０１３−１１１３５９（Ｐ２０１３−１１１３５９Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２６１８８５（Ｐ２０１１−２６１８８５）
【出願日】平成２３年１１月３０日（２０１１．１１．３０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月３０日（２０１１．１１．３０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]