画像処理装置、方法及びプログラム
【課題】大腸の観察に適した画像を提供する。
【解決手段】大腸内に挿入された内視鏡により撮影して得られた、大腸の壁の内側の表面を表す内視鏡画像Ｅ１、Ｅ２を取得し、大腸を含む３次元領域を表した３次元画像から、内視鏡画像Ｅ１、Ｅ２の視点に対応する３次元画像中の視点から壁の近傍に存在する血管の部分を描写した近傍血管画像Ｑ１を生成し、大腸の周辺を含む３次元領域を表した３次元画像から、内視鏡画像の視点に対応する視点から血管を描写した周辺血管画像Ｑ２を生成し、表示手段に、内視鏡画像Ｅ１、Ｅ２、近傍血管画像Ｑ１、周辺血管画像Ｑ２の順にそれらの画像を表示させる。
【解決手段】大腸内に挿入された内視鏡により撮影して得られた、大腸の壁の内側の表面を表す内視鏡画像Ｅ１、Ｅ２を取得し、大腸を含む３次元領域を表した３次元画像から、内視鏡画像Ｅ１、Ｅ２の視点に対応する３次元画像中の視点から壁の近傍に存在する血管の部分を描写した近傍血管画像Ｑ１を生成し、大腸の周辺を含む３次元領域を表した３次元画像から、内視鏡画像の視点に対応する視点から血管を描写した周辺血管画像Ｑ２を生成し、表示手段に、内視鏡画像Ｅ１、Ｅ２、近傍血管画像Ｑ１、周辺血管画像Ｑ２の順にそれらの画像を表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、大腸や胃などの臓器を観察するための画像を表示する画像処理装置、方法及びプログラムに関するものである。
【背景技術】
【０００２】
従来、患者の大腸や胃などの管腔状の臓器を、その臓器内に挿入された内視鏡により撮影して得られた実内視鏡画像を用いて診断、治療を行う技術が知られている。また、ＣＴ等での撮影によって得られた３次元ボリューム画像から内視鏡と類似した仮想内視鏡画像を生成し表示する技術も知られている。
【０００３】
特許文献１には、臓器内に挿入された内視鏡の位置および姿勢を検出し、検出された位置および姿勢に基づいて実内視鏡画像と同じ視野の仮想内視鏡画像を作成し、内視鏡により撮影して得られた実内視鏡画像を仮想内視鏡画像に対してテクスチャマッピングすることで表示用の画像を生成する技術が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−６１２７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、大腸、胃などの臓器を診断、治療する際には、その臓器の粘膜表面の３次元的な構造やテクスチャだけでなく、その臓器に関わる周辺の血管も観察することが必要となる場合がある。
【０００６】
たとえば大腸の場合、大腸表面において検出されたポリープ等の病変に対して栄養を供給する血管の様子は大腸癌の鑑別の重要なファクターであり、中結腸動脈や右結腸動脈の様子は大腸癌の手術計画に影響を与えるものであるので、大腸を診断、治療する際には、粘膜表面の他、粘膜下層や固有筋層に存在する毛細血管、およびそれに連続する中結腸動脈や右結腸動脈、回結腸動脈などの血管の様子を観察することが求められる。
【０００７】
これに対して、特許文献１に記載の技術により提供される表示用の画像では、臓器の粘膜表面の状態は観察できるが、その臓器に関わる周辺の血管の様子を観察することはできないため、大腸などの観察における上記のニーズに的確に応えうるものとはいえない。
【０００８】
本発明は上記事情に鑑みてなされたものであり、周辺の血管と関わる管腔状の臓器の観察に適した画像を提供することができる画像処理装置、方法及びプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、周辺の血管と関わる管腔状の臓器を観察するための画像を表示する画像処理装置であって、臓器内に挿入された内視鏡により撮影して得られた、臓器の壁の内側の表面を表す表面画像を取得する表面画像取得手段と、臓器を含む３次元領域を表した３次元画像から、表面画像の視点に対応する３次元画像中の視点から壁の近傍に存在する血管の部分を描写した近傍血管画像を生成する近傍画像生成手段と、臓器の周辺を含む３次元領域を表した３次元画像から、表面画像の視点に対応する視点から血管を描写した周辺血管画像を生成する周辺画像生成手段と、表示手段に、表面画像、近傍血管画像、周辺血管画像の順にそれらの画像を表示させる表示制御手段とを備えたことを特徴とするものである。
【００１０】
上記装置は、表面画像から病変を検出する病変検出手段を備え、表示制御手段が、病変検出手段により病変が検出された場合に、前記表示を行うものであってもよい。
【００１１】
また、上記表示の実行を指示する入力を検出する指示検出手段を備え、表示制御手段が、指示検出手段により入力が検出された場合に、前記表示を行うものであってもよい。
【００１２】
表示制御手段は、表面画像、近傍血管画像および周辺血管画像を切り替えて表示するものであってもよいし、並べて表示するものであってもよい。
【００１３】
表面画像は、前記表面へ白色光を照射したときに撮影された画像および前記表面へ白色光とは異なる特定の波長帯域の光を照射したときに撮影された画像のいずれか一方または両方であってもよい。
【００１４】
近傍血管画像は、臓器の構造上に前記血管の部分が投影された画像であってもよい。
【００１５】
本発明の画像処理方法は、周辺の血管と関わる管腔状の臓器を観察するための画像を表示する画像処理方法であって、臓器内に挿入された内視鏡により撮影して得られた、臓器の壁の内側の表面を表す表面画像を取得する表面画像取得処理と、臓器を含む３次元領域を表した３次元画像から、表面画像の視点に対応する３次元画像中の視点から壁の近傍に存在する血管の部分を描写した近傍血管画像を生成する近傍画像生成処理と、臓器の周辺を含む３次元領域を表した３次元画像から、表面画像の視点に対応する視点から血管を描写した周辺血管画像を生成する周辺画像生成処理と、表示手段に、表面画像、近傍血管画像、周辺血管画像の順にそれらの画像を表示させる表示制御処理とを備えたことを特徴とするものである。
【００１６】
上記方法は、表面画像から病変を検出する病変検出処理を備え、表示制御処理が、病変が検出された場合に、前記表示を行うものであってもよい。
【００１７】
本発明の画像処理プログラムは、上記画像処理装置の各手段が行う処理を、少なくとも１台のコンピュータに実行させるプログラムである。このプログラムは、ＣＤ−ＲＯＭ，ＤＶＤなどの記録メディアに記録され、またはサーバコンピュータに付属するストレージやネットワークストレージにダウンロード可能な状態で記録されて、ユーザに提供される。
【００１８】
ここで、「壁の近傍」とは、壁の内側の表面から外側に所定範囲内の領域を意味する。
【００１９】
表面画像、近傍血管画像、周辺血管画像の順にそれらの画像を表示させるとは、その表示を受けたユーザがその順にそれらの画像を認識できるような態様での表示を広く意味するものであり、たとえば表面画像、近傍血管画像、周辺血管画像の順に切り換えて表示させる場合や、表示画面上におけるユーザの視線の移動によって、表面画像、近傍血管画像、周辺血管画像がその順に認識されるように並べて表示させる場合などが含まれる。
【００２０】
また、「臓器の周辺」は、少なくともその臓器に関わる主な血管を充分に含む大きさの領域である。
【発明の効果】
【００２１】
本発明の画像処理装置、方法およびプログラムによれば、臓器内に挿入された内視鏡により撮影して得られた、臓器の壁の内側の表面を表す表面画像を取得し、臓器を含む３次元領域を表した３次元画像から、表面画像の視点に対応する３次元画像中の視点から壁の近傍に存在する血管の部分を描写した近傍血管画像を生成し、臓器の周辺を含む３次元領域を表した３次元画像から、表面画像の視点に対応する視点から血管を描写した周辺血管画像を生成し、表示手段に、表面画像、近傍血管画像、周辺血管画像の順にそれらの画像を表示させるようにしたので、その臓器の内側の表面の様子およびその表面から外側周辺に至る血管の様子を連続的に観察することができ、臓器の内側の表面の組織とその臓器に関わる周辺の血管との関連性を容易に理解することができる。
【００２２】
特に、ポリープ等の病変を観察する場合、粘膜表面におけるその病変の様子を始め、その病変に対して栄養を供給する血管の様子やそれに連続する主な血管の走行を容易に観察でき、病変の良悪性の判断や手術計画の検討を容易に行うことができる。
【図面の簡単な説明】
【００２３】
【図１】医用画像処理システムの概要を示すハードウェア構成図
【図２】図１の画像処理装置の概略構成を示す図
【図３】図１の画像処理装置の機能構成を示すブロック図
【図４】表示制御手段による画面表示の一例を示す図
【図５】図１の画像処理装置による処理の流れの一例を示すフローチャート
【発明を実施するための形態】
【００２４】
以下、図面を参照して、本発明の画像処理装置、方法およびプログラムの実施形態について説明する。
【００２５】
図１は、医用画像処理システムの概要を示すハードウェア構成図である。図に示すように、このシステムでは、内視鏡装置３、３次元画像撮影装置５、画像保管サーバ６、画像処理装置８とが、ネットワーク９を経由して通信可能な状態で接続されている。
【００２６】
内視鏡装置３は、被検者の体腔内を撮像する内視鏡スコープ３１と、撮像により得られた信号に基づいて体腔内の被写体組織の画像を生成するプロセッサ装置３２と、体腔内を照射する光を供給する光源装置３３、内視鏡スコープ３１の先端部の位置および向きを検出する位置検出装置３４等を有している。
【００２７】
内視鏡スコープ３１は、操作部３Ａに体腔内に挿入される挿入部が連設されたものであり、プロセッサ装置３２及び光源装置３３に着脱可能に接続されたユニバーサルコードを延在している。操作部３Ａは、挿入部の先端部３Ｂが所定の角度範囲内で上下方向及び左右方向に湾曲するように動作を指令するためのボタン等の各種ボタンを含む。本実施形態では、内視鏡スコープ３１は大腸用の軟性鏡であり、被検体の大腸内に挿入される。光源装置３３から光ファイバーで導かれた光が内視鏡スコープ３１の先端部３Ｂから照射され、内視鏡スコープ３１の撮像光学系により被検体の腹腔内の画像が得られる。
【００２８】
光源装置１３は、波長が赤色領域から青色領域にわたる白色光を発する白色光源と、その白色光とは異なる特定の波長帯域の光、たとえば波長が５６０±１０ｎｍである光を発する狭帯域光源とを備え、内視鏡装置３の撮影モードが通常画像撮影モードである場合には白色光源で生成された光を、分光画像撮影モードである場合には、狭帯域光源で生成された光を、光学系を介してスコープのライトガイドに供給するようになっている。
【００２９】
位置検出装置３４は、被検者の体内における内視鏡スコープ３１の先端部３Ｂの位置および向きを検出するものであり、具体的には、被検者の特定部位の位置を基準点とした３次元座標系の検出領域を有するエコー装置により、内視鏡スコープ３１の特徴的な先端の形状を検出することで、被検者の体内における内視鏡スコープ３１の先端部の相対的な位置および向きを検出し、得られた先端部３Ｂの位置および向きの情報をプロセッサ装置３２に供給するものである（例えば、特開2006-61274号公報参照）。この先端部３Ｂの位置および向きは、撮影して得られた内視鏡画像の視点および視線方向に該当する。
【００３０】
プロセッサ装置３２は、内視鏡スコープ３１で撮像された撮像信号をデジタル画像信号に変換し、ホワイトバランス調整やシェーディング補正等のデジタル信号処理によって画質の補正を行い、内視鏡画像を生成する。内視鏡装置３の撮影モードが通常画像撮影モードである場合に撮影された撮像信号に基づいて通常内視鏡画像Ｅ１を生成し、内視鏡装置３の撮影モードが分光画像撮影モードである場合に撮影された撮像信号に基づいて分光内視鏡画像Ｅ２を生成する。また、この各内視鏡画像Ｅ１、Ｅ２は、位置検出装置３４により検出されたその撮影時における先端部３Ｂの位置および向きの情報が付帯情報として付加され、画像保管サーバ６や画像処理装置８に送信される。
【００３１】
３次元画像撮影装置５は、被検体の検査対象部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、CT装置、MRI装置、PET、超音波診断装置等である。この３次元画像撮影装置５により生成された３次元画像は画像保管サーバ６に送信され、保存される。本実施形態では、少なくとも大腸およびその周辺領域を含む検査対象部位を撮影した３次元画像Ｖを生成する。
【００３２】
画像保管サーバ６は、各種データを保存・管理するコンピュータであり、大容量外部記憶装置やデータベース管理用ソフトウェアを備えている。画像保管サーバ６は、ネットワーク９を介して他の装置と通信を行い、画像データなどを送受信する。具体的には内視鏡装置２で取得された内視鏡画像や、３次元画像撮影装置５で取得された３次元画像等をネットワーク経由で取得し、大容量外部記憶装置などの記録媒体に保存・管理する。
【００３３】
なお、画像データの格納形式やネットワーク９経由での各装置間の通信は、DICOM等のプロトコルに基づいている。
【００３４】
画像処理装置８は、一台のコンピュータに、本発明の画像処理プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションやパソコンでもよいし、もしくは、それらとネットワークを介して接続されたサーバコンピュータでもよい。画像処理プログラムは、ＤＶＤ，ＣＤ−ＲＯＭ等の記録メディアに格納されて配布され、その記録媒体からコンピュータにインストールされる。もしくは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
【００３５】
図２は、ワークステーションに画像処理プログラムをインストールすることにより実現された画像処理装置の概略構成を示す図である。同図が示すように、画像処理装置８は、標準的なワークステーションの構成として、ＣＰＵ８１、メモリ８２およびストレージ（画像記憶手段）８３を備えている。また、画像処理装置８には、ディスプレイ８４と、マウス８５等の入力装置（指示検出手段）が接続されている。
【００３６】
ストレージ８３には、ネットワーク９を経由して内視鏡装置３、３次元画像撮影装置５、画像保管サーバ６などから取得した内視鏡画像や３次元画像、画像処理装置８での画像処理によって生成された画像データなどが記憶されている。
【００３７】
また、メモリ８２には、画像処理プログラムが記憶されている。画像処理プログラムは、ＣＰＵ８１に実行させる処理として、表面画像取得処理、近傍画像生成処理、周辺画像生成処理、病変検出処理、指示検出処理および表示制御処理を規定している。そして、ＣＰＵ８１がプログラムに従いこれらの処理を実行することで、汎用のワークステーションは、表面画像取得手段７１、近傍画像生成手段７２、周辺画像生成手段７３、病変検出手段７４、指示検出手段７５および表示制御手段７６として機能することになる。
【００３８】
以下、図３を参照して、画像処理装置８の各機能ブロックについて説明する。
【００３９】
表面画像取得手段７１は、内視鏡装置３により大腸内を所定の視点位置において撮影された通常内視鏡画像Ｅ１および分光内視鏡画像Ｅ２を取得する。それらの画像が既にストレージ８３に記憶されている場合には、ストレージ８３から取得するようにしてもよい。この通常内視鏡画像Ｅ１と分光内視鏡画像Ｅ２はいずれも、大腸の壁の内側の表面を表す表面画像に該当する。この取得された通常内視鏡画像Ｅ１および分光内視鏡画像Ｅ２は、表示制御手段７６に出力される。
【００４０】
近傍画像生成手段７２は、３次元画像Ｖから、通常内視鏡画像Ｅ１または分光内視鏡画像Ｅ２の視点に対応する３次元画像Ｖ中の視点から大腸の壁の近傍に存在する血管の部分を描写した近傍血管画像を生成する。具体的には、まず、３次元画像撮影装置５または画像保管サーバ６から３次元画像Ｖを取得するとともに、上記通常内視鏡画像Ｅ１または分光内視鏡画像Ｅ２に付帯された先端部３Ｂの位置Ｐおよび向きＤ（内視鏡画像の視点および視線方向）の情報を取得する。次に、大腸の中心線を抽出し、その中心線に垂直な各断面上のその中心線が通る点から放射線状に伸ばした複数の線を設定し、大腸の壁の内側の表面上をその各線が通る点の画素値を、その壁の表面から外側に所定範囲内におけるその線上の全ての点の画素値のうちの最大値に決定する（Depth Mip手法）。この処理により、大腸の壁の内側の表面に、造影剤によって高い画素値を有する血管全体のうち大腸の壁の近傍に存在する部分の投影像が生成される。また、大腸の壁の形状が忠実に描写されるよう、大腸の壁に、一般的なボリュームレンダリングにおいて与えられる不透明度として１に近い値を与える。次に、位置Ｐに対応する３次元画像Ｖ中の位置を視点として、その視点から放射状に伸ばした複数の視線上の画像情報を、向きＤに対応する方向を投影方向の中心とした投影面に投影した投影画像を３次元画像Ｖから生成する。
【００４１】
投影の具体的な方法としては、例えば、公知のボリュームレンダリング手法等を用いる（周辺画像生成手段７３においても同じ）。以上の処理により、生成される投影画像は、通常内視鏡画像Ｅ１または分光内視鏡画像Ｅ２と同一の構図となる仮想内視鏡画像であって、大腸の壁上に大腸の壁の近傍に存在する血管の部分の投影像が模様として表された画像となる。この仮想内視鏡画像が本発明における近傍血管画像に該当し、以下近傍血管画像と称する。この近傍血管画像は、表示制御手段７６に出力される。
【００４２】
周辺画像生成手段７３は、３次元画像Ｖから、通常内視鏡画像Ｅ１または分光内視鏡画像Ｅ２の視点に対応する３次元画像Ｖ中の視点から大腸周辺の血管を描写した周辺血管画像を生成する。具体的には、まず、３次元画像撮影装置５または画像保管サーバ６から３次元画像Ｖを取得するとともに、上記通常内視鏡画像Ｅ１または分光内視鏡画像Ｅ２に付帯された先端部３Ｂの位置Ｐおよび向きＤの情報を取得する。また、大腸の壁によって視界が遮られないように、大腸の壁には、一般的なボリュームレンダリングにおいて与えられる不透明度として０に近い値を与える。次に、位置Ｐに対応する３次元画像Ｖ中の位置を視点として、その視点から放射状に伸ばした複数の視線上の画像情報を、向きＤに対応する方向を投影方向の中心とした投影面に投影した投影画像を３次元画像Ｖから生成する。以上の処理により、生成される投影画像は、大腸周辺の組織、特に造影剤によって高い画素値を有する大腸周辺の血管の様子が忠実に描写された擬似３次元画像となる。この擬似３次元画像が本発明における周辺血管画像に該当し、以下周辺血管画像と称する。この周辺血管画像は、表示制御手段７６に出力される。
【００４３】
病変検出手段７４は、通常内視鏡画像Ｅ１または分光内視鏡画像Ｅ２から病変を検出するものであって、公知のコンピュータ支援診断CAD（computer-aided diagnosis）システムによって突起物（ポリープ）、癌、腫瘍などの病変領域を自動検出することにより病変領域５３を取得する。病変領域は、医者などがその内視鏡画像を読影して発見した病変の位置を画像処理装置８に備えるマウス８４等の入力装置を用いて入力したのを受けて取得するようにしてもよい。なお、この病変の検出結果は、表示制御手段７６、近傍画像生成手段７２、周辺画像生成手段７３などに出力される。
【００４４】
指示検出手段７５は、ユーザがマウス８５等の入力装置によって行うメニュー選択操作を検出することにより、後述する本発明による一連の表示の実行を指示する入力を検出する。なお、指示検出手段７５は、ユーザが内視鏡撮影装置３の操作部３Ａによって行う操作を検出することにより、同指示の入力を検出するものであってもよい。
【００４５】
表示制御手段７６は、ディスプレイ８４画面の表示形式および表示タイミングを制御する。具体的には、表示モードが「通常表示モード」である場合には、内視鏡装置３により所定のフレームレートで撮影してえられた内視鏡画像を順次取得・表示し、表示モードが「一連表示モード」である場合には、ディスプレイ８４画面上の所定の表示領域において、表面画像、近傍血管画像、周辺血管画像の順にこれらの画像を切り替えて表示する。また、表示制御手段７は、表示画面上の上方から下方へ、または左方から右方へ、表面画像、近傍血管画像、周辺血管画像を順に並べて表示することもできる。表示制御手段７は、それらの画像を切り換えて表示するか、並べて表示するかを、設定情報もしくはユーザ操作にしたがって決定する。図４は、表示モードが「一連表示モード」である場合における表示例を示すものであり、表面画像である通常内視鏡画像Ｅ１と分光内視鏡画像Ｅ２、近傍血管画像、周辺血管画像を順に並べて表示したものである。
【００４６】
また、表示制御手段７６は、病変検出手段７４により病変が検出された場合や、指示検出手段７５により一連の表示の実行を指示する入力が検出された場合に、表示モードを「一連表示モード」と設定し、上記表示を行う。
【００４７】
以下、図５のフローチャートを参照して、本発明の画像処理装置８による処理の流れの一例について説明する。まず、表面画像取得手段７１が、内視鏡装置３により大腸内を所定の視点位置において撮影された通常内視鏡画像Ｅ１および分光内視鏡画像Ｅ２を取得する（ステップＳＴ１）。その後、病変検出手段７４が、分光内視鏡画像Ｅ２から病変を検出する処理を行ない、病変が検出されたか否かを判断する（ステップＳＴ２）。ステップＳＴ２において病変が検出されない場合、表示制御手段７６が、表示モードを「通常表示モード」とし、内視鏡装置３により所定のフレームレートで撮影してえられた通常内視鏡画像Ｅ１を順次取得・表示する（ステップＳＴ３）。ステップＳＴ２において病変が検出されるまで、ステップＳＴ２からＳＴ３を繰り返し行う。
【００４８】
ステップＳＴ２において病変が検出されると、近傍画像生成手段７２が、３次元画像Ｖから、通常内視鏡画像Ｅ１の視点に対応する３次元画像Ｖ中の視点から大腸の壁の近傍に存在する血管の部分を描写した近傍血管画像を生成する（ステップＳＴ４）。また、周辺画像生成手段７３が、３次元画像Ｖから、通常内視鏡画像Ｅ１の視点に対応する３次元画像Ｖ中の視点から大腸周辺の血管を描写した周辺血管画像を生成する（ステップＳＴ５）。ステップＳＴ５とＳＴ６の処理は両方を同時に行なってもよいし、いずれか一方を先に行って他方を後で行なってもよい。続いて、表示制御手段７６が、表示モードを「一連表示モード」とし、通常内視鏡画像Ｅ１、分光内視鏡画像Ｅ２、近傍血管画像、周辺血管画像の順にこれらの画像を切り替えて表示し（ステップＳＴ６）、処理を終了する。
【００４９】
以上に説明したとおり、本実施形態の画像処理装置およびプログラムによれば、大腸内に挿入された内視鏡により撮影して得られた、大腸の壁の内側の表面を表す内視鏡画像（表面画像）Ｅ１，Ｅ２を取得し、大腸を含む３次元領域を表した３次元画像から、内視鏡画像の視点に対応する３次元画像中の視点から壁の近傍に存在する血管の部分を描写した近傍血管画像Ｑ１を生成し、大腸の周辺を含む３次元領域を表した３次元画像から、内視鏡画像の視点に対応する視点から血管を描写した周辺血管画像Ｑ２を生成し、表示手段に、内視鏡画像Ｅ１，Ｅ２、近傍血管画像Ｑ１、周辺血管画像Ｑ２の順にそれらの画像を表示させているので、その大腸の内側の表面の様子およびその表面から外側周辺に至る血管の様子を連続的に観察することができ、大腸の内側の表面の組織とその大腸に関わる周辺の血管との関連性を容易に理解することができる。
【００５０】
また、内視鏡画像からポリープ等の病変を検出し、病変が検出された場合に、表示手段に、内視鏡画像、近傍血管画像、周辺血管画像の順にそれらの画像を表示させているので、粘膜表面におけるその病変の様子を始め、その病変に対して栄養を供給する血管の様子やそれに連続する主な血管の走行を容易に観察でき、病変の良悪性の判断や手術計画の検討を容易に行うことができる。
【００５１】
なお、上記実施の形態では、本発明の画像処理装置を大腸の観察に適用した場合について説明したが、これに限らずたとえば胃など他の周辺の血管と関わる管腔状の臓器を観察するものに適用することができる。
【００５２】
また、上記実施の形態では、表面画像として通常内視鏡画像Ｅ１と分光内視鏡画像Ｅ２の両方を表示する場合を例示して説明したが、そのいずれか一方の画像のみを表示するようにしてもよい。
【００５３】
また、上記表示制御手段７６は、表示モードが「一連表示モード」である場合に、さらにユーザがマウス８５等の入力装置によって行うメニュー選択操作を検出することにより、ディスプレイ８４画面上の所定の表示領域において、上述した一連の表示の順と逆の、周辺血管画像Ｑ２、近傍血管画像Ｑ１、表面画像Ｅ１，Ｅ２の順にこれらの画像を切り替えて表示する機能をさらに有するものであってもよい。
【００５４】
また、上記画像処理装置８において、内視鏡撮影装置３により撮影された内視鏡画像と同一の構図となる仮想内視鏡画像であって、対象臓器をあたかも内視鏡で観察したような様子を表す仮想内視鏡画像を３次元画像Ｖから生成する画像生成手段をさらに備え、表示制御手段７６により、表示モードが「通常表示モード」である場合に、内視鏡画像と画像生成手段により生成された同一構図の仮想内視鏡画像とを連動して表示させるようにしてもよい。
【符号の説明】
【００５５】
３ 内視鏡装置
５ ３次元画像撮影装置
６ 画像保管サーバ
８ 画像処理装置
８１ ＣＰＵ
８２ メモリ
８３ ストレージ
８４ ディスプレイ
８５ 入力装置
７１ 表面画像取得手段
７２ 近傍画像生成手段
７３ 周辺画像生成手段
７４ 病変検出手段
７５ 指示検出手段
７６ 表示制御手段
【技術分野】
【０００１】
本発明は、大腸や胃などの臓器を観察するための画像を表示する画像処理装置、方法及びプログラムに関するものである。
【背景技術】
【０００２】
従来、患者の大腸や胃などの管腔状の臓器を、その臓器内に挿入された内視鏡により撮影して得られた実内視鏡画像を用いて診断、治療を行う技術が知られている。また、ＣＴ等での撮影によって得られた３次元ボリューム画像から内視鏡と類似した仮想内視鏡画像を生成し表示する技術も知られている。
【０００３】
特許文献１には、臓器内に挿入された内視鏡の位置および姿勢を検出し、検出された位置および姿勢に基づいて実内視鏡画像と同じ視野の仮想内視鏡画像を作成し、内視鏡により撮影して得られた実内視鏡画像を仮想内視鏡画像に対してテクスチャマッピングすることで表示用の画像を生成する技術が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−６１２７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、大腸、胃などの臓器を診断、治療する際には、その臓器の粘膜表面の３次元的な構造やテクスチャだけでなく、その臓器に関わる周辺の血管も観察することが必要となる場合がある。
【０００６】
たとえば大腸の場合、大腸表面において検出されたポリープ等の病変に対して栄養を供給する血管の様子は大腸癌の鑑別の重要なファクターであり、中結腸動脈や右結腸動脈の様子は大腸癌の手術計画に影響を与えるものであるので、大腸を診断、治療する際には、粘膜表面の他、粘膜下層や固有筋層に存在する毛細血管、およびそれに連続する中結腸動脈や右結腸動脈、回結腸動脈などの血管の様子を観察することが求められる。
【０００７】
これに対して、特許文献１に記載の技術により提供される表示用の画像では、臓器の粘膜表面の状態は観察できるが、その臓器に関わる周辺の血管の様子を観察することはできないため、大腸などの観察における上記のニーズに的確に応えうるものとはいえない。
【０００８】
本発明は上記事情に鑑みてなされたものであり、周辺の血管と関わる管腔状の臓器の観察に適した画像を提供することができる画像処理装置、方法及びプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、周辺の血管と関わる管腔状の臓器を観察するための画像を表示する画像処理装置であって、臓器内に挿入された内視鏡により撮影して得られた、臓器の壁の内側の表面を表す表面画像を取得する表面画像取得手段と、臓器を含む３次元領域を表した３次元画像から、表面画像の視点に対応する３次元画像中の視点から壁の近傍に存在する血管の部分を描写した近傍血管画像を生成する近傍画像生成手段と、臓器の周辺を含む３次元領域を表した３次元画像から、表面画像の視点に対応する視点から血管を描写した周辺血管画像を生成する周辺画像生成手段と、表示手段に、表面画像、近傍血管画像、周辺血管画像の順にそれらの画像を表示させる表示制御手段とを備えたことを特徴とするものである。
【００１０】
上記装置は、表面画像から病変を検出する病変検出手段を備え、表示制御手段が、病変検出手段により病変が検出された場合に、前記表示を行うものであってもよい。
【００１１】
また、上記表示の実行を指示する入力を検出する指示検出手段を備え、表示制御手段が、指示検出手段により入力が検出された場合に、前記表示を行うものであってもよい。
【００１２】
表示制御手段は、表面画像、近傍血管画像および周辺血管画像を切り替えて表示するものであってもよいし、並べて表示するものであってもよい。
【００１３】
表面画像は、前記表面へ白色光を照射したときに撮影された画像および前記表面へ白色光とは異なる特定の波長帯域の光を照射したときに撮影された画像のいずれか一方または両方であってもよい。
【００１４】
近傍血管画像は、臓器の構造上に前記血管の部分が投影された画像であってもよい。
【００１５】
本発明の画像処理方法は、周辺の血管と関わる管腔状の臓器を観察するための画像を表示する画像処理方法であって、臓器内に挿入された内視鏡により撮影して得られた、臓器の壁の内側の表面を表す表面画像を取得する表面画像取得処理と、臓器を含む３次元領域を表した３次元画像から、表面画像の視点に対応する３次元画像中の視点から壁の近傍に存在する血管の部分を描写した近傍血管画像を生成する近傍画像生成処理と、臓器の周辺を含む３次元領域を表した３次元画像から、表面画像の視点に対応する視点から血管を描写した周辺血管画像を生成する周辺画像生成処理と、表示手段に、表面画像、近傍血管画像、周辺血管画像の順にそれらの画像を表示させる表示制御処理とを備えたことを特徴とするものである。
【００１６】
上記方法は、表面画像から病変を検出する病変検出処理を備え、表示制御処理が、病変が検出された場合に、前記表示を行うものであってもよい。
【００１７】
本発明の画像処理プログラムは、上記画像処理装置の各手段が行う処理を、少なくとも１台のコンピュータに実行させるプログラムである。このプログラムは、ＣＤ−ＲＯＭ，ＤＶＤなどの記録メディアに記録され、またはサーバコンピュータに付属するストレージやネットワークストレージにダウンロード可能な状態で記録されて、ユーザに提供される。
【００１８】
ここで、「壁の近傍」とは、壁の内側の表面から外側に所定範囲内の領域を意味する。
【００１９】
表面画像、近傍血管画像、周辺血管画像の順にそれらの画像を表示させるとは、その表示を受けたユーザがその順にそれらの画像を認識できるような態様での表示を広く意味するものであり、たとえば表面画像、近傍血管画像、周辺血管画像の順に切り換えて表示させる場合や、表示画面上におけるユーザの視線の移動によって、表面画像、近傍血管画像、周辺血管画像がその順に認識されるように並べて表示させる場合などが含まれる。
【００２０】
また、「臓器の周辺」は、少なくともその臓器に関わる主な血管を充分に含む大きさの領域である。
【発明の効果】
【００２１】
本発明の画像処理装置、方法およびプログラムによれば、臓器内に挿入された内視鏡により撮影して得られた、臓器の壁の内側の表面を表す表面画像を取得し、臓器を含む３次元領域を表した３次元画像から、表面画像の視点に対応する３次元画像中の視点から壁の近傍に存在する血管の部分を描写した近傍血管画像を生成し、臓器の周辺を含む３次元領域を表した３次元画像から、表面画像の視点に対応する視点から血管を描写した周辺血管画像を生成し、表示手段に、表面画像、近傍血管画像、周辺血管画像の順にそれらの画像を表示させるようにしたので、その臓器の内側の表面の様子およびその表面から外側周辺に至る血管の様子を連続的に観察することができ、臓器の内側の表面の組織とその臓器に関わる周辺の血管との関連性を容易に理解することができる。
【００２２】
特に、ポリープ等の病変を観察する場合、粘膜表面におけるその病変の様子を始め、その病変に対して栄養を供給する血管の様子やそれに連続する主な血管の走行を容易に観察でき、病変の良悪性の判断や手術計画の検討を容易に行うことができる。
【図面の簡単な説明】
【００２３】
【図１】医用画像処理システムの概要を示すハードウェア構成図
【図２】図１の画像処理装置の概略構成を示す図
【図３】図１の画像処理装置の機能構成を示すブロック図
【図４】表示制御手段による画面表示の一例を示す図
【図５】図１の画像処理装置による処理の流れの一例を示すフローチャート
【発明を実施するための形態】
【００２４】
以下、図面を参照して、本発明の画像処理装置、方法およびプログラムの実施形態について説明する。
【００２５】
図１は、医用画像処理システムの概要を示すハードウェア構成図である。図に示すように、このシステムでは、内視鏡装置３、３次元画像撮影装置５、画像保管サーバ６、画像処理装置８とが、ネットワーク９を経由して通信可能な状態で接続されている。
【００２６】
内視鏡装置３は、被検者の体腔内を撮像する内視鏡スコープ３１と、撮像により得られた信号に基づいて体腔内の被写体組織の画像を生成するプロセッサ装置３２と、体腔内を照射する光を供給する光源装置３３、内視鏡スコープ３１の先端部の位置および向きを検出する位置検出装置３４等を有している。
【００２７】
内視鏡スコープ３１は、操作部３Ａに体腔内に挿入される挿入部が連設されたものであり、プロセッサ装置３２及び光源装置３３に着脱可能に接続されたユニバーサルコードを延在している。操作部３Ａは、挿入部の先端部３Ｂが所定の角度範囲内で上下方向及び左右方向に湾曲するように動作を指令するためのボタン等の各種ボタンを含む。本実施形態では、内視鏡スコープ３１は大腸用の軟性鏡であり、被検体の大腸内に挿入される。光源装置３３から光ファイバーで導かれた光が内視鏡スコープ３１の先端部３Ｂから照射され、内視鏡スコープ３１の撮像光学系により被検体の腹腔内の画像が得られる。
【００２８】
光源装置１３は、波長が赤色領域から青色領域にわたる白色光を発する白色光源と、その白色光とは異なる特定の波長帯域の光、たとえば波長が５６０±１０ｎｍである光を発する狭帯域光源とを備え、内視鏡装置３の撮影モードが通常画像撮影モードである場合には白色光源で生成された光を、分光画像撮影モードである場合には、狭帯域光源で生成された光を、光学系を介してスコープのライトガイドに供給するようになっている。
【００２９】
位置検出装置３４は、被検者の体内における内視鏡スコープ３１の先端部３Ｂの位置および向きを検出するものであり、具体的には、被検者の特定部位の位置を基準点とした３次元座標系の検出領域を有するエコー装置により、内視鏡スコープ３１の特徴的な先端の形状を検出することで、被検者の体内における内視鏡スコープ３１の先端部の相対的な位置および向きを検出し、得られた先端部３Ｂの位置および向きの情報をプロセッサ装置３２に供給するものである（例えば、特開2006-61274号公報参照）。この先端部３Ｂの位置および向きは、撮影して得られた内視鏡画像の視点および視線方向に該当する。
【００３０】
プロセッサ装置３２は、内視鏡スコープ３１で撮像された撮像信号をデジタル画像信号に変換し、ホワイトバランス調整やシェーディング補正等のデジタル信号処理によって画質の補正を行い、内視鏡画像を生成する。内視鏡装置３の撮影モードが通常画像撮影モードである場合に撮影された撮像信号に基づいて通常内視鏡画像Ｅ１を生成し、内視鏡装置３の撮影モードが分光画像撮影モードである場合に撮影された撮像信号に基づいて分光内視鏡画像Ｅ２を生成する。また、この各内視鏡画像Ｅ１、Ｅ２は、位置検出装置３４により検出されたその撮影時における先端部３Ｂの位置および向きの情報が付帯情報として付加され、画像保管サーバ６や画像処理装置８に送信される。
【００３１】
３次元画像撮影装置５は、被検体の検査対象部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、CT装置、MRI装置、PET、超音波診断装置等である。この３次元画像撮影装置５により生成された３次元画像は画像保管サーバ６に送信され、保存される。本実施形態では、少なくとも大腸およびその周辺領域を含む検査対象部位を撮影した３次元画像Ｖを生成する。
【００３２】
画像保管サーバ６は、各種データを保存・管理するコンピュータであり、大容量外部記憶装置やデータベース管理用ソフトウェアを備えている。画像保管サーバ６は、ネットワーク９を介して他の装置と通信を行い、画像データなどを送受信する。具体的には内視鏡装置２で取得された内視鏡画像や、３次元画像撮影装置５で取得された３次元画像等をネットワーク経由で取得し、大容量外部記憶装置などの記録媒体に保存・管理する。
【００３３】
なお、画像データの格納形式やネットワーク９経由での各装置間の通信は、DICOM等のプロトコルに基づいている。
【００３４】
画像処理装置８は、一台のコンピュータに、本発明の画像処理プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションやパソコンでもよいし、もしくは、それらとネットワークを介して接続されたサーバコンピュータでもよい。画像処理プログラムは、ＤＶＤ，ＣＤ−ＲＯＭ等の記録メディアに格納されて配布され、その記録媒体からコンピュータにインストールされる。もしくは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
【００３５】
図２は、ワークステーションに画像処理プログラムをインストールすることにより実現された画像処理装置の概略構成を示す図である。同図が示すように、画像処理装置８は、標準的なワークステーションの構成として、ＣＰＵ８１、メモリ８２およびストレージ（画像記憶手段）８３を備えている。また、画像処理装置８には、ディスプレイ８４と、マウス８５等の入力装置（指示検出手段）が接続されている。
【００３６】
ストレージ８３には、ネットワーク９を経由して内視鏡装置３、３次元画像撮影装置５、画像保管サーバ６などから取得した内視鏡画像や３次元画像、画像処理装置８での画像処理によって生成された画像データなどが記憶されている。
【００３７】
また、メモリ８２には、画像処理プログラムが記憶されている。画像処理プログラムは、ＣＰＵ８１に実行させる処理として、表面画像取得処理、近傍画像生成処理、周辺画像生成処理、病変検出処理、指示検出処理および表示制御処理を規定している。そして、ＣＰＵ８１がプログラムに従いこれらの処理を実行することで、汎用のワークステーションは、表面画像取得手段７１、近傍画像生成手段７２、周辺画像生成手段７３、病変検出手段７４、指示検出手段７５および表示制御手段７６として機能することになる。
【００３８】
以下、図３を参照して、画像処理装置８の各機能ブロックについて説明する。
【００３９】
表面画像取得手段７１は、内視鏡装置３により大腸内を所定の視点位置において撮影された通常内視鏡画像Ｅ１および分光内視鏡画像Ｅ２を取得する。それらの画像が既にストレージ８３に記憶されている場合には、ストレージ８３から取得するようにしてもよい。この通常内視鏡画像Ｅ１と分光内視鏡画像Ｅ２はいずれも、大腸の壁の内側の表面を表す表面画像に該当する。この取得された通常内視鏡画像Ｅ１および分光内視鏡画像Ｅ２は、表示制御手段７６に出力される。
【００４０】
近傍画像生成手段７２は、３次元画像Ｖから、通常内視鏡画像Ｅ１または分光内視鏡画像Ｅ２の視点に対応する３次元画像Ｖ中の視点から大腸の壁の近傍に存在する血管の部分を描写した近傍血管画像を生成する。具体的には、まず、３次元画像撮影装置５または画像保管サーバ６から３次元画像Ｖを取得するとともに、上記通常内視鏡画像Ｅ１または分光内視鏡画像Ｅ２に付帯された先端部３Ｂの位置Ｐおよび向きＤ（内視鏡画像の視点および視線方向）の情報を取得する。次に、大腸の中心線を抽出し、その中心線に垂直な各断面上のその中心線が通る点から放射線状に伸ばした複数の線を設定し、大腸の壁の内側の表面上をその各線が通る点の画素値を、その壁の表面から外側に所定範囲内におけるその線上の全ての点の画素値のうちの最大値に決定する（Depth Mip手法）。この処理により、大腸の壁の内側の表面に、造影剤によって高い画素値を有する血管全体のうち大腸の壁の近傍に存在する部分の投影像が生成される。また、大腸の壁の形状が忠実に描写されるよう、大腸の壁に、一般的なボリュームレンダリングにおいて与えられる不透明度として１に近い値を与える。次に、位置Ｐに対応する３次元画像Ｖ中の位置を視点として、その視点から放射状に伸ばした複数の視線上の画像情報を、向きＤに対応する方向を投影方向の中心とした投影面に投影した投影画像を３次元画像Ｖから生成する。
【００４１】
投影の具体的な方法としては、例えば、公知のボリュームレンダリング手法等を用いる（周辺画像生成手段７３においても同じ）。以上の処理により、生成される投影画像は、通常内視鏡画像Ｅ１または分光内視鏡画像Ｅ２と同一の構図となる仮想内視鏡画像であって、大腸の壁上に大腸の壁の近傍に存在する血管の部分の投影像が模様として表された画像となる。この仮想内視鏡画像が本発明における近傍血管画像に該当し、以下近傍血管画像と称する。この近傍血管画像は、表示制御手段７６に出力される。
【００４２】
周辺画像生成手段７３は、３次元画像Ｖから、通常内視鏡画像Ｅ１または分光内視鏡画像Ｅ２の視点に対応する３次元画像Ｖ中の視点から大腸周辺の血管を描写した周辺血管画像を生成する。具体的には、まず、３次元画像撮影装置５または画像保管サーバ６から３次元画像Ｖを取得するとともに、上記通常内視鏡画像Ｅ１または分光内視鏡画像Ｅ２に付帯された先端部３Ｂの位置Ｐおよび向きＤの情報を取得する。また、大腸の壁によって視界が遮られないように、大腸の壁には、一般的なボリュームレンダリングにおいて与えられる不透明度として０に近い値を与える。次に、位置Ｐに対応する３次元画像Ｖ中の位置を視点として、その視点から放射状に伸ばした複数の視線上の画像情報を、向きＤに対応する方向を投影方向の中心とした投影面に投影した投影画像を３次元画像Ｖから生成する。以上の処理により、生成される投影画像は、大腸周辺の組織、特に造影剤によって高い画素値を有する大腸周辺の血管の様子が忠実に描写された擬似３次元画像となる。この擬似３次元画像が本発明における周辺血管画像に該当し、以下周辺血管画像と称する。この周辺血管画像は、表示制御手段７６に出力される。
【００４３】
病変検出手段７４は、通常内視鏡画像Ｅ１または分光内視鏡画像Ｅ２から病変を検出するものであって、公知のコンピュータ支援診断CAD（computer-aided diagnosis）システムによって突起物（ポリープ）、癌、腫瘍などの病変領域を自動検出することにより病変領域５３を取得する。病変領域は、医者などがその内視鏡画像を読影して発見した病変の位置を画像処理装置８に備えるマウス８４等の入力装置を用いて入力したのを受けて取得するようにしてもよい。なお、この病変の検出結果は、表示制御手段７６、近傍画像生成手段７２、周辺画像生成手段７３などに出力される。
【００４４】
指示検出手段７５は、ユーザがマウス８５等の入力装置によって行うメニュー選択操作を検出することにより、後述する本発明による一連の表示の実行を指示する入力を検出する。なお、指示検出手段７５は、ユーザが内視鏡撮影装置３の操作部３Ａによって行う操作を検出することにより、同指示の入力を検出するものであってもよい。
【００４５】
表示制御手段７６は、ディスプレイ８４画面の表示形式および表示タイミングを制御する。具体的には、表示モードが「通常表示モード」である場合には、内視鏡装置３により所定のフレームレートで撮影してえられた内視鏡画像を順次取得・表示し、表示モードが「一連表示モード」である場合には、ディスプレイ８４画面上の所定の表示領域において、表面画像、近傍血管画像、周辺血管画像の順にこれらの画像を切り替えて表示する。また、表示制御手段７は、表示画面上の上方から下方へ、または左方から右方へ、表面画像、近傍血管画像、周辺血管画像を順に並べて表示することもできる。表示制御手段７は、それらの画像を切り換えて表示するか、並べて表示するかを、設定情報もしくはユーザ操作にしたがって決定する。図４は、表示モードが「一連表示モード」である場合における表示例を示すものであり、表面画像である通常内視鏡画像Ｅ１と分光内視鏡画像Ｅ２、近傍血管画像、周辺血管画像を順に並べて表示したものである。
【００４６】
また、表示制御手段７６は、病変検出手段７４により病変が検出された場合や、指示検出手段７５により一連の表示の実行を指示する入力が検出された場合に、表示モードを「一連表示モード」と設定し、上記表示を行う。
【００４７】
以下、図５のフローチャートを参照して、本発明の画像処理装置８による処理の流れの一例について説明する。まず、表面画像取得手段７１が、内視鏡装置３により大腸内を所定の視点位置において撮影された通常内視鏡画像Ｅ１および分光内視鏡画像Ｅ２を取得する（ステップＳＴ１）。その後、病変検出手段７４が、分光内視鏡画像Ｅ２から病変を検出する処理を行ない、病変が検出されたか否かを判断する（ステップＳＴ２）。ステップＳＴ２において病変が検出されない場合、表示制御手段７６が、表示モードを「通常表示モード」とし、内視鏡装置３により所定のフレームレートで撮影してえられた通常内視鏡画像Ｅ１を順次取得・表示する（ステップＳＴ３）。ステップＳＴ２において病変が検出されるまで、ステップＳＴ２からＳＴ３を繰り返し行う。
【００４８】
ステップＳＴ２において病変が検出されると、近傍画像生成手段７２が、３次元画像Ｖから、通常内視鏡画像Ｅ１の視点に対応する３次元画像Ｖ中の視点から大腸の壁の近傍に存在する血管の部分を描写した近傍血管画像を生成する（ステップＳＴ４）。また、周辺画像生成手段７３が、３次元画像Ｖから、通常内視鏡画像Ｅ１の視点に対応する３次元画像Ｖ中の視点から大腸周辺の血管を描写した周辺血管画像を生成する（ステップＳＴ５）。ステップＳＴ５とＳＴ６の処理は両方を同時に行なってもよいし、いずれか一方を先に行って他方を後で行なってもよい。続いて、表示制御手段７６が、表示モードを「一連表示モード」とし、通常内視鏡画像Ｅ１、分光内視鏡画像Ｅ２、近傍血管画像、周辺血管画像の順にこれらの画像を切り替えて表示し（ステップＳＴ６）、処理を終了する。
【００４９】
以上に説明したとおり、本実施形態の画像処理装置およびプログラムによれば、大腸内に挿入された内視鏡により撮影して得られた、大腸の壁の内側の表面を表す内視鏡画像（表面画像）Ｅ１，Ｅ２を取得し、大腸を含む３次元領域を表した３次元画像から、内視鏡画像の視点に対応する３次元画像中の視点から壁の近傍に存在する血管の部分を描写した近傍血管画像Ｑ１を生成し、大腸の周辺を含む３次元領域を表した３次元画像から、内視鏡画像の視点に対応する視点から血管を描写した周辺血管画像Ｑ２を生成し、表示手段に、内視鏡画像Ｅ１，Ｅ２、近傍血管画像Ｑ１、周辺血管画像Ｑ２の順にそれらの画像を表示させているので、その大腸の内側の表面の様子およびその表面から外側周辺に至る血管の様子を連続的に観察することができ、大腸の内側の表面の組織とその大腸に関わる周辺の血管との関連性を容易に理解することができる。
【００５０】
また、内視鏡画像からポリープ等の病変を検出し、病変が検出された場合に、表示手段に、内視鏡画像、近傍血管画像、周辺血管画像の順にそれらの画像を表示させているので、粘膜表面におけるその病変の様子を始め、その病変に対して栄養を供給する血管の様子やそれに連続する主な血管の走行を容易に観察でき、病変の良悪性の判断や手術計画の検討を容易に行うことができる。
【００５１】
なお、上記実施の形態では、本発明の画像処理装置を大腸の観察に適用した場合について説明したが、これに限らずたとえば胃など他の周辺の血管と関わる管腔状の臓器を観察するものに適用することができる。
【００５２】
また、上記実施の形態では、表面画像として通常内視鏡画像Ｅ１と分光内視鏡画像Ｅ２の両方を表示する場合を例示して説明したが、そのいずれか一方の画像のみを表示するようにしてもよい。
【００５３】
また、上記表示制御手段７６は、表示モードが「一連表示モード」である場合に、さらにユーザがマウス８５等の入力装置によって行うメニュー選択操作を検出することにより、ディスプレイ８４画面上の所定の表示領域において、上述した一連の表示の順と逆の、周辺血管画像Ｑ２、近傍血管画像Ｑ１、表面画像Ｅ１，Ｅ２の順にこれらの画像を切り替えて表示する機能をさらに有するものであってもよい。
【００５４】
また、上記画像処理装置８において、内視鏡撮影装置３により撮影された内視鏡画像と同一の構図となる仮想内視鏡画像であって、対象臓器をあたかも内視鏡で観察したような様子を表す仮想内視鏡画像を３次元画像Ｖから生成する画像生成手段をさらに備え、表示制御手段７６により、表示モードが「通常表示モード」である場合に、内視鏡画像と画像生成手段により生成された同一構図の仮想内視鏡画像とを連動して表示させるようにしてもよい。
【符号の説明】
【００５５】
３ 内視鏡装置
５ ３次元画像撮影装置
６ 画像保管サーバ
８ 画像処理装置
８１ ＣＰＵ
８２ メモリ
８３ ストレージ
８４ ディスプレイ
８５ 入力装置
７１ 表面画像取得手段
７２ 近傍画像生成手段
７３ 周辺画像生成手段
７４ 病変検出手段
７５ 指示検出手段
７６ 表示制御手段
【特許請求の範囲】
【請求項１】
周辺の血管と関わる管腔状の臓器を観察するための画像を表示する画像処理装置であって、
前記臓器内に挿入された内視鏡により撮影して得られた、前記臓器の壁の内側の表面を表す表面画像を取得する表面画像取得手段と、
前記臓器を含む３次元領域を表した３次元画像から、前記表面画像の視点に対応する３次元画像中の視点から前記壁の近傍に存在する前記血管の部分を描写した近傍血管画像を生成する近傍画像生成手段と、
前記臓器の周辺を含む３次元領域を表した３次元画像から、前記表面画像の視点に対応する視点から前記血管を描写した周辺血管画像を生成する周辺画像生成手段と、
表示手段に、前記表面画像、前記近傍血管画像、前記周辺血管画像の順にそれらの画像を表示させる表示制御手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記表面画像から病変を検出する病変検出手段を備え、
前記表示制御手段が、前記病変検出手段により病変が検出された場合に、前記表示を行うものであることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記表示の実行を指示する入力を検出する指示検出手段を備え、
前記表示制御手段が、前記指示検出手段により前記入力が検出された場合に、前記表示を行うものであることを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記表示制御手段が、前記表面画像、前記近傍血管画像および前記周辺血管画像を切り替えて表示するものであることを特徴とする請求項１から３のいずれか１項記載の画像処理装置。
【請求項５】
前記表示制御手段が、前記表面画像、前記近傍血管画像および前記周辺血管画像を並べて表示するものであることを特徴とする請求項１から３のいずれか１項記載の画像処理装置。
【請求項６】
前記表面画像が、前記表面へ白色光を照射したときに撮影された画像および前記表面へ前記白色光とは異なる特定の波長帯域の光を照射したときに撮影された画像のいずれか一方または両方であることを特徴とする請求項１から５のいずれか１項記載の画像処理装置。
【請求項７】
前記近傍血管画像が、前記臓器の構造上に前記血管の部分が投影された画像であることを特徴とする請求項１から６のいずれか１項記載の画像処理装置。
【請求項８】
周辺の血管と関わる管腔状の臓器を観察するための画像を表示する画像処理方法であって、
前記臓器内に挿入された内視鏡により撮影して得られた、前記臓器の壁の内側の表面を表す表面画像を取得する表面画像取得処理と、
前記臓器を含む３次元領域を表した３次元画像から、前記表面画像の視点に対応する３次元画像中の視点から前記壁の近傍に存在する前記血管の部分を描写した近傍血管画像を生成する近傍画像生成処理と、
前記臓器の周辺を含む３次元領域を表した３次元画像から、前記表面画像の視点に対応する視点から前記血管を描写した周辺血管画像を生成する周辺画像生成処理と、
表示手段に、前記表面画像、前記近傍血管画像、前記周辺血管画像の順にそれらの画像を表示させる表示制御処理とを備えたことを特徴とする画像処理方法。
【請求項９】
前記表面画像から病変を検出する病変検出処理を備え、
前記表示制御処理が、前記病変が検出された場合に、前記表示を行うものであることを特徴とする請求項１記載の画像処理方法。
【請求項１０】
周辺の血管と関わる管腔状の臓器を観察するための画像を表示する画像処理プログラムであって、
コンピュータを、
前記臓器内に挿入された内視鏡により撮影して得られた、前記臓器の壁の内側の表面を表す表面画像を取得する表面画像取得手段と、
前記臓器を含む３次元領域を表した３次元画像から、前記表面画像の視点に対応する３次元画像中の視点から前記壁の近傍に存在する前記血管の部分を描写した近傍血管画像を生成する近傍画像生成手段と、
前記臓器の周辺を含む３次元領域を表した３次元画像から、前記表面画像の視点に対応する視点から前記血管を描写した周辺血管画像を生成する周辺画像生成手段と、
表示手段に、前記表面画像、前記近傍血管画像、前記周辺血管画像の順にそれらの画像を表示させる表示制御手段として機能させることを特徴とする画像処理プログラム。
【請求項１１】
前記コンピュータを、
前記表面画像から病変を検出する病変検出手段としてさらに機能させるためのものであり、
前記表示制御手段が、前記病変検出手段により病変が検出された場合に、前記表示を行うものであることを特徴とする請求項１０記載の画像処理プログラム。
【請求項１】
周辺の血管と関わる管腔状の臓器を観察するための画像を表示する画像処理装置であって、
前記臓器内に挿入された内視鏡により撮影して得られた、前記臓器の壁の内側の表面を表す表面画像を取得する表面画像取得手段と、
前記臓器を含む３次元領域を表した３次元画像から、前記表面画像の視点に対応する３次元画像中の視点から前記壁の近傍に存在する前記血管の部分を描写した近傍血管画像を生成する近傍画像生成手段と、
前記臓器の周辺を含む３次元領域を表した３次元画像から、前記表面画像の視点に対応する視点から前記血管を描写した周辺血管画像を生成する周辺画像生成手段と、
表示手段に、前記表面画像、前記近傍血管画像、前記周辺血管画像の順にそれらの画像を表示させる表示制御手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記表面画像から病変を検出する病変検出手段を備え、
前記表示制御手段が、前記病変検出手段により病変が検出された場合に、前記表示を行うものであることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記表示の実行を指示する入力を検出する指示検出手段を備え、
前記表示制御手段が、前記指示検出手段により前記入力が検出された場合に、前記表示を行うものであることを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記表示制御手段が、前記表面画像、前記近傍血管画像および前記周辺血管画像を切り替えて表示するものであることを特徴とする請求項１から３のいずれか１項記載の画像処理装置。
【請求項５】
前記表示制御手段が、前記表面画像、前記近傍血管画像および前記周辺血管画像を並べて表示するものであることを特徴とする請求項１から３のいずれか１項記載の画像処理装置。
【請求項６】
前記表面画像が、前記表面へ白色光を照射したときに撮影された画像および前記表面へ前記白色光とは異なる特定の波長帯域の光を照射したときに撮影された画像のいずれか一方または両方であることを特徴とする請求項１から５のいずれか１項記載の画像処理装置。
【請求項７】
前記近傍血管画像が、前記臓器の構造上に前記血管の部分が投影された画像であることを特徴とする請求項１から６のいずれか１項記載の画像処理装置。
【請求項８】
周辺の血管と関わる管腔状の臓器を観察するための画像を表示する画像処理方法であって、
前記臓器内に挿入された内視鏡により撮影して得られた、前記臓器の壁の内側の表面を表す表面画像を取得する表面画像取得処理と、
前記臓器を含む３次元領域を表した３次元画像から、前記表面画像の視点に対応する３次元画像中の視点から前記壁の近傍に存在する前記血管の部分を描写した近傍血管画像を生成する近傍画像生成処理と、
前記臓器の周辺を含む３次元領域を表した３次元画像から、前記表面画像の視点に対応する視点から前記血管を描写した周辺血管画像を生成する周辺画像生成処理と、
表示手段に、前記表面画像、前記近傍血管画像、前記周辺血管画像の順にそれらの画像を表示させる表示制御処理とを備えたことを特徴とする画像処理方法。
【請求項９】
前記表面画像から病変を検出する病変検出処理を備え、
前記表示制御処理が、前記病変が検出された場合に、前記表示を行うものであることを特徴とする請求項１記載の画像処理方法。
【請求項１０】
周辺の血管と関わる管腔状の臓器を観察するための画像を表示する画像処理プログラムであって、
コンピュータを、
前記臓器内に挿入された内視鏡により撮影して得られた、前記臓器の壁の内側の表面を表す表面画像を取得する表面画像取得手段と、
前記臓器を含む３次元領域を表した３次元画像から、前記表面画像の視点に対応する３次元画像中の視点から前記壁の近傍に存在する前記血管の部分を描写した近傍血管画像を生成する近傍画像生成手段と、
前記臓器の周辺を含む３次元領域を表した３次元画像から、前記表面画像の視点に対応する視点から前記血管を描写した周辺血管画像を生成する周辺画像生成手段と、
表示手段に、前記表面画像、前記近傍血管画像、前記周辺血管画像の順にそれらの画像を表示させる表示制御手段として機能させることを特徴とする画像処理プログラム。
【請求項１１】
前記コンピュータを、
前記表面画像から病変を検出する病変検出手段としてさらに機能させるためのものであり、
前記表示制御手段が、前記病変検出手段により病変が検出された場合に、前記表示を行うものであることを特徴とする請求項１０記載の画像処理プログラム。
【図１】
【図２】
【図３】
【図５】
【図４】
【図２】
【図３】
【図５】
【図４】
【公開番号】特開２０１２−２４５０９（Ｐ２０１２−２４５０９Ａ）
【公開日】平成２４年２月９日（２０１２．２．９）
【国際特許分類】
【出願番号】特願２０１０−１６８８７２（Ｐ２０１０−１６８８７２）
【出願日】平成２２年７月２８日（２０１０．７．２８）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２４年２月９日（２０１２．２．９）
【国際特許分類】
【出願日】平成２２年７月２８日（２０１０．７．２８）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]