医療用画像表示システム
【課題】立体画像とボリューム画像の重畳表示時に、患部変形に対応した表示をし、腫瘍等の奥行き情報を見易くリアルタイムに立体表示する医療用画像表示システムを提供する。
【解決手段】立体観察装置１０１と、立体画像の表示装置１０７と、断層画像を取得する断層画像取得手段１０２と、複数の断層画像からボリューム画像を構築するボリューム画像構築手段１０３と、立体画像とボリューム画像の相対位置を検出する相対位置検出手段１０４，１０６と、相対位置に基づきボリューム画像を立体画像に重畳させる画像重畳手段１０５とを具備し、相対位置検出手段は、立体画像から被検体上の各点までの距離情報を演算する演算部と、立体画像から距離情報を用いて表面形状画像を構築する表面形状画像構築部と、表面形状画像とボリューム画像の相対位置を求める相関部と、表面形状画像の変形に応じてボリューム画像を変形する変形部と、を含む。
【解決手段】立体観察装置１０１と、立体画像の表示装置１０７と、断層画像を取得する断層画像取得手段１０２と、複数の断層画像からボリューム画像を構築するボリューム画像構築手段１０３と、立体画像とボリューム画像の相対位置を検出する相対位置検出手段１０４，１０６と、相対位置に基づきボリューム画像を立体画像に重畳させる画像重畳手段１０５とを具備し、相対位置検出手段は、立体画像から被検体上の各点までの距離情報を演算する演算部と、立体画像から距離情報を用いて表面形状画像を構築する表面形状画像構築部と、表面形状画像とボリューム画像の相対位置を求める相関部と、表面形状画像の変形に応じてボリューム画像を変形する変形部と、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、医療用画像表示システムに係り、特に被検体の患部を含む領域を手術器具を用いて処置する過程で、患部の処置に伴う奥行き情報をリアルタイムで観察可能とした医療用画像表示システムに関する。
【背景技術】
【０００２】
従来、手術を行う際に、患部を実際に撮像している立体画像に、術前に取得した患部の断層像等を重ねて表示することなどが試みられている。
【０００３】
例えば、ＣＴ(Coputed Tomography：コンピュータ断層撮影)やＭＲＩ(Magnetic Resonance Imaging：磁気共鳴撮影)で断層像から３Ｄボリューム画像を生成し、それを立体内視鏡等によって撮影された立体観察画像と重畳して表示装置へ表示するシステムがある。
【０００４】
例えば、特開２００８−２２０８０２号公報には、内視鏡によって得られる組織表面の内視鏡画像と、内視鏡と同一視野方向の組織の弾性情報の３次元ボリュームデータとを関連付けて表示する医用画像診断装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２２０８０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来技術に示した構成では、臓器変形、特に手術過程での患部切除に伴う変形に対応した表示を行えなかった。すなわち、手術中の切除過程において、内視鏡のみでは見えない奥行き情報(血管、腫瘍など)をリアルタイムに見易い状態で観察することはできなかった。
【０００７】
また、立体観察画像と３Ｄボリューム画像とを、単純に重畳して表示すると、被検体の患部を含む実画像と３Ｄボリューム画像が逆点してしまう場合がある。すなわち、実画像の上に、すでに摘除された３Ｄボリューム画像が重ねられて表示されると、挿入された処置具と一緒に見える状態を生ずる。つまり、奥にあるべき３Ｄボリューム画像が処置具を透過して重ねて見えてしまう問題があった。
【０００８】
また、実写画像である３Ｄ内視鏡画像と超音波などの断層像に基づく３Ｄボリューム画像との重畳、特に３Ｄによって奥行方向を表現する場合には、コンピュータ処理による３Ｄボリューム画像が実写画像である３Ｄ内視鏡画像の同系色であった場合は区別がしにくいという問題もあった。
【０００９】
さらに、先行技術の特開２００８−２２０８０２号公報は、内視鏡によって得られる内視鏡画像にその内部の構造的細部情報を含んだボリューム画像を見易い状態で重畳して表示するものではなかった。
【００１０】
そこで、本発明は、上記の問題に鑑み、立体観察画像と３Ｄボリューム画像とを重畳して表示する際に、手術過程での患部切除に伴う変形に対応した表示を行え、手術中の切除過程において、内視鏡のみでは見えない腫瘍等の切除時の状態を含む奥行き情報を見易い状態にしてリアルタイムに立体的に観察することができる医療用画像表示システムを提供することを目的とするものである。
【課題を解決するための手段】
【００１１】
本発明の一態様の医療用画像表示システムは、患部を立体観察する立体観察装置と、この立体観察装置で得られる立体画像を表示する表示装置と、患部の断層画像を取得する断層画像取得手段と、前記断層画像取得手段で取得した複数の断層画像からボリューム画像を構築するボリューム画像構築手段と、前記立体画像と前記ボリューム画像の相対位置を検出する相対位置検出手段と、前記ボリューム画像を前記表示装置に、前記相対位置に基づいて前記立体画像と重ねて表示する画像重畳手段と、を具備し、前記相対位置検出手段は、被検体の前記患部を含む領域を手術器具を用いて切除する過程で、前記立体観察装置で取得される立体画像から、患部を含む被検体上の各点までの距離情報を演算する演算部と、前記立体画像から前記距離情報を用いて前記被検体の表面形状画像を構築する表面形状画像構築部と、前記表面形状画像と前記ボリューム画像の相対位置を求める相関部と、前記表面形状画像から、手術の際の切除に伴って生ずる前記表面形状画像の変形に対応して、前記ボリューム画像構築手段で構築される前記ボリューム画像を変形させる変形部と、を含むものである。
【発明の効果】
【００１２】
本発明によれば、立体観察画像と３Ｄボリューム画像とを重畳して表示する際に、手術過程での患部切除に伴う変形に対応した表示を行え、手術中の切除過程において、内視鏡のみでは見えない腫瘍等の切除時の状態を含む奥行き情報を見易い状態にしてリアルタイムに立体的に観察することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態の医療用画像表示システムの構成を示すブロック図。
【図２】患部である腫瘍を切除する手術を行い、その状態を３Ｄ硬性鏡によって３Ｄ撮影している状態を説明する説明図。
【図３】手術器具を用いて生体組織を切削し、形成された凹部に腫瘍が露出した状態を立体的に示す斜視図。
【図４】超音波内視鏡による超音波プローブの撮影状態を示す斜視図。
【図５】患部の腫瘍を含んだ部分の切削過程で、３Ｄ硬性鏡にて撮影した３Ｄ画像に対して、予め超音波内視鏡で撮影した患部の断層像に基づく３Ｄボリューム画像を重ねて表示した側断面図。
【図６】図５の各切削過程で切り出した腫瘍の立体像の断面を示す図。
【図７】患者の頭部の術部の側面像，上面像，及び背面像の２Ｄ画像と、側面像の３Ｄ画像とを示す図。
【図８】内視鏡と同一の視野内に挿入された処置具の動き検出を可能にするＣＣＵの構成の一例を示すブロック図。
【図９】本発明の実施形態の動作例を説明するフローチャート。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
図１は本発明の一実施形態の医療用画像表示システムの構成を示すブロック図である。
【００１５】
図１に示す医療用画像表示システム１００は、磁気センサを内蔵した、立体観察装置としての３Ｄ硬性鏡１０１と、表示装置としての画像表示部１０７と、磁気センサを内蔵した、断層画像取得手段としての超音波内視鏡１０２と、ボリューム画像構築手段としての３Ｄボリューム画像生成部１０３と、相対位置検出手段の一部を構成する画像相関演算部１０４と、画像重畳手段としての画像合成部１０５と、表面形状画像構築部としての表面画像生成部１０６と、３Ｄ硬性鏡側のカメラコントロール部(以下、ＣＣＵ)１０８と、超音波内視鏡側のカメラコントロール部(以下、ＣＣＵ)１０９と、位置検出装置としての磁気ナビ装置１１０と、を備える。相対位置検出手段は、画像相関演算部１０４と、表面画像生成部１０６とを含んで構成されている。又、画像相関演算部１０４は、演算部１０４ａと、相関部１０４ｂと、変形部１０４ｃとを含んで構成されている。
【００１６】
磁気センサ内蔵の３Ｄ硬性鏡１０１は、右眼及び左眼用の二系統の撮像素子を備え、患部を立体観察する立体観察装置として機能する。その出力は、ビデオプロセッサ部を有するＣＣＵ１０８へ供給される。なお、３Ｄ硬性鏡１０１に代えて、３Ｄ軟性鏡、或いは顕微鏡であっても良い。本明細書において、３Ｄ硬性鏡については３Ｄ内視鏡として表現することがある。
【００１７】
画像表示部１０７は、３Ｄ硬性鏡１０１で得られる立体画像を表示する表示装置として機能する。
磁気センサ内蔵の超音波内視鏡１０２は、患部の断層画像を取得する断層画像取得手段として機能する。その出力は、ビデオプロセッサ部を有するＣＣＵ１０９へ供給される。なお、超音波内視鏡１０２に代えて、術中の断層画像を取得可能なＣＴ装置やＭＲＩ装置であっても良い。
【００１８】
超音波内視鏡１０２は、３Ｄ硬性鏡１０１による３Ｄ観察を行う前に、予め超音波内視鏡１０２及びＣＣＵ１０９にてスライス状の超音波断層像(ＵＳ画像)を取得し、ＣＣＵ１０９を介して３Ｄボリューム画像生成部１０３に送る。３Ｄボリューム画像生成部１０３は、スライス画像の前記ＵＳ画像を磁気ナビ装置１１０からの位置情報に基づいて積み重ねて３Ｄボリュームレンダリング画像(ＶＲ画像又は単にボリューム画像)を生成し保持する。
【００１９】
３Ｄボリューム画像生成部１０３は、超音波内視鏡１０２で取得した複数の断層画像からボリューム画像を構築するボリューム画像構築手段として機能する。
画像相関演算部１０４は、前記立体画像と前記ボリューム画像の相対位置を検出する相対位置検出手段の一部として機能する。
表面画像生成部１０６は、前記立体画像から表面形状画像としてのサーフェスレンダリング画像を構築する表面形状画像構築部として機能する。
【００２０】
相対位置検出手段は、被検体の前記患部を含む領域を手術器具を用いて切除する過程で、前記立体観察装置で取得される立体画像から、患部を含む被検体上の各点までの距離情報を演算する演算部１０４ａと、前記立体画像から前記距離情報を用いて前記被検体の表面形状画像を構築する表面形状画像構築部１０６と、前記表面形状画像と前記ボリューム画像の相対位置を求める相関部１０４ｂと、前記表面形状画像から、手術の際の切除に伴って生ずる前記表面形状画像の変形に対応して、前記ボリューム画像構築手段で構築される前記ボリューム画像を変形させる変形部１０４ｃと、を含む。
【００２１】
画像合成部１０５は、前記ボリューム画像を前記画像表示部１０７に、前記相対位置に基づいて前記立体画像と重ねて表示するための画像重畳手段として機能する。
３Ｄ硬性鏡側のＣＣＵ１０８は、３Ｄ硬性鏡１０１からの右眼及び左眼用の二系統の３Ｄ撮像信号を入力し、３Ｄ映像信号として出力する一方、ズームやフォーカスなどの光学パラメータを生成し出力する。
【００２２】
超音波内視鏡側のＣＣＵ１０９は、超音波画像としての断層像を出力する一方、超音波観察パラメータを生成し出力する。
磁気ナビ装置１１０は、３Ｄ硬性鏡１０１，超音波内視鏡１０２，及び手術器具などの処置具(図示略)にそれぞれ取り付けた磁気センサからの磁気を、例えばタイムシェアリングで受信して各装置からの磁気の強さ及び方向を検出することによって、各装置の位置や向きを検出し、位置情報として出力する位置検出装置として機能する。なお、位置検出装置としては、磁気式のナビゲーション装置に代えて光学式のナビゲーション装置を用いる構成としてもよい。
【００２３】
画像相関演算部１０４は、被検体の前記患部を含む領域を手術器具を用いて切除する過程で、前記立体観察装置で取得される立体画像から、患部を含む被検体上の各点までの距離情報を演算する演算部１０４ａと、前記表面形状画像としてのサーフェスレンダリング画像(ＳＲ画像)と前記ボリューム画像の相対位置を求める相関部１０４ｂと、前記サーフェスレンダリング画像から、手術の際の切除に伴って生ずる前記サーフェスレンダリング画像の変形に対応して、前記ボリューム画像構築手段で構築される前記ボリューム画像を変形させる変形部１０４ｃと、を備えている。
【００２４】
以上のような構成において、つぎのような作用効果を得ることができる。
１．３Ｄ硬性鏡１０１の３Ｄ画像に、超音波(ＵＳ)の３Ｄボリューム画像を位置合わせして重ねて表示するので、被検体の患部の外観(表面)画像もその内部の奥行き画像も立体的に観察することができる。超音波の３Ｄボリューム画像については、血管像、腫瘍などを選択して表示することも可能である。
【００２５】
２．画像相関演算部１０４が、３Ｄ画像と３Ｄボリューム画像の輪郭の特徴点をパターンマッチングで相関付けることによって、２つの画像の重ね合わせ精度を向上させることができる。
３．画像相関演算部１０４が、３Ｄボリューム画像(例えば内包された血管像)だけでなく、超音波内視鏡１０２のバーチャル３Ｄイメージ(例えばＵＳプローブの像)を３Ｄ画像の中に重ね合わせることもできる。これに加えて、超音波内視鏡１０２によるスキャン断面や、ボリューム画像を取得した範囲を３Ｄ表示で重ね合わせることもできる。
【００２６】
以上により、手術に伴い患部の臓器が変形(切削)されて行く過程をリアルタイムに３Ｄ表示して、術者並びに周囲の介助者に提示することができる。内視鏡では見えない、奥行き情報(血管，腫瘍，他)がリアルタイムに観察できるため、確実安全な処置が可能となる。
【００２７】
図２は、患部の切削過程を３Ｄ硬性鏡１０１によって３Ｄ撮影している状態を示している。ここでは、処置具１１１を用いて被検体１１２の患部である腫瘍１１３を切除する手術を行うために、腫瘍１１３の上部にある生体を切削する。
【００２８】
被検体１１２には手術器具としての処置具１１１を用いて腫瘍１１３に対応した部分１１４が切削されており、切削によってできた凹部１１４内に腫瘍１１３の一部が露出している。このとき、３Ｄ硬性鏡１０１からは左眼及び右眼用の二系統の３Ｄ撮像信号がＣＣＵ１０８へ出力されている。同時に、３Ｄ硬性鏡１０１に内蔵された磁気センサ(図示略)と処置具１１１に取り付けた磁気センサ(図示略)の各々の装置から位置検出情報が磁気信号で磁気ナビ装置１１０に伝達されるようになっている。
【００２９】
図３は手術器具である処置具１１１を用いて被検体１１２の生体組織を切削することによって、凹部１１４が形成されたときに、腫瘍１１３の部分が凹部１１４内に露出した状態を立体的に表示したものである。この腫瘍１１３の部分が凹部１１４内に露出する前の状態では、外観上は生体内部の腫瘍は見えないが、本実施形態によれば３Ｄ硬性鏡による３Ｄ画像に対して予め撮影した断層像に基づいて生成した３Ｄボリューム画像(ＶＲ画像)を位置合わせをして重畳表示している。外面的に見た３Ｄ画像上にはその生体内部の構成成分としての腫瘍１１３が立体的に重ねて表示されているので、切除予定の腫瘍の位置を画像表示部１０７上で確認しながら切削することが可能となり、腫瘍摘出手術が極めて効率的に行えるメリットがある。なお、ここでは、予め超音波撮像した断層像に基づいて構築した腫瘍１１３部分を含む３Ｄボリューム画像(血管像は図示せず)を重畳する構成となっている。
【００３０】
図４は超音波内視鏡１０２の超音波プローブ(以下、ＵＳプローブ)を用いて、患部(腫瘍)付近を開頭した状態でセクタ走査などによって患部(腫瘍)の断層像を取得する状態を示している。その後に、取得した複数の断層像を用いて３Ｄボリューム画像を生成する。そして、３Ｄ硬性鏡１０１によって患部を含む被検体を外観撮影しその撮影した３Ｄ画像に前記３Ｄボリューム画像を重ねて表示し観察しながら、患部の切削を開始し、図５に示す手術過程を経て腫瘍の切除を行うことになる。
【００３１】
図５は内部に腫瘍１１３を含んだ被検体１１２の部分を３Ｄ硬性鏡１０１にて撮影した３Ｄ画像に、予め超音波内視鏡１０２で取得した超音波断層像(ＵＳ画像)に基づいて生成した３Ｄボリューム画像を重ねて表示した状態を示している。このとき、２つの３Ｄ像が重畳された状態の重畳画像も３Ｄの立体画像として生成され表示されている。従って、図５(a)〜(c)は図３と同様の立体表示状態であるが、説明用として被検体の側面から見た断面図としている。図５は(a)，(b)，(c)の順に切削が進んでいった様子を示している。
【００３２】
図６(a)，(b)，(c)は図５の切削過程(a)，(b)，(c)から切り出した腫瘍１１３の立体像の断面図を示している。このように各過程の重畳画像から腫瘍１１３部分のみを切り出して表示することも可能である。さらに、図７(a)，(b)，(c)に示すように、被検体となる患者の頭部の術部を２Ｄ表示したり、図７(d)に示すように、３Ｄ表示したりすることもできる。
【００３３】
図７で、(a)は患者の頭部の術部の側面像の２Ｄ画像、(b)は患者の頭部の術部の上面像の２Ｄ画像、(c)は患者の頭部の術部の背面像の２Ｄ画像、(d)は患者の頭部の術部の側面像の３Ｄ画像である。
【００３４】
ところで、医療用画像診断機器の発達により観察画面上には多くの画像情報が表示されるようになってきた。実写画像である３Ｄ内視鏡画像と超音波断層像に基づく３Ｄボリューム画像とを重畳する際に、特に３Ｄによって奥行方向を表現する場合には、コンピュータ処理による３Ｄボリューム画像の色が実写画像である３Ｄ内視鏡画像の同系色であると２つの画像同士の区別がしづらく、目の疲労につながる。
【００３５】
そこで、第１の実施例としては、３Ｄ内視鏡画像の画面全体の色の平均値を算出し、その算出された色の補色を演算することによって、演算された補色を重畳すべき３Ｄボリューム画像の色として表示する。なお、算出方法は平均値の他に、標準偏差等の演算手法を用いてもよい。
これにより、実画像とこれに重畳される画像との区別がしやすくなり、術者の疲労軽減に効果がある。従って、深さを含む奥行き方向の情報も認識しやすくなる。
【００３６】
第２の実施例としては、３Ｄ内視鏡画像において重畳しようとする画像の特定部分(例えば血管像)に対応する部分の平均値を算出し、その算出された色の補色を演算することによって、演算された補色を３Ｄボリューム画像の色として表示する。
これにより、画面全体に色々な色が存在する場合や、画面が特定臓器などの特定の色にかたよる場合に、重畳しようとする画像に対してより認識しやすい色設定が可能となる。
【００３７】
第３の実施例としては、観察対象の３Ｄ内視鏡画像を複数の所定領域に分割するとともに、前記３Ｄボリューム画像の重畳対象となる前記分割領域における色情報の平均値を算出し、重畳対象となる前記分割領域における重畳すべき画像Ａが血管であり、同じ重畳対象となる前記分割領域における重畳すべき画像Ｂが神経束である場合に、血管Ａ，神経束Ｂの色を前記平均値に対する補色の範囲から、その補色に近くかつ互いに異なった２つの色(略補色)に設定する。
これにより、重畳しようとする画像が複数存在する場合などに、演算が比較的容易であり、複数の重畳するもの毎に色を変えることができ、かつ観察実画像とは区別しやすい。
【００３８】
以上の３Ｄボリューム画像と実写画像である３Ｄ内視鏡画像との区別が、実画像の３Ｄ内視鏡画像や、超音波画像に基いた３Ｄボリューム画像によらず、３Ｄ内視鏡画像と３Ｄボリューム画像の２つの画像の色の関係を互いに補色の関係にして区別しやすくし、観察し易い重畳画像を提供することが可能となる。つまり、ユーザは見易い状態で観察することが可能となる。
【００３９】
さらに、超音波内視鏡やＣＴ／ＭＲＩ装置等の断層像データから３Ｄボリューム画像を作成し、それを３Ｄ内視鏡等によって撮影された３Ｄ観察画像と重畳して立体表示するシステムにおいて、３Ｄ観察画像と３Ｄボリューム画像とを、単純に重畳して表示すると、処置具が常にもしくは頻繁に３Ｄ観察画像の視野に重なってしまう状況では、処置具と３Ｄボリューム画像が重畳されてしまい観察が非常に煩わしい。これは、処置具は実画像としてリアルタイムに立体観察画像中に表示されるものであり、その上に断層像から構築された３Ｄボリューム画像がコンピュータ処理にて重ねられて表示されるために、奥に表示されるべき３Ｄボリューム画像が、手前に表示されるべきで処置具と一緒にみえてしまうことに基因している。
【００４０】
そこで、第４の実施例としては、３Ｄボリューム画像に実画像である３Ｄ内視鏡画像を位置を合わせて重畳し表示する際に、その表示画面に処置具が入った場合に、処置具の位置を磁気式(又は光学式)のナビゲータで検出し、その処置具位置に対応した位置における３Ｄボリューム画像の重畳を行わないようにすることにより、処置具部分に重なった３Ｄボリューム画像が消えて、処置具による処置が行いやすくなる。
【００４１】
第５の実施例としては、３Ｄ内視鏡１０１に接続されたＣＣＵ１０８は、図８に示すようにビデオプロセッサ部１０８ａのほかに動き検出回路１０８ｂを備える。ビデオプロセッサ部１０８ａの出力(３Ｄ画像信号)は画像合成部１０５に入力される一方、動き検出回路１０８ｂはビデオプロセッサ部１０８ａからの出力を入力し、３Ｄ内視鏡画像中の部分的な動きを検出し、その動きの検出範囲を位置情報として画像合成部１０５に出力する。ここで、動き検出されるものとしては処置具を想定している。
【００４２】
画像合成部１０５では、３Ｄボリューム画像と実画像である３Ｄ内視鏡画像を位置合わせして重畳するが、前記動き位置情報の範囲では３Ｄボリューム画像を重畳しないように動作することにより、処置具の画像に３Ｄボリューム画像が重なって表示されることがなく、処置具による処置が行いやすくなる。
【００４３】
次に、以上述べた本実施形態の動作例を、図９のフローチャートを参照して説明する。
ステップＳ1：３Ｄ内視鏡の左右画像から被写体の各点までの距離情報を演算する。例えば、磁気ナビ装置による内視鏡位置，内視鏡方向，距離，倍率，フォーカスにより演算する。
【００４４】
ステップＳ2：内視鏡画像の表面形状情報を算出する。
ステップＳ3：注目したい対象臓器のボリューム画像を予め生成しておく。
ステップＳ4：表面形状情報とボリューム画像情報との位置合わせをする。
【００４５】
ステップＳ5：患部の切削を開始し、切削の各過程で撮影した内視鏡画像に対応して算出された表面形状情報から、ボリューム画像を変形する。すなわち、削り取った部分のボリューム画像を消去する。
ステップＳ6：ボリューム画像を、内視鏡の左右眼に対応する視点から見た左右画像に生成する。
ステップＳ7：内視鏡画像の色を測定する。
ステップＳ8：左右のボリューム画像を、内視鏡画像の色の補色で生成する。
【００４６】
ステップＳ9：内視鏡画像上に処置具が挿入されると、処置具の位置を検出する。
ステップＳ10：処置具の形状データから、内視鏡視野に対する処置具の表示位置を演算する。この演算は、左右眼に対応してそれぞれ行う。
【００４７】
ステップＳ11：処置具表示位置と重なる左右のボリューム画像の表示を消去する。
ステップＳ12：内視鏡の右眼画像に右のボリューム画像を重畳し、内視鏡の左眼画像に左のボリューム画像を重畳する。
【００４８】
その結果、画像表示部１０７には、３Ｄ内視鏡の３Ｄ画像に対して超音波内視鏡の断層像から生成した３Ｄボリューム画像を重畳した立体画像を３Ｄ表示する際に、腫瘍等の切除手術に伴い臓器が変形(切削)して行く過程をリアルタイムに３Ｄ表示して、術者並びに周囲の介助者等に提示することが可能となる。
【００４９】
以上述べた本発明の実施形態によれば、立体観察画像と３Ｄボリューム画像とを重畳して表示する際に、手術過程での患部切除に伴う変形に対応した立体表示を行える。手術中の切除過程において、内視鏡のみでは見えない腫瘍等の切除時の状態を含む奥行き情報を３Ｄボリューム画像の重畳によってかつ見易い状態にしてリアルタイムに立体的に表示し観察することが可能となる。奥行き情報(血管，腫瘍，他)が見易い状態でリアルタイムに立体的に観察できるため、確実安全な手術及び処置が可能となる。
【００５０】
尚、本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変が可能である。
【符号の説明】
【００５１】
１００…医療用画像表示システム、１０１…３Ｄ硬性鏡(３Ｄ内視鏡又は立体観察装置)、１０２…超音波内視鏡(断層画像取得手段)、１０３…３Ｄボリューム画像生成部(ボリューム画像構築手段)、１０４…画像相関演算部(相対位置検出手段の一部)、１０４ａ…演算部、１０４ｂ…相関部、１０４ｃ…変形部、１０５…画像合成部(画像重畳手段)、１０６…表面画像生成部(相対位置検出手段の一部、サーフェスレンダリング画像構築部又は表面形状画像構築部)、１０７…画像表示部(表示装置)、１０８…３Ｄ硬性鏡側のカメラコントロール部(ＣＣＵ)、１０９…超音波内視鏡側のカメラコントロール部(ＣＣＵ)、１１０…磁気ナビ装置(位置検出装置)。
【技術分野】
【０００１】
本発明は、医療用画像表示システムに係り、特に被検体の患部を含む領域を手術器具を用いて処置する過程で、患部の処置に伴う奥行き情報をリアルタイムで観察可能とした医療用画像表示システムに関する。
【背景技術】
【０００２】
従来、手術を行う際に、患部を実際に撮像している立体画像に、術前に取得した患部の断層像等を重ねて表示することなどが試みられている。
【０００３】
例えば、ＣＴ(Coputed Tomography：コンピュータ断層撮影)やＭＲＩ(Magnetic Resonance Imaging：磁気共鳴撮影)で断層像から３Ｄボリューム画像を生成し、それを立体内視鏡等によって撮影された立体観察画像と重畳して表示装置へ表示するシステムがある。
【０００４】
例えば、特開２００８−２２０８０２号公報には、内視鏡によって得られる組織表面の内視鏡画像と、内視鏡と同一視野方向の組織の弾性情報の３次元ボリュームデータとを関連付けて表示する医用画像診断装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２２０８０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来技術に示した構成では、臓器変形、特に手術過程での患部切除に伴う変形に対応した表示を行えなかった。すなわち、手術中の切除過程において、内視鏡のみでは見えない奥行き情報(血管、腫瘍など)をリアルタイムに見易い状態で観察することはできなかった。
【０００７】
また、立体観察画像と３Ｄボリューム画像とを、単純に重畳して表示すると、被検体の患部を含む実画像と３Ｄボリューム画像が逆点してしまう場合がある。すなわち、実画像の上に、すでに摘除された３Ｄボリューム画像が重ねられて表示されると、挿入された処置具と一緒に見える状態を生ずる。つまり、奥にあるべき３Ｄボリューム画像が処置具を透過して重ねて見えてしまう問題があった。
【０００８】
また、実写画像である３Ｄ内視鏡画像と超音波などの断層像に基づく３Ｄボリューム画像との重畳、特に３Ｄによって奥行方向を表現する場合には、コンピュータ処理による３Ｄボリューム画像が実写画像である３Ｄ内視鏡画像の同系色であった場合は区別がしにくいという問題もあった。
【０００９】
さらに、先行技術の特開２００８−２２０８０２号公報は、内視鏡によって得られる内視鏡画像にその内部の構造的細部情報を含んだボリューム画像を見易い状態で重畳して表示するものではなかった。
【００１０】
そこで、本発明は、上記の問題に鑑み、立体観察画像と３Ｄボリューム画像とを重畳して表示する際に、手術過程での患部切除に伴う変形に対応した表示を行え、手術中の切除過程において、内視鏡のみでは見えない腫瘍等の切除時の状態を含む奥行き情報を見易い状態にしてリアルタイムに立体的に観察することができる医療用画像表示システムを提供することを目的とするものである。
【課題を解決するための手段】
【００１１】
本発明の一態様の医療用画像表示システムは、患部を立体観察する立体観察装置と、この立体観察装置で得られる立体画像を表示する表示装置と、患部の断層画像を取得する断層画像取得手段と、前記断層画像取得手段で取得した複数の断層画像からボリューム画像を構築するボリューム画像構築手段と、前記立体画像と前記ボリューム画像の相対位置を検出する相対位置検出手段と、前記ボリューム画像を前記表示装置に、前記相対位置に基づいて前記立体画像と重ねて表示する画像重畳手段と、を具備し、前記相対位置検出手段は、被検体の前記患部を含む領域を手術器具を用いて切除する過程で、前記立体観察装置で取得される立体画像から、患部を含む被検体上の各点までの距離情報を演算する演算部と、前記立体画像から前記距離情報を用いて前記被検体の表面形状画像を構築する表面形状画像構築部と、前記表面形状画像と前記ボリューム画像の相対位置を求める相関部と、前記表面形状画像から、手術の際の切除に伴って生ずる前記表面形状画像の変形に対応して、前記ボリューム画像構築手段で構築される前記ボリューム画像を変形させる変形部と、を含むものである。
【発明の効果】
【００１２】
本発明によれば、立体観察画像と３Ｄボリューム画像とを重畳して表示する際に、手術過程での患部切除に伴う変形に対応した表示を行え、手術中の切除過程において、内視鏡のみでは見えない腫瘍等の切除時の状態を含む奥行き情報を見易い状態にしてリアルタイムに立体的に観察することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態の医療用画像表示システムの構成を示すブロック図。
【図２】患部である腫瘍を切除する手術を行い、その状態を３Ｄ硬性鏡によって３Ｄ撮影している状態を説明する説明図。
【図３】手術器具を用いて生体組織を切削し、形成された凹部に腫瘍が露出した状態を立体的に示す斜視図。
【図４】超音波内視鏡による超音波プローブの撮影状態を示す斜視図。
【図５】患部の腫瘍を含んだ部分の切削過程で、３Ｄ硬性鏡にて撮影した３Ｄ画像に対して、予め超音波内視鏡で撮影した患部の断層像に基づく３Ｄボリューム画像を重ねて表示した側断面図。
【図６】図５の各切削過程で切り出した腫瘍の立体像の断面を示す図。
【図７】患者の頭部の術部の側面像，上面像，及び背面像の２Ｄ画像と、側面像の３Ｄ画像とを示す図。
【図８】内視鏡と同一の視野内に挿入された処置具の動き検出を可能にするＣＣＵの構成の一例を示すブロック図。
【図９】本発明の実施形態の動作例を説明するフローチャート。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
図１は本発明の一実施形態の医療用画像表示システムの構成を示すブロック図である。
【００１５】
図１に示す医療用画像表示システム１００は、磁気センサを内蔵した、立体観察装置としての３Ｄ硬性鏡１０１と、表示装置としての画像表示部１０７と、磁気センサを内蔵した、断層画像取得手段としての超音波内視鏡１０２と、ボリューム画像構築手段としての３Ｄボリューム画像生成部１０３と、相対位置検出手段の一部を構成する画像相関演算部１０４と、画像重畳手段としての画像合成部１０５と、表面形状画像構築部としての表面画像生成部１０６と、３Ｄ硬性鏡側のカメラコントロール部(以下、ＣＣＵ)１０８と、超音波内視鏡側のカメラコントロール部(以下、ＣＣＵ)１０９と、位置検出装置としての磁気ナビ装置１１０と、を備える。相対位置検出手段は、画像相関演算部１０４と、表面画像生成部１０６とを含んで構成されている。又、画像相関演算部１０４は、演算部１０４ａと、相関部１０４ｂと、変形部１０４ｃとを含んで構成されている。
【００１６】
磁気センサ内蔵の３Ｄ硬性鏡１０１は、右眼及び左眼用の二系統の撮像素子を備え、患部を立体観察する立体観察装置として機能する。その出力は、ビデオプロセッサ部を有するＣＣＵ１０８へ供給される。なお、３Ｄ硬性鏡１０１に代えて、３Ｄ軟性鏡、或いは顕微鏡であっても良い。本明細書において、３Ｄ硬性鏡については３Ｄ内視鏡として表現することがある。
【００１７】
画像表示部１０７は、３Ｄ硬性鏡１０１で得られる立体画像を表示する表示装置として機能する。
磁気センサ内蔵の超音波内視鏡１０２は、患部の断層画像を取得する断層画像取得手段として機能する。その出力は、ビデオプロセッサ部を有するＣＣＵ１０９へ供給される。なお、超音波内視鏡１０２に代えて、術中の断層画像を取得可能なＣＴ装置やＭＲＩ装置であっても良い。
【００１８】
超音波内視鏡１０２は、３Ｄ硬性鏡１０１による３Ｄ観察を行う前に、予め超音波内視鏡１０２及びＣＣＵ１０９にてスライス状の超音波断層像(ＵＳ画像)を取得し、ＣＣＵ１０９を介して３Ｄボリューム画像生成部１０３に送る。３Ｄボリューム画像生成部１０３は、スライス画像の前記ＵＳ画像を磁気ナビ装置１１０からの位置情報に基づいて積み重ねて３Ｄボリュームレンダリング画像(ＶＲ画像又は単にボリューム画像)を生成し保持する。
【００１９】
３Ｄボリューム画像生成部１０３は、超音波内視鏡１０２で取得した複数の断層画像からボリューム画像を構築するボリューム画像構築手段として機能する。
画像相関演算部１０４は、前記立体画像と前記ボリューム画像の相対位置を検出する相対位置検出手段の一部として機能する。
表面画像生成部１０６は、前記立体画像から表面形状画像としてのサーフェスレンダリング画像を構築する表面形状画像構築部として機能する。
【００２０】
相対位置検出手段は、被検体の前記患部を含む領域を手術器具を用いて切除する過程で、前記立体観察装置で取得される立体画像から、患部を含む被検体上の各点までの距離情報を演算する演算部１０４ａと、前記立体画像から前記距離情報を用いて前記被検体の表面形状画像を構築する表面形状画像構築部１０６と、前記表面形状画像と前記ボリューム画像の相対位置を求める相関部１０４ｂと、前記表面形状画像から、手術の際の切除に伴って生ずる前記表面形状画像の変形に対応して、前記ボリューム画像構築手段で構築される前記ボリューム画像を変形させる変形部１０４ｃと、を含む。
【００２１】
画像合成部１０５は、前記ボリューム画像を前記画像表示部１０７に、前記相対位置に基づいて前記立体画像と重ねて表示するための画像重畳手段として機能する。
３Ｄ硬性鏡側のＣＣＵ１０８は、３Ｄ硬性鏡１０１からの右眼及び左眼用の二系統の３Ｄ撮像信号を入力し、３Ｄ映像信号として出力する一方、ズームやフォーカスなどの光学パラメータを生成し出力する。
【００２２】
超音波内視鏡側のＣＣＵ１０９は、超音波画像としての断層像を出力する一方、超音波観察パラメータを生成し出力する。
磁気ナビ装置１１０は、３Ｄ硬性鏡１０１，超音波内視鏡１０２，及び手術器具などの処置具(図示略)にそれぞれ取り付けた磁気センサからの磁気を、例えばタイムシェアリングで受信して各装置からの磁気の強さ及び方向を検出することによって、各装置の位置や向きを検出し、位置情報として出力する位置検出装置として機能する。なお、位置検出装置としては、磁気式のナビゲーション装置に代えて光学式のナビゲーション装置を用いる構成としてもよい。
【００２３】
画像相関演算部１０４は、被検体の前記患部を含む領域を手術器具を用いて切除する過程で、前記立体観察装置で取得される立体画像から、患部を含む被検体上の各点までの距離情報を演算する演算部１０４ａと、前記表面形状画像としてのサーフェスレンダリング画像(ＳＲ画像)と前記ボリューム画像の相対位置を求める相関部１０４ｂと、前記サーフェスレンダリング画像から、手術の際の切除に伴って生ずる前記サーフェスレンダリング画像の変形に対応して、前記ボリューム画像構築手段で構築される前記ボリューム画像を変形させる変形部１０４ｃと、を備えている。
【００２４】
以上のような構成において、つぎのような作用効果を得ることができる。
１．３Ｄ硬性鏡１０１の３Ｄ画像に、超音波(ＵＳ)の３Ｄボリューム画像を位置合わせして重ねて表示するので、被検体の患部の外観(表面)画像もその内部の奥行き画像も立体的に観察することができる。超音波の３Ｄボリューム画像については、血管像、腫瘍などを選択して表示することも可能である。
【００２５】
２．画像相関演算部１０４が、３Ｄ画像と３Ｄボリューム画像の輪郭の特徴点をパターンマッチングで相関付けることによって、２つの画像の重ね合わせ精度を向上させることができる。
３．画像相関演算部１０４が、３Ｄボリューム画像(例えば内包された血管像)だけでなく、超音波内視鏡１０２のバーチャル３Ｄイメージ(例えばＵＳプローブの像)を３Ｄ画像の中に重ね合わせることもできる。これに加えて、超音波内視鏡１０２によるスキャン断面や、ボリューム画像を取得した範囲を３Ｄ表示で重ね合わせることもできる。
【００２６】
以上により、手術に伴い患部の臓器が変形(切削)されて行く過程をリアルタイムに３Ｄ表示して、術者並びに周囲の介助者に提示することができる。内視鏡では見えない、奥行き情報(血管，腫瘍，他)がリアルタイムに観察できるため、確実安全な処置が可能となる。
【００２７】
図２は、患部の切削過程を３Ｄ硬性鏡１０１によって３Ｄ撮影している状態を示している。ここでは、処置具１１１を用いて被検体１１２の患部である腫瘍１１３を切除する手術を行うために、腫瘍１１３の上部にある生体を切削する。
【００２８】
被検体１１２には手術器具としての処置具１１１を用いて腫瘍１１３に対応した部分１１４が切削されており、切削によってできた凹部１１４内に腫瘍１１３の一部が露出している。このとき、３Ｄ硬性鏡１０１からは左眼及び右眼用の二系統の３Ｄ撮像信号がＣＣＵ１０８へ出力されている。同時に、３Ｄ硬性鏡１０１に内蔵された磁気センサ(図示略)と処置具１１１に取り付けた磁気センサ(図示略)の各々の装置から位置検出情報が磁気信号で磁気ナビ装置１１０に伝達されるようになっている。
【００２９】
図３は手術器具である処置具１１１を用いて被検体１１２の生体組織を切削することによって、凹部１１４が形成されたときに、腫瘍１１３の部分が凹部１１４内に露出した状態を立体的に表示したものである。この腫瘍１１３の部分が凹部１１４内に露出する前の状態では、外観上は生体内部の腫瘍は見えないが、本実施形態によれば３Ｄ硬性鏡による３Ｄ画像に対して予め撮影した断層像に基づいて生成した３Ｄボリューム画像(ＶＲ画像)を位置合わせをして重畳表示している。外面的に見た３Ｄ画像上にはその生体内部の構成成分としての腫瘍１１３が立体的に重ねて表示されているので、切除予定の腫瘍の位置を画像表示部１０７上で確認しながら切削することが可能となり、腫瘍摘出手術が極めて効率的に行えるメリットがある。なお、ここでは、予め超音波撮像した断層像に基づいて構築した腫瘍１１３部分を含む３Ｄボリューム画像(血管像は図示せず)を重畳する構成となっている。
【００３０】
図４は超音波内視鏡１０２の超音波プローブ(以下、ＵＳプローブ)を用いて、患部(腫瘍)付近を開頭した状態でセクタ走査などによって患部(腫瘍)の断層像を取得する状態を示している。その後に、取得した複数の断層像を用いて３Ｄボリューム画像を生成する。そして、３Ｄ硬性鏡１０１によって患部を含む被検体を外観撮影しその撮影した３Ｄ画像に前記３Ｄボリューム画像を重ねて表示し観察しながら、患部の切削を開始し、図５に示す手術過程を経て腫瘍の切除を行うことになる。
【００３１】
図５は内部に腫瘍１１３を含んだ被検体１１２の部分を３Ｄ硬性鏡１０１にて撮影した３Ｄ画像に、予め超音波内視鏡１０２で取得した超音波断層像(ＵＳ画像)に基づいて生成した３Ｄボリューム画像を重ねて表示した状態を示している。このとき、２つの３Ｄ像が重畳された状態の重畳画像も３Ｄの立体画像として生成され表示されている。従って、図５(a)〜(c)は図３と同様の立体表示状態であるが、説明用として被検体の側面から見た断面図としている。図５は(a)，(b)，(c)の順に切削が進んでいった様子を示している。
【００３２】
図６(a)，(b)，(c)は図５の切削過程(a)，(b)，(c)から切り出した腫瘍１１３の立体像の断面図を示している。このように各過程の重畳画像から腫瘍１１３部分のみを切り出して表示することも可能である。さらに、図７(a)，(b)，(c)に示すように、被検体となる患者の頭部の術部を２Ｄ表示したり、図７(d)に示すように、３Ｄ表示したりすることもできる。
【００３３】
図７で、(a)は患者の頭部の術部の側面像の２Ｄ画像、(b)は患者の頭部の術部の上面像の２Ｄ画像、(c)は患者の頭部の術部の背面像の２Ｄ画像、(d)は患者の頭部の術部の側面像の３Ｄ画像である。
【００３４】
ところで、医療用画像診断機器の発達により観察画面上には多くの画像情報が表示されるようになってきた。実写画像である３Ｄ内視鏡画像と超音波断層像に基づく３Ｄボリューム画像とを重畳する際に、特に３Ｄによって奥行方向を表現する場合には、コンピュータ処理による３Ｄボリューム画像の色が実写画像である３Ｄ内視鏡画像の同系色であると２つの画像同士の区別がしづらく、目の疲労につながる。
【００３５】
そこで、第１の実施例としては、３Ｄ内視鏡画像の画面全体の色の平均値を算出し、その算出された色の補色を演算することによって、演算された補色を重畳すべき３Ｄボリューム画像の色として表示する。なお、算出方法は平均値の他に、標準偏差等の演算手法を用いてもよい。
これにより、実画像とこれに重畳される画像との区別がしやすくなり、術者の疲労軽減に効果がある。従って、深さを含む奥行き方向の情報も認識しやすくなる。
【００３６】
第２の実施例としては、３Ｄ内視鏡画像において重畳しようとする画像の特定部分(例えば血管像)に対応する部分の平均値を算出し、その算出された色の補色を演算することによって、演算された補色を３Ｄボリューム画像の色として表示する。
これにより、画面全体に色々な色が存在する場合や、画面が特定臓器などの特定の色にかたよる場合に、重畳しようとする画像に対してより認識しやすい色設定が可能となる。
【００３７】
第３の実施例としては、観察対象の３Ｄ内視鏡画像を複数の所定領域に分割するとともに、前記３Ｄボリューム画像の重畳対象となる前記分割領域における色情報の平均値を算出し、重畳対象となる前記分割領域における重畳すべき画像Ａが血管であり、同じ重畳対象となる前記分割領域における重畳すべき画像Ｂが神経束である場合に、血管Ａ，神経束Ｂの色を前記平均値に対する補色の範囲から、その補色に近くかつ互いに異なった２つの色(略補色)に設定する。
これにより、重畳しようとする画像が複数存在する場合などに、演算が比較的容易であり、複数の重畳するもの毎に色を変えることができ、かつ観察実画像とは区別しやすい。
【００３８】
以上の３Ｄボリューム画像と実写画像である３Ｄ内視鏡画像との区別が、実画像の３Ｄ内視鏡画像や、超音波画像に基いた３Ｄボリューム画像によらず、３Ｄ内視鏡画像と３Ｄボリューム画像の２つの画像の色の関係を互いに補色の関係にして区別しやすくし、観察し易い重畳画像を提供することが可能となる。つまり、ユーザは見易い状態で観察することが可能となる。
【００３９】
さらに、超音波内視鏡やＣＴ／ＭＲＩ装置等の断層像データから３Ｄボリューム画像を作成し、それを３Ｄ内視鏡等によって撮影された３Ｄ観察画像と重畳して立体表示するシステムにおいて、３Ｄ観察画像と３Ｄボリューム画像とを、単純に重畳して表示すると、処置具が常にもしくは頻繁に３Ｄ観察画像の視野に重なってしまう状況では、処置具と３Ｄボリューム画像が重畳されてしまい観察が非常に煩わしい。これは、処置具は実画像としてリアルタイムに立体観察画像中に表示されるものであり、その上に断層像から構築された３Ｄボリューム画像がコンピュータ処理にて重ねられて表示されるために、奥に表示されるべき３Ｄボリューム画像が、手前に表示されるべきで処置具と一緒にみえてしまうことに基因している。
【００４０】
そこで、第４の実施例としては、３Ｄボリューム画像に実画像である３Ｄ内視鏡画像を位置を合わせて重畳し表示する際に、その表示画面に処置具が入った場合に、処置具の位置を磁気式(又は光学式)のナビゲータで検出し、その処置具位置に対応した位置における３Ｄボリューム画像の重畳を行わないようにすることにより、処置具部分に重なった３Ｄボリューム画像が消えて、処置具による処置が行いやすくなる。
【００４１】
第５の実施例としては、３Ｄ内視鏡１０１に接続されたＣＣＵ１０８は、図８に示すようにビデオプロセッサ部１０８ａのほかに動き検出回路１０８ｂを備える。ビデオプロセッサ部１０８ａの出力(３Ｄ画像信号)は画像合成部１０５に入力される一方、動き検出回路１０８ｂはビデオプロセッサ部１０８ａからの出力を入力し、３Ｄ内視鏡画像中の部分的な動きを検出し、その動きの検出範囲を位置情報として画像合成部１０５に出力する。ここで、動き検出されるものとしては処置具を想定している。
【００４２】
画像合成部１０５では、３Ｄボリューム画像と実画像である３Ｄ内視鏡画像を位置合わせして重畳するが、前記動き位置情報の範囲では３Ｄボリューム画像を重畳しないように動作することにより、処置具の画像に３Ｄボリューム画像が重なって表示されることがなく、処置具による処置が行いやすくなる。
【００４３】
次に、以上述べた本実施形態の動作例を、図９のフローチャートを参照して説明する。
ステップＳ1：３Ｄ内視鏡の左右画像から被写体の各点までの距離情報を演算する。例えば、磁気ナビ装置による内視鏡位置，内視鏡方向，距離，倍率，フォーカスにより演算する。
【００４４】
ステップＳ2：内視鏡画像の表面形状情報を算出する。
ステップＳ3：注目したい対象臓器のボリューム画像を予め生成しておく。
ステップＳ4：表面形状情報とボリューム画像情報との位置合わせをする。
【００４５】
ステップＳ5：患部の切削を開始し、切削の各過程で撮影した内視鏡画像に対応して算出された表面形状情報から、ボリューム画像を変形する。すなわち、削り取った部分のボリューム画像を消去する。
ステップＳ6：ボリューム画像を、内視鏡の左右眼に対応する視点から見た左右画像に生成する。
ステップＳ7：内視鏡画像の色を測定する。
ステップＳ8：左右のボリューム画像を、内視鏡画像の色の補色で生成する。
【００４６】
ステップＳ9：内視鏡画像上に処置具が挿入されると、処置具の位置を検出する。
ステップＳ10：処置具の形状データから、内視鏡視野に対する処置具の表示位置を演算する。この演算は、左右眼に対応してそれぞれ行う。
【００４７】
ステップＳ11：処置具表示位置と重なる左右のボリューム画像の表示を消去する。
ステップＳ12：内視鏡の右眼画像に右のボリューム画像を重畳し、内視鏡の左眼画像に左のボリューム画像を重畳する。
【００４８】
その結果、画像表示部１０７には、３Ｄ内視鏡の３Ｄ画像に対して超音波内視鏡の断層像から生成した３Ｄボリューム画像を重畳した立体画像を３Ｄ表示する際に、腫瘍等の切除手術に伴い臓器が変形(切削)して行く過程をリアルタイムに３Ｄ表示して、術者並びに周囲の介助者等に提示することが可能となる。
【００４９】
以上述べた本発明の実施形態によれば、立体観察画像と３Ｄボリューム画像とを重畳して表示する際に、手術過程での患部切除に伴う変形に対応した立体表示を行える。手術中の切除過程において、内視鏡のみでは見えない腫瘍等の切除時の状態を含む奥行き情報を３Ｄボリューム画像の重畳によってかつ見易い状態にしてリアルタイムに立体的に表示し観察することが可能となる。奥行き情報(血管，腫瘍，他)が見易い状態でリアルタイムに立体的に観察できるため、確実安全な手術及び処置が可能となる。
【００５０】
尚、本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変が可能である。
【符号の説明】
【００５１】
１００…医療用画像表示システム、１０１…３Ｄ硬性鏡(３Ｄ内視鏡又は立体観察装置)、１０２…超音波内視鏡(断層画像取得手段)、１０３…３Ｄボリューム画像生成部(ボリューム画像構築手段)、１０４…画像相関演算部(相対位置検出手段の一部)、１０４ａ…演算部、１０４ｂ…相関部、１０４ｃ…変形部、１０５…画像合成部(画像重畳手段)、１０６…表面画像生成部(相対位置検出手段の一部、サーフェスレンダリング画像構築部又は表面形状画像構築部)、１０７…画像表示部(表示装置)、１０８…３Ｄ硬性鏡側のカメラコントロール部(ＣＣＵ)、１０９…超音波内視鏡側のカメラコントロール部(ＣＣＵ)、１１０…磁気ナビ装置(位置検出装置)。
【特許請求の範囲】
【請求項１】
患部を立体観察する立体観察装置と、
この立体観察装置で得られる立体画像を表示する表示装置と、
患部の断層画像を取得する断層画像取得手段と、
前記断層画像取得手段で取得した複数の断層画像からボリューム画像を構築するボリューム画像構築手段と、
前記立体画像と前記ボリューム画像の相対位置を検出する相対位置検出手段と、
前記ボリューム画像を前記表示装置に、前記相対位置に基づいて前記立体画像と重ねて表示する画像重畳手段と、を具備し、
前記相対位置検出手段は、
処置が進行する過程で、前記立体観察装置で取得される立体画像から、患部を含む被検体上の各点までの距離情報を演算する演算部と、
前記立体画像から前記距離情報を用いて前記被検体の表面形状画像を構築する表面形状画像構築部と、
前記表面形状画像と前記ボリューム画像の相対位置を求める相関部と、
前記表面形状画像から、処置の進行に伴って生ずる前記表面形状画像の変形に対応して、前記ボリューム画像構築手段で構築される前記ボリューム画像を変形させる変形部と、
を含むことを特徴とする医療用画像表示システム。
【請求項２】
前記相対位置検出手段は、前記断層画像取得手段で取得したボリューム画像と、前記立体画像から構築した表面形状画像との輪郭の特徴点の相関を取ることによって、２つの画像の重ね合わせをマッチングさせる
ことを特徴とする請求項１に記載の医療用画像表示システム。
【請求項３】
前記画像重畳手段は、重畳画像の色調を前記立体画像の対応位置の色調に基づいて決定する色調設定手段を有すること、
を特徴とする請求項１または請求項２に記載の医療用画像表示システム。
【請求項４】
患部に挿入される手術器具の前記立体画像に対する相対位置を検出する第２の相対位置検出手段を更に有し、
前記手術器具が表示される領域には前記重畳されるボリューム画像を表示しないように制御する表示制御手段を有すること、
を特徴とする請求項１〜請求項３のいずれかに記載の医療用画像表示システム。
【請求項５】
前記色調設定手段は、前記重畳画像の色調を前記立体画像の対応位置の補色関係にある色に決定する
ことを特徴とする請求項３に記載の医療用画像表示システム。
【請求項１】
患部を立体観察する立体観察装置と、
この立体観察装置で得られる立体画像を表示する表示装置と、
患部の断層画像を取得する断層画像取得手段と、
前記断層画像取得手段で取得した複数の断層画像からボリューム画像を構築するボリューム画像構築手段と、
前記立体画像と前記ボリューム画像の相対位置を検出する相対位置検出手段と、
前記ボリューム画像を前記表示装置に、前記相対位置に基づいて前記立体画像と重ねて表示する画像重畳手段と、を具備し、
前記相対位置検出手段は、
処置が進行する過程で、前記立体観察装置で取得される立体画像から、患部を含む被検体上の各点までの距離情報を演算する演算部と、
前記立体画像から前記距離情報を用いて前記被検体の表面形状画像を構築する表面形状画像構築部と、
前記表面形状画像と前記ボリューム画像の相対位置を求める相関部と、
前記表面形状画像から、処置の進行に伴って生ずる前記表面形状画像の変形に対応して、前記ボリューム画像構築手段で構築される前記ボリューム画像を変形させる変形部と、
を含むことを特徴とする医療用画像表示システム。
【請求項２】
前記相対位置検出手段は、前記断層画像取得手段で取得したボリューム画像と、前記立体画像から構築した表面形状画像との輪郭の特徴点の相関を取ることによって、２つの画像の重ね合わせをマッチングさせる
ことを特徴とする請求項１に記載の医療用画像表示システム。
【請求項３】
前記画像重畳手段は、重畳画像の色調を前記立体画像の対応位置の色調に基づいて決定する色調設定手段を有すること、
を特徴とする請求項１または請求項２に記載の医療用画像表示システム。
【請求項４】
患部に挿入される手術器具の前記立体画像に対する相対位置を検出する第２の相対位置検出手段を更に有し、
前記手術器具が表示される領域には前記重畳されるボリューム画像を表示しないように制御する表示制御手段を有すること、
を特徴とする請求項１〜請求項３のいずれかに記載の医療用画像表示システム。
【請求項５】
前記色調設定手段は、前記重畳画像の色調を前記立体画像の対応位置の補色関係にある色に決定する
ことを特徴とする請求項３に記載の医療用画像表示システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−２３５９８３（Ｐ２０１２−２３５９８３Ａ）
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願番号】特願２０１１−１０８５０９（Ｐ２０１１−１０８５０９）
【出願日】平成２３年５月１３日（２０１１．５．１３）
【出願人】（３０４０５０９２３）オリンパスメディカルシステムズ株式会社 (1,905)
【Ｆターム（参考）】
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願日】平成２３年５月１３日（２０１１．５．１３）
【出願人】（３０４０５０９２３）オリンパスメディカルシステムズ株式会社 (1,905)
【Ｆターム（参考）】
[ Back to top ]