手術支援システム及びコンピュータプログラム
【課題】術前に、手術対象物の適切な切離ラインを把握することができるようにする。
【解決手段】切離された手術対象物Lを表示するための手術支援システム1であって、処理を実行する処理装置2を備えている。前記処理装置2は、手術対象物の切離位置の入力を受け付ける位置入力処理と、前記位置入力処理によって入力された前記切離位置の部分が切離された手術対象物の画像データを生成する画像生成処理と、手術対象物の画像データを表示装置に表示させる表示処理と、を実行する。前記処理装置2は、前記位置入力処理、前記画像生成処理、前記表示処理を含む一連の処理を繰り返し実行して、切離がインタラクティブに行えるよう構成されている。
【解決手段】切離された手術対象物Lを表示するための手術支援システム1であって、処理を実行する処理装置2を備えている。前記処理装置2は、手術対象物の切離位置の入力を受け付ける位置入力処理と、前記位置入力処理によって入力された前記切離位置の部分が切離された手術対象物の画像データを生成する画像生成処理と、手術対象物の画像データを表示装置に表示させる表示処理と、を実行する。前記処理装置2は、前記位置入力処理、前記画像生成処理、前記表示処理を含む一連の処理を繰り返し実行して、切離がインタラクティブに行えるよう構成されている。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、手術支援システム及びコンピュータプログラムに関するものである。
【背景技術】
【0002】
近年、CTやMR画像等の高精細医用画像から患者の体内について、より詳細な所見及び観測が可能となっている。非特許文献1には、CTやMR画像などを用いた手術支援システムについて開示されている。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】井関洋,南部恭二郎,”ディジタル画像の手術システムへの応用−医療情報の可視化−”,日本放射線技術学会雑誌,pp.891-895,2001
【発明の概要】
【発明が解決しようとする課題】
【0004】
手術支援システムとして、肝臓などの手術対象物の切離ラインを術前に確認できるシステムが望まれる。
つまり、手術対象物の内部の様子は、CT等の高精細医用画像を確認することで、術前にある程度は把握することが可能である。しかし、CT等の高精細医用画像を見るだけでは、実際の手術において、手術対象物の、どの位置をどの方向から切離すれば、どのような部位が表れるのかを的確に把握することは困難である。つまり、CT等の高精細医用画像を見るだけでは、術前に、手術対象物の適切な切離ラインを確認することが困難である。
【0005】
手術対象物の切離をシミュレーションで表現する場合、手術対象物に対してユーザが切離ラインを設定しておき、設定された切離ラインに従って一刀両断的に切離された後の手術対象物を表示することも考えられる。この場合、切離された後の手術対象物の様子を確認することはできるが、より適切な切離ラインを把握することは困難である。
【0006】
そこで、本発明は、術前に、手術対象物の適切な切離ラインを把握することができるようにすることを目的とする。
【課題を解決するための手段】
【0007】
(1)本発明は、切離された手術対象物を表示するための手術支援システムであって、処理を実行する処理装置を備え、前記処理装置は、手術対象物の切離位置の入力を受け付ける位置入力処理と、前記位置入力処理によって入力された前記切離位置の部分が切離された手術対象物の画像データを生成する画像生成処理と、手術対象物の画像データを表示装置に表示させる表示処理と、を実行するものであり、前記処理装置は、前記位置入力処理、前記画像生成処理、前記表示処理を含む一連の処理を繰り返し実行して、切離がインタラクティブに行えるよう構成されていることを特徴とする手術支援システムである。
【0008】
(2)前記表示処理における複数の表示モードを切り替え可能であり、前記複数の表示モードとして、前記手術対象物の表面だけを視認可能な表面表示モードと、前記手術対象物の内部を視認可能な内部表示モードと、が含まれるのが好ましい。
【0009】
(3)前記表示切替処理は、前記位置入力処理、前記画像生成処理、前記表示処理を含む一連の処理が繰り返し実行される途中において、前記表示モードの切り替えを指示する入力を受け付けることで実行されるのが好ましい。
【0010】
(4)前記画像生成処理では、前記位置入力処理によって入力された前記切離位置の周囲の所定領域を除去することで、切離後手術対象物の画像データを生成することができる。
【0011】
(5)前記手術対象物の画像データには、前記手術対象物の特定部分の領域を示すデータが含まれ、前記画像生成処理において除去される前記所定領域の大きさは、前記特定部分と、前記手術対象物における前記特定部分以外の部分と、では異なるように設定されているのが好ましい。
【0012】
(6)前記画像生成処理において除去される前記所定領域の大きさは、前記特定部分の方が、前記手術対象物における前記特定部分以外の部分よりも、小さく設定されているのが好ましい。
【0013】
(7)前記特定部分は、前記手術対象物中の血管とすることができる。
【0014】
(8)前記手術対象物には、位置入力処理によって切離位置が入力されても切離されない切離不可領域が設定されているのが好ましい。
【0015】
(9)前記切離不可領域は、腫瘍を含む領域であるのが好ましい。
【0016】
(10)前記位置入力処理は、前記表示装置に表示されている前記手術対象物上に表示された切離位置表示体の位置を、前記切離位置の入力として受け付けるものであるのが好ましい。
【0017】
(11)他の観点からみた本発明は、コンピュータを前記(1)〜(10のいずれか1項に記載の処理装置として機能させるためのコンピュータプログラムである。
【発明の効果】
【0018】
本発明によれば、術前に、手術対象物の適切な切離ラインを確認することができる。
【図面の簡単な説明】
【0019】
【図1】手術支援システムの構成図である。
【図2】処理装置による処理のフローチャートである。
【図3】肝臓の各部の画像データである。
【図4】(a)は肝臓画像データの表示画面中の切離位置表示体を示す図であり、(b)は切離位置表示体及びその周囲の切除領域を示す図である。
【図5】肝臓が切離される様子を示す図である。
【図6】表示モードの状態遷移図である。
【図7】(a)は表面表示モードでの肝臓の画像データであり、(b)は内部表示モードでも肝臓の画像データである。
【図8】肝臓が切離される様子を示す図である。
【図9】(a)は2つの切除領域を示す図であり、(b)は血管を含む領域の切除前の模式図であり、(c)は血管を含む領域の切除後の模式図である。
【図10】肝臓に設定された切離不可領域を示す図である。
【図11】画面の表示例である。
【図12】画面の表示例である。
【図13】切離位置表示体とそれに付随する補助線を示す図である。
【発明を実施するための形態】
【0020】
以下、本発明の好ましい実施形態について添付図面を参照しながら説明する。
[1.手術支援システムの全体構成]
図1は、手術支援システム1を示している。この手術支援システム1は、処理装置2、表示装置3、及び入力装置4を備えている。処理装置2は、CPU及びメモリ等の記憶媒体を備えたコンピュータによって構成されている。表示装置3は、処理装置2に接続されたディスプレイ等によって構成されている。入力装置4は、処理装置2に接続されたキーボード、マウス、3次元入力デバイス等によって構成されている。
【0021】
処理装置2を構成するコンピュータには、当該コンピュータを手術支援システムの処理装置2として機能させるためのコンピュータプログラムがインストールされている。以下に説明する処理装置2の機能は、当該コンピュータプログラムがコンピュータによって実行されることによって発揮されるものである。
【0022】
[2.システムの処理]
まず、処理装置2は、手術対象物の画像データ(ボリュームデータ)の読み込みを行う(ステップS1)。手術対象物の画像データは、処理装置2内部に保存されていてもよいし、処理装置2の外部に保存されていてもよい。
図3は、手術対象物としての肝臓の画像データを示している。図3の画像は、複数の腹部CT画像から生成されたものである。図3(a)〜図3(c)は肝臓内の血管の画像データであり、図3(a)は肝動脈相、図3(b)は門脈相、図3(c)は肝静脈の画像データを示している。また、図3(d)は肝部(肝実質)の画像データを示している。なお、肝部の画像データは肝臓内の腫瘍をも示すものであってもよい。
なお、以下では、肝臓手術の実質切離を例として説明するが、手術対象物が肝臓に限定されるものではない。
【0023】
図3の4つの画像データは、合成され、肝部内の血管配置が表現された肝臓Lの画像データが得られる。合成直後の初期の肝臓Lの画像データは、後述の表示処理(ステップS8)と同様の表示処理にて、表示装置の画面に表示される。
【0024】
本実施形態のシステム1では、表示された肝臓の切離位置を指定するためのデバイスとして3次元入力デバイス4cを用いる。つまり、本実施形態のシステム1において、3次元入力デバイス4cは、手術対象物である肝臓を切離する仮想メスとして機能する。なお、3次元入力デバイス4cとしては、例えば、ハップティックデバイスを利用することができるが、それに限定されるものではない。
【0025】
ユーザ(医師)が、3次元入力デバイス4cを操作すると、3次元での操作移動量及び移動方向が、処理装置2に与えられる。3次元入力デバイス4cの操作に応じて、肝臓Lの画像データとともに画面上に表示された切離位置表示体Pが移動する。図4(a)において、切離位置表示体Pは、球状体として表されている。この切離位置表示体Pは、3次元入力デバイス4cの入力に応じて、3次元画像データで示される肝臓Lの内外の任意の位置に移動することができる。
本システム1において、切離位置表示体Pは、仮想メスの位置に相当する。したがって、切離位置表示体Pを肝臓Lの位置に移動させると、その位置を切離することができる。
【0026】
図4(b)に示すように、切離位置表示体Pの周囲には、所定の大きさの切除領域(所定領域)Cが設定されている。切除領域は、立方体形状の透明な領域として設定されている。切離位置表示体Pを肝臓の位置に移動させると、肝臓の画像データは、その切離位置表示体Pの周囲の切除領域Cに相当する部分が除去される。
【0027】
なお、実際には、切離モードにあるときに、切離位置表示体Pを肝臓の位置に移動させると、その位置を切離することができるが、非切離モードにあるときに、切離位置表示体Pを肝臓の位置に移動させても、切離できない。
ここでは、ステップS2において切離モードにあると判定されたものとして説明し、非切離モードについては後述する。
【0028】
図5(a)に示すように肝臓Lの外側に位置している切離位置表示体Pが、図5(b)に示すように肝臓内部に向けて移動したものとする。この移動は、新たな切離位置が入力されたことに相当する(ステップS3;位置入力処理)。
切離位置表示体Pの位置が切離可能であるかの判定(ステップS4;詳細は後述)の後、その切離位置表示体Pの周囲の切除領域Cと肝臓Lの画像データとの合成が行われる(ステップS5;画像生成処理)。切除領域Cは、透明な領域であるから、肝臓Lの画像データとの合成が行われると、肝臓Lの画像データのうち、切除領域Cに相当する部分が除去された画像データが生成される。図5(c)は、切除領域Cに相当する部分が除去された肝臓Lの画像データを示している。
【0029】
切除領域は立方体であるため、除去された部分は、不自然に角ばった形状となっている。そこで、除去された部分のスムージング処理が行われる(ステップS6)。図5(d)に示すように、スムージング処理によって、除去された部分は、その周囲の肝臓の形状との連続感のある形状に整形される。
【0030】
そして、肝臓Lの画像データの各部(図3(a)〜(d))の表面の色の設定と透明度の設定(再設定)が行われる。(表面処理;ステップS7)。色と透明度が設定された肝臓Lの画像データが表示処理にて表示装置に表示される(ステップS8)。
また、図3の4つの画像データに対応する各部は、それぞれ異なる色で表示されるように、それぞれの画像データの表面に異なる色が設定される。
【0031】
肝臓Lの画像データの表示は、表示モードに従って行われる。本実施形態のシステム1において、肝臓の画像データの表示モードには、図6に示すように、表面表示モードM1と内部表示モードM2とがある。
【0032】
表面表示モードM1は、手術対象物である肝臓の表面を表示するモードであり、肝臓の内部構造(血管又は腫瘍など)は見えない。図7(a)は、表面表示モードM1での肝臓Lの画像データ(ただし、切離前)の表示例を示している。表面表示モードでは、ステップS7において、肝部の表面の色として、不透明(透明度=0)の色が設定される。表面表示モードは、実際の手術時において、医師が視認できる肝臓の形態を擬似的に示していることになる。
【0033】
内部表示モードM2は、手術対象物である肝臓の表面形状とともに、肝臓の内部構造(血管又は腫瘍など)を可視化して表示するモードである。図7(b)は、図7(a)と同様の肝臓Lの画像データを内部表示モードM2で表示した例を示している。内部表示モードでは、ステップS7において、肝部の表面の色として、有色透明の色(完全な透明と不透明の中間の透明度)が設定される。内部表示モードでは、まだ切除されていない部分の奥にある内部構造(血管等)を示すことができる。
【0034】
なお、いずれのモードM1,M2においても、血管(図3(a)〜(c)は、不透明の色が設定される。
【0035】
表面表示モードM1と内部表示モードM2は、表示モード切替入力部4aからの入力に応じて、切り替えられる。表示モードM1,M2の切替は、図2のステップS1より後の繰り返し処理の途中の任意の時点で行うことができる。つまり、本システムのユーザは、肝臓が表示されている間の任意の時点において表示モードM1,M2を切り替えて、所望の表示モードで肝臓を観察することができる。
【0036】
なお、表示モード切替入力部4aとしては、マウスに設けられたボタン、3次元入力デバイス4cに設けられたボタン、又はキーボードの任意のキーが利用される。表示モード切替入力部4aとして用いられるボタン等を操作する度に、図4に示すように、モードが他方のモードに遷移し、モード切替が行われる。
【0037】
また、ステップS6において、透明な切除領域Cを合成すると、合成前の肝臓Lの画像データに比べて、切除された部分の表面には、色が未設定となる。
【0038】
表面だけに色が設定されている画像データにおいて表面が除去された部分があると、除去された部分から物体の内部が透明に見えるため、当該物体は中空の物体のように見える。そこで、肝部のように中実の物体の場合、中空に見えないように、ステップS7では、除去された部分について、肝部の他の表面と同じ色が設定される。
一方、血管のように中空の物体の場合、除去された部分から内部が中空に見えた方が、自然であるため、除去された部分には色が設定されない。つまり、血管の表面の色の設定は、肝臓Lの画像データ生成の初期段階で行われるだけである。
【0039】
以上のステップS2〜ステップS8の処理は、繰り返し行われる。つまり、切離位置の入力(切離位置表示体Pの移動)と、肝臓Lの画像データの再生成・表示と、が、繰り返し行われる。したがって、ユーザ(医師)は、画面上の仮想的な肝臓Lに対する切離を徐々に行うことができる。
例えば、図5(d)に示すように部分的に切離された肝臓Lの画像データが表示(ステップS8)されている状態から、さらに、図8(a)のように切離位置表示体Pをさらに肝臓L側に移動させると(ステップS3)、現在の肝臓Lの画像データと切除領域Cとの合成が行われ(ステップS5)、スムージング及び表面処理(ステップS6,S7)が行われ、切離がさらに進んだ肝臓Lの画像データが再表示される(ステップS8)。
【0040】
したがって、本システム1によれば、ユーザは、少し切離を行ってみたときの肝臓Lの内部の様子を把握して、次に肝臓のどの位置をどの方向から切るかを決めることができる。このように、システム1とユーザとの間で、インタラクティブに切離を徐々に進めることができる。
インタラクティブに徐々に切離を行うため、肝臓Lの内部の様子を考慮して、術前に適切な切離ラインを確認することが可能となる。
【0041】
しかも、本システム1では、実際の手術で視認できる形態と同様の表示が行われる表面表示モードM1で切離を進めつつも、必要に応じて、随時、内部表示モードM2に切り替えることで、実際の手術では見えない肝臓Lの奥の様子を把握しつつ、切離を進めることができる。したがって、より適切な切離ラインを確認することが可能である。
【0042】
[3.切除領域(ステップS5)]
切離位置表示体Pの周囲に設定される切除領域Cに関し、図5及び図8では、単一の大きさのものを示したが、実際には、図9(a)に示すように、切離位置表示体Pに対して複数(2つ)の異なる大きさの切除領域C1,C2が設定されている。
第1の切除領域C1は、肝臓Lの画像データ中、肝部(図3(d))の領域を除去するために設定された領域であり、第2の切除領域C2は、肝臓Lの画像データ中、特定部分の血管(図3(a)〜(c))の領域を除去するために設定された領域である。
血管が切除されにくくするため、第2切除領域C2の大きさは、第1切除領域C1よりも小さく設定されている。切離を効率的に進めるには、1つの切除領域が大きいほうが好ましいが、実質切離の場合、血管は切離を進める上での目印ともなるものであり、切除されないほうが好ましいことがある。
【0043】
そこで、肝部に対する第1切除領域C1を大きくしつつ、血管に対する第2切除領域C2を小さくすることで、切離位置表示体Pの位置が同じでも、肝部はより大きく切除され、血管は切除されにくくなる。
【0044】
例えば、図9(b)に示すように、血管B付近の肝部LSを切除する場合を考える。この場合、図9(c)に示すように、肝部LSは、第1切除領域C1によって血管B付近も除去されるが、血管Bは、第2切除領域C2外であるため、切除されない。このように、血管を残しつつ切離を進めることが容易となっている。
【0045】
なお、第2切除領域C2によって切除される特定部分は、血管に限られず、他の部分であってもよい。他の部分としては、例えば、腫瘍の部分が挙げられる。
【0046】
[4.切離モード・非切離モード(ステップS2)]
これまでの説明では、切離位置表示体Pの位置にある肝臓Lは、常に切離されることを前提として説明していたが、切離は、切離モードのときに行われ、非切離モードのときは、切離位置表示体Pが肝臓Lの位置にあっても、切離は行われない。
【0047】
切離モードと非切離モードは、切離モード切替入力部4bからの入力に応じて、切り替えられる。切離・非切離モードの切替は、図2のステップS1より後の繰り返し処理の途中の任意の時点で行うことができる。つまり、本システムのユーザは、肝臓が表示されている間の任意の時点において切離・非切離モードを相互に切り替えることができる。
なお、切離モード切替入力部4bとしては、マウスに設けられたボタン、3次元入力デバイス4cに設けられたボタン、又はキーボードの任意のキーが利用される。
【0048】
ステップS2において、非切離モードであると判定された場合、切離位置表示体Pを移動させるための3次元入力デバイス4cの入力があっても、当該入力に応じて切離位置表示体Pを移動させるだけで(ステップS9)、切離位置の入力とはみなさない。したがって、肝臓Lの画像データと切除領域C1,C2との合成も行われず、切除は行われない。
【0049】
また、肝臓Lの画像データの表示画面では、切離位置表示体P付近(後方)の位置を視点とし、切離位置表示体Pの移動方向を視野方向とした視野の画像が表示されるため、切離位置表示体Pが移動すると、それに応じて、視野も変更される(ステップS9)。したがって、例えば、非切離モードで、切離位置表示体Pを肝臓Lの内部に移動させれば、未切離の肝臓Lの内部を観察することもできる。なお、切離位置表示体Pの移動に応じて視野が変更される点については、切離モードでも同様に行われる。
【0050】
[5.切離不可領域(ステップS4)]
切離モードであっても、図10に示すように、手術対象物である肝臓Lの画像データに切離不可領域Nが設定されている場合には、その切離不可領域Nを切離することはできない。切離不可領域Nは、例えば、腫瘍を含む領域である。腫瘍を摘出する場合、腫瘍の周囲を切除することになるため、多くの場合、切離不可領域Nは腫瘍の範囲より大きく設定される。
【0051】
切離ラインを確認する上で、本来の手術で切離されるべきでない腫瘍自体が切離されることは無意味であるから、ユーザが誤って腫瘍内に切離位置表示体Pを移動させても、切除が生じないようにすることで、利便性が高まっている。
なお、切離不可領域N内に切離位置表示体Pが進入した場合には、非切離モードと同様に、ステップS9の処理が行われる。
【0052】
[6.表示例]
図11及び図12は、表示装置3による肝臓Lの画像データの表示例を示している。図11は、切離前の肝臓を表示する画面であり、図12は切離中の肝臓を表示する画面である。
表示装置3では、図11及び図12に示すように、4つの画面を同時に表示することができる。左上の画面は、球状の表示位置表示体Pの後方を視点として、表示位置表示体Pの移動方向を視野方向とした表示画面である。なお、図11の左上の画面では、非切離モードかつ表面表示モードで切離位置表示体Pが肝臓Lの内部に侵入しているため、切離位置表示体Pが見えない状態にある。なお、左上の画面では、表示される肝臓Lの大きさは、拡大縮小可能である。
【0053】
他の3つの画面(右上、左下、右下の画面)は、肝臓Lの全体をそれぞれ異なる方向から表示して、切離中の肝臓Lの全体的な形態や切離位置表示体Pの位置をユーザに容易に把握させる。なお、当該他の3つの画面は、常に内部表示モードで表示され、左上の画面は、内部表示モードと表面表示モードとを切替可能である。
【0054】
また、4つの画面間の関係の理解の容易のため、各画面の位置表示体Pには、図13にも示すような3次元直交補助線X,Y,Zが付随して表示される。各補助線X,Y,Zは、それぞれ異なる色で表示され、4つの画面間で、同じ方向は同じ色で示されている。したがって、同一の肝臓Lを4つの画面で異なる方向・大きさで表示しても、ユーザが、画面相互の関係を理解しやすく、肝臓Lの3次元的構造や切離位置表示体Pの3次元位置を把握するのが容易となっている。
【0055】
なお、上記において開示した事項は、例示であって、本発明を限定するものではなく、様々な変形が可能である。また、本実施形態のシステム1は、術前に切離ライン確認に用いるだけでなく、術者の教育目的など他の目的にも利用することができる。
【符号の説明】
【0056】
1 手術支援システム
2 処理装置
3 表示装置
4 入力装置
4a 表示モード切替入力部
4b 切離モード切替入力部
4c 3次元入力デバイス
P 切離位置表示体
C 切除領域
C1 第1切除領域
C2 第2切除領域
【技術分野】
【0001】
本発明は、手術支援システム及びコンピュータプログラムに関するものである。
【背景技術】
【0002】
近年、CTやMR画像等の高精細医用画像から患者の体内について、より詳細な所見及び観測が可能となっている。非特許文献1には、CTやMR画像などを用いた手術支援システムについて開示されている。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】井関洋,南部恭二郎,”ディジタル画像の手術システムへの応用−医療情報の可視化−”,日本放射線技術学会雑誌,pp.891-895,2001
【発明の概要】
【発明が解決しようとする課題】
【0004】
手術支援システムとして、肝臓などの手術対象物の切離ラインを術前に確認できるシステムが望まれる。
つまり、手術対象物の内部の様子は、CT等の高精細医用画像を確認することで、術前にある程度は把握することが可能である。しかし、CT等の高精細医用画像を見るだけでは、実際の手術において、手術対象物の、どの位置をどの方向から切離すれば、どのような部位が表れるのかを的確に把握することは困難である。つまり、CT等の高精細医用画像を見るだけでは、術前に、手術対象物の適切な切離ラインを確認することが困難である。
【0005】
手術対象物の切離をシミュレーションで表現する場合、手術対象物に対してユーザが切離ラインを設定しておき、設定された切離ラインに従って一刀両断的に切離された後の手術対象物を表示することも考えられる。この場合、切離された後の手術対象物の様子を確認することはできるが、より適切な切離ラインを把握することは困難である。
【0006】
そこで、本発明は、術前に、手術対象物の適切な切離ラインを把握することができるようにすることを目的とする。
【課題を解決するための手段】
【0007】
(1)本発明は、切離された手術対象物を表示するための手術支援システムであって、処理を実行する処理装置を備え、前記処理装置は、手術対象物の切離位置の入力を受け付ける位置入力処理と、前記位置入力処理によって入力された前記切離位置の部分が切離された手術対象物の画像データを生成する画像生成処理と、手術対象物の画像データを表示装置に表示させる表示処理と、を実行するものであり、前記処理装置は、前記位置入力処理、前記画像生成処理、前記表示処理を含む一連の処理を繰り返し実行して、切離がインタラクティブに行えるよう構成されていることを特徴とする手術支援システムである。
【0008】
(2)前記表示処理における複数の表示モードを切り替え可能であり、前記複数の表示モードとして、前記手術対象物の表面だけを視認可能な表面表示モードと、前記手術対象物の内部を視認可能な内部表示モードと、が含まれるのが好ましい。
【0009】
(3)前記表示切替処理は、前記位置入力処理、前記画像生成処理、前記表示処理を含む一連の処理が繰り返し実行される途中において、前記表示モードの切り替えを指示する入力を受け付けることで実行されるのが好ましい。
【0010】
(4)前記画像生成処理では、前記位置入力処理によって入力された前記切離位置の周囲の所定領域を除去することで、切離後手術対象物の画像データを生成することができる。
【0011】
(5)前記手術対象物の画像データには、前記手術対象物の特定部分の領域を示すデータが含まれ、前記画像生成処理において除去される前記所定領域の大きさは、前記特定部分と、前記手術対象物における前記特定部分以外の部分と、では異なるように設定されているのが好ましい。
【0012】
(6)前記画像生成処理において除去される前記所定領域の大きさは、前記特定部分の方が、前記手術対象物における前記特定部分以外の部分よりも、小さく設定されているのが好ましい。
【0013】
(7)前記特定部分は、前記手術対象物中の血管とすることができる。
【0014】
(8)前記手術対象物には、位置入力処理によって切離位置が入力されても切離されない切離不可領域が設定されているのが好ましい。
【0015】
(9)前記切離不可領域は、腫瘍を含む領域であるのが好ましい。
【0016】
(10)前記位置入力処理は、前記表示装置に表示されている前記手術対象物上に表示された切離位置表示体の位置を、前記切離位置の入力として受け付けるものであるのが好ましい。
【0017】
(11)他の観点からみた本発明は、コンピュータを前記(1)〜(10のいずれか1項に記載の処理装置として機能させるためのコンピュータプログラムである。
【発明の効果】
【0018】
本発明によれば、術前に、手術対象物の適切な切離ラインを確認することができる。
【図面の簡単な説明】
【0019】
【図1】手術支援システムの構成図である。
【図2】処理装置による処理のフローチャートである。
【図3】肝臓の各部の画像データである。
【図4】(a)は肝臓画像データの表示画面中の切離位置表示体を示す図であり、(b)は切離位置表示体及びその周囲の切除領域を示す図である。
【図5】肝臓が切離される様子を示す図である。
【図6】表示モードの状態遷移図である。
【図7】(a)は表面表示モードでの肝臓の画像データであり、(b)は内部表示モードでも肝臓の画像データである。
【図8】肝臓が切離される様子を示す図である。
【図9】(a)は2つの切除領域を示す図であり、(b)は血管を含む領域の切除前の模式図であり、(c)は血管を含む領域の切除後の模式図である。
【図10】肝臓に設定された切離不可領域を示す図である。
【図11】画面の表示例である。
【図12】画面の表示例である。
【図13】切離位置表示体とそれに付随する補助線を示す図である。
【発明を実施するための形態】
【0020】
以下、本発明の好ましい実施形態について添付図面を参照しながら説明する。
[1.手術支援システムの全体構成]
図1は、手術支援システム1を示している。この手術支援システム1は、処理装置2、表示装置3、及び入力装置4を備えている。処理装置2は、CPU及びメモリ等の記憶媒体を備えたコンピュータによって構成されている。表示装置3は、処理装置2に接続されたディスプレイ等によって構成されている。入力装置4は、処理装置2に接続されたキーボード、マウス、3次元入力デバイス等によって構成されている。
【0021】
処理装置2を構成するコンピュータには、当該コンピュータを手術支援システムの処理装置2として機能させるためのコンピュータプログラムがインストールされている。以下に説明する処理装置2の機能は、当該コンピュータプログラムがコンピュータによって実行されることによって発揮されるものである。
【0022】
[2.システムの処理]
まず、処理装置2は、手術対象物の画像データ(ボリュームデータ)の読み込みを行う(ステップS1)。手術対象物の画像データは、処理装置2内部に保存されていてもよいし、処理装置2の外部に保存されていてもよい。
図3は、手術対象物としての肝臓の画像データを示している。図3の画像は、複数の腹部CT画像から生成されたものである。図3(a)〜図3(c)は肝臓内の血管の画像データであり、図3(a)は肝動脈相、図3(b)は門脈相、図3(c)は肝静脈の画像データを示している。また、図3(d)は肝部(肝実質)の画像データを示している。なお、肝部の画像データは肝臓内の腫瘍をも示すものであってもよい。
なお、以下では、肝臓手術の実質切離を例として説明するが、手術対象物が肝臓に限定されるものではない。
【0023】
図3の4つの画像データは、合成され、肝部内の血管配置が表現された肝臓Lの画像データが得られる。合成直後の初期の肝臓Lの画像データは、後述の表示処理(ステップS8)と同様の表示処理にて、表示装置の画面に表示される。
【0024】
本実施形態のシステム1では、表示された肝臓の切離位置を指定するためのデバイスとして3次元入力デバイス4cを用いる。つまり、本実施形態のシステム1において、3次元入力デバイス4cは、手術対象物である肝臓を切離する仮想メスとして機能する。なお、3次元入力デバイス4cとしては、例えば、ハップティックデバイスを利用することができるが、それに限定されるものではない。
【0025】
ユーザ(医師)が、3次元入力デバイス4cを操作すると、3次元での操作移動量及び移動方向が、処理装置2に与えられる。3次元入力デバイス4cの操作に応じて、肝臓Lの画像データとともに画面上に表示された切離位置表示体Pが移動する。図4(a)において、切離位置表示体Pは、球状体として表されている。この切離位置表示体Pは、3次元入力デバイス4cの入力に応じて、3次元画像データで示される肝臓Lの内外の任意の位置に移動することができる。
本システム1において、切離位置表示体Pは、仮想メスの位置に相当する。したがって、切離位置表示体Pを肝臓Lの位置に移動させると、その位置を切離することができる。
【0026】
図4(b)に示すように、切離位置表示体Pの周囲には、所定の大きさの切除領域(所定領域)Cが設定されている。切除領域は、立方体形状の透明な領域として設定されている。切離位置表示体Pを肝臓の位置に移動させると、肝臓の画像データは、その切離位置表示体Pの周囲の切除領域Cに相当する部分が除去される。
【0027】
なお、実際には、切離モードにあるときに、切離位置表示体Pを肝臓の位置に移動させると、その位置を切離することができるが、非切離モードにあるときに、切離位置表示体Pを肝臓の位置に移動させても、切離できない。
ここでは、ステップS2において切離モードにあると判定されたものとして説明し、非切離モードについては後述する。
【0028】
図5(a)に示すように肝臓Lの外側に位置している切離位置表示体Pが、図5(b)に示すように肝臓内部に向けて移動したものとする。この移動は、新たな切離位置が入力されたことに相当する(ステップS3;位置入力処理)。
切離位置表示体Pの位置が切離可能であるかの判定(ステップS4;詳細は後述)の後、その切離位置表示体Pの周囲の切除領域Cと肝臓Lの画像データとの合成が行われる(ステップS5;画像生成処理)。切除領域Cは、透明な領域であるから、肝臓Lの画像データとの合成が行われると、肝臓Lの画像データのうち、切除領域Cに相当する部分が除去された画像データが生成される。図5(c)は、切除領域Cに相当する部分が除去された肝臓Lの画像データを示している。
【0029】
切除領域は立方体であるため、除去された部分は、不自然に角ばった形状となっている。そこで、除去された部分のスムージング処理が行われる(ステップS6)。図5(d)に示すように、スムージング処理によって、除去された部分は、その周囲の肝臓の形状との連続感のある形状に整形される。
【0030】
そして、肝臓Lの画像データの各部(図3(a)〜(d))の表面の色の設定と透明度の設定(再設定)が行われる。(表面処理;ステップS7)。色と透明度が設定された肝臓Lの画像データが表示処理にて表示装置に表示される(ステップS8)。
また、図3の4つの画像データに対応する各部は、それぞれ異なる色で表示されるように、それぞれの画像データの表面に異なる色が設定される。
【0031】
肝臓Lの画像データの表示は、表示モードに従って行われる。本実施形態のシステム1において、肝臓の画像データの表示モードには、図6に示すように、表面表示モードM1と内部表示モードM2とがある。
【0032】
表面表示モードM1は、手術対象物である肝臓の表面を表示するモードであり、肝臓の内部構造(血管又は腫瘍など)は見えない。図7(a)は、表面表示モードM1での肝臓Lの画像データ(ただし、切離前)の表示例を示している。表面表示モードでは、ステップS7において、肝部の表面の色として、不透明(透明度=0)の色が設定される。表面表示モードは、実際の手術時において、医師が視認できる肝臓の形態を擬似的に示していることになる。
【0033】
内部表示モードM2は、手術対象物である肝臓の表面形状とともに、肝臓の内部構造(血管又は腫瘍など)を可視化して表示するモードである。図7(b)は、図7(a)と同様の肝臓Lの画像データを内部表示モードM2で表示した例を示している。内部表示モードでは、ステップS7において、肝部の表面の色として、有色透明の色(完全な透明と不透明の中間の透明度)が設定される。内部表示モードでは、まだ切除されていない部分の奥にある内部構造(血管等)を示すことができる。
【0034】
なお、いずれのモードM1,M2においても、血管(図3(a)〜(c)は、不透明の色が設定される。
【0035】
表面表示モードM1と内部表示モードM2は、表示モード切替入力部4aからの入力に応じて、切り替えられる。表示モードM1,M2の切替は、図2のステップS1より後の繰り返し処理の途中の任意の時点で行うことができる。つまり、本システムのユーザは、肝臓が表示されている間の任意の時点において表示モードM1,M2を切り替えて、所望の表示モードで肝臓を観察することができる。
【0036】
なお、表示モード切替入力部4aとしては、マウスに設けられたボタン、3次元入力デバイス4cに設けられたボタン、又はキーボードの任意のキーが利用される。表示モード切替入力部4aとして用いられるボタン等を操作する度に、図4に示すように、モードが他方のモードに遷移し、モード切替が行われる。
【0037】
また、ステップS6において、透明な切除領域Cを合成すると、合成前の肝臓Lの画像データに比べて、切除された部分の表面には、色が未設定となる。
【0038】
表面だけに色が設定されている画像データにおいて表面が除去された部分があると、除去された部分から物体の内部が透明に見えるため、当該物体は中空の物体のように見える。そこで、肝部のように中実の物体の場合、中空に見えないように、ステップS7では、除去された部分について、肝部の他の表面と同じ色が設定される。
一方、血管のように中空の物体の場合、除去された部分から内部が中空に見えた方が、自然であるため、除去された部分には色が設定されない。つまり、血管の表面の色の設定は、肝臓Lの画像データ生成の初期段階で行われるだけである。
【0039】
以上のステップS2〜ステップS8の処理は、繰り返し行われる。つまり、切離位置の入力(切離位置表示体Pの移動)と、肝臓Lの画像データの再生成・表示と、が、繰り返し行われる。したがって、ユーザ(医師)は、画面上の仮想的な肝臓Lに対する切離を徐々に行うことができる。
例えば、図5(d)に示すように部分的に切離された肝臓Lの画像データが表示(ステップS8)されている状態から、さらに、図8(a)のように切離位置表示体Pをさらに肝臓L側に移動させると(ステップS3)、現在の肝臓Lの画像データと切除領域Cとの合成が行われ(ステップS5)、スムージング及び表面処理(ステップS6,S7)が行われ、切離がさらに進んだ肝臓Lの画像データが再表示される(ステップS8)。
【0040】
したがって、本システム1によれば、ユーザは、少し切離を行ってみたときの肝臓Lの内部の様子を把握して、次に肝臓のどの位置をどの方向から切るかを決めることができる。このように、システム1とユーザとの間で、インタラクティブに切離を徐々に進めることができる。
インタラクティブに徐々に切離を行うため、肝臓Lの内部の様子を考慮して、術前に適切な切離ラインを確認することが可能となる。
【0041】
しかも、本システム1では、実際の手術で視認できる形態と同様の表示が行われる表面表示モードM1で切離を進めつつも、必要に応じて、随時、内部表示モードM2に切り替えることで、実際の手術では見えない肝臓Lの奥の様子を把握しつつ、切離を進めることができる。したがって、より適切な切離ラインを確認することが可能である。
【0042】
[3.切除領域(ステップS5)]
切離位置表示体Pの周囲に設定される切除領域Cに関し、図5及び図8では、単一の大きさのものを示したが、実際には、図9(a)に示すように、切離位置表示体Pに対して複数(2つ)の異なる大きさの切除領域C1,C2が設定されている。
第1の切除領域C1は、肝臓Lの画像データ中、肝部(図3(d))の領域を除去するために設定された領域であり、第2の切除領域C2は、肝臓Lの画像データ中、特定部分の血管(図3(a)〜(c))の領域を除去するために設定された領域である。
血管が切除されにくくするため、第2切除領域C2の大きさは、第1切除領域C1よりも小さく設定されている。切離を効率的に進めるには、1つの切除領域が大きいほうが好ましいが、実質切離の場合、血管は切離を進める上での目印ともなるものであり、切除されないほうが好ましいことがある。
【0043】
そこで、肝部に対する第1切除領域C1を大きくしつつ、血管に対する第2切除領域C2を小さくすることで、切離位置表示体Pの位置が同じでも、肝部はより大きく切除され、血管は切除されにくくなる。
【0044】
例えば、図9(b)に示すように、血管B付近の肝部LSを切除する場合を考える。この場合、図9(c)に示すように、肝部LSは、第1切除領域C1によって血管B付近も除去されるが、血管Bは、第2切除領域C2外であるため、切除されない。このように、血管を残しつつ切離を進めることが容易となっている。
【0045】
なお、第2切除領域C2によって切除される特定部分は、血管に限られず、他の部分であってもよい。他の部分としては、例えば、腫瘍の部分が挙げられる。
【0046】
[4.切離モード・非切離モード(ステップS2)]
これまでの説明では、切離位置表示体Pの位置にある肝臓Lは、常に切離されることを前提として説明していたが、切離は、切離モードのときに行われ、非切離モードのときは、切離位置表示体Pが肝臓Lの位置にあっても、切離は行われない。
【0047】
切離モードと非切離モードは、切離モード切替入力部4bからの入力に応じて、切り替えられる。切離・非切離モードの切替は、図2のステップS1より後の繰り返し処理の途中の任意の時点で行うことができる。つまり、本システムのユーザは、肝臓が表示されている間の任意の時点において切離・非切離モードを相互に切り替えることができる。
なお、切離モード切替入力部4bとしては、マウスに設けられたボタン、3次元入力デバイス4cに設けられたボタン、又はキーボードの任意のキーが利用される。
【0048】
ステップS2において、非切離モードであると判定された場合、切離位置表示体Pを移動させるための3次元入力デバイス4cの入力があっても、当該入力に応じて切離位置表示体Pを移動させるだけで(ステップS9)、切離位置の入力とはみなさない。したがって、肝臓Lの画像データと切除領域C1,C2との合成も行われず、切除は行われない。
【0049】
また、肝臓Lの画像データの表示画面では、切離位置表示体P付近(後方)の位置を視点とし、切離位置表示体Pの移動方向を視野方向とした視野の画像が表示されるため、切離位置表示体Pが移動すると、それに応じて、視野も変更される(ステップS9)。したがって、例えば、非切離モードで、切離位置表示体Pを肝臓Lの内部に移動させれば、未切離の肝臓Lの内部を観察することもできる。なお、切離位置表示体Pの移動に応じて視野が変更される点については、切離モードでも同様に行われる。
【0050】
[5.切離不可領域(ステップS4)]
切離モードであっても、図10に示すように、手術対象物である肝臓Lの画像データに切離不可領域Nが設定されている場合には、その切離不可領域Nを切離することはできない。切離不可領域Nは、例えば、腫瘍を含む領域である。腫瘍を摘出する場合、腫瘍の周囲を切除することになるため、多くの場合、切離不可領域Nは腫瘍の範囲より大きく設定される。
【0051】
切離ラインを確認する上で、本来の手術で切離されるべきでない腫瘍自体が切離されることは無意味であるから、ユーザが誤って腫瘍内に切離位置表示体Pを移動させても、切除が生じないようにすることで、利便性が高まっている。
なお、切離不可領域N内に切離位置表示体Pが進入した場合には、非切離モードと同様に、ステップS9の処理が行われる。
【0052】
[6.表示例]
図11及び図12は、表示装置3による肝臓Lの画像データの表示例を示している。図11は、切離前の肝臓を表示する画面であり、図12は切離中の肝臓を表示する画面である。
表示装置3では、図11及び図12に示すように、4つの画面を同時に表示することができる。左上の画面は、球状の表示位置表示体Pの後方を視点として、表示位置表示体Pの移動方向を視野方向とした表示画面である。なお、図11の左上の画面では、非切離モードかつ表面表示モードで切離位置表示体Pが肝臓Lの内部に侵入しているため、切離位置表示体Pが見えない状態にある。なお、左上の画面では、表示される肝臓Lの大きさは、拡大縮小可能である。
【0053】
他の3つの画面(右上、左下、右下の画面)は、肝臓Lの全体をそれぞれ異なる方向から表示して、切離中の肝臓Lの全体的な形態や切離位置表示体Pの位置をユーザに容易に把握させる。なお、当該他の3つの画面は、常に内部表示モードで表示され、左上の画面は、内部表示モードと表面表示モードとを切替可能である。
【0054】
また、4つの画面間の関係の理解の容易のため、各画面の位置表示体Pには、図13にも示すような3次元直交補助線X,Y,Zが付随して表示される。各補助線X,Y,Zは、それぞれ異なる色で表示され、4つの画面間で、同じ方向は同じ色で示されている。したがって、同一の肝臓Lを4つの画面で異なる方向・大きさで表示しても、ユーザが、画面相互の関係を理解しやすく、肝臓Lの3次元的構造や切離位置表示体Pの3次元位置を把握するのが容易となっている。
【0055】
なお、上記において開示した事項は、例示であって、本発明を限定するものではなく、様々な変形が可能である。また、本実施形態のシステム1は、術前に切離ライン確認に用いるだけでなく、術者の教育目的など他の目的にも利用することができる。
【符号の説明】
【0056】
1 手術支援システム
2 処理装置
3 表示装置
4 入力装置
4a 表示モード切替入力部
4b 切離モード切替入力部
4c 3次元入力デバイス
P 切離位置表示体
C 切除領域
C1 第1切除領域
C2 第2切除領域
【特許請求の範囲】
【請求項1】
切離された手術対象物を表示するための手術支援システムであって、
処理を実行する処理装置を備え、
前記処理装置は、
手術対象物の切離位置の入力を受け付ける位置入力処理と、
前記位置入力処理によって入力された前記切離位置の部分が切離された手術対象物の画像データを生成する画像生成処理と、
手術対象物の画像データを表示装置に表示させる表示処理と、
を実行するものであり、
前記処理装置は、
前記位置入力処理、前記画像生成処理、前記表示処理を含む一連の処理を繰り返し実行して、切離がインタラクティブに行えるよう構成されている
ことを特徴とする手術支援システム。
【請求項2】
前記表示処理における複数の表示モードを切り替え可能であり、
前記複数の表示モードとして、
前記手術対象物の表面だけを視認可能な表面表示モードと、
前記手術対象物の内部を視認可能な内部表示モードと、
が含まれる
請求項1記載の手術支援システム。
【請求項3】
前記表示切替処理は、前記位置入力処理、前記画像生成処理、前記表示処理を含む一連の処理が繰り返し実行される途中において、前記表示モードの切り替えを指示する入力を受け付けることで実行される
請求項2記載の手術支援システム。
【請求項4】
前記画像生成処理では、前記位置入力処理によって入力された前記切離位置の周囲の所定領域を除去することで、切離後手術対象物の画像データを生成する
請求項1〜3のいずれか1項に記載の手術支援システム。
【請求項5】
前記手術対象物の画像データには、前記手術対象物の特定部分の領域を示すデータが含まれ、
前記画像生成処理において除去される前記所定領域の大きさは、前記特定部分と、前記手術対象物における前記特定部分以外の部分と、では異なるように設定されている
請求項4記載の手術支援システム。
【請求項6】
前記画像生成処理において除去される前記所定領域の大きさは、前記特定部分の方が、前記手術対象物における前記特定部分以外の部分よりも、小さく設定されている
請求項5記載の手術支援システム。
【請求項7】
前記特定部分は、前記手術対象物中の血管である
請求項5又は6記載の手術支援システム。
【請求項8】
前記手術対象物には、位置入力処理によって切離位置が入力されても切離されない切離不可領域が設定されている
請求項1〜7のいずれか1項に記載の手術支援システム。
【請求項9】
前記切離不可領域は、腫瘍を含む領域である
請求項8記載の手術支援システム。
【請求項10】
前記位置入力処理は、前記表示装置に表示されている前記手術対象物上に表示された切離位置表示体の位置を、前記切離位置の入力として受け付けるものである
請求項1〜9のいずれか1項に記載の手術支援システム。
【請求項11】
コンピュータを請求項1〜10のいずれか1項に記載の処理装置として機能させるためのコンピュータプログラム。
【請求項1】
切離された手術対象物を表示するための手術支援システムであって、
処理を実行する処理装置を備え、
前記処理装置は、
手術対象物の切離位置の入力を受け付ける位置入力処理と、
前記位置入力処理によって入力された前記切離位置の部分が切離された手術対象物の画像データを生成する画像生成処理と、
手術対象物の画像データを表示装置に表示させる表示処理と、
を実行するものであり、
前記処理装置は、
前記位置入力処理、前記画像生成処理、前記表示処理を含む一連の処理を繰り返し実行して、切離がインタラクティブに行えるよう構成されている
ことを特徴とする手術支援システム。
【請求項2】
前記表示処理における複数の表示モードを切り替え可能であり、
前記複数の表示モードとして、
前記手術対象物の表面だけを視認可能な表面表示モードと、
前記手術対象物の内部を視認可能な内部表示モードと、
が含まれる
請求項1記載の手術支援システム。
【請求項3】
前記表示切替処理は、前記位置入力処理、前記画像生成処理、前記表示処理を含む一連の処理が繰り返し実行される途中において、前記表示モードの切り替えを指示する入力を受け付けることで実行される
請求項2記載の手術支援システム。
【請求項4】
前記画像生成処理では、前記位置入力処理によって入力された前記切離位置の周囲の所定領域を除去することで、切離後手術対象物の画像データを生成する
請求項1〜3のいずれか1項に記載の手術支援システム。
【請求項5】
前記手術対象物の画像データには、前記手術対象物の特定部分の領域を示すデータが含まれ、
前記画像生成処理において除去される前記所定領域の大きさは、前記特定部分と、前記手術対象物における前記特定部分以外の部分と、では異なるように設定されている
請求項4記載の手術支援システム。
【請求項6】
前記画像生成処理において除去される前記所定領域の大きさは、前記特定部分の方が、前記手術対象物における前記特定部分以外の部分よりも、小さく設定されている
請求項5記載の手術支援システム。
【請求項7】
前記特定部分は、前記手術対象物中の血管である
請求項5又は6記載の手術支援システム。
【請求項8】
前記手術対象物には、位置入力処理によって切離位置が入力されても切離されない切離不可領域が設定されている
請求項1〜7のいずれか1項に記載の手術支援システム。
【請求項9】
前記切離不可領域は、腫瘍を含む領域である
請求項8記載の手術支援システム。
【請求項10】
前記位置入力処理は、前記表示装置に表示されている前記手術対象物上に表示された切離位置表示体の位置を、前記切離位置の入力として受け付けるものである
請求項1〜9のいずれか1項に記載の手術支援システム。
【請求項11】
コンピュータを請求項1〜10のいずれか1項に記載の処理装置として機能させるためのコンピュータプログラム。
【図1】
【図2】
【図5】
【図6】
【図8】
【図9】
【図10】
【図13】
【図3】
【図4】
【図7】
【図11】
【図12】
【図2】
【図5】
【図6】
【図8】
【図9】
【図10】
【図13】
【図3】
【図4】
【図7】
【図11】
【図12】
【公開番号】特開2012−217805(P2012−217805A)
【公開日】平成24年11月12日(2012.11.12)
【国際特許分類】
【出願番号】特願2011−90287(P2011−90287)
【出願日】平成23年4月14日(2011.4.14)
【新規性喪失の例外の表示】特許法第30条第1項適用申請有り 平成22年電気関係学会関西連合大会講演論文集(CD)平成22年10月28日発行 〔刊行物等〕 電子情報通信学会技術研究報告Vol.110 No.381 平成23年1月13日発行
【出願人】(593006630)学校法人立命館 (359)
【出願人】(500409219)学校法人関西医科大学 (36)
【公開日】平成24年11月12日(2012.11.12)
【国際特許分類】
【出願日】平成23年4月14日(2011.4.14)
【新規性喪失の例外の表示】特許法第30条第1項適用申請有り 平成22年電気関係学会関西連合大会講演論文集(CD)平成22年10月28日発行 〔刊行物等〕 電子情報通信学会技術研究報告Vol.110 No.381 平成23年1月13日発行
【出願人】(593006630)学校法人立命館 (359)
【出願人】(500409219)学校法人関西医科大学 (36)
[ Back to top ]