内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム
【課題】被検体の体腔内に挿入された内視鏡下での体腔内の観察の際に、手術対象部位等の注目箇所に対する内視鏡や処置具の接近状況をより確実に把握する。
【解決手段】３次元医用画像形成部５で形成された３次元医用画像を入力として、注目位置特定部２５で特定された注目構造物の位置を視点とし、内視鏡位置検出部１１または処置具位置検出部１２で検出された内視鏡または処置具の少なくとも一方の位置を視野に含み、その位置が識別可能な態様で表された仮想内視鏡画像を生成する仮想内視鏡画像生成部２６を設け、表示制御部２７が、生成された仮想内視鏡画像をＷＳディスプレイ１０に表示させる。
【解決手段】３次元医用画像形成部５で形成された３次元医用画像を入力として、注目位置特定部２５で特定された注目構造物の位置を視点とし、内視鏡位置検出部１１または処置具位置検出部１２で検出された内視鏡または処置具の少なくとも一方の位置を視野に含み、その位置が識別可能な態様で表された仮想内視鏡画像を生成する仮想内視鏡画像生成部２６を設け、表示制御部２７が、生成された仮想内視鏡画像をＷＳディスプレイ１０に表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被検体の体腔内に挿入された内視鏡下での手術や検査等における、内視鏡観察を支援する技術に関するものであり、特に、被検体の体腔内を表す仮想内視鏡画像を用いて内視鏡観察を支援する技術に関するものである。
【背景技術】
【０００２】
近年、腹腔鏡手術や胸腔鏡手術等の内視鏡下で行われる手術が注目されている。この内視鏡手術では、開腹や開胸等を行うことなく、内視鏡と処置具を刺入するための数センチ程度の穴を２、３個開けるだけで済むので、患者の負担が極めて小さいというメリットがある。一方で、内視鏡の限られた視野で手術を実施することは技術的難易度が高く、執刀を行う医師は熟練を要する。もし患者の血管や臓器を誤って傷つけてしまい、出血してしまった場合には、開腹、開胸等を伴う従来の手法による手術に移行せざるを得ない。
【０００３】
一方、ＣＴ等での撮影によって得られた３次元ボリューム画像から内視鏡と類似した画像を生成する仮想内視鏡技術が知られている。この技術は、特に大腸の腫瘍を発見するために、内視鏡検査をすることなくＣＴ撮影のみで腫瘍を発見する方法として北米で普及している。
【０００４】
そして、仮想内視鏡画像を用いて内視鏡手術を支援する技術が提案されている。
【０００５】
例えば、特許文献１には、内視鏡の位置をセンサで検出し、検出位置を視点とし、内視鏡よりも広い画角を有する仮想内視鏡画像を生成し、内視鏡撮影で得られた実内視鏡画像と仮想内視鏡画像とを重畳表示する装置が記載されている。
【０００６】
また、特許文献２には、内視鏡の位置をリアルタイムに検出し、内視鏡と同じ視野を有し、視野内の血管配置が視覚化された仮想内視鏡画像を生成するとともに、内視鏡下での手術に用いられる処置具の位置をリアルタイムに検出し、仮想内視鏡画像中での処置具の位置に処置具を表す画像を合成した画像を生成し、合成画像と実内視鏡画像を表示する装置が記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００２−２６３０５３号公報
【特許文献２】特開２００５−２１３５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、これらの文献に記載された手法では、仮想内視鏡画像は実内視鏡画像と同じ視点、同じ観察方向の画像であるから、内視鏡や処置具と手術対象部位等の注目箇所との位置関係によっては、仮想内視鏡画像や実内視鏡画像中に注目箇所が表示されない可能性があり、注目箇所に対する内視鏡や処置具の接近状況が把握できないこともありうる。
【０００９】
本発明は上記事情に鑑みてなされたものであり、被検体の体腔内に挿入された内視鏡下での体腔内の観察の際に、手術対象部位等の注目箇所に対する内視鏡や処置具の接近状況をより確実に把握可能なシステムおよび方法、並びに装置およびプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【００１０】
本発明の内視鏡観察支援システムは、被検体の体腔内を表す３次元医用画像を形成する３次元医用画像形成手段と、前記体腔内の（第１の）注目構造物の前記３次元医用画像中での位置を特定する注目位置特定手段と、前記体腔内に挿入された内視鏡または処置具の少なくとも一方の位置をリアルタイムに検出する位置検出手段と、前記３次元医用画像を入力として、前記特定された（第１の）注目構造物の位置、および、前記検出された内視鏡または処置具の少なくとも一方の前記３次元医用画像中での位置に基づいて、前記（第１の）注目構造物の位置を視点とし、前記内視鏡または処置具の少なくとも一方の位置を視野に含み、該内視鏡または処置具の少なくとも一方の位置が識別可能な態様で表された、前記視点から見た前記体腔内を表す仮想内視鏡画像を生成する仮想内視鏡画像生成手段と、前記仮想内視鏡画像を表示する表示手段とを設けたことを特徴とする。
【００１１】
本発明の内視鏡観察支援方法は、被検体の体腔内に挿入された内視鏡下での前記体腔内の観察より前または該観察中に、前記体腔内を表す３次元医用画像を形成するステップと、前記体腔内の（第１の）注目構造物の前記３次元医用画像中での位置を特定するステップと、前記体腔内に挿入された内視鏡または処置具の少なくとも一方の位置をリアルタイムに検出するステップと、前記３次元医用画像を入力として、前記特定された（第１の）注目構造物の位置、および、前記検出された内視鏡または処置具の少なくとも一方の前記３次元医用画像中での位置に基づいて、前記（第１の）注目構造物の位置を視点とし、前記内視鏡または処置具の少なくとも一方の位置を視野に含み、該内視鏡または処置具の少なくとも一方の位置が識別可能な態様で表された、前記視点から見た前記体腔内を表す仮想内視鏡画像を生成するステップと、前記仮想内視鏡画像を表示するステップとを有することを特徴とすることを特徴とする。
【００１２】
本発明の内視鏡観察支援装置は、被検体の体腔内を表す３次元医用画像を取得する３次元医用画像取得手段と、前記体腔内の（第１の）注目構造物の前記３次元医用画像中での位置を特定する注目位置特定手段と、位置検出手段によってリアルタイムに検出された前記体腔内に挿入された内視鏡または処置具の少なくとも一方の位置を取得する位置取得手段と、前記３次元医用画像を入力として、前記特定された（第１の）注目構造物の位置、および、前記取得された内視鏡または処置具の少なくとも一方の前記３次元医用画像中での位置に基づいて、前記（第１の）注目構造物の位置を視点とし、前記内視鏡または処置具の少なくとも一方の位置を視野に含み、該内視鏡または処置具の少なくとも一方の位置が識別可能な態様で表された、前記視点から見た前記体腔内を表す仮想内視鏡画像を生成する仮想内視鏡画像生成手段と、前記仮想内視鏡画像を表示手段に表示させる表示制御手段とを設けたことを特徴とする。
【００１３】
本発明の内視鏡観察支援プログラムは、コンピュータに、被検体の体腔内を表す３次元医用画像を取得するステップと、前記体腔内の（第１の）注目構造物の前記３次元医用画像中での位置を特定するステップと、位置検出手段によってリアルタイムに検出された、前記体腔内に挿入された内視鏡または処置具の少なくとも一方の位置を取得するステップと、前記３次元医用画像を入力として、前記特定された（第１の）注目構造物の位置、および、前記検出された内視鏡または処置具の少なくとも一方の前記３次元医用画像中での位置に基づいて、前記（第１の）注目構造物の位置を視点とし、前記内視鏡または処置具の少なくとも一方の位置を視野に含み、該内視鏡または処置具の少なくとも一方の位置が識別可能な態様で表された、前記視点から見た前記体腔内を表す仮想内視鏡画像を生成するステップと、前記実内視鏡画像と前記仮想内視鏡画像とを表示手段に表示させるステップとを実行させることを特徴とする。
【００１４】
以下、本発明の詳細について説明する。
【００１５】
本発明において、内視鏡によるリアルタイムの撮像によって体腔内を表す実内視鏡画像を形成するようにし、仮想内視鏡画像の生成時に用いられた内視鏡または処置具の少なくとも一方の位置が検出されたのとほぼ同じタイミングで形成された実内視鏡画像をさらに表示するようにしてもよい。これにより、内視鏡での撮像によりリアルタイムに形成された実内視鏡画像と、実内視鏡画像の形成とほぼ同じタイミングで位置検出手段によってリアルタイムに検出された内視鏡または処置具の少なくとも一方の位置を視野に含む仮想内視鏡画像とが表示される。
【００１６】
また、内視鏡または処置具の少なくとも一方の位置の検出に応じて仮想内視鏡画像の生成を繰り返し行えば、実内視鏡画像も仮想内視鏡画像もリアルタイムに更新される。
【００１７】
なお、実内視鏡画像と仮想内視鏡画像の表示は、１つの表示装置に行ってもよいし、複数の表示装置に別々に行ってもよい。複数の表示装置は、両画像を同時に観察可能なように物理的に同じ場所に並べられて設置されていてもよいし、両画像を個別に観察するために物理的に離れた場所に設置されていてもよい。
【００１８】
本発明において、３次元医用画像の取得を内視鏡下での観察中に行う場合には、リアルタイムでその取得を行うようにしてもよい。その際、取得された３次元医用画像に対する画像認識処理により、内視鏡または処置具の少なくとも一方の位置を検出するようにしてもよい。
【００１９】
「（第１の）注目構造物」の具体例としては、内視鏡下での手術対象部位や、手術において注意を有する解剖学的構造物、すなわち、血管や、臓器、腫瘍等が挙げられる。また、（第１の）注目構造物の位置の具体的な特定方法は、公知の画像認識技術を用いた自動的方法、ユーザの手動操作による方法、両者を組み合わせた方法のいずれであってもよい。
【００２０】
また、本発明において、複数の（第１の）注目構造物の位置を視点として、複数の仮想内視鏡画像を生成するようにしてもよい。
【００２１】
「内視鏡または処置具の少なくとも一方の位置を・・・検出」とは、体腔内に内視鏡のみが挿入されている場合における内視鏡の位置の検出、または、体腔内に内視鏡と処置具が挿入されている場合における、内視鏡の位置の検出、処置具の位置の検出、内視鏡と処置具の両方の位置の検出のいずれであってもよい。
【００２２】
「仮想内視鏡画像」は、（第１の）注目構造物の位置を視点とするものであるが、視点の位置は、厳密な意味で、（第１の）注目構造物の表面や構造物内の位置には限定されず、本発明と実質的に等価な作用効果が得られる位置、例えば、（第１の）注目構造物から数画素程度離れた位置等であってもよい。
【００２３】
また、「仮想内視鏡画像」は、内視鏡または処置具の少なくとも一方の位置を視野に含むものであるが、視点（(第１の)注目構造物の位置）から、内視鏡または処置具の少なくとも一方の位置に向かう視線上の画像情報が仮想内視鏡画像に反映されていればよく、例えば、（第１の）注目構造物と内視鏡または処置具との間に、臓器や血管、ヒダ等の構造物がある場合等には、仮想内視鏡画像中に内視鏡または処置具が必ずしも表されていなくてもよい。
【００２４】
さらに、「仮想内視鏡画像」は、内視鏡または処置具の少なくとも一方の位置が識別可能な態様で表されたものである。ここで、３次元医用画像が内視鏡下での観察前に取得されたものの場合には、３次元医用画像の撮像・取得時には、被検体の体腔内に内視鏡または処置具はまだ挿入されていないので、仮想内視鏡画像生成時に、位置検出手段によって検出された位置に対応する仮想内視鏡画像中の位置に、内視鏡または処置具を表すマーカー等を合成すればよい。一方、３次元医用画像が内視鏡下での観察中にリアルタイムに取得されたものであり、その画像中に内視鏡または処置具が表されている場合には、仮想内視鏡画像中にもその内視鏡または処置具が描出されるように仮想内視鏡画像を生成すればよい。
【００２５】
「仮想内視鏡画像」の生成の際、注目構造物から体腔内の構造物の表面までの距離を仮想内視鏡画像の画素値の決定要素として用いてもよい。また、実内視鏡画像に表された体腔内各部とほぼ同じ外観の仮想内視鏡画像が得られるように定義されたカラーテンプレートを用いてもよい。ただし、このカラーテンプレートには、例えば、体腔内各部の色が実内視鏡画像とほぼ同じになるように定義されたものとしつつ、体腔内各部を必要に応じて半透明化し、実内視鏡画像では前方の遮蔽物等により観察することのできない後方の構造物を視認できるように定義されたものも含まれる。
【００２６】
また、本発明において、３次元医用画像中の体腔内の第２の注目構造物を検出するようにし、検出された第２の注目構造物が視認可能な態様の仮想内視鏡画像を生成するようにしてもよい。ここで、「第２の注目構造物」の具体例としては、第１の注目構造物と同様のものが挙げられる。したがって、例えば、第１の構造物は内視鏡下での手術対象部位とし、第２の注目構造物は手術において注意を有する解剖学的構造物とするか、あるいは、その逆とすることが考えられる。
【００２７】
さらに、本発明において、内視鏡または処置具の少なくとも一方と注目構造物とが所定の基準を満たす程度に接近している場合には警告を提示するようにしてもよい。警告は仮想内視鏡画像中等に視覚的に提示してもよいし、他の感覚器に訴える方法で提示してもよい。
【発明の効果】
【００２８】
本発明では、被検体の体腔内を表す３次元医用画像が取得され、体腔内の注目構造物の３次元医用画像中での位置が特定され、体腔内に挿入された内視鏡または処置具の少なくとも一方の位置がリアルタイムに検出され、３次元医用画像を入力として、注目構造物の位置を視点とし、内視鏡または処置具の少なくとも一方の位置を視野に含み、内視鏡または処置具の少なくとも一方の位置が識別可能な態様で表された、仮想内視鏡画像が生成、表示される。ここで、表示される仮想内視鏡画像は、あたかも、手術対象部位や要注意箇所等の注目構造物において内視鏡や処置具の接近を監視するカメラで得られる画像のようになるので、この本発明独自の仮想内視鏡画像で実内視鏡画像の狭い視野を補うことによって、注目構造物に対する内視鏡や処置具の接近状況をより確実に把握することでき、手術や検査等における手技のミス等の防止に資する。
【００２９】
また、このとき、内視鏡や処置具の位置をリアルタイムに検出した結果のフィードバックによって仮想内視鏡の視野がリアルタイムに変更された仮想内視鏡画像が連続的に表示されるので、注目構造物への内視鏡や処置具の接近を、動的に、より的確に捉えることが可能になる。
【００３０】
さらに、内視鏡によるリアルタイムの撮像によって体腔内を表す実内視鏡画像を形成するようにし、仮想内視鏡画像の生成時に用いられた内視鏡または処置具の少なくとも一方の位置が検出されたのとほぼ同じタイミングで形成された実内視鏡画像をさらに表示すれば、表示される実内視鏡画像と仮想内視鏡画像とは、ほぼ同じ時点での体腔内の状態が表されたものとなり、実内視鏡画像と仮想内視鏡画像とが時間的同期を取って連続的に表示される。また、このとき、内視鏡または処置具の少なくとも一方の位置の検出に応じて仮想内視鏡画像の生成を繰り返し行えば、実内視鏡画像も仮想内視鏡画像もリアルタイムに更新される。すなわち、内視鏡の移動や回転等の操作に連動して実内視鏡画像の視野が変化するとともに、内視鏡や処置具の移動等の操作に連動して仮想内視鏡画像の視野も変化させることができる。このように、実内視鏡画像と仮想内視鏡画像によって相互補完的に体腔内を観察することが可能になる。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施の形態となる内視鏡観察支援システムのハードウェア構成図
【図２】本発明の第１から第３の実施形態における内視鏡観察支援システムの機能ブロック図
【図３】本発明の第１から第３の実施形態における内視鏡観察支援処理の流れを表したフローチャート
【図４】実内視鏡、処置具、注目構造物の位置関係、および、実内視鏡と仮想内視鏡の画角の一例を模式的に表した図
【図５】本発明の第１の実施形態で表示される実内視鏡画像の一例を模式的に表した図
【図６】本発明の第１の実施形態で表示される仮想内視鏡画像の一例を模式的に表した図
【図７Ａ】注目構造物と処置具との位置関係の一例を模式的に表した図
【図７Ｂ】本発明の第２の実施形態で表示される仮想内視鏡画像の一例を模式的に表した図
【図８Ａ】本発明の第３の実施形態における、視点からの腹腔内の解剖学的構造物の表面までの距離に応じて仮想内視鏡画像の表示色を変化させるためのカラーテンプレートの一例を模式的に表した図
【図８Ｂ】本発明の第３の実施形態における、視点からの距離に応じて表示色を変化させた仮想内視鏡画像の一例を模式的に表した図
【図９】本発明の第４の実施形態における内視鏡観察支援システムの機能ブロック図
【図１０】本発明の第４の実施形態における内視鏡観察支援処理の流れを表したフローチャート
【図１１】本発明の第４の実施形態における警告表示の一例を模式的に表した図
【図１２】本発明の第５の実施形態における内視鏡観察支援システムの機能ブロック図
【図１３】本発明の第５の実施形態における内視鏡観察支援処理の流れを表したフローチャート
【図１４Ａ】注目構造物と要注意構造物との位置関係の一例を模式的に表した図
【図１４Ｂ】本発明の第５の実施形態で表示される仮想内視鏡画像の一例を模式的に表した図
【図１５】本発明の第６の実施形態における内視鏡観察支援システムの機能ブロック図
【図１６】本発明の第６の実施形態における内視鏡観察支援処理の流れを表したフローチャート
【図１７Ａ】実内視鏡画像と仮想内視鏡画像を合成する際の各画像の画角を模式的に表した図
【図１７Ｂ】実内視鏡画像と仮想内視鏡画像の合成画像の一例を模式的に表した図
【図１８Ａ】実内視鏡画像の他の一例を模式的に表した図
【図１８Ｂ】血管のみを表す仮想内視鏡画像の一例を模式的に表した図
【図１８Ｃ】実内視鏡画像と仮想内視鏡画像の重畳画像の一例を模式的に表した図
【発明を実施するための形態】
【００３２】
以下、本発明の実施の形態となる内視鏡観察支援システムについて説明する。
【００３３】
図１は、この内視鏡観察支援システムの概要を示すハードウェア構成図である。図に示したように、このシステムは、内視鏡１、デジタルプロセッサ２、光源装置３、実内視鏡画像用ディスプレイ４、モダリティ５、処置具６、内視鏡用マーカー７ａ、処置具用マーカー７ｂ、位置センサ８、画像処理ワークステーション９、画像処理ワークステーション用ディスプレイ（以下、ＷＳディスプレイ）１０から構成されている。
【００３４】
本実施形態では、内視鏡１は腹腔用の硬性鏡であり、被検体の腹腔内に挿入される。光源装置３から光ファイバーで導かれた光が内視鏡１の先端部から照射され、内視鏡１の撮像光学系により被検体の腹腔内の画像が得られる。デジタルプロセッサ２は、内視鏡１で得られた撮像信号をデジタル画像信号に変換し、ホワイトバランス調整やシェーディング補正等のデジタル信号処理によって画質の補正を行った後、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格で規定された付帯情報を付加して、実内視鏡画像データ(ＩRE)を出力する。出力された実内視鏡画像データ(ＩRE)は、ＤＩＣＯＭ規格に準拠した通信プロトコルに従って、ＬＡＮ経由で画像処理ワークステーション９に送信される。また、デジタルプロセッサ２は、実内視鏡画像データ(ＩRE)をアナログ信号に変換して実内視鏡画像用ディスプレイ４に出力し、実内視鏡画像用ディスプレイ４には実内視鏡画像(ＩRE)が表示される。内視鏡１での撮像信号の取得は所定のフレームレートで行われるので、実内視鏡用ディスプレイ４では、実内視鏡画像(ＩRE)が腹腔内を表す動画として表示される。さらに、内視鏡１では、ユーザの操作に応じて静止画撮影も可能である。
【００３５】
モダリティ５は、被検体の検査対象部位を撮影することにより、その部位を表す３次元医用画像の画像データ(Ｖ)を生成する装置であり、ここではＣＴ装置とする。この３次元医用画像データ(Ｖ)にもＤＩＣＯＭ規格で規定された付帯情報が付加されている。また、３次元医用画像データ(Ｖ)も、ＤＩＣＯＭ規格に準拠した通信プロトコルに従って、ＬＡＮ経由で画像処理ワークステーション９に送信される。
【００３６】
内視鏡用マーカー７ａ、処置具用マーカー７ｂ、および、位置センサ８は、公知の３次元位置計測装置を構成する。内視鏡用マーカー７ａ、処置具用マーカー７ｂは、各々、内視鏡１および処置具６の手元付近に設けられており、光学式の位置センサ８によって、所定の時間間隔で各マーカー７ａ、７ｂの３次元位置が検出される。内視鏡用マーカー７ａ、処置具用マーカー７ｂは、各々、複数のマーカー片から構成されているので、位置センサ８は、各マーカー片の位置関係から内視鏡１や処理具６の向きも検出可能であり、オフセット計算によって、内視鏡１や処置具６の先端部の３次元位置(PSE、PST)を算出することができる。位置センサ８は、算出された内視鏡１および処置具６の３次元位置データ(PSE、PST)を、ＵＳＢインターフェースを介して画像処理ワークステーション９に送信する。
【００３７】
画像処理ワークステーション９は、ＣＰＵ、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、データバス等の周知のハードウェア構成を備えたコンピュータであり、入力装置（ポインティングデバイス、キーボード等）や、ＷＳディスプレイ１０が接続されている。また、画像処理ワークステーション９は、デジタルプロセッサ２やモダリティ５とはＬＡＮ接続されており、位置センサ８とはＵＳＢ接続されている。さらに、画像処理ワークステーション９は、周知のオペレーティングシステムや各種アプリケーション・ソフトウェア等がインストールされたものであり、本発明の内視鏡観察支援処理を実行させるためのアプリケーションもインストールされている。これらのソフトウェアは、ＣＤ−ＲＯＭ等の記録媒体からインストールされたものであってもよいし、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされたものであってもよい。
【００３８】
図２は、本発明の第１の実施形態における内視鏡観察支援システムを機能レベルで分割したブロック図である。図に示したように、本発明の第１の実施形態となる内視鏡観察得支援システムは、内視鏡１、実内視鏡画像形成部２、実内視鏡画像用ディスプレイ４、３次元医用画像形成部５、処置具６、ＷＳディスプレイ１０、内視鏡位置検出部１１、処置具位置検出部１２、実内視鏡画像取得部２１、内視鏡位置取得部２２、処置具位置取得部２３、３次元医用画像取得部２４、注目位置特定部２５、仮想内視鏡画像生成部２６、表示制御部２７から構成されている。なお、図１に示したハードウェア機器と図２に示した各機能ブロックとが概ね１対１に対応する場合には同じ符号を付している。すなわち、実内視鏡画像形成部２の機能は図１のデジタルプロセッサによって実現され、３次元医用画像形成部５の機能は図１のモダリティによって実現される。一方、内視鏡位置検出部１１の機能は、内視鏡用マーカー７ａおよび位置センサ８によって、処置具位置検出部１２の機能は、処置具用マーカー７ｂおよび位置センサ８によって、各々実現される。また、破線枠は画像処理ワークステーション９を示しており、破線枠内の各処理部の機能は、画像処理ワークステーション９で所定のプログラムを実行することによって実現される。さらに、破線枠内の、実内視鏡画像ＩRE、内視鏡位置ＰE、処置具位置ＰT、３次元医用画像Ｖ、注目位置ＰI、仮想内視鏡画像ＩVEは、各々、破線枠内の各処理部によって、画像処理ワークステーション９の所定のメモリ領域に対して読み書きされるデータである。
【００３９】
次に、図３に示したフローチャートを用いて、本発明の第１の実施形態となる内視鏡観察支援システムで行われるユーザの操作や、上記各処理部で行われる処理の概略的な流れを説明する。
【００４０】
まず、内視鏡１を用いた被検体の腹腔内の観察に先立って、３次元医用画像形成部５による被検体の腹腔内の撮像により、３次元医用画像Ｖが形成される。画像処理ワークステーション９では、３次元医用画像取得部２４が、３次元医用画像形成部５によって形成された３次元医用画像Ｖを取得した後(#1)、注目位置特定部２５が、３次元医用画像取得部２４によって取得された３次元医用画像Ｖに表された体腔内の注目構造物（例えば手術対象部位）の指定操作を受け付けるユーザインターフェースを提示し、取得された３次元医用画像Ｖに基づいて、指定された注目構造物の３次元医用画像Ｖ中での位置ＰIを特定する(#2)。
【００４１】
そして、図３のフローチャートの右側に付記したように、注目構造物を対象とする内視鏡下手術中、すなわち、内視鏡１を用いた被検体の腹腔内の観察中は、観察が終了するまで(#7; YES)、実内視鏡画像形成部２は、所定のフレームレートで、体腔内に挿入された内視鏡１による実内視鏡画像ＩREを繰り返し形成し、形成された実内視鏡画像ＩREは実内視鏡画像用ディスプレイ４にスルー動画としてリアルタイムに表示される。また、内視鏡位置検出部１１および処置具位置検出部１２は、各々、所定の時間間隔で、体腔内に挿入された内視鏡１および処置具６の各々の位置PSE、PSTを繰り返しリアルタイムに検出する。
【００４２】
画像処理ワークステーション９では、実内視鏡画像取得部２１が、実内視鏡画像形成部２で形成された実内視鏡画像ＩREを取得し(#3)、これとほぼ同じタイミングで、内視鏡位置取得部２２が、内視鏡位置検出部１１で検出された内視鏡位置PSEを取得し、取得された内視鏡位置PSEを３次元医用画像Ｖの座標系における位置に変換して得られた内視鏡位置ＰEを出力するとともに、処置具位置取得部２３が、処置具位置検出部１２で検出された処置具位置PSTを取得し、取得された処置具位置PSTを３次元医用画像Ｖの座標系における位置に変換して得られた処置具位置ＰTを出力する(#4)。
【００４３】
仮想内視鏡画像生成部２６は、３次元医用画像取得部２４によって取得された３次元医用画像Ｖを入力として、注目位置特定部２５によって特定された注目構造物の位置ＰI、および、内視鏡位置取得部２２によって取得された内視鏡位置ＰE、処置具位置取得部２３によって取得された処置具位置ＰTに基づいて、仮想内視鏡画像ＩVEを生成する(#5)。ここで、仮想内視鏡画像ＩVEは、注目構造物の位置ＰIを視点とし、処置具位置ＰTを視野の中心として、被検体の腹腔内を表した画像であり、処置具６を表す形状画像、および、仮想内視鏡画像ＩVEの視野内に内視鏡位置ＰEが存在する場合には内視鏡１を表す形状画像が合成されたものである。
【００４４】
そして、表示制御部２７は、実内視鏡画像取得部２１によって取得された実内視鏡画像ＩREと、仮想内視鏡画像生成部２６によって生成された仮想内視鏡画像ＩVEとを１画面中に並べてＷＳディスプレイ１０に表示させる(#6)。
【００４５】
画像処理ワークステーション９では、観察終了を指示する操作が行わない限り(#7; No)、新たな実内視鏡画像ＩREの取得(#3)、その時点での内視鏡位置ＰEおよび処置具位置ＰTの取得(#4)、仮想内視鏡画像ＩVEの生成(#5)、実内視鏡画像ＩREと仮想内視鏡画像ＩVEの表示の更新(#6)が繰り返し行われる。これにより、ＷＳディスプレイ１０では、実内視鏡画像ＩREと仮想内視鏡画像ＩVEとが時間的に同期した連続表示が実現される。一方、観察終了を指示する操作が行われた場合には(#7; Yes)、画像処理ワークステーション９は、上記ステップ#3から#6までの繰返し処理を終了する。
【００４６】
次に、画像処理ワークステーション９内の各処理部で行われる処理の詳細について説明する。
【００４７】
実内視鏡画像取得部２１は、実内視鏡画像形成部（デジタルプロセッサ）２との通信により、実内視鏡画像ＩREを受信し、画像処理ワークステーション９の所定のメモリ領域の格納する通信インターフェースであり、実内視鏡画像取得部２１からの要求に基づいて実内視鏡画像形成部２から実内視鏡画像ＩREが転送される。図５は実内視鏡画像ＩREの一例を模式的に表したものである。
【００４８】
内視鏡位置取得部２２は、内視鏡位置検出部１１との通信により内視鏡位置PSEを取得する通信インターフェースとしての機能と、取得した内視鏡位置PSEを位置センサ８の３次元座標系から３次元医用画像Ｖの３次元座標系の座標値で表現された内視鏡位置ＰEに変換して画像処理ワークステーション９の所定のメモリ領域に格納する機能とを有する。前者の通信インターフェース機能では、内視鏡位置取得部２２からの要求ベースで内視鏡位置検出部１１から内視鏡位置PSEが取得される。また、後者の座標変換機能では、位置センサの３次元座標系における各座標軸と３次元医用画像Ｖの３次元座標系における各座標軸との向きの対応関係に基づいて、座標軸の回転量を予め求めておくとともに、３次元医用画像Ｖの原点に相当する被検体中の位置の、位置センサ８の３次元座標系における座標値を予め計測しておき、この原点の座標値に基づいて、両座標軸の平行移動量を求めておけば、その回転量の回転とその平行移動量の平行移動を行う行列を用いて、位置センサ８の３次元座標系で表現された内視鏡位置PSEを３次元医用画像Ｖの３次元座標系の座標値で表現された内視鏡位置ＰEに変換することができる。
【００４９】
処置具位置取得部２３は、内視鏡位置取得部２２と同様に、処置具位置検出部１２との通信により処置具位置PSTを取得する通信インターフェースとしての機能と、取得した処置具位置PSTを位置センサ８の３次元座標系から３次元医用画像Ｖの３次元座標系の座標値で表現された処置具位置ＰTに変換して画像処理ワークステーション９の所定のメモリ領域に格納する機能とを有する。
【００５０】
３次元医用画像取得部２４は、３次元医用画像形成部５から３次元医用画像Ｖを受信し、画像処理ワークステーション９の所定のメモリ領域に格納する通信インターフェース機能を有する。
【００５１】
注目位置特定部２５は、公知のＭＰＲ法により３次元医用画像Ｖから生成された所定の断面を表す断面画像中に、画像処理ワークステーション９のポインティングデバイスやキーボードを用いて注目構造物の指定する操作を受け付けるユーザインターフェースを提示する。例えば、ポインティングデバイスによって、断面画像中の注目構造物がクリックされると、注目位置特定部２５は、クリックにより指定された注目構造物の３次元医用画像Ｖ中での位置ＰIを特定し、画像処理ワークステーション９の所定のメモリ領域に格納する。ここで、注目構造物として、手術対象の部位や手術時における要注意箇所等が、ユーザの所望に応じて指定される。
【００５２】
仮想内視鏡画像生成部２６は、３次元医用画像Ｖを入力として、注目構造物の位置ＰI、および、内視鏡位置ＰE、処置具位置ＰTに基づいて、仮想内視鏡画像ＩVEを生成する。図４は、内視鏡１、処置具６、注目構造物ＰIの位置関係、および、内視鏡１と仮想内視鏡の画角の一例を模式的に表したものである。図に示したように、仮想内視鏡画像生成部２６は、注目構造物の位置ＰIを視点とし、処置具位置ＰTを視野の中心として、画角ＡVの範囲内で、視点ＰIからの放射状の複数の視線を設定し、公知の中心投影によるボリュームレンダリング法により、各視線上の画素値を投影した仮想内視鏡プレ画像を生成する。ここで、仮想内視鏡プレ画像の画角ＡVは、実内視鏡画像ＩREの画角ＡRよりも広くなるように、プログラムの起動パラメータによって設定されている。また、ボリュームレンダリングの際には、実内視鏡画像ＩREに表された腹腔内各部とほぼ同じ外観の画像が得られるように色や透明度が予め定義されたカラーテンプレートが用いられる。さらに、仮想内視鏡画像生成部２６は、処置具位置ＰTに処置具６が存在する状態を表す処置具形状画像ＭT、および、仮想内視鏡画像ＩVEの視野内に内視鏡位置ＰEが存在する場合には、内視鏡位置ＰEに内視鏡１が存在する状態を表す内視鏡形状画像ＭEを生成する。具体的には、処置具形状画像ＭTや内視鏡形状画像ＭEは、上記特許文献２に記載されたように、データベースに格納された内視鏡１や処置具６の形状を表す画像と、処置具位置ＰTや内視鏡位置ＰEに基づいて生成される。そして、仮想内視鏡画像生成部２６は、仮想内視鏡プレ画像と処置具形状画像ＭTや内視鏡形状画像ＭEを、アルファブレンディング等の公知の手法により合成することにより、仮想内視鏡画像ＩVEを生成する。図６は、生成された仮想内視鏡画像ＩVEの一例を模式的に表したものであり、視野のほぼ中央の処置具位置ＰTに処置具６を表す形状画像ＭTが重畳表示され、さらに視野内の内視鏡位置ＰEに内視鏡１を表す形状画像ＭEが重畳表示され、全体としては、内視鏡下手術中に図４の注目構造物ＰIの位置から腹腔内を内視鏡で見た様子を仮想的に表現した画像となっている。
【００５３】
表示制御部２７は、実内視鏡画像ＩREと仮想内視鏡画像ＩVEとを１画面に並べた表示画面を生成し、ＷＳディスプレイ１０に出力する。これにより、ＷＳディスプレイ１０には、図５に模式的に例示された実内視鏡画像ＩREと図６に模式的に例示された仮想内視鏡画像ＩVEとを並べた表示画面が表示される。
【００５４】
以上のように、本発明の第１の実施形態では、内視鏡１を用いた腹腔内の観察に先立って、３次元医用画像取得部２４が、３次元医用画像形成部５によって形成された３次元医用画像Ｖを取得し、注目位置特定部２５が腹腔内の注目構造物の３次元医用画像Ｖ中での位置ＰIを特定しておき、観察の際には、実内視鏡画像取得部２１が、実内視鏡画像形成部２によって形成された実内視鏡画像ＩREを取得し、それと同時に、内視鏡位置取得部２２が、内視鏡位置検出部１１によって検出された内視鏡１の３次元医用画像Ｖ中での位置ＰEを取得するとともに、処置具位置取得部２３が、処置具位置検出部１２によって検出された処置具６の３次元医用画像Ｖ中での位置ＰTを検出し、仮想内視鏡画像生成部２６が、注目構造物の位置ＰIを視点とし、処置具位置ＰTを視野の中心とし、内視鏡１および処置具６が各々内視鏡位置ＰEおよび処置具位置ＰTに合成された仮想内視鏡画像ＩVEを３次元医用画像Ｖから生成し、表示制御部２７が実内視鏡画像ＩREと仮想内視鏡画像ＩVEをＷＳディスプレイ１０に表示させる。これにより、表示された仮想内視鏡画像ＩVEは、あたかも、注目構造物の位置ＰIにおいて内視鏡１や処置具６の接近を監視するカメラで得られる画像のようになるので、この仮想内視鏡画像ＩVEで実内視鏡画像ＩREの狭い視野を補うことによって、注目構造物に対する内視鏡１や処置具６の接近状況をより確実に把握することでき、手術や検査等における手技のミス等の防止に資する。
【００５５】
また、このとき、内視鏡位置検出部１１や処置具位置検出部１２が内視鏡１や処置具６の位置をリアルタイムに検出した結果のフィードバックによって仮想内視鏡の視野がリアルタイムに変更された仮想内視鏡画像ＩVEが連続的に表示されるので、注目構造物への内視鏡１や処置具６の接近を、動的に、より的確に捉えることが可能になる。
【００５６】
さらに、実内視鏡画像形成部２が、内視鏡１によるリアルタイムの撮像によって体腔内を表す実内視鏡画像ＩREを形成し、仮想内視鏡画像ＩVEの生成時に用いられた内視鏡１または処置具６の位置が検出されたのとほぼ同じタイミングで形成された実内視鏡画像ＩREがさらに表示されるので、実内視鏡画像ＩREと仮想内視鏡画像ＩVEとは、ほぼ同じ時点での体腔内の状態が表されたものとなり、実内視鏡画像ＩREと仮想内視鏡画像ＩVEとが時間的同期を取って連続的に表示される。また、このとき、内視鏡１の移動や回転等の操作に連動して実内視鏡画像ＩREの視野が変化するとともに、処置具６の移動等の操作に連動して仮想内視鏡画像ＩVEの視野も変化する。このように、本発明の第１の実施形態では、実内視鏡画像ＩREと仮想内視鏡画像ＩVEによって相互補完的に体腔内を観察することが可能になる。
【００５７】
さらにまた、仮想内視鏡画像生成部２６が、実内視鏡画像ＩREに表された腹腔内各部とほぼ同じ外観の画像が得られるように色や透明度が予め定義されたカラーテンプレートを用いて仮想内視鏡画像ＩVEを生成するので、表示制御部２７によって実内視鏡画像ＩREと仮想内視鏡画像ＩVEとが並べられてＷＳディスプレイ１０に表示された際、両画像を違和感なく観察することができる。
【００５８】
本発明の第２の実施形態は、仮想内視鏡画像生成部２６におけるボリュームレンダリング処理の変形例であり、内視鏡観察支援システムのハードウェア構成、および、機能ブロック、処理の全体的な流れは、第１の実施形態と同様である。
【００５９】
図７Ａは、注目構造物と処置具６との位置関係の一例を模式的に表したものである。図に示したように、仮想内視鏡画像ＩVEの視点となる注目構造物の位置ＰIと処置具位置ＰTとの間を解剖学的構造物が遮っている場合、その解剖学的構造物の不透明度が高くなるようにカラーテンプレートが定義されていると、その解剖学的構造物の後方にある処理具６は仮想内視鏡画像ＩVEには描出されなくなってしまう。そこで、本発明の第２の実施形態では、仮想内視鏡画像生成部２６が、体腔内各部を半透明に表示するように不透明度が定義されたカラーテンプレートを用いて仮想内視鏡画像ＩVEを生成するようにする。これにより、生成された仮想内視鏡画像ＩVEは、図７Ｂに模式的に表したように、注目構造物の位置ＰIと処置具位置ＰTとの間にある解剖学的構造物が半透明化され、その解剖学的構造物の後方にある処置具位置ＰTに対応する位置に処置具形状画像ＭTが視認可能なものとなる。このように腹腔内の解剖学的構造物を半透明化した画像は、実内視鏡画像形成部２で形成することは不可能であるから、この半透明化された仮想内視鏡画像ＩVEを実内視鏡画像ＩREを補完するものとして用いることは、実用的価値が極めて高い。
【００６０】
本発明の第３の実施形態も、仮想内視鏡画像生成部２６におけるボリュームレンダリング処理の変形例であり、内視鏡観察支援システムのハードウェア構成、および、機能ブロック、処理の全体的な流れは、第１の実施形態と同様である。
【００６１】
図８Ａは、本発明の第３の実施形態で用いられるカラーテンプレートの一例を模式的に表したものである。図に示したように、このカラーテンプレートは、注目構造物上の視点ＰIから腹腔内の構造物の表面までの距離に応じて仮想内視鏡画像ＩVEの色を変化させるように定義されている。仮想内視鏡画像生成部２６は、例えば、中心投影の際の各視線上において、所定の閾値以上に画素値が急激に変化する位置、あるいは、画素値が所定の閾値以上となる位置を腹腔内の構造物の表面として検出し、視点ＰIから腹腔内の構造物の表面までの距離を算出しておき、このカラーテンプレートを用いて、検出された構造物の表面の仮想内視鏡画像ＩVEでの画素値を決定するようにすれば、図８Ｂに模式的に例示したように、生成される仮想内視鏡画像ＩVEは、構造物の表面の注目構造物の位置ＰIからの距離が近いほど色が淡く、その距離が遠いほど色が濃いものとなる。このようにすれば、遠近感を捉えにくい仮想内視鏡画像ＩVEの遠近感を補うことが可能になり、内視鏡１や処置具６の接近状況をより容易に把握できるようになる。なお、内視鏡１の形状画像ＭEや処置具の形状画像ＭTも、上記と同様に、注目構造物の位置ＰIからの距離に応じて、仮想内視鏡画像ＩVE中に表示される色や濃度を変化させるようにしてもよい。
【００６２】
本発明の第４の実施形態は、図９の機能ブロック図に示したように、第１の実施形態に警告判定部２８を付加した構成となっており、内視鏡観察支援システムのハードウェア構成は、第１の実施形態と同様である。
【００６３】
この警告判定部２８は、画像処理ワークステーション９に実装される処理部であり、内視鏡位置ＰEと注目構造物の位置ＰIとの間の距離、および、処置具位置ＰTと注目構造物の位置ＰIとの間の距離を算出し、算出された距離のいずれかが所定の閾値よりも小さい場合、すなわち、内視鏡１または処置具６が注目構造物に許容できない程度に接近している場合に、警告メッセージWMを出力するものである。
【００６４】
図１０は、本発明の第４の実施形態における内視鏡観察支援処理の流れを表したフローチャートであり、図に示したように、第１の実施形態のステップ#6の実内視鏡画像ＩREと仮想内視鏡画像ＩVEの表示の後、警告判定部２８が、上記距離の各々と上記閾値とを比較し(#11)、上記距離のいずれかが上記閾値よりも小さい場合(#11; Yes)、警告メッセージWMを出力し、表示制御部２７が、図１１に例示したように、許容できない程度に接近した内視鏡１または処置具６（図では内視鏡１）の近傍に「接近注意」のコメント付きの矢印マークを重畳表示させ、さらに、その内視鏡１または処置具６を表す形状画像の表示色を濃くする。これにより、注目構造物に対して、内視鏡１または処置具６が異常に接近した状態を容易に認識することが可能になり、内視鏡１や処置具６の誤操作の未然防止に資する。このような警告表示は、注目位置特定部２５において、注目構造物として、手術時に傷をつけると大出血を招く血管等が指定された場合に特に効果的である。
【００６５】
なお、警告メッセージを外部に出力する方法は、上記のように仮想内視鏡画像ＩVEに重畳表示する方法の他、警告音や音声を出力する方法であってもよいし、警告メッセージの重畳表示と警告音等の出力の両方を行ってもよい。また、上記距離に応じた危険度を段階的に定義した危険度判定テーブルを予め用意しておき、警告判定部２８が、算出された距離に基づいてこの危険度判定テーブルを参照して危険度を決定し、この危険度の値を警告メッセージWMとして出力し、表示制御部２７が危険度に応じたアイコン等をＷＳディスプレイ１０に表示させるようにしてもよい。
【００６６】
本発明の第５の実施形態は、図１２の機能ブロック図に示したように、第１の実施形態に要注意構造物検出部２９を付加した構成となっており、内視鏡観察支援システムのハードウェア構成は、第１の実施形態と同様である。
【００６７】
要注意構造物検出部２９は、画像処理ワークステーション９に実装される処理部であり、３次元医用画像Ｖを入力として、公知の画像認識手法により、要注意構造物領域RAを検出する。図１４Ａは、注目構造物と要注意構造物との位置関係の一例を模式的に表したものである。この例では、要注意構造物検出部２９は公知の血管抽出処理を行うことにより、腹壁の裏側にある注意すべき血管領域RAを検出している。
【００６８】
図１３は、本発明の第５の実施形態における内視鏡観察支援処理の流れを表したフローチャートであり、図に示したように、第１の実施形態のステップ#2で注目位置ＰIを特定した後、要注意構造物検出部２９が要注意構造物領域RAを検出する(#13)。また、ステップ#5において、仮想内視鏡画像生成部２６は、要注意構造物領域RAが視認可能になるように定義されたカラーテンプレートを用いて仮想内視鏡画像ＩVEを生成する。図１４Ｂは、生成される仮想内視鏡画像ＩVEの一例を模式的に表したものである。図に示した仮想内視鏡画像ＩVEは、腹壁を表す画素の半透明化され、血管を表す画素の視認性が高くなるように色や不透明度が定義されたカラーテンプレートを用いることによって生成されたものである。これにより、要注意構造物の視認性が高まるので、第４の実施形態と同様、内視鏡１や処置具６の誤操作の未然防止に資する。
【００６９】
なお、要注意構造物検出部２９は、ユーザの手動操作により要注意構造物領域RAを検出するようにしてもよい。また、要注意構造物領域RAに対して、矢印等のマーカーやテキストコメント等のアノテーションを重畳表示させるようにしてもよい。
【００７０】
本発明の第６の実施形態は、３次元医用画像Ｖを内視鏡を用いた観察時にリアルタイムに形成、取得するものであり、この場合、第１の実施形態のハードウェア構成（図１参照）のうち、内視鏡用マーカー７ａ、処置具用マーカー７ｂ、位置センサ８は不要である。
【００７１】
図１５は、本発明の第６の実施形態における内視鏡観察支援システムの機能ブロック図である。図に示したように、第１の実施形態の内視鏡位置検出部１１、処置具位置検出部１２、内視鏡位置取得部２２、処置具位置取得部２３の代わりに、内視鏡・処理具位置認識部３０を付加した構成となっている。すなわち、内視鏡・処置具位置認識部３０は、本発明の位置検出手段に相当する。
【００７２】
内視鏡・処置具位置認識部３０は、画像処理ワークステーション９に実装される処理部であり、３次元医用画像Ｖを入力として、公知のパターン認識処理により、３次元医用画像Ｖ中の内視鏡１または処置具６を表す領域を抽出し、内視鏡位置ＰEおよび処置具位置ＰTを認識する。
【００７３】
図１６は、本発明の第６の実施形態における内視鏡観察支援処理の流れを表したフローチャートである。図に示したように、第１の実施形態のステップ#3で実内視鏡画像ＩREの取得が行われた後、３次元医用画像取得部２４による３次元医用画像Ｖの取得が行われ(#14)、内視鏡・処置具位置認識部３０が、３次元医用画像取得部２４によって取得された３次元医用画像Ｖに基づいて内視鏡位置ＰEおよび処置具位置ＰTを認識する(#15)。また、ステップ#5において、仮想内視鏡画像生成部２６は、内視鏡・処置具位置認識部３０で抽出された内視鏡１または処置具６を表す領域が所定の色で表示されるように定義されたカラーテンプレートを用いて仮想内視鏡画像ＩVEを生成する。したがって、第１の実施形態のように、内視鏡１や処置具６の形状画像を生成する必要はない。このように、３次元医用画像Ｖを内視鏡を用いた観察時にリアルタイムで形成、取得するようにすれば、取得された３次元医用画像Ｖは、実内視鏡画像ＩREとほぼ同じ時点での腹腔内の様子を表したものとなるので、内視鏡下での観察前に取得された３次元医用画像Ｖを用いた場合よりも実際の腹腔内の様子がリアルタイムに正確に再現された仮想内視鏡画像ＩVEが生成される。ただし、この実施形態では、ステップ#1およびステップ#14で３次元医用画像Ｖの撮像の際、座標軸の原点に対応する被検体の位置や座標軸の向きが変動しないよう、撮影体位に注意する必要がある。
【００７４】
なお、本発明の第６の実施形態の場合、被検体の被曝量低減のため、モダリティ５としては超音波診断装置を用いるのが好ましい。
【００７５】
上記の各実施形態はあくまでも例示であり、上記のすべての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。
【００７６】
この他、上記の実施形態におけるシステム構成、ハードウェア構成、処理フロー、モジュール構成、ユーザインターフェースや具体的処理内容等に対して、本発明の趣旨から逸脱しない範囲で様々な改変を行ったものも、本発明の技術的範囲に含まれる。
【００７７】
例えば、システム構成については、上記の実施形態では、図１のハードウェア構成では、モダリティ５と画像処理ワークステーション９が直接接続されているが、画像保管サーバをＬＡＮ上に接続し、モダリティ５で形成された３次元医用画像Ｖは、いったん画像保管サーバのデータベースに格納されるようにし、画像処理ワークステーション９からの要求に応じて、画像保管サーバから画像処理ワークステーション９に３次元医用画像Ｖが転送されるようにしてもよい。
【００７８】
また、内視鏡１は、硬性鏡ではなく、軟性鏡やカプセル型内視鏡を用いてもよい。
【００７９】
モダリティ５は、上記のＣＴ装置や超音波診断装置のほか、ＭＲＩ装置等を用いてもよい。
【００８０】
ＷＳディスプレイ１０は、公知の立体視表示に対応したディスプレイとし、仮想内視鏡画像ＩVEを立体視用の画像として表示するようにしてもよい。例えば、ＷＳディスプレイ１０として左右両眼用の２つの視差画像を用いて立体視表示を実現する方式のものを採用した場合、仮想内視鏡画像生成部２６は、注目構造物の位置ＰIから左右両眼の視差の分だけずらした各眼の位置を設定し、設定された各眼の位置を視点とする中心投影により、左右各眼用の仮想内視鏡視差画像を生成するようにし、表示制御部２７が、左眼用の仮想内視鏡視差画像をＷＳディスプレイ１０の左眼用の表示画素に表示させ、右眼用の仮想内視鏡視差画像をＷＳディスプレイ１０の右眼用の表示画素に表示させるように制御すればよい。
【００８１】
内視鏡位置検出部１１や処置具位置検出部１２は、磁気式のものを用いてもよいし、上記特許文献２に記載されているように、ジャイロやロータリーエンコーダ等を用いてもよい。
【００８２】
さらに、観察部位は腹腔内ではなく、胸腔内等、内視鏡下での観察に適した被検体の他の部位であってもよい。
【００８３】
画像処理ワークステーション９においては、上記実施形態では、実内視鏡画像形成部２で実内視鏡画像ＩREが形成される周期は、仮想内視鏡画像生成部２６で仮想内視鏡画像ＩVEが生成される周期よりも短いものとして、通信負荷を考慮して、実内視鏡画像取得部２１からの要求ベースでの画像受信としているが、実内視鏡画像形成部２で順次形成される実内視鏡画像ＩEのすべてを実内視鏡画像取得部２１が受信するようにしてもよい。この場合、表示制御部２７が、仮想内視鏡画像生成部２６による仮想内視鏡画像ＩVEの生成タイミングとは非同期に、実内視鏡画像ＩREの受信の度にＷＳディスプレイ１０の実内視鏡画像ＩREの表示を更新させるようにしてもよい。
【００８４】
内視鏡位置取得部２２は、内視鏡位置検出部１１で所定の時間間隔で検出される内視鏡位置PSEのすべてを受信しておき、図３のステップ#4の処理が呼び出されるタイミングで受信した内視鏡位置PSEのみを後者の座標変換機能によって内視鏡位置ＰEに変換して出力するようにしてもよい。処置具位置取得部２３についても同様である。
【００８５】
また、内視鏡位置取得部２２や処置具位置取得部２３で行われる座標変換を仮想内視鏡画像生成部２６で行うようにしてもよい。
【００８６】
注目位置特定部２５は、公知の画像認識技術（血管や臓器の抽出手法や異常陰影検出手法等）を用いて注目位置を自動的に特定するようにしてもよい。
【００８７】
仮想内視鏡画像生成部２６では、処置具位置ＰTを視野の中心にして処置具６が必ず視野に入るようにする代わりに、内視鏡位置ＰEを視野の中心にして内視鏡１が必ず視野に入るようにしてもよい。また、内視鏡位置ＰEと処置具位置ＰTの中点等のように、線分ＰE-ＰTの内分点を視野の中心にし、内視鏡１と処置具６の両方が視野に入るように画角を設定するようにしてもよい。さらに、注目構造物の位置ＰI、内視鏡位置ＰE、処置具位置ＰTの各位置間の距離に応じて画角や拡大率を調整するようにしてもよい。例えば、各位置間の距離が短い場合には、各位置間の距離が長い場合よりも、画角を狭く設定するとともに、拡大率を大きく設定するようにすれば、視野内が拡大され、観察しやすくなる。
【００８８】
また、仮想内視鏡画像ＩVE中に内視鏡１や処置具６を表す形状画像を合成表示する代わりに、内視鏡位置ＰEや処置具位置ＰTに矢印等のマーカーを表示するようにしてもよい。
【００８９】
さらに、仮想内視鏡画像生成部２６は、仮想内視鏡画像ＩVEを複数の注目位置、例えば、手術対象部位と要注意血管と、要注意臓器というように、複数の注目位置を視点とする仮想内視鏡画像ＩVEを生成するようにしてもよい。
【００９０】
また、画像処理ワークステーション９において、上記の実内視鏡画像ＩREと仮想内視鏡画像ＩVE以外の画像をさらに生成して表示させるようにしてもよい。例えば、図１７Ａに模式的に例示したように、内視鏡位置ＰEを視点とし、画像中の対象物が実内視鏡画像ＩREと同じサイズになるような拡大率で、画角ＡVが内視鏡１の画角ＡEよりも広い仮想内視鏡画像をさらに生成し、図１７Ｂに模式的に例示したように、生成された仮想内視鏡画像と実内視鏡画像とを、視野の中心の位置、すなわち、内視鏡位置ＰEを合わせて、仮想内視鏡画像の上に実内視鏡画像を重ねたような画像を新たに生成して表示させるようにしてもよい。
【００９１】
あるいは、実内視鏡画像と仮想内視鏡画像の合成画像を生成するようにしてもよい。例えば、図１８Ａに模式的に例示した実内視鏡画像に、図１８Ｂに模式的に例示した、血管構造のみ視覚化した仮想内視鏡画像を合成し、図１８Ｃに模式的に例示したような、血管構造を強調した実内視鏡画像を生成するようにしてもよい。
【符号の説明】
【００９２】
１ 内視鏡
２ デジタルプロセッサ
３ 光源装置
４ 実内視鏡画像用ディスプレイ
５ モダリティ
６ 処置具
７ａ 内視鏡用マーカー
７ｂ 処置具用マーカー
８ 位置センサ
９ 画像処理ワークステーション
１０ 画像処理ワークステーション用ディスプレイ
１１ 内視鏡位置検出部
１２ 処置具位置検出部
２１ 実内視鏡画像取得部
２２ 内視鏡位置取得部
２３ 処置具位置取得部
２４ ３次元医用画像取得部
２５ 注目位置特定部
２６ 仮想内視鏡画像生成部
２７ 表示制御部
２８ 警告判定部
２９ 要注意構造物検出部
３０ 内視鏡・処置具位置認識部
【技術分野】
【０００１】
本発明は、被検体の体腔内に挿入された内視鏡下での手術や検査等における、内視鏡観察を支援する技術に関するものであり、特に、被検体の体腔内を表す仮想内視鏡画像を用いて内視鏡観察を支援する技術に関するものである。
【背景技術】
【０００２】
近年、腹腔鏡手術や胸腔鏡手術等の内視鏡下で行われる手術が注目されている。この内視鏡手術では、開腹や開胸等を行うことなく、内視鏡と処置具を刺入するための数センチ程度の穴を２、３個開けるだけで済むので、患者の負担が極めて小さいというメリットがある。一方で、内視鏡の限られた視野で手術を実施することは技術的難易度が高く、執刀を行う医師は熟練を要する。もし患者の血管や臓器を誤って傷つけてしまい、出血してしまった場合には、開腹、開胸等を伴う従来の手法による手術に移行せざるを得ない。
【０００３】
一方、ＣＴ等での撮影によって得られた３次元ボリューム画像から内視鏡と類似した画像を生成する仮想内視鏡技術が知られている。この技術は、特に大腸の腫瘍を発見するために、内視鏡検査をすることなくＣＴ撮影のみで腫瘍を発見する方法として北米で普及している。
【０００４】
そして、仮想内視鏡画像を用いて内視鏡手術を支援する技術が提案されている。
【０００５】
例えば、特許文献１には、内視鏡の位置をセンサで検出し、検出位置を視点とし、内視鏡よりも広い画角を有する仮想内視鏡画像を生成し、内視鏡撮影で得られた実内視鏡画像と仮想内視鏡画像とを重畳表示する装置が記載されている。
【０００６】
また、特許文献２には、内視鏡の位置をリアルタイムに検出し、内視鏡と同じ視野を有し、視野内の血管配置が視覚化された仮想内視鏡画像を生成するとともに、内視鏡下での手術に用いられる処置具の位置をリアルタイムに検出し、仮想内視鏡画像中での処置具の位置に処置具を表す画像を合成した画像を生成し、合成画像と実内視鏡画像を表示する装置が記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００２−２６３０５３号公報
【特許文献２】特開２００５−２１３５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、これらの文献に記載された手法では、仮想内視鏡画像は実内視鏡画像と同じ視点、同じ観察方向の画像であるから、内視鏡や処置具と手術対象部位等の注目箇所との位置関係によっては、仮想内視鏡画像や実内視鏡画像中に注目箇所が表示されない可能性があり、注目箇所に対する内視鏡や処置具の接近状況が把握できないこともありうる。
【０００９】
本発明は上記事情に鑑みてなされたものであり、被検体の体腔内に挿入された内視鏡下での体腔内の観察の際に、手術対象部位等の注目箇所に対する内視鏡や処置具の接近状況をより確実に把握可能なシステムおよび方法、並びに装置およびプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【００１０】
本発明の内視鏡観察支援システムは、被検体の体腔内を表す３次元医用画像を形成する３次元医用画像形成手段と、前記体腔内の（第１の）注目構造物の前記３次元医用画像中での位置を特定する注目位置特定手段と、前記体腔内に挿入された内視鏡または処置具の少なくとも一方の位置をリアルタイムに検出する位置検出手段と、前記３次元医用画像を入力として、前記特定された（第１の）注目構造物の位置、および、前記検出された内視鏡または処置具の少なくとも一方の前記３次元医用画像中での位置に基づいて、前記（第１の）注目構造物の位置を視点とし、前記内視鏡または処置具の少なくとも一方の位置を視野に含み、該内視鏡または処置具の少なくとも一方の位置が識別可能な態様で表された、前記視点から見た前記体腔内を表す仮想内視鏡画像を生成する仮想内視鏡画像生成手段と、前記仮想内視鏡画像を表示する表示手段とを設けたことを特徴とする。
【００１１】
本発明の内視鏡観察支援方法は、被検体の体腔内に挿入された内視鏡下での前記体腔内の観察より前または該観察中に、前記体腔内を表す３次元医用画像を形成するステップと、前記体腔内の（第１の）注目構造物の前記３次元医用画像中での位置を特定するステップと、前記体腔内に挿入された内視鏡または処置具の少なくとも一方の位置をリアルタイムに検出するステップと、前記３次元医用画像を入力として、前記特定された（第１の）注目構造物の位置、および、前記検出された内視鏡または処置具の少なくとも一方の前記３次元医用画像中での位置に基づいて、前記（第１の）注目構造物の位置を視点とし、前記内視鏡または処置具の少なくとも一方の位置を視野に含み、該内視鏡または処置具の少なくとも一方の位置が識別可能な態様で表された、前記視点から見た前記体腔内を表す仮想内視鏡画像を生成するステップと、前記仮想内視鏡画像を表示するステップとを有することを特徴とすることを特徴とする。
【００１２】
本発明の内視鏡観察支援装置は、被検体の体腔内を表す３次元医用画像を取得する３次元医用画像取得手段と、前記体腔内の（第１の）注目構造物の前記３次元医用画像中での位置を特定する注目位置特定手段と、位置検出手段によってリアルタイムに検出された前記体腔内に挿入された内視鏡または処置具の少なくとも一方の位置を取得する位置取得手段と、前記３次元医用画像を入力として、前記特定された（第１の）注目構造物の位置、および、前記取得された内視鏡または処置具の少なくとも一方の前記３次元医用画像中での位置に基づいて、前記（第１の）注目構造物の位置を視点とし、前記内視鏡または処置具の少なくとも一方の位置を視野に含み、該内視鏡または処置具の少なくとも一方の位置が識別可能な態様で表された、前記視点から見た前記体腔内を表す仮想内視鏡画像を生成する仮想内視鏡画像生成手段と、前記仮想内視鏡画像を表示手段に表示させる表示制御手段とを設けたことを特徴とする。
【００１３】
本発明の内視鏡観察支援プログラムは、コンピュータに、被検体の体腔内を表す３次元医用画像を取得するステップと、前記体腔内の（第１の）注目構造物の前記３次元医用画像中での位置を特定するステップと、位置検出手段によってリアルタイムに検出された、前記体腔内に挿入された内視鏡または処置具の少なくとも一方の位置を取得するステップと、前記３次元医用画像を入力として、前記特定された（第１の）注目構造物の位置、および、前記検出された内視鏡または処置具の少なくとも一方の前記３次元医用画像中での位置に基づいて、前記（第１の）注目構造物の位置を視点とし、前記内視鏡または処置具の少なくとも一方の位置を視野に含み、該内視鏡または処置具の少なくとも一方の位置が識別可能な態様で表された、前記視点から見た前記体腔内を表す仮想内視鏡画像を生成するステップと、前記実内視鏡画像と前記仮想内視鏡画像とを表示手段に表示させるステップとを実行させることを特徴とする。
【００１４】
以下、本発明の詳細について説明する。
【００１５】
本発明において、内視鏡によるリアルタイムの撮像によって体腔内を表す実内視鏡画像を形成するようにし、仮想内視鏡画像の生成時に用いられた内視鏡または処置具の少なくとも一方の位置が検出されたのとほぼ同じタイミングで形成された実内視鏡画像をさらに表示するようにしてもよい。これにより、内視鏡での撮像によりリアルタイムに形成された実内視鏡画像と、実内視鏡画像の形成とほぼ同じタイミングで位置検出手段によってリアルタイムに検出された内視鏡または処置具の少なくとも一方の位置を視野に含む仮想内視鏡画像とが表示される。
【００１６】
また、内視鏡または処置具の少なくとも一方の位置の検出に応じて仮想内視鏡画像の生成を繰り返し行えば、実内視鏡画像も仮想内視鏡画像もリアルタイムに更新される。
【００１７】
なお、実内視鏡画像と仮想内視鏡画像の表示は、１つの表示装置に行ってもよいし、複数の表示装置に別々に行ってもよい。複数の表示装置は、両画像を同時に観察可能なように物理的に同じ場所に並べられて設置されていてもよいし、両画像を個別に観察するために物理的に離れた場所に設置されていてもよい。
【００１８】
本発明において、３次元医用画像の取得を内視鏡下での観察中に行う場合には、リアルタイムでその取得を行うようにしてもよい。その際、取得された３次元医用画像に対する画像認識処理により、内視鏡または処置具の少なくとも一方の位置を検出するようにしてもよい。
【００１９】
「（第１の）注目構造物」の具体例としては、内視鏡下での手術対象部位や、手術において注意を有する解剖学的構造物、すなわち、血管や、臓器、腫瘍等が挙げられる。また、（第１の）注目構造物の位置の具体的な特定方法は、公知の画像認識技術を用いた自動的方法、ユーザの手動操作による方法、両者を組み合わせた方法のいずれであってもよい。
【００２０】
また、本発明において、複数の（第１の）注目構造物の位置を視点として、複数の仮想内視鏡画像を生成するようにしてもよい。
【００２１】
「内視鏡または処置具の少なくとも一方の位置を・・・検出」とは、体腔内に内視鏡のみが挿入されている場合における内視鏡の位置の検出、または、体腔内に内視鏡と処置具が挿入されている場合における、内視鏡の位置の検出、処置具の位置の検出、内視鏡と処置具の両方の位置の検出のいずれであってもよい。
【００２２】
「仮想内視鏡画像」は、（第１の）注目構造物の位置を視点とするものであるが、視点の位置は、厳密な意味で、（第１の）注目構造物の表面や構造物内の位置には限定されず、本発明と実質的に等価な作用効果が得られる位置、例えば、（第１の）注目構造物から数画素程度離れた位置等であってもよい。
【００２３】
また、「仮想内視鏡画像」は、内視鏡または処置具の少なくとも一方の位置を視野に含むものであるが、視点（(第１の)注目構造物の位置）から、内視鏡または処置具の少なくとも一方の位置に向かう視線上の画像情報が仮想内視鏡画像に反映されていればよく、例えば、（第１の）注目構造物と内視鏡または処置具との間に、臓器や血管、ヒダ等の構造物がある場合等には、仮想内視鏡画像中に内視鏡または処置具が必ずしも表されていなくてもよい。
【００２４】
さらに、「仮想内視鏡画像」は、内視鏡または処置具の少なくとも一方の位置が識別可能な態様で表されたものである。ここで、３次元医用画像が内視鏡下での観察前に取得されたものの場合には、３次元医用画像の撮像・取得時には、被検体の体腔内に内視鏡または処置具はまだ挿入されていないので、仮想内視鏡画像生成時に、位置検出手段によって検出された位置に対応する仮想内視鏡画像中の位置に、内視鏡または処置具を表すマーカー等を合成すればよい。一方、３次元医用画像が内視鏡下での観察中にリアルタイムに取得されたものであり、その画像中に内視鏡または処置具が表されている場合には、仮想内視鏡画像中にもその内視鏡または処置具が描出されるように仮想内視鏡画像を生成すればよい。
【００２５】
「仮想内視鏡画像」の生成の際、注目構造物から体腔内の構造物の表面までの距離を仮想内視鏡画像の画素値の決定要素として用いてもよい。また、実内視鏡画像に表された体腔内各部とほぼ同じ外観の仮想内視鏡画像が得られるように定義されたカラーテンプレートを用いてもよい。ただし、このカラーテンプレートには、例えば、体腔内各部の色が実内視鏡画像とほぼ同じになるように定義されたものとしつつ、体腔内各部を必要に応じて半透明化し、実内視鏡画像では前方の遮蔽物等により観察することのできない後方の構造物を視認できるように定義されたものも含まれる。
【００２６】
また、本発明において、３次元医用画像中の体腔内の第２の注目構造物を検出するようにし、検出された第２の注目構造物が視認可能な態様の仮想内視鏡画像を生成するようにしてもよい。ここで、「第２の注目構造物」の具体例としては、第１の注目構造物と同様のものが挙げられる。したがって、例えば、第１の構造物は内視鏡下での手術対象部位とし、第２の注目構造物は手術において注意を有する解剖学的構造物とするか、あるいは、その逆とすることが考えられる。
【００２７】
さらに、本発明において、内視鏡または処置具の少なくとも一方と注目構造物とが所定の基準を満たす程度に接近している場合には警告を提示するようにしてもよい。警告は仮想内視鏡画像中等に視覚的に提示してもよいし、他の感覚器に訴える方法で提示してもよい。
【発明の効果】
【００２８】
本発明では、被検体の体腔内を表す３次元医用画像が取得され、体腔内の注目構造物の３次元医用画像中での位置が特定され、体腔内に挿入された内視鏡または処置具の少なくとも一方の位置がリアルタイムに検出され、３次元医用画像を入力として、注目構造物の位置を視点とし、内視鏡または処置具の少なくとも一方の位置を視野に含み、内視鏡または処置具の少なくとも一方の位置が識別可能な態様で表された、仮想内視鏡画像が生成、表示される。ここで、表示される仮想内視鏡画像は、あたかも、手術対象部位や要注意箇所等の注目構造物において内視鏡や処置具の接近を監視するカメラで得られる画像のようになるので、この本発明独自の仮想内視鏡画像で実内視鏡画像の狭い視野を補うことによって、注目構造物に対する内視鏡や処置具の接近状況をより確実に把握することでき、手術や検査等における手技のミス等の防止に資する。
【００２９】
また、このとき、内視鏡や処置具の位置をリアルタイムに検出した結果のフィードバックによって仮想内視鏡の視野がリアルタイムに変更された仮想内視鏡画像が連続的に表示されるので、注目構造物への内視鏡や処置具の接近を、動的に、より的確に捉えることが可能になる。
【００３０】
さらに、内視鏡によるリアルタイムの撮像によって体腔内を表す実内視鏡画像を形成するようにし、仮想内視鏡画像の生成時に用いられた内視鏡または処置具の少なくとも一方の位置が検出されたのとほぼ同じタイミングで形成された実内視鏡画像をさらに表示すれば、表示される実内視鏡画像と仮想内視鏡画像とは、ほぼ同じ時点での体腔内の状態が表されたものとなり、実内視鏡画像と仮想内視鏡画像とが時間的同期を取って連続的に表示される。また、このとき、内視鏡または処置具の少なくとも一方の位置の検出に応じて仮想内視鏡画像の生成を繰り返し行えば、実内視鏡画像も仮想内視鏡画像もリアルタイムに更新される。すなわち、内視鏡の移動や回転等の操作に連動して実内視鏡画像の視野が変化するとともに、内視鏡や処置具の移動等の操作に連動して仮想内視鏡画像の視野も変化させることができる。このように、実内視鏡画像と仮想内視鏡画像によって相互補完的に体腔内を観察することが可能になる。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施の形態となる内視鏡観察支援システムのハードウェア構成図
【図２】本発明の第１から第３の実施形態における内視鏡観察支援システムの機能ブロック図
【図３】本発明の第１から第３の実施形態における内視鏡観察支援処理の流れを表したフローチャート
【図４】実内視鏡、処置具、注目構造物の位置関係、および、実内視鏡と仮想内視鏡の画角の一例を模式的に表した図
【図５】本発明の第１の実施形態で表示される実内視鏡画像の一例を模式的に表した図
【図６】本発明の第１の実施形態で表示される仮想内視鏡画像の一例を模式的に表した図
【図７Ａ】注目構造物と処置具との位置関係の一例を模式的に表した図
【図７Ｂ】本発明の第２の実施形態で表示される仮想内視鏡画像の一例を模式的に表した図
【図８Ａ】本発明の第３の実施形態における、視点からの腹腔内の解剖学的構造物の表面までの距離に応じて仮想内視鏡画像の表示色を変化させるためのカラーテンプレートの一例を模式的に表した図
【図８Ｂ】本発明の第３の実施形態における、視点からの距離に応じて表示色を変化させた仮想内視鏡画像の一例を模式的に表した図
【図９】本発明の第４の実施形態における内視鏡観察支援システムの機能ブロック図
【図１０】本発明の第４の実施形態における内視鏡観察支援処理の流れを表したフローチャート
【図１１】本発明の第４の実施形態における警告表示の一例を模式的に表した図
【図１２】本発明の第５の実施形態における内視鏡観察支援システムの機能ブロック図
【図１３】本発明の第５の実施形態における内視鏡観察支援処理の流れを表したフローチャート
【図１４Ａ】注目構造物と要注意構造物との位置関係の一例を模式的に表した図
【図１４Ｂ】本発明の第５の実施形態で表示される仮想内視鏡画像の一例を模式的に表した図
【図１５】本発明の第６の実施形態における内視鏡観察支援システムの機能ブロック図
【図１６】本発明の第６の実施形態における内視鏡観察支援処理の流れを表したフローチャート
【図１７Ａ】実内視鏡画像と仮想内視鏡画像を合成する際の各画像の画角を模式的に表した図
【図１７Ｂ】実内視鏡画像と仮想内視鏡画像の合成画像の一例を模式的に表した図
【図１８Ａ】実内視鏡画像の他の一例を模式的に表した図
【図１８Ｂ】血管のみを表す仮想内視鏡画像の一例を模式的に表した図
【図１８Ｃ】実内視鏡画像と仮想内視鏡画像の重畳画像の一例を模式的に表した図
【発明を実施するための形態】
【００３２】
以下、本発明の実施の形態となる内視鏡観察支援システムについて説明する。
【００３３】
図１は、この内視鏡観察支援システムの概要を示すハードウェア構成図である。図に示したように、このシステムは、内視鏡１、デジタルプロセッサ２、光源装置３、実内視鏡画像用ディスプレイ４、モダリティ５、処置具６、内視鏡用マーカー７ａ、処置具用マーカー７ｂ、位置センサ８、画像処理ワークステーション９、画像処理ワークステーション用ディスプレイ（以下、ＷＳディスプレイ）１０から構成されている。
【００３４】
本実施形態では、内視鏡１は腹腔用の硬性鏡であり、被検体の腹腔内に挿入される。光源装置３から光ファイバーで導かれた光が内視鏡１の先端部から照射され、内視鏡１の撮像光学系により被検体の腹腔内の画像が得られる。デジタルプロセッサ２は、内視鏡１で得られた撮像信号をデジタル画像信号に変換し、ホワイトバランス調整やシェーディング補正等のデジタル信号処理によって画質の補正を行った後、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格で規定された付帯情報を付加して、実内視鏡画像データ(ＩRE)を出力する。出力された実内視鏡画像データ(ＩRE)は、ＤＩＣＯＭ規格に準拠した通信プロトコルに従って、ＬＡＮ経由で画像処理ワークステーション９に送信される。また、デジタルプロセッサ２は、実内視鏡画像データ(ＩRE)をアナログ信号に変換して実内視鏡画像用ディスプレイ４に出力し、実内視鏡画像用ディスプレイ４には実内視鏡画像(ＩRE)が表示される。内視鏡１での撮像信号の取得は所定のフレームレートで行われるので、実内視鏡用ディスプレイ４では、実内視鏡画像(ＩRE)が腹腔内を表す動画として表示される。さらに、内視鏡１では、ユーザの操作に応じて静止画撮影も可能である。
【００３５】
モダリティ５は、被検体の検査対象部位を撮影することにより、その部位を表す３次元医用画像の画像データ(Ｖ)を生成する装置であり、ここではＣＴ装置とする。この３次元医用画像データ(Ｖ)にもＤＩＣＯＭ規格で規定された付帯情報が付加されている。また、３次元医用画像データ(Ｖ)も、ＤＩＣＯＭ規格に準拠した通信プロトコルに従って、ＬＡＮ経由で画像処理ワークステーション９に送信される。
【００３６】
内視鏡用マーカー７ａ、処置具用マーカー７ｂ、および、位置センサ８は、公知の３次元位置計測装置を構成する。内視鏡用マーカー７ａ、処置具用マーカー７ｂは、各々、内視鏡１および処置具６の手元付近に設けられており、光学式の位置センサ８によって、所定の時間間隔で各マーカー７ａ、７ｂの３次元位置が検出される。内視鏡用マーカー７ａ、処置具用マーカー７ｂは、各々、複数のマーカー片から構成されているので、位置センサ８は、各マーカー片の位置関係から内視鏡１や処理具６の向きも検出可能であり、オフセット計算によって、内視鏡１や処置具６の先端部の３次元位置(PSE、PST)を算出することができる。位置センサ８は、算出された内視鏡１および処置具６の３次元位置データ(PSE、PST)を、ＵＳＢインターフェースを介して画像処理ワークステーション９に送信する。
【００３７】
画像処理ワークステーション９は、ＣＰＵ、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、データバス等の周知のハードウェア構成を備えたコンピュータであり、入力装置（ポインティングデバイス、キーボード等）や、ＷＳディスプレイ１０が接続されている。また、画像処理ワークステーション９は、デジタルプロセッサ２やモダリティ５とはＬＡＮ接続されており、位置センサ８とはＵＳＢ接続されている。さらに、画像処理ワークステーション９は、周知のオペレーティングシステムや各種アプリケーション・ソフトウェア等がインストールされたものであり、本発明の内視鏡観察支援処理を実行させるためのアプリケーションもインストールされている。これらのソフトウェアは、ＣＤ−ＲＯＭ等の記録媒体からインストールされたものであってもよいし、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされたものであってもよい。
【００３８】
図２は、本発明の第１の実施形態における内視鏡観察支援システムを機能レベルで分割したブロック図である。図に示したように、本発明の第１の実施形態となる内視鏡観察得支援システムは、内視鏡１、実内視鏡画像形成部２、実内視鏡画像用ディスプレイ４、３次元医用画像形成部５、処置具６、ＷＳディスプレイ１０、内視鏡位置検出部１１、処置具位置検出部１２、実内視鏡画像取得部２１、内視鏡位置取得部２２、処置具位置取得部２３、３次元医用画像取得部２４、注目位置特定部２５、仮想内視鏡画像生成部２６、表示制御部２７から構成されている。なお、図１に示したハードウェア機器と図２に示した各機能ブロックとが概ね１対１に対応する場合には同じ符号を付している。すなわち、実内視鏡画像形成部２の機能は図１のデジタルプロセッサによって実現され、３次元医用画像形成部５の機能は図１のモダリティによって実現される。一方、内視鏡位置検出部１１の機能は、内視鏡用マーカー７ａおよび位置センサ８によって、処置具位置検出部１２の機能は、処置具用マーカー７ｂおよび位置センサ８によって、各々実現される。また、破線枠は画像処理ワークステーション９を示しており、破線枠内の各処理部の機能は、画像処理ワークステーション９で所定のプログラムを実行することによって実現される。さらに、破線枠内の、実内視鏡画像ＩRE、内視鏡位置ＰE、処置具位置ＰT、３次元医用画像Ｖ、注目位置ＰI、仮想内視鏡画像ＩVEは、各々、破線枠内の各処理部によって、画像処理ワークステーション９の所定のメモリ領域に対して読み書きされるデータである。
【００３９】
次に、図３に示したフローチャートを用いて、本発明の第１の実施形態となる内視鏡観察支援システムで行われるユーザの操作や、上記各処理部で行われる処理の概略的な流れを説明する。
【００４０】
まず、内視鏡１を用いた被検体の腹腔内の観察に先立って、３次元医用画像形成部５による被検体の腹腔内の撮像により、３次元医用画像Ｖが形成される。画像処理ワークステーション９では、３次元医用画像取得部２４が、３次元医用画像形成部５によって形成された３次元医用画像Ｖを取得した後(#1)、注目位置特定部２５が、３次元医用画像取得部２４によって取得された３次元医用画像Ｖに表された体腔内の注目構造物（例えば手術対象部位）の指定操作を受け付けるユーザインターフェースを提示し、取得された３次元医用画像Ｖに基づいて、指定された注目構造物の３次元医用画像Ｖ中での位置ＰIを特定する(#2)。
【００４１】
そして、図３のフローチャートの右側に付記したように、注目構造物を対象とする内視鏡下手術中、すなわち、内視鏡１を用いた被検体の腹腔内の観察中は、観察が終了するまで(#7; YES)、実内視鏡画像形成部２は、所定のフレームレートで、体腔内に挿入された内視鏡１による実内視鏡画像ＩREを繰り返し形成し、形成された実内視鏡画像ＩREは実内視鏡画像用ディスプレイ４にスルー動画としてリアルタイムに表示される。また、内視鏡位置検出部１１および処置具位置検出部１２は、各々、所定の時間間隔で、体腔内に挿入された内視鏡１および処置具６の各々の位置PSE、PSTを繰り返しリアルタイムに検出する。
【００４２】
画像処理ワークステーション９では、実内視鏡画像取得部２１が、実内視鏡画像形成部２で形成された実内視鏡画像ＩREを取得し(#3)、これとほぼ同じタイミングで、内視鏡位置取得部２２が、内視鏡位置検出部１１で検出された内視鏡位置PSEを取得し、取得された内視鏡位置PSEを３次元医用画像Ｖの座標系における位置に変換して得られた内視鏡位置ＰEを出力するとともに、処置具位置取得部２３が、処置具位置検出部１２で検出された処置具位置PSTを取得し、取得された処置具位置PSTを３次元医用画像Ｖの座標系における位置に変換して得られた処置具位置ＰTを出力する(#4)。
【００４３】
仮想内視鏡画像生成部２６は、３次元医用画像取得部２４によって取得された３次元医用画像Ｖを入力として、注目位置特定部２５によって特定された注目構造物の位置ＰI、および、内視鏡位置取得部２２によって取得された内視鏡位置ＰE、処置具位置取得部２３によって取得された処置具位置ＰTに基づいて、仮想内視鏡画像ＩVEを生成する(#5)。ここで、仮想内視鏡画像ＩVEは、注目構造物の位置ＰIを視点とし、処置具位置ＰTを視野の中心として、被検体の腹腔内を表した画像であり、処置具６を表す形状画像、および、仮想内視鏡画像ＩVEの視野内に内視鏡位置ＰEが存在する場合には内視鏡１を表す形状画像が合成されたものである。
【００４４】
そして、表示制御部２７は、実内視鏡画像取得部２１によって取得された実内視鏡画像ＩREと、仮想内視鏡画像生成部２６によって生成された仮想内視鏡画像ＩVEとを１画面中に並べてＷＳディスプレイ１０に表示させる(#6)。
【００４５】
画像処理ワークステーション９では、観察終了を指示する操作が行わない限り(#7; No)、新たな実内視鏡画像ＩREの取得(#3)、その時点での内視鏡位置ＰEおよび処置具位置ＰTの取得(#4)、仮想内視鏡画像ＩVEの生成(#5)、実内視鏡画像ＩREと仮想内視鏡画像ＩVEの表示の更新(#6)が繰り返し行われる。これにより、ＷＳディスプレイ１０では、実内視鏡画像ＩREと仮想内視鏡画像ＩVEとが時間的に同期した連続表示が実現される。一方、観察終了を指示する操作が行われた場合には(#7; Yes)、画像処理ワークステーション９は、上記ステップ#3から#6までの繰返し処理を終了する。
【００４６】
次に、画像処理ワークステーション９内の各処理部で行われる処理の詳細について説明する。
【００４７】
実内視鏡画像取得部２１は、実内視鏡画像形成部（デジタルプロセッサ）２との通信により、実内視鏡画像ＩREを受信し、画像処理ワークステーション９の所定のメモリ領域の格納する通信インターフェースであり、実内視鏡画像取得部２１からの要求に基づいて実内視鏡画像形成部２から実内視鏡画像ＩREが転送される。図５は実内視鏡画像ＩREの一例を模式的に表したものである。
【００４８】
内視鏡位置取得部２２は、内視鏡位置検出部１１との通信により内視鏡位置PSEを取得する通信インターフェースとしての機能と、取得した内視鏡位置PSEを位置センサ８の３次元座標系から３次元医用画像Ｖの３次元座標系の座標値で表現された内視鏡位置ＰEに変換して画像処理ワークステーション９の所定のメモリ領域に格納する機能とを有する。前者の通信インターフェース機能では、内視鏡位置取得部２２からの要求ベースで内視鏡位置検出部１１から内視鏡位置PSEが取得される。また、後者の座標変換機能では、位置センサの３次元座標系における各座標軸と３次元医用画像Ｖの３次元座標系における各座標軸との向きの対応関係に基づいて、座標軸の回転量を予め求めておくとともに、３次元医用画像Ｖの原点に相当する被検体中の位置の、位置センサ８の３次元座標系における座標値を予め計測しておき、この原点の座標値に基づいて、両座標軸の平行移動量を求めておけば、その回転量の回転とその平行移動量の平行移動を行う行列を用いて、位置センサ８の３次元座標系で表現された内視鏡位置PSEを３次元医用画像Ｖの３次元座標系の座標値で表現された内視鏡位置ＰEに変換することができる。
【００４９】
処置具位置取得部２３は、内視鏡位置取得部２２と同様に、処置具位置検出部１２との通信により処置具位置PSTを取得する通信インターフェースとしての機能と、取得した処置具位置PSTを位置センサ８の３次元座標系から３次元医用画像Ｖの３次元座標系の座標値で表現された処置具位置ＰTに変換して画像処理ワークステーション９の所定のメモリ領域に格納する機能とを有する。
【００５０】
３次元医用画像取得部２４は、３次元医用画像形成部５から３次元医用画像Ｖを受信し、画像処理ワークステーション９の所定のメモリ領域に格納する通信インターフェース機能を有する。
【００５１】
注目位置特定部２５は、公知のＭＰＲ法により３次元医用画像Ｖから生成された所定の断面を表す断面画像中に、画像処理ワークステーション９のポインティングデバイスやキーボードを用いて注目構造物の指定する操作を受け付けるユーザインターフェースを提示する。例えば、ポインティングデバイスによって、断面画像中の注目構造物がクリックされると、注目位置特定部２５は、クリックにより指定された注目構造物の３次元医用画像Ｖ中での位置ＰIを特定し、画像処理ワークステーション９の所定のメモリ領域に格納する。ここで、注目構造物として、手術対象の部位や手術時における要注意箇所等が、ユーザの所望に応じて指定される。
【００５２】
仮想内視鏡画像生成部２６は、３次元医用画像Ｖを入力として、注目構造物の位置ＰI、および、内視鏡位置ＰE、処置具位置ＰTに基づいて、仮想内視鏡画像ＩVEを生成する。図４は、内視鏡１、処置具６、注目構造物ＰIの位置関係、および、内視鏡１と仮想内視鏡の画角の一例を模式的に表したものである。図に示したように、仮想内視鏡画像生成部２６は、注目構造物の位置ＰIを視点とし、処置具位置ＰTを視野の中心として、画角ＡVの範囲内で、視点ＰIからの放射状の複数の視線を設定し、公知の中心投影によるボリュームレンダリング法により、各視線上の画素値を投影した仮想内視鏡プレ画像を生成する。ここで、仮想内視鏡プレ画像の画角ＡVは、実内視鏡画像ＩREの画角ＡRよりも広くなるように、プログラムの起動パラメータによって設定されている。また、ボリュームレンダリングの際には、実内視鏡画像ＩREに表された腹腔内各部とほぼ同じ外観の画像が得られるように色や透明度が予め定義されたカラーテンプレートが用いられる。さらに、仮想内視鏡画像生成部２６は、処置具位置ＰTに処置具６が存在する状態を表す処置具形状画像ＭT、および、仮想内視鏡画像ＩVEの視野内に内視鏡位置ＰEが存在する場合には、内視鏡位置ＰEに内視鏡１が存在する状態を表す内視鏡形状画像ＭEを生成する。具体的には、処置具形状画像ＭTや内視鏡形状画像ＭEは、上記特許文献２に記載されたように、データベースに格納された内視鏡１や処置具６の形状を表す画像と、処置具位置ＰTや内視鏡位置ＰEに基づいて生成される。そして、仮想内視鏡画像生成部２６は、仮想内視鏡プレ画像と処置具形状画像ＭTや内視鏡形状画像ＭEを、アルファブレンディング等の公知の手法により合成することにより、仮想内視鏡画像ＩVEを生成する。図６は、生成された仮想内視鏡画像ＩVEの一例を模式的に表したものであり、視野のほぼ中央の処置具位置ＰTに処置具６を表す形状画像ＭTが重畳表示され、さらに視野内の内視鏡位置ＰEに内視鏡１を表す形状画像ＭEが重畳表示され、全体としては、内視鏡下手術中に図４の注目構造物ＰIの位置から腹腔内を内視鏡で見た様子を仮想的に表現した画像となっている。
【００５３】
表示制御部２７は、実内視鏡画像ＩREと仮想内視鏡画像ＩVEとを１画面に並べた表示画面を生成し、ＷＳディスプレイ１０に出力する。これにより、ＷＳディスプレイ１０には、図５に模式的に例示された実内視鏡画像ＩREと図６に模式的に例示された仮想内視鏡画像ＩVEとを並べた表示画面が表示される。
【００５４】
以上のように、本発明の第１の実施形態では、内視鏡１を用いた腹腔内の観察に先立って、３次元医用画像取得部２４が、３次元医用画像形成部５によって形成された３次元医用画像Ｖを取得し、注目位置特定部２５が腹腔内の注目構造物の３次元医用画像Ｖ中での位置ＰIを特定しておき、観察の際には、実内視鏡画像取得部２１が、実内視鏡画像形成部２によって形成された実内視鏡画像ＩREを取得し、それと同時に、内視鏡位置取得部２２が、内視鏡位置検出部１１によって検出された内視鏡１の３次元医用画像Ｖ中での位置ＰEを取得するとともに、処置具位置取得部２３が、処置具位置検出部１２によって検出された処置具６の３次元医用画像Ｖ中での位置ＰTを検出し、仮想内視鏡画像生成部２６が、注目構造物の位置ＰIを視点とし、処置具位置ＰTを視野の中心とし、内視鏡１および処置具６が各々内視鏡位置ＰEおよび処置具位置ＰTに合成された仮想内視鏡画像ＩVEを３次元医用画像Ｖから生成し、表示制御部２７が実内視鏡画像ＩREと仮想内視鏡画像ＩVEをＷＳディスプレイ１０に表示させる。これにより、表示された仮想内視鏡画像ＩVEは、あたかも、注目構造物の位置ＰIにおいて内視鏡１や処置具６の接近を監視するカメラで得られる画像のようになるので、この仮想内視鏡画像ＩVEで実内視鏡画像ＩREの狭い視野を補うことによって、注目構造物に対する内視鏡１や処置具６の接近状況をより確実に把握することでき、手術や検査等における手技のミス等の防止に資する。
【００５５】
また、このとき、内視鏡位置検出部１１や処置具位置検出部１２が内視鏡１や処置具６の位置をリアルタイムに検出した結果のフィードバックによって仮想内視鏡の視野がリアルタイムに変更された仮想内視鏡画像ＩVEが連続的に表示されるので、注目構造物への内視鏡１や処置具６の接近を、動的に、より的確に捉えることが可能になる。
【００５６】
さらに、実内視鏡画像形成部２が、内視鏡１によるリアルタイムの撮像によって体腔内を表す実内視鏡画像ＩREを形成し、仮想内視鏡画像ＩVEの生成時に用いられた内視鏡１または処置具６の位置が検出されたのとほぼ同じタイミングで形成された実内視鏡画像ＩREがさらに表示されるので、実内視鏡画像ＩREと仮想内視鏡画像ＩVEとは、ほぼ同じ時点での体腔内の状態が表されたものとなり、実内視鏡画像ＩREと仮想内視鏡画像ＩVEとが時間的同期を取って連続的に表示される。また、このとき、内視鏡１の移動や回転等の操作に連動して実内視鏡画像ＩREの視野が変化するとともに、処置具６の移動等の操作に連動して仮想内視鏡画像ＩVEの視野も変化する。このように、本発明の第１の実施形態では、実内視鏡画像ＩREと仮想内視鏡画像ＩVEによって相互補完的に体腔内を観察することが可能になる。
【００５７】
さらにまた、仮想内視鏡画像生成部２６が、実内視鏡画像ＩREに表された腹腔内各部とほぼ同じ外観の画像が得られるように色や透明度が予め定義されたカラーテンプレートを用いて仮想内視鏡画像ＩVEを生成するので、表示制御部２７によって実内視鏡画像ＩREと仮想内視鏡画像ＩVEとが並べられてＷＳディスプレイ１０に表示された際、両画像を違和感なく観察することができる。
【００５８】
本発明の第２の実施形態は、仮想内視鏡画像生成部２６におけるボリュームレンダリング処理の変形例であり、内視鏡観察支援システムのハードウェア構成、および、機能ブロック、処理の全体的な流れは、第１の実施形態と同様である。
【００５９】
図７Ａは、注目構造物と処置具６との位置関係の一例を模式的に表したものである。図に示したように、仮想内視鏡画像ＩVEの視点となる注目構造物の位置ＰIと処置具位置ＰTとの間を解剖学的構造物が遮っている場合、その解剖学的構造物の不透明度が高くなるようにカラーテンプレートが定義されていると、その解剖学的構造物の後方にある処理具６は仮想内視鏡画像ＩVEには描出されなくなってしまう。そこで、本発明の第２の実施形態では、仮想内視鏡画像生成部２６が、体腔内各部を半透明に表示するように不透明度が定義されたカラーテンプレートを用いて仮想内視鏡画像ＩVEを生成するようにする。これにより、生成された仮想内視鏡画像ＩVEは、図７Ｂに模式的に表したように、注目構造物の位置ＰIと処置具位置ＰTとの間にある解剖学的構造物が半透明化され、その解剖学的構造物の後方にある処置具位置ＰTに対応する位置に処置具形状画像ＭTが視認可能なものとなる。このように腹腔内の解剖学的構造物を半透明化した画像は、実内視鏡画像形成部２で形成することは不可能であるから、この半透明化された仮想内視鏡画像ＩVEを実内視鏡画像ＩREを補完するものとして用いることは、実用的価値が極めて高い。
【００６０】
本発明の第３の実施形態も、仮想内視鏡画像生成部２６におけるボリュームレンダリング処理の変形例であり、内視鏡観察支援システムのハードウェア構成、および、機能ブロック、処理の全体的な流れは、第１の実施形態と同様である。
【００６１】
図８Ａは、本発明の第３の実施形態で用いられるカラーテンプレートの一例を模式的に表したものである。図に示したように、このカラーテンプレートは、注目構造物上の視点ＰIから腹腔内の構造物の表面までの距離に応じて仮想内視鏡画像ＩVEの色を変化させるように定義されている。仮想内視鏡画像生成部２６は、例えば、中心投影の際の各視線上において、所定の閾値以上に画素値が急激に変化する位置、あるいは、画素値が所定の閾値以上となる位置を腹腔内の構造物の表面として検出し、視点ＰIから腹腔内の構造物の表面までの距離を算出しておき、このカラーテンプレートを用いて、検出された構造物の表面の仮想内視鏡画像ＩVEでの画素値を決定するようにすれば、図８Ｂに模式的に例示したように、生成される仮想内視鏡画像ＩVEは、構造物の表面の注目構造物の位置ＰIからの距離が近いほど色が淡く、その距離が遠いほど色が濃いものとなる。このようにすれば、遠近感を捉えにくい仮想内視鏡画像ＩVEの遠近感を補うことが可能になり、内視鏡１や処置具６の接近状況をより容易に把握できるようになる。なお、内視鏡１の形状画像ＭEや処置具の形状画像ＭTも、上記と同様に、注目構造物の位置ＰIからの距離に応じて、仮想内視鏡画像ＩVE中に表示される色や濃度を変化させるようにしてもよい。
【００６２】
本発明の第４の実施形態は、図９の機能ブロック図に示したように、第１の実施形態に警告判定部２８を付加した構成となっており、内視鏡観察支援システムのハードウェア構成は、第１の実施形態と同様である。
【００６３】
この警告判定部２８は、画像処理ワークステーション９に実装される処理部であり、内視鏡位置ＰEと注目構造物の位置ＰIとの間の距離、および、処置具位置ＰTと注目構造物の位置ＰIとの間の距離を算出し、算出された距離のいずれかが所定の閾値よりも小さい場合、すなわち、内視鏡１または処置具６が注目構造物に許容できない程度に接近している場合に、警告メッセージWMを出力するものである。
【００６４】
図１０は、本発明の第４の実施形態における内視鏡観察支援処理の流れを表したフローチャートであり、図に示したように、第１の実施形態のステップ#6の実内視鏡画像ＩREと仮想内視鏡画像ＩVEの表示の後、警告判定部２８が、上記距離の各々と上記閾値とを比較し(#11)、上記距離のいずれかが上記閾値よりも小さい場合(#11; Yes)、警告メッセージWMを出力し、表示制御部２７が、図１１に例示したように、許容できない程度に接近した内視鏡１または処置具６（図では内視鏡１）の近傍に「接近注意」のコメント付きの矢印マークを重畳表示させ、さらに、その内視鏡１または処置具６を表す形状画像の表示色を濃くする。これにより、注目構造物に対して、内視鏡１または処置具６が異常に接近した状態を容易に認識することが可能になり、内視鏡１や処置具６の誤操作の未然防止に資する。このような警告表示は、注目位置特定部２５において、注目構造物として、手術時に傷をつけると大出血を招く血管等が指定された場合に特に効果的である。
【００６５】
なお、警告メッセージを外部に出力する方法は、上記のように仮想内視鏡画像ＩVEに重畳表示する方法の他、警告音や音声を出力する方法であってもよいし、警告メッセージの重畳表示と警告音等の出力の両方を行ってもよい。また、上記距離に応じた危険度を段階的に定義した危険度判定テーブルを予め用意しておき、警告判定部２８が、算出された距離に基づいてこの危険度判定テーブルを参照して危険度を決定し、この危険度の値を警告メッセージWMとして出力し、表示制御部２７が危険度に応じたアイコン等をＷＳディスプレイ１０に表示させるようにしてもよい。
【００６６】
本発明の第５の実施形態は、図１２の機能ブロック図に示したように、第１の実施形態に要注意構造物検出部２９を付加した構成となっており、内視鏡観察支援システムのハードウェア構成は、第１の実施形態と同様である。
【００６７】
要注意構造物検出部２９は、画像処理ワークステーション９に実装される処理部であり、３次元医用画像Ｖを入力として、公知の画像認識手法により、要注意構造物領域RAを検出する。図１４Ａは、注目構造物と要注意構造物との位置関係の一例を模式的に表したものである。この例では、要注意構造物検出部２９は公知の血管抽出処理を行うことにより、腹壁の裏側にある注意すべき血管領域RAを検出している。
【００６８】
図１３は、本発明の第５の実施形態における内視鏡観察支援処理の流れを表したフローチャートであり、図に示したように、第１の実施形態のステップ#2で注目位置ＰIを特定した後、要注意構造物検出部２９が要注意構造物領域RAを検出する(#13)。また、ステップ#5において、仮想内視鏡画像生成部２６は、要注意構造物領域RAが視認可能になるように定義されたカラーテンプレートを用いて仮想内視鏡画像ＩVEを生成する。図１４Ｂは、生成される仮想内視鏡画像ＩVEの一例を模式的に表したものである。図に示した仮想内視鏡画像ＩVEは、腹壁を表す画素の半透明化され、血管を表す画素の視認性が高くなるように色や不透明度が定義されたカラーテンプレートを用いることによって生成されたものである。これにより、要注意構造物の視認性が高まるので、第４の実施形態と同様、内視鏡１や処置具６の誤操作の未然防止に資する。
【００６９】
なお、要注意構造物検出部２９は、ユーザの手動操作により要注意構造物領域RAを検出するようにしてもよい。また、要注意構造物領域RAに対して、矢印等のマーカーやテキストコメント等のアノテーションを重畳表示させるようにしてもよい。
【００７０】
本発明の第６の実施形態は、３次元医用画像Ｖを内視鏡を用いた観察時にリアルタイムに形成、取得するものであり、この場合、第１の実施形態のハードウェア構成（図１参照）のうち、内視鏡用マーカー７ａ、処置具用マーカー７ｂ、位置センサ８は不要である。
【００７１】
図１５は、本発明の第６の実施形態における内視鏡観察支援システムの機能ブロック図である。図に示したように、第１の実施形態の内視鏡位置検出部１１、処置具位置検出部１２、内視鏡位置取得部２２、処置具位置取得部２３の代わりに、内視鏡・処理具位置認識部３０を付加した構成となっている。すなわち、内視鏡・処置具位置認識部３０は、本発明の位置検出手段に相当する。
【００７２】
内視鏡・処置具位置認識部３０は、画像処理ワークステーション９に実装される処理部であり、３次元医用画像Ｖを入力として、公知のパターン認識処理により、３次元医用画像Ｖ中の内視鏡１または処置具６を表す領域を抽出し、内視鏡位置ＰEおよび処置具位置ＰTを認識する。
【００７３】
図１６は、本発明の第６の実施形態における内視鏡観察支援処理の流れを表したフローチャートである。図に示したように、第１の実施形態のステップ#3で実内視鏡画像ＩREの取得が行われた後、３次元医用画像取得部２４による３次元医用画像Ｖの取得が行われ(#14)、内視鏡・処置具位置認識部３０が、３次元医用画像取得部２４によって取得された３次元医用画像Ｖに基づいて内視鏡位置ＰEおよび処置具位置ＰTを認識する(#15)。また、ステップ#5において、仮想内視鏡画像生成部２６は、内視鏡・処置具位置認識部３０で抽出された内視鏡１または処置具６を表す領域が所定の色で表示されるように定義されたカラーテンプレートを用いて仮想内視鏡画像ＩVEを生成する。したがって、第１の実施形態のように、内視鏡１や処置具６の形状画像を生成する必要はない。このように、３次元医用画像Ｖを内視鏡を用いた観察時にリアルタイムで形成、取得するようにすれば、取得された３次元医用画像Ｖは、実内視鏡画像ＩREとほぼ同じ時点での腹腔内の様子を表したものとなるので、内視鏡下での観察前に取得された３次元医用画像Ｖを用いた場合よりも実際の腹腔内の様子がリアルタイムに正確に再現された仮想内視鏡画像ＩVEが生成される。ただし、この実施形態では、ステップ#1およびステップ#14で３次元医用画像Ｖの撮像の際、座標軸の原点に対応する被検体の位置や座標軸の向きが変動しないよう、撮影体位に注意する必要がある。
【００７４】
なお、本発明の第６の実施形態の場合、被検体の被曝量低減のため、モダリティ５としては超音波診断装置を用いるのが好ましい。
【００７５】
上記の各実施形態はあくまでも例示であり、上記のすべての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。
【００７６】
この他、上記の実施形態におけるシステム構成、ハードウェア構成、処理フロー、モジュール構成、ユーザインターフェースや具体的処理内容等に対して、本発明の趣旨から逸脱しない範囲で様々な改変を行ったものも、本発明の技術的範囲に含まれる。
【００７７】
例えば、システム構成については、上記の実施形態では、図１のハードウェア構成では、モダリティ５と画像処理ワークステーション９が直接接続されているが、画像保管サーバをＬＡＮ上に接続し、モダリティ５で形成された３次元医用画像Ｖは、いったん画像保管サーバのデータベースに格納されるようにし、画像処理ワークステーション９からの要求に応じて、画像保管サーバから画像処理ワークステーション９に３次元医用画像Ｖが転送されるようにしてもよい。
【００７８】
また、内視鏡１は、硬性鏡ではなく、軟性鏡やカプセル型内視鏡を用いてもよい。
【００７９】
モダリティ５は、上記のＣＴ装置や超音波診断装置のほか、ＭＲＩ装置等を用いてもよい。
【００８０】
ＷＳディスプレイ１０は、公知の立体視表示に対応したディスプレイとし、仮想内視鏡画像ＩVEを立体視用の画像として表示するようにしてもよい。例えば、ＷＳディスプレイ１０として左右両眼用の２つの視差画像を用いて立体視表示を実現する方式のものを採用した場合、仮想内視鏡画像生成部２６は、注目構造物の位置ＰIから左右両眼の視差の分だけずらした各眼の位置を設定し、設定された各眼の位置を視点とする中心投影により、左右各眼用の仮想内視鏡視差画像を生成するようにし、表示制御部２７が、左眼用の仮想内視鏡視差画像をＷＳディスプレイ１０の左眼用の表示画素に表示させ、右眼用の仮想内視鏡視差画像をＷＳディスプレイ１０の右眼用の表示画素に表示させるように制御すればよい。
【００８１】
内視鏡位置検出部１１や処置具位置検出部１２は、磁気式のものを用いてもよいし、上記特許文献２に記載されているように、ジャイロやロータリーエンコーダ等を用いてもよい。
【００８２】
さらに、観察部位は腹腔内ではなく、胸腔内等、内視鏡下での観察に適した被検体の他の部位であってもよい。
【００８３】
画像処理ワークステーション９においては、上記実施形態では、実内視鏡画像形成部２で実内視鏡画像ＩREが形成される周期は、仮想内視鏡画像生成部２６で仮想内視鏡画像ＩVEが生成される周期よりも短いものとして、通信負荷を考慮して、実内視鏡画像取得部２１からの要求ベースでの画像受信としているが、実内視鏡画像形成部２で順次形成される実内視鏡画像ＩEのすべてを実内視鏡画像取得部２１が受信するようにしてもよい。この場合、表示制御部２７が、仮想内視鏡画像生成部２６による仮想内視鏡画像ＩVEの生成タイミングとは非同期に、実内視鏡画像ＩREの受信の度にＷＳディスプレイ１０の実内視鏡画像ＩREの表示を更新させるようにしてもよい。
【００８４】
内視鏡位置取得部２２は、内視鏡位置検出部１１で所定の時間間隔で検出される内視鏡位置PSEのすべてを受信しておき、図３のステップ#4の処理が呼び出されるタイミングで受信した内視鏡位置PSEのみを後者の座標変換機能によって内視鏡位置ＰEに変換して出力するようにしてもよい。処置具位置取得部２３についても同様である。
【００８５】
また、内視鏡位置取得部２２や処置具位置取得部２３で行われる座標変換を仮想内視鏡画像生成部２６で行うようにしてもよい。
【００８６】
注目位置特定部２５は、公知の画像認識技術（血管や臓器の抽出手法や異常陰影検出手法等）を用いて注目位置を自動的に特定するようにしてもよい。
【００８７】
仮想内視鏡画像生成部２６では、処置具位置ＰTを視野の中心にして処置具６が必ず視野に入るようにする代わりに、内視鏡位置ＰEを視野の中心にして内視鏡１が必ず視野に入るようにしてもよい。また、内視鏡位置ＰEと処置具位置ＰTの中点等のように、線分ＰE-ＰTの内分点を視野の中心にし、内視鏡１と処置具６の両方が視野に入るように画角を設定するようにしてもよい。さらに、注目構造物の位置ＰI、内視鏡位置ＰE、処置具位置ＰTの各位置間の距離に応じて画角や拡大率を調整するようにしてもよい。例えば、各位置間の距離が短い場合には、各位置間の距離が長い場合よりも、画角を狭く設定するとともに、拡大率を大きく設定するようにすれば、視野内が拡大され、観察しやすくなる。
【００８８】
また、仮想内視鏡画像ＩVE中に内視鏡１や処置具６を表す形状画像を合成表示する代わりに、内視鏡位置ＰEや処置具位置ＰTに矢印等のマーカーを表示するようにしてもよい。
【００８９】
さらに、仮想内視鏡画像生成部２６は、仮想内視鏡画像ＩVEを複数の注目位置、例えば、手術対象部位と要注意血管と、要注意臓器というように、複数の注目位置を視点とする仮想内視鏡画像ＩVEを生成するようにしてもよい。
【００９０】
また、画像処理ワークステーション９において、上記の実内視鏡画像ＩREと仮想内視鏡画像ＩVE以外の画像をさらに生成して表示させるようにしてもよい。例えば、図１７Ａに模式的に例示したように、内視鏡位置ＰEを視点とし、画像中の対象物が実内視鏡画像ＩREと同じサイズになるような拡大率で、画角ＡVが内視鏡１の画角ＡEよりも広い仮想内視鏡画像をさらに生成し、図１７Ｂに模式的に例示したように、生成された仮想内視鏡画像と実内視鏡画像とを、視野の中心の位置、すなわち、内視鏡位置ＰEを合わせて、仮想内視鏡画像の上に実内視鏡画像を重ねたような画像を新たに生成して表示させるようにしてもよい。
【００９１】
あるいは、実内視鏡画像と仮想内視鏡画像の合成画像を生成するようにしてもよい。例えば、図１８Ａに模式的に例示した実内視鏡画像に、図１８Ｂに模式的に例示した、血管構造のみ視覚化した仮想内視鏡画像を合成し、図１８Ｃに模式的に例示したような、血管構造を強調した実内視鏡画像を生成するようにしてもよい。
【符号の説明】
【００９２】
１ 内視鏡
２ デジタルプロセッサ
３ 光源装置
４ 実内視鏡画像用ディスプレイ
５ モダリティ
６ 処置具
７ａ 内視鏡用マーカー
７ｂ 処置具用マーカー
８ 位置センサ
９ 画像処理ワークステーション
１０ 画像処理ワークステーション用ディスプレイ
１１ 内視鏡位置検出部
１２ 処置具位置検出部
２１ 実内視鏡画像取得部
２２ 内視鏡位置取得部
２３ 処置具位置取得部
２４ ３次元医用画像取得部
２５ 注目位置特定部
２６ 仮想内視鏡画像生成部
２７ 表示制御部
２８ 警告判定部
２９ 要注意構造物検出部
３０ 内視鏡・処置具位置認識部
【特許請求の範囲】
【請求項１】
被検体の体腔内を表す３次元医用画像を形成する３次元医用画像形成手段と、
前記体腔内の注目構造物の前記３次元医用画像中での位置を特定する注目位置特定手段と、
前記体腔内に挿入された内視鏡または処置具の少なくとも一方の位置をリアルタイムに検出する位置検出手段と、
前記３次元医用画像を入力として、前記特定された注目構造物の位置、および、前記検出された内視鏡または処置具の少なくとも一方の前記３次元医用画像中での位置に基づいて、前記注目構造物の位置を視点とし、前記内視鏡または処置具の少なくとも一方の位置を視野に含み、該内視鏡または処置具の少なくとも一方の位置が識別可能な態様で表された、前記視点から見た前記体腔内を表す仮想内視鏡画像を生成する仮想内視鏡画像生成手段と、
前記仮想内視鏡画像を表示する表示手段とを備えたことを特徴とする内視鏡観察支援システム。
【請求項２】
前記内視鏡によるリアルタイムの撮像によって該体腔内を表す実内視鏡画像を形成する実内視鏡画像形成手段をさらに備え、
前記表示手段が、前記仮想内視鏡画像の生成時に用いられた前記内視鏡または処置具の少なくとも一方の位置が検出されたのとほぼ同じタイミングで形成された前記実内視鏡画像をさらに表示するものであることを特徴とする請求項１に記載の内視鏡観察支援システム。
【請求項３】
前記仮想内視鏡画像生成手段は、前記注目構造物から前記体腔内の構造物の表面までの距離に応じて前記仮想内視鏡画像の画素値を決定するものであることを特徴とする請求項１または２に記載の内視鏡観察支援システム。
【請求項４】
前記内視鏡または処置具の少なくとも一方と前記注目構造物とが所定の基準を満たす程度に接近している場合には警告を提示する警告手段をさらに備えたことを特徴とする請求項１から３のいずれか１項に記載の内視鏡観察支援システム。
【請求項５】
前記仮想内視鏡画像生成手段は、前記内視鏡による撮像によって得られる実内視鏡画像に表された体腔内各部とほぼ同じ外観の前記仮想内視鏡画像が得られるように定義されたカラーテンプレートを用いて前記仮想内視鏡画像の画素値を決定するものであることを特徴とする請求項１から４のいずれか１項に記載の内視鏡観察支援システム。
【請求項６】
前記３次元医用画像中の前記体腔内の第２の注目構造物を検出する第２の注目構造物検出手段をさらに備え、
前記仮想内視鏡画像生成手段は、前記第２の注目構造物が視認可能な態様の前記仮想内視鏡画像を生成するものであることを特徴とする請求項１から５のいずれか１項に記載の内視鏡観察支援システム。
【請求項７】
前記注目構造物は前記内視鏡下での手術対象部位であることを特徴とする請求項１から６のいずれか１項に記載の内視鏡観察支援システム。
【請求項８】
前記注目構造物は前記内視鏡下での手術において注意を有する解剖学的構造物であることを特徴とする請求項１から６のいずれか１項に記載の内視鏡観察支援システム。
【請求項９】
前記注目構造物は前記内視鏡下での手術対象部位であり、前記第２の注目構造物は前記内視鏡下での手術において注意を有する解剖学的構造物であることを特徴とする請求項６に記載の内視鏡観察支援システム。
【請求項１０】
被検体の体腔内に挿入された内視鏡下での前記体腔内の観察より前または該観察中に、前記体腔内を表す３次元医用画像を形成するステップと、
前記体腔内の注目構造物の前記３次元医用画像中での位置を特定するステップと、
前記体腔内に挿入された内視鏡または処置具の少なくとも一方の位置をリアルタイムに検出するステップと、
前記３次元医用画像を入力として、前記特定された注目構造物の位置、および、前記検出された内視鏡または処置具の少なくとも一方の前記３次元医用画像中での位置に基づいて、前記注目構造物の位置を視点とし、前記内視鏡または処置具の少なくとも一方の位置を視野に含み、該内視鏡または処置具の少なくとも一方の位置が識別可能な態様で表された、前記視点から見た前記体腔内を表す仮想内視鏡画像を生成するステップと、
前記仮想内視鏡画像を表示するステップとを有することを特徴とする内視鏡観察支援方法。
【請求項１１】
被検体の体腔内を表す３次元医用画像を取得する３次元医用画像取得手段と、
前記体腔内の注目構造物の前記３次元医用画像中での位置を特定する注目位置特定手段と、
位置検出手段によってリアルタイムに検出された前記体腔内に挿入された内視鏡または処置具の少なくとも一方の位置を取得する位置取得手段と、
前記３次元医用画像を入力として、前記特定された注目構造物の位置、および、前記取得された内視鏡または処置具の少なくとも一方の前記３次元医用画像中での位置に基づいて、前記注目構造物の位置を視点とし、前記内視鏡または処置具の少なくとも一方の位置を視野に含み、該内視鏡または処置具の少なくとも一方の位置が識別可能な態様で表された、前記視点から見た前記体腔内を表す仮想内視鏡画像を生成する仮想内視鏡画像生成手段と、
前記仮想内視鏡画像を表示手段に表示させる表示制御手段とを備えたことを特徴とする内視鏡観察支援装置。
【請求項１２】
コンピュータに、
被検体の体腔内を表す３次元医用画像を取得するステップと、
前記体腔内の注目構造物の前記３次元医用画像中での位置を特定するステップと、
位置検出手段によってリアルタイムに検出された、前記体腔内に挿入された内視鏡または処置具の少なくとも一方の位置を取得するステップと、
前記３次元医用画像を入力として、前記特定された注目構造物の位置、および、前記検出された内視鏡または処置具の少なくとも一方の前記３次元医用画像中での位置に基づいて、前記注目構造物の位置を視点とし、前記内視鏡または処置具の少なくとも一方の位置を視野に含み、該内視鏡または処置具の少なくとも一方の位置が識別可能な態様で表された、前記視点から見た前記体腔内を表す仮想内視鏡画像を生成するステップと、
前記実内視鏡画像と前記仮想内視鏡画像とを表示手段に表示させるステップとを実行させることを特徴とする内視鏡観察支援プログラム。
【請求項１】
被検体の体腔内を表す３次元医用画像を形成する３次元医用画像形成手段と、
前記体腔内の注目構造物の前記３次元医用画像中での位置を特定する注目位置特定手段と、
前記体腔内に挿入された内視鏡または処置具の少なくとも一方の位置をリアルタイムに検出する位置検出手段と、
前記３次元医用画像を入力として、前記特定された注目構造物の位置、および、前記検出された内視鏡または処置具の少なくとも一方の前記３次元医用画像中での位置に基づいて、前記注目構造物の位置を視点とし、前記内視鏡または処置具の少なくとも一方の位置を視野に含み、該内視鏡または処置具の少なくとも一方の位置が識別可能な態様で表された、前記視点から見た前記体腔内を表す仮想内視鏡画像を生成する仮想内視鏡画像生成手段と、
前記仮想内視鏡画像を表示する表示手段とを備えたことを特徴とする内視鏡観察支援システム。
【請求項２】
前記内視鏡によるリアルタイムの撮像によって該体腔内を表す実内視鏡画像を形成する実内視鏡画像形成手段をさらに備え、
前記表示手段が、前記仮想内視鏡画像の生成時に用いられた前記内視鏡または処置具の少なくとも一方の位置が検出されたのとほぼ同じタイミングで形成された前記実内視鏡画像をさらに表示するものであることを特徴とする請求項１に記載の内視鏡観察支援システム。
【請求項３】
前記仮想内視鏡画像生成手段は、前記注目構造物から前記体腔内の構造物の表面までの距離に応じて前記仮想内視鏡画像の画素値を決定するものであることを特徴とする請求項１または２に記載の内視鏡観察支援システム。
【請求項４】
前記内視鏡または処置具の少なくとも一方と前記注目構造物とが所定の基準を満たす程度に接近している場合には警告を提示する警告手段をさらに備えたことを特徴とする請求項１から３のいずれか１項に記載の内視鏡観察支援システム。
【請求項５】
前記仮想内視鏡画像生成手段は、前記内視鏡による撮像によって得られる実内視鏡画像に表された体腔内各部とほぼ同じ外観の前記仮想内視鏡画像が得られるように定義されたカラーテンプレートを用いて前記仮想内視鏡画像の画素値を決定するものであることを特徴とする請求項１から４のいずれか１項に記載の内視鏡観察支援システム。
【請求項６】
前記３次元医用画像中の前記体腔内の第２の注目構造物を検出する第２の注目構造物検出手段をさらに備え、
前記仮想内視鏡画像生成手段は、前記第２の注目構造物が視認可能な態様の前記仮想内視鏡画像を生成するものであることを特徴とする請求項１から５のいずれか１項に記載の内視鏡観察支援システム。
【請求項７】
前記注目構造物は前記内視鏡下での手術対象部位であることを特徴とする請求項１から６のいずれか１項に記載の内視鏡観察支援システム。
【請求項８】
前記注目構造物は前記内視鏡下での手術において注意を有する解剖学的構造物であることを特徴とする請求項１から６のいずれか１項に記載の内視鏡観察支援システム。
【請求項９】
前記注目構造物は前記内視鏡下での手術対象部位であり、前記第２の注目構造物は前記内視鏡下での手術において注意を有する解剖学的構造物であることを特徴とする請求項６に記載の内視鏡観察支援システム。
【請求項１０】
被検体の体腔内に挿入された内視鏡下での前記体腔内の観察より前または該観察中に、前記体腔内を表す３次元医用画像を形成するステップと、
前記体腔内の注目構造物の前記３次元医用画像中での位置を特定するステップと、
前記体腔内に挿入された内視鏡または処置具の少なくとも一方の位置をリアルタイムに検出するステップと、
前記３次元医用画像を入力として、前記特定された注目構造物の位置、および、前記検出された内視鏡または処置具の少なくとも一方の前記３次元医用画像中での位置に基づいて、前記注目構造物の位置を視点とし、前記内視鏡または処置具の少なくとも一方の位置を視野に含み、該内視鏡または処置具の少なくとも一方の位置が識別可能な態様で表された、前記視点から見た前記体腔内を表す仮想内視鏡画像を生成するステップと、
前記仮想内視鏡画像を表示するステップとを有することを特徴とする内視鏡観察支援方法。
【請求項１１】
被検体の体腔内を表す３次元医用画像を取得する３次元医用画像取得手段と、
前記体腔内の注目構造物の前記３次元医用画像中での位置を特定する注目位置特定手段と、
位置検出手段によってリアルタイムに検出された前記体腔内に挿入された内視鏡または処置具の少なくとも一方の位置を取得する位置取得手段と、
前記３次元医用画像を入力として、前記特定された注目構造物の位置、および、前記取得された内視鏡または処置具の少なくとも一方の前記３次元医用画像中での位置に基づいて、前記注目構造物の位置を視点とし、前記内視鏡または処置具の少なくとも一方の位置を視野に含み、該内視鏡または処置具の少なくとも一方の位置が識別可能な態様で表された、前記視点から見た前記体腔内を表す仮想内視鏡画像を生成する仮想内視鏡画像生成手段と、
前記仮想内視鏡画像を表示手段に表示させる表示制御手段とを備えたことを特徴とする内視鏡観察支援装置。
【請求項１２】
コンピュータに、
被検体の体腔内を表す３次元医用画像を取得するステップと、
前記体腔内の注目構造物の前記３次元医用画像中での位置を特定するステップと、
位置検出手段によってリアルタイムに検出された、前記体腔内に挿入された内視鏡または処置具の少なくとも一方の位置を取得するステップと、
前記３次元医用画像を入力として、前記特定された注目構造物の位置、および、前記検出された内視鏡または処置具の少なくとも一方の前記３次元医用画像中での位置に基づいて、前記注目構造物の位置を視点とし、前記内視鏡または処置具の少なくとも一方の位置を視野に含み、該内視鏡または処置具の少なくとも一方の位置が識別可能な態様で表された、前記視点から見た前記体腔内を表す仮想内視鏡画像を生成するステップと、
前記実内視鏡画像と前記仮想内視鏡画像とを表示手段に表示させるステップとを実行させることを特徴とする内視鏡観察支援プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図７Ａ】
【図７Ｂ】
【図９】
【図１０】
【図１２】
【図１３】
【図１４Ａ】
【図１５】
【図１６】
【図１７Ａ】
【図１８Ｂ】
【図６】
【図８Ａ】
【図８Ｂ】
【図１１】
【図１４Ｂ】
【図１７Ｂ】
【図１８Ａ】
【図１８Ｃ】
【図２】
【図３】
【図４】
【図５】
【図７Ａ】
【図７Ｂ】
【図９】
【図１０】
【図１２】
【図１３】
【図１４Ａ】
【図１５】
【図１６】
【図１７Ａ】
【図１８Ｂ】
【図６】
【図８Ａ】
【図８Ｂ】
【図１１】
【図１４Ｂ】
【図１７Ｂ】
【図１８Ａ】
【図１８Ｃ】
【公開番号】特開２０１１−１９３８８５（Ｐ２０１１−１９３８８５Ａ）
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願番号】特願２０１０−６０２８５（Ｐ２０１０−６０２８５）
【出願日】平成２２年３月１７日（２０１０．３．１７）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願日】平成２２年３月１７日（２０１０．３．１７）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]