投影画像生成装置および方法、並びにプログラム
【課題】臓器中の病変のように他の構造物によって遮蔽された構造物に対する処置具の接近経路上の様子をより容易に把握できるようにする。
【解決手段】３次元医用画像中の第１構造物を所与の視点から見る複数の視線上の画像情報を所与の投影面に投影した投影画像を生成する投影画像生成部１７を備えた投影画像生成装置に、３次元医用画像中に処置具の想定位置を設定する処置具位置設定部１３と、３次元医用画像から第１構造物の表面を検出する表面検出部１５と、３次元医用画像に表された、第１構造物によって遮蔽される位置にある第２構造物（例えば病変）を特定する病変位置特定部１４と、処置具を想定位置から第２構造物に接近させる際の想定経路と第１構造物の表面との交点PAを検出する交点検出部１６とを設け、投影画像生成部１７が、視点と交点PAとを結ぶ視線上の画像情報が投影される位置に、交点PAを識別可能な態様で表すようにした。
【解決手段】３次元医用画像中の第１構造物を所与の視点から見る複数の視線上の画像情報を所与の投影面に投影した投影画像を生成する投影画像生成部１７を備えた投影画像生成装置に、３次元医用画像中に処置具の想定位置を設定する処置具位置設定部１３と、３次元医用画像から第１構造物の表面を検出する表面検出部１５と、３次元医用画像に表された、第１構造物によって遮蔽される位置にある第２構造物（例えば病変）を特定する病変位置特定部１４と、処置具を想定位置から第２構造物に接近させる際の想定経路と第１構造物の表面との交点PAを検出する交点検出部１６とを設け、投影画像生成部１７が、視点と交点PAとを結ぶ視線上の画像情報が投影される位置に、交点PAを識別可能な態様で表すようにした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元医用画像に表された構造物を所与の視点から見る複数の視線上の画像情報を所与の投影面に投影した投影画像を生成する技術に関するものである。
【背景技術】
【０００２】
近年、マルチスライスＣＴ（ＭＤＣＴ）等のモダリティの進歩により、質の高い３次元画像データが取得できるようになり、これらの画像データを用いた画像診断では、高精細な断面画像が用いられるだけでなく、被検体の仮想的・疑似的な３次元画像も用いられるようになってきる。さらに、画像認識技術を用いた３次元医用画像からの臓器構造の抽出等も行われており、より構造が識別された３次元医用画像から仮想的・疑似的な３次元画像を生成することが可能になり、生成された画像は、手術前のプランニング、シミュレーションや手術中のナビゲーションのためにも利用されている。
【０００３】
被検体の仮想的・疑似的な３次元画像を生成する手法としては、ボリュームレンダリングやサーフェスレンダリング等のレンダリング技術を用いた手法が知られている。また、特に、被検体内の仮想的な視点からの透視投影（中心投影）によって得られる画像は、仮想内視鏡画像と呼ばれ、あたかも被検体内を内視鏡で観察しているかのような画像が得られる。
【０００４】
この仮想内視鏡画像を用いて内視鏡下での手術を支援する技術が提案されている。
【０００５】
例えば、特許文献１には、内視鏡の位置をセンサで検出し、検出位置を視点とし、内視鏡よりも広い画角を有する仮想内視鏡画像を生成し、内視鏡撮影で得られた実内視鏡画像と仮想内視鏡画像とを重畳表示する装置が記載されている。
【０００６】
また、特許文献２には、内視鏡の位置をリアルタイムに検出し、内視鏡と同じ視野を有し、視野内の血管配置が視覚化された仮想内視鏡画像を生成するとともに、内視鏡下での手術に用いられる処置具の位置をリアルタイムに検出し、仮想内視鏡画像中での処置具の位置に処置具を表す画像を合成した画像を生成し、合成画像と実内視鏡画像を表示する装置が記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００２−２６３０５３号公報
【特許文献２】特開２００５−２１３５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
内視鏡下の手術では、内視鏡の視線方向と処置具の操作方向は異なるため、これらの文献に記載されたような内視鏡の視点からの仮想内視鏡画像を用いて臓器内の病変を透視的に観察しても、その画像において、処置具の操作方向、すなわち、処置具が病変にアプローチする経路上の様子を把握することは困難である。例えば、図７に模式的に示したように、視線方向VLが視野の中心となる仮想内視鏡画像では、処置具が臓器内に進入する位置を把握することは難しく、また、半透明化により、臓器内に存在する血管等の手術上注意すべき他の構造物を観察することは可能であるが、その構造物が処置具の進入位置から病変までの経路上に存在するかどうかについても把握することが難しい。
【０００９】
本発明は上記事情に鑑みてなされたものであり、臓器中の病変のように他の構造物によって遮蔽された注目構造物に対する処置具の接近経路上の様子をより容易に把握可能な投影画像を生成する装置および方法、並びにプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【００１０】
本発明の投影画像生成装置は、３次元医用画像を入力として、該３次元医用画像に表された第１の構造物を所与の視点から見る複数の視線上の画像情報を所与の投影面に投影した投影画像を生成する投影画像生成手段を備えた投影画像生成装置に、前記３次元医用画像の座標空間内に処置具の想定位置を設定する処置具位置設定手段と、前記３次元医用画像から前記第１の構造物の表面を検出する表面検出手段と、前記３次元医用画像に表された、前記処置具の想定位置から見たときに前記第１の構造物によって遮蔽される位置にある第２の構造物を特定する第２の構造物特定手段と、前記処置具を前記想定位置から前記第２の構造物に接近させる際の想定経路と前記第１の構造物の表面との交点を検出する交点検出手段とを設け、前記投影画像生成手段が、前記投影面上における、前記視点と前記交点とを結ぶ視線上の画像情報が投影される位置に、前記交点を識別可能な態様で表した前記投影画像を生成するようにしたものである。
【００１１】
本発明の投影画像生成方法は、３次元医用画像を入力として、該３次元医用画像に表された第１の構造物を所与の視点から見る複数の視線上の画像情報を所与の投影面に投影した投影画像を生成する方法であって、前記３次元医用画像の座標空間において、前記視点から前記第１の構造物を見たときの該第１の構造物の正面側であって、該第１の構造物の外側に、処置具の想定位置を設定するステップと、前記３次元医用画像から前記第１の構造物の表面を検出するステップと、前記３次元医用画像に表された、前記処置具の想定位置から見たときに前記第１の構造物によって遮蔽される位置にある第２の構造物を特定するステップと、前記処置具を前記想定位置から前記第２の構造物に接近させる際の想定経路と前記第１の構造物の表面との交点を検出するステップとをさらに行うようにし、前記投影画像を生成するステップにおいて、前記投影面上における、前記視点と前記交点とを結ぶ視線上の画像情報が投影される位置に、前記交点を識別可能な態様で表した前記投影画像を生成するようにしたものである。
【００１２】
本発明の投影画像生成プログラムは、コンピュータを上記投影画像生成装置として機能させるために、上記投影画像生成装置の各手段を処理ステップとしてコンピュータに実行させるものである。
【００１３】
ここで、「第１の構造物」は、処置具の想定位置から見たときに「第２の構造物」を遮蔽するものである。「第１の構造物」と「第２の構造物」の具体例としては、第１の構造物である臓器の内部に第２の構造物である病変が存在する場合が挙げられる。あるいは、処置具の想定位置から見て、第１の構造物の後方に第２の構造物が存在する場合であってもよい。また、「第１の構造物」の他の具体例としては、体表が挙げられる。一方、「第２の構造物」は、典型的には、処置具による処置対象、すなわち、手術対象部位である。
【００１４】
「投影画像」の生成の際の所与の視点から所与の投影面への投影方法は、中心投影としてもよいし、視点が無限遠方にあると考えて平行投影としてもよい。
【００１５】
「複数の視線上の画像情報」を投影する際、各視線上の画像情報は、視線の近傍の画素の画像情報を用いた補間演算によって求められたものであってもよい。
【００１６】
「所与の視点」は、ユーザの手動操作によって設定された位置としてもよいし、３次元医用画像の座標空間における、内視鏡位置検出手段によってリアルタイムに検出された被検体の体腔内に挿入された内視鏡の位置に対応する位置としてもよい。
【００１７】
この場合、内視鏡によるリアルタイムの撮像によって体腔内を表す実内視鏡画像を形成するようにし、さらに、実内視鏡画像と、その実内視鏡画像の形成とほぼ同じタイミングで内視鏡位置検出手段によって検出された内視鏡の位置に基づく投影画像とを重畳させた重畳画像を生成するようにしてもよい。
【００１８】
「処置具の想定位置」は、ユーザの手動操作によって設定された位置としてもよいし、３次元医用画像の座標空間における、処置具位置検出手段によってリアルタイムに検出された被検体の体腔内に挿入された処置具の位置に対応する位置としてもよい。
【００１９】
「第１の構造物の表面を検出する」方法や「第２の構造物を特定する」方法は、公知の画像認識技術を用いた自動的方法、ユーザの手動操作による方法、両者を組み合わせた方法のいずれであってもよい。
【００２０】
「交点を検出する」方法の具体例としては、第２の構造物を、第２の構造物から処置具の想定位置に向かう方向にある第１の構造物の表面に投影することによって、交点を検出する方法が挙げられる。この場合、第１の構造物の表面に投影された第２の構造物を、前記所与の視点から投影画像の投影面に投影することによって、投影画像中で「交点を識別可能な態様で表す」ことができる。ここで、第１の構造物の表面に投影された第２の構造物は、平行投影によって投影を行うことが好ましい。
【００２１】
さらに、その際、処置具の位置から見て第２の構造物の手前にある第３の構造物を、第２の構造物から処置具の想定位置に向かう方向にある第１の構造物の表面にさらに投影するようにしてもよい。ここで、「第３の構造物」の具体例としては、手術において注意を有する解剖学的構造物、すなわち、血管や、臓器、腫瘍等が挙げられる。
【発明の効果】
【００２２】
本発明では、処置具の想定位置から見たときに第１の構造物によって遮蔽された第２の構造物が表された３次元医用画像を入力として、所与の視点からの複数の視線上の画像情報を所与の投影面に投影した投影画像を生成する際に、処置具をその想定位置から第２の構造物に接近させる際の想定経路と第１の構造物の表面との交点を検出し、投影画像の投影面上における、視点と交点とを結ぶ視線上の画像情報が投影される位置に、その交点を識別可能な態様で表すことができる。これにより、注目対象である第２の構造物を遮蔽する第１の構造物への処置具の進入位置を、所与の視点からの投影画像上で把握することが可能になる。この所与の視点からの投影画像を通常の診断や手術シミュレーション、手術ナビゲーションで用いる視点からの画像にすれば、観察者は、違和感を覚えたり、混乱をきたしたりすることなく、通常の画像を観察するのと同じ感覚で、臓器中の病変のように他の構造物（第１の構造物）によって遮蔽された注目構造物（第２の構造物）に対する処置具の接近経路上の様子をより容易に把握することが可能になり、手術の精度や安全性の向上に資する。
【図面の簡単な説明】
【００２３】
【図１】本発明の第１の実施の形態となる手術シミュレーション機能が実装された医用画像診断システムの概略構成図
【図２】本発明の第１の実施形態における手術シミュレーション機能を実現する構成および処理の流れを模式的に示したブロック図
【図３】本発明の実施形態における医用画像診断システムを用いた手術シミュレーションの流れを表したフローチャート
【図４】投影画像の視線および処置具の位置の設定を行う画面の一例を模式的に表した図
【図５】視線方向のレイキャスティングと処置具の操作方向のレイキャスティングを模式的に表した図
【図６】本発明の第１の実施形態において生成される投影画像の一例を模式的に表した図
【図７】本発明に対する比較例における視線方向のレイキャスティングを模式的に表した図
【図８】本発明に対する比較例において生成される投影画像の一例を模式的に表した図
【図９】本発明の第２の実施形態およびその比較例におけるレイキャスティングを模式的に表した図
【図１０】本発明の第２の実施形態およびその比較例において生成される投影画像の一例を模式的に表した図
【図１１】本発明の第３の実施形態において生成される投影画像の一例を模式的に表した図
【図１２】本発明の第４の実施形態においてサーフェスレンダリングによって投影画像が生成される様子を模式的に表した図
【図１３】本発明の第５の実施の形態となる手術ナビゲーション機能が実装された内視鏡観察支援システムのハードウェア構成図
【図１４】本発明の第５の実施形態における内視鏡観察支援システムの機能ブロック図
【図１５】本発明の第５の実施形態における内視鏡観察支援システムを用いた手術ナビゲーションの流れを表したフローチャート
【図１６】本発明の第５の実施形態において生成される、実内視鏡画像と仮想内視鏡画像を重畳した表示画像の一例を模式的に表した図
【発明を実施するための形態】
【００２４】
図１は、本発明の第１の実施形態となる手術シミュレーション機能が実装された医用画像診断システムの概要を示すハードウェア構成図である。図に示すように、このシステムでは、モダリティ１と、画像保管サーバ２と、画像処理ワークステーション３とが、ネットワーク９を経由して通信可能な状態で接続されている。
【００２５】
モダリティ１には、被検体の検査対象部位を撮影することにより、その部位を表す３次元医用画像の画像データを生成し、その画像データにＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格で規定された付帯情報を付加して、画像情報として出力する装置が含まれる。具体例としては、ＣＴ、ＭＲＩなどが挙げられる。本実施形態では、ＣＴで被検体である人体の体軸方向にスキャンすることによって人体の肝臓を含む腹部の３次元画像データを生成する場合について説明する。
【００２６】
画像保管サーバ２は、モダリティ１で取得された医用画像データや画像処理ワークステーション３での画像処理によって生成された医用画像の画像データを画像データベースに保存・管理するコンピュータであり、大容量外部記憶装置やデータベース管理用ソフトウェア（たとえば、ＯＲＤＢ（Object Relational Database）管理ソフトウェア）を備えている。
【００２７】
画像処理ワークステーション３は、読影者からの要求に応じて、モダリティ１や画像保管サーバ２から取得した医用画像データに対して画像処理（画像解析を含む）を行い、生成された画像を表示するコンピュータであり、ＣＰＵ，主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置（マウス、キーボード等）、表示装置（ディスプレイモニタ）、データバス等の周知のハードウェア構成を備え、周知のオペレーティングシステム等がインストールされたものである。本発明の投影画像生成処理を用いた手術シミュレーション機能は、この画像処理ワークステーション３に実装されており、この処理は、ＣＤ−ＲＯＭ等の記録媒体からインストールされたプログラムを実行することによって実現される。また、プログラムは、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされたものであってもよい。
【００２８】
画像データの格納形式やネットワーク９経由での各装置間の通信は、ＤＩＣＯＭ等のプロトコルに基づいている。
【００２９】
図２は、画像処理ワークステーション３の機能のうち、本発明の第１の実施形態となる手術シミュレーション機能に関連する部分を示すブロック図である。図に示すように、本発明の第１の実施形態となる手術シミュレーション機能は、３次元医用画像取得部１１、視線設定部１２、処置具位置設定部１３、病変位置特定部１４、表面位置検出部１５、交点検出部１６、投影画像生成部１７、表示制御部１８によって実現される。また、３次元医用画像Ｖ、投影画像ＩP、投影画像ＩPにおける視線VL、処置具の想定位置（以下、処置具位置）ＰT、肝臓中の病変位置ＰI、肝臓の表面位置SF、処置具の操作方向と肝臓の表面位置との交点ＰA、は、各々、上記各処理部によって、画像処理ワークステーション３の所定のメモリ領域に対して読み書きされるデータである。
【００３０】
図３は、本発明の第１の実施形態となる手術シミュレーションのためのソフトウェアの実行下でのユーザの操作や、演算処理、表示処理等の流れを示したフローチャートであり、図２も参照しつつ、本発明の第１の実施形態となる手術シミュレーションの流れについて説明する。
【００３１】
まず、モダリティ１による被検体の腹部の撮像により、３次元医用画像Ｖが形成される。画像処理ワークステーション３では、３次元医用画像取得部１１が、モダリティ１によって形成された３次元医用画像Ｖを取得した後(#1)、病変位置特定部１４が、３次元医用画像Ｖに表された肝臓中の病変を抽出し、その位置ＰIを特定するとともに(#2)、表面位置検出部１５が、３次元医用画像Ｖから肝臓の表面位置SFを検出する(#3)。一方、視線設定部１２および処置具位置設定部１３が、ユーザの操作に基づき、各々、後続のステップで生成される投影画像ＩPにおける視線VL、および、手術で用いられる処置具位置ＰTを設定する(#4)。
【００３２】
次に、投影画像生成部１７が、３次元医用画像Ｖを入力として、視線設定部１２によって設定された複数の視線VL上の画像情報を所与の投影面に投影した投影画像ＩPを生成する(#5, #6, #8, #9, #10)。その際、交点検出部１６が、処置具位置設定部１３によって設定された処置具位置ＰTから病変位置特定部１４によって特定された病変位置ＰIまで処置具を接近させる際の想定経路（操作方向）と表面位置検出部１５によって検出された肝臓の表面SFとの交点ＰAを検出し(#7)、投影画像生成部１７は、交点検出部１６によって検出された交点ＰAを通る視線VL上の画像情報が投影される位置に、交点ＰAを識別可能な態様で表した投影画像ＩPを生成する(#8)。なお、この一連の処理の詳細については後述するが、本実施形態では、交点検出部１６は、病変位置特定部１４によって抽出された病変位置ＰIを、処置具の操作方向にある肝臓の表面SFに平行投影することによって、交点ＰAを検出するように構成されており、この交点検出部１６の処理は投影画像生成部１７の視線毎の投影処理の中で逐次行われる。
【００３３】
そして、表示制御部１８が、生成された投影画像ＩPを画像処理ワークステーション３のディスプレイに表示させる(#11)。
【００３４】
次に、画像処理ワークステーション３内の各処理部で行われる処理の詳細について説明する。
【００３５】
３次元医用画像取得部１１は、モダリティ１から３次元医用画像Ｖを受信し、画像処理ワークステーション３の所定のメモリ領域に格納する通信インターフェース機能を有する。
【００３６】
視線設定部１２および処置具位置設定部１３は、各々、投影画像ＩPにおける視線VLおよび手術で用いられる処置具位置ＰTの設定のためのユーザ操作を受け付ける、図４に例示したような設定画面を含むユーザインターフェースを提示する。図に示したように、視線設定部１２および処置具位置設定部１３は、３次元医用画像Ｖに基づいてアキシャル断面画像を生成し、設定画面中に表示させる。ここで、アキシャル断面画像の断面の位置は、例えば、アキシャル断面画像の生成に先立って病変位置特定部１４で特定された病変位置ＰIの中心を通る位置とすることができ、さらに、ユーザによるキーボードやポインティングデバイス等を用いた操作に応じて断面位置を変更することができる。また、病変を表す領域（図中ＰIを付した領域）にはマーカーが重畳表示されている。ユーザが、例えば、ポインティングデバイスを用いてツールバー（図示せず）から視線設定のためのアイコンを選択した後、アキシャル断面画像中の所望の位置でクリック操作をしたままドラッグ操作をすることによって、視線方向を表す矢印（図中のVL）を描くと、視線設定部１２は、この操作を検知して３次元医用画像Ｖの座標空間における視線VLの向きを決定し、所定のメモリ領域に格納する。一方、ユーザが、例えば、ポインティングデバイスを用いてツールバー（図示せず）から処置具位置設定のためのアイコンを選択した後、アキシャル断面画像中の所望の処置具の想定位置でクリック操作すると（図中の点ＰT）、処置具設定部１３は、この操作を検知して３次元医用画像Ｖの座標空間における処置具位置ＰTの位置を特定し、所定のメモリ領域に格納する。なお、処置具位置ＰTが設定されることにより、処置具が病変位置ＰIの中心に向かう向き、すなわち、処置具の操作方向（図中のTL）が決定される。
【００３７】
病変位置特定部１４は、３次元医用画像Ｖを入力として、公知の画像認識手法を用いて、手術対象となる肝臓中の病変領域を抽出し、病変位置ＰIを特定する。例えば、本出願人が提案する特開2008-245719号公報に記載の手法を用いた場合、病変位置特定部１４は、アキシャル断面画像に対するユーザのポインティングデバイス等の操作による病変領域内の任意の点の設定を受け付け、予め定義しておいた病変領域のありうる大きさの情報を用いて、病変領域が存在し得る３次元の存在範囲を決定し、設定された点と、決定された存在範囲の外側の点とに基づいて、グラフカット法等の領域分割方法などを用いて病変領域を抽出することができる。なお、本実施形態では、病変位置ＰIは病変位置特定部１４によって抽出された３次元の病変領域を表す点の集合を意味する。以下では、文脈に応じて病変位置ＰIを病変領域ＰIと呼ぶ。
【００３８】
表面位置検出部１５は、３次元医用画像Ｖを入力として、公知の画像認識手法を用いて、肝臓の表面位置SFを検出する。例えば、本出願人が提案する特開2009-211138号公報に記載の手法を用いた場合、表面位置検出部１５は、まず、肝臓が表されたアキシャル断面画像に対するユーザによるポインティングデバイス等の操作に応じて、肝臓領域内の任意の点を設定する（以下、この点をユーザ設定点と呼ぶ）。次に、AdaBoost手法等の機械学習によって取得された識別器を用いて肝臓領域の輪郭の角ばった箇所を基準点として検出する。さらに、ユーザ設定点を中心として、肝臓を含む程度の大きさの３次元領域（以下、処理対象領域と呼ぶ）内の各点（ボクセル）について、AdaBoost手法等の機械学習によって取得された識別器を用いて、肝臓の輪郭上の点かどうかを表す評価値を算出する。そして、処理対象領域の外周上の各点を肝臓領域外の背景領域内の点と予め判定するとともに、ユーザ設定点および基準点が肝臓領域内の点であると予め判定した上で、さらに処理対象領域内の各点の評価値を用いて、グラフカット法を適用することによって、３次元医用画像Ｖから肝臓領域を抽出する。抽出された肝臓領域の輪郭が表面位置SFとなる。
【００３９】
交点検出部１６は、公知のレイキャスティング手法を応用して、病変位置ＰIを処置具の操作方向TLに肝臓の表面位置SF上に投影することによって、処置具の操作方向TLと肝臓の表面位置SFとの交点ＰA、すなわち、処置具の肝臓への進入位置を検出する。
【００４０】
一方、投影画像生成部１７は、３次元医用画像Ｖを入力とし、公知のレイキャスティングを用いたボリュームレンダリング手法を用いて視線VL方向への平行投影を行うことによって、投影画像ＩPを生成する。
【００４１】
ここで、本実施形態では、図３のフローチャートのステップ#6から#10に示したように、交点検出部１６と投影画像生成部１７とは一体的に処理を行う。以下、図５の模式図を参照しつつ、その処理内容を説明する。なお、病変位置特定部１４で検出された病変領域ＰIに属する各ボクセルには色情報（Ｒ，Ｇ，Ｂの各信号値）CIおよび不透明度αI（=1）、表面位置検出部１５で検出された肝臓の表面位置SFを表す各ボクセルには色情報CSFおよび不透明度αSF（=1）、他の領域には色情報COTおよび不透明度αOT（=0）が、各々、割り当てられるように、プログラムの起動パラメータや設定ファイル等で予め定義されている。
【００４２】
まず、投影画像生成部１７は、視線VL上の最初の探索点の情報を読み込み(#5)、その探索点が肝臓の表面位置SF上にあるかどうかを判定する(#6)。具体的には、その探索点自体、あるいは、その近傍の８ボクセルの少なくとも１つが表面位置SFにあるかどうかを判定する。その探索点が表面位置SF上ではない場合には(#6;No)、その探索点に割り当てられた色情報および不透明度を用いたレイキャスティング（視線方向レイキャスティング）を行う(#9)。一方、その探索点が表面位置SF上にある場合には(#6;Yes)、交点検出部１６が、その探索点から操作方向TLの被検体内部に向かう向きにレイキャスティング（操作方向レイキャスティング）を行い、計算結果となる色情報CTL、累積不透明度αTLを求める(#7)。そして、投影画像生成部１７は、その表面位置SF上の探索点に割り当てられた色情報CSFと、操作方向レイキャスティングによって得られた色情報CTLおよび累積不透明度αTLとから、その探索点における色情報をαTL・CTL＋（１−αTL）・CSFに置換して視線方向レイキャスティングを行う(#8)。以上の処理により、視線方向における１つの探索点に対するレイキャスティング処理が終わり、この時点で、視線方向レイキャスティングの終了条件を満たした場合、すなわち、視線方向レイキャスティングにおける累積不透明度αVLが1に達したか、探索点が３次元医用画像Ｖの範囲外に達したかのいずれかの場合(#10; Yes)、視線方向レイキャスティングを終了し、終了条件を満たしていない場合には(#10; No)、視線方向における次の探索点の情報を取得し(#5)、上記ステップ#6から#9の処理を終了条件を満たすまで(#10; Yes)、繰り返し行う。なお、図３のフローチャートには明示していないが、ステップ#5から#10までの処理は、投影画像ＩPを構成する各画素に対応する複数の視線のすべてに対して、並列にあるいは順次行われる。
【００４３】
図５に示した例では、視線VL1、VL2とも、各視線に沿った視線方向レイキャスティングにおいて、探索点が肝臓の表面位置SFに達するまでは探索点における不透明度αOTが0であるため、色情報は蓄積されない。そして、探索点が肝臓表面位置SFに達すると、各々、操作方向TL1、TL2に沿った操作方向レイキャスティングが行われる。まず、肝臓の表面位置SFにある視線VL1上の探索点では、その探索点からの操作方向レイキャスティングにおいて、探索点が病変領域ＰIに達するまでは探索点における不透明度αOTが0であるため、色情報CTL1および累積不透明度αTL1は蓄積されないが、探索点が病変領域ＰIに達すると、色情報CIが蓄積されるとともに、この病変領域ＰI内の探索点では不透明度αIが1であるため、操作方向レイキャスティングの終了条件（視線方向レイキャスティングの終了条件と同様）を満たし、操作方向レイキャスティングは終了する。したがって、この操作方向レイキャスティングによって色情報CTL1（＝病変領域ＰIの色情報CI）および累積不透明度αTL1（＝病変領域ＰIの不透明度αI＝１）が得られる。ここで、視線方向レイキャスティングに戻ると、肝臓の表面位置SFに割り当てられた色情報CSFと、操作方向レイキャスティングで得られた色情報CTL1（＝CI）および累積不透明度αTL1（＝１）とより、この探索点の色情報は、αTL1・CTL1＋（１−αTL1）・CSF＝CIとなり、肝臓の表面位置SF上の探索点に割り当てられた不透明度αSFが1のため、ここで視線方向レイキャスティングも終了条件を満たして終了する。これにより、視線VL1に対応する投影画像ＩPの画素の色情報はCIとなる。一方、肝臓の表面位置SFにある視線VL2上の探索点では、その探索点からの操作方向レイキャスティングにおいて、その操作方向TL2上に病変領域ＰI内の探索点が存在しないので、すべての探索点で不透明度はαOT（＝0）となり、色情報CTL2および累積透明度αTL2が蓄積されることなく、探索点が３次元医用画像Ｖの範囲外に達して終了条件を満たし、色情報CTL2および累積不透明度αTL2は0のまま操作方向レイキャスティングが終了する。ここで、視線方向レイキャスティングに戻ると、操作方向レイキャスティングで得られた色情報CTL2（＝0）および累積不透明度αTL2（＝0）とより、この探索点の色情報は、αTL2・CTL2＋（１−αTL2）・CSF＝CSFとなり、肝臓の表面位置SF上の探索点では不透明度αSFが1のため、ここで視線方向レイキャスティングも終了条件を満たして終了する。これにより、視線VL2に対応する投影画像ＩPの画素の色情報CSFとなる。
【００４４】
このように、視線方向レイキャスティングと操作方向レイキャスティングとを組み合わせて行うことにより、病変領域ＰIは操作方向に肝臓の表面SFに平行投影され、視線方向VLへの平行投影により、肝臓の表面の他の領域とは異なる色情報が投影画像ＩPの投影面に投影される。すなわち、処置具位置ＰTから病変位置ＰIまでの処置具の操作経路と肝臓の表面SFとの交点ＰAが検出され、投影画像ＩPに識別可能な態様で表されたことになる。
【００４５】
図６は、以上の処理によって生成された投影画像ＩPの一例を模式的に表したものである。図に示したとおり、肝臓の表面SFが投影されたボリュームレンダリング画像に、想定位置ＰTから病変領域ＰIに向かう処置具の進入位置である交点ＰAが重畳された画像となっている。
【００４６】
これに対して、図７および図８は、本発明の第１の実施形態に対する比較例であり、図７に模式的に表したように、病変領域ＰIを視線VLに沿って肝臓の表面位置SFに平行投影した場合、生成される投影画像は図８に示したようになり、病変領域ＰIの投影位置ＰA´は、本発明の第１の実施形態における投影位置ＰAとは異なり、処置具の進入位置とは一致しなくなる。なお、投影位置ＰAは比較対照のために描いたものであり、図７に示した投影方法では描出されない。
【００４７】
以上のように、本発明の第１の実施形態によれば、投影画像生成部１７が、３次元医用画像Ｖを入力として、視線設定部１２によって設定された複数の視線VL上の画像情報を所与の投影面に投影した投影画像ＩPを生成する際に、交点検出部１６が、病変位置特定部１４によって特定された病変領域ＰIを、処置具位置設定部１３によって設定された処置具の想定位置ＰTから病変領域ＰIまで処置具を接近させる際の操作方向に、肝臓の表面SFに平行投影することによって、交点ＰAを検出し、投影画像生成部１７は、検出された交点ＰAを通る視線上の画像情報が投影される位置に、交点ＰAを識別可能な態様で表した投影画像ＩPを生成することができる。これにより、病変領域ＰIを包含する肝臓への処置具の進入位置を、投影画像ＩP上で容易かつ的確に把握することが可能になる。また、この投影画像ＩPは、手術の際の視野と同様のものとすることができるので、この投影画像ＩPを手術シミュレーションで用いることによって、観察者は、違和感を覚えたり、混乱をきたしたりすることなく、通常の手術時に患部を観察するのと同じ感覚で、肝臓中の病変領域ＰIに対する処置具の接近経路上の様子をより容易に把握することが可能になり、手術の精度や安全性の向上に資する。
【００４８】
また、病変位置特定部１４によって抽出された病変位置ＰIは、処置具の操作方向に沿って肝臓の表面SFに平行投影されるので、病変位置ＰIの形状や大きさも肝臓の表面SF上にそのまま反映され、より観察に適した投影画像ＩPが得られる。
【００４９】
上記実施形態では、交点検出部１６と投影画像生成部１７とは、一体的に処理を行っているが、交点検出部１６が、まず、病変領域ＰIを操作方向TLに沿って肝臓の表面SFに投影し、その投影された肝臓の表面SF上の位置の色情報をαTL・CTL＋（１−αTL）・CSFに置換しておき、次に、投影画像生成部１７が視線方向VLに平行投影を行うようにしてもよい。あるいは、先に、投影画像生成部１７が視線方向VLに平行投影を行い、その後、交点検出部１６が、病変領域ＰIを操作方向TLに沿って肝臓の表面SFに投影し、投影された位置ＰAが投影される投影画像ＩP中の位置を特定し、その位置の色情報をαTL・CTL＋（１−αTL）・CSFに置換するようにしてもよい。
【００５０】
本発明の第２の実施形態は、肝臓内部の血管等の構造物ＰXに対して、色情報CX（≠0）、および、不透明度αX（0＜αX＜1）を割り当てるとともに、病変領域ＰIに対する不透明度αIを0＜αI＜1の範囲内に変更した形態である。また、交点検出部１６と投影画像生成部１７とは一体的に処理を行わず、上記のように交点検出部１６、投影画像生成部１７の順か、その逆の順に処理を行うようにした形態である。
【００５１】
これにより、図９に模式的に示したように、交点検出部１６による処置具の操作方向TLのレイキャスティングの際、病変領域ＰIだけでなく、処置具位置ＰTと病変領域ＰIを結ぶ直線上にある、色情報CXおよび不透明度αXが割り当てられた構造物ＰXも肝臓の表面SFに投影される。図１０は、本発明の第２の実施形態において生成される投影画像ＩPを模式的に表したものである。図に示したように、投影画像ＩP上において、操作方向TLと肝臓の表面SFが交わる位置に、病変領域ＰIを表す領域ＰAおよび他の構造物ＰXを表す領域ＰBが投影され、処置具の操作方向TLにおける病変領域ＰIと他の構造物ＰXとの位置関係が把握しやすくなるので、手術の際の要注意構造物（ここではＰX）等の発見が容易になり、手術の精度や安全性がさらに向上する。一方、本発明の第１の実施形態に対する比較例と同様に、病変領域ＰIと他の構造物ＰXとを視線方向VLに投影した場合、投影画像ＩP上では、各々、ＰA´、ＰB´のように投影されてしまい、処置具の操作方向TLにおける病変領域ＰIと他の構造物ＰXとの位置関係が把握しづらくなってしまう。
【００５２】
本発明の第３の実施形態は、上記第２の実施形態において、さらに、肝臓の表面SFに割り当てられた不透明度αSFを0＜αSF＜1の範囲内に変更した形態である。これにより、図１１に模式的に表したように、肝臓の表面SFを半透明化し、肝臓の内部の血管等の構造物を視認可能にしたボリュームレンダリング画像に、病変領域ＰIや構造物ＰXを処置具の操作方向TLに肝臓の表面SFに投影して重畳した投影画像ＩPを生成することが可能になり、肝臓の内部構造を観察しやすくしつつ、処置具の進入位置の把握も可能になる。
【００５３】
本発明の第４の実施形態は、公知のサーフェスレンダリング手法を用いて投影画像ＩPを生成するようにした形態である。具体的には、図１２に模式的に示したように、病変位置特定部１４が病変領域の表面モデルＰIを生成するとともに、表面位置検出部１５が肝臓の表面モデルSFを生成しておき、交点検出部１６が、病変領域の表面モデルＰIを処置具の操作方向TLに投影したときの肝臓の表面モデルSFとの交差部分に病変領域の表面モデルＰIを表すテクスチャを貼り付け、投影画像生成部１７が、視線方向VLから、病変領域の表面モデルＰIを表すテクスチャが貼り付けられた肝臓の表面モデルSFを可視化した投影画像ＩPを生成する。これにより、レンダリング手法の違いはあるものの、第１の実施形態と同様の効果が得られる。
【００５４】
本発明の第５の実施の形態は、手術ナビゲーション機能が実装された内視鏡観察支援システムである。図１３は、この内視鏡観察支援システムの概要を示すハードウェア構成図である。図に示したように、このシステムは、内視鏡１０１、デジタルプロセッサ１０２、光源装置１０３、実内視鏡画像用ディスプレイ１０４、モダリティ１０５、処置具１０６、内視鏡用マーカー１０７ａ、処置具用マーカー１０７ｂ、位置センサ１０８、画像処理ワークステーション１０９、画像処理ワークステーション用ディスプレイ（以下、ＷＳディスプレイ）１１０から構成されている。
【００５５】
本実施形態では、内視鏡１０１は腹腔用の硬性鏡であり、被検体の腹腔内に挿入される。光源装置１０３から光ファイバーで導かれた光が内視鏡１０１の先端部から照射され、内視鏡１０１の撮像光学系により被検体の腹腔内の画像が得られる。デジタルプロセッサ１０２は、内視鏡１０１で得られた撮像信号をデジタル画像信号に変換し、ホワイトバランス調整やシェーディング補正等のデジタル信号処理によって画質の補正を行った後、ＤＩＣＯＭ規格で規定された付帯情報を付加して、実内視鏡画像データ(ＩRE)を出力する。出力された実内視鏡画像データ(ＩRE)は、ＤＩＣＯＭ規格に準拠した通信プロトコルに従って、ＬＡＮ経由で画像処理ワークステーション１０９に送信される。また、デジタルプロセッサ１０２は、実内視鏡画像データ(ＩRE)をアナログ信号に変換して実内視鏡画像用ディスプレイ１０４に出力し、実内視鏡画像用ディスプレイ１０４には実内視鏡画像(ＩRE)が表示される。内視鏡１０１での撮像信号の取得は所定のフレームレートで行われるので、実内視鏡用ディスプレイ４では、実内視鏡画像(ＩRE)が腹腔内を表す動画として表示される。さらに、内視鏡１０１では、ユーザの操作に応じて静止画撮影も可能である。
【００５６】
モダリティ１０５は、第１から第４の実施形態のモダリティ１と同様であり、形成された３次元医用画像データ(Ｖ)は、ＤＩＣＯＭ規格に準拠した通信プロトコルに従って、ＬＡＮ経由で画像処理ワークステーション１０９に送信される。
【００５７】
内視鏡用マーカー１０７ａ、処置具用マーカー１０７ｂ、および、位置センサ１０８は、公知の３次元位置計測装置を構成する。内視鏡用マーカー１０７ａ、処置具用マーカー１０７ｂは、各々、内視鏡１０１および処置具１０６の手元付近に設けられており、光学式の位置センサ１０８によって、所定の時間間隔で各マーカー１０７ａ、１０７ｂの３次元位置が検出される。内視鏡用マーカー１０７ａ、処置具用マーカー１０７ｂは、各々、複数のマーカー片から構成されているので、位置センサ１０８は、各マーカー片の位置関係から内視鏡１０１や処理具１０６の向きも検出可能であり、オフセット計算によって、内視鏡１０１や処置具１０６の先端部の３次元位置(PSE、PST)を算出することができる。位置センサ１０８は、算出された内視鏡１０１および処置具１０６の３次元位置データ(PSE、PST)を、ＵＳＢインターフェースを介して画像処理ワークステーション１０９に送信する。
【００５８】
画像処理ワークステーション１０９は、ＣＰＵ、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、データバス等の周知のハードウェア構成を備えたコンピュータであり、入力装置（ポインティングデバイス、キーボード等）や、ＷＳディスプレイ１１０が接続されている。また、画像処理ワークステーション１０９は、デジタルプロセッサ１０２やモダリティ１０５とはＬＡＮ接続されており、位置センサ１０８とはＵＳＢ接続されている。さらに、画像処理ワークステーション１０９は、周知のオペレーティングシステムや各種アプリケーション・ソフトウェア等がインストールされたものであり、本発明の手術ナビゲーションを実行させるためのアプリケーションもインストールされている。これらのソフトウェアは、ＣＤ−ＲＯＭ等の記録媒体からインストールされたものであってもよいし、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされたものであってもよい。
【００５９】
図１４は、本発明の第５の実施形態における内視鏡観察支援システムを機能レベルで分割したブロック図である。図に示したように、本発明の第５の実施形態となる内視鏡観察得支援システムは、内視鏡１０１、実内視鏡画像形成部１０２、実内視鏡画像用ディスプレイ１０４、３次元医用画像形成部１０５、処置具１０６、ＷＳディスプレイ１１０、内視鏡位置検出部１１１、処置具位置検出部１１２、実内視鏡画像取得部１２１、内視鏡位置取得部１２２、処置具位置取得部１２３、３次元医用画像取得部１２４、病変位置特定部１２５、表面位置検出部１２６、交点検出部１２７、仮想内視鏡画像生成部１２８、表示制御部１２９から構成されている。なお、図１３に示したハードウェア機器と図１４に示した各機能ブロックとが概ね１対１に対応する場合には同じ符号を付している。すなわち、実内視鏡画像形成部１０２の機能は図１３のデジタルプロセッサによって実現され、３次元医用画像形成部１０５の機能は図１３のモダリティによって実現される。一方、内視鏡位置検出部１１１の機能は、内視鏡用マーカー１０７ａおよび位置センサ１０８によって、処置具位置検出部１１２の機能は、処置具用マーカー１０７ｂおよび位置センサ１０８によって、各々実現される。また、破線枠は画像処理ワークステーション１０９を示しており、破線枠内の各処理部の機能は、画像処理ワークステーション１０９で所定のプログラムを実行することによって実現される。さらに、破線枠内の、実内視鏡画像ＩRE、内視鏡位置ＰE、処置具位置ＰT、３次元医用画像Ｖ、病変位置ＰI、病変を遮蔽する構造物（以下、遮蔽構造物という）の表面位置SF、仮想内視鏡画像ＩVEは、各々、破線枠内の各処理部によって、画像処理ワークステーション１０９の所定のメモリ領域に対して読み書きされるデータである。
【００６０】
次に、図１５に示したフローチャートを用いて、本発明の第５の実施形態となる内視鏡観察支援システムで行われるユーザの操作や、上記各処理部で行われる処理の概略的な流れを説明する。
【００６１】
まず、内視鏡１０１を用いた被検体の腹腔内の観察に先立って、３次元医用画像形成部１０５による被検体の腹腔内の撮像により、３次元医用画像Ｖが形成される。画像処理ワークステーション１０９では、３次元医用画像取得部１２４が、３次元医用画像形成部１０５によって形成された３次元医用画像Ｖを取得した後(#101)、病変位置特定部１２５が、３次元医用画像Ｖに表された病変領域を抽出し、その位置ＰI（以下、第１の実施形態と同様に病変領域ＰIともいう）を特定するとともに(#102)、表面位置検出部１２６が、３次元医用画像Ｖから、遮蔽構造物の表面位置SFを検出する(#103)。
【００６２】
そして、図１５のフローチャートの右側に付記したように、病変領域ＰIを対象とする内視鏡下手術中、すなわち、内視鏡１０１を用いた被検体の腹腔内の観察中は、観察が終了するまで(#113; YES)、実内視鏡画像形成部１０２は、所定のフレームレートで、体腔内に挿入された内視鏡１０１による実内視鏡画像ＩREを繰り返し形成し、形成された実内視鏡画像ＩREは実内視鏡画像用ディスプレイ１０４にスルー動画としてリアルタイムに表示される。また、内視鏡位置検出部１１１および処置具位置検出部１１２は、各々、所定の時間間隔で、体腔内に挿入された内視鏡１０１および処置具１０６の各々の位置PSE、PSTを繰り返しリアルタイムに検出する。
【００６３】
画像処理ワークステーション１０９では、実内視鏡画像取得部１２１が、実内視鏡画像形成部１０２で形成された実内視鏡画像ＩREを取得し(#104)、これとほぼ同じタイミングで、内視鏡位置取得部１２２が、内視鏡位置検出部１１１で検出された内視鏡位置PSEを取得し、取得された内視鏡位置PSEを３次元医用画像Ｖの座標系における位置に変換して得られた内視鏡位置ＰEを出力するとともに、処置具位置取得部１２３が、処置具位置検出部１１２で検出された処置具位置PSTを取得し、取得された処置具位置PSTを３次元医用画像Ｖの座標系における位置に変換して得られた処置具位置ＰTを出力する(#105)。
【００６４】
仮想内視鏡画像生成部１２８は、３次元医用画像取得部１２４によって取得された３次元医用画像Ｖを入力として、内視鏡位置取得部１２２によって取得された内視鏡位置ＰEを視点とする複数の視線上の画像情報を所与の投影面に中心投影した仮想内視鏡画像ＩVEを生成する(#106, #107, #109, #110, #111)。その際、交点検出部１２７が、処置具位置取得部１２３によって取得された処置具位置ＰTから病変位置特定部１２５によって特定された病変位置ＰIまで処理具１０６を移動させる際の想定経路（操作方向）と、表面位置検出部１２６によって検出された遮蔽構造物の表面SFとの交点ＰAを検出し(#108)、仮想内視鏡画像生成部１２８は、交点検出部１２７によって検出された交点ＰAを通る視線上の画像情報が投影される位置に、交点ＰAを識別可能な態様で表した仮想内視鏡画像ＩVEを生成する(#109)。
【００６５】
そして、表示制御部１２９は、実内視鏡画像取得部１２１によって取得された実内視鏡画像ＩREと、仮想内視鏡画像生成部１２８によって生成された仮想内視鏡画像ＩVEとを重畳させてＷＳディスプレイ１１０に表示させる(#112)。
【００６６】
画像処理ワークステーション１０９では、観察終了を指示する操作が行わない限り(#113; No)、新たな実内視鏡画像ＩREの取得(#104)、その時点での内視鏡位置ＰEおよび処置具位置ＰTの取得(#105)、仮想内視鏡画像ＩVEの生成(#106から#111)、実内視鏡画像ＩREと仮想内視鏡画像ＩVEの重畳表示の更新(#112)が繰り返し行われる。これにより、ＷＳディスプレイ１１０では、実内視鏡画像ＩREと仮想内視鏡画像ＩVEとが時間的に同期した連続重畳表示が実現される。一方、観察終了を指示する操作が行われた場合には(#113; Yes)、画像処理ワークステーション１０９は、上記ステップ#104から#112までの繰返し処理を終了する。
【００６７】
次に、画像処理ワークステーション１０９内の各処理部で行われる処理の詳細について説明する。
【００６８】
実内視鏡画像取得部１２１は、実内視鏡画像形成部（デジタルプロセッサ）２との通信により、実内視鏡画像ＩREを受信し、画像処理ワークステーション１０９の所定のメモリ領域の格納する通信インターフェースであり、実内視鏡画像取得部１２１からの要求に基づいて実内視鏡画像形成部１０２から実内視鏡画像ＩREが転送される。
【００６９】
内視鏡位置取得部１２２は、内視鏡位置検出部１１１との通信により内視鏡位置PSEを取得する通信インターフェースとしての機能と、取得した内視鏡位置PSEを位置センサ１０８の３次元座標系から３次元医用画像Ｖの３次元座標系の座標値で表現された内視鏡位置ＰEに変換して画像処理ワークステーション１０９の所定のメモリ領域に格納する機能とを有する。前者の通信インターフェース機能では、内視鏡位置取得部１２２からの要求ベースで内視鏡位置検出部１１１から内視鏡位置PSEが取得される。また、後者の座標変換機能では、位置センサの３次元座標系における各座標軸と３次元医用画像Ｖの３次元座標系における各座標軸との向きの対応関係に基づいて、座標軸の回転量を予め求めておくとともに、３次元医用画像Ｖの原点に相当する被検体中の位置の、位置センサ１０８の３次元座標系における座標値を予め計測しておき、この原点の座標値に基づいて、両座標軸の平行移動量を求めておけば、その回転量の回転とその平行移動量の平行移動を行う行列を用いて、位置センサ１０８の３次元座標系で表現された内視鏡位置PSEを３次元医用画像Ｖの３次元座標系の座標値で表現された内視鏡位置ＰEに変換することができる。
【００７０】
処置具位置取得部１２３は、内視鏡位置取得部１２２と同様に、処置具位置検出部１１２との通信により処置具位置PSTを取得する通信インターフェースとしての機能と、取得した処置具位置PSTを位置センサ１０８の３次元座標系から３次元医用画像Ｖの３次元座標系の座標値で表現された処置具位置ＰTに変換して画像処理ワークステーション１０９の所定のメモリ領域に格納する機能とを有する。
【００７１】
３次元医用画像取得部１２４は、３次元医用画像形成部１０５から３次元医用画像Ｖを受信し、画像処理ワークステーション１０９の所定のメモリ領域に格納する通信インターフェース機能を有する。
【００７２】
病変位置特定部１２５は、第１から第４の実施形態の病変位置特定部１４と同様である。
【００７３】
表面位置検出部１２６は、第１の実施形態と同様に公知の画像認識技術を用いた手法を用いて、または、内視鏡位置ＰEからの中心投影の際の各視線上において、画素値が所定の閾値以上に急激に変化する位置、あるいは、画素値が所定の閾値以上となる位置を検出することによって、遮蔽構造物の表面SFを検出する。
【００７４】
交点検出部１２７は、処置具位置ＰTが処置具位置取得部１２３から得られた実際の処置具１０６の位置である点を除いて第１から第４の実施形態の交点検出部１６と同様である。
【００７５】
仮想内視鏡画像生成部１２８は、視線VL方向への平行投影ではなく、内視鏡位置取得部１２２で得られた内視鏡１０１の実際の位置ＰEを視点とする中心投影である点を除いて、第１から第４の実施形態の投影画像生成部１７と同様である。すなわち、仮想内視鏡画像生成部１２８は、本発明における投影画像生成手段に相当する。
【００７６】
したがって、図１５のステップ#106から#111までは図３のステップ#5から#10と同様である。すなわち、仮想内視鏡画像生成部１２８による視線方向レイキャスティングと交点検出部１２７による操作方向レイキャスティングとを組み合わせて行うことにより、病変領域ＰIは処置具１０６の実際の操作方向に遮蔽構造物の表面SFに平行投影され、実際の内視鏡の位置ＰEからの中心投影により、遮蔽構造物の表面SFとは異なる色情報が仮想内視鏡画像ＩVEの投影面に投影される。
【００７７】
表示制御部１２９は、実内視鏡画像ＩREと仮想内視鏡画像ＩVEとを視野の中心が一致するように重ね合わせた表示画像を生成し、ＷＳディスプレイ１１０に出力する。両画像の重ね合わせは公知のアルファブレンド処理を用いることができる。図１６はこの表示画像の一例を模式的に表したものであり、実内視鏡画像ＩREと、実内視鏡画像ＩREよりも視野の広い仮想内視鏡画像ＩVEとが重ね合わされ、仮想内視鏡画像ＩVE中において、遮蔽構造物の表面SFに操作方向に投影された病変領域ＰIがＰAとして識別可能な態様で表示されている。
【００７８】
以上のように、本発明の第５の実施形態では、交点検出部１２７が、処置具位置検出部１１２によって検出され、処置具位置取得部１２３によって座標変換された、実際の処置具１０６のリアルタイムの位置ＰTを用いて、病変位置ＰIが投影される操作方向を決定するとともに、仮想内視鏡画像生成部１２８が、内視鏡位置検出部１１１によって検出され、内視鏡位置取得部１２２によって座標変換された、実際の内視鏡１０１のリアルタイムの位置ＰEを中心投影の視点として仮想内視鏡画像ＩVEを生成するので、内視鏡位置検出部１１１や処置具位置検出部１１２が内視鏡１０１や処置具１０６の位置をリアルタイムに検出した結果のフィードバックによって仮想内視鏡の視野や、処置具１０６の遮蔽構造物への進入位置ＰAがリアルタイムに変更された仮想内視鏡画像ＩVEが連続的に表示される、いわゆる拡張現実感表示（Augmented Reality）が実現され、内視鏡下手術を動的にかつ的確に支援することが可能になる。
【００７９】
上記の各実施形態はあくまでも例示であり、上記のすべての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。
【００８０】
また、上記の実施形態におけるシステム構成、ハードウェア構成、処理フロー、モジュール構成、ユーザインターフェースや具体的処理内容等に対して、本発明の趣旨から逸脱しない範囲で様々な改変を行ったものも、本発明の技術的範囲に含まれる。
【００８１】
例えば、システム構成については、図１のシステム構成において、画像処理ワークステーション３を複数台で構成し、各ワークステーションで処理を分担してもよい。また、図１３のシステム構成において、画像保管サーバをＬＡＮ上に接続し、モダリティ１０５で形成された３次元医用画像Ｖは、いったん画像保管サーバのデータベースに格納されるようにし、画像処理ワークステーション１０９からの要求に応じて、画像保管サーバから画像処理ワークステーション１０９に３次元医用画像Ｖが転送されるようにしてもよい。
【００８２】
また、ハードウェア構成については、図１のモダリティ１や図１３のモダリティ１０５は、上記のＣＴ装置のほか、超音波診断装置やＭＲＩ装置等を用いてもよい。また、図１３の内視鏡１０１は、硬性鏡ではなく、軟性鏡やカプセル型内視鏡を用いてもよい。さらに、内視鏡位置検出部１１１や処置具位置検出部１１２は、磁気式のものを用いてもよいし、上記特許文献２に記載されているように、ジャイロやロータリーエンコーダ等を用いてもよい。
【００８３】
観察部位は肝臓や腹腔内ではなく、胸腔内等、被検体の他の部位であってもよい。
【００８４】
さらに、画像処理ワークステーション３、１０９の処理では、３次元医用画像取得部１１、１２４は、３次元医用画像Ｖを術前に取得するようにしてもよいし、術中に取得するようにしてもよい。ここで、第５の実施形態の場合、３次元医用画像Ｖを術中に取得する場合には、内視鏡用マーカー１０７ａ、処置具用マーカー１０７ｂ、位置センサ１０８を用いずに、術中に取得された３次元医用画像Ｖから公知のパターン認識により内視鏡１０１や処置具１０６の位置を検出するようにしてもよい。また、術中に３次元医用画像を連続的に取得する場合、被検体の被ばく量低減のため、モダリティ１、１０５には超音波診断装置を用いることが好ましい。
【００８５】
病変位置特定部１２５は、予め３次元医用画像Ｖの付帯情報として関連づけられた病変位置ＰIの情報を取得するようにしてもよい。
【００８６】
交点検出部１６、１２７は、表面位置SF上ではなく、表面位置SFと等価な位置、例えば、表面位置SFから数画素程度離れた位置等に、病変位置ＰIを平行投影するようにしてもよい。
【００８７】
また、交点検出部１６，１２７は、病変位置ＰIを操作方向に表面位置SF上に平行投影する代わりに、病変領域ＰIの中心と処置具位置ＰTとを結んだ操作方向を表す直線と表面位置SFとの交点ＰAの位置を算出するようにし、投影画像生成部１７または仮想内視鏡画像生成部１２８は、投影画像ＩPまたは仮想内視鏡画像ＩVE上における交点ＰAの位置に、矢印や丸印等のマーカー、テキストコメント等のアノテーションを付加するようにしてもよい。
【００８８】
第１の実施形態における投影画像生成部１７は、中心投影によって投影画像ＩPを生成するようにしてもよい。この場合、視線設定部１２の代わりに、視点位置を手動設定する処理部を設ければよい。
【００８９】
内視鏡位置取得部１２２や処置具位置取得部１２３で行われる座標変換を仮想内視鏡画像生成部１２８で行うようにしてもよい。
【符号の説明】
【００９０】
１ モダリティ
２ 画像保管サーバ
３ 画像処理ワークステーション
９ ネットワーク
１１ ３次元医用画像取得部
１２ 視線設定部
１３ 処置具位置設定部
１４ 病変位置特定部
１５ 表面位置検出部
１６ 交点検出部
１７ 投影画像生成部
１８ 表示制御部
１０１ 内視鏡
１０２ デジタルプロセッサ
１０３ 光源装置
１０４ 実内視鏡画像用ディスプレイ
１０５ モダリティ
１０６ 処置具
１０７ａ 内視鏡用マーカー
１０７ｂ 処置具用マーカー
１０８ 位置センサ
１０９ 画像処理ワークステーション
１１０ 画像処理ワークステーション用ディスプレイ
１１１ 内視鏡位置検出部
１１２ 処置具位置検出部
１２１ 実内視鏡画像取得部
１２２ 内視鏡位置取得部
１２３ 処置具位置取得部
１２４ ３次元医用画像取得部
１２５ 病変位置特定部
１２６ 表面位置検出部
１２７ 交点検出部
１２８ 仮想内視鏡画像生成部
１２９ 表示制御部
【技術分野】
【０００１】
本発明は、３次元医用画像に表された構造物を所与の視点から見る複数の視線上の画像情報を所与の投影面に投影した投影画像を生成する技術に関するものである。
【背景技術】
【０００２】
近年、マルチスライスＣＴ（ＭＤＣＴ）等のモダリティの進歩により、質の高い３次元画像データが取得できるようになり、これらの画像データを用いた画像診断では、高精細な断面画像が用いられるだけでなく、被検体の仮想的・疑似的な３次元画像も用いられるようになってきる。さらに、画像認識技術を用いた３次元医用画像からの臓器構造の抽出等も行われており、より構造が識別された３次元医用画像から仮想的・疑似的な３次元画像を生成することが可能になり、生成された画像は、手術前のプランニング、シミュレーションや手術中のナビゲーションのためにも利用されている。
【０００３】
被検体の仮想的・疑似的な３次元画像を生成する手法としては、ボリュームレンダリングやサーフェスレンダリング等のレンダリング技術を用いた手法が知られている。また、特に、被検体内の仮想的な視点からの透視投影（中心投影）によって得られる画像は、仮想内視鏡画像と呼ばれ、あたかも被検体内を内視鏡で観察しているかのような画像が得られる。
【０００４】
この仮想内視鏡画像を用いて内視鏡下での手術を支援する技術が提案されている。
【０００５】
例えば、特許文献１には、内視鏡の位置をセンサで検出し、検出位置を視点とし、内視鏡よりも広い画角を有する仮想内視鏡画像を生成し、内視鏡撮影で得られた実内視鏡画像と仮想内視鏡画像とを重畳表示する装置が記載されている。
【０００６】
また、特許文献２には、内視鏡の位置をリアルタイムに検出し、内視鏡と同じ視野を有し、視野内の血管配置が視覚化された仮想内視鏡画像を生成するとともに、内視鏡下での手術に用いられる処置具の位置をリアルタイムに検出し、仮想内視鏡画像中での処置具の位置に処置具を表す画像を合成した画像を生成し、合成画像と実内視鏡画像を表示する装置が記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００２−２６３０５３号公報
【特許文献２】特開２００５−２１３５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
内視鏡下の手術では、内視鏡の視線方向と処置具の操作方向は異なるため、これらの文献に記載されたような内視鏡の視点からの仮想内視鏡画像を用いて臓器内の病変を透視的に観察しても、その画像において、処置具の操作方向、すなわち、処置具が病変にアプローチする経路上の様子を把握することは困難である。例えば、図７に模式的に示したように、視線方向VLが視野の中心となる仮想内視鏡画像では、処置具が臓器内に進入する位置を把握することは難しく、また、半透明化により、臓器内に存在する血管等の手術上注意すべき他の構造物を観察することは可能であるが、その構造物が処置具の進入位置から病変までの経路上に存在するかどうかについても把握することが難しい。
【０００９】
本発明は上記事情に鑑みてなされたものであり、臓器中の病変のように他の構造物によって遮蔽された注目構造物に対する処置具の接近経路上の様子をより容易に把握可能な投影画像を生成する装置および方法、並びにプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【００１０】
本発明の投影画像生成装置は、３次元医用画像を入力として、該３次元医用画像に表された第１の構造物を所与の視点から見る複数の視線上の画像情報を所与の投影面に投影した投影画像を生成する投影画像生成手段を備えた投影画像生成装置に、前記３次元医用画像の座標空間内に処置具の想定位置を設定する処置具位置設定手段と、前記３次元医用画像から前記第１の構造物の表面を検出する表面検出手段と、前記３次元医用画像に表された、前記処置具の想定位置から見たときに前記第１の構造物によって遮蔽される位置にある第２の構造物を特定する第２の構造物特定手段と、前記処置具を前記想定位置から前記第２の構造物に接近させる際の想定経路と前記第１の構造物の表面との交点を検出する交点検出手段とを設け、前記投影画像生成手段が、前記投影面上における、前記視点と前記交点とを結ぶ視線上の画像情報が投影される位置に、前記交点を識別可能な態様で表した前記投影画像を生成するようにしたものである。
【００１１】
本発明の投影画像生成方法は、３次元医用画像を入力として、該３次元医用画像に表された第１の構造物を所与の視点から見る複数の視線上の画像情報を所与の投影面に投影した投影画像を生成する方法であって、前記３次元医用画像の座標空間において、前記視点から前記第１の構造物を見たときの該第１の構造物の正面側であって、該第１の構造物の外側に、処置具の想定位置を設定するステップと、前記３次元医用画像から前記第１の構造物の表面を検出するステップと、前記３次元医用画像に表された、前記処置具の想定位置から見たときに前記第１の構造物によって遮蔽される位置にある第２の構造物を特定するステップと、前記処置具を前記想定位置から前記第２の構造物に接近させる際の想定経路と前記第１の構造物の表面との交点を検出するステップとをさらに行うようにし、前記投影画像を生成するステップにおいて、前記投影面上における、前記視点と前記交点とを結ぶ視線上の画像情報が投影される位置に、前記交点を識別可能な態様で表した前記投影画像を生成するようにしたものである。
【００１２】
本発明の投影画像生成プログラムは、コンピュータを上記投影画像生成装置として機能させるために、上記投影画像生成装置の各手段を処理ステップとしてコンピュータに実行させるものである。
【００１３】
ここで、「第１の構造物」は、処置具の想定位置から見たときに「第２の構造物」を遮蔽するものである。「第１の構造物」と「第２の構造物」の具体例としては、第１の構造物である臓器の内部に第２の構造物である病変が存在する場合が挙げられる。あるいは、処置具の想定位置から見て、第１の構造物の後方に第２の構造物が存在する場合であってもよい。また、「第１の構造物」の他の具体例としては、体表が挙げられる。一方、「第２の構造物」は、典型的には、処置具による処置対象、すなわち、手術対象部位である。
【００１４】
「投影画像」の生成の際の所与の視点から所与の投影面への投影方法は、中心投影としてもよいし、視点が無限遠方にあると考えて平行投影としてもよい。
【００１５】
「複数の視線上の画像情報」を投影する際、各視線上の画像情報は、視線の近傍の画素の画像情報を用いた補間演算によって求められたものであってもよい。
【００１６】
「所与の視点」は、ユーザの手動操作によって設定された位置としてもよいし、３次元医用画像の座標空間における、内視鏡位置検出手段によってリアルタイムに検出された被検体の体腔内に挿入された内視鏡の位置に対応する位置としてもよい。
【００１７】
この場合、内視鏡によるリアルタイムの撮像によって体腔内を表す実内視鏡画像を形成するようにし、さらに、実内視鏡画像と、その実内視鏡画像の形成とほぼ同じタイミングで内視鏡位置検出手段によって検出された内視鏡の位置に基づく投影画像とを重畳させた重畳画像を生成するようにしてもよい。
【００１８】
「処置具の想定位置」は、ユーザの手動操作によって設定された位置としてもよいし、３次元医用画像の座標空間における、処置具位置検出手段によってリアルタイムに検出された被検体の体腔内に挿入された処置具の位置に対応する位置としてもよい。
【００１９】
「第１の構造物の表面を検出する」方法や「第２の構造物を特定する」方法は、公知の画像認識技術を用いた自動的方法、ユーザの手動操作による方法、両者を組み合わせた方法のいずれであってもよい。
【００２０】
「交点を検出する」方法の具体例としては、第２の構造物を、第２の構造物から処置具の想定位置に向かう方向にある第１の構造物の表面に投影することによって、交点を検出する方法が挙げられる。この場合、第１の構造物の表面に投影された第２の構造物を、前記所与の視点から投影画像の投影面に投影することによって、投影画像中で「交点を識別可能な態様で表す」ことができる。ここで、第１の構造物の表面に投影された第２の構造物は、平行投影によって投影を行うことが好ましい。
【００２１】
さらに、その際、処置具の位置から見て第２の構造物の手前にある第３の構造物を、第２の構造物から処置具の想定位置に向かう方向にある第１の構造物の表面にさらに投影するようにしてもよい。ここで、「第３の構造物」の具体例としては、手術において注意を有する解剖学的構造物、すなわち、血管や、臓器、腫瘍等が挙げられる。
【発明の効果】
【００２２】
本発明では、処置具の想定位置から見たときに第１の構造物によって遮蔽された第２の構造物が表された３次元医用画像を入力として、所与の視点からの複数の視線上の画像情報を所与の投影面に投影した投影画像を生成する際に、処置具をその想定位置から第２の構造物に接近させる際の想定経路と第１の構造物の表面との交点を検出し、投影画像の投影面上における、視点と交点とを結ぶ視線上の画像情報が投影される位置に、その交点を識別可能な態様で表すことができる。これにより、注目対象である第２の構造物を遮蔽する第１の構造物への処置具の進入位置を、所与の視点からの投影画像上で把握することが可能になる。この所与の視点からの投影画像を通常の診断や手術シミュレーション、手術ナビゲーションで用いる視点からの画像にすれば、観察者は、違和感を覚えたり、混乱をきたしたりすることなく、通常の画像を観察するのと同じ感覚で、臓器中の病変のように他の構造物（第１の構造物）によって遮蔽された注目構造物（第２の構造物）に対する処置具の接近経路上の様子をより容易に把握することが可能になり、手術の精度や安全性の向上に資する。
【図面の簡単な説明】
【００２３】
【図１】本発明の第１の実施の形態となる手術シミュレーション機能が実装された医用画像診断システムの概略構成図
【図２】本発明の第１の実施形態における手術シミュレーション機能を実現する構成および処理の流れを模式的に示したブロック図
【図３】本発明の実施形態における医用画像診断システムを用いた手術シミュレーションの流れを表したフローチャート
【図４】投影画像の視線および処置具の位置の設定を行う画面の一例を模式的に表した図
【図５】視線方向のレイキャスティングと処置具の操作方向のレイキャスティングを模式的に表した図
【図６】本発明の第１の実施形態において生成される投影画像の一例を模式的に表した図
【図７】本発明に対する比較例における視線方向のレイキャスティングを模式的に表した図
【図８】本発明に対する比較例において生成される投影画像の一例を模式的に表した図
【図９】本発明の第２の実施形態およびその比較例におけるレイキャスティングを模式的に表した図
【図１０】本発明の第２の実施形態およびその比較例において生成される投影画像の一例を模式的に表した図
【図１１】本発明の第３の実施形態において生成される投影画像の一例を模式的に表した図
【図１２】本発明の第４の実施形態においてサーフェスレンダリングによって投影画像が生成される様子を模式的に表した図
【図１３】本発明の第５の実施の形態となる手術ナビゲーション機能が実装された内視鏡観察支援システムのハードウェア構成図
【図１４】本発明の第５の実施形態における内視鏡観察支援システムの機能ブロック図
【図１５】本発明の第５の実施形態における内視鏡観察支援システムを用いた手術ナビゲーションの流れを表したフローチャート
【図１６】本発明の第５の実施形態において生成される、実内視鏡画像と仮想内視鏡画像を重畳した表示画像の一例を模式的に表した図
【発明を実施するための形態】
【００２４】
図１は、本発明の第１の実施形態となる手術シミュレーション機能が実装された医用画像診断システムの概要を示すハードウェア構成図である。図に示すように、このシステムでは、モダリティ１と、画像保管サーバ２と、画像処理ワークステーション３とが、ネットワーク９を経由して通信可能な状態で接続されている。
【００２５】
モダリティ１には、被検体の検査対象部位を撮影することにより、その部位を表す３次元医用画像の画像データを生成し、その画像データにＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格で規定された付帯情報を付加して、画像情報として出力する装置が含まれる。具体例としては、ＣＴ、ＭＲＩなどが挙げられる。本実施形態では、ＣＴで被検体である人体の体軸方向にスキャンすることによって人体の肝臓を含む腹部の３次元画像データを生成する場合について説明する。
【００２６】
画像保管サーバ２は、モダリティ１で取得された医用画像データや画像処理ワークステーション３での画像処理によって生成された医用画像の画像データを画像データベースに保存・管理するコンピュータであり、大容量外部記憶装置やデータベース管理用ソフトウェア（たとえば、ＯＲＤＢ（Object Relational Database）管理ソフトウェア）を備えている。
【００２７】
画像処理ワークステーション３は、読影者からの要求に応じて、モダリティ１や画像保管サーバ２から取得した医用画像データに対して画像処理（画像解析を含む）を行い、生成された画像を表示するコンピュータであり、ＣＰＵ，主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置（マウス、キーボード等）、表示装置（ディスプレイモニタ）、データバス等の周知のハードウェア構成を備え、周知のオペレーティングシステム等がインストールされたものである。本発明の投影画像生成処理を用いた手術シミュレーション機能は、この画像処理ワークステーション３に実装されており、この処理は、ＣＤ−ＲＯＭ等の記録媒体からインストールされたプログラムを実行することによって実現される。また、プログラムは、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされたものであってもよい。
【００２８】
画像データの格納形式やネットワーク９経由での各装置間の通信は、ＤＩＣＯＭ等のプロトコルに基づいている。
【００２９】
図２は、画像処理ワークステーション３の機能のうち、本発明の第１の実施形態となる手術シミュレーション機能に関連する部分を示すブロック図である。図に示すように、本発明の第１の実施形態となる手術シミュレーション機能は、３次元医用画像取得部１１、視線設定部１２、処置具位置設定部１３、病変位置特定部１４、表面位置検出部１５、交点検出部１６、投影画像生成部１７、表示制御部１８によって実現される。また、３次元医用画像Ｖ、投影画像ＩP、投影画像ＩPにおける視線VL、処置具の想定位置（以下、処置具位置）ＰT、肝臓中の病変位置ＰI、肝臓の表面位置SF、処置具の操作方向と肝臓の表面位置との交点ＰA、は、各々、上記各処理部によって、画像処理ワークステーション３の所定のメモリ領域に対して読み書きされるデータである。
【００３０】
図３は、本発明の第１の実施形態となる手術シミュレーションのためのソフトウェアの実行下でのユーザの操作や、演算処理、表示処理等の流れを示したフローチャートであり、図２も参照しつつ、本発明の第１の実施形態となる手術シミュレーションの流れについて説明する。
【００３１】
まず、モダリティ１による被検体の腹部の撮像により、３次元医用画像Ｖが形成される。画像処理ワークステーション３では、３次元医用画像取得部１１が、モダリティ１によって形成された３次元医用画像Ｖを取得した後(#1)、病変位置特定部１４が、３次元医用画像Ｖに表された肝臓中の病変を抽出し、その位置ＰIを特定するとともに(#2)、表面位置検出部１５が、３次元医用画像Ｖから肝臓の表面位置SFを検出する(#3)。一方、視線設定部１２および処置具位置設定部１３が、ユーザの操作に基づき、各々、後続のステップで生成される投影画像ＩPにおける視線VL、および、手術で用いられる処置具位置ＰTを設定する(#4)。
【００３２】
次に、投影画像生成部１７が、３次元医用画像Ｖを入力として、視線設定部１２によって設定された複数の視線VL上の画像情報を所与の投影面に投影した投影画像ＩPを生成する(#5, #6, #8, #9, #10)。その際、交点検出部１６が、処置具位置設定部１３によって設定された処置具位置ＰTから病変位置特定部１４によって特定された病変位置ＰIまで処置具を接近させる際の想定経路（操作方向）と表面位置検出部１５によって検出された肝臓の表面SFとの交点ＰAを検出し(#7)、投影画像生成部１７は、交点検出部１６によって検出された交点ＰAを通る視線VL上の画像情報が投影される位置に、交点ＰAを識別可能な態様で表した投影画像ＩPを生成する(#8)。なお、この一連の処理の詳細については後述するが、本実施形態では、交点検出部１６は、病変位置特定部１４によって抽出された病変位置ＰIを、処置具の操作方向にある肝臓の表面SFに平行投影することによって、交点ＰAを検出するように構成されており、この交点検出部１６の処理は投影画像生成部１７の視線毎の投影処理の中で逐次行われる。
【００３３】
そして、表示制御部１８が、生成された投影画像ＩPを画像処理ワークステーション３のディスプレイに表示させる(#11)。
【００３４】
次に、画像処理ワークステーション３内の各処理部で行われる処理の詳細について説明する。
【００３５】
３次元医用画像取得部１１は、モダリティ１から３次元医用画像Ｖを受信し、画像処理ワークステーション３の所定のメモリ領域に格納する通信インターフェース機能を有する。
【００３６】
視線設定部１２および処置具位置設定部１３は、各々、投影画像ＩPにおける視線VLおよび手術で用いられる処置具位置ＰTの設定のためのユーザ操作を受け付ける、図４に例示したような設定画面を含むユーザインターフェースを提示する。図に示したように、視線設定部１２および処置具位置設定部１３は、３次元医用画像Ｖに基づいてアキシャル断面画像を生成し、設定画面中に表示させる。ここで、アキシャル断面画像の断面の位置は、例えば、アキシャル断面画像の生成に先立って病変位置特定部１４で特定された病変位置ＰIの中心を通る位置とすることができ、さらに、ユーザによるキーボードやポインティングデバイス等を用いた操作に応じて断面位置を変更することができる。また、病変を表す領域（図中ＰIを付した領域）にはマーカーが重畳表示されている。ユーザが、例えば、ポインティングデバイスを用いてツールバー（図示せず）から視線設定のためのアイコンを選択した後、アキシャル断面画像中の所望の位置でクリック操作をしたままドラッグ操作をすることによって、視線方向を表す矢印（図中のVL）を描くと、視線設定部１２は、この操作を検知して３次元医用画像Ｖの座標空間における視線VLの向きを決定し、所定のメモリ領域に格納する。一方、ユーザが、例えば、ポインティングデバイスを用いてツールバー（図示せず）から処置具位置設定のためのアイコンを選択した後、アキシャル断面画像中の所望の処置具の想定位置でクリック操作すると（図中の点ＰT）、処置具設定部１３は、この操作を検知して３次元医用画像Ｖの座標空間における処置具位置ＰTの位置を特定し、所定のメモリ領域に格納する。なお、処置具位置ＰTが設定されることにより、処置具が病変位置ＰIの中心に向かう向き、すなわち、処置具の操作方向（図中のTL）が決定される。
【００３７】
病変位置特定部１４は、３次元医用画像Ｖを入力として、公知の画像認識手法を用いて、手術対象となる肝臓中の病変領域を抽出し、病変位置ＰIを特定する。例えば、本出願人が提案する特開2008-245719号公報に記載の手法を用いた場合、病変位置特定部１４は、アキシャル断面画像に対するユーザのポインティングデバイス等の操作による病変領域内の任意の点の設定を受け付け、予め定義しておいた病変領域のありうる大きさの情報を用いて、病変領域が存在し得る３次元の存在範囲を決定し、設定された点と、決定された存在範囲の外側の点とに基づいて、グラフカット法等の領域分割方法などを用いて病変領域を抽出することができる。なお、本実施形態では、病変位置ＰIは病変位置特定部１４によって抽出された３次元の病変領域を表す点の集合を意味する。以下では、文脈に応じて病変位置ＰIを病変領域ＰIと呼ぶ。
【００３８】
表面位置検出部１５は、３次元医用画像Ｖを入力として、公知の画像認識手法を用いて、肝臓の表面位置SFを検出する。例えば、本出願人が提案する特開2009-211138号公報に記載の手法を用いた場合、表面位置検出部１５は、まず、肝臓が表されたアキシャル断面画像に対するユーザによるポインティングデバイス等の操作に応じて、肝臓領域内の任意の点を設定する（以下、この点をユーザ設定点と呼ぶ）。次に、AdaBoost手法等の機械学習によって取得された識別器を用いて肝臓領域の輪郭の角ばった箇所を基準点として検出する。さらに、ユーザ設定点を中心として、肝臓を含む程度の大きさの３次元領域（以下、処理対象領域と呼ぶ）内の各点（ボクセル）について、AdaBoost手法等の機械学習によって取得された識別器を用いて、肝臓の輪郭上の点かどうかを表す評価値を算出する。そして、処理対象領域の外周上の各点を肝臓領域外の背景領域内の点と予め判定するとともに、ユーザ設定点および基準点が肝臓領域内の点であると予め判定した上で、さらに処理対象領域内の各点の評価値を用いて、グラフカット法を適用することによって、３次元医用画像Ｖから肝臓領域を抽出する。抽出された肝臓領域の輪郭が表面位置SFとなる。
【００３９】
交点検出部１６は、公知のレイキャスティング手法を応用して、病変位置ＰIを処置具の操作方向TLに肝臓の表面位置SF上に投影することによって、処置具の操作方向TLと肝臓の表面位置SFとの交点ＰA、すなわち、処置具の肝臓への進入位置を検出する。
【００４０】
一方、投影画像生成部１７は、３次元医用画像Ｖを入力とし、公知のレイキャスティングを用いたボリュームレンダリング手法を用いて視線VL方向への平行投影を行うことによって、投影画像ＩPを生成する。
【００４１】
ここで、本実施形態では、図３のフローチャートのステップ#6から#10に示したように、交点検出部１６と投影画像生成部１７とは一体的に処理を行う。以下、図５の模式図を参照しつつ、その処理内容を説明する。なお、病変位置特定部１４で検出された病変領域ＰIに属する各ボクセルには色情報（Ｒ，Ｇ，Ｂの各信号値）CIおよび不透明度αI（=1）、表面位置検出部１５で検出された肝臓の表面位置SFを表す各ボクセルには色情報CSFおよび不透明度αSF（=1）、他の領域には色情報COTおよび不透明度αOT（=0）が、各々、割り当てられるように、プログラムの起動パラメータや設定ファイル等で予め定義されている。
【００４２】
まず、投影画像生成部１７は、視線VL上の最初の探索点の情報を読み込み(#5)、その探索点が肝臓の表面位置SF上にあるかどうかを判定する(#6)。具体的には、その探索点自体、あるいは、その近傍の８ボクセルの少なくとも１つが表面位置SFにあるかどうかを判定する。その探索点が表面位置SF上ではない場合には(#6;No)、その探索点に割り当てられた色情報および不透明度を用いたレイキャスティング（視線方向レイキャスティング）を行う(#9)。一方、その探索点が表面位置SF上にある場合には(#6;Yes)、交点検出部１６が、その探索点から操作方向TLの被検体内部に向かう向きにレイキャスティング（操作方向レイキャスティング）を行い、計算結果となる色情報CTL、累積不透明度αTLを求める(#7)。そして、投影画像生成部１７は、その表面位置SF上の探索点に割り当てられた色情報CSFと、操作方向レイキャスティングによって得られた色情報CTLおよび累積不透明度αTLとから、その探索点における色情報をαTL・CTL＋（１−αTL）・CSFに置換して視線方向レイキャスティングを行う(#8)。以上の処理により、視線方向における１つの探索点に対するレイキャスティング処理が終わり、この時点で、視線方向レイキャスティングの終了条件を満たした場合、すなわち、視線方向レイキャスティングにおける累積不透明度αVLが1に達したか、探索点が３次元医用画像Ｖの範囲外に達したかのいずれかの場合(#10; Yes)、視線方向レイキャスティングを終了し、終了条件を満たしていない場合には(#10; No)、視線方向における次の探索点の情報を取得し(#5)、上記ステップ#6から#9の処理を終了条件を満たすまで(#10; Yes)、繰り返し行う。なお、図３のフローチャートには明示していないが、ステップ#5から#10までの処理は、投影画像ＩPを構成する各画素に対応する複数の視線のすべてに対して、並列にあるいは順次行われる。
【００４３】
図５に示した例では、視線VL1、VL2とも、各視線に沿った視線方向レイキャスティングにおいて、探索点が肝臓の表面位置SFに達するまでは探索点における不透明度αOTが0であるため、色情報は蓄積されない。そして、探索点が肝臓表面位置SFに達すると、各々、操作方向TL1、TL2に沿った操作方向レイキャスティングが行われる。まず、肝臓の表面位置SFにある視線VL1上の探索点では、その探索点からの操作方向レイキャスティングにおいて、探索点が病変領域ＰIに達するまでは探索点における不透明度αOTが0であるため、色情報CTL1および累積不透明度αTL1は蓄積されないが、探索点が病変領域ＰIに達すると、色情報CIが蓄積されるとともに、この病変領域ＰI内の探索点では不透明度αIが1であるため、操作方向レイキャスティングの終了条件（視線方向レイキャスティングの終了条件と同様）を満たし、操作方向レイキャスティングは終了する。したがって、この操作方向レイキャスティングによって色情報CTL1（＝病変領域ＰIの色情報CI）および累積不透明度αTL1（＝病変領域ＰIの不透明度αI＝１）が得られる。ここで、視線方向レイキャスティングに戻ると、肝臓の表面位置SFに割り当てられた色情報CSFと、操作方向レイキャスティングで得られた色情報CTL1（＝CI）および累積不透明度αTL1（＝１）とより、この探索点の色情報は、αTL1・CTL1＋（１−αTL1）・CSF＝CIとなり、肝臓の表面位置SF上の探索点に割り当てられた不透明度αSFが1のため、ここで視線方向レイキャスティングも終了条件を満たして終了する。これにより、視線VL1に対応する投影画像ＩPの画素の色情報はCIとなる。一方、肝臓の表面位置SFにある視線VL2上の探索点では、その探索点からの操作方向レイキャスティングにおいて、その操作方向TL2上に病変領域ＰI内の探索点が存在しないので、すべての探索点で不透明度はαOT（＝0）となり、色情報CTL2および累積透明度αTL2が蓄積されることなく、探索点が３次元医用画像Ｖの範囲外に達して終了条件を満たし、色情報CTL2および累積不透明度αTL2は0のまま操作方向レイキャスティングが終了する。ここで、視線方向レイキャスティングに戻ると、操作方向レイキャスティングで得られた色情報CTL2（＝0）および累積不透明度αTL2（＝0）とより、この探索点の色情報は、αTL2・CTL2＋（１−αTL2）・CSF＝CSFとなり、肝臓の表面位置SF上の探索点では不透明度αSFが1のため、ここで視線方向レイキャスティングも終了条件を満たして終了する。これにより、視線VL2に対応する投影画像ＩPの画素の色情報CSFとなる。
【００４４】
このように、視線方向レイキャスティングと操作方向レイキャスティングとを組み合わせて行うことにより、病変領域ＰIは操作方向に肝臓の表面SFに平行投影され、視線方向VLへの平行投影により、肝臓の表面の他の領域とは異なる色情報が投影画像ＩPの投影面に投影される。すなわち、処置具位置ＰTから病変位置ＰIまでの処置具の操作経路と肝臓の表面SFとの交点ＰAが検出され、投影画像ＩPに識別可能な態様で表されたことになる。
【００４５】
図６は、以上の処理によって生成された投影画像ＩPの一例を模式的に表したものである。図に示したとおり、肝臓の表面SFが投影されたボリュームレンダリング画像に、想定位置ＰTから病変領域ＰIに向かう処置具の進入位置である交点ＰAが重畳された画像となっている。
【００４６】
これに対して、図７および図８は、本発明の第１の実施形態に対する比較例であり、図７に模式的に表したように、病変領域ＰIを視線VLに沿って肝臓の表面位置SFに平行投影した場合、生成される投影画像は図８に示したようになり、病変領域ＰIの投影位置ＰA´は、本発明の第１の実施形態における投影位置ＰAとは異なり、処置具の進入位置とは一致しなくなる。なお、投影位置ＰAは比較対照のために描いたものであり、図７に示した投影方法では描出されない。
【００４７】
以上のように、本発明の第１の実施形態によれば、投影画像生成部１７が、３次元医用画像Ｖを入力として、視線設定部１２によって設定された複数の視線VL上の画像情報を所与の投影面に投影した投影画像ＩPを生成する際に、交点検出部１６が、病変位置特定部１４によって特定された病変領域ＰIを、処置具位置設定部１３によって設定された処置具の想定位置ＰTから病変領域ＰIまで処置具を接近させる際の操作方向に、肝臓の表面SFに平行投影することによって、交点ＰAを検出し、投影画像生成部１７は、検出された交点ＰAを通る視線上の画像情報が投影される位置に、交点ＰAを識別可能な態様で表した投影画像ＩPを生成することができる。これにより、病変領域ＰIを包含する肝臓への処置具の進入位置を、投影画像ＩP上で容易かつ的確に把握することが可能になる。また、この投影画像ＩPは、手術の際の視野と同様のものとすることができるので、この投影画像ＩPを手術シミュレーションで用いることによって、観察者は、違和感を覚えたり、混乱をきたしたりすることなく、通常の手術時に患部を観察するのと同じ感覚で、肝臓中の病変領域ＰIに対する処置具の接近経路上の様子をより容易に把握することが可能になり、手術の精度や安全性の向上に資する。
【００４８】
また、病変位置特定部１４によって抽出された病変位置ＰIは、処置具の操作方向に沿って肝臓の表面SFに平行投影されるので、病変位置ＰIの形状や大きさも肝臓の表面SF上にそのまま反映され、より観察に適した投影画像ＩPが得られる。
【００４９】
上記実施形態では、交点検出部１６と投影画像生成部１７とは、一体的に処理を行っているが、交点検出部１６が、まず、病変領域ＰIを操作方向TLに沿って肝臓の表面SFに投影し、その投影された肝臓の表面SF上の位置の色情報をαTL・CTL＋（１−αTL）・CSFに置換しておき、次に、投影画像生成部１７が視線方向VLに平行投影を行うようにしてもよい。あるいは、先に、投影画像生成部１７が視線方向VLに平行投影を行い、その後、交点検出部１６が、病変領域ＰIを操作方向TLに沿って肝臓の表面SFに投影し、投影された位置ＰAが投影される投影画像ＩP中の位置を特定し、その位置の色情報をαTL・CTL＋（１−αTL）・CSFに置換するようにしてもよい。
【００５０】
本発明の第２の実施形態は、肝臓内部の血管等の構造物ＰXに対して、色情報CX（≠0）、および、不透明度αX（0＜αX＜1）を割り当てるとともに、病変領域ＰIに対する不透明度αIを0＜αI＜1の範囲内に変更した形態である。また、交点検出部１６と投影画像生成部１７とは一体的に処理を行わず、上記のように交点検出部１６、投影画像生成部１７の順か、その逆の順に処理を行うようにした形態である。
【００５１】
これにより、図９に模式的に示したように、交点検出部１６による処置具の操作方向TLのレイキャスティングの際、病変領域ＰIだけでなく、処置具位置ＰTと病変領域ＰIを結ぶ直線上にある、色情報CXおよび不透明度αXが割り当てられた構造物ＰXも肝臓の表面SFに投影される。図１０は、本発明の第２の実施形態において生成される投影画像ＩPを模式的に表したものである。図に示したように、投影画像ＩP上において、操作方向TLと肝臓の表面SFが交わる位置に、病変領域ＰIを表す領域ＰAおよび他の構造物ＰXを表す領域ＰBが投影され、処置具の操作方向TLにおける病変領域ＰIと他の構造物ＰXとの位置関係が把握しやすくなるので、手術の際の要注意構造物（ここではＰX）等の発見が容易になり、手術の精度や安全性がさらに向上する。一方、本発明の第１の実施形態に対する比較例と同様に、病変領域ＰIと他の構造物ＰXとを視線方向VLに投影した場合、投影画像ＩP上では、各々、ＰA´、ＰB´のように投影されてしまい、処置具の操作方向TLにおける病変領域ＰIと他の構造物ＰXとの位置関係が把握しづらくなってしまう。
【００５２】
本発明の第３の実施形態は、上記第２の実施形態において、さらに、肝臓の表面SFに割り当てられた不透明度αSFを0＜αSF＜1の範囲内に変更した形態である。これにより、図１１に模式的に表したように、肝臓の表面SFを半透明化し、肝臓の内部の血管等の構造物を視認可能にしたボリュームレンダリング画像に、病変領域ＰIや構造物ＰXを処置具の操作方向TLに肝臓の表面SFに投影して重畳した投影画像ＩPを生成することが可能になり、肝臓の内部構造を観察しやすくしつつ、処置具の進入位置の把握も可能になる。
【００５３】
本発明の第４の実施形態は、公知のサーフェスレンダリング手法を用いて投影画像ＩPを生成するようにした形態である。具体的には、図１２に模式的に示したように、病変位置特定部１４が病変領域の表面モデルＰIを生成するとともに、表面位置検出部１５が肝臓の表面モデルSFを生成しておき、交点検出部１６が、病変領域の表面モデルＰIを処置具の操作方向TLに投影したときの肝臓の表面モデルSFとの交差部分に病変領域の表面モデルＰIを表すテクスチャを貼り付け、投影画像生成部１７が、視線方向VLから、病変領域の表面モデルＰIを表すテクスチャが貼り付けられた肝臓の表面モデルSFを可視化した投影画像ＩPを生成する。これにより、レンダリング手法の違いはあるものの、第１の実施形態と同様の効果が得られる。
【００５４】
本発明の第５の実施の形態は、手術ナビゲーション機能が実装された内視鏡観察支援システムである。図１３は、この内視鏡観察支援システムの概要を示すハードウェア構成図である。図に示したように、このシステムは、内視鏡１０１、デジタルプロセッサ１０２、光源装置１０３、実内視鏡画像用ディスプレイ１０４、モダリティ１０５、処置具１０６、内視鏡用マーカー１０７ａ、処置具用マーカー１０７ｂ、位置センサ１０８、画像処理ワークステーション１０９、画像処理ワークステーション用ディスプレイ（以下、ＷＳディスプレイ）１１０から構成されている。
【００５５】
本実施形態では、内視鏡１０１は腹腔用の硬性鏡であり、被検体の腹腔内に挿入される。光源装置１０３から光ファイバーで導かれた光が内視鏡１０１の先端部から照射され、内視鏡１０１の撮像光学系により被検体の腹腔内の画像が得られる。デジタルプロセッサ１０２は、内視鏡１０１で得られた撮像信号をデジタル画像信号に変換し、ホワイトバランス調整やシェーディング補正等のデジタル信号処理によって画質の補正を行った後、ＤＩＣＯＭ規格で規定された付帯情報を付加して、実内視鏡画像データ(ＩRE)を出力する。出力された実内視鏡画像データ(ＩRE)は、ＤＩＣＯＭ規格に準拠した通信プロトコルに従って、ＬＡＮ経由で画像処理ワークステーション１０９に送信される。また、デジタルプロセッサ１０２は、実内視鏡画像データ(ＩRE)をアナログ信号に変換して実内視鏡画像用ディスプレイ１０４に出力し、実内視鏡画像用ディスプレイ１０４には実内視鏡画像(ＩRE)が表示される。内視鏡１０１での撮像信号の取得は所定のフレームレートで行われるので、実内視鏡用ディスプレイ４では、実内視鏡画像(ＩRE)が腹腔内を表す動画として表示される。さらに、内視鏡１０１では、ユーザの操作に応じて静止画撮影も可能である。
【００５６】
モダリティ１０５は、第１から第４の実施形態のモダリティ１と同様であり、形成された３次元医用画像データ(Ｖ)は、ＤＩＣＯＭ規格に準拠した通信プロトコルに従って、ＬＡＮ経由で画像処理ワークステーション１０９に送信される。
【００５７】
内視鏡用マーカー１０７ａ、処置具用マーカー１０７ｂ、および、位置センサ１０８は、公知の３次元位置計測装置を構成する。内視鏡用マーカー１０７ａ、処置具用マーカー１０７ｂは、各々、内視鏡１０１および処置具１０６の手元付近に設けられており、光学式の位置センサ１０８によって、所定の時間間隔で各マーカー１０７ａ、１０７ｂの３次元位置が検出される。内視鏡用マーカー１０７ａ、処置具用マーカー１０７ｂは、各々、複数のマーカー片から構成されているので、位置センサ１０８は、各マーカー片の位置関係から内視鏡１０１や処理具１０６の向きも検出可能であり、オフセット計算によって、内視鏡１０１や処置具１０６の先端部の３次元位置(PSE、PST)を算出することができる。位置センサ１０８は、算出された内視鏡１０１および処置具１０６の３次元位置データ(PSE、PST)を、ＵＳＢインターフェースを介して画像処理ワークステーション１０９に送信する。
【００５８】
画像処理ワークステーション１０９は、ＣＰＵ、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、データバス等の周知のハードウェア構成を備えたコンピュータであり、入力装置（ポインティングデバイス、キーボード等）や、ＷＳディスプレイ１１０が接続されている。また、画像処理ワークステーション１０９は、デジタルプロセッサ１０２やモダリティ１０５とはＬＡＮ接続されており、位置センサ１０８とはＵＳＢ接続されている。さらに、画像処理ワークステーション１０９は、周知のオペレーティングシステムや各種アプリケーション・ソフトウェア等がインストールされたものであり、本発明の手術ナビゲーションを実行させるためのアプリケーションもインストールされている。これらのソフトウェアは、ＣＤ−ＲＯＭ等の記録媒体からインストールされたものであってもよいし、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされたものであってもよい。
【００５９】
図１４は、本発明の第５の実施形態における内視鏡観察支援システムを機能レベルで分割したブロック図である。図に示したように、本発明の第５の実施形態となる内視鏡観察得支援システムは、内視鏡１０１、実内視鏡画像形成部１０２、実内視鏡画像用ディスプレイ１０４、３次元医用画像形成部１０５、処置具１０６、ＷＳディスプレイ１１０、内視鏡位置検出部１１１、処置具位置検出部１１２、実内視鏡画像取得部１２１、内視鏡位置取得部１２２、処置具位置取得部１２３、３次元医用画像取得部１２４、病変位置特定部１２５、表面位置検出部１２６、交点検出部１２７、仮想内視鏡画像生成部１２８、表示制御部１２９から構成されている。なお、図１３に示したハードウェア機器と図１４に示した各機能ブロックとが概ね１対１に対応する場合には同じ符号を付している。すなわち、実内視鏡画像形成部１０２の機能は図１３のデジタルプロセッサによって実現され、３次元医用画像形成部１０５の機能は図１３のモダリティによって実現される。一方、内視鏡位置検出部１１１の機能は、内視鏡用マーカー１０７ａおよび位置センサ１０８によって、処置具位置検出部１１２の機能は、処置具用マーカー１０７ｂおよび位置センサ１０８によって、各々実現される。また、破線枠は画像処理ワークステーション１０９を示しており、破線枠内の各処理部の機能は、画像処理ワークステーション１０９で所定のプログラムを実行することによって実現される。さらに、破線枠内の、実内視鏡画像ＩRE、内視鏡位置ＰE、処置具位置ＰT、３次元医用画像Ｖ、病変位置ＰI、病変を遮蔽する構造物（以下、遮蔽構造物という）の表面位置SF、仮想内視鏡画像ＩVEは、各々、破線枠内の各処理部によって、画像処理ワークステーション１０９の所定のメモリ領域に対して読み書きされるデータである。
【００６０】
次に、図１５に示したフローチャートを用いて、本発明の第５の実施形態となる内視鏡観察支援システムで行われるユーザの操作や、上記各処理部で行われる処理の概略的な流れを説明する。
【００６１】
まず、内視鏡１０１を用いた被検体の腹腔内の観察に先立って、３次元医用画像形成部１０５による被検体の腹腔内の撮像により、３次元医用画像Ｖが形成される。画像処理ワークステーション１０９では、３次元医用画像取得部１２４が、３次元医用画像形成部１０５によって形成された３次元医用画像Ｖを取得した後(#101)、病変位置特定部１２５が、３次元医用画像Ｖに表された病変領域を抽出し、その位置ＰI（以下、第１の実施形態と同様に病変領域ＰIともいう）を特定するとともに(#102)、表面位置検出部１２６が、３次元医用画像Ｖから、遮蔽構造物の表面位置SFを検出する(#103)。
【００６２】
そして、図１５のフローチャートの右側に付記したように、病変領域ＰIを対象とする内視鏡下手術中、すなわち、内視鏡１０１を用いた被検体の腹腔内の観察中は、観察が終了するまで(#113; YES)、実内視鏡画像形成部１０２は、所定のフレームレートで、体腔内に挿入された内視鏡１０１による実内視鏡画像ＩREを繰り返し形成し、形成された実内視鏡画像ＩREは実内視鏡画像用ディスプレイ１０４にスルー動画としてリアルタイムに表示される。また、内視鏡位置検出部１１１および処置具位置検出部１１２は、各々、所定の時間間隔で、体腔内に挿入された内視鏡１０１および処置具１０６の各々の位置PSE、PSTを繰り返しリアルタイムに検出する。
【００６３】
画像処理ワークステーション１０９では、実内視鏡画像取得部１２１が、実内視鏡画像形成部１０２で形成された実内視鏡画像ＩREを取得し(#104)、これとほぼ同じタイミングで、内視鏡位置取得部１２２が、内視鏡位置検出部１１１で検出された内視鏡位置PSEを取得し、取得された内視鏡位置PSEを３次元医用画像Ｖの座標系における位置に変換して得られた内視鏡位置ＰEを出力するとともに、処置具位置取得部１２３が、処置具位置検出部１１２で検出された処置具位置PSTを取得し、取得された処置具位置PSTを３次元医用画像Ｖの座標系における位置に変換して得られた処置具位置ＰTを出力する(#105)。
【００６４】
仮想内視鏡画像生成部１２８は、３次元医用画像取得部１２４によって取得された３次元医用画像Ｖを入力として、内視鏡位置取得部１２２によって取得された内視鏡位置ＰEを視点とする複数の視線上の画像情報を所与の投影面に中心投影した仮想内視鏡画像ＩVEを生成する(#106, #107, #109, #110, #111)。その際、交点検出部１２７が、処置具位置取得部１２３によって取得された処置具位置ＰTから病変位置特定部１２５によって特定された病変位置ＰIまで処理具１０６を移動させる際の想定経路（操作方向）と、表面位置検出部１２６によって検出された遮蔽構造物の表面SFとの交点ＰAを検出し(#108)、仮想内視鏡画像生成部１２８は、交点検出部１２７によって検出された交点ＰAを通る視線上の画像情報が投影される位置に、交点ＰAを識別可能な態様で表した仮想内視鏡画像ＩVEを生成する(#109)。
【００６５】
そして、表示制御部１２９は、実内視鏡画像取得部１２１によって取得された実内視鏡画像ＩREと、仮想内視鏡画像生成部１２８によって生成された仮想内視鏡画像ＩVEとを重畳させてＷＳディスプレイ１１０に表示させる(#112)。
【００６６】
画像処理ワークステーション１０９では、観察終了を指示する操作が行わない限り(#113; No)、新たな実内視鏡画像ＩREの取得(#104)、その時点での内視鏡位置ＰEおよび処置具位置ＰTの取得(#105)、仮想内視鏡画像ＩVEの生成(#106から#111)、実内視鏡画像ＩREと仮想内視鏡画像ＩVEの重畳表示の更新(#112)が繰り返し行われる。これにより、ＷＳディスプレイ１１０では、実内視鏡画像ＩREと仮想内視鏡画像ＩVEとが時間的に同期した連続重畳表示が実現される。一方、観察終了を指示する操作が行われた場合には(#113; Yes)、画像処理ワークステーション１０９は、上記ステップ#104から#112までの繰返し処理を終了する。
【００６７】
次に、画像処理ワークステーション１０９内の各処理部で行われる処理の詳細について説明する。
【００６８】
実内視鏡画像取得部１２１は、実内視鏡画像形成部（デジタルプロセッサ）２との通信により、実内視鏡画像ＩREを受信し、画像処理ワークステーション１０９の所定のメモリ領域の格納する通信インターフェースであり、実内視鏡画像取得部１２１からの要求に基づいて実内視鏡画像形成部１０２から実内視鏡画像ＩREが転送される。
【００６９】
内視鏡位置取得部１２２は、内視鏡位置検出部１１１との通信により内視鏡位置PSEを取得する通信インターフェースとしての機能と、取得した内視鏡位置PSEを位置センサ１０８の３次元座標系から３次元医用画像Ｖの３次元座標系の座標値で表現された内視鏡位置ＰEに変換して画像処理ワークステーション１０９の所定のメモリ領域に格納する機能とを有する。前者の通信インターフェース機能では、内視鏡位置取得部１２２からの要求ベースで内視鏡位置検出部１１１から内視鏡位置PSEが取得される。また、後者の座標変換機能では、位置センサの３次元座標系における各座標軸と３次元医用画像Ｖの３次元座標系における各座標軸との向きの対応関係に基づいて、座標軸の回転量を予め求めておくとともに、３次元医用画像Ｖの原点に相当する被検体中の位置の、位置センサ１０８の３次元座標系における座標値を予め計測しておき、この原点の座標値に基づいて、両座標軸の平行移動量を求めておけば、その回転量の回転とその平行移動量の平行移動を行う行列を用いて、位置センサ１０８の３次元座標系で表現された内視鏡位置PSEを３次元医用画像Ｖの３次元座標系の座標値で表現された内視鏡位置ＰEに変換することができる。
【００７０】
処置具位置取得部１２３は、内視鏡位置取得部１２２と同様に、処置具位置検出部１１２との通信により処置具位置PSTを取得する通信インターフェースとしての機能と、取得した処置具位置PSTを位置センサ１０８の３次元座標系から３次元医用画像Ｖの３次元座標系の座標値で表現された処置具位置ＰTに変換して画像処理ワークステーション１０９の所定のメモリ領域に格納する機能とを有する。
【００７１】
３次元医用画像取得部１２４は、３次元医用画像形成部１０５から３次元医用画像Ｖを受信し、画像処理ワークステーション１０９の所定のメモリ領域に格納する通信インターフェース機能を有する。
【００７２】
病変位置特定部１２５は、第１から第４の実施形態の病変位置特定部１４と同様である。
【００７３】
表面位置検出部１２６は、第１の実施形態と同様に公知の画像認識技術を用いた手法を用いて、または、内視鏡位置ＰEからの中心投影の際の各視線上において、画素値が所定の閾値以上に急激に変化する位置、あるいは、画素値が所定の閾値以上となる位置を検出することによって、遮蔽構造物の表面SFを検出する。
【００７４】
交点検出部１２７は、処置具位置ＰTが処置具位置取得部１２３から得られた実際の処置具１０６の位置である点を除いて第１から第４の実施形態の交点検出部１６と同様である。
【００７５】
仮想内視鏡画像生成部１２８は、視線VL方向への平行投影ではなく、内視鏡位置取得部１２２で得られた内視鏡１０１の実際の位置ＰEを視点とする中心投影である点を除いて、第１から第４の実施形態の投影画像生成部１７と同様である。すなわち、仮想内視鏡画像生成部１２８は、本発明における投影画像生成手段に相当する。
【００７６】
したがって、図１５のステップ#106から#111までは図３のステップ#5から#10と同様である。すなわち、仮想内視鏡画像生成部１２８による視線方向レイキャスティングと交点検出部１２７による操作方向レイキャスティングとを組み合わせて行うことにより、病変領域ＰIは処置具１０６の実際の操作方向に遮蔽構造物の表面SFに平行投影され、実際の内視鏡の位置ＰEからの中心投影により、遮蔽構造物の表面SFとは異なる色情報が仮想内視鏡画像ＩVEの投影面に投影される。
【００７７】
表示制御部１２９は、実内視鏡画像ＩREと仮想内視鏡画像ＩVEとを視野の中心が一致するように重ね合わせた表示画像を生成し、ＷＳディスプレイ１１０に出力する。両画像の重ね合わせは公知のアルファブレンド処理を用いることができる。図１６はこの表示画像の一例を模式的に表したものであり、実内視鏡画像ＩREと、実内視鏡画像ＩREよりも視野の広い仮想内視鏡画像ＩVEとが重ね合わされ、仮想内視鏡画像ＩVE中において、遮蔽構造物の表面SFに操作方向に投影された病変領域ＰIがＰAとして識別可能な態様で表示されている。
【００７８】
以上のように、本発明の第５の実施形態では、交点検出部１２７が、処置具位置検出部１１２によって検出され、処置具位置取得部１２３によって座標変換された、実際の処置具１０６のリアルタイムの位置ＰTを用いて、病変位置ＰIが投影される操作方向を決定するとともに、仮想内視鏡画像生成部１２８が、内視鏡位置検出部１１１によって検出され、内視鏡位置取得部１２２によって座標変換された、実際の内視鏡１０１のリアルタイムの位置ＰEを中心投影の視点として仮想内視鏡画像ＩVEを生成するので、内視鏡位置検出部１１１や処置具位置検出部１１２が内視鏡１０１や処置具１０６の位置をリアルタイムに検出した結果のフィードバックによって仮想内視鏡の視野や、処置具１０６の遮蔽構造物への進入位置ＰAがリアルタイムに変更された仮想内視鏡画像ＩVEが連続的に表示される、いわゆる拡張現実感表示（Augmented Reality）が実現され、内視鏡下手術を動的にかつ的確に支援することが可能になる。
【００７９】
上記の各実施形態はあくまでも例示であり、上記のすべての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。
【００８０】
また、上記の実施形態におけるシステム構成、ハードウェア構成、処理フロー、モジュール構成、ユーザインターフェースや具体的処理内容等に対して、本発明の趣旨から逸脱しない範囲で様々な改変を行ったものも、本発明の技術的範囲に含まれる。
【００８１】
例えば、システム構成については、図１のシステム構成において、画像処理ワークステーション３を複数台で構成し、各ワークステーションで処理を分担してもよい。また、図１３のシステム構成において、画像保管サーバをＬＡＮ上に接続し、モダリティ１０５で形成された３次元医用画像Ｖは、いったん画像保管サーバのデータベースに格納されるようにし、画像処理ワークステーション１０９からの要求に応じて、画像保管サーバから画像処理ワークステーション１０９に３次元医用画像Ｖが転送されるようにしてもよい。
【００８２】
また、ハードウェア構成については、図１のモダリティ１や図１３のモダリティ１０５は、上記のＣＴ装置のほか、超音波診断装置やＭＲＩ装置等を用いてもよい。また、図１３の内視鏡１０１は、硬性鏡ではなく、軟性鏡やカプセル型内視鏡を用いてもよい。さらに、内視鏡位置検出部１１１や処置具位置検出部１１２は、磁気式のものを用いてもよいし、上記特許文献２に記載されているように、ジャイロやロータリーエンコーダ等を用いてもよい。
【００８３】
観察部位は肝臓や腹腔内ではなく、胸腔内等、被検体の他の部位であってもよい。
【００８４】
さらに、画像処理ワークステーション３、１０９の処理では、３次元医用画像取得部１１、１２４は、３次元医用画像Ｖを術前に取得するようにしてもよいし、術中に取得するようにしてもよい。ここで、第５の実施形態の場合、３次元医用画像Ｖを術中に取得する場合には、内視鏡用マーカー１０７ａ、処置具用マーカー１０７ｂ、位置センサ１０８を用いずに、術中に取得された３次元医用画像Ｖから公知のパターン認識により内視鏡１０１や処置具１０６の位置を検出するようにしてもよい。また、術中に３次元医用画像を連続的に取得する場合、被検体の被ばく量低減のため、モダリティ１、１０５には超音波診断装置を用いることが好ましい。
【００８５】
病変位置特定部１２５は、予め３次元医用画像Ｖの付帯情報として関連づけられた病変位置ＰIの情報を取得するようにしてもよい。
【００８６】
交点検出部１６、１２７は、表面位置SF上ではなく、表面位置SFと等価な位置、例えば、表面位置SFから数画素程度離れた位置等に、病変位置ＰIを平行投影するようにしてもよい。
【００８７】
また、交点検出部１６，１２７は、病変位置ＰIを操作方向に表面位置SF上に平行投影する代わりに、病変領域ＰIの中心と処置具位置ＰTとを結んだ操作方向を表す直線と表面位置SFとの交点ＰAの位置を算出するようにし、投影画像生成部１７または仮想内視鏡画像生成部１２８は、投影画像ＩPまたは仮想内視鏡画像ＩVE上における交点ＰAの位置に、矢印や丸印等のマーカー、テキストコメント等のアノテーションを付加するようにしてもよい。
【００８８】
第１の実施形態における投影画像生成部１７は、中心投影によって投影画像ＩPを生成するようにしてもよい。この場合、視線設定部１２の代わりに、視点位置を手動設定する処理部を設ければよい。
【００８９】
内視鏡位置取得部１２２や処置具位置取得部１２３で行われる座標変換を仮想内視鏡画像生成部１２８で行うようにしてもよい。
【符号の説明】
【００９０】
１ モダリティ
２ 画像保管サーバ
３ 画像処理ワークステーション
９ ネットワーク
１１ ３次元医用画像取得部
１２ 視線設定部
１３ 処置具位置設定部
１４ 病変位置特定部
１５ 表面位置検出部
１６ 交点検出部
１７ 投影画像生成部
１８ 表示制御部
１０１ 内視鏡
１０２ デジタルプロセッサ
１０３ 光源装置
１０４ 実内視鏡画像用ディスプレイ
１０５ モダリティ
１０６ 処置具
１０７ａ 内視鏡用マーカー
１０７ｂ 処置具用マーカー
１０８ 位置センサ
１０９ 画像処理ワークステーション
１１０ 画像処理ワークステーション用ディスプレイ
１１１ 内視鏡位置検出部
１１２ 処置具位置検出部
１２１ 実内視鏡画像取得部
１２２ 内視鏡位置取得部
１２３ 処置具位置取得部
１２４ ３次元医用画像取得部
１２５ 病変位置特定部
１２６ 表面位置検出部
１２７ 交点検出部
１２８ 仮想内視鏡画像生成部
１２９ 表示制御部
【特許請求の範囲】
【請求項１】
３次元医用画像を入力として、該３次元医用画像に表された第１の構造物を所与の視点から見る複数の視線上の画像情報を所与の投影面に投影した投影画像を生成する投影画像生成手段を備えた投影画像生成装置であって、
前記３次元医用画像の座標空間内に処置具の想定位置を設定する処置具位置設定手段と、
前記３次元医用画像から前記第１の構造物の表面を検出する表面検出手段と、
前記３次元医用画像に表された、前記処置具の想定位置から見たときに前記第１の構造物によって遮蔽される位置にある第２の構造物を特定する第２の構造物特定手段と、
前記処置具を前記想定位置から前記第２の構造物に接近させる際の想定経路と前記第１の構造物の表面との交点を検出する交点検出手段とをさらに備え、
前記投影画像生成手段が、前記投影面上における、前記視点と前記交点とを結ぶ視線上の画像情報が投影される位置に、前記交点を識別可能な態様で表した前記投影画像を生成するものであることを特徴とする投影画像生成装置。
【請求項２】
前記交点検出手段は、前記第２の構造物を、該第２の構造物から前記処置具の想定位置に向かう方向にある前記第１の構造物の表面に投影することによって、前記交点を検出するものであり、
前記投影画像生成手段は、前記第１の構造物の表面に投影された前記第２の構造物を、前記視点から前記投影面に投影することによって、前記交点を識別可能な態様で表すものであることを特徴とする請求項１に記載の投影画像生成装置。
【請求項３】
前記交点検出手段は、前記処置具の位置から見て前記第２の構造物の手前にある第３の構造物を、該第２の構造物から前記処置具の想定位置に向かう方向にある前記第１の構造物の表面にさらに投影するものであることを特徴とする請求項２に記載の投影画像生成装置。
【請求項４】
前記第１の構造物の表面への投影は平行投影であることを特徴とする請求項２または３に記載の投影画像生成装置。
【請求項５】
被検体の体腔内に挿入された内視鏡の位置をリアルタイムに検出する内視鏡位置検出手段をさらに備え、
前記所与の視点の位置が、前記３次元医用画像の座標空間における、前記内視鏡位置検出手段によって検出された前記内視鏡の位置に対応する位置であることを特徴とする請求項１から４のいずれか１項に記載の投影画像生成装置。
【請求項６】
前記内視鏡によるリアルタイムの撮像によって前記体腔内を表す実内視鏡画像を形成する実内視鏡画像形成手段と、
前記実内視鏡画像と、該実内視鏡画像の形成とほぼ同じタイミングで前記内視鏡位置検出手段によって検出された前記内視鏡の位置に基づく前記投影画像とを重畳させた重畳画像を生成する重畳画像生成手段とをさらに備えたことを特徴とする請求項５に記載の投影画像生成装置。
【請求項７】
被検体の体腔内に挿入された処置具の位置をリアルタイムに検出する処置具位置検出手段をさらに備え、
前記処置具の想定位置が、前記３次元医用画像の座標空間における、前記処置具位置検出手段によって検出された前記処置具の位置に対応する位置であることを特徴とする請求項１から６のいずれか１項に記載の投影画像生成装置。
【請求項８】
前記第２の構造物は手術対象部位であることを特徴とする請求項１から７のいずれか１項に記載の投影画像生成装置。
【請求項９】
前記第３の構造物は手術において注意を有する解剖学的構造物であることを特徴とする請求項１から８のいずれか１項に記載の投影画像生成装置。
【請求項１０】
３次元医用画像を入力として、該３次元医用画像に表された第１の構造物を所与の視点から見る複数の視線上の画像情報を所与の投影面に投影した投影画像を生成するステップを有する投影画像生成方法であって、
前記３次元医用画像の座標空間において、前記視点から前記第１の構造物を見たときの該第１の構造物の正面側であって、該第１の構造物の外側に、処置具の想定位置を設定するステップと、
前記３次元医用画像から前記第１の構造物の表面を検出するステップと、
前記３次元医用画像に表された、前記処置具の想定位置から見たときに前記第１の構造物によって遮蔽される位置にある第２の構造物を特定するステップと、
前記処置具を前記想定位置から前記第２の構造物に接近させる際の想定経路と前記第１の構造物の表面との交点を検出するステップとをさらに有し、
前記投影画像を生成するステップにおいて、前記投影面上における、前記視点と前記交点とを結ぶ視線上の画像情報が投影される位置に、前記交点を識別可能な態様で表した前記投影画像を生成することを特徴とする投影画像生成方法。
【請求項１１】
コンピュータに、３次元医用画像を入力として、該３次元医用画像に表された第１の構造物を所与の視点から見る複数の視線上の画像情報を所与の投影面に投影した投影画像を生成するステップを実行させる投影画像生成プログラムであって、該コンピュータに、
前記３次元医用画像の座標空間内に処置具の想定位置を設定するステップと、
前記３次元医用画像から前記第１の構造物の表面を検出するステップと、
前記３次元医用画像に表された、前記処置具の想定位置から見たときに前記第１の構造物によって遮蔽される位置にある第２の構造物を特定するステップと、
前記処置具を前記想定位置から前記第２の構造物に接近させる際の想定経路と前記第１の構造物の表面との交点を検出するステップとをさらに実行させ、
前記投影画像を生成するステップにおいて、前記投影面上における、前記視点と前記交点とを結ぶ視線上の画像情報が投影される位置に、前記交点を識別可能な態様で表した前記投影画像を生成させることを特徴とする投影画像生成プログラム。
【請求項１】
３次元医用画像を入力として、該３次元医用画像に表された第１の構造物を所与の視点から見る複数の視線上の画像情報を所与の投影面に投影した投影画像を生成する投影画像生成手段を備えた投影画像生成装置であって、
前記３次元医用画像の座標空間内に処置具の想定位置を設定する処置具位置設定手段と、
前記３次元医用画像から前記第１の構造物の表面を検出する表面検出手段と、
前記３次元医用画像に表された、前記処置具の想定位置から見たときに前記第１の構造物によって遮蔽される位置にある第２の構造物を特定する第２の構造物特定手段と、
前記処置具を前記想定位置から前記第２の構造物に接近させる際の想定経路と前記第１の構造物の表面との交点を検出する交点検出手段とをさらに備え、
前記投影画像生成手段が、前記投影面上における、前記視点と前記交点とを結ぶ視線上の画像情報が投影される位置に、前記交点を識別可能な態様で表した前記投影画像を生成するものであることを特徴とする投影画像生成装置。
【請求項２】
前記交点検出手段は、前記第２の構造物を、該第２の構造物から前記処置具の想定位置に向かう方向にある前記第１の構造物の表面に投影することによって、前記交点を検出するものであり、
前記投影画像生成手段は、前記第１の構造物の表面に投影された前記第２の構造物を、前記視点から前記投影面に投影することによって、前記交点を識別可能な態様で表すものであることを特徴とする請求項１に記載の投影画像生成装置。
【請求項３】
前記交点検出手段は、前記処置具の位置から見て前記第２の構造物の手前にある第３の構造物を、該第２の構造物から前記処置具の想定位置に向かう方向にある前記第１の構造物の表面にさらに投影するものであることを特徴とする請求項２に記載の投影画像生成装置。
【請求項４】
前記第１の構造物の表面への投影は平行投影であることを特徴とする請求項２または３に記載の投影画像生成装置。
【請求項５】
被検体の体腔内に挿入された内視鏡の位置をリアルタイムに検出する内視鏡位置検出手段をさらに備え、
前記所与の視点の位置が、前記３次元医用画像の座標空間における、前記内視鏡位置検出手段によって検出された前記内視鏡の位置に対応する位置であることを特徴とする請求項１から４のいずれか１項に記載の投影画像生成装置。
【請求項６】
前記内視鏡によるリアルタイムの撮像によって前記体腔内を表す実内視鏡画像を形成する実内視鏡画像形成手段と、
前記実内視鏡画像と、該実内視鏡画像の形成とほぼ同じタイミングで前記内視鏡位置検出手段によって検出された前記内視鏡の位置に基づく前記投影画像とを重畳させた重畳画像を生成する重畳画像生成手段とをさらに備えたことを特徴とする請求項５に記載の投影画像生成装置。
【請求項７】
被検体の体腔内に挿入された処置具の位置をリアルタイムに検出する処置具位置検出手段をさらに備え、
前記処置具の想定位置が、前記３次元医用画像の座標空間における、前記処置具位置検出手段によって検出された前記処置具の位置に対応する位置であることを特徴とする請求項１から６のいずれか１項に記載の投影画像生成装置。
【請求項８】
前記第２の構造物は手術対象部位であることを特徴とする請求項１から７のいずれか１項に記載の投影画像生成装置。
【請求項９】
前記第３の構造物は手術において注意を有する解剖学的構造物であることを特徴とする請求項１から８のいずれか１項に記載の投影画像生成装置。
【請求項１０】
３次元医用画像を入力として、該３次元医用画像に表された第１の構造物を所与の視点から見る複数の視線上の画像情報を所与の投影面に投影した投影画像を生成するステップを有する投影画像生成方法であって、
前記３次元医用画像の座標空間において、前記視点から前記第１の構造物を見たときの該第１の構造物の正面側であって、該第１の構造物の外側に、処置具の想定位置を設定するステップと、
前記３次元医用画像から前記第１の構造物の表面を検出するステップと、
前記３次元医用画像に表された、前記処置具の想定位置から見たときに前記第１の構造物によって遮蔽される位置にある第２の構造物を特定するステップと、
前記処置具を前記想定位置から前記第２の構造物に接近させる際の想定経路と前記第１の構造物の表面との交点を検出するステップとをさらに有し、
前記投影画像を生成するステップにおいて、前記投影面上における、前記視点と前記交点とを結ぶ視線上の画像情報が投影される位置に、前記交点を識別可能な態様で表した前記投影画像を生成することを特徴とする投影画像生成方法。
【請求項１１】
コンピュータに、３次元医用画像を入力として、該３次元医用画像に表された第１の構造物を所与の視点から見る複数の視線上の画像情報を所与の投影面に投影した投影画像を生成するステップを実行させる投影画像生成プログラムであって、該コンピュータに、
前記３次元医用画像の座標空間内に処置具の想定位置を設定するステップと、
前記３次元医用画像から前記第１の構造物の表面を検出するステップと、
前記３次元医用画像に表された、前記処置具の想定位置から見たときに前記第１の構造物によって遮蔽される位置にある第２の構造物を特定するステップと、
前記処置具を前記想定位置から前記第２の構造物に接近させる際の想定経路と前記第１の構造物の表面との交点を検出するステップとをさらに実行させ、
前記投影画像を生成するステップにおいて、前記投影面上における、前記視点と前記交点とを結ぶ視線上の画像情報が投影される位置に、前記交点を識別可能な態様で表した前記投影画像を生成させることを特徴とする投影画像生成プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図１３】
【図１４】
【図１５】
【図１１】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図１３】
【図１４】
【図１５】
【図１１】
【図１６】
【公開番号】特開２０１１−２１２３０１（Ｐ２０１１−２１２３０１Ａ）
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願番号】特願２０１０−８４２７２（Ｐ２０１０−８４２７２）
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]