医用画像処理装置および方法、並びにプログラム
【課題】管腔構造の屈曲部においても、管腔構造の中心部が実内視鏡画像と同様の見え方となる仮想内視鏡画像を生成する。
【解決手段】観察経路設定部３２によって設定された観察経路上の、視点設定・変更部３３によって設定された視点から見た仮想内視鏡画像の生成に際して、視野決定部３４が、３次元医用画像に基づいて、視点設定・変更部３３によって設定された視点における局所的な観察方向および局所的観察方向の近傍の方向に存在する管腔構造の壁部の位置を特定し、視点と壁部との位置関係に基づいて、視点における大域的な観察方向を推定し、視点に対して大域的観察方向にある画像情報が仮想内視鏡画像の中央部に表されるように、仮想内視鏡画像の視野を決定する。
【解決手段】観察経路設定部３２によって設定された観察経路上の、視点設定・変更部３３によって設定された視点から見た仮想内視鏡画像の生成に際して、視野決定部３４が、３次元医用画像に基づいて、視点設定・変更部３３によって設定された視点における局所的な観察方向および局所的観察方向の近傍の方向に存在する管腔構造の壁部の位置を特定し、視点と壁部との位置関係に基づいて、視点における大域的な観察方向を推定し、視点に対して大域的観察方向にある画像情報が仮想内視鏡画像の中央部に表されるように、仮想内視鏡画像の視野を決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被検体の管腔構造が表された３次元医用画像から仮想内視鏡画像を生成する医用画像処理技術に関するものである。
【背景技術】
【０００２】
近年、ＭＤＣＴ等のモダリティの進歩により、被検体を表す高画質の３次元医用画像が得られるようになってきた。これに伴い、擬似３次元的な画像を生成する医用画像処理技術の開発も進められている。仮想内視鏡表示法はその一例である。仮想内視鏡表示法は、管腔組織の内部を撮影して得られる内視鏡画像に模した画像(以下仮想内視鏡画像と呼ぶ)を、ＣＴ撮影により得られる複数の２次元断面像から生成する技術である。仮想内視鏡表示を利用した検査の利点として、実際の内視鏡による検査と比較して低浸襲であること、また、実際の内視鏡を通すことができない閉塞部より先の管腔内部の様態を観察可能であること等が挙げられる。
【０００３】
例えば、大腸のＣＴ画像を用いた仮想内視鏡検査については、仮想内視鏡表示によるポリープ検出能の評価や、仮想内視鏡検査と実内視鏡検査のポリープ検出能の比較等の臨床試験結果がこれまでに多数報告されており、その有効性が示されてきた。今後、大腸の仮想内視鏡検査が、術前検査だけでなく、スクリーニングとして実施される機会が増えていくことが予想される。
【０００４】
仮想内視鏡表示に関する技術としては、結腸の内腔の中心線を観察経路として予め設定しておき、中心線上に設定された複数の視点の各々から見た仮想内視鏡画像を、各視点間を所与の速度で移動させて順次表示する手法が知られている（例えば、特許文献１）。
【０００５】
一方、仮想内視鏡の観察経路を予め設定せずに動的に設定する手法も知られている。具体的には、現在の視点（Ｐとする）から仮想内視鏡の視野の中心に向かう方向（視野中心方向Ｖとする）と、現在の視点Ｐからの複数の射線のうち内腔壁までの距離が最長となる射線の方向とを重みづけ平均した方向を新たな視野中心方向（Ｖ′とする）として設定し、現在の視点Ｐから現在の視野中心方向Ｖに沿って所定の距離移動した位置の近傍にある、内腔断面の中心位置を新たな視点Ｐ′として設定し、新たな視点Ｐ′において、上記と同様にして、その視点Ｐ′における視野中心方向Ｖ′と最長射線方向とに基づいてさらに新たな視野中心方向を設定するとともに、視野中心方向Ｖ′に基づいてさらに新たな視点を設定することを繰り返していくことによって、観察経路を順次設定するものである（特許文献２）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許第６，２７２，３６６号公報
【特許文献２】特表２００５−５１４０８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載の手法のように仮想内視鏡の観察経路を予め設定しておく場合、各視点における仮想内視鏡の視野中心方向は、その視点における仮想内視鏡の局所的な進行方向、すなわち、その視点の近傍における管腔構造の中心線の向きと一致するように設定されていることが一般的である。この場合、管腔構造の屈曲部付近では、視野中心方向は、仮想内視鏡の進行方向に向かって前方の管腔構造の中心が見渡せる方向とは異なってしまう。具体的には、図１０に模式的に示したように、管腔構造R-colonの中心線CL上の視点VP1は、管腔構造R-colonの屈曲が小さい部分にあるので、その視野中心方向DC1は、中心線CLの大域的な方向とほぼ一致し、視点VP1から見た仮想内視鏡画像Ｉ-VE1′は、図１１Ａに示したように、視点VP1から見た管腔構造R-colonの中心が画像Ｉ-VE1′の中心（図中の＋印）と一致したものとなる。これに対して、視点VP2は、管腔構造R-colonの屈曲が大きい部分にあるので、その視野中心方向DC2は、図１１Ｂに示したように、中心線CLの大域的な方向と一致せず、その結果、視点VP2から見た仮想内視鏡画像Ｉ-VE2′は、視点VP2からある程度離れた位置では、管腔構造R-colonの中心が画像Ｉ-VE2′の中心（図中の＋印）からずれたように表されてしまう。
【０００８】
一方、実内視鏡による管腔構造の観察では、実内視鏡の視野中心方向は、実内視鏡の進行方向に向かって前方の管腔構造の中心が見渡せる方向とほぼ一致する。したがって、このような仮想内視鏡と実内視鏡での視野中心方向の差異は、観察者に違和感を与えてしまうことになる。また、この違和感を改善するために、屈曲部で観察者がマウス等の手動操作によって視野中心方向を変更できるようにすることが考えられるが、観察者に不必要な作業負荷を課すことになり、観察時間の増加、診断効率の低下を引き起こしてしまう。
【０００９】
本発明は上記事情に鑑みてなされたものであり、管腔構造の屈曲部においても、管腔構造の中心部が実内視鏡画像と同様の見え方となる仮想内視鏡画像を生成可能な医用画像処理装置および方法、並びにプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【００１０】
本発明の医用画像処理装置は、３次元医用画像に表された管腔構造を内部から見た仮想内視鏡画像を生成する仮想内視鏡画像生成手段を備えた装置に、前記３次元医用画像中に前記管腔構造に沿った観察経路を設定する観察経路設定手段と、該観察経路に沿った前記管腔構造の観察方向を設定する観察方向設定手段と、該観察経路上に視点を設定する視点設定手段と、前記３次元医用画像に基づいて、前記視点における局所的な前記観察方向および該局所的観察方向の近傍の方向に存在する前記管腔構造の壁部の位置を特定し、前記視点と該壁部との位置関係に基づいて、前記視点における大域的な前記観察方向を推定し、前記視点に対して該大域的観察方向にある画像情報が前記仮想内視鏡画像の中央部に表されるように、該仮想内視鏡画像の視野を決定する視野決定手段とをさらに設け、前記仮想内視鏡画像生成手段が、前記３次元医用画像から、前記視点から見た前記視野内を表す前記仮想内視鏡画像を生成するようにしたものである。
【００１１】
本発明の医用画像処理方法は、３次元医用画像に表された管腔構造を内部から見た仮想内視鏡画像を生成する方法であり、前記３次元医用画像中に前記管腔構造に沿った観察経路を設定する手順と、該観察経路に沿った前記管腔構造の観察方向を設定する手順と、該観察経路上に視点を設定する手順と、前記３次元医用画像に基づいて、前記視点における局所的な前記観察方向および該局所的観察方向の近傍の方向に存在する前記管腔構造の壁部の位置を特定する手順と、前記視点と該壁部との位置関係に基づいて、前記視点における大域的な前記観察方向を推定する手順と、前記視点に対して該大域的観察方向にある画像情報が前記仮想内視鏡画像の中央部に表されるように、該仮想内視鏡画像の視野を決定する手順と、前記３次元医用画像から、前記視点から見た前記視野内を表す前記仮想内視鏡画像を生成する手順とを有するものである。
【００１２】
本発明の医用画像処理プログラムは、コンピュータを上記医用画像処理装置の各手段として機能させるものである。
【００１３】
本発明において、観察経路は管腔構造の中心線としてもよい。
【００１４】
また、観察経路の設定方法は、観察経路に応じた画像認識手法等を用いて自動的に設定する方法であってもよいし、ユーザの手動操作に応じて設定する方法であってもよいし、自動設定された観察経路を手動操作で修正したり、手動操作に応じて設定された部分的な観察経路に基づいて、補間計算等によって自動で観察経路全体を設定したりしてもよい。
【００１５】
観察方向や視点の設定方法は、所定の条件に基づいて自動的に設定する方法であってもよいし、ユーザの手動操作に応じて設定する方法であってもよい。
【００１６】
局所的観察方向とは、その視点の近傍の微小な観察経路における観察方向を意味する。
【００１７】
局所的観察方向の近傍の方向は、例えば、局所的観察方向を表すベクトルと９０度以下の角をなすベクトルの方向とすることができる。
【００１８】
一方、大域的観察方向とは、観察経路全体を見た場合の観察方向を意味する。すなわち、視点の位置から、その観察方向にその近傍よりも離れた観察経路上の位置まで向かう方向を意味する。
【００１９】
この大域的観察方向の推定方法の第１の具体例としては、視点から局所的観察方向およびその近傍方向に放射状に発した複数の探索線上の画素値に基づいて、探索線毎に管腔構造の壁部の位置を特定し、視点から壁部までの距離を算出し、各探索線の方向を、壁部までの距離が大きい探索線ほど寄与が大きくなるように合成することによって得られる方向を、大域的観察方向とする方法が挙げられる。この場合、仮想内視鏡画像の視野を、上記の推定処理の際に発される放射状の探索線の放射範囲より狭くなるようにし、放射状に発した複数の探索線上の画素値に基づいて仮想内視鏡画像の各画素の画素値も決定しておくようにしてもよい。したがって、仮想内視鏡画像の生成の際には、上記複数の探索線毎に決定された画素値のうち、上記方法で決定された視野内の画素の画素値のみを選択すればよい。
【００２０】
また、第２の具体例としては、上記視点における局所的観察方向の近傍の方向を、その視点から、上記設定された観察方向に沿ってその視点よりも前方にある観察経路上の複数の探索点の各々に向かう方向とし、その視点と複数の探索点の各々とを結ぶ複数の第２の探索線上の画素値に基づいて、その視点と探索点との間に壁部が存在しない第２の探索線のうち、その長さが所定の基準を満たす程度に長い第２の探索線の方向を、大域的観察方向とする方法が挙げられる。
【００２１】
また、本発明において、管腔構造内の所与の画像的特徴を有する注目領域を抽出するようにし、抽出された注目領域にさらに基づいて視野を決定するようにしてもよい。
【００２２】
また、本発明において、上記観察経路に対応する第２の観察経路上の、上記視点に対応する第２の視点において、上記視野に対応する第２の視野内の管腔構造の内部を内視鏡で撮像することによって得られた実内視鏡画像を取得するようにし、上記仮想内視鏡画像と上記実内視鏡画像とを表示手段に同時に表示させるようにしてもよい。
【発明の効果】
【００２３】
本発明によれば、所与の観察経路上の視点から見た仮想内視鏡画像の生成に際して、３次元医用画像に基づいて、視点における局所的な観察方向および局所的観察方向の近傍の方向に存在する管腔構造の壁部の位置を特定し、視点と壁部との位置関係に基づいて、視点における大域的な観察方向を推定し、視点に対して大域的観察方向にある画像情報が仮想内視鏡画像の中央部に表されるように、仮想内視鏡画像の視野を決定する。したがって、視点の近傍だけでなく、視点から離れた位置についても、管腔構造の中心付近が仮想内視鏡画像の中央部に表される。これにより、管腔構造の屈曲部においても、管腔構造の中心部が実内視鏡画像と同様の見え方となる仮想内視鏡画像を生成することが可能となり、仮想内視鏡画像の視野についての観察者の違和感が改善され、視野の変更のための作業負荷が軽減され、観察時間の短縮、診断効率の向上に資する。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施の形態となる医用画像処理装置が導入された医用画像診断システムの概略構成図
【図２】本発明の実施形態における医用画像処理機能（大腸仮想内視鏡検査機能）を実現する構成および処理の流れを模式的に示したブロック図
【図３】本発明の実施形態における医用画像診断システムを用いた大腸仮想内視鏡検査の流れを表したフローチャート
【図４】本発明の実施形態における仮想内視鏡の視野決定処理の流れを表したフローチャート
【図５】局所的観察方向ベクトルを模式的に表した図
【図６】探索ベクトルの方向の規定方法を模式的に表した図
【図７】大腸領域中に探索ベクトルを表した模式図
【図８】局所的観察方向ベクトルと大域的観察方向ベクトル（視野中心方向ベクトル）の向きの違いを模式的に表した図
【図９】本発明の実施形態において生成される仮想内視鏡画像を模式的に表した図
【図１０】本発明の実施形態の変形例となる大域的観察方向ベクトルの決定方法を模式的に表した図
【図１１Ａ】本発明の実施形態の変形例となる仮想内視鏡画像と実内視鏡画像の第１の表示例を模式的に表した図
【図１１Ｂ】本発明の実施形態の変形例となる仮想内視鏡画像と実内視鏡画像の第２の表示例を模式的に表した図
【図１２】従来手法で生成される仮想内視鏡画像の視野中心ベクトルを模式的に表した図
【図１３Ａ】従来手法で、管腔構造の直線に近い部分の視点において生成される仮想内視鏡画像を模式的に表した図
【図１３Ｂ】従来手法で、管腔構造の屈曲部の視点において生成される仮想内視鏡画像を模式的に表した図
【発明を実施するための形態】
【００２５】
以下、マルチスライスＣＴで得られた腹部の３次元医用画像に基づいて、大腸内の観察経路（中心線）に沿って視点を移動させながら、各視点における仮想内視鏡画像を順次観察する仮想内視鏡検査のための大腸解析処理を例にして、本発明の実施の形態となる医用画像処理装置が導入された医用画像診断システムについて説明する。
【００２６】
図１は、この医用画像診断システムの概要を示すハードウェア構成図である。図に示すように、このシステムでは、モダリティ１と、画像保管サーバ２と、画像処理ワークステーション３とが、ネットワーク９を経由して通信可能な状態で接続されている。
【００２７】
モダリティ１は、被検体の腹部（大腸領域）を撮影することにより、その部位を表す３次元医用画像の画像データを生成し、その画像データにＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格で規定された付帯情報を付加して、画像情報として出力する装置である。本実施形態では、マルチスライスＣＴが含まれる。
【００２８】
画像保管サーバ２は、モダリティ１で取得された医用画像データや画像処理ワークステーション３での画像処理によって生成された医用画像の画像データを画像データベースに保存・管理するコンピュータであり、大容量外部記憶装置やデータベース管理用ソフトウェア（たとえば、ＯＲＤＢ（Object Relational Database）管理ソフトウェア）を備えている。
【００２９】
画像処理ワークステーション３は、本発明の医用画像診断支援装置として機能する。読影者からの要求に応じて、モダリティ１や画像保管サーバ２から取得した医用画像データに対して画像処理（画像解析を含む）を行い、生成された画像を表示するコンピュータであり、ＣＰＵ，主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置（マウス、キーボード等）、表示装置（ディスプレイモニタ）、データバス等の周知のハードウェア構成を備え、周知のオペレーティングシステム等がインストールされたものである。本発明の医用画像処理（大腸解析処理）は、ＣＤ−ＲＯＭ等の記録媒体からインストールされたプログラム（大腸解析アプリケーション）を実行することによって実現される。また、このプログラムは、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされたものであってもよい。
【００３０】
画像データの格納形式やネットワーク９経由での各装置間の通信は、ＤＩＣＯＭ等のプロトコルに基づいている。
【００３１】
図２は、画像処理ワークステーション３の機能のうち、本発明の実施形態となる大腸解析処理に関連する部分を示すブロック図である。図に示すように、本実施形態における大腸解析処理は、大腸領域抽出部３１、観察経路設定部３２、観察方向設定部３３、視点設定・変更部３４、視野決定部３５、仮想内視鏡画像生成部３６、表示制御部３７によって実現される。また、腹部のＣＴ画像の画像データＶ、大腸領域情報R-colon、観察経路情報CL、観察方向情報DE、仮想内視鏡の視点情報VPn（n=1,2,・・・,N）、仮想内視鏡の視野情報FOVn、仮想内視鏡画像I-VEnは、各々、上記各処理部によって、画像処理ワークステーション３の所定の記憶領域に対して読み書きされるデータである。
【００３２】
次に、図３のフローチャートに基づいて、本発明の実施形態となる大腸解析処理の流れおよび各処理部の処理内容の詳細について説明する。
【００３３】
まず、ユーザ（例えば画像診断医）が画像処理ワークステーション３のディスプレイに表示された検査リストやシリーズリストから大腸解析の対象画像である、マルチスライスＣＴで得られたＣＴ画像データＶを選択すると、画像処理ワークステーション３は、選択されたＣＴ画像データＶを取得する(#1)。次に、ユーザが、大腸解析アプリケーションを起動する操作を行うと、選択されたＣＴ画像データＶに対する画像解析が開始される。
【００３４】
大腸領域抽出部３１は、ＣＴ画像データＶを入力として、観察対象である大腸領域R-colonを公知の手法により自動抽出する(#2)。具体的には、ＣＴ画像データＶを構成する、または、ＣＴ画像データＶから再構成された、体軸に垂直な断面（軸位断；axial）による軸位断画像の各々について二値化処理を施し、輪郭抽出処理により人体の体表の輪郭を抽出し、その抽出した輪郭内部を体内(人体)領域として抽出する。次に、体内領域を対象に閾値による二値化処理を行い、各軸位断画像における大腸の領域の候補を抽出する。ここで、マルチスライスＣＴの撮影時に大腸の管内は空気で満たされるため、大腸内部と周辺組織とではＣＴ値の差が顕著となることを利用し、空気のＣＴ値に対応する閾値を設定して二値化を行い、各軸位断画像の体内の空気領域を抽出する。最後に、各軸位断画像間で、抽出された体内の空気領域がつながる部分のみを大腸領域として抽出する。抽出された大腸領域を表す情報R-colonは、ＣＴ画像データＶの３次元座標系の各点に対して、その点が大腸領域に属するかどうかを識別するフラグを関連づけたマスクデータとして、画像処理ワークステーション３の所定の記憶領域に格納される。
【００３５】
観察経路設定部３２は、大腸領域抽出部３１によって抽出された大腸領域R-colonに沿った観察経路CLの設定を行う(#3)。具体的には、公知の手法によって大腸の芯線（中心線）を抽出し、抽出された芯線を観察経路CLとすることができる。大腸の芯線の抽出には、大腸領域抽出部３１による大腸の抽出の際に得られる、体内の空気領域がつながる部分のみを抽出した大腸領域を表す２値化画像に対して３次元の細線化処理を行う方法（特開2004-283373号公報等参照）等を用いることができる。そして、大腸領域の細線化処理結果に対し、最長距離を有する経路を選択することによって、観察経路CLが求まる。ここで、大腸や芯線の抽出結果を手作業で修正するためのユーザインターフェースをさらに提供してもよい。具体例としては、軸位断画像毎に、抽出された大腸領域や芯線を強調表示し、ユーザが、軸位断画像毎に抽出結果が誤っている大腸領域や芯線（画像上では芯線を表す点となる）を、ユーザがマウス等を操作して修正を行うインターフェースが挙げられる。あるいは、観察経路設定部３２は、大腸領域R-colonを画像処理ワークステーション３のディスプレイに表示させ、観察経路の始点と終点の選択を受け付けるユーザインターフェースを提供し、公知の最短経路探索アルゴリズムを用いて、選択された始点と終点とを結ぶ大腸領域R-colon内の最短経路を算出し、算出された最短経路を観察経路CLとすることができる。設定された観察経路を表す情報CLは、例えば、ＣＴ画像データＶの３次元座標系における点列のデータとして、画像処理ワークステーション３の所定の記憶領域に格納される。
【００３６】
観察方向設定部３３は、観察経路CLに沿った大腸の観察方向DEを設定し(#4)、視点設定・変更部３４は、観察経路CL上に、仮想内視鏡観察の最初の視点VP1を設定する(#5)。具体的には、大腸領域R-colonおよび観察経路CLを画像処理ワークステーション３のディスプレイに表示させ、観察経路CLの始点と終点、並びに最初の視点VP1の選択を受け付けるユーザインターフェースとすることができる。これにより、選択された観察経路CLの始点から終点に向かう観察方向DEが設定される。なお、前述のように、観察経路CLの設定の際に上記と同様のユーザインターフェースを用いる場合には、観察経路設定部３２によって設定された観察経路CLの始点および終点を用いて観察方向DEを設定すればよい。あるいは、観察経路CLの両端の点の座標値に基づいて、各端点が被検体の頭側（小腸側）の端点か脚側（肛門側）の端点かを判別し、所定の側（例えば脚側）の端点を始点、もう一方の端点を終点とする観察方向DEを自動的に設定するようにしてもよい。さらに、最初の視点VP1についても、観察経路CLの始点や、観察経路CLの端点等の所定の点から観察経路CLに沿った所定の距離だけ離れた点等に自動設定するようにしてもよい。
【００３７】
視野決定部３５は、ＣＴ画像データＶに基づいて、視点設定・変更部３４によって設定された視点VP1における局所的な観察方向D-local1および局所的観察方向の近傍の方向LV1[θp, φq]（p=1,2,・・・,P、q=1,2,・・・,Q）に存在する大腸R-colonの壁部の位置を特定し、視点VP1と壁部との位置関係に基づいて、視点VP1における大域的な観察方向D-grobal1を推定し、視点VP1に対して大域的観察方向D-grobal1にある画像情報が仮想内視鏡画像I-VE1の中央部に表されるように、仮想内視鏡画像I-VE1の視野FOV1を決定する(#6)。
【００３８】
図４は、本発明の実施形態における視野決定部３５による視野決定処理の詳細な流れを表したフローチャートである。図に示したとおり、視野決定部３５は、まず、局所観察方向ベクトルD-local1の算出を行う(#6.1)。具体的には、図５に模式的に表したように（ただし、ここではn=1とする）、大腸領域R-colonに沿った観察経路CL上の視点VP1を始点とし、観察方向DEに沿った次の視点VP2を終点とするベクトルを、局所的観察方向ベクトルD-local1として算出する。この局所的観察方向ベクトルD-local1は、視点VP1における局所的な観察方向を表すものである。なお、現在の視点VP1と次の視点VP2の間の観察経路CLに沿った距離は、本実施形態の大腸解析アプリケーションの処理パラメータとして、初期設定ファイルやユーザ入力によって与えられる。また、局所観察方向ベクトルD-localnは、現在の視点VPnを始点とし、現在の視点VPnの前の視点VPn-1から現在の視点VPnの後の視点VPn+1に向かう向きを有するベクトルとしてもよい。
【００３９】
次に、視野決定部３５は、局所的観察方向ベクトルD-local1の方向およびその局所的観察方向の近傍の方向の探索ベクトルLV1[θp, φq]（p=1,2,・・・,P、q=1,2,・・・,Q）の向きを設定し、各探索ベクトルLV1[θp, φq]の向きにおける大腸壁の位置を特定し、各向きについて、視点VP1から大腸壁までの距離を探索ベクトルLV1[θp, φq]の大きさとして算出する(#6.2)。
【００４０】
図６は、本実施形態における探索ベクトルLV1[θp, φq]の向きの規定方法を模式的に表したものである。図に示したとおり、視野決定部３５は、まず、局所的観察方向ベクトルD-local1を基準として緯度方向と経度方向を設定し、緯度θpはθ1≦θp≦θPの範囲で、経度φqはφ1≦φq≦φQの範囲で、(P×Q)本の探索ベクトルLV1[θp, φq]の向きを設定する。ここでは、図７に模式的に表したように、局所的観察方向ベクトルD-local1の緯度および経度を0度とし、θ1、θP、φ1、φQは、各々、-90度≦θ1＜0度、0度＜θP≦90度、-90度≦φ1＜0度、0度＜φQ≦90度を満たす所定の値として、視点VP1から局所的観察方向ベクトルD-local1の方向を中心とする放射状に探索ベクトルLV1[θp, φq]の向きを設定するようにしている。また、P=Qとして緯度方向と経度方向に等方性をもたせてもよい。
【００４１】
次に、視野決定部３５は、設定された探索ベクトルLV1[θp, φq]の各方向に対して公知のレイキャスティング処理を行うことにより、各探索ベクトルLV1[θp, φq]の方向における大腸壁の位置を特定する。具体的には、例えば、視点位置から各探索ベクトルLV1[θp, φq]の方向に飛ばされたレイが大腸壁で停止するように、大腸壁に相当するＣＴ値の不透明度を1.0、大腸内部の空気に相当するＣＴ値の不透明度を0.0に設定しておき、レイが停止した位置を大腸壁の位置として特定することができる。そして、各探索ベクトルLV1[θp, φq]の方向について、視点VP1から大腸壁までの距離を探索ベクトルLV1[θp, φq]の大きさとして算出する。
【００４２】
この処理を設定された各探索ベクトルLV1[θp, φq]の向きに対して順次繰り返し行うことにより、視点位置VP1を始点とし、大腸壁の位置を終点とする探索ベクトルLV1[θp, φq]の各々の向きおよび大きさが設定される。
【００４３】
そして、視野決定部３５は、探索ベクトルLV1[θp, φq]を合成することによって、大域的観察方向ベクトルD-grobal1を算出する(#6.3)。その結果、図８に模式的に表したように、大域的観察方向ベクトルD-grobal1の向きは、局所的観察方向D-local1からの長さの大きい探索ベクトルLV1[θp, φq]が多く分布する向きに傾いたものとなる。すなわち、大域的観察方向ベクトルD-grobal1の向きは、視点VP1から観察方向DEの終点に向かって離れた位置までの大域的な観察方向を表したものとなる。さらに言い換えると、大域的観察方向ベクトルD-grobal1の向きは、視点VP1から見ることのできる、観察経路CLに沿った最も遠い大腸内の位置付近の方向を示すものとなる。なお、図８では、大域的観察方向ベクトルD-grobal1は、探索ベクトルLV1[θp, φq]を合成した後、合成ベクトルをそのノルムで除した単位ベクトルとなっており、以降の演算でも、この単位ベクトル化された大域的観察方向ベクトルD-grobal1を用いることができる。
【００４４】
視野決定部３５は、最後に、大域的観察方向ベクトルD-grobal1を視野の中心とする所定の視野角（画角）の視野FOV1を設定する。
【００４５】
なお、以上の処理で、探索ベクトルの緯度θp、経度φqの値の範囲や所定の視野角は、本実施形態の大腸解析アプリケーションの処理パラメータとして、初期設定ファイルやユーザ入力によって与えられる。また、緯度θp、経度φqの値の範囲は、観察経路CLの屈曲率等に基づいて算出される、視点VPnの位置に応じた可変の値としてもよい。具体的には、観察経路CLが直線に近い部分では、局所的観察方向と大域的観察方向の差が小さく、観察経路CLが大きく湾曲している部分では、局所的観察方向と大域的観察方向の差が大きくなることに鑑み、観察経路CLの屈曲率が小さいほど、緯度θp、経度φqの値の範囲が小さくなり、観察経路CLの屈曲率が大きいほど緯度θp、経度φqの値の範囲が大きくなるようにすることが好ましい。
【００４６】
仮想内視鏡画像生成部３６は、ＣＴ画像データＶを入力として、公知のレイキャスティング処理を用いたボリュームレンダリング法により、視点VP1から見た視野FOV1内を表す仮想内視鏡画像I-VE1を生成する(#7)。具体的には、視点設定・変更部３４によって設定された視点VP1から、視野決定部３５によって決定された視野FOV1の範囲内に放射状に伸ばした複数の探索線上の画像情報を大域的観察方向ベクトルD-grobal1に垂直な投影面に投影した中心投影による投影画像I-VE1をＣＴ画像データＶから生成する。生成される投影画像I-VE1は、大腸内をあたかも実内視鏡で観察したような様子を表す仮想内視鏡画像となる。図９は、生成される仮想内視鏡画像I-VE1の一例を模式的に表したものである（図中、n=1とする）。図に示したように、本実施形態では、仮想内視鏡画像I-VE1の視野の中心（＋印の部分）は、大域的観察方向ベクトルD-grobal1の向きと一致するので、大腸R-colonの中心が仮想内視鏡画像I-VE1の中心付近に表される。これに対して、仮想内視鏡画像の視野の中心（＋印の部分）を局所的観察方向ベクトルD-local1の向きと一致させた場合には（図１１Ｂ参照）、大腸R-colonの中心が仮想内視鏡画像I-VE1′の中心と外れてしまう。
【００４７】
表示制御部３７は、生成された仮想内視鏡画像I-VE1を画像処理ワークステーション３に表示させる(#8)。
【００４８】
ここで、大腸解析アプリケーションの実行状態は、ユーザによる各種操作の待ち状態となる。本実施形態では、視点移動操作(#9)、観察終了操作(#10)の検知待ち状態とし、図３では、ステップ#9のNOの分岐かつステップ#10のNOの分岐によるループとして表しているが、大腸を中心線CL方向に沿って切り開いた展開画像や、中心線CLに垂直な断面による２次元の断面画像等の仮想内視鏡画像I-VE1以外の画像を表示させるための操作等の検知待ち状態とすることもできる。
【００４９】
視点設定・変更部３４が視点VP1を移動させるための操作を受け付けた場合は(#9;YES)、視点設定・変更部３４がその操作に応じて視点VP1の位置を新たな視点VP2の位置に変更する(#5)。この視線VP1を移動させるための操作は、画像処理ワークステーション３のマウスのホイール操作や、キーボードの上下矢印キーの押下等とすることができる。ここで、視線VP1の移動方向は、例えば、前進方向のホイール操作や上向き矢印キーの押下の場合には、観察方向DEと同じ向き（前進）とし、後退方向のホイール操作や下向き矢印キーの押下の場合には、観察方向DEと反対向き（後退）とすることができる。なお、後退方向に視線VP1を移動させる場合であっても、観察方向DEの向き自体は変更しない。また、視点VP1からVP2への移動量は、そのホイール操作量やキーの押下時間等に応じて決定することができる。さらにまた、このとき、現在の視点VP1の位置が観察経路CLの終点であるにもかかわらず、その観察方向DEへの視点VP1の移動操作が検知された場合には、視点設定・変更部３４は視点VP1を変更しない。この場合、表示制御部３７が、これ以上はその方向に視点VP1を移動できない旨の警告メッセージを表示させるようにしてもよい。
【００５０】
新たな視点VP2が設定された後は、上記と同様にして、新たな視点VP2における視野FOV2を決定し(#6)、仮想内視鏡画像I-VE2を生成し(#7)、表示させる(#8)。このように、大腸解析アプリケーションは、視点VPnの移動操作に応じて、新たな視点VPn、視野FOVnでの仮想内視鏡画像I-VEnの再生成、表示の更新を繰り返し行わせる。一方、視点VPnの移動操作を受け付けずに(#9;NO)、観察終了のための操作を受け付けた場合には(#10;YES)、大腸解析アプリケーションは終了する。
【００５１】
以上のように、本発明の実施形態によれば、観察経路CL上の視点VPnから見た仮想内視鏡画像I-VEnの生成に際して、視野決定部３４が、ＣＴ画像データＶに基づいて、視点VPnにおける局所的観察方向ベクトルD-localnおよび局所的観察方向ベクトルD-localnの近傍の方向を表す複数の探索ベクトルLV1[θp, φq]上に存在する大腸の壁部の位置を特定し、視点VPnと壁部との位置関係に基づいて、視点VPnにおける大域的な観察方向ベクトルD-grobalnを推定し、視点VPnに対して大域的観察方向ベクトルD-grobalnの方向にある画像情報が仮想内視鏡画像I-VEnの中央部に表されるように、仮想内視鏡画像I-VEnの視野FOVnを決定する。したがって、視点VPnの近傍だけでなく、視点VPnから離れた位置についても、大腸の中心付近が仮想内視鏡画像I-VEnの中央部に表される。これにより、大腸の屈曲部においても、大腸の中心部CLが実内視鏡画像と同様の見え方となる仮想内視鏡画像I-VEnを生成することが可能となり、仮想内視鏡画像I-VEnの視野FOVnについてのユーザの違和感が改善され、視野FOVnの変更のためのユーザの作業負荷が軽減され、観察時間の短縮、診断効率の向上に資する。
【００５２】
次に、上記実施形態の変形例について説明する。
【００５３】
上記実施形態において、視野決定部３４が大域的観察方向ベクトルD-grobalnを算出する際に、各探索ベクトルLVn[θp, φq]の総和を求める代わりに、探索ベクトルLVn[θp, φq]のうち長さが最大のベクトルを大域的観察方向ベクトルD-grobalnに決定するようにしてもよいし、探索ベクトルLVn[θp, φq]のうち長さが最大のベクトルと局所的観察方向ベクトルD-localnとを単純に合成したり、重みづけして合成したりすることによって、大域的観察方向ベクトルD-grobalnを決定するようにしてもよい。ただし、この場合には、大腸壁に局所的に存在する特異な構造が、大腸壁の位置の概略的構造に対してノイズとして影響を及ぼしてしまうことがありうる。より具体的には、大腸の憩室部位に向かう探索ベクトルLVn[θp, φq]があると、そのベクトルの大きさが極端に大きくなってしまい、そのベクトルが探索ベクトルLVn[θp, φq]のうち長さが最大のベクトルとなった場合、大域的観察方向ベクトルD-grobalnの決定方法の上記変形例では、大腸壁の概略的構造に合致した位置に仮想内視鏡画像I-VEnの視野FOVnが設定されない可能性がある。また、大腸領域（大腸壁）の抽出が不適切であったり、探索ベクトルLVn[θp, φq]のレイキャスティング処理のための不透明度の定義が不適切であった場合にも、同様の可能性がある。これに対して、上記実施形態のように各探索ベクトルLVn[θp, φq]の総和を求めるようにすれば、このような局所的なノイズの影響を受けにくくなり、大腸壁の位置の概略的構造により合致した方向に大域的観察方向ベクトルD-grobalnを決定することが可能になる。
【００５４】
また、上記実施形態では、視野決定部３５と仮想内視鏡画像生成部３６の両方で別個にレイキャスティング処理を行っているが、１回のレイキャスティング処理で、視野決定部３５における大腸壁の位置の特定と、仮想内視鏡画像生成部３６における仮想内視鏡画像I-VEnの各画素の画素値の決定の両方を同時に行うようにしてもよい。この場合、各探索ベクトルLVn[θp, φq]の範囲を仮想内視鏡画像の画角よりも広く設定しておき、仮想内視鏡画像生成部３６は、視野決定部３５によって決定された視野FOVn内の探索ベクトルLVn[θp, φq]上で決定された画素値を選択することによって仮想内視鏡画像I-VEnを生成すればよい。このように処理負荷の高いレイキャスティング処理を共通化することにより、処理効率が向上する。
【００５５】
また、上記実施形態において、視野決定部３４が大域的観察方向ベクトルD-grobalnを算出するために、各探索ベクトルLVn[θp, φq]の総和を求める際、前の視点VPn-1からの移動量や視点VPnの移動速度等を用いた重みづけをさらに行うようにしてもよい。
【００５６】
また、視野決定部３５において、上記とは異なる方法で大域的観察方向ベクトルD-grobalnを決定することも考えられる。例えば、図１０に模式的に示したように、視野決定部３５が、現在の視点VPnから観察方向DEにある観察経路CL上の各探索点（ここでは、次以降の視点VPn+1、VPn+2・・・とする）に向かう探索ベクトルLV2n[1]、LV2n[2]・・・、LV2n[k]を設定する。そして、現在の視点VPnに近い探索点に向かう探索ベクトルLV2n[1]から順に、上記実施形態と同様のレイキャスティング処理により、その探索ベクトル上に大腸の壁部が存在するかどうか判定していき、壁部が存在しないと判定された探索ベクトルの中で最も長い探索ベクトルを特定し、その探索ベクトル（図１０ではLV2n[K]）を大域的観察方向ベクトルD-grobalnに決定する。図１０では、探索ベクトルLV2n[K]上で初めて大腸の壁部に突き当たるので、視野決定部３６は、探索ベクトルLV2n[K]までで上記判定を中止し、次の探索ベクトルLV2n[K+1]は設定しない。これにより、大域的観察方向ベクトルD-grobalnを決定するためのレイキャスティング処理におけるレイの数を減らすことができるので、処理負荷を軽減することができる。また、大域的観察方向ベクトルD-grobalnの向きが、必ず現在の視点VPnと観察経路（大腸の芯線）CL上の点を結ぶ向きとなるので、確実に管腔構造の遠方の中心を捉えることが可能になる。なお、大腸の壁部が存在しない探索ベクトルの長さが所定の閾値より長くなった場合には、そのときの探索ベクトルを大域的観察方向ベクトルD-grobalnに決定するようにしてもよい。これにより、大腸の直線的な部分においても迅速に大域的観察方向ベクトルD-grobalnを決定することが可能になる。
【００５７】
上記実施形態や変形例において、視点設定・変更部３４は、ユーザによる操作に応じて視点VPnの位置をVPn+1に変更するようにしているが、例えば、所定の時間間隔で自動的に視点の位置を、所定の距離間隔で変更していくようにしてもよい。これにより、大腸内を自動的に航行するように仮想内視鏡画像I-VEnを動画的に表示させることが可能になる。
【００５８】
上記実施形態や変形例において、ＣＴ画像データＶを入力として、大腸のポリープ等の病変領域を自動的に検出する病変検出部を付加してもよい。この場合、仮想内視鏡画像I-VEnの視野FOVn内に、検出された病変領域が存在する場合には、仮想内視鏡画像生成部３６がその病変領域の色を他の領域とは異なる色にして仮想内視鏡画像I-VEnを生成するようにしてもよいし、表示制御部３７が病変を表す矢印等のアノテーションを仮想内視鏡画像I-VEn上に重畳して表示させるようにしてもよい。また、視点VPnから病変領域に向かう方向を視野FOVnの中心に変更するかどうかをユーザに選択させるユーザインターフェースを提示するようにしてもよい。あるいは、視野決定部３５が、探索ベクトルLVn[θp, φq]の各方向へのレイキャスティング処理の際に、病変領域を通るレイがあった場合、そのレイの向きが仮想内視鏡画像I-VEnの中央部になるように視野FOVnを決定するようにしてもよい。なお、大腸を表すＣＴ画像からの病変検出方法としては、大腸内壁面の形状情報を微分幾何学的に解析することによってポリープを検出する手法等の公知の手法を採用することが可能である（木村 崇博、外４名、「形状情報に基づく3次元腹部CT像からの大腸ポリープ自動検出手法に関する検討(腹部CAD)(関連学会との共催によるバイオメディカルイメージング連合フォーラム)」、電子情報通信学会技術研究報告. MI, 医用画像、社団法人電子情報通信学会、2004年1月18日、Vol.103, No.599, p.p.29-34等参照）。
【００５９】
また、上記実施形態や変形例において、上記観察経路CLに対応する観察経路上の、上記視点VPnに対応する各視点において、視野FOVnに対応する各視野内の大腸の内部を内視鏡で撮像することによって得られた実内視鏡画像I-REnを取得するようにし、上記仮想内視鏡画像I-VEnと実内視鏡画像I-REnとを同時に表示するようにしてもよい。これにより、両画像の視野の中心方向をそろえて比較観察を行うことが可能になり、観察効率の向上に資する。ここで、具体的な表示態様としては、図１１Ａに示したように両画像を並べて表示する態様や、図１１に示したように両画像の視野の中心を並べて表示する態様が挙げられる。なお、仮想内視鏡画像I-VEnと実内視鏡画像I-REnの視点の位置の対応関係は、例えば、観察経路の端点からの距離に基づいて特定することができる。
【００６０】
上記の実施形態や変形例はあくまでも例示であり、上記のすべての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。また、上記の実施形態におけるシステム構成、ハードウェア構成、処理フロー、モジュール構成、ユーザインターフェースや具体的処理内容等に対して、本発明の趣旨から逸脱しない範囲で様々な改変を行ったものも、本発明の技術的範囲に含まれる。
【００６１】
例えば、上記の実施形態において、視点VPnの位置の変更に応じて、視野FOVnの決定や仮想内視鏡画像I-VEnの生成を行っているが、観察経路CL上に複数の視点VPnを予め設定しておき、その視点VPnの各々での視野FOVnを決定し、各視点VPn、各視野FOVnでの仮想内視鏡画像I-VEnを予め生成しておいてもよい。
【００６２】
また、上記実施形態では、管腔構造として大腸を例にしたが、胃、気管、気管支等を対象とすることもできる。
【符号の説明】
【００６３】
３１ 大腸領域抽出部
３２ 観察経路設定部
３３ 観察方向設定部
３４ 視点設定・変更部
３５ 視野決定部
３６ 仮想内視鏡画像生成部
３７ 表示制御部
【技術分野】
【０００１】
本発明は、被検体の管腔構造が表された３次元医用画像から仮想内視鏡画像を生成する医用画像処理技術に関するものである。
【背景技術】
【０００２】
近年、ＭＤＣＴ等のモダリティの進歩により、被検体を表す高画質の３次元医用画像が得られるようになってきた。これに伴い、擬似３次元的な画像を生成する医用画像処理技術の開発も進められている。仮想内視鏡表示法はその一例である。仮想内視鏡表示法は、管腔組織の内部を撮影して得られる内視鏡画像に模した画像(以下仮想内視鏡画像と呼ぶ)を、ＣＴ撮影により得られる複数の２次元断面像から生成する技術である。仮想内視鏡表示を利用した検査の利点として、実際の内視鏡による検査と比較して低浸襲であること、また、実際の内視鏡を通すことができない閉塞部より先の管腔内部の様態を観察可能であること等が挙げられる。
【０００３】
例えば、大腸のＣＴ画像を用いた仮想内視鏡検査については、仮想内視鏡表示によるポリープ検出能の評価や、仮想内視鏡検査と実内視鏡検査のポリープ検出能の比較等の臨床試験結果がこれまでに多数報告されており、その有効性が示されてきた。今後、大腸の仮想内視鏡検査が、術前検査だけでなく、スクリーニングとして実施される機会が増えていくことが予想される。
【０００４】
仮想内視鏡表示に関する技術としては、結腸の内腔の中心線を観察経路として予め設定しておき、中心線上に設定された複数の視点の各々から見た仮想内視鏡画像を、各視点間を所与の速度で移動させて順次表示する手法が知られている（例えば、特許文献１）。
【０００５】
一方、仮想内視鏡の観察経路を予め設定せずに動的に設定する手法も知られている。具体的には、現在の視点（Ｐとする）から仮想内視鏡の視野の中心に向かう方向（視野中心方向Ｖとする）と、現在の視点Ｐからの複数の射線のうち内腔壁までの距離が最長となる射線の方向とを重みづけ平均した方向を新たな視野中心方向（Ｖ′とする）として設定し、現在の視点Ｐから現在の視野中心方向Ｖに沿って所定の距離移動した位置の近傍にある、内腔断面の中心位置を新たな視点Ｐ′として設定し、新たな視点Ｐ′において、上記と同様にして、その視点Ｐ′における視野中心方向Ｖ′と最長射線方向とに基づいてさらに新たな視野中心方向を設定するとともに、視野中心方向Ｖ′に基づいてさらに新たな視点を設定することを繰り返していくことによって、観察経路を順次設定するものである（特許文献２）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許第６，２７２，３６６号公報
【特許文献２】特表２００５−５１４０８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載の手法のように仮想内視鏡の観察経路を予め設定しておく場合、各視点における仮想内視鏡の視野中心方向は、その視点における仮想内視鏡の局所的な進行方向、すなわち、その視点の近傍における管腔構造の中心線の向きと一致するように設定されていることが一般的である。この場合、管腔構造の屈曲部付近では、視野中心方向は、仮想内視鏡の進行方向に向かって前方の管腔構造の中心が見渡せる方向とは異なってしまう。具体的には、図１０に模式的に示したように、管腔構造R-colonの中心線CL上の視点VP1は、管腔構造R-colonの屈曲が小さい部分にあるので、その視野中心方向DC1は、中心線CLの大域的な方向とほぼ一致し、視点VP1から見た仮想内視鏡画像Ｉ-VE1′は、図１１Ａに示したように、視点VP1から見た管腔構造R-colonの中心が画像Ｉ-VE1′の中心（図中の＋印）と一致したものとなる。これに対して、視点VP2は、管腔構造R-colonの屈曲が大きい部分にあるので、その視野中心方向DC2は、図１１Ｂに示したように、中心線CLの大域的な方向と一致せず、その結果、視点VP2から見た仮想内視鏡画像Ｉ-VE2′は、視点VP2からある程度離れた位置では、管腔構造R-colonの中心が画像Ｉ-VE2′の中心（図中の＋印）からずれたように表されてしまう。
【０００８】
一方、実内視鏡による管腔構造の観察では、実内視鏡の視野中心方向は、実内視鏡の進行方向に向かって前方の管腔構造の中心が見渡せる方向とほぼ一致する。したがって、このような仮想内視鏡と実内視鏡での視野中心方向の差異は、観察者に違和感を与えてしまうことになる。また、この違和感を改善するために、屈曲部で観察者がマウス等の手動操作によって視野中心方向を変更できるようにすることが考えられるが、観察者に不必要な作業負荷を課すことになり、観察時間の増加、診断効率の低下を引き起こしてしまう。
【０００９】
本発明は上記事情に鑑みてなされたものであり、管腔構造の屈曲部においても、管腔構造の中心部が実内視鏡画像と同様の見え方となる仮想内視鏡画像を生成可能な医用画像処理装置および方法、並びにプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【００１０】
本発明の医用画像処理装置は、３次元医用画像に表された管腔構造を内部から見た仮想内視鏡画像を生成する仮想内視鏡画像生成手段を備えた装置に、前記３次元医用画像中に前記管腔構造に沿った観察経路を設定する観察経路設定手段と、該観察経路に沿った前記管腔構造の観察方向を設定する観察方向設定手段と、該観察経路上に視点を設定する視点設定手段と、前記３次元医用画像に基づいて、前記視点における局所的な前記観察方向および該局所的観察方向の近傍の方向に存在する前記管腔構造の壁部の位置を特定し、前記視点と該壁部との位置関係に基づいて、前記視点における大域的な前記観察方向を推定し、前記視点に対して該大域的観察方向にある画像情報が前記仮想内視鏡画像の中央部に表されるように、該仮想内視鏡画像の視野を決定する視野決定手段とをさらに設け、前記仮想内視鏡画像生成手段が、前記３次元医用画像から、前記視点から見た前記視野内を表す前記仮想内視鏡画像を生成するようにしたものである。
【００１１】
本発明の医用画像処理方法は、３次元医用画像に表された管腔構造を内部から見た仮想内視鏡画像を生成する方法であり、前記３次元医用画像中に前記管腔構造に沿った観察経路を設定する手順と、該観察経路に沿った前記管腔構造の観察方向を設定する手順と、該観察経路上に視点を設定する手順と、前記３次元医用画像に基づいて、前記視点における局所的な前記観察方向および該局所的観察方向の近傍の方向に存在する前記管腔構造の壁部の位置を特定する手順と、前記視点と該壁部との位置関係に基づいて、前記視点における大域的な前記観察方向を推定する手順と、前記視点に対して該大域的観察方向にある画像情報が前記仮想内視鏡画像の中央部に表されるように、該仮想内視鏡画像の視野を決定する手順と、前記３次元医用画像から、前記視点から見た前記視野内を表す前記仮想内視鏡画像を生成する手順とを有するものである。
【００１２】
本発明の医用画像処理プログラムは、コンピュータを上記医用画像処理装置の各手段として機能させるものである。
【００１３】
本発明において、観察経路は管腔構造の中心線としてもよい。
【００１４】
また、観察経路の設定方法は、観察経路に応じた画像認識手法等を用いて自動的に設定する方法であってもよいし、ユーザの手動操作に応じて設定する方法であってもよいし、自動設定された観察経路を手動操作で修正したり、手動操作に応じて設定された部分的な観察経路に基づいて、補間計算等によって自動で観察経路全体を設定したりしてもよい。
【００１５】
観察方向や視点の設定方法は、所定の条件に基づいて自動的に設定する方法であってもよいし、ユーザの手動操作に応じて設定する方法であってもよい。
【００１６】
局所的観察方向とは、その視点の近傍の微小な観察経路における観察方向を意味する。
【００１７】
局所的観察方向の近傍の方向は、例えば、局所的観察方向を表すベクトルと９０度以下の角をなすベクトルの方向とすることができる。
【００１８】
一方、大域的観察方向とは、観察経路全体を見た場合の観察方向を意味する。すなわち、視点の位置から、その観察方向にその近傍よりも離れた観察経路上の位置まで向かう方向を意味する。
【００１９】
この大域的観察方向の推定方法の第１の具体例としては、視点から局所的観察方向およびその近傍方向に放射状に発した複数の探索線上の画素値に基づいて、探索線毎に管腔構造の壁部の位置を特定し、視点から壁部までの距離を算出し、各探索線の方向を、壁部までの距離が大きい探索線ほど寄与が大きくなるように合成することによって得られる方向を、大域的観察方向とする方法が挙げられる。この場合、仮想内視鏡画像の視野を、上記の推定処理の際に発される放射状の探索線の放射範囲より狭くなるようにし、放射状に発した複数の探索線上の画素値に基づいて仮想内視鏡画像の各画素の画素値も決定しておくようにしてもよい。したがって、仮想内視鏡画像の生成の際には、上記複数の探索線毎に決定された画素値のうち、上記方法で決定された視野内の画素の画素値のみを選択すればよい。
【００２０】
また、第２の具体例としては、上記視点における局所的観察方向の近傍の方向を、その視点から、上記設定された観察方向に沿ってその視点よりも前方にある観察経路上の複数の探索点の各々に向かう方向とし、その視点と複数の探索点の各々とを結ぶ複数の第２の探索線上の画素値に基づいて、その視点と探索点との間に壁部が存在しない第２の探索線のうち、その長さが所定の基準を満たす程度に長い第２の探索線の方向を、大域的観察方向とする方法が挙げられる。
【００２１】
また、本発明において、管腔構造内の所与の画像的特徴を有する注目領域を抽出するようにし、抽出された注目領域にさらに基づいて視野を決定するようにしてもよい。
【００２２】
また、本発明において、上記観察経路に対応する第２の観察経路上の、上記視点に対応する第２の視点において、上記視野に対応する第２の視野内の管腔構造の内部を内視鏡で撮像することによって得られた実内視鏡画像を取得するようにし、上記仮想内視鏡画像と上記実内視鏡画像とを表示手段に同時に表示させるようにしてもよい。
【発明の効果】
【００２３】
本発明によれば、所与の観察経路上の視点から見た仮想内視鏡画像の生成に際して、３次元医用画像に基づいて、視点における局所的な観察方向および局所的観察方向の近傍の方向に存在する管腔構造の壁部の位置を特定し、視点と壁部との位置関係に基づいて、視点における大域的な観察方向を推定し、視点に対して大域的観察方向にある画像情報が仮想内視鏡画像の中央部に表されるように、仮想内視鏡画像の視野を決定する。したがって、視点の近傍だけでなく、視点から離れた位置についても、管腔構造の中心付近が仮想内視鏡画像の中央部に表される。これにより、管腔構造の屈曲部においても、管腔構造の中心部が実内視鏡画像と同様の見え方となる仮想内視鏡画像を生成することが可能となり、仮想内視鏡画像の視野についての観察者の違和感が改善され、視野の変更のための作業負荷が軽減され、観察時間の短縮、診断効率の向上に資する。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施の形態となる医用画像処理装置が導入された医用画像診断システムの概略構成図
【図２】本発明の実施形態における医用画像処理機能（大腸仮想内視鏡検査機能）を実現する構成および処理の流れを模式的に示したブロック図
【図３】本発明の実施形態における医用画像診断システムを用いた大腸仮想内視鏡検査の流れを表したフローチャート
【図４】本発明の実施形態における仮想内視鏡の視野決定処理の流れを表したフローチャート
【図５】局所的観察方向ベクトルを模式的に表した図
【図６】探索ベクトルの方向の規定方法を模式的に表した図
【図７】大腸領域中に探索ベクトルを表した模式図
【図８】局所的観察方向ベクトルと大域的観察方向ベクトル（視野中心方向ベクトル）の向きの違いを模式的に表した図
【図９】本発明の実施形態において生成される仮想内視鏡画像を模式的に表した図
【図１０】本発明の実施形態の変形例となる大域的観察方向ベクトルの決定方法を模式的に表した図
【図１１Ａ】本発明の実施形態の変形例となる仮想内視鏡画像と実内視鏡画像の第１の表示例を模式的に表した図
【図１１Ｂ】本発明の実施形態の変形例となる仮想内視鏡画像と実内視鏡画像の第２の表示例を模式的に表した図
【図１２】従来手法で生成される仮想内視鏡画像の視野中心ベクトルを模式的に表した図
【図１３Ａ】従来手法で、管腔構造の直線に近い部分の視点において生成される仮想内視鏡画像を模式的に表した図
【図１３Ｂ】従来手法で、管腔構造の屈曲部の視点において生成される仮想内視鏡画像を模式的に表した図
【発明を実施するための形態】
【００２５】
以下、マルチスライスＣＴで得られた腹部の３次元医用画像に基づいて、大腸内の観察経路（中心線）に沿って視点を移動させながら、各視点における仮想内視鏡画像を順次観察する仮想内視鏡検査のための大腸解析処理を例にして、本発明の実施の形態となる医用画像処理装置が導入された医用画像診断システムについて説明する。
【００２６】
図１は、この医用画像診断システムの概要を示すハードウェア構成図である。図に示すように、このシステムでは、モダリティ１と、画像保管サーバ２と、画像処理ワークステーション３とが、ネットワーク９を経由して通信可能な状態で接続されている。
【００２７】
モダリティ１は、被検体の腹部（大腸領域）を撮影することにより、その部位を表す３次元医用画像の画像データを生成し、その画像データにＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格で規定された付帯情報を付加して、画像情報として出力する装置である。本実施形態では、マルチスライスＣＴが含まれる。
【００２８】
画像保管サーバ２は、モダリティ１で取得された医用画像データや画像処理ワークステーション３での画像処理によって生成された医用画像の画像データを画像データベースに保存・管理するコンピュータであり、大容量外部記憶装置やデータベース管理用ソフトウェア（たとえば、ＯＲＤＢ（Object Relational Database）管理ソフトウェア）を備えている。
【００２９】
画像処理ワークステーション３は、本発明の医用画像診断支援装置として機能する。読影者からの要求に応じて、モダリティ１や画像保管サーバ２から取得した医用画像データに対して画像処理（画像解析を含む）を行い、生成された画像を表示するコンピュータであり、ＣＰＵ，主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置（マウス、キーボード等）、表示装置（ディスプレイモニタ）、データバス等の周知のハードウェア構成を備え、周知のオペレーティングシステム等がインストールされたものである。本発明の医用画像処理（大腸解析処理）は、ＣＤ−ＲＯＭ等の記録媒体からインストールされたプログラム（大腸解析アプリケーション）を実行することによって実現される。また、このプログラムは、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされたものであってもよい。
【００３０】
画像データの格納形式やネットワーク９経由での各装置間の通信は、ＤＩＣＯＭ等のプロトコルに基づいている。
【００３１】
図２は、画像処理ワークステーション３の機能のうち、本発明の実施形態となる大腸解析処理に関連する部分を示すブロック図である。図に示すように、本実施形態における大腸解析処理は、大腸領域抽出部３１、観察経路設定部３２、観察方向設定部３３、視点設定・変更部３４、視野決定部３５、仮想内視鏡画像生成部３６、表示制御部３７によって実現される。また、腹部のＣＴ画像の画像データＶ、大腸領域情報R-colon、観察経路情報CL、観察方向情報DE、仮想内視鏡の視点情報VPn（n=1,2,・・・,N）、仮想内視鏡の視野情報FOVn、仮想内視鏡画像I-VEnは、各々、上記各処理部によって、画像処理ワークステーション３の所定の記憶領域に対して読み書きされるデータである。
【００３２】
次に、図３のフローチャートに基づいて、本発明の実施形態となる大腸解析処理の流れおよび各処理部の処理内容の詳細について説明する。
【００３３】
まず、ユーザ（例えば画像診断医）が画像処理ワークステーション３のディスプレイに表示された検査リストやシリーズリストから大腸解析の対象画像である、マルチスライスＣＴで得られたＣＴ画像データＶを選択すると、画像処理ワークステーション３は、選択されたＣＴ画像データＶを取得する(#1)。次に、ユーザが、大腸解析アプリケーションを起動する操作を行うと、選択されたＣＴ画像データＶに対する画像解析が開始される。
【００３４】
大腸領域抽出部３１は、ＣＴ画像データＶを入力として、観察対象である大腸領域R-colonを公知の手法により自動抽出する(#2)。具体的には、ＣＴ画像データＶを構成する、または、ＣＴ画像データＶから再構成された、体軸に垂直な断面（軸位断；axial）による軸位断画像の各々について二値化処理を施し、輪郭抽出処理により人体の体表の輪郭を抽出し、その抽出した輪郭内部を体内(人体)領域として抽出する。次に、体内領域を対象に閾値による二値化処理を行い、各軸位断画像における大腸の領域の候補を抽出する。ここで、マルチスライスＣＴの撮影時に大腸の管内は空気で満たされるため、大腸内部と周辺組織とではＣＴ値の差が顕著となることを利用し、空気のＣＴ値に対応する閾値を設定して二値化を行い、各軸位断画像の体内の空気領域を抽出する。最後に、各軸位断画像間で、抽出された体内の空気領域がつながる部分のみを大腸領域として抽出する。抽出された大腸領域を表す情報R-colonは、ＣＴ画像データＶの３次元座標系の各点に対して、その点が大腸領域に属するかどうかを識別するフラグを関連づけたマスクデータとして、画像処理ワークステーション３の所定の記憶領域に格納される。
【００３５】
観察経路設定部３２は、大腸領域抽出部３１によって抽出された大腸領域R-colonに沿った観察経路CLの設定を行う(#3)。具体的には、公知の手法によって大腸の芯線（中心線）を抽出し、抽出された芯線を観察経路CLとすることができる。大腸の芯線の抽出には、大腸領域抽出部３１による大腸の抽出の際に得られる、体内の空気領域がつながる部分のみを抽出した大腸領域を表す２値化画像に対して３次元の細線化処理を行う方法（特開2004-283373号公報等参照）等を用いることができる。そして、大腸領域の細線化処理結果に対し、最長距離を有する経路を選択することによって、観察経路CLが求まる。ここで、大腸や芯線の抽出結果を手作業で修正するためのユーザインターフェースをさらに提供してもよい。具体例としては、軸位断画像毎に、抽出された大腸領域や芯線を強調表示し、ユーザが、軸位断画像毎に抽出結果が誤っている大腸領域や芯線（画像上では芯線を表す点となる）を、ユーザがマウス等を操作して修正を行うインターフェースが挙げられる。あるいは、観察経路設定部３２は、大腸領域R-colonを画像処理ワークステーション３のディスプレイに表示させ、観察経路の始点と終点の選択を受け付けるユーザインターフェースを提供し、公知の最短経路探索アルゴリズムを用いて、選択された始点と終点とを結ぶ大腸領域R-colon内の最短経路を算出し、算出された最短経路を観察経路CLとすることができる。設定された観察経路を表す情報CLは、例えば、ＣＴ画像データＶの３次元座標系における点列のデータとして、画像処理ワークステーション３の所定の記憶領域に格納される。
【００３６】
観察方向設定部３３は、観察経路CLに沿った大腸の観察方向DEを設定し(#4)、視点設定・変更部３４は、観察経路CL上に、仮想内視鏡観察の最初の視点VP1を設定する(#5)。具体的には、大腸領域R-colonおよび観察経路CLを画像処理ワークステーション３のディスプレイに表示させ、観察経路CLの始点と終点、並びに最初の視点VP1の選択を受け付けるユーザインターフェースとすることができる。これにより、選択された観察経路CLの始点から終点に向かう観察方向DEが設定される。なお、前述のように、観察経路CLの設定の際に上記と同様のユーザインターフェースを用いる場合には、観察経路設定部３２によって設定された観察経路CLの始点および終点を用いて観察方向DEを設定すればよい。あるいは、観察経路CLの両端の点の座標値に基づいて、各端点が被検体の頭側（小腸側）の端点か脚側（肛門側）の端点かを判別し、所定の側（例えば脚側）の端点を始点、もう一方の端点を終点とする観察方向DEを自動的に設定するようにしてもよい。さらに、最初の視点VP1についても、観察経路CLの始点や、観察経路CLの端点等の所定の点から観察経路CLに沿った所定の距離だけ離れた点等に自動設定するようにしてもよい。
【００３７】
視野決定部３５は、ＣＴ画像データＶに基づいて、視点設定・変更部３４によって設定された視点VP1における局所的な観察方向D-local1および局所的観察方向の近傍の方向LV1[θp, φq]（p=1,2,・・・,P、q=1,2,・・・,Q）に存在する大腸R-colonの壁部の位置を特定し、視点VP1と壁部との位置関係に基づいて、視点VP1における大域的な観察方向D-grobal1を推定し、視点VP1に対して大域的観察方向D-grobal1にある画像情報が仮想内視鏡画像I-VE1の中央部に表されるように、仮想内視鏡画像I-VE1の視野FOV1を決定する(#6)。
【００３８】
図４は、本発明の実施形態における視野決定部３５による視野決定処理の詳細な流れを表したフローチャートである。図に示したとおり、視野決定部３５は、まず、局所観察方向ベクトルD-local1の算出を行う(#6.1)。具体的には、図５に模式的に表したように（ただし、ここではn=1とする）、大腸領域R-colonに沿った観察経路CL上の視点VP1を始点とし、観察方向DEに沿った次の視点VP2を終点とするベクトルを、局所的観察方向ベクトルD-local1として算出する。この局所的観察方向ベクトルD-local1は、視点VP1における局所的な観察方向を表すものである。なお、現在の視点VP1と次の視点VP2の間の観察経路CLに沿った距離は、本実施形態の大腸解析アプリケーションの処理パラメータとして、初期設定ファイルやユーザ入力によって与えられる。また、局所観察方向ベクトルD-localnは、現在の視点VPnを始点とし、現在の視点VPnの前の視点VPn-1から現在の視点VPnの後の視点VPn+1に向かう向きを有するベクトルとしてもよい。
【００３９】
次に、視野決定部３５は、局所的観察方向ベクトルD-local1の方向およびその局所的観察方向の近傍の方向の探索ベクトルLV1[θp, φq]（p=1,2,・・・,P、q=1,2,・・・,Q）の向きを設定し、各探索ベクトルLV1[θp, φq]の向きにおける大腸壁の位置を特定し、各向きについて、視点VP1から大腸壁までの距離を探索ベクトルLV1[θp, φq]の大きさとして算出する(#6.2)。
【００４０】
図６は、本実施形態における探索ベクトルLV1[θp, φq]の向きの規定方法を模式的に表したものである。図に示したとおり、視野決定部３５は、まず、局所的観察方向ベクトルD-local1を基準として緯度方向と経度方向を設定し、緯度θpはθ1≦θp≦θPの範囲で、経度φqはφ1≦φq≦φQの範囲で、(P×Q)本の探索ベクトルLV1[θp, φq]の向きを設定する。ここでは、図７に模式的に表したように、局所的観察方向ベクトルD-local1の緯度および経度を0度とし、θ1、θP、φ1、φQは、各々、-90度≦θ1＜0度、0度＜θP≦90度、-90度≦φ1＜0度、0度＜φQ≦90度を満たす所定の値として、視点VP1から局所的観察方向ベクトルD-local1の方向を中心とする放射状に探索ベクトルLV1[θp, φq]の向きを設定するようにしている。また、P=Qとして緯度方向と経度方向に等方性をもたせてもよい。
【００４１】
次に、視野決定部３５は、設定された探索ベクトルLV1[θp, φq]の各方向に対して公知のレイキャスティング処理を行うことにより、各探索ベクトルLV1[θp, φq]の方向における大腸壁の位置を特定する。具体的には、例えば、視点位置から各探索ベクトルLV1[θp, φq]の方向に飛ばされたレイが大腸壁で停止するように、大腸壁に相当するＣＴ値の不透明度を1.0、大腸内部の空気に相当するＣＴ値の不透明度を0.0に設定しておき、レイが停止した位置を大腸壁の位置として特定することができる。そして、各探索ベクトルLV1[θp, φq]の方向について、視点VP1から大腸壁までの距離を探索ベクトルLV1[θp, φq]の大きさとして算出する。
【００４２】
この処理を設定された各探索ベクトルLV1[θp, φq]の向きに対して順次繰り返し行うことにより、視点位置VP1を始点とし、大腸壁の位置を終点とする探索ベクトルLV1[θp, φq]の各々の向きおよび大きさが設定される。
【００４３】
そして、視野決定部３５は、探索ベクトルLV1[θp, φq]を合成することによって、大域的観察方向ベクトルD-grobal1を算出する(#6.3)。その結果、図８に模式的に表したように、大域的観察方向ベクトルD-grobal1の向きは、局所的観察方向D-local1からの長さの大きい探索ベクトルLV1[θp, φq]が多く分布する向きに傾いたものとなる。すなわち、大域的観察方向ベクトルD-grobal1の向きは、視点VP1から観察方向DEの終点に向かって離れた位置までの大域的な観察方向を表したものとなる。さらに言い換えると、大域的観察方向ベクトルD-grobal1の向きは、視点VP1から見ることのできる、観察経路CLに沿った最も遠い大腸内の位置付近の方向を示すものとなる。なお、図８では、大域的観察方向ベクトルD-grobal1は、探索ベクトルLV1[θp, φq]を合成した後、合成ベクトルをそのノルムで除した単位ベクトルとなっており、以降の演算でも、この単位ベクトル化された大域的観察方向ベクトルD-grobal1を用いることができる。
【００４４】
視野決定部３５は、最後に、大域的観察方向ベクトルD-grobal1を視野の中心とする所定の視野角（画角）の視野FOV1を設定する。
【００４５】
なお、以上の処理で、探索ベクトルの緯度θp、経度φqの値の範囲や所定の視野角は、本実施形態の大腸解析アプリケーションの処理パラメータとして、初期設定ファイルやユーザ入力によって与えられる。また、緯度θp、経度φqの値の範囲は、観察経路CLの屈曲率等に基づいて算出される、視点VPnの位置に応じた可変の値としてもよい。具体的には、観察経路CLが直線に近い部分では、局所的観察方向と大域的観察方向の差が小さく、観察経路CLが大きく湾曲している部分では、局所的観察方向と大域的観察方向の差が大きくなることに鑑み、観察経路CLの屈曲率が小さいほど、緯度θp、経度φqの値の範囲が小さくなり、観察経路CLの屈曲率が大きいほど緯度θp、経度φqの値の範囲が大きくなるようにすることが好ましい。
【００４６】
仮想内視鏡画像生成部３６は、ＣＴ画像データＶを入力として、公知のレイキャスティング処理を用いたボリュームレンダリング法により、視点VP1から見た視野FOV1内を表す仮想内視鏡画像I-VE1を生成する(#7)。具体的には、視点設定・変更部３４によって設定された視点VP1から、視野決定部３５によって決定された視野FOV1の範囲内に放射状に伸ばした複数の探索線上の画像情報を大域的観察方向ベクトルD-grobal1に垂直な投影面に投影した中心投影による投影画像I-VE1をＣＴ画像データＶから生成する。生成される投影画像I-VE1は、大腸内をあたかも実内視鏡で観察したような様子を表す仮想内視鏡画像となる。図９は、生成される仮想内視鏡画像I-VE1の一例を模式的に表したものである（図中、n=1とする）。図に示したように、本実施形態では、仮想内視鏡画像I-VE1の視野の中心（＋印の部分）は、大域的観察方向ベクトルD-grobal1の向きと一致するので、大腸R-colonの中心が仮想内視鏡画像I-VE1の中心付近に表される。これに対して、仮想内視鏡画像の視野の中心（＋印の部分）を局所的観察方向ベクトルD-local1の向きと一致させた場合には（図１１Ｂ参照）、大腸R-colonの中心が仮想内視鏡画像I-VE1′の中心と外れてしまう。
【００４７】
表示制御部３７は、生成された仮想内視鏡画像I-VE1を画像処理ワークステーション３に表示させる(#8)。
【００４８】
ここで、大腸解析アプリケーションの実行状態は、ユーザによる各種操作の待ち状態となる。本実施形態では、視点移動操作(#9)、観察終了操作(#10)の検知待ち状態とし、図３では、ステップ#9のNOの分岐かつステップ#10のNOの分岐によるループとして表しているが、大腸を中心線CL方向に沿って切り開いた展開画像や、中心線CLに垂直な断面による２次元の断面画像等の仮想内視鏡画像I-VE1以外の画像を表示させるための操作等の検知待ち状態とすることもできる。
【００４９】
視点設定・変更部３４が視点VP1を移動させるための操作を受け付けた場合は(#9;YES)、視点設定・変更部３４がその操作に応じて視点VP1の位置を新たな視点VP2の位置に変更する(#5)。この視線VP1を移動させるための操作は、画像処理ワークステーション３のマウスのホイール操作や、キーボードの上下矢印キーの押下等とすることができる。ここで、視線VP1の移動方向は、例えば、前進方向のホイール操作や上向き矢印キーの押下の場合には、観察方向DEと同じ向き（前進）とし、後退方向のホイール操作や下向き矢印キーの押下の場合には、観察方向DEと反対向き（後退）とすることができる。なお、後退方向に視線VP1を移動させる場合であっても、観察方向DEの向き自体は変更しない。また、視点VP1からVP2への移動量は、そのホイール操作量やキーの押下時間等に応じて決定することができる。さらにまた、このとき、現在の視点VP1の位置が観察経路CLの終点であるにもかかわらず、その観察方向DEへの視点VP1の移動操作が検知された場合には、視点設定・変更部３４は視点VP1を変更しない。この場合、表示制御部３７が、これ以上はその方向に視点VP1を移動できない旨の警告メッセージを表示させるようにしてもよい。
【００５０】
新たな視点VP2が設定された後は、上記と同様にして、新たな視点VP2における視野FOV2を決定し(#6)、仮想内視鏡画像I-VE2を生成し(#7)、表示させる(#8)。このように、大腸解析アプリケーションは、視点VPnの移動操作に応じて、新たな視点VPn、視野FOVnでの仮想内視鏡画像I-VEnの再生成、表示の更新を繰り返し行わせる。一方、視点VPnの移動操作を受け付けずに(#9;NO)、観察終了のための操作を受け付けた場合には(#10;YES)、大腸解析アプリケーションは終了する。
【００５１】
以上のように、本発明の実施形態によれば、観察経路CL上の視点VPnから見た仮想内視鏡画像I-VEnの生成に際して、視野決定部３４が、ＣＴ画像データＶに基づいて、視点VPnにおける局所的観察方向ベクトルD-localnおよび局所的観察方向ベクトルD-localnの近傍の方向を表す複数の探索ベクトルLV1[θp, φq]上に存在する大腸の壁部の位置を特定し、視点VPnと壁部との位置関係に基づいて、視点VPnにおける大域的な観察方向ベクトルD-grobalnを推定し、視点VPnに対して大域的観察方向ベクトルD-grobalnの方向にある画像情報が仮想内視鏡画像I-VEnの中央部に表されるように、仮想内視鏡画像I-VEnの視野FOVnを決定する。したがって、視点VPnの近傍だけでなく、視点VPnから離れた位置についても、大腸の中心付近が仮想内視鏡画像I-VEnの中央部に表される。これにより、大腸の屈曲部においても、大腸の中心部CLが実内視鏡画像と同様の見え方となる仮想内視鏡画像I-VEnを生成することが可能となり、仮想内視鏡画像I-VEnの視野FOVnについてのユーザの違和感が改善され、視野FOVnの変更のためのユーザの作業負荷が軽減され、観察時間の短縮、診断効率の向上に資する。
【００５２】
次に、上記実施形態の変形例について説明する。
【００５３】
上記実施形態において、視野決定部３４が大域的観察方向ベクトルD-grobalnを算出する際に、各探索ベクトルLVn[θp, φq]の総和を求める代わりに、探索ベクトルLVn[θp, φq]のうち長さが最大のベクトルを大域的観察方向ベクトルD-grobalnに決定するようにしてもよいし、探索ベクトルLVn[θp, φq]のうち長さが最大のベクトルと局所的観察方向ベクトルD-localnとを単純に合成したり、重みづけして合成したりすることによって、大域的観察方向ベクトルD-grobalnを決定するようにしてもよい。ただし、この場合には、大腸壁に局所的に存在する特異な構造が、大腸壁の位置の概略的構造に対してノイズとして影響を及ぼしてしまうことがありうる。より具体的には、大腸の憩室部位に向かう探索ベクトルLVn[θp, φq]があると、そのベクトルの大きさが極端に大きくなってしまい、そのベクトルが探索ベクトルLVn[θp, φq]のうち長さが最大のベクトルとなった場合、大域的観察方向ベクトルD-grobalnの決定方法の上記変形例では、大腸壁の概略的構造に合致した位置に仮想内視鏡画像I-VEnの視野FOVnが設定されない可能性がある。また、大腸領域（大腸壁）の抽出が不適切であったり、探索ベクトルLVn[θp, φq]のレイキャスティング処理のための不透明度の定義が不適切であった場合にも、同様の可能性がある。これに対して、上記実施形態のように各探索ベクトルLVn[θp, φq]の総和を求めるようにすれば、このような局所的なノイズの影響を受けにくくなり、大腸壁の位置の概略的構造により合致した方向に大域的観察方向ベクトルD-grobalnを決定することが可能になる。
【００５４】
また、上記実施形態では、視野決定部３５と仮想内視鏡画像生成部３６の両方で別個にレイキャスティング処理を行っているが、１回のレイキャスティング処理で、視野決定部３５における大腸壁の位置の特定と、仮想内視鏡画像生成部３６における仮想内視鏡画像I-VEnの各画素の画素値の決定の両方を同時に行うようにしてもよい。この場合、各探索ベクトルLVn[θp, φq]の範囲を仮想内視鏡画像の画角よりも広く設定しておき、仮想内視鏡画像生成部３６は、視野決定部３５によって決定された視野FOVn内の探索ベクトルLVn[θp, φq]上で決定された画素値を選択することによって仮想内視鏡画像I-VEnを生成すればよい。このように処理負荷の高いレイキャスティング処理を共通化することにより、処理効率が向上する。
【００５５】
また、上記実施形態において、視野決定部３４が大域的観察方向ベクトルD-grobalnを算出するために、各探索ベクトルLVn[θp, φq]の総和を求める際、前の視点VPn-1からの移動量や視点VPnの移動速度等を用いた重みづけをさらに行うようにしてもよい。
【００５６】
また、視野決定部３５において、上記とは異なる方法で大域的観察方向ベクトルD-grobalnを決定することも考えられる。例えば、図１０に模式的に示したように、視野決定部３５が、現在の視点VPnから観察方向DEにある観察経路CL上の各探索点（ここでは、次以降の視点VPn+1、VPn+2・・・とする）に向かう探索ベクトルLV2n[1]、LV2n[2]・・・、LV2n[k]を設定する。そして、現在の視点VPnに近い探索点に向かう探索ベクトルLV2n[1]から順に、上記実施形態と同様のレイキャスティング処理により、その探索ベクトル上に大腸の壁部が存在するかどうか判定していき、壁部が存在しないと判定された探索ベクトルの中で最も長い探索ベクトルを特定し、その探索ベクトル（図１０ではLV2n[K]）を大域的観察方向ベクトルD-grobalnに決定する。図１０では、探索ベクトルLV2n[K]上で初めて大腸の壁部に突き当たるので、視野決定部３６は、探索ベクトルLV2n[K]までで上記判定を中止し、次の探索ベクトルLV2n[K+1]は設定しない。これにより、大域的観察方向ベクトルD-grobalnを決定するためのレイキャスティング処理におけるレイの数を減らすことができるので、処理負荷を軽減することができる。また、大域的観察方向ベクトルD-grobalnの向きが、必ず現在の視点VPnと観察経路（大腸の芯線）CL上の点を結ぶ向きとなるので、確実に管腔構造の遠方の中心を捉えることが可能になる。なお、大腸の壁部が存在しない探索ベクトルの長さが所定の閾値より長くなった場合には、そのときの探索ベクトルを大域的観察方向ベクトルD-grobalnに決定するようにしてもよい。これにより、大腸の直線的な部分においても迅速に大域的観察方向ベクトルD-grobalnを決定することが可能になる。
【００５７】
上記実施形態や変形例において、視点設定・変更部３４は、ユーザによる操作に応じて視点VPnの位置をVPn+1に変更するようにしているが、例えば、所定の時間間隔で自動的に視点の位置を、所定の距離間隔で変更していくようにしてもよい。これにより、大腸内を自動的に航行するように仮想内視鏡画像I-VEnを動画的に表示させることが可能になる。
【００５８】
上記実施形態や変形例において、ＣＴ画像データＶを入力として、大腸のポリープ等の病変領域を自動的に検出する病変検出部を付加してもよい。この場合、仮想内視鏡画像I-VEnの視野FOVn内に、検出された病変領域が存在する場合には、仮想内視鏡画像生成部３６がその病変領域の色を他の領域とは異なる色にして仮想内視鏡画像I-VEnを生成するようにしてもよいし、表示制御部３７が病変を表す矢印等のアノテーションを仮想内視鏡画像I-VEn上に重畳して表示させるようにしてもよい。また、視点VPnから病変領域に向かう方向を視野FOVnの中心に変更するかどうかをユーザに選択させるユーザインターフェースを提示するようにしてもよい。あるいは、視野決定部３５が、探索ベクトルLVn[θp, φq]の各方向へのレイキャスティング処理の際に、病変領域を通るレイがあった場合、そのレイの向きが仮想内視鏡画像I-VEnの中央部になるように視野FOVnを決定するようにしてもよい。なお、大腸を表すＣＴ画像からの病変検出方法としては、大腸内壁面の形状情報を微分幾何学的に解析することによってポリープを検出する手法等の公知の手法を採用することが可能である（木村 崇博、外４名、「形状情報に基づく3次元腹部CT像からの大腸ポリープ自動検出手法に関する検討(腹部CAD)(関連学会との共催によるバイオメディカルイメージング連合フォーラム)」、電子情報通信学会技術研究報告. MI, 医用画像、社団法人電子情報通信学会、2004年1月18日、Vol.103, No.599, p.p.29-34等参照）。
【００５９】
また、上記実施形態や変形例において、上記観察経路CLに対応する観察経路上の、上記視点VPnに対応する各視点において、視野FOVnに対応する各視野内の大腸の内部を内視鏡で撮像することによって得られた実内視鏡画像I-REnを取得するようにし、上記仮想内視鏡画像I-VEnと実内視鏡画像I-REnとを同時に表示するようにしてもよい。これにより、両画像の視野の中心方向をそろえて比較観察を行うことが可能になり、観察効率の向上に資する。ここで、具体的な表示態様としては、図１１Ａに示したように両画像を並べて表示する態様や、図１１に示したように両画像の視野の中心を並べて表示する態様が挙げられる。なお、仮想内視鏡画像I-VEnと実内視鏡画像I-REnの視点の位置の対応関係は、例えば、観察経路の端点からの距離に基づいて特定することができる。
【００６０】
上記の実施形態や変形例はあくまでも例示であり、上記のすべての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。また、上記の実施形態におけるシステム構成、ハードウェア構成、処理フロー、モジュール構成、ユーザインターフェースや具体的処理内容等に対して、本発明の趣旨から逸脱しない範囲で様々な改変を行ったものも、本発明の技術的範囲に含まれる。
【００６１】
例えば、上記の実施形態において、視点VPnの位置の変更に応じて、視野FOVnの決定や仮想内視鏡画像I-VEnの生成を行っているが、観察経路CL上に複数の視点VPnを予め設定しておき、その視点VPnの各々での視野FOVnを決定し、各視点VPn、各視野FOVnでの仮想内視鏡画像I-VEnを予め生成しておいてもよい。
【００６２】
また、上記実施形態では、管腔構造として大腸を例にしたが、胃、気管、気管支等を対象とすることもできる。
【符号の説明】
【００６３】
３１ 大腸領域抽出部
３２ 観察経路設定部
３３ 観察方向設定部
３４ 視点設定・変更部
３５ 視野決定部
３６ 仮想内視鏡画像生成部
３７ 表示制御部
【特許請求の範囲】
【請求項１】
３次元医用画像に表された管腔構造を内部から見た仮想内視鏡画像を生成する仮想内視鏡画像生成手段を備えた医用画像処理装置であって、
前記３次元医用画像中に前記管腔構造に沿った観察経路を設定する観察経路設定手段と、
該観察経路に沿った前記管腔構造の観察方向を設定する観察方向設定手段と、
該観察経路上に視点を設定する視点設定手段と、
前記３次元医用画像に基づいて、前記視点における局所的な前記観察方向および該局所的観察方向の近傍の方向に存在する前記管腔構造の壁部の位置を特定し、前記視点と該壁部との位置関係に基づいて、前記視点における大域的な前記観察方向を推定し、前記視点に対して該大域的観察方向にある画像情報が前記仮想内視鏡画像の中央部に表されるように、該仮想内視鏡画像の視野を決定する視野決定手段とをさらに備え、
前記仮想内視鏡画像生成手段が、前記３次元医用画像から、前記視点から見た前記視野内を表す前記仮想内視鏡画像を生成するものであることを特徴とする医用画像処理装置。
【請求項２】
前記視野決定手段は、前記視点から前記局所的観察方向および前記近傍方向に放射状に発した複数の探索線上の画素値に基づいて、該探索線毎に前記壁部の位置を特定し、前記視点から該壁部までの距離を算出し、前記各探索線の方向を、前記壁部までの距離が大きい探索線ほど寄与が大きくなるように合成することによって、前記大域的観察方向を推定するものであることを特徴とする請求項１に記載の医用画像処理装置。
【請求項３】
前記仮想内視鏡画像の視野は、前記視野決定手段によって発される放射状の探索線の放射範囲より狭いものであり、
前記視野決定手段が、前記放射状に発した複数の探索線上の画素値に基づいて前記仮想内視鏡画像の各画素の画素値も決定するものであり、
前記仮想内視鏡画像生成手段は、該視野決定手段によって決定された画素値を用いて前記仮想内視鏡画像を生成するものであることを特徴とする請求項２に記載の医用画像処理装置。
【請求項４】
前記視点における局所的観察方向の近傍の方向は、該視点から、前記観察方向設定手段によって設定された観察方向に沿って該視点よりも前方にある前記観察経路上の複数の探索点の各々に向かう方向であり、
前記視野決定手段は、該視点と該複数の探索点の各々とを結ぶ複数の第２の探索線上の画素値に基づいて、該視点と該探索点との間に前記壁部が存在しない前記第２の探索線のうち、その長さが所定の基準を満たす程度に長い前記第２の探索線の方向を、前記大域的観察方向とするものであることを特徴とする請求項１に記載の医用画像処理装置。
【請求項５】
前記管腔構造内の所与の画像的特徴を有する注目領域を抽出する注目領域抽出手段をさらに備え、
前記視野決定手段が、該注目領域にさらに基づいて前記視野を決定するものであることを特徴とする請求項１から４のいずれか１項に記載の医用画像処理装置。
【請求項６】
前記３次元医用画像から前記管腔構造を抽出する管腔構造抽出手段をさらに備え、
前記観察経路設定手段が、該管腔構造抽出手段によって抽出された管腔構造の芯線を抽出し、該抽出された芯線を前記観察経路として設定するものであることを特徴とする請求項１から５のいずれか１項に記載の医用画像処理装置。
【請求項７】
前記仮想内視鏡画像を表示手段に表示させる表示制御手段と、
前記視点の位置を前記観察経路に沿って変更する視点位置変更手段とをさらに備え、
前記視野決定手段が、該変更後の視点に基づいて前記仮想内視鏡画像の視野を決定するものであり、
前記仮想内視鏡画像生成手段が、該変更後の視点および視野に基づいて前記仮想内視鏡画像を生成するものであり、
前記表示制御手段が、該変更後の視点および視野に基づく仮想内視鏡画像に前記表示を更新させるものであることを特徴とする請求項１から６のいずれか１項に記載の医用画像処理装置。
【請求項８】
前記観察経路に対応する第２の観察経路上の、前記視点に対応する第２の視点において、前記視野に対応する第２の視野内の前記管腔構造の内部を内視鏡で撮像することによって得られた実内視鏡画像を取得する実内視鏡画像取得手段と、
前記仮想内視鏡画像と前記実内視鏡画像とを表示手段に同時に表示させる第２の表示制御手段とをさらに備えたことを特徴とする請求項１から７のいずれか１項に記載の医用画像処理装置。
【請求項９】
３次元医用画像に表された管腔構造を内部から見た仮想内視鏡画像を生成する医用画像処理方法であって、
前記３次元医用画像中に前記管腔構造に沿った観察経路を設定する手順と、
該観察経路に沿った前記管腔構造の観察方向を設定する手順と、
該観察経路上に視点を設定する手順と、
前記３次元医用画像に基づいて、前記視点における局所的な前記観察方向および該局所的観察方向の近傍の方向に存在する前記管腔構造の壁部の位置を特定する手順と、
前記視点と該壁部との位置関係に基づいて、前記視点における大域的な前記観察方向を推定する手順と、
前記視点に対して該大域的観察方向にある画像情報が前記仮想内視鏡画像の中央部に表されるように、該仮想内視鏡画像の視野を決定する手順と、
前記３次元医用画像から、前記視点から見た前記視野内を表す前記仮想内視鏡画像を生成する手順とを有することを特徴とする医用画像処理方法。
【請求項１０】
コンピュータを、３次元医用画像に表された管腔構造を内部から見た仮想内視鏡画像を生成する仮想内視鏡画像生成手段として機能させる医用画像処理プログラムであって、該コンピュータを、
前記３次元医用画像中に、前記管腔構造に沿った観察経路を設定する観察経路設定手段と、
３次元医用画像に表された管腔構造を内部から見た仮想内視鏡画像を生成する仮想内視鏡画像生成手段を備えた医用画像処理装置であって、
前記３次元医用画像中に前記管腔構造に沿った観察経路を設定する観察経路設定手段と、
該観察経路に沿った前記管腔構造の観察方向を設定する観察方向設定手段と、
該観察経路上に視点を設定する視点設定手段と、
前記３次元医用画像に基づいて、前記視点における局所的な前記観察方向および該局所的観察方向の近傍の方向に存在する前記管腔構造の壁部の位置を特定し、前記視点と該壁部との位置関係に基づいて、前記視点における大域的な前記観察方向を推定し、前記視点に対して該大域的観察方向にある画像情報が前記仮想内視鏡画像の中央部に表されるように、該仮想内視鏡画像の視野を決定する視野決定手段として機能させ、
前記仮想内視鏡画像生成手段が、前記３次元医用画像から、前記視点から見た前記視野内を表す前記仮想内視鏡画像を生成するように機能させるものであることを特徴とする医用画像処理プログラム。
【請求項１】
３次元医用画像に表された管腔構造を内部から見た仮想内視鏡画像を生成する仮想内視鏡画像生成手段を備えた医用画像処理装置であって、
前記３次元医用画像中に前記管腔構造に沿った観察経路を設定する観察経路設定手段と、
該観察経路に沿った前記管腔構造の観察方向を設定する観察方向設定手段と、
該観察経路上に視点を設定する視点設定手段と、
前記３次元医用画像に基づいて、前記視点における局所的な前記観察方向および該局所的観察方向の近傍の方向に存在する前記管腔構造の壁部の位置を特定し、前記視点と該壁部との位置関係に基づいて、前記視点における大域的な前記観察方向を推定し、前記視点に対して該大域的観察方向にある画像情報が前記仮想内視鏡画像の中央部に表されるように、該仮想内視鏡画像の視野を決定する視野決定手段とをさらに備え、
前記仮想内視鏡画像生成手段が、前記３次元医用画像から、前記視点から見た前記視野内を表す前記仮想内視鏡画像を生成するものであることを特徴とする医用画像処理装置。
【請求項２】
前記視野決定手段は、前記視点から前記局所的観察方向および前記近傍方向に放射状に発した複数の探索線上の画素値に基づいて、該探索線毎に前記壁部の位置を特定し、前記視点から該壁部までの距離を算出し、前記各探索線の方向を、前記壁部までの距離が大きい探索線ほど寄与が大きくなるように合成することによって、前記大域的観察方向を推定するものであることを特徴とする請求項１に記載の医用画像処理装置。
【請求項３】
前記仮想内視鏡画像の視野は、前記視野決定手段によって発される放射状の探索線の放射範囲より狭いものであり、
前記視野決定手段が、前記放射状に発した複数の探索線上の画素値に基づいて前記仮想内視鏡画像の各画素の画素値も決定するものであり、
前記仮想内視鏡画像生成手段は、該視野決定手段によって決定された画素値を用いて前記仮想内視鏡画像を生成するものであることを特徴とする請求項２に記載の医用画像処理装置。
【請求項４】
前記視点における局所的観察方向の近傍の方向は、該視点から、前記観察方向設定手段によって設定された観察方向に沿って該視点よりも前方にある前記観察経路上の複数の探索点の各々に向かう方向であり、
前記視野決定手段は、該視点と該複数の探索点の各々とを結ぶ複数の第２の探索線上の画素値に基づいて、該視点と該探索点との間に前記壁部が存在しない前記第２の探索線のうち、その長さが所定の基準を満たす程度に長い前記第２の探索線の方向を、前記大域的観察方向とするものであることを特徴とする請求項１に記載の医用画像処理装置。
【請求項５】
前記管腔構造内の所与の画像的特徴を有する注目領域を抽出する注目領域抽出手段をさらに備え、
前記視野決定手段が、該注目領域にさらに基づいて前記視野を決定するものであることを特徴とする請求項１から４のいずれか１項に記載の医用画像処理装置。
【請求項６】
前記３次元医用画像から前記管腔構造を抽出する管腔構造抽出手段をさらに備え、
前記観察経路設定手段が、該管腔構造抽出手段によって抽出された管腔構造の芯線を抽出し、該抽出された芯線を前記観察経路として設定するものであることを特徴とする請求項１から５のいずれか１項に記載の医用画像処理装置。
【請求項７】
前記仮想内視鏡画像を表示手段に表示させる表示制御手段と、
前記視点の位置を前記観察経路に沿って変更する視点位置変更手段とをさらに備え、
前記視野決定手段が、該変更後の視点に基づいて前記仮想内視鏡画像の視野を決定するものであり、
前記仮想内視鏡画像生成手段が、該変更後の視点および視野に基づいて前記仮想内視鏡画像を生成するものであり、
前記表示制御手段が、該変更後の視点および視野に基づく仮想内視鏡画像に前記表示を更新させるものであることを特徴とする請求項１から６のいずれか１項に記載の医用画像処理装置。
【請求項８】
前記観察経路に対応する第２の観察経路上の、前記視点に対応する第２の視点において、前記視野に対応する第２の視野内の前記管腔構造の内部を内視鏡で撮像することによって得られた実内視鏡画像を取得する実内視鏡画像取得手段と、
前記仮想内視鏡画像と前記実内視鏡画像とを表示手段に同時に表示させる第２の表示制御手段とをさらに備えたことを特徴とする請求項１から７のいずれか１項に記載の医用画像処理装置。
【請求項９】
３次元医用画像に表された管腔構造を内部から見た仮想内視鏡画像を生成する医用画像処理方法であって、
前記３次元医用画像中に前記管腔構造に沿った観察経路を設定する手順と、
該観察経路に沿った前記管腔構造の観察方向を設定する手順と、
該観察経路上に視点を設定する手順と、
前記３次元医用画像に基づいて、前記視点における局所的な前記観察方向および該局所的観察方向の近傍の方向に存在する前記管腔構造の壁部の位置を特定する手順と、
前記視点と該壁部との位置関係に基づいて、前記視点における大域的な前記観察方向を推定する手順と、
前記視点に対して該大域的観察方向にある画像情報が前記仮想内視鏡画像の中央部に表されるように、該仮想内視鏡画像の視野を決定する手順と、
前記３次元医用画像から、前記視点から見た前記視野内を表す前記仮想内視鏡画像を生成する手順とを有することを特徴とする医用画像処理方法。
【請求項１０】
コンピュータを、３次元医用画像に表された管腔構造を内部から見た仮想内視鏡画像を生成する仮想内視鏡画像生成手段として機能させる医用画像処理プログラムであって、該コンピュータを、
前記３次元医用画像中に、前記管腔構造に沿った観察経路を設定する観察経路設定手段と、
３次元医用画像に表された管腔構造を内部から見た仮想内視鏡画像を生成する仮想内視鏡画像生成手段を備えた医用画像処理装置であって、
前記３次元医用画像中に前記管腔構造に沿った観察経路を設定する観察経路設定手段と、
該観察経路に沿った前記管腔構造の観察方向を設定する観察方向設定手段と、
該観察経路上に視点を設定する視点設定手段と、
前記３次元医用画像に基づいて、前記視点における局所的な前記観察方向および該局所的観察方向の近傍の方向に存在する前記管腔構造の壁部の位置を特定し、前記視点と該壁部との位置関係に基づいて、前記視点における大域的な前記観察方向を推定し、前記視点に対して該大域的観察方向にある画像情報が前記仮想内視鏡画像の中央部に表されるように、該仮想内視鏡画像の視野を決定する視野決定手段として機能させ、
前記仮想内視鏡画像生成手段が、前記３次元医用画像から、前記視点から見た前記視野内を表す前記仮想内視鏡画像を生成するように機能させるものであることを特徴とする医用画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図１１Ａ】
【図１１Ｂ】
【図１３Ａ】
【図１３Ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図１１Ａ】
【図１１Ｂ】
【図１３Ａ】
【図１３Ｂ】
【公開番号】特開２０１２−１１０５４９（Ｐ２０１２−１１０５４９Ａ）
【公開日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願番号】特願２０１０−２６３２５８（Ｐ２０１０−２６３２５８）
【出願日】平成２２年１１月２６日（２０１０．１１．２６）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願日】平成２２年１１月２６日（２０１０．１１．２６）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]