仮想内視鏡画像処理装置、方法、及びプログラム
【課題】三次元データを可視化した２つの仮想内視鏡画像の一方で位置指定を行ったとき、他方の仮想内視鏡画像における対応位置の状態を簡易に観察することを可能にする。
【解決手段】仮想内視鏡画像生成手段１３は、第１及び第２の三次元データ２１、２２に基づいて、第１及び第２の仮想内視鏡画像を生成する。位置指定受付手段１４は、第１の仮想内視鏡画像上で位置の指定を受け付ける。三次元位置特定手段１５は、ユーザの指定位置に該当する第１の三次元データ２１中の三次元位置を特定する。三次元位置変換手段１６は、ユーザの指定位置に該当する第１の三次元データ２１中の三次元位置を第２の三次元データ２２中の三次元位置に変換する。対応位置可視化手段１７は、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置部分を可視化して表示する。
【解決手段】仮想内視鏡画像生成手段１３は、第１及び第２の三次元データ２１、２２に基づいて、第１及び第２の仮想内視鏡画像を生成する。位置指定受付手段１４は、第１の仮想内視鏡画像上で位置の指定を受け付ける。三次元位置特定手段１５は、ユーザの指定位置に該当する第１の三次元データ２１中の三次元位置を特定する。三次元位置変換手段１６は、ユーザの指定位置に該当する第１の三次元データ２１中の三次元位置を第２の三次元データ２２中の三次元位置に変換する。対応位置可視化手段１７は、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置部分を可視化して表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想内視鏡画像処理装置、方法、及びプログラムに関し、更に詳しくは、被検体の内部を示す三次元データから被検体内の管腔の仮想内視鏡画像を生成する仮想内視鏡画像処理装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、撮影装置（モダリティ）の進歩に伴い、撮影装置で撮影された画像データの分解能が向上しており、画像データに基づいて被検体の詳細な解析が可能になっている。例えばマルチスライスＣＴ（Multi Detector-row Computed Tomography）は、一度に複数枚の断層画像を撮影することが可能であり、薄いスライス厚で断層画像を撮影することが可能である。スライス厚が薄くなることで、複数の断層画像を積層した三次元データの体軸方向の分解能が上がり、より詳細な三次元データを得ることができる。そのような三次元データを表示し解析することで、これまで見つけることが困難であった病変などを見つけることも可能になっている。
【０００３】
三次元データは、そのまま人間が観察するには不向きである。このため、三次元データは、通常、任意の視点からの疑似的な三次元画像に変換された上で表示される。三次元データの分解能の向上に伴って質の高い三次元画像の生成が可能になっており、三次元画像表示の応用技術として仮想内視鏡画像表示法が提案されている。仮想内視鏡表示法とは、管腔の内部に視点を設定し、その視点に基づいて透視投影画像を生成し表示する方法である。仮想内視鏡表示では、ユーザが逐次的に視点を変更することで、あたかも内視鏡のカメラが身体内部を移動しながら撮影したような画像を提供することが可能である。仮想内視鏡表示は、特に大腸ＣＴ検査で利用されている。
【０００４】
特許文献１は、仮想内視鏡表示が記載された文献である。特許文献１には、仮想内視鏡画像（三次元画像）と、その仮想内視鏡画像生成の際の視点位置を含む二次元断面画像とを表示することが記載されている。また、特許文献１には、仰臥位と腹臥位とでＣＴ撮影を行うことが記載されている。仰臥位のＣＴデータから仰臥位仮想内視鏡画像を生成し、腹臥位のＣＴデータから腹臥位仮想内視鏡画像を生成する。特許文献１には、二元ビューモードで動作する間に、それら２つの仮想内視鏡画像を同時にディスプレイ上に表示することが記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４０８８３４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１では、管腔構造に沿った一連の視点（パス）で対応する二つの仮想内視鏡画像を同時に表示できる。しかし、特許文献１では、２つの仮想内視鏡画像を同時に表示するにとどまり、一方の仮想内視鏡画像上の物体の位置を、他方の画像上で特定することができない。例えば、仰臥位仮想内視鏡画像に病変らしき物体が見つかったとする。このとき、ユーザは腹臥位内視鏡画像中に病変らしき物体が現れているか否かを判断したい。しかし、特許文献１では、仮想内視鏡画像上の物体の対応関係はユーザ自身が判断せざるを得ない。従って、ユーザは、腹臥位仮想内視鏡画像を注意深く観察し、仰臥位仮想内視鏡画像上で発見された物体に対応する物体が腹臥位仮想内視鏡画像中に現れているか否かを調べなくてはならない。
【０００７】
本発明は、上記従来技術の問題点を解消し、一方の三次元データを可視化した仮想内視鏡画像上で位置指定を行ったとき、他方の三次元データにおける対応する位置の状態を簡易に観察することができる仮想内視鏡画像処理装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明は、それぞれが、撮影装置を用いて撮影された管腔を有する被検体の内部を示す第１及び第２の三次元データに基づいて、同一の管腔の内部を疑似的な三次元画像で可視化するための第１及び第２の仮想内視鏡画像をそれぞれ生成する仮想内視鏡画像生成手段と、前記第１の仮想内視鏡画像の上で位置の指定を受け付ける位置指定受付手段と、前記第１の仮想内視鏡画像上で指定された位置に該当する第１の三次元データ中の三次元位置を特定する三次元位置特定手段と、前記三次元位置特定手段で特定された第１の三次元データ中の三次元位置から、該三次元位置に対応する、前記第２の三次元データ中の三次元位置を求める三次元位置変換手段と、前記求められた第２の三次元データ中の三次元位置部分を可視化して表示する対応位置可視化手段とを備えたことを特徴とする仮想内視鏡画像処理装置を提供する。
【０００９】
本発明の仮想内視鏡画像処理装置は、前記三次元位置変換手段が、前記第１及び第２の三次元データから計算された管腔の構造から得られる情報を用いて、前記第２の三次元データ中の三次元位置を求める構成を採用できる。
【００１０】
本発明の仮想内視鏡画像処理装置は、前記三次元位置特定手段が、前記ユーザの指定位置から前記第１の三次元データの三次元画像空間へ、前記位置の指定が行われた第１の仮想内視鏡画像の視点から前記ユーザの指定位置へ向かう視線方向に沿ってレイを飛ばし、該レイが所定の条件を満たす前記第１の三次元データ中のボクセルを通過するとき、当該ボクセルの座標位置に基づいて、前記第１の仮想内視鏡画像上で指定された位置に該当する第１の三次元データ中の三次元位置を特定する構成とすることができる。
【００１１】
本発明の仮想内視鏡画像処理装置は、前記第１及び第２の三次元データに対して前記管腔に沿って第１及び第２のパスをそれぞれ設定するパス設定手段を更に備え、前記仮想内視鏡画像生成手段が、前記第１及び第２パス上の点を視点として、該視点から前記管腔の内部を見たことを想定した疑似的な三次元画像をそれぞれ前記第１及び第２の仮想内視鏡画像として生成する構成としてもよい。
【００１２】
本発明の仮想内視鏡画像処理装置は、前記三次元位置変換手段が、前記第１の仮想内視鏡画像上で位置が指定されたときの第１のパス上の視点位置と前記三次元位置特定手段が特定した第１の三次元データ中の三次元位置との位置関係、及び前記第１の三次元データの撮影時の被検体の体位と前記第２の三次元データの撮影時の被検体の体位との関係に基づいて、前記三次元位置特定手段で特定された第１の三次元データ中の三次元位置から前記第２の三次元データ中の三次元位置を求める構成を採用できる。
【００１３】
本発明の仮想内視鏡画像処理装置は、前記三次元位置変換手段が、前記位置指定が行われたときの第１の仮想内視鏡画像の視点から前記三次元位置特定手段で特定された第１の三次元データ中の三次元位置に向かう第１の視線方向を、前記第１の三次元データの撮影時の被検体の体位と前記第２の三次元データの撮影時の被検体の体位との関係に従って第２の視線方向に変換する視線方向変換手段と、前記位置指定が行われたときの第１の仮想内視鏡画像の視点の前記第１のパス上での位置に基づいて、前記第２のパス上で対応する視点位置を求める視点位置変換手段と、前記求められた第２の視線方向と第２のパス上で対応する視点位置とに基づいて、前記三次元位置特定手段で特定された第１の三次元データ中の三次元位置に対応する前記第２の三次元データ中の三次元位置を求める対応座標変換手段とを有する構成を採用することができる。
【００１４】
本発明の仮想内視鏡画像処理装置は、前記対応座標変換手段が、前記第２の三次元データの三次元画像空間で、前記視点位置変換手段が求めた第２のパス上の対応する視点位置から前記第２の視線方向にレイを飛ばし、該レイが所定の条件を満たすボクセルを通過するとき、当該ボクセルの座標位置を、前記対応する前記第２の三次元データ中の三次元位置とする構成とすることができる。
【００１５】
本発明の仮想内視鏡画像処理装置は、前記視点位置変換手段が、前記第１のパスの始点から前記位置指定時の第１の仮想内視鏡画像の視点までの距離を求め、前記第２のパス上で前記第２のパスの始点から前記求めた距離だけ離れた点を前記第２のパス上の対応する視点位置とする構成を採用できる。
【００１６】
本発明の仮想内視鏡画像処理装置では、前記１及び第２の三次元データの何れか一方が仰臥位で撮影されたデータで、他方が腹臥位で撮影されたデータであり、前記視点方向変換手段が、前記第１の視線方向を体軸周りに１８０°回転させた方向を前記第２の視線方向としてもよい。
【００１７】
本発明の仮想内視鏡画像処理装置は、前記仮想内視鏡画像生成手段が、前記第１及び第２のパスの始点からの距離が相互に等しい点を視点とする第１及び第２の仮想内視鏡画像をそれぞれ生成する構成を採用できる。
【００１８】
本発明の仮想内視鏡画像処理装置は、前記第１及び第２の三次元データに基づいて、それぞれ前記管腔の内壁を表す第１及び第２の展開ビューを生成する展開ビュー生成手段を更に備え、前記三次元位置変換手段が、前記第１の展開ビューと第２の展開ビューとを非剛体位置合わせする際の情報を用いて、前記三次元位置特定手段で特定された第１の三次元データ中の三次元位置に対応する前記第２の三次元データ中の三次元位置を求める構成を採用することができる。
【００１９】
本発明の仮想内視鏡画像処理装置は、三次元位置変換手段が、前記特定された第１の三次元データ中の三次元位置を前記第１の展開ビュー上の位置に変換する指定位置変換手段と、前記第１の展開ビューと前記第２の展開ビューとを非剛体位置合わせする際の情報を用いて、前記指定位置変換手段が変化した第１の展開ビュー上の位置に対応する前記第２の展開ビュー上の位置を求める対応点特定手段と、前記対応点特定手段が求めた第２の展開ビュー上の位置を前記第２の三次元データ中の三次元位置に変換する対応位置変換手段とを有する構成を採用できる。
【００２０】
本発明の仮想内視鏡画像処理装置は、前記対応位置可視化手段が、前記求められた第２の三次元データ中の三次元位置部分を、前記仮想内視鏡画像生成手段が生成した前記第２の仮想内視鏡画像で可視化すると共に、前記第２の仮想内視鏡画像における前記求められた第２の三次元データ中の三次元位置部分に対応位置であることを示すマークを付加する構成とすることができる。
【００２１】
本発明の仮想内視鏡画像処理装置は、前記仮想内視鏡画像生成手段が、前記三次元位置変換手段が前記第２の三次元データ中の三次元位置を求めると、該求められた第２の三次元データ中の三次元位置を正面にとらえることができる点を視点とする第２の仮想内視鏡画像を生成し、前記対応位置可視化手段が、第２の三次元データ中の三次元位置部分を、当該生成された第２の仮想内視鏡画像で可視化してもよい。
【００２２】
本発明の仮想内視鏡画像処理装置は、前記第２の三次元データに基づいて、前記求められた第２の三次元データ中の三次元位置を含む二次元断面画像を生成する断面画像生成手段を更に備え、前記対応位置可視化手段は、前記第２の仮想内視鏡画像に加えて、又はこれに代えて、前記二次元断面画像で第２の三次元データ中の三次元位置部分を可視化してもよい。
【００２３】
本発明の仮想内視鏡画像処理装置は、前記三次元位置特定手段が、前記第１の三次元データ及び前記第１の仮想内視鏡画像の少なくとも一方から前記指定された位置に存在する物体を検出し、該検出された物体の重心位置を、前記指定された位置に該当する第１の三次元データ中の三次元位置として特定する構成としてもよい。
【００２４】
本発明は、撮影装置を用いて撮影された管腔を有する被検体の内部を示す第１及び第２の三次元データのうち、少なくとも前記第１の三次元データに基づいて、管腔の内部を疑似的な三次元画像で可視化するための第１の仮想内視鏡画像を生成する仮想内視鏡画像生成ステップと、前記第１の仮想内視鏡画像の上で位置の指定を受け付ける位置指定ステップと、前記第１の仮想内視鏡画像上で指定された位置に該当する第１の三次元データ中の三次元位置を特定する三次元位置特定ステップと、前記特定された第１の三次元データ中の三次元位置から、該三次元位置に対応する、前記第２の三次元データ中の三次元位置を求める三次元位置変換ステップと、前記求められた第２の三次元データ中の三次元位置部分を可視化して表示する対応位置可視化ステップとを有することを特徴とする仮想内視鏡画像処理方法を提供する。
【００２５】
本発明の仮想内視鏡画像処理方法は、前記仮想内視鏡画像生成ステップにおいて、第１の仮想内視鏡画像の生成に加えて、前記第２の三次元データに基づいて、前記第１の仮想内視鏡画像で可視化する管腔と同一の管腔の内部を可視化するための第２の仮想内視鏡画像を生成し、前記対応位置可視化ステップにおいて、前記第２の仮想内視鏡画像を表示すると共に、前記第２の仮想内視鏡画像における前記求められた第２の三次元データ中の三次元位置部分に対応位置であることを示すマークを表示してもよい。
【００２６】
本発明の仮想内視鏡画像処理方法は、前記第２の三次元データに基づいて、前記求められた第２の三次元データ中の三次元位置を含む二次元断面画像を生成する断面画像生成ステップを更に有し、前記対応位置可視化ステップにおいて、前記第２の仮想内視鏡画像に加えて、又はこれに代えて、前記二次元断面画像を表示してもよい。
【００２７】
本発明は、コンピュータに、撮影装置を用いて撮影された管腔を有する被検体の内部を示す第１及び第２の三次元データのうち、少なくとも前記第１の三次元データに基づいて、管腔の内部を疑似的な三次元画像で可視化するための仮想内視鏡画像を生成するステップと、前記第１の三次元データに基づいて生成された仮想内視鏡画像の上で位置の指定を受け付けるステップと、前記第１の三次元データに基づいて生成された仮想内視鏡画像上で指定された位置に該当する第１の三次元データ中の三次元位置を特定するステップと、前記特定された第１の三次元データ中の三次元位置から、該三次元位置に対応する、前記第２の三次元データ中の三次元位置を求めるステップと、前記求められた第２の三次元データ中の三次元位置部分を可視化して表示するステップとを実行させることを特徴とするプログラムを提供する。
【発明の効果】
【００２８】
本発明では、ユーザが第１の三次元データを可視化した第１の仮想内視鏡画像上で位置を指定すると、ユーザの指定位置に対応する第１の三次元データの三次元位置を特定し、特定された第１の三次元データの三次元位置を第２の三次元データの三次元位置に変換し、変換された第２の三次元データの三次元位置部分を可視化して表示する。本発明では、ユーザが第１の仮想内視鏡画像上で位置指定を行ったときに、その指定位置に対応する第２の三次元データ中の三次元位置部分を可視化して表示するため、ユーザは、第２の三次元データにおける、ユーザの指定位置に対応する位置の状態を簡易に観察することができる。その結果、ユーザは、第１の仮想内視鏡画像上で指定した位置の形態が、第２の三次元データでどのようになっているかを把握することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の第１実施形態の仮想内視鏡画像処理装置を示すブロック図。
【図２】第１実施形態における三次元位置変換手段の構成を示すブロック図。
【図３】第１実施形態の仮想内視鏡画像処理装置の動作手順を示すフローチャート。
【図４】第１の三次元データ中の三次元位置への変換を示す図。
【図５】（ａ）は第１の三次元データから得られる管腔を表し、図５（ｂ）は第２の三次元データから得られる管腔を表す図。
【図６】（ａ）及び（ｂ）は、それぞれ腹臥位及び仰臥位の三次元データから抽出された大腸領域を示す図。
【図７】（ａ）及び（ｂ）は、それぞれ腹臥位及び仰臥位の大腸の仮想内視鏡画像を示す図。
【図８】本発明の第２実施形態の仮想内視鏡画像処理装置を示すブロック図。
【図９】第２実施形態における三次元位置変換手段の構成を示すブロック図。
【図１０】第２実施形態における動作手順を示すフローチャート。
【図１１】（ａ）は第１の展開ビューを示し、（ｂ）は第２の展開ビューを示す図。
【図１２】第２の三次元データに含まれる管腔の一部を示す図。
【図１３】本発明の第４実施形態の仮想内視鏡画像処理装置を示すブロック図。
【図１４】（ａ）は三次元データに含まれる物体を示し、（ｂ）は物体の断面画像を示す図。
【発明を実施するための形態】
【００３０】
以下、図面を参照し、本発明の実施の形態を詳細に説明する。図１は、本発明の第１実施形態の仮想内視鏡画像処理装置（以下、単に画像処理装置とも呼ぶ）を示している。画像処理装置１０は、三次元データ入力手段１１、パス設定手段１２、仮想内視鏡画像生成手段１３、位置指定受付手段１４、三次元位置特定手段１５、三次元位置変換手段１６、対応位置可視化手段１７、及び出力手段１８を備える。画像処理装置１０は、例えばサーバ装置やワークステーションなどのコンピュータシステムで構成される。画像処理装置１０内の各部の機能は、コンピュータシステムが所定のプログラムに従って処理を実行することで実現可能である。
【００３１】
三次元データ入力手段１１は、第１及び第２の三次元データ２１、２２を入力する。第１及び第２の三次元データ２１、２２は、それぞれ撮影装置を用いて撮影された被検体の内部を示す三次元の画像データである。被検体は管腔を有している。第１及び第２の三次元データ２１、２２の撮影に用いる撮影装置は、典型的にはＸ線ＣＴ装置であり、第１及び第２の三次元データ２１、２２は、典型的には所定スライス厚でスライスされた被検体の断層画像を複数枚積層した画像データである。
【００３２】
第１の三次元データ２１と第２の三次元データ２２とは、同一の被検体を撮影したデータである。第１の三次元データ２１と第２の三次元データ２２とは相互に異なる。つまり第１の三次元データ２１と第２の三次元データ２２とは同一データではない。第１の三次元データ２１と第２の三次元データ２２とは、例えば同一人物に対して異なる体位で撮影されたデータである。第１の三次元データ２１は、例えば仰臥位で撮影されたデータであり、第２の三次元データ２２は、例えば腹臥位で撮影されたデータである。第１の三次元データ２１と第２の三次元データ２２との組み合わせはこれには限定されず、種々の組み合わせが考えられる。
【００３３】
パス設定手段１２は、管腔の内部にパスを設定する。パス設定手段１２は、第１の三次元データ２１に含まれる管腔に対して、管腔に沿って第１のパスを設定する。また、パス設定手段１２は、第２の三次元データ２２に含まれる管腔に対して、管腔に沿って第２のパスを設定する。例えばパス設定手段１２は、管腔が大腸であれば、大腸の出口（肛門）の部分をスタート地点とし小腸との境界部分をエンド地点とするパスを、それぞれ第１及び第２のパスとして設定する。
【００３４】
パス設定手段１２が設定するパスは、管腔の形状（構造）に基づいて決まる。パス設定手段１２は、例えば第１及び第２の三次元データ２１、２２を解析して管腔領域を抽出し、抽出した管腔領域の構造に基づいて自動的に第１及び第２のパスを設定してもよい。或いはパス設定手段１２は、ユーザが、表示装置３０上に表示された管腔の三次元画像を参照しながら任意に設定したパスを、第１及び第２のパスとしてもよい。またパス設定手段１２は、自動的に設定したパスに対してユーザが修正を加えたものを、第１及び第２のパスとしてもよい。
【００３５】
仮想内視鏡画像生成手段１３は、第１及び第２の三次元データ２１、２２に基づいて、それぞれ第１及び第２の仮想内視鏡画像を生成する。第１及び第２の仮想内視鏡画像は、それぞれ被検体内の管腔の内部を疑似的な三次元画像で可視化するための画像である。第１の仮想内視鏡画像で可視化する管腔と、第２の仮想内視鏡画像で可視化する管腔とは同一の管腔である。仮想内視鏡画像生成手段１３は、例えば、第１の三次元データ２１中に含まれる大腸部分の内部を疑似的な三次元画像で可視化する第１の仮想内視鏡画像を生成すると共に、第２の三次元データ２２中に含まれる大腸部分の内部を疑似的な三次元画像で可視化する第２の仮想内視鏡画像を生成する。
【００３６】
仮想内視鏡画像生成手段１３は、パス設定手段１２が設定したパス上に視点を置き、その視点から管腔の内部を見たことを想定した画像を仮想内視鏡画像として生成する。仮想内視鏡画像生成手段１３は、例えばパスに従ってスタート地点からエンド地点まで順次に視点を変更しつつ、仮想内視鏡画像を生成する。仮想内視鏡画像生成手段１３は、それぞれ第１及び第２のパスの始点からの距離が相互に等しい点を視点とする第１及び第２の仮想内視鏡画像を生成してもよい。仮想内視鏡画像の視点は、必ずしもパス設定手段１２が設定したパス上になくてもよく、仮想内視鏡画像生成手段１３は、ユーザが任意に設定した点を視点とする仮想内視鏡画像を生成してもよい。
【００３７】
出力手段１８は、仮想内視鏡画像生成手段１３が生成した仮想内視鏡画像を表示装置３０へ出力する。表示装置３０は、例えば液晶ディスプレイなどの表示デバイスである。表示装置３０は、表示画面上に、第１の仮想内視鏡画像３１及び第２の仮想内視鏡画像３２を表示する。出力手段１８は、第１及び第２の仮想内視鏡画像を同時に出力し、表示装置３０の表示画面上に、第１及び第２の仮想内視鏡画像３１、３２を同時並列に表示させてもよい。或いは出力手段１８は、第１及び第２の仮想内視鏡画像を選択的に出力し、表示装置３０の表示画面上に第１及び第２の仮想内視鏡画像３１、３２を切り替えて表示させてもよい。
【００３８】
位置指定受付手段１４は、第１の仮想内視鏡画像３１の上でユーザによる位置の指定を受け付ける。位置指定受付手段１４が位置の指定を受け付けるとき、表示装置３０の表示画面上には少なくとも第１の仮想内視鏡画像３１が表示されていればよい。ユーザは、入力装置４１を用いて、第１の仮想内視鏡画像３１上の任意の点を指定位置として指定することができる。位置指定受付手段１４は、入力装置４１を介して第１の仮想内視鏡画像３１上で指定された位置の情報を入力する。入力装置４１には、例えばマウスなどのポインティングデバイスを用いることができる。
【００３９】
なお、本実施形態では、位置指定受付手段１４が第１の仮想内視鏡画像３１上で位置の指定を受け付けるものとして説明するが、位置指定受付手段１４は、第１及び第２の仮想内視鏡画像３１、３２のうちの何れか一方で位置の指定を受け付ければよい。位置指定受付手段１４が第２の仮想内視鏡画像３２上で位置の指定を受け付ける場合は、第１の仮想内視鏡画像と第２の仮想内視鏡画像とを、適宜入れ替えて読み替えればよい。
【００４０】
三次元位置特定手段１５は、第１の仮想内視鏡画像３１上で指定された位置に該当する第１の三次元データ２１中の三次元位置を特定する。第１の仮想内視鏡画像３１は、第１の三次元データ２１を管腔内の視点位置から投影面に透視投影することで生成された画像であり、三次元位置特定手段１５は、第１の仮想内視鏡画像上の指定位置が、第１の三次元データ２１中のどの画素（ボクセル）を投影したものであるかを特定する。
【００４１】
三次元位置変換手段１６は、三次元位置特定手段１５で特定された第１の三次元データ２１中の三次元位置を、第２の三次元データ２２中の三次元位置に変換する。つまり、三次元位置変換手段１６は、三次元位置特定手段１５で特定された第１の三次元データ２１中の三次元位置に対応する第２の三次元データ２２中の三次元位置を求める。
【００４２】
三次元位置変換手段１６は、例えば第１及び第２の三次元データ２１、２２から計算された管腔の構造から得られる情報を用いて、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置を求める。仮想内視鏡画像で可視化すべき管腔は同一被検体内の同一の管腔であり、第１の三次元データ２１から計算された管腔の構造と、第２の三次元データ２２から計算された管腔の構造とには、対応関係が存在すると考えられる。この対応関係を利用することで、第１の三次元データ２１中の三次元位置を第２の三次元データ２２中の三次元位置に変換することが可能である。三次元位置変換手段１６は、例えばパス設定手段１２が設定した第１及び第２のパスを管腔の構造から得られる情報として用い、第２の三次元データ２２中の三次元位置を求める。
【００４３】
三次元位置変換手段１６は、例えば位置指定が行われたときの第１のパス上にある第１の仮想内視鏡画像３１の視点位置と、三次元位置特定手段１５が特定した第１の三次元データ２１中の三次元位置との位置関係を求める。三次元位置変換手段１６は、求めた位置関係と、第１の三次元データ２１の撮影時の被検体の体位と第２の三次元データ２２の撮影時の被検体の体位との関係とに基づいて、特定された第１の三次元データ２１中の三次元位置を第２の三次元データ２２中の三次元位置に変換する。
【００４４】
対応位置可視化手段１７は、三次元位置変換手段１６が求めたユーザの指定位置に対応する第２の三次元データ２２中の三次元位置部分を可視化する。対応位置可視化手段１７は、例えば仮想内視鏡画像生成手段１３で生成された第２の仮想内視鏡画像で、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置部分を可視化する。その際、対応位置可視化手段１７は、表示装置３０上に表示される第２の仮想内視鏡画像３２の、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置の部分に、対応位置であることを示すマークを付加する。
【００４５】
対応位置可視化手段１７は、ユーザが位置指定を行うときに表示装置３０の表示画面上に第２の仮想内視鏡画像３２が表示されていないときは、仮想内視鏡画像生成手段１３に、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置の部分を可視化する第２の仮想内視鏡画像を生成させる。仮想内視鏡画像生成手段１３が生成した仮想内視鏡画像は、出力手段１８を介して表示装置３０に出力され、表示装置３０の表示画面上に第２の仮想内視鏡画像３２として表示される。ユーザが第１の仮想内視鏡画像３１上で位置指定を行うとき、表示画面上に第２の仮想内視鏡画像３２が既に表示されているときは、第２の仮想内視鏡画像を新たに生成しなくてもよい。
【００４６】
図２は、三次元位置変換手段１６の構成を示している。三次元位置変換手段１６は、視線方向変換手段６１、視点位置変換手段６２、及び対応座標変換手段６３を有する。視線方向変換手段６１は、第１の視線方向を第２の視線方向に変換する。第１の視線方向は、位置指定が行われたときの第１の仮想内視鏡画像３１の視点位置と、三次元位置特定手段１５で特定されたユーザの指定位置に該当する第１の三次元データ２１中の三次元位置との位置関係に応じて決まる。第１の視線方向は、位置指定が行われたときの第１の仮想内視鏡画像３１の視点から、三次元位置特定手段１５で特定された第１の三次元データ２１中の三次元位置に向かう三次元のベクトルで表わすことができる。
【００４７】
視線方向変換手段６１は、第１の三次元データ２１の撮影時の被検体の体位と、第２の三次元データ２２の撮影時の被検体の体位との関係に従って、第１の視線方向を第２の視線方向に変換する。例えば第１の三次元データ２１が仰臥位で撮影され、第２の三次元データ２２が腹臥位で撮影されているとする。仰臥位と腹臥位とは、体の向きが１８０°異なる。この場合、視線方向変換手段６１は、第１の視線方向（ベクトル）を体軸周りに１８０°回転させた方向を、第２の視線方向とする。なお、撮影時の体位が異なる場合でも、第１の三次元データ２１と第２の三次元データ２２とで被検体の向きが一致するように事前に座標変換がなされているような場合には、視線方向の変換（回転）は必要がない。
【００４８】
視点位置変換手段６２は、第１の視点位置を第２の視点位置に変換する。第１の視点位置は、ユーザが位置指定を行ったときの第１の仮想内視鏡画像３１の視点位置である。第２の視点位置は、位置指定時の第１の仮想内視鏡画像３１で可視化した部分と同じ部分を第２の仮想内視鏡画像３２で可視化したことを想定したときの第２の仮想内視鏡画像３２の視点位置である。視点位置変換手段６２は、第１のパスと第２のパスとの対応関係を用いて、第１の視点位置を第２の視点位置に変換する。視点位置変換手段６２は、例えば第１のパスの始点から位置指定時の仮想内視鏡画像の視点位置までのパスの経路上の距離を求め、第２のパスの始点からパスの経路上で同じ距離だけ離れた位置を、第２の視点位置とする。
【００４９】
第１の仮想内視鏡画像３１と第２の仮想内視鏡画像３２とで、パスの始点から距離が等距離となる位置に視点を置いた場合、双方の仮想内視鏡画像で管腔内の同じ位置を可視化することになるため、第１の仮想内視鏡画像３１上でユーザが指定した位置は、第２の仮想内視鏡画像３２内に存在していると考えることができる。第１の仮想内視鏡画像３１上でユーザが指定した位置に該当する第１の三次元データ２１中の三次元位置は、第１の仮想内視鏡画像３１の視点位置から第１の視線方向に向かって進んだ方向に存在にする。このため、三次元位置変換手段１６で求めるべきユーザの指定位置に対応する第２の三次元データ２２中の三次元位置は、視点位置変換手段６２が求めた第２の視点位置から、視線方向変換手段６１が求めた第２の視線方向に向かって延びる直線（半直線）上にあると考えることができる。
【００５０】
対応座標変換手段６３は、視線方向変換手段６１が求めた第２の視線方向と、視点位置変換手段６２が求めた第２の視点位置とに基づいて、ユーザの指定位置に該当する第１の三次元データ２１中の三次元位置に対応する第２の三次元データ２２中の三次元位置を求める。対応座標変換手段６３は、視点位置変換手段６２が求めた第２の視点位置から、視線方向変換手段６１が求めた第２の視線方向に向かって延びる半直線が通過するボクセルのうちで所定の条件を満たすボクセルの座標位置を、対応する第２の三次元データ２２中の三次元位置とする。
【００５１】
図３は、動作手順を示している。三次元データ入力手段１１は、第１及び第２の三次元データ２１、２２を入力する（ステップＡ１）。パス設定手段１２は、第１及び第２の三次元データ２１、２２に基づいて、それぞれ仮想内視鏡画像で可視化すべき管腔内に第１及び第２のパスを設定する（ステップＡ２）。仮想内視鏡画像生成手段１３は、第１及び第２の三次元データ２１、２２に基づいて、それぞれ第１及び第２の仮想内視鏡画像を生成する（ステップＡ３）。仮想内視鏡画像生成手段１３は、ステップＡ３では、パス設定手段１２が設定した第１及び第２のパス上に視点がある第１及び第２の仮想内視鏡画像をそれぞれ生成する。
【００５２】
出力手段１８は、表示装置３０に第１及び第２の仮想内視鏡画像を出力する。表示装置３０は、表示画面上に第１及び第２の仮想内視鏡画像３１、３２を表示する（ステップＡ４）。画像処理装置１０は、ユーザが位置指定を行ったか否かを判断する（ステップＡ５）。ユーザが位置指定を行わないとき、仮想内視鏡画像生成手段１３は、生成すべき第１及び第２の仮想内視鏡画像の視点位置を変更する（ステップＡ６）。その後ステップＡ３に戻り、仮想内視鏡画像生成手段１３は、変更した視点位置で第１及び第２の仮想内視鏡画像を生成する。仮想内視鏡画像生成手段１３は、例えば第１及び第２のパスの経路に沿って視点位置をエンド地点側に進めて第１及び第２の仮想内視鏡画像を生成する。
【００５３】
ユーザが入力装置４１を用いて位置指定を行うと、位置指定受付手段１４は、ユーザが第１の仮想内視鏡画像３１上で指定した位置（座標）を三次元位置特定手段１５に渡す。三次元位置特定手段１５は、位置指定受付手段１４からユーザの指定位置に関する情報を受け取り、第１の仮想内視鏡画像３１上でユーザが指定した位置を、第１の三次元データ２１中の三次元位置に変換する（ステップＡ７）。三次元位置特定手段１５は、変換した、ユーザの指定位置に該当する第１の三次元データ２１中の三次元位置を三次元位置変換手段１６に渡す。
【００５４】
三次元位置変換手段１６の視線方向変換手段６１（図２）は、位置指定時の第１の仮想内視鏡画像３１の視点位置と、ユーザの指定位置に該当する第１の三次元データ２１中の三次元位置との位置関係に基づいて第１の視線方向を求める。視線方向変換手段６１は、求めた第１の視線方向を第２の視線方向に変換する（ステップＡ８）。視点位置変換手段６２は、位置指定時の第１の仮想内視鏡画像３１の視点位置（第１の視点位置）を第２の仮想内視鏡画像３２の視点位置（第２の視点位置）に変換する（ステップＡ９）。対応座標変換手段６３は、第２の視線方向と第２の視点位置とを用いて、第１の三次元データ２１中の三次元位置を第２の三次元データ２２中の三次元位置に変換する（ステップＡ１０）。
【００５５】
三次元位置変換手段１６は、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置に関する情報を対応位置可視化手段１７に渡す。対応位置可視化手段１７は、受け取った第２の三次元データ２２中の三次元位置が、第２の仮想内視鏡画像３２上のどの座標に該当するかを割り出す。対応位置可視化手段１７は、出力手段１８を介して表示装置３０に割り出した座標にマークを付加する旨の情報を出力する（ステップＡ１１）。表示装置３０は、第２の仮想内視鏡画像３２上に、対応位置を示すマークを重ねて表示する。或いは対応位置可視化手段１７は、第２の仮想内視鏡画像に対応位置を示すマークを書き込んでもよい。
【００５６】
図４は、第１の三次元データ中の三次元位置への変換を模式的に示している。三次元位置特定手段１５は、ステップＡ７では、例えば以下に説明する手順で、第１の仮想内視鏡画像３１（図１）上のユーザの指定位置を第１の三次元データ２１中の三次元位置へ変換する。三次元位置特定手段１５は、まず、第１の仮想内視鏡画像３１上でユーザが指定した位置から第１の三次元データ２１の三次元画像空間へ、視線に沿ってレイを飛ばす。言い換えれば、三次元位置特定手段１５は、位置指定時の第１の仮想内視鏡画像３１の視点Ｐから第１の仮想内視鏡画像３１上のユーザの指定位置ｘへ向かう視線を延長し、その方向に沿って、ユーザの指定位置ｘから第１の三次元データ２１の三次元画像空間へレイを飛ばす。
【００５７】
次いで、三次元位置特定手段１５は、指定位置ｘ側から順次に、レイが所定の条件を満たすボクセルを通過したか否かを調べる。この所定の条件は、第１の仮想内視鏡画像を生成する際のパラメータに連動した条件である。所定の条件としては、具体的にはレイを通過するボクセルの不透明度が急激に変化するといった条件や、別マスクに接触するといった条件が考えられる。三次元位置特定手段１５は、レイが所定の条件を満たすボクセルを通過するとき、そのボクセルの座標位置を、ユーザの指定位置ｘに該当する第１の三次元データ２１中の三次元位置Ｘとする。この処理は、第１の仮想内視鏡画像３１に不透明で表示されるユーザの指定位置の部分が、第１の三次元データ２１中のどのボクセルに由来しているかを調べていることと等価である。
【００５８】
上記では、三次元位置特定手段１５は、求めたボクセルの座標位置をそのまま指定位置に該当する第１の三次元データ２１中の三次元位置としているが、これには限定されない。例えば、三次元位置特定手段１５は、求めたボクセル位置の周辺で物体検出を行い、物体が検出されたとき、その物体の重心位置をユーザの指定位置に該当する第１の三次元データ中の三次元位置としてもよい。図４の例で言えば、三次元位置Ｘの周辺で直方体を物体として検出し、検出された直方体の重心位置をユーザの指定位置に該当する第１の三次元データ２１中の三次元位置としてもよい。物体は、例えば第１の三次元データ２１、及び／又は第１の仮想内視鏡画像３１を解析することで検出可能である。検出対象の物体は、仮想内視鏡画像で表示する管腔に応じて適宜決めておけばよい。例えば大腸の仮想内視鏡画像検査を考えた場合、ポリープを検出対象の物体とすればよい。物体の検出は、例えば検出対象の物体に対応した物体検出用のパターンを用意し、パターンマッチングを行うことで実施することができる。
【００５９】
図５は、第２の三次元データ２２中の三次元位置への変換を模式的に示している。図５（ａ）は第１の三次元データ２１から得られる管腔を表し、図５（ｂ）は第２の三次元データ２２から得られる管腔を表している。ここでは、図５（ａ）は仰臥位で撮影された大腸を表しているとし、図５（ｂ）は腹臥位で撮影された大腸を表しているとする。パス設定手段１２は、仰臥位と腹臥位で撮影された大腸に対して、第１のパス（スタート地点Ｓ１〜エンド地点Ｅ１）及び第２のパス（スタート地点Ｓ２〜エンド地点Ｅ１）をそれぞれ設定している。
【００６０】
視線方向変換手段６１（図２）は、ステップＡ８において、位置指定時の第１の仮想内視鏡画像３１の視点位置Ｐ１と、三次元位置特定手段１５で特定された第１の三次元データ２１中の三次元位置Ｘ１とから、第１の視線方向ａ１を求める。視線方向変換手段６１は、第１の視線方向ａ１を第２の視線方向ａ２に変換する。仰臥位と腹臥位とは表裏が逆になった関係であるので、視線方向変換手段６１は、第１の視線方向ａ１を表すベクトルを体軸周りに１８０°回転させ、その回転させたベクトルが指し示す方向を第２の視線方向ａ２とする。
【００６１】
視点位置変換手段６２は、ステップＡ９において、第１のパスの始点Ｓ１から位置指定時の第１の仮想内視鏡画像３１の視点位置Ｐ１までのパスの経路上での距離ｄを求める。視点位置変換手段６２は、第２のパスの始点Ｓ２から求めた距離ｄだけ離れた第２のパス上の点を、位置指定時の第１の仮想内視鏡画像３１の視点位置に対応する第２の仮想内視鏡画像の視点位置Ｐ２とする。或いは視点位置変換手段６２は、第１のパスの経路長と距離ｄとの比を求め、第２のパス上で同じ比率になる点を対応する視点位置Ｐ２としてもよい。
【００６２】
なお、位置指定時の第１の仮想内視鏡画像３１の視点位置が第１のパス上に存在しないときは、視点位置からパスの経路に対して垂線を下ろし、その垂線と第１のパスとが交差する点をパス上の対応点とし、スタート地点Ｓ１からその対応点までの距離を求めてもよい。また、仮想内視鏡画像生成手段１３が、パスのスタート地点からの距離が同一の距離のパス上の点を視点位置とする第１及び第２の仮想内視鏡画像を同時に生成している場合、視点位置変換手段６２は、上記の処理で対応する視点位置を求めるのに代えて、仮想内視鏡画像生成手段１３から第２の仮想内視鏡画像の視点位置を取得してもよい。
【００６３】
対応座標変換手段６３は、ステップＡ１０において、第２の三次元データ２２の三次元画像空間で、対応する視点位置Ｐ２から、変換された視線方向ａ２の方向にレイを飛ばす。対応座標変換手段６３は、レイが所定の条件を満たすボクセルを通過するとき、そのボクセルの座標位置を、対応する第２の三次元データ２２中の三次元位置Ｘ２とする。この所定の条件は、第２の仮想内視鏡画像を生成する際のパラメータに連動した条件である。対応位置可視化手段１７は、求められた第２の三次元データ２２中の三次元位置Ｘ２が、第２の仮想内視鏡画像３２のどの部分（座標）に表示されるかを求め、その座標にマークを付加することで、第２の仮想内視鏡画像３２において対応位置であることを明示する。
【００６４】
本実施形態では、三次元位置特定手段１５は、ユーザが２つの三次元データのうちの一方から生成された仮想内視鏡画像上で位置指定を行ったとき、ユーザの指定位置に該当する一方の三次元データ中の三次元位置を特定する。また、三次元位置変換手段１６は、特定された一方の三次元データ中の三次元位置を他方の三次元データ中の三次元位置に変換し、対応位置可視化手段１７は、他方の三次元データから生成される仮想内視鏡画像のどの部分が一方の仮想内視鏡画像上でユーザが指定した位置であるかを明示する。このようにすることで、ユーザは、一方の三次元データを可視化した仮想内視鏡画像上で指定した位置の形態が、他方の三次元データでどのようになっているかを把握することができる。
【００６５】
図６（ａ）及び（ｂ）は、腹臥位及び仰臥位の三次元データから抽出された大腸領域を疑似的な三次元画像で示している。また、図７（ａ）及び（ｂ）は、腹臥位及び仰臥位の大腸の仮想内視鏡画像を示している。図７（ａ）は、図６（ａ）に示す視点位置から大腸内部を見たことを想定した仮想内視鏡画像を示し、図７（ｂ）は、図６（ｂ）に示す視点位置から大腸内部を見たことを想定した仮想内視鏡画像を示している。双方の仮想内視鏡画像における視点位置は、それぞれのパスの始点から等距離にある。つまり、図７（ａ）及び（ｂ）は、大腸内の同じ個所を可視化する仮想内視鏡画像を示している。
【００６６】
例えば図７（ａ）に示す腹臥位仮想内視鏡画像と図７（ｂ）に示す仰臥位仮想内視鏡画像とを同時に表示装置３０に表示することを考える。管腔の内部を観察していったときに、腹臥位仮想内視鏡画像中に病変らしき物体が見つかったとする。ユーザは、病変らしき物体が存在する位置を、腹臥位仮想内視鏡画像（図７（ａ））上で指定する。図７（ａ）に示す腹臥位仮想内視鏡画像と図７（ｂ）に示す仰臥位仮想内視鏡画像とを比較すると、両者は大腸の同じ部分を可視化したものではあるものの、一方の仮想内視鏡画像上の一点が、他方の仮想内視鏡画像上のどの点に対応するかは容易にはわからない。本実施形態では、腹臥位仮想内視鏡画像上で指定した点が、仰臥位仮想内視鏡画像上のどの点に対応するかを明示するため、ユーザは、自身で２つの仮想内視鏡画像を見比べて対応位置を探さなくても、仰臥位仮想内視鏡画像中の対応位置を簡易に判別できる。
【００６７】
ユーザは、明示された仰臥位仮想内視鏡画像中の対応位置の部分を観察することで、ユーザの指定位置に対応する位置の状態を簡易に観察することができる。腹臥位仮想内視鏡画像で発見された病変らしき物体が本当に病変である場合、その病変は、腹臥位で撮影された三次元データだけでなく、仰臥位で撮影された三次元データにも現れていると考えられる。一方、たまたま腹臥位仮想内視鏡画像において残渣などが病変のように見えただけであれば、仰臥位で撮影された三次元データには病変らしき物体は現れていないと考えられる。本実施形態では、一方の仮想内視鏡画像上で指定した位置に対応する位置を他方の仮想内視鏡画像に明示するため、ユーザは双方の画像の対応する部分同士を簡易に見比べることができ、病変か否かを的確に判断できることが期待できる。
【００６８】
次に、本発明の第２実施形態を説明する。図８は、本発明の第２実施形態の画像処理装置を示している。本実施形態の画像処理装置１０ａは、図１に示す第１実施形態の画像処理装置１０の構成に加えて展開ビュー生成手段１９を備える。また、本実施形態の画像処理装置１０ａにおける三次元位置変換手段１６ａの構成及び動作は、第１実施形態の画像処理装置１０における三次元位置変換手段１６のそれとは異なる。その他の点は、第１実施形態と同様である。
【００６９】
展開ビュー生成手段１９は、第１及び第２の三次元データ２１、２２に基づいて、それぞれ管腔の内壁を二次元画像に展開した第１及び第２の展開ビューを生成する。ここで、展開ビューとは、仮想内視鏡画像で表示される管腔の内壁部分に相当する部分を、管腔を切り開いて二次元画像上に投影（マッピング）した画像である。展開ビュー生成手段１９は、第１及び第２の展開ビューの各画素（各座標）が、それぞれ第１及び第２の三次元データ２１、２２中のどのボクセルに対応しているかを示す情報も生成する。
【００７０】
展開ビューは、例えば以下の手順で生成できる。展開ビュー生成手段１９は、まず、第１の三次元データ２１から抽出された、仮想内視鏡画像で可視化すべき管腔をその中心線方向に伸ばす。次いで、展開ビュー生成手段１９は、管腔の各断面上で中心線から全方向（３６０°）にレイを飛ばし、レイが所定の条件を満たすボクセルを通過するとき、そのボクセルを二次元画像上に投影する。このように投影された二次元画像が、第１の展開ビューとなる。展開ビュー生成手段１９は、同様な処理を第２の三次元データ２２に対しても行い、第２の展開ビューを生成する。
【００７１】
本実施形態における三次元位置変換手段１６ａは、第１及び第２の展開ビューを利用し、第１の展開ビューと第２の展開ビューとを非剛体位置合わせする際の情報を用いて、第１の三次元データ２１中の三次元位置を第２の三次元データ２２中の三次元位置に変換する。より詳細には、三次元位置変換手段１６ａは、三次元位置特定手段１５で特定された第１の三次元データ２１中の三次元位置から第１の展開ビュー上の位置（座標）を求め、第１の展開ビューと第２の展開ビューとを非剛体位置合わせする際の情報を用いて第１の展開ビュー上の位置を第２の展開ビュー上の位置に変換し、変換した第２の展開ビュー上の位置を第２の三次元データ２２中の三次元位置に変換する。
【００７２】
図９は、三次元位置変換手段１６ａの構成を示している。三次元位置変換手段１６ａは、指定位置変換手段６４、対応点特定手段６５、及び対応位置変換手段６６を有する。指定位置変換手段６４は、三次元位置特定手段１５が特定した三次元位置を第１の展開ビュー上の座標に変換する。言い換えれば、指定位置変換手段６４は、三次元位置特定手段１５が特定した三次元位置のボクセルが、第１の展開ビュー上のどの位置に投影されているかを特定する。三次元位置特定手段１５が特定した三次元位置のボクセルが第１の展開ビュー上のどの位置に投影されているかは、第１の展開ビューを生成したときの情報を参照することで特定可能である。
【００７３】
ここで、三次元位置特定手段１５が特定した三次元位置のボクセルが、第１の展開ビューに投影されていないことも考えられる。つまり、第１の展開ビューに、三次元位置特定手段１５が特定した三次元位置のボクセルに対応する画素が含まれていないことも考えられる。そのような場合、指定位置変換手段６４は、第１の展開ビューに投影されたボクセルのうちで、特定された三次元位置に最も近い三次元位置のボクセルを調べ、そのボクセルが投影された第１の展開ビュー上の座標を、特定された三次元位置のボクセルが投影された座標とすればよい。
【００７４】
対応点特定手段６５は、非剛体位置合わせの手法を用いて、指定位置変換手段６４で変換された第１の展開ビュー上の座標に対応する第２の展開ビュー上の座標を求める。つまり対応点特定手段６５は、指定位置変換手段６４で変換された第１の展開ビュー上の座標（展開ビュー上の点）が、第２の展開ビュー上のどの座標に該当するかを調べる。対応点特定手段６５は、第１の展開ビューと第２の展開ビューとを非剛体位置合わせする際の情報を用いて座標変換を行う。この情報は、例えば第１の展開ビューにおける座標系を、第２の展開ビューにおける座標系に変換するために必要な情報を含む。第１の展開ビューと第２の展開ビューとを非剛体位置合わせする際の情報は、管腔の構造から得られる情報に相当する。
【００７５】
対応位置変換手段６６は、対応点特定手段６５が求めた第２の展開ビュー上の点を、第２の三次元データ２２中の三次元位置に変換する。つまり対応位置変換手段６６は、対応点特定手段６５が求めた第２の展開ビュー上の点が、第２の三次元データ２２中のどの三次元位置のボクセルを投影した点であるかを特定する。第２の展開ビュー上の点が、第２の三次元データ２２中のどの三次元位置のボクセルを投影した点であるかは、第２の展開ビューを生成したときの情報を参照することで特定可能である。対応位置変換手段６６の動作は、指定位置変換手段６４が第１の三次元データ２１中の三次元位置を第１の展開ビュー上の座標に変換する動作の逆の動作となる。
【００７６】
図１０は、第２実施形態における動作手順を示している。三次元データ入力手段１１は、第１及び第２の三次元データ２１、２２を入力する（ステップＢ１）。パス設定手段１２は、管腔内部に第１及び第２のパスを設定する（ステップＢ２）。展開ビュー生成手段１９は、第１及び第２の三次元データ２１、２２に基づいて、それぞれ第１及び第２の展開ビューを生成する（ステップＢ３）。展開ビュー生成手段１９は、例えばパス設定手段１２が設定した第１及び第２のパスのスタート地点からエンド地点までの管腔の内壁を二次元画像に展開した展開ビューを、それぞれ第１及び第２の展開ビューとして生成する。
【００７７】
仮想内視鏡画像生成手段１３は、第１及び第２の三次元データ２１、２２に基づいて、それぞれ第１及び第２の仮想内視鏡画像を生成する（ステップＢ４）。仮想内視鏡画像生成手段１３は、ステップＢ４では、パス設定手段１２が設定した第１及び第２のパス上に視点がある第１及び第２の仮想内視鏡画像をそれぞれ生成する。出力手段１８は、表示装置３０に第１及び第２の仮想内視鏡画像を出力する。表示装置３０は、表示画面上に、第１及び第２の仮想内視鏡画像３１、３２を表示する（ステップＢ５）。
【００７８】
画像処理装置１０ａは、ユーザが位置指定を行ったか否かを判断する（ステップＢ６）。ユーザが位置指定を行わないとき、仮想内視鏡画像生成手段１３は、生成すべき第１及び第２の仮想内視鏡画像の視点位置を変更する（ステップＢ７）。その後ステップＡ３に戻り、仮想内視鏡画像生成手段１３は、変更した視点位置で第１及び第２の仮想内視鏡画像を生成する。仮想内視鏡画像生成手段１３は、例えば第１及び第２のパスの経路に沿って視点位置をエンド地点側に進めて第１及び第２の仮想内視鏡画像を生成する。
【００７９】
ユーザが入力装置４１を用いて位置指定を行うと、位置指定受付手段１４は、ユーザが第１の仮想内視鏡画像３１上で指定した位置（座標）を三次元位置特定手段１５に渡す。三次元位置特定手段１５は、位置指定受付手段１４からユーザの指定位置に関する情報を受け取り、第１の仮想内視鏡画像３１上でユーザが指定した位置を、第１の三次元データ２１中の三次元位置に変換する（ステップＢ８）。三次元位置特定手段１５は、ユーザの指定位置に該当する第１の三次元データ２１中の三次元位置を三次元位置変換手段１６ａに渡す。
【００８０】
三次元位置変換手段１６ａの指定位置変換手段６４（図９）は、三次元位置特定手段１５が特定した第１の三次元データ２１中の三次元位置を、第１の展開ビュー上の位置に変換する（ステップＢ９）。対応点特定手段６５は、第１の展開ビューと第２の展開ビューを非剛体位置合わせする際の情報を用いて、指定位置変換手段６４が変換した第１の展開ビュー上の位置に対応する第２の展開ビュー上の位置を特定する（ステップＢ１０）。対応位置変換手段６６は、対応点特定手段６５が特定した第２の展開ビュー上の位置を、第２の三次元データ２２中の三次元位置に変換する（ステップＢ１１）。
【００８１】
三次元位置変換手段１６ａは、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置に関する情報を対応位置可視化手段１７に渡す。対応位置可視化手段１７は、受け取った第２の三次元中の三次元位置が、第２の仮想内視鏡画像上のどの座標に該当するかを割り出す。対応位置可視化手段１７は、出力手段１８を介して表示装置３０に割り出した座標にマークを付加する旨の情報を出力する（ステップＢ１２）。表示装置３０は、対応位置を可視化する第２の仮想内視鏡画像３２上に、対応位置を示すマークを重ねて表示する。或いは対応位置可視化手段１７は、第２の仮想内視鏡画像に対応位置を示すマークを書き込んでもよい。
【００８２】
なお、本実施形態における動作手順は、ステップＢ３で展開ビューを生成し、ステップＢ９〜Ｂ１１で展開ビューを用いてユーザの指定位置に対応する第２の三次元データ２２中の三次元位置を求める点を除けば、図３に示す第１実施形態における動作手順と同様である。図１０のステップＢ１、Ｂ２、Ｂ４〜Ｂ８、Ｂ１２は、それぞれ図３のステップＡ１、Ａ２、Ａ３〜Ａ８、Ａ１１に相当する。
【００８３】
図１１（ａ）は第１の展開ビューを示し、（ｂ）は第２の展開ビューを示している。対応点特定手段６５は、第１の展開ビューと第２の展開ビューとを非剛体位置合わせし、第１の展開ビューにおける各点と、第２の展開ビューにおける各点との対応関係を求めておく。例えば第１の展開ビューを基準に考えた場合、図１１（ａ）に示す第１の展開ビュー上で直交座標に対して平行な直線上の各点は、図１１（ｂ）に示すように、第２の展開ビュー上ではゆがんだ曲線上の各点に対応する。なお、非剛体位置合わせでは双方の展開ビュー間で各点の対応関係が求まればよく、実際に第２の展開ビューを変形して第１の展開ビューと重ね合わせることまでは要しない。
【００８４】
三次元位置特定手段１５は、ユーザの指定位置に該当する第１の三次元データ２１中の三次元位置を求める。この三次元位置の求め方は第１実施形態における求め方と同じでよい（図４）。指定位置変換手段６４は、特定されたユーザの指定位置に該当する第１の三次元データ２１中の三次元位置が、第１の展開ビュー上のどの位置に対応するかを特定する。第１の三次元データ２１中の三次元位置は、第１の展開ビューでは図１１（ａ）に示す位置Ｑ１であったとする。
【００８５】
対応点特定手段６５は、第１の展開ビュー上の点Ｑ１の位置が、第２の展開ビューではどの位置になるかを特定する。対応点特定手段６５が特定した第２の展開ビュー上の対応位置は、図１１（ｂ）に示す位置Ｑ２であったとする。第２の展開ビュー上の対応点は、非剛体位置合わせの際の情報を用いることで特定可能である。対応点特定手段６５は、例えば第１の展開ビュー上の点Ｑ１の座標位置（ｘ１，ｙ１）に対して座標変換処理を施すことで、第２の展開ビュー上の対応点Ｑ２の座標位置（ｘ２，ｙ２）を求める。対応位置変換手段６６は、第２の展開ビュー上の対応点Ｑ２を、第２の展開ビュー生成時の情報を用いて第２の三次元データ２２中の三次元位置に変換する。
【００８６】
本実施形態では、展開ビュー生成手段１９は第１及び第２の展開ビューを生成し、三次元位置変換手段１６ａは、第１の展開ビューと第２の展開ビューとを非剛体位置合わせする際の情報を用いて、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置を求める。ユーザの指定位置に該当する第１の三次元データ２１中の三次元位置を第１の展開ビュー上の点に変換し、第１の展開ビュー上の点に対応する第２の展開ビュー上の位置を展開ビュー間の対応関係を用いて特定し、第２の展開ビュー上の対応点を第２の三次元データ２２中の三次元位置に変換することでも、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置を求めることができる。その他の効果は第１実施形態と同様である。
【００８７】
次いで、本発明の第３実施形態を説明する。本実施形態の画像処理装置の構成は、図１に示す第１実施形態における画像処理装置１０と同様である。本実施形態の画像処理装置は、対応位置可視化手段１７における動作が、第１実施形態における動作と相違する。本実施形態の画像処理装置における第１及び第２の三次元データの入力から、ユーザの指定位置に対応する第２の三次元データ中の三次元位置への変換までの動作は、図３に示すステップＡ１〜１０の動作と同様である。
【００８８】
対応位置可視化手段１７は、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置が求まると、仮想内視鏡画像生成手段１３に対して、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置がよく観察できる位置に視点を置いた第２の仮想内視鏡画像の生成を指示する。仮想内視鏡画像生成手段１３は、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置を正面にとらえることができる点を視点とする第２の仮想内視鏡画像を生成する。仮想内視鏡画像生成手段１３は、例えばユーザの指定位置に対応する第２の三次元データ２２中の三次元位置から管腔の中心線（第２のパス）に対して垂線を下ろし、中心線と垂線とが交差する位置を視点に設定し、その視点からユーザの指定位置に対応する三次元位置の方向を見る第２の仮想内視鏡画像を生成する。
【００８９】
また、対応位置可視化手段１７は、仮想内視鏡画像生成手段１３に対して、ユーザの指定位置がよく観察できる位置に視点を置いた第１の仮想内視鏡画像の生成を指示する。仮想内視鏡画像生成手段１３は、ユーザの指定位置に該当する第１の三次元データ２１中の三次元位置を正面にとらえることができる点を視点とする第１の仮想内視鏡画像を生成する。仮想内視鏡画像生成手段１３は、例えばユーザの指定位置に対応する三次元位置から管腔の中心線（第１のパス）に対して垂線を下ろし、中心線と垂線とが交差する位置を視点に設定し、その視点からユーザの指定位置に対応する三次元位置の方向を見る第１の仮想内視鏡画像を生成する。
【００９０】
本実施形態においては、対応位置可視化手段１７は、仮想内視鏡画像生成手段１３が生成した第２の仮想内視鏡画像、すなわち視点位置をユーザの指定位置に対応した第２の三次元データ２２中の三次元位置が観察しやすい位置に置いた第２の仮想内視鏡画像で、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置部分を可視化する。また、対応位置可視化手段１７は、上記に加えて、ユーザの指定位置に該当する第１の三次元データ２１中の三次元位置部分を、ユーザの指定位置に該当する三次元位置が観察しやすい位置に視点位置を置いた第１の仮想内視鏡画像で可視化する。
【００９１】
出力手段１８は、仮想内視鏡画像生成手段１３で生成された、指定位置及びその対応位置を正面から観察できる位置に視点を置いた第１及び第２の仮想内視鏡画像を表示装置３０に出力する。表示装置３０は、位置指定時に表示していた第１及び第２の仮想内視鏡画像３１、３２に加えて、ユーザの指定位置及びその対応位置を正面から観察できる第１及び第２の仮想内視鏡画像を表示する。或いは表示装置３０は、位置指定時に表示していた第１及び第２の仮想内視鏡画像３１、３２に代えて、ユーザの指定位置及びその対応位置を正面から観察できる第１及び第２の仮想内視鏡画像を表示してもよい。
【００９２】
図１２は、第２の三次元データ２２に含まれる管腔の一部を示している。視点位置Ｐ２は、ユーザの位置指定時の第１の仮想内視鏡画像の視点位置Ｐ１（図５（ａ））に対応した視点位置であるとする。三次元位置Ｘ２は、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置である。この三次元位置Ｘ２は、例えば、図５（ｂ）に示すように視点位置Ｐ２から第２の視線方向ａ２にレイを飛ばすことで求めることができる。
【００９３】
ここで、ユーザが、第１の仮想内視鏡画像３１上で位置を指定したことから考えると、視点位置Ｐ２の第２の仮想内視鏡画像３２には、ユーザの指定位置に対応する三次元位置Ｘ２が描かれている（映っている）と考えられる。しかしながら、視点位置Ｐ２は、必ずしも三次元位置Ｘ２の観察に最適な視点位置になっているとは限らない。そこで、視点位置を、三次元位置Ｘ２を正面から観察できる位置である位置Ｐ２ａにずらす。仮想内視鏡画像生成手段１３で、視点位置を位置Ｐ２ａに置いた第２の仮想内視鏡画像を生成し、その第２の仮想内視鏡画像を表示装置３０に表示することで、ユーザは、第１の仮想内視鏡画像３１上で指定した位置に対応する第２の三次元データ２２中の三次元位置Ｘ２を、その位置を観察するのに適した第２の仮想内視鏡画像で観察することができる。
【００９４】
本実施形態では、対応位置可視化手段１７は、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置を、その位置を正面にとらえることができる点を視点とする第２の仮想内視鏡画像で可視化する。このようにする場合、ユーザは、より観察に適した第２の仮想内視鏡画像で、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置を観察できる。また、仮想内視鏡画像生成手段１３が、ユーザの指定位置に該当する第１の三次元データ２１中の三次元位置を、その位置を正面にとらえることができる点を視点とする第１の仮想内視鏡画像を生成する場合は、ユーザは、双方の三次元データで、ユーザの指定位置及びその対応位置の状態がどのようになっているかを見比べることができ、病変が存在するか否かの判断を適切に行うことができる。
【００９５】
なお、本実施形態では、対応位置を正面にとらえる第２の仮想内視鏡画像で対応位置を可視化するため、位置指定時に第２の仮想内視鏡画像を生成していなくてもよい。また、対応位置を正面にとらえることができる位置を視点位置とする第２の仮想内視鏡画像では、対応位置は第２の仮想内視鏡画像の中央付近にあるので、ユーザはその第２の仮想内視鏡画像から対応位置をすぐに判別可能であると考えられる。このため、第２の仮想内視鏡画像に付加すべき対応位置であることを示すマークは省略しても構わない。対応位置を正面にとらえる仮想内視鏡画像では、対応位置が厳密に画像の中央にある必要まではない。対応位置は、例えば仮想内視鏡画像の中央を中心に所定半径の円を考えたとき、対応位置がその円の内側に入っていればよい。
【００９６】
続いて、本発明の第４実施形態を説明する。図１３は、本発明の第４実施形態の画像処理装置を示している。本実施形態の画像処理装置１０ｂの構成は、図１に示す第１実施形態における画像処理装置１０の構成に加えて、断面画像生成手段２０を備える。断面画像生成手段２０は、三次元データ中の任意の位置の二次元断面画像を生成する。本実施形態では、対応位置可視化手段１７は、第２の仮想内視鏡画像に加えて、又はこれに加えて、断面画像生成手段２０が生成する二次元断面画像を用いて、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置を可視化する。
【００９７】
対応位置可視化手段１７は、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置が求まると、断面画像生成手段２０に対して、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置を含む二次元断面画像の生成を指示する。断面画像生成手段２０は、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置を含む二次元断面画像を生成する。また、対応位置可視化手段１７は、断面画像生成手段２０に対して、ユーザの指定位置に該当する第１の三次元データ２１中の三次元位置を含む二次元断面画像の生成を指示する。断面画像生成手段２０は、ユーザの指定位置に該当する第１の三次元データ２１中の三次元位置を含む二次元断面画像を生成する。
【００９８】
本実施形態においては、対応位置可視化手段１７は、断面画像生成手段２０が生成した二次元断面画像、すなわちユーザの指定位置に対応した第２の三次元データ２２中の三次元位置を含む二次元断面画像で、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置部分を可視化する。また、対応位置可視化手段１７は、上記に加えて、ユーザの指定位置に該当する第１の三次元データ２１中の三次元位置部分を、ユーザの指定位置に該当する三次元位置を含む二次元断面画像で可視化する。
【００９９】
出力手段１８は、断面画像生成手段２０で生成された指定位置及びその対応位置を含む二次元断面画像を表示装置３０に出力する。表示装置３０は、位置指定時に表示していた第１及び第２の仮想内視鏡画像３１、３２に加えて、ユーザの指定位置及びその対応位置を含む二次元断面画像を表示する。或いは表示装置３０は、位置指定時に表示していた第１及び第２の仮想内視鏡画像３１、３２に代えて、ユーザの指定位置及びその対応位置を含む二次元断面画像を表示してもよい。
【０１００】
図１４（ａ）は三次元データに含まれる物体を示し、（ｂ）は物体の断面画像を示している。図１４（ａ）において、＋のマークが付けられた位置が、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置であるとする。第２の三次元データ２２は、互いに直交するｘ，ｙ，ｚの３つの軸を有する座標系で表わされているとする。断面画像生成手段２０は、例えば図１４（ｂ）に示すように、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置をｘｙ平面で切断した断面図、ｙｚ平面で切断した断面図、及びｘｚ平面で切断した断面図を生成する。対応位置可視化手段１７は、二次元断面画像に対しても、対応位置であることを示すマーク（＋）を付加してもよい。
【０１０１】
本実施形態では、対応位置可視化手段１７は、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置を、その位置を含む二次元断面画像で可視化する。このようにする場合、ユーザは、指定位置に対応する三次元位置を断面画像で観察することができる。また、断面画像生成手段２０が、ユーザの指定位置に該当する第１の三次元データ２１中の三次元位置を、その位置を含む二次元断面画像を生成する場合、ユーザは、双方の断面画像を観察して、ユーザの指定位置及びその対応位置の状態がどのようになっているかを調べることができる。
【０１０２】
なお、第１の三次元データ２１と第２の三次元データ２２とは、必ずしも同一の撮影装置を用いて撮影されている必要はない。例えば同一被検体に対して、ある撮影装置を用いて撮影された三次元画像データを第１の三次元データ２１とし、別の撮影装置を用いて撮影された三次元画像データを第２の三次元データ２２としてもよい。また、上記各実施形態では、主に撮影時の体位が異なる三次元データを用いて説明を行ったが、第１及び第２の三次元データ２１、２２は同一データでなければよく、例えば撮影時の体位は同じで撮影日時が異なるデータでもよい。撮影時の体位が同じ場合は、視線方向変換手段６１（図２）における視線方向の変換は省略してもよい。
【０１０３】
上記各実施形態は、適宜組み合わせて用いることができる。例えば第３及び第４実施形態は、第１実施形態との組み合わせだけでなく、展開ビューを用いてユーザの指定位置に対応する三次元位置を求める第２実施形態と組み合わせることも可能である。また、第３実施形態と第４実施形態とを組み合わせることもできる。その場合、表示装置３０には、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置を正面でとらえることができる第２の仮想内視鏡画像と、その位置の二次元断面画像とを同時に表示してもよい。多様な画像でユーザの指定位置に対応する第２の三次元データ２２中の三次元位置を可視化することで、ユーザは、その位置がどのような状態になっているかを適切に判断することができる。
【０１０４】
以上、本発明をその好適な実施形態に基づいて説明したが、本発明の仮想内視鏡画像処理装置、方法、及びプログラムは、上記実施形態にのみ限定されるものではなく、上記実施形態の構成から種々の修正及び変更を施したものも、本発明の範囲に含まれる。
【符号の説明】
【０１０５】
１０：仮想内視鏡画像処理装置
１１：三次元データ入力手段
１２：パス設定手段
１３：仮想内視鏡画像生成手段
１４：位置指定受付手段
１５：三次元位置特定手段
１６：三次元位置変換手段
１７：対応位置可視化手段
１８：出力手段
１９：展開ビュー生成手段
２０：断面画像生成手段
２１、２２：三次元データ
３０：表示装置
３１、３２：仮想内視鏡画像
４１：入力装置
６１：視線方向変換手段
６２：視点位置変換手段
６３：対応座標変換手段
６４：指定位置変換手段
６５：対応点特定手段
６６：対応位置変換手段
【技術分野】
【０００１】
本発明は、仮想内視鏡画像処理装置、方法、及びプログラムに関し、更に詳しくは、被検体の内部を示す三次元データから被検体内の管腔の仮想内視鏡画像を生成する仮想内視鏡画像処理装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、撮影装置（モダリティ）の進歩に伴い、撮影装置で撮影された画像データの分解能が向上しており、画像データに基づいて被検体の詳細な解析が可能になっている。例えばマルチスライスＣＴ（Multi Detector-row Computed Tomography）は、一度に複数枚の断層画像を撮影することが可能であり、薄いスライス厚で断層画像を撮影することが可能である。スライス厚が薄くなることで、複数の断層画像を積層した三次元データの体軸方向の分解能が上がり、より詳細な三次元データを得ることができる。そのような三次元データを表示し解析することで、これまで見つけることが困難であった病変などを見つけることも可能になっている。
【０００３】
三次元データは、そのまま人間が観察するには不向きである。このため、三次元データは、通常、任意の視点からの疑似的な三次元画像に変換された上で表示される。三次元データの分解能の向上に伴って質の高い三次元画像の生成が可能になっており、三次元画像表示の応用技術として仮想内視鏡画像表示法が提案されている。仮想内視鏡表示法とは、管腔の内部に視点を設定し、その視点に基づいて透視投影画像を生成し表示する方法である。仮想内視鏡表示では、ユーザが逐次的に視点を変更することで、あたかも内視鏡のカメラが身体内部を移動しながら撮影したような画像を提供することが可能である。仮想内視鏡表示は、特に大腸ＣＴ検査で利用されている。
【０００４】
特許文献１は、仮想内視鏡表示が記載された文献である。特許文献１には、仮想内視鏡画像（三次元画像）と、その仮想内視鏡画像生成の際の視点位置を含む二次元断面画像とを表示することが記載されている。また、特許文献１には、仰臥位と腹臥位とでＣＴ撮影を行うことが記載されている。仰臥位のＣＴデータから仰臥位仮想内視鏡画像を生成し、腹臥位のＣＴデータから腹臥位仮想内視鏡画像を生成する。特許文献１には、二元ビューモードで動作する間に、それら２つの仮想内視鏡画像を同時にディスプレイ上に表示することが記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４０８８３４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１では、管腔構造に沿った一連の視点（パス）で対応する二つの仮想内視鏡画像を同時に表示できる。しかし、特許文献１では、２つの仮想内視鏡画像を同時に表示するにとどまり、一方の仮想内視鏡画像上の物体の位置を、他方の画像上で特定することができない。例えば、仰臥位仮想内視鏡画像に病変らしき物体が見つかったとする。このとき、ユーザは腹臥位内視鏡画像中に病変らしき物体が現れているか否かを判断したい。しかし、特許文献１では、仮想内視鏡画像上の物体の対応関係はユーザ自身が判断せざるを得ない。従って、ユーザは、腹臥位仮想内視鏡画像を注意深く観察し、仰臥位仮想内視鏡画像上で発見された物体に対応する物体が腹臥位仮想内視鏡画像中に現れているか否かを調べなくてはならない。
【０００７】
本発明は、上記従来技術の問題点を解消し、一方の三次元データを可視化した仮想内視鏡画像上で位置指定を行ったとき、他方の三次元データにおける対応する位置の状態を簡易に観察することができる仮想内視鏡画像処理装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明は、それぞれが、撮影装置を用いて撮影された管腔を有する被検体の内部を示す第１及び第２の三次元データに基づいて、同一の管腔の内部を疑似的な三次元画像で可視化するための第１及び第２の仮想内視鏡画像をそれぞれ生成する仮想内視鏡画像生成手段と、前記第１の仮想内視鏡画像の上で位置の指定を受け付ける位置指定受付手段と、前記第１の仮想内視鏡画像上で指定された位置に該当する第１の三次元データ中の三次元位置を特定する三次元位置特定手段と、前記三次元位置特定手段で特定された第１の三次元データ中の三次元位置から、該三次元位置に対応する、前記第２の三次元データ中の三次元位置を求める三次元位置変換手段と、前記求められた第２の三次元データ中の三次元位置部分を可視化して表示する対応位置可視化手段とを備えたことを特徴とする仮想内視鏡画像処理装置を提供する。
【０００９】
本発明の仮想内視鏡画像処理装置は、前記三次元位置変換手段が、前記第１及び第２の三次元データから計算された管腔の構造から得られる情報を用いて、前記第２の三次元データ中の三次元位置を求める構成を採用できる。
【００１０】
本発明の仮想内視鏡画像処理装置は、前記三次元位置特定手段が、前記ユーザの指定位置から前記第１の三次元データの三次元画像空間へ、前記位置の指定が行われた第１の仮想内視鏡画像の視点から前記ユーザの指定位置へ向かう視線方向に沿ってレイを飛ばし、該レイが所定の条件を満たす前記第１の三次元データ中のボクセルを通過するとき、当該ボクセルの座標位置に基づいて、前記第１の仮想内視鏡画像上で指定された位置に該当する第１の三次元データ中の三次元位置を特定する構成とすることができる。
【００１１】
本発明の仮想内視鏡画像処理装置は、前記第１及び第２の三次元データに対して前記管腔に沿って第１及び第２のパスをそれぞれ設定するパス設定手段を更に備え、前記仮想内視鏡画像生成手段が、前記第１及び第２パス上の点を視点として、該視点から前記管腔の内部を見たことを想定した疑似的な三次元画像をそれぞれ前記第１及び第２の仮想内視鏡画像として生成する構成としてもよい。
【００１２】
本発明の仮想内視鏡画像処理装置は、前記三次元位置変換手段が、前記第１の仮想内視鏡画像上で位置が指定されたときの第１のパス上の視点位置と前記三次元位置特定手段が特定した第１の三次元データ中の三次元位置との位置関係、及び前記第１の三次元データの撮影時の被検体の体位と前記第２の三次元データの撮影時の被検体の体位との関係に基づいて、前記三次元位置特定手段で特定された第１の三次元データ中の三次元位置から前記第２の三次元データ中の三次元位置を求める構成を採用できる。
【００１３】
本発明の仮想内視鏡画像処理装置は、前記三次元位置変換手段が、前記位置指定が行われたときの第１の仮想内視鏡画像の視点から前記三次元位置特定手段で特定された第１の三次元データ中の三次元位置に向かう第１の視線方向を、前記第１の三次元データの撮影時の被検体の体位と前記第２の三次元データの撮影時の被検体の体位との関係に従って第２の視線方向に変換する視線方向変換手段と、前記位置指定が行われたときの第１の仮想内視鏡画像の視点の前記第１のパス上での位置に基づいて、前記第２のパス上で対応する視点位置を求める視点位置変換手段と、前記求められた第２の視線方向と第２のパス上で対応する視点位置とに基づいて、前記三次元位置特定手段で特定された第１の三次元データ中の三次元位置に対応する前記第２の三次元データ中の三次元位置を求める対応座標変換手段とを有する構成を採用することができる。
【００１４】
本発明の仮想内視鏡画像処理装置は、前記対応座標変換手段が、前記第２の三次元データの三次元画像空間で、前記視点位置変換手段が求めた第２のパス上の対応する視点位置から前記第２の視線方向にレイを飛ばし、該レイが所定の条件を満たすボクセルを通過するとき、当該ボクセルの座標位置を、前記対応する前記第２の三次元データ中の三次元位置とする構成とすることができる。
【００１５】
本発明の仮想内視鏡画像処理装置は、前記視点位置変換手段が、前記第１のパスの始点から前記位置指定時の第１の仮想内視鏡画像の視点までの距離を求め、前記第２のパス上で前記第２のパスの始点から前記求めた距離だけ離れた点を前記第２のパス上の対応する視点位置とする構成を採用できる。
【００１６】
本発明の仮想内視鏡画像処理装置では、前記１及び第２の三次元データの何れか一方が仰臥位で撮影されたデータで、他方が腹臥位で撮影されたデータであり、前記視点方向変換手段が、前記第１の視線方向を体軸周りに１８０°回転させた方向を前記第２の視線方向としてもよい。
【００１７】
本発明の仮想内視鏡画像処理装置は、前記仮想内視鏡画像生成手段が、前記第１及び第２のパスの始点からの距離が相互に等しい点を視点とする第１及び第２の仮想内視鏡画像をそれぞれ生成する構成を採用できる。
【００１８】
本発明の仮想内視鏡画像処理装置は、前記第１及び第２の三次元データに基づいて、それぞれ前記管腔の内壁を表す第１及び第２の展開ビューを生成する展開ビュー生成手段を更に備え、前記三次元位置変換手段が、前記第１の展開ビューと第２の展開ビューとを非剛体位置合わせする際の情報を用いて、前記三次元位置特定手段で特定された第１の三次元データ中の三次元位置に対応する前記第２の三次元データ中の三次元位置を求める構成を採用することができる。
【００１９】
本発明の仮想内視鏡画像処理装置は、三次元位置変換手段が、前記特定された第１の三次元データ中の三次元位置を前記第１の展開ビュー上の位置に変換する指定位置変換手段と、前記第１の展開ビューと前記第２の展開ビューとを非剛体位置合わせする際の情報を用いて、前記指定位置変換手段が変化した第１の展開ビュー上の位置に対応する前記第２の展開ビュー上の位置を求める対応点特定手段と、前記対応点特定手段が求めた第２の展開ビュー上の位置を前記第２の三次元データ中の三次元位置に変換する対応位置変換手段とを有する構成を採用できる。
【００２０】
本発明の仮想内視鏡画像処理装置は、前記対応位置可視化手段が、前記求められた第２の三次元データ中の三次元位置部分を、前記仮想内視鏡画像生成手段が生成した前記第２の仮想内視鏡画像で可視化すると共に、前記第２の仮想内視鏡画像における前記求められた第２の三次元データ中の三次元位置部分に対応位置であることを示すマークを付加する構成とすることができる。
【００２１】
本発明の仮想内視鏡画像処理装置は、前記仮想内視鏡画像生成手段が、前記三次元位置変換手段が前記第２の三次元データ中の三次元位置を求めると、該求められた第２の三次元データ中の三次元位置を正面にとらえることができる点を視点とする第２の仮想内視鏡画像を生成し、前記対応位置可視化手段が、第２の三次元データ中の三次元位置部分を、当該生成された第２の仮想内視鏡画像で可視化してもよい。
【００２２】
本発明の仮想内視鏡画像処理装置は、前記第２の三次元データに基づいて、前記求められた第２の三次元データ中の三次元位置を含む二次元断面画像を生成する断面画像生成手段を更に備え、前記対応位置可視化手段は、前記第２の仮想内視鏡画像に加えて、又はこれに代えて、前記二次元断面画像で第２の三次元データ中の三次元位置部分を可視化してもよい。
【００２３】
本発明の仮想内視鏡画像処理装置は、前記三次元位置特定手段が、前記第１の三次元データ及び前記第１の仮想内視鏡画像の少なくとも一方から前記指定された位置に存在する物体を検出し、該検出された物体の重心位置を、前記指定された位置に該当する第１の三次元データ中の三次元位置として特定する構成としてもよい。
【００２４】
本発明は、撮影装置を用いて撮影された管腔を有する被検体の内部を示す第１及び第２の三次元データのうち、少なくとも前記第１の三次元データに基づいて、管腔の内部を疑似的な三次元画像で可視化するための第１の仮想内視鏡画像を生成する仮想内視鏡画像生成ステップと、前記第１の仮想内視鏡画像の上で位置の指定を受け付ける位置指定ステップと、前記第１の仮想内視鏡画像上で指定された位置に該当する第１の三次元データ中の三次元位置を特定する三次元位置特定ステップと、前記特定された第１の三次元データ中の三次元位置から、該三次元位置に対応する、前記第２の三次元データ中の三次元位置を求める三次元位置変換ステップと、前記求められた第２の三次元データ中の三次元位置部分を可視化して表示する対応位置可視化ステップとを有することを特徴とする仮想内視鏡画像処理方法を提供する。
【００２５】
本発明の仮想内視鏡画像処理方法は、前記仮想内視鏡画像生成ステップにおいて、第１の仮想内視鏡画像の生成に加えて、前記第２の三次元データに基づいて、前記第１の仮想内視鏡画像で可視化する管腔と同一の管腔の内部を可視化するための第２の仮想内視鏡画像を生成し、前記対応位置可視化ステップにおいて、前記第２の仮想内視鏡画像を表示すると共に、前記第２の仮想内視鏡画像における前記求められた第２の三次元データ中の三次元位置部分に対応位置であることを示すマークを表示してもよい。
【００２６】
本発明の仮想内視鏡画像処理方法は、前記第２の三次元データに基づいて、前記求められた第２の三次元データ中の三次元位置を含む二次元断面画像を生成する断面画像生成ステップを更に有し、前記対応位置可視化ステップにおいて、前記第２の仮想内視鏡画像に加えて、又はこれに代えて、前記二次元断面画像を表示してもよい。
【００２７】
本発明は、コンピュータに、撮影装置を用いて撮影された管腔を有する被検体の内部を示す第１及び第２の三次元データのうち、少なくとも前記第１の三次元データに基づいて、管腔の内部を疑似的な三次元画像で可視化するための仮想内視鏡画像を生成するステップと、前記第１の三次元データに基づいて生成された仮想内視鏡画像の上で位置の指定を受け付けるステップと、前記第１の三次元データに基づいて生成された仮想内視鏡画像上で指定された位置に該当する第１の三次元データ中の三次元位置を特定するステップと、前記特定された第１の三次元データ中の三次元位置から、該三次元位置に対応する、前記第２の三次元データ中の三次元位置を求めるステップと、前記求められた第２の三次元データ中の三次元位置部分を可視化して表示するステップとを実行させることを特徴とするプログラムを提供する。
【発明の効果】
【００２８】
本発明では、ユーザが第１の三次元データを可視化した第１の仮想内視鏡画像上で位置を指定すると、ユーザの指定位置に対応する第１の三次元データの三次元位置を特定し、特定された第１の三次元データの三次元位置を第２の三次元データの三次元位置に変換し、変換された第２の三次元データの三次元位置部分を可視化して表示する。本発明では、ユーザが第１の仮想内視鏡画像上で位置指定を行ったときに、その指定位置に対応する第２の三次元データ中の三次元位置部分を可視化して表示するため、ユーザは、第２の三次元データにおける、ユーザの指定位置に対応する位置の状態を簡易に観察することができる。その結果、ユーザは、第１の仮想内視鏡画像上で指定した位置の形態が、第２の三次元データでどのようになっているかを把握することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の第１実施形態の仮想内視鏡画像処理装置を示すブロック図。
【図２】第１実施形態における三次元位置変換手段の構成を示すブロック図。
【図３】第１実施形態の仮想内視鏡画像処理装置の動作手順を示すフローチャート。
【図４】第１の三次元データ中の三次元位置への変換を示す図。
【図５】（ａ）は第１の三次元データから得られる管腔を表し、図５（ｂ）は第２の三次元データから得られる管腔を表す図。
【図６】（ａ）及び（ｂ）は、それぞれ腹臥位及び仰臥位の三次元データから抽出された大腸領域を示す図。
【図７】（ａ）及び（ｂ）は、それぞれ腹臥位及び仰臥位の大腸の仮想内視鏡画像を示す図。
【図８】本発明の第２実施形態の仮想内視鏡画像処理装置を示すブロック図。
【図９】第２実施形態における三次元位置変換手段の構成を示すブロック図。
【図１０】第２実施形態における動作手順を示すフローチャート。
【図１１】（ａ）は第１の展開ビューを示し、（ｂ）は第２の展開ビューを示す図。
【図１２】第２の三次元データに含まれる管腔の一部を示す図。
【図１３】本発明の第４実施形態の仮想内視鏡画像処理装置を示すブロック図。
【図１４】（ａ）は三次元データに含まれる物体を示し、（ｂ）は物体の断面画像を示す図。
【発明を実施するための形態】
【００３０】
以下、図面を参照し、本発明の実施の形態を詳細に説明する。図１は、本発明の第１実施形態の仮想内視鏡画像処理装置（以下、単に画像処理装置とも呼ぶ）を示している。画像処理装置１０は、三次元データ入力手段１１、パス設定手段１２、仮想内視鏡画像生成手段１３、位置指定受付手段１４、三次元位置特定手段１５、三次元位置変換手段１６、対応位置可視化手段１７、及び出力手段１８を備える。画像処理装置１０は、例えばサーバ装置やワークステーションなどのコンピュータシステムで構成される。画像処理装置１０内の各部の機能は、コンピュータシステムが所定のプログラムに従って処理を実行することで実現可能である。
【００３１】
三次元データ入力手段１１は、第１及び第２の三次元データ２１、２２を入力する。第１及び第２の三次元データ２１、２２は、それぞれ撮影装置を用いて撮影された被検体の内部を示す三次元の画像データである。被検体は管腔を有している。第１及び第２の三次元データ２１、２２の撮影に用いる撮影装置は、典型的にはＸ線ＣＴ装置であり、第１及び第２の三次元データ２１、２２は、典型的には所定スライス厚でスライスされた被検体の断層画像を複数枚積層した画像データである。
【００３２】
第１の三次元データ２１と第２の三次元データ２２とは、同一の被検体を撮影したデータである。第１の三次元データ２１と第２の三次元データ２２とは相互に異なる。つまり第１の三次元データ２１と第２の三次元データ２２とは同一データではない。第１の三次元データ２１と第２の三次元データ２２とは、例えば同一人物に対して異なる体位で撮影されたデータである。第１の三次元データ２１は、例えば仰臥位で撮影されたデータであり、第２の三次元データ２２は、例えば腹臥位で撮影されたデータである。第１の三次元データ２１と第２の三次元データ２２との組み合わせはこれには限定されず、種々の組み合わせが考えられる。
【００３３】
パス設定手段１２は、管腔の内部にパスを設定する。パス設定手段１２は、第１の三次元データ２１に含まれる管腔に対して、管腔に沿って第１のパスを設定する。また、パス設定手段１２は、第２の三次元データ２２に含まれる管腔に対して、管腔に沿って第２のパスを設定する。例えばパス設定手段１２は、管腔が大腸であれば、大腸の出口（肛門）の部分をスタート地点とし小腸との境界部分をエンド地点とするパスを、それぞれ第１及び第２のパスとして設定する。
【００３４】
パス設定手段１２が設定するパスは、管腔の形状（構造）に基づいて決まる。パス設定手段１２は、例えば第１及び第２の三次元データ２１、２２を解析して管腔領域を抽出し、抽出した管腔領域の構造に基づいて自動的に第１及び第２のパスを設定してもよい。或いはパス設定手段１２は、ユーザが、表示装置３０上に表示された管腔の三次元画像を参照しながら任意に設定したパスを、第１及び第２のパスとしてもよい。またパス設定手段１２は、自動的に設定したパスに対してユーザが修正を加えたものを、第１及び第２のパスとしてもよい。
【００３５】
仮想内視鏡画像生成手段１３は、第１及び第２の三次元データ２１、２２に基づいて、それぞれ第１及び第２の仮想内視鏡画像を生成する。第１及び第２の仮想内視鏡画像は、それぞれ被検体内の管腔の内部を疑似的な三次元画像で可視化するための画像である。第１の仮想内視鏡画像で可視化する管腔と、第２の仮想内視鏡画像で可視化する管腔とは同一の管腔である。仮想内視鏡画像生成手段１３は、例えば、第１の三次元データ２１中に含まれる大腸部分の内部を疑似的な三次元画像で可視化する第１の仮想内視鏡画像を生成すると共に、第２の三次元データ２２中に含まれる大腸部分の内部を疑似的な三次元画像で可視化する第２の仮想内視鏡画像を生成する。
【００３６】
仮想内視鏡画像生成手段１３は、パス設定手段１２が設定したパス上に視点を置き、その視点から管腔の内部を見たことを想定した画像を仮想内視鏡画像として生成する。仮想内視鏡画像生成手段１３は、例えばパスに従ってスタート地点からエンド地点まで順次に視点を変更しつつ、仮想内視鏡画像を生成する。仮想内視鏡画像生成手段１３は、それぞれ第１及び第２のパスの始点からの距離が相互に等しい点を視点とする第１及び第２の仮想内視鏡画像を生成してもよい。仮想内視鏡画像の視点は、必ずしもパス設定手段１２が設定したパス上になくてもよく、仮想内視鏡画像生成手段１３は、ユーザが任意に設定した点を視点とする仮想内視鏡画像を生成してもよい。
【００３７】
出力手段１８は、仮想内視鏡画像生成手段１３が生成した仮想内視鏡画像を表示装置３０へ出力する。表示装置３０は、例えば液晶ディスプレイなどの表示デバイスである。表示装置３０は、表示画面上に、第１の仮想内視鏡画像３１及び第２の仮想内視鏡画像３２を表示する。出力手段１８は、第１及び第２の仮想内視鏡画像を同時に出力し、表示装置３０の表示画面上に、第１及び第２の仮想内視鏡画像３１、３２を同時並列に表示させてもよい。或いは出力手段１８は、第１及び第２の仮想内視鏡画像を選択的に出力し、表示装置３０の表示画面上に第１及び第２の仮想内視鏡画像３１、３２を切り替えて表示させてもよい。
【００３８】
位置指定受付手段１４は、第１の仮想内視鏡画像３１の上でユーザによる位置の指定を受け付ける。位置指定受付手段１４が位置の指定を受け付けるとき、表示装置３０の表示画面上には少なくとも第１の仮想内視鏡画像３１が表示されていればよい。ユーザは、入力装置４１を用いて、第１の仮想内視鏡画像３１上の任意の点を指定位置として指定することができる。位置指定受付手段１４は、入力装置４１を介して第１の仮想内視鏡画像３１上で指定された位置の情報を入力する。入力装置４１には、例えばマウスなどのポインティングデバイスを用いることができる。
【００３９】
なお、本実施形態では、位置指定受付手段１４が第１の仮想内視鏡画像３１上で位置の指定を受け付けるものとして説明するが、位置指定受付手段１４は、第１及び第２の仮想内視鏡画像３１、３２のうちの何れか一方で位置の指定を受け付ければよい。位置指定受付手段１４が第２の仮想内視鏡画像３２上で位置の指定を受け付ける場合は、第１の仮想内視鏡画像と第２の仮想内視鏡画像とを、適宜入れ替えて読み替えればよい。
【００４０】
三次元位置特定手段１５は、第１の仮想内視鏡画像３１上で指定された位置に該当する第１の三次元データ２１中の三次元位置を特定する。第１の仮想内視鏡画像３１は、第１の三次元データ２１を管腔内の視点位置から投影面に透視投影することで生成された画像であり、三次元位置特定手段１５は、第１の仮想内視鏡画像上の指定位置が、第１の三次元データ２１中のどの画素（ボクセル）を投影したものであるかを特定する。
【００４１】
三次元位置変換手段１６は、三次元位置特定手段１５で特定された第１の三次元データ２１中の三次元位置を、第２の三次元データ２２中の三次元位置に変換する。つまり、三次元位置変換手段１６は、三次元位置特定手段１５で特定された第１の三次元データ２１中の三次元位置に対応する第２の三次元データ２２中の三次元位置を求める。
【００４２】
三次元位置変換手段１６は、例えば第１及び第２の三次元データ２１、２２から計算された管腔の構造から得られる情報を用いて、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置を求める。仮想内視鏡画像で可視化すべき管腔は同一被検体内の同一の管腔であり、第１の三次元データ２１から計算された管腔の構造と、第２の三次元データ２２から計算された管腔の構造とには、対応関係が存在すると考えられる。この対応関係を利用することで、第１の三次元データ２１中の三次元位置を第２の三次元データ２２中の三次元位置に変換することが可能である。三次元位置変換手段１６は、例えばパス設定手段１２が設定した第１及び第２のパスを管腔の構造から得られる情報として用い、第２の三次元データ２２中の三次元位置を求める。
【００４３】
三次元位置変換手段１６は、例えば位置指定が行われたときの第１のパス上にある第１の仮想内視鏡画像３１の視点位置と、三次元位置特定手段１５が特定した第１の三次元データ２１中の三次元位置との位置関係を求める。三次元位置変換手段１６は、求めた位置関係と、第１の三次元データ２１の撮影時の被検体の体位と第２の三次元データ２２の撮影時の被検体の体位との関係とに基づいて、特定された第１の三次元データ２１中の三次元位置を第２の三次元データ２２中の三次元位置に変換する。
【００４４】
対応位置可視化手段１７は、三次元位置変換手段１６が求めたユーザの指定位置に対応する第２の三次元データ２２中の三次元位置部分を可視化する。対応位置可視化手段１７は、例えば仮想内視鏡画像生成手段１３で生成された第２の仮想内視鏡画像で、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置部分を可視化する。その際、対応位置可視化手段１７は、表示装置３０上に表示される第２の仮想内視鏡画像３２の、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置の部分に、対応位置であることを示すマークを付加する。
【００４５】
対応位置可視化手段１７は、ユーザが位置指定を行うときに表示装置３０の表示画面上に第２の仮想内視鏡画像３２が表示されていないときは、仮想内視鏡画像生成手段１３に、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置の部分を可視化する第２の仮想内視鏡画像を生成させる。仮想内視鏡画像生成手段１３が生成した仮想内視鏡画像は、出力手段１８を介して表示装置３０に出力され、表示装置３０の表示画面上に第２の仮想内視鏡画像３２として表示される。ユーザが第１の仮想内視鏡画像３１上で位置指定を行うとき、表示画面上に第２の仮想内視鏡画像３２が既に表示されているときは、第２の仮想内視鏡画像を新たに生成しなくてもよい。
【００４６】
図２は、三次元位置変換手段１６の構成を示している。三次元位置変換手段１６は、視線方向変換手段６１、視点位置変換手段６２、及び対応座標変換手段６３を有する。視線方向変換手段６１は、第１の視線方向を第２の視線方向に変換する。第１の視線方向は、位置指定が行われたときの第１の仮想内視鏡画像３１の視点位置と、三次元位置特定手段１５で特定されたユーザの指定位置に該当する第１の三次元データ２１中の三次元位置との位置関係に応じて決まる。第１の視線方向は、位置指定が行われたときの第１の仮想内視鏡画像３１の視点から、三次元位置特定手段１５で特定された第１の三次元データ２１中の三次元位置に向かう三次元のベクトルで表わすことができる。
【００４７】
視線方向変換手段６１は、第１の三次元データ２１の撮影時の被検体の体位と、第２の三次元データ２２の撮影時の被検体の体位との関係に従って、第１の視線方向を第２の視線方向に変換する。例えば第１の三次元データ２１が仰臥位で撮影され、第２の三次元データ２２が腹臥位で撮影されているとする。仰臥位と腹臥位とは、体の向きが１８０°異なる。この場合、視線方向変換手段６１は、第１の視線方向（ベクトル）を体軸周りに１８０°回転させた方向を、第２の視線方向とする。なお、撮影時の体位が異なる場合でも、第１の三次元データ２１と第２の三次元データ２２とで被検体の向きが一致するように事前に座標変換がなされているような場合には、視線方向の変換（回転）は必要がない。
【００４８】
視点位置変換手段６２は、第１の視点位置を第２の視点位置に変換する。第１の視点位置は、ユーザが位置指定を行ったときの第１の仮想内視鏡画像３１の視点位置である。第２の視点位置は、位置指定時の第１の仮想内視鏡画像３１で可視化した部分と同じ部分を第２の仮想内視鏡画像３２で可視化したことを想定したときの第２の仮想内視鏡画像３２の視点位置である。視点位置変換手段６２は、第１のパスと第２のパスとの対応関係を用いて、第１の視点位置を第２の視点位置に変換する。視点位置変換手段６２は、例えば第１のパスの始点から位置指定時の仮想内視鏡画像の視点位置までのパスの経路上の距離を求め、第２のパスの始点からパスの経路上で同じ距離だけ離れた位置を、第２の視点位置とする。
【００４９】
第１の仮想内視鏡画像３１と第２の仮想内視鏡画像３２とで、パスの始点から距離が等距離となる位置に視点を置いた場合、双方の仮想内視鏡画像で管腔内の同じ位置を可視化することになるため、第１の仮想内視鏡画像３１上でユーザが指定した位置は、第２の仮想内視鏡画像３２内に存在していると考えることができる。第１の仮想内視鏡画像３１上でユーザが指定した位置に該当する第１の三次元データ２１中の三次元位置は、第１の仮想内視鏡画像３１の視点位置から第１の視線方向に向かって進んだ方向に存在にする。このため、三次元位置変換手段１６で求めるべきユーザの指定位置に対応する第２の三次元データ２２中の三次元位置は、視点位置変換手段６２が求めた第２の視点位置から、視線方向変換手段６１が求めた第２の視線方向に向かって延びる直線（半直線）上にあると考えることができる。
【００５０】
対応座標変換手段６３は、視線方向変換手段６１が求めた第２の視線方向と、視点位置変換手段６２が求めた第２の視点位置とに基づいて、ユーザの指定位置に該当する第１の三次元データ２１中の三次元位置に対応する第２の三次元データ２２中の三次元位置を求める。対応座標変換手段６３は、視点位置変換手段６２が求めた第２の視点位置から、視線方向変換手段６１が求めた第２の視線方向に向かって延びる半直線が通過するボクセルのうちで所定の条件を満たすボクセルの座標位置を、対応する第２の三次元データ２２中の三次元位置とする。
【００５１】
図３は、動作手順を示している。三次元データ入力手段１１は、第１及び第２の三次元データ２１、２２を入力する（ステップＡ１）。パス設定手段１２は、第１及び第２の三次元データ２１、２２に基づいて、それぞれ仮想内視鏡画像で可視化すべき管腔内に第１及び第２のパスを設定する（ステップＡ２）。仮想内視鏡画像生成手段１３は、第１及び第２の三次元データ２１、２２に基づいて、それぞれ第１及び第２の仮想内視鏡画像を生成する（ステップＡ３）。仮想内視鏡画像生成手段１３は、ステップＡ３では、パス設定手段１２が設定した第１及び第２のパス上に視点がある第１及び第２の仮想内視鏡画像をそれぞれ生成する。
【００５２】
出力手段１８は、表示装置３０に第１及び第２の仮想内視鏡画像を出力する。表示装置３０は、表示画面上に第１及び第２の仮想内視鏡画像３１、３２を表示する（ステップＡ４）。画像処理装置１０は、ユーザが位置指定を行ったか否かを判断する（ステップＡ５）。ユーザが位置指定を行わないとき、仮想内視鏡画像生成手段１３は、生成すべき第１及び第２の仮想内視鏡画像の視点位置を変更する（ステップＡ６）。その後ステップＡ３に戻り、仮想内視鏡画像生成手段１３は、変更した視点位置で第１及び第２の仮想内視鏡画像を生成する。仮想内視鏡画像生成手段１３は、例えば第１及び第２のパスの経路に沿って視点位置をエンド地点側に進めて第１及び第２の仮想内視鏡画像を生成する。
【００５３】
ユーザが入力装置４１を用いて位置指定を行うと、位置指定受付手段１４は、ユーザが第１の仮想内視鏡画像３１上で指定した位置（座標）を三次元位置特定手段１５に渡す。三次元位置特定手段１５は、位置指定受付手段１４からユーザの指定位置に関する情報を受け取り、第１の仮想内視鏡画像３１上でユーザが指定した位置を、第１の三次元データ２１中の三次元位置に変換する（ステップＡ７）。三次元位置特定手段１５は、変換した、ユーザの指定位置に該当する第１の三次元データ２１中の三次元位置を三次元位置変換手段１６に渡す。
【００５４】
三次元位置変換手段１６の視線方向変換手段６１（図２）は、位置指定時の第１の仮想内視鏡画像３１の視点位置と、ユーザの指定位置に該当する第１の三次元データ２１中の三次元位置との位置関係に基づいて第１の視線方向を求める。視線方向変換手段６１は、求めた第１の視線方向を第２の視線方向に変換する（ステップＡ８）。視点位置変換手段６２は、位置指定時の第１の仮想内視鏡画像３１の視点位置（第１の視点位置）を第２の仮想内視鏡画像３２の視点位置（第２の視点位置）に変換する（ステップＡ９）。対応座標変換手段６３は、第２の視線方向と第２の視点位置とを用いて、第１の三次元データ２１中の三次元位置を第２の三次元データ２２中の三次元位置に変換する（ステップＡ１０）。
【００５５】
三次元位置変換手段１６は、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置に関する情報を対応位置可視化手段１７に渡す。対応位置可視化手段１７は、受け取った第２の三次元データ２２中の三次元位置が、第２の仮想内視鏡画像３２上のどの座標に該当するかを割り出す。対応位置可視化手段１７は、出力手段１８を介して表示装置３０に割り出した座標にマークを付加する旨の情報を出力する（ステップＡ１１）。表示装置３０は、第２の仮想内視鏡画像３２上に、対応位置を示すマークを重ねて表示する。或いは対応位置可視化手段１７は、第２の仮想内視鏡画像に対応位置を示すマークを書き込んでもよい。
【００５６】
図４は、第１の三次元データ中の三次元位置への変換を模式的に示している。三次元位置特定手段１５は、ステップＡ７では、例えば以下に説明する手順で、第１の仮想内視鏡画像３１（図１）上のユーザの指定位置を第１の三次元データ２１中の三次元位置へ変換する。三次元位置特定手段１５は、まず、第１の仮想内視鏡画像３１上でユーザが指定した位置から第１の三次元データ２１の三次元画像空間へ、視線に沿ってレイを飛ばす。言い換えれば、三次元位置特定手段１５は、位置指定時の第１の仮想内視鏡画像３１の視点Ｐから第１の仮想内視鏡画像３１上のユーザの指定位置ｘへ向かう視線を延長し、その方向に沿って、ユーザの指定位置ｘから第１の三次元データ２１の三次元画像空間へレイを飛ばす。
【００５７】
次いで、三次元位置特定手段１５は、指定位置ｘ側から順次に、レイが所定の条件を満たすボクセルを通過したか否かを調べる。この所定の条件は、第１の仮想内視鏡画像を生成する際のパラメータに連動した条件である。所定の条件としては、具体的にはレイを通過するボクセルの不透明度が急激に変化するといった条件や、別マスクに接触するといった条件が考えられる。三次元位置特定手段１５は、レイが所定の条件を満たすボクセルを通過するとき、そのボクセルの座標位置を、ユーザの指定位置ｘに該当する第１の三次元データ２１中の三次元位置Ｘとする。この処理は、第１の仮想内視鏡画像３１に不透明で表示されるユーザの指定位置の部分が、第１の三次元データ２１中のどのボクセルに由来しているかを調べていることと等価である。
【００５８】
上記では、三次元位置特定手段１５は、求めたボクセルの座標位置をそのまま指定位置に該当する第１の三次元データ２１中の三次元位置としているが、これには限定されない。例えば、三次元位置特定手段１５は、求めたボクセル位置の周辺で物体検出を行い、物体が検出されたとき、その物体の重心位置をユーザの指定位置に該当する第１の三次元データ中の三次元位置としてもよい。図４の例で言えば、三次元位置Ｘの周辺で直方体を物体として検出し、検出された直方体の重心位置をユーザの指定位置に該当する第１の三次元データ２１中の三次元位置としてもよい。物体は、例えば第１の三次元データ２１、及び／又は第１の仮想内視鏡画像３１を解析することで検出可能である。検出対象の物体は、仮想内視鏡画像で表示する管腔に応じて適宜決めておけばよい。例えば大腸の仮想内視鏡画像検査を考えた場合、ポリープを検出対象の物体とすればよい。物体の検出は、例えば検出対象の物体に対応した物体検出用のパターンを用意し、パターンマッチングを行うことで実施することができる。
【００５９】
図５は、第２の三次元データ２２中の三次元位置への変換を模式的に示している。図５（ａ）は第１の三次元データ２１から得られる管腔を表し、図５（ｂ）は第２の三次元データ２２から得られる管腔を表している。ここでは、図５（ａ）は仰臥位で撮影された大腸を表しているとし、図５（ｂ）は腹臥位で撮影された大腸を表しているとする。パス設定手段１２は、仰臥位と腹臥位で撮影された大腸に対して、第１のパス（スタート地点Ｓ１〜エンド地点Ｅ１）及び第２のパス（スタート地点Ｓ２〜エンド地点Ｅ１）をそれぞれ設定している。
【００６０】
視線方向変換手段６１（図２）は、ステップＡ８において、位置指定時の第１の仮想内視鏡画像３１の視点位置Ｐ１と、三次元位置特定手段１５で特定された第１の三次元データ２１中の三次元位置Ｘ１とから、第１の視線方向ａ１を求める。視線方向変換手段６１は、第１の視線方向ａ１を第２の視線方向ａ２に変換する。仰臥位と腹臥位とは表裏が逆になった関係であるので、視線方向変換手段６１は、第１の視線方向ａ１を表すベクトルを体軸周りに１８０°回転させ、その回転させたベクトルが指し示す方向を第２の視線方向ａ２とする。
【００６１】
視点位置変換手段６２は、ステップＡ９において、第１のパスの始点Ｓ１から位置指定時の第１の仮想内視鏡画像３１の視点位置Ｐ１までのパスの経路上での距離ｄを求める。視点位置変換手段６２は、第２のパスの始点Ｓ２から求めた距離ｄだけ離れた第２のパス上の点を、位置指定時の第１の仮想内視鏡画像３１の視点位置に対応する第２の仮想内視鏡画像の視点位置Ｐ２とする。或いは視点位置変換手段６２は、第１のパスの経路長と距離ｄとの比を求め、第２のパス上で同じ比率になる点を対応する視点位置Ｐ２としてもよい。
【００６２】
なお、位置指定時の第１の仮想内視鏡画像３１の視点位置が第１のパス上に存在しないときは、視点位置からパスの経路に対して垂線を下ろし、その垂線と第１のパスとが交差する点をパス上の対応点とし、スタート地点Ｓ１からその対応点までの距離を求めてもよい。また、仮想内視鏡画像生成手段１３が、パスのスタート地点からの距離が同一の距離のパス上の点を視点位置とする第１及び第２の仮想内視鏡画像を同時に生成している場合、視点位置変換手段６２は、上記の処理で対応する視点位置を求めるのに代えて、仮想内視鏡画像生成手段１３から第２の仮想内視鏡画像の視点位置を取得してもよい。
【００６３】
対応座標変換手段６３は、ステップＡ１０において、第２の三次元データ２２の三次元画像空間で、対応する視点位置Ｐ２から、変換された視線方向ａ２の方向にレイを飛ばす。対応座標変換手段６３は、レイが所定の条件を満たすボクセルを通過するとき、そのボクセルの座標位置を、対応する第２の三次元データ２２中の三次元位置Ｘ２とする。この所定の条件は、第２の仮想内視鏡画像を生成する際のパラメータに連動した条件である。対応位置可視化手段１７は、求められた第２の三次元データ２２中の三次元位置Ｘ２が、第２の仮想内視鏡画像３２のどの部分（座標）に表示されるかを求め、その座標にマークを付加することで、第２の仮想内視鏡画像３２において対応位置であることを明示する。
【００６４】
本実施形態では、三次元位置特定手段１５は、ユーザが２つの三次元データのうちの一方から生成された仮想内視鏡画像上で位置指定を行ったとき、ユーザの指定位置に該当する一方の三次元データ中の三次元位置を特定する。また、三次元位置変換手段１６は、特定された一方の三次元データ中の三次元位置を他方の三次元データ中の三次元位置に変換し、対応位置可視化手段１７は、他方の三次元データから生成される仮想内視鏡画像のどの部分が一方の仮想内視鏡画像上でユーザが指定した位置であるかを明示する。このようにすることで、ユーザは、一方の三次元データを可視化した仮想内視鏡画像上で指定した位置の形態が、他方の三次元データでどのようになっているかを把握することができる。
【００６５】
図６（ａ）及び（ｂ）は、腹臥位及び仰臥位の三次元データから抽出された大腸領域を疑似的な三次元画像で示している。また、図７（ａ）及び（ｂ）は、腹臥位及び仰臥位の大腸の仮想内視鏡画像を示している。図７（ａ）は、図６（ａ）に示す視点位置から大腸内部を見たことを想定した仮想内視鏡画像を示し、図７（ｂ）は、図６（ｂ）に示す視点位置から大腸内部を見たことを想定した仮想内視鏡画像を示している。双方の仮想内視鏡画像における視点位置は、それぞれのパスの始点から等距離にある。つまり、図７（ａ）及び（ｂ）は、大腸内の同じ個所を可視化する仮想内視鏡画像を示している。
【００６６】
例えば図７（ａ）に示す腹臥位仮想内視鏡画像と図７（ｂ）に示す仰臥位仮想内視鏡画像とを同時に表示装置３０に表示することを考える。管腔の内部を観察していったときに、腹臥位仮想内視鏡画像中に病変らしき物体が見つかったとする。ユーザは、病変らしき物体が存在する位置を、腹臥位仮想内視鏡画像（図７（ａ））上で指定する。図７（ａ）に示す腹臥位仮想内視鏡画像と図７（ｂ）に示す仰臥位仮想内視鏡画像とを比較すると、両者は大腸の同じ部分を可視化したものではあるものの、一方の仮想内視鏡画像上の一点が、他方の仮想内視鏡画像上のどの点に対応するかは容易にはわからない。本実施形態では、腹臥位仮想内視鏡画像上で指定した点が、仰臥位仮想内視鏡画像上のどの点に対応するかを明示するため、ユーザは、自身で２つの仮想内視鏡画像を見比べて対応位置を探さなくても、仰臥位仮想内視鏡画像中の対応位置を簡易に判別できる。
【００６７】
ユーザは、明示された仰臥位仮想内視鏡画像中の対応位置の部分を観察することで、ユーザの指定位置に対応する位置の状態を簡易に観察することができる。腹臥位仮想内視鏡画像で発見された病変らしき物体が本当に病変である場合、その病変は、腹臥位で撮影された三次元データだけでなく、仰臥位で撮影された三次元データにも現れていると考えられる。一方、たまたま腹臥位仮想内視鏡画像において残渣などが病変のように見えただけであれば、仰臥位で撮影された三次元データには病変らしき物体は現れていないと考えられる。本実施形態では、一方の仮想内視鏡画像上で指定した位置に対応する位置を他方の仮想内視鏡画像に明示するため、ユーザは双方の画像の対応する部分同士を簡易に見比べることができ、病変か否かを的確に判断できることが期待できる。
【００６８】
次に、本発明の第２実施形態を説明する。図８は、本発明の第２実施形態の画像処理装置を示している。本実施形態の画像処理装置１０ａは、図１に示す第１実施形態の画像処理装置１０の構成に加えて展開ビュー生成手段１９を備える。また、本実施形態の画像処理装置１０ａにおける三次元位置変換手段１６ａの構成及び動作は、第１実施形態の画像処理装置１０における三次元位置変換手段１６のそれとは異なる。その他の点は、第１実施形態と同様である。
【００６９】
展開ビュー生成手段１９は、第１及び第２の三次元データ２１、２２に基づいて、それぞれ管腔の内壁を二次元画像に展開した第１及び第２の展開ビューを生成する。ここで、展開ビューとは、仮想内視鏡画像で表示される管腔の内壁部分に相当する部分を、管腔を切り開いて二次元画像上に投影（マッピング）した画像である。展開ビュー生成手段１９は、第１及び第２の展開ビューの各画素（各座標）が、それぞれ第１及び第２の三次元データ２１、２２中のどのボクセルに対応しているかを示す情報も生成する。
【００７０】
展開ビューは、例えば以下の手順で生成できる。展開ビュー生成手段１９は、まず、第１の三次元データ２１から抽出された、仮想内視鏡画像で可視化すべき管腔をその中心線方向に伸ばす。次いで、展開ビュー生成手段１９は、管腔の各断面上で中心線から全方向（３６０°）にレイを飛ばし、レイが所定の条件を満たすボクセルを通過するとき、そのボクセルを二次元画像上に投影する。このように投影された二次元画像が、第１の展開ビューとなる。展開ビュー生成手段１９は、同様な処理を第２の三次元データ２２に対しても行い、第２の展開ビューを生成する。
【００７１】
本実施形態における三次元位置変換手段１６ａは、第１及び第２の展開ビューを利用し、第１の展開ビューと第２の展開ビューとを非剛体位置合わせする際の情報を用いて、第１の三次元データ２１中の三次元位置を第２の三次元データ２２中の三次元位置に変換する。より詳細には、三次元位置変換手段１６ａは、三次元位置特定手段１５で特定された第１の三次元データ２１中の三次元位置から第１の展開ビュー上の位置（座標）を求め、第１の展開ビューと第２の展開ビューとを非剛体位置合わせする際の情報を用いて第１の展開ビュー上の位置を第２の展開ビュー上の位置に変換し、変換した第２の展開ビュー上の位置を第２の三次元データ２２中の三次元位置に変換する。
【００７２】
図９は、三次元位置変換手段１６ａの構成を示している。三次元位置変換手段１６ａは、指定位置変換手段６４、対応点特定手段６５、及び対応位置変換手段６６を有する。指定位置変換手段６４は、三次元位置特定手段１５が特定した三次元位置を第１の展開ビュー上の座標に変換する。言い換えれば、指定位置変換手段６４は、三次元位置特定手段１５が特定した三次元位置のボクセルが、第１の展開ビュー上のどの位置に投影されているかを特定する。三次元位置特定手段１５が特定した三次元位置のボクセルが第１の展開ビュー上のどの位置に投影されているかは、第１の展開ビューを生成したときの情報を参照することで特定可能である。
【００７３】
ここで、三次元位置特定手段１５が特定した三次元位置のボクセルが、第１の展開ビューに投影されていないことも考えられる。つまり、第１の展開ビューに、三次元位置特定手段１５が特定した三次元位置のボクセルに対応する画素が含まれていないことも考えられる。そのような場合、指定位置変換手段６４は、第１の展開ビューに投影されたボクセルのうちで、特定された三次元位置に最も近い三次元位置のボクセルを調べ、そのボクセルが投影された第１の展開ビュー上の座標を、特定された三次元位置のボクセルが投影された座標とすればよい。
【００７４】
対応点特定手段６５は、非剛体位置合わせの手法を用いて、指定位置変換手段６４で変換された第１の展開ビュー上の座標に対応する第２の展開ビュー上の座標を求める。つまり対応点特定手段６５は、指定位置変換手段６４で変換された第１の展開ビュー上の座標（展開ビュー上の点）が、第２の展開ビュー上のどの座標に該当するかを調べる。対応点特定手段６５は、第１の展開ビューと第２の展開ビューとを非剛体位置合わせする際の情報を用いて座標変換を行う。この情報は、例えば第１の展開ビューにおける座標系を、第２の展開ビューにおける座標系に変換するために必要な情報を含む。第１の展開ビューと第２の展開ビューとを非剛体位置合わせする際の情報は、管腔の構造から得られる情報に相当する。
【００７５】
対応位置変換手段６６は、対応点特定手段６５が求めた第２の展開ビュー上の点を、第２の三次元データ２２中の三次元位置に変換する。つまり対応位置変換手段６６は、対応点特定手段６５が求めた第２の展開ビュー上の点が、第２の三次元データ２２中のどの三次元位置のボクセルを投影した点であるかを特定する。第２の展開ビュー上の点が、第２の三次元データ２２中のどの三次元位置のボクセルを投影した点であるかは、第２の展開ビューを生成したときの情報を参照することで特定可能である。対応位置変換手段６６の動作は、指定位置変換手段６４が第１の三次元データ２１中の三次元位置を第１の展開ビュー上の座標に変換する動作の逆の動作となる。
【００７６】
図１０は、第２実施形態における動作手順を示している。三次元データ入力手段１１は、第１及び第２の三次元データ２１、２２を入力する（ステップＢ１）。パス設定手段１２は、管腔内部に第１及び第２のパスを設定する（ステップＢ２）。展開ビュー生成手段１９は、第１及び第２の三次元データ２１、２２に基づいて、それぞれ第１及び第２の展開ビューを生成する（ステップＢ３）。展開ビュー生成手段１９は、例えばパス設定手段１２が設定した第１及び第２のパスのスタート地点からエンド地点までの管腔の内壁を二次元画像に展開した展開ビューを、それぞれ第１及び第２の展開ビューとして生成する。
【００７７】
仮想内視鏡画像生成手段１３は、第１及び第２の三次元データ２１、２２に基づいて、それぞれ第１及び第２の仮想内視鏡画像を生成する（ステップＢ４）。仮想内視鏡画像生成手段１３は、ステップＢ４では、パス設定手段１２が設定した第１及び第２のパス上に視点がある第１及び第２の仮想内視鏡画像をそれぞれ生成する。出力手段１８は、表示装置３０に第１及び第２の仮想内視鏡画像を出力する。表示装置３０は、表示画面上に、第１及び第２の仮想内視鏡画像３１、３２を表示する（ステップＢ５）。
【００７８】
画像処理装置１０ａは、ユーザが位置指定を行ったか否かを判断する（ステップＢ６）。ユーザが位置指定を行わないとき、仮想内視鏡画像生成手段１３は、生成すべき第１及び第２の仮想内視鏡画像の視点位置を変更する（ステップＢ７）。その後ステップＡ３に戻り、仮想内視鏡画像生成手段１３は、変更した視点位置で第１及び第２の仮想内視鏡画像を生成する。仮想内視鏡画像生成手段１３は、例えば第１及び第２のパスの経路に沿って視点位置をエンド地点側に進めて第１及び第２の仮想内視鏡画像を生成する。
【００７９】
ユーザが入力装置４１を用いて位置指定を行うと、位置指定受付手段１４は、ユーザが第１の仮想内視鏡画像３１上で指定した位置（座標）を三次元位置特定手段１５に渡す。三次元位置特定手段１５は、位置指定受付手段１４からユーザの指定位置に関する情報を受け取り、第１の仮想内視鏡画像３１上でユーザが指定した位置を、第１の三次元データ２１中の三次元位置に変換する（ステップＢ８）。三次元位置特定手段１５は、ユーザの指定位置に該当する第１の三次元データ２１中の三次元位置を三次元位置変換手段１６ａに渡す。
【００８０】
三次元位置変換手段１６ａの指定位置変換手段６４（図９）は、三次元位置特定手段１５が特定した第１の三次元データ２１中の三次元位置を、第１の展開ビュー上の位置に変換する（ステップＢ９）。対応点特定手段６５は、第１の展開ビューと第２の展開ビューを非剛体位置合わせする際の情報を用いて、指定位置変換手段６４が変換した第１の展開ビュー上の位置に対応する第２の展開ビュー上の位置を特定する（ステップＢ１０）。対応位置変換手段６６は、対応点特定手段６５が特定した第２の展開ビュー上の位置を、第２の三次元データ２２中の三次元位置に変換する（ステップＢ１１）。
【００８１】
三次元位置変換手段１６ａは、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置に関する情報を対応位置可視化手段１７に渡す。対応位置可視化手段１７は、受け取った第２の三次元中の三次元位置が、第２の仮想内視鏡画像上のどの座標に該当するかを割り出す。対応位置可視化手段１７は、出力手段１８を介して表示装置３０に割り出した座標にマークを付加する旨の情報を出力する（ステップＢ１２）。表示装置３０は、対応位置を可視化する第２の仮想内視鏡画像３２上に、対応位置を示すマークを重ねて表示する。或いは対応位置可視化手段１７は、第２の仮想内視鏡画像に対応位置を示すマークを書き込んでもよい。
【００８２】
なお、本実施形態における動作手順は、ステップＢ３で展開ビューを生成し、ステップＢ９〜Ｂ１１で展開ビューを用いてユーザの指定位置に対応する第２の三次元データ２２中の三次元位置を求める点を除けば、図３に示す第１実施形態における動作手順と同様である。図１０のステップＢ１、Ｂ２、Ｂ４〜Ｂ８、Ｂ１２は、それぞれ図３のステップＡ１、Ａ２、Ａ３〜Ａ８、Ａ１１に相当する。
【００８３】
図１１（ａ）は第１の展開ビューを示し、（ｂ）は第２の展開ビューを示している。対応点特定手段６５は、第１の展開ビューと第２の展開ビューとを非剛体位置合わせし、第１の展開ビューにおける各点と、第２の展開ビューにおける各点との対応関係を求めておく。例えば第１の展開ビューを基準に考えた場合、図１１（ａ）に示す第１の展開ビュー上で直交座標に対して平行な直線上の各点は、図１１（ｂ）に示すように、第２の展開ビュー上ではゆがんだ曲線上の各点に対応する。なお、非剛体位置合わせでは双方の展開ビュー間で各点の対応関係が求まればよく、実際に第２の展開ビューを変形して第１の展開ビューと重ね合わせることまでは要しない。
【００８４】
三次元位置特定手段１５は、ユーザの指定位置に該当する第１の三次元データ２１中の三次元位置を求める。この三次元位置の求め方は第１実施形態における求め方と同じでよい（図４）。指定位置変換手段６４は、特定されたユーザの指定位置に該当する第１の三次元データ２１中の三次元位置が、第１の展開ビュー上のどの位置に対応するかを特定する。第１の三次元データ２１中の三次元位置は、第１の展開ビューでは図１１（ａ）に示す位置Ｑ１であったとする。
【００８５】
対応点特定手段６５は、第１の展開ビュー上の点Ｑ１の位置が、第２の展開ビューではどの位置になるかを特定する。対応点特定手段６５が特定した第２の展開ビュー上の対応位置は、図１１（ｂ）に示す位置Ｑ２であったとする。第２の展開ビュー上の対応点は、非剛体位置合わせの際の情報を用いることで特定可能である。対応点特定手段６５は、例えば第１の展開ビュー上の点Ｑ１の座標位置（ｘ１，ｙ１）に対して座標変換処理を施すことで、第２の展開ビュー上の対応点Ｑ２の座標位置（ｘ２，ｙ２）を求める。対応位置変換手段６６は、第２の展開ビュー上の対応点Ｑ２を、第２の展開ビュー生成時の情報を用いて第２の三次元データ２２中の三次元位置に変換する。
【００８６】
本実施形態では、展開ビュー生成手段１９は第１及び第２の展開ビューを生成し、三次元位置変換手段１６ａは、第１の展開ビューと第２の展開ビューとを非剛体位置合わせする際の情報を用いて、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置を求める。ユーザの指定位置に該当する第１の三次元データ２１中の三次元位置を第１の展開ビュー上の点に変換し、第１の展開ビュー上の点に対応する第２の展開ビュー上の位置を展開ビュー間の対応関係を用いて特定し、第２の展開ビュー上の対応点を第２の三次元データ２２中の三次元位置に変換することでも、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置を求めることができる。その他の効果は第１実施形態と同様である。
【００８７】
次いで、本発明の第３実施形態を説明する。本実施形態の画像処理装置の構成は、図１に示す第１実施形態における画像処理装置１０と同様である。本実施形態の画像処理装置は、対応位置可視化手段１７における動作が、第１実施形態における動作と相違する。本実施形態の画像処理装置における第１及び第２の三次元データの入力から、ユーザの指定位置に対応する第２の三次元データ中の三次元位置への変換までの動作は、図３に示すステップＡ１〜１０の動作と同様である。
【００８８】
対応位置可視化手段１７は、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置が求まると、仮想内視鏡画像生成手段１３に対して、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置がよく観察できる位置に視点を置いた第２の仮想内視鏡画像の生成を指示する。仮想内視鏡画像生成手段１３は、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置を正面にとらえることができる点を視点とする第２の仮想内視鏡画像を生成する。仮想内視鏡画像生成手段１３は、例えばユーザの指定位置に対応する第２の三次元データ２２中の三次元位置から管腔の中心線（第２のパス）に対して垂線を下ろし、中心線と垂線とが交差する位置を視点に設定し、その視点からユーザの指定位置に対応する三次元位置の方向を見る第２の仮想内視鏡画像を生成する。
【００８９】
また、対応位置可視化手段１７は、仮想内視鏡画像生成手段１３に対して、ユーザの指定位置がよく観察できる位置に視点を置いた第１の仮想内視鏡画像の生成を指示する。仮想内視鏡画像生成手段１３は、ユーザの指定位置に該当する第１の三次元データ２１中の三次元位置を正面にとらえることができる点を視点とする第１の仮想内視鏡画像を生成する。仮想内視鏡画像生成手段１３は、例えばユーザの指定位置に対応する三次元位置から管腔の中心線（第１のパス）に対して垂線を下ろし、中心線と垂線とが交差する位置を視点に設定し、その視点からユーザの指定位置に対応する三次元位置の方向を見る第１の仮想内視鏡画像を生成する。
【００９０】
本実施形態においては、対応位置可視化手段１７は、仮想内視鏡画像生成手段１３が生成した第２の仮想内視鏡画像、すなわち視点位置をユーザの指定位置に対応した第２の三次元データ２２中の三次元位置が観察しやすい位置に置いた第２の仮想内視鏡画像で、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置部分を可視化する。また、対応位置可視化手段１７は、上記に加えて、ユーザの指定位置に該当する第１の三次元データ２１中の三次元位置部分を、ユーザの指定位置に該当する三次元位置が観察しやすい位置に視点位置を置いた第１の仮想内視鏡画像で可視化する。
【００９１】
出力手段１８は、仮想内視鏡画像生成手段１３で生成された、指定位置及びその対応位置を正面から観察できる位置に視点を置いた第１及び第２の仮想内視鏡画像を表示装置３０に出力する。表示装置３０は、位置指定時に表示していた第１及び第２の仮想内視鏡画像３１、３２に加えて、ユーザの指定位置及びその対応位置を正面から観察できる第１及び第２の仮想内視鏡画像を表示する。或いは表示装置３０は、位置指定時に表示していた第１及び第２の仮想内視鏡画像３１、３２に代えて、ユーザの指定位置及びその対応位置を正面から観察できる第１及び第２の仮想内視鏡画像を表示してもよい。
【００９２】
図１２は、第２の三次元データ２２に含まれる管腔の一部を示している。視点位置Ｐ２は、ユーザの位置指定時の第１の仮想内視鏡画像の視点位置Ｐ１（図５（ａ））に対応した視点位置であるとする。三次元位置Ｘ２は、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置である。この三次元位置Ｘ２は、例えば、図５（ｂ）に示すように視点位置Ｐ２から第２の視線方向ａ２にレイを飛ばすことで求めることができる。
【００９３】
ここで、ユーザが、第１の仮想内視鏡画像３１上で位置を指定したことから考えると、視点位置Ｐ２の第２の仮想内視鏡画像３２には、ユーザの指定位置に対応する三次元位置Ｘ２が描かれている（映っている）と考えられる。しかしながら、視点位置Ｐ２は、必ずしも三次元位置Ｘ２の観察に最適な視点位置になっているとは限らない。そこで、視点位置を、三次元位置Ｘ２を正面から観察できる位置である位置Ｐ２ａにずらす。仮想内視鏡画像生成手段１３で、視点位置を位置Ｐ２ａに置いた第２の仮想内視鏡画像を生成し、その第２の仮想内視鏡画像を表示装置３０に表示することで、ユーザは、第１の仮想内視鏡画像３１上で指定した位置に対応する第２の三次元データ２２中の三次元位置Ｘ２を、その位置を観察するのに適した第２の仮想内視鏡画像で観察することができる。
【００９４】
本実施形態では、対応位置可視化手段１７は、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置を、その位置を正面にとらえることができる点を視点とする第２の仮想内視鏡画像で可視化する。このようにする場合、ユーザは、より観察に適した第２の仮想内視鏡画像で、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置を観察できる。また、仮想内視鏡画像生成手段１３が、ユーザの指定位置に該当する第１の三次元データ２１中の三次元位置を、その位置を正面にとらえることができる点を視点とする第１の仮想内視鏡画像を生成する場合は、ユーザは、双方の三次元データで、ユーザの指定位置及びその対応位置の状態がどのようになっているかを見比べることができ、病変が存在するか否かの判断を適切に行うことができる。
【００９５】
なお、本実施形態では、対応位置を正面にとらえる第２の仮想内視鏡画像で対応位置を可視化するため、位置指定時に第２の仮想内視鏡画像を生成していなくてもよい。また、対応位置を正面にとらえることができる位置を視点位置とする第２の仮想内視鏡画像では、対応位置は第２の仮想内視鏡画像の中央付近にあるので、ユーザはその第２の仮想内視鏡画像から対応位置をすぐに判別可能であると考えられる。このため、第２の仮想内視鏡画像に付加すべき対応位置であることを示すマークは省略しても構わない。対応位置を正面にとらえる仮想内視鏡画像では、対応位置が厳密に画像の中央にある必要まではない。対応位置は、例えば仮想内視鏡画像の中央を中心に所定半径の円を考えたとき、対応位置がその円の内側に入っていればよい。
【００９６】
続いて、本発明の第４実施形態を説明する。図１３は、本発明の第４実施形態の画像処理装置を示している。本実施形態の画像処理装置１０ｂの構成は、図１に示す第１実施形態における画像処理装置１０の構成に加えて、断面画像生成手段２０を備える。断面画像生成手段２０は、三次元データ中の任意の位置の二次元断面画像を生成する。本実施形態では、対応位置可視化手段１７は、第２の仮想内視鏡画像に加えて、又はこれに加えて、断面画像生成手段２０が生成する二次元断面画像を用いて、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置を可視化する。
【００９７】
対応位置可視化手段１７は、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置が求まると、断面画像生成手段２０に対して、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置を含む二次元断面画像の生成を指示する。断面画像生成手段２０は、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置を含む二次元断面画像を生成する。また、対応位置可視化手段１７は、断面画像生成手段２０に対して、ユーザの指定位置に該当する第１の三次元データ２１中の三次元位置を含む二次元断面画像の生成を指示する。断面画像生成手段２０は、ユーザの指定位置に該当する第１の三次元データ２１中の三次元位置を含む二次元断面画像を生成する。
【００９８】
本実施形態においては、対応位置可視化手段１７は、断面画像生成手段２０が生成した二次元断面画像、すなわちユーザの指定位置に対応した第２の三次元データ２２中の三次元位置を含む二次元断面画像で、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置部分を可視化する。また、対応位置可視化手段１７は、上記に加えて、ユーザの指定位置に該当する第１の三次元データ２１中の三次元位置部分を、ユーザの指定位置に該当する三次元位置を含む二次元断面画像で可視化する。
【００９９】
出力手段１８は、断面画像生成手段２０で生成された指定位置及びその対応位置を含む二次元断面画像を表示装置３０に出力する。表示装置３０は、位置指定時に表示していた第１及び第２の仮想内視鏡画像３１、３２に加えて、ユーザの指定位置及びその対応位置を含む二次元断面画像を表示する。或いは表示装置３０は、位置指定時に表示していた第１及び第２の仮想内視鏡画像３１、３２に代えて、ユーザの指定位置及びその対応位置を含む二次元断面画像を表示してもよい。
【０１００】
図１４（ａ）は三次元データに含まれる物体を示し、（ｂ）は物体の断面画像を示している。図１４（ａ）において、＋のマークが付けられた位置が、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置であるとする。第２の三次元データ２２は、互いに直交するｘ，ｙ，ｚの３つの軸を有する座標系で表わされているとする。断面画像生成手段２０は、例えば図１４（ｂ）に示すように、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置をｘｙ平面で切断した断面図、ｙｚ平面で切断した断面図、及びｘｚ平面で切断した断面図を生成する。対応位置可視化手段１７は、二次元断面画像に対しても、対応位置であることを示すマーク（＋）を付加してもよい。
【０１０１】
本実施形態では、対応位置可視化手段１７は、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置を、その位置を含む二次元断面画像で可視化する。このようにする場合、ユーザは、指定位置に対応する三次元位置を断面画像で観察することができる。また、断面画像生成手段２０が、ユーザの指定位置に該当する第１の三次元データ２１中の三次元位置を、その位置を含む二次元断面画像を生成する場合、ユーザは、双方の断面画像を観察して、ユーザの指定位置及びその対応位置の状態がどのようになっているかを調べることができる。
【０１０２】
なお、第１の三次元データ２１と第２の三次元データ２２とは、必ずしも同一の撮影装置を用いて撮影されている必要はない。例えば同一被検体に対して、ある撮影装置を用いて撮影された三次元画像データを第１の三次元データ２１とし、別の撮影装置を用いて撮影された三次元画像データを第２の三次元データ２２としてもよい。また、上記各実施形態では、主に撮影時の体位が異なる三次元データを用いて説明を行ったが、第１及び第２の三次元データ２１、２２は同一データでなければよく、例えば撮影時の体位は同じで撮影日時が異なるデータでもよい。撮影時の体位が同じ場合は、視線方向変換手段６１（図２）における視線方向の変換は省略してもよい。
【０１０３】
上記各実施形態は、適宜組み合わせて用いることができる。例えば第３及び第４実施形態は、第１実施形態との組み合わせだけでなく、展開ビューを用いてユーザの指定位置に対応する三次元位置を求める第２実施形態と組み合わせることも可能である。また、第３実施形態と第４実施形態とを組み合わせることもできる。その場合、表示装置３０には、ユーザの指定位置に対応する第２の三次元データ２２中の三次元位置を正面でとらえることができる第２の仮想内視鏡画像と、その位置の二次元断面画像とを同時に表示してもよい。多様な画像でユーザの指定位置に対応する第２の三次元データ２２中の三次元位置を可視化することで、ユーザは、その位置がどのような状態になっているかを適切に判断することができる。
【０１０４】
以上、本発明をその好適な実施形態に基づいて説明したが、本発明の仮想内視鏡画像処理装置、方法、及びプログラムは、上記実施形態にのみ限定されるものではなく、上記実施形態の構成から種々の修正及び変更を施したものも、本発明の範囲に含まれる。
【符号の説明】
【０１０５】
１０：仮想内視鏡画像処理装置
１１：三次元データ入力手段
１２：パス設定手段
１３：仮想内視鏡画像生成手段
１４：位置指定受付手段
１５：三次元位置特定手段
１６：三次元位置変換手段
１７：対応位置可視化手段
１８：出力手段
１９：展開ビュー生成手段
２０：断面画像生成手段
２１、２２：三次元データ
３０：表示装置
３１、３２：仮想内視鏡画像
４１：入力装置
６１：視線方向変換手段
６２：視点位置変換手段
６３：対応座標変換手段
６４：指定位置変換手段
６５：対応点特定手段
６６：対応位置変換手段
【特許請求の範囲】
【請求項１】
それぞれが、撮影装置を用いて撮影された管腔を有する被検体の内部を示す第１及び第２の三次元データに基づいて、同一の管腔の内部を疑似的な三次元画像で可視化するための第１及び第２の仮想内視鏡画像をそれぞれ生成する仮想内視鏡画像生成手段と、
前記第１の仮想内視鏡画像の上で位置の指定を受け付ける位置指定受付手段と、
前記第１の仮想内視鏡画像上で指定された位置に該当する第１の三次元データ中の三次元位置を特定する三次元位置特定手段と、
前記三次元位置特定手段で特定された第１の三次元データ中の三次元位置から、該三次元位置に対応する、前記第２の三次元データ中の三次元位置を求める三次元位置変換手段と、
前記求められた第２の三次元データ中の三次元位置部分を可視化して表示する対応位置可視化手段とを備えたことを特徴とする仮想内視鏡画像処理装置。
【請求項２】
前記三次元位置変換手段が、前記第１及び第２の三次元データから計算された管腔の構造から得られる情報を用いて、前記第２の三次元データ中の三次元位置を求めるものであることを特徴とする請求項１に記載の仮想内視鏡画像処理装置。
【請求項３】
前記三次元位置特定手段が、前記ユーザの指定位置から前記第１の三次元データの三次元画像空間へ、前記位置の指定が行われた第１の仮想内視鏡画像の視点から前記ユーザの指定位置へ向かう視線方向に沿ってレイを飛ばし、該レイが所定の条件を満たす前記第１の三次元データ中のボクセルを通過するとき、当該ボクセルの座標位置に基づいて、前記第１の仮想内視鏡画像上で指定された位置に該当する第１の三次元データ中の三次元位置を特定するものであることを特徴とする請求項１又は２に記載の仮想内視鏡画像処理装置。
【請求項４】
前記第１及び第２の三次元データに対して前記管腔に沿って第１及び第２のパスをそれぞれ設定するパス設定手段を更に備え、
前記仮想内視鏡画像生成手段が、前記第１及び第２パス上の点を視点として、該視点から前記管腔の内部を見たことを想定した疑似的な三次元画像をそれぞれ前記第１及び第２の仮想内視鏡画像として生成するものであることを特徴とする請求項１から３何れかに記載の仮想内視鏡画像処理装置。
【請求項５】
前記三次元位置変換手段が、前記第１の仮想内視鏡画像上で位置が指定されたときの第１のパス上の視点位置と前記三次元位置特定手段が特定した第１の三次元データ中の三次元位置との位置関係、及び前記第１の三次元データの撮影時の被検体の体位と前記第２の三次元データの撮影時の被検体の体位との関係に基づいて、前記三次元位置特定手段で特定された第１の三次元データ中の三次元位置から前記第２の三次元データ中の三次元位置を求めるものであることを特徴とする請求項４に記載の仮想内視鏡画像処理装置。
【請求項６】
前記三次元位置変換手段が、
前記位置指定が行われたときの第１の仮想内視鏡画像の視点から前記三次元位置特定手段で特定された第１の三次元データ中の三次元位置に向かう第１の視線方向を、前記第１の三次元データの撮影時の被検体の体位と前記第２の三次元データの撮影時の被検体の体位との関係に従って第２の視線方向に変換する視線方向変換手段と、
前記位置指定が行われたときの第１の仮想内視鏡画像の視点の前記第１のパス上での位置に基づいて、前記第２のパス上で対応する視点位置を求める視点位置変換手段と、
前記求められた第２の視線方向と第２のパス上で対応する視点位置とに基づいて、前記三次元位置特定手段で特定された第１の三次元データ中の三次元位置に対応する前記第２の三次元データ中の三次元位置を求める対応座標変換手段とを有することを特徴とする請求項５に記載の仮想内視鏡画像処理装置。
【請求項７】
前記対応座標変換手段が、前記第２の三次元データの三次元画像空間で、前記視点位置変換手段が求めた第２のパス上の対応する視点位置から前記第２の視線方向にレイを飛ばし、該レイが所定の条件を満たすボクセルを通過するとき、当該ボクセルの座標位置を、前記対応する前記第２の三次元データ中の三次元位置とするものであることを特徴とする請求項６に記載の仮想内視鏡画像処理装置。
【請求項８】
前記視点位置変換手段が、前記第１のパスの始点から前記位置指定時の第１の仮想内視鏡画像の視点までの距離を求め、前記第２のパス上で前記第２のパスの始点から前記求めた距離だけ離れた点を前記第２のパス上の対応する視点位置とするものであることを特徴とする請求項６又は７に記載の仮想内視鏡画像処理装置。
【請求項９】
前記１及び第２の三次元データの何れか一方が仰臥位で撮影されたデータで、他方が腹臥位で撮影されたデータであり、前記視点方向変換手段が、前記第１の視線方向を体軸周りに１８０°回転させた方向を前記第２の視線方向とするものであることを特徴とする請求項６から８何れかに記載の仮想内視鏡画像処理装置。
【請求項１０】
前記仮想内視鏡画像生成手段が、前記第１及び第２のパスの始点からの距離が相互に等しい点を視点とする第１及び第２の仮想内視鏡画像をそれぞれ生成するものであることを特徴とする請求項４から９何れかに記載の仮想内視鏡画像処理装置。
【請求項１１】
前記第１及び第２の三次元データに基づいて、それぞれ前記管腔の内壁を表す第１及び第２の展開ビューを生成する展開ビュー生成手段を更に備え、
前記三次元位置変換手段が、前記第１の展開ビューと第２の展開ビューとを非剛体位置合わせする際の情報を用いて、前記三次元位置特定手段で特定された第１の三次元データ中の三次元位置に対応する前記第２の三次元データ中の三次元位置を求めるものであることを特徴とする請求項１から４何れかに記載の仮想内視鏡画像処理装置。
【請求項１２】
三次元位置変換手段が、
前記特定された第１の三次元データ中の三次元位置を前記第１の展開ビュー上の位置に変換する指定位置変換手段と、
前記第１の展開ビューと前記第２の展開ビューとを非剛体位置合わせする際の情報を用いて、前記指定位置変換手段が変化した第１の展開ビュー上の位置に対応する前記第２の展開ビュー上の位置を求める対応点特定手段と、
前記対応点特定手段が求めた第２の展開ビュー上の位置を前記第２の三次元データ中の三次元位置に変換する対応位置変換手段とを有することを特徴とする請求項１１に記載の仮想内視鏡画像処理装置。
【請求項１３】
前記対応位置可視化手段が、前記求められた第２の三次元データ中の三次元位置部分を、前記仮想内視鏡画像生成手段が生成した前記第２の仮想内視鏡画像で可視化すると共に、前記第２の仮想内視鏡画像における前記求められた第２の三次元データ中の三次元位置部分に対応位置であることを示すマークを付加するものであることを特徴とする請求項１から１２何れかに記載の仮想内視鏡画像処理装置。
【請求項１４】
前記仮想内視鏡画像生成手段が、前記三次元位置変換手段が前記第２の三次元データ中の三次元位置を求めると、該求められた第２の三次元データ中の三次元位置を正面にとらえることができる点を視点とする第２の仮想内視鏡画像を生成し、前記対応位置可視化手段が、第２の三次元データ中の三次元位置部分を、当該生成された第２の仮想内視鏡画像で可視化するものであることを特徴とする請求項１から１３何れかに記載の仮想内視鏡画像処理装置。
【請求項１５】
前記第２の三次元データに基づいて、前記求められた第２の三次元データ中の三次元位置を含む二次元断面画像を生成する断面画像生成手段を更に備え、前記対応位置可視化手段は、前記第２の仮想内視鏡画像に加えて、又はこれに代えて、前記二次元断面画像で第２の三次元データ中の三次元位置部分を可視化するものであることを特徴とする請求項１３又は１４に記載の仮想内視鏡画像処理装置。
【請求項１６】
前記三次元位置特定手段が、前記第１の三次元データ及び前記第１の仮想内視鏡画像の少なくとも一方から前記指定された位置に存在する物体を検出し、該検出された物体の重心位置を、前記指定された位置に該当する第１の三次元データ中の三次元位置として特定するものであることを特徴とする請求項１から１５何れかに記載の仮想内視鏡画像処理装置。
【請求項１７】
撮影装置を用いて撮影された管腔を有する被検体の内部を示す第１及び第２の三次元データのうち、少なくとも前記第１の三次元データに基づいて、管腔の内部を疑似的な三次元画像で可視化するための第１の仮想内視鏡画像を生成する仮想内視鏡画像生成ステップと、
前記第１の仮想内視鏡画像の上で位置の指定を受け付ける位置指定ステップと、
前記第１の仮想内視鏡画像上で指定された位置に該当する第１の三次元データ中の三次元位置を特定する三次元位置特定ステップと、
前記特定された第１の三次元データ中の三次元位置から、該三次元位置に対応する、前記第２の三次元データ中の三次元位置を求める三次元位置変換ステップと、
前記求められた第２の三次元データ中の三次元位置部分を可視化して表示する対応位置可視化ステップとを有することを特徴とする仮想内視鏡画像処理方法。
【請求項１８】
前記仮想内視鏡画像生成ステップにおいて、第１の仮想内視鏡画像の生成に加えて、前記第２の三次元データに基づいて、前記第１の仮想内視鏡画像で可視化する管腔と同一の管腔の内部を可視化するための第２の仮想内視鏡画像を生成し、前記対応位置可視化ステップにおいて、前記第２の仮想内視鏡画像を表示すると共に、前記第２の仮想内視鏡画像における前記求められた第２の三次元データ中の三次元位置部分に対応位置であることを示すマークを表示することを特徴とする請求項１７に記載の仮想内視鏡画像処理方法。
【請求項１９】
前記第２の三次元データに基づいて、前記求められた第２の三次元データ中の三次元位置を含む二次元断面画像を生成する断面画像生成ステップを更に有し、前記対応位置可視化ステップにおいて、前記第２の仮想内視鏡画像に加えて、又はこれに代えて、前記二次元断面画像を表示することを特徴とする請求項１８に記載の仮想内視鏡画像処理方法。
【請求項２０】
コンピュータに、
撮影装置を用いて撮影された管腔を有する被検体の内部を示す第１及び第２の三次元データのうち、少なくとも前記第１の三次元データに基づいて、管腔の内部を疑似的な三次元画像で可視化するための仮想内視鏡画像を生成するステップと、
前記第１の三次元データに基づいて生成された仮想内視鏡画像の上で位置の指定を受け付けるステップと、
前記第１の三次元データに基づいて生成された仮想内視鏡画像上で指定された位置に該当する第１の三次元データ中の三次元位置を特定するステップと、
前記特定された第１の三次元データ中の三次元位置から、該三次元位置に対応する、前記第２の三次元データ中の三次元位置を求めるステップと、
前記求められた第２の三次元データ中の三次元位置部分を可視化して表示するステップとを実行させることを特徴とするプログラム。
【請求項１】
それぞれが、撮影装置を用いて撮影された管腔を有する被検体の内部を示す第１及び第２の三次元データに基づいて、同一の管腔の内部を疑似的な三次元画像で可視化するための第１及び第２の仮想内視鏡画像をそれぞれ生成する仮想内視鏡画像生成手段と、
前記第１の仮想内視鏡画像の上で位置の指定を受け付ける位置指定受付手段と、
前記第１の仮想内視鏡画像上で指定された位置に該当する第１の三次元データ中の三次元位置を特定する三次元位置特定手段と、
前記三次元位置特定手段で特定された第１の三次元データ中の三次元位置から、該三次元位置に対応する、前記第２の三次元データ中の三次元位置を求める三次元位置変換手段と、
前記求められた第２の三次元データ中の三次元位置部分を可視化して表示する対応位置可視化手段とを備えたことを特徴とする仮想内視鏡画像処理装置。
【請求項２】
前記三次元位置変換手段が、前記第１及び第２の三次元データから計算された管腔の構造から得られる情報を用いて、前記第２の三次元データ中の三次元位置を求めるものであることを特徴とする請求項１に記載の仮想内視鏡画像処理装置。
【請求項３】
前記三次元位置特定手段が、前記ユーザの指定位置から前記第１の三次元データの三次元画像空間へ、前記位置の指定が行われた第１の仮想内視鏡画像の視点から前記ユーザの指定位置へ向かう視線方向に沿ってレイを飛ばし、該レイが所定の条件を満たす前記第１の三次元データ中のボクセルを通過するとき、当該ボクセルの座標位置に基づいて、前記第１の仮想内視鏡画像上で指定された位置に該当する第１の三次元データ中の三次元位置を特定するものであることを特徴とする請求項１又は２に記載の仮想内視鏡画像処理装置。
【請求項４】
前記第１及び第２の三次元データに対して前記管腔に沿って第１及び第２のパスをそれぞれ設定するパス設定手段を更に備え、
前記仮想内視鏡画像生成手段が、前記第１及び第２パス上の点を視点として、該視点から前記管腔の内部を見たことを想定した疑似的な三次元画像をそれぞれ前記第１及び第２の仮想内視鏡画像として生成するものであることを特徴とする請求項１から３何れかに記載の仮想内視鏡画像処理装置。
【請求項５】
前記三次元位置変換手段が、前記第１の仮想内視鏡画像上で位置が指定されたときの第１のパス上の視点位置と前記三次元位置特定手段が特定した第１の三次元データ中の三次元位置との位置関係、及び前記第１の三次元データの撮影時の被検体の体位と前記第２の三次元データの撮影時の被検体の体位との関係に基づいて、前記三次元位置特定手段で特定された第１の三次元データ中の三次元位置から前記第２の三次元データ中の三次元位置を求めるものであることを特徴とする請求項４に記載の仮想内視鏡画像処理装置。
【請求項６】
前記三次元位置変換手段が、
前記位置指定が行われたときの第１の仮想内視鏡画像の視点から前記三次元位置特定手段で特定された第１の三次元データ中の三次元位置に向かう第１の視線方向を、前記第１の三次元データの撮影時の被検体の体位と前記第２の三次元データの撮影時の被検体の体位との関係に従って第２の視線方向に変換する視線方向変換手段と、
前記位置指定が行われたときの第１の仮想内視鏡画像の視点の前記第１のパス上での位置に基づいて、前記第２のパス上で対応する視点位置を求める視点位置変換手段と、
前記求められた第２の視線方向と第２のパス上で対応する視点位置とに基づいて、前記三次元位置特定手段で特定された第１の三次元データ中の三次元位置に対応する前記第２の三次元データ中の三次元位置を求める対応座標変換手段とを有することを特徴とする請求項５に記載の仮想内視鏡画像処理装置。
【請求項７】
前記対応座標変換手段が、前記第２の三次元データの三次元画像空間で、前記視点位置変換手段が求めた第２のパス上の対応する視点位置から前記第２の視線方向にレイを飛ばし、該レイが所定の条件を満たすボクセルを通過するとき、当該ボクセルの座標位置を、前記対応する前記第２の三次元データ中の三次元位置とするものであることを特徴とする請求項６に記載の仮想内視鏡画像処理装置。
【請求項８】
前記視点位置変換手段が、前記第１のパスの始点から前記位置指定時の第１の仮想内視鏡画像の視点までの距離を求め、前記第２のパス上で前記第２のパスの始点から前記求めた距離だけ離れた点を前記第２のパス上の対応する視点位置とするものであることを特徴とする請求項６又は７に記載の仮想内視鏡画像処理装置。
【請求項９】
前記１及び第２の三次元データの何れか一方が仰臥位で撮影されたデータで、他方が腹臥位で撮影されたデータであり、前記視点方向変換手段が、前記第１の視線方向を体軸周りに１８０°回転させた方向を前記第２の視線方向とするものであることを特徴とする請求項６から８何れかに記載の仮想内視鏡画像処理装置。
【請求項１０】
前記仮想内視鏡画像生成手段が、前記第１及び第２のパスの始点からの距離が相互に等しい点を視点とする第１及び第２の仮想内視鏡画像をそれぞれ生成するものであることを特徴とする請求項４から９何れかに記載の仮想内視鏡画像処理装置。
【請求項１１】
前記第１及び第２の三次元データに基づいて、それぞれ前記管腔の内壁を表す第１及び第２の展開ビューを生成する展開ビュー生成手段を更に備え、
前記三次元位置変換手段が、前記第１の展開ビューと第２の展開ビューとを非剛体位置合わせする際の情報を用いて、前記三次元位置特定手段で特定された第１の三次元データ中の三次元位置に対応する前記第２の三次元データ中の三次元位置を求めるものであることを特徴とする請求項１から４何れかに記載の仮想内視鏡画像処理装置。
【請求項１２】
三次元位置変換手段が、
前記特定された第１の三次元データ中の三次元位置を前記第１の展開ビュー上の位置に変換する指定位置変換手段と、
前記第１の展開ビューと前記第２の展開ビューとを非剛体位置合わせする際の情報を用いて、前記指定位置変換手段が変化した第１の展開ビュー上の位置に対応する前記第２の展開ビュー上の位置を求める対応点特定手段と、
前記対応点特定手段が求めた第２の展開ビュー上の位置を前記第２の三次元データ中の三次元位置に変換する対応位置変換手段とを有することを特徴とする請求項１１に記載の仮想内視鏡画像処理装置。
【請求項１３】
前記対応位置可視化手段が、前記求められた第２の三次元データ中の三次元位置部分を、前記仮想内視鏡画像生成手段が生成した前記第２の仮想内視鏡画像で可視化すると共に、前記第２の仮想内視鏡画像における前記求められた第２の三次元データ中の三次元位置部分に対応位置であることを示すマークを付加するものであることを特徴とする請求項１から１２何れかに記載の仮想内視鏡画像処理装置。
【請求項１４】
前記仮想内視鏡画像生成手段が、前記三次元位置変換手段が前記第２の三次元データ中の三次元位置を求めると、該求められた第２の三次元データ中の三次元位置を正面にとらえることができる点を視点とする第２の仮想内視鏡画像を生成し、前記対応位置可視化手段が、第２の三次元データ中の三次元位置部分を、当該生成された第２の仮想内視鏡画像で可視化するものであることを特徴とする請求項１から１３何れかに記載の仮想内視鏡画像処理装置。
【請求項１５】
前記第２の三次元データに基づいて、前記求められた第２の三次元データ中の三次元位置を含む二次元断面画像を生成する断面画像生成手段を更に備え、前記対応位置可視化手段は、前記第２の仮想内視鏡画像に加えて、又はこれに代えて、前記二次元断面画像で第２の三次元データ中の三次元位置部分を可視化するものであることを特徴とする請求項１３又は１４に記載の仮想内視鏡画像処理装置。
【請求項１６】
前記三次元位置特定手段が、前記第１の三次元データ及び前記第１の仮想内視鏡画像の少なくとも一方から前記指定された位置に存在する物体を検出し、該検出された物体の重心位置を、前記指定された位置に該当する第１の三次元データ中の三次元位置として特定するものであることを特徴とする請求項１から１５何れかに記載の仮想内視鏡画像処理装置。
【請求項１７】
撮影装置を用いて撮影された管腔を有する被検体の内部を示す第１及び第２の三次元データのうち、少なくとも前記第１の三次元データに基づいて、管腔の内部を疑似的な三次元画像で可視化するための第１の仮想内視鏡画像を生成する仮想内視鏡画像生成ステップと、
前記第１の仮想内視鏡画像の上で位置の指定を受け付ける位置指定ステップと、
前記第１の仮想内視鏡画像上で指定された位置に該当する第１の三次元データ中の三次元位置を特定する三次元位置特定ステップと、
前記特定された第１の三次元データ中の三次元位置から、該三次元位置に対応する、前記第２の三次元データ中の三次元位置を求める三次元位置変換ステップと、
前記求められた第２の三次元データ中の三次元位置部分を可視化して表示する対応位置可視化ステップとを有することを特徴とする仮想内視鏡画像処理方法。
【請求項１８】
前記仮想内視鏡画像生成ステップにおいて、第１の仮想内視鏡画像の生成に加えて、前記第２の三次元データに基づいて、前記第１の仮想内視鏡画像で可視化する管腔と同一の管腔の内部を可視化するための第２の仮想内視鏡画像を生成し、前記対応位置可視化ステップにおいて、前記第２の仮想内視鏡画像を表示すると共に、前記第２の仮想内視鏡画像における前記求められた第２の三次元データ中の三次元位置部分に対応位置であることを示すマークを表示することを特徴とする請求項１７に記載の仮想内視鏡画像処理方法。
【請求項１９】
前記第２の三次元データに基づいて、前記求められた第２の三次元データ中の三次元位置を含む二次元断面画像を生成する断面画像生成ステップを更に有し、前記対応位置可視化ステップにおいて、前記第２の仮想内視鏡画像に加えて、又はこれに代えて、前記二次元断面画像を表示することを特徴とする請求項１８に記載の仮想内視鏡画像処理方法。
【請求項２０】
コンピュータに、
撮影装置を用いて撮影された管腔を有する被検体の内部を示す第１及び第２の三次元データのうち、少なくとも前記第１の三次元データに基づいて、管腔の内部を疑似的な三次元画像で可視化するための仮想内視鏡画像を生成するステップと、
前記第１の三次元データに基づいて生成された仮想内視鏡画像の上で位置の指定を受け付けるステップと、
前記第１の三次元データに基づいて生成された仮想内視鏡画像上で指定された位置に該当する第１の三次元データ中の三次元位置を特定するステップと、
前記特定された第１の三次元データ中の三次元位置から、該三次元位置に対応する、前記第２の三次元データ中の三次元位置を求めるステップと、
前記求められた第２の三次元データ中の三次元位置部分を可視化して表示するステップとを実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図５】
【図８】
【図９】
【図１０】
【図１２】
【図１３】
【図４】
【図６】
【図７】
【図１１】
【図１４】
【図２】
【図３】
【図５】
【図８】
【図９】
【図１０】
【図１２】
【図１３】
【図４】
【図６】
【図７】
【図１１】
【図１４】
【公開番号】特開２０１１−２０６２９７（Ｐ２０１１−２０６２９７Ａ）
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願番号】特願２０１０−７７４１２（Ｐ２０１０−７７４１２）
【出願日】平成２２年３月３０日（２０１０．３．３０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願日】平成２２年３月３０日（２０１０．３．３０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]