内視鏡画像処理装置および方法、並びに、プログラム
【課題】解剖学的構造物に挿入された内視鏡により撮影された内視鏡画像からボリュームデータを生成する。
【解決手段】 複数の内視鏡画像および複数の仮想内視鏡画像を取得し、取得された複数の内視鏡画像のうち解剖学的構造物の所定の位置から撮影された内視鏡画像と、取得された複数の仮想内視鏡画像のうち所定の位置と対応する位置から撮影されたように仮想的に生成された比較仮想内視鏡画像を抽出して対応付けし、比較仮想内視鏡画像を構成する複数の画素のそれぞれの３次元的な位置に基づいて、所定の位置から撮影された内視鏡画像を構成する複数の画素のそれぞれ対応する３次元的な位置を算出し、所定の位置から撮影された内視鏡画像を構成する複数の画素の個々の画素値とそれぞれの画素について算出された３次元的な位置に基づいて、所定の位置から撮影された内視鏡画像からボリュームデータを生成する。
【解決手段】 複数の内視鏡画像および複数の仮想内視鏡画像を取得し、取得された複数の内視鏡画像のうち解剖学的構造物の所定の位置から撮影された内視鏡画像と、取得された複数の仮想内視鏡画像のうち所定の位置と対応する位置から撮影されたように仮想的に生成された比較仮想内視鏡画像を抽出して対応付けし、比較仮想内視鏡画像を構成する複数の画素のそれぞれの３次元的な位置に基づいて、所定の位置から撮影された内視鏡画像を構成する複数の画素のそれぞれ対応する３次元的な位置を算出し、所定の位置から撮影された内視鏡画像を構成する複数の画素の個々の画素値とそれぞれの画素について算出された３次元的な位置に基づいて、所定の位置から撮影された内視鏡画像からボリュームデータを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被検体の解剖学的構造物に挿入された内視鏡下での手術や検査等における、内視鏡画像を処理する技術に関するものであり、特に、被検体の解剖学的構造物を表す仮想内視鏡画像を用いて内視鏡画像を処理する技術に関するものである。
【背景技術】
【０００２】
近年、患者の腸および気管支等に代表される解剖学的構造物を内視鏡を用いて観察または処置を行う技術が注目されている。
【０００３】
しかし、内視鏡画像は、ＣＣＤ等の撮像素子により解剖学的構造物内部の色や質感が鮮明に表現された画像が得られる一方で、解剖学的構造物の内部を２次元の画像に表すものであるため、解剖学的構造物内のどの位置を表している画像かを把握しにくく、所望の部位までの奥行き方向の情報が得られない。そこで、ＣＴ装置等のモダリティによる断層撮影で得られたボリュームデータから内視鏡と類似した画像を生成する仮想内視鏡技術を利用し、仮想内視鏡画像を用いて被検体の解剖学的構造物内の内視鏡の位置の把握を支援する技術が提案されている。
【０００４】
例えば、特許文献１には、内視鏡や手術の処置具の位置を位置検出センサによって検出し、内視鏡の挿入部の先端から術部の対象物までの距離を測定し、基準の３次元座標に対する内視鏡等の位置のデータおよび、予め用意された生体画像データから生成した３次元画像または２次元画像を画像合成回路に伝送し、内視鏡等の位置のデータと内視鏡等の形状データに基づいて、３次元画像上に、内視鏡等の形状データが合成表示される手術用ナビゲーションシステムが記載されている。
【０００５】
特許文献２には、内視鏡の先端に位置センサを設け、仮想内視鏡画像上で基準座標系における標的位置を指定し、標的位置に設定した点に対応する解剖学的構造物の位置に内視鏡の先端を移動させて配置し、位置センサにより３次元基準系に対する内視鏡のカテーテル先端の位置及び向きを計測することで、内視鏡の位置を基準座標系に位置合わせして、仮想内視鏡画像上にカテーテル先端および標的を表示する等の手術支援を行う技術が開示されている。
【０００６】
また、特許文献３には、予め取得した被験体の３次元画像から仮想内視鏡画像を生成し、仮想内視鏡画像と内視鏡により撮影されたリアル画像との誤差を算出し、算出した誤差が許容誤差以下になるまで、仮想内視鏡の視点の位置を移動して、移動した仮想内視鏡画像と内視鏡画像の誤差の算出を繰り返し、算出された誤差が許容誤差以下になったときに、仮想内視鏡画像の視線パラメータから内視鏡先端部の位置と方向を算出する装置が記載されている。
【０００７】
さらに、特許文献４には、被写体の視差のある２つの被写体像を伝達する立体視硬性内視鏡と被写体と立体視内視鏡との距離を求めるフォーカスコントローラと、立体内視鏡が伝達した２つの被写体像を撮像する右目映像用ＣＣＤと左目映像用ＣＣＤと被写体像の焦点可変部を有する立体ＴＶカメラと、被写体像の水平方向の表示領域を制御する撮像領域コントローラを備えることで、左右画像の不一致領域やピント輻輳との乖離を抑制する立体視内視鏡システムが開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００１−２０４７３８号公報
【特許文献２】特開２００９−２５４８３７号公報
【特許文献３】特開２００９−２７９２５１号公報
【特許文献４】特開２００５−３３４４６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１から３に記載された方法では、解剖学的構造物内での内視鏡の位置を把握することができても、ＣＴ装置等による断層撮影により得られるボリュームデータのようにボリュームレンダリング法や管状構造物を伸長展開して表す表示方法等の各種の周知の解析や画像表示方法を適用することができなかった。
【００１０】
また、特許文献４に記載された方法では、立体的に解剖学的構造物内部の様子を把握することができても、内視鏡画像自体をボリュームデータとするわけではないため、内視鏡画像に対してボリュームデータのように多様な画像解析及び画像表示方法を利用することはできなかった。
【００１１】
本発明は上記事情に鑑みてなされたものであり、被検体の解剖学的構造物に挿入された内視鏡により撮影された内視鏡画像に多様な画像表示方法または画像解析方法を適用可能にする内視鏡画像処理装置および方法、およびプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【００１２】
本発明の内視鏡画像処理装置は、被検体の解剖学的構造物に挿入された内視鏡により撮影された複数の内視鏡画像を取得する内視鏡画像取得手段と、断層撮影により取得された前記解剖学的構造物のボリュームデータを取得するボリュームデータ取得手段と、前記取得されたボリュームデータから前記解剖学的構造物の複数の仮想内視鏡画像を生成する仮想内視鏡画像生成手段と、前記取得された複数の内視鏡画像のうち前記解剖学的構造物の所定の位置から撮影された内視鏡画像と、前記取得された複数の仮想内視鏡画像のうち前記所定の位置と対応する位置から撮影されたように仮想的に生成された比較仮想内視鏡画像を抽出して対応付ける対応付け手段と、前記比較仮想内視鏡画像を構成する複数の画素のそれぞれの３次元的な位置に基づいて、前記所定の位置から撮影された内視鏡画像を構成する複数の画素のそれぞれ対応する３次元的な位置を算出する位置算出手段と、前記所定の位置から撮影された内視鏡画像を構成する複数の画素の個々の画素値とそれぞれの該画素について算出された前記３次元的な位置に基づいて、前記所定の位置から撮影された内視鏡画像からボリュームデータを生成する内視鏡ボリュームデータ生成手段を備えたことを特徴とするものである。
【００１３】
本発明の内視鏡画像処理方法は、被検体の解剖学的構造物に挿入された内視鏡により撮影された複数の内視鏡画像を取得し、断層撮影により取得された前記解剖学的構造物のボリュームデータを取得し、前記取得されたボリュームデータから前記解剖学的構造物の複数の仮想内視鏡画像を生成し、前記取得された複数の内視鏡画像のうち前記解剖学的構造物の所定の位置から撮影された内視鏡画像と、前記取得された複数の仮想内視鏡画像のうち前記所定の位置と対応する位置から撮影されたように仮想的に生成された比較仮想内視鏡画像を抽出して対応付けし、前記比較仮想内視鏡画像を構成する複数の画素のそれぞれの３次元的な位置に基づいて、前記所定の位置から撮影された内視鏡画像を構成する複数の画素のそれぞれ対応する３次元的な位置を算出し、前記所定の位置から撮影された内視鏡画像を構成する複数の画素の個々の画素値とそれぞれの該画素について算出された前記３次元的な位置に基づいて、前記所定の位置から撮影された内視鏡画像からボリュームデータを生成することを特徴とするものである。
【００１４】
本発明の内視鏡画像処理プログラムは、コンピュータを、被検体の解剖学的構造物に挿入された内視鏡により撮影された複数の内視鏡画像を取得する内視鏡画像取得手段と、断層撮影により取得された前記解剖学的構造物のボリュームデータを取得するボリュームデータ取得手段と、前記取得されたボリュームデータから前記解剖学的構造物の複数の仮想内視鏡画像を生成する仮想内視鏡画像生成手段と、前記取得された複数の内視鏡画像のうち前記解剖学的構造物の所定の位置から撮影された内視鏡画像と、前記取得された複数の仮想内視鏡画像のうち前記所定の位置と対応する位置から撮影されたように仮想的に生成された比較仮想内視鏡画像を抽出して対応付ける対応付け手段と、前記比較仮想内視鏡画像を構成する複数の画素のそれぞれの３次元的な位置に基づいて、前記所定の位置から撮影された内視鏡画像を構成する複数の画素のそれぞれ対応する３次元的な位置を算出する位置算出手段と、前記所定の位置から撮影された内視鏡画像を構成する複数の画素の個々の画素値とそれぞれの該画素について算出された前記３次元的な位置に基づいて、前記所定の位置から撮影された内視鏡画像からボリュームデータを生成する内視鏡ボリュームデータ生成手段として機能させることを特徴とするものである。
【００１５】
本発明において、上記解剖学的構造物は、被検体が人体であれば、食道、胃、十二指腸、大腸および気管支などの管状の内臓に代表されるものであるが、内視鏡を挿入可能なものであれば何でもよい。また、上記所定の位置は、解剖学的構造物の内部の任意の位置であれば何でもよい。例えば、腸の折曲部や目だったポリープが見つかった領域など、ユーザ等が解剖学的構造物内の他の領域と識別可能な形態を有する領域であってもよい。また、３次元的な位置は、座標で表されてもよく、ベクトルにより表されてもよく、３次元空間における位置を表す周知の方法で表すことができる。
【００１６】
また、本発明による対応付け手段は、解剖学的構造物の所定の位置から撮影された内視鏡画像と、所定の位置と対応する位置から撮影されたように仮想的に生成された比較仮想内視鏡画像を抽出できる方法であれば、周知の種々の方法を適用することができる。例えば、所定の位置に内視鏡の先端部を配置して撮影した内視鏡画像を取得し、特許文献１または２に開示された方法により、所定の位置に配置された内視鏡の先端部の解剖学的構造物中の位置を検出して、該先端部の位置と対応する仮想内視鏡の視点の位置を取得し、先端部の位置と対応する仮想内視鏡の視点の位置に基づいて比較仮想内視鏡画像を抽出してもよい。例えば、特許文献３に開示されたような内視鏡画像と仮想内視鏡画像とを比較し両画像の類似度により、内視鏡画像と比較仮想内視鏡画像を抽出してもよい。また、解剖学的構造物の分岐部などのように識別可能な特徴を有する特定の領域を表す内視鏡画像と同領域を表す仮想内視鏡画像とをユーザによるマウス等の入力装置による操作により表示させ、両画像が対応する所定の位置を表示したことを示す入力をユーザ操作によるマウス等の入力装置等から受け付けて、入力信号を受け付けた際に表示されている内視鏡画像と仮想内視鏡画像を対応付けてもよい。なお、このように類似度により対応付けられた内視鏡画像を撮影した所定の位置と仮想内視鏡画像の視点の位置は解剖学的構造物の同じ位置に対応していると考えられる。
【００１７】
なお、本発明の内視鏡画像処理装置において、１つの所定位置のみに対して、対応付け手段による上記の対応付けおよび３次元的な位置の算出を行ってもよく、複数の所定位置に対して、対応付け手段による上記の対応付けおよび３次元的な位置の算出を行ってもよい。
【００１８】
本発明による内視鏡画像処理方法において、前記内視鏡画像から生成された内視鏡ボリュームデータから再構成した内視鏡再構成画像を生成する内視鏡再構成画像生成手段と、前記生成された内視鏡再構成画像を表示装置に表示させる表示制御手段をさらに備えることが好ましい。
【００１９】
また、本発明による内視鏡画像処理装置における前記位置算出手段は、前記所定の位置から撮影された内視鏡画像を構成する複数の画素のうち所定の画素に対応付けて、複数の３次元的な位置を算出してもよい。さらに、前記位置算出手段は、前記所定の画素に対応する複数の３次元的な位置を球形状に配置するものであってもよく、所定の大きさを有する平面や曲面をなす形状に配置するものであってもよく、立方体、直方体等の多面体や、円錐、多角錐等の立体形状に配置するものであってもよい。なお、所定の画素に複数の３次元的な位置を対応付けることにより、所定の画素の画素値が複数の位置に反映された内視鏡ボリュームデータが生成されるため、複数の３次元的な位置は、互いに近傍の位置であることが好ましい。
【００２０】
また、本発明による内視鏡画像処理装置が内視鏡再構成画像生成手段を備えた場合、内視鏡再構成画像生成手段によって生成された内視鏡再構成画像は、前記解剖学的構造物の伸張展開画像または伸張断面画像であってもよい。また、内視鏡再構成画像は、これに限定されず、内視鏡ボリュームデータから表示または再構成可能なものであれば、何でもよい。
【００２１】
また、本発明において、前記内視鏡画像取得手段によって取得される内視鏡画像は、分光画像であってもよい。
【００２２】
なお、分光画像とは、固体撮像素子を用いた電子内視鏡装置により、主に可視光の波長領域を撮像して可視光領域画像を表す通常画像と、狭い波長帯域のみに光を透過させる複数種類の狭帯域バンドパスフィルタを通して消化器官（例えば胃等）の生体粘膜を撮像し上記生体粘膜の複数種類の狭帯域分光画像を得、これらの狭帯域分光画像を合成してなる診断用画像を生成する方式(Narrow Band Imaging-NBl)により得られる画像（特開２００６−３４１０７８号公報参照）、または、内視鏡により固体撮像素子上に複数種類の広帯域バンドパスフィルタからなるＲＧＢモザイクフィルタを配置して面同時方式で通常のカラー画像（通常画像ともいう）の撮像を行って、生体粘膜の撮像で得られた通常画像に基づく演算処理により上記狭帯域バンドパスフィルタを用いて得られた狭帯域分光画像と同等の画像を取得して上記のような診断用画像を作成する方式により得られる画像を指す（特開２００３−９３３３６号公報、特開２０１０−７５３６８号公報参照）。
【００２３】
また、伸張展開画像は、管腔臓器を直線状に伸長させ、さらに管を切り開いて内壁側を展開したような画像であり（例えば、特開２００６−６５３９７号公報参照）、伸長断面画像は、管腔臓器を直線状に伸長させ、管を縦切りにしたような画像である（例えば、特開平１１−３１８８８４号公報参照）。
【００２４】
また、本発明による内視鏡画像処理装置は、前記内視鏡ボリュームデータから、前記所定の位置から撮影された内視鏡画像を構成する画素に対応しない３次元的な位置からなる未対応領域を抽出する未対応領域抽出手段をさらに備えてもよい。
【００２５】
ここで、本発明では、内視鏡ボリュームデータのうち内視鏡画像の画素と３次元的な位置を対応付けられていない領域を「未対応領域」と称する。例えば、本発明によれば、内視鏡画像を構成する画素に対応する３次元的な位置を算出することにより、所定の画素の画素値が３次元的な位置に反映された内視鏡ボリュームデータが生成されるため、解剖学的構造物内のポリープ等の凹凸形状や湾曲形状のために内視鏡画像に映っていない領域等の解剖学的構造物内の未撮影領域は、内視鏡画像の画素と３次元的な位置を対応付けることができない場合がある。また、内視鏡画像の一部のみに本発明の内視鏡画像処理を行った場合など、内視鏡画像の画素と３次元的な位置の対応付けを行っていない場合もある。このような場合に、内視鏡画像を構成する画素に対応しない３次元的な位置からなる未対応領域が生ずるものである。
【００２６】
また、本発明による内視鏡画像処理装置が未対応領域抽出手段を備えた場合、前記ボリュームデータから医用画像を生成する医用画像生成手段をさらに備え、前記表示制御手段は、前記ボリュームデータから生成された医用画像上に、前記未対応領域を表す指標をさらに表示させるものであってもよい。
【００２７】
医用画像は、ボリュームデータから生成可能なものであれば何でもよいが、代表的なものとしてボリュームレンダリング法、サーフィスレンダリング法があげられる。
【００２８】
または、本発明による内視鏡画像処理装置が未対応領域抽出手段を備えた場合、前記表示制御手段は、前記内視鏡ボリュームデータから生成された内視鏡再構成画像上に、前記未対応領域を表す指標をさらに表示させるものであってもよい。
【００２９】
未対応領域を表す指標として、円、矩形、閉曲面など、様々な形状の周知の指標を用いることができ、さらに指標に色を付けたり、点滅させるなど様々な周知の表示方法を適用してもよい。
【発明の効果】
【００３０】
本発明の内視鏡画像処理装置、方法およびプログラムによれば、比較仮想内視鏡画像を構成する複数の画素のそれぞれの３次元的な位置に基づいて、所定の位置から撮影された内視鏡画像を構成する複数の画素のそれぞれ対応する３次元的な位置を算出し、所定の位置から撮影された内視鏡画像を構成する複数の画素の個々の画素値とそれぞれの画素について算出された３次元的な位置に基づいて、所定の位置から撮影された内視鏡画像からボリュームデータを生成するため、ＣＴ装置等のモダリティでは得られない、質感や色合いの情報を有するボリュームデータを生成することができる。また、通常の奥行き方向の情報を持たない内視鏡画像からは得らなかった、内視鏡ボリュームデータから再構成される画像表示または内視鏡ボリュームデータを用いた画像解析が可能となる。つまり、本発明の内視鏡画像処理装置、方法およびプログラムによれば、解剖学的構造物の内部をよりリアルな質感や色合いで表すことができるという内視鏡画像の利点と、多様な画像解析及び画像表示を利用可能とするボリュームデータの利点を併せ持つ内視鏡ボリュームデータを生成することにより、内視鏡画像を多様な画像診断又は画像解析に活用でき、より高精度な画像診断を支援することができる。
【００３１】
また、本発明による内視鏡画像処理装置において、内視鏡画像から生成された内視鏡ボリュームデータから再構成した内視鏡再構成画像を生成する内視鏡再構成画像生成手段と、生成された内視鏡再構成画像を表示装置に表示させる表示制御手段をさらに備えた場合には、従来の断層撮影から得たボリュームデータでは得られなかった、リアルな質感と色合いを持つ再構成画像を観察することが可能となり、より高精度な画像診断を支援することができる。
【００３２】
また、本発明による内視鏡画像処理装置における位置算出手段は、所定の位置から撮影された内視鏡画像を構成する複数の画素のうち所定の画素に対応付けて、複数の３次元的な位置を算出する場合には、例えば、解剖学的構造物のうち撮影部から遠い部分を表す内視鏡画像の画素に対して、複数の３次元的な位置を算出して、空間的に広がりを持った位置と対応付けることができ、内視鏡画像を構成する画素値を複数の３次元的な位置に反映させることができる。
【００３３】
なお、内視鏡画像は、内視鏡のＣＣＤカメラ等の撮影部から近い部分は大きく写り、撮影部から遠い部分は小さく写るという性質を有するため、撮影部から遠い部分を表す画素は、撮影部から近い部分を表す画素よりも少なくなる。このため、生成されるボリュームデータは、内視鏡画像の撮影部から遠い部分に対応する位置は、内視鏡画像の撮影部から近い部分より対応付けられる内視鏡画像の位置が少なく、内視鏡画像と対応するボリュームデータの位置がまばらになってしまう可能性がある。このため、内視鏡ボリュームデータのうち内視鏡画像の撮影部から遠く、対応する内視鏡画像の位置が少ない領域に、撮影部より遠い部分を表す内視鏡の画素に空間的に広がりを持った複数の３次元的な位置を算出して対応付けることにより、対応する内視鏡画像の画素が疎である領域の画素値を的確に補間し、内視鏡画像と対応するボリュームデータの位置がまばらになってしまうことを抑制し、各画素に適切な画素値が反映されたボリュームデータを生成することができる。
【００３４】
また、本発明による内視鏡画像処理装置が内視鏡再構成画像生成手段を備え、内視鏡再構成画像生成手段によって生成された内視鏡再構成画像が、解剖学的構造物の伸張展開画像または伸張断面画像のいずれかである場合には、従来の内視鏡画像では得られなかった画像観察が可能となり、より高精度な画像診断を支援することができる。
【００３５】
また、本発明による内視鏡画像処理装置は、内視鏡ボリュームデータから、所定の位置から撮影された内視鏡画像を構成する画素に対応しない３次元的な位置からなる未対応領域を抽出する未対応領域抽出手段をさらに備えた場合には、内視鏡ボリュームデータのうち、内視鏡画像から画素値を取得できなかった領域を認識することが容易である。
【００３６】
また、本発明による内視鏡画像処理装置が未対応領域抽出手段を備えた場合、ボリュームデータから医用画像を生成する医用画像生成手段をさらに備え、表示制御手段は、ボリュームデータから生成された医用画像上に、未対応領域を表す指標をさらに表示させるものである場合には、内視鏡ボリュームデータのうち、内視鏡画像から画素値を取得できなかった領域を認識することが容易である。
【００３７】
または、本発明による内視鏡画像処理装置が未対応領域抽出手段を備えた場合、表示制御手段は、内視鏡ボリュームデータから生成された内視鏡再構成画像上に、未対応領域を表す指標をさらに表示させるものである場合には、内視鏡ボリュームデータのうち、内視鏡画像から画素値を取得できなかった領域を認識することが容易である。
【図面の簡単な説明】
【００３８】
【図１】第１の実施形態における内視鏡画像処理装置の機能ブロック図
【図２】第１の実施形態における内視鏡画像処理の流れを表したフローチャート
【図３】第１の実施形態における内視鏡画像と比較仮想内視鏡画像を対応付けた例を説明する図
【図４】第１の実施形態において内視鏡画像上の画素の対応する３次元的な位置を算出する方法を説明する図
【図５】第２の実施形態における内視鏡画像処理装置の機能ブロック図
【図６】第２の実施形態における内視鏡画像処理の流れを表したフローチャート
【図７】第２の実施形態で表示される不対応領域を表す指標を付した医用画像の例を表した図
【図８】第１の実施形態で生成される伸長展開画像の例を示す図
【発明を実施するための形態】
【００３９】
以下、本発明の内視鏡画像処理装置、内視鏡画像処理プログラムおよび内視鏡画像処理方法の実施形態について、図面を参照しながら詳細に説明する。
【００４０】
図１に、医師が使用するワークステーションに、診断支援プログラムをインストールすることにより実現された診断支援装置の概略構成を示す。診断支援装置１は、標準的なワークステーションの構成として、プロセッサおよびメモリ（いずれも図示せず）を備え、さらに、ＨＤＤ（Hard Disk Drive）やＳＳＤ(Solid State Drive)等のストレージ２を備えている。また、内視鏡画像処理装置１には、ディスプレイ３と、マウス、キーボード等の入力装置４が接続されている。
【００４１】
診断支援プログラムと診断支援プログラムが参照するデータ（後述する変換テーブル等）は、インストール時にストレージ２に記憶され、起動時にメモリにロードされる。診断支援プログラムは、ＣＰＵに実行させる処理として、内視鏡画像取得処理と、仮想内視鏡画像取得処理と、解剖学的構造物の所定の位置から撮影された内視鏡画像と所定の位置と対応する位置から撮影されたように仮想的に生成された比較仮想内視鏡画像を抽出して対応付ける対応付け処理と、所定の位置から撮影された内視鏡画像を構成する複数の画素のそれぞれ対応する３次元的な位置を算出する位置算出処理と、所定の位置から撮影された内視鏡画像からボリュームデータを生成する内視鏡ボリュームデータ生成手段処理と、内視鏡ボリュームデータＶＥから内視鏡再構成画像を生成する内視鏡再構成画像生成処理と、および表示制御処理を規定している。
【００４２】
そして、プログラムの規定にしたがって、ＣＰＵが上記各処理を実行することにより、汎用のワークステーションは、被検体の解剖学的構造物に挿入された内視鏡により撮影された複数の内視鏡画像を取得する内視鏡画像取得手段１０１と、断層撮影により取得された解剖学的構造物のボリュームデータを取得するボリュームデータ取得手段１０２と、取得されたボリュームデータから解剖学的構造物の複数の仮想内視鏡画像を生成する仮想内視鏡画像生成手段１０３と、取得された複数の内視鏡画像のうち解剖学的構造物の所定の位置から撮影された内視鏡画像と、取得された複数の仮想内視鏡画像のうち所定の位置と対応する位置から撮影されたように仮想的に生成された比較仮想内視鏡画像を抽出して対応付ける対応付け手段１０４と、比較仮想内視鏡画像を構成する複数の画素のそれぞれの３次元的な位置に基づいて、所定の位置から撮影された内視鏡画像を構成する複数の画素のそれぞれ対応する３次元的な位置を算出する位置算出手段１０５と、所定の位置から撮影された内視鏡画像を構成する複数の画素の個々の画素値とそれぞれの画素について算出された３次元的な位置に基づいて、所定の位置から撮影された内視鏡画像からボリュームデータを生成する内視鏡ボリュームデータ生成手段１０６と、内視鏡画像から生成された内視鏡ボリュームデータＶＥから再構成した内視鏡再構成画像ＩｍｇＲＥを生成する内視鏡再構成画像生成手段１０７と、生成された内視鏡再構成画像ＩｍｇＲＥを表示装置３に表示させる表示制御手段１０８として機能する。
【００４３】
ストレージ２には、撮影を担当する検査部門から転送された、ボリュームデータおよび動画像を構成する複数の内視鏡画像、もしくはデータベース検索により取得された内視鏡画像およびボリュームデータが、記憶される。ボリュームデータは、マルチスライスＣＴ装置等から直接出力されたボリュームデータでもよいし、従来型のＣＴ装置等から出力された２次元のスライスデータ群を再構成することにより生成されたボリュームデータでもよい。なお、本明細書においては、１回の内視鏡撮影により撮影された動画ＩｍｇＥを構成する各フレームを内視鏡画像ＩｍｇＥｉ（１≦ｉ≦ｍ）（ｍは全フレーム数）と呼ぶ。
【００４４】
内視鏡画像処理装置１は、選択メニューにおいて所定の診断支援機能が選択されたことを検出すると、ユーザに、ボリュームデータの特定に必要な情報の選択または入力を促す。そして、ユーザの操作により、ボリュームデータが特定されると、ストレージ２からメモリに、該当するボリュームデータをロードする。
【００４５】
以下、図１で示す内視鏡画像処理装置１に備えられた各機能ブロックについて詳細に説明する。
【００４６】
内視鏡画像取得手段１０１は、ストレージ２から被検体の解剖学的構造物に挿入された内視鏡により撮影された複数の内視鏡画像ＩｍｇＥｉ（１≦ｉ≦ｍ）からなる動画像ＩｍｇＥを受信し、内視鏡画像処理装置１の所定のメモリ領域に格納する通信インターフェース機能を有する。
【００４７】
ボリュームデータ取得手段１０２は、ストレージ２からＣＴ装置による断層撮影により取得された解剖学的構造物のボリュームデータＶを受信し、内視鏡画像処理装置１の所定のメモリ領域に格納する通信インターフェース機能を有する。
【００４８】
仮想内視鏡画像生成手段１０３は、取得されたボリュームデータから周知の方法により解剖学的構造物の複数の仮想内視鏡画像ＩｍｇＶｇ（１≦ｇ≦ｈ）を生成し、内視鏡画像処理装置１の所定のメモリ領域に記憶する。なお、ｇ、ｈは正の整数である。
【００４９】
対応付け手段１０４は、取得された複数の内視鏡画像のうち解剖学的構造物の所定の位置から撮影された内視鏡画像ＩｍｇＥｉと、取得された複数の仮想内視鏡画像のうち所定の位置と対応する位置から撮影されたように仮想的に生成された比較仮想内視鏡画像ＩｍｇＶｉを抽出して対応付ける（ｉはｍ以下の正の整数）。
【００５０】
なお、本実施形態では、対応付け手段１０４は、内視鏡撮影により得られた動画像を構成する複数のフレームから、所定の時間間隔ごとに１フレームを抽出し、抽出された複数のフレーム、すなわち内視鏡画像ＩｍｇＥｉ（１≦ｉ≦ｍ１）のそれぞれに対して、特許文献３に示す方法により、それぞれ類似する比較仮想内視鏡画像ＩｍｇＶｉ（１≦ｉ≦ｍ１）を抽出して対応付ける。
【００５１】
位置算出手段１０５は、比較仮想内視鏡画像ＩｍｇＶｉを構成する複数の画素Ｑｐｊ（１≦ｊ≦ｎ、ｎは比較仮想内視鏡画像ＩｍｇＶｉの画素数）のそれぞれの３次元的な位置に基づいて、所定の位置から撮影された内視鏡画像ＩｍｇＥｉを構成する複数の画素Ｐｐｊのそれぞれ対応する画素Ｐｊの３次元的な位置を算出する。
【００５２】
内視鏡ボリュームデータ生成手段１０６は、所定の位置から撮影された内視鏡画像を構成する複数の画素Ｐｐｊの個々の画素値とそれぞれの画素について算出された３次元的な位置に基づいて、所定の位置から撮影された内視鏡画像から内視鏡ボリュームデータＶＥを生成する。
【００５３】
内視鏡再構成画像生成手段１０７は、内視鏡画像から生成された内視鏡ボリュームデータＶＥから再構成した内視鏡再構成画像を生成する。内視鏡再構成画像は、ボリュームデータから再構成可能なものであれば、何でもよく、ボリュームレンダリング法で生成されたボリュームレンダリング画像でもよく、サーフィスレンダリング画像でもよく、伸長展開画像でもよく、断面展開画像でもよく、任意の面の断層像でもよく、種々の周知の表示方法または解析方法で生成された画像であってよい。
【００５４】
表示制御手段１０８は、生成された内視鏡再構成画像をディスプレイ３に表示させる。
【００５５】
ここでは、ある患者の検査において、マルチスライスＣＴ装置による撮影が行われ、大腸の情報を含むボリュームデータが取得されているものとする。
【００５６】
まず、内視鏡１による被検体の解剖学的構造物内部の大腸の動画撮影により、撮影された動画ＩｍｇＥが取得され、ネットワークを介して不図示のデータベースに記憶されている。また、ＣＴ装置による同じ被検体の腹部の撮像により、大腸の情報を含むボリュームデータＶが形成されて同様に不図示のデータベースに記憶されている。ユーザが解剖学的構造物である大腸の内視鏡画像処理機能を選択し、その患者の識別子や検査日を入力すると、該当するボリュームデータＶおよび内視鏡画像ＩｍｇＥを構成する複数の内視鏡画像ＩｍｇＥｉ（１≦ｉ≦ｍ）が取得されてストレージ２に記憶され、本発明の内視鏡画像処理が実行される。
【００５７】
図２は本発明の内視鏡画像処理方法の好ましい実施形態を示すフローチャートであり、図３は内視鏡画像と仮想内視鏡画像の対応付けを説明する図、図４は図３で対応付けられた内視鏡画像と仮想内視鏡画像を用いて、内視鏡画像を構成する画素に３次元的な位置を算出する方法を説明する図、図８は本実施形態により表示される伸長展開画像のイメージを表す図である。図２、図３、図４および図８を参照して本実施形態の内視鏡画像処理方法について説明する。
【００５８】
まず、内視鏡画像取得手段１０１が、ストレージ２から被検体の解剖学的構造物に挿入された内視鏡により撮影された動画像ＩｍｇＥを構成する複数の内視鏡画像ＩｍｇＥｉ（１≦ｉ≦ｍ）を取得するとともに、ボリュームデータ取得手段１０２がストレージ２からＣＴ装置による断層撮影により取得されたボリュームデータＶを取得する（Ｓ０１）。
【００５９】
次に、仮想内視鏡画像生成手段１０３が、取得されたボリュームデータから解剖学的構造物の複数の仮想内視鏡画像ＩｍｇＶｇ（１≦ｇ≦ｈ）を生成する（Ｓ０２）。仮想内視鏡画像生成手段１０３は、解剖学的構造物である大腸領域を検出するとともに大腸中心線ＣＬを設定し、大腸中心線ＣＬ上の各位置に仮想内視鏡の視点を配置した複数の仮想内視鏡画像ＩｍｇＶｇ（１≦ｇ≦ｈ）を、大腸中心線ＣＬに沿って想内視鏡の視点を移動させて生成する。なお、ここでは、大腸領域の抽出及び大腸中心線の抽出には、“Colon centreline calculation for CT colonography using optimised 3D topological thinning.”, Proceedings of the 1st International Symposium on 3D Data Processing Visualization and Transmission, IEEE Computer Society, pp.800-803, 2002に記載された方法を用いたものとする。本実施形態では、比較仮想内視鏡画像を抽出するために十分に多い数ｈ（ｈ≧ｍ１）の仮想内視鏡画像が再構成されるものとする。
【００６０】
そして、対応付け手段１０４は、取得された複数の内視鏡画像ＩｍｇＥｉ（１≦ｉ≦ｍ）を所定の時間間隔でサンプリングし、サンプリングされた内視鏡画像ＩｍｇＥｉ（１≦ｉ≦ｍ１）のうち、解剖学的構造物の所定の位置から撮影された内視鏡画像ＩｍｇＥｉと、取得された複数の仮想内視鏡画像ＩｍｇＶｇ（１≦ｇ≦ｈ）のうち所定の位置と対応する位置から撮影されたように仮想的に生成された比較仮想内視鏡画像ＩｍｇＶｉを抽出して対応付ける（Ｓ０３）。
【００６１】
図３に示すように、対応付けられた内視鏡画像ＩｍｇＥｉおよび比較仮想内視鏡画像ＩｍｇＶｉは解剖学的構造物の湾曲部Ｒｉをほぼ同じサイズで表示画像上の同じ位置に表している。仮想内視鏡画像ＩｍｇＶｉを生成する過程で、仮想内視鏡生成手段１０３は、ＣＴ装置で撮影されたボリュームデータＶから、内視鏡撮影を行った内視鏡撮影システムに応じて予め与えられた内視鏡の固体撮像素子の位置、向き、画角等の撮影パラメータに基づいて仮想内視鏡画像ＩｍｇＶｉを生成しているため、内視鏡画像ＩｍｇＥｉと比較仮想内視鏡画像ＩｍｇＶｉとは、解剖学的構造物の同じ位置および同じ向きに内視鏡先端部Ｐｃと仮想内視鏡の視点Ｑｃを配置し、同じ焦点距離や画角等の条件で大腸内の同じ領域を表したものとなっている。
【００６２】
次いで、位置算出手段１０５は、比較仮想内視鏡画像をＩｍｇＶｉ構成する複数の画素Ｑｐｊのそれぞれの３次元的な位置に基づいて、所定の位置から撮影された内視鏡画像ＩｍｇＥｉを構成する複数の画素Ｐｐｊのそれぞれ対応する３次元的な位置を算出する（Ｓ０４）。
【００６３】
以下、図４を参照しながら、大腸を例に、本実施形態の位置算出手段１０５の処理の詳細について説明する。図４左は、大腸５に挿入された内視鏡の撮影部Ｐｃ（内視鏡の先端部）と内視鏡画像ＩｍｇＥｉの位置関係を表し、図４右は、ＣＴ撮影により得られたボリュームデータから抽出された大腸５に挿入された仮想内視鏡の視点Ｑｃと仮想内視鏡画像ＩｍｇＶｉの位置関係を表している。図４左に示すように、ＸＹ平面上に配置された内視鏡画像ＩｍｇＥｉは内視鏡の経路Ｐａｔｈ上の内視鏡先端Ｑｃに設置された内視鏡の撮影部から撮影されたものである。図４右に示すように、ＸＹ平面上に投影された仮想内視鏡画像ＩｍｇＶｉは大腸中心線ＣＬ上の仮想内視鏡の視点Ｑｃに基づいて生成されたものである。
【００６４】
まず、位置算出手段１０５は、内視鏡画像ＩｍｇＥｉと比較仮想内視鏡画像ＩｍｇＶｉを同じサイズかつ同じ解像度となるように適宜調整し、内視鏡画像ＩｍｇＥｉの各画素の位置Ｐｐｊ(xｊ,yｊ,0)（１≦ｊ≦ｎ）と比較仮想内視鏡画像ＩｍｇＶｉを構成する各画素の位置Ｑｐｊ(xｊ,yｊ,0)がＸＹ平面で１対１に対応するように正規化する。
【００６５】
その後、位置算出手段１０５が、仮想内視鏡画像ＩｍｇＶｉ上の各画素にそれぞれ対応するボリュームデータの３次元座標系の位置を算出する。この方法を以下に説明する。
【００６６】
仮想内視鏡画像ＩｍｇＶｉ上の位置Ｑｐｊ(xｊ,yｊ,0) （１≦ｊ≦ｎ）に投影される画素値は、焦点距離をfとするとき、視点Ｑｃから延びる以下のベクトルｖｊ上に位置する画素値である。なお、ｎは仮想内視鏡画像ＩｍｇＶｉの画素数である。
【数１】
【００６７】
仮想内視鏡画像を生成する工程で、仮想内視鏡画像生成手段１０３は、視点Ｑｃから延びるベクトルｖｊ上の画素のうち、解剖学的構造物の内壁上の画素Ｑｊ(xｊ’,yｊ’,zｊ’)の画素値を投影する。例えば、ボリュームレンダリング法で仮想内視鏡を生成する際に、解剖学的構造物の内壁の不透明度を１．０に設定することにより、解剖学的構造物の内壁上の位置Ｑｊの画素値を、Ｑｐｊ(xｊ,yｊ,0)に投影できる。
【００６８】
この工程と併せて、仮想内視鏡画像生成手段１０３は、仮想内視鏡画像ＩｍｇＶｉの全画素について各Ｑｐｊ(xｊ,yｊ,0)に投影される解剖学的構造物の内壁上の位置Ｑｊ(xｊ’,yｊ’,zｊ’)をそれぞれ抽出する。そして、視点ＱｃとＱｊ(xｊ’,yｊ’,zｊ’)との間の距離ｔｊを以下の式（２）により算出し（１≦ｊ≦ｎ）、Ｑｐｊ(xｊ,yｊ,0)と対応付けて記憶しておく。
【数２】
【００６９】
ボリュームデータＶの座標系に対する視点Ｑｃの位置と向きをそれぞれ、位置ベクトルｑｃ、向き(行列)Ｒｃとし、視点Ｑ１から仮想内視鏡画像ＩｍｇＶｉ上の位置Ｑｐｊ(xｊ,yｊ,0)に延びるベクトルをｖｊとし、視点Ｑｃから３次元座標系の位置Ｑｊとの距離をｔｊとすると、仮想内視鏡画像ＩｍｇＶｉの点Ｑｐｊ(xｊ,yｊ,0)に投影されている３次元座標系の位置Ｑｊは以下の式（３）により特定することができる。
【数３】
【００７０】
位置算出手段１０５は、メモリから、比較仮想内視鏡画像ＩｍｇＶｉを構成する各画素Ｑｐｊのそれぞれに対して、対応付けられたボリュームデータの座標系におけるＱｊの位置を取得する。そして、比較仮想内視鏡画像ＩｍｇＶｉを構成する画素の位置Ｑｐｊに対応する画素の位置Ｑｊ(xｊ’,yｊ’,zｊ’)を、Ｑｐｊ(xｊ,yｊ,0)とＸＹ平面上の同位置に相当する内視鏡画像上の位置Ｐｐｊ(xｊ,yｊ,0) に対応する３次元的な位置Ｐｊ(xｊ’,yｊ’,zｊ’)として算出する。
【００７１】
位置算出手段１０５は、内視鏡画像ＩｍｇＥｉ上の全ての画素の位置Ｐｐｊ（１≦ｊ≦ｎ）に対して、同様にそれぞれ対応する３次元的な位置Ｐｊを算出する。そして、位置算出手段１０５は、各内視鏡画像上の位置Ｐｐｊと対応付けてそれぞれ対応する３次元的な位置Ｐｊをメモリに記憶する。
【００７２】
次いで、内視鏡ボリュームデータ生成手段１０６は、所定の位置から撮影された内視鏡画像ＩｍｇＥｉを構成する複数の画素Ｐｐｊ(xｊ,yｊ,0)の個々の画素値とそれぞれの画素について算出された３次元的な位置に基づいて、所定の位置から撮影された内視鏡画像から内視鏡ボリュームデータＶＥを生成する。本実施形態においては、内視鏡ボリュームデータ生成手段１０６は、図４左における内視鏡画像ＩｍｇＥｉの全ての画素について、各画素の位置Ｐｐｊ(xｊ,yｊ,0)の画素値を、算出されたそれぞれの３次元座標系の位置Ｐｊの画素値として挿入する（Ｓ０５）。
【００７３】
ここで、本実施形態では、複数の内視鏡画像ＩｍｇＥｉ（１≦ｉ≦ｍ１）ごとにＳ０３からＳ０５の処理を行う。このため、例えば、内視鏡画像ＩｍｇＥｋ（ｋはｍより小さい自然数）と内視鏡画像ＩｍｇＥｋ＋１等の連続する複数のフレームに解剖学的構造物の同じ領域が撮影されている。このため、一つの３次元座標系の位置Ｐｆ(xｆ,yｆ,zｆ)に対して、内視鏡画像ＩｍｇＥｋの位置Ｐｐｆ１と内視鏡画像ＩｍｇＥｋ＋１の位置Ｐｐｆ２等の複数の位置が対応付けられる。
【００７４】
１つの３次元座標系の位置に、異なる撮影位置から撮影された複数の内視鏡画像上の位置が対応付けられている場合の、内視鏡ボリュームデータ生成手段１０６の処理を説明する。ここでは、３次元座標系の位置Ｐｆに内視鏡画像ＩｍｇＥｋ上の位置Ｐｐｆ１と、ＩｍｇＥｋ＋１上の位置Ｐｐｆ２が対応付けられているとする。内視鏡ボリュームデータ生成手段１０６は、３次元座標系の位置Ｐｆと位置Ｐｐｆ１、Ｐｐｆ２とのそれぞれ距離に基づいて、位置Ｐｆ１、Ｐｆ２の画素値にそれぞれ距離に応じた色彩や輝度の補正を行う処理を行った後、位置Ｐｆ１、Ｐｆ２の画素値を平均した画素値を３次元座標系の位置Ｐｆの画素値として挿入する。
【００７５】
以上のように、内視鏡ボリュームデータ生成手段１０６は、３次元座標系の位置Ｐｆに対応付けられた、複数の内視鏡画像上の画素の画素値を処理した後に平均し、３次元座標系の位置Ｐｆの画素値として挿入する工程を、位置算出手段１０６により算出された３次元座標系の位置Ｐｆ（１≦ｆ≦ｌ）の全てに対して行って、内視鏡ボリュームデータＶＥを生成する。なお、ｌは位置算出手段１０５により算出された、内視鏡画像ＩｍｇＥｉを構成する複数の画素Ｐｐｊにそれぞれ対応する３次元座標系の画素数である。
【００７６】
そして、内視鏡再構成画像生成手段１０７は、内視鏡画像から生成された内視鏡ボリュームデータＶＥから再構成した内視鏡再構成画像ＩｍｇＲＥを生成する（Ｓ０６）。ここでは、内視鏡再構成画像ＩｍｇＲＥとして周知の方法により図８に示すような伸長展開表示画像を生成する。
【００７７】
表示制御手段１０８は、図５に示すように、生成された内視鏡再構成画像ＩｍｇＲＥをディスプレイ３に表示して本実施形態の内視鏡画像の処理を終了する（Ｓ０７）。
【００７８】
以上のように、本実施形態によれば、内視鏡画像ＩｍｇＥｉからボリュームデータＶＥを生成するため、ＣＴ装置等のモダリティでは得られない、質感や色合いの情報を有するボリュームデータを生成することができる。また、通常の奥行き方向の情報を持たない内視鏡画像からは得らなかった、内視鏡ボリュームデータＶＥから再構成される画像表示または内視鏡ボリュームデータＶＥを用いた画像解析が可能となる。つまり、解剖学的構造物の内部をよりリアルな質感や色合いで表すことができるという内視鏡画像の利点と、多様な画像解析及び画像表示を利用可能とするボリュームデータの利点を併せ持つ内視鏡ボリュームデータＶＥを生成することにより、内視鏡画像を多様な画像診断又は画像解析に活用でき、より高精度な画像診断を支援することができる。
【００７９】
また、本実施形態によれば、内視鏡画像から生成された内視鏡ボリュームデータＶＥから再構成した内視鏡再構成画像ＩｍｇＲＥを生成する内視鏡再構成画像生成手段１０７と、生成された内視鏡再構成画像ＩｍｇＲＥを表示装置に表示させる表示制御手段１０８を備えているため、従来の断層撮影から得たボリュームデータでは得られなかった、リアルな質感と色合いを持つ内視鏡再構成画像ＩｍｇＲＥを観察することが可能となり、より高精度な画像診断を支援することができる。
【００８０】
また、内視鏡再構成画像生成手段１０７によって生成された内視鏡再構成画像ＩｍｇＲＥが、解剖学的構造物の伸張展開画像であるため、従来の内視鏡画像では得られなかった、画像観察が可能となり、より高精度な画像診断を支援することができる。
【００８１】
また、解剖学的構造物の複数の所定の位置で得られた内視鏡画像に対して本実施形態の処理を行うことにより、複数の撮影位置から撮影した複数の内視鏡画像から解剖学的構造物のより広い範囲の画素値を取得し、解剖学的構造物の広範囲にわたり内視鏡ボリュームデータＶＥを生成することができる。また、解剖学的構造物の凹凸や湾曲により、内視鏡画像に写らない領域が生じて、内視鏡ボリュームデータＶＥに挿入すべき画素値が取得できない領域が生ずることを抑制できる。なお、１枚の内視鏡画像や内視鏡画像の所定の領域のみから内視鏡ボリュームデータＶＥを作成してもよいが、内視鏡の画角や角度により、内視鏡ボリュームデータＶＥの作成できる範囲が制限されるため、本実施形態のように、異なる所定の位置から撮影された複数の内視鏡画像から内視鏡ボリュームデータＶＥを生成することが好ましい。また、異なる所定の位置は、対応付け処理や位置算出処理の計算付加を極端に増大させないように、解剖学的構造物の所望の観察対象領域の撮影漏れがない程度に、適当な間隔に離間するものであってよい。
【００８２】
また、本実施形態によれば、異なる撮影位置から撮影された複数の内視鏡画像上の位置を１つの３次元座標系の位置Ｐｚに対応付け、複数の内視鏡画像上の前記同一位置を示す位置の画素の画素値に基づいて、３次元座標系の位置Ｐｚの画素値を決定するため、より精度の高い画素値を有する内視鏡ボリュームデータＶＥを生成することができる。また、前記同一位置を示す複数の画素の画素値に対して、算出された内視鏡の撮影部（固体撮像素子の取り付けられた位置）と解剖学的構造物の同一位置との間の距離に応じた補正を行うことで、内視鏡の撮影部や光源と解剖学的構造物との距離に応じて生ずる色合いや明るさ等の誤差を低減することができる。なお、複数の内視鏡画像上の同一位置を示す位置の画素の画素値から内視鏡ボリュームデータＶＥに挿入する画素値を決定する方法は、１つの３次元座標系の位置Ｐｚに対応付けられた複数の画素の平均値を取るかわりに、算出された内視鏡の撮影部と解剖学的構造物の同一位置Ｐｚとの間の距離があらかじめ設定した距離から誤差の範囲内であるときの画素値を選択してもよく、複数の画素の種々の周知の方法を適宜適用できる。
【００８３】
また、本実施形態の変形例として、位置算出手段１０５は、所定の位置から撮影された内視鏡画像ＩｍｇＥｉを構成する複数の画素のうち所定の画素に対応付けて、複数の３次元的な位置を算出してもよい。内視鏡画像の所定の画素に対して、複数の３次元的な位置を算出して、空間的に広がりを持った位置と対応付けることができ、内視鏡画像を構成する画素値を複数の３次元的な位置に反映させることができるためである。なお、本変形例の場合、所定の画素の画素値が複数の位置に反映された内視鏡ボリュームデータＶＥが生成されるため、複数の３次元的な位置は、互いに近傍の位置であることが好ましい。
【００８４】
例えば、内視鏡画像は、解剖学的構造物の内部のうち、内視鏡のＣＣＤカメラ等の撮影部から近い領域は大きく写り、撮影部から遠い領域は小さく写るという性質を有するため、同じサイズの領域に対して、撮影部から遠い領域を表す画素数は、撮影部から近い領域を表す画素数よりも少なくなる。このため、生成されるボリュームデータは、内視鏡画像の撮影部Ｐｃから遠い領域に対応する位置は、内視鏡画像の撮影部Ｐｃから近い領域より対応付けられる内視鏡画像の位置が少なく、内視鏡画像の位置Ｐｐｊと対応する位置Ｐｊが内視鏡ボリュームデータＶＥの３次元座標系でまばらにしか存在しない可能性がある。
【００８５】
このため、例えば図４に示すように、位置算出手段１０４は、内視鏡画像上の位置Ｐｐｒに対応する位置を、式（２）に基づいて算出された３次元的な位置Ｐｒだけでなく、位置Ｐｒを中心として所定の半径の球形状の領域Ｒｄ内に存在する複数の位置Ｐｒ＋１、Ｐｒ＋２、・・・、Ｐｒ＋rm-1(rmは球形状の領域Ｒｄに存在する画素数)と対応付け、内視鏡ボリュームデータ生成手段１０５は、内視鏡画像上の位置Ｐｐｒの画素の画素値を、内視鏡画像上の位置Ｐｐｒに対応付けられた位置Ｐｐ中心として所定の半径の球形状の領域内に存在する複数の位置Ｐｒ＋１、Ｐｒ＋２、・・・、Ｐｒ＋rm-1に対して挿入してもよい。内視鏡の撮影部Ｐｃから遠い領域Ｒｄに対応する画素に空間的に広がりを持った複数の３次元的な位置を算出して対応付けることにより、内視鏡の撮影部Ｐｃから遠いために対応する内視鏡画像の画素が疎である領域の画素値を的確に補間し、内視鏡画像状の画素の画素値が挿入された内視鏡ボリュームデータＶＥの画素が３次元座標系でまばらに配置されることを抑制し、各画素に画素値が反映された内視鏡ボリュームデータを生成することができる。
【００８６】
なお、本変形例は、図３に示すように、位置算出手段１０４が、内視鏡画像上の位置Ｐｐｐに対応する位置を、式（２）に基づいて算出された３次元的な位置Ｐｒと対応付け、内視鏡ボリュームデータ生成手段１０５が、内視鏡画像上の位置Ｐｐｒの画素の画素値を、内視鏡画像上の位置Ｐｐｒに対応付けられた位置Ｐｐ中心として所定の半径の球形状の領域Ｒｄ内に存在する複数の位置Ｐｒ、Ｐｒ＋１、Ｐｒ＋２、・・・、Ｐｒ＋rm-1に対して挿入することによって実施してもよい。なお、位置Ｐｒ、Ｐｒ＋１、Ｐｒ＋２、・・・、Ｐｒ＋rm-1の各位置に対して、異なる撮影位置からそれぞれの位置を撮影した複数の内視鏡画像からも、対応する画素の画素値が得られている際には、それぞれの異なる撮影位置から撮影された複数の内視鏡画像から得られた画素値と重み付けして平均する等、適宜処理を行って位置Ｐｒ、Ｐｒ＋１、Ｐｒ＋２、・・・、Ｐｒ＋rm-1の画素値を挿入することができる。
【００８７】
また、複数の３次元的な位置を所定の画素に対応する複数の３次元的な位置を球形状に配置してもよく、所定の大きさを有する平面や曲面をなす形状に配置してもよく、立方体、直方体等の多面体や、円錐、多角錐等の立体形状に配置するものであってもよい。ただし、所定の画素の画素値が複数の位置に反映された内視鏡ボリュームデータＶＥが生成されるため、複数の３次元的な位置は、有限の大きさをもった形状をなすように配置することが好ましい。
【００８８】
また、内視鏡再構成画像生成手段１０８によって生成された内視鏡再構成画像ＩｍｇＲＥが、解剖学的構造物５の伸張展開画像または伸張断面画像のいずれかであってもよく、内視鏡ボリュームデータＶＥから表示または再構成可能なものであれば、何でもよい。内視鏡ボリュームデータＶＥから種々の表示方法および、再構成方法によって得られるこれらの内視鏡再構成画像ＩｍｇＲＥにより、従来の内視鏡画像では得られなかった画像観察が可能となり、より高精度な画像診断を支援することができる。例えば、ボリュームレンダリング法で内視鏡再構成画像ＩｍｇＲＥを生成することにより、従来、ＣＴ装置等から生成したボリュームデータＶから生成したボリュームレンダリング画像と内視鏡画像の両方を参照して、解剖学的構造物の３次元的な形状と色や質感等の情報を観察していたところ、１つの内視鏡再構成画像ＩｍｇＲＥにより、様々な視点から解剖学的構造物を観察することができ、解剖学的構造物の３次元的な形状と色や質感等の情報が容易に効率よく理解できる。
【００８９】
また、本実施形態において内視鏡画像取得手段１０１によって取得される内視鏡画像は、分光画像であってもよい。
【００９０】
なお、分光画像とは、固体撮像素子を用いた電子内視鏡装置により、主に可視光の波長領域を撮像して可視光領域画像を表す通常画像と、狭い波長帯域のみに光を透過させる複数種類の狭帯域バンドパスフィルタを通して消化器官（例えば胃等）の生体粘膜を撮像し上記生体粘膜の複数種類の狭帯域分光画像を得、これらの狭帯域分光画像を合成してなる診断用画像を生成する方式(Narrow Band Imaging-NBl)により得られる画像（特開２００６−３４１０７８号公報参照）、または、内視鏡により固体撮像素子上に複数種類の広帯域バンドパスフィルタからなるＲＧＢモザイクフィルタを配置して面同時方式で通常のカラー画像（通常画像ともいう）の撮像を行って、生体粘膜の撮像で得られた通常画像に基づく演算処理により上記狭帯域バンドパスフィルタを用いて得られた狭帯域分光画像と同等の画像を取得して上記のような診断用画像を作成する方式により得られる画像のどちらであってもよい（特開２００３−９３３３６号公報、特開２０１０−７５３６８号公報参照）。
【００９１】
また、内視鏡画像として通常画像と狭帯域分光画像とを取得するＮＢ１方式を本実施形態に適用した場合の応用例を以下に示す。ＮＢ１方式において、通常画像と狭帯域分光画像は、非常に短い時間間隔で、ほぼ同じ撮影位置および向きで撮影され、通常画像と同じ解剖学的構造物の位置を表す狭帯域分光画像が対応付けられて取得されている。つまり、通常画像ＩｍｇＥと、通常画像ＩｍｇＥに対応する狭帯域分光画像ＩｍｇＤは同じ座標系に位置あわせができている。
【００９２】
このため、通常画像ＩｍｇＥｉと仮想内視鏡画像ＩｍｇＶｉを用いて、第１の実施形態に記載した方法で通常画像ＩｍｇＥを構成する画素Ｐｐｊ（xj,yj,0）に対応する３次元座標系の位置Ｐｊ(xｊ’,yｊ’,zｊ’)を算出し、通常画像ＩｍｇＥｉに対応する狭帯域分光画像ＩｍｇＤｉ上の位置（xj,yj,0）に対しても同じ３次元座標系の位置(xｊ’,yｊ’,zｊ’)を対応付けることができる。また、逆に、狭帯域分光画像ＩｍｇＤｉと仮想内視鏡画像ＩｍｇＶｉを用いて、第１の実施形態に記載した方法で狭帯域分光画像ＩｍｇＤｉを構成する画素Ｐｐｊ（xj,yj,0）に対応する３次元座標系Ｐｊの位置(xｊ’,yｊ’,zｊ’)を算出し、狭帯域分光画像ＩｍｇＤｉに対応する通常画像ＩｍｇＥｉの位置（xj,yj,0）に対しても同じ３次元座標系Ｐｊの位置(xｊ’,yｊ’,zｊ’)を対応付けてもよい。
【００９３】
そして、内視鏡ボリュームデータ生成手段１０６は、通常画像ＩｍｇＥｉの各画素の画素値を、第１の実施形態に記載した方法で３次元座標系の位置Ｐｊに挿入し、通常画像ＩｍｇＥｉによる内視鏡ボリュームデータＶＥを生成する。また、狭帯域分光画像ＩｍｇＤｉの各画素の画素値を、第１の実施形態に記載した方法で３次元座標系Ｐｊに挿入し、狭帯域分光画像ＩｍｇＤｉから内視鏡ボリュームデータＶＥＤを生成する。このように、通常画像ＩｍｇＥｉと狭帯域分光画像ＩｍｇＤｉは同じ座標系に位置合わせができているため、一方の画像上の各画素に対して位置算出処理を行い、この結果を、他方の画像上の各画素に対して適用すれば、計算負荷を低減し、計算の高速化を図ることができる。
【００９４】
また、狭帯域分光画像ＩｍｇＤｉから内視鏡再構成画像ＩｍｇＲＥを生成すれば、解剖学的構造物の表面の色や質感の情報と形状を併せて捉えることができるボリュームレンダリング法等による内視鏡再構成画像ＩｍｇＲＤにより、種々の解析及び表示をおこなうことができ、より高精度な診断に資する。
【００９５】
また、通常画像ＩｍｇＥｉに対する演算処理によって狭帯域バンドパスフィルタを用いて得られた狭帯域分光画像と同等の画像を作成する方式においても、上記同様、通常画像ＩｍｇＥｉおよび演算処理後の狭帯域分光画像ＩｍｇＤｉのいずれかにの各画素に対して位置算出処理を行い、この結果を、他方の画像上の各画素に対して適用して、同じ効果を得ることができる。
【００９６】
次に、本発明の第２の実施形態について以下に説明する。図５は、第２の実施形態の機能ブロック図である。本発明の第２の実施形態は、未対応領域抽出手段１１０および医用画像生成手段１０９をさらに備えたこと以外は、内視鏡画像処理装置１のハードウェア構成、機能ブロックは、第１の実施形態と同様である。
【００９７】
未対応領域抽出手段１１０は、内視鏡ボリュームデータＶＥから、所定の位置から撮影された内視鏡画像を構成する画素に対応しない３次元的な位置からなる未対応領域Ｒｕを抽出する。
【００９８】
ここで、内視鏡ボリュームデータＶＥのうち内視鏡画像の画素と３次元的な位置を対応付けられていない領域を「未対応領域」と称する。例えば、第１の実施形態によれば、内視鏡画像を構成する画素に対応する３次元的な位置を算出することにより、所定の画素の画素値が３次元的な位置に反映された内視鏡ボリュームデータＶＥが生成されるため、解剖学的構造物内のポリープ等の凹凸形状や湾曲形状のために内視鏡画像に映っていない領域等の解剖学的構造物内の未撮影領域は、内視鏡画像の画素と３次元的な位置を対応付けることができない。また、内視鏡画像の一部のみに本発明の内視鏡画像処理を行った場合など、内視鏡画像の画素と３次元的な位置の対応付けを行っていない場合もある。このような場合に、内視鏡画像を構成する画素に対応しない３次元的な位置からなる未対応領域Ｒｕが生ずる可能性がある。
【００９９】
未対応領域抽出手段１１０は、本第２の実施形態では、解剖学的構造物を構成する画素のうち画素値が初期値から変更されていない画素を検出し、これらの抽出された画素からなる領域を未対応領域Ｒｕとして抽出する。
【０１００】
また、医用画像生成手段１０９は、ストレージ２から取得したボリュームデータＶから医用画像ＩｍｇＲｖを生成する。本第２の実施形態では、医用画像ＩｍｇＲｖとしてボリュームレンダリング法によりボリュームレンダリング画像を生成するものとする。医用画像ＩｍｇＲｖは、ボリュームデータＶから生成可能なものであれば何でもよいが、代表的なものとしてボリュームレンダリング法、サーフィスレンダリング法があげられる。
【０１０１】
図６は、第２の実施形態の処理の流れを表すフローチャートである。図７は、第２の実施形態の処理により医用画像ＩｍｇＲｖ上に未対応領域Ｒｕを表す指標Ｍを識別可能に表示した例を示す図である。図６および図７を用いて、第２の実施形態の処理を説明する。図６のうち、Ｓ１１からＳ１６までの処理は、先述の図２のＳ０１からＳ０６までの処理と同じであるため省略する。図３の斜線領域として例示するように、大腸の湾曲形状により内視鏡の撮影部の死角になった領域が未対応領域Ｒｕである。未対応領域Ｒｕは内視鏡画像Ｉｍｇｉに映っていないため、未対応領域Ｒｕを構成する３次元座標系の位置には内視鏡画像Ｉｍｇｉを構成する画素Ｐｊのいずれも対応付けられない。
【０１０２】
未対応領域抽出手段１１０は、内視鏡ボリュームデータＶＥから、所定の位置から撮影された内視鏡画像を構成する画素に対応しない３次元的な位置からなる未対応領域Ｒｕを抽出する（Ｓ１７）。第１の実施形態と同様、ボリュームデータＶと内視鏡ボリュームデータＶＥは同一の座標系に位置合わせがされているため、未対応領域抽出手段１１０は、ボリュームデータＶから抽出した解剖学的構造物を構成する各画素の位置を、そのまま、内視鏡ボリュームデータＶＥの座標系の、解剖学的構造物を構成する各画素の位置に相当するものとして内視鏡ボリュームデータＶＥにおいて解剖学的構造物を構成する画素を特定する。
【０１０３】
そして、未対応領域抽出手段１１０は、内視鏡ボリュームデータＶＥにおいて解剖学的構造物を構成する画素のうち、内視鏡ボリュームデータＶＥから画素値が初期値から変更されていない画素を検出し、未対応領域Ｒｕを構成する画素として抽出する。
【０１０４】
医用画像生成手段１０９は、ストレージ２から取得したボリュームデータＶから医用画像ＩｍｇＲｖとしてボリュームレンダリング画像を生成する（Ｓ１８）。
【０１０５】
表示制御手段１０８は、未対応領域抽出手段１１０から３次元座標系における未対応領域Ｒｕを取得し、ディスプレイ３上に、ボリュームデータＶから生成された医用画像ＩｍｇＲｖと併せて医用画像上に未対応領域Ｒｕを表す指標Ｍを識別可能に表示させて第２の実施形態の処理を終了する（Ｓ１９）。本実施形態では、表示制御手段１０８は、未対応領域Ｒｕを構成する画素に対して、所定の色と透明度を設定し、図７に示すように、ボリュームレンダリング画像上に未対応領域Ｒｕを表す指標Ｍを、解剖学的構造物のその他の領域と色を変えることで識別可能に表示する。
【０１０６】
未対応領域を表す指標として、円、矩形、閉曲面など、様々な形状の周知の指標を用いることができ、さらに指標に色を付けたり、点滅させるなど様々な周知の表示方法を適用してもよい。なお、表示制御手段１０８が、未対応領域Ｒｕを表す指標Ｍを、医用画像ＩｍｇＲｖに合成してディスプレイ３に表示させてもよく、医用画像生成手段１０９が未対応領域Ｒｕを表す指標Ｍを含んだ医用画像ＩｍｇＲｖを生成し、表示制御手段１０８が、未対応領域Ｒｕを表す指標Ｍを含んだ医用画像ＩｍｇＲｖをディスプレイ３に表示させてもよい。
【０１０７】
また、第２の実施形態の変形例として、表示制御手段１０８は、医用画像上でなく、内視鏡ボリュームデータＶＥから生成された内視鏡再構成画像ＩｍｇＲＥ上に、未対応領域Ｒｕを表す指標Ｍをさらに表示させるものであってもよい。なお、未対応領域Ｒｕに相当する解剖学的構造物の形状を必ずしも識別可能に表示する必要はなく、例えば、未対応領域Ｒｕを透明に表示してもよい。また、解剖学的構造物の形状モデル等と内視鏡ボリュームデータＶＥの画素値が変更された領域の形状とをマッチングさせて、形状モデルに基づいて未対応領域Ｒｕの形状を補完し、未対応領域Ｒｕを構成する画素に適当な画素値を挿入してもよい。
【０１０８】
第２の実施形態によれば、内視鏡ボリュームデータＶＥのうち、内視鏡画像ＩｍｇＥｉから画素値を取得できなかった領域を認識することが容易である。また、医用画像ＩｍｇＲＶ上に未対応領域Ｒｕを表す指標を表示した場合には、内視鏡によって撮影されていない領域であっても、抽出された大腸等の解剖学的構造物の外形を表すことができるため、内視鏡画像から画素値を取得できなかった領域の形状も併せて認識することができる。
【０１０９】
上記の各実施形態はあくまでも例示であり、上記のすべての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。
【０１１０】
この他、上記の実施形態におけるシステム構成、ハードウェア構成、処理フロー、モジュール構成、ユーザインターフェースや具体的処理内容等に対して、本発明の趣旨から逸脱しない範囲で様々な改変を行ったものも、本発明の技術的範囲に含まれる。
【０１１１】
また、対応付け手段１０４は、解剖学的構造物の所定の位置から撮影された内視鏡画像と、所定の位置と対応する位置から撮影されたように仮想的に生成された比較仮想内視鏡画像を抽出できる方法であれば、周知の種々の方法を適用できる。例えば、所定の位置に内視鏡の先端部を配置して撮影した内視鏡画像を取得し、特許文献１または２に開示された方法により、所定の位置に配置された内視鏡の先端部の解剖学的構造物中の位置を検出して、該先端部の位置と対応する仮想内視鏡の視点の位置を取得し、先端部の位置と対応する仮想内視鏡の視点の位置に基づいて比較仮想内視鏡画像を抽出してもよい。また、解剖学的構造物の分岐部などのように識別可能な特徴を有する特定の領域を表す内視鏡画像と同領域を表す仮想内視鏡画像とをユーザによるマウス等の入力装置による操作により表示させ、両画像が対応する所定の位置を表示したことを示す入力をユーザ操作によるマウス等の入力装置等から受け付けて、入力信号を受け付けた際に表示されている内視鏡画像と仮想内視鏡画像を対応付けてもよい。
【０１１２】
また、位置あわせを行う場合に、予め撮影された内視鏡画像を用いる替わりに、内視鏡を内視鏡画像処理装置１に接続し、内視鏡画像処理装置１に接続された内視鏡から得られる撮影信号を処理して内視鏡画像を生成する内視鏡画像形成部を備え、被検体の解剖学的構造物を内視鏡によりリアルタイムに撮影した画像信号を所定のフレームレートで繰り返し形成し、形成された内視鏡画像を使用してもよい。
【０１１３】
モダリティは、上記のＣＴ装置のほか、ＭＲＩ装置等の仮想内視鏡画像を生成可能なボリュームデータを取得可能なモダリティを用いることができる。
【０１１４】
仮想内視鏡画像生成手段１０３は、本内視鏡画像処理方法の適用対象である解剖学的構造物を抽出し、仮想内視鏡の視点の経路を設定できるものであれば、周知の解剖学的構造物の抽出方法及び仮想内視鏡の視点の経路の設定方法を適用可能である。一例として、解剖学的構造物が血管である場合、特開２００４−３１３７３６号公報または特開２００６−１６７２８７号公報に記載された方法で血管領域を抽出しかつ血管の中心線を設定してもよい。また、仮想内視鏡の視点の経路となる、解剖学的構造物の中心線の設定をボリュームレンダリング法等で表示された画像上で解剖学的構造物内の複数の点をマウス等の入力装置を用いて手動で入力し、入力された複数の点をスプライン補間して芯線としてもよい。
【０１１５】
また、内視鏡画像処理装置１は、複数台のコンピュータにより、内視鏡画像取得手段、仮想内視鏡画像生成手段、対応付け手段、位置算出手段、内視鏡ボリュームデータ生成手段、内視鏡再構成画像生成手段、表示制御手段、医用画像生成手段および未対応領域抽出手段としての機能を分担する構成としてもよい。また、入力装置、ディスプレイ等、システムを構成する装置としては、公知のあらゆる装置を採用することができる。例えば、マウスに代えてジョイスティックを採用したり、ディスプレイに代えてタッチパネルを採用したりすることができる。
【０１１６】
上記の各実施形態はあくまでも例示であり、上記のすべての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。
【０１１７】
この他、上記の実施形態におけるシステム構成、ハードウェア構成、処理フロー、モジュール構成、ユーザインターフェースや具体的処理内容等に対して、本発明の趣旨から逸脱しない範囲で様々な改変を行ったものも、本発明の技術的範囲に含まれる。
【符号の説明】
【０１１８】
１ 内視鏡画像処理装置、 ２ ストレージ、 ３ ディスプレイ
５ 解剖学的構造物、
１０１ 内視鏡画像取得手段
１０２ ボリュームデータ取得手段
１０３ 仮想内視鏡画像生成手段
１０４ 対応付け手段
１０５ 位置算出手段
１０６ 内視鏡ボリュームデータ生成手段
１０７ 内視鏡再構成画像生成手段
１０８ 表示制御手段
１０９ 医用画像生成手段
１１０ 未対応領域抽出手段
【技術分野】
【０００１】
本発明は、被検体の解剖学的構造物に挿入された内視鏡下での手術や検査等における、内視鏡画像を処理する技術に関するものであり、特に、被検体の解剖学的構造物を表す仮想内視鏡画像を用いて内視鏡画像を処理する技術に関するものである。
【背景技術】
【０００２】
近年、患者の腸および気管支等に代表される解剖学的構造物を内視鏡を用いて観察または処置を行う技術が注目されている。
【０００３】
しかし、内視鏡画像は、ＣＣＤ等の撮像素子により解剖学的構造物内部の色や質感が鮮明に表現された画像が得られる一方で、解剖学的構造物の内部を２次元の画像に表すものであるため、解剖学的構造物内のどの位置を表している画像かを把握しにくく、所望の部位までの奥行き方向の情報が得られない。そこで、ＣＴ装置等のモダリティによる断層撮影で得られたボリュームデータから内視鏡と類似した画像を生成する仮想内視鏡技術を利用し、仮想内視鏡画像を用いて被検体の解剖学的構造物内の内視鏡の位置の把握を支援する技術が提案されている。
【０００４】
例えば、特許文献１には、内視鏡や手術の処置具の位置を位置検出センサによって検出し、内視鏡の挿入部の先端から術部の対象物までの距離を測定し、基準の３次元座標に対する内視鏡等の位置のデータおよび、予め用意された生体画像データから生成した３次元画像または２次元画像を画像合成回路に伝送し、内視鏡等の位置のデータと内視鏡等の形状データに基づいて、３次元画像上に、内視鏡等の形状データが合成表示される手術用ナビゲーションシステムが記載されている。
【０００５】
特許文献２には、内視鏡の先端に位置センサを設け、仮想内視鏡画像上で基準座標系における標的位置を指定し、標的位置に設定した点に対応する解剖学的構造物の位置に内視鏡の先端を移動させて配置し、位置センサにより３次元基準系に対する内視鏡のカテーテル先端の位置及び向きを計測することで、内視鏡の位置を基準座標系に位置合わせして、仮想内視鏡画像上にカテーテル先端および標的を表示する等の手術支援を行う技術が開示されている。
【０００６】
また、特許文献３には、予め取得した被験体の３次元画像から仮想内視鏡画像を生成し、仮想内視鏡画像と内視鏡により撮影されたリアル画像との誤差を算出し、算出した誤差が許容誤差以下になるまで、仮想内視鏡の視点の位置を移動して、移動した仮想内視鏡画像と内視鏡画像の誤差の算出を繰り返し、算出された誤差が許容誤差以下になったときに、仮想内視鏡画像の視線パラメータから内視鏡先端部の位置と方向を算出する装置が記載されている。
【０００７】
さらに、特許文献４には、被写体の視差のある２つの被写体像を伝達する立体視硬性内視鏡と被写体と立体視内視鏡との距離を求めるフォーカスコントローラと、立体内視鏡が伝達した２つの被写体像を撮像する右目映像用ＣＣＤと左目映像用ＣＣＤと被写体像の焦点可変部を有する立体ＴＶカメラと、被写体像の水平方向の表示領域を制御する撮像領域コントローラを備えることで、左右画像の不一致領域やピント輻輳との乖離を抑制する立体視内視鏡システムが開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００１−２０４７３８号公報
【特許文献２】特開２００９−２５４８３７号公報
【特許文献３】特開２００９−２７９２５１号公報
【特許文献４】特開２００５−３３４４６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１から３に記載された方法では、解剖学的構造物内での内視鏡の位置を把握することができても、ＣＴ装置等による断層撮影により得られるボリュームデータのようにボリュームレンダリング法や管状構造物を伸長展開して表す表示方法等の各種の周知の解析や画像表示方法を適用することができなかった。
【００１０】
また、特許文献４に記載された方法では、立体的に解剖学的構造物内部の様子を把握することができても、内視鏡画像自体をボリュームデータとするわけではないため、内視鏡画像に対してボリュームデータのように多様な画像解析及び画像表示方法を利用することはできなかった。
【００１１】
本発明は上記事情に鑑みてなされたものであり、被検体の解剖学的構造物に挿入された内視鏡により撮影された内視鏡画像に多様な画像表示方法または画像解析方法を適用可能にする内視鏡画像処理装置および方法、およびプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【００１２】
本発明の内視鏡画像処理装置は、被検体の解剖学的構造物に挿入された内視鏡により撮影された複数の内視鏡画像を取得する内視鏡画像取得手段と、断層撮影により取得された前記解剖学的構造物のボリュームデータを取得するボリュームデータ取得手段と、前記取得されたボリュームデータから前記解剖学的構造物の複数の仮想内視鏡画像を生成する仮想内視鏡画像生成手段と、前記取得された複数の内視鏡画像のうち前記解剖学的構造物の所定の位置から撮影された内視鏡画像と、前記取得された複数の仮想内視鏡画像のうち前記所定の位置と対応する位置から撮影されたように仮想的に生成された比較仮想内視鏡画像を抽出して対応付ける対応付け手段と、前記比較仮想内視鏡画像を構成する複数の画素のそれぞれの３次元的な位置に基づいて、前記所定の位置から撮影された内視鏡画像を構成する複数の画素のそれぞれ対応する３次元的な位置を算出する位置算出手段と、前記所定の位置から撮影された内視鏡画像を構成する複数の画素の個々の画素値とそれぞれの該画素について算出された前記３次元的な位置に基づいて、前記所定の位置から撮影された内視鏡画像からボリュームデータを生成する内視鏡ボリュームデータ生成手段を備えたことを特徴とするものである。
【００１３】
本発明の内視鏡画像処理方法は、被検体の解剖学的構造物に挿入された内視鏡により撮影された複数の内視鏡画像を取得し、断層撮影により取得された前記解剖学的構造物のボリュームデータを取得し、前記取得されたボリュームデータから前記解剖学的構造物の複数の仮想内視鏡画像を生成し、前記取得された複数の内視鏡画像のうち前記解剖学的構造物の所定の位置から撮影された内視鏡画像と、前記取得された複数の仮想内視鏡画像のうち前記所定の位置と対応する位置から撮影されたように仮想的に生成された比較仮想内視鏡画像を抽出して対応付けし、前記比較仮想内視鏡画像を構成する複数の画素のそれぞれの３次元的な位置に基づいて、前記所定の位置から撮影された内視鏡画像を構成する複数の画素のそれぞれ対応する３次元的な位置を算出し、前記所定の位置から撮影された内視鏡画像を構成する複数の画素の個々の画素値とそれぞれの該画素について算出された前記３次元的な位置に基づいて、前記所定の位置から撮影された内視鏡画像からボリュームデータを生成することを特徴とするものである。
【００１４】
本発明の内視鏡画像処理プログラムは、コンピュータを、被検体の解剖学的構造物に挿入された内視鏡により撮影された複数の内視鏡画像を取得する内視鏡画像取得手段と、断層撮影により取得された前記解剖学的構造物のボリュームデータを取得するボリュームデータ取得手段と、前記取得されたボリュームデータから前記解剖学的構造物の複数の仮想内視鏡画像を生成する仮想内視鏡画像生成手段と、前記取得された複数の内視鏡画像のうち前記解剖学的構造物の所定の位置から撮影された内視鏡画像と、前記取得された複数の仮想内視鏡画像のうち前記所定の位置と対応する位置から撮影されたように仮想的に生成された比較仮想内視鏡画像を抽出して対応付ける対応付け手段と、前記比較仮想内視鏡画像を構成する複数の画素のそれぞれの３次元的な位置に基づいて、前記所定の位置から撮影された内視鏡画像を構成する複数の画素のそれぞれ対応する３次元的な位置を算出する位置算出手段と、前記所定の位置から撮影された内視鏡画像を構成する複数の画素の個々の画素値とそれぞれの該画素について算出された前記３次元的な位置に基づいて、前記所定の位置から撮影された内視鏡画像からボリュームデータを生成する内視鏡ボリュームデータ生成手段として機能させることを特徴とするものである。
【００１５】
本発明において、上記解剖学的構造物は、被検体が人体であれば、食道、胃、十二指腸、大腸および気管支などの管状の内臓に代表されるものであるが、内視鏡を挿入可能なものであれば何でもよい。また、上記所定の位置は、解剖学的構造物の内部の任意の位置であれば何でもよい。例えば、腸の折曲部や目だったポリープが見つかった領域など、ユーザ等が解剖学的構造物内の他の領域と識別可能な形態を有する領域であってもよい。また、３次元的な位置は、座標で表されてもよく、ベクトルにより表されてもよく、３次元空間における位置を表す周知の方法で表すことができる。
【００１６】
また、本発明による対応付け手段は、解剖学的構造物の所定の位置から撮影された内視鏡画像と、所定の位置と対応する位置から撮影されたように仮想的に生成された比較仮想内視鏡画像を抽出できる方法であれば、周知の種々の方法を適用することができる。例えば、所定の位置に内視鏡の先端部を配置して撮影した内視鏡画像を取得し、特許文献１または２に開示された方法により、所定の位置に配置された内視鏡の先端部の解剖学的構造物中の位置を検出して、該先端部の位置と対応する仮想内視鏡の視点の位置を取得し、先端部の位置と対応する仮想内視鏡の視点の位置に基づいて比較仮想内視鏡画像を抽出してもよい。例えば、特許文献３に開示されたような内視鏡画像と仮想内視鏡画像とを比較し両画像の類似度により、内視鏡画像と比較仮想内視鏡画像を抽出してもよい。また、解剖学的構造物の分岐部などのように識別可能な特徴を有する特定の領域を表す内視鏡画像と同領域を表す仮想内視鏡画像とをユーザによるマウス等の入力装置による操作により表示させ、両画像が対応する所定の位置を表示したことを示す入力をユーザ操作によるマウス等の入力装置等から受け付けて、入力信号を受け付けた際に表示されている内視鏡画像と仮想内視鏡画像を対応付けてもよい。なお、このように類似度により対応付けられた内視鏡画像を撮影した所定の位置と仮想内視鏡画像の視点の位置は解剖学的構造物の同じ位置に対応していると考えられる。
【００１７】
なお、本発明の内視鏡画像処理装置において、１つの所定位置のみに対して、対応付け手段による上記の対応付けおよび３次元的な位置の算出を行ってもよく、複数の所定位置に対して、対応付け手段による上記の対応付けおよび３次元的な位置の算出を行ってもよい。
【００１８】
本発明による内視鏡画像処理方法において、前記内視鏡画像から生成された内視鏡ボリュームデータから再構成した内視鏡再構成画像を生成する内視鏡再構成画像生成手段と、前記生成された内視鏡再構成画像を表示装置に表示させる表示制御手段をさらに備えることが好ましい。
【００１９】
また、本発明による内視鏡画像処理装置における前記位置算出手段は、前記所定の位置から撮影された内視鏡画像を構成する複数の画素のうち所定の画素に対応付けて、複数の３次元的な位置を算出してもよい。さらに、前記位置算出手段は、前記所定の画素に対応する複数の３次元的な位置を球形状に配置するものであってもよく、所定の大きさを有する平面や曲面をなす形状に配置するものであってもよく、立方体、直方体等の多面体や、円錐、多角錐等の立体形状に配置するものであってもよい。なお、所定の画素に複数の３次元的な位置を対応付けることにより、所定の画素の画素値が複数の位置に反映された内視鏡ボリュームデータが生成されるため、複数の３次元的な位置は、互いに近傍の位置であることが好ましい。
【００２０】
また、本発明による内視鏡画像処理装置が内視鏡再構成画像生成手段を備えた場合、内視鏡再構成画像生成手段によって生成された内視鏡再構成画像は、前記解剖学的構造物の伸張展開画像または伸張断面画像であってもよい。また、内視鏡再構成画像は、これに限定されず、内視鏡ボリュームデータから表示または再構成可能なものであれば、何でもよい。
【００２１】
また、本発明において、前記内視鏡画像取得手段によって取得される内視鏡画像は、分光画像であってもよい。
【００２２】
なお、分光画像とは、固体撮像素子を用いた電子内視鏡装置により、主に可視光の波長領域を撮像して可視光領域画像を表す通常画像と、狭い波長帯域のみに光を透過させる複数種類の狭帯域バンドパスフィルタを通して消化器官（例えば胃等）の生体粘膜を撮像し上記生体粘膜の複数種類の狭帯域分光画像を得、これらの狭帯域分光画像を合成してなる診断用画像を生成する方式(Narrow Band Imaging-NBl)により得られる画像（特開２００６−３４１０７８号公報参照）、または、内視鏡により固体撮像素子上に複数種類の広帯域バンドパスフィルタからなるＲＧＢモザイクフィルタを配置して面同時方式で通常のカラー画像（通常画像ともいう）の撮像を行って、生体粘膜の撮像で得られた通常画像に基づく演算処理により上記狭帯域バンドパスフィルタを用いて得られた狭帯域分光画像と同等の画像を取得して上記のような診断用画像を作成する方式により得られる画像を指す（特開２００３−９３３３６号公報、特開２０１０−７５３６８号公報参照）。
【００２３】
また、伸張展開画像は、管腔臓器を直線状に伸長させ、さらに管を切り開いて内壁側を展開したような画像であり（例えば、特開２００６−６５３９７号公報参照）、伸長断面画像は、管腔臓器を直線状に伸長させ、管を縦切りにしたような画像である（例えば、特開平１１−３１８８８４号公報参照）。
【００２４】
また、本発明による内視鏡画像処理装置は、前記内視鏡ボリュームデータから、前記所定の位置から撮影された内視鏡画像を構成する画素に対応しない３次元的な位置からなる未対応領域を抽出する未対応領域抽出手段をさらに備えてもよい。
【００２５】
ここで、本発明では、内視鏡ボリュームデータのうち内視鏡画像の画素と３次元的な位置を対応付けられていない領域を「未対応領域」と称する。例えば、本発明によれば、内視鏡画像を構成する画素に対応する３次元的な位置を算出することにより、所定の画素の画素値が３次元的な位置に反映された内視鏡ボリュームデータが生成されるため、解剖学的構造物内のポリープ等の凹凸形状や湾曲形状のために内視鏡画像に映っていない領域等の解剖学的構造物内の未撮影領域は、内視鏡画像の画素と３次元的な位置を対応付けることができない場合がある。また、内視鏡画像の一部のみに本発明の内視鏡画像処理を行った場合など、内視鏡画像の画素と３次元的な位置の対応付けを行っていない場合もある。このような場合に、内視鏡画像を構成する画素に対応しない３次元的な位置からなる未対応領域が生ずるものである。
【００２６】
また、本発明による内視鏡画像処理装置が未対応領域抽出手段を備えた場合、前記ボリュームデータから医用画像を生成する医用画像生成手段をさらに備え、前記表示制御手段は、前記ボリュームデータから生成された医用画像上に、前記未対応領域を表す指標をさらに表示させるものであってもよい。
【００２７】
医用画像は、ボリュームデータから生成可能なものであれば何でもよいが、代表的なものとしてボリュームレンダリング法、サーフィスレンダリング法があげられる。
【００２８】
または、本発明による内視鏡画像処理装置が未対応領域抽出手段を備えた場合、前記表示制御手段は、前記内視鏡ボリュームデータから生成された内視鏡再構成画像上に、前記未対応領域を表す指標をさらに表示させるものであってもよい。
【００２９】
未対応領域を表す指標として、円、矩形、閉曲面など、様々な形状の周知の指標を用いることができ、さらに指標に色を付けたり、点滅させるなど様々な周知の表示方法を適用してもよい。
【発明の効果】
【００３０】
本発明の内視鏡画像処理装置、方法およびプログラムによれば、比較仮想内視鏡画像を構成する複数の画素のそれぞれの３次元的な位置に基づいて、所定の位置から撮影された内視鏡画像を構成する複数の画素のそれぞれ対応する３次元的な位置を算出し、所定の位置から撮影された内視鏡画像を構成する複数の画素の個々の画素値とそれぞれの画素について算出された３次元的な位置に基づいて、所定の位置から撮影された内視鏡画像からボリュームデータを生成するため、ＣＴ装置等のモダリティでは得られない、質感や色合いの情報を有するボリュームデータを生成することができる。また、通常の奥行き方向の情報を持たない内視鏡画像からは得らなかった、内視鏡ボリュームデータから再構成される画像表示または内視鏡ボリュームデータを用いた画像解析が可能となる。つまり、本発明の内視鏡画像処理装置、方法およびプログラムによれば、解剖学的構造物の内部をよりリアルな質感や色合いで表すことができるという内視鏡画像の利点と、多様な画像解析及び画像表示を利用可能とするボリュームデータの利点を併せ持つ内視鏡ボリュームデータを生成することにより、内視鏡画像を多様な画像診断又は画像解析に活用でき、より高精度な画像診断を支援することができる。
【００３１】
また、本発明による内視鏡画像処理装置において、内視鏡画像から生成された内視鏡ボリュームデータから再構成した内視鏡再構成画像を生成する内視鏡再構成画像生成手段と、生成された内視鏡再構成画像を表示装置に表示させる表示制御手段をさらに備えた場合には、従来の断層撮影から得たボリュームデータでは得られなかった、リアルな質感と色合いを持つ再構成画像を観察することが可能となり、より高精度な画像診断を支援することができる。
【００３２】
また、本発明による内視鏡画像処理装置における位置算出手段は、所定の位置から撮影された内視鏡画像を構成する複数の画素のうち所定の画素に対応付けて、複数の３次元的な位置を算出する場合には、例えば、解剖学的構造物のうち撮影部から遠い部分を表す内視鏡画像の画素に対して、複数の３次元的な位置を算出して、空間的に広がりを持った位置と対応付けることができ、内視鏡画像を構成する画素値を複数の３次元的な位置に反映させることができる。
【００３３】
なお、内視鏡画像は、内視鏡のＣＣＤカメラ等の撮影部から近い部分は大きく写り、撮影部から遠い部分は小さく写るという性質を有するため、撮影部から遠い部分を表す画素は、撮影部から近い部分を表す画素よりも少なくなる。このため、生成されるボリュームデータは、内視鏡画像の撮影部から遠い部分に対応する位置は、内視鏡画像の撮影部から近い部分より対応付けられる内視鏡画像の位置が少なく、内視鏡画像と対応するボリュームデータの位置がまばらになってしまう可能性がある。このため、内視鏡ボリュームデータのうち内視鏡画像の撮影部から遠く、対応する内視鏡画像の位置が少ない領域に、撮影部より遠い部分を表す内視鏡の画素に空間的に広がりを持った複数の３次元的な位置を算出して対応付けることにより、対応する内視鏡画像の画素が疎である領域の画素値を的確に補間し、内視鏡画像と対応するボリュームデータの位置がまばらになってしまうことを抑制し、各画素に適切な画素値が反映されたボリュームデータを生成することができる。
【００３４】
また、本発明による内視鏡画像処理装置が内視鏡再構成画像生成手段を備え、内視鏡再構成画像生成手段によって生成された内視鏡再構成画像が、解剖学的構造物の伸張展開画像または伸張断面画像のいずれかである場合には、従来の内視鏡画像では得られなかった画像観察が可能となり、より高精度な画像診断を支援することができる。
【００３５】
また、本発明による内視鏡画像処理装置は、内視鏡ボリュームデータから、所定の位置から撮影された内視鏡画像を構成する画素に対応しない３次元的な位置からなる未対応領域を抽出する未対応領域抽出手段をさらに備えた場合には、内視鏡ボリュームデータのうち、内視鏡画像から画素値を取得できなかった領域を認識することが容易である。
【００３６】
また、本発明による内視鏡画像処理装置が未対応領域抽出手段を備えた場合、ボリュームデータから医用画像を生成する医用画像生成手段をさらに備え、表示制御手段は、ボリュームデータから生成された医用画像上に、未対応領域を表す指標をさらに表示させるものである場合には、内視鏡ボリュームデータのうち、内視鏡画像から画素値を取得できなかった領域を認識することが容易である。
【００３７】
または、本発明による内視鏡画像処理装置が未対応領域抽出手段を備えた場合、表示制御手段は、内視鏡ボリュームデータから生成された内視鏡再構成画像上に、未対応領域を表す指標をさらに表示させるものである場合には、内視鏡ボリュームデータのうち、内視鏡画像から画素値を取得できなかった領域を認識することが容易である。
【図面の簡単な説明】
【００３８】
【図１】第１の実施形態における内視鏡画像処理装置の機能ブロック図
【図２】第１の実施形態における内視鏡画像処理の流れを表したフローチャート
【図３】第１の実施形態における内視鏡画像と比較仮想内視鏡画像を対応付けた例を説明する図
【図４】第１の実施形態において内視鏡画像上の画素の対応する３次元的な位置を算出する方法を説明する図
【図５】第２の実施形態における内視鏡画像処理装置の機能ブロック図
【図６】第２の実施形態における内視鏡画像処理の流れを表したフローチャート
【図７】第２の実施形態で表示される不対応領域を表す指標を付した医用画像の例を表した図
【図８】第１の実施形態で生成される伸長展開画像の例を示す図
【発明を実施するための形態】
【００３９】
以下、本発明の内視鏡画像処理装置、内視鏡画像処理プログラムおよび内視鏡画像処理方法の実施形態について、図面を参照しながら詳細に説明する。
【００４０】
図１に、医師が使用するワークステーションに、診断支援プログラムをインストールすることにより実現された診断支援装置の概略構成を示す。診断支援装置１は、標準的なワークステーションの構成として、プロセッサおよびメモリ（いずれも図示せず）を備え、さらに、ＨＤＤ（Hard Disk Drive）やＳＳＤ(Solid State Drive)等のストレージ２を備えている。また、内視鏡画像処理装置１には、ディスプレイ３と、マウス、キーボード等の入力装置４が接続されている。
【００４１】
診断支援プログラムと診断支援プログラムが参照するデータ（後述する変換テーブル等）は、インストール時にストレージ２に記憶され、起動時にメモリにロードされる。診断支援プログラムは、ＣＰＵに実行させる処理として、内視鏡画像取得処理と、仮想内視鏡画像取得処理と、解剖学的構造物の所定の位置から撮影された内視鏡画像と所定の位置と対応する位置から撮影されたように仮想的に生成された比較仮想内視鏡画像を抽出して対応付ける対応付け処理と、所定の位置から撮影された内視鏡画像を構成する複数の画素のそれぞれ対応する３次元的な位置を算出する位置算出処理と、所定の位置から撮影された内視鏡画像からボリュームデータを生成する内視鏡ボリュームデータ生成手段処理と、内視鏡ボリュームデータＶＥから内視鏡再構成画像を生成する内視鏡再構成画像生成処理と、および表示制御処理を規定している。
【００４２】
そして、プログラムの規定にしたがって、ＣＰＵが上記各処理を実行することにより、汎用のワークステーションは、被検体の解剖学的構造物に挿入された内視鏡により撮影された複数の内視鏡画像を取得する内視鏡画像取得手段１０１と、断層撮影により取得された解剖学的構造物のボリュームデータを取得するボリュームデータ取得手段１０２と、取得されたボリュームデータから解剖学的構造物の複数の仮想内視鏡画像を生成する仮想内視鏡画像生成手段１０３と、取得された複数の内視鏡画像のうち解剖学的構造物の所定の位置から撮影された内視鏡画像と、取得された複数の仮想内視鏡画像のうち所定の位置と対応する位置から撮影されたように仮想的に生成された比較仮想内視鏡画像を抽出して対応付ける対応付け手段１０４と、比較仮想内視鏡画像を構成する複数の画素のそれぞれの３次元的な位置に基づいて、所定の位置から撮影された内視鏡画像を構成する複数の画素のそれぞれ対応する３次元的な位置を算出する位置算出手段１０５と、所定の位置から撮影された内視鏡画像を構成する複数の画素の個々の画素値とそれぞれの画素について算出された３次元的な位置に基づいて、所定の位置から撮影された内視鏡画像からボリュームデータを生成する内視鏡ボリュームデータ生成手段１０６と、内視鏡画像から生成された内視鏡ボリュームデータＶＥから再構成した内視鏡再構成画像ＩｍｇＲＥを生成する内視鏡再構成画像生成手段１０７と、生成された内視鏡再構成画像ＩｍｇＲＥを表示装置３に表示させる表示制御手段１０８として機能する。
【００４３】
ストレージ２には、撮影を担当する検査部門から転送された、ボリュームデータおよび動画像を構成する複数の内視鏡画像、もしくはデータベース検索により取得された内視鏡画像およびボリュームデータが、記憶される。ボリュームデータは、マルチスライスＣＴ装置等から直接出力されたボリュームデータでもよいし、従来型のＣＴ装置等から出力された２次元のスライスデータ群を再構成することにより生成されたボリュームデータでもよい。なお、本明細書においては、１回の内視鏡撮影により撮影された動画ＩｍｇＥを構成する各フレームを内視鏡画像ＩｍｇＥｉ（１≦ｉ≦ｍ）（ｍは全フレーム数）と呼ぶ。
【００４４】
内視鏡画像処理装置１は、選択メニューにおいて所定の診断支援機能が選択されたことを検出すると、ユーザに、ボリュームデータの特定に必要な情報の選択または入力を促す。そして、ユーザの操作により、ボリュームデータが特定されると、ストレージ２からメモリに、該当するボリュームデータをロードする。
【００４５】
以下、図１で示す内視鏡画像処理装置１に備えられた各機能ブロックについて詳細に説明する。
【００４６】
内視鏡画像取得手段１０１は、ストレージ２から被検体の解剖学的構造物に挿入された内視鏡により撮影された複数の内視鏡画像ＩｍｇＥｉ（１≦ｉ≦ｍ）からなる動画像ＩｍｇＥを受信し、内視鏡画像処理装置１の所定のメモリ領域に格納する通信インターフェース機能を有する。
【００４７】
ボリュームデータ取得手段１０２は、ストレージ２からＣＴ装置による断層撮影により取得された解剖学的構造物のボリュームデータＶを受信し、内視鏡画像処理装置１の所定のメモリ領域に格納する通信インターフェース機能を有する。
【００４８】
仮想内視鏡画像生成手段１０３は、取得されたボリュームデータから周知の方法により解剖学的構造物の複数の仮想内視鏡画像ＩｍｇＶｇ（１≦ｇ≦ｈ）を生成し、内視鏡画像処理装置１の所定のメモリ領域に記憶する。なお、ｇ、ｈは正の整数である。
【００４９】
対応付け手段１０４は、取得された複数の内視鏡画像のうち解剖学的構造物の所定の位置から撮影された内視鏡画像ＩｍｇＥｉと、取得された複数の仮想内視鏡画像のうち所定の位置と対応する位置から撮影されたように仮想的に生成された比較仮想内視鏡画像ＩｍｇＶｉを抽出して対応付ける（ｉはｍ以下の正の整数）。
【００５０】
なお、本実施形態では、対応付け手段１０４は、内視鏡撮影により得られた動画像を構成する複数のフレームから、所定の時間間隔ごとに１フレームを抽出し、抽出された複数のフレーム、すなわち内視鏡画像ＩｍｇＥｉ（１≦ｉ≦ｍ１）のそれぞれに対して、特許文献３に示す方法により、それぞれ類似する比較仮想内視鏡画像ＩｍｇＶｉ（１≦ｉ≦ｍ１）を抽出して対応付ける。
【００５１】
位置算出手段１０５は、比較仮想内視鏡画像ＩｍｇＶｉを構成する複数の画素Ｑｐｊ（１≦ｊ≦ｎ、ｎは比較仮想内視鏡画像ＩｍｇＶｉの画素数）のそれぞれの３次元的な位置に基づいて、所定の位置から撮影された内視鏡画像ＩｍｇＥｉを構成する複数の画素Ｐｐｊのそれぞれ対応する画素Ｐｊの３次元的な位置を算出する。
【００５２】
内視鏡ボリュームデータ生成手段１０６は、所定の位置から撮影された内視鏡画像を構成する複数の画素Ｐｐｊの個々の画素値とそれぞれの画素について算出された３次元的な位置に基づいて、所定の位置から撮影された内視鏡画像から内視鏡ボリュームデータＶＥを生成する。
【００５３】
内視鏡再構成画像生成手段１０７は、内視鏡画像から生成された内視鏡ボリュームデータＶＥから再構成した内視鏡再構成画像を生成する。内視鏡再構成画像は、ボリュームデータから再構成可能なものであれば、何でもよく、ボリュームレンダリング法で生成されたボリュームレンダリング画像でもよく、サーフィスレンダリング画像でもよく、伸長展開画像でもよく、断面展開画像でもよく、任意の面の断層像でもよく、種々の周知の表示方法または解析方法で生成された画像であってよい。
【００５４】
表示制御手段１０８は、生成された内視鏡再構成画像をディスプレイ３に表示させる。
【００５５】
ここでは、ある患者の検査において、マルチスライスＣＴ装置による撮影が行われ、大腸の情報を含むボリュームデータが取得されているものとする。
【００５６】
まず、内視鏡１による被検体の解剖学的構造物内部の大腸の動画撮影により、撮影された動画ＩｍｇＥが取得され、ネットワークを介して不図示のデータベースに記憶されている。また、ＣＴ装置による同じ被検体の腹部の撮像により、大腸の情報を含むボリュームデータＶが形成されて同様に不図示のデータベースに記憶されている。ユーザが解剖学的構造物である大腸の内視鏡画像処理機能を選択し、その患者の識別子や検査日を入力すると、該当するボリュームデータＶおよび内視鏡画像ＩｍｇＥを構成する複数の内視鏡画像ＩｍｇＥｉ（１≦ｉ≦ｍ）が取得されてストレージ２に記憶され、本発明の内視鏡画像処理が実行される。
【００５７】
図２は本発明の内視鏡画像処理方法の好ましい実施形態を示すフローチャートであり、図３は内視鏡画像と仮想内視鏡画像の対応付けを説明する図、図４は図３で対応付けられた内視鏡画像と仮想内視鏡画像を用いて、内視鏡画像を構成する画素に３次元的な位置を算出する方法を説明する図、図８は本実施形態により表示される伸長展開画像のイメージを表す図である。図２、図３、図４および図８を参照して本実施形態の内視鏡画像処理方法について説明する。
【００５８】
まず、内視鏡画像取得手段１０１が、ストレージ２から被検体の解剖学的構造物に挿入された内視鏡により撮影された動画像ＩｍｇＥを構成する複数の内視鏡画像ＩｍｇＥｉ（１≦ｉ≦ｍ）を取得するとともに、ボリュームデータ取得手段１０２がストレージ２からＣＴ装置による断層撮影により取得されたボリュームデータＶを取得する（Ｓ０１）。
【００５９】
次に、仮想内視鏡画像生成手段１０３が、取得されたボリュームデータから解剖学的構造物の複数の仮想内視鏡画像ＩｍｇＶｇ（１≦ｇ≦ｈ）を生成する（Ｓ０２）。仮想内視鏡画像生成手段１０３は、解剖学的構造物である大腸領域を検出するとともに大腸中心線ＣＬを設定し、大腸中心線ＣＬ上の各位置に仮想内視鏡の視点を配置した複数の仮想内視鏡画像ＩｍｇＶｇ（１≦ｇ≦ｈ）を、大腸中心線ＣＬに沿って想内視鏡の視点を移動させて生成する。なお、ここでは、大腸領域の抽出及び大腸中心線の抽出には、“Colon centreline calculation for CT colonography using optimised 3D topological thinning.”, Proceedings of the 1st International Symposium on 3D Data Processing Visualization and Transmission, IEEE Computer Society, pp.800-803, 2002に記載された方法を用いたものとする。本実施形態では、比較仮想内視鏡画像を抽出するために十分に多い数ｈ（ｈ≧ｍ１）の仮想内視鏡画像が再構成されるものとする。
【００６０】
そして、対応付け手段１０４は、取得された複数の内視鏡画像ＩｍｇＥｉ（１≦ｉ≦ｍ）を所定の時間間隔でサンプリングし、サンプリングされた内視鏡画像ＩｍｇＥｉ（１≦ｉ≦ｍ１）のうち、解剖学的構造物の所定の位置から撮影された内視鏡画像ＩｍｇＥｉと、取得された複数の仮想内視鏡画像ＩｍｇＶｇ（１≦ｇ≦ｈ）のうち所定の位置と対応する位置から撮影されたように仮想的に生成された比較仮想内視鏡画像ＩｍｇＶｉを抽出して対応付ける（Ｓ０３）。
【００６１】
図３に示すように、対応付けられた内視鏡画像ＩｍｇＥｉおよび比較仮想内視鏡画像ＩｍｇＶｉは解剖学的構造物の湾曲部Ｒｉをほぼ同じサイズで表示画像上の同じ位置に表している。仮想内視鏡画像ＩｍｇＶｉを生成する過程で、仮想内視鏡生成手段１０３は、ＣＴ装置で撮影されたボリュームデータＶから、内視鏡撮影を行った内視鏡撮影システムに応じて予め与えられた内視鏡の固体撮像素子の位置、向き、画角等の撮影パラメータに基づいて仮想内視鏡画像ＩｍｇＶｉを生成しているため、内視鏡画像ＩｍｇＥｉと比較仮想内視鏡画像ＩｍｇＶｉとは、解剖学的構造物の同じ位置および同じ向きに内視鏡先端部Ｐｃと仮想内視鏡の視点Ｑｃを配置し、同じ焦点距離や画角等の条件で大腸内の同じ領域を表したものとなっている。
【００６２】
次いで、位置算出手段１０５は、比較仮想内視鏡画像をＩｍｇＶｉ構成する複数の画素Ｑｐｊのそれぞれの３次元的な位置に基づいて、所定の位置から撮影された内視鏡画像ＩｍｇＥｉを構成する複数の画素Ｐｐｊのそれぞれ対応する３次元的な位置を算出する（Ｓ０４）。
【００６３】
以下、図４を参照しながら、大腸を例に、本実施形態の位置算出手段１０５の処理の詳細について説明する。図４左は、大腸５に挿入された内視鏡の撮影部Ｐｃ（内視鏡の先端部）と内視鏡画像ＩｍｇＥｉの位置関係を表し、図４右は、ＣＴ撮影により得られたボリュームデータから抽出された大腸５に挿入された仮想内視鏡の視点Ｑｃと仮想内視鏡画像ＩｍｇＶｉの位置関係を表している。図４左に示すように、ＸＹ平面上に配置された内視鏡画像ＩｍｇＥｉは内視鏡の経路Ｐａｔｈ上の内視鏡先端Ｑｃに設置された内視鏡の撮影部から撮影されたものである。図４右に示すように、ＸＹ平面上に投影された仮想内視鏡画像ＩｍｇＶｉは大腸中心線ＣＬ上の仮想内視鏡の視点Ｑｃに基づいて生成されたものである。
【００６４】
まず、位置算出手段１０５は、内視鏡画像ＩｍｇＥｉと比較仮想内視鏡画像ＩｍｇＶｉを同じサイズかつ同じ解像度となるように適宜調整し、内視鏡画像ＩｍｇＥｉの各画素の位置Ｐｐｊ(xｊ,yｊ,0)（１≦ｊ≦ｎ）と比較仮想内視鏡画像ＩｍｇＶｉを構成する各画素の位置Ｑｐｊ(xｊ,yｊ,0)がＸＹ平面で１対１に対応するように正規化する。
【００６５】
その後、位置算出手段１０５が、仮想内視鏡画像ＩｍｇＶｉ上の各画素にそれぞれ対応するボリュームデータの３次元座標系の位置を算出する。この方法を以下に説明する。
【００６６】
仮想内視鏡画像ＩｍｇＶｉ上の位置Ｑｐｊ(xｊ,yｊ,0) （１≦ｊ≦ｎ）に投影される画素値は、焦点距離をfとするとき、視点Ｑｃから延びる以下のベクトルｖｊ上に位置する画素値である。なお、ｎは仮想内視鏡画像ＩｍｇＶｉの画素数である。
【数１】
【００６７】
仮想内視鏡画像を生成する工程で、仮想内視鏡画像生成手段１０３は、視点Ｑｃから延びるベクトルｖｊ上の画素のうち、解剖学的構造物の内壁上の画素Ｑｊ(xｊ’,yｊ’,zｊ’)の画素値を投影する。例えば、ボリュームレンダリング法で仮想内視鏡を生成する際に、解剖学的構造物の内壁の不透明度を１．０に設定することにより、解剖学的構造物の内壁上の位置Ｑｊの画素値を、Ｑｐｊ(xｊ,yｊ,0)に投影できる。
【００６８】
この工程と併せて、仮想内視鏡画像生成手段１０３は、仮想内視鏡画像ＩｍｇＶｉの全画素について各Ｑｐｊ(xｊ,yｊ,0)に投影される解剖学的構造物の内壁上の位置Ｑｊ(xｊ’,yｊ’,zｊ’)をそれぞれ抽出する。そして、視点ＱｃとＱｊ(xｊ’,yｊ’,zｊ’)との間の距離ｔｊを以下の式（２）により算出し（１≦ｊ≦ｎ）、Ｑｐｊ(xｊ,yｊ,0)と対応付けて記憶しておく。
【数２】
【００６９】
ボリュームデータＶの座標系に対する視点Ｑｃの位置と向きをそれぞれ、位置ベクトルｑｃ、向き(行列)Ｒｃとし、視点Ｑ１から仮想内視鏡画像ＩｍｇＶｉ上の位置Ｑｐｊ(xｊ,yｊ,0)に延びるベクトルをｖｊとし、視点Ｑｃから３次元座標系の位置Ｑｊとの距離をｔｊとすると、仮想内視鏡画像ＩｍｇＶｉの点Ｑｐｊ(xｊ,yｊ,0)に投影されている３次元座標系の位置Ｑｊは以下の式（３）により特定することができる。
【数３】
【００７０】
位置算出手段１０５は、メモリから、比較仮想内視鏡画像ＩｍｇＶｉを構成する各画素Ｑｐｊのそれぞれに対して、対応付けられたボリュームデータの座標系におけるＱｊの位置を取得する。そして、比較仮想内視鏡画像ＩｍｇＶｉを構成する画素の位置Ｑｐｊに対応する画素の位置Ｑｊ(xｊ’,yｊ’,zｊ’)を、Ｑｐｊ(xｊ,yｊ,0)とＸＹ平面上の同位置に相当する内視鏡画像上の位置Ｐｐｊ(xｊ,yｊ,0) に対応する３次元的な位置Ｐｊ(xｊ’,yｊ’,zｊ’)として算出する。
【００７１】
位置算出手段１０５は、内視鏡画像ＩｍｇＥｉ上の全ての画素の位置Ｐｐｊ（１≦ｊ≦ｎ）に対して、同様にそれぞれ対応する３次元的な位置Ｐｊを算出する。そして、位置算出手段１０５は、各内視鏡画像上の位置Ｐｐｊと対応付けてそれぞれ対応する３次元的な位置Ｐｊをメモリに記憶する。
【００７２】
次いで、内視鏡ボリュームデータ生成手段１０６は、所定の位置から撮影された内視鏡画像ＩｍｇＥｉを構成する複数の画素Ｐｐｊ(xｊ,yｊ,0)の個々の画素値とそれぞれの画素について算出された３次元的な位置に基づいて、所定の位置から撮影された内視鏡画像から内視鏡ボリュームデータＶＥを生成する。本実施形態においては、内視鏡ボリュームデータ生成手段１０６は、図４左における内視鏡画像ＩｍｇＥｉの全ての画素について、各画素の位置Ｐｐｊ(xｊ,yｊ,0)の画素値を、算出されたそれぞれの３次元座標系の位置Ｐｊの画素値として挿入する（Ｓ０５）。
【００７３】
ここで、本実施形態では、複数の内視鏡画像ＩｍｇＥｉ（１≦ｉ≦ｍ１）ごとにＳ０３からＳ０５の処理を行う。このため、例えば、内視鏡画像ＩｍｇＥｋ（ｋはｍより小さい自然数）と内視鏡画像ＩｍｇＥｋ＋１等の連続する複数のフレームに解剖学的構造物の同じ領域が撮影されている。このため、一つの３次元座標系の位置Ｐｆ(xｆ,yｆ,zｆ)に対して、内視鏡画像ＩｍｇＥｋの位置Ｐｐｆ１と内視鏡画像ＩｍｇＥｋ＋１の位置Ｐｐｆ２等の複数の位置が対応付けられる。
【００７４】
１つの３次元座標系の位置に、異なる撮影位置から撮影された複数の内視鏡画像上の位置が対応付けられている場合の、内視鏡ボリュームデータ生成手段１０６の処理を説明する。ここでは、３次元座標系の位置Ｐｆに内視鏡画像ＩｍｇＥｋ上の位置Ｐｐｆ１と、ＩｍｇＥｋ＋１上の位置Ｐｐｆ２が対応付けられているとする。内視鏡ボリュームデータ生成手段１０６は、３次元座標系の位置Ｐｆと位置Ｐｐｆ１、Ｐｐｆ２とのそれぞれ距離に基づいて、位置Ｐｆ１、Ｐｆ２の画素値にそれぞれ距離に応じた色彩や輝度の補正を行う処理を行った後、位置Ｐｆ１、Ｐｆ２の画素値を平均した画素値を３次元座標系の位置Ｐｆの画素値として挿入する。
【００７５】
以上のように、内視鏡ボリュームデータ生成手段１０６は、３次元座標系の位置Ｐｆに対応付けられた、複数の内視鏡画像上の画素の画素値を処理した後に平均し、３次元座標系の位置Ｐｆの画素値として挿入する工程を、位置算出手段１０６により算出された３次元座標系の位置Ｐｆ（１≦ｆ≦ｌ）の全てに対して行って、内視鏡ボリュームデータＶＥを生成する。なお、ｌは位置算出手段１０５により算出された、内視鏡画像ＩｍｇＥｉを構成する複数の画素Ｐｐｊにそれぞれ対応する３次元座標系の画素数である。
【００７６】
そして、内視鏡再構成画像生成手段１０７は、内視鏡画像から生成された内視鏡ボリュームデータＶＥから再構成した内視鏡再構成画像ＩｍｇＲＥを生成する（Ｓ０６）。ここでは、内視鏡再構成画像ＩｍｇＲＥとして周知の方法により図８に示すような伸長展開表示画像を生成する。
【００７７】
表示制御手段１０８は、図５に示すように、生成された内視鏡再構成画像ＩｍｇＲＥをディスプレイ３に表示して本実施形態の内視鏡画像の処理を終了する（Ｓ０７）。
【００７８】
以上のように、本実施形態によれば、内視鏡画像ＩｍｇＥｉからボリュームデータＶＥを生成するため、ＣＴ装置等のモダリティでは得られない、質感や色合いの情報を有するボリュームデータを生成することができる。また、通常の奥行き方向の情報を持たない内視鏡画像からは得らなかった、内視鏡ボリュームデータＶＥから再構成される画像表示または内視鏡ボリュームデータＶＥを用いた画像解析が可能となる。つまり、解剖学的構造物の内部をよりリアルな質感や色合いで表すことができるという内視鏡画像の利点と、多様な画像解析及び画像表示を利用可能とするボリュームデータの利点を併せ持つ内視鏡ボリュームデータＶＥを生成することにより、内視鏡画像を多様な画像診断又は画像解析に活用でき、より高精度な画像診断を支援することができる。
【００７９】
また、本実施形態によれば、内視鏡画像から生成された内視鏡ボリュームデータＶＥから再構成した内視鏡再構成画像ＩｍｇＲＥを生成する内視鏡再構成画像生成手段１０７と、生成された内視鏡再構成画像ＩｍｇＲＥを表示装置に表示させる表示制御手段１０８を備えているため、従来の断層撮影から得たボリュームデータでは得られなかった、リアルな質感と色合いを持つ内視鏡再構成画像ＩｍｇＲＥを観察することが可能となり、より高精度な画像診断を支援することができる。
【００８０】
また、内視鏡再構成画像生成手段１０７によって生成された内視鏡再構成画像ＩｍｇＲＥが、解剖学的構造物の伸張展開画像であるため、従来の内視鏡画像では得られなかった、画像観察が可能となり、より高精度な画像診断を支援することができる。
【００８１】
また、解剖学的構造物の複数の所定の位置で得られた内視鏡画像に対して本実施形態の処理を行うことにより、複数の撮影位置から撮影した複数の内視鏡画像から解剖学的構造物のより広い範囲の画素値を取得し、解剖学的構造物の広範囲にわたり内視鏡ボリュームデータＶＥを生成することができる。また、解剖学的構造物の凹凸や湾曲により、内視鏡画像に写らない領域が生じて、内視鏡ボリュームデータＶＥに挿入すべき画素値が取得できない領域が生ずることを抑制できる。なお、１枚の内視鏡画像や内視鏡画像の所定の領域のみから内視鏡ボリュームデータＶＥを作成してもよいが、内視鏡の画角や角度により、内視鏡ボリュームデータＶＥの作成できる範囲が制限されるため、本実施形態のように、異なる所定の位置から撮影された複数の内視鏡画像から内視鏡ボリュームデータＶＥを生成することが好ましい。また、異なる所定の位置は、対応付け処理や位置算出処理の計算付加を極端に増大させないように、解剖学的構造物の所望の観察対象領域の撮影漏れがない程度に、適当な間隔に離間するものであってよい。
【００８２】
また、本実施形態によれば、異なる撮影位置から撮影された複数の内視鏡画像上の位置を１つの３次元座標系の位置Ｐｚに対応付け、複数の内視鏡画像上の前記同一位置を示す位置の画素の画素値に基づいて、３次元座標系の位置Ｐｚの画素値を決定するため、より精度の高い画素値を有する内視鏡ボリュームデータＶＥを生成することができる。また、前記同一位置を示す複数の画素の画素値に対して、算出された内視鏡の撮影部（固体撮像素子の取り付けられた位置）と解剖学的構造物の同一位置との間の距離に応じた補正を行うことで、内視鏡の撮影部や光源と解剖学的構造物との距離に応じて生ずる色合いや明るさ等の誤差を低減することができる。なお、複数の内視鏡画像上の同一位置を示す位置の画素の画素値から内視鏡ボリュームデータＶＥに挿入する画素値を決定する方法は、１つの３次元座標系の位置Ｐｚに対応付けられた複数の画素の平均値を取るかわりに、算出された内視鏡の撮影部と解剖学的構造物の同一位置Ｐｚとの間の距離があらかじめ設定した距離から誤差の範囲内であるときの画素値を選択してもよく、複数の画素の種々の周知の方法を適宜適用できる。
【００８３】
また、本実施形態の変形例として、位置算出手段１０５は、所定の位置から撮影された内視鏡画像ＩｍｇＥｉを構成する複数の画素のうち所定の画素に対応付けて、複数の３次元的な位置を算出してもよい。内視鏡画像の所定の画素に対して、複数の３次元的な位置を算出して、空間的に広がりを持った位置と対応付けることができ、内視鏡画像を構成する画素値を複数の３次元的な位置に反映させることができるためである。なお、本変形例の場合、所定の画素の画素値が複数の位置に反映された内視鏡ボリュームデータＶＥが生成されるため、複数の３次元的な位置は、互いに近傍の位置であることが好ましい。
【００８４】
例えば、内視鏡画像は、解剖学的構造物の内部のうち、内視鏡のＣＣＤカメラ等の撮影部から近い領域は大きく写り、撮影部から遠い領域は小さく写るという性質を有するため、同じサイズの領域に対して、撮影部から遠い領域を表す画素数は、撮影部から近い領域を表す画素数よりも少なくなる。このため、生成されるボリュームデータは、内視鏡画像の撮影部Ｐｃから遠い領域に対応する位置は、内視鏡画像の撮影部Ｐｃから近い領域より対応付けられる内視鏡画像の位置が少なく、内視鏡画像の位置Ｐｐｊと対応する位置Ｐｊが内視鏡ボリュームデータＶＥの３次元座標系でまばらにしか存在しない可能性がある。
【００８５】
このため、例えば図４に示すように、位置算出手段１０４は、内視鏡画像上の位置Ｐｐｒに対応する位置を、式（２）に基づいて算出された３次元的な位置Ｐｒだけでなく、位置Ｐｒを中心として所定の半径の球形状の領域Ｒｄ内に存在する複数の位置Ｐｒ＋１、Ｐｒ＋２、・・・、Ｐｒ＋rm-1(rmは球形状の領域Ｒｄに存在する画素数)と対応付け、内視鏡ボリュームデータ生成手段１０５は、内視鏡画像上の位置Ｐｐｒの画素の画素値を、内視鏡画像上の位置Ｐｐｒに対応付けられた位置Ｐｐ中心として所定の半径の球形状の領域内に存在する複数の位置Ｐｒ＋１、Ｐｒ＋２、・・・、Ｐｒ＋rm-1に対して挿入してもよい。内視鏡の撮影部Ｐｃから遠い領域Ｒｄに対応する画素に空間的に広がりを持った複数の３次元的な位置を算出して対応付けることにより、内視鏡の撮影部Ｐｃから遠いために対応する内視鏡画像の画素が疎である領域の画素値を的確に補間し、内視鏡画像状の画素の画素値が挿入された内視鏡ボリュームデータＶＥの画素が３次元座標系でまばらに配置されることを抑制し、各画素に画素値が反映された内視鏡ボリュームデータを生成することができる。
【００８６】
なお、本変形例は、図３に示すように、位置算出手段１０４が、内視鏡画像上の位置Ｐｐｐに対応する位置を、式（２）に基づいて算出された３次元的な位置Ｐｒと対応付け、内視鏡ボリュームデータ生成手段１０５が、内視鏡画像上の位置Ｐｐｒの画素の画素値を、内視鏡画像上の位置Ｐｐｒに対応付けられた位置Ｐｐ中心として所定の半径の球形状の領域Ｒｄ内に存在する複数の位置Ｐｒ、Ｐｒ＋１、Ｐｒ＋２、・・・、Ｐｒ＋rm-1に対して挿入することによって実施してもよい。なお、位置Ｐｒ、Ｐｒ＋１、Ｐｒ＋２、・・・、Ｐｒ＋rm-1の各位置に対して、異なる撮影位置からそれぞれの位置を撮影した複数の内視鏡画像からも、対応する画素の画素値が得られている際には、それぞれの異なる撮影位置から撮影された複数の内視鏡画像から得られた画素値と重み付けして平均する等、適宜処理を行って位置Ｐｒ、Ｐｒ＋１、Ｐｒ＋２、・・・、Ｐｒ＋rm-1の画素値を挿入することができる。
【００８７】
また、複数の３次元的な位置を所定の画素に対応する複数の３次元的な位置を球形状に配置してもよく、所定の大きさを有する平面や曲面をなす形状に配置してもよく、立方体、直方体等の多面体や、円錐、多角錐等の立体形状に配置するものであってもよい。ただし、所定の画素の画素値が複数の位置に反映された内視鏡ボリュームデータＶＥが生成されるため、複数の３次元的な位置は、有限の大きさをもった形状をなすように配置することが好ましい。
【００８８】
また、内視鏡再構成画像生成手段１０８によって生成された内視鏡再構成画像ＩｍｇＲＥが、解剖学的構造物５の伸張展開画像または伸張断面画像のいずれかであってもよく、内視鏡ボリュームデータＶＥから表示または再構成可能なものであれば、何でもよい。内視鏡ボリュームデータＶＥから種々の表示方法および、再構成方法によって得られるこれらの内視鏡再構成画像ＩｍｇＲＥにより、従来の内視鏡画像では得られなかった画像観察が可能となり、より高精度な画像診断を支援することができる。例えば、ボリュームレンダリング法で内視鏡再構成画像ＩｍｇＲＥを生成することにより、従来、ＣＴ装置等から生成したボリュームデータＶから生成したボリュームレンダリング画像と内視鏡画像の両方を参照して、解剖学的構造物の３次元的な形状と色や質感等の情報を観察していたところ、１つの内視鏡再構成画像ＩｍｇＲＥにより、様々な視点から解剖学的構造物を観察することができ、解剖学的構造物の３次元的な形状と色や質感等の情報が容易に効率よく理解できる。
【００８９】
また、本実施形態において内視鏡画像取得手段１０１によって取得される内視鏡画像は、分光画像であってもよい。
【００９０】
なお、分光画像とは、固体撮像素子を用いた電子内視鏡装置により、主に可視光の波長領域を撮像して可視光領域画像を表す通常画像と、狭い波長帯域のみに光を透過させる複数種類の狭帯域バンドパスフィルタを通して消化器官（例えば胃等）の生体粘膜を撮像し上記生体粘膜の複数種類の狭帯域分光画像を得、これらの狭帯域分光画像を合成してなる診断用画像を生成する方式(Narrow Band Imaging-NBl)により得られる画像（特開２００６−３４１０７８号公報参照）、または、内視鏡により固体撮像素子上に複数種類の広帯域バンドパスフィルタからなるＲＧＢモザイクフィルタを配置して面同時方式で通常のカラー画像（通常画像ともいう）の撮像を行って、生体粘膜の撮像で得られた通常画像に基づく演算処理により上記狭帯域バンドパスフィルタを用いて得られた狭帯域分光画像と同等の画像を取得して上記のような診断用画像を作成する方式により得られる画像のどちらであってもよい（特開２００３−９３３３６号公報、特開２０１０−７５３６８号公報参照）。
【００９１】
また、内視鏡画像として通常画像と狭帯域分光画像とを取得するＮＢ１方式を本実施形態に適用した場合の応用例を以下に示す。ＮＢ１方式において、通常画像と狭帯域分光画像は、非常に短い時間間隔で、ほぼ同じ撮影位置および向きで撮影され、通常画像と同じ解剖学的構造物の位置を表す狭帯域分光画像が対応付けられて取得されている。つまり、通常画像ＩｍｇＥと、通常画像ＩｍｇＥに対応する狭帯域分光画像ＩｍｇＤは同じ座標系に位置あわせができている。
【００９２】
このため、通常画像ＩｍｇＥｉと仮想内視鏡画像ＩｍｇＶｉを用いて、第１の実施形態に記載した方法で通常画像ＩｍｇＥを構成する画素Ｐｐｊ（xj,yj,0）に対応する３次元座標系の位置Ｐｊ(xｊ’,yｊ’,zｊ’)を算出し、通常画像ＩｍｇＥｉに対応する狭帯域分光画像ＩｍｇＤｉ上の位置（xj,yj,0）に対しても同じ３次元座標系の位置(xｊ’,yｊ’,zｊ’)を対応付けることができる。また、逆に、狭帯域分光画像ＩｍｇＤｉと仮想内視鏡画像ＩｍｇＶｉを用いて、第１の実施形態に記載した方法で狭帯域分光画像ＩｍｇＤｉを構成する画素Ｐｐｊ（xj,yj,0）に対応する３次元座標系Ｐｊの位置(xｊ’,yｊ’,zｊ’)を算出し、狭帯域分光画像ＩｍｇＤｉに対応する通常画像ＩｍｇＥｉの位置（xj,yj,0）に対しても同じ３次元座標系Ｐｊの位置(xｊ’,yｊ’,zｊ’)を対応付けてもよい。
【００９３】
そして、内視鏡ボリュームデータ生成手段１０６は、通常画像ＩｍｇＥｉの各画素の画素値を、第１の実施形態に記載した方法で３次元座標系の位置Ｐｊに挿入し、通常画像ＩｍｇＥｉによる内視鏡ボリュームデータＶＥを生成する。また、狭帯域分光画像ＩｍｇＤｉの各画素の画素値を、第１の実施形態に記載した方法で３次元座標系Ｐｊに挿入し、狭帯域分光画像ＩｍｇＤｉから内視鏡ボリュームデータＶＥＤを生成する。このように、通常画像ＩｍｇＥｉと狭帯域分光画像ＩｍｇＤｉは同じ座標系に位置合わせができているため、一方の画像上の各画素に対して位置算出処理を行い、この結果を、他方の画像上の各画素に対して適用すれば、計算負荷を低減し、計算の高速化を図ることができる。
【００９４】
また、狭帯域分光画像ＩｍｇＤｉから内視鏡再構成画像ＩｍｇＲＥを生成すれば、解剖学的構造物の表面の色や質感の情報と形状を併せて捉えることができるボリュームレンダリング法等による内視鏡再構成画像ＩｍｇＲＤにより、種々の解析及び表示をおこなうことができ、より高精度な診断に資する。
【００９５】
また、通常画像ＩｍｇＥｉに対する演算処理によって狭帯域バンドパスフィルタを用いて得られた狭帯域分光画像と同等の画像を作成する方式においても、上記同様、通常画像ＩｍｇＥｉおよび演算処理後の狭帯域分光画像ＩｍｇＤｉのいずれかにの各画素に対して位置算出処理を行い、この結果を、他方の画像上の各画素に対して適用して、同じ効果を得ることができる。
【００９６】
次に、本発明の第２の実施形態について以下に説明する。図５は、第２の実施形態の機能ブロック図である。本発明の第２の実施形態は、未対応領域抽出手段１１０および医用画像生成手段１０９をさらに備えたこと以外は、内視鏡画像処理装置１のハードウェア構成、機能ブロックは、第１の実施形態と同様である。
【００９７】
未対応領域抽出手段１１０は、内視鏡ボリュームデータＶＥから、所定の位置から撮影された内視鏡画像を構成する画素に対応しない３次元的な位置からなる未対応領域Ｒｕを抽出する。
【００９８】
ここで、内視鏡ボリュームデータＶＥのうち内視鏡画像の画素と３次元的な位置を対応付けられていない領域を「未対応領域」と称する。例えば、第１の実施形態によれば、内視鏡画像を構成する画素に対応する３次元的な位置を算出することにより、所定の画素の画素値が３次元的な位置に反映された内視鏡ボリュームデータＶＥが生成されるため、解剖学的構造物内のポリープ等の凹凸形状や湾曲形状のために内視鏡画像に映っていない領域等の解剖学的構造物内の未撮影領域は、内視鏡画像の画素と３次元的な位置を対応付けることができない。また、内視鏡画像の一部のみに本発明の内視鏡画像処理を行った場合など、内視鏡画像の画素と３次元的な位置の対応付けを行っていない場合もある。このような場合に、内視鏡画像を構成する画素に対応しない３次元的な位置からなる未対応領域Ｒｕが生ずる可能性がある。
【００９９】
未対応領域抽出手段１１０は、本第２の実施形態では、解剖学的構造物を構成する画素のうち画素値が初期値から変更されていない画素を検出し、これらの抽出された画素からなる領域を未対応領域Ｒｕとして抽出する。
【０１００】
また、医用画像生成手段１０９は、ストレージ２から取得したボリュームデータＶから医用画像ＩｍｇＲｖを生成する。本第２の実施形態では、医用画像ＩｍｇＲｖとしてボリュームレンダリング法によりボリュームレンダリング画像を生成するものとする。医用画像ＩｍｇＲｖは、ボリュームデータＶから生成可能なものであれば何でもよいが、代表的なものとしてボリュームレンダリング法、サーフィスレンダリング法があげられる。
【０１０１】
図６は、第２の実施形態の処理の流れを表すフローチャートである。図７は、第２の実施形態の処理により医用画像ＩｍｇＲｖ上に未対応領域Ｒｕを表す指標Ｍを識別可能に表示した例を示す図である。図６および図７を用いて、第２の実施形態の処理を説明する。図６のうち、Ｓ１１からＳ１６までの処理は、先述の図２のＳ０１からＳ０６までの処理と同じであるため省略する。図３の斜線領域として例示するように、大腸の湾曲形状により内視鏡の撮影部の死角になった領域が未対応領域Ｒｕである。未対応領域Ｒｕは内視鏡画像Ｉｍｇｉに映っていないため、未対応領域Ｒｕを構成する３次元座標系の位置には内視鏡画像Ｉｍｇｉを構成する画素Ｐｊのいずれも対応付けられない。
【０１０２】
未対応領域抽出手段１１０は、内視鏡ボリュームデータＶＥから、所定の位置から撮影された内視鏡画像を構成する画素に対応しない３次元的な位置からなる未対応領域Ｒｕを抽出する（Ｓ１７）。第１の実施形態と同様、ボリュームデータＶと内視鏡ボリュームデータＶＥは同一の座標系に位置合わせがされているため、未対応領域抽出手段１１０は、ボリュームデータＶから抽出した解剖学的構造物を構成する各画素の位置を、そのまま、内視鏡ボリュームデータＶＥの座標系の、解剖学的構造物を構成する各画素の位置に相当するものとして内視鏡ボリュームデータＶＥにおいて解剖学的構造物を構成する画素を特定する。
【０１０３】
そして、未対応領域抽出手段１１０は、内視鏡ボリュームデータＶＥにおいて解剖学的構造物を構成する画素のうち、内視鏡ボリュームデータＶＥから画素値が初期値から変更されていない画素を検出し、未対応領域Ｒｕを構成する画素として抽出する。
【０１０４】
医用画像生成手段１０９は、ストレージ２から取得したボリュームデータＶから医用画像ＩｍｇＲｖとしてボリュームレンダリング画像を生成する（Ｓ１８）。
【０１０５】
表示制御手段１０８は、未対応領域抽出手段１１０から３次元座標系における未対応領域Ｒｕを取得し、ディスプレイ３上に、ボリュームデータＶから生成された医用画像ＩｍｇＲｖと併せて医用画像上に未対応領域Ｒｕを表す指標Ｍを識別可能に表示させて第２の実施形態の処理を終了する（Ｓ１９）。本実施形態では、表示制御手段１０８は、未対応領域Ｒｕを構成する画素に対して、所定の色と透明度を設定し、図７に示すように、ボリュームレンダリング画像上に未対応領域Ｒｕを表す指標Ｍを、解剖学的構造物のその他の領域と色を変えることで識別可能に表示する。
【０１０６】
未対応領域を表す指標として、円、矩形、閉曲面など、様々な形状の周知の指標を用いることができ、さらに指標に色を付けたり、点滅させるなど様々な周知の表示方法を適用してもよい。なお、表示制御手段１０８が、未対応領域Ｒｕを表す指標Ｍを、医用画像ＩｍｇＲｖに合成してディスプレイ３に表示させてもよく、医用画像生成手段１０９が未対応領域Ｒｕを表す指標Ｍを含んだ医用画像ＩｍｇＲｖを生成し、表示制御手段１０８が、未対応領域Ｒｕを表す指標Ｍを含んだ医用画像ＩｍｇＲｖをディスプレイ３に表示させてもよい。
【０１０７】
また、第２の実施形態の変形例として、表示制御手段１０８は、医用画像上でなく、内視鏡ボリュームデータＶＥから生成された内視鏡再構成画像ＩｍｇＲＥ上に、未対応領域Ｒｕを表す指標Ｍをさらに表示させるものであってもよい。なお、未対応領域Ｒｕに相当する解剖学的構造物の形状を必ずしも識別可能に表示する必要はなく、例えば、未対応領域Ｒｕを透明に表示してもよい。また、解剖学的構造物の形状モデル等と内視鏡ボリュームデータＶＥの画素値が変更された領域の形状とをマッチングさせて、形状モデルに基づいて未対応領域Ｒｕの形状を補完し、未対応領域Ｒｕを構成する画素に適当な画素値を挿入してもよい。
【０１０８】
第２の実施形態によれば、内視鏡ボリュームデータＶＥのうち、内視鏡画像ＩｍｇＥｉから画素値を取得できなかった領域を認識することが容易である。また、医用画像ＩｍｇＲＶ上に未対応領域Ｒｕを表す指標を表示した場合には、内視鏡によって撮影されていない領域であっても、抽出された大腸等の解剖学的構造物の外形を表すことができるため、内視鏡画像から画素値を取得できなかった領域の形状も併せて認識することができる。
【０１０９】
上記の各実施形態はあくまでも例示であり、上記のすべての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。
【０１１０】
この他、上記の実施形態におけるシステム構成、ハードウェア構成、処理フロー、モジュール構成、ユーザインターフェースや具体的処理内容等に対して、本発明の趣旨から逸脱しない範囲で様々な改変を行ったものも、本発明の技術的範囲に含まれる。
【０１１１】
また、対応付け手段１０４は、解剖学的構造物の所定の位置から撮影された内視鏡画像と、所定の位置と対応する位置から撮影されたように仮想的に生成された比較仮想内視鏡画像を抽出できる方法であれば、周知の種々の方法を適用できる。例えば、所定の位置に内視鏡の先端部を配置して撮影した内視鏡画像を取得し、特許文献１または２に開示された方法により、所定の位置に配置された内視鏡の先端部の解剖学的構造物中の位置を検出して、該先端部の位置と対応する仮想内視鏡の視点の位置を取得し、先端部の位置と対応する仮想内視鏡の視点の位置に基づいて比較仮想内視鏡画像を抽出してもよい。また、解剖学的構造物の分岐部などのように識別可能な特徴を有する特定の領域を表す内視鏡画像と同領域を表す仮想内視鏡画像とをユーザによるマウス等の入力装置による操作により表示させ、両画像が対応する所定の位置を表示したことを示す入力をユーザ操作によるマウス等の入力装置等から受け付けて、入力信号を受け付けた際に表示されている内視鏡画像と仮想内視鏡画像を対応付けてもよい。
【０１１２】
また、位置あわせを行う場合に、予め撮影された内視鏡画像を用いる替わりに、内視鏡を内視鏡画像処理装置１に接続し、内視鏡画像処理装置１に接続された内視鏡から得られる撮影信号を処理して内視鏡画像を生成する内視鏡画像形成部を備え、被検体の解剖学的構造物を内視鏡によりリアルタイムに撮影した画像信号を所定のフレームレートで繰り返し形成し、形成された内視鏡画像を使用してもよい。
【０１１３】
モダリティは、上記のＣＴ装置のほか、ＭＲＩ装置等の仮想内視鏡画像を生成可能なボリュームデータを取得可能なモダリティを用いることができる。
【０１１４】
仮想内視鏡画像生成手段１０３は、本内視鏡画像処理方法の適用対象である解剖学的構造物を抽出し、仮想内視鏡の視点の経路を設定できるものであれば、周知の解剖学的構造物の抽出方法及び仮想内視鏡の視点の経路の設定方法を適用可能である。一例として、解剖学的構造物が血管である場合、特開２００４−３１３７３６号公報または特開２００６−１６７２８７号公報に記載された方法で血管領域を抽出しかつ血管の中心線を設定してもよい。また、仮想内視鏡の視点の経路となる、解剖学的構造物の中心線の設定をボリュームレンダリング法等で表示された画像上で解剖学的構造物内の複数の点をマウス等の入力装置を用いて手動で入力し、入力された複数の点をスプライン補間して芯線としてもよい。
【０１１５】
また、内視鏡画像処理装置１は、複数台のコンピュータにより、内視鏡画像取得手段、仮想内視鏡画像生成手段、対応付け手段、位置算出手段、内視鏡ボリュームデータ生成手段、内視鏡再構成画像生成手段、表示制御手段、医用画像生成手段および未対応領域抽出手段としての機能を分担する構成としてもよい。また、入力装置、ディスプレイ等、システムを構成する装置としては、公知のあらゆる装置を採用することができる。例えば、マウスに代えてジョイスティックを採用したり、ディスプレイに代えてタッチパネルを採用したりすることができる。
【０１１６】
上記の各実施形態はあくまでも例示であり、上記のすべての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。
【０１１７】
この他、上記の実施形態におけるシステム構成、ハードウェア構成、処理フロー、モジュール構成、ユーザインターフェースや具体的処理内容等に対して、本発明の趣旨から逸脱しない範囲で様々な改変を行ったものも、本発明の技術的範囲に含まれる。
【符号の説明】
【０１１８】
１ 内視鏡画像処理装置、 ２ ストレージ、 ３ ディスプレイ
５ 解剖学的構造物、
１０１ 内視鏡画像取得手段
１０２ ボリュームデータ取得手段
１０３ 仮想内視鏡画像生成手段
１０４ 対応付け手段
１０５ 位置算出手段
１０６ 内視鏡ボリュームデータ生成手段
１０７ 内視鏡再構成画像生成手段
１０８ 表示制御手段
１０９ 医用画像生成手段
１１０ 未対応領域抽出手段
【特許請求の範囲】
【請求項１】
被検体の解剖学的構造物に挿入された内視鏡により撮影された複数の内視鏡画像を取得する内視鏡画像取得手段と、
断層撮影により取得された前記解剖学的構造物のボリュームデータを取得するボリュームデータ取得手段と、
前記取得されたボリュームデータから前記解剖学的構造物の複数の仮想内視鏡画像を生成する仮想内視鏡画像生成手段と、
前記取得された複数の内視鏡画像のうち前記解剖学的構造物の所定の位置から撮影された内視鏡画像と、前記取得された複数の仮想内視鏡画像のうち前記所定の位置と対応する位置から撮影されたように仮想的に生成された比較仮想内視鏡画像を抽出して対応付ける対応付け手段と、
前記比較仮想内視鏡画像を構成する複数の画素のそれぞれの３次元的な位置に基づいて、前記所定の位置から撮影された内視鏡画像を構成する複数の画素のそれぞれ対応する３次元的な位置を算出する位置算出手段と、
前記所定の位置から撮影された内視鏡画像を構成する複数の画素の個々の画素値とそれぞれの該画素について算出された前記３次元的な位置に基づいて、前記所定の位置から撮影された内視鏡画像からボリュームデータを生成する内視鏡ボリュームデータ生成手段とを備えたことを特徴とする内視鏡画像処理装置。
【請求項２】
前記内視鏡画像から生成された内視鏡ボリュームデータから再構成した内視鏡再構成画像を生成する内視鏡再構成画像生成手段と、
前記生成された内視鏡再構成画像を表示装置に表示させる表示制御手段をさらに備えたことを特徴とする請求項１記載の内視鏡画像処理装置。
【請求項３】
前記位置算出手段は、前記所定の位置から撮影された内視鏡画像を構成する複数の画素のうち所定の画素に対応付けて、複数の３次元的な位置を算出することを特徴とする請求項１または２記載の内視鏡画像処理装置。
【請求項４】
前記位置算出手段は、前記所定の画素に対応する複数の３次元的な位置を球形状に配置するものであることを特徴とする請求項３記載の内視鏡画像処理装置。
【請求項５】
前記内視鏡画像取得手段によって取得される内視鏡画像は、分光画像であることを特徴とする請求項１から４のいずれか１項記載の内視鏡画像処理装置。
【請求項６】
前記生成された内視鏡再構成画像は、前記解剖学的構造物の伸張展開画像または伸張断面画像であることを特徴とする請求項２から５のいずれか１項記載の内視鏡画像処理装置。
【請求項７】
前記内視鏡ボリュームデータから、前記所定の位置から撮影された内視鏡画像を構成する画素に対応しない３次元的な位置からなる未対応領域を抽出する未対応領域抽出手段をさらに備えることを特徴とする請求項２から６のいずれか１項記載の内視鏡画像処理装置。
【請求項８】
前記ボリュームデータから医用画像を生成する医用画像生成手段をさらに備え、
前記表示制御手段は、前記ボリュームデータから生成された医用画像上に、前記未対応領域を表す指標をさらに表示させるものであることを特徴とする請求項７項記載の内視鏡画像処理装置。
【請求項９】
前記表示制御手段は、前記内視鏡ボリュームデータから生成された内視鏡再構成画像上に、前記未対応領域を表す指標をさらに表示させるものであることを特徴とする請求項７項記載の内視鏡画像処理装置。
【請求項１０】
被検体の解剖学的構造物に挿入された内視鏡により撮影された複数の内視鏡画像を取得し、
断層撮影により取得された前記解剖学的構造物のボリュームデータを取得し、
前記取得されたボリュームデータから前記解剖学的構造物の複数の仮想内視鏡画像を生成し、
前記取得された複数の内視鏡画像のうち前記解剖学的構造物の所定の位置から撮影された内視鏡画像と、前記取得された複数の仮想内視鏡画像のうち前記所定の位置と対応する位置から撮影されたように仮想的に生成された比較仮想内視鏡画像を抽出して対応付けし、
前記比較仮想内視鏡画像を構成する複数の画素のそれぞれの３次元的な位置に基づいて、前記所定の位置から撮影された内視鏡画像を構成する複数の画素のそれぞれ対応する３次元的な位置を算出し、
前記所定の位置から撮影された内視鏡画像を構成する複数の画素の個々の画素値とそれぞれの該画素について算出された前記３次元的な位置に基づいて、前記所定の位置から撮影された内視鏡画像からボリュームデータを生成することを特徴とする内視鏡画像処理方法。
【請求項１１】
コンピュータを、
被検体の解剖学的構造物に挿入された内視鏡により撮影された複数の内視鏡画像を取得する内視鏡画像取得手段と、
断層撮影により取得された前記解剖学的構造物のボリュームデータを取得するボリュームデータ取得手段と、
前記取得されたボリュームデータから前記解剖学的構造物の複数の仮想内視鏡画像を生成する仮想内視鏡画像生成手段と、
前記取得された複数の内視鏡画像のうち前記解剖学的構造物の所定の位置から撮影された内視鏡画像と、前記取得された複数の仮想内視鏡画像のうち前記所定の位置と対応する位置から撮影されたように仮想的に生成された比較仮想内視鏡画像を抽出して対応付ける対応付け手段と、
前記比較仮想内視鏡画像を構成する複数の画素のそれぞれの３次元的な位置に基づいて、前記所定の位置から撮影された内視鏡画像を構成する複数の画素のそれぞれ対応する３次元的な位置を算出する位置算出手段と、
前記所定の位置から撮影された内視鏡画像を構成する複数の画素の個々の画素値とそれぞれの該画素について算出された前記３次元的な位置に基づいて、前記所定の位置から撮影された内視鏡画像からボリュームデータを生成する内視鏡ボリュームデータ生成手段として機能させることを特徴とする内視鏡画像処理プログラム。
【請求項１】
被検体の解剖学的構造物に挿入された内視鏡により撮影された複数の内視鏡画像を取得する内視鏡画像取得手段と、
断層撮影により取得された前記解剖学的構造物のボリュームデータを取得するボリュームデータ取得手段と、
前記取得されたボリュームデータから前記解剖学的構造物の複数の仮想内視鏡画像を生成する仮想内視鏡画像生成手段と、
前記取得された複数の内視鏡画像のうち前記解剖学的構造物の所定の位置から撮影された内視鏡画像と、前記取得された複数の仮想内視鏡画像のうち前記所定の位置と対応する位置から撮影されたように仮想的に生成された比較仮想内視鏡画像を抽出して対応付ける対応付け手段と、
前記比較仮想内視鏡画像を構成する複数の画素のそれぞれの３次元的な位置に基づいて、前記所定の位置から撮影された内視鏡画像を構成する複数の画素のそれぞれ対応する３次元的な位置を算出する位置算出手段と、
前記所定の位置から撮影された内視鏡画像を構成する複数の画素の個々の画素値とそれぞれの該画素について算出された前記３次元的な位置に基づいて、前記所定の位置から撮影された内視鏡画像からボリュームデータを生成する内視鏡ボリュームデータ生成手段とを備えたことを特徴とする内視鏡画像処理装置。
【請求項２】
前記内視鏡画像から生成された内視鏡ボリュームデータから再構成した内視鏡再構成画像を生成する内視鏡再構成画像生成手段と、
前記生成された内視鏡再構成画像を表示装置に表示させる表示制御手段をさらに備えたことを特徴とする請求項１記載の内視鏡画像処理装置。
【請求項３】
前記位置算出手段は、前記所定の位置から撮影された内視鏡画像を構成する複数の画素のうち所定の画素に対応付けて、複数の３次元的な位置を算出することを特徴とする請求項１または２記載の内視鏡画像処理装置。
【請求項４】
前記位置算出手段は、前記所定の画素に対応する複数の３次元的な位置を球形状に配置するものであることを特徴とする請求項３記載の内視鏡画像処理装置。
【請求項５】
前記内視鏡画像取得手段によって取得される内視鏡画像は、分光画像であることを特徴とする請求項１から４のいずれか１項記載の内視鏡画像処理装置。
【請求項６】
前記生成された内視鏡再構成画像は、前記解剖学的構造物の伸張展開画像または伸張断面画像であることを特徴とする請求項２から５のいずれか１項記載の内視鏡画像処理装置。
【請求項７】
前記内視鏡ボリュームデータから、前記所定の位置から撮影された内視鏡画像を構成する画素に対応しない３次元的な位置からなる未対応領域を抽出する未対応領域抽出手段をさらに備えることを特徴とする請求項２から６のいずれか１項記載の内視鏡画像処理装置。
【請求項８】
前記ボリュームデータから医用画像を生成する医用画像生成手段をさらに備え、
前記表示制御手段は、前記ボリュームデータから生成された医用画像上に、前記未対応領域を表す指標をさらに表示させるものであることを特徴とする請求項７項記載の内視鏡画像処理装置。
【請求項９】
前記表示制御手段は、前記内視鏡ボリュームデータから生成された内視鏡再構成画像上に、前記未対応領域を表す指標をさらに表示させるものであることを特徴とする請求項７項記載の内視鏡画像処理装置。
【請求項１０】
被検体の解剖学的構造物に挿入された内視鏡により撮影された複数の内視鏡画像を取得し、
断層撮影により取得された前記解剖学的構造物のボリュームデータを取得し、
前記取得されたボリュームデータから前記解剖学的構造物の複数の仮想内視鏡画像を生成し、
前記取得された複数の内視鏡画像のうち前記解剖学的構造物の所定の位置から撮影された内視鏡画像と、前記取得された複数の仮想内視鏡画像のうち前記所定の位置と対応する位置から撮影されたように仮想的に生成された比較仮想内視鏡画像を抽出して対応付けし、
前記比較仮想内視鏡画像を構成する複数の画素のそれぞれの３次元的な位置に基づいて、前記所定の位置から撮影された内視鏡画像を構成する複数の画素のそれぞれ対応する３次元的な位置を算出し、
前記所定の位置から撮影された内視鏡画像を構成する複数の画素の個々の画素値とそれぞれの該画素について算出された前記３次元的な位置に基づいて、前記所定の位置から撮影された内視鏡画像からボリュームデータを生成することを特徴とする内視鏡画像処理方法。
【請求項１１】
コンピュータを、
被検体の解剖学的構造物に挿入された内視鏡により撮影された複数の内視鏡画像を取得する内視鏡画像取得手段と、
断層撮影により取得された前記解剖学的構造物のボリュームデータを取得するボリュームデータ取得手段と、
前記取得されたボリュームデータから前記解剖学的構造物の複数の仮想内視鏡画像を生成する仮想内視鏡画像生成手段と、
前記取得された複数の内視鏡画像のうち前記解剖学的構造物の所定の位置から撮影された内視鏡画像と、前記取得された複数の仮想内視鏡画像のうち前記所定の位置と対応する位置から撮影されたように仮想的に生成された比較仮想内視鏡画像を抽出して対応付ける対応付け手段と、
前記比較仮想内視鏡画像を構成する複数の画素のそれぞれの３次元的な位置に基づいて、前記所定の位置から撮影された内視鏡画像を構成する複数の画素のそれぞれ対応する３次元的な位置を算出する位置算出手段と、
前記所定の位置から撮影された内視鏡画像を構成する複数の画素の個々の画素値とそれぞれの該画素について算出された前記３次元的な位置に基づいて、前記所定の位置から撮影された内視鏡画像からボリュームデータを生成する内視鏡ボリュームデータ生成手段として機能させることを特徴とする内視鏡画像処理プログラム。
【図１】
【図２】
【図４】
【図５】
【図６】
【図３】
【図７】
【図８】
【図２】
【図４】
【図５】
【図６】
【図３】
【図７】
【図８】
【公開番号】特開２０１２−５０６０６（Ｐ２０１２−５０６０６Ａ）
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願番号】特願２０１０−１９４９３９（Ｐ２０１０−１９４９３９）
【出願日】平成２２年８月３１日（２０１０．８．３１）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願日】平成２２年８月３１日（２０１０．８．３１）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]