３次元画像生成装置、３次元画像生成方法、及びプログラム
【課題】解像度が高く且つ色情報を備えた有用性の高い３次元画像（例えば、仮想内視鏡画像）を生成する３次元画像生成装置を提供する。
【解決手段】被写体を撮像した２次元画像内の複数の画素のそれぞれについて、輝度情報に基づいて第３の座標軸上の座標を算出して３次元座標を求め（Ｓ３０４）、複数の画素の３次元座標に基づいて１以上の三角形で構成される３次元モデルを生成し（Ｓ３０５）、その３次元モデルに２次元画像のテクスチャを貼り付けることにより（Ｓ３０６）、２次元画像から３次元画像を生成する。
【解決手段】被写体を撮像した２次元画像内の複数の画素のそれぞれについて、輝度情報に基づいて第３の座標軸上の座標を算出して３次元座標を求め（Ｓ３０４）、複数の画素の３次元座標に基づいて１以上の三角形で構成される３次元モデルを生成し（Ｓ３０５）、その３次元モデルに２次元画像のテクスチャを貼り付けることにより（Ｓ３０６）、２次元画像から３次元画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２次元画像から３次元画像を生成する３次元画像生成装置、３次元画像生成方法、及びその方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
従来から、内視鏡により撮像された画像が医療分野などで利用されている。内視鏡により撮像された画像は、視点が固定されているため、視野が狭い。
【０００３】
一方、呼吸器・消化器・脳外科などの臨床現場では、ＣＴやＭＲＩで取得した連続画像を用いて、３次元画像（「仮想内視鏡画像」と言う。）が生成されている。仮想内視鏡画像は、視点が自由で、死角を無効にできるという利点がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開ＷＯ２００７／１３９１８７パンフレット
【発明の概要】
【発明が解決しようとする課題】
【０００５】
仮想内視鏡画像の解像度はＣＴやＭＲＩの空間解像度に依存しているため、ＣＴやＭＲＩから生成された仮想内視鏡画像は実画像に比べると劣る。そのため、例えば、仮想内視鏡画像を見ても、５ｍｍ以下の病変を検出することができない。また、ＣＴやＭＲＩから生成された仮想内視鏡画像の場合、色情報がない。そのため、例えば、ＣＴやＭＲＩから生成された仮想内視鏡画像を用いて、上皮内癌や浸潤癌の診断をすることは難しい。このように、従来の仮想内視鏡画像は、解像度が低く、色情報もないため、有用性が低いという問題があった。
【０００６】
本発明は、上記問題を解決するものであって、解像度が高く且つ色情報を備えた有用性の高い３次元画像（例えば、仮想内視鏡画像）を生成する３次元画像生成装置、３次元画像生成方法、及びその方法をコンピュータに実行させるプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る第１の３次元画像生成装置は、３次元形状を有する被写体の２次元画像を入力する入力手段と、入力された２次元画像を格納する記憶手段と、記憶手段から前記２次元画像を読み出し、読み出した２次元画像から前記被写体の３次元画像を生成する制御手段とを有する。制御手段は、２次元画像内の複数の画素のそれぞれについて、輝度情報に基づいて第３の座標軸上の座標を算出して３次元座標を求め、複数の画素の３次元座標に基づいて１以上の三角形で構成される３次元モデルを生成し、３次元モデルに２次元画像のテクスチャを貼り付けることにより前記３次元画像を生成する。
【０００８】
本発明に係る第２の３次元画像生成装置は、３次元形状を有する被写体の２次元画像を入力する入力手段と、入力された２次元画像を格納する記憶手段と、記憶手段から２次元画像を読み出し、読み出した２次元画像から被写体の３次元画像を生成する制御手段とを有する。制御手段は、２次元画像内の各画素について、青の輝度情報と緑の輝度情報との差分を求め、その差分に基づき各画素の第３の座標軸上の座標を算出して３次元座標を求め、３次元座標に基づいて被写体の３次元画像を生成する。
【０００９】
本発明に係る第１の３次元画像生成方法は、情報処理装置を用いて３次元形状を有する被写体の２次元画像から３次元画像を生成する方法である。その方法は、情報処理装置の制御手段が、被写体を撮像した２次元画像内の複数の画素のそれぞれについて、輝度情報に基づいて第３の座標軸上の座標を算出して３次元座標を求めるステップと、複数の画素の３次元座標に基づいて１以上の三角形で構成される３次元モデルを生成するステップと、３次元モデルに２次元画像のテクスチャを貼り付けることにより前記３次元画像を生成するステップとを含む。
【００１０】
本発明に係る第２の３次元画像生成方法は、情報処理装置を用いて３次元形状を有する被写体の２次元画像から３次元画像を生成する方法である。その方法は、情報処理装置の制御手段が、被写体を撮像した２次元画像内の各画素について、青の輝度情報と緑の輝度情報との差分を求め、差分に基づき各画素の第３の座標軸上の座標を算出して、３次元座標を求めるステップと、２次元画像内の各画素の３次元座標に基づいて被写体の３次元画像を生成するステップとを含む。
【発明の効果】
【００１１】
本発明によれば、２次元画像の輝度情報を用いて３次元座標を算出し、算出した３次元座標に基づいて３次元モデルを生成して、その３次元モデルに２次元画像のテクスチャを貼り付けている。よって、２次元画像の解像度及び色情報がそのまま３次元画像に適用される。具体的には、例えば、内視鏡を用いて撮像した画像から得られる解像度及び色情報がそのまま３次元画像に適用される。そのため、解像度が高く且つ色情報を備えた有用性の高い３次元画像を生成することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態１及び２の３次元画像生成装置の構成を示すブロック図
【図２】本発明の実施形態１において、管状構造物を撮影して得られた内視鏡画像を平面的に展開することにより２次元画像を生成する方法を説明するための図
【図３】本発明の実施形態１及び２の３次元画像生成装置による３次元画像の生成方法を示すフローチャート
【図４】図３の方法を用いて行われる、実施形態１における２次元画像から３次元画像への変換を示す概略図
【図５】本発明の実施形態１における３次元座標の算出方法を示すフローチャート
【図６】図５において、３次元座標を求める際に用いられる要素を説明するための図
【図７】本発明の実施形態１に示す方法の実行において、使用された２次元画像または生成された３次元画像の例を示す図
【図８】本発明の実施形態２における３次元座標の算出方法を示すフローチャート
【図９】本発明の実施形態２に示す方法の実行において、使用された２次元画像または生成された３次元画像の例を示す図
【発明を実施するための形態】
【００１３】
《実施形態１》
本発明の実施形態１の３次元画像生成装置は、２次元画像から３次元画像を生成する。具体的には、本実施形態においては、内視鏡を用いて撮影された映像（「内視鏡画像」と言う。）を平面的に展開することにより２次元画像を生成し、その２次元画像を用いて元の内視鏡画像を再現した画像である仮想内視鏡画像（３次元画像）を生成する。より具体的には、本実施形態においては、２次元画像の被写体の形状が事前に分かっており、その被写体に応じた計算式を用いて、３次元形状を復元する。
【００１４】
１．構成
図１に、本発明の実施形態１の３次元画像生成装置の構成を示す。本実施形態の３次元画像生成装置は、内視鏡スコープにより撮影された画像から内視鏡画像データを生成する内視鏡装置２００と、内視鏡画像データから２次元展開画像を生成するとともに、その２次元展開画像から３次元画像を生成する情報処理装置１００と、を有する。
【００１５】
情報処理装置１００は、例えば、パーソナルコンピュータである。情報処理装置１００は、内視鏡装置２００から画像データを受けて２次元展開画像を生成するとともに、２次元展開画像から３次元画像を生成する情報処理部１１と、２次元画像や３次元画像を表示する表示部（例えば、ディスプレイ）１２と、ユーザからの情報処理部１１や表示部１２に対する指令を入力する操作部（マウス１３ａ及びキーボード１３ｂ）と、を備える。
【００１６】
情報処理部１１は、２次元画像や３次元画像のデータの送受信を外部と行う入出力インターフェース（Ｉ／Ｆ）１１ａと、２次元画像及び２次元画像から変換して生成した３次元画像を記憶する記憶部１１ｂと、記憶部１１ｂに記憶されている２次元画像や入出力インターフェース１１ａを介して外部から読み込んだ２次元画像から３次元画像を生成する制御部１１ｃと、を有する。
【００１７】
内視鏡装置２００は、管状構造物内に挿入されて管内面を撮像する内視鏡スコープ２１と、内視鏡スコープ２１を制御するとともに、内視鏡スコープ２１を介して入力される信号に基づきビデオファイル（内視鏡画像）を作成する制御ユニット２２と、を有している。内視鏡装置２００は、体内の腔所を観察するための光学系を組み込んだ医療機器である。
【００１８】
制御ユニット２２は、そのユニット２２内の各構成を制御する制御部２２ａと、内視鏡スコープ２１を介して入力される信号に基づき管状構造物内面のビデオファイルを作成する信号処理部２２ｂと、内視鏡スコープ２１の先端部から観察対象に対して照射される照明光の光源である光源部２２ｃと、を備えている。制御部２２ａは、ユーザの操作に応じて、内視鏡スコープ２１による撮像や照明のオンオフ切換えを制御したり、光源部２２ｃから内視鏡スコープ２１に供給される光量を調節したりする。
【００１９】
内視鏡スコープ２１は、対物レンズと、一対の照明用の光ファイバと、鉗子チャンネルや吸引チャンネル等の操作チャンネルと、を含み、それらが内視鏡スコープ２１の先端部においてそれぞれ露出するように設けられている。なお、かかる構成は、従来周知であり、また、内視鏡スコープ２１はこの構成に限定されることなく、例えば、単一の又は３つ以上の照明用の光ファイバが設けられたものが採用されてもよい。
【００２０】
上記のように構成される情報処理装置１００及び内視鏡装置２００は協働して、国際公開ＷＯ２００７／１３９１８７パンフレットに開示された画像構築技術に記載の動作を行って、管状構造物の内面を撮像し、複数フレーム画像から構成される２次元画像を生成する。
【００２１】
情報処理装置１００と内視鏡装置２００は、例えばＵＳＢケーブル等のケーブル５０を介して接続される。情報処理装置１００と内視鏡装置２００との間では、内視鏡装置２００により生成された２次元画像を情報処理装置１００に伝送したり、情報処理装置１００から内視鏡装置２００へコマンド信号を伝送したりすることができる。情報処理装置１００と内視鏡装置２００との間にビデオキャプチャボードを介在させてもよい。
【００２２】
なお、本実施形態においては、内視鏡装置２００により撮影される内視鏡画像から３次元画像を生成する場合を例示しているため、３次元画像生成装置は内視鏡装置２００を含んでいるが、２次元画像から３次元画像の生成は情報処理装置１００だけで実行できるため、３次元画像生成装置は内視鏡装置２００を必ずしも備える必要はない。
【００２３】
２．動作
２−１．２次元画像の生成
情報処理装置１００による２次元展開画像の生成処理は、国際公開ＷＯ２００７／１３９１８７パンフレットに開示された画像構築技術を利用する。この画像構築技術について説明する。情報処理装置１００は、内視鏡装置２００から内視鏡スコープ２１によって撮影された管状構造物内壁の内視鏡画像（動画または複数の静止画）を取得し、管状構造物内壁を平面的に展開した２次元展開画像を生成する。具体的には、図２（ａ）に示すように、動画または複数の静止画を構成する各画像Ｆ１、Ｆ２、Ｆ３、・・・上に試験線Ｒを設定し、その試験線Ｒ上の画素のみを抽出し、各画像について抽出した画素を一次元的に展開した画素列データ画像Ｒ１、Ｒ２、Ｒ３、・・・を生成する。その後、図２（ｂ）に示すように、一次元的に展開した画素列データ画像Ｒ１、Ｒ２、Ｒ３、・・・を、連続する複数画像分合成することで管状構造物内壁を平面的に展開した２次元画像Ｐを生成する。図２（ｃ）は、図２（ａ）に示すような連続した内視鏡画像から生成される、管状構造物内壁を平面的に展開した画像Ｐの一例を示した図である。このように、国際公開ＷＯ２００７／１３９１８７パンフレットには、管状構造物内壁を平面的に展開した２次元画像Ｐを生成する技術が開示されている。本実施形態の情報処理装置１００は上記の機能を有する。
【００２４】
内視鏡装置２００により生成された２次元画像（２次元展開画像）は、情報処理装置１００に送信され、記憶部１１ｂに格納される。
【００２５】
２−２．２次元画像から３次元画像への変換
図３及び図４を用いて、２次元画像から３次元画像を生成する方法について説明する。図３は、情報処理装置１００の制御部１１ｃによる３次元画像の生成方法を示すフローチャートである。図４は、２次元画像の被写体が管状構造物である場合の、２次元画像から３次元画像への変換方法を説明するための図である。図３を参照し、まず、生成する３次元画像（図４（ｂ））に対し、ユーザが任意に指定する頂点数を制御部１１ｃへ設定することにより、２次元画像の頂点数（すなわち、空間解像度）を設定する制御部１１ｃは、設定された頂点数を入力する（Ｓ３０１）。ここでは、２次元画像の水平方向（図４（ａ）のＵ軸方向）と垂直方向（図４（ａ）のＶ軸方向）のそれぞれについての分割数が同時に設定される。制御部１１ｃは、設定された頂点数（分割数）に基づいて、図４（ａ）に示すように、２次元画像を格子状に分割する（Ｓ３０２）。制御部１１ｃは、格子状に分割された２次元画像の２次元座標（ｕ，ｖ）（テクスチャ座標）を設定する（Ｓ３０３）。制御部１１ｃは、２次元画像における、各座標上の輝度情報を算出し、その輝度情報に基づいて、３次元座標（ｘ、ｙ、ｚ）（モデル空間座標）を算出する（Ｓ３０４）。制御部１１ｃは、３次元座標に基づいて、３次元モデルを生成する（Ｓ３０５）。「３次元モデル」は、図４（ｂ）に示すように、近接３頂点で構成される三角形を連続した構成（TRIANGLE-STRIP）を備えた仮想３次元空間上に生成される物体のことである。制御部１１ｃは、２次元座標と３次元座標に基づいて、３次元モデルに２次元画像のテクスチャを貼り付ける（Ｓ３０６）。図４（ａ）（ｂ）においては、Ｕ軸をＺ方向、Ｖ軸をＸ−Ｙ平面の円周方向に割り当てることにより、２次元画像のテクスチャを３次元モデルに貼り付ける。
【００２６】
以上のように、本実施形態では、２次元画像の輝度情報に基づいて２次元画像から３次元画像を生成する。
【００２７】
次に、図５及び図６を用いて、２次元画像の輝度情報から３次元座標を算出するステップ（Ｓ３０４）について、さらに詳細に説明する。図５は、情報処置装置１００の制御部１１ｃにより行われる、２次元画像の輝度情報に基づく３次元座標の算出方法を示すフローチャートである。図６は、３次元座標を求める際に使用される要素（引数）を説明するための図である。図５による３次元座標の算出方法と図６の説明図では、３次元画像の生成元となる２次元画像の被写体が管状構造物である場合、すなわち、内視鏡装置２００により、管腔などの管状形状の画像が撮影され、その撮影された画像から生成された２次元画像を用いた場合を示している。
【００２８】
図５を参照し、情報処理装置１００の制御部１１ｃは、２次元画像の各座標の輝度値Ｌを算出する（Ｓ５０１）。具体的には、輝度値Ｌは、ＮＴＳＣ係数による加重平均法を用いて、下記式（１）により算出される。
Ｌ＝０．２９８９１２×Ｒ＋０．５８６６１１×Ｇ＋０．１１４４７８×Ｂ・・・（１）
（Ｒ：赤色の輝度値、Ｇ：緑色の輝度値、Ｂ：青色の輝度値）
【００２９】
制御部１１ｃは、算出した輝度値Ｌに基づいて、内視鏡スコープ２１の中心軸から観測点（組織）までの距離Ｒ’を算出する（Ｓ５０２）。このとき、図６に示すように、内視鏡スコープ２１の中心軸から観測点までの距離Ｒ’は、内視鏡スコープ２１の光ファイバ先端（以下、「光源」とも言う。）から観測点までの距離Ｒと比例関係にある。このため、内視鏡スコープ２１の光ファイバの先端から観測点までの距離Ｒを頂点の輝度値Ｌを用いて算出して、算出した距離Ｒを、内視鏡スコープ２１の中心軸から観測点までの距離Ｒ’の値として用いる。具体的には、以下の計算を行う。
【００３０】
頂点の輝度値Ｌと内視鏡スコープ２１の光ファイバ先端から観測点までの距離Ｒとの関係は、下記式（２）で表される。
（ｋｄ：物体の拡散反射率、Ｉｑ：光源光度、θ：光線の入射角、γ：表示部のガンマ特性）
上記式（２）で示すように、本実施形態においては、内視鏡装置２００のガンマ特性を考慮して、非線形な信号を線形な信号に補正するために、２次元画像の各画素の輝度値に対して、ガンマ補正を行っている。
【００３１】
上記式（２）において、光源光度Ｉｑと物体の拡散反射率ｋｄと光線の入射角θが未知であることから、これらの値を一定であると仮定すると、内視鏡スコープ２１の中心軸から観測点までの距離Ｒ’は、以下の式（３）で表される。式（３）により、内視鏡スコープ２１の中心軸から観測点までの距離Ｒ’を求める。
【００３２】
輝度値Ｌのとりうる値の範囲は、「０．０〜１．０」である。上記式（３）により、距離Ｒ’を求めると、距離Ｒ’のとりうる範囲は「１．０〜∞」になる。これは、内視鏡スコープの光源から観測点までの距離Ｒが０．０以上であることに相反する。そこで、上記式（３）により距離Ｒ’を求めた後、制御部１１ｃは、距離Ｒ’を補正して相対距離Ｒ”を算出する（Ｓ５０３）。相対距離Ｒ”は、具体的には、以下の処理（１）〜処理（３）を行うことにより求める。
【００３３】
処理１：「Ｒ’」を「Ｒ’−１．０」にシフトする。
（Ｒ’のとりうる範囲：「０．０〜∞」）
処理２：「Ｒ’−１．０」をＲ’値全体の最大値で割る。
（Ｒ’のとりうる範囲：「０．０〜１．０」）
処理３：「所定の最小値ｍｉｎ（＞０．０）〜１．０」の範囲内に圧縮する。
（Ｒ’のとりうる範囲：「ｍｉｎ〜１．０」）
【００３４】
このように、まず、輝度値Ｌ＝１．０に対応する点（内視鏡に最も近い点）を、光源から距離「０」の地点に補正するため、距離Ｒ’値の集合全体を１．０シフトする（処理１）。これにより、Ｒ’のとりうる範囲は「０．０〜∞」になる。次に、距離Ｒ’の値をそれぞれＲ’値全体の最大値で割り、正規化する（処理２）。これにより、距離Ｒ’のとりうる範囲は「０．０〜１．０」になる。正規化した値Ｒ’では、光軸に最も近い点は「０」、すなわち、光軸と同じ位置に物体が存在することになる。しかし、内視鏡スコープ２１には太さがあるため、光軸と同じ位置に物体が存在すること（すなわち、内視鏡スコープ径内に物体が侵入すること）は、不可能である。そこで、対象組織と内視鏡スコープ直径の比から、管腔中央部をスコープの進行領域として設定し、距離「０」の点をＲ’のとりうる範囲から除外する。これにより、Ｒ’のとりうる範囲は、所定の最小値ｍｉｎ（＞０．０）〜１．０」になる。このように補正された距離Ｒ’を、相対距離Ｒ”とする。なお、本実施形態において、距離Ｒ、Ｒ’、Ｒ”は、全て、絶対値ではなく相対的な距離を示している。
【００３５】
次に、制御部１１ｃは、円周方向の頂点数（円周方向空間分解能）から角度ｒａｄを算出する（Ｓ５０４）。その後、所定の重みｗ１を用いて、制御部１１ｃは、「Ｒ”×ｗ１×ｓｉｎ（ｒａｄ）」によりｘ座標を算出する（Ｓ５０５）。また、所定の重みｗ２を用いて、「Ｒ”×ｗ２×ｃｏｓ（ｒａｄ）」によりｙ座標を算出する（Ｓ５０６）。ここで、ｘ座標の算出とｙ座標の算出で用いられる、重みｗ１，ｗ２は、それぞれ任意に設定された値である。なお、重みｗ１，ｗ２は同一の値であってもよい。最後に、長さ方向の頂点数（長さ方向空間分解能）からｚ座標を算出する（Ｓ５０７）。制御部１１ｃは、全頂点について、３次元座標（ｘ、ｙ、ｚ）を算出したかどうかを判断する（Ｓ５０８）。全頂点について、３次元座標を算出していなければ、ステップＳ５０１に戻り、全頂点について３次元座標を算出するまで、上記の処理Ｓ５０１〜５０７を繰り返す。
【００３６】
上記のようにして求められた３次元座標に基づいて３次元モデルが生成され、テクスチャが貼り付けられる。
【００３７】
図７に、本実施形態の３次元画像生成装置により得られた３次元画像の一例を示す。図７（ａ）は、ヒトの大腸を内視鏡スコープ２１によって撮像して得られた画像を示す。図７（ｂ）は、情報処理装置１００によって生成された２次元展開画像を示す。図７（ｃ）は、情報処理装置１００によって、２次元展開画像から生成された３次元画像（仮想内視鏡画像）を示す。図７（ｄ）は、仮想内視鏡画像を回転させて表示した例（右方向から内腔左側面を観察する画像）を示す。図７（ｄ）は、カリングモードの設定をオンにすることにより、手前の壁を自動的に消去し（表示しないようにし）、後方の壁面のみを表示させるようにしたものである。ここで、「カリングモード」は、３次元モデルにおいて個々のポリゴンが有する、表・裏の情報を読み取り、カメラに対して特定の側の表面を見せているポリゴンのみを描画するモードである。本実施形態の情報処理装置１００により生成された３次元モデルでは、各ポリゴンは、管腔の中心軸に向いている面を表側と定義する。「カリングモード」を表面だけ描画させる設定下でオンにすることにより、カメラに裏側を見せているポリゴンを消し、後方の壁面を描画させることを可能とする。本実施形態の情報処理装置１００により生成された３次元画像は、任意に回転させたり、任意の断面を表示させたりすることができる。
【００３８】
３．まとめ
本実施形態によれば、内視鏡画像から得られた２次元画像のテクスチャを用いて３次元画像を生成しているため、元のテクスチャの色情報が得られると共に高い解像度が得られる。そのため、本実施形態により生成された３次元画像は有用性が高い。よって、本実施形態により生成された３次元画像を用いて、組織全体の性状や立体的な組織間の位置関係などの把握を行うことが可能となる。また、任意の断面で画像を表示したり、対象臓器を任意に回転させながら全体を眺めたりすることにより、病変の検出精度が向上する。
【００３９】
また、本実施形態によれば、輝度情報を用いて、元の形状を復元した３次元画像を生成している。すなわち、２次元画像の被写体の形状が事前に分かっている場合は、輝度情報に基づき計算式を用いて第３の座標（ｚ軸座標）を算出することで、その３次元の形状に復元することができる。例えば、本実施形態のように、内視鏡スコープ２１により撮像された実画像（内視鏡画像）から直接、３次元画像（仮想内視鏡画像）を生成することが可能となる。内視鏡スコープ２１により撮像される実画像では視点が固定されており、視野が狭く、また関心領域の場所の特定が難しい。しかし、本実施形態によれば、視点の自由が利く３次元画像を生成できるため、視野が広くなり、且つ関心領域の場所を特定することが容易になる。これにより、医師等が、関心領域を自由な視点から観察することが可能になる。
【００４０】
なお、本実施形態において、図５のステップ（Ｓ５０５〜Ｓ５０７）に示す３次元座標の計算式「（ｘ，ｙ，ｚ）＝（Ｒ”×ｗ１×ｓｉｎ（ｒａｄ），Ｒ”×ｗ２×ｃｏｓ（ｒａｄ），ｚ）」は、管状形状のものに適用されるものである。よって、他の形状の場合は他の計算式を用いて３次元座標を算出すればよい。すなわち、２次元画像の被写体の形状が事前に分かっている場合は、その被写体の形状に応じた計算式を用いることにより、３次元座標を算出し、３次元画像を生成することができる。
【００４１】
《実施形態２》
本実施形態では、３次元座標の算出（Ｓ３０４）の別の方法を説明する。本実施形態の構成は、実施形態１と同様である。本実施形態では、２次元画像の被写体の形状が知られていない場合でも、画像の輝度情報に基づきｚ座標を算出する場合について説明する。具体的には、２次元画像に奥行き（ｚ方向）を持たせることにより、２次元画像から３次元画像を生成する。より具体的には、３次元座標（ｘ、ｙ、ｚ）を算出する際に、ｘ座標及びｙ座標については、元の２次元座標の値（ｕ，ｖ）を用い、ｚ座標のみを輝度値から算出する。なお、本実施形態において、３次元画像生成装置の構成は実施形態１と同一であるが、内視鏡画像２００はなくてもよい。
【００４２】
図８に、本実施形態における３次元座標の算出のフローチャートを示す。情報処理装置１００の制御部１１ｃは、２次元画像の頂点の画素の青の輝度値を算出する（Ｓ８０１）。制御部１１ｃは、２次元画像の頂点の画素の緑の輝度値を算出する（Ｓ８０２）。制御部１１ｃは、２次元座標の値（ｕ，ｖ）を３次元座標のｘ座標及びｙ座標に割り当てると共に、青の輝度値と緑の輝度値に基づいて、その頂点の画素のｚ座標を算出する（Ｓ８０３）。具体的には、青の輝度値から緑の輝度値を減算し、減算して得られた差分の値が大きいほどｚ軸座標が大きく（または小さく）なるようにｚ座標を算出する。制御部１１ｃは、全頂点について、３次元座標（ｘ、ｙ、ｚ）を算出したかどうかを判断する（Ｓ８０４）。全頂点についての３次元座標を算出するまで、ステップＳ８０１〜８０３を繰り返す。
【００４３】
上記のように求めた３次元座標に対して、図３のフローに従ってテクスチャを貼り付けた例を図９に示す。図９は、図８の方法を用いてｚ座標を算出して３次元画像を生成した場合であって、眼底で実験した結果を示している。図９（ａ）は元の２次元画像を示し、図９（ｂ）は本実施形態の画像生成方法で３次元に変換した画像を示し、図９（ｃ）〜（ｅ）は図９（ｂ）の３次元画像を回転させ且つ任意の断面で切断した状態を示す図である。本実施形態の画像生成方法により作成された画像より、青の輝度値から緑の輝度値を減算することにより、実際により近いｚ座標を得られることが確かめられた。
【００４４】
本実施形態によれば、２次元画像の被写体の形状に関わらず、３次元画像を生成することができる。その際、特に、緑の輝度値と青の輝度値の差分に基づいてｚ座標を算出することにより、３次元画像の精度が向上する。
【００４５】
なお、上記実施形態１、２の３次元画像の生成方法を、プログラムによりコンピュータに実行させてもよい。
【００４６】
なお、本発明は、医療用途に限らず、土管や種々の配管、エンジンなどの配管の傷の検査等の工業用途にも使用でき、検査装置としての汎用性が広い。
【産業上の利用可能性】
【００４７】
本発明によれば、解像度が高く且つ色情報を備えた有用性の高い３次元画像を生成することができるという効果を有し、医療用途や工業用途等に有用である。
【符号の説明】
【００４８】
１１ 情報処理部
１１ａ 入出力インターフェース
１１ｂ 記憶部
１１ｃ 制御部
１２ 表示部
１３ 操作部
１３ａ マウス
１３ｂ キーボード
２１ 内視鏡スコープ
２２ 制御ユニット
２２ａ 制御部
２２ｂ 信号処理部
２２ｃ 光源部
１００ 情報処理装置
２００ 内視鏡装置
【技術分野】
【０００１】
本発明は、２次元画像から３次元画像を生成する３次元画像生成装置、３次元画像生成方法、及びその方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
従来から、内視鏡により撮像された画像が医療分野などで利用されている。内視鏡により撮像された画像は、視点が固定されているため、視野が狭い。
【０００３】
一方、呼吸器・消化器・脳外科などの臨床現場では、ＣＴやＭＲＩで取得した連続画像を用いて、３次元画像（「仮想内視鏡画像」と言う。）が生成されている。仮想内視鏡画像は、視点が自由で、死角を無効にできるという利点がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開ＷＯ２００７／１３９１８７パンフレット
【発明の概要】
【発明が解決しようとする課題】
【０００５】
仮想内視鏡画像の解像度はＣＴやＭＲＩの空間解像度に依存しているため、ＣＴやＭＲＩから生成された仮想内視鏡画像は実画像に比べると劣る。そのため、例えば、仮想内視鏡画像を見ても、５ｍｍ以下の病変を検出することができない。また、ＣＴやＭＲＩから生成された仮想内視鏡画像の場合、色情報がない。そのため、例えば、ＣＴやＭＲＩから生成された仮想内視鏡画像を用いて、上皮内癌や浸潤癌の診断をすることは難しい。このように、従来の仮想内視鏡画像は、解像度が低く、色情報もないため、有用性が低いという問題があった。
【０００６】
本発明は、上記問題を解決するものであって、解像度が高く且つ色情報を備えた有用性の高い３次元画像（例えば、仮想内視鏡画像）を生成する３次元画像生成装置、３次元画像生成方法、及びその方法をコンピュータに実行させるプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る第１の３次元画像生成装置は、３次元形状を有する被写体の２次元画像を入力する入力手段と、入力された２次元画像を格納する記憶手段と、記憶手段から前記２次元画像を読み出し、読み出した２次元画像から前記被写体の３次元画像を生成する制御手段とを有する。制御手段は、２次元画像内の複数の画素のそれぞれについて、輝度情報に基づいて第３の座標軸上の座標を算出して３次元座標を求め、複数の画素の３次元座標に基づいて１以上の三角形で構成される３次元モデルを生成し、３次元モデルに２次元画像のテクスチャを貼り付けることにより前記３次元画像を生成する。
【０００８】
本発明に係る第２の３次元画像生成装置は、３次元形状を有する被写体の２次元画像を入力する入力手段と、入力された２次元画像を格納する記憶手段と、記憶手段から２次元画像を読み出し、読み出した２次元画像から被写体の３次元画像を生成する制御手段とを有する。制御手段は、２次元画像内の各画素について、青の輝度情報と緑の輝度情報との差分を求め、その差分に基づき各画素の第３の座標軸上の座標を算出して３次元座標を求め、３次元座標に基づいて被写体の３次元画像を生成する。
【０００９】
本発明に係る第１の３次元画像生成方法は、情報処理装置を用いて３次元形状を有する被写体の２次元画像から３次元画像を生成する方法である。その方法は、情報処理装置の制御手段が、被写体を撮像した２次元画像内の複数の画素のそれぞれについて、輝度情報に基づいて第３の座標軸上の座標を算出して３次元座標を求めるステップと、複数の画素の３次元座標に基づいて１以上の三角形で構成される３次元モデルを生成するステップと、３次元モデルに２次元画像のテクスチャを貼り付けることにより前記３次元画像を生成するステップとを含む。
【００１０】
本発明に係る第２の３次元画像生成方法は、情報処理装置を用いて３次元形状を有する被写体の２次元画像から３次元画像を生成する方法である。その方法は、情報処理装置の制御手段が、被写体を撮像した２次元画像内の各画素について、青の輝度情報と緑の輝度情報との差分を求め、差分に基づき各画素の第３の座標軸上の座標を算出して、３次元座標を求めるステップと、２次元画像内の各画素の３次元座標に基づいて被写体の３次元画像を生成するステップとを含む。
【発明の効果】
【００１１】
本発明によれば、２次元画像の輝度情報を用いて３次元座標を算出し、算出した３次元座標に基づいて３次元モデルを生成して、その３次元モデルに２次元画像のテクスチャを貼り付けている。よって、２次元画像の解像度及び色情報がそのまま３次元画像に適用される。具体的には、例えば、内視鏡を用いて撮像した画像から得られる解像度及び色情報がそのまま３次元画像に適用される。そのため、解像度が高く且つ色情報を備えた有用性の高い３次元画像を生成することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態１及び２の３次元画像生成装置の構成を示すブロック図
【図２】本発明の実施形態１において、管状構造物を撮影して得られた内視鏡画像を平面的に展開することにより２次元画像を生成する方法を説明するための図
【図３】本発明の実施形態１及び２の３次元画像生成装置による３次元画像の生成方法を示すフローチャート
【図４】図３の方法を用いて行われる、実施形態１における２次元画像から３次元画像への変換を示す概略図
【図５】本発明の実施形態１における３次元座標の算出方法を示すフローチャート
【図６】図５において、３次元座標を求める際に用いられる要素を説明するための図
【図７】本発明の実施形態１に示す方法の実行において、使用された２次元画像または生成された３次元画像の例を示す図
【図８】本発明の実施形態２における３次元座標の算出方法を示すフローチャート
【図９】本発明の実施形態２に示す方法の実行において、使用された２次元画像または生成された３次元画像の例を示す図
【発明を実施するための形態】
【００１３】
《実施形態１》
本発明の実施形態１の３次元画像生成装置は、２次元画像から３次元画像を生成する。具体的には、本実施形態においては、内視鏡を用いて撮影された映像（「内視鏡画像」と言う。）を平面的に展開することにより２次元画像を生成し、その２次元画像を用いて元の内視鏡画像を再現した画像である仮想内視鏡画像（３次元画像）を生成する。より具体的には、本実施形態においては、２次元画像の被写体の形状が事前に分かっており、その被写体に応じた計算式を用いて、３次元形状を復元する。
【００１４】
１．構成
図１に、本発明の実施形態１の３次元画像生成装置の構成を示す。本実施形態の３次元画像生成装置は、内視鏡スコープにより撮影された画像から内視鏡画像データを生成する内視鏡装置２００と、内視鏡画像データから２次元展開画像を生成するとともに、その２次元展開画像から３次元画像を生成する情報処理装置１００と、を有する。
【００１５】
情報処理装置１００は、例えば、パーソナルコンピュータである。情報処理装置１００は、内視鏡装置２００から画像データを受けて２次元展開画像を生成するとともに、２次元展開画像から３次元画像を生成する情報処理部１１と、２次元画像や３次元画像を表示する表示部（例えば、ディスプレイ）１２と、ユーザからの情報処理部１１や表示部１２に対する指令を入力する操作部（マウス１３ａ及びキーボード１３ｂ）と、を備える。
【００１６】
情報処理部１１は、２次元画像や３次元画像のデータの送受信を外部と行う入出力インターフェース（Ｉ／Ｆ）１１ａと、２次元画像及び２次元画像から変換して生成した３次元画像を記憶する記憶部１１ｂと、記憶部１１ｂに記憶されている２次元画像や入出力インターフェース１１ａを介して外部から読み込んだ２次元画像から３次元画像を生成する制御部１１ｃと、を有する。
【００１７】
内視鏡装置２００は、管状構造物内に挿入されて管内面を撮像する内視鏡スコープ２１と、内視鏡スコープ２１を制御するとともに、内視鏡スコープ２１を介して入力される信号に基づきビデオファイル（内視鏡画像）を作成する制御ユニット２２と、を有している。内視鏡装置２００は、体内の腔所を観察するための光学系を組み込んだ医療機器である。
【００１８】
制御ユニット２２は、そのユニット２２内の各構成を制御する制御部２２ａと、内視鏡スコープ２１を介して入力される信号に基づき管状構造物内面のビデオファイルを作成する信号処理部２２ｂと、内視鏡スコープ２１の先端部から観察対象に対して照射される照明光の光源である光源部２２ｃと、を備えている。制御部２２ａは、ユーザの操作に応じて、内視鏡スコープ２１による撮像や照明のオンオフ切換えを制御したり、光源部２２ｃから内視鏡スコープ２１に供給される光量を調節したりする。
【００１９】
内視鏡スコープ２１は、対物レンズと、一対の照明用の光ファイバと、鉗子チャンネルや吸引チャンネル等の操作チャンネルと、を含み、それらが内視鏡スコープ２１の先端部においてそれぞれ露出するように設けられている。なお、かかる構成は、従来周知であり、また、内視鏡スコープ２１はこの構成に限定されることなく、例えば、単一の又は３つ以上の照明用の光ファイバが設けられたものが採用されてもよい。
【００２０】
上記のように構成される情報処理装置１００及び内視鏡装置２００は協働して、国際公開ＷＯ２００７／１３９１８７パンフレットに開示された画像構築技術に記載の動作を行って、管状構造物の内面を撮像し、複数フレーム画像から構成される２次元画像を生成する。
【００２１】
情報処理装置１００と内視鏡装置２００は、例えばＵＳＢケーブル等のケーブル５０を介して接続される。情報処理装置１００と内視鏡装置２００との間では、内視鏡装置２００により生成された２次元画像を情報処理装置１００に伝送したり、情報処理装置１００から内視鏡装置２００へコマンド信号を伝送したりすることができる。情報処理装置１００と内視鏡装置２００との間にビデオキャプチャボードを介在させてもよい。
【００２２】
なお、本実施形態においては、内視鏡装置２００により撮影される内視鏡画像から３次元画像を生成する場合を例示しているため、３次元画像生成装置は内視鏡装置２００を含んでいるが、２次元画像から３次元画像の生成は情報処理装置１００だけで実行できるため、３次元画像生成装置は内視鏡装置２００を必ずしも備える必要はない。
【００２３】
２．動作
２−１．２次元画像の生成
情報処理装置１００による２次元展開画像の生成処理は、国際公開ＷＯ２００７／１３９１８７パンフレットに開示された画像構築技術を利用する。この画像構築技術について説明する。情報処理装置１００は、内視鏡装置２００から内視鏡スコープ２１によって撮影された管状構造物内壁の内視鏡画像（動画または複数の静止画）を取得し、管状構造物内壁を平面的に展開した２次元展開画像を生成する。具体的には、図２（ａ）に示すように、動画または複数の静止画を構成する各画像Ｆ１、Ｆ２、Ｆ３、・・・上に試験線Ｒを設定し、その試験線Ｒ上の画素のみを抽出し、各画像について抽出した画素を一次元的に展開した画素列データ画像Ｒ１、Ｒ２、Ｒ３、・・・を生成する。その後、図２（ｂ）に示すように、一次元的に展開した画素列データ画像Ｒ１、Ｒ２、Ｒ３、・・・を、連続する複数画像分合成することで管状構造物内壁を平面的に展開した２次元画像Ｐを生成する。図２（ｃ）は、図２（ａ）に示すような連続した内視鏡画像から生成される、管状構造物内壁を平面的に展開した画像Ｐの一例を示した図である。このように、国際公開ＷＯ２００７／１３９１８７パンフレットには、管状構造物内壁を平面的に展開した２次元画像Ｐを生成する技術が開示されている。本実施形態の情報処理装置１００は上記の機能を有する。
【００２４】
内視鏡装置２００により生成された２次元画像（２次元展開画像）は、情報処理装置１００に送信され、記憶部１１ｂに格納される。
【００２５】
２−２．２次元画像から３次元画像への変換
図３及び図４を用いて、２次元画像から３次元画像を生成する方法について説明する。図３は、情報処理装置１００の制御部１１ｃによる３次元画像の生成方法を示すフローチャートである。図４は、２次元画像の被写体が管状構造物である場合の、２次元画像から３次元画像への変換方法を説明するための図である。図３を参照し、まず、生成する３次元画像（図４（ｂ））に対し、ユーザが任意に指定する頂点数を制御部１１ｃへ設定することにより、２次元画像の頂点数（すなわち、空間解像度）を設定する制御部１１ｃは、設定された頂点数を入力する（Ｓ３０１）。ここでは、２次元画像の水平方向（図４（ａ）のＵ軸方向）と垂直方向（図４（ａ）のＶ軸方向）のそれぞれについての分割数が同時に設定される。制御部１１ｃは、設定された頂点数（分割数）に基づいて、図４（ａ）に示すように、２次元画像を格子状に分割する（Ｓ３０２）。制御部１１ｃは、格子状に分割された２次元画像の２次元座標（ｕ，ｖ）（テクスチャ座標）を設定する（Ｓ３０３）。制御部１１ｃは、２次元画像における、各座標上の輝度情報を算出し、その輝度情報に基づいて、３次元座標（ｘ、ｙ、ｚ）（モデル空間座標）を算出する（Ｓ３０４）。制御部１１ｃは、３次元座標に基づいて、３次元モデルを生成する（Ｓ３０５）。「３次元モデル」は、図４（ｂ）に示すように、近接３頂点で構成される三角形を連続した構成（TRIANGLE-STRIP）を備えた仮想３次元空間上に生成される物体のことである。制御部１１ｃは、２次元座標と３次元座標に基づいて、３次元モデルに２次元画像のテクスチャを貼り付ける（Ｓ３０６）。図４（ａ）（ｂ）においては、Ｕ軸をＺ方向、Ｖ軸をＸ−Ｙ平面の円周方向に割り当てることにより、２次元画像のテクスチャを３次元モデルに貼り付ける。
【００２６】
以上のように、本実施形態では、２次元画像の輝度情報に基づいて２次元画像から３次元画像を生成する。
【００２７】
次に、図５及び図６を用いて、２次元画像の輝度情報から３次元座標を算出するステップ（Ｓ３０４）について、さらに詳細に説明する。図５は、情報処置装置１００の制御部１１ｃにより行われる、２次元画像の輝度情報に基づく３次元座標の算出方法を示すフローチャートである。図６は、３次元座標を求める際に使用される要素（引数）を説明するための図である。図５による３次元座標の算出方法と図６の説明図では、３次元画像の生成元となる２次元画像の被写体が管状構造物である場合、すなわち、内視鏡装置２００により、管腔などの管状形状の画像が撮影され、その撮影された画像から生成された２次元画像を用いた場合を示している。
【００２８】
図５を参照し、情報処理装置１００の制御部１１ｃは、２次元画像の各座標の輝度値Ｌを算出する（Ｓ５０１）。具体的には、輝度値Ｌは、ＮＴＳＣ係数による加重平均法を用いて、下記式（１）により算出される。
Ｌ＝０．２９８９１２×Ｒ＋０．５８６６１１×Ｇ＋０．１１４４７８×Ｂ・・・（１）
（Ｒ：赤色の輝度値、Ｇ：緑色の輝度値、Ｂ：青色の輝度値）
【００２９】
制御部１１ｃは、算出した輝度値Ｌに基づいて、内視鏡スコープ２１の中心軸から観測点（組織）までの距離Ｒ’を算出する（Ｓ５０２）。このとき、図６に示すように、内視鏡スコープ２１の中心軸から観測点までの距離Ｒ’は、内視鏡スコープ２１の光ファイバ先端（以下、「光源」とも言う。）から観測点までの距離Ｒと比例関係にある。このため、内視鏡スコープ２１の光ファイバの先端から観測点までの距離Ｒを頂点の輝度値Ｌを用いて算出して、算出した距離Ｒを、内視鏡スコープ２１の中心軸から観測点までの距離Ｒ’の値として用いる。具体的には、以下の計算を行う。
【００３０】
頂点の輝度値Ｌと内視鏡スコープ２１の光ファイバ先端から観測点までの距離Ｒとの関係は、下記式（２）で表される。
（ｋｄ：物体の拡散反射率、Ｉｑ：光源光度、θ：光線の入射角、γ：表示部のガンマ特性）
上記式（２）で示すように、本実施形態においては、内視鏡装置２００のガンマ特性を考慮して、非線形な信号を線形な信号に補正するために、２次元画像の各画素の輝度値に対して、ガンマ補正を行っている。
【００３１】
上記式（２）において、光源光度Ｉｑと物体の拡散反射率ｋｄと光線の入射角θが未知であることから、これらの値を一定であると仮定すると、内視鏡スコープ２１の中心軸から観測点までの距離Ｒ’は、以下の式（３）で表される。式（３）により、内視鏡スコープ２１の中心軸から観測点までの距離Ｒ’を求める。
【００３２】
輝度値Ｌのとりうる値の範囲は、「０．０〜１．０」である。上記式（３）により、距離Ｒ’を求めると、距離Ｒ’のとりうる範囲は「１．０〜∞」になる。これは、内視鏡スコープの光源から観測点までの距離Ｒが０．０以上であることに相反する。そこで、上記式（３）により距離Ｒ’を求めた後、制御部１１ｃは、距離Ｒ’を補正して相対距離Ｒ”を算出する（Ｓ５０３）。相対距離Ｒ”は、具体的には、以下の処理（１）〜処理（３）を行うことにより求める。
【００３３】
処理１：「Ｒ’」を「Ｒ’−１．０」にシフトする。
（Ｒ’のとりうる範囲：「０．０〜∞」）
処理２：「Ｒ’−１．０」をＲ’値全体の最大値で割る。
（Ｒ’のとりうる範囲：「０．０〜１．０」）
処理３：「所定の最小値ｍｉｎ（＞０．０）〜１．０」の範囲内に圧縮する。
（Ｒ’のとりうる範囲：「ｍｉｎ〜１．０」）
【００３４】
このように、まず、輝度値Ｌ＝１．０に対応する点（内視鏡に最も近い点）を、光源から距離「０」の地点に補正するため、距離Ｒ’値の集合全体を１．０シフトする（処理１）。これにより、Ｒ’のとりうる範囲は「０．０〜∞」になる。次に、距離Ｒ’の値をそれぞれＲ’値全体の最大値で割り、正規化する（処理２）。これにより、距離Ｒ’のとりうる範囲は「０．０〜１．０」になる。正規化した値Ｒ’では、光軸に最も近い点は「０」、すなわち、光軸と同じ位置に物体が存在することになる。しかし、内視鏡スコープ２１には太さがあるため、光軸と同じ位置に物体が存在すること（すなわち、内視鏡スコープ径内に物体が侵入すること）は、不可能である。そこで、対象組織と内視鏡スコープ直径の比から、管腔中央部をスコープの進行領域として設定し、距離「０」の点をＲ’のとりうる範囲から除外する。これにより、Ｒ’のとりうる範囲は、所定の最小値ｍｉｎ（＞０．０）〜１．０」になる。このように補正された距離Ｒ’を、相対距離Ｒ”とする。なお、本実施形態において、距離Ｒ、Ｒ’、Ｒ”は、全て、絶対値ではなく相対的な距離を示している。
【００３５】
次に、制御部１１ｃは、円周方向の頂点数（円周方向空間分解能）から角度ｒａｄを算出する（Ｓ５０４）。その後、所定の重みｗ１を用いて、制御部１１ｃは、「Ｒ”×ｗ１×ｓｉｎ（ｒａｄ）」によりｘ座標を算出する（Ｓ５０５）。また、所定の重みｗ２を用いて、「Ｒ”×ｗ２×ｃｏｓ（ｒａｄ）」によりｙ座標を算出する（Ｓ５０６）。ここで、ｘ座標の算出とｙ座標の算出で用いられる、重みｗ１，ｗ２は、それぞれ任意に設定された値である。なお、重みｗ１，ｗ２は同一の値であってもよい。最後に、長さ方向の頂点数（長さ方向空間分解能）からｚ座標を算出する（Ｓ５０７）。制御部１１ｃは、全頂点について、３次元座標（ｘ、ｙ、ｚ）を算出したかどうかを判断する（Ｓ５０８）。全頂点について、３次元座標を算出していなければ、ステップＳ５０１に戻り、全頂点について３次元座標を算出するまで、上記の処理Ｓ５０１〜５０７を繰り返す。
【００３６】
上記のようにして求められた３次元座標に基づいて３次元モデルが生成され、テクスチャが貼り付けられる。
【００３７】
図７に、本実施形態の３次元画像生成装置により得られた３次元画像の一例を示す。図７（ａ）は、ヒトの大腸を内視鏡スコープ２１によって撮像して得られた画像を示す。図７（ｂ）は、情報処理装置１００によって生成された２次元展開画像を示す。図７（ｃ）は、情報処理装置１００によって、２次元展開画像から生成された３次元画像（仮想内視鏡画像）を示す。図７（ｄ）は、仮想内視鏡画像を回転させて表示した例（右方向から内腔左側面を観察する画像）を示す。図７（ｄ）は、カリングモードの設定をオンにすることにより、手前の壁を自動的に消去し（表示しないようにし）、後方の壁面のみを表示させるようにしたものである。ここで、「カリングモード」は、３次元モデルにおいて個々のポリゴンが有する、表・裏の情報を読み取り、カメラに対して特定の側の表面を見せているポリゴンのみを描画するモードである。本実施形態の情報処理装置１００により生成された３次元モデルでは、各ポリゴンは、管腔の中心軸に向いている面を表側と定義する。「カリングモード」を表面だけ描画させる設定下でオンにすることにより、カメラに裏側を見せているポリゴンを消し、後方の壁面を描画させることを可能とする。本実施形態の情報処理装置１００により生成された３次元画像は、任意に回転させたり、任意の断面を表示させたりすることができる。
【００３８】
３．まとめ
本実施形態によれば、内視鏡画像から得られた２次元画像のテクスチャを用いて３次元画像を生成しているため、元のテクスチャの色情報が得られると共に高い解像度が得られる。そのため、本実施形態により生成された３次元画像は有用性が高い。よって、本実施形態により生成された３次元画像を用いて、組織全体の性状や立体的な組織間の位置関係などの把握を行うことが可能となる。また、任意の断面で画像を表示したり、対象臓器を任意に回転させながら全体を眺めたりすることにより、病変の検出精度が向上する。
【００３９】
また、本実施形態によれば、輝度情報を用いて、元の形状を復元した３次元画像を生成している。すなわち、２次元画像の被写体の形状が事前に分かっている場合は、輝度情報に基づき計算式を用いて第３の座標（ｚ軸座標）を算出することで、その３次元の形状に復元することができる。例えば、本実施形態のように、内視鏡スコープ２１により撮像された実画像（内視鏡画像）から直接、３次元画像（仮想内視鏡画像）を生成することが可能となる。内視鏡スコープ２１により撮像される実画像では視点が固定されており、視野が狭く、また関心領域の場所の特定が難しい。しかし、本実施形態によれば、視点の自由が利く３次元画像を生成できるため、視野が広くなり、且つ関心領域の場所を特定することが容易になる。これにより、医師等が、関心領域を自由な視点から観察することが可能になる。
【００４０】
なお、本実施形態において、図５のステップ（Ｓ５０５〜Ｓ５０７）に示す３次元座標の計算式「（ｘ，ｙ，ｚ）＝（Ｒ”×ｗ１×ｓｉｎ（ｒａｄ），Ｒ”×ｗ２×ｃｏｓ（ｒａｄ），ｚ）」は、管状形状のものに適用されるものである。よって、他の形状の場合は他の計算式を用いて３次元座標を算出すればよい。すなわち、２次元画像の被写体の形状が事前に分かっている場合は、その被写体の形状に応じた計算式を用いることにより、３次元座標を算出し、３次元画像を生成することができる。
【００４１】
《実施形態２》
本実施形態では、３次元座標の算出（Ｓ３０４）の別の方法を説明する。本実施形態の構成は、実施形態１と同様である。本実施形態では、２次元画像の被写体の形状が知られていない場合でも、画像の輝度情報に基づきｚ座標を算出する場合について説明する。具体的には、２次元画像に奥行き（ｚ方向）を持たせることにより、２次元画像から３次元画像を生成する。より具体的には、３次元座標（ｘ、ｙ、ｚ）を算出する際に、ｘ座標及びｙ座標については、元の２次元座標の値（ｕ，ｖ）を用い、ｚ座標のみを輝度値から算出する。なお、本実施形態において、３次元画像生成装置の構成は実施形態１と同一であるが、内視鏡画像２００はなくてもよい。
【００４２】
図８に、本実施形態における３次元座標の算出のフローチャートを示す。情報処理装置１００の制御部１１ｃは、２次元画像の頂点の画素の青の輝度値を算出する（Ｓ８０１）。制御部１１ｃは、２次元画像の頂点の画素の緑の輝度値を算出する（Ｓ８０２）。制御部１１ｃは、２次元座標の値（ｕ，ｖ）を３次元座標のｘ座標及びｙ座標に割り当てると共に、青の輝度値と緑の輝度値に基づいて、その頂点の画素のｚ座標を算出する（Ｓ８０３）。具体的には、青の輝度値から緑の輝度値を減算し、減算して得られた差分の値が大きいほどｚ軸座標が大きく（または小さく）なるようにｚ座標を算出する。制御部１１ｃは、全頂点について、３次元座標（ｘ、ｙ、ｚ）を算出したかどうかを判断する（Ｓ８０４）。全頂点についての３次元座標を算出するまで、ステップＳ８０１〜８０３を繰り返す。
【００４３】
上記のように求めた３次元座標に対して、図３のフローに従ってテクスチャを貼り付けた例を図９に示す。図９は、図８の方法を用いてｚ座標を算出して３次元画像を生成した場合であって、眼底で実験した結果を示している。図９（ａ）は元の２次元画像を示し、図９（ｂ）は本実施形態の画像生成方法で３次元に変換した画像を示し、図９（ｃ）〜（ｅ）は図９（ｂ）の３次元画像を回転させ且つ任意の断面で切断した状態を示す図である。本実施形態の画像生成方法により作成された画像より、青の輝度値から緑の輝度値を減算することにより、実際により近いｚ座標を得られることが確かめられた。
【００４４】
本実施形態によれば、２次元画像の被写体の形状に関わらず、３次元画像を生成することができる。その際、特に、緑の輝度値と青の輝度値の差分に基づいてｚ座標を算出することにより、３次元画像の精度が向上する。
【００４５】
なお、上記実施形態１、２の３次元画像の生成方法を、プログラムによりコンピュータに実行させてもよい。
【００４６】
なお、本発明は、医療用途に限らず、土管や種々の配管、エンジンなどの配管の傷の検査等の工業用途にも使用でき、検査装置としての汎用性が広い。
【産業上の利用可能性】
【００４７】
本発明によれば、解像度が高く且つ色情報を備えた有用性の高い３次元画像を生成することができるという効果を有し、医療用途や工業用途等に有用である。
【符号の説明】
【００４８】
１１ 情報処理部
１１ａ 入出力インターフェース
１１ｂ 記憶部
１１ｃ 制御部
１２ 表示部
１３ 操作部
１３ａ マウス
１３ｂ キーボード
２１ 内視鏡スコープ
２２ 制御ユニット
２２ａ 制御部
２２ｂ 信号処理部
２２ｃ 光源部
１００ 情報処理装置
２００ 内視鏡装置
【特許請求の範囲】
【請求項１】
３次元形状を有する被写体の２次元画像を入力する入力手段と、
前記入力された２次元画像を格納する記憶手段と、
前記記憶手段から前記２次元画像を読み出し、読み出した２次元画像から前記被写体の３次元画像を生成する制御手段とを有し、
前記制御手段は、前記２次元画像内の複数の画素のそれぞれについて、輝度情報に基づいて第３の座標軸上の座標を算出して３次元座標を求め、前記複数の画素の３次元座標に基づいて１以上の三角形で構成される３次元モデルを生成し、前記３次元モデルに前記２次元画像のテクスチャを貼り付けることにより前記３次元画像を生成する、
３次元画像生成装置。
【請求項２】
３次元形状を有する被写体の２次元画像を入力する入力手段と、
前記入力された２次元画像を格納する記憶手段と、
前記記憶手段から前記２次元画像を読み出し、読み出した２次元画像から前記被写体の３次元画像を生成する制御手段とを有し、
前記制御手段は、前記２次元画像内の各画素について、青の輝度情報と緑の輝度情報との差分を求め、その差分に基づき各画素の第３の座標軸上の座標を算出して３次元座標を求め、前記３次元座標に基づいて前記被写体の３次元画像を生成する、
３次元画像生成装置。
【請求項３】
前記２次元画像は、内視鏡により撮影された画像を平面的に展開することにより生成された画像である、請求項１または２に記載の３次元画像生成装置。
【請求項４】
情報処理装置を用いて３次元形状を有する被写体の２次元画像から３次元画像を生成する方法であって、
前記情報処理装置の制御手段が、
被写体を撮像した２次元画像内の複数の画素のそれぞれについて、輝度情報に基づいて第３の座標軸上の座標を算出して３次元座標を求めるステップと、
前記複数の画素の３次元座標に基づいて１以上の三角形で構成される３次元モデルを生成するステップと、
前記３次元モデルに前記２次元画像のテクスチャを貼り付けることにより前記３次元画像を生成するステップと、
を含む、
３次元画像生成方法。
【請求項５】
情報処理装置を用いて３次元形状を有する被写体の２次元画像から３次元画像を生成する方法であって、
前記情報処理装置の制御手段が、
被写体を撮像した２次元画像内の各画素について、青の輝度情報と緑の輝度情報との差分を求め、前記差分に基づき各画素の第３の座標軸上の座標を算出して、３次元座標を求めるステップと、
前記２次元画像内の各画素の３次元座標に基づいて前記被写体の３次元画像を生成するステップと
を含む、
３次元画像生成方法。
【請求項６】
情報処理装置に、３次元形状を有する被写体の２次元画像から３次元画像を生成させるためのプログラムであって、
前記情報処理装置の制御手段に、
被写体を撮像した２次元画像内の複数の画素のそれぞれについて、輝度情報に基づいて第３の座標軸上の座標を算出して３次元座標を求めるステップと、
前記複数の画素の３次元座標に基づいて１以上の三角形で構成される３次元モデルを生成するステップと、
前記３次元モデルに前記２次元画像のテクスチャを貼り付けることにより前記３次元画像を生成するステップと、
を実行させる、３次元画像生成プログラム。
【請求項７】
情報処理装置に、３次元形状を有する被写体の２次元画像から３次元画像を生成させるためのプログラムであって、
前記情報処理装置の制御手段に、
被写体を撮像した２次元画像内の各画素について、青の輝度情報と緑の輝度情報との差分を求め、前記差分に基づき各画素の第３の座標軸上の座標を算出して、３次元座標を求めるステップと、
前記２次元画像内の各画素の３次元座標に基づいて前記被写体の３次元画像を生成するステップと
を実行させる、３次元画像生成プログラム。
【請求項１】
３次元形状を有する被写体の２次元画像を入力する入力手段と、
前記入力された２次元画像を格納する記憶手段と、
前記記憶手段から前記２次元画像を読み出し、読み出した２次元画像から前記被写体の３次元画像を生成する制御手段とを有し、
前記制御手段は、前記２次元画像内の複数の画素のそれぞれについて、輝度情報に基づいて第３の座標軸上の座標を算出して３次元座標を求め、前記複数の画素の３次元座標に基づいて１以上の三角形で構成される３次元モデルを生成し、前記３次元モデルに前記２次元画像のテクスチャを貼り付けることにより前記３次元画像を生成する、
３次元画像生成装置。
【請求項２】
３次元形状を有する被写体の２次元画像を入力する入力手段と、
前記入力された２次元画像を格納する記憶手段と、
前記記憶手段から前記２次元画像を読み出し、読み出した２次元画像から前記被写体の３次元画像を生成する制御手段とを有し、
前記制御手段は、前記２次元画像内の各画素について、青の輝度情報と緑の輝度情報との差分を求め、その差分に基づき各画素の第３の座標軸上の座標を算出して３次元座標を求め、前記３次元座標に基づいて前記被写体の３次元画像を生成する、
３次元画像生成装置。
【請求項３】
前記２次元画像は、内視鏡により撮影された画像を平面的に展開することにより生成された画像である、請求項１または２に記載の３次元画像生成装置。
【請求項４】
情報処理装置を用いて３次元形状を有する被写体の２次元画像から３次元画像を生成する方法であって、
前記情報処理装置の制御手段が、
被写体を撮像した２次元画像内の複数の画素のそれぞれについて、輝度情報に基づいて第３の座標軸上の座標を算出して３次元座標を求めるステップと、
前記複数の画素の３次元座標に基づいて１以上の三角形で構成される３次元モデルを生成するステップと、
前記３次元モデルに前記２次元画像のテクスチャを貼り付けることにより前記３次元画像を生成するステップと、
を含む、
３次元画像生成方法。
【請求項５】
情報処理装置を用いて３次元形状を有する被写体の２次元画像から３次元画像を生成する方法であって、
前記情報処理装置の制御手段が、
被写体を撮像した２次元画像内の各画素について、青の輝度情報と緑の輝度情報との差分を求め、前記差分に基づき各画素の第３の座標軸上の座標を算出して、３次元座標を求めるステップと、
前記２次元画像内の各画素の３次元座標に基づいて前記被写体の３次元画像を生成するステップと
を含む、
３次元画像生成方法。
【請求項６】
情報処理装置に、３次元形状を有する被写体の２次元画像から３次元画像を生成させるためのプログラムであって、
前記情報処理装置の制御手段に、
被写体を撮像した２次元画像内の複数の画素のそれぞれについて、輝度情報に基づいて第３の座標軸上の座標を算出して３次元座標を求めるステップと、
前記複数の画素の３次元座標に基づいて１以上の三角形で構成される３次元モデルを生成するステップと、
前記３次元モデルに前記２次元画像のテクスチャを貼り付けることにより前記３次元画像を生成するステップと、
を実行させる、３次元画像生成プログラム。
【請求項７】
情報処理装置に、３次元形状を有する被写体の２次元画像から３次元画像を生成させるためのプログラムであって、
前記情報処理装置の制御手段に、
被写体を撮像した２次元画像内の各画素について、青の輝度情報と緑の輝度情報との差分を求め、前記差分に基づき各画素の第３の座標軸上の座標を算出して、３次元座標を求めるステップと、
前記２次元画像内の各画素の３次元座標に基づいて前記被写体の３次元画像を生成するステップと
を実行させる、３次元画像生成プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−２５６９８８（Ｐ２０１０−２５６９８８Ａ）
【公開日】平成２２年１１月１１日（２０１０．１１．１１）
【国際特許分類】
【出願番号】特願２００９−１０３２１７（Ｐ２００９−１０３２１７）
【出願日】平成２１年４月２１日（２００９．４．２１）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 第１の公開 平成２１年２月２０日千葉大学フロンティアメディカル工学研究開発センター発行の「千葉大学フロンティアメディカル工学研究開発センター 第７回シンポジウム ポスター講演要旨集第４頁」に発表。 第２の公開 平成２１年２月２０日千葉大学フロンティアメディカル工学研究開発センター主催の「千葉大学フロンティアメディカル工学研究開発センター 第７回シンポジウム」において文書をもって発表。
【出願人】（３０４０２１８３１）国立大学法人 千葉大学 (601)
【Ｆターム（参考）】
【公開日】平成２２年１１月１１日（２０１０．１１．１１）
【国際特許分類】
【出願日】平成２１年４月２１日（２００９．４．２１）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 第１の公開 平成２１年２月２０日千葉大学フロンティアメディカル工学研究開発センター発行の「千葉大学フロンティアメディカル工学研究開発センター 第７回シンポジウム ポスター講演要旨集第４頁」に発表。 第２の公開 平成２１年２月２０日千葉大学フロンティアメディカル工学研究開発センター主催の「千葉大学フロンティアメディカル工学研究開発センター 第７回シンポジウム」において文書をもって発表。
【出願人】（３０４０２１８３１）国立大学法人 千葉大学 (601)
【Ｆターム（参考）】
[ Back to top ]