医療画像処理装置
【課題】 食道等の管状部位の内面を撮像した医療画像から診断に適した展開図の画像を生成する医療画像処理装置を提供する。
【解決手段】 内視鏡により撮像した食道等の対象物の画像データを取り込み、前処理した後、各が素に対応する対象物上の３次元位置の算出を行って、３次元形状の中心を通る直線を推定し、さらに直線を基準とした座標系の変換パラメータを算出する等して、撮像面の画素を対象物のサイズに近い円柱体の表面に投影して、展開図を生成する。
【解決手段】 内視鏡により撮像した食道等の対象物の画像データを取り込み、前処理した後、各が素に対応する対象物上の３次元位置の算出を行って、３次元形状の中心を通る直線を推定し、さらに直線を基準とした座標系の変換パラメータを算出する等して、撮像面の画素を対象物のサイズに近い円柱体の表面に投影して、展開図を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生体内の管状部位に対する医療画像から展開図を生成する画像処理を行う医療画像処理装置に関する。
【背景技術】
【０００２】
内視鏡装置による食道検査のスクリーニングにおいて、胃と食道との接合部から連続して食道内に存在する円柱上皮（バレット粘膜）の広がりや円柱上皮と扁平上皮との境界形状は、バレット食道を診断するための有益な情報の一つである。
直視型の内視鏡により、管状部位の内面を撮像面に撮像された内視鏡画像そのままでは、円柱上皮の広がり方（全周性か舌状に延びている）を正確に判断することが難しい等の問題がある。
【特許文献１】特開平８−２５６２９５号公報
【特許文献２】米国特許４，９６２，５４０号明細書
【非特許文献１】コンピュータ画像処理入門 総研出版( 株) 田村秀行監修：p.148 〜p.150
【非特許文献２】コンピュータビジョン，投影中心に点光源がある場合のＳｈａｐｅ−ｆｒｏｍ−Ｓｈａｄｉｎｇ−内視鏡形状からの３次元形状復元− 岡谷、出口：ｐｐ．１９−２６，１９９６
【発明の開示】
【発明が解決しようとする課題】
【０００３】
このため、食道のような管状部位の内面を撮像した内視鏡画像からより診断し易い画像、具体的には展開図を生成して、この展開図を表示することが有用となるが、これまで実現されていなかった。
【０００４】
（発明の目的）
本発明は、上述した点に鑑みてなされたもので、食道等の管状部位の内面を撮像した医療画像から診断し易い展開図の画像を生成できる医療画像処理装置を提供することを目的とする。
さらに本発明は、管状部位の内面の立体形状を推定することにより、精度の良い展開図の画像を生成できる医療画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の医療画像処理装置は、生体内の管状部位を撮像した少なくとも１枚の医療画像から前記管状部位の立体形状を推定する立体形状推定手段と、
前記推定された立体形状に対して幾何学的な変換を行う画像変換手段と、
前記画像変換手段によって生成された変換画像を展開図として表示手段に出力する展開図出力手段と、
を有することを特徴とする。
上記構成により、食道等の管状部位の内面の立体形状を推定してその立体形状に対応する円柱体表面等に画像変換手段により医療画像を投影する等の幾何学的な変換を行い、診断し易い展開図の画像を生成できるようにしている。
【発明の効果】
【０００６】
本発明によれば、食道等の管状器官等の内面を撮像した医療画像から、診断し易い展開図の画像を生成できる。
【発明を実施するための最良の形態】
【０００７】
以下、図面を参照して本発明の実施例を説明する。
【実施例１】
【０００８】
図１ないし図１４は、本発明の実施例１に係り、図１は本発明の実施例１の画像処理装置を備えた内視鏡システムの構成を示し、図２は食道のような管状部位内に内視鏡を挿入して撮像する様子を示し、図３は図２の内視鏡によって撮影された内視鏡画像を示し、図４は画像処理装置を構成するＣＰＵによる画像処理機能を示し、図５は展開図を生成する為の処理内容を示し、図６は撮像された画像の各画素に対応する物体上の対応点と光源等との位置関係を示し、図７は光源からの光を物体の面で反射する様子などを示す。
また、図８は対応点の周囲に設定される複数の法線ベクトルを示し、図９はベクトルｍが画像上の位置を通ることを示し、図１０は３次元形状の中心を通る直線を求めるための説明図を示し、図１１は３次元形状の座標系から直線を基準にした座標系に変換する説明図を示し、図１２は内視鏡画像の位置を円柱体表面に投影して展開図を生成する説明図を示し、図１３は補間処理により展開図を生成する説明図を示し、図１４は表示装置に表示される内視鏡画像及び展開図を示す。
【０００９】
図１に示す内視鏡システム１は、内視鏡観察装置２と、この内視鏡観察装置２により得られた内視鏡画像に対して画像処理を行うパーソナルコンピュータ等により構成される内視鏡画像処理装置（以下、単に画像処理装置と略記）３と、この画像処理装置３により画像処理された画像を表示する表示モニタ４とから構成される。
内視鏡観察装置２は、体腔内に挿入される内視鏡６と、この内視鏡６に照明光を供給する光源装置７と、内視鏡６の撮像手段に対する信号処理を行うカメラコントロールユニット（ＣＣＵと略記）８と、このＣＣＵ８から出力される映像信号が入力されることにより、撮像素子で撮影した内視鏡画像を表示するモニタ９とを有する。
【００１０】
内視鏡６は、体腔内に挿入される挿入部１１と、この挿入部１１の後端に設けられた操作部１２とを有する。また、挿入部１１内には照明光を伝送するライトガイド１３が挿通されている。
このライドガイド１３の後端は、光源装置７に接続される。そして、この光源装置７から供給される照明光をライトガイド１３により転送し、挿入部１１の先端部１４に設けた照明窓に取り付けられた先端面から（伝送した照明光を）出射し、患部等の被写体を照明する。
照明窓に隣接する観察窓に取り付けた対物レンズ１５と、この対物レンズ１５の結像位置に配置された固体撮像素子としての例えば電荷結合素子（ＣＣＤと略記）１６とによる撮像装置１７が設けてある。そして、このＣＣＤ１６の撮像面に結蔵された光学像は、このＣＣＤ１６により光電変換される。
【００１１】
このＣＣＤ１６は、信号線を介してＣＣＵ８と接続され、このＣＣＵ８からＣＣＤ駆動信号が印加されることにより、ＣＣＤ１６は光電変換した画像信号を出力する。この画像信号は、ＣＣＵ８内の映像処理回路により信号処理され、映像信号に変換される。 この映像信号はモニタ９に出力され、モニタ９の表示面には、内視鏡画像が表示される。この映像信号は、画像処理装置３にも入力される。
この画像処理装置３は、内視鏡観察装置２から入力される内視鏡画像に対応する映像信号が入力される画像入力部２１と、この画像入力部２１から入力された画像データに対する画像処理を行う中央演算処理装置としてのＣＰＵ２２と、このＣＰＵ２２により画像処理を実行させる処理プログラム（制御プログラム）を記憶する処理プログラム記憶部２３とを有する。
【００１２】
また、この画像処理装置３は画像入力部２１から入力される画像データ等を記憶する画像記憶部２４と、ＣＰＵ２２により処理された情報等を記憶する情報記憶部２５と、ＣＰＵ２２により処理された画像データ及び情報等を記憶装置インターフエース２６を介して記憶する記憶装置としてのハードディスク２７と、ＣＰＵ２２により処理された画像データ等を表示するための表示処理を行う表示処理部２８と、ユーザが画像処理のパラメータ等のデータ入力や指示操作を行うキーボードなどからなる入力操作部２９とを有する。
【００１３】
そして、この表示処理部２８により生成された映像信号は、表示モニタ４に表示され、この表示モニタ４の表示面には画像処理された処理画像が表示される。なお、画像入力部２１、ＣＰＵ２２、処理プログラム記憶部２３、画像記憶部２４、情報記憶部２５、記憶装置インターフェース２６、表示処理部２８、入力操作部２９は、データバス３０を介して互いに接続されている。
【００１４】
本実施例においては、図２に示すように、例えば食道３１のような管状部位（管状器官）に直視型の内視鏡６の挿入部１１が挿入され、撮像装置１７により撮像される。 図３は、この直視型の内視鏡６によって撮像されたバレット食道の内視鏡画像Ｉａの１例を示している。バレット食道は、胃と食道の接合部から口腔に向かって連続的に食道粘膜（扁平上皮）が胃粘膜（円柱上皮）に変性した状態である。この変性した円柱上皮の広がり方や円柱上皮と扁平上皮との境界の特徴的な形状を内視鏡６によって観察することにより、術者はバレット食道の診断を行う。
【００１５】
図３の内視鏡画像Ｉａの場合には、食道３１から胃内部に至る管状部位部分が最暗部画像３３、その周囲に胃及び食道の接合部の画像３４、接合部の周囲の円柱上皮の画像３５、そしてこの円柱上皮の周囲の扁平上皮の画像３６が表示されている。
本実施例では、食道３１のような管状器官を直視型の内視鏡６によって撮像し、撮像された画像から対象物の立体形状を推定する。
推定された立体形状の中心を通過する直線を推定し、直線を基準に幾何学的な変換することで展開図にし易い画像を生成し、その画像を展開図として表示手段に出力する。そして、表示手段の表示面に、展開図が表示されるようにする。
【００１６】
つまり、画像処理装置３を構成するＣＰＵ２２は、図４に示すようにその機能として、立体形状推定手段（機能）２２ａと、推定された立体形状の中心を通過する直線の推定手段（機能）２２ｂと、推定された直線を基準として展開図として表示し易い形状に幾何学的な変換を行う幾何学的変換手段（機能）２２ｃと、幾何学的な変換により展開図の画像を表示モニタ４に出力する展開図出力手段（機能）２２ｄと有し、この表示モニタ４の表示面には展開図が表示される。
本実施例においては、図４に示した立体形状推定手段２２ａ、直線の推定手段２２ｂ、幾何学的変換手段２２ｃ、展開図出力手段２２ｄをソフトウェア的に実現している。つまり、処理プログラム記憶部２３に記憶（格納）された処理プログラムをＣＰＵ２２は読み出し、ＣＰＵ２２は、この処理プログラムに従って図５に示すフローチャートの処理を実行する。
【００１７】
以下、展開図を生成して表示する処理を図５のフローチャートに従って説明する。 画像処理装置３の動作が開始すると、ＣＰＵ２２は処理プログラム記憶部２３の処理プログラムを読み出し、その処理プログラムに従った処理を開始する。ＣＰＵ２２は最初のステップＳ１において、内視鏡観察装置２のＣＣＵ８から画像入力部２１を経て入力される原画像としての画像データを取得する。
そして、次のステップＳ２においてＣＰＵ２２は、取得された画像データに対して歪曲収差補正（特開平８−２５６２９５号公報）や、ノイズ除去等の前処理を行う。ステップＳ３においてＣＰＵ２２は、画像内の画素に対応する対象物体の３次元位置を以下の手順で求める。
【００１８】
図６に示すように視点位置Ｏにある撮像手段によって撮影された画像の３画素に対応する対象物体上の画素対応点Ｅ１、Ｅ２，Ｅ３を抽出し、画素対応点Ｅ１、Ｅ２，Ｅ３の３次元位置と光源Ｑ及び視点Ｏとの位置関係から以下の式（１）が求められる。
【数１】
【００１９】
ただし、画素対応点Ｅ１、Ｅ２，Ｅ３の３次元位置のベクトルをｋ1ｍ1、ｋ2ｍ2、ｋ3ｍ3（ｍ1，ｍ2，ｍ3：大きさ１の単位ベクトル）、視点Ｏから光源Ｑへのベクトルをｄ、光源Ｑから３画素対応点Ｅ１、Ｅ２，Ｅ３の３次元位置へのベクトルをｒ1、ｒ2、ｒ3とする。
【００２０】
画素対応点Ｅ１、Ｅ２，Ｅ３の３次元位置で構成される平面の法線ベクトルをｎとすると、式（１）よりベクトルｎは、次の式（２）のようになり、ベクトル成分ｋ1、ｋ2、ｋ3の比率で表される。
【数２】
【００２１】
ただし、点Ｅ１から点Ｅ２へのベクトルをｌ１２，点Ｅ２から点Ｅ３へのベクトルをｌ２３，×は外積を表す。また、図７（Ａ）に示すように撮像対象となる（食道内面等の）対象物体の表面は、全方向に均一に光を反射する拡散反射率と仮定すると、画素対応点Ｅ１、Ｅ２，Ｅ３の輝度値Ｉ１、Ｉ２，Ｉ３は、次の式（３）で表される。
【数３】
【００２２】
ただし、ｈは対象物体の表面の拡散反射率、Ｉqは光源Ｑの光度、βは点Ｐにおける対象物体の表面の法線ベクトルｎと光源Ｑから点Ｐに至るベクトルｒとのなす角である。なお、図７（Ａ）の点Ｐは、図６の画素対応点Ｅ１、Ｅ２，Ｅ３を代表している（このため、ベクトルｒは、図６のベクトルｒ1、ｒ2、ｒ3を代表している）。
次に以下の条件（ａ）及び（ｂ）を設定して、これらの条件（ａ）及び（ｂ）を満たす仮定のもとで、撮像される画素に対応する対象物体の３次元位置の算出を行う。
【００２３】
今、条件（ａ）視点位置Ｏと光源Ｑの距離≪視点位置Ｏと画素対応点Ｅ１、Ｅ２，Ｅ３の３次元位置との距離、つまり、｜ｄ｜≪｜ｒｍ｜（或いは｜ｄ｜≪｜ｒ｜ここでｍ＝１〜３）、及び
条件（ｂ）画素対応点Ｅ１、Ｅ２，Ｅ３の３次元位置が近接している、
の両条件（ａ），（ｂ）が成立する場合、以下の近似式（４）が得られる。
【数４】
【００２４】
上記条件（ａ）は、図７（Ｂ）に示すようにｄの絶対値に比べてｒの絶対値が大きければ成立する。また、条件（ｂ）は、食道等の管状の内面を撮像する場合においては、殆どの場合において成立すると考えられる。なお、図７（Ｂ）は、挿入部の先端部１４における先端面部分を拡大して示す。
この先端面には、ライトガイド１３の先端面（或いは照明レンズ）１３ａが臨み、ここから照明光を出射する。つまり、このライトガイド１３の先端面１３ａは、図６及び図７（Ａ）の光源Ｑに相当する。また、この先端面１３ａに隣接して、視点Ｏに相当する撮像手段（撮像装置１７）の対物レンズ１５が配置されている。
【００２５】
上記式（４）よりｋ1、ｋ2、ｋ3の比率が求められ、法線ベクトルｎが求められる。
画像内の各画素に対応する対象物体の表面上の画素対応点は、隣接する画素対応点が複数存在する為、図８に示すように１つの画素対応点Ｐａの周囲の点Ｐｂ〜Ｐｅにおける各３点により形成される各面に対してそれぞれ法線ベクトルｎ１〜ｎ４が求められる。よって、これら複数の法線ベクトルｎ１〜ｎ４の平均ベクトルを算出し、その平均ベクトルを画素対応点の法線ベクトルとしてもよい。
図７（Ａ）に示したように対象物体の表面を拡散反射と仮定し、さらに角βを書き換えることにより、各画素対応点Ｐ（ｘ，ｙ）の輝度値Ｉ（ｘ，ｙ）は以下のような式（５）で表すことができる。
【数５】
【００２６】
ただし、ｈは対象表面の拡散反射率、Ｉqは光源Ｑの光度、βは点Ｐにおける対象物体の表面の法線ベクトルｎ（ｘ，ｙ）と光源方向ｒ（ｘ，ｙ）のなす角である。
また、点Ｐにおける光源方向ｒ（ｘ，ｙ）は、以下のような式（６）で表すことができる。
【数６】
【００２７】
ただし、図７（Ｂ）に示すように対物レンズ１５の視点Ｏから光源Ｑへのベクトルをｄ、視点Ｏから対象物体の位置Ｐへの単位ベクトルをｍ（ｘ，ｙ）、距離ＯＰをｋ（ｘ，ｙ）とする。
ベクトルｍ（ｘ，ｙ）は、図９に示すように（ＣＣＤ１６の）撮像面４２の画像上の位置（ｘ，ｙ）を通ることから、以下の式（７）に示すように
【数７】
【００２８】
となる。ただし、ｆは撮像装置１７の焦点距離である。従って画像上の各画素の輝度値Ｉ（ｘ，ｙ）は次のような式（８）で表すことができる。
【数８】
【００２９】
上記式（８）においてｋ（ｘ，ｙ）以外は全て既知であることから、式（８）よりｋ（ｘ，ｙ）を算出し、画像上の各画素（ｘ，ｙ）に対応する３次元位置（Ｘ，Ｙ，Ｚ）を、以下の式（９）のように算出する。
【数９】
【００３０】
次にステップＳ４においてＣＰＵ２２は、ステップＳ３で得られた３次元形状（各画素対応点の３次元位置によって得られた形状）の中心を通過する直線を求める。
【００３１】
図１０に示すように視点０から３次元形状の点Ｐへのベクトルをｐ、直線上の任意の点Ａへのベクトルをａ、直線の方向ベクトルをｌとおくとヽ３次元形状の点Ｐから垂直に直線におろしたベクトルｕ（ｘ，ｙ）は次の式（１０）で表される。
【数１０】
【００３２】
推定された３次元形状が円柱体に近い形状を示す場合、３次元形状の中心を通過する直線は、各画素に対応する３次元形状の各３次元位置から等距離に存在すると考えられる。従って、以下の式（１１）に示すように、式（１０）より得られるベクトルｕ（ｘ，ｙ）の大きさと任意の大きさｒ（円柱体の半径）との差の総和が最も小さくなるように任意の大きさｒと直線の方向ベクトルｌと点Ａへのベクトルａを最小二乗法により推定する。
【数１１】
【００３３】
次のステップＳ５においてＣＰＵ２２は、各画素に対応する３次元形状の３次元位置を座標系Ｘ−Ｙ−Ｚから直線を基準とした座標系ＸＬ−ＹＬ−ＺLに変換する為のパラメータ回転行列Ｒ、並進行列Ｍを、図１１に示す関係から求める。
座標系Ｘ−Ｙ−ＺのＺ方向のベクトルＺ、直線のベクトルｌより単位ベクトルｖ＝（ｖx，ｖy，ｖz）と角度γは、以下の式（１２）に示すように
【数１２】
【００３４】
となる。
【００３５】
よって、回転行列Ｒ、並進行列Ｍは次の式（１３）、式（１４）のようになる。
【数１３】
【００３６】
ここで、並進行列Ｍとして、ベクトルａ＝（ａｘ，ａｙ，ａｚ）と設定する。
次のステップＳ６においてＣＰＵ２２は、座標系Ｘ−Ｙ−Ｚで表されている３次元位置を座標系ＸL−ＹL−ＺLに変換する。この変換式は、次の式（１５）のようになる。
【数１４】
【００３７】
次のステップＳ７においてＣＰＵ２２は、式（１５）によって図１２（Ａ）の内視鏡画像Ｉａに対応する図１２（Ｂ）に示すように変換された各画素対応点の３次元位置ＰL＝（ＸL，ＹL，ＺL）を、さらにＺLを中心とした円柱体表面に投影する。
【００３８】
この円柱体としては、例えば食道等の管状部位のサイズに近い値に設定する。例えば、管状部位の内径を平均化した値を円柱体の直径とする。
例えば図１２（Ａ）における内視鏡画像Ｉａにおける境界部分Ａ，Ｂ，Ｃは、図１２（Ｂ）における同じ符号Ａ，Ｂ，Ｃで示す３次元形状部分に対応し、その３次元形状部分の各位置は太い線で示すＺLを中心とした円柱体表面に投影される。
【００３９】
円柱体表面の座標系をθL−ＺLとすると、変換された３次元位置ＰL＝（ＸL，ＹL，ＺL）は以下の式（１６）によって求められる。
【数１５】
【００４０】
画像の全ての画素に対応する円柱体表面の位置Ｃ（θL、ＺL）を求め、各画素の輝度値を座標系θL−ＺLに貼り付ける。そして、図１２（Ｃ）に示す展開図Ｉｂを生成する。なお、輝度値としては、カラー画像の場合には、各色信号の輝度値を表す。
【００４１】
図１２（Ｃ）或いは図１３に示すように円柱体表面に貼り付けられた画素は、不均一に存在し、ＺLが大きくになるほど粗くなる（視点から遠方側となる位置の画像部分ほど粗くなる）。
【００４２】
また、図１３の部分拡大図に示すように貼り付けられた各画素は、表示装置に表示される画像の各画素位置と一致しない場合が多い。従って、補間処理によって表示装置に表示する画像、すなわち展開図Ｉｂを生成する。
ステップＳ８においてＣＰＵ２２は、上記補間処理を行い、表示モニタ４等の表示装置に表示可能な画像、すなわち展開図Ｉｂを生成する。次のステップＳ９においてＣＰＵ２２は、内視鏡画像Ｉａと展開図Ｉｂを表示モニタ４に出力する。そして、図１４に示すように表示モニタ４には、ステップＳ１０の内視鏡画像Ｉａと展開図Ｉｂとが表示されるようになる。そして、この展開図Ｉｂを表示する処理が終了する。
【００４３】
本実施例は、以下の効果を有する。
胃と食道の接合部から連続的に存在する円柱上皮の広がり方、円柱上皮と扁平上皮の特徴的な形状を、展開された展開図（展開図の画像）により表示し、術者は、より比較等がし易い状態で観察できる為、バレット食道等の管状部位の診断をより容易に行うことが可能となる。
つまり、従来例では、図１４における内視鏡画像Ｉａのみが表示され、この内視鏡画像Ｉａでは管状部位の内面を２次元的に投影した画像となっており、例えば奥行き方向（管状部位の軸方向）の距離の値によって、縮小された状態で各部が表示される。
【００４４】
このため、例えば奥行き方向の値が異なる部分を比較しようとしても、各部が奥行き方向の距離によりスケールが異なっているため、比較することが簡単にできない。
これに対して、本実施例によれば、２次元的に撮像された内視鏡画像Ｉａにおける各画素に対応する管状部位の内面の位置の３次元位置を算出し、３次元位置の算出により、各画素の位置情報を周方向の位置情報と、この周方向と直交する管腔の略中心軸方向の距離成分情報とに変換し、さらに管状部位の平均的サイズ等に設定した円柱体の表面に投影した状態で、各部の輝度情報を周方向の位置情報、つまり角度の値で展開して表示するようにしている。
このため、本実施例によれば、奥行き方向が異なる位置でも、周方向のスケールを揃えて表示でき、従って場所が異なる部位での比較が簡単に行え、さらに過去の症例等との比較等も客観的かつ簡単に行える。
従って、本実施例によれば、管状部位の診断を容易に行うことができる展開図の画像を生成でき、診断上、非常に有効な画像処理装置及び画像処理方法を提供できる。
【実施例２】
【００４５】
次に図１５から図１７を参照して本発明の実施例２を説明する。本実施例の画像処理装置は、実施例１と同じ構成であり、処理プログラム記憶部２３に記憶されている処理プログラムが異なる。
実施例１においては、１枚の画像から各画素に対応する画素対応点の３次元位置を推定していたが、本実施例では以下に説明するように、複数の内視鏡画像を撮像し、その撮像された複数の内視鏡画像に対応する対象物体の３次元位置を算出する。
３次元位置の算出後における以後の処理は、実施例１と同様である。図１５は本実施例における３次元位置を算出するフローチャートを示し、図１６はその処理内容の概略の動作を示し、図１７はテンプレート画像と参照画像とのシフト量を求める様子を示す。 以下、図１５及び図１６を参照して３次元画像データが算出されるまでの過程を説明する。
【００４６】
ステップＳ１１に示すように画像処理装置３のＣＰＵ２２は、内視鏡６の挿入部１１の先端部１４の撮像装置１７を移動しながら対象物を撮像して、複数の画像データを取得する。
撮像された複数の画像データは、画像入力部２１を経て画像処理装置３内の画像記憶部２４に一時記憶される。
つまり、同一対象物に対して（内視鏡６の先端部１４の）撮像装置１７を移動しながら、少しづつ位置が異なる２次元画像データの取得を行う。
【００４７】
挿入部１１の先端側を移動して撮像している様子を図１６に示している。ここでは、ＰｏからＰＮまで移動し、その際の撮像により得られた画像データを四角で示している。 次のステップＳ１２においてＣＰＵ２２は、ステップＳ１１で取得された複数の画像に対して歪曲収差補正等の前処理を適用し、画像の歪を補正する。
内視鏡観察装置２から送られてくる内視鏡の画像データでは、対物レンズとして広角レンズを使用していることにより歪が発生するため、各画像に対して歪曲収差補正処理を適用し画像の歪を補正する。
【００４８】
また、このステップＳ１２においてＣＰＵ２２は、補正された複数の画像（画像対）を用いて、対応点の追跡、つまり対象物を表す１つの画像（テンプレート画像）を選び、その画像上の複数の点を選択してそれぞれの点が他の参照画像（リファレンス画像）上でどのように移動しているかの追跡を行う。この対応点追跡を補足説明する。
対応点追跡は、図１７（Ａ）に示すように、検出しようとする対象物のテンプレート画像に、ある点を中心とした矩形領域（ウィンドウ）をｔ（ｘ）とし、図１７（Ｂ）に示すように参照画像にある大きさのサーチエリアＳを設定し、サーチエリアＳ内の対応領域ｆ（ｘ）と前記テンプレート画像の矩形領域ｔ（ｘ）とのブロックマッチング処理を相互相関演算によって相関値が最大となる領域を求める演算で行い、その場合におけるテンプレート画像に対する参照画像の移動方向及び移動量を求める。
【００４９】
例えば、次のような正規化された式（１７）の相互相関Ｄ（ｕ，ｖ）；
【数１６】
【００５０】
を用いて相関値を求め、それが最大となる領域を求め、その場合における移動方向及び移動量を求める。ここで、２重積分記号はサーチエリアＳ内での積分を表し、＜ｆ＞、＜ｔ＞はそれぞれｆ(x+u,y+v) 、ｔ(x,y) のＳ内での平均を表す。
【００５１】
なお、ブロックマッチング処理は、相互相関演算に限定されるものでなく、米国特許４，９６２，５４０号明細書に開示されているカラーマッチング手法を適用してもよい。（参照文献：コンピュータ画像処理入門 総研出版( 株)田村秀行監修：p.148 〜p.150 ）上述のようにして、テンプレート画像上で選択された点の移動方向及び移動量の値を記述したシフトマップを求める。
図１６においても隣接する撮像位置Ｐ０とＰ１、Ｐ１とＰ２、…等により、得られた画像データからシフトマップＭ１、Ｍ２、…の算出を行い、位置推定を行う様子を示している。
【００５２】
ステップＳ１２で求めたシフトマップを用いて、次のステップＳ１３においてＣＰＵ２２は、最急降下法等の反復処理により、撮像装置１７の運動ベクトルを求め、対象物体の位置及び撮像装置１７の位置との相対的な位置関係を求める。
【００５３】
次のステップＳ１４においてＣＰＵ２２は、各シフトマップで求めた対象物体と撮像装置１７との位置関係が同一の座標空間になるように変換し、それぞれの同一点での対象物体と撮像装置１７の位置を平均して１つの対象物体の３次元形状を推定する（対象物体の各３次元位置を算出する）。
このようにして、対象物体の３次元位置を算出した後には、図５のステップＳ４に示す３次元形状の中心を通る直線の推定等の処理を行うことになる。
本実施例は、撮像装置１７により撮像した複数の画像を用いることにより、実施例１と同様に、診断する場合に適した展開図の画像を得ることができる。
【００５４】
なお、この他に、非特許文献２に開示されているように、１枚の画像からｓｈａｐｅ−ｆｒｏｍ−ｓｈａｄｉｎｇ法により、立体形状を推定し、この推定した立体形状から実施例１のように展開図を生成するようにしても良い。
この非特許文献２は、光源（先端部１４のライトガイド先端面１３ａ）からの距離が等しい管状器官の表面上の曲線に注目して、その曲線の発展方程式を偏微分方程式で記述し、これを解くことで３次元形状を復元（算出）するものである。３次元形状の算出後の処理は、実施例２の場合と同様の処理を行う。
【００５５】
［付記］
１．請求項１において、前記医療画像の歪曲収差等を補正する補正手段を有することを特徴とする。
２．請求項１において、前記推定された立体形状に対して、その略中心を通る直線を推定する直線の推定手段を有することを特徴とする。
３．付記２において、前記推定された立体形状を表す座標系から、前記直線を基準とした座標系に変換する変換パラメータを算出する変換パラメータ算出手段を有することを特徴とする。
４．請求項１において、前記展開図出力手段は、前記変換画像に対して補間処理を行って前記展開図として出力する補間処理手段を有することを特徴とする。
【００５６】
５．請求項１において、前記展開図を表示する展開図表示手段を有することを特徴とする。
６．付記５において、前記表示手段は、前記医療画像と前記展開図を表示することを特徴とする。
【００５７】
７．生体内の管状部位を撮像した少なくとも１枚の医療画像から前記管状部位の立体形状を推定する立体形状推定ステップと、
前記推定された立体形状に対して幾何学的な変換を行う画像変換ステップと、
前記画像変換ステップによって生成された変換画像を展開図として表示手段に出力する展開図出力ステップと、
を有することを特徴とする医療画像処理方法。
【００５８】
８．付記７において、前記立体形状推定ステップは、それぞれ異なる撮像位置で撮像された複数枚の医療画像間の同一対象の動き量から、前記撮像位置と前記管状部位の立体形状を推定することを特徴とする。
【００５９】
９．付記７において、前記立体形状推定ステップは、照明手段からの距離が等しいと見なされる表面上の曲線に対する発展方程式から前記管状部位の立体形状を推定するｓｈａｐｅ−ｆｒｏｍ−ｓｈａｄｉｎｇ法を用いることを特徴とする。
【産業上の利用可能性】
【００６０】
体腔内に挿入して食道等の管状部位を撮像した画像からその管状部位の内面に略等しい円柱体の表面に投影して展開図として表示される画像を生成するようにして、奥行き方向の値が異なる部分でも同じスケールで表示でき、従って比較などがし易くかつ客観的な診断も行い易い画像を得ることができる。
【図面の簡単な説明】
【００６１】
【図１】本発明の実施例１を備えた内視鏡システムの構成を示すブロック図。
【図２】食道のような円管状器官内に挿入された内視鏡により撮像する様子を示す図。
【図３】図２の内視鏡に設けられた撮像装置により撮像された内視鏡画像を示す図。
【図４】ＣＰＵによる画像処理機能を示すブロック図。
【図５】展開図を生成する為の処理手順を示すフローチャート図。
【図６】撮像された画像の各画素に対応する物体上の対応点と光源等との位置関係を示す図。
【図７】光源からの光を物体の面で反射する様子などを示す図。
【図８】対応点の周囲に設定される複数の法線ベクトルを示す図。
【図９】ベクトルｍが画像上の位置を通ることを示す図。
【図１０】３次元形状の中心を通る直線を求めるための説明図。
【図１１】３次元形状の座標系から直線を基準にした座標系に変換する説明図。
【図１２】内視鏡画像の位置を円柱体表面に投影して展開図を生成する説明図。
【図１３】補間処理により展開図を生成する説明図。
【図１４】表示装置に表示される内視鏡画像及び展開図を示す図。
【図１５】本発明の実施例２における展開図を生成する為の処理手順の一部を示すフローチャート図。
【図１６】図１５における処理内容の説明図。
【図１７】テンプレート画像と参照画像とのシフト量を求める様子の説明図。
【符号の説明】
【００６２】
１…内視鏡システム
２…内視鏡観察装置
３…画像処理装置
４…表示モニタ
６…内視鏡
７…光源装置
８…ＣＣＵ
１１…挿入部
１５…対物レンズ
１６…ＣＣＤ
１７…撮像装置
２１…画像入力部
２２…ＣＰＵ
２３…処理プログラム記憶部
２４…画像記憶部
２５…情報記憶部
２７…ハードディスク
２８…表示処理部
２９…入力操作部
３１…食道
４１…円柱体
４２…撮像面
Ｉａ…内視鏡画像
Ｉｂ…展開図（展開図の画像）
代理人 弁理士 伊藤 進
【技術分野】
【０００１】
本発明は、生体内の管状部位に対する医療画像から展開図を生成する画像処理を行う医療画像処理装置に関する。
【背景技術】
【０００２】
内視鏡装置による食道検査のスクリーニングにおいて、胃と食道との接合部から連続して食道内に存在する円柱上皮（バレット粘膜）の広がりや円柱上皮と扁平上皮との境界形状は、バレット食道を診断するための有益な情報の一つである。
直視型の内視鏡により、管状部位の内面を撮像面に撮像された内視鏡画像そのままでは、円柱上皮の広がり方（全周性か舌状に延びている）を正確に判断することが難しい等の問題がある。
【特許文献１】特開平８−２５６２９５号公報
【特許文献２】米国特許４，９６２，５４０号明細書
【非特許文献１】コンピュータ画像処理入門 総研出版( 株) 田村秀行監修：p.148 〜p.150
【非特許文献２】コンピュータビジョン，投影中心に点光源がある場合のＳｈａｐｅ−ｆｒｏｍ−Ｓｈａｄｉｎｇ−内視鏡形状からの３次元形状復元− 岡谷、出口：ｐｐ．１９−２６，１９９６
【発明の開示】
【発明が解決しようとする課題】
【０００３】
このため、食道のような管状部位の内面を撮像した内視鏡画像からより診断し易い画像、具体的には展開図を生成して、この展開図を表示することが有用となるが、これまで実現されていなかった。
【０００４】
（発明の目的）
本発明は、上述した点に鑑みてなされたもので、食道等の管状部位の内面を撮像した医療画像から診断し易い展開図の画像を生成できる医療画像処理装置を提供することを目的とする。
さらに本発明は、管状部位の内面の立体形状を推定することにより、精度の良い展開図の画像を生成できる医療画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の医療画像処理装置は、生体内の管状部位を撮像した少なくとも１枚の医療画像から前記管状部位の立体形状を推定する立体形状推定手段と、
前記推定された立体形状に対して幾何学的な変換を行う画像変換手段と、
前記画像変換手段によって生成された変換画像を展開図として表示手段に出力する展開図出力手段と、
を有することを特徴とする。
上記構成により、食道等の管状部位の内面の立体形状を推定してその立体形状に対応する円柱体表面等に画像変換手段により医療画像を投影する等の幾何学的な変換を行い、診断し易い展開図の画像を生成できるようにしている。
【発明の効果】
【０００６】
本発明によれば、食道等の管状器官等の内面を撮像した医療画像から、診断し易い展開図の画像を生成できる。
【発明を実施するための最良の形態】
【０００７】
以下、図面を参照して本発明の実施例を説明する。
【実施例１】
【０００８】
図１ないし図１４は、本発明の実施例１に係り、図１は本発明の実施例１の画像処理装置を備えた内視鏡システムの構成を示し、図２は食道のような管状部位内に内視鏡を挿入して撮像する様子を示し、図３は図２の内視鏡によって撮影された内視鏡画像を示し、図４は画像処理装置を構成するＣＰＵによる画像処理機能を示し、図５は展開図を生成する為の処理内容を示し、図６は撮像された画像の各画素に対応する物体上の対応点と光源等との位置関係を示し、図７は光源からの光を物体の面で反射する様子などを示す。
また、図８は対応点の周囲に設定される複数の法線ベクトルを示し、図９はベクトルｍが画像上の位置を通ることを示し、図１０は３次元形状の中心を通る直線を求めるための説明図を示し、図１１は３次元形状の座標系から直線を基準にした座標系に変換する説明図を示し、図１２は内視鏡画像の位置を円柱体表面に投影して展開図を生成する説明図を示し、図１３は補間処理により展開図を生成する説明図を示し、図１４は表示装置に表示される内視鏡画像及び展開図を示す。
【０００９】
図１に示す内視鏡システム１は、内視鏡観察装置２と、この内視鏡観察装置２により得られた内視鏡画像に対して画像処理を行うパーソナルコンピュータ等により構成される内視鏡画像処理装置（以下、単に画像処理装置と略記）３と、この画像処理装置３により画像処理された画像を表示する表示モニタ４とから構成される。
内視鏡観察装置２は、体腔内に挿入される内視鏡６と、この内視鏡６に照明光を供給する光源装置７と、内視鏡６の撮像手段に対する信号処理を行うカメラコントロールユニット（ＣＣＵと略記）８と、このＣＣＵ８から出力される映像信号が入力されることにより、撮像素子で撮影した内視鏡画像を表示するモニタ９とを有する。
【００１０】
内視鏡６は、体腔内に挿入される挿入部１１と、この挿入部１１の後端に設けられた操作部１２とを有する。また、挿入部１１内には照明光を伝送するライトガイド１３が挿通されている。
このライドガイド１３の後端は、光源装置７に接続される。そして、この光源装置７から供給される照明光をライトガイド１３により転送し、挿入部１１の先端部１４に設けた照明窓に取り付けられた先端面から（伝送した照明光を）出射し、患部等の被写体を照明する。
照明窓に隣接する観察窓に取り付けた対物レンズ１５と、この対物レンズ１５の結像位置に配置された固体撮像素子としての例えば電荷結合素子（ＣＣＤと略記）１６とによる撮像装置１７が設けてある。そして、このＣＣＤ１６の撮像面に結蔵された光学像は、このＣＣＤ１６により光電変換される。
【００１１】
このＣＣＤ１６は、信号線を介してＣＣＵ８と接続され、このＣＣＵ８からＣＣＤ駆動信号が印加されることにより、ＣＣＤ１６は光電変換した画像信号を出力する。この画像信号は、ＣＣＵ８内の映像処理回路により信号処理され、映像信号に変換される。 この映像信号はモニタ９に出力され、モニタ９の表示面には、内視鏡画像が表示される。この映像信号は、画像処理装置３にも入力される。
この画像処理装置３は、内視鏡観察装置２から入力される内視鏡画像に対応する映像信号が入力される画像入力部２１と、この画像入力部２１から入力された画像データに対する画像処理を行う中央演算処理装置としてのＣＰＵ２２と、このＣＰＵ２２により画像処理を実行させる処理プログラム（制御プログラム）を記憶する処理プログラム記憶部２３とを有する。
【００１２】
また、この画像処理装置３は画像入力部２１から入力される画像データ等を記憶する画像記憶部２４と、ＣＰＵ２２により処理された情報等を記憶する情報記憶部２５と、ＣＰＵ２２により処理された画像データ及び情報等を記憶装置インターフエース２６を介して記憶する記憶装置としてのハードディスク２７と、ＣＰＵ２２により処理された画像データ等を表示するための表示処理を行う表示処理部２８と、ユーザが画像処理のパラメータ等のデータ入力や指示操作を行うキーボードなどからなる入力操作部２９とを有する。
【００１３】
そして、この表示処理部２８により生成された映像信号は、表示モニタ４に表示され、この表示モニタ４の表示面には画像処理された処理画像が表示される。なお、画像入力部２１、ＣＰＵ２２、処理プログラム記憶部２３、画像記憶部２４、情報記憶部２５、記憶装置インターフェース２６、表示処理部２８、入力操作部２９は、データバス３０を介して互いに接続されている。
【００１４】
本実施例においては、図２に示すように、例えば食道３１のような管状部位（管状器官）に直視型の内視鏡６の挿入部１１が挿入され、撮像装置１７により撮像される。 図３は、この直視型の内視鏡６によって撮像されたバレット食道の内視鏡画像Ｉａの１例を示している。バレット食道は、胃と食道の接合部から口腔に向かって連続的に食道粘膜（扁平上皮）が胃粘膜（円柱上皮）に変性した状態である。この変性した円柱上皮の広がり方や円柱上皮と扁平上皮との境界の特徴的な形状を内視鏡６によって観察することにより、術者はバレット食道の診断を行う。
【００１５】
図３の内視鏡画像Ｉａの場合には、食道３１から胃内部に至る管状部位部分が最暗部画像３３、その周囲に胃及び食道の接合部の画像３４、接合部の周囲の円柱上皮の画像３５、そしてこの円柱上皮の周囲の扁平上皮の画像３６が表示されている。
本実施例では、食道３１のような管状器官を直視型の内視鏡６によって撮像し、撮像された画像から対象物の立体形状を推定する。
推定された立体形状の中心を通過する直線を推定し、直線を基準に幾何学的な変換することで展開図にし易い画像を生成し、その画像を展開図として表示手段に出力する。そして、表示手段の表示面に、展開図が表示されるようにする。
【００１６】
つまり、画像処理装置３を構成するＣＰＵ２２は、図４に示すようにその機能として、立体形状推定手段（機能）２２ａと、推定された立体形状の中心を通過する直線の推定手段（機能）２２ｂと、推定された直線を基準として展開図として表示し易い形状に幾何学的な変換を行う幾何学的変換手段（機能）２２ｃと、幾何学的な変換により展開図の画像を表示モニタ４に出力する展開図出力手段（機能）２２ｄと有し、この表示モニタ４の表示面には展開図が表示される。
本実施例においては、図４に示した立体形状推定手段２２ａ、直線の推定手段２２ｂ、幾何学的変換手段２２ｃ、展開図出力手段２２ｄをソフトウェア的に実現している。つまり、処理プログラム記憶部２３に記憶（格納）された処理プログラムをＣＰＵ２２は読み出し、ＣＰＵ２２は、この処理プログラムに従って図５に示すフローチャートの処理を実行する。
【００１７】
以下、展開図を生成して表示する処理を図５のフローチャートに従って説明する。 画像処理装置３の動作が開始すると、ＣＰＵ２２は処理プログラム記憶部２３の処理プログラムを読み出し、その処理プログラムに従った処理を開始する。ＣＰＵ２２は最初のステップＳ１において、内視鏡観察装置２のＣＣＵ８から画像入力部２１を経て入力される原画像としての画像データを取得する。
そして、次のステップＳ２においてＣＰＵ２２は、取得された画像データに対して歪曲収差補正（特開平８−２５６２９５号公報）や、ノイズ除去等の前処理を行う。ステップＳ３においてＣＰＵ２２は、画像内の画素に対応する対象物体の３次元位置を以下の手順で求める。
【００１８】
図６に示すように視点位置Ｏにある撮像手段によって撮影された画像の３画素に対応する対象物体上の画素対応点Ｅ１、Ｅ２，Ｅ３を抽出し、画素対応点Ｅ１、Ｅ２，Ｅ３の３次元位置と光源Ｑ及び視点Ｏとの位置関係から以下の式（１）が求められる。
【数１】
【００１９】
ただし、画素対応点Ｅ１、Ｅ２，Ｅ３の３次元位置のベクトルをｋ1ｍ1、ｋ2ｍ2、ｋ3ｍ3（ｍ1，ｍ2，ｍ3：大きさ１の単位ベクトル）、視点Ｏから光源Ｑへのベクトルをｄ、光源Ｑから３画素対応点Ｅ１、Ｅ２，Ｅ３の３次元位置へのベクトルをｒ1、ｒ2、ｒ3とする。
【００２０】
画素対応点Ｅ１、Ｅ２，Ｅ３の３次元位置で構成される平面の法線ベクトルをｎとすると、式（１）よりベクトルｎは、次の式（２）のようになり、ベクトル成分ｋ1、ｋ2、ｋ3の比率で表される。
【数２】
【００２１】
ただし、点Ｅ１から点Ｅ２へのベクトルをｌ１２，点Ｅ２から点Ｅ３へのベクトルをｌ２３，×は外積を表す。また、図７（Ａ）に示すように撮像対象となる（食道内面等の）対象物体の表面は、全方向に均一に光を反射する拡散反射率と仮定すると、画素対応点Ｅ１、Ｅ２，Ｅ３の輝度値Ｉ１、Ｉ２，Ｉ３は、次の式（３）で表される。
【数３】
【００２２】
ただし、ｈは対象物体の表面の拡散反射率、Ｉqは光源Ｑの光度、βは点Ｐにおける対象物体の表面の法線ベクトルｎと光源Ｑから点Ｐに至るベクトルｒとのなす角である。なお、図７（Ａ）の点Ｐは、図６の画素対応点Ｅ１、Ｅ２，Ｅ３を代表している（このため、ベクトルｒは、図６のベクトルｒ1、ｒ2、ｒ3を代表している）。
次に以下の条件（ａ）及び（ｂ）を設定して、これらの条件（ａ）及び（ｂ）を満たす仮定のもとで、撮像される画素に対応する対象物体の３次元位置の算出を行う。
【００２３】
今、条件（ａ）視点位置Ｏと光源Ｑの距離≪視点位置Ｏと画素対応点Ｅ１、Ｅ２，Ｅ３の３次元位置との距離、つまり、｜ｄ｜≪｜ｒｍ｜（或いは｜ｄ｜≪｜ｒ｜ここでｍ＝１〜３）、及び
条件（ｂ）画素対応点Ｅ１、Ｅ２，Ｅ３の３次元位置が近接している、
の両条件（ａ），（ｂ）が成立する場合、以下の近似式（４）が得られる。
【数４】
【００２４】
上記条件（ａ）は、図７（Ｂ）に示すようにｄの絶対値に比べてｒの絶対値が大きければ成立する。また、条件（ｂ）は、食道等の管状の内面を撮像する場合においては、殆どの場合において成立すると考えられる。なお、図７（Ｂ）は、挿入部の先端部１４における先端面部分を拡大して示す。
この先端面には、ライトガイド１３の先端面（或いは照明レンズ）１３ａが臨み、ここから照明光を出射する。つまり、このライトガイド１３の先端面１３ａは、図６及び図７（Ａ）の光源Ｑに相当する。また、この先端面１３ａに隣接して、視点Ｏに相当する撮像手段（撮像装置１７）の対物レンズ１５が配置されている。
【００２５】
上記式（４）よりｋ1、ｋ2、ｋ3の比率が求められ、法線ベクトルｎが求められる。
画像内の各画素に対応する対象物体の表面上の画素対応点は、隣接する画素対応点が複数存在する為、図８に示すように１つの画素対応点Ｐａの周囲の点Ｐｂ〜Ｐｅにおける各３点により形成される各面に対してそれぞれ法線ベクトルｎ１〜ｎ４が求められる。よって、これら複数の法線ベクトルｎ１〜ｎ４の平均ベクトルを算出し、その平均ベクトルを画素対応点の法線ベクトルとしてもよい。
図７（Ａ）に示したように対象物体の表面を拡散反射と仮定し、さらに角βを書き換えることにより、各画素対応点Ｐ（ｘ，ｙ）の輝度値Ｉ（ｘ，ｙ）は以下のような式（５）で表すことができる。
【数５】
【００２６】
ただし、ｈは対象表面の拡散反射率、Ｉqは光源Ｑの光度、βは点Ｐにおける対象物体の表面の法線ベクトルｎ（ｘ，ｙ）と光源方向ｒ（ｘ，ｙ）のなす角である。
また、点Ｐにおける光源方向ｒ（ｘ，ｙ）は、以下のような式（６）で表すことができる。
【数６】
【００２７】
ただし、図７（Ｂ）に示すように対物レンズ１５の視点Ｏから光源Ｑへのベクトルをｄ、視点Ｏから対象物体の位置Ｐへの単位ベクトルをｍ（ｘ，ｙ）、距離ＯＰをｋ（ｘ，ｙ）とする。
ベクトルｍ（ｘ，ｙ）は、図９に示すように（ＣＣＤ１６の）撮像面４２の画像上の位置（ｘ，ｙ）を通ることから、以下の式（７）に示すように
【数７】
【００２８】
となる。ただし、ｆは撮像装置１７の焦点距離である。従って画像上の各画素の輝度値Ｉ（ｘ，ｙ）は次のような式（８）で表すことができる。
【数８】
【００２９】
上記式（８）においてｋ（ｘ，ｙ）以外は全て既知であることから、式（８）よりｋ（ｘ，ｙ）を算出し、画像上の各画素（ｘ，ｙ）に対応する３次元位置（Ｘ，Ｙ，Ｚ）を、以下の式（９）のように算出する。
【数９】
【００３０】
次にステップＳ４においてＣＰＵ２２は、ステップＳ３で得られた３次元形状（各画素対応点の３次元位置によって得られた形状）の中心を通過する直線を求める。
【００３１】
図１０に示すように視点０から３次元形状の点Ｐへのベクトルをｐ、直線上の任意の点Ａへのベクトルをａ、直線の方向ベクトルをｌとおくとヽ３次元形状の点Ｐから垂直に直線におろしたベクトルｕ（ｘ，ｙ）は次の式（１０）で表される。
【数１０】
【００３２】
推定された３次元形状が円柱体に近い形状を示す場合、３次元形状の中心を通過する直線は、各画素に対応する３次元形状の各３次元位置から等距離に存在すると考えられる。従って、以下の式（１１）に示すように、式（１０）より得られるベクトルｕ（ｘ，ｙ）の大きさと任意の大きさｒ（円柱体の半径）との差の総和が最も小さくなるように任意の大きさｒと直線の方向ベクトルｌと点Ａへのベクトルａを最小二乗法により推定する。
【数１１】
【００３３】
次のステップＳ５においてＣＰＵ２２は、各画素に対応する３次元形状の３次元位置を座標系Ｘ−Ｙ−Ｚから直線を基準とした座標系ＸＬ−ＹＬ−ＺLに変換する為のパラメータ回転行列Ｒ、並進行列Ｍを、図１１に示す関係から求める。
座標系Ｘ−Ｙ−ＺのＺ方向のベクトルＺ、直線のベクトルｌより単位ベクトルｖ＝（ｖx，ｖy，ｖz）と角度γは、以下の式（１２）に示すように
【数１２】
【００３４】
となる。
【００３５】
よって、回転行列Ｒ、並進行列Ｍは次の式（１３）、式（１４）のようになる。
【数１３】
【００３６】
ここで、並進行列Ｍとして、ベクトルａ＝（ａｘ，ａｙ，ａｚ）と設定する。
次のステップＳ６においてＣＰＵ２２は、座標系Ｘ−Ｙ−Ｚで表されている３次元位置を座標系ＸL−ＹL−ＺLに変換する。この変換式は、次の式（１５）のようになる。
【数１４】
【００３７】
次のステップＳ７においてＣＰＵ２２は、式（１５）によって図１２（Ａ）の内視鏡画像Ｉａに対応する図１２（Ｂ）に示すように変換された各画素対応点の３次元位置ＰL＝（ＸL，ＹL，ＺL）を、さらにＺLを中心とした円柱体表面に投影する。
【００３８】
この円柱体としては、例えば食道等の管状部位のサイズに近い値に設定する。例えば、管状部位の内径を平均化した値を円柱体の直径とする。
例えば図１２（Ａ）における内視鏡画像Ｉａにおける境界部分Ａ，Ｂ，Ｃは、図１２（Ｂ）における同じ符号Ａ，Ｂ，Ｃで示す３次元形状部分に対応し、その３次元形状部分の各位置は太い線で示すＺLを中心とした円柱体表面に投影される。
【００３９】
円柱体表面の座標系をθL−ＺLとすると、変換された３次元位置ＰL＝（ＸL，ＹL，ＺL）は以下の式（１６）によって求められる。
【数１５】
【００４０】
画像の全ての画素に対応する円柱体表面の位置Ｃ（θL、ＺL）を求め、各画素の輝度値を座標系θL−ＺLに貼り付ける。そして、図１２（Ｃ）に示す展開図Ｉｂを生成する。なお、輝度値としては、カラー画像の場合には、各色信号の輝度値を表す。
【００４１】
図１２（Ｃ）或いは図１３に示すように円柱体表面に貼り付けられた画素は、不均一に存在し、ＺLが大きくになるほど粗くなる（視点から遠方側となる位置の画像部分ほど粗くなる）。
【００４２】
また、図１３の部分拡大図に示すように貼り付けられた各画素は、表示装置に表示される画像の各画素位置と一致しない場合が多い。従って、補間処理によって表示装置に表示する画像、すなわち展開図Ｉｂを生成する。
ステップＳ８においてＣＰＵ２２は、上記補間処理を行い、表示モニタ４等の表示装置に表示可能な画像、すなわち展開図Ｉｂを生成する。次のステップＳ９においてＣＰＵ２２は、内視鏡画像Ｉａと展開図Ｉｂを表示モニタ４に出力する。そして、図１４に示すように表示モニタ４には、ステップＳ１０の内視鏡画像Ｉａと展開図Ｉｂとが表示されるようになる。そして、この展開図Ｉｂを表示する処理が終了する。
【００４３】
本実施例は、以下の効果を有する。
胃と食道の接合部から連続的に存在する円柱上皮の広がり方、円柱上皮と扁平上皮の特徴的な形状を、展開された展開図（展開図の画像）により表示し、術者は、より比較等がし易い状態で観察できる為、バレット食道等の管状部位の診断をより容易に行うことが可能となる。
つまり、従来例では、図１４における内視鏡画像Ｉａのみが表示され、この内視鏡画像Ｉａでは管状部位の内面を２次元的に投影した画像となっており、例えば奥行き方向（管状部位の軸方向）の距離の値によって、縮小された状態で各部が表示される。
【００４４】
このため、例えば奥行き方向の値が異なる部分を比較しようとしても、各部が奥行き方向の距離によりスケールが異なっているため、比較することが簡単にできない。
これに対して、本実施例によれば、２次元的に撮像された内視鏡画像Ｉａにおける各画素に対応する管状部位の内面の位置の３次元位置を算出し、３次元位置の算出により、各画素の位置情報を周方向の位置情報と、この周方向と直交する管腔の略中心軸方向の距離成分情報とに変換し、さらに管状部位の平均的サイズ等に設定した円柱体の表面に投影した状態で、各部の輝度情報を周方向の位置情報、つまり角度の値で展開して表示するようにしている。
このため、本実施例によれば、奥行き方向が異なる位置でも、周方向のスケールを揃えて表示でき、従って場所が異なる部位での比較が簡単に行え、さらに過去の症例等との比較等も客観的かつ簡単に行える。
従って、本実施例によれば、管状部位の診断を容易に行うことができる展開図の画像を生成でき、診断上、非常に有効な画像処理装置及び画像処理方法を提供できる。
【実施例２】
【００４５】
次に図１５から図１７を参照して本発明の実施例２を説明する。本実施例の画像処理装置は、実施例１と同じ構成であり、処理プログラム記憶部２３に記憶されている処理プログラムが異なる。
実施例１においては、１枚の画像から各画素に対応する画素対応点の３次元位置を推定していたが、本実施例では以下に説明するように、複数の内視鏡画像を撮像し、その撮像された複数の内視鏡画像に対応する対象物体の３次元位置を算出する。
３次元位置の算出後における以後の処理は、実施例１と同様である。図１５は本実施例における３次元位置を算出するフローチャートを示し、図１６はその処理内容の概略の動作を示し、図１７はテンプレート画像と参照画像とのシフト量を求める様子を示す。 以下、図１５及び図１６を参照して３次元画像データが算出されるまでの過程を説明する。
【００４６】
ステップＳ１１に示すように画像処理装置３のＣＰＵ２２は、内視鏡６の挿入部１１の先端部１４の撮像装置１７を移動しながら対象物を撮像して、複数の画像データを取得する。
撮像された複数の画像データは、画像入力部２１を経て画像処理装置３内の画像記憶部２４に一時記憶される。
つまり、同一対象物に対して（内視鏡６の先端部１４の）撮像装置１７を移動しながら、少しづつ位置が異なる２次元画像データの取得を行う。
【００４７】
挿入部１１の先端側を移動して撮像している様子を図１６に示している。ここでは、ＰｏからＰＮまで移動し、その際の撮像により得られた画像データを四角で示している。 次のステップＳ１２においてＣＰＵ２２は、ステップＳ１１で取得された複数の画像に対して歪曲収差補正等の前処理を適用し、画像の歪を補正する。
内視鏡観察装置２から送られてくる内視鏡の画像データでは、対物レンズとして広角レンズを使用していることにより歪が発生するため、各画像に対して歪曲収差補正処理を適用し画像の歪を補正する。
【００４８】
また、このステップＳ１２においてＣＰＵ２２は、補正された複数の画像（画像対）を用いて、対応点の追跡、つまり対象物を表す１つの画像（テンプレート画像）を選び、その画像上の複数の点を選択してそれぞれの点が他の参照画像（リファレンス画像）上でどのように移動しているかの追跡を行う。この対応点追跡を補足説明する。
対応点追跡は、図１７（Ａ）に示すように、検出しようとする対象物のテンプレート画像に、ある点を中心とした矩形領域（ウィンドウ）をｔ（ｘ）とし、図１７（Ｂ）に示すように参照画像にある大きさのサーチエリアＳを設定し、サーチエリアＳ内の対応領域ｆ（ｘ）と前記テンプレート画像の矩形領域ｔ（ｘ）とのブロックマッチング処理を相互相関演算によって相関値が最大となる領域を求める演算で行い、その場合におけるテンプレート画像に対する参照画像の移動方向及び移動量を求める。
【００４９】
例えば、次のような正規化された式（１７）の相互相関Ｄ（ｕ，ｖ）；
【数１６】
【００５０】
を用いて相関値を求め、それが最大となる領域を求め、その場合における移動方向及び移動量を求める。ここで、２重積分記号はサーチエリアＳ内での積分を表し、＜ｆ＞、＜ｔ＞はそれぞれｆ(x+u,y+v) 、ｔ(x,y) のＳ内での平均を表す。
【００５１】
なお、ブロックマッチング処理は、相互相関演算に限定されるものでなく、米国特許４，９６２，５４０号明細書に開示されているカラーマッチング手法を適用してもよい。（参照文献：コンピュータ画像処理入門 総研出版( 株)田村秀行監修：p.148 〜p.150 ）上述のようにして、テンプレート画像上で選択された点の移動方向及び移動量の値を記述したシフトマップを求める。
図１６においても隣接する撮像位置Ｐ０とＰ１、Ｐ１とＰ２、…等により、得られた画像データからシフトマップＭ１、Ｍ２、…の算出を行い、位置推定を行う様子を示している。
【００５２】
ステップＳ１２で求めたシフトマップを用いて、次のステップＳ１３においてＣＰＵ２２は、最急降下法等の反復処理により、撮像装置１７の運動ベクトルを求め、対象物体の位置及び撮像装置１７の位置との相対的な位置関係を求める。
【００５３】
次のステップＳ１４においてＣＰＵ２２は、各シフトマップで求めた対象物体と撮像装置１７との位置関係が同一の座標空間になるように変換し、それぞれの同一点での対象物体と撮像装置１７の位置を平均して１つの対象物体の３次元形状を推定する（対象物体の各３次元位置を算出する）。
このようにして、対象物体の３次元位置を算出した後には、図５のステップＳ４に示す３次元形状の中心を通る直線の推定等の処理を行うことになる。
本実施例は、撮像装置１７により撮像した複数の画像を用いることにより、実施例１と同様に、診断する場合に適した展開図の画像を得ることができる。
【００５４】
なお、この他に、非特許文献２に開示されているように、１枚の画像からｓｈａｐｅ−ｆｒｏｍ−ｓｈａｄｉｎｇ法により、立体形状を推定し、この推定した立体形状から実施例１のように展開図を生成するようにしても良い。
この非特許文献２は、光源（先端部１４のライトガイド先端面１３ａ）からの距離が等しい管状器官の表面上の曲線に注目して、その曲線の発展方程式を偏微分方程式で記述し、これを解くことで３次元形状を復元（算出）するものである。３次元形状の算出後の処理は、実施例２の場合と同様の処理を行う。
【００５５】
［付記］
１．請求項１において、前記医療画像の歪曲収差等を補正する補正手段を有することを特徴とする。
２．請求項１において、前記推定された立体形状に対して、その略中心を通る直線を推定する直線の推定手段を有することを特徴とする。
３．付記２において、前記推定された立体形状を表す座標系から、前記直線を基準とした座標系に変換する変換パラメータを算出する変換パラメータ算出手段を有することを特徴とする。
４．請求項１において、前記展開図出力手段は、前記変換画像に対して補間処理を行って前記展開図として出力する補間処理手段を有することを特徴とする。
【００５６】
５．請求項１において、前記展開図を表示する展開図表示手段を有することを特徴とする。
６．付記５において、前記表示手段は、前記医療画像と前記展開図を表示することを特徴とする。
【００５７】
７．生体内の管状部位を撮像した少なくとも１枚の医療画像から前記管状部位の立体形状を推定する立体形状推定ステップと、
前記推定された立体形状に対して幾何学的な変換を行う画像変換ステップと、
前記画像変換ステップによって生成された変換画像を展開図として表示手段に出力する展開図出力ステップと、
を有することを特徴とする医療画像処理方法。
【００５８】
８．付記７において、前記立体形状推定ステップは、それぞれ異なる撮像位置で撮像された複数枚の医療画像間の同一対象の動き量から、前記撮像位置と前記管状部位の立体形状を推定することを特徴とする。
【００５９】
９．付記７において、前記立体形状推定ステップは、照明手段からの距離が等しいと見なされる表面上の曲線に対する発展方程式から前記管状部位の立体形状を推定するｓｈａｐｅ−ｆｒｏｍ−ｓｈａｄｉｎｇ法を用いることを特徴とする。
【産業上の利用可能性】
【００６０】
体腔内に挿入して食道等の管状部位を撮像した画像からその管状部位の内面に略等しい円柱体の表面に投影して展開図として表示される画像を生成するようにして、奥行き方向の値が異なる部分でも同じスケールで表示でき、従って比較などがし易くかつ客観的な診断も行い易い画像を得ることができる。
【図面の簡単な説明】
【００６１】
【図１】本発明の実施例１を備えた内視鏡システムの構成を示すブロック図。
【図２】食道のような円管状器官内に挿入された内視鏡により撮像する様子を示す図。
【図３】図２の内視鏡に設けられた撮像装置により撮像された内視鏡画像を示す図。
【図４】ＣＰＵによる画像処理機能を示すブロック図。
【図５】展開図を生成する為の処理手順を示すフローチャート図。
【図６】撮像された画像の各画素に対応する物体上の対応点と光源等との位置関係を示す図。
【図７】光源からの光を物体の面で反射する様子などを示す図。
【図８】対応点の周囲に設定される複数の法線ベクトルを示す図。
【図９】ベクトルｍが画像上の位置を通ることを示す図。
【図１０】３次元形状の中心を通る直線を求めるための説明図。
【図１１】３次元形状の座標系から直線を基準にした座標系に変換する説明図。
【図１２】内視鏡画像の位置を円柱体表面に投影して展開図を生成する説明図。
【図１３】補間処理により展開図を生成する説明図。
【図１４】表示装置に表示される内視鏡画像及び展開図を示す図。
【図１５】本発明の実施例２における展開図を生成する為の処理手順の一部を示すフローチャート図。
【図１６】図１５における処理内容の説明図。
【図１７】テンプレート画像と参照画像とのシフト量を求める様子の説明図。
【符号の説明】
【００６２】
１…内視鏡システム
２…内視鏡観察装置
３…画像処理装置
４…表示モニタ
６…内視鏡
７…光源装置
８…ＣＣＵ
１１…挿入部
１５…対物レンズ
１６…ＣＣＤ
１７…撮像装置
２１…画像入力部
２２…ＣＰＵ
２３…処理プログラム記憶部
２４…画像記憶部
２５…情報記憶部
２７…ハードディスク
２８…表示処理部
２９…入力操作部
３１…食道
４１…円柱体
４２…撮像面
Ｉａ…内視鏡画像
Ｉｂ…展開図（展開図の画像）
代理人 弁理士 伊藤 進
【特許請求の範囲】
【請求項１】
生体内の管状部位を撮像した少なくとも１枚の医療画像から前記管状部位の立体形状を推定する立体形状推定手段と、
前記推定された立体形状に対して幾何学的な変換を行う画像変換手段と、
前記画像変換手段によって生成された画像を展開図として表示手段に出力する展開図出力手段と、
を有することを特徴とする医療画像処理装置。
【請求項２】
前記立体形状推定手段は、それぞれ異なる撮像位置で撮像された複数枚の医療画像間の同一対象の動き量から、前記撮像位置と前記管状部位の立体形状を推定することを特徴とする請求項１に記載の医療画像処理装置。
【請求項３】
前記立体形状推定手段は、照明手段からの距離が等しいと見なされる表面上の曲線に対する発展方程式から前記管状部位の立体形状を推定するｓｈａｐｅ−ｆｒｏｍ−ｓｈａｄｉｎｇ法を用いることを特徴とする請求項１に記載の医療画像処理装置。
【請求項１】
生体内の管状部位を撮像した少なくとも１枚の医療画像から前記管状部位の立体形状を推定する立体形状推定手段と、
前記推定された立体形状に対して幾何学的な変換を行う画像変換手段と、
前記画像変換手段によって生成された画像を展開図として表示手段に出力する展開図出力手段と、
を有することを特徴とする医療画像処理装置。
【請求項２】
前記立体形状推定手段は、それぞれ異なる撮像位置で撮像された複数枚の医療画像間の同一対象の動き量から、前記撮像位置と前記管状部位の立体形状を推定することを特徴とする請求項１に記載の医療画像処理装置。
【請求項３】
前記立体形状推定手段は、照明手段からの距離が等しいと見なされる表面上の曲線に対する発展方程式から前記管状部位の立体形状を推定するｓｈａｐｅ−ｆｒｏｍ−ｓｈａｄｉｎｇ法を用いることを特徴とする請求項１に記載の医療画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００６−１８７４７０（Ｐ２００６−１８７４７０Ａ）
【公開日】平成１８年７月２０日（２００６．７．２０）
【国際特許分類】
【出願番号】特願２００５−１８４２（Ｐ２００５−１８４２）
【出願日】平成１７年１月６日（２００５．１．６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成１８年７月２０日（２００６．７．２０）
【国際特許分類】
【出願日】平成１７年１月６日（２００５．１．６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]