医療用画像処理装置及び医療用画像処理方法
【課題】ユーザによるポリープ等の病変部位の見落としを防止可能である医療用画像処理装置及び医療用画像処理方法を提供する。
【解決手段】入力される生体組織の像の二次元画像のエッジを抽出するエッジ抽出部と、前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定部と、前記三次元モデルの一部として推定された前記エッジが存在する各ボクセルの位置に基づき、形状特徴量の算出対象となる所定のボクセル群を抽出するボクセル抽出部と、前記所定のボクセル群のうち、少なくとも一部のボクセルについて前記形状特徴量を算出する形状特徴量算出部と、前記形状特徴量に基づき、三次元モデルが所定の形状として推定されたボクセル群を抽出する三次元形状抽出部と、前記ボクセル群を前記生体組織の三次元モデルにおける隆起形状を構成するボクセル群とする隆起形状検出部とを有する。
【解決手段】入力される生体組織の像の二次元画像のエッジを抽出するエッジ抽出部と、前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定部と、前記三次元モデルの一部として推定された前記エッジが存在する各ボクセルの位置に基づき、形状特徴量の算出対象となる所定のボクセル群を抽出するボクセル抽出部と、前記所定のボクセル群のうち、少なくとも一部のボクセルについて前記形状特徴量を算出する形状特徴量算出部と、前記形状特徴量に基づき、三次元モデルが所定の形状として推定されたボクセル群を抽出する三次元形状抽出部と、前記ボクセル群を前記生体組織の三次元モデルにおける隆起形状を構成するボクセル群とする隆起形状検出部とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、医療用画像処理装置及び医療用画像処理方法に関し、特に、体腔内の生体組織の三次元モデルにおける隆起形状を検出可能な医療用画像処理装置及び医療用画像処理方法に関するものである。
【背景技術】
【０００２】
内視鏡及び医療用画像処理装置等を具備して構成される内視鏡システムは、医療分野等において広く用いられている。具体的には、内視鏡システムは、例えば、生体としての体腔内に挿入される挿入部と、該挿入部の先端部に配置された対物光学系と、該対物光学系により結像された体腔内の像を撮像して撮像信号として出力する撮像部とを有して構成される内視鏡と、該撮像信号に基づき、表示部としてのモニタ等に該体腔内の像を画像表示させるための処理を行う医療用画像処理装置とを具備して構成されている。そして、ユーザは、表示部としてのモニタ等に画像表示された体腔内の像に基づき、例えば、体腔内における被写体としての臓器等の観察を行う。
【０００３】
また、前述した構成を具備する内視鏡システムは、体腔内における被写体として、例えば、大腸等の消化管粘膜の像を撮像することもまた可能である。そのため、ユーザは、例えば、粘膜の色調、病変の形状及び粘膜表面の微細な構造等の様々な所見を総合的に観察することができる。
【０００４】
さらに、近年においては、内視鏡により撮像された被写体の像の撮像信号に応じた二次元画像のデータに基づき、該被写体の三次元モデルを生成することが可能である、例えば、特許文献１に記載されているような内視鏡装置が提案されている。
【０００５】
一方、三次元モデルにおいてポリープ等の病変部位を検出するための方法として、例えば、ＳｈａｐｅＩｎｄｅｘ及びＣｕｒｖｅｄｎｅｓｓといった、曲率に基づく形状特徴量を用いつつ該三次元モデルの形状の評価を行うことにより、該三次元モデルにおける病変部位を検出可能である、特許文献２に記載されている方法が提案されている。
【特許文献１】特開平１１−３３７８４５号公報
【特許文献２】ＵＳ Ｐａｔｅｎｔ Ａｐｐｌｉｃａｔｉｏｎ Ｎｏ．２００３０２２３６２７
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特に、内視鏡により撮像された隆起形状を有する生体組織の像としての、例えば、大腸のひだまたはポリープ等の生体組織の像を含む二次元画像は、該内視鏡の視野方向に対して不可視領域を含む場合が多い。そして、前述した二次元画像における不可視領域は、一般的にオクルージョンと呼ばれており、正確な三次元モデルの推定が困難な領域である。そのため、二次元画像のオクルージョンが発生している部分においては、例えば、該二次元画像に基づく三次元モデルの対応する位置に推定結果が存在しない、または、該二次元画像に基づく三次元モデルの対応する位置に信頼性の低い推定結果が算出されるといったことが起こり得る。
【０００７】
その結果、従来の画像処理としての、例えば、特許文献１の内視鏡装置において行われている画像処理により推定された被写体の三次元モデルが用いられつつ該被写体の観察が行われた場合、ユーザがポリープ等の病変部位を見つける際の負担が大きくなってしまうという課題が生じている。
【０００８】
また、特許文献２において提案されているポリープ等の病変部位を検出するための方法は、例えば、ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｙ）を用いた観察により得られる、オクルージョンとなる部分が発生しない三次元モデルに対する適用を想定した方法である。そのため、特許文献２において提案されているポリープ等の病変部位を検出するための方法は、例えば、内視鏡を用いた観察により得られる、オクルージョンとなる部分を有する二次元画像に基づいて推定された三次元モデルに対して適用された場合に、ポリープ等の病変部位の検出精度が低下してしまう。その結果、特許文献２において提案されている方法が採用された内視鏡システムが用いられつつ被写体の観察が行われた場合、ユーザがポリープ等の病変部位を見つける際の負担が大きくなってしまうという課題が生じている。
【０００９】
本発明は、前述した点に鑑みてなされたものであり、オクルージョンを有する二次元画像に基づいて推定された三次元モデルを用いて観察が行われる場合に、ユーザによるポリープ等の病変部位の見落としを防止可能であることにより、ユーザの負担を軽減させることのできる医療用画像処理装置及び医療用画像処理方法を提供することを目的としている。
【課題を解決するための手段】
【００１０】
本発明における第１の医療用画像処理装置は、医療用撮像装置から入力される体腔内の生体組織の像の二次元画像に基づき、該二次元画像のエッジを抽出するエッジ抽出部と、前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定部と、前記三次元モデルの一部として推定された前記エッジが存在する各ボクセルの位置に基づき、形状特徴量の算出対象となる所定のボクセル群を抽出するボクセル抽出部と、前記ボクセル抽出部により抽出された前記所定のボクセル群のうち、少なくとも一部のボクセルについて前記形状特徴量を算出する形状特徴量算出部と、前記形状特徴量に基づき、前記少なくとも一部のボクセルのうち、三次元モデルが所定の形状として推定されたボクセル群を抽出するとともに、該ボクセル群を、前記生体組織の三次元モデルにおける隆起形状を構成するボクセル群として検出する隆起形状検出部と、を有することを特徴とする。
【００１１】
本発明における第２の医療用画像処理装置は、前記第１の医療用画像処理装置において、前記所定のボクセル群は、前記エッジが存在する各ボクセルに含まれる所定の一のボクセルよりも、前記医療用撮像装置の視野方向手前側に存在するボクセル群であることを特徴とする。
【００１２】
本発明における第３の医療用画像処理装置は、前記第２の医療用画像処理装置において、前記所定の一のボクセルは、前記エッジが存在する各ボクセルのうち、前記視野方向の最も奥側に存在する一のボクセルであることを特徴とする。
【００１３】
本発明における第４の医療用画像処理装置は、前記第１乃至第３の医療用画像処理装置において、前記所定の形状は、凸型形状であることを特徴とする。
【００１４】
本発明における第５の医療用画像処理装置は、入力される体腔内の生体組織の像の二次元画像に基づき、該二次元画像のエッジを細線化して抽出するエッジ抽出部と、前記エッジ抽出部が抽出したエッジ各々について、一のエッジの端部となる位置の位置情報と、該位置情報に基づいて算出される、該一のエッジの形状に関する情報である形状情報とを取得するエッジ情報取得部と、前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定部と、前記位置情報と前記形状情報とに基づき、前記生体組織の三次元モデルの奥行に関する情報である奥行情報と、前記生体組織の三次元モデルの高さに関する情報である高さ情報とを取得する三次元モデル情報取得部と、前記奥行情報と前記高さ情報とに基づき、前記生体組織が隆起形状を有するか否かを検出する隆起形状検出部と、を有することを特徴とする。
【００１５】
本発明における第６の医療用画像処理装置は、前記第５の医療用画像処理装置において、前記形状情報は、前記一のエッジの細線における中点の位置に関する情報と、前記一のエッジの端部における２つの端点を結ぶ直線の中点の位置に関する情報とを有することを特徴とする。
【００１６】
本発明における第１の医療用画像処理方法は、医療用撮像装置から入力される体腔内の生体組織の像の二次元画像に基づき、該二次元画像のエッジを抽出するエッジ抽出ステップと、前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定ステップと、前記三次元モデルの一部として推定された前記エッジが存在する各ボクセルの位置に基づき、形状特徴量の算出対象となる所定のボクセル群を抽出するボクセル抽出ステップと、前記ボクセル抽出ステップにより抽出された前記ボクセル群のうち、少なくとも一部のボクセルについて前記形状特徴量を算出する形状特徴量算出ステップと、前記形状特徴量に基づき、前記少なくとも一部のボクセルのうち、三次元モデルが所定の形状として推定されたボクセル群を抽出するとともに、該ボクセル群を、前記生体組織の三次元モデルにおける隆起形状を構成するボクセル群として検出する隆起形状検出ステップと、を有することを特徴とする。
【００１７】
本発明における第２の医療用画像処理方法は、前記第１の医療用画像処理方法において、前記所定のボクセル群は、前記エッジが存在する各ボクセルに含まれる所定の一のボクセルよりも、前記医療用撮像装置の視野方向手前側に存在するボクセル群であることを特徴とする。
【００１８】
本発明における第３の医療用画像処理方法は、前記第２の医療用画像処理方法において、前記所定の一のボクセルは、前記エッジが存在する各ボクセルのうち、前記視野方向の最も奥側に存在する一のボクセルであることを特徴とする請求項８に記載の医療用画像処理方法。
【００１９】
本発明における第４の医療用画像処理方法は、前記第１乃至第３の医療用画像処理方法において、前記所定の形状は、凸型形状であることを特徴とする。
【００２０】
本発明における第５の医療用画像処理方法は、入力される体腔内の生体組織の像の二次元画像に基づき、該二次元画像のエッジを細線化して抽出するエッジ抽出ステップと、前記エッジ抽出ステップが抽出したエッジ各々について、一のエッジの端部となる位置の位置情報と、該位置情報に基づいて算出される、該一のエッジの形状に関する情報である形状情報とを取得するエッジ情報取得ステップと、前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定ステップと、前記位置情報と前記形状情報とに基づき、前記生体組織の三次元モデルの奥行に関する情報である奥行情報と、前記生体組織の三次元モデルの高さに関する情報である高さ情報とを取得する三次元モデル情報取得ステップと、前記奥行情報と前記高さ情報とに基づき、前記生体組織が隆起形状を有するか否かを検出する隆起形状検出ステップと、を有することを特徴とする。
【００２１】
本発明における第６の医療用画像処理方法は、前記第５の医療用画像処理方法において、前記形状情報は、前記一のエッジの細線における中点の位置に関する情報と、前記一のエッジの端部における２つの端点を結ぶ直線の中点の位置に関する情報とを有することを特徴とする。
【発明の効果】
【００２２】
本発明における医療用画像処理装置及び医療用画像処理方法によると、オクルージョンを有する二次元画像に基づいて推定された三次元モデルを用いて観察が行われる場合に、ユーザによるポリープ等の病変部位の見落としを防止可能であることにより、ユーザの負担を軽減させることができる。
【発明を実施するための最良の形態】
【００２３】
以下、図面を参照して本発明の実施の形態を説明する。
【００２４】
（第１の実施形態）
図１から図８は、本発明の第１の実施形態に係るものである。図１は、本実施形態に係る医療用画像処理装置が用いられる内視鏡システムの全体構成の一例を示す図である。図２は、図１の内視鏡が管状器官内に挿入された場合の状態を示す模式図である。図３は、図２の状態において、内視鏡により撮像される管状器官及び生体組織の像を示す模式図である。図４は、生体組織の像の二次元画像におけるエッジ部を抽出する場合に、図１の医療用画像処理装置が行う処理の手順を示すフローチャートである。図５は、生体組織の三次元モデルにおける隆起形状を検出する場合に、図１の医療用画像処理装置が行う処理の手順を示すフローチャートである。図６は、図１の医療用画像処理装置により推定された、生体組織の三次元モデルの一例を示す図である。図７は、図５のフローチャートにおいて、生体組織の三次元モデルにおける隆起形状を検出するための処理の対象となる領域の一例を示す図である。図８は、図５のフローチャートにおいて、生体組織の三次元モデルにおける隆起形状を検出するための処理の対象となる領域の、図７とは異なる例を示す図である。
【００２５】
内視鏡システム１は、図１に示すように、被写体を撮像するとともに、該被写体の像の二次元画像を出力する医療用観察装置２と、パーソナルコンピュータ等により構成され、医療用観察装置２から出力される二次元画像の映像信号に対して画像処理を行うとともに、該画像処理を行った後の映像信号を画像信号として出力する医療用画像処理装置３と、医療用画像処理装置３から出力される画像信号に基づく画像を表示するモニタ４とを有して要部が構成されている。
【００２６】
また、医療用観察装置２は、体腔内に挿入されるとともに、該体腔内の被写体を撮像して撮像信号として出力する内視鏡６と、内視鏡６により撮像される被写体を照明するための照明光を供給する光源装置７と、内視鏡６に対する各種制御を行うとともに、内視鏡６から出力される撮像信号に対して信号処理を行い、二次元画像の映像信号として出力するカメラコントロールユニット（以降、ＣＣＵと略記する）８と、ＣＣＵ８から出力される二次元画像の映像信号に基づき、内視鏡６により撮像された被写体の像を画像表示するモニタ９とを有して要部が構成されている。
【００２７】
医療用撮像装置としての内視鏡６は、体腔内に挿入される挿入部１１と、挿入部１１の基端側に設けられた操作部１２とを有して構成されている。また、挿入部１１内の基端側から、挿入部１１内の先端側の先端部１４にかけての部分には、光源装置７から供給される照明光を伝送するためのライトガイド１３が挿通されている。
【００２８】
ライトガイド１３は、先端側が内視鏡６の先端部１４に配置されるとともに、後端側が光源装置７に接続される。ライトガイド１３がこのような構成を有することにより、光源装置７から供給される照明光は、ライトガイド１３により伝送された後、挿入部１１の先端部１４の先端面に設けられた、図示しない照明窓から出射される。そして、図示しない照明窓から照明光が出射されることにより、被写体としての生体組織等が照明される。
【００２９】
内視鏡６の先端部１４には、図示しない照明窓に隣接する図示しない観察窓に取り付けられた対物光学系１５と、対物光学系１５の結像位置に配置され、例えば、ＣＣＤ（電荷結合素子）等により構成される撮像素子１６とを有する撮像部１７が設けられている。このような構成により、対物光学系１５により結像された被写体の像は、撮像素子１６により撮像された後、撮像信号として出力される。
【００３０】
撮像素子１６は、信号線を介してＣＣＵ８に接続されている。そして、撮像素子１６は、ＣＣＵ８から出力される駆動信号に基づいて駆動するとともに、ＣＣＵ８に対して撮像信号を出力する。
【００３１】
また、ＣＣＵ８に入力された撮像信号は、ＣＣＵ８の内部に設けられた図示しない信号処理回路において信号処理されることにより、二次元画像の映像信号として変換されて出力される。ＣＣＵ８から出力された二次元画像の映像信号は、モニタ９及び医療用画像処理装置３に対して出力される。これにより、モニタ９には、ＣＣＵ８から出力される映像信号に基づく被写体の像が二次元の画像として表示される。
【００３２】
医療用画像処理装置３は、医療用観察装置２から出力される二次元画像の映像信号に対し、Ａ／Ｄ変換を行って出力する画像入力部２１と、画像入力部２１から出力される映像信号に対して画像処理を行う、中央演算処理装置としてのＣＰＵ２２と、該画像処理に関する処理プログラムが書き込まれた処理プログラム記憶部２３と、画像入力部２１から出力される映像信号等を記憶する画像記憶部２４と、ＣＰＵ２２の画像処理結果としての画像データ等を記憶する情報記憶部２５とを有する。
【００３３】
また、医療用画像処理装置３は、記憶装置インターフェース２６と、記憶装置インターフェース２６を介してＣＰＵ２２の画像処理結果としての画像データ等を記憶する、記憶装置としてのハードディスク２７と、ＣＰＵ２２の画像処理結果としての画像データに基づき、該画像データをモニタ４に画像表示するための表示処理を行うとともに、該表示処理を行った後の画像データを画像信号として出力する表示処理部２８と、ＣＰＵ２２が行う画像処理におけるパラメータ及び医療用画像処理装置３に対する操作指示をユーザが入力可能な、キーボード等により構成される入力操作部２９とを有する。そして、モニタ４は、表示処理部２８から出力される画像信号に基づく画像を表示する。
【００３４】
なお、医療用画像処理装置３の画像入力部２１、ＣＰＵ２２、処理プログラム記憶部２３、画像記憶部２４、情報記憶部２５、記憶装置インターフェース２６、表示処理部２８及び入力操作部２９は、データバス３０を介して相互に接続されている。
【００３５】
次に、内視鏡システム１の作用について説明を行う。
【００３６】
まず、ユーザは、図２に示すように、例えば、大腸等である管状器官３１内に内視鏡６の挿入部１１を挿入する。そして、ユーザにより挿入部１１が管状器官３１に挿入されると、例えば、管状器官３１の内壁に存在する病変部位である生体組織３１Ａの像が、先端部１４に設けられた撮像部１７により、図３に示すような像として撮像される。そして、図３に示すような像として撮像部１７により撮像された、管状器官３１及び生体組織３１Ａの像は、撮像信号としてＣＣＵ８に対して出力される。
【００３７】
ＣＣＵ８は、図示しない信号処理回路において、撮像部１７の撮像素子１６から出力される撮像信号に対して信号処理を行うことにより、該撮像信号を二次元画像の映像信号として変換して出力する。そして、モニタ９は、ＣＣＵ８から出力される映像信号に基づき、管状器官３１及び生体組織３１Ａの像を、例えば、図３に示すような二次元の画像として表示する。また、ＣＣＵ８は、撮像部１７の撮像素子１６から出力される撮像信号に対して信号処理を行うことにより得られた二次元画像の映像信号を、医療用画像処理装置３に対して出力する。
【００３８】
医療用画像処理装置３に対して出力された二次元画像の映像信号は、画像入力部２１においてＡ／Ｄ変換された後、ＣＰＵ２２に入力される。
【００３９】
ＣＰＵ２２は、画像入力部２１から出力された二次元画像の映像信号と、処理プログラム記憶部２３に書き込まれた処理プログラムとに基づき、例えば、以降に述べるような処理を行うことにより、該二次元画像における生体組織３１Ａのエッジ部を抽出する。
【００４０】
まず、エッジ抽出部としての機能を有するＣＰＵ２２は、画像入力部２１から出力された二次元画像の映像信号に基づき、例えば、該二次元画像の赤色成分に対してバンドパスフィルタを適用することにより、該二次元画像に含まれる全てのエッジ部を抽出する（図４のステップＳ１）。
【００４１】
その後、エッジ抽出部としての機能を有するＣＰＵ２２は、抽出した全てのエッジ部を細線化する（図４のステップＳ２）とともに、細線化した該全てのエッジ部のうち、一のエッジ部Ｅの長さＬを算出する（図４のステップＳ３）。さらに、ＣＰＵ２２は、一のエッジ部Ｅの長さＬが、閾値ｔｈＬ１より長く、かつ、閾値ｔｈＬ２より短いか否かの判断を行う。
【００４２】
そして、ＣＰＵ２２は、一のエッジ部Ｅの長さＬが、所定の閾値ｔｈＬ１以下の長さであること、または、閾値ｔｈＬ２以上であることを検出した場合（図４のステップＳ４）、後述する図４のステップＳ１１に示す処理を行う。また、ＣＰＵ２２は、一のエッジ部Ｅの長さＬが、閾値ｔｈＬ１より長く、かつ、閾値ｔｈＬ２より短いことを検出した場合（図４のステップＳ４）、該一のエッジ部Ｅを制御点Ｃｎ（ｎ＝１，２，…，Ｎ）によりＮ等分する（図４のステップＳ５）。
【００４３】
さらに、ＣＰＵ２２は、一のエッジ部Ｅの中点Ｃｃから引いた法線ＮＣｃを取得するとともに、各制御点Ｃｎから引いたＮ本の法線ＮＣｎを取得する（図４のステップＳ６）。その後、ＣＰＵ２２は、Ｎ本の法線ＮＣｎのうち、法線ＮＣｃと交わるものの本数Ｎａを検出する（図４のステップＳ７）。
【００４４】
また、ＣＰＵ２２は、Ｎ本の法線ＮＣｎのうち、法線ＮＣｃと交わるものの本数Ｎａが、閾値ｔｈａより多いか否かの判断を行う。そして、ＣＰＵ２２は、法線ＮＣｃと交わるものの本数Ｎａが閾値ｔｈａより多いことを検出した場合（図４のステップＳ８）、一のエッジ部Ｅに含まれるピクセル群ｉｐを生体組織３１Ａのエッジ部に含まれるピクセル群であると判断し、該ピクセル群ｉｐが有する各ピクセルにおける変数ｅｄｇｅ（ｉ）の値をＯＮとする（図４のステップＳ９）。さらに、そして、ＣＰＵ２２は、法線ＮＣｃと交わるものの本数Ｎａが閾値ｔｈａ以下であることを検出した場合（図４のステップＳ８）、一のエッジ部Ｅに含まれるピクセル群ｉｐを生体組織３１Ａのエッジ部に含まれるピクセル群ではないと判断し、該ピクセル群ｉｐが有する各ピクセルにおける変数ｅｄｇｅ（ｉ）の値をＯＦＦとする（図４のステップＳ１０）。
【００４５】
ＣＰＵ２２は、抽出した全てのエッジ部に対し、処理が完了したか否かを判断する。そして、ＣＰＵ２２は、抽出した全てのエッジ部に対しての処理が完了していないことを検出した場合（図４のステップＳ１１）、他の一のエッジ部に対し、前述した、図４のステップＳ３から図４のステップＳ１０までの処理を行う。また、ＣＰＵ２２は、抽出した全てのエッジ部に対しての処理が完了したことを検出した場合（図４のステップＳ１１）、二次元画像における生体組織３１Ａのエッジ部を抽出するための一連の処理を終了する。
【００４６】
その後、ＣＰＵ２２は、前述した、二次元画像における生体組織３１Ａのエッジ部を抽出するための一連の処理を行うことにより得た処理結果としての、二次元画像の各エッジ部に含まれるピクセル群ｉｐにおける変数ｅｄｇｅ（ｉ）の値を、情報記憶部２５に一時的に記憶させる。
【００４７】
そして、三次元モデル推定部としての機能を有するＣＰＵ２２は、例えば、幾何学的な変換等の処理により、画像入力部２１から出力された二次元画像の映像信号の輝度情報等に基づき、管状器官３１及び生体組織３１Ａの三次元モデルを推定する際に必要となる画像データを取得するための画像処理を行う。換言すると、ＣＰＵ２２は、例えば、幾何学的な変換等の処理により、二次元画像における各ピクセルに対応するボクセルを生成するとともに、該ボクセルを、三次元モデルを推定するための画像データとして取得する。すなわち、ピクセル群ｉｐは、前述した処理によりボクセル群ｉｂとして変換される。
【００４８】
ＣＰＵ２２は、前述した処理により、図３に示した生体組織３１Ａの三次元モデルを推定するための画像データとして、変数ｅｄｇｅ（ｉ）がＯＮであるボクセル群ｉｂを含む平面である生体組織境界部３１ｂのデータを得る。これにより、生体組織３１Ａは、例えば、ｚ軸方向を内視鏡６による観察時の視野方向とした場合、図６に示すような形状を有する三次元モデルとして推定される。
【００４９】
その後、ＣＰＵ２２は、生体組織境界部３１ｂのデータに基づき、さらに、以降に述べるような処理を行うことにより、生体組織３１Ａの三次元モデルにおける隆起形状を検出する。
【００５０】
まず、ＣＰＵ２２は、処理プログラム記憶部２３に書き込まれた処理プログラムと、生体組織境界部３１ｂのデータとに基づき、変数ｅｄｇｅ（ｉ）がＯＮであるボクセル群ｉｂのうち、内視鏡６の視野方向の最も奥側に存在する所定の一のボクセルとして、ｚ座標が最大である一のボクセルを抽出するとともに、該一のボクセルのｚ座標をＭａｘｚとして設定する（図５のステップＳ２１）。
【００５１】
そして、ＣＰＵ２２は、管状器官３１及び生体組織３１Ａの三次元モデルを推定するための画像データとして得た全てのボクセルのうち、前記一のボクセルの位置よりも内視鏡６の視野方向手前側に存在するボクセルとして、ｚ座標がＭａｘｚよりも小さいボクセル群ｒｂを検出する（図５のステップＳ２２）。
【００５２】
なお、前述したボクセル群ｒｂは、図７に示す、隆起形状検出対象領域ＡＲ内に含まれるボクセル群、すなわち、形状特徴量の算出対象となるボクセル群であるとともに、Ｒ個のボクセルを有するボクセル群であるとする。
【００５３】
また、前述した、図５のステップＳ２１及びＳ２２の処理を換言すると、ボクセル抽出部としての機能を有するＣＰＵ２２は、変数ｅｄｇｅ（ｉ）がＯＮであるボクセル群ｉｂが有する各ボクセルの位置に基づき、隆起形状検出対象領域ＡＲ内に含まれる、Ｒ個のボクセルを有するボクセル群ｒｂを、形状特徴量の算出対象となる所定のボクセル群として抽出する。
【００５４】
さらに、形状特徴量算出部としての機能を有するＣＰＵ２２は、変数ａを１に設定した（図５のステップＳ２３）後、ボクセル群ｒｂが有するＲ個のボクセルのうち、一のボクセルであるＢａ（ａ＝１，２，…，Ｒ−１，Ｒ）を抽出するとともに（図５のステップＳ２４）、該一のボクセルＢａにおける形状特徴量として、ＳｈａｐｅＩｎｄｅｘ値ＳＢａ及びＣｕｒｖｅｄｎｅｓｓ値ＣＢａを算出する（図５のステップＳ２５）。
【００５５】
なお、前述したＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値は、例えば、ＵＳ Ｐａｔｅｎｔ Ａｐｐｌｉｃａｔｉｏｎ Ｎｏ．２００３０２２３６２７に記載されている方法と同様の方法を用いることにより算出可能である。そのため、本実施形態においては、一のボクセルＢａにおけるＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値の算出方法に関しては、説明を省略する。
【００５６】
また、ＣＰＵ２２は、ＳｈａｐｅＩｎｄｅｘ値ＳＢａと、予め設定されたＳｈａｐｅＩｎｄｅｘ値の閾値Ｓｔｈとの比較を行うとともに、Ｃｕｒｖｅｄｎｅｓｓ値ＣＢａと、予め設定されたＣｕｒｖｅｄｎｅｓｓ値の閾値Ｃｔｈとの比較を行う。換言すると、隆起形状検出部としての機能を有するＣＰＵ２２は、前述した処理を行うことにより、生体組織３１Ａが隆起形状であるか否かを検出するための処理として、三次元モデルが凸型形状と推定されたボクセル群を抽出する処理を行う。なお、図５に示す一連の処理においては、隆起形状として凸型形状を有する生体組織３１Ａを検出するために、例えば、閾値Ｓｔｈは０．９として設定されているとし、また、閾値Ｃｔｈは０．２として設定されているとする。
【００５７】
そして、隆起形状検出部としての機能を有するＣＰＵ２２は、ＳｈａｐｅＩｎｄｅｘ値ＳＢａが閾値Ｓｔｈより大きく、かつ、Ｃｕｒｖｅｄｎｅｓｓ値ＣＢａが閾値Ｃｔｈより大きいことを検出した場合（図５のステップＳ２６）、一のボクセルＢａを隆起形状の一部を構成するボクセルであると判断し、該一のボクセルＢａにおける変数ｒｙｕｕｋｉ（Ｂａ）の値をＯＮとする（図５のステップＳ２７）。
【００５８】
また、ＣＰＵ２２は、ＳｈａｐｅＩｎｄｅｘ値ＳＢａが閾値Ｓｔｈ以下であること、または、Ｃｕｒｖｅｄｎｅｓｓ値ＣＢａが閾値Ｃｔｈ以下であることを検出した場合（図５のステップＳ２６）、一のボクセルＢａを隆起形状の一部を構成するボクセルではないと判断し、該一のボクセルＢａにおける変数ｒｙｕｕｋｉ（Ｂａ）の値をＯＦＦとする（図５のステップＳ２８）。
【００５９】
その後、ＣＰＵ２２は、Ｒ個のボクセル全てにおいて、前述した処理が行われたかどうか、すなわち、変数ａ＝Ｒであるか否かの判定を行う。
【００６０】
そして、ＣＰＵ２２は、ａ＝Ｒではないことを検知した場合（図５のステップＳ２９）、変数ｉに１を加える処理を行った（図５のステップＳ３０）後、前述した、図５のステップＳ２４からステップＳ２９に示す処理を再度行う。
【００６１】
また、ＣＰＵ２２は、ａ＝Ｒであることを検知した場合（図５のステップＳ２９）、生体組織３１Ａの三次元モデルにおける隆起形状を検出するための一連の処理を完了する。
【００６２】
そして、ＣＰＵ２２は、例えば、ｒｙｕｕｋｉ（Ｂａ）の値がＯＮであるボクセルを有する三次元モデルにおいて、生体組織３１Ａが隆起形状であることを示すための文字列または着色等を該三次元モデルに重畳させるような制御を表示処理部２８に対して行う。これにより、モニタ４には、隆起形状を有する生体組織３１Ａをユーザが容易に発見可能であるような、管状器官３１及び生体組織３１Ａの三次元モデルが画像表示される。
【００６３】
また、ＣＰＵ２２は、ｒｙｕｕｋｉ（Ｂａ）の値がＯＮである各ボクセルの位置に基づき、該各ボクセルの位置に対応する位置に存在する二次元画像上の各ピクセルを検出するとともに、生体組織３１Ａが隆起形状であることを示すための文字列または着色等を、該各ピクセルを有する該二次元画像に重畳させるような制御を表示処理部２８に対して行うものであっても良い。
【００６４】
なお、前述した一連の処理において、隆起形状検出対象領域ＡＲは、ｚ座標がＭａｘｚよりも小さいボクセル群を含む領域として定められるものに限らず、例えば、図８に示すように、生体組織境界部３１ｂ近傍に存在するボクセル群のみを含む領域として定められるものであっても良い。
【００６５】
本実施形態の医療用画像処理装置３は、以上に述べた一連の処理を行うことにより、ユーザによるポリープ等の病変部位の見落としを防止可能であることにより、ユーザの負担を軽減させることができる。
【００６６】
また、本実施形態の医療用画像処理装置３は、前述した、生体組織３１Ａの隆起形状を検出するための処理を、三次元モデルにおける隆起形状検出対象領域ＡＲ内に含まれるボクセル群に対してのみ行う。そのため、本実施形態の医療用画像処理装置３は、生体組織３１Ａの隆起形状の検出を高速に行うことができる。
【００６７】
（第２の実施形態）
図９から図１５は、本発明の第２の実施形態に係るものである。なお、第１の実施形態と同様の構成を持つ部分については、詳細説明は省略する。また、第１の実施形態と同様の構成要素については、同一の符号を用いて説明は省略する。さらに、本実施形態に用いる内視鏡システム１の構成は、第１の実施形態と同様である。
【００６８】
図９は、図１の医療用画像処理装置が第２の実施形態において行う処理の手順の概要を示すフローチャートである。図１０は、図９における注目点抽出処理の具体的な手順を示すフローチャートである。図１１は、図９における隆起形状検出処理の具体的な手順を示すフローチャートである。図１２は、図１の医療用画像処理装置が第２の実施形態の処理を行うことにより、生体組織のエッジ部を含む二次元画像が細線化された場合の一例を示す図である。図１３は、図１２の細線化された二次元画像における、各注目点の位置関係の一例を示す図である。図１４は、図１の医療用画像処理装置が第２の実施形態の処理を行うことにより得る、生体組織の三次元モデルにおける各注目点の位置関係の一例を示す図である。図１５は、図１の医療用画像処理装置が第２の実施形態の処理を行うことにより得る、生体組織の三次元モデルにおける各注目点の位置関係の、図１４とは異なる一例を示す図である。
【００６９】
まず、エッジ抽出部としての機能を有するＣＰＵ２２は、画像入力部２１から出力される、管状器官３１及び生体組織３１Ａが撮像された二次元画像の映像信号に基づき、例えば、該二次元画像の赤色成分に対してバンドパスフィルタを適用することにより、該二次元画像に含まれる全てのエッジ部を抽出する（図９のステップＳ３１）。
【００７０】
その後、エッジ抽出部としての機能を有するＣＰＵ２２は、抽出した全てのエッジ部を２値化及び細線化する（図９のステップＳ３２）とともに、細線化された二次元画像における注目点抽出処理を行う（図９のステップＳ３３）。
【００７１】
具体的には、エッジ部が細線化された二次元画像として、例えば、図１２に示すような生体組織３１Ａの一のエッジ部Ｅ１が含まれている画像を取得した場合、まず、エッジ情報取得部としての機能を有するＣＰＵ２２は、該一のエッジ部Ｅ１の細線における、一のエッジの端部となる位置の位置情報として、端点Ｋ１及びＫ２を取得する（図１０のステップＳ３３１）。
【００７２】
次に、エッジ情報取得部としての機能を有するＣＰＵ２２は、一のエッジ部Ｅ１の形状に関する形状情報として、該一のエッジ部Ｅ１の細線の線分長ＬＥ１を算出する（図１０のステップＳ３３２）とともに、ＬＥ１×１／２となる中点ＫＥを取得する（図１０のステップＳ３３３）。
【００７３】
また、エッジ情報取得部としての機能を有するＣＰＵ２２は、一のエッジ部Ｅ１の形状に関する形状情報として、端点Ｋ１と端点Ｋ２とを結ぶ直線Ｆ１を抽出し、該直線の長さＬＦ１を算出する（図１０のステップＳ３３４）とともに、ＬＦ１×１／２となる中点ＫＦを取得する（図１０のステップＳ３３５）。
【００７４】
そして、ＣＰＵ２２は、端点Ｋ１、端点Ｋ２、中点ＫＥ及び中点ＫＦを、一のエッジ部Ｅ１における注目点として抽出する（図１０のステップＳ３３６）。なお、一のエッジ部Ｅ１における端点Ｋ１、端点Ｋ２、中点ＫＥ及び中点ＫＦは、例えば、各々が図１３に示すような位置関係を有する注目点として抽出される。
【００７５】
ＣＰＵ２２は、抽出した全てのエッジ部に対し、処理が完了したか否かを判断する。そして、ＣＰＵ２２は、抽出した全てのエッジ部に対しての処理が完了していないことを検出した場合（図１０のステップＳ３３７）、他の一のエッジ部に対し、前述した、図１０のステップＳ３３１から図１０のステップＳ３３６までの処理を行う。また、ＣＰＵ２２は、抽出した全てのエッジ部に対しての処理が完了したことを検出した場合（図１０のステップＳ３３７）、二次元画像における注目点抽出処理を終了する。
【００７６】
そして、ＣＰＵ２２は、前述した、二次元画像における注目点抽出処理を行うことにより得た処理結果として、該二次元画像の各エッジ部が有する注目点である、端点Ｋ１、端点Ｋ２、中点ＫＥ及び中点ＫＦのデータを、情報記憶部２５に一時的に記憶させる。
【００７７】
三次元モデル推定部としての機能を有するＣＰＵ２２は、二次元画像における注目点抽出処理を行った後、例えば、幾何学的な変換等の処理により、画像入力部２１から出力された二次元画像の映像信号の輝度情報等に基づき、管状器官３１及び生体組織３１Ａの三次元モデルを推定する際に必要となる画像データを取得するための画像処理を行う（図９のステップＳ３４）。換言すると、ＣＰＵ２２は、例えば、幾何学的な変換等の処理により、二次元画像における各ピクセルに対応するボクセルを生成するとともに、該ボクセルを、三次元モデルを推定するための画像データとして取得する。
【００７８】
さらに、ＣＰＵ２２は、情報記憶部２５に記憶されている各注目点のデータである、端点Ｋ１、端点Ｋ２、中点ＫＥ及び中点ＫＦのデータに基づき、生体組織３１Ａの一のエッジ部Ｅ１の三次元モデルにおける該各注目点の座標を推定する（図９のステップＳ３５）。なお、一のエッジ部Ｅ１の三次元モデルにおける端点Ｋ１、端点Ｋ２、中点ＫＥ及び中点ＫＦは、前述した処理により、例えば、各々が図１４に示すような位置関係を有するとして推定される。
【００７９】
そして、ＣＰＵ２２は、前述した処理により推定された各注目点の座標に基づき、さらに、以降に述べるような隆起形状検出処理を行うことにより、生体組織３１Ａの三次元モデルにおける隆起形状を検出する（図９のステップＳ３６）。
【００８０】
具体的には、まず、三次元モデル情報取得部としての機能を有するＣＰＵ２２は、生体組織３１Ａの三次元モデルにおける奥行情報として、一のエッジ部Ｅ１の三次元モデルにおける、中点ＫＦのｚ座標ＫＦｚと、端点Ｋ１のｚ座標Ｋ１ｚと、端点Ｋ２のｚ座標Ｋ２ｚとを抽出する（図１１のステップＳ３６１）。
【００８１】
次に、隆起形状検出部としての機能を有するＣＰＵ２２は、中点ＫＦのｚ座標ＫＦｚの値と、端点Ｋ１のｚ座標Ｋ１ｚの値及び端点Ｋ２のｚ座標Ｋ２ｚの値との比較を行う。そして、ＣＰＵ２２は、中点ＫＦのｚ座標ＫＦｚの値が端点Ｋ１のｚ座標Ｋ１ｚの値よりも小さく、かつ、中点ＫＦのｚ座標ＫＦｚの値が端点Ｋ２のｚ座標Ｋ２ｚの値よりも小さいことを検出した場合（図１１のステップＳ３６２）、後述する、図１１のステップＳ３６３に示す処理をさらに行う。また、ＣＰＵ２２は、中点ＫＦのｚ座標ＫＦｚの値が端点Ｋ１のｚ座標Ｋ１ｚの値以上であるか、または、中点ＫＦのｚ座標ＫＦｚの値が端点Ｋ２のｚ座標Ｋ２ｚの値以上であることを検出した場合（図１１のステップＳ３６２）、生体組織３１Ａの一のエッジ部Ｅ１を、隆起形状を構成するエッジ部ではないと判断し、後述する、図１１のステップＳ３６７に示す処理を行う。
【００８２】
三次元モデル情報取得部としての機能を有するＣＰＵ２２は、中点ＫＦのｚ座標ＫＦｚの値が端点Ｋ１のｚ座標Ｋ１ｚの値よりも小さく、かつ、中点ＫＦのｚ座標ＫＦｚの値が端点Ｋ２のｚ座標Ｋ２ｚの値よりも小さいことを検出した場合（図１１のステップＳ３６２）、三次元モデルにおける端点Ｋ１と端点Ｋ２とを結ぶ直線Ｆ２を抽出するとともに、三次元モデルにおける中点ＫＥと該直線Ｆ２とを結ぶ直線である垂直線Ｆ３を取得する（図１１のステップＳ３６３）。その後、ＣＰＵ２２は、生体組織３１Ａの三次元モデルにおける高さ情報として、垂直線Ｆ３の線分長ＬＦ３を取得する（図１１のステップＳ３６４）とともに、該線分長ＬＦ３と、該線分長ＬＦ３の閾値ｔｈＬＦ３との比較を行う。
【００８３】
そして、隆起形状検出部としての機能を有するＣＰＵ２２は、線分長ＬＦ３の値が閾値ｔｈＬＦ３よりも大きいことを検出した場合（図１１のステップＳ３６５）、生体組織３１Ａの一のエッジ部Ｅ１を、隆起形状を構成するエッジ部であると判断するとともに、該一のエッジ部Ｅ１が有するボクセル群全てにおける変数ｒｙｕｕｋｉ（Ｅ１）の値をＯＮとする（図１１のステップＳ３６６）。また、ＣＰＵ２２は、線分長ＬＦ３の値が閾値ｔｈＬＦ３以下であることを検出した場合（図１１のステップＳ３６５）、生体組織３１Ａの一のエッジ部Ｅ１を、隆起形状を構成するエッジ部ではないと判断するとともに、該一のエッジ部Ｅ１が有するボクセル群全てにおける変数ｒｙｕｕｋｉ（Ｅ１）の値をＯＦＦとする（図１１のステップＳ３６７）。
【００８４】
ＣＰＵ２２は、抽出した全てのエッジ部に対し、処理が完了したか否かを判断する。そして、ＣＰＵ２２は、抽出した全てのエッジ部に対しての処理が完了していないことを検出した場合（図１１のステップＳ３６８）、他の一のエッジ部に対し、前述した、図１１のステップＳ３６１から図１１のステップＳ３６７までの処理を行う。また、ＣＰＵ２２は、抽出した全てのエッジ部に対しての処理が完了したことを検出した場合（図１１のステップＳ３６８）、生体組織３１Ａの三次元モデルにおける隆起形状検出処理を終了する。
【００８５】
そして、ＣＰＵ２２は、前述した、図１１に示す隆起形状検出処理が終了した時点において、図９に示す一連の画像処理を完了する。
【００８６】
なお、前述した隆起形状検出処理の、図１１のステップＳ３６２に示す処理において、ＣＰＵ２２は、各注目点のｚ座標の値に基づく比較及び判断を行うものに限らず、例えば、以降に記すような、各注目点の赤色成分値に基づく比較及び判断を行うものであっても良い。
【００８７】
具体的には、まず、ＣＰＵ２２は、中点ＫＦにおける赤色成分値ＲＫＦと、端点Ｋ１における赤色成分値ＲＫ１と、端点Ｋ２における赤色成分値ＲＫ２とを抽出する。そして、ＣＰＵ２２は、中点ＫＦにおける赤色成分値ＲＫＦが端点Ｋ１における赤色成分値ＲＫ１よりも大きく、かつ、中点ＫＦにおける赤色成分値ＲＫＦが端点Ｋ２における赤色成分値ＲＫ２よりも大きいことを検出した場合、前述した、図１１のステップＳ３６３の処理をさらに行う。また、ＣＰＵ２２は、中点ＫＦにおける赤色成分値ＲＫＦが端点Ｋ１における赤色成分値ＲＫ１以下であるか、または、中点ＫＦにおける赤色成分値ＲＫＦが端点Ｋ２における赤色成分値ＲＫ２以下であることを検出した場合、生体組織３１Ａの一のエッジ部Ｅ１を、隆起形状を構成するエッジ部ではないと判断し、前述した、図１１のステップＳ３６７の処理を行う。
【００８８】
そして、ＣＰＵ２２は、例えば、ｒｙｕｕｋｉ（Ｅ１）の値がＯＮであるボクセルを有する三次元モデルにおいて、生体組織３１Ａが隆起形状であることを示すための文字列または着色等を該三次元モデルに重畳させるような制御を表示処理部２８に対して行う。これにより、モニタ４には、隆起形状を有する生体組織３１Ａをユーザが容易に発見可能であるような、管状器官３１及び生体組織３１Ａの三次元モデルが画像表示される。
【００８９】
また、ＣＰＵ２２は、ｒｙｕｕｋｉ（Ｅ１）の値がＯＮである各ボクセルの位置に基づき、該各ボクセルの位置に対応する位置に存在する二次元画像上の各ピクセルを検出するとともに、生体組織３１Ａが隆起形状であることを示すための文字列または着色等を、該各ピクセルを有する該二次元画像に重畳させるような制御を表示処理部２８に対して行うものであっても良い。
【００９０】
本実施形態の医療用画像処理装置３は、以上に述べた一連の処理を行うことにより、ユーザによるポリープ等の病変部位の見落としを防止可能であることにより、ユーザの負担を軽減させることができる。
【００９１】
また、本実施形態の医療用画像処理装置３は、前述した、生体組織３１Ａが隆起形状であるか否かを、隆起形状特有の値を算出しつつ定量的に検出する。そのため、本実施形態の医療用画像処理装置３は、生体組織３１Ａの隆起形状の検出を精度良く行うことができる。
【００９２】
なお、本発明は、上述した実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
【図面の簡単な説明】
【００９３】
【図１】本発明の各実施形態に係る医療用画像処理装置が用いられる内視鏡システムの全体構成の一例を示す図。
【図２】図１の内視鏡が管状器官内に挿入された場合の状態を示す模式図。
【図３】図２の状態において、内視鏡により撮像される管状器官及び生体組織の像を示す模式図。
【図４】生体組織の像の二次元画像におけるエッジ部を抽出する場合に、図１の医療用画像処理装置が第１の実施形態において行う処理の手順を示すフローチャート。
【図５】生体組織の三次元モデルにおける隆起形状を検出する場合に、図１の医療用画像処理装置が第１の実施形態において行う処理の手順を示すフローチャート。
【図６】図１の医療用画像処理装置により推定された、生体組織の三次元モデルの一例を示す図。
【図７】図５のフローチャートにおいて、生体組織の三次元モデルにおける隆起形状を検出するための処理の対象となる領域の一例を示す図。
【図８】図５のフローチャートにおいて、生体組織の三次元モデルにおける隆起形状を検出するための処理の対象となる領域の、図７とは異なる例を示す図。
【図９】図１の医療用画像処理装置が第２の実施形態において行う処理の手順の概要を示すフローチャート。
【図１０】図９における注目点抽出処理の具体的な手順を示すフローチャート。
【図１１】図９における隆起形状検出処理の具体的な手順を示すフローチャート。
【図１２】図１の医療用画像処理装置が第２の実施形態の処理を行うことにより、生体組織のエッジ部を含む二次元画像が細線化された場合の一例を示す図。
【図１３】図１２の細線化された二次元画像における、各注目点の位置関係の一例を示す図。
【図１４】図１の医療用画像処理装置が第２の実施形態の処理を行うことにより得る、生体組織の三次元モデルにおける各注目点の位置関係の一例を示す図。
【図１５】図１の医療用画像処理装置が第２の実施形態の処理を行うことにより得る、生体組織の三次元モデルにおける各注目点の位置関係の、図１４とは異なる一例を示す図。
【符号の説明】
【００９４】
１・・・内視鏡システム、２・・・医療用観察装置、３・・・医療用画像処理装置、４，９・・・モニタ、６・・・内視鏡、７・・・光源装置、１１・・・挿入部、１２・・・操作部、１３・・・ライトガイド、１４・・・先端部、１５・・・対物光学系、１６・・・撮像素子、１７・・・撮像部、２１・・・画像入力部、２３・・・処理プログラム記憶部、２４・・・画像記憶部、２５・・・情報記憶部、２６・・・記憶装置インターフェース、２７・・・ハードディスク、２８・・・表示処理部、２９・・・入力操作部、３０・・・データバス、３１・・・管状器官、３１Ａ・・・生体組織、３１ｂ・・・生体組織境界部
【技術分野】
【０００１】
本発明は、医療用画像処理装置及び医療用画像処理方法に関し、特に、体腔内の生体組織の三次元モデルにおける隆起形状を検出可能な医療用画像処理装置及び医療用画像処理方法に関するものである。
【背景技術】
【０００２】
内視鏡及び医療用画像処理装置等を具備して構成される内視鏡システムは、医療分野等において広く用いられている。具体的には、内視鏡システムは、例えば、生体としての体腔内に挿入される挿入部と、該挿入部の先端部に配置された対物光学系と、該対物光学系により結像された体腔内の像を撮像して撮像信号として出力する撮像部とを有して構成される内視鏡と、該撮像信号に基づき、表示部としてのモニタ等に該体腔内の像を画像表示させるための処理を行う医療用画像処理装置とを具備して構成されている。そして、ユーザは、表示部としてのモニタ等に画像表示された体腔内の像に基づき、例えば、体腔内における被写体としての臓器等の観察を行う。
【０００３】
また、前述した構成を具備する内視鏡システムは、体腔内における被写体として、例えば、大腸等の消化管粘膜の像を撮像することもまた可能である。そのため、ユーザは、例えば、粘膜の色調、病変の形状及び粘膜表面の微細な構造等の様々な所見を総合的に観察することができる。
【０００４】
さらに、近年においては、内視鏡により撮像された被写体の像の撮像信号に応じた二次元画像のデータに基づき、該被写体の三次元モデルを生成することが可能である、例えば、特許文献１に記載されているような内視鏡装置が提案されている。
【０００５】
一方、三次元モデルにおいてポリープ等の病変部位を検出するための方法として、例えば、ＳｈａｐｅＩｎｄｅｘ及びＣｕｒｖｅｄｎｅｓｓといった、曲率に基づく形状特徴量を用いつつ該三次元モデルの形状の評価を行うことにより、該三次元モデルにおける病変部位を検出可能である、特許文献２に記載されている方法が提案されている。
【特許文献１】特開平１１−３３７８４５号公報
【特許文献２】ＵＳ Ｐａｔｅｎｔ Ａｐｐｌｉｃａｔｉｏｎ Ｎｏ．２００３０２２３６２７
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特に、内視鏡により撮像された隆起形状を有する生体組織の像としての、例えば、大腸のひだまたはポリープ等の生体組織の像を含む二次元画像は、該内視鏡の視野方向に対して不可視領域を含む場合が多い。そして、前述した二次元画像における不可視領域は、一般的にオクルージョンと呼ばれており、正確な三次元モデルの推定が困難な領域である。そのため、二次元画像のオクルージョンが発生している部分においては、例えば、該二次元画像に基づく三次元モデルの対応する位置に推定結果が存在しない、または、該二次元画像に基づく三次元モデルの対応する位置に信頼性の低い推定結果が算出されるといったことが起こり得る。
【０００７】
その結果、従来の画像処理としての、例えば、特許文献１の内視鏡装置において行われている画像処理により推定された被写体の三次元モデルが用いられつつ該被写体の観察が行われた場合、ユーザがポリープ等の病変部位を見つける際の負担が大きくなってしまうという課題が生じている。
【０００８】
また、特許文献２において提案されているポリープ等の病変部位を検出するための方法は、例えば、ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｙ）を用いた観察により得られる、オクルージョンとなる部分が発生しない三次元モデルに対する適用を想定した方法である。そのため、特許文献２において提案されているポリープ等の病変部位を検出するための方法は、例えば、内視鏡を用いた観察により得られる、オクルージョンとなる部分を有する二次元画像に基づいて推定された三次元モデルに対して適用された場合に、ポリープ等の病変部位の検出精度が低下してしまう。その結果、特許文献２において提案されている方法が採用された内視鏡システムが用いられつつ被写体の観察が行われた場合、ユーザがポリープ等の病変部位を見つける際の負担が大きくなってしまうという課題が生じている。
【０００９】
本発明は、前述した点に鑑みてなされたものであり、オクルージョンを有する二次元画像に基づいて推定された三次元モデルを用いて観察が行われる場合に、ユーザによるポリープ等の病変部位の見落としを防止可能であることにより、ユーザの負担を軽減させることのできる医療用画像処理装置及び医療用画像処理方法を提供することを目的としている。
【課題を解決するための手段】
【００１０】
本発明における第１の医療用画像処理装置は、医療用撮像装置から入力される体腔内の生体組織の像の二次元画像に基づき、該二次元画像のエッジを抽出するエッジ抽出部と、前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定部と、前記三次元モデルの一部として推定された前記エッジが存在する各ボクセルの位置に基づき、形状特徴量の算出対象となる所定のボクセル群を抽出するボクセル抽出部と、前記ボクセル抽出部により抽出された前記所定のボクセル群のうち、少なくとも一部のボクセルについて前記形状特徴量を算出する形状特徴量算出部と、前記形状特徴量に基づき、前記少なくとも一部のボクセルのうち、三次元モデルが所定の形状として推定されたボクセル群を抽出するとともに、該ボクセル群を、前記生体組織の三次元モデルにおける隆起形状を構成するボクセル群として検出する隆起形状検出部と、を有することを特徴とする。
【００１１】
本発明における第２の医療用画像処理装置は、前記第１の医療用画像処理装置において、前記所定のボクセル群は、前記エッジが存在する各ボクセルに含まれる所定の一のボクセルよりも、前記医療用撮像装置の視野方向手前側に存在するボクセル群であることを特徴とする。
【００１２】
本発明における第３の医療用画像処理装置は、前記第２の医療用画像処理装置において、前記所定の一のボクセルは、前記エッジが存在する各ボクセルのうち、前記視野方向の最も奥側に存在する一のボクセルであることを特徴とする。
【００１３】
本発明における第４の医療用画像処理装置は、前記第１乃至第３の医療用画像処理装置において、前記所定の形状は、凸型形状であることを特徴とする。
【００１４】
本発明における第５の医療用画像処理装置は、入力される体腔内の生体組織の像の二次元画像に基づき、該二次元画像のエッジを細線化して抽出するエッジ抽出部と、前記エッジ抽出部が抽出したエッジ各々について、一のエッジの端部となる位置の位置情報と、該位置情報に基づいて算出される、該一のエッジの形状に関する情報である形状情報とを取得するエッジ情報取得部と、前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定部と、前記位置情報と前記形状情報とに基づき、前記生体組織の三次元モデルの奥行に関する情報である奥行情報と、前記生体組織の三次元モデルの高さに関する情報である高さ情報とを取得する三次元モデル情報取得部と、前記奥行情報と前記高さ情報とに基づき、前記生体組織が隆起形状を有するか否かを検出する隆起形状検出部と、を有することを特徴とする。
【００１５】
本発明における第６の医療用画像処理装置は、前記第５の医療用画像処理装置において、前記形状情報は、前記一のエッジの細線における中点の位置に関する情報と、前記一のエッジの端部における２つの端点を結ぶ直線の中点の位置に関する情報とを有することを特徴とする。
【００１６】
本発明における第１の医療用画像処理方法は、医療用撮像装置から入力される体腔内の生体組織の像の二次元画像に基づき、該二次元画像のエッジを抽出するエッジ抽出ステップと、前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定ステップと、前記三次元モデルの一部として推定された前記エッジが存在する各ボクセルの位置に基づき、形状特徴量の算出対象となる所定のボクセル群を抽出するボクセル抽出ステップと、前記ボクセル抽出ステップにより抽出された前記ボクセル群のうち、少なくとも一部のボクセルについて前記形状特徴量を算出する形状特徴量算出ステップと、前記形状特徴量に基づき、前記少なくとも一部のボクセルのうち、三次元モデルが所定の形状として推定されたボクセル群を抽出するとともに、該ボクセル群を、前記生体組織の三次元モデルにおける隆起形状を構成するボクセル群として検出する隆起形状検出ステップと、を有することを特徴とする。
【００１７】
本発明における第２の医療用画像処理方法は、前記第１の医療用画像処理方法において、前記所定のボクセル群は、前記エッジが存在する各ボクセルに含まれる所定の一のボクセルよりも、前記医療用撮像装置の視野方向手前側に存在するボクセル群であることを特徴とする。
【００１８】
本発明における第３の医療用画像処理方法は、前記第２の医療用画像処理方法において、前記所定の一のボクセルは、前記エッジが存在する各ボクセルのうち、前記視野方向の最も奥側に存在する一のボクセルであることを特徴とする請求項８に記載の医療用画像処理方法。
【００１９】
本発明における第４の医療用画像処理方法は、前記第１乃至第３の医療用画像処理方法において、前記所定の形状は、凸型形状であることを特徴とする。
【００２０】
本発明における第５の医療用画像処理方法は、入力される体腔内の生体組織の像の二次元画像に基づき、該二次元画像のエッジを細線化して抽出するエッジ抽出ステップと、前記エッジ抽出ステップが抽出したエッジ各々について、一のエッジの端部となる位置の位置情報と、該位置情報に基づいて算出される、該一のエッジの形状に関する情報である形状情報とを取得するエッジ情報取得ステップと、前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定ステップと、前記位置情報と前記形状情報とに基づき、前記生体組織の三次元モデルの奥行に関する情報である奥行情報と、前記生体組織の三次元モデルの高さに関する情報である高さ情報とを取得する三次元モデル情報取得ステップと、前記奥行情報と前記高さ情報とに基づき、前記生体組織が隆起形状を有するか否かを検出する隆起形状検出ステップと、を有することを特徴とする。
【００２１】
本発明における第６の医療用画像処理方法は、前記第５の医療用画像処理方法において、前記形状情報は、前記一のエッジの細線における中点の位置に関する情報と、前記一のエッジの端部における２つの端点を結ぶ直線の中点の位置に関する情報とを有することを特徴とする。
【発明の効果】
【００２２】
本発明における医療用画像処理装置及び医療用画像処理方法によると、オクルージョンを有する二次元画像に基づいて推定された三次元モデルを用いて観察が行われる場合に、ユーザによるポリープ等の病変部位の見落としを防止可能であることにより、ユーザの負担を軽減させることができる。
【発明を実施するための最良の形態】
【００２３】
以下、図面を参照して本発明の実施の形態を説明する。
【００２４】
（第１の実施形態）
図１から図８は、本発明の第１の実施形態に係るものである。図１は、本実施形態に係る医療用画像処理装置が用いられる内視鏡システムの全体構成の一例を示す図である。図２は、図１の内視鏡が管状器官内に挿入された場合の状態を示す模式図である。図３は、図２の状態において、内視鏡により撮像される管状器官及び生体組織の像を示す模式図である。図４は、生体組織の像の二次元画像におけるエッジ部を抽出する場合に、図１の医療用画像処理装置が行う処理の手順を示すフローチャートである。図５は、生体組織の三次元モデルにおける隆起形状を検出する場合に、図１の医療用画像処理装置が行う処理の手順を示すフローチャートである。図６は、図１の医療用画像処理装置により推定された、生体組織の三次元モデルの一例を示す図である。図７は、図５のフローチャートにおいて、生体組織の三次元モデルにおける隆起形状を検出するための処理の対象となる領域の一例を示す図である。図８は、図５のフローチャートにおいて、生体組織の三次元モデルにおける隆起形状を検出するための処理の対象となる領域の、図７とは異なる例を示す図である。
【００２５】
内視鏡システム１は、図１に示すように、被写体を撮像するとともに、該被写体の像の二次元画像を出力する医療用観察装置２と、パーソナルコンピュータ等により構成され、医療用観察装置２から出力される二次元画像の映像信号に対して画像処理を行うとともに、該画像処理を行った後の映像信号を画像信号として出力する医療用画像処理装置３と、医療用画像処理装置３から出力される画像信号に基づく画像を表示するモニタ４とを有して要部が構成されている。
【００２６】
また、医療用観察装置２は、体腔内に挿入されるとともに、該体腔内の被写体を撮像して撮像信号として出力する内視鏡６と、内視鏡６により撮像される被写体を照明するための照明光を供給する光源装置７と、内視鏡６に対する各種制御を行うとともに、内視鏡６から出力される撮像信号に対して信号処理を行い、二次元画像の映像信号として出力するカメラコントロールユニット（以降、ＣＣＵと略記する）８と、ＣＣＵ８から出力される二次元画像の映像信号に基づき、内視鏡６により撮像された被写体の像を画像表示するモニタ９とを有して要部が構成されている。
【００２７】
医療用撮像装置としての内視鏡６は、体腔内に挿入される挿入部１１と、挿入部１１の基端側に設けられた操作部１２とを有して構成されている。また、挿入部１１内の基端側から、挿入部１１内の先端側の先端部１４にかけての部分には、光源装置７から供給される照明光を伝送するためのライトガイド１３が挿通されている。
【００２８】
ライトガイド１３は、先端側が内視鏡６の先端部１４に配置されるとともに、後端側が光源装置７に接続される。ライトガイド１３がこのような構成を有することにより、光源装置７から供給される照明光は、ライトガイド１３により伝送された後、挿入部１１の先端部１４の先端面に設けられた、図示しない照明窓から出射される。そして、図示しない照明窓から照明光が出射されることにより、被写体としての生体組織等が照明される。
【００２９】
内視鏡６の先端部１４には、図示しない照明窓に隣接する図示しない観察窓に取り付けられた対物光学系１５と、対物光学系１５の結像位置に配置され、例えば、ＣＣＤ（電荷結合素子）等により構成される撮像素子１６とを有する撮像部１７が設けられている。このような構成により、対物光学系１５により結像された被写体の像は、撮像素子１６により撮像された後、撮像信号として出力される。
【００３０】
撮像素子１６は、信号線を介してＣＣＵ８に接続されている。そして、撮像素子１６は、ＣＣＵ８から出力される駆動信号に基づいて駆動するとともに、ＣＣＵ８に対して撮像信号を出力する。
【００３１】
また、ＣＣＵ８に入力された撮像信号は、ＣＣＵ８の内部に設けられた図示しない信号処理回路において信号処理されることにより、二次元画像の映像信号として変換されて出力される。ＣＣＵ８から出力された二次元画像の映像信号は、モニタ９及び医療用画像処理装置３に対して出力される。これにより、モニタ９には、ＣＣＵ８から出力される映像信号に基づく被写体の像が二次元の画像として表示される。
【００３２】
医療用画像処理装置３は、医療用観察装置２から出力される二次元画像の映像信号に対し、Ａ／Ｄ変換を行って出力する画像入力部２１と、画像入力部２１から出力される映像信号に対して画像処理を行う、中央演算処理装置としてのＣＰＵ２２と、該画像処理に関する処理プログラムが書き込まれた処理プログラム記憶部２３と、画像入力部２１から出力される映像信号等を記憶する画像記憶部２４と、ＣＰＵ２２の画像処理結果としての画像データ等を記憶する情報記憶部２５とを有する。
【００３３】
また、医療用画像処理装置３は、記憶装置インターフェース２６と、記憶装置インターフェース２６を介してＣＰＵ２２の画像処理結果としての画像データ等を記憶する、記憶装置としてのハードディスク２７と、ＣＰＵ２２の画像処理結果としての画像データに基づき、該画像データをモニタ４に画像表示するための表示処理を行うとともに、該表示処理を行った後の画像データを画像信号として出力する表示処理部２８と、ＣＰＵ２２が行う画像処理におけるパラメータ及び医療用画像処理装置３に対する操作指示をユーザが入力可能な、キーボード等により構成される入力操作部２９とを有する。そして、モニタ４は、表示処理部２８から出力される画像信号に基づく画像を表示する。
【００３４】
なお、医療用画像処理装置３の画像入力部２１、ＣＰＵ２２、処理プログラム記憶部２３、画像記憶部２４、情報記憶部２５、記憶装置インターフェース２６、表示処理部２８及び入力操作部２９は、データバス３０を介して相互に接続されている。
【００３５】
次に、内視鏡システム１の作用について説明を行う。
【００３６】
まず、ユーザは、図２に示すように、例えば、大腸等である管状器官３１内に内視鏡６の挿入部１１を挿入する。そして、ユーザにより挿入部１１が管状器官３１に挿入されると、例えば、管状器官３１の内壁に存在する病変部位である生体組織３１Ａの像が、先端部１４に設けられた撮像部１７により、図３に示すような像として撮像される。そして、図３に示すような像として撮像部１７により撮像された、管状器官３１及び生体組織３１Ａの像は、撮像信号としてＣＣＵ８に対して出力される。
【００３７】
ＣＣＵ８は、図示しない信号処理回路において、撮像部１７の撮像素子１６から出力される撮像信号に対して信号処理を行うことにより、該撮像信号を二次元画像の映像信号として変換して出力する。そして、モニタ９は、ＣＣＵ８から出力される映像信号に基づき、管状器官３１及び生体組織３１Ａの像を、例えば、図３に示すような二次元の画像として表示する。また、ＣＣＵ８は、撮像部１７の撮像素子１６から出力される撮像信号に対して信号処理を行うことにより得られた二次元画像の映像信号を、医療用画像処理装置３に対して出力する。
【００３８】
医療用画像処理装置３に対して出力された二次元画像の映像信号は、画像入力部２１においてＡ／Ｄ変換された後、ＣＰＵ２２に入力される。
【００３９】
ＣＰＵ２２は、画像入力部２１から出力された二次元画像の映像信号と、処理プログラム記憶部２３に書き込まれた処理プログラムとに基づき、例えば、以降に述べるような処理を行うことにより、該二次元画像における生体組織３１Ａのエッジ部を抽出する。
【００４０】
まず、エッジ抽出部としての機能を有するＣＰＵ２２は、画像入力部２１から出力された二次元画像の映像信号に基づき、例えば、該二次元画像の赤色成分に対してバンドパスフィルタを適用することにより、該二次元画像に含まれる全てのエッジ部を抽出する（図４のステップＳ１）。
【００４１】
その後、エッジ抽出部としての機能を有するＣＰＵ２２は、抽出した全てのエッジ部を細線化する（図４のステップＳ２）とともに、細線化した該全てのエッジ部のうち、一のエッジ部Ｅの長さＬを算出する（図４のステップＳ３）。さらに、ＣＰＵ２２は、一のエッジ部Ｅの長さＬが、閾値ｔｈＬ１より長く、かつ、閾値ｔｈＬ２より短いか否かの判断を行う。
【００４２】
そして、ＣＰＵ２２は、一のエッジ部Ｅの長さＬが、所定の閾値ｔｈＬ１以下の長さであること、または、閾値ｔｈＬ２以上であることを検出した場合（図４のステップＳ４）、後述する図４のステップＳ１１に示す処理を行う。また、ＣＰＵ２２は、一のエッジ部Ｅの長さＬが、閾値ｔｈＬ１より長く、かつ、閾値ｔｈＬ２より短いことを検出した場合（図４のステップＳ４）、該一のエッジ部Ｅを制御点Ｃｎ（ｎ＝１，２，…，Ｎ）によりＮ等分する（図４のステップＳ５）。
【００４３】
さらに、ＣＰＵ２２は、一のエッジ部Ｅの中点Ｃｃから引いた法線ＮＣｃを取得するとともに、各制御点Ｃｎから引いたＮ本の法線ＮＣｎを取得する（図４のステップＳ６）。その後、ＣＰＵ２２は、Ｎ本の法線ＮＣｎのうち、法線ＮＣｃと交わるものの本数Ｎａを検出する（図４のステップＳ７）。
【００４４】
また、ＣＰＵ２２は、Ｎ本の法線ＮＣｎのうち、法線ＮＣｃと交わるものの本数Ｎａが、閾値ｔｈａより多いか否かの判断を行う。そして、ＣＰＵ２２は、法線ＮＣｃと交わるものの本数Ｎａが閾値ｔｈａより多いことを検出した場合（図４のステップＳ８）、一のエッジ部Ｅに含まれるピクセル群ｉｐを生体組織３１Ａのエッジ部に含まれるピクセル群であると判断し、該ピクセル群ｉｐが有する各ピクセルにおける変数ｅｄｇｅ（ｉ）の値をＯＮとする（図４のステップＳ９）。さらに、そして、ＣＰＵ２２は、法線ＮＣｃと交わるものの本数Ｎａが閾値ｔｈａ以下であることを検出した場合（図４のステップＳ８）、一のエッジ部Ｅに含まれるピクセル群ｉｐを生体組織３１Ａのエッジ部に含まれるピクセル群ではないと判断し、該ピクセル群ｉｐが有する各ピクセルにおける変数ｅｄｇｅ（ｉ）の値をＯＦＦとする（図４のステップＳ１０）。
【００４５】
ＣＰＵ２２は、抽出した全てのエッジ部に対し、処理が完了したか否かを判断する。そして、ＣＰＵ２２は、抽出した全てのエッジ部に対しての処理が完了していないことを検出した場合（図４のステップＳ１１）、他の一のエッジ部に対し、前述した、図４のステップＳ３から図４のステップＳ１０までの処理を行う。また、ＣＰＵ２２は、抽出した全てのエッジ部に対しての処理が完了したことを検出した場合（図４のステップＳ１１）、二次元画像における生体組織３１Ａのエッジ部を抽出するための一連の処理を終了する。
【００４６】
その後、ＣＰＵ２２は、前述した、二次元画像における生体組織３１Ａのエッジ部を抽出するための一連の処理を行うことにより得た処理結果としての、二次元画像の各エッジ部に含まれるピクセル群ｉｐにおける変数ｅｄｇｅ（ｉ）の値を、情報記憶部２５に一時的に記憶させる。
【００４７】
そして、三次元モデル推定部としての機能を有するＣＰＵ２２は、例えば、幾何学的な変換等の処理により、画像入力部２１から出力された二次元画像の映像信号の輝度情報等に基づき、管状器官３１及び生体組織３１Ａの三次元モデルを推定する際に必要となる画像データを取得するための画像処理を行う。換言すると、ＣＰＵ２２は、例えば、幾何学的な変換等の処理により、二次元画像における各ピクセルに対応するボクセルを生成するとともに、該ボクセルを、三次元モデルを推定するための画像データとして取得する。すなわち、ピクセル群ｉｐは、前述した処理によりボクセル群ｉｂとして変換される。
【００４８】
ＣＰＵ２２は、前述した処理により、図３に示した生体組織３１Ａの三次元モデルを推定するための画像データとして、変数ｅｄｇｅ（ｉ）がＯＮであるボクセル群ｉｂを含む平面である生体組織境界部３１ｂのデータを得る。これにより、生体組織３１Ａは、例えば、ｚ軸方向を内視鏡６による観察時の視野方向とした場合、図６に示すような形状を有する三次元モデルとして推定される。
【００４９】
その後、ＣＰＵ２２は、生体組織境界部３１ｂのデータに基づき、さらに、以降に述べるような処理を行うことにより、生体組織３１Ａの三次元モデルにおける隆起形状を検出する。
【００５０】
まず、ＣＰＵ２２は、処理プログラム記憶部２３に書き込まれた処理プログラムと、生体組織境界部３１ｂのデータとに基づき、変数ｅｄｇｅ（ｉ）がＯＮであるボクセル群ｉｂのうち、内視鏡６の視野方向の最も奥側に存在する所定の一のボクセルとして、ｚ座標が最大である一のボクセルを抽出するとともに、該一のボクセルのｚ座標をＭａｘｚとして設定する（図５のステップＳ２１）。
【００５１】
そして、ＣＰＵ２２は、管状器官３１及び生体組織３１Ａの三次元モデルを推定するための画像データとして得た全てのボクセルのうち、前記一のボクセルの位置よりも内視鏡６の視野方向手前側に存在するボクセルとして、ｚ座標がＭａｘｚよりも小さいボクセル群ｒｂを検出する（図５のステップＳ２２）。
【００５２】
なお、前述したボクセル群ｒｂは、図７に示す、隆起形状検出対象領域ＡＲ内に含まれるボクセル群、すなわち、形状特徴量の算出対象となるボクセル群であるとともに、Ｒ個のボクセルを有するボクセル群であるとする。
【００５３】
また、前述した、図５のステップＳ２１及びＳ２２の処理を換言すると、ボクセル抽出部としての機能を有するＣＰＵ２２は、変数ｅｄｇｅ（ｉ）がＯＮであるボクセル群ｉｂが有する各ボクセルの位置に基づき、隆起形状検出対象領域ＡＲ内に含まれる、Ｒ個のボクセルを有するボクセル群ｒｂを、形状特徴量の算出対象となる所定のボクセル群として抽出する。
【００５４】
さらに、形状特徴量算出部としての機能を有するＣＰＵ２２は、変数ａを１に設定した（図５のステップＳ２３）後、ボクセル群ｒｂが有するＲ個のボクセルのうち、一のボクセルであるＢａ（ａ＝１，２，…，Ｒ−１，Ｒ）を抽出するとともに（図５のステップＳ２４）、該一のボクセルＢａにおける形状特徴量として、ＳｈａｐｅＩｎｄｅｘ値ＳＢａ及びＣｕｒｖｅｄｎｅｓｓ値ＣＢａを算出する（図５のステップＳ２５）。
【００５５】
なお、前述したＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値は、例えば、ＵＳ Ｐａｔｅｎｔ Ａｐｐｌｉｃａｔｉｏｎ Ｎｏ．２００３０２２３６２７に記載されている方法と同様の方法を用いることにより算出可能である。そのため、本実施形態においては、一のボクセルＢａにおけるＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値の算出方法に関しては、説明を省略する。
【００５６】
また、ＣＰＵ２２は、ＳｈａｐｅＩｎｄｅｘ値ＳＢａと、予め設定されたＳｈａｐｅＩｎｄｅｘ値の閾値Ｓｔｈとの比較を行うとともに、Ｃｕｒｖｅｄｎｅｓｓ値ＣＢａと、予め設定されたＣｕｒｖｅｄｎｅｓｓ値の閾値Ｃｔｈとの比較を行う。換言すると、隆起形状検出部としての機能を有するＣＰＵ２２は、前述した処理を行うことにより、生体組織３１Ａが隆起形状であるか否かを検出するための処理として、三次元モデルが凸型形状と推定されたボクセル群を抽出する処理を行う。なお、図５に示す一連の処理においては、隆起形状として凸型形状を有する生体組織３１Ａを検出するために、例えば、閾値Ｓｔｈは０．９として設定されているとし、また、閾値Ｃｔｈは０．２として設定されているとする。
【００５７】
そして、隆起形状検出部としての機能を有するＣＰＵ２２は、ＳｈａｐｅＩｎｄｅｘ値ＳＢａが閾値Ｓｔｈより大きく、かつ、Ｃｕｒｖｅｄｎｅｓｓ値ＣＢａが閾値Ｃｔｈより大きいことを検出した場合（図５のステップＳ２６）、一のボクセルＢａを隆起形状の一部を構成するボクセルであると判断し、該一のボクセルＢａにおける変数ｒｙｕｕｋｉ（Ｂａ）の値をＯＮとする（図５のステップＳ２７）。
【００５８】
また、ＣＰＵ２２は、ＳｈａｐｅＩｎｄｅｘ値ＳＢａが閾値Ｓｔｈ以下であること、または、Ｃｕｒｖｅｄｎｅｓｓ値ＣＢａが閾値Ｃｔｈ以下であることを検出した場合（図５のステップＳ２６）、一のボクセルＢａを隆起形状の一部を構成するボクセルではないと判断し、該一のボクセルＢａにおける変数ｒｙｕｕｋｉ（Ｂａ）の値をＯＦＦとする（図５のステップＳ２８）。
【００５９】
その後、ＣＰＵ２２は、Ｒ個のボクセル全てにおいて、前述した処理が行われたかどうか、すなわち、変数ａ＝Ｒであるか否かの判定を行う。
【００６０】
そして、ＣＰＵ２２は、ａ＝Ｒではないことを検知した場合（図５のステップＳ２９）、変数ｉに１を加える処理を行った（図５のステップＳ３０）後、前述した、図５のステップＳ２４からステップＳ２９に示す処理を再度行う。
【００６１】
また、ＣＰＵ２２は、ａ＝Ｒであることを検知した場合（図５のステップＳ２９）、生体組織３１Ａの三次元モデルにおける隆起形状を検出するための一連の処理を完了する。
【００６２】
そして、ＣＰＵ２２は、例えば、ｒｙｕｕｋｉ（Ｂａ）の値がＯＮであるボクセルを有する三次元モデルにおいて、生体組織３１Ａが隆起形状であることを示すための文字列または着色等を該三次元モデルに重畳させるような制御を表示処理部２８に対して行う。これにより、モニタ４には、隆起形状を有する生体組織３１Ａをユーザが容易に発見可能であるような、管状器官３１及び生体組織３１Ａの三次元モデルが画像表示される。
【００６３】
また、ＣＰＵ２２は、ｒｙｕｕｋｉ（Ｂａ）の値がＯＮである各ボクセルの位置に基づき、該各ボクセルの位置に対応する位置に存在する二次元画像上の各ピクセルを検出するとともに、生体組織３１Ａが隆起形状であることを示すための文字列または着色等を、該各ピクセルを有する該二次元画像に重畳させるような制御を表示処理部２８に対して行うものであっても良い。
【００６４】
なお、前述した一連の処理において、隆起形状検出対象領域ＡＲは、ｚ座標がＭａｘｚよりも小さいボクセル群を含む領域として定められるものに限らず、例えば、図８に示すように、生体組織境界部３１ｂ近傍に存在するボクセル群のみを含む領域として定められるものであっても良い。
【００６５】
本実施形態の医療用画像処理装置３は、以上に述べた一連の処理を行うことにより、ユーザによるポリープ等の病変部位の見落としを防止可能であることにより、ユーザの負担を軽減させることができる。
【００６６】
また、本実施形態の医療用画像処理装置３は、前述した、生体組織３１Ａの隆起形状を検出するための処理を、三次元モデルにおける隆起形状検出対象領域ＡＲ内に含まれるボクセル群に対してのみ行う。そのため、本実施形態の医療用画像処理装置３は、生体組織３１Ａの隆起形状の検出を高速に行うことができる。
【００６７】
（第２の実施形態）
図９から図１５は、本発明の第２の実施形態に係るものである。なお、第１の実施形態と同様の構成を持つ部分については、詳細説明は省略する。また、第１の実施形態と同様の構成要素については、同一の符号を用いて説明は省略する。さらに、本実施形態に用いる内視鏡システム１の構成は、第１の実施形態と同様である。
【００６８】
図９は、図１の医療用画像処理装置が第２の実施形態において行う処理の手順の概要を示すフローチャートである。図１０は、図９における注目点抽出処理の具体的な手順を示すフローチャートである。図１１は、図９における隆起形状検出処理の具体的な手順を示すフローチャートである。図１２は、図１の医療用画像処理装置が第２の実施形態の処理を行うことにより、生体組織のエッジ部を含む二次元画像が細線化された場合の一例を示す図である。図１３は、図１２の細線化された二次元画像における、各注目点の位置関係の一例を示す図である。図１４は、図１の医療用画像処理装置が第２の実施形態の処理を行うことにより得る、生体組織の三次元モデルにおける各注目点の位置関係の一例を示す図である。図１５は、図１の医療用画像処理装置が第２の実施形態の処理を行うことにより得る、生体組織の三次元モデルにおける各注目点の位置関係の、図１４とは異なる一例を示す図である。
【００６９】
まず、エッジ抽出部としての機能を有するＣＰＵ２２は、画像入力部２１から出力される、管状器官３１及び生体組織３１Ａが撮像された二次元画像の映像信号に基づき、例えば、該二次元画像の赤色成分に対してバンドパスフィルタを適用することにより、該二次元画像に含まれる全てのエッジ部を抽出する（図９のステップＳ３１）。
【００７０】
その後、エッジ抽出部としての機能を有するＣＰＵ２２は、抽出した全てのエッジ部を２値化及び細線化する（図９のステップＳ３２）とともに、細線化された二次元画像における注目点抽出処理を行う（図９のステップＳ３３）。
【００７１】
具体的には、エッジ部が細線化された二次元画像として、例えば、図１２に示すような生体組織３１Ａの一のエッジ部Ｅ１が含まれている画像を取得した場合、まず、エッジ情報取得部としての機能を有するＣＰＵ２２は、該一のエッジ部Ｅ１の細線における、一のエッジの端部となる位置の位置情報として、端点Ｋ１及びＫ２を取得する（図１０のステップＳ３３１）。
【００７２】
次に、エッジ情報取得部としての機能を有するＣＰＵ２２は、一のエッジ部Ｅ１の形状に関する形状情報として、該一のエッジ部Ｅ１の細線の線分長ＬＥ１を算出する（図１０のステップＳ３３２）とともに、ＬＥ１×１／２となる中点ＫＥを取得する（図１０のステップＳ３３３）。
【００７３】
また、エッジ情報取得部としての機能を有するＣＰＵ２２は、一のエッジ部Ｅ１の形状に関する形状情報として、端点Ｋ１と端点Ｋ２とを結ぶ直線Ｆ１を抽出し、該直線の長さＬＦ１を算出する（図１０のステップＳ３３４）とともに、ＬＦ１×１／２となる中点ＫＦを取得する（図１０のステップＳ３３５）。
【００７４】
そして、ＣＰＵ２２は、端点Ｋ１、端点Ｋ２、中点ＫＥ及び中点ＫＦを、一のエッジ部Ｅ１における注目点として抽出する（図１０のステップＳ３３６）。なお、一のエッジ部Ｅ１における端点Ｋ１、端点Ｋ２、中点ＫＥ及び中点ＫＦは、例えば、各々が図１３に示すような位置関係を有する注目点として抽出される。
【００７５】
ＣＰＵ２２は、抽出した全てのエッジ部に対し、処理が完了したか否かを判断する。そして、ＣＰＵ２２は、抽出した全てのエッジ部に対しての処理が完了していないことを検出した場合（図１０のステップＳ３３７）、他の一のエッジ部に対し、前述した、図１０のステップＳ３３１から図１０のステップＳ３３６までの処理を行う。また、ＣＰＵ２２は、抽出した全てのエッジ部に対しての処理が完了したことを検出した場合（図１０のステップＳ３３７）、二次元画像における注目点抽出処理を終了する。
【００７６】
そして、ＣＰＵ２２は、前述した、二次元画像における注目点抽出処理を行うことにより得た処理結果として、該二次元画像の各エッジ部が有する注目点である、端点Ｋ１、端点Ｋ２、中点ＫＥ及び中点ＫＦのデータを、情報記憶部２５に一時的に記憶させる。
【００７７】
三次元モデル推定部としての機能を有するＣＰＵ２２は、二次元画像における注目点抽出処理を行った後、例えば、幾何学的な変換等の処理により、画像入力部２１から出力された二次元画像の映像信号の輝度情報等に基づき、管状器官３１及び生体組織３１Ａの三次元モデルを推定する際に必要となる画像データを取得するための画像処理を行う（図９のステップＳ３４）。換言すると、ＣＰＵ２２は、例えば、幾何学的な変換等の処理により、二次元画像における各ピクセルに対応するボクセルを生成するとともに、該ボクセルを、三次元モデルを推定するための画像データとして取得する。
【００７８】
さらに、ＣＰＵ２２は、情報記憶部２５に記憶されている各注目点のデータである、端点Ｋ１、端点Ｋ２、中点ＫＥ及び中点ＫＦのデータに基づき、生体組織３１Ａの一のエッジ部Ｅ１の三次元モデルにおける該各注目点の座標を推定する（図９のステップＳ３５）。なお、一のエッジ部Ｅ１の三次元モデルにおける端点Ｋ１、端点Ｋ２、中点ＫＥ及び中点ＫＦは、前述した処理により、例えば、各々が図１４に示すような位置関係を有するとして推定される。
【００７９】
そして、ＣＰＵ２２は、前述した処理により推定された各注目点の座標に基づき、さらに、以降に述べるような隆起形状検出処理を行うことにより、生体組織３１Ａの三次元モデルにおける隆起形状を検出する（図９のステップＳ３６）。
【００８０】
具体的には、まず、三次元モデル情報取得部としての機能を有するＣＰＵ２２は、生体組織３１Ａの三次元モデルにおける奥行情報として、一のエッジ部Ｅ１の三次元モデルにおける、中点ＫＦのｚ座標ＫＦｚと、端点Ｋ１のｚ座標Ｋ１ｚと、端点Ｋ２のｚ座標Ｋ２ｚとを抽出する（図１１のステップＳ３６１）。
【００８１】
次に、隆起形状検出部としての機能を有するＣＰＵ２２は、中点ＫＦのｚ座標ＫＦｚの値と、端点Ｋ１のｚ座標Ｋ１ｚの値及び端点Ｋ２のｚ座標Ｋ２ｚの値との比較を行う。そして、ＣＰＵ２２は、中点ＫＦのｚ座標ＫＦｚの値が端点Ｋ１のｚ座標Ｋ１ｚの値よりも小さく、かつ、中点ＫＦのｚ座標ＫＦｚの値が端点Ｋ２のｚ座標Ｋ２ｚの値よりも小さいことを検出した場合（図１１のステップＳ３６２）、後述する、図１１のステップＳ３６３に示す処理をさらに行う。また、ＣＰＵ２２は、中点ＫＦのｚ座標ＫＦｚの値が端点Ｋ１のｚ座標Ｋ１ｚの値以上であるか、または、中点ＫＦのｚ座標ＫＦｚの値が端点Ｋ２のｚ座標Ｋ２ｚの値以上であることを検出した場合（図１１のステップＳ３６２）、生体組織３１Ａの一のエッジ部Ｅ１を、隆起形状を構成するエッジ部ではないと判断し、後述する、図１１のステップＳ３６７に示す処理を行う。
【００８２】
三次元モデル情報取得部としての機能を有するＣＰＵ２２は、中点ＫＦのｚ座標ＫＦｚの値が端点Ｋ１のｚ座標Ｋ１ｚの値よりも小さく、かつ、中点ＫＦのｚ座標ＫＦｚの値が端点Ｋ２のｚ座標Ｋ２ｚの値よりも小さいことを検出した場合（図１１のステップＳ３６２）、三次元モデルにおける端点Ｋ１と端点Ｋ２とを結ぶ直線Ｆ２を抽出するとともに、三次元モデルにおける中点ＫＥと該直線Ｆ２とを結ぶ直線である垂直線Ｆ３を取得する（図１１のステップＳ３６３）。その後、ＣＰＵ２２は、生体組織３１Ａの三次元モデルにおける高さ情報として、垂直線Ｆ３の線分長ＬＦ３を取得する（図１１のステップＳ３６４）とともに、該線分長ＬＦ３と、該線分長ＬＦ３の閾値ｔｈＬＦ３との比較を行う。
【００８３】
そして、隆起形状検出部としての機能を有するＣＰＵ２２は、線分長ＬＦ３の値が閾値ｔｈＬＦ３よりも大きいことを検出した場合（図１１のステップＳ３６５）、生体組織３１Ａの一のエッジ部Ｅ１を、隆起形状を構成するエッジ部であると判断するとともに、該一のエッジ部Ｅ１が有するボクセル群全てにおける変数ｒｙｕｕｋｉ（Ｅ１）の値をＯＮとする（図１１のステップＳ３６６）。また、ＣＰＵ２２は、線分長ＬＦ３の値が閾値ｔｈＬＦ３以下であることを検出した場合（図１１のステップＳ３６５）、生体組織３１Ａの一のエッジ部Ｅ１を、隆起形状を構成するエッジ部ではないと判断するとともに、該一のエッジ部Ｅ１が有するボクセル群全てにおける変数ｒｙｕｕｋｉ（Ｅ１）の値をＯＦＦとする（図１１のステップＳ３６７）。
【００８４】
ＣＰＵ２２は、抽出した全てのエッジ部に対し、処理が完了したか否かを判断する。そして、ＣＰＵ２２は、抽出した全てのエッジ部に対しての処理が完了していないことを検出した場合（図１１のステップＳ３６８）、他の一のエッジ部に対し、前述した、図１１のステップＳ３６１から図１１のステップＳ３６７までの処理を行う。また、ＣＰＵ２２は、抽出した全てのエッジ部に対しての処理が完了したことを検出した場合（図１１のステップＳ３６８）、生体組織３１Ａの三次元モデルにおける隆起形状検出処理を終了する。
【００８５】
そして、ＣＰＵ２２は、前述した、図１１に示す隆起形状検出処理が終了した時点において、図９に示す一連の画像処理を完了する。
【００８６】
なお、前述した隆起形状検出処理の、図１１のステップＳ３６２に示す処理において、ＣＰＵ２２は、各注目点のｚ座標の値に基づく比較及び判断を行うものに限らず、例えば、以降に記すような、各注目点の赤色成分値に基づく比較及び判断を行うものであっても良い。
【００８７】
具体的には、まず、ＣＰＵ２２は、中点ＫＦにおける赤色成分値ＲＫＦと、端点Ｋ１における赤色成分値ＲＫ１と、端点Ｋ２における赤色成分値ＲＫ２とを抽出する。そして、ＣＰＵ２２は、中点ＫＦにおける赤色成分値ＲＫＦが端点Ｋ１における赤色成分値ＲＫ１よりも大きく、かつ、中点ＫＦにおける赤色成分値ＲＫＦが端点Ｋ２における赤色成分値ＲＫ２よりも大きいことを検出した場合、前述した、図１１のステップＳ３６３の処理をさらに行う。また、ＣＰＵ２２は、中点ＫＦにおける赤色成分値ＲＫＦが端点Ｋ１における赤色成分値ＲＫ１以下であるか、または、中点ＫＦにおける赤色成分値ＲＫＦが端点Ｋ２における赤色成分値ＲＫ２以下であることを検出した場合、生体組織３１Ａの一のエッジ部Ｅ１を、隆起形状を構成するエッジ部ではないと判断し、前述した、図１１のステップＳ３６７の処理を行う。
【００８８】
そして、ＣＰＵ２２は、例えば、ｒｙｕｕｋｉ（Ｅ１）の値がＯＮであるボクセルを有する三次元モデルにおいて、生体組織３１Ａが隆起形状であることを示すための文字列または着色等を該三次元モデルに重畳させるような制御を表示処理部２８に対して行う。これにより、モニタ４には、隆起形状を有する生体組織３１Ａをユーザが容易に発見可能であるような、管状器官３１及び生体組織３１Ａの三次元モデルが画像表示される。
【００８９】
また、ＣＰＵ２２は、ｒｙｕｕｋｉ（Ｅ１）の値がＯＮである各ボクセルの位置に基づき、該各ボクセルの位置に対応する位置に存在する二次元画像上の各ピクセルを検出するとともに、生体組織３１Ａが隆起形状であることを示すための文字列または着色等を、該各ピクセルを有する該二次元画像に重畳させるような制御を表示処理部２８に対して行うものであっても良い。
【００９０】
本実施形態の医療用画像処理装置３は、以上に述べた一連の処理を行うことにより、ユーザによるポリープ等の病変部位の見落としを防止可能であることにより、ユーザの負担を軽減させることができる。
【００９１】
また、本実施形態の医療用画像処理装置３は、前述した、生体組織３１Ａが隆起形状であるか否かを、隆起形状特有の値を算出しつつ定量的に検出する。そのため、本実施形態の医療用画像処理装置３は、生体組織３１Ａの隆起形状の検出を精度良く行うことができる。
【００９２】
なお、本発明は、上述した実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
【図面の簡単な説明】
【００９３】
【図１】本発明の各実施形態に係る医療用画像処理装置が用いられる内視鏡システムの全体構成の一例を示す図。
【図２】図１の内視鏡が管状器官内に挿入された場合の状態を示す模式図。
【図３】図２の状態において、内視鏡により撮像される管状器官及び生体組織の像を示す模式図。
【図４】生体組織の像の二次元画像におけるエッジ部を抽出する場合に、図１の医療用画像処理装置が第１の実施形態において行う処理の手順を示すフローチャート。
【図５】生体組織の三次元モデルにおける隆起形状を検出する場合に、図１の医療用画像処理装置が第１の実施形態において行う処理の手順を示すフローチャート。
【図６】図１の医療用画像処理装置により推定された、生体組織の三次元モデルの一例を示す図。
【図７】図５のフローチャートにおいて、生体組織の三次元モデルにおける隆起形状を検出するための処理の対象となる領域の一例を示す図。
【図８】図５のフローチャートにおいて、生体組織の三次元モデルにおける隆起形状を検出するための処理の対象となる領域の、図７とは異なる例を示す図。
【図９】図１の医療用画像処理装置が第２の実施形態において行う処理の手順の概要を示すフローチャート。
【図１０】図９における注目点抽出処理の具体的な手順を示すフローチャート。
【図１１】図９における隆起形状検出処理の具体的な手順を示すフローチャート。
【図１２】図１の医療用画像処理装置が第２の実施形態の処理を行うことにより、生体組織のエッジ部を含む二次元画像が細線化された場合の一例を示す図。
【図１３】図１２の細線化された二次元画像における、各注目点の位置関係の一例を示す図。
【図１４】図１の医療用画像処理装置が第２の実施形態の処理を行うことにより得る、生体組織の三次元モデルにおける各注目点の位置関係の一例を示す図。
【図１５】図１の医療用画像処理装置が第２の実施形態の処理を行うことにより得る、生体組織の三次元モデルにおける各注目点の位置関係の、図１４とは異なる一例を示す図。
【符号の説明】
【００９４】
１・・・内視鏡システム、２・・・医療用観察装置、３・・・医療用画像処理装置、４，９・・・モニタ、６・・・内視鏡、７・・・光源装置、１１・・・挿入部、１２・・・操作部、１３・・・ライトガイド、１４・・・先端部、１５・・・対物光学系、１６・・・撮像素子、１７・・・撮像部、２１・・・画像入力部、２３・・・処理プログラム記憶部、２４・・・画像記憶部、２５・・・情報記憶部、２６・・・記憶装置インターフェース、２７・・・ハードディスク、２８・・・表示処理部、２９・・・入力操作部、３０・・・データバス、３１・・・管状器官、３１Ａ・・・生体組織、３１ｂ・・・生体組織境界部
【特許請求の範囲】
【請求項１】
医療用撮像装置から入力される体腔内の生体組織の像の二次元画像に基づき、該二次元画像のエッジを抽出するエッジ抽出部と、
前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定部と、
前記三次元モデルの一部として推定された前記エッジが存在する各ボクセルの位置に基づき、形状特徴量の算出対象となる所定のボクセル群を抽出するボクセル抽出部と、
前記ボクセル抽出部により抽出された前記所定のボクセル群のうち、少なくとも一部のボクセルについて前記形状特徴量を算出する形状特徴量算出部と、
前記形状特徴量に基づき、前記少なくとも一部のボクセルのうち、三次元モデルが所定の形状として推定されたボクセル群を抽出するとともに、該ボクセル群を、前記生体組織の三次元モデルにおける隆起形状を構成するボクセル群として検出する隆起形状検出部と、
を有することを特徴とする医療用画像処理装置。
【請求項２】
前記所定のボクセル群は、前記エッジが存在する各ボクセルに含まれる所定の一のボクセルよりも、前記医療用撮像装置の視野方向手前側に存在するボクセル群であることを特徴とする請求項１に記載の医療用画像処理装置。
【請求項３】
前記所定の一のボクセルは、前記エッジが存在する各ボクセルのうち、前記視野方向の最も奥側に存在する一のボクセルであることを特徴とする請求項２に記載の医療用画像処理装置。
【請求項４】
前記所定の形状は、凸型形状であることを特徴とする請求項１乃至請求項３のいずれか一に記載の医療用画像処理装置。
【請求項５】
入力される体腔内の生体組織の像の二次元画像に基づき、該二次元画像のエッジを細線化して抽出するエッジ抽出部と、
前記エッジ抽出部が抽出したエッジ各々について、一のエッジの端部となる位置の位置情報と、該位置情報に基づいて算出される、該一のエッジの形状に関する情報である形状情報とを取得するエッジ情報取得部と、
前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定部と、
前記位置情報と前記形状情報とに基づき、前記生体組織の三次元モデルの奥行に関する情報である奥行情報と、前記生体組織の三次元モデルの高さに関する情報である高さ情報とを取得する三次元モデル情報取得部と、
前記奥行情報と前記高さ情報とに基づき、前記生体組織が隆起形状を有するか否かを検出する隆起形状検出部と、
を有することを特徴とする医療用画像処理装置。
【請求項６】
前記形状情報は、前記一のエッジの細線における中点の位置に関する情報と、前記一のエッジの端部における２つの端点を結ぶ直線の中点の位置に関する情報とを有することを特徴とする請求項５に記載の医療用画像処理装置。
【請求項７】
医療用撮像装置から入力される体腔内の生体組織の像の二次元画像に基づき、該二次元画像のエッジを抽出するエッジ抽出ステップと、
前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定ステップと、
前記三次元モデルの一部として推定された前記エッジが存在する各ボクセルの位置に基づき、形状特徴量の算出対象となる所定のボクセル群を抽出するボクセル抽出ステップと、
前記ボクセル抽出ステップにより抽出された前記ボクセル群のうち、少なくとも一部のボクセルについて前記形状特徴量を算出する形状特徴量算出ステップと、
前記形状特徴量に基づき、前記少なくとも一部のボクセルのうち、三次元モデルが所定の形状として推定されたボクセル群を抽出するとともに、該ボクセル群を、前記生体組織の三次元モデルにおける隆起形状を構成するボクセル群として検出する隆起形状検出ステップと、
を有することを特徴とする医療用画像処理方法。
【請求項８】
前記所定のボクセル群は、前記エッジが存在する各ボクセルに含まれる所定の一のボクセルよりも、前記医療用撮像装置の視野方向手前側に存在するボクセル群であることを特徴とする請求項７に記載の医療用画像処理方法。
【請求項９】
前記所定の一のボクセルは、前記エッジが存在する各ボクセルのうち、前記視野方向の最も奥側に存在する一のボクセルであることを特徴とする請求項８に記載の医療用画像処理方法。
【請求項１０】
前記所定の形状は、凸型形状であることを特徴とする請求項７乃至請求項９のいずれか一に記載の医療用画像処理方法。
【請求項１１】
入力される体腔内の生体組織の像の二次元画像に基づき、該二次元画像のエッジを細線化して抽出するエッジ抽出ステップと、
前記エッジ抽出ステップが抽出したエッジ各々について、一のエッジの端部となる位置の位置情報と、該位置情報に基づいて算出される、該一のエッジの形状に関する情報である形状情報とを取得するエッジ情報取得ステップと、
前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定ステップと、
前記位置情報と前記形状情報とに基づき、前記生体組織の三次元モデルの奥行に関する情報である奥行情報と、前記生体組織の三次元モデルの高さに関する情報である高さ情報とを取得する三次元モデル情報取得ステップと、
前記奥行情報と前記高さ情報とに基づき、前記生体組織が隆起形状を有するか否かを検出する隆起形状検出ステップと、
を有することを特徴とする医療用画像処理方法。
【請求項１２】
前記形状情報は、前記一のエッジの細線における中点の位置に関する情報と、前記一のエッジの端部における２つの端点を結ぶ直線の中点の位置に関する情報とを有することを特徴とする請求項１１に記載の医療用画像処理方法。
【請求項１】
医療用撮像装置から入力される体腔内の生体組織の像の二次元画像に基づき、該二次元画像のエッジを抽出するエッジ抽出部と、
前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定部と、
前記三次元モデルの一部として推定された前記エッジが存在する各ボクセルの位置に基づき、形状特徴量の算出対象となる所定のボクセル群を抽出するボクセル抽出部と、
前記ボクセル抽出部により抽出された前記所定のボクセル群のうち、少なくとも一部のボクセルについて前記形状特徴量を算出する形状特徴量算出部と、
前記形状特徴量に基づき、前記少なくとも一部のボクセルのうち、三次元モデルが所定の形状として推定されたボクセル群を抽出するとともに、該ボクセル群を、前記生体組織の三次元モデルにおける隆起形状を構成するボクセル群として検出する隆起形状検出部と、
を有することを特徴とする医療用画像処理装置。
【請求項２】
前記所定のボクセル群は、前記エッジが存在する各ボクセルに含まれる所定の一のボクセルよりも、前記医療用撮像装置の視野方向手前側に存在するボクセル群であることを特徴とする請求項１に記載の医療用画像処理装置。
【請求項３】
前記所定の一のボクセルは、前記エッジが存在する各ボクセルのうち、前記視野方向の最も奥側に存在する一のボクセルであることを特徴とする請求項２に記載の医療用画像処理装置。
【請求項４】
前記所定の形状は、凸型形状であることを特徴とする請求項１乃至請求項３のいずれか一に記載の医療用画像処理装置。
【請求項５】
入力される体腔内の生体組織の像の二次元画像に基づき、該二次元画像のエッジを細線化して抽出するエッジ抽出部と、
前記エッジ抽出部が抽出したエッジ各々について、一のエッジの端部となる位置の位置情報と、該位置情報に基づいて算出される、該一のエッジの形状に関する情報である形状情報とを取得するエッジ情報取得部と、
前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定部と、
前記位置情報と前記形状情報とに基づき、前記生体組織の三次元モデルの奥行に関する情報である奥行情報と、前記生体組織の三次元モデルの高さに関する情報である高さ情報とを取得する三次元モデル情報取得部と、
前記奥行情報と前記高さ情報とに基づき、前記生体組織が隆起形状を有するか否かを検出する隆起形状検出部と、
を有することを特徴とする医療用画像処理装置。
【請求項６】
前記形状情報は、前記一のエッジの細線における中点の位置に関する情報と、前記一のエッジの端部における２つの端点を結ぶ直線の中点の位置に関する情報とを有することを特徴とする請求項５に記載の医療用画像処理装置。
【請求項７】
医療用撮像装置から入力される体腔内の生体組織の像の二次元画像に基づき、該二次元画像のエッジを抽出するエッジ抽出ステップと、
前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定ステップと、
前記三次元モデルの一部として推定された前記エッジが存在する各ボクセルの位置に基づき、形状特徴量の算出対象となる所定のボクセル群を抽出するボクセル抽出ステップと、
前記ボクセル抽出ステップにより抽出された前記ボクセル群のうち、少なくとも一部のボクセルについて前記形状特徴量を算出する形状特徴量算出ステップと、
前記形状特徴量に基づき、前記少なくとも一部のボクセルのうち、三次元モデルが所定の形状として推定されたボクセル群を抽出するとともに、該ボクセル群を、前記生体組織の三次元モデルにおける隆起形状を構成するボクセル群として検出する隆起形状検出ステップと、
を有することを特徴とする医療用画像処理方法。
【請求項８】
前記所定のボクセル群は、前記エッジが存在する各ボクセルに含まれる所定の一のボクセルよりも、前記医療用撮像装置の視野方向手前側に存在するボクセル群であることを特徴とする請求項７に記載の医療用画像処理方法。
【請求項９】
前記所定の一のボクセルは、前記エッジが存在する各ボクセルのうち、前記視野方向の最も奥側に存在する一のボクセルであることを特徴とする請求項８に記載の医療用画像処理方法。
【請求項１０】
前記所定の形状は、凸型形状であることを特徴とする請求項７乃至請求項９のいずれか一に記載の医療用画像処理方法。
【請求項１１】
入力される体腔内の生体組織の像の二次元画像に基づき、該二次元画像のエッジを細線化して抽出するエッジ抽出ステップと、
前記エッジ抽出ステップが抽出したエッジ各々について、一のエッジの端部となる位置の位置情報と、該位置情報に基づいて算出される、該一のエッジの形状に関する情報である形状情報とを取得するエッジ情報取得ステップと、
前記二次元画像に基づき、前記生体組織の三次元モデルを推定する三次元モデル推定ステップと、
前記位置情報と前記形状情報とに基づき、前記生体組織の三次元モデルの奥行に関する情報である奥行情報と、前記生体組織の三次元モデルの高さに関する情報である高さ情報とを取得する三次元モデル情報取得ステップと、
前記奥行情報と前記高さ情報とに基づき、前記生体組織が隆起形状を有するか否かを検出する隆起形状検出ステップと、
を有することを特徴とする医療用画像処理方法。
【請求項１２】
前記形状情報は、前記一のエッジの細線における中点の位置に関する情報と、前記一のエッジの端部における２つの端点を結ぶ直線の中点の位置に関する情報とを有することを特徴とする請求項１１に記載の医療用画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００７−２３６６３０（Ｐ２００７−２３６６３０Ａ）
【公開日】平成１９年９月２０日（２００７．９．２０）
【国際特許分類】
【出願番号】特願２００６−６３２３４（Ｐ２００６−６３２３４）
【出願日】平成１８年３月８日（２００６．３．８）
【出願人】（３０４０５０９２３）オリンパスメディカルシステムズ株式会社 (1,905)
【Ｆターム（参考）】
【公開日】平成１９年９月２０日（２００７．９．２０）
【国際特許分類】
【出願日】平成１８年３月８日（２００６．３．８）
【出願人】（３０４０５０９２３）オリンパスメディカルシステムズ株式会社 (1,905)
【Ｆターム（参考）】
[ Back to top ]