説明

画像処理装置、画像処理方法、及び画像処理プログラム

【課題】管腔内画像において、異常部と血管とを区別し、異常部を適正に検出することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供する。
【解決手段】画像処理装置1は、被検体の管腔内を撮像して得られた管腔内画像から異常部の候補となる領域である異常候補領域を検出する異常候補領域検出部110と、管腔内画像から管状領域を検出する管状領域検出部120と、異常候補領域と管状領域とが、管状領域と類似した色の領域で連結されているか否かを判定する連結性判定部130と、連結性判定部130の判定結果に基づいて、異常候補領域が異常部であるか否かを判定する異常判定部140とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被検体の体内を撮像した画像から異常部を検出する画像処理装置、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【0002】
従来、患者等の被検体内に導入され、生体内を非侵襲に観察する医用観察装置として、内視鏡が広く普及している。近年では、カプセル型の筐体内部に撮像装置及び通信装置等を収容し、撮像装置で撮像を行うことにより取得した画像データを体外に無線送信する飲み込み型の内視鏡(カプセル内視鏡)も開発されている。
【0003】
しかしながら、これらの医用観察装置によって生体の管腔内を撮像した画像(管腔内画像)に対する観察及び診断には、多くの経験が必要とされる。そのため、医師による診断を補助する医療診断支援機能が望まれている。
【0004】
このような機能を実現する画像認識技術の1つとして、画像から異常部を自動的に検出することで、重点的に診断すべき画像を提示する技術が提案されている。例えば、特許文献1には、断層像内の肺野領域から、異常陰影の候補及び血管陰影を抽出し、異常陰影の候補と血管陰影とが重なる部分を当該異常陰影の候補から削除することにより、異常部を適正に検出する方法が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2002−291733号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、管腔内画像においては、異常部の候補領域に血管が密集しているような場合に、候補領域周辺の外形が管状とならないこともある。このような場合、特許文献1に開示された方法においては、血管が血管として検出されず、結果として、異常部を適正に検出することができなくなるおそれがある。
【0007】
本発明は、上記に鑑みてなされたものであって、管腔内画像において、異常部と血管とを区別し、異常部を適正に検出することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、被検体の管腔内を撮像して得られた管腔内画像から異常部の候補となる領域である異常候補領域を検出する異常候補領域検出手段と、前記管腔内画像から管状領域を検出する管状領域検出手段と、前記異常候補領域と前記管状領域とが、前記管状領域と類似した色の領域で連結されているか否かを判定する連結性判定手段と、前記連結性判定手段の判定結果に基づいて、前記異常候補領域が前記異常部であるか否かを判定する異常判定手段とを備えることを特徴とする。
【0009】
画像処理方法は、被検体の管腔内を撮像して得られた管腔内画像から異常部の候補となる領域である異常候補領域を検出する異常候補領域検出ステップと、前記管腔内画像から管状領域を検出する管状領域検出ステップと、前記異常候補領域と前記管状領域とが、前記管状領域と類似した色の領域で連結されているか否かを判定する連結性判定ステップと、前記連結性判定手段の判定結果に基づいて、前記異常候補領域が前記異常部であるか否かを判定する異常判定ステップとを含むことを特徴とする。
【0010】
画像処理プログラムは、被検体の管腔内を撮像して得られた管腔内画像から異常部の候補となる領域である異常候補領域を検出する異常候補領域検出ステップと、前記管腔内画像から管状領域を検出する管状領域検出ステップと、前記異常候補領域と前記管状領域とが、前記管状領域と類似した色の領域で連結されているか否かを判定する連結性判定ステップと、前記連結性判定手段の判定結果に基づいて、前記異常候補領域が前記異常部であるか否かを判定する異常判定ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【0011】
本発明によれば、管腔内画像から検出された異常候補領域に対し、当該異常候補領域が管状領域と類似した色の領域で連結されているか否かを判定し、この判定結果に基づいて、当該異常候補領域が異常部であるか否かを判定するので、異常部と血管とを区別し、異常部を適正に検出することが可能となる。
【図面の簡単な説明】
【0012】
【図1】図1は、本発明の実施の形態1に係る画像処理装置の構成を示すブロック図である。
【図2】図2は、図1に示す画像処理装置の動作を示すフローチャートである。
【図3】図3は、図1に示す画像処理装置の処理対象である画像の一例を示す模式図である。
【図4】図4は、図1に示す管状領域検出部の詳細な動作を示すフローチャートである。
【図5】図5は、図1に示す連続性判別部の動作を示すフローチャートである。
【図6A】図6Aは、図1に示す連続性判別部が実行する処理を説明するための図である。
【図6B】図6Bは、図1に示す連続性判別部が実行する処理を説明するための図である。
【図6C】図6Cは、図1に示す連続性判別部が実行する処理を説明するための図である。
【図7】図7は、図1に示す連結性判定部の動作を示すフローチャートである。
【図8A】図8Aは、図1に示す連結性判定部が実行する処理を説明するための図である。
【図8B】図8Bは、図1に示す連結性判定部が実行する処理を説明するための図である。
【図8C】図8Cは、図1に示す連結性判定部が実行する処理を説明するための図である。
【図9】図9は、実施の形態1の変形例における連結性判定部の構成を示すブロック図である。
【図10】図10は、図9に示す連結性判定部の動作を示すフローチャートである。
【図11】図11は、図9に示す連結性判定部が実行する処理を説明するための模式図である。
【図12】図12は、実施の形態2に係る画像処理装置の構成を示すブロック図である。
【図13】図13は、図12に示す連結性判定部の動作を示すフローチャートである。
【発明を実施するための形態】
【0013】
以下、本発明の実施の形態に係る画像処理装置、画像処理方法、及び画像処理プログラムについて、図面を参照しながら説明する。なお、これらの実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
【0014】
以下の実施の形態においては、一例として、カプセル内視鏡等の医用観察装置によって被検体の管腔内を撮像することにより取得された管腔内画像(以下、単に画像ともいう)から、異常部と血管領域とを区別して、異常部を検出する画像処理について説明する。なお、以下の実施の形態において画像処理の対象となる管腔内画像は、各画素位置においてR(赤)、G(緑)、B(青)の各色成分(波長成分)に対する画素レベル(画素値)を持つカラー画像である。
【0015】
(実施の形態1)
図1は、本発明の実施の形態1に係る画像処理装置の構成を示すブロック図である。図1に示す画像処理装置1は、画像処理装置1全体の動作を制御する制御部10と、カプセル内視鏡等の医用観察装置によって撮像された画像に対応する画像データを取得する画像取得部20と、外部から入力される入力信号を受け付ける入力部30と、各種表示を行う表示部40と、画像取得部20によって取得された画像データや種々のプログラムを格納する記録部50と、画像データに対して所定の画像処理を実行する演算部100とを備える。
【0016】
制御部10は、CPU等のハードウェアによって実現され、記録部50に格納された各種プログラムを読み込むことにより、画像取得部20から入力される画像データや入力部30から入力される操作信号等に従って、画像処理装置1を構成する各部への指示やデータの転送等を行い、画像処理装置1全体の動作を統括的に制御する。
【0017】
画像取得部20は、医用観察装置を含むシステムの態様に応じて適宜構成される。例えば、医用観察装置がカプセル内視鏡であり、医用観察装置との間の画像データの受け渡しに可搬型の記録媒体が使用される場合、画像取得部20は、この記録媒体を着脱自在に装着し、保存された管腔内画像の画像データを読み出すリーダ装置で構成される。また、医用観察装置によって撮像された管腔内画像の画像データを保存しておくサーバを設置する場合、画像取得部20は、サーバと接続される通信装置等で構成され、サーバとデータ通信を行って管腔内画像の画像データを取得する。或いは、画像取得部20を、内視鏡等の医用観察装置から、ケーブルを介して画像信号を入力するインターフェース装置等で構成しても良い。
【0018】
入力部30は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、受け付けた入力信号を制御部10に出力する。
表示部40は、LCDやELディスプレイ等の表示装置によって実現され、制御部10の制御の下で、管腔内画像を含む各種画面を表示する。
【0019】
記録部50は、更新記録可能なフラッシュメモリ等のROMやRAMといった各種ICメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、CD−ROM等の情報記録媒体及びその読取装置等によって実現される。記録部50は、画像取得部20によって取得された管腔内画像の画像データの他、画像処理装置1を動作させると共に、種々の機能を画像処理装置1に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を記録する。具体的には、記録部50は、管腔内画像から異常部を検出する画像処理を当該画像処理装置1に実行させるための画像処理プログラム51を記録する。
【0020】
演算部100は、CPU等のハードウェアによって実現され、画像処理プログラム51を読み込むことによって管腔内画像に対応する画像データに画像処理を施し、管腔内画像から異常部を検出するための種々の演算処理を行う。
【0021】
次に、演算部100の詳細な構成について説明する。
図1に示すように、演算部100は、画像から異常部の候補である異常候補領域を検出する異常候補領域検出部110と、画像から管状領域を検出する管状領域検出部120と、異常候補領域と管状領域とが、管状領域と類似した色の領域で連結されているか否かを判定する連結性判定部130と、該連結性判定部130の判定結果に基づいて、画像から検出された異常候補領域が異常部であるか否かを判定する異常判定部140とを備える。ここで、本願において、管状領域と類似した色の領域とは、管状領域の色特徴量の近傍の色特徴量を有する領域のことであり、より詳細には、所定の波長成分(例えば、R成分)、所定の波長成分の変化量(エッジ強度)、所定の色特徴量(例えばG/R値)、又は、所定の色特徴量の変化量(微分値)といった値が、管状領域の対応する値から所定の範囲内である領域のことをいう。
【0022】
この内、管状領域検出部120は、画像内の各画素の色特徴量に基づいて管状領域の候補である管状候補領域を検出する管状候補領域検出部121と、管状候補領域の外形に基づいて、当該管状候補領域が管状領域であるか否かを判別する外形判別部122と、管状候補領域の周囲領域における画素値の連続性に基づいて、当該管状候補領域が管状領域であるか否かを判別する連続性判別部123とを有する。より詳細には、外形判別部122は、管状候補領域の面積を算出する面積算出部122aと、管状候補領域の周囲長を算出する周囲長算出部122bとを含む。また、連続性判別部123は、画像の面内における管状候補領域の長手方向に対する直交方向を算出する直交方向算出部123aと、該直交方向において管状候補領域の両側の画素値変化をそれぞれ近似する近似関数を算出する近似関数算出部123bと、直交方向の同一座標における近似関数の値の差分を算出する差分算出部123cとを含む。
【0023】
連結性判定部130は、異常候補領域と管状領域との間の領域における特徴量(以下、領域間特徴量という)を算出する領域間特徴量算出部131と、領域間特徴量に基づいて異常候補領域と管状領域との間の連結性を判別する領域間特徴量判別部132とを有する。より詳細には、領域間特徴量算出部131は、異常候補領域と管状領域との間を補間する補間線を算出する補間線算出部131aと、補間線上における特徴量を算出する線上特徴量算出部131bとを含む。この内、線上特徴量算出部131bは、最大エッジ強度算出部131b−1と、最大色エッジ強度算出部131b−2と、平均色特徴量算出部131b−3とを含む。最大エッジ強度算出部131b−1は、補間線上におけるエッジ強度、即ち、補間線上において隣接する画素間又は所定間隔の画素間における画素値変化(微分値)の最大値を算出する。最大色エッジ強度算出部131b−2は、補間線上における色エッジ強度、即ち、補間線上において隣接する画素間又は所定間隔の画素間における色特徴量の変化(微分値)の最大値を算出する。平均色特徴量算出部131b−3は、補間線上における色特徴量の平均値を算出する。
【0024】
次に、画像処理装置1の動作について説明する。図2は、画像処理装置1の動作を示すフローチャートである。また、図3は、画像処理装置1の処理対象である画像の一例を示す模式図である。図3に示すように、画像M1には、粘膜Memと、周囲の粘膜とは状態が異なる領域A1と、管状に細長く延びた領域B1〜B4とが見られる。
【0025】
まず、ステップS10において、画像取得部20は、被検体の管腔内画像を取得して記録部50に格納する。演算部100は、処理対象の画像(例えば、画像M1)を記録部50から順次読み込む。
【0026】
ステップS11において、異常候補領域検出部110は、画像から異常候補領域を検出する。異常候補領域の検出方法としては、既知の種々の方法を用いることができる。例えば、画像内の各画素の画素値を各画素の色情報に基づく特徴空間に写像し、特徴空間内でクラスタリングを行った後、各クラスタの位置や平均値(即ち、重心座標)等の情報を基に正常粘膜クラスタや異常部クラスタを特定することにより異常部の候補領域を検出することができる(例えば、特開2005−192880号公報を参照)。
【0027】
続くステップS12において、管状領域検出部120は、画像から血管候補領域を検出した後、血管候補領域の形状や、血管候補領域周囲における画素値変化の連続性に基づいて当該血管候補領域が血管領域であるか否かを判別することにより、血管領域を検出する。血管候補領域の検出方法としては、既知の種々の方法を用いることができる。本実施の形態1においては、以下に説明する方法により、血管候補領域を検出する。図4は、ステップS12における管状領域検出部120の詳細な動作を示すフローチャートである。
【0028】
まず、ステップS120において、管状候補領域検出部121は、画像から血管候補領域を検出する。具体的には、血管モデルのテンプレートを用いたテンプレートマッチングを実行し、マッチング結果に基づく構造成分を抽出する(例えば、特開2004−181096号公報を参照)。
【0029】
続くステップS121において、管状候補領域検出部121は、検出した血管候補領域に対してラベリング処理を行う。そして、各血管候補領域に対して、当該血管候補領域が血管領域であるか否かを判別するループBの処理を行う。
【0030】
即ち、ステップS122において、外形判別部122は、血管候補領域の面積Aを面積算出部122aに算出させると共に、血管候補領域の周囲長Lを周囲長算出部122bに算出させる。そして、ステップS123において、外形判別部122は、面積Aの周囲長Lに対する比率L/Aを算出し、該比率L/Aが所定の閾値以上であるか否かを判別する。
【0031】
なお、ステップS123における処理は、血管候補領域の外形が管状であるか否かを判別する処理に相当し、発赤等の管状ではない領域を除去するために実行している。従って、外形が管状であるか否かを判別できるのであれば、これ以外の方法を用いても良い。例えば、次式(1)及び(2)によって算出される値L1、L2(L1>L2)の比率L1/L2を所定の閾値と比較することにより、当該血管候補領域の外形が管状であるか否かを判別しても良い。
L1×L2=A …(1)
2(L1+L2)=L …(2)
【0032】
ステップS123における判定の結果、比率L/Aが閾値より小さいと判定された場合(ステップS123:No)、外形判別部122は、当該血管候補領域は血管領域でないと判別する(ステップS124)。
【0033】
一方、比率L/Aが閾値以上であると判定された場合(ステップS123:Yes)、連続性判別部123は、さらに、当該血管候補領域の周囲における画素値の連続性を表す値を算出する(ステップS125)。より詳細には、血管候補領域を挟んだ両側の粘膜領域の画素値が連続的に変化しているかを示す値を算出する。図5は、ステップS125における連続性判別部123の詳細な動作を示すフローチャートである。また、図6A〜図6Cは、連続性判別部123が実行する処理を説明するための図である。この内、図6Aは、図3に示す画像M1の一部に対応している。
【0034】
ステップs01において、直交方向算出部123aは、画像の面内において、血管候補領域の長手方向と直交する方向を算出する。ここで、直交方向は、例えば、血管候補領域上の各画素において、Hessian行列の第2固有ベクトルの方向として算出することができる。Hessian行列は、位置座標(x,y)における画素の画素値Iを用いて次式(3)によって与えられる行列である。
【数1】

なお、本実施の形態1においては、画素値Iとして、各画素のR値を用いる。
これより、例えば図6Aの場合、血管候補領域B1、B2の長手方向dir1、dir2に対して、直交方向x1、x2がそれぞれ算出される。
【0035】
ステップs02において、近似関数算出部123bは、血管候補領域の長手方向に対する直交方向において、該血管候補領域の両側における画素値の変動を近似する曲線を表す関数を算出する。例えば、図6Aに示す血管候補領域B1の場合、図6Bに示すように、直交方向x1における画素値プロファイルPr1に対し、血管候補領域B1の両側の領域C1、C2における画素値プロファイルPr1をそれぞれ近似する近似曲線の関数f11(x1)、f12(x1)が算出される。また、図6Aに示す血管候補領域B2の場合、図6Cに示すように、直交方向x2における画素値プロファイルPr2に対し、血管候補領域B2の両側の領域C3、C4における画素値プロファイルPr2をそれぞれ近似する近似曲線の関数f21(x2)、f22(x2)が算出される。
【0036】
ステップs03において、差分算出部123cは、血管候補領域の両側における2つの近似曲線の関数に対して、直交方向上の複数箇所の座標を代入し、両近似曲線の差分値をそれぞれ算出する。そして、これらの差分値を合計し、この合計値を、差分値を算出した座標数で除算することにより正規化を行う。例えば、血管候補領域B1の場合、領域C1内のx1軸上の各画素における差分値d1=f11(x1)−f12(x1)が算出され、これらの差分値d1の合計値が領域C1内のx1軸上の画素数で除算される。領域C2についても同様である。また、血管候補領域B2の場合には、各領域C3、C4において、x2軸上の各画素における差分値d2=f21(x2)−f22(x2)が算出され、これらの差分値d2の合計値がx2軸上の画素数で除算される。このような正規化を行うことにより、各領域の座標数(画素数)によらない差分値を得ることができる。
その後、演算部100の動作はメインルーチンに戻る。
【0037】
ステップS126において、連続性判別部123は、このようにして算出した差分値を所定の閾値と比較することにより、各血管候補領域の周囲における連続性を判断する。具体的には、差分値が所定の閾値以下である場合(例えば、図6Bに示すように、差分値d1が小さい場合)、血管候補領域を挟んだ両側の領域に連続性があると判断する。一方、差分値が所定の閾値よりも大きい場合(例えば、図6Cに示すように、差分値d2が大きい場合)、血管候補領域を挟んだ両側の領域には連続性がないと判断する。
【0038】
血管候補領域の周囲に連続性があると判別された場合(ステップS126:Yes)、管状領域検出部120は、当該管状候補領域は血管領域であると判断する(ステップS127)。一方、血管候補領域の周囲に連続性がないと判別された場合(ステップS126:No)、管状領域検出部120は、当該管状候補領域は血管領域でないと判断する(ステップS124)。
【0039】
これにより、血管のような吸光特性の違いに起因して凹みが生じた画素値プロファイルの血管候補領域(例えば、画素値プロファイルPr1を有する血管候補領域B1)を血管領域に含め、粘膜間に存在する溝等の構造に起因して生じた画素値プロファイルの血管候補領域(例えば、画素値プロファイルPr2を有する血管候補領域B2)を血管領域から除外することができる。
その後、演算部100の動作はメインルーチンに戻る。
【0040】
ステップS12に続いて、演算部100は、各異常候補領域についてループAの処理を実行する。
まず、ステップS13において、連結性判定部130は、ステップS11において検出された異常候補領域とステップS12において検出された血管領域との座標値に基づき、両者が重なり合っているか(即ち、画素位置の少なくとも一部が重複しているか)否かを判定する。両者の画素位置が重複している場合(ステップS13:Yes)、異常判定部140は、当該異常候補領域が血管であると判定する(ステップS14)。
【0041】
一方、両者の画素位置が重複していない場合(ステップS13:No)、続くステップS15において、連結性判定部130は、異常候補領域と血管領域との連結性の有無を判定する。即ち、異常候補領域と血管領域との間の領域における特徴量(領域間特徴量)を基に、両領域の間が血管領域と類似した色の領域で連結されているか否かを判別する。図7は、ステップS15における連結性判定部130の詳細な動作を示すフローチャートである。また、図8A〜図8Cは、連結性判定部130が実行する処理を説明するための図である。この内、図8Aは、図3に示す画像M1の一部に対応している。
【0042】
まず、連結性判定部130は、各血管領域についてループCの処理を実行する。即ち、ステップS150において、補間線算出部131aは、血管領域を細線化して端点を検出する(参考:CG−ARTS協会、「ディジタル画像処理」、第185〜189頁)。例えば、図8Aの場合、血管領域B3を細線化した線NLの端点EPが検出される。
【0043】
続くステップS151において、補間線算出部131aは、異常候補領域と端点を繋いだ補間線を算出する。図8Aにおいては、端点EPと異常候補領域A1とを接続した補間線ILが算出される。なお、図8Aにおいては直線の補間線を例示しているが、異常候補領域と血管領域との間の領域を補間できるのであれば、他の方法で算出した直線又は曲線であっても良い。例えば、端点EPから線NLに沿って幾つかの点を血管領域から順にサンプリングした後、各点と異常候補領域の重心とを繋いでスプライン曲線を引くなどしても良い。
【0044】
ステップS152において、線上特徴量算出部131bは、補間線上における特徴量(線上特徴量)として、最大エッジ強度、最大色エッジ強度、及び平均色特徴量を算出する。具体的には、最大エッジ強度として補間線上におけるR値の微分値の最大値が算出され、最大色エッジ強度としてG/R値の微分値の最大値が算出され、平均色特徴量としてG/R値の平均値が算出される。
【0045】
ステップS153において、領域間特徴量判別部132は、上記3つの線上特徴量が、以下に示す3つの条件を満たしているか否かを判別する。
条件1:最大エッジ強度が所定の閾値以下である。
条件2:最大色エッジ強度が所定の閾値以下である。
条件3:平均色特徴量と血管領域の平均色特徴量の差分が所定の閾値以下である。
【0046】
ここで、異常候補領域と血管領域との間に連結性がある状態とは、両領域の間に溝等の構造的な途切れが存在せず、且つ、両領域の間が血管領域と類似した色で急激な色変化無く繋がっている状態のことをいう。この場合、図8Bに示すように、両領域を繋ぐ補間線上における画素値(R値)プロファイルはなだらかに変化する(上記条件1に相当)。また、図8Cに示すように、補間線上における色特徴量(G/R値)プロファイルは血管領域の色特徴量近傍で(上記条件3に相当)なだらかに変化する(上記条件2に相当)。従って、補間線上における特徴量を上記条件1〜3に照らすことにより、異常候補領域と血管領域との連結性を判別することができる。
【0047】
線上特徴量が上記条件1〜3の全てを満たす場合(ステップS153:Yes)、連結性判定部130は、ループCを抜け、当該異常候補領域は血管領域との連結性を有すると判別する(ステップS154)。一方、線上特徴量が上記条件1〜3の内の少なくともいずれかを満たさない場合(ステップS153:No)、連結性判定部130は、別の血管領域を判別対象としてループCの処理を繰り返す。そして、全ての血管領域についての処理が終了しても、上記条件1〜3の全てを満たす血管領域が検出されなかった場合、連結性判定部130は、当該異常候補領域は血管領域との連結性を有しないと判別する(ステップS155)。
その後、演算部100の動作はメインルーチンに戻る。
【0048】
ステップS15に続くステップS16において、異常判定部140は、連結性判定部130の判定結果に基づいて、異常候補領域の判別を行う。即ち、異常候補領域が血管領域との連結性を有すると判定された場合(ステップS16:Yes)、異常判定部140は、当該異常候補領域は血管(血管が密集した領域)であり、異常部ではないと判別する(ステップS14)。一方、異常候補領域が血管領域との連結性を有しないと判定された場合(ステップS16:No)、異常判定部140は、当該異常候補領域は異常部であると判別する(ステップS17)。
【0049】
このような判別処理を、ステップS11において検出された全ての異常候補領域について実行した後、演算部100はループAを抜け、異常部の判別結果を出力する(ステップS18)。これに応じて、制御部10は、異常部の判別結果を記録部50に記録する。この際、制御部10は、異常部の判別結果を表示部40等に表示させても良い。その後、画像処理装置1における処理は終了する。
【0050】
以上説明したように、実施の形態1によれば、画像内から検出された異常候補領域に対し、管状を有する血管領域との連結性を判断することにより、当該異常候補領域が異常部であるか否かを判別するので、異常部と血管とを区別し、異常部を適正に検出することが可能となる。
【0051】
なお、実施の形態1においては、血管領域を検出する際に、画像から検出された血管候補領域に対して外形に基づく判別を行った上で、血管候補領域の周囲の連続性を判別しているが、血管候補領域に対して直接その周囲の連続性を判別することにより、当該血管候補領域が血管領域であるか否かを判別するようにしても良い。
【0052】
(変形例)
次に、実施の形態1の変形例について説明する。
本変形例に係る画像処理装置は、図1に示す連結性判定部130の代わりに、図9に示す連結性判定部150を備える。なお、連結性判定部150以外の画像処置装置の各部の構成については、図1に示すものと同様である。
【0053】
図9に示すように、連結性判定部150は、領域間特徴量算出部131及び領域間特徴量判別部132に加えて、異常候補領域が血管領域の長手方向の延長方向(以下、単に血管領域の延長方向という)上に存在するか否かを判定する存在方向判定部151をさらに有し、異常候補領域と血管領域の相対位置関係に基づいて、異常候補領域と血管領域との連結性を判別することを特徴とする。
【0054】
より詳細には、存在方向判定部151は、血管領域の形状を近似する関数(近似関数)を算出する近似関数算出部151aと、近似関数から所定の距離の範囲内である近傍領域を画像内から検出する近傍領域検出部151bと、近傍領域内に異常候補領域が存在するか否かを判定する近傍領域内存在判定部151cと含む。
【0055】
ここで、粘膜下において複数の血管が交差している領域は、外形が管状ではないため、異常候補領域として検出されてしまう場合がある。このような異常候補領域は、血管領域の延長方向上に存在すると考えられる。そこで、本変形例においては、異常候補領域と血管領域との連結性を判定する際に(図2のステップS15)、異常候補領域が血管領域の延長方向上に存在するか否かを判別し、異常候補領域が当該延長方向上に存在する場合にのみ、補間線上の特徴量を用いた連結性判定を行う。
【0056】
図10は、本変形例における連結性判定部150の動作を示すフローチャートである。また、図11は、連結性判定部150が実行する処理を説明するための模式図であり、図3に示す画像M1の一部に対応する。
【0057】
連結性判定部150は、まず、管腔内画像から検出された各血管領域について、ループDの処理を実行する。即ち、ステップS190において、近似関数算出部151aは、血管領域の長手方向の形状を近似する位置座標の関数(近似関数)を算出する。近似関数の算出方法としては、例えば、画像内の各画素の位置座標(x,y)を用いて次式(4)で与えられる2次関数の係数を最小二乗法により算出すれば良い。
y=ax2+bx+c …(4)
例えば、図11の場合、血管領域B3の長手方向の形状を近似する関数f3と、血管領域B4の長手方向の形状を近似する関数f4とが算出される。
【0058】
続くステップS191において、近傍領域検出部151bは、管腔内画像において当該近似関数から一定の距離範囲の領域を近傍領域として検出する。近傍領域は、例えば、画像内の各画素の画素値を近似関数上の画素位置との間の距離に変換した距離画像を生成し、当該距離画像において所定の閾値以下の画素値を有する領域(即ち、閾値以下の距離の領域)を抽出することにより、検出することができる。
例えば、図11の場合、関数f3の近傍領域R3と、関数f4の近傍領域R4とが検出される。
【0059】
ステップS192において、近傍領域内存在判定部151cは、近傍領域内に異常候補領域が存在するか否か、即ち、血管領域の延長方向上に異常候補領域が存在するか否かを判定する。例えば、図11の場合、近傍領域R3に異常候補領域A1の一部が重なっているため、血管領域R3の延長方向上に異常候補領域が存在すると判定される。一方、近傍領域R4には異常候補領域が存在しないため、血管領域B4の延長方向上に異常候補領域は存在しないと判定される。
【0060】
血管領域の延長方向上に異常候補領域が存在しない場合(ステップS192:No)、連結性判定部150の動作は、次の血管領域に対する処理に移行する。一方、血管領域の延長方向上に異常候補領域が存在する場合(ステップS192:Yes)、連結性判定部150の動作は、ステップS193に移行する。なお、図10に示すステップS193〜S198は、図7に示すステップS150〜S155に対応している。
【0061】
以上説明したように、本変形例によれば、血管領域の延長方向に異常候補領域が存在する場合にのみ、当該異常候補領域と血管領域との連結性判定を行うので、連結性判定の演算量を低減することが可能となる。
【0062】
(実施の形態2)
次に、本発明の実施の形態2について説明する。
図12は、実施の形態2に係る画像処理装置の構成を示すブロック図である。図12に示すように、実施の形態2に係る画像処理装置2は、図1に示す演算部100の代わりに、演算部200を備える。
【0063】
演算部200は、図1に示す連結性判定部130の代わりに、連結性判定部210を備える。より詳細には、連結性判定部210は、画像から管状領域と類似した色の領域である類似色領域を検出する類似色領域検出部211と、類似色領域に対する異常候補領域及び管状領域の画素位置の重複(即ち、重なり合い)を判定する重複判定部212とを有する。この内、類似色領域検出部211は、管状領域における色特徴量の平均値を算出する平均値算出部211aと、色特徴量の平均値を基に閾値を設定する閾値設定部211bと、閾値設定部211bが設定した閾値に基づいて画像を閾値処理する閾値処理部211cとを含む。
なお、連結性判定部210以外の画像処置装置2の各部の構成については、図1に示すものと同様である。
【0064】
次に、画像処理装置2の動作について説明する。画像処理装置2全体動作は、図2に示すものと同様であり、連結性判定部210が実行する異常候補領域と血管領域との連結性を判定する処理(ステップS15)の詳細が、実施の形態1とは異なる。
【0065】
図13は、連結性判定部210の詳細な動作を示すフローチャートである。連結性判定部210は、ステップS12(図2参照)において検出された各血管領域について、ループEの処理を実行する。
【0066】
まず、ステップS200において、平均値算出部211aは、血管領域における色特徴量の平均値を算出する。実施の形態2においては、色特徴量としてG/R値を用いるため、本ステップS200においては、平均G/R値を算出する。
【0067】
続くステップS201において、閾値設定部211bは、ステップS200において算出された平均色特徴量を基に、閾値を設定する。具体的には、平均G/R値に任意の係数α(α≧1)を掛け合わせた値を閾値とする。
【0068】
ステップS202において、閾値処理部211cは、画像に対して閾値処理を施し、閾値以下のG/R値を有する領域を、血管領域の類似色領域として検出する。
【0069】
さらに、ステップS203において、重複判定部212は、類似色領域に対して血管領域と異常候補領域が共に重複しているか(即ち、血管領域内の画素位置の少なくとも一部が類似色領域と重複している箇所と、異常候補領域内の画素位置の少なくとも一部が類似色領域と重複している箇所との両方が存在するか)否かを判定する。そして、類似色領域に対して血管領域と異常候補領域が共に重複していた場合(ステップS204:Yes)、連結性判定部210は、ループEを抜け、当該異常候補領域は血管領域との連結性を有すると判別する(ステップS205)。一方、類似色領域に対して血管領域と異常候補領域と内のいずれか又は両方が重複していない場合(ステップS204:No)、連結性判定部210は、別の血管領域を判別対象としてループEの処理を繰り返す。そして、全ての血管領域についての処理が終了しても、類似色領域に対して重なる血管領域及び異常候補領域が検出されない場合、連結性判定部210は、当該異常候補領域は血管領域との連結性を有しないと判別する(ステップS206)。
その後、演算部200の動作はメインルーチンに戻る。
【0070】
以上説明したように、実施の形態2においては、血管領域の色特徴量に基づいて設定された閾値により類似色領域を検出し、該類似色領域に対する異常候補領域及び血管領域の画素位置の重複を判別することにより、異常候補領域と血管領域との連結性を判定する。従って、実施の形態2によれば、血管領域の色特徴量に応じて、異常候補領域と血管領域との連結性をより高精度に判別することが可能となる。
【0071】
以上説明した実施の形態1及び2並びに変形例に係る画像処理装置は、記録媒体に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することによって実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク、広域エリアネットワーク(LAN/WAN)、又は、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態1及び2並びに変形例に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続された種々の出力機器(ビュアーやプリンタ等)に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置(記録媒体及びその読取装置等)に画像処理結果を格納するようにしても良い。
【0072】
なお、本発明は、実施の形態1及び2並びに変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。
【符号の説明】
【0073】
1、2 画像処理装置
10 制御部
20 画像取得部
30 入力部
40 表示部
50 記録部
51 画像処理プログラム
100、200 演算部
110 異常候補領域検出部
120 管状領域検出部
121 管状候補領域検出部
122 外形判別部
122a 面積算出部
122b 周囲長算出部
123 連続性判別部
123a 直交方向算出部
123b 近似関数算出部
123c 差分算出部
130、150、210 連結性判定部
131 領域間特徴量算出部
131a 補間線算出部
131b 線上特徴量算出部
131b−1 最大エッジ強度算出部
131b−2 最大色エッジ強度算出部
131b−3 平均色特徴量算出部
132 領域間特徴量判別部
140 異常判定部
151 存在方向判定部
151a 近似関数算出部
151b 近傍領域検出部
151c 近傍領域内存在判定部
211 類似色領域検出部
211a 平均値算出部
211b 閾値設定部
211c 閾値処理部
212 重複判定部

【特許請求の範囲】
【請求項1】
被検体の管腔内を撮像して得られた管腔内画像から異常部の候補となる領域である異常候補領域を検出する異常候補領域検出手段と、
前記管腔内画像から管状領域を検出する管状領域検出手段と、
前記異常候補領域と前記管状領域とが、前記管状領域と類似した色の領域で連結されているか否かを判定する連結性判定手段と、
前記連結性判定手段の判定結果に基づいて、前記異常候補領域が前記異常部であるか否かを判定する異常判定手段と、
を備えることを特徴とする画像処理装置。
【請求項2】
前記連結性判定手段は、
前記異常候補領域と前記管状領域との間の領域における特徴量である領域間特徴量を算出する領域間特徴量算出手段と、
前記領域間特徴量に基づいて前記異常候補領域と前記管状領域との間の連結性を判別する領域間特徴量判別手段と、
を有することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記領域間特徴量算出手段は、
前記異常候補領域と前記管状領域との間を補間する補間線を算出する補間線算出手段と、
前記補間線上における特徴量を算出する線上特徴量算出手段と、
を含むことを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記線上特徴量算出手段は、前記補間線上における画素値変化の最大値を算出する最大エッジ強度算出手段を含むことを特徴とする請求項3に記載の画像処理装置。
【請求項5】
前記線上特徴量算出手段は、前記補間線上における色特徴量の変化の最大値を算出する最大色エッジ強度算出手段を含むことを特徴とする請求項3に記載の画像処理装置。
【請求項6】
前記線上特徴量算出手段は、前記補間線上における色特徴量の平均値を算出する平均色特徴量算出手段を含むことを特徴とする請求項3に記載の画像処理装置。
【請求項7】
前記連結性判定手段は、
前記管腔内画像から前記管状領域と類似した色の領域である類似色領域を検出する類似色領域検出手段と、
前記類似色領域に対する前記異常候補領域及び前記管状領域の画素位置の重複の有無を判定する重複判定手段と、
を有することを特徴とする請求項1に記載の画像処理装置。
【請求項8】
前記類似色領域検出手段は、
前記管状領域における色特徴量の平均値を算出する平均色特徴量算出手段と、
前記色特徴量の平均値を基に閾値を設定する閾値設定手段と、
前記閾値に基づいて前記管腔内画像を閾値処理する閾値処理手段と、
を含むことを特徴とする請求項7に記載の画像処理装置。
【請求項9】
前記連結性判定手段は、前記異常候補領域が前記管状領域の延長方向上に存在するか否かを判定する存在方向判定手段をさらに有することを特徴とする請求項2に記載の画像処理装置。
【請求項10】
前記存在方向判定手段は、
前記管状領域の形状を近似する位置座標の関数を算出する近似関数算出手段と、
前記管腔内画像において前記関数から所定の距離の範囲内である近傍領域を検出する近傍領域検出手段と、
前記近傍領域内に異常候補領域が存在するか否かを判定する近傍領域内存在判定手段と、
を含むことを特徴とする請求項9に記載の画像処理装置。
【請求項11】
前記管状領域検出手段は、
前記管腔内画像の色特徴量に基づいて前記管状領域の候補である管状候補領域を検出する管状候補領域検出手段と、
前記管状候補領域の周囲領域における画素値の連続性に基づいて、前記管状候補領域が前記管状領域であるか否かを判別する連続性判別手段と、
を有することを特徴とする請求項1に記載の画像処理装置。
【請求項12】
前記連続性判別手段は、
前記画像の面内における前記管状候補領域の長手方向に対する直交方向を算出する直交方向算出手段と、
前記直交方向における前記管状候補領域の両側における画素値変化をそれぞれ近似する近似関数を算出する近似関数算出手段と、
前記直交方向の同一座標における前記近似関数の値の差分を算出する差分算出手段と、
を含み、
前記差分に基づいて前記管状候補領域に対する判別を行うことを特徴とする請求項11に記載の画像処理装置。
【請求項13】
前記管状領域検出手段は、
前記管腔内画像における色特徴量に基づいて前記管状領域の候補である管状候補領域を検出する管状候補領域検出手段と、
前記管状候補領域の外形に基づいて前記管状候補領域が前記管状領域であるか否かを判別する外形判別手段と、
を有することを特徴とする請求項1に記載の画像処理装置。
【請求項14】
前記外形判別手段は、
前記管状候補領域の面積を算出する面積算出手段と、
前記管状候補領域の周囲長を算出する周囲長算出手段と、
を含み、
前記面積と前記周囲長とに基づいて前記管状領域に対する判別を行うことを特徴とする請求項13に記載の画像処理装置。
【請求項15】
被検体の管腔内を撮像して得られた管腔内画像から異常部の候補となる領域である異常候補領域を検出する異常候補領域検出ステップと、
前記管腔内画像から管状領域を検出する管状領域検出ステップと、
前記異常候補領域と前記管状領域とが、前記管状領域と類似した色の領域で連結されているか否かを判定する連結性判定ステップと、
前記連結性判定手段の判定結果に基づいて、前記異常候補領域が前記異常部であるか否かを判定する異常判定ステップと、
を含むことを特徴とする画像処理方法。
【請求項16】
被検体の管腔内を撮像して得られた管腔内画像から異常部の候補となる領域である異常候補領域を検出する異常候補領域検出ステップと、
前記管腔内画像から管状領域を検出する管状領域検出ステップと、
前記異常候補領域と前記管状領域とが、前記管状領域と類似した色の領域で連結されているか否かを判定する連結性判定ステップと、
前記連結性判定手段の判定結果に基づいて、前記異常候補領域が前記異常部であるか否かを判定する異常判定ステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6A】
image rotate

【図6B】
image rotate

【図6C】
image rotate

【図7】
image rotate

【図8A】
image rotate

【図8B】
image rotate

【図8C】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate


【公開番号】特開2013−111125(P2013−111125A)
【公開日】平成25年6月10日(2013.6.10)
【国際特許分類】
【出願番号】特願2011−258224(P2011−258224)
【出願日】平成23年11月25日(2011.11.25)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】