画像処理装置及び画像処理プログラム
【課題】臓器判定や患部検出の精度低下の要因となる泡領域を、体腔内画像より検出できるようにすることである。
【解決手段】画像内の画素のエッジ強度をエッジ強度算出部１０１で算出し、算出されたエッジ強度と泡画像の特徴を基に予め設定された泡モデルとの相関値を相関値算出部１０２で算出し、算出された相関値に基づき画像内の泡領域を泡領域検出部１０３で検出することで、体腔内画像内の泡領域を適正に検出できるようにした。
【解決手段】画像内の画素のエッジ強度をエッジ強度算出部１０１で算出し、算出されたエッジ強度と泡画像の特徴を基に予め設定された泡モデルとの相関値を相関値算出部１０２で算出し、算出された相関値に基づき画像内の泡領域を泡領域検出部１０３で検出することで、体腔内画像内の泡領域を適正に検出できるようにした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像内の泡領域を検出する画像処理装置及び画像処理プログラム、特に、体腔内を撮像した画像における泡領域を検出する画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
特許文献１は、体腔内画像における画像処理として、カプセル型内視鏡画像の平均色情報を基に臓器を判定する処理を開示している。具体的には、時系列の連続画像として取り込まれるカプセル型内視鏡画像の各画像において、画素の赤色レベルの画像内平均値、及び画素の青色レベルの画像内平均値を算出し、この値を時系列方向に平滑化した後、各色レベルの変化量が所定以上となる変色エッジ位置を検出して、臓器の切り替わりを判定している。
【０００３】
また、特許文献２は、カプセル型内視鏡画像内の各画素の色情報を基に患部領域を検出する処理を開示している。具体的には、画像内の各画素又は平均化した画素値を、その色情報に基づく特徴空間に写像し、特徴空間内でクラスタリングした後に正常粘膜クラスタと患部クラスタを特定し、患部クラスタに属する画素領域を患部として検出している。
【０００４】
【特許文献１】特開２００４−３３７５９６号公報
【特許文献２】特開２００５−１９２８８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、カプセル型内視鏡が撮像する体腔内には、気泡（以下、単に「泡」という）が存在するため、体腔内画像には粘膜と同時に泡が撮像される場合がよくある。泡が画像内に存在する場合、特許文献１で算出している各色レベルの画像内平均値は、泡の影響により、本来の粘膜の色レベルを十分に反映した値とならない。このため、臓器判定精度が低下してしまう。
【０００６】
また、泡領域の画素は、色情報に基づく特徴空間内にて非常に幅広い分布となり、正常粘膜や患部の分布と重なる。このため、特許文献２においても、泡領域の画素情報を含めて患部検出を行う場合、検出精度が低下してしまう。
【０００７】
いずれの場合にも、体腔内画像において泡領域を検出することができれば、泡領域内の画素を無効な画素として後段の処理から除外することで、臓器判定や患部検出の精度低下を抑制できる。しかしながら、これまで体腔内画像より泡領域を検出するという課題に対し、有効な解決策が見出されていない現状にある。
【０００８】
本発明は、上記に鑑みてなされたものであって、臓器判定や患部検出の精度低下の要因となる泡領域を、体腔内画像より検出することができる画像処理装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、画像内の画素のエッジ強度を算出するエッジ強度算出手段と、算出されたエッジ強度と泡画像の特徴を基に予め設定された泡モデルとの相関値を算出する相関値算出手段と、算出された相関値を基に泡領域を検出する泡領域検出手段と、を備えることを特徴とする。
【００１０】
また、本発明に係る画像処理装置は、上記発明において、前記泡モデルは、弧形状の輝度構造部を有するテンプレートパターンであることを特徴とする。
【００１１】
また、本発明に係る画像処理装置は、上記発明において、前記泡モデルは、リング形状の輝度構造部を有するテンプレートパターンであることを特徴とする。
【００１２】
また、本発明に係る画像処理装置は、上記発明において、前記泡モデルは、リング形状の高輝度構造部とリング形状の内部に位置する高輝度構造部とを有するテンプレートパターンであることを特徴とする。
【００１３】
また、本発明に係る画像処理装置は、上記発明において、前記エッジ強度算出手段は、方向別の２次微分処理を用いてエッジ強度を算出することを特徴とする。
【００１４】
また、本発明に係る画像処理装置は、上記発明において、前記相関値算出手段は、複数種類の泡モデルとの相関値を算出し、前記泡領域検出手段は、算出された複数種類の泡モデルとの相関値を基に泡領域を検出することを特徴とする。
【００１５】
また、本発明に係る画像処理装置は、上記発明において、画像内のエッジに基づき画像を領域分割する領域分割手段を更に備え、前記泡領域検出手段は、相関値及び領域分割結果を基に、泡領域を検出することを特徴とする。
【００１６】
また、本発明に係る画像処理装置は、上記発明において、前記泡領域検出手段の検出結果に対し、モルフォロジ処理を行うモルフォロジ処理手段を更に備えることを特徴とする。
【００１７】
また、本発明に係る画像処理装置は、上記発明において、前記画像は、体腔内を撮像した画像であることを特徴とする。
【００１８】
また、本発明に係る画像処理プログラムは、画像内の泡領域を検出する処理を画像処理装置に実行させる画像処理プログラムであって、前記画像処理装置に、画像内の画素のエッジ強度を算出するエッジ強度算出手順と、算出されたエッジ強度と泡画像の特徴を基に予め設定された泡モデルの相関値を算出する相関値算出手順と、算出された相関値を基に泡領域を検出する泡領域検出手順と、を実行させることを特徴とする。
【００１９】
また、本発明に係る画像処理プログラムは、上記発明において、相関値の算出に用いる前記泡モデルは、弧形状の輝度構造部を有するテンプレートパターンであることを特徴とする。
【００２０】
また、本発明に係る画像処理プログラムは、上記発明において、相関値の算出に用いる前記泡モデルは、リング形状の輝度構造部を有するテンプレートパターンであることを特徴とする。
【００２１】
また、本発明に係る画像処理プログラムは、上記発明において、相関値の算出に用いる前記泡モデルは、リング形状の高輝度構造部とリング形状の内部に位置する高輝度構造部とを有するテンプレートパターンであることを特徴とする。
【００２２】
また、本発明に係る画像処理プログラムは、上記発明において、前記エッジ強度算出手順は、方向別の２次微分処理を用いてエッジ強度を算出することを特徴とする。
【００２３】
また、本発明に係る画像処理プログラムは、上記発明において、前記相関値算出手順は、複数種類の泡モデルとの相関値を算出し、前記泡領域検出手順は、算出された複数種類の泡モデルとの相関値を基に泡領域を検出することを特徴とする。
【００２４】
また、本発明に係る画像処理プログラムは、上記発明において、前記画像処理装置に、画像内のエッジに基づき画像を領域分割する領域分割手順を更に実行させ、前記泡領域検出手順は、相関値及び領域分割結果を基に、泡領域を検出することを特徴とする。
【００２５】
また、本発明に係る画像処理プログラムは、上記発明において、前記画像処理装置に、前記泡領域検出手順の検出結果に対し、モルフォロジ処理を行うモルフォロジ処理手順を更に実行させることを特徴とする。
【００２６】
また、本発明に係る画像処理プログラムは、上記発明において、前記画像は、体腔内を撮像した画像であることを特徴とする。
【発明の効果】
【００２７】
本発明に係る画像処理装置及び画像処理プログラムによれば、画像内の画素のエッジ強度を算出し、算出されたエッジ強度と泡画像の特徴を基に予め設定された泡モデルとの相関値を算出し、算出された相関値に基づき画像内の泡領域を検出するようにしたので、画像内の泡領域を適正に検出することができるという効果を奏する。
【００２８】
また、本発明に係る画像処理装置及び画像処理プログラムによれば、算出されたエッジ強度と泡モデルとの相関値に加えて、画像内のエッジに基づき画像を領域分割した領域分割結果に基づいて画像内の泡領域を検出するようにしたので、泡の輪郭エッジに一致する、より正確な泡領域の検出が可能になり、適正な患部検出等に役立てることができるという効果を奏する。
【発明を実施するための最良の形態】
【００２９】
本発明を実施するための最良の形態について図面を参照して説明する。以下に説明する本実施の形態では、カプセル型内視鏡等により撮像して得られた体腔内画像より泡領域を検出する画像処理装置を示す。なお、通常カプセル型内視鏡等により撮像される体腔内画像は、各画素位置においてＲ（赤），Ｇ（緑），Ｂ（青）の各色に対する画素レベル（画素値）を持つカラー画像である。しかし、本実施の形態での体腔内画像とは、上記のカラー画像を既に公知の変換により、輝度（ＹＣｂＣｒ変換）、明度（ＨＳＩ変換）等の濃淡画像へ変換したものとする。変換に関しては、泡部分の画像情報が失われないほど良いが、通常、色素や染色剤等を使用しない場合の体腔内画像の色調変化は、血液中のヘモグロビンの吸収帯域（波長）に最も依存し、構造情報は一般にＧ成分に多く含まれることが知られているため、単にカラー画像のうちのＧ成分を濃淡画像としても良い。
【００３０】
（実施の形態１）
図１は、本実施の形態１の画像処理装置の構成を示す概略ブロック図であり、図２は、カプセル型内視鏡等により撮像された泡を含む体腔内画像例を示す図である。本実施の形態１の画像処理装置１００は、体腔内を撮像して得られた図２に示すような体腔内画像内の画素のエッジ強度を算出するエッジ強度算出部１０１と、算出されたエッジ強度と泡画像の特徴を基に予め設定された泡モデルとの相関値を算出する相関値算出部１０２と、算出された相関値を基に画像内の泡領域を検出する泡領域検出部１０３とを備えるマイクロコンピュータ構成の演算部１１０と、取得した体腔内画像及び各部で利用するデータを保存するメモリ１２０とから構成されている。なお、処理対象の体腔内画像を画像処理装置１００に入力するための構成や、出力後の泡領域検出結果を処理する構成に関しては、本実施の形態では特に限定しない。
【００３１】
図３は、本実施の形態１の画像処理装置１００の演算部１１０により実行される処理の流れを示す概略フローチャートである。以下、図１に示した構成と対比しながら、画像処理手順について説明する。
【００３２】
まず、演算部１１０は、処理対象となる体腔内画像を取得する（ステップＳ１０１）。次に、エッジ強度算出部１０１は、取得した体腔内画像の画素のエッジ強度を算出する（ステップＳ１０２）。エッジ強度の算出には様々な方法があるが、ここでは方向別の２次微分処理を用いる方法を示す。図４は、エッジ強度算出における２次微分算出の方向を示す説明図である。まず、体腔内画像の画素(ｘ，ｙ)に対して、式（１）〜式（４）に従い、図４に示すような、水平方向の２次微分ｄＨ、垂直方向の２次微分ｄＶ、斜め１方向の２次微分ｄＤ１、斜め２方向の２次微分ｄＤ２を算出する。
【００３３】
ｄＨ(ｘ，ｙ)＝Ｐ(ｘ，ｙ)−０．５×(Ｐ(ｘ−ｒ，ｙ)＋Ｐ(ｘ＋ｒ，ｙ))……（１）
ｄＶ(ｘ，ｙ)＝Ｐ(ｘ，ｙ)−０．５×(Ｐ(ｘ，ｙ−ｒ)＋Ｐ(ｘ，ｙ＋ｒ))……（２）
ｄＤ１(ｘ，ｙ)
＝Ｐ(ｘ，ｙ)−０．５×(Ｐ(ｘ−ｒ´，ｙ＋ｒ´)＋Ｐ(ｘ＋ｒ´，ｙ−ｒ´))
ただし、ｒ´はｒ／(２0.5)を四捨五入した整数
…………………………………………（３）
ｄＤ２(ｘ，ｙ)
＝Ｐ(ｘ，ｙ)−０．５×(Ｐ(ｘ−ｒ´，ｙ−ｒ´)＋Ｐ(ｘ＋ｒ´，ｙ＋ｒ´))
ただし、ｒ´はｒ／(２0.5)を四捨五入した整数
…………………………………………（４）
【００３４】
なお、Ｐ(ｘ，ｙ)は、体腔内画像の座標(ｘ，ｙ)の画素値であり、ｒは２次微分算出時の画素範囲を示すパラメータ（整数）である。パラメータｒの値を小さくすれば高周波なエッジ成分を、パラメータｒの値を大きくすれば低周波なエッジ成分を算出することができる。なお、パラメータｒは、事前に静的に設定してもよいし、画像等を基に動的に設定してもよい。また、外部より与えて処理する構成としてもよい。
【００３５】
次に、式（５）に従い、方向別の２次微分算出結果のプラス側の最大値を算出し、画素におけるエッジ強度Ｅとする。
Ｅ(ｘ，ｙ)
＝max(０，ｄＨ(ｘ，ｙ)，ｄＶ(ｘ，ｙ)，ｄＤ１(ｘ，ｙ)，ｄＤ２(ｘ，ｙ)) ……（５）
【００３６】
以上の処理により、パラメータｒで指定した範囲における画素値変化が、水平、垂直、斜め１、斜め２のいずれかの方向において凸となる部分のエッジ強度が大きくなるようなエッジ強度算出が行われる。図５−１に示すような泡部分の画像中のＡ−Ａ´部分の画素値変化を図５−２に示す。図５−２に示すような泡の画像の特徴によれば、体腔内画像における泡では、泡の輪郭部及び泡の内部に撮像のための照明反射による凸エッジが存在する。このため上記の処理により、他の体腔内構造に起因する画素値変化を抑えながら、泡構造の特徴を反映したエッジ強度を得ることが可能となる。図６に、図２に示した体腔内画像に対してエッジ強度算出を行った結果例を示す。
【００３７】
以上、本実施の形態１では体腔内画像に対する方向別２次微分によるエッジ強度算出法を示したが、エッジ強度算出の方法は、体腔内画像を照明・撮像する照明系や撮像系に応じて他の方法に変更しても良い。例えば、既に公知である１次微分フィルタ（プリューウィットフィルタ、ソーベルフィルタ等）や、２次微分フィルタ（ラプラシアンフィルタ、ＬＯＧ（Ｌaplacian of Ｇaussian）フィルタ等）を用いて空間フィルタリングを行うことでも算出できる（参考文献：ＣＧ−ＡＲＴＳ協会：ディジタル画像処理：１１４ｐ、エッジ抽出）。
【００３８】
次に、相関値算出部１０２は、エッジ強度算出部１０１で算出されたエッジ強度と泡モデルとの相関値を算出する（ステップＳ１０３）。ここで、泡モデルとは、泡画像の特徴、例えば、カプセル型内視鏡の照明・撮像系により得られる体腔内画像における泡画像では、泡の輪郭部及び泡の内部に照明反射による弧形状の凸エッジが存在するという特徴に基づき設定されたものであり、図７に示すようなリング形状の高輝度構造部１３１とリング形状の内部に位置する高輝度構造部１３２とを有するテンプレートパターンである。泡モデルの作成方法は様々であるが、例えば、図８に示すような低輝度の背景部分と高輝度の構造部分とからなる基本図形を作成し、平滑化フィルタ（ガウシアンフィルタ等）による空間フィルタリングを行うことで作成できる。なお、図８に示す泡モデル作成のための基本図形例において、高輝度構造部１３１，１３２の半径Ｒ１，Ｒ２及び高輝度構造部１３１の幅ｔは、図形サイズに関するパラメータであり、事前に静的に設定してもよいし、画像等を基に動的に設定してもよい。また、外部より与えて処理する構成としてもよい。平滑化の程度を調整するパラメータに関しても同様である。
【００３９】
泡モデルに関しては、検出すべき体腔内画像における泡画像の特徴を考慮した場合、弧形状の集合が泡画像となるので、少なくとも弧形状の輝度構造部を有することが重要であり、図７に示すような泡モデル１３０に限らず、例えば図９−１〜図９−４に示すような泡モデル等を用いても良い。図９−１の泡モデル１３３は、やや楕円形状となる扁平なリング形状の輝度構造部１３４を有する。図９−２の泡モデル１３５は、対をなす２つの弧形状の輝度構造部１３６ａ，１３６ｂを有する。図９−３の泡モデル１３７は、対をなす２つの弧形状の輝度構造部１３８ａ，１３８ｂとその内部に位置する高輝度構造部１３９とを有する。図９−４の泡モデル１４０は、対をなす２つの弧形状の輝度構造部１４１ａ，１４１ｂとその内部に位置して対をなす２つの高輝度構造部１４２ａ，１４２ｂとを有する。
【００４０】
ここで、エッジ強度と泡モデルとの相関の算出に関しては、式（６）に示すように、エッジ強度と泡モデルとをフーリエ変換により周波数空間に変換し、互いの積をとってフーリエ逆変換することで実現できる。
Ｃ＝Ｆ-1｛Ｆ｛Ｅ｝×Ｆ｛Ｒ｛ａ｝｝｝ ………………………………（６）
ただし、Ｃ：相関値、Ｅ：エッジ強度、ａ：泡モデル、Ｆ｛｝：フーリエ変換、Ｆ-1｛｝：フーリエ逆変換、Ｒ｛｝：１８０度回転である。
【００４１】
図１０は、図６に示したエッジ強度算出の結果例と、図７に示した泡モデル１３０との間の相関値算出の結果を示す図である。なお、相関値算出部１０２による本処理は、エッジ強度と泡モデルとの類似性を、相関値として算出していることに他ならないため、テンプレートマッチングの手法として既に公知である他の類似度算出法（ＳＡＤ：差分絶対値和、ＳＳＤ：差分２乗和など）を利用しても良い（参考文献：ＣＧ−ＡＲＴＳ協会：ディジタル画像処理：２０３ｐ、類似度）。
【００４２】
また、本実施の形態１では、１つの泡モデルとの相関を求める例を示したが、サイズ、形状の異なる複数種類の泡モデルを予め設定しておき、各泡モデルとエッジ強度との相関値を算出した後、各画素位置毎に最大の相関値を得ることで、より多様な泡の種類に対応することができる。図１１は、図６に示したエッジ強度算出の結果例に対して、複数種類の泡モデルを用いた相関値算出結果の一例を示す図である。
【００４３】
次に、泡領域検出部１０３は、相関値算出部１０２で算出された相関値を基に体腔内画像中の泡領域を検出する（ステップＳ１０４）。泡の特徴を示す泡モデルとの相関が高い部分は、泡領域に属する可能性が高い。そこで、泡領域検出部１０３では、所定の閾値を設定し、この閾値より高い相関値を持つ部分を体腔内画像中で泡領域として検出する。図１２は、相関値に基づく泡領域の検出結果を示す図であり、白抜き部分が泡領域として検出された部分である。
【００４４】
最後に、演算部１１０は、泡領域検出部１０３が検出した泡領域の情報を出力し（ステップＳ１０５）、画像処理装置１００での処理は終了する。
【００４５】
上述したような本実施の形態１の画像処理装置１００によれば、体腔内画像内の画素のエッジ強度を算出し、算出されたエッジ強度と泡画像の特徴を基に予め設定された泡モデルとの相関値を算出し、算出された相関値に基づき体腔内画像内の泡領域を検出するようにしたので、体腔内画像内の泡領域を適正に検出することができる。よって、カプセル型内視鏡等で撮像された体腔内画像中で泡領域内の画素を無効な画素として後の画像処理の対象から除外することで、体腔内画像における臓器判定や患部検出などの検出精度の低下を抑制することが可能となる。
【００４６】
（実施の形態２）
図１３は、本発明の実施の形態２の画像処理装置の構成を示す概略ブロック図である。本実施の形態２の画像処理装置２００は、実施の形態１の画像処理装置１００におけるエッジ強度算出部１０１、相関値算出部１０２と、それぞれ同一の機能を有するエッジ強度算出部２０１、相関値算出部２０２と、体腔内画像内のエッジに基づき体腔内画像を領域分割する領域分割部２０３と、相関値算出部２０２により算出された相関値及び領域分割部２０３で分割された領域分割結果を基に体腔内画像中から泡領域を検出する泡領域検出部２０４と、泡領域検出部２０４による泡領域検出結果に対してモルフォロジ処理を行うモルフォロジ処理部２０５と、を備えるマイクロコンピュータ構成の演算部２１０と、取得した体腔内画像及び各部で利用するデータを保存するメモリ２２０とから構成されている。なお、処理対象の体腔内画像を画像処理装置２００に入力するための構成や、出力後の泡領域検出結果を処理する構成に関しては、実施の形態１の場合と同様、本発明では特に限定しない。
【００４７】
図１４は、本実施の形態２の画像処理装置２００の演算部２１０により実行される処理の流れを示す概略フローチャートである。なお、処理ステップＳ２０１〜Ｓ２０３に関しては、実施の形態１での処理ステップＳ１０１〜Ｓ１０３と同様である。以下、処理ステップＳ２０４〜Ｓ２０７に関して、図１３に示す構成と対比しながら説明する。
【００４８】
領域分割部２０３は、体腔内画像内のエッジに基づき体腔内画像を領域分割する（ステップＳ２０４）。領域分割の手法には、本願出願人による特願２００５−２４５１１に示す領域分割の手法を用いる。手順としては、まず、体腔内画像に対して、ノイズ除去を目的とする平滑化処理を行った後、各画素における画素値の勾配方向を求める。このとき勾配方向は近傍画素との輝度差が最小（負の値が最大）となる方向とする。次に、各画素が画素値の勾配方向に沿って到達する極値画素を求め、近接する極値画素に到達した各画素が同一の領域となるように画像を領域分割する。図１５は、座標（ｘ１，ｙ１）で示される或る注目画素Ｔから座標（ｘ４，ｙ４）で示される極値画素Ｍまでの走査例を示す模式図である。また、図１６は、図２に示したような体腔内画像に対して領域分割部２０３で領域分割を行った結果例を示す図である。
【００４９】
なお、他の領域分割の方法として、例えば分水嶺（watershed）アルゴリズム（参考：Luc Vincent and Pierre Soille. Watersheds in digital spaces:An efficient algorithm based on immersion simulations. Transactionson Pattern Analysis and Machine Intelligence, Vol.13, No.6, pp.583-598,June 1991.）を用いる方法もある。分水嶺アルゴリズムは、画像の画素値情報を高度とみなした地形において水を満たしていく際に、異なる窪みに溜まる水の間で境界ができるように画像を分割していく方法である。このため、体腔内画像に対し、適当な平滑化を行った後に、分水嶺アルゴリズムを実行することにより、図１６に示す結果と類似した領域分割結果を得ることが可能である。
【００５０】
次に、泡領域検出部２０４は、相関値算出部２０２により算出された相関値及び領域分割部２０３で分割された領域分割結果を基に体腔内画像中から泡領域を検出する（ステップＳ２０５）。実際には、まず領域分割結果の各領域毎に相関値の平均値を求める。泡領域に属する領域では、高い相関値が得られるため、所定の閾値を設定し、この閾値より高い平均相関値となる領域を泡領域として検出する。図１７は、泡領域検出部２０４による検出結果を示す図である。図１７から確認できるように、領域分割部２０３により領域分割された結果を利用することにより、泡領域の境界が体腔内画像での泡の輪郭エッジと一致し、より正確な泡領域の境界を得ることができる。
【００５１】
ここで、図１７中のＡ部、Ｂ部に示すように、ノイズなどの影響で部分的に適切な境界が得られない場合もある。また、図１２に示した実施の形態１の泡領域検出結果のように、領域内部に孔が存在したり、泡領域でない細かな領域が存在する場合もある。そこでモルフォロジ処理部２０５は、モルフォロジ処理（参考文献：コロナ社：モルフォロジー：小畑秀文著）により、これらノイズによる泡領域の形状の不整を整える（ステップＳ２０６）。モルフォロジ処理の基本は、膨張（dilation）、収縮（erosion）の２つの処理であり、それぞれ対象領域に対して構造要素と呼ばれる基準図形（基準画像）を用いて処理する。各処理の内容は以下の通りである。
膨張（dilation）：構造要素Ｂの原点を対象領域Ａ内で平行移動させた際に構造要素Ｂが覆う領域を出力する（図１８参照）。
収縮（erosion）：構造要素Ｂを対象領域Ａ内で平行移動した際に構造要素Ｂの原点が覆う領域を出力する（図１９参照）。
【００５２】
これら２つの処理の組合せからなる処理として、closing（対象領域に対してdilationを行った後、erosionを行う：図２０参照）と、opening（対象領域に対してerosionを行った後、dilationを行う）とがある。結果的には以下の処理内容となる。
closing：構造要素Ｂを対象領域Ａの外側から外接させて移動した際に構造要素Ｂが囲む領域を出力する（図２０参照）。
opening：構造要素Ｂを対象領域Ａの内側から内接させて移動した際に構造要素Ｂが囲む領域を出力する。
【００５３】
これらの処理を検出した泡領域に対して行うことにより、形状の不整を整えることができる。図２１は、図１７に示した泡領域検出結果に対して、円形構造要素によるclosing処理を行った結果例を示す図である。図１７中のＡ部、Ｂ部の形状が整えられている様子が確認できる。領域内の孔を除去するためにはclosing処理を、泡領域外の細かなノイズ領域を除去するためにはopening処理を、検出した泡領域より少し広めの領域を得るためにdilation処理を、というようにモルフォロジ処理部２０５は、用途によって様々なモルフォロジ処理を行う。
【００５４】
最後に、演算部２１０は、整えられた泡領域情報を出力し（ステップＳ２０７）、画像処理装置２００での処理は終了する。
【００５５】
上述したような本実施の形態２の画像処理装置２００によれば、算出されたエッジ強度と泡モデルとの相関値に加えて、体腔内画像内のエッジに基づき体腔内画像を領域分割した領域分割結果に基づいて、画像内の泡領域を検出するので、泡の輪郭エッジに一致する、より正確な泡領域の検出が可能になる。よって、患部の近傍に泡領域が存在するような場合でも、患部を含めて泡領域として検出してしまうことがなく、より適正な患部検出等に役立てることができる。
【００５６】
なお、前述のエッジ強度算出部１０１，２０１、相関値算出部１０２，２０２、領域分割部２０３、泡領域検出部１０３，２０４、モルフォロジ処理部２０５の各部による図３、図１４等に示す処理手順は、あらかじめ用意された画像処理プログラムをパーソナルコンピュータなどのコンピュータで構成された画像処理装置に実行させることにより実現するようにしてもよい。この画像処理プログラムは、インターネットなどのネットワークを介して配布することもできる。また、この画像処理プログラムは、ハードディスク、ＦＤ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることにより実行することもできる。
【図面の簡単な説明】
【００５７】
【図１】本発明の実施の形態１の画像処理装置の構成を示す概略ブロック図である。
【図２】カプセル型内視鏡等により撮像された泡を含む体腔内画像例を示す図である。
【図３】本実施の形態１の画像処理装置の演算部により実行される処理の流れを示す概略フローチャートである。
【図４】エッジ強度算出における２次微分算出の方向を示す説明図である。
【図５−１】泡部分の画像例を示す図である。
【図５−２】図５−１の泡部分の画像中のＡ−Ａ´部分の画素値変化を示す図である。
【図６】エッジ強度算出の結果例を示す図である。
【図７】泡モデルの一例を示す図である。
【図８】泡モデル作成のための基本図形例を示す図である。
【図９−１】泡モデルの変形例を示す図である。
【図９−２】泡モデルの変形例を示す図である。
【図９−３】泡モデルの変形例を示す図である。
【図９−４】泡モデルの変形例を示す図である。
【図１０】図６に示したエッジ強度算出の結果例と、図７に示した泡モデルとの間の相関値算出の結果を示す図である。
【図１１】図６に示したエッジ強度算出の結果例に対して、複数種類の泡モデルを用いた相関値算出結果の一例を示す図である。
【図１２】相関値に基づく泡領域の検出結果を示す図である。
【図１３】本発明の実施の形態２の画像処理装置の構成を示す概略ブロック図である。
【図１４】実施の形態２の画像処理装置の演算部により実行される処理の流れを示す概略フローチャートである。
【図１５】座標（ｘ１，ｙ１）で示される或る注目画素Ｔから座標（ｘ４，ｙ４）で示される極値画素Ｍまでの走査例を示す模式図である。
【図１６】図２に示した体腔内画像に対して領域分割部で領域分割を行った結果例を示す図である。
【図１７】泡領域検出部による検出結果を示す図である。
【図１８】膨張処理を説明するための図である。
【図１９】収縮処理を説明するための図である。
【図２０】closing処理を説明するための図である。
【図２１】図１７に示した泡領域検出結果に対して、円形構造要素によるclosing処理を行った結果例を示す図である。
【符号の説明】
【００５８】
１０１ エッジ強度算出部
１０２ 相関値算出部
１０３ 泡領域検出部
１３０ 泡モデル
１３１，１３２ 高輝度構造部
１３３，１３５ 泡モデル
１３６ａ，１３６ｂ 弧形状の輝度構造部
１３７ 泡モデル
１３８ａ，１３８ｂ 弧形状の輝度構造部
１４０ 泡モデル
２０１ エッジ強度算出部
２０２ 相関値算出部
２０３ 領域分割部
２０４ 泡領域検出部
２０５ モルフォロジ処理部
【技術分野】
【０００１】
本発明は、画像内の泡領域を検出する画像処理装置及び画像処理プログラム、特に、体腔内を撮像した画像における泡領域を検出する画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
特許文献１は、体腔内画像における画像処理として、カプセル型内視鏡画像の平均色情報を基に臓器を判定する処理を開示している。具体的には、時系列の連続画像として取り込まれるカプセル型内視鏡画像の各画像において、画素の赤色レベルの画像内平均値、及び画素の青色レベルの画像内平均値を算出し、この値を時系列方向に平滑化した後、各色レベルの変化量が所定以上となる変色エッジ位置を検出して、臓器の切り替わりを判定している。
【０００３】
また、特許文献２は、カプセル型内視鏡画像内の各画素の色情報を基に患部領域を検出する処理を開示している。具体的には、画像内の各画素又は平均化した画素値を、その色情報に基づく特徴空間に写像し、特徴空間内でクラスタリングした後に正常粘膜クラスタと患部クラスタを特定し、患部クラスタに属する画素領域を患部として検出している。
【０００４】
【特許文献１】特開２００４−３３７５９６号公報
【特許文献２】特開２００５−１９２８８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、カプセル型内視鏡が撮像する体腔内には、気泡（以下、単に「泡」という）が存在するため、体腔内画像には粘膜と同時に泡が撮像される場合がよくある。泡が画像内に存在する場合、特許文献１で算出している各色レベルの画像内平均値は、泡の影響により、本来の粘膜の色レベルを十分に反映した値とならない。このため、臓器判定精度が低下してしまう。
【０００６】
また、泡領域の画素は、色情報に基づく特徴空間内にて非常に幅広い分布となり、正常粘膜や患部の分布と重なる。このため、特許文献２においても、泡領域の画素情報を含めて患部検出を行う場合、検出精度が低下してしまう。
【０００７】
いずれの場合にも、体腔内画像において泡領域を検出することができれば、泡領域内の画素を無効な画素として後段の処理から除外することで、臓器判定や患部検出の精度低下を抑制できる。しかしながら、これまで体腔内画像より泡領域を検出するという課題に対し、有効な解決策が見出されていない現状にある。
【０００８】
本発明は、上記に鑑みてなされたものであって、臓器判定や患部検出の精度低下の要因となる泡領域を、体腔内画像より検出することができる画像処理装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、画像内の画素のエッジ強度を算出するエッジ強度算出手段と、算出されたエッジ強度と泡画像の特徴を基に予め設定された泡モデルとの相関値を算出する相関値算出手段と、算出された相関値を基に泡領域を検出する泡領域検出手段と、を備えることを特徴とする。
【００１０】
また、本発明に係る画像処理装置は、上記発明において、前記泡モデルは、弧形状の輝度構造部を有するテンプレートパターンであることを特徴とする。
【００１１】
また、本発明に係る画像処理装置は、上記発明において、前記泡モデルは、リング形状の輝度構造部を有するテンプレートパターンであることを特徴とする。
【００１２】
また、本発明に係る画像処理装置は、上記発明において、前記泡モデルは、リング形状の高輝度構造部とリング形状の内部に位置する高輝度構造部とを有するテンプレートパターンであることを特徴とする。
【００１３】
また、本発明に係る画像処理装置は、上記発明において、前記エッジ強度算出手段は、方向別の２次微分処理を用いてエッジ強度を算出することを特徴とする。
【００１４】
また、本発明に係る画像処理装置は、上記発明において、前記相関値算出手段は、複数種類の泡モデルとの相関値を算出し、前記泡領域検出手段は、算出された複数種類の泡モデルとの相関値を基に泡領域を検出することを特徴とする。
【００１５】
また、本発明に係る画像処理装置は、上記発明において、画像内のエッジに基づき画像を領域分割する領域分割手段を更に備え、前記泡領域検出手段は、相関値及び領域分割結果を基に、泡領域を検出することを特徴とする。
【００１６】
また、本発明に係る画像処理装置は、上記発明において、前記泡領域検出手段の検出結果に対し、モルフォロジ処理を行うモルフォロジ処理手段を更に備えることを特徴とする。
【００１７】
また、本発明に係る画像処理装置は、上記発明において、前記画像は、体腔内を撮像した画像であることを特徴とする。
【００１８】
また、本発明に係る画像処理プログラムは、画像内の泡領域を検出する処理を画像処理装置に実行させる画像処理プログラムであって、前記画像処理装置に、画像内の画素のエッジ強度を算出するエッジ強度算出手順と、算出されたエッジ強度と泡画像の特徴を基に予め設定された泡モデルの相関値を算出する相関値算出手順と、算出された相関値を基に泡領域を検出する泡領域検出手順と、を実行させることを特徴とする。
【００１９】
また、本発明に係る画像処理プログラムは、上記発明において、相関値の算出に用いる前記泡モデルは、弧形状の輝度構造部を有するテンプレートパターンであることを特徴とする。
【００２０】
また、本発明に係る画像処理プログラムは、上記発明において、相関値の算出に用いる前記泡モデルは、リング形状の輝度構造部を有するテンプレートパターンであることを特徴とする。
【００２１】
また、本発明に係る画像処理プログラムは、上記発明において、相関値の算出に用いる前記泡モデルは、リング形状の高輝度構造部とリング形状の内部に位置する高輝度構造部とを有するテンプレートパターンであることを特徴とする。
【００２２】
また、本発明に係る画像処理プログラムは、上記発明において、前記エッジ強度算出手順は、方向別の２次微分処理を用いてエッジ強度を算出することを特徴とする。
【００２３】
また、本発明に係る画像処理プログラムは、上記発明において、前記相関値算出手順は、複数種類の泡モデルとの相関値を算出し、前記泡領域検出手順は、算出された複数種類の泡モデルとの相関値を基に泡領域を検出することを特徴とする。
【００２４】
また、本発明に係る画像処理プログラムは、上記発明において、前記画像処理装置に、画像内のエッジに基づき画像を領域分割する領域分割手順を更に実行させ、前記泡領域検出手順は、相関値及び領域分割結果を基に、泡領域を検出することを特徴とする。
【００２５】
また、本発明に係る画像処理プログラムは、上記発明において、前記画像処理装置に、前記泡領域検出手順の検出結果に対し、モルフォロジ処理を行うモルフォロジ処理手順を更に実行させることを特徴とする。
【００２６】
また、本発明に係る画像処理プログラムは、上記発明において、前記画像は、体腔内を撮像した画像であることを特徴とする。
【発明の効果】
【００２７】
本発明に係る画像処理装置及び画像処理プログラムによれば、画像内の画素のエッジ強度を算出し、算出されたエッジ強度と泡画像の特徴を基に予め設定された泡モデルとの相関値を算出し、算出された相関値に基づき画像内の泡領域を検出するようにしたので、画像内の泡領域を適正に検出することができるという効果を奏する。
【００２８】
また、本発明に係る画像処理装置及び画像処理プログラムによれば、算出されたエッジ強度と泡モデルとの相関値に加えて、画像内のエッジに基づき画像を領域分割した領域分割結果に基づいて画像内の泡領域を検出するようにしたので、泡の輪郭エッジに一致する、より正確な泡領域の検出が可能になり、適正な患部検出等に役立てることができるという効果を奏する。
【発明を実施するための最良の形態】
【００２９】
本発明を実施するための最良の形態について図面を参照して説明する。以下に説明する本実施の形態では、カプセル型内視鏡等により撮像して得られた体腔内画像より泡領域を検出する画像処理装置を示す。なお、通常カプセル型内視鏡等により撮像される体腔内画像は、各画素位置においてＲ（赤），Ｇ（緑），Ｂ（青）の各色に対する画素レベル（画素値）を持つカラー画像である。しかし、本実施の形態での体腔内画像とは、上記のカラー画像を既に公知の変換により、輝度（ＹＣｂＣｒ変換）、明度（ＨＳＩ変換）等の濃淡画像へ変換したものとする。変換に関しては、泡部分の画像情報が失われないほど良いが、通常、色素や染色剤等を使用しない場合の体腔内画像の色調変化は、血液中のヘモグロビンの吸収帯域（波長）に最も依存し、構造情報は一般にＧ成分に多く含まれることが知られているため、単にカラー画像のうちのＧ成分を濃淡画像としても良い。
【００３０】
（実施の形態１）
図１は、本実施の形態１の画像処理装置の構成を示す概略ブロック図であり、図２は、カプセル型内視鏡等により撮像された泡を含む体腔内画像例を示す図である。本実施の形態１の画像処理装置１００は、体腔内を撮像して得られた図２に示すような体腔内画像内の画素のエッジ強度を算出するエッジ強度算出部１０１と、算出されたエッジ強度と泡画像の特徴を基に予め設定された泡モデルとの相関値を算出する相関値算出部１０２と、算出された相関値を基に画像内の泡領域を検出する泡領域検出部１０３とを備えるマイクロコンピュータ構成の演算部１１０と、取得した体腔内画像及び各部で利用するデータを保存するメモリ１２０とから構成されている。なお、処理対象の体腔内画像を画像処理装置１００に入力するための構成や、出力後の泡領域検出結果を処理する構成に関しては、本実施の形態では特に限定しない。
【００３１】
図３は、本実施の形態１の画像処理装置１００の演算部１１０により実行される処理の流れを示す概略フローチャートである。以下、図１に示した構成と対比しながら、画像処理手順について説明する。
【００３２】
まず、演算部１１０は、処理対象となる体腔内画像を取得する（ステップＳ１０１）。次に、エッジ強度算出部１０１は、取得した体腔内画像の画素のエッジ強度を算出する（ステップＳ１０２）。エッジ強度の算出には様々な方法があるが、ここでは方向別の２次微分処理を用いる方法を示す。図４は、エッジ強度算出における２次微分算出の方向を示す説明図である。まず、体腔内画像の画素(ｘ，ｙ)に対して、式（１）〜式（４）に従い、図４に示すような、水平方向の２次微分ｄＨ、垂直方向の２次微分ｄＶ、斜め１方向の２次微分ｄＤ１、斜め２方向の２次微分ｄＤ２を算出する。
【００３３】
ｄＨ(ｘ，ｙ)＝Ｐ(ｘ，ｙ)−０．５×(Ｐ(ｘ−ｒ，ｙ)＋Ｐ(ｘ＋ｒ，ｙ))……（１）
ｄＶ(ｘ，ｙ)＝Ｐ(ｘ，ｙ)−０．５×(Ｐ(ｘ，ｙ−ｒ)＋Ｐ(ｘ，ｙ＋ｒ))……（２）
ｄＤ１(ｘ，ｙ)
＝Ｐ(ｘ，ｙ)−０．５×(Ｐ(ｘ−ｒ´，ｙ＋ｒ´)＋Ｐ(ｘ＋ｒ´，ｙ−ｒ´))
ただし、ｒ´はｒ／(２0.5)を四捨五入した整数
…………………………………………（３）
ｄＤ２(ｘ，ｙ)
＝Ｐ(ｘ，ｙ)−０．５×(Ｐ(ｘ−ｒ´，ｙ−ｒ´)＋Ｐ(ｘ＋ｒ´，ｙ＋ｒ´))
ただし、ｒ´はｒ／(２0.5)を四捨五入した整数
…………………………………………（４）
【００３４】
なお、Ｐ(ｘ，ｙ)は、体腔内画像の座標(ｘ，ｙ)の画素値であり、ｒは２次微分算出時の画素範囲を示すパラメータ（整数）である。パラメータｒの値を小さくすれば高周波なエッジ成分を、パラメータｒの値を大きくすれば低周波なエッジ成分を算出することができる。なお、パラメータｒは、事前に静的に設定してもよいし、画像等を基に動的に設定してもよい。また、外部より与えて処理する構成としてもよい。
【００３５】
次に、式（５）に従い、方向別の２次微分算出結果のプラス側の最大値を算出し、画素におけるエッジ強度Ｅとする。
Ｅ(ｘ，ｙ)
＝max(０，ｄＨ(ｘ，ｙ)，ｄＶ(ｘ，ｙ)，ｄＤ１(ｘ，ｙ)，ｄＤ２(ｘ，ｙ)) ……（５）
【００３６】
以上の処理により、パラメータｒで指定した範囲における画素値変化が、水平、垂直、斜め１、斜め２のいずれかの方向において凸となる部分のエッジ強度が大きくなるようなエッジ強度算出が行われる。図５−１に示すような泡部分の画像中のＡ−Ａ´部分の画素値変化を図５−２に示す。図５−２に示すような泡の画像の特徴によれば、体腔内画像における泡では、泡の輪郭部及び泡の内部に撮像のための照明反射による凸エッジが存在する。このため上記の処理により、他の体腔内構造に起因する画素値変化を抑えながら、泡構造の特徴を反映したエッジ強度を得ることが可能となる。図６に、図２に示した体腔内画像に対してエッジ強度算出を行った結果例を示す。
【００３７】
以上、本実施の形態１では体腔内画像に対する方向別２次微分によるエッジ強度算出法を示したが、エッジ強度算出の方法は、体腔内画像を照明・撮像する照明系や撮像系に応じて他の方法に変更しても良い。例えば、既に公知である１次微分フィルタ（プリューウィットフィルタ、ソーベルフィルタ等）や、２次微分フィルタ（ラプラシアンフィルタ、ＬＯＧ（Ｌaplacian of Ｇaussian）フィルタ等）を用いて空間フィルタリングを行うことでも算出できる（参考文献：ＣＧ−ＡＲＴＳ協会：ディジタル画像処理：１１４ｐ、エッジ抽出）。
【００３８】
次に、相関値算出部１０２は、エッジ強度算出部１０１で算出されたエッジ強度と泡モデルとの相関値を算出する（ステップＳ１０３）。ここで、泡モデルとは、泡画像の特徴、例えば、カプセル型内視鏡の照明・撮像系により得られる体腔内画像における泡画像では、泡の輪郭部及び泡の内部に照明反射による弧形状の凸エッジが存在するという特徴に基づき設定されたものであり、図７に示すようなリング形状の高輝度構造部１３１とリング形状の内部に位置する高輝度構造部１３２とを有するテンプレートパターンである。泡モデルの作成方法は様々であるが、例えば、図８に示すような低輝度の背景部分と高輝度の構造部分とからなる基本図形を作成し、平滑化フィルタ（ガウシアンフィルタ等）による空間フィルタリングを行うことで作成できる。なお、図８に示す泡モデル作成のための基本図形例において、高輝度構造部１３１，１３２の半径Ｒ１，Ｒ２及び高輝度構造部１３１の幅ｔは、図形サイズに関するパラメータであり、事前に静的に設定してもよいし、画像等を基に動的に設定してもよい。また、外部より与えて処理する構成としてもよい。平滑化の程度を調整するパラメータに関しても同様である。
【００３９】
泡モデルに関しては、検出すべき体腔内画像における泡画像の特徴を考慮した場合、弧形状の集合が泡画像となるので、少なくとも弧形状の輝度構造部を有することが重要であり、図７に示すような泡モデル１３０に限らず、例えば図９−１〜図９−４に示すような泡モデル等を用いても良い。図９−１の泡モデル１３３は、やや楕円形状となる扁平なリング形状の輝度構造部１３４を有する。図９−２の泡モデル１３５は、対をなす２つの弧形状の輝度構造部１３６ａ，１３６ｂを有する。図９−３の泡モデル１３７は、対をなす２つの弧形状の輝度構造部１３８ａ，１３８ｂとその内部に位置する高輝度構造部１３９とを有する。図９−４の泡モデル１４０は、対をなす２つの弧形状の輝度構造部１４１ａ，１４１ｂとその内部に位置して対をなす２つの高輝度構造部１４２ａ，１４２ｂとを有する。
【００４０】
ここで、エッジ強度と泡モデルとの相関の算出に関しては、式（６）に示すように、エッジ強度と泡モデルとをフーリエ変換により周波数空間に変換し、互いの積をとってフーリエ逆変換することで実現できる。
Ｃ＝Ｆ-1｛Ｆ｛Ｅ｝×Ｆ｛Ｒ｛ａ｝｝｝ ………………………………（６）
ただし、Ｃ：相関値、Ｅ：エッジ強度、ａ：泡モデル、Ｆ｛｝：フーリエ変換、Ｆ-1｛｝：フーリエ逆変換、Ｒ｛｝：１８０度回転である。
【００４１】
図１０は、図６に示したエッジ強度算出の結果例と、図７に示した泡モデル１３０との間の相関値算出の結果を示す図である。なお、相関値算出部１０２による本処理は、エッジ強度と泡モデルとの類似性を、相関値として算出していることに他ならないため、テンプレートマッチングの手法として既に公知である他の類似度算出法（ＳＡＤ：差分絶対値和、ＳＳＤ：差分２乗和など）を利用しても良い（参考文献：ＣＧ−ＡＲＴＳ協会：ディジタル画像処理：２０３ｐ、類似度）。
【００４２】
また、本実施の形態１では、１つの泡モデルとの相関を求める例を示したが、サイズ、形状の異なる複数種類の泡モデルを予め設定しておき、各泡モデルとエッジ強度との相関値を算出した後、各画素位置毎に最大の相関値を得ることで、より多様な泡の種類に対応することができる。図１１は、図６に示したエッジ強度算出の結果例に対して、複数種類の泡モデルを用いた相関値算出結果の一例を示す図である。
【００４３】
次に、泡領域検出部１０３は、相関値算出部１０２で算出された相関値を基に体腔内画像中の泡領域を検出する（ステップＳ１０４）。泡の特徴を示す泡モデルとの相関が高い部分は、泡領域に属する可能性が高い。そこで、泡領域検出部１０３では、所定の閾値を設定し、この閾値より高い相関値を持つ部分を体腔内画像中で泡領域として検出する。図１２は、相関値に基づく泡領域の検出結果を示す図であり、白抜き部分が泡領域として検出された部分である。
【００４４】
最後に、演算部１１０は、泡領域検出部１０３が検出した泡領域の情報を出力し（ステップＳ１０５）、画像処理装置１００での処理は終了する。
【００４５】
上述したような本実施の形態１の画像処理装置１００によれば、体腔内画像内の画素のエッジ強度を算出し、算出されたエッジ強度と泡画像の特徴を基に予め設定された泡モデルとの相関値を算出し、算出された相関値に基づき体腔内画像内の泡領域を検出するようにしたので、体腔内画像内の泡領域を適正に検出することができる。よって、カプセル型内視鏡等で撮像された体腔内画像中で泡領域内の画素を無効な画素として後の画像処理の対象から除外することで、体腔内画像における臓器判定や患部検出などの検出精度の低下を抑制することが可能となる。
【００４６】
（実施の形態２）
図１３は、本発明の実施の形態２の画像処理装置の構成を示す概略ブロック図である。本実施の形態２の画像処理装置２００は、実施の形態１の画像処理装置１００におけるエッジ強度算出部１０１、相関値算出部１０２と、それぞれ同一の機能を有するエッジ強度算出部２０１、相関値算出部２０２と、体腔内画像内のエッジに基づき体腔内画像を領域分割する領域分割部２０３と、相関値算出部２０２により算出された相関値及び領域分割部２０３で分割された領域分割結果を基に体腔内画像中から泡領域を検出する泡領域検出部２０４と、泡領域検出部２０４による泡領域検出結果に対してモルフォロジ処理を行うモルフォロジ処理部２０５と、を備えるマイクロコンピュータ構成の演算部２１０と、取得した体腔内画像及び各部で利用するデータを保存するメモリ２２０とから構成されている。なお、処理対象の体腔内画像を画像処理装置２００に入力するための構成や、出力後の泡領域検出結果を処理する構成に関しては、実施の形態１の場合と同様、本発明では特に限定しない。
【００４７】
図１４は、本実施の形態２の画像処理装置２００の演算部２１０により実行される処理の流れを示す概略フローチャートである。なお、処理ステップＳ２０１〜Ｓ２０３に関しては、実施の形態１での処理ステップＳ１０１〜Ｓ１０３と同様である。以下、処理ステップＳ２０４〜Ｓ２０７に関して、図１３に示す構成と対比しながら説明する。
【００４８】
領域分割部２０３は、体腔内画像内のエッジに基づき体腔内画像を領域分割する（ステップＳ２０４）。領域分割の手法には、本願出願人による特願２００５−２４５１１に示す領域分割の手法を用いる。手順としては、まず、体腔内画像に対して、ノイズ除去を目的とする平滑化処理を行った後、各画素における画素値の勾配方向を求める。このとき勾配方向は近傍画素との輝度差が最小（負の値が最大）となる方向とする。次に、各画素が画素値の勾配方向に沿って到達する極値画素を求め、近接する極値画素に到達した各画素が同一の領域となるように画像を領域分割する。図１５は、座標（ｘ１，ｙ１）で示される或る注目画素Ｔから座標（ｘ４，ｙ４）で示される極値画素Ｍまでの走査例を示す模式図である。また、図１６は、図２に示したような体腔内画像に対して領域分割部２０３で領域分割を行った結果例を示す図である。
【００４９】
なお、他の領域分割の方法として、例えば分水嶺（watershed）アルゴリズム（参考：Luc Vincent and Pierre Soille. Watersheds in digital spaces:An efficient algorithm based on immersion simulations. Transactionson Pattern Analysis and Machine Intelligence, Vol.13, No.6, pp.583-598,June 1991.）を用いる方法もある。分水嶺アルゴリズムは、画像の画素値情報を高度とみなした地形において水を満たしていく際に、異なる窪みに溜まる水の間で境界ができるように画像を分割していく方法である。このため、体腔内画像に対し、適当な平滑化を行った後に、分水嶺アルゴリズムを実行することにより、図１６に示す結果と類似した領域分割結果を得ることが可能である。
【００５０】
次に、泡領域検出部２０４は、相関値算出部２０２により算出された相関値及び領域分割部２０３で分割された領域分割結果を基に体腔内画像中から泡領域を検出する（ステップＳ２０５）。実際には、まず領域分割結果の各領域毎に相関値の平均値を求める。泡領域に属する領域では、高い相関値が得られるため、所定の閾値を設定し、この閾値より高い平均相関値となる領域を泡領域として検出する。図１７は、泡領域検出部２０４による検出結果を示す図である。図１７から確認できるように、領域分割部２０３により領域分割された結果を利用することにより、泡領域の境界が体腔内画像での泡の輪郭エッジと一致し、より正確な泡領域の境界を得ることができる。
【００５１】
ここで、図１７中のＡ部、Ｂ部に示すように、ノイズなどの影響で部分的に適切な境界が得られない場合もある。また、図１２に示した実施の形態１の泡領域検出結果のように、領域内部に孔が存在したり、泡領域でない細かな領域が存在する場合もある。そこでモルフォロジ処理部２０５は、モルフォロジ処理（参考文献：コロナ社：モルフォロジー：小畑秀文著）により、これらノイズによる泡領域の形状の不整を整える（ステップＳ２０６）。モルフォロジ処理の基本は、膨張（dilation）、収縮（erosion）の２つの処理であり、それぞれ対象領域に対して構造要素と呼ばれる基準図形（基準画像）を用いて処理する。各処理の内容は以下の通りである。
膨張（dilation）：構造要素Ｂの原点を対象領域Ａ内で平行移動させた際に構造要素Ｂが覆う領域を出力する（図１８参照）。
収縮（erosion）：構造要素Ｂを対象領域Ａ内で平行移動した際に構造要素Ｂの原点が覆う領域を出力する（図１９参照）。
【００５２】
これら２つの処理の組合せからなる処理として、closing（対象領域に対してdilationを行った後、erosionを行う：図２０参照）と、opening（対象領域に対してerosionを行った後、dilationを行う）とがある。結果的には以下の処理内容となる。
closing：構造要素Ｂを対象領域Ａの外側から外接させて移動した際に構造要素Ｂが囲む領域を出力する（図２０参照）。
opening：構造要素Ｂを対象領域Ａの内側から内接させて移動した際に構造要素Ｂが囲む領域を出力する。
【００５３】
これらの処理を検出した泡領域に対して行うことにより、形状の不整を整えることができる。図２１は、図１７に示した泡領域検出結果に対して、円形構造要素によるclosing処理を行った結果例を示す図である。図１７中のＡ部、Ｂ部の形状が整えられている様子が確認できる。領域内の孔を除去するためにはclosing処理を、泡領域外の細かなノイズ領域を除去するためにはopening処理を、検出した泡領域より少し広めの領域を得るためにdilation処理を、というようにモルフォロジ処理部２０５は、用途によって様々なモルフォロジ処理を行う。
【００５４】
最後に、演算部２１０は、整えられた泡領域情報を出力し（ステップＳ２０７）、画像処理装置２００での処理は終了する。
【００５５】
上述したような本実施の形態２の画像処理装置２００によれば、算出されたエッジ強度と泡モデルとの相関値に加えて、体腔内画像内のエッジに基づき体腔内画像を領域分割した領域分割結果に基づいて、画像内の泡領域を検出するので、泡の輪郭エッジに一致する、より正確な泡領域の検出が可能になる。よって、患部の近傍に泡領域が存在するような場合でも、患部を含めて泡領域として検出してしまうことがなく、より適正な患部検出等に役立てることができる。
【００５６】
なお、前述のエッジ強度算出部１０１，２０１、相関値算出部１０２，２０２、領域分割部２０３、泡領域検出部１０３，２０４、モルフォロジ処理部２０５の各部による図３、図１４等に示す処理手順は、あらかじめ用意された画像処理プログラムをパーソナルコンピュータなどのコンピュータで構成された画像処理装置に実行させることにより実現するようにしてもよい。この画像処理プログラムは、インターネットなどのネットワークを介して配布することもできる。また、この画像処理プログラムは、ハードディスク、ＦＤ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることにより実行することもできる。
【図面の簡単な説明】
【００５７】
【図１】本発明の実施の形態１の画像処理装置の構成を示す概略ブロック図である。
【図２】カプセル型内視鏡等により撮像された泡を含む体腔内画像例を示す図である。
【図３】本実施の形態１の画像処理装置の演算部により実行される処理の流れを示す概略フローチャートである。
【図４】エッジ強度算出における２次微分算出の方向を示す説明図である。
【図５−１】泡部分の画像例を示す図である。
【図５−２】図５−１の泡部分の画像中のＡ−Ａ´部分の画素値変化を示す図である。
【図６】エッジ強度算出の結果例を示す図である。
【図７】泡モデルの一例を示す図である。
【図８】泡モデル作成のための基本図形例を示す図である。
【図９−１】泡モデルの変形例を示す図である。
【図９−２】泡モデルの変形例を示す図である。
【図９−３】泡モデルの変形例を示す図である。
【図９−４】泡モデルの変形例を示す図である。
【図１０】図６に示したエッジ強度算出の結果例と、図７に示した泡モデルとの間の相関値算出の結果を示す図である。
【図１１】図６に示したエッジ強度算出の結果例に対して、複数種類の泡モデルを用いた相関値算出結果の一例を示す図である。
【図１２】相関値に基づく泡領域の検出結果を示す図である。
【図１３】本発明の実施の形態２の画像処理装置の構成を示す概略ブロック図である。
【図１４】実施の形態２の画像処理装置の演算部により実行される処理の流れを示す概略フローチャートである。
【図１５】座標（ｘ１，ｙ１）で示される或る注目画素Ｔから座標（ｘ４，ｙ４）で示される極値画素Ｍまでの走査例を示す模式図である。
【図１６】図２に示した体腔内画像に対して領域分割部で領域分割を行った結果例を示す図である。
【図１７】泡領域検出部による検出結果を示す図である。
【図１８】膨張処理を説明するための図である。
【図１９】収縮処理を説明するための図である。
【図２０】closing処理を説明するための図である。
【図２１】図１７に示した泡領域検出結果に対して、円形構造要素によるclosing処理を行った結果例を示す図である。
【符号の説明】
【００５８】
１０１ エッジ強度算出部
１０２ 相関値算出部
１０３ 泡領域検出部
１３０ 泡モデル
１３１，１３２ 高輝度構造部
１３３，１３５ 泡モデル
１３６ａ，１３６ｂ 弧形状の輝度構造部
１３７ 泡モデル
１３８ａ，１３８ｂ 弧形状の輝度構造部
１４０ 泡モデル
２０１ エッジ強度算出部
２０２ 相関値算出部
２０３ 領域分割部
２０４ 泡領域検出部
２０５ モルフォロジ処理部
【特許請求の範囲】
【請求項１】
画像内の画素のエッジ強度を算出するエッジ強度算出手段と、
算出されたエッジ強度と泡画像の特徴を基に予め設定された泡モデルとの相関値を算出する相関値算出手段と、
算出された相関値を基に泡領域を検出する泡領域検出手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記泡モデルは、弧形状の輝度構造部を有するテンプレートパターンであることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記泡モデルは、リング形状の輝度構造部を有するテンプレートパターンであることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記泡モデルは、リング形状の高輝度構造部とリング形状の内部に位置する高輝度構造部とを有するテンプレートパターンであることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記エッジ強度算出手段は、方向別の２次微分処理を用いてエッジ強度を算出することを特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。
【請求項６】
前記相関値算出手段は、複数種類の泡モデルとの相関値を算出し、
前記泡領域検出手段は、算出された複数種類の泡モデルとの相関値を基に泡領域を検出することを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
【請求項７】
画像内のエッジに基づき画像を領域分割する領域分割手段を更に備え、
前記泡領域検出手段は、相関値及び領域分割結果を基に、泡領域を検出することを特徴とする請求項１〜６のいずれか一つに記載の画像処理装置。
【請求項８】
前記泡領域検出手段の検出結果に対し、モルフォロジ処理を行うモルフォロジ処理手段を更に備えることを特徴とする請求項１〜７のいずれか一つに記載の画像処理装置。
【請求項９】
前記画像は、体腔内を撮像した画像であることを特徴とする請求項１〜８のいずれか一つに記載の画像処理装置。
【請求項１０】
画像内の泡領域を検出する処理を画像処理装置に実行させる画像処理プログラムであって、
前記画像処理装置に、
画像内の画素のエッジ強度を算出するエッジ強度算出手順と、
算出されたエッジ強度と泡画像の特徴を基に予め設定された泡モデルの相関値を算出する相関値算出手順と、
算出された相関値を基に泡領域を検出する泡領域検出手順と、
を実行させることを特徴とする画像処理プログラム。
【請求項１１】
相関値の算出に用いる前記泡モデルは、弧形状の輝度構造部を有するテンプレートパターンであることを特徴とする請求項１０に記載の画像処理プログラム。
【請求項１２】
相関値の算出に用いる前記泡モデルは、リング形状の輝度構造部を有するテンプレートパターンであることを特徴とする請求項１０に記載の画像処理プログラム。
【請求項１３】
相関値の算出に用いる前記泡モデルは、リング形状の高輝度構造部とリング形状の内部に位置する高輝度構造部とを有するテンプレートパターンであることを特徴とする請求項１０に記載の画像処理プログラム。
【請求項１４】
前記エッジ強度算出手順は、方向別の２次微分処理を用いてエッジ強度を算出することを特徴とする請求項１０〜１３のいずれか一つに記載の画像処理プログラム。
【請求項１５】
前記相関値算出手順は、複数種類の泡モデルとの相関値を算出し、
前記泡領域検出手順は、算出された複数種類の泡モデルとの相関値を基に泡領域を検出することを特徴とする請求項１０〜１４のいずれか一つに記載の画像処理プログラム。
【請求項１６】
前記画像処理装置に、画像内のエッジに基づき画像を領域分割する領域分割手順を更に実行させ、
前記泡領域検出手順は、相関値及び領域分割結果を基に、泡領域を検出することを特徴とする請求項１０〜１５のいずれか一つに記載の画像処理プログラム。
【請求項１７】
前記画像処理装置に、前記泡領域検出手順の検出結果に対し、モルフォロジ処理を行うモルフォロジ処理手順を更に実行させることを特徴とする請求項１０〜１６のいずれか一つに記載の画像処理プログラム。
【請求項１８】
前記画像は、体腔内を撮像した画像であることを特徴とする請求項１０〜１７のいずれか一つに記載の画像処理プログラム。
【請求項１】
画像内の画素のエッジ強度を算出するエッジ強度算出手段と、
算出されたエッジ強度と泡画像の特徴を基に予め設定された泡モデルとの相関値を算出する相関値算出手段と、
算出された相関値を基に泡領域を検出する泡領域検出手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記泡モデルは、弧形状の輝度構造部を有するテンプレートパターンであることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記泡モデルは、リング形状の輝度構造部を有するテンプレートパターンであることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記泡モデルは、リング形状の高輝度構造部とリング形状の内部に位置する高輝度構造部とを有するテンプレートパターンであることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記エッジ強度算出手段は、方向別の２次微分処理を用いてエッジ強度を算出することを特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。
【請求項６】
前記相関値算出手段は、複数種類の泡モデルとの相関値を算出し、
前記泡領域検出手段は、算出された複数種類の泡モデルとの相関値を基に泡領域を検出することを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
【請求項７】
画像内のエッジに基づき画像を領域分割する領域分割手段を更に備え、
前記泡領域検出手段は、相関値及び領域分割結果を基に、泡領域を検出することを特徴とする請求項１〜６のいずれか一つに記載の画像処理装置。
【請求項８】
前記泡領域検出手段の検出結果に対し、モルフォロジ処理を行うモルフォロジ処理手段を更に備えることを特徴とする請求項１〜７のいずれか一つに記載の画像処理装置。
【請求項９】
前記画像は、体腔内を撮像した画像であることを特徴とする請求項１〜８のいずれか一つに記載の画像処理装置。
【請求項１０】
画像内の泡領域を検出する処理を画像処理装置に実行させる画像処理プログラムであって、
前記画像処理装置に、
画像内の画素のエッジ強度を算出するエッジ強度算出手順と、
算出されたエッジ強度と泡画像の特徴を基に予め設定された泡モデルの相関値を算出する相関値算出手順と、
算出された相関値を基に泡領域を検出する泡領域検出手順と、
を実行させることを特徴とする画像処理プログラム。
【請求項１１】
相関値の算出に用いる前記泡モデルは、弧形状の輝度構造部を有するテンプレートパターンであることを特徴とする請求項１０に記載の画像処理プログラム。
【請求項１２】
相関値の算出に用いる前記泡モデルは、リング形状の輝度構造部を有するテンプレートパターンであることを特徴とする請求項１０に記載の画像処理プログラム。
【請求項１３】
相関値の算出に用いる前記泡モデルは、リング形状の高輝度構造部とリング形状の内部に位置する高輝度構造部とを有するテンプレートパターンであることを特徴とする請求項１０に記載の画像処理プログラム。
【請求項１４】
前記エッジ強度算出手順は、方向別の２次微分処理を用いてエッジ強度を算出することを特徴とする請求項１０〜１３のいずれか一つに記載の画像処理プログラム。
【請求項１５】
前記相関値算出手順は、複数種類の泡モデルとの相関値を算出し、
前記泡領域検出手順は、算出された複数種類の泡モデルとの相関値を基に泡領域を検出することを特徴とする請求項１０〜１４のいずれか一つに記載の画像処理プログラム。
【請求項１６】
前記画像処理装置に、画像内のエッジに基づき画像を領域分割する領域分割手順を更に実行させ、
前記泡領域検出手順は、相関値及び領域分割結果を基に、泡領域を検出することを特徴とする請求項１０〜１５のいずれか一つに記載の画像処理プログラム。
【請求項１７】
前記画像処理装置に、前記泡領域検出手順の検出結果に対し、モルフォロジ処理を行うモルフォロジ処理手順を更に実行させることを特徴とする請求項１０〜１６のいずれか一つに記載の画像処理プログラム。
【請求項１８】
前記画像は、体腔内を撮像した画像であることを特徴とする請求項１０〜１７のいずれか一つに記載の画像処理プログラム。
【図１】
【図３】
【図４】
【図５−２】
【図６】
【図７】
【図８】
【図９−１】
【図９−２】
【図９−３】
【図９−４】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図５−１】
【図１０】
【図１１】
【図３】
【図４】
【図５−２】
【図６】
【図７】
【図８】
【図９−１】
【図９−２】
【図９−３】
【図９−４】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図５−１】
【図１０】
【図１１】
【公開番号】特開２００７−３１３１１９（Ｐ２００７−３１３１１９Ａ）
【公開日】平成１９年１２月６日（２００７．１２．６）
【国際特許分類】
【出願番号】特願２００６−１４７３１６（Ｐ２００６−１４７３１６）
【出願日】平成１８年５月２６日（２００６．５．２６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成１９年１２月６日（２００７．１２．６）
【国際特許分類】
【出願日】平成１８年５月２６日（２００６．５．２６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]