説明

画像処理装置、画像処理方法、及び画像処理プログラム

【課題】管腔内画像から異常部領域を検出する際の誤検出を抑制することができる画像処理装置、画像処理方法、及び、画像処理プログラムを提供する。
【解決手段】画像処理装置は、画像内から異常部候補領域を、第1の判別基準を用いて判別する異常部候補領域判別部110と、上記画像内から泡領域を判別する泡領域判別部120と、泡領域の判別結果に基づいて、異常部候補領域が泡領域の内部に存在するか否かを判別する泡内部判別部130と、異常部候補領域が泡領域の内部に存在すると判別された場合、上記第1の判別基準とは異なる第2の判別基準を用いて上記異常部候補領域が異常部領域であるか否かを判別する異常部領域判別部140とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、生体の管腔内を撮像した画像から異常部領域を判別する画像処理装置、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【0002】
従来、内視鏡やカプセル型内視鏡等の医用観察装置により生体の管腔内を撮像した画像(以下、管腔内画像又は単に画像ともいう)に対する画像処理として、特許文献1には、画像の色調情報を基に異常部領域を検出する技術が開示されている。より詳細には、特許文献1においては、画像内の各画素の画素値又はこれらを平均化した画素値を、色特徴量に基づく特徴空間に写像して、該特徴空間内でクラスタリングした後で、正常粘膜クラスタと異常部クラスタを特定し、異常部クラスタに属する画素領域を異常部領域として検出している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2005−192880号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、カプセル型内視鏡を用いて管腔内画像を撮像する際、胆汁等の体液の影響により泡が発生する場合がある。このような泡が写った画像においては、泡内部の粘膜領域と出血等の異常部領域とで色特徴量がよく似ており、両者とも赤色系の特徴を有している。このため、色特徴量に基づいて両者を判別することは難しく、泡内部の粘膜領域を異常部領域として誤検出してしまう場合がある。
【0005】
本発明は、上記に鑑みて為されたものであって、管腔内画像から異常部領域を検出する際の誤検出を抑制することができる画像処理装置、画像処理方法、及び、画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、画像内から異常部候補領域を、第1の判別基準を用いて判別する異常部候補領域判別手段と、前記画像内から泡領域を判別する泡領域判別手段と、前記泡領域の判別結果に基づいて、前記異常部候補領域が前記泡領域の内部に存在するか否かを判別する泡内部判別手段と、前記異常部候補領域が前記泡領域の内部に存在すると判別された場合、前記第1の判別基準とは異なる第2の判別基準を用いて前記異常部候補領域が異常部領域であるか否かを判別する異常部領域判別手段とを備えることを特徴とする。
【0007】
本発明に係る画像処理方法は、画像内から異常部候補領域を、第1の判別基準を用いて判別する異常部候補領域判別ステップと、前記画像内から泡領域を判別する泡領域判別ステップと、前記泡領域の判別結果に基づいて、前記異常部候補領域が前記泡領域の内部に存在するか否かを判別する泡内部判別ステップと、前記異常部候補領域が前記泡領域の内部に存在すると判別された場合、前記第1の判別基準とは異なる第2の判別基準を用いて前記異常部候補領域が異常部領域であるか否かを判別する異常部領域判別ステップとを含むことを特徴とする。
【0008】
本発明に係る画像処理プログラムは、画像内から異常部候補領域を、第1の判別基準を用いて判別する異常部候補領域判別ステップと、前記画像内から泡領域を判別する泡領域判別ステップと、前記泡領域の判別結果に基づいて、前記異常部候補領域が前記泡領域の内部に存在するか否かを判別する泡内部判別ステップと、前記異常部候補領域が前記泡領域の内部に存在すると判別された場合、前記第1の判別基準とは異なる第2の判別基準を用いて前記異常部候補領域が異常部領域であるか否かを判別する異常部領域判別ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【0009】
本発明によれば、第1の判別基準に基づいて判別された異常部候補領域が泡領域の内部に存在すると判別された場合、第1の判別基準とは異なる第2の判別基準を用いて、当該異常部候補領域が異常部領域であるか否かをさらに判別するので、泡内部の粘膜領域を異常部領域として誤検出することを抑制することが可能となる。
【図面の簡単な説明】
【0010】
【図1】図1は、本発明の実施の形態1に係る画像処理装置の構成を示すブロック図である。
【図2】図2は、図1に示す画像処理装置の動作を示すフローチャートである。
【図3】図3は、処理対象画像の一部を一例として示す模試図である。
【図4】図4は、円弧形状領域の判別の詳細な処理を示すフローチャートである。
【図5】図5は、異常部候補領域の周囲領域の決定方法を説明する図である。
【図6】図6は、周囲領域及び周囲領域の近傍領域における泡領域の面積を算出する詳細な処理を示すフローチャートである。
【図7】図7は、本発明の実施の形態2に係る画像処理装置の構成を示すブロック図である。
【図8】図8は、本発明の実施の形態2に係る画像処理装置の動作を示すフローチャートである。
【図9】図9は、異常部候補領域を判別する詳細な処理を示すフローチャートである。
【図10】図10は、泡領域判別範囲の決定方法を説明する図である。
【図11】図11は、判別範囲内から判別された円弧形状領域を示す模式図である。
【図12】図12は、泡候補領域の判別方法を説明する図である。
【図13】図13は、円弧形状の泡候補領域及び内部領域を抽出する詳細な処理を示すフローチャートである。
【図14】図14は、本発明の実施の形態3に係る画像処理装置の構成を示すブロック図である。
【図15】図15は、本発明の実施の形態3に係る画像処理装置の動作を示すフローチャートである。
【図16】図16は、実施の形態3に係る画像処理方法を説明する模式図である。
【図17】図17は、泡領域の部位毎の位置関係に基づく特徴量算出の詳細な処理を示すフローチャートである。
【発明を実施するための形態】
【0011】
以下、本発明の実施の形態に係る画像処理装置について、図面を参照しながら説明する。なお、これら実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
【0012】
以下の実施の形態においては、一例として、内視鏡又はカプセル型内視鏡等の医用観察装置によって被検体の管腔内を時系列順に撮像することにより取得された一連の管腔内画像(以下、単に画像ともいう)に対する処理について説明する。以下の説明において画像処理を施される画像は、例えば、各画素位置においてR(赤)、G(緑)、B(青)の各色成分に対して256階調の画素レベル(画素値)を持つカラー画像である。なお、本発明は、管腔内画像に限定されることなく、他の一般的な画像取得装置によって取得された画像から特定の領域を抽出する場合にも広く適用することができる。
【0013】
(実施の形態1)
図1は、本発明の実施の形態1に係る画像処理装置の構成を示すブロック図である。図1に示す画像処理装置1は、画像処理装置1全体の動作を制御する制御部10と、医用観察装置によって撮像された画像に対応する画像データを取得する画像取得部20と、外部から入力される入力信号を受け付ける入力部30と、各種表示を行う表示部40と、画像取得部20によって取得された画像データや種々のプログラムを格納する記録部50と、画像データに対して所定の画像処理を実行する演算部100とを備える。
【0014】
制御部10は、CPU等のハードウェアによって実現され、記録部50に記録された各種プログラムを読み込むことにより、画像取得部20から入力される画像データや入力部30から入力される操作信号等に従って、画像処理装置1を構成する各部への指示やデータの転送等を行い、画像処理装置1全体の動作を統括的に制御する。
【0015】
画像取得部20は、医用観察装置を含むシステムの態様に応じて適宜構成される。例えば、医用観察装置がカプセル型内視鏡であり、医用観察装置との間の画像データの受け渡しに可搬型の記録媒体が使用される場合、画像取得部20は、この記録媒体を着脱自在に装着し、保存された管腔内画像の画像データを読み出すリーダ装置で構成される。また、医用観察装置によって撮像された管腔内画像の画像データを保存しておくサーバを設置する場合、画像取得部20は、サーバと接続される通信装置等で構成され、サーバとデータ通信を行って管腔内画像の画像データを取得する。或いは、画像取得部20を、内視鏡等の医用観察装置から、ケーブルを介して画像信号を入力するインターフェース装置等で構成しても良い。
【0016】
入力部30は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、受け付けた入力信号を制御部10に出力する。
表示部40は、LCDやELディスプレイ等の表示装置によって実現され、制御部10の制御の下で、管腔内画像を含む各種画面を表示する。
【0017】
記録部50は、更新記録可能なフラッシュメモリ等のROMやRAMといった各種ICメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、CD−ROM等の情報記録媒体及びその読取装置等によって実現される。記録部50は、画像取得部20によって取得された管腔内画像の画像データの他、画像処理装置1を動作させると共に、種々の機能を画像処理装置1に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。具体的には、記録部50は、画像内から所定の第1の基準を用いて異常部候補領域を判別すると共に、泡領域を判別し、異常部候補領域が泡領域の内部に存在すると判別された場合に、異常部候補領域が異常部領域であるか否かを第2の基準を用いて判別する処理を実行するための画像処理プログラム51や、このプログラムの実行中に使用される数種類の判別基準を格納する。
【0018】
演算部100は、CPU等のハードウェアによって実現され、画像処理プログラム51を読み込むことによって管腔内画像に対応する画像データに画像処理を施し、管腔内画像から異常部領域を判別するための種々の演算処理を行う。
【0019】
次に、演算部100の詳細な構成について説明する。
図1に示すように、演算部100は、画像内から異常部候補領域を、第1の判別基準を用いて判別する異常部候補領域判別部110と、画像内から泡領域を判別する泡領域判別部120と、泡領域の判別結果に基づいて異常部候補領域が泡領域の内部に存在するか否かを判別する泡内部判別部130と、異常部候補領域が泡領域の内部に存在すると判別された場合、上記第1の基準とは異なる第2の判別基準を用いて異常部候補領域が異常部領域であるか否かを判別する異常部領域判別部140を備える。
【0020】
泡領域判別部120は、泡領域の外周領域の特徴を有する領域を判別する外周領域判別部121と、泡領域の内部領域の特徴を有する領域を判別する内部領域判別部122を備えている。この内、外周領域判別部121は、泡領域の外周領域の特徴である円弧形状領域を判別する円弧形状領域判別部121aを有する。また、内部領域判別部122は、泡領域の内部領域の特徴であるハレーション領域を判別するハレーション領域判別部122aを有する。
【0021】
泡内部判別部130は、異常部候補領域の周囲領域を決定する周囲領域決定部131と、周囲領域及び該周囲領域の近傍領域における泡領域の判別結果に基づいて周囲領域の特徴量を算出する周囲領域特徴量算出部132を有する。この内、周囲領域特徴量算出部132は、周囲領域及び周囲領域の近傍領域における泡領域の面積を算出する面積算出部132aを有する。より詳細には、面積算出部132aは、周囲領域の輪郭画素を抽出する輪郭抽出部132a’を含む。
【0022】
異常部領域判別部140は、異常部候補領域の周囲領域が泡領域に内部に存在するか否かに基づいて、判別基準を切り替える判別基準切り替え部141を有する。
【0023】
次に、画像処理装置1の動作について説明する。図2は、画像処理装置1の動作を示すフローチャートである。
まず、ステップS01において、画像取得部20は、被検体の管腔内を撮像した一連の管腔内画像を取得して記録部50に記録する。演算部100は、処理対象である画像に対応する画像データを記録部50から順次読み込む。図3は、演算部100に読み込まれた処理対象画像の一部を一例として示す模式図である。
【0024】
続くステップS02において、異常部候補領域判別部110は、画像の色特徴量に基づいて異常部候補領域を判別する。より詳細には、画像を構成する各画素の画素値からG/R値を算出し、このG/R値が予め設定された判別基準の基準値よりも小さくなる領域を異常部候補領域A10として判別する。即ち、画像内から、赤色系が比較的強い領域(出血や発赤と疑われる領域)が、異常部候補領域A10として抽出される。
【0025】
ステップS03において、外周領域判別部121(円弧形状領域判別部121a)は、画像内における円弧形状領域を判別する。円弧形状領域の判別方法としては種々の方法を用いることができるが、本実施の形態1においては、特開2007−313119号公報に開示されている方法を用いる。
【0026】
図4は、ステップS03における詳細な処理を示すフローチャートである。まず、ステップS101において、円弧形状領域判別部121aは、画像内における勾配強度(G値)を算出する。続くステップS102において、勾配強度(G値)と事前に作成しておいた円弧形状モデルとの相関値を算出する。さらに、ステップS103において、勾配強度と円弧形状モデルとの相関値が所定の閾値以上となった領域を円弧形状領域A11(図3参照)と判別する。この後、処理はメインルーチンに戻る。
【0027】
ステップS04において、内部領域判別部122(ハレーション領域判別部122a
)は、画像内におけるハレーション領域の判別を行う。詳細には、各画素の画素値(RGB値)から次式(1)を用いて輝度値Yを算出する(参考:CG−ARTS協会、ディジタル画像処理、P.299)。そして、輝度値Yが所定の閾値以上となる領域を、ハレーション領域A12(図3参照)と判別する。
Y=0.3×R+0.59×G+0.11×B …(1)
【0028】
ステップS05において、泡領域判別部120は、外周領域判別部121が判別した円弧形状領域A11と、内部領域判別部122が判別したハレーション領域A12とを、泡領域に設定する。なお、泡領域は多くの場合、円弧形状領域A11及びハレーション領域A12の両方を有する。
【0029】
ステップS06において、周囲領域決定部131は、異常部候補領域A10の周囲領域を決定する。より詳細には、周囲領域決定部131はまず、図5に示すように、異常部候補領域A10の画像内における重心位置Gを算出する。そして、重心位置Gを原点として、半径r1の円に内包される領域を周囲領域A13として抽出する。なお、半径r1の値は、予め設定された所定値であっても良いし、異常部候補領域A10の面積に基づいて適応的に決定しても良い。
【0030】
ステップS07において、輪郭抽出部132a’は、輪郭追跡処理(参考:CG−ARTS協会、ディジタル画像処理、P.178)を実行して、周囲領域A13の輪郭(外輪郭)領域A14を抽出する。
【0031】
ステップS08において、面積算出部132aは、周囲領域A13及び該周囲領域A13の近傍領域における泡領域の面積を算出する。例えば、図3の場合、周囲領域A13内に泡領域(ハレーション領域)A12が存在し、周囲領域A13の輪郭領域A14と重なるように泡領域(円弧形状領域)A11が存在する。面積算出部132aは、これらの泡領域A11、A12の総面積を算出する。
【0032】
図6は、ステップS08における詳細な処理を示すフローチャートである。ステップS111において、面積算出部132aはまず、周囲領域A13及び周囲領域A13の近傍領域における泡領域A11、A12の総面積Sを算出する。続くステップS112において、周囲領域A13の輪郭領域(外輪郭)A14の面積Sを算出する。さらに、ステップS113において、次式(2)を用いて、泡領域の面積Sを周囲領域の輪郭領域A14の面積Sで正規化した正規化泡領域面積Sを算出する。
S=S/S …(2)
【0033】
なお、上式(2)においては、輪郭領域A14の面積Sの代わりに、周囲領域A13の面積で面積Sを除算しても良いし、周囲領域A13及び輪郭領域A14の面積の合計値で面積Sを除算しても良い。
この後、処理はメインルーチンに戻る。
【0034】
ステップS09において、周囲領域特徴量算出部132は、正規化泡領域面積Sを周囲領域A13における特徴量とする。なお、周囲領域A13の特徴量としては、泡領域A11及びA12の面積Sの値そのものや、周囲領域A13及び該周囲領域A13の近傍領域における泡領域の有無の判定結果(有りの場合1/無しの場合0)を用いても良い。
【0035】
ステップS10において、泡内部判別部130は、異常部候補領域A10の周囲領域A13における正規化泡領域面積Sが所定の閾値(所定値)以上となるか否かを判別する。そして、正規化泡領域面積Sが所定値以上となる場合(ステップS10:Yes)、泡内部判別部130は、異常部候補領域A10は泡領域の内部に存在すると判別する(ステップS11)。これは、周囲領域A13やその近傍領域に泡領域の特徴を有する領域が多く存在するほど、異常部候補領域A10が泡領域の内部領域である可能性が高いからである。なお、周囲領域A13の特徴量として、泡領域A11及びA12の面積Sや周囲領域A13及び周囲領域A13の近傍領域における泡領域の有無を用いる場合には、面積Sが所定値以上であるとき、若しくは、泡領域が有ると判定されたときに、異常部候補領域A10は泡領域の内部に存在すると判別しても良い。
【0036】
続くステップS12において、判別基準切り替え部141は、事前に作成しておいた判別基準値を記録部50から読み出す。この際に読み出す基準値は、ステップS02において異常部候補領域判別部110が用いた基準値よりも値が小さい。即ち、ステップS12において読み出す基準値によって規定される範囲に適合すると判別される領域(異常部領域)は、ステップS02における基準値によって規定される範囲に適合すると判別される領域(異常部候補領域)よりも少なくなる。言い換えると、ステップS12において読み出す基準値は、ステップS02において用いる基準値よりも厳しい基準となる。
【0037】
ステップS13〜S15において、異常部領域判別部140は、ステップS11において読み出した判別基準に基づいて、異常部候補領域A10が異常部領域であるか否かを判別する。詳細には、まず、ステップS13において、異常部領域判別部140は、異常部候補領域A10のG/R値の平均値(G/R平均値)を算出する。続くステップS14において、異常部領域判別部140は、算出したG/R平均値が判断基準よりも小さいか否かを判定する。この判定の結果、G/R平均値が判定基準よりも小さい場合(ステップS14:Yes)、異常部領域判別部140は、当該異常部候補領域A10が出血や発赤といった異常部領域であると判別する(ステップS15)。なお、ここでは、ステップS02における判別結果よりもさらに赤色系が強い領域が異常部領域として判別される。
【0038】
一方、G/R平均値が判定基準以上である場合(ステップS14:No)、異常部領域判別部140は、当該異常部候補領域A10は異常部領域ではないと判別する(ステップS16)。
【0039】
また、ステップS10において、正規化泡領域面積Sが所定値よりも小さいと判定された場合(ステップS10:No)、当該異常部候補領域A10は泡の内部には存在しないと判定される(ステップS17)。この場合、当該異常部候補領域A10は、ステップS02における判定に従って、異常部領域であると判別される(ステップS15)。
【0040】
以上説明したように、実施の形態1によれば、所定の基準値に基づいて画像から判別した異常部候補領域に対し、この異常部候補領域が泡領域の内部に存在すると判断された場合に、適合する領域が上記所定の基準値を用いる場合よりも少なくなる別の基準値に従って、当該異常部候補領域が異常部領域である否かを判定するので、泡内部の粘膜領域を異常部領域として誤検出することを抑制することができる。
【0041】
(変形例1)
以上説明した実施の形態1においては、画素毎にG/R値や輝度値Yを算出して、異常部候補領域の判別やハレーション領域の判別を行った。しかしながら、予め画像を小領域に分割し、小領域単位で異常部候補領域の判別やハレーション領域の判別を行っても良い。この場合、各画素のG/R値や輝度値Yを小領域毎に平均した値を、上記判別処理に用いる。
【0042】
画像をエッジ強度に基づいて分割する処理は、以下のとおりである。まず、処理対象の画像に含まれる各画素のエッジ強度を算出する。エッジ強度の算出に際しては、ソーベルフィルタ等の微分フィルタ処理など、公知の手法を用いれば良い。続いて、画像をエッジ強度の尾根を境界とする複数のエッジ領域に分割する。より詳細には、各画素エッジ強度を画素値とするエッジ強度画像を作成し、エッジ強度画像内の画素におけるエッジ強度の勾配方向を取得する。このときの勾配方向は、エッジ強度の値が小さくなる方向とする。そして、各画素から出発して勾配方向に沿って移動した際に到達する極小値の画素を探索し、互いに隣接する極小値の画素に到達した出発点の画素が同一の領域に含まれるように画像を分割する(参考:国際公開第2006/080239号)。
【0043】
この他、画像の分割方法としては、分水嶺(watershed)アルゴリズム(参考:Luc Vincent and Pierre Soille,“Watersheds in Digital Spaces: An Efficient Algorithm Based on Immersion Simulations”,IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.13,No.6, pp.583−598,June 1991)等の公知の手法を利用することもできる。
【0044】
変形例1によれば、複数の画素がまとまった小領域単位の特徴量に基づいて異常部候補領域の判別やハレーション領域の判別を行うので、小領域ごとの特徴が反映された判別処理を行うことができると共に、演算速度を向上させることが可能となる。
【0045】
(変形例2)
実施の形態1においては、異常部候補領域の周囲領域内に存在する泡領域(ハレーション領域)と、周囲領域の輪郭領域近傍の泡領域(円弧形状領域)との総面積を輪郭領域の面積で正規化した値を特徴量として、異常部候補領域が泡領域の内部であるか否かの判別を行った。しかしながら、周囲領域の輪郭領域は必ずしも抽出する必要はない。例えば、周囲領域内及びその周囲に存在するハレーション領域及び円弧形状領域の総面積、又は、この総面積を周囲領域の面積で正規化した値を特徴量として、上記判別を行っても良い。或いは、周囲領域及びその周囲に所定以上の円弧形状領域が存在するか否か(例えば、円弧形状領域の総面積や円弧の長さの合計が所定の閾値以上であるか否か)に基づいて、上記判別を行っても良い。
【0046】
(実施の形態2)
次に、本発明の実施の形態2について説明する。
図7は、実施の形態2に係る画像処理装置の構成を示すブロック図である。図7に示すように、実施の形態2に係る画像処理装置2は、画像内から異常部候補領域を判別する異常部候補領域判別部210と、画像内から泡領域を判別する泡領域判別部220と、泡領域の判別結果に基づいて異常部候補領域が泡領域の内部に存在するか否かを判別する泡内部判別部230と、異常部候補領域が異常部領域であるか否かを判別する異常部領域判別部240とを有する演算部200を備える。なお、画像処理装置2の演算部200以外の構成は、図1に示すものと同様である。
【0047】
泡領域判別部220は、泡領域の外周領域の特徴を有する領域を判別する外周領域判別部221と、異常部候補領域の判別結果に基づき、画像内において泡領域の判別を行う判別範囲を決定する判別範囲決定部222とを有する。この内、外周領域判別部221は、円弧形状領域を判別する円弧形状領域判別部221aを有する。
【0048】
泡内部判別部230は、異常部候補領域の周囲領域を決定する周囲領域決定部231と、周囲領域及び該周囲領域の近傍領域における泡領域の判別結果に基づいて、当該周囲領域における泡領域の特徴を判別する周囲領域特徴判別部232とを有する。
【0049】
より詳細には、周囲領域特徴判別部232は、周囲領域及び該周囲領域の近傍領域における泡領域が円弧形状領域を有するか否かを判別する泡領域円弧形状領域判別部232aと、周囲領域が円弧形状領域の内部領域であるか否かを判別する円弧形状内部領域判別部232bとを含む。
【0050】
次に、実施の形態2に係る画像処理装置の動作について説明する。図8は、実施の形態2に係る画像処理装置の動作を示すフローチャートである。
まず、ステップS21において、演算部200は処理対象である画像に対応する画像データを取得する。なお、ステップS21の詳細は、実施の形態1のステップS01と同様である。
【0051】
続くステップS22において、異常部候補領域判別部210は、色特徴量に基づいて異常部候補領域を判別する。
図9は、異常部候補領域を判別する詳細な処理を示すフローチャートである。ステップS201において、異常部候補領域判別部210は、画像を構成する各画素の画素値からG/R値を算出する。なお、この際、変形例1と同様に、画像を分割した小領域毎にG/R値の平均値を算出しても良い。
【0052】
ステップS202において、異常部候補領域判別部210は、算出された各G/R値が予め設定されている第1基準値よりも小さいか否かを判定する。そして、G/R値が第1基準値よりも小さい領域が検出された場合(ステップS202:Yes)、この領域を出血や発赤といった異常部領域として判別する(ステップS203)。
【0053】
一方、異常部候補領域判別部210は、G/R値が第1基準値以上である領域(ステップS202:No)に対し、さらに、予め設定されている第2基準値(第2基準値>第1基準値)よりも小さいか否かを判定する(ステップS204)。そして、G/R値が第2基準値よりも小さい領域が検出された場合(ステップS204:Yes)、この領域を、異常部領域の可能性はあるが確信度が低い異常部候補領域として判別する(ステップS205)。なお、G/R値が第2基準値以上である領域(ステップS204:No)については、異常部領域でも異常部候補領域でもない領域として判別される。その後、処理はメインルーチンに戻る。
【0054】
ステップS23において、判別範囲決定部222は、画像内において泡領域判別を行う判別範囲を決定する。詳細には、図10に示すように、画像から判別された異常部候補領域A20の重心位置Gを算出し、この重心位置Gを原点とする半径r2の円に内包される領域を判別範囲A21として決定する。なお、半径r2の値は、予め設定された所定値であっても良いし、異常部候補領域A20の面積に基づいて適応的に決定しても良い。
【0055】
ステップS24において、外周領域判別部221(円弧形状領域判別部221a)は、判別範囲A21内における円弧形状領域を判別する。なお、円弧形状領域の判別方法の詳細は、実施の形態1のステップS03において図4を参照して説明したものと同様である。図11は、そのようにして判別された円弧形状領域A22〜A26の一例を示している。
ステップS25において、泡領域判別部220は、ステップS24において判別した円弧形状領域A22〜A26を泡候補領域として設定する。
【0056】
ステップS26において、周囲領域決定部231は、異常部候補領域A20の周囲領域を決定する。なお、ステップS26の詳細な動作については、実施の形態1のステップS06において説明したものと同様である。図12には、ステップS26において決定された周囲領域A27が示されている。
【0057】
ステップS27において、泡領域円弧形状領域判別部232aは、異常部候補領域A20の周囲領域A27及び該周囲領域A27の近傍領域における泡候補領域(円弧形状領域)A22〜A26から、円弧形状を有する泡候補領域を抽出すると共に、円弧形状の内部領域を抽出する。
【0058】
図13は、円弧形状の泡候補領域及び内部領域の抽出する詳細な処理を示すフローチャートである。
まず、ステップS211において、泡領域円弧形状領域判別部232aは、異常部候補領域A20の周囲領域A27及び該周囲領域A27の近傍領域における泡候補領域を抽出する。図12の場合、ステップS25において設定された泡候補領域A22〜A26の内、泡候補領域A22〜A24及びA26が抽出される。続くステップS212において、泡領域円弧形状領域判別部232aは、抽出した泡候補領域A22〜A24及びA26と事前に作成しておいた円弧形状モデルとの相関値を算出する。そして、ステップS213において、円弧形状モデルとの相関値が所定の閾値以上となる泡候補領域を円弧形状として判別する。例えば図12の場合、泡候補領域A22〜A24が円弧形状として判別される。さらに、ステップS214において、泡領域円弧形状領域判別部232aは、円弧形状として判別された泡候補領域A22〜A24の内部領域A28を抽出する。この後、処理はメインルーチンに戻る。
【0059】
ステップS28において、円弧形状内部領域判別部232bは、ステップS27において抽出した円弧形状の内部領域A28が、異常部候補領域A20の周囲領域A27が円弧形状領域の内部領域であるか否かを判別する。
【0060】
異常部候補領域A20の周囲領域A27が円弧形状領域の内部領域である場合(ステップS28:Yes)、泡内部判別部230は、当該周囲領域A27は泡領域の内部であると判別する(ステップS29)。この場合、ステップS30において、異常部領域判別部240は、周囲領域A27内の異常部候補領域A20は異常部領域でないと判別する。
【0061】
一方、異常部候補領域A20の周囲領域A27が円弧形状領域の内部領域でない場合(ステップS28:No)、泡内部判別部230は、当該周囲領域A27は泡領域の内部ではないと判別する(ステップS31)。この場合、ステップS32において、異常部領域判別部240は、周囲領域A27内の異常部候補領域A20は異常部領域であると判別する。
【0062】
以上説明したように、実施の形態2によれば、色特徴量が第1基準値よりも小さい領域を異常部領域として先に判別し、色特徴量が第1基準値及び第2基準値との間であり異常部として確信度が比較的低い領域に対してのみ、当該領域が異常部であるか否かを泡領域を用いて判別するので、演算処理の効率を向上させることができる。
【0063】
(実施の形態3)
次に、本発明の実施の形態3について説明する。
図14は、実施の形態3に係る画像処理装置の構成を示すブロック図である。図14に示すように、実施の形態3に係る画像処理装置3は、異常部候補領域判別部110と、泡領域判別部120と、泡領域の判別結果に基づいて異常部候補領域が泡領域の内部に存在するか否かを判別する泡内部判別部310と、泡内部判別部310の判別結果に基づいて、異常部候補領域が異常部領域であるか否かを判別する異常部領域判別部320とを有する演算部300を備える。この内、異常部候補領域判別部110及び泡領域判別部120の構成及び動作については、実施の形態1において説明したものと同様である。また、画像処理装置3の演算部300以外の構成は、図1に示すものと同様である。
【0064】
泡内部判別部310は、異常部候補領域の周囲領域を決定する周囲領域決定部311と、周囲領域に基づいて特徴量を算出する周囲領域特徴量算出部312を有する。この内、周囲領域特徴量算出部312は、周囲領域及び該周囲領域の近傍領域における泡領域の位置関係に基づく特徴量を算出する位置関係特徴量算出部312aを有する。位置関係特徴量算出部312aは、泡領域間の距離を算出する距離算出部312a−1と、円弧形状領域とハレーション領域の位置関係に基づいて特徴量を算出する泡領域部位位置関係特徴量算出部312a−2とを含む。
【0065】
異常部領域判別部320は、異常部候補領域の周囲領域の情報に基づいて判別基準を適応的に作成する判別基準作成部321を有する。
【0066】
次に、実施の形態3に係る画像処理装置の動作について説明する。図15は、実施の形態3に係る画像処理装置の動作を示すフローチャートである。
なお、図15において、ステップS41〜S46の動作は、図2に示すステップS01〜S06の動作と対応している。図16には、ステップS41〜S46において画像から判別された異常部候補領域A30、円弧形状領域A31、ハレーション領域A32、周囲領域A33が示されている。
【0067】
ステップS47において、泡領域部位位置関係特徴量算出部312a−2は、周囲領域A33及び該周囲領域A33の近傍領域に、泡領域を構成する部位である円弧形状領域A31とハレーション領域A32とが混在しているか否かを判定する。ここで、泡領域においては通常、略円形(楕円等、円に近似した形状を含む)の部分を構成する円弧形状の内側に、ハレーションが観察される。そのため、円弧形状領域A31として判別された部位とハレーション領域A32として判別された部位とが混在しているような領域は、泡領域ではないと判断することができる。
【0068】
周囲領域A33及び該周囲領域A33の近傍領域に円弧形状領域A31とハレーション領域A32とが混在していない場合(ステップS47:No)、位置関係特徴量算出部312aは、泡領域の部位毎の位置関係に基づいて特徴量を算出する(ステップS48)。
【0069】
図17は、泡領域の部位毎の位置関係に基づく特徴量算出の詳細な処理を示すフローチャートである。まず、ステップS401において、泡領域部位位置関係特徴量算出部(以下、単に特徴量算出部ともいう)312a−2は、画像内における異常部候補領域A30の重心位置Gを算出する。続くステップS402において、特徴量算出部312a−2は、異常部候補領域A30の重心位置Gから周囲領域A33及び該周囲領域A33の近傍領域に存在する各円弧形状領域A31までの平均距離Cを算出する。また、ステップS403において、特徴量算出部312a−2は、異常部候補領域A30の重心位置Gから周囲領域A33及び該周囲領域A33の近傍領域に存在する各ハレーション領域A32までの平均距離Hを算出する。さらに、特徴量算出部312a−2は、円弧形状領域A31までの平均距離Cと、ハレーション領域A32までの平均距離Hの差分値Dを、次式(3)を用いて算出する。
D=C−H …(3)
【0070】
ステップS405において、位置関係特徴量算出部312aは、このようにして算出された差分値Dを、周囲領域A33及び該周囲領域A33の近傍領域における泡領域の部位毎の位置関係に基づく特徴量に設定する。
【0071】
ステップS49において、周囲領域特徴量算出部312は、泡領域の部位毎の位置関係に基づく特徴量(差分値D)を周囲領域における特徴量に設定する。
ステップS50において、泡内部判別部310は、周囲領域における特徴量(即ち、差分値D)がゼロ以上となるか否かを判別する。
【0072】
周囲領域における特徴量がゼロ以上となる場合(ステップS50:Yes)、泡内部判別部310は、異常部候補領域A30は泡領域の内部であると判別する(ステップS51)。これは、差分値Dがゼロ以上ということは、円弧形状領域A31の内側にハレーション領域A32が存在していると判断することができるからである。
【0073】
続くステップS52において、判別基準作成部321は、周囲領域A33の内、異常部候補領域A30及びハレーション領域A32以外の領域におけるG/R値の平均値(G/R平均値)を算出する。
【0074】
ステップS53〜S55において、異常部領域判別部320は、ステップS52において算出したG/R平均値を判別基準に用いて、異常部候補領域A30が異常部領域であるか否かを判別する。詳細には、まず、ステップS53において、各異常部候補領域A30におけるG/R平均値を算出する。そして、ステップS54において、周囲領域A33におけるG/R平均値と異常部候補領域A30におけるG/R平均値のとの差DABが所定の閾値(所定値)以上となるか否かを判定する。この差DABが所定値以上となる場合(ステップS54:Yes)、異常部領域判別部320は、当該異常部候補領域A30は異常部領域であると判別する(ステップS55)。一方、この差DABが所定値よりも小さい場合(ステップS54:No)、異常部領域判別部320は、当該異常部候補領域A30は異常部領域でないと判別する(ステップS56)。
【0075】
また、ステップS47において、周囲領域及び該周囲領域の近傍領域に円弧形状領域とハレーション領域とが混在していると判定された場合(ステップS47:Yes)、泡内部判別部310は、異常部候補領域は泡領域の内部でないと判別する(ステップS57)。この場合、ステップS55において、異常部領域判別部320は、当該異常部候補領域A30は異常部領域であると判別する。
また、特徴量Dがゼロより小さい場合も同様に(ステップS50:No)、泡内部判別部310は、異常部候補領域は泡領域の内部でないと判別する(ステップS57)。
【0076】
以上説明したように、実施の形態3によれば、異常部候補領域の周囲領域が泡領域の内部に存在するか否かを、泡領域を構成する部位の位置関係に基づいて判定するので、泡領域の検出精度を向上させることが可能となる。
【0077】
(変形例2)
以上説明した実施の形態1〜3においては、異常部候補領域の判別に用いる色特徴量としてG/R値を用いたが、それ以外にもRGR各値、RGB各値の相対値(B/G値等)、YCbCr変換により算出される輝度、色差、HSI変換により算出される色相、彩度、明度等、様々な色特徴量を用いることができる。例えば、色特徴量としてB/G値を用いる場合、黄色系である胆汁で覆われた領域の病変部を判別し易くなる。ここで、被検体内を照明する照明光の内、B成分及びG成分は赤色系の領域において概ね同じ傾向で吸収される。従って、管腔内の多くの領域や出血領域に対しては、B値とG値とで大きな差は生じない。しかしながら、胆汁内においてはB成分の吸収が増加するので、胆汁領域においてはB値が低下して、G値の変化を検出し易くなる。そのため、例えば、画像内でB/G値が所定値以上の領域を病変部、B/G値が所定値より小さい領域を病変部以外として判別することができる。
【0078】
以上説明した実施の形態1〜3並びにこれらの変形例に係る画像処理装置は、記録媒体に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することによって実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク、広域エリアネットワーク(LAN/WAN)、又は、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態1〜3に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続された種々の出力機器(ビュアーやプリンタ等)に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置(記録媒体及びその読取装置等)に画像処理結果を格納するようにしても良い。
【0079】
なお、本発明は、実施の形態1〜3及びこれらの変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。
【符号の説明】
【0080】
1〜3 画像処理装置
10 制御部
20 画像取得部
30 入力部
40 表示部
50 記録部
51 画像処理プログラム
100、200、300 演算部
110 異常部候補領域判別部
120 泡領域判別部
121 外周領域判別部
121a 円弧形状領域判別部
122 内部領域判別部
122a ハレーション領域判別部
130 泡内部判別部
131 周囲領域決定部
132 周囲領域特徴量算出部
132a 面積算出部
132a’ 輪郭抽出部
140 異常部領域判別部
141 判別基準切り替え部
210 異常部候補領域判別部
220 泡領域判別部
221 外周領域判別部
221a 円弧形状領域判別部
222 判別範囲決定部
230 泡内部判別部
231 周囲領域決定部
232 周囲領域特徴判別部
232a 泡領域円弧形状領域判別部
232b 円弧形状内部領域判別部
240 異常部領域判別部
310 泡内部判別部
311 周囲領域決定部
312 周囲領域特徴量算出部
312a 位置関係特徴量算出部
312a−1 距離算出部
312a−2 泡領域部位位置関係特徴量算出部
320 異常部領域判別部
321 判別基準作成部

【特許請求の範囲】
【請求項1】
画像内から異常部候補領域を、第1の判別基準を用いて判別する異常部候補領域判別手段と、
前記画像内から泡領域を判別する泡領域判別手段と、
前記泡領域の判別結果に基づいて、前記異常部候補領域が前記泡領域の内部に存在するか否かを判別する泡内部判別手段と、
前記異常部候補領域が前記泡領域の内部に存在すると判別された場合、前記第1の判別基準とは異なる第2の判別基準を用いて前記異常部候補領域が異常部領域であるか否かを判別する異常部領域判別手段と、
を備えることを特徴とする画像処理装置。
【請求項2】
前記異常部領域判別手段は、前記泡内部判別手段の判別結果に基づいて前記第2の判別基準に切り替える判別基準切り替え手段を有することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記異常部領域判別手段は、前記異常部候補領域の周囲領域の情報に基づいて前記第2の判別基準を適応的に作成する判別基準作成手段を有することを特徴とする請求項1に記載の画像処理装置。
【請求項4】
前記第2の判別基準に適合すると判別される対象は、前記第1の判別基準に適合すると判別される対象よりも少ないことを特徴とする請求項2又は3に記載の画像処理装置。
【請求項5】
前記泡領域判別手段は、前記異常部候補領域の判別結果に基づいて、前記画像内において前記泡領域の判別を行う判別範囲を決定する判別範囲決定手段を有することを特徴とする請求項1に記載の画像処理装置。
【請求項6】
前記泡領域判別手段は、前記泡領域の外周領域の特徴を有する領域を判別する外周領域判別手段を有することを特徴とする請求項1に記載の画像処理装置。
【請求項7】
前記外周領域判別手段は、円弧形状領域を判別する円弧形状領域判別手段を有することを特徴とする請求項6に記載の画像処理装置。
【請求項8】
前記泡領域判別手段は、前記泡領域の内部領域の特徴を有する領域を判別する内部領域判別手段を有することを特徴とする請求項1に記載の画像処理装置。
【請求項9】
前記内部領域判別手段は、ハレーション領域を判別するハレーション領域判別手段を有することを特徴とする請求項8に記載の画像処理装置。
【請求項10】
前記泡内部判別手段は、
前記異常部候補領域の周囲領域を決定する周囲領域決定手段と、
前記泡領域判別部による前記泡領域の判別結果の内、前記周囲領域及び該周囲領域の近傍領域における前記泡領域の判別結果に基づいて、前記周囲領域の特徴量を算出する周囲領域特徴量算出手段と、
を有することを特徴とする請求項1に記載の画像処理装置。
【請求項11】
前記周囲領域特徴量算出手段は、前記周囲領域及び該周囲領域の前記近傍領域における泡領域の面積を算出する面積算出手段を有することを特徴とする請求項10に記載の画像処理装置。
【請求項12】
前記面積算出手段は、前記周囲領域の輪郭画素を抽出する輪郭抽出手段を含み、前記輪郭画素の面積を算出すると共に、前記泡領域の面積を前記輪郭画素の面積に基づいて正規化した面積を算出することを特徴とする請求項11に記載の画像処理装置。
【請求項13】
前記周囲領域特徴量算出手段は、前記周囲領域及び該周囲領域の近傍領域における前記泡領域を構成する複数の部位の位置関係に基づく特徴量を算出する位置関係特徴量算出手段を有することを特徴とする請求項10に記載の画像処理装置。
【請求項14】
前記位置関係特徴量算出手段は、前記周囲領域及び該周囲領域の近傍領域における前記複数の部位と前記異常部候補領域との距離を算出する距離算出手段を含むことを特徴とする請求項13に記載の画像処理装置。
【請求項15】
前記泡領域判別手段は、
前記複数の部位に含まれる前記泡領域の外周領域の特徴を有する領域を判別する外周領域判別手段と、
前記複数の部位に含まれる前記泡領域の内部領域の特徴を有する領域を判別する内部領域判別手段と、
を有し、
前記位置関係特徴量算出手段は、前記外周領域の特徴を有する領域と、前記内部領域の特徴を有する領域との位置関係に基づいて特徴量を算出する泡領域部位位置関係特徴量算出手段を有することを特徴とする請求項13に記載の画像処理装置。
【請求項16】
前記泡内部判別手段は、
前記異常部候補領域の周囲領域を決定する周囲領域決定手段と、
前記泡領域判別部による前記泡領域の判別結果の内、前記周囲領域及び該周囲領域の近傍領域における前記泡領域の判別結果に基づいて、前記周囲領域における泡領域の特徴を判別する周囲領域特徴判別手段と、
を有することを特徴とする請求項1に記載の画像処理装置。
【請求項17】
周囲領域特徴判別手段は、
前記周囲領域及び該周囲領域の近傍領域における前記泡領域が円弧形状領域を有するか否かを判別する泡領域円弧形状領域判別手段と、
前記周囲領域が円弧形状領域の内部領域であるか否かを判別する円弧形状内部領域判別手段と、
を有することを特徴とする請求項16に記載の画像処理装置。
【請求項18】
画像内から異常部候補領域を、第1の判別基準を用いて判別する異常部候補領域判別ステップと、
前記画像内から泡領域を判別する泡領域判別ステップと、
前記泡領域の判別結果に基づいて、前記異常部候補領域が前記泡領域の内部に存在するか否かを判別する泡内部判別ステップと、
前記異常部候補領域が前記泡領域の内部に存在すると判別された場合、前記第1の判別基準とは異なる第2の判別基準を用いて前記異常部候補領域が異常部領域であるか否かを判別する異常部領域判別ステップと、
を含むことを特徴とする画像処理方法。
【請求項19】
画像内から異常部候補領域を、第1の判別基準を用いて判別する異常部候補領域判別ステップと、
前記画像内から泡領域を判別する泡領域判別ステップと、
前記泡領域の判別結果に基づいて、前記異常部候補領域が前記泡領域の内部に存在するか否かを判別する泡内部判別ステップと、
前記異常部候補領域が前記泡領域の内部に存在すると判別された場合、前記第1の判別基準とは異なる第2の判別基準を用いて前記異常部候補領域が異常部領域であるか否かを判別する異常部領域判別ステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate


【公開番号】特開2013−85718(P2013−85718A)
【公開日】平成25年5月13日(2013.5.13)
【国際特許分類】
【出願番号】特願2011−229229(P2011−229229)
【出願日】平成23年10月18日(2011.10.18)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】