画像処理装置、画像処理方法、及び画像処理プログラム
【課題】複数の画素を含む領域に関する情報を考慮した領域分割を行うことにより、特定領域の検出精度を向上させることができる画像処理装置等を提供する。
【解決手段】画像内のエッジ情報に基づいて、画像を、各々が複数の画素を含む複数の小領域に分割する領域分割部１１０と、複数の小領域の各々が、検出対象である特定領域に帰属する確率である帰属確率を推定する帰属確率推定部１２０と、互いに隣接する小領域が、特定領域及び非特定領域の内、同じ領域に属する度合いを定量的に表す連結強度を算出する隣接間連結強度算出部１３０と、帰属確率及び連結強度に基づいて、上記画像から特定領域を検出する病変部検出部１４０とを備える。
【解決手段】画像内のエッジ情報に基づいて、画像を、各々が複数の画素を含む複数の小領域に分割する領域分割部１１０と、複数の小領域の各々が、検出対象である特定領域に帰属する確率である帰属確率を推定する帰属確率推定部１２０と、互いに隣接する小領域が、特定領域及び非特定領域の内、同じ領域に属する度合いを定量的に表す連結強度を算出する隣接間連結強度算出部１３０と、帰属確率及び連結強度に基づいて、上記画像から特定領域を検出する病変部検出部１４０とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から特定の領域を検出する画像処理装置、画像処理方法、及び画像処理プログラムに関するものである。
【背景技術】
【０００２】
画像の領域分割に関連する技術として、例えば特許文献１には、グラフカット（Graph Cut）領域分割法を用いて、画像内の判別領域を対象領域（腎臓領域）と背景領域とに分割して腎臓領域を抽出する方法が開示されている。
【０００３】
グラフカット領域分割法とは、次のようにして、画像の内部を検出対象である特定領域と検出対象の背景である非特定領域とに分割する手法である。まず、画像内の複数の画素に対応する複数のノード（節点）Ｎと、各画素に対する判定ラベルであり特定領域及び非特定領域に対応する２つのノードＳ、Ｔとを、各画素が特定領域及び非特定領域の各々に属する確からしさに応じた大きさのリンクで接続し、さらに、互いに隣接する画素に対応するノード間を、当該隣接する画素が同一の領域内に含まれる確からしさに応じた大きさのリンクで接続した連結グラフを作成する。この連結グラフに対し、リンクを切断することにより、ノードＮ群を、ノードＳに接続されたノードＮ群と、ノードＴに接続されたノードＮ群とに分離することを試みる。その際、グラフ・ネットワーク理論における最大流最小カット定理を用いて、確からしさの合計が最小となるリンク群を切断する（即ち、切断されないリンク群における確からしさの合計を最大とする）ことにより、領域分割を最適化する（非特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２３２９６２号公報
【非特許文献】
【０００５】
【非特許文献１】Y. Boykov, M. Jolly, “Interactive Graph Cuts for Optimal Boundary & Region Segmentation of Objects in N-D Images”, Proceeding of “Internation Conference on Computer Vision”, July 2001, vol.1, pp. 105-112）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来、グラフカット領域分割法においては、各画素を１つの節点として演算を行っていたため、特定領域（又は非特定領域）に属する確からしさや、互いに隣接する画素が同一の領域に含まれる確からしさといった情報を、画素単位でしか判断していなかった。そのため、テクスチャ情報のように、複数の画素がまとまった領域から生じる特徴といった情報を考慮した領域分割を行うことができないという問題があった。
【０００７】
本発明は、上記に鑑みてなされたものであって、複数の画素を含む領域に関する情報を考慮した領域分割を行うことにより、特定領域の検出精度を向上させることができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、画像内のエッジ情報に基づいて、前記画像を、各々が複数の画素を含む複数の小領域に分割する小領域分割手段と、前記複数の小領域の各々が、検出対象である特定領域に帰属する確率である帰属確率を推定する帰属確率推定手段と、前記複数の小領域の内の互いに隣接する小領域が、前記特定領域及び該特定領域以外の領域である非特定領域の内、同じ領域に属する度合いを定量的に表す連結強度を算出する隣接間連結強度算出手段と、前記帰属確率及び前記連結強度に基づいて前記画像を前記特定領域と前記非特定領域とに分割することにより、前記特定領域を検出する特定領域検出手段とを備えることを特徴とする。
【０００９】
本発明に係る画像処理方法は、画像内のエッジ情報に基づいて、前記画像を、各々が複数の画素を含む複数の小領域に分割する小領域分割ステップと、前記複数の小領域の各々が、検出対象である特定領域に帰属する確率である帰属確率を推定する帰属確率推定ステップと、前記複数の小領域の内の互いに隣接する小領域が、前記特定領域及び該特定領域以外の領域である非特定領域の内、同じ領域に属する度合いを定量的に表す連結強度を算出する隣接間連結強度算出ステップと、前記帰属確率及び前記連結強度に基づいて前記画像を前記特定領域と前記非特定領域とに分割することにより、前記特定領域を検出する特定領域検出ステップとを含むことを特徴とする。
【００１０】
本発明に係る画像処理プログラムは、画像内のエッジ情報に基づいて、前記画像を、各々が複数の画素を含む複数の小領域に分割する小領域分割ステップと、前記複数の小領域の各々が、検出対象である特定領域に帰属する確率である帰属確率を推定する帰属確率推定ステップと、前記複数の小領域の内の互いに隣接する小領域が、前記特定領域及び該特定領域以外の領域である非特定領域の内、同じ領域に属する度合いを定量的に表す連結強度を算出する隣接間連結強度算出ステップと、前記帰属確率及び前記連結強度に基づいて前記画像を前記特定領域と前記非特定領域とに分割することにより、前記特定領域を検出する特定領域検出ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、エッジ情報に基づいて画像を複数の小領域に分割し、各小領域の特定領域への帰属確率と互いに隣接する小領域の間における連結強度とに基づいて画像から特定領域を検出するので、各々が複数の画素を含む小領域の特徴を考慮した領域分割を行うことができる。従って、特定領域の検出精度を向上させることが可能となる。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図２】図２は、図１に示す画像処理装置の動作を示すフローチャートである。
【図３】図３は、画像処理対象である管腔内画像の一例を示す模式図である。
【図４】図４は、図１に示す領域分割部の動作を示すフローチャートである。
【図５】図５は、図３に示す管腔内画像を小領域に分割した状態を示す模式図である。
【図６】図６は、図１に示す帰属確率推定部の動作を示すフローチャートである。
【図７Ａ】図７Ａは、教師データにおける小領域の特徴量分布を示すグラフである。
【図７Ｂ】図７Ｂは、教師データに基づいて推定された確率密度関数の一例を示すグラフである。
【図８】図８は、図１に示す隣接間連結強度算出部の動作を示すフローチャートである。
【図９】図９は、図１に示す病変部検出部の動作を示すフローチャートである。
【図１０Ａ】図１０Ａは、連結グラフの一例を示す模式図である。
【図１０Ｂ】図１０Ｂは、図１０Ａに示す連結グラフを最大流最小カット定理に基づいてカットした状態を示す模式図である。
【図１１】図１１は、本発明の実施の形態２に係る画像処理装置における演算部の構成を示す模式図である。
【図１２】図１２は、図１１に示す帰属確率推定部の動作を示すフローチャートである。
【図１３Ａ】図１３Ａは、２つの色特徴量からなる特徴空間に投影された特徴量分布をクラスタリングした結果の一例を示す模式図である。
【図１３Ｂ】図１３Ｂは、図１３Ａに示すクラスタの重心を示す模式図である。
【図１４】図１４は、病変部に対応するクラスタを推定する処理を示すフローチャートである。
【図１５Ａ】図１５Ａは、ある画像に対応する特徴量分布をクラスタリングした例を示す図である。
【図１５Ｂ】図１５Ｂは、別の画像に対応する特徴量分布をクラスタリングした例を示す図である。
【図１６】図１６は、図１１に示す隣接間連結強度算出部の動作を示すフローチャートである。
【図１７】図１７は、本発明の実施の形態３に係る画像処理装置における演算部の構成を示す模式図である。
【図１８】図１８は、図１７に示す隣接間連結強度算出部の動作を示すフローチャートである。
【図１９】図１９は、境界強度の算出方法を説明するための図である。
【図２０】図２０は、実施の形態３の変形例に係る画像処理装置における演算部の構成を示すブロック図である。
【図２１】図２１は、図２０に示す隣接間連結強度算出部の動作を示すフローチャートである。
【図２２】図２２は、実施の形態４に係る画像処理装置における演算部の構成を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態に係る画像処理装置について、図面を参照しながら説明する。なお、これらの実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
【００１４】
以下においては、一例として、内視鏡やカプセル型内視鏡等の医用観察装置によって被検体の管腔内（消化管内）を撮像した管腔内画像（消化管内画像）に対する画像処理を説明する。管腔内画像は、例えば、各画素においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分に対する画素レベル（画素値）を持つカラー画像である。
なお、本発明は、管腔内画像に限定されることなく、他の一般的な画像内より特定領域を検出する画像処理装置に広く適用することが可能である。
【００１５】
また、以下においては、管腔内画像内の病変部を検出対象である特定領域とし、それ以外の非病変部（粘膜、残渣等の内容物、泡等）を背景である非特定領域として説明するが、病変部及び粘膜を特定領域、それ以外（内容物、泡等）の領域を非特定領域とするなど、特定領域及び非特定領域としては所望の部位等を設定することができる。
【００１６】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。図１に示すように、画像処理装置１は、当該画像処理装置１全体の動作を制御する制御部１０と、医用観察装置によって撮像された管腔内画像の画像データを取得する画像取得部１１と、外部から入力された入力信号を受け付ける入力部１２と、管腔内画像や各種情報を含む画面を表示する表示部１３と、記録部１４と、管腔内画像から特定領域を検出する演算処理を行う演算部１５とを備える。
【００１７】
制御部１０は、ＣＰＵ等のハードウェアによって実現され、記録部１４に格納された各種プログラムを読み込むことにより、画像取得部１１から入力される画像データや入力部１２から入力される操作信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。
【００１８】
画像取得部１１は、医用観察装置を含むシステムの態様に応じて適宜構成される。例えば、医用観察装置がカプセル型内視鏡であり、医用観察装置との間における管腔内画像の画像データの受け渡しに可搬型の記録媒体が使用される場合、画像取得部１１は、この記録媒体を着脱自在に装着し、記録媒体に格納された画像データを読み出すリーダ装置で構成される。また、医用観察装置によって取得された管腔内画像の画像データを保存しておくサーバを設置する場合、画像取得部１１は、サーバと接続される通信装置等で構成され、サーバとデータ通信を行って画像データを取得する。或いは、画像取得部１１を、内視鏡等の医用観察装置から、ケーブルを介して画像信号を入力するインターフェース装置等で構成しても良い。
【００１９】
入力部１２は、例えばキーボードやマウス、タッチパネル、各種スイッチ等によって実現され、外部から受け付けた入力信号を制御部１０に出力する。
表示部１３は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現される。
【００２０】
記録部１４は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくは外付けハードディスク、又は、ＣＤ−ＲＯＭ等の情報記録媒体及びその読取装置等によって実現される。記録部１４は、画像取得部１１によって取得された管腔内画像の画像データの他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。例えば、記録部１４は、管腔内画像から特定領域を検出する画像処理プログラム１４ａを格納する。
【００２１】
演算部１５は、ＣＰＵ等のハードウェアによって実現され、画像処理プログラム１４ａを読み込むことにより、管腔内画像の画像データを処理し、管腔内画像から特定領域を検出するための種々の演算処理を行う。演算部１５は、領域分割部１１０と、帰属確率推定部１２０と、隣接間連結強度算出部１３０と、病変部検出部１４０とを備える。
【００２２】
領域分割部１１０は、管腔内画像内のエッジ情報に基づいて、当該管腔内画像を、各々が複数の画素を含む複数の小領域に分割する。詳細には、領域分割部１１０は、管腔内画像内の各画素におけるエッジ強度を算出するエッジ強度算出部１１１と、エッジ強度の尾根を境界として管腔内画像を複数の小領域に分割する分割部１１２とを有する。
【００２３】
帰属確率推定部１２０は、複数の小領域の各々が特定領域に帰属する確率（帰属確率）を推定する。詳細には、帰属確率推定部１２０は、各小領域の特徴量を小領域単位で算出する領域特徴量算出部１２１を有し、各小領域の特徴量に基づいて特定領域への帰属確率を推定する。帰属確率の推定に用いられる特徴量としては、例えば、小領域内部の色特徴量やテクスチャ特徴量が用いられる。
【００２４】
隣接間連結強度算出部１３０は、互いに隣接する２つの小領域（以下、隣接小領域ともいう）の間における連結強度を算出する。ここで、連結強度とは、隣接する小領域同士が共に特定領域又は非特定領域のいずれか同じ領域に属する度合いを定量的に表す量のことである。詳細には、隣接間連結強度算出部１３０は、各小領域について、自身と隣接する小領域に関する隣接情報を取得する隣接情報取得部１３１と、隣接情報に基づいて互いに隣接する小領域の連結強度を算出する連結強度算出部１３２とを有する。
【００２５】
この内、隣接情報取得部１３１は、各小領域の輪郭画素を検出する輪郭画素検出部１３１ａを含み、各小領域の輪郭画素に関する情報に基づいて隣接情報を取得する。
また、連結強度算出部１３２は、隣接小領域における帰属確率の差を算出する帰属確率差算出部１３２ａを含み、この帰属確率の差に基づいて当該隣接小領域の連結強度を算出する。
【００２６】
病変部検出部１４０は、帰属確率推定部１２０において推定された帰属確率と、隣接間連結強度算出部１３０において算出された連結強度とに基づいて、管腔内画像から特定領域として病変部を検出する。この際に、病変部検出部１４０は、グラフカット（Graph Cut）領域分割法を用いて、管腔内画像を病変部とそれ以外の部分（非病変部）とに分割する。詳細には、病変部検出部１４０は、帰属確率及び連結強度に基づいて連結グラフを構築する連結グラフ構築部１４１と、連結グラフにおける最小カット位置を算出する最小カット算出部１４２とを有し、各小領域に対応するノードを含む連結グラフを、最大流最小カット定理に従ってカットすることにより、複数の小領域を病変部に属する小領域群と、非病変部に属する小領域群とに分割する。
【００２７】
次に、画像処理装置１の動作を、図２を参照しながら説明する。図２は、画像処理装置１の動作を示すフローチャートである。
まず、ステップＳ１０において、演算部１５は、記録部１４から処理対象の管腔内画像１００を取得する。図３は、管腔内画像の一例を示す模式図である。以下においては、図３に示す管腔内画像（以下、単に画像ともいう）１００に対する処理を説明する。画像１００は、検出対象である病変部１０１と、それ以外の非病変部１０２とからなる。また、画像１００は、粘膜の襞に対応する構造物の境界１０３を含んでいる。
【００２８】
ステップＳ２０において、領域分割部１１０は、エッジ情報に基づいて画像１００内を、各々が複数の画素を含む複数の小領域に分割する。図４は、ステップＳ２０における領域分割部１１０の動作を示すフローチャートである。
【００２９】
まず、ステップＳ２０１において、エッジ強度算出部１１１は、画像１００内の各画素におけるエッジ強度を算出し、エッジ強度画像を作成する。具体的には、エッジ強度算出部１１１は、各画素の画素値の内のＧ成分に対し、ソーベルフィルタ等の公知の微分フィルタ処理を施す（参考：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」、第１１４〜１２１頁）。ここで、Ｇ成分を用いるのは、Ｇ成分は血液の吸光帯域に近いので、病変、粘膜、内容物の境界等の管腔内画像内の構造情報をよく反映するためである。なお、ステップＳ２０１においては、Ｇ成分以外の色成分や、公知の変換処理により画素値から２次的に算出される値に基づいてエッジ強度を算出しても良い。具体的には、ＹＣｂＣｒ変換により算出される輝度、色差、ＨＳＩ変換により算出される色相、彩度、明度等を用いることができる。
【００３０】
ステップＳ２０２において、分割部１１２は、必要に応じてエッジ強度画像に対して、ノイズを除去するための平滑化処理を施す。
ステップＳ２０３において、分割部１１２は、エッジ強度画像内の各画素におけるエッジ強度の勾配方向を取得する。このときの勾配方向は、エッジ強度の値が小さくなる方向とする。
【００３１】
ステップＳ２０４において、分割部１１２は、各画素から出発して勾配方向に沿って移動した際に到達する極小値の画素を探索する。
続くステップＳ２０５において、分割部１１２は、互いに隣接する極小値の画素に到達した出発点の画素が同一の領域に含まれるように画像を分割する。
【００３２】
さらに、ステップＳ２０６において、分割部１１２は、分割した各領域を識別するためのラベル値を各画素に付与し、ラベル値を画素値とする領域ラベル画像を生成する。図５は、そのようにして得られた領域ラベル画像の一例を示す模式図である。図５に示すように、領域ラベル画像１０４は、互いにラベル値が異なる複数の小領域Ａｎ（ｎ＝０１、０２、…）を含んでいる。
【００３３】
なお、エッジ強度の尾根を境界とする画像分割の手法の詳細については、例えば国際公開第２００６／０８０２３９号を参照されたい。また、エッジ強度に基づいて画像を分割する手法としては、他に、分水嶺（watershed）アルゴリズム（参考：Luc Vincent and Pierre Soille，“Watersheds in Digital Spaces： An Efficient Algorithm Based on Immersion Simulations”，IEEE Transactions on Pattern Analysis and Machine Intelligence， Vol．13，No．6， pp．583−598，June 1991）等を用いても良い。分水嶺アルゴリズムは、画像の画素値情報を高度とみなした地形に水を満たしていく際に、異なるくぼみに溜まる水の間に境界ができるように画像を分割する方法である。この分水嶺アルゴリズムによっても、上述したエッジ強度の尾根を境界とする画像分割の手法によるものと、ほぼ同等の画像分割結果を得ることができる。
【００３４】
図２のステップＳ３０において、帰属確率推定部１２０は、各小領域Ａｎの病変部１０１への帰属確率を推定する。本実施の形態１においては、予め作成された教師データにおける特徴量分布を確率モデル（確率密度関数）で近似し、この確率モデルに基づいて帰属確率を推定する方法を用いる。図６は、ステップＳ３０における帰属確率推定部１２０の動作を示すフローチャートである。
【００３５】
まず、ステップＳ３０１において、領域特徴量算出部１２１は、各小領域Ａｎの特徴量を算出する。特徴量としては、各小領域Ａｎ内の画素の画素値のＲＧＢ各成分の統計量（平均、分散、歪度、尖度、頻度分布等）や、各小領域Ａｎに関するテクスチャ情報（周波数特徴、同時生起行列等のテクスチャ特徴量、参考：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」、第１９２〜１９５頁）等のように、画素毎ではなく、複数画素がまとまった小領域Ａｎ全体の特徴を表す量が用いられる。或いは、特徴量として、各小領域Ａｎ内の画素の画素値のＲＧＢ各成分から２次的に算出される輝度、色差、色相、彩度、明度、色比等の統計量（同上）や、これらの２次的に算出される値に基づくテクスチャ情報を用いても良い。
【００３６】
続くステップＳ３０２において、帰属確率推定部１２０は、予め作成されて記録部１４に格納されている教師データを取得する。この教師データは、小領域の特徴量と、該小領域が病変部に帰属するか否かの判定結果とが関連付けられたデータの集合である。
【００３７】
ステップＳ３０３において、帰属確率推定部１２０は、教師データをもとに病変部に帰属する小領域（以下、病変部領域という）の発生確率Ｐｃを、病変部に帰属すると判定された小領域の数ＮＳを全小領域の数（ＮＳ＋ＮＴ）で割ることによって推定する。ここで、ＮＴは、教師データにおいて非病変部に帰属すると判定された小領域の数である。
【００３８】
ステップＳ３０４において、帰属確率推定部１２０は、病変部領域の確率密度関数、及び非病変部領域の確率密度関数を推定する。これは、病変部に帰属すると判定された小領域及び非病変部に帰属すると判定された小領域の特徴量分布に対し、公知の期待値最大化アルゴリズム（ＥＭアルゴリズム）を用いて混合正規分布を当て嵌めることにより行われる。ここで、ＥＭアルゴリズムとは、あるパラメータに基づくモデルの尤度の期待値の算出と、算出された期待値を最大化するパラメータの算出とを繰り返すことによりパラメータを推定する演算方法である。
【００３９】
例えば、図７Ａは、教師データにおける小領域の特徴量分布を示す。図７Ａに示すピーク１は、病変部に帰属すると判定された小領域の頻度のピークに対応し、ピーク２は、非病変部に帰属すると判定された小領域の頻度のピークに対応する。
【００４０】
また、図７Ｂは、図７Ａに示す特徴量分布に基づいて取得された、特徴量を確率変数とする確率密度関数を表すグラフである。図７Ｂに示す確率密度関数ｆＳ（ＲＥＦ）は、病変部に帰属する小領域の確率密度に対応し、確率密度関数ｆＴ（ＲＥＦ）は、非病変部に帰属する小領域の確率密度に対応する。
【００４１】
ステップＳ３０５において、帰属確率推定部１２０は、画像１００内の各小領域Ａｎの病変部１０１への帰属確率Ｐｎ（又は、非病変部１０２への帰属確率Ｐｎ’）を推定する。この帰属確率Ｐｎは、各小領域Ａｎの特徴量Ｃｎと、教師データにおける病変部領域の発生確率Ｐｃ及び確率密度関数ｆＳ（ＲＥＦ）（又は非病変部領域の発生確率Ｐｃ’（Ｐｃ’＝１−Ｐｃ）及び確率密度関数ｆＴ（ＲＥＦ））とから最大事後確率推定を行うことによって推定される。
【００４２】
なお、上記説明においては、帰属確率推定のための一連の処理を続けて行っているが、教師データに基づく発生確率の推定及び確率密度関数の推定（ステップＳ３０２〜Ｓ３０４）を事前に行って、発生確率及び確率密度関数の係数を記録部１４に記録しておいても良い。この場合、実際に帰属確率を推定する際には、ステップＳ３０１において算出された特徴量と、記録部１４から読み出した発生確率及び確率密度関数の係数とを用いて、ステップＳ３０５の演算を行えば良い。
【００４３】
以下、正規分布を用いた場合の帰属確率推定の処理手順を詳しく説明する。
まず、事前に、教師データをもとに次式（１）に示す病変部領域の発生確率Ｐｃ、及び非病変部領域の発生確率Ｐｃ’（Ｐｃ’＝１−Ｐｃ）を求めておく。
【数１】
【００４４】
そして、教師データにおける病変部に帰属すると判定された複数のデータの特徴量Ｃｉをもとに、次式（２）及び（３）によって与えられる平均値μ、及び分散値Ｚを求める。
【数２】
但し、ＮＤはデータ数である。
【００４５】
さらに、これらの値より、次式（４）に示す病変部領域の確率密度関数ｆＳ(Ｃｎ)の係数を算出する。
【数３】
但し、Ｃｎは判別対象である小領域の特徴量である。式（４）において、破線で囲った部分が求める係数である。
非病変部領域の確率密度関数ｆＴ(Ｃｎ)の係数に関しても、データを変えて同様の計算により算出する。
【００４６】
このようにして事前に得た病変部領域及び非病変部領域の発生確率Ｐｃ、Ｐｃ’と、病変部領域及び非病変部領域の確率密度関数ｆＳ(Ｃｎ)、ｆＴ(Ｃｎ)の係数を記録しておき、これらと判別対象となる小領域の特徴量Ｃｎをもとに、次式（５）に示す病変部への帰属確率Ｐｎを算出する。
【数４】
【００４７】
また、混合正規分布の当て嵌めにより確率密度関数を推定する場合には、正規分布ｆＳ（Ｃｎ）の線形和の式である次式（６）を用いる。
【数５】
【００４８】
なお、実施の形態１においては、確率密度関数に基づき、連続値となる帰属確率を推定する方法を用いたが、帰属確率は必ずしも連続値である必要はない。例えば、病変部領域に帰属する／帰属しない確率を１又は０の２値で表しても良い。その際には、パターン認識等において用いられる決定木、近傍法、サポートベクターマシン等の公知の方法によって帰属確率を推定する。
【００４９】
図２に示すステップＳ４０において、隣接間連結強度算出部１３０は、互いに隣接する小領域の間における連結強度を算出する。図８は、ステップＳ４０における隣接間連結強度算出部１３０の動作を示すフローチャートである。
【００５０】
ステップＳ４０１において、輪郭画素検出部１３０ａは、各小領域Ａｎの輪郭画素を検出する。輪郭画素の検出法としては公知の種々の方法を用いることができる。実施の形態１においては、ステップＳ２０６において生成された領域ラベル画像内をラスタ走査しながら注目画素を順次設定し、注目画素の上下左右のいずれかに隣接する隣接画素と注目画素とのラベル値を比較して、ラベル値が異なる場合における注目画素を輪郭画素として検出する。
【００５１】
ステップＳ４０２において、隣接情報取得部１３１は、各小領域Ａｎについて、自身と隣接する小領域Ａｎ’（ｎ’≠ｎ）に関する隣接情報を求める。ここで、隣接情報とは、小領域Ａｎがいずれの小領域Ａｎ’と接しているかを表す情報である。隣接情報取得部１３１は、ステップＳ４０１において輪郭画素として検出した注目画素に付与されたラベル値、及び、その注目画素を輪郭画素であると判定した際の隣接画素のラベル値を隣接情報として記録する。
【００５２】
ステップＳ４０３において、帰属確率差算出部１３２ａは、隣接小領域における病変部１０１への帰属確率の差ΔＰ（以下、帰属確率差という）を算出する。具体的には、帰属確率差算出部１３２ａは、ステップＳ４０２において取得された隣接情報に基づいて互いに隣接する小領域Ａｎ、Ａｎ’を特定し、小領域Ａｎの帰属確率Ｐｎと小領域Ａｎ’の帰属確率Ｐｎ’との差（の絶対値）｜Ｐｎ−Ｐｎ’｜を、帰属確率差ΔＰとして算出する。
【００５３】
ステップＳ４０４において、連結強度算出部１３２は、ステップＳ４０２において算出された帰属確率差ΔＰに基づいて、各隣接小領域の連結強度を算出する。ここで、互いに隣接する小領域Ａｎ、Ａｎ’の間における病変部１０１への帰属確率差ΔＰが小さいということは、小領域Ａｎ、Ａｎ’が共に同一の領域に属している可能性が高く、連結強度は大きいと言える。そこで、連結強度算出部１３２は、帰属確率差ΔＰを変数とし、帰属確率差ΔＰが小さくなるほど連結強度が大きくなる減少関数を設定し、この減少関数を用いて小領域Ａｎ、Ａｎ’の間の連結強度を算出する。或いは、連結強度算出部１３２は、帰属確率差ΔＰが小さくなるほど連結強度が大きくなるように帰属確率差ΔＰと連結強度とを関係付けた変換テーブルを作成し、この変換テーブルを参照することにより連結強度を取得しても良い。
【００５４】
図２のステップＳ５０において、病変部検出部１４０は、画像１００から病変部１０１を検出する。図９は、ステップＳ５０における病変部検出部１４０の動作を示すフローチャートである。
【００５５】
ステップＳ５０１において、連結グラフ構築部１４１は、ステップＳ３０において推定された帰属確率と、ステップＳ４０において算出された連結強度とに基づいて、小領域Ａｎに対応するノードＮｎと、病変部１０１に対応するノードＳと、非病変部１０２に対応するノードＴとを連結した連結グラフ１０５を構築する（図１０Ａ参照）。この連結グラフ１０５において、ノードＳと各ノードＮｎとは、対応する小領域Ａｎの病変部１０１への帰属確率Ｐｎに応じた大きさを有するＳリンク（ｓ−ｌｉｎｋ）によって連結される。また、ノードＴと各ノードＮｎとは、対応する小領域Ａｎの非病変部１０２への帰属確率（１−Ｐｎ）に応じた大きさを有するＴリンク（ｔ−ｌｉｎｋ）によって連結される。さらに、互いに隣接するノードＮｎ、Ｎｎ’は、対応する小領域Ａｎ、Ａｎ’の間の連結強度に応じた大きさを有するＮリンク（ｎ−ｌｉｎｋ）によって連結される。
【００５６】
ステップＳ５０２において、最小カット算出部１４２は、連結グラフ１０５における最小カット位置を算出する。ここで、最小カット位置とは、全てのノードＮｎがノードＳに属するノードＮｎ群とノードＴに属するノードＮｎ群とに分割されるように、いずれかのＳリンク、Ｔリンク、及びＮリンクをカットした場合に、カットされたＳリンクの帰属確率Ｐｎ、Ｔリンクの帰属確率１−Ｐｎ、及びＮリンクの連結強度の合計が最小値となるようなカット位置のことである。このような最小カット位置は、グラフ・ネットワーク理論における最大流最小カット定理に基づいて算出される（参考：Y. Boykov, M. Jolly, “Interactive Graph Cuts for Optimal Boundary & Region Segmentation of Objects in N-D Images”, Proceeding of “Internation Conference on Computer Vision”, July 2001, vol.1, pp. 105-112）。
【００５７】
ステップＳ５０３において、病変部検出部１４０は、ステップＳ５０２において算出された最小カット位置に基づいて、病変部１０１に属する小領域Ａｎを特定する。具体的には、連結グラフ１０５を最小カット位置においてカットした結果、ノードＳとのリンク関係が維持されたノードＮｎに対応する小領域Ａｎが、病変部１０１に属する小領域Ａｎとなる（図１０Ｂ参照）。
【００５８】
図２のステップＳ６０において、演算部１５は、ステップＳ５０３において特定された小領域Ａｎを、病変部の検出結果として表示部１３に出力すると共に、記録部１４に記録する。
【００５９】
以上説明したように、実施の形態１においては、管腔内画像内のエッジ情報に基づいて当該管腔内画像を複数の小領域に分割し、各小領域の特定領域（病変部）への帰属確率及び隣接小領域の連結強度を算出し、これらの帰属確率及び連結強度に基づいて画像を特定領域と非特定領域とに分割する。従って、実施の形態１によれば、複数の画素がまとまった小領域から生じる特徴を考慮した領域分割を行うことができる。従って、管腔内画像からの特定領域の検出精度を向上させることが可能となる。
【００６０】
また、実施の形態１によれば、グラフカット法による領域分割を小領域単位で行うので、演算量を低減して、従来よりも高速に特定領域の検出結果を得ることが可能となる。
【００６１】
（実施の形態２）
次に、本発明の実施の形態２について説明する。
実施の形態２に係る画像処理装置は、図１に示す演算部１５の代わりに、図１１に示す演算部２０を備える。この演算部２０は、領域分割部１１０と、帰属確率推定部２２０と、隣接間連結強度算出部２３０と、病変部検出部１４０とを備える。
【００６２】
帰属確率推定部２２０は、各小領域の特徴量を算出する領域特徴量算出部１２１に加え、小領域の特徴量をもとに該小領域の病変部への帰属確率を算出する確率関数を推定する確率関数推定部２２１を有する。確率関数推定部２２１は、管腔内画像における特徴量の分布をクラスタ分けするクラスタリング部２２１ａと、病変部に対応するクラスタを推定するクラスタ推定部２２１ｂと、クラスタの推定結果に基づいて、病変部領域及び非病変部領域の確率密度関数をそれぞれ推定する確率密度関数推定部２２１ｃとを含む。
【００６３】
隣接間連結強度算出部２３０は、各小領域に対し、隣接する小領域に関する隣接情報を取得する隣接情報取得部１３１と、隣接情報に基づいて連結強度を算出する連結強度算出部２３１とを有する。連結強度算出部２３１は、隣接小領域における内部特徴量の差を算出する内部特徴量差算出部２３１ａを含み、内部特徴量の差に基づいて隣接小領域の連結強度を算出する。
【００６４】
次に、演算部２０の動作を説明する。演算部２０全体の動作は図２に示すとおりであり、ステップＳ３０及びステップＳ４０における詳細な動作が実施の形態１とは異なる。なお、実施の形態２においても、一例として、図５に示す画像１００に対する処理を説明する。また、実施の形態２においては、各小領域の特徴量として、２種類の色特徴量Ｃα及びＣβを用いることとする。
【００６５】
図１２は、ステップＳ３０における帰属確率推定部２２０の動作を示すフローチャートである。なお、ステップＳ３２１の動作は、図６に示すステップＳ３０１と対応している。
ステップＳ３２１に続くステップＳ３２２において、クラスタリング部２２１ａは、画像１００内の小領域Ａｎの特徴量の分布をクラスタ分け（クラスタリング）する。クラスタリング法としては、階層法、k-means法（参考：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」、第２３１〜２３２頁）、期待値最大化アルゴリズム（ＥＭアルゴリズム）、自己組織化マップ等の公知の手法を用いることができる。
【００６６】
図１３Ａは、色特徴量（Ｃαｎ，Ｃβｎ）を有する小領域Ａｎを、色特徴量Ｃα及びＣβの２軸からなる特徴空間１０６に投影して、小領域Ａｎの特徴量分布をクラスタリングした結果の一例を示す。図１３Ａの場合、小領域Ａｎに対応する色特徴量（Ｃαｎ，Ｃβｎ）は、２つのクラスタＣＬ１及びＣＬ２にクラスタリングされている。
【００６７】
ステップＳ３２３において、クラスタ推定部２２１ｂは、病変部１０１に対応するクラスタを推定する。図１４は、ステップＳ３２３における詳細な処理を示すフローチャートである。
【００６８】
まず、ステップｓ０１において、クラスタ推定部２２１ｂは、各クラスタＣＬ１、ＣＬ２の重心座標Ｇ１、Ｇ２を算出する（図１３Ｂ参照）。この重心座標Ｇ１、Ｇ２は、クラスタＣＬ１、ＣＬ２それぞれに属する特徴量（Ｃαｎ，Ｃβｎ）の平均値に対応する。
【００６９】
ステップｓ０２において、クラスタ推定部２２１ｂは、予め作成されて記録部１４に格納されている教師データにおける小領域の特徴量分布をもとに、病変部領域及び非病変部領域の確率密度関数ｆＳ（ＲＥＦ）及びｆＴ（ＲＥＦ）を推定する。なお、確率密度関数の推定方法については、実施の形態１におけるステップＳ３０２〜Ｓ３０４と同様である。ただし、実施の形態２においては、特徴量が複数種類用いられているため、実施の形態１における特徴量Ｃの代わりに、特徴ベクトル（Ｃα，Ｃβ）が用いられる。
【００７０】
ここで、２次元以上の特徴量からなる特徴ベクトルＣｎ＝（Ｃαｎ，Ｃβｎ）を用いる場合の正規分布関数式（確率密度関数）の推定処理手順を詳しく説明する。
まず、教師データにおける病変部に帰属すると判定された複数のデータの特徴ベクトルＣｉ＝（ｃi_1，ｃi_2，…，ｃ，ｃi_k）ｔ （ｃi_j：ｉ番目の教師データのｊ番目の特徴量値、ｋ：特徴量の次元数）をもとに、次式（７）および（８）によって与えられる平均ベクトルμ、及び分散共分散行列Ｚを求める。
【数６】
但し、ＮＤはデータ数である。
【００７１】
さらに、これらの値より、次式（９）に示す病変部領域の確率密度関数ｆＳ（Ｃｎ）の係数を算出する。
【数７】
但し、｜Ｚ｜はＺの行列式、Ｚ−１はＺの逆行列である。式（９）において、破線で囲んだ部分が求める係数である。
非病変部領域の確率密度関数ｆＴ(Ｃｎ)の係数に関しても、データを変えて同様の演算処理により算出する。
【００７２】
なお、このような教師データに基づく確率密度関数の推定処理を事前に行い、確率密度関数の係数を記録部１４に予め記録しておくと良い。この場合、ステップｓ０２においては、演算処理を行う代わりに、確率密度関数の係数を記録部１４から読み出せば良い。
【００７３】
ステップｓ０３において、クラスタ推定部２２１ｂは、確率密度関数ｆＳ（ＲＥＦ）、ｆＴ（ＲＥＦ）と、重心座標Ｇ１（ＣαＧ１，ＣβＧ１）、Ｇ２（ＣαＧ２，ＣβＧ２）とから、重心座標Ｇ１、Ｇ２各々の病変部への帰属確率を推定する。帰属確率は、上式（５）を用いて算出することができる。なお、式（５）における病変部領域の発生確率Ｐｃ、及び非病変部領域の発生確率Ｐｃ’（Ｐｃ’＝１−Ｐｃ）は、式（１）を用いて事前に算出し、記録部１４に記録しておくと良い。
【００７４】
その結果、病変部への帰属確率が所定の値（例えば０．５）以上である重心座標のクラスタが、病変部１０１に対応するクラスタ（以下、病変部クラスタという）であると推定される（ステップｓ０４：Ｙｅｓ、ステップｓ０５）。一方、病変部領域への帰属確率が所定の値（例えば０．５）より小さい重心座標のクラスタは、非病変部１０２に対応するクラスタ（以下、非病変部クラスタという）であると推定される（ステップｓ０４：Ｎｏ、ステップｓ０６）。以下においては、図１３Ｂに示すクラスタＣＬ１が病変部クラスタと推定され、クラスタＣＬ２が非病変部クラスタと推定されたものとする。
【００７５】
図１２のステップＳ３２４において、確率密度関数推定部２２１ｃは、特徴空間１０６における病変部１０１の確率密度関数ｆＳ、及び非病変部１０２の確率密度関数ｆＴを推定する。これは、病変部クラスタＣＬ１に含まれる小領域Ａｎの特徴量分布、及び病変部クラスタＣＬ１に含まれない（図１３Ａにおいては非病変部クラスタＣＬ２に含まれる）小領域Ａｎの特徴量分布に対し、上式（７）〜（９）を適用することにより推定することができる。或いは、病変部クラスタＣＬ１に含まれる小領域Ａｎの特徴量分布、及び病変部クラスタＣＬ１に含まれない小領域Ａｎの特徴量分布に対し、期待値最大化アルゴリズム（ＥＭアルゴリズム）を用いて混合正規分布を当て嵌めることにより推定しても良く、この場合には、正規分布ｆＳ（Ｃｎ）の線形和の式である式（６）を用いれば良い。
【００７６】
ステップＳ３２５において、確率関数推定部２２１は、各小領域Ａｎの病変部１０１への帰属確率を与える確率関数ＦＰを推定する。この確率関数ＦＰは、上式（５）と同様に、病変部クラスタＣＬ１に属する特徴量を有する小領域Ａｎの数ＮＳを、画像１００内の全ての小領域Ａｎの数（ＮＳ＋ＮＴ）で割ることによって病変部１０１の発生確率Ｐｃを推定し、この発生確率Ｐｃと、ステップＳ３２４において推定された確率密度関数ｆＳ（又は、発生確率（１−Ｐｃ）と、確率密度関数ｆＴ）とを用いて最大事後確率推定を行うことにより推定される。
【００７７】
ステップＳ３２６において、帰属確率推定部２２０は、各小領域Ａｎの色特徴量Ｃα、Ｃβ、及びステップＳ３２５において推定された確率関数ＦＰに基づいて、各小領域Ａｎの病変部１０１への帰属確率Ｐｎを推定する。
【００７８】
ここで、帰属確率推定部２２０において、上記のように確率関数を推定する理由は次のとおりである。管腔内画像１００内における色等の特徴は、多くの場合、被検体内の病変部、非病変部といった部位に対応して現れる。このため、図１３Ａに示すような特徴空間１０６において特徴量分布をクラスタリングすることにより、各部位に対応する特徴量分布のクラスタＣＬ１、ＣＬ２が生成される。
【００７９】
ところが、このような部位の特徴は、被検体毎の個人差や、消化管内の撮像箇所の違い等に応じて異なる場合がある。そのような場合、特徴空間１０６における特徴量分布に対し、病変部又は非病変部への帰属可能性（いずれの領域への帰属確率が高いか）を分ける境界が、個々の画像によって変動してしまう。例えば、画像１００については、図１５Ａに示すように境界Ｔｈ１で分けられるクラスタＣＬ１、ＣＬ２が形成されるのに対し、別の画像については、図１５Ｂに示すように、異なる境界Ｔｈ２で分けられるクラスタＣＬ１’、ＣＬ２’が生成される可能性がある。
【００８０】
そのため、全ての画像に対し、教師データにおける特徴量分布に基づく確率モデルから算出される境界ＴｈＡＬＬを一律に適用して各小領域Ａｎの病変部１０１への帰属確率を推定すると、病変部１０１を適切に検出できなくなる場合がある。そこで、実施の形態２においては、画像毎に特徴量分布をクラスタリングし、クラスタ単位で病変部又は非病変部への帰属可能性を判定し、この判定結果を利用して各小領域Ａｎの病変部又は非病変部への帰属確率を推定することとしている。
【００８１】
例えば、図１５Ａにおいて、領域Ｓ１に含まれる特徴量（Ｃαｎ，Ｃβｎ）は、境界ＴｈＡＬＬによれば、クラスタＣＬ２に属するにもかかわらず、病変部への帰属可能性が高い側に分類される。しかしながら、実施の形態２によれば、図１５Ａに示す特徴空間に対しては境界Ｔｈ１が適用されるため、当該領域Ｓ１に含まれる特徴量（Ｃαｎ，Ｃβｎ）は、非病変部への帰属可能性が高い側に分類される。
【００８２】
一方、図１５Ｂにおいて、領域Ｓ２に含まれる特徴量（Ｃαｎ，Ｃβｎ）は、境界ＴｈＡＬＬによれば、クラスタＣＬ１’に属するにもかかわらず、非病変部への帰属可能性が高い側に分類される。しかしながら、実施の形態２によれば、図１５Ｂに示す特徴空間に対しては境界Ｔｈ２が適用されるため、当該領域Ｓ２に含まれる特徴量（Ｃαｎ，Ｃβｎ）は、病変部への帰属可能性が高い側に分類される。
【００８３】
図１６は、図２のステップＳ４０における隣接間連結強度算出部２３０の動作を示すフローチャートである。なお、ステップＳ４２１及びＳ４２２の動作は、図８に示すステップＳ４０１及びＳ４０２と対応している。
【００８４】
ステップＳ４２２に続くステップＳ４２３において、内部特徴量差算出部２３１ａは、隣接小領域における領域内部の特徴量の差（以下、内部特徴量差という）ΔＣを算出する。具体的には、互いに隣接する小領域Ａｎ、Ａｎ’の特徴量ベクトルＣｎ（Ｃαｎ，Ｃβｎ）、Ｃｎ’（Ｃαｎ’，Ｃβｎ’）をそれぞれ取得し、次式（１０）で与えられる特徴量ベクトルＣｎ、Ｃｎ’の差の大きさ（特徴空間におけるユークリッド距離に相当）を算出する。
ΔＣ＝√｛（Ｃαｎ−Ｃαｎ’）２＋（Ｃβｎ−Ｃβｎ’）２｝ …（１０）
【００８５】
なお、特徴量としては、各小領域Ａｎ内の画素の画素値のＲＧＢ各成分の統計量（平均、分散、歪度、尖度、頻度分布等）や、各小領域Ａｎに関するテクスチャ情報、画素値のＲＧＢ各成分から２次的に算出される輝度、色差、色相、彩度、明度、色比等の統計量（同上）、これらの２次的に算出される値に基づくテクスチャ情報が用いられる。また、特徴量の種類は、ステップＳ３２１において算出したものと同じ種類であっても良いし、異なる種類であっても良い。前者の場合、ステップＳ３２１において算出された特徴量を記憶部１４に記憶させておき、ステップＳ４２２においては、記憶部１４から当該特徴量を取得しても良い。
【００８６】
ステップＳ４２４において、連結強度算出部２３１は、各隣接小領域の連結強度を算出する。ここで、互いに隣接する小領域Ａｎ、Ａｎ’の間における内部特徴量の差ΔＣが小さいということは、小領域Ａｎ、Ａｎ’が共に同一の領域に含まれる可能性が高く、連結強度は大きいと言える。そこで、連結強度算出部２３１は、内部特徴量差ΔＣが小さくなるほど値が大きくなるように連結強度を算出する。
【００８７】
具体的には、内部特徴量差ΔＣを変数とする減少関数を設定して連結強度を算出すれば良い。或いは、内部特徴量差ΔＣが小さくなるほど連結強度が大きくなるように内部特徴量差ΔＣと連結強度とを関連付けた変換テーブルを作成し、この変換テーブルを参照することにより連結強度を取得しても良い。
【００８８】
以上説明したように、実施の形態２によれば、エッジ情報を基に画像を分割した小領域の内部特徴量の差から算出（取得）された連結強度に基づいて特定領域（病変部）を検出するので、特定領域の検出精度を向上することができる。また、実施の形態２によれば、画像毎に、小領域の特徴量分布に応じた確率関数を推定するので、このような確率関数を用いることにより、個々の画像に対して適応的な帰属確率を推定することができ、特定領域の検出精度をさらに向上させることが可能となる。
【００８９】
（実施の形態３）
次に、本発明の実施の形態３について説明する。
実施の形態３に係る画像処理装置は、図１に示す演算部１５の代わりに、図１７に示す演算部３０を備える。この演算部３０は、領域分割部１１０と、帰属確率推定部１２０と、隣接間連結強度算出部３３０と、病変部検出部１４０とを備える。なお、この内の帰属確率推定部１２０の代わりに、図１１に示す帰属確率推定部２２０を設けても良い。
【００９０】
隣接間連結強度算出部３３０は、隣接情報取得部１３１に加えて、連結強度算出部３３１を有する。連結強度算出部３３１は、連結強度として、互いに隣接する小領域間における境界強度を算出する境界強度算出部３３１ａを含み、この境界強度に基づいて隣接小領域の連結強度を算出する。より詳細には、境界強度算出部３３１ａは、互いに隣接する小領域間の境界画素を検出する境界画素検出部ａ１と、境界画素におけるエッジ強度を算出する境界エッジ強度算出部ａ２とを含み、境界画素におけるエッジ強度に基づいて当該小領域間の境界強度を算出する。
【００９１】
次に、演算部３０の動作を説明する。演算部３０全体の動作は図２に示すとおりであり、ステップＳ４０における詳細な動作が実施の形態１とは異なる。
図１８は、ステップＳ４０における隣接間連結強度算出部３３０の動作を示すフローチャートである。なお、ステップＳ４３１及びＳ４３２の動作は、図８に示すステップＳ４０１及びＳ４０２と対応している。
【００９２】
ステップＳ４３２に続くステップＳ４３３において、境界画素検出部ａ１は、図１９に示すように、互いに隣接する小領域Ａｎ、Ａｎ’の間における境界画素Ｇｍ（ｍ＝１〜Ｍ）を検出する。境界画素Ｇｍの検出方法としては、例えば、ステップＳ２０６において生成された領域ラベル画像において輪郭追跡するなど、公知の方法を用いることができる（参考：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」、第１７８〜１７９頁）。
【００９３】
ステップＳ４３４において、境界エッジ強度算出部ａ２は、境界画素Ｇｍにおけるエッジ強度ＩＥＤＧ（Ｇｍ）を算出する。境界画素Ｇｍにおけるエッジ強度は、例えば、ステップＳ４３３において検出された境界画素を順次注目画素とし、注目画素及びその近傍画素の画素値の内のＧ成分に対し、ソーベルフィルタ等の公知の微分フィルタ処理（参考：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」、第１１４〜１２１頁）を施すことによって算出できる。なお、Ｇ成分を用いるのは、先にも述べたように、Ｇ成分は血液の吸光帯域に近いので、管腔内画像内の構造情報をよく反映するためである。なお、ステップＳ４３４において、Ｇ成分以外の色成分や、画素値に基づく公知の変換処理により２次的に算出される値（輝度、色差、色相、彩度、明度等）を用いても良い。
【００９４】
ステップＳ４３５において、境界強度算出部３３１ａは、ステップＳ４３４において算出された境界画素Ｇｍにおけるエッジ強度のｍに関する総和ΣＩＥＤＧ（Ｇｍ）を求め、この総和を境界画素Ｇｍの個数Ｍで割ることにより、互いに隣接する小領域間における境界強度ＩＢＯＲ（＝ΣＩＥＤＧ（Ｇｍ）／Ｍ））を算出する。
【００９５】
ステップＳ４３６において、連結強度算出部３３１は、各隣接小領域の連結強度を算出する。ここで、互いに隣接する小領域Ａｎ、Ａｎ’の間における境界強度ＩＢＯＲが小さいということは、小領域Ａｎ、Ａｎ’が共に同一の領域に属している可能性が高く、連結強度は大きいと言える。そこで、連結強度算出部３３１は、境界強度ＩＢＯＲが小さくなるほど値が大きくなるように連結強度を算出する。具体的には、境界強度ＩＢＯＲを変数とする減少関数を設定して連結強度を算出すれば良い。或いは、境界強度ＩＢＯＲが小さくなるほど連結強度が大きくなるように境界強度ＩＢＯＲと境界強度とを関連付けた変換テーブルを作成し、この変換テーブルに基づいて連結強度を取得しても良い。
【００９６】
以上説明したように、実施の形態３によれば、エッジ情報を基に画像を分割した小領域の境界強度から算出（取得）された連結強度に基づいて特定領域（病変部）を検出するので、特定領域の検出精度を向上させることができる。
【００９７】
（変形例）
次に、実施の形態３の変形例を説明する。
図２０は、変形例に係る画像処理装置の演算部の構成を示すブロック図である。図２０に示すように、変形例に係る演算部３１は、図１７に示す連結強度算出部３３１の代わりに、連結強度算出部３４１を有する隣接間連結強度算出部３４０を備える。連結強度算出部３４１は、境界強度算出部３３１ａに加えて、境界強度補正部３３１ｂを更に含んでいる。
【００９８】
図２１は、隣接間連結強度算出部３４０の動作を示すフローチャートである。なお、ステップＳ４３１〜Ｓ４３５、及びＳ４３６の動作は、実施の形態３と同様である。
ステップＳ４３５に続くステップＳ４４０において、境界強度補正部３３１ｂは、互いに隣接する小領域間の境界強度ＩＢＯＲを、当該小領域の病変部１０１への帰属確率Ｐｎ
（又は非病変部への帰属確率（１−Ｐｎ））に基づいて補正する。
【００９９】
ここで、管腔内画像においては、赤色（発赤）と白色（潰瘍）のように、色の特徴が互いに異なる病変が隣接している場合や、粘膜、残渣、泡等のように、色の特徴が互いに異なる領域が隣接している場合がある。このため、病変部に属する領域と非病変部に属する領域との間でのみ境界強度が高いわけではなく、病変部の内部や、非病変部の内部からも高い境界強度が算出される場合がある。そのため、小領域間における境界強度をそのまま用いて病変部の検出を行うと検出精度が低下する可能性もある。そこで、本変形例においては、互いに隣接する小領域の各々の帰属確率に基づいて、それらの小領域の間の境界強度を補正する。
【０１００】
具体的には、境界強度補正部３３１ｂは、互いに隣接する小領域Ａｎ、Ａｎ’それぞれの帰属確率Ｐｎ、Ｐｎ’の平均値ＰＡＶＥ（ＰＡＶＥ＝（Ｐｎ＋Ｐｎ’）／２）を算出する。そして、この平均値ＰＡＶＥが１又は０に近づくほど、即ち、小領域Ａｎ、Ａｎ’が共に同じ領域（病変部又は非病変部）に帰属している可能性が高いほど、小領域Ａｎ、Ａｎ’の間の境界強度ＩＢＯＲが小さくなるように補正を行う。そのためには、例えば、帰属確率の平均値ＰＡＶＥを変数とする減少関数ｆＣ（ＰＡＶＥ）を設定し、境界強度ＩＢＯＲと関数ｆｃとの積を、補正後の境界強度ＩＢＯＲ’とすれば良い。
【０１０１】
この変形例によれば、特定領域（病変部）又は非特定領域（非病変部）の領域内部における小領域間の境界強度がこれらの領域の判別に与える影響を抑制することができる。従って、特定領域の検出精度を向上させることが可能となる。
【０１０２】
（実施の形態４）
次に、本発明の実施の形態４について説明する。
実施の形態４に係る画像処理装置は、図１に示す演算部１５の代わりに、図２２に示す演算部４０を備える。この演算部４０は、領域分割部１１０と、帰属確率推定部１２０と、隣接間連結強度算出部４３０と、病変部検出部１４０とを備える。なお、この内の帰属確率推定部１２０の代わりに、図１１に示す帰属確率推定部２２０を設けても良い。
【０１０３】
隣接間連結強度算出部４３０は、隣接情報取得部１３１と、連結強度算出部４３１と、連結強度補正部４３２とを有する。
連結強度算出部４３１は、帰属確率差算出部１３２ａと、内部特徴量差算出部２３１ａと、境界強度算出部３３１ａとを含み、帰属確率差算出部１３２ａによって算出された帰属確率差ΔＰ、内部特徴量差算出部２３１ａによって算出された内部特徴量差ΔＣ、及び境界強度算出部３３１ａによって算出された境界強度ＩＢＯＲに基づいて、隣接小領域の連結強度を算出する。具体的には、連結強度算出部４３１は、帰属確率差ΔＰ、内部特徴量差ΔＣ、及び境界強度ＩＢＯＲをそれぞれ変数とする減少関数ｆＸ（ΔＰ）、ｆＹ（ΔＣ）、ｆＺ（ＩＢＯＲ）の重み付け和を算出することにより、次式（２）で与えられる連結強度Ｉを算出する。式（２）において、ｗ１、ｗ２、ｗ３は重み係数であり、ｗ１≧０、ｗ２≧０、ｗ３≧０、且つ、ｗ１＋ｗ２＋ｗ３＝１を満たす定数である。
Ｉ＝ｗ１・ｆＸ（ΔＰ）＋ｗ２・ｆＹ（ΔＣ）＋ｗ３・ｆＺ（ＩＢＯＲ） …（２）
【０１０４】
また、連結強度補正部４３２は、各隣接小領域について算出された連結強度Ｉを、当該小領域の病変部１０１への帰属確率Ｐｎ（又は非病変部への帰属確率（１−Ｐｎ））に基づいて補正する。具体的には、連結強度補正部４３２は、互いに隣接する小領域Ａｎ、Ａｎ’それぞれの帰属確率Ｐｎ、Ｐｎ’の平均値ＰＡＶＥ（ＰＡＶＥ＝（Ｐｎ＋Ｐｎ’）／２）を算出し、この平均値ＰＡＶＥが１又は０に近づくほど、連結強度Ｉが小さくなるように補正を行う。そのためには、例えば、帰属確率の平均値ＰＡＶＥを変数とする減少関数ｆＣ（ＰＡＶＥ）を設定し、境界強度Ｉと関数ｆｃとの積を、補正後の境界強度Ｉ’とすれば良い。
【０１０５】
以上説明したように、実施の形態４によれば、重み係数ｗ１、ｗ２、ｗ３を調節することにより、帰属確率差、内部特徴量差、及び境界強度を所望に組み合わせた連結強度を算出することができる。従って、画像の特性に応じて、病変部の検出精度を向上させることが可能となる。例えば、非病変部内部において色の違いが見られる部位の画像を診断する際には、重み係数ｗ２を小さくするといった調整を行うことにより、隣接小領域における特徴量の差異が病変部検出に与える影響を抑制することができる。
【０１０６】
また、実施の形態４によれば、互いに隣接する小領域各々の帰属確率に基づいて当該隣接小領域の連結強度を補正するので、特定領域又は非特定領域の領域内部における隣接小領域の連結強度がこれらの領域の判別に及ぼす影響を低減することができる。従って、特定領域の検出精度を向上させることが可能となる。
【０１０７】
以上説明した実施の形態１〜４及び変形例に係る画像処理装置は、記録媒体に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することにより実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク（ＬＡＮ）、広域エリアネットワーク（ＷＡＮ）、又は、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１〜４及び変形例に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続された種々の出力機器（ビュアーやプリンタ等）に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置（記録媒体及びその読取装置等）に画像処理結果を格納するようにしても良い。
【０１０８】
なお、本発明は、実施の形態１〜４及び変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。
【符号の説明】
【０１０９】
１ 画像処理装置
１０ 制御部
１１ 画像取得部
１２ 入力部
１３ 表示部
１４ 記録部
１４ａ 画像処理プログラム
１５、２０、３０、３１、４０ 演算部
１００ 管腔内画像（画像）
１０１ 病変部
１０２ 非病変部
１０３ 境界
１０４ 領域ラベル画像
１０５ 連結グラフ
１０６ 特徴空間
１１０ 領域分割部
１１１ エッジ強度算出部
１１２ 分割部
１２０ 帰属確率推定部
１２１ 領域特徴量算出部
１３０、２３０、３３０、３４０、４３０ 隣接間連結強度算出部
１３０ａ 輪郭画素検出部
１３１ 隣接情報取得部
１３１ａ 輪郭画素算出部
１３２、２３１、３３１、３４１、４３１ 連結強度算出部
１３２ａ 帰属確率差算出部
１４０ 病変部検出部
１４１ 連結グラフ構築部
１４２ 最小カット算出部
２２０ 帰属確率推定部
２２１ａ クラスタリング部
２２１ｂ クラスタ推定部
２２１ 確率関数推定部
２２１ｃ 確率密度関数推定部
２３１ａ 内部特徴量差算出部
３３１ａ 境界強度算出部
３３１ｂ 境界強度補正部
４３２ 連結強度補正部
【技術分野】
【０００１】
本発明は、画像から特定の領域を検出する画像処理装置、画像処理方法、及び画像処理プログラムに関するものである。
【背景技術】
【０００２】
画像の領域分割に関連する技術として、例えば特許文献１には、グラフカット（Graph Cut）領域分割法を用いて、画像内の判別領域を対象領域（腎臓領域）と背景領域とに分割して腎臓領域を抽出する方法が開示されている。
【０００３】
グラフカット領域分割法とは、次のようにして、画像の内部を検出対象である特定領域と検出対象の背景である非特定領域とに分割する手法である。まず、画像内の複数の画素に対応する複数のノード（節点）Ｎと、各画素に対する判定ラベルであり特定領域及び非特定領域に対応する２つのノードＳ、Ｔとを、各画素が特定領域及び非特定領域の各々に属する確からしさに応じた大きさのリンクで接続し、さらに、互いに隣接する画素に対応するノード間を、当該隣接する画素が同一の領域内に含まれる確からしさに応じた大きさのリンクで接続した連結グラフを作成する。この連結グラフに対し、リンクを切断することにより、ノードＮ群を、ノードＳに接続されたノードＮ群と、ノードＴに接続されたノードＮ群とに分離することを試みる。その際、グラフ・ネットワーク理論における最大流最小カット定理を用いて、確からしさの合計が最小となるリンク群を切断する（即ち、切断されないリンク群における確からしさの合計を最大とする）ことにより、領域分割を最適化する（非特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２３２９６２号公報
【非特許文献】
【０００５】
【非特許文献１】Y. Boykov, M. Jolly, “Interactive Graph Cuts for Optimal Boundary & Region Segmentation of Objects in N-D Images”, Proceeding of “Internation Conference on Computer Vision”, July 2001, vol.1, pp. 105-112）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来、グラフカット領域分割法においては、各画素を１つの節点として演算を行っていたため、特定領域（又は非特定領域）に属する確からしさや、互いに隣接する画素が同一の領域に含まれる確からしさといった情報を、画素単位でしか判断していなかった。そのため、テクスチャ情報のように、複数の画素がまとまった領域から生じる特徴といった情報を考慮した領域分割を行うことができないという問題があった。
【０００７】
本発明は、上記に鑑みてなされたものであって、複数の画素を含む領域に関する情報を考慮した領域分割を行うことにより、特定領域の検出精度を向上させることができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、画像内のエッジ情報に基づいて、前記画像を、各々が複数の画素を含む複数の小領域に分割する小領域分割手段と、前記複数の小領域の各々が、検出対象である特定領域に帰属する確率である帰属確率を推定する帰属確率推定手段と、前記複数の小領域の内の互いに隣接する小領域が、前記特定領域及び該特定領域以外の領域である非特定領域の内、同じ領域に属する度合いを定量的に表す連結強度を算出する隣接間連結強度算出手段と、前記帰属確率及び前記連結強度に基づいて前記画像を前記特定領域と前記非特定領域とに分割することにより、前記特定領域を検出する特定領域検出手段とを備えることを特徴とする。
【０００９】
本発明に係る画像処理方法は、画像内のエッジ情報に基づいて、前記画像を、各々が複数の画素を含む複数の小領域に分割する小領域分割ステップと、前記複数の小領域の各々が、検出対象である特定領域に帰属する確率である帰属確率を推定する帰属確率推定ステップと、前記複数の小領域の内の互いに隣接する小領域が、前記特定領域及び該特定領域以外の領域である非特定領域の内、同じ領域に属する度合いを定量的に表す連結強度を算出する隣接間連結強度算出ステップと、前記帰属確率及び前記連結強度に基づいて前記画像を前記特定領域と前記非特定領域とに分割することにより、前記特定領域を検出する特定領域検出ステップとを含むことを特徴とする。
【００１０】
本発明に係る画像処理プログラムは、画像内のエッジ情報に基づいて、前記画像を、各々が複数の画素を含む複数の小領域に分割する小領域分割ステップと、前記複数の小領域の各々が、検出対象である特定領域に帰属する確率である帰属確率を推定する帰属確率推定ステップと、前記複数の小領域の内の互いに隣接する小領域が、前記特定領域及び該特定領域以外の領域である非特定領域の内、同じ領域に属する度合いを定量的に表す連結強度を算出する隣接間連結強度算出ステップと、前記帰属確率及び前記連結強度に基づいて前記画像を前記特定領域と前記非特定領域とに分割することにより、前記特定領域を検出する特定領域検出ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、エッジ情報に基づいて画像を複数の小領域に分割し、各小領域の特定領域への帰属確率と互いに隣接する小領域の間における連結強度とに基づいて画像から特定領域を検出するので、各々が複数の画素を含む小領域の特徴を考慮した領域分割を行うことができる。従って、特定領域の検出精度を向上させることが可能となる。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図２】図２は、図１に示す画像処理装置の動作を示すフローチャートである。
【図３】図３は、画像処理対象である管腔内画像の一例を示す模式図である。
【図４】図４は、図１に示す領域分割部の動作を示すフローチャートである。
【図５】図５は、図３に示す管腔内画像を小領域に分割した状態を示す模式図である。
【図６】図６は、図１に示す帰属確率推定部の動作を示すフローチャートである。
【図７Ａ】図７Ａは、教師データにおける小領域の特徴量分布を示すグラフである。
【図７Ｂ】図７Ｂは、教師データに基づいて推定された確率密度関数の一例を示すグラフである。
【図８】図８は、図１に示す隣接間連結強度算出部の動作を示すフローチャートである。
【図９】図９は、図１に示す病変部検出部の動作を示すフローチャートである。
【図１０Ａ】図１０Ａは、連結グラフの一例を示す模式図である。
【図１０Ｂ】図１０Ｂは、図１０Ａに示す連結グラフを最大流最小カット定理に基づいてカットした状態を示す模式図である。
【図１１】図１１は、本発明の実施の形態２に係る画像処理装置における演算部の構成を示す模式図である。
【図１２】図１２は、図１１に示す帰属確率推定部の動作を示すフローチャートである。
【図１３Ａ】図１３Ａは、２つの色特徴量からなる特徴空間に投影された特徴量分布をクラスタリングした結果の一例を示す模式図である。
【図１３Ｂ】図１３Ｂは、図１３Ａに示すクラスタの重心を示す模式図である。
【図１４】図１４は、病変部に対応するクラスタを推定する処理を示すフローチャートである。
【図１５Ａ】図１５Ａは、ある画像に対応する特徴量分布をクラスタリングした例を示す図である。
【図１５Ｂ】図１５Ｂは、別の画像に対応する特徴量分布をクラスタリングした例を示す図である。
【図１６】図１６は、図１１に示す隣接間連結強度算出部の動作を示すフローチャートである。
【図１７】図１７は、本発明の実施の形態３に係る画像処理装置における演算部の構成を示す模式図である。
【図１８】図１８は、図１７に示す隣接間連結強度算出部の動作を示すフローチャートである。
【図１９】図１９は、境界強度の算出方法を説明するための図である。
【図２０】図２０は、実施の形態３の変形例に係る画像処理装置における演算部の構成を示すブロック図である。
【図２１】図２１は、図２０に示す隣接間連結強度算出部の動作を示すフローチャートである。
【図２２】図２２は、実施の形態４に係る画像処理装置における演算部の構成を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態に係る画像処理装置について、図面を参照しながら説明する。なお、これらの実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
【００１４】
以下においては、一例として、内視鏡やカプセル型内視鏡等の医用観察装置によって被検体の管腔内（消化管内）を撮像した管腔内画像（消化管内画像）に対する画像処理を説明する。管腔内画像は、例えば、各画素においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分に対する画素レベル（画素値）を持つカラー画像である。
なお、本発明は、管腔内画像に限定されることなく、他の一般的な画像内より特定領域を検出する画像処理装置に広く適用することが可能である。
【００１５】
また、以下においては、管腔内画像内の病変部を検出対象である特定領域とし、それ以外の非病変部（粘膜、残渣等の内容物、泡等）を背景である非特定領域として説明するが、病変部及び粘膜を特定領域、それ以外（内容物、泡等）の領域を非特定領域とするなど、特定領域及び非特定領域としては所望の部位等を設定することができる。
【００１６】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。図１に示すように、画像処理装置１は、当該画像処理装置１全体の動作を制御する制御部１０と、医用観察装置によって撮像された管腔内画像の画像データを取得する画像取得部１１と、外部から入力された入力信号を受け付ける入力部１２と、管腔内画像や各種情報を含む画面を表示する表示部１３と、記録部１４と、管腔内画像から特定領域を検出する演算処理を行う演算部１５とを備える。
【００１７】
制御部１０は、ＣＰＵ等のハードウェアによって実現され、記録部１４に格納された各種プログラムを読み込むことにより、画像取得部１１から入力される画像データや入力部１２から入力される操作信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。
【００１８】
画像取得部１１は、医用観察装置を含むシステムの態様に応じて適宜構成される。例えば、医用観察装置がカプセル型内視鏡であり、医用観察装置との間における管腔内画像の画像データの受け渡しに可搬型の記録媒体が使用される場合、画像取得部１１は、この記録媒体を着脱自在に装着し、記録媒体に格納された画像データを読み出すリーダ装置で構成される。また、医用観察装置によって取得された管腔内画像の画像データを保存しておくサーバを設置する場合、画像取得部１１は、サーバと接続される通信装置等で構成され、サーバとデータ通信を行って画像データを取得する。或いは、画像取得部１１を、内視鏡等の医用観察装置から、ケーブルを介して画像信号を入力するインターフェース装置等で構成しても良い。
【００１９】
入力部１２は、例えばキーボードやマウス、タッチパネル、各種スイッチ等によって実現され、外部から受け付けた入力信号を制御部１０に出力する。
表示部１３は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現される。
【００２０】
記録部１４は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくは外付けハードディスク、又は、ＣＤ−ＲＯＭ等の情報記録媒体及びその読取装置等によって実現される。記録部１４は、画像取得部１１によって取得された管腔内画像の画像データの他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。例えば、記録部１４は、管腔内画像から特定領域を検出する画像処理プログラム１４ａを格納する。
【００２１】
演算部１５は、ＣＰＵ等のハードウェアによって実現され、画像処理プログラム１４ａを読み込むことにより、管腔内画像の画像データを処理し、管腔内画像から特定領域を検出するための種々の演算処理を行う。演算部１５は、領域分割部１１０と、帰属確率推定部１２０と、隣接間連結強度算出部１３０と、病変部検出部１４０とを備える。
【００２２】
領域分割部１１０は、管腔内画像内のエッジ情報に基づいて、当該管腔内画像を、各々が複数の画素を含む複数の小領域に分割する。詳細には、領域分割部１１０は、管腔内画像内の各画素におけるエッジ強度を算出するエッジ強度算出部１１１と、エッジ強度の尾根を境界として管腔内画像を複数の小領域に分割する分割部１１２とを有する。
【００２３】
帰属確率推定部１２０は、複数の小領域の各々が特定領域に帰属する確率（帰属確率）を推定する。詳細には、帰属確率推定部１２０は、各小領域の特徴量を小領域単位で算出する領域特徴量算出部１２１を有し、各小領域の特徴量に基づいて特定領域への帰属確率を推定する。帰属確率の推定に用いられる特徴量としては、例えば、小領域内部の色特徴量やテクスチャ特徴量が用いられる。
【００２４】
隣接間連結強度算出部１３０は、互いに隣接する２つの小領域（以下、隣接小領域ともいう）の間における連結強度を算出する。ここで、連結強度とは、隣接する小領域同士が共に特定領域又は非特定領域のいずれか同じ領域に属する度合いを定量的に表す量のことである。詳細には、隣接間連結強度算出部１３０は、各小領域について、自身と隣接する小領域に関する隣接情報を取得する隣接情報取得部１３１と、隣接情報に基づいて互いに隣接する小領域の連結強度を算出する連結強度算出部１３２とを有する。
【００２５】
この内、隣接情報取得部１３１は、各小領域の輪郭画素を検出する輪郭画素検出部１３１ａを含み、各小領域の輪郭画素に関する情報に基づいて隣接情報を取得する。
また、連結強度算出部１３２は、隣接小領域における帰属確率の差を算出する帰属確率差算出部１３２ａを含み、この帰属確率の差に基づいて当該隣接小領域の連結強度を算出する。
【００２６】
病変部検出部１４０は、帰属確率推定部１２０において推定された帰属確率と、隣接間連結強度算出部１３０において算出された連結強度とに基づいて、管腔内画像から特定領域として病変部を検出する。この際に、病変部検出部１４０は、グラフカット（Graph Cut）領域分割法を用いて、管腔内画像を病変部とそれ以外の部分（非病変部）とに分割する。詳細には、病変部検出部１４０は、帰属確率及び連結強度に基づいて連結グラフを構築する連結グラフ構築部１４１と、連結グラフにおける最小カット位置を算出する最小カット算出部１４２とを有し、各小領域に対応するノードを含む連結グラフを、最大流最小カット定理に従ってカットすることにより、複数の小領域を病変部に属する小領域群と、非病変部に属する小領域群とに分割する。
【００２７】
次に、画像処理装置１の動作を、図２を参照しながら説明する。図２は、画像処理装置１の動作を示すフローチャートである。
まず、ステップＳ１０において、演算部１５は、記録部１４から処理対象の管腔内画像１００を取得する。図３は、管腔内画像の一例を示す模式図である。以下においては、図３に示す管腔内画像（以下、単に画像ともいう）１００に対する処理を説明する。画像１００は、検出対象である病変部１０１と、それ以外の非病変部１０２とからなる。また、画像１００は、粘膜の襞に対応する構造物の境界１０３を含んでいる。
【００２８】
ステップＳ２０において、領域分割部１１０は、エッジ情報に基づいて画像１００内を、各々が複数の画素を含む複数の小領域に分割する。図４は、ステップＳ２０における領域分割部１１０の動作を示すフローチャートである。
【００２９】
まず、ステップＳ２０１において、エッジ強度算出部１１１は、画像１００内の各画素におけるエッジ強度を算出し、エッジ強度画像を作成する。具体的には、エッジ強度算出部１１１は、各画素の画素値の内のＧ成分に対し、ソーベルフィルタ等の公知の微分フィルタ処理を施す（参考：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」、第１１４〜１２１頁）。ここで、Ｇ成分を用いるのは、Ｇ成分は血液の吸光帯域に近いので、病変、粘膜、内容物の境界等の管腔内画像内の構造情報をよく反映するためである。なお、ステップＳ２０１においては、Ｇ成分以外の色成分や、公知の変換処理により画素値から２次的に算出される値に基づいてエッジ強度を算出しても良い。具体的には、ＹＣｂＣｒ変換により算出される輝度、色差、ＨＳＩ変換により算出される色相、彩度、明度等を用いることができる。
【００３０】
ステップＳ２０２において、分割部１１２は、必要に応じてエッジ強度画像に対して、ノイズを除去するための平滑化処理を施す。
ステップＳ２０３において、分割部１１２は、エッジ強度画像内の各画素におけるエッジ強度の勾配方向を取得する。このときの勾配方向は、エッジ強度の値が小さくなる方向とする。
【００３１】
ステップＳ２０４において、分割部１１２は、各画素から出発して勾配方向に沿って移動した際に到達する極小値の画素を探索する。
続くステップＳ２０５において、分割部１１２は、互いに隣接する極小値の画素に到達した出発点の画素が同一の領域に含まれるように画像を分割する。
【００３２】
さらに、ステップＳ２０６において、分割部１１２は、分割した各領域を識別するためのラベル値を各画素に付与し、ラベル値を画素値とする領域ラベル画像を生成する。図５は、そのようにして得られた領域ラベル画像の一例を示す模式図である。図５に示すように、領域ラベル画像１０４は、互いにラベル値が異なる複数の小領域Ａｎ（ｎ＝０１、０２、…）を含んでいる。
【００３３】
なお、エッジ強度の尾根を境界とする画像分割の手法の詳細については、例えば国際公開第２００６／０８０２３９号を参照されたい。また、エッジ強度に基づいて画像を分割する手法としては、他に、分水嶺（watershed）アルゴリズム（参考：Luc Vincent and Pierre Soille，“Watersheds in Digital Spaces： An Efficient Algorithm Based on Immersion Simulations”，IEEE Transactions on Pattern Analysis and Machine Intelligence， Vol．13，No．6， pp．583−598，June 1991）等を用いても良い。分水嶺アルゴリズムは、画像の画素値情報を高度とみなした地形に水を満たしていく際に、異なるくぼみに溜まる水の間に境界ができるように画像を分割する方法である。この分水嶺アルゴリズムによっても、上述したエッジ強度の尾根を境界とする画像分割の手法によるものと、ほぼ同等の画像分割結果を得ることができる。
【００３４】
図２のステップＳ３０において、帰属確率推定部１２０は、各小領域Ａｎの病変部１０１への帰属確率を推定する。本実施の形態１においては、予め作成された教師データにおける特徴量分布を確率モデル（確率密度関数）で近似し、この確率モデルに基づいて帰属確率を推定する方法を用いる。図６は、ステップＳ３０における帰属確率推定部１２０の動作を示すフローチャートである。
【００３５】
まず、ステップＳ３０１において、領域特徴量算出部１２１は、各小領域Ａｎの特徴量を算出する。特徴量としては、各小領域Ａｎ内の画素の画素値のＲＧＢ各成分の統計量（平均、分散、歪度、尖度、頻度分布等）や、各小領域Ａｎに関するテクスチャ情報（周波数特徴、同時生起行列等のテクスチャ特徴量、参考：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」、第１９２〜１９５頁）等のように、画素毎ではなく、複数画素がまとまった小領域Ａｎ全体の特徴を表す量が用いられる。或いは、特徴量として、各小領域Ａｎ内の画素の画素値のＲＧＢ各成分から２次的に算出される輝度、色差、色相、彩度、明度、色比等の統計量（同上）や、これらの２次的に算出される値に基づくテクスチャ情報を用いても良い。
【００３６】
続くステップＳ３０２において、帰属確率推定部１２０は、予め作成されて記録部１４に格納されている教師データを取得する。この教師データは、小領域の特徴量と、該小領域が病変部に帰属するか否かの判定結果とが関連付けられたデータの集合である。
【００３７】
ステップＳ３０３において、帰属確率推定部１２０は、教師データをもとに病変部に帰属する小領域（以下、病変部領域という）の発生確率Ｐｃを、病変部に帰属すると判定された小領域の数ＮＳを全小領域の数（ＮＳ＋ＮＴ）で割ることによって推定する。ここで、ＮＴは、教師データにおいて非病変部に帰属すると判定された小領域の数である。
【００３８】
ステップＳ３０４において、帰属確率推定部１２０は、病変部領域の確率密度関数、及び非病変部領域の確率密度関数を推定する。これは、病変部に帰属すると判定された小領域及び非病変部に帰属すると判定された小領域の特徴量分布に対し、公知の期待値最大化アルゴリズム（ＥＭアルゴリズム）を用いて混合正規分布を当て嵌めることにより行われる。ここで、ＥＭアルゴリズムとは、あるパラメータに基づくモデルの尤度の期待値の算出と、算出された期待値を最大化するパラメータの算出とを繰り返すことによりパラメータを推定する演算方法である。
【００３９】
例えば、図７Ａは、教師データにおける小領域の特徴量分布を示す。図７Ａに示すピーク１は、病変部に帰属すると判定された小領域の頻度のピークに対応し、ピーク２は、非病変部に帰属すると判定された小領域の頻度のピークに対応する。
【００４０】
また、図７Ｂは、図７Ａに示す特徴量分布に基づいて取得された、特徴量を確率変数とする確率密度関数を表すグラフである。図７Ｂに示す確率密度関数ｆＳ（ＲＥＦ）は、病変部に帰属する小領域の確率密度に対応し、確率密度関数ｆＴ（ＲＥＦ）は、非病変部に帰属する小領域の確率密度に対応する。
【００４１】
ステップＳ３０５において、帰属確率推定部１２０は、画像１００内の各小領域Ａｎの病変部１０１への帰属確率Ｐｎ（又は、非病変部１０２への帰属確率Ｐｎ’）を推定する。この帰属確率Ｐｎは、各小領域Ａｎの特徴量Ｃｎと、教師データにおける病変部領域の発生確率Ｐｃ及び確率密度関数ｆＳ（ＲＥＦ）（又は非病変部領域の発生確率Ｐｃ’（Ｐｃ’＝１−Ｐｃ）及び確率密度関数ｆＴ（ＲＥＦ））とから最大事後確率推定を行うことによって推定される。
【００４２】
なお、上記説明においては、帰属確率推定のための一連の処理を続けて行っているが、教師データに基づく発生確率の推定及び確率密度関数の推定（ステップＳ３０２〜Ｓ３０４）を事前に行って、発生確率及び確率密度関数の係数を記録部１４に記録しておいても良い。この場合、実際に帰属確率を推定する際には、ステップＳ３０１において算出された特徴量と、記録部１４から読み出した発生確率及び確率密度関数の係数とを用いて、ステップＳ３０５の演算を行えば良い。
【００４３】
以下、正規分布を用いた場合の帰属確率推定の処理手順を詳しく説明する。
まず、事前に、教師データをもとに次式（１）に示す病変部領域の発生確率Ｐｃ、及び非病変部領域の発生確率Ｐｃ’（Ｐｃ’＝１−Ｐｃ）を求めておく。
【数１】
【００４４】
そして、教師データにおける病変部に帰属すると判定された複数のデータの特徴量Ｃｉをもとに、次式（２）及び（３）によって与えられる平均値μ、及び分散値Ｚを求める。
【数２】
但し、ＮＤはデータ数である。
【００４５】
さらに、これらの値より、次式（４）に示す病変部領域の確率密度関数ｆＳ(Ｃｎ)の係数を算出する。
【数３】
但し、Ｃｎは判別対象である小領域の特徴量である。式（４）において、破線で囲った部分が求める係数である。
非病変部領域の確率密度関数ｆＴ(Ｃｎ)の係数に関しても、データを変えて同様の計算により算出する。
【００４６】
このようにして事前に得た病変部領域及び非病変部領域の発生確率Ｐｃ、Ｐｃ’と、病変部領域及び非病変部領域の確率密度関数ｆＳ(Ｃｎ)、ｆＴ(Ｃｎ)の係数を記録しておき、これらと判別対象となる小領域の特徴量Ｃｎをもとに、次式（５）に示す病変部への帰属確率Ｐｎを算出する。
【数４】
【００４７】
また、混合正規分布の当て嵌めにより確率密度関数を推定する場合には、正規分布ｆＳ（Ｃｎ）の線形和の式である次式（６）を用いる。
【数５】
【００４８】
なお、実施の形態１においては、確率密度関数に基づき、連続値となる帰属確率を推定する方法を用いたが、帰属確率は必ずしも連続値である必要はない。例えば、病変部領域に帰属する／帰属しない確率を１又は０の２値で表しても良い。その際には、パターン認識等において用いられる決定木、近傍法、サポートベクターマシン等の公知の方法によって帰属確率を推定する。
【００４９】
図２に示すステップＳ４０において、隣接間連結強度算出部１３０は、互いに隣接する小領域の間における連結強度を算出する。図８は、ステップＳ４０における隣接間連結強度算出部１３０の動作を示すフローチャートである。
【００５０】
ステップＳ４０１において、輪郭画素検出部１３０ａは、各小領域Ａｎの輪郭画素を検出する。輪郭画素の検出法としては公知の種々の方法を用いることができる。実施の形態１においては、ステップＳ２０６において生成された領域ラベル画像内をラスタ走査しながら注目画素を順次設定し、注目画素の上下左右のいずれかに隣接する隣接画素と注目画素とのラベル値を比較して、ラベル値が異なる場合における注目画素を輪郭画素として検出する。
【００５１】
ステップＳ４０２において、隣接情報取得部１３１は、各小領域Ａｎについて、自身と隣接する小領域Ａｎ’（ｎ’≠ｎ）に関する隣接情報を求める。ここで、隣接情報とは、小領域Ａｎがいずれの小領域Ａｎ’と接しているかを表す情報である。隣接情報取得部１３１は、ステップＳ４０１において輪郭画素として検出した注目画素に付与されたラベル値、及び、その注目画素を輪郭画素であると判定した際の隣接画素のラベル値を隣接情報として記録する。
【００５２】
ステップＳ４０３において、帰属確率差算出部１３２ａは、隣接小領域における病変部１０１への帰属確率の差ΔＰ（以下、帰属確率差という）を算出する。具体的には、帰属確率差算出部１３２ａは、ステップＳ４０２において取得された隣接情報に基づいて互いに隣接する小領域Ａｎ、Ａｎ’を特定し、小領域Ａｎの帰属確率Ｐｎと小領域Ａｎ’の帰属確率Ｐｎ’との差（の絶対値）｜Ｐｎ−Ｐｎ’｜を、帰属確率差ΔＰとして算出する。
【００５３】
ステップＳ４０４において、連結強度算出部１３２は、ステップＳ４０２において算出された帰属確率差ΔＰに基づいて、各隣接小領域の連結強度を算出する。ここで、互いに隣接する小領域Ａｎ、Ａｎ’の間における病変部１０１への帰属確率差ΔＰが小さいということは、小領域Ａｎ、Ａｎ’が共に同一の領域に属している可能性が高く、連結強度は大きいと言える。そこで、連結強度算出部１３２は、帰属確率差ΔＰを変数とし、帰属確率差ΔＰが小さくなるほど連結強度が大きくなる減少関数を設定し、この減少関数を用いて小領域Ａｎ、Ａｎ’の間の連結強度を算出する。或いは、連結強度算出部１３２は、帰属確率差ΔＰが小さくなるほど連結強度が大きくなるように帰属確率差ΔＰと連結強度とを関係付けた変換テーブルを作成し、この変換テーブルを参照することにより連結強度を取得しても良い。
【００５４】
図２のステップＳ５０において、病変部検出部１４０は、画像１００から病変部１０１を検出する。図９は、ステップＳ５０における病変部検出部１４０の動作を示すフローチャートである。
【００５５】
ステップＳ５０１において、連結グラフ構築部１４１は、ステップＳ３０において推定された帰属確率と、ステップＳ４０において算出された連結強度とに基づいて、小領域Ａｎに対応するノードＮｎと、病変部１０１に対応するノードＳと、非病変部１０２に対応するノードＴとを連結した連結グラフ１０５を構築する（図１０Ａ参照）。この連結グラフ１０５において、ノードＳと各ノードＮｎとは、対応する小領域Ａｎの病変部１０１への帰属確率Ｐｎに応じた大きさを有するＳリンク（ｓ−ｌｉｎｋ）によって連結される。また、ノードＴと各ノードＮｎとは、対応する小領域Ａｎの非病変部１０２への帰属確率（１−Ｐｎ）に応じた大きさを有するＴリンク（ｔ−ｌｉｎｋ）によって連結される。さらに、互いに隣接するノードＮｎ、Ｎｎ’は、対応する小領域Ａｎ、Ａｎ’の間の連結強度に応じた大きさを有するＮリンク（ｎ−ｌｉｎｋ）によって連結される。
【００５６】
ステップＳ５０２において、最小カット算出部１４２は、連結グラフ１０５における最小カット位置を算出する。ここで、最小カット位置とは、全てのノードＮｎがノードＳに属するノードＮｎ群とノードＴに属するノードＮｎ群とに分割されるように、いずれかのＳリンク、Ｔリンク、及びＮリンクをカットした場合に、カットされたＳリンクの帰属確率Ｐｎ、Ｔリンクの帰属確率１−Ｐｎ、及びＮリンクの連結強度の合計が最小値となるようなカット位置のことである。このような最小カット位置は、グラフ・ネットワーク理論における最大流最小カット定理に基づいて算出される（参考：Y. Boykov, M. Jolly, “Interactive Graph Cuts for Optimal Boundary & Region Segmentation of Objects in N-D Images”, Proceeding of “Internation Conference on Computer Vision”, July 2001, vol.1, pp. 105-112）。
【００５７】
ステップＳ５０３において、病変部検出部１４０は、ステップＳ５０２において算出された最小カット位置に基づいて、病変部１０１に属する小領域Ａｎを特定する。具体的には、連結グラフ１０５を最小カット位置においてカットした結果、ノードＳとのリンク関係が維持されたノードＮｎに対応する小領域Ａｎが、病変部１０１に属する小領域Ａｎとなる（図１０Ｂ参照）。
【００５８】
図２のステップＳ６０において、演算部１５は、ステップＳ５０３において特定された小領域Ａｎを、病変部の検出結果として表示部１３に出力すると共に、記録部１４に記録する。
【００５９】
以上説明したように、実施の形態１においては、管腔内画像内のエッジ情報に基づいて当該管腔内画像を複数の小領域に分割し、各小領域の特定領域（病変部）への帰属確率及び隣接小領域の連結強度を算出し、これらの帰属確率及び連結強度に基づいて画像を特定領域と非特定領域とに分割する。従って、実施の形態１によれば、複数の画素がまとまった小領域から生じる特徴を考慮した領域分割を行うことができる。従って、管腔内画像からの特定領域の検出精度を向上させることが可能となる。
【００６０】
また、実施の形態１によれば、グラフカット法による領域分割を小領域単位で行うので、演算量を低減して、従来よりも高速に特定領域の検出結果を得ることが可能となる。
【００６１】
（実施の形態２）
次に、本発明の実施の形態２について説明する。
実施の形態２に係る画像処理装置は、図１に示す演算部１５の代わりに、図１１に示す演算部２０を備える。この演算部２０は、領域分割部１１０と、帰属確率推定部２２０と、隣接間連結強度算出部２３０と、病変部検出部１４０とを備える。
【００６２】
帰属確率推定部２２０は、各小領域の特徴量を算出する領域特徴量算出部１２１に加え、小領域の特徴量をもとに該小領域の病変部への帰属確率を算出する確率関数を推定する確率関数推定部２２１を有する。確率関数推定部２２１は、管腔内画像における特徴量の分布をクラスタ分けするクラスタリング部２２１ａと、病変部に対応するクラスタを推定するクラスタ推定部２２１ｂと、クラスタの推定結果に基づいて、病変部領域及び非病変部領域の確率密度関数をそれぞれ推定する確率密度関数推定部２２１ｃとを含む。
【００６３】
隣接間連結強度算出部２３０は、各小領域に対し、隣接する小領域に関する隣接情報を取得する隣接情報取得部１３１と、隣接情報に基づいて連結強度を算出する連結強度算出部２３１とを有する。連結強度算出部２３１は、隣接小領域における内部特徴量の差を算出する内部特徴量差算出部２３１ａを含み、内部特徴量の差に基づいて隣接小領域の連結強度を算出する。
【００６４】
次に、演算部２０の動作を説明する。演算部２０全体の動作は図２に示すとおりであり、ステップＳ３０及びステップＳ４０における詳細な動作が実施の形態１とは異なる。なお、実施の形態２においても、一例として、図５に示す画像１００に対する処理を説明する。また、実施の形態２においては、各小領域の特徴量として、２種類の色特徴量Ｃα及びＣβを用いることとする。
【００６５】
図１２は、ステップＳ３０における帰属確率推定部２２０の動作を示すフローチャートである。なお、ステップＳ３２１の動作は、図６に示すステップＳ３０１と対応している。
ステップＳ３２１に続くステップＳ３２２において、クラスタリング部２２１ａは、画像１００内の小領域Ａｎの特徴量の分布をクラスタ分け（クラスタリング）する。クラスタリング法としては、階層法、k-means法（参考：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」、第２３１〜２３２頁）、期待値最大化アルゴリズム（ＥＭアルゴリズム）、自己組織化マップ等の公知の手法を用いることができる。
【００６６】
図１３Ａは、色特徴量（Ｃαｎ，Ｃβｎ）を有する小領域Ａｎを、色特徴量Ｃα及びＣβの２軸からなる特徴空間１０６に投影して、小領域Ａｎの特徴量分布をクラスタリングした結果の一例を示す。図１３Ａの場合、小領域Ａｎに対応する色特徴量（Ｃαｎ，Ｃβｎ）は、２つのクラスタＣＬ１及びＣＬ２にクラスタリングされている。
【００６７】
ステップＳ３２３において、クラスタ推定部２２１ｂは、病変部１０１に対応するクラスタを推定する。図１４は、ステップＳ３２３における詳細な処理を示すフローチャートである。
【００６８】
まず、ステップｓ０１において、クラスタ推定部２２１ｂは、各クラスタＣＬ１、ＣＬ２の重心座標Ｇ１、Ｇ２を算出する（図１３Ｂ参照）。この重心座標Ｇ１、Ｇ２は、クラスタＣＬ１、ＣＬ２それぞれに属する特徴量（Ｃαｎ，Ｃβｎ）の平均値に対応する。
【００６９】
ステップｓ０２において、クラスタ推定部２２１ｂは、予め作成されて記録部１４に格納されている教師データにおける小領域の特徴量分布をもとに、病変部領域及び非病変部領域の確率密度関数ｆＳ（ＲＥＦ）及びｆＴ（ＲＥＦ）を推定する。なお、確率密度関数の推定方法については、実施の形態１におけるステップＳ３０２〜Ｓ３０４と同様である。ただし、実施の形態２においては、特徴量が複数種類用いられているため、実施の形態１における特徴量Ｃの代わりに、特徴ベクトル（Ｃα，Ｃβ）が用いられる。
【００７０】
ここで、２次元以上の特徴量からなる特徴ベクトルＣｎ＝（Ｃαｎ，Ｃβｎ）を用いる場合の正規分布関数式（確率密度関数）の推定処理手順を詳しく説明する。
まず、教師データにおける病変部に帰属すると判定された複数のデータの特徴ベクトルＣｉ＝（ｃi_1，ｃi_2，…，ｃ，ｃi_k）ｔ （ｃi_j：ｉ番目の教師データのｊ番目の特徴量値、ｋ：特徴量の次元数）をもとに、次式（７）および（８）によって与えられる平均ベクトルμ、及び分散共分散行列Ｚを求める。
【数６】
但し、ＮＤはデータ数である。
【００７１】
さらに、これらの値より、次式（９）に示す病変部領域の確率密度関数ｆＳ（Ｃｎ）の係数を算出する。
【数７】
但し、｜Ｚ｜はＺの行列式、Ｚ−１はＺの逆行列である。式（９）において、破線で囲んだ部分が求める係数である。
非病変部領域の確率密度関数ｆＴ(Ｃｎ)の係数に関しても、データを変えて同様の演算処理により算出する。
【００７２】
なお、このような教師データに基づく確率密度関数の推定処理を事前に行い、確率密度関数の係数を記録部１４に予め記録しておくと良い。この場合、ステップｓ０２においては、演算処理を行う代わりに、確率密度関数の係数を記録部１４から読み出せば良い。
【００７３】
ステップｓ０３において、クラスタ推定部２２１ｂは、確率密度関数ｆＳ（ＲＥＦ）、ｆＴ（ＲＥＦ）と、重心座標Ｇ１（ＣαＧ１，ＣβＧ１）、Ｇ２（ＣαＧ２，ＣβＧ２）とから、重心座標Ｇ１、Ｇ２各々の病変部への帰属確率を推定する。帰属確率は、上式（５）を用いて算出することができる。なお、式（５）における病変部領域の発生確率Ｐｃ、及び非病変部領域の発生確率Ｐｃ’（Ｐｃ’＝１−Ｐｃ）は、式（１）を用いて事前に算出し、記録部１４に記録しておくと良い。
【００７４】
その結果、病変部への帰属確率が所定の値（例えば０．５）以上である重心座標のクラスタが、病変部１０１に対応するクラスタ（以下、病変部クラスタという）であると推定される（ステップｓ０４：Ｙｅｓ、ステップｓ０５）。一方、病変部領域への帰属確率が所定の値（例えば０．５）より小さい重心座標のクラスタは、非病変部１０２に対応するクラスタ（以下、非病変部クラスタという）であると推定される（ステップｓ０４：Ｎｏ、ステップｓ０６）。以下においては、図１３Ｂに示すクラスタＣＬ１が病変部クラスタと推定され、クラスタＣＬ２が非病変部クラスタと推定されたものとする。
【００７５】
図１２のステップＳ３２４において、確率密度関数推定部２２１ｃは、特徴空間１０６における病変部１０１の確率密度関数ｆＳ、及び非病変部１０２の確率密度関数ｆＴを推定する。これは、病変部クラスタＣＬ１に含まれる小領域Ａｎの特徴量分布、及び病変部クラスタＣＬ１に含まれない（図１３Ａにおいては非病変部クラスタＣＬ２に含まれる）小領域Ａｎの特徴量分布に対し、上式（７）〜（９）を適用することにより推定することができる。或いは、病変部クラスタＣＬ１に含まれる小領域Ａｎの特徴量分布、及び病変部クラスタＣＬ１に含まれない小領域Ａｎの特徴量分布に対し、期待値最大化アルゴリズム（ＥＭアルゴリズム）を用いて混合正規分布を当て嵌めることにより推定しても良く、この場合には、正規分布ｆＳ（Ｃｎ）の線形和の式である式（６）を用いれば良い。
【００７６】
ステップＳ３２５において、確率関数推定部２２１は、各小領域Ａｎの病変部１０１への帰属確率を与える確率関数ＦＰを推定する。この確率関数ＦＰは、上式（５）と同様に、病変部クラスタＣＬ１に属する特徴量を有する小領域Ａｎの数ＮＳを、画像１００内の全ての小領域Ａｎの数（ＮＳ＋ＮＴ）で割ることによって病変部１０１の発生確率Ｐｃを推定し、この発生確率Ｐｃと、ステップＳ３２４において推定された確率密度関数ｆＳ（又は、発生確率（１−Ｐｃ）と、確率密度関数ｆＴ）とを用いて最大事後確率推定を行うことにより推定される。
【００７７】
ステップＳ３２６において、帰属確率推定部２２０は、各小領域Ａｎの色特徴量Ｃα、Ｃβ、及びステップＳ３２５において推定された確率関数ＦＰに基づいて、各小領域Ａｎの病変部１０１への帰属確率Ｐｎを推定する。
【００７８】
ここで、帰属確率推定部２２０において、上記のように確率関数を推定する理由は次のとおりである。管腔内画像１００内における色等の特徴は、多くの場合、被検体内の病変部、非病変部といった部位に対応して現れる。このため、図１３Ａに示すような特徴空間１０６において特徴量分布をクラスタリングすることにより、各部位に対応する特徴量分布のクラスタＣＬ１、ＣＬ２が生成される。
【００７９】
ところが、このような部位の特徴は、被検体毎の個人差や、消化管内の撮像箇所の違い等に応じて異なる場合がある。そのような場合、特徴空間１０６における特徴量分布に対し、病変部又は非病変部への帰属可能性（いずれの領域への帰属確率が高いか）を分ける境界が、個々の画像によって変動してしまう。例えば、画像１００については、図１５Ａに示すように境界Ｔｈ１で分けられるクラスタＣＬ１、ＣＬ２が形成されるのに対し、別の画像については、図１５Ｂに示すように、異なる境界Ｔｈ２で分けられるクラスタＣＬ１’、ＣＬ２’が生成される可能性がある。
【００８０】
そのため、全ての画像に対し、教師データにおける特徴量分布に基づく確率モデルから算出される境界ＴｈＡＬＬを一律に適用して各小領域Ａｎの病変部１０１への帰属確率を推定すると、病変部１０１を適切に検出できなくなる場合がある。そこで、実施の形態２においては、画像毎に特徴量分布をクラスタリングし、クラスタ単位で病変部又は非病変部への帰属可能性を判定し、この判定結果を利用して各小領域Ａｎの病変部又は非病変部への帰属確率を推定することとしている。
【００８１】
例えば、図１５Ａにおいて、領域Ｓ１に含まれる特徴量（Ｃαｎ，Ｃβｎ）は、境界ＴｈＡＬＬによれば、クラスタＣＬ２に属するにもかかわらず、病変部への帰属可能性が高い側に分類される。しかしながら、実施の形態２によれば、図１５Ａに示す特徴空間に対しては境界Ｔｈ１が適用されるため、当該領域Ｓ１に含まれる特徴量（Ｃαｎ，Ｃβｎ）は、非病変部への帰属可能性が高い側に分類される。
【００８２】
一方、図１５Ｂにおいて、領域Ｓ２に含まれる特徴量（Ｃαｎ，Ｃβｎ）は、境界ＴｈＡＬＬによれば、クラスタＣＬ１’に属するにもかかわらず、非病変部への帰属可能性が高い側に分類される。しかしながら、実施の形態２によれば、図１５Ｂに示す特徴空間に対しては境界Ｔｈ２が適用されるため、当該領域Ｓ２に含まれる特徴量（Ｃαｎ，Ｃβｎ）は、病変部への帰属可能性が高い側に分類される。
【００８３】
図１６は、図２のステップＳ４０における隣接間連結強度算出部２３０の動作を示すフローチャートである。なお、ステップＳ４２１及びＳ４２２の動作は、図８に示すステップＳ４０１及びＳ４０２と対応している。
【００８４】
ステップＳ４２２に続くステップＳ４２３において、内部特徴量差算出部２３１ａは、隣接小領域における領域内部の特徴量の差（以下、内部特徴量差という）ΔＣを算出する。具体的には、互いに隣接する小領域Ａｎ、Ａｎ’の特徴量ベクトルＣｎ（Ｃαｎ，Ｃβｎ）、Ｃｎ’（Ｃαｎ’，Ｃβｎ’）をそれぞれ取得し、次式（１０）で与えられる特徴量ベクトルＣｎ、Ｃｎ’の差の大きさ（特徴空間におけるユークリッド距離に相当）を算出する。
ΔＣ＝√｛（Ｃαｎ−Ｃαｎ’）２＋（Ｃβｎ−Ｃβｎ’）２｝ …（１０）
【００８５】
なお、特徴量としては、各小領域Ａｎ内の画素の画素値のＲＧＢ各成分の統計量（平均、分散、歪度、尖度、頻度分布等）や、各小領域Ａｎに関するテクスチャ情報、画素値のＲＧＢ各成分から２次的に算出される輝度、色差、色相、彩度、明度、色比等の統計量（同上）、これらの２次的に算出される値に基づくテクスチャ情報が用いられる。また、特徴量の種類は、ステップＳ３２１において算出したものと同じ種類であっても良いし、異なる種類であっても良い。前者の場合、ステップＳ３２１において算出された特徴量を記憶部１４に記憶させておき、ステップＳ４２２においては、記憶部１４から当該特徴量を取得しても良い。
【００８６】
ステップＳ４２４において、連結強度算出部２３１は、各隣接小領域の連結強度を算出する。ここで、互いに隣接する小領域Ａｎ、Ａｎ’の間における内部特徴量の差ΔＣが小さいということは、小領域Ａｎ、Ａｎ’が共に同一の領域に含まれる可能性が高く、連結強度は大きいと言える。そこで、連結強度算出部２３１は、内部特徴量差ΔＣが小さくなるほど値が大きくなるように連結強度を算出する。
【００８７】
具体的には、内部特徴量差ΔＣを変数とする減少関数を設定して連結強度を算出すれば良い。或いは、内部特徴量差ΔＣが小さくなるほど連結強度が大きくなるように内部特徴量差ΔＣと連結強度とを関連付けた変換テーブルを作成し、この変換テーブルを参照することにより連結強度を取得しても良い。
【００８８】
以上説明したように、実施の形態２によれば、エッジ情報を基に画像を分割した小領域の内部特徴量の差から算出（取得）された連結強度に基づいて特定領域（病変部）を検出するので、特定領域の検出精度を向上することができる。また、実施の形態２によれば、画像毎に、小領域の特徴量分布に応じた確率関数を推定するので、このような確率関数を用いることにより、個々の画像に対して適応的な帰属確率を推定することができ、特定領域の検出精度をさらに向上させることが可能となる。
【００８９】
（実施の形態３）
次に、本発明の実施の形態３について説明する。
実施の形態３に係る画像処理装置は、図１に示す演算部１５の代わりに、図１７に示す演算部３０を備える。この演算部３０は、領域分割部１１０と、帰属確率推定部１２０と、隣接間連結強度算出部３３０と、病変部検出部１４０とを備える。なお、この内の帰属確率推定部１２０の代わりに、図１１に示す帰属確率推定部２２０を設けても良い。
【００９０】
隣接間連結強度算出部３３０は、隣接情報取得部１３１に加えて、連結強度算出部３３１を有する。連結強度算出部３３１は、連結強度として、互いに隣接する小領域間における境界強度を算出する境界強度算出部３３１ａを含み、この境界強度に基づいて隣接小領域の連結強度を算出する。より詳細には、境界強度算出部３３１ａは、互いに隣接する小領域間の境界画素を検出する境界画素検出部ａ１と、境界画素におけるエッジ強度を算出する境界エッジ強度算出部ａ２とを含み、境界画素におけるエッジ強度に基づいて当該小領域間の境界強度を算出する。
【００９１】
次に、演算部３０の動作を説明する。演算部３０全体の動作は図２に示すとおりであり、ステップＳ４０における詳細な動作が実施の形態１とは異なる。
図１８は、ステップＳ４０における隣接間連結強度算出部３３０の動作を示すフローチャートである。なお、ステップＳ４３１及びＳ４３２の動作は、図８に示すステップＳ４０１及びＳ４０２と対応している。
【００９２】
ステップＳ４３２に続くステップＳ４３３において、境界画素検出部ａ１は、図１９に示すように、互いに隣接する小領域Ａｎ、Ａｎ’の間における境界画素Ｇｍ（ｍ＝１〜Ｍ）を検出する。境界画素Ｇｍの検出方法としては、例えば、ステップＳ２０６において生成された領域ラベル画像において輪郭追跡するなど、公知の方法を用いることができる（参考：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」、第１７８〜１７９頁）。
【００９３】
ステップＳ４３４において、境界エッジ強度算出部ａ２は、境界画素Ｇｍにおけるエッジ強度ＩＥＤＧ（Ｇｍ）を算出する。境界画素Ｇｍにおけるエッジ強度は、例えば、ステップＳ４３３において検出された境界画素を順次注目画素とし、注目画素及びその近傍画素の画素値の内のＧ成分に対し、ソーベルフィルタ等の公知の微分フィルタ処理（参考：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」、第１１４〜１２１頁）を施すことによって算出できる。なお、Ｇ成分を用いるのは、先にも述べたように、Ｇ成分は血液の吸光帯域に近いので、管腔内画像内の構造情報をよく反映するためである。なお、ステップＳ４３４において、Ｇ成分以外の色成分や、画素値に基づく公知の変換処理により２次的に算出される値（輝度、色差、色相、彩度、明度等）を用いても良い。
【００９４】
ステップＳ４３５において、境界強度算出部３３１ａは、ステップＳ４３４において算出された境界画素Ｇｍにおけるエッジ強度のｍに関する総和ΣＩＥＤＧ（Ｇｍ）を求め、この総和を境界画素Ｇｍの個数Ｍで割ることにより、互いに隣接する小領域間における境界強度ＩＢＯＲ（＝ΣＩＥＤＧ（Ｇｍ）／Ｍ））を算出する。
【００９５】
ステップＳ４３６において、連結強度算出部３３１は、各隣接小領域の連結強度を算出する。ここで、互いに隣接する小領域Ａｎ、Ａｎ’の間における境界強度ＩＢＯＲが小さいということは、小領域Ａｎ、Ａｎ’が共に同一の領域に属している可能性が高く、連結強度は大きいと言える。そこで、連結強度算出部３３１は、境界強度ＩＢＯＲが小さくなるほど値が大きくなるように連結強度を算出する。具体的には、境界強度ＩＢＯＲを変数とする減少関数を設定して連結強度を算出すれば良い。或いは、境界強度ＩＢＯＲが小さくなるほど連結強度が大きくなるように境界強度ＩＢＯＲと境界強度とを関連付けた変換テーブルを作成し、この変換テーブルに基づいて連結強度を取得しても良い。
【００９６】
以上説明したように、実施の形態３によれば、エッジ情報を基に画像を分割した小領域の境界強度から算出（取得）された連結強度に基づいて特定領域（病変部）を検出するので、特定領域の検出精度を向上させることができる。
【００９７】
（変形例）
次に、実施の形態３の変形例を説明する。
図２０は、変形例に係る画像処理装置の演算部の構成を示すブロック図である。図２０に示すように、変形例に係る演算部３１は、図１７に示す連結強度算出部３３１の代わりに、連結強度算出部３４１を有する隣接間連結強度算出部３４０を備える。連結強度算出部３４１は、境界強度算出部３３１ａに加えて、境界強度補正部３３１ｂを更に含んでいる。
【００９８】
図２１は、隣接間連結強度算出部３４０の動作を示すフローチャートである。なお、ステップＳ４３１〜Ｓ４３５、及びＳ４３６の動作は、実施の形態３と同様である。
ステップＳ４３５に続くステップＳ４４０において、境界強度補正部３３１ｂは、互いに隣接する小領域間の境界強度ＩＢＯＲを、当該小領域の病変部１０１への帰属確率Ｐｎ
（又は非病変部への帰属確率（１−Ｐｎ））に基づいて補正する。
【００９９】
ここで、管腔内画像においては、赤色（発赤）と白色（潰瘍）のように、色の特徴が互いに異なる病変が隣接している場合や、粘膜、残渣、泡等のように、色の特徴が互いに異なる領域が隣接している場合がある。このため、病変部に属する領域と非病変部に属する領域との間でのみ境界強度が高いわけではなく、病変部の内部や、非病変部の内部からも高い境界強度が算出される場合がある。そのため、小領域間における境界強度をそのまま用いて病変部の検出を行うと検出精度が低下する可能性もある。そこで、本変形例においては、互いに隣接する小領域の各々の帰属確率に基づいて、それらの小領域の間の境界強度を補正する。
【０１００】
具体的には、境界強度補正部３３１ｂは、互いに隣接する小領域Ａｎ、Ａｎ’それぞれの帰属確率Ｐｎ、Ｐｎ’の平均値ＰＡＶＥ（ＰＡＶＥ＝（Ｐｎ＋Ｐｎ’）／２）を算出する。そして、この平均値ＰＡＶＥが１又は０に近づくほど、即ち、小領域Ａｎ、Ａｎ’が共に同じ領域（病変部又は非病変部）に帰属している可能性が高いほど、小領域Ａｎ、Ａｎ’の間の境界強度ＩＢＯＲが小さくなるように補正を行う。そのためには、例えば、帰属確率の平均値ＰＡＶＥを変数とする減少関数ｆＣ（ＰＡＶＥ）を設定し、境界強度ＩＢＯＲと関数ｆｃとの積を、補正後の境界強度ＩＢＯＲ’とすれば良い。
【０１０１】
この変形例によれば、特定領域（病変部）又は非特定領域（非病変部）の領域内部における小領域間の境界強度がこれらの領域の判別に与える影響を抑制することができる。従って、特定領域の検出精度を向上させることが可能となる。
【０１０２】
（実施の形態４）
次に、本発明の実施の形態４について説明する。
実施の形態４に係る画像処理装置は、図１に示す演算部１５の代わりに、図２２に示す演算部４０を備える。この演算部４０は、領域分割部１１０と、帰属確率推定部１２０と、隣接間連結強度算出部４３０と、病変部検出部１４０とを備える。なお、この内の帰属確率推定部１２０の代わりに、図１１に示す帰属確率推定部２２０を設けても良い。
【０１０３】
隣接間連結強度算出部４３０は、隣接情報取得部１３１と、連結強度算出部４３１と、連結強度補正部４３２とを有する。
連結強度算出部４３１は、帰属確率差算出部１３２ａと、内部特徴量差算出部２３１ａと、境界強度算出部３３１ａとを含み、帰属確率差算出部１３２ａによって算出された帰属確率差ΔＰ、内部特徴量差算出部２３１ａによって算出された内部特徴量差ΔＣ、及び境界強度算出部３３１ａによって算出された境界強度ＩＢＯＲに基づいて、隣接小領域の連結強度を算出する。具体的には、連結強度算出部４３１は、帰属確率差ΔＰ、内部特徴量差ΔＣ、及び境界強度ＩＢＯＲをそれぞれ変数とする減少関数ｆＸ（ΔＰ）、ｆＹ（ΔＣ）、ｆＺ（ＩＢＯＲ）の重み付け和を算出することにより、次式（２）で与えられる連結強度Ｉを算出する。式（２）において、ｗ１、ｗ２、ｗ３は重み係数であり、ｗ１≧０、ｗ２≧０、ｗ３≧０、且つ、ｗ１＋ｗ２＋ｗ３＝１を満たす定数である。
Ｉ＝ｗ１・ｆＸ（ΔＰ）＋ｗ２・ｆＹ（ΔＣ）＋ｗ３・ｆＺ（ＩＢＯＲ） …（２）
【０１０４】
また、連結強度補正部４３２は、各隣接小領域について算出された連結強度Ｉを、当該小領域の病変部１０１への帰属確率Ｐｎ（又は非病変部への帰属確率（１−Ｐｎ））に基づいて補正する。具体的には、連結強度補正部４３２は、互いに隣接する小領域Ａｎ、Ａｎ’それぞれの帰属確率Ｐｎ、Ｐｎ’の平均値ＰＡＶＥ（ＰＡＶＥ＝（Ｐｎ＋Ｐｎ’）／２）を算出し、この平均値ＰＡＶＥが１又は０に近づくほど、連結強度Ｉが小さくなるように補正を行う。そのためには、例えば、帰属確率の平均値ＰＡＶＥを変数とする減少関数ｆＣ（ＰＡＶＥ）を設定し、境界強度Ｉと関数ｆｃとの積を、補正後の境界強度Ｉ’とすれば良い。
【０１０５】
以上説明したように、実施の形態４によれば、重み係数ｗ１、ｗ２、ｗ３を調節することにより、帰属確率差、内部特徴量差、及び境界強度を所望に組み合わせた連結強度を算出することができる。従って、画像の特性に応じて、病変部の検出精度を向上させることが可能となる。例えば、非病変部内部において色の違いが見られる部位の画像を診断する際には、重み係数ｗ２を小さくするといった調整を行うことにより、隣接小領域における特徴量の差異が病変部検出に与える影響を抑制することができる。
【０１０６】
また、実施の形態４によれば、互いに隣接する小領域各々の帰属確率に基づいて当該隣接小領域の連結強度を補正するので、特定領域又は非特定領域の領域内部における隣接小領域の連結強度がこれらの領域の判別に及ぼす影響を低減することができる。従って、特定領域の検出精度を向上させることが可能となる。
【０１０７】
以上説明した実施の形態１〜４及び変形例に係る画像処理装置は、記録媒体に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することにより実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク（ＬＡＮ）、広域エリアネットワーク（ＷＡＮ）、又は、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１〜４及び変形例に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続された種々の出力機器（ビュアーやプリンタ等）に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置（記録媒体及びその読取装置等）に画像処理結果を格納するようにしても良い。
【０１０８】
なお、本発明は、実施の形態１〜４及び変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。
【符号の説明】
【０１０９】
１ 画像処理装置
１０ 制御部
１１ 画像取得部
１２ 入力部
１３ 表示部
１４ 記録部
１４ａ 画像処理プログラム
１５、２０、３０、３１、４０ 演算部
１００ 管腔内画像（画像）
１０１ 病変部
１０２ 非病変部
１０３ 境界
１０４ 領域ラベル画像
１０５ 連結グラフ
１０６ 特徴空間
１１０ 領域分割部
１１１ エッジ強度算出部
１１２ 分割部
１２０ 帰属確率推定部
１２１ 領域特徴量算出部
１３０、２３０、３３０、３４０、４３０ 隣接間連結強度算出部
１３０ａ 輪郭画素検出部
１３１ 隣接情報取得部
１３１ａ 輪郭画素算出部
１３２、２３１、３３１、３４１、４３１ 連結強度算出部
１３２ａ 帰属確率差算出部
１４０ 病変部検出部
１４１ 連結グラフ構築部
１４２ 最小カット算出部
２２０ 帰属確率推定部
２２１ａ クラスタリング部
２２１ｂ クラスタ推定部
２２１ 確率関数推定部
２２１ｃ 確率密度関数推定部
２３１ａ 内部特徴量差算出部
３３１ａ 境界強度算出部
３３１ｂ 境界強度補正部
４３２ 連結強度補正部
【特許請求の範囲】
【請求項１】
画像内のエッジ情報に基づいて、前記画像を、各々が複数の画素を含む複数の小領域に分割する小領域分割手段と、
前記複数の小領域の各々が、検出対象である特定領域に帰属する確率である帰属確率を推定する帰属確率推定手段と、
前記複数の小領域の内の互いに隣接する小領域が、前記特定領域及び該特定領域以外の領域である非特定領域の内、同じ領域に属する度合いを定量的に表す連結強度を算出する隣接間連結強度算出手段と、
前記帰属確率及び前記連結強度に基づいて前記画像を前記特定領域と前記非特定領域とに分割することにより、前記特定領域を検出する特定領域検出手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記小領域分割手段は、
前記画像内の各画素におけるエッジ強度を算出するエッジ強度算出手段と、
前記画像を、前記エッジ強度の尾根を境界として前記複数の小領域に分割する分割手段と、
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記帰属確率推定手段は、
前記複数の小領域の各々の特徴量を小領域単位で算出する領域特徴量算出手段を有し、
前記特徴量に基づいて前記帰属確率を推定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記特徴量は、色特徴量又はテクスチャ特徴量であることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記帰属確率推定手段は、前記特徴量に基づいて、前記複数の小領域の各々の特定領域への帰属確率を算出するための確率関数を推定する確率関数推定手段を有することを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記確率関数推定手段は、
前記画像における前記特徴量の分布をクラスタ分けするクラスタリング手段と、
前記特定領域に対応するクラスタを推定するクラスタ推定手段と、
前記推定結果に基づいて、前記特定領域及び前記非特定領域の確率密度関数をそれぞれ推定する確率密度関数推定手段と、
を有し、前記確率密度関数に基づいて前記確率関数を推定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記隣接間連結強度算出手段は、
前記複数の小領域の各々に対し、自身と隣接する小領域に関する隣接情報を取得する隣接情報取得手段と、
前記隣接情報に基づいて、前記互いに隣接する小領域の間における前記連結強度を算出する連結強度算出手段と、
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記隣接情報取得手段は、
前記複数の小領域の各々の輪郭画素を検出する輪郭画素検出手段を有し、
前記輪郭画素に関する情報に基づいて、前記複数の小領域の各々の隣接情報を取得することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記連結強度算出手段は、
前記互いに隣接する小領域の間における前記帰属確率の差を算出する帰属確率差算出手段を有し、
前記帰属確率の差に基づいて、前記互いに隣接する小領域の間における連結強度を算出することを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
前記連結強度算出手段は、
前記互いに隣接する小領域の間の内部特徴量の差を算出する内部特徴量差算出手段を有し、
前記内部特徴量の差に基づいて、前記互いに隣接する小領域の間における連結強度を算出することを特徴とする請求項７に記載の画像処理装置。
【請求項１１】
前記内部特徴量は、前記各小領域内の色特徴量又はテクスチャ特徴量であることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記連結強度算出手段は、
前記互いに隣接する小領域の間における境界強度を算出する境界強度算出手段を有し、
前記境界強度に基づいて、前記互いに隣接する小領域の間における前記連結強度を算出することを特徴とする請求項７に記載の画像処理装置。
【請求項１３】
前記境界強度算出手段は、
前記互いに隣接する小領域の間における境界画素を検出する境界画素検出手段と、
前記境界画素におけるエッジ強度を算出する境界エッジ強度算出手段と、
を有し、
前記境界画素におけるエッジ強度に基づいて、前記互いに隣接する小領域の間における境界強度を算出することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記連結強度算出手段は、
前記帰属確率に基づいて前記境界強度を補正する境界強度補正手段を更に有し、
補正後の前記境界強度に基づいて、前記互いに隣接する小領域の間における連結強度を算出することを特徴とする請求項１２に記載の画像処理装置。
【請求項１５】
前記隣接間連結強度算出手段は、
前記互いに隣接する小領域の間における前記帰属確率の差と、前記互いに隣接する小領域の間における各小領域の内部特徴量の差と、前記境界画素におけるエッジ強度との内の少なくとも２つの値に基づいて、前記互いに隣接する小領域の間における連結強度を算出することを特徴とする請求項７に記載の画像処理装置。
【請求項１６】
前記隣接間連結強度算出手段は、
前記帰属確率に基づいて、前記連結強度を補正する連結強度補正手段を更に有し、
補正後の前記連結強度に基づいて、前記互いに隣接する小領域の間における連結強度を算出することを特徴とする請求項７に記載の画像処理装置。
【請求項１７】
前記特定領域検出手段は、
前記帰属確率及び前記連結強度に基づいて連結グラフを構築する連結グラフ構築手段と、
前記連結グラフにおける最小カット位置を算出する最小カット算出手段と、
を有し、前記最小カット位置において前記連結グラフをカットした結果に基づいて前記特定領域を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項１８】
画像内のエッジ情報に基づいて、前記画像を、各々が複数の画素を含む複数の小領域に分割する小領域分割ステップと、
前記複数の小領域の各々が、検出対象である特定領域に帰属する確率である帰属確率を推定する帰属確率推定ステップと、
前記複数の小領域の内の互いに隣接する小領域が、前記特定領域及び該特定領域以外の領域である非特定領域の内、同じ領域に属する度合いを定量的に表す連結強度を算出する隣接間連結強度算出ステップと、
前記帰属確率及び前記連結強度に基づいて前記画像を前記特定領域と前記非特定領域とに分割することにより、前記特定領域を検出する特定領域検出ステップと、
を含むことを特徴とする画像処理方法。
【請求項１９】
画像内のエッジ情報に基づいて、前記画像を、各々が複数の画素を含む複数の小領域に分割する小領域分割ステップと、
前記複数の小領域の各々が、検出対象である特定領域に帰属する確率である帰属確率を推定する帰属確率推定ステップと、
前記複数の小領域の内の互いに隣接する小領域が、前記特定領域及び該特定領域以外の領域である非特定領域の内、同じ領域に属する度合いを定量的に表す連結強度を算出する隣接間連結強度算出ステップと、
前記帰属確率及び前記連結強度に基づいて前記画像を前記特定領域と前記非特定領域とに分割することにより、前記特定領域を検出する特定領域検出ステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１】
画像内のエッジ情報に基づいて、前記画像を、各々が複数の画素を含む複数の小領域に分割する小領域分割手段と、
前記複数の小領域の各々が、検出対象である特定領域に帰属する確率である帰属確率を推定する帰属確率推定手段と、
前記複数の小領域の内の互いに隣接する小領域が、前記特定領域及び該特定領域以外の領域である非特定領域の内、同じ領域に属する度合いを定量的に表す連結強度を算出する隣接間連結強度算出手段と、
前記帰属確率及び前記連結強度に基づいて前記画像を前記特定領域と前記非特定領域とに分割することにより、前記特定領域を検出する特定領域検出手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記小領域分割手段は、
前記画像内の各画素におけるエッジ強度を算出するエッジ強度算出手段と、
前記画像を、前記エッジ強度の尾根を境界として前記複数の小領域に分割する分割手段と、
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記帰属確率推定手段は、
前記複数の小領域の各々の特徴量を小領域単位で算出する領域特徴量算出手段を有し、
前記特徴量に基づいて前記帰属確率を推定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記特徴量は、色特徴量又はテクスチャ特徴量であることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記帰属確率推定手段は、前記特徴量に基づいて、前記複数の小領域の各々の特定領域への帰属確率を算出するための確率関数を推定する確率関数推定手段を有することを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記確率関数推定手段は、
前記画像における前記特徴量の分布をクラスタ分けするクラスタリング手段と、
前記特定領域に対応するクラスタを推定するクラスタ推定手段と、
前記推定結果に基づいて、前記特定領域及び前記非特定領域の確率密度関数をそれぞれ推定する確率密度関数推定手段と、
を有し、前記確率密度関数に基づいて前記確率関数を推定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記隣接間連結強度算出手段は、
前記複数の小領域の各々に対し、自身と隣接する小領域に関する隣接情報を取得する隣接情報取得手段と、
前記隣接情報に基づいて、前記互いに隣接する小領域の間における前記連結強度を算出する連結強度算出手段と、
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記隣接情報取得手段は、
前記複数の小領域の各々の輪郭画素を検出する輪郭画素検出手段を有し、
前記輪郭画素に関する情報に基づいて、前記複数の小領域の各々の隣接情報を取得することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記連結強度算出手段は、
前記互いに隣接する小領域の間における前記帰属確率の差を算出する帰属確率差算出手段を有し、
前記帰属確率の差に基づいて、前記互いに隣接する小領域の間における連結強度を算出することを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
前記連結強度算出手段は、
前記互いに隣接する小領域の間の内部特徴量の差を算出する内部特徴量差算出手段を有し、
前記内部特徴量の差に基づいて、前記互いに隣接する小領域の間における連結強度を算出することを特徴とする請求項７に記載の画像処理装置。
【請求項１１】
前記内部特徴量は、前記各小領域内の色特徴量又はテクスチャ特徴量であることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記連結強度算出手段は、
前記互いに隣接する小領域の間における境界強度を算出する境界強度算出手段を有し、
前記境界強度に基づいて、前記互いに隣接する小領域の間における前記連結強度を算出することを特徴とする請求項７に記載の画像処理装置。
【請求項１３】
前記境界強度算出手段は、
前記互いに隣接する小領域の間における境界画素を検出する境界画素検出手段と、
前記境界画素におけるエッジ強度を算出する境界エッジ強度算出手段と、
を有し、
前記境界画素におけるエッジ強度に基づいて、前記互いに隣接する小領域の間における境界強度を算出することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記連結強度算出手段は、
前記帰属確率に基づいて前記境界強度を補正する境界強度補正手段を更に有し、
補正後の前記境界強度に基づいて、前記互いに隣接する小領域の間における連結強度を算出することを特徴とする請求項１２に記載の画像処理装置。
【請求項１５】
前記隣接間連結強度算出手段は、
前記互いに隣接する小領域の間における前記帰属確率の差と、前記互いに隣接する小領域の間における各小領域の内部特徴量の差と、前記境界画素におけるエッジ強度との内の少なくとも２つの値に基づいて、前記互いに隣接する小領域の間における連結強度を算出することを特徴とする請求項７に記載の画像処理装置。
【請求項１６】
前記隣接間連結強度算出手段は、
前記帰属確率に基づいて、前記連結強度を補正する連結強度補正手段を更に有し、
補正後の前記連結強度に基づいて、前記互いに隣接する小領域の間における連結強度を算出することを特徴とする請求項７に記載の画像処理装置。
【請求項１７】
前記特定領域検出手段は、
前記帰属確率及び前記連結強度に基づいて連結グラフを構築する連結グラフ構築手段と、
前記連結グラフにおける最小カット位置を算出する最小カット算出手段と、
を有し、前記最小カット位置において前記連結グラフをカットした結果に基づいて前記特定領域を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項１８】
画像内のエッジ情報に基づいて、前記画像を、各々が複数の画素を含む複数の小領域に分割する小領域分割ステップと、
前記複数の小領域の各々が、検出対象である特定領域に帰属する確率である帰属確率を推定する帰属確率推定ステップと、
前記複数の小領域の内の互いに隣接する小領域が、前記特定領域及び該特定領域以外の領域である非特定領域の内、同じ領域に属する度合いを定量的に表す連結強度を算出する隣接間連結強度算出ステップと、
前記帰属確率及び前記連結強度に基づいて前記画像を前記特定領域と前記非特定領域とに分割することにより、前記特定領域を検出する特定領域検出ステップと、
を含むことを特徴とする画像処理方法。
【請求項１９】
画像内のエッジ情報に基づいて、前記画像を、各々が複数の画素を含む複数の小領域に分割する小領域分割ステップと、
前記複数の小領域の各々が、検出対象である特定領域に帰属する確率である帰属確率を推定する帰属確率推定ステップと、
前記複数の小領域の内の互いに隣接する小領域が、前記特定領域及び該特定領域以外の領域である非特定領域の内、同じ領域に属する度合いを定量的に表す連結強度を算出する隣接間連結強度算出ステップと、
前記帰属確率及び前記連結強度に基づいて前記画像を前記特定領域と前記非特定領域とに分割することにより、前記特定領域を検出する特定領域検出ステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図８】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１１】
【図１２】
【図１３Ａ】
【図１３Ｂ】
【図１４】
【図１５Ａ】
【図１５Ｂ】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図８】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１１】
【図１２】
【図１３Ａ】
【図１３Ｂ】
【図１４】
【図１５Ａ】
【図１５Ｂ】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１２−２３８０４１（Ｐ２０１２−２３８０４１Ａ）
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願番号】特願２０１１−１０４６９８（Ｐ２０１１−１０４６９８）
【出願日】平成２３年５月９日（２０１１．５．９）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願日】平成２３年５月９日（２０１１．５．９）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]