画像処理装置、画像処理方法、及び画像処理プログラム
【課題】形状や大きさが多様な泡領域を精度良く検出することができる画像処理装置等を提供する。
【解決手段】画像処理装置は、画像から、記憶部１４に格納された泡領域の形状モデルに対応する形状を有する領域を泡候補領域として設定する泡候補領域設定部１６と、泡候補領域が有する情報に基づいて、当該泡候補領域が泡領域であるか否かを判定する泡領域判定部１７とを備える。上記泡候補領域設定部１６は、上記画像から円形状又は円弧形状を有する領域を検出する。また、上記泡領域判定部１７は、泡候補領域の周縁部に含まれる境界領域、又は、該境界領域の内側に位置する内部領域が有する情報を用いて判定を行う。
【解決手段】画像処理装置は、画像から、記憶部１４に格納された泡領域の形状モデルに対応する形状を有する領域を泡候補領域として設定する泡候補領域設定部１６と、泡候補領域が有する情報に基づいて、当該泡候補領域が泡領域であるか否かを判定する泡領域判定部１７とを備える。上記泡候補領域設定部１６は、上記画像から円形状又は円弧形状を有する領域を検出する。また、上記泡領域判定部１７は、泡候補領域の周縁部に含まれる境界領域、又は、該境界領域の内側に位置する内部領域が有する情報を用いて判定を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から泡が映し出された領域を検出する画像処理装置、画像処理方法、及び画像処理プログラムに関するものである。
【背景技術】
【０００２】
従来から、患者等の被検者の体内に導入されて、生体内を非侵襲に観察する医用観察装置として、内視鏡が広く普及している。近年では、カプセル型の筐体内部に撮像装置及び通信装置等を収容し、撮像装置により撮像された画像データを体外に無線送信する飲み込み型の内視鏡（カプセル内視鏡）も開発されている。このような医用観察装置によって生体の管腔内を撮像した一連の画像（生体内画像）は膨大な数（数万枚以上）に上り、各生体内画像に対する観察及び診断には多くの経験が必要とされる。そのため、医師による診断を補助する医療診断支援機能が望まれている。
【０００３】
このような機能を実現する画像認識技術の１つとして、医療診断に当たって観察が不要な領域を生体内画像から自動的に検出して除去する技術が提案されている。ここで、観察が不要な領域とは、生体組織である粘膜以外の領域であり、例えば、管腔内に生じた気泡（以下、単に「泡」ともいう）が映し出された領域（以下、「泡領域」という）が挙げられる。例えば、特許文献１には、画素の勾配強度と、泡画像の特徴に基づいて予め設定された泡モデルとの相関値を算出し、相関値が所定の閾値以上となる領域を泡領域として検出する方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−３１３１１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、実際の泡領域には様々な形状や大きさのものが存在する。そのため、パターンマッチングにより泡領域を検出する場合、予め多様な泡モデルを多数用意し、１つの画像内の各領域についてこれらの泡モデルとの相関値を算出しなければならず、膨大な量の演算が必要となる。一方、演算量を低減するために、泡モデルの形状や大きさをある程度限定すると共に、相関を評価する際の閾値を低く設定することも考えられるが、この場合、誤検出が生じたり、検出漏れが生じたりすることがある。
【０００６】
本発明は、上記に鑑みてなされたものであって、形状や大きさが多様な泡領域を精度良く検出することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、画像に含まれる泡領域を検出する画像処理装置において、前記画像から、記憶手段に格納された泡領域の形状モデルに対応する形状を有する領域を泡候補領域として設定する泡候補領域設定手段と、前記泡候補領域が有する情報に基づいて、当該泡候補領域が泡領域であるか否かを判定する泡領域判定手段とを備えることを特徴とする。
【０００８】
本発明に係る画像処理方法は、画像に含まれる泡領域を検出する画像処理方法において、泡候補領域設定手段により、前記画像から、記憶手段に格納された泡領域の形状モデルに対応する形状を有する領域を泡候補領域として設定する泡候補領域設定ステップと、泡領域判定手段により、前記泡候補領域が有する情報に基づいて、当該泡候補領域が泡領域であるか否かを判定する泡領域判定ステップとを含むことを特徴とする。
【０００９】
本発明に係る画像処理プログラムは、画像に含まれる泡領域を検出する画像処理プログラムにおいて、泡候補領域設定手段により、前記画像から、記憶手段に格納された泡領域の形状モデルに対応する形状を有する領域を泡候補領域として設定する泡候補領域設定ステップと、泡領域判定手段により、前記泡候補領域が有する情報に基づいて、当該泡候補領域が泡領域であるか否かを判定する泡領域判定ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、画像から、泡領域の形状モデルを用いて検出された泡候補領域に対し、この泡候補領域が有する情報に基づいて、当該泡候補領域が泡判定であるか否かを判定するので、泡領域を精度良く検出することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図２】図２は、泡領域の構造を説明する図である。
【図３】図３は、図１に示す画像処理装置の動作を示すフローチャートである。
【図４】図４は、生体内画像の一例を示す模式図である。
【図５】図５は、泡候補領域の内部領域の抽出方法を説明する図である。
【図６】図６は、図１に示す円形状領域検出部の動作を示すフローチャートである。
【図７】図７は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。
【図８】図８は、図７に示す内部領域抽出部の動作を示すフローチャートである。
【図９】図９は、泡候補領域の内部領域の抽出方法を説明する図である。
【図１０】図１０は、泡候補領域の内部領域の抽出方法を説明する図である。
【図１１】図１１は、図７に示す内部領域特徴量算出部の動作を示すフローチャートである。
【図１２】図１２は、本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。
【図１３】図１３は、図１２に示す画像処理装置に動作を示すフローチャートである。
【図１４】図１４は、境界領域の設定方法を説明する図である。
【図１５】図１５は、図１２に示す勾配強度算出部の動作を示すフローチャートである。
【図１６】図１６は、境界領域の勾配情報の算出方法を説明する図である。
【図１７】図１７は、境界領域における円弧の連続性を表す特徴量の算出方法を説明する図である。
【図１８】図１８は、変形例３−２に係る画像処理装置の演算部の構成を示すブロック図である。
【図１９】図１９は、境界領域におけるエッジ画素の泡候補領域の中心座標についての相対性を表す評価値の算出方法を説明する図である。
【図２０】図２０は、変形例３−３に係る画像処理装置の演算部の構成を示すブロック図である。
【図２１】図２１は、境界領域におけるエッジ画素の円形性を表す評価値の算出方法を説明する図である。
【図２２】図２２は、本発明の実施の形態４に係る画像処理装置の構成を示すブロック図である。
【図２３】図２３は、図２２に示す画像処理装置の動作を示すフローチャートである。
【図２４】図２４は、図２２に示す画像処理装置における泡領域の判定方法を説明する図である。
【図２５】図２５は、本発明の実施の形態５に係る画像処理装置の構成を示すブロック図である。
【図２６】図２６は、図２５に示す画像処理装置の動作を示すフローチャートである。
【図２７】図２７は、図２５に示す画像処理装置における泡領域の判定方法を説明する図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、これら実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
【００１３】
以下に説明する実施の形態に係る画像処理装置は、内視鏡又はカプセル内視鏡等の医用観察装置によって撮像された画像を処理するものであり、具体的には、被検者の生体（管腔）内を撮像した画像から、泡が映された泡領域を検出する処理を行う。以下の説明において、画像処理を施される生体内画像は、例えば、各画素においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分に対する２５６階調の画素レベル（画素値）を持つカラー画像である。なお、以下の実施の形態においては、一例として生体内画像に対する画像処理について説明するが、本発明に係る画像処理装置は、一般的な画像から泡領域を検出する場合に適用することも可能である。
【００１４】
また、以下の実施の形態において検出対象とされる泡領域は、表面張力の作用により、通常、円形状、偏円形状若しくは楕円形状等の類円形状、又はそれらの周の一部の形状（円弧等）の平面外観を有する。そのため、本出願において単に「円形」という場合、真円のみならず、偏円及び楕円等の類円形状を含むものとし、単に「円弧」という場合、真円及び類円の周の一部の形状を含むものとする。
【００１５】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。図１に示すように、画像処理装置１は、画像処理装置１全体の動作を制御する制御部１０と、画像取得部１１と、入力部１２と、表示部１３と、記憶部１４と、演算部１５とを備える。
【００１６】
画像取得部１１は、医用観察装置によって撮像された生体内画像の画像データを取得する。画像取得部１１は、医用観察装置を含むシステムの態様に応じて適宜構成される。例えば、医用観察装置がカプセル内視鏡であり、医用観察装置との間の画像データの受け渡しに可搬型の記録媒体が使用される場合、画像取得部１１は、この記録媒体を着脱自在に装着し、保存された生体内画像の画像データを読み出すリーダ装置で構成される。また、医用観察装置によって撮像された生体内画像の画像データを保存しておくサーバを設置する場合、画像取得部１１は、サーバと接続される通信装置等で構成され、サーバとデータ通信を行って生体内画像の画像データを取得する。或いは、画像取得部１１を、内視鏡等の医用観察装置から、ケーブルを介して画像信号を入力するインターフェース装置等で構成しても良い。
【００１７】
入力部１２は、例えばキーボードやマウス、タッチパネル、各種スイッチ等によって実現され、入力信号を制御部１０に出力する。
表示部１３は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現され、制御部１０の制御の下で、生体内画像を含む各種画面を表示する。
【００１８】
記憶部１４は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、ＣＤ−ＲＯＭ等の情報記録媒体及びその読取装置等によって実現される。記憶部１４は、画像取得部１１によって取得された生体内画像の画像データの他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。具体的には、記憶部１４は、生体内画像から泡領域を検出するための画像処理プログラム１４１を格納する。
【００１９】
演算部１５は、ＣＰＵ等のハードウェアによって実現され、画像処理プログラム１４１を読み込むことにより、生体内画像の画像データを処理して、生体内画像から泡領域を検出するための種々の演算処理を行う。
【００２０】
制御部１０は、ＣＰＵ等のハードウェアによって実現され、記憶部１４に格納された各種プログラムを読み込むことにより、画像取得部１１から入力される画像データや入力部１２から入力される操作信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。
【００２１】
ここで、演算部１５による画像処理において検出対象としている泡領域について説明する。図２は、泡領域の構造例を説明する図である。図２（ａ）に示すように、泡１００は、空気等の気体を含んだ液体（水分等）が表面張力の作用により丸まったものであり、水分等の膜１０１と、その内部の気体１０２とからなる。このような泡１００に光を照射して撮像を行うと、図２（ｂ）に示すような泡領域１１０の画像が得られる。この泡領域１１０は、外形的には円形状又は円弧形状を有し、内部構造として、膜１０１の厚み部分に対応し、泡領域１１０の周縁部に含まれる境界領域１１１と、その内側に位置する内部領域１１２と、内部領域１１２の内側の複数箇所に見られる高輝度領域１１３とを含む。この内、境界領域１１１は、照射光が膜１０１において散乱することにより生じた明るい領域である。一方、内部領域１１２は、照明光の多くが膜１０１を透過することにより生じた領域であり、全体的に暗い領域となる。高輝度領域１１３は、照射光が膜１０１の表面で鏡面反射することにより光源が映り込んでハレーションが生じた、極めて輝度が高い領域である。
【００２２】
次に、演算部１５の詳細な構成について説明する。演算部１５は、予め記憶部１４に格納された泡領域の形状モデル（泡モデル）に対応する形状を有する領域を生体内画像から検出し、この領域を泡候補領域として設定する泡候補領域設定部１６と、泡候補領域が有する情報に基づいて当該泡候補領域が泡領域であるか否かを判定する泡領域判定部１７とを備える。
【００２３】
泡候補領域設定部１６は、円形状領域検出部１６１を有する。円形状領域検出部１６１は、生体内画像から抽出したエッジを泡モデルと比較し、泡モデルとの相関が高いエッジ領域を抽出することにより、円形状又は円弧形状を有する領域を検出する。
【００２４】
泡領域判定部１７は、内部領域抽出部１８と、内部領域特徴量算出部１９と、判定部２０とを有する。
内部領域抽出部１８は、泡候補領域内の所定の領域を内部領域１１２として抽出する。
【００２５】
内部領域特徴量算出部１９は、内部領域１１２における特徴量を算出する。より詳細には、内部領域特徴量算出部１９は、内部領域１１２のテクスチャを表す特徴量として、内部領域１１２における画素値（例えば輝度値）の分散（参考：ＣＧ−ＡＲＴＳ協会、ディジタル画像処理、ｐ．７１）を算出するテクスチャ算出部１９１を有する。
【００２６】
判定部２０は、内部領域１１２のテクスチャを表す特徴量（画素値の分散）に基づいて、当該泡候補領域が泡領域であるか否かを判別する。ここで、上述のとおり、内部領域１１２は照射光が透過した暗い領域であるが、その内側に高輝度領域１１３が存在するため、内部領域１１２の内側全体の明るさの幅は、生体内画像１２０の他の領域と比べて大きくなる傾向にある。そこで、内部領域１１２における画素値の分散を所定の閾値と比較することにより、当該泡候補領域が泡領域であるか、それ以外の領域（生体の粘膜領域等）であるかを判別することができる。具体的には、判別部２０は、画素値の分散が所定の閾値以上である場合、泡候補領域は泡領域であると判別し、画素値の分散が所定の閾値よりも小さい場合、泡候補領域は泡領域ではないと判別する。
【００２７】
次に、画像処理装置１の動作について説明する。図３は、画像処理装置１の動作を示すフローチャートである。また、図４は、カプセル内視鏡によって撮像され、画像処理装置１によって処理される生体内画像の一例を示す模式図である。図４に示すように、生体内画像１２０には時に、生体の粘膜とは異なる特徴を有する領域１２２が、粘膜領域１２１に重なって映し出される場合がある。
【００２８】
まず、ステップＳ１０において、画像取得部１１は、外部から生体内画像群の入力を受け付け、記憶部１４に格納する。演算部１５は、記憶部１４から処理対象の生体内画像１２０を読み出して取得する。
【００２９】
ステップＳ１１において、円形状領域検出部１６１は、生体内画像１２０内から、円形状領域１２３を検出する。ここで検出される円形状領域１２３は、完全な円形状を有する領域だけでなく、周の一部が欠けた円弧形状を有する領域あっても良い。なお、円形状領域の検出処理の詳細については後述する。
【００３０】
ステップＳ１２において、泡候補領域設定部１６は、検出された円形状領域１２３の中心位置の座標Ｃ（ｘ，ｙ）及び半径ｒOUTを、泡候補領域を表す情報として記憶部１４に記憶させる。これにより、円形状領域１２３が、泡候補領域として設定される。
【００３１】
ステップＳ１３において、内部領域抽出部１８は、各泡候補領域１２３から内部領域を抽出する。具体的には、図５に示すように、泡候補領域１２３よりも半径が小さい同心円を、次式（１）を用いて算出する。
ｒIN＝ｒOUT×Ｋ …（１）
式（１）において、ｒINは同心円の半径であり、Ｋは所定の係数（０．０＜Ｋ＜１．０）である。
内部領域抽出部１８は、半径ｒINの同心円に内包される領域を内部領域１２４として抽出する。
【００３２】
続くステップＳ１４において、内部領域特徴量算出部１９は、各泡候補領域１２３から抽出された内部領域１２４における画素値の分散を算出する。この分散の値がテクスチャ特徴量として用いられる。
【００３３】
ステップＳ１５において、判定部２０は、テクスチャ特徴量を所定の閾値と比較することにより、当該泡候補領域が泡領域であるか否かを判別する。
【００３４】
次に、円形状領域の検出処理（ステップＳ１１）について詳しく説明する。図６は、円形状領域検出部１６１の動作を示すフローチャートである。
まず、ステップＳ１０１において、円形状領域検出部１６１は、生体内画像１２０の各画素における画素値の勾配強度を算出する（参考：ＣＧ−ＡＲＴＳ協会、ディジタル画像処理、ｐ．１１４〜ｐ．１２１）。具体的には、各画素に対し、ソーベル（Sobel）フィルタ等の１次微分フィルタや、ラプラシアン（Laplacian）フィルタ等の２次微分フィルタを用いてフィルタリング処理を施す。
【００３５】
続くステップＳ１０２において、円形状領域検出部１６１は、勾配強度が所定の閾値以上となる画素の位置をエッジとして抽出する。
【００３６】
ステップＳ１０３において、円形状領域検出部１６１は、予め作成された複数の泡モデル（テンプレート）を生体内画像１２０の各画素位置に適用し、抽出されたエッジと泡モデルとの相関値を算出する。相関値の算出方法としては、ＮＣＣ（正規化相互相関：Normalized Cross-Correlation）類似度の他、ＳＳＤ相違度やＳＡＤ相違度等、相関の計測が可能であればどのような手法を用いても良い（参考：ＣＧ−ＡＲＴＳ協会、ディジタル画像処理、ｐ．２０３〜ｐ．２０４）。
【００３７】
ステップＳ１０４において、円形状領域検出部１６１は、各画素位置において、相関値が最大（類似度が最大又は相違度が最小）となる泡モデルの半径ｒMODEL及び相関値を記憶部１４に記憶させる。
【００３８】
ステップＳ１０５において、円形状領域検出部１６１は、相関値の最大値が所定の閾値以上（相違度の場合、最小値が閾値以下）となる画素位置を抽出する。そして、抽出された画素位置Ｃと、各画素位置Ｃにおいて相関値が最大となる泡モデルの半径ｒMODELとを、円形状領域の中心位置の座標Ｃ（ｘ，ｙ）及び半径ｒOUTとして出力する。
【００３９】
なお、上記ステップＳ１０１及びＳ１０２の代わりに、ケニー（Canny）のエッジ検出アルゴリズム（ＣＧ−ＡＲＴＳ協会、ディジタル画像処理、ｐ．２０８〜ｐ．２１０）等、既知の方法によってエッジ（輪郭線）検出を行っても良い。また、円形状領域の検出は、上述した泡モデルとの相関値を算出する方法に限らず、既知の様々な方法で行っても構わない。
【００４０】
以上説明したように、実施の形態１によれば、泡モデルを用いて検出された円形状又は円弧形状の泡候補領域に対し、この泡候補領域の内部領域の特徴量に基づいて、当該泡候補領域が泡領域であるか否かを判定する。このため、泡モデルのみを用いて泡領域を検出する場合と比較して、泡領域の誤検出を低減することが可能となる。また、実施の形態１によれば、後の泡領域の判定ステップを実行するため、泡モデルによる円形状領域の検出ステップにおいては、閾値を低く設定することができる。従って、泡領域の検出漏れを低減することが可能となる。さらに、実施の形態１によれば、泡モデルのみを用いて泡領域を検出する場合よりも、使用する泡モデルの数を低減することができる。この場合、泡領域の検出精度を維持又は向上させつつ、トータルの演算量を低減させることが可能となる。
【００４１】
（実施の形態２）
次に、本発明の実施の形態２について説明する。図７に示すように、実施の形態２に係る画像処理装置２は演算部２１を備える。その他の構成については、図１に示すものと同様である。
【００４２】
演算部２１は、泡候補領域設定部１６及び泡領域判定部２２を備える。この内、泡候補領域設定部１６の構成及び動作については、実施の形態１において説明したものと同様である。泡領域判定部２２は、泡候補領域設定部１６により設定された泡候補領域が泡領域であるか否かを、当該泡候補領域が有する情報に基づいて判定する。実施の形態２においては、その際に用いられる情報が、実施の形態１におけるものとは異なる。
【００４３】
泡領域判定部２２は、泡候補領域内から内部領域を抽出する内部領域抽出部２３と、内部領域の特徴量として、その内側に存在する高輝度領域の画素値に基づいて算出する内部領域特徴量算出部２４と、高輝度領域における特徴量に基づいて当該泡候補領域が泡領域であるか否かを判定する判定部２５とを備える。
【００４４】
内部領域抽出部２３は、泡候補領域内の画素の輝度値を算出する輝度値算出部２３１と、この輝度値に基づいて泡候補領域を境界領域と内部領域とに分割する泡候補領域分割部２３２とを有する。
【００４５】
内部領域特徴量算出部２４は、内部領域の内側に存在する高輝度領域を抽出する高輝度領域抽出部２４１と、抽出された高輝度領域の特徴量を算出する高輝度領域特徴量算出部２４２とを有する。
【００４６】
次に、画像処理装置２の動作について説明する。画像処理装置２全体の動作は、図３に示すものと同様であり、ステップＳ１３〜Ｓ１５における詳細な動作が実施の形態１とは異なる。
【００４７】
まず、泡候補領域の内部領域の抽出処理（ステップＳ１３）について説明する。図８は、内部領域抽出部２３の動作を示すフローチャートである。また、図９及び図１０は、泡候補領域の内部領域の抽出方法を説明する図である。
【００４８】
まず、ステップＳ２０１において、輝度値算出部２３１は、泡候補領域１２３に含まれる各画素のＲ値（Ｒ）、Ｇ値（Ｇ）、及びＢ値（Ｂ）から、次式（２）を用いて輝度値Ｙを算出する（参考：ＣＧ−ＡＲＴＳ協会、ディジタル画像処理、ｐ．２９９）。
Ｙ＝０．３×Ｒ＋０．５９×Ｇ＋０．１１×Ｂ …（２）
【００４９】
ステップＳ２０２において、泡候補領域分割部２３２は、泡候補領域１２３よりも半径が小さい複数の同心円Ｓn（ｎ＝１、２、…）を求める（図９）。ここで、生体内画像における１画素のサイズをδとすると、同心円の半径ｒnの範囲は、（ｒOUT−δ）≧ｒn≧δとなる。
【００５０】
ステップＳ２０３において、泡候補領域分割部２３２は、ある同心円Ｓnに内包される領域（内側領域）Ａ、及び同心円Ｓnに内包されない泡候補領域１２３内の領域（外側領域）Ｂにおける輝度値Ｙの平均値をそれぞれ算出する（図１０）。ここで、内側領域Ａにおける輝度の平均値をＹAとし、外側領域Ｂにおける輝度の平均値をＹBとする。
【００５１】
ステップＳ２０４において、泡候補領域１２３内において、内側領域Ａと外側領域Ｂとにおける輝度値の差ΔＹ＝ＹA−ＹBを算出する。泡候補領域分割部２３２は、このような輝度値の差ΔＹを、ステップＳ２０２において求めた各同心円Ｓ1、Ｓ2、…について算出する。
【００５２】
このように半径ｒnを徐々に変化させながら、同心円Ｓnの内外の輝度値の差ΔＹを算出すると、同心円Ｓnの円周が、泡領域の内部領域１１２と境界領域１１１との境界（図２参照）と略一致したとき、輝度値の差ΔＹが最も大きくなる。そこで、泡候補領域分割部２３２は、輝度値の差ΔＹが最大となるときの内側領域Ａを、内部領域１２４として抽出する（ステップＳ２０５）。
【００５３】
次に、内部領域における特徴量の算出処理（ステップＳ１４）について説明する。図１１は、内部領域特徴量算出部２４の動作を示すフローチャートである。
ここで、図２に示すように、内部領域１１２の一部には、光源が映り込んでハレーションが発生した領域（高輝度領域１１３）が見られる。このような領域は、非常に高輝度であるという特徴を有する。そこで、内部領域１１２に高輝度領域が存在するか否かを判定することにより、当該泡候補領域が泡領域であるか否かを判断することができる。
【００５４】
まず、ステップＳ２１１において、高輝度領域抽出部２４１は、内部領域１２４に含まれる各画素の輝度値Ｙを、上式（２）を用いて算出する。なお、このとき、図８のステップＳ２０１において算出した値を利用しても良い。
【００５５】
続いて、ステップＳ２１２において、高輝度領域抽出部２４１は、輝度値Ｙが所定の閾値以上となる画素を抽出することにより、内部領域１２４の内側に存在する高輝度領域を抽出する。
【００５６】
さらに、ステップＳ２１３において、高輝度領域特徴量算出部２４２は、抽出された領域の面積（又は画素数）を算出する。それにより算出された面積（画素数）がテクスチャ特徴量として用いられる。
【００５７】
次に、泡候補領域の判定処理（ステップＳ１５）について説明する。
内部領域１２４の内側から高輝度領域が検出された場合、その輝度値がハレーションによるものか、又はノイズによるものかを判別する必要がある。ここで、ハレーションにより高輝度領域が生じている場合、高輝度領域はある程度の大きさの面積を有する（図２参照）。そこで、判定部２５は、高輝度領域として抽出された領域の面積が所定の閾値以上である場合、その領域はハレーションに起因した高輝度領域であり、この場合、当該泡候補領域は泡領域であると判定する。一方、判定部２５は、高輝度領域として抽出された領域の面積が所定の閾値より小さい場合、その領域の輝度値はノイズであり、当該泡候補領域は泡領域でないと判定する。
【００５８】
以上説明したように、実施の形態２によれば、泡候補領域に含まれる画素の輝度値を用いることにより、その泡候補領域が泡領域であった場合に有する内部構造により対応した内部領域を抽出することができる。従って、泡領域の判定精度をさらに向上させることが可能となる。
【００５９】
（変形例）
泡領域の内部領域の内側で見られるハレーションの領域は、高輝度且つ白色という特徴を有している。そこで、内部領域における特徴量として、内部領域１２４の内側から検出された高輝度領域の色特徴量を算出しても良い。具体的には、高輝度領域特徴量算出部２４２は、高輝度領域として抽出された画素のＲ値、Ｇ値、及びＢ値を取得し、色成分毎に平均値（平均Ｒ値、平均Ｇ値、平均Ｂ値）を算出する。また、この場合、判定を行う際に参照する教師データとして、生体内において生じたハレーションの色範囲を表すデータを予め作成して記憶部１４に格納しておく。判定部２５は、平均Ｒ値、平均Ｇ値、及び平均Ｂ値が上記色範囲に含まれる場合、泡候補領域から抽出された高輝度領域はハレーションに起因するものであり、当該泡候補領域は泡領域であると判定する。一方、判定部２５は、平均Ｒ値、平均Ｇ値、及び平均Ｂ値が上記色範囲に含まれない場合、抽出された高輝度領域はノイズであり、当該泡候補領域は泡領域ではないと判定する。
【００６０】
或いは、判定部２５は、内部領域１２４の内側から検出された高輝度領域が所定の閾値以上の面積（又は画素数）を有し、且つ、この高輝度領域の色特徴量がハレーションの色範囲に含まれる場合に、当該泡候補領域が泡領域であると判定しても良い。
【００６１】
（実施の形態３）
次に、本発明の実施の形態３について説明する。図１２に示すように、実施の形態３に係る画像処理装置３は演算部３０を備える。その他の構成については、図１に示すものと同様である。
【００６２】
演算部３０は、泡候補領域設定部１６及び泡領域判定部３１を備える。泡領域判定部３１は、泡候補領域設定部１６により設定された泡候補領域１２３（図４）が泡領域であるか否かを、当該泡候補領域１２３の境界領域に関する情報を用いて判定する。
【００６３】
泡領域判定部３１は、境界領域抽出部３２と、勾配強度算出部３３と、形状特徴量算出部３４と、判定部３５とを備える。
境界領域抽出部３２は、泡候補領域１２３の境界近傍の所定の領域を抽出し、これを境界領域として設定する。
【００６４】
勾配強度算出部３３は、境界領域１２７の勾配情報として、境界領域１２７に含まれる画素における画素値の勾配強度を算出する。より詳細には、勾配強度算出部３３は、画素値の勾配が凸となる方向における勾配強度を算出する凸部勾配強度算出部３３１と、算出された勾配強度に基づいてエッジを抽出するエッジ抽出部３３２とを有する。ここで、このようなエッジを抽出するのは、以下の理由による。即ち、泡領域１１０（図２）であれば、通常、境界領域１１１内の画素値は内部領域１１２や泡領域１１０の外側の画素値よりも大きくなるため、境界領域１１１内の周方向において画素値のピークが現れる。このため、泡候補領域１２３に設定された境界領域から、画素値のピークの存在を示す凸の勾配を検出することにより、泡領域の境界領域である可能性が高いエッジを抽出できるからである。
【００６５】
形状特徴量算出部３４は、泡候補領域１２３の境界の形状情報を表す特徴量を算出する。より詳細には、形状特徴量算出部３４は、そのような特徴量として、境界領域１２７における勾配強度の連続性を表す評価値を算出する連続性算出部３４１を有する。
【００６６】
判定部３５は、泡候補領域１２３の境界の形状情報を表す特徴量に基づいて、当該泡候補領域１２３が泡領域であるか否かを判定する。ここで、上述したように、泡領域１１０は、表面張力の影響から、円形又は円の一部が途切れた円弧形の境界形状を有する。そこで、判定部３５は、上記特徴量に基づいて、泡候補領域１２３の境界領域１２７から抽出されたエッジが幾何学的に円形状又は円弧形状を有しているか否かを判定し、円形状又は円弧形状を有している場合に、その泡候補領域１２３は泡領域であるとする判定を行う。
【００６７】
次に、画像処理装置３の動作について説明する。図１３は、画像処理装置３の動作を示すフローチャートである。なお、図１３に示すステップの内、ステップＳ１０〜Ｓ１２については、実施の形態１において説明したものと同様である。
【００６８】
ステップＳ３１において、境界領域抽出部３２は、例えば図１４に示すように、泡候補領域１２３の円周１２６から距離ｄ1の範囲内の領域を抽出し、この領域を境界領域１２７に設定する。さらに、境界領域抽出部３２は、境界領域１２７に含まれる画素数Ｎをカウントする。
【００６９】
ステップＳ３２において、勾配強度算出部３３は、境界領域１２７の勾配情報を算出する。図１５は、勾配強度算出部３３の詳細な動作を示すフローチャートである。
まず、ステップＳ３０１において、凸部勾配強度算出部３３１は、境界領域１２７に含まれる各画素における画素値の勾配強度を算出する。勾配強度の算出方法としては、１次微分（ソーベルフィルタ等）や２次微分等、既知の様々な手法を用いることができる。例えば、２次微分を用いる場合、凸部勾配強度算出部３３１は、図１６に示すように、座標（ｘ，ｙ）に位置する画素の画素値Ｐ（ｘ，ｙ）に対し、次式（３）〜式（６）を用いて、水平方向における２次微分ｄＨと、垂直方向における２次微分ｄＶと、第１の斜め方向における２次微分ｄＤ１と、第２の斜め方向における２次微分ｄＤ２とを算出する。
【数１】
ここで、パラメータｕは整数であり、パラメータｕ’は、（ｕ／√２）を四捨五入した整数である。これらのパラメータｕ及びｕ’は、２次微分算出時の画素範囲を示す。即ち、パラメータｕを所望の値に設定することにより、勾配成分の精度を調節することができる。例えば、パラメータｕの値を小さくすると、空間周波数の高い勾配成分を算出することができ、パラメータｕの値を大きくすると、空間周波数の低い勾配成分を算出することができる。パラメータｕの値としては、予め固定値を設定しておいても良いし、生体内画像の特性に応じて動的な値を設定しても良い。或いは、所望の値のパラメータｕを外部から与えて処理することとしても良い。
【００７０】
続くステップＳ３０２において、凸部勾配強度算出部３３１は、次式（７）を用いて、方向別に算出された２次微分ｄＨ、ｄＶ、ｄＤ１、ｄＤ２の内から値が正となる最大値を抽出することにより、勾配が増加する（即ち、周囲の画素に対して勾配が凸となる）方向における勾配強度（凸部勾配強度）ｇ凸（ｘ，ｙ）を算出する。
【数２】
【００７１】
ここで、図２に示すように、泡領域１１０の場合、境界領域１１１の画素値は内部領域１１２や泡領域１１０の外側の画素値よりも大きくなるため、境界領域１１１内の径方向に沿って画素値のピークが現れる。そこで、凸部勾配強度ｇ凸を算出することにより、径方向における画素値の立ち上がりを検出することができる。
【００７２】
さらに、ステップＳ３０３において、エッジ抽出部３３２は、各画素について算出された凸部勾配強度ｇ凸（ｘ，ｙ）を所定の閾値で２値化することにより、エッジ画素を抽出する。図１７は、このようにして境界領域１２７から抽出されたエッジ画素ＧEを示している。
【００７３】
ステップＳ３３において、形状特徴量算出部３４は、境界領域１２７の形状情報の特徴量として、円弧の連続性を表す評価値を算出する。
具体的には、まず、連続性算出部３４１は、境界領域１２７において抽出されたエッジ画素ＧEの個数ＮEDG1（即ち、エッジの面積に相当）を取得する。
【００７４】
続いて、連続性算出部３４１は、各エッジ画素ＧEについて、周囲８方向のいずれかに隣接するエッジ画素が存在するか否かを判定し、隣接するエッジ画像が存在するエッジ画素ＧEの個数ＮEDG2をカウントする。例えば、図１７に示すエッジ画素ＧE（１）の場合、右斜め上に隣接するエッジ画素が存在するため、カウントされる。一方、エッジ画素ＧE（２）の場合、周囲８方向には隣接するエッジ画素が存在しないため、カウントされない。
【００７５】
連続性算出部３４１は、これらの値ＮEDG1及びＮEDG2を用いて、次式（８）で与えられる評価値ＥCONを算出する。
ＥCON＝（ＮEDG1×（１−ｋ）＋ＮEDG2×ｋ）／Ｎ …（８）
ここで、Ｎは、境界領域１２７に含まれる全画素数であり、評価値を泡候補領域１２３のサイズで正規化するために用いられる。また、ｋ（０＜ｋ＜１）は、連続しているエッジ画素を重み付けするための係数（定数）である。
【００７６】
ステップＳ３４において、判定部３５は、評価値ＥCONを所定の閾値と比較することにより、泡候補領域１２３の判定を行う。即ち、評価値ＥCONが閾値以上である場合、エッジ画素ＧEの連続性は高く、この場合、泡候補領域１２３は泡領域であると判定する。一方、評価値ＥCONが所定の閾値よりも小さい場合、エッジ画素ＧEの連続性は低く、この場合、泡候補領域１２３は泡領域ではないと判定する。
【００７７】
以上説明したように、実施の形態３によれば、泡候補領域の境界領域の形状情報に基づいて泡候補領域に対する判定を行うので、少ない演算量で精度の良い判定を行うことができる。
【００７８】
（変形例３−１）
連続性算出部３４１は、円弧の連続性を表す評価値として、エッジ画素ＧEの個数ＮEDG1及びＮEDG2の代わりに、エッジ画素ＧEの勾配強度を用いて算出しても良い。具体的には、境界領域１２７において抽出されたエッジ画素ＧEの最大勾配強度ｇ凸の合計値ＳＵＭEDG1を算出する。また、周囲８方向のいずれかに隣接するエッジ画素が存在するエッジ画素ＧEを検出し、それらのエッジ画素ＧEの最大勾配強度ｇ凸の合計値ＳＵＭEDG2を算出する。そして、合計値ＳＵＭEDG1及びＳＵＭEDG2を用いて、次式（９）で与えられる評価値ＥCON’を算出する。
ＥCON’＝（ＳＵＭEDG1×（１−ｋ）＋ＳＵＭEDG2×ｋ）／（Ｎ×ｇMAX）…（９）
ここで、ｇMAXは、エッジ画素ＧEが取りうる勾配強度の最大値（例えば、２５５）である。
この評価値ＥCON’は、高勾配のエッジ画素同士が隣接しているほど大きくなり、円弧を形成するエッジ画素ＧEの連続性が高いことを示す。
【００７９】
（変形例３−２）
図１８は、変形例３−２に係る画像処理装置の演算部３０−２の構成を示すブロック図である。この演算部３０−２において、形状特徴量算出部３６は、泡候補領域１２３の境界の形状情報を表す特徴量として、境界領域１２７において抽出されたエッジ画素ＧEの泡候補領域１２３の中心座標についての相対性を表す評価値を算出する相対性算出部３６１を備える。
【００８０】
ここで、泡領域の境界を示すエッジは、通常、円の中心座標について相対する円周上の位置に現れる。そのため、境界領域１２７におけるエッジ画素ＧEの相対性が高い場合、そのエッジ画素ＧEは泡領域の境界を構成すると判断することができる。ここで、相対性が高いとは、円の中心座標に対して相対する位置に存在するエッジ画素の対が多いことを意味する。
【００８１】
泡候補領域１２３の判定を行う際に、相対性算出部３６１は、まず、図１９に示すように、境界領域１２７から抽出されたエッジ画素ＧEの個数ＮEDG1をカウントする。また、相対性算出部３６１は、境界領域１２７において、泡候補領域１２３の中心座標Ｃ（ｘ，ｙ）について相対する位置に別のエッジ画素が存在するエッジ画素ＧEを抽出し、その数ＮEDG3をカウントする。例えば図１９に示すエッジ画素ＧE（３）の場合、エッジ画素ＧE（３）を通る泡候補領域１２３の直径上に別のエッジ画素ＧTが存在しているため、カウントされる。相対性算出部３６１は、これらの値ＮEDG1及びＮEDG3を用いて、次式（１０）で与えられる評価値ＥRELを算出する。
ＥREL＝（ＮEDG1×（１−ｋ）＋ＮEDG3×ｋ）／Ｎ …（１０）
【００８２】
この場合、判定部３７は、評価値ＥRELを所定の閾値と比較することにより、泡候補領域１２３の判定を行う。即ち、評価値ＥRELが閾値以上である場合、エッジ画素ＧEの相対性は高く、泡候補領域１２３は泡領域であると判定する。一方、評価値ＥRELが閾値よりも小さい場合、エッジ画素ＧEの相対性は低く、泡候補領域１２３は泡領域ではないと判定する。
【００８３】
或いは、相対性算出部３６１は、変形例３−１と同様に、勾配強度を用いて相対性を表す評価値を算出しても良い。即ち、相対性算出部３６１は、境界領域１２７から抽出されたエッジ画素ＧEの最大勾配強度ｇ凸の合計値ＳＵＭEDG1と、境界領域１２７において、中心座標Ｃ（ｘ，ｙ）について相対する位置に別のエッジ画素ＧTが存在するエッジ画素ＧEの最大勾配強度ｇ凸の合計値ＳＵＭEDG3とを算出し、次式（１１）により与えられる評価値ＥREL’を算出する。
ＥREL’＝（ＳＵＭEDG1×（１−ｋ）＋ＳＵＭEDG3×ｋ）／（Ｎ×ｇMAX） …（１１）
この評価値ＥREL’は、高勾配のエッジ画素同士が相対する位置に存在するほど大きくなり、エッジ画素ＧEの相対性が高いことを示す。
【００８４】
（変形例３−３）
図２０は、変形例３−３に係る画像処理装置の演算部３０−３の構成を示すブロック図である。この演算部３０−３において、形状特徴量算出部３８は、泡候補領域１２３の境界の形状情報を表す特徴量として、境界領域１２７のエッジ画素の円形性、即ち、幾何学的な円らしさを表す評価値を算出する円形性算出部３８１を備える。
【００８５】
図２１は、泡候補領域１２３の境界領域１２７の一部を示す模式図である。泡候補領域１２３の判定を行う際に、円形性算出部３８１は、まず、境界領域１２７から抽出されたエッジ画素ＧEの個数ＮEDG1をカウントする。また、円形性算出部３８１は、各エッジ画素ＧEから泡候補領域１２３の円周１２６までの距離ＬEを算出し、距離ＬEが所定の閾値以内にあるエッジ画素の個数ＮGCをカウントする。円形性算出部３８１は、これらの値ＮEDG1及びＮGCを用いて、次式（１２）で与えられる評価値ＥCIRを算出する。
ＥCIR＝｛ＮEDG1×（１−ｋ）＋ＮGC×ｋ｝／Ｎ …（１２）
式（１２）において、ｋは０＜ｋ＜１を満たす係数（定数）である。
この評価値ＥCIRは、エッジ画素が円形状をなすほど大きな値となる。
【００８６】
この場合、判定部３９は、評価値ＥCIRを所定の閾値と比較することにより、泡候補領域１２３の判定を行う。即ち、評価値ＥCIRが所定の閾値以上である場合、エッジ画素ＧEの円形性は高く、泡候補領域１２３は泡領域であると判定する。一方、評価値ＥCIRが閾値よりも小さい場合、エッジ画素ＧEの円形性は低く、泡候補領域１２３は泡領域ではないと判定する。
【００８７】
（実施の形態４）
次に、本発明の実施の形態４について説明する。図２２に示すように、実施の形態４に係る画像処理装置４は演算部４０を備える。その他の構成については、図１に示すものと同様である。
【００８８】
演算部４０は、泡候補領域設定部１６及び泡領域判定部４１を備える。泡領域判定部４１は、泡候補領域設定部１６により設定された泡候補領域１２３が泡領域であるか否かを、泡候補領域１２３の周囲領域に関する情報を用いて判定する。
【００８９】
泡領域判定部４１は、周囲領域特徴量算出部４２及び判定部４３を有する。周囲領域特徴量算出部４２は、泡候補領域１２３の周囲に存在する別の泡候補領域（円形状領域）や判定済みの泡領域を検出し、この検出結果に基づく特徴量を算出する。ここで、生体内においては、通常、泡領域は密集して発生する。そのため、ある泡候補領域の周囲に別の泡候補領域や判定済みの泡領域が多数存在する場合、その泡候補領域は泡領域である蓋然性が高い。そこで、泡領域判定部４１は、判定対象である泡候補領域１２３の周囲領域における特徴量を算出することとしている。
判定部４３は、この特徴量に基づいて、当該泡候補領域１２３が泡領域であるか否かを判定する。
【００９０】
次に、画像処理装置４の動作について説明する。図２３は、画像処理装置４の動作を示すフローチャートである。図２３に示すステップの内、ステップＳ１０〜Ｓ１２については、実施の形態１において説明したものと同様である。
【００９１】
ステップＳ４１において、周囲領域特徴量算出部４２は、泡領域の判定結果及び／又は泡候補領域の検出結果に基づいて、泡候補領域の周囲領域に関する特徴量を算出する。即ち、周囲領域特徴量算出部４２は、図２４に示す生体内画像１３０において、判定対象である泡候補領域１３１の中心位置Ｃ（ｘ，ｙ）から所定距離ｄ2の範囲１３２内に存在する別の泡候補領域１３３の個数ｉと、判定済みの泡領域１３４の個数ｊとをカウントする。そして、これらの値ｉ及びｊと次式（１３）とを用いて、特徴量ＣＨＲを算出する。
ＣＨＲ＝ｉ×Ｗ1＋ｊ×Ｗ2 …（１３）
式（１３）において、Ｗ1及びＷ2は、Ｗ2＞Ｗ1を満たす定数であり、判定済みの泡領域の個数ｉ及びｊをそれぞれ重み付けするためのものである。
【００９２】
続くステップＳ４２において、判定部４３は、特徴量ＣＨＲを所定の閾値と比較することにより、泡候補領域１３１の判定を行う。即ち、特徴量ＣＨＲが閾値以上である場合、泡候補領域１３１の周囲に泡が密集しており、この場合、泡候補領域１３１も泡領域であると判定する。一方、特徴量ＣＨＲが閾値より小さい場合、泡候補領域１３１の周囲に泡は密集しておらず、この場合、泡候補領域１３１は泡領域ではないと判定する。
【００９３】
以上説明したように、実施の形態４によれば、密集するという泡の特性に基づき、泡候補領域の周囲領域に関する情報を用いて泡領域であるか否かの判定を行うので、泡モデルを用いて円形状の領域を検出する従来の泡領域検出方法に対し、少ない演算量で、判定精度を向上させることが可能となる。
【００９４】
（実施の形態５）
次に、本発明の実施の形態５について説明する。図２５に示すように、実施の形態５に係る画像処理装置５は演算部５０を備える。その他の構成については、図１に示すものと同様である。
【００９５】
演算部５０は、泡候補領域設定部１６及び泡領域判定部１７に加えて、さらに、生体内画像を複数の領域に分割する領域分割部５１と、各分割領域の全体に泡領域が存在するか否かを判定する領域判定部５４とを備える。なお、泡候補領域設定部１６及び泡領域判定部１７の構成及び動作については、実施の形態１において説明したものと同様である。また、泡領域判定部１７の代わりに、実施の形態２〜４において説明した泡領域判定部２２、３１、４１を備えても良い。
【００９６】
ここで、生体内画像において、類似した特徴（色やテクスチャ等の特徴）を有する領域同士は、同一のカテゴリー（例えば、粘膜領域、泡領域等）である場合が多い。そこで、実施の形態５においては、生体内画像を色情報等の特徴量に基づいて複数の領域に分割し、個別に泡領域と判定された領域が所定の割合以上を占める場合、その分割領域全体に泡領域が存在するとみなすことにより、個別には泡領域として検出することができなかった泡領域も検出できるようにしている。
【００９７】
図２６は、画像処理装置５の動作を示すフローチャートである。
まず、ステップＳ１０において、画像処理装置５は生体内画像を取得する。なお、このステップの詳細については実施の形態１において説明したものと同様である。
【００９８】
続くステップＳ５１において、領域分割部５１は、図２７に示すように、生体内画像１３５を複数の領域１３６、１３７に分割する。分割方法としては、既知の様々な方法を用いることができる。例えば、類似した特徴量（画素値、テクスチャ特徴量等）を有し、且つ空間的に近接する画素を集合として領域を分割する領域統合法（参考：ＣＧ-ＡＲＴＳ協会、ディジタル画像処理、ｐ．１９６）や、クラスタリング手法の１つであるＫ-ｍｅａｎｓ法（参考：ＣＧ−ＡＲＴＳ協会、ディジタル画像処理、ｐ．２３２）等を用いることができる。
【００９９】
ステップＳ５２において、泡候補領域設定部１６は、生体内画像１３５から円形状領域を検出し、それらの領域を泡候補領域１３８に設定する。なお、円形状領域の検出方法については、実施の形態１において説明したものと同様である。
【０１００】
ステップＳ５３において、泡領域判定部１７は、各泡候補領域１３８が泡領域であるか否かの判定を行う。なお、泡候補領域１３８の判定方法については、実施の形態１〜４において説明したものと同様である。
【０１０１】
ステップＳ５４において、領域判定部５４は、泡領域の判定結果に基づいて、各分割領域１３６、１３７の全体に泡領域が存在するか否かの判定を行う。即ち、領域判定部５４は、まず、各分割領域の面積（又は画素数）ｓ1と、各分割領域内において泡領域と判定された領域の総面積（又は画素数）ｓ2とを取得し、分割領域の面積ｓ1に占める泡領域の面積ｓ2の割合（面積率）ｓ2／ｓ1を算出する。この面積率ｓ2／ｓ1が所定の閾値以上である場合、その分割領域全体に泡領域が存在すると判定される。一方、この面積率ｓ2／ｓ1が所定の閾値より小さい場合、その分割領域全体に泡領域が存在するわけではないと判定される。例えば分割領域１３６の場合、泡領域と判定された領域が占める割合は低い(ゼロ)ので、泡領域は全体には存在しないと判定される。一方、分割領域１３５の場合、泡候補領域１３８の全てが泡領域と判定されると、泡領域の占める割合が高くなるため、この場合、分割領域１３５全体に泡領域が存在すると判定される。
【０１０２】
以上説明したように、実施の形態５においては、類似する特徴量に基づいて分割された領域の全体に泡領域が存在するか否かを、個別に泡領域と判定された領域が占める割合に基づいて判定する。そのため、円形状領域としては検出されなかった領域であっても、泡領域として抽出することが可能となる。
【０１０３】
また、実施の形態５においては、円形状領域を検出する際に、使用する泡モデルのサイズを各分割領域のサイズ以下に限定して演算を行うことができるので、演算量を低減することが可能となる。
【０１０４】
以上説明した実施の形態１〜５に係る画像処理装置は、記録媒体に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することにより実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク、広域エリアネットワーク（ＬＡＮ／ＷＡＮ）、又は、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１〜５に係る画像処理装置は、これらのネットワークを介して生体内画像の画像データを取得したり、これらのネットワークを介して接続された種々の出力機器（ビュアーやプリンタ等）に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置（記録媒体及びその読取装置等）に画像処理結果を格納するようにしても良い。
【０１０５】
なお、本発明は、実施の形態１〜５及びそれらの変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。
【符号の説明】
【０１０６】
１〜５ 画像処理装置
１０ 制御部
１１ 画像取得部
１２ 入力部
１３ 表示部
１４ 記憶部
１４１ 画像処理プログラム
１５、２１、３０、３０−２、３０−３、４０、５０ 演算部
１６ 泡候補領域設定部
１６１ 円形状領域検出部
１７、２２、３１、４１ 泡領域判定部
１８ 内部領域抽出部
１９ 内部領域特徴量算出部
１９１ テクスチャ算出部
２０、２５、３５、３７、３９、４３ 判定部
２３ 内部領域抽出部
２３１ 輝度値算出部
２３２ 泡候補領域分割部
２４ 内部領域特徴量算出部
２４１ 高輝度領域抽出部
２４２ 高輝度領域特徴量算出部
３２ 境界領域抽出部
３３ 勾配強度算出部
３３１ 凸部勾配強度算出部
３３２ エッジ抽出部
３４、３６、３８ 形状特徴量算出部
３４１ 連続性算出部
３６１ 相対性算出部
３８１ 円形性算出部
４２ 周囲領域特徴量算出部
５１ 領域分割部
５４ 領域判定部
１００ 泡
１０１ 膜
１０２ 気体
１１０、１３４ 泡領域
１１１、１２７ 境界領域
１１２、１２４ 内部領域
１１３ 高輝度領域
１２０、１３０、１３５ 生体内画像
１２１ 粘膜領域
１２２ 領域
１２３ 泡候補領域（円形状領域）
１２６ 円周
１３１、１３３、１３８ 泡候補領域
１３２ 範囲
１３６、１３７ 分割領域
【技術分野】
【０００１】
本発明は、画像から泡が映し出された領域を検出する画像処理装置、画像処理方法、及び画像処理プログラムに関するものである。
【背景技術】
【０００２】
従来から、患者等の被検者の体内に導入されて、生体内を非侵襲に観察する医用観察装置として、内視鏡が広く普及している。近年では、カプセル型の筐体内部に撮像装置及び通信装置等を収容し、撮像装置により撮像された画像データを体外に無線送信する飲み込み型の内視鏡（カプセル内視鏡）も開発されている。このような医用観察装置によって生体の管腔内を撮像した一連の画像（生体内画像）は膨大な数（数万枚以上）に上り、各生体内画像に対する観察及び診断には多くの経験が必要とされる。そのため、医師による診断を補助する医療診断支援機能が望まれている。
【０００３】
このような機能を実現する画像認識技術の１つとして、医療診断に当たって観察が不要な領域を生体内画像から自動的に検出して除去する技術が提案されている。ここで、観察が不要な領域とは、生体組織である粘膜以外の領域であり、例えば、管腔内に生じた気泡（以下、単に「泡」ともいう）が映し出された領域（以下、「泡領域」という）が挙げられる。例えば、特許文献１には、画素の勾配強度と、泡画像の特徴に基づいて予め設定された泡モデルとの相関値を算出し、相関値が所定の閾値以上となる領域を泡領域として検出する方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−３１３１１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、実際の泡領域には様々な形状や大きさのものが存在する。そのため、パターンマッチングにより泡領域を検出する場合、予め多様な泡モデルを多数用意し、１つの画像内の各領域についてこれらの泡モデルとの相関値を算出しなければならず、膨大な量の演算が必要となる。一方、演算量を低減するために、泡モデルの形状や大きさをある程度限定すると共に、相関を評価する際の閾値を低く設定することも考えられるが、この場合、誤検出が生じたり、検出漏れが生じたりすることがある。
【０００６】
本発明は、上記に鑑みてなされたものであって、形状や大きさが多様な泡領域を精度良く検出することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、画像に含まれる泡領域を検出する画像処理装置において、前記画像から、記憶手段に格納された泡領域の形状モデルに対応する形状を有する領域を泡候補領域として設定する泡候補領域設定手段と、前記泡候補領域が有する情報に基づいて、当該泡候補領域が泡領域であるか否かを判定する泡領域判定手段とを備えることを特徴とする。
【０００８】
本発明に係る画像処理方法は、画像に含まれる泡領域を検出する画像処理方法において、泡候補領域設定手段により、前記画像から、記憶手段に格納された泡領域の形状モデルに対応する形状を有する領域を泡候補領域として設定する泡候補領域設定ステップと、泡領域判定手段により、前記泡候補領域が有する情報に基づいて、当該泡候補領域が泡領域であるか否かを判定する泡領域判定ステップとを含むことを特徴とする。
【０００９】
本発明に係る画像処理プログラムは、画像に含まれる泡領域を検出する画像処理プログラムにおいて、泡候補領域設定手段により、前記画像から、記憶手段に格納された泡領域の形状モデルに対応する形状を有する領域を泡候補領域として設定する泡候補領域設定ステップと、泡領域判定手段により、前記泡候補領域が有する情報に基づいて、当該泡候補領域が泡領域であるか否かを判定する泡領域判定ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、画像から、泡領域の形状モデルを用いて検出された泡候補領域に対し、この泡候補領域が有する情報に基づいて、当該泡候補領域が泡判定であるか否かを判定するので、泡領域を精度良く検出することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図２】図２は、泡領域の構造を説明する図である。
【図３】図３は、図１に示す画像処理装置の動作を示すフローチャートである。
【図４】図４は、生体内画像の一例を示す模式図である。
【図５】図５は、泡候補領域の内部領域の抽出方法を説明する図である。
【図６】図６は、図１に示す円形状領域検出部の動作を示すフローチャートである。
【図７】図７は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。
【図８】図８は、図７に示す内部領域抽出部の動作を示すフローチャートである。
【図９】図９は、泡候補領域の内部領域の抽出方法を説明する図である。
【図１０】図１０は、泡候補領域の内部領域の抽出方法を説明する図である。
【図１１】図１１は、図７に示す内部領域特徴量算出部の動作を示すフローチャートである。
【図１２】図１２は、本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。
【図１３】図１３は、図１２に示す画像処理装置に動作を示すフローチャートである。
【図１４】図１４は、境界領域の設定方法を説明する図である。
【図１５】図１５は、図１２に示す勾配強度算出部の動作を示すフローチャートである。
【図１６】図１６は、境界領域の勾配情報の算出方法を説明する図である。
【図１７】図１７は、境界領域における円弧の連続性を表す特徴量の算出方法を説明する図である。
【図１８】図１８は、変形例３−２に係る画像処理装置の演算部の構成を示すブロック図である。
【図１９】図１９は、境界領域におけるエッジ画素の泡候補領域の中心座標についての相対性を表す評価値の算出方法を説明する図である。
【図２０】図２０は、変形例３−３に係る画像処理装置の演算部の構成を示すブロック図である。
【図２１】図２１は、境界領域におけるエッジ画素の円形性を表す評価値の算出方法を説明する図である。
【図２２】図２２は、本発明の実施の形態４に係る画像処理装置の構成を示すブロック図である。
【図２３】図２３は、図２２に示す画像処理装置の動作を示すフローチャートである。
【図２４】図２４は、図２２に示す画像処理装置における泡領域の判定方法を説明する図である。
【図２５】図２５は、本発明の実施の形態５に係る画像処理装置の構成を示すブロック図である。
【図２６】図２６は、図２５に示す画像処理装置の動作を示すフローチャートである。
【図２７】図２７は、図２５に示す画像処理装置における泡領域の判定方法を説明する図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、これら実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
【００１３】
以下に説明する実施の形態に係る画像処理装置は、内視鏡又はカプセル内視鏡等の医用観察装置によって撮像された画像を処理するものであり、具体的には、被検者の生体（管腔）内を撮像した画像から、泡が映された泡領域を検出する処理を行う。以下の説明において、画像処理を施される生体内画像は、例えば、各画素においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分に対する２５６階調の画素レベル（画素値）を持つカラー画像である。なお、以下の実施の形態においては、一例として生体内画像に対する画像処理について説明するが、本発明に係る画像処理装置は、一般的な画像から泡領域を検出する場合に適用することも可能である。
【００１４】
また、以下の実施の形態において検出対象とされる泡領域は、表面張力の作用により、通常、円形状、偏円形状若しくは楕円形状等の類円形状、又はそれらの周の一部の形状（円弧等）の平面外観を有する。そのため、本出願において単に「円形」という場合、真円のみならず、偏円及び楕円等の類円形状を含むものとし、単に「円弧」という場合、真円及び類円の周の一部の形状を含むものとする。
【００１５】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。図１に示すように、画像処理装置１は、画像処理装置１全体の動作を制御する制御部１０と、画像取得部１１と、入力部１２と、表示部１３と、記憶部１４と、演算部１５とを備える。
【００１６】
画像取得部１１は、医用観察装置によって撮像された生体内画像の画像データを取得する。画像取得部１１は、医用観察装置を含むシステムの態様に応じて適宜構成される。例えば、医用観察装置がカプセル内視鏡であり、医用観察装置との間の画像データの受け渡しに可搬型の記録媒体が使用される場合、画像取得部１１は、この記録媒体を着脱自在に装着し、保存された生体内画像の画像データを読み出すリーダ装置で構成される。また、医用観察装置によって撮像された生体内画像の画像データを保存しておくサーバを設置する場合、画像取得部１１は、サーバと接続される通信装置等で構成され、サーバとデータ通信を行って生体内画像の画像データを取得する。或いは、画像取得部１１を、内視鏡等の医用観察装置から、ケーブルを介して画像信号を入力するインターフェース装置等で構成しても良い。
【００１７】
入力部１２は、例えばキーボードやマウス、タッチパネル、各種スイッチ等によって実現され、入力信号を制御部１０に出力する。
表示部１３は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現され、制御部１０の制御の下で、生体内画像を含む各種画面を表示する。
【００１８】
記憶部１４は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、ＣＤ−ＲＯＭ等の情報記録媒体及びその読取装置等によって実現される。記憶部１４は、画像取得部１１によって取得された生体内画像の画像データの他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。具体的には、記憶部１４は、生体内画像から泡領域を検出するための画像処理プログラム１４１を格納する。
【００１９】
演算部１５は、ＣＰＵ等のハードウェアによって実現され、画像処理プログラム１４１を読み込むことにより、生体内画像の画像データを処理して、生体内画像から泡領域を検出するための種々の演算処理を行う。
【００２０】
制御部１０は、ＣＰＵ等のハードウェアによって実現され、記憶部１４に格納された各種プログラムを読み込むことにより、画像取得部１１から入力される画像データや入力部１２から入力される操作信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。
【００２１】
ここで、演算部１５による画像処理において検出対象としている泡領域について説明する。図２は、泡領域の構造例を説明する図である。図２（ａ）に示すように、泡１００は、空気等の気体を含んだ液体（水分等）が表面張力の作用により丸まったものであり、水分等の膜１０１と、その内部の気体１０２とからなる。このような泡１００に光を照射して撮像を行うと、図２（ｂ）に示すような泡領域１１０の画像が得られる。この泡領域１１０は、外形的には円形状又は円弧形状を有し、内部構造として、膜１０１の厚み部分に対応し、泡領域１１０の周縁部に含まれる境界領域１１１と、その内側に位置する内部領域１１２と、内部領域１１２の内側の複数箇所に見られる高輝度領域１１３とを含む。この内、境界領域１１１は、照射光が膜１０１において散乱することにより生じた明るい領域である。一方、内部領域１１２は、照明光の多くが膜１０１を透過することにより生じた領域であり、全体的に暗い領域となる。高輝度領域１１３は、照射光が膜１０１の表面で鏡面反射することにより光源が映り込んでハレーションが生じた、極めて輝度が高い領域である。
【００２２】
次に、演算部１５の詳細な構成について説明する。演算部１５は、予め記憶部１４に格納された泡領域の形状モデル（泡モデル）に対応する形状を有する領域を生体内画像から検出し、この領域を泡候補領域として設定する泡候補領域設定部１６と、泡候補領域が有する情報に基づいて当該泡候補領域が泡領域であるか否かを判定する泡領域判定部１７とを備える。
【００２３】
泡候補領域設定部１６は、円形状領域検出部１６１を有する。円形状領域検出部１６１は、生体内画像から抽出したエッジを泡モデルと比較し、泡モデルとの相関が高いエッジ領域を抽出することにより、円形状又は円弧形状を有する領域を検出する。
【００２４】
泡領域判定部１７は、内部領域抽出部１８と、内部領域特徴量算出部１９と、判定部２０とを有する。
内部領域抽出部１８は、泡候補領域内の所定の領域を内部領域１１２として抽出する。
【００２５】
内部領域特徴量算出部１９は、内部領域１１２における特徴量を算出する。より詳細には、内部領域特徴量算出部１９は、内部領域１１２のテクスチャを表す特徴量として、内部領域１１２における画素値（例えば輝度値）の分散（参考：ＣＧ−ＡＲＴＳ協会、ディジタル画像処理、ｐ．７１）を算出するテクスチャ算出部１９１を有する。
【００２６】
判定部２０は、内部領域１１２のテクスチャを表す特徴量（画素値の分散）に基づいて、当該泡候補領域が泡領域であるか否かを判別する。ここで、上述のとおり、内部領域１１２は照射光が透過した暗い領域であるが、その内側に高輝度領域１１３が存在するため、内部領域１１２の内側全体の明るさの幅は、生体内画像１２０の他の領域と比べて大きくなる傾向にある。そこで、内部領域１１２における画素値の分散を所定の閾値と比較することにより、当該泡候補領域が泡領域であるか、それ以外の領域（生体の粘膜領域等）であるかを判別することができる。具体的には、判別部２０は、画素値の分散が所定の閾値以上である場合、泡候補領域は泡領域であると判別し、画素値の分散が所定の閾値よりも小さい場合、泡候補領域は泡領域ではないと判別する。
【００２７】
次に、画像処理装置１の動作について説明する。図３は、画像処理装置１の動作を示すフローチャートである。また、図４は、カプセル内視鏡によって撮像され、画像処理装置１によって処理される生体内画像の一例を示す模式図である。図４に示すように、生体内画像１２０には時に、生体の粘膜とは異なる特徴を有する領域１２２が、粘膜領域１２１に重なって映し出される場合がある。
【００２８】
まず、ステップＳ１０において、画像取得部１１は、外部から生体内画像群の入力を受け付け、記憶部１４に格納する。演算部１５は、記憶部１４から処理対象の生体内画像１２０を読み出して取得する。
【００２９】
ステップＳ１１において、円形状領域検出部１６１は、生体内画像１２０内から、円形状領域１２３を検出する。ここで検出される円形状領域１２３は、完全な円形状を有する領域だけでなく、周の一部が欠けた円弧形状を有する領域あっても良い。なお、円形状領域の検出処理の詳細については後述する。
【００３０】
ステップＳ１２において、泡候補領域設定部１６は、検出された円形状領域１２３の中心位置の座標Ｃ（ｘ，ｙ）及び半径ｒOUTを、泡候補領域を表す情報として記憶部１４に記憶させる。これにより、円形状領域１２３が、泡候補領域として設定される。
【００３１】
ステップＳ１３において、内部領域抽出部１８は、各泡候補領域１２３から内部領域を抽出する。具体的には、図５に示すように、泡候補領域１２３よりも半径が小さい同心円を、次式（１）を用いて算出する。
ｒIN＝ｒOUT×Ｋ …（１）
式（１）において、ｒINは同心円の半径であり、Ｋは所定の係数（０．０＜Ｋ＜１．０）である。
内部領域抽出部１８は、半径ｒINの同心円に内包される領域を内部領域１２４として抽出する。
【００３２】
続くステップＳ１４において、内部領域特徴量算出部１９は、各泡候補領域１２３から抽出された内部領域１２４における画素値の分散を算出する。この分散の値がテクスチャ特徴量として用いられる。
【００３３】
ステップＳ１５において、判定部２０は、テクスチャ特徴量を所定の閾値と比較することにより、当該泡候補領域が泡領域であるか否かを判別する。
【００３４】
次に、円形状領域の検出処理（ステップＳ１１）について詳しく説明する。図６は、円形状領域検出部１６１の動作を示すフローチャートである。
まず、ステップＳ１０１において、円形状領域検出部１６１は、生体内画像１２０の各画素における画素値の勾配強度を算出する（参考：ＣＧ−ＡＲＴＳ協会、ディジタル画像処理、ｐ．１１４〜ｐ．１２１）。具体的には、各画素に対し、ソーベル（Sobel）フィルタ等の１次微分フィルタや、ラプラシアン（Laplacian）フィルタ等の２次微分フィルタを用いてフィルタリング処理を施す。
【００３５】
続くステップＳ１０２において、円形状領域検出部１６１は、勾配強度が所定の閾値以上となる画素の位置をエッジとして抽出する。
【００３６】
ステップＳ１０３において、円形状領域検出部１６１は、予め作成された複数の泡モデル（テンプレート）を生体内画像１２０の各画素位置に適用し、抽出されたエッジと泡モデルとの相関値を算出する。相関値の算出方法としては、ＮＣＣ（正規化相互相関：Normalized Cross-Correlation）類似度の他、ＳＳＤ相違度やＳＡＤ相違度等、相関の計測が可能であればどのような手法を用いても良い（参考：ＣＧ−ＡＲＴＳ協会、ディジタル画像処理、ｐ．２０３〜ｐ．２０４）。
【００３７】
ステップＳ１０４において、円形状領域検出部１６１は、各画素位置において、相関値が最大（類似度が最大又は相違度が最小）となる泡モデルの半径ｒMODEL及び相関値を記憶部１４に記憶させる。
【００３８】
ステップＳ１０５において、円形状領域検出部１６１は、相関値の最大値が所定の閾値以上（相違度の場合、最小値が閾値以下）となる画素位置を抽出する。そして、抽出された画素位置Ｃと、各画素位置Ｃにおいて相関値が最大となる泡モデルの半径ｒMODELとを、円形状領域の中心位置の座標Ｃ（ｘ，ｙ）及び半径ｒOUTとして出力する。
【００３９】
なお、上記ステップＳ１０１及びＳ１０２の代わりに、ケニー（Canny）のエッジ検出アルゴリズム（ＣＧ−ＡＲＴＳ協会、ディジタル画像処理、ｐ．２０８〜ｐ．２１０）等、既知の方法によってエッジ（輪郭線）検出を行っても良い。また、円形状領域の検出は、上述した泡モデルとの相関値を算出する方法に限らず、既知の様々な方法で行っても構わない。
【００４０】
以上説明したように、実施の形態１によれば、泡モデルを用いて検出された円形状又は円弧形状の泡候補領域に対し、この泡候補領域の内部領域の特徴量に基づいて、当該泡候補領域が泡領域であるか否かを判定する。このため、泡モデルのみを用いて泡領域を検出する場合と比較して、泡領域の誤検出を低減することが可能となる。また、実施の形態１によれば、後の泡領域の判定ステップを実行するため、泡モデルによる円形状領域の検出ステップにおいては、閾値を低く設定することができる。従って、泡領域の検出漏れを低減することが可能となる。さらに、実施の形態１によれば、泡モデルのみを用いて泡領域を検出する場合よりも、使用する泡モデルの数を低減することができる。この場合、泡領域の検出精度を維持又は向上させつつ、トータルの演算量を低減させることが可能となる。
【００４１】
（実施の形態２）
次に、本発明の実施の形態２について説明する。図７に示すように、実施の形態２に係る画像処理装置２は演算部２１を備える。その他の構成については、図１に示すものと同様である。
【００４２】
演算部２１は、泡候補領域設定部１６及び泡領域判定部２２を備える。この内、泡候補領域設定部１６の構成及び動作については、実施の形態１において説明したものと同様である。泡領域判定部２２は、泡候補領域設定部１６により設定された泡候補領域が泡領域であるか否かを、当該泡候補領域が有する情報に基づいて判定する。実施の形態２においては、その際に用いられる情報が、実施の形態１におけるものとは異なる。
【００４３】
泡領域判定部２２は、泡候補領域内から内部領域を抽出する内部領域抽出部２３と、内部領域の特徴量として、その内側に存在する高輝度領域の画素値に基づいて算出する内部領域特徴量算出部２４と、高輝度領域における特徴量に基づいて当該泡候補領域が泡領域であるか否かを判定する判定部２５とを備える。
【００４４】
内部領域抽出部２３は、泡候補領域内の画素の輝度値を算出する輝度値算出部２３１と、この輝度値に基づいて泡候補領域を境界領域と内部領域とに分割する泡候補領域分割部２３２とを有する。
【００４５】
内部領域特徴量算出部２４は、内部領域の内側に存在する高輝度領域を抽出する高輝度領域抽出部２４１と、抽出された高輝度領域の特徴量を算出する高輝度領域特徴量算出部２４２とを有する。
【００４６】
次に、画像処理装置２の動作について説明する。画像処理装置２全体の動作は、図３に示すものと同様であり、ステップＳ１３〜Ｓ１５における詳細な動作が実施の形態１とは異なる。
【００４７】
まず、泡候補領域の内部領域の抽出処理（ステップＳ１３）について説明する。図８は、内部領域抽出部２３の動作を示すフローチャートである。また、図９及び図１０は、泡候補領域の内部領域の抽出方法を説明する図である。
【００４８】
まず、ステップＳ２０１において、輝度値算出部２３１は、泡候補領域１２３に含まれる各画素のＲ値（Ｒ）、Ｇ値（Ｇ）、及びＢ値（Ｂ）から、次式（２）を用いて輝度値Ｙを算出する（参考：ＣＧ−ＡＲＴＳ協会、ディジタル画像処理、ｐ．２９９）。
Ｙ＝０．３×Ｒ＋０．５９×Ｇ＋０．１１×Ｂ …（２）
【００４９】
ステップＳ２０２において、泡候補領域分割部２３２は、泡候補領域１２３よりも半径が小さい複数の同心円Ｓn（ｎ＝１、２、…）を求める（図９）。ここで、生体内画像における１画素のサイズをδとすると、同心円の半径ｒnの範囲は、（ｒOUT−δ）≧ｒn≧δとなる。
【００５０】
ステップＳ２０３において、泡候補領域分割部２３２は、ある同心円Ｓnに内包される領域（内側領域）Ａ、及び同心円Ｓnに内包されない泡候補領域１２３内の領域（外側領域）Ｂにおける輝度値Ｙの平均値をそれぞれ算出する（図１０）。ここで、内側領域Ａにおける輝度の平均値をＹAとし、外側領域Ｂにおける輝度の平均値をＹBとする。
【００５１】
ステップＳ２０４において、泡候補領域１２３内において、内側領域Ａと外側領域Ｂとにおける輝度値の差ΔＹ＝ＹA−ＹBを算出する。泡候補領域分割部２３２は、このような輝度値の差ΔＹを、ステップＳ２０２において求めた各同心円Ｓ1、Ｓ2、…について算出する。
【００５２】
このように半径ｒnを徐々に変化させながら、同心円Ｓnの内外の輝度値の差ΔＹを算出すると、同心円Ｓnの円周が、泡領域の内部領域１１２と境界領域１１１との境界（図２参照）と略一致したとき、輝度値の差ΔＹが最も大きくなる。そこで、泡候補領域分割部２３２は、輝度値の差ΔＹが最大となるときの内側領域Ａを、内部領域１２４として抽出する（ステップＳ２０５）。
【００５３】
次に、内部領域における特徴量の算出処理（ステップＳ１４）について説明する。図１１は、内部領域特徴量算出部２４の動作を示すフローチャートである。
ここで、図２に示すように、内部領域１１２の一部には、光源が映り込んでハレーションが発生した領域（高輝度領域１１３）が見られる。このような領域は、非常に高輝度であるという特徴を有する。そこで、内部領域１１２に高輝度領域が存在するか否かを判定することにより、当該泡候補領域が泡領域であるか否かを判断することができる。
【００５４】
まず、ステップＳ２１１において、高輝度領域抽出部２４１は、内部領域１２４に含まれる各画素の輝度値Ｙを、上式（２）を用いて算出する。なお、このとき、図８のステップＳ２０１において算出した値を利用しても良い。
【００５５】
続いて、ステップＳ２１２において、高輝度領域抽出部２４１は、輝度値Ｙが所定の閾値以上となる画素を抽出することにより、内部領域１２４の内側に存在する高輝度領域を抽出する。
【００５６】
さらに、ステップＳ２１３において、高輝度領域特徴量算出部２４２は、抽出された領域の面積（又は画素数）を算出する。それにより算出された面積（画素数）がテクスチャ特徴量として用いられる。
【００５７】
次に、泡候補領域の判定処理（ステップＳ１５）について説明する。
内部領域１２４の内側から高輝度領域が検出された場合、その輝度値がハレーションによるものか、又はノイズによるものかを判別する必要がある。ここで、ハレーションにより高輝度領域が生じている場合、高輝度領域はある程度の大きさの面積を有する（図２参照）。そこで、判定部２５は、高輝度領域として抽出された領域の面積が所定の閾値以上である場合、その領域はハレーションに起因した高輝度領域であり、この場合、当該泡候補領域は泡領域であると判定する。一方、判定部２５は、高輝度領域として抽出された領域の面積が所定の閾値より小さい場合、その領域の輝度値はノイズであり、当該泡候補領域は泡領域でないと判定する。
【００５８】
以上説明したように、実施の形態２によれば、泡候補領域に含まれる画素の輝度値を用いることにより、その泡候補領域が泡領域であった場合に有する内部構造により対応した内部領域を抽出することができる。従って、泡領域の判定精度をさらに向上させることが可能となる。
【００５９】
（変形例）
泡領域の内部領域の内側で見られるハレーションの領域は、高輝度且つ白色という特徴を有している。そこで、内部領域における特徴量として、内部領域１２４の内側から検出された高輝度領域の色特徴量を算出しても良い。具体的には、高輝度領域特徴量算出部２４２は、高輝度領域として抽出された画素のＲ値、Ｇ値、及びＢ値を取得し、色成分毎に平均値（平均Ｒ値、平均Ｇ値、平均Ｂ値）を算出する。また、この場合、判定を行う際に参照する教師データとして、生体内において生じたハレーションの色範囲を表すデータを予め作成して記憶部１４に格納しておく。判定部２５は、平均Ｒ値、平均Ｇ値、及び平均Ｂ値が上記色範囲に含まれる場合、泡候補領域から抽出された高輝度領域はハレーションに起因するものであり、当該泡候補領域は泡領域であると判定する。一方、判定部２５は、平均Ｒ値、平均Ｇ値、及び平均Ｂ値が上記色範囲に含まれない場合、抽出された高輝度領域はノイズであり、当該泡候補領域は泡領域ではないと判定する。
【００６０】
或いは、判定部２５は、内部領域１２４の内側から検出された高輝度領域が所定の閾値以上の面積（又は画素数）を有し、且つ、この高輝度領域の色特徴量がハレーションの色範囲に含まれる場合に、当該泡候補領域が泡領域であると判定しても良い。
【００６１】
（実施の形態３）
次に、本発明の実施の形態３について説明する。図１２に示すように、実施の形態３に係る画像処理装置３は演算部３０を備える。その他の構成については、図１に示すものと同様である。
【００６２】
演算部３０は、泡候補領域設定部１６及び泡領域判定部３１を備える。泡領域判定部３１は、泡候補領域設定部１６により設定された泡候補領域１２３（図４）が泡領域であるか否かを、当該泡候補領域１２３の境界領域に関する情報を用いて判定する。
【００６３】
泡領域判定部３１は、境界領域抽出部３２と、勾配強度算出部３３と、形状特徴量算出部３４と、判定部３５とを備える。
境界領域抽出部３２は、泡候補領域１２３の境界近傍の所定の領域を抽出し、これを境界領域として設定する。
【００６４】
勾配強度算出部３３は、境界領域１２７の勾配情報として、境界領域１２７に含まれる画素における画素値の勾配強度を算出する。より詳細には、勾配強度算出部３３は、画素値の勾配が凸となる方向における勾配強度を算出する凸部勾配強度算出部３３１と、算出された勾配強度に基づいてエッジを抽出するエッジ抽出部３３２とを有する。ここで、このようなエッジを抽出するのは、以下の理由による。即ち、泡領域１１０（図２）であれば、通常、境界領域１１１内の画素値は内部領域１１２や泡領域１１０の外側の画素値よりも大きくなるため、境界領域１１１内の周方向において画素値のピークが現れる。このため、泡候補領域１２３に設定された境界領域から、画素値のピークの存在を示す凸の勾配を検出することにより、泡領域の境界領域である可能性が高いエッジを抽出できるからである。
【００６５】
形状特徴量算出部３４は、泡候補領域１２３の境界の形状情報を表す特徴量を算出する。より詳細には、形状特徴量算出部３４は、そのような特徴量として、境界領域１２７における勾配強度の連続性を表す評価値を算出する連続性算出部３４１を有する。
【００６６】
判定部３５は、泡候補領域１２３の境界の形状情報を表す特徴量に基づいて、当該泡候補領域１２３が泡領域であるか否かを判定する。ここで、上述したように、泡領域１１０は、表面張力の影響から、円形又は円の一部が途切れた円弧形の境界形状を有する。そこで、判定部３５は、上記特徴量に基づいて、泡候補領域１２３の境界領域１２７から抽出されたエッジが幾何学的に円形状又は円弧形状を有しているか否かを判定し、円形状又は円弧形状を有している場合に、その泡候補領域１２３は泡領域であるとする判定を行う。
【００６７】
次に、画像処理装置３の動作について説明する。図１３は、画像処理装置３の動作を示すフローチャートである。なお、図１３に示すステップの内、ステップＳ１０〜Ｓ１２については、実施の形態１において説明したものと同様である。
【００６８】
ステップＳ３１において、境界領域抽出部３２は、例えば図１４に示すように、泡候補領域１２３の円周１２６から距離ｄ1の範囲内の領域を抽出し、この領域を境界領域１２７に設定する。さらに、境界領域抽出部３２は、境界領域１２７に含まれる画素数Ｎをカウントする。
【００６９】
ステップＳ３２において、勾配強度算出部３３は、境界領域１２７の勾配情報を算出する。図１５は、勾配強度算出部３３の詳細な動作を示すフローチャートである。
まず、ステップＳ３０１において、凸部勾配強度算出部３３１は、境界領域１２７に含まれる各画素における画素値の勾配強度を算出する。勾配強度の算出方法としては、１次微分（ソーベルフィルタ等）や２次微分等、既知の様々な手法を用いることができる。例えば、２次微分を用いる場合、凸部勾配強度算出部３３１は、図１６に示すように、座標（ｘ，ｙ）に位置する画素の画素値Ｐ（ｘ，ｙ）に対し、次式（３）〜式（６）を用いて、水平方向における２次微分ｄＨと、垂直方向における２次微分ｄＶと、第１の斜め方向における２次微分ｄＤ１と、第２の斜め方向における２次微分ｄＤ２とを算出する。
【数１】
ここで、パラメータｕは整数であり、パラメータｕ’は、（ｕ／√２）を四捨五入した整数である。これらのパラメータｕ及びｕ’は、２次微分算出時の画素範囲を示す。即ち、パラメータｕを所望の値に設定することにより、勾配成分の精度を調節することができる。例えば、パラメータｕの値を小さくすると、空間周波数の高い勾配成分を算出することができ、パラメータｕの値を大きくすると、空間周波数の低い勾配成分を算出することができる。パラメータｕの値としては、予め固定値を設定しておいても良いし、生体内画像の特性に応じて動的な値を設定しても良い。或いは、所望の値のパラメータｕを外部から与えて処理することとしても良い。
【００７０】
続くステップＳ３０２において、凸部勾配強度算出部３３１は、次式（７）を用いて、方向別に算出された２次微分ｄＨ、ｄＶ、ｄＤ１、ｄＤ２の内から値が正となる最大値を抽出することにより、勾配が増加する（即ち、周囲の画素に対して勾配が凸となる）方向における勾配強度（凸部勾配強度）ｇ凸（ｘ，ｙ）を算出する。
【数２】
【００７１】
ここで、図２に示すように、泡領域１１０の場合、境界領域１１１の画素値は内部領域１１２や泡領域１１０の外側の画素値よりも大きくなるため、境界領域１１１内の径方向に沿って画素値のピークが現れる。そこで、凸部勾配強度ｇ凸を算出することにより、径方向における画素値の立ち上がりを検出することができる。
【００７２】
さらに、ステップＳ３０３において、エッジ抽出部３３２は、各画素について算出された凸部勾配強度ｇ凸（ｘ，ｙ）を所定の閾値で２値化することにより、エッジ画素を抽出する。図１７は、このようにして境界領域１２７から抽出されたエッジ画素ＧEを示している。
【００７３】
ステップＳ３３において、形状特徴量算出部３４は、境界領域１２７の形状情報の特徴量として、円弧の連続性を表す評価値を算出する。
具体的には、まず、連続性算出部３４１は、境界領域１２７において抽出されたエッジ画素ＧEの個数ＮEDG1（即ち、エッジの面積に相当）を取得する。
【００７４】
続いて、連続性算出部３４１は、各エッジ画素ＧEについて、周囲８方向のいずれかに隣接するエッジ画素が存在するか否かを判定し、隣接するエッジ画像が存在するエッジ画素ＧEの個数ＮEDG2をカウントする。例えば、図１７に示すエッジ画素ＧE（１）の場合、右斜め上に隣接するエッジ画素が存在するため、カウントされる。一方、エッジ画素ＧE（２）の場合、周囲８方向には隣接するエッジ画素が存在しないため、カウントされない。
【００７５】
連続性算出部３４１は、これらの値ＮEDG1及びＮEDG2を用いて、次式（８）で与えられる評価値ＥCONを算出する。
ＥCON＝（ＮEDG1×（１−ｋ）＋ＮEDG2×ｋ）／Ｎ …（８）
ここで、Ｎは、境界領域１２７に含まれる全画素数であり、評価値を泡候補領域１２３のサイズで正規化するために用いられる。また、ｋ（０＜ｋ＜１）は、連続しているエッジ画素を重み付けするための係数（定数）である。
【００７６】
ステップＳ３４において、判定部３５は、評価値ＥCONを所定の閾値と比較することにより、泡候補領域１２３の判定を行う。即ち、評価値ＥCONが閾値以上である場合、エッジ画素ＧEの連続性は高く、この場合、泡候補領域１２３は泡領域であると判定する。一方、評価値ＥCONが所定の閾値よりも小さい場合、エッジ画素ＧEの連続性は低く、この場合、泡候補領域１２３は泡領域ではないと判定する。
【００７７】
以上説明したように、実施の形態３によれば、泡候補領域の境界領域の形状情報に基づいて泡候補領域に対する判定を行うので、少ない演算量で精度の良い判定を行うことができる。
【００７８】
（変形例３−１）
連続性算出部３４１は、円弧の連続性を表す評価値として、エッジ画素ＧEの個数ＮEDG1及びＮEDG2の代わりに、エッジ画素ＧEの勾配強度を用いて算出しても良い。具体的には、境界領域１２７において抽出されたエッジ画素ＧEの最大勾配強度ｇ凸の合計値ＳＵＭEDG1を算出する。また、周囲８方向のいずれかに隣接するエッジ画素が存在するエッジ画素ＧEを検出し、それらのエッジ画素ＧEの最大勾配強度ｇ凸の合計値ＳＵＭEDG2を算出する。そして、合計値ＳＵＭEDG1及びＳＵＭEDG2を用いて、次式（９）で与えられる評価値ＥCON’を算出する。
ＥCON’＝（ＳＵＭEDG1×（１−ｋ）＋ＳＵＭEDG2×ｋ）／（Ｎ×ｇMAX）…（９）
ここで、ｇMAXは、エッジ画素ＧEが取りうる勾配強度の最大値（例えば、２５５）である。
この評価値ＥCON’は、高勾配のエッジ画素同士が隣接しているほど大きくなり、円弧を形成するエッジ画素ＧEの連続性が高いことを示す。
【００７９】
（変形例３−２）
図１８は、変形例３−２に係る画像処理装置の演算部３０−２の構成を示すブロック図である。この演算部３０−２において、形状特徴量算出部３６は、泡候補領域１２３の境界の形状情報を表す特徴量として、境界領域１２７において抽出されたエッジ画素ＧEの泡候補領域１２３の中心座標についての相対性を表す評価値を算出する相対性算出部３６１を備える。
【００８０】
ここで、泡領域の境界を示すエッジは、通常、円の中心座標について相対する円周上の位置に現れる。そのため、境界領域１２７におけるエッジ画素ＧEの相対性が高い場合、そのエッジ画素ＧEは泡領域の境界を構成すると判断することができる。ここで、相対性が高いとは、円の中心座標に対して相対する位置に存在するエッジ画素の対が多いことを意味する。
【００８１】
泡候補領域１２３の判定を行う際に、相対性算出部３６１は、まず、図１９に示すように、境界領域１２７から抽出されたエッジ画素ＧEの個数ＮEDG1をカウントする。また、相対性算出部３６１は、境界領域１２７において、泡候補領域１２３の中心座標Ｃ（ｘ，ｙ）について相対する位置に別のエッジ画素が存在するエッジ画素ＧEを抽出し、その数ＮEDG3をカウントする。例えば図１９に示すエッジ画素ＧE（３）の場合、エッジ画素ＧE（３）を通る泡候補領域１２３の直径上に別のエッジ画素ＧTが存在しているため、カウントされる。相対性算出部３６１は、これらの値ＮEDG1及びＮEDG3を用いて、次式（１０）で与えられる評価値ＥRELを算出する。
ＥREL＝（ＮEDG1×（１−ｋ）＋ＮEDG3×ｋ）／Ｎ …（１０）
【００８２】
この場合、判定部３７は、評価値ＥRELを所定の閾値と比較することにより、泡候補領域１２３の判定を行う。即ち、評価値ＥRELが閾値以上である場合、エッジ画素ＧEの相対性は高く、泡候補領域１２３は泡領域であると判定する。一方、評価値ＥRELが閾値よりも小さい場合、エッジ画素ＧEの相対性は低く、泡候補領域１２３は泡領域ではないと判定する。
【００８３】
或いは、相対性算出部３６１は、変形例３−１と同様に、勾配強度を用いて相対性を表す評価値を算出しても良い。即ち、相対性算出部３６１は、境界領域１２７から抽出されたエッジ画素ＧEの最大勾配強度ｇ凸の合計値ＳＵＭEDG1と、境界領域１２７において、中心座標Ｃ（ｘ，ｙ）について相対する位置に別のエッジ画素ＧTが存在するエッジ画素ＧEの最大勾配強度ｇ凸の合計値ＳＵＭEDG3とを算出し、次式（１１）により与えられる評価値ＥREL’を算出する。
ＥREL’＝（ＳＵＭEDG1×（１−ｋ）＋ＳＵＭEDG3×ｋ）／（Ｎ×ｇMAX） …（１１）
この評価値ＥREL’は、高勾配のエッジ画素同士が相対する位置に存在するほど大きくなり、エッジ画素ＧEの相対性が高いことを示す。
【００８４】
（変形例３−３）
図２０は、変形例３−３に係る画像処理装置の演算部３０−３の構成を示すブロック図である。この演算部３０−３において、形状特徴量算出部３８は、泡候補領域１２３の境界の形状情報を表す特徴量として、境界領域１２７のエッジ画素の円形性、即ち、幾何学的な円らしさを表す評価値を算出する円形性算出部３８１を備える。
【００８５】
図２１は、泡候補領域１２３の境界領域１２７の一部を示す模式図である。泡候補領域１２３の判定を行う際に、円形性算出部３８１は、まず、境界領域１２７から抽出されたエッジ画素ＧEの個数ＮEDG1をカウントする。また、円形性算出部３８１は、各エッジ画素ＧEから泡候補領域１２３の円周１２６までの距離ＬEを算出し、距離ＬEが所定の閾値以内にあるエッジ画素の個数ＮGCをカウントする。円形性算出部３８１は、これらの値ＮEDG1及びＮGCを用いて、次式（１２）で与えられる評価値ＥCIRを算出する。
ＥCIR＝｛ＮEDG1×（１−ｋ）＋ＮGC×ｋ｝／Ｎ …（１２）
式（１２）において、ｋは０＜ｋ＜１を満たす係数（定数）である。
この評価値ＥCIRは、エッジ画素が円形状をなすほど大きな値となる。
【００８６】
この場合、判定部３９は、評価値ＥCIRを所定の閾値と比較することにより、泡候補領域１２３の判定を行う。即ち、評価値ＥCIRが所定の閾値以上である場合、エッジ画素ＧEの円形性は高く、泡候補領域１２３は泡領域であると判定する。一方、評価値ＥCIRが閾値よりも小さい場合、エッジ画素ＧEの円形性は低く、泡候補領域１２３は泡領域ではないと判定する。
【００８７】
（実施の形態４）
次に、本発明の実施の形態４について説明する。図２２に示すように、実施の形態４に係る画像処理装置４は演算部４０を備える。その他の構成については、図１に示すものと同様である。
【００８８】
演算部４０は、泡候補領域設定部１６及び泡領域判定部４１を備える。泡領域判定部４１は、泡候補領域設定部１６により設定された泡候補領域１２３が泡領域であるか否かを、泡候補領域１２３の周囲領域に関する情報を用いて判定する。
【００８９】
泡領域判定部４１は、周囲領域特徴量算出部４２及び判定部４３を有する。周囲領域特徴量算出部４２は、泡候補領域１２３の周囲に存在する別の泡候補領域（円形状領域）や判定済みの泡領域を検出し、この検出結果に基づく特徴量を算出する。ここで、生体内においては、通常、泡領域は密集して発生する。そのため、ある泡候補領域の周囲に別の泡候補領域や判定済みの泡領域が多数存在する場合、その泡候補領域は泡領域である蓋然性が高い。そこで、泡領域判定部４１は、判定対象である泡候補領域１２３の周囲領域における特徴量を算出することとしている。
判定部４３は、この特徴量に基づいて、当該泡候補領域１２３が泡領域であるか否かを判定する。
【００９０】
次に、画像処理装置４の動作について説明する。図２３は、画像処理装置４の動作を示すフローチャートである。図２３に示すステップの内、ステップＳ１０〜Ｓ１２については、実施の形態１において説明したものと同様である。
【００９１】
ステップＳ４１において、周囲領域特徴量算出部４２は、泡領域の判定結果及び／又は泡候補領域の検出結果に基づいて、泡候補領域の周囲領域に関する特徴量を算出する。即ち、周囲領域特徴量算出部４２は、図２４に示す生体内画像１３０において、判定対象である泡候補領域１３１の中心位置Ｃ（ｘ，ｙ）から所定距離ｄ2の範囲１３２内に存在する別の泡候補領域１３３の個数ｉと、判定済みの泡領域１３４の個数ｊとをカウントする。そして、これらの値ｉ及びｊと次式（１３）とを用いて、特徴量ＣＨＲを算出する。
ＣＨＲ＝ｉ×Ｗ1＋ｊ×Ｗ2 …（１３）
式（１３）において、Ｗ1及びＷ2は、Ｗ2＞Ｗ1を満たす定数であり、判定済みの泡領域の個数ｉ及びｊをそれぞれ重み付けするためのものである。
【００９２】
続くステップＳ４２において、判定部４３は、特徴量ＣＨＲを所定の閾値と比較することにより、泡候補領域１３１の判定を行う。即ち、特徴量ＣＨＲが閾値以上である場合、泡候補領域１３１の周囲に泡が密集しており、この場合、泡候補領域１３１も泡領域であると判定する。一方、特徴量ＣＨＲが閾値より小さい場合、泡候補領域１３１の周囲に泡は密集しておらず、この場合、泡候補領域１３１は泡領域ではないと判定する。
【００９３】
以上説明したように、実施の形態４によれば、密集するという泡の特性に基づき、泡候補領域の周囲領域に関する情報を用いて泡領域であるか否かの判定を行うので、泡モデルを用いて円形状の領域を検出する従来の泡領域検出方法に対し、少ない演算量で、判定精度を向上させることが可能となる。
【００９４】
（実施の形態５）
次に、本発明の実施の形態５について説明する。図２５に示すように、実施の形態５に係る画像処理装置５は演算部５０を備える。その他の構成については、図１に示すものと同様である。
【００９５】
演算部５０は、泡候補領域設定部１６及び泡領域判定部１７に加えて、さらに、生体内画像を複数の領域に分割する領域分割部５１と、各分割領域の全体に泡領域が存在するか否かを判定する領域判定部５４とを備える。なお、泡候補領域設定部１６及び泡領域判定部１７の構成及び動作については、実施の形態１において説明したものと同様である。また、泡領域判定部１７の代わりに、実施の形態２〜４において説明した泡領域判定部２２、３１、４１を備えても良い。
【００９６】
ここで、生体内画像において、類似した特徴（色やテクスチャ等の特徴）を有する領域同士は、同一のカテゴリー（例えば、粘膜領域、泡領域等）である場合が多い。そこで、実施の形態５においては、生体内画像を色情報等の特徴量に基づいて複数の領域に分割し、個別に泡領域と判定された領域が所定の割合以上を占める場合、その分割領域全体に泡領域が存在するとみなすことにより、個別には泡領域として検出することができなかった泡領域も検出できるようにしている。
【００９７】
図２６は、画像処理装置５の動作を示すフローチャートである。
まず、ステップＳ１０において、画像処理装置５は生体内画像を取得する。なお、このステップの詳細については実施の形態１において説明したものと同様である。
【００９８】
続くステップＳ５１において、領域分割部５１は、図２７に示すように、生体内画像１３５を複数の領域１３６、１３７に分割する。分割方法としては、既知の様々な方法を用いることができる。例えば、類似した特徴量（画素値、テクスチャ特徴量等）を有し、且つ空間的に近接する画素を集合として領域を分割する領域統合法（参考：ＣＧ-ＡＲＴＳ協会、ディジタル画像処理、ｐ．１９６）や、クラスタリング手法の１つであるＫ-ｍｅａｎｓ法（参考：ＣＧ−ＡＲＴＳ協会、ディジタル画像処理、ｐ．２３２）等を用いることができる。
【００９９】
ステップＳ５２において、泡候補領域設定部１６は、生体内画像１３５から円形状領域を検出し、それらの領域を泡候補領域１３８に設定する。なお、円形状領域の検出方法については、実施の形態１において説明したものと同様である。
【０１００】
ステップＳ５３において、泡領域判定部１７は、各泡候補領域１３８が泡領域であるか否かの判定を行う。なお、泡候補領域１３８の判定方法については、実施の形態１〜４において説明したものと同様である。
【０１０１】
ステップＳ５４において、領域判定部５４は、泡領域の判定結果に基づいて、各分割領域１３６、１３７の全体に泡領域が存在するか否かの判定を行う。即ち、領域判定部５４は、まず、各分割領域の面積（又は画素数）ｓ1と、各分割領域内において泡領域と判定された領域の総面積（又は画素数）ｓ2とを取得し、分割領域の面積ｓ1に占める泡領域の面積ｓ2の割合（面積率）ｓ2／ｓ1を算出する。この面積率ｓ2／ｓ1が所定の閾値以上である場合、その分割領域全体に泡領域が存在すると判定される。一方、この面積率ｓ2／ｓ1が所定の閾値より小さい場合、その分割領域全体に泡領域が存在するわけではないと判定される。例えば分割領域１３６の場合、泡領域と判定された領域が占める割合は低い(ゼロ)ので、泡領域は全体には存在しないと判定される。一方、分割領域１３５の場合、泡候補領域１３８の全てが泡領域と判定されると、泡領域の占める割合が高くなるため、この場合、分割領域１３５全体に泡領域が存在すると判定される。
【０１０２】
以上説明したように、実施の形態５においては、類似する特徴量に基づいて分割された領域の全体に泡領域が存在するか否かを、個別に泡領域と判定された領域が占める割合に基づいて判定する。そのため、円形状領域としては検出されなかった領域であっても、泡領域として抽出することが可能となる。
【０１０３】
また、実施の形態５においては、円形状領域を検出する際に、使用する泡モデルのサイズを各分割領域のサイズ以下に限定して演算を行うことができるので、演算量を低減することが可能となる。
【０１０４】
以上説明した実施の形態１〜５に係る画像処理装置は、記録媒体に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することにより実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク、広域エリアネットワーク（ＬＡＮ／ＷＡＮ）、又は、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１〜５に係る画像処理装置は、これらのネットワークを介して生体内画像の画像データを取得したり、これらのネットワークを介して接続された種々の出力機器（ビュアーやプリンタ等）に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置（記録媒体及びその読取装置等）に画像処理結果を格納するようにしても良い。
【０１０５】
なお、本発明は、実施の形態１〜５及びそれらの変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。
【符号の説明】
【０１０６】
１〜５ 画像処理装置
１０ 制御部
１１ 画像取得部
１２ 入力部
１３ 表示部
１４ 記憶部
１４１ 画像処理プログラム
１５、２１、３０、３０−２、３０−３、４０、５０ 演算部
１６ 泡候補領域設定部
１６１ 円形状領域検出部
１７、２２、３１、４１ 泡領域判定部
１８ 内部領域抽出部
１９ 内部領域特徴量算出部
１９１ テクスチャ算出部
２０、２５、３５、３７、３９、４３ 判定部
２３ 内部領域抽出部
２３１ 輝度値算出部
２３２ 泡候補領域分割部
２４ 内部領域特徴量算出部
２４１ 高輝度領域抽出部
２４２ 高輝度領域特徴量算出部
３２ 境界領域抽出部
３３ 勾配強度算出部
３３１ 凸部勾配強度算出部
３３２ エッジ抽出部
３４、３６、３８ 形状特徴量算出部
３４１ 連続性算出部
３６１ 相対性算出部
３８１ 円形性算出部
４２ 周囲領域特徴量算出部
５１ 領域分割部
５４ 領域判定部
１００ 泡
１０１ 膜
１０２ 気体
１１０、１３４ 泡領域
１１１、１２７ 境界領域
１１２、１２４ 内部領域
１１３ 高輝度領域
１２０、１３０、１３５ 生体内画像
１２１ 粘膜領域
１２２ 領域
１２３ 泡候補領域（円形状領域）
１２６ 円周
１３１、１３３、１３８ 泡候補領域
１３２ 範囲
１３６、１３７ 分割領域
【特許請求の範囲】
【請求項１】
画像に含まれる泡領域を検出する画像処理装置において、
前記画像から、記憶手段に格納された泡領域の形状モデルに対応する形状を有する領域を泡候補領域として設定する泡候補領域設定手段と、
前記泡候補領域が有する情報に基づいて、当該泡候補領域が泡領域であるか否かを判定する泡領域判定手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記泡領域判定手段は、前記泡候補領域の周縁部に含まれる境界領域、又は、該境界領域の内側に位置する内部領域が有する情報を用いて判定を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記泡候補領域設定手段は、前記画像から円形状又は円弧形状を有する領域を検出する円形状領域検出手段を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記泡領域判定手段は、
前記泡候補領域の内部領域を抽出する内部領域抽出手段と、
前記内部領域における特徴量を算出する内部領域特徴量算出手段と、
前記特徴量に基づいて、前記泡候補領域が泡領域であるか否かを判定する判定手段と、
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記内部領域抽出手段は、
前記泡候補領域に含まれる各画素の輝度値を算出する輝度値算出手段と、
前記泡候補領域内の複数の領域間における輝度値の差に基づいて、前記泡候補領域を前記複数の領域に分割する泡候補領域分割手段と、
を備えることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記内部領域特徴量算出手段は、前記内部領域におけるテクスチャ特徴量を算出するテクスチャ算出手段を備えることを特徴とする請求項４に記載の画像処理装置。
【請求項７】
テクスチャ特徴量は、前記内部領域における画素値の分散であることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記内部領域特徴量算出手段は、
前記内部領域の内側に存在する高輝度領域を抽出する高輝度領域抽出手段と、
前記高輝度領域の抽出結果に基づいて、前記内部領域の特徴量を算出する高輝度領域特徴量算出手段と、
を備えることを特徴とする請求項４に記載の画像処理装置。
【請求項９】
前記高輝度領域特徴量算出手段は、高輝度領域における色特徴量を算出することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記泡領域判定手段は、
前記泡候補領域の境界領域を抽出する境界領域抽出手段と、
前記境界領域に含まれる画素における画素値の勾配強度を算出する勾配強度算出手段と、
前記勾配強度に基づいて、前記泡候補領域の形状に関する情報を算出する形状特徴量算出手段と、
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記勾配強度算出手段は、前記境界領域に含まれる各画素について、画素値の勾配が凸となる方向における勾配強度を算出する凸部勾配強度算出手段を備えることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記勾配強度算出手段は、前記勾配強度に基づいてエッジを抽出するエッジ抽出手段を備えることを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記形状特徴量算出手段は、所定の画素値の勾配強度を有する画素の連続性を表す評価値を算出する連続性算出手段を備えることを特徴とする請求項１０に記載の画像処理装置。
【請求項１４】
前記連続性算出手段は、互いに隣接する前記勾配強度を有する画素を検出し、検出された画素の数又は勾配強度に基づいて前記評価値を算出することを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記形状特徴量算出手段は、所定の画素値の勾配強度を有する画素の前記泡候補領域の中心座標についての相対性を表す評価値を算出する相対性算出手段を備えることを特徴とする請求項１０に記載の画像処理装置。
【請求項１６】
前記相対性算出手段は、前記泡候補領域の中心座標について互いに相対する位置に存在する前記勾配強度を有する画素を検出し、検出された画素の数又は勾配強度に基づいて前記評価値を算出することを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
前記形状特徴量算出手段は、所定の画素値の勾配強度を有する画素の円形性を表す評価値を算出する円形性算出手段を備えることを特徴とする請求項１０に記載の画像処理装置。
【請求項１８】
前記円形性算出手段は、前記勾配強度を有する画素と所定の円周との間の距離に基づいて前記評価値を算出することを特徴とする請求項１７に記載の画像処理装置。
【請求項１９】
前記泡領域判定手段は、
前記泡候補領域の周囲の所定範囲内に存在する別の泡候補領域及び／又は判定済みの泡領域を検出し、該検出結果に基づく特徴量を算出する周囲領域特徴量算出手段と、
前記特徴量に基づいて、当該泡候補領域が泡領域であるか否かを判定する判定手段と、
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項２０】
前記画像を複数の領域に分割する領域分割手段と、
前記泡領域判定手段による判定結果に基づいて、分割された前記複数の領域の各々が泡領域であるか否かを判定する領域判定手段と、
を更に備えることを特徴とする請求項１に記載の画像処理装置。
【請求項２１】
前記領域分割手段は、色特徴量又はテクスチャ特徴量に基づいて前記画像を分割することを特徴とする請求項２０に記載の画像処理装置。
【請求項２２】
前記画像は、生体内の管腔を撮像した生体内画像であることを特徴とする請求項１に記載の画像処理装置。
【請求項２３】
画像に含まれる泡領域を検出する画像処理方法において、
泡候補領域設定手段により、前記画像から、記憶手段に格納された泡領域の形状モデルに対応する形状を有する領域を泡候補領域として設定する泡候補領域設定ステップと、
泡領域判定手段により、前記泡候補領域が有する情報に基づいて、当該泡候補領域が泡領域であるか否かを判定する泡領域判定ステップと、
を含むことを特徴とする画像処理方法。
【請求項２４】
画像に含まれる泡領域を検出する画像処理プログラムにおいて、
泡候補領域設定手段により、前記画像から、記憶手段に格納された泡領域の形状モデルに対応する形状を有する領域を泡候補領域として設定する泡候補領域設定ステップと、
泡領域判定手段により、前記泡候補領域が有する情報に基づいて、当該泡候補領域が泡領域であるか否かを判定する泡領域判定ステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１】
画像に含まれる泡領域を検出する画像処理装置において、
前記画像から、記憶手段に格納された泡領域の形状モデルに対応する形状を有する領域を泡候補領域として設定する泡候補領域設定手段と、
前記泡候補領域が有する情報に基づいて、当該泡候補領域が泡領域であるか否かを判定する泡領域判定手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記泡領域判定手段は、前記泡候補領域の周縁部に含まれる境界領域、又は、該境界領域の内側に位置する内部領域が有する情報を用いて判定を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記泡候補領域設定手段は、前記画像から円形状又は円弧形状を有する領域を検出する円形状領域検出手段を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記泡領域判定手段は、
前記泡候補領域の内部領域を抽出する内部領域抽出手段と、
前記内部領域における特徴量を算出する内部領域特徴量算出手段と、
前記特徴量に基づいて、前記泡候補領域が泡領域であるか否かを判定する判定手段と、
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記内部領域抽出手段は、
前記泡候補領域に含まれる各画素の輝度値を算出する輝度値算出手段と、
前記泡候補領域内の複数の領域間における輝度値の差に基づいて、前記泡候補領域を前記複数の領域に分割する泡候補領域分割手段と、
を備えることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記内部領域特徴量算出手段は、前記内部領域におけるテクスチャ特徴量を算出するテクスチャ算出手段を備えることを特徴とする請求項４に記載の画像処理装置。
【請求項７】
テクスチャ特徴量は、前記内部領域における画素値の分散であることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記内部領域特徴量算出手段は、
前記内部領域の内側に存在する高輝度領域を抽出する高輝度領域抽出手段と、
前記高輝度領域の抽出結果に基づいて、前記内部領域の特徴量を算出する高輝度領域特徴量算出手段と、
を備えることを特徴とする請求項４に記載の画像処理装置。
【請求項９】
前記高輝度領域特徴量算出手段は、高輝度領域における色特徴量を算出することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記泡領域判定手段は、
前記泡候補領域の境界領域を抽出する境界領域抽出手段と、
前記境界領域に含まれる画素における画素値の勾配強度を算出する勾配強度算出手段と、
前記勾配強度に基づいて、前記泡候補領域の形状に関する情報を算出する形状特徴量算出手段と、
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記勾配強度算出手段は、前記境界領域に含まれる各画素について、画素値の勾配が凸となる方向における勾配強度を算出する凸部勾配強度算出手段を備えることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記勾配強度算出手段は、前記勾配強度に基づいてエッジを抽出するエッジ抽出手段を備えることを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記形状特徴量算出手段は、所定の画素値の勾配強度を有する画素の連続性を表す評価値を算出する連続性算出手段を備えることを特徴とする請求項１０に記載の画像処理装置。
【請求項１４】
前記連続性算出手段は、互いに隣接する前記勾配強度を有する画素を検出し、検出された画素の数又は勾配強度に基づいて前記評価値を算出することを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記形状特徴量算出手段は、所定の画素値の勾配強度を有する画素の前記泡候補領域の中心座標についての相対性を表す評価値を算出する相対性算出手段を備えることを特徴とする請求項１０に記載の画像処理装置。
【請求項１６】
前記相対性算出手段は、前記泡候補領域の中心座標について互いに相対する位置に存在する前記勾配強度を有する画素を検出し、検出された画素の数又は勾配強度に基づいて前記評価値を算出することを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
前記形状特徴量算出手段は、所定の画素値の勾配強度を有する画素の円形性を表す評価値を算出する円形性算出手段を備えることを特徴とする請求項１０に記載の画像処理装置。
【請求項１８】
前記円形性算出手段は、前記勾配強度を有する画素と所定の円周との間の距離に基づいて前記評価値を算出することを特徴とする請求項１７に記載の画像処理装置。
【請求項１９】
前記泡領域判定手段は、
前記泡候補領域の周囲の所定範囲内に存在する別の泡候補領域及び／又は判定済みの泡領域を検出し、該検出結果に基づく特徴量を算出する周囲領域特徴量算出手段と、
前記特徴量に基づいて、当該泡候補領域が泡領域であるか否かを判定する判定手段と、
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項２０】
前記画像を複数の領域に分割する領域分割手段と、
前記泡領域判定手段による判定結果に基づいて、分割された前記複数の領域の各々が泡領域であるか否かを判定する領域判定手段と、
を更に備えることを特徴とする請求項１に記載の画像処理装置。
【請求項２１】
前記領域分割手段は、色特徴量又はテクスチャ特徴量に基づいて前記画像を分割することを特徴とする請求項２０に記載の画像処理装置。
【請求項２２】
前記画像は、生体内の管腔を撮像した生体内画像であることを特徴とする請求項１に記載の画像処理装置。
【請求項２３】
画像に含まれる泡領域を検出する画像処理方法において、
泡候補領域設定手段により、前記画像から、記憶手段に格納された泡領域の形状モデルに対応する形状を有する領域を泡候補領域として設定する泡候補領域設定ステップと、
泡領域判定手段により、前記泡候補領域が有する情報に基づいて、当該泡候補領域が泡領域であるか否かを判定する泡領域判定ステップと、
を含むことを特徴とする画像処理方法。
【請求項２４】
画像に含まれる泡領域を検出する画像処理プログラムにおいて、
泡候補領域設定手段により、前記画像から、記憶手段に格納された泡領域の形状モデルに対応する形状を有する領域を泡候補領域として設定する泡候補領域設定ステップと、
泡領域判定手段により、前記泡候補領域が有する情報に基づいて、当該泡候補領域が泡領域であるか否かを判定する泡領域判定ステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【公開番号】特開２０１２−１２０７９９（Ｐ２０１２−１２０７９９Ａ）
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願番号】特願２０１０−２７６２８９（Ｐ２０１０−２７６２８９）
【出願日】平成２２年１２月１０日（２０１０．１２．１０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願日】平成２２年１２月１０日（２０１０．１２．１０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]