画像処理装置、画像処理方法、及び画像処理プログラム
【課題】画像から、形状や大きさが多様な円形状等の領域を良好な精度で効率よく検出することができる画像処理装置等を提供する。
【解決手段】画像処理装置１は、画像から、泡を表す円形状領域を構成する点の候補である初期候補点を抽出する初期候補点抽出部１６と、初期候補点が有する情報に基づいて円形状領域を検出する円形状領域検出部１７とを備える。上記初期候補点抽出部１６は、泡領域が有する内部構造の特徴に基づいて候補点を抽出する。
【解決手段】画像処理装置１は、画像から、泡を表す円形状領域を構成する点の候補である初期候補点を抽出する初期候補点抽出部１６と、初期候補点が有する情報に基づいて円形状領域を検出する円形状領域検出部１７とを備える。上記初期候補点抽出部１６は、泡領域が有する内部構造の特徴に基づいて候補点を抽出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から泡が映し出された領域を検出する画像処理装置、画像処理方法、及び画像処理プログラムに関するものである。
【背景技術】
【０００２】
従来から、患者等の被検者の体内に導入されて、生体内を非侵襲に観察する医用観察装置として、内視鏡が広く普及している。近年では、カプセル型の筐体内部に撮像装置及び通信装置等を収容し、撮像装置により撮像された画像データを体外に無線送信する飲み込み型の内視鏡（カプセル内視鏡）も開発されている。このような医用観察装置によって生体の管腔内を撮像した一連の画像（生体内画像）は膨大な数（数万枚以上）に上ると共に、各生体内画像に対する観察及び診断には多くの経験が必要とされる。そのため、医師による診断を補助する医療診断支援機能が望まれている。
【０００３】
このような機能を実現する画像認識技術の１つとして、医療診断に当たって観察が不要な領域を生体内画像から自動的に検出して除去する技術が提案されている。ここで、観察が不要な領域とは、生体組織である粘膜以外の領域であり、例えば、管腔内に生じた気泡（以下、単に「泡」ともいう）が映し出された領域（以下、「泡領域」という）が挙げられる。例えば、特許文献１には、画素の勾配強度と、泡画像の特徴に基づいて予め設定された泡モデルとの相関値を算出し、相関値が所定の閾値以上となる領域を泡領域として検出する方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−３１３１１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、泡領域は通常、円形状や楕円形状、又はそれらの一部の形状（円弧形状等。以下、これらをまとめて、円形状等という。）をなすが、具体的な形状や大きさは非常に多様である。そのため、パターンマッチングにより円形状等を検出する場合、形状モデルを多数用意し、１つの画像内の各領域についてこれらの形状モデルとの相関値を算出しなければならず、膨大な量の演算が必要となる。一方、演算量を低減するために、形状モデルの種類をある程度限定すると共に、相関を評価する際の閾値を低く設定することも考えられるが、この場合、誤検出が生じたり、検出漏れが生じたりすることがある。
【０００６】
本発明は、上記に鑑みてなされたものであって、画像から、形状や大きさが多様な円形状等の領域を、良好な精度で効率よく検出することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、画像から、泡を表す円形状領域を構成する点の候補である候補点を抽出する候補点抽出手段と、前記候補点が有する情報に基づいて、前記画像内の円形状領域を検出する円形状領域検出手段とを備えることを特徴とする。
【０００８】
本発明に係る画像処理方法は、候補点抽出手段により、画像から、泡を表す円形状領域を構成する点の候補である候補点を抽出する候補点抽出ステップと、円形状領域検出手段により、前記候補点が有する情報に基づいて、前記画像内の円形状領域を検出する円形状領域検出ステップとを含むことを特徴とする。
【０００９】
本発明に係る画像処理プログラムは、候補点抽出手段により、画像から、泡を表す円形状領域を構成する点の候補である候補点を抽出する候補点抽出ステップと、円形状領域検出手段により、前記候補点が有する情報に基づいて、前記画像内の円形状領域を検出する円形状領域検出ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、画像から、円形状領域の一部をなす候補点を抽出し、この候補点が有する情報に基づいて円形状領域を検出するので、円形状等を有する領域を良好な精度で効率よく検出することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図２】図２は、図１に示す初期候補点抽出部の構成を示すブロック図である。
【図３】図３は、図１に示す円形状領域検出部の構成を示すブロック図である。
【図４】図４は、泡領域の構造を説明する図である。
【図５】図５は、図１に示す画像処理装置の動作を示すフローチャートである。
【図６】図６は、図１に示す画像処理装置が処理する生体内画像の一例を示す模式図である。
【図７】図７は、画素値の勾配が凸となる方向における勾配強度の算出方法を説明する図である。
【図８】図８は、図６に示す生体内画像から抽出されたエッジ画素を示す模式図である。
【図９】図９は、図８に示す画像から初期候補点として抽出されたエッジ画素を示す模式図である。
【図１０】図１０は、図６に示す生体内画像を距離値（Ｒ値）に基づいて分割した分割領域を示す図である。
【図１１】図１１は、距離値（Ｒ値）と円形状領域のサイズとの対応を示すテーブルである。
【図１２】図１２は、ＲＡＮＳＡＣによる円形状領域の推定方法を説明する図である。
【図１３】図１３は、境界領域の設定方法を説明する図である。
【図１４】図１４は、境界領域に含まれるエッジ画素の連続性を表す評価値の算出方法を説明する図である。
【図１５】図１５は、境界領域に含まれるエッジ画素の円形状領域の中心座標についての相対性を表す評価値の算出方法を説明する図である。
【図１６】図１６は、境界領域に含まれるエッジ画素の円形性を表す評価値の算出方法を説明する図である。
【図１７】図１７は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。
【図１８】図１８は、図１７に示す投票部の構成を示すブロック図である。
【図１９】図１９は、図１７に示す画像処理装置の動作を示すフローチャートである。
【図２０】図２０は、初期候補点のパラメータ空間への投票方法を説明する図である。
【図２１】図２１は、初期候補点のパラメータ空間への投票方法を説明する図である。
【図２２】図２２は、本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。
【図２３】図２３は、図２２に示す画像処理装置の動作を示すフローチャートである。
【図２４】図２４は、図２２に示す画像処理装置における泡領域の判定方法を説明する図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態に係る画像処理装置について、図面を参照しながら説明する。なお、これら実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
【００１３】
以下に説明する実施の形態に係る画像処理装置は、内視鏡又はカプセル内視鏡等の医用観察装置によって撮像された画像を処理するものであり、具体的には、被検者の生体（管腔）内を撮像した画像から、泡が映された泡領域を検出する処理を行う。以下の説明において、画像処理を施される生体内画像は、例えば、各画素においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分に対する２５６階調の画素レベル（画素値）を持つカラー画像である。なお、本発明に係る画像処理装置は、生体内画像に限らず、一般の画像から泡領域を検出する場合に適用することも可能である。
【００１４】
また、以下の実施の形態において検出対象としている泡領域は、表面張力の作用により、通常、円形状、偏円形状若しくは楕円形状等の類円形状、又はそれらの周の一部の形状（円弧等）の平面外観を有する。そのため、本出願においては、真円、偏円及び楕円等の類円形状のことを「円形状」といい、円形状の一部（例えば円弧）の形状のことを「円弧形状」という。
【００１５】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。図１に示すように、画像処理装置１は、画像処理装置１全体の動作を制御する制御部１０と、画像取得部１１と、入力部１２と、表示部１３と、記憶部１４と、演算部１５とを備える。
【００１６】
画像取得部１１は、医用観察装置によって撮像された生体内画像の画像データを取得する。画像取得部１１は、医用観察装置を含むシステムの態様に応じて適宜構成される。例えば、医用観察装置がカプセル内視鏡であり、医用観察装置との間の画像データの受け渡しに可搬型の記録媒体が使用される場合、画像取得部１１は、この記録媒体を着脱自在に装着し、保存された生体内画像の画像データを読み出すリーダ装置で構成される。また、医用観察装置によって撮像された生体内画像の画像データを保存しておくサーバを設置する場合、画像取得部１１は、サーバと接続される通信装置等で構成され、サーバとデータ通信を行って生体内画像の画像データを取得する。或いは、画像取得部１１を、内視鏡等の医用観察装置から、ケーブルを介して画像信号を入力するインターフェース装置等で構成しても良い。
【００１７】
入力部１２は、例えばキーボードやマウス、タッチパネル、各種スイッチ等によって実現され、入力信号を制御部１０に出力する。
表示部１３は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現され、制御部１０の制御の下で、生体内画像を含む各種画面を表示する。
【００１８】
記憶部１４は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、ＣＤ−ＲＯＭ等の情報記録媒体及びその読取装置等によって実現される。記憶部１４は、画像取得部１１によって取得された生体内画像の画像データの他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。具体的には、記憶部１４は、生体内画像から泡領域を検出するための画像処理プログラム１４１を格納する。
【００１９】
演算部１５は、ＣＰＵ等のハードウェアによって実現され、画像処理プログラム１４１を読み込むことにより生体内画像の画像データを処理して、生体内画像から泡領域を検出するための種々の演算処理を行う。演算部１５は、生体内画像から、泡を表す円形状領域を構成する点の候補である初期候補点を、泡領域が有する特徴に基づいて抽出する初期候補点抽出部１６と、抽出された初期候補点が有する情報に基づいて生体内画像から円形状領域を検出する円形状領域検出部１７とを備える。
【００２０】
制御部１０は、ＣＰＵ等のハードウェアによって実現され、記憶部１４に格納された各種プログラムを読み込むことにより、画像取得部１１から入力される画像データや入力部１２から入力される操作信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。
【００２１】
次に、演算部１５の詳細な構成について説明する。
図２は、初期候補点抽出部１６の構成を示すブロック図である。初期候補点抽出部１６は、生体内画像に含まれる各画素における画素値の勾配強度を算出する勾配強度算出部１６１と、勾配強度に基づいてエッジを検出するエッジ検出部１６２と、生体内画像から鏡面反射領域を検出する鏡面反射領域検出部１６３とを備える。
【００２２】
勾配強度算出部１６１が実行する勾配強度の算出方法としては、１次微分（ソーベルフィルタ等）や２次微分等、既知の様々な手法を用いることができる。勾配強度算出部１６１は、一例として、凸部勾配強度算出部１６１ａを有しており、画素値の勾配が凸となる方向における勾配強度を、２次微分を行うことにより算出する。
【００２３】
エッジ検出部１６２は、所定の閾値以上の勾配強度を有する画素を抽出することにより、エッジを検出する。なお、エッジの検出方法としては、これ以外にも既知の様々な手法を用いることができる。例えば、ケニー（Canny）のエッジ検出アルゴリズム（参考：ＣＧ−ＡＲＴＳ協会、ディジタル画像処理、ｐ．２０８〜ｐ．２１０）等を用いても良い。
【００２４】
鏡面反射領域検出部１６３は、生体内画像に含まれる各画素の輝度値を算出して、所定値以上の輝度を有する高輝度領域を検出する高輝度領域検出部１６３ａと、各画素の画素値に基づき、白色を表す色範囲に含まれる画素値を有する画素の領域（白色領域）を検出する白色領域検出部１６３ｂとを有する。白色を表す色範囲としては、例えば、生体内において生じたハレーション部分のＲＧＢ値をＨＳＩ値（Ｈ：色相、Ｓ：彩度、Ｉ：明度、参考：ＣＧ−ＡＲＴＳ協会、ディジタル画像処理、ｐ．６４〜ｐ．６８）に変換した値の範囲（例えば、Ｓ≦０．２、Ｉ≧０．８）が用いられる。このような色範囲は、教師データとして予め記憶部１４に格納されており、必要に応じて白色領域検出部１６３ｂが記憶部１４から教師データを読み出して参照する。
【００２５】
図３は、円形状領域検出部１７の構成を示すブロック図である。円形状領域検出部１７は、初期候補点の内から円形状領域の推定に用いられる複数の候補点（推定用候補点）を抽出する推定用候補点抽出部１８と、抽出された推定用候補点の座標を用いて、ロバスト推定により円形状領域を推定する円形状推定部１９と、推定された円形状領域が生体内画像内に実在するか否かを評価するための評価値を算出する評価値算出部２０と、この評価値を所定の閾値と比較することにより、円形状領域が生体内画像内に実在するか否かの評価を行う判定部２１とを備える。
【００２６】
推定用候補点抽出部１８は、検出済みの円形状領域に関する情報を格納する円形状領域記億部１８１と、円形状領域の大きさを推定する円形状領域サイズ推定部１８２とを有する。円形状領域サイズ推定部１８２は、生体内画像に映された被写体の奥行きを表す距離情報を算出し、この距離情報に基づいて円形状領域のサイズを推定する。
【００２７】
評価値算出部２０は、円形状領域の境界領域を抽出する境界領域抽出部２０１と、境界領域に含まれる画素に関する情報（以下、境界領域情報ともいう）を取得する境界領域情報算出部２０２とを有する。境界領域情報としては、例えば、境界領域における画素値の勾配強度の平均値が用いられる。
【００２８】
ここで、演算部１５が検出対象としている泡領域について説明する。図４は、泡領域の構造例を説明する図である。図４（ａ）に示すように、泡１００は、空気等の気体を含んだ液体（水分等）が表面張力の作用により丸まったものであり、水分等の膜１０１と、その内部の気体１０２とからなる。このような泡１００に光を照射して撮像を行うと、図４（ｂ）に示すような泡領域１１０の画像が得られる。この泡領域１１０は、外形的には円形状又は円弧形状を有し、内部構造として、膜１０１の厚み部分に対応し、泡領域１１０の周縁部に含まれる境界領域１１１と、その内側に位置する内部領域１１２と、内部領域１１２の内側の複数箇所に見られる鏡面反射領域１１３とを含む。この内、境界領域１１１は、照射光が膜１０１において散乱することにより生じた明るい領域である。一方、内部領域１１２は、照明光の多くが膜１０１を透過することにより生じた領域であり、全体的に暗い領域となる。鏡面反射領域１１３は、照射光が膜１０１の表面で鏡面反射することにより光源が映り込んでハレーションが生じた、極めて輝度が高い領域である。
【００２９】
次に、画像処理装置１の動作について説明する。図５は、画像処理装置１の動作を示すフローチャートである。
まず、ステップＳ１０において、画像取得部１１は、外部から生体内画像群を取得し、記憶部１４に格納する。演算部１５は、画像処理を施す生体内画像を記憶部１４から順次読み出す。図６は、記憶部１４から読み出された生体内画像の一例を示す模式図である。図６に示すように、生体内画像１２０には、時に、生体の粘膜とは異なる特徴を有する領域１２２が、粘膜領域１２１に重なって映し出される場合がある。
【００３０】
ステップＳ１１において、勾配強度算出部１６１は、生体内画像１２０内の各画素における画素値の勾配強度を算出する。具体的には、まず、凸部勾配強度算出部１６１ａは、座標（ｘ，ｙ）に位置する画素の画素値Ｐ（ｘ，ｙ）に対し、次式（１）〜式（４）を用いて、水平方向における２次微分ｄＨと、垂直方向における２次微分ｄＶと、第１の斜め方向における２次微分ｄＤ１と、第２の斜め方向における２次微分ｄＤ２とを算出する（図７参照）。
【数１】
ここで、パラメータｕは整数であり、パラメータｕ’は、（ｕ／√２）を四捨五入した整数である。これらのパラメータｕ及びｕ’は、２次微分算出時の画素範囲を示す。即ち、パラメータｕを所望の値に設定することにより、勾配成分の精度を調節することができる。例えば、パラメータｕの値を小さくすると、空間周波数の高い勾配成分を算出することができ、パラメータｕの値を大きくすると、空間周波数の低い勾配成分を算出することができる。パラメータｕの値としては、予め固定値を設定しておいても良いし、生体内画像の特性に応じて動的な値を設定しても良い。或いは、所望の値のパラメータｕを外部から与えて処理することとしても良い。
【００３１】
続いて、凸部勾配強度算出部１６１ａは、次式（５）を用いて、方向別に算出された２次微分ｄＨ、ｄＶ、ｄＤ１、ｄＤ２の内から値が正となる最大値を抽出することにより、勾配が増加する（即ち、周囲の画素に対して勾配が凸となる）方向における勾配強度（凸部勾配強度）ｇ凸（ｘ，ｙ）を算出する。
【数２】
【００３２】
ここで、図４に示す泡領域１１０の場合、境界領域１１１の画素値は内部領域１１２や泡領域１１０の外側の画素値よりも大きくなるため、境界領域１１１内の径方向に沿って画素値のピークが現れる。そこで、凸部勾配強度ｇ凸を算出することにより、径方向における画素値の立ち上がりを検出することができる。
【００３３】
ステップＳ１２において、エッジ検出部１６２は、各画素について算出された凸部勾配強度ｇ凸を所定の閾値で２値化することにより、エッジ画素を抽出する。これにより、泡領域の境界である可能性が高いエッジが抽出される。図８に示す画像１２５には、このようにして生体内画像１２０から抽出されたエッジ画素ＧEが示されている。
【００３４】
ステップＳ１３において、鏡面反射領域検出部１６３は、生体内画像１２０から鏡面反射領域１１３を検出する。具体的には、まず、高輝度領域検出部１６３ａは、生体内画像１２０内の各画素のＲ値（Ｒ）、Ｇ値（Ｇ）、及びＢ値（Ｂ）から、次式（６）を用いて輝度値Ｙを算出する（参考：ＣＧ−ＡＲＴＳ協会、ディジタル画像処理、ｐ．２９９）。
Ｙ＝０．３×Ｒ＋０．５９×Ｇ＋０．１１×Ｂ …（６）
【００３５】
続いて、高輝度領域検出部１６３ａは、輝度値Ｙが所定の閾値以上となる画素を高輝度領域として抽出する。さらに、白色領域検出部１６３ｂは、高輝度領域として抽出された画素のＲ値、Ｇ値、及びＢ値を取得し、これらの色成分が白色を表す色範囲に含まれるか否かを、教師データを参照して判定する。そして、白色領域検出部１６３ｂは、白色を表す色範囲に含まれる色成分を有する画素を、鏡面反射領域として抽出する。
【００３６】
ステップＳ１４において、初期候補点抽出部１６は、ステップＳ１２において抽出されたエッジ画素の内、ステップＳ１３において抽出された鏡面反射領域の近傍、即ち、鏡面反射領域から所定範囲内に存在するエッジ画素の座標を、初期候補点として抽出する。これは、鏡面反射領域近傍のエッジであれば、泡領域１１０の境界領域１１１である可能性が高いからである（図４参照）。図９に示す画像１２６には、初期候補点として抽出されたエッジ画素ＧEが示されている。
【００３７】
ステップＳ１５において、円形状領域サイズ推定部１８２は、生体内画像１２０内の距離情報を算出する。具体的には、まず、円形状領域サイズ推定部１８２は、各画素の奥行きを表す距離値として、生体内における吸収や散乱が最も少ないＲ値を取得する。Ｒ値は、被写体と撮像素子との距離が短いほど（即ち、被写体が画面の手前側に存在するほど）大きくなるからである。続いて、円形状領域サイズ推定部１８２は、各画素の距離値に基づいて、生体内画像１２０を複数の領域Ａ〜Ｄに分割する（図１０）。領域分割法としては、例えば、類似した特徴量（画素値、テクスチャ特徴量等）を有し、空間的に近接する画素を集合として領域を分割する領域統合法（参考：ＣＧ−ＡＲＴＳ協会、ディジタル画像処理、ｐ．１９６）や、クラスタリング手法の１つであるＫ−ｍｅａｎｓ法（参考：ＣＧ−ＡＲＴＳ協会、ディジタル画像処理、ｐ．２３２）等の既知の方法を用いることができる。さらに、円形状領域サイズ推定部１８２は、分割領域Ａ〜Ｄ毎に距離値の平均値（平均距離値）を、距離情報として算出する。
【００３８】
続くステップＳ１６において、円形状領域サイズ推定部１８２は、初期候補点の座標における円形状領域のサイズを推定する。ここで、生体内画像には、通常、近景から遠景までが映っている。また、一般に、遠景にある被写体は、近景にある被写体よりも小さく映し出される。そこで、画像内の距離情報に基づいて、円形状領域のサイズをある程度推定することができる。
【００３９】
具体的には、円形状領域サイズ推定部１８２は、図１１に示すテーブル１２８を参照して、平均距離値に対応する円形状領域のサイズの範囲(最小半径ｒMIN及び最大半径ｒMAX)を、分割領域Ａ〜Ｄ毎に取得する。なお、テーブル１２８は、予め作成して記憶部１４に格納しておく。
【００４０】
ステップＳ１７において、推定用候補点抽出部１８は、初期候補点の内から複数の推定用候補点を抽出する。なお、実施の形態１においては、ＲＡＮＳＡＣ（random sampling consensus）の手法を用いるため、ランダムに推定用候補点を抽出する。具体的には、推定用候補点抽出部１８は、まず、図１２に示すように、初期候補点の内の１点（候補点ＧE0）をランダムに抽出する。続いて、候補点ＧE0を原点とし、この候補点ＧE0が属する分割領域Ａ〜Ｄについて取得された円形状領域の最大半径ｒMAX又はそれより若干大きい長さ（ｒMAX＋α）を半径とする円に内包される領域１２７を求める。さらに、この領域１２７の内部から、所定の個数の候補点ＧE1、ＧE2、…を、推定用候補点としてランダムに抽出する。
【００４１】
ステップＳ１８において、円形状推定部１９は、推定用候補点ＧE1、ＧE2、…に基づいて、円形状領域を推定する。具体的には、円形状推定部１９は、推定用候補点ＧE１、ＧE2、…の座標を通る円の連立方程式を作成し、この連立方程式を最小二乗法で解くことにより、推定される円形状の領域を算出する。そして、算出された円形状の領域との間の距離が所定の閾値以下である推定用候補点をインライアと判定し、それ以外の推定用候補点をアウトライアと判定する。さらに、円形状推定部１９は、インライアと判定された推定用候補点の座標を用いて、同様にして円形状の領域を再び算出する。
【００４２】
ステップＳ１９において、境界領域抽出部２０１は、図１３に示すように、円形状領域１３０の円周１３１から距離ｄ1の範囲内の領域を抽出し、この領域を境界領域１３２に設定する。そして、境界領域１３２に含まれる画素数Ｎをカウントする。
【００４３】
ステップＳ２０において、境界領域情報算出部２０２は、円形状領域１３０が生体内画像１２０内に実在するか否かを判定するための評価値を算出する。具体的には、境界領域情報算出部２０２は、境界領域１３２に含まれる各画素の勾配強度の合計値及び画素数Ｎから、勾配強度の平均値ＳAVEを算出し、次式（７）により評価値Ｅ1を算出する。
Ｅ1＝ＳAVE×ｋ …（７）
式（７）において、ｋは所定の係数（定数）である。
【００４４】
ステップＳ２１において、判定部２１は、評価値Ｅ1に基づいて、円形状領域１３０が生体内画像１２０内に実在するか否かを判定する。評価値Ｅ1の値が所定の閾値よりも大きい場合、円形状領域１３０は生体内画像１２０内に実在すると判定される。
【００４５】
円形状領域検出部１７は、円形状領域１３０が生体内画像１２０内に実在すると判定された場合（ステップＳ２１：Ｙｅｓ）、判定対象の円形状領域１３０に関する情報（円形状の中心座標及び半径、並びに、そこに含まれる画素の画素値等）を出力し、泡領域を表す情報として記憶部１４に格納させる（ステップＳ２２）。
【００４６】
ステップＳ２３において、円形状領域検出部１７は、１つの初期候補点に対する推定用候補点としての抽出処理回数が所定の閾値を超えたか否かを判定する。抽出処理回数が閾値を超えていない場合（ステップＳ２３：Ｎｏ）、動作はステップＳ１７に移行する。この場合、２回目以降に実行されるステップＳ１７及びＳ１８においては、既に円形状と判定された領域内に位置する初期候補点は抽出しないようにする。一方、抽出処理回数が所定値を超えている場合（ステップＳ２３：Ｙｅｓ）、動作は終了する。
【００４７】
また、円形状領域検出部１７は、円形状領域１３０が生体内画像１２０内に実在しないと判定された場合（ステップＳ２１：Ｎｏ）、円形状領域がステップＳ１７〜Ｓ２１の一連の処理により続けて検出されなかった回数（連続未検出回数）が所定値を超えたか否かを判定する（ステップＳ２４）。連続未検出回数が所定値を超えていない場合（ステップＳ２４：Ｎｏ）、動作はステップＳ２３に移行する。一方、連続未検出回数が所定値を超えた場合（ステップＳ２４：Ｙｅｓ）、動作は終了する。
【００４８】
以上説明したように、実施の形態１によれば、生体内画像から抽出されたエッジ画素に基づいて円形状領域を推定すると共に、推定された円形状領域が生体内画像内に実在するか否かを、算出された円形状領域の境界領域が有する情報に基づいて判定するので、高精度な泡領域の検出を行うことができる。
【００４９】
また、実施の形態１によれば、泡領域が有する構造的な特徴に基づいて生体内画像から抽出されたエッジ画素を抽出し、このエッジ画素を用いて円形状領域を推定するので、演算量を抑制して、効率良く円形状領域を検出することができる。
【００５０】
さらに、実施の形態１によれば、距離情報に基づいて円形状領域のサイズを推定し、その後の円形状領域の算出処理における演算範囲を、このサイズに基づいて制限するので、演算量（計算コスト）を低減すると共に、円形状領域の誤検出を抑制することができる。
【００５１】
なお、上記説明においては、鏡面反射領域として、高輝度且つ白色の領域を抽出したが、高輝度領域又は白色領域のいずれかを抽出して鏡面反射領域として扱っても良い。
【００５２】
また、上記説明においては、ロバスト推定により円形状領域を推定したが、同様の手法により楕円形状領域を推定しても良い。
【００５３】
円形状領域１３０の評価のために用いられる評価値としては、上述した評価値Ｅ1以外にも、様々な値を用いることができる。以下、変形例１−１〜１−６において、評価値の例を説明する。
【００５４】
（変形例１−１）
変形例１−１に係る評価値Ｅ2は、図１４に示す境界領域１３２に含まれる全画素数Ｎと、その内のエッジ画素ＧEの個数ＮEDGとを用いて、次式（８）により与えられる。
Ｅ2＝（ＮEDG／Ｎ）×ｋ …（８）
式（８）において、ｋは所定の係数（定数）である。
この場合、評価値Ｅ2の値が所定の閾値よりも大きいときに、円形状領域１３０は生体内画像１２０内に実在する泡領域であると判定される。
【００５５】
（変形例１−２）
変形例１−２に係る評価値Ｅ3は、境界領域１３２に含まれる全画素数Ｎと、境界領域１３２における輝度値の合計値ＹSUMとを用いて、次式（９）により与えられる。なお、各画素の輝度値は、式（６）により算出される。
Ｅ3＝（ＹSUM／（Ｎ×ＹMAX））×ｋ …（９）
式（９）において、ＹMAXは、境界領域における輝度値の最大値である。
この場合、評価値Ｅ3の値が所定の閾値よりも大きいときに、円形状領域１３０は生体内画像１２０内に実在する泡領域であると判定される。
【００５６】
（変形例１−３）
或いは、境界領域のＲＧＢ値に基づいて評価値Ｅ4を算出しても良い。この場合、泡領域のＲＧＢ色範囲を予め取得して記憶部１４に格納しておく。
まず、境界領域１３２に含まれる各画素のＲ値、Ｇ値、及びＢ値を取得し、各色成分について画素間の平均値を算出する。それによって得られた平均Ｒ値、平均Ｇ値、及び平均Ｂ値と、泡領域のＲＧＢ色範囲とを比較し、色差ΔＥを算出する。評価値Ｅ4は、この色差ΔＥを用いて、次式（１０）により与えられる。
Ｅ4＝（１／ΔＥ）×ｋ …（１０）
この場合、評価値Ｅ4が所定の閾値よりも大きいときに、円形状領域１３０は生体内画像１２０内に実在する泡領域であると判定される。
【００５７】
（変形例１−４）
泡領域は、通常、円形状やその一部である円弧形状を有している。そこで、円形状領域１３０の形状的な情報（即ち、幾何学的に円弧の特徴を有しているか否か）に基づいて、円形状領域１３０が泡領域であるか否かを判定することも可能である。変形例１−４においては、そのような幾何学的な特徴として、境界領域１３２に含まれるエッジ画素の連続性を判定する。
【００５８】
具体的には、まず、図１４に示すように、境界領域１３２に含まれるエッジ画素ＧEの個数ＮEDG1（即ち、エッジの面積に相当）を取得する。また、境界領域１３２のエッジ画素ＧEの内、周囲８方向のいずれかに隣接するエッジ画素が存在するエッジ画素ＧEの個数ＮEDG2をカウントする。例えば、図１４に示すエッジ画素ＧE（１）の場合、右斜め上に隣接するエッジ画素が存在するため、カウントされる。一方、エッジ画素ＧE（２）の場合、周囲８方向には隣接するエッジ画素が存在しないため、カウントされない。
【００５９】
評価値Ｅ5は、これらの値ＮEDG1及びＮEDG2を用いて、次式（１１）により与えられる。
Ｅ5＝（ＮEDG1×（１−ｋ）＋ＮEDG2×ｋ）／Ｎ …（１１）
ここで、境界領域１３２に含まれる全画素数Ｎは、評価値を境界領域１３２のサイズで正規化するために用いられる。また、ｋは０＜ｋ＜１を満たす係数（定数）である。
【００６０】
この場合、評価値Ｅ5が所定の閾値よりも大きいときに、境界領域１３２に含まれるエッジ画素ＧEの連続性は高く、従って、円形状領域１３０は生体内画像１２０内に実在する泡領域であると判定される。
【００６１】
（変形例１−５）
泡領域の境界を示すエッジは、通常、円の中心座標について相対する円周上の位置に現れる。そこで、境界領域１３２に含まれるエッジ画素ＧEが、円形状領域１３０の中心座標について高い相対性を有する場合、そのエッジ画素ＧEは泡領域の境界を構成すると判断することができる。ここで、相対性が高いとは、円の中心座標に対して相対する位置に存在するエッジ画素の対が多いことを意味する。
【００６２】
具体的には、まず、図１５に示すように、境界領域１３２から抽出されたエッジ画素ＧEの個数ＮEDG1を取得する。また、境界領域１３２において、円形状領域１３０の中心座標Ｃ（ｘ，ｙ）について相対する位置に別のエッジ画素が存在するエッジ画素ＧEの個数ＮEDG3をカウントする。例えば図１５に示すエッジ画素ＧE（３）の場合、エッジ画素ＧE（３）を通る円形状領域１３０の直径上に別のエッジ画素ＧTが存在しているため、カウントされる。
【００６３】
評価値Ｅ6は、これらの値ＮEDG1及びＮEDG3を用いて、次式（１２）により与えられる。
Ｅ6＝（ＮEDG1×（１−ｋ）＋ＮEDG3×ｋ）／Ｎ …（１２）
式（１２）において、ｋは０＜ｋ＜１を満たす係数（定数）である。
【００６４】
この場合、評価値Ｅ6が所定の閾値よりも大きいときに、境界領域１３２に含まれるエッジ画素ＧEの相対性は高く、従って、円形状領域１３０は生体内画像１２０内に実在する泡領域であると判定される。
【００６５】
（変形例１−６）
円形状領域１３０の境界領域の形状情報を表す特徴量として、境界領域１３２におけるエッジ画素の円形性、即ち、幾何学的な円らしさを表す評価値を用いても良い。図１６は、境界領域１３２の一部を示す模式図である。特徴量の算出の際には、まず、境界領域１３２に含まれるエッジ画素ＧEの個数ＮEDG1をカウントする。また、各エッジ画素ＧEから円形状領域１３０の円周１３１までの距離ＬEを算出し、距離ＬEが所定の閾値以内にあるエッジ画素の個数ＮGCをカウントする。評価値Ｅ7は、これらの値ＮEDG1及びＮGCを用いて、次式（１３）により与えられる。
Ｅ7＝（ＮEDG1×（１−ｋ）＋ＮGC×ｋ）／Ｎ …（１３）
式（１３）において、ｋは０＜ｋ＜１を満たす係数（定数）である。
【００６６】
この場合、評価値Ｅ7が所定の閾値よりも大きいときに、境界領域１３２に含まれるエッジ画素ＧEの円形性は高く、従って、円形状領域１３０は生体内画像１２０内に実在する泡領域であると判定される。
【００６７】
（実施の形態２）
次に、本発明の実施の形態２について説明する。図１７は、実施の形態２に係る画像処理装置の構成を示すブロック図である。図１７に示すように、画像処理装置２は、演算部３０を備えている。その他の構成については、図１に示すものと同様である。
【００６８】
演算部３０は、初期候補点抽出部１６と、円形状領域検出部３１とを備える。この内、初期候補点抽出部１６の構成及び動作については、実施の形態１において説明したものと同様である。
【００６９】
円形状領域検出部３１は、初期候補点抽出部１６により抽出された初期候補点に基づき、ハフ（Hough）変換により円形状領域を検出する。より詳細には、円形状領域検出部３１は、円の半径と円の中心座標とからなるパラメータ空間に初期候補点を投票する投票部３２と、パラメータ空間における投票頻度に基づき、円形状領域を検出するための評価値を算出する投票評価値算出部３３と、評価値に基づいて円形状領域の判定を行う判定部３４とを備える。
【００７０】
図１８は、投票部３２の詳細な構成を示すブロック図である。投票部３２は、パラメータ空間に投票される初期候補点に与えられる重みを決定する重み決定部３２１と、パラメータ空間の範囲を決定するパラメータ空間範囲決定部３２２と、決定された範囲内で初期候補点をパラメータ空間に投票する初期候補点投票部３２３とを備える。
【００７１】
重み決定部３２１は、各初期候補点が有する情報に基づいて、泡と類似した特徴を有する初期候補点の重みが大きくなるように重みを決定する。例えば、重み決定部３２１は、各初期候補点の勾配強度に応じた重みを決定する。
【００７２】
パラメータ空間範囲決定部３２２は、生体内画像に映された被写体の奥行きを表す距離情報を算出する距離情報算出部３２２ａと、この距離情報に基づいて、検出対象とする円形状領域のサイズを推定する円形状領域サイズ推定部３２２ｂと、円形状領域のサイズに基づいてパラメータ空間の範囲を決定する範囲決定部３２２ｃとを有する。
【００７３】
次に、画像処理装置２の動作について説明する。図１９は、画像処理装置２の動作を示すフローチャートである。図１９に示すステップの内、ステップＳ１０〜Ｓ１４は、実施の形態１において説明したものと同様である。また、図２０に示す画像１３５には、生体内画像１２０（図６）から抽出された初期候補点ＧE（ｘ1，ｙ1）、ＧE（ｘ2，ｙ2）、ＧE（ｘ3，ｙ3）、…が示されている。
【００７４】
ステップＳ３１において、重み決定部３２１は、各初期候補点の勾配強度ｇ及び次式（１４）を用いて、当該初期候補点に与えられる重みＷ1を算出する。
Ｗ1＝（ｇ／ｇMAX）×ｋ …（１４）
式（１４）において、ｇMAXは処理対象である生体内画像における画素値の勾配強度の最大値であり、ｋは所定の係数（定数）である。この重みＷ1の値は、勾配強度ｇが大きいほど大きくなる。
【００７５】
ステップＳ３２において、距離情報算出部３２２ａは、生体内画像の距離情報（奥行き情報）を取得する。なお、距離情報の取得方法については、図５のステップＳ１５において説明したものと同様である。
【００７６】
ステップＳ３３において、円形状領域サイズ推定部３２２ｂは、距離情報及び図１１に示すテーブル１２８に基づいて、各初期候補点の画素位置における円形状領域のサイズを推定する。なお、円形状領域のサイズの推定方法については、図５のステップＳ１６において説明したものと同様である。
【００７７】
ステップＳ３４において、範囲決定部３２２ｃは、パラメータ空間の範囲を決定する。
図２１は、パラメータ空間を示す模式図である。この３次元パラメータ空間において、ａ軸は画像１３５のＸ軸に対応し、ｂ軸は画像１３５のＹ軸に対応している。また、ｒ軸は検出対象とする円形状領域の半径を表す。従って、ａ軸の範囲は、具体的には、最小値が０で、最大値が生体内画像のＸ方向におけるサイズとなる。また、ｂ軸の範囲は、最小値が０で、最大値が生体内画像のＹ方向におけるサイズとなる。さらに、ｒ軸の範囲については、ステップＳ３３において領域Ａ〜Ｄ（図１０参照）毎に推定された円形状領域のサイズの範囲（図１１参照）に基づいて決定される。即ち、領域Ａ〜Ｄについて推定された最小半径ｒMINの内の最小値ｒｉMINがｒ軸の最小値として設定され、領域Ａ〜Ｄについて推定された最大半径ｒMAXの内の最大値ｒｉMAXがｒ軸の最大値として設定される。
【００７８】
ステップＳ３５において、初期候補点投票部３２３は、初期候補点ＧEをパラメータ空間に投票する。具体的には、初期候補点投票部３２３は、まず、図２１に示すパラメータ空間を生成する。続いて、画像１３５から走査線方向に沿って初期候補点の座標ＧE（ｘn，ｙn）を順次抽出する。そして、パラメータ空間のｒ＝ｒm平面において、座標（ｘn，ｙn，ｒm）を中心とする半径ｒmの円周上に位置する点に、重みＷ1を付与して投票する。このような投票を、ｒの値（投票を行う平面及び半径の値）をｒｉMIN〜ｒｉMAXの範囲で、例えば１画素分ずつ変化させながら行う。
【００７９】
ステップＳ３６において、投票評価値算出部３３は、パラメータ空間における投票頻度に基づいて、円形状領域を検出するための評価値を算出する。ここで、図２１に示すｒm平面上の点Ｃ0は、Ｃ1（ｘ1，ｙ1，ｒm）、Ｃ2（ｘ2，ｙ2，ｒm）、Ｃ3（ｘ3，ｙ3，ｒm）を中心とする半径ｒmの円が交差している点である。言い換えれば、点Ｃ0は、これらの点Ｃ1、Ｃ2、Ｃ3から等距離にあるので、画像１３５において、点Ｃ0を中心とし、半径をｒmとする円形状領域の存在を推定することができる。即ち、パラメータ空間における投票頻度の高い座標（ａ，ｂ，ｒ）が、画像１３５における円形状領域を表す。
【００８０】
評価値としては、例えば、パラメータ空間の各ｒm平面に対してガウシアンフィルタ（参考：ＣＧ−ＡＲＴＳ協会：ディジタル画像処理、ｐ．１０８〜ｐ．１１０）等により平滑化処理を施してノイズを除去した後の処理結果（投票頻度）が用いられる。
【００８１】
ステップＳ３７において、判定部３４は、評価値が所定の閾値以上であるパラメータ空間上の座標（ａ，ｂ，ｒ）を抽出し、この座標に対応する画像１３５上の領域（即ち、円の中心座標及び半径）を円形状領域として検出する。
【００８２】
さらに、ステップＳ３８において、円形状領域検出部３１は、検出された円形状領域に関する情報（円形状の中心座標及び半径、並びに、そこに含まれる画素の画素値等）を出力し、泡領域を表す情報として記憶部１４に格納させる。
【００８３】
以上説明したように、実施の形態２によれば、生体内画像から抽出されたエッジ画素の座標をパラメータ空間に投票し、その投票頻度に基づいて円形状領域を検出するので、演算量を低減しつつ、泡領域を表す円形状領域の検出精度を向上させることが可能となる。
【００８４】
また、実施の形態２によれば、パラメータ空間への投票時に初期候補点に与えられる重みを、泡と類似した特徴を持つ初期候補点ほど大きくするので、泡領域の特徴を有する円形状領域が検出され易くなると共に、誤検出を抑制することが可能となる。
【００８５】
なお、上記説明においては、ハフ変換により円形状領域を検出したが、同様の手法により楕円形状領域を検出することもできる。この場合、楕円の中心座標（ａ，ｂ）、長径、及び短径に対応する４次元のパラメータ空間に初期候補点を投票すれば良い。
【００８６】
（変形例２−１）
重み決定部３２１において決定される重みは、初期候補点の勾配強度以外の特徴量を用いて決定しても良い。例えば、式（６）を用いて各初期候補点について算出された輝度値と、次式（１５）とを用いて、重みＷ2を決定しても良い。
Ｗ2＝（Ｙ／ＹMAX）×ｋ …（１５）
式（１５）において、ＹMAXは、初期候補点の内の輝度値の最大値である。なお、ｋは所定の係数（定数）である。
【００８７】
（変形例２−２）
或いは、各初期候補点の色情報に基づいて、重みを決定しても良い。例えば、各初期候補点におけるＲ値、Ｇ値、及びＢ値を取得し、これらの値と泡領域のＲＧＢ色範囲とを比較して、色差ΔＥを算出する。次いで、次式（１６）を用いて、重みＷ3を算出する。この重みＷ3は、色差ΔＥが小さいほど大きな値となる。
Ｗ3＝（１／ΔＥ）×ｋ …（１６）
なお、泡領域のＲＧＢ色範囲は、予め記憶部１４に格納しておく。また、ｋは所定の係数（定数）である。
【００８８】
（実施の形態３）
次に、本発明の実施の形態３について説明する。図２２は、実施の形態３に係る画像処理装置の構成を示すブロック図である。図２２に示すように、画像処理装置３は、演算部４０を備える。その他の構成については、図１に示すものと同様である。
【００８９】
演算部４０は、初期候補点抽出部１６及び円形状領域検出部１７に加えて、更に、生体内画像を複数の領域に分割する領域分割部４１と、各分割領域の全体に泡領域が存在するか否かを判定する領域判定部４２を備える。なお、初期候補点抽出部１６及び円形状領域検出部１７の構成及び動作については、実施の形態１において説明したものと同様である。
【００９０】
ここで、生体内画像において、類似した特徴（色やテクスチャ等の特徴）を有する領域同士は、同一のカテゴリー（例えば、粘膜領域、泡領域等）である場合が多い。そこで、実施の形態３においては、生体内画像を色情報等の特徴量に基づいて複数の領域に分割し、個別に検出された円形状領域が所定の割合以上を占める分割領域について、その分割領域全体に泡領域が存在するとみなすことにより、個別には円形状を検出することができなかった領域も、泡領域として検出できるようにしている。
【００９１】
図２３は、画像処理装置３の動作を示すフローチャートである。
まず、ステップＳ１０において、画像処理装置３は生体内画像を取得する。なお、このステップの詳細については実施の形態１において説明したものと同様である。
【００９２】
続くステップＳ４１において、領域分割部４１は、図２４に示すように、生体内画像１３６を複数の領域１３７、１３８に分割する。分割方法としては、既知の様々な方法を用いて良い。例えば、類似した特徴量（画素値、テクスチャ特徴量等）を有し、且つ空間的に近接する画素を集合として領域を分割する領域統合法（参考：ＣＧ-ＡＲＴＳ協会、ディジタル画像処理、ｐ．１９６）や、クラスタリング手法の１つであるＫ-ｍｅａｎｓ法（参考：ＣＧ−ＡＲＴＳ協会、ディジタル画像処理、ｐ．２３２）等を用いることができる。
【００９３】
ステップＳ４２において、初期候補点抽出部１６は、生体内画像１３６から初期候補点を抽出する。なお、初期候補点の抽出方法は、図５のステップＳ１１〜Ｓ１４において説明したものと同様である。
【００９４】
ステップＳ４３において、円形状領域検出部１７は、抽出された初期候補点に基づいて、円形状領域１３９を検出する。なお、円形状領域の検出方法は、図５のステップＳ１５〜Ｓ２３において説明したものと同様である。
【００９５】
ステップＳ４４において、領域判定部４２は、円形状領域の検出結果に基づいて、各分割領域１３７、１３８全体に泡領域が存在するか否かの判定を行う。即ち、領域判定部４２は、まず、各分割領域の面積（又は画素数）ｓ1と、各分割領域内において検出された円形状領域の総面積（又は画素数）ｓ2とを取得し、分割領域の面積ｓ1に占める円形状領域の面積ｓ2の割合（面積率）ｓ2／ｓ1を算出する。この面積率ｓ2／ｓ1が所定の閾値以上である場合、その分割領域全体に泡領域が存在すると判定する。一方、この面積率ｓ2／ｓ1が所定の閾値より小さい場合、その分割領域全体に泡領域が存在するわけではないと判定する。例えば分割領域１３７の場合、泡領域と判定された領域が占める割合は低い(ゼロ)ので、泡領域は存在しないと判定される。一方、分割領域１３８の場合、円形状領域１３９の占める割合が高いので、分割領域１３８全体に泡領域が存在すると判定される。
【００９６】
以上説明したように、実施の形態３においては、類似する特徴量に基づいて分割された領域全体に泡領域が存在するか否かを、個別に円形状領域と判定された領域が占める割合に基づいて判定する。そのため、直接的には円形状が検出されなかった領域であっても、泡領域として抽出することが可能となる。
【００９７】
なお、演算部４０においては、円形状領域検出部１７の代わりに、実施の形態２において説明した円形状領域検出部３１を用いても良い。この場合、ステップＳ４３においては、図１９のステップＳ３１〜Ｓ３８と同様にして円形状領域を検出する。
【００９８】
以上説明した実施の形態１〜３に係る画像処理装置は、記録媒体に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することにより実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク、広域エリアネットワーク（ＬＡＮ／ＷＡＮ）、又は、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１〜３に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続された種々の出力機器（ビュアーやプリンタ等）に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置（記録媒体及びその読取装置等）に画像処理結果を格納するようにしても良い。
【００９９】
なお、本発明は、実施の形態１〜３及びそれらの変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。
【符号の説明】
【０１００】
１、２、３ 画像処理装置
１０ 制御部
１１ 画像取得部
１２ 入力部
１３ 表示部
１４ 記憶部
１４１ 画像処理プログラム
１５、３０、４０ 演算部
１６ 初期候補点抽出部
１６１ 勾配強度算出部
１６１ａ 凸部勾配強度算出部
１６２ エッジ検出部
１６３ 鏡面反射領域検出部
１６３ａ 高輝度領域検出部
１６３ｂ 白色領域検出部
１７ 円形状領域検出部
１８ 推定用候補点抽出部
１８１ 円形状領域記億部
１８２ 円形状領域サイズ推定部
１９ 円形状推定部
２０ 評価値算出部
２０１ 境界領域抽出部
２０２ 境界領域情報算出部
２１ 判定部
３１ 円形状領域検出部
３２ 投票部
３２１ 重み決定部
３２２ パラメータ空間範囲決定部
３２２ａ 距離情報算出部
３２２ｂ 円形状領域サイズ推定部
３２２ｃ 範囲決定部
３２３ 初期候補点投票部
３３ 投票評価値算出部
３４ 判定部
４１ 領域分割部
４２ 領域判定部
１００ 泡
１０１ 膜
１０２ 気体
１１０ 泡領域
１１１、１３２ 境界領域
１１２ 内部領域
１１３ 鏡面反射領域
１２０、１３６ 生体内画像
１２１ 粘膜領域
１２２ 領域
１２５、１２６、１３５ 画像
１２７ 円に内包される領域
１２８ テーブル
１３０、１３９ 円形状領域
１３１ 円周
１３７、１３８ 分割領域
【技術分野】
【０００１】
本発明は、画像から泡が映し出された領域を検出する画像処理装置、画像処理方法、及び画像処理プログラムに関するものである。
【背景技術】
【０００２】
従来から、患者等の被検者の体内に導入されて、生体内を非侵襲に観察する医用観察装置として、内視鏡が広く普及している。近年では、カプセル型の筐体内部に撮像装置及び通信装置等を収容し、撮像装置により撮像された画像データを体外に無線送信する飲み込み型の内視鏡（カプセル内視鏡）も開発されている。このような医用観察装置によって生体の管腔内を撮像した一連の画像（生体内画像）は膨大な数（数万枚以上）に上ると共に、各生体内画像に対する観察及び診断には多くの経験が必要とされる。そのため、医師による診断を補助する医療診断支援機能が望まれている。
【０００３】
このような機能を実現する画像認識技術の１つとして、医療診断に当たって観察が不要な領域を生体内画像から自動的に検出して除去する技術が提案されている。ここで、観察が不要な領域とは、生体組織である粘膜以外の領域であり、例えば、管腔内に生じた気泡（以下、単に「泡」ともいう）が映し出された領域（以下、「泡領域」という）が挙げられる。例えば、特許文献１には、画素の勾配強度と、泡画像の特徴に基づいて予め設定された泡モデルとの相関値を算出し、相関値が所定の閾値以上となる領域を泡領域として検出する方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−３１３１１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、泡領域は通常、円形状や楕円形状、又はそれらの一部の形状（円弧形状等。以下、これらをまとめて、円形状等という。）をなすが、具体的な形状や大きさは非常に多様である。そのため、パターンマッチングにより円形状等を検出する場合、形状モデルを多数用意し、１つの画像内の各領域についてこれらの形状モデルとの相関値を算出しなければならず、膨大な量の演算が必要となる。一方、演算量を低減するために、形状モデルの種類をある程度限定すると共に、相関を評価する際の閾値を低く設定することも考えられるが、この場合、誤検出が生じたり、検出漏れが生じたりすることがある。
【０００６】
本発明は、上記に鑑みてなされたものであって、画像から、形状や大きさが多様な円形状等の領域を、良好な精度で効率よく検出することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、画像から、泡を表す円形状領域を構成する点の候補である候補点を抽出する候補点抽出手段と、前記候補点が有する情報に基づいて、前記画像内の円形状領域を検出する円形状領域検出手段とを備えることを特徴とする。
【０００８】
本発明に係る画像処理方法は、候補点抽出手段により、画像から、泡を表す円形状領域を構成する点の候補である候補点を抽出する候補点抽出ステップと、円形状領域検出手段により、前記候補点が有する情報に基づいて、前記画像内の円形状領域を検出する円形状領域検出ステップとを含むことを特徴とする。
【０００９】
本発明に係る画像処理プログラムは、候補点抽出手段により、画像から、泡を表す円形状領域を構成する点の候補である候補点を抽出する候補点抽出ステップと、円形状領域検出手段により、前記候補点が有する情報に基づいて、前記画像内の円形状領域を検出する円形状領域検出ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、画像から、円形状領域の一部をなす候補点を抽出し、この候補点が有する情報に基づいて円形状領域を検出するので、円形状等を有する領域を良好な精度で効率よく検出することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図２】図２は、図１に示す初期候補点抽出部の構成を示すブロック図である。
【図３】図３は、図１に示す円形状領域検出部の構成を示すブロック図である。
【図４】図４は、泡領域の構造を説明する図である。
【図５】図５は、図１に示す画像処理装置の動作を示すフローチャートである。
【図６】図６は、図１に示す画像処理装置が処理する生体内画像の一例を示す模式図である。
【図７】図７は、画素値の勾配が凸となる方向における勾配強度の算出方法を説明する図である。
【図８】図８は、図６に示す生体内画像から抽出されたエッジ画素を示す模式図である。
【図９】図９は、図８に示す画像から初期候補点として抽出されたエッジ画素を示す模式図である。
【図１０】図１０は、図６に示す生体内画像を距離値（Ｒ値）に基づいて分割した分割領域を示す図である。
【図１１】図１１は、距離値（Ｒ値）と円形状領域のサイズとの対応を示すテーブルである。
【図１２】図１２は、ＲＡＮＳＡＣによる円形状領域の推定方法を説明する図である。
【図１３】図１３は、境界領域の設定方法を説明する図である。
【図１４】図１４は、境界領域に含まれるエッジ画素の連続性を表す評価値の算出方法を説明する図である。
【図１５】図１５は、境界領域に含まれるエッジ画素の円形状領域の中心座標についての相対性を表す評価値の算出方法を説明する図である。
【図１６】図１６は、境界領域に含まれるエッジ画素の円形性を表す評価値の算出方法を説明する図である。
【図１７】図１７は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。
【図１８】図１８は、図１７に示す投票部の構成を示すブロック図である。
【図１９】図１９は、図１７に示す画像処理装置の動作を示すフローチャートである。
【図２０】図２０は、初期候補点のパラメータ空間への投票方法を説明する図である。
【図２１】図２１は、初期候補点のパラメータ空間への投票方法を説明する図である。
【図２２】図２２は、本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。
【図２３】図２３は、図２２に示す画像処理装置の動作を示すフローチャートである。
【図２４】図２４は、図２２に示す画像処理装置における泡領域の判定方法を説明する図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態に係る画像処理装置について、図面を参照しながら説明する。なお、これら実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
【００１３】
以下に説明する実施の形態に係る画像処理装置は、内視鏡又はカプセル内視鏡等の医用観察装置によって撮像された画像を処理するものであり、具体的には、被検者の生体（管腔）内を撮像した画像から、泡が映された泡領域を検出する処理を行う。以下の説明において、画像処理を施される生体内画像は、例えば、各画素においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分に対する２５６階調の画素レベル（画素値）を持つカラー画像である。なお、本発明に係る画像処理装置は、生体内画像に限らず、一般の画像から泡領域を検出する場合に適用することも可能である。
【００１４】
また、以下の実施の形態において検出対象としている泡領域は、表面張力の作用により、通常、円形状、偏円形状若しくは楕円形状等の類円形状、又はそれらの周の一部の形状（円弧等）の平面外観を有する。そのため、本出願においては、真円、偏円及び楕円等の類円形状のことを「円形状」といい、円形状の一部（例えば円弧）の形状のことを「円弧形状」という。
【００１５】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。図１に示すように、画像処理装置１は、画像処理装置１全体の動作を制御する制御部１０と、画像取得部１１と、入力部１２と、表示部１３と、記憶部１４と、演算部１５とを備える。
【００１６】
画像取得部１１は、医用観察装置によって撮像された生体内画像の画像データを取得する。画像取得部１１は、医用観察装置を含むシステムの態様に応じて適宜構成される。例えば、医用観察装置がカプセル内視鏡であり、医用観察装置との間の画像データの受け渡しに可搬型の記録媒体が使用される場合、画像取得部１１は、この記録媒体を着脱自在に装着し、保存された生体内画像の画像データを読み出すリーダ装置で構成される。また、医用観察装置によって撮像された生体内画像の画像データを保存しておくサーバを設置する場合、画像取得部１１は、サーバと接続される通信装置等で構成され、サーバとデータ通信を行って生体内画像の画像データを取得する。或いは、画像取得部１１を、内視鏡等の医用観察装置から、ケーブルを介して画像信号を入力するインターフェース装置等で構成しても良い。
【００１７】
入力部１２は、例えばキーボードやマウス、タッチパネル、各種スイッチ等によって実現され、入力信号を制御部１０に出力する。
表示部１３は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現され、制御部１０の制御の下で、生体内画像を含む各種画面を表示する。
【００１８】
記憶部１４は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、ＣＤ−ＲＯＭ等の情報記録媒体及びその読取装置等によって実現される。記憶部１４は、画像取得部１１によって取得された生体内画像の画像データの他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。具体的には、記憶部１４は、生体内画像から泡領域を検出するための画像処理プログラム１４１を格納する。
【００１９】
演算部１５は、ＣＰＵ等のハードウェアによって実現され、画像処理プログラム１４１を読み込むことにより生体内画像の画像データを処理して、生体内画像から泡領域を検出するための種々の演算処理を行う。演算部１５は、生体内画像から、泡を表す円形状領域を構成する点の候補である初期候補点を、泡領域が有する特徴に基づいて抽出する初期候補点抽出部１６と、抽出された初期候補点が有する情報に基づいて生体内画像から円形状領域を検出する円形状領域検出部１７とを備える。
【００２０】
制御部１０は、ＣＰＵ等のハードウェアによって実現され、記憶部１４に格納された各種プログラムを読み込むことにより、画像取得部１１から入力される画像データや入力部１２から入力される操作信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。
【００２１】
次に、演算部１５の詳細な構成について説明する。
図２は、初期候補点抽出部１６の構成を示すブロック図である。初期候補点抽出部１６は、生体内画像に含まれる各画素における画素値の勾配強度を算出する勾配強度算出部１６１と、勾配強度に基づいてエッジを検出するエッジ検出部１６２と、生体内画像から鏡面反射領域を検出する鏡面反射領域検出部１６３とを備える。
【００２２】
勾配強度算出部１６１が実行する勾配強度の算出方法としては、１次微分（ソーベルフィルタ等）や２次微分等、既知の様々な手法を用いることができる。勾配強度算出部１６１は、一例として、凸部勾配強度算出部１６１ａを有しており、画素値の勾配が凸となる方向における勾配強度を、２次微分を行うことにより算出する。
【００２３】
エッジ検出部１６２は、所定の閾値以上の勾配強度を有する画素を抽出することにより、エッジを検出する。なお、エッジの検出方法としては、これ以外にも既知の様々な手法を用いることができる。例えば、ケニー（Canny）のエッジ検出アルゴリズム（参考：ＣＧ−ＡＲＴＳ協会、ディジタル画像処理、ｐ．２０８〜ｐ．２１０）等を用いても良い。
【００２４】
鏡面反射領域検出部１６３は、生体内画像に含まれる各画素の輝度値を算出して、所定値以上の輝度を有する高輝度領域を検出する高輝度領域検出部１６３ａと、各画素の画素値に基づき、白色を表す色範囲に含まれる画素値を有する画素の領域（白色領域）を検出する白色領域検出部１６３ｂとを有する。白色を表す色範囲としては、例えば、生体内において生じたハレーション部分のＲＧＢ値をＨＳＩ値（Ｈ：色相、Ｓ：彩度、Ｉ：明度、参考：ＣＧ−ＡＲＴＳ協会、ディジタル画像処理、ｐ．６４〜ｐ．６８）に変換した値の範囲（例えば、Ｓ≦０．２、Ｉ≧０．８）が用いられる。このような色範囲は、教師データとして予め記憶部１４に格納されており、必要に応じて白色領域検出部１６３ｂが記憶部１４から教師データを読み出して参照する。
【００２５】
図３は、円形状領域検出部１７の構成を示すブロック図である。円形状領域検出部１７は、初期候補点の内から円形状領域の推定に用いられる複数の候補点（推定用候補点）を抽出する推定用候補点抽出部１８と、抽出された推定用候補点の座標を用いて、ロバスト推定により円形状領域を推定する円形状推定部１９と、推定された円形状領域が生体内画像内に実在するか否かを評価するための評価値を算出する評価値算出部２０と、この評価値を所定の閾値と比較することにより、円形状領域が生体内画像内に実在するか否かの評価を行う判定部２１とを備える。
【００２６】
推定用候補点抽出部１８は、検出済みの円形状領域に関する情報を格納する円形状領域記億部１８１と、円形状領域の大きさを推定する円形状領域サイズ推定部１８２とを有する。円形状領域サイズ推定部１８２は、生体内画像に映された被写体の奥行きを表す距離情報を算出し、この距離情報に基づいて円形状領域のサイズを推定する。
【００２７】
評価値算出部２０は、円形状領域の境界領域を抽出する境界領域抽出部２０１と、境界領域に含まれる画素に関する情報（以下、境界領域情報ともいう）を取得する境界領域情報算出部２０２とを有する。境界領域情報としては、例えば、境界領域における画素値の勾配強度の平均値が用いられる。
【００２８】
ここで、演算部１５が検出対象としている泡領域について説明する。図４は、泡領域の構造例を説明する図である。図４（ａ）に示すように、泡１００は、空気等の気体を含んだ液体（水分等）が表面張力の作用により丸まったものであり、水分等の膜１０１と、その内部の気体１０２とからなる。このような泡１００に光を照射して撮像を行うと、図４（ｂ）に示すような泡領域１１０の画像が得られる。この泡領域１１０は、外形的には円形状又は円弧形状を有し、内部構造として、膜１０１の厚み部分に対応し、泡領域１１０の周縁部に含まれる境界領域１１１と、その内側に位置する内部領域１１２と、内部領域１１２の内側の複数箇所に見られる鏡面反射領域１１３とを含む。この内、境界領域１１１は、照射光が膜１０１において散乱することにより生じた明るい領域である。一方、内部領域１１２は、照明光の多くが膜１０１を透過することにより生じた領域であり、全体的に暗い領域となる。鏡面反射領域１１３は、照射光が膜１０１の表面で鏡面反射することにより光源が映り込んでハレーションが生じた、極めて輝度が高い領域である。
【００２９】
次に、画像処理装置１の動作について説明する。図５は、画像処理装置１の動作を示すフローチャートである。
まず、ステップＳ１０において、画像取得部１１は、外部から生体内画像群を取得し、記憶部１４に格納する。演算部１５は、画像処理を施す生体内画像を記憶部１４から順次読み出す。図６は、記憶部１４から読み出された生体内画像の一例を示す模式図である。図６に示すように、生体内画像１２０には、時に、生体の粘膜とは異なる特徴を有する領域１２２が、粘膜領域１２１に重なって映し出される場合がある。
【００３０】
ステップＳ１１において、勾配強度算出部１６１は、生体内画像１２０内の各画素における画素値の勾配強度を算出する。具体的には、まず、凸部勾配強度算出部１６１ａは、座標（ｘ，ｙ）に位置する画素の画素値Ｐ（ｘ，ｙ）に対し、次式（１）〜式（４）を用いて、水平方向における２次微分ｄＨと、垂直方向における２次微分ｄＶと、第１の斜め方向における２次微分ｄＤ１と、第２の斜め方向における２次微分ｄＤ２とを算出する（図７参照）。
【数１】
ここで、パラメータｕは整数であり、パラメータｕ’は、（ｕ／√２）を四捨五入した整数である。これらのパラメータｕ及びｕ’は、２次微分算出時の画素範囲を示す。即ち、パラメータｕを所望の値に設定することにより、勾配成分の精度を調節することができる。例えば、パラメータｕの値を小さくすると、空間周波数の高い勾配成分を算出することができ、パラメータｕの値を大きくすると、空間周波数の低い勾配成分を算出することができる。パラメータｕの値としては、予め固定値を設定しておいても良いし、生体内画像の特性に応じて動的な値を設定しても良い。或いは、所望の値のパラメータｕを外部から与えて処理することとしても良い。
【００３１】
続いて、凸部勾配強度算出部１６１ａは、次式（５）を用いて、方向別に算出された２次微分ｄＨ、ｄＶ、ｄＤ１、ｄＤ２の内から値が正となる最大値を抽出することにより、勾配が増加する（即ち、周囲の画素に対して勾配が凸となる）方向における勾配強度（凸部勾配強度）ｇ凸（ｘ，ｙ）を算出する。
【数２】
【００３２】
ここで、図４に示す泡領域１１０の場合、境界領域１１１の画素値は内部領域１１２や泡領域１１０の外側の画素値よりも大きくなるため、境界領域１１１内の径方向に沿って画素値のピークが現れる。そこで、凸部勾配強度ｇ凸を算出することにより、径方向における画素値の立ち上がりを検出することができる。
【００３３】
ステップＳ１２において、エッジ検出部１６２は、各画素について算出された凸部勾配強度ｇ凸を所定の閾値で２値化することにより、エッジ画素を抽出する。これにより、泡領域の境界である可能性が高いエッジが抽出される。図８に示す画像１２５には、このようにして生体内画像１２０から抽出されたエッジ画素ＧEが示されている。
【００３４】
ステップＳ１３において、鏡面反射領域検出部１６３は、生体内画像１２０から鏡面反射領域１１３を検出する。具体的には、まず、高輝度領域検出部１６３ａは、生体内画像１２０内の各画素のＲ値（Ｒ）、Ｇ値（Ｇ）、及びＢ値（Ｂ）から、次式（６）を用いて輝度値Ｙを算出する（参考：ＣＧ−ＡＲＴＳ協会、ディジタル画像処理、ｐ．２９９）。
Ｙ＝０．３×Ｒ＋０．５９×Ｇ＋０．１１×Ｂ …（６）
【００３５】
続いて、高輝度領域検出部１６３ａは、輝度値Ｙが所定の閾値以上となる画素を高輝度領域として抽出する。さらに、白色領域検出部１６３ｂは、高輝度領域として抽出された画素のＲ値、Ｇ値、及びＢ値を取得し、これらの色成分が白色を表す色範囲に含まれるか否かを、教師データを参照して判定する。そして、白色領域検出部１６３ｂは、白色を表す色範囲に含まれる色成分を有する画素を、鏡面反射領域として抽出する。
【００３６】
ステップＳ１４において、初期候補点抽出部１６は、ステップＳ１２において抽出されたエッジ画素の内、ステップＳ１３において抽出された鏡面反射領域の近傍、即ち、鏡面反射領域から所定範囲内に存在するエッジ画素の座標を、初期候補点として抽出する。これは、鏡面反射領域近傍のエッジであれば、泡領域１１０の境界領域１１１である可能性が高いからである（図４参照）。図９に示す画像１２６には、初期候補点として抽出されたエッジ画素ＧEが示されている。
【００３７】
ステップＳ１５において、円形状領域サイズ推定部１８２は、生体内画像１２０内の距離情報を算出する。具体的には、まず、円形状領域サイズ推定部１８２は、各画素の奥行きを表す距離値として、生体内における吸収や散乱が最も少ないＲ値を取得する。Ｒ値は、被写体と撮像素子との距離が短いほど（即ち、被写体が画面の手前側に存在するほど）大きくなるからである。続いて、円形状領域サイズ推定部１８２は、各画素の距離値に基づいて、生体内画像１２０を複数の領域Ａ〜Ｄに分割する（図１０）。領域分割法としては、例えば、類似した特徴量（画素値、テクスチャ特徴量等）を有し、空間的に近接する画素を集合として領域を分割する領域統合法（参考：ＣＧ−ＡＲＴＳ協会、ディジタル画像処理、ｐ．１９６）や、クラスタリング手法の１つであるＫ−ｍｅａｎｓ法（参考：ＣＧ−ＡＲＴＳ協会、ディジタル画像処理、ｐ．２３２）等の既知の方法を用いることができる。さらに、円形状領域サイズ推定部１８２は、分割領域Ａ〜Ｄ毎に距離値の平均値（平均距離値）を、距離情報として算出する。
【００３８】
続くステップＳ１６において、円形状領域サイズ推定部１８２は、初期候補点の座標における円形状領域のサイズを推定する。ここで、生体内画像には、通常、近景から遠景までが映っている。また、一般に、遠景にある被写体は、近景にある被写体よりも小さく映し出される。そこで、画像内の距離情報に基づいて、円形状領域のサイズをある程度推定することができる。
【００３９】
具体的には、円形状領域サイズ推定部１８２は、図１１に示すテーブル１２８を参照して、平均距離値に対応する円形状領域のサイズの範囲(最小半径ｒMIN及び最大半径ｒMAX)を、分割領域Ａ〜Ｄ毎に取得する。なお、テーブル１２８は、予め作成して記憶部１４に格納しておく。
【００４０】
ステップＳ１７において、推定用候補点抽出部１８は、初期候補点の内から複数の推定用候補点を抽出する。なお、実施の形態１においては、ＲＡＮＳＡＣ（random sampling consensus）の手法を用いるため、ランダムに推定用候補点を抽出する。具体的には、推定用候補点抽出部１８は、まず、図１２に示すように、初期候補点の内の１点（候補点ＧE0）をランダムに抽出する。続いて、候補点ＧE0を原点とし、この候補点ＧE0が属する分割領域Ａ〜Ｄについて取得された円形状領域の最大半径ｒMAX又はそれより若干大きい長さ（ｒMAX＋α）を半径とする円に内包される領域１２７を求める。さらに、この領域１２７の内部から、所定の個数の候補点ＧE1、ＧE2、…を、推定用候補点としてランダムに抽出する。
【００４１】
ステップＳ１８において、円形状推定部１９は、推定用候補点ＧE1、ＧE2、…に基づいて、円形状領域を推定する。具体的には、円形状推定部１９は、推定用候補点ＧE１、ＧE2、…の座標を通る円の連立方程式を作成し、この連立方程式を最小二乗法で解くことにより、推定される円形状の領域を算出する。そして、算出された円形状の領域との間の距離が所定の閾値以下である推定用候補点をインライアと判定し、それ以外の推定用候補点をアウトライアと判定する。さらに、円形状推定部１９は、インライアと判定された推定用候補点の座標を用いて、同様にして円形状の領域を再び算出する。
【００４２】
ステップＳ１９において、境界領域抽出部２０１は、図１３に示すように、円形状領域１３０の円周１３１から距離ｄ1の範囲内の領域を抽出し、この領域を境界領域１３２に設定する。そして、境界領域１３２に含まれる画素数Ｎをカウントする。
【００４３】
ステップＳ２０において、境界領域情報算出部２０２は、円形状領域１３０が生体内画像１２０内に実在するか否かを判定するための評価値を算出する。具体的には、境界領域情報算出部２０２は、境界領域１３２に含まれる各画素の勾配強度の合計値及び画素数Ｎから、勾配強度の平均値ＳAVEを算出し、次式（７）により評価値Ｅ1を算出する。
Ｅ1＝ＳAVE×ｋ …（７）
式（７）において、ｋは所定の係数（定数）である。
【００４４】
ステップＳ２１において、判定部２１は、評価値Ｅ1に基づいて、円形状領域１３０が生体内画像１２０内に実在するか否かを判定する。評価値Ｅ1の値が所定の閾値よりも大きい場合、円形状領域１３０は生体内画像１２０内に実在すると判定される。
【００４５】
円形状領域検出部１７は、円形状領域１３０が生体内画像１２０内に実在すると判定された場合（ステップＳ２１：Ｙｅｓ）、判定対象の円形状領域１３０に関する情報（円形状の中心座標及び半径、並びに、そこに含まれる画素の画素値等）を出力し、泡領域を表す情報として記憶部１４に格納させる（ステップＳ２２）。
【００４６】
ステップＳ２３において、円形状領域検出部１７は、１つの初期候補点に対する推定用候補点としての抽出処理回数が所定の閾値を超えたか否かを判定する。抽出処理回数が閾値を超えていない場合（ステップＳ２３：Ｎｏ）、動作はステップＳ１７に移行する。この場合、２回目以降に実行されるステップＳ１７及びＳ１８においては、既に円形状と判定された領域内に位置する初期候補点は抽出しないようにする。一方、抽出処理回数が所定値を超えている場合（ステップＳ２３：Ｙｅｓ）、動作は終了する。
【００４７】
また、円形状領域検出部１７は、円形状領域１３０が生体内画像１２０内に実在しないと判定された場合（ステップＳ２１：Ｎｏ）、円形状領域がステップＳ１７〜Ｓ２１の一連の処理により続けて検出されなかった回数（連続未検出回数）が所定値を超えたか否かを判定する（ステップＳ２４）。連続未検出回数が所定値を超えていない場合（ステップＳ２４：Ｎｏ）、動作はステップＳ２３に移行する。一方、連続未検出回数が所定値を超えた場合（ステップＳ２４：Ｙｅｓ）、動作は終了する。
【００４８】
以上説明したように、実施の形態１によれば、生体内画像から抽出されたエッジ画素に基づいて円形状領域を推定すると共に、推定された円形状領域が生体内画像内に実在するか否かを、算出された円形状領域の境界領域が有する情報に基づいて判定するので、高精度な泡領域の検出を行うことができる。
【００４９】
また、実施の形態１によれば、泡領域が有する構造的な特徴に基づいて生体内画像から抽出されたエッジ画素を抽出し、このエッジ画素を用いて円形状領域を推定するので、演算量を抑制して、効率良く円形状領域を検出することができる。
【００５０】
さらに、実施の形態１によれば、距離情報に基づいて円形状領域のサイズを推定し、その後の円形状領域の算出処理における演算範囲を、このサイズに基づいて制限するので、演算量（計算コスト）を低減すると共に、円形状領域の誤検出を抑制することができる。
【００５１】
なお、上記説明においては、鏡面反射領域として、高輝度且つ白色の領域を抽出したが、高輝度領域又は白色領域のいずれかを抽出して鏡面反射領域として扱っても良い。
【００５２】
また、上記説明においては、ロバスト推定により円形状領域を推定したが、同様の手法により楕円形状領域を推定しても良い。
【００５３】
円形状領域１３０の評価のために用いられる評価値としては、上述した評価値Ｅ1以外にも、様々な値を用いることができる。以下、変形例１−１〜１−６において、評価値の例を説明する。
【００５４】
（変形例１−１）
変形例１−１に係る評価値Ｅ2は、図１４に示す境界領域１３２に含まれる全画素数Ｎと、その内のエッジ画素ＧEの個数ＮEDGとを用いて、次式（８）により与えられる。
Ｅ2＝（ＮEDG／Ｎ）×ｋ …（８）
式（８）において、ｋは所定の係数（定数）である。
この場合、評価値Ｅ2の値が所定の閾値よりも大きいときに、円形状領域１３０は生体内画像１２０内に実在する泡領域であると判定される。
【００５５】
（変形例１−２）
変形例１−２に係る評価値Ｅ3は、境界領域１３２に含まれる全画素数Ｎと、境界領域１３２における輝度値の合計値ＹSUMとを用いて、次式（９）により与えられる。なお、各画素の輝度値は、式（６）により算出される。
Ｅ3＝（ＹSUM／（Ｎ×ＹMAX））×ｋ …（９）
式（９）において、ＹMAXは、境界領域における輝度値の最大値である。
この場合、評価値Ｅ3の値が所定の閾値よりも大きいときに、円形状領域１３０は生体内画像１２０内に実在する泡領域であると判定される。
【００５６】
（変形例１−３）
或いは、境界領域のＲＧＢ値に基づいて評価値Ｅ4を算出しても良い。この場合、泡領域のＲＧＢ色範囲を予め取得して記憶部１４に格納しておく。
まず、境界領域１３２に含まれる各画素のＲ値、Ｇ値、及びＢ値を取得し、各色成分について画素間の平均値を算出する。それによって得られた平均Ｒ値、平均Ｇ値、及び平均Ｂ値と、泡領域のＲＧＢ色範囲とを比較し、色差ΔＥを算出する。評価値Ｅ4は、この色差ΔＥを用いて、次式（１０）により与えられる。
Ｅ4＝（１／ΔＥ）×ｋ …（１０）
この場合、評価値Ｅ4が所定の閾値よりも大きいときに、円形状領域１３０は生体内画像１２０内に実在する泡領域であると判定される。
【００５７】
（変形例１−４）
泡領域は、通常、円形状やその一部である円弧形状を有している。そこで、円形状領域１３０の形状的な情報（即ち、幾何学的に円弧の特徴を有しているか否か）に基づいて、円形状領域１３０が泡領域であるか否かを判定することも可能である。変形例１−４においては、そのような幾何学的な特徴として、境界領域１３２に含まれるエッジ画素の連続性を判定する。
【００５８】
具体的には、まず、図１４に示すように、境界領域１３２に含まれるエッジ画素ＧEの個数ＮEDG1（即ち、エッジの面積に相当）を取得する。また、境界領域１３２のエッジ画素ＧEの内、周囲８方向のいずれかに隣接するエッジ画素が存在するエッジ画素ＧEの個数ＮEDG2をカウントする。例えば、図１４に示すエッジ画素ＧE（１）の場合、右斜め上に隣接するエッジ画素が存在するため、カウントされる。一方、エッジ画素ＧE（２）の場合、周囲８方向には隣接するエッジ画素が存在しないため、カウントされない。
【００５９】
評価値Ｅ5は、これらの値ＮEDG1及びＮEDG2を用いて、次式（１１）により与えられる。
Ｅ5＝（ＮEDG1×（１−ｋ）＋ＮEDG2×ｋ）／Ｎ …（１１）
ここで、境界領域１３２に含まれる全画素数Ｎは、評価値を境界領域１３２のサイズで正規化するために用いられる。また、ｋは０＜ｋ＜１を満たす係数（定数）である。
【００６０】
この場合、評価値Ｅ5が所定の閾値よりも大きいときに、境界領域１３２に含まれるエッジ画素ＧEの連続性は高く、従って、円形状領域１３０は生体内画像１２０内に実在する泡領域であると判定される。
【００６１】
（変形例１−５）
泡領域の境界を示すエッジは、通常、円の中心座標について相対する円周上の位置に現れる。そこで、境界領域１３２に含まれるエッジ画素ＧEが、円形状領域１３０の中心座標について高い相対性を有する場合、そのエッジ画素ＧEは泡領域の境界を構成すると判断することができる。ここで、相対性が高いとは、円の中心座標に対して相対する位置に存在するエッジ画素の対が多いことを意味する。
【００６２】
具体的には、まず、図１５に示すように、境界領域１３２から抽出されたエッジ画素ＧEの個数ＮEDG1を取得する。また、境界領域１３２において、円形状領域１３０の中心座標Ｃ（ｘ，ｙ）について相対する位置に別のエッジ画素が存在するエッジ画素ＧEの個数ＮEDG3をカウントする。例えば図１５に示すエッジ画素ＧE（３）の場合、エッジ画素ＧE（３）を通る円形状領域１３０の直径上に別のエッジ画素ＧTが存在しているため、カウントされる。
【００６３】
評価値Ｅ6は、これらの値ＮEDG1及びＮEDG3を用いて、次式（１２）により与えられる。
Ｅ6＝（ＮEDG1×（１−ｋ）＋ＮEDG3×ｋ）／Ｎ …（１２）
式（１２）において、ｋは０＜ｋ＜１を満たす係数（定数）である。
【００６４】
この場合、評価値Ｅ6が所定の閾値よりも大きいときに、境界領域１３２に含まれるエッジ画素ＧEの相対性は高く、従って、円形状領域１３０は生体内画像１２０内に実在する泡領域であると判定される。
【００６５】
（変形例１−６）
円形状領域１３０の境界領域の形状情報を表す特徴量として、境界領域１３２におけるエッジ画素の円形性、即ち、幾何学的な円らしさを表す評価値を用いても良い。図１６は、境界領域１３２の一部を示す模式図である。特徴量の算出の際には、まず、境界領域１３２に含まれるエッジ画素ＧEの個数ＮEDG1をカウントする。また、各エッジ画素ＧEから円形状領域１３０の円周１３１までの距離ＬEを算出し、距離ＬEが所定の閾値以内にあるエッジ画素の個数ＮGCをカウントする。評価値Ｅ7は、これらの値ＮEDG1及びＮGCを用いて、次式（１３）により与えられる。
Ｅ7＝（ＮEDG1×（１−ｋ）＋ＮGC×ｋ）／Ｎ …（１３）
式（１３）において、ｋは０＜ｋ＜１を満たす係数（定数）である。
【００６６】
この場合、評価値Ｅ7が所定の閾値よりも大きいときに、境界領域１３２に含まれるエッジ画素ＧEの円形性は高く、従って、円形状領域１３０は生体内画像１２０内に実在する泡領域であると判定される。
【００６７】
（実施の形態２）
次に、本発明の実施の形態２について説明する。図１７は、実施の形態２に係る画像処理装置の構成を示すブロック図である。図１７に示すように、画像処理装置２は、演算部３０を備えている。その他の構成については、図１に示すものと同様である。
【００６８】
演算部３０は、初期候補点抽出部１６と、円形状領域検出部３１とを備える。この内、初期候補点抽出部１６の構成及び動作については、実施の形態１において説明したものと同様である。
【００６９】
円形状領域検出部３１は、初期候補点抽出部１６により抽出された初期候補点に基づき、ハフ（Hough）変換により円形状領域を検出する。より詳細には、円形状領域検出部３１は、円の半径と円の中心座標とからなるパラメータ空間に初期候補点を投票する投票部３２と、パラメータ空間における投票頻度に基づき、円形状領域を検出するための評価値を算出する投票評価値算出部３３と、評価値に基づいて円形状領域の判定を行う判定部３４とを備える。
【００７０】
図１８は、投票部３２の詳細な構成を示すブロック図である。投票部３２は、パラメータ空間に投票される初期候補点に与えられる重みを決定する重み決定部３２１と、パラメータ空間の範囲を決定するパラメータ空間範囲決定部３２２と、決定された範囲内で初期候補点をパラメータ空間に投票する初期候補点投票部３２３とを備える。
【００７１】
重み決定部３２１は、各初期候補点が有する情報に基づいて、泡と類似した特徴を有する初期候補点の重みが大きくなるように重みを決定する。例えば、重み決定部３２１は、各初期候補点の勾配強度に応じた重みを決定する。
【００７２】
パラメータ空間範囲決定部３２２は、生体内画像に映された被写体の奥行きを表す距離情報を算出する距離情報算出部３２２ａと、この距離情報に基づいて、検出対象とする円形状領域のサイズを推定する円形状領域サイズ推定部３２２ｂと、円形状領域のサイズに基づいてパラメータ空間の範囲を決定する範囲決定部３２２ｃとを有する。
【００７３】
次に、画像処理装置２の動作について説明する。図１９は、画像処理装置２の動作を示すフローチャートである。図１９に示すステップの内、ステップＳ１０〜Ｓ１４は、実施の形態１において説明したものと同様である。また、図２０に示す画像１３５には、生体内画像１２０（図６）から抽出された初期候補点ＧE（ｘ1，ｙ1）、ＧE（ｘ2，ｙ2）、ＧE（ｘ3，ｙ3）、…が示されている。
【００７４】
ステップＳ３１において、重み決定部３２１は、各初期候補点の勾配強度ｇ及び次式（１４）を用いて、当該初期候補点に与えられる重みＷ1を算出する。
Ｗ1＝（ｇ／ｇMAX）×ｋ …（１４）
式（１４）において、ｇMAXは処理対象である生体内画像における画素値の勾配強度の最大値であり、ｋは所定の係数（定数）である。この重みＷ1の値は、勾配強度ｇが大きいほど大きくなる。
【００７５】
ステップＳ３２において、距離情報算出部３２２ａは、生体内画像の距離情報（奥行き情報）を取得する。なお、距離情報の取得方法については、図５のステップＳ１５において説明したものと同様である。
【００７６】
ステップＳ３３において、円形状領域サイズ推定部３２２ｂは、距離情報及び図１１に示すテーブル１２８に基づいて、各初期候補点の画素位置における円形状領域のサイズを推定する。なお、円形状領域のサイズの推定方法については、図５のステップＳ１６において説明したものと同様である。
【００７７】
ステップＳ３４において、範囲決定部３２２ｃは、パラメータ空間の範囲を決定する。
図２１は、パラメータ空間を示す模式図である。この３次元パラメータ空間において、ａ軸は画像１３５のＸ軸に対応し、ｂ軸は画像１３５のＹ軸に対応している。また、ｒ軸は検出対象とする円形状領域の半径を表す。従って、ａ軸の範囲は、具体的には、最小値が０で、最大値が生体内画像のＸ方向におけるサイズとなる。また、ｂ軸の範囲は、最小値が０で、最大値が生体内画像のＹ方向におけるサイズとなる。さらに、ｒ軸の範囲については、ステップＳ３３において領域Ａ〜Ｄ（図１０参照）毎に推定された円形状領域のサイズの範囲（図１１参照）に基づいて決定される。即ち、領域Ａ〜Ｄについて推定された最小半径ｒMINの内の最小値ｒｉMINがｒ軸の最小値として設定され、領域Ａ〜Ｄについて推定された最大半径ｒMAXの内の最大値ｒｉMAXがｒ軸の最大値として設定される。
【００７８】
ステップＳ３５において、初期候補点投票部３２３は、初期候補点ＧEをパラメータ空間に投票する。具体的には、初期候補点投票部３２３は、まず、図２１に示すパラメータ空間を生成する。続いて、画像１３５から走査線方向に沿って初期候補点の座標ＧE（ｘn，ｙn）を順次抽出する。そして、パラメータ空間のｒ＝ｒm平面において、座標（ｘn，ｙn，ｒm）を中心とする半径ｒmの円周上に位置する点に、重みＷ1を付与して投票する。このような投票を、ｒの値（投票を行う平面及び半径の値）をｒｉMIN〜ｒｉMAXの範囲で、例えば１画素分ずつ変化させながら行う。
【００７９】
ステップＳ３６において、投票評価値算出部３３は、パラメータ空間における投票頻度に基づいて、円形状領域を検出するための評価値を算出する。ここで、図２１に示すｒm平面上の点Ｃ0は、Ｃ1（ｘ1，ｙ1，ｒm）、Ｃ2（ｘ2，ｙ2，ｒm）、Ｃ3（ｘ3，ｙ3，ｒm）を中心とする半径ｒmの円が交差している点である。言い換えれば、点Ｃ0は、これらの点Ｃ1、Ｃ2、Ｃ3から等距離にあるので、画像１３５において、点Ｃ0を中心とし、半径をｒmとする円形状領域の存在を推定することができる。即ち、パラメータ空間における投票頻度の高い座標（ａ，ｂ，ｒ）が、画像１３５における円形状領域を表す。
【００８０】
評価値としては、例えば、パラメータ空間の各ｒm平面に対してガウシアンフィルタ（参考：ＣＧ−ＡＲＴＳ協会：ディジタル画像処理、ｐ．１０８〜ｐ．１１０）等により平滑化処理を施してノイズを除去した後の処理結果（投票頻度）が用いられる。
【００８１】
ステップＳ３７において、判定部３４は、評価値が所定の閾値以上であるパラメータ空間上の座標（ａ，ｂ，ｒ）を抽出し、この座標に対応する画像１３５上の領域（即ち、円の中心座標及び半径）を円形状領域として検出する。
【００８２】
さらに、ステップＳ３８において、円形状領域検出部３１は、検出された円形状領域に関する情報（円形状の中心座標及び半径、並びに、そこに含まれる画素の画素値等）を出力し、泡領域を表す情報として記憶部１４に格納させる。
【００８３】
以上説明したように、実施の形態２によれば、生体内画像から抽出されたエッジ画素の座標をパラメータ空間に投票し、その投票頻度に基づいて円形状領域を検出するので、演算量を低減しつつ、泡領域を表す円形状領域の検出精度を向上させることが可能となる。
【００８４】
また、実施の形態２によれば、パラメータ空間への投票時に初期候補点に与えられる重みを、泡と類似した特徴を持つ初期候補点ほど大きくするので、泡領域の特徴を有する円形状領域が検出され易くなると共に、誤検出を抑制することが可能となる。
【００８５】
なお、上記説明においては、ハフ変換により円形状領域を検出したが、同様の手法により楕円形状領域を検出することもできる。この場合、楕円の中心座標（ａ，ｂ）、長径、及び短径に対応する４次元のパラメータ空間に初期候補点を投票すれば良い。
【００８６】
（変形例２−１）
重み決定部３２１において決定される重みは、初期候補点の勾配強度以外の特徴量を用いて決定しても良い。例えば、式（６）を用いて各初期候補点について算出された輝度値と、次式（１５）とを用いて、重みＷ2を決定しても良い。
Ｗ2＝（Ｙ／ＹMAX）×ｋ …（１５）
式（１５）において、ＹMAXは、初期候補点の内の輝度値の最大値である。なお、ｋは所定の係数（定数）である。
【００８７】
（変形例２−２）
或いは、各初期候補点の色情報に基づいて、重みを決定しても良い。例えば、各初期候補点におけるＲ値、Ｇ値、及びＢ値を取得し、これらの値と泡領域のＲＧＢ色範囲とを比較して、色差ΔＥを算出する。次いで、次式（１６）を用いて、重みＷ3を算出する。この重みＷ3は、色差ΔＥが小さいほど大きな値となる。
Ｗ3＝（１／ΔＥ）×ｋ …（１６）
なお、泡領域のＲＧＢ色範囲は、予め記憶部１４に格納しておく。また、ｋは所定の係数（定数）である。
【００８８】
（実施の形態３）
次に、本発明の実施の形態３について説明する。図２２は、実施の形態３に係る画像処理装置の構成を示すブロック図である。図２２に示すように、画像処理装置３は、演算部４０を備える。その他の構成については、図１に示すものと同様である。
【００８９】
演算部４０は、初期候補点抽出部１６及び円形状領域検出部１７に加えて、更に、生体内画像を複数の領域に分割する領域分割部４１と、各分割領域の全体に泡領域が存在するか否かを判定する領域判定部４２を備える。なお、初期候補点抽出部１６及び円形状領域検出部１７の構成及び動作については、実施の形態１において説明したものと同様である。
【００９０】
ここで、生体内画像において、類似した特徴（色やテクスチャ等の特徴）を有する領域同士は、同一のカテゴリー（例えば、粘膜領域、泡領域等）である場合が多い。そこで、実施の形態３においては、生体内画像を色情報等の特徴量に基づいて複数の領域に分割し、個別に検出された円形状領域が所定の割合以上を占める分割領域について、その分割領域全体に泡領域が存在するとみなすことにより、個別には円形状を検出することができなかった領域も、泡領域として検出できるようにしている。
【００９１】
図２３は、画像処理装置３の動作を示すフローチャートである。
まず、ステップＳ１０において、画像処理装置３は生体内画像を取得する。なお、このステップの詳細については実施の形態１において説明したものと同様である。
【００９２】
続くステップＳ４１において、領域分割部４１は、図２４に示すように、生体内画像１３６を複数の領域１３７、１３８に分割する。分割方法としては、既知の様々な方法を用いて良い。例えば、類似した特徴量（画素値、テクスチャ特徴量等）を有し、且つ空間的に近接する画素を集合として領域を分割する領域統合法（参考：ＣＧ-ＡＲＴＳ協会、ディジタル画像処理、ｐ．１９６）や、クラスタリング手法の１つであるＫ-ｍｅａｎｓ法（参考：ＣＧ−ＡＲＴＳ協会、ディジタル画像処理、ｐ．２３２）等を用いることができる。
【００９３】
ステップＳ４２において、初期候補点抽出部１６は、生体内画像１３６から初期候補点を抽出する。なお、初期候補点の抽出方法は、図５のステップＳ１１〜Ｓ１４において説明したものと同様である。
【００９４】
ステップＳ４３において、円形状領域検出部１７は、抽出された初期候補点に基づいて、円形状領域１３９を検出する。なお、円形状領域の検出方法は、図５のステップＳ１５〜Ｓ２３において説明したものと同様である。
【００９５】
ステップＳ４４において、領域判定部４２は、円形状領域の検出結果に基づいて、各分割領域１３７、１３８全体に泡領域が存在するか否かの判定を行う。即ち、領域判定部４２は、まず、各分割領域の面積（又は画素数）ｓ1と、各分割領域内において検出された円形状領域の総面積（又は画素数）ｓ2とを取得し、分割領域の面積ｓ1に占める円形状領域の面積ｓ2の割合（面積率）ｓ2／ｓ1を算出する。この面積率ｓ2／ｓ1が所定の閾値以上である場合、その分割領域全体に泡領域が存在すると判定する。一方、この面積率ｓ2／ｓ1が所定の閾値より小さい場合、その分割領域全体に泡領域が存在するわけではないと判定する。例えば分割領域１３７の場合、泡領域と判定された領域が占める割合は低い(ゼロ)ので、泡領域は存在しないと判定される。一方、分割領域１３８の場合、円形状領域１３９の占める割合が高いので、分割領域１３８全体に泡領域が存在すると判定される。
【００９６】
以上説明したように、実施の形態３においては、類似する特徴量に基づいて分割された領域全体に泡領域が存在するか否かを、個別に円形状領域と判定された領域が占める割合に基づいて判定する。そのため、直接的には円形状が検出されなかった領域であっても、泡領域として抽出することが可能となる。
【００９７】
なお、演算部４０においては、円形状領域検出部１７の代わりに、実施の形態２において説明した円形状領域検出部３１を用いても良い。この場合、ステップＳ４３においては、図１９のステップＳ３１〜Ｓ３８と同様にして円形状領域を検出する。
【００９８】
以上説明した実施の形態１〜３に係る画像処理装置は、記録媒体に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することにより実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク、広域エリアネットワーク（ＬＡＮ／ＷＡＮ）、又は、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１〜３に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続された種々の出力機器（ビュアーやプリンタ等）に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置（記録媒体及びその読取装置等）に画像処理結果を格納するようにしても良い。
【００９９】
なお、本発明は、実施の形態１〜３及びそれらの変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。
【符号の説明】
【０１００】
１、２、３ 画像処理装置
１０ 制御部
１１ 画像取得部
１２ 入力部
１３ 表示部
１４ 記憶部
１４１ 画像処理プログラム
１５、３０、４０ 演算部
１６ 初期候補点抽出部
１６１ 勾配強度算出部
１６１ａ 凸部勾配強度算出部
１６２ エッジ検出部
１６３ 鏡面反射領域検出部
１６３ａ 高輝度領域検出部
１６３ｂ 白色領域検出部
１７ 円形状領域検出部
１８ 推定用候補点抽出部
１８１ 円形状領域記億部
１８２ 円形状領域サイズ推定部
１９ 円形状推定部
２０ 評価値算出部
２０１ 境界領域抽出部
２０２ 境界領域情報算出部
２１ 判定部
３１ 円形状領域検出部
３２ 投票部
３２１ 重み決定部
３２２ パラメータ空間範囲決定部
３２２ａ 距離情報算出部
３２２ｂ 円形状領域サイズ推定部
３２２ｃ 範囲決定部
３２３ 初期候補点投票部
３３ 投票評価値算出部
３４ 判定部
４１ 領域分割部
４２ 領域判定部
１００ 泡
１０１ 膜
１０２ 気体
１１０ 泡領域
１１１、１３２ 境界領域
１１２ 内部領域
１１３ 鏡面反射領域
１２０、１３６ 生体内画像
１２１ 粘膜領域
１２２ 領域
１２５、１２６、１３５ 画像
１２７ 円に内包される領域
１２８ テーブル
１３０、１３９ 円形状領域
１３１ 円周
１３７、１３８ 分割領域
【特許請求の範囲】
【請求項１】
画像から、泡を表す円形状領域を構成する点の候補である候補点を抽出する候補点抽出手段と、
前記候補点が有する情報に基づいて、前記画像内の円形状領域を検出する円形状領域検出手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記候補点抽出手段は、泡領域が有する内部構造に基づいて前記候補点を抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記候補点抽出手段は、
前記画像に含まれる各画素における画素値の勾配強度を算出する勾配強度算出手段と、
前記勾配強度に基づいてエッジを検出するエッジ検出手段と、
を備えることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記勾配強度算出手段は、前記各画素について、画素値の勾配が凸となる方向における勾配強度を算出する凸部勾配強度算出手段を有することを特徴とする請求項３に記載の画像処置装置。
【請求項５】
前記候補点抽出手段は、前記画像から、泡に照明光が照射された際に鏡面反射した領域を検出する鏡面反射領域検出手段を備えることを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記鏡面反射領域検出手段は、前記画像から、所定値以上の輝度を有する高輝度領域を検出する高輝度領域検出手段を有することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記鏡面反射領域検出手段は、前記画像から、白色を表す色範囲に含まれる画素値を有する画素を検出する白色領域検出手段を有することを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記円形状領域検出手段は、
前記候補点抽出手段により抽出された候補点の内から、円形状領域の推定に用いられる複数の推定用候補点を抽出する推定用候補点抽出手段と、
前記推定用候補点抽出手段により抽出された前記複数の推定用候補点に基づいて、円形状領域を推定する円形状推定手段と、
前記円形状領域が有する情報に基づいて、当該円形状領域が前記画像内に実在するか否かを判定するための評価値を算出する評価値算出手段と、
前記評価値に基づいて、前記円形状領域が前記画像内に実在するか否かの判定を行う判定手段と、
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記判定手段により前記画像内に実在すると判定された円形状領域に関する情報を記憶する記憶手段をさらに備え、
前記推定用候補点抽出手段は、前記記憶手段に記憶された円形状領域よりも外側の領域から前記複数の推定用候補点を抽出することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記推定用候補点抽出手段は、前記円形状領域の大きさを推定する円形状領域サイズ推定手段を有することを特徴とする請求項８に記載の画像処理装置。
【請求項１１】
前記円形状領域サイズ推定手段は、前記画像に含まれる各画素の画素値に基づいて、前記画像に映された被写体の奥行きを表す距離情報を算出し、該距離情報に基づいて前記円形状領域の大きさを推定することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記評価値算出手段は、
前記円形状領域の周縁部に含まれる境界領域を抽出する境界領域抽出手段と、
前記境界領域に含まれる画素に関する情報を取得する境界領域情報算出手段と、
を備えることを特徴とする請求項９に記載の画像処理装置。
【請求項１３】
前記境界領域情報算出手段は、前記境界領域に含まれる画素における画素値の勾配強度の平均値を算出することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記境界領域情報算出手段は、前記境界領域に含まれるエッジ画素の個数をカウントすることを特徴とする請求項１２に記載の画像処理装置。
【請求項１５】
前記境界領域情報算出手段は、前記境界領域に含まれる画素の輝度値の平均値を算出することを特徴とする請求項１２に記載の画像処理装置。
【請求項１６】
前記境界領域情報算出手段は、前記境界領域に含まれる画素の色情報を取得することを特徴とする請求項１２に記載の画像処理装置。
【請求項１７】
前記境界領域情報算出手段は、前記境界領域に含まれるエッジ画素の形状を表す情報を算出することを特徴とする請求項１２に記載の画像処理装置。
【請求項１８】
前記境界領域情報算出手段は、前記エッジ画素の連続性を表す評価値を算出することを特徴とする請求項１７に記載の画像処理装置。
【請求項１９】
前記境界領域情報算出手段は、前記境界領域において隣接するエッジ画素が存在するエッジ画素の数をカウントすることを特徴とする請求項１８に記載の画像処理装置。
【請求項２０】
前記境界領域情報算出手段は、前記境界領域に含まれるエッジ画素の前記円形状領域の中心座標についての相対性を表す評価値を算出することを特徴とする請求項１７に記載の画像処理装置。
【請求項２１】
前記境界領域情報算出手段は、前記境界領域において、前記円形状領域の中心座標に対して相対する位置に別のエッジ画素が存在するエッジ画素の数をカウントすることを特徴とする請求項２０に記載の画像処理装置。
【請求項２２】
前記境界領域情報算出手段は、前記境界領域に含まれるエッジ画素の円形性を表す評価値を算出することを特徴とする請求項１７に記載の画像処理装置。
【請求項２３】
前記境界領域情報算出手段は、前記円形状領域の円周と前記境界領域に含まれるエッジ画素との間の距離を算出することを特徴とする請求項２２に記載の画像処理装置。
【請求項２４】
前記円形状領域検出手段は、
前記候補点を、円の半径と円の中心座標とからなるパラメータ空間に投票する投票手段と、
前記パラメータ空間における投票頻度に基づいて円形状領域を検出するための評価値を算出する投票評価値算出手段と、
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項２５】
前記投票手段は、前記パラメータ空間に投票される前記候補点に与えられる重みを、該候補点が有する情報に基づいて決定する重み決定手段を備えることを特徴とする請求項２４に記載の画像処理装置。
【請求項２６】
前記重み決定手段は、前記候補点における画素値の勾配強度に基づいて前記重みを決定することを特徴とする請求項２５に記載の画像処理装置。
【請求項２７】
前記重み決定手段は、前記候補点における画素の輝度値に基づいて前記重みを決定することを特徴とする請求項２５に記載の画像処理装置。
【請求項２８】
前記重み決定手段は、前記候補点における画素が有する色情報に基づいて前記重みを決定することを特徴とする請求項２５に記載の画像処理装置。
【請求項２９】
前記投票手段は、前記パラメータ空間の範囲を決定するパラメータ空間範囲決定手段を備えることを特徴とする請求項２４に記載の画像処理装置。
【請求項３０】
前記パラメータ空間範囲決定手段は、
前記画像に映された被写体の奥行きを表す距離情報を算出する距離情報算出手段と、
前記距離情報に基づいて、検出対象とする円形状領域の大きさを推定する円形状領域サイズ推定手段と、
を備えることを特徴とする請求項２９に記載の画像処理装置。
【請求項３１】
前記画像を複数の領域に分割する領域分割手段と、
各分割領域内における円形状領域の検出結果に基づいて、当該分割領域全体に泡領域が存在するか否かを判定する領域判定手段と、
をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３２】
前記画像は、生体の管腔内を撮像した生体内画像であることを特徴とする請求項１に記載の画像処理装置。
【請求項３３】
候補点抽出手段により、画像から、泡を表す円形状領域を構成する点の候補である候補点を抽出する候補点抽出ステップと、
円形状領域検出手段により、前記候補点が有する情報に基づいて、前記画像内の円形状領域を検出する円形状領域検出ステップと、
を含むことを特徴とする画像処理方法。
【請求項３４】
候補点抽出手段により、画像から、泡を表す円形状領域を構成する点の候補である候補点を抽出する候補点抽出ステップと、
円形状領域検出手段により、前記候補点が有する情報に基づいて、前記画像内の円形状領域を検出する円形状領域検出ステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１】
画像から、泡を表す円形状領域を構成する点の候補である候補点を抽出する候補点抽出手段と、
前記候補点が有する情報に基づいて、前記画像内の円形状領域を検出する円形状領域検出手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記候補点抽出手段は、泡領域が有する内部構造に基づいて前記候補点を抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記候補点抽出手段は、
前記画像に含まれる各画素における画素値の勾配強度を算出する勾配強度算出手段と、
前記勾配強度に基づいてエッジを検出するエッジ検出手段と、
を備えることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記勾配強度算出手段は、前記各画素について、画素値の勾配が凸となる方向における勾配強度を算出する凸部勾配強度算出手段を有することを特徴とする請求項３に記載の画像処置装置。
【請求項５】
前記候補点抽出手段は、前記画像から、泡に照明光が照射された際に鏡面反射した領域を検出する鏡面反射領域検出手段を備えることを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記鏡面反射領域検出手段は、前記画像から、所定値以上の輝度を有する高輝度領域を検出する高輝度領域検出手段を有することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記鏡面反射領域検出手段は、前記画像から、白色を表す色範囲に含まれる画素値を有する画素を検出する白色領域検出手段を有することを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記円形状領域検出手段は、
前記候補点抽出手段により抽出された候補点の内から、円形状領域の推定に用いられる複数の推定用候補点を抽出する推定用候補点抽出手段と、
前記推定用候補点抽出手段により抽出された前記複数の推定用候補点に基づいて、円形状領域を推定する円形状推定手段と、
前記円形状領域が有する情報に基づいて、当該円形状領域が前記画像内に実在するか否かを判定するための評価値を算出する評価値算出手段と、
前記評価値に基づいて、前記円形状領域が前記画像内に実在するか否かの判定を行う判定手段と、
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記判定手段により前記画像内に実在すると判定された円形状領域に関する情報を記憶する記憶手段をさらに備え、
前記推定用候補点抽出手段は、前記記憶手段に記憶された円形状領域よりも外側の領域から前記複数の推定用候補点を抽出することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記推定用候補点抽出手段は、前記円形状領域の大きさを推定する円形状領域サイズ推定手段を有することを特徴とする請求項８に記載の画像処理装置。
【請求項１１】
前記円形状領域サイズ推定手段は、前記画像に含まれる各画素の画素値に基づいて、前記画像に映された被写体の奥行きを表す距離情報を算出し、該距離情報に基づいて前記円形状領域の大きさを推定することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記評価値算出手段は、
前記円形状領域の周縁部に含まれる境界領域を抽出する境界領域抽出手段と、
前記境界領域に含まれる画素に関する情報を取得する境界領域情報算出手段と、
を備えることを特徴とする請求項９に記載の画像処理装置。
【請求項１３】
前記境界領域情報算出手段は、前記境界領域に含まれる画素における画素値の勾配強度の平均値を算出することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記境界領域情報算出手段は、前記境界領域に含まれるエッジ画素の個数をカウントすることを特徴とする請求項１２に記載の画像処理装置。
【請求項１５】
前記境界領域情報算出手段は、前記境界領域に含まれる画素の輝度値の平均値を算出することを特徴とする請求項１２に記載の画像処理装置。
【請求項１６】
前記境界領域情報算出手段は、前記境界領域に含まれる画素の色情報を取得することを特徴とする請求項１２に記載の画像処理装置。
【請求項１７】
前記境界領域情報算出手段は、前記境界領域に含まれるエッジ画素の形状を表す情報を算出することを特徴とする請求項１２に記載の画像処理装置。
【請求項１８】
前記境界領域情報算出手段は、前記エッジ画素の連続性を表す評価値を算出することを特徴とする請求項１７に記載の画像処理装置。
【請求項１９】
前記境界領域情報算出手段は、前記境界領域において隣接するエッジ画素が存在するエッジ画素の数をカウントすることを特徴とする請求項１８に記載の画像処理装置。
【請求項２０】
前記境界領域情報算出手段は、前記境界領域に含まれるエッジ画素の前記円形状領域の中心座標についての相対性を表す評価値を算出することを特徴とする請求項１７に記載の画像処理装置。
【請求項２１】
前記境界領域情報算出手段は、前記境界領域において、前記円形状領域の中心座標に対して相対する位置に別のエッジ画素が存在するエッジ画素の数をカウントすることを特徴とする請求項２０に記載の画像処理装置。
【請求項２２】
前記境界領域情報算出手段は、前記境界領域に含まれるエッジ画素の円形性を表す評価値を算出することを特徴とする請求項１７に記載の画像処理装置。
【請求項２３】
前記境界領域情報算出手段は、前記円形状領域の円周と前記境界領域に含まれるエッジ画素との間の距離を算出することを特徴とする請求項２２に記載の画像処理装置。
【請求項２４】
前記円形状領域検出手段は、
前記候補点を、円の半径と円の中心座標とからなるパラメータ空間に投票する投票手段と、
前記パラメータ空間における投票頻度に基づいて円形状領域を検出するための評価値を算出する投票評価値算出手段と、
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項２５】
前記投票手段は、前記パラメータ空間に投票される前記候補点に与えられる重みを、該候補点が有する情報に基づいて決定する重み決定手段を備えることを特徴とする請求項２４に記載の画像処理装置。
【請求項２６】
前記重み決定手段は、前記候補点における画素値の勾配強度に基づいて前記重みを決定することを特徴とする請求項２５に記載の画像処理装置。
【請求項２７】
前記重み決定手段は、前記候補点における画素の輝度値に基づいて前記重みを決定することを特徴とする請求項２５に記載の画像処理装置。
【請求項２８】
前記重み決定手段は、前記候補点における画素が有する色情報に基づいて前記重みを決定することを特徴とする請求項２５に記載の画像処理装置。
【請求項２９】
前記投票手段は、前記パラメータ空間の範囲を決定するパラメータ空間範囲決定手段を備えることを特徴とする請求項２４に記載の画像処理装置。
【請求項３０】
前記パラメータ空間範囲決定手段は、
前記画像に映された被写体の奥行きを表す距離情報を算出する距離情報算出手段と、
前記距離情報に基づいて、検出対象とする円形状領域の大きさを推定する円形状領域サイズ推定手段と、
を備えることを特徴とする請求項２９に記載の画像処理装置。
【請求項３１】
前記画像を複数の領域に分割する領域分割手段と、
各分割領域内における円形状領域の検出結果に基づいて、当該分割領域全体に泡領域が存在するか否かを判定する領域判定手段と、
をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３２】
前記画像は、生体の管腔内を撮像した生体内画像であることを特徴とする請求項１に記載の画像処理装置。
【請求項３３】
候補点抽出手段により、画像から、泡を表す円形状領域を構成する点の候補である候補点を抽出する候補点抽出ステップと、
円形状領域検出手段により、前記候補点が有する情報に基づいて、前記画像内の円形状領域を検出する円形状領域検出ステップと、
を含むことを特徴とする画像処理方法。
【請求項３４】
候補点抽出手段により、画像から、泡を表す円形状領域を構成する点の候補である候補点を抽出する候補点抽出ステップと、
円形状領域検出手段により、前記候補点が有する情報に基づいて、前記画像内の円形状領域を検出する円形状領域検出ステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２０１２−１２５４６９（Ｐ２０１２−１２５４６９Ａ）
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願番号】特願２０１０−２８０７１６（Ｐ２０１０−２８０７１６）
【出願日】平成２２年１２月１６日（２０１０．１２．１６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願日】平成２２年１２月１６日（２０１０．１２．１６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]