画像処理装置、画像処理方法、及び画像処理プログラム
【課題】管腔内画像において粘膜領域と残渣等の非粘膜領域とをより高い精度で判別することができる画像処理装置等を提供する。
【解決手段】画像処理装置は、管腔内画像に含まれる粘膜領域と非粘膜領域とを判別する画像処理装置において、管腔内画像を構成する各画素の特徴量に基づいて、粘膜領域であるか否かの判別対象とする残渣候補領域を検出する残渣候補領域検出部１６と、管腔内画像に含まれる構造エッジを検出する構造エッジ領域検出部１７と、構造エッジと残渣候補領域との相対的な位置関係に基づいて、残渣候補領域が粘膜領域であるか否かを判別する近似構造エッジ線算出部１８及び交差判定部１９とを備える。
【解決手段】画像処理装置は、管腔内画像に含まれる粘膜領域と非粘膜領域とを判別する画像処理装置において、管腔内画像を構成する各画素の特徴量に基づいて、粘膜領域であるか否かの判別対象とする残渣候補領域を検出する残渣候補領域検出部１６と、管腔内画像に含まれる構造エッジを検出する構造エッジ領域検出部１７と、構造エッジと残渣候補領域との相対的な位置関係に基づいて、残渣候補領域が粘膜領域であるか否かを判別する近似構造エッジ線算出部１８及び交差判定部１９とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、管腔内を撮像した管腔内画像を処理する画像処理装置、画像処理方法、及び画像処理プログラムに関するものである。
【背景技術】
【０００２】
従来から、患者等の被検者の体内に導入されて、管腔内を非侵襲に観察する医用観察装置として、内視鏡が広く普及している。近年では、カプセル型の筐体内部に撮像装置及び通信装置等を収容し、撮像装置により撮像された画像データを体外に無線送信する飲み込み型の内視鏡（カプセル内視鏡）も開発されている。このような医用観察装置によって撮像された一連の画像（管腔内画像）は膨大な数（数万枚以上）に上ると共に、各管腔内画像に対する観察及び診断には多くの経験が必要とされる。そのため、医師による診断を補助する医療診断支援機能が望まれている。この機能を実現する画像認識技術の１つとして、管腔内画像から異常部を自動的に検出して、重点的に診断すべき画像を示す技術が提案されている。
【０００３】
ところで、画像認識によって異常部を検出する際には、前処理として、残渣等が映された観察不要な領域（不要領域）を除去して、粘膜領域を抽出することが重要となる。例えば特許文献１には、生体粘膜を撮像した画像に対して設定された所定の処理対象領域において、画素の色調特徴量に基づいて特定の生体粘膜の存在を検出する画像処理方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１６６９３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、色情報のみを用いて不要領域を検出する場合、白色病変部のように、残渣等と色が類似する領域が、粘膜領域であるにもかかわらず不要領域として除去されてしまうことがある。
【０００６】
本発明は、上記に鑑みてなされたものであって、管腔内画像において粘膜領域と残渣等の非粘膜領域とをより高い精度で判別することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、管腔内画像に含まれる粘膜領域と非粘膜領域とを判別する画像処理装置において、管腔内画像を構成する各画素の特徴量に基づいて、粘膜領域であるか否かの判別対象とする候補領域を検出する候補領域検出手段と、前記管腔内画像に含まれる構造エッジを検出する構造エッジ検出手段と、前記構造エッジと前記候補領域との相対的な位置関係に基づいて、前記候補領域が粘膜領域であるか否かを判別する領域判別手段とを備えることを特徴とする。
【０００８】
本発明に係る画像処理方法は、管腔内画像に含まれる粘膜領域と非粘膜領域とを判別する画像処理方法において、管腔内画像における各画素の特徴量に基づいて、非粘膜領域の候補となる候補領域を検出する候補領域検出ステップと、前記管腔内画像に含まれる構造エッジを検出する構造エッジ検出ステップと、前記構造エッジと前記候補領域との相対的な位置関係に基づいて、前記候補領域が粘膜領域であるか否かを判別する領域判別ステップとを含むことを特徴とする。
【０００９】
本発明に係る画像処理プログラムは、管腔内画像に含まれる粘膜領域と非粘膜領域とを判別する画像処理プログラムにおいて、管腔内画像における各画素の特徴量に基づいて、非粘膜領域の候補となる候補領域を検出する候補領域検出手順と、前記管腔内画像に含まれる構造エッジを検出する構造エッジ検出手順と、前記構造エッジと前記候補領域との相対的な位置関係に基づいて、前記候補領域が粘膜領域であるか否かを判別する領域判別手順とをコンピュータに実行させる。
【発明の効果】
【００１０】
本発明によれば、管腔内画像から非粘膜領域の候補領域を画素値に基づいて検出し、この候補領域が粘膜領域であるか否かを、管腔内画像に含まれる構造エッジと上記候補領域のとの相対的な位置関係に基づいて判別するので、色情報のみを用いる場合と比較して、より高い精度で粘膜領域と非粘膜領域とを判別することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図２】図２は、図１に示す画像処理装置の動作を示すフローチャートである。
【図３】図３は、管腔内画像の一例を示す模式図である。
【図４】図４は、管腔内画像内の構造エッジの検出処理を示すフローチャートである。
【図５】図５は、残渣候補領域と近似構造エッジ線との位置関係を示す図である。
【図６】図６は、近似構造エッジ線の算出方法の一例を示す図である。
【図７】図７は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。
【図８】図８は、図７に示す画像処理装置が実行する残渣候補領域の判別処理を示すフローチャートである。
【図９】図９は、近似構造エッジ線と残渣候補領域との交差状態の判別方法を説明する図である。
【図１０】図１０は、本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。
【図１１】図１１は、図１０に示す画像処理装置が実行する残渣候補領域の判別処理を示すフローチャートである。
【図１２】図１２は、近似構造エッジ線と残渣候補領域との交差状態の判定方法を説明する図である。
【図１３】図１３は、本発明の実施の形態４に係る画像処理装置の構成を示すブロック図である。
【図１４】図１４は、図１３に示す画像処理装置に動作を示すフローチャートである。
【図１５】図１５は、処理対象である管腔内画像の一例を示す模式図である。
【図１６】図１６は、図１３に示す画像処理装置が実行する残渣候補領域周辺の構造エッジの検出処理を示すフローチャートである。
【図１７】図１７は、正規化された周囲相似曲線が投影された特徴空間を示す模式図である。
【図１８】図１８は、特徴空間において抽出されたエッジ座標の連続性を判定する方法を説明する図である。
【図１９】図１９は、連続性があるエッジ座標を管腔内画像上の座標に変換した例を示す模式図である。
【図２０】図２０は、図１３に示す相似曲線算出部が実行する複数の周囲相似曲線の算出処理を示すフローチャートである。
【図２１】図２１は、図１３に示す連続性判定部が実行する連続性あるエッジ座標の検出処理を示すフローチャートである。
【図２２】図２２は、連続性があるエッジ座標の検出処理において設定される探索範囲の変形例を説明する図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態に係る画像処理装置について、図面を参照しながら説明する。なお、これら実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
【００１３】
以下に説明する実施の形態に係る画像処理装置は、例えば内視鏡やカプセル内視鏡等の医用観察装置によって被検者の体内（管腔内）を撮像した管腔内画像を処理するものであり、具体的には、管腔内画像に対して、観察（診断）対象とする粘膜領域と、観察対象としない非粘膜領域（例えば残渣領域）とを判別する処理を行う。また、以下の実施の形態において画像処理を施される管腔内画像は、例えば、各画素においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分に対する画素レベル（画素値）を持つカラー画像である。
【００１４】
本出願において、非粘膜領域とは、管腔内画像の画面において粘膜領域に重なって（即ち、粘膜領域よりも手前側に）映し出された粘膜以外の領域のことを言う。具体的には、粘膜に付着した残渣領域や、粘膜から離れて浮遊する残渣（浮遊残渣とも呼ばれる）領域等が含まれる。本出願においては、このような残渣領域を、観察対象とならない不要領域としている。
【００１５】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。図１に示すように、画像処理装置１は、画像処理装置１全体の動作を制御する制御部１０と、画像取得部１１と、入力部１２と、表示部１３と、記録部１４と、演算部１５とを備える。
【００１６】
画像取得部１１は、医用観察装置によって撮像された管腔内画像の画像データを取得する。画像取得部１１は、医用観察装置を含むシステムの態様に応じて適宜構成される。例えば、医用観察装置がカプセル内視鏡であり、医用観察装置との間の画像データの受け渡しに可搬型の記録媒体が使用される場合、画像取得部１１は、この記録媒体を着脱自在に装着し、保存された管腔内画像の画像データを読み出すリーダ装置で構成される。また、医用観察装置によって撮像された管腔内画像の画像データを保存しておくサーバを設置する場合、画像取得部１１は、サーバと接続される通信装置等で構成され、サーバとデータ通信を行って管腔内画像の画像データを取得する。或いは、画像取得部１１を、内視鏡等の医用観察装置から、ケーブルを介して画像信号を入力するインターフェース装置等で構成しても良い。
【００１７】
入力部１２は、例えばキーボードやマウス、タッチパネル、各種スイッチ等によって実現され、入力信号を制御部１０に出力する。
表示部１３は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現され、制御部１０の制御の下で、管腔内画像を含む各種画面を表示する。
【００１８】
記録部１４は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、ＣＤ−ＲＯＭ等の情報記録媒体及びその読取装置等によって実現される。記録部１４は、画像取得部１１によって取得された管腔内画像の画像データの他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。具体的には、管腔内画像から非粘膜領域を識別するための画像処理プログラム１４１を格納する。
【００１９】
演算部１５は、ＣＰＵ等のハードウェアによって実現され、画像処理プログラム１４１を読み込むことにより、管腔内画像の画像データを処理して非粘膜領域を識別するための種々の演算処理を行う。演算部１５は、残渣候補領域検出部１６と、構造エッジ領域検出部１７と、残渣領域判別手段としての近似構造エッジ線算出部１８及び交差判定部１９とを有する。
【００２０】
残渣候補領域検出部１６は、残渣領域であるか否かの判別対象である候補領域を、色特徴量に基づいて検出する。具体的には、残渣候補領域検出部１６は、まず、管腔内画像を類似した色ごとに領域分割すると共に、各画素についてＲ値、Ｇ／Ｒ値、Ｂ／Ｇ値を算出する。そして、分割された各領域について、平均Ｒ値、平均Ｇ／Ｒ値、及び平均Ｂ／Ｇ値を算出する。次いで、これらの平均Ｒ値、平均Ｇ／Ｒ値、及び平均Ｂ／Ｇ値を、Ｒ値−Ｇ／Ｒ値−Ｂ／Ｇ値の３軸からなる特徴空間に写像する。残渣候補領域検出部１６は、この特徴空間において、これらの平均値を閾値処理することにより、候補領域を検出する。なお、候補領域の検出方法としては、上記説明をした方法に限定されず、例えば、Ｒ値、Ｇ値、Ｂ値をＨＳＩ色空間に写像し、Ｈ値（色相の値）を閾値処理する等、色特徴量に基づいて検出する方法であれば既知の様々な方法を用いても良い。
【００２１】
構造エッジ領域検出部１７は、管腔内画像に含まれる構造エッジ領域を検出する。ここで、管腔内画像には、粘膜間の溝等による構造エッジや、粘膜面とは吸光特性が異なる血管領域等による色エッジが存在する。構造エッジ領域検出部１７は、この内の構造エッジを、色成分毎の微分強度の相対関係に基づいて抽出する。構造エッジ領域検出部１７は、管腔内画像を構成する各画素の第１の色成分（例えば、Ｒ成分）を用いて第１の微分強度を算出する第１微分強度算出部１７１と、各画素の第２の色成分（例えば、Ｇ成分）を用いて第２の微分強度を算出する第２微分強度算出部１７２と、第１及び第２の色成分の強度比に基づいて第２の微分強度を正規化する正規化処理部１７３と、第１の微分強度及び正規化された第２の微分強度が所定の閾値以上であるか否かを判別する閾値処理部１７４とを有する。
【００２２】
残渣領域判別手段としての近似構造エッジ線算出部１８及び交差判定部１９は、残渣候補領域が残渣領域であるか否かを、当該残渣候補領域と構造エッジとの相対的な位置関係に基づいて判別する。
【００２３】
近似構造エッジ線算出部１８は、検出された構造エッジの近似線（近似構造エッジ線）を算出する。近似構造エッジ線算出部１８は、残渣候補領域近傍（例えば、残渣候補領域と一部が交差又は接する程度）において検出された構造エッジをラベリングするラベリング処理部１８１と、ラベリングされた各構造エッジについて近似関数を算出する関数近似部１８２とを含む。
【００２４】
交差判定部１９は、近似構造エッジ線が残渣候補領域と交差するか否かを判定し、両者の交差状態に基づいて残渣候補領域が残渣領域であるか否かを判別する。
【００２５】
制御部１０は、ＣＰＵ等のハードウェアによって実現され、記録部１４に格納された各種プログラムを読み込むことにより、画像取得部１１から入力される画像データや入力部１２から入力される操作信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。
【００２６】
次に、画像処理装置１の動作について、図２及び図３を参照しながら説明する。図２は、画像処理装置１の動作を示すフローチャートである。また、図３は、カプセル内視鏡によって撮像され、画像処理装置１によって処理される管腔内画像の一例を示す模式図である。
【００２７】
まず、ステップＳ１０において、画像処理装置１は、外部から管腔内画像群の入力を受け付け、記録部１４に格納する。演算部１５は、記録部１４から処理対象の管腔内画像１００を読み出して取得する。
【００２８】
ステップＳ１１において、残渣候補領域検出部１６は、管腔内画像１００から、残渣領域か否かの判別対象となる残渣候補領域を色特徴量に基づいて検出する。
【００２９】
残渣候補領域１０１が検出された場合（ステップＳ１２：Ｙｅｓ）、続いて、構造エッジ領域検出部１７は管腔内画像１００内の構造エッジを検出する（ステップＳ１３）。一方、残渣候補領域が検出されなかった場合（ステップＳ１２：Ｎｏ）、残渣領域は存在しないものと判断され、動作は終了する。
【００３０】
ステップＳ１４において、近似構造エッジ線算出部１８は、検出された構造エッジ１０２〜１０４の内、残渣候補領域１０１の周囲の構造エッジ１０３、１０４の近似構造エッジ線を算出する。具体的には、まず、ラベリング処理部１８１が、残渣候補領域１０１近傍の構造エッジ１０３、１０４をラベリングする。続いて、関数近似部１８２は、ラベリングされた構造エッジ１０３、１０４を構成する画素（構造エッジ画素）の座標に基づき関数近似法により、近似構造エッジ線を算出する。関数近似法としては、例えば、最小二乗法を用いた一次関数近似や二次関数近似等、既知の様々な方法が用いられる。
【００３１】
図５は、図３に示す残渣候補領域１０１近傍の拡大図である。例えば図５に示すように、構造エッジ１０３に近似する近似構造エッジ線１０５が算出された場合（ステップＳ１５：Ｙｅｓ）、交差判定部１９は、残渣候補領域１０１と近似構造エッジ線１０５との位置関係に基づいて、残渣候補領域１０１が残渣領域であるか否かを判別する（ステップＳ１６）。
【００３２】
具体的には、交差判定部１９は、残渣候補領域１０１内をスキャンし、近似構造エッジ線１０５の座標上に存在する画素を検出する。そして、近似構造エッジ線１０５上の画素が存在する場合、交差判定部１９は、近似構造エッジ線１０５と残渣候補領域１０１とが交差すると判定し、当該残渣候補領域１０１は構造エッジ１０３を遮蔽する残渣領域であると判別する。
【００３３】
一方、近似構造エッジ線１０５上の画素が存在しない場合、交差判定部１９は、近似構造エッジ線１０５と残渣候補領域１０１とは交差しないと判定し、当該残渣候補領域１０１は残渣領域ではない（即ち粘膜領域である）と判別する。
【００３４】
また、交差判定部１９は、近似構造エッジ線が算出されなかった場合（ステップＳ１５：Ｎｏ）、当該残渣候補領域１０１は残渣領域ではないと判別する（ステップＳ１７）。
【００３５】
その後、未だ判別処理が実行されていない残渣候補領域が存在する場合（ステップＳ１８：Ｎｏ）、動作はステップＳ１４に移行し、次の残渣候補領域に対する処理が行われる。一方、管腔内画像１００から検出された全ての残渣候補領域に対する判別処理が終了すると（ステップＳ１８：Ｙｅｓ）、演算部１５は、判別結果を出力して表示部１３に表示させると共に、記録部１４に記録させる（ステップＳ１９）。
【００３６】
次に、図４を参照しながら、構造エッジの検出処理（図２のステップＳ１３）の詳細を説明する。図４は、構造エッジ領域検出部１７が実行する構造エッジの検出処理の動作を示すフローチャートである。
【００３７】
まず、ステップＳ１３１において、第１微分強度算出部１７１は、管腔内画像１００を構成する１つの画素について、例えばソーベル（Sobel）フィルタ等を用いた一次微分処理により、Ｒ成分の微分強度を算出する。また、ステップＳ１３２において、第２微分強度算出部１７２は、同じ画素について、同様にしてＧ成分の微分強度を算出する。
【００３８】
ステップＳ１３３において、正規化処理部１７３は、Ｒ成分及びＧ成分の強度比に基づいて、Ｒ成分及びＧ成分の微分強度を正規化する。これは一般に、管腔内画像を構成する各画素における各色成分（Ｒ、Ｇ、Ｂ）の強度は通常、Ｒ値＞Ｇ値＞Ｂ値となっており、それに応じてＲ成分の微分強度がＧ成分の微分強度よりも高くなる傾向にあるため、Ｇ成分の微分強度をＲ成分の微分強度に合わせるためである。実施の形態１においては、Ｇ成分の微分強度に対して、Ｇ成分に対するＲ成分の強度比を掛けることにより正規化する。
【００３９】
続くステップＳ１３４において、閾値処理部１７４は、正規化された微分強度に対して閾値処理を行う。例えば、血管領域の境界のような色エッジ領域においては、Ｒ成分の微分強度が低く、Ｇ成分の微分強度が高くなるため、色成分毎に微分強度の差が生じる。一方、構造エッジ領域においては、Ｒ成分もＧ成分も同じ傾向で変化するため、色成分毎の微分強度にあまり差が生じない。そこで、閾値処理部１７４は、Ｒ成分及びＧ成分の微分強度が共に閾値以上であるような画素を、構造エッジ画素として抽出する。
構造エッジ領域検出部１７は、このような処理を、管腔内画像１００内の全ての画素について繰り返す（ステップＳ１３５：Ｎｏ、ステップＳ１３１）。
【００４０】
管腔内画像１００内の全ての画素について閾値処理が実行されると（ステップＳ１３５：Ｙｅｓ）、構造エッジ領域検出部１７は、抽出された構造エッジ画素をラベリングし、さらに、細線化処理（参考：ＣＧ−ＡＲＴＳ協会、ディジタル画像処理、ｐ．１８５〜ｐ．１９０）を行う（ステップＳ１３６）。それにより、図３に示すような構造エッジ１０２〜１０４が検出される。その後、動作はメインルーチンに戻る。
【００４１】
以上説明したように、実施の形態１においては、残渣候補領域を色特徴量に基づいて検出し、当該残渣候補領域が残渣領域であるか否かを、当該残渣候補領域と構造エッジとの相対的な位置関係（即ち、当該残渣候補領域が構造エッジを遮蔽するか否か）に基づいて判別する。従って、色特徴量のみを用いて残渣領域を特定する場合よりも高い精度で、残渣領域を抽出することができる。従って、抽出された残渣領域を不要領域として管腔内画像から予め除外しておくことにより、読影効率を向上させることが可能となる。
【００４２】
（変形例１−１）
構造エッジの検出方法としては、上述した第１及び第２の色成分の微分強度に基づく検出方法の他にも、既知の様々な方法を用いることができる。例えば、少なくとも１つの色成分の微分強度を用いて構造エッジを検出することも可能である。具体的には、管腔内における吸光帯域から最も離れた色成分（Ｒ、Ｇ、Ｂの内ではＲ成分）を用いると良い。Ｒ成分は３つの色成分の内で最も波長が長く、血液（ヘモグロビン）による吸光成分が少ないため、生体組織の表面構造を最もよく反映した情報を得ることができるからである。この場合、ソーベル（Sobel）フィルタ等を用いた１次微分処理やラプラシアン（Laplacian）等を用いた２次微分処理等、公知のエッジ抽出技術により、各画素のＲ成分からエッジ強度を算出する。
【００４３】
（変形例１−２）
近似構造エッジ線の算出方法としては、上述した関数近似による方法以外にも、既知の様々な方法を用いることができる。一例として、図６（ａ）に示すように、ラベリングされた構造エッジ１１０を構成する構造エッジ画素１１１から近似構造エッジ線を算出する方法について説明する。まず、各構造エッジ画素１１１に対してｘ方向及びｙ方向にソーベルフィルタを適用することにより、各構造エッジ画素１１１の勾配方向を求める。次いで、各構造エッジ画素１１１の勾配方向と直交するベクトル（直交ベクトル）１１２を算出する（図６（ｂ））。さらに、これらの直交ベクトル１１２の平均値（平均直交ベクトル）と、構造エッジ１１０を構成する全ての構造エッジ画素１１１の重心位置１１３とを算出する。そして、平均直交ベクトルと同じ傾きを有し、重心位置１１３を通る一次関数を、近似構造エッジ線１１４とする（図６（ｃ））。
【００４４】
（変形例１−３）
近似構造エッジ線の算出方法の別の例を説明する。まず、図６に示すように、ラベリングされた構造エッジ１１０を構成する各構造エッジ画素１１１（座標（ｘ，ｙ））において、ヘッセ行列を求める。ここで、ヘッセ行列とは、多変数スカラー関数（本変形例１−３においては画素値ｆ（ｘ，ｙ））の２階偏微分を要素とする正方行列である。このようなヘッセ行列の第２固有ベクトルは、画素値ｆ（ｘ，ｙ）を高度と見なした場合の谷又は尾根に沿った方向（即ち、図６の直交ベクトル１１２と同じ方向）を向く。従って、各構造エッジ画素１１１におけるヘッセ行列の第２固有ベクトルの平均ベクトルと、構造エッジ１１０の重心位置１１３とを算出して、平均ベクトルと同じ傾きを有し、重心位置１１３を通る一次関数を求め、これを近似構造エッジ線とすれば良い。
【００４５】
（実施の形態２）
次に、本発明の実施の形態２に係る画像処理装置について説明する。図７に示すように、実施の形態２に係る画像処理装置２は演算部２０を備える。その他の構成については、図１に示すものと同様である。
【００４６】
演算部２０は、残渣候補領域検出部１６と、構造エッジ領域検出部１７と、残渣領域判別手段としての近似構造エッジ線算出部１８及び交差判定部２１とを備える。この内、残渣候補領域検出部１６、構造エッジ領域検出部１７、及び近似構造エッジ線算出部１８の構成及び動作については、実施の形態１において説明したものと同様である。
【００４７】
交差判定部２１は、近似構造エッジ線と残渣候補領域の輪郭線との類似度を算出する類似度算出部２１１を含み、算出された類似度に基づいて近似構造エッジ線と残渣候補領域との交差関係を判定し、さらに、この判定結果に基づいて、残渣候補領域が残渣領域であるか否かを判別する。
【００４８】
次に、画像処理装置２の動作について、図２、図８、及び図９を参照しながら説明する。画像処理装置２の動作は、図２のステップＳ１０〜Ｓ１５及びＳ１８〜Ｓ１９に関して実施の形態１で説明したものと共通であり、残渣候補領域の判別処理の動作（ステップＳ１６）のみが実施の形態１とは異なる。
【００４９】
図８は、画像処理装置２が実行する残渣候補領域の判別処理を示すフローチャートである。また、図９は、近似構造エッジ線と残渣候補領域との交差状態の判定方法を説明する図であり、管腔内画像１００から検出された残渣候補領域１０１、構造エッジ１０３、１０４、及び近似構造エッジ線１０５を拡大して示している。
【００５０】
ステップＳ２１において、交差判定部２１は残渣候補領域１０１内をスキャンし、近似構造エッジ線１０５の座標上に存在する画素（以下、「近似線上画素」という）を検出する。
【００５１】
ここで、近似線上画素が存在する場合、構造エッジ１０３は残渣候補領域１０１によって遮蔽されているものと考えられる。この場合、構造エッジ１０３を遮蔽している領域としては、残渣領域か、又は、例えば白色病変領域のように、粘膜領域であるが、色特徴量から残渣候補領域として検出されてしまった領域である可能性がある。このような病変領域は、周囲の粘膜領域よりも隆起している場合があるため、撮像の向きによっては構造エッジ１０３を遮蔽しているように映し出されることがあるからである。しかしながら、粘膜領域の隆起により構造エッジを遮蔽しているように見える領域は、構造エッジを僅かしか跨ぐことはない。そのため、そのような遮蔽領域の輪郭線は構造エッジの近傍に存在する。そこで、実施の形態２においては、近似構造エッジ線１０５と残渣候補領域１０１の輪郭線１０６との類似度に基づいて、残渣候補領域１０１が残渣領域であるのか、又は、隆起により構造エッジ１０３を遮蔽しているように見える粘膜領域であるのかを判定する。
【００５２】
近似線上画素が検出された場合（ステップＳ２２：Ｙｅｓ）、類似度算出部２１１は、各近似線上画素の座標Ｐにおける近似構造エッジ線１０５の法線方向を算出する（ステップＳ２３）。また、類似度算出部２１１は、この法線方向における座標Ｐと輪郭線１０６との間の距離を算出する（ステップＳ２４）。このとき、法線方向には２つの向きが存在するため、距離ｄＳＨＯＲＴ及び距離ｄＬＯＮＧの２つの値が算出される。類似度算出部２１１は、この内の短いほうの距離ｄＳＨＯＲＴ（即ち、輪郭線１０６に近い側の距離）を採用する。
【００５３】
ステップＳ２５において、類似度算出部２１１は、ステップＳ２１において検出された全ての画素について算出された距離ｄＳＨＯＲＴから、平均値ｄＡＶＥを算出する。
【００５４】
ステップＳ２６において、交差判定部２１は、平均値ｄＡＶＥが所定の閾値以上であるか否かを判定する。平均値ｄＡＶＥが閾値以上である場合（ステップＳ２６：Ｙｅｓ）、交差判定部２１は、近似構造エッジ線１０５と輪郭線１０６とは類似しておらず、当該残渣候補領域１０１は残渣領域であると判別する（ステップＳ２７）。その後、動作はメインルーチンに戻る。
【００５５】
一方、平均値ｄＡＶＥが閾値より小さい場合（ステップＳ２６：Ｎｏ）、交差判定部２１は、近似構造エッジ線１０５と輪郭線１０６とは類似しており、当該残渣候補領域１０１は残渣領域でないと判別する（ステップＳ２８）。また、ステップＳ２２において近似構造エッジ線１０５上に存在する画素が検出されなかった場合（ステップＳ２２：Ｎｏ）も、交差判定部２１は、当該残渣候補領域１０１は残渣領域ではないと判別される（ステップＳ２８）。
【００５６】
以上説明したように、実施の形態２によれば、近似構造エッジ線と残渣候補領域の輪郭線との類似度に基づいて残渣候補領域のカテゴリを判別する。そのため、色特徴量から残渣候補領域として抽出されて構造エッジを遮蔽している粘膜領域を、残渣領域と区別することができる。従って、管腔内画像から残渣領域のみを、より正確に抽出することが可能となる。
【００５７】
（実施の形態３）
次に、本発明の実施の形態３に係る画像処理装置について説明する。図１０に示すように、実施の形態３に係る画像処理装置３は演算部３０を備える。その他の構成については、図１に示すものと同様である。
【００５８】
演算部３０は、残渣候補領域検出部１６と、構造エッジ領域検出部１７と、残渣領域判別手段としての近似構造エッジ線算出部１８及び交差判定部３１とを備える。この内、残渣候補領域検出部１６、構造エッジ領域検出部１７、及び近似構造エッジ線算出部１８の構成及び動作については、実施の形態１において説明したものと同様である。
【００５９】
交差判定部３１は、近似構造エッジ線と残渣候補領域の輪郭線との角度差を算出する角度差算出部３１１を含み、算出された角度差に基づいて近似構造エッジ線と残渣候補領域との交差関係を判定し、さらに、この判定結果に基づいて、残渣候補領域が残渣領域であるか否かを判別する。
【００６０】
次に、画像処理装置３の動作について、図２、図１１、及び図１２を参照しながら説明する。画像処理装置３の動作は、図２のステップＳ１０〜Ｓ１５及びＳ１８〜Ｓ１９に関して実施の形態１で説明したものと共通であり、残渣候補領域の判別処理の動作（ステップＳ１６）のみが実施の形態１とは異なる。
【００６１】
図１１は、画像処理装置３が実行する残渣候補領域の判別処理を示すフローチャートである。また、図１２は、近似構造エッジ線と残渣候補領域との交差状態の判定方法を説明する図であり、管腔内画像１００から検出された残渣候補領域１０１、構造エッジ１０３、１０４、及び近似構造エッジ線１０５を拡大して示している。
【００６２】
ステップＳ３１において、交差判定部３１は、残渣候補領域１０１に対して輪郭追跡（参考：ＣＧ−ＡＲＴＳ協会、ディジタル画像処理、ｐ．１７８〜ｐ．１７９）を行うことにより、近似構造エッジ線１０５と座標が一致する輪郭画素（以下、「近似線上輪郭画素」という）を検出する。
【００６３】
近似線上輪郭画素が検出された場合（ステップＳ３２：Ｙｅｓ）、角度差算出部３１１は、近似線上輪郭画素の座標Ｑにおいて、残渣候補領域１０１の輪郭線１０６の法線ベクトルｖを算出すると共に（ステップＳ３３）、同じ座標Ｑにおける近似構造エッジ線１０５の接線ベクトルｕを算出する（ステップＳ３４）。
【００６４】
さらに、ステップＳ３５において、角度差算出部３１１は、接線ベクトルｕと法線ベクトルｖとの外積の値（｜ｕ×ｖ｜＝｜ｕ｜・｜ｖ｜・ｓｉｎθ）を算出する。この外積の値｜ｕ×ｖ｜は、接線ベクトルｕと法線ベクトルｖとのなす角度θ（０≦θ≦１８０°）に応じて変化する。言い換えれば、｜ｕ×ｖ｜は、近似構造エッジ線１０５の向きと輪郭線１０６の向きとの類似関係を表す。即ち、外積の値｜ｕ×ｖ｜が大きい場合（例えば、ｓｉｎθ＝１、θ＝９０°）、近似構造エッジ線１０５と輪郭線１０６とは、向きが類似する交差関係となる。一方、外積の値｜ｕ×ｖ｜が小さい場合（例えば、ｓｉｎθ＝０、θ＝０°）、近似構造エッジ線１０５と輪郭線１０６とは、向きが非類似の交差関係となる。
【００６５】
ステップＳ３６において、交差判定部３１は、算出された外積の値｜ｕ×ｖ｜が所定の閾値以下であるか否かを判定する。外積の値｜ｕ×ｖ｜が閾値以下である場合（ステップＳ３６：Ｙｅｓ）、交差判定部３１は、近似構造エッジ線１０５と輪郭線１０６とは類似しておらず、当該残渣候補領域１０１は残渣領域であると判別する（ステップＳ３７）。その後、動作はメインルーチンに戻る。
【００６６】
一方、外積の値｜ｕ×ｖ｜が閾値より大きい場合（ステップＳ３６：Ｎｏ）、交差判定部３１は、近似構造エッジ線１０５と輪郭線１０６とは類似しており、当該残渣候補領域１０１は残渣領域でないと判別する（ステップＳ３８）。また、ステップＳ３２において近似線上輪郭画素が検出されなかった場合（ステップＳ３２：Ｎｏ）も、当該残渣候補領域１０１は残渣領域ではないと判別される（ステップＳ３８）。
【００６７】
以上説明したように、実施の形態３によれば、近似線上輪郭画素におけるベクトルを用いるので、近似構造エッジ線と残渣候補領域の輪郭線との交差関係を、より少ない演算量で正確に判定することが可能となる。
【００６８】
（実施の形態４）
次に、本発明の実施の形態４に係る画像処理装置について説明する。図１３に示すように、実施の形態４に係る画像処理装置４は演算部４０を備える。その他の構成については、図１に示すものと同様である。
【００６９】
演算部４０は、残渣候補領域検出部１６と、構造エッジ領域検出部４１と、残渣領域判別手段としての近似構造エッジ線算出部４２及び交差判定部１９とを備える。この内、残渣候補領域検出部１６及び交差判定部１９の動作については、実施の形態１において説明したものと同様である。
【００７０】
構造エッジ領域検出部４１は、残渣候補領域周辺（残渣候補領域を包囲する管腔内画像の一部の領域）において、残渣候補領域の輪郭から等距離にある画素からなり、残渣候補領域の輪郭と相似する形状を有する相似曲線（以下、周囲相似曲線という）を、残渣候補領域の輪郭からの距離ごとに複数算出する相似曲線算出部４１１と、各周囲相似曲線がエッジと交差する位置の座標であるエッジ座標を抽出するエッジ位置検出部４１２と、各周囲相似曲線間におけるエッジ座標の連続性を判定する連続性判定部４１３とを含み、残渣候補領域周辺の構造エッジ領域を検出する。
【００７１】
近似構造エッジ線算出部４２は、関数近似法により近似構造エッジ線を算出する関数近似部４２１を含み、各周囲相似曲線間において連続的と判定されたエッジ座標を抽出し、これらのエッジ座標に基づいて近似構造エッジ線を算出する。
【００７２】
次に、画像処理装置４の動作について説明する。図１４は、画像処理装置４の動作を示すフローチャートである。なお、図１４に示すステップＳ１０〜Ｓ１２及びＳ１９の動作は、実施の形態１において説明したものと共通である。また、図１５は、画像処理装置４によって処理される管腔内画像の一例を示す模式図である。図１５に示す管腔内画像２００には、ステップＳ１１において検出された残渣候補領域２０１が示されている。
【００７３】
ステップＳ４１において、構造エッジ領域検出部４１は、残渣候補領域２０１周辺の構造エッジを検出する。
【００７４】
図１６は、ステップＳ４１における構造エッジ領域検出部４１の詳細な動作を示すフローチャートである。
まず、ステップＳ４０１において、相似曲線算出部４１１は、残渣候補領域２０１からの距離が互いに異なる複数の周囲相似曲線を算出する。図１５に示す周囲相似曲線２０２〜２０４は、残渣候補領域２０１の輪郭からそれぞれ距離ｄ１〜ｄ３だけ離れた位置における周囲相似曲線である。
【００７５】
これらの周囲相似曲線２０２〜２０４の周の長さは、互いに異なる。そこで、ステップＳ４０２において、相似曲線算出部４１１は、残渣候補領域２０１からの距離が最も短い第１の周囲相似曲線（図１５においては周囲相似曲線２０２）の長さを基準長として、残渣候補領域２０１との距離がそれよりも長い２番目以降の周囲相似曲線（図１５においては周囲相似曲線２０３、２０４）の周の長さを、基準長との比率に基づいて正規化する。それにより、周囲相似曲線２０２〜２０４の周の長さが統一される。
【００７６】
ステップＳ４０３において、相似曲線算出部４１１は、正規化された周囲相似曲線２０２〜２０４を図１７に示す特徴空間に投影する。図１７に示す特徴空間は、周囲相似曲線上の位置（所定の基準位置からの距離）を表す正規化座標、基準とした周囲相似曲線２０２に対する他の周囲相似曲線２０３、２０４の相対距離、及び周囲相似曲線２０２〜２０４上の画素の画素値との３軸で構成される。図１７に示す特徴空間内の正規化座標における画素値を表す画素値曲線３０１〜３０３は、管腔内画像２００上の周囲相似曲線２０２〜２０４に対応している。
【００７７】
ステップＳ４０４において、エッジ位置検出部４１２は、各画素値曲線３０１〜３０３における微分強度を算出し、微分強度が所定の閾値以上である正規化座標をエッジ座標として抽出する。例えば図１８に示す特徴空間の場合、第１の画素値曲線３０１からエッジ座標ａ１、ｂ１、ｃ１が抽出され、第２の画素値曲線３０２からエッジ座標ａ２及びｃ２が抽出され、第３の画素値曲線３０３からエッジ座標ａ３及びｃ３が抽出される。
【００７８】
ステップＳ４０５において、連続性判定部４１３は、検出されたエッジ座標ａ１〜ａ３、ｂ１、ｃ１〜ｃ３について、隣り合う画素値曲線間で連続性があるか否かを判定し、連続性があるエッジ座標を抽出する。この連続性の判定は、例えば画素値曲線３０１上の座標ａ１に対し、所定の探索範囲Δｓ内に別の画素値曲線上の座標が存在するか否かを探索することにより行う。なお、連続性の判定処理の詳細については後述する。ここでは、エッジ座標ａ１〜ａ３、及びエッジ座標ｃ１〜ｃ３が連続性を有するエッジ座標として抽出されたものとする。
【００７９】
ステップＳ４０６において、連続性判定部４１３は、抽出されたエッジ座標ａ１〜ａ３及びｃ１〜ｃ３を、実画像空間上の座標に変換する。それにより、図１９に示すように、エッジ座標ａ１〜ａ３に対応する座標Ａ１〜Ａ３と、エッジ座標ｃ１〜ｃ３に対応する座標Ｃ１〜Ｃ３が得られる。
【００８０】
さらに、ステップＳ４０７において、構造エッジ領域検出部４１は、これらの座標Ａ１〜Ａ３、Ｃ１〜Ｃ３からそれぞれ任意の数の座標を抽出し、抽出された座標を通る直線又は曲線を構造エッジ２０５、２０６として抽出する。その後、動作はメインルーチンに戻る。
【００８１】
このような処理の結果、構造エッジが検出されると（ステップＳ４２：Ｙｅｓ）、近似構造エッジ線算出部４２は、検出された構造エッジ２０５、２０６に近似する近似構造エッジ線を、例えば関数近似法により算出する（ステップＳ４３）。
【００８２】
ステップＳ４４において、交差判定部１９は、算出された近似構造エッジ線と残渣候補領域２０１とが交差するか否かを判定し、この判定結果に基づいて、残渣候補領域２０１が残渣領域であるか否かを判別する。この判別方法の詳細は、実施の形態１において説明したものと同様である。或いは、交差判定部１９は、実施の形態２又は３と同様に、近似構造エッジ線と残渣候補領域２０１の輪郭との交差関係に基づいて、残渣候補領域２０１の判別を行っても良い。
【００８３】
また、交差判定部１９は、ステップＳ４２において構造エッジが検出されなかった場合、当該残渣候補領域２０１は残渣領域ではないと判別する（ステップＳ４５）。
【００８４】
その後、未だ判別処理が実行されていない残渣候補領域が存在する場合（ステップＳ４６：Ｎｏ）、動作はステップＳ４１に移行し、次の残渣候補領域に対する処理が行われる。一方、管腔内画像２００から検出された全ての残渣候補領域に対する判別処理が終了すると（ステップＳ４６：Ｙｅｓ）、動作はステップＳ１９に移行する。
【００８５】
次に、複数の周囲相似曲線の算出処理（図１６のステップＳ４０１）の詳細について説明する。図２０は、ステップＳ４０１における相似曲線算出部４１１の動作を示すフローチャートである。
【００８６】
まず、ステップＳ４１１において、相似曲線算出部４１１は、管腔内画像２００内の各画素の値を残渣候補領域２０１からの距離を表す値に変換することにより、距離画像を作成する。距離画像の作成方法としては、公知の様々な方法を用いることができる（例えば、平田富夫、加藤敏洋、「ユークリッド距離変換アルゴリズム」（情報処理学会研究報告、アルゴリズム研究会報告 第９４巻、第８２号、第２５−３１頁、１９９４年９月２１日）参照）。
【００８７】
続くステップＳ４１２において、相似曲線算出部４１１は、残渣候補領域２０１の輪郭から第ｎ番目の周囲相似曲線までの距離ｄｎを設定する。ここで、ｎ（ｎ＝１、２、３、・・・）は、各周囲相似曲線を識別する番号である。また、距離ｄｎは所望の方法で設定して良い。例えば、隣り合う周囲相似曲線間の間隔Δｄを予め定めておき、番号ｎと間隔Δｄとを掛け合わせることにより、距離ｄｎを設定してもよい。
【００８８】
ステップＳ４１３において、相似曲線算出部４１１は、設定された距離ｄｎを閾値として距離画像を２値化する。そして、残渣候補領域２０１の輪郭からの距離がｄｎ以下の領域に対して輪郭追跡を行い、この残渣候補領域２０１の輪郭からの距離が閾値（距離ｄｎ）以下の領域の輪郭上の画素の画素値を順に取得する。それにより、周囲相似曲線が作成される（ステップＳ４１４）。
【００８９】
相似曲線算出部４１１は、残渣候補領域２０１の輪郭からの距離が異なる周囲相似曲線をさらに作成する場合（ステップＳ４１５：Ｙｅｓ）、番号ｎをインクリメントする（ｎ＝ｎ＋１、ステップＳ４１６）。その後、動作はステップＳ４１２に移行する。また、所望の数の周囲相似曲線が作成された場合（ステップＳ４１５：Ｎｏ）、動作はメインルーチンに戻る。
【００９０】
次に、隣り合う画素値曲線間で連続性があるエッジ座標を検出する処理（図１６のステップＳ４０５）の詳細について、図２１を参照しながら説明する。図２１は、ステップＳ４０５における連続性判定部４１３の動作を示すフローチャートである。
【００９１】
まず、ステップＳ４２１において、連続性判定部４１３は、第１の画素値曲線から検出されたエッジ座標を基点座標に設定する。例えば、図１８の場合、画素値曲線３０１のエッジ座標ａ１、ｂ１、ｃ１が基点座標となる。
【００９２】
続いて、連続性判定部４１３は、連続性の判定を行う基点座標を設定する（ステップＳ４２２）。以下、基点座標（エッジ座標）ａ１から連続性の判定を開始する。
【００９３】
ステップＳ４２３において、連続性判定部４１３は、第ｎ番目（ｎ＝２、３、・・・）の画素値曲線において基点座標と連続するエッジ座標を探索する探索範囲を設定する。この探索範囲としては、第１の画素値曲線における基点座標を中心とする任意の幅を設定する。或いは、探索範囲として、１つ内側（第ｎ−１番目）の画素値曲線を探索した際に検出されたエッジ座標を中心とする任意の幅を設定しても良い。例えば、ｎ＝３の場合には、基点座標ａ１を中心とする探索範囲Δｓを探索しても良いし、画素値曲線３０２を探索した際に検出されたエッジ座標ａ２を中心とする探索範囲Δｓ’を探索しても良い。
【００９４】
ステップＳ４２４において、連続性判定部４１３は、第ｎ番目の画素値曲線の探索範囲内にエッジ座標が存在するか否かを判定する。その結果、エッジ座標が存在する場合（ステップＳ４２４：Ｙｅｓ）、さらに外側（第ｎ＋１番目）の画素値曲線が存在していれば（ステップＳ４２５：Ｙｅｓ）、番号ｎをインクリメント（ｎ＝ｎ＋１、ステップＳ４２６）した後にステップＳ４２３に移行し、１つ外側の画素値曲線に対する探索を行う。例えば図１８の場合、第２番目の画素値曲線３０２の探索範囲Δｓからエッジ座標ａ２が検出されると、第３番目の画素値曲線３０３に対する探索が行われる。
【００９５】
連続性判定部４１３は、最も外側の画素値曲線におけるエッジ座標の探索が終了すると（ステップＳ４２５：Ｎｏ）、各画素値曲線で検出されたエッジ座標を連続性があるエッジ座標として抽出する（ステップＳ４２７）。例えば、基点座標ａ１に対しては、エッジ座標ａ２及びａ３が抽出される。
【００９６】
一方、連続性判定部４１３は、第ｎ番目の画素値曲線に対する探索の結果、探索範囲からエッジ座標が存在しなかった場合（ステップＳ４２４：Ｎｏ）、第１番目から第ｎ−１番目までの画素値曲線において検出されたエッジ座標を連続するエッジ座標として抽出する（ステップＳ４２８）。
【００９７】
その後、未だエッジ座標の連続性の判定を行われていない基点座標が存在する場合（ステップＳ４２９：Ｎｏ）、動作はステップＳ４２２に移行し、別の基点座標に対する処理が行われる。一方、全ての基点座標についてエッジ座標の連続性が判定されると（ステップＳ４２９：Ｙｅｓ）、動作はメインルーチンに戻る。
【００９８】
このような探索処理の結果、図１８に示す特徴空間においては、エッジ座標ａ１〜ａ３及びエッジ座標ｃ１〜ｃ３が連続する座標として抽出される。
【００９９】
以上説明したように、実施の形態４においては、残渣候補領域毎にその周囲の構造エッジを検出するので、構造エッジを検出するための演算量を低減して、効率良く残渣候補領域の判別を行うことができる。
【０１００】
（変形例４−１）
画素値曲線間で連続性があるエッジ座標を検出する際の探索範囲の設定方法としては、上述した方法に限定されない。例えば、図２２に示すように、内側の画素値曲線３０１、３０２で連続すると判定されたエッジ座標ａ１、ａ２から、正規化座標−相対距離の２次元空間における近似線Ｌを算出し、この近似線Ｌの周囲を探索範囲Δｓとしても良い。
【０１０１】
（変形例４−２）
画素値曲線間で連続性のあるエッジ座標を検出する方法としては、上述した方法に限定されない。例えば、全ての周囲相似曲線を画像化し、画像上のエッジ特徴量に基づいてエッジの連続性を判別しても良い。具体的には、周囲相似曲線の番号ｎを縦軸、正規化座標を横軸、周囲相似曲線における画素値を濃度とする画像を作成する。そして、当該画像を構成する各画素の微分強度を閾値処理して２値化することにより２値画像を生成する。さらに、この２値画像をラベリングし、ラベル領域の主軸長が所定の閾値以上であれば、該ラベル領域に属するエッジ座標は連続していると判定する。
【０１０２】
（変形例４−３）
残渣候補領域周囲の局所的な構造エッジを検出する方法としては、上述した周囲相似曲線を用いる方法に限定されない。例えば、残渣候補領域周囲の所定範囲を構造エッジの検出対象領域として設定し、この領域内部について、実施の形態１と同様の処理を行うことにより構造エッジを検出しても良い。
【０１０３】
以上説明した実施の形態１〜４に係る画像処理装置は、記録媒体に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することにより実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク、広域エリアネットワーク（ＬＡＮ／ＷＡＮ）、又は、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１〜４に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続された種々の出力機器（ビュアーやプリンタ等）に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置（記録媒体及びその読取装置等）に画像処理結果を格納するようにしても良い。
【０１０４】
なお、本発明は、実施の形態１〜４及びそれらの変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。
【符号の説明】
【０１０５】
１〜４ 画像処理装置
１０ 制御部
１１ 画像取得部
１２ 入力部
１３ 表示部
１４ 記録部
１４１ 画像処理プログラム
１５、２０、３０、４０ 演算部
１６ 残渣候補領域検出部
１７ 構造エッジ領域検出部
１７１ 第１微分強度算出部
１７２ 第２微分強度算出部
１７３ 正規化処理部
１７４ 閾値処理部
１８ 近似構造エッジ線算出部
１８１ ラベリング処理部
１８２ 関数近似部
１９、２１、３１ 交差判定部
２１１ 類似度算出部
３１１ 角度差算出部
４１ 構造エッジ領域検出部
４１１ 相似曲線算出部
４１２ エッジ位置検出部
４１３ 連続性判定部
４２ 近似構造エッジ線算出部
４２１ 関数近似部
１００、２００ 管腔内画像
１０１、２０１ 残渣候補領域
１０２〜１０４、１１０、２０５、２０６ 構造エッジ
１０５、１１４ 近似構造エッジ線
１０６ 輪郭線
１１１ 構造エッジ画素
１１２ 直交ベクトル
１１３ 重心位置
２０２〜２０４ 管腔内画像上の周囲相似曲線
３０１〜３０３ 特徴空間内の画素値曲線
【技術分野】
【０００１】
本発明は、管腔内を撮像した管腔内画像を処理する画像処理装置、画像処理方法、及び画像処理プログラムに関するものである。
【背景技術】
【０００２】
従来から、患者等の被検者の体内に導入されて、管腔内を非侵襲に観察する医用観察装置として、内視鏡が広く普及している。近年では、カプセル型の筐体内部に撮像装置及び通信装置等を収容し、撮像装置により撮像された画像データを体外に無線送信する飲み込み型の内視鏡（カプセル内視鏡）も開発されている。このような医用観察装置によって撮像された一連の画像（管腔内画像）は膨大な数（数万枚以上）に上ると共に、各管腔内画像に対する観察及び診断には多くの経験が必要とされる。そのため、医師による診断を補助する医療診断支援機能が望まれている。この機能を実現する画像認識技術の１つとして、管腔内画像から異常部を自動的に検出して、重点的に診断すべき画像を示す技術が提案されている。
【０００３】
ところで、画像認識によって異常部を検出する際には、前処理として、残渣等が映された観察不要な領域（不要領域）を除去して、粘膜領域を抽出することが重要となる。例えば特許文献１には、生体粘膜を撮像した画像に対して設定された所定の処理対象領域において、画素の色調特徴量に基づいて特定の生体粘膜の存在を検出する画像処理方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１６６９３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、色情報のみを用いて不要領域を検出する場合、白色病変部のように、残渣等と色が類似する領域が、粘膜領域であるにもかかわらず不要領域として除去されてしまうことがある。
【０００６】
本発明は、上記に鑑みてなされたものであって、管腔内画像において粘膜領域と残渣等の非粘膜領域とをより高い精度で判別することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、管腔内画像に含まれる粘膜領域と非粘膜領域とを判別する画像処理装置において、管腔内画像を構成する各画素の特徴量に基づいて、粘膜領域であるか否かの判別対象とする候補領域を検出する候補領域検出手段と、前記管腔内画像に含まれる構造エッジを検出する構造エッジ検出手段と、前記構造エッジと前記候補領域との相対的な位置関係に基づいて、前記候補領域が粘膜領域であるか否かを判別する領域判別手段とを備えることを特徴とする。
【０００８】
本発明に係る画像処理方法は、管腔内画像に含まれる粘膜領域と非粘膜領域とを判別する画像処理方法において、管腔内画像における各画素の特徴量に基づいて、非粘膜領域の候補となる候補領域を検出する候補領域検出ステップと、前記管腔内画像に含まれる構造エッジを検出する構造エッジ検出ステップと、前記構造エッジと前記候補領域との相対的な位置関係に基づいて、前記候補領域が粘膜領域であるか否かを判別する領域判別ステップとを含むことを特徴とする。
【０００９】
本発明に係る画像処理プログラムは、管腔内画像に含まれる粘膜領域と非粘膜領域とを判別する画像処理プログラムにおいて、管腔内画像における各画素の特徴量に基づいて、非粘膜領域の候補となる候補領域を検出する候補領域検出手順と、前記管腔内画像に含まれる構造エッジを検出する構造エッジ検出手順と、前記構造エッジと前記候補領域との相対的な位置関係に基づいて、前記候補領域が粘膜領域であるか否かを判別する領域判別手順とをコンピュータに実行させる。
【発明の効果】
【００１０】
本発明によれば、管腔内画像から非粘膜領域の候補領域を画素値に基づいて検出し、この候補領域が粘膜領域であるか否かを、管腔内画像に含まれる構造エッジと上記候補領域のとの相対的な位置関係に基づいて判別するので、色情報のみを用いる場合と比較して、より高い精度で粘膜領域と非粘膜領域とを判別することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図２】図２は、図１に示す画像処理装置の動作を示すフローチャートである。
【図３】図３は、管腔内画像の一例を示す模式図である。
【図４】図４は、管腔内画像内の構造エッジの検出処理を示すフローチャートである。
【図５】図５は、残渣候補領域と近似構造エッジ線との位置関係を示す図である。
【図６】図６は、近似構造エッジ線の算出方法の一例を示す図である。
【図７】図７は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。
【図８】図８は、図７に示す画像処理装置が実行する残渣候補領域の判別処理を示すフローチャートである。
【図９】図９は、近似構造エッジ線と残渣候補領域との交差状態の判別方法を説明する図である。
【図１０】図１０は、本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。
【図１１】図１１は、図１０に示す画像処理装置が実行する残渣候補領域の判別処理を示すフローチャートである。
【図１２】図１２は、近似構造エッジ線と残渣候補領域との交差状態の判定方法を説明する図である。
【図１３】図１３は、本発明の実施の形態４に係る画像処理装置の構成を示すブロック図である。
【図１４】図１４は、図１３に示す画像処理装置に動作を示すフローチャートである。
【図１５】図１５は、処理対象である管腔内画像の一例を示す模式図である。
【図１６】図１６は、図１３に示す画像処理装置が実行する残渣候補領域周辺の構造エッジの検出処理を示すフローチャートである。
【図１７】図１７は、正規化された周囲相似曲線が投影された特徴空間を示す模式図である。
【図１８】図１８は、特徴空間において抽出されたエッジ座標の連続性を判定する方法を説明する図である。
【図１９】図１９は、連続性があるエッジ座標を管腔内画像上の座標に変換した例を示す模式図である。
【図２０】図２０は、図１３に示す相似曲線算出部が実行する複数の周囲相似曲線の算出処理を示すフローチャートである。
【図２１】図２１は、図１３に示す連続性判定部が実行する連続性あるエッジ座標の検出処理を示すフローチャートである。
【図２２】図２２は、連続性があるエッジ座標の検出処理において設定される探索範囲の変形例を説明する図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態に係る画像処理装置について、図面を参照しながら説明する。なお、これら実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
【００１３】
以下に説明する実施の形態に係る画像処理装置は、例えば内視鏡やカプセル内視鏡等の医用観察装置によって被検者の体内（管腔内）を撮像した管腔内画像を処理するものであり、具体的には、管腔内画像に対して、観察（診断）対象とする粘膜領域と、観察対象としない非粘膜領域（例えば残渣領域）とを判別する処理を行う。また、以下の実施の形態において画像処理を施される管腔内画像は、例えば、各画素においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分に対する画素レベル（画素値）を持つカラー画像である。
【００１４】
本出願において、非粘膜領域とは、管腔内画像の画面において粘膜領域に重なって（即ち、粘膜領域よりも手前側に）映し出された粘膜以外の領域のことを言う。具体的には、粘膜に付着した残渣領域や、粘膜から離れて浮遊する残渣（浮遊残渣とも呼ばれる）領域等が含まれる。本出願においては、このような残渣領域を、観察対象とならない不要領域としている。
【００１５】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。図１に示すように、画像処理装置１は、画像処理装置１全体の動作を制御する制御部１０と、画像取得部１１と、入力部１２と、表示部１３と、記録部１４と、演算部１５とを備える。
【００１６】
画像取得部１１は、医用観察装置によって撮像された管腔内画像の画像データを取得する。画像取得部１１は、医用観察装置を含むシステムの態様に応じて適宜構成される。例えば、医用観察装置がカプセル内視鏡であり、医用観察装置との間の画像データの受け渡しに可搬型の記録媒体が使用される場合、画像取得部１１は、この記録媒体を着脱自在に装着し、保存された管腔内画像の画像データを読み出すリーダ装置で構成される。また、医用観察装置によって撮像された管腔内画像の画像データを保存しておくサーバを設置する場合、画像取得部１１は、サーバと接続される通信装置等で構成され、サーバとデータ通信を行って管腔内画像の画像データを取得する。或いは、画像取得部１１を、内視鏡等の医用観察装置から、ケーブルを介して画像信号を入力するインターフェース装置等で構成しても良い。
【００１７】
入力部１２は、例えばキーボードやマウス、タッチパネル、各種スイッチ等によって実現され、入力信号を制御部１０に出力する。
表示部１３は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現され、制御部１０の制御の下で、管腔内画像を含む各種画面を表示する。
【００１８】
記録部１４は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、ＣＤ−ＲＯＭ等の情報記録媒体及びその読取装置等によって実現される。記録部１４は、画像取得部１１によって取得された管腔内画像の画像データの他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。具体的には、管腔内画像から非粘膜領域を識別するための画像処理プログラム１４１を格納する。
【００１９】
演算部１５は、ＣＰＵ等のハードウェアによって実現され、画像処理プログラム１４１を読み込むことにより、管腔内画像の画像データを処理して非粘膜領域を識別するための種々の演算処理を行う。演算部１５は、残渣候補領域検出部１６と、構造エッジ領域検出部１７と、残渣領域判別手段としての近似構造エッジ線算出部１８及び交差判定部１９とを有する。
【００２０】
残渣候補領域検出部１６は、残渣領域であるか否かの判別対象である候補領域を、色特徴量に基づいて検出する。具体的には、残渣候補領域検出部１６は、まず、管腔内画像を類似した色ごとに領域分割すると共に、各画素についてＲ値、Ｇ／Ｒ値、Ｂ／Ｇ値を算出する。そして、分割された各領域について、平均Ｒ値、平均Ｇ／Ｒ値、及び平均Ｂ／Ｇ値を算出する。次いで、これらの平均Ｒ値、平均Ｇ／Ｒ値、及び平均Ｂ／Ｇ値を、Ｒ値−Ｇ／Ｒ値−Ｂ／Ｇ値の３軸からなる特徴空間に写像する。残渣候補領域検出部１６は、この特徴空間において、これらの平均値を閾値処理することにより、候補領域を検出する。なお、候補領域の検出方法としては、上記説明をした方法に限定されず、例えば、Ｒ値、Ｇ値、Ｂ値をＨＳＩ色空間に写像し、Ｈ値（色相の値）を閾値処理する等、色特徴量に基づいて検出する方法であれば既知の様々な方法を用いても良い。
【００２１】
構造エッジ領域検出部１７は、管腔内画像に含まれる構造エッジ領域を検出する。ここで、管腔内画像には、粘膜間の溝等による構造エッジや、粘膜面とは吸光特性が異なる血管領域等による色エッジが存在する。構造エッジ領域検出部１７は、この内の構造エッジを、色成分毎の微分強度の相対関係に基づいて抽出する。構造エッジ領域検出部１７は、管腔内画像を構成する各画素の第１の色成分（例えば、Ｒ成分）を用いて第１の微分強度を算出する第１微分強度算出部１７１と、各画素の第２の色成分（例えば、Ｇ成分）を用いて第２の微分強度を算出する第２微分強度算出部１７２と、第１及び第２の色成分の強度比に基づいて第２の微分強度を正規化する正規化処理部１７３と、第１の微分強度及び正規化された第２の微分強度が所定の閾値以上であるか否かを判別する閾値処理部１７４とを有する。
【００２２】
残渣領域判別手段としての近似構造エッジ線算出部１８及び交差判定部１９は、残渣候補領域が残渣領域であるか否かを、当該残渣候補領域と構造エッジとの相対的な位置関係に基づいて判別する。
【００２３】
近似構造エッジ線算出部１８は、検出された構造エッジの近似線（近似構造エッジ線）を算出する。近似構造エッジ線算出部１８は、残渣候補領域近傍（例えば、残渣候補領域と一部が交差又は接する程度）において検出された構造エッジをラベリングするラベリング処理部１８１と、ラベリングされた各構造エッジについて近似関数を算出する関数近似部１８２とを含む。
【００２４】
交差判定部１９は、近似構造エッジ線が残渣候補領域と交差するか否かを判定し、両者の交差状態に基づいて残渣候補領域が残渣領域であるか否かを判別する。
【００２５】
制御部１０は、ＣＰＵ等のハードウェアによって実現され、記録部１４に格納された各種プログラムを読み込むことにより、画像取得部１１から入力される画像データや入力部１２から入力される操作信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。
【００２６】
次に、画像処理装置１の動作について、図２及び図３を参照しながら説明する。図２は、画像処理装置１の動作を示すフローチャートである。また、図３は、カプセル内視鏡によって撮像され、画像処理装置１によって処理される管腔内画像の一例を示す模式図である。
【００２７】
まず、ステップＳ１０において、画像処理装置１は、外部から管腔内画像群の入力を受け付け、記録部１４に格納する。演算部１５は、記録部１４から処理対象の管腔内画像１００を読み出して取得する。
【００２８】
ステップＳ１１において、残渣候補領域検出部１６は、管腔内画像１００から、残渣領域か否かの判別対象となる残渣候補領域を色特徴量に基づいて検出する。
【００２９】
残渣候補領域１０１が検出された場合（ステップＳ１２：Ｙｅｓ）、続いて、構造エッジ領域検出部１７は管腔内画像１００内の構造エッジを検出する（ステップＳ１３）。一方、残渣候補領域が検出されなかった場合（ステップＳ１２：Ｎｏ）、残渣領域は存在しないものと判断され、動作は終了する。
【００３０】
ステップＳ１４において、近似構造エッジ線算出部１８は、検出された構造エッジ１０２〜１０４の内、残渣候補領域１０１の周囲の構造エッジ１０３、１０４の近似構造エッジ線を算出する。具体的には、まず、ラベリング処理部１８１が、残渣候補領域１０１近傍の構造エッジ１０３、１０４をラベリングする。続いて、関数近似部１８２は、ラベリングされた構造エッジ１０３、１０４を構成する画素（構造エッジ画素）の座標に基づき関数近似法により、近似構造エッジ線を算出する。関数近似法としては、例えば、最小二乗法を用いた一次関数近似や二次関数近似等、既知の様々な方法が用いられる。
【００３１】
図５は、図３に示す残渣候補領域１０１近傍の拡大図である。例えば図５に示すように、構造エッジ１０３に近似する近似構造エッジ線１０５が算出された場合（ステップＳ１５：Ｙｅｓ）、交差判定部１９は、残渣候補領域１０１と近似構造エッジ線１０５との位置関係に基づいて、残渣候補領域１０１が残渣領域であるか否かを判別する（ステップＳ１６）。
【００３２】
具体的には、交差判定部１９は、残渣候補領域１０１内をスキャンし、近似構造エッジ線１０５の座標上に存在する画素を検出する。そして、近似構造エッジ線１０５上の画素が存在する場合、交差判定部１９は、近似構造エッジ線１０５と残渣候補領域１０１とが交差すると判定し、当該残渣候補領域１０１は構造エッジ１０３を遮蔽する残渣領域であると判別する。
【００３３】
一方、近似構造エッジ線１０５上の画素が存在しない場合、交差判定部１９は、近似構造エッジ線１０５と残渣候補領域１０１とは交差しないと判定し、当該残渣候補領域１０１は残渣領域ではない（即ち粘膜領域である）と判別する。
【００３４】
また、交差判定部１９は、近似構造エッジ線が算出されなかった場合（ステップＳ１５：Ｎｏ）、当該残渣候補領域１０１は残渣領域ではないと判別する（ステップＳ１７）。
【００３５】
その後、未だ判別処理が実行されていない残渣候補領域が存在する場合（ステップＳ１８：Ｎｏ）、動作はステップＳ１４に移行し、次の残渣候補領域に対する処理が行われる。一方、管腔内画像１００から検出された全ての残渣候補領域に対する判別処理が終了すると（ステップＳ１８：Ｙｅｓ）、演算部１５は、判別結果を出力して表示部１３に表示させると共に、記録部１４に記録させる（ステップＳ１９）。
【００３６】
次に、図４を参照しながら、構造エッジの検出処理（図２のステップＳ１３）の詳細を説明する。図４は、構造エッジ領域検出部１７が実行する構造エッジの検出処理の動作を示すフローチャートである。
【００３７】
まず、ステップＳ１３１において、第１微分強度算出部１７１は、管腔内画像１００を構成する１つの画素について、例えばソーベル（Sobel）フィルタ等を用いた一次微分処理により、Ｒ成分の微分強度を算出する。また、ステップＳ１３２において、第２微分強度算出部１７２は、同じ画素について、同様にしてＧ成分の微分強度を算出する。
【００３８】
ステップＳ１３３において、正規化処理部１７３は、Ｒ成分及びＧ成分の強度比に基づいて、Ｒ成分及びＧ成分の微分強度を正規化する。これは一般に、管腔内画像を構成する各画素における各色成分（Ｒ、Ｇ、Ｂ）の強度は通常、Ｒ値＞Ｇ値＞Ｂ値となっており、それに応じてＲ成分の微分強度がＧ成分の微分強度よりも高くなる傾向にあるため、Ｇ成分の微分強度をＲ成分の微分強度に合わせるためである。実施の形態１においては、Ｇ成分の微分強度に対して、Ｇ成分に対するＲ成分の強度比を掛けることにより正規化する。
【００３９】
続くステップＳ１３４において、閾値処理部１７４は、正規化された微分強度に対して閾値処理を行う。例えば、血管領域の境界のような色エッジ領域においては、Ｒ成分の微分強度が低く、Ｇ成分の微分強度が高くなるため、色成分毎に微分強度の差が生じる。一方、構造エッジ領域においては、Ｒ成分もＧ成分も同じ傾向で変化するため、色成分毎の微分強度にあまり差が生じない。そこで、閾値処理部１７４は、Ｒ成分及びＧ成分の微分強度が共に閾値以上であるような画素を、構造エッジ画素として抽出する。
構造エッジ領域検出部１７は、このような処理を、管腔内画像１００内の全ての画素について繰り返す（ステップＳ１３５：Ｎｏ、ステップＳ１３１）。
【００４０】
管腔内画像１００内の全ての画素について閾値処理が実行されると（ステップＳ１３５：Ｙｅｓ）、構造エッジ領域検出部１７は、抽出された構造エッジ画素をラベリングし、さらに、細線化処理（参考：ＣＧ−ＡＲＴＳ協会、ディジタル画像処理、ｐ．１８５〜ｐ．１９０）を行う（ステップＳ１３６）。それにより、図３に示すような構造エッジ１０２〜１０４が検出される。その後、動作はメインルーチンに戻る。
【００４１】
以上説明したように、実施の形態１においては、残渣候補領域を色特徴量に基づいて検出し、当該残渣候補領域が残渣領域であるか否かを、当該残渣候補領域と構造エッジとの相対的な位置関係（即ち、当該残渣候補領域が構造エッジを遮蔽するか否か）に基づいて判別する。従って、色特徴量のみを用いて残渣領域を特定する場合よりも高い精度で、残渣領域を抽出することができる。従って、抽出された残渣領域を不要領域として管腔内画像から予め除外しておくことにより、読影効率を向上させることが可能となる。
【００４２】
（変形例１−１）
構造エッジの検出方法としては、上述した第１及び第２の色成分の微分強度に基づく検出方法の他にも、既知の様々な方法を用いることができる。例えば、少なくとも１つの色成分の微分強度を用いて構造エッジを検出することも可能である。具体的には、管腔内における吸光帯域から最も離れた色成分（Ｒ、Ｇ、Ｂの内ではＲ成分）を用いると良い。Ｒ成分は３つの色成分の内で最も波長が長く、血液（ヘモグロビン）による吸光成分が少ないため、生体組織の表面構造を最もよく反映した情報を得ることができるからである。この場合、ソーベル（Sobel）フィルタ等を用いた１次微分処理やラプラシアン（Laplacian）等を用いた２次微分処理等、公知のエッジ抽出技術により、各画素のＲ成分からエッジ強度を算出する。
【００４３】
（変形例１−２）
近似構造エッジ線の算出方法としては、上述した関数近似による方法以外にも、既知の様々な方法を用いることができる。一例として、図６（ａ）に示すように、ラベリングされた構造エッジ１１０を構成する構造エッジ画素１１１から近似構造エッジ線を算出する方法について説明する。まず、各構造エッジ画素１１１に対してｘ方向及びｙ方向にソーベルフィルタを適用することにより、各構造エッジ画素１１１の勾配方向を求める。次いで、各構造エッジ画素１１１の勾配方向と直交するベクトル（直交ベクトル）１１２を算出する（図６（ｂ））。さらに、これらの直交ベクトル１１２の平均値（平均直交ベクトル）と、構造エッジ１１０を構成する全ての構造エッジ画素１１１の重心位置１１３とを算出する。そして、平均直交ベクトルと同じ傾きを有し、重心位置１１３を通る一次関数を、近似構造エッジ線１１４とする（図６（ｃ））。
【００４４】
（変形例１−３）
近似構造エッジ線の算出方法の別の例を説明する。まず、図６に示すように、ラベリングされた構造エッジ１１０を構成する各構造エッジ画素１１１（座標（ｘ，ｙ））において、ヘッセ行列を求める。ここで、ヘッセ行列とは、多変数スカラー関数（本変形例１−３においては画素値ｆ（ｘ，ｙ））の２階偏微分を要素とする正方行列である。このようなヘッセ行列の第２固有ベクトルは、画素値ｆ（ｘ，ｙ）を高度と見なした場合の谷又は尾根に沿った方向（即ち、図６の直交ベクトル１１２と同じ方向）を向く。従って、各構造エッジ画素１１１におけるヘッセ行列の第２固有ベクトルの平均ベクトルと、構造エッジ１１０の重心位置１１３とを算出して、平均ベクトルと同じ傾きを有し、重心位置１１３を通る一次関数を求め、これを近似構造エッジ線とすれば良い。
【００４５】
（実施の形態２）
次に、本発明の実施の形態２に係る画像処理装置について説明する。図７に示すように、実施の形態２に係る画像処理装置２は演算部２０を備える。その他の構成については、図１に示すものと同様である。
【００４６】
演算部２０は、残渣候補領域検出部１６と、構造エッジ領域検出部１７と、残渣領域判別手段としての近似構造エッジ線算出部１８及び交差判定部２１とを備える。この内、残渣候補領域検出部１６、構造エッジ領域検出部１７、及び近似構造エッジ線算出部１８の構成及び動作については、実施の形態１において説明したものと同様である。
【００４７】
交差判定部２１は、近似構造エッジ線と残渣候補領域の輪郭線との類似度を算出する類似度算出部２１１を含み、算出された類似度に基づいて近似構造エッジ線と残渣候補領域との交差関係を判定し、さらに、この判定結果に基づいて、残渣候補領域が残渣領域であるか否かを判別する。
【００４８】
次に、画像処理装置２の動作について、図２、図８、及び図９を参照しながら説明する。画像処理装置２の動作は、図２のステップＳ１０〜Ｓ１５及びＳ１８〜Ｓ１９に関して実施の形態１で説明したものと共通であり、残渣候補領域の判別処理の動作（ステップＳ１６）のみが実施の形態１とは異なる。
【００４９】
図８は、画像処理装置２が実行する残渣候補領域の判別処理を示すフローチャートである。また、図９は、近似構造エッジ線と残渣候補領域との交差状態の判定方法を説明する図であり、管腔内画像１００から検出された残渣候補領域１０１、構造エッジ１０３、１０４、及び近似構造エッジ線１０５を拡大して示している。
【００５０】
ステップＳ２１において、交差判定部２１は残渣候補領域１０１内をスキャンし、近似構造エッジ線１０５の座標上に存在する画素（以下、「近似線上画素」という）を検出する。
【００５１】
ここで、近似線上画素が存在する場合、構造エッジ１０３は残渣候補領域１０１によって遮蔽されているものと考えられる。この場合、構造エッジ１０３を遮蔽している領域としては、残渣領域か、又は、例えば白色病変領域のように、粘膜領域であるが、色特徴量から残渣候補領域として検出されてしまった領域である可能性がある。このような病変領域は、周囲の粘膜領域よりも隆起している場合があるため、撮像の向きによっては構造エッジ１０３を遮蔽しているように映し出されることがあるからである。しかしながら、粘膜領域の隆起により構造エッジを遮蔽しているように見える領域は、構造エッジを僅かしか跨ぐことはない。そのため、そのような遮蔽領域の輪郭線は構造エッジの近傍に存在する。そこで、実施の形態２においては、近似構造エッジ線１０５と残渣候補領域１０１の輪郭線１０６との類似度に基づいて、残渣候補領域１０１が残渣領域であるのか、又は、隆起により構造エッジ１０３を遮蔽しているように見える粘膜領域であるのかを判定する。
【００５２】
近似線上画素が検出された場合（ステップＳ２２：Ｙｅｓ）、類似度算出部２１１は、各近似線上画素の座標Ｐにおける近似構造エッジ線１０５の法線方向を算出する（ステップＳ２３）。また、類似度算出部２１１は、この法線方向における座標Ｐと輪郭線１０６との間の距離を算出する（ステップＳ２４）。このとき、法線方向には２つの向きが存在するため、距離ｄＳＨＯＲＴ及び距離ｄＬＯＮＧの２つの値が算出される。類似度算出部２１１は、この内の短いほうの距離ｄＳＨＯＲＴ（即ち、輪郭線１０６に近い側の距離）を採用する。
【００５３】
ステップＳ２５において、類似度算出部２１１は、ステップＳ２１において検出された全ての画素について算出された距離ｄＳＨＯＲＴから、平均値ｄＡＶＥを算出する。
【００５４】
ステップＳ２６において、交差判定部２１は、平均値ｄＡＶＥが所定の閾値以上であるか否かを判定する。平均値ｄＡＶＥが閾値以上である場合（ステップＳ２６：Ｙｅｓ）、交差判定部２１は、近似構造エッジ線１０５と輪郭線１０６とは類似しておらず、当該残渣候補領域１０１は残渣領域であると判別する（ステップＳ２７）。その後、動作はメインルーチンに戻る。
【００５５】
一方、平均値ｄＡＶＥが閾値より小さい場合（ステップＳ２６：Ｎｏ）、交差判定部２１は、近似構造エッジ線１０５と輪郭線１０６とは類似しており、当該残渣候補領域１０１は残渣領域でないと判別する（ステップＳ２８）。また、ステップＳ２２において近似構造エッジ線１０５上に存在する画素が検出されなかった場合（ステップＳ２２：Ｎｏ）も、交差判定部２１は、当該残渣候補領域１０１は残渣領域ではないと判別される（ステップＳ２８）。
【００５６】
以上説明したように、実施の形態２によれば、近似構造エッジ線と残渣候補領域の輪郭線との類似度に基づいて残渣候補領域のカテゴリを判別する。そのため、色特徴量から残渣候補領域として抽出されて構造エッジを遮蔽している粘膜領域を、残渣領域と区別することができる。従って、管腔内画像から残渣領域のみを、より正確に抽出することが可能となる。
【００５７】
（実施の形態３）
次に、本発明の実施の形態３に係る画像処理装置について説明する。図１０に示すように、実施の形態３に係る画像処理装置３は演算部３０を備える。その他の構成については、図１に示すものと同様である。
【００５８】
演算部３０は、残渣候補領域検出部１６と、構造エッジ領域検出部１７と、残渣領域判別手段としての近似構造エッジ線算出部１８及び交差判定部３１とを備える。この内、残渣候補領域検出部１６、構造エッジ領域検出部１７、及び近似構造エッジ線算出部１８の構成及び動作については、実施の形態１において説明したものと同様である。
【００５９】
交差判定部３１は、近似構造エッジ線と残渣候補領域の輪郭線との角度差を算出する角度差算出部３１１を含み、算出された角度差に基づいて近似構造エッジ線と残渣候補領域との交差関係を判定し、さらに、この判定結果に基づいて、残渣候補領域が残渣領域であるか否かを判別する。
【００６０】
次に、画像処理装置３の動作について、図２、図１１、及び図１２を参照しながら説明する。画像処理装置３の動作は、図２のステップＳ１０〜Ｓ１５及びＳ１８〜Ｓ１９に関して実施の形態１で説明したものと共通であり、残渣候補領域の判別処理の動作（ステップＳ１６）のみが実施の形態１とは異なる。
【００６１】
図１１は、画像処理装置３が実行する残渣候補領域の判別処理を示すフローチャートである。また、図１２は、近似構造エッジ線と残渣候補領域との交差状態の判定方法を説明する図であり、管腔内画像１００から検出された残渣候補領域１０１、構造エッジ１０３、１０４、及び近似構造エッジ線１０５を拡大して示している。
【００６２】
ステップＳ３１において、交差判定部３１は、残渣候補領域１０１に対して輪郭追跡（参考：ＣＧ−ＡＲＴＳ協会、ディジタル画像処理、ｐ．１７８〜ｐ．１７９）を行うことにより、近似構造エッジ線１０５と座標が一致する輪郭画素（以下、「近似線上輪郭画素」という）を検出する。
【００６３】
近似線上輪郭画素が検出された場合（ステップＳ３２：Ｙｅｓ）、角度差算出部３１１は、近似線上輪郭画素の座標Ｑにおいて、残渣候補領域１０１の輪郭線１０６の法線ベクトルｖを算出すると共に（ステップＳ３３）、同じ座標Ｑにおける近似構造エッジ線１０５の接線ベクトルｕを算出する（ステップＳ３４）。
【００６４】
さらに、ステップＳ３５において、角度差算出部３１１は、接線ベクトルｕと法線ベクトルｖとの外積の値（｜ｕ×ｖ｜＝｜ｕ｜・｜ｖ｜・ｓｉｎθ）を算出する。この外積の値｜ｕ×ｖ｜は、接線ベクトルｕと法線ベクトルｖとのなす角度θ（０≦θ≦１８０°）に応じて変化する。言い換えれば、｜ｕ×ｖ｜は、近似構造エッジ線１０５の向きと輪郭線１０６の向きとの類似関係を表す。即ち、外積の値｜ｕ×ｖ｜が大きい場合（例えば、ｓｉｎθ＝１、θ＝９０°）、近似構造エッジ線１０５と輪郭線１０６とは、向きが類似する交差関係となる。一方、外積の値｜ｕ×ｖ｜が小さい場合（例えば、ｓｉｎθ＝０、θ＝０°）、近似構造エッジ線１０５と輪郭線１０６とは、向きが非類似の交差関係となる。
【００６５】
ステップＳ３６において、交差判定部３１は、算出された外積の値｜ｕ×ｖ｜が所定の閾値以下であるか否かを判定する。外積の値｜ｕ×ｖ｜が閾値以下である場合（ステップＳ３６：Ｙｅｓ）、交差判定部３１は、近似構造エッジ線１０５と輪郭線１０６とは類似しておらず、当該残渣候補領域１０１は残渣領域であると判別する（ステップＳ３７）。その後、動作はメインルーチンに戻る。
【００６６】
一方、外積の値｜ｕ×ｖ｜が閾値より大きい場合（ステップＳ３６：Ｎｏ）、交差判定部３１は、近似構造エッジ線１０５と輪郭線１０６とは類似しており、当該残渣候補領域１０１は残渣領域でないと判別する（ステップＳ３８）。また、ステップＳ３２において近似線上輪郭画素が検出されなかった場合（ステップＳ３２：Ｎｏ）も、当該残渣候補領域１０１は残渣領域ではないと判別される（ステップＳ３８）。
【００６７】
以上説明したように、実施の形態３によれば、近似線上輪郭画素におけるベクトルを用いるので、近似構造エッジ線と残渣候補領域の輪郭線との交差関係を、より少ない演算量で正確に判定することが可能となる。
【００６８】
（実施の形態４）
次に、本発明の実施の形態４に係る画像処理装置について説明する。図１３に示すように、実施の形態４に係る画像処理装置４は演算部４０を備える。その他の構成については、図１に示すものと同様である。
【００６９】
演算部４０は、残渣候補領域検出部１６と、構造エッジ領域検出部４１と、残渣領域判別手段としての近似構造エッジ線算出部４２及び交差判定部１９とを備える。この内、残渣候補領域検出部１６及び交差判定部１９の動作については、実施の形態１において説明したものと同様である。
【００７０】
構造エッジ領域検出部４１は、残渣候補領域周辺（残渣候補領域を包囲する管腔内画像の一部の領域）において、残渣候補領域の輪郭から等距離にある画素からなり、残渣候補領域の輪郭と相似する形状を有する相似曲線（以下、周囲相似曲線という）を、残渣候補領域の輪郭からの距離ごとに複数算出する相似曲線算出部４１１と、各周囲相似曲線がエッジと交差する位置の座標であるエッジ座標を抽出するエッジ位置検出部４１２と、各周囲相似曲線間におけるエッジ座標の連続性を判定する連続性判定部４１３とを含み、残渣候補領域周辺の構造エッジ領域を検出する。
【００７１】
近似構造エッジ線算出部４２は、関数近似法により近似構造エッジ線を算出する関数近似部４２１を含み、各周囲相似曲線間において連続的と判定されたエッジ座標を抽出し、これらのエッジ座標に基づいて近似構造エッジ線を算出する。
【００７２】
次に、画像処理装置４の動作について説明する。図１４は、画像処理装置４の動作を示すフローチャートである。なお、図１４に示すステップＳ１０〜Ｓ１２及びＳ１９の動作は、実施の形態１において説明したものと共通である。また、図１５は、画像処理装置４によって処理される管腔内画像の一例を示す模式図である。図１５に示す管腔内画像２００には、ステップＳ１１において検出された残渣候補領域２０１が示されている。
【００７３】
ステップＳ４１において、構造エッジ領域検出部４１は、残渣候補領域２０１周辺の構造エッジを検出する。
【００７４】
図１６は、ステップＳ４１における構造エッジ領域検出部４１の詳細な動作を示すフローチャートである。
まず、ステップＳ４０１において、相似曲線算出部４１１は、残渣候補領域２０１からの距離が互いに異なる複数の周囲相似曲線を算出する。図１５に示す周囲相似曲線２０２〜２０４は、残渣候補領域２０１の輪郭からそれぞれ距離ｄ１〜ｄ３だけ離れた位置における周囲相似曲線である。
【００７５】
これらの周囲相似曲線２０２〜２０４の周の長さは、互いに異なる。そこで、ステップＳ４０２において、相似曲線算出部４１１は、残渣候補領域２０１からの距離が最も短い第１の周囲相似曲線（図１５においては周囲相似曲線２０２）の長さを基準長として、残渣候補領域２０１との距離がそれよりも長い２番目以降の周囲相似曲線（図１５においては周囲相似曲線２０３、２０４）の周の長さを、基準長との比率に基づいて正規化する。それにより、周囲相似曲線２０２〜２０４の周の長さが統一される。
【００７６】
ステップＳ４０３において、相似曲線算出部４１１は、正規化された周囲相似曲線２０２〜２０４を図１７に示す特徴空間に投影する。図１７に示す特徴空間は、周囲相似曲線上の位置（所定の基準位置からの距離）を表す正規化座標、基準とした周囲相似曲線２０２に対する他の周囲相似曲線２０３、２０４の相対距離、及び周囲相似曲線２０２〜２０４上の画素の画素値との３軸で構成される。図１７に示す特徴空間内の正規化座標における画素値を表す画素値曲線３０１〜３０３は、管腔内画像２００上の周囲相似曲線２０２〜２０４に対応している。
【００７７】
ステップＳ４０４において、エッジ位置検出部４１２は、各画素値曲線３０１〜３０３における微分強度を算出し、微分強度が所定の閾値以上である正規化座標をエッジ座標として抽出する。例えば図１８に示す特徴空間の場合、第１の画素値曲線３０１からエッジ座標ａ１、ｂ１、ｃ１が抽出され、第２の画素値曲線３０２からエッジ座標ａ２及びｃ２が抽出され、第３の画素値曲線３０３からエッジ座標ａ３及びｃ３が抽出される。
【００７８】
ステップＳ４０５において、連続性判定部４１３は、検出されたエッジ座標ａ１〜ａ３、ｂ１、ｃ１〜ｃ３について、隣り合う画素値曲線間で連続性があるか否かを判定し、連続性があるエッジ座標を抽出する。この連続性の判定は、例えば画素値曲線３０１上の座標ａ１に対し、所定の探索範囲Δｓ内に別の画素値曲線上の座標が存在するか否かを探索することにより行う。なお、連続性の判定処理の詳細については後述する。ここでは、エッジ座標ａ１〜ａ３、及びエッジ座標ｃ１〜ｃ３が連続性を有するエッジ座標として抽出されたものとする。
【００７９】
ステップＳ４０６において、連続性判定部４１３は、抽出されたエッジ座標ａ１〜ａ３及びｃ１〜ｃ３を、実画像空間上の座標に変換する。それにより、図１９に示すように、エッジ座標ａ１〜ａ３に対応する座標Ａ１〜Ａ３と、エッジ座標ｃ１〜ｃ３に対応する座標Ｃ１〜Ｃ３が得られる。
【００８０】
さらに、ステップＳ４０７において、構造エッジ領域検出部４１は、これらの座標Ａ１〜Ａ３、Ｃ１〜Ｃ３からそれぞれ任意の数の座標を抽出し、抽出された座標を通る直線又は曲線を構造エッジ２０５、２０６として抽出する。その後、動作はメインルーチンに戻る。
【００８１】
このような処理の結果、構造エッジが検出されると（ステップＳ４２：Ｙｅｓ）、近似構造エッジ線算出部４２は、検出された構造エッジ２０５、２０６に近似する近似構造エッジ線を、例えば関数近似法により算出する（ステップＳ４３）。
【００８２】
ステップＳ４４において、交差判定部１９は、算出された近似構造エッジ線と残渣候補領域２０１とが交差するか否かを判定し、この判定結果に基づいて、残渣候補領域２０１が残渣領域であるか否かを判別する。この判別方法の詳細は、実施の形態１において説明したものと同様である。或いは、交差判定部１９は、実施の形態２又は３と同様に、近似構造エッジ線と残渣候補領域２０１の輪郭との交差関係に基づいて、残渣候補領域２０１の判別を行っても良い。
【００８３】
また、交差判定部１９は、ステップＳ４２において構造エッジが検出されなかった場合、当該残渣候補領域２０１は残渣領域ではないと判別する（ステップＳ４５）。
【００８４】
その後、未だ判別処理が実行されていない残渣候補領域が存在する場合（ステップＳ４６：Ｎｏ）、動作はステップＳ４１に移行し、次の残渣候補領域に対する処理が行われる。一方、管腔内画像２００から検出された全ての残渣候補領域に対する判別処理が終了すると（ステップＳ４６：Ｙｅｓ）、動作はステップＳ１９に移行する。
【００８５】
次に、複数の周囲相似曲線の算出処理（図１６のステップＳ４０１）の詳細について説明する。図２０は、ステップＳ４０１における相似曲線算出部４１１の動作を示すフローチャートである。
【００８６】
まず、ステップＳ４１１において、相似曲線算出部４１１は、管腔内画像２００内の各画素の値を残渣候補領域２０１からの距離を表す値に変換することにより、距離画像を作成する。距離画像の作成方法としては、公知の様々な方法を用いることができる（例えば、平田富夫、加藤敏洋、「ユークリッド距離変換アルゴリズム」（情報処理学会研究報告、アルゴリズム研究会報告 第９４巻、第８２号、第２５−３１頁、１９９４年９月２１日）参照）。
【００８７】
続くステップＳ４１２において、相似曲線算出部４１１は、残渣候補領域２０１の輪郭から第ｎ番目の周囲相似曲線までの距離ｄｎを設定する。ここで、ｎ（ｎ＝１、２、３、・・・）は、各周囲相似曲線を識別する番号である。また、距離ｄｎは所望の方法で設定して良い。例えば、隣り合う周囲相似曲線間の間隔Δｄを予め定めておき、番号ｎと間隔Δｄとを掛け合わせることにより、距離ｄｎを設定してもよい。
【００８８】
ステップＳ４１３において、相似曲線算出部４１１は、設定された距離ｄｎを閾値として距離画像を２値化する。そして、残渣候補領域２０１の輪郭からの距離がｄｎ以下の領域に対して輪郭追跡を行い、この残渣候補領域２０１の輪郭からの距離が閾値（距離ｄｎ）以下の領域の輪郭上の画素の画素値を順に取得する。それにより、周囲相似曲線が作成される（ステップＳ４１４）。
【００８９】
相似曲線算出部４１１は、残渣候補領域２０１の輪郭からの距離が異なる周囲相似曲線をさらに作成する場合（ステップＳ４１５：Ｙｅｓ）、番号ｎをインクリメントする（ｎ＝ｎ＋１、ステップＳ４１６）。その後、動作はステップＳ４１２に移行する。また、所望の数の周囲相似曲線が作成された場合（ステップＳ４１５：Ｎｏ）、動作はメインルーチンに戻る。
【００９０】
次に、隣り合う画素値曲線間で連続性があるエッジ座標を検出する処理（図１６のステップＳ４０５）の詳細について、図２１を参照しながら説明する。図２１は、ステップＳ４０５における連続性判定部４１３の動作を示すフローチャートである。
【００９１】
まず、ステップＳ４２１において、連続性判定部４１３は、第１の画素値曲線から検出されたエッジ座標を基点座標に設定する。例えば、図１８の場合、画素値曲線３０１のエッジ座標ａ１、ｂ１、ｃ１が基点座標となる。
【００９２】
続いて、連続性判定部４１３は、連続性の判定を行う基点座標を設定する（ステップＳ４２２）。以下、基点座標（エッジ座標）ａ１から連続性の判定を開始する。
【００９３】
ステップＳ４２３において、連続性判定部４１３は、第ｎ番目（ｎ＝２、３、・・・）の画素値曲線において基点座標と連続するエッジ座標を探索する探索範囲を設定する。この探索範囲としては、第１の画素値曲線における基点座標を中心とする任意の幅を設定する。或いは、探索範囲として、１つ内側（第ｎ−１番目）の画素値曲線を探索した際に検出されたエッジ座標を中心とする任意の幅を設定しても良い。例えば、ｎ＝３の場合には、基点座標ａ１を中心とする探索範囲Δｓを探索しても良いし、画素値曲線３０２を探索した際に検出されたエッジ座標ａ２を中心とする探索範囲Δｓ’を探索しても良い。
【００９４】
ステップＳ４２４において、連続性判定部４１３は、第ｎ番目の画素値曲線の探索範囲内にエッジ座標が存在するか否かを判定する。その結果、エッジ座標が存在する場合（ステップＳ４２４：Ｙｅｓ）、さらに外側（第ｎ＋１番目）の画素値曲線が存在していれば（ステップＳ４２５：Ｙｅｓ）、番号ｎをインクリメント（ｎ＝ｎ＋１、ステップＳ４２６）した後にステップＳ４２３に移行し、１つ外側の画素値曲線に対する探索を行う。例えば図１８の場合、第２番目の画素値曲線３０２の探索範囲Δｓからエッジ座標ａ２が検出されると、第３番目の画素値曲線３０３に対する探索が行われる。
【００９５】
連続性判定部４１３は、最も外側の画素値曲線におけるエッジ座標の探索が終了すると（ステップＳ４２５：Ｎｏ）、各画素値曲線で検出されたエッジ座標を連続性があるエッジ座標として抽出する（ステップＳ４２７）。例えば、基点座標ａ１に対しては、エッジ座標ａ２及びａ３が抽出される。
【００９６】
一方、連続性判定部４１３は、第ｎ番目の画素値曲線に対する探索の結果、探索範囲からエッジ座標が存在しなかった場合（ステップＳ４２４：Ｎｏ）、第１番目から第ｎ−１番目までの画素値曲線において検出されたエッジ座標を連続するエッジ座標として抽出する（ステップＳ４２８）。
【００９７】
その後、未だエッジ座標の連続性の判定を行われていない基点座標が存在する場合（ステップＳ４２９：Ｎｏ）、動作はステップＳ４２２に移行し、別の基点座標に対する処理が行われる。一方、全ての基点座標についてエッジ座標の連続性が判定されると（ステップＳ４２９：Ｙｅｓ）、動作はメインルーチンに戻る。
【００９８】
このような探索処理の結果、図１８に示す特徴空間においては、エッジ座標ａ１〜ａ３及びエッジ座標ｃ１〜ｃ３が連続する座標として抽出される。
【００９９】
以上説明したように、実施の形態４においては、残渣候補領域毎にその周囲の構造エッジを検出するので、構造エッジを検出するための演算量を低減して、効率良く残渣候補領域の判別を行うことができる。
【０１００】
（変形例４−１）
画素値曲線間で連続性があるエッジ座標を検出する際の探索範囲の設定方法としては、上述した方法に限定されない。例えば、図２２に示すように、内側の画素値曲線３０１、３０２で連続すると判定されたエッジ座標ａ１、ａ２から、正規化座標−相対距離の２次元空間における近似線Ｌを算出し、この近似線Ｌの周囲を探索範囲Δｓとしても良い。
【０１０１】
（変形例４−２）
画素値曲線間で連続性のあるエッジ座標を検出する方法としては、上述した方法に限定されない。例えば、全ての周囲相似曲線を画像化し、画像上のエッジ特徴量に基づいてエッジの連続性を判別しても良い。具体的には、周囲相似曲線の番号ｎを縦軸、正規化座標を横軸、周囲相似曲線における画素値を濃度とする画像を作成する。そして、当該画像を構成する各画素の微分強度を閾値処理して２値化することにより２値画像を生成する。さらに、この２値画像をラベリングし、ラベル領域の主軸長が所定の閾値以上であれば、該ラベル領域に属するエッジ座標は連続していると判定する。
【０１０２】
（変形例４−３）
残渣候補領域周囲の局所的な構造エッジを検出する方法としては、上述した周囲相似曲線を用いる方法に限定されない。例えば、残渣候補領域周囲の所定範囲を構造エッジの検出対象領域として設定し、この領域内部について、実施の形態１と同様の処理を行うことにより構造エッジを検出しても良い。
【０１０３】
以上説明した実施の形態１〜４に係る画像処理装置は、記録媒体に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することにより実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク、広域エリアネットワーク（ＬＡＮ／ＷＡＮ）、又は、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１〜４に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続された種々の出力機器（ビュアーやプリンタ等）に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置（記録媒体及びその読取装置等）に画像処理結果を格納するようにしても良い。
【０１０４】
なお、本発明は、実施の形態１〜４及びそれらの変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。
【符号の説明】
【０１０５】
１〜４ 画像処理装置
１０ 制御部
１１ 画像取得部
１２ 入力部
１３ 表示部
１４ 記録部
１４１ 画像処理プログラム
１５、２０、３０、４０ 演算部
１６ 残渣候補領域検出部
１７ 構造エッジ領域検出部
１７１ 第１微分強度算出部
１７２ 第２微分強度算出部
１７３ 正規化処理部
１７４ 閾値処理部
１８ 近似構造エッジ線算出部
１８１ ラベリング処理部
１８２ 関数近似部
１９、２１、３１ 交差判定部
２１１ 類似度算出部
３１１ 角度差算出部
４１ 構造エッジ領域検出部
４１１ 相似曲線算出部
４１２ エッジ位置検出部
４１３ 連続性判定部
４２ 近似構造エッジ線算出部
４２１ 関数近似部
１００、２００ 管腔内画像
１０１、２０１ 残渣候補領域
１０２〜１０４、１１０、２０５、２０６ 構造エッジ
１０５、１１４ 近似構造エッジ線
１０６ 輪郭線
１１１ 構造エッジ画素
１１２ 直交ベクトル
１１３ 重心位置
２０２〜２０４ 管腔内画像上の周囲相似曲線
３０１〜３０３ 特徴空間内の画素値曲線
【特許請求の範囲】
【請求項１】
管腔内画像に含まれる粘膜領域と非粘膜領域とを判別する画像処理装置において、
管腔内画像を構成する各画素の特徴量に基づいて、粘膜領域であるか否かの判別対象とする候補領域を検出する候補領域検出手段と、
前記管腔内画像に含まれる構造エッジを検出する構造エッジ検出手段と、
前記構造エッジと前記候補領域との相対的な位置関係に基づいて、前記候補領域が粘膜領域であるか否かを判別する領域判別手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記非粘膜領域は、前記粘膜領域に重なった残渣領域であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記候補領域検出手段は、前記各画素の色特徴量に基づいて前記候補領域を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記構造エッジ検出手段は、前記管腔内画像を構成する複数の色成分の内で、管腔内における吸光帯域から最も離れた１つの色成分を用いて前記構造エッジを検出することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記構造エッジ検出手段は、
前記各画素の第１の色成分を用いて各画素の第１の微分強度を算出する第１の微分強度算出手段と、
前記各画素の第２の色成分を用いて各画素の第２の微分強度を算出する第２の微分強度算出手段と、
前記第１及び第２の色成分の強度比に基づいて前記第２の微分強度を正規化する正規化手段と、
前記第１の微分強度及び正規化された前記第２の微分強度が共に所定の閾値以上である場合に、当該画素は構造エッジを表すと判別する閾値処理手段と、
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記構造エッジ検出手段は、前記候補領域を包囲する周囲の領域において前記構造エッジを検出することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記構造エッジ検出手段は、
前記候補領域の輪郭から等距離にある画素からなり、前記候補領域の輪郭と相似する形状を有する相似曲線であって、前記候補領域の輪郭からの距離が互いに異なる複数の相似曲線を算出する周囲相似曲線算出手段と、
前記複数の相似曲線におけるエッジ位置をそれぞれ検出するエッジ位置検出手段と、
前記複数の相似曲線の内で隣り合う相似曲線間におけるエッジ位置の連続性を判定する連続性判定手段と、
を備えることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記領域判別手段は、
前記構造エッジの近似線である近似構造エッジ線を算出する近似構造エッジ線算出手段と、
前記近似構造エッジ線と前記候補領域が交差するか否かを判定する交差判定手段と、
を備え、
前記交差判定手段の判定結果に基づいて前記候補領域が粘膜領域であるか否かを判別することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記近似構造エッジ線算出手段は、前記候補領域近傍において検出された複数の前記構造エッジをラベリングし、ラベリングされた前記構造エッジの各々について近似構造エッジ線を算出することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記近似構造エッジ線算出手段は、前記構造エッジを関数近似する関数近似手段を備えることを特徴とする請求項８に記載の画像処理装置。
【請求項１１】
前記関数近似手段は、前記構造エッジ上に位置する画素における画素値の勾配方向に直交するベクトルを算出し、該ベクトルに基づいて関数近似を行うことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記関数近似手段は、前記構造エッジ上に位置する画素における画素値に基づいてヘッセ行列の固有ベクトルを算出し、該固有ベクトルに基づいて関数近似を行うことを特徴とする請求項１０に記載の画像処理装置。
【請求項１３】
前記関数近似手段は、前記構造エッジ上に位置する画素の座標に基づいて関数近似を行うことを特徴とする請求項１０に記載の画像処理装置。
【請求項１４】
前記交差判定手段は、前記近似構造エッジ線と前記候補領域の輪郭線との座標が一致する位置において、前記輪郭線の法線と前記近似構造エッジ線とがなす角度に基づいて判定を行うことを特徴とする請求項８に記載の画像処理装置。
【請求項１５】
前記領域判別手段は、前記候補領域の輪郭線と前記近似構造エッジ線との類似度を算出する類似度算出手段をさらに備え、前記類似度に基づいて前記候補領域が粘膜領域であるか否かを判別することを特徴とする請求項８に記載の画像処理装置。
【請求項１６】
管腔内画像に含まれる粘膜領域と非粘膜領域とを判別する画像処理方法において、
管腔内画像における各画素の特徴量に基づいて、非粘膜領域の候補となる候補領域を検出する候補領域検出ステップと、
前記管腔内画像に含まれる構造エッジを検出する構造エッジ検出ステップと、
前記構造エッジと前記候補領域との相対的な位置関係に基づいて、前記候補領域が粘膜領域であるか否かを判別する領域判別ステップと、
を含むことを特徴とする画像処理方法。
【請求項１７】
管腔内画像に含まれる粘膜領域と非粘膜領域とを判別する画像処理プログラムにおいて、
管腔内画像における各画素の特徴量に基づいて、非粘膜領域の候補となる候補領域を検出する候補領域検出手順と、
前記管腔内画像に含まれる構造エッジを検出する構造エッジ検出手順と、
前記構造エッジと前記候補領域との相対的な位置関係に基づいて、前記候補領域が粘膜領域であるか否かを判別する領域判別手順と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１】
管腔内画像に含まれる粘膜領域と非粘膜領域とを判別する画像処理装置において、
管腔内画像を構成する各画素の特徴量に基づいて、粘膜領域であるか否かの判別対象とする候補領域を検出する候補領域検出手段と、
前記管腔内画像に含まれる構造エッジを検出する構造エッジ検出手段と、
前記構造エッジと前記候補領域との相対的な位置関係に基づいて、前記候補領域が粘膜領域であるか否かを判別する領域判別手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記非粘膜領域は、前記粘膜領域に重なった残渣領域であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記候補領域検出手段は、前記各画素の色特徴量に基づいて前記候補領域を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記構造エッジ検出手段は、前記管腔内画像を構成する複数の色成分の内で、管腔内における吸光帯域から最も離れた１つの色成分を用いて前記構造エッジを検出することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記構造エッジ検出手段は、
前記各画素の第１の色成分を用いて各画素の第１の微分強度を算出する第１の微分強度算出手段と、
前記各画素の第２の色成分を用いて各画素の第２の微分強度を算出する第２の微分強度算出手段と、
前記第１及び第２の色成分の強度比に基づいて前記第２の微分強度を正規化する正規化手段と、
前記第１の微分強度及び正規化された前記第２の微分強度が共に所定の閾値以上である場合に、当該画素は構造エッジを表すと判別する閾値処理手段と、
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記構造エッジ検出手段は、前記候補領域を包囲する周囲の領域において前記構造エッジを検出することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記構造エッジ検出手段は、
前記候補領域の輪郭から等距離にある画素からなり、前記候補領域の輪郭と相似する形状を有する相似曲線であって、前記候補領域の輪郭からの距離が互いに異なる複数の相似曲線を算出する周囲相似曲線算出手段と、
前記複数の相似曲線におけるエッジ位置をそれぞれ検出するエッジ位置検出手段と、
前記複数の相似曲線の内で隣り合う相似曲線間におけるエッジ位置の連続性を判定する連続性判定手段と、
を備えることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記領域判別手段は、
前記構造エッジの近似線である近似構造エッジ線を算出する近似構造エッジ線算出手段と、
前記近似構造エッジ線と前記候補領域が交差するか否かを判定する交差判定手段と、
を備え、
前記交差判定手段の判定結果に基づいて前記候補領域が粘膜領域であるか否かを判別することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記近似構造エッジ線算出手段は、前記候補領域近傍において検出された複数の前記構造エッジをラベリングし、ラベリングされた前記構造エッジの各々について近似構造エッジ線を算出することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記近似構造エッジ線算出手段は、前記構造エッジを関数近似する関数近似手段を備えることを特徴とする請求項８に記載の画像処理装置。
【請求項１１】
前記関数近似手段は、前記構造エッジ上に位置する画素における画素値の勾配方向に直交するベクトルを算出し、該ベクトルに基づいて関数近似を行うことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記関数近似手段は、前記構造エッジ上に位置する画素における画素値に基づいてヘッセ行列の固有ベクトルを算出し、該固有ベクトルに基づいて関数近似を行うことを特徴とする請求項１０に記載の画像処理装置。
【請求項１３】
前記関数近似手段は、前記構造エッジ上に位置する画素の座標に基づいて関数近似を行うことを特徴とする請求項１０に記載の画像処理装置。
【請求項１４】
前記交差判定手段は、前記近似構造エッジ線と前記候補領域の輪郭線との座標が一致する位置において、前記輪郭線の法線と前記近似構造エッジ線とがなす角度に基づいて判定を行うことを特徴とする請求項８に記載の画像処理装置。
【請求項１５】
前記領域判別手段は、前記候補領域の輪郭線と前記近似構造エッジ線との類似度を算出する類似度算出手段をさらに備え、前記類似度に基づいて前記候補領域が粘膜領域であるか否かを判別することを特徴とする請求項８に記載の画像処理装置。
【請求項１６】
管腔内画像に含まれる粘膜領域と非粘膜領域とを判別する画像処理方法において、
管腔内画像における各画素の特徴量に基づいて、非粘膜領域の候補となる候補領域を検出する候補領域検出ステップと、
前記管腔内画像に含まれる構造エッジを検出する構造エッジ検出ステップと、
前記構造エッジと前記候補領域との相対的な位置関係に基づいて、前記候補領域が粘膜領域であるか否かを判別する領域判別ステップと、
を含むことを特徴とする画像処理方法。
【請求項１７】
管腔内画像に含まれる粘膜領域と非粘膜領域とを判別する画像処理プログラムにおいて、
管腔内画像における各画素の特徴量に基づいて、非粘膜領域の候補となる候補領域を検出する候補領域検出手順と、
前記管腔内画像に含まれる構造エッジを検出する構造エッジ検出手順と、
前記構造エッジと前記候補領域との相対的な位置関係に基づいて、前記候補領域が粘膜領域であるか否かを判別する領域判別手順と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図７】
【図８】
【図１０】
【図１１】
【図１３】
【図１４】
【図１６】
【図１７】
【図１８】
【図２０】
【図２１】
【図２２】
【図３】
【図４】
【図５】
【図６】
【図９】
【図１２】
【図１５】
【図１９】
【図２】
【図７】
【図８】
【図１０】
【図１１】
【図１３】
【図１４】
【図１６】
【図１７】
【図１８】
【図２０】
【図２１】
【図２２】
【図３】
【図４】
【図５】
【図６】
【図９】
【図１２】
【図１５】
【図１９】
【公開番号】特開２０１２−１４３３４０（Ｐ２０１２−１４３３４０Ａ）
【公開日】平成２４年８月２日（２０１２．８．２）
【国際特許分類】
【出願番号】特願２０１１−２９８４（Ｐ２０１１−２９８４）
【出願日】平成２３年１月１１日（２０１１．１．１１）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年８月２日（２０１２．８．２）
【国際特許分類】
【出願日】平成２３年１月１１日（２０１１．１．１１）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]