説明

画像処理装置、画像処理方法、および画像処理プログラム

【課題】暗部領域か否かを適正に判別し、暗部領域を精度良く抽出することができる画像処理装置、画像処理方法、および画像処理プログラムを提供すること。
【解決手段】本発明のある実施の形態の画像処理装置1において、演算部15は、管腔内画像の各画素の画素値をもとに低輝度領域を検出する低輝度領域検出部151と、低輝度領域の周囲の画素値をもとに周囲特徴量を算出する周囲特徴量算出部16と、周囲特徴量をもとに、低輝度領域が暗部領域か否かを判別する暗部領域判別部24とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、管腔内を撮像した管腔内画像から暗部領域を抽出する画像処理装置、画像処理方法、および画像処理プログラムに関するものである。
【背景技術】
【0002】
従来から、患者等の被検者の体内に導入されて体内管腔内を観察する医用観察装置として、内視鏡が広く普及している。また、近年では、カプセル型の筐体内部に撮像装置やこの撮像装置によって撮像された画像データを体外に無線送信する通信装置等を備えた飲み込み型の内視鏡(カプセル内視鏡)が開発されている。これらの医用観察装置によって撮像された体内管腔内の画像(管腔内画像)の観察・診断は、多くの経験を必要とするため、医師による診断を補助する医療診断支援機能が望まれている。この機能を実現する画像認識技術の1つとして、管腔内画像から病変等の異常部を自動的に検出することで、重点的に診断すべき画像を示す技術が提案されている。
【0003】
ところで、管腔内画像には、例えば管腔の奥側に代表される、光があまり届いていない場所が映った領域(暗部領域)のように、観察・診断に不要な領域が含まれる。したがって、前述の異常部検出のためには、前処理として、このような観察・診断に不要な領域を抽出する処理を行い、粘膜等の注目すべき領域を特定する技術が重要となる。例えば、特許文献1には、暗部等の不要領域に影響されずに画像内における病変粘膜等の特定の生体粘膜の存在を検出する技術が開示されている。この特許文献1では、各画素の色情報をもとに不要領域に該当する画素を除外した上で、特定の生体粘膜の存在を検出している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−166939号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記したように、特許文献1の技術では、色情報をもとに暗部領域に該当する画素を除外している。しかしながら、暗部領域は、凝固血が映った領域等と色が類似しており、色情報ではこれらを判別することが困難である。このため、注目すべき領域を誤って不要領域として抽出してしまうという問題があった。
【0006】
本発明は、上記に鑑み為されたものであって、暗部領域か否かを適正に判別し、暗部領域を精度良く抽出することができる画像処理装置、画像処理方法、および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記した課題を解決し、目的を達成するための、本発明のある態様にかかる画像処理装置は、管腔内画像から暗部領域を抽出する画像処理装置であって、前記管腔内画像の各画素の画素値をもとに低輝度領域を検出する低輝度領域検出手段と、前記低輝度領域の周囲の画素値をもとに周囲特徴量を算出する周囲特徴量算出手段と、前記周囲特徴量をもとに、前記低輝度領域が暗部領域か否かを判別する暗部領域判別手段と、を備えることを特徴とする。ここで、周囲特徴量とは、低輝度領域の周囲の領域の特徴量のことをいう。
【0008】
この態様にかかる画像処理装置によれば、管腔内画像の各画素の画素値をもとに低輝度領域を抽出することができる。そして、抽出した低輝度領域の周囲の画素値をもとに周囲特徴量を算出し、この周囲特徴量をもとに低輝度領域が暗部領域か否かを判別することができる。したがって、低輝度領域の周囲の画素値をもとに算出した周囲特徴量を用いることで低輝度領域の中から暗部領域と色が類似する暗部領域以外の領域を除外し、暗部領域を抽出することができる。したがって、暗部領域を適正に判別し、暗部領域を精度良く抽出することができるという効果を奏する。
【0009】
また、本発明の別の態様にかかる画像処理方法は、管腔内画像から暗部領域を抽出する画像処理方法であって、前記管腔内画像の各画素の画素値をもとに低輝度領域を検出する低輝度領域検出工程と、前記低輝度領域の周囲の画素値をもとに周囲特徴量を算出する周囲特徴量算出工程と、前記周囲特徴量をもとに、前記低輝度領域が暗部領域か否かを判別する暗部領域判別工程と、を含むことを特徴とする。
【0010】
また、本発明の別の態様にかかる画像処理プログラムは、管腔内画像から暗部領域を抽出する画像処理プログラムであって、コンピュータに、前記管腔内画像の各画素の画素値をもとに低輝度領域を検出する低輝度領域検出ステップと、前記低輝度領域の周囲の画素値をもとに周囲特徴量を算出する周囲特徴量算出ステップと、前記周囲特徴量をもとに、前記低輝度領域が暗部領域か否かを判別する暗部領域判別ステップと、を実行させることを特徴とする。
【発明の効果】
【0011】
本発明によれば、暗部領域か否かを適正に判別し、暗部領域を精度良く抽出することができるという効果を奏する。
【図面の簡単な説明】
【0012】
【図1】図1は、実施の形態1の画像処理装置の機能構成を説明するブロック図である。
【図2】図2は、管腔内画像の模式図である。
【図3】図3は、管腔内画像内の画素値の変化を説明する図である。
【図4】図4は、実施の形態1の画像処理装置1が行う処理手順を示す全体フローチャートである。
【図5】図5は、実施の形態1における初期領域補正処理の詳細な処理手順を示すフローチャートである。
【図6】図6は、実施の形態1における集中度算出処理の詳細な処理手順を示すフローチャートである。
【図7】図7は、実施の形態1における外部方向ベクトルを説明する図である。
【図8】図8は、実施の形態1における算出範囲限定処理の詳細な処理手順を示すフローチャートである。
【図9】図9は、膨張処理によって低輝度領域を拡張する様子を示す図である。
【図10】図10は、低輝度領域の周囲プロファイルを説明する図である。
【図11】図11は、勾配ベクトルを算出するか否かを判定する処理を説明する図である。
【図12】図12は、実施の形態1における周囲平滑化処理の詳細な処理手順を示すフローチャートである。
【図13】図13は、変形例1における画像処理装置の演算部の構成を示す図である。
【図14】図14は、変形例1における外部方向ベクトルを説明する図である。
【図15】図15は、変形例2における画像処理装置の演算部の構成を示す図である。
【図16】図16は、変形例2における算出範囲限定処理の詳細な処理手順を示すフローチャートである。
【図17】図17は、近傍輪郭画素方向ベクトルを説明する図である。
【図18】図18は、変形例3における画像処理装置の演算部の構成を示す図である。
【図19】図19は、変形例3における算出範囲限定処理の詳細な処理手順を示すフローチャートである。
【図20】図20は、実施の形態2の画像処理装置の機能構成を説明するブロック図である。
【図21】図21は、暗部領域およびその対向周囲部における画素値変化を示す図である。
【図22】図22は、暗部領域以外の黒色領域およびその対向周囲部における画素値変化を示す図である。
【図23】図23は、実施の形態2の画像処理装置が行う処理手順を示す全体フローチャートである。
【図24】図24は、実施の形態2における連続性算出処理の詳細な処理手順を示すフローチャートである。
【図25】図25は、実施の形態3の画像処理装置の機能構成を説明するブロック図である。
【図26】図26は、実施の形態3の画像処理装置が行う処理手順を示す全体フローチャートである。
【図27】図27は、実施の形態3における溝判別情報算出処理の詳細な処理手順を示すフローチャートである。
【図28】図28は、変形例4における画像処理装置の演算部の構成を示す図である。
【図29】図29は、変形例4における溝判別情報算出処理の詳細な処理手順を示すフローチャートである。
【図30】図30は、変形例5における画像処理装置の演算部の構成を示す図である。
【図31】図31は、変形例5における溝判別情報算出処理の詳細な処理手順を示すフローチャートである。
【図32】図32は、本発明を適用したコンピューターシステムの構成を示すシステム構成図である。
【図33】図33は、図32のコンピューターシステムを構成する本体部の構成を示すブロック図である。
【発明を実施するための形態】
【0013】
以下、図面を参照し、本発明の好適な実施の形態について説明する。なお、この実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
【0014】
ここで、本実施の形態の画像処理装置は、例えば内視鏡やカプセル内視鏡等の医用観察装置が被検者の体内の消化管等の管腔内を撮像した画像(管腔内画像)を処理するものであり、具体的には、粘膜等の注目すべき領域を特定し、例えば病変領域や出血領域等の異常部領域を抽出する際の前処理として、管腔内画像から暗部領域を抽出する処理を行うものである。管腔内画像は、前述のように消化管等の管腔内を医用観察装置によって撮像した画像であるが、管腔の奥側は医用観察装置からの距離が遠く、照明光が届きにくいために暗い領域として現れる。暗部領域とは、この管腔の奥側が映った暗い領域のことをいう。この暗部領域は、注目すべき領域とはならず、観察・診断に不要な領域である。なお、本実施の形態において、医用観察装置によって撮像される管腔内画像は、例えば、各画素においてR(赤),G(緑),B(青)の各色成分に対する画素レベル(画素値)を持つカラー画像である。
【0015】
(実施の形態1)
先ず、実施の形態1の画像処理装置の構成について説明する。図1は、実施の形態1の画像処理装置1の機能構成を説明するブロック図である。実施の形態1の画像処理装置1は、図1に示すように、画像取得部11と、入力部12と、表示部13と、記録部14と、演算部15と、画像処理装置1全体の動作を制御する制御部30とを備える。
【0016】
画像取得部11は、医用観察装置によって撮像された管腔内画像の画像データを取得するためのものであり、この画像取得部11によって取得された画像データは記録部14に記録され、演算部15によって処理された後、必要に応じて適宜表示部13に表示される。画像取得部11は、例えば医用観察装置がカプセル内視鏡の場合等のように医用観察装置との間の画像データの受け渡しに可搬型の記録媒体が使用される場合であれば、この記録媒体を着脱自在に装着して保存された管腔内画像の画像データを読み出すリーダ装置で構成される。また、医用観察装置によって撮像された管腔内画像の画像データを保存しておくサーバを適所に設置し、このサーバから取得する構成の場合には、画像取得部11を、サーバと接続するための通信装置等で構成する。そして、この画像取得部11を介してサーバとデータ通信を行い、管腔内画像の画像データを取得する。また、この他、内視鏡等の医用観察装置からの画像信号をケーブルを介して入力するインターフェース装置等で構成してもよい。
【0017】
入力部12は、例えばキーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、入力信号を制御部30に出力する。表示部13は、LCDやELディスプレイ等の表示装置によって実現されるものであり、制御部30の制御のもと、管腔内画像を含む各種画面を表示する。
【0018】
記録部14は、更新記録可能なフラッシュメモリ等のROMやRAMといった各種ICメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、CD−ROM等の情報記録媒体およびその読取装置等によって実現されるものであり、画像処理装置1を動作させ、この画像処理装置1が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が記録される。例えば、記録部14には、画像取得部11によって取得された管腔内画像の画像データが記録される。また、記録部14には、周囲特徴量の一例である勾配の集中度をもとに管腔内画像から暗部領域を抽出するための画像処理プログラム141が記録される。
【0019】
演算部15は、CPU等のハードウェアによって実現され、管腔内画像を処理して暗部領域を抽出するための種々の演算処理を行う。この演算部15は、低輝度領域検出手段としての低輝度領域検出部151と、周囲特徴量算出手段としての周囲特徴量算出部16と、暗部領域判別手段としての暗部領域判別部24とを含む。
【0020】
低輝度領域検出部151は、管腔内画像の各画素の画素値をもとに、管腔内画像から低輝度領域を検出する。この低輝度領域検出部151は、初期領域検出手段としての初期領域検出部152と、領域補正手段としての領域補正部153とを備える。初期領域検出部152は、各画素の色情報に基づく管腔内画像の色特徴量をもとに初期領域を検出する。領域補正部153は、初期領域の周囲(詳細には外周囲)における色特徴量をもとに初期領域を補正する機能部であり、領域拡張手段としての領域拡張部154と、輪郭平滑化手段としての領域平滑化部155とを備える。領域拡張部154は、初期領域と隣接する隣接領域のうち、その色特徴量が初期領域の色特徴量と類似する隣接領域を初期領域と統合することで初期領域を拡張する。領域平滑化部155は、領域拡張部154が初期領域を拡張することで作成した低輝度領域の輪郭を滑らかに修正する。
【0021】
周囲特徴量算出部16は、低輝度領域の周囲の画素値をもとに、低輝度領域の周囲特徴量を算出する機能部であり、周囲特徴量の一例である勾配の集中度を算出する集中度算出手段および内積算出手段としての集中度算出部17を備える。勾配の集中度は、低輝度領域の周囲における勾配の方向(勾配ベクトル)がどの程度低輝度領域の方を向いているかを表す値である。この集中度算出部17は、外部方向ベクトル算出手段および法線ベクトル算出手段としての外部方向ベクトル算出部18と、勾配ベクトル算出手段としての勾配ベクトル算出部19とを備える。
【0022】
外部方向ベクトル算出部18は、低輝度領域から外部方向(低輝度領域の輪郭外側)へ向かうベクトル(外部方向ベクトル;外部方向ベクトルは単位ベクトルとする。)を算出する。一方、勾配ベクトル算出部19は、外部方向ベクトルをもとに、低輝度領域の外部方向の領域すなわち低輝度領域の周囲における勾配ベクトル(勾配ベクトルは単位ベクトルとする。)を算出する。この勾配ベクトル算出部19は、算出範囲限定手段としての算出範囲限定部20と、周囲平滑化手段としての周囲平滑化部21とを備える。算出範囲限定部20は、低輝度領域の周囲に存在する急峻な勾配の有無をもとに勾配ベクトルの算出範囲を限定する機能部であり、プロファイル算出手段としてのプロファイル算出部201と、極小部検出手段としての極小部検出部202とを備える。プロファイル算出部201は、低輝度領域の周囲において低輝度領域の輪郭と平行に設定される外延輪郭線上の画素値を取得し、外延輪郭線に沿った画素値変化を表す周囲プロファイルを算出する。極小部検出部202は、周囲プロファイルが表す画素値変化の極小部を検出する。周囲平滑化部21は、低輝度領域の周囲をその周波数成分をもとに平滑化する機能部であり、周波数特徴量算出手段としての周波数特徴量算出部211と、高周波成分除去手段としての高周波成分除去部212とを備える。周波数特徴量算出部211は、低輝度領域の周囲における極大周波数を周波数特徴量として算出する。高周波成分除去部212は、周波数特徴量をもとに低輝度領域の周囲における高周波成分を除去する。
【0023】
以上のように構成される集中度算出部17は、外部方向ベクトル算出部18によって算出された外部方向ベクトルと、勾配ベクトル算出部19によって算出された勾配ベクトルとの内積を求め、この内積をもとに勾配の集中度を算出する。
【0024】
暗部領域判別部24は、周囲特徴量算出部16が低輝度領域の周囲特徴量として算出した勾配の集中度をもとに、低輝度領域が暗部領域か否かを判別する。
【0025】
制御部30は、CPU等のハードウェアによって実現される。この制御部30は、画像取得部11によって取得された画像データや入力部12から入力される入力信号、記録部14に記録されるプログラムやデータ等をもとに画像処理装置1を構成する各部への指示やデータの転送等を行い、画像処理装置1全体の動作を統括的に制御する。
【0026】
先ず、実施の形態1における暗部領域の抽出原理について説明する。図2は、管腔内画像の模式図である。また、図3は、管腔内画像内の画素値の変化を説明する図であり、図2中に破線で示すラインL11上の画素値の変化曲線L12を示している。医用観察装置が管腔の奥側を向いた状態で撮像した管腔内画像には、図2に示すように、管腔の奥が暗部領域51として映る。この暗部領域51は、管腔内画像において黒色の領域として現れる。例えば、図2に示す管腔内画像では、暗部領域51およびこの暗部領域51とは別の黒色領域52を示している。また、この管腔内画像には、例えば消化管内壁の粘膜構造の折りたたみやうねりによって発生する溝53が映る。
【0027】
ところで、前述のように、暗部領域は、管腔内画像の黒色領域であるが、管腔内画像には、暗部領域以外にも例えば凝固血等の領域が暗部領域と類似する黒色の領域として現れる。この凝固血等の領域は、暗部領域とは異なり、観察・診断時に注目すべき領域となる。例えば、図2において、暗部領域51とは別の黒色領域52が凝固血等の領域であったとする。
【0028】
ここで、暗部領域は、管腔内において撮影面に対して遠方の領域であるため、その周囲における画素値の変化が暗部領域の方へ傾いているという特徴がある。例えば、図3に示す画素値の変化曲線L12に示すように、図2の暗部領域51の周囲の領域511,512では、それぞれ図3中に矢印A11,A12に示すようにその画素値が暗部領域51の方向に向かって減少しており、暗部領域51の周囲では、その全域で画素値の変化が暗部領域51の方へ傾いている。これに対し、凝固血等の領域である黒色領域52の場合、黒色領域52の周囲の例えば図2中に向かって左側の領域521では、図3中に矢印A13に示すようにその画素値が黒色領域52の方向に向かって減少しているものの、右側の領域522では、矢印A14に示すようにその画素値が黒色領域52とは反対の方向に向かって減少している。すなわち、黒色領域52の右側の領域522では、この黒色領域52よりも右側に存在する暗部領域51に向かって画素値が減少している。そこで、実施の形態1では、先ず、管腔内画像から暗部領域の候補となる低輝度領域を検出する。そして、検出した低輝度領域の周囲における画素値の変化、より詳細には画素値の変化が傾く方向に着目することで、検出した低輝度領域が暗部領域か否かを判別して暗部領域を抽出する。
【0029】
次に、実施の形態1の画像処理装置1が行う具体的な処理手順について説明する。図4は、実施の形態1の画像処理装置1が行う処理手順を示す全体フローチャートである。ここで説明する処理は、演算部15が記録部14に記録された画像処理プログラム141を実行することにより実現される。
【0030】
図4に示すように、先ず演算部15は、処理対象の管腔内画像を取得する(ステップa1)。ここでの処理によって、演算部15は、画像取得部11によって取得され、記録部14に記録された処理対象の管腔内画像を読み出して取得する。
【0031】
続いて、低輝度領域検出部151において、初期領域検出部152が、管腔内画像の色特徴量をもとに、初期領域を検出する(ステップa3)。具体的な処理手順としては先ず、管腔内画像のエッジ強度を算出する。例えばソーベル(Sobel)フィルタ等を用いた1次微分処理やラプラシアン(Laplacian)等を用いた2次微分処理等、公知のエッジ抽出技術を用いて画素毎にエッジ強度を算出する。ここで、管腔内画像に映る血管や出血部位等の構成成分であるヘモグロビンは、短波長帯の光を多く吸光する特性を持つ。このようなヘモグロビンの短波長帯での吸光特性のため、波長成分の多くが短波長帯で構成されるG(緑)成分やB(青)成分は、ヘモグロビンの吸光によって輝度値が下がる。一方、波長成分の多くが長波長帯で構成されるR成分の値(R値)は、吸光が少なく、ほとんどの光を反射するため、このR値からは、生体組織の表面構造を最も反映した情報を得ることができる。このため、生体組織の表面構造によって形成される生体組織の輪郭を得るために、R成分の画像(各画素の画素値をR値とした画像)を作成し、このR成分画像をもとに各画素のエッジ強度を算出するようにしてもよい。
【0032】
次いで、各画素のエッジ強度をもとに管腔内画像を領域分割する。この領域分割の手法は、特に限定されるものではなく、公知の手法を適宜用いる。例えば、国際公開公報WO2006/080239号に開示されている手法を用いることができる。手順を簡単に説明すると、先ず、エッジ強度画像に対し、必要に応じてノイズ除去を目的とした平滑化を行う。その後、平滑化したエッジ強度画像の各画素における画素値の勾配方向を求める。このとき、勾配方向は、近傍画素との画素値の差が最小(負の値が最大)となる方向とする。次に、各画素が画素値の勾配方向に沿って到達する極値画素を求め、近接する極値画素に到達した各画素が同一の領域となるように画像を分割する。また、他の分割の手法として、公知の分水嶺(watershed)アルゴリズムを用いることとしてもよい。分水嶺アルゴリズムは、画像の画素値情報を高度とみなした地形において水を満たしていく際に、異なるくぼみに溜まる水の間で境界ができるように画像を分割する手法である。このため、エッジ強度画像に対し、適当な平滑化を行った後で分水嶺アルゴリズムを実行することによって、エッジ強度に基づく領域分割が可能である。
【0033】
次いで、分割した領域(分割領域)毎に色特徴量の一例である平均輝度を算出する。具体的には、分割領域内の画素毎にその色情報(R値,G値,B値)から輝度値を算出し、算出した分割領域内の画素毎の輝度値の平均値を平均輝度として算出する。次いで、分割領域の中から、平均輝度が所定の閾値以下である領域を抽出してラベリングする。ラベリング処理の詳細内容については公知技術を適用すればよい。このとき、抽出した領域の中に互いに隣接している領域があれば、これら隣接している領域が結果的に統合されて1つの領域となる。そして、以上のように抽出し、適宜統合して得た各領域のそれぞれを初期領域として検出する。
【0034】
以上のようにしてステップa3の処理を行った結果、初期領域が検出されなければ(ステップa5:No)、本処理を終える。初期領域が検出されないということは、平均輝度が所定の閾値以下である領域が存在しないということであり、ステップa1で取得した管腔内画像に暗部領域の候補となるような領域が含まれないと判定できる。一方、初期領域が検出された場合には(ステップa5:Yes)、続いて領域補正部153が初期領域補正処理を実行し、ステップa3で検出した初期領域を補正することで低輝度領域を検出する(ステップa7)。図5は、実施の形態1における初期領域補正処理の詳細な処理手順を示すフローチャートである。
【0035】
初期領域補正処理では、図5に示すように、初期領域毎にループBの処理を実行する(ステップb1〜ステップb15)。具体的には、ループBでは、先ず、領域補正部153の領域拡張部154が、処理対象の初期領域の平均色を算出する(ステップb3)。ここでは、例えば、初期領域内の各画素のR値,G値,B値からL***値を算出する。そして、算出した画素毎のL***値の平均値である平均L***値(L*s,a*s,b*s)を算出し、処理対象の初期領域の平均色とする。
【0036】
その後、領域拡張部154は、処理対象の初期領域と隣接領域との色差を算出して最小色差を選出し(ステップb5)、算出した隣接領域との最小色差が所定の閾値未満である間(ステップb7:Yes)、ステップb9〜ステップb5の処理を繰り返し行う。
【0037】
具体的には、処理対象の初期領域について最初に行うステップb5の処理では、図4のステップa3で初期領域を検出する際に行った領域分割の結果をもとに、処理対象の初期領域と隣接している分割領域を隣接領域として特定する。次いで、特定した隣接領域毎に、処理対象の初期領域との色差ΔEを次式(1)に従って算出する。L*i,a*i,b*iは、隣接領域の平均L***値、すなわち、隣接領域内の各画素のR値,G値,B値から算出したL***値の平均値を表す。そして、次式(1)に従って算出した隣接領域それぞれとの色差ΔEのうち、最も小さい値を最小色差として選出する。
【数1】

【0038】
続いて、領域拡張部154は、ステップb5で算出した最小色差を閾値処理する。そして、領域拡張部154は、例えば、最小色差が予め設定される閾値未満の場合には(ステップb7:Yes)、この最小色差を色差ΔEとして持つ隣接領域を処理対象の初期領域と統合し、処理対象の初期領域を補正する(ステップb9)。その後、領域拡張部154は、補正後の領域の平均色(平均L***値)をステップb3と同様の手順で算出する(ステップb11)。
【0039】
以上のようにして補正後の領域の平均色を算出した後、2回目以降に行うステップb5の処理では、領域拡張部154は、補正後の領域と隣接領域との色差を算出して最小色差を選出する。すなわち、先ず、図4のステップa3で初期領域を検出する際に行った領域分割の結果をもとに、ステップb9で統合して補正した補正後の領域と隣接している分割領域を隣接領域として特定する。次いで、特定した隣接領域毎に、補正後の領域との色差ΔEを算出し、最小色差を選出する。このとき、ステップb11で算出した補正後の領域の平均L***値をL*S,a*S,b*Sとし、隣接領域の平均L***値をL*i,a*i,b*iとして、上記した式(1)に従って色差ΔEを算出する。そして、ステップb5で算出した最小色差が所定の閾値未満であれば(ステップb7:Yes)、領域拡張部154は、この最小色差を色差ΔEとして持つ隣接領域を補正後の領域にさらに統合し(ステップb9)、その後同様の処理を繰り返す。
【0040】
一方、ステップb7において隣接領域との最小色差が所定の閾値以上と判定した場合には(ステップb7:No)、ステップb13に移行する。そして、ステップb13では、領域平滑化部155が補正後の領域の輪郭線の平滑化を行い、その輪郭を滑らかに修正する。具体的な処理手順としては先ず、補正後の領域の輪郭画素を抽出する。次いで、抽出した輪郭画素を順次処理対象とし、各輪郭画素の座標を近傍の輪郭画素の座標との平均座標で置き換える処理を行う。例えば、処理対象の輪郭画素と隣接する両隣の2つの輪郭画素の座標の平均座標を算出する。そして、処理対象の輪郭画素の座標を算出した平均座標で置き換える。
【0041】
以上のようにして初期領域を補正し、輪郭を修正したならば、得られた領域を低輝度領域として、処理対象の初期領域についてのループBの処理を終える。そして、ループBの処理を全ての初期領域について実行したならば、初期領域補正処理を終えて図4のステップa7にリターンする。
【0042】
なお、初期領域をもとに低輝度領域を検出する方法は、図5の初期領域補正処理に限定されるものではない。例えば、公知の動的輪郭法を用いて低輝度領域検出することとしてもよい。動的輪郭法は、画像内のエッジ(輪郭)を閉曲線として抽出する方法であり、初期閉曲線の形状を変形させながら、閉曲線の連続性や滑らかさ、閉曲線上でのエッジ強度に基づくエネルギー和が最も安定するような閉曲線を抽出するものである。この動的輪郭法を用い、初期領域の輪郭線を初期閉曲線とし、その形状を変形させていくことで低輝度領域を検出することとしてもよい。
【0043】
以上のようにして初期領域補正処理を終えたならば、図4に示すように、続いて、低輝度領域毎にループAの処理を実行する(ステップa9〜ステップa15)。このループAでは、先ず、集中度算出部17が集中度算出処理を実行し、処理対象の低輝度領域について勾配の集中度を算出する(ステップa11)。上記したように、暗部領域の周囲では、その全域で画素値の変化が暗部領域の方へ傾く(暗部領域に向かって画素値が小さくなる)という特徴を有している。したがって、処理対象の低輝度領域が暗部領域であれば、その輪郭外側における勾配ベクトルは、その向きが全体的に低輝度領域の外部方向ベクトルと逆向きに得られることとなる。そこで、ここでは、輪郭画素毎に外部方向ベクトルおよび勾配ベクトルを算出し、これらの内積を算出することで、勾配の集中度を算出する。
【0044】
図6は、実施の形態1における集中度算出処理の詳細な処理手順を示すフローチャートである。集中度算出処理では、図6に示すように、先ず、外部方向ベクトル算出部18が、輪郭画素毎に、低輝度領域から外部方向へ向かう外部方向ベクトルを算出する(ステップc1)。ここでは、例えば、低輝度領域の輪郭の法線方向のベクトル(法線ベクトル)を外部方向ベクトルとして算出する。図7は、実施の形態1における外部方向ベクトルを説明する図であり、低輝度領域E2の輪郭線上の2つの画素P21,P22を基点(始点)とする法線ベクトルV21,V22を示している。具体的な処理手順としては、低輝度領域の輪郭を構成する画素(輪郭画素)を抽出し、輪郭画素毎に低輝度領域の輪郭に対する法線ベクトルを算出する。
【0045】
続いて、勾配ベクトル算出部19において、算出範囲限定部20が算出範囲限定処理を実行し、ステップc1で算出した各外部方向ベクトルについて対応する勾配ベクトルを算出するか否かを判定する(ステップc3)。上記したように、管腔内画像には、消化管内壁の粘膜構造によって形成される溝が映り、このような溝は、暗部領域の周囲にも存在し得る。ここで、暗部領域の周囲において溝が存在する箇所では、勾配ベクトルが暗部領域の方を向かずに溝の方に向いてしまう。このため、溝が存在する箇所の勾配ベクトルを含めて勾配の集中度を算出すると、その算出精度が低下してしまう。そこで、ステップc3の算出範囲限定処理では、処理対象の低輝度領域の外側に溝が存在するか否かによって勾配ベクトルを算出する範囲を限定する。具体的には、低輝度領域の周囲において勾配が急峻な箇所を溝位置として検出する。そして、外部方向ベクトルの先に溝が存在する場合には、対応する勾配ベクトルを算出しないようにする。
【0046】
図8は、実施の形態1における算出範囲限定処理の詳細な処理手順を示すフローチャートである。算出範囲限定処理では、図8に示すように、先ず、算出範囲限定部20は、低輝度領域を膨張処理し、低輝度領域を拡張させて外周囲に膨張領域を作成する(ステップd1)。図9は、膨張処理によって低輝度領域E2を拡張する様子を示す図である。低輝度領域E2の膨張は、公知の膨張処理を適用することで実現でき、図8のステップd1では、図9に示すように、低輝度領域E2から膨張領域E3を生成する。
【0047】
続いて、図8に示すように、プロファイル算出部201が、作成した膨張領域の輪郭画素(外延輪郭画素)の画素値を順に取得して周囲プロファイルを算出する(ステップd3)。図10は、図9に示す低輝度領域E2の周囲プロファイルを説明する図であり、横軸を図9に示す膨張領域E3の輪郭線(外延輪郭線)L31上の画素位置とし、縦軸を該当する各画素の画素値として、外延輪郭線L31に沿った画素値の変化曲線L32を示している。ステップd3で算出する周囲プロファイルは、図9において変化曲線L32として示した外延輪郭線L31に沿った外延輪郭画素の画素値変化に相当する。
【0048】
続いて、図8に示すように、極小部検出部202が、周囲プロファイルの極小値を算出することで極小部を検出し、極小近傍範囲を設定する(ステップd5)。例えば、図10に示す周囲プロファイルであれば、変化曲線L32の極小値を算出し、極小部P3を検出する。そして、この極小部P3を含む近傍範囲を溝が存在する箇所と判定し、この極小部P3を中心とした所定の範囲を極小近傍範囲R3として設定する。極小近傍範囲R3とする範囲については、予め設定しておけばよい。
【0049】
以上のように極小近傍範囲を設定したならば、図8に示すように、続いて算出範囲限定部20が、極小近傍範囲の両端画素を極小両端画素とし、この極小両端画素の座標を取得する(ステップd7)。そして、算出範囲限定部20は、図6のステップc1で低輝度領域の輪郭画素のそれぞれについて算出した外部方向ベクトル毎に、その基点から極小両端画素のそれぞれへと向かうベクトル(極小端方向ベクトル)を求め、これらと外部方向ベクトルとの外積をもとに対応する勾配ベクトルを算出するか否かを判定する(ステップd9)。
【0050】
図11は、輪郭画素P23,P24のそれぞれを基点とする法線ベクトルである外部方向ベクトルV23,V24について、対応する勾配ベクトルを算出するか否かを判定する処理を説明する図である。図11では、図10に示す極小近傍範囲R3を示している。正確には、図10の極小近傍範囲R3に対応する図9の外延輪郭線L31上の範囲を、極小近傍範囲R3として示している。
【0051】
後段の図6のステップc9では、外部方向ベクトルの基点からその外部方向ベクトルの向きに所定の距離離れた画素(外部方向画素)を基点として勾配ベクトルを算出する。そこで、ここでは、外部方向画素が極小近傍範囲内となる勾配ベクトルは算出しないようにする。具体的には、外部方向ベクトルが極小近傍範囲内を向いていれば、対応する勾配ベクトルの基点とする外部方向画素は、極小近傍範囲内すなわち溝位置に設定されることとなるので、このような外部方向ベクトルについては対応する勾配ベクトルを算出しない。
【0052】
例えば先ず、図11に示すように、極小近傍範囲R3の両端の画素を極小両端画素P41,P42とし、その座標を取得する。そして、外部方向ベクトル毎にその基点から極小両端画素P41,P42へ向かう極小端方向ベクトルを求め、外部方向ベクトルとの外積を算出する。
【0053】
例えば、外部方向ベクトルV23に着目すれば、その基点である輪郭画素P23から極小両端画素P41への極小端方向ベクトルV411と、外部方向ベクトルV23との外積(V411×V23)を算出するとともに、外部方向ベクトルV23と、輪郭画素P23から極小両端画素P42への極小端方向ベクトルV421との外積(V23×V421)を算出する。ここで、外部方向ベクトルV23は極小近傍範囲R3内を向いているため、得られる外積の符号は一致する。このように、外積の符号が一致する場合には、対応する勾配ベクトルは算出しないと判定する。
【0054】
一方、外部方向ベクトルV24に着目すれば、その基点である外部方向ベクトルV23の場合と同様に、輪郭画素P24から極小両端画素P41への極小端方向ベクトルV412と、外部方向ベクトルV24との外積(V412×V24)を算出するとともに、外部方向ベクトルV24と、輪郭画素P24から極小両端画素P42への極小端方向ベクトルV422との外積(V24×V422)を算出する。この場合には、外部方向ベクトルV24は極小近傍範囲R3内を向いていないため、得られる外積の符号は一致しない。このように外積の符号が一致しない場合には、対応する勾配ベクトルを算出すると判定する。
【0055】
なお、ここでは、外積の符号の一致/不一致をもとに対応する勾配ベクトルの算出を行うか否かを判定することとしたが、これに限定されるものではなく、外部方向ベクトルが極小近傍範囲内を向いているかどうかがわかればよい。例えば、外部方向ベクトルを2つの極小端方向ベクトルによって表したときの各極小端方向ベクトルの係数の符号の一致/不一致をもとに判定してもよい。例えば、図11の外部方向ベクトルV23をその極小端方向ベクトルV411,V421で表すと、各極小端方向ベクトルV411,V421の係数の符号は一致する。このような場合には、対応する勾配ベクトルを算出しないと判定する。一方、外部方向ベクトルV24をその極小端方向ベクトルV412,V422で表すと、各極小端方向ベクトルV412,V422の係数の符号は一致しない。このような場合には、対応する勾配ベクトルを算出すると判定する。
【0056】
以上のようにして処理対象の低輝度領域の輪郭画素を基点とする全ての外部方向ベクトルについて対応する勾配ベクトルを算出するか否かを判定したならば、算出範囲限定処理を終えて図6のステップc3にリターンする。
【0057】
そして、算出範囲限定処理を終えたならば、続いて、算出範囲内の外部方向ベクトル、すなわち、ステップc3の算出範囲限定処理において対応する勾配ベクトルを算出すると判定した外部方向ベクトル毎にループCの処理を実行する(ステップc5〜ステップc11)。このループCでは、先ず、周囲平滑化部21が周囲平滑化処理を実行し、処理対象の外部方向ベクトルについて対応する勾配ベクトルを算出する際に参照する参照画素範囲を平滑化する(ステップc7)。管腔内画像に映る消化管内壁の粘膜は、絨毛等によって表面に凹凸が多いため、適切な勾配ベクトルが得られない場合がある。ステップc7で行う周囲平滑化処理は、勾配ベクトルを算出する際に参照する画素範囲(参照画素範囲)内における前述のような絨毛による形状の凹凸を整えるために行う。ここでは、例えば、参照画素範囲内の周波数成分を取得することで平滑化を行う。
【0058】
図12は、実施の形態1における周囲平滑化処理の詳細な処理手順を示すフローチャートである。周囲平滑化処理では、図12に示すように、先ず、領域平滑化部155が、処理対象の外部方向ベクトルの基点からその外部方向ベクトルの向きに所定の距離離れた画素を外部方向画素とし、この外部方向画素を含む所定サイズの矩形領域を参照画素範囲として設定する(ステップe1)。参照画素範囲とする矩形領域のサイズは、予め設定しておけばよく、適宜のサイズとしてよい。
【0059】
続いて、周波数特徴量算出部211が、周波数特徴量を算出する(ステップe3)。具体的には、周波数特徴量算出部211は、ステップe3の処理として、先ず、参照画素範囲をフーリエ変換して周波数空間に変換し、参照画素範囲内の周波数成分を取得する。そして、取得した周波数成分のヒストグラムを作成し、極大となる周波数(極大周波数)を参照画素範囲内において支配的な周波数として算出し、周波数特徴量とする。
【0060】
そして、高周波成分除去部212が、ステップe3で算出した周波数特徴量をもとに参照画素範囲に対して公知のローパスフィルタ処理を行い、参照画素範囲内の高周波成分を除去する(ステップe5)。その後、図6のステップc7にリターンし、ステップc9に移行する。
【0061】
なお、ステップe5の処理は、ローパスフィルタ処理に限定されるものではなく、絨毛等に起因する形状の凹凸を整えることができればよい。例えば、公知のモルフォロジ処理(参考:コロナ社,モルフォロジー,小畑秀文著)を行うこととしてもよい。ここで、モルフォロジ処理には、オープニング(Opening)処理とクロージング(Closing)処理とがあり、Opening処理は、画素値を高度とみなした3次元空間において、対象画像の画素値で構成される立体面に対して、構造要素と呼ばれる基準図形を下方向より接触させて移動させた際に構造要素の外周の最大値が通過する軌跡を得る処理である。一方、Closing処理は、同様の3次元空間において対象画像の画素値で構成される立体面に対し、構造要素を上方向より接触させて移動させた際に構造要素の外周の最小値が通過する軌跡を得る処理である。ここでは、例えば、周波数特徴量(極大周波数)に応じたサイズの構造要素を用いてモルフォロジ処理を行うことで、参照画素範囲内の高周波成分を除去する。周波数特徴量に応じた構造要素のサイズSは、例えば次式(2)に従って決定する。ここで、fは、極大周波数を表し、Wは、上記した参照画素範囲とする矩形領域の幅を表す。また、αは、任意の定数である。
S=α×W/f ・・・(2)
【0062】
続く図6のステップc9では、勾配ベクトル算出部19が、処理対象の外部方向ベクトルに対応する勾配ベクトルを算出する。ここでいう勾配ベクトルは、外部方向画素を基点としたベクトルであって、参照画素範囲内において最も画素値が小さい画素の方向を指すベクトルである。勾配ベクトルの算出自体は、公知技術を用いて行えばよい。例えば、外部方向画素について参照画素範囲内をx方向に沿ってソーベルフィルタを適用するとともに、参照画素範囲内をy方向に沿ってソーベルフィルタを適用することで、勾配方向ベクトルを算出する。
【0063】
そして、以上説明したループCの処理を算出範囲内の外部方向ベクトル全てについて実行し、このループCの処理を終えたならば、続いて集中度算出部17が、算出範囲内の外部方向ベクトル(単位ベクトル)毎に、対応する勾配ベクトル(単位ベクトル)との内積を算出する(ステップc13)。そして、集中度算出部17は、算出範囲内の外部方向ベクトル毎に算出した内積の平均値を算出し、“−1”を乗じた値を勾配の集中度とする(ステップc15)。その後、図4のステップa11にリターンし、ステップa13に移行する。
【0064】
そして、ステップa13では、暗部領域判別部24が、ステップa11で算出した勾配の集中度をもとに、処理対象の低輝度領域が暗部領域であるか否かを判別する。具体的には、暗部領域判別部24は、勾配の集中度が予め設定される閾値以上の場合に、処理対象の低輝度領域を暗部領域と判別する。このようにして暗部領域であるか否かを判別したならば、処理対象の低輝度領域についてのループAの処理を終える。そして、以上説明したループAの処理を全ての低輝度領域について実行する。
【0065】
以上説明したように、実施の形態1では、先ず管腔内画像の各画素の画素値をもとに低輝度領域を検出することとした。そして、検出した低輝度領域のそれぞれについて周囲の画素値をもとに周囲特徴量を算出することとした。具体的には、暗部領域の周囲では画素値の変化が暗部領域の方へ傾く(暗部領域に向かって画素値が小さくなる)という暗部領域の特徴に基づき、周囲特徴量として勾配の集中度を算出することとした。そして、この周囲特徴量をもとに各暗部候補領域が暗部領域か否かを判別して暗部領域を抽出することとした。この実施の形態1によれば、低輝度領域のうち、暗部領域と色が類似する凝固血等の領域といった暗部領域以外の領域を除外して暗部領域を抽出することができる。したがって、暗部領域を適正に判別し、暗部領域を精度良く抽出することができるという効果を奏する。
【0066】
以上のようにして暗部領域が抽出された管腔内画像に対しては、例えば病変領域や出血領域等の異常部領域を抽出する処理等が実施され、適宜表示部13に表示されて医師等のユーザに提示される。具体的には、管腔内画像は、例えば異常部領域を他の領域と識別可能に表した画像として表示部13に表示される。あるいは、異常部領域を含む管腔内画像が、診断すべき画像として表示部13に表示される。このとき、実施の形態1を適用することで抽出した暗部領域を除外して注目すべき領域を特定し、この注目すべき領域の中から異常部領域を抽出することができるので、高精度な異常部検出が実現できる。
【0067】
(変形例1)
なお、実施の形態1では、図7を参照して説明したように、低輝度領域の輪郭に対する法線ベクトルを外部方向ベクトルとして算出することとしたが、外部方向ベクトルは、低輝度領域から外部方向へ向かうベクトルであればよく、実施の形態1で説明した法線ベクトルに限定されるものではない。
【0068】
図13は、変形例1における画像処理装置の演算部15aの構成を示す図である。なお、変形例1の画像処理装置は、図1に示した実施の形態1の画像処理装置1において演算部15を図13に示す演算部15aに置き換えた構成で実現できる。また、図13において、実施の形態1と同様の構成には、同一の符号を付している。図13に示すように、変形例1は、周囲特徴量算出部16aが備える集中度算出部17aにおいて、外部方向ベクトル算出部18aが実施の形態1と異なるものであり、外部方向ベクトル算出部18aは、低輝度領域の重心から放射方向へ向かう放射方向ベクトルを外部方向ベクトルとして算出する。この外部方向ベクトル算出部18aは、低輝度領域の重心を算出する重心算出手段としての重心算出部181aと、重心から放射方向へ向かうベクトルを放射方向ベクトルとして算出する放射ベクトル算出手段としての放射ベクトル算出部182aとを備える。
【0069】
この場合には、図6のステップc1で説明した処理に換えて、先ず、重心算出部181aが低輝度領域の重心を算出し、その後、放射ベクトル算出部182aが輪郭画素毎に放射方向ベクトルを算出する。図14は、変形例1における外部方向ベクトルを説明する図であり、図11に示した輪郭画素P23,P24について算出される放射方向ベクトルV51,V52を示している。変形例1では、低輝度領域E2の重心P5を基点とし、輪郭画素P23を通る放射方向ベクトルV51を輪郭画素P23の外部方向ベクトルとして算出する。同様に、輪郭画素P24を通る放射方向ベクトルV52を輪郭画素P24の外部方向ベクトルとして算出する。実際の処理では、輪郭画素毎に、低輝度領域の重心を基点とし、該当する輪郭画素を通る放射方向ベクトルを外部方向ベクトルとして算出する。
【0070】
また、勾配ベクトルの算出範囲を限定する方法は、実施の形態1で説明した方法に限定されない。例えば、変形例2や変形例3のようにしてもよい。
【0071】
(変形例2)
図15は、変形例2における画像処理装置の演算部15bの構成を示す図である。なお、変形例2の画像処理装置は、図1に示した実施の形態1の画像処理装置1において演算部15を図15に示す演算部15bに置き換えた構成で実現できる。また、図15において、実施の形態1と同様の構成には、同一の符号を付している。図15に示すように、変形例2は、演算部15bの周囲特徴量算出部16bが備える集中度算出部17bにおいて、勾配ベクトル算出部19bの算出範囲限定部20bが実施の形態1と異なるものであり、算出範囲限定部20bは、内積算出手段としての内積算出部203bと、内積判別手段としての内積判別部204bとを備える。内積算出部203bは、低輝度領域の輪郭画素毎に、輪郭画素を基点とし、この基点とする輪郭画素を挟んで両サイドに存在する他の輪郭画素のそれぞれへ向かうベクトル(近傍輪郭画素方向ベクトル)の内積を算出する。内積判別部204bは、低輝度領域の輪郭画素毎に算出した近傍輪郭画素方向ベクトルの内積の大きさをもとに、低輝度領域の周囲における急峻な勾配の有無を判別する。
【0072】
図16は、変形例2における算出範囲限定処理の詳細な処理手順を示すフローチャートである。変形例2では、実施の形態1において図6のステップc3の処理として説明した図8の算出範囲限定処理にかえて、図16に示す算出範囲限定処理を実行する。そして、この算出範囲限定処理では、図16に示すように、先ず、内積算出部203bは、低輝度領域の輪郭画素毎に近傍輪郭画素方向ベクトルの内積を算出する(ステップf1)。
【0073】
図17は、輪郭画素P23を基点とする近傍輪郭画素方向ベクトルV61,V62を説明する図である。図17に示す輪郭画素P23に着目して図16のステップf1の処理手順を説明すると、先ず、低輝度領域E2の輪郭線上において、輪郭画素P23を挟んで両サイドにおいて所定の距離離れた位置に存在する2つの輪郭画素を近傍輪郭画素P61,P62とし、その座標を取得する。そして、輪郭画素P23を基点とし、選択した近傍輪郭画素P61,P62のそれぞれへ向かう近傍輪郭画素方向ベクトルV61,V62の内積(V61・V62)を算出する。このように算出される近傍輪郭画素方向ベクトルの内積の値は、近傍輪郭画素方向ベクトルの成す角度が小さいほど大きな値として得られる。
【0074】
このように内積の値が大きな値として得られる(近傍輪郭画素方向ベクトルの成す角度が小さい)輪郭線上の位置は、図17に示すように、輪郭線が外側に向けて突出(凸)している位置となる。多くの場合、管腔内画像における暗部領域の境界は、周囲に存在する粘膜領域の境界でもある。ここで、暗部領域が外側に向けて突出している(凸)ということは、粘膜領域の境界(輪郭)は、内側に大きく窪んでいる(凹)こととなるが、粘膜は、構造上、その表面が窪んだ形状を有することは稀である。このため、暗部領域の輪郭が外側に向けて突出している場合、その外側は、異なる粘膜の境界付近、すなわち溝の近傍であると想定できる。そこで、変形例2では、近傍輪郭画素方向ベクトルの内積の値をもとに勾配ベクトルの算出の有無を判定する。
【0075】
続いて、内積判別部204bが、内積の値を判別し、所定値以上となる輪郭範囲を設定する(ステップf3)。そして、算出範囲限定部20bが、基点である輪郭画素が設定した輪郭範囲内にあるか否かをもとに、各外部方向ベクトルに対応する勾配ベクトルを算出するか否かを判定する(ステップf5)。具体的には、設定した輪郭範囲の外周側には勾配が急峻な箇所(溝位置)が存在すると想定できるので、輪郭範囲内の輪郭画素を基点とする外部方向ベクトルに対応する勾配ベクトルを算出しないようにする。この変形例2によれば、溝が存在する箇所を基点とした勾配ベクトルの算出を防止し、勾配の集中度の算出精度の低下を抑制できる。
【0076】
(変形例3)
図18は、変形例3における画像処理装置の演算部15cの構成を示す図である。なお、変形例3の画像処理装置は、図1に示した実施の形態1の画像処理装置1において演算部15を図18に示す演算部15cに置き換えた構成で実現できる。また、図18において、実施の形態1と同様の構成には、同一の符号を付している。図18に示すように、変形例3は、演算部15cの周囲特徴量算出部16cが備える集中度算出部17cにおいて、勾配ベクトル算出部19cの算出範囲限定部20cが実施の形態1と異なるものであり、算出範囲限定部20cは、低輝度領域の周囲におけるエッジ強度を算出するエッジ強度算出手段としてのエッジ強度算出部205cと、エッジ強度をもとに低輝度領域の周囲に存在する急峻な勾配の有無を判別するエッジ強度判別手段としてのエッジ強度判別部206cとを備える。
【0077】
図19は、変形例3における算出範囲限定処理の詳細な処理手順を示すフローチャートである。変形例3では、実施の形態1において図6のステップc3の処理として説明した図8の算出範囲限定処理にかえて、図19に示す算出範囲限定処理を実行する。そして、この変形例3の算出範囲限定処理では、図19に示すように、先ず、エッジ強度算出部205cが、低輝度領域を膨張処理し、低輝度領域を拡張させて外周囲に膨張領域を作成する(ステップg1)。ここでの処理は、図8のステップd1と同様の処理で実現できる。そして、エッジ強度算出部205cは、作成した低輝度領域の膨張処理内の画素毎にエッジ強度を算出する(ステップg3)。エッジ強度の算出は、図4のステップa3の処理手順で説明した方法と同様の方法で行うことができる。また、このステップa3で算出した各画素のエッジ強度を記録部14(図1を参照)に保存しておくこととすれば、図19のステップg3の処理は不要であり、ステップg1で作成した膨張領域内の画素についてのエッジ強度を記録部14から読み出す構成としてもよい。
【0078】
続いて、エッジ強度判別部206cが、エッジ強度が予め設定される所定値以上である膨張領域内の画素を抽出し、抽出した画素群を高エッジ領域として設定することで、低輝度領域の膨張領域に存在する急峻な勾配(すなわち溝位置)の有無を判別する(ステップg5)。そして、算出範囲限定部20cは、各輪郭画素の外部方向ベクトル毎に、その先に存在する画素が高エッジ領域に属するか否かをもとに、勾配ベクトルを算出するか否かを判定する(ステップg7)。外部方向ベクトルの先に存在する画素が高エッジ領域に属するということは、外部方向ベクトルの先に溝が存在しており、勾配ベクトルの基点とする外部方向画素が溝の領域に設定されてしまう可能性が高い。このため、ステップg5では、外部方向ベクトルの先に存在する画素が高エッジ領域に属する場合には、対応する勾配ベクトルを算出しないこととする。この変形例3によっても、溝が存在する箇所を基点とした勾配ベクトルの算出を防止し、勾配の集中度の算出精度の低下を抑制できる。
【0079】
(実施の形態2)
先ず、実施の形態2の画像処理装置の構成について説明する。図20は、実施の形態2の画像処理装置1dの機能構成を説明するブロック図である。なお、実施の形態1で説明した構成と同一の構成については、同一の符号を付する。実施の形態2の画像処理装置1dは、図20に示すように、画像取得部11と、入力部12と、表示部13と、記録部14dと、演算部15dと、画像処理装置1d全体の動作を制御する制御部30とを備える。
【0080】
記録部14dには、周囲特徴量の一例である対向周囲部間の画素値変化の連続性を表す周囲連続性をもとに管腔内画像から暗部領域を検出するための画像処理プログラム141dが記録される。ここで、対向周囲部とは、低輝度領域に隣接し、互いに対向する部分のことをいう。
【0081】
また、演算部15dは、低輝度領域検出部151と、周囲特徴量算出部16dと、暗部領域判別部24dとを含む。そして、実施の形態2において、周囲特徴量算出部16dは、低輝度領域の周囲の画素値をもとに、低輝度領域の周囲特徴量を算出する機能部であり、周囲連続性を算出する連続性算出手段としての連続性算出部22dを備える。この連続性算出部22dは、関数近似手段としての関数近似部221dと、差分算出手段としての差分算出部222dとを備える。関数近似部221dは、低輝度領域を挟んで互いに対向する2つの対向周囲部内の画素値をもとに、各対向周囲部のそれぞれを面の関数式で近似する。差分算出部222dは、近似した2つの対向周囲部の関数式をもとに同一座標における各関数式の値の差分を算出する。また、暗部領域判別部24dは、周囲特徴量算出部16dが低輝度領域の周囲特徴量として算出した周囲連続性をもとに、低輝度領域が暗部領域か否かを判別する。
【0082】
ここで、実施の形態2における暗部領域の抽出原理について説明する。図21は、暗部領域およびこの暗部領域を挟んで互いに対向する対向周囲部における画素値変化G7を示す図であり、図22は、暗部領域とは別の例えば凝固血等の黒色領域およびこの黒色領域を挟んで互いに対向する対向周囲部における画素値変化G8を示す図である。詳細には、図21および図22は、暗部領域およびその対向周囲部、または黒色領域およびその対向周囲部における画素値を高度として表した画素値分布の所定方向断面における画素値変化G7,G8を示している。
【0083】
実施の形態1でも説明したが、低輝度領域が暗部領域の場合、その周囲の全域で画素値の変化が暗部領域の方へ傾くという特徴を有するため、低輝度領域を挟んだ対向周囲部間の画素値変化には連続性がない。このように連続性がない対向周囲部内の画素値をもとに対向周囲部における曲面形状を近似した関数式をそれぞれ求めると、図21に示すように、それぞれの近似曲面P71,P72における同一座標の画素値の差分値D7は大きくなる。
【0084】
これに対し、低輝度領域が凝固血等の黒色領域の場合、その周囲の画素値は全体として暗部領域の方向に傾くため、対向周囲部間の画素値変化に連続性があるという特徴を有する。例えば、実施の形態1で参照した図2,図3に示す例では、黒色領域52の周囲の領域521,522における画素値の変化はともに矢印A13,A14が示す右下に向かって傾いている。このように連続性がある対向周囲部内の画素値をもとに対向周囲部における曲面形状を近似した関数式をそれぞれ求めると、図22に示すように、それぞれの近似曲面P81,P82における同一座標の画素値の差分値D8は小さくなる。そこで、実施の形態2では、先ず、管腔内画像から暗部領域の候補となる低輝度領域を検出する。そして、検出した対向周囲部間の画素値変化の連続性に着目することで、検出した低輝度領域が暗部領域か否かを判別して暗部領域を抽出する。
【0085】
次に、実施の形態2の画像処理装置1dが行う具体的な処理手順について説明する。図23は、実施の形態2の画像処理装置1dが行う処理手順を示す全体フローチャートである。なお、ここで説明する処理は、演算部15dが記録部14dに記録された画像処理プログラム141dを実行することにより実現される。また、図23において、実施の形態1と同一の処理工程には、同一の符号を付する。
【0086】
図23に示すように、実施の形態2では、ステップa7で領域補正部153が初期領域補正処理を実行し、低輝度領域を検出した後に、低輝度領域毎にループDの処理を実行する(ステップh9〜ステップh15)。このループDでは、先ず、連続性算出部22dが連続性算出処理を実行し、処理対象の低輝度領域について周囲連続性を算出する(ステップh11)。
【0087】
図24は、実施の形態2における連続性算出処理の詳細な処理手順を示すフローチャートである。連続性算出処理では、図24に示すように、先ず、関数近似部221dが、低輝度領域の主軸を挟んで両側に2つの対向周囲部を設定する(ステップi1)。これは、低輝度領域に対し、公知の膨張処理をN1回(N1は所定値)行った結果と、N2回(N2は所定値であり、N1以下)行った結果との差分により残る画素を、領域の形状特徴量である主軸(参考:CG−ARTS協会:CG−ARTS協会,ディジタル画像処理,183P,主軸)により2分することで設定できる。
【0088】
そして、関数近似部221dは、設定した2つの対向周囲部毎に、対向周囲部内の画素値をもとに近似曲面の関数式を算出する(ステップi3)。本例では、近似曲面の関数式として、次式(3)に示す2次関数を用いる。ここでx,yは対向周囲部内の画素の座標、zはその画素値である。なお、次式(3)の関数式の各係数a〜fは、最小二乗法により得られる。
【数2】

【0089】
その後、差分算出部222dが、対向周囲部毎に算出した近似曲面の関数式の差分を算出する(ステップi5)。例えば先ず、各対向周囲部それぞれについて算出した2つの近似曲面の関数式毎に、低輝度領域内の画素値をそれぞれ算出する。続いて、2つの関数式毎に算出した低輝度領域内の同一座標における画素値の差分の絶対値を算出し、各対向周囲部の画素数で正規化する。その後、このように正規化した差分の絶対値を周囲連続性の値とする。この周囲連続性の値が小さければ各対向周囲部間の画素値変化に連続性があり、逆に値が大きければ連続性はないと判別できる。その後、図23のステップh11にリターンし、ステップh13に移行する。
【0090】
そして、ステップh13では、暗部領域判別部24dが、ステップh11で算出した周囲連続性の値をもとに、処理対象の低輝度領域が暗部領域であるか否かを判別する。具体的には、暗部領域判別部24dは、低輝度領域の周囲連続性の値が予め設定される閾値以上の場合に、処理対象の低輝度領域を暗部領域と判別する。このようにして暗部領域であるか否かを判別したならば、処理対象の低輝度領域についてのループDの処理を終える。そして、以上説明したループDの処理を全ての低輝度領域について実行する。
【0091】
以上説明したように、実施の形態2では、先ず管腔内画像の各画素の画素値をもとに低輝度領域を検出することとした。そして、検出した低輝度領域のそれぞれについて周囲の画素値をもとに周囲特徴量を算出することとした。具体的には、暗部領域の周囲では画素値の変化が連続しないという暗部領域の特徴に基づき、周囲特徴量として低輝度領域の対向周囲部間の画素値変化の連続性を表す周囲連続性を算出することとした。そして、この周囲特徴量をもとに各暗部候補領域が暗部領域か否かを判別して暗部領域を抽出することとした。この実施の形態2によれば、実施の形態1と同様の効果を奏することができ、暗部領域を適正に判別し、暗部領域を精度良く抽出することができる。
【0092】
(実施の形態3)
先ず、実施の形態3の画像処理装置の構成について説明する。図25は、実施の形態3の画像処理装置1eの機能構成を説明するブロック図である。なお、実施の形態1で説明した構成と同一の構成については、同一の符号を付する。実施の形態3の画像処理装置1eは、図25に示すように、画像取得部11と、入力部12と、表示部13と、記録部14eと、演算部15eと、画像処理装置1e全体の動作を制御する制御部30とを備える。
【0093】
記録部14eには、周囲特徴量の一例である溝判別情報をもとに管腔内画像から暗部領域を検出するための画像処理プログラム141eが記録される。ここで、溝判別情報とは、低輝度領域の周囲に溝が存在するか否かを判別するための情報のことをいう。
【0094】
また、演算部15eは、低輝度領域検出部151と、周囲特徴量算出部16eと、暗部領域判別部24eとを含む。そして、実施の形態3の周囲特徴量算出部16eは、低輝度領域の周囲の画素値をもとに、低輝度領域の周囲特徴量を算出する機能部であり、溝判別情報を算出する溝判別情報算出手段としての溝判別情報算出部23eを備える。この溝判別情報算出部23eは、プロファイル算出手段としてのプロファイル算出部231eと、変化量算出手段としての変化量算出部232eとを備える。プロファイル算出部231eは、低輝度領域の周囲において低輝度領域の輪郭と平行に設定される外延輪郭線上の画素値を取得し、外延輪郭線に沿った画素値変化を表す周囲プロファイルを算出する。変化量算出部232eは、周囲プロファイルをもとに隣接する外延輪郭画素間の画素値の変化量を算出する。
【0095】
小腸の内部を撮像した管腔内画像では、粘膜表面のしわが暗部領域の周囲において溝として映った画像が得られ易い。そこで、実施の形態3では、先ず、管腔内画像から暗部領域の候補となる低輝度領域を検出する。そして、検出した低輝度領域の周囲に存在する溝の有無に着目することで、検出した低輝度領域が暗部領域か否かを判別して暗部領域を抽出する。
【0096】
次に、実施の形態3の画像処理装置1eが行う具体的な処理手順について説明する。図26は、実施の形態3の画像処理装置1eが行う処理手順を示す全体フローチャートである。なお、ここで説明する処理は、演算部15eが記録部14eに記録された画像処理プログラム141eを実行することにより実現される。また、図26において、実施の形態1と同一の処理工程には、同一の符号を付する。
【0097】
図26に示すように、実施の形態3では、ステップa7で領域補正部153が初期領域補正処理を実行し、低輝度領域を検出した後に、低輝度領域毎にループEの処理を実行する(ステップi9〜ステップi15)。このループEでは、先ず、溝判別情報算出部23eが溝判別情報算出処理を実行し、処理対象の低輝度領域について溝判別情報を算出する(ステップi11)。
【0098】
図27は、実施の形態3における溝判別情報算出処理の詳細な処理手順を示すフローチャートである。溝判別情報算出処理では、図27に示すように、先ず、溝判別情報算出部23eは、低輝度領域を膨張処理し、低輝度領域を拡張させて外周囲に膨張領域を作成する(ステップk1)。続いて、プロファイル算出部231eが、作成した膨張領域の輪郭画素(外延輪郭画素)の画素値を順に取得して周囲プロファイルを算出する(ステップk3)。その後、変化量算出部232eが、周囲プロファイルをもとに外延輪郭画素毎に微分値を求め、その最大値を算出して溝判別情報とする(ステップk5)。この周囲プロファイルの微分値の最大値の値が大きければ低輝度領域の周囲には溝が存在し、逆に値が小さければ溝が存在しないと判別できる。その後、図26のステップi11にリターンし、ステップi13に移行する。
【0099】
そして、ステップi13では、暗部領域判別部24eが、ステップi11で算出した溝判別情報をもとに、処理対象の低輝度領域が暗部領域であるか否かを判別する。具体的には、暗部領域判別部24eは、溝判別情報の値が予め設定される閾値以上の場合に、処理対象の低輝度領域を暗部領域と判別する。このようにして暗部領域であるか否かを判別したならば、処理対象の低輝度領域についてのループEの処理を終える。そして、以上説明したループEの処理を全ての低輝度領域について実行する。
【0100】
以上説明したように、実施の形態3では、先ず管腔内画像の各画素の画素値をもとに低輝度領域を検出することとした。そして、検出した低輝度領域のそれぞれについて、周囲の画素値をもとに周囲特徴量の一例である溝判別情報を算出することとした。この実施の形態3は、暗部領域の周囲に溝が存在している管腔内画像を処理する場合を想定しており、低輝度領域の外延輪郭画素の画素値を順に取得することで算出した周囲プロファイルの微分値の最大値を溝判別情報として算出することとした。そして、この周囲特徴量である溝判別情報をもとに各暗部候補領域が暗部領域か否かを判別して暗部領域を抽出することとした。この実施の形態3によれば、実施の形態1と同様の効果を奏することができ、暗部領域を適正に判別し、暗部領域を精度良く抽出することができる。
【0101】
なお、溝判別情報は、実施の形態3で説明した周囲プロファイルの微分値の最大値に限定されるものではなく、例えば、変形例4や変形例5のようにして算出してもよい。
【0102】
(変形例4)
図28は、変形例4における画像処理装置の演算部15fの構成を示す図である。なお、変形例4の画像処理装置は、図25に示した実施の形態3の画像処理装置1eにおいて演算部15eを図28に示す演算部15fに置き換えた構成で実現できる。また、図28において、実施の形態3と同様の構成には、同一の符号を付している。図28に示すように、変形例4は、演算部15fの周囲特徴量算出部16fが備える溝判別情報算出部23fが実施の形態3と異なるものであり、溝判別情報算出部23fは、内積算出手段としての内積算出部233fを備える。内積算出部233fは、低輝度領域の輪郭画素毎に、輪郭画素を基点とし、この基点とする輪郭画素を挟んで両サイドに存在する他の輪郭画素のそれぞれへ向かう近傍輪郭画素方向ベクトルの内積を算出する。
【0103】
図29は、変形例4における溝判別情報算出処理の詳細な処理手順を示すフローチャートである。変形例4では、実施の形態3において図26のステップi11の処理として説明した図27の溝判別情報算出処理にかえて、図29に示す溝判別情報算出処理を実行する。そして、この溝判別情報算出処理では、図29に示すように、先ず、内積算出部233fは、低輝度領域の輪郭画素毎に近傍輪郭画素方向ベクトルの内積を算出する(ステップl1)。ここでの処理は、図16のステップf1と同様の処理で実現できる。
【0104】
その後、溝判別情報算出部23fが、ステップl1で輪郭画素毎に算出した近傍輪郭画素方向ベクトルの内積の最大値を算出し、溝判別情報とする(ステップl3)。実施の形態1の変形例2で説明したように、近傍輪郭画素方向ベクトルの内積の値が大きい輪郭画素が存在すれば、その外側には溝が存在すると判別できる。逆に値が小さければ溝が存在しないと判別できる。なお、この場合の暗部領域の判別は、実施の形態3と同様に、暗部領域判別部24eは、溝判別情報の値が予め設定される閾値以上の場合に、処理対象の低輝度領域を暗部領域と判別する。
【0105】
この変形例4によれば、実施の形態3と同様の効果を奏することができ、暗部領域を適正に判別し、暗部領域を精度良く抽出することができる。
【0106】
(変形例5)
図30は、変形例5における画像処理装置の演算部15gの構成を示す図である。なお、変形例5の画像処理装置は、図25に示した実施の形態3の画像処理装置1eにおいて演算部15eを図30に示す演算部15gに置き換えた構成で実現できる。また、図30において、実施の形態3と同様の構成には、同一の符号を付している。図30に示すように、変形例5は、演算部15gの周囲特徴量算出部16gが備える溝判別情報算出部23gが実施の形態3と異なるものであり、溝判別情報算出部23gは、エッジ強度算出手段としてのエッジ強度算出部234gを備える。エッジ強度算出部234gは、低輝度領域の周囲におけるエッジ強度を算出する。
【0107】
図31は、変形例5における溝判別情報算出処理の詳細な処理手順を示すフローチャートである。変形例5では、実施の形態3において図26のステップi11の処理として説明した図27の溝判別情報算出処理にかえて、図31に示す溝判別情報算出処理を実行する。そして、この溝判別情報算出処理では、図31に示すように、先ず、エッジ強度算出部234gが、低輝度領域を膨張処理し、低輝度領域を拡張させて外周囲に膨張領域を作成する(ステップm1)。ここでの処理は、図8のステップd1と同様の処理で実現できる。そして、エッジ強度算出部234gは、作成した低輝度領域の膨張領域内の画素毎にエッジ強度を算出する(ステップm3)。
【0108】
その後、溝判別情報算出部23gが、ステップm3で膨張領域内の画素毎に算出したエッジ強度の最大値を算出し、溝判別情報とする(ステップm5)。実施の形態1の変形例3で説明したように、膨張領域内にエッジ強度の値が大きい画素が存在すれば、その画素位置が溝位置である可能性が高く、逆に値が小さければ溝位置の可能性は低い。なお、この場合の暗部領域の判別は、実施の形態3と同様に、暗部領域判別部24eは、溝判別情報の値が予め設定される閾値以上の場合に、処理対象の低輝度領域を暗部領域と判別する。
【0109】
この変形例5においても、実施の形態3と同様の効果を奏することができ、暗部領域を適正に判別し、暗部領域を精度良く抽出することができる。
【0110】
また、上記した実施の形態1の画像処理装置1、実施の形態2の画像処理装置1d、および実施の形態3の画像処理装置1eは、予め用意されたプログラムをパソコンやワークステーション等のコンピュータシステムで実行することによって実現することができる。以下、各実施の形態1〜3で説明した画像処理装置1,1d,1eと同様の機能を有し、画像処理プログラム141,141d,141eを実行するコンピュータシステムについて説明する。
【0111】
図32は、本変形例におけるコンピューターシステム400の構成を示すシステム構成図であり、図33は、このコンピューターシステム400を構成する本体部410の構成を示すブロック図である。図32に示すように、コンピューターシステム400は、本体部410と、本体部410からの指示によって表示画面421に画像等の情報を表示するためのディスプレイ420と、このコンピューターシステム400に種々の情報を入力するためのキーボード430と、ディスプレイ420の表示画面421上の任意の位置を指定するためのマウス440とを備える。
【0112】
また、このコンピューターシステム400における本体部410は、図32および図33に示すように、CPU411と、RAM412と、ROM413と、ハードディスクドライブ(HDD)414と、CD−ROM460を受け入れるCD−ROMドライブ415と、USBメモリ470を着脱可能に接続するUSBポート416と、ディスプレイ420、キーボード430およびマウス440を接続するI/Oインターフェース417と、ローカルエリアネットワークまたは広域エリアネットワーク(LAN/WAN)N1に接続するためのLANインターフェース418とを備える。
【0113】
さらに、このコンピューターシステム400には、インターネット等の公衆回線N3に接続するためのモデム450が接続されるとともに、LANインターフェース418およびローカルエリアネットワークまたは広域エリアネットワークN1を介して、他のコンピューターシステムであるパソコン(PC)481、サーバ482、プリンタ483等が接続される。
【0114】
そして、このコンピューターシステム400は、記録媒体に記録された画像処理プログラム(例えば実施の形態1の画像処理プログラム141や実施の形態2の画像処理プログラム141d、実施の形態3の画像処理プログラム141e)を読み出して実行することで画像処理装置(例えば実施の形態1の画像処理装置1や実施の形態2の画像処理装置1d、実施の形態3の画像処理装置1e)を実現する。ここで、記録媒体とは、CD−ROM460やUSBメモリ470の他、MOディスクやDVDディスク、フレキシブルディスク(FD)、光磁気ディスク、ICカード等を含む「可搬用の物理媒体」、コンピューターシステム400の内外に備えられるHDD414やRAM412、ROM413等の「固定用の物理媒体」、モデム450を介して接続される公衆回線N3や、他のコンピューターシステムであるPC481やサーバ482が接続されるローカルエリアネットワークまたは広域エリアネットワークN1等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピューターシステム400によって読み取り可能な画像処理プログラムを記録するあらゆる記録媒体を含む。
【0115】
すなわち、画像処理プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記録媒体にコンピューター読み取り可能に記録されるものであり、コンピューターシステム400は、このような記録媒体から画像処理プログラムを読み出して実行することで画像処理装置を実現する。なお、画像処理プログラムは、コンピューターシステム400によって実行されることに限定されるものではなく、他のコンピューターシステムであるPC481やサーバ482が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。
【0116】
また、本発明は、上記した各実施の形態1〜3およびその変形例そのままに限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成してもよい。あるいは、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成してもよい。
【産業上の利用可能性】
【0117】
以上のように、本発明の画像処理装置、画像処理方法、および画像処理プログラムは、暗部領域か否かを適正に判別し、暗部領域を精度良く抽出するのに適している。
【符号の説明】
【0118】
1,1d,1e 画像処理装置
11 画像取得部
12 入力部
13 表示部
14,14d,14e 記録部
141,141d,141e 画像処理プログラム
15,15a,15b,15c,15d,15e,15f,15g 演算部
151 低輝度領域検出部
152 初期領域検出部
153 領域補正部
154 領域拡張部
155 領域平滑化部
16,16a,16b,16c,16d,16e,16f,16g 周囲特徴量算出部
17,17a,17b,17c 集中度算出部
18,18a 外部方向ベクトル算出部
181a 重心算出部
182a 放射ベクトル算出部
19,19b,19c 勾配ベクトル算出部
20,20b,20c 算出範囲限定部
201 プロファイル算出部
202 極小部検出部
203b 内積算出部
204b 内積判別部
205c エッジ強度算出部
206c エッジ強度判別部
21 周囲平滑化部
211 周波数特徴量算出部
212 高周波成分除去部
24,24d,24e 暗部領域判別部
22d 連続性算出部
221d 関数近似部
222d 差分算出部
23e,23f,23g 溝判別情報算出部
231e プロファイル算出部
232e 変化量算出部
233f 内積算出部
234g エッジ強度算出部
30 制御部

【特許請求の範囲】
【請求項1】
管腔内画像から暗部領域を抽出する画像処理装置であって、
前記管腔内画像の各画素の画素値をもとに低輝度領域を検出する低輝度領域検出手段と、
前記低輝度領域の周囲の画素値をもとに周囲特徴量を算出する周囲特徴量算出手段と、
前記周囲特徴量をもとに、前記低輝度領域が暗部領域か否かを判別する暗部領域判別手段と、
を備えることを特徴とする画像処理装置。
【請求項2】
前記低輝度領域検出手段は、
前記管腔内画像の色特徴量をもとに初期領域を検出する初期領域検出手段と、
前記初期領域の周囲における色特徴量または前記初期領域の形状をもとに前記初期領域を補正する領域補正手段と、
を備えることを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記周囲特徴量算出手段は、前記低輝度領域の周囲における勾配がどの程度前記低輝度領域の方を向いているかを示す値である勾配の集中度を前記周囲特徴量として算出する集中度算出手段を備えることを特徴とする請求項1または2に記載の画像処理装置。
【請求項4】
前記領域補正手段は、
前記初期領域の色特徴量と類似する色特徴量を持つ隣接領域を前記初期領域と統合することで前記初期領域を拡張する領域拡張手段と、
前記領域拡張手段による拡張後の領域の輪郭を滑らかに修正する輪郭平滑化手段と、
を備えることを特徴とする請求項2に記載の画像処理装置。
【請求項5】
前記領域補正手段は、動的輪郭モデルを用いて前記初期領域を変形させることで前記初期領域を補正することを特徴とする請求項2に記載の画像処理装置。
【請求項6】
前記集中度算出手段は、
前記低輝度領域から外部方向へ向かう外部方向ベクトルを算出する外部方向ベクトル算出手段と、
前記低輝度領域の前記外部方向に存在する領域の勾配ベクトルを算出する勾配ベクトル算出手段と、
前記外部方向ベクトルと前記勾配ベクトルの内積を算出する内積算出手段と、
を備えることを特徴とする請求項3に記載の画像処理装置。
【請求項7】
前記外部方向ベクトル算出手段は、前記低輝度領域の輪郭に対する法線ベクトルを算出する法線ベクトル算出手段を備え、前記法線ベクトルを前記外部方向ベクトルとすることを特徴とする請求項6に記載の画像処理装置。
【請求項8】
前記外部方向ベクトル算出手段は、
前記低輝度領域の重心を算出する重心算出手段と、
前記重心から放射方向へ向かう放射方向ベクトルを算出する放射ベクトル算出手段と、
を備え、前記放射方向ベクトルを前記外部方向ベクトルとすることを特徴とする請求項6に記載の画像処理装置。
【請求項9】
前記勾配ベクトル算出手段は、前記低輝度領域の周囲における急峻な勾配の有無をもとに、前記勾配ベクトルを算出する範囲を限定する算出範囲限定手段を備えることを特徴とする請求項6に記載の画像処理装置。
【請求項10】
前記算出範囲限定手段は、
前記低輝度領域の周囲において前記低輝度領域の輪郭と平行に設定される外延輪郭線上の画素値を取得し、前記外延輪郭線に沿った画素値変化を表す周囲プロファイルを算出するプロファイル算出手段と、
前記画素値変化の極小部を検出する極小部検出手段と、
を備えることを特徴とする請求項9に記載の画像処理装置。
【請求項11】
前記算出範囲限定手段は、
前記低輝度領域の輪郭画素を基点とし、該基点の輪郭画素の両サイドに存在する他の輪郭画素のそれぞれへ向かうベクトルの内積を算出する内積算出手段と、
前記内積の大きさをもとに、前記低輝度領域の周囲における急峻な勾配の有無を判別する内積判別手段と、
を備えることを特徴とする請求項9に記載の画像処理装置。
【請求項12】
前記算出範囲限定手段は、
前記低輝度領域の周囲におけるエッジ強度を算出するエッジ強度算出手段と、
前記エッジ強度の大きさをもとに、前記低輝度領域の周囲における急峻な勾配の有無を判別するエッジ強度判別手段と、
を備えることを特徴とする請求項9に記載の画像処理装置。
【請求項13】
前記勾配ベクトル算出手段は、前記低輝度領域の周囲における周波数特徴量をもとに、前記低輝度領域の周囲を平滑化する周囲平滑化手段を備えることを特徴とする請求項6に記載の画像処理装置。
【請求項14】
前記周囲平滑化手段は、
前記低輝度領域の周囲において支配的な周波数成分をもとに、周波数特徴量を算出する周波数特徴量算出手段と、
前記周波数特徴量をもとに、前記低輝度領域の周囲における高周波成分を除去する高周波成分除去手段と、
を備えることを特徴とする請求項13に記載の画像処理装置。
【請求項15】
前記高周波成分除去手段は、前記周波数特徴量に応じた大きさの構造要素を用いて前記低輝度領域の周囲に対してモルフォロジ処理を行うことを特徴とする請求項14に記載の画像処理装置。
【請求項16】
前記高周波成分除去手段は、前記周波数特徴量をもとに前記低輝度領域の周囲に対してローパスフィルタ処理を行うことを特徴とする請求項14に記載の画像処理装置。
【請求項17】
前記周囲特徴量算出手段は、前記低輝度領域の周囲において前記低輝度領域を挟んで互いに対向する部分である対向周囲部間の画素値変化の連続性を、前記周囲特徴量として算出する連続性算出手段を備えることを特徴とする請求項1に記載の画像処理装置。
【請求項18】
前記連続性算出手段は、
前記対向周囲部毎に、各対向周囲部内の画素値を面の関数式で近似する関数近似手段と
前記関数式を用いて前記低輝度領域内の同一座標における各関数式の値の差分を算出する差分算出手段と、
を備えることを特徴とする請求項17に記載の画像処理装置。
【請求項19】
前記周囲特徴量算出手段は、前記低輝度領域の周囲における急峻な勾配の有無を判別するための情報である溝判別情報を算出する溝判別情報算出手段を備えることを特徴とする請求項1に記載の画像処理装置。
【請求項20】
前記溝判別情報算出手段は、
前記低輝度領域の周囲において前記低輝度領域の輪郭と平行に設定される外延輪郭線上の画素値を取得し、前記外延輪郭線に沿った画素値変化を表す周囲プロファイルを算出するプロファイル算出手段と、
前記画素値変化をもとに、隣接する外延輪郭画素間の画素値の変化量を算出する変化量算出手段と、
を備え、前記変化量を前記溝判別情報とすることを特徴とする請求項19に記載の画像処理装置。
【請求項21】
前記溝判別情報算出手段は、前記低輝度領域の輪郭画素を基点とし、該基点の輪郭画素の両サイドに存在する他の輪郭画素のそれぞれへ向かうベクトルの内積を算出する内積算出手段を備え、前記内積の大きさを前記溝判別情報とすることを特徴とする請求項19に記載の画像処理装置。
【請求項22】
前記溝判別情報算出手段は、前記低輝度領域の周囲におけるエッジ強度を算出するエッジ強度算出手段を備え、前記エッジ強度を前記溝判別情報とすることを特徴とする請求項19に記載の画像処理装置。
【請求項23】
管腔内画像から暗部領域を抽出する画像処理方法であって、
前記管腔内画像の各画素の画素値をもとに低輝度領域を検出する低輝度領域検出工程と、
前記低輝度領域の周囲の画素値をもとに周囲特徴量を算出する周囲特徴量算出工程と、
前記周囲特徴量をもとに、前記低輝度領域が暗部領域か否かを判別する暗部領域判別工程と、
を含むことを特徴とする画像処理方法。
【請求項24】
管腔内画像から暗部領域を抽出するための画像処理プログラムであって、
コンピュータに、
前記管腔内画像の各画素の画素値をもとに低輝度領域を検出する低輝度領域検出ステップと、
前記低輝度領域の周囲の画素値をもとに周囲特徴量を算出する周囲特徴量算出ステップと、
前記周囲特徴量をもとに、前記低輝度領域が暗部領域か否かを判別する暗部領域判別ステップと、
を実行させることを特徴とする画像処理プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate

【図31】
image rotate

【図32】
image rotate

【図33】
image rotate


【公開番号】特開2012−16454(P2012−16454A)
【公開日】平成24年1月26日(2012.1.26)
【国際特許分類】
【出願番号】特願2010−155208(P2010−155208)
【出願日】平成22年7月7日(2010.7.7)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】