画像処理装置、画像処理方法、および画像処理プログラム
【課題】不要領域か否かを適正に判別し、管腔内画像から不要領域を精度良く抽出すること。
【解決手段】本発明のある実施の形態の画像処理装置１は、一次判別部１６と、二次判別部１７とを備え、管腔内画像から不要領域の一例であるハレーション領域を抽出する。一次判別部１６は、管腔内画像の色情報に基づく色特徴量をもとに、ハレーション候補領域を判別する。二次判別手段１７は、ハレーション候補領域の色特徴量とは異なる第２の特徴量である境界特徴量をもとに、ハレーション候補領域がハレーション領域か否かを判別する。
【解決手段】本発明のある実施の形態の画像処理装置１は、一次判別部１６と、二次判別部１７とを備え、管腔内画像から不要領域の一例であるハレーション領域を抽出する。一次判別部１６は、管腔内画像の色情報に基づく色特徴量をもとに、ハレーション候補領域を判別する。二次判別手段１７は、ハレーション候補領域の色特徴量とは異なる第２の特徴量である境界特徴量をもとに、ハレーション候補領域がハレーション領域か否かを判別する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、管腔内を撮像した管腔内画像を処理する画像処理装置、画像処理方法、および画像処理プログラムに関するものである。
【背景技術】
【０００２】
従来から、患者等の被検者の体内に導入されて体内管腔内を観察する医用観察装置として、内視鏡が広く普及している。また、近年では、カプセル型の筐体内部に撮像装置やこの撮像装置によって撮像された画像データを体外に無線送信する通信装置等を備えた飲み込み型の内視鏡（カプセル内視鏡）が開発されている。これらの医用観察装置によって撮像された体内管腔内の画像（管腔内画像）の観察・診断は、多くの経験を必要とするため、医師による診断を補助する医療診断支援機能が望まれている。この機能を実現する画像認識技術の１つとして、管腔内画像から病変等の異常部を自動的に検出することで、重点的に診断すべき画像を示す技術が提案されている。
【０００３】
ところで、前述の異常部検出のためには、前処理として、観察・診断に不要な領域、例えばハレーションが発生した領域（ハレーション領域）や管腔の奥側が映った暗部領域、便等の内容物が映った内容物領域等の不要領域を抽出する処理を行い、粘膜等の注目すべき領域を特定する技術が重要となる。例えば、特許文献１には、暗部等の不要領域に影響されずに画像内における病変粘膜等の特定の生体粘膜の存在を検出する技術が開示されている。この特許文献１では、各画素の色情報をもとに不要領域に該当する画素を除外した上で、特定の生体粘膜の存在を検出している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１６６９３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記したように、特許文献１の技術では、色情報をもとに不要領域に該当する画素を除外している。しかしながら、例えばハレーション領域は、白色病変が映った領域等と色が類似しており、色情報ではこれらを判別することが困難である。同様に、暗部領域は凝固血が映った領域等と色が類似し、内容物領域は黄色く映った粘膜の領域等と色が類似しており、同様の問題が生じる。このため、注目すべき領域を誤って不要領域として抽出してしまうという問題があった。
【０００６】
本発明は、上記に鑑み為されたものであって、不要領域か否かを適正に判別し、管腔内画像から不要領域を精度良く抽出することができる画像処理装置、画像処理方法、および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記した課題を解決し、目的を達成するための、本発明のある態様にかかる画像処理装置は、管腔内画像から不要領域を抽出する画像処理装置であって、前記管腔内画像の色情報に基づく第１の特徴量をもとに、不要候補領域を判別する一次判別手段と、前記不要候補領域の前記第１の特徴量とは異なる第２の特徴量をもとに、前記不要候補領域が不要領域か否かを判別する二次判別手段と、を備えることを特徴とする。
【０００８】
この態様にかかる画像処理装置によれば、管腔内画像の色情報に基づく第１の特徴量をもとに、不要候補領域を判別することができる。そして、不要候補領域の第１の特徴量とは異なる第２の特徴量をもとに、不要候補領域が不要領域か否かを判別することができる。したがって、不要候補領域のうち、不要領域と色が類似する不要領域以外の領域を色情報に基づく第１の特徴量とは異なる第２の特徴量を用いて除外し、不要領域を抽出することができる。したがって、不要領域を適正に判別し、不要領域を精度良く抽出することができるという効果を奏する。
【０００９】
また、本発明の別の態様にかかる画像処理方法は、管腔内画像から不要領域を抽出する画像処理方法であって、前記管腔内画像の色情報に基づく第１の特徴量をもとに、不要候補領域を判別する一次判別工程と、前記不要候補領域の前記第１の特徴量とは異なる第２の特徴量をもとに、前記不要候補領域が不要領域か否かを判別する二次判別工程と、を含むことを特徴とする。
【００１０】
また、本発明の別の態様にかかる画像処理プログラムは、管腔内画像から不要領域を抽出するための画像処理プログラムであって、コンピュータに、前記管腔内画像の色情報に基づく第１の特徴量をもとに、不要候補領域を判別する一次判別ステップと、前記不要候補領域の前記第１の特徴量とは異なる第２の特徴量をもとに、前記不要候補領域が不要領域か否かを判別する二次判別ステップと、を実行させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、不要領域か否かを適正に判別し、管腔内画像から不要領域を精度良く抽出することができるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】図１は、実施の形態１における画像処理装置の機能構成を説明するブロック図である。
【図２】図２は、管腔内画像の一例を示す模式図である。
【図３】図３は、管腔内画像内の画素値の変化を説明する図である。
【図４】図４は、実施の形態１の画像処理装置が行う処理手順を示す全体フローチャートである。
【図５】図５は、境界特徴量算出処理の詳細な処理手順を示すフローチャートである。
【図６】図６は、ハレーション候補領域の一例を示す模式図である。
【図７】図７は、図６に示すハレーション候補領域の境界における法線方向ラインプロファイルの一例を示す図である。
【図８】図８は、実施の形態２における画像処理装置の機能構成を説明するブロック図である。
【図９】図９は、管腔内画像の一例を示す模式図である。
【図１０】図１０は、管腔内画像内の画素値の変化を説明する図である。
【図１１】図１１は、実施の形態２の画像処理装置が行う処理手順を示す全体フローチャートである。
【図１２】図１２は、勾配特徴量算出処理の詳細な処理手順を示すフローチャートである。
【図１３】図１３は、実施の形態３における画像処理装置の機能構成を説明するブロック図である。
【図１４】図１４は、実施の形態３の画像処理装置が行う処理手順を示す全体フローチャートである。
【図１５】図１５は、飽和領域判別処理の詳細な処理手順を示すフローチャートである。
【図１６】図１６は、本発明を適用したコンピューターシステムの構成を示すシステム構成図である。
【図１７】図１７は、図１６のコンピューターシステムを構成する本体部の構成を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照し、本発明の好適な実施の形態について説明する。なお、この実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
【００１４】
ここで、本実施の形態の画像処理装置は、例えば内視鏡やカプセル内視鏡等の医用観察装置が被検者の体内の消化管等の管腔内を撮像した画像（管腔内画像）を処理するものであり、具体的には、粘膜等の注目すべき領域を特定し、例えば病変領域や出血領域等の異常部領域を抽出する際の前処理として、管腔内画像から不要領域を抽出する処理を行うものである。不要領域とは、注目すべき領域とはならず、観察・診断に不要な領域のことをいい、例えばハレーション領域や暗部領域、内容物領域等を含む。ハレーション領域とは、ハレーションが発生した領域のことをいう。また、管腔内画像は、前述のように消化管等の管腔内を医用観察装置によって撮像した画像であるが、管腔の奥側は医用観察装置からの距離が遠く、照明光が届きにくいために暗い領域として現れる。暗部領域とは、この管腔の奥側が映った暗い領域のことをいう。内容物領域とは、管腔内を浮遊する便等の内容物が映った領域のことをいう。なお、本実施の形態において、医用観察装置によって撮像される管腔内画像は、例えば、各画素においてＲ（赤），Ｇ（緑），Ｂ（青）の各色成分に対する画素レベル（画素値）を持つカラー画像である。
【００１５】
（実施の形態１）
先ず、実施の形態１の画像処理装置の構成について説明する。図１は、実施の形態１の画像処理装置１の機能構成を説明するブロック図である。実施の形態１の画像処理装置１は、図１に示すように、画像取得部１１と、入力部１２と、表示部１３と、記録部１４と、演算部１５と、画像処理装置１全体の動作を制御する制御部１９とを備える。この画像処理装置１は、管腔内画像から不要領域としてハレーション領域を抽出する処理を行う。
【００１６】
画像取得部１１は、医用観察装置によって撮像された管腔内画像の画像データを取得するためのものであり、この画像取得部１１によって取得された画像データは記録部１４に記録され、演算部１５によって処理された後、必要に応じて適宜表示部１３に表示される。画像取得部１１は、例えば医用観察装置がカプセル内視鏡の場合等のように医用観察装置との間の画像データの受け渡しに可搬型の記録媒体が使用される場合であれば、この記録媒体を着脱自在に装着して保存された管腔内画像の画像データを読み出すリーダ装置で構成される。また、医用観察装置によって撮像された管腔内画像の画像データを保存しておくサーバを適所に設置し、このサーバから取得する構成の場合には、画像取得部１１を、サーバと接続するための通信装置等で構成する。そして、この画像取得部１１を介してサーバとデータ通信を行い、管腔内画像の画像データを取得する。また、この他、内視鏡等の医用観察装置からの画像信号をケーブルを介して入力するインターフェース装置等で構成してもよい。
【００１７】
入力部１２は、例えばキーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、入力信号を制御部１９に出力する。表示部１３は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現されるものであり、制御部１９の制御のもと、管腔内画像を含む各種画面を表示する。
【００１８】
記録部１４は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記録媒体およびその読取装置等によって実現されるものであり、画像処理装置１を動作させ、この画像処理装置１が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が記録される。例えば、記録部１４には、画像取得部１１によって取得された管腔内画像の画像データが記録される。また、記録部１４には、管腔内画像からハレーション領域を抽出するための画像処理プログラム１４１が記録される。
【００１９】
演算部１５は、ＣＰＵ等のハードウェアによって実現され、管腔内画像を処理してハレーション領域を抽出するための種々の演算処理を行う。この演算部１５は、一次判別手段としての一次判別部１６と、二次判別手段としての二次判別部１７とを含む。一次判別部１６は、管腔内画像の色情報に基づく第１の特徴量である色特徴量をもとに、不要候補領域の一例であるハレーション候補領域を判別する。二次判別部１７は、色特徴量とは異なる第２の特徴量をもとにハレーション候補領域がハレーション領域か否かを判別する。この二次判別部１７は、境界特徴量算出手段としての境界特徴量算出部１７１と、境界特徴判別手段としての境界特徴判別部１８とを備える。ここで、第２の特徴量は、ハレーション候補領域の境界近傍における画素値の変化をもとに算出される値である。例えば、実施の形態１では、境界特徴量算出部１７１が、第２の特徴量としてハレーション候補領域の境界の内側の領域と外側の領域とを含む領域の境界特徴量を算出する。この境界特徴量算出部１７１は、エッジ強度算出手段としてのエッジ強度算出部１７２と、曲率算出手段としての曲率算出部１７３とを備える。エッジ強度算出部１７２は、境界特徴量の１つとして、ハレーション候補領域の境界におけるエッジ強度を算出する。また、曲率算出部１７３は、別の境界特徴量として、ハレーション候補領域の境界における法線方向ラインプロファイルの曲率を算出する。境界特徴判別部１８は、境界特徴量すなわちエッジ強度および法線方向ラインプロファイルの曲率をもとに、ハレーション候補領域がハレーション領域か否かを判別する。
【００２０】
制御部１９は、ＣＰＵ等のハードウェアによって実現される。この制御部１９は、画像取得部１１によって取得された画像データや入力部１２から入力される入力信号、記録部１４に記録されるプログラムやデータ等をもとに画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。
【００２１】
次に、実施の形態１におけるハレーション領域の抽出原理について説明する。図２は、管腔内画像の模式図である。また、図３は、管腔内画像内の画素値の変化を説明する図であり、図２中に破線で示すラインＬ１１上の画素値の変化曲線Ｌ１３を示している。ハレーション領域は、管腔内画像において白色の領域として現れる。そこで、先ず、管腔内画像から白色領域をハレーション候補領域として抽出する。例えば、図２に示す管腔内画像では、白色領域である２つのハレーション候補領域４１，４２を示している。
【００２２】
ところで、前述のように、ハレーション候補領域は、管腔内画像の白色領域であるが、管腔内画像には、ハレーション領域以外にも例えば白色病変等の領域がハレーション領域と類似する白色の領域として現れる。この白色病変等の領域は、ハレーション領域とは異なり、観察・診断時に注目すべき領域となる。例えば、図２において、一方のハレーション候補領域４１がハレーション領域であり、他方のハレーション候補領域４２が白色病変の領域であったとする。
【００２３】
ここで、ハレーション領域は、撮影対象面からの反射光の減衰が少ない領域であり、このハレーション領域以外の領域より高い画素値を持つ。このため、ハレーション領域は、その境界を境にして内側の領域と外側の領域とで画素値の変動が大きいという特徴がある。例えば、図３に示す画素値の変化曲線Ｌ１３に示すように、図２に示すハレーション領域であるハレーション候補領域４１の境界部分４１１，４１２では画素値が急峻に変化しているのに対し、白色病変の領域であるハレーション候補領域４２の境界部分４２１，４２２では、画素値の変化が緩やかである。そこで、実施の形態１では、白色領域を抽出することで得たハレーション候補領域の境界付近の画素値の変化に着目することで、各ハレーション候補領域がハレーション領域か否かを判別してハレーション領域を抽出する。
【００２４】
次に、実施の形態１の画像処理装置１が行う具体的な処理手順について図４を参照して説明する。ここで説明する処理は、演算部１５が記録部１４に記録された画像処理プログラム１４１を実行することにより実現される。
【００２５】
図４に示すように、先ず演算部１５は、処理対象の管腔内画像Ｉ（ｘ，ｙ）を取得する（ステップａ１）。ここでの処理によって、演算部１５は、画像取得部１１によって取得され、記録部１４に記録された処理対象の管腔内画像Ｉ（ｘ，ｙ）を読み出して取得する。ｘおよびｙは、管腔内画像における各画素位置の座標を示す。
【００２６】
続いて、一次判別部１６は、ステップａ１で取得した管腔内画像Ｉ（ｘ，ｙ）の色特徴量をもとに、管腔内画像Ｉ（ｘ，ｙ）内のハレーション候補領域Ｕ（ｉ）を抽出する（ステップａ３）。前述のように、ハレーション領域は、管腔内画像において白色の領域として現れる。そこで、実施の形態１では、管腔内画像の色情報（Ｒ値，Ｇ値，Ｂ値）を色特徴量として用い、白色領域に属する画素の識別を行う。そして、識別した白色領域に属する画素について公知のラベリング処理を行うことで、ハレーション候補領域Ｕ（ｉ）を抽出する。
【００２７】
具体的な処理手順は先ず、管腔内画像Ｉ（ｘ，ｙ）を構成する画素毎にそのＲ値、Ｇ値、およびＢ値のそれぞれを予め設定される所定の閾値と比較し、Ｒ値、Ｇ値、およびＢ値の全ての値が閾値以上か否かを判定する。そして、Ｒ値、Ｇ値、およびＢ値の全ての値が閾値以上と判定した画素を白色領域に属する画素として仮の画素値「０」を割り当てる。一方、Ｒ値、Ｇ値、およびＢ値の中に１つでも閾値未満の値がある画素には仮の画素値「１」を割り当てる。
【００２８】
その後、以上のようにして管腔内画像Ｉ（ｘ，ｙ）の各画素に割り当てた仮の画素値をもとにラベリング処理を行い、ハレーション候補領域を抽出する（参考：ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，１８１ｐ）。すなわち先ず、仮の画素値が「０」である画素を連結成分毎（隣接する同一画素値の画素群）に区切る。そして、区切った画素群毎に各々を識別するための固有のラベルを付すことによって、仮の画素値が「０」である画素群のそれぞれをハレーション候補領域とする。このとき、一次判別部１６は、各ハレーション領域に各々を識別するためのインデックスｉを割り振る。例えば、インデックスｉとして各ハレーション領域に通し番号（１≦ｉ≦Ｍａｘ＿ｉ）を割り振り、ハレーション候補領域Ｕ（ｉ）とする。
【００２９】
なお、本例では、各画素の色情報（Ｒ値，Ｇ値，Ｂ値）を色特徴量として用い、ハレーション候補領域を抽出することとしたが、白色領域を抽出できればよく、その手法はこれに限定されるものではない。例えば、各画素のＲ値，Ｇ値，Ｂ値を色相（Hue），彩度（Saturation），輝度（Lightness／Luminance／Intensity）の３つの成分からなるＨＳＩ色空間に写像し、Ｉ値（輝度の値）を予め設定される所定の閾値と比較するようにしてもよい。そして、Ｉ値が閾値以上と判定した画素を白色領域に属する画素として識別した後、同様にラベリング処理を行ってハレーション候補領域を抽出することとしてもよい。
【００３０】
続いて、一次判別部１６は、管腔内画像Ｉ（ｘ，ｙ）中にハレーション候補領域が存在するか否かを判別する。ステップａ３の処理の結果ハレーション候補領域が抽出されなかった場合には、ハレーション候補領域が存在しないと判別し（ステップａ５：Ｎｏ）、本処理を終える。ステップａ３の処理の結果ハレーション候補領域が抽出された場合にはハレーション候補領域が存在すると判別し（ステップａ５：Ｙｅｓ）、ステップａ７に移行する。
【００３１】
そして、ステップａ７では、処理対象とするハレーション候補領域のインデックスｉを「１」に設定する。そして、境界特徴量算出部１７１が境界特徴量算出処理を実行し、処理対象のハレーション候補領域Ｕ（ｉ）の境界特徴量を算出する（ステップａ９）。
【００３２】
実施の形態１では、上記したように境界を境にして内側の領域と外側の領域とで画素値の変動が大きいというハレーション領域の特徴に基づき、ハレーション候補領域Ｕ（ｉ）がハレーション領域であるか否かを判別するための基準として境界特徴量を算出する。そして、この境界特徴量をもとに、互いに色が類似する白色領域として現れるハレーション領域と白色病変等の領域とを識別する。
【００３３】
図５は、境界特徴量算出処理の詳細な処理手順を示すフローチャートである。図５に示すように、境界特徴量算出処理では、境界特徴量算出部１７１は先ず、公知の輪郭追跡処理を行い、処理対象のハレーション候補領域Ｕ（ｉ）の境界に相当する画素（以下、「境界画素」と呼ぶ。）ｂ（ｊ）を検出する（ステップｂ１）。輪郭追跡とは、領域の外周部に相当する画素を順に追跡して境界画素を検出する手法であり、本例では、例えば８近傍で連結性を判断する輪郭追跡（参考：ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，１７８ｐ）を行う。ｊは、境界画素の各々を識別するためのインデックスであり、境界画素の隣接関係を示している。
【００３４】
そして、境界特徴量算出部１７１は、次式（１），（２）に従い、境界画素ｂ（ｊ）毎に処理対象のハレーション候補領域Ｕ（ｉ）の境界に対する法線ベクトルｎ（ｊ）を算出する（ステップｂ３）。ここで、式（１），（２）において、ｎx（ｊ）は、法線ベクトルｎ（ｊ）のｘ成分を表し、ｎy（ｊ）は、法線ベクトルｎ（ｊ）のｙ成分を表す。また、ｂx（ｊ）は、境界画素ｂ（ｊ）のｘ座標を表し、ｂy（ｊ）は、境界画素ｂ（ｊ）のｙ座標を表す。ここで、上記した輪郭追跡処理は、ハレーション候補領域Ｕ（ｉ）の外周部に相当する画素を右回りに追跡する処理であるため、法線ベクトルは、その向きがハレーション候補領域Ｕ（ｉ）の外側を向く向きで得られる。
【数１】
【００３５】
続いて、エッジ強度算出部１７２が、ステップｂ３で各境界画素ｂ（ｊ）のそれぞれについて算出した法線ベクトルｎ（ｊ）をもとに、処理対象のハレーション候補領域Ｕ（ｉ）の境界におけるエッジ強度を算出する（ステップｂ５）。具体的には、エッジ強度算出部１７２は、次式（３）〜（７）に従ってエッジ強度Ｅを算出する。ここで、式（３）〜（７）において、ＩR（ｘ，ｙ）は、管腔内画像Ｉ（ｘ，ｙ）内の座標（ｘ1，ｙ1）および（ｘ2，ｙ2）で表される画素位置の画素のＲ値を表す。また、Ｎｂは、境界画素ｂ（ｊ）の総数を表し、ｋ1は、任意の定数である。また、ｘ1、ｘ2、ｙ1、およびｙ2は全て整数とし、算出時に四捨五入を行うことで整数化することとする。
【数２】
【００３６】
なお、本例では、法線ベクトルを用いてハレーション候補領域Ｕ（ｉ）の境界におけるエッジ強度Ｅを算出することとしたが、エッジ強度の算出手法はこれに限定されるものではない。例えば、公知のソーベル（Sobel）フィルタ（参考：ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，１１６ｐ）を用いてエッジ強度を算出することとしてもよい。ソーベルフィルタとは、微分と平滑化を行う既知の手法である。また、本例では、全ての境界画素ｂ（ｊ）についてエッジ強度Ｅを算出することとしたが、エッジ強度Ｅを算出する境界上の部位は１箇所以上であればよい。すなわち、エッジ強度Ｅを算出する部位（どの境界画素ｂ（ｊ）についてエッジ強度Ｅを算出するのか）は適宜選択でき、選択した境界上の部位についてエッジ強度Ｅを算出することとしてよい。
【００３７】
続いて、曲率算出部１７３が、ステップｂ３で各境界画素ｂ（ｊ）のそれぞれについて算出した法線ベクトルｎ（ｊ）をもとに、処理対象のハレーション候補領域Ｕ（ｉ）の境界における法線方向ラインプロファイルの曲率を算出する（ステップｂ７）。
【００３８】
ここで、法線方向ラインプロファイルの曲率の算出原理について説明する。図６は、処理対象のハレーション候補領域Ｕ（ｉ）の一例を示す模式図であり、図６中において、ハレーション候補領域Ｕ（ｉ）の境界上に存在する境界画素ｂ（ｊ）の１つであるＰ２１について図５のステップｂ３で算出した法線ベクトルｎ（ｊ）であるＶ２を示している。また、図７は、横軸を図６中に破線で示すラインＬ２１上の画素位置とし、縦軸を該当する各画素の画素値として図６中のラインＬ２１に沿った画素値の変化曲線Ｌ２３を示したものである。実施の形態１において、法線方向ラインプロファイルとは、境界画素の法線方向に存在する画素の画素値の変化のことをいう。例えば、図６に示す境界画素Ｐ２１の法線方向ラインプロファイルは、法線ベクトルＶ２に沿ったラインＬ２１上の画素値の変化、すなわち図７に示す変化曲線Ｌ２３のことをいう。そして、図５のステップｂ７では、境界画素毎の法線方向ラインプロファイルの曲率をもとに、処理対象のハレーション候補領域Ｕ（ｉ）の境界における法線方向ラインプロファイルの曲率を算出する。個々の境界画素の法線方向ラインプロファイルの曲率は、例えば境界画素Ｐ２１に着目すれば、この境界画素Ｐ２１の画素値と、法線ベクトルＶ２に沿ったラインＬ２１上の画素であって、境界画素Ｐ２１を挟んで両側に存在する画素Ｐ２２，Ｐ２３の画素値とを用いて算出する。
【００３９】
実際には、図５のステップｂ７において曲率算出部１７３は、次式（８）に従って法線方向ラインプロファイルの曲率Ｍを算出する。ここで、式（８）中のｘ1，ｘ2，ｙ1，ｙ2は、上記した式（４）〜（７）で得られる値と同一の値である。
【数３】
【００４０】
そして、法線方向ラインプロファイルの曲率Ｍを算出したならば、図４のステップａ９にリターンし、その後ステップａ１１に移行する。この境界特徴量算出処理の結果、処理対象のハレーション候補領域Ｕ（ｉ）の境界特徴量として、この処理対象のハレーション候補領域Ｕ（ｉ）の境界におけるエッジ強度Ｅおよび法線方向ラインプロファイルの曲率Ｍが得られる。
【００４１】
なお、本例では、全ての境界画素ｂ（ｊ）について法線方向ラインプロファイルの曲率Ｍを算出することとしたが、法線方向ラインプロファイルの曲率Ｍを算出する境界上の部位は１箇所以上であればよい。すなわち、法線方向ラインプロファイルの曲率Ｍを算出する部位（どの境界画素ｂ（ｊ）について法線方向ラインプロファイルの曲率Ｍを算出するのか）は適宜選択でき、選択した境界上の部位について法線方向ラインプロファイルの曲率Ｍを算出することとしてよい。また、本例では、管腔内画像Ｉ（ｘ，ｙ）内の画素のＲ値ＩR（ｘ，ｙ）を用いてエッジ強度Ｅおよび法線方向ラインプロファイルの曲率Ｍを算出することとしたが、境界特徴量として算出する値やその算出手法はこれに限定されるものではない。すなわち、境界特徴量は、ハレーション候補領域Ｕ（ｉ）の境界における画素値の変動に応じた値であれば他の値であってもよく、他の算出手法で得た値であってもよい。
【００４２】
そして、ステップａ１１では、境界特徴判別部１８が、ステップａ９の境界特徴量算出処理の結果境界特徴量として算出されたエッジ強度Ｅおよび法線方向ラインプロファイルの曲率Ｍをもとに、処理対象のハレーション候補領域Ｕ（ｉ）がハレーション領域であるか否かを判別する。具体的には、境界特徴判別部１８は、図５のステップｂ５で算出したエッジ強度Ｅが予め設定される所定の閾値以上であり、且つ、図５のステップｂ７で算出した法線方向ラインプロファイルの曲率Ｍが予め設定される所定の閾値以上の場合に、処理対象のハレーション候補領域Ｕ（ｉ）をハレーション領域と判別する。
【００４３】
なお、本例では、ハレーション候補領域の境界におけるエッジ強度Ｅおよび法線方向ラインプロファイルの曲率Ｍを算出することとした。そして、算出したエッジ強度Ｅおよび法線方向ラインプロファイルの曲率Ｍを境界特徴量として用い、ハレーション候補領域がハレーション領域であるか否かを判別することとしたが、判別の手法はこれに限定されるものではない。すなわち、ハレーション候補領域の境界を境にした画素値の変動をもとにハレーション領域を判別できればよく、エッジ強度Ｅのみを境界特徴量として用い、ハレーション領域か否かの判別を行うこととしてもよい。あるいは、法線方向ラインプロファイルの曲率Ｍのみを境界特徴量として用い、ハレーション領域か否かの判別を行うこととしてもよい。また、エッジ強度Ｅや法線方向ラインプロファイルの曲率Ｍ以外の境界特徴量を用いてハレーション領域か否かの判別を行うこととしてもよい。
【００４４】
以上のように処理対象のハレーション候補領域Ｕ（ｉ）がハレーション領域か否かの判別を終えたならば、インデックスｉがＭａｘ＿ｉ未満か否かを判定する。そして、Ｍａｘ＿ｉ未満であれば（ステップａ１３：Ｙｅｓ）、インデックスｉをインクリメントして更新し（ステップａ１５）、次のハレーション候補領域Ｕ（ｉ）についてステップａ９〜ステップａ１３の処理を行う。一方、インデックスｉがＭａｘ＿ｉ未満ではなく、全てのハレーション候補領域を処理した場合には（ステップａ１３：Ｎｏ）、本処理を終える。
【００４５】
以上説明したように、実施の形態１では、先ず第１の特徴量である色特徴量をもとに管腔内画像からハレーション候補領域を抽出することとした。そして、抽出したハレーション候補領域のそれぞれについて色特徴量とは異なる第２の特徴量として境界特徴量を算出することとした。具体的には、境界を境にして内側の領域と外側の領域とで画素値の変動が大きいというハレーション領域の特徴に基づき、境界特徴量としてハレーション候補領域の境界におけるエッジ強度および法線方向ラインプロファイルの曲率を算出することとした。そして、この境界特徴量をもとに各ハレーション候補領域がハレーション領域か否かを判別してハレーション領域を抽出することとした。この実施の形態１によれば、白色領域として抽出したハレーション候補領域のうち、ハレーション領域と色が類似する白色病変の領域といったハレーション領域以外の領域を除外してハレーション領域を抽出することができる。したがって、不要領域の一例であるハレーション領域を適正に判別し、ハレーション領域を精度良く抽出することができるという効果を奏する。
【００４６】
以上のようにしてハレーション領域が抽出された管腔内画像に対しては、例えば病変領域や出血領域等の異常部領域を抽出する処理等が実施され、適宜表示部１３に表示されて医師等のユーザに提示される。具体的には、管腔内画像は、例えば異常部領域を他の領域と識別可能に表した画像として表示部１３に表示される。あるいは、異常部領域を含む管腔内画像が、診断すべき画像として表示部１３に表示される。このとき、実施の形態１を適用することで抽出したハレーション領域を除外して注目すべき領域を特定し、この注目すべき領域の中から異常部領域を抽出することができるので、高精度な異常部検出が実現できる。
【００４７】
（実施の形態２）
先ず、実施の形態２の画像処理装置の構成について説明する。図８は、実施の形態２の画像処理装置１ｂの機能構成を説明するブロック図である。なお、実施の形態１で説明した構成と同一の構成については、同一の符号を付する。実施の形態２の画像処理装置１ｂは、図８に示すように、画像取得部１１と、入力部１２と、表示部１３と、記録部１４ｂと、演算部１５ｂと、画像処理装置１ｂ全体の動作を制御する制御部１９とを備える。この画像処理装置１ｂは、管腔内画像から不要領域として暗部領域を抽出する処理を行う。
【００４８】
記録部１４ｂには、管腔内画像から暗部領域を検出するための画像処理プログラム１４１ｂが記録される。
【００４９】
また、演算部１５ｂは、一次判別手段としての一次判別部１６ｂと、二次判別手段としての二次判別部１７ｂとを含む。一次判別部１６ｂは、管腔内画像の色情報に基づく第１の特徴量である色特徴量をもとに、不要候補領域の一例である暗部候補領域を判別する。二次判別部１７ｂは、色特徴量とは異なる第２の特徴量をもとに暗部候補領域が暗部領域か否かを判別する。この二次判別部１７ｂは、勾配特徴量算出手段としての勾配特徴量算出部２８ｂと、勾配特徴判別手段としての勾配特徴判別部２９ｂとを備える。ここで、第２の特徴量は、暗部候補領域の境界近傍における画素値の変化をもとに算出される値である。例えば、実施の形態２では、勾配特徴量算出部２８ｂが、第２の特徴量として暗部候補領域の周囲領域（外側近傍）の勾配特徴量を算出する。この勾配特徴量算出部２８ｂは、勾配方向算出手段としての勾配方向算出部２８１ｂと、集中度算出手段としての集中度算出部２８２ｂとを備える。勾配方向算出部２８１ｂは、暗部候補領域の周囲における勾配方向を算出する。また、集中度算出部２８２ｂは、勾配方向算出部２８１ｂによって算出された暗部候補領域の周囲における勾配方向をもとに、勾配特徴量として勾配の集中度を算出する。勾配特徴判別部２９ｂは、勾配特徴量すなわち勾配の集中度をもとに、暗部候補領域が暗部領域か否かを判別する。
【００５０】
次に、実施の形態２における暗部領域の抽出原理について説明する。図９は、管腔内画像の模式図である。また、図１０は、管腔内画像内の画素値の変化を説明する図であり、図９中に破線で示すラインＬ３１上の画素値の変化曲線Ｌ３２を示している。医用観察装置が管腔の奥側を向いた状態で撮像した管腔内画像には、図９に示すように、管腔の奥が暗部領域５１として映る。この暗部領域５１は、管腔内画像において黒色の領域として現れる。そこで、先ず、管腔内画像から黒色領域を暗部候補領域として抽出する。例えば、図９に示す管腔内画像では、暗部候補領域として抽出される暗部領域５１およびこの暗部領域５１とは別の黒色領域５２を示している。
【００５１】
ところで、前述のように、暗部候補領域は、管腔内画像の黒色領域であるが、管腔内画像には、暗部領域以外にも例えば凝固血等の領域が暗部領域と類似する黒色の領域として現れる。この凝固血等の領域は、暗部領域とは異なり、観察・診断時に注目すべき領域となる。例えば、図９において、暗部領域５１とは別の黒色領域５２が凝固血等の領域であったとする。
【００５２】
ここで、暗部領域は、管腔内において撮影面に対して遠方の領域であるため、その周囲における画素値の変化が暗部領域の方へ傾いているという特徴がある。例えば、図１０に示す画素値の変化曲線Ｌ３２に示すように、図９の暗部領域５１の周囲（暗部領域５１の外側近傍）の領域５１１，５１２では、それぞれ図１０中に矢印Ａ５１１，Ａ５１２に示すようにその画素値が暗部領域５１の方向に向かって減少しており、暗部領域５１の周囲では、その全域で画素値の変化が暗部領域５１の方へ傾いている。これに対し、凝固血等の領域である黒色領域５２の場合、黒色領域５２の周囲（黒色領域５２の外側近傍）の例えば図９中に向かって右側の領域５２２では、図１０中に矢印Ａ５２２に示すようにその画素値が黒色領域５２の方向に向かって減少しているものの、左側の領域５２１では、矢印Ａ５２１に示すようにその画素値が黒色領域５２とは反対の方向に向かって減少している。すなわち、黒色領域５２の左側の領域５２１では、この黒色領域５２よりも左側に存在する暗部領域５１に向かって画素値が減少している。そこで、実施の形態２では、黒色領域を抽出することで得た暗部候補領域の周囲における画素値の変化、より詳細には画素値の変化が傾く方向に着目することで、各暗部候補領域が暗部領域か否かを判別して暗部領域を抽出する。
【００５３】
次に、実施の形態２の画像処理装置１ｂが行う具体的な処理手順について図１１を参照して説明する。ここで説明する処理は、演算部１５ｂが記録部１４ｂに格納された画像処理プログラム１４１ｂを実行することにより実現される。
【００５４】
図１１に示すように、先ず演算部１５ｂは、処理対象の管腔内画像Ｉ（ｘ，ｙ）を取得する（ステップｃ１）。ｘおよびｙは、管腔内画像における各画素位置の座標を示す。続いて、一次判別部１６ｂは、ステップｃ１で取得した管腔内画像Ｉ（ｘ，ｙ）の色特徴量をもとに、管腔内画像Ｉ（ｘ，ｙ）内の暗部候補領域Ｕ（ｉ）を抽出する（ステップｃ３）。前述のように、暗部領域は、管腔内画像において黒色の領域として現れる。そこで、実施の形態２では、管腔内画像の色情報（Ｒ値，Ｇ値，Ｂ値）を色特徴量として用い、黒色領域に属する画素の識別を行う。そして、識別した黒色領域に属する画素について公知のラベリング処理を行うことで、暗部候補領域Ｕ（ｉ）を抽出する。
【００５５】
具体的な処理手順は先ず、管腔内画像Ｉ（ｘ，ｙ）を構成する画素毎にそのＲ値、Ｇ値、およびＢ値のそれぞれを予め設定される所定の閾値と比較し、Ｒ値、Ｇ値、およびＢ値の全ての値が閾値以下か否かを判定する。そして、Ｒ値、Ｇ値、およびＢ値の全ての値が閾値以下と判定した画素を黒色領域に属する画素として仮の画素値「０」を割り当てる。一方、Ｒ値、Ｇ値、およびＢ値の中に１つでも閾値より大きい値がある画素には仮の画素値「１」を割り当てる。
【００５６】
その後、このようにして管腔内画像Ｉ（ｘ，ｙ）の各画素に割り当てた仮の画素値をもとにラベリング処理を行い、暗部候補領域を抽出する。ラベリング処理は、実施の形態１と同様にして行い、仮の画素値が「０」である画素を連結成分毎に区切った画素群のそれぞれを暗部候補領域とする。このとき、一次判別部１６ｂは、各暗部領域に各々を識別するためのインデックスｉとして通し番号（１≦ｉ≦Ｍａｘ＿ｉ）を割り振り、暗部候補領域Ｕ（ｉ）とする。
【００５７】
なお、本例では、各画素の色情報（Ｒ値，Ｇ値，Ｂ値）を色特徴量として用い、暗部候補領域を抽出することとしたが、黒色領域を抽出できればよく、その手法はこれに限定されるものではない。例えば、各画素のＲ値，Ｇ値，Ｂ値をＨＳＩ色空間に写像し、Ｉ値（輝度の値）を予め設定される所定の閾値と比較するようにしてもよい。そして、Ｉ値が閾値以下と判定した画素を黒色領域に属する画素として識別した後、同様にラベリング処理を行って暗部候補領域を抽出することとしてもよい。
【００５８】
続いて、一次判別部１６ｂは、管腔内画像Ｉ（ｘ，ｙ）の中に暗部候補領域が存在するか否かを判別する。ステップｃ３の処理の結果暗部候補領域が抽出されなかった場合には、暗部候補領域が存在しないと判別し（ステップｃ５：Ｎｏ）、本処理を終える。ステップｃ３の処理の結果暗部候補領域が抽出された場合には暗部候補領域が存在すると判別し（ステップｃ５：Ｙｅｓ）、ステップｃ７に移行する。
【００５９】
そして、ステップｃ７では、処理対象とする暗部候補領域のインデックスｉを「１」に設定する。そして、勾配特徴量算出部２８ｂが勾配特徴量算出処理を実行し、処理対象の暗部候補領域Ｕ（ｉ）の勾配特徴量を算出する（ステップｃ９）。
【００６０】
実施の形態２では、上記したように周囲における画素値の変化が暗部領域の方へ傾いているという暗部領域の特徴に基づき、暗部候補領域Ｕ（ｉ）が暗部領域であるか否かを判別するための基準として勾配特徴量を算出する。そして、この勾配特徴量をもとに、互いに色が類似する黒色領域として現れる暗部領域と凝固血等の領域とを識別する。
【００６１】
図１２は、勾配特徴量算出処理の詳細な処理手順を示すフローチャートである。図１２に示すように、勾配特徴量算出処理では、勾配特徴量算出部２８ｂは先ず、図５のステップｂ１と同様の処理を行って処理対象の暗部候補領域Ｕ（ｉ）の境界画素ｂ（ｊ）を検出する（ステップｄ１）。そして、勾配特徴量算出部２８ｂは、図５のステップｂ３と同様の処理を行い、境界画素ｂ（ｊ）毎に処理対象の暗部候補領域Ｕ（ｉ）の境界に対する法線ベクトルｎ（ｊ）を算出する（ステップｄ３）。
【００６２】
続いて、勾配特徴量算出部２８ｂは、ステップｄ３で各境界画素ｂ（ｊ）のそれぞれについて算出した法線ベクトルｎ（ｊ）をもとに、境界画素ｂ（ｊ）毎にその法線方向に存在する画素（以下、「法線方向画素」と呼ぶ。）Ａ（ｊ）を設定する（ステップｄ５）。実施の形態１で説明したように、ステップｄ３で算出される法線ベクトルｎ（ｊ）は、それぞれ処理対象の暗部候補領域Ｕ（ｉ）の外側を向く向きで得られる。ここでは、この法線ベクトルｎ（ｊ）の向き、すなわち、処理対象の暗部候補領域Ｕ（ｉ）の外側に所定距離離れた画素を法線方向画素Ａ（ｊ）として設定する。
【００６３】
実際には、ステップｄ５において勾配特徴量算出部２８ｂは、次式（９），（１０）に従って法線方向画素Ａ（ｊ）を設定する。ここで、式（９），（１０）において、Ａx（ｊ）は、法線方向画素Ａ（ｊ）のｘ座標を表し、Ａy（ｊ）は、法線方向画素Ａ（ｊ）のｙ座標を表す。また、ｋ2は、任意の定数である。また、Ａx（ｊ）およびＡy（ｊ）はそれぞれ整数とし、算出時に四捨五入を行うことで整数化することとする。
【数４】
【００６４】
続いて、勾配方向算出部２８１ｂが、ステップｄ５で各境界画素ｂ（ｊ）のそれぞれについて設定した法線方向画素Ａ（ｊ）毎に、勾配方向ベクトルｇ（ｊ）を算出する（ステップｄ７）。ここで、勾配方向ベクトルｇ（ｊ）とは、各法線方向画素Ａ（ｊ）を基点としたベクトルであって、法線方向画素Ａ（ｊ）の周囲において最も画素値が小さい画素の方向を指すベクトルである。
【００６５】
具体的には、勾配方向算出部２８１ｂは先ず、法線方向画素Ａ（ｊ）を中心とした３×３の画素範囲を構成する画素毎に、次式（１１）に従って差分値ｄ（ｘ，ｙ）を算出する。ここで、式（１１）において、ｘおよびｙは、法線方向画素Ａ（ｊ）を中心とした３×３の画素範囲内の画素の座標を示している。ただし、Ａx（ｊ）≠ｘであり、Ａy（ｊ）≠ｙである。
【数５】
【００６６】
そして、この法線方向画素Ａ（ｊ）を中心とした３×３の画素範囲内の画素の中から、差分値ｄ（ｘ，ｙ）が最も大きい画素を選出する。
【００６７】
その後、次式（１２），（１３）に従い、差分値ｄ（ｘ，ｙ）が最も大きいとして選出した画素の座標（ｍｘj，ｍｙj）と、法線方向画素Ａ（ｊ）の座標との差分を算出し、勾配方向ベクトルｇ（ｊ）とする。これにより、法線方向画素Ａ（ｊ）の周囲における勾配方向が得られる。ここで、式（１２），（１３）において、ｇx（ｊ）は、勾配方向ベクトルｇ（ｊ）のｘ成分を表し、ｇy（ｊ）は、勾配方向ベクトルｇ（ｊ）のｙ成分を表す。以上の処理を法線方向画素Ａ（ｊ）毎に行い、各法線方向画素Ａ（ｊ）のそれぞれについて勾配方向ベクトルｇ（ｊ）を算出する。
【数６】
【００６８】
なお、本例では、８方向に離散化された勾配方向ベクトルｇ（ｊ）を算出することで法線方向画素Ａ（ｊ）の周囲における勾配方向を取得することとしたが、法線方向画素Ａ（ｊ）の周囲における勾配方向が取得できればその算出手法は限定されない。例えば、次式（１４），（１５）に従って連続的な勾配方向ベクトルｇ（ｊ）を算出することで法線方向画素Ａ（ｊ）の周囲における勾配方向を取得することとしてもよい。ここで、式（１４），（１５）において、Δxｆ（Ａx（ｊ），Ａy（ｊ）)は、法線方向画素Ａ（ｊ）についてｘ方向に沿ってソーベルフィルタを適用した結果を表し、Δyｆ（Ａx（ｊ），Ａy（ｊ）)は、ｙ方向に沿ってソーベルフィルタを適用した結果を表している。本変形例のようにソーベルフィルタを適用して連続的な勾配方向ベクトルｇ（ｊ）を算出する手法によれば、上記したように８方向に離散化された勾配方向ベクトルｇ（ｊ）を算出する場合よりも高精度に勾配方向ベクトルｇ（ｊ）を算出することができる。
【数７】
【００６９】
そして、集中度算出部２８２ｂが、各境界画素ｂ（ｊ）のそれぞれについて算出した法線ベクトルｎ（ｊ）と勾配方向ベクトルｇ（ｊ）とをもとに、処理対象の暗部候補領域Ｕ（ｉ）の周囲における勾配の集中度を算出する（ステップｄ９）。勾配の集中度とは、勾配方向ベクトルｇ（ｊ）がどの程度暗部候補領域Ｕ（ｉ）を向いているのかを示す値である。上記したように、暗部領域の周囲では、その全域で画素値の変化が暗部領域の方へ傾く（暗部領域に向かって画素値が小さくなる）という特徴を有している。したがって、処理対象の暗部候補領域Ｕ（ｉ）が暗部領域であれば、境界画素ｂ（ｊ）毎に算出される勾配方向ベクトルｇ（ｊ）は、その向きが全体的に対応する境界画素ｂ（ｊ）の法線ベクトルｎ（ｊ）と逆向きに得られることとなる。そこで、ここでは、境界画素ｂ（ｊ）毎に法線ベクトルｎ（ｊ）と勾配方向ベクトルｇ（ｊ）との内積を求めることで、勾配の集中度を算出する。
【００７０】
実際には、ステップｄ９において集中度算出部２８２ｂは、次式（１６）に従って勾配の集中度Ｃを算出する。
【数８】
【００７１】
この式（１６）によれば、勾配の集中度Ｃは、各境界画素ｂ（ｊ）それぞれの法線ベクトルｎ（ｊ）と勾配方向ベクトルｇ（ｊ）との内積の平均に負の符号を乗じた値として得られる。したがって、勾配の集中度Ｃは、全ての境界画素ｂ（ｊ）の勾配方向ベクトルｇ（ｊ）の向きが対応する法線ベクトルｎ（ｊ）の向きと真逆を向いている場合、すなわち、全ての境界画素ｂ（ｊ）の勾配方向ベクトルｇ（ｊ）が完全に処理対象の暗部候補領域Ｕ（ｉ）の方を向いている場合に最も大きい値となる。
【００７２】
そして、勾配の集中度Ｃを算出したならば、図１１のステップｃ９にリターンし、その後ステップｃ１１に移行する。この勾配特徴量算出処理の結果、処理対象の暗部候補領域Ｕ（ｉ）の勾配特徴量として、この処理対象の暗部候補領域Ｕ（ｉ）の周囲における勾配の集中度Ｃが得られる。なお、本例では、暗部候補領域Ｕ（ｉ）の境界画素ｂ（ｊ）について算出した法線ベクトルｎ（ｊ）とこの境界画素ｂ（ｊ）の法線方向画素Ａ（ｊ）について算出した勾配方向ベクトルｇ（ｊ）との内積を集中度Ｃとして算出することとしたが、算出手法はこれに限定されるものではない。すなわち、暗部候補領域Ｕ（ｉ）の周囲における勾配の集中度が算出できれば他の算出手法で得た値であってもよい。
【００７３】
そして、図１１のステップｃ１１では、勾配特徴判別部２９ｂが、ステップｃ９の勾配特徴量算出処理の結果勾配特徴量として算出された勾配の集中度Ｃをもとに、処理対象の暗部候補領域Ｕ（ｉ）が暗部領域であるか否かを判別する。具体的には、勾配特徴判別部２９ｂは、勾配の集中度Ｃが予め設定される所定の閾値以上の場合に、処理対象の暗部候補領域Ｕ（ｉ）を暗部領域と判別する。
【００７４】
以上のように処理対象の暗部候補領域Ｕ（ｉ）が暗部領域か否かの判別を終えたならば、インデックスｉがＭａｘ＿ｉ未満か否かを判定する。そして、Ｍａｘ＿ｉ未満であれば（ステップｃ１３：Ｙｅｓ）、インデックスｉをインクリメントして更新し（ステップｃ１５）、次の暗部候補領域Ｕ（ｉ）についてステップｃ９〜ステップｃ１３の処理を行う。一方、インデックスｉがＭａｘ＿ｉ未満ではなく、全ての暗部候補領域を処理した場合には（ステップｃ１３：Ｎｏ）、本処理を終える。
【００７５】
以上説明したように、実施の形態２では、先ず第１の特徴量である色特徴量をもとに管腔内画像から暗部候補領域を抽出することとした。そして、抽出した暗部候補領域のそれぞれについて色特徴量とは異なる第２の特徴量として勾配特徴量を算出することとした。具体的には、暗部領域の周囲では画素値の変化が暗部領域の方へ傾く（暗部領域に向かって画素値が小さくなる）という暗部領域の特徴に基づき、勾配特徴量として勾配の集中度を算出することとした。そして、この勾配特徴量をもとに各暗部候補領域が暗部領域か否かを判別して暗部領域を抽出することとした。この実施の形態２によれば、黒色領域として抽出した暗部候補領域のうち、暗部領域と色が類似する凝固血等の領域といった暗部領域以外の領域を除外して暗部領域を抽出することができる。したがって、不要領域の一例である暗部領域を適正に判別し、暗部領域を精度良く抽出することができるという効果を奏する。
【００７６】
以上のようにして暗部領域が抽出された管腔内画像に対しては、実施の形態１で説明したのと同様にして異常部領域を抽出する処理等が実施され、適宜表示部１３に表示されて医師等のユーザに提示される。このとき、実施の形態２を適用することで抽出した暗部領域を除外して注目すべき領域を特定し、この注目すべき領域の中から異常部領域を抽出することができるので、高精度な異常部検出が実現できる。
【００７７】
（実施の形態３）
次に、実施の形態３について説明する。図１３は、実施の形態３の画像処理装置１ｃの機能構成を説明するブロック図である。なお、実施の形態１で説明した構成と同一の構成については、同一の符号を付する。実施の形態３の画像処理装置１ｃは、図１３に示すように、画像取得部１１と、入力部１２と、表示部１３と、記録部１４ｃと、演算部１５ｃと、画像処理装置１ｃ全体の動作を制御する制御部１９とを備える。この画像処理装置１ｃは、管腔内画像から不要領域として内容物領域を抽出する処理を行う。
【００７８】
記録部１４ｃには、管腔内画像から内容物領域を検出するための画像処理プログラム１４１ｃが記録される。
【００７９】
また、演算部１５ｃは、一次判別手段としての一次判別部１６ｃと、二次判別手段としての二次判別部１７ｃとを含む。一次判別部１６ｃは、管腔内画像の色情報に基づく第１の特徴量である色特徴量をもとに、不要候補領域の一例である内容物候補領域を判別する。二次判別部１７ｃは、色特徴量とは異なる第２の特徴量をもとに内容物候補領域が内容物領域か否かを判別する。この二次判別部１７ｃは、飽和判別手段としての飽和判別部３８ｃと、飽和領域判別手段としての飽和領域判別部３９ｃとを備える。飽和判別部３８ｃは、内容物候補領域に属する画素の画素値を用いて内容物候補領域が飽和領域であるのか非飽和領域であるのかを判別する。飽和領域判別部３９ｃは、飽和領域と判別された内容物候補領域が内容物領域か否か判別する機能部であり、連続性判別手段としての連続性判別部３９１ｃと、判別結果取得手段としての判別結果取得部３９２ｃと、テクスチャ特徴量算出手段としてのテクスチャ特徴量算出部３９３ｃと、テクスチャ特徴判別手段としてのテクスチャ特徴判別部３９４ｃとを備える。連続性判別部３９１ｃは、隣接領域との連続性を第２の特徴量として用い、飽和領域と判別された内容物候補領域と隣接する領域との連続性を判別する。判別結果取得部３９２ｃは、連続性判別部３９１ｃによる判別結果を取得する。テクスチャ特徴量算出部３９３ｃは、第２の特徴量として飽和領域と判別された内容物候補領域のテクスチャ特徴量を算出する。テクスチャ特徴判別部３９４ｃは、テクスチャ特徴量をもとに不要領域か否かを判別する。
【００８０】
図１４は、実施の形態３の画像処理装置１ｃが行う処理手順を示す全体フローチャートである。ここで説明する処理は、演算部１５ｃが記録部１４ｃに格納された画像処理プログラム１４１ｃを実行することにより実現される。
【００８１】
図１４に示すように、先ず演算部１５ｃは、処理対象の管腔内画像Ｉ（ｘ，ｙ）を取得する（ステップｅ１）。ｘおよびｙは、管腔内画像における各画素位置の座標を示す。続いて、一次判別部１６ｃは、ステップｅ１で取得した管腔内画像Ｉ（ｘ，ｙ）の色特徴量をもとに、管腔内画像Ｉ（ｘ，ｙ）内の内容物候補領域Ｕ（ｉ）を抽出する（ステップｅ３）。ここで、内容物領域は、管腔内画像において黄色の領域として現れる。そこで、実施の形態３では、管腔内画像の色情報（Ｒ値，Ｇ値，Ｂ値）を色特徴量として用い、黄色領域に属する画素の識別を行う。そして、識別した黄色領域に属する画素について公知のラベリング処理を行うことで、内容物候補領域Ｕ（ｉ）を抽出する。
【００８２】
具体的な処理手順は先ず、管腔内画像Ｉ（ｘ，ｙ）を構成する画素毎にそのＲ値、Ｇ値、およびＢ値からＧ／Ｒ値およびＢ／Ｇ値を算出する。続いて、算出したＧ／Ｒ値およびＢ／Ｇ値をＧ／Ｒ−Ｂ／Ｇ特徴空間に写像する。そして、写像した特徴点の座標が予め設定される所定の範囲内である画素を黄色領域に属する画素として仮の画素値「０」を割り当てる。一方、写像した特徴点の座標が前述の所定範囲外である画素には、仮の画素値「１」を割り当てる。
【００８３】
その後、このようにして管腔内画像Ｉ（ｘ，ｙ）の各画素に割り当てた仮の画素値をもとにラベリング処理を行い、内容物候補領域を抽出する。ラベリング処理は、実施の形態１と同様にして行い、仮の画素値が「０」である画素を連結成分毎に区切った画素群のそれぞれを内容物候補領域とする。このとき、一次判別部１６ｃは、各内容物領域に各々を識別するためのインデックスｉとして通し番号（１≦ｉ≦Ｍａｘ＿ｉ）を割り振り、内容物候補領域Ｕ（ｉ）とする。
【００８４】
なお、本例では、各画素の色情報（Ｒ値，Ｇ値，Ｂ値）から求めたＧ／Ｒ値，Ｂ／Ｇ値を色特徴量として用い、内容物候補領域を抽出することとしたが、黄色領域を抽出できればよく、その手法は限定されるものではない。例えば、各画素のＲ値，Ｇ値，Ｂ値をＨＳＩ色空間に写像し、Ｈ値（色相の値）が予め設定される所定の範囲内に含まれるか否かを判定するようにしてもよい。そして、所定の範囲内に含まれる画素を黄色領域に属する画素として識別した後、同様にラベリング処理を行って暗部候補領域を抽出することとしてもよい。
【００８５】
続いて、一次判別部１６ｃは、管腔内画像Ｉ（ｘ，ｙ）の中に内容物候補領域が存在するか否かを判別する。そして、ステップｅ３の処理の結果内容物候補領域が抽出されなかった場合には、内容物候補領域が存在しないと判別し（ステップｅ５：Ｎｏ）、本処理を終える。ステップｅ３の処理の結果内容物候補領域が抽出された場合には内容物候補領域が存在すると判別し（ステップｅ５：Ｙｅｓ）、ステップｅ７に移行する。
【００８６】
そして、ステップｅ７では、処理対象とする内容物候補領域のインデックスｉを「１」に設定する。そして先ず、飽和判別部３８ｃが、処理対象の内容物候補領域Ｕ（ｉ）に属する画素のＲ値をもとに、この処理対象の内容物候補領域Ｕ（ｉ）が飽和領域なのか非飽和領域なのかを判別する（ステップｅ９）。
【００８７】
体内の管腔内を撮像した管腔内画像では、Ｒ，Ｇ，Ｂの各値を比較すると通常Ｒ値が最も大きい値となる。このため、調光変化等によって管腔内が明るくなった場合に、最初に飽和するのはＲ値である。すなわち、Ｒ値は、ある明るさ以上になるとその値が変化しなくなる。そして、このようにＲ値が飽和すると、Ｒ，Ｇ，Ｂの各値のバランスが崩れ、本来の色よりも黄色く映る傾向がある。このように黄色く映った黄色粘膜の領域は、内容物領域とは異なり、観察・診断時に注目すべき領域となり得る。そこで先ず、ステップｅ９では、処理対象の内容物候補領域Ｕ（ｉ）についてＲ値が飽和した領域なのかＲ値が非飽和である領域なのかを判別する。
【００８８】
具体的には、飽和判別部３８ｃは、処理対象の内容物候補領域Ｕ（ｉ）を構成する各画素のＲ値の平均値を算出し、算出したＲ値の平均値を予め設定される所定の閾値と比較することによってＲ値が飽和しているか否かを判定する。そして、Ｒ値が飽和している場合、すなわちＲ値の平均値が閾値以上の場合に、処理対象の内容物候補領域Ｕ（ｉ）を飽和領域と判別し、Ｒ値が飽和していない場合、すなわちＲ値の平均値が閾値未満の場合に、処理対象の内容物候補領域Ｕ（ｉ）を非飽和領域と判別する。
【００８９】
なお、本例では、内容物候補領域Ｕ（ｉ）のＲ値の平均値を用いて飽和領域であるのか非飽和領域であるのかを判別することとしたが、飽和性が判別できるのであればその手法は特に限定されない。
【００９０】
そして、ステップｅ９の結果、処理対象の内容物候補領域Ｕ（ｉ）が飽和領域ではなく、非飽和領域であると判別された場合には（ステップｅ１１：Ｎｏ）、処理対象の内容物候補領域Ｕ（ｉ）を内容物領域と判別し（ステップｅ１３）、その後後述するステップｅ１７に移行する。Ｒ値が飽和していないのであれば、調光変化等により明るくなった影響で黄色く映った領域ではないため、内容物領域と判別するのである。
【００９１】
一方、ステップｅ９において処理対象の内容物候補領域Ｕ（ｉ）を飽和領域と判別した場合には（ステップｅ１１：Ｙｅｓ）、続いて飽和領域判別部３９ｃが飽和領域判別処理を行い、飽和領域と判別された処理対象の内容物候補領域Ｕ（ｉ）が内容物領域であるか否かを判別する（ステップｅ１５）。
【００９２】
図１５は、飽和領域判別処理の詳細な処理手順を示すフローチャートである。図１５に示すように、飽和領域判別処理では、飽和領域判別部３９ｃは先ず、図５のステップｂ１と同様の処理を行って処理対象の内容物候補領域Ｕ（ｉ）の境界画素ｂ（ｊ）を検出する（ステップｆ１）。そして、飽和領域判別部３９ｃは、図５のステップｂ３と同様の処理を行い、境界画素ｂ（ｊ）毎に処理対象の内容物候補領域Ｕ（ｉ）の境界に対する法線ベクトルｎ（ｊ）を算出する（ステップｆ３）。
【００９３】
続いて、連続性判別部３９１ｃが、第２の特徴量の１つである隣接領域との連続性を判別する。隣接領域との連続性とは、処理対象の内容物候補領域Ｕ（ｉ）と、この処理対象の内容物候補領域Ｕ（ｉ）と隣接する領域（処理対象の内容物候補領域Ｕ（ｉ）とその境界を挟んで隣接する領域；以下、「隣接領域」と呼ぶ。）との連続性のことをいう。具体的には、連続性判別部３９１ｃは先ず、次式（１７）〜（２１）に従い、境界画素ｂ（ｊ）毎にエッジ強度Ｅ（ｊ）を算出する（ステップｆ５）。ここで、式（１７）〜（２１）において、ＩG（ｘ，ｙ）は、管腔内画像Ｉ（ｘ，ｙ）内の座標（ｘ1，ｙ1）および（ｘ2，ｙ2）で表される画素位置の画素のＧ値を表す。なお、ここでは、Ｇ値を用いたが、飽和しているＲ値以外を用いればよく、Ｂ値を用いることとしてもよい。また、ｋ3は、任意の定数である。また、ｘ1、ｘ2、ｙ1、およびｙ2は全て整数とし、算出時に四捨五入を行うことで整数化することとする。
【数９】
【００９４】
続いて、連続性判別部３９１ｃは、各境界画素ｂ（ｊ）のそれぞれについて算出したエッジ強度Ｅ（ｊ）の中から最小の値Ｅ＿ｍｉｎを選出する（ステップｆ７）。そして、連続性判別部３９１ｃは、選出したエッジ強度Ｅ（ｊ）の最小値Ｅ＿ｍｉｎを判定し、予め設定される所定の閾値以下の場合には（ステップｆ９：Ｙｅｓ）、処理対象の内容物候補領域Ｕ（ｉ）と隣接領域との間に連続性があると判別してステップｆ１１に移行する。一方、閾値より大きければ（ステップｆ９：Ｎｏ）、処理対象の内容物候補領域Ｕ（ｉ）と隣接領域との間に連続性がないと判別してステップｆ１３に移行する。
【００９５】
なお、本例では、境界画素ｂ（ｊ）毎にエッジ強度Ｅ（ｊ）を算出し、その最小値Ｅ＿ｍｉｎをもとに隣接領域との連続性を判別することとしたが、処理対象の内容物候補領域Ｕ（ｉ）と隣接領域との連続性を判別できるのであればその手法は特に限定されない。
【００９６】
そして、エッジ強度Ｅ（ｊ）の最小値Ｅ＿ｍｉｎが所定の閾値以下の場合に移行するステップｆ１１では、判別結果取得部３９２ｃが、隣接領域が内容物領域か否かの判別結果を取得することで処理対象の内容物候補領域Ｕ（ｉ）が内容物領域か否かを判別し、その後図１４のステップｅ１５にリターンしてステップｅ１７に移行する。すなわち、処理対象の内容物候補領域Ｕ（ｉ）と隣接領域との間に連続性があれば、処理対象の内容物候補領域Ｕ（ｉ）を隣接領域と同種の領域と判別する。本例では、図１４のステップｅ３において一次判別部１６ｃが黄色領域を内容物候補領域Ｕ（ｉ）と判別し、それ以外の領域を内容物の領域ではないと判別している。したがって、処理対象の内容物候補領域Ｕ（ｉ）の隣接領域は内容物以外の領域ではないと判別されており、ステップｆ１１の処理ではこの判別結果が取得され、処理対象の内容物候補領域Ｕ（ｉ）が内容物領域ではないと判別される。この場合には、処理対象の内容物候補領域Ｕ（ｉ）を、調光変化等により明るくなった影響で周囲の領域よりも黄色く映った黄色粘膜等の領域と判別するのである。
【００９７】
一方、エッジ強度Ｅ（ｊ）の最小値Ｅ＿ｍｉｎが所定の閾値より大きい場合に移行するステップｆ１３では、テクスチャ特徴量算出部３９３ｃが、処理対象の内容物候補領域Ｕ（ｉ）のテクスチャ特徴量を２つめの第２の特徴量として算出する。ここで、内容物領域と色が類似する黄色粘膜等の領域のうち、隣接領域との連続性がないと判別される場合としては、例えば小腸の内壁等のひだ状の部位が黄色く映った場合等が考えられる。このひだ状の部位は、規則性を有する模様として捉えることができる。これに対し、内容物領域は模様の規則性を有しない。そこで、このように内容物領域の模様には規則性がないのに対し、内容物領域と色が類似する黄色粘膜等の領域の中には、ひだ状の部位が黄色く映った場合等のように模様に規則性があるものが存在するという点に着目する。
【００９８】
すなわち、ステップｆ１３では、内容物候補領域が内容物領域であるか否かを判別するための基準として、上記したテクスチャ特徴量を算出する。テクスチャ特徴量とは、例えば領域内における画素値の繰り返しパターン、方向性、コントラスト等を数値化した値である。そして、このテクスチャ特徴量をもとに、互いに色が類似する黄色領域として現れる内容物領域と黄色粘膜等の領域とを識別する。
【００９９】
具体的には、例えば同時生起行列を用いてエントロピーを算出し、テクスチャ特徴量とする（参考：ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，１９５ｐ）。ここで、エントロピーは、領域内の画素値の乱雑さを示す値であるため、処理対象の内容物候補領域Ｕ（ｉ）が内容物領域の場合には、算出されるエントロピーの値は高くなる。
【０１００】
そして、テクスチャ特徴判別部３９４ｃが、ステップｆ１３で算出したテクスチャ特徴量をもとに、処理対象の内容物候補領域Ｕ（ｉ）が内容物領域であるか否かを判別する（ステップｆ１５）。具体的には、テクスチャ特徴判別部３９４ｃは、テクスチャ特徴量が予め設定される所定の閾値以上の場合に、処理対象の内容物候補領域Ｕ（ｉ）を内容物領域と判別する。その後、図１４のステップｅ１５にリターンし、その後ステップｅ１７に移行する。
【０１０１】
なお、本例では、テクスチャ特徴量としてエントロピーを算出することとしたが、非飽和領域が内容物領域なのか内容物領域以外の領域なのかを判別できればその手法は特に限定されない。例えば、処理対象の内容物候補領域Ｕ（ｉ）に属する画素値の分散を算出し、得られた値をもとに処理対象の内容物候補領域Ｕ（ｉ）が内容物領域であるか否かを判別することとしてもよい。
【０１０２】
そして、ステップｅ１７では、インデックスｉがＭａｘ＿ｉ未満か否かを判定する。Ｍａｘ＿ｉ未満であれば（ステップｅ１７：Ｙｅｓ）、インデックスｉをインクリメントして更新し（ステップｅ１９）、次の暗部候補領域Ｕ（ｉ）についてステップｅ１１〜ステップｅ１７の処理を行う。一方、インデックスｉがＭａｘ＿ｉ未満ではなく、全ての暗部候補領域を処理した場合には（ステップｅ１７：Ｎｏ）、本処理を終える。
【０１０３】
以上説明したように、実施の形態３では、先ず第１の特徴量である色特徴量をもとに管腔内画像から内容物候補領域を抽出することとした。そして、抽出した内容物候補領域が飽和領域であるのか非飽和領域であるのかを判別し、飽和領域と判別した内容物候補領域について色特徴量とは異なる第２の特徴量を算出することとした。具体的には、１つ目の第２の特徴量として隣接領域との連続性を用い、飽和領域と判別された内容物候補領域について隣接領域との間の連続性を判別することとした。また、２つ目の第２の特徴量としてテクスチャ特徴量を算出することとした。そして、内容物候補領域が飽和領域なのか非飽和領域なのかの判別結果、あるいは隣接領域との連続性やテクスチャ特徴量といった第２の特徴量をもとに、内容物候補領域が内容物領域か否かを判別して内容物領域を抽出することとした。この実施の形態３によれば、黄色領域として抽出した内容物候補領域のうち、内容物領域と色が類似する黄色粘膜の領域といった内容物領域以外の領域を除外して内容物領域を抽出することができる。したがって、不要領域の一例である内容物領域を適正に判別し、内容物領域を精度良く抽出することができるという効果を奏する。
【０１０４】
以上のようにして内容物領域が抽出された管腔内画像に対しては、実施の形態１で説明したのと同様にして異常部領域を抽出する処理等が実施され、適宜表示部１３に表示されて医師等のユーザに提示される。このとき、実施の形態３を適用することで抽出した内容物領域を除外して注目すべき領域を特定し、この注目すべき領域の中から異常部領域を抽出することができるので、高精度な異常部検出が実現できる。
【０１０５】
なお、上記した実施の形態３では、飽和領域と判別した内容物候補領域について先ず隣接領域との連続性を判別し、連続性があると判別した場合にその内容物候補領域を内容物領域ではないと判別することとした。一方、連続性がないと判別した内容物候補領域についてはテクスチャ特徴量を算出し、このテクスチャ特徴量をもとにその内容物候補領域が内容物領域か否かを判別することとした。これに対し、隣接領域との連続性のみを第２の特徴量として用い、内容物候補領域が内容物領域か否かを判別する構成としてもよい。また、テクスチャ特徴量のみを第２の特徴量として用い、内容物候補領域が内容物領域か否かを判別する構成としてもよい。あるいは、先にテクスチャ特徴量を用いた判別を行い、その後隣接領域との連続性を用いた判別を行う構成としてもよい。
【０１０６】
また、上記した実施の形態１の画像処理装置１、実施の形態２の画像処理装置１ｂ、および実施の形態３の画像処理装置１ｃは、予め用意されたプログラムをパソコンやワークステーション等のコンピュータシステムで実行することによって実現することができる。以下、各実施の形態１〜３で説明した画像処理装置１，１ｂ，１ｃと同様の機能を有し、画像処理プログラム１４１，１４１ｂ，１４１ｃを実行するコンピュータシステムについて説明する。
【０１０７】
図１６は、本変形例におけるコンピューターシステム４００の構成を示すシステム構成図であり、図１７は、このコンピューターシステム４００を構成する本体部４１０の構成を示すブロック図である。図１６に示すように、コンピューターシステム４００は、本体部４１０と、本体部４１０からの指示によって表示画面４２１に画像等の情報を表示するためのディスプレイ４２０と、このコンピューターシステム４００に種々の情報を入力するためのキーボード４３０と、ディスプレイ４２０の表示画面４２１上の任意の位置を指定するためのマウス４４０とを備える。
【０１０８】
また、このコンピューターシステム４００における本体部４１０は、図１６および図１７に示すように、ＣＰＵ４１１と、ＲＡＭ４１２と、ＲＯＭ４１３と、ハードディスクドライブ（ＨＤＤ）４１４と、ＣＤ−ＲＯＭ４６０を受け入れるＣＤ−ＲＯＭドライブ４１５と、ＵＳＢメモリ４７０を着脱可能に接続するＵＳＢポート４１６と、ディスプレイ４２０、キーボード４３０およびマウス４４０を接続するＩ／Ｏインターフェース４１７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ１に接続するためのＬＡＮインターフェース４１８とを備える。
【０１０９】
さらに、このコンピューターシステム４００には、インターネット等の公衆回線Ｎ３に接続するためのモデム４５０が接続されるとともに、ＬＡＮインターフェース４１８およびローカルエリアネットワークまたは広域エリアネットワークＮ１を介して、他のコンピューターシステムであるパソコン（ＰＣ）４８１、サーバ４８２、プリンタ４８３等が接続される。
【０１１０】
そして、このコンピューターシステム４００は、所定の記録媒体に記録された画像処理プログラム（例えば実施の形態１の画像処理プログラム１４１や実施の形態２の画像処理プログラム１４１ｂ、実施の形態３の画像処理プログラム１４１ｃ）を読み出して実行することで画像処理装置（例えば実施の形態１の画像処理装置１や実施の形態２の画像処理装置１ｂ、実施の形態３の画像処理装置１ｃ）を実現する。ここで、所定の記録媒体とは、ＣＤ−ＲＯＭ４６０やＵＳＢメモリ４７０の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピューターシステム４００の内外に備えられるＨＤＤ４１４やＲＡＭ４１２、ＲＯＭ４１３等の「固定用の物理媒体」、モデム４５０を介して接続される公衆回線Ｎ３や、他のコンピューターシステムであるＰＣ４８１やサーバ４８２が接続されるローカルエリアネットワークまたは広域エリアネットワークＮ１等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピューターシステム４００によって読み取り可能な画像処理プログラムを記録するあらゆる記録媒体を含む。
【０１１１】
すなわち、画像処理プログラムは、「可搬用の物理媒体」、「固定用の物理媒体」、「通信媒体」等の記録媒体にコンピューター読み取り可能に記録されるものであり、コンピューターシステム４００は、このような記録媒体から画像処理プログラムを読み出して実行することで画像処理装置を実現する。なお、画像処理プログラムは、コンピューターシステム４００によって実行されることに限定されるものではなく、他のコンピューターシステムであるＰＣ４８１やサーバ４８２が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。
【０１１２】
また、本発明は、上記した各実施の形態１〜３およびその変形例そのままに限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成してもよい。あるいは、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成してもよい。
【産業上の利用可能性】
【０１１３】
以上のように、本発明の画像処理装置、画像処理方法、および画像処理プログラムは、不要領域か否かを適正に判別し、管腔内画像から不要領域を精度良く抽出するのに適している。
【符号の説明】
【０１１４】
１，１ｂ，１ｃ 画像処理装置
１１ 画像取得部
１２ 入力部
１３ 表示部
１４，１４ｂ，１４ｃ 記録部
１４１，１４１ｂ，１４１ｃ 画像処理プログラム
１５，１５ｂ，１５ｃ 演算部
１６，１６ｂ，１６ｃ 一次判別部
１７，１７ｂ，１７ｃ 二次判別部
１７１ 境界特徴量算出部
１７２ エッジ強度算出部
１７３ 曲率算出部
１８ 境界特徴判別部
２８ｂ 勾配特徴量算出部
２８１ｂ 勾配方向算出部
２８２ｂ 集中度算出部
２９ｂ 勾配特徴判別部
３８ｃ 飽和判別部
３９ｃ 飽和領域判別部
３９１ｃ 連続性判別部
３９２ｃ 判別結果取得部
３９３ｃ テクスチャ特徴量算出部
３９４ｃ テクスチャ特徴判別部
１９ 制御部
【技術分野】
【０００１】
本発明は、管腔内を撮像した管腔内画像を処理する画像処理装置、画像処理方法、および画像処理プログラムに関するものである。
【背景技術】
【０００２】
従来から、患者等の被検者の体内に導入されて体内管腔内を観察する医用観察装置として、内視鏡が広く普及している。また、近年では、カプセル型の筐体内部に撮像装置やこの撮像装置によって撮像された画像データを体外に無線送信する通信装置等を備えた飲み込み型の内視鏡（カプセル内視鏡）が開発されている。これらの医用観察装置によって撮像された体内管腔内の画像（管腔内画像）の観察・診断は、多くの経験を必要とするため、医師による診断を補助する医療診断支援機能が望まれている。この機能を実現する画像認識技術の１つとして、管腔内画像から病変等の異常部を自動的に検出することで、重点的に診断すべき画像を示す技術が提案されている。
【０００３】
ところで、前述の異常部検出のためには、前処理として、観察・診断に不要な領域、例えばハレーションが発生した領域（ハレーション領域）や管腔の奥側が映った暗部領域、便等の内容物が映った内容物領域等の不要領域を抽出する処理を行い、粘膜等の注目すべき領域を特定する技術が重要となる。例えば、特許文献１には、暗部等の不要領域に影響されずに画像内における病変粘膜等の特定の生体粘膜の存在を検出する技術が開示されている。この特許文献１では、各画素の色情報をもとに不要領域に該当する画素を除外した上で、特定の生体粘膜の存在を検出している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１６６９３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記したように、特許文献１の技術では、色情報をもとに不要領域に該当する画素を除外している。しかしながら、例えばハレーション領域は、白色病変が映った領域等と色が類似しており、色情報ではこれらを判別することが困難である。同様に、暗部領域は凝固血が映った領域等と色が類似し、内容物領域は黄色く映った粘膜の領域等と色が類似しており、同様の問題が生じる。このため、注目すべき領域を誤って不要領域として抽出してしまうという問題があった。
【０００６】
本発明は、上記に鑑み為されたものであって、不要領域か否かを適正に判別し、管腔内画像から不要領域を精度良く抽出することができる画像処理装置、画像処理方法、および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記した課題を解決し、目的を達成するための、本発明のある態様にかかる画像処理装置は、管腔内画像から不要領域を抽出する画像処理装置であって、前記管腔内画像の色情報に基づく第１の特徴量をもとに、不要候補領域を判別する一次判別手段と、前記不要候補領域の前記第１の特徴量とは異なる第２の特徴量をもとに、前記不要候補領域が不要領域か否かを判別する二次判別手段と、を備えることを特徴とする。
【０００８】
この態様にかかる画像処理装置によれば、管腔内画像の色情報に基づく第１の特徴量をもとに、不要候補領域を判別することができる。そして、不要候補領域の第１の特徴量とは異なる第２の特徴量をもとに、不要候補領域が不要領域か否かを判別することができる。したがって、不要候補領域のうち、不要領域と色が類似する不要領域以外の領域を色情報に基づく第１の特徴量とは異なる第２の特徴量を用いて除外し、不要領域を抽出することができる。したがって、不要領域を適正に判別し、不要領域を精度良く抽出することができるという効果を奏する。
【０００９】
また、本発明の別の態様にかかる画像処理方法は、管腔内画像から不要領域を抽出する画像処理方法であって、前記管腔内画像の色情報に基づく第１の特徴量をもとに、不要候補領域を判別する一次判別工程と、前記不要候補領域の前記第１の特徴量とは異なる第２の特徴量をもとに、前記不要候補領域が不要領域か否かを判別する二次判別工程と、を含むことを特徴とする。
【００１０】
また、本発明の別の態様にかかる画像処理プログラムは、管腔内画像から不要領域を抽出するための画像処理プログラムであって、コンピュータに、前記管腔内画像の色情報に基づく第１の特徴量をもとに、不要候補領域を判別する一次判別ステップと、前記不要候補領域の前記第１の特徴量とは異なる第２の特徴量をもとに、前記不要候補領域が不要領域か否かを判別する二次判別ステップと、を実行させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、不要領域か否かを適正に判別し、管腔内画像から不要領域を精度良く抽出することができるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】図１は、実施の形態１における画像処理装置の機能構成を説明するブロック図である。
【図２】図２は、管腔内画像の一例を示す模式図である。
【図３】図３は、管腔内画像内の画素値の変化を説明する図である。
【図４】図４は、実施の形態１の画像処理装置が行う処理手順を示す全体フローチャートである。
【図５】図５は、境界特徴量算出処理の詳細な処理手順を示すフローチャートである。
【図６】図６は、ハレーション候補領域の一例を示す模式図である。
【図７】図７は、図６に示すハレーション候補領域の境界における法線方向ラインプロファイルの一例を示す図である。
【図８】図８は、実施の形態２における画像処理装置の機能構成を説明するブロック図である。
【図９】図９は、管腔内画像の一例を示す模式図である。
【図１０】図１０は、管腔内画像内の画素値の変化を説明する図である。
【図１１】図１１は、実施の形態２の画像処理装置が行う処理手順を示す全体フローチャートである。
【図１２】図１２は、勾配特徴量算出処理の詳細な処理手順を示すフローチャートである。
【図１３】図１３は、実施の形態３における画像処理装置の機能構成を説明するブロック図である。
【図１４】図１４は、実施の形態３の画像処理装置が行う処理手順を示す全体フローチャートである。
【図１５】図１５は、飽和領域判別処理の詳細な処理手順を示すフローチャートである。
【図１６】図１６は、本発明を適用したコンピューターシステムの構成を示すシステム構成図である。
【図１７】図１７は、図１６のコンピューターシステムを構成する本体部の構成を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照し、本発明の好適な実施の形態について説明する。なお、この実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
【００１４】
ここで、本実施の形態の画像処理装置は、例えば内視鏡やカプセル内視鏡等の医用観察装置が被検者の体内の消化管等の管腔内を撮像した画像（管腔内画像）を処理するものであり、具体的には、粘膜等の注目すべき領域を特定し、例えば病変領域や出血領域等の異常部領域を抽出する際の前処理として、管腔内画像から不要領域を抽出する処理を行うものである。不要領域とは、注目すべき領域とはならず、観察・診断に不要な領域のことをいい、例えばハレーション領域や暗部領域、内容物領域等を含む。ハレーション領域とは、ハレーションが発生した領域のことをいう。また、管腔内画像は、前述のように消化管等の管腔内を医用観察装置によって撮像した画像であるが、管腔の奥側は医用観察装置からの距離が遠く、照明光が届きにくいために暗い領域として現れる。暗部領域とは、この管腔の奥側が映った暗い領域のことをいう。内容物領域とは、管腔内を浮遊する便等の内容物が映った領域のことをいう。なお、本実施の形態において、医用観察装置によって撮像される管腔内画像は、例えば、各画素においてＲ（赤），Ｇ（緑），Ｂ（青）の各色成分に対する画素レベル（画素値）を持つカラー画像である。
【００１５】
（実施の形態１）
先ず、実施の形態１の画像処理装置の構成について説明する。図１は、実施の形態１の画像処理装置１の機能構成を説明するブロック図である。実施の形態１の画像処理装置１は、図１に示すように、画像取得部１１と、入力部１２と、表示部１３と、記録部１４と、演算部１５と、画像処理装置１全体の動作を制御する制御部１９とを備える。この画像処理装置１は、管腔内画像から不要領域としてハレーション領域を抽出する処理を行う。
【００１６】
画像取得部１１は、医用観察装置によって撮像された管腔内画像の画像データを取得するためのものであり、この画像取得部１１によって取得された画像データは記録部１４に記録され、演算部１５によって処理された後、必要に応じて適宜表示部１３に表示される。画像取得部１１は、例えば医用観察装置がカプセル内視鏡の場合等のように医用観察装置との間の画像データの受け渡しに可搬型の記録媒体が使用される場合であれば、この記録媒体を着脱自在に装着して保存された管腔内画像の画像データを読み出すリーダ装置で構成される。また、医用観察装置によって撮像された管腔内画像の画像データを保存しておくサーバを適所に設置し、このサーバから取得する構成の場合には、画像取得部１１を、サーバと接続するための通信装置等で構成する。そして、この画像取得部１１を介してサーバとデータ通信を行い、管腔内画像の画像データを取得する。また、この他、内視鏡等の医用観察装置からの画像信号をケーブルを介して入力するインターフェース装置等で構成してもよい。
【００１７】
入力部１２は、例えばキーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、入力信号を制御部１９に出力する。表示部１３は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現されるものであり、制御部１９の制御のもと、管腔内画像を含む各種画面を表示する。
【００１８】
記録部１４は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記録媒体およびその読取装置等によって実現されるものであり、画像処理装置１を動作させ、この画像処理装置１が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が記録される。例えば、記録部１４には、画像取得部１１によって取得された管腔内画像の画像データが記録される。また、記録部１４には、管腔内画像からハレーション領域を抽出するための画像処理プログラム１４１が記録される。
【００１９】
演算部１５は、ＣＰＵ等のハードウェアによって実現され、管腔内画像を処理してハレーション領域を抽出するための種々の演算処理を行う。この演算部１５は、一次判別手段としての一次判別部１６と、二次判別手段としての二次判別部１７とを含む。一次判別部１６は、管腔内画像の色情報に基づく第１の特徴量である色特徴量をもとに、不要候補領域の一例であるハレーション候補領域を判別する。二次判別部１７は、色特徴量とは異なる第２の特徴量をもとにハレーション候補領域がハレーション領域か否かを判別する。この二次判別部１７は、境界特徴量算出手段としての境界特徴量算出部１７１と、境界特徴判別手段としての境界特徴判別部１８とを備える。ここで、第２の特徴量は、ハレーション候補領域の境界近傍における画素値の変化をもとに算出される値である。例えば、実施の形態１では、境界特徴量算出部１７１が、第２の特徴量としてハレーション候補領域の境界の内側の領域と外側の領域とを含む領域の境界特徴量を算出する。この境界特徴量算出部１７１は、エッジ強度算出手段としてのエッジ強度算出部１７２と、曲率算出手段としての曲率算出部１７３とを備える。エッジ強度算出部１７２は、境界特徴量の１つとして、ハレーション候補領域の境界におけるエッジ強度を算出する。また、曲率算出部１７３は、別の境界特徴量として、ハレーション候補領域の境界における法線方向ラインプロファイルの曲率を算出する。境界特徴判別部１８は、境界特徴量すなわちエッジ強度および法線方向ラインプロファイルの曲率をもとに、ハレーション候補領域がハレーション領域か否かを判別する。
【００２０】
制御部１９は、ＣＰＵ等のハードウェアによって実現される。この制御部１９は、画像取得部１１によって取得された画像データや入力部１２から入力される入力信号、記録部１４に記録されるプログラムやデータ等をもとに画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。
【００２１】
次に、実施の形態１におけるハレーション領域の抽出原理について説明する。図２は、管腔内画像の模式図である。また、図３は、管腔内画像内の画素値の変化を説明する図であり、図２中に破線で示すラインＬ１１上の画素値の変化曲線Ｌ１３を示している。ハレーション領域は、管腔内画像において白色の領域として現れる。そこで、先ず、管腔内画像から白色領域をハレーション候補領域として抽出する。例えば、図２に示す管腔内画像では、白色領域である２つのハレーション候補領域４１，４２を示している。
【００２２】
ところで、前述のように、ハレーション候補領域は、管腔内画像の白色領域であるが、管腔内画像には、ハレーション領域以外にも例えば白色病変等の領域がハレーション領域と類似する白色の領域として現れる。この白色病変等の領域は、ハレーション領域とは異なり、観察・診断時に注目すべき領域となる。例えば、図２において、一方のハレーション候補領域４１がハレーション領域であり、他方のハレーション候補領域４２が白色病変の領域であったとする。
【００２３】
ここで、ハレーション領域は、撮影対象面からの反射光の減衰が少ない領域であり、このハレーション領域以外の領域より高い画素値を持つ。このため、ハレーション領域は、その境界を境にして内側の領域と外側の領域とで画素値の変動が大きいという特徴がある。例えば、図３に示す画素値の変化曲線Ｌ１３に示すように、図２に示すハレーション領域であるハレーション候補領域４１の境界部分４１１，４１２では画素値が急峻に変化しているのに対し、白色病変の領域であるハレーション候補領域４２の境界部分４２１，４２２では、画素値の変化が緩やかである。そこで、実施の形態１では、白色領域を抽出することで得たハレーション候補領域の境界付近の画素値の変化に着目することで、各ハレーション候補領域がハレーション領域か否かを判別してハレーション領域を抽出する。
【００２４】
次に、実施の形態１の画像処理装置１が行う具体的な処理手順について図４を参照して説明する。ここで説明する処理は、演算部１５が記録部１４に記録された画像処理プログラム１４１を実行することにより実現される。
【００２５】
図４に示すように、先ず演算部１５は、処理対象の管腔内画像Ｉ（ｘ，ｙ）を取得する（ステップａ１）。ここでの処理によって、演算部１５は、画像取得部１１によって取得され、記録部１４に記録された処理対象の管腔内画像Ｉ（ｘ，ｙ）を読み出して取得する。ｘおよびｙは、管腔内画像における各画素位置の座標を示す。
【００２６】
続いて、一次判別部１６は、ステップａ１で取得した管腔内画像Ｉ（ｘ，ｙ）の色特徴量をもとに、管腔内画像Ｉ（ｘ，ｙ）内のハレーション候補領域Ｕ（ｉ）を抽出する（ステップａ３）。前述のように、ハレーション領域は、管腔内画像において白色の領域として現れる。そこで、実施の形態１では、管腔内画像の色情報（Ｒ値，Ｇ値，Ｂ値）を色特徴量として用い、白色領域に属する画素の識別を行う。そして、識別した白色領域に属する画素について公知のラベリング処理を行うことで、ハレーション候補領域Ｕ（ｉ）を抽出する。
【００２７】
具体的な処理手順は先ず、管腔内画像Ｉ（ｘ，ｙ）を構成する画素毎にそのＲ値、Ｇ値、およびＢ値のそれぞれを予め設定される所定の閾値と比較し、Ｒ値、Ｇ値、およびＢ値の全ての値が閾値以上か否かを判定する。そして、Ｒ値、Ｇ値、およびＢ値の全ての値が閾値以上と判定した画素を白色領域に属する画素として仮の画素値「０」を割り当てる。一方、Ｒ値、Ｇ値、およびＢ値の中に１つでも閾値未満の値がある画素には仮の画素値「１」を割り当てる。
【００２８】
その後、以上のようにして管腔内画像Ｉ（ｘ，ｙ）の各画素に割り当てた仮の画素値をもとにラベリング処理を行い、ハレーション候補領域を抽出する（参考：ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，１８１ｐ）。すなわち先ず、仮の画素値が「０」である画素を連結成分毎（隣接する同一画素値の画素群）に区切る。そして、区切った画素群毎に各々を識別するための固有のラベルを付すことによって、仮の画素値が「０」である画素群のそれぞれをハレーション候補領域とする。このとき、一次判別部１６は、各ハレーション領域に各々を識別するためのインデックスｉを割り振る。例えば、インデックスｉとして各ハレーション領域に通し番号（１≦ｉ≦Ｍａｘ＿ｉ）を割り振り、ハレーション候補領域Ｕ（ｉ）とする。
【００２９】
なお、本例では、各画素の色情報（Ｒ値，Ｇ値，Ｂ値）を色特徴量として用い、ハレーション候補領域を抽出することとしたが、白色領域を抽出できればよく、その手法はこれに限定されるものではない。例えば、各画素のＲ値，Ｇ値，Ｂ値を色相（Hue），彩度（Saturation），輝度（Lightness／Luminance／Intensity）の３つの成分からなるＨＳＩ色空間に写像し、Ｉ値（輝度の値）を予め設定される所定の閾値と比較するようにしてもよい。そして、Ｉ値が閾値以上と判定した画素を白色領域に属する画素として識別した後、同様にラベリング処理を行ってハレーション候補領域を抽出することとしてもよい。
【００３０】
続いて、一次判別部１６は、管腔内画像Ｉ（ｘ，ｙ）中にハレーション候補領域が存在するか否かを判別する。ステップａ３の処理の結果ハレーション候補領域が抽出されなかった場合には、ハレーション候補領域が存在しないと判別し（ステップａ５：Ｎｏ）、本処理を終える。ステップａ３の処理の結果ハレーション候補領域が抽出された場合にはハレーション候補領域が存在すると判別し（ステップａ５：Ｙｅｓ）、ステップａ７に移行する。
【００３１】
そして、ステップａ７では、処理対象とするハレーション候補領域のインデックスｉを「１」に設定する。そして、境界特徴量算出部１７１が境界特徴量算出処理を実行し、処理対象のハレーション候補領域Ｕ（ｉ）の境界特徴量を算出する（ステップａ９）。
【００３２】
実施の形態１では、上記したように境界を境にして内側の領域と外側の領域とで画素値の変動が大きいというハレーション領域の特徴に基づき、ハレーション候補領域Ｕ（ｉ）がハレーション領域であるか否かを判別するための基準として境界特徴量を算出する。そして、この境界特徴量をもとに、互いに色が類似する白色領域として現れるハレーション領域と白色病変等の領域とを識別する。
【００３３】
図５は、境界特徴量算出処理の詳細な処理手順を示すフローチャートである。図５に示すように、境界特徴量算出処理では、境界特徴量算出部１７１は先ず、公知の輪郭追跡処理を行い、処理対象のハレーション候補領域Ｕ（ｉ）の境界に相当する画素（以下、「境界画素」と呼ぶ。）ｂ（ｊ）を検出する（ステップｂ１）。輪郭追跡とは、領域の外周部に相当する画素を順に追跡して境界画素を検出する手法であり、本例では、例えば８近傍で連結性を判断する輪郭追跡（参考：ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，１７８ｐ）を行う。ｊは、境界画素の各々を識別するためのインデックスであり、境界画素の隣接関係を示している。
【００３４】
そして、境界特徴量算出部１７１は、次式（１），（２）に従い、境界画素ｂ（ｊ）毎に処理対象のハレーション候補領域Ｕ（ｉ）の境界に対する法線ベクトルｎ（ｊ）を算出する（ステップｂ３）。ここで、式（１），（２）において、ｎx（ｊ）は、法線ベクトルｎ（ｊ）のｘ成分を表し、ｎy（ｊ）は、法線ベクトルｎ（ｊ）のｙ成分を表す。また、ｂx（ｊ）は、境界画素ｂ（ｊ）のｘ座標を表し、ｂy（ｊ）は、境界画素ｂ（ｊ）のｙ座標を表す。ここで、上記した輪郭追跡処理は、ハレーション候補領域Ｕ（ｉ）の外周部に相当する画素を右回りに追跡する処理であるため、法線ベクトルは、その向きがハレーション候補領域Ｕ（ｉ）の外側を向く向きで得られる。
【数１】
【００３５】
続いて、エッジ強度算出部１７２が、ステップｂ３で各境界画素ｂ（ｊ）のそれぞれについて算出した法線ベクトルｎ（ｊ）をもとに、処理対象のハレーション候補領域Ｕ（ｉ）の境界におけるエッジ強度を算出する（ステップｂ５）。具体的には、エッジ強度算出部１７２は、次式（３）〜（７）に従ってエッジ強度Ｅを算出する。ここで、式（３）〜（７）において、ＩR（ｘ，ｙ）は、管腔内画像Ｉ（ｘ，ｙ）内の座標（ｘ1，ｙ1）および（ｘ2，ｙ2）で表される画素位置の画素のＲ値を表す。また、Ｎｂは、境界画素ｂ（ｊ）の総数を表し、ｋ1は、任意の定数である。また、ｘ1、ｘ2、ｙ1、およびｙ2は全て整数とし、算出時に四捨五入を行うことで整数化することとする。
【数２】
【００３６】
なお、本例では、法線ベクトルを用いてハレーション候補領域Ｕ（ｉ）の境界におけるエッジ強度Ｅを算出することとしたが、エッジ強度の算出手法はこれに限定されるものではない。例えば、公知のソーベル（Sobel）フィルタ（参考：ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，１１６ｐ）を用いてエッジ強度を算出することとしてもよい。ソーベルフィルタとは、微分と平滑化を行う既知の手法である。また、本例では、全ての境界画素ｂ（ｊ）についてエッジ強度Ｅを算出することとしたが、エッジ強度Ｅを算出する境界上の部位は１箇所以上であればよい。すなわち、エッジ強度Ｅを算出する部位（どの境界画素ｂ（ｊ）についてエッジ強度Ｅを算出するのか）は適宜選択でき、選択した境界上の部位についてエッジ強度Ｅを算出することとしてよい。
【００３７】
続いて、曲率算出部１７３が、ステップｂ３で各境界画素ｂ（ｊ）のそれぞれについて算出した法線ベクトルｎ（ｊ）をもとに、処理対象のハレーション候補領域Ｕ（ｉ）の境界における法線方向ラインプロファイルの曲率を算出する（ステップｂ７）。
【００３８】
ここで、法線方向ラインプロファイルの曲率の算出原理について説明する。図６は、処理対象のハレーション候補領域Ｕ（ｉ）の一例を示す模式図であり、図６中において、ハレーション候補領域Ｕ（ｉ）の境界上に存在する境界画素ｂ（ｊ）の１つであるＰ２１について図５のステップｂ３で算出した法線ベクトルｎ（ｊ）であるＶ２を示している。また、図７は、横軸を図６中に破線で示すラインＬ２１上の画素位置とし、縦軸を該当する各画素の画素値として図６中のラインＬ２１に沿った画素値の変化曲線Ｌ２３を示したものである。実施の形態１において、法線方向ラインプロファイルとは、境界画素の法線方向に存在する画素の画素値の変化のことをいう。例えば、図６に示す境界画素Ｐ２１の法線方向ラインプロファイルは、法線ベクトルＶ２に沿ったラインＬ２１上の画素値の変化、すなわち図７に示す変化曲線Ｌ２３のことをいう。そして、図５のステップｂ７では、境界画素毎の法線方向ラインプロファイルの曲率をもとに、処理対象のハレーション候補領域Ｕ（ｉ）の境界における法線方向ラインプロファイルの曲率を算出する。個々の境界画素の法線方向ラインプロファイルの曲率は、例えば境界画素Ｐ２１に着目すれば、この境界画素Ｐ２１の画素値と、法線ベクトルＶ２に沿ったラインＬ２１上の画素であって、境界画素Ｐ２１を挟んで両側に存在する画素Ｐ２２，Ｐ２３の画素値とを用いて算出する。
【００３９】
実際には、図５のステップｂ７において曲率算出部１７３は、次式（８）に従って法線方向ラインプロファイルの曲率Ｍを算出する。ここで、式（８）中のｘ1，ｘ2，ｙ1，ｙ2は、上記した式（４）〜（７）で得られる値と同一の値である。
【数３】
【００４０】
そして、法線方向ラインプロファイルの曲率Ｍを算出したならば、図４のステップａ９にリターンし、その後ステップａ１１に移行する。この境界特徴量算出処理の結果、処理対象のハレーション候補領域Ｕ（ｉ）の境界特徴量として、この処理対象のハレーション候補領域Ｕ（ｉ）の境界におけるエッジ強度Ｅおよび法線方向ラインプロファイルの曲率Ｍが得られる。
【００４１】
なお、本例では、全ての境界画素ｂ（ｊ）について法線方向ラインプロファイルの曲率Ｍを算出することとしたが、法線方向ラインプロファイルの曲率Ｍを算出する境界上の部位は１箇所以上であればよい。すなわち、法線方向ラインプロファイルの曲率Ｍを算出する部位（どの境界画素ｂ（ｊ）について法線方向ラインプロファイルの曲率Ｍを算出するのか）は適宜選択でき、選択した境界上の部位について法線方向ラインプロファイルの曲率Ｍを算出することとしてよい。また、本例では、管腔内画像Ｉ（ｘ，ｙ）内の画素のＲ値ＩR（ｘ，ｙ）を用いてエッジ強度Ｅおよび法線方向ラインプロファイルの曲率Ｍを算出することとしたが、境界特徴量として算出する値やその算出手法はこれに限定されるものではない。すなわち、境界特徴量は、ハレーション候補領域Ｕ（ｉ）の境界における画素値の変動に応じた値であれば他の値であってもよく、他の算出手法で得た値であってもよい。
【００４２】
そして、ステップａ１１では、境界特徴判別部１８が、ステップａ９の境界特徴量算出処理の結果境界特徴量として算出されたエッジ強度Ｅおよび法線方向ラインプロファイルの曲率Ｍをもとに、処理対象のハレーション候補領域Ｕ（ｉ）がハレーション領域であるか否かを判別する。具体的には、境界特徴判別部１８は、図５のステップｂ５で算出したエッジ強度Ｅが予め設定される所定の閾値以上であり、且つ、図５のステップｂ７で算出した法線方向ラインプロファイルの曲率Ｍが予め設定される所定の閾値以上の場合に、処理対象のハレーション候補領域Ｕ（ｉ）をハレーション領域と判別する。
【００４３】
なお、本例では、ハレーション候補領域の境界におけるエッジ強度Ｅおよび法線方向ラインプロファイルの曲率Ｍを算出することとした。そして、算出したエッジ強度Ｅおよび法線方向ラインプロファイルの曲率Ｍを境界特徴量として用い、ハレーション候補領域がハレーション領域であるか否かを判別することとしたが、判別の手法はこれに限定されるものではない。すなわち、ハレーション候補領域の境界を境にした画素値の変動をもとにハレーション領域を判別できればよく、エッジ強度Ｅのみを境界特徴量として用い、ハレーション領域か否かの判別を行うこととしてもよい。あるいは、法線方向ラインプロファイルの曲率Ｍのみを境界特徴量として用い、ハレーション領域か否かの判別を行うこととしてもよい。また、エッジ強度Ｅや法線方向ラインプロファイルの曲率Ｍ以外の境界特徴量を用いてハレーション領域か否かの判別を行うこととしてもよい。
【００４４】
以上のように処理対象のハレーション候補領域Ｕ（ｉ）がハレーション領域か否かの判別を終えたならば、インデックスｉがＭａｘ＿ｉ未満か否かを判定する。そして、Ｍａｘ＿ｉ未満であれば（ステップａ１３：Ｙｅｓ）、インデックスｉをインクリメントして更新し（ステップａ１５）、次のハレーション候補領域Ｕ（ｉ）についてステップａ９〜ステップａ１３の処理を行う。一方、インデックスｉがＭａｘ＿ｉ未満ではなく、全てのハレーション候補領域を処理した場合には（ステップａ１３：Ｎｏ）、本処理を終える。
【００４５】
以上説明したように、実施の形態１では、先ず第１の特徴量である色特徴量をもとに管腔内画像からハレーション候補領域を抽出することとした。そして、抽出したハレーション候補領域のそれぞれについて色特徴量とは異なる第２の特徴量として境界特徴量を算出することとした。具体的には、境界を境にして内側の領域と外側の領域とで画素値の変動が大きいというハレーション領域の特徴に基づき、境界特徴量としてハレーション候補領域の境界におけるエッジ強度および法線方向ラインプロファイルの曲率を算出することとした。そして、この境界特徴量をもとに各ハレーション候補領域がハレーション領域か否かを判別してハレーション領域を抽出することとした。この実施の形態１によれば、白色領域として抽出したハレーション候補領域のうち、ハレーション領域と色が類似する白色病変の領域といったハレーション領域以外の領域を除外してハレーション領域を抽出することができる。したがって、不要領域の一例であるハレーション領域を適正に判別し、ハレーション領域を精度良く抽出することができるという効果を奏する。
【００４６】
以上のようにしてハレーション領域が抽出された管腔内画像に対しては、例えば病変領域や出血領域等の異常部領域を抽出する処理等が実施され、適宜表示部１３に表示されて医師等のユーザに提示される。具体的には、管腔内画像は、例えば異常部領域を他の領域と識別可能に表した画像として表示部１３に表示される。あるいは、異常部領域を含む管腔内画像が、診断すべき画像として表示部１３に表示される。このとき、実施の形態１を適用することで抽出したハレーション領域を除外して注目すべき領域を特定し、この注目すべき領域の中から異常部領域を抽出することができるので、高精度な異常部検出が実現できる。
【００４７】
（実施の形態２）
先ず、実施の形態２の画像処理装置の構成について説明する。図８は、実施の形態２の画像処理装置１ｂの機能構成を説明するブロック図である。なお、実施の形態１で説明した構成と同一の構成については、同一の符号を付する。実施の形態２の画像処理装置１ｂは、図８に示すように、画像取得部１１と、入力部１２と、表示部１３と、記録部１４ｂと、演算部１５ｂと、画像処理装置１ｂ全体の動作を制御する制御部１９とを備える。この画像処理装置１ｂは、管腔内画像から不要領域として暗部領域を抽出する処理を行う。
【００４８】
記録部１４ｂには、管腔内画像から暗部領域を検出するための画像処理プログラム１４１ｂが記録される。
【００４９】
また、演算部１５ｂは、一次判別手段としての一次判別部１６ｂと、二次判別手段としての二次判別部１７ｂとを含む。一次判別部１６ｂは、管腔内画像の色情報に基づく第１の特徴量である色特徴量をもとに、不要候補領域の一例である暗部候補領域を判別する。二次判別部１７ｂは、色特徴量とは異なる第２の特徴量をもとに暗部候補領域が暗部領域か否かを判別する。この二次判別部１７ｂは、勾配特徴量算出手段としての勾配特徴量算出部２８ｂと、勾配特徴判別手段としての勾配特徴判別部２９ｂとを備える。ここで、第２の特徴量は、暗部候補領域の境界近傍における画素値の変化をもとに算出される値である。例えば、実施の形態２では、勾配特徴量算出部２８ｂが、第２の特徴量として暗部候補領域の周囲領域（外側近傍）の勾配特徴量を算出する。この勾配特徴量算出部２８ｂは、勾配方向算出手段としての勾配方向算出部２８１ｂと、集中度算出手段としての集中度算出部２８２ｂとを備える。勾配方向算出部２８１ｂは、暗部候補領域の周囲における勾配方向を算出する。また、集中度算出部２８２ｂは、勾配方向算出部２８１ｂによって算出された暗部候補領域の周囲における勾配方向をもとに、勾配特徴量として勾配の集中度を算出する。勾配特徴判別部２９ｂは、勾配特徴量すなわち勾配の集中度をもとに、暗部候補領域が暗部領域か否かを判別する。
【００５０】
次に、実施の形態２における暗部領域の抽出原理について説明する。図９は、管腔内画像の模式図である。また、図１０は、管腔内画像内の画素値の変化を説明する図であり、図９中に破線で示すラインＬ３１上の画素値の変化曲線Ｌ３２を示している。医用観察装置が管腔の奥側を向いた状態で撮像した管腔内画像には、図９に示すように、管腔の奥が暗部領域５１として映る。この暗部領域５１は、管腔内画像において黒色の領域として現れる。そこで、先ず、管腔内画像から黒色領域を暗部候補領域として抽出する。例えば、図９に示す管腔内画像では、暗部候補領域として抽出される暗部領域５１およびこの暗部領域５１とは別の黒色領域５２を示している。
【００５１】
ところで、前述のように、暗部候補領域は、管腔内画像の黒色領域であるが、管腔内画像には、暗部領域以外にも例えば凝固血等の領域が暗部領域と類似する黒色の領域として現れる。この凝固血等の領域は、暗部領域とは異なり、観察・診断時に注目すべき領域となる。例えば、図９において、暗部領域５１とは別の黒色領域５２が凝固血等の領域であったとする。
【００５２】
ここで、暗部領域は、管腔内において撮影面に対して遠方の領域であるため、その周囲における画素値の変化が暗部領域の方へ傾いているという特徴がある。例えば、図１０に示す画素値の変化曲線Ｌ３２に示すように、図９の暗部領域５１の周囲（暗部領域５１の外側近傍）の領域５１１，５１２では、それぞれ図１０中に矢印Ａ５１１，Ａ５１２に示すようにその画素値が暗部領域５１の方向に向かって減少しており、暗部領域５１の周囲では、その全域で画素値の変化が暗部領域５１の方へ傾いている。これに対し、凝固血等の領域である黒色領域５２の場合、黒色領域５２の周囲（黒色領域５２の外側近傍）の例えば図９中に向かって右側の領域５２２では、図１０中に矢印Ａ５２２に示すようにその画素値が黒色領域５２の方向に向かって減少しているものの、左側の領域５２１では、矢印Ａ５２１に示すようにその画素値が黒色領域５２とは反対の方向に向かって減少している。すなわち、黒色領域５２の左側の領域５２１では、この黒色領域５２よりも左側に存在する暗部領域５１に向かって画素値が減少している。そこで、実施の形態２では、黒色領域を抽出することで得た暗部候補領域の周囲における画素値の変化、より詳細には画素値の変化が傾く方向に着目することで、各暗部候補領域が暗部領域か否かを判別して暗部領域を抽出する。
【００５３】
次に、実施の形態２の画像処理装置１ｂが行う具体的な処理手順について図１１を参照して説明する。ここで説明する処理は、演算部１５ｂが記録部１４ｂに格納された画像処理プログラム１４１ｂを実行することにより実現される。
【００５４】
図１１に示すように、先ず演算部１５ｂは、処理対象の管腔内画像Ｉ（ｘ，ｙ）を取得する（ステップｃ１）。ｘおよびｙは、管腔内画像における各画素位置の座標を示す。続いて、一次判別部１６ｂは、ステップｃ１で取得した管腔内画像Ｉ（ｘ，ｙ）の色特徴量をもとに、管腔内画像Ｉ（ｘ，ｙ）内の暗部候補領域Ｕ（ｉ）を抽出する（ステップｃ３）。前述のように、暗部領域は、管腔内画像において黒色の領域として現れる。そこで、実施の形態２では、管腔内画像の色情報（Ｒ値，Ｇ値，Ｂ値）を色特徴量として用い、黒色領域に属する画素の識別を行う。そして、識別した黒色領域に属する画素について公知のラベリング処理を行うことで、暗部候補領域Ｕ（ｉ）を抽出する。
【００５５】
具体的な処理手順は先ず、管腔内画像Ｉ（ｘ，ｙ）を構成する画素毎にそのＲ値、Ｇ値、およびＢ値のそれぞれを予め設定される所定の閾値と比較し、Ｒ値、Ｇ値、およびＢ値の全ての値が閾値以下か否かを判定する。そして、Ｒ値、Ｇ値、およびＢ値の全ての値が閾値以下と判定した画素を黒色領域に属する画素として仮の画素値「０」を割り当てる。一方、Ｒ値、Ｇ値、およびＢ値の中に１つでも閾値より大きい値がある画素には仮の画素値「１」を割り当てる。
【００５６】
その後、このようにして管腔内画像Ｉ（ｘ，ｙ）の各画素に割り当てた仮の画素値をもとにラベリング処理を行い、暗部候補領域を抽出する。ラベリング処理は、実施の形態１と同様にして行い、仮の画素値が「０」である画素を連結成分毎に区切った画素群のそれぞれを暗部候補領域とする。このとき、一次判別部１６ｂは、各暗部領域に各々を識別するためのインデックスｉとして通し番号（１≦ｉ≦Ｍａｘ＿ｉ）を割り振り、暗部候補領域Ｕ（ｉ）とする。
【００５７】
なお、本例では、各画素の色情報（Ｒ値，Ｇ値，Ｂ値）を色特徴量として用い、暗部候補領域を抽出することとしたが、黒色領域を抽出できればよく、その手法はこれに限定されるものではない。例えば、各画素のＲ値，Ｇ値，Ｂ値をＨＳＩ色空間に写像し、Ｉ値（輝度の値）を予め設定される所定の閾値と比較するようにしてもよい。そして、Ｉ値が閾値以下と判定した画素を黒色領域に属する画素として識別した後、同様にラベリング処理を行って暗部候補領域を抽出することとしてもよい。
【００５８】
続いて、一次判別部１６ｂは、管腔内画像Ｉ（ｘ，ｙ）の中に暗部候補領域が存在するか否かを判別する。ステップｃ３の処理の結果暗部候補領域が抽出されなかった場合には、暗部候補領域が存在しないと判別し（ステップｃ５：Ｎｏ）、本処理を終える。ステップｃ３の処理の結果暗部候補領域が抽出された場合には暗部候補領域が存在すると判別し（ステップｃ５：Ｙｅｓ）、ステップｃ７に移行する。
【００５９】
そして、ステップｃ７では、処理対象とする暗部候補領域のインデックスｉを「１」に設定する。そして、勾配特徴量算出部２８ｂが勾配特徴量算出処理を実行し、処理対象の暗部候補領域Ｕ（ｉ）の勾配特徴量を算出する（ステップｃ９）。
【００６０】
実施の形態２では、上記したように周囲における画素値の変化が暗部領域の方へ傾いているという暗部領域の特徴に基づき、暗部候補領域Ｕ（ｉ）が暗部領域であるか否かを判別するための基準として勾配特徴量を算出する。そして、この勾配特徴量をもとに、互いに色が類似する黒色領域として現れる暗部領域と凝固血等の領域とを識別する。
【００６１】
図１２は、勾配特徴量算出処理の詳細な処理手順を示すフローチャートである。図１２に示すように、勾配特徴量算出処理では、勾配特徴量算出部２８ｂは先ず、図５のステップｂ１と同様の処理を行って処理対象の暗部候補領域Ｕ（ｉ）の境界画素ｂ（ｊ）を検出する（ステップｄ１）。そして、勾配特徴量算出部２８ｂは、図５のステップｂ３と同様の処理を行い、境界画素ｂ（ｊ）毎に処理対象の暗部候補領域Ｕ（ｉ）の境界に対する法線ベクトルｎ（ｊ）を算出する（ステップｄ３）。
【００６２】
続いて、勾配特徴量算出部２８ｂは、ステップｄ３で各境界画素ｂ（ｊ）のそれぞれについて算出した法線ベクトルｎ（ｊ）をもとに、境界画素ｂ（ｊ）毎にその法線方向に存在する画素（以下、「法線方向画素」と呼ぶ。）Ａ（ｊ）を設定する（ステップｄ５）。実施の形態１で説明したように、ステップｄ３で算出される法線ベクトルｎ（ｊ）は、それぞれ処理対象の暗部候補領域Ｕ（ｉ）の外側を向く向きで得られる。ここでは、この法線ベクトルｎ（ｊ）の向き、すなわち、処理対象の暗部候補領域Ｕ（ｉ）の外側に所定距離離れた画素を法線方向画素Ａ（ｊ）として設定する。
【００６３】
実際には、ステップｄ５において勾配特徴量算出部２８ｂは、次式（９），（１０）に従って法線方向画素Ａ（ｊ）を設定する。ここで、式（９），（１０）において、Ａx（ｊ）は、法線方向画素Ａ（ｊ）のｘ座標を表し、Ａy（ｊ）は、法線方向画素Ａ（ｊ）のｙ座標を表す。また、ｋ2は、任意の定数である。また、Ａx（ｊ）およびＡy（ｊ）はそれぞれ整数とし、算出時に四捨五入を行うことで整数化することとする。
【数４】
【００６４】
続いて、勾配方向算出部２８１ｂが、ステップｄ５で各境界画素ｂ（ｊ）のそれぞれについて設定した法線方向画素Ａ（ｊ）毎に、勾配方向ベクトルｇ（ｊ）を算出する（ステップｄ７）。ここで、勾配方向ベクトルｇ（ｊ）とは、各法線方向画素Ａ（ｊ）を基点としたベクトルであって、法線方向画素Ａ（ｊ）の周囲において最も画素値が小さい画素の方向を指すベクトルである。
【００６５】
具体的には、勾配方向算出部２８１ｂは先ず、法線方向画素Ａ（ｊ）を中心とした３×３の画素範囲を構成する画素毎に、次式（１１）に従って差分値ｄ（ｘ，ｙ）を算出する。ここで、式（１１）において、ｘおよびｙは、法線方向画素Ａ（ｊ）を中心とした３×３の画素範囲内の画素の座標を示している。ただし、Ａx（ｊ）≠ｘであり、Ａy（ｊ）≠ｙである。
【数５】
【００６６】
そして、この法線方向画素Ａ（ｊ）を中心とした３×３の画素範囲内の画素の中から、差分値ｄ（ｘ，ｙ）が最も大きい画素を選出する。
【００６７】
その後、次式（１２），（１３）に従い、差分値ｄ（ｘ，ｙ）が最も大きいとして選出した画素の座標（ｍｘj，ｍｙj）と、法線方向画素Ａ（ｊ）の座標との差分を算出し、勾配方向ベクトルｇ（ｊ）とする。これにより、法線方向画素Ａ（ｊ）の周囲における勾配方向が得られる。ここで、式（１２），（１３）において、ｇx（ｊ）は、勾配方向ベクトルｇ（ｊ）のｘ成分を表し、ｇy（ｊ）は、勾配方向ベクトルｇ（ｊ）のｙ成分を表す。以上の処理を法線方向画素Ａ（ｊ）毎に行い、各法線方向画素Ａ（ｊ）のそれぞれについて勾配方向ベクトルｇ（ｊ）を算出する。
【数６】
【００６８】
なお、本例では、８方向に離散化された勾配方向ベクトルｇ（ｊ）を算出することで法線方向画素Ａ（ｊ）の周囲における勾配方向を取得することとしたが、法線方向画素Ａ（ｊ）の周囲における勾配方向が取得できればその算出手法は限定されない。例えば、次式（１４），（１５）に従って連続的な勾配方向ベクトルｇ（ｊ）を算出することで法線方向画素Ａ（ｊ）の周囲における勾配方向を取得することとしてもよい。ここで、式（１４），（１５）において、Δxｆ（Ａx（ｊ），Ａy（ｊ）)は、法線方向画素Ａ（ｊ）についてｘ方向に沿ってソーベルフィルタを適用した結果を表し、Δyｆ（Ａx（ｊ），Ａy（ｊ）)は、ｙ方向に沿ってソーベルフィルタを適用した結果を表している。本変形例のようにソーベルフィルタを適用して連続的な勾配方向ベクトルｇ（ｊ）を算出する手法によれば、上記したように８方向に離散化された勾配方向ベクトルｇ（ｊ）を算出する場合よりも高精度に勾配方向ベクトルｇ（ｊ）を算出することができる。
【数７】
【００６９】
そして、集中度算出部２８２ｂが、各境界画素ｂ（ｊ）のそれぞれについて算出した法線ベクトルｎ（ｊ）と勾配方向ベクトルｇ（ｊ）とをもとに、処理対象の暗部候補領域Ｕ（ｉ）の周囲における勾配の集中度を算出する（ステップｄ９）。勾配の集中度とは、勾配方向ベクトルｇ（ｊ）がどの程度暗部候補領域Ｕ（ｉ）を向いているのかを示す値である。上記したように、暗部領域の周囲では、その全域で画素値の変化が暗部領域の方へ傾く（暗部領域に向かって画素値が小さくなる）という特徴を有している。したがって、処理対象の暗部候補領域Ｕ（ｉ）が暗部領域であれば、境界画素ｂ（ｊ）毎に算出される勾配方向ベクトルｇ（ｊ）は、その向きが全体的に対応する境界画素ｂ（ｊ）の法線ベクトルｎ（ｊ）と逆向きに得られることとなる。そこで、ここでは、境界画素ｂ（ｊ）毎に法線ベクトルｎ（ｊ）と勾配方向ベクトルｇ（ｊ）との内積を求めることで、勾配の集中度を算出する。
【００７０】
実際には、ステップｄ９において集中度算出部２８２ｂは、次式（１６）に従って勾配の集中度Ｃを算出する。
【数８】
【００７１】
この式（１６）によれば、勾配の集中度Ｃは、各境界画素ｂ（ｊ）それぞれの法線ベクトルｎ（ｊ）と勾配方向ベクトルｇ（ｊ）との内積の平均に負の符号を乗じた値として得られる。したがって、勾配の集中度Ｃは、全ての境界画素ｂ（ｊ）の勾配方向ベクトルｇ（ｊ）の向きが対応する法線ベクトルｎ（ｊ）の向きと真逆を向いている場合、すなわち、全ての境界画素ｂ（ｊ）の勾配方向ベクトルｇ（ｊ）が完全に処理対象の暗部候補領域Ｕ（ｉ）の方を向いている場合に最も大きい値となる。
【００７２】
そして、勾配の集中度Ｃを算出したならば、図１１のステップｃ９にリターンし、その後ステップｃ１１に移行する。この勾配特徴量算出処理の結果、処理対象の暗部候補領域Ｕ（ｉ）の勾配特徴量として、この処理対象の暗部候補領域Ｕ（ｉ）の周囲における勾配の集中度Ｃが得られる。なお、本例では、暗部候補領域Ｕ（ｉ）の境界画素ｂ（ｊ）について算出した法線ベクトルｎ（ｊ）とこの境界画素ｂ（ｊ）の法線方向画素Ａ（ｊ）について算出した勾配方向ベクトルｇ（ｊ）との内積を集中度Ｃとして算出することとしたが、算出手法はこれに限定されるものではない。すなわち、暗部候補領域Ｕ（ｉ）の周囲における勾配の集中度が算出できれば他の算出手法で得た値であってもよい。
【００７３】
そして、図１１のステップｃ１１では、勾配特徴判別部２９ｂが、ステップｃ９の勾配特徴量算出処理の結果勾配特徴量として算出された勾配の集中度Ｃをもとに、処理対象の暗部候補領域Ｕ（ｉ）が暗部領域であるか否かを判別する。具体的には、勾配特徴判別部２９ｂは、勾配の集中度Ｃが予め設定される所定の閾値以上の場合に、処理対象の暗部候補領域Ｕ（ｉ）を暗部領域と判別する。
【００７４】
以上のように処理対象の暗部候補領域Ｕ（ｉ）が暗部領域か否かの判別を終えたならば、インデックスｉがＭａｘ＿ｉ未満か否かを判定する。そして、Ｍａｘ＿ｉ未満であれば（ステップｃ１３：Ｙｅｓ）、インデックスｉをインクリメントして更新し（ステップｃ１５）、次の暗部候補領域Ｕ（ｉ）についてステップｃ９〜ステップｃ１３の処理を行う。一方、インデックスｉがＭａｘ＿ｉ未満ではなく、全ての暗部候補領域を処理した場合には（ステップｃ１３：Ｎｏ）、本処理を終える。
【００７５】
以上説明したように、実施の形態２では、先ず第１の特徴量である色特徴量をもとに管腔内画像から暗部候補領域を抽出することとした。そして、抽出した暗部候補領域のそれぞれについて色特徴量とは異なる第２の特徴量として勾配特徴量を算出することとした。具体的には、暗部領域の周囲では画素値の変化が暗部領域の方へ傾く（暗部領域に向かって画素値が小さくなる）という暗部領域の特徴に基づき、勾配特徴量として勾配の集中度を算出することとした。そして、この勾配特徴量をもとに各暗部候補領域が暗部領域か否かを判別して暗部領域を抽出することとした。この実施の形態２によれば、黒色領域として抽出した暗部候補領域のうち、暗部領域と色が類似する凝固血等の領域といった暗部領域以外の領域を除外して暗部領域を抽出することができる。したがって、不要領域の一例である暗部領域を適正に判別し、暗部領域を精度良く抽出することができるという効果を奏する。
【００７６】
以上のようにして暗部領域が抽出された管腔内画像に対しては、実施の形態１で説明したのと同様にして異常部領域を抽出する処理等が実施され、適宜表示部１３に表示されて医師等のユーザに提示される。このとき、実施の形態２を適用することで抽出した暗部領域を除外して注目すべき領域を特定し、この注目すべき領域の中から異常部領域を抽出することができるので、高精度な異常部検出が実現できる。
【００７７】
（実施の形態３）
次に、実施の形態３について説明する。図１３は、実施の形態３の画像処理装置１ｃの機能構成を説明するブロック図である。なお、実施の形態１で説明した構成と同一の構成については、同一の符号を付する。実施の形態３の画像処理装置１ｃは、図１３に示すように、画像取得部１１と、入力部１２と、表示部１３と、記録部１４ｃと、演算部１５ｃと、画像処理装置１ｃ全体の動作を制御する制御部１９とを備える。この画像処理装置１ｃは、管腔内画像から不要領域として内容物領域を抽出する処理を行う。
【００７８】
記録部１４ｃには、管腔内画像から内容物領域を検出するための画像処理プログラム１４１ｃが記録される。
【００７９】
また、演算部１５ｃは、一次判別手段としての一次判別部１６ｃと、二次判別手段としての二次判別部１７ｃとを含む。一次判別部１６ｃは、管腔内画像の色情報に基づく第１の特徴量である色特徴量をもとに、不要候補領域の一例である内容物候補領域を判別する。二次判別部１７ｃは、色特徴量とは異なる第２の特徴量をもとに内容物候補領域が内容物領域か否かを判別する。この二次判別部１７ｃは、飽和判別手段としての飽和判別部３８ｃと、飽和領域判別手段としての飽和領域判別部３９ｃとを備える。飽和判別部３８ｃは、内容物候補領域に属する画素の画素値を用いて内容物候補領域が飽和領域であるのか非飽和領域であるのかを判別する。飽和領域判別部３９ｃは、飽和領域と判別された内容物候補領域が内容物領域か否か判別する機能部であり、連続性判別手段としての連続性判別部３９１ｃと、判別結果取得手段としての判別結果取得部３９２ｃと、テクスチャ特徴量算出手段としてのテクスチャ特徴量算出部３９３ｃと、テクスチャ特徴判別手段としてのテクスチャ特徴判別部３９４ｃとを備える。連続性判別部３９１ｃは、隣接領域との連続性を第２の特徴量として用い、飽和領域と判別された内容物候補領域と隣接する領域との連続性を判別する。判別結果取得部３９２ｃは、連続性判別部３９１ｃによる判別結果を取得する。テクスチャ特徴量算出部３９３ｃは、第２の特徴量として飽和領域と判別された内容物候補領域のテクスチャ特徴量を算出する。テクスチャ特徴判別部３９４ｃは、テクスチャ特徴量をもとに不要領域か否かを判別する。
【００８０】
図１４は、実施の形態３の画像処理装置１ｃが行う処理手順を示す全体フローチャートである。ここで説明する処理は、演算部１５ｃが記録部１４ｃに格納された画像処理プログラム１４１ｃを実行することにより実現される。
【００８１】
図１４に示すように、先ず演算部１５ｃは、処理対象の管腔内画像Ｉ（ｘ，ｙ）を取得する（ステップｅ１）。ｘおよびｙは、管腔内画像における各画素位置の座標を示す。続いて、一次判別部１６ｃは、ステップｅ１で取得した管腔内画像Ｉ（ｘ，ｙ）の色特徴量をもとに、管腔内画像Ｉ（ｘ，ｙ）内の内容物候補領域Ｕ（ｉ）を抽出する（ステップｅ３）。ここで、内容物領域は、管腔内画像において黄色の領域として現れる。そこで、実施の形態３では、管腔内画像の色情報（Ｒ値，Ｇ値，Ｂ値）を色特徴量として用い、黄色領域に属する画素の識別を行う。そして、識別した黄色領域に属する画素について公知のラベリング処理を行うことで、内容物候補領域Ｕ（ｉ）を抽出する。
【００８２】
具体的な処理手順は先ず、管腔内画像Ｉ（ｘ，ｙ）を構成する画素毎にそのＲ値、Ｇ値、およびＢ値からＧ／Ｒ値およびＢ／Ｇ値を算出する。続いて、算出したＧ／Ｒ値およびＢ／Ｇ値をＧ／Ｒ−Ｂ／Ｇ特徴空間に写像する。そして、写像した特徴点の座標が予め設定される所定の範囲内である画素を黄色領域に属する画素として仮の画素値「０」を割り当てる。一方、写像した特徴点の座標が前述の所定範囲外である画素には、仮の画素値「１」を割り当てる。
【００８３】
その後、このようにして管腔内画像Ｉ（ｘ，ｙ）の各画素に割り当てた仮の画素値をもとにラベリング処理を行い、内容物候補領域を抽出する。ラベリング処理は、実施の形態１と同様にして行い、仮の画素値が「０」である画素を連結成分毎に区切った画素群のそれぞれを内容物候補領域とする。このとき、一次判別部１６ｃは、各内容物領域に各々を識別するためのインデックスｉとして通し番号（１≦ｉ≦Ｍａｘ＿ｉ）を割り振り、内容物候補領域Ｕ（ｉ）とする。
【００８４】
なお、本例では、各画素の色情報（Ｒ値，Ｇ値，Ｂ値）から求めたＧ／Ｒ値，Ｂ／Ｇ値を色特徴量として用い、内容物候補領域を抽出することとしたが、黄色領域を抽出できればよく、その手法は限定されるものではない。例えば、各画素のＲ値，Ｇ値，Ｂ値をＨＳＩ色空間に写像し、Ｈ値（色相の値）が予め設定される所定の範囲内に含まれるか否かを判定するようにしてもよい。そして、所定の範囲内に含まれる画素を黄色領域に属する画素として識別した後、同様にラベリング処理を行って暗部候補領域を抽出することとしてもよい。
【００８５】
続いて、一次判別部１６ｃは、管腔内画像Ｉ（ｘ，ｙ）の中に内容物候補領域が存在するか否かを判別する。そして、ステップｅ３の処理の結果内容物候補領域が抽出されなかった場合には、内容物候補領域が存在しないと判別し（ステップｅ５：Ｎｏ）、本処理を終える。ステップｅ３の処理の結果内容物候補領域が抽出された場合には内容物候補領域が存在すると判別し（ステップｅ５：Ｙｅｓ）、ステップｅ７に移行する。
【００８６】
そして、ステップｅ７では、処理対象とする内容物候補領域のインデックスｉを「１」に設定する。そして先ず、飽和判別部３８ｃが、処理対象の内容物候補領域Ｕ（ｉ）に属する画素のＲ値をもとに、この処理対象の内容物候補領域Ｕ（ｉ）が飽和領域なのか非飽和領域なのかを判別する（ステップｅ９）。
【００８７】
体内の管腔内を撮像した管腔内画像では、Ｒ，Ｇ，Ｂの各値を比較すると通常Ｒ値が最も大きい値となる。このため、調光変化等によって管腔内が明るくなった場合に、最初に飽和するのはＲ値である。すなわち、Ｒ値は、ある明るさ以上になるとその値が変化しなくなる。そして、このようにＲ値が飽和すると、Ｒ，Ｇ，Ｂの各値のバランスが崩れ、本来の色よりも黄色く映る傾向がある。このように黄色く映った黄色粘膜の領域は、内容物領域とは異なり、観察・診断時に注目すべき領域となり得る。そこで先ず、ステップｅ９では、処理対象の内容物候補領域Ｕ（ｉ）についてＲ値が飽和した領域なのかＲ値が非飽和である領域なのかを判別する。
【００８８】
具体的には、飽和判別部３８ｃは、処理対象の内容物候補領域Ｕ（ｉ）を構成する各画素のＲ値の平均値を算出し、算出したＲ値の平均値を予め設定される所定の閾値と比較することによってＲ値が飽和しているか否かを判定する。そして、Ｒ値が飽和している場合、すなわちＲ値の平均値が閾値以上の場合に、処理対象の内容物候補領域Ｕ（ｉ）を飽和領域と判別し、Ｒ値が飽和していない場合、すなわちＲ値の平均値が閾値未満の場合に、処理対象の内容物候補領域Ｕ（ｉ）を非飽和領域と判別する。
【００８９】
なお、本例では、内容物候補領域Ｕ（ｉ）のＲ値の平均値を用いて飽和領域であるのか非飽和領域であるのかを判別することとしたが、飽和性が判別できるのであればその手法は特に限定されない。
【００９０】
そして、ステップｅ９の結果、処理対象の内容物候補領域Ｕ（ｉ）が飽和領域ではなく、非飽和領域であると判別された場合には（ステップｅ１１：Ｎｏ）、処理対象の内容物候補領域Ｕ（ｉ）を内容物領域と判別し（ステップｅ１３）、その後後述するステップｅ１７に移行する。Ｒ値が飽和していないのであれば、調光変化等により明るくなった影響で黄色く映った領域ではないため、内容物領域と判別するのである。
【００９１】
一方、ステップｅ９において処理対象の内容物候補領域Ｕ（ｉ）を飽和領域と判別した場合には（ステップｅ１１：Ｙｅｓ）、続いて飽和領域判別部３９ｃが飽和領域判別処理を行い、飽和領域と判別された処理対象の内容物候補領域Ｕ（ｉ）が内容物領域であるか否かを判別する（ステップｅ１５）。
【００９２】
図１５は、飽和領域判別処理の詳細な処理手順を示すフローチャートである。図１５に示すように、飽和領域判別処理では、飽和領域判別部３９ｃは先ず、図５のステップｂ１と同様の処理を行って処理対象の内容物候補領域Ｕ（ｉ）の境界画素ｂ（ｊ）を検出する（ステップｆ１）。そして、飽和領域判別部３９ｃは、図５のステップｂ３と同様の処理を行い、境界画素ｂ（ｊ）毎に処理対象の内容物候補領域Ｕ（ｉ）の境界に対する法線ベクトルｎ（ｊ）を算出する（ステップｆ３）。
【００９３】
続いて、連続性判別部３９１ｃが、第２の特徴量の１つである隣接領域との連続性を判別する。隣接領域との連続性とは、処理対象の内容物候補領域Ｕ（ｉ）と、この処理対象の内容物候補領域Ｕ（ｉ）と隣接する領域（処理対象の内容物候補領域Ｕ（ｉ）とその境界を挟んで隣接する領域；以下、「隣接領域」と呼ぶ。）との連続性のことをいう。具体的には、連続性判別部３９１ｃは先ず、次式（１７）〜（２１）に従い、境界画素ｂ（ｊ）毎にエッジ強度Ｅ（ｊ）を算出する（ステップｆ５）。ここで、式（１７）〜（２１）において、ＩG（ｘ，ｙ）は、管腔内画像Ｉ（ｘ，ｙ）内の座標（ｘ1，ｙ1）および（ｘ2，ｙ2）で表される画素位置の画素のＧ値を表す。なお、ここでは、Ｇ値を用いたが、飽和しているＲ値以外を用いればよく、Ｂ値を用いることとしてもよい。また、ｋ3は、任意の定数である。また、ｘ1、ｘ2、ｙ1、およびｙ2は全て整数とし、算出時に四捨五入を行うことで整数化することとする。
【数９】
【００９４】
続いて、連続性判別部３９１ｃは、各境界画素ｂ（ｊ）のそれぞれについて算出したエッジ強度Ｅ（ｊ）の中から最小の値Ｅ＿ｍｉｎを選出する（ステップｆ７）。そして、連続性判別部３９１ｃは、選出したエッジ強度Ｅ（ｊ）の最小値Ｅ＿ｍｉｎを判定し、予め設定される所定の閾値以下の場合には（ステップｆ９：Ｙｅｓ）、処理対象の内容物候補領域Ｕ（ｉ）と隣接領域との間に連続性があると判別してステップｆ１１に移行する。一方、閾値より大きければ（ステップｆ９：Ｎｏ）、処理対象の内容物候補領域Ｕ（ｉ）と隣接領域との間に連続性がないと判別してステップｆ１３に移行する。
【００９５】
なお、本例では、境界画素ｂ（ｊ）毎にエッジ強度Ｅ（ｊ）を算出し、その最小値Ｅ＿ｍｉｎをもとに隣接領域との連続性を判別することとしたが、処理対象の内容物候補領域Ｕ（ｉ）と隣接領域との連続性を判別できるのであればその手法は特に限定されない。
【００９６】
そして、エッジ強度Ｅ（ｊ）の最小値Ｅ＿ｍｉｎが所定の閾値以下の場合に移行するステップｆ１１では、判別結果取得部３９２ｃが、隣接領域が内容物領域か否かの判別結果を取得することで処理対象の内容物候補領域Ｕ（ｉ）が内容物領域か否かを判別し、その後図１４のステップｅ１５にリターンしてステップｅ１７に移行する。すなわち、処理対象の内容物候補領域Ｕ（ｉ）と隣接領域との間に連続性があれば、処理対象の内容物候補領域Ｕ（ｉ）を隣接領域と同種の領域と判別する。本例では、図１４のステップｅ３において一次判別部１６ｃが黄色領域を内容物候補領域Ｕ（ｉ）と判別し、それ以外の領域を内容物の領域ではないと判別している。したがって、処理対象の内容物候補領域Ｕ（ｉ）の隣接領域は内容物以外の領域ではないと判別されており、ステップｆ１１の処理ではこの判別結果が取得され、処理対象の内容物候補領域Ｕ（ｉ）が内容物領域ではないと判別される。この場合には、処理対象の内容物候補領域Ｕ（ｉ）を、調光変化等により明るくなった影響で周囲の領域よりも黄色く映った黄色粘膜等の領域と判別するのである。
【００９７】
一方、エッジ強度Ｅ（ｊ）の最小値Ｅ＿ｍｉｎが所定の閾値より大きい場合に移行するステップｆ１３では、テクスチャ特徴量算出部３９３ｃが、処理対象の内容物候補領域Ｕ（ｉ）のテクスチャ特徴量を２つめの第２の特徴量として算出する。ここで、内容物領域と色が類似する黄色粘膜等の領域のうち、隣接領域との連続性がないと判別される場合としては、例えば小腸の内壁等のひだ状の部位が黄色く映った場合等が考えられる。このひだ状の部位は、規則性を有する模様として捉えることができる。これに対し、内容物領域は模様の規則性を有しない。そこで、このように内容物領域の模様には規則性がないのに対し、内容物領域と色が類似する黄色粘膜等の領域の中には、ひだ状の部位が黄色く映った場合等のように模様に規則性があるものが存在するという点に着目する。
【００９８】
すなわち、ステップｆ１３では、内容物候補領域が内容物領域であるか否かを判別するための基準として、上記したテクスチャ特徴量を算出する。テクスチャ特徴量とは、例えば領域内における画素値の繰り返しパターン、方向性、コントラスト等を数値化した値である。そして、このテクスチャ特徴量をもとに、互いに色が類似する黄色領域として現れる内容物領域と黄色粘膜等の領域とを識別する。
【００９９】
具体的には、例えば同時生起行列を用いてエントロピーを算出し、テクスチャ特徴量とする（参考：ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，１９５ｐ）。ここで、エントロピーは、領域内の画素値の乱雑さを示す値であるため、処理対象の内容物候補領域Ｕ（ｉ）が内容物領域の場合には、算出されるエントロピーの値は高くなる。
【０１００】
そして、テクスチャ特徴判別部３９４ｃが、ステップｆ１３で算出したテクスチャ特徴量をもとに、処理対象の内容物候補領域Ｕ（ｉ）が内容物領域であるか否かを判別する（ステップｆ１５）。具体的には、テクスチャ特徴判別部３９４ｃは、テクスチャ特徴量が予め設定される所定の閾値以上の場合に、処理対象の内容物候補領域Ｕ（ｉ）を内容物領域と判別する。その後、図１４のステップｅ１５にリターンし、その後ステップｅ１７に移行する。
【０１０１】
なお、本例では、テクスチャ特徴量としてエントロピーを算出することとしたが、非飽和領域が内容物領域なのか内容物領域以外の領域なのかを判別できればその手法は特に限定されない。例えば、処理対象の内容物候補領域Ｕ（ｉ）に属する画素値の分散を算出し、得られた値をもとに処理対象の内容物候補領域Ｕ（ｉ）が内容物領域であるか否かを判別することとしてもよい。
【０１０２】
そして、ステップｅ１７では、インデックスｉがＭａｘ＿ｉ未満か否かを判定する。Ｍａｘ＿ｉ未満であれば（ステップｅ１７：Ｙｅｓ）、インデックスｉをインクリメントして更新し（ステップｅ１９）、次の暗部候補領域Ｕ（ｉ）についてステップｅ１１〜ステップｅ１７の処理を行う。一方、インデックスｉがＭａｘ＿ｉ未満ではなく、全ての暗部候補領域を処理した場合には（ステップｅ１７：Ｎｏ）、本処理を終える。
【０１０３】
以上説明したように、実施の形態３では、先ず第１の特徴量である色特徴量をもとに管腔内画像から内容物候補領域を抽出することとした。そして、抽出した内容物候補領域が飽和領域であるのか非飽和領域であるのかを判別し、飽和領域と判別した内容物候補領域について色特徴量とは異なる第２の特徴量を算出することとした。具体的には、１つ目の第２の特徴量として隣接領域との連続性を用い、飽和領域と判別された内容物候補領域について隣接領域との間の連続性を判別することとした。また、２つ目の第２の特徴量としてテクスチャ特徴量を算出することとした。そして、内容物候補領域が飽和領域なのか非飽和領域なのかの判別結果、あるいは隣接領域との連続性やテクスチャ特徴量といった第２の特徴量をもとに、内容物候補領域が内容物領域か否かを判別して内容物領域を抽出することとした。この実施の形態３によれば、黄色領域として抽出した内容物候補領域のうち、内容物領域と色が類似する黄色粘膜の領域といった内容物領域以外の領域を除外して内容物領域を抽出することができる。したがって、不要領域の一例である内容物領域を適正に判別し、内容物領域を精度良く抽出することができるという効果を奏する。
【０１０４】
以上のようにして内容物領域が抽出された管腔内画像に対しては、実施の形態１で説明したのと同様にして異常部領域を抽出する処理等が実施され、適宜表示部１３に表示されて医師等のユーザに提示される。このとき、実施の形態３を適用することで抽出した内容物領域を除外して注目すべき領域を特定し、この注目すべき領域の中から異常部領域を抽出することができるので、高精度な異常部検出が実現できる。
【０１０５】
なお、上記した実施の形態３では、飽和領域と判別した内容物候補領域について先ず隣接領域との連続性を判別し、連続性があると判別した場合にその内容物候補領域を内容物領域ではないと判別することとした。一方、連続性がないと判別した内容物候補領域についてはテクスチャ特徴量を算出し、このテクスチャ特徴量をもとにその内容物候補領域が内容物領域か否かを判別することとした。これに対し、隣接領域との連続性のみを第２の特徴量として用い、内容物候補領域が内容物領域か否かを判別する構成としてもよい。また、テクスチャ特徴量のみを第２の特徴量として用い、内容物候補領域が内容物領域か否かを判別する構成としてもよい。あるいは、先にテクスチャ特徴量を用いた判別を行い、その後隣接領域との連続性を用いた判別を行う構成としてもよい。
【０１０６】
また、上記した実施の形態１の画像処理装置１、実施の形態２の画像処理装置１ｂ、および実施の形態３の画像処理装置１ｃは、予め用意されたプログラムをパソコンやワークステーション等のコンピュータシステムで実行することによって実現することができる。以下、各実施の形態１〜３で説明した画像処理装置１，１ｂ，１ｃと同様の機能を有し、画像処理プログラム１４１，１４１ｂ，１４１ｃを実行するコンピュータシステムについて説明する。
【０１０７】
図１６は、本変形例におけるコンピューターシステム４００の構成を示すシステム構成図であり、図１７は、このコンピューターシステム４００を構成する本体部４１０の構成を示すブロック図である。図１６に示すように、コンピューターシステム４００は、本体部４１０と、本体部４１０からの指示によって表示画面４２１に画像等の情報を表示するためのディスプレイ４２０と、このコンピューターシステム４００に種々の情報を入力するためのキーボード４３０と、ディスプレイ４２０の表示画面４２１上の任意の位置を指定するためのマウス４４０とを備える。
【０１０８】
また、このコンピューターシステム４００における本体部４１０は、図１６および図１７に示すように、ＣＰＵ４１１と、ＲＡＭ４１２と、ＲＯＭ４１３と、ハードディスクドライブ（ＨＤＤ）４１４と、ＣＤ−ＲＯＭ４６０を受け入れるＣＤ−ＲＯＭドライブ４１５と、ＵＳＢメモリ４７０を着脱可能に接続するＵＳＢポート４１６と、ディスプレイ４２０、キーボード４３０およびマウス４４０を接続するＩ／Ｏインターフェース４１７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ１に接続するためのＬＡＮインターフェース４１８とを備える。
【０１０９】
さらに、このコンピューターシステム４００には、インターネット等の公衆回線Ｎ３に接続するためのモデム４５０が接続されるとともに、ＬＡＮインターフェース４１８およびローカルエリアネットワークまたは広域エリアネットワークＮ１を介して、他のコンピューターシステムであるパソコン（ＰＣ）４８１、サーバ４８２、プリンタ４８３等が接続される。
【０１１０】
そして、このコンピューターシステム４００は、所定の記録媒体に記録された画像処理プログラム（例えば実施の形態１の画像処理プログラム１４１や実施の形態２の画像処理プログラム１４１ｂ、実施の形態３の画像処理プログラム１４１ｃ）を読み出して実行することで画像処理装置（例えば実施の形態１の画像処理装置１や実施の形態２の画像処理装置１ｂ、実施の形態３の画像処理装置１ｃ）を実現する。ここで、所定の記録媒体とは、ＣＤ−ＲＯＭ４６０やＵＳＢメモリ４７０の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピューターシステム４００の内外に備えられるＨＤＤ４１４やＲＡＭ４１２、ＲＯＭ４１３等の「固定用の物理媒体」、モデム４５０を介して接続される公衆回線Ｎ３や、他のコンピューターシステムであるＰＣ４８１やサーバ４８２が接続されるローカルエリアネットワークまたは広域エリアネットワークＮ１等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピューターシステム４００によって読み取り可能な画像処理プログラムを記録するあらゆる記録媒体を含む。
【０１１１】
すなわち、画像処理プログラムは、「可搬用の物理媒体」、「固定用の物理媒体」、「通信媒体」等の記録媒体にコンピューター読み取り可能に記録されるものであり、コンピューターシステム４００は、このような記録媒体から画像処理プログラムを読み出して実行することで画像処理装置を実現する。なお、画像処理プログラムは、コンピューターシステム４００によって実行されることに限定されるものではなく、他のコンピューターシステムであるＰＣ４８１やサーバ４８２が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。
【０１１２】
また、本発明は、上記した各実施の形態１〜３およびその変形例そのままに限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成してもよい。あるいは、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成してもよい。
【産業上の利用可能性】
【０１１３】
以上のように、本発明の画像処理装置、画像処理方法、および画像処理プログラムは、不要領域か否かを適正に判別し、管腔内画像から不要領域を精度良く抽出するのに適している。
【符号の説明】
【０１１４】
１，１ｂ，１ｃ 画像処理装置
１１ 画像取得部
１２ 入力部
１３ 表示部
１４，１４ｂ，１４ｃ 記録部
１４１，１４１ｂ，１４１ｃ 画像処理プログラム
１５，１５ｂ，１５ｃ 演算部
１６，１６ｂ，１６ｃ 一次判別部
１７，１７ｂ，１７ｃ 二次判別部
１７１ 境界特徴量算出部
１７２ エッジ強度算出部
１７３ 曲率算出部
１８ 境界特徴判別部
２８ｂ 勾配特徴量算出部
２８１ｂ 勾配方向算出部
２８２ｂ 集中度算出部
２９ｂ 勾配特徴判別部
３８ｃ 飽和判別部
３９ｃ 飽和領域判別部
３９１ｃ 連続性判別部
３９２ｃ 判別結果取得部
３９３ｃ テクスチャ特徴量算出部
３９４ｃ テクスチャ特徴判別部
１９ 制御部
【特許請求の範囲】
【請求項１】
管腔内画像から不要領域を抽出する画像処理装置であって、
前記管腔内画像の色情報に基づく第１の特徴量をもとに、不要候補領域を判別する一次判別手段と、
前記不要候補領域の前記第１の特徴量とは異なる第２の特徴量をもとに、前記不要候補領域が不要領域か否かを判別する二次判別手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記第２の特徴量は、前記不要候補領域の境界近傍における画素値の変化をもとに算出される値であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記二次判別手段は、
前記不要候補領域の境界の内側の領域と外側の領域とを含む領域の境界特徴量を前記第２の特徴量として算出する境界特徴量算出手段と、
前記境界特徴量をもとに、前記不要候補領域が不要領域か否かを判別する境界特徴判別手段と、
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記境界特徴量算出手段は、前記不要候補領域の境界におけるエッジ強度を前記境界特徴量として算出するエッジ強度算出手段を備えることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記エッジ強度算出手段は、前記不要候補領域の境界上の複数の部位で前記エッジ強度を算出することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記境界特徴量算出手段は、前記不要候補領域の境界の法線方向に沿った画素値の変化曲線の曲率を前記境界特徴量として算出する曲率算出手段を備えることを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記曲率算出手段は、前記不要候補領域の境界上の複数の部位で前記曲率を算出することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記二次判別手段は、
前記不要候補領域の周囲領域の勾配特徴量を前記第２の特徴量として算出する勾配特徴量算出手段と、
前記勾配特徴量をもとに、前記不要候補領域が不要領域か否かを判別する勾配特徴判別手段と、
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記勾配特徴量算出手段は、
前記不要候補領域の周囲における勾配方向を算出する勾配方向算出手段と、
前記勾配方向がどの程度前記不要候補領域の方を向いているかを示す値である集中度を前記第２の特徴量として算出する集中度算出手段と、
を備えることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記二次判別手段は、
前記不要候補領域内の画素の画素値の大きさをもとに、前記不要候補領域が飽和領域なのか非飽和領域なのかを判別する飽和判別手段と、
前記飽和判別手段によって飽和領域と判別された前記不要候補領域について、前記第２の特徴量をもとに不要領域か否かを判別する飽和領域判別手段と、
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記飽和判別手段は、前記不要候補領域に属する画素の所定の色成分の値が所定の閾値以上の場合に前記不要候補領域を前記飽和領域と判別することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記飽和領域判別手段は、
前記飽和領域と判別された前記不要候補領域のテクスチャ特徴量を第２の特徴量として算出するテクスチャ特徴量算出手段と、
前記テクスチャ特徴量をもとに、前記不要候補領域が不要領域か否かを判別するテクスチャ特徴判別手段と、
を備えることを特徴とする請求項１０に記載の画像処理装置。
【請求項１３】
前記飽和領域判別手段は、
前記飽和領域と判別された前記不要候補領域について、該不要候補領域と隣接する領域との連続性を前記第２の特徴量として判別する連続性判別手段と、
前記連続性判別手段によって連続性があると判別された場合に、前記隣接する領域の判別結果を取得することで前記不要候補領域が不要領域か否かを判別する判別結果取得手段と、
を備えることを特徴とする請求項１０に記載の画像処理装置
【請求項１４】
前記飽和領域判別手段は、
前記連続性判別手段によって連続性がないと判別された場合に、前記飽和領域と判別された前記不要候補領域のテクスチャ特徴量を第２の特徴量として算出するテクスチャ特徴量算出手段と、
前記テクスチャ特徴量をもとに、前記不要候補領域が不要領域か否かを判別するテクスチャ特徴判別手段と、
を備え、ることを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
管腔内画像から不要領域を抽出する画像処理方法であって、
前記管腔内画像の色情報に基づく第１の特徴量をもとに、不要候補領域を判別する一次判別工程と、
前記不要候補領域の前記第１の特徴量とは異なる第２の特徴量をもとに、前記不要候補領域が不要領域か否かを判別する二次判別工程と、
を含むことを特徴とする画像処理方法。
【請求項１６】
管腔内画像から不要領域を抽出するための画像処理プログラムであって、コンピュータに、
前記管腔内画像の色情報に基づく第１の特徴量をもとに、不要候補領域を判別する一次判別ステップと、
前記不要候補領域の前記第１の特徴量とは異なる第２の特徴量をもとに、前記不要候補領域が不要領域か否かを判別する二次判別ステップと、
を実行させることを特徴とする画像信号処理プログラム。
【請求項１】
管腔内画像から不要領域を抽出する画像処理装置であって、
前記管腔内画像の色情報に基づく第１の特徴量をもとに、不要候補領域を判別する一次判別手段と、
前記不要候補領域の前記第１の特徴量とは異なる第２の特徴量をもとに、前記不要候補領域が不要領域か否かを判別する二次判別手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記第２の特徴量は、前記不要候補領域の境界近傍における画素値の変化をもとに算出される値であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記二次判別手段は、
前記不要候補領域の境界の内側の領域と外側の領域とを含む領域の境界特徴量を前記第２の特徴量として算出する境界特徴量算出手段と、
前記境界特徴量をもとに、前記不要候補領域が不要領域か否かを判別する境界特徴判別手段と、
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記境界特徴量算出手段は、前記不要候補領域の境界におけるエッジ強度を前記境界特徴量として算出するエッジ強度算出手段を備えることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記エッジ強度算出手段は、前記不要候補領域の境界上の複数の部位で前記エッジ強度を算出することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記境界特徴量算出手段は、前記不要候補領域の境界の法線方向に沿った画素値の変化曲線の曲率を前記境界特徴量として算出する曲率算出手段を備えることを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記曲率算出手段は、前記不要候補領域の境界上の複数の部位で前記曲率を算出することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記二次判別手段は、
前記不要候補領域の周囲領域の勾配特徴量を前記第２の特徴量として算出する勾配特徴量算出手段と、
前記勾配特徴量をもとに、前記不要候補領域が不要領域か否かを判別する勾配特徴判別手段と、
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記勾配特徴量算出手段は、
前記不要候補領域の周囲における勾配方向を算出する勾配方向算出手段と、
前記勾配方向がどの程度前記不要候補領域の方を向いているかを示す値である集中度を前記第２の特徴量として算出する集中度算出手段と、
を備えることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記二次判別手段は、
前記不要候補領域内の画素の画素値の大きさをもとに、前記不要候補領域が飽和領域なのか非飽和領域なのかを判別する飽和判別手段と、
前記飽和判別手段によって飽和領域と判別された前記不要候補領域について、前記第２の特徴量をもとに不要領域か否かを判別する飽和領域判別手段と、
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記飽和判別手段は、前記不要候補領域に属する画素の所定の色成分の値が所定の閾値以上の場合に前記不要候補領域を前記飽和領域と判別することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記飽和領域判別手段は、
前記飽和領域と判別された前記不要候補領域のテクスチャ特徴量を第２の特徴量として算出するテクスチャ特徴量算出手段と、
前記テクスチャ特徴量をもとに、前記不要候補領域が不要領域か否かを判別するテクスチャ特徴判別手段と、
を備えることを特徴とする請求項１０に記載の画像処理装置。
【請求項１３】
前記飽和領域判別手段は、
前記飽和領域と判別された前記不要候補領域について、該不要候補領域と隣接する領域との連続性を前記第２の特徴量として判別する連続性判別手段と、
前記連続性判別手段によって連続性があると判別された場合に、前記隣接する領域の判別結果を取得することで前記不要候補領域が不要領域か否かを判別する判別結果取得手段と、
を備えることを特徴とする請求項１０に記載の画像処理装置
【請求項１４】
前記飽和領域判別手段は、
前記連続性判別手段によって連続性がないと判別された場合に、前記飽和領域と判別された前記不要候補領域のテクスチャ特徴量を第２の特徴量として算出するテクスチャ特徴量算出手段と、
前記テクスチャ特徴量をもとに、前記不要候補領域が不要領域か否かを判別するテクスチャ特徴判別手段と、
を備え、ることを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
管腔内画像から不要領域を抽出する画像処理方法であって、
前記管腔内画像の色情報に基づく第１の特徴量をもとに、不要候補領域を判別する一次判別工程と、
前記不要候補領域の前記第１の特徴量とは異なる第２の特徴量をもとに、前記不要候補領域が不要領域か否かを判別する二次判別工程と、
を含むことを特徴とする画像処理方法。
【請求項１６】
管腔内画像から不要領域を抽出するための画像処理プログラムであって、コンピュータに、
前記管腔内画像の色情報に基づく第１の特徴量をもとに、不要候補領域を判別する一次判別ステップと、
前記不要候補領域の前記第１の特徴量とは異なる第２の特徴量をもとに、前記不要候補領域が不要領域か否かを判別する二次判別ステップと、
を実行させることを特徴とする画像信号処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１１−２３４９３１（Ｐ２０１１−２３４９３１Ａ）
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願番号】特願２０１０−１０９４７２（Ｐ２０１０−１０９４７２）
【出願日】平成２２年５月１１日（２０１０．５．１１）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願日】平成２２年５月１１日（２０１０．５．１１）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]