画像処理装置、画像処理方法、及び画像処理プログラム
【課題】検出対象となる異常部の大きさによらず、異常部を安定的に検出することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供する。
【解決手段】画像処理装置は、画像内の各画素の特徴量を算出する特徴量算出部１１０と、特徴量を成分とする特徴空間において該特徴量が分布する分布領域の形状を近似する近似形状を算出する近似形状算出部１２０、近似形状及び上記分布領域の形状をもとに、画像内の異常部を検出する異常部検出部１３０とを備える。
【解決手段】画像処理装置は、画像内の各画素の特徴量を算出する特徴量算出部１１０と、特徴量を成分とする特徴空間において該特徴量が分布する分布領域の形状を近似する近似形状を算出する近似形状算出部１２０、近似形状及び上記分布領域の形状をもとに、画像内の異常部を検出する異常部検出部１３０とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から特定の領域を検出する画像処理装置、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【０００２】
画像から特定の領域を検出する技術として、例えば特許文献１には、生体内を撮像した体腔内画像（管腔内画像）に対して、注目画素とその周囲に位置する複数の周囲画素との画素値変化量をもとに異常部（病変部候補領域）を検出する画像処理装置の構成が開示されている。より詳細には、特許文献１においては、注目画素を中心に予め定められた方向（縦、横、斜め等）毎に、注目画素から所定の距離だけ離間し、相対して設定される周囲画素の平均画素値と、注目画素の画素値との差分値を算出し、これら差分値をもとに周囲に対して所定の画素値変化が生じる領域を異常部として検出している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−９３１７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のように注目画素と周囲画素との画素値変化から異常部を検出する手法においては、検出対象とする異常部の大きさに応じて、注目画素と周囲画素との距離を設定する必要がある。このため、小さな異常部を検出するために距離を短く設定した場合、異常部が大きいと、注目画素と周囲画素との間で境界を表す画素値変化を十分に検出できないことがあり、検出感度が低下してしまうおそれがある。一方、大きな異常部を検出するために距離を長く設定した場合、異常部が小さいと、異常部の周囲よりも離れた画素の画素値変化を検出することになり、正常な画素値変化を異常部として誤検出してしまう等の問題が生じるおそれがある。
【０００５】
本発明は、上記に鑑み為されたものであって、検出対象となる異常部の大きさによらず、異常部を安定的に検出することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、画像内の各画素、又は前記画像を複数の領域に分割した各領域の特徴量を算出する特徴量算出手段と、前記特徴量を成分とする特徴空間において前記特徴量が分布する分布領域の形状を近似する近似形状を算出する近似形状算出手段と、前記近似形状及び前記分布領域の形状をもとに、前記画像内の異常部を検出する異常部検出手段とを備えることを特徴とする。
【０００７】
本発明に係る画像処理方法は、画像内の各画素、又は前記画像を複数の領域に分割した各領域の特徴量を算出する特徴量算出ステップと、前記特徴量を成分とする特徴空間において前記特徴量が分布する分布領域の形状を近似する近似形状を算出する近似形状算出ステップと、前記近似形状及び前記分布領域の形状をもとに、前記画像内の異常部を検出する異常部検出ステップとを含むことを特徴とする。
【０００８】
本発明に係る画像処理プログラムは、画像内の各画素、又は前記画像を複数の領域に分割した各領域の特徴量を算出する特徴量算出ステップと、前記特徴量を成分とする特徴空間において前記特徴量が分布する分布領域の形状を近似する近似形状を算出する近似形状算出ステップと、前記近似形状及び前記分布領域の形状をもとに、前記画像内の異常部を検出する異常部検出ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、画像内の各画素又は各領域の特徴量を成分とする特徴空間における特徴量の分布領域の形状を近似する近似形状をもとに異常部を検出するので、画像内に含まれる異常部の大きさによらず、異常部を安定的に検出することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図２】図２は、図１に示す画像処理装置の動作を示すフローチャートである。
【図３】図３は、Ｒ−Ｇ特徴空間における特徴量の分布及び該分布に直線を当て嵌めた結果の例を示すグラフである。
【図４】図４は、変形例１−１に係る画像処理装置の図形当て嵌め部の構成を示すブロック図である。
【図５】図５は、変形例１−１に係る画像処理装置の動作を示すフローチャートである。
【図６】図６は、Ｒ−Ｇ特徴空間における特徴量の分布及び該分布に曲線を当て嵌めた結果の例を示すグラフである。
【図７】図７は、変形例１−２に係る画像処理装置の図形当て嵌め部の構成を示すブロック図である。
【図８】図８は、変形例１−２に係る画像処理装置の動作を示すフローチャートである。
【図９】図９は、変形例１−３に係る画像処理装置の異常部検出部の構成を示すブロック図である。
【図１０】図１０は、変形例１−３に係る画像処理装置の動作を示すフローチャートである。
【図１１】図１１は、変形例１−４に係る画像処理装置の異常部検出部の構成を示すブロック図である。
【図１２】図１２は、変形例１−４に係る画像処理装置の動作を示すフローチャートである。
【図１３】図１３は、本発明の実施の形態２に係る画像処理装置の演算部の構成を示すブロック図である。
【図１４】図１４は、実施の形態２に係る画像処理装置の動作を示すフローチャートである。
【図１５】図１５は、図１４のステップＳ２００における詳細な動作を示すフローチャートである。
【図１６】図１６は、変形例２−１に係る画像処理装置のロバスト推定部の構成を示すブロック図である。
【図１７】図１７は、変形例２−１に係る画像処理装置の動作を示すフローチャートである。
【図１８】図１８は、本発明の実施の形態３に係る画像処理装置の演算部の構成を示すブロック図である。
【図１９】図１９は、実施の形態３に係る画像処理装置の動作を示すフローチャートである。
【図２０】図２０は、図１９のステップＳ３０１における詳細な動作を示すフローチャートである。
【図２１】図２１は、画像内の画素の特徴量が２つのクラスタにクラスタリングされた例を示す模式図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態に係る画像処理装置について、図面を参照しながら説明する。なお、これらの実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
【００１２】
以下においては、一例として、内視鏡等の医用観察装置によって被検体の管腔内を撮像した管腔内画像（以下、単に画像ともいう）に対する画像処理を説明する。このような管腔内画像は、例えば、各画素位置においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分に対する画素レベル（画素値）を持つカラー画像である。また、一般に、管腔内画像には消化管内壁の粘膜が映り、時として食物残渣や泡などが映る。管腔内画像における検査領域は、基本的に粘膜領域であり、病変部は粘膜領域内において通常粘膜とは異なる色調として映ることが多い。
なお、本発明は、管腔内画像に限定されることなく、他の一般的な画像内から特定の領域を検出する画像処理装置に広く適用することが可能である。
【００１３】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。図１に示すように、画像処理装置１は、当該画像処理装置１全体の動作を制御する制御部１０と、医用観察装置によって撮像された管腔内画像の画像データを取得する画像取得部１１と、外部から入力された入力信号を受け付ける入力部１２と、管腔内画像や各種情報を含む画面を表示する表示部１３と、記録部１４と、管腔内画像から異常部を検出する演算処理を行う演算部１００とを備える。
【００１４】
制御部１０は、ＣＰＵ等のハードウェアによって実現され、記録部１４に格納された各種プログラムを読み込むことにより、画像取得部１１から入力される画像データや入力部１２から入力される操作信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。
【００１５】
画像取得部１１は、医用観察装置を含むシステムの態様に応じて適宜構成される。例えば、医用観察装置がカプセル型内視鏡であり、医用観察装置との間における管腔内画像の画像データの受け渡しに可搬型の記録媒体が使用される場合、画像取得部１１は、この記録媒体を着脱自在に装着し、記録媒体に格納された画像データを読み出すリーダ装置で構成される。また、医用観察装置によって取得された管腔内画像の画像データを保存しておくサーバを設置する場合、画像取得部１１は、サーバと接続される通信装置等で構成され、サーバとデータ通信を行って画像データを取得する。或いは、画像取得部１１を、内視鏡等の医用観察装置から、ケーブルを介して画像信号を入力するインターフェース装置等で構成しても良い。
【００１６】
入力部１２は、例えばキーボードやマウス、タッチパネル、各種スイッチ等によって実現され、外部から受け付けた入力信号を制御部１０に出力する。
表示部１３は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現される。
【００１７】
記録部１４は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくは外付けハードディスク、又は、ＣＤ−ＲＯＭ等の情報記録媒体及びその読取装置等によって実現される。記録部１４は、画像取得部１１によって取得された管腔内画像の画像データの他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。例えば、記録部１４は、管腔内画像から異常部を検出する画像処理プログラム１４ａを格納する。
【００１８】
演算部１００は、ＣＰＵ等のハードウェアによって実現され、画像処理プログラム１４ａを読み込むことにより、管腔内画像の画像データを処理し、管腔内画像から病変部の候補領域である異常部を検出するための種々の演算処理を行う。演算部１００は、画像内の各画素の特徴量を算出する特徴量算出部１１０と、特徴量を成分とする特徴空間において該特徴量が分布する分布領域の形状（以下、分布形状ともいう）を近似する近似形状（以下、モデルともいう）を算出する近似形状算出部１２０と、近似形状と分布形状との相関に基づいて、画像内の異常部を検出する異常部検出部１３０とを備える。
【００１９】
この内、特徴量算出部１１０は、好ましくは２種類以上の特徴量を算出する。それにより、後の処理において、これらの２種類以上の特徴量に対応する軸により張られた２次元以上の特徴空間が生成される。
【００２０】
近似形状算出部１２０は、特徴量の分布形状に対して幾何学図形を当て嵌める図形当て嵌め部１２１を有し、図形当て嵌め１２１部が当て嵌めた図形を、特徴量の分布形状の近似形状とする。図形当て嵌め部１２１は、具体的には、特徴量の分布形状に対して直線を当て嵌める直線当て嵌め部１２１ａを含む。
【００２１】
異常部検出部１３０は、画像内の各画素の特徴量と上記モデルとの特徴空間内距離を算出する特徴空間内距離算出部１３１を有し、特徴空間内距離をもとに異常部を検出することを特徴とする。
【００２２】
次に、画像処理装置１の動作について説明する。図２は、画像処理装置１の動作を示すフローチャートである。
まず、ステップＳ１０１において、演算部１００は、記録部１４から処理対象の画像を取得する。
【００２３】
続くステップＳ１０２において、特徴量算出部１１０は、各画素の特徴量としてＲ成分の値及びＧ成分の値を取得する。ここで、Ｒ成分及びＧ成分の値を取得するのは、これら２つの成分が生体内における吸収・散乱の度合いが異なる成分であり、２つの成分の差をもとに病変部を精度良く検出できるためである。なお、当然ながら、他の色成分の組み合わせ、或いは公知の変換処理により２次的に算出される値を特徴量として用いても良い。具体的には、ＹＣｂＣｒ変換により算出される輝度、色差、ＨＳＩ変換により算出される色相、彩度、明度等を用いることができる。
【００２４】
ステップＳ１０３において、直線当て嵌め部１２１ａは、Ｒ成分及びＧ成分の値を軸とする２次元の特徴空間（Ｒ−Ｇ特徴空間）において、ステップＳ１０２において算出された特徴量の分布に対して直線（図形）を当て嵌めることにより、特徴量の分布形状を近似するモデルを算出する。具体的には、直線を表す次式（１）を、最小二乗法により特徴量の分布に当て嵌め、係数ａ及びｂを求める。
Ｇ＝ａ×Ｒ＋ｂ …（１）
【００２５】
式（１）において、係数ａ及びｂは、特徴量の分布を構成する各画素のＲ成分の値Ｒｉ及びＧ成分の値Ｇｉ（ｉ＝１〜ｎ、ただし、ｎはデータ数）を用いて、最小二乗法により得られる次式（２）によって与えられる。
【数１】
【００２６】
図３は、Ｒ−Ｇ特徴空間における特徴量（Ｒｉ，Ｇｉ）の分布、及び、この分布に直線を当て嵌めた結果の例を示すグラフである。なお、図３においては、Ｒ成分及びＧ成分の値を、上限が１となるように規格化している。図３に示す直線Ｌ１は、特徴量の分布形状を近似するモデル（直線モデル）であり、式Ｇ＝ａ0×Ｒ＋ｂ0（ａ0、ｂ0は定数）により表される。
なお、本実施の形態１においては上式（１）を当て嵌めに用いたが、それ以外の直線の式（ａＲ＋ｂＧ＋ｃ＝０）を用いても良い。
【００２７】
ステップＳ１０４において、特徴空間内距離算出部１３１は、各画素の特徴量とモデルとの特徴空間内距離を算出する。具体的には、各画素のＲ成分の値Ｒｉを、直線モデルの式Ｇ＝ａ0×Ｒ＋ｂ0の右辺のＲに代入して直線上のＧ成分の値Ｇｉmodelを求め、この値Ｇｉmodelと実際のＧ成分の値Ｇｉとの差の絶対値ｄ＝｜Ｇｉ−Ｇｉmodel｜を算出する。この値ｄが、直線モデルと各画素の特徴量を示す点（Ｒｉ，Ｇｉ）との間のＧ成分軸に平行な特徴空間内距離である。
なお、特徴空間内距離としては、点（Ｒｉ，Ｇｉ）と直線モデルとの距離、即ち、点（Ｒｉ，Ｇｉ）から直線ａＲ＋ｂＧ＋ｃ＝０に下ろした垂線の長さを用いても良い。
【００２８】
ステップＳ１０５において、異常部検出部１３０は、特徴空間内距離ｄを閾値処理することにより、病変部の候補領域である異常部に相当する画素（異常部画素）を検出する。具体的には、特徴空間内距離ｄが所定の閾値以上となる画素を求め、該画素を異常部画素として検出する。例えば、図３においては、閾値Ｔｈ1及び閾値Ｔｈ2を超える領域（代表的には、領域Ｓ1、領域Ｓ2等）に含まれる画素が異常部画素として検出される。
【００２９】
さらに、ステップＳ１０６において、演算部１００は、異常部画素の検出結果を出力する。具体的には、ステップＳ１０５において検出された異常部画素を画像上でマークして表示部１３に表示するなどする。併せて、演算部１００は、異常部画素の検出結果を記録部１４に記録する。これにより、画像処理装置１における処理は終了する。
【００３０】
以上説明したように、実施の形態１によれば、画像内の画素の特徴量の分布形状を近似するモデルに対し、特徴空間内距離が所定の閾値以上となる画素を病変部として検出するので、画像内における病変部の大きさによらず、病変部を安定的に検出することが可能となる。
【００３１】
なお、図３において、領域Ｓ1に含まれる画素は、モデルに対してＧ成分が大きいという特徴を有する。このような異常部は、Ｇ成分の吸収が小さい退色系（白色系）の病変部である可能性がある。一方、領域Ｓ2に含まれる画素は、モデルに対してＧ成分が小さいという特徴を有する。このような異常部は、Ｇ成分の吸収が大きい赤色系の病変部である可能性がある。従って、特徴空間内距離ｄを符号を含めて評価して、病変部の種類を識別するようにしても良い。
【００３２】
（変形例１−１）
次に、実施の形態１の変形例１−１について説明する。
変形例１−１に係る画像処理装置は、図１に示す図形当て嵌め部１２１の代わりに、図４に示す図形当て嵌め部１２２を有する。図形当て嵌め部１２２は、特徴量の分布形状に対して曲線を当て嵌める曲線当て嵌め部１２２ａを含む。その他の構成は、実施の形態１と同様である。
【００３３】
図５は、変形例１−１に係る画像処理装置の動作を示すフローチャートである。なお、ステップＳ１０１、１０２、及びＳ１０４〜Ｓ１０６の動作は、実施の形態１と同様である。
【００３４】
ステップＳ１０２に続くステップＳ１１３において、曲線当て嵌め部１２２ａは、Ｒ−Ｇ特徴空間において、ステップＳ１０２において算出された特徴量の分布に対して曲線（図形）を当て嵌めることにより、特徴量の分布形状を近似するモデルを算出する。具体的には、曲線を表す次式（３）を、最小二乗法により特徴量の分布に当て嵌め、係数ａ、ｂ、ｃを求める。
Ｇ＝ａ×Ｒ2＋ｂ×Ｒ＋ｃ …（３）
【００３５】
式（３）において、係数ａ、ｂ、及びｃは、特徴量の分布を構成する各画素のＲ成分の値Ｒｉ及びＧ成分の値Ｇｉ（ｉ＝１〜ｎ、ただし、ｎはデータ数）を用いて、最小二乗法により得られる次式（４）によって与えられる。
【数２】
【００３６】
図６は、Ｒ−Ｇ特徴空間における特徴量（Ｒｉ，Ｇｉ）の分布、及び、この分布に２次曲線を当て嵌めた結果の例を示すグラフである。図６に示す２次曲線Ｌ２は、特徴量の分布形状を近似するモデル（曲線モデル）であり、式Ｇ＝ａ1×Ｒ2＋ｂ1×Ｒ＋ｃ1（ａ1、ｂ1、ｃ1は定数）により表される。
その後、画像処理装置の動作はステップＳ１０４に移行する。
【００３７】
なお、変形例１−１においては、２次曲線を当て嵌めに用いたが、それ以外の曲線を用いても良い。例えば、べき乗（Ｇ＝ａ×Ｒb）、対数（Ｇ＝ａ×logＲ＋ｂ）、指数（Ｇ＝ａ×ｂR）等の曲線を当て嵌めに用いることができる。
【００３８】
以上説明したように、変形例１−１によれば、直線よりも自由度の高い曲線（図形）によって特徴量の分布形状を近似するので、病変部をより安定的に検出することが可能となる。
【００３９】
（変形例１−２）
次に、実施の形態１の変形例１−２について説明する。
変形例１−２に係る画像処理装置は、図１に示す図形当て嵌め部１２１の代わりに、図７に示す図形当て嵌め部１２３を有する。図形当て嵌め部１２３は、特徴量の分布形状に対して、複数の曲線（図形）を当て嵌める曲線当て嵌め部１２３ａと、複数の曲線を当て嵌めた結果の内から、最も当て嵌め精度の高い結果を選択する当て嵌め結果選択部１２３ｂとを含む。
【００４０】
図８は、変形例１−２に係る画像処理装置の動作を示すフローチャートである。なお、ステップＳ１０１、Ｓ１０２、及びＳ１０４〜Ｓ１０６の動作は、実施の形態１と同様である。
【００４１】
ステップＳ１０２に続くステップＳ１２３において、曲線当て嵌め部１２３ａは、Ｒ−Ｇ特徴空間において、ステップＳ１０２において算出された特徴量の分布に対して複数の曲線（図形）を当て嵌めることにより、特徴量の分布形状を近似する複数のモデルを算出する。具体的には、変形例１−１と同様に、曲線の式を特徴量の分布に当て嵌めて係数を算出する処理を、互いに異なる複数種類の曲線（２次曲線、３次曲線、べき乗、指数、対数等）の式に対して行う。なお、このとき、直線（１次曲線）の式を当て嵌め処理に含めても良い。
【００４２】
ステップＳ１２４において、当て嵌め結果選択部１２３ｂは、最も当て嵌め精度の高い曲線を選択し、選択した曲線を当該分布形状のモデルとする。具体的には、ステップＳ１２３において算出したモデルの式Ｇ＝ｆ（Ｒ）の各々に対し、次式（５）に示す最小二乗法における誤差評価関数を用いて評価値Ｅを算出し、この評価値Ｅが最小となる曲線の当て嵌め結果を選択する。
【数３】
【００４３】
例えば、当て嵌めた曲線が式（３）に示す２次曲線である場合、評価値は次式（６）によって与えられる。
【数４】
その後、画像処理装置の動作はステップＳ１０４に移行する。
【００４４】
以上説明したように、変形例１−２によれば、最も当て嵌め精度の高い曲線（図形）により特徴量の分布形状を近似するので、病変部をより安定的に検出することが可能となる。
【００４５】
なお、上記変形例１−２においては、Ｒ−Ｇ特徴空間における特徴量を示す点（Ｒｉ，Ｇｉ）と曲線モデル（Ｇ＝ｆ（Ｒ））とのＧ成分軸における誤差を用いて評価値Ｅを算出しているが、特徴量を示す点と曲線モデルとの間の距離の総和を取ることによって評価値を算出しても良い。
【００４６】
（変形例１−３）
次に、実施の形態１の変形例１−３について説明する。
変形例１−３に係る画像処理装置は、図１に示す異常部検出部１３０の代わりに、図９に示す異常部検出部１４０を備える。異常部検出部１４０は、特徴空間内距離算出部１３１に加えて、特徴空間内距離の分布の外れ値を検出する外れ値検出部１４１を有し、外れ値検出部１４１による検出結果をもとに異常部を検出する。
【００４７】
図１０は、変形例１−３に係る画像処理装置の動作を示すフローチャートである。なお、ステップＳ１０１〜Ｓ１０４及びＳ１０６の動作は、実施の形態１と同様である。
ステップＳ１０４に続くステップＳ１１５において、外れ値検出部１４１は、特徴空間内距離ｄの分布の外れ値を検出することにより異常部画素を検出する。具体的には、ステップＳ１０４において算出された全ての特徴空間内距離ｄの分散値及び標準偏差を求め、この標準偏差の所定倍以上となる特徴空間内距離ｄを有する画素を異常部画素として検出する。
【００４８】
以上説明したように、変形例１−３によれば、特徴空間内距離の分布に応じて適応的に設定される閾値をもとに特徴空間内距離の外れ値を検出するので、安定的に病変部を検出することができる。
【００４９】
（変形例１−４）
次に、実施の形態１の変形例１−４について説明する。
変形例１−４に係る画像処理装置は、図１に示す異常部検出部１３０の代わりに、図１１に示す異常部検出部１５０を備える。異常部検出部１５０は、特徴空間内距離算出部１３１に加えて、特徴空間内距離ｄをもとに所定の画素を検出し、検出した画素画像内において連結する領域連結部１５１を有し、領域連結部１５１によって連結された連結領域の特徴量をもとに異常部を検出する。
【００５０】
図１２は、変形例１−４に係る画像処理装置の動作を示すフローチャートである。なお、ステップＳ１０１〜Ｓ１０４及びＳ１０６の動作は、実施の形態１と同様である。
ステップＳ１０４に続くステップＳ１２５において、領域連結部１５１は、特徴空間内距離が所定の閾値以上である画素を画像内で連結する。具体的には、ステップＳ１０４において算出された特徴空間内距離ｄが所定の閾値以上となる画素を抽出し、これらの画素の座標をもとに画素を画像化する。その後、公知のラベリング処理（参考：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」、第１８１頁）により、互いに隣接する閾値以上の画素を連結した連結領域を求める。
【００５１】
続くステップＳ１２６において、異常部検出部１５０は、連結領域の面積（即ち、画素数）を算出し、面積が閾値以上となる連結領域内の画素を異常部画素として検出する。
その後、動作はステップＳ１０６に移行する。
【００５２】
以上説明したように、変形例１−４によれば、特徴空間内距離ｄが閾値以上となる画素のうち、画像内で所定の大きさの領域を形成する画素のみを異常部画素として検出するので、微小なノイズ等の誤検出を抑制して、病変部をより安定的に検出することが可能となる。
【００５３】
（実施の形態２）
次に、本発明の実施の形態２について説明する。
実施の形態２に係る画像処理装置は、図１に示す演算部１００の代わりに、図１３に示す演算部２００を備える。演算部２００は、特徴量算出部１１０と、近似形状算出部２１０と、異常部検出部１３０とを備える。この内、特徴量算出部１１０及び異常部検出部１３０の構成及び動作は、実施の形態１と同様である。
【００５４】
近似形状算出部２１０は、特徴量の分布の外れ値を除いてモデルを推定するロバスト推定部２１１を有し、ロバスト推定部２１１による推定結果をもとに、特徴量の分布形状を近似する。より詳細には、ロバスト推定部２１１は、モデルの推定と推定結果に基づく外れ値除去とを再帰的に繰返す繰返し推定部２１１ａを含む。
【００５５】
図１４は、実施の形態２に係る画像処理装置の動作を示すフローチャートである。なお、ステップＳ１０１、Ｓ１０２、及びＳ１０４〜Ｓ１０６の動作は、実施の形態１と同様である。
【００５６】
ステップＳ１０２に続くステップＳ２００において、ロバスト推定部２１１は、Ｒ−Ｇ特徴空間において、ステップＳ１０２において算出された特徴量の分布に対し、ロバスト推定を用いてモデルを当て嵌めることにより特徴量の分布形状を近似する。
【００５７】
このステップＳ２００における詳細な動作を、図１５を参照しながら説明する。
ステップＳ２０１において、繰返し推定部２１１ａは、Ｒ−Ｇ特徴空間における特徴量の分布に対して直線を当て嵌めることにより、直線モデルを算出する（図３参照）。なお、このステップＳ２０１における詳細な動作は、図２のステップＳ１０３において説明したものと同様である。
【００５８】
続くステップＳ２０２において、繰返し推定部２１１ａは、各画素の特徴量と直線モデルとの特徴空間内距離ｄ（図３参照）を算出する。なお、このステップＳ２０２における詳細な動作は、図２のステップＳ１０４において説明したものと同様である。
【００５９】
ステップＳ２０３において、繰返し推定部２１１ａは、特徴空間内距離の分布に対して外れ値となる画素を除外する。より詳細には、ステップＳ２０２において算出された全ての特徴空間内距離ｄの分散値及び標準偏差を求め、この標準偏差の所定倍以上となる特徴空間内距離ｄを有する画素を外れ値として除外する。
【００６０】
ステップＳ２０４において、繰返し推定部２１１ａは、外れ値を除外した後のＲ−Ｇ特徴空間における特徴量の分布に対して再度直線を当て嵌めることにより、直線モデルを算出する。なお、このステップＳ２０４における詳細な動作は、外れ値を除外したことにより使用するデータ（画素値）数が減少したことを除いて、ステップＳ２０１と同様である。
【００６１】
ステップＳ２０５において、繰返し推定部２１１ａは、当て嵌め回数が所定値以上となったか否かを判定する。当て嵌め回数が所定値未満である場合（ステップＳ２０５：Ｎｏ）、繰返し推定部２１１ａは、ステップＳ２０２〜Ｓ２０４を繰り返す。一方、当て嵌め回数が所定値以上となった場合（ステップＳ２０５：Ｙｅｓ）、この時点でのステップＳ２０４における当て嵌め結果を、特徴量の分布形状のモデルとする（ステップＳ２０６）。
その後、動作はメインルーチンに戻る。
【００６２】
以上説明したように、実施の形態２によれば、特徴量の分布から外れ値を除外することにより、特徴量の分布形状に対してより精度の高い近似を行うことができるので、病変部をさらに安定的に検出することが可能となる。
【００６３】
（変形例２−１）
次に、実施の形態２の変形例２−１について説明する。
変形例２−１に係る画像処理装置は、図１３に示すロバスト推定部２１１の代わりに、図１６に示すロバスト推定部２１２を有する。ロバスト推定部２１２は、特徴量の分布の内から抽出した複数の異なるサンプリングデータをもとに推定した複数の推定結果から、最も推定精度の高い推定結果を探索する最良推定探索部２１２ａを含む。
【００６４】
次に、変形例２−１に係る画像処理装置の動作について説明する。変形例２−１に係る画像処理装置全体の動作については図１４に示すものと同様であり、ステップＳ２００における詳細な動作が異なっている。
図１７は、図１４のステップＳ２００における詳細な動作を示すフローチャートである。
【００６５】
まず、ステップＳ２１１において、最良推定探索部２１２ａは、Ｒ−Ｇ特徴空間における特徴量の分布から、複数の特徴量データを抽出する。なお、抽出する特徴量データは、ランダムであって良い。
【００６６】
続くステップＳ２１２において、最良推定探索部２１２ａは、抽出した特徴量データに対して直線を当て嵌めることにより、直線モデルを算出する。なお、このステップＳ２１２における詳細な動作は、使用するデータ（画素値）が異なる点を除いて、図２のステップＳ１０３において説明したものと同様である。
【００６７】
ステップＳ２１３において、最良推定探索部２１２ａは、各画素の特徴量と直線モデルとの特徴空間内距離ｄ（図３参照）を算出する。なお、このステップＳ２１３における詳細な動作は、図２のステップＳ１０４において説明したものと同様である。
【００６８】
ステップＳ２１４において、最良推定探索部２１２ａは、特徴空間内距離ｄが所定の閾値以下になる画素の個数Ｎを算出する。
【００６９】
ステップＳ２１５において、最良推定探索部２１２ａは、当て嵌め回数が所定以上となったか否かを判定する。当て嵌め回数が所定値未満である場合（ステップＳ２０５：Ｎｏ）、最良推定探索部２１２ａは、ステップＳ２１１〜Ｓ２１４の処理を繰り返す。一方、当て嵌め回数が所定値以上となった場合（ステップＳ２１５：Ｙｅｓ）、特徴空間内距離ｄが閾値以下になる画素の個数Ｎが最大となるモデルを選択し、このモデルを、特徴量の分布形状のモデルとする（ステップＳ２１６）。
その後、画像処理装置の動作はメインルーチンに戻る。
【００７０】
以上説明したように、変形例２−１によれば、複数回推定を行うことにより得られた互いに異なる推定結果の中から、最良の推定結果を探索することにより、特徴量の分布形状に対して、より精度の高い近似を行うことができるので、病変部をさらに安定的に検出することが可能となる。
【００７１】
（実施の形態３）
次に、本発明の実施の形態３について説明する。
実施の形態３に係る画像処理装置は、図１に示す演算部１００の代わりに、図１８に示す演算部３００を備える。演算部３００は、特徴量算出部１１０と、画像内の検査領域を特定する検査領域特定部３１０と、検査領域特定部３１０によって特定された検査領域に対し、Ｒ−Ｇ特徴空間における特徴量の分布形状を近似する近似形状を算出する近似形状算出部３２０と、分布形状及びその近似形状をもとに検査領域から異常部を検出する異常部検出部３３０とを備える。この内、特徴量算出部１１０の構成及び動作は、実施の形態１と同様である。また、近似形状算出部３２０及び異常部検出部３３０の構成及び動作は、処理対象が画像全体ではなく検査領域内に限定されるという点を除いて、図１に示す近似形状算出部１２０及び異常部検出部１３０とそれぞれ同様である。
【００７２】
検査領域特定部３１０は、画像内の各画素の特徴量の分布をクラスタ分けするクラスタリング部３１１と、検査領域内の各画素の特徴量が含まれるクラスタを特定するクラスタ特定部３１２とを有し、クラスタ特定部３１２によるクラスタの特定結果をもとに、検査領域を特定する。
【００７３】
図１９は、実施の形態３に係る画像処理装置の動作を示すフローチャートである。なお、ステップＳ１０１、Ｓ１０２、及びＳ１０６の動作は、実施の形態１と同様である。
ステップＳ１０２に続くステップＳ３０１において、検査領域特定部３１０は、各画素の特徴量をもとに検査領域を特定する。
【００７４】
このステップＳ３０１における詳細な動作を、図２０及び図２１を参照しながら説明する。
図２０のステップＳ３１１において、クラスタリング部３１１は、画像内の各画素の特徴量の分布をクラスタ分け（クラスタリング）する。クラスタリング法としては、階層法、ｋ-ｍｅａｎｓ法（参考：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」、第２３１頁）、期待値最大化アルゴリズム（ＥＭアルゴリズム）、自己組織化マップ等の公知の手法を用いて実現することができる。図２１は、画像内の画素の特徴量（Ｒｉ，Ｇｉ）が２つのクラスタＣＬ1、ＣＬ2にクラスタリングされた例を示す。
【００７５】
続くステップＳ３１２において、クラスタ特定部３１２は、検査領域である粘膜領域に対応するクラスタを特定する。クラスタの特定方法としてはいくつかの手法を用いることができる。以下においては、事前に作成した教師データ（画素毎の特徴量と検査領域の判定結果とが対になったデータ）の特徴量分布を確率モデルで近似し、これをもとに粘膜領域を特定する方法を説明する。
【００７６】
まず、クラスタ特定部３１２は、教師データにおける粘膜領域に属する画素の数を、教師データにおける全画素の数で割ることにより、粘膜領域の発生確率Ｐｃを推定する。
次に、クラスタ特定部３１２は、教師データのＲ−Ｇ特徴空間における粘膜領域の特徴量分布、及び非粘膜領域（粘膜領域以外の部分）の特徴量分布の各々に対して、公知の期待値最大化アルゴリズム（ＥＭアルゴリズム）を用いた混合正規分布の当て嵌めを行うことにより、粘膜領域及び非粘膜双方の特徴量分布の確率密度関数を推定する。この場合、確率密度関数は、正規分布ｆ（Ｃｉ）の線形和の式である次式（７）によって与えられる。
【数５】
式（７）において、特徴ベクトルＣｉは、画像内の画素の特徴量（Ｒｉ，Ｇｉ）を表すベクトルである。また、ｆｊ（Ｃｉ）は、ｊ番目（ｊ＝１、２、…、ｊＮ）の正規分布を表す式であり、ａｊは所定の係数（定数）である。
【００７７】
また、クラスタ特定部３１２は、クラスタリング部３１１によりクラスタ分けされた各クラスタＣＬ1、ＣＬ2の重心座標Ｃg1（Ｒg1，Ｇg1）、Ｃg2（Ｒg2，Ｇg2）をそれぞれ算出する。なお、重心座標は、当該クラスタに含まれる画素の特徴量の平均値である。
【００７８】
そして、クラスタ特定部３１２は、これらの重心座標Ｃg1（Ｒg1，Ｇg1）、Ｃg2（Ｒg2，Ｇg2）と、前述の粘膜領域の発生確率Ｐｃ及び確率密度関数ｆ1、並びに、非粘膜領域の発生確率（＝１−Ｐｃ）及び確率密度関数ｆ2を用いて公知の最大事後確率推定を行うことにより、重心座標Ｃg1、Ｃg2の粘膜領域への帰属確率を推定する。具体的には、粘膜領域への帰属確率Ｐは、次式（８）によって与えられる。
【数６】
【００７９】
クラスタ特定部３１２は、重心座標Ｃg1、Ｃg2の帰属確率が所定の閾値（例えば、０．５等）以上であるクラスタを、粘膜領域を示すクラスタと特定する。
この後、動作はメインルーチンに戻る。
【００８０】
ステップＳ３０２において、近似形状算出部３２０は、Ｒ−Ｇ特徴空間における検査領域に対応する画素の特徴量の分布に対し、例えば直線等の図形を当て嵌めることにより、特徴量の分布形状を近似するモデルを算出する。なお、当て嵌める図形は、直線の他、実施の形態２において説明した曲線等の図形であって良い。
【００８１】
ステップＳ３０３において、異常部検出部３３０は、検査領域に対応する各画素の特徴量と、当て嵌めによって得られたモデルとの特徴空間内距離を算出する。
ステップＳ３０４において、異常部検出部３３０は、特徴空間内距離を閾値処理することにより、異常部画素を検出する。
【００８２】
以上説明したように、実施の形態３によれば、画像内の検査領域（粘膜領域）を特定し、検査領域内の画素のみの特徴量の分布形状を近似するので、食物残渣や泡等の不要な領域の特徴量の分布に影響されない、精度の高いモデルを生成することができ、安定的に病変部を検出することが可能となる。
【００８３】
（変形例３−１）
実施の形態３においては、確率モデルをもとに粘膜領域のクラスタを特定する方法を説明したが、それ以外の方法を用いても良い。例えば、画像内の画素の特徴量をクラスタリング（ステップＳ３０１）した後、各クラスタの重心座標（ＲC1，ＧC1）、（ＲC2，ＧC2）を算出し、これらの重心座標を閾値処理することにより、粘膜領域のクラスタを特定しても良い。この際に用いられる閾値は、例えば教師データから取得しても良い。或いは、各クラスタに含まれる各画素に対し、特徴量を閾値処理することにより粘膜領域であるか否かを判別し、粘膜領域と判別された画素の割合が所定の閾値以上となるクラスタを、粘膜領域のクラスタと判定しても良い。なお、各画素の判別に用いられる閾値についても、例えば教師データから取得すれば良い。
【００８４】
（実施の形態４）
以上説明した実施の形態１〜３においては、画像内の各画素の特徴量の分布に基づいて異常部の検出処理を行ったが、画素単位ではなく、画像を複数の領域に分割した各領域の特徴量の分布に基づいて同様の処理を行っても良い。
【００８５】
画像の複数領域への分割は、例えば以下のようにして行う。まず、処理対象の画像に含まれる各画素のエッジ強度を算出する。エッジ強度の算出に際しては、ソーベルフィルタ等の微分フィルタ処理など、公知の手法を用いれば良い。続いて、画像をエッジ強度の尾根を境界とする複数のエッジ領域に分割する。より詳細には、各画素のエッジ強度を画素値とするエッジ強度画像を作成し、エッジ強度画像内の画素におけるエッジ強度の勾配方向を取得する。このときの勾配方向は、エッジ強度の値が小さくなる方向とする。そして、各画素から出発して勾配方向に沿って移動した際に到達する極小値の画素を探索し、互いに隣接する極小値の画素に到達した出発点の画素が同一の領域に含まれるように画像を分割する（参考：国際公開第２００６／０８０２３９号）。
【００８６】
この他、画像の分割方法としては、分水嶺（watershed）アルゴリズム（参考：Luc Vincent and Pierre Soille，“Watersheds in Digital Spaces： An Efficient Algorithm Based on Immersion Simulations”，IEEE Transactions on Pattern Analysis and Machine Intelligence， Vol．13，No．6， pp．583−598，June 1991）等の公知の手法を利用することもできる。
【００８７】
実施の形態４によれば、複数の画素がまとまった領域単位の特徴量に基づく特徴量の分布形状が得られるので、領域ごとの特徴が反映された信頼性の判定及び判別基準の作成を行うことができると共に、演算速度を向上させることが可能となる。
【００８８】
（実施の形態５）
実施の形態１〜３においては、直線又は曲線を特徴量の分布形状に当て嵌めることにより、分布形状を近似する直線モデル又は曲線モデルを算出したが、それ以外の種々の図形を用いて当て嵌めを行っても良い。例えば、２種類の特徴量を成分とする２次元特徴空間における特徴量の分布形状を近似する場合、円、楕円、三角形、四角形等の図形を当て嵌めても良い。なお、特徴量の分布形状をこれらの図形により近似する場合、特徴空間内距離としては、例えば、特徴量を表す点とモデルの周との間の距離を算出すれば良い。
【００８９】
（実施の形態６）
実施の形態１〜３においては、具体例として、２種類の特徴量（Ｒ成分及びＧ成分の値）を用いて演算処理を行ったが、３種類以上の特徴量を用いても良い。この場合、当て嵌めに用いる図形としては、直線及び曲線の他、２次元図形や３次元図形（例えば、球、円柱等）を用いることもできる。
【００９０】
以上説明した実施の形態１〜６及び変形例に係る画像処理装置は、記録媒体に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することにより実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク（ＬＡＮ）、広域エリアネットワーク（ＷＡＮ）、又は、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１〜６及び変形例に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続された種々の出力機器（ビュアーやプリンタ等）に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置（記録媒体及びその読取装置等）に画像処理結果を格納するようにしても良い。
【００９１】
なお、本発明は、実施の形態１〜６及び変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。
【符号の説明】
【００９２】
１ 画像処理装置
１０ 制御部
１１ 画像取得部
１２ 入力部
１３ 表示部
１４ 記録部
１４ａ 画像処理プログラム
１００、２００、３００ 演算部
１１０ 特徴量算出部
１２０、２１０、３２０ 近似形状算出部
１２１、１２２、１２３ 図形当て嵌め部
１２１ａ 直線当て嵌め部
１２２ａ、１２３ａ 曲線当て嵌め部
１２３ｂ 当て嵌め結果選択部
１３０、１４０、１５０ 異常部検出部
１３１ 特徴空間内距離算出部
１４１ 外れ値検出部
１５１ 領域連結部
２１１、２１２ ロバスト推定部
２１１ａ 繰返し推定部
２１２ａ 最良推定探索部
３１０ 検査領域特定部
３１１ クラスタリング部
３１２ クラスタ特定部
３３０ 異常部検出部
【技術分野】
【０００１】
本発明は、画像から特定の領域を検出する画像処理装置、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【０００２】
画像から特定の領域を検出する技術として、例えば特許文献１には、生体内を撮像した体腔内画像（管腔内画像）に対して、注目画素とその周囲に位置する複数の周囲画素との画素値変化量をもとに異常部（病変部候補領域）を検出する画像処理装置の構成が開示されている。より詳細には、特許文献１においては、注目画素を中心に予め定められた方向（縦、横、斜め等）毎に、注目画素から所定の距離だけ離間し、相対して設定される周囲画素の平均画素値と、注目画素の画素値との差分値を算出し、これら差分値をもとに周囲に対して所定の画素値変化が生じる領域を異常部として検出している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−９３１７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のように注目画素と周囲画素との画素値変化から異常部を検出する手法においては、検出対象とする異常部の大きさに応じて、注目画素と周囲画素との距離を設定する必要がある。このため、小さな異常部を検出するために距離を短く設定した場合、異常部が大きいと、注目画素と周囲画素との間で境界を表す画素値変化を十分に検出できないことがあり、検出感度が低下してしまうおそれがある。一方、大きな異常部を検出するために距離を長く設定した場合、異常部が小さいと、異常部の周囲よりも離れた画素の画素値変化を検出することになり、正常な画素値変化を異常部として誤検出してしまう等の問題が生じるおそれがある。
【０００５】
本発明は、上記に鑑み為されたものであって、検出対象となる異常部の大きさによらず、異常部を安定的に検出することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、画像内の各画素、又は前記画像を複数の領域に分割した各領域の特徴量を算出する特徴量算出手段と、前記特徴量を成分とする特徴空間において前記特徴量が分布する分布領域の形状を近似する近似形状を算出する近似形状算出手段と、前記近似形状及び前記分布領域の形状をもとに、前記画像内の異常部を検出する異常部検出手段とを備えることを特徴とする。
【０００７】
本発明に係る画像処理方法は、画像内の各画素、又は前記画像を複数の領域に分割した各領域の特徴量を算出する特徴量算出ステップと、前記特徴量を成分とする特徴空間において前記特徴量が分布する分布領域の形状を近似する近似形状を算出する近似形状算出ステップと、前記近似形状及び前記分布領域の形状をもとに、前記画像内の異常部を検出する異常部検出ステップとを含むことを特徴とする。
【０００８】
本発明に係る画像処理プログラムは、画像内の各画素、又は前記画像を複数の領域に分割した各領域の特徴量を算出する特徴量算出ステップと、前記特徴量を成分とする特徴空間において前記特徴量が分布する分布領域の形状を近似する近似形状を算出する近似形状算出ステップと、前記近似形状及び前記分布領域の形状をもとに、前記画像内の異常部を検出する異常部検出ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、画像内の各画素又は各領域の特徴量を成分とする特徴空間における特徴量の分布領域の形状を近似する近似形状をもとに異常部を検出するので、画像内に含まれる異常部の大きさによらず、異常部を安定的に検出することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図２】図２は、図１に示す画像処理装置の動作を示すフローチャートである。
【図３】図３は、Ｒ−Ｇ特徴空間における特徴量の分布及び該分布に直線を当て嵌めた結果の例を示すグラフである。
【図４】図４は、変形例１−１に係る画像処理装置の図形当て嵌め部の構成を示すブロック図である。
【図５】図５は、変形例１−１に係る画像処理装置の動作を示すフローチャートである。
【図６】図６は、Ｒ−Ｇ特徴空間における特徴量の分布及び該分布に曲線を当て嵌めた結果の例を示すグラフである。
【図７】図７は、変形例１−２に係る画像処理装置の図形当て嵌め部の構成を示すブロック図である。
【図８】図８は、変形例１−２に係る画像処理装置の動作を示すフローチャートである。
【図９】図９は、変形例１−３に係る画像処理装置の異常部検出部の構成を示すブロック図である。
【図１０】図１０は、変形例１−３に係る画像処理装置の動作を示すフローチャートである。
【図１１】図１１は、変形例１−４に係る画像処理装置の異常部検出部の構成を示すブロック図である。
【図１２】図１２は、変形例１−４に係る画像処理装置の動作を示すフローチャートである。
【図１３】図１３は、本発明の実施の形態２に係る画像処理装置の演算部の構成を示すブロック図である。
【図１４】図１４は、実施の形態２に係る画像処理装置の動作を示すフローチャートである。
【図１５】図１５は、図１４のステップＳ２００における詳細な動作を示すフローチャートである。
【図１６】図１６は、変形例２−１に係る画像処理装置のロバスト推定部の構成を示すブロック図である。
【図１７】図１７は、変形例２−１に係る画像処理装置の動作を示すフローチャートである。
【図１８】図１８は、本発明の実施の形態３に係る画像処理装置の演算部の構成を示すブロック図である。
【図１９】図１９は、実施の形態３に係る画像処理装置の動作を示すフローチャートである。
【図２０】図２０は、図１９のステップＳ３０１における詳細な動作を示すフローチャートである。
【図２１】図２１は、画像内の画素の特徴量が２つのクラスタにクラスタリングされた例を示す模式図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態に係る画像処理装置について、図面を参照しながら説明する。なお、これらの実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
【００１２】
以下においては、一例として、内視鏡等の医用観察装置によって被検体の管腔内を撮像した管腔内画像（以下、単に画像ともいう）に対する画像処理を説明する。このような管腔内画像は、例えば、各画素位置においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分に対する画素レベル（画素値）を持つカラー画像である。また、一般に、管腔内画像には消化管内壁の粘膜が映り、時として食物残渣や泡などが映る。管腔内画像における検査領域は、基本的に粘膜領域であり、病変部は粘膜領域内において通常粘膜とは異なる色調として映ることが多い。
なお、本発明は、管腔内画像に限定されることなく、他の一般的な画像内から特定の領域を検出する画像処理装置に広く適用することが可能である。
【００１３】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。図１に示すように、画像処理装置１は、当該画像処理装置１全体の動作を制御する制御部１０と、医用観察装置によって撮像された管腔内画像の画像データを取得する画像取得部１１と、外部から入力された入力信号を受け付ける入力部１２と、管腔内画像や各種情報を含む画面を表示する表示部１３と、記録部１４と、管腔内画像から異常部を検出する演算処理を行う演算部１００とを備える。
【００１４】
制御部１０は、ＣＰＵ等のハードウェアによって実現され、記録部１４に格納された各種プログラムを読み込むことにより、画像取得部１１から入力される画像データや入力部１２から入力される操作信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。
【００１５】
画像取得部１１は、医用観察装置を含むシステムの態様に応じて適宜構成される。例えば、医用観察装置がカプセル型内視鏡であり、医用観察装置との間における管腔内画像の画像データの受け渡しに可搬型の記録媒体が使用される場合、画像取得部１１は、この記録媒体を着脱自在に装着し、記録媒体に格納された画像データを読み出すリーダ装置で構成される。また、医用観察装置によって取得された管腔内画像の画像データを保存しておくサーバを設置する場合、画像取得部１１は、サーバと接続される通信装置等で構成され、サーバとデータ通信を行って画像データを取得する。或いは、画像取得部１１を、内視鏡等の医用観察装置から、ケーブルを介して画像信号を入力するインターフェース装置等で構成しても良い。
【００１６】
入力部１２は、例えばキーボードやマウス、タッチパネル、各種スイッチ等によって実現され、外部から受け付けた入力信号を制御部１０に出力する。
表示部１３は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現される。
【００１７】
記録部１４は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくは外付けハードディスク、又は、ＣＤ−ＲＯＭ等の情報記録媒体及びその読取装置等によって実現される。記録部１４は、画像取得部１１によって取得された管腔内画像の画像データの他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。例えば、記録部１４は、管腔内画像から異常部を検出する画像処理プログラム１４ａを格納する。
【００１８】
演算部１００は、ＣＰＵ等のハードウェアによって実現され、画像処理プログラム１４ａを読み込むことにより、管腔内画像の画像データを処理し、管腔内画像から病変部の候補領域である異常部を検出するための種々の演算処理を行う。演算部１００は、画像内の各画素の特徴量を算出する特徴量算出部１１０と、特徴量を成分とする特徴空間において該特徴量が分布する分布領域の形状（以下、分布形状ともいう）を近似する近似形状（以下、モデルともいう）を算出する近似形状算出部１２０と、近似形状と分布形状との相関に基づいて、画像内の異常部を検出する異常部検出部１３０とを備える。
【００１９】
この内、特徴量算出部１１０は、好ましくは２種類以上の特徴量を算出する。それにより、後の処理において、これらの２種類以上の特徴量に対応する軸により張られた２次元以上の特徴空間が生成される。
【００２０】
近似形状算出部１２０は、特徴量の分布形状に対して幾何学図形を当て嵌める図形当て嵌め部１２１を有し、図形当て嵌め１２１部が当て嵌めた図形を、特徴量の分布形状の近似形状とする。図形当て嵌め部１２１は、具体的には、特徴量の分布形状に対して直線を当て嵌める直線当て嵌め部１２１ａを含む。
【００２１】
異常部検出部１３０は、画像内の各画素の特徴量と上記モデルとの特徴空間内距離を算出する特徴空間内距離算出部１３１を有し、特徴空間内距離をもとに異常部を検出することを特徴とする。
【００２２】
次に、画像処理装置１の動作について説明する。図２は、画像処理装置１の動作を示すフローチャートである。
まず、ステップＳ１０１において、演算部１００は、記録部１４から処理対象の画像を取得する。
【００２３】
続くステップＳ１０２において、特徴量算出部１１０は、各画素の特徴量としてＲ成分の値及びＧ成分の値を取得する。ここで、Ｒ成分及びＧ成分の値を取得するのは、これら２つの成分が生体内における吸収・散乱の度合いが異なる成分であり、２つの成分の差をもとに病変部を精度良く検出できるためである。なお、当然ながら、他の色成分の組み合わせ、或いは公知の変換処理により２次的に算出される値を特徴量として用いても良い。具体的には、ＹＣｂＣｒ変換により算出される輝度、色差、ＨＳＩ変換により算出される色相、彩度、明度等を用いることができる。
【００２４】
ステップＳ１０３において、直線当て嵌め部１２１ａは、Ｒ成分及びＧ成分の値を軸とする２次元の特徴空間（Ｒ−Ｇ特徴空間）において、ステップＳ１０２において算出された特徴量の分布に対して直線（図形）を当て嵌めることにより、特徴量の分布形状を近似するモデルを算出する。具体的には、直線を表す次式（１）を、最小二乗法により特徴量の分布に当て嵌め、係数ａ及びｂを求める。
Ｇ＝ａ×Ｒ＋ｂ …（１）
【００２５】
式（１）において、係数ａ及びｂは、特徴量の分布を構成する各画素のＲ成分の値Ｒｉ及びＧ成分の値Ｇｉ（ｉ＝１〜ｎ、ただし、ｎはデータ数）を用いて、最小二乗法により得られる次式（２）によって与えられる。
【数１】
【００２６】
図３は、Ｒ−Ｇ特徴空間における特徴量（Ｒｉ，Ｇｉ）の分布、及び、この分布に直線を当て嵌めた結果の例を示すグラフである。なお、図３においては、Ｒ成分及びＧ成分の値を、上限が１となるように規格化している。図３に示す直線Ｌ１は、特徴量の分布形状を近似するモデル（直線モデル）であり、式Ｇ＝ａ0×Ｒ＋ｂ0（ａ0、ｂ0は定数）により表される。
なお、本実施の形態１においては上式（１）を当て嵌めに用いたが、それ以外の直線の式（ａＲ＋ｂＧ＋ｃ＝０）を用いても良い。
【００２７】
ステップＳ１０４において、特徴空間内距離算出部１３１は、各画素の特徴量とモデルとの特徴空間内距離を算出する。具体的には、各画素のＲ成分の値Ｒｉを、直線モデルの式Ｇ＝ａ0×Ｒ＋ｂ0の右辺のＲに代入して直線上のＧ成分の値Ｇｉmodelを求め、この値Ｇｉmodelと実際のＧ成分の値Ｇｉとの差の絶対値ｄ＝｜Ｇｉ−Ｇｉmodel｜を算出する。この値ｄが、直線モデルと各画素の特徴量を示す点（Ｒｉ，Ｇｉ）との間のＧ成分軸に平行な特徴空間内距離である。
なお、特徴空間内距離としては、点（Ｒｉ，Ｇｉ）と直線モデルとの距離、即ち、点（Ｒｉ，Ｇｉ）から直線ａＲ＋ｂＧ＋ｃ＝０に下ろした垂線の長さを用いても良い。
【００２８】
ステップＳ１０５において、異常部検出部１３０は、特徴空間内距離ｄを閾値処理することにより、病変部の候補領域である異常部に相当する画素（異常部画素）を検出する。具体的には、特徴空間内距離ｄが所定の閾値以上となる画素を求め、該画素を異常部画素として検出する。例えば、図３においては、閾値Ｔｈ1及び閾値Ｔｈ2を超える領域（代表的には、領域Ｓ1、領域Ｓ2等）に含まれる画素が異常部画素として検出される。
【００２９】
さらに、ステップＳ１０６において、演算部１００は、異常部画素の検出結果を出力する。具体的には、ステップＳ１０５において検出された異常部画素を画像上でマークして表示部１３に表示するなどする。併せて、演算部１００は、異常部画素の検出結果を記録部１４に記録する。これにより、画像処理装置１における処理は終了する。
【００３０】
以上説明したように、実施の形態１によれば、画像内の画素の特徴量の分布形状を近似するモデルに対し、特徴空間内距離が所定の閾値以上となる画素を病変部として検出するので、画像内における病変部の大きさによらず、病変部を安定的に検出することが可能となる。
【００３１】
なお、図３において、領域Ｓ1に含まれる画素は、モデルに対してＧ成分が大きいという特徴を有する。このような異常部は、Ｇ成分の吸収が小さい退色系（白色系）の病変部である可能性がある。一方、領域Ｓ2に含まれる画素は、モデルに対してＧ成分が小さいという特徴を有する。このような異常部は、Ｇ成分の吸収が大きい赤色系の病変部である可能性がある。従って、特徴空間内距離ｄを符号を含めて評価して、病変部の種類を識別するようにしても良い。
【００３２】
（変形例１−１）
次に、実施の形態１の変形例１−１について説明する。
変形例１−１に係る画像処理装置は、図１に示す図形当て嵌め部１２１の代わりに、図４に示す図形当て嵌め部１２２を有する。図形当て嵌め部１２２は、特徴量の分布形状に対して曲線を当て嵌める曲線当て嵌め部１２２ａを含む。その他の構成は、実施の形態１と同様である。
【００３３】
図５は、変形例１−１に係る画像処理装置の動作を示すフローチャートである。なお、ステップＳ１０１、１０２、及びＳ１０４〜Ｓ１０６の動作は、実施の形態１と同様である。
【００３４】
ステップＳ１０２に続くステップＳ１１３において、曲線当て嵌め部１２２ａは、Ｒ−Ｇ特徴空間において、ステップＳ１０２において算出された特徴量の分布に対して曲線（図形）を当て嵌めることにより、特徴量の分布形状を近似するモデルを算出する。具体的には、曲線を表す次式（３）を、最小二乗法により特徴量の分布に当て嵌め、係数ａ、ｂ、ｃを求める。
Ｇ＝ａ×Ｒ2＋ｂ×Ｒ＋ｃ …（３）
【００３５】
式（３）において、係数ａ、ｂ、及びｃは、特徴量の分布を構成する各画素のＲ成分の値Ｒｉ及びＧ成分の値Ｇｉ（ｉ＝１〜ｎ、ただし、ｎはデータ数）を用いて、最小二乗法により得られる次式（４）によって与えられる。
【数２】
【００３６】
図６は、Ｒ−Ｇ特徴空間における特徴量（Ｒｉ，Ｇｉ）の分布、及び、この分布に２次曲線を当て嵌めた結果の例を示すグラフである。図６に示す２次曲線Ｌ２は、特徴量の分布形状を近似するモデル（曲線モデル）であり、式Ｇ＝ａ1×Ｒ2＋ｂ1×Ｒ＋ｃ1（ａ1、ｂ1、ｃ1は定数）により表される。
その後、画像処理装置の動作はステップＳ１０４に移行する。
【００３７】
なお、変形例１−１においては、２次曲線を当て嵌めに用いたが、それ以外の曲線を用いても良い。例えば、べき乗（Ｇ＝ａ×Ｒb）、対数（Ｇ＝ａ×logＲ＋ｂ）、指数（Ｇ＝ａ×ｂR）等の曲線を当て嵌めに用いることができる。
【００３８】
以上説明したように、変形例１−１によれば、直線よりも自由度の高い曲線（図形）によって特徴量の分布形状を近似するので、病変部をより安定的に検出することが可能となる。
【００３９】
（変形例１−２）
次に、実施の形態１の変形例１−２について説明する。
変形例１−２に係る画像処理装置は、図１に示す図形当て嵌め部１２１の代わりに、図７に示す図形当て嵌め部１２３を有する。図形当て嵌め部１２３は、特徴量の分布形状に対して、複数の曲線（図形）を当て嵌める曲線当て嵌め部１２３ａと、複数の曲線を当て嵌めた結果の内から、最も当て嵌め精度の高い結果を選択する当て嵌め結果選択部１２３ｂとを含む。
【００４０】
図８は、変形例１−２に係る画像処理装置の動作を示すフローチャートである。なお、ステップＳ１０１、Ｓ１０２、及びＳ１０４〜Ｓ１０６の動作は、実施の形態１と同様である。
【００４１】
ステップＳ１０２に続くステップＳ１２３において、曲線当て嵌め部１２３ａは、Ｒ−Ｇ特徴空間において、ステップＳ１０２において算出された特徴量の分布に対して複数の曲線（図形）を当て嵌めることにより、特徴量の分布形状を近似する複数のモデルを算出する。具体的には、変形例１−１と同様に、曲線の式を特徴量の分布に当て嵌めて係数を算出する処理を、互いに異なる複数種類の曲線（２次曲線、３次曲線、べき乗、指数、対数等）の式に対して行う。なお、このとき、直線（１次曲線）の式を当て嵌め処理に含めても良い。
【００４２】
ステップＳ１２４において、当て嵌め結果選択部１２３ｂは、最も当て嵌め精度の高い曲線を選択し、選択した曲線を当該分布形状のモデルとする。具体的には、ステップＳ１２３において算出したモデルの式Ｇ＝ｆ（Ｒ）の各々に対し、次式（５）に示す最小二乗法における誤差評価関数を用いて評価値Ｅを算出し、この評価値Ｅが最小となる曲線の当て嵌め結果を選択する。
【数３】
【００４３】
例えば、当て嵌めた曲線が式（３）に示す２次曲線である場合、評価値は次式（６）によって与えられる。
【数４】
その後、画像処理装置の動作はステップＳ１０４に移行する。
【００４４】
以上説明したように、変形例１−２によれば、最も当て嵌め精度の高い曲線（図形）により特徴量の分布形状を近似するので、病変部をより安定的に検出することが可能となる。
【００４５】
なお、上記変形例１−２においては、Ｒ−Ｇ特徴空間における特徴量を示す点（Ｒｉ，Ｇｉ）と曲線モデル（Ｇ＝ｆ（Ｒ））とのＧ成分軸における誤差を用いて評価値Ｅを算出しているが、特徴量を示す点と曲線モデルとの間の距離の総和を取ることによって評価値を算出しても良い。
【００４６】
（変形例１−３）
次に、実施の形態１の変形例１−３について説明する。
変形例１−３に係る画像処理装置は、図１に示す異常部検出部１３０の代わりに、図９に示す異常部検出部１４０を備える。異常部検出部１４０は、特徴空間内距離算出部１３１に加えて、特徴空間内距離の分布の外れ値を検出する外れ値検出部１４１を有し、外れ値検出部１４１による検出結果をもとに異常部を検出する。
【００４７】
図１０は、変形例１−３に係る画像処理装置の動作を示すフローチャートである。なお、ステップＳ１０１〜Ｓ１０４及びＳ１０６の動作は、実施の形態１と同様である。
ステップＳ１０４に続くステップＳ１１５において、外れ値検出部１４１は、特徴空間内距離ｄの分布の外れ値を検出することにより異常部画素を検出する。具体的には、ステップＳ１０４において算出された全ての特徴空間内距離ｄの分散値及び標準偏差を求め、この標準偏差の所定倍以上となる特徴空間内距離ｄを有する画素を異常部画素として検出する。
【００４８】
以上説明したように、変形例１−３によれば、特徴空間内距離の分布に応じて適応的に設定される閾値をもとに特徴空間内距離の外れ値を検出するので、安定的に病変部を検出することができる。
【００４９】
（変形例１−４）
次に、実施の形態１の変形例１−４について説明する。
変形例１−４に係る画像処理装置は、図１に示す異常部検出部１３０の代わりに、図１１に示す異常部検出部１５０を備える。異常部検出部１５０は、特徴空間内距離算出部１３１に加えて、特徴空間内距離ｄをもとに所定の画素を検出し、検出した画素画像内において連結する領域連結部１５１を有し、領域連結部１５１によって連結された連結領域の特徴量をもとに異常部を検出する。
【００５０】
図１２は、変形例１−４に係る画像処理装置の動作を示すフローチャートである。なお、ステップＳ１０１〜Ｓ１０４及びＳ１０６の動作は、実施の形態１と同様である。
ステップＳ１０４に続くステップＳ１２５において、領域連結部１５１は、特徴空間内距離が所定の閾値以上である画素を画像内で連結する。具体的には、ステップＳ１０４において算出された特徴空間内距離ｄが所定の閾値以上となる画素を抽出し、これらの画素の座標をもとに画素を画像化する。その後、公知のラベリング処理（参考：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」、第１８１頁）により、互いに隣接する閾値以上の画素を連結した連結領域を求める。
【００５１】
続くステップＳ１２６において、異常部検出部１５０は、連結領域の面積（即ち、画素数）を算出し、面積が閾値以上となる連結領域内の画素を異常部画素として検出する。
その後、動作はステップＳ１０６に移行する。
【００５２】
以上説明したように、変形例１−４によれば、特徴空間内距離ｄが閾値以上となる画素のうち、画像内で所定の大きさの領域を形成する画素のみを異常部画素として検出するので、微小なノイズ等の誤検出を抑制して、病変部をより安定的に検出することが可能となる。
【００５３】
（実施の形態２）
次に、本発明の実施の形態２について説明する。
実施の形態２に係る画像処理装置は、図１に示す演算部１００の代わりに、図１３に示す演算部２００を備える。演算部２００は、特徴量算出部１１０と、近似形状算出部２１０と、異常部検出部１３０とを備える。この内、特徴量算出部１１０及び異常部検出部１３０の構成及び動作は、実施の形態１と同様である。
【００５４】
近似形状算出部２１０は、特徴量の分布の外れ値を除いてモデルを推定するロバスト推定部２１１を有し、ロバスト推定部２１１による推定結果をもとに、特徴量の分布形状を近似する。より詳細には、ロバスト推定部２１１は、モデルの推定と推定結果に基づく外れ値除去とを再帰的に繰返す繰返し推定部２１１ａを含む。
【００５５】
図１４は、実施の形態２に係る画像処理装置の動作を示すフローチャートである。なお、ステップＳ１０１、Ｓ１０２、及びＳ１０４〜Ｓ１０６の動作は、実施の形態１と同様である。
【００５６】
ステップＳ１０２に続くステップＳ２００において、ロバスト推定部２１１は、Ｒ−Ｇ特徴空間において、ステップＳ１０２において算出された特徴量の分布に対し、ロバスト推定を用いてモデルを当て嵌めることにより特徴量の分布形状を近似する。
【００５７】
このステップＳ２００における詳細な動作を、図１５を参照しながら説明する。
ステップＳ２０１において、繰返し推定部２１１ａは、Ｒ−Ｇ特徴空間における特徴量の分布に対して直線を当て嵌めることにより、直線モデルを算出する（図３参照）。なお、このステップＳ２０１における詳細な動作は、図２のステップＳ１０３において説明したものと同様である。
【００５８】
続くステップＳ２０２において、繰返し推定部２１１ａは、各画素の特徴量と直線モデルとの特徴空間内距離ｄ（図３参照）を算出する。なお、このステップＳ２０２における詳細な動作は、図２のステップＳ１０４において説明したものと同様である。
【００５９】
ステップＳ２０３において、繰返し推定部２１１ａは、特徴空間内距離の分布に対して外れ値となる画素を除外する。より詳細には、ステップＳ２０２において算出された全ての特徴空間内距離ｄの分散値及び標準偏差を求め、この標準偏差の所定倍以上となる特徴空間内距離ｄを有する画素を外れ値として除外する。
【００６０】
ステップＳ２０４において、繰返し推定部２１１ａは、外れ値を除外した後のＲ−Ｇ特徴空間における特徴量の分布に対して再度直線を当て嵌めることにより、直線モデルを算出する。なお、このステップＳ２０４における詳細な動作は、外れ値を除外したことにより使用するデータ（画素値）数が減少したことを除いて、ステップＳ２０１と同様である。
【００６１】
ステップＳ２０５において、繰返し推定部２１１ａは、当て嵌め回数が所定値以上となったか否かを判定する。当て嵌め回数が所定値未満である場合（ステップＳ２０５：Ｎｏ）、繰返し推定部２１１ａは、ステップＳ２０２〜Ｓ２０４を繰り返す。一方、当て嵌め回数が所定値以上となった場合（ステップＳ２０５：Ｙｅｓ）、この時点でのステップＳ２０４における当て嵌め結果を、特徴量の分布形状のモデルとする（ステップＳ２０６）。
その後、動作はメインルーチンに戻る。
【００６２】
以上説明したように、実施の形態２によれば、特徴量の分布から外れ値を除外することにより、特徴量の分布形状に対してより精度の高い近似を行うことができるので、病変部をさらに安定的に検出することが可能となる。
【００６３】
（変形例２−１）
次に、実施の形態２の変形例２−１について説明する。
変形例２−１に係る画像処理装置は、図１３に示すロバスト推定部２１１の代わりに、図１６に示すロバスト推定部２１２を有する。ロバスト推定部２１２は、特徴量の分布の内から抽出した複数の異なるサンプリングデータをもとに推定した複数の推定結果から、最も推定精度の高い推定結果を探索する最良推定探索部２１２ａを含む。
【００６４】
次に、変形例２−１に係る画像処理装置の動作について説明する。変形例２−１に係る画像処理装置全体の動作については図１４に示すものと同様であり、ステップＳ２００における詳細な動作が異なっている。
図１７は、図１４のステップＳ２００における詳細な動作を示すフローチャートである。
【００６５】
まず、ステップＳ２１１において、最良推定探索部２１２ａは、Ｒ−Ｇ特徴空間における特徴量の分布から、複数の特徴量データを抽出する。なお、抽出する特徴量データは、ランダムであって良い。
【００６６】
続くステップＳ２１２において、最良推定探索部２１２ａは、抽出した特徴量データに対して直線を当て嵌めることにより、直線モデルを算出する。なお、このステップＳ２１２における詳細な動作は、使用するデータ（画素値）が異なる点を除いて、図２のステップＳ１０３において説明したものと同様である。
【００６７】
ステップＳ２１３において、最良推定探索部２１２ａは、各画素の特徴量と直線モデルとの特徴空間内距離ｄ（図３参照）を算出する。なお、このステップＳ２１３における詳細な動作は、図２のステップＳ１０４において説明したものと同様である。
【００６８】
ステップＳ２１４において、最良推定探索部２１２ａは、特徴空間内距離ｄが所定の閾値以下になる画素の個数Ｎを算出する。
【００６９】
ステップＳ２１５において、最良推定探索部２１２ａは、当て嵌め回数が所定以上となったか否かを判定する。当て嵌め回数が所定値未満である場合（ステップＳ２０５：Ｎｏ）、最良推定探索部２１２ａは、ステップＳ２１１〜Ｓ２１４の処理を繰り返す。一方、当て嵌め回数が所定値以上となった場合（ステップＳ２１５：Ｙｅｓ）、特徴空間内距離ｄが閾値以下になる画素の個数Ｎが最大となるモデルを選択し、このモデルを、特徴量の分布形状のモデルとする（ステップＳ２１６）。
その後、画像処理装置の動作はメインルーチンに戻る。
【００７０】
以上説明したように、変形例２−１によれば、複数回推定を行うことにより得られた互いに異なる推定結果の中から、最良の推定結果を探索することにより、特徴量の分布形状に対して、より精度の高い近似を行うことができるので、病変部をさらに安定的に検出することが可能となる。
【００７１】
（実施の形態３）
次に、本発明の実施の形態３について説明する。
実施の形態３に係る画像処理装置は、図１に示す演算部１００の代わりに、図１８に示す演算部３００を備える。演算部３００は、特徴量算出部１１０と、画像内の検査領域を特定する検査領域特定部３１０と、検査領域特定部３１０によって特定された検査領域に対し、Ｒ−Ｇ特徴空間における特徴量の分布形状を近似する近似形状を算出する近似形状算出部３２０と、分布形状及びその近似形状をもとに検査領域から異常部を検出する異常部検出部３３０とを備える。この内、特徴量算出部１１０の構成及び動作は、実施の形態１と同様である。また、近似形状算出部３２０及び異常部検出部３３０の構成及び動作は、処理対象が画像全体ではなく検査領域内に限定されるという点を除いて、図１に示す近似形状算出部１２０及び異常部検出部１３０とそれぞれ同様である。
【００７２】
検査領域特定部３１０は、画像内の各画素の特徴量の分布をクラスタ分けするクラスタリング部３１１と、検査領域内の各画素の特徴量が含まれるクラスタを特定するクラスタ特定部３１２とを有し、クラスタ特定部３１２によるクラスタの特定結果をもとに、検査領域を特定する。
【００７３】
図１９は、実施の形態３に係る画像処理装置の動作を示すフローチャートである。なお、ステップＳ１０１、Ｓ１０２、及びＳ１０６の動作は、実施の形態１と同様である。
ステップＳ１０２に続くステップＳ３０１において、検査領域特定部３１０は、各画素の特徴量をもとに検査領域を特定する。
【００７４】
このステップＳ３０１における詳細な動作を、図２０及び図２１を参照しながら説明する。
図２０のステップＳ３１１において、クラスタリング部３１１は、画像内の各画素の特徴量の分布をクラスタ分け（クラスタリング）する。クラスタリング法としては、階層法、ｋ-ｍｅａｎｓ法（参考：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」、第２３１頁）、期待値最大化アルゴリズム（ＥＭアルゴリズム）、自己組織化マップ等の公知の手法を用いて実現することができる。図２１は、画像内の画素の特徴量（Ｒｉ，Ｇｉ）が２つのクラスタＣＬ1、ＣＬ2にクラスタリングされた例を示す。
【００７５】
続くステップＳ３１２において、クラスタ特定部３１２は、検査領域である粘膜領域に対応するクラスタを特定する。クラスタの特定方法としてはいくつかの手法を用いることができる。以下においては、事前に作成した教師データ（画素毎の特徴量と検査領域の判定結果とが対になったデータ）の特徴量分布を確率モデルで近似し、これをもとに粘膜領域を特定する方法を説明する。
【００７６】
まず、クラスタ特定部３１２は、教師データにおける粘膜領域に属する画素の数を、教師データにおける全画素の数で割ることにより、粘膜領域の発生確率Ｐｃを推定する。
次に、クラスタ特定部３１２は、教師データのＲ−Ｇ特徴空間における粘膜領域の特徴量分布、及び非粘膜領域（粘膜領域以外の部分）の特徴量分布の各々に対して、公知の期待値最大化アルゴリズム（ＥＭアルゴリズム）を用いた混合正規分布の当て嵌めを行うことにより、粘膜領域及び非粘膜双方の特徴量分布の確率密度関数を推定する。この場合、確率密度関数は、正規分布ｆ（Ｃｉ）の線形和の式である次式（７）によって与えられる。
【数５】
式（７）において、特徴ベクトルＣｉは、画像内の画素の特徴量（Ｒｉ，Ｇｉ）を表すベクトルである。また、ｆｊ（Ｃｉ）は、ｊ番目（ｊ＝１、２、…、ｊＮ）の正規分布を表す式であり、ａｊは所定の係数（定数）である。
【００７７】
また、クラスタ特定部３１２は、クラスタリング部３１１によりクラスタ分けされた各クラスタＣＬ1、ＣＬ2の重心座標Ｃg1（Ｒg1，Ｇg1）、Ｃg2（Ｒg2，Ｇg2）をそれぞれ算出する。なお、重心座標は、当該クラスタに含まれる画素の特徴量の平均値である。
【００７８】
そして、クラスタ特定部３１２は、これらの重心座標Ｃg1（Ｒg1，Ｇg1）、Ｃg2（Ｒg2，Ｇg2）と、前述の粘膜領域の発生確率Ｐｃ及び確率密度関数ｆ1、並びに、非粘膜領域の発生確率（＝１−Ｐｃ）及び確率密度関数ｆ2を用いて公知の最大事後確率推定を行うことにより、重心座標Ｃg1、Ｃg2の粘膜領域への帰属確率を推定する。具体的には、粘膜領域への帰属確率Ｐは、次式（８）によって与えられる。
【数６】
【００７９】
クラスタ特定部３１２は、重心座標Ｃg1、Ｃg2の帰属確率が所定の閾値（例えば、０．５等）以上であるクラスタを、粘膜領域を示すクラスタと特定する。
この後、動作はメインルーチンに戻る。
【００８０】
ステップＳ３０２において、近似形状算出部３２０は、Ｒ−Ｇ特徴空間における検査領域に対応する画素の特徴量の分布に対し、例えば直線等の図形を当て嵌めることにより、特徴量の分布形状を近似するモデルを算出する。なお、当て嵌める図形は、直線の他、実施の形態２において説明した曲線等の図形であって良い。
【００８１】
ステップＳ３０３において、異常部検出部３３０は、検査領域に対応する各画素の特徴量と、当て嵌めによって得られたモデルとの特徴空間内距離を算出する。
ステップＳ３０４において、異常部検出部３３０は、特徴空間内距離を閾値処理することにより、異常部画素を検出する。
【００８２】
以上説明したように、実施の形態３によれば、画像内の検査領域（粘膜領域）を特定し、検査領域内の画素のみの特徴量の分布形状を近似するので、食物残渣や泡等の不要な領域の特徴量の分布に影響されない、精度の高いモデルを生成することができ、安定的に病変部を検出することが可能となる。
【００８３】
（変形例３−１）
実施の形態３においては、確率モデルをもとに粘膜領域のクラスタを特定する方法を説明したが、それ以外の方法を用いても良い。例えば、画像内の画素の特徴量をクラスタリング（ステップＳ３０１）した後、各クラスタの重心座標（ＲC1，ＧC1）、（ＲC2，ＧC2）を算出し、これらの重心座標を閾値処理することにより、粘膜領域のクラスタを特定しても良い。この際に用いられる閾値は、例えば教師データから取得しても良い。或いは、各クラスタに含まれる各画素に対し、特徴量を閾値処理することにより粘膜領域であるか否かを判別し、粘膜領域と判別された画素の割合が所定の閾値以上となるクラスタを、粘膜領域のクラスタと判定しても良い。なお、各画素の判別に用いられる閾値についても、例えば教師データから取得すれば良い。
【００８４】
（実施の形態４）
以上説明した実施の形態１〜３においては、画像内の各画素の特徴量の分布に基づいて異常部の検出処理を行ったが、画素単位ではなく、画像を複数の領域に分割した各領域の特徴量の分布に基づいて同様の処理を行っても良い。
【００８５】
画像の複数領域への分割は、例えば以下のようにして行う。まず、処理対象の画像に含まれる各画素のエッジ強度を算出する。エッジ強度の算出に際しては、ソーベルフィルタ等の微分フィルタ処理など、公知の手法を用いれば良い。続いて、画像をエッジ強度の尾根を境界とする複数のエッジ領域に分割する。より詳細には、各画素のエッジ強度を画素値とするエッジ強度画像を作成し、エッジ強度画像内の画素におけるエッジ強度の勾配方向を取得する。このときの勾配方向は、エッジ強度の値が小さくなる方向とする。そして、各画素から出発して勾配方向に沿って移動した際に到達する極小値の画素を探索し、互いに隣接する極小値の画素に到達した出発点の画素が同一の領域に含まれるように画像を分割する（参考：国際公開第２００６／０８０２３９号）。
【００８６】
この他、画像の分割方法としては、分水嶺（watershed）アルゴリズム（参考：Luc Vincent and Pierre Soille，“Watersheds in Digital Spaces： An Efficient Algorithm Based on Immersion Simulations”，IEEE Transactions on Pattern Analysis and Machine Intelligence， Vol．13，No．6， pp．583−598，June 1991）等の公知の手法を利用することもできる。
【００８７】
実施の形態４によれば、複数の画素がまとまった領域単位の特徴量に基づく特徴量の分布形状が得られるので、領域ごとの特徴が反映された信頼性の判定及び判別基準の作成を行うことができると共に、演算速度を向上させることが可能となる。
【００８８】
（実施の形態５）
実施の形態１〜３においては、直線又は曲線を特徴量の分布形状に当て嵌めることにより、分布形状を近似する直線モデル又は曲線モデルを算出したが、それ以外の種々の図形を用いて当て嵌めを行っても良い。例えば、２種類の特徴量を成分とする２次元特徴空間における特徴量の分布形状を近似する場合、円、楕円、三角形、四角形等の図形を当て嵌めても良い。なお、特徴量の分布形状をこれらの図形により近似する場合、特徴空間内距離としては、例えば、特徴量を表す点とモデルの周との間の距離を算出すれば良い。
【００８９】
（実施の形態６）
実施の形態１〜３においては、具体例として、２種類の特徴量（Ｒ成分及びＧ成分の値）を用いて演算処理を行ったが、３種類以上の特徴量を用いても良い。この場合、当て嵌めに用いる図形としては、直線及び曲線の他、２次元図形や３次元図形（例えば、球、円柱等）を用いることもできる。
【００９０】
以上説明した実施の形態１〜６及び変形例に係る画像処理装置は、記録媒体に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することにより実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク（ＬＡＮ）、広域エリアネットワーク（ＷＡＮ）、又は、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１〜６及び変形例に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続された種々の出力機器（ビュアーやプリンタ等）に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置（記録媒体及びその読取装置等）に画像処理結果を格納するようにしても良い。
【００９１】
なお、本発明は、実施の形態１〜６及び変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。
【符号の説明】
【００９２】
１ 画像処理装置
１０ 制御部
１１ 画像取得部
１２ 入力部
１３ 表示部
１４ 記録部
１４ａ 画像処理プログラム
１００、２００、３００ 演算部
１１０ 特徴量算出部
１２０、２１０、３２０ 近似形状算出部
１２１、１２２、１２３ 図形当て嵌め部
１２１ａ 直線当て嵌め部
１２２ａ、１２３ａ 曲線当て嵌め部
１２３ｂ 当て嵌め結果選択部
１３０、１４０、１５０ 異常部検出部
１３１ 特徴空間内距離算出部
１４１ 外れ値検出部
１５１ 領域連結部
２１１、２１２ ロバスト推定部
２１１ａ 繰返し推定部
２１２ａ 最良推定探索部
３１０ 検査領域特定部
３１１ クラスタリング部
３１２ クラスタ特定部
３３０ 異常部検出部
【特許請求の範囲】
【請求項１】
画像内の各画素、又は前記画像を複数の領域に分割した各領域の特徴量を算出する特徴量算出手段と、
前記特徴量を成分とする特徴空間において前記特徴量が分布する分布領域の形状を近似する近似形状を算出する近似形状算出手段と、
前記近似形状及び前記分布領域の形状をもとに、前記画像内の異常部を検出する異常部検出手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記特徴量算出手段は、２種類以上の特徴量を算出し、
前記特徴空間は、前記２種類以上の特徴量を成分とする２次元以上の空間であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像は管腔内画像であり、
前記特徴量算出手段は、生体内における吸収・散乱の度合いが異なる２つ以上の波長成分を特徴量として算出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記近似形状算出手段は、
前記分布領域の形状に対して幾何学図形を当て嵌める図形当て嵌め手段を備え、
前記図形当て嵌め手段が当て嵌めた図形を、前記近似形状とすることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記図形当て嵌め手段は、前記分布領域の形状に対して直線を当て嵌める直線当て嵌め手段を備えることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記図形当て嵌め手段は、前記分布領域の形状に対して曲線を当て嵌める曲線当て嵌め手段を備えることを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記図形当て嵌め手段は、複数の前記幾何学図形を当て嵌めた結果の内から、最も当て嵌め精度の高い結果を選択する当て嵌め結果選択手段を備えることを特徴とする請求項４に記載の画像処理装置。
【請求項８】
前記近似形状算出手段は、
前記特徴量の分布の外れ値を除いて前記近似形状を推定するロバスト推定手段を備え、
前記ロバスト推定手段による推定結果をもとに、前記近似形状を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記ロバスト推定手段は、前記近似形状の推定と該推定の結果に基づく外れ値除去とを再帰的に繰返す繰返し推定手段を備えることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記ロバスト推定手段は、前記特徴量の分布の内から互いに異なる複数のサンプリングデータを抽出し、該複数のサンプリングデータをもとに推定した複数の推定結果から、最も推定精度の高い推定結果を探索する最良推定探索手段を備えることを特徴とする請求項８に記載の画像処理装置。
【請求項１１】
前記異常部検出手段は、
前記画像内の各画素又は前記各領域の特徴量と前記近似形状との特徴空間内距離を算出する特徴空間内距離算出手段を備え、
前記特徴空間内距離をもとに異常部を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記異常部検出手段は、
前記特徴空間内距離の分布の外れ値を検出する外れ値検出手段をさらに備え、
前記外れ値検出手段による検出結果をもとに異常部を検出することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記異常部検出手段は、
前記特徴空間内距離をもとに所定の画素又は領域を検出し、検出した該画素又は該領域を前記画像内において連結する領域連結手段をさらに備え、
前記領域連結手段によって連結された連結領域内の前記特徴量をもとに異常部を検出することを特徴とする請求項１１に記載の画像処理装置。
【請求項１４】
前記画像内の検査領域を特定する検査領域特定手段をさらに備え、
前記近似形状算出手段は、前記検査領域内の前記特徴量を用いて前記近似形状を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項１５】
前記検査領域特定手段は、
前記画像内の特徴量の分布をクラスタ分けするクラスタリング手段と、
前記検査領域内の特徴量が含まれるクラスタを特定するクラスタ特定手段と、
を備え、
前記クラスタ特定手段による前記クラスタの特定結果をもとに、前記検査領域を特定することを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
画像内の各画素、又は前記画像を複数の領域に分割した各領域の特徴量を算出する特徴量算出ステップと、
前記特徴量を成分とする特徴空間において前記特徴量が分布する分布領域の形状を近似する近似形状を算出する近似形状算出ステップと、
前記近似形状及び前記分布領域の形状をもとに、前記画像内の異常部を検出する異常部検出ステップと、
を含むことを特徴とする画像処理方法。
【請求項１７】
画像内の各画素、又は前記画像を複数の領域に分割した各領域の特徴量を算出する特徴量算出ステップと、
前記特徴量を成分とする特徴空間において前記特徴量が分布する分布領域の形状を近似する近似形状を算出する近似形状算出ステップと、
前記近似形状及び前記分布領域の形状をもとに、前記画像内の異常部を検出する異常部検出ステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１】
画像内の各画素、又は前記画像を複数の領域に分割した各領域の特徴量を算出する特徴量算出手段と、
前記特徴量を成分とする特徴空間において前記特徴量が分布する分布領域の形状を近似する近似形状を算出する近似形状算出手段と、
前記近似形状及び前記分布領域の形状をもとに、前記画像内の異常部を検出する異常部検出手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記特徴量算出手段は、２種類以上の特徴量を算出し、
前記特徴空間は、前記２種類以上の特徴量を成分とする２次元以上の空間であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像は管腔内画像であり、
前記特徴量算出手段は、生体内における吸収・散乱の度合いが異なる２つ以上の波長成分を特徴量として算出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記近似形状算出手段は、
前記分布領域の形状に対して幾何学図形を当て嵌める図形当て嵌め手段を備え、
前記図形当て嵌め手段が当て嵌めた図形を、前記近似形状とすることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記図形当て嵌め手段は、前記分布領域の形状に対して直線を当て嵌める直線当て嵌め手段を備えることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記図形当て嵌め手段は、前記分布領域の形状に対して曲線を当て嵌める曲線当て嵌め手段を備えることを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記図形当て嵌め手段は、複数の前記幾何学図形を当て嵌めた結果の内から、最も当て嵌め精度の高い結果を選択する当て嵌め結果選択手段を備えることを特徴とする請求項４に記載の画像処理装置。
【請求項８】
前記近似形状算出手段は、
前記特徴量の分布の外れ値を除いて前記近似形状を推定するロバスト推定手段を備え、
前記ロバスト推定手段による推定結果をもとに、前記近似形状を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記ロバスト推定手段は、前記近似形状の推定と該推定の結果に基づく外れ値除去とを再帰的に繰返す繰返し推定手段を備えることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記ロバスト推定手段は、前記特徴量の分布の内から互いに異なる複数のサンプリングデータを抽出し、該複数のサンプリングデータをもとに推定した複数の推定結果から、最も推定精度の高い推定結果を探索する最良推定探索手段を備えることを特徴とする請求項８に記載の画像処理装置。
【請求項１１】
前記異常部検出手段は、
前記画像内の各画素又は前記各領域の特徴量と前記近似形状との特徴空間内距離を算出する特徴空間内距離算出手段を備え、
前記特徴空間内距離をもとに異常部を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記異常部検出手段は、
前記特徴空間内距離の分布の外れ値を検出する外れ値検出手段をさらに備え、
前記外れ値検出手段による検出結果をもとに異常部を検出することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記異常部検出手段は、
前記特徴空間内距離をもとに所定の画素又は領域を検出し、検出した該画素又は該領域を前記画像内において連結する領域連結手段をさらに備え、
前記領域連結手段によって連結された連結領域内の前記特徴量をもとに異常部を検出することを特徴とする請求項１１に記載の画像処理装置。
【請求項１４】
前記画像内の検査領域を特定する検査領域特定手段をさらに備え、
前記近似形状算出手段は、前記検査領域内の前記特徴量を用いて前記近似形状を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項１５】
前記検査領域特定手段は、
前記画像内の特徴量の分布をクラスタ分けするクラスタリング手段と、
前記検査領域内の特徴量が含まれるクラスタを特定するクラスタ特定手段と、
を備え、
前記クラスタ特定手段による前記クラスタの特定結果をもとに、前記検査領域を特定することを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
画像内の各画素、又は前記画像を複数の領域に分割した各領域の特徴量を算出する特徴量算出ステップと、
前記特徴量を成分とする特徴空間において前記特徴量が分布する分布領域の形状を近似する近似形状を算出する近似形状算出ステップと、
前記近似形状及び前記分布領域の形状をもとに、前記画像内の異常部を検出する異常部検出ステップと、
を含むことを特徴とする画像処理方法。
【請求項１７】
画像内の各画素、又は前記画像を複数の領域に分割した各領域の特徴量を算出する特徴量算出ステップと、
前記特徴量を成分とする特徴空間において前記特徴量が分布する分布領域の形状を近似する近似形状を算出する近似形状算出ステップと、
前記近似形状及び前記分布領域の形状をもとに、前記画像内の異常部を検出する異常部検出ステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１３−５１９８８（Ｐ２０１３−５１９８８Ａ）
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願番号】特願２０１１−１９００７３（Ｐ２０１１−１９００７３）
【出願日】平成２３年８月３１日（２０１１．８．３１）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願日】平成２３年８月３１日（２０１１．８．３１）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]