画像処理装置、画像処理方法、および画像処理プログラム
【課題】管腔内画像において、画素値が撮像対象の３次元形状に対応していない領域を特定すること。
【解決手段】本発明のある実施の形態の画像処理装置１０は、管腔内画像の画素値をもとに、内部の画素値が撮像対象の３次元形状に対応していない血管、鏡面反射部、色変化病変の候補となる分類対象候補領域を抽出する領域抽出部２１と、候補領域の内部の画素値をもとに、分類対象候補領域の中から分類対象領域である血管、鏡面反射部、色変化病変の領域を分類する領域分類部２２とを備える。
【解決手段】本発明のある実施の形態の画像処理装置１０は、管腔内画像の画素値をもとに、内部の画素値が撮像対象の３次元形状に対応していない血管、鏡面反射部、色変化病変の候補となる分類対象候補領域を抽出する領域抽出部２１と、候補領域の内部の画素値をもとに、分類対象候補領域の中から分類対象領域である血管、鏡面反射部、色変化病変の領域を分類する領域分類部２２とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、管腔内を撮像した管腔内画像を処理する画像処理装置、画像処理方法、および画像処理プログラムに関するものである。
【背景技術】
【０００２】
特許文献１には、管腔内画像（内視鏡画像）から生体組織の３次元形状を推定し、推定した３次元形状の各位置における曲率等の形状特徴量をもとにポリープ等の隆起形状を有する病変部位を検出する方法が開示されている。ここで、３次元形状を推定する際には、管腔内画像から撮像対象の３次元形状に対応する画素値を取得する必要があるが、特許文献１では、管腔内画像の輝度情報をこの３次元形状に対応する画素値と看做しており、この画素値に基づく幾何学的な変換処理を行うことで３次元形状を推定している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２３６６２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、管腔内画像には、輝度値が３次元形状に対応していない領域が含まれ得るという問題があった。例えば、管腔内画像には、生体組織の表層に存在する血管が映る場合があるが、このような部分では、照明光に対する血液の吸光の影響から輝度値が低下する。また、鏡面反射が発生した領域（鏡面反射部）では、撮像対象の３次元形状とは関係なく輝度値の上昇が生じる。したがって、このような３次元形状に対応していない領域が含まれる管腔内画像を扱う場合、例えば上記した特許文献１を適用しても、撮像対象の３次元形状に対応する画素値を適正に取得できない場合が生じ得る。また、この結果、さらに後段の処理において形状推定を正確に行えない場合が生じ得る。
【０００５】
本発明は、上記に鑑み為されたものであって、管腔内画像において、画素値が撮像対象の３次元形状に対応していない領域を特定することができる画像処理装置、画像処理方法、および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記した課題を解決し、目的を達成するための、本発明のある態様にかかる画像処理装置は、管腔内を撮像した管腔内画像の画素値または周辺画素に対する画素値変化の情報をもとに、内部の画素値が撮像対象の３次元形状に対応していない分類対象領域の候補領域を抽出する領域抽出部と、前記候補領域の内部、前記候補領域の境界部、または前記候補領域の周辺部の画素値をもとに、前記候補領域の中から前記分類対象領域を分類する領域分類部と、を備えることを特徴とする。
【０００７】
この態様にかかる画像処理装置によれば、管腔内画像から、内部の画素値が撮像対象の３次元形状に対応していない分類対象領域の候補領域を抽出し、その候補領域の内部、候補領域の境界部、または候補領域の周辺部の画素値をもとに候補領域の中から分類対象領域を分類することができる。したがって、管腔内画像において、画素値が撮像対象の３次元形状に対応していない領域を特定することができる。
【０００８】
また、本発明の別の態様にかかる画像処理方法は、管腔内を撮像した管腔内画像の画素値または周辺画素に対する画素値変化の情報をもとに、内部の画素値が撮像対象の３次元形状に対応していない分類対象領域の候補領域を抽出する領域抽出工程と、前記候補領域の内部、前記候補領域の境界部、または前記候補領域の周辺部の画素値をもとに、前記候補領域の中から前記分類対象領域を分類する領域分類工程と、を含むことを特徴とする。
【０００９】
また、本発明の別の態様にかかる画像処理プログラムは、コンピュータに、管腔内を撮像した管腔内画像の画素値または周辺画素に対する画素値変化の情報をもとに、内部の画素値が撮像対象の３次元形状に対応していない分類対象領域の候補領域を抽出する領域抽出手順と、前記候補領域の内部、前記候補領域の境界部、または前記候補領域の周辺部の画素値をもとに、前記候補領域の中から前記分類対象領域を分類する領域分類手順と、を実行させることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、管腔内画像において、画素値が撮像対象の３次元形状に対応していない領域を特定することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、内視鏡によって撮像された管腔内画像の模式図である。
【図２】図２は、図１の管腔内画像の３次元画素値情報の模式図である。
【図３】図３は、実施の形態１の画像処理装置の主要構成を説明する概略ブロック図である。
【図４】図４は、実施の形態１の画像処理装置が行う処理手順を示す全体フローチャートである。
【図５】図５は、血管、鏡面反射部、色変化病変、粘膜起伏の断面方向を示す図である。
【図６−１】図６−１は、図５の断面方向ａに沿った鏡面反射部の領域内部の画素値変化を示す模式図である。
【図６−２】図６−２は、図５の断面方向ｂに沿った白色病変の領域内部の画素値変化を示す模式図である。
【図６−３】図６−３は、図５の断面方向ｃに沿った血管の領域内部の画素値変化を示す模式図である。
【図６−４】図６−４は、図５の断面方向ｄに沿った赤色，黒色病変の領域内部の画素値変化を示す模式図である。
【図６−５】図６−５は、図５の断面方向ｅに沿った粘膜段差の領域内部の画素値変化を示す模式図である。
【図６−６】図６−６は、図５の断面方向ｆに沿った粘膜溝の領域内部の画素値変化を示す模式図である。
【図７】図７は、実施の形態１の領域分類処理の詳細な処理手順を示すフローチャートである。
【図８】図８は、モフォロジOpening処理を用いた画素値補完の概念図である。
【図９】図９は、モフォロジClosing処理を用いた画素値補完の概念図である。
【図１０】図１０は、実施の形態１の画素値補完処理の詳細な処理手順を示すフローチャートである。
【図１１】図１１は、実施の形態２の画像処理装置の主要構成を説明する概略ブロック図である。
【図１２】図１２は、実施の形態２の画像処理装置が行う処理手順を示す全体フローチャートである。
【図１３】図１３は、方向別の差分値算出の概念図である。
【図１４】図１４は、血管、鏡面反射部、色変化病変、粘膜起伏の断面方向を示す図である。
【図１５−１】図１５−１は、図１４の断面方向ａに沿った鏡面反射部の領域境界部の画素値変化を示す模式図である。
【図１５−２】図１５−２は、図１４の断面方向ｂに沿った血管の領域境界部の画素値変化を示す模式図である。
【図１５−３】図１５−３は、図１４の断面方向ｃに沿った色変化病変の領域境界部の画素値変化を示す模式図である。
【図１５−４】図１５−４は、図１４の断面方向ｄに沿った形状変化病変の領域境界部の画素値変化を示す模式図である。
【図１５−５】図１５−５は、図１４の断面方向ｅに沿った粘膜段差の領域境界部の画素値変化を示す模式図である。
【図１５−６】図１５−６は、図１４の断面方向ｆに沿った粘膜溝の領域境界部の画素値変化を示す模式図である。
【図１６】図１６は、実施の形態２の領域分類処理の詳細な処理手順を示すフローチャートである。
【図１７】図１７は、関数近似を用いた画素値補完の概念図である。
【図１８】図１８は、実施の形態２の画素値補完処理の詳細な処理手順を示すフローチャートである。
【図１９】図１９は、実施の形態３の画像処理装置の主要構成を説明する概略ブロック図である。
【図２０】図２０は、実施の形態３の画像処理装置が行う処理手順を示す全体フローチャートである。
【図２１−１】図２１−１は、図５の断面方向ａに沿った鏡面反射部の領域周辺部の画素値変化を示す模式図である。
【図２１−２】図２１−２は、図５の断面方向ｂに沿った白色病変の領域周辺部の画素値変化を示す模式図である。
【図２１−３】図２１−３は、図５の断面方向ｃに沿った血管の領域周辺部の画素値変化を示す模式図である。
【図２１−４】図２１−４は、図５の断面方向ｄに沿った赤色，黒色病変の領域周辺部の画素値変化を示す模式図である。
【図２１−５】図２１−５は、図５の断面方向ｅに沿った粘膜段差の領域周辺部の画素値変化を示す模式図である。
【図２１−６】図２１−６は、図５の断面方向ｆに沿った粘膜溝の領域周辺部の画素値変化を示す模式図である。
【図２２】図２２は、実施の形態３の領域分類処理の詳細な処理手順を示すフローチャートである。
【図２３】図２３は、本発明を適用したコンピューターシステムの構成を示すシステム構成図である。
【図２４】図２４は、図２３のコンピューターシステムを構成する本体部の構成を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。本実施の形態では、内視鏡によって撮像された管腔内画像（消化管内画像）を処理する画像処理装置について説明する。内視鏡は、消化管等のような管腔の内部を観察するための医療機器であり、撮像のための照明系、光学系、撮像系等を先端に内蔵し、管腔内に挿入される挿入部や、挿入部と接続され、光源、画像処理装置等を内蔵する筺体部、撮像した管腔内画像を表示する表示部等からなるシステム機器である。なお、この実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
【００１３】
図１は、内視鏡によって撮像された管腔内画像の模式図である。また、図２は、図１の管腔内画像の３次元画素値情報の模式図である。図１に示すように、管腔内画像には、基本的に消化管内壁の粘膜１が映るが、時として粘膜表層下の血管２、鏡面反射部３、病変４等が映る。病変４の中には、発赤等粘膜表面の形状変化がほとんどなく、色のみが変化する色変化病変５と、ポリープ等粘膜表面の形状変化がある形状変化病変６とがある。この他、管腔内画像には、粘膜構造の折りたたみやうねり等によって発生する粘膜段差や粘膜溝といった粘膜起伏７が映るとともに、管腔の奥側（撮像系から遠い位置の粘膜）が暗部領域８として映る。ここで、粘膜１や暗部領域８の他、形状変化病変６、粘膜段差や粘膜溝等の粘膜起伏７は、画素値の変化が３次元的な形状に対応している。これに対し、粘膜表層下の血管２、鏡面反射部３、色変化病変５は、吸光や鏡面反射等の影響を強く受ける領域であり、画素値の変化が３次元的な形状に対応していない部分である。具体的には、上記したように、血管２は、照明光に対する血液の吸光の影響から輝度値が低下する。また、色変化病変も同様に、照明光に対する血液の吸光の影響から輝度値が低下する。一方、鏡面反射部では、生体組織の３次元形状とは関係なく輝度値の上昇が生じる。なお、内視鏡により撮像される管腔内画像は、通常、各画素位置においてＲ（赤），Ｇ（緑），Ｂ（青）の各波長成分に対する画素値を持つカラー画像である。
【００１４】
本実施の形態の画像処理装置は、前述のような管腔内画像を処理し、管腔内画像から生体組織である粘膜の３次元形状に対応する画素値（以下、「３次元画素値情報」という。）を算出するものであり、まず、画素値が撮像対象（生体組織）の３次元形状に対応していない血管２、鏡面反射部３、色変化病変５の領域を分類する。そして、分類した血管２、鏡面反射部３、色変化病変５の領域についてはその周囲の画素値をもとに補完を行うことで３次元画素値を算出し、それ以外の粘膜１、形状変化病変６、粘膜起伏７、暗部８の領域についてはその画素値をもとに３次元画素値を算出し、図２に示すような３次元画素値情報を算出する。
【００１５】
（実施の形態１）
まず、実施の形態１の画像処理装置１０の構成について説明する。図３は、実施の形態１の画像処理装置１０の主要構成を説明する概略ブロック図である。図３に示すように、実施の形態１の画像処理装置１０は、演算部２０と、記録部３０とを含む。この画像処理装置１０は、例えば、上記した内視鏡に組み込まれるものであり、内視鏡によって撮像された管腔内画像が入力され、この管腔内画像を処理することで算出した３次元画素値情報を出力する。
【００１６】
演算部２０は、ＣＰＵ等のハードウェアによって実現され、管腔内画像から３次元画素値情報を算出するための種々の演算処理を行う。この演算部２０は、領域抽出部２１と、領域分類部２２と、画素値算出部２３と、画素値補完部２４とを含む。
【００１７】
領域抽出部２１は、特定色領域抽出部２１を備える。この領域抽出部２１は、管腔内画像から分類対象領域の候補領域（分類対象候補領域）を抽出する機能部であり、実施の形態１では、特定色領域抽出部２１１が、画素値をもとに特定色の領域を分類対象候補領域として抽出する。
【００１８】
領域分類部２２は、分類対象候補領域の内部の画素値によって表される分類対象候補領域の曲面形状の凹凸情報および滑らかさをもとに、分類対象候補領域の中から血管、鏡面反射部、色変化病変の領域を分類対象領域として分類する。この領域分類部２２は、２次微分算出部２２１と、内部凹凸判定部２２２と、内部平滑性判定部２２３とを備える。２次微分算出部２２１は、分類対象候補領域の内部の画素に対して２次微分フィルタを適用し、２次微分値を算出する。内部凹凸判定部２２２は、分類対象候補領域の内部の画素の２次微分値の符号をもとに、分類対象候補領域の曲面形状（画素値変化）の凹凸を判定する。内部平滑性判定部２２３は、分類対象候補領域の内部の画素の２次微分値の絶対値をもとに、分類対象候補領域の曲面形状（画素値変化）の滑らかさを判定する。
【００１９】
画素値算出部２３は、分類対象領域以外の領域において、生体内における吸収または散乱の度合いに応じて特定される特定波長成分の画素値を３次元画素値として算出する。この画素値算出部２３は、Ｒ成分を特定波長成分とし、分類対象領域以外の領域におけるＲ成分の画素値を選択するＲ成分選択部２３１を備える。
【００２０】
画素値補完部２４は、分類対象領域である血管、鏡面反射部、色変化病変の領域における３次元画素値を、分類対象領域以外の領域の特定波長成分の画素値をもとに補完する。この画素値補完部２４は、分類対象領域の周辺の特定波長成分の画素値をもとにモフォロジ処理を行うモフォロジ処理部２４１を備える。このモフォロジ処理部２４１は、分類対象領域の特徴量をもとにモフォロジ処理で用いる構造要素を作成する構造要素作成部２４２を備える。
【００２１】
記録部３０は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、例えばＣＤ−ＲＯＭ等の各種記録媒体およびその読取装置等によって実現される。この記録部３０には、画像処理装置１０を動作させ、この画像処理装置１０が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が記録される。例えば、記録部３０には、内視鏡によって撮像され、画像処理装置１０に入力された管腔内画像の画像データが記録される。また、記録部３０には、管腔内画像から３次元画素値情報を算出するための画像処理プログラム３１が記録される。
【００２２】
次に、実施の形態１の画像処理装置１が行う具体的な処理手順について説明する。図４は、実施の形態１の画像処理装置１０が行う処理手順を示す全体フローチャートである。ここで説明する処理は、演算部２０が記録部３０に記録された画像処理プログラム３１を実行することにより実現される。
【００２３】
図４に示すように、まず、演算部２０は、処理対象の管腔内画像を取得する（ステップａ１）。ここでの処理によって、例えば内視鏡によって撮像され、記録部３０に記録された管腔内画像が読み出されて取得される。
【００２４】
次に、領域抽出部２１において、特定色領域抽出部２１１が、処理対象の管腔内画像から、画素値をもとに特定色の領域を分類対象候補領域として抽出する（ステップａ３）。上記した血管、鏡面反射部、色変化病変の領域は、各々特定の色を示す。例えば、血管は赤または赤紫色を示し、鏡面反射部は白色を示し、色変化病変は赤色、黒色または白色等を示す。そこで、実施の形態１では、特定色の領域を抽出することで、血管、鏡面反射部、色変化病変の候補となる分類対象候補領域を抽出する。
【００２５】
特定色領域を抽出する方法には様々な方法があるが、ここでは、事前のサンプルデータの分布を確率モデルで近似し、これを用いた判別に基づいて抽出する方法を示す。具体的には、事前に血管、鏡面反射部、色変化病変の各カテゴリに属する複数の画素をサンプリングし、その画素の色特徴量を求めておく。ここで、色特徴量とは、Ｒ，Ｇ，Ｂの各成分の画素値や、それらをもとに既に公知の変換により２次的に算出される値、色差（ＹＣｂＣｒ変換）、色相、彩度（ＨＳＩ変換）、色比（Ｇ／Ｒ，Ｂ／Ｇ）等である。次に、サンプリングした画素の色特徴量からなる特徴ベクトルＦｎ＝（ｆｎ＿１，ｆｎ＿２，・・・，ｆｎ＿ｋ）tを算出する。ここで、ｆｎ＿ｊはｎ番目のサンプリング画素のｊ番目の色特徴量であり、ｋは色特徴量の個数である。そして、この特徴ベクトルＦｎをもとに、次式（１）に従って平均ベクトルμと分散共分散行列Ｚとを求め、記録部３０に記録しておく。ただし、ＮＤは、サンプリングデータ数である。
【数１】
【００２６】
そして、実際のステップａ３では、まず、処理対象の管腔内画像の各画素の色特徴量からなる特徴ベクトルｘ＝（ｘ＿１，ｘ＿２，・・・，ｘ＿ｋ）tと、事前に求めて記録部３０に記録しておいた各カテゴリの平均ベクトルμおよび分散共分散行列Ｚとをもとに、次式（２）に従って、各画素が各々のカテゴリ領域が示す特定色であるかの判定指標Ｐ（ｘ）をカテゴリ毎に算出する。ただし、｜Ｚ｜はＺの行列式、Ｚ-1はＺの逆行列である。
【数２】
【００２７】
その後、判定指標Ｐ（ｘ）の最大値が所定の閾値以上となる画素に対して最大値を示したカテゴリに応じた整数値（ラベル値）を設定するとともに、判定指標Ｐ（ｘ）の最大値が閾値以下となる画素に対して「０」を設定し、候補領域画像を作成する。
【００２８】
以上、本例では確率モデルを用いた抽出方法を示したが、ここでは管腔内画像から血管、鏡面反射部、色変化病変に応じた特定色の領域を抽出できればよく、その方法は特に限定されるものではない。本例以外の方法としては、例えば特定色を示す色特徴ベクトルを設定し、設定したベクトルと判別対象の画素の色特徴量からなる特徴ベクトルとの特徴空間（特徴量の大小関係を示す特徴軸が張る空間）内での距離をもとに管腔内画像内の特定色の領域を抽出することとしてもよい。あるいは、特徴空間内に特定色を示す範囲を設定し、設定した範囲と判別対象の画素の色特徴量からなる特徴ベクトルとの位置関係をもとに管腔内画像内の特定色の領域を抽出することとしてもよい。また、画素単位の色特徴量を用いて特定色の領域を抽出する場合に限らず、画像内を予め小領域に分割した後、小領域単位の色特徴量を用いて特定色の領域を抽出することとしてもよい。
【００２９】
次に、演算部２０が、特定色の領域（分類対象候補領域）として抽出した領域があるか否かを判定する。これは、候補領域画像において画素値が正数値である画素が存在するか否かを判定することによって判定できる。抽出した領域がない場合には（ステップａ５：Ｎｏ）、後述のステップａ１５に移行する。
【００３０】
一方、抽出した領域（分類対象候補領域）がある場合には（ステップａ５：Ｙｅｓ）、領域分類部２２が領域分類処理を実行し、分類対象候補領域の曲面形状の凹凸情報および滑らかさをもとに、分類対象候補領域の中から分類対象領域である血管、鏡面反射部、色変化病変の領域を分類する（ステップａ７）。ステップａ３において色特徴量をもとに抽出した特定色の領域には、血管、鏡面反射部、色変化病変の他に、粘膜段差、粘膜溝等も含まれる可能性がある。なぜなら、これらは時として赤色や黒色に近い色を示すからである。そこで、実施の形態１の領域分類処理では、分類対象候補領域の内部の画素値によって表される分類対象候補領域の曲面形状の凹凸情報および滑らかさをもとに、両者を分類する。
【００３１】
なお、分類に先立ち、候補領域画像内で同一の画素値となる画素を連結し、１つの領域として認識する必要があるが、これは公知のラベリング処理（参考：ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，１８１Ｐ，ラベリング）により実現できる。
【００３２】
ここで、領域分類処理の具体的な処理手順を説明する前に、特定色の領域に含まれる血管、鏡面反射部、色変化病変、粘膜段差、粘膜溝の各カテゴリ領域の領域内部の特徴を説明する。図５は、血管２、鏡面反射部３、色変化病変５、粘膜起伏７の各カテゴリ領域の断面方向ａ〜ｆを示す図である。また、図６−１は、図５の断面方向ａに沿った鏡面反射部３の領域内部の画素値変化を示す模式図であり、図６−２は、図５の色変化病変５が白色病変である場合の断面方向ｂに沿った領域内部の画素値変化を示す模式図であり、図６−３は、図５の断面方向ｃに沿った血管２の領域内部の画素値変化を示す模式図であり、図６−４は、図５の色変化病変５が赤色，黒色病変である場合の断面方向ｄに沿った領域内部の画素値変化を示す模式図であり、図６−５は、図５の粘膜起伏７が粘膜段差である場合の断面方向ｅに沿った領域内部の画素値変化を示す模式図であり、図６−６は、図５の粘膜起伏７が粘膜溝である場合の断面方向ｆに沿った領域内部の画素値変化を示す模式図である。
【００３３】
前述のように、管腔内画像の画素値は、Ｒ，Ｇ，Ｂ各成分の各値で構成される。各値で大小の違いはあるが、変化の傾向はいずれも同様である。ここで、図５の断面方向ａに沿った鏡面反射部３や断面方向ｂに沿った白色病変（５）の画素値変化は、図６−１，図６−２に示すように、共に領域内部の画素値が周辺より大きい値となり、凸形状を示す。一方、図５の断面方向ｃに沿った血管２、断面方向ｄに沿った赤色，黒色病変（５）、断面方向ｅに沿った粘膜段差（７）の画素値変化は、図６−３，図６−４，図６−５に示すように、それぞれ画素値が周辺より小さい値となり、凹形状を示す。また、血管２の画素値変化や赤色，黒色病変（５）は一体的な対象であるため、図６−３，図６−４に示すように、領域内部の画素値が滑らかに変化する。これに対し、図５の断面方向ｅに沿った粘膜段差（７）は、領域内部に異なる粘膜の境界を含むため、その画素値変化は、図６−５中に破線で囲って示すように、画素値が滑らかに変化しない部分Ｅ１１を含む。図５の断面方向ｆに沿った粘膜溝（７）も同様に、図６−６中に破線で囲って示すように、画素値が滑らかに変化しない部分Ｅ１２を含む。実施の形態１の領域分類処理では、これらの特徴をもとに、分類対象候補領域の中から分類対象領域である血管、鏡面反射部、色変化病変の領域を分類する。
【００３４】
実際の領域分類処理では、分類対象候補領域を順次処理対象とし、各分類対象候補領域が分類対象領域か否かを順番に判定していく。図７は、実施の形態１の領域分類処理の詳細な処理手順を示すフローチャートである。図７に示すように、まず、領域分類部２２が、処理対象の分類対象候補領域（以下、この処理対象の分類対象候補領域を「処理候補領域」と呼ぶ。）を設定する（ステップｂ１）。
【００３５】
次に、２次微分算出部２２１が、処理候補領域の内部の画素のＲ，Ｇ，Ｂいずれかの成分の画素値に対して、公知の２次微分フィルタ（参考：ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，１１８Ｐ，２次微分フィルタ）を適用し、各画素における２次微分値を算出する（ステップｂ３）。この時、ノイズによる影響を軽減するため、例えば、平滑化を伴う２次微分フィルタであるＬＯＧ（Laplacian Of Gaussian）フィルタを適用する。
【００３６】
次に、内部凹凸判定部２２２が、処理候補領域の内部の画素値をもとに、この処理候補領域の曲面形状（画素値変化）の凹凸を判定する（ステップｂ５）。２次微分フィルタは基本的に周辺画素の平均値と、中心画素の値あるいは中心画素付近の平均値との差分を得る構造となっており、画素値変化の凹凸に応じて符号が反転する。そこで、曲面形状の凹凸判定は、処理候補領域の内部の画素の２次微分値の平均値の符号をもとに画素値変化の凹凸を判定することで行う。そして、凹凸判定の結果が凸である場合は、ステップｂ７に移行し、領域分類部２２は、処理候補領域を鏡面反射部または白色病変と分類する。なお、曲面形状の凹凸判定は、処理候補領域の内部の画素の２次微分値の正負の符号数を比較することで行ってもよい。あるいは、２次微分値の最大値の符号をもとに判定することとしてもよい。
【００３７】
一方、凹凸判定の結果が凹である場合は、ステップｂ９に移行し、更に内部平滑性判定部２２３が、処理候補領域の内部の画素値をもとに、この処理候補領域の曲面形状（画素値変化）の滑らかさを判定する。滑らかさの判定に対しても２次微分値を利用する。画素値変化が滑らかな場合、周辺画素と中心画素の値の差が小さいため、２次微分値の絶対値は小さくなる。よって処理候補領域の内部の２次微分値の絶対値の平均値が予め設定される閾値以下であるか否かを判定することで、滑らかさを判定する。なお、処理候補領域の内部の２次微分値の絶対値の平均値に限らず、処理候補領域の内部の２次微分値の最大値を算出し、閾値処理することとしてもよい。
【００３８】
そして、ステップｂ９で処理候補領域の内部の画素値変化が滑らかであると判定した場合は、ステップｂ１１に移行し、領域分類部２２は、処理候補領域を血管または赤色，黒色病変と分類する。一方、ステップｂ９で滑らかでないと判定した場合は、ステップｂ１３に移行し、領域分類部２２は、処理候補領域を粘膜段差または粘膜溝と分類する。
【００３９】
その後、領域分類部２２は、全ての分類対象候補領域を分類したか否かを判定し、分類していない場合には（ステップｂ１５：Ｎｏ）、未分類の分類対象候補領域を処理候補領域に設定し（ステップｂ１７）、再度ステップｂ３〜ステップｂ１５を行う。一方、全ての分類対象候補領域を分類した場合には（ステップｂ１５：Ｙｅｓ）、図４のステップａ７にリターンし、ステップａ９に移行する。結果としては、分類対象領域である血管、鏡面反射部、色変化病変と分類した領域の画素に対して領域識別用の正数値（ラベル値）を設定し、分類対象領域以外の領域の画素に対して「０」を設定した分類対象領域画像を作成する。
【００４０】
次に、演算部２０は、分類対象領域である血管、鏡面反射部、色変化病変と分類した領域があるか否かを判定する。これは、分類対象領域画像において画素値が正数値である画素が存在するか否かを判定することによって判定できる。血管、鏡面反射部、色変化病変と分類した領域がない場合には（ステップａ９：Ｎｏ）、後述のステップａ１５に移行する。
【００４１】
一方、血管、鏡面反射部、色変化病変と分類した領域（分類対象領域）がある場合には（ステップａ９：Ｙｅｓ）、まず、画素値算出部２３のＲ成分選択部２３１が、分類対象領域以外の領域におけるＲ成分の画素値を選択し、続いて画素値算出部２３が、選択したＲ成分の画素値を分類対象領域以外の領域における３次元画素値とする（ステップａ１１）。ここで、Ｒ成分は、血液の吸収帯域から離れる波長成分であり、また長波長の成分であるため、生体内での吸収、散乱の影響を受け難く、最も生体組織の３次元形状に対応する画素値を示す。そこで実施の形態１では、生体内における吸収または散乱の度合いに応じて特定される特定波長成分をＲ成分とする。
【００４２】
なお、本例ではＲ，Ｇ，Ｂ成分の管腔内画像からＲ成分を選択する方法を示したが、Ｒ，Ｇ，Ｂの補色成分であるＣ（シアン），Ｍ（マゼンタ），Ｙ（黄）成分の管腔内画像を扱う場合には、Ｒ，Ｇ，Ｂ成分への変換後にＲ成分を選択してもよい。
【００４３】
次に、画素値補完部２４が画素値補完処理を実行し、分類対象領域である血管、鏡面反射部、色変化病変の領域における画素値を補完する（ステップａ１３）。実施の形態１では、モフォロジ処理を用いて画素値補完処理を行う。ここでの処理によって、分類対象領域における３次元画素値を、前段のステップａ１１でこの分類対象領域以外の領域（詳細にはこの分類対象領域周辺の領域）の３次元画素値として算出した特定波長成分の画素値をもとに補完する。
【００４４】
図８は、モフォロジOpening処理を用いた画素値補完の概念図であり、図９は、モフォロジClosing処理を用いた画素値補完の概念図である。図８に示すモフォロジOpening処理は、画素値を高度とみなした３次元空間において、構造要素と呼ばれる基準図形を対象画像の画素値の小さい方から外接させて移動させた際に構造要素の外周の最大値が通過する軌跡を得る処理である。また、図９に示すモフォロジClosing処理は、同様の３次元空間において構造要素を対象画像の画素値の大きい方から外接させて移動させた際に構造要素の外周の最小値が通過する軌跡を得る処理である。これらは共に公知の手法である（参考：コロナ社，モルフォロジー，小畑秀文著）。
【００４５】
図１０は、実施の形態１の画素値補完処理の詳細な処理手順を示すフローチャートである。画素値補完処理では、図１０に示すように、まず、画素値補完部２４は、処理対象の分類対象領域（以下、この処理対象の分類対象領域を「補完対象領域」と呼ぶ。）を設定する（ステップｃ１）。そして、画素値補完部２４は、補完対象領域の領域特徴量を算出する（ステップｃ３）。ここでの領域特徴量は、図７のステップｂ５で判定した凹凸判定の結果である画素値変化（曲面形状）の凹凸情報と、新たに算出する領域幅の２つである。領域幅は、補完対象領域の形状特徴量である面積Area、周囲長Peri（参考：ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，１８２Ｐ，面積、周囲長）を公知の手法により算出した後、長さＬ、幅Ｗの長方形として補完対象領域を近似した場合の次式（３）に示す連立方程式を解くことで算出可能である。
【数３】
【００４６】
例えば、凹凸情報が凸の場合は、図８（ａ）に示すように、この凸である凹凸情報と、領域幅Ｒ２１とを領域特徴量として用いる。一方、凹凸情報が凹の場合には、図９（ａ）に示すように、この凹である凹凸情報と、領域幅Ｒ２２とを領域特徴量として用いる。ここで、前段の図４のステップａ１１では、分類対象領域以外の領域においてＲ成分の画素値を選択し、選択したＲ成分の画素値を分類対象領域以外の領域における３次元画素値としている。図８（ａ），図９（ａ）では、領域周辺においてはその３次元画素値を実線で示す一方、この領域周辺の３次元画素値をもとに補完を行う領域内部については管腔内画像の画素値を破線で示している。
【００４７】
次に、構造要素作成部２４２は、図１０に示すように、モフォロジ構造要素を設定する（ステップｃ５）。ここで、図８（ａ）や図９（ａ）に示す領域幅Ｒ２１，Ｒ２２よりも大きな構造要素を用いなければ、領域周辺の３次元画素値をもとに領域内部の画素値を補完することはできない。よって、図１０のステップｃ５では、図８（ｂ）や図９（ｂ）に示すように、算出した領域幅Ｒ２１，Ｒ２２をもとにそれよりも大きなサイズの構造要素Ｆ２１，Ｆ２２を設定する。
【００４８】
そして、モフォロジ処理部２４１は、図１０に示すように、モフォロジ処理を選択し（ステップｃ７）、選択したモフォロジ処理を行って画素値を補完する（ステップｃ９）。領域境界における画素値変化が補完に影響するのを防ぐため、凹凸情報が凸なのか凹なのかによって適用するモフォロジ処理の種類を変える。
【００４９】
実際には、補完対象領域が図８（ａ）に示すように凸の領域であればモフォロジOpening処理を選択し、選択したモフォロジOpening処理を適用することで画素値を補完する。すなわち、図８（ｃ）に示すように、領域の下側（画素値の小さい方）から図８（ｂ）に示す構造要素Ｆ２１を外接させて移動させ、図８（ｄ）に示すように領域内部の画素値を補完することで領域内部の３次元画素値を得る。一方、補完対象領域が図９（ａ）に示すように凹の領域であればモフォロジClosing処理を選択し、選択したモフォロジClosing処理を適用することで画素値を補完する。すなわち、図９（ｃ）に示すように、領域の上側（画素値の大きい方）から図９（ｂ）に示す構造要素Ｆ２２を外接させて移動させ、図９（ｄ）に示すように領域内部の画素値を補完することで領域内部の３次元画素値を得る。
【００５０】
その後、画素値補完部２４は、図１０に示すように、全ての補完対象領域の画素値を補完したか否かを判定し、補完していない場合には（ステップｃ１１：Ｎｏ）、未補完の分類対象領域を補完対象領域に設定し（ステップｃ１３）、再度ステップｃ３〜ステップｃ１１の処理を行う。一方、全ての分類対象領域の画素値を補完した場合には（ステップｃ１１：Ｙｅｓ）、図４のステップａ１３にリターンし、その後ステップａ１７に移行する。
【００５１】
また、ステップａ５で抽出した領域がないと判定した場合（ステップａ５：Ｎｏ）、または、ステップａ９で血管、鏡面反射部、色変化病変の領域と分類した領域がないと判定した場合には（ステップａ９：Ｎｏ）、画素値算出部２３のＲ成分選択部２３１が、管腔内画像全域におけるＲ成分の画素値を選択し、続いて画素値算出部２３が、選択したＲ成分の画素値を管腔内画像全域の各画素における３次元画素値とする（ステップａ１５）。
【００５２】
そして最後に、演算部２０は、管腔内画像の各画素の画素値をステップａ１１およびステップａ１３で算出した３次元画素値またはステップａ１５で算出した３次元画素値とした３次元画素値情報を出力し（ステップａ１７）、画像処理装置１０での処理を終了する。
【００５３】
以上説明したように、実施の形態１では、管腔内画像の画素値をもとに、特定の色を示す特定色の領域を吸光や鏡面反射等の影響を強く受ける領域、具体的には血管、鏡面反射部、色変化病変の領域の候補となる分類対象候補領域として抽出することとした。そして、分類対象候補領域の内部の画素値によって表される分類対象候補領域の曲面形状の凹凸情報および曲面形状の滑らかさをもとに、分類対象候補領域の中から吸光や鏡面反射部等の影響を強く受ける血管、鏡面反射部、色変化病変の領域を分類対象領域として分類することとした。これによれば、管腔内画像において、画素値が撮像対象の３次元形状に対応していない領域を特定することができる。
【００５４】
また、実施の形態１では、前述のようにして特定した画素値が撮像対象の３次元形状に対応していない領域である分類対象領域以外の領域において、生体内における吸収または散乱の度合いに応じて特定される特定波長成分の画素値を求めることにより、生体組織の３次元形状に対応した３次元画素値を算出することとした。そして、例えば分類対象領域の周辺の３次元画素値として求めた特定波長成分の画素値をもとにモフォロジ処理を行い、分類対象領域である血管、鏡面反射部、色変化病変の領域における画素値を補完することで分類対象領域の内部の３次元画素値を得ることとした。したがって、管腔内画像の全域において生体組織の３次元形状を適正に表した３次元画素値を算出し、３次元画素値情報として出力することができる。
【００５５】
（実施の形態２）
まず、実施の形態２の画像処理装置の構成について説明する。図１１は、実施の形態２の画像処理装置１０ａの主要構成を説明する概略ブロック図である。なお、実施の形態１で説明した構成と同一の構成については、同一の符号を付する。実施の形態２の画像処理装置１０ａは、図１１に示すように、演算部２０ａと、記録部３０ａとを備える。この画像処理装置１０ａは、例えば実施の形態１と同様に内視鏡に組み込まれるものであり、内視鏡によって撮像された管腔内画像が入力され、この管腔内画像を処理することで算出した３次元画素値情報を出力する。
【００５６】
演算部２０ａは、領域抽出部２１ａと、領域分類部２２ａと、画素値算出部２３ａと、画素値補完部２４ａとを含む。
【００５７】
領域抽出部２１ａは、管腔内画像から分類対象領域の候補領域（分類対象候補領域）を抽出する機能部であり、実施の形態２では、周辺画素に対する画素値変化の情報をもとに分類対象候補領域を抽出する。この領域抽出部２１ａは、周辺画素の画素値の平均値より小さい画素値を示す凹領域、および周辺画素の画素値の平均値より大きい画素値を示す凸領域を抽出する凹凸領域抽出部２１２ａを備える。この凹凸領域抽出部２１２ａは、方向別差分算出部２１３ａと、最大最小値算出部２１４ａと、閾値処理部２１５ａとを備える。方向別差分算出部２１３ａは、注目画素と、注目画素を中心として所定の方向に相対する周辺画素間の平均値との差分値を、複数の方向において算出する。最大最小値算出部２１４ａは、差分値の最大値および最小値を算出する。閾値処理部２１５ａは、最大値および最小値を閾値処理する。
【００５８】
領域分類部２２ａは、分類対象候補領域の境界部の画素値変化の急峻性をもとに、分類対象候補領域の中から血管、鏡面反射部、色変化病変の領域を分類対象領域として分類する。この領域分類部２２ａは、１次微分算出部２２４ａと、境界急峻性判定部２２５ａとを備える。１次微分算出部２２４ａは、分類対象候補領域の境界部の画素に対して１次微分フィルタを適用し、１次微分値を算出する。境界急峻性判定部２２５ａは、分類対象候補領域の境界部の画素の１次微分値をもとに、分類対象候補領域の画素値変化の急峻性を判定する。
【００５９】
画素値算出部２３ａは、分類対象領域以外の領域において、生体内における吸収または散乱の度合いに応じて特定される特定波長成分の画素値を３次元画素値として算出する。この画素値算出部２３ａは、分光情報推定部２３２ａと、特定波長成分算出部２３３ａとを備える。分光情報推定部２３２ａは、分類対象領域以外の領域の画素値の複数の波長成分をもとに生体組織の分光情報を推定する。特定波長成分算出部２３３ａは、推定した生体組織の分光情報をもとに特定波長成分の画素値を算出する。
【００６０】
画素値補完部２４ａは、分類対象領域である血管、鏡面反射部、色変化病変の領域における３次元画素値を、分類対象領域以外の領域の特定波長成分の画素値をもとに補完する。この画素値補完部２４ａは、分類対象領域の周辺の画素値をもとに、分類対象領域の画素値の関数近似を行う関数近似部２４３ａを備える。関数近似部２４３ａは、分類対象領域を挟んで対向する少なくとも２つの周辺領域内から、関数近似に用いるサンプル画素を選択するサンプル画素選択部２４４ａを備える。
【００６１】
記録部３０ａには、管腔内画像から３次元画素値情報を算出するための画像処理プログラム３１ａが記録される。
【００６２】
次に、実施の形態２の画像処理装置１０ａが行う具体的な処理手順について説明する。図１２は、実施の形態２の画像処理装置１０ａが行う処理手順を示す全体フローチャートである。ここで説明する処理は、演算部２０ａが記録部３０ａに記録された画像処理プログラム３１ａを実行することにより実現される。
【００６３】
まず、演算部２０ａは、処理対象である管腔内画像を取得する（ステップｄ１）。
【００６４】
次に、領域抽出部２１ａにおいて、凹凸領域抽出部２１２ａが、処理対象の管腔内画像から、Ｇ成分の画素値をもとに凹凸領域を分類対象候補領域として抽出する（ステップｄ３）。実施の形態１で参照した図６−１，図６−２，図６−３，図６−４に示すように、血管、鏡面反射部、色変化病変の領域は、領域内部の画素値によって表される曲面形状が凸形状あるいは凹形状を示す。このため、領域内部の画素値は、周辺画素の画素値に対して大小の差を有する。詳細には、鏡面反射部、白色病変の領域は、周辺画素の画素値の平均値より大きい画素値を有する凸領域となる。一方、血管、赤色，黒色病変の領域は、周辺画素の画素値の平均値より小さい画素値を有する凹領域となる。そこで、実施の形態２では、管腔内画像から画素値の凸領域および凹領域（以下、これらを包括して「凹凸領域」と呼ぶ。）を抽出することで、血管、鏡面反射部、色変化病変の候補となる分類対象候補領域を抽出する。
【００６５】
画素値の凹凸領域を抽出する方法には様々な方法があるが、ここでは方向別に注目画素と周辺画素との画素値の差分値を算出して検出する方法を示す。図１３は、方向別の差分値算出の概念図である。実施の形態２では、図１３に示すように、水平方向と、垂直方向と、右上がりの斜め方向（斜め１方向）と、右下がりの斜め方向（斜め２方向）の４方向について差分値を算出する。具体的には、中心の画素を注目画素Ｐ３とすると、この注目画素Ｐ３の画素値と、注目画素Ｐ３から水平方向に沿って図１３中に１点鎖線で示す円の半径ｒ離れた周辺画素Ｐ３１１，Ｐ３１２の画素値とをもとに水平方向についての差分値ｄＨを算出する。同様に、注目画素Ｐ３の画素値と注目画素Ｐ３から垂直方向に半径ｒ離れた周辺画素Ｐ３２１，Ｐ３２２の画素値とをもとに垂直方向についての差分値ｄＶを算出し、注目画素Ｐ３の画素値と注目画素Ｐ３から斜め１方向に半径ｒ離れた周辺画素Ｐ３３１，Ｐ３３２の画素値とをもとに斜め１方向についての差分値ｄＤ１を算出し、注目画素Ｐ３の画素値と注目画素Ｐ３から斜め２方向に半径ｒ離れた周辺画素Ｐ３４１，Ｐ３４２の画素値とをもとに斜め２方向についての差分値ｄＤ２を算出する。
【００６６】
実際には、まず、方向別差分算出部２１３ａが、管腔内画像の各画素（ｘ，ｙ）に対して、次式（４）〜（７）に従い、水平方向に相対する周辺画素間の平均値との差分値ｄＨと、垂直方向に相対する周辺画素間の平均値との差分値ｄＶと、斜め１方向に相対する周辺画素間の平均値との差分値ｄＤ１と、斜め２方向に相対する周辺画素間の平均値との差分値ｄＤ２とを算出する。
【数４】
【００６７】
ここで、Ｐ（ｘ，ｙ）は、管腔内画像の座標（ｘ，ｙ）のＧ成分の画素値である。また、ｒは、図１３中に示したｒに相当し、差分値算出時の画素範囲を示すパラメータである。ｒの値を小さくすれば凹凸の小さな凹凸領域を検出することができ、大きくすれば凹凸の大きな凹凸領域を検出することができる。なお、ｒの値は事前に静的に設定してもよいし、画像等をもとに動的に設定してもよい。また、ここでＧ成分を用いるのは、血液の吸収帯域に近く、感度も得られることから、血管や色変化病変等を凹凸領域として抽出しやすいためである。なお、Ｇ成分に限らず、他の色成分、あるいは既に公知の変換により２次的に算出される値、輝度、色差（ＹＣｂＣｒ変換）、色相、彩度、明度（ＨＳＩ変換）、色比等を用いて凹凸領域を抽出することとしてもよい。
【００６８】
そして、最大最小値算出部２１４ａが、方向別の差分値ｄＨ，ｄＶ，ｄＤ１，ｄＤ２の最大値を算出した後、閾値処理部２１５ａが、算出した最大値が所定の閾値以上の画素を抽出することによって、凸領域を抽出する。また、最大最小値算出部２１４ａが、方向別の差分値ｄＨ，ｄＶ，ｄＤ１，ｄＤ２の最小値（負値）を算出した後、閾値処理部２１５ａが、算出した最小値が所定の閾値以下の画素を抽出することによって、凹領域を抽出する。結果としては、例えば、抽出した領域の画素に対して凹凸識別用の正数値（ラベル値）を設定し、その他の画素に対して「０」を設定した候補領域画像を作成する。
【００６９】
以上、本例では方向別の差分値を用いた抽出方法を示したが、ここでは、管腔内画像から凹凸領域を抽出できればよく、本例以外の方法を用いてもよい。例えば、凹凸のモデル形状との相関値をもとに管腔内画像内の凹凸領域を抽出することとしてもよい。
【００７０】
次に、演算部２０ａが、図１２に示すように、凹凸領域（分類対象候補領域）として抽出した領域があるか否かを判定する。これは、候補領域画像において画素値が正数値である画素が存在するか否かを判定することによって判定できる。抽出した領域がない場合には（ステップｄ５：Ｎｏ）、後述のステップｄ１７に移行する。
【００７１】
一方、抽出した領域（分類対象候補領域）がある場合には（ステップｄ５：Ｙｅｓ）、領域分類部２２ａが領域分類処理を実行し、分類対象候補領域の境界部の画素値変化の急峻性をもとに、分類対象候補領域の中から分類対象領域である血管、鏡面反射部、色変化病変の領域を分類する（ステップｄ７）。ステップｄ３において周辺画素に対する画素値変化の情報をもとに抽出した凹凸領域には、血管、鏡面反射部、色変化病変の他に、粘膜段差や粘膜溝を含む粘膜の起伏、形状変化病変等も含まれる可能性がある。なぜなら、粘膜の起伏や形状変化によって粘膜表面と撮像系との距離が変化すれば、これに応じて画素値が変化するためである。そこで、実施の形態２の領域分類処理では、分類対象候補領域の境界部の画素値変化の急峻性をもとに、両者を分類する。
【００７２】
なお、分類に先立ち、候補領域画像内で同一の画素値となる画素をラベリング処理により連結する点は、実施の形態１と同様である。
【００７３】
ここで、領域分類処理の具体的な処理手順を説明する前に、凹凸領域に含まれる各カテゴリ領域の領域境界部の特徴を説明する。図１４は、血管２、鏡面反射部３、色変化病変５、形状変化病変６、粘膜起伏７の各カテゴリ領域の断面方向ａ〜ｆを示す図である。また、図１５−１は、図１４の断面方向ａに沿った鏡面反射部３の領域境界部の画素値変化を示す模式図であり、図１５−２は、図１４の血管２の断面方向ｂに沿った領域境界部の画素値変化を示す模式図であり、図１５−３は、図１４の断面方向ｃに沿った色変化病変（例えば赤色病変）５の領域境界部の画素値変化を示す模式図であり、図１５−４は、図１４の形状変化病変６の断面方向ｄに沿った領域境界部の画素値変化を示す模式図であり、図１５−５は、図１４の粘膜起伏７が粘膜段差である場合の断面方向ｅに沿った領域境界部の画素値変化を示す模式図であり、図１５−６は、図１４の粘膜起伏７が粘膜溝である場合の断面方向ｆに沿った領域境界部の画素値変化を示す模式図である。
【００７４】
ここで、図１４の断面方向ａに沿った鏡面反射部３や断面方向ｂに沿った血管２、断面方向ｃに沿った色変化病変５は、局所的な反射、吸光による画素値変化のため、図１５−１，図１５−２，図１５−３に示すように、いずれも境界における画素値変化は急峻である。一方、図１４の断面方向ｄに沿った形状変化病変６や断面方向ｅ，ｆに沿った粘膜起伏７では、オクルージョン（３次元物体を２次元画像化する際、前景により遮蔽され、画像化されない領域）による境界以外の境界での画素値変化は、図１５−４，図１５−５，図１５−６の各図中に破線で囲った部分Ｅ４１〜Ｅ４４のように、形状的な連続性のため画素値変化は急峻でない。なお、この差は、Ｇ成分またはＢ成分のように血液の吸収帯域に近い波長ほど顕著である。実施の形態２の領域分類処理では、これらの特徴をもとに、分類対象候補領域の中から分類対象領域である血管、鏡面反射部、色変化病変の領域を分類する。
【００７５】
図１６は、実施の形態２の領域分類処理の詳細な処理手順を示すフローチャートである。領域分類処理では、図１６に示すように、まず、領域分類部２２ａが、処理対象の分類対象候補領域（処理候補領域）を設定する（ステップｅ１）。
【００７６】
次に、１次微分算出部２２４ａが、処理候補領域の境界部の画素のＧ成分またはＢ成分の画素値に対して、公知の１次微分フィルタ（参考：ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，１１４Ｐ，微分フィルタ）を適用し、各画素における１次微分値を算出する（ステップｅ３）。この時、ノイズによる影響を軽減するため、例えば、平滑化を伴う１次微分であるソーベル（Sobel）フィルタを適用する。なお、処理候補領域の境界画素を認識するには、公知の輪郭追跡（参考：ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，１７８Ｐ，輪郭追跡）を用いればよい。
【００７７】
次に、境界急峻性判定部２２５ａが、処理候補領域の境界部の画素値変化が急峻であるかを判定する。実際には、全ての境界画素について１次微分値の絶対値を求めた後、求めた１次微分値を小さい順にソートし、小さい方から全境界画素数の半数分の１次微分値を選択して平均値を求める。これは前述したオクルージョンの影響を除外するためである。そして、この平均値が所定の閾値以上であるか否かを判定することで、処理候補領域の境界部の画素値変化が急峻か否かを判定する。そして、処理候補領域の境界部の画素値変化が急峻でないと判定した場合は（ステップｅ５：Ｎｏ）、領域分類部２２ａは、処理候補領域を粘膜起伏または形状変化病変と分類する（ステップｅ７）。
【００７８】
一方、処理候補領域の境界部の画素値変化が急峻であると判定した場合は（ステップｅ５：Ｙｅｓ）、領域分類部２２ａは、処理候補領域を血管、鏡面反射部、または色変化病変と分類する（ステップｅ９）。
【００７９】
その後、領域分類部２２ａは、全ての分類対象候補領域を分類したか否かを判定し、分類していない場合には（ステップｅ１１：Ｎｏ）、未分類の分類対象候補領域を処理候補領域に設定し（ステップｅ１３）、再度ステップｅ３〜ステップｅ１１を行う。一方、全ての分類対象候補領域を分類した場合には（ステップｅ１１：Ｙｅｓ）、図１２のステップｄ７にリターンし、ステップｄ９に移行する。結果としては、実施の形態１と同様に、分類対象領域である血管、鏡面反射部、色変化病変と分類した領域の画素に対して領域識別用の正数値（ラベル値）を設定し、分類対象領域以外の領域の画素に対して「０」を設定した分類対象領域画像を作成する。
【００８０】
次に、演算部２０ａは、分類対象領域である血管、鏡面反射部、色変化病変と分類した領域があるか否かを判定する。これは、分類対象領域画像において画素値が正数値である画素が存在するか否かを判定することによって判定できる。血管、鏡面反射部、色変化病変と分類した領域がない場合には（ステップｄ９：Ｎｏ）、後述のステップｄ１７に移行する。
【００８１】
一方、血管、鏡面反射部、色変化病変と分類した領域（分類対象領域）がある場合には（ステップｄ９：Ｙｅｓ）、まず、画素値算出部２３ａの分光情報推定部２３２ａが、分類対象領域以外の領域のＲ，Ｇ，Ｂ成分の画素値をもとに、分類対象領域以外の領域における分光情報として例えば分光反射率を推定する（ステップｄ１１）。なお、推定する分光情報は、分光反射率に限らず、分光透過率や分光吸光度等であってもよい。
【００８２】
具体的には、事前に多数の生体組織の分光反射率を収集し、この分光反射率に対して主成分分析等を行って３種類の基底ベクトルＯ１（λ），Ｏ２（λ），Ｏ３（λ）を設定しておく。ここで、λは、可視光波長域（３８０ｎｍ〜７８０ｎｍ）に等間隔に設定したｎ個の離散値である。
【００８３】
この基底ベクトルＯ１（λ），Ｏ２（λ），Ｏ３（λ）の加重和によって生体組織の分光反射率Ｏ（λ）を近似した場合の各基底ベクトルに対する重みｏ１，ｏ２，ｏ３は、推定対象の領域（ここでは分類対象領域以外の領域）の各画素のＲ，Ｇ，Ｂ成分の画素値Ｐｒ，Ｐｇ，Ｐｂと、照明光の分光エネルギーＩ（λ）と、撮像系を構成する撮像素子の分光感度Ｓｒ（λ），Ｓｇ（λ），Ｓｂ（λ）とをもとに、次式（８）によって算出可能である。
【数５】
【００８４】
そして、実際のステップｄ１１では、上記した式（８）に従い、分類対象領域以外の領域の画素毎に重みｏ１，ｏ２，ｏ３を算出する。その後、算出した重みｏ１，ｏ２，ｏ３を用いて基底ベクトルＯ１（λ）、Ｏ２（λ）、Ｏ３（λ）の加重和を画素毎に算出し、分類対象領域以外の領域の各画素での分光反射率Ｏ（λ）を推定する。
【００８５】
次に、特定波長成分算出部２３３ａが、ステップｄ１１で推定した分光反射率をもとに、特定波長成分（生体内で吸収または散乱し難い波長成分）の画素値を算出し、続いて画素値算出部２３ａが、算出した特定波長成分の画素値を分類対象領域以外の領域における３次元画素値とする（ステップｄ１３）。撮像素子の分光感度を生体内で吸収または散乱し難い波長成分に制限した場合、最も生体組織の３次元形状に対応する画素値が得られる。生体内での光の吸収は、主に血液の吸収帯域（血液中の酸化ヘモグロビン、二酸化ヘモグロビンの吸収帯域）で生じ、光の散乱は、短波長成分ほど生じ易い。そこで実施の形態２では、生体内で吸収または散乱し難い波長成分を、血液の吸収帯域以外かつ所定の閾値以上の長波長成分とする。そして、この波長成分を特定波長成分とし、特定波長成分に感度を持つと想定した撮像素子の分光感度Ｓｘ（λ）と、照明光の分光エネルギーＩ（λ）と、推定した分光反射率Ｏ（λ）とをもとに、次式（９）に従い、画素値Ｐｘを算出する。
【数６】
【００８６】
なお、本例では、３種類の基底ベクトルと各画素のＲ，Ｇ，Ｂ成分とを用いて分光情報を推定した。これに対し、例えば３つ以上の波長成分を撮像可能な内視鏡に本発明を適用する場合には、得られた各波長成分と、その波長成分数に応じた種類の基底ベクトルをもとに、分光情報を推定してもよい。
【００８７】
次に、画素値補完部２４ａが画素値補完処理を実行し、分類対象領域である血管、鏡面反射部、色変化病変の領域における画素値を補完する（ステップｄ１５）。実施の形態２では、関数近似を用いて画素値補完処理を行う。ここでの処理によって、分類対象領域における３次元画素値を、前段のステップｄ１１でこの分類対象領域以外の領域（詳細にはこの分類対象領域周辺の領域）の３次元画素値として算出した特定波長成分の画素値をもとに補完する。
【００８８】
図１７は、関数近似を用いた画素値補完の概念図である。なお、図１７では、領域周辺においては前段の図１２のステップｄ１１で既に算出されている３次元画素値を実線で示す一方、この領域周辺の３次元画素値をもとに補完を行う領域内部については管腔内画像の画素値を破線で示している。実施の形態２の画素値補完処理では、図１７（ａ）に示すように、領域を挟んで対向する少なくとも２つの周辺領域内から複数のサンプル画素Ｐ５１を選択する。これは、補完対象領域境界部における画素値変化が補完に影響するのを防ぐためであり、領域境界部の画素から所定の距離以上離れた周辺画素をサンプル画素Ｐ５１として選択する。そして、選択した複数のサンプル画素Ｐ５１の画素値をもとに近似曲面の関数式を求め、求めた近似曲面の関数式をもとに、図１７（ｂ）中に実線で示すように、領域内部の画素値を補完することで領域内部の３次元画素値を得る。
【００８９】
図１８は、実施の形態２の画素値補完処理の詳細な処理手順を示すフローチャートである。画素値補完処理では、図１８に示すように、まず、画素値補完部２４ａは、処理対象の分類対象領域（補完対象領域）を設定する（ステップｆ１）。次に、サンプル画素選択部２４４ａが、補完対象領域に対する膨張処理を行い、サンプル画素を設定する（ステップｆ３）。具体的には、補完対象領域に対し、公知の膨張処理（参考：ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，１７９Ｐ，膨張処理）をＮ1回（Ｎ1は所定値）行った結果と、Ｎ2回（Ｎ2は所定値であり、Ｎ1以下）行った結果との差分により残る画素を選択することで設定できる。
【００９０】
次に、関数近似部２４３ａが、サンプル画素の画素値をもとに近似曲面の関数式を求める（ステップｆ５）。本例では、近似曲面の関数式として、次式（１０）に示す２次関数を用いる。ここでｘ，ｙは画素の座標、ｚは画素値である。
【数７】
【００９１】
式（１０）の関数式の各係数ａ〜ｆは、最小二乗法により得られる次式（１１）に従い、サンプル画素の座標（ｘｉ，ｙｉ）（ｉ＝１〜ｎ：ｎはサンプル画素の数）、および画素値ｚｉから求める。
【数８】
【００９２】
そして、画素値補完部２４ａが、求めた関数式をもとに画素値を補完する（ステップｆ７）。具体的には、補完対象領域の画素毎に、その座標をもとに上記した式（１０）に従って画素値を算出することで実現できる。
【００９３】
その後、画素値補完部２４ａは、全ての補完対象領域の画素値を補完したか否かを判定し、補完していない場合には（ステップｆ９：Ｎｏ）、未補完の分類対象領域を補完対象領域に設定し（ステップｆ１１）、再度ステップｆ３〜ステップｆ９の処理を行う。一方、全ての分類対象領域の画素値を補完した場合には（ステップｆ９：Ｙｅｓ）、図１２のステップｄ１５にリターンし、その後ステップｄ２１に移行する。
【００９４】
また、ステップｄ５で抽出した領域がないと判定した場合（ステップｄ５：Ｎｏ）、または、ステップｄ９で血管、鏡面反射部、色変化病変の領域と分類した領域がないと判定した場合には（ステップｄ９：Ｎｏ）、まず、画素値算出部２３ａの分光情報推定部２３２ａが、管腔内画像全域におけるＲ，Ｇ，Ｂ成分の画素値をもとに、管腔内画像全域の各画素における分光反射率を推定する（ステップｄ１７）。その後、特定波長成分算出部２３３ａが、ステップｄ１７で推定した分光反射率をもとに、特定波長成分（生体内で吸収または散乱し難い波長成分）の画素値を算出し、続いて画素値算出部２３ａが、算出した特定波長成分の画素値を管腔内画像全域の各画素における３次元画素値とする（ステップｄ１９）。
【００９５】
そして最後に、演算部２０ａは、管腔内画像の各画素の画素値をステップｄ１３およびステップｄ１５で算出した３次元画素値またはステップｄ１９で算出した３次元画素値とした３次元画素値情報を出力し（ステップｄ２１）、画像処理装置１０ａでの処理を終了する。
【００９６】
以上説明したように、実施の形態２では、周辺画素に対する画素値変化の情報をもとに、周辺画素の画素値の平均値より小さい画素値を示す凹領域、および周辺画素の画素値の平均値より大きい画素値を示す凸領域を吸光や鏡面反射等の影響を強く受ける領域、具体的には血管、鏡面反射部、色変化病変の領域の候補となる分類対象候補領域として抽出することとした。そして、分類対象候補領域の境界部の画素値変化の急峻性をもとに、分類対象候補領域の中から吸光や鏡面反射部等の影響を強く受ける血管、鏡面反射部、色変化病変の領域を分類対象領域として分類することとした。これによれば、管腔内画像において、画素値が撮像対象の３次元形状に対応していない領域を特定することができる。
【００９７】
また、実施の形態２では、前述のようにして特定した画素値が撮像対象の３次元形状に対応していない領域である分類対象領域以外の領域において、生体内における吸収または散乱の度合いに応じて特定される特定波長成分の画素値を求めることにより、生体組織の３次元形状に対応した３次元画素値を算出することとした。そして、例えば分類対象領域の周辺の３次元画素値として求めた特定波長成分の画素値をもとに関数近似を行い、分類対象領域である血管、鏡面反射部、色変化病変の領域における画素値を補完することで分類対象領域の内部の３次元画素値を得ることとした。したがって、管腔内画像の全域において生体組織の３次元形状を適正に表した３次元画素値を算出し、３次元画素値情報として出力することができる。
【００９８】
（実施の形態３）
まず、実施の形態３の画像処理装置の構成について説明する。図１９は、実施の形態３の画像処理装置１０ｂの主要構成を説明するブロック図である。なお、実施の形態１で説明した構成と同一の構成については、同一の符号を付する。実施の形態３の画像処理装置１０ｂは、図１９に示すように、演算部２０ｂと、記録部３０ｂとを備える。この画像処理装置１０ｂは、例えば実施の形態１と同様に内視鏡に組み込まれるものであり、内視鏡によって撮像された管腔内画像が入力され、この管腔内画像を処理することで算出した３次元画素値情報を出力する。
【００９９】
演算部２０ｂは、実施の形態１と同様に構成される領域抽出部２１と、領域分類部２２ｂと、実施の形態１と同様に構成される画素値算出部２３と、実施の形態１と同様に構成される画素値補完部２４とを含み、領域分類部２２ｂの構成のみが実施の形態１と異なる。
【０１００】
実施の形態３の領域分類部２２ｂは、分類対象候補領域の周辺部の画素値によって表される分類対象候補領域の周辺部の画素値変化（曲面形状）の連続性をもとに、分類対象候補領域の中から血管、鏡面反射部、色変化病変の領域を分類対象領域として分類する。この領域分類部２２ｂは、周辺領域関数近似部２２６ｂと、周辺連続性判定部２２７ｂとを備える。周辺領域関数近似部２２６ｂは、分類対象候補領域を挟んで対向する少なくとも２つの分類対象候補領域の周辺部についてその曲面形状の関数近似を行う。周辺連続性判定部２２７ｂは、少なくとも２つの分類対象候補領域の周辺部についての関数近似結果を比較することによって、領域周辺部間の画素値変化の連続性を判定する。
【０１０１】
記録部３０ｂには、管腔内画像から３次元画素値情報を算出するための画像処理プログラム３１ｂが記録される。
【０１０２】
次に、実施の形態３の画像処理装置１０ｂが行う具体的な処理手順について説明する。図２０は、実施の形態３の画像処理装置１０ｂが行う処理手順を示す全体フローチャートである。ここで説明する処理は、演算部２０ｂが記録部３０ｂに記録された画像処理プログラム３１ｂを実行することにより実現される。なお、図２０において、実施の形態１と同様の処理工程には、同一の符号を付する。
【０１０３】
実施の形態３では、ステップａ５において演算部２０ｂが特定色の領域（分類対象候補領域）として抽出した領域があると判定した場合に（ステップａ５：Ｙｅｓ）、領域分類部２２ｂが領域分類処理を実行し、分類対象候補領域の周辺部の画素値変化の連続性をもとに、分類対象候補領域の中から分類対象領域である血管、鏡面反射部、色変化病変の領域を分類する（ステップｇ７）。実施の形態１で説明したように、ステップａ３において色特徴量をもとに抽出した特定色の領域には、血管、鏡面反射部、色変化病変の他に、粘膜段差、粘膜溝等も含まれる可能性がある。そこで、実施の形態３の領域分類処理では、分類対象候補領域の周辺部の画素値によって表される分類対象候補領域の周辺部の曲面形状をもとに領域周辺部の画素値変化の連続性を判定することで、両者を分類する。
【０１０４】
なお、分類に先立ち、候補領域画像内で同一の画素値となる画素をラベリング処理により連結する点は、実施の形態１と同様である。
【０１０５】
ここで、領域分類処理の具体的な処理手順を説明する前に、特定色の領域に含まれる血管、鏡面反射部、色変化病変、粘膜段差、粘膜溝の各カテゴリ領域の領域周辺部の特徴を説明する。図２１−１は、実施の形態１で参照した図５の断面方向ａに沿った鏡面反射部３の領域周辺部の画素値変化を示す模式図であり、図２１−２は、図５の色変化病変５が白色病変である場合の断面方向ｂに沿った領域周辺部の画素値変化を示す模式図であり、図２１−３は、図５の断面方向ｃに沿った血管２の領域周辺部の画素値変化を示す模式図であり、図２１−４は、図５の色変化病変５が赤色，黒色病変である場合の断面方向ｄに沿った領域周辺部の画素値変化を示す模式図であり、図２１−５は、図５の粘膜起伏７が粘膜段差である場合の断面方向ｅに沿った領域周辺部の画素値変化を示す模式図であり、図２１−６は、図５の粘膜起伏７が粘膜溝である場合の断面方向ｆに沿った領域周辺部の画素値変化を示す模式図である。これらは、各図２１−１，図２１−２，図２１−３，図２１−４，図２１−５，図２１−６中において、該当するカテゴリ領域の互いに対向する２つの領域周辺部の曲面形状のそれぞれを近似した近似曲面を二点鎖線で示している。
【０１０６】
実施の形態１で説明したように、管腔内画像の画素値は、Ｒ，Ｇ，Ｂ各成分の各値で構成される。各値で大小の違いはあるが、変化の傾向はいずれも同様である。ここで、図５の断面方向ａに沿った鏡面反射部３や断面方向ｂ，ｄに沿った白色，赤色，黒色病変等の色変化病変５、断面方向ｃに沿った血管２は、形状的には連続しているため、図２１−１，図２１−２，図２１−３，図２１−４に示すように、いずれも領域周辺部間の画素値変化に連続性がある。そして、このように連続性がある領域周辺部の画素値によって表される領域周辺部の曲面形状を近似した近似曲面の関数式を求めると、その同一座標の画素値の差分値は小さい。一方、図５の断面方向ｅ，ｆに沿った粘膜段差や粘膜溝等の粘膜起伏７は、形状的に不連続であるため、図２１−５，図２１−６に示すように、領域周辺部間の画素値変化に連続性がない。そして、このように連続性がない領域周辺部の画素値によって表される領域周辺部の曲面形状を近似した近似曲面の関数式を求めると、その同一座標の画素値の差分値は大きい。実施の形態３の領域分類処理では、これらの特徴をもとに、分類対象候補領域の中から分類対象領域である血管、鏡面反射部、色変化病変の領域を分類する。
【０１０７】
図２２は、実施の形態３の領域分類処理の詳細な処理手順を示すフローチャートである。領域分類処理では、図２２に示すように、まず、領域分類部２２ｂが、処理対象の分類対象候補領域（処理候補領域）を設定する（ステップｈ１）。
【０１０８】
次に、周辺領域関数近似部２２６ｂが、領域の主軸を挟んで対向する２つの領域周辺部を設定する（ステップｈ３）。これは、処理候補領域に対し、公知の膨張処理をＮ1回（Ｎ1は所定値）行った結果と、Ｎ2回（Ｎ2は所定値であり、Ｎ1以下）行った結果との差分により残る画素を、領域の形状特徴量である主軸（参考：ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，１８３Ｐ，主軸）により２分することで設定できる。そして、各々の領域周辺部内の画素値をもとに、２つの近似曲面の関数式を求める（ステップｈ５）。近似曲面の関数式を求める方法は、実施の形態２において図１８のステップｆ５で説明した方法と同様である。
【０１０９】
次に、周辺連続性判定部２２７ｂが、２つの領域周辺部間の画素値変化が連続的か否かを判定する。具体的な処理手順としては、まず、実施の形態２において図１８のステップｆ７で説明した方法と同様の方法により、２つの近似曲面の関数式毎に処理候補領域内の画素値を算出する。次に、関数式毎に算出した処理候補領域内の同一座標における画素値の差分値の絶対値の総和を求める。その後、求めた値が所定の閾値以下であるか否かを判定することで領域周辺部間の画素値変化が連続的か否かを判定する。そして、２つの領域周辺部間の画素値変化が連続的でないと判定した場合は（ステップｈ７：Ｎｏ）、処理候補領域を粘膜段差または粘膜溝と分類する（ステップｈ９）。一方、連続的であると判定した場合は（ステップｈ７：Ｙｅｓ）、処理候補領域を血管、鏡面反射部または色変化病変と分類する（ステップｈ１１）。
【０１１０】
その後、領域分類部２２ｂは、全ての分類対象候補領域を分類したか否かを判定し、分類していない場合には（ステップｈ１３：Ｎｏ）、未分類の分類対象候補領域を処理候補領域に設定し（ステップｈ１５）、再度ステップｈ３〜ステップｈ１３を行う。一方、全ての分類対象候補領域を分類した場合には（ステップｈ１３：Ｙｅｓ）、図２０のステップｇ７にリターンし、ステップａ９に移行する。結果としては、分類対象領域である血管、鏡面反射部、色変化病変と分類した領域の画素に対して領域識別用の正数値（ラベル値）を設定し、分類対象領域以外の領域の画素に対して「０」を設定した分類対象領域画像を作成する。
【０１１１】
以上説明したように、実施の形態３では、分類対象候補領域の周辺部の画素値によって表される分類対象候補領域の曲面形状の連続性をもとに、分類対象候補領域の中から吸光や鏡面反射部等の影響を強く受ける血管、鏡面反射部、色変化病変の領域を分類対象領域として分類することとした。これによれば、実施の形態１や実施の形態２と同様の効果を奏することができ、管腔内画像において、画素値が撮像対象の３次元形状に対応していない領域を特定することができる。そして、管腔内画像の全域において生体組織の３次元形状を適正に表した３次元画素値を算出し、３次元画素値情報として出力することができる。
【０１１２】
また、上記した実施の形態１の画像処理装置１０、実施の形態２の画像処理装置１０ａ、および実施の形態３の画像処理装置１０ｂは、予め用意されたプログラムをパソコンやワークステーション等のコンピュータシステムで実行することによって実現することができる。以下、各実施の形態１〜３で説明した画像処理装置１０，１０ａ，１０ｂと同様の機能を有し、画像処理プログラム３１，３１ａ，３１ｂを実行するコンピュータシステムについて説明する。
【０１１３】
図２３は、本変形例におけるコンピューターシステム４００の構成を示すシステム構成図であり、図２４は、このコンピューターシステム４００を構成する本体部４１０の構成を示すブロック図である。図２３に示すように、コンピューターシステム４００は、本体部４１０と、本体部４１０からの指示によって表示画面４２１に画像等の情報を表示するためのディスプレイ４２０と、このコンピューターシステム４００に種々の情報を入力するためのキーボード４３０と、ディスプレイ４２０の表示画面４２１上の任意の位置を指定するためのマウス４４０とを備える。
【０１１４】
また、このコンピューターシステム４００における本体部４１０は、図２３および図２４に示すように、ＣＰＵ４１１と、ＲＡＭ４１２と、ＲＯＭ４１３と、ハードディスクドライブ（ＨＤＤ）４１４と、ＣＤ−ＲＯＭ４６０を受け入れるＣＤ−ＲＯＭドライブ４１５と、ＵＳＢメモリ４７０を着脱可能に接続するＵＳＢポート４１６と、ディスプレイ４２０、キーボード４３０およびマウス４４０を接続するＩ／Ｏインターフェース４１７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ１に接続するためのＬＡＮインターフェース４１８とを備える。
【０１１５】
さらに、このコンピューターシステム４００には、インターネット等の公衆回線Ｎ３に接続するためのモデム４５０が接続されるとともに、ＬＡＮインターフェース４１８およびローカルエリアネットワークまたは広域エリアネットワークＮ１を介して、他のコンピューターシステムであるパソコン（ＰＣ）４８１、サーバ４８２、プリンタ４８３等が接続される。
【０１１６】
そして、このコンピューターシステム４００は、記録媒体に記録された画像処理プログラム（例えば実施の形態１の画像処理プログラム３１や実施の形態２の画像処理プログラム３１ａ、実施の形態３の画像処理プログラム３１ｂ）を読み出して実行することで画像処理装置（例えば実施の形態１の画像処理装置１０や実施の形態２の画像処理装置１０ａ、実施の形態３の画像処理装置１０ｂ）を実現する。ここで、記録媒体とは、ＣＤ−ＲＯＭ４６０やＵＳＢメモリ４７０の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピューターシステム４００の内外に備えられるＨＤＤ４１４やＲＡＭ４１２、ＲＯＭ４１３等の「固定用の物理媒体」、モデム４５０を介して接続される公衆回線Ｎ３や、他のコンピューターシステムであるＰＣ４８１やサーバ４８２が接続されるローカルエリアネットワークまたは広域エリアネットワークＮ１等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピューターシステム４００によって読み取り可能な画像処理プログラムを記録するあらゆる記録媒体を含む。
【０１１７】
すなわち、画像処理プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記録媒体にコンピューター読み取り可能に記録されるものであり、コンピューターシステム４００は、このような記録媒体から画像処理プログラムを読み出して実行することで画像処理装置を実現する。なお、画像処理プログラムは、コンピューターシステム４００によって実行されることに限定されるものではなく、他のコンピューターシステムであるＰＣ４８１やサーバ４８２が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。
【０１１８】
また、上記した各実施の形態では、内視鏡に組み込まれ、内視鏡によって撮像された管腔内画像を処理する画像処理装置について説明したが、本発明の画像処理装置が処理の対象とする管腔内画像は、内視鏡によって撮像された画像に限定されるものではない。例えば、近年では、カプセル型の筐体内部に撮像装置やこの撮像装置によって撮像された画像データを体外に無線送信する通信装置等を備えた飲み込み型の内視鏡（カプセル内視鏡）が開発されており、このカプセル内視鏡によって撮像された管腔内画像を処理する場合にも同様に適用可能である。
【０１１９】
また、本発明は、上記した各実施の形態１〜３そのままに限定されるものではなく、各実施の形態１〜３に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を除外して形成してもよい。あるいは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。具体例を挙げれば、領域抽出部、領域分類部、画素値算出部および画素値補完部として、実施の形態１で説明した領域抽出部２１、領域分類部２２、画素値算出部２３、画素値補完部２４、実施の形態２で説明した領域抽出部２１ａ、領域分類部２２ａ、画素値算出部２３ａ、画素値補完部２４ａ、実施の形態３で説明した領域分類部２２ｂを適宜選択的に組み合わせることで画像処理装置を構成することとしてよい。
【産業上の利用可能性】
【０１２０】
以上のように、本発明の画像処理装置、画像処理方法、および画像処理プログラムは、管腔内画像において、画素値が撮像対象の３次元形状に対応していない領域を特定するのに適している。
【符号の説明】
【０１２１】
１０，１０ａ，１０ｂ 画像処理装置
２０，２０ａ，２０ｂ 演算部
２１，２１ａ 領域抽出部
２１１ 特定色領域抽出部
２１２ａ 凹凸領域抽出部
２１３ａ 方向別差分算出部
２１４ａ 最大最小値算出部
２１５ａ 閾値処理部
２２，２２ａ，２２ｂ 領域分類部
２２１ ２次微分算出部
２２２ 内部凹凸判定部
２２３ 内部平滑性判定部
２２４ａ １次微分算出部
２２５ａ 境界急峻性判定部
２２６ｂ 周辺領域関数近似部
２２７ｂ 周辺連続性判定部
２３，２３ａ 画素値算出部
２３１ Ｒ成分選択部
２３２ａ 分光情報推定部
２３３ａ 特定波長成分算出部
２４，２４ａ 画素値補完部
２４１ モフォロジ処理部
２４２ 構造要素作成部
２４３ａ 関数近似部
２４４ａ サンプル画素選択部
３０，３０ａ，３０ｂ 記録部
３１，３１ａ，３１ｂ 画像処理プログラム
【技術分野】
【０００１】
本発明は、管腔内を撮像した管腔内画像を処理する画像処理装置、画像処理方法、および画像処理プログラムに関するものである。
【背景技術】
【０００２】
特許文献１には、管腔内画像（内視鏡画像）から生体組織の３次元形状を推定し、推定した３次元形状の各位置における曲率等の形状特徴量をもとにポリープ等の隆起形状を有する病変部位を検出する方法が開示されている。ここで、３次元形状を推定する際には、管腔内画像から撮像対象の３次元形状に対応する画素値を取得する必要があるが、特許文献１では、管腔内画像の輝度情報をこの３次元形状に対応する画素値と看做しており、この画素値に基づく幾何学的な変換処理を行うことで３次元形状を推定している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２３６６２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、管腔内画像には、輝度値が３次元形状に対応していない領域が含まれ得るという問題があった。例えば、管腔内画像には、生体組織の表層に存在する血管が映る場合があるが、このような部分では、照明光に対する血液の吸光の影響から輝度値が低下する。また、鏡面反射が発生した領域（鏡面反射部）では、撮像対象の３次元形状とは関係なく輝度値の上昇が生じる。したがって、このような３次元形状に対応していない領域が含まれる管腔内画像を扱う場合、例えば上記した特許文献１を適用しても、撮像対象の３次元形状に対応する画素値を適正に取得できない場合が生じ得る。また、この結果、さらに後段の処理において形状推定を正確に行えない場合が生じ得る。
【０００５】
本発明は、上記に鑑み為されたものであって、管腔内画像において、画素値が撮像対象の３次元形状に対応していない領域を特定することができる画像処理装置、画像処理方法、および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記した課題を解決し、目的を達成するための、本発明のある態様にかかる画像処理装置は、管腔内を撮像した管腔内画像の画素値または周辺画素に対する画素値変化の情報をもとに、内部の画素値が撮像対象の３次元形状に対応していない分類対象領域の候補領域を抽出する領域抽出部と、前記候補領域の内部、前記候補領域の境界部、または前記候補領域の周辺部の画素値をもとに、前記候補領域の中から前記分類対象領域を分類する領域分類部と、を備えることを特徴とする。
【０００７】
この態様にかかる画像処理装置によれば、管腔内画像から、内部の画素値が撮像対象の３次元形状に対応していない分類対象領域の候補領域を抽出し、その候補領域の内部、候補領域の境界部、または候補領域の周辺部の画素値をもとに候補領域の中から分類対象領域を分類することができる。したがって、管腔内画像において、画素値が撮像対象の３次元形状に対応していない領域を特定することができる。
【０００８】
また、本発明の別の態様にかかる画像処理方法は、管腔内を撮像した管腔内画像の画素値または周辺画素に対する画素値変化の情報をもとに、内部の画素値が撮像対象の３次元形状に対応していない分類対象領域の候補領域を抽出する領域抽出工程と、前記候補領域の内部、前記候補領域の境界部、または前記候補領域の周辺部の画素値をもとに、前記候補領域の中から前記分類対象領域を分類する領域分類工程と、を含むことを特徴とする。
【０００９】
また、本発明の別の態様にかかる画像処理プログラムは、コンピュータに、管腔内を撮像した管腔内画像の画素値または周辺画素に対する画素値変化の情報をもとに、内部の画素値が撮像対象の３次元形状に対応していない分類対象領域の候補領域を抽出する領域抽出手順と、前記候補領域の内部、前記候補領域の境界部、または前記候補領域の周辺部の画素値をもとに、前記候補領域の中から前記分類対象領域を分類する領域分類手順と、を実行させることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、管腔内画像において、画素値が撮像対象の３次元形状に対応していない領域を特定することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、内視鏡によって撮像された管腔内画像の模式図である。
【図２】図２は、図１の管腔内画像の３次元画素値情報の模式図である。
【図３】図３は、実施の形態１の画像処理装置の主要構成を説明する概略ブロック図である。
【図４】図４は、実施の形態１の画像処理装置が行う処理手順を示す全体フローチャートである。
【図５】図５は、血管、鏡面反射部、色変化病変、粘膜起伏の断面方向を示す図である。
【図６−１】図６−１は、図５の断面方向ａに沿った鏡面反射部の領域内部の画素値変化を示す模式図である。
【図６−２】図６−２は、図５の断面方向ｂに沿った白色病変の領域内部の画素値変化を示す模式図である。
【図６−３】図６−３は、図５の断面方向ｃに沿った血管の領域内部の画素値変化を示す模式図である。
【図６−４】図６−４は、図５の断面方向ｄに沿った赤色，黒色病変の領域内部の画素値変化を示す模式図である。
【図６−５】図６−５は、図５の断面方向ｅに沿った粘膜段差の領域内部の画素値変化を示す模式図である。
【図６−６】図６−６は、図５の断面方向ｆに沿った粘膜溝の領域内部の画素値変化を示す模式図である。
【図７】図７は、実施の形態１の領域分類処理の詳細な処理手順を示すフローチャートである。
【図８】図８は、モフォロジOpening処理を用いた画素値補完の概念図である。
【図９】図９は、モフォロジClosing処理を用いた画素値補完の概念図である。
【図１０】図１０は、実施の形態１の画素値補完処理の詳細な処理手順を示すフローチャートである。
【図１１】図１１は、実施の形態２の画像処理装置の主要構成を説明する概略ブロック図である。
【図１２】図１２は、実施の形態２の画像処理装置が行う処理手順を示す全体フローチャートである。
【図１３】図１３は、方向別の差分値算出の概念図である。
【図１４】図１４は、血管、鏡面反射部、色変化病変、粘膜起伏の断面方向を示す図である。
【図１５−１】図１５−１は、図１４の断面方向ａに沿った鏡面反射部の領域境界部の画素値変化を示す模式図である。
【図１５−２】図１５−２は、図１４の断面方向ｂに沿った血管の領域境界部の画素値変化を示す模式図である。
【図１５−３】図１５−３は、図１４の断面方向ｃに沿った色変化病変の領域境界部の画素値変化を示す模式図である。
【図１５−４】図１５−４は、図１４の断面方向ｄに沿った形状変化病変の領域境界部の画素値変化を示す模式図である。
【図１５−５】図１５−５は、図１４の断面方向ｅに沿った粘膜段差の領域境界部の画素値変化を示す模式図である。
【図１５−６】図１５−６は、図１４の断面方向ｆに沿った粘膜溝の領域境界部の画素値変化を示す模式図である。
【図１６】図１６は、実施の形態２の領域分類処理の詳細な処理手順を示すフローチャートである。
【図１７】図１７は、関数近似を用いた画素値補完の概念図である。
【図１８】図１８は、実施の形態２の画素値補完処理の詳細な処理手順を示すフローチャートである。
【図１９】図１９は、実施の形態３の画像処理装置の主要構成を説明する概略ブロック図である。
【図２０】図２０は、実施の形態３の画像処理装置が行う処理手順を示す全体フローチャートである。
【図２１−１】図２１−１は、図５の断面方向ａに沿った鏡面反射部の領域周辺部の画素値変化を示す模式図である。
【図２１−２】図２１−２は、図５の断面方向ｂに沿った白色病変の領域周辺部の画素値変化を示す模式図である。
【図２１−３】図２１−３は、図５の断面方向ｃに沿った血管の領域周辺部の画素値変化を示す模式図である。
【図２１−４】図２１−４は、図５の断面方向ｄに沿った赤色，黒色病変の領域周辺部の画素値変化を示す模式図である。
【図２１−５】図２１−５は、図５の断面方向ｅに沿った粘膜段差の領域周辺部の画素値変化を示す模式図である。
【図２１−６】図２１−６は、図５の断面方向ｆに沿った粘膜溝の領域周辺部の画素値変化を示す模式図である。
【図２２】図２２は、実施の形態３の領域分類処理の詳細な処理手順を示すフローチャートである。
【図２３】図２３は、本発明を適用したコンピューターシステムの構成を示すシステム構成図である。
【図２４】図２４は、図２３のコンピューターシステムを構成する本体部の構成を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。本実施の形態では、内視鏡によって撮像された管腔内画像（消化管内画像）を処理する画像処理装置について説明する。内視鏡は、消化管等のような管腔の内部を観察するための医療機器であり、撮像のための照明系、光学系、撮像系等を先端に内蔵し、管腔内に挿入される挿入部や、挿入部と接続され、光源、画像処理装置等を内蔵する筺体部、撮像した管腔内画像を表示する表示部等からなるシステム機器である。なお、この実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
【００１３】
図１は、内視鏡によって撮像された管腔内画像の模式図である。また、図２は、図１の管腔内画像の３次元画素値情報の模式図である。図１に示すように、管腔内画像には、基本的に消化管内壁の粘膜１が映るが、時として粘膜表層下の血管２、鏡面反射部３、病変４等が映る。病変４の中には、発赤等粘膜表面の形状変化がほとんどなく、色のみが変化する色変化病変５と、ポリープ等粘膜表面の形状変化がある形状変化病変６とがある。この他、管腔内画像には、粘膜構造の折りたたみやうねり等によって発生する粘膜段差や粘膜溝といった粘膜起伏７が映るとともに、管腔の奥側（撮像系から遠い位置の粘膜）が暗部領域８として映る。ここで、粘膜１や暗部領域８の他、形状変化病変６、粘膜段差や粘膜溝等の粘膜起伏７は、画素値の変化が３次元的な形状に対応している。これに対し、粘膜表層下の血管２、鏡面反射部３、色変化病変５は、吸光や鏡面反射等の影響を強く受ける領域であり、画素値の変化が３次元的な形状に対応していない部分である。具体的には、上記したように、血管２は、照明光に対する血液の吸光の影響から輝度値が低下する。また、色変化病変も同様に、照明光に対する血液の吸光の影響から輝度値が低下する。一方、鏡面反射部では、生体組織の３次元形状とは関係なく輝度値の上昇が生じる。なお、内視鏡により撮像される管腔内画像は、通常、各画素位置においてＲ（赤），Ｇ（緑），Ｂ（青）の各波長成分に対する画素値を持つカラー画像である。
【００１４】
本実施の形態の画像処理装置は、前述のような管腔内画像を処理し、管腔内画像から生体組織である粘膜の３次元形状に対応する画素値（以下、「３次元画素値情報」という。）を算出するものであり、まず、画素値が撮像対象（生体組織）の３次元形状に対応していない血管２、鏡面反射部３、色変化病変５の領域を分類する。そして、分類した血管２、鏡面反射部３、色変化病変５の領域についてはその周囲の画素値をもとに補完を行うことで３次元画素値を算出し、それ以外の粘膜１、形状変化病変６、粘膜起伏７、暗部８の領域についてはその画素値をもとに３次元画素値を算出し、図２に示すような３次元画素値情報を算出する。
【００１５】
（実施の形態１）
まず、実施の形態１の画像処理装置１０の構成について説明する。図３は、実施の形態１の画像処理装置１０の主要構成を説明する概略ブロック図である。図３に示すように、実施の形態１の画像処理装置１０は、演算部２０と、記録部３０とを含む。この画像処理装置１０は、例えば、上記した内視鏡に組み込まれるものであり、内視鏡によって撮像された管腔内画像が入力され、この管腔内画像を処理することで算出した３次元画素値情報を出力する。
【００１６】
演算部２０は、ＣＰＵ等のハードウェアによって実現され、管腔内画像から３次元画素値情報を算出するための種々の演算処理を行う。この演算部２０は、領域抽出部２１と、領域分類部２２と、画素値算出部２３と、画素値補完部２４とを含む。
【００１７】
領域抽出部２１は、特定色領域抽出部２１を備える。この領域抽出部２１は、管腔内画像から分類対象領域の候補領域（分類対象候補領域）を抽出する機能部であり、実施の形態１では、特定色領域抽出部２１１が、画素値をもとに特定色の領域を分類対象候補領域として抽出する。
【００１８】
領域分類部２２は、分類対象候補領域の内部の画素値によって表される分類対象候補領域の曲面形状の凹凸情報および滑らかさをもとに、分類対象候補領域の中から血管、鏡面反射部、色変化病変の領域を分類対象領域として分類する。この領域分類部２２は、２次微分算出部２２１と、内部凹凸判定部２２２と、内部平滑性判定部２２３とを備える。２次微分算出部２２１は、分類対象候補領域の内部の画素に対して２次微分フィルタを適用し、２次微分値を算出する。内部凹凸判定部２２２は、分類対象候補領域の内部の画素の２次微分値の符号をもとに、分類対象候補領域の曲面形状（画素値変化）の凹凸を判定する。内部平滑性判定部２２３は、分類対象候補領域の内部の画素の２次微分値の絶対値をもとに、分類対象候補領域の曲面形状（画素値変化）の滑らかさを判定する。
【００１９】
画素値算出部２３は、分類対象領域以外の領域において、生体内における吸収または散乱の度合いに応じて特定される特定波長成分の画素値を３次元画素値として算出する。この画素値算出部２３は、Ｒ成分を特定波長成分とし、分類対象領域以外の領域におけるＲ成分の画素値を選択するＲ成分選択部２３１を備える。
【００２０】
画素値補完部２４は、分類対象領域である血管、鏡面反射部、色変化病変の領域における３次元画素値を、分類対象領域以外の領域の特定波長成分の画素値をもとに補完する。この画素値補完部２４は、分類対象領域の周辺の特定波長成分の画素値をもとにモフォロジ処理を行うモフォロジ処理部２４１を備える。このモフォロジ処理部２４１は、分類対象領域の特徴量をもとにモフォロジ処理で用いる構造要素を作成する構造要素作成部２４２を備える。
【００２１】
記録部３０は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、例えばＣＤ−ＲＯＭ等の各種記録媒体およびその読取装置等によって実現される。この記録部３０には、画像処理装置１０を動作させ、この画像処理装置１０が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が記録される。例えば、記録部３０には、内視鏡によって撮像され、画像処理装置１０に入力された管腔内画像の画像データが記録される。また、記録部３０には、管腔内画像から３次元画素値情報を算出するための画像処理プログラム３１が記録される。
【００２２】
次に、実施の形態１の画像処理装置１が行う具体的な処理手順について説明する。図４は、実施の形態１の画像処理装置１０が行う処理手順を示す全体フローチャートである。ここで説明する処理は、演算部２０が記録部３０に記録された画像処理プログラム３１を実行することにより実現される。
【００２３】
図４に示すように、まず、演算部２０は、処理対象の管腔内画像を取得する（ステップａ１）。ここでの処理によって、例えば内視鏡によって撮像され、記録部３０に記録された管腔内画像が読み出されて取得される。
【００２４】
次に、領域抽出部２１において、特定色領域抽出部２１１が、処理対象の管腔内画像から、画素値をもとに特定色の領域を分類対象候補領域として抽出する（ステップａ３）。上記した血管、鏡面反射部、色変化病変の領域は、各々特定の色を示す。例えば、血管は赤または赤紫色を示し、鏡面反射部は白色を示し、色変化病変は赤色、黒色または白色等を示す。そこで、実施の形態１では、特定色の領域を抽出することで、血管、鏡面反射部、色変化病変の候補となる分類対象候補領域を抽出する。
【００２５】
特定色領域を抽出する方法には様々な方法があるが、ここでは、事前のサンプルデータの分布を確率モデルで近似し、これを用いた判別に基づいて抽出する方法を示す。具体的には、事前に血管、鏡面反射部、色変化病変の各カテゴリに属する複数の画素をサンプリングし、その画素の色特徴量を求めておく。ここで、色特徴量とは、Ｒ，Ｇ，Ｂの各成分の画素値や、それらをもとに既に公知の変換により２次的に算出される値、色差（ＹＣｂＣｒ変換）、色相、彩度（ＨＳＩ変換）、色比（Ｇ／Ｒ，Ｂ／Ｇ）等である。次に、サンプリングした画素の色特徴量からなる特徴ベクトルＦｎ＝（ｆｎ＿１，ｆｎ＿２，・・・，ｆｎ＿ｋ）tを算出する。ここで、ｆｎ＿ｊはｎ番目のサンプリング画素のｊ番目の色特徴量であり、ｋは色特徴量の個数である。そして、この特徴ベクトルＦｎをもとに、次式（１）に従って平均ベクトルμと分散共分散行列Ｚとを求め、記録部３０に記録しておく。ただし、ＮＤは、サンプリングデータ数である。
【数１】
【００２６】
そして、実際のステップａ３では、まず、処理対象の管腔内画像の各画素の色特徴量からなる特徴ベクトルｘ＝（ｘ＿１，ｘ＿２，・・・，ｘ＿ｋ）tと、事前に求めて記録部３０に記録しておいた各カテゴリの平均ベクトルμおよび分散共分散行列Ｚとをもとに、次式（２）に従って、各画素が各々のカテゴリ領域が示す特定色であるかの判定指標Ｐ（ｘ）をカテゴリ毎に算出する。ただし、｜Ｚ｜はＺの行列式、Ｚ-1はＺの逆行列である。
【数２】
【００２７】
その後、判定指標Ｐ（ｘ）の最大値が所定の閾値以上となる画素に対して最大値を示したカテゴリに応じた整数値（ラベル値）を設定するとともに、判定指標Ｐ（ｘ）の最大値が閾値以下となる画素に対して「０」を設定し、候補領域画像を作成する。
【００２８】
以上、本例では確率モデルを用いた抽出方法を示したが、ここでは管腔内画像から血管、鏡面反射部、色変化病変に応じた特定色の領域を抽出できればよく、その方法は特に限定されるものではない。本例以外の方法としては、例えば特定色を示す色特徴ベクトルを設定し、設定したベクトルと判別対象の画素の色特徴量からなる特徴ベクトルとの特徴空間（特徴量の大小関係を示す特徴軸が張る空間）内での距離をもとに管腔内画像内の特定色の領域を抽出することとしてもよい。あるいは、特徴空間内に特定色を示す範囲を設定し、設定した範囲と判別対象の画素の色特徴量からなる特徴ベクトルとの位置関係をもとに管腔内画像内の特定色の領域を抽出することとしてもよい。また、画素単位の色特徴量を用いて特定色の領域を抽出する場合に限らず、画像内を予め小領域に分割した後、小領域単位の色特徴量を用いて特定色の領域を抽出することとしてもよい。
【００２９】
次に、演算部２０が、特定色の領域（分類対象候補領域）として抽出した領域があるか否かを判定する。これは、候補領域画像において画素値が正数値である画素が存在するか否かを判定することによって判定できる。抽出した領域がない場合には（ステップａ５：Ｎｏ）、後述のステップａ１５に移行する。
【００３０】
一方、抽出した領域（分類対象候補領域）がある場合には（ステップａ５：Ｙｅｓ）、領域分類部２２が領域分類処理を実行し、分類対象候補領域の曲面形状の凹凸情報および滑らかさをもとに、分類対象候補領域の中から分類対象領域である血管、鏡面反射部、色変化病変の領域を分類する（ステップａ７）。ステップａ３において色特徴量をもとに抽出した特定色の領域には、血管、鏡面反射部、色変化病変の他に、粘膜段差、粘膜溝等も含まれる可能性がある。なぜなら、これらは時として赤色や黒色に近い色を示すからである。そこで、実施の形態１の領域分類処理では、分類対象候補領域の内部の画素値によって表される分類対象候補領域の曲面形状の凹凸情報および滑らかさをもとに、両者を分類する。
【００３１】
なお、分類に先立ち、候補領域画像内で同一の画素値となる画素を連結し、１つの領域として認識する必要があるが、これは公知のラベリング処理（参考：ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，１８１Ｐ，ラベリング）により実現できる。
【００３２】
ここで、領域分類処理の具体的な処理手順を説明する前に、特定色の領域に含まれる血管、鏡面反射部、色変化病変、粘膜段差、粘膜溝の各カテゴリ領域の領域内部の特徴を説明する。図５は、血管２、鏡面反射部３、色変化病変５、粘膜起伏７の各カテゴリ領域の断面方向ａ〜ｆを示す図である。また、図６−１は、図５の断面方向ａに沿った鏡面反射部３の領域内部の画素値変化を示す模式図であり、図６−２は、図５の色変化病変５が白色病変である場合の断面方向ｂに沿った領域内部の画素値変化を示す模式図であり、図６−３は、図５の断面方向ｃに沿った血管２の領域内部の画素値変化を示す模式図であり、図６−４は、図５の色変化病変５が赤色，黒色病変である場合の断面方向ｄに沿った領域内部の画素値変化を示す模式図であり、図６−５は、図５の粘膜起伏７が粘膜段差である場合の断面方向ｅに沿った領域内部の画素値変化を示す模式図であり、図６−６は、図５の粘膜起伏７が粘膜溝である場合の断面方向ｆに沿った領域内部の画素値変化を示す模式図である。
【００３３】
前述のように、管腔内画像の画素値は、Ｒ，Ｇ，Ｂ各成分の各値で構成される。各値で大小の違いはあるが、変化の傾向はいずれも同様である。ここで、図５の断面方向ａに沿った鏡面反射部３や断面方向ｂに沿った白色病変（５）の画素値変化は、図６−１，図６−２に示すように、共に領域内部の画素値が周辺より大きい値となり、凸形状を示す。一方、図５の断面方向ｃに沿った血管２、断面方向ｄに沿った赤色，黒色病変（５）、断面方向ｅに沿った粘膜段差（７）の画素値変化は、図６−３，図６−４，図６−５に示すように、それぞれ画素値が周辺より小さい値となり、凹形状を示す。また、血管２の画素値変化や赤色，黒色病変（５）は一体的な対象であるため、図６−３，図６−４に示すように、領域内部の画素値が滑らかに変化する。これに対し、図５の断面方向ｅに沿った粘膜段差（７）は、領域内部に異なる粘膜の境界を含むため、その画素値変化は、図６−５中に破線で囲って示すように、画素値が滑らかに変化しない部分Ｅ１１を含む。図５の断面方向ｆに沿った粘膜溝（７）も同様に、図６−６中に破線で囲って示すように、画素値が滑らかに変化しない部分Ｅ１２を含む。実施の形態１の領域分類処理では、これらの特徴をもとに、分類対象候補領域の中から分類対象領域である血管、鏡面反射部、色変化病変の領域を分類する。
【００３４】
実際の領域分類処理では、分類対象候補領域を順次処理対象とし、各分類対象候補領域が分類対象領域か否かを順番に判定していく。図７は、実施の形態１の領域分類処理の詳細な処理手順を示すフローチャートである。図７に示すように、まず、領域分類部２２が、処理対象の分類対象候補領域（以下、この処理対象の分類対象候補領域を「処理候補領域」と呼ぶ。）を設定する（ステップｂ１）。
【００３５】
次に、２次微分算出部２２１が、処理候補領域の内部の画素のＲ，Ｇ，Ｂいずれかの成分の画素値に対して、公知の２次微分フィルタ（参考：ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，１１８Ｐ，２次微分フィルタ）を適用し、各画素における２次微分値を算出する（ステップｂ３）。この時、ノイズによる影響を軽減するため、例えば、平滑化を伴う２次微分フィルタであるＬＯＧ（Laplacian Of Gaussian）フィルタを適用する。
【００３６】
次に、内部凹凸判定部２２２が、処理候補領域の内部の画素値をもとに、この処理候補領域の曲面形状（画素値変化）の凹凸を判定する（ステップｂ５）。２次微分フィルタは基本的に周辺画素の平均値と、中心画素の値あるいは中心画素付近の平均値との差分を得る構造となっており、画素値変化の凹凸に応じて符号が反転する。そこで、曲面形状の凹凸判定は、処理候補領域の内部の画素の２次微分値の平均値の符号をもとに画素値変化の凹凸を判定することで行う。そして、凹凸判定の結果が凸である場合は、ステップｂ７に移行し、領域分類部２２は、処理候補領域を鏡面反射部または白色病変と分類する。なお、曲面形状の凹凸判定は、処理候補領域の内部の画素の２次微分値の正負の符号数を比較することで行ってもよい。あるいは、２次微分値の最大値の符号をもとに判定することとしてもよい。
【００３７】
一方、凹凸判定の結果が凹である場合は、ステップｂ９に移行し、更に内部平滑性判定部２２３が、処理候補領域の内部の画素値をもとに、この処理候補領域の曲面形状（画素値変化）の滑らかさを判定する。滑らかさの判定に対しても２次微分値を利用する。画素値変化が滑らかな場合、周辺画素と中心画素の値の差が小さいため、２次微分値の絶対値は小さくなる。よって処理候補領域の内部の２次微分値の絶対値の平均値が予め設定される閾値以下であるか否かを判定することで、滑らかさを判定する。なお、処理候補領域の内部の２次微分値の絶対値の平均値に限らず、処理候補領域の内部の２次微分値の最大値を算出し、閾値処理することとしてもよい。
【００３８】
そして、ステップｂ９で処理候補領域の内部の画素値変化が滑らかであると判定した場合は、ステップｂ１１に移行し、領域分類部２２は、処理候補領域を血管または赤色，黒色病変と分類する。一方、ステップｂ９で滑らかでないと判定した場合は、ステップｂ１３に移行し、領域分類部２２は、処理候補領域を粘膜段差または粘膜溝と分類する。
【００３９】
その後、領域分類部２２は、全ての分類対象候補領域を分類したか否かを判定し、分類していない場合には（ステップｂ１５：Ｎｏ）、未分類の分類対象候補領域を処理候補領域に設定し（ステップｂ１７）、再度ステップｂ３〜ステップｂ１５を行う。一方、全ての分類対象候補領域を分類した場合には（ステップｂ１５：Ｙｅｓ）、図４のステップａ７にリターンし、ステップａ９に移行する。結果としては、分類対象領域である血管、鏡面反射部、色変化病変と分類した領域の画素に対して領域識別用の正数値（ラベル値）を設定し、分類対象領域以外の領域の画素に対して「０」を設定した分類対象領域画像を作成する。
【００４０】
次に、演算部２０は、分類対象領域である血管、鏡面反射部、色変化病変と分類した領域があるか否かを判定する。これは、分類対象領域画像において画素値が正数値である画素が存在するか否かを判定することによって判定できる。血管、鏡面反射部、色変化病変と分類した領域がない場合には（ステップａ９：Ｎｏ）、後述のステップａ１５に移行する。
【００４１】
一方、血管、鏡面反射部、色変化病変と分類した領域（分類対象領域）がある場合には（ステップａ９：Ｙｅｓ）、まず、画素値算出部２３のＲ成分選択部２３１が、分類対象領域以外の領域におけるＲ成分の画素値を選択し、続いて画素値算出部２３が、選択したＲ成分の画素値を分類対象領域以外の領域における３次元画素値とする（ステップａ１１）。ここで、Ｒ成分は、血液の吸収帯域から離れる波長成分であり、また長波長の成分であるため、生体内での吸収、散乱の影響を受け難く、最も生体組織の３次元形状に対応する画素値を示す。そこで実施の形態１では、生体内における吸収または散乱の度合いに応じて特定される特定波長成分をＲ成分とする。
【００４２】
なお、本例ではＲ，Ｇ，Ｂ成分の管腔内画像からＲ成分を選択する方法を示したが、Ｒ，Ｇ，Ｂの補色成分であるＣ（シアン），Ｍ（マゼンタ），Ｙ（黄）成分の管腔内画像を扱う場合には、Ｒ，Ｇ，Ｂ成分への変換後にＲ成分を選択してもよい。
【００４３】
次に、画素値補完部２４が画素値補完処理を実行し、分類対象領域である血管、鏡面反射部、色変化病変の領域における画素値を補完する（ステップａ１３）。実施の形態１では、モフォロジ処理を用いて画素値補完処理を行う。ここでの処理によって、分類対象領域における３次元画素値を、前段のステップａ１１でこの分類対象領域以外の領域（詳細にはこの分類対象領域周辺の領域）の３次元画素値として算出した特定波長成分の画素値をもとに補完する。
【００４４】
図８は、モフォロジOpening処理を用いた画素値補完の概念図であり、図９は、モフォロジClosing処理を用いた画素値補完の概念図である。図８に示すモフォロジOpening処理は、画素値を高度とみなした３次元空間において、構造要素と呼ばれる基準図形を対象画像の画素値の小さい方から外接させて移動させた際に構造要素の外周の最大値が通過する軌跡を得る処理である。また、図９に示すモフォロジClosing処理は、同様の３次元空間において構造要素を対象画像の画素値の大きい方から外接させて移動させた際に構造要素の外周の最小値が通過する軌跡を得る処理である。これらは共に公知の手法である（参考：コロナ社，モルフォロジー，小畑秀文著）。
【００４５】
図１０は、実施の形態１の画素値補完処理の詳細な処理手順を示すフローチャートである。画素値補完処理では、図１０に示すように、まず、画素値補完部２４は、処理対象の分類対象領域（以下、この処理対象の分類対象領域を「補完対象領域」と呼ぶ。）を設定する（ステップｃ１）。そして、画素値補完部２４は、補完対象領域の領域特徴量を算出する（ステップｃ３）。ここでの領域特徴量は、図７のステップｂ５で判定した凹凸判定の結果である画素値変化（曲面形状）の凹凸情報と、新たに算出する領域幅の２つである。領域幅は、補完対象領域の形状特徴量である面積Area、周囲長Peri（参考：ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，１８２Ｐ，面積、周囲長）を公知の手法により算出した後、長さＬ、幅Ｗの長方形として補完対象領域を近似した場合の次式（３）に示す連立方程式を解くことで算出可能である。
【数３】
【００４６】
例えば、凹凸情報が凸の場合は、図８（ａ）に示すように、この凸である凹凸情報と、領域幅Ｒ２１とを領域特徴量として用いる。一方、凹凸情報が凹の場合には、図９（ａ）に示すように、この凹である凹凸情報と、領域幅Ｒ２２とを領域特徴量として用いる。ここで、前段の図４のステップａ１１では、分類対象領域以外の領域においてＲ成分の画素値を選択し、選択したＲ成分の画素値を分類対象領域以外の領域における３次元画素値としている。図８（ａ），図９（ａ）では、領域周辺においてはその３次元画素値を実線で示す一方、この領域周辺の３次元画素値をもとに補完を行う領域内部については管腔内画像の画素値を破線で示している。
【００４７】
次に、構造要素作成部２４２は、図１０に示すように、モフォロジ構造要素を設定する（ステップｃ５）。ここで、図８（ａ）や図９（ａ）に示す領域幅Ｒ２１，Ｒ２２よりも大きな構造要素を用いなければ、領域周辺の３次元画素値をもとに領域内部の画素値を補完することはできない。よって、図１０のステップｃ５では、図８（ｂ）や図９（ｂ）に示すように、算出した領域幅Ｒ２１，Ｒ２２をもとにそれよりも大きなサイズの構造要素Ｆ２１，Ｆ２２を設定する。
【００４８】
そして、モフォロジ処理部２４１は、図１０に示すように、モフォロジ処理を選択し（ステップｃ７）、選択したモフォロジ処理を行って画素値を補完する（ステップｃ９）。領域境界における画素値変化が補完に影響するのを防ぐため、凹凸情報が凸なのか凹なのかによって適用するモフォロジ処理の種類を変える。
【００４９】
実際には、補完対象領域が図８（ａ）に示すように凸の領域であればモフォロジOpening処理を選択し、選択したモフォロジOpening処理を適用することで画素値を補完する。すなわち、図８（ｃ）に示すように、領域の下側（画素値の小さい方）から図８（ｂ）に示す構造要素Ｆ２１を外接させて移動させ、図８（ｄ）に示すように領域内部の画素値を補完することで領域内部の３次元画素値を得る。一方、補完対象領域が図９（ａ）に示すように凹の領域であればモフォロジClosing処理を選択し、選択したモフォロジClosing処理を適用することで画素値を補完する。すなわち、図９（ｃ）に示すように、領域の上側（画素値の大きい方）から図９（ｂ）に示す構造要素Ｆ２２を外接させて移動させ、図９（ｄ）に示すように領域内部の画素値を補完することで領域内部の３次元画素値を得る。
【００５０】
その後、画素値補完部２４は、図１０に示すように、全ての補完対象領域の画素値を補完したか否かを判定し、補完していない場合には（ステップｃ１１：Ｎｏ）、未補完の分類対象領域を補完対象領域に設定し（ステップｃ１３）、再度ステップｃ３〜ステップｃ１１の処理を行う。一方、全ての分類対象領域の画素値を補完した場合には（ステップｃ１１：Ｙｅｓ）、図４のステップａ１３にリターンし、その後ステップａ１７に移行する。
【００５１】
また、ステップａ５で抽出した領域がないと判定した場合（ステップａ５：Ｎｏ）、または、ステップａ９で血管、鏡面反射部、色変化病変の領域と分類した領域がないと判定した場合には（ステップａ９：Ｎｏ）、画素値算出部２３のＲ成分選択部２３１が、管腔内画像全域におけるＲ成分の画素値を選択し、続いて画素値算出部２３が、選択したＲ成分の画素値を管腔内画像全域の各画素における３次元画素値とする（ステップａ１５）。
【００５２】
そして最後に、演算部２０は、管腔内画像の各画素の画素値をステップａ１１およびステップａ１３で算出した３次元画素値またはステップａ１５で算出した３次元画素値とした３次元画素値情報を出力し（ステップａ１７）、画像処理装置１０での処理を終了する。
【００５３】
以上説明したように、実施の形態１では、管腔内画像の画素値をもとに、特定の色を示す特定色の領域を吸光や鏡面反射等の影響を強く受ける領域、具体的には血管、鏡面反射部、色変化病変の領域の候補となる分類対象候補領域として抽出することとした。そして、分類対象候補領域の内部の画素値によって表される分類対象候補領域の曲面形状の凹凸情報および曲面形状の滑らかさをもとに、分類対象候補領域の中から吸光や鏡面反射部等の影響を強く受ける血管、鏡面反射部、色変化病変の領域を分類対象領域として分類することとした。これによれば、管腔内画像において、画素値が撮像対象の３次元形状に対応していない領域を特定することができる。
【００５４】
また、実施の形態１では、前述のようにして特定した画素値が撮像対象の３次元形状に対応していない領域である分類対象領域以外の領域において、生体内における吸収または散乱の度合いに応じて特定される特定波長成分の画素値を求めることにより、生体組織の３次元形状に対応した３次元画素値を算出することとした。そして、例えば分類対象領域の周辺の３次元画素値として求めた特定波長成分の画素値をもとにモフォロジ処理を行い、分類対象領域である血管、鏡面反射部、色変化病変の領域における画素値を補完することで分類対象領域の内部の３次元画素値を得ることとした。したがって、管腔内画像の全域において生体組織の３次元形状を適正に表した３次元画素値を算出し、３次元画素値情報として出力することができる。
【００５５】
（実施の形態２）
まず、実施の形態２の画像処理装置の構成について説明する。図１１は、実施の形態２の画像処理装置１０ａの主要構成を説明する概略ブロック図である。なお、実施の形態１で説明した構成と同一の構成については、同一の符号を付する。実施の形態２の画像処理装置１０ａは、図１１に示すように、演算部２０ａと、記録部３０ａとを備える。この画像処理装置１０ａは、例えば実施の形態１と同様に内視鏡に組み込まれるものであり、内視鏡によって撮像された管腔内画像が入力され、この管腔内画像を処理することで算出した３次元画素値情報を出力する。
【００５６】
演算部２０ａは、領域抽出部２１ａと、領域分類部２２ａと、画素値算出部２３ａと、画素値補完部２４ａとを含む。
【００５７】
領域抽出部２１ａは、管腔内画像から分類対象領域の候補領域（分類対象候補領域）を抽出する機能部であり、実施の形態２では、周辺画素に対する画素値変化の情報をもとに分類対象候補領域を抽出する。この領域抽出部２１ａは、周辺画素の画素値の平均値より小さい画素値を示す凹領域、および周辺画素の画素値の平均値より大きい画素値を示す凸領域を抽出する凹凸領域抽出部２１２ａを備える。この凹凸領域抽出部２１２ａは、方向別差分算出部２１３ａと、最大最小値算出部２１４ａと、閾値処理部２１５ａとを備える。方向別差分算出部２１３ａは、注目画素と、注目画素を中心として所定の方向に相対する周辺画素間の平均値との差分値を、複数の方向において算出する。最大最小値算出部２１４ａは、差分値の最大値および最小値を算出する。閾値処理部２１５ａは、最大値および最小値を閾値処理する。
【００５８】
領域分類部２２ａは、分類対象候補領域の境界部の画素値変化の急峻性をもとに、分類対象候補領域の中から血管、鏡面反射部、色変化病変の領域を分類対象領域として分類する。この領域分類部２２ａは、１次微分算出部２２４ａと、境界急峻性判定部２２５ａとを備える。１次微分算出部２２４ａは、分類対象候補領域の境界部の画素に対して１次微分フィルタを適用し、１次微分値を算出する。境界急峻性判定部２２５ａは、分類対象候補領域の境界部の画素の１次微分値をもとに、分類対象候補領域の画素値変化の急峻性を判定する。
【００５９】
画素値算出部２３ａは、分類対象領域以外の領域において、生体内における吸収または散乱の度合いに応じて特定される特定波長成分の画素値を３次元画素値として算出する。この画素値算出部２３ａは、分光情報推定部２３２ａと、特定波長成分算出部２３３ａとを備える。分光情報推定部２３２ａは、分類対象領域以外の領域の画素値の複数の波長成分をもとに生体組織の分光情報を推定する。特定波長成分算出部２３３ａは、推定した生体組織の分光情報をもとに特定波長成分の画素値を算出する。
【００６０】
画素値補完部２４ａは、分類対象領域である血管、鏡面反射部、色変化病変の領域における３次元画素値を、分類対象領域以外の領域の特定波長成分の画素値をもとに補完する。この画素値補完部２４ａは、分類対象領域の周辺の画素値をもとに、分類対象領域の画素値の関数近似を行う関数近似部２４３ａを備える。関数近似部２４３ａは、分類対象領域を挟んで対向する少なくとも２つの周辺領域内から、関数近似に用いるサンプル画素を選択するサンプル画素選択部２４４ａを備える。
【００６１】
記録部３０ａには、管腔内画像から３次元画素値情報を算出するための画像処理プログラム３１ａが記録される。
【００６２】
次に、実施の形態２の画像処理装置１０ａが行う具体的な処理手順について説明する。図１２は、実施の形態２の画像処理装置１０ａが行う処理手順を示す全体フローチャートである。ここで説明する処理は、演算部２０ａが記録部３０ａに記録された画像処理プログラム３１ａを実行することにより実現される。
【００６３】
まず、演算部２０ａは、処理対象である管腔内画像を取得する（ステップｄ１）。
【００６４】
次に、領域抽出部２１ａにおいて、凹凸領域抽出部２１２ａが、処理対象の管腔内画像から、Ｇ成分の画素値をもとに凹凸領域を分類対象候補領域として抽出する（ステップｄ３）。実施の形態１で参照した図６−１，図６−２，図６−３，図６−４に示すように、血管、鏡面反射部、色変化病変の領域は、領域内部の画素値によって表される曲面形状が凸形状あるいは凹形状を示す。このため、領域内部の画素値は、周辺画素の画素値に対して大小の差を有する。詳細には、鏡面反射部、白色病変の領域は、周辺画素の画素値の平均値より大きい画素値を有する凸領域となる。一方、血管、赤色，黒色病変の領域は、周辺画素の画素値の平均値より小さい画素値を有する凹領域となる。そこで、実施の形態２では、管腔内画像から画素値の凸領域および凹領域（以下、これらを包括して「凹凸領域」と呼ぶ。）を抽出することで、血管、鏡面反射部、色変化病変の候補となる分類対象候補領域を抽出する。
【００６５】
画素値の凹凸領域を抽出する方法には様々な方法があるが、ここでは方向別に注目画素と周辺画素との画素値の差分値を算出して検出する方法を示す。図１３は、方向別の差分値算出の概念図である。実施の形態２では、図１３に示すように、水平方向と、垂直方向と、右上がりの斜め方向（斜め１方向）と、右下がりの斜め方向（斜め２方向）の４方向について差分値を算出する。具体的には、中心の画素を注目画素Ｐ３とすると、この注目画素Ｐ３の画素値と、注目画素Ｐ３から水平方向に沿って図１３中に１点鎖線で示す円の半径ｒ離れた周辺画素Ｐ３１１，Ｐ３１２の画素値とをもとに水平方向についての差分値ｄＨを算出する。同様に、注目画素Ｐ３の画素値と注目画素Ｐ３から垂直方向に半径ｒ離れた周辺画素Ｐ３２１，Ｐ３２２の画素値とをもとに垂直方向についての差分値ｄＶを算出し、注目画素Ｐ３の画素値と注目画素Ｐ３から斜め１方向に半径ｒ離れた周辺画素Ｐ３３１，Ｐ３３２の画素値とをもとに斜め１方向についての差分値ｄＤ１を算出し、注目画素Ｐ３の画素値と注目画素Ｐ３から斜め２方向に半径ｒ離れた周辺画素Ｐ３４１，Ｐ３４２の画素値とをもとに斜め２方向についての差分値ｄＤ２を算出する。
【００６６】
実際には、まず、方向別差分算出部２１３ａが、管腔内画像の各画素（ｘ，ｙ）に対して、次式（４）〜（７）に従い、水平方向に相対する周辺画素間の平均値との差分値ｄＨと、垂直方向に相対する周辺画素間の平均値との差分値ｄＶと、斜め１方向に相対する周辺画素間の平均値との差分値ｄＤ１と、斜め２方向に相対する周辺画素間の平均値との差分値ｄＤ２とを算出する。
【数４】
【００６７】
ここで、Ｐ（ｘ，ｙ）は、管腔内画像の座標（ｘ，ｙ）のＧ成分の画素値である。また、ｒは、図１３中に示したｒに相当し、差分値算出時の画素範囲を示すパラメータである。ｒの値を小さくすれば凹凸の小さな凹凸領域を検出することができ、大きくすれば凹凸の大きな凹凸領域を検出することができる。なお、ｒの値は事前に静的に設定してもよいし、画像等をもとに動的に設定してもよい。また、ここでＧ成分を用いるのは、血液の吸収帯域に近く、感度も得られることから、血管や色変化病変等を凹凸領域として抽出しやすいためである。なお、Ｇ成分に限らず、他の色成分、あるいは既に公知の変換により２次的に算出される値、輝度、色差（ＹＣｂＣｒ変換）、色相、彩度、明度（ＨＳＩ変換）、色比等を用いて凹凸領域を抽出することとしてもよい。
【００６８】
そして、最大最小値算出部２１４ａが、方向別の差分値ｄＨ，ｄＶ，ｄＤ１，ｄＤ２の最大値を算出した後、閾値処理部２１５ａが、算出した最大値が所定の閾値以上の画素を抽出することによって、凸領域を抽出する。また、最大最小値算出部２１４ａが、方向別の差分値ｄＨ，ｄＶ，ｄＤ１，ｄＤ２の最小値（負値）を算出した後、閾値処理部２１５ａが、算出した最小値が所定の閾値以下の画素を抽出することによって、凹領域を抽出する。結果としては、例えば、抽出した領域の画素に対して凹凸識別用の正数値（ラベル値）を設定し、その他の画素に対して「０」を設定した候補領域画像を作成する。
【００６９】
以上、本例では方向別の差分値を用いた抽出方法を示したが、ここでは、管腔内画像から凹凸領域を抽出できればよく、本例以外の方法を用いてもよい。例えば、凹凸のモデル形状との相関値をもとに管腔内画像内の凹凸領域を抽出することとしてもよい。
【００７０】
次に、演算部２０ａが、図１２に示すように、凹凸領域（分類対象候補領域）として抽出した領域があるか否かを判定する。これは、候補領域画像において画素値が正数値である画素が存在するか否かを判定することによって判定できる。抽出した領域がない場合には（ステップｄ５：Ｎｏ）、後述のステップｄ１７に移行する。
【００７１】
一方、抽出した領域（分類対象候補領域）がある場合には（ステップｄ５：Ｙｅｓ）、領域分類部２２ａが領域分類処理を実行し、分類対象候補領域の境界部の画素値変化の急峻性をもとに、分類対象候補領域の中から分類対象領域である血管、鏡面反射部、色変化病変の領域を分類する（ステップｄ７）。ステップｄ３において周辺画素に対する画素値変化の情報をもとに抽出した凹凸領域には、血管、鏡面反射部、色変化病変の他に、粘膜段差や粘膜溝を含む粘膜の起伏、形状変化病変等も含まれる可能性がある。なぜなら、粘膜の起伏や形状変化によって粘膜表面と撮像系との距離が変化すれば、これに応じて画素値が変化するためである。そこで、実施の形態２の領域分類処理では、分類対象候補領域の境界部の画素値変化の急峻性をもとに、両者を分類する。
【００７２】
なお、分類に先立ち、候補領域画像内で同一の画素値となる画素をラベリング処理により連結する点は、実施の形態１と同様である。
【００７３】
ここで、領域分類処理の具体的な処理手順を説明する前に、凹凸領域に含まれる各カテゴリ領域の領域境界部の特徴を説明する。図１４は、血管２、鏡面反射部３、色変化病変５、形状変化病変６、粘膜起伏７の各カテゴリ領域の断面方向ａ〜ｆを示す図である。また、図１５−１は、図１４の断面方向ａに沿った鏡面反射部３の領域境界部の画素値変化を示す模式図であり、図１５−２は、図１４の血管２の断面方向ｂに沿った領域境界部の画素値変化を示す模式図であり、図１５−３は、図１４の断面方向ｃに沿った色変化病変（例えば赤色病変）５の領域境界部の画素値変化を示す模式図であり、図１５−４は、図１４の形状変化病変６の断面方向ｄに沿った領域境界部の画素値変化を示す模式図であり、図１５−５は、図１４の粘膜起伏７が粘膜段差である場合の断面方向ｅに沿った領域境界部の画素値変化を示す模式図であり、図１５−６は、図１４の粘膜起伏７が粘膜溝である場合の断面方向ｆに沿った領域境界部の画素値変化を示す模式図である。
【００７４】
ここで、図１４の断面方向ａに沿った鏡面反射部３や断面方向ｂに沿った血管２、断面方向ｃに沿った色変化病変５は、局所的な反射、吸光による画素値変化のため、図１５−１，図１５−２，図１５−３に示すように、いずれも境界における画素値変化は急峻である。一方、図１４の断面方向ｄに沿った形状変化病変６や断面方向ｅ，ｆに沿った粘膜起伏７では、オクルージョン（３次元物体を２次元画像化する際、前景により遮蔽され、画像化されない領域）による境界以外の境界での画素値変化は、図１５−４，図１５−５，図１５−６の各図中に破線で囲った部分Ｅ４１〜Ｅ４４のように、形状的な連続性のため画素値変化は急峻でない。なお、この差は、Ｇ成分またはＢ成分のように血液の吸収帯域に近い波長ほど顕著である。実施の形態２の領域分類処理では、これらの特徴をもとに、分類対象候補領域の中から分類対象領域である血管、鏡面反射部、色変化病変の領域を分類する。
【００７５】
図１６は、実施の形態２の領域分類処理の詳細な処理手順を示すフローチャートである。領域分類処理では、図１６に示すように、まず、領域分類部２２ａが、処理対象の分類対象候補領域（処理候補領域）を設定する（ステップｅ１）。
【００７６】
次に、１次微分算出部２２４ａが、処理候補領域の境界部の画素のＧ成分またはＢ成分の画素値に対して、公知の１次微分フィルタ（参考：ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，１１４Ｐ，微分フィルタ）を適用し、各画素における１次微分値を算出する（ステップｅ３）。この時、ノイズによる影響を軽減するため、例えば、平滑化を伴う１次微分であるソーベル（Sobel）フィルタを適用する。なお、処理候補領域の境界画素を認識するには、公知の輪郭追跡（参考：ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，１７８Ｐ，輪郭追跡）を用いればよい。
【００７７】
次に、境界急峻性判定部２２５ａが、処理候補領域の境界部の画素値変化が急峻であるかを判定する。実際には、全ての境界画素について１次微分値の絶対値を求めた後、求めた１次微分値を小さい順にソートし、小さい方から全境界画素数の半数分の１次微分値を選択して平均値を求める。これは前述したオクルージョンの影響を除外するためである。そして、この平均値が所定の閾値以上であるか否かを判定することで、処理候補領域の境界部の画素値変化が急峻か否かを判定する。そして、処理候補領域の境界部の画素値変化が急峻でないと判定した場合は（ステップｅ５：Ｎｏ）、領域分類部２２ａは、処理候補領域を粘膜起伏または形状変化病変と分類する（ステップｅ７）。
【００７８】
一方、処理候補領域の境界部の画素値変化が急峻であると判定した場合は（ステップｅ５：Ｙｅｓ）、領域分類部２２ａは、処理候補領域を血管、鏡面反射部、または色変化病変と分類する（ステップｅ９）。
【００７９】
その後、領域分類部２２ａは、全ての分類対象候補領域を分類したか否かを判定し、分類していない場合には（ステップｅ１１：Ｎｏ）、未分類の分類対象候補領域を処理候補領域に設定し（ステップｅ１３）、再度ステップｅ３〜ステップｅ１１を行う。一方、全ての分類対象候補領域を分類した場合には（ステップｅ１１：Ｙｅｓ）、図１２のステップｄ７にリターンし、ステップｄ９に移行する。結果としては、実施の形態１と同様に、分類対象領域である血管、鏡面反射部、色変化病変と分類した領域の画素に対して領域識別用の正数値（ラベル値）を設定し、分類対象領域以外の領域の画素に対して「０」を設定した分類対象領域画像を作成する。
【００８０】
次に、演算部２０ａは、分類対象領域である血管、鏡面反射部、色変化病変と分類した領域があるか否かを判定する。これは、分類対象領域画像において画素値が正数値である画素が存在するか否かを判定することによって判定できる。血管、鏡面反射部、色変化病変と分類した領域がない場合には（ステップｄ９：Ｎｏ）、後述のステップｄ１７に移行する。
【００８１】
一方、血管、鏡面反射部、色変化病変と分類した領域（分類対象領域）がある場合には（ステップｄ９：Ｙｅｓ）、まず、画素値算出部２３ａの分光情報推定部２３２ａが、分類対象領域以外の領域のＲ，Ｇ，Ｂ成分の画素値をもとに、分類対象領域以外の領域における分光情報として例えば分光反射率を推定する（ステップｄ１１）。なお、推定する分光情報は、分光反射率に限らず、分光透過率や分光吸光度等であってもよい。
【００８２】
具体的には、事前に多数の生体組織の分光反射率を収集し、この分光反射率に対して主成分分析等を行って３種類の基底ベクトルＯ１（λ），Ｏ２（λ），Ｏ３（λ）を設定しておく。ここで、λは、可視光波長域（３８０ｎｍ〜７８０ｎｍ）に等間隔に設定したｎ個の離散値である。
【００８３】
この基底ベクトルＯ１（λ），Ｏ２（λ），Ｏ３（λ）の加重和によって生体組織の分光反射率Ｏ（λ）を近似した場合の各基底ベクトルに対する重みｏ１，ｏ２，ｏ３は、推定対象の領域（ここでは分類対象領域以外の領域）の各画素のＲ，Ｇ，Ｂ成分の画素値Ｐｒ，Ｐｇ，Ｐｂと、照明光の分光エネルギーＩ（λ）と、撮像系を構成する撮像素子の分光感度Ｓｒ（λ），Ｓｇ（λ），Ｓｂ（λ）とをもとに、次式（８）によって算出可能である。
【数５】
【００８４】
そして、実際のステップｄ１１では、上記した式（８）に従い、分類対象領域以外の領域の画素毎に重みｏ１，ｏ２，ｏ３を算出する。その後、算出した重みｏ１，ｏ２，ｏ３を用いて基底ベクトルＯ１（λ）、Ｏ２（λ）、Ｏ３（λ）の加重和を画素毎に算出し、分類対象領域以外の領域の各画素での分光反射率Ｏ（λ）を推定する。
【００８５】
次に、特定波長成分算出部２３３ａが、ステップｄ１１で推定した分光反射率をもとに、特定波長成分（生体内で吸収または散乱し難い波長成分）の画素値を算出し、続いて画素値算出部２３ａが、算出した特定波長成分の画素値を分類対象領域以外の領域における３次元画素値とする（ステップｄ１３）。撮像素子の分光感度を生体内で吸収または散乱し難い波長成分に制限した場合、最も生体組織の３次元形状に対応する画素値が得られる。生体内での光の吸収は、主に血液の吸収帯域（血液中の酸化ヘモグロビン、二酸化ヘモグロビンの吸収帯域）で生じ、光の散乱は、短波長成分ほど生じ易い。そこで実施の形態２では、生体内で吸収または散乱し難い波長成分を、血液の吸収帯域以外かつ所定の閾値以上の長波長成分とする。そして、この波長成分を特定波長成分とし、特定波長成分に感度を持つと想定した撮像素子の分光感度Ｓｘ（λ）と、照明光の分光エネルギーＩ（λ）と、推定した分光反射率Ｏ（λ）とをもとに、次式（９）に従い、画素値Ｐｘを算出する。
【数６】
【００８６】
なお、本例では、３種類の基底ベクトルと各画素のＲ，Ｇ，Ｂ成分とを用いて分光情報を推定した。これに対し、例えば３つ以上の波長成分を撮像可能な内視鏡に本発明を適用する場合には、得られた各波長成分と、その波長成分数に応じた種類の基底ベクトルをもとに、分光情報を推定してもよい。
【００８７】
次に、画素値補完部２４ａが画素値補完処理を実行し、分類対象領域である血管、鏡面反射部、色変化病変の領域における画素値を補完する（ステップｄ１５）。実施の形態２では、関数近似を用いて画素値補完処理を行う。ここでの処理によって、分類対象領域における３次元画素値を、前段のステップｄ１１でこの分類対象領域以外の領域（詳細にはこの分類対象領域周辺の領域）の３次元画素値として算出した特定波長成分の画素値をもとに補完する。
【００８８】
図１７は、関数近似を用いた画素値補完の概念図である。なお、図１７では、領域周辺においては前段の図１２のステップｄ１１で既に算出されている３次元画素値を実線で示す一方、この領域周辺の３次元画素値をもとに補完を行う領域内部については管腔内画像の画素値を破線で示している。実施の形態２の画素値補完処理では、図１７（ａ）に示すように、領域を挟んで対向する少なくとも２つの周辺領域内から複数のサンプル画素Ｐ５１を選択する。これは、補完対象領域境界部における画素値変化が補完に影響するのを防ぐためであり、領域境界部の画素から所定の距離以上離れた周辺画素をサンプル画素Ｐ５１として選択する。そして、選択した複数のサンプル画素Ｐ５１の画素値をもとに近似曲面の関数式を求め、求めた近似曲面の関数式をもとに、図１７（ｂ）中に実線で示すように、領域内部の画素値を補完することで領域内部の３次元画素値を得る。
【００８９】
図１８は、実施の形態２の画素値補完処理の詳細な処理手順を示すフローチャートである。画素値補完処理では、図１８に示すように、まず、画素値補完部２４ａは、処理対象の分類対象領域（補完対象領域）を設定する（ステップｆ１）。次に、サンプル画素選択部２４４ａが、補完対象領域に対する膨張処理を行い、サンプル画素を設定する（ステップｆ３）。具体的には、補完対象領域に対し、公知の膨張処理（参考：ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，１７９Ｐ，膨張処理）をＮ1回（Ｎ1は所定値）行った結果と、Ｎ2回（Ｎ2は所定値であり、Ｎ1以下）行った結果との差分により残る画素を選択することで設定できる。
【００９０】
次に、関数近似部２４３ａが、サンプル画素の画素値をもとに近似曲面の関数式を求める（ステップｆ５）。本例では、近似曲面の関数式として、次式（１０）に示す２次関数を用いる。ここでｘ，ｙは画素の座標、ｚは画素値である。
【数７】
【００９１】
式（１０）の関数式の各係数ａ〜ｆは、最小二乗法により得られる次式（１１）に従い、サンプル画素の座標（ｘｉ，ｙｉ）（ｉ＝１〜ｎ：ｎはサンプル画素の数）、および画素値ｚｉから求める。
【数８】
【００９２】
そして、画素値補完部２４ａが、求めた関数式をもとに画素値を補完する（ステップｆ７）。具体的には、補完対象領域の画素毎に、その座標をもとに上記した式（１０）に従って画素値を算出することで実現できる。
【００９３】
その後、画素値補完部２４ａは、全ての補完対象領域の画素値を補完したか否かを判定し、補完していない場合には（ステップｆ９：Ｎｏ）、未補完の分類対象領域を補完対象領域に設定し（ステップｆ１１）、再度ステップｆ３〜ステップｆ９の処理を行う。一方、全ての分類対象領域の画素値を補完した場合には（ステップｆ９：Ｙｅｓ）、図１２のステップｄ１５にリターンし、その後ステップｄ２１に移行する。
【００９４】
また、ステップｄ５で抽出した領域がないと判定した場合（ステップｄ５：Ｎｏ）、または、ステップｄ９で血管、鏡面反射部、色変化病変の領域と分類した領域がないと判定した場合には（ステップｄ９：Ｎｏ）、まず、画素値算出部２３ａの分光情報推定部２３２ａが、管腔内画像全域におけるＲ，Ｇ，Ｂ成分の画素値をもとに、管腔内画像全域の各画素における分光反射率を推定する（ステップｄ１７）。その後、特定波長成分算出部２３３ａが、ステップｄ１７で推定した分光反射率をもとに、特定波長成分（生体内で吸収または散乱し難い波長成分）の画素値を算出し、続いて画素値算出部２３ａが、算出した特定波長成分の画素値を管腔内画像全域の各画素における３次元画素値とする（ステップｄ１９）。
【００９５】
そして最後に、演算部２０ａは、管腔内画像の各画素の画素値をステップｄ１３およびステップｄ１５で算出した３次元画素値またはステップｄ１９で算出した３次元画素値とした３次元画素値情報を出力し（ステップｄ２１）、画像処理装置１０ａでの処理を終了する。
【００９６】
以上説明したように、実施の形態２では、周辺画素に対する画素値変化の情報をもとに、周辺画素の画素値の平均値より小さい画素値を示す凹領域、および周辺画素の画素値の平均値より大きい画素値を示す凸領域を吸光や鏡面反射等の影響を強く受ける領域、具体的には血管、鏡面反射部、色変化病変の領域の候補となる分類対象候補領域として抽出することとした。そして、分類対象候補領域の境界部の画素値変化の急峻性をもとに、分類対象候補領域の中から吸光や鏡面反射部等の影響を強く受ける血管、鏡面反射部、色変化病変の領域を分類対象領域として分類することとした。これによれば、管腔内画像において、画素値が撮像対象の３次元形状に対応していない領域を特定することができる。
【００９７】
また、実施の形態２では、前述のようにして特定した画素値が撮像対象の３次元形状に対応していない領域である分類対象領域以外の領域において、生体内における吸収または散乱の度合いに応じて特定される特定波長成分の画素値を求めることにより、生体組織の３次元形状に対応した３次元画素値を算出することとした。そして、例えば分類対象領域の周辺の３次元画素値として求めた特定波長成分の画素値をもとに関数近似を行い、分類対象領域である血管、鏡面反射部、色変化病変の領域における画素値を補完することで分類対象領域の内部の３次元画素値を得ることとした。したがって、管腔内画像の全域において生体組織の３次元形状を適正に表した３次元画素値を算出し、３次元画素値情報として出力することができる。
【００９８】
（実施の形態３）
まず、実施の形態３の画像処理装置の構成について説明する。図１９は、実施の形態３の画像処理装置１０ｂの主要構成を説明するブロック図である。なお、実施の形態１で説明した構成と同一の構成については、同一の符号を付する。実施の形態３の画像処理装置１０ｂは、図１９に示すように、演算部２０ｂと、記録部３０ｂとを備える。この画像処理装置１０ｂは、例えば実施の形態１と同様に内視鏡に組み込まれるものであり、内視鏡によって撮像された管腔内画像が入力され、この管腔内画像を処理することで算出した３次元画素値情報を出力する。
【００９９】
演算部２０ｂは、実施の形態１と同様に構成される領域抽出部２１と、領域分類部２２ｂと、実施の形態１と同様に構成される画素値算出部２３と、実施の形態１と同様に構成される画素値補完部２４とを含み、領域分類部２２ｂの構成のみが実施の形態１と異なる。
【０１００】
実施の形態３の領域分類部２２ｂは、分類対象候補領域の周辺部の画素値によって表される分類対象候補領域の周辺部の画素値変化（曲面形状）の連続性をもとに、分類対象候補領域の中から血管、鏡面反射部、色変化病変の領域を分類対象領域として分類する。この領域分類部２２ｂは、周辺領域関数近似部２２６ｂと、周辺連続性判定部２２７ｂとを備える。周辺領域関数近似部２２６ｂは、分類対象候補領域を挟んで対向する少なくとも２つの分類対象候補領域の周辺部についてその曲面形状の関数近似を行う。周辺連続性判定部２２７ｂは、少なくとも２つの分類対象候補領域の周辺部についての関数近似結果を比較することによって、領域周辺部間の画素値変化の連続性を判定する。
【０１０１】
記録部３０ｂには、管腔内画像から３次元画素値情報を算出するための画像処理プログラム３１ｂが記録される。
【０１０２】
次に、実施の形態３の画像処理装置１０ｂが行う具体的な処理手順について説明する。図２０は、実施の形態３の画像処理装置１０ｂが行う処理手順を示す全体フローチャートである。ここで説明する処理は、演算部２０ｂが記録部３０ｂに記録された画像処理プログラム３１ｂを実行することにより実現される。なお、図２０において、実施の形態１と同様の処理工程には、同一の符号を付する。
【０１０３】
実施の形態３では、ステップａ５において演算部２０ｂが特定色の領域（分類対象候補領域）として抽出した領域があると判定した場合に（ステップａ５：Ｙｅｓ）、領域分類部２２ｂが領域分類処理を実行し、分類対象候補領域の周辺部の画素値変化の連続性をもとに、分類対象候補領域の中から分類対象領域である血管、鏡面反射部、色変化病変の領域を分類する（ステップｇ７）。実施の形態１で説明したように、ステップａ３において色特徴量をもとに抽出した特定色の領域には、血管、鏡面反射部、色変化病変の他に、粘膜段差、粘膜溝等も含まれる可能性がある。そこで、実施の形態３の領域分類処理では、分類対象候補領域の周辺部の画素値によって表される分類対象候補領域の周辺部の曲面形状をもとに領域周辺部の画素値変化の連続性を判定することで、両者を分類する。
【０１０４】
なお、分類に先立ち、候補領域画像内で同一の画素値となる画素をラベリング処理により連結する点は、実施の形態１と同様である。
【０１０５】
ここで、領域分類処理の具体的な処理手順を説明する前に、特定色の領域に含まれる血管、鏡面反射部、色変化病変、粘膜段差、粘膜溝の各カテゴリ領域の領域周辺部の特徴を説明する。図２１−１は、実施の形態１で参照した図５の断面方向ａに沿った鏡面反射部３の領域周辺部の画素値変化を示す模式図であり、図２１−２は、図５の色変化病変５が白色病変である場合の断面方向ｂに沿った領域周辺部の画素値変化を示す模式図であり、図２１−３は、図５の断面方向ｃに沿った血管２の領域周辺部の画素値変化を示す模式図であり、図２１−４は、図５の色変化病変５が赤色，黒色病変である場合の断面方向ｄに沿った領域周辺部の画素値変化を示す模式図であり、図２１−５は、図５の粘膜起伏７が粘膜段差である場合の断面方向ｅに沿った領域周辺部の画素値変化を示す模式図であり、図２１−６は、図５の粘膜起伏７が粘膜溝である場合の断面方向ｆに沿った領域周辺部の画素値変化を示す模式図である。これらは、各図２１−１，図２１−２，図２１−３，図２１−４，図２１−５，図２１−６中において、該当するカテゴリ領域の互いに対向する２つの領域周辺部の曲面形状のそれぞれを近似した近似曲面を二点鎖線で示している。
【０１０６】
実施の形態１で説明したように、管腔内画像の画素値は、Ｒ，Ｇ，Ｂ各成分の各値で構成される。各値で大小の違いはあるが、変化の傾向はいずれも同様である。ここで、図５の断面方向ａに沿った鏡面反射部３や断面方向ｂ，ｄに沿った白色，赤色，黒色病変等の色変化病変５、断面方向ｃに沿った血管２は、形状的には連続しているため、図２１−１，図２１−２，図２１−３，図２１−４に示すように、いずれも領域周辺部間の画素値変化に連続性がある。そして、このように連続性がある領域周辺部の画素値によって表される領域周辺部の曲面形状を近似した近似曲面の関数式を求めると、その同一座標の画素値の差分値は小さい。一方、図５の断面方向ｅ，ｆに沿った粘膜段差や粘膜溝等の粘膜起伏７は、形状的に不連続であるため、図２１−５，図２１−６に示すように、領域周辺部間の画素値変化に連続性がない。そして、このように連続性がない領域周辺部の画素値によって表される領域周辺部の曲面形状を近似した近似曲面の関数式を求めると、その同一座標の画素値の差分値は大きい。実施の形態３の領域分類処理では、これらの特徴をもとに、分類対象候補領域の中から分類対象領域である血管、鏡面反射部、色変化病変の領域を分類する。
【０１０７】
図２２は、実施の形態３の領域分類処理の詳細な処理手順を示すフローチャートである。領域分類処理では、図２２に示すように、まず、領域分類部２２ｂが、処理対象の分類対象候補領域（処理候補領域）を設定する（ステップｈ１）。
【０１０８】
次に、周辺領域関数近似部２２６ｂが、領域の主軸を挟んで対向する２つの領域周辺部を設定する（ステップｈ３）。これは、処理候補領域に対し、公知の膨張処理をＮ1回（Ｎ1は所定値）行った結果と、Ｎ2回（Ｎ2は所定値であり、Ｎ1以下）行った結果との差分により残る画素を、領域の形状特徴量である主軸（参考：ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，１８３Ｐ，主軸）により２分することで設定できる。そして、各々の領域周辺部内の画素値をもとに、２つの近似曲面の関数式を求める（ステップｈ５）。近似曲面の関数式を求める方法は、実施の形態２において図１８のステップｆ５で説明した方法と同様である。
【０１０９】
次に、周辺連続性判定部２２７ｂが、２つの領域周辺部間の画素値変化が連続的か否かを判定する。具体的な処理手順としては、まず、実施の形態２において図１８のステップｆ７で説明した方法と同様の方法により、２つの近似曲面の関数式毎に処理候補領域内の画素値を算出する。次に、関数式毎に算出した処理候補領域内の同一座標における画素値の差分値の絶対値の総和を求める。その後、求めた値が所定の閾値以下であるか否かを判定することで領域周辺部間の画素値変化が連続的か否かを判定する。そして、２つの領域周辺部間の画素値変化が連続的でないと判定した場合は（ステップｈ７：Ｎｏ）、処理候補領域を粘膜段差または粘膜溝と分類する（ステップｈ９）。一方、連続的であると判定した場合は（ステップｈ７：Ｙｅｓ）、処理候補領域を血管、鏡面反射部または色変化病変と分類する（ステップｈ１１）。
【０１１０】
その後、領域分類部２２ｂは、全ての分類対象候補領域を分類したか否かを判定し、分類していない場合には（ステップｈ１３：Ｎｏ）、未分類の分類対象候補領域を処理候補領域に設定し（ステップｈ１５）、再度ステップｈ３〜ステップｈ１３を行う。一方、全ての分類対象候補領域を分類した場合には（ステップｈ１３：Ｙｅｓ）、図２０のステップｇ７にリターンし、ステップａ９に移行する。結果としては、分類対象領域である血管、鏡面反射部、色変化病変と分類した領域の画素に対して領域識別用の正数値（ラベル値）を設定し、分類対象領域以外の領域の画素に対して「０」を設定した分類対象領域画像を作成する。
【０１１１】
以上説明したように、実施の形態３では、分類対象候補領域の周辺部の画素値によって表される分類対象候補領域の曲面形状の連続性をもとに、分類対象候補領域の中から吸光や鏡面反射部等の影響を強く受ける血管、鏡面反射部、色変化病変の領域を分類対象領域として分類することとした。これによれば、実施の形態１や実施の形態２と同様の効果を奏することができ、管腔内画像において、画素値が撮像対象の３次元形状に対応していない領域を特定することができる。そして、管腔内画像の全域において生体組織の３次元形状を適正に表した３次元画素値を算出し、３次元画素値情報として出力することができる。
【０１１２】
また、上記した実施の形態１の画像処理装置１０、実施の形態２の画像処理装置１０ａ、および実施の形態３の画像処理装置１０ｂは、予め用意されたプログラムをパソコンやワークステーション等のコンピュータシステムで実行することによって実現することができる。以下、各実施の形態１〜３で説明した画像処理装置１０，１０ａ，１０ｂと同様の機能を有し、画像処理プログラム３１，３１ａ，３１ｂを実行するコンピュータシステムについて説明する。
【０１１３】
図２３は、本変形例におけるコンピューターシステム４００の構成を示すシステム構成図であり、図２４は、このコンピューターシステム４００を構成する本体部４１０の構成を示すブロック図である。図２３に示すように、コンピューターシステム４００は、本体部４１０と、本体部４１０からの指示によって表示画面４２１に画像等の情報を表示するためのディスプレイ４２０と、このコンピューターシステム４００に種々の情報を入力するためのキーボード４３０と、ディスプレイ４２０の表示画面４２１上の任意の位置を指定するためのマウス４４０とを備える。
【０１１４】
また、このコンピューターシステム４００における本体部４１０は、図２３および図２４に示すように、ＣＰＵ４１１と、ＲＡＭ４１２と、ＲＯＭ４１３と、ハードディスクドライブ（ＨＤＤ）４１４と、ＣＤ−ＲＯＭ４６０を受け入れるＣＤ−ＲＯＭドライブ４１５と、ＵＳＢメモリ４７０を着脱可能に接続するＵＳＢポート４１６と、ディスプレイ４２０、キーボード４３０およびマウス４４０を接続するＩ／Ｏインターフェース４１７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ１に接続するためのＬＡＮインターフェース４１８とを備える。
【０１１５】
さらに、このコンピューターシステム４００には、インターネット等の公衆回線Ｎ３に接続するためのモデム４５０が接続されるとともに、ＬＡＮインターフェース４１８およびローカルエリアネットワークまたは広域エリアネットワークＮ１を介して、他のコンピューターシステムであるパソコン（ＰＣ）４８１、サーバ４８２、プリンタ４８３等が接続される。
【０１１６】
そして、このコンピューターシステム４００は、記録媒体に記録された画像処理プログラム（例えば実施の形態１の画像処理プログラム３１や実施の形態２の画像処理プログラム３１ａ、実施の形態３の画像処理プログラム３１ｂ）を読み出して実行することで画像処理装置（例えば実施の形態１の画像処理装置１０や実施の形態２の画像処理装置１０ａ、実施の形態３の画像処理装置１０ｂ）を実現する。ここで、記録媒体とは、ＣＤ−ＲＯＭ４６０やＵＳＢメモリ４７０の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピューターシステム４００の内外に備えられるＨＤＤ４１４やＲＡＭ４１２、ＲＯＭ４１３等の「固定用の物理媒体」、モデム４５０を介して接続される公衆回線Ｎ３や、他のコンピューターシステムであるＰＣ４８１やサーバ４８２が接続されるローカルエリアネットワークまたは広域エリアネットワークＮ１等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピューターシステム４００によって読み取り可能な画像処理プログラムを記録するあらゆる記録媒体を含む。
【０１１７】
すなわち、画像処理プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記録媒体にコンピューター読み取り可能に記録されるものであり、コンピューターシステム４００は、このような記録媒体から画像処理プログラムを読み出して実行することで画像処理装置を実現する。なお、画像処理プログラムは、コンピューターシステム４００によって実行されることに限定されるものではなく、他のコンピューターシステムであるＰＣ４８１やサーバ４８２が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。
【０１１８】
また、上記した各実施の形態では、内視鏡に組み込まれ、内視鏡によって撮像された管腔内画像を処理する画像処理装置について説明したが、本発明の画像処理装置が処理の対象とする管腔内画像は、内視鏡によって撮像された画像に限定されるものではない。例えば、近年では、カプセル型の筐体内部に撮像装置やこの撮像装置によって撮像された画像データを体外に無線送信する通信装置等を備えた飲み込み型の内視鏡（カプセル内視鏡）が開発されており、このカプセル内視鏡によって撮像された管腔内画像を処理する場合にも同様に適用可能である。
【０１１９】
また、本発明は、上記した各実施の形態１〜３そのままに限定されるものではなく、各実施の形態１〜３に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を除外して形成してもよい。あるいは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。具体例を挙げれば、領域抽出部、領域分類部、画素値算出部および画素値補完部として、実施の形態１で説明した領域抽出部２１、領域分類部２２、画素値算出部２３、画素値補完部２４、実施の形態２で説明した領域抽出部２１ａ、領域分類部２２ａ、画素値算出部２３ａ、画素値補完部２４ａ、実施の形態３で説明した領域分類部２２ｂを適宜選択的に組み合わせることで画像処理装置を構成することとしてよい。
【産業上の利用可能性】
【０１２０】
以上のように、本発明の画像処理装置、画像処理方法、および画像処理プログラムは、管腔内画像において、画素値が撮像対象の３次元形状に対応していない領域を特定するのに適している。
【符号の説明】
【０１２１】
１０，１０ａ，１０ｂ 画像処理装置
２０，２０ａ，２０ｂ 演算部
２１，２１ａ 領域抽出部
２１１ 特定色領域抽出部
２１２ａ 凹凸領域抽出部
２１３ａ 方向別差分算出部
２１４ａ 最大最小値算出部
２１５ａ 閾値処理部
２２，２２ａ，２２ｂ 領域分類部
２２１ ２次微分算出部
２２２ 内部凹凸判定部
２２３ 内部平滑性判定部
２２４ａ １次微分算出部
２２５ａ 境界急峻性判定部
２２６ｂ 周辺領域関数近似部
２２７ｂ 周辺連続性判定部
２３，２３ａ 画素値算出部
２３１ Ｒ成分選択部
２３２ａ 分光情報推定部
２３３ａ 特定波長成分算出部
２４，２４ａ 画素値補完部
２４１ モフォロジ処理部
２４２ 構造要素作成部
２４３ａ 関数近似部
２４４ａ サンプル画素選択部
３０，３０ａ，３０ｂ 記録部
３１，３１ａ，３１ｂ 画像処理プログラム
【特許請求の範囲】
【請求項１】
管腔内を撮像した管腔内画像の画素値または周辺画素に対する画素値変化の情報をもとに、内部の画素値が撮像対象の３次元形状に対応していない分類対象領域の候補領域を抽出する領域抽出部と、
前記候補領域の内部、前記候補領域の境界部、または前記候補領域の周辺部の画素値をもとに、前記候補領域の中から前記分類対象領域を分類する領域分類部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記領域分類部は、前記候補領域の内部の画素値によって表される前記候補領域の曲面形状の凹凸情報および滑らかさをもとに、前記候補領域の中から前記分類対象領域を分類することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記領域分類部は、前記候補領域の境界部の画素値変化の急峻性をもとに、前記候補領域の中から前記分類対象領域を分類することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記領域分類部は、前記候補領域の周辺部の画素値によって表される前記候補領域の曲面形状の連続性をもとに、前記候補領域の中から前記分類対象領域を分類することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記分類対象領域の画素値を、該分類対象領域以外の領域の画素値をもとに補完する画素値補完部を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記分類対象領域以外の領域において、生体内における吸収または散乱の度合いに応じて特定される特定波長成分の画素値を算出する画素値算出部を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記分類対象領域以外の領域において、生体内における吸収または散乱の度合いに応じて特定される特定波長成分の画素値を算出する画素値算出部を備え、
前記画素値補完部は、前記画素値算出部によって算出された前記特定波長成分の画素値をもとに前記分類対象領域の画素値を補完することを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記領域抽出部は、特定色の画素値を示す特定色領域を前記候補領域として抽出する特定色領域抽出部を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記領域抽出部は、周辺画素の画素値の平均値より小さい画素値を示す凹領域、および周辺画素の画素値の平均値より大きい画素値を示す凸領域を前記候補領域として抽出する凹凸領域抽出部を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記凹凸領域抽出部は、
注目画素と、該注目画素を中心として所定の方向に相対する周辺画素間の平均値との差分値を複数の方向において算出する方向別差分算出部と、
前記複数の方向における前記差分値の最大値および最小値を算出する最大最小値算出部と、
前記差分値の最大値および最小値を閾値処理する閾値処理部と、
を備え、前記閾値処理部による閾値処理結果をもとに、前記凹領域および前記凸領域を抽出することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記領域分類部は、
前記領域抽出部によって抽出された前記候補領域内部の画素に対して２次微分フィルタを適用し、２次微分値を算出する２次微分算出部と、
前記候補領域内部の画素の２次微分値の符号をもとに、前記候補領域内部の画素値によって表される前記候補領域の曲面形状の凹凸を判定する内部凹凸判定部と、
前記候補領域内部の画素の２次微分値の絶対値をもとに、内部の画素値の画素値によって表される前記候補領域の曲面形状の滑らかさを判定する内部平滑性判定部と、
を備え、前記内部凹凸判定部および前記内部平滑性判定部による判定結果をもとに前記分類対象領域を分類することを特徴とする請求項２に記載の画像処理装置。
【請求項１２】
前記領域分類部は、
前記候補領域境界部の画素に対して１次微分フィルタを適用し、１次微分値を算出する1次微分算出部と、
前記候補領域境界部の画素の１次微分値をもとに、前記候補領域境界部の画素値変化の急峻性を判定する境界急峻性判定部と、
を備え、前記境界急峻性判定部による判定結果をもとに前記分類対象領域を分類することを特徴とする請求項３に記載の画像処理装置。
【請求項１３】
前記領域分類部は、
前記候補領域を挟んで対向する少なくとも２つの領域周辺部の画素値によって表される前記候補領域の曲面形状に対して関数近似を行う周辺領域関数近似部と、
前記２つの領域周辺部に対する関数近似結果を比較することによって前記２つの領域周辺部間の連続性を判定する周辺連続性判定部と、
を備え、前記周辺連続性判定部による判定結果をもとに前記分類対象領域を分類することを特徴とする請求項４に記載の画像処理装置。
【請求項１４】
前記管腔内画像は、複数の波長成分から構成され、
前記画素値算出部は、前記複数の波長成分または複数の波長成分を変換して得られる波長成分の中から前記特定波長成分を選択する特定波長成分選択部を備えることを特徴とする請求項６または７に記載の画像処理装置。
【請求項１５】
前記管腔内画像は、複数の波長成分から構成され、
前記画素値算出部は、
前記複数の波長成分をもとに生体組織の分光情報を推定する分光情報推定部と、
前記分光情報をもとに前記特定波長成分の画素値を算出する特定波長成分算出部と、
を備えることを特徴とする請求項６または７に記載の画像処理装置。
【請求項１６】
前記画素値補完部は、前記分類対象領域の周辺の画素値をもとにモフォロジ処理を行うモフォロジ処理部を備え、該モフォロジ処理部によるモフォロジ処理結果をもとに前記分類対象領域の画素値を補完することを特徴とする請求項５に記載の画像処理装置。
【請求項１７】
前記モフォロジ処理部は、前記分類対象領域の特徴量をもとにモフォロジ処理の構造要素を作成する構造要素作成部を備え、該構造要素作成部が作成した構造要素を用いてモフォロジ処理を行うことを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
前記画素値補完部は、前記分類対象領域の周辺の画素値をもとに関数近似を行う関数近似部を備え、該関数近似部による関数近似結果をもとに前記分類対象領域の画素値を補完することを特徴とする請求項５に記載の画像処理装置。
【請求項１９】
前記関数近似部は、前記分類対象領域を挟んで対向する少なくとも２つの周辺領域のそれぞれから関数近似に用いる少なくとも１つのサンプル画素を選択するサンプル画素選択部を備え、前記サンプル画素をもとに前記関数近似を行うことを特徴とする請求項１８に記載の画像処理装置。
【請求項２０】
管腔内を撮像した管腔内画像の画素値または周辺画素に対する画素値変化の情報をもとに、内部の画素値が撮像対象の３次元形状に対応していない分類対象領域の候補領域を抽出する領域抽出工程と、
前記候補領域の内部、前記候補領域の境界部、または前記候補領域の周辺部の画素値をもとに、前記候補領域の中から前記分類対象領域を分類する領域分類工程と、
を含むことを特徴とする画像処理方法。
【請求項２１】
コンピュータに、
管腔内を撮像した管腔内画像の画素値または周辺画素に対する画素値変化の情報をもとに、内部の画素値が撮像対象の３次元形状に対応していない分類対象領域の候補領域を抽出する領域抽出手順と、
前記候補領域の内部、前記候補領域の境界部、または前記候補領域の周辺部の画素値をもとに、前記候補領域の中から前記分類対象領域を分類する領域分類手順と、
を実行させることを特徴とする画像処理プログラム。
【請求項１】
管腔内を撮像した管腔内画像の画素値または周辺画素に対する画素値変化の情報をもとに、内部の画素値が撮像対象の３次元形状に対応していない分類対象領域の候補領域を抽出する領域抽出部と、
前記候補領域の内部、前記候補領域の境界部、または前記候補領域の周辺部の画素値をもとに、前記候補領域の中から前記分類対象領域を分類する領域分類部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記領域分類部は、前記候補領域の内部の画素値によって表される前記候補領域の曲面形状の凹凸情報および滑らかさをもとに、前記候補領域の中から前記分類対象領域を分類することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記領域分類部は、前記候補領域の境界部の画素値変化の急峻性をもとに、前記候補領域の中から前記分類対象領域を分類することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記領域分類部は、前記候補領域の周辺部の画素値によって表される前記候補領域の曲面形状の連続性をもとに、前記候補領域の中から前記分類対象領域を分類することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記分類対象領域の画素値を、該分類対象領域以外の領域の画素値をもとに補完する画素値補完部を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記分類対象領域以外の領域において、生体内における吸収または散乱の度合いに応じて特定される特定波長成分の画素値を算出する画素値算出部を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記分類対象領域以外の領域において、生体内における吸収または散乱の度合いに応じて特定される特定波長成分の画素値を算出する画素値算出部を備え、
前記画素値補完部は、前記画素値算出部によって算出された前記特定波長成分の画素値をもとに前記分類対象領域の画素値を補完することを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記領域抽出部は、特定色の画素値を示す特定色領域を前記候補領域として抽出する特定色領域抽出部を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記領域抽出部は、周辺画素の画素値の平均値より小さい画素値を示す凹領域、および周辺画素の画素値の平均値より大きい画素値を示す凸領域を前記候補領域として抽出する凹凸領域抽出部を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記凹凸領域抽出部は、
注目画素と、該注目画素を中心として所定の方向に相対する周辺画素間の平均値との差分値を複数の方向において算出する方向別差分算出部と、
前記複数の方向における前記差分値の最大値および最小値を算出する最大最小値算出部と、
前記差分値の最大値および最小値を閾値処理する閾値処理部と、
を備え、前記閾値処理部による閾値処理結果をもとに、前記凹領域および前記凸領域を抽出することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記領域分類部は、
前記領域抽出部によって抽出された前記候補領域内部の画素に対して２次微分フィルタを適用し、２次微分値を算出する２次微分算出部と、
前記候補領域内部の画素の２次微分値の符号をもとに、前記候補領域内部の画素値によって表される前記候補領域の曲面形状の凹凸を判定する内部凹凸判定部と、
前記候補領域内部の画素の２次微分値の絶対値をもとに、内部の画素値の画素値によって表される前記候補領域の曲面形状の滑らかさを判定する内部平滑性判定部と、
を備え、前記内部凹凸判定部および前記内部平滑性判定部による判定結果をもとに前記分類対象領域を分類することを特徴とする請求項２に記載の画像処理装置。
【請求項１２】
前記領域分類部は、
前記候補領域境界部の画素に対して１次微分フィルタを適用し、１次微分値を算出する1次微分算出部と、
前記候補領域境界部の画素の１次微分値をもとに、前記候補領域境界部の画素値変化の急峻性を判定する境界急峻性判定部と、
を備え、前記境界急峻性判定部による判定結果をもとに前記分類対象領域を分類することを特徴とする請求項３に記載の画像処理装置。
【請求項１３】
前記領域分類部は、
前記候補領域を挟んで対向する少なくとも２つの領域周辺部の画素値によって表される前記候補領域の曲面形状に対して関数近似を行う周辺領域関数近似部と、
前記２つの領域周辺部に対する関数近似結果を比較することによって前記２つの領域周辺部間の連続性を判定する周辺連続性判定部と、
を備え、前記周辺連続性判定部による判定結果をもとに前記分類対象領域を分類することを特徴とする請求項４に記載の画像処理装置。
【請求項１４】
前記管腔内画像は、複数の波長成分から構成され、
前記画素値算出部は、前記複数の波長成分または複数の波長成分を変換して得られる波長成分の中から前記特定波長成分を選択する特定波長成分選択部を備えることを特徴とする請求項６または７に記載の画像処理装置。
【請求項１５】
前記管腔内画像は、複数の波長成分から構成され、
前記画素値算出部は、
前記複数の波長成分をもとに生体組織の分光情報を推定する分光情報推定部と、
前記分光情報をもとに前記特定波長成分の画素値を算出する特定波長成分算出部と、
を備えることを特徴とする請求項６または７に記載の画像処理装置。
【請求項１６】
前記画素値補完部は、前記分類対象領域の周辺の画素値をもとにモフォロジ処理を行うモフォロジ処理部を備え、該モフォロジ処理部によるモフォロジ処理結果をもとに前記分類対象領域の画素値を補完することを特徴とする請求項５に記載の画像処理装置。
【請求項１７】
前記モフォロジ処理部は、前記分類対象領域の特徴量をもとにモフォロジ処理の構造要素を作成する構造要素作成部を備え、該構造要素作成部が作成した構造要素を用いてモフォロジ処理を行うことを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
前記画素値補完部は、前記分類対象領域の周辺の画素値をもとに関数近似を行う関数近似部を備え、該関数近似部による関数近似結果をもとに前記分類対象領域の画素値を補完することを特徴とする請求項５に記載の画像処理装置。
【請求項１９】
前記関数近似部は、前記分類対象領域を挟んで対向する少なくとも２つの周辺領域のそれぞれから関数近似に用いる少なくとも１つのサンプル画素を選択するサンプル画素選択部を備え、前記サンプル画素をもとに前記関数近似を行うことを特徴とする請求項１８に記載の画像処理装置。
【請求項２０】
管腔内を撮像した管腔内画像の画素値または周辺画素に対する画素値変化の情報をもとに、内部の画素値が撮像対象の３次元形状に対応していない分類対象領域の候補領域を抽出する領域抽出工程と、
前記候補領域の内部、前記候補領域の境界部、または前記候補領域の周辺部の画素値をもとに、前記候補領域の中から前記分類対象領域を分類する領域分類工程と、
を含むことを特徴とする画像処理方法。
【請求項２１】
コンピュータに、
管腔内を撮像した管腔内画像の画素値または周辺画素に対する画素値変化の情報をもとに、内部の画素値が撮像対象の３次元形状に対応していない分類対象領域の候補領域を抽出する領域抽出手順と、
前記候補領域の内部、前記候補領域の境界部、または前記候補領域の周辺部の画素値をもとに、前記候補領域の中から前記分類対象領域を分類する領域分類手順と、
を実行させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６−１】
【図６−２】
【図６−３】
【図６−４】
【図６−５】
【図６−６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５−１】
【図１５−２】
【図１５−３】
【図１５−４】
【図１５−５】
【図１５−６】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１−１】
【図２１−２】
【図２１−３】
【図２１−４】
【図２１−５】
【図２１−６】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６−１】
【図６−２】
【図６−３】
【図６−４】
【図６−５】
【図６−６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５−１】
【図１５−２】
【図１５−３】
【図１５−４】
【図１５−５】
【図１５−６】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１−１】
【図２１−２】
【図２１−３】
【図２１−４】
【図２１−５】
【図２１−６】
【図２２】
【図２３】
【図２４】
【公開番号】特開２０１２−１１１３７（Ｐ２０１２−１１１３７Ａ）
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願番号】特願２０１０−１５３３５５（Ｐ２０１０−１５３３５５）
【出願日】平成２２年７月５日（２０１０．７．５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願日】平成２２年７月５日（２０１０．７．５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]