画像処理装置、画像処理方法、および画像処理プログラム
【課題】対象画像から対象物の輪郭エッジを精度良く検出すること。
【解決手段】本発明のある実施の形態の画像処理装置１は、粘膜構造を撮像した管腔内画像の画素値をもとに、各画素の勾配強度を算出する勾配強度算出部１６と、各画素の勾配強度をもとに輪郭候補エッジ位置を検出する候補エッジ検出部１７と、各画素の勾配強度をもとに、輪郭候補エッジ位置の中から輪郭エッジ位置を選択する際に参照する参照範囲を設定する参照範囲設定部１８と、参照範囲内の輪郭候補エッジ位置の中から１つを選択し、輪郭エッジ位置とする輪郭エッジ選択部１９とを備える。
【解決手段】本発明のある実施の形態の画像処理装置１は、粘膜構造を撮像した管腔内画像の画素値をもとに、各画素の勾配強度を算出する勾配強度算出部１６と、各画素の勾配強度をもとに輪郭候補エッジ位置を検出する候補エッジ検出部１７と、各画素の勾配強度をもとに、輪郭候補エッジ位置の中から輪郭エッジ位置を選択する際に参照する参照範囲を設定する参照範囲設定部１８と、参照範囲内の輪郭候補エッジ位置の中から１つを選択し、輪郭エッジ位置とする輪郭エッジ選択部１９とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象画像から対象物の輪郭エッジを検出する画像処理装置、画像処理方法、および画像処理プログラムに関するものである。
【背景技術】
【０００２】
一般に、画像内のエッジの検出は、勾配の変化が大きい位置を検出することで行われ、基本的には、画像の輝度値の勾配から勾配強度を算出し、この勾配強度に対して閾値処理を行うことで検出されている。具体的な手法は各種考案されており、その１つとして、例えば、ケニーのエッジ検出アルゴリズムが知られている（Canny edge detector／非特許文献１を参照）。また、特許文献１には、ノイズエッジを抑制しながらエッジを検出する方法が示されている。この特許文献１では、まず、４方向の輝度勾配値を算出し、この４方向の輝度勾配値の大きさをもとに、エッジ方向に対応する第１の勾配値と、エッジに直交する方向に対応する第２の勾配値とを推定する。そして、第２の勾配値に対する第１の勾配値の相対強度をエッジ強度とすることで、対象物の構造によるエッジとノイズによるエッジとを判別している。また、特許文献２には、対象物の輪郭エッジを検出する処理が示されている。この特許文献２では、輪郭を抽出する対象物に対して幅のある粗輪郭線を入力し、この幅を持つ粗輪郭線の内部において、勾配強度が最大の画素位置を開始点とした最大勾配強度の追跡を繰り返すことで輪郭エッジを抽出している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１４０６８４号公報
【特許文献２】特開平７−２２５８４７号公報
【非特許文献】
【０００４】
【非特許文献１】J.Canny.A Computational Approach to Edge Detection, IEEE Trans. on Pattern Analysis and Machine Intelligence,8(6),pp.679-698,1986
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、対象物を撮像した対象画像において、対象物の輪郭部分での勾配強度は、勾配強度の最大位置をピークとする山の分布を示す。しかしながら、全体として１つの勾配の途中に緩やかな勾配が存在するような輪郭部分では、勾配強度の分布のピーク位置が２つ以上に分かれてしまうため、上記した非特許文献１や特許文献１のような従来のエッジ検出処理では、輪郭付近で複数のエッジ線が検出されるという問題があった。また、特許文献２の技術では、輪郭エッジの検出結果が粗輪郭線の設定の仕方に左右されるため、対象物の輪郭エッジを適切に検出できない場合があった。
【０００６】
本発明は、上記に鑑み為されたものであって、対象画像から対象物の輪郭エッジを精度良く検出することができる画像処理装置、画像処理方法、および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記した課題を解決し、目的を達成するための、本発明のある態様にかかる画像処理装置は、所定の対象物を撮像した対象画像の画素値をもとに、各画素の勾配強度を算出する勾配強度算出手段と、前記各画素の勾配強度をもとに輪郭候補エッジ位置を検出する候補エッジ検出手段と、前記各画素の勾配強度をもとに、前記輪郭候補エッジ位置の中から輪郭エッジ位置を選択する際に参照する参照範囲を設定する参照範囲設定手段と、前記参照範囲内の輪郭候補エッジ位置の中から１つを選択し、前記輪郭エッジ位置とする輪郭エッジ選択手段と、を備えることを特徴とする。
【０００８】
上記態様の画像処理装置によれば、対象物を撮像した対象画像の各画素の勾配強度をもとに輪郭候補エッジを検出するとともに、各画素の勾配強度をもとに輪郭候補エッジ位置の中から輪郭エッジ位置を選択する際に参照する参照範囲を設定することができる。そして、前述のように勾配強度をもとに設定した参照範囲内の輪郭候補エッジ位置のうちの１つを輪郭エッジ位置として選択することができる。したがって、全体として１つの勾配の途中に緩やかな勾配が存在するような輪郭部分であっても、対象物の輪郭エッジを精度良く検出することができる。
【０００９】
また、本発明の別の態様にかかる画像処理方法は、所定の対象物を撮像した対象画像の画素値をもとに、各画素の勾配強度を算出する勾配強度算出工程と、前記各画素の勾配強度をもとに輪郭候補エッジ位置を検出する候補エッジ検出工程と、前記各画素の勾配強度をもとに、前記輪郭候補エッジ位置の中から輪郭エッジ位置を選択する際に参照する参照範囲を設定する参照範囲設定工程と、前記参照範囲内の輪郭候補エッジ位置の中から１つを選択し、前記輪郭エッジ位置とする輪郭エッジ選択工程と、を含むことを特徴とする。
【００１０】
また、本発明の別の態様にかかる画像処理方法は、所定の対象物を撮像した対象画像の画素値をもとに、各画素の勾配強度を算出する勾配強度算出工程と、前記各画素の勾配強度をもとに、前記輪郭候補エッジ位置の中から輪郭エッジ位置を選択する際に参照する参照範囲を設定する参照範囲設定工程と、前記参照範囲内の画素の前記勾配強度をもとに、前記参照範囲内の輪郭候補エッジ位置を検出する候補エッジ検出工程と、前記参照範囲内の輪郭候補エッジ位置の中から１つを選択し、前記輪郭エッジ位置とする輪郭エッジ選択工程と、を含むことを特徴とする。
【００１１】
また、本発明の別の態様にかかる画像処理プログラムは、コンピュータに、所定の対象物を撮像した対象画像の画素値をもとに、各画素の勾配強度を算出する勾配強度算出手順と、前記各画素の勾配強度をもとに輪郭候補エッジ位置を検出する候補エッジ検出手順と、前記各画素の勾配強度をもとに、前記輪郭候補エッジ位置の中から輪郭エッジ位置を選択する際に参照する参照範囲を設定する参照範囲設定手順と、前記参照範囲内の輪郭候補エッジ位置の中から１つを選択し、前記輪郭エッジ位置とする輪郭エッジ選択手順と、を実行させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、対象画像から対象物の輪郭エッジを精度良く検出することができるという効果を奏する。
【図面の簡単な説明】
【００１３】
【図１】図１は、実施の形態１の画像処理装置の機能構成例を説明するブロック図である。
【図２】図２は、勾配強度算出部の構成例を説明するブロック図である。
【図３】図３は、実施の形態１の候補エッジ検出部の構成例を説明するブロック図である。
【図４】図４は、実施の形態１の参照範囲設定部の構成例を説明するブロック図である。
【図５】図５は、実施の形態１の輪郭エッジ選択部の構成例を説明するブロック図である。
【図６】図６は、実施の形態１の画像処理装置が行う処理手順を示す全体フローチャートである。
【図７】図７は、管腔内画像の一例を示す図である。
【図８】図８は、勾配と勾配強度との関係を説明する図である。
【図９−１】図９−１は、横方向のソーベルフィルタを示す図である。
【図９−２】図９−２は、縦方向のソーベルフィルタを示す図である。
【図１０】図１０は、横方向成分勾配強度画像の一例を示す図である。
【図１１】図１１は、縦方向成分勾配強度画像の一例を示す図である。
【図１２】図１２は、勾配強度画像の一例を示す図である。
【図１３】図１３は、勾配の最大変化方向の正接から勾配変化方向への変換を説明する図である。
【図１４】図１４は、勾配変化方向の一例を示す図である。
【図１５−１】凸位置の検出原理を説明する図である。
【図１５−２】凸位置の検出原理を説明する他の図である。
【図１５−３】凸位置の検出原理を説明する他の図である。
【図１６−１】図１６−１は、注目画素の勾配変化方向が方向＝０の場合に勾配強度を比較する画素を説明する図である。
【図１６−２】図１６−２は、注目画素の勾配変化方向が方向＝１の場合に勾配強度を比較する画素を説明する図である。
【図１６−３】図１６−３は、注目画素の勾配変化方向が方向＝２の場合に勾配強度を比較する画素を説明する図である。
【図１６−４】図１６−４は、注目画素の勾配変化方向が方向＝３の場合に勾配強度を比較する画素を説明する図である。
【図１７】図１７は、輪郭候補エッジ画像の一例を示す図である。
【図１８】図１８は、横方向の参照範囲区画画像の一例を示す図である。
【図１９】図１９は、縦方向の参照範囲区画画像の一例を示す図である。
【図２０】図２０は、エッジ特性の取得原理を説明する図である。
【図２１】図２１は、エッジ特性画像の一例を示す図である。
【図２２】図２２は、輪郭エッジ位置の選択原理を説明する図である。
【図２３】図２３は、横方向成分輪郭エッジ位置の選択原理を説明する図である。
【図２４】図２４は、横方向成分輪郭エッジ画像の一例を示す図である。
【図２５】図２５は、縦方向成分輪郭エッジ画像の一例を示す図である。
【図２６】図２６は、輪郭エッジ画像の一例を示す図である。
【図２７】図２７は、実施の形態２の画像処理装置の機能構成例を説明するブロック図である。
【図２８】図２８は、実施の形態２の候補エッジ検出部の構成例を説明するブロック図である。
【図２９】図２９は、実施の形態２の参照範囲設定部の構成例を説明するブロック図である。
【図３０】図３０は、実施の形態２の輪郭エッジ選択部の構成例を説明するブロック図である。
【図３１】図３１は、実施の形態２の画像処理装置が行う処理手順を示す全体フローチャートである。
【図３２】図３２は、輪郭候補エッジ位置の検出原理を説明する図である。
【図３３】図３３は、実施の形態２における参照範囲の設定原理を説明する図である。
【図３４】図３４は、実施の形態２における輪郭エッジ位置の選択原理を説明する図である。
【図３５】図３５は、実施の形態３の画像処理装置の機能構成例を説明するブロック図である。
【図３６】図３６は、実施の形態３の画像処理装置が行う処理手順を示す全体フローチャートである。
【図３７】図３７は、本発明を適用したコンピューターシステムの構成を示すシステム構成図である。
【図３８】図３８は、図３７のコンピューターシステムを構成する本体部の構成を示すブロック図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照し、本発明の好適な実施の形態について説明する。なお、この実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
【００１５】
本実施の形態の画像処理装置は、例えば内視鏡やカプセル内視鏡等の医用観察装置が被検者の体内の消化管等の管腔内を撮像した画像（管腔内画像）を対象画像として処理するものであり、具体的には、管腔内画像から輪郭エッジを検出する処理を行うものである。ここで、本実施の形態の画像処理装置が扱う管腔内画像は、例えば、画素毎にＲ（赤），Ｇ（緑），Ｂ（青）の各波長成分に対する画素値を持つカラー画像である。この管腔内画像には、対象物として生体組織の粘膜構造が映る。以下では、管腔内画像から粘膜構造の輪郭エッジを検出する場合を例にとって説明する。なお、対象画像は、本実施の形態で例示する管腔内画像に限定されるものではない。また、対象物についても粘膜構造に限定されるものではなく、本発明は、所定の対象物を撮像した対象画像から対象物の輪郭エッジを検出する場合に広く適用できる。
【００１６】
（実施の形態１）
先ず、実施の形態１の画像処理装置について説明する。図１は、実施の形態１の画像処理装置１の機能構成例を説明するブロック図である。また、図２は、演算部１５を構成する実施の形態１の勾配強度算出部１６の構成例を説明するブロック図であり、図３は、実施の形態１の候補エッジ検出部１７の構成例を説明するブロック図であり、図４は、実施の形態１の参照範囲設定部１８の構成例を説明するブロック図であり、図５は、実施の形態１の輪郭エッジ選択部１９の構成例を説明するブロック図である。なお、図１〜図５の各図において、画像処理装置１の各部間を接続して画像信号等のデータ信号を伝送するデータ信号線を実線で示し、制御信号を伝送する制御信号線を破線で示している。
【００１７】
図１に示すように、実施の形態１の画像処理装置１は、外部インターフェース（Ｉ／Ｆ）部１１と、操作部１２と、表示部１３と、記録部１４と、演算部１５と、画像処理装置１全体の動作を制御する制御部２０とを備える。
【００１８】
外部Ｉ／Ｆ部１１は、医用観察装置によって撮像された管腔内画像の画像データを取得するためのものであり、この外部Ｉ／Ｆ部１１によって取得された画像データは記録部１４に記録され、演算部１５によって処理された後、必要に応じて適宜表示部１３に表示される。外部Ｉ／Ｆ部１１は、例えば医用観察装置との間の画像データの受け渡しに可搬型の記録媒体が使用される場合であれば、この記録媒体を着脱自在に装着して保存された管腔内画像の画像データを読み出すリーダ装置で構成される。また、医用観察装置によって撮像された管腔内画像の画像データを保存しておくサーバを適所に設置し、このサーバから取得する構成の場合には、外部Ｉ／Ｆ部１１を、サーバと接続するための通信装置等で構成する。そして、この外部Ｉ／Ｆ部１１を介してサーバとデータ通信を行い、管腔内画像の画像データを取得する。また、ケーブルを介して医用観察装置から画像データを取得する構成の場合には、画像データを入力するインターフェース装置等で構成される。
【００１９】
操作部１２は、例えばキーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、操作信号を制御部２０に出力する。表示部１３は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現されるものであり、制御部２０の制御のもと、カプセル内視鏡３で撮像された画像の表示画面を含む各種画面を表示する。
【００２０】
記録部１４は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記録媒体およびその読取装置等によって実現されるものであり、画像処理装置１を動作させ、この画像処理装置１が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が記録される。例えば、記録部１４には、外部Ｉ／Ｆ部１１によって取得された管腔内画像の画像データが記録される。また、記録部１４には、実施の形態１の処理を実現して管腔内画像から輪郭エッジ（詳細には粘膜構造の輪郭エッジ）を検出するための画像処理プログラム１４１が記録される。
【００２１】
演算部１５は、ＣＰＵ等のハードウェアによって実現され、管腔内画像を処理して輪郭エッジを検出するための種々の演算処理を行う。この演算部１５は、勾配強度算出手段としての勾配強度算出部１６と、候補エッジ検出手段としての候補エッジ検出部１７と、参照範囲設定手段としての参照範囲設定部１８と、輪郭エッジ選択手段としての輪郭エッジ選択部１９とを含む。ここで、勾配強度算出部１６、候補エッジ検出部１７および輪郭エッジ選択部１９はこの順に接続され、勾配強度算出部１６は参照範囲設定部１８に接続され、参照範囲設定部１８は輪郭エッジ選択部１９に接続されている。また、勾配強度算出部１６には、外部Ｉ／Ｆ部１１を介して取得され、記録部１４に記録された管腔内画像の画像信号が入力される。そして、輪郭エッジ選択部１９からは、演算部１５の各部が管腔内画像を処理することで検出した輪郭エッジの情報（輪郭エッジ画像）が出力され、例えば記録部１４に記録される。
【００２２】
勾配強度算出部１６は、管腔内画像の画素値をもとに、各画素の勾配強度を算出する。この勾配強度算出部１６は、図２に示すように、ノイズ除去手段としてのノイズ除去部１６１と、構造情報取得手段としての構造情報取得部１６２と、微分処理手段としての微分処理部１６３とを備える。ここで、ノイズ除去部１６１、構造情報取得部１６２および微分処理部１６３は、この順に接続されている。
【００２３】
ノイズ除去部１６１は、記録部１４から入力される管腔内画像の画像データをもとに、管腔内画像からノイズを除去する。ノイズ除去後の管腔内画像の画像データは、構造情報取得部１６２に出力される。構造情報取得部１６２は、入力されるノイズ除去後の管腔内画像の画像データをもとに、管腔内画像に映る粘膜構造表面の形状変化情報（例えば後述するＲ成分画像の画像データ）を取得する。取得した粘膜構造表面の形状変化情報（Ｒ成分画像の画像データ）は、微分処理部１６３に出力される。微分処理部１６３は、入力される粘膜構造表面の形状変化情報（Ｒ成分画像の画像データ）に対して微分フィルタ処理を行うことで、各画素の勾配強度を算出する。より詳細には、横方向（水平方向）の微分フィルタを用いて各画素における勾配強度の横方向成分を算出するとともに、縦方向（垂直方向）の微分フィルタを用いて各画素における勾配強度の縦方向成分を参照することで横方向および縦方向の２方向について符号付きの勾配強度を算出する。以上のように構成される勾配強度算出部１６は、算出した各画素の勾配強度を候補エッジ検出部１７および参照範囲設定部１８に出力する。
【００２４】
候補エッジ検出部１７は、各画素の勾配強度をもとに、輪郭候補エッジ位置を検出する。この候補エッジ検出部１７は、図３に示すように、勾配変化方向検出手段としての勾配変化方向検出部１７１と、凸位置検出手段としての凸位置検出部１７２とを備える。ここで、勾配変化方向検出部１７１は、凸位置検出部１７２に接続されている。
【００２５】
勾配変化方向検出部１７１は、勾配強度算出部１６から入力される各画素の勾配強度をもとに、各画素における勾配変化方向を検出する。検出した各画素の勾配変化方向は、凸位置検出部１７２に出力される。凸位置検出部１７２は、入力される各画素の勾配変化方向をもとに、勾配の方向に連接する画素の勾配強度と比して勾配強度が大きい位置、すなわち凸である位置（凸位置）を検出する。以上のように構成される候補エッジ検出部１７は、凸位置検出部１７２が検出した凸位置を輪郭候補エッジ位置として輪郭エッジ選択部１９に出力する。
【００２６】
参照範囲設定部１８は、輪郭エッジ選択部１９が輪郭候補エッジ位置の中から輪郭エッジ位置を選択する際に参照する参照範囲を設定する。この参照範囲設定部１８は、図４に示すように、参照方向指定手段としての参照方向指定部１８１と、参照範囲取得手段としての参照範囲取得部１８２とを備える。ここで、参照方向指定部１８１は、参照範囲取得部１８２に接続されている。
【００２７】
参照方向指定部１８１は、参照範囲を設定する方向（参照方向）を指定する。指定した参照方向は、勾配強度算出部１６から入力される各画素の勾配強度とともに参照範囲取得部１８２に出力される。参照範囲取得部１８２は、入力される各画素の勾配強度をもとに、入力される参照方向毎に参照範囲を取得する。この参照範囲取得部１８２は、勾配強度閾値手段としての勾配強度閾値処理部１８３を備える。勾配強度閾値処理部１８３は、参照方向毎に対応する勾配強度の方向成分を閾値処理する。以上のように構成される参照範囲設定部１８は、参照方向毎の参照範囲を輪郭エッジ選択部１９に出力する。
【００２８】
輪郭エッジ選択部１９は、輪郭候補エッジ位置の中から輪郭エッジ位置を選択する。この輪郭エッジ選択部１９は、図５に示すように、エッジ特性取得手段としてのエッジ特性取得部１９１と、エッジ特性比較手段としてのエッジ特性比較部１９２とを備える。ここで、エッジ特性取得部１９１は、エッジ特性比較部１９２に接続されている。
【００２９】
エッジ特性取得部１９１は、候補エッジ検出部１７から入力される輪郭候補エッジ位置をもとに、途切れずに連続する輪郭候補エッジ線毎に最も大きい勾配強度の値を該当する輪郭候補エッジ線上の輪郭候補エッジ位置のエッジ特性として取得する。取得した各輪郭候補エッジ位置のエッジ特性は、参照範囲設定部１８から入力される参照方向毎の参照範囲とともにエッジ特性比較部１９２に出力される。
【００３０】
エッジ特性比較部１９２は、入力される参照方向毎の参照範囲および各輪郭候補エッジ位置のエッジ特性をもとに、各輪郭候補エッジ位置のエッジ特性を参照範囲毎に比較することで、各参照範囲における輪郭エッジ位置を選択する。このエッジ特性比較部１９２は、方向成分輪郭エッジ選択手段としての方向成分輪郭エッジ選択部１９３と、方向成分輪郭エッジ統合手段としての方向成分輪郭エッジ統合部１９４とを備える。方向成分輪郭エッジ選択部１９３は、参照方向毎に各参照範囲における輪郭エッジ位置を選択する。選択した参照方向毎の各参照範囲における輪郭エッジ位置は、方向成分輪郭エッジ統合部１９４に出力される。方向成分輪郭エッジ統合部１９４は、入力される参照方向毎の各参照範囲における輪郭エッジ位置を統合し、最終的な輪郭エッジ位置を得る。以上のように構成される輪郭エッジ選択部１９は、輪郭エッジ位置を設定した輪郭エッジ画像を例えば記録部１４に出力して保存する。
【００３１】
制御部２０は、ＣＰＵ等のハードウェアによって実現される。この制御部２０は、外部Ｉ／Ｆ部１１を介して取得される画像データや操作部１２から入力される操作信号、記録部１４に記録されるプログラムやデータ等をもとに画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。
【００３２】
図６は、実施の形態１の画像処理装置１が行う処理手順を示す全体フローチャートである。なお、ここで説明する処理は、記録部１４に記録された画像処理プログラム１４１に従って画像処理装置１の各部が動作することによって実現される。
【００３３】
図６に示すように、先ず、制御部２０が画像取得処理を実行し、処理対象の管腔内画像を取得する（ステップａ１）。ここでの処理により、管腔内画像の画像データが外部Ｉ／Ｆ部１１を介して取得され、記録部１４に記録される。このようにして取得された後は、この管腔内画像の画像データは、演算部１５によって読み込み可能な状態となる。図７は、管腔内画像の一例を示す図である。以下では、この管腔内画像の左上を基準にして横方向の画素の座標をｘとし、縦方向の画素の座標をｙとする。
【００３４】
続いて、演算部１５において、勾配強度算出部１６のノイズ除去部１６１が、ノイズ除去処理を実行し、管腔内画像からノイズを除去する（ステップａ３）。このノイズ除去処理は、例えば、ステップａ１で取得した管腔内画像の画像データに対してエッジを保存した平滑化処理を行うことで実現できる。ここでは、例えば、スパイクノイズに強いメディアン（Median）フィルタを適用して平滑化処理を行う。これは、管腔内画像中には、スパイクノイズに相当するノイズ領域として照明光による正面反射が発生した領域（正面反射領域）が含まれ得るためである。フィルタサイズとしては、例えば１１×１１のものを用いる。管腔内画像には、粘膜構造の輪郭エッジ以外にも、例えば、粘膜表面の柔毛（絨毛）等による凹凸や照明光による正面反射領域等によって生じるエッジ（ノイズエッジ）が含まれる。ステップａ３のノイズ除去処理によれば、前述のようなノイズエッジを抑制することができ、輪郭エッジの誤検出を低減することができる。なお、メディアンフィルタに限らず、例えば、ｋ最近隣平均化フィルタやバイラテラル（Bilateral）フィルタ等のその他のエッジ保存型のフィルタを適用した平滑化処理を行うこととしてもよい。
【００３５】
続いて、構造情報取得部１６２が構造情報取得処理を実行し、ステップａ３でのノイズ除去処理後の管腔内画像の画像データをもとに粘膜構造表面の形状変化情報を取得する（ステップａ５）。管腔内画像に映る血管や出血部位等の構成成分であるヘモグロビンは、短波長帯の光を多く吸光する特性を持つ。このヘモグロビンの短波長帯での吸光特性により、波長成分の多くが短波長帯で構成されるＧ（緑）成分やＢ（青）成分は、ヘモグロビンの吸光によって輝度値が下がる。このため、管腔内画像には、血管や出血部位等もノイズエッジとして含まれ得る。一方で、波長成分の多くが長波長帯で構成されるＲ（赤）成分は、吸光が少なく、ほとんどの光を反射するため、このＲ（赤）成分からは、粘膜構造を最も反映した情報を得ることができる。そこで、実施の形態１では、後段の処理において粘膜構造の輪郭エッジを精度良く検出するために、Ｒ（赤）の波長成分（Ｒ成分）の画像（Ｒ成分画像：各画素の画素値をＲ（赤）成分の値とした画像）の画像データを粘膜構造表面の形状変化情報として取得する。ステップａ５の構造情報取得処理によれば、粘膜表面の色変化によって生じるノイズエッジを輪郭エッジとして誤検出する事態を低減できる。
【００３６】
続いて、微分処理部１６３が、勾配強度算出処理を実行し、各画素の勾配強度（符号付き）を算出する（ステップａ７）。図８は、勾配と勾配強度との関係を説明する図であり、図８では、横軸を例えば管腔内画像の横方向（ｘ方向）に沿った画素位置（座標）として、縦軸を該当する各画素の勾配とした勾配の変化曲線を実線で示すとともに、縦軸を該当する各画素の勾配強度とした勾配強度の変化曲線を一点鎖線で示している。図８に示すように、勾配強度は、画素値の勾配が急な箇所で大きい値として得られ、緩やかな箇所で小さい値として得られる。ステップａ７の勾配強度算出処理では、ステップａ５で取得した粘膜構造表面の形状変化情報（Ｒ成分画像の画像データ）をもとに勾配強度の値を算出する。そして、ステップａ９以降の処理では、この勾配強度の値をもとに、輪郭エッジ位置を検出する。ステップａ９以降の処理に先立って勾配強度算出処理を行うことによれば、後段の処理で勾配強度の演算を繰り返し行う必要がない。
【００３７】
例えば、微分処理部１６３は、ステップａ５で取得した粘膜構造表面の形状変化情報（Ｒ成分画像の画像データ）に対して１次微分フィルタを用いた微分フィルタ処理を行うことで実現できる。ここでは、例えば、ソーベル（sobel）フィルタを適用し、勾配強度画像（各画素の画素値を勾配強度の値とした画像）とともに、横方向成分勾配強度画像（各画素の画素値を勾配強度の横方向成分の値とした画像）と、縦方向成分勾配強度画像（各画素の画素値を勾配強度の縦方向成分の値とした画像）とを得る。
【００３８】
具体的には、図９−１に示す３×３の横方向（ｘ方向）のソーベルフィルタおよび図９−２に示す３×３の縦方向（ｙ方向）のソーベルフィルタを適用し、３×３の近傍領域を用いたフィルタリングを行う。そして、図９−１の横方向のソーベルフィルタを適用した微分フィルタ処理の出力を各画素における勾配強度の横方向成分として得る。一方、図９−２の縦方向のソーベルフィルタを適用した微分フィルタ処理の出力を各画素における勾配強度の縦方向成分として得る。その後、これら勾配強度の横方向成分と縦方向成分とを合成して各画素の勾配強度を得る。図１０は、図７の管腔内画像を処理することで得た横方向成分勾配強度画像を示す図であり、図１１は、図７の管腔内画像を処理することで得た縦方向成分勾配強度画像を示す図であり、図１２は、図１０の横方向成分勾配強度画像と図１１の縦方向成分勾配強度画像を合成して得た勾配強度画像を示す図である。なお、ソーベルフィルタに限らず、その他の微分フィルタを適用して微分フィルタ処理を行うこととしてもよい。
【００３９】
以上のようにして勾配強度算出処理を実行したならば、図６に示すように、候補エッジ検出部１７が、輪郭候補エッジ検出処理を実行する（ステップａ９）。また、このステップａ９の輪郭候補エッジ検出処理と並行して、参照範囲設定部１８が、参照範囲設定処理を実行する（ステップａ１１）。輪郭候補エッジ検出処理と参照範囲設定処理を並行して行うことで、処理時間の短縮が図れる。なお、輪郭候補エッジ検出処理と参照範囲設定処理とは必ずしも並行して行う必要はなく、輪郭候補エッジ検出処理の後に参照範囲設定処理を行うこととしてもよい。また、参照範囲設定処理を先に行うこととしてもよい。参照範囲設定処理を先に行う構成については、実施の形態３で後述する。
【００４０】
先ず、ステップａ９の輪郭候補エッジ検出処理について説明する。この輪郭候補エッジ検出処理では、候補エッジ検出部１７は、ステップａ７で算出した各画素の勾配強度をもとに、輪郭エッジ位置の候補となる輪郭候補エッジ位置を検出する。実施の形態１では、候補エッジ検出部１７は、凸位置の画素（尾根）で構成される画素群の位置を輪郭候補エッジ位置として検出する。
【００４１】
処理手順としては、先ず、勾配変化方向検出部１７１が、横方向成分勾配強度画像および縦方向成分勾配強度画像をもとに、次式（１）に従って各画素における勾配の最大変化方向を算出する。ただし、次式（１）において、ｆ´xは横方向成分勾配強度画像を表し、ｆ´yは縦方向成分勾配強度画像を表す。また、（ｘ，ｙ）は、横方向成分勾配強度画像および縦方向成分勾配強度画像における各画素の座標を表す。また、θは、画像の横方向からの角度を表す。
【数１】
【００４２】
次に、勾配変化方向検出部１７１は、算出した最大変化方向をもとに、各画素の勾配変化方向を検出する。画像データは、格子状に配列された画素（座標）にデータ（画素値）が設定されたものであるため、ここでは、上記式（１）で算出した勾配の最大変化方向を、４方向に分類することで各画素の勾配変化方向を検出する。図１３は、勾配の最大変化方向の正接（ｔａｎθ）から勾配変化方向への変換を説明する図である。また、図１４は、分類する４方向の勾配変化方向を示す図である。図１３に示すように、ｔａｎθの値を「−２．４１４２」「−０．４１４２」「０．４１４２」「２．４１４２」の各値で区切り、上記式（１）で勾配の最大変化方向として算出したｔａｎθの値がどの範囲に属するのかによって各画素の勾配変化方向を図１４に示す方向＝０，１，２，３のいずれかに分類する。
【００４３】
その後、凸位置検出部１７２が、各画素の勾配変化方向をもとに、勾配強度の凸位置を検出する。図１５−１は、前段の処理で検出した各画素の勾配変化方向の一例を示す図である。なお、図１５−１では、各画素の勾配変化方向を矢印によって示している。また、図１５−２は、図１５−１に示す画素Ｐ１１〜画素Ｐ１３の勾配の変化を示す図である。そして、図１５−３は、図１５−１の画素Ｐ１１〜画素Ｐ１３の勾配強度の変化を示す図である。
【００４４】
凸位置の検出は、注目画素が、この注目画素と勾配変化方向上で連接する画素に比べて勾配強度の値が最大か否かを判定することで行う。例えば、画素Ｐ１１〜画素Ｐ１３は、図１５−１に示すように、注目画素位置Ｐ１２の勾配変化方向（方向＝３）に沿って連接している。ここで、これら画素Ｐ１１〜画素Ｐ１３の勾配の変化が、例えば図１５−２に示すように、画素Ｐ１２において最も急峻である場合、勾配強度の値は、図１５−３に示すように画素Ｐ１２が最も大きく、その変化が画素Ｐ１２で凸となる。この場合には、画素Ｐ１２を凸位置として検出する。
【００４５】
実際の処理では、各画素を順次注目画素（ｘ，ｙ）とし、注目画素（ｘ，ｙ）の勾配変化方向上で連接する両側の画素との間で勾配強度の値を比較する。そして、注目画素（ｘ，ｙ）の勾配強度が最大の場合に、注目画素（ｘ，ｙ）を凸位置として検出する。
【００４６】
図１６−１は、中央の注目画素の勾配変化方向が方向＝０の場合に勾配強度を比較する画素を説明する図であり、図１６−２は、中央の注目画素の勾配変化方向が方向＝１の場合に勾配強度を比較する画素を説明する図であり、図１６−３は、中央の注目画素の勾配変化方向が方向＝２の場合に勾配強度を比較する画素を説明する図であり、図１６−４は、中央の注目画素の勾配変化方向が方向＝３の場合に勾配強度を比較する画素を説明する図である。ここで、注目画素および勾配強度を比較する両側の画素を識別するため、各図中において該当する各マス目に示すように、注目画素をｂ、両側の画素をそれぞれａ，ｃとする。
【００４７】
例えば、注目画素（ｘ，ｙ）である画素ｂの勾配変化方向が方向＝０の場合には、図１６−１に示すように、方向＝０である水平方向において隣接する両側の画素ａ，ｃとの勾配強度の比較を行う。図１６−２，図１６−３，図１６−４に示す方向＝１，２，３の場合も同様である。詳細には、次式（２），（３）に従い、注目画素（ｘ，ｙ）である画素ｂの勾配強度が画素ａ，ｃよりも大きく最大の場合には、注目画素（ｘ，ｙ）を凸位置とし、Ｌｉｎｅ（ｘ，ｙ）の値を勾配強度の値ｆ´（ｘ，ｙ）とする。一方、画素ｂの勾配強度が最大でなければ、Ｌｉｎｅ（ｘ，ｙ）の値を「０」とする。
【数２】
【００４８】
以上の処理を全ての画素について行い、各画素の画素値をＬｉｎｅ（ｘ，ｙ）の値、すなわち、凸位置の画素値をその勾配強度の値とし、凸位置以外の画素の画素値を「０」とした輪郭候補エッジ画像を得る。図１７は、図１０の横方向成分勾配強度画像、図１１の縦方向成分勾配強度画像、および図１２の勾配強度画像を処理することで得た輪郭候補エッジ画像を示す図である。
【００４９】
次に、図６のステップａ１１の参照範囲設定処理について説明する。この参照範囲設定処理では、参照範囲設定部１８は、ステップａ７で算出した各画素の勾配強度をもとに、輪郭エッジ位置を選択する範囲（参照範囲）を設定する。
【００５０】
処理手順としては、先ず、参照方向指定部１８１が、参照方向を指定する。実施の形態１では、勾配強度の方向成分を算出した横方向および縦方向の２方向を参照方向として指定する。
【００５１】
続いて、参照範囲取得部１８２が、参照方向毎に各画素を上り勾配の領域または下り勾配の領域を含む１以上の領域にセグメンテーション（区画）することで、参照方向のそれぞれについての参照範囲を取得する。実施の形態１では、参照方向である横方向および縦方向のそれぞれについて各画素を１以上の参照範囲に区画する。具体的には、先ず、参照範囲取得部１８２の勾配強度閾値処理部１８３が、次式（４），（５），（６）に従って横方向成分勾配強度画像を閾値処理することで、横方向成分勾配強度画像を、上り勾配の領域、下り勾配の領域、および平坦領域の３つの領域に区画する。
【数３】
【００５２】
続いて、参照範囲取得部１８２が、参照範囲に多少のマージンを与えるために、区画した上り勾配の領域および下り勾配の領域のそれぞれに対して公知のモルフォロジクロージング処理とオープニング処理とを行う。これにより、上り勾配および下り勾配の各領域を拡張し、横方向の参照範囲とする。図１８は、図１０の横方向成分勾配強度画像を処理することで得た横方向の参照範囲区画画像を示す図である。
【００５３】
また、参照範囲取得部１８２は、縦方向成分勾配強度画像をもとに、横方向の場合と同様の手順で各画素を１以上の参照範囲に区画する。すなわち、勾配強度閾値処理部１８３が、次式（７），（８），（９）に従って縦方向成分勾配強度画像を閾値処理することで、縦方向成分勾配強度画像を、上り勾配の領域、下り勾配の領域、および平坦領域の３つの領域に区画する。
【数４】
【００５４】
その後、参照範囲取得部１８２が、区画した上り勾配の領域および下り勾配の領域のそれぞれに対してモルフォロジクロージング処理とオープニング処理とを行い、上り勾配および下り勾配の各領域を拡張して縦方向の参照範囲とする。図１９は、図１１の縦方向成分勾配強度画像を処理することで得た縦方向の参照範囲区画画像を示す図である。
【００５５】
以上のようにして参照範囲設定処理を行うことで、後段の処理において１つの輪郭エッジ位置を選択する範囲（参照範囲）を各画素の勾配強度に応じて適応的に設定することができる。したがって、後段の処理において、勾配毎（上り勾配および下り勾配の各領域毎）に輪郭候補エッジ位置の中から過不足なく１つの輪郭エッジ位置を選択することができるので、輪郭エッジ位置の検出精度が向上する。
【００５６】
続いて、図６に示すように、輪郭エッジ選択部１９のエッジ特性取得部１９１がエッジ特性取得処理を実行し、ステップａ９で検出した各輪郭候補エッジ位置についてエッジ特性を取得する（ステップａ１３）。図２０（ａ）は、輪郭候補エッジ画像の一例を示す模式図であり、図２０（ａ）中において３本の輪郭候補エッジ線ＥＬ２１，ＥＬ２２，ＥＬ２３を示している。また、図２０（ｂ）は、横軸を図２０（ａ）中の輪郭候補エッジ線ＥＬ２２上の座標（ｘ，ｙ）とし、縦軸を該当する各画素の勾配強度の値として図２０（ａ）中の輪郭候補エッジ線ＥＬ２２上の勾配強度の変化曲線を示したものである。図２０（ｂ）に示すように、輪郭候補エッジ線ＥＬ２２上では、図２０（ａ）中の輪郭候補エッジ位置Ｐ２の勾配強度の値が最も大きい。実施の形態１では、この勾配強度の最大値を輪郭候補エッジ線ＥＬ２２についてのエッジ特性とし、図２０（ａ）中に一点鎖線の矢印で示すように、輪郭候補エッジ位置Ｐ２の勾配強度の値で輪郭候補エッジ線ＥＬ２２上の全ての輪郭候補エッジ位置の勾配強度の値を置換する。なお、ここでは、輪郭候補エッジ線ＥＬ２２に着目して説明したが、輪郭候補エッジ線ＥＬ２１，ＥＬ２３についても同様にエッジ特性を取得する。
【００５７】
以上の処理を全ての輪郭候補エッジ線について行い、各輪郭候補エッジ位置の画素値をその輪郭候補エッジ位置を含む輪郭候補エッジ線について取得したエッジ特性の値（その輪郭候補エッジ線上の輪郭候補エッジ位置における勾配強度の最大値）とする。そして、輪郭候補エッジ線上の輪郭候補エッジ位置における勾配強度の最大値が所定の閾値以上である場合には、その輪郭候補エッジ線上の全ての輪郭候補エッジ位置の勾配強度の値をその最大値に置換する。一方、所定の閾値以下となる場合には、その輪郭候補エッジ線上の全ての輪郭候補エッジ位置の勾配強度の値を０に置換し、輪郭候補エッジから除外する。これにより、エッジ特性画像を得る。図２１は、図１２の勾配強度画像を処理することで得たエッジ特性画像を示す図である。
【００５８】
後段の方向成分輪郭エッジ選択処理（ステップａ１５）では、参照範囲毎に輪郭候補エッジ位置の中から輪郭エッジ位置を選択する。このとき、各参照範囲内の輪郭候補エッジ位置のうち、その輪郭候補エッジ位置を含む輪郭候補エッジ線上の輪郭候補エッジ位置における勾配強度の最大値（すなわちエッジ特性）が最も大きい輪郭候補エッジ位置を輪郭エッジ位置として選択する。この方向成分輪郭エッジ選択処理に先立ってエッジ特性取得処理を行い、各輪郭候補エッジ位置にエッジ特性として与えておけば、方向成分輪郭エッジ選択処理において参照範囲が変わる度にエッジ特性の取得を繰り返し行う必要がなく、処理時間の短縮が図れる。
【００５９】
なお、ここでは、輪郭候補エッジ線上の輪郭候補エッジ位置における勾配強度の最大値をエッジ特性とすることとしたが、これに限定されるものではない。例えば、輪郭候補エッジ線上の輪郭候補エッジ位置における勾配強度の平均値をエッジ特性としてもよい。上記のように勾配強度の最大値をエッジ特性とする場合、輪郭候補エッジ線全体として勾配強度が大きいもののエッジ特性よりも、ノイズ等に起因して輪郭候補エッジ線上のいくつかの輪郭候補エッジ位置の勾配強度の値が大きくなっているもののエッジ特性の方が大きくなる事態が生じ得る。これに対し、勾配強度の平均値をエッジ特性とすれば、輪郭候補エッジ線上の輪郭候補エッジ位置の平均的な勾配強度をエッジ特性とすることができるので、ノイズの影響を低減でき、エッジ特性をより適切な値とすることができる。この他、輪郭候補エッジ線の長さや、輪郭候補エッジ線の滑らかさ等の値をエッジ特性として取得するようにしてもよい。
【００６０】
続いて、図６に示すように、エッジ特性比較部１９２の方向成分輪郭エッジ選択部１９３が、方向成分輪郭エッジ選択処理を実行する（ステップａ１５）。この輪郭エッジ選択処理では、ステップａ１１で設定した参照範囲毎に輪郭候補エッジ位置の中から輪郭エッジ位置を選択する処理を参照方向毎に行う。図２２は、輪郭エッジ位置の選択原理を説明する図である。ここで、図２２において、一点鎖線で囲った領域が区画された１つの参照範囲Ｅ３（上り勾配の領域または下り勾配の領域）であったとする。この参照範囲Ｅ３には、４本の輪郭候補エッジ線ＥＬ３１〜ＥＬ３４を構成する輪郭候補エッジ位置の一部または全域が含まれている。ここで、これら４本の輪郭候補エッジ線ＥＬ３１〜ＥＬ３４のうち、輪郭候補エッジ線ＥＬ３２についてのエッジ特性が最も大きかったとする。この場合には、参照範囲Ｅ３内に含まれる輪郭候補エッジ線ＥＬ３２上の輪郭候補エッジ位置を参照範囲Ｅ３における輪郭エッジ位置として選択する。
【００６１】
処理手順としては、先ず、参照方向の１つである横方向の参照範囲区画画像をもとに、エッジ特性画像から横方向成分輪郭エッジ位置を選択する。具体的には、エッジ特性画像を横方向の参照範囲毎に参照し、各参照範囲から輪郭候補エッジ位置を１つ選択する処理を横方向（ｙ方向）のライン毎に行うことで横方向成分輪郭エッジ位置を得る。
【００６２】
図２３は、横方向成分輪郭エッジ位置の選択原理を説明する図であり、ｙ行目の各画素のエッジ特性の値を示している。エッジ特性画像のｙ行目に着目した場合、先ず、図２３中に破線で区切って示したｙ行目における参照範囲の区画位置に従って、上り勾配の参照範囲内の輪郭候補エッジ位置および下り勾配の参照範囲内の輪郭候補エッジ位置に対してフラグ番号を付与する。このとき、隣接する輪郭候補エッジ位置は１つの輪郭候補エッジ位置とみなし、図２３中のフラグ番号「４」のように１つのフラグ番号を付与する。なお、ここでの処理は、管腔内画像の輪郭エッジを検出するための処理であり、平坦の領域に対応する参照範囲については処理しない。
【００６３】
続いて、１つの勾配（参照範囲）から検出されるエッジ位置は勾配による輝度変化（勾配強度）が最も大きい位置であるとして、エッジ特性の最大値を持つ輪郭候補エッジ位置を選択する。すなわち、先ず、上り勾配の参照範囲および下り勾配の参照範囲を順次選択対象とし、選択対象の参照範囲内においてフラグ番号毎にエッジ特性を比較する。そして、エッジ特性の値が最大であるフラグ番号の輪郭候補エッジ位置を選択対象の参照範囲における横方向成分輪郭エッジ位置として選択する。例えば、下り勾配の参照範囲Ｅ４１では、フラグ番号「１」が付与された輪郭候補エッジ位置を横方向成分輪郭エッジ位置として選択する。また、このとき、選択対象の参照範囲内にエッジ特性の値が最大のものが複数含まれる場合には、その参照範囲が上り勾配の参照範囲なのか下り勾配の参照範囲なのかに応じていずれか一方を選択する。具体的には、１つの参照範囲内にエッジ特性の最大値が複数ある場合は、勾配によって輝度値が立ち上がる位置とみなし、エッジ特性が最大値である複数の輪郭候補エッジ位置のうち、右方向に向かって上り勾配の参照範囲では一番左側の輪郭候補エッジ位置を、下りの勾配では一番右側の輪郭候補エッジ位置を選択する。例えば、上り勾配の参照範囲Ｅ４２では前者（図２３に向かって左側のフラグ番号「５」が付与された輪郭候補エッジ位置）を選択し、下り勾配の参照範囲Ｅ４３では後者（図２３に向かって右側のフラグ番号「９」が付与された輪郭候補エッジ位置）を選択する。なお、１つの参照範囲内にエッジ特性の最大値が複数ある場合にいずれを選択するのかは前述の手法に限定されるものではない。例えば、輪郭候補エッジが長いほどその輪郭候補エッジの輪郭エッジとしての信頼度が高いとし、輪郭候補エッジのエッジ長が長い方の輪郭エッジ候補位置を選択するようにしてもよい。
【００６４】
以上の処理をｙ方向の全てのラインについて行い、横方向成分輪郭エッジ位置とした画素の画素値を例えば「１」、それ以外の画素の画素値を「０」とした横方向成分輪郭エッジ画像を得る。図２４は、図１８の横方向の参照範囲区画画像を参照しながら図２１のエッジ特性画像を処理することで得た横方向成分輪郭エッジ画像を示す図である。
【００６５】
続いて、縦方向の参照範囲区画画像をもとに、エッジ特性画像から縦方向成分輪郭エッジ位置を選択する。具体的には、横方向の場合と同様に、エッジ特性画像を縦方向の参照範囲毎に参照し、各参照範囲から輪郭候補エッジ位置を１つ選択する処理を縦方向（ｘ方向）のライン毎に行うことで縦方向成分輪郭エッジ位置を得る。そして、縦方向成分輪郭エッジ位置とした画素の画素値を「１」、それ以外の画素の画素値を「０」とした縦方向成分輪郭エッジ画像を得る。図２５は、図１９の縦方向の参照範囲区画画像を参照しながら図２１のエッジ特性画像を処理することで得た縦方向成分輪郭エッジ画像を示す図である。
【００６６】
なお、ここでは、参照範囲内でエッジ特性が最も大きい輪郭候補エッジ位置を輪郭エッジ位置として選択することとした。これに対し、参照範囲内に含まれる輪郭候補エッジ線のうち、その参照範囲内での長さが最も長い輪郭候補エッジ線上の輪郭候補エッジ位置を輪郭エッジ位置として選択することとしてもよい。具体的には、選択対象の参照範囲内に含まれる各輪郭候補エッジ線上の画素数（輪郭候補エッジ位置の数）をそれぞれ計数し、計数した画素数が最も多い輪郭候補エッジ線上の輪郭候補エッジ位置を選択対象の参照範囲における輪郭エッジ位置として選択するようにしてもよい。例えば、図２２の例では、参照範囲Ｅ３内において輪郭候補エッジ線ＥＬ３２が最長であり、参照範囲Ｅ３内に含まれる輪郭候補エッジ線ＥＬ３２上の輪郭候補エッジ位置を参照範囲Ｅ３における輪郭エッジ位置として選択する。
【００６７】
あるいは、参照範囲内に含まれる輪郭候補エッジ線のうち、最も滑らかな輪郭候補エッジ線上の輪郭候補エッジ位置を輪郭エッジ位置として選択することとしてもよい。具体的には、輪郭候補エッジ線上に所定数の点を端から等間隔に設定する。続いて、設定した各点それぞれについて、左右に隣接する点へと向かうベクトルの外積の絶対値を算出する。そして、各点について算出した外積の絶対値の分散値を算出する。以上の処理を、参照範囲内に含まれる各輪郭候補エッジ線について行い、得られた分散値を比較する。そして、分散が最も小さい輪郭候補エッジ線を最も滑らかな輪郭候補エッジ線とし、この最も滑らかな輪郭候補エッジ線上の輪郭候補エッジ位置を輪郭エッジ位置として選択する。
【００６８】
続いて、図６に示すように、方向成分輪郭エッジ統合部１９４が、方向成分輪郭エッジ統合処理を実行する（ステップａ１７）。この方向成分輪郭エッジ統合処理では、方向成分輪郭エッジ統合部１９４は、横方向成分輪郭エッジ位置および縦方向成分輪郭エッジ位置から信頼性の高いものを選んで統合し、輪郭エッジ画像を得る。
【００６９】
処理手順としては、方向成分輪郭エッジ統合部１９４は、横方向成分輪郭エッジ画像および縦方向成分輪郭エッジ画像を画素毎に参照し、双方の画像において「１」が設定されている画素（横方向成分輪郭エッジ位置として選択されており、且つ縦方向成分輪郭エッジ位置として選択されている画素）は信頼性が高いため、輪郭エッジ位置として選択する。実際の処理では、次式（１０），（１１）に従い、横方向成分輪郭エッジ画像の画素値ｅｄｇｅＡ（ｘ，ｙ）および縦方向成分輪郭エッジ画像の画素値ｅｄｇｅＢ（ｘ，ｙ）の双方が「１」である画素について、輪郭エッジ画像の該当する画素の画素値Ｅｄｇｅ（ｘ，ｙ）を「１」とする。一方、いずれか一方が「１」の画素または双方が「０」の画素については、該当する画素の画素値Ｅｄｇｅ（ｘ，ｙ）を「０」とする。
【数５】
【００７０】
また、上記したように、実施の形態１では、輪郭エッジ位置を得るために、峰続きの輝度値形状を横切る方向を参照方向として設定し、この参照方向において勾配強度が最大となる輪郭候補エッジ位置として検出している。ここで、勾配強度は峰続きの輝度値形状をとり、輪郭エッジ位置は峰続きの尾根位置にあたる。峰続きの輝度値形状を横切る方向は、尾根の方向に対してほとんどが垂直であるが、尾根方向に対して平行に近い場合、尾根が蛇行すると参照範囲に同じ輪郭候補エッジが複数回入るため、エッジの一部を消す可能性が生じる。このため、参照方向が横方向で、輪郭エッジが横方向の場合、信頼性が低いと考えられる。参照方向が縦方向で、輪郭エッジが縦方向の場合も同様に、信頼性が低いと考えられる。
【００７１】
すなわち、横方向成分輪郭エッジ画像中の縦成分エッジについては信頼性があると考えられる。そこで、方向成分輪郭エッジ統合部１９４は、横方向成分輪郭エッジ画像の各画素の画素値ｅｄｇｅＡ（ｘ，ｙ）を順次参照し、次式（１２），（１３）に従い縦成分エッジの位置を輪郭エッジ位置として、その輪郭エッジ画像における画素値Ｅｄｇｅ（ｘ，ｙ）を「１」とする。
【数６】
【００７２】
同様に、縦方向成分輪郭エッジ画像中の横方向エッジについても、信頼性があると考えられる。そこで、方向成分輪郭エッジ統合部１９４は、縦方向成分輪郭エッジ画像の各画素の画素値ｅｄｇｅＢ（ｘ，ｙ）を順次参照し、次式（１４），（１５）に従い横方向エッジの位置を輪郭エッジ位置として、その輪郭エッジ画像における画素値Ｅｄｇｅ（ｘ，ｙ）を「１」とする。
【数７】
【００７３】
そして、演算部１５は、輪郭エッジ画像出力処理を実行し、ステップａ１７の方向成分輪郭エッジ統合処理の結果得られた輪郭エッジ画像を例えば記録部１４に出力して保存する（ステップａ１９）。図２６は、図６のステップａ１７で図２４の横方向成分輪郭エッジ画像および図２５の縦方向成分輪郭エッジ画像を処理し、図６のステップａ１９で出力される輪郭エッジ画像を示す図である。
【００７４】
管腔内画像に映る粘膜構造のような弾性体の輪郭部分には、全体として１つの勾配の途中に緩やかな勾配が存在するような箇所が存在する。このような箇所では、勾配強度の分布のピーク位置が２つ以上に分かれるため、単に勾配強度の分布のピーク位置（凸位置検出部１７２が検出する勾配強度の凸位置）をエッジ位置として検出する従来の手法では、輪郭付近で複数のエッジ線が検出されてしまう。これに対し、実施の形態１では、管腔内画像の各画素の勾配強度をもとに、輪郭候補エッジ位置を検出することとした。また、勾配強度をもとに各画素を上り勾配の領域および下り勾配の領域を含む複数の領域に区画して参照範囲を設定し、これら上り勾配および下り勾配の参照範囲毎に輪郭候補エッジ位置を選択して輪郭エッジ位置とすることとした。これによれば、輪郭部分において勾配強度のピーク位置が２つ以上存在する場合であっても、これらの中からエッジ特性の大きい方（勾配強度の最大値が大きい方）を粘膜構造の輪郭エッジとして検出することができる。したがって、管腔内画像から粘膜構造の輪郭エッジを精度良く検出することができる。
【００７５】
（実施の形態２）
先ず、実施の形態２の画像処理装置の構成について説明する。図２７は、実施の形態２の画像処理装置１ａの機能構成例を説明するブロック図である。また、図２８は、演算部１５ａを構成する候補エッジ検出部１７ａの構成例を説明するブロック図であり、図２９は、参照範囲設定部１８ａの構成例を説明するブロック図であり、図３０は、輪郭エッジ選択部１９ａの構成例を説明するブロック図である。なお、実施の形態１で説明した構成と同一の構成については、同一の符号を付する。図２７に示すように、実施の形態２の画像処理装置１ａは、外部Ｉ／Ｆ部１１と、操作部１２と、表示部１３と、記録部１４ａと、演算部１５ａと、画像処理装置１ａ全体の動作を制御する制御部２０とを備える。
【００７６】
記録部１４ａには、実施の形態２の処理を実現して管腔内画像から輪郭エッジ（粘膜構造の輪郭エッジ）を検出するための画像処理プログラム１４１ａが記録される。
【００７７】
また、演算部１５ａは、勾配強度算出部１６と、候補エッジ検出部１７ａと、参照範囲設定部１８ａと、輪郭エッジ選択部１９ａとを含む。ここで、勾配強度算出部１６、候補エッジ検出部１７ａおよび輪郭エッジ選択部１９ａはこの順に接続され、勾配強度算出部１６は参照範囲設定部１８ａに接続され、候補エッジ検出部１７ａは参照範囲設定部１８ａに接続され、参照範囲設定部１８ａは輪郭エッジ選択部１９ａに接続されている。
【００７８】
候補エッジ検出部１７ａは、各画素の勾配強度をもとに、輪郭候補エッジ位置を検出する。この候補エッジ検出部１７ａは、図２８に示すように、候補エッジ線検出手段としての候補エッジ線検出部１７３ａと、閾値処理手段としての閾値処理部１７５ａとを備える。ここで、候補エッジ線検出部１７３ａは、閾値処理部１７５ａに接続されている。
【００７９】
候補エッジ線検出部１７３ａは、勾配強度算出部１６から入力される各画素の勾配強度をもとに、エッジ線を検出する。この候補エッジ線検出部１７３ａは、細線化手段としての細線化部１７４ａを備える。実施の形態２では、この細線化部１７４ａが、各画素の勾配強度をもとに、細線化したエッジ線を検出する。ここで、細線化したエッジ線とは、幅が１画素のエッジ線のことをいう。検出したエッジ線（細線化したエッジ線）は、閾値処理部１７５ａに出力される。閾値処理部１７５ａは、入力されるエッジ線上の画素の勾配強度を閾値処理し、勾配強度の値が予め設定される閾値以上であるエッジ線上の画素を検出する。例えば、閾値処理部１７５ａは、公知のヒステリシス（hysteresis）閾値処理を行う。以上のように構成される候補エッジ検出部１７ａは、閾値処理部１７５ａが検出した勾配強度の大きいエッジ線上の画素を輪郭候補エッジ位置とし、参照範囲設定部１８ａおよび輪郭エッジ選択部１９ａに出力する。
【００８０】
参照範囲設定部１８ａは、輪郭エッジ選択部１９ａが輪郭候補エッジ位置の中から輪郭エッジ位置を選択する際に参照する参照範囲を設定する。この参照範囲設定部１８ａは、図２９に示すように、参照方向指定部１８１ａと、参照範囲取得部１８２ａとを備える。ここで、参照方向指定部１８１ａは、参照範囲取得部１８２ａに接続されている。
【００８１】
参照方向指定部１８１ａは、参照範囲を設定する方向（参照方向）を指定する。この参照方向指定部１８１ａは、参照方向算出手段としての参照方向算出部１８４ａを備える。参照方向算出部１８４ａは、勾配強度算出部１６から入力される各画素の勾配強度、および候補エッジ検出部１７ａから入力される輪郭候補エッジ位置をもとに、輪郭候補エッジ位置毎にその輪郭候補エッジ線の法線方向を算出し、該当する輪郭候補エッジ位置における参照方向とする。算出した各輪郭候補エッジ位置の参照方向は、参照範囲取得部１８２ａに出力される。
【００８２】
参照範囲取得部１８２ａは、勾配強度閾値処理部１８３ａを備え、参照範囲取得部１８２ａ入力される各輪郭候補エッジ位置の参照方向および候補エッジ検出部１７ａから入力される各画素の勾配強度をもとに、各輪郭候補エッジ位置についてその参照方向に沿った参照範囲を取得する。以上のように構成される参照範囲設定部１８ａは、各輪郭候補エッジ位置の参照範囲を輪郭エッジ選択部１９ａに出力する。
【００８３】
輪郭エッジ選択部１９ａは、輪郭候補エッジ位置の中から輪郭エッジ位置を選択する。この輪郭エッジ選択部１９ａは、図３０に示すように、エッジ特性取得部１９１と、エッジ特性比較部１９２ａとを備える。ここで、エッジ特性取得部１９１は、エッジ特性比較部１９２ａに接続されている。
【００８４】
エッジ特性比較部１９２ａは、参照範囲設定部１８ａから入力される各輪郭候補エッジ位置の参照範囲と、候補エッジ検出部１７ａから入力される輪郭候補エッジ位置をもとにエッジ特性取得部１９１が取得した各輪郭候補エッジ位置のエッジ特性とをもとに、各輪郭候補エッジ位置の参照範囲のそれぞれから輪郭エッジ位置を選択する。
【００８５】
図３１は、実施の形態２の画像処理装置１ａが行う処理手順を示す全体フローチャートである。なお、ここで説明する処理は、記録部１４ａに記録された画像処理プログラム１４１ａに従って画像処理装置１ａの各部が動作することによって実現される。なお、図３１において、実施の形態１と同一の処理工程には、同一の符号を付する。
【００８６】
図３１に示すように、実施の形態２では、ステップａ７において勾配強度算出部１６の微分処理部１６３（図２を参照）が勾配強度算出処理を実行し、各画素の符号付きの勾配強度を算出した後、候補エッジ検出部１７ａが、輪郭候補エッジ検出処理を実行する（ステップｂ９）。
【００８７】
この輪郭候補エッジ検出処理では、先ず、候補エッジ線検出部１７３ａの細線化部１７４ａが、実施の形態１と同様の手順で、各画素の勾配強度をもとに、輪郭エッジ位置の候補となる輪郭候補エッジ位置を検出する。具体的には、各画素における勾配の最大変化方向を算出し、算出した最大変化方向をもとに、各画素の勾配変化方向を検出する。その後、各画素の勾配変化方向をもとに勾配強度の凸位置を検出することで、細線化したエッジ線（幅が１画素分のエッジ線）を得る。
【００８８】
その後、検出したエッジ線上の画素の中から勾配強度の値が小さい画素を除外することで、輪郭候補エッジ位置を絞り込む。具体的には、閾値処理部１７５ａが、ヒステリシス閾値処理を行って勾配強度の値が予め設定される閾値以上であるエッジ線上の画素を検出し、最終的な輪郭候補エッジ位置を得る。
【００８９】
図３２（ａ）は、前段の処理で検出したエッジ線の一例を示す模式図であり、３本のエッジ線ＥＬ５１，ＥＬ５２，ＥＬ５３を示している。また、図３２（ｂ）および図３２（ｃ）は、横軸を図３２（ａ）中のエッジ線ＥＬ５２上の座標（ｘ，ｙ）とし、縦軸を該当する各画素の勾配強度の値として図３２（ａ）中のエッジ線ＥＬ５２上の勾配強度の変化曲線を示したものである。閾値処理部１７５ａは、先ず、図３２（ｂ）中に示す第１の閾値を用いてエッジ線ＥＬ５２上の勾配強度を閾値処理することで、勾配強度が閾値以上である範囲、具体的には、図３２（ａ）に示すエッジ線ＥＬ５２上の画素Ｐ５３〜画素Ｐ５４の範囲を輪郭候補エッジ位置として検出する。続いて、閾値処理部１７５ａは、図３２（ｃ）中に示す第１の閾値よりも値の小さい第２の閾値を用いてエッジ線ＥＬ５２上の勾配強度を閾値処理し、勾配強度が第２の閾値以上である画素のうち、第１の閾値を用いた閾値処理で検出した範囲の端点である画素Ｐ５３，Ｐ５４と途切れずに連続しているエッジ線ＥＬ５２上の画素、具体的には画素Ｐ５１〜画素Ｐ５３および画素Ｐ５４〜画素Ｐ５５の範囲を輪郭候補エッジ位置としてさらに検出する。エッジ線ＥＬ５２上の画素Ｐ５５〜画素Ｐ５１の範囲については、輪郭候補エッジ位置として検出しない。また、輪郭候補エッジ線ＥＬ５１，ＥＬ５３についても同様に、輪郭候補エッジ位置を絞り込む。
【００９０】
なお、実施の形態２において、図３１に示すステップａ３〜ステップｂ９の処理を具体的に実現するアルゴリズムとしては、既に公知のケニーのエッジ検出アルゴリズム（参考：非特許文献１またはＣＧ−ＡＲＴＳ協会，ディジタル画像処理，２０９Ｐ−輪郭線検出）を用いることができる。
【００９１】
続いて、参照範囲設定部１８ａが参照範囲設定処理を実行し、ステップａ７で算出した各画素の勾配強度をもとに、輪郭候補エッジ位置毎に参照範囲を設定する（ステップｂ１１）。図３３は、実施の形態２における参照範囲の設定原理を説明する図であり、２本の輪郭候補エッジ線ＥＬ６１，ＥＬ６２を示している。ここで、例えば、輪郭候補エッジ線ＥＬ６１上の輪郭候補エッジ位置Ｐ６に着目すると、輪郭候補エッジ線ＥＬ６１の輪郭候補エッジ位置Ｐ６における図３３中に破線で示す法線方向上に存在する画素のうち、勾配の方向が輪郭候補エッジ位置Ｐ６と同じである画素の範囲（例えば画素Ｐ６１〜画素Ｐ６２の範囲）を輪郭候補エッジ位置Ｐ６の参照範囲とする。
【００９２】
実際の処理手順としては、先ず、参照方向指定部１８１ａの参照方向算出部１８４ａが、各輪郭候補エッジ位置を順次処理対象とし、処理対象の輪郭候補エッジ位置が属する輪郭候補エッジ線の処理対象の輪郭候補エッジ位置における法線方向を参照方向として算出する。法線方向の算出方法は特に限定されるものではないが、例えば、実施の形態１において勾配変化方向検出部１７１が行う処理として説明した手順と同様にその勾配の最大変化方向を算出し、勾配変化方向を検出することで実現できる。なお、この場合には、前段のステップｂ９で輪郭候補エッジ位置を検出する際に検出した各画素の勾配変化方向を記録部１４ａに保存しておき、処理対象の輪郭候補エッジ位置における勾配変化方向を読み出すようにしてもよい。
【００９３】
その後、参照範囲取得部１８２ａが、輪郭候補エッジ位置を順次処理対象とし、その参照方向上に存在する各画素を実施の形態１と同様の要領でセグメンテーション（区画）する。具体的には、参照範囲取得部１８２ａにおいて勾配強度閾値処理部１８３ａが、処理対象とする輪郭候補エッジ位置の参照方向上に存在する各画素の勾配強度を閾値処理することで、参照方向上の各画素を上り勾配の範囲、下り勾配の範囲、および平坦領域の３つの範囲に区画する。そして、区画した各範囲のうち、処理対象の輪郭候補エッジ位置を含む範囲をその参照範囲とする。
【００９４】
以上のようにして参照範囲設定処理を行い、各輪郭候補エッジ位置について参照方向を算出し、参照範囲を設定することで、輪郭候補エッジ位置の勾配変化方向に沿った参照方向上で輪郭候補エッジ位置を含む上り勾配または下り勾配の範囲を参照範囲として設定することができる。これによれば、後段の処理において、輪郭候補エッジ位置を含む勾配毎に１つの輪郭エッジ位置を選択することができるので、輪郭エッジの検出精度が向上する。
【００９５】
続いて、図３１に示すように、輪郭エッジ選択部１９ａのエッジ特性取得部１９１がエッジ特性取得処理を実行し、ステップｂ９で検出した各輪郭候補エッジ位置についてエッジ特性を取得する（ステップｂ１３）。このエッジ特性取得処理は、実施の形態１で説明した図６のステップａ１３と同様の手順で行う。
【００９６】
続いて、エッジ特性比較部１９２ａが輪郭エッジ選択処理を実行し、ステップｂ１１で輪郭候補エッジ位置毎に設定した各参照範囲から輪郭エッジ位置を１つずつ選択する（ステップｂ１５）。
【００９７】
図３４は、実施の形態２における輪郭エッジ位置の選択原理を１つの輪郭候補エッジ位置に着目して説明する図であり、横軸を着目する輪郭候補エッジ位置の参照方向上の座標とし、縦軸を着目する輪郭候補エッジ位置の参照範囲内のエッジ特性として参照範囲内の各画素のエッジ特性の値を示している。実施の形態２では、図３４に示すように、この参照範囲内の輪郭候補エッジ位置に対してフラグ番号を付与する。そして、フラグ番号毎にエッジ特性を比較し、エッジ特性の値が最大であるフラグ番号（例えば図３４の例ではフラグ番号「２」）の輪郭候補エッジ位置を、処理対象の輪郭候補エッジ位置について設定した参照範囲における輪郭エッジ位置として選択する。このとき、参照範囲内にエッジ特性の値が最大のものが複数含まれる場合には、実施の形態１と同様に、上り勾配の参照範囲では前者（図３４に向かって左側）、下り勾配の参照範囲では後者（図３４に向かって右側）を選択する。
【００９８】
以上の処理を全ての輪郭候補エッジ位置について行い、輪郭エッジ位置とした画素の画素値を例えば「１」、それ以外の画素の画素値を「０」とした輪郭エッジ画像を得る。その後、演算部１５ａは、実施の形態１と同様に輪郭エッジ画像出力処理を実行し、ステップｂ１５の輪郭エッジ選択処理の結果得られた輪郭エッジ画像を例えば記録部１４ａに出力して保存する（ステップｂ１９）。
【００９９】
以上説明したように、実施の形態２では、輪郭候補エッジ位置毎に各輪郭候補エッジ位置における輪郭候補エッジ線の法線方向を参照方向として算出し、算出した参照方向上の輪郭候補エッジ位置を含む勾配の範囲を参照範囲として設定することとした。そして、輪郭候補エッジ毎の参照範囲のそれぞれから１つの輪郭候補エッジ位置を選択して輪郭エッジ位置とした。これによれば、輪郭候補エッジ位置毎に設定した参照範囲、すなわち、該当する輪郭候補エッジ位置における輪郭候補エッジ線の法線方向である参照方向に沿った勾配の範囲であって、該当する輪郭候補エッジ位置を含む勾配の範囲から１つの輪郭エッジ位置を選択することができる。したがって、実施の形態１と同様の効果を奏することができ、管腔内画像から粘膜構造の輪郭エッジを精度良く検出することができる。
【０１００】
（実施の形態３）
先ず、実施の形態３の画像処理装置の構成について説明する。図３５は、実施の形態３の画像処理装置１ｂの機能構成例を説明するブロック図である。なお、実施の形態１で説明した構成と同一の構成については、同一の符号を付する。図３５に示すように、実施の形態３の画像処理装置１ｂは、外部Ｉ／Ｆ部１１と、操作部１２と、表示部１３と、記録部１４ｂと、演算部１５ｂと、画像処理装置１ｂ全体の動作を制御する制御部２０とを備える。
【０１０１】
記録部１４ｂには、実施の形態３の処理を実現して管腔内画像から輪郭エッジ（粘膜構造の輪郭エッジ）を検出するための画像処理プログラム１４１ｂが記録される。
【０１０２】
また、演算部１５ｂは、実施の形態１で説明した勾配強度算出部１６と、候補エッジ検出部１７と、参照範囲設定部１８と、輪郭エッジ選択部１９とを含む。そして、これらの各部は、勾配強度算出部１６、参照範囲設定部１８、候補エッジ検出部１７、輪郭エッジ選択部１９の順に接続される。すなわち、実施の形態３は、勾配強度算出部１６が参照範囲設定部１８に接続され、参照範囲設定部１８が候補エッジ検出部１７に接続される点が実施の形態１と異なる。そして、勾配強度算出部１６は、管腔内画像を処理して各画素の勾配強度を算出し、参照範囲設定部１８に出力する。参照範囲設定部１８は、参照方向毎の参照範囲を設定して候補エッジ検出部１７に出力する。候補エッジ検出部１７は、輪郭候補エッジ位置を検出して輪郭エッジ選択部１９に出力する。輪郭エッジ選択部１９は、輪郭候補エッジ位置から輪郭エッジ位置を選択し、例えば記録部１４に出力して保存する。
【０１０３】
図３６は、実施の形態３の画像処理装置１ｂが行う処理手順を示す全体フローチャートである。なお、ここで説明する処理は、記録部１４ｂに記録された画像処理プログラム１４１ｂに従って画像処理装置１ｂの各部が動作することによって実現される。なお、図３６において、実施の形態１と同一の処理工程には、同一の符号を付する。
【０１０４】
図３６に示すように、実施の形態３では、ステップａ７において勾配強度算出部１６の微分処理部１６３（図２を参照）が勾配強度算出処理を実行し、各画素の符号付きの勾配強度を算出した後、参照範囲設定部１８が参照範囲設定処理を実行する（ステップｃ９）。この参照範囲設定処理は、実施の形態１で説明した図６のステップａ１１と同様の手順で行う。
【０１０５】
続いて、候補エッジ検出部１７が輪郭候補エッジ検出処理を実行し、ステップａ７で算出した各画素の勾配強度をもとに輪郭候補エッジ位置を検出する（ステップｃ１１）。処理の手順自体は、実施の形態１で説明した図６のステップａ９と同様である。ただし、実施の形態３では、ステップｃ９で参照範囲設定部１８が区画した上り勾配の領域に対応する各参照範囲および下り勾配の領域に対応する各参照範囲から輪郭候補エッジ位置を検出し、平坦領域については輪郭候補エッジ位置の検出を行わない。平坦領域からは輪郭エッジ位置を検出する必要がないためである。具体的には、候補エッジ検出部１７は、横方向の参照範囲区画画像および縦方向の参照範囲区画画像を参照しながら、横方向成分勾配強度画像の上り勾配および下り勾配の領域に対応する各参照範囲内の画素、および縦方向成分勾配強度画像の上り勾配および下り勾配の領域に対応する各参照範囲内の画素の勾配強度をもとに、輪郭候補エッジ位置を検出する。その後、ステップａ１３に移行する。
【０１０６】
以上説明したように、実施の形態３によれば、実施の形態１と同様の効果を奏することができるとともに、平坦領域は対象とせずに、上り勾配の領域および下り勾配の領域のみを対象として輪郭候補エッジ位置を検出することができるので、実施の形態１のように全ての画素を対象として輪郭候補エッジ位置を検出する場合と比較して処理時間の短縮が図れる。
【０１０７】
なお、上記した実施の形態１の画像処理装置１、実施の形態２の画像処理装置１ａ、実施の形態３の画像処理装置１ｂは、予め用意されたプログラムをパソコンやワークステーション等のコンピュータシステムで実行することによって実現することができる。以下、各実施の形態１〜３で説明した画像処理装置１，１ａ，１ｂと同様の機能を有し、画像処理プログラム１４１，１４１ａ，１４１ｂを実行するコンピュータシステムについて説明する。
【０１０８】
図３７は、本変形例におけるコンピューターシステム４００の構成を示すシステム構成図であり、図３８は、このコンピューターシステム４００を構成する本体部４１０の構成を示すブロック図である。図３７に示すように、コンピューターシステム４００は、本体部４１０と、本体部４１０からの指示によって表示画面４２１に画像等の情報を表示するためのディスプレイ４２０と、このコンピューターシステム４００に種々の情報を入力するためのキーボード４３０と、ディスプレイ４２０の表示画面４２１上の任意の位置を指定するためのマウス４４０とを備える。
【０１０９】
また、このコンピューターシステム４００における本体部４１０は、図３７および図３８に示すように、ＣＰＵ４１１と、ＲＡＭ４１２と、ＲＯＭ４１３と、ハードディスクドライブ（ＨＤＤ）４１４と、ＣＤ−ＲＯＭ４６０を受け入れるＣＤ−ＲＯＭドライブ４１５と、ＵＳＢメモリ４７０を着脱可能に接続するＵＳＢポート４１６と、ディスプレイ４２０、キーボード４３０およびマウス４４０を接続するＩ／Ｏインターフェース４１７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ１に接続するためのＬＡＮインターフェース４１８とを備える。
【０１１０】
さらに、このコンピューターシステム４００には、インターネット等の公衆回線Ｎ３に接続するためのモデム４５０が接続されるとともに、ＬＡＮインターフェース４１８およびローカルエリアネットワークまたは広域エリアネットワークＮ１を介して、他のコンピューターシステムであるパソコン（ＰＣ）４８１、サーバ４８２、プリンタ４８３等が接続される。
【０１１１】
そして、このコンピューターシステム４００は、記録媒体に記録された画像処理プログラム（例えば実施の形態１の画像処理プログラム１４１や実施の形態２の画像処理プログラム１４１ａ、実施の形態３の画像処理プログラム１４１ｂ）を読み出して実行することで画像処理装置（例えば実施の形態１の画像処理装置１や実施の形態２の画像処理装置１ａ、実施の形態３の画像処理装置１ｂ）を実現する。ここで、記録媒体とは、ＣＤ−ＲＯＭ４６０やＵＳＢメモリ４７０の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピューターシステム４００の内外に備えられるＨＤＤ４１４やＲＡＭ４１２、ＲＯＭ４１３等の「固定用の物理媒体」、モデム４５０を介して接続される公衆回線Ｎ３や、他のコンピューターシステムであるＰＣ４８１やサーバ４８２が接続されるローカルエリアネットワークまたは広域エリアネットワークＮ１等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピューターシステム４００によって読み取り可能な画像処理プログラムを記録するあらゆる記録媒体を含む。
【０１１２】
すなわち、画像処理プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記録媒体にコンピューター読み取り可能に記録されるものであり、コンピューターシステム４００は、このような記録媒体から画像処理プログラムを読み出して実行することで画像処理装置を実現する。なお、画像処理プログラムは、コンピューターシステム４００によって実行されることに限定されるものではなく、他のコンピューターシステムであるＰＣ４８１やサーバ４８２が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。
【０１１３】
また、本発明は、上記した各実施の形態１〜３およびその変形例そのままに限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成してもよい。あるいは、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成してもよい。
【産業上の利用可能性】
【０１１４】
以上のように、本発明の画像処理装置、画像処理方法、および画像処理プログラムは、対象画像から対象物の輪郭エッジを精度良く検出するのに適している。
【符号の説明】
【０１１５】
１，１ａ，１ｂ 画像処理装置
１１ 外部Ｉ／Ｆ部
１２ 操作部
１３ 表示部
１４，１４ａ，１４ｂ 記録部
１４１，１４１ａ，１４１ｂ 画像処理プログラム
１５，１５ａ，１５ｂ 演算部
１６ 勾配強度算出部
１６１ ノイズ除去部
１６２ 構造情報取得部
１６３ 微分処理部
１７，１７ａ 候補エッジ検出部
１７１ 勾配変化方向検出部
１７２ 凸位置検出部
１７３ａ 候補エッジ線検出部
１７４ａ 細線化部
１７５ａ 閾値処理部
１８，１８ａ 参照範囲設定部
１８１，１８１ａ 参照方向指定部
１８４ａ 参照方向算出部
１８２ 参照範囲取得部
１８３ 勾配強度閾値処理部
１９，１９ａ 輪郭エッジ選択部
１９１ エッジ特性取得部
１９２，１９２ａ エッジ特性比較部
１９３ 方向成分輪郭エッジ選択部
１９４ 方向成分輪郭エッジ統合部
２０ 制御部
【技術分野】
【０００１】
本発明は、対象画像から対象物の輪郭エッジを検出する画像処理装置、画像処理方法、および画像処理プログラムに関するものである。
【背景技術】
【０００２】
一般に、画像内のエッジの検出は、勾配の変化が大きい位置を検出することで行われ、基本的には、画像の輝度値の勾配から勾配強度を算出し、この勾配強度に対して閾値処理を行うことで検出されている。具体的な手法は各種考案されており、その１つとして、例えば、ケニーのエッジ検出アルゴリズムが知られている（Canny edge detector／非特許文献１を参照）。また、特許文献１には、ノイズエッジを抑制しながらエッジを検出する方法が示されている。この特許文献１では、まず、４方向の輝度勾配値を算出し、この４方向の輝度勾配値の大きさをもとに、エッジ方向に対応する第１の勾配値と、エッジに直交する方向に対応する第２の勾配値とを推定する。そして、第２の勾配値に対する第１の勾配値の相対強度をエッジ強度とすることで、対象物の構造によるエッジとノイズによるエッジとを判別している。また、特許文献２には、対象物の輪郭エッジを検出する処理が示されている。この特許文献２では、輪郭を抽出する対象物に対して幅のある粗輪郭線を入力し、この幅を持つ粗輪郭線の内部において、勾配強度が最大の画素位置を開始点とした最大勾配強度の追跡を繰り返すことで輪郭エッジを抽出している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１４０６８４号公報
【特許文献２】特開平７−２２５８４７号公報
【非特許文献】
【０００４】
【非特許文献１】J.Canny.A Computational Approach to Edge Detection, IEEE Trans. on Pattern Analysis and Machine Intelligence,8(6),pp.679-698,1986
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、対象物を撮像した対象画像において、対象物の輪郭部分での勾配強度は、勾配強度の最大位置をピークとする山の分布を示す。しかしながら、全体として１つの勾配の途中に緩やかな勾配が存在するような輪郭部分では、勾配強度の分布のピーク位置が２つ以上に分かれてしまうため、上記した非特許文献１や特許文献１のような従来のエッジ検出処理では、輪郭付近で複数のエッジ線が検出されるという問題があった。また、特許文献２の技術では、輪郭エッジの検出結果が粗輪郭線の設定の仕方に左右されるため、対象物の輪郭エッジを適切に検出できない場合があった。
【０００６】
本発明は、上記に鑑み為されたものであって、対象画像から対象物の輪郭エッジを精度良く検出することができる画像処理装置、画像処理方法、および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記した課題を解決し、目的を達成するための、本発明のある態様にかかる画像処理装置は、所定の対象物を撮像した対象画像の画素値をもとに、各画素の勾配強度を算出する勾配強度算出手段と、前記各画素の勾配強度をもとに輪郭候補エッジ位置を検出する候補エッジ検出手段と、前記各画素の勾配強度をもとに、前記輪郭候補エッジ位置の中から輪郭エッジ位置を選択する際に参照する参照範囲を設定する参照範囲設定手段と、前記参照範囲内の輪郭候補エッジ位置の中から１つを選択し、前記輪郭エッジ位置とする輪郭エッジ選択手段と、を備えることを特徴とする。
【０００８】
上記態様の画像処理装置によれば、対象物を撮像した対象画像の各画素の勾配強度をもとに輪郭候補エッジを検出するとともに、各画素の勾配強度をもとに輪郭候補エッジ位置の中から輪郭エッジ位置を選択する際に参照する参照範囲を設定することができる。そして、前述のように勾配強度をもとに設定した参照範囲内の輪郭候補エッジ位置のうちの１つを輪郭エッジ位置として選択することができる。したがって、全体として１つの勾配の途中に緩やかな勾配が存在するような輪郭部分であっても、対象物の輪郭エッジを精度良く検出することができる。
【０００９】
また、本発明の別の態様にかかる画像処理方法は、所定の対象物を撮像した対象画像の画素値をもとに、各画素の勾配強度を算出する勾配強度算出工程と、前記各画素の勾配強度をもとに輪郭候補エッジ位置を検出する候補エッジ検出工程と、前記各画素の勾配強度をもとに、前記輪郭候補エッジ位置の中から輪郭エッジ位置を選択する際に参照する参照範囲を設定する参照範囲設定工程と、前記参照範囲内の輪郭候補エッジ位置の中から１つを選択し、前記輪郭エッジ位置とする輪郭エッジ選択工程と、を含むことを特徴とする。
【００１０】
また、本発明の別の態様にかかる画像処理方法は、所定の対象物を撮像した対象画像の画素値をもとに、各画素の勾配強度を算出する勾配強度算出工程と、前記各画素の勾配強度をもとに、前記輪郭候補エッジ位置の中から輪郭エッジ位置を選択する際に参照する参照範囲を設定する参照範囲設定工程と、前記参照範囲内の画素の前記勾配強度をもとに、前記参照範囲内の輪郭候補エッジ位置を検出する候補エッジ検出工程と、前記参照範囲内の輪郭候補エッジ位置の中から１つを選択し、前記輪郭エッジ位置とする輪郭エッジ選択工程と、を含むことを特徴とする。
【００１１】
また、本発明の別の態様にかかる画像処理プログラムは、コンピュータに、所定の対象物を撮像した対象画像の画素値をもとに、各画素の勾配強度を算出する勾配強度算出手順と、前記各画素の勾配強度をもとに輪郭候補エッジ位置を検出する候補エッジ検出手順と、前記各画素の勾配強度をもとに、前記輪郭候補エッジ位置の中から輪郭エッジ位置を選択する際に参照する参照範囲を設定する参照範囲設定手順と、前記参照範囲内の輪郭候補エッジ位置の中から１つを選択し、前記輪郭エッジ位置とする輪郭エッジ選択手順と、を実行させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、対象画像から対象物の輪郭エッジを精度良く検出することができるという効果を奏する。
【図面の簡単な説明】
【００１３】
【図１】図１は、実施の形態１の画像処理装置の機能構成例を説明するブロック図である。
【図２】図２は、勾配強度算出部の構成例を説明するブロック図である。
【図３】図３は、実施の形態１の候補エッジ検出部の構成例を説明するブロック図である。
【図４】図４は、実施の形態１の参照範囲設定部の構成例を説明するブロック図である。
【図５】図５は、実施の形態１の輪郭エッジ選択部の構成例を説明するブロック図である。
【図６】図６は、実施の形態１の画像処理装置が行う処理手順を示す全体フローチャートである。
【図７】図７は、管腔内画像の一例を示す図である。
【図８】図８は、勾配と勾配強度との関係を説明する図である。
【図９−１】図９−１は、横方向のソーベルフィルタを示す図である。
【図９−２】図９−２は、縦方向のソーベルフィルタを示す図である。
【図１０】図１０は、横方向成分勾配強度画像の一例を示す図である。
【図１１】図１１は、縦方向成分勾配強度画像の一例を示す図である。
【図１２】図１２は、勾配強度画像の一例を示す図である。
【図１３】図１３は、勾配の最大変化方向の正接から勾配変化方向への変換を説明する図である。
【図１４】図１４は、勾配変化方向の一例を示す図である。
【図１５−１】凸位置の検出原理を説明する図である。
【図１５−２】凸位置の検出原理を説明する他の図である。
【図１５−３】凸位置の検出原理を説明する他の図である。
【図１６−１】図１６−１は、注目画素の勾配変化方向が方向＝０の場合に勾配強度を比較する画素を説明する図である。
【図１６−２】図１６−２は、注目画素の勾配変化方向が方向＝１の場合に勾配強度を比較する画素を説明する図である。
【図１６−３】図１６−３は、注目画素の勾配変化方向が方向＝２の場合に勾配強度を比較する画素を説明する図である。
【図１６−４】図１６−４は、注目画素の勾配変化方向が方向＝３の場合に勾配強度を比較する画素を説明する図である。
【図１７】図１７は、輪郭候補エッジ画像の一例を示す図である。
【図１８】図１８は、横方向の参照範囲区画画像の一例を示す図である。
【図１９】図１９は、縦方向の参照範囲区画画像の一例を示す図である。
【図２０】図２０は、エッジ特性の取得原理を説明する図である。
【図２１】図２１は、エッジ特性画像の一例を示す図である。
【図２２】図２２は、輪郭エッジ位置の選択原理を説明する図である。
【図２３】図２３は、横方向成分輪郭エッジ位置の選択原理を説明する図である。
【図２４】図２４は、横方向成分輪郭エッジ画像の一例を示す図である。
【図２５】図２５は、縦方向成分輪郭エッジ画像の一例を示す図である。
【図２６】図２６は、輪郭エッジ画像の一例を示す図である。
【図２７】図２７は、実施の形態２の画像処理装置の機能構成例を説明するブロック図である。
【図２８】図２８は、実施の形態２の候補エッジ検出部の構成例を説明するブロック図である。
【図２９】図２９は、実施の形態２の参照範囲設定部の構成例を説明するブロック図である。
【図３０】図３０は、実施の形態２の輪郭エッジ選択部の構成例を説明するブロック図である。
【図３１】図３１は、実施の形態２の画像処理装置が行う処理手順を示す全体フローチャートである。
【図３２】図３２は、輪郭候補エッジ位置の検出原理を説明する図である。
【図３３】図３３は、実施の形態２における参照範囲の設定原理を説明する図である。
【図３４】図３４は、実施の形態２における輪郭エッジ位置の選択原理を説明する図である。
【図３５】図３５は、実施の形態３の画像処理装置の機能構成例を説明するブロック図である。
【図３６】図３６は、実施の形態３の画像処理装置が行う処理手順を示す全体フローチャートである。
【図３７】図３７は、本発明を適用したコンピューターシステムの構成を示すシステム構成図である。
【図３８】図３８は、図３７のコンピューターシステムを構成する本体部の構成を示すブロック図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照し、本発明の好適な実施の形態について説明する。なお、この実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
【００１５】
本実施の形態の画像処理装置は、例えば内視鏡やカプセル内視鏡等の医用観察装置が被検者の体内の消化管等の管腔内を撮像した画像（管腔内画像）を対象画像として処理するものであり、具体的には、管腔内画像から輪郭エッジを検出する処理を行うものである。ここで、本実施の形態の画像処理装置が扱う管腔内画像は、例えば、画素毎にＲ（赤），Ｇ（緑），Ｂ（青）の各波長成分に対する画素値を持つカラー画像である。この管腔内画像には、対象物として生体組織の粘膜構造が映る。以下では、管腔内画像から粘膜構造の輪郭エッジを検出する場合を例にとって説明する。なお、対象画像は、本実施の形態で例示する管腔内画像に限定されるものではない。また、対象物についても粘膜構造に限定されるものではなく、本発明は、所定の対象物を撮像した対象画像から対象物の輪郭エッジを検出する場合に広く適用できる。
【００１６】
（実施の形態１）
先ず、実施の形態１の画像処理装置について説明する。図１は、実施の形態１の画像処理装置１の機能構成例を説明するブロック図である。また、図２は、演算部１５を構成する実施の形態１の勾配強度算出部１６の構成例を説明するブロック図であり、図３は、実施の形態１の候補エッジ検出部１７の構成例を説明するブロック図であり、図４は、実施の形態１の参照範囲設定部１８の構成例を説明するブロック図であり、図５は、実施の形態１の輪郭エッジ選択部１９の構成例を説明するブロック図である。なお、図１〜図５の各図において、画像処理装置１の各部間を接続して画像信号等のデータ信号を伝送するデータ信号線を実線で示し、制御信号を伝送する制御信号線を破線で示している。
【００１７】
図１に示すように、実施の形態１の画像処理装置１は、外部インターフェース（Ｉ／Ｆ）部１１と、操作部１２と、表示部１３と、記録部１４と、演算部１５と、画像処理装置１全体の動作を制御する制御部２０とを備える。
【００１８】
外部Ｉ／Ｆ部１１は、医用観察装置によって撮像された管腔内画像の画像データを取得するためのものであり、この外部Ｉ／Ｆ部１１によって取得された画像データは記録部１４に記録され、演算部１５によって処理された後、必要に応じて適宜表示部１３に表示される。外部Ｉ／Ｆ部１１は、例えば医用観察装置との間の画像データの受け渡しに可搬型の記録媒体が使用される場合であれば、この記録媒体を着脱自在に装着して保存された管腔内画像の画像データを読み出すリーダ装置で構成される。また、医用観察装置によって撮像された管腔内画像の画像データを保存しておくサーバを適所に設置し、このサーバから取得する構成の場合には、外部Ｉ／Ｆ部１１を、サーバと接続するための通信装置等で構成する。そして、この外部Ｉ／Ｆ部１１を介してサーバとデータ通信を行い、管腔内画像の画像データを取得する。また、ケーブルを介して医用観察装置から画像データを取得する構成の場合には、画像データを入力するインターフェース装置等で構成される。
【００１９】
操作部１２は、例えばキーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、操作信号を制御部２０に出力する。表示部１３は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現されるものであり、制御部２０の制御のもと、カプセル内視鏡３で撮像された画像の表示画面を含む各種画面を表示する。
【００２０】
記録部１４は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記録媒体およびその読取装置等によって実現されるものであり、画像処理装置１を動作させ、この画像処理装置１が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が記録される。例えば、記録部１４には、外部Ｉ／Ｆ部１１によって取得された管腔内画像の画像データが記録される。また、記録部１４には、実施の形態１の処理を実現して管腔内画像から輪郭エッジ（詳細には粘膜構造の輪郭エッジ）を検出するための画像処理プログラム１４１が記録される。
【００２１】
演算部１５は、ＣＰＵ等のハードウェアによって実現され、管腔内画像を処理して輪郭エッジを検出するための種々の演算処理を行う。この演算部１５は、勾配強度算出手段としての勾配強度算出部１６と、候補エッジ検出手段としての候補エッジ検出部１７と、参照範囲設定手段としての参照範囲設定部１８と、輪郭エッジ選択手段としての輪郭エッジ選択部１９とを含む。ここで、勾配強度算出部１６、候補エッジ検出部１７および輪郭エッジ選択部１９はこの順に接続され、勾配強度算出部１６は参照範囲設定部１８に接続され、参照範囲設定部１８は輪郭エッジ選択部１９に接続されている。また、勾配強度算出部１６には、外部Ｉ／Ｆ部１１を介して取得され、記録部１４に記録された管腔内画像の画像信号が入力される。そして、輪郭エッジ選択部１９からは、演算部１５の各部が管腔内画像を処理することで検出した輪郭エッジの情報（輪郭エッジ画像）が出力され、例えば記録部１４に記録される。
【００２２】
勾配強度算出部１６は、管腔内画像の画素値をもとに、各画素の勾配強度を算出する。この勾配強度算出部１６は、図２に示すように、ノイズ除去手段としてのノイズ除去部１６１と、構造情報取得手段としての構造情報取得部１６２と、微分処理手段としての微分処理部１６３とを備える。ここで、ノイズ除去部１６１、構造情報取得部１６２および微分処理部１６３は、この順に接続されている。
【００２３】
ノイズ除去部１６１は、記録部１４から入力される管腔内画像の画像データをもとに、管腔内画像からノイズを除去する。ノイズ除去後の管腔内画像の画像データは、構造情報取得部１６２に出力される。構造情報取得部１６２は、入力されるノイズ除去後の管腔内画像の画像データをもとに、管腔内画像に映る粘膜構造表面の形状変化情報（例えば後述するＲ成分画像の画像データ）を取得する。取得した粘膜構造表面の形状変化情報（Ｒ成分画像の画像データ）は、微分処理部１６３に出力される。微分処理部１６３は、入力される粘膜構造表面の形状変化情報（Ｒ成分画像の画像データ）に対して微分フィルタ処理を行うことで、各画素の勾配強度を算出する。より詳細には、横方向（水平方向）の微分フィルタを用いて各画素における勾配強度の横方向成分を算出するとともに、縦方向（垂直方向）の微分フィルタを用いて各画素における勾配強度の縦方向成分を参照することで横方向および縦方向の２方向について符号付きの勾配強度を算出する。以上のように構成される勾配強度算出部１６は、算出した各画素の勾配強度を候補エッジ検出部１７および参照範囲設定部１８に出力する。
【００２４】
候補エッジ検出部１７は、各画素の勾配強度をもとに、輪郭候補エッジ位置を検出する。この候補エッジ検出部１７は、図３に示すように、勾配変化方向検出手段としての勾配変化方向検出部１７１と、凸位置検出手段としての凸位置検出部１７２とを備える。ここで、勾配変化方向検出部１７１は、凸位置検出部１７２に接続されている。
【００２５】
勾配変化方向検出部１７１は、勾配強度算出部１６から入力される各画素の勾配強度をもとに、各画素における勾配変化方向を検出する。検出した各画素の勾配変化方向は、凸位置検出部１７２に出力される。凸位置検出部１７２は、入力される各画素の勾配変化方向をもとに、勾配の方向に連接する画素の勾配強度と比して勾配強度が大きい位置、すなわち凸である位置（凸位置）を検出する。以上のように構成される候補エッジ検出部１７は、凸位置検出部１７２が検出した凸位置を輪郭候補エッジ位置として輪郭エッジ選択部１９に出力する。
【００２６】
参照範囲設定部１８は、輪郭エッジ選択部１９が輪郭候補エッジ位置の中から輪郭エッジ位置を選択する際に参照する参照範囲を設定する。この参照範囲設定部１８は、図４に示すように、参照方向指定手段としての参照方向指定部１８１と、参照範囲取得手段としての参照範囲取得部１８２とを備える。ここで、参照方向指定部１８１は、参照範囲取得部１８２に接続されている。
【００２７】
参照方向指定部１８１は、参照範囲を設定する方向（参照方向）を指定する。指定した参照方向は、勾配強度算出部１６から入力される各画素の勾配強度とともに参照範囲取得部１８２に出力される。参照範囲取得部１８２は、入力される各画素の勾配強度をもとに、入力される参照方向毎に参照範囲を取得する。この参照範囲取得部１８２は、勾配強度閾値手段としての勾配強度閾値処理部１８３を備える。勾配強度閾値処理部１８３は、参照方向毎に対応する勾配強度の方向成分を閾値処理する。以上のように構成される参照範囲設定部１８は、参照方向毎の参照範囲を輪郭エッジ選択部１９に出力する。
【００２８】
輪郭エッジ選択部１９は、輪郭候補エッジ位置の中から輪郭エッジ位置を選択する。この輪郭エッジ選択部１９は、図５に示すように、エッジ特性取得手段としてのエッジ特性取得部１９１と、エッジ特性比較手段としてのエッジ特性比較部１９２とを備える。ここで、エッジ特性取得部１９１は、エッジ特性比較部１９２に接続されている。
【００２９】
エッジ特性取得部１９１は、候補エッジ検出部１７から入力される輪郭候補エッジ位置をもとに、途切れずに連続する輪郭候補エッジ線毎に最も大きい勾配強度の値を該当する輪郭候補エッジ線上の輪郭候補エッジ位置のエッジ特性として取得する。取得した各輪郭候補エッジ位置のエッジ特性は、参照範囲設定部１８から入力される参照方向毎の参照範囲とともにエッジ特性比較部１９２に出力される。
【００３０】
エッジ特性比較部１９２は、入力される参照方向毎の参照範囲および各輪郭候補エッジ位置のエッジ特性をもとに、各輪郭候補エッジ位置のエッジ特性を参照範囲毎に比較することで、各参照範囲における輪郭エッジ位置を選択する。このエッジ特性比較部１９２は、方向成分輪郭エッジ選択手段としての方向成分輪郭エッジ選択部１９３と、方向成分輪郭エッジ統合手段としての方向成分輪郭エッジ統合部１９４とを備える。方向成分輪郭エッジ選択部１９３は、参照方向毎に各参照範囲における輪郭エッジ位置を選択する。選択した参照方向毎の各参照範囲における輪郭エッジ位置は、方向成分輪郭エッジ統合部１９４に出力される。方向成分輪郭エッジ統合部１９４は、入力される参照方向毎の各参照範囲における輪郭エッジ位置を統合し、最終的な輪郭エッジ位置を得る。以上のように構成される輪郭エッジ選択部１９は、輪郭エッジ位置を設定した輪郭エッジ画像を例えば記録部１４に出力して保存する。
【００３１】
制御部２０は、ＣＰＵ等のハードウェアによって実現される。この制御部２０は、外部Ｉ／Ｆ部１１を介して取得される画像データや操作部１２から入力される操作信号、記録部１４に記録されるプログラムやデータ等をもとに画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。
【００３２】
図６は、実施の形態１の画像処理装置１が行う処理手順を示す全体フローチャートである。なお、ここで説明する処理は、記録部１４に記録された画像処理プログラム１４１に従って画像処理装置１の各部が動作することによって実現される。
【００３３】
図６に示すように、先ず、制御部２０が画像取得処理を実行し、処理対象の管腔内画像を取得する（ステップａ１）。ここでの処理により、管腔内画像の画像データが外部Ｉ／Ｆ部１１を介して取得され、記録部１４に記録される。このようにして取得された後は、この管腔内画像の画像データは、演算部１５によって読み込み可能な状態となる。図７は、管腔内画像の一例を示す図である。以下では、この管腔内画像の左上を基準にして横方向の画素の座標をｘとし、縦方向の画素の座標をｙとする。
【００３４】
続いて、演算部１５において、勾配強度算出部１６のノイズ除去部１６１が、ノイズ除去処理を実行し、管腔内画像からノイズを除去する（ステップａ３）。このノイズ除去処理は、例えば、ステップａ１で取得した管腔内画像の画像データに対してエッジを保存した平滑化処理を行うことで実現できる。ここでは、例えば、スパイクノイズに強いメディアン（Median）フィルタを適用して平滑化処理を行う。これは、管腔内画像中には、スパイクノイズに相当するノイズ領域として照明光による正面反射が発生した領域（正面反射領域）が含まれ得るためである。フィルタサイズとしては、例えば１１×１１のものを用いる。管腔内画像には、粘膜構造の輪郭エッジ以外にも、例えば、粘膜表面の柔毛（絨毛）等による凹凸や照明光による正面反射領域等によって生じるエッジ（ノイズエッジ）が含まれる。ステップａ３のノイズ除去処理によれば、前述のようなノイズエッジを抑制することができ、輪郭エッジの誤検出を低減することができる。なお、メディアンフィルタに限らず、例えば、ｋ最近隣平均化フィルタやバイラテラル（Bilateral）フィルタ等のその他のエッジ保存型のフィルタを適用した平滑化処理を行うこととしてもよい。
【００３５】
続いて、構造情報取得部１６２が構造情報取得処理を実行し、ステップａ３でのノイズ除去処理後の管腔内画像の画像データをもとに粘膜構造表面の形状変化情報を取得する（ステップａ５）。管腔内画像に映る血管や出血部位等の構成成分であるヘモグロビンは、短波長帯の光を多く吸光する特性を持つ。このヘモグロビンの短波長帯での吸光特性により、波長成分の多くが短波長帯で構成されるＧ（緑）成分やＢ（青）成分は、ヘモグロビンの吸光によって輝度値が下がる。このため、管腔内画像には、血管や出血部位等もノイズエッジとして含まれ得る。一方で、波長成分の多くが長波長帯で構成されるＲ（赤）成分は、吸光が少なく、ほとんどの光を反射するため、このＲ（赤）成分からは、粘膜構造を最も反映した情報を得ることができる。そこで、実施の形態１では、後段の処理において粘膜構造の輪郭エッジを精度良く検出するために、Ｒ（赤）の波長成分（Ｒ成分）の画像（Ｒ成分画像：各画素の画素値をＲ（赤）成分の値とした画像）の画像データを粘膜構造表面の形状変化情報として取得する。ステップａ５の構造情報取得処理によれば、粘膜表面の色変化によって生じるノイズエッジを輪郭エッジとして誤検出する事態を低減できる。
【００３６】
続いて、微分処理部１６３が、勾配強度算出処理を実行し、各画素の勾配強度（符号付き）を算出する（ステップａ７）。図８は、勾配と勾配強度との関係を説明する図であり、図８では、横軸を例えば管腔内画像の横方向（ｘ方向）に沿った画素位置（座標）として、縦軸を該当する各画素の勾配とした勾配の変化曲線を実線で示すとともに、縦軸を該当する各画素の勾配強度とした勾配強度の変化曲線を一点鎖線で示している。図８に示すように、勾配強度は、画素値の勾配が急な箇所で大きい値として得られ、緩やかな箇所で小さい値として得られる。ステップａ７の勾配強度算出処理では、ステップａ５で取得した粘膜構造表面の形状変化情報（Ｒ成分画像の画像データ）をもとに勾配強度の値を算出する。そして、ステップａ９以降の処理では、この勾配強度の値をもとに、輪郭エッジ位置を検出する。ステップａ９以降の処理に先立って勾配強度算出処理を行うことによれば、後段の処理で勾配強度の演算を繰り返し行う必要がない。
【００３７】
例えば、微分処理部１６３は、ステップａ５で取得した粘膜構造表面の形状変化情報（Ｒ成分画像の画像データ）に対して１次微分フィルタを用いた微分フィルタ処理を行うことで実現できる。ここでは、例えば、ソーベル（sobel）フィルタを適用し、勾配強度画像（各画素の画素値を勾配強度の値とした画像）とともに、横方向成分勾配強度画像（各画素の画素値を勾配強度の横方向成分の値とした画像）と、縦方向成分勾配強度画像（各画素の画素値を勾配強度の縦方向成分の値とした画像）とを得る。
【００３８】
具体的には、図９−１に示す３×３の横方向（ｘ方向）のソーベルフィルタおよび図９−２に示す３×３の縦方向（ｙ方向）のソーベルフィルタを適用し、３×３の近傍領域を用いたフィルタリングを行う。そして、図９−１の横方向のソーベルフィルタを適用した微分フィルタ処理の出力を各画素における勾配強度の横方向成分として得る。一方、図９−２の縦方向のソーベルフィルタを適用した微分フィルタ処理の出力を各画素における勾配強度の縦方向成分として得る。その後、これら勾配強度の横方向成分と縦方向成分とを合成して各画素の勾配強度を得る。図１０は、図７の管腔内画像を処理することで得た横方向成分勾配強度画像を示す図であり、図１１は、図７の管腔内画像を処理することで得た縦方向成分勾配強度画像を示す図であり、図１２は、図１０の横方向成分勾配強度画像と図１１の縦方向成分勾配強度画像を合成して得た勾配強度画像を示す図である。なお、ソーベルフィルタに限らず、その他の微分フィルタを適用して微分フィルタ処理を行うこととしてもよい。
【００３９】
以上のようにして勾配強度算出処理を実行したならば、図６に示すように、候補エッジ検出部１７が、輪郭候補エッジ検出処理を実行する（ステップａ９）。また、このステップａ９の輪郭候補エッジ検出処理と並行して、参照範囲設定部１８が、参照範囲設定処理を実行する（ステップａ１１）。輪郭候補エッジ検出処理と参照範囲設定処理を並行して行うことで、処理時間の短縮が図れる。なお、輪郭候補エッジ検出処理と参照範囲設定処理とは必ずしも並行して行う必要はなく、輪郭候補エッジ検出処理の後に参照範囲設定処理を行うこととしてもよい。また、参照範囲設定処理を先に行うこととしてもよい。参照範囲設定処理を先に行う構成については、実施の形態３で後述する。
【００４０】
先ず、ステップａ９の輪郭候補エッジ検出処理について説明する。この輪郭候補エッジ検出処理では、候補エッジ検出部１７は、ステップａ７で算出した各画素の勾配強度をもとに、輪郭エッジ位置の候補となる輪郭候補エッジ位置を検出する。実施の形態１では、候補エッジ検出部１７は、凸位置の画素（尾根）で構成される画素群の位置を輪郭候補エッジ位置として検出する。
【００４１】
処理手順としては、先ず、勾配変化方向検出部１７１が、横方向成分勾配強度画像および縦方向成分勾配強度画像をもとに、次式（１）に従って各画素における勾配の最大変化方向を算出する。ただし、次式（１）において、ｆ´xは横方向成分勾配強度画像を表し、ｆ´yは縦方向成分勾配強度画像を表す。また、（ｘ，ｙ）は、横方向成分勾配強度画像および縦方向成分勾配強度画像における各画素の座標を表す。また、θは、画像の横方向からの角度を表す。
【数１】
【００４２】
次に、勾配変化方向検出部１７１は、算出した最大変化方向をもとに、各画素の勾配変化方向を検出する。画像データは、格子状に配列された画素（座標）にデータ（画素値）が設定されたものであるため、ここでは、上記式（１）で算出した勾配の最大変化方向を、４方向に分類することで各画素の勾配変化方向を検出する。図１３は、勾配の最大変化方向の正接（ｔａｎθ）から勾配変化方向への変換を説明する図である。また、図１４は、分類する４方向の勾配変化方向を示す図である。図１３に示すように、ｔａｎθの値を「−２．４１４２」「−０．４１４２」「０．４１４２」「２．４１４２」の各値で区切り、上記式（１）で勾配の最大変化方向として算出したｔａｎθの値がどの範囲に属するのかによって各画素の勾配変化方向を図１４に示す方向＝０，１，２，３のいずれかに分類する。
【００４３】
その後、凸位置検出部１７２が、各画素の勾配変化方向をもとに、勾配強度の凸位置を検出する。図１５−１は、前段の処理で検出した各画素の勾配変化方向の一例を示す図である。なお、図１５−１では、各画素の勾配変化方向を矢印によって示している。また、図１５−２は、図１５−１に示す画素Ｐ１１〜画素Ｐ１３の勾配の変化を示す図である。そして、図１５−３は、図１５−１の画素Ｐ１１〜画素Ｐ１３の勾配強度の変化を示す図である。
【００４４】
凸位置の検出は、注目画素が、この注目画素と勾配変化方向上で連接する画素に比べて勾配強度の値が最大か否かを判定することで行う。例えば、画素Ｐ１１〜画素Ｐ１３は、図１５−１に示すように、注目画素位置Ｐ１２の勾配変化方向（方向＝３）に沿って連接している。ここで、これら画素Ｐ１１〜画素Ｐ１３の勾配の変化が、例えば図１５−２に示すように、画素Ｐ１２において最も急峻である場合、勾配強度の値は、図１５−３に示すように画素Ｐ１２が最も大きく、その変化が画素Ｐ１２で凸となる。この場合には、画素Ｐ１２を凸位置として検出する。
【００４５】
実際の処理では、各画素を順次注目画素（ｘ，ｙ）とし、注目画素（ｘ，ｙ）の勾配変化方向上で連接する両側の画素との間で勾配強度の値を比較する。そして、注目画素（ｘ，ｙ）の勾配強度が最大の場合に、注目画素（ｘ，ｙ）を凸位置として検出する。
【００４６】
図１６−１は、中央の注目画素の勾配変化方向が方向＝０の場合に勾配強度を比較する画素を説明する図であり、図１６−２は、中央の注目画素の勾配変化方向が方向＝１の場合に勾配強度を比較する画素を説明する図であり、図１６−３は、中央の注目画素の勾配変化方向が方向＝２の場合に勾配強度を比較する画素を説明する図であり、図１６−４は、中央の注目画素の勾配変化方向が方向＝３の場合に勾配強度を比較する画素を説明する図である。ここで、注目画素および勾配強度を比較する両側の画素を識別するため、各図中において該当する各マス目に示すように、注目画素をｂ、両側の画素をそれぞれａ，ｃとする。
【００４７】
例えば、注目画素（ｘ，ｙ）である画素ｂの勾配変化方向が方向＝０の場合には、図１６−１に示すように、方向＝０である水平方向において隣接する両側の画素ａ，ｃとの勾配強度の比較を行う。図１６−２，図１６−３，図１６−４に示す方向＝１，２，３の場合も同様である。詳細には、次式（２），（３）に従い、注目画素（ｘ，ｙ）である画素ｂの勾配強度が画素ａ，ｃよりも大きく最大の場合には、注目画素（ｘ，ｙ）を凸位置とし、Ｌｉｎｅ（ｘ，ｙ）の値を勾配強度の値ｆ´（ｘ，ｙ）とする。一方、画素ｂの勾配強度が最大でなければ、Ｌｉｎｅ（ｘ，ｙ）の値を「０」とする。
【数２】
【００４８】
以上の処理を全ての画素について行い、各画素の画素値をＬｉｎｅ（ｘ，ｙ）の値、すなわち、凸位置の画素値をその勾配強度の値とし、凸位置以外の画素の画素値を「０」とした輪郭候補エッジ画像を得る。図１７は、図１０の横方向成分勾配強度画像、図１１の縦方向成分勾配強度画像、および図１２の勾配強度画像を処理することで得た輪郭候補エッジ画像を示す図である。
【００４９】
次に、図６のステップａ１１の参照範囲設定処理について説明する。この参照範囲設定処理では、参照範囲設定部１８は、ステップａ７で算出した各画素の勾配強度をもとに、輪郭エッジ位置を選択する範囲（参照範囲）を設定する。
【００５０】
処理手順としては、先ず、参照方向指定部１８１が、参照方向を指定する。実施の形態１では、勾配強度の方向成分を算出した横方向および縦方向の２方向を参照方向として指定する。
【００５１】
続いて、参照範囲取得部１８２が、参照方向毎に各画素を上り勾配の領域または下り勾配の領域を含む１以上の領域にセグメンテーション（区画）することで、参照方向のそれぞれについての参照範囲を取得する。実施の形態１では、参照方向である横方向および縦方向のそれぞれについて各画素を１以上の参照範囲に区画する。具体的には、先ず、参照範囲取得部１８２の勾配強度閾値処理部１８３が、次式（４），（５），（６）に従って横方向成分勾配強度画像を閾値処理することで、横方向成分勾配強度画像を、上り勾配の領域、下り勾配の領域、および平坦領域の３つの領域に区画する。
【数３】
【００５２】
続いて、参照範囲取得部１８２が、参照範囲に多少のマージンを与えるために、区画した上り勾配の領域および下り勾配の領域のそれぞれに対して公知のモルフォロジクロージング処理とオープニング処理とを行う。これにより、上り勾配および下り勾配の各領域を拡張し、横方向の参照範囲とする。図１８は、図１０の横方向成分勾配強度画像を処理することで得た横方向の参照範囲区画画像を示す図である。
【００５３】
また、参照範囲取得部１８２は、縦方向成分勾配強度画像をもとに、横方向の場合と同様の手順で各画素を１以上の参照範囲に区画する。すなわち、勾配強度閾値処理部１８３が、次式（７），（８），（９）に従って縦方向成分勾配強度画像を閾値処理することで、縦方向成分勾配強度画像を、上り勾配の領域、下り勾配の領域、および平坦領域の３つの領域に区画する。
【数４】
【００５４】
その後、参照範囲取得部１８２が、区画した上り勾配の領域および下り勾配の領域のそれぞれに対してモルフォロジクロージング処理とオープニング処理とを行い、上り勾配および下り勾配の各領域を拡張して縦方向の参照範囲とする。図１９は、図１１の縦方向成分勾配強度画像を処理することで得た縦方向の参照範囲区画画像を示す図である。
【００５５】
以上のようにして参照範囲設定処理を行うことで、後段の処理において１つの輪郭エッジ位置を選択する範囲（参照範囲）を各画素の勾配強度に応じて適応的に設定することができる。したがって、後段の処理において、勾配毎（上り勾配および下り勾配の各領域毎）に輪郭候補エッジ位置の中から過不足なく１つの輪郭エッジ位置を選択することができるので、輪郭エッジ位置の検出精度が向上する。
【００５６】
続いて、図６に示すように、輪郭エッジ選択部１９のエッジ特性取得部１９１がエッジ特性取得処理を実行し、ステップａ９で検出した各輪郭候補エッジ位置についてエッジ特性を取得する（ステップａ１３）。図２０（ａ）は、輪郭候補エッジ画像の一例を示す模式図であり、図２０（ａ）中において３本の輪郭候補エッジ線ＥＬ２１，ＥＬ２２，ＥＬ２３を示している。また、図２０（ｂ）は、横軸を図２０（ａ）中の輪郭候補エッジ線ＥＬ２２上の座標（ｘ，ｙ）とし、縦軸を該当する各画素の勾配強度の値として図２０（ａ）中の輪郭候補エッジ線ＥＬ２２上の勾配強度の変化曲線を示したものである。図２０（ｂ）に示すように、輪郭候補エッジ線ＥＬ２２上では、図２０（ａ）中の輪郭候補エッジ位置Ｐ２の勾配強度の値が最も大きい。実施の形態１では、この勾配強度の最大値を輪郭候補エッジ線ＥＬ２２についてのエッジ特性とし、図２０（ａ）中に一点鎖線の矢印で示すように、輪郭候補エッジ位置Ｐ２の勾配強度の値で輪郭候補エッジ線ＥＬ２２上の全ての輪郭候補エッジ位置の勾配強度の値を置換する。なお、ここでは、輪郭候補エッジ線ＥＬ２２に着目して説明したが、輪郭候補エッジ線ＥＬ２１，ＥＬ２３についても同様にエッジ特性を取得する。
【００５７】
以上の処理を全ての輪郭候補エッジ線について行い、各輪郭候補エッジ位置の画素値をその輪郭候補エッジ位置を含む輪郭候補エッジ線について取得したエッジ特性の値（その輪郭候補エッジ線上の輪郭候補エッジ位置における勾配強度の最大値）とする。そして、輪郭候補エッジ線上の輪郭候補エッジ位置における勾配強度の最大値が所定の閾値以上である場合には、その輪郭候補エッジ線上の全ての輪郭候補エッジ位置の勾配強度の値をその最大値に置換する。一方、所定の閾値以下となる場合には、その輪郭候補エッジ線上の全ての輪郭候補エッジ位置の勾配強度の値を０に置換し、輪郭候補エッジから除外する。これにより、エッジ特性画像を得る。図２１は、図１２の勾配強度画像を処理することで得たエッジ特性画像を示す図である。
【００５８】
後段の方向成分輪郭エッジ選択処理（ステップａ１５）では、参照範囲毎に輪郭候補エッジ位置の中から輪郭エッジ位置を選択する。このとき、各参照範囲内の輪郭候補エッジ位置のうち、その輪郭候補エッジ位置を含む輪郭候補エッジ線上の輪郭候補エッジ位置における勾配強度の最大値（すなわちエッジ特性）が最も大きい輪郭候補エッジ位置を輪郭エッジ位置として選択する。この方向成分輪郭エッジ選択処理に先立ってエッジ特性取得処理を行い、各輪郭候補エッジ位置にエッジ特性として与えておけば、方向成分輪郭エッジ選択処理において参照範囲が変わる度にエッジ特性の取得を繰り返し行う必要がなく、処理時間の短縮が図れる。
【００５９】
なお、ここでは、輪郭候補エッジ線上の輪郭候補エッジ位置における勾配強度の最大値をエッジ特性とすることとしたが、これに限定されるものではない。例えば、輪郭候補エッジ線上の輪郭候補エッジ位置における勾配強度の平均値をエッジ特性としてもよい。上記のように勾配強度の最大値をエッジ特性とする場合、輪郭候補エッジ線全体として勾配強度が大きいもののエッジ特性よりも、ノイズ等に起因して輪郭候補エッジ線上のいくつかの輪郭候補エッジ位置の勾配強度の値が大きくなっているもののエッジ特性の方が大きくなる事態が生じ得る。これに対し、勾配強度の平均値をエッジ特性とすれば、輪郭候補エッジ線上の輪郭候補エッジ位置の平均的な勾配強度をエッジ特性とすることができるので、ノイズの影響を低減でき、エッジ特性をより適切な値とすることができる。この他、輪郭候補エッジ線の長さや、輪郭候補エッジ線の滑らかさ等の値をエッジ特性として取得するようにしてもよい。
【００６０】
続いて、図６に示すように、エッジ特性比較部１９２の方向成分輪郭エッジ選択部１９３が、方向成分輪郭エッジ選択処理を実行する（ステップａ１５）。この輪郭エッジ選択処理では、ステップａ１１で設定した参照範囲毎に輪郭候補エッジ位置の中から輪郭エッジ位置を選択する処理を参照方向毎に行う。図２２は、輪郭エッジ位置の選択原理を説明する図である。ここで、図２２において、一点鎖線で囲った領域が区画された１つの参照範囲Ｅ３（上り勾配の領域または下り勾配の領域）であったとする。この参照範囲Ｅ３には、４本の輪郭候補エッジ線ＥＬ３１〜ＥＬ３４を構成する輪郭候補エッジ位置の一部または全域が含まれている。ここで、これら４本の輪郭候補エッジ線ＥＬ３１〜ＥＬ３４のうち、輪郭候補エッジ線ＥＬ３２についてのエッジ特性が最も大きかったとする。この場合には、参照範囲Ｅ３内に含まれる輪郭候補エッジ線ＥＬ３２上の輪郭候補エッジ位置を参照範囲Ｅ３における輪郭エッジ位置として選択する。
【００６１】
処理手順としては、先ず、参照方向の１つである横方向の参照範囲区画画像をもとに、エッジ特性画像から横方向成分輪郭エッジ位置を選択する。具体的には、エッジ特性画像を横方向の参照範囲毎に参照し、各参照範囲から輪郭候補エッジ位置を１つ選択する処理を横方向（ｙ方向）のライン毎に行うことで横方向成分輪郭エッジ位置を得る。
【００６２】
図２３は、横方向成分輪郭エッジ位置の選択原理を説明する図であり、ｙ行目の各画素のエッジ特性の値を示している。エッジ特性画像のｙ行目に着目した場合、先ず、図２３中に破線で区切って示したｙ行目における参照範囲の区画位置に従って、上り勾配の参照範囲内の輪郭候補エッジ位置および下り勾配の参照範囲内の輪郭候補エッジ位置に対してフラグ番号を付与する。このとき、隣接する輪郭候補エッジ位置は１つの輪郭候補エッジ位置とみなし、図２３中のフラグ番号「４」のように１つのフラグ番号を付与する。なお、ここでの処理は、管腔内画像の輪郭エッジを検出するための処理であり、平坦の領域に対応する参照範囲については処理しない。
【００６３】
続いて、１つの勾配（参照範囲）から検出されるエッジ位置は勾配による輝度変化（勾配強度）が最も大きい位置であるとして、エッジ特性の最大値を持つ輪郭候補エッジ位置を選択する。すなわち、先ず、上り勾配の参照範囲および下り勾配の参照範囲を順次選択対象とし、選択対象の参照範囲内においてフラグ番号毎にエッジ特性を比較する。そして、エッジ特性の値が最大であるフラグ番号の輪郭候補エッジ位置を選択対象の参照範囲における横方向成分輪郭エッジ位置として選択する。例えば、下り勾配の参照範囲Ｅ４１では、フラグ番号「１」が付与された輪郭候補エッジ位置を横方向成分輪郭エッジ位置として選択する。また、このとき、選択対象の参照範囲内にエッジ特性の値が最大のものが複数含まれる場合には、その参照範囲が上り勾配の参照範囲なのか下り勾配の参照範囲なのかに応じていずれか一方を選択する。具体的には、１つの参照範囲内にエッジ特性の最大値が複数ある場合は、勾配によって輝度値が立ち上がる位置とみなし、エッジ特性が最大値である複数の輪郭候補エッジ位置のうち、右方向に向かって上り勾配の参照範囲では一番左側の輪郭候補エッジ位置を、下りの勾配では一番右側の輪郭候補エッジ位置を選択する。例えば、上り勾配の参照範囲Ｅ４２では前者（図２３に向かって左側のフラグ番号「５」が付与された輪郭候補エッジ位置）を選択し、下り勾配の参照範囲Ｅ４３では後者（図２３に向かって右側のフラグ番号「９」が付与された輪郭候補エッジ位置）を選択する。なお、１つの参照範囲内にエッジ特性の最大値が複数ある場合にいずれを選択するのかは前述の手法に限定されるものではない。例えば、輪郭候補エッジが長いほどその輪郭候補エッジの輪郭エッジとしての信頼度が高いとし、輪郭候補エッジのエッジ長が長い方の輪郭エッジ候補位置を選択するようにしてもよい。
【００６４】
以上の処理をｙ方向の全てのラインについて行い、横方向成分輪郭エッジ位置とした画素の画素値を例えば「１」、それ以外の画素の画素値を「０」とした横方向成分輪郭エッジ画像を得る。図２４は、図１８の横方向の参照範囲区画画像を参照しながら図２１のエッジ特性画像を処理することで得た横方向成分輪郭エッジ画像を示す図である。
【００６５】
続いて、縦方向の参照範囲区画画像をもとに、エッジ特性画像から縦方向成分輪郭エッジ位置を選択する。具体的には、横方向の場合と同様に、エッジ特性画像を縦方向の参照範囲毎に参照し、各参照範囲から輪郭候補エッジ位置を１つ選択する処理を縦方向（ｘ方向）のライン毎に行うことで縦方向成分輪郭エッジ位置を得る。そして、縦方向成分輪郭エッジ位置とした画素の画素値を「１」、それ以外の画素の画素値を「０」とした縦方向成分輪郭エッジ画像を得る。図２５は、図１９の縦方向の参照範囲区画画像を参照しながら図２１のエッジ特性画像を処理することで得た縦方向成分輪郭エッジ画像を示す図である。
【００６６】
なお、ここでは、参照範囲内でエッジ特性が最も大きい輪郭候補エッジ位置を輪郭エッジ位置として選択することとした。これに対し、参照範囲内に含まれる輪郭候補エッジ線のうち、その参照範囲内での長さが最も長い輪郭候補エッジ線上の輪郭候補エッジ位置を輪郭エッジ位置として選択することとしてもよい。具体的には、選択対象の参照範囲内に含まれる各輪郭候補エッジ線上の画素数（輪郭候補エッジ位置の数）をそれぞれ計数し、計数した画素数が最も多い輪郭候補エッジ線上の輪郭候補エッジ位置を選択対象の参照範囲における輪郭エッジ位置として選択するようにしてもよい。例えば、図２２の例では、参照範囲Ｅ３内において輪郭候補エッジ線ＥＬ３２が最長であり、参照範囲Ｅ３内に含まれる輪郭候補エッジ線ＥＬ３２上の輪郭候補エッジ位置を参照範囲Ｅ３における輪郭エッジ位置として選択する。
【００６７】
あるいは、参照範囲内に含まれる輪郭候補エッジ線のうち、最も滑らかな輪郭候補エッジ線上の輪郭候補エッジ位置を輪郭エッジ位置として選択することとしてもよい。具体的には、輪郭候補エッジ線上に所定数の点を端から等間隔に設定する。続いて、設定した各点それぞれについて、左右に隣接する点へと向かうベクトルの外積の絶対値を算出する。そして、各点について算出した外積の絶対値の分散値を算出する。以上の処理を、参照範囲内に含まれる各輪郭候補エッジ線について行い、得られた分散値を比較する。そして、分散が最も小さい輪郭候補エッジ線を最も滑らかな輪郭候補エッジ線とし、この最も滑らかな輪郭候補エッジ線上の輪郭候補エッジ位置を輪郭エッジ位置として選択する。
【００６８】
続いて、図６に示すように、方向成分輪郭エッジ統合部１９４が、方向成分輪郭エッジ統合処理を実行する（ステップａ１７）。この方向成分輪郭エッジ統合処理では、方向成分輪郭エッジ統合部１９４は、横方向成分輪郭エッジ位置および縦方向成分輪郭エッジ位置から信頼性の高いものを選んで統合し、輪郭エッジ画像を得る。
【００６９】
処理手順としては、方向成分輪郭エッジ統合部１９４は、横方向成分輪郭エッジ画像および縦方向成分輪郭エッジ画像を画素毎に参照し、双方の画像において「１」が設定されている画素（横方向成分輪郭エッジ位置として選択されており、且つ縦方向成分輪郭エッジ位置として選択されている画素）は信頼性が高いため、輪郭エッジ位置として選択する。実際の処理では、次式（１０），（１１）に従い、横方向成分輪郭エッジ画像の画素値ｅｄｇｅＡ（ｘ，ｙ）および縦方向成分輪郭エッジ画像の画素値ｅｄｇｅＢ（ｘ，ｙ）の双方が「１」である画素について、輪郭エッジ画像の該当する画素の画素値Ｅｄｇｅ（ｘ，ｙ）を「１」とする。一方、いずれか一方が「１」の画素または双方が「０」の画素については、該当する画素の画素値Ｅｄｇｅ（ｘ，ｙ）を「０」とする。
【数５】
【００７０】
また、上記したように、実施の形態１では、輪郭エッジ位置を得るために、峰続きの輝度値形状を横切る方向を参照方向として設定し、この参照方向において勾配強度が最大となる輪郭候補エッジ位置として検出している。ここで、勾配強度は峰続きの輝度値形状をとり、輪郭エッジ位置は峰続きの尾根位置にあたる。峰続きの輝度値形状を横切る方向は、尾根の方向に対してほとんどが垂直であるが、尾根方向に対して平行に近い場合、尾根が蛇行すると参照範囲に同じ輪郭候補エッジが複数回入るため、エッジの一部を消す可能性が生じる。このため、参照方向が横方向で、輪郭エッジが横方向の場合、信頼性が低いと考えられる。参照方向が縦方向で、輪郭エッジが縦方向の場合も同様に、信頼性が低いと考えられる。
【００７１】
すなわち、横方向成分輪郭エッジ画像中の縦成分エッジについては信頼性があると考えられる。そこで、方向成分輪郭エッジ統合部１９４は、横方向成分輪郭エッジ画像の各画素の画素値ｅｄｇｅＡ（ｘ，ｙ）を順次参照し、次式（１２），（１３）に従い縦成分エッジの位置を輪郭エッジ位置として、その輪郭エッジ画像における画素値Ｅｄｇｅ（ｘ，ｙ）を「１」とする。
【数６】
【００７２】
同様に、縦方向成分輪郭エッジ画像中の横方向エッジについても、信頼性があると考えられる。そこで、方向成分輪郭エッジ統合部１９４は、縦方向成分輪郭エッジ画像の各画素の画素値ｅｄｇｅＢ（ｘ，ｙ）を順次参照し、次式（１４），（１５）に従い横方向エッジの位置を輪郭エッジ位置として、その輪郭エッジ画像における画素値Ｅｄｇｅ（ｘ，ｙ）を「１」とする。
【数７】
【００７３】
そして、演算部１５は、輪郭エッジ画像出力処理を実行し、ステップａ１７の方向成分輪郭エッジ統合処理の結果得られた輪郭エッジ画像を例えば記録部１４に出力して保存する（ステップａ１９）。図２６は、図６のステップａ１７で図２４の横方向成分輪郭エッジ画像および図２５の縦方向成分輪郭エッジ画像を処理し、図６のステップａ１９で出力される輪郭エッジ画像を示す図である。
【００７４】
管腔内画像に映る粘膜構造のような弾性体の輪郭部分には、全体として１つの勾配の途中に緩やかな勾配が存在するような箇所が存在する。このような箇所では、勾配強度の分布のピーク位置が２つ以上に分かれるため、単に勾配強度の分布のピーク位置（凸位置検出部１７２が検出する勾配強度の凸位置）をエッジ位置として検出する従来の手法では、輪郭付近で複数のエッジ線が検出されてしまう。これに対し、実施の形態１では、管腔内画像の各画素の勾配強度をもとに、輪郭候補エッジ位置を検出することとした。また、勾配強度をもとに各画素を上り勾配の領域および下り勾配の領域を含む複数の領域に区画して参照範囲を設定し、これら上り勾配および下り勾配の参照範囲毎に輪郭候補エッジ位置を選択して輪郭エッジ位置とすることとした。これによれば、輪郭部分において勾配強度のピーク位置が２つ以上存在する場合であっても、これらの中からエッジ特性の大きい方（勾配強度の最大値が大きい方）を粘膜構造の輪郭エッジとして検出することができる。したがって、管腔内画像から粘膜構造の輪郭エッジを精度良く検出することができる。
【００７５】
（実施の形態２）
先ず、実施の形態２の画像処理装置の構成について説明する。図２７は、実施の形態２の画像処理装置１ａの機能構成例を説明するブロック図である。また、図２８は、演算部１５ａを構成する候補エッジ検出部１７ａの構成例を説明するブロック図であり、図２９は、参照範囲設定部１８ａの構成例を説明するブロック図であり、図３０は、輪郭エッジ選択部１９ａの構成例を説明するブロック図である。なお、実施の形態１で説明した構成と同一の構成については、同一の符号を付する。図２７に示すように、実施の形態２の画像処理装置１ａは、外部Ｉ／Ｆ部１１と、操作部１２と、表示部１３と、記録部１４ａと、演算部１５ａと、画像処理装置１ａ全体の動作を制御する制御部２０とを備える。
【００７６】
記録部１４ａには、実施の形態２の処理を実現して管腔内画像から輪郭エッジ（粘膜構造の輪郭エッジ）を検出するための画像処理プログラム１４１ａが記録される。
【００７７】
また、演算部１５ａは、勾配強度算出部１６と、候補エッジ検出部１７ａと、参照範囲設定部１８ａと、輪郭エッジ選択部１９ａとを含む。ここで、勾配強度算出部１６、候補エッジ検出部１７ａおよび輪郭エッジ選択部１９ａはこの順に接続され、勾配強度算出部１６は参照範囲設定部１８ａに接続され、候補エッジ検出部１７ａは参照範囲設定部１８ａに接続され、参照範囲設定部１８ａは輪郭エッジ選択部１９ａに接続されている。
【００７８】
候補エッジ検出部１７ａは、各画素の勾配強度をもとに、輪郭候補エッジ位置を検出する。この候補エッジ検出部１７ａは、図２８に示すように、候補エッジ線検出手段としての候補エッジ線検出部１７３ａと、閾値処理手段としての閾値処理部１７５ａとを備える。ここで、候補エッジ線検出部１７３ａは、閾値処理部１７５ａに接続されている。
【００７９】
候補エッジ線検出部１７３ａは、勾配強度算出部１６から入力される各画素の勾配強度をもとに、エッジ線を検出する。この候補エッジ線検出部１７３ａは、細線化手段としての細線化部１７４ａを備える。実施の形態２では、この細線化部１７４ａが、各画素の勾配強度をもとに、細線化したエッジ線を検出する。ここで、細線化したエッジ線とは、幅が１画素のエッジ線のことをいう。検出したエッジ線（細線化したエッジ線）は、閾値処理部１７５ａに出力される。閾値処理部１７５ａは、入力されるエッジ線上の画素の勾配強度を閾値処理し、勾配強度の値が予め設定される閾値以上であるエッジ線上の画素を検出する。例えば、閾値処理部１７５ａは、公知のヒステリシス（hysteresis）閾値処理を行う。以上のように構成される候補エッジ検出部１７ａは、閾値処理部１７５ａが検出した勾配強度の大きいエッジ線上の画素を輪郭候補エッジ位置とし、参照範囲設定部１８ａおよび輪郭エッジ選択部１９ａに出力する。
【００８０】
参照範囲設定部１８ａは、輪郭エッジ選択部１９ａが輪郭候補エッジ位置の中から輪郭エッジ位置を選択する際に参照する参照範囲を設定する。この参照範囲設定部１８ａは、図２９に示すように、参照方向指定部１８１ａと、参照範囲取得部１８２ａとを備える。ここで、参照方向指定部１８１ａは、参照範囲取得部１８２ａに接続されている。
【００８１】
参照方向指定部１８１ａは、参照範囲を設定する方向（参照方向）を指定する。この参照方向指定部１８１ａは、参照方向算出手段としての参照方向算出部１８４ａを備える。参照方向算出部１８４ａは、勾配強度算出部１６から入力される各画素の勾配強度、および候補エッジ検出部１７ａから入力される輪郭候補エッジ位置をもとに、輪郭候補エッジ位置毎にその輪郭候補エッジ線の法線方向を算出し、該当する輪郭候補エッジ位置における参照方向とする。算出した各輪郭候補エッジ位置の参照方向は、参照範囲取得部１８２ａに出力される。
【００８２】
参照範囲取得部１８２ａは、勾配強度閾値処理部１８３ａを備え、参照範囲取得部１８２ａ入力される各輪郭候補エッジ位置の参照方向および候補エッジ検出部１７ａから入力される各画素の勾配強度をもとに、各輪郭候補エッジ位置についてその参照方向に沿った参照範囲を取得する。以上のように構成される参照範囲設定部１８ａは、各輪郭候補エッジ位置の参照範囲を輪郭エッジ選択部１９ａに出力する。
【００８３】
輪郭エッジ選択部１９ａは、輪郭候補エッジ位置の中から輪郭エッジ位置を選択する。この輪郭エッジ選択部１９ａは、図３０に示すように、エッジ特性取得部１９１と、エッジ特性比較部１９２ａとを備える。ここで、エッジ特性取得部１９１は、エッジ特性比較部１９２ａに接続されている。
【００８４】
エッジ特性比較部１９２ａは、参照範囲設定部１８ａから入力される各輪郭候補エッジ位置の参照範囲と、候補エッジ検出部１７ａから入力される輪郭候補エッジ位置をもとにエッジ特性取得部１９１が取得した各輪郭候補エッジ位置のエッジ特性とをもとに、各輪郭候補エッジ位置の参照範囲のそれぞれから輪郭エッジ位置を選択する。
【００８５】
図３１は、実施の形態２の画像処理装置１ａが行う処理手順を示す全体フローチャートである。なお、ここで説明する処理は、記録部１４ａに記録された画像処理プログラム１４１ａに従って画像処理装置１ａの各部が動作することによって実現される。なお、図３１において、実施の形態１と同一の処理工程には、同一の符号を付する。
【００８６】
図３１に示すように、実施の形態２では、ステップａ７において勾配強度算出部１６の微分処理部１６３（図２を参照）が勾配強度算出処理を実行し、各画素の符号付きの勾配強度を算出した後、候補エッジ検出部１７ａが、輪郭候補エッジ検出処理を実行する（ステップｂ９）。
【００８７】
この輪郭候補エッジ検出処理では、先ず、候補エッジ線検出部１７３ａの細線化部１７４ａが、実施の形態１と同様の手順で、各画素の勾配強度をもとに、輪郭エッジ位置の候補となる輪郭候補エッジ位置を検出する。具体的には、各画素における勾配の最大変化方向を算出し、算出した最大変化方向をもとに、各画素の勾配変化方向を検出する。その後、各画素の勾配変化方向をもとに勾配強度の凸位置を検出することで、細線化したエッジ線（幅が１画素分のエッジ線）を得る。
【００８８】
その後、検出したエッジ線上の画素の中から勾配強度の値が小さい画素を除外することで、輪郭候補エッジ位置を絞り込む。具体的には、閾値処理部１７５ａが、ヒステリシス閾値処理を行って勾配強度の値が予め設定される閾値以上であるエッジ線上の画素を検出し、最終的な輪郭候補エッジ位置を得る。
【００８９】
図３２（ａ）は、前段の処理で検出したエッジ線の一例を示す模式図であり、３本のエッジ線ＥＬ５１，ＥＬ５２，ＥＬ５３を示している。また、図３２（ｂ）および図３２（ｃ）は、横軸を図３２（ａ）中のエッジ線ＥＬ５２上の座標（ｘ，ｙ）とし、縦軸を該当する各画素の勾配強度の値として図３２（ａ）中のエッジ線ＥＬ５２上の勾配強度の変化曲線を示したものである。閾値処理部１７５ａは、先ず、図３２（ｂ）中に示す第１の閾値を用いてエッジ線ＥＬ５２上の勾配強度を閾値処理することで、勾配強度が閾値以上である範囲、具体的には、図３２（ａ）に示すエッジ線ＥＬ５２上の画素Ｐ５３〜画素Ｐ５４の範囲を輪郭候補エッジ位置として検出する。続いて、閾値処理部１７５ａは、図３２（ｃ）中に示す第１の閾値よりも値の小さい第２の閾値を用いてエッジ線ＥＬ５２上の勾配強度を閾値処理し、勾配強度が第２の閾値以上である画素のうち、第１の閾値を用いた閾値処理で検出した範囲の端点である画素Ｐ５３，Ｐ５４と途切れずに連続しているエッジ線ＥＬ５２上の画素、具体的には画素Ｐ５１〜画素Ｐ５３および画素Ｐ５４〜画素Ｐ５５の範囲を輪郭候補エッジ位置としてさらに検出する。エッジ線ＥＬ５２上の画素Ｐ５５〜画素Ｐ５１の範囲については、輪郭候補エッジ位置として検出しない。また、輪郭候補エッジ線ＥＬ５１，ＥＬ５３についても同様に、輪郭候補エッジ位置を絞り込む。
【００９０】
なお、実施の形態２において、図３１に示すステップａ３〜ステップｂ９の処理を具体的に実現するアルゴリズムとしては、既に公知のケニーのエッジ検出アルゴリズム（参考：非特許文献１またはＣＧ−ＡＲＴＳ協会，ディジタル画像処理，２０９Ｐ−輪郭線検出）を用いることができる。
【００９１】
続いて、参照範囲設定部１８ａが参照範囲設定処理を実行し、ステップａ７で算出した各画素の勾配強度をもとに、輪郭候補エッジ位置毎に参照範囲を設定する（ステップｂ１１）。図３３は、実施の形態２における参照範囲の設定原理を説明する図であり、２本の輪郭候補エッジ線ＥＬ６１，ＥＬ６２を示している。ここで、例えば、輪郭候補エッジ線ＥＬ６１上の輪郭候補エッジ位置Ｐ６に着目すると、輪郭候補エッジ線ＥＬ６１の輪郭候補エッジ位置Ｐ６における図３３中に破線で示す法線方向上に存在する画素のうち、勾配の方向が輪郭候補エッジ位置Ｐ６と同じである画素の範囲（例えば画素Ｐ６１〜画素Ｐ６２の範囲）を輪郭候補エッジ位置Ｐ６の参照範囲とする。
【００９２】
実際の処理手順としては、先ず、参照方向指定部１８１ａの参照方向算出部１８４ａが、各輪郭候補エッジ位置を順次処理対象とし、処理対象の輪郭候補エッジ位置が属する輪郭候補エッジ線の処理対象の輪郭候補エッジ位置における法線方向を参照方向として算出する。法線方向の算出方法は特に限定されるものではないが、例えば、実施の形態１において勾配変化方向検出部１７１が行う処理として説明した手順と同様にその勾配の最大変化方向を算出し、勾配変化方向を検出することで実現できる。なお、この場合には、前段のステップｂ９で輪郭候補エッジ位置を検出する際に検出した各画素の勾配変化方向を記録部１４ａに保存しておき、処理対象の輪郭候補エッジ位置における勾配変化方向を読み出すようにしてもよい。
【００９３】
その後、参照範囲取得部１８２ａが、輪郭候補エッジ位置を順次処理対象とし、その参照方向上に存在する各画素を実施の形態１と同様の要領でセグメンテーション（区画）する。具体的には、参照範囲取得部１８２ａにおいて勾配強度閾値処理部１８３ａが、処理対象とする輪郭候補エッジ位置の参照方向上に存在する各画素の勾配強度を閾値処理することで、参照方向上の各画素を上り勾配の範囲、下り勾配の範囲、および平坦領域の３つの範囲に区画する。そして、区画した各範囲のうち、処理対象の輪郭候補エッジ位置を含む範囲をその参照範囲とする。
【００９４】
以上のようにして参照範囲設定処理を行い、各輪郭候補エッジ位置について参照方向を算出し、参照範囲を設定することで、輪郭候補エッジ位置の勾配変化方向に沿った参照方向上で輪郭候補エッジ位置を含む上り勾配または下り勾配の範囲を参照範囲として設定することができる。これによれば、後段の処理において、輪郭候補エッジ位置を含む勾配毎に１つの輪郭エッジ位置を選択することができるので、輪郭エッジの検出精度が向上する。
【００９５】
続いて、図３１に示すように、輪郭エッジ選択部１９ａのエッジ特性取得部１９１がエッジ特性取得処理を実行し、ステップｂ９で検出した各輪郭候補エッジ位置についてエッジ特性を取得する（ステップｂ１３）。このエッジ特性取得処理は、実施の形態１で説明した図６のステップａ１３と同様の手順で行う。
【００９６】
続いて、エッジ特性比較部１９２ａが輪郭エッジ選択処理を実行し、ステップｂ１１で輪郭候補エッジ位置毎に設定した各参照範囲から輪郭エッジ位置を１つずつ選択する（ステップｂ１５）。
【００９７】
図３４は、実施の形態２における輪郭エッジ位置の選択原理を１つの輪郭候補エッジ位置に着目して説明する図であり、横軸を着目する輪郭候補エッジ位置の参照方向上の座標とし、縦軸を着目する輪郭候補エッジ位置の参照範囲内のエッジ特性として参照範囲内の各画素のエッジ特性の値を示している。実施の形態２では、図３４に示すように、この参照範囲内の輪郭候補エッジ位置に対してフラグ番号を付与する。そして、フラグ番号毎にエッジ特性を比較し、エッジ特性の値が最大であるフラグ番号（例えば図３４の例ではフラグ番号「２」）の輪郭候補エッジ位置を、処理対象の輪郭候補エッジ位置について設定した参照範囲における輪郭エッジ位置として選択する。このとき、参照範囲内にエッジ特性の値が最大のものが複数含まれる場合には、実施の形態１と同様に、上り勾配の参照範囲では前者（図３４に向かって左側）、下り勾配の参照範囲では後者（図３４に向かって右側）を選択する。
【００９８】
以上の処理を全ての輪郭候補エッジ位置について行い、輪郭エッジ位置とした画素の画素値を例えば「１」、それ以外の画素の画素値を「０」とした輪郭エッジ画像を得る。その後、演算部１５ａは、実施の形態１と同様に輪郭エッジ画像出力処理を実行し、ステップｂ１５の輪郭エッジ選択処理の結果得られた輪郭エッジ画像を例えば記録部１４ａに出力して保存する（ステップｂ１９）。
【００９９】
以上説明したように、実施の形態２では、輪郭候補エッジ位置毎に各輪郭候補エッジ位置における輪郭候補エッジ線の法線方向を参照方向として算出し、算出した参照方向上の輪郭候補エッジ位置を含む勾配の範囲を参照範囲として設定することとした。そして、輪郭候補エッジ毎の参照範囲のそれぞれから１つの輪郭候補エッジ位置を選択して輪郭エッジ位置とした。これによれば、輪郭候補エッジ位置毎に設定した参照範囲、すなわち、該当する輪郭候補エッジ位置における輪郭候補エッジ線の法線方向である参照方向に沿った勾配の範囲であって、該当する輪郭候補エッジ位置を含む勾配の範囲から１つの輪郭エッジ位置を選択することができる。したがって、実施の形態１と同様の効果を奏することができ、管腔内画像から粘膜構造の輪郭エッジを精度良く検出することができる。
【０１００】
（実施の形態３）
先ず、実施の形態３の画像処理装置の構成について説明する。図３５は、実施の形態３の画像処理装置１ｂの機能構成例を説明するブロック図である。なお、実施の形態１で説明した構成と同一の構成については、同一の符号を付する。図３５に示すように、実施の形態３の画像処理装置１ｂは、外部Ｉ／Ｆ部１１と、操作部１２と、表示部１３と、記録部１４ｂと、演算部１５ｂと、画像処理装置１ｂ全体の動作を制御する制御部２０とを備える。
【０１０１】
記録部１４ｂには、実施の形態３の処理を実現して管腔内画像から輪郭エッジ（粘膜構造の輪郭エッジ）を検出するための画像処理プログラム１４１ｂが記録される。
【０１０２】
また、演算部１５ｂは、実施の形態１で説明した勾配強度算出部１６と、候補エッジ検出部１７と、参照範囲設定部１８と、輪郭エッジ選択部１９とを含む。そして、これらの各部は、勾配強度算出部１６、参照範囲設定部１８、候補エッジ検出部１７、輪郭エッジ選択部１９の順に接続される。すなわち、実施の形態３は、勾配強度算出部１６が参照範囲設定部１８に接続され、参照範囲設定部１８が候補エッジ検出部１７に接続される点が実施の形態１と異なる。そして、勾配強度算出部１６は、管腔内画像を処理して各画素の勾配強度を算出し、参照範囲設定部１８に出力する。参照範囲設定部１８は、参照方向毎の参照範囲を設定して候補エッジ検出部１７に出力する。候補エッジ検出部１７は、輪郭候補エッジ位置を検出して輪郭エッジ選択部１９に出力する。輪郭エッジ選択部１９は、輪郭候補エッジ位置から輪郭エッジ位置を選択し、例えば記録部１４に出力して保存する。
【０１０３】
図３６は、実施の形態３の画像処理装置１ｂが行う処理手順を示す全体フローチャートである。なお、ここで説明する処理は、記録部１４ｂに記録された画像処理プログラム１４１ｂに従って画像処理装置１ｂの各部が動作することによって実現される。なお、図３６において、実施の形態１と同一の処理工程には、同一の符号を付する。
【０１０４】
図３６に示すように、実施の形態３では、ステップａ７において勾配強度算出部１６の微分処理部１６３（図２を参照）が勾配強度算出処理を実行し、各画素の符号付きの勾配強度を算出した後、参照範囲設定部１８が参照範囲設定処理を実行する（ステップｃ９）。この参照範囲設定処理は、実施の形態１で説明した図６のステップａ１１と同様の手順で行う。
【０１０５】
続いて、候補エッジ検出部１７が輪郭候補エッジ検出処理を実行し、ステップａ７で算出した各画素の勾配強度をもとに輪郭候補エッジ位置を検出する（ステップｃ１１）。処理の手順自体は、実施の形態１で説明した図６のステップａ９と同様である。ただし、実施の形態３では、ステップｃ９で参照範囲設定部１８が区画した上り勾配の領域に対応する各参照範囲および下り勾配の領域に対応する各参照範囲から輪郭候補エッジ位置を検出し、平坦領域については輪郭候補エッジ位置の検出を行わない。平坦領域からは輪郭エッジ位置を検出する必要がないためである。具体的には、候補エッジ検出部１７は、横方向の参照範囲区画画像および縦方向の参照範囲区画画像を参照しながら、横方向成分勾配強度画像の上り勾配および下り勾配の領域に対応する各参照範囲内の画素、および縦方向成分勾配強度画像の上り勾配および下り勾配の領域に対応する各参照範囲内の画素の勾配強度をもとに、輪郭候補エッジ位置を検出する。その後、ステップａ１３に移行する。
【０１０６】
以上説明したように、実施の形態３によれば、実施の形態１と同様の効果を奏することができるとともに、平坦領域は対象とせずに、上り勾配の領域および下り勾配の領域のみを対象として輪郭候補エッジ位置を検出することができるので、実施の形態１のように全ての画素を対象として輪郭候補エッジ位置を検出する場合と比較して処理時間の短縮が図れる。
【０１０７】
なお、上記した実施の形態１の画像処理装置１、実施の形態２の画像処理装置１ａ、実施の形態３の画像処理装置１ｂは、予め用意されたプログラムをパソコンやワークステーション等のコンピュータシステムで実行することによって実現することができる。以下、各実施の形態１〜３で説明した画像処理装置１，１ａ，１ｂと同様の機能を有し、画像処理プログラム１４１，１４１ａ，１４１ｂを実行するコンピュータシステムについて説明する。
【０１０８】
図３７は、本変形例におけるコンピューターシステム４００の構成を示すシステム構成図であり、図３８は、このコンピューターシステム４００を構成する本体部４１０の構成を示すブロック図である。図３７に示すように、コンピューターシステム４００は、本体部４１０と、本体部４１０からの指示によって表示画面４２１に画像等の情報を表示するためのディスプレイ４２０と、このコンピューターシステム４００に種々の情報を入力するためのキーボード４３０と、ディスプレイ４２０の表示画面４２１上の任意の位置を指定するためのマウス４４０とを備える。
【０１０９】
また、このコンピューターシステム４００における本体部４１０は、図３７および図３８に示すように、ＣＰＵ４１１と、ＲＡＭ４１２と、ＲＯＭ４１３と、ハードディスクドライブ（ＨＤＤ）４１４と、ＣＤ−ＲＯＭ４６０を受け入れるＣＤ−ＲＯＭドライブ４１５と、ＵＳＢメモリ４７０を着脱可能に接続するＵＳＢポート４１６と、ディスプレイ４２０、キーボード４３０およびマウス４４０を接続するＩ／Ｏインターフェース４１７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ１に接続するためのＬＡＮインターフェース４１８とを備える。
【０１１０】
さらに、このコンピューターシステム４００には、インターネット等の公衆回線Ｎ３に接続するためのモデム４５０が接続されるとともに、ＬＡＮインターフェース４１８およびローカルエリアネットワークまたは広域エリアネットワークＮ１を介して、他のコンピューターシステムであるパソコン（ＰＣ）４８１、サーバ４８２、プリンタ４８３等が接続される。
【０１１１】
そして、このコンピューターシステム４００は、記録媒体に記録された画像処理プログラム（例えば実施の形態１の画像処理プログラム１４１や実施の形態２の画像処理プログラム１４１ａ、実施の形態３の画像処理プログラム１４１ｂ）を読み出して実行することで画像処理装置（例えば実施の形態１の画像処理装置１や実施の形態２の画像処理装置１ａ、実施の形態３の画像処理装置１ｂ）を実現する。ここで、記録媒体とは、ＣＤ−ＲＯＭ４６０やＵＳＢメモリ４７０の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピューターシステム４００の内外に備えられるＨＤＤ４１４やＲＡＭ４１２、ＲＯＭ４１３等の「固定用の物理媒体」、モデム４５０を介して接続される公衆回線Ｎ３や、他のコンピューターシステムであるＰＣ４８１やサーバ４８２が接続されるローカルエリアネットワークまたは広域エリアネットワークＮ１等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピューターシステム４００によって読み取り可能な画像処理プログラムを記録するあらゆる記録媒体を含む。
【０１１２】
すなわち、画像処理プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記録媒体にコンピューター読み取り可能に記録されるものであり、コンピューターシステム４００は、このような記録媒体から画像処理プログラムを読み出して実行することで画像処理装置を実現する。なお、画像処理プログラムは、コンピューターシステム４００によって実行されることに限定されるものではなく、他のコンピューターシステムであるＰＣ４８１やサーバ４８２が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。
【０１１３】
また、本発明は、上記した各実施の形態１〜３およびその変形例そのままに限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成してもよい。あるいは、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成してもよい。
【産業上の利用可能性】
【０１１４】
以上のように、本発明の画像処理装置、画像処理方法、および画像処理プログラムは、対象画像から対象物の輪郭エッジを精度良く検出するのに適している。
【符号の説明】
【０１１５】
１，１ａ，１ｂ 画像処理装置
１１ 外部Ｉ／Ｆ部
１２ 操作部
１３ 表示部
１４，１４ａ，１４ｂ 記録部
１４１，１４１ａ，１４１ｂ 画像処理プログラム
１５，１５ａ，１５ｂ 演算部
１６ 勾配強度算出部
１６１ ノイズ除去部
１６２ 構造情報取得部
１６３ 微分処理部
１７，１７ａ 候補エッジ検出部
１７１ 勾配変化方向検出部
１７２ 凸位置検出部
１７３ａ 候補エッジ線検出部
１７４ａ 細線化部
１７５ａ 閾値処理部
１８，１８ａ 参照範囲設定部
１８１，１８１ａ 参照方向指定部
１８４ａ 参照方向算出部
１８２ 参照範囲取得部
１８３ 勾配強度閾値処理部
１９，１９ａ 輪郭エッジ選択部
１９１ エッジ特性取得部
１９２，１９２ａ エッジ特性比較部
１９３ 方向成分輪郭エッジ選択部
１９４ 方向成分輪郭エッジ統合部
２０ 制御部
【特許請求の範囲】
【請求項１】
所定の対象物を撮像した対象画像の画素値をもとに、各画素の勾配強度を算出する勾配強度算出手段と、
前記各画素の勾配強度をもとに輪郭候補エッジ位置を検出する候補エッジ検出手段と、
前記各画素の勾配強度をもとに、前記輪郭候補エッジ位置の中から輪郭エッジ位置を選択する際に参照する参照範囲を設定する参照範囲設定手段と、
前記参照範囲内の輪郭候補エッジ位置の中から１つを選択し、前記輪郭エッジ位置とする輪郭エッジ選択手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記対象画像からノイズを除去するノイズ除去手段を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記対象画像の画素値をもとに、前記対象物表面の形状変化情報を取得する構造情報取得手段を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記対象画像に対して微分フィルタ処理を行い、前記各画素の勾配強度を算出する微分処理手段を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記候補エッジ検出手段は、
前記各画素の勾配強度をもとに、前記各画素における勾配変化方向を検出する勾配変化方向検出手段と、
前記各画素の勾配変化方向をもとに、勾配の方向が同じ領域内において勾配強度の変化が凸となる画素を凸位置として検出する凸位置検出手段と、
を備え、前記凸位置を前記輪郭候補エッジ位置とすることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記候補エッジ検出手段は、
前記各画素の勾配強度をもとにエッジ線を検出する候補エッジ線検出手段と、
前記エッジ線上の画素の前記勾配強度を閾値処理し、前記勾配強度の値が所定の閾値以上である前記エッジ線上の画素を検出する閾値処理手段と、
を備え、前記勾配強度の値が前記所定の閾値以上である前記エッジ線上の画素を前記輪郭候補エッジ位置とすることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記候補エッジ線検出手段は、前記各画素の勾配強度をもとに、細線化したエッジ線を検出する細線化手段を備えることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記閾値処理手段は、ヒステリシス閾値処理を行って前記勾配強度の値が前記所定の閾値以上である前記エッジ線上の画素を検出することを特徴とする請求項６に記載の画像処理装置。
【請求項９】
前記参照範囲設定手段は、
前記参照範囲を設定する参照方向を指定する参照方向指定手段と、
前記輪郭候補エッジ位置を含み、前記参照方向に沿って連続する上り勾配の範囲または下り勾配の範囲を前記参照範囲として取得する参照範囲取得手段と、
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記参照方向指定手段は、複数の参照方向を指定し、
前記参照範囲取得手段は、前記参照方向毎に前記参照範囲を取得することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記複数の参照方向は、前記対象画像の横方向および縦方向を含む２つ以上の方向であることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記参照方向指定手段は、前記輪郭候補エッジ位置の法線方向を前記参照方向として算出する参照方向算出手段を備えることを特徴とする請求項９に記載の画像処理装置。
【請求項１３】
前記参照範囲取得手段は、前記参照方向上の画素の前記勾配強度の値を閾値処理し、前記参照方向に沿った前記上り勾配の範囲または前記下り勾配の範囲を取得する勾配強度閾値手段を備えることを特徴とする請求項９に記載の画像処理装置。
【請求項１４】
前記候補エッジ検出手段は、前記参照範囲設定手段によって設定された前記参照範囲内において前記輪郭候補エッジ位置を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項１５】
前記輪郭エッジ選択手段は、
前記輪郭候補エッジ位置が途切れずに連続している輪郭候補エッジ線毎に前記輪郭候補エッジ位置の前記勾配強度の最大値を取得し、該勾配強度の最大値を該当する輪郭候補エッジ線上の前記輪郭候補エッジ位置のエッジ特性として取得するエッジ特性取得手段と、
前記参照範囲内に含まれる前記輪郭候補エッジ位置のエッジ特性を比較し、該比較結果をもとに前記輪郭エッジ位置を選択するエッジ特性比較手段と、
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項１６】
前記勾配強度算出手段は、前記各画素の勾配強度の複数の方向の方向成分を算出し、
前記候補エッジ検出手段は、前記各画素の勾配強度の前記複数の方向の方向成分をもとに前記輪郭候補エッジ位置を検出し、
前記参照範囲設定手段は、前記複数の方向を参照方向として該参照方向毎に前記参照範囲を設定し、
前記エッジ特性比較手段は、
前記参照方向毎に、対応する前記参照範囲から方向成分輪郭エッジ位置を選択する方向成分輪郭エッジ選択手段と、
前記参照方向毎の前記方向成分輪郭エッジ位置のうち、信頼度の高い方向成分輪郭エッジ位置を統合して前記輪郭エッジとする方向成分輪郭エッジ統合手段と、
を備えることを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
所定の対象物を撮像した対象画像の画素値をもとに、各画素の勾配強度を算出する勾配強度算出工程と、
前記各画素の勾配強度をもとに輪郭候補エッジ位置を検出する候補エッジ検出工程と、
前記各画素の勾配強度をもとに、前記輪郭候補エッジ位置の中から輪郭エッジ位置を選択する際に参照する参照範囲を設定する参照範囲設定工程と、
前記参照範囲内の輪郭候補エッジ位置の中から１つを選択し、前記輪郭エッジ位置とする輪郭エッジ選択工程と、
を含むことを特徴とする画像処理方法。
【請求項１８】
所定の対象物を撮像した対象画像の画素値をもとに、各画素の勾配強度を算出する勾配強度算出工程と、
前記各画素の勾配強度をもとに、前記輪郭候補エッジ位置の中から輪郭エッジ位置を選択する際に参照する参照範囲を設定する参照範囲設定工程と、
前記参照範囲内の画素の前記勾配強度をもとに、前記参照範囲内の輪郭候補エッジ位置を検出する候補エッジ検出工程と、
前記参照範囲内の輪郭候補エッジ位置の中から１つを選択し、前記輪郭エッジ位置とする輪郭エッジ選択工程と、
を含むことを特徴とする画像処理方法。
【請求項１９】
コンピュータに、
所定の対象物を撮像した対象画像の画素値をもとに、各画素の勾配強度を算出する勾配強度算出手順と、
前記各画素の勾配強度をもとに輪郭候補エッジ位置を検出する候補エッジ検出手順と、
前記各画素の勾配強度をもとに、前記輪郭候補エッジ位置の中から輪郭エッジ位置を選択する際に参照する参照範囲を設定する参照範囲設定手順と、
前記参照範囲内の輪郭候補エッジ位置の中から１つを選択し、前記輪郭エッジ位置とする輪郭エッジ選択手順と、
を実行させることを特徴とする画像処理プログラム。
【請求項１】
所定の対象物を撮像した対象画像の画素値をもとに、各画素の勾配強度を算出する勾配強度算出手段と、
前記各画素の勾配強度をもとに輪郭候補エッジ位置を検出する候補エッジ検出手段と、
前記各画素の勾配強度をもとに、前記輪郭候補エッジ位置の中から輪郭エッジ位置を選択する際に参照する参照範囲を設定する参照範囲設定手段と、
前記参照範囲内の輪郭候補エッジ位置の中から１つを選択し、前記輪郭エッジ位置とする輪郭エッジ選択手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記対象画像からノイズを除去するノイズ除去手段を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記対象画像の画素値をもとに、前記対象物表面の形状変化情報を取得する構造情報取得手段を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記対象画像に対して微分フィルタ処理を行い、前記各画素の勾配強度を算出する微分処理手段を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記候補エッジ検出手段は、
前記各画素の勾配強度をもとに、前記各画素における勾配変化方向を検出する勾配変化方向検出手段と、
前記各画素の勾配変化方向をもとに、勾配の方向が同じ領域内において勾配強度の変化が凸となる画素を凸位置として検出する凸位置検出手段と、
を備え、前記凸位置を前記輪郭候補エッジ位置とすることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記候補エッジ検出手段は、
前記各画素の勾配強度をもとにエッジ線を検出する候補エッジ線検出手段と、
前記エッジ線上の画素の前記勾配強度を閾値処理し、前記勾配強度の値が所定の閾値以上である前記エッジ線上の画素を検出する閾値処理手段と、
を備え、前記勾配強度の値が前記所定の閾値以上である前記エッジ線上の画素を前記輪郭候補エッジ位置とすることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記候補エッジ線検出手段は、前記各画素の勾配強度をもとに、細線化したエッジ線を検出する細線化手段を備えることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記閾値処理手段は、ヒステリシス閾値処理を行って前記勾配強度の値が前記所定の閾値以上である前記エッジ線上の画素を検出することを特徴とする請求項６に記載の画像処理装置。
【請求項９】
前記参照範囲設定手段は、
前記参照範囲を設定する参照方向を指定する参照方向指定手段と、
前記輪郭候補エッジ位置を含み、前記参照方向に沿って連続する上り勾配の範囲または下り勾配の範囲を前記参照範囲として取得する参照範囲取得手段と、
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記参照方向指定手段は、複数の参照方向を指定し、
前記参照範囲取得手段は、前記参照方向毎に前記参照範囲を取得することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記複数の参照方向は、前記対象画像の横方向および縦方向を含む２つ以上の方向であることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記参照方向指定手段は、前記輪郭候補エッジ位置の法線方向を前記参照方向として算出する参照方向算出手段を備えることを特徴とする請求項９に記載の画像処理装置。
【請求項１３】
前記参照範囲取得手段は、前記参照方向上の画素の前記勾配強度の値を閾値処理し、前記参照方向に沿った前記上り勾配の範囲または前記下り勾配の範囲を取得する勾配強度閾値手段を備えることを特徴とする請求項９に記載の画像処理装置。
【請求項１４】
前記候補エッジ検出手段は、前記参照範囲設定手段によって設定された前記参照範囲内において前記輪郭候補エッジ位置を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項１５】
前記輪郭エッジ選択手段は、
前記輪郭候補エッジ位置が途切れずに連続している輪郭候補エッジ線毎に前記輪郭候補エッジ位置の前記勾配強度の最大値を取得し、該勾配強度の最大値を該当する輪郭候補エッジ線上の前記輪郭候補エッジ位置のエッジ特性として取得するエッジ特性取得手段と、
前記参照範囲内に含まれる前記輪郭候補エッジ位置のエッジ特性を比較し、該比較結果をもとに前記輪郭エッジ位置を選択するエッジ特性比較手段と、
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項１６】
前記勾配強度算出手段は、前記各画素の勾配強度の複数の方向の方向成分を算出し、
前記候補エッジ検出手段は、前記各画素の勾配強度の前記複数の方向の方向成分をもとに前記輪郭候補エッジ位置を検出し、
前記参照範囲設定手段は、前記複数の方向を参照方向として該参照方向毎に前記参照範囲を設定し、
前記エッジ特性比較手段は、
前記参照方向毎に、対応する前記参照範囲から方向成分輪郭エッジ位置を選択する方向成分輪郭エッジ選択手段と、
前記参照方向毎の前記方向成分輪郭エッジ位置のうち、信頼度の高い方向成分輪郭エッジ位置を統合して前記輪郭エッジとする方向成分輪郭エッジ統合手段と、
を備えることを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
所定の対象物を撮像した対象画像の画素値をもとに、各画素の勾配強度を算出する勾配強度算出工程と、
前記各画素の勾配強度をもとに輪郭候補エッジ位置を検出する候補エッジ検出工程と、
前記各画素の勾配強度をもとに、前記輪郭候補エッジ位置の中から輪郭エッジ位置を選択する際に参照する参照範囲を設定する参照範囲設定工程と、
前記参照範囲内の輪郭候補エッジ位置の中から１つを選択し、前記輪郭エッジ位置とする輪郭エッジ選択工程と、
を含むことを特徴とする画像処理方法。
【請求項１８】
所定の対象物を撮像した対象画像の画素値をもとに、各画素の勾配強度を算出する勾配強度算出工程と、
前記各画素の勾配強度をもとに、前記輪郭候補エッジ位置の中から輪郭エッジ位置を選択する際に参照する参照範囲を設定する参照範囲設定工程と、
前記参照範囲内の画素の前記勾配強度をもとに、前記参照範囲内の輪郭候補エッジ位置を検出する候補エッジ検出工程と、
前記参照範囲内の輪郭候補エッジ位置の中から１つを選択し、前記輪郭エッジ位置とする輪郭エッジ選択工程と、
を含むことを特徴とする画像処理方法。
【請求項１９】
コンピュータに、
所定の対象物を撮像した対象画像の画素値をもとに、各画素の勾配強度を算出する勾配強度算出手順と、
前記各画素の勾配強度をもとに輪郭候補エッジ位置を検出する候補エッジ検出手順と、
前記各画素の勾配強度をもとに、前記輪郭候補エッジ位置の中から輪郭エッジ位置を選択する際に参照する参照範囲を設定する参照範囲設定手順と、
前記参照範囲内の輪郭候補エッジ位置の中から１つを選択し、前記輪郭エッジ位置とする輪郭エッジ選択手順と、
を実行させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９−１】
【図９−２】
【図１３】
【図１４】
【図１５−１】
【図１５−２】
【図１５−３】
【図１６−１】
【図１６−２】
【図１６−３】
【図１６−４】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９−１】
【図９−２】
【図１３】
【図１４】
【図１５−１】
【図１５−２】
【図１５−３】
【図１６−１】
【図１６−２】
【図１６−３】
【図１６−４】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−７３９５３（Ｐ２０１２−７３９５３Ａ）
【公開日】平成２４年４月１２日（２０１２．４．１２）
【国際特許分類】
【出願番号】特願２０１０−２１９９０１（Ｐ２０１０−２１９９０１）
【出願日】平成２２年９月２９日（２０１０．９．２９）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年４月１２日（２０１２．４．１２）
【国際特許分類】
【出願日】平成２２年９月２９日（２０１０．９．２９）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]