画像処理装置、電子内視鏡用プロセッサ装置、画像処理方法
【課題】内視鏡画像の色以外の情報に基づいて、内視鏡画像の各部における病変部である可能性を評価する。
【解決手段】ステップS100において、各画素のRGB信号から画素値Gと画素値Rの比G/Rを求め、血液の吸収帯に関わる色情報から対象画素が病変部である可能性を評価する。これに並行して、ステップS102において、画像の輝度信号から、所定空間周波数領域の輝度信号を抽出する。ステップS104において、脳回転状の模様など、腸管等における表面構造に関わる情報を抽出された輝度信号に基づき判定し、対象画素が病変部である可能性を評価する。ステップS100、ステップS104の評価に基づき、ステップS106において総合的に対象画素が病変部である可能性について評価し、該評価に基づき各部分の危険度を示す画像を生成する。
【解決手段】ステップS100において、各画素のRGB信号から画素値Gと画素値Rの比G/Rを求め、血液の吸収帯に関わる色情報から対象画素が病変部である可能性を評価する。これに並行して、ステップS102において、画像の輝度信号から、所定空間周波数領域の輝度信号を抽出する。ステップS104において、脳回転状の模様など、腸管等における表面構造に関わる情報を抽出された輝度信号に基づき判定し、対象画素が病変部である可能性を評価する。ステップS100、ステップS104の評価に基づき、ステップS106において総合的に対象画素が病変部である可能性について評価し、該評価に基づき各部分の危険度を示す画像を生成する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、内視鏡観察画像から病変部など異常と判断される部位を検出・表示するための画像処理装置に関する。
【背景技術】
【0002】
内視鏡画像から病変部を自動的に検出する画像処理装置として、血液の吸収帯に相当するGチャンネル画像の対象画素に対して上下左右斜め方向にある周囲画素からの変化量を算出し、これに基づき病変部を検出するものが知られている(特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第2008/044466号
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、上記特許文献1の方法では、表面粘膜の血管に変化のある病変は検出できるが、それ以外の病変部の特徴に基づいて危険部位を探知することはできない。例えば、病変部は表面粘膜における血管の変化の他に、血管新生、細胞の異常増殖による上皮層や腺管構造の崩れ、腫れや凹みによる構造変化などによって脳回転状の模様が現れるが、特許文献1の方法では、このような情報から病変部を見つけ出すことはできない。
【0005】
本発明は、内視鏡画像の色以外の情報に基づいて、内視鏡画像の各部における病変部である可能性を評価することを課題としている。
【課題を解決するための手段】
【0006】
本発明の画像処理装置は、画像信号から所定空間周波数領域の信号を抽出する画像信号抽出手段と、画像信号抽出手段により抽出された信号の対象画素周りにおける変化に基づいて対象画素が病変部である可能性を評価する第1病変部評価手段と備えたことを特徴としている。
【0007】
画像処理装置は、各画素の評価を画像に反映させた画像生成手段を更に備えることが好ましい。また、より緻密な評価を行うには、対象画素の色情報に基づき対象画素が病変部である可能性を評価する第2病変部評価手段と、第1および第2病変部評価手段の評価結果に基づいて各画素の病変部である可能性を総合的に評価する第3病変部評価手段とを更に備えることがより好ましい。
【0008】
第2病変部評価手段は、例えばG信号に基づいて対象画素の評価を行う。また、第1および第2病変部評価手段それぞれにおいて各画素に評価値を与え、第3病変部評価手段がこれらの評価値の合計から各画素が病変部である可能性を評価する構成とすることもできる。
【0009】
また、画像信号抽出手段は、例えばバンドパスフィルタとローパスフィルタを組み合わせて所定空間周波数領域の信号を抽出する。あるいは、画像信号抽出手段は、標準偏差の異なるガウスフィルタを用いることで所定空間周波数領域の信号を抽出してもよい。また更に、画像信号抽出手段は、画像信号に対しフーリエ変換を施し、周波数空間において所定空間周波数領域に対応する信号を抽出し、これを逆変換することで画像信号から所定空間周波数領域の信号を抽出してもよい。
【0010】
第1病変部評価手段は、例えば抽出された信号の対象画素周りにおける極値の数に基づいて上記評価を行う。またあるいは、第1病変部評価手段は、例えば抽出された信号の値を閾値と比較することで各画素を複数のカテゴリに分類し、所定カテゴリに属する画素の対象画素周りにおける割合から評価を行う。
【0011】
本発明の電子内視鏡用プロセッサ装置は、上記画像処理装置を備えたことを特徴としている。
【0012】
本発明の画像処理方法は、画像信号から所定空間周波数領域の信号を抽出し、画像信号抽出手段により抽出された信号の対象画素周りにおける変化に基づいて対象画素が病変部である可能性を評価することを特徴としている。
【0013】
本発明のコンピュータプログラムは、画像データから所定空間周波数領域のデータを抽出する手順と、画像信号抽出手段により抽出された信号の対象画素周りにおける変化に基づいて対象画素が病変部である可能性を評価する手順とをコンピュータに実行させることを特徴としている。
【発明の効果】
【0014】
本発明によれば、内視鏡画像の色以外の情報に基づいて、内視鏡画像の各部における病変部である可能性を評価することができる。
【図面の簡単な説明】
【0015】
【図1】本発明の一実施形態である画像処理装置が搭載された電子内視鏡システムの構成を示すブロック図である。
【図2】病変部検出部における全体的な処理の流れを示すフローチャートである。
【図3】映像処理回路から入力される輝度信号の一例を示すグラフである。
【図4】図3の輝度信号にバンドパスフィルタを施したときのグラフである。
【図5】図3の輝度信号にローパスフィルタを施したときのグラフである。
【図6】図4の輝度信号から図5の輝度信号を差引き、マイナス成分がなくなるようにプラス方向に一定量シフトした信号のグラフである。
【図7】バンドパスフィルタの一例である。
【図8】ローパスフィルタの一例である。
【図9】図2のステップS104で実行される処理のフローチャートである。
【図10】図2のステップS100で実行される処理のフローチャートである。
【図11】図2のステップS106で実行される処理のフローチャートである。
【発明を実施するための形態】
【0016】
以下、本発明の実施の形態を、図面を参照して説明する。図1は、本発明の一実施形態である画像処理装置が搭載された電子内視鏡システムの構成を示すブロック図である。なお、図1では、画像処理に係る構成のみが示される。
【0017】
電子内視鏡システム10は、スコープ11、プロセッサ装置12、モニタ装置13を備え、スコープ11およびモニタ装置13は、プロセッサ装置12に着脱自在に装着される。スコープ11の挿入部先端に設けられた撮像素子(図示せず)からの画像信号は、プロセッサ装置12内の映像処理回路14に入力され、例えば増幅処理、色変換処理、ホワイトバランス処理、ガンマ補正処理などの所定の処理が施された後、デジタル画像信号(画像データ)に変換される。
【0018】
本実施形態のプロセッサ装置12は、スコープ11で撮影された通常の内視鏡画像をそのまま出力する通常画像表示モードと、内視鏡画像の各部が病変部に対応するか否かを評価し、それを反映した画像を出力する病変危険度表示モードとを備える。本実施形態において、映像処理回路14は、選択されたモードに応じて、映像出力部15、あるいは画像メモリ16および病変部検出部17の何れかに選択的にデジタル画像信号を出力する。
【0019】
すなわち、通常画像表示モードでは、映像処理回路14はデジタル画像信号を直接映像出力部15へ出力し、病変危険度表示モードではメモリ16および病変部検出部17へ出力する。病変部検出部17では、画像メモリ16および映像処理回路14からの画像信号に基づき例えば各画素を危険度に応じて色分けした画像を生成し(後述)、映像出力部15へ出力する。映像出力部15は、映像処理回路14または病変部検出部17の何れかから入力されたデジタル画像信号を所定規格の映像信号に変換し、例えばモニタ装置13へと出力する。
【0020】
また、病変部検出部17は、凹凸判定部18、色判定部19、および統合部20を備える。映像処理回路14からのデジタル画像信号は、凹凸判定部18と色判定部19とにそれぞれ入力される。一方、画像メモリ16に記憶されたデジタル画像信号は、病変検出部17に入力される。凹凸判定部18では入力されたデジタル画像に基づいて例えば脳回転状模様の有無を判定して、各画素の危険度を評価し、色判定部19では入力されたデジタル画像の色情報から各画素の危険度を評価する。
【0021】
凹凸判定部18での評価、および色判定部19での評価は、それぞれ統合部20へ出力される。統合部20ではこれらの評価に基づき各画素の危険度が総合的に評価され、この評価を反映したデジタル画像が生成され、映像出力部15へと出力される。
【0022】
図2は、上述した病変部検出部17における処理の全体的な流れを説明するフローチャートである。ステップS100は、色判定部19において行われる処理であり、色情報に基づき各画素の危険度が評価される。これと並行して、凹凸判定部18ではステップS102、104が順次実行される。
【0023】
まず、ステップS102では、入力された画像信号から所定の空間周波数領域に対応する輝度信号を抽出する。その後ステップS104では、抽出された所定空間周波数領域の輝度信号に基づいて各画素の危険度が評価される。
【0024】
ステップS106は、統合部20で実行される処理であり、ステップS100、ステップS104で得られた評価に基づき、各画素の危険性を総合的に評価するとともにその評価を反映した画像を生成する。なお統合部20でステップS106の処理が終了すると本処理終了するが、終了時、生成された画像信号は、映像出力部15へと出力される。
【0025】
次に図3〜図8を参照して、図2のステップS102における所定空間周波数領域の輝度信号の抽出方法について説明する。
【0026】
図3は、映像処理回路14から入力される輝度信号の一例を示すグラフであり、横軸は例えば画像の水平(垂直)ラインに沿った座標(例えばピクセルまたは画素ピッチを単位とする座標)、縦軸は輝度値である。図4は、図3の輝度信号に図7のバンドパスフィルタを施した輝度信号のグラフであり、腸管などの概形や粘膜表面の細かな凹凸形状を抽出するために図3の輝度信号から中域〜高域の空間周波数領域を抽出している。なお、バンドパスフィルタの適応においては、周波数空間の原点はそのまま透過させている。
【0027】
一方、図5は、図3の輝度信号に図8のローパスフィルタを施した輝度信号のグラフであり、ノイズを低減し、腸管などのヒダや腫瘍などの大まかな膨らみをもつ形状を抽出するために図3の輝度信号から低周波領域を抽出している。本実施形態では、図4の中〜高周波領域の輝度信号と図5の低周波域の輝度信号の差分をとることで、粘膜表面のテクスチャ情報のみを抽出した信号(所定周波数領域の輝度信号)を生成する。なお、各フィルタは水平・垂直両方向に沿って施される。
【0028】
図6に図4の中〜高周波数領域の輝度信号と図5の低周波域の輝度信号の差分をとることで粘膜表面のテクスチャ情報のみを抽出し、抽出された信号をプラス方向に一定量シフトしてマイナス成分を無くしたものが示される。
【0029】
次に図9を参照して、本実施形態における抽出された所定空間周波数領域の輝度信号に基づく各画素の病変部の可能性(危険性)評価方法、すなわち図2のステップS104の処理について説明する。
【0030】
本処理では、ステップS200において各画素に対する前進差分および後進差分が計算され、対象画素(現在評価対象となっている画素)の周りの所定範囲に極値に対応する画素が幾つあるかがカウントされる。すなわち、前進後進差分で符号が入れ替わっている画素の数が対象画素を中心とする所定の範囲(例えば7×7画素)においてカウントされる。
【0031】
ステップS202では、ステップS200で算出された当該対象画素に関するカウント数が所定の閾値t1以上であるか否かが判定される。カウント数が閾値t1以上の場合には、対象画素周辺の粘膜表面に細かな凹凸形状(脳回転状模様など)が存在すると判断され、粘膜表面のテクスチャ情報からは対象画素は病変部に対応する可能性が高い。したがって、この場合にはステップS204において当該対象画素の危険度を示すフラグ(病変部である可能性を示すフラグ)が立てられこの処理は終了する。一方、ステップS202においてカウント数が閾値t1よりも小さいと判定される場合には、テクスチャ情報から当該画素の周辺部が病変部である可能性は低いので、当該対象画素のフラグを立てることなく本処理は終了する。
【0032】
次に図10を参照して、図2のステップS100の処理における色情報に基づく各画素の病変部である危険性を評価方法について説明する。
【0033】
ステップS300では、各画素のRGB信号における画素値Gと画素値Rの比G/Rが計算され、ステップS302において対象画素のG/Rの値が所定の閾値t2以下であるか否かが判定される。G/Rが閾値t2以下の場合には、血液の色味が強いと判断されるので、色情報からは病変部である可能性が高い。したがって、G/Rが閾値t2以下と判定される場合には、ステップS304において当該対象画素の危険度を示すフラグが立てられる。一方、ステップS302において、G/Rの値が閾値t2よりも大きいと判定される場合には、色情報からは対象画素が病変部である可能性は低いので対象画素のフラグを立てることなく本処理は終了する。なお、判定にG信号とR信号の比を用いるのは、光量が違う場合の影響を無くすためである。
【0034】
次に図11を参照して、図2のステップS106における色情報およびテクスチャ情報(輝度情報)を用いた各画素の病変部としての危険性の総合的な評価方法、および画像生成方法について説明する。
【0035】
ステップS400、ステップS402では、順次対象画素毎にステップS100、ステップS104のフラグの内容が参照される。ステップS400では、対象画素に対する両フラグが「真」であるか否かが判定され、両フラグともに「真」の場合には、ステップS404において対象画素の色が例えば赤に設定され、本処理は終了する。
【0036】
一方、両フラグがともに「真」でない場合には、ステップS402において一方のフラグが「真」であるか否かが判定される。少なくとも一方のフラグが「真」のときには、ステップS406において対象画素の色が例えば黄色に設定され、本処理は終了する。また、ステップS402において両フラグともに「真」ではないと判定された場合には、対象画素の色は例えば黒に設定され本処理は終了する。
【0037】
すなわち、病変危険度表示モードでは、ステップS400〜S406を通して設定された各画素の色に基づいて画像信号が生成され映像出力部15(図1参照)を介してモニタ装置13に出力・表示される。
【0038】
以上のように、本実施形態によれば、色情報からではなく、病変部に特徴的なテクスチャ情報(脳回転状模様)からも内視鏡画像の各画素に対応する箇所が病変部である可能性を評価でき、より正確な評価が可能になる。また、色情報とテクスチャ情報を組み合わせて各画素が病変部である可能性を総合的、段階的に評価し、これを内視鏡画像に対応する画像として表示することができる。
【0039】
次に、本実施形態の第1変形例について説明する。上述した実施形態では、図2のステップS102において、ローパスフィルタ、バンドパスフィルタを用いて所定の空間周波数領域の輝度信号を取得したが、第1変形例では、例えば、図3の輝度信号に対して、分散が異なる2つのガウスフィルタを施す。すなわち、分散が相対的に小さいガウスフィルタにより図4に対応する輝度信号を生成し、分散が相対的に大きいガウスフィルタにより図5に対応する輝度信号を生成する。これらの差から図6に対応する輝度信号を生成し、実施形態と同様の方法で、各画素の危険度を評価し、画像を生成する。また、例えばステップS102において、画像信号に対し2次元フーリエ変換を施し、周波数空間において所定領域の信号を抽出し逆変換で得られた画像信号に対して、図2のステップS104以下の処理を実行してもよい。
【0040】
次に、図2のステップS104のテクスチャ情報(輝度情報)に基づく各画素の病変部としての危険性の評価方法を変更した第2変形例について説明する。上記実施形態では、各画素の前進後進差分を計算し、極値の数から病変部としての可能性(危険性)の評価を行ったが、第2変形例では、所定空間周波数領域の輝度信号、例えば図6に示される一定量プラス側にシフトした輝度信号に対して複数の閾値を設定し、輝度信号と閾値との比較に基づいて危険度を評価する。
【0041】
例えば、本変形例では各画素の輝度値を閾値と比較して画素を複数のカテゴリ、例えばハレーション、腸管の表面構造(粘膜表面の模様)、その他(ノイズなど)に分類し、対象画素の周辺の所定領域内に含まれる各カテゴリの画素の割合から、対象画素が病変部である可能性を評価する。本変形例では、図6の輝度信号が第1閾値よりも大きい画素をハレーションに対応する画素とし、図6の輝度値が第1閾値よりも小さく、第1閾値よりも小さい第2閾値よりも大きい画素を腸管の表面構造に対応する画素とする。また、第2閾値よりも図6の輝度値が低い画素をその他の画素とする。
【0042】
例えば、ザラザラした表面や脳回転状の表面構造を有する病変部では、一般的に細かい輝度変化や細かいハレーションが多く含まれると考えられる。そのため本変形例では、対象画素を中心とする所定範囲(例えば周辺7×7画素)におけるハレーション対応画素数(面積)や表面構造対応画素数(面積)の割合を参照して各対象画素の危険度を段階的(例えば5段階)に評価する。
【0043】
例えば、第2変形例では、色情報(ステップS100の情報)を用いず、テクスチャ情報のみで各画素の危険度を次の(A)〜(E)の5段階で評価し画像を生成する。
(A)表面構造対応画素の割合が極めて高く、ハレーション対応画素も存在する場合には危険度が最大であると判断し、その画素の色を赤に設定する。
(B)表面構造対応画素の割合が相対的に高く((A)よりは低い)、ハレーション対応画素も存在する場合には危険度が大きいと判断し、その画素の色を黄色に設定する。
(C)表面構造対応画素の割合が相対的に中程度で、ハレーション対応画素も存在する場合には危険度も中程度であると判断し、その画素の色を緑に設定する。
(D)表面構造対応画素の割合が相対的に低く、ハレーション対応画素も殆ど存在しない場合には危険度は小さいと判断し、その画素の色を青に設定する。
(E)表面構造対応画素の割合が最小で、ハレーション対応画素も殆ど存在しない場合には危険度は極小と判断し、その画素の色を紫に設定する。
【0044】
また、色情報(ステップS100の情報)と組み合わせて評価する場合には、例えば、各評価において危険度を示すポイント(評価値)を各画素に対して与え、その合計から各画素における総合的な危険度を評価し、例えば5段階に分類して各画素の色を決定することもできる。
【0045】
以上のように第1、第2変形例においても実施形態と同様の効果を得ることができる。なお、実施形態、第1、第2変形例に記載された各構成は、矛盾が生じない範囲で任意に組み合わせることができる。
【0046】
また、本実施形態および変形例では、所定空間周波数領域の輝度信号をプラス側にシフトしているが、シフトせずに病変部の可能性(危険度)の評価に用いることも可能である。
【0047】
また、画像データを記録して、本実施形態および変形例の処理を別途コンピュータにおいて実行することも可能である。
【符号の説明】
【0048】
10 電子内視鏡システム
11 スコープ
12 プロセッサ装置
13 モニタ装置
14 映像処理回路
15 映像出力部
16 画像メモリ
17 病変部検出部
18 凹凸判定部
19 色判定部
20 統合部
【技術分野】
【0001】
本発明は、内視鏡観察画像から病変部など異常と判断される部位を検出・表示するための画像処理装置に関する。
【背景技術】
【0002】
内視鏡画像から病変部を自動的に検出する画像処理装置として、血液の吸収帯に相当するGチャンネル画像の対象画素に対して上下左右斜め方向にある周囲画素からの変化量を算出し、これに基づき病変部を検出するものが知られている(特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第2008/044466号
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、上記特許文献1の方法では、表面粘膜の血管に変化のある病変は検出できるが、それ以外の病変部の特徴に基づいて危険部位を探知することはできない。例えば、病変部は表面粘膜における血管の変化の他に、血管新生、細胞の異常増殖による上皮層や腺管構造の崩れ、腫れや凹みによる構造変化などによって脳回転状の模様が現れるが、特許文献1の方法では、このような情報から病変部を見つけ出すことはできない。
【0005】
本発明は、内視鏡画像の色以外の情報に基づいて、内視鏡画像の各部における病変部である可能性を評価することを課題としている。
【課題を解決するための手段】
【0006】
本発明の画像処理装置は、画像信号から所定空間周波数領域の信号を抽出する画像信号抽出手段と、画像信号抽出手段により抽出された信号の対象画素周りにおける変化に基づいて対象画素が病変部である可能性を評価する第1病変部評価手段と備えたことを特徴としている。
【0007】
画像処理装置は、各画素の評価を画像に反映させた画像生成手段を更に備えることが好ましい。また、より緻密な評価を行うには、対象画素の色情報に基づき対象画素が病変部である可能性を評価する第2病変部評価手段と、第1および第2病変部評価手段の評価結果に基づいて各画素の病変部である可能性を総合的に評価する第3病変部評価手段とを更に備えることがより好ましい。
【0008】
第2病変部評価手段は、例えばG信号に基づいて対象画素の評価を行う。また、第1および第2病変部評価手段それぞれにおいて各画素に評価値を与え、第3病変部評価手段がこれらの評価値の合計から各画素が病変部である可能性を評価する構成とすることもできる。
【0009】
また、画像信号抽出手段は、例えばバンドパスフィルタとローパスフィルタを組み合わせて所定空間周波数領域の信号を抽出する。あるいは、画像信号抽出手段は、標準偏差の異なるガウスフィルタを用いることで所定空間周波数領域の信号を抽出してもよい。また更に、画像信号抽出手段は、画像信号に対しフーリエ変換を施し、周波数空間において所定空間周波数領域に対応する信号を抽出し、これを逆変換することで画像信号から所定空間周波数領域の信号を抽出してもよい。
【0010】
第1病変部評価手段は、例えば抽出された信号の対象画素周りにおける極値の数に基づいて上記評価を行う。またあるいは、第1病変部評価手段は、例えば抽出された信号の値を閾値と比較することで各画素を複数のカテゴリに分類し、所定カテゴリに属する画素の対象画素周りにおける割合から評価を行う。
【0011】
本発明の電子内視鏡用プロセッサ装置は、上記画像処理装置を備えたことを特徴としている。
【0012】
本発明の画像処理方法は、画像信号から所定空間周波数領域の信号を抽出し、画像信号抽出手段により抽出された信号の対象画素周りにおける変化に基づいて対象画素が病変部である可能性を評価することを特徴としている。
【0013】
本発明のコンピュータプログラムは、画像データから所定空間周波数領域のデータを抽出する手順と、画像信号抽出手段により抽出された信号の対象画素周りにおける変化に基づいて対象画素が病変部である可能性を評価する手順とをコンピュータに実行させることを特徴としている。
【発明の効果】
【0014】
本発明によれば、内視鏡画像の色以外の情報に基づいて、内視鏡画像の各部における病変部である可能性を評価することができる。
【図面の簡単な説明】
【0015】
【図1】本発明の一実施形態である画像処理装置が搭載された電子内視鏡システムの構成を示すブロック図である。
【図2】病変部検出部における全体的な処理の流れを示すフローチャートである。
【図3】映像処理回路から入力される輝度信号の一例を示すグラフである。
【図4】図3の輝度信号にバンドパスフィルタを施したときのグラフである。
【図5】図3の輝度信号にローパスフィルタを施したときのグラフである。
【図6】図4の輝度信号から図5の輝度信号を差引き、マイナス成分がなくなるようにプラス方向に一定量シフトした信号のグラフである。
【図7】バンドパスフィルタの一例である。
【図8】ローパスフィルタの一例である。
【図9】図2のステップS104で実行される処理のフローチャートである。
【図10】図2のステップS100で実行される処理のフローチャートである。
【図11】図2のステップS106で実行される処理のフローチャートである。
【発明を実施するための形態】
【0016】
以下、本発明の実施の形態を、図面を参照して説明する。図1は、本発明の一実施形態である画像処理装置が搭載された電子内視鏡システムの構成を示すブロック図である。なお、図1では、画像処理に係る構成のみが示される。
【0017】
電子内視鏡システム10は、スコープ11、プロセッサ装置12、モニタ装置13を備え、スコープ11およびモニタ装置13は、プロセッサ装置12に着脱自在に装着される。スコープ11の挿入部先端に設けられた撮像素子(図示せず)からの画像信号は、プロセッサ装置12内の映像処理回路14に入力され、例えば増幅処理、色変換処理、ホワイトバランス処理、ガンマ補正処理などの所定の処理が施された後、デジタル画像信号(画像データ)に変換される。
【0018】
本実施形態のプロセッサ装置12は、スコープ11で撮影された通常の内視鏡画像をそのまま出力する通常画像表示モードと、内視鏡画像の各部が病変部に対応するか否かを評価し、それを反映した画像を出力する病変危険度表示モードとを備える。本実施形態において、映像処理回路14は、選択されたモードに応じて、映像出力部15、あるいは画像メモリ16および病変部検出部17の何れかに選択的にデジタル画像信号を出力する。
【0019】
すなわち、通常画像表示モードでは、映像処理回路14はデジタル画像信号を直接映像出力部15へ出力し、病変危険度表示モードではメモリ16および病変部検出部17へ出力する。病変部検出部17では、画像メモリ16および映像処理回路14からの画像信号に基づき例えば各画素を危険度に応じて色分けした画像を生成し(後述)、映像出力部15へ出力する。映像出力部15は、映像処理回路14または病変部検出部17の何れかから入力されたデジタル画像信号を所定規格の映像信号に変換し、例えばモニタ装置13へと出力する。
【0020】
また、病変部検出部17は、凹凸判定部18、色判定部19、および統合部20を備える。映像処理回路14からのデジタル画像信号は、凹凸判定部18と色判定部19とにそれぞれ入力される。一方、画像メモリ16に記憶されたデジタル画像信号は、病変検出部17に入力される。凹凸判定部18では入力されたデジタル画像に基づいて例えば脳回転状模様の有無を判定して、各画素の危険度を評価し、色判定部19では入力されたデジタル画像の色情報から各画素の危険度を評価する。
【0021】
凹凸判定部18での評価、および色判定部19での評価は、それぞれ統合部20へ出力される。統合部20ではこれらの評価に基づき各画素の危険度が総合的に評価され、この評価を反映したデジタル画像が生成され、映像出力部15へと出力される。
【0022】
図2は、上述した病変部検出部17における処理の全体的な流れを説明するフローチャートである。ステップS100は、色判定部19において行われる処理であり、色情報に基づき各画素の危険度が評価される。これと並行して、凹凸判定部18ではステップS102、104が順次実行される。
【0023】
まず、ステップS102では、入力された画像信号から所定の空間周波数領域に対応する輝度信号を抽出する。その後ステップS104では、抽出された所定空間周波数領域の輝度信号に基づいて各画素の危険度が評価される。
【0024】
ステップS106は、統合部20で実行される処理であり、ステップS100、ステップS104で得られた評価に基づき、各画素の危険性を総合的に評価するとともにその評価を反映した画像を生成する。なお統合部20でステップS106の処理が終了すると本処理終了するが、終了時、生成された画像信号は、映像出力部15へと出力される。
【0025】
次に図3〜図8を参照して、図2のステップS102における所定空間周波数領域の輝度信号の抽出方法について説明する。
【0026】
図3は、映像処理回路14から入力される輝度信号の一例を示すグラフであり、横軸は例えば画像の水平(垂直)ラインに沿った座標(例えばピクセルまたは画素ピッチを単位とする座標)、縦軸は輝度値である。図4は、図3の輝度信号に図7のバンドパスフィルタを施した輝度信号のグラフであり、腸管などの概形や粘膜表面の細かな凹凸形状を抽出するために図3の輝度信号から中域〜高域の空間周波数領域を抽出している。なお、バンドパスフィルタの適応においては、周波数空間の原点はそのまま透過させている。
【0027】
一方、図5は、図3の輝度信号に図8のローパスフィルタを施した輝度信号のグラフであり、ノイズを低減し、腸管などのヒダや腫瘍などの大まかな膨らみをもつ形状を抽出するために図3の輝度信号から低周波領域を抽出している。本実施形態では、図4の中〜高周波領域の輝度信号と図5の低周波域の輝度信号の差分をとることで、粘膜表面のテクスチャ情報のみを抽出した信号(所定周波数領域の輝度信号)を生成する。なお、各フィルタは水平・垂直両方向に沿って施される。
【0028】
図6に図4の中〜高周波数領域の輝度信号と図5の低周波域の輝度信号の差分をとることで粘膜表面のテクスチャ情報のみを抽出し、抽出された信号をプラス方向に一定量シフトしてマイナス成分を無くしたものが示される。
【0029】
次に図9を参照して、本実施形態における抽出された所定空間周波数領域の輝度信号に基づく各画素の病変部の可能性(危険性)評価方法、すなわち図2のステップS104の処理について説明する。
【0030】
本処理では、ステップS200において各画素に対する前進差分および後進差分が計算され、対象画素(現在評価対象となっている画素)の周りの所定範囲に極値に対応する画素が幾つあるかがカウントされる。すなわち、前進後進差分で符号が入れ替わっている画素の数が対象画素を中心とする所定の範囲(例えば7×7画素)においてカウントされる。
【0031】
ステップS202では、ステップS200で算出された当該対象画素に関するカウント数が所定の閾値t1以上であるか否かが判定される。カウント数が閾値t1以上の場合には、対象画素周辺の粘膜表面に細かな凹凸形状(脳回転状模様など)が存在すると判断され、粘膜表面のテクスチャ情報からは対象画素は病変部に対応する可能性が高い。したがって、この場合にはステップS204において当該対象画素の危険度を示すフラグ(病変部である可能性を示すフラグ)が立てられこの処理は終了する。一方、ステップS202においてカウント数が閾値t1よりも小さいと判定される場合には、テクスチャ情報から当該画素の周辺部が病変部である可能性は低いので、当該対象画素のフラグを立てることなく本処理は終了する。
【0032】
次に図10を参照して、図2のステップS100の処理における色情報に基づく各画素の病変部である危険性を評価方法について説明する。
【0033】
ステップS300では、各画素のRGB信号における画素値Gと画素値Rの比G/Rが計算され、ステップS302において対象画素のG/Rの値が所定の閾値t2以下であるか否かが判定される。G/Rが閾値t2以下の場合には、血液の色味が強いと判断されるので、色情報からは病変部である可能性が高い。したがって、G/Rが閾値t2以下と判定される場合には、ステップS304において当該対象画素の危険度を示すフラグが立てられる。一方、ステップS302において、G/Rの値が閾値t2よりも大きいと判定される場合には、色情報からは対象画素が病変部である可能性は低いので対象画素のフラグを立てることなく本処理は終了する。なお、判定にG信号とR信号の比を用いるのは、光量が違う場合の影響を無くすためである。
【0034】
次に図11を参照して、図2のステップS106における色情報およびテクスチャ情報(輝度情報)を用いた各画素の病変部としての危険性の総合的な評価方法、および画像生成方法について説明する。
【0035】
ステップS400、ステップS402では、順次対象画素毎にステップS100、ステップS104のフラグの内容が参照される。ステップS400では、対象画素に対する両フラグが「真」であるか否かが判定され、両フラグともに「真」の場合には、ステップS404において対象画素の色が例えば赤に設定され、本処理は終了する。
【0036】
一方、両フラグがともに「真」でない場合には、ステップS402において一方のフラグが「真」であるか否かが判定される。少なくとも一方のフラグが「真」のときには、ステップS406において対象画素の色が例えば黄色に設定され、本処理は終了する。また、ステップS402において両フラグともに「真」ではないと判定された場合には、対象画素の色は例えば黒に設定され本処理は終了する。
【0037】
すなわち、病変危険度表示モードでは、ステップS400〜S406を通して設定された各画素の色に基づいて画像信号が生成され映像出力部15(図1参照)を介してモニタ装置13に出力・表示される。
【0038】
以上のように、本実施形態によれば、色情報からではなく、病変部に特徴的なテクスチャ情報(脳回転状模様)からも内視鏡画像の各画素に対応する箇所が病変部である可能性を評価でき、より正確な評価が可能になる。また、色情報とテクスチャ情報を組み合わせて各画素が病変部である可能性を総合的、段階的に評価し、これを内視鏡画像に対応する画像として表示することができる。
【0039】
次に、本実施形態の第1変形例について説明する。上述した実施形態では、図2のステップS102において、ローパスフィルタ、バンドパスフィルタを用いて所定の空間周波数領域の輝度信号を取得したが、第1変形例では、例えば、図3の輝度信号に対して、分散が異なる2つのガウスフィルタを施す。すなわち、分散が相対的に小さいガウスフィルタにより図4に対応する輝度信号を生成し、分散が相対的に大きいガウスフィルタにより図5に対応する輝度信号を生成する。これらの差から図6に対応する輝度信号を生成し、実施形態と同様の方法で、各画素の危険度を評価し、画像を生成する。また、例えばステップS102において、画像信号に対し2次元フーリエ変換を施し、周波数空間において所定領域の信号を抽出し逆変換で得られた画像信号に対して、図2のステップS104以下の処理を実行してもよい。
【0040】
次に、図2のステップS104のテクスチャ情報(輝度情報)に基づく各画素の病変部としての危険性の評価方法を変更した第2変形例について説明する。上記実施形態では、各画素の前進後進差分を計算し、極値の数から病変部としての可能性(危険性)の評価を行ったが、第2変形例では、所定空間周波数領域の輝度信号、例えば図6に示される一定量プラス側にシフトした輝度信号に対して複数の閾値を設定し、輝度信号と閾値との比較に基づいて危険度を評価する。
【0041】
例えば、本変形例では各画素の輝度値を閾値と比較して画素を複数のカテゴリ、例えばハレーション、腸管の表面構造(粘膜表面の模様)、その他(ノイズなど)に分類し、対象画素の周辺の所定領域内に含まれる各カテゴリの画素の割合から、対象画素が病変部である可能性を評価する。本変形例では、図6の輝度信号が第1閾値よりも大きい画素をハレーションに対応する画素とし、図6の輝度値が第1閾値よりも小さく、第1閾値よりも小さい第2閾値よりも大きい画素を腸管の表面構造に対応する画素とする。また、第2閾値よりも図6の輝度値が低い画素をその他の画素とする。
【0042】
例えば、ザラザラした表面や脳回転状の表面構造を有する病変部では、一般的に細かい輝度変化や細かいハレーションが多く含まれると考えられる。そのため本変形例では、対象画素を中心とする所定範囲(例えば周辺7×7画素)におけるハレーション対応画素数(面積)や表面構造対応画素数(面積)の割合を参照して各対象画素の危険度を段階的(例えば5段階)に評価する。
【0043】
例えば、第2変形例では、色情報(ステップS100の情報)を用いず、テクスチャ情報のみで各画素の危険度を次の(A)〜(E)の5段階で評価し画像を生成する。
(A)表面構造対応画素の割合が極めて高く、ハレーション対応画素も存在する場合には危険度が最大であると判断し、その画素の色を赤に設定する。
(B)表面構造対応画素の割合が相対的に高く((A)よりは低い)、ハレーション対応画素も存在する場合には危険度が大きいと判断し、その画素の色を黄色に設定する。
(C)表面構造対応画素の割合が相対的に中程度で、ハレーション対応画素も存在する場合には危険度も中程度であると判断し、その画素の色を緑に設定する。
(D)表面構造対応画素の割合が相対的に低く、ハレーション対応画素も殆ど存在しない場合には危険度は小さいと判断し、その画素の色を青に設定する。
(E)表面構造対応画素の割合が最小で、ハレーション対応画素も殆ど存在しない場合には危険度は極小と判断し、その画素の色を紫に設定する。
【0044】
また、色情報(ステップS100の情報)と組み合わせて評価する場合には、例えば、各評価において危険度を示すポイント(評価値)を各画素に対して与え、その合計から各画素における総合的な危険度を評価し、例えば5段階に分類して各画素の色を決定することもできる。
【0045】
以上のように第1、第2変形例においても実施形態と同様の効果を得ることができる。なお、実施形態、第1、第2変形例に記載された各構成は、矛盾が生じない範囲で任意に組み合わせることができる。
【0046】
また、本実施形態および変形例では、所定空間周波数領域の輝度信号をプラス側にシフトしているが、シフトせずに病変部の可能性(危険度)の評価に用いることも可能である。
【0047】
また、画像データを記録して、本実施形態および変形例の処理を別途コンピュータにおいて実行することも可能である。
【符号の説明】
【0048】
10 電子内視鏡システム
11 スコープ
12 プロセッサ装置
13 モニタ装置
14 映像処理回路
15 映像出力部
16 画像メモリ
17 病変部検出部
18 凹凸判定部
19 色判定部
20 統合部
【特許請求の範囲】
【請求項1】
画像信号から所定空間周波数領域の信号を抽出する画像信号抽出手段と、
前記画像信号抽出手段により抽出された信号の対象画素周りにおける変化に基づいて前記対象画素が病変部である可能性を評価する第1病変部評価手段と
を備えることを特徴とする画像処理装置。
【請求項2】
各画素の前記評価を画像に反映させた画像生成手段を備えることを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記対象画素の色情報に基づき前記対象画素が病変部である可能性を評価する第2病変部評価手段と、
前記第1および第2病変部評価手段の評価結果に基づいて各画素の病変部である可能性を総合的に評価する第3病変部評価手段と
を備えることを特徴とする請求項1に記載の画像処理装置。
【請求項4】
前記第2病変部評価手段が、G信号に基づいて前記対象画素の評価を行うことを特徴とする請求項3に記載の画像処理装置。
【請求項5】
前記第1および第2病変部評価手段において各画素に評価値を与え、前記第3病変部評価手段が前記評価値の合計から各画素が病変部である可能性を評価することを特徴とする請求項3に記載の画像処理装置。
【請求項6】
前記画像信号抽出手段が、バンドパスフィルタとローパスフィルタを組み合わせて前記所定空間周波数領域の信号を抽出することを特徴とする請求項1に記載の画像処理装置。
【請求項7】
前記画像信号抽出手段が、標準偏差の異なるガウスフィルタを用いて前記所定空間周波数領域の信号を抽出することを特徴とする請求項1に記載の画像処理装置。
【請求項8】
前記画像信号抽出手段が、前記画像信号に対しフーリエ変換を施し、周波数空間において前記所定空間周波数領域に対応する信号を抽出し、これを逆変換することで前記画像信号から前記所定空間周波数領域の信号を抽出することを特徴とする請求項1に記載の画像処理装置。
【請求項9】
前記第1病変部評価手段が、抽出された前記信号の前記対象画素周りにおける極値の数に基づいて前記評価を行うことを特徴とする請求項1に記載の画像処理装置。
【請求項10】
前記第1病変部評価手段が、抽出された前記信号の値を閾値と比較することで各画素を複数のカテゴリに分類し、所定カテゴリに属する画素の前記対象画素周りにおける割合から前記評価を行うことを特徴とする請求項1に記載の画像処理装置。
【請求項11】
請求項1〜請求項10の何れか一項に記載の画像処理装置を備えることを特徴とする電子内視鏡用プロセッサ装置。
【請求項12】
画像信号から所定空間周波数領域の信号を抽出し、
前記画像信号抽出手段により抽出された信号の対象画素周りにおける変化に基づいて前記対象画素が病変部である可能性を評価する
ことを特徴とする画像処理方法。
【請求項13】
画像データから所定空間周波数領域のデータを抽出する手順と、
前記画像信号抽出手段により抽出された信号の対象画素周りにおける変化に基づいて前記対象画素が病変部である可能性を評価する手順と
をコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項1】
画像信号から所定空間周波数領域の信号を抽出する画像信号抽出手段と、
前記画像信号抽出手段により抽出された信号の対象画素周りにおける変化に基づいて前記対象画素が病変部である可能性を評価する第1病変部評価手段と
を備えることを特徴とする画像処理装置。
【請求項2】
各画素の前記評価を画像に反映させた画像生成手段を備えることを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記対象画素の色情報に基づき前記対象画素が病変部である可能性を評価する第2病変部評価手段と、
前記第1および第2病変部評価手段の評価結果に基づいて各画素の病変部である可能性を総合的に評価する第3病変部評価手段と
を備えることを特徴とする請求項1に記載の画像処理装置。
【請求項4】
前記第2病変部評価手段が、G信号に基づいて前記対象画素の評価を行うことを特徴とする請求項3に記載の画像処理装置。
【請求項5】
前記第1および第2病変部評価手段において各画素に評価値を与え、前記第3病変部評価手段が前記評価値の合計から各画素が病変部である可能性を評価することを特徴とする請求項3に記載の画像処理装置。
【請求項6】
前記画像信号抽出手段が、バンドパスフィルタとローパスフィルタを組み合わせて前記所定空間周波数領域の信号を抽出することを特徴とする請求項1に記載の画像処理装置。
【請求項7】
前記画像信号抽出手段が、標準偏差の異なるガウスフィルタを用いて前記所定空間周波数領域の信号を抽出することを特徴とする請求項1に記載の画像処理装置。
【請求項8】
前記画像信号抽出手段が、前記画像信号に対しフーリエ変換を施し、周波数空間において前記所定空間周波数領域に対応する信号を抽出し、これを逆変換することで前記画像信号から前記所定空間周波数領域の信号を抽出することを特徴とする請求項1に記載の画像処理装置。
【請求項9】
前記第1病変部評価手段が、抽出された前記信号の前記対象画素周りにおける極値の数に基づいて前記評価を行うことを特徴とする請求項1に記載の画像処理装置。
【請求項10】
前記第1病変部評価手段が、抽出された前記信号の値を閾値と比較することで各画素を複数のカテゴリに分類し、所定カテゴリに属する画素の前記対象画素周りにおける割合から前記評価を行うことを特徴とする請求項1に記載の画像処理装置。
【請求項11】
請求項1〜請求項10の何れか一項に記載の画像処理装置を備えることを特徴とする電子内視鏡用プロセッサ装置。
【請求項12】
画像信号から所定空間周波数領域の信号を抽出し、
前記画像信号抽出手段により抽出された信号の対象画素周りにおける変化に基づいて前記対象画素が病変部である可能性を評価する
ことを特徴とする画像処理方法。
【請求項13】
画像データから所定空間周波数領域のデータを抽出する手順と、
前記画像信号抽出手段により抽出された信号の対象画素周りにおける変化に基づいて前記対象画素が病変部である可能性を評価する手順と
をコンピュータに実行させることを特徴とするコンピュータプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2012−152284(P2012−152284A)
【公開日】平成24年8月16日(2012.8.16)
【国際特許分類】
【出願番号】特願2011−12122(P2011−12122)
【出願日】平成23年1月24日(2011.1.24)
【出願人】(000113263)HOYA株式会社 (3,820)
【Fターム(参考)】
【公開日】平成24年8月16日(2012.8.16)
【国際特許分類】
【出願日】平成23年1月24日(2011.1.24)
【出願人】(000113263)HOYA株式会社 (3,820)
【Fターム(参考)】
[ Back to top ]