説明

内視鏡システム及び画像生成方法

【課題】明るさを保った状態で、血管パターンや凹凸パターンを明瞭化する。
【解決手段】白色光で照明された被検体をカラーのCCDで撮像することにより、青色信号B、緑色信号G、赤色信号Rを得る。これら信号B,G,Rに基づいて、可視光領域の波長成分が含まれる通常光画像を生成する。信号B,G,Rに基づいて、被検体の平均的な明るさを示す明度信号((B+G+R)/3)を生成する。明度信号のうち一定の閾値Th1を超える画素領域をピットパターンなどの表層微細構造Pとして抽出する。表層微細構造Pが抽出された表層微細構造画像70と通常光画像を合成して微細構造強調画像を生成する。生成された微細構造・血管強調画像は、モニタに表示される。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表層微細血管などの血管パターンやピットパターンなどの微細構造や肥厚などの凹凸パターンを明瞭に観察することができる内視鏡システム及び画像生成方法に関する。
【背景技術】
【0002】
近年の医療においては、内視鏡装置を用いた診断等が広く行われている。この内視鏡診断では、被検体内の照明光として広帯域光の白色光を用いる通常光観察の他、特定波長の特殊光を照明光として用いることによって、ガンなどの病変部を他の部位よりも明瞭化したり、また、病変部の位置や大きさを直感的に把握し易くする特殊光観察も行われるようになってきている。
【0003】
例えば、特許文献1では、生体組織の深さ方向への深達度及び血中ヘモグロビンの吸光特性が波長依存性を有すること利用し、短波長の青色狭帯域光で、生体組織表層に形成される微細血管やピットパターンなどの微細構造の明瞭化するとともに、青色狭帯域光よりも長波長の緑色狭帯域光で、生体組織の中深層に位置する太い血管を明瞭化している。これら表層〜中深層の血管や表層微細構造は、ガンの鑑別や深達度診断をする際の重要な手がかりとなることから、青色狭帯域光や緑色狭帯域光で明瞭化することによって、鑑別等の精度を飛躍的に向上させることができる。
【0004】
また、特許文献2では、自家蛍光を励起するための励起光を生体組織に照射したときには、ガンなどの病変によって肥厚している病変部位から発せられる自家蛍光は、肥厚していない正常部位からの自家蛍光よりも光量が減少するという特性を利用することで、病変部位と正常部位との境界の明確化を図っている。このように病変部位との境界を明確化することで、スクリーニング時のように遠景状態から観察を行う場合に、病変部の位置や大きさの把握が容易になる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2001−170009号公報
【特許文献2】特開平8−252218号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
近年では、ガンの鑑別方法や深達度診断の方法は多岐にわたっている。したがって、表層微細血管や中深層血管などの血管パターンと、表層微細構造や肥厚などの凹凸パターンの両方から、ガン診断を行う場合の他、凹凸パターンのみに着目して診断を行う場合もある。そのため、血管パターン及び凹凸パターンの両方を明瞭化するだけでなく、凹凸パターンのみを明瞭化することができる内視鏡システムが求められている。
【0007】
この点に関して、特許文献1の方法によれば、血管パターン及び凹凸パターンの両方を明瞭化することができるが、それらを明瞭化するために波長を狭帯域化しているために、被検体全体の明るさが低下している。したがって、遠景状態のように観察領域から離れた状況で得られる画像は、光量が低下した暗い画像となるため、診断に適したものとなっていない。また、特許文献2の方法によれば、凹凸パターンの一つである肥厚の位置や範囲については把握することができるものの、完全な擬似カラー画像であるため、凹凸パターンの形状や大きさについては正確に把握することは困難である。
【0008】
本発明は、血管パターンや凹凸パターンが明瞭化された明るい画像を取得することができる内視鏡システム及び画像生成方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するために、本発明の内視鏡システムは、被検体を撮像することにより、画像信号を取得する画像信号取得手段と、画像信号に基づいて、可視光領域の波長成分が含まれる通常光画像を生成する通常光画像生成手段と、画像信号から被検体上の凹凸情報のみを抽出した凹凸画像を生成する凹凸画像生成手段と、通常光画像及び凹凸画像を合成した第1合成画像を生成する第1合成画像生成手段とを備えることを特徴とする。
【0010】
凹凸画像生成手段は、画像信号から生体組織表層の微細構造のみを抽出した微細構造画像を、凹凸画像として生成する微細構造画像生成部を有し、第1合成画像生成手段は、通常光画像に微細構造画像を合成して第1合成画像を生成する通常光画像及び微細構造画像合成部を有することが好ましい。凹凸画像生成手段は、画像信号から生体組織表層から中深層にかけて厚みを帯びた肥厚のみを抽出した肥厚画像を、凹凸画像として生成する肥厚画像生成部を有し、第1合成画像生成手段は、通常光画像に肥厚画像を合成して第1合成画像を生成する通常光画像及び肥厚画像合成部を有することが好ましい。
【0011】
本発明は、更に、画像信号に基づいて、被検体において特定深さに位置する血管を抽出した血管抽出画像を生成する血管抽出画像生成手段と、通常光画像、血管抽出画像、及び凹凸画像を合成した第2合成画像を生成する第2合成画像生成手段を有することが好ましい。画像信号は、被検体の生体組織の表層にまで深達度がある青色光成分を有する青色信号と生体組織の中深層にまで深達度がある緑色光成分を有する緑色信号を少なくとも含む複数色の画像信号で構成され、血管抽出画像生成手段は、複数色の画像信号のうち青色信号と緑色信号の比に基づいて、特定深さの血管を抽出することが好ましい。血管抽出画像には、血管の深さに対応した周波数の周波数フィルタリングが施されていることが好ましい。
【0012】
被検体の撮像は、色分離フィルタが設けられた複数色の画素を有するカラーの撮像素子によって行うことが好ましい。本発明の内視鏡システムは、更に、複数色の光を被検体に順次照射する照明手段を備え、被検体の撮像は、照明手段で順次照射される毎に、モノクロの撮像素子で行うことが好ましい。本発明の内視鏡システムは、更に、凹凸画像を表示する表示手段を備えることが好ましい。
【0013】
本発明の画像生成方法は、被検体を撮像素子で撮像することにより画像信号を取得し、画像信号に基づいて、可視光領域の波長成分が含まれる通常光画像を通常光画像生成部により生成し、画像信号から被検体上の凹凸情報のみを抽出した凹凸画像を、凹凸画像生成手段により生成し、通常光画像及び凹凸画像を合成した第1合成画像を、第1合成画像生成手段により生成することを特徴とする。
【発明の効果】
【0014】
本発明によれば、第1合成画像生成手段で得られる第1合成画像は、通常光画像に、被検体上の凹凸情報のみを抽出した凹凸画像を合成した画像であるため、全体的に明るさが確保された状態で、表層微細構造や肥厚などの生体組織上の凹凸パターンのみが明瞭化している。また、第2合成画像生成手段で得られる第2合成画像は、通常光画像に、凹凸画像と特定深さの血管を抽出した血管抽出画像を合成した画像であるため、全体的に明るさが確保された状態で、凹凸パターン及び表層微細血管などの血管パターンが明瞭化している。
【図面の簡単な説明】
【0015】
【図1】第1実施形態の内視鏡システムを示す図である。
【図2】第1実施形態の内視鏡システムの内部構成を示す図である。
【図3】励起光により励起発光する白色光Wの発光スペクトルを示すグラフである。
【図4A】ズームレンズがワイド位置にあるときに撮像された非拡大画像を表す図である。
【図4B】ズームレンズがテレ位置にあるときに撮像された拡大画像を表す図である。
【図5】R色、G色、B色のカラーフィルターの分光透過率を示すグラフである。
【図6A】第1実施形態における通常観察モード、肥厚観察モード、肥厚・血管観察モード時のCCDの撮像制御を説明するための図である。
【図6B】第1実施形態における表層微細構造観察モード、微細構造・血管観察モード時のCCDの撮像制御を説明するための図である。
【図7】特殊光画像生成部の内部構成を示す図である。
【図8】表層微細構造画像の生成方法を説明するための図である。
【図9】表層微細構造強調画像を表す図である。
【図10】肥厚画像の生成方法を説明するための図である。
【図11】肥厚、肥厚でない部位、中深層血管からの反射光R1、R2、R3を表す図である。
【図12】肥厚強調画像を表す図である。
【図13】輝度比B/Gと血管深さとの関係を示すグラフである。
【図14】B/G画像の一部の輝度分布を表すグラフである。
【図15】表層血管抽出画像の一部の輝度分布を表すグラフである。
【図16】中深層血管画像の一部の輝度分布を表すグラフである。
【図17】微細構造・血管強調画像を表す図である。
【図18】肥厚・血管強調画像を表す図である。
【図19】表層微細構造観察モード又は微細構造・血管観察モードにおける一連の流れを表したフローチャートである。
【図20】肥厚観察モード又は肥厚・血管観察モードにおける一連の流れを表したフローチャートである。
【図21】第2実施形態の内視鏡システムの内部構成を示す図である。
【図22】ロータリフィルタを示す図である。
【図23】Bフィルタ、Gフィルタ、Rフィルタの分光透過率と、広帯域光BB及び青色狭帯域光RNの発光強度を示すグラフである。
【図24A】第2実施形態における通常観察モード、肥厚観察モード、肥厚・血管観察モード時のCCDの撮像制御を説明するための図である。
【図24B】第2実施形態における表層微細構造観察モード、微細構造・血管観察モード時のCCDの撮像制御を説明するための図である。
【発明を実施するための形態】
【0016】
図1及び図2に示すように、第1実施形態の内視鏡システム10は、被検体内を撮像する電子内視鏡11と、電子内視鏡11で撮像した画像に各種画像処理を施すプロセッサ装置12と、被検体を照明する光を電子内視鏡11に供給する光源装置13と、プロセッサ装置12で各種画像処理が施された画像を表示するモニタ14とを備えている。
【0017】
電子内視鏡11は、被検体内に挿入される可撓性の挿入部16と、挿入部16の基端部分に設けられた操作部17と、操作部17とプロセッサ装置12及び光源装置13との間を連結するユニバーサルコード18とを備えている。挿入部16の先端には、複数の湾曲駒を連結した湾曲部19が形成されている。湾曲部19は、操作部17のアングルノブ21を操作することにより、上下左右方向に湾曲動作する。湾曲部19の先端には、体腔内撮影用の光学系等を内蔵した先端部16aが設けられている。先端部16aは、湾曲部19の湾曲動作によって被検体内の所望の方向に向けられる。
【0018】
また、操作部17には、各種モードに切り替えるためのモード切替SW15が設けられている。各種モードは、白色光で照明された被検体を撮像することで得られる通常光画像をモニタ14に表示する通常観察モードと、生体組織の表層上に形成された微細構造を強調した表層微細構造強調画像をモニタ14に表示する表層微細構造観察モードと、生体組織において表層から中深層にかけて厚みを帯びた肥厚を強調した肥厚強調画像をモニタ14に表示する肥厚観察モードと、表層微細構造とともに特定の深さに位置する血管を強調した微細構造・血管強調画像をモニタ14に表示する微細構造・血管観察モードと、肥厚とともに特定深さに位置する血管を強調した肥厚・血管強調画像をモニタ14に表示する肥厚・血管観察モードの合計5つのモードで構成される。
【0019】
ユニバーサルコード18には、プロセッサ装置12および光源装置13側にコネクタ24が取り付けられている。コネクタ24は、通信用コネクタと光源用コネクタからなる複合タイプのコネクタであり、電子内視鏡11は、このコネクタ24を介して、プロセッサ装置12および光源装置13に着脱自在に接続される。
【0020】
光源装置13は、特定波長の励起光ELを発する励起光光源30と、青色帯域において特定波長に狭帯域化された青色狭帯域光BNを発する青色狭帯域光源31と、励起光光源30からの励起光ELが入射する励起光用光ファイバ35と、青色狭帯域光源31からの青色狭帯域光BNが入射する青色狭帯域光用光ファイバ36と、これら光ファイバ35,36と電子内視鏡内のライトガイド43とを光学的に連結するカプラー37と、励起光光源30及び青色狭帯域光源31のON・OFFを切り替えるための光源切替部39とを備えている。
【0021】
励起光光源30はレーザーダイオードなどの半導体光源で構成され、図3に示すように、中心波長445nmの励起光ELを発する。この励起光ELは、励起光用光ファイバ35、カプラー37及びライトガイド43を介して、電子内視鏡11の先端部16aに設けられた蛍光体40に照射される。蛍光体40では、励起光ELの一部を吸収して緑色〜赤色の蛍光FLを励起発光する複数種の蛍光物質(例えばYAG系蛍光物質、或いはBAM(BaMgAl1017)等の蛍光物質)を含んで構成される。蛍光体40で励起発光した蛍光FLは、図3に示すように、蛍光体40により吸収されず透過した励起光ELと合波することで、白色光Wが生成される。
【0022】
青色狭帯域光源31はレーザーダイオードなどの半導体光源で構成され、図3に示すように、中心波長405nmの青色狭帯域光BNを発する。この青色狭帯域光BNは、生体組織の表層にまで深達度を有していることから、ピットパターンなどの生体組織の表層微細構造を明るく光らせるために用いられる。
【0023】
光源切替部39はプロセッサ装置内のコントローラー59に接続されており、設定されているモードに応じて、励起光光源30及び青色狭帯域光源31のON(点灯)、OFF(消灯)に切り替える。通常観察モード、肥厚観察モード、肥厚・血管観察モードに設定されている場合には、励起光光源30が常時ONにされる一方で、青色狭帯域光源31は常時OFFにされる。したがって、被検体には白色光Wのみが常時照射される。一方、表層微細構造観察モード又は微細構造・血管観察モードに設定されている場合には、励起光光源30が常時ONにされる一方で、青色狭帯域光源31は1フレームおきにON・OFFが切り替えられる。これにより、白色光Wのみの照射と、白色光W及び青色狭帯域光BNの同時照射とが、1フレームおきに交互に繰り返される。
【0024】
電子内視鏡11は、ライトガイド43、CCD44、アナログ処理回路45(AFE:Analog Front End)、撮像制御部46、倍率制御部47を備えている。ライトガイド43は大口径光ファイバ、バンドルファイバなどであり、入射端が光源装置内のカプラー37に挿入されており、出射端が蛍光体40に向けられている。ライトガイド43内で導光された光は、蛍光体40、照射レンズ48b、及び照明窓49を通して、被検体内に照射される。観察窓50は、被検体からの戻り光を受光する。受光した光は、集光レンズ51及びズームレンズ48aを介してCCD44に入射する。
【0025】
ズームレンズ48aには、このズームレンズ48aを光軸方向に移動させるアクチュエータ48cが取り付けられている。アクチュエータ48cは、コントローラ59に接続された倍率制御部47によって駆動制御される。倍率制御部47は、ズーム操作部20で設定された倍率に応じた位置にズームレンズ48aが移動するように、アクチュエータ48cを制御する。スクリーニング時のように、被検体内の全体的な様子を観察する必要がある場合には、ズームレンズ48aをワイド位置にセットして、図4Aのような非拡大画像をモニタ14に表示させる。一方、癌の鑑別診断時のように、観察部位の詳細構造を観察する必要がある場合には、ズームレンズ48aをテレ位置にセットして、図4Bのような拡大画像をモニタ14に表示させる。
【0026】
なお、通常観察モード時、肥厚観察モード、肥厚・血管観察モード時には、被検体内の全体的な様子を観察することが多いことから、ズームレンズ48aをワイド位置にセットすることが多い。一方、表層微細構造観察モード、微細構造・血管観察モード時には、観察対象を拡大して観察することが多いことから、ズームレンズ48aをテレ位置にセットすることが多い。
【0027】
CCD44は、集光レンズ51からの光が入射する撮像面44aを有しており、この撮像面44aで受光した光を光電変換して信号電荷を蓄積する。蓄積された信号電荷は撮像信号として読み出され、AFE45に送られる。CCD44はカラーCCDであり、撮像面44aには、B色のカラーフィルタが設けられたB画素、G色のカラーフィルタが設けられたG画素、R色のカラーフィルターが設けられたR画素の3色の画素が配列されている。これらB色、G色、R色のカラーフィルターは、図5に示す曲線52,53,54で示される分光透過率を有している。
【0028】
AFE45は、相関二重サンプリング回路(CDS)、自動ゲイン制御回路(AGC)、及びアナログ/デジタル変換器(A/D)(いずれも図示省略)から構成されている。CDSは、CCD44からの撮像信号に対して相関二重サンプリング処理を施し、CCD44の駆動により生じたノイズを除去する。AGCは、CDSによりノイズが除去された撮像信号を増幅する。A/Dは、AGCで増幅された撮像信号を、所定のビット数のデジタルな撮像信号に変換してプロセッサ装置12に入力する。
【0029】
撮像制御部46は、プロセッサ装置12内のコントローラー59に接続されており、コントローラー59から指示がなされたときにCCD44に対して駆動信号を送る。CCD44は、撮像制御部46からの駆動信号に基づいて、所定のフレームレートで撮像信号をAFE45に出力する。
【0030】
通常観察モード、肥厚観察モード、肥厚・血管観察モードに設定されている場合には、図6Aに示すように、1フレーム期間内で、白色光Wの像光を光電変換して信号電荷を蓄積するステップと、蓄積した信号電荷として読み出すステップとが行なわれる。この撮像制御は、通常観察モード、肥厚観察モード、肥厚・血管観察モードに設定されている間、繰り返し行なわれる。なお、読出ステップ毎に、CCD44のB画素、G画素、R画素からは、青色信号B、緑色信号G、赤色信号Rが出力される。
【0031】
表層微細構造観察モード又は微細構造・血管観察モードに設定されている場合には、図6Bに示すように、1フレーム期間内で、白色光Wの像光を光電変換して信号電荷を蓄積するステップと、蓄積した信号電荷として読み出すステップとが行なわれる。この後に、1フレーム期間内で、白色光W及び青色狭帯域光BNの像光を光電変換して信号電荷を蓄積するステップと、蓄積した信号電荷を読み出すステップとが行われる。この2フレーム分の撮像制御は、表層観察モードに設定されている間、繰り返し行なわれる。なお、読出ステップ毎に、最初の1フレーム目では、CCD44のB画素、G画素、R画素から青色信号B1、緑色信号G1、赤色信号R1が出力され、次の2フレーム目では、B画素、G画素、R画素から青色信号B2、緑色信号G2、赤色信号R2が出力される。
【0032】
図2に示すように、プロセッサ装置12は、通常光画像生成部55と、フレームメモリ56と、特殊光画像生成部57と、表示制御回路58を備えており、コントローラー59が各部を制御している。通常光画像生成部55は、白色光Wの像光を電子内視鏡11で撮像して得られる信号から、通常光画像画像を作成する。即ち、通常観察モード、肥厚観察モード、肥厚・血管観察モード時には、青色信号B、緑色信号G、赤色信号Rから通常光画像が生成される。また、表層微細構造観察モード又は微細構造・血管観察モード時には、青色信号B1、緑色信号G1、赤色信号R1から通常光画像が生成される。なお、生成された通常光画像はフレームメモリ56に一時的に記憶される。
【0033】
図7に示すように、特殊光画像生成部57は、表層微細構造強調画像生成部61と、肥厚強調画像生成部62と、凹凸・血管強調画像生成部63とを備えている。表層微細構造強調画像生成部61は、被検体の平均的明るさを表す明度信号Iを生成する明度信号生成部61aと、明度信号Iから表層微細構造画像を抽出する微細構造抽出部61bと、この微細構造抽出部61bで抽出した表層微細構造画像を通常光画像に合成して表層微細構造強調画像を生成する画像生成部61cとを備えている。
【0034】
明度信号生成部61aは、表層微細構造観察モード又は微細構造・血管観察モード時に得られる2フレーム目の信号B2,G2,R2の信号値の合計値(B2+G2+R2)を3で除算することにより、明度信号I(=(B2+G2+R2)/3)を生成する。この明度信号Iは、各色の信号値を平均化したものであるため、被検体の平均的な明るさを表している。微細構造抽出部61bは、図8(A)に示すように、明度信号Iのうち一定の高輝度閾値Th1を超える画素領域を、表層微細構造Pとして抽出する。表層微細構造Pが抽出された表層微細構造画像は、図8(B)に示すように、高輝度閾値Th1を超える画素領域については明度信号Iの画素値をそのまま用いる一方で、高輝度閾値Th1以下の画素領域については画素値を「0」にする。
【0035】
このように高輝度閾値Th1を超える画素領域を表層微細構造Pとしているのは、以下の理由による。表層微細構造は、生体組織表層に形成される微細孔が多数集まったピットパターンなどから構成されるため、そのピットパターンの微細孔に、白色光や青色狭帯域光BNが入り込むと、多重散乱現象が生じて明るく光るようになる。そこで、高輝度閾値Th1を超える明るい領域を表層微細構造としている。なお、腺管と腺管との間には表層微細血管V1が存在することが多いが、この表層微細血管は白色光の青色成分や青色狭帯域光BNに強い吸光特性を示すため、画像上では暗く表示される。したがって、表層微細血管V1はほとんど高輝度閾値Thを下回るため、表層微細構造画像には表層微細血管はほとんど存在しない(入り込んでいない)。
【0036】
次に、表層微細構造画像に対して、高周波の周波数フィルタリング処理を施す。表層微細構造Pの部分の輝度値は他の部位と比べて大きく変化する。したがって、高周波の周波数フィルタリングを施すことで、図8(C)に示すように、表層微細構造Pのみがシャープに抽出された表層微細構造画像70が得られる。
【0037】
画像生成部61cは、微細構造抽出部61bで得られた表層微細構造画像70と通常光画像を合成することにより、図9に示す表層微細構造強調画像72を生成する。生成された表層微細構造強調画像72は、表示制御回路58によってモニタ14に表示される。表層微細構造強調画像72は、明るい通常光画像をベースとしているため、視認性が確保した状態で診断を行うことができる。また、表層微細構造強調画像72は、表層の生体組織のうち表層微細血管V1ではなく表層微細構造Pのみが明瞭化されているため、表層微細構造Pのみに着目して癌診断を行う場合に適した画像となっている。
【0038】
図7に示すように、肥厚強調画像生成部62は、肥厚部分の情報が入った信号を大きくするために信号B,G,Rのゲインを調整するゲイン調整部62aと、ゲイン調整された信号B,G,Rから被検体の平均的明るさを表す明度信号Iを生成する明度信号生成部62bと、明度信号Iから肥厚画像を抽出する肥厚抽出部62cと、この肥厚抽出部で抽出した肥厚画像を通常光画像に合成して肥厚強調画像を生成する画像生成部62dとを備えている。
【0039】
ゲイン調整部62aは、肥厚観察モード時又は肥厚・血管観察モード時に得られる信号B,G,Rのうち、信号Bについては画素値に1以下のゲインを掛け合わせ、信号G,Rについては画素値に1以上のゲインを掛け合わせる。肥厚は表層から中深層にかけて厚みを帯びているため、波長が500nmを下回るような短波長の光の反射光ではなく、波長が500nmを超えるような長波長の光の反射光に肥厚に関する情報が多く含まれている。したがって、波長が500nmを下回る光の反射光の情報を多く含む信号Bの画素値を低下させる一方で、波長が500nmを超える光の反射光の情報を多く含む信号G,Rの画素値を増加させることで、肥厚に関する情報を顕著化することができる。
【0040】
明度信号生成部61bは、ゲイン調整された信号B,G,Rの信号値の合計値(B+G+R)を3で除算することにより、明度信号I(=(B+G+R)/3)を生成する。この明度信号Iは、各色の信号値を平均化したものであるため、被検体の平均的な明るさを表している。肥厚抽出部61cは、図10(A)に示すように、明度信号Iのうち画素値が閾値Th2〜Th3の中輝度範囲M内にある画素領域を、肥厚Qとして抽出する。肥厚Qが抽出された肥厚画像80は、図10(B)に示すように、画素値が中輝度範囲M内に収まっている画素領域については画素値をそのままを用いる一方で、画素値が中輝度範囲Mに入っていない画素領域については画素値を「0」にする。
【0041】
このように画素値が中輝度範囲Mに入っている画素領域を肥厚Qとしているのは、以下の理由による。肥厚Qは、図11に示すように、生体組織表層から隆起部によって、肥厚していない他の部位と比べて、表層〜中深層にかけての厚みが大きくなっている。したがって、中深層にまで深達度を有する500nm超の光を照射した場合、肥厚Qからの反射光R1は、肥厚していない他の部位の反射光R2と比較して、光量が弱まる。一方、この肥厚Qから反射光R1は、中深層血管V2に500nm超の光を照射したときの反射光R3ほど、光量は弱まらない。これは、肥厚Qを形成する粘膜の吸光度が、血管中のヘモグロビンの吸光度よりも低いためである。そこで、画素値が中輝度範囲Mに入っている画素領域を肥厚Qとしている。
【0042】
次に、肥厚画像80に対して、低〜中周波の周波数フィルタリング処理を施す。肥厚部分の輝度値は他の部位と比べて変化が小さい。そこで、低〜中周波の周波数フィルタリングを施すことで、図10(C)に示すように、肥厚のみがシャープに抽出された肥厚画像80が得られる。
【0043】
画像生成部61dは、肥厚抽出部61cで得られた肥厚画像80と通常光画像を合成することにより、図12に示す肥厚強調画像82を生成する。生成された肥厚強調画像82は、表示制御回路58によってモニタ14に表示される。肥厚強調画像82は、明るい通常光画像をベースとしているため、視認性が確保した状態で診断を行うことができる。また、肥厚強調画像82は、生体組織表層の生体情報のうち肥厚Qのみが明瞭化されているため、肥厚のみに着目して癌診断を行う場合に適した画像となっている。
【0044】
図7に示すように、凹凸・血管強調画像生成部63は、B/G画像生成部63a、血管抽出部63b、凹凸・血管強調画像生成部63cを備えている。B/G画像生成部63aは、白色光の像光の撮像により得られる信号のうち青色成分の信号及び緑色成分の信号から、B/G画像を生成する。B/G画像の各画素には、青色信号Bの信号値を緑色信号Gの信号値で除した輝度比B/Gの情報が含まれている。肥厚観察モード又は肥厚・血管観察モードの場合であれば、BとGとからB/G画像が生成される。一方、表層微細構造観察モード又は微細構造・血管観察モードの場合であれば、B1とG1とからB/G画像が生成される。
【0045】
B/G画像における各画素の輝度比B/Gは血管深さと関連性を有しており、図13に示すように、血管深さが大きくなるほど輝度比B/Gも大きくなる比例関係となっている。したがって、「表層血管の輝度<粘膜の輝度<中深層血管の輝度」の大小関係が成り立っている。なお、図14のB/G画像が示すように、照明ムラ等の要因により、B/G画像の輝度は中心部分が一番高く、中心から周辺に向かうほど低くなる分布となる場合があることから、上記大小関係(表層血管の輝度<粘膜の輝度<中深層血管の輝度)は局所的には成り立つものの、大局的には成り立たないことがある。
【0046】
血管抽出部63bは、B/G画像から特定の層に位置する血管を抽出した血管抽出画像を生成する。血管抽出は、周波数フィルタリング処理により行われる。表層血管を抽出する場合には、表層血管に多い周波数帯成分である高周波成分をB/G画像から抽出する。これにより、図15に示すように、表層血管の輝度が負で、粘膜部分の輝度がほぼ「0」となる表層血管抽出画像が得られる。表層血管抽出画像では、表層血管のみがシャープに抽出されている。一方、中深層血管を抽出する場合には、中深層血管に多い周波数帯成分である中周波成分をB/G画像から抽出する。これにより、図16に示すように、中深層血管の輝度が正で、粘膜部分の輝度がほぼ「0」となる中深層血管抽出画像が得られる。中深層血管抽出画像では、中深層血管のみがシャープに抽出されている。
【0047】
以上のような周波数フィルタリング処理を行うことで、粘膜の成分はほぼ「0」に近い値となるため、血管部分のみを抽出することができる。また、上記大小関係(表層血管の輝度<粘膜の輝度<中深層血管の輝度)も大局的に成り立つようになる。
【0048】
凹凸・血管強調画像生成部65は、微細構造・血管観察モードに設定されている場合には、表層微細構造画像、血管抽出画像、及び通常光画像を合成することにより、表層微細構造及び特定層の血管とが明瞭化された微細構造・血管強調画像が生成される。生成された微細構造・血管強調画像は、表示制御回路58によってモニタ14に表示される。例えば、血管抽出画像として表層血管抽出画像が用いられた場合には、図17に示すように、多数の腺管で構成されるピットパターンPと腺管の間にある微細血管V1の両方が明瞭化された微細構造・血管強調画像90が表示される。このように、ピットパターンPと微細血管V1の両方を明瞭化することで、癌の鑑別における診断能を向上させることができる。
【0049】
一方、凹凸・血管強調画像生成部65は、肥厚・血管観察モードに設定されている場合には、肥厚画像、血管抽出画像、及び通常光画像を合成することにより、肥厚及び特定層の血管が明瞭化された肥厚・血管強調画像が生成される。生成された肥厚・血管強調画像は、表示制御回路58によってモニタ14に表示される。例えば、血管抽出画像として中深層血管抽出画像が用いられた場合には、図18に示すように、肥厚Qと中深層血管V2の両方が明瞭化された肥厚・血管強調画像92が表示される。このように癌の可能性がある肥厚Qと中深層血管V2の両方を明瞭化することで、スクリーニング時に病変部を検出し易くなる。
【0050】
次に、表層微細構造観察モード及び微細構造・血管観察モードにおける一連の流れを、図19に示すフローチャートを用いて説明する。
【0051】
モード切替SW15により表層微細構造観察モード又は微細構造・血管観察モードに切り替えられると、被検体に向けて白色光Wが照射される。この白色光Wが照明された被検体をカラーのCCD44で撮像することにより、CCD44から青色信号B1、緑色信号G1、赤色信号R1が出力される。この後に、被検体に向けて白色光W及び青色狭帯域光BNが同時照射される。白色光W及び青色狭帯域光BNが照明された被検体をCCD44で撮像することにより、CCD44から青色信号B2、緑色信号G2、赤色信号R2が出力される。
【0052】
次に、青色信号B1、緑色信号G1、赤色信号R1に基づいて、通常光画像を生成する。そして、青色信号B2,G2,R2の信号値の合計値(B2+G2+R2)を3で除算することにより、明度信号Iを生成する。この明度信号Iのうち高輝度閾値Th1を超える画素領域を抽出して表層微細構造画像を生成する。生成した表層微細構造画像70に高周波の周波数フィルタリングを施すことによって、画像中の表層微細構造をシャープにする。
【0053】
そして、表層微細構造観察モードに設定されている場合には、周波数フィルタリングが施された表層微細構造画像と通常光画像とを合成することによって、表層微細構造強調画像が生成される。生成された表層微細構造強調画像は、モニタ14に表示される。以上の一連の動作は、表層微細構造観察モードに設定されている間、繰り返し行われる。
【0054】
一方、微細構造・血管観察モードに設定されている場合には、青色信号B1及び緑色信号G1間の輝度比B/GからなるB/G画像を生成する。B/G画像が生成されると、B/G画像から特定層の血管が抽出される。これにより、血管抽出画像が得られる。この血管抽出画像、表層微細構造強調画像70、及び通常光画像を合成することにより、微細構造・血管強調画像が生成される。生成された微細構造・血管強調画像は、モニタ14に表示される。以上の一連の動作は、微細構造・血管観察モードに設定されている間、繰り返し行われる。
【0055】
次に、肥厚観察モード及び肥厚・血管観察モードにおける一連の流れを、図19に示すフローチャートを用いて説明する。
【0056】
モード切替SW15により肥厚観察モード又は肥厚・血管観察モードに切り替えられると、被検体に向けて白色光Wが照射される。この白色光Wが照明された被検体をカラーのCCD44で撮像することにより、CCD44から青色信号B、緑色信号G、赤色信号Rが出力される。
【0057】
次に、青色信号B、緑色信号G、赤色信号Rに基づいて、通常光画像を生成する。また、これら信号B,G,Rをゲイン調整することによって、信号Bの画素値を低下させる一方で、信号G,Rの画素値は増加させる。そして、ゲイン調整された信号B,G,Rの信号値の合計値(B+G+R)を3で除算することにより、明度信号Iを生成する。この明度信号Iのうち低輝度閾値Th2を下回る画素領域を抽出して肥厚画像を生成する。生成した肥厚画像に低〜中周波の周波数フィルタリングを施すことによって、画像中の肥厚をシャープにする。
【0058】
そして、肥厚観察モードに設定されている場合には、周波数フィルタリングが施された肥厚画像と通常光画像とを合成することによって、肥厚強調画像が生成される。生成された肥厚強調画像は、モニタ14に表示される。以上の一連の動作は、肥厚観察モードに設定されている間、繰り返し行われる。
【0059】
一方、肥厚・血管観察モードに設定されている場合には、青色信号B及び緑色信号G間の輝度比B/GからなるB/G画像を生成する。B/G画像が生成されると、B/G画像から特定層の血管が抽出される。これにより、血管抽出画像が得られる。この血管抽出画像、肥厚強調画像、及び通常光画像を合成することにより、肥厚・血管強調画像が生成される。生成された肥厚・血管強調画像は、モニタ14に表示される。以上の一連の動作は、肥厚・血管観察モードに設定されている間、繰り返し行われる。
【0060】
本発明の第2実施形態では、カラーのCCDを用いた同時方式の第1実施形態とは異なり、RGBのロータリフィルタを用いた面順次方式で、被検体の撮像を行う。図21に示すように、第2実施形態の内視鏡システム100では、光源装置113の構成が第1実施形態の光源装置13と異なっている。また、電子内視鏡11の先端部16aには蛍光体40が設けられていない。また、電子内視鏡11内のCCDの構成及び撮像制御部46の動作が第1実施形態と異なっている。また、微細構造観察モード及び微細構造・血管観察モードにおける通常光画像の生成方法が異なっている。それ以外については、第1実施形態と同様であるので、第1実施形態と異なる部分についてのみ以下で説明する。
【0061】
光源装置113は、広帯域光BB(400〜700nm)を発する白色光源130と、この白色光源130からの広帯域光BBをB、G、Rの3色の光に色分離し、それら各色の光を順次ライトガイド43に供給するロータリフィルタ134と、青色狭帯域光BNを発する半導体光源ユニット136と、ロータリフィルタ134とライトガイド43の間の広帯域光BBの光路L1上に青色狭帯域光BNを合流させる光合流部138とを備えている。
【0062】
白色光源130はキセノンランプ、ハロゲンランプ、メタルハライドなどから構成される。ロータリフィルタ134は、図22に示すように、Bフィルタ部134a、Gフィルタ部134b、Rフィルタ部134cが選択的に広帯域光BBの光路L1に挿入されるように回転自在に設けられている。ロータリフィルタ134は、円板形状をしており、円周方向に3分割されて中心角が120°の扇型の領域に、それぞれBフィルタ部134a、Gフィルタ部134b、Rフィルタ部134cが設けられている。
【0063】
図23に示すように、Bフィルタ部134aは広帯域光BBから青色帯域のB光を透過させ、Gフィルタ部134bは広帯域光BBから緑色帯域のG光を透過させ、Rフィルタ部134cは広帯域光BBから赤色帯域のR光を透過させる。したがって、ロータリフィルタ134の回転によって、ロータリフィルタ134からはB光、G光、R光が順次出射する。
【0064】
半導体光源ユニット136は、青色狭帯域光源136a、光ファイバ136b、光源制御部136cを有する。図23に示すように、青色狭帯域光源136aはレーザーダイオードなどの半導体光源から構成され、中心波長405nmの青色狭帯域BNを発光する。青色狭帯域光源136aは、光源制御部136cの制御に従って、点灯及び消灯を行う。通常観察モード、肥厚観察モード、肥厚・血管観察モードの場合には、青色狭帯域光源236aは常時消灯される。微細構造観察モード、微細構造・血管観察モードの場合には、ロータリフィルタ134のBフィルタ134aが広帯域光BBの光路L1に挿入されたときにのみ、青色狭帯域光源136aのみが点灯し、それ以外のGフィルタ、Rフィルタ134b、134cが光路L1に挿入されたときには、青色狭帯域光源136aは消灯する。
【0065】
光ファイバ136bは、青色狭帯域光源136aからの青色狭帯域光BNが入射する。この青色狭帯域光BNは、コリメータレンズ(図示省略)を通して、光合流部138に向けて出射する。光合流部138はダイクロイックミラーであり、ロータリフィルタ134からの光はそのまま透過させる一方で、半導体光源ユニット136からの青色狭帯域光BNは反射させる。これによって、青色狭帯域光BNの光路L2を広帯域光BBの光路L1に一致させる。光合流部138を出た光は、集光レンズ142を通して、ライトガイド43に入射する。
【0066】
電子内視鏡内のCCD144は、上記第1実施形態と異なり、撮像面にマイクロカラーフィルタが設けられていないモノクロ撮像素子である。また、このCCD144の撮像を制御する撮像制御部46についても、上記第1実施形態と異なる動作を行う。
【0067】
通常観察モード、肥厚観察モード、肥厚・血管観察モードにおいては、図24Aに示すように、B、G、Rの三色の像光を順次撮像して電荷を蓄積し、この蓄積した電荷に基づいて面順次撮像信号B、G、Rを順次出力する。この一連の動作は、通常観察モード、肥厚観察モード、肥厚・血管観察モードに設定されている間、繰り返される。面順次撮像信号B、G、Rは、それぞれ第1実施形態のB、G、Rに対応している。
【0068】
また、微細構造観察モード、微細構造・血管観察モードにおいては、図24Bに示すように、同時照射されたB色の光及び青色狭帯域光BNの混色光の像光、G色の光の像光、R色の光の像光をそれぞれ順次撮像して電荷を蓄積し、この蓄積した電荷に基づいて面順次撮像信号B+BN、G、Rを順次出力する。この一連の動作は表層観察モードに設定されている間、繰り返される。面順次撮像信号B+BN、G、Rは、それぞれ第1実施形態のB2、G2、R2に対応している。
【0069】
第2実施形態では、微細構造観察モード、微細構造・血管観察モード時に通常光画像を生成する場合、通常光画像生成部55内の補正信号生成部55aで、面順次撮像信号B+BNから青色狭帯域光BNの成分を除去した補正信号B´を生成し、その補正信号B´と面順次撮像信号G、Rと用いて、通常光画像を生成する。補正信号生成部55aでは、B色の光の光量と青色狭帯域光BNの光量の関係等から予め定められる補正係数kを、面順次撮像信号B+BNに掛け合わせることによって、補正信号B´を生成する。
【0070】
なお、上記第1及び第2実施形態では、明度信号Iのうち画素値が閾値Th1を上回る画素領域を表層微細構造としたが、これに代えて、明度信号Iのうち画素値が閾値Th4〜Th5の高輝度範囲Nにある画素領域を表層微細構造としてもよい。この高輝度範囲Nの上限値Th5は、照明光の正反射により生じるハレーションの輝度値よりも低く設定されている。したがって、高輝度範囲Nによって抽出処理を行うことで、ハレーション領域ではなく、表層微細構造のみを抽出することができる。なお、閾値Th1は、高輝度範囲Nの範囲内に含まれている。
【符号の説明】
【0071】
10,100 内視鏡システム
44,144 CCD
57 特殊光画像生成部
61 表層微細構造強調画像生成部
61a,62a 明度信号生成部
61b 微細構造抽出部
61c,62c 画像生成部
62b 肥厚抽出部
63 凹凸・血管強調画像生成部
63a B/G画像生成部
63b 血管抽出部
63c 凹凸・血管強調画像生成部
70 表層微細構造画像
72 表層微細構造強調画像
80 肥厚画像
82 肥厚強調画像
90 微細構造・血管強調画像
92 肥厚・血管強調画像
130 白色光源
134 ロータリフィルタ

【特許請求の範囲】
【請求項1】
被検体を撮像することにより、画像信号を取得する画像信号取得手段と、
前記画像信号に基づいて、可視光領域の波長成分が含まれる通常光画像を生成する通常光画像生成手段と、
前記画像信号から前記被検体上の凹凸情報のみを抽出した凹凸画像を生成する凹凸画像生成手段と、
前記通常光画像及び前記凹凸画像を合成した第1合成画像を生成する第1合成画像生成手段とを備えることを特徴とする内視鏡システム。
【請求項2】
前記凹凸画像生成手段は、
前記画像信号から生体組織表層の微細構造のみを抽出した微細構造画像を、前記凹凸画像として生成する微細構造画像生成部を有し、
前記第1合成画像生成手段は、前記通常光画像に前記微細構造画像を合成して第1合成画像を生成する通常光画像及び微細構造画像合成部とを有することを特徴とする請求項1または2記載の内視鏡システム。
【請求項3】
前記凹凸画像生成手段は、
前記画像信号から生体組織表層から中深層にかけて厚みを帯びた肥厚のみを抽出した肥厚画像を、前記凹凸画像として生成する肥厚画像生成部を有し、
前記第1合成画像生成手段は、前記通常光画像に前記肥厚画像を合成して第1合成画像を生成する通常光画像及び肥厚画像合成部とを有することを特徴とする請求項1記載の内視鏡システム。
【請求項4】
前記画像信号に基づいて、前記被検体において特定深さに位置する血管を抽出した血管抽出画像を生成する血管抽出画像生成手段と、
前記通常光画像、前記血管抽出画像、及び前記凹凸画像を合成した第2合成画像を生成する第2合成画像生成手段を有することを特徴とする請求項1ないし3いずれか1項記載の内視鏡システム。
【請求項5】
前記画像信号は、被検体の生体組織の表層にまで深達度がある青色光成分を有する青色信号と生体組織の中深層にまで深達度がある緑色光成分を有する緑色信号を少なくとも含む複数色の画像信号で構成され、
前記血管抽出画像生成手段は、前記複数色の画像信号のうち前記青色信号と前記緑色信号の比に基づいて、前記特定深さの血管を抽出することを特徴とする請求項4記載の内視鏡システム。
【請求項6】
前記血管抽出画像には、血管の深さに対応した周波数の周波数フィルタリングが施されていることを特徴とする請求項4または5項記載の内視鏡システム。
【請求項7】
前記被検体の撮像は、色分離フィルタが設けられた複数色の画素を有するカラーの撮像素子によって行うことを特徴とする請求項1ないし6いずれか1項記載の内視鏡システム。
【請求項8】
複数色の光を被検体に順次照射する照明手段を備え、
前記被検体の撮像は、前記照明手段で順次照射される毎に、モノクロの撮像素子で行うことを特徴とする請求項1ないし6いずれか1項記載の内視鏡システム。
【請求項9】
前記凹凸画像を表示する表示手段を備えることを特徴とする請求項1ないし8いずれか1項記載の内視鏡システム。
【請求項10】
被検体を撮像素子で撮像することにより画像信号を取得し、
前記画像信号に基づいて、可視光領域の波長成分が含まれる通常光画像を通常光画像生成部により生成し、
前記画像信号から前記被検体上の凹凸情報のみを抽出した凹凸画像を、凹凸画像生成手段により生成し、
前記通常光画像及び前記凹凸画像を合成した第1合成画像を、第1合成画像生成手段により生成することを特徴とする画像生成方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4A】
image rotate

【図4B】
image rotate

【図5】
image rotate

【図6A】
image rotate

【図6B】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24A】
image rotate

【図24B】
image rotate


【公開番号】特開2013−99509(P2013−99509A)
【公開日】平成25年5月23日(2013.5.23)
【国際特許分類】
【出願番号】特願2012−193907(P2012−193907)
【出願日】平成24年9月4日(2012.9.4)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】