説明

画像処理装置

【課題】内視鏡装置によって撮影した画像において、狭帯域光を用いる特殊光観察画像と、白色光を用いる通常光観察画像との、両者の特性を備えた画像を表示できる画像処理装置を提供する。
【解決手段】白色光で撮影した通常光観察画像、および、この通常光観察画像と同時に所定の狭帯域光で撮影した特殊光観察画像を取得する画像取得手段と、画像取得手段が取得した通常光観察画像に所定の処理を施し、所定の処理によって生成した通常光観察画像の情報を、特殊光観察画像に付与する画像処理手段とを有することにより、前記課題を解決する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、白色光による通常光観察画像と特定の狭帯域光による特殊光観察画像との、両者の特徴を生かした内視鏡による画像を可能にする画像処理装置に関する。
【背景技術】
【0002】
近年、特定の狭い波長帯域光(狭帯域光)を観察光として生体の粘膜組織に照射し、生体組織の所望の深さの組織情報を得る、いわゆる特殊光観察を行うことができる内視鏡装置が活用されている。
この特殊光観察によれば、粘膜層或いは粘膜下層に発生する新生血管の表層微細構造、病変部の強調等、通常光(白色光)での観察像では得られない生体情報を簡単に可視化できる。例えば、観察対象が癌病変部である場合、表層組織の観察に適した青色(B)の狭帯域光と、中深層組織の観察に適した緑色(G)の狭帯域光とを粘膜組織に照射することにより、組織表層の微細血管や微細構造の状態がより詳細に観察できるため、病変部をより正確に診断することができる。
【0003】
通常光観察および特殊光観察の機能を有する内視鏡装置として、特許文献1に示されるような内視鏡装置が知られている。
この内視鏡装置は、白色光を照射する光源と、白色光を赤(R)光にするRフィルタ、同緑(G)光にするGフィルタ、および、同青(B)光にするBフィルタを有する回転フィルタとを有する光源装置、ならびに、入射光を分光せずに測定する撮像素子で画像を撮影する内視鏡を用いるもので、いわゆる面順次で画像を撮影する内視鏡装置である。
【0004】
この特許文献1に記載される内視鏡装置は、回転フィルタとして、外周側の第1のフィルタ組と、内衆側の第2のフィルタ組とを有する、二重構造の物を用いている。
ここで、外周側の第1のフィルタ組は、各色の波長領域が互いに重なる(オーバーラップする)分光特性を有する、通常光観察用のフィルタとなっている。他方、内周側の第2のフィルタ組は、各色の波長領域が互いに離間する、離散的な狭帯域の分光特性を有する、特殊光観察用のフィルタとなっている。
従って、この内視鏡装置によれば、回転フィルタの回転軸を移動することにより、通常光観察を行なう場合には第1のフィルタ組を光路に作用させ、特殊光観察を行なう場合には、第2のフィルタ組を光路に作用させることで、通常光観察および特殊光観察の両方を行なうことができる。
【0005】
しかしながら、この内視鏡装置では、通常光観察と特殊光観察とを切り換えるためには、回転フィルタの切り替えが必要である。そのため、同じ生体組織において、通常光観察と特殊光観察との両者を同時に観察することができない。
これに対して、通常光観察と特殊光観察との同時観察を可能にするための提案が、各種、行なわれている。
【0006】
例えば、特許文献2には、回転方向に2分割した回転フィルタによって、通常光と特殊光とによる撮影を所定の期間で交互に行なって記憶し、所定のタイミングで、画像を読み出し、互いに異なる処理を施して、通常光観察画像と特殊光観察画像とを(略)同時に取得する内視鏡装置(電子内視鏡システム)が記載されている。
この内視鏡装置では、このようにして同時期に取得した通常光観察画像と特殊光観察画像とを、切り替え表示し、あるいは1画面に並べて表示し、あるいは重ねて(2画像の合成)表示することで、通常光観察画像と特殊光観察画像との同時観察を行なっている。
【0007】
また、特許文献3には、帯域制限して撮影したR、GおよびB画像からなるカラー画像を、ローパスフィルタやバンドパスフィルタで処理することにより、通常光観察画像の画像信号と特殊光画像の画像信号を生成することで、通常光観察画像と特殊光観察画像とを同時に取得する内視鏡装置が記載されている。
この内視鏡装置でも、取得した通常光観察画像と特殊光観察画像とを、切り替え表示し、あるいは1画面に並べて表示することで、通常光観察画像と特殊光観察画像との同時観察を行なっている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特許第3559755号公報
【特許文献2】特開2004−321244号公報
【特許文献3】特開2008−43604号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
特許文献2および特許文献3に記載される内視鏡装置によれば、同一の生体組織において、特殊光画像と通常光画像とを、同時に表示して、観察することができる。
しかしながら、これらの文献に記載される装置では、特殊光観察画像と通常光観察画像とを見比べる必要が有るので、診察時には手間が残り、未だ、表層の微細血管を観察し易い等の特殊光観察画像の利点、明るく、奥行き方向も含めた撮影領域全体の構成や状態を認識し易い等の通常光観察画像の利点など、通常光観察画像と特殊光観察画像との両者の特性を十分に生かした、内視鏡観察画像を得られるには至っていない。
【0010】
本発明の目的は、前記従来技術の問題点を解決することにあり、同時(略同時)に内視鏡で撮影した通常光観察画像と特殊光観察画像とを取得して、通常光観察画像と特殊光観察画像との特性を十分に生かした画像を表示することができる画像処理装置を提供することにある。
【課題を解決するための手段】
【0011】
前記目的を達成するために、本発明の内視鏡装置は、白色光を観察光として内視鏡で撮影した通常光観察画像、および、前記通常光観察画像と同時に前記内視鏡によって撮影した、所定の狭帯域光を観察光として撮影した特殊光観察画像を取得する画像取得手段と、
前記画像取得手段が取得した通常光観察画像に所定の処理を施し、前記所定の処理によって生成した通常光観察画像の情報を、前記特殊光観察画像に付与する画像処理手段とを有することを特徴とする画像処理装置を提供する。
【0012】
このような本発明の内視鏡装置において、前記画像処理手段は、前記所定の処理として、前記通常光観察画像に周波数処理を行なうのが好ましい。
この際において、前記画像処理手段は、前記通常光観察画像をローパスフィルタで処理する機能、および、前記通常光観察画像をバンドパスフィルタで処理する機能の1以上を有するのが好ましい。また、前記画像処理手段は、前記通常光観察画像をローパスフィルタで処理して、処理済の画像の平均値を求め、平均値との差が所定の閾値以上である画素を抽出する機能を有するのが好ましい。さらに、前記画像処理手段は、前記通常光観察画像をローパスフィルタで処理して、処理済の画像における各画素の赤、緑および青の比、ならびに、赤、緑および青の比の平均値を求め、この比の前記平均値との差が所定の閾値以上である画素を抽出する機能を有するのが好ましい。
【発明の効果】
【0013】
本発明の画像処理装置は、白色光を観察光として内視鏡で撮影した通常光観察画像、および、この通常光観察画像と(略)同時に同一位置を内視鏡で撮影した、特定の狭帯域光を観察光とする特殊光観察画像を取得して、通常光観察画像に所定の処理を施した後に、画像合成等によって、処理済の通常光観察画像の情報を特殊光観察画像に付与した画像を生成する。
そのため、本発明の画像処理装置によれば、特殊光観察画像に、例えばローパスフィルタ等で周波数処理を行なった通常光観察画像の情報を付与することにより、特殊光観察では不明確になりがちな生体表面の構造や状態の情報、光量が不足して観察しにくい観察視野の奥の方の情報を、特殊光観察による表層の毛細血管や中深層の太い血管等を好適に再生した画像に付与した画像を生成できる。
【0014】
従って、本発明によれば、同時に同一位置を撮影した特殊光観察画像と通常光観察画像とを用い、表層の毛細血管や中深層の太い血管等を好適に再生した特殊光観察画像を基本にして、奥行きを含めた撮影領域全体の構成や状態を認識し易い通常光観察画像の情報を付与してなる、通常光観察画像と特殊光観察画像との特性を十分に生かした画像を生成して、表示することができる。
【図面の簡単な説明】
【0015】
【図1】本発明の内視鏡装置の一例を概念的に示す図である。
【図2】図1に示す内視鏡装置の構成を概念的に示すブロック図である。
【図3】(A)および(B)は、図1に示される内視鏡装置に用いられる回転フィルタの一例を概念的に示す図である。
【図4】図1に示す内視鏡装置の処理系を概念的に示すブロック図である。
【図5】本発明の内視鏡装置の別の例の構成を概念的に示すブロック図である。
【図6】本発明の内視鏡装置の別の例の構成を概念的に示すブロック図である。
【図7】図6に示す内視鏡装置における観察光の分光特性の一例を概念的に示す図である。
【発明を実施するための形態】
【0016】
以下、本発明の画像処理装置について、添付の図面に示される好適実施例に基づいて詳細に説明する。
【0017】
図1に、本発明の画像処理装置を利用する内視鏡装置の一例の概略斜視図を示し、図2に、図1に示す内視鏡装置の構成を概念的に示す。
【0018】
図示例の内視鏡装置10は、一例として、内視鏡12と、内視鏡12が撮影した画像の処理等を行なうプロセッサ装置14と、内視鏡12での観察(撮影)を行なうための観察光(照明光)を供給する光源装置16とを有して構成される。
また、プロセッサ装置14は、内視鏡が撮影した画像を表示する表示装置18と、各種の指示等を入力するための入力装置20とを有する(表示装置18および入力装置20が接続される)。さらに、プロセッサ装置14は、内視鏡が撮影した画像をハードコピーとして出力するプリンタ(記録装置)を有してもよい。
図示例の内視鏡装置10においては、このプロセッサ装置14が、本発明の画像処理装置を構成するものである。
【0019】
図2に示すように、内視鏡12は、CCDセンサ48等の撮像素子を用いて、画像を光電的に撮影する、電子内視鏡である。この内視鏡12は、通常の内視鏡と同様、挿入部26と、操作部28と、ユニバーサルコード30と、コネクタ32と、ビデオコネクタ36とを有する。
内視鏡12は、観察時(診断時)には、ビデオコネクタ36をプロセッサ装置14の接続部14aに、コネクタ32を光源装置16の接続部16aに、それぞれ接続される。なお、コネクタ32には、通常の内視鏡と同様、観察部位の吸引や送気を行なう吸引手段や送気手段、観察部位に水を噴射するための吸水手段等が接続される。
【0020】
また、通常の内視鏡と同様、内視鏡12の挿入部26は、基端側の長尺な軟性部38と、CCDセンサ48等が配置される先端のスコープ部(内視鏡先端部)42と、軟性部38とスコープ部42との間の湾曲部(アングル部)40とを有し、さらに、操作部28には、湾曲部40を湾曲させる、操作ノブ28a等が設けられる。
【0021】
図2に概念的に示すように、スコープ部42には、撮影レンズ46、CCDセンサ48、照明用レンズ50、および、光ファイバ52や、レンズ等を保護するためカバーガラス(図示省略)等が配置される。
【0022】
なお、図示は省略するが、内視鏡12には、鉗子等の各種の処置具を挿通するための鉗子チャンネルおよび鉗子口、吸引、送気、送水等を行うための送気/送水チャンネルおよび送気/送水口等も設けられる。
鉗子チャンネルは、湾曲部40および軟性部38を通って操作部28に設けられる鉗子挿入口に連通し、送気/送水チャンネルは、湾曲部40、軟性部38、操作部28、およびユニバーサルコード30を通って、コネクタ32の吸引手段、送気手段、送水手段との接続部に連通する。
【0023】
光ファイバ52は、湾曲部40、軟性部38、操作部28、およびユニバーサルコード30を通って、光源装置16に接続されるコネクタ32まで挿通されている。
後述する光源装置16が照射する観察光は、コネクタ32から光ファイバ52に入射して、光ファイバ52で伝搬されて、スコープ部42において、光ファイバ52の先端部から照明用レンズ50に入射して、照明用レンズ50によって観察部位に照射される。
【0024】
また、観察光が照射された観察部位の画像は、撮影レンズ46によってCCDセンサ48の受光面に結像される。
図示例の内視鏡装置10において、内視鏡12に用いられるCCDセンサ48は、受光面に入射した光を、R(赤)、B(青)およびG(緑)などの帯域光に分光することなく測光する、いわゆるモノクロのCCDセンサである。CCDセンサ48は、後述する光源装置16から供給されるR光、G光、B光およびBの狭帯域光を観察光として、いわゆる面順次で、観察部位の撮影を行なう。
【0025】
なお、本発明において、撮像素子はCCDセンサ48に限定はされず、CMOSイメージセンサ等、公知の各種の撮像素子が利用可能である。
【0026】
CCDセンサ48の出力信号は、信号線によって、スコープ部42から湾曲部40、軟性部38、操作部28、ユニバーサルコード30、およびコネクタ32を通ってビデオコネクタ36に送られる。
【0027】
図示例においては、ビデオコネクタ36に、AFE(Analog Front End)基板56が配置される。
AFE基板56には、一例として、相関二重サンプリング回路、アンプ(自動利得制御回路)、およびA/D変換器が配置される。CCDセンサ48の出力信号は、AFE基板56において、相観二重サンプリングによるノイズ除去、アンプによる増幅を行なわれ、さらに、A/D変換器によってアナログ信号からデジタル信号に変換されて、デジタルの画像信号として、プロセッサ装置14(後述するDSP76)に、出力される。
なお、本発明の内視鏡装置において、これらの処理は、ビデオコネクタ36ではなく、コネクタ32で行なってもよく、あるいは、プロセッサ装置14で行なってもよい。
【0028】
前述のように、内視鏡装置10において、内視鏡12のコネクタ32は、光源装置16の接続部16aに接続される。
光源装置16は、生体内での観察を行なうための観察光を内視鏡12に供給するものである。前述のように、光源装置16から内視鏡12に供給された観察光は、コネクタ32から光ファイバ52に入射して伝搬されて、スコープ部42から観察部位に照射される。
【0029】
図2に概念的に示すように、内視鏡装置10において、光源装置16は、光源60と、コリメータレンズ62と、回転フィルタ64と、集光レンズ68と、光ファイバ70と、回転駆動源72と、前述の接続部16aとを有する。
【0030】
光源60は、観察光となる光を照射する光源である。
図示例の内視鏡装置10の光源装置16において、光源60は、キセノンランプや自然光LED等、公知の内視鏡装置等で利用されている白色光を照射可能な光源が、各種、利用可能である。
【0031】
光源60が照射した白色光は、コリメータレンズ62によって平行光に整形され、回転フィルタ(フィルタターレット)64に入射する。
図3(A)に、回転フィルタ64の概念図を示す。回転フィルタ64は、白色光をR光にするRフィルタ74r、白色光をG光にするGフィルタ74g、および、白色光をB光にするBフィルタ74bと、白色光をBの狭帯域光にする狭帯域Bフィルタ74nbとの、4つのフィルタを有するものである。
【0032】
R、GおよびBの各フィルタは、画像をRGBの3原色に分光するカラー画像の撮影に利用される、公知の色フィルタである。
また、狭帯域B光とは、例えば、波長が380〜480nmの範囲内で分光分布における波長帯域が75nm以下の光である。具体的には、内視鏡における、いわゆる特殊光観察(狭帯域光観察)で利用される各種のBの狭帯域光が例示され、より具体的には、波長が390〜445nmの範囲に入る光、特に、波長が400±10nmで中心波長が405nmの光等が例示される。
狭帯域Bフィルタ74nbは、白色光を、このようなBの狭帯域光(以下、狭帯域B光とする)にできるフィルタが、各種、利用可能である。
【0033】
回転フィルタ64は、後述するプロセッサ装置14の制御部14bに駆動(回転)を制御される回転駆動源74によって、回転軸64aを中心に回転され、各フィルタを、順次、コリメータレンズ62を通過した光の光路に挿入される。
すなわち、光源60が照射した白色光は、挿入される回転フィルタ64の各フィルタによって、R光、G光、B光、および狭帯域B光に、時分割される。
【0034】
回転フィルタ64の各フィルタを通過した光は、集光レンズ68によって集光されて光ファイバ70の入射端面に入射する。
光ファイバ70に入射した光は、伝搬され、接続部16aから、内視鏡12のコネクタ32を経て、内視鏡12の光ファイバ52に入射して伝搬され、観察光としてスコープ部42から観察部位に照射され、CCDセンサ48が観察部位の画像を撮影する。
【0035】
前述のように、光源装置16は、回転フィルタ64によって、光源60が照射した白色光を、R光、G光、B光、および狭帯域B光に、時分割して観察光を供給する。従って、内視鏡12には、R光、G光、B光、および狭帯域B光が、順次、繰り返し、供給され、スコープ部42から観察部位に照射される。
CCDセンサ48は、同じく制御部14bによる制御の下、回転フィルタ74に同期して(回転フィルタ74の回転に応じたタイミングで)、各色の光による画像の撮影(サンプリング)を、順次、行なう。すなわち、モノクロのCCDセンサ48は、R光、G光、B光、および狭帯域B光の照射に対応して、R画像、G画像、B画像、および狭帯域B画像を、面順次で撮影する。
内視鏡装置10のプロセッサ装置14は、このR画像、G画像およびB画像から、白色光を観察光とする通常光観察画像を得、狭帯域B画像およびG画像から、特殊光を観察光とする特殊光観察画像を得る。すなわち、内視鏡装置10によれば、同時(略同時)に撮影した通常光観察画像および特殊光観察画像を得ることができる。この点に関しては、後に詳述する。
【0036】
なお、図示例の内視鏡装置10に用いられる光源装置16において、回転フィルタ64は、図3(A)に示される、4つのフィルタを有する構成に限定はされない。
例えば、図3(B)に示されるように、Rフィルタ74r、Gフィルタ74g、Bフィルタ74b、および狭帯域Bフィルタ74nbに加え、さらに、白色光を狭帯域のG光にする狭帯域Gフィルタ74ngを有する、5つのフィルタを有する回転フィルタも、好適に利用可能である。
この場合には、プロセッサ装置14は、R画像、G画像およびB画像から、白色光を観察光とする通常光観察画像を、狭帯域B画像および狭帯域のG光による狭帯域G画像から、特殊光を観察光とする特殊光観察画像を、それぞれ同時に得ることができる。
【0037】
なお、Gの狭帯域光とは、例えば、波長が480〜580nmの範囲内で分光分布における波長帯域が75nm以下の光である。具体的には、内視鏡における、いわゆる特殊光観察で利用される各種のGの狭帯域光が例示され、より具体的には、波長が530〜550nmの範囲に入る光等が例示される。
狭帯域Gフィルタ74ngは、白色光を、このようなGの狭帯域光(以下、狭帯域G光とする)にできるフィルタが、各種、利用可能である。
【0038】
光源装置16からの観察光が照射された観察部位の画像は、CCDセンサ48によって撮影される。
CCDセンサ48が撮影した画像(CCDセンサ48の出力信号)は、前述のように、AFE基板56によってA/D変換等の処理を行なわれて、デジタルの画像信号(画像データ/画像情報)として、プロセッサ装置14に供給される。
【0039】
プロセッサ装置14は、内視鏡12から供給(出力)された画像信号(以下、単に画像とも言う)に所定の処理を施して、内視鏡12が撮影した画像として表示装置18に表示すると共に、内視鏡装置10の制御を行なうもので、画像の処理部14aおよび自身を含む内視鏡装置10の全体を制御する制御部14bを有する。
【0040】
図4に、プロセッサ装置14における画像の処理部14aを、ブロック図によって概念的に示す。
図4に示すように、処理部14aは、DSP76と、記憶部78と、特殊光画像生成部80と、通常光画像処理部82と、画像合成部84と、表示信号生成部86とを有する。
【0041】
プロセッサ装置14において、内視鏡12から供給された画像(R画像、G画像、B画像および狭帯域B画像)は、DSP76に供給される。
DSP76は、公知のDSP(Digital Signal Processor)であって、供給された画像に、ガンマ補正、色補正処理等の所定の処理を施した後、記憶部(メモリ)78の所定領域に記憶させる。
【0042】
画像が記憶部78に記憶されると、特殊光画像生成部80が記憶部78から狭帯域B画像およびG画像を読み出して、特殊光観察画像を生成する。また、通常光画像処理部82が、記憶部78からR、GおよびBの画像を読み出して、通常光観察画像を生成し、この通常光観察画像から、特殊光観察画像に合成するための合成用画像を生成する。
前述のように、このR、G、Bおよび狭帯域B画像は、回転フィルタ64の回転によって同時に撮影された画像であり、従って、この特殊光観察画像と通常光観察画像とは、同時に撮影された画像である。
【0043】
特殊光画像生成部80は、読み出し部80aおよび画像処理部80bを有する。
読み出し部80aは、前述のように、記憶部78に記憶された各色の画像のうち、特殊光観察画像となる狭帯域B画像およびG画像を読み出して、画像処理部80bに供給する部位である。
【0044】
なお、光源装置16の回転フィルタが、図3(B)に示されるような狭帯域Gフィルタ74ngを含む5つのフィルタを有する場合には、内視鏡12から供給された画像は、R、G、BおよびB狭帯域の各画像に、狭帯域G画像を加えた5画像となる。
この場合には、読み出し部80aは、G画像は読み出さず、特殊光観察画像となる画像として、記憶部78から、狭帯域B画像および狭帯域G画像を読み出して、画像処理部82bに供給する。さらに、特殊光画像生成部80における以下の処理は、G画像に変えて、狭帯域G画像に対して行なわれる。
【0045】
画像処理部80bは、狭帯域B画像およびG画像を処理して、特殊光観察画像とする部位である。
表示画像(プロセッサ装置14からの出力画像)は、R、GおよびBの3つのサブピクセルで1つの画素を構成する。しかしながら、図示例においては、特殊光観察画像となる画像は、狭帯域B画像およびG画像しか無い。そのため、画像処理部82bは、最初に、G画像を表示に対応するR画素に割り付け、狭帯域B画像を表示に対応するG画素およびB画素に割り付けて、表示に対応するR、GおよびBの3つのサブピクセルを1画素とする画像とする。
なお、画像の割り付けに先立ち、必要に応じて、画像に所定の係数を乗じる等、画像の処理(補正)を行なってもよい。
【0046】
その後、画像処理部80bは、R、GおよびBに割り付けた画像に対して、3×3のマトリクス処理、階調変換処理、3次元LUT処理などによる色変換処理; 画面内の血管と粘膜との色味の差をつけて血管を見易くなるように、画像の平均的な色味よりも血管と粘膜との色味の差をつける方向に強調する色彩強調処理; シャープネス処理や輪郭強調などの像構造強調処理; 等を行なって、特殊光観察画像として、画像合成部84に供給する。
【0047】
他方、通常光画像処理部82は、読み出し部82a、画像処理部82b、および、合成用画像生成部82cを有する。
読み出し部82aは、前述のように、記憶部78に記憶された各色の画像のうち、通常光観察画像となるR画像、G画像およびB画像を読み出して、画像処理部82bに供給する部位である。
【0048】
画像処理部82bは、R、GおよびB画像に対して、3×3のマトリクス処理、階調変換処理、3次元LUT処理などによる色変換処理; 画面内の血管と粘膜との色味の差をつけて血管を見易くなるように、画像の平均的な色味よりも血管と粘膜との色味の差をつける方向に強調する色彩強調処理; シャープネス処理や輪郭強調などの像構造強調処理; 等を行なって、通常光観察画像として、合成用画像生成部82cに供給する。
【0049】
合成用画像生成部82cは、画像処理部82bが生成した通常光観察画像に、所定の処理を施して、特殊光画像生成部80が生成した特殊光画像に合成(特殊光観察画像に、通常光観察画像の情報を付与)するための合成用画像を生成し、画像合成部84に供給する部位である。
【0050】
図示例において、合成用画像生成部82cでは、一例として、画像処理部82bが生成した通常光観察画像に対して、ローパスフィルタ(LPF)やバンドパスフィルタ(BPF)等を用いた周波数処理を施して、合成用画像を生成する。
【0051】
周知のように、狭帯域B光およびG光(好ましくは、狭帯域G光)を用いた特殊光観察によれば、例えば、粘膜表層の微細血管や粘膜中深層の太い(太めの)血管を撮影することができる(これらの血管の情報が得られる)。
その反面、特殊光観察画像は、狭帯域光を用いるために、光量が低く、観察視野の奥の方が暗く、撮影場所等によっては光量不足で画像情報が得られない場合も有る。また、狭帯域B光および(狭)帯域G光での観察であるので、生体表面の凹凸など、観察する生体表面の構造や状態も、視認し難くなってしまう。
これに対し、通常光観察画像は、白色光での高光量の撮影が可能であるために、奥行き方向も含めて、観察視野全域を十分な光量で撮影できる。また、白色光での撮影であるので、生体表面の凹凸など、生体表面の構造や状態も、視認し易い画像が得られる。
【0052】
そのため、通常光観察画像を、LPBや、低周波数の所定周波数帯を通過させるBPFで処理することにより、特殊光観察画像で好適に観察可能な表層微細血管と中深層の太い血管等を除去し、かつ、特殊光観察画像では得るのが困難な、観察視野の奥の方の情報や、生体表面の凹凸などの生体表面の構造や状態の情報を残した画像が得られる。
従って、このように処理した通常光観察画像を合成用画像として、特殊光観察画像に合成することにより、表層の微細血管や中深層の太い血管等を撮影した特殊光観察画像に、奥行きを含めた撮影領域全体の構成や状態を再生した通常光観察画像の情報を付与してなる、通常光観察画像と特殊光観察画像との特性を十分に生かした画像を生成できる。
【0053】
本発明において、合成用画像生成部82cにおける、通常光観察画像から合成用画像を生成するための処理は、1種に限定されない。すなわち、合成用画像生成部82cは、LPFとBPFなどの複数種のフィルタや、通過帯域が異なる複数種のLPF等、複数のフィルタを有し、使用するフィルタを、適宜、選択して、通常光観察画像を処理して、合成用画像を生成してもよい。
例えば、LPFで処理した画像とBPFで処理した画像の合成や、通過帯域の異なる複数種のLPF(BPF)からフィルタを選択しての処理等、異なる複数種の処理を用意して、選択できるようにしておき、入力装置20あるいはさらに内視鏡12の操作部28に設けた指示/入力手段によって、所望の画質(画像)に応じて、合成用画像生成部82cでの処理(作成する合成用画像)を、適宜、選択できるようにしておいてもよい。
【0054】
さらに、このようなフィルタを用いる周波数処理と、各種の演算処理とを組み合わせて、合成用画像を生成してもよい。
一例として、通常光観察画像をLPFで処理して、LPF処理で得られた画像の平均値を求め、平均値との差が、適宜、設定した閾値以上である画素を抽出して、抽出した画素からなる画像を合成用画像とする処理が例示される。
【0055】
別の例として、同様に、通常光観察画像をLPFで処理して、LPF処理で得られた画像について、各画素のR、GおよびBの比、ならびに、この比の平均値を求め、この比が、平均値との差が、適宜、設定した閾値以上である画素を抽出して、抽出した画素からなる画像を合成用画像とする処理が例示される。
このような処理を行なって生成した合成用画像は、共に、画像の平均値とのズレを考慮した画像であるので、表層微細血管や中深層血管を除去し、かつ、観察視野の奥の方の情報を十分に確保した上で、凹凸などの、生体表面の構造や状態などの変化がある場所を、より好適に検出できる合成用画像を得ることができる。
また、合成用画像生成部82cは、前述の周波数処理(あるいはさらに合成)による合成用画像生成(1種もしくは複数種)、LPB処理画像の平均値を用いる合成用画像生成、および、LPB処理画像のRGB比を用いる合成用画像生成などの機能を有し、先と同様にして、何れかの合成用画像生成方法を、選択できるようにしてもよい。
【0056】
合成用画像生成部82cは、通常光観察画像に周波数処理等の所定の処理を施して、合成用画像を生成したら、生成した合成用画像を画像合成部84に供給する。
画像合成部84は、通常光画像処理部82から供給された合成用画像と、特殊光画像生成部80から供給された通常光観察画像とを合成して、表示装置18に表示するための合成画像として、表示信号生成部86に供給する。
画像合成部84における画像合成方法には、特に限定はなく、公知の画像合成方法が、各種、利用可能である。
【0057】
ここで、周知のように、特殊光観察で撮影した表層の微細血管は青味を帯び、同中深層の血管は緑味を帯びている。すなわち、特殊光観察画像は、実際の生体の色味とは異なり、不自然さや違和感を感じる場合も有る。
これに応じて、必要に応じて、特殊光観察画像への合成用画像の合成に先立ち、特殊光観察画像から表層微細血管や中深層血管を抽出して、色味が生体本来の色味に対応するように、色変換処理を行なってもよい。
【0058】
色変換は、色/濃度補正等の公知の方法で行なえばよい。また、表層微細血管や中深層血管の抽出は、例えば、ハイパスフィルタ(HPF)や通過する周波数帯域が高めのBPF等を用いた周波数処理で行なえばよい。
なお、このような特殊光観察画像の処理は、表示信号生成部86で行なってもよく、あるいは、特殊光画像生成部80の画像処理部80bで行なってもよい。さらに、このような特殊光観察画像の色変換の実施の有無を選択できるようにしてもよい。
【0059】
表示信号生成部86は、画像合成部84から供給された合成画像に、色空間の変換や拡大/縮小等の必要な処理を行い、また、画像の割り付けや被検者の氏名などの文字情報の組み込み等の必要な処理を行なって、合成画像を組み込んだ表示用の画像を生成し、表示装置18に、この画像を表示させる。
【0060】
なお、表示信号生成部86は、合成画像のみならず、入力装置20や内視鏡12の操作部28に設けられた指示手段による指示に応じて、特殊光画像生成部80や通常光画像処理部82から画像を受け取り、表示装置18に、合成画像のみならず、通常光観察画像や特殊光観察画像を表示させるようにしてもよい。
この際には、全ての画像を表示装置18に表示してもよく、適宜選択された2以上の画像を表示装置18に表示してもよく、適宜選択された1画像を表示装置18に表示してもよい。さらに、3画像表示や2画像表示などの表示形態や、表示する画像を、トグル式に切り替え可能にしてもよい。
【0061】
以下、内視鏡装置10の作用の一例を説明する。
入力装置20によって、内視鏡12による撮影開始が指示されると、光源装置16の光源60が点灯し、回転駆動源72が回転フィルタ64の回転を開始し、さらに、CCDセンサ48が、回転フィルタ64の回転に同期して撮影(測光)を開始する。
【0062】
光源60が照射した光は、コリメータレンズ62が成形し、回転フィルタ64が、R光、G光、B光、および狭帯域B光(あるいはさらに狭帯域G光)に時分割して、集光レンズ68が光ファイバ70に入射させる。
光ファイバ70は、入射した光を伝搬して、観察光として、接続部16aから内視鏡12のコネクタ32に供給する。
【0063】
内視鏡12のコネクタ32に供給された観察光は、光ファイバ52がスコープ部42まで伝搬して、スコープ部42において、光ファイバ52の先端から出射して、照明用レンズ50によって観察部位(生体内)に照射される。
観察光が照射された観察部位の画像は、撮影レンズ46によってCCDセンサ48の受光面に結像され、CCDセンサ48によって撮影(測光)され、R画像、G画像、B画像および狭帯域B画像が、面順次で撮影される。
CCDセンサ48の出力信号は、AFE基板56に供給される。AFE基板56は、CCDセンサ48の出力信号に、相関二重サンプリングによるノイズ除去、増幅、A/D変換等を行い、されて、デジタルの画像信号として、プロセッサ装置14(処理部14a)のDSP76に供給する。
【0064】
DSP76は、供給された画像(画像信号)にガンマ補正、色補正処理等の所定の処理を施した後、処理済の画像を記憶部78の所定部位に記憶させる。
画像信号が記憶部78に記憶されると、特殊光画像生成部80では、読み出し部80aが、記憶部78から狭帯域B画像およびG画像を読み出して、画像処理部80bに供給する。また、通常光画像処理部82では、読み出し部82aが、記憶部78からR画像、G画像およびB画像を読み出して、画像処理部82bに供給する。
【0065】
特殊光画像生成部80では、画像処理部80bが、G画像を表示のR画素に割り付け、狭帯域B画像を表示のBおよびG画素に割りつけて、3つのサブピクセルからなる画素とし、さらに、画像に、色変換処理、色彩強調処理および像構造強調処理を行なって、特殊光観察画像として、画像合成部84に供給する。
【0066】
他方、通常光画像処理部82では、画像処理部82bが、色変換処理、色彩強調処理および像構造強調処理を行なって、通常光観察画像の画像として、合成用画像生成部82cに供給する。
通常光観察画像を供給された合成用画像生成部82cは、供給された通常光観察画像を例えばLPFによって処理して、合成用画像を生成する。
合成用画像を生成したら、合成用画像生成部82cは、生成した合成用画像を、画像合成部84に供給する。
【0067】
画像合成部84は、特殊光画像生成部80から供給された特殊光観察画像に、通常光画像処理部82から供給された合成用画像を合成して、特殊光観察画像に、通常光観察画像が有する観察視野の奥の方の情報や、凹凸等の生体表面の状態や構造の情報を付与した合成画像を生成し、表示信号生成部86に供給する。
合成画像を供給された表示信号生成部86は、この合成画像を組み込んだ表示用の画像を生成し、この画像を、表示装置18に表示させる。
【0068】
以上の例は、本発明の画像処理装置を、R光、G光、B光および狭帯域B光のフィルタを有する回転フィルタ64を用いる光源装置16と、モノクロのCCDセンサ48を用いる内視鏡12とを有する内視鏡装置10に利用した例であるが、本発明は、これに限定はされない。
すなわち、本発明の画像処理装置(図示例のプロセッサ装置14)は、通常光観察画像および特殊光観察画像と成り得る画像を、同時(もしくは略同時)に撮影可能な光源装置および内視鏡を用いる内視鏡装置に、各種、利用可能である。
【0069】
例えば、図1および図2に示す内視鏡装置10において、光源装置16の回転フィルタを無くし、さらに、内視鏡12のCCDセンサを、モノクロのCCDセンサ48ではなく、入射した光を、R光、G光、B光および狭帯域B光(あるいはさらに狭帯域G光)に分光して同時に測光する4色(5色)のCCDセンサに変更して、R画像、G画像、B画像および狭帯域B画像を撮影して、先と同様にして、同時に撮影された通常光観察画像および特殊光観察画像を得る構成が、例示される。
【0070】
別の例として、図1および図2に示す内視鏡装置10において、光源装置16の回転フィルタ64を、無色透明フィルタ(あるいは素抜け部)と白色光を狭帯域B光にする狭帯域Bフィルタとを回転方向に有する回転フィルタに変更し、内視鏡12のモノクロのCCDセンサ48を、通常のカラーのCCDセンサに変更する構成が、例示される。
なお、通常のカラーのCCDセンサとは、一般的な内視鏡やデジタルカメラ等に利用されている、入射した光を、R光、G光およびB光の3原色に分光して同時に測光するセンサである。
【0071】
この構成では、光源装置は、回転フィルタの回転によって、観察光として、無色透明フィルタを通過した白色光と、狭帯域Bフィルタを通過した狭帯域B光とを、交互に内視鏡に供給する。これに対応して、内視鏡のカラーのCCDセンサは、回転フィルタの回転に同期して、白色光を観察光とするR、GおよびB画像からなる通常光観察画像と、狭帯域B光を観察光とする狭帯域B画像を、交互に撮影して、出力する。
これにより、プロセッサ装置14の記憶部78には、前述の例と同様に、同時に撮影されたR、GおよびB画像、ならびに、狭帯域B画像が記憶される。
従って、先と同様に、記憶部78に記憶した画像から、特殊光画像生成部80がR、GおよびB画像を読み出し、通常光画像処理部82が、狭帯域B画像およびG画像を読み出すことで、同時(略同時)に撮影された通常光観察画像および特殊光観察画像を得ることができる。
【0072】
なお、この構成においても、回転フィルタに、無色透明フィルタおよび狭帯域Bフィルタに加え、狭帯域Gフィルタを設け、先と同様に、狭帯域B画像および狭帯域G画像から特殊光観察画像を生成してもよいのは、もちろんである。
【0073】
同様に、通常のカラーCCDセンサを有する内視鏡を利用する例として、図5に示す光源装置90を用いる構成が例示される。
なお、図5においては、図2に示す例と同じ部材には同じ符合を付し、以下の説明は、異なる部位を主に行なう。また、符合12Aで示す内視鏡において、CCDセンサ48Aは、モノクロのCCDセンサではなく、前記通常のカラーのCCDセンサである。
【0074】
この光源装置90は、先と同様の光源60と、分波器92と、Bファイバ94b、Gファイバ94gおよびRファイバ94rと、Bフィルタ96b、Gフィルタ96gおよびRフィルタ96rと、合波器98と、光ファイバ100と、先と同様の接続部16aとを有する。
【0075】
図示例の光源装置90において、光源60が照射した白色光は、分波器92によって3つに分波され、それぞれ、光ファイバであるBファイバ94b、Gファイバ94gおよびRファイバ94rに入射され、合波器98に向けて伝搬される。
ここで、分波器92から合波器98に至るBファイバ94bの途中にはBフィルタ96bが、同Gファイバ94gの途中にはGフィルタ96gが、同Rファイバ94rの途中にはRフィルタ96rが、それぞれ、配置される。なお、各光ファイバと、各フィルタとの間における光の入/出射は、公知の方法で行なえばよい。
【0076】
Bフィルタ96bは、白色光をBの狭帯域光にするフィルタである。また、Gフィルタ96gは、白色光をGの狭帯域光(もしくはGの帯域光)にするフィルタである。さらに、Rフィルタ96rは、白色光をRの帯域光にするフィルタである。
従って、Bファイバ94bを伝搬される光はBフィルタ96bによって狭帯域B光とされ、Gファイバ94gを伝搬される光はGフィルタ96gによって狭帯域G光とされ、Rファイバ94rを伝搬される光はRフィルタ96rによってR光とされて、それぞれ、合波器98に入射する。
【0077】
狭帯域B光、狭帯域G光およびR光は、合波器98において1本にされ、光ファイバ100によって伝搬され、接続部16aから、内視鏡12Aに供給される。
すなわち、内視鏡には、狭帯域B光、狭帯域G光およびR光が混合された、擬似的な白色光が供給され、内視鏡は、この擬似的な白色光を観察光として、撮影を行なう。
前述のように、内視鏡のCCDセンサは、カラーのCCDセンサである。従って、内視鏡からは、R画像、G画像およびB画像が出力され、プロセッサ装置14の記憶部78に記憶される。
【0078】
ここで、観察光は、狭帯域B光、狭帯域G光およびRの帯域光を混合してなる擬似的な白色光で、CCDセンサ48Aは、カラーのCCDセンサである。従って、CCDセンサ48Aが測光したB画像、G画像およびR画像を用いて、画像を生成することにより、白色光を観察光として用いた、通常光観察の画像を生成できる。
また、観察光のB光およびG光は、共に、その色の狭帯域光である。従って、CCDセンサ48が測光したB画像およびG画像を用いて、画像を生成することにより、狭帯域B光および狭帯域G光を観察光として用いた、特殊光観察の画像を生成できる。
従って、記憶部78に記憶した画像から、特殊光画像生成部80がGおよびB画像を読み出し、通常光画像処理部82が、R画像、G画像およびB画像を読み出すことで、同時に撮影された通常光観察画像および特殊光観察画像を得ることができる。
【0079】
図5に示す光源装置90においては、各フィルタと合波器98との間に、互いに独立して光量調整可能な光量調節手段を設け、各光の光量(光強度)を、B光>G光>R光として、合波器98に供給するのが好ましい。
一般的なカラーCCDセンサは、B、GおよびRの各色のフィルタ特性により、B、GおよびRの各色の画素は、隣接する色の領域まで感度を有する。すなわち、G画素には、Gの狭帯域光に加えてRの帯域光も入射/測光され、B画素には、Bの狭帯域光に加えてGの狭帯域光も入射/測光される。
これに対して、光量をB光>G光>R光とすることにより、CCDセンサのB画素に入射する光において狭帯域B光を支配的にでき、同様にG画素に入射する光において、狭帯域G光を支配的にできる。これによりCCDセンサが読み取った画像から、適正な通常光観察画像および特殊光観察画像の生成が可能になる。
【0080】
また、観察光における光量をB光>G光>R光とした場合には、通常光画像処理部82において、最初に、各画像のゲイン調整を行なって、画像を、B、GおよびRの光量が等しい白色の観察光で撮影を行なった場合と、同様の画像にするのが好ましい。
ゲイン調整は、例えば、補正係数の乗算やLUTを用いた処理によって、G画像およびR画像の増幅処理や、B画像およびG画像の減縮処理を行い、画像を、B、GおよびRの光量が等しい白色の観察光で撮影を行なった場合と、同様とすればよい。
【0081】
さらに、同様に通常のカラーのCCDセンサを有する内視鏡を利用する例として、図6に示す光源装置110と内視鏡112とを用いる構成が例示される。
なお、図6においては、図5に示す例と同じ部材には同じ符合を付し、以下の説明は、異なる部位を主に行なう。
【0082】
光源装置110は、445LD114と、405LD116と、光ファイバ118a、98bおよび98cと、合波器120とを有する。
445LD114は、中心波長445nmの図7に示す分光特性を有するB光のレーザ光源である。他方、405LD116は、図7に示す分光特性を有する中心波長405nmの狭帯域の青紫色(V)光のレーザ光源である。
445LD114が照射したB光は光ファイバ118aによって伝搬され、405LD116が照射したV光は光ファイバ118bによって伝搬され、共に、合波器120によって1本に合波される。
【0083】
合波されたB光およびV光は、光ファイバ118cによって伝搬され、接続部16aから内視鏡112のコネクタ32に供給され、光ファイバ52に入射して伝搬されて、光ファイバ52の先端から出射する。
ここで、内視鏡112において、光ファイバ52の先端部には、蛍光体124が配置されている。蛍光体124は、B光の一部を吸収して、緑色〜黄色に励起発光する複数種の蛍光体(例えばYAG系蛍光体、或いはBAM(BaMgAl1017)等の蛍光体)を含んで構成される。これにより、B光を励起光とする緑色〜黄色の励起発光光と、蛍光体24で吸収されずに透過したB光とが合わされて、疑似的な白色光となる。
なお、405LD116が照射したV光(Vレーザ光)は、この蛍光体124には殆ど吸収されずに透過する。
【0084】
図7に、405LD116が照射したV光と、445LD114が照射したB光と、B光によって励起された蛍光体24による発光スペクトルの分光特性を示す。
図7に示すように、405LD116が照射したV光は、中心波長405nmの輝線(プロファイルA)で表される、Vの狭帯域光である。
また、445LD114が照射したB光は、中心波長445nmの輝線で表される。さらに、B光による蛍光体24からの励起発光光は、概ね450nm〜700nmの波長帯域で発光強度が増大する分光強度分布となる。
【0085】
従って、光源装置110において、445LD114のみを点灯した場合には、蛍光体24による励起発光光と、蛍光体24に吸収されなかった445LD114からのB光とによる疑似的な白色光(プロファイルB)が形成され、白色光を観察光とする通常光観察が可能となる。
また、445LD114と405LD116との両者を点灯した場合には、さらに、プロファイルAで示すVの狭帯域光が観察光に加わり、特殊光撮影が可能となる。
【0086】
すなわち、制御部14bによる制御に応じて、光源装置16において、405LD116を所定周期でon/offし(あるいは高出力点灯および低出力点灯を交互に行い)、内視鏡112において、この405LD116のon/offに同期してCCDセンサ48Aによって画像を撮影する。
これに応じて、405LD116がon(高出力)の際に記憶部78に記憶した画像から、特殊光画像生成部80がGおよびB画像を読み出し、かつ、405LD116がoff(低出力)の際に記憶部78に記憶した画像から、通常光画像処理部82が、R画像、B画像およびG画像を読み出すことで、同時(略同時)に撮影された通常光観察画像および特殊光観察画像を得ることができる。
【0087】
なお、本例においては、405LD116のon/offを行なわずに、合成画像を生成する際には、405LD116を常時点灯した状態として、同様に、同時に撮影された通常光観察画像および特殊光観察画像を得てもよい。
【0088】
以上、本発明の画像処理装置について詳細に説明したが、本発明は、上述の例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよい。
【符号の説明】
【0089】
10 内視鏡装置
12,12A,112 内視鏡
14 プロセッサ装置
16,90,110 光源装置
18 表示装置
20 入力装置
26 挿入部
28 操作部
30 ユニバーサルコード
32 コネクタ
36 ビデオコネクタ
38 軟性部
40 湾曲部
42 スコープ部
46 撮影レンズ
48,48A CCDセンサ
50 照明用レンズ
52,70,100,118a,118b,118c 光ファイバ
56 AFE基板
60 光源
62 コリメータレンズ
64 回転フィルタ
68 集光レンズ
72 回転駆動源
74r Rフィルタ
74g Gフィルタ
74b Bフィルタ
76 DSP
78 記憶部
80 特殊光画像生成部
80a,82a 読み出し部
80b,82b 画像処理部
82 通常光画像処理部
82c 合成用画像生成部
84 画像合成部
86 表示信号生成部
92 分波器
94b Bファイバ
94g Gファイバ
94r Rファイバ
96b Bフィルタ
96g Gフィルタ
96r Rフィルタ
98,120 合波器
114 445LD
116 405LD

【特許請求の範囲】
【請求項1】
白色光を観察光として内視鏡で撮影した通常光観察画像、および、前記通常光観察画像と同時に前記内視鏡によって撮影した、所定の狭帯域光を観察光として撮影した特殊光観察画像を取得する画像取得手段と、
前記画像取得手段が取得した通常光観察画像に所定の処理を施し、前記所定の処理によって生成した通常光観察画像の情報を、前記特殊光観察画像に付与する画像処理手段とを有することを特徴とする画像処理装置。
【請求項2】
前記画像処理手段は、前記所定の処理として、前記通常光観察画像に周波数処理を行なう請求項1に記載の画像処理装置。
【請求項3】
前記画像処理手段は、前記通常光観察画像をローパスフィルタで処理する機能、および、前記通常光観察画像をバンドパスフィルタで処理する機能の1以上を有する請求項2に記載の画像処理装置。
【請求項4】
前記画像処理手段は、前記通常光観察画像をローパスフィルタで処理して、処理済の画像の平均値を求め、平均値との差が所定の閾値以上である画素を抽出する機能を有する請求項2または3に記載の画像処理装置。
【請求項5】
前記画像処理手段は、前記通常光観察画像をローパスフィルタで処理して、処理済の画像における各画素の赤、緑および青の比、ならびに、赤、緑および青の比の平均値を求め、この比の前記平均値との差が所定の閾値以上である画素を抽出する機能を有する請求項2〜4のいずれかに記載の画像処理装置

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2012−125462(P2012−125462A)
【公開日】平成24年7月5日(2012.7.5)
【国際特許分類】
【出願番号】特願2010−280630(P2010−280630)
【出願日】平成22年12月16日(2010.12.16)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】