説明

蛍光診断画像表示方法および表示装置

【課題】 異なる表示状態で表示された蛍光診断画像を観察者が観察可能であり、蛍光診断画像に基づいて組織性状を識別する際の識別精度が向上する。
【解決手段】励起光Leを照射された観察部1から発せられた蛍光像Zjから狭帯域蛍光画像および広帯域蛍光画像をCCD撮像素子101 により取得し、蛍光演算値算出部303で、画像間の画素値の除算値である蛍光演算値を求め、蛍光診断画像生成部304で、選択された階調関数を用いて、蛍光演算値に応じた表示色を割り当てた蛍光診断画像3を生成し、モニタ90に表示する。蛍光診断画像生成部304 には、予め4種類の階調関数に対応するルックアップテーブルが記憶されている。使用される階調関数が異なれば、蛍光診断画像の表示色も異なるものとなる。観察者は、モニタ90に観察目的に応じた表示状態で蛍光診断画像が表示されるように、入力装置61を介して使用する階調関数を選択する。

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、励起光の照射により観察部から発せられる蛍光に基づいた蛍光画像と、光の照射により前記観察部から発せられる再輻射光に基づいた補助画像とを取得し、蛍光画像および補助画像に基づいた蛍光診断画像を表示する蛍光診断画像表示方法および装置に関するものである。
【0002】
【従来の技術】従来、所定の波長帯域の励起光を生体観察部に照射した場合に、正常組織と病変組織では、発する蛍光強度が異なることを利用して、生体観察部に所定波長の励起光を照射し、生体観察部が発する蛍光を受光することにより病変組織の局在・浸潤範囲を蛍光診断画像として表示する蛍光診断画像表示装置が提案されている。蛍光診断画像には、蛍光診断薬を予め吸収した生体組織から発せられる薬剤蛍光に基づいて作成されるものと、蛍光診断薬を使用せず、生体組織から発せられる自家蛍光に基づいて作成されるものがあるが、現在では主に自家蛍光から作成される蛍光診断画像が使用されている。通常、図9に示すように、励起光を生体観察部に照射すると、正常組織からは強い自家蛍光が発せられ、病変組織からは微弱な自家蛍光が発せられるため、蛍光強度を測定することにより、病変状態を判定できる。この種の蛍光診断画像表示装置は多くの場合、体腔内部に挿入される内視鏡や、コルポスコープあるいは手術用顕微鏡等に組み込まれた形に構成される。
【0003】ところで、生体部位には凹凸があるため励起光照射系から生体観察部までの距離は均一ではなく、生体の励起光照射部分における励起光照度は一般に不均一である。一方正常組織から発せられる蛍光強度は励起光照度にほぼ比例し、励起光照度は距離の2乗に反比例して低下する。そのため、光源から遠くにある正常組織からよりも近くにある病変組織からの方が強い蛍光を受光する場合があり、観察者が蛍光強度のみに基づいた判定を行うと、病変状態の判定を誤ることもあり得る。
【0004】このような不具合を低減するため、正常組織から発せられる蛍光強度と病変組織から発せられる蛍光強度の差が大きい波長帯域480nm近傍の狭帯域の蛍光画像と、可視波長帯域の広帯域の蛍光画像とを撮像し、狭帯域の蛍光画像の画素値を広帯域の蛍光画像の画素値により除算した蛍光演算値を求め、この蛍光演算値に基づいた疑似カラー画像を表示する蛍光内視鏡装置が提案されている。すなわち、上記蛍光演算値を求めることにより励起光光源および蛍光受光部と生体観察部との距離に依存する蛍光強度の項はキャンセルされ、蛍光スペクトルの形状の違いのみが反映された表示が得られる。
【0005】一方、生体組織の部位が受光した励起光の光強度と、この励起光の受光により前記部位から発せられた蛍光の光強度との比率に基づいた蛍光演算値、すなわち励起光を照射する距離や角度によって影響を受けない値である蛍光収率を反映した値を求めることにより観察部の組織性状を識別する方式も提案されている。しかし、上記蛍光収率を反映した値を求める際に、励起光は種々生体組織に対して一様な吸収を受けないため、反射された励起光の強度分布を測定しても生体組織が受光した励起光の強度分布を正しく測定したことにはならない。
【0006】そこで、蛍光収率を求める1つの方策として、種々生体組織に対して一様な吸収を受ける近赤外光を参照光として生体組織に照射し、反射された近赤外光を参照光反射画像として撮像し、その光強度を生体組織が受光した励起光の光強度の代わりとして用いて、蛍光画像の画素値を参照光反射画像の画素値により除算した蛍光演算値を求め、この蛍光演算値に基づいた疑似カラー画像を表示する蛍光診断画像表示装置が提案されている。すなわち、上記蛍光演算値を求めることにより、励起光光源および蛍光受光部と生体観察部との距離に依存する蛍光強度の項はキャンセルされ、蛍光収率の違いのみが反映された表示が得られる。どちらの蛍光演算値を用いても、通常は、正常組織から得られる蛍光演算値は、病変組織から得られる蛍光演算値よりも大きな値となる。
【0007】また、励起光を照射された観察部から発せられた蛍光に関する情報とともに、観察部の形状に関する情報を含む画像を表示するために、上記スペクトル形状を反映した蛍光演算値あるいは蛍光収率を反映した蛍光演算値に基づいて色情報を作成し、参照光反射画像の画素値に基づいて輝度情報を作成し、両情報を合成して蛍光診断画像を作成する蛍光診断画像表示装置も、発明者らにより提案されている。
【0008】上記の蛍光診断画像表示装置では、上記蛍光診断画像の表示形態としては、蛍光演算値を連続したあるいは不連続な色変化として表示する階調表示が用いられることが多い。
【0009】また、例えば狭帯域蛍光画像の画素値に応じて強度が設定された信号を、モニタのGチャンネルに入力し、広帯域蛍光画像の画素値に応じて強度が設定された信号を、モニタのRチャンネルに入力し、モニタに画像を表示させる加色混合法を用いた蛍光診断画像表示装置も知られている。このような場合には、モニタには蛍光スペクトルの形状および蛍光強度が、その画像の色に反映された蛍光診断画像が表示される。また、蛍光画像の画素値に応じた信号をモニタのGチャンネルに入力し、参照光反射画像の画素値に応じた信号をRチャンネルに入力し、モニタに画像を表示させれば、蛍光収率および蛍光強度が、その画像の色に反映された蛍光診断画像が表示される。
【0010】
【発明が解決しようとする課題】近年、様々な医療分野において、上記蛍光診断画像を用いた診断が試みられ、その結果、表示状態が異なる蛍光診断画像には、それぞれ一長一短があることが明らかになってきた。
【0011】通常、蛍光診断画像としては、蛍光演算値から階調処理により色情報を作成した画像を用いることが多く、この様な場合には、観察者は観察部の段階的な組織性状を知ることができる。しかし、短時間では、蛍光演算値の値がかなり大きい値であり、正常組織であるとみなすことのできる領域(以下正常領域と記載)と、蛍光演算値の値があまり大きくなく、病変組織である可能性のある領域とを識別することは困難である。同様に、蛍光演算値に値がかなり小さく、病変組織であると見なすことのできる領域(以下病変領域と記載)と、蛍光演算値の値があまり小さくなく、正常組織である可能性のある領域とを識別することも、短時間では困難であるという問題がある。一方蛍光診断画像として、蛍光演算値から2値化処理により色情報を作成した画像を用いる場合には、短時間で所望の組織性状を有する領域を識別することはできるが、各領域の微妙な組織性状を知ることはできず、組織性状の識別精度が低下してしまう。
【0012】また、従来の蛍光診断画像表示装置においては、階調表示による蛍光診断画像を表示している際に、例えば病変の疑いのある領域が見つかり、より詳細な階調表示による観察を行いたい場合などであっても、望ましい表示状態を備えた蛍光診断画像を観察することはできないという問題もある。
【0013】本発明は上記のような従来技術の問題点に鑑みて、励起光の照射により観察部から発せられる蛍光に基づいた蛍光画像を取得し、光の照射により前記観察部から発せられる再輻射光に基づいた補助画像を取得し、前記蛍光画像の画素値と前記補助画像の画素値の比率に基づいて蛍光診断画像を生成し、表示する蛍光診断画像表示方法および装置において、異なる表示状態で表示された蛍光診断画像を観察者が観察可能であり、組織の識別精度が向上する蛍光診断画像表示装置を提供することを目的とする。
【0014】
【課題を解決するための手段】本発明による蛍光診断画像表示方法は、励起光の照射を受けた観察部から発せられる蛍光に基づいた蛍光画像を取得し、光の照射を受けた前記観察部から発せられる再輻射光に基づいた補助画像を取得し、前記蛍光画像の画素値と前記補助画像の画素値の比率に基づいて蛍光診断画像を生成して、該蛍光診断画像を表示する蛍光診断画像表示方法において、選択信号に応じて、所定の階調処理により生成される第1の蛍光診断画像と前記所定の階調処理とは異なる画像処理により生成される第2の蛍光診断画像のいずれか1つを選択して、表示することを特徴とするものである。
【0015】本発明による蛍光診断画像表示装置は、観察部に励起光を照射し、該励起光の照射により前記観察部から発せられる蛍光に基づいた蛍光画像を取得する蛍光画像取得手段と、前記観察部に光を照射し、該光の照射により前記観察部から発せられる再輻射光に基づいた補助画像を取得する補助画像取得手段と、前記蛍光画像の画素値と前記補助画像の画素値の比率に基づいて蛍光診断画像を生成する蛍光診断画像生成手段と、前記蛍光診断画像を表示する表示手段とを備えた蛍光診断画像表示装置において、前記蛍光診断画像生成手段が、所定の階調処理により生成される第1の蛍光診断画像と前記所定の階調処理とは異なる画像処理により生成される第2の蛍光診断画像とを生成可能なものであり、前記表示手段が前記第1の蛍光診断画像と第2の蛍光診断画像の中のいずれか1つを表示するものであり、選択信号に応じて、前記蛍光診断画像生成手段で生成可能な前記蛍光診断画像の中のいずれか1つを選択して、前記表示手段に表示させる表示制御手段をさらに備えたことを特徴とするものである。
【0016】なお、上記第2の蛍光診断画像は1つに限定されるものではなく、複数個の第2の蛍光診断画像が生成可能であるが、同時に2つ以上の蛍光診断画像が表示されることはなく、生成可能な蛍光診断画像の中のいずれか1つの蛍光診断画像が表示される。
【0017】また、「再輻射光」とは、光を照射されたことにより観察部から発せられる光を意味し、具体的には、観察部で反射された反射光や、観察部の表面付近で散乱し、その後射出された散乱光あるいは観察部から発せられる蛍光などを意味している。また、「画素値」としては、撮像素子等における1つの撮像画素に対応した信号値に限らず、ビニング処理などにより複数の撮像画素の信号値が加算された信号値や、複数個の近傍の撮像画素間の信号値から加算処理や減算処理を行って得られた信号値なども含むものである。なお、「前記蛍光画像の画素値と前記補助画像の画素値の比率に基づいて蛍光診断画像を生成する」とは、蛍光画像と補助画像の画素値の除算値に基づいて蛍光診断画像を生成することや、蛍光画像と補助画像の画素値に基づいて加色混合法により蛍光診断画像を生成すること等を意味している。なお、上記除算値としては、通常の除算により得られた値に限られず、例えば発明者らが、特願2000−134495、特願2001−18242において出願したように、除算値の発散を防止するために、画素値にオフセット値を加算した上で、除算を行った値なども含むものである。また蛍光診断画像を生成する際に使用する蛍光画像および補助画像は、略同一の観察部を略同時に撮像したものであることが好ましい。
【0018】なお、「所定の階調処理により生成される第1の蛍光診断画像」とは、蛍光診断画像の画素の中の少なくとも一部が、所定の階調処理を用いて生成されるものであればよい。また、第1の蛍光診断画像を生成する際に施される画像処理の一部が所定の階調処理により行われるものであればよく、例えば黒白画像の濃度情報を作成する際に使用される画像処理や、カラー画像における色情報を生成する際や輝度情報を生成する際に使用される画像処理、あるいは加色混合法による色信号の生成の際に使用される画像処理等に、所定の階調処理が用いられて生成された画像であればよい。また、「所定の階調処理とは異なる画像処理により生成される第2の蛍光診断画像」とは、蛍光診断画像の画素の中の少なくとも一部が、所定の階調処理とは異なる画像処理を用いて生成されるものであればよく、また第2の蛍光診断画像を生成する際の画像処理の一部が、所定の階調処理とは異なる画像処理により行われるものであればよい。
【0019】さらに、上記の「所定の階調処理とは異なる画像処理」とは、2値化処理等に加え、画像処理を行う際に使用する階調関数が、第1の蛍光診断画像を生成する際に使用される階調関数とは異なる階調処理を含むものである。但し、本出願人により出願された特願2001-136046に記載されているように階調処理を施す際に、単にダイナミックレンジを変更した階調処理を施した場合には、異なる画像処理を施すことには含まない。
【0020】上記表示制御手段は、「前記第1の蛍光診断画像と第2の蛍光診断画像のいずれか1つを選択して、前記表示手段に表示させる」ものであれば如何なるものであってもよく、例えば、蛍光診断画像生成手段に選択した蛍光診断画像(第1の蛍光診断画像または第2の蛍光診断画像)を生成させ、それを表示手段に表示させるもの、あるいは予め蛍光診断画像生成手段において生成されている第1の蛍光診断画像または第2の蛍光診断画像から1つを選択して、表示手段に入力させるものや、表示手段に入力された第1の蛍光診断画像または第2の蛍光診断画像から1つを選択して、表示させるもの等がある。
【0021】上記蛍光画像および補助画像の組み合わせとしては、種々のものが考えられる。例えば蛍光画像として、前記蛍光の中の狭波長帯域の蛍光に基づいた狭帯域蛍光画像を用い、前記補助画像として、前記観察部に励起光を照射し、前記観察部から発せられた蛍光の中の広波長帯域の蛍光に基づいた広帯域蛍光画像を用いてもよい。なお、この際には、蛍光画像を得るための励起光と補助画像を得るための励起光は、同一のものであってもよいし、別個のものであってもよい。
【0022】また、他の組み合わせとしては、蛍光画像として、前記蛍光の中の所定波長帯域の蛍光あるいは全波長帯域の蛍光に基づいた蛍光画像を用い、前記補助画像として、前記観察部に参照光を照射し、前記観察部で反射された反射光に基づいた参照光反射画像を用いてもよい。
【0023】なお、前記蛍光診断画像と同時に、通常のカラー画像である通常画像を表示するような場合であれば、前記補助画像として、通常画像を生成する際の輝度画像を用いることもできる。
【0024】また、上記選択信号としては、外部から入力される信号を用いてもよいし、あるいは内部に設けられた信号発生手段からシーケンシャルに出力される信号等を用いてもよい。
【0025】前記第1の蛍光診断画像としては、前記蛍光画像の画素値と前記補助画像の画素値の比率に基づいて、前記所定の階調処理により色合いが設定される画像を用いることができ、前記第2の蛍光診断画像としては、前記蛍光画像の画素値と前記補助画像の画素値の比率に基づいて、前記所定の階調処理とは異なる画像処理により色合いが設定される画像を用いることができる。
【0026】なお、前記蛍光診断画像表示装置は、生体内に挿入する内視鏡挿入部を有する内視鏡装置に組み込むこともできる。
【0027】
【発明の効果】本発明による蛍光診断画像表示方法および装置によれば、所定の階調処理により生成される第1の蛍光診断画像と前記所定の階調処理とは異なる画像処理により生成される第2の蛍光診断画像のいずれか1つを選択して、表示することができ、異なる画像処理を用いて生成された蛍光診断画像を観察者が観察可能であり、組織の識別精度が向上する。
【0028】前記第1の蛍光診断画像が、前記蛍光画像の画素値と前記補助画像の画素値の比率に基づいて、前記所定の階調処理により色合いが設定される画像であり、前記第2の蛍光診断画像が、前記蛍光画像の画素値と前記補助画像の画素値の比率に基づいて、前記所定の階調処理とは異なる画像処理により色合いが設定される画像であれば、蛍光画像の画素値と前記補助画像の画素値の比率が異なる色合いで表示される蛍光診断画像を観察者は観察可能であり、組織性状の識別精度が向上する。
【0029】
【発明の実施の形態】以下、図面を参照して本発明の実施の形態を詳細に説明する。まず、図1〜図3を参照して、本発明による蛍光診断画像表示装置を内視鏡装置に適用した第1の具体的な実施の形態である蛍光内視鏡装置について説明する。図1は蛍光内視鏡装置の概略構成図であり、図2および図3は本蛍光内視鏡装置に搭載される光学フィルタおよび切換フィルタの模式図である。
【0030】この蛍光内視鏡装置は、通常のカラー画像である通常画像2を表示する通常画像モード、または生体観察部に励起光を照射して、観察部から発せられた蛍光による蛍光像と、観察部に近赤外光である参照光を照射して観察部で反射された反射光によるIR反射像に基づいて生成された疑似カラー画像である蛍光診断画像3を表示する蛍光診断画像モードにより動作するものである。
【0031】蛍光診断画像モードにおいては、励起光Leが照射された観察部1から発せられた蛍光から狭帯域蛍光画像と広帯域蛍光画像とを、CCD撮像素子101 により取得し、狭帯域蛍光画像の画素値を広帯域蛍光画像の画素値により除算した除算値である蛍光演算値に基づいて色情報を作成し、また近赤外光である参照光Lsを照射された観察部1の反射光からIR反射画像をCCD撮像素子101 で取得し、IR反射画像の画素値に基づいて輝度情報を作成し、色情報および輝度情報を合成した蛍光診断画像3をモニタ90上に表示するものである。なお、本実施の形態においては、蛍光演算値の大小に応じて、緑〜黄〜赤の表示色が割り当てられる。
【0032】なお、蛍光診断画像としては、異なる階調関数を用いて生成される4種類の蛍光診断画像の中から、観察者により選択された1種類の蛍光診断画像が表示される。蛍光診断画像3の選択は、入力装置61からの入力操作により行われる。
【0033】通常画像モードにおいては、面順次光(Lr、Lg、Lb)を照射された観察部1の反射光による通常像をスコープ部10の先端に設けられたCCD撮像素子101 により撮像して、通常のカラー信号処理により作成した通常画像2をモニタ90上に表示する。
【0034】本発明の第1の実施の形態にかかる蛍光内視鏡装置は、先端にCCD撮像素子101 を備え、患者の病巣と疑われる部位に挿入されるスコープ部10、通常像撮像用の照明光である面順次光(R光Lr、G光LgおよびB光Lb)を射出する光源と、蛍光像撮像用の励起光Leを射出する光源と、IR反射像撮像用の参照光Lsを射出する光源とを備える照明ユニット20、狭帯域蛍光画像と広帯域蛍光画像の画素値から蛍光演算値を算出し、該蛍光演算値に基づいて色情報を作成し、IR反射画像の画素値に基づいて輝度情報を作成し、色情報と輝度情報から蛍光診断画像信号を生成して出力する蛍光画像処理ユニット30、通常画像信号の生成と、その通常画像信号および蛍光画像処理ユニット30から出力された蛍光診断画像信号をビデオ信号に変換して出力する通常画像処理ユニット40、CCD撮像素子101 の動作を制御するCCD駆動ユニット50、各ユニットの動作を制御し、表示制御手段を兼ねるコントローラ60、該コントローラ60に接続されている選択信号発生手段としての入力装置61および通常画像2または蛍光診断画像3を表示する表示手段としてのモニタ90から構成されている。なお、照明ユニット20、蛍光画像処理ユニット30、通常画像処理ユニット40、CCD駆動ユニット50およびコントローラ60はプロセッサ部91を構成し、スコープ部10とプロセッサ部91およびプロセッサ部91とモニタ90は、それぞれ図示省略したコネクタにより、接離自在に接続されている。
【0035】スコープ部10は、内部に先端まで延びるライトガイド102 およびCCDケーブル103 を備えている。ライトガイド102 およびCCDケーブル103 の先端部、即ちスコープ部10の先端部には、照明レンズ104 および対物レンズ105 を備えている。CCDケーブル103 の先端部には、微少な帯域フィルタがモザイク状に組み合わされたモザイクフィルタ106 がオンチップされたCCD撮像素子101 が接続され、該CCD撮像素子101 には、プリズム107 が取り付けられている。また、プリズム107 と対物レンズ105 の間には、波長420nm以下の波長の光をカットする励起光カットフィルタ108 が取り付けられている。
【0036】CCD撮像素子101 は、撮像した光学像を信号電荷へ変換する受光部および信号電荷の一時的蓄積および転送を行う蓄積部を備えたフレームトランスファー型のCCD撮像素子である。ライトガイド102 は、面順次光用のライトガイド102a、励起光用のライトガイド102bおよびの参照光用のライトガイド102cがバンドルされ、ケーブル状に一体化されており、各ライトガイドは、照明ユニット20へ接続されている。
【0037】ケーブル103 は、CCD撮像素子101 の駆動信号が送信される駆動ライン103aと、CCD撮像素子101 から画像信号を読み出す出力ライン103bとが組み合わされている。駆動ライン103aの一端は、CCD駆動ユニット50に接続され、出力ライン103bの一端は、蛍光画像処理ユニット30および通常画像処理ユニット40へ接続されている。
【0038】モザイクフィルタ106 は、図2に示すように、430nm〜530nmの波長帯域の光を透過させる狭帯域フィルタ106aと、全波長帯域の光を透過させる全波長帯域フィルタ106bが交互に組み合わされ、各帯域フィルタはCCD撮像素子101 の画素に一対一で対応している。
【0039】照明ユニット20は、白色光を射出する白色光源201 、白色光源用電源202 、白色光をR光、G光およびB光に、順次色分解するための切換フィルタ204 、切換フィルタ204 を回転させるフィルタ回転部205 、蛍光像撮像用の波長410nmの励起光Leを発するGaN系半導体レーザ206 および半導体レーザ用電源207 、反射像撮像用の近赤外光である参照光Lsを発する参照光源209 、その参照光源209 に電気的に接続される参照光源用電源210 を備えている。
【0040】上記切換フイルタ204 は、図3に示すように、R光を透過するRフィルタ204a、G光を透過するGフィルタ204b、B光を透過するBフィルタ204cおよび遮光機能を有するマスク部204dとから構成されている。マスク部204dにより、面順次光(R光、G光またはB光)が照射されていない間に、CCD撮像素子101 では、受光部から蓄積部へ信号電荷が転送される。
【0041】CCD駆動ユニット50は、CCD撮像素子101 の動作タイミングを制御する動作制御信号を出力するものである。
【0042】蛍光画像処理ユニット30は、励起光Leが照射された時に、CCD撮像素子101 で撮像された画像信号のプロセス処理を行う信号処理回路301 、該信号処理回路301 から出力された画像信号をデジタル化するA/D 変換回路302 、デジタル化された画像信号を、モザイクフィルタ106 の狭帯域フィルタ106aと対応する画素で受光した画像信号(以下狭帯域蛍光画像と記載)と、全波長帯域フィルタ106bと対応する画素で受光した画像信号(以下広帯域蛍光画像と記載)とで、異なる記憶領域に保存する画像メモリ303 と、CCD撮像素子101 の隣接する画素で撮像された画素値毎に、画像メモリ303 に記憶された狭帯域蛍光画像の画素値を広帯域蛍光画像の画素値で除算した蛍光演算値を算出する蛍光演算値算出部304 と、予め4種類の階調関数に対応した4枚のルックアップテーブルが記憶され、コントローラ60により選択されたルックアップテーブルを用いて蛍光演算値に基づいた色情報を作成し、また後述する画像メモリ308 に保存されているIR反射画像の画素値に基づいて輝度情報を作成し、色情報と輝度情報から蛍光診断画像信号を生成して後述するビデオ信号処理回路405 へ出力する蛍光診断画像生成部305と、参照光Lsが照射された時に、CCD撮像素子101 で撮像された画像信号のうち、モザイクフィルタ106 の全波長帯域フィルタ106bと対応する画素で受光した画像信号のプロセス処理を行う信号処理回路306 、該信号処理回路306 から出力された画像信号をデジタル化するA/D 変換回路307 、デジタル化された画像信号からなるIR反射画像を保存する画像メモリ308 とを備えている。
【0043】通常画像処理ユニット40は、R光Lr、G光LgまたはB光Lbが照射された時に、モザイクフィルタ106 の全波長帯域フィルタ106bと対応する画素で受光した信号にプロセス処理を施す信号処理回路401 、該信号処理回路から出力された画像信号をデジタル化するA/D 変換回路402 、デジタル化された画像信号を各色毎に保存する画像メモリ403 、該画像メモリに保存された各色毎の画像信号から通常画像信号を生成する通常画像生成部404 、通常画像を表示する際には、該通常画像生成部404 から出力された通常画像信号をビデオ信号に変換して出力し、また蛍光診断画像を表示する際には、上記の蛍光診断画像生成部305 から出力された蛍光診断画像信号をビデオ信号に変換して出力するビデオ信号処理回路405を備えている。コントローラ60は、各部位に接続され、動作タイミングを制御している。
【0044】以下、本発明による蛍光内視鏡装置の動作について説明する。通常画像モードにおいては、面順次光の照射、通常像の撮像および通常画像2の表示が行われ、蛍光診断画像モードにおいては、励起光Leまたは参照光Lsの照射と、蛍光像の撮像またはIR反射像の撮像とが時分割で行われ、蛍光像およびIR反射像に基づいた蛍光診断画像3が表示される。
【0045】まず、通常画像モードにおける動作を説明する。撮像に先立ち、観察者はスコープ部10を、被験者の体腔内に挿入し、スコープ部10先端を観察部1の近傍に誘導する。
【0046】最初に、R画像を取得する際の動作を説明する。コントローラ60からの信号に基づき、白色光源用電源202 が駆動され、白色光源201 から白色光が射出される。白色光は、集光レンズ203 により集光され、切換フィルタ204 を透過する。切換フィルタ204 では、コントローラ60からの信号に基づいて、Rフィルタ204aが光路上に配置されている。このため、白色光は、切換フイルタ204 を透過するとR光Lrとなる。R光Lrは、ライトガイド102aに入射され、スコープ部10の先端まで導光された後、照明レンズ104 から観察部1へ照射される。
【0047】観察部1で反射されたR光Lrの反射光は、集光レンズ105 により集光され、プリズム107 に反射して、CCD撮像素子101 上にR光反射像Zrとして結像される。CCD撮像素子101 より出力された信号の中で、モザイクフィルタ106 の全波長帯域フィルタ106bと対応する画素で受光した信号のみが、通常画像処理ユニット40の信号処理回路401 で、プロセス処理を施されR画像信号として出力され、残りの信号は破棄される。R画像信号は、A/D 変換回路402 でデジタル信号に変換されて、画像メモリ403 のR画像の記憶領域へ記憶される。以後、同様な動作によりG画像信号およびB画像信号が取得され、それぞれ、画像メモリ403のG画像の記憶領域およびB画像の記憶領域へ記憶される。
【0048】3色の画像が画像メモリ403 に記憶されると、表示タイミングに合わせて通常画像生成部404 において、3色の画像に基づいて通常画像信号が生成され出力される。ビデオ信号処理回路405 では、通常画像信号をビデオ信号に変換し、モニタ90に出力する。モニタ90には、カラー画像である通常画像2が表示される。
【0049】次に蛍光診断画像を表示する際の動作について説明する。観察者は、入力装置61を用いて、蛍光診断画像モードを選択する。この際に、蛍光診断画像を表示する際の階調関数も同時に設定する。階調関数としては、図4に実線で示すリニアタイプ、点線で示すガンマタイプ(γ=2.5)、2点鎖線で示すガンマタイプ(γ=0.4)、または1点鎖線で示すシグモイドタイプが選択可能であり、各階調関数に対応した4枚のルックアップテーブルが、予め蛍光診断画像生成部305 に記憶されている。観察者は、入力装置61を介してこれらの階調関数の中から所望の階調関数を選択することができる。コントローラ60は、階調関数の選択結果を蛍光診断画像生成部305 へ出力する。
【0050】リニアタイプの階調関数が選択された場合には、蛍光演算値が、線形に表示される階調色(赤から緑)へ反映された蛍光診断画像が表示される。ガンマタイプ(γ=0.4)が選択された場合には、蛍光演算値が小さい場合には、蛍光演算値の変化に対して、階調色の変化が小さく、蛍光演算値が大きくなるにつれ、蛍光演算値の変化に対する階調色の変化が大きくなる蛍光診断画像が表示される。このため、この階調関数は、正常領域の組織性状の観察を詳細に行いたい場合に適した階調関数である。
【0051】ガンマタイプ(γ=2.5)が選択された場合には、蛍光演算値が小さい場合には、蛍光演算値の変化に対して、階調色の変化が大きく、蛍光演算値が大きくなるにつれ、蛍光演算値の変化に対する階調色の変化が小さくなる。このため、この階調関数は、病変領域の組織性状の観察を詳細に行いたい場合に適した階調関数である。
【0052】シグモイドタイプが選択された場合には、蛍光演算値が小さい場合および大きい場合には、蛍光演算値の変化に対して階調色の変化が小さく、その間において、蛍光演算値の変化に対する階調色の変化が大きくなる。このため、この階調関数は、蛍光演算値が小さくもなく、大きくもない領域、すなわち正常領域であるとも、病変領域であるとも言い切れない領域(以下中間領域と記載)の組織性状の観察を詳細に行いたい場合に適した階調関数である。本実施の形態では、観察者は、階調関数としては、まず、ガンマタイプ(γ=0.4)を選択するものとする。
【0053】上記の設定が終了後、実際の撮像が開始される。まず、コントローラ60からの信号に基づき、励起光源用電源207 が駆動され、GaN系半導体レーザ206 から波長410nmの励起光Leが射出される。励起光Leは、レンズ208 を透過し、ライトガイド102bに入射され、スコープ部10先端まで導光された後、照明レンズ104 から観察部1へ照射される。
【0054】励起光Leを照射されることにより生じる観察部1からの蛍光は、集光レンズ105 により集光され、プリズム107 に反射して、モザイクフィルタ106 を透過して、CCD撮像素子101 上に蛍光像Zjとして結像される。この際励起光Leの反射光は、励起光カットフィルタ108 によりカットされるため、CCD撮像素子101 に入射することはない。
【0055】CCD撮像素子101 では、蛍光像Zjが受光されて、光電変換され、光の強弱に応じた画像信号に変換されて出力される。
【0056】CCD撮像素子101 から出力された信号は、蛍光画像処理ユニット30の信号処理回路301 で、プロセス処理を施され画像信号として出力され、A/D 変換回路302 でデジタル信号に変換されて、狭帯域フィルタ106aを透過した狭帯域蛍光画像と全帯域フィルタ106bを透過した広帯域蛍光画像に分けて、画像メモリ303 の記憶領域へ記憶される。蛍光演算値算出部304 では、CCD撮像素子101 の隣り合う画素で撮像された画素毎に、狭帯域蛍光画像の画素値を広帯域蛍光画像の画素値で除算した蛍光演算値を求め、記憶しておく。
【0057】次に参照光LsのIR反射像Zsを撮像する際の動作を説明する。コントローラ60からの信号に基づき、参照光源用電源210 が駆動され、参照光源から近赤外光である参照光Lsが射出される。参照光Lsは、レンズ211 を透過し、ライトガイド102cに入射され、スコープ部先端まで導光された後、照明レンズ104 から観察部1へ照射される。
【0058】観察部1で反射された参照光Lsの反射光は、集光レンズ105 により集光され、プリズム107 に反射して、モザイクフィルタ106 を透過して、CCD撮像素子101 上にIR反射像Zsとして結像される。CCD撮像素子101 では、IR反射像Zsが受光されて光電変換され、光の強弱に応じた画像信号に変換されて出力される。
【0059】CCD撮像素子101 から出力された画像信号は、蛍光画像処理ユニット30 の信号処理回路306 で、全帯域フィルタ106bに対応する画素で受光された信号のみが、プロセス処理を施され画像信号として出力され、A/D 変換回路307 でデジタル信号に変換されて、画像メモリ308 へIR反射画像として記憶される。
【0060】画像メモリ308 へIR反射画像信号が記憶されると、蛍光診断画像生成部305 では、まず、選択された階調関数(ガンマタイプ:γ=0.4)に対応するルックアップテーブルを用いて、蛍光演算値から色情報(蛍光演算値の大から小への変化に対して緑〜黄〜赤を割り当てる)を作成し、また画像メモリ308 に保存されているIR反射画像の画素値から輝度情報を作成し、これらの色情報と輝度情報に基づいて、蛍光診断画像信号を生成してビデオ信号処理回路405 へ出力する。ビデオ信号処理回路405 では、この蛍光診断画像信号をビデオ信号に変換し、モニタ90に出力する。モニタ90では、疑似カラー画像である蛍光診断画像3が表示される。観察者は、階調関数としてガンマタイプ(γ=0.4)を用いて生成された蛍光診断画像3を注目しながらスコープ部10を移動させる。病変領域が見つかった場合には、観察者は、入力装置61を用いて、階調関数を例えばガンマタイプ(γ=2.5)へ切り替える。上記と同様の動作により、モニタ90には、階調関数としてガンマタイプ(γ=2.5)を用いて生成された蛍光診断画像が表示される。この蛍光診断画像は、蛍光演算値が小さい領域において、蛍光演算値の変化を詳細に表示するものであり、観察者は病変領域の組織性状を詳細に観察することができる。
【0061】以上の説明であきらかなように、本実施形態における蛍光内視鏡装置においては、予め4種類の階調関数に対応したルックアップテーブルが記憶され、入力装置61を介した選択操作により、4種類のルックアップテーブルの中の1つのテーブルを選択することにより、モニタ90に表示される蛍光診断画像の表示状態を選択することができるため、観察者は所望の表示状態で表示された蛍光診断画像を観察可能であり、組織性状の識別精度が向上する。また、観察者は観察目的に応じて蛍光診断画像の表示状態を選択可能であるため、常に観察目的に対応した適切な蛍光診断画像を観察することができる。また、狭帯域蛍光画像の画素値と広帯域蛍光画像の画素値の比率に基づいて、所望の階調処理により色情報が設定される蛍光診断画像が表示されるので、組織性状の識別時間が短縮される。
【0062】さらに、各蛍光診断画像は、IR反射画像の画素値に応じて輝度が変化する疑似カラーで表示されているため、観察部の凹凸や、距離感を備えた画像として表示される。なお、本実施の形態においては、蛍光演算値が蛍光スペクトルの形状の違いを反映しているため、正常領域から発せられる蛍光の蛍光スペクトルと、不明領域から発せられる蛍光スペクトルの形状の違いに基づいて、組織性状を識別することができる。
【0063】次に図5および図6を参照して本発明による第2の具体的な実施の形態である蛍光内視鏡装置について説明する。図5は蛍光内視鏡装置の概略構成図であり、図6は、本蛍光内視鏡装置に搭載される光学フィルタの模式図である。なお、図5においては図1中の要素で同等の要素には同番号を付してあり、それらについての説明は特に必要のない限り省略する。
【0064】この蛍光内視鏡装置は、通常のカラー画像である通常画像2と、生体観察部に励起光を照射して、観察部1から発せられた蛍光による蛍光像と、観察部1に近赤外光である参照光を照射して観察部で反射された反射光によるIR反射像に基づいて生成された疑似カラー画像である蛍光診断画像4とを同時にモニタ上の表示するものである。このため、通常像、蛍光像およびIR反射像の撮像は時分割で行われる。
【0065】蛍光診断画像4を生成する際には、励起光Leが照射された観察部1から発せられた蛍光像から広帯域蛍光画像を取得し、また近赤外光である参照光Lsを照射された観察部1の反射像からIR反射画像を取得し、各画素毎に広帯域蛍光画像の画素値をIR反射画像の画素値で除算した蛍光演算値を算出し、この蛍光演算値に基づいて色情報を作成し、IR反射画像の画素値に基づいて輝度情報を作成し、両画像情報に基づいて蛍光診断画像を生成するものである。なお、蛍光診断画像としては、後述する正常境界値を用いて2値化表示された蛍光診断画像(以後正常パターン蛍光診断画像と記載)、後述する病変境界値を用いて2値化表示された蛍光診断画像(以後病変パターン蛍光診断画像と記載)および階調関数を用いて階調表示された蛍光診断画像(以後階調パターン蛍光診断画像と記載)の3パターンの蛍光診断画像から1つパターンが選択可能であり、また各パターン毎に表示状態の設定が可能である。
【0066】本発明の第2の実施の形態にかかる蛍光内視鏡装置は、先端にCCD撮像素子101 を備え、患者の病巣と疑われる部位に挿入されるスコープ部11、通常像撮像用の照明光である白色光を射出する光源と、蛍光像撮像用の励起光Leを射出する光源と、IR反射像撮像用の参照光Lsを射出する光源とを備える照明ユニット21、広帯域蛍光画像の画素値およびIR反射画像の画素値から蛍光演算値を算出し、該蛍光演算値から色情報を作成し、IR反射画像の画素値から輝度情報を作成し、色情報と輝度情報から蛍光診断画像信号を生成して出力する蛍光画像処理ユニット31、通常画像信号の生成と、その通常画像信号および蛍光画像処理ユニット31から出力された蛍光画像信号をビデオ信号に変換して出力する通常画像処理ユニット41、CCD撮像素子101 の動作を制御するCCD駆動ユニット51、各ユニットの動作を制御するコントローラ62、該コントローラ62に接続されている入力装置61および通常画像2および蛍光診断画像4を表示するモニタ92から構成されている。なお、照明ユニット21、蛍光画像処理ユニット31、通常画像処理ユニット41、CCD駆動ユニット51およびコントローラ62はプロセッサ部93を構成し、スコープ部11とプロセッサ部93およびプロセッサ部93とモニタ92は、それぞれ図示省略したコネクタにより、接離自在に接続されている。
【0067】スコープ部11は、内部に先端まで延びるライトガイド102 およびCCDケーブル103 を備えている。ライトガイド102 およびCCDケーブル103 の先端部、即ちスコープ部11の先端部には、照明レンズ104 および対物レンズ105 を備えている。CCDケーブル103 の先端部には、微少な帯域フィルタがモザイク状に組み合わされたモザイクフィルタ111 がオンチップされたCCD撮像素子101 が接続され、該CCD撮像素子101 には、プリズム107 が取り付けられている。また、プリズム107 と対物レンズ105 の間には、波長420nm以下の波長の光をカットする励起光カットフィルタ108 が取り付けられている。
【0068】モザイクフィルタ111 は、図6に示すように、520nm〜600nmの波長帯域の光を透過させるGフィルタ111aと、波長430nm〜600nmの波長帯域の光を透過させるCyフィルタ111bと、波長520nm以上の波長帯域の光を透過させるYeフィルタ111cとが組み合わされ、各帯域フィルタはCCD撮像素子101 の画素に一対一で対応している。
【0069】照明ユニット21は、白色光を射出する白色光源201 、白色光源用電源202 、励起光Leを発するGaN系半導体レーザ206 、半導体レーザ用電源207 、参照光Lsを発する参照光源209 、および参照光源用電源210 を備えている。
【0070】蛍光画像処理ユニット31は、励起光Leが照射された時に、CCD撮像素子101 で撮像された信号のプロセス処理を行う信号処理回路301 、該信号処理回路301 で得られた画像信号をデジタル化するA/D 変換回路302 、デジタル化された画像信号を一時的に記憶する画像メモリ311 、画像メモリ311 に記憶された画像信号から広帯域蛍光画像を算出して記憶する演算・画像メモリ312 、該演算・画像メモリ312 に記憶された広帯域蛍光画像の画素値を、画像メモリ308 に保存されているIR反射画像の画素値で除算した蛍光演算値を算出する蛍光演算値算出部313 と、蛍光診断画像信号を生成して、ビデオ信号処理回路405 へ出力する蛍光診断画像生成部314 と、参照光Lsが照射された時に撮像された画像信号のうち、モザイクフィルタ111 のYeフィルタ111cと対応する画素で受光した画像信号のプロセス処理を行う信号処理回路306 、該信号処理回路306 から出力された画像信号をデジタル化するA/D 変換回路307 、デジタル化された画像信号からなるIR反射画像を保存する画像メモリ308 とを備えている。
【0071】なお、蛍光診断画像生成部314 は、まず、入力装置61およびコントローラ62を介して観察者により入力された選択信号に基づいて、正常パターン蛍光診断画像、病変パターン蛍光診断画像および階調パターン蛍光診断画像の中からどのパターンの蛍光診断画像が選択されているかを判定する。
【0072】正常パターン蛍光診断画像が選択されている場合には、入力装置61およびコントローラ62を介して、観察者により設定された正常境界値S1に基づいて、蛍光演算値が正常境界値S1より大きい場合には、緑色の均一色情報を割り当て、蛍光演算値が正常境界値S1以下である場合には、黄色の均一色情報を割り当てて色情報を作成し、また画像メモリ308 に保存されているIR反射画像の画素値から輝度情報を作成し、色情報と輝度情報に基づいて、蛍光診断画像を生成する。
【0073】病変パターン蛍光診断画像が選択されている場合には、入力装置61およびコントローラ62を介して、観察者により設定された病変境界値S2に基づいて、蛍光演算値が病変境界値S2以上である場合には、黄色の均一色情報を割り当て、蛍光演算値が病変境界値S2より小さい場合には、赤色の均一色情報を割り当てて色情報を作成し、また画像メモリ308 に保存されているIR反射画像の画素値から輝度情報を作成し、色情報と輝度情報に基づいて、蛍光診断画像信号を生成する。
【0074】階調パターン蛍光診断画像が選択されている場合には、入力装置61およびコントローラ62を介して、観察者により設定された階調関数に基づいて、蛍光演算値から色情報(緑〜黄〜赤)を作成し、また画像メモリ308 に保存されているIR反射画像の画素値から輝度情報を作成し、色情報と輝度情報に基づいて、蛍光診断画像を生成する。
【0075】また演算・画像メモリ312 においては、広帯域蛍光画像の画素値は、CCD撮像素子101 の隣接する画素で撮像された画像信号毎に、モザイクフィルタ111 のCyフィルタ111bと対応する画素で受光した画像信号の信号値にYeフィルタ111cと対応する画素で受光した画像信号の信号値を加算し、その加算値からGフィルタ111aと対応する画素で受光した画像信号の信号値を減算することにより算出する。
【0076】通常画像処理ユニット41は、白色光Lwが照射された時に、モザイクフィルタ111の各微少フィルタと対応する画素で受光した信号にプロセス処理を施す信号処理回路411、該信号処理回路から出力された画像信号をデジタル化するA/D 変換回路402 、デジタル化された画像信号を保存する画像メモリ403 、該画像メモリに保存された画像信号から通常画像信号を生成する通常画像生成部412 、通常画像を表示する際には、該通常画像生成部412 から出力された通常画像信号をビデオ信号に変換して出力し、また蛍光診断画像を表示する際には、上記の蛍光診断画像生成部314 から出力された蛍光診断画像信号をビデオ信号に変換して出力するビデオ信号処理回路405 を備えている。コントローラ62は、各部位に接続され、動作タイミングを制御している。
【0077】以下、本発明による蛍光内視鏡装置の動作について説明する。撮像に先立ち、観察者はスコープ部11を、被験者の体腔内に挿入し、スコープ部11の先端を観察部1の近傍に誘導する。また、観察者は、まず蛍光診断画像の3つのパターンの中からモニタ92に表示するパターンを選択する。その後、選択したパターンに応じて、階調関数の種類、正常境界値S1または病変境界値S2を入力する。
【0078】ここで、各パターンにおける表示形式を簡単に説明する。正常パターン蛍光診断画像は、蛍光演算値が大きく、正常組織である可能性が高く、詳細に観察する必要がない領域である正常領域と、その他の領域を異なる色で表示する2値化表示により表示されるものであり、しきい値として次式で定義されるような正常境界値S1が、観察者により設定される。
【0079】正常境界値S1=正常Av−α正常St(但しαは0以上の係数)
ここで、正常Avは、予め正常組織であることが明らかな既知正常組織から取得した蛍光演算値の平均値であり、正常Stは、その標準偏差である。また、αは、観察者の望む診断確率に応じて設定すればよく、例えばαとして1を設定すれば70〜80%の診断確率で正常領域を検出することができる。αをより小さな値とすれば診断確率は向上する。
【0080】一方、病変パターン蛍光診断画像は、蛍光演算値の値が小さく、病変組織である可能性の高い領域である病変領域と、その他の領域を異なる色で表示する2値化表示により表示されるものであり、しきい値として、次式で定義されるような病変境界値S2を入力する。
【0081】病変境界値S2=病変Av+β病変St(但しβは0以上の係数)
ここで、病変Avは、予め病変組織であることが明らかな既知病変組織から取得した蛍光演算値の平均値であり、病変Stは、その標準偏差である。また、βは、観察者の望む診断確率に応じて設定すればよい。一般に病変組織における蛍光演算値は、その病変の種類や進行度によりばらつきがあり、一概にβを決めることは困難であるが、観察者が均一表示を望む病変部位のうち、80%以上の部位に対して均一表示が行われるようなβを設定することが望ましい。
【0082】また階調パターン蛍光診断画像は、図4に示すように、複数種類の階調関数が予めルックアップテーブル形式で記憶され、観察者の選択により任意に階調関数が設定されるものである。
【0083】本蛍光内視鏡装置においては、白色光Lwの照射、励起光Leの照射、参照光Lsの照射と、通常像の撮像、蛍光像の撮像およびIR反射像の撮像とが図7に示すように時分割で行われ、通常画像2および蛍光診断画像4が同時にモニタ92に表示される。また、各画像を撮像するための露光後、CCD撮像素子101 の受光部から蓄積部に画像信号をシフトし、次の画像を露光している間に、蓄積部から各画像の画像信号を読み出している。
【0084】まず、通常画像を表示する際の動作を説明する。コントローラ62からの信号に基づき、白色光源用電源202 が駆動され、白色光源201 から白色光が射出される。白色光は、集光レンズ203 により集光され、ライトガイド102aに入射され、スコープ部11の先端まで導光された後、照明レンズ104 から観察部1へ照射される。
【0085】観察部1で反射された白色光Lwの反射光は、集光レンズ105 により集光され、プリズム107 に反射して、CCD撮像素子101 上に白色光反射像Zwとして結像される。CCD撮像素子101より出力された画像信号は、通常画像処理ユニット41の信号処理回路411 で、プロセス処理を施されて出力され、A/D 変換回路402 でデジタル信号に変換されて、画像メモリ403 へ記憶される。表示タイミングに合わせて通常画像生成部412 において、各微少フィルタに対応する3色の画像信号からRGB信号が算出され、該RGB信号に基づいて通常画像信号が生成され出力される。ビデオ信号処理回路405 では、通常画像信号をビデオ信号に変換し、モニタ92に出力する。モニタ92には、カラー画像である通常画像2が表示される。
【0086】次に蛍光診断画像を表示する際の動作について説明する。まず、蛍光像を撮像する際の動作を説明する。コントローラ62は、入力装置61を介して入力された正常境界値、病変境界値および階調関数の選択結果を蛍光診断画像生成部314 へ、出力する。
【0087】まず、コントローラ62からの信号に基づき、励起光Leが観察部1へ照射される。CCD撮像素子101 で受光された蛍光像Zjは、画像信号に変換されて出力され、蛍光画像処理ユニット31 の信号処理回路301 で、プロセス処理を施され、A/D 変換回路302 でデジタル信号に変換されて、画像メモリ311 へ記憶される。
【0088】演算・画像メモリ312 では、画像メモリ311 へ記憶された、CCD撮像素子101 の隣接した画素で撮像された画像信号毎に、モザイクフィルタ111 のCyフィルタ111bと対応する画素で受光した画像信号の信号値にYeフィルタ111cと対応する画素で受光した画像信号の信号値を加算し、その加算値からGフィルタ111aと対応する画素で受光した画像信号の信号値を減算して、広帯域蛍光画像を作成し、記憶する。
【0089】次に参照光LsのIR反射像Zsを撮像する際の動作を説明する。参照光Lsは、観察部1へ照射され、観察部1で反射された参照光Lsの反射光は、CCD撮像素子101 上にIR反射像Zsとして結像されて、画像信号に変換されて出力される。
【0090】CCD撮像素子101 から出力された信号は、蛍光画像処理ユニット31の信号処理回路306 で、520nm以上の波長帯域の光を透過させるYeフィルタ111cに対応する画素で受光された信号のみが、プロセス処理を施され画像信号として出力され、A/D 変換回路307 でデジタル信号に変換されて、画像メモリ308 へIR反射画像として記憶される。
【0091】蛍光演算値算出部313 では、対応する画素毎に、演算・画像メモリ312 に記憶された広帯域蛍光画像の画素値を、画像メモリ308 に保存されているIR反射画像の画素値で除算した蛍光演算値を算出する。
【0092】蛍光診断画像生成部314 では、予め選択された蛍光診断画像のパターンに基づいて蛍光診断画像が生成される。例えば、正常パターン蛍光診断画像が選択されている場合には、コントローラ62から入力された正常境界値S1に基づいて緑色または赤色が割り当てられる2値化表示の正常パターン蛍光診断画像が生成される。
【0093】また、同様に病変パターン蛍光診断画像が選択されている場合には、病変境界値S2に基づいて2値化表示される病変パターン蛍光診断画像が生成され、階調パターン蛍光診断画像が選択されている場合には、設定された階調関数に基づいた階調処理により表示色が割り当てられる階調パターン蛍光診断画像が生成される。生成された蛍光診断画像信号は、ビデオ信号処理回路405 へ出力される。モニタ92には、通常画像2と並んで蛍光診断画像4が表示される。蛍光診断画像4が正常パターン蛍光診断画像であれば、正常領域が緑色で表示され、不明領域が黄色で表示されている。また蛍光診断画像4が、病変パターン蛍光診断画像であれば、病変領域が赤色で表示され、不明領域が黄色で表示されている。また蛍光診断画像4が、階調パターン蛍光診断画像であれば、緑色(蛍光演算値大)から赤色(蛍光演算値小)間の階調色で表示されている。
【0094】すなわち、観察者は正常領域を識別したい場合には、正常パターン蛍光診断画像を表示させればよく、病変領域を識別した場合には病変パターン蛍光診断画像を表示させればよい。また、正常領域でもなく、病変領域でない、中間領域の組織性状を詳細に観察した場合には、階調パターン蛍光診断画像を表示させればよい。特に階調関数としてシグモイドタイプの階調関数が設定された階調パターン蛍光診断画像は、中間領域の組織性状の観察に適している。なお、入力装置61からの入力操作により、通常画像2または蛍光診断画像4のどちらか1種類の画像のみを表示することもできる。
【0095】以上の説明で明らかなように、本実施形態における蛍光内視鏡装置においては、観察者は、3種類のパターンの蛍光診断画像の中から1つのパターンの蛍光診断画像を選択し、かつしきい値あるいは階調関数を設定することにより、モニタ92に表示される蛍光診断画像の表示状態を選択することができるため、第1の実施形態と同様に、観察者は所望の表示状態で表示された蛍光診断画像を観察可能であり、組織性状の識別精度が向上する。また、観察者は観察目的に応じて蛍光診断画像の表示状態を選択可能であるため、常に観察目的に対応した適切な蛍光診断画像を観察することができる。このため、組織性状の識別時間が短縮される。また、IR反射画像の画素値に応じて輝度が異なるため、観察部の凹凸や、距離感を備えた蛍光診断画像を表示することができる。
【0096】なお、本実施の形態においては、蛍光演算値が蛍光収率の違いを反映しているため、各領域から発せられる蛍光の蛍光収率の違いに基づいて、各領域を識別することができる。
【0097】なお、各実施の形態においては、表示可能な蛍光診断画像として、蛍光演算値が所定値以上あるいは所定値以下の画素領域は、蛍光演算値に係わらず均一色あるいは均一濃度で表示し、残りの画素領域は、階調表示により表示する均一・階調表示により表示される蛍光診断画像を用いることもできる。
【0098】次に図8を参照して本発明による第3の具体的な実施の形態である蛍光内視鏡装置について説明する。図8は蛍光内視鏡装置の概略構成図である。なお、図8においては図1中の要素で同等の要素には同番号を付してあり、それらについての説明は特に必要のない限り省略する。
【0099】この蛍光内視鏡装置は、通常のカラー画像である通常画像2を表示する通常画像モード、または生体観察部に励起光を照射して、観察部から発せられた蛍光から狭帯域蛍光画像と広帯域蛍光画像を取得し、両蛍光画像に基づいて、加色混合法により生成された疑似カラー画像である蛍光診断画像5を表示する蛍光診断画像モードにより動作するものである。
【0100】なお、蛍光診断画像モードにおいては、異なる階調関数を用いてた加色混合法により生成可能な3種類の蛍光診断画像の中から、観察者により選択された1種類の蛍光診断画像が表示される。蛍光診断画像の切り替えは、入力装置61からの入力操作により行われる。
【0101】蛍光診断画像モードにおいては、励起光Leが照射された観察部1から発せられた蛍光から狭帯域蛍光画像と広帯域蛍光画像とを、CCD撮像素子101 により撮像し、狭帯域蛍光画像の画素値に対して階調関数を用いてGの色情報を割り当てた階調G信号を作成し、広帯域蛍光画像の画素値に対して同様に階調関数を用いてRの色情報を割り当てた階調R信号を作成し、階調G信号をモニタ90のGチャンネルに入力し、階調R信号をモニタ90のRチャンネルに入力して加色混合表示を行うことにより蛍光診断画像5をモニタ90に表示するものである。各蛍光画像の画素値に色情報を割り当てる際に使用する階調関数としては、図4に実線で示すリニアタイプ、点線で示すガンマタイプ(γ=2.5)、2点鎖線で示すガンマタイプ(γ=0.4)の中から1種類の階調関数が選択可能である。階調関数の選択は入力装置61からの入力操作により行われる。
【0102】本発明の第3の実施の形態にかかる蛍光内視鏡装置は、スコープ部10、照明ユニット20、狭帯域蛍光画像と広帯域蛍光画像に基づいた加色混合法により蛍光診断画像信号を生成して出力する蛍光画像処理ユニット32、通常画像信号の生成と、その通常画像信号をビデオ信号に変換して出力する通常画像処理ユニット40、CCD撮像素子101 の動作を制御するCCD駆動ユニット50、各ユニットの動作を制御するコントローラ63、該コントローラ63に接続されている入力装置61および通常画像2または蛍光診断画像3を表示するモニタ90から構成されている。なお、照明ユニット20、蛍光画像処理ユニット32、通常画像処理ユニット40、CCD駆動ユニット50およびコントローラ63はプロセッサ部94を構成し、スコープ部10とプロセッサ部94およびプロセッサ部94とモニタ90は、それぞれ図示省略したコネクタにより、接離自在に接続されている。
【0103】蛍光画像処理ユニット32は、撮像された信号のプロセス処理を行う信号処理回路301 、A/D 変換回路302 、モザイクフィルタ106 の狭帯域フィルタ106aと対応する画素で受光した狭帯域蛍光画像と、全波長帯域フィルタ106bと対応する画素で受光した広帯域蛍光画像とで、異なる記憶領域に保存する画像メモリ303 と、予め3種類の階調関数に対応した4枚のルックアップテーブルが記憶され、画像メモリ303 に記憶された画素値と、選択された階調関数(ルックアップテーブル)に基づいて、階調G信号および階調R信号を作成し、それぞれの信号をモニタ90のGチャンネルおよびRチャンネルへ出力する蛍光診断画像生成部321 とを備えている。
【0104】以下、本発明による蛍光内視鏡装置の動作について説明する。通常画像モードの撮像および表示動作は、第1の実施の形態と同様であるため説明を省略し、蛍光診断画像を表示する際の動作について説明する。観察者は、入力装置61を用いて、蛍光診断画像モードを選択する。この際に、蛍光診断画像を表示する際に使用する階調関数も同時に設定する。リニアタイプ、ガンマタイプ(γ=0.4)、ガンマタイプ(γ=2.5)の階調関数に対応した3枚のルックアップテーブルが予め、蛍光診断画像生成部321 に記憶されている。観察者は、入力装置61を介してこれらの階調関数の中から所望の階調関数を選択することができる。コントローラ60は、階調関数の選択結果を蛍光診断画像生成部321 へ出力する。
【0105】リニアタイプの階調関数が選択された場合には、狭帯域蛍光画像と、広帯域蛍光画像間の画素値の比率が線形に表示階調色(赤から緑)へ反映された蛍光診断画像が表示される。ガンマタイプ(γ=0.4)が選択された場合には、遠方まで視認可能な蛍光診断画像が生成され、ガンマタイプ(γ=2.5)が選択された場合には、近場の注視に的した蛍光診断画像が生成される。上記の設定が終了後、実際の撮像が開始される。
【0106】励起光Leを照射されることにより生じる観察部1からの蛍光は、CCD撮像素子101 上に蛍光像Zjとして結像される。この際励起光Leの反射光は、励起光カットフィルタ108 によりカットされるため、CCD撮像素子101 に入射することはない。
【0107】CCD撮像素子101 では、蛍光像Zjが受光されて、光電変換され、光の強弱に応じた画像信号に変換されて出力される。CCD撮像素子101 から出力された信号は、蛍光画像処理ユニット32 の信号処理回路301 で、プロセス処理を施され、A/D 変換回路302 でデジタル信号に変換されて、狭帯域蛍光画像と広帯域蛍光画像に分けて、画像メモリ303 の記憶領域へ記憶される。
【0108】蛍光診断画像生成部321では、画像メモリ303に記憶された狭帯域蛍光画像の画素値に対して選択された階調関数を用いてGの色情報を割り当てた階調G信号を作成し、広帯域蛍光画像の画素値に対して同様に選択された階調関数を用いてRの色情報を割り当てた階調R信号を作成し、階調G信号をモニタ90のGチャンネルに出力し、階調R信号をモニタ90のRチャンネルに出力する。モニタ90では、疑似カラー画像である蛍光診断画像5が加色混合法により表示される。観察者は、通常の蛍光診断画像を観察したい場合には階調関数としてリニアタイプを選択し、遠方まで視認可能な蛍光診断画像を観察したい場合には、階調関数としてガンマタイプ(γ=0.4)を選択し、近場の画像を注視したい場合には、階調関数としてガンマタイプ(γ=2.5)を選択すればよい。
【0109】以上の説明であきらかなように、本実施形態における蛍光内視鏡装置においては、予め3種類の階調関数に対応したルックアップテーブルが記憶され、入力装置61を介した選択操作により、3種類のルックアップテーブルの中の1つのテーブルを選択することにより、モニタ90に表示される蛍光診断画像の表示状態を選択することができるため、第1の実施形態および第2の実施形態と同様に、観察者は所望の表示状態で表示された蛍光診断画像を観察可能であり、組織性状の識別精度が向上する。また、観察者は観察目的に応じて蛍光診断画像の表示状態を選択可能であるため、常に観察目的に対応した適切な蛍光診断画像を観察することができる。このため、組織性状の識別時間が短縮される。なお、本実施の形態の変型例として、表示可能な蛍光診断画像として、本実施の形態に記載した加色混合法を用いて表示した蛍光診断画像と、第1の実施の形態および第2の実施の形態に記載したような、蛍光演算値を用いて階調表示あるいは2値化表示された蛍光診断画像や、一部が均一表示されている均一・階調表示により表示された蛍光診断画像を組み合わせることもできる。
【0110】また、各実施の形態においては、正常境界値、病変境界値あるいは階調関数の種類等の各設定値を観察者の入力操作により切り替えることができるため、観察部の種類、あるいは個体差、年齢差等に応じて、適宜所望の蛍光診断画像を表示することができる。また階調表示を不連続的な表示で行う場合であれば、階調数なども変更できることが好ましい。
【0111】なお、階調関数等の選択操作や、正常境界値、病変境界値および蛍光診断画像のパターンの選択操作等は、蛍光診断画像が表示されている間も、随時行えることが望ましい。また、所定時間毎に、自動的に選択信号が発生され、表示される蛍光診断画像が切り替わるシーケンシャル切替機能を備えていれば、最も適切な蛍光診断画像の表示状態が不明である場合であっても、所望の蛍光診断画像を表示される画像の中から選択することができ、一層装置の利便性が向上する。
【0112】また、各実施の形態において、入力装置61は、プロセッサ部に設けられる構成としたがこれに限定されるものではなく、通常のスコープ部に設けられている手元操作部に設けてもよい。この場合にはスコープ部の操作者が、種々の設定を切り替えることができる。またフットフイッチとして構成することもでき、一層入力装置の使い勝手が向上する。さらに、種々の設定を、それぞれ使い勝手の良い部位に設けられた別個の入力装置から入力してもよい。なお、各実施の形態においては、通常画像、蛍光画像および補助画像を1つの撮像素子により撮像したが、それぞれ別個の撮像素子を用いて撮像してもよい。このような場合には、各撮像素子に、取得する画像に適した透過波長範囲を備えた光学フィルタを取り付けることが望ましい。
【図面の簡単な説明】
【図1】本発明による第1の具体的な実施の形態である蛍光内視鏡装置の概略構成図
【図2】光学フィルタの概略構成図
【図3】切替フィルタの概略構成図
【図4】階調関数の説明図
【図5】本発明による第2の具体的な実施の形態である蛍光内視鏡装置の概略構成図
【図6】光学フィルタの概略構成図
【図7】撮像タイミングの説明図
【図8】本発明による第3の具体的な実施の形態である蛍光内視鏡装置の概略構成図
【図9】正常組織および病変組織から発せられる蛍光のスペクトル分布を示す図
【符号の説明】
1 観察部
2 通常画像
3,4,5 蛍光診断画像
10,11 スコープ部
20,21 照明ユニット
30,31,32 蛍光画像処理ユニット
40,41 通常画像処理ユニット
50,51 CCD駆動ユニット
60,62 コントローラ
90,92 モニタ
101 撮像素子
106,111 モザイクフィルタ
304,313 蛍光演算値算出部
305,314,321 蛍光診断画像生成部

【特許請求の範囲】
【請求項1】 励起光の照射を受けた観察部から発せられる蛍光に基づいた蛍光画像を取得し、光の照射を受けた前記観察部から発せられる再輻射光に基づいた補助画像を取得し、前記蛍光画像の画素値と前記補助画像の画素値の比率に基づいて蛍光診断画像を生成して、該蛍光診断画像を表示する蛍光診断画像表示方法において、選択信号に応じて、所定の階調処理により生成される第1の蛍光診断画像と前記所定の階調処理とは異なる画像処理により生成される第2の蛍光診断画像のいずれか1つを選択して、表示することを特徴とする蛍光診断画像表示方法。
【請求項2】 観察部に励起光を照射し、該励起光の照射により前記観察部から発せられる蛍光に基づいた蛍光画像を取得する蛍光画像取得手段と、前記観察部に光を照射し、該光の照射により前記観察部から発せられる再輻射光に基づいた補助画像を取得する補助画像取得手段と、前記蛍光画像の画素値と前記補助画像の画素値の比率に基づいて蛍光診断画像を生成する蛍光診断画像生成手段と、前記蛍光診断画像を表示する表示手段とを備えた蛍光診断画像表示装置において、前記蛍光診断画像生成手段が、所定の階調処理により生成される第1の蛍光診断画像と前記所定の階調処理とは異なる画像処理により生成される第2の蛍光診断画像とを生成可能なものであり、前記表示手段が前記第1の蛍光診断画像と第2の蛍光診断画像のいずれか1つを表示するものであり、選択信号に応じて、前記第1の蛍光診断画像と第2の蛍光診断画像のいずれか1つを選択して、前記表示手段に表示させる表示制御手段をさらに備えたことを特徴とする蛍光診断画像表示装置。
【請求項3】 前記第1の蛍光診断画像が、前記蛍光画像の画素値と前記補助画像の画素値の比率に基づいて、前記所定の階調処理により色合いが設定される画像であり、前記第2の蛍光診断画像が、前記蛍光画像の画素値と前記補助画像の画素値の比率に基づいて、前記所定の階調処理とは異なる画像処理により色合いが設定される画像であることを特徴とする請求項2記載の蛍光診断画像表示装置。

【図2】
image rotate


【図3】
image rotate


【図4】
image rotate


【図6】
image rotate


【図1】
image rotate


【図5】
image rotate


【図7】
image rotate


【図9】
image rotate


【図8】
image rotate


【公開番号】特開2003−159210(P2003−159210A)
【公開日】平成15年6月3日(2003.6.3)
【国際特許分類】
【出願番号】特願2001−364265(P2001−364265)
【出願日】平成13年11月29日(2001.11.29)
【出願人】(000005201)富士写真フイルム株式会社 (7,609)
【Fターム(参考)】