画像表示装置
【課題】通常画像と特殊画像とを合成して合成画像を表示する画像表示装置において、通常画像の可視情報を損なうことなく、かつ蛍光画像に現れている部分の通常画像上における位置を即座にできるようにする。
【解決手段】通常光および特殊光を被観察部に照射する光照射部と、通常光の照射によって被観察部から反射された反射光を光電変換して通常画像を撮像する通常画像用撮像素子と特殊光の照射によって被観察部から発せられた光を光電変換して特殊画像を撮像する特殊画像用撮像素子とを備えた撮像部とを備えた画像表示装置において、特殊画像用撮像素子のフレーム毎に蓄積される電荷蓄積量が周期的に変化するように制御する。
【解決手段】通常光および特殊光を被観察部に照射する光照射部と、通常光の照射によって被観察部から反射された反射光を光電変換して通常画像を撮像する通常画像用撮像素子と特殊光の照射によって被観察部から発せられた光を光電変換して特殊画像を撮像する特殊画像用撮像素子とを備えた撮像部とを備えた画像表示装置において、特殊画像用撮像素子のフレーム毎に蓄積される電荷蓄積量が周期的に変化するように制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通常光の被観察部への照射によって取得した通常画像と特殊光の被観察部への照射によって取得した特殊画像とを合成した合成画像を表示する画像表示装置に関するものである。
【背景技術】
【０００２】
従来、体腔内の組織を観察する内視鏡システムが広く知られており、白色光の照射によって体腔内の被観察部を撮像して通常画像を得て、この通常画像をモニタ画面上に表示する電子式内視鏡システムが広く実用化されている。
【０００３】
また、上記のような内視鏡システムとして、たとえば、特許文献１においては、通常画像とともに、励起光の照射によって被観察部から発せられた自家蛍光像を撮像して自家蛍光画像を得、これらの画像をモニタ画面上に表示する蛍光内視鏡システムが提案されている。
【０００４】
また、蛍光内視鏡システムとしては、たとえば、ＩＣＧ（インドシアニングリーン）を予め体内に投入し、励起光を被観察部に照射して血管内のＩＣＧの蛍光を検出することによって血管の蛍光画像を取得するものも提案されている。
【０００５】
ここで、上記のような蛍光内視鏡システムにおいては、通常画像と蛍光画像とを同時に見やすく表示することが望まれる。
【０００６】
通常画像と蛍光画像を表示する方法としては、たとえば、１つのモニタに通常画像と蛍光画像を並べて表示したり、１つのモニタに通常画像と蛍光画像とを切り替えて表示したりする方法がある。
【０００７】
また、特許文献２においては、表示装置に入力されるＲＧＢの３つのチャネルの信号のうちの１つのチャネルに蛍光画像信号を割り当て、通常画像上に疑似カラーの蛍光画像を表示する方法が提案されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００５−２０４９０５号公報
【特許文献２】特開２００３−１２６０１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ここで、たとえば、上述したようなＩＣＧを用いた血管画像の観察を行う場合、蛍光画像上において、通常画像上には現れない脂肪下の血管まで表示することが可能であるが、蛍光画像はモノクロ画像であり、蛍光画像上では蛍光を発している血管部分しか認識することができないため、蛍光画像に現れている血管画像が通常画像上のどの位置に存在するのかを正確に把握することができない。
【００１０】
また、上述したように通常画像と蛍光画像とを切り替えて表示した場合には２つの画像を比較することは可能であるが、通常画像と蛍光画像とを同時に比較することができないので、やはり蛍光画像に現れている血管画像が通常画像上のどの位置に存在するのかを正確に判断することができない。
【００１１】
また、通常画像と蛍光画像とを同時に表示した場合でも、観察者は通常画像と蛍光画像とを交互に比較観察する必要があるので、蛍光画像に現れている血管画像が通常画像上のどの位置に存在するのかを即座に判断することは非常に困難であり、観察者の疲労も招くことになる。
【００１２】
さらに、特許文献２に記載の方法のように、通常画像上に疑似カラーの蛍光画像を表示させるようにした場合には、一応、蛍光画像に現れている血管画像が通常画像上のどの位置に存在するのかを把握することはできるが、観察者が疑似カラーの色に慣れる必要がある。
【００１３】
また、蛍光画像の血管画像は、通常画像の血管画像と共通する部分を有するが、疑似カラーの色によっては蛍光画像上にのみ存在する部分と共通部分との境界を即座に判断することが困難である。
【００１４】
さらに、蛍光画像が疑似カラー表示されてしまうので、通常画像と蛍光画像とで重なり合う部分については、通常画像の可視情報は全く把握することができなくなってしまう。
【００１５】
本発明は、上記の問題に鑑みてなされたものであり、通常画像と特殊画像とを合成して合成画像を表示する画像表示装置において、通常画像の可視情報を損なうことなく、かつ蛍光画像に現れている部分の通常画像上における位置を即座に認識することができる画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明の画像表示装置は、通常光を射出する通常光源部および通常光とは異なる波長帯域の特殊光を射出する特殊光源部とを有し、通常光および特殊光を被観察部に照射する光照射部と、通常光の照射によって被観察部から反射された反射光を光電変換して電荷を蓄積することによって通常画像を撮像する通常画像用撮像素子と特殊光の照射によって被観察部から発せられた光を光電変換して電荷を蓄積することによって特殊画像を撮像する特殊画像用撮像素子とを備えた撮像部と、撮像部によって撮像された通常画像と特殊画像とを合成した合成画像を表示する表示部と、特殊画像用撮像素子のフレーム毎に蓄積される電荷蓄積量が周期的に変化するように特殊光源部を制御する光源制御部とを備えたことを特徴とする。
【００１７】
また、上記本発明の画像表示装置においては、光源制御部を、特殊画像用撮像素子の撮像周期とは異なる周期で特殊光を特殊光源部から射出させるものとすることができる。
【００１８】
また、光源制御部を、特殊画像用撮像素子の撮像周期に応じた周期で特殊光を特殊光源部から射出させるとともに、特殊光のパルス幅が周期的に変化するように特殊光源部を制御するようにできる。
【００１９】
また、光源制御部を、特殊画像用撮像素子の撮像周期に応じた周期で特殊光を特殊光源部から射出させるとともに、特殊光の振幅が周期的に変化するように特殊光源部を制御するようにできる。
【発明の効果】
【００２０】
本発明の画像表示装置は、特殊画像用撮像素子のフレーム毎に蓄積される電荷蓄積量が周期的に変化するように特殊光源部を制御するようにしたので、合成画像上における特殊画像が周期的に強弱表示されるようにすることができ、蛍光画像に現れている部分の合成画像上における位置を即座に認識することができるとともに、蛍光画像が弱表示されているときに通常画像の可視情報も認識することができる。
【００２１】
また、上記本発明の画像表示装置において、特殊画像用撮像素子の撮像周期とは異なる周期で特殊光を特殊光源部から射出させるようにした場合には、簡易な構成で特殊画像用撮像素子の電荷蓄積量を周期的に変化させることができる。
【００２２】
また、特殊光のパルス幅が周期的に変化するように制御したり、特殊光の振幅が周期的に変化するように制御したりした場合にも、上記と同様の効果を得ることができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の画像表示装置の一実施形態を用いた腹腔鏡システムの概略構成図
【図２】硬質挿入部の概略構成図
【図３】撮像ユニットの概略構成図
【図４】画像処理装置および光源装置の概略構成を示すブロック図
【図５】画像処理部の概略構成を示すブロック図
【図６】特殊光の被観察部への照射周期と高感度撮像素子の撮像周期との関係を示すタイミングチャートと、高感度撮像素子にフレーム毎に蓄積される電荷蓄積量とを示す図
【図７】蛍光画像信号の周期的な変化の一例を示す図
【図８】通常画像、蛍光画像および合成画像の一例を示す図
【図９】光源装置のその他の実施形態を示す図
【図１０】特殊光をパルス幅変調した場合の照射パターンの一例を示す図
【図１１】特殊光を振幅幅変調した場合の照射パターンの一例を示す図
【図１２】画像処理部のその他の実施形態を示す図
【図１３】通常血管画像信号が表す血管画像Ｖ１、蛍光血管画像信号が表す血管画像Ｖ２、深部血管画像信号が表す深部血管画像Ｖ３，Ｖ４の一例を示す図
【発明を実施するための形態】
【００２４】
以下、図面を参照して本発明の画像表示装置の一実施形態を用いた腹腔鏡システムについて詳細に説明する。図１は、本実施形態の腹腔鏡システム１の概略構成を示す外観図である。
【００２５】
本実施形態の腹腔鏡システム１は、図１に示すように、白色光の通常光および特殊光を射出する光源装置２と、光源装置２から射出された通常光および特殊光を導光して被観察部に照射するとともに、通常光の照射により被観察部から反射された反射光に基づく通常像および特殊光の照射により被観察部から発せられた蛍光に基づく蛍光像を撮像する硬性鏡撮像装置１０と、硬性鏡撮像装置１０によって撮像された画像信号に所定の処理を施す画像処理装置３と、画像処理装置３において生成された表示制御信号に基づいて被観察部の通常画像および蛍光画像を表示するモニタ４とを備えている。
【００２６】
硬性鏡撮像装置１０は、図１に示すように、腹腔内に挿入される硬質挿入部３０と、硬質挿入部３０によって導光された被観察部の通常像および蛍光像を撮像する撮像ユニット２０とを備えている。
【００２７】
また、硬性鏡撮像装置１０は、図２に示すように、硬質挿入部３０と撮像ユニット２０とが着脱可能に接続されている。そして、硬質挿入部３０は接続部材３０ａ、挿入部材３０ｂ、ケーブル接続口３０ｃ、および照射窓３０ｄを備えている。
【００２８】
接続部材３０ａは、硬質挿入部３０（挿入部材３０ｂ）の一端側３０Ｘに設けられており、たとえば撮像ユニット２０側に形成された開口２０ａに嵌め合わされることにより、撮像ユニット２０と硬質挿入部３０とが着脱可能に接続される。
【００２９】
挿入部材３０ｂは、腹腔内の撮影を行う際に腹腔内に挿入されるものであって、硬質な材料から形成され、たとえば、直径略５ｍｍの円柱形状を有している。挿入部材３０ｂの内部には、被観察部の像を結像するためのレンズ群が収容されており、他端側３０Ｙから入射された被観察部の通常像および蛍光像はレンズ群を介して一端側３０Ｘの撮像ユニット２０側に射出される。
【００３０】
挿入部材３０ｂの側面にはケーブル接続口３０ｃが設けられており、このケーブル接続口３０ｃに光ケーブルＬＣが機械的に接続される。これにより、光源装置２と挿入部材３０ｂとが光ケーブルＬＣを介して光学的に接続されることになる。
【００３１】
照射窓３０ｄは、硬質挿入部３０の他端側３０Ｙに設けられており、光ケーブルＬＣによって導光された通常光および特殊光を被観察部に対し照射するものである。なお、挿入部材３０ｂ内にはケーブル接続口３０ｃから照射窓３０ｄまで通常光および特殊光を導光するライトガイドが収容されており（図示せず）、照射窓３０ｄはライトガイドによって導光された通常光および特殊光を被観察部に照射するものである。
【００３２】
図３は、撮像ユニット２０の概略構成を示す図である。撮像ユニット２０は、硬質挿入部３０内のレンズ群により結像された被観察部の蛍光像を撮像して被観察部の蛍光画像信号を生成する第１の撮像系と、硬質挿入部３０内のレンズ群により結像された被観察部の通常像を撮像して通常画像信号を生成する第２の撮像系とを備えている。これらの撮像系は、通常像を反射するとともに、蛍光像を透過する分光特性を有するダイクロイックプリズム２１によって、互いに直交する２つの光軸に分けられている。
【００３３】
第１の撮像系は、被観察部において反射し、ダイクロイックプリズム２１を透過した特殊光をカットする特殊光カットフィルタ２２と、硬質挿入部３０から射出され、ダイクロイックプリズム２１および特殊光カットフィルタ２２を透過した蛍光像Ｌ４を結像する第１結像光学系２３と、第１結像光学系２３により結像された蛍光像Ｌ４を撮像する高感度撮像素子２４とを備えている。
【００３４】
第２の撮像系は、硬質挿入部３０から射出され、ダイクロイックプリズム２１を反射した通常像Ｌ３を結像する第２結像光学系２５と、第２結像光学系２５により結像された通常像Ｌ３を撮像する撮像素子２６を備えている。
【００３５】
高感度撮像素子２４は、蛍光像Ｌ４の波長帯域の光を高感度に検出し、蛍光画像信号に光電変換して出力するものである。本実施形態においては、高感度撮像素子２４としてモノクロのＣＣＤ（charge coupled device）を用いる。
【００３６】
撮像素子２６は、通常像の波長帯域の光を検出し、通常画像信号に光電変換して出力するものである。撮像素子２６の撮像面には、３原色の赤（Ｒ）、緑（Ｇ）および青（Ｂ）、またはシアン（Ｃ）、マゼンダ（Ｍ）およびイエロー（Ｙ）のカラーフィルタがベイヤー配列またはハニカム配列で設けられている。本実施形態においては、撮像素子２６として上記カラーフィルタが設けられたＣＣＤを用いる。
【００３７】
また、撮像ユニット２０は、撮像制御ユニット２７を備えている。撮像制御ユニット２７は、高感度撮像素子２４から出力された蛍光画像信号および撮像素子２６から出力された通常画像信号に対し、ＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）処理やＡ／Ｄ変換処理を施し、ケーブル５（図１参照）を介して画像処理装置３に出力するものである。
【００３８】
画像処理装置３は、図４に示すように、通常画像入力コントローラ３１、蛍光画像入力コントローラ３２、画像処理部３３、メモリ３４、ビデオ出力部３５、操作部３６、ＴＧ（タイミングジェネレータ）３７およびＣＰＵ３８を備えている。
【００３９】
通常画像入力コントローラ３１および蛍光画像入力コントローラ３２は、所定容量のラインバッファを備えており、撮像ユニット２０の撮像制御ユニット２７から出力された１フレーム分の通常画像信号および蛍光画像信号をそれぞれ一時的に記憶するものである。そして、通常画像入力コントローラ３１に記憶された通常画像信号および蛍光画像入力コントローラ３２に記憶された蛍光画像信号はバスを介してメモリ３４に格納される。
【００４０】
画像処理部３３は、メモリ３４から読み出された１フレーム分の通常画像信号および蛍光画像信号が入力され、これらの画像信号に所定の画像処理を施し、バスに出力するものである。画像処理部３３のより具体的な構成を図５に示す。
【００４１】
画像処理部３３は、図５に示すように、入力された通常画像信号に対し、通常画像に適した所定の画像処理を施して出力する通常画像処理部３３ａと、入力された蛍光画像信号に対し、蛍光画像に適した所定の画像処理を施して出力する蛍光画像処理部３３ｂと、通常画像処理部３３ａにおいて画像処理の施された通常画像信号と蛍光画像処理部３３ｂにおいて画像処理の施された蛍光画像信号に対して、所定の係数を掛け合わせて加算する画像合成部３３ｃとを備えている。なお、画像処理部３３の各部における処理については、後で詳述する。
【００４２】
ビデオ出力部３５は、画像処理部３３から出力された通常画像信号、蛍光画像信号および合成画像信号がバスを介して入力され、所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ４に出力するものである。
【００４３】
操作部３６は、種々の操作指示や制御パラメータなどの操作者による入力を受け付けるものである。また、ＴＧ３７は、撮像ユニット２０の高感度撮像素子２４、撮像素子２６および後述する光源装置２のＬＤドライバ４５を駆動するための駆動パルス信号を出力するものである。また、ＣＰＵ３６は装置全体を制御するものである。
【００４４】
光源装置２は、図４に示すように、約４００〜７００ｎｍの広帯域の波長からなる通常光（白色光）Ｌ１を射出する通常光源４０と、通常光源４０から射出された通常光Ｌ１を集光する集光レンズ４２と、集光レンズ４２によって集光された通常光Ｌ１を透過するとともに、後述する特殊光Ｌ２を反射し、通常光Ｌ１および特殊光Ｌ２とを光ケーブルＬＣの入射端に入射させるダイクロイックミラー４３とを備えている。なお、通常光源４０としては、たとえばキセノンランプが用いられる。また、通常光源４０と集光レンズ４２との間には、絞り４１が設けられており、ＡＬＣ（Automatic light control）からの制御信号に基づいてその絞り量が制御される。
【００４５】
また、光源装置２は、７００ｎｍ〜８００ｎｍの可視から近赤外帯域の光を特殊光Ｌ２として射出するＬＤ光源４４と、ＬＤ光源４４を駆動するＬＤドライバ４５と、ＬＤ光源４４から射出された特殊光Ｌ２を集光する集光レンズ４６と、集光レンズ４６によって集光された特殊光りＬ２をダイクロイックミラー４３に向けて反射するミラー４７とを備えている。
【００４６】
なお、特殊光Ｌ２としては、広帯域の波長からなる通常光よりも狭帯域の波長が用いられる。本実施形態においては、蛍光色素としてＩＣＧ（インドシアニングリーン）を被検者に投入し、特殊光Ｌ２として７５０〜７９０ｎｍの近赤外光を用いるが、特殊光Ｌ２は、上記波長域の光に限定されず、蛍光色素の種類もしくは自家蛍光させる生体組織の種類によって適宜決定される。
【００４７】
また、本実施形態におけるＬＤドライバ４５は、所定の周期で特殊光Ｌ２がＬＤ光源４４から射出されるように制御するものであるが、その周期については後で詳述する。
【００４８】
次に、本実施形態の腹腔鏡システムの作用について説明する。
【００４９】
まず、光ケーブルＬＣが接続された硬質挿入部３０およびケーブル５が撮像ユニット２０に取り付けられた後、光源装置２および撮像ユニット２０および画像処理装置３の電源が投入され、これらが駆動される。
【００５０】
次に、操作者により硬質挿入部３０が腹腔内に挿入され、硬質挿入部３０の先端が被観察部の近傍に設置される。
【００５１】
ここで、最初に通常画像を撮像して表示する作用について説明する。
【００５２】
まず、光源装置２の通常光源４０から射出された通常光Ｌ１が、集光レンズ４２、ダイクロイックミラー４３および光ケーブルＬＣを介して硬質挿入部３０に入射され、硬質挿入部３０の照射窓３０ｄから被観察部に照射される。
【００５３】
そして、通常光Ｌ１の照射によって被観察部から反射された反射光に基づく通常像Ｌ３が挿入部材３０ｂの先端３０Ｙから入射し、挿入部材３０ｂ内のレンズ群により導光されて撮像ユニット２０に向けて射出される。
【００５４】
撮像ユニット２０に入射された通常像Ｌ３は、ダイクロイックプリズム２１により撮像素子２６に向けて直角方向に反射され、第２結像光学系２５により撮像素子２６の撮像面上に結像され、撮像素子２６によって撮像される。
【００５５】
撮像素子２６から出力された通常画像信号は、撮像制御ユニット２７においてＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）処理やＡ／Ｄ変換処理が施された後、ケーブル５を介して画像処理装置３に出力される。
【００５６】
そして、画像処理装置３に入力された通常画像信号は、通常画像入力コントローラ３１において一時的に記憶された後、メモリ３４に格納される。そして、メモリ３４から読み出された１フレーム毎の通常画像信号は、画像処理部３３の通常画像処理部３３ａにおいて階調補正処理およびシャープネス補正処理が施された後、ビデオ出力部３５に順次出力される。
【００５７】
ビデオ出力部３５は、入力された通常画像信号に所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ４に出力する。そして、モニタ４は、入力された表示制御信号に基づいて通常画像を表示する。
【００５８】
次に、蛍光画像を撮像する作用について説明する。なお、本実施形態においては、被観察部に予めＩＣＧが投与されており、このＩＣＧから発せられる蛍光を撮像するものとする。
【００５９】
まず、光源装置２のＬＤ光源４４から射出された特殊光Ｌ２が、集光レンズ４６、ミラー４７、ダイクロイックミラー４３および光ケーブルＬＣを介して硬質挿入部３０に入射され、硬質挿入部３０の照射窓３０ｄから被観察部に照射される。
【００６０】
そして、特殊光Ｌ２の照射によって被観察部から発せられた蛍光に基づく蛍光像Ｌ４が挿入部材３０ｂの先端３０Ｙから入射し、挿入部材３０ｂ内のレンズ群により導光されて撮像ユニット２０に向けて射出される。
【００６１】
撮像ユニット２０に入射された蛍光像Ｌ４は、ダイクロイックプリズム２１および特殊光カットフィルタ２２を通過した後、第１結像光学系２３により高感度撮像素子２４の撮像面上に結像され、高感度撮像素子２４によって撮像される。
【００６２】
ここで、本実施形態においては、上述したような蛍光画像の撮像過程において、ＬＤ光源４４から出力される特殊光Ｌ２の照射周期と高感度撮像素子２４による蛍光画像の撮像周期とが異なる周期となるように制御される。
【００６３】
図６には、特殊光Ｌ２の被観察部への照射周期と高感度撮像素子２４の撮像周期（フレーム周期）との関係を示すタイミングチャートと、高感度撮像素子２４にフレーム毎に蓄積される電荷蓄積量とを示している。なお、高感度撮像素子２４の撮像周期は予め設定されたおり、高感度撮像素子２４においては、フレーム毎に所定の電荷蓄積期間Ｔだけ電荷信号が蓄積され、その蓄積電荷信号がフレーム毎に出力されるものとする。
【００６４】
具体的には、図６に示すように、特殊光Ｌ２の照射周期ｔ２が、高感度撮像素子２４の撮像周期ｔ１よりも長くなるようにＬＤ光源４４はＬＤドライバ４５により駆動制御される。本実施形態においては、高感度撮像素子２４の撮像周期ｔ１が１/１０ｓ（１０Ｈｚ）に設定され、特殊光Ｌ２の照射周期ｔ２が１/８ｓ（８Ｈｚ）に設定されているものとする。なお、特殊光Ｌ２のパルス幅は、高感度撮像素子２４の電荷蓄積期間Ｔと同じであるとする。
【００６５】
上述したように特殊光Ｌ２の照射周期ｔ２と高感度撮像素子２４の撮像周期ｔ１とを異なる周期にすることによって、図６に示すように、互いの周期の位相がずれることになる。そして、高感度撮像素子２４にフレーム毎に蓄積される電荷蓄積量は、高感度撮像素子２４の電荷蓄積期間Ｔに被観察部の照射された特殊光Ｌ２の光量に比例することになるので、図６に示すように、フレームに応じて順次変化する。
【００６６】
そして、フレーム毎の電荷蓄積量に応じた蛍光画像信号が高感度撮像素子２４から出力されるが、本実施形態のように高感度撮像素子２４の撮像周期ｔ１を１/１０ｓ（１０Ｈｚ）とし、特殊光Ｌ２の照射周期ｔ２を１/８ｓ（８Ｈｚ）とした場合の蛍光画像信号の変化を図７に示す。なお、図７の縦軸は蛍光画像信号の相対値を示している。図７に示すように、高感度撮像素子２４から出力される蛍光画像信号は、所定の周期をもって時間とともに増減する。そして、本実施形態のように高感度撮像素子２４の撮像周期ｔ１を１/１０ｓ（１０Ｈｚ）とし、特殊光の照射周期ｔ２を１/８ｓ（８Ｈｚ）とした場合には、蛍光画像信号の変化の周期は１/２ｓ（２Ｈｚ）となり、２Ｈｚのうなりをもつものとなる。ただし、高感度撮像素子２４の撮像周期と特殊光Ｌ２の照射周期とは、上記の周期に限らず、その他の周期を採用してもよく、また、これらの差も２Ｈｚに限らず、たとえば、１Ｈｚ〜１０Ｈｚ程度となるようにしてもよい。
【００６７】
そして、高感度撮像素子２４から出力された蛍光画像信号は、撮像制御ユニット２７においてＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）処理やＡ／Ｄ変換処理が施された後、ケーブル５を介して画像処理装置３に出力される。
【００６８】
次に、上記のようにして撮像ユニット２０において撮像された通常画像信号および蛍光画像信号に基づいて合成画像を表示する作用について説明する。
【００６９】
まず、画像処理装置３に入力された蛍光画像信号は、蛍光画像入力コントローラ３２において一時的に記憶された後、メモリ３４に格納される。そして、メモリ３４から読み出された１フレーム毎の蛍光画像信号は、画像処理部３３の蛍光画像処理部３３ｂにおいて所定の画像処理が施された後、画像合成部３３ｃに順次出力される。
【００７０】
一方、画像処理部３３の通常画像処理部３３ａにおいて所定の画像処理が施された通常画像信号も画像合成部３３ｃに順次出力される。
【００７１】
そして、画像合成部３３ｃにおいては、入力された通常画像信号の各画素の信号に係数Ｋ１が掛け合わされるとともに、入力された通常画像信号の各画素の信号に係数Ｋ２が掛け合わされ、それぞれ係数の掛け合わされた通常画像信号と蛍光画像信号とが加算される。上述したように係数を掛け合わせるのは、通常画像信号と蛍光画像信号を加算した際、画像信号の大きさを表現可能なデータ量に対して飽和しないようにするためである。したがって、係数Ｋ１および係数Ｋ２としては、Ｋ１＋Ｋ２＝１の関係を満たす値が設定される。本実施形態においては、Ｋ１＝０．５、Ｋ２＝０．５に設定されているものとする。
【００７２】
そして、画像合成部３３ｃにおいて生成された加算信号はビデオ出力部３５に出力され、ビデオ出力部３５は、入力された加算信号に所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ４に出力する。そして、モニタ４は、入力された表示制御信号に基づいて合成画像を表示する。
【００７３】
図８に、モニタ４に表示される通常画像および合成画像の一例を示す。なお、図８においては、通常画像に現れる部分と蛍光画像に現れる部分（血管部分）とを明確にするために蛍光画像の一例を示しているが、蛍光画像については表示してもしなくてもよい。
【００７４】
そして、図８には、時間とともに変化する３つの状態の合成画像１〜３を示している。合成画像１〜３に示すように、蛍光画像に現れる部分（血管部分）については、時間とともに濃度が変化し、１秒間に２回の割合で強弱表示される。このように蛍光画像に現れる部分を所定の周期で強弱表示することによって明確に認識することができる。
【００７５】
また、上記実施形態においては、特殊光Ｌ２の照射周期と高感度撮像素子２４の撮像周期とを異なる周期にすることによって蛍光画像信号にうなりを持たせるようにしたが、このような方法に限らず、たとえば、特殊光Ｌ２の照射周期と高感度撮像素子２４の撮像周期とは同じにし、特殊光Ｌ２のパルス幅を時間とともに変化させるようにＬＤドライバ４５を制御するようにしてもよい。
【００７６】
具体的には、図９に示すように、ＬＤドライバ４５の駆動電圧を変調する変調器４９を設け、この変調器４９によってＬＤドライバ４５の駆動電圧が周期的に変化するように変調を施すようにすればよい。このようにＬＤドライバ４５の駆動電圧に変調を施した場合におけるＬＤ光源４４から出力される特殊光Ｌ２のパターンを図１０に示す。
【００７７】
図１０に示すように、特殊光Ｌ２のパルス幅は時間とともに周期的に増減することになる。そして、この特殊光Ｌ２のパルス幅に応じた電荷が高感度撮像素子２４に蓄積されることになるので、上記実施形態と同様に高感度撮像素子２４から出力される蛍光画像信号にうなりをもたせることができる。
【００７８】
また、上記説明では、特殊光Ｌ２のパルス幅を増減させるようにしたが、すなわち、ＬＤドライバ４５の駆動電圧にパルス幅変調（ＰＷＭ）をかけるようにしたが、これに限らず、変調器４９によってＬＤドライバ４５の駆動電圧に振幅変調（ＡＭ）を施すようにしてもよい。図１１に、ＬＤドライバ４５の駆動電圧に振幅変調を施した場合におけるＬＤ光源４４から出力される特殊光Ｌ２のパターンを示す。図１１に示すように、ＬＤドライバ４５の駆動電圧に振幅変調を施すことによって、特殊光Ｌ２の強度が時間とともに周期的に増減することになる。そして、この特殊光Ｌ２の強度に応じた電荷が高感度撮像素子２４に蓄積されることになるので、上記実施形態と同様に高感度撮像素子２４から出力される蛍光画像信号にうなりをもたせることができる。
【００７９】
また、上記実施形態においては、蛍光画像に現れる部分全体を強弱表示させるようにしたが、これに限らず、通常画像には現われておらず、蛍光画像にのみ現れる部分を強弱表示するようにしてもよい。蛍光画像にのみ現れる部分としては、たとえば、通常画像には現れない脂肪下に存在する深部血管などがある。
【００８０】
具体的には、図１２に示すように、画像処理部３３にさらに血管抽出部３３ｄおよび画像演算部３３ｅを設ける。この場合の作用について以下に説明する。
【００８１】
まず、所定の画像処理の施された通常画像信号および蛍光画像信号が、血管抽出部３３ｄに入力される。そして、血管抽出部３３ｄにおいて、通常画像信号および蛍光画像信号に対して血管抽出処理が施される。
【００８２】
血管抽出処理は、たとえば、エッジ検出を用いた線分抽出処理を行うことによって行われる。エッジ検出方法としては、たとえば、１次微分を用いたキャニー法や、ノイズを減らすためのガウシアンフィルタ処理と２次微分処理とを行ってエッジを抽出するラプラシアンフィルタを組み合わせたＬＯＧ（Laplace of Gaussian）フィルタを用いた方法などがある。
【００８３】
そして、血管抽出部３３ｄにおいて生成された通常血管画像信号と蛍光血管画像信号とが画像演算部３３ｅに出力され、これらの信号に基づいて深部画像生成処理が行われる。具体的には、蛍光血管画像信号から通常血管画像信号が減算されて深部血管画像信号が生成されるとともに、蛍光血管画像信号と通常血管画像信号の共通部分である共通血管画像信号が生成される。なお、深部血管画像信号は、脂肪下の深さ１０分の数ｍｍから深さ数ｍｍまでに存在する血管画像を表すものとなる。
【００８４】
図１３に、通常血管画像信号が表す血管画像Ｖ１，蛍光血管画像信号が表す血管画像Ｖ２、深部血管画像信号が表す深部血管画像Ｖ３，Ｖ４の一例を表す。なお、血管画像Ｖ１は、共通血管画像信号が表す血管画像でもある。
【００８５】
そして、画像演算部３３ｅにおいて生成された深部血管画像信号のみが画像合成部３３ｃに出力され、画像合成部３３ｃにおいて、上記実施形態と同様に、通常画像信号の各画素の信号に係数Ｋ１が掛け合わされるとともに、深部血管画像信号の各画素の信号に係数Ｋ２が掛け合わされ、それぞれ係数の掛け合わされた通常画像信号と蛍光画像信号とが加算される。
【００８６】
そして、画像合成部３３ｃにおいて生成された加算信号はビデオ出力部３５に出力され、ビデオ出力部３５は、入力された加算信号に所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ４に出力する。そして、モニタ４は、入力された表示制御信号に基づいて合成画像を表示する。合成画像においては、深部血管画像Ｋ３，Ｋ４のみが強弱表示されることになる。
【００８７】
また、上記実施形態においては、第１の撮像系により蛍光画像を撮像するようにしたが、これに限らず、被観察部への特殊光の照射による被観察部の吸光特性に基づく画像を撮像するようにしてもよい。
【００８８】
また、上記実施形態においては、血管画像を抽出するようにしたが、これに限らず、たとえば、リンパ管、胆管などのその他の管部分を表す画像を抽出するようにしてもよい。
【００８９】
また、上記実施形態は、本発明の画像表示装置を腹腔鏡システムに適用したものであるが、これに限らず、たとえば、軟性内視鏡装置を有するその他の内視鏡システムに適用してもよい。また、内視鏡システムに限らず、体内に挿入される挿入部を備えていない、いわゆるビデオカメラ型の医用画像撮像装置に適用してもよい。
【符号の説明】
【００９０】
１ 腹腔鏡システム
２ 光源装置
３ 画像処理装置
４ モニタ
１０ 硬性鏡撮像装置
２０ 撮像ユニット
２４ 高感度撮像素子
２６ 撮像素子
３０ 硬質挿入部
【技術分野】
【０００１】
本発明は、通常光の被観察部への照射によって取得した通常画像と特殊光の被観察部への照射によって取得した特殊画像とを合成した合成画像を表示する画像表示装置に関するものである。
【背景技術】
【０００２】
従来、体腔内の組織を観察する内視鏡システムが広く知られており、白色光の照射によって体腔内の被観察部を撮像して通常画像を得て、この通常画像をモニタ画面上に表示する電子式内視鏡システムが広く実用化されている。
【０００３】
また、上記のような内視鏡システムとして、たとえば、特許文献１においては、通常画像とともに、励起光の照射によって被観察部から発せられた自家蛍光像を撮像して自家蛍光画像を得、これらの画像をモニタ画面上に表示する蛍光内視鏡システムが提案されている。
【０００４】
また、蛍光内視鏡システムとしては、たとえば、ＩＣＧ（インドシアニングリーン）を予め体内に投入し、励起光を被観察部に照射して血管内のＩＣＧの蛍光を検出することによって血管の蛍光画像を取得するものも提案されている。
【０００５】
ここで、上記のような蛍光内視鏡システムにおいては、通常画像と蛍光画像とを同時に見やすく表示することが望まれる。
【０００６】
通常画像と蛍光画像を表示する方法としては、たとえば、１つのモニタに通常画像と蛍光画像を並べて表示したり、１つのモニタに通常画像と蛍光画像とを切り替えて表示したりする方法がある。
【０００７】
また、特許文献２においては、表示装置に入力されるＲＧＢの３つのチャネルの信号のうちの１つのチャネルに蛍光画像信号を割り当て、通常画像上に疑似カラーの蛍光画像を表示する方法が提案されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００５−２０４９０５号公報
【特許文献２】特開２００３−１２６０１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ここで、たとえば、上述したようなＩＣＧを用いた血管画像の観察を行う場合、蛍光画像上において、通常画像上には現れない脂肪下の血管まで表示することが可能であるが、蛍光画像はモノクロ画像であり、蛍光画像上では蛍光を発している血管部分しか認識することができないため、蛍光画像に現れている血管画像が通常画像上のどの位置に存在するのかを正確に把握することができない。
【００１０】
また、上述したように通常画像と蛍光画像とを切り替えて表示した場合には２つの画像を比較することは可能であるが、通常画像と蛍光画像とを同時に比較することができないので、やはり蛍光画像に現れている血管画像が通常画像上のどの位置に存在するのかを正確に判断することができない。
【００１１】
また、通常画像と蛍光画像とを同時に表示した場合でも、観察者は通常画像と蛍光画像とを交互に比較観察する必要があるので、蛍光画像に現れている血管画像が通常画像上のどの位置に存在するのかを即座に判断することは非常に困難であり、観察者の疲労も招くことになる。
【００１２】
さらに、特許文献２に記載の方法のように、通常画像上に疑似カラーの蛍光画像を表示させるようにした場合には、一応、蛍光画像に現れている血管画像が通常画像上のどの位置に存在するのかを把握することはできるが、観察者が疑似カラーの色に慣れる必要がある。
【００１３】
また、蛍光画像の血管画像は、通常画像の血管画像と共通する部分を有するが、疑似カラーの色によっては蛍光画像上にのみ存在する部分と共通部分との境界を即座に判断することが困難である。
【００１４】
さらに、蛍光画像が疑似カラー表示されてしまうので、通常画像と蛍光画像とで重なり合う部分については、通常画像の可視情報は全く把握することができなくなってしまう。
【００１５】
本発明は、上記の問題に鑑みてなされたものであり、通常画像と特殊画像とを合成して合成画像を表示する画像表示装置において、通常画像の可視情報を損なうことなく、かつ蛍光画像に現れている部分の通常画像上における位置を即座に認識することができる画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明の画像表示装置は、通常光を射出する通常光源部および通常光とは異なる波長帯域の特殊光を射出する特殊光源部とを有し、通常光および特殊光を被観察部に照射する光照射部と、通常光の照射によって被観察部から反射された反射光を光電変換して電荷を蓄積することによって通常画像を撮像する通常画像用撮像素子と特殊光の照射によって被観察部から発せられた光を光電変換して電荷を蓄積することによって特殊画像を撮像する特殊画像用撮像素子とを備えた撮像部と、撮像部によって撮像された通常画像と特殊画像とを合成した合成画像を表示する表示部と、特殊画像用撮像素子のフレーム毎に蓄積される電荷蓄積量が周期的に変化するように特殊光源部を制御する光源制御部とを備えたことを特徴とする。
【００１７】
また、上記本発明の画像表示装置においては、光源制御部を、特殊画像用撮像素子の撮像周期とは異なる周期で特殊光を特殊光源部から射出させるものとすることができる。
【００１８】
また、光源制御部を、特殊画像用撮像素子の撮像周期に応じた周期で特殊光を特殊光源部から射出させるとともに、特殊光のパルス幅が周期的に変化するように特殊光源部を制御するようにできる。
【００１９】
また、光源制御部を、特殊画像用撮像素子の撮像周期に応じた周期で特殊光を特殊光源部から射出させるとともに、特殊光の振幅が周期的に変化するように特殊光源部を制御するようにできる。
【発明の効果】
【００２０】
本発明の画像表示装置は、特殊画像用撮像素子のフレーム毎に蓄積される電荷蓄積量が周期的に変化するように特殊光源部を制御するようにしたので、合成画像上における特殊画像が周期的に強弱表示されるようにすることができ、蛍光画像に現れている部分の合成画像上における位置を即座に認識することができるとともに、蛍光画像が弱表示されているときに通常画像の可視情報も認識することができる。
【００２１】
また、上記本発明の画像表示装置において、特殊画像用撮像素子の撮像周期とは異なる周期で特殊光を特殊光源部から射出させるようにした場合には、簡易な構成で特殊画像用撮像素子の電荷蓄積量を周期的に変化させることができる。
【００２２】
また、特殊光のパルス幅が周期的に変化するように制御したり、特殊光の振幅が周期的に変化するように制御したりした場合にも、上記と同様の効果を得ることができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の画像表示装置の一実施形態を用いた腹腔鏡システムの概略構成図
【図２】硬質挿入部の概略構成図
【図３】撮像ユニットの概略構成図
【図４】画像処理装置および光源装置の概略構成を示すブロック図
【図５】画像処理部の概略構成を示すブロック図
【図６】特殊光の被観察部への照射周期と高感度撮像素子の撮像周期との関係を示すタイミングチャートと、高感度撮像素子にフレーム毎に蓄積される電荷蓄積量とを示す図
【図７】蛍光画像信号の周期的な変化の一例を示す図
【図８】通常画像、蛍光画像および合成画像の一例を示す図
【図９】光源装置のその他の実施形態を示す図
【図１０】特殊光をパルス幅変調した場合の照射パターンの一例を示す図
【図１１】特殊光を振幅幅変調した場合の照射パターンの一例を示す図
【図１２】画像処理部のその他の実施形態を示す図
【図１３】通常血管画像信号が表す血管画像Ｖ１、蛍光血管画像信号が表す血管画像Ｖ２、深部血管画像信号が表す深部血管画像Ｖ３，Ｖ４の一例を示す図
【発明を実施するための形態】
【００２４】
以下、図面を参照して本発明の画像表示装置の一実施形態を用いた腹腔鏡システムについて詳細に説明する。図１は、本実施形態の腹腔鏡システム１の概略構成を示す外観図である。
【００２５】
本実施形態の腹腔鏡システム１は、図１に示すように、白色光の通常光および特殊光を射出する光源装置２と、光源装置２から射出された通常光および特殊光を導光して被観察部に照射するとともに、通常光の照射により被観察部から反射された反射光に基づく通常像および特殊光の照射により被観察部から発せられた蛍光に基づく蛍光像を撮像する硬性鏡撮像装置１０と、硬性鏡撮像装置１０によって撮像された画像信号に所定の処理を施す画像処理装置３と、画像処理装置３において生成された表示制御信号に基づいて被観察部の通常画像および蛍光画像を表示するモニタ４とを備えている。
【００２６】
硬性鏡撮像装置１０は、図１に示すように、腹腔内に挿入される硬質挿入部３０と、硬質挿入部３０によって導光された被観察部の通常像および蛍光像を撮像する撮像ユニット２０とを備えている。
【００２７】
また、硬性鏡撮像装置１０は、図２に示すように、硬質挿入部３０と撮像ユニット２０とが着脱可能に接続されている。そして、硬質挿入部３０は接続部材３０ａ、挿入部材３０ｂ、ケーブル接続口３０ｃ、および照射窓３０ｄを備えている。
【００２８】
接続部材３０ａは、硬質挿入部３０（挿入部材３０ｂ）の一端側３０Ｘに設けられており、たとえば撮像ユニット２０側に形成された開口２０ａに嵌め合わされることにより、撮像ユニット２０と硬質挿入部３０とが着脱可能に接続される。
【００２９】
挿入部材３０ｂは、腹腔内の撮影を行う際に腹腔内に挿入されるものであって、硬質な材料から形成され、たとえば、直径略５ｍｍの円柱形状を有している。挿入部材３０ｂの内部には、被観察部の像を結像するためのレンズ群が収容されており、他端側３０Ｙから入射された被観察部の通常像および蛍光像はレンズ群を介して一端側３０Ｘの撮像ユニット２０側に射出される。
【００３０】
挿入部材３０ｂの側面にはケーブル接続口３０ｃが設けられており、このケーブル接続口３０ｃに光ケーブルＬＣが機械的に接続される。これにより、光源装置２と挿入部材３０ｂとが光ケーブルＬＣを介して光学的に接続されることになる。
【００３１】
照射窓３０ｄは、硬質挿入部３０の他端側３０Ｙに設けられており、光ケーブルＬＣによって導光された通常光および特殊光を被観察部に対し照射するものである。なお、挿入部材３０ｂ内にはケーブル接続口３０ｃから照射窓３０ｄまで通常光および特殊光を導光するライトガイドが収容されており（図示せず）、照射窓３０ｄはライトガイドによって導光された通常光および特殊光を被観察部に照射するものである。
【００３２】
図３は、撮像ユニット２０の概略構成を示す図である。撮像ユニット２０は、硬質挿入部３０内のレンズ群により結像された被観察部の蛍光像を撮像して被観察部の蛍光画像信号を生成する第１の撮像系と、硬質挿入部３０内のレンズ群により結像された被観察部の通常像を撮像して通常画像信号を生成する第２の撮像系とを備えている。これらの撮像系は、通常像を反射するとともに、蛍光像を透過する分光特性を有するダイクロイックプリズム２１によって、互いに直交する２つの光軸に分けられている。
【００３３】
第１の撮像系は、被観察部において反射し、ダイクロイックプリズム２１を透過した特殊光をカットする特殊光カットフィルタ２２と、硬質挿入部３０から射出され、ダイクロイックプリズム２１および特殊光カットフィルタ２２を透過した蛍光像Ｌ４を結像する第１結像光学系２３と、第１結像光学系２３により結像された蛍光像Ｌ４を撮像する高感度撮像素子２４とを備えている。
【００３４】
第２の撮像系は、硬質挿入部３０から射出され、ダイクロイックプリズム２１を反射した通常像Ｌ３を結像する第２結像光学系２５と、第２結像光学系２５により結像された通常像Ｌ３を撮像する撮像素子２６を備えている。
【００３５】
高感度撮像素子２４は、蛍光像Ｌ４の波長帯域の光を高感度に検出し、蛍光画像信号に光電変換して出力するものである。本実施形態においては、高感度撮像素子２４としてモノクロのＣＣＤ（charge coupled device）を用いる。
【００３６】
撮像素子２６は、通常像の波長帯域の光を検出し、通常画像信号に光電変換して出力するものである。撮像素子２６の撮像面には、３原色の赤（Ｒ）、緑（Ｇ）および青（Ｂ）、またはシアン（Ｃ）、マゼンダ（Ｍ）およびイエロー（Ｙ）のカラーフィルタがベイヤー配列またはハニカム配列で設けられている。本実施形態においては、撮像素子２６として上記カラーフィルタが設けられたＣＣＤを用いる。
【００３７】
また、撮像ユニット２０は、撮像制御ユニット２７を備えている。撮像制御ユニット２７は、高感度撮像素子２４から出力された蛍光画像信号および撮像素子２６から出力された通常画像信号に対し、ＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）処理やＡ／Ｄ変換処理を施し、ケーブル５（図１参照）を介して画像処理装置３に出力するものである。
【００３８】
画像処理装置３は、図４に示すように、通常画像入力コントローラ３１、蛍光画像入力コントローラ３２、画像処理部３３、メモリ３４、ビデオ出力部３５、操作部３６、ＴＧ（タイミングジェネレータ）３７およびＣＰＵ３８を備えている。
【００３９】
通常画像入力コントローラ３１および蛍光画像入力コントローラ３２は、所定容量のラインバッファを備えており、撮像ユニット２０の撮像制御ユニット２７から出力された１フレーム分の通常画像信号および蛍光画像信号をそれぞれ一時的に記憶するものである。そして、通常画像入力コントローラ３１に記憶された通常画像信号および蛍光画像入力コントローラ３２に記憶された蛍光画像信号はバスを介してメモリ３４に格納される。
【００４０】
画像処理部３３は、メモリ３４から読み出された１フレーム分の通常画像信号および蛍光画像信号が入力され、これらの画像信号に所定の画像処理を施し、バスに出力するものである。画像処理部３３のより具体的な構成を図５に示す。
【００４１】
画像処理部３３は、図５に示すように、入力された通常画像信号に対し、通常画像に適した所定の画像処理を施して出力する通常画像処理部３３ａと、入力された蛍光画像信号に対し、蛍光画像に適した所定の画像処理を施して出力する蛍光画像処理部３３ｂと、通常画像処理部３３ａにおいて画像処理の施された通常画像信号と蛍光画像処理部３３ｂにおいて画像処理の施された蛍光画像信号に対して、所定の係数を掛け合わせて加算する画像合成部３３ｃとを備えている。なお、画像処理部３３の各部における処理については、後で詳述する。
【００４２】
ビデオ出力部３５は、画像処理部３３から出力された通常画像信号、蛍光画像信号および合成画像信号がバスを介して入力され、所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ４に出力するものである。
【００４３】
操作部３６は、種々の操作指示や制御パラメータなどの操作者による入力を受け付けるものである。また、ＴＧ３７は、撮像ユニット２０の高感度撮像素子２４、撮像素子２６および後述する光源装置２のＬＤドライバ４５を駆動するための駆動パルス信号を出力するものである。また、ＣＰＵ３６は装置全体を制御するものである。
【００４４】
光源装置２は、図４に示すように、約４００〜７００ｎｍの広帯域の波長からなる通常光（白色光）Ｌ１を射出する通常光源４０と、通常光源４０から射出された通常光Ｌ１を集光する集光レンズ４２と、集光レンズ４２によって集光された通常光Ｌ１を透過するとともに、後述する特殊光Ｌ２を反射し、通常光Ｌ１および特殊光Ｌ２とを光ケーブルＬＣの入射端に入射させるダイクロイックミラー４３とを備えている。なお、通常光源４０としては、たとえばキセノンランプが用いられる。また、通常光源４０と集光レンズ４２との間には、絞り４１が設けられており、ＡＬＣ（Automatic light control）からの制御信号に基づいてその絞り量が制御される。
【００４５】
また、光源装置２は、７００ｎｍ〜８００ｎｍの可視から近赤外帯域の光を特殊光Ｌ２として射出するＬＤ光源４４と、ＬＤ光源４４を駆動するＬＤドライバ４５と、ＬＤ光源４４から射出された特殊光Ｌ２を集光する集光レンズ４６と、集光レンズ４６によって集光された特殊光りＬ２をダイクロイックミラー４３に向けて反射するミラー４７とを備えている。
【００４６】
なお、特殊光Ｌ２としては、広帯域の波長からなる通常光よりも狭帯域の波長が用いられる。本実施形態においては、蛍光色素としてＩＣＧ（インドシアニングリーン）を被検者に投入し、特殊光Ｌ２として７５０〜７９０ｎｍの近赤外光を用いるが、特殊光Ｌ２は、上記波長域の光に限定されず、蛍光色素の種類もしくは自家蛍光させる生体組織の種類によって適宜決定される。
【００４７】
また、本実施形態におけるＬＤドライバ４５は、所定の周期で特殊光Ｌ２がＬＤ光源４４から射出されるように制御するものであるが、その周期については後で詳述する。
【００４８】
次に、本実施形態の腹腔鏡システムの作用について説明する。
【００４９】
まず、光ケーブルＬＣが接続された硬質挿入部３０およびケーブル５が撮像ユニット２０に取り付けられた後、光源装置２および撮像ユニット２０および画像処理装置３の電源が投入され、これらが駆動される。
【００５０】
次に、操作者により硬質挿入部３０が腹腔内に挿入され、硬質挿入部３０の先端が被観察部の近傍に設置される。
【００５１】
ここで、最初に通常画像を撮像して表示する作用について説明する。
【００５２】
まず、光源装置２の通常光源４０から射出された通常光Ｌ１が、集光レンズ４２、ダイクロイックミラー４３および光ケーブルＬＣを介して硬質挿入部３０に入射され、硬質挿入部３０の照射窓３０ｄから被観察部に照射される。
【００５３】
そして、通常光Ｌ１の照射によって被観察部から反射された反射光に基づく通常像Ｌ３が挿入部材３０ｂの先端３０Ｙから入射し、挿入部材３０ｂ内のレンズ群により導光されて撮像ユニット２０に向けて射出される。
【００５４】
撮像ユニット２０に入射された通常像Ｌ３は、ダイクロイックプリズム２１により撮像素子２６に向けて直角方向に反射され、第２結像光学系２５により撮像素子２６の撮像面上に結像され、撮像素子２６によって撮像される。
【００５５】
撮像素子２６から出力された通常画像信号は、撮像制御ユニット２７においてＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）処理やＡ／Ｄ変換処理が施された後、ケーブル５を介して画像処理装置３に出力される。
【００５６】
そして、画像処理装置３に入力された通常画像信号は、通常画像入力コントローラ３１において一時的に記憶された後、メモリ３４に格納される。そして、メモリ３４から読み出された１フレーム毎の通常画像信号は、画像処理部３３の通常画像処理部３３ａにおいて階調補正処理およびシャープネス補正処理が施された後、ビデオ出力部３５に順次出力される。
【００５７】
ビデオ出力部３５は、入力された通常画像信号に所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ４に出力する。そして、モニタ４は、入力された表示制御信号に基づいて通常画像を表示する。
【００５８】
次に、蛍光画像を撮像する作用について説明する。なお、本実施形態においては、被観察部に予めＩＣＧが投与されており、このＩＣＧから発せられる蛍光を撮像するものとする。
【００５９】
まず、光源装置２のＬＤ光源４４から射出された特殊光Ｌ２が、集光レンズ４６、ミラー４７、ダイクロイックミラー４３および光ケーブルＬＣを介して硬質挿入部３０に入射され、硬質挿入部３０の照射窓３０ｄから被観察部に照射される。
【００６０】
そして、特殊光Ｌ２の照射によって被観察部から発せられた蛍光に基づく蛍光像Ｌ４が挿入部材３０ｂの先端３０Ｙから入射し、挿入部材３０ｂ内のレンズ群により導光されて撮像ユニット２０に向けて射出される。
【００６１】
撮像ユニット２０に入射された蛍光像Ｌ４は、ダイクロイックプリズム２１および特殊光カットフィルタ２２を通過した後、第１結像光学系２３により高感度撮像素子２４の撮像面上に結像され、高感度撮像素子２４によって撮像される。
【００６２】
ここで、本実施形態においては、上述したような蛍光画像の撮像過程において、ＬＤ光源４４から出力される特殊光Ｌ２の照射周期と高感度撮像素子２４による蛍光画像の撮像周期とが異なる周期となるように制御される。
【００６３】
図６には、特殊光Ｌ２の被観察部への照射周期と高感度撮像素子２４の撮像周期（フレーム周期）との関係を示すタイミングチャートと、高感度撮像素子２４にフレーム毎に蓄積される電荷蓄積量とを示している。なお、高感度撮像素子２４の撮像周期は予め設定されたおり、高感度撮像素子２４においては、フレーム毎に所定の電荷蓄積期間Ｔだけ電荷信号が蓄積され、その蓄積電荷信号がフレーム毎に出力されるものとする。
【００６４】
具体的には、図６に示すように、特殊光Ｌ２の照射周期ｔ２が、高感度撮像素子２４の撮像周期ｔ１よりも長くなるようにＬＤ光源４４はＬＤドライバ４５により駆動制御される。本実施形態においては、高感度撮像素子２４の撮像周期ｔ１が１/１０ｓ（１０Ｈｚ）に設定され、特殊光Ｌ２の照射周期ｔ２が１/８ｓ（８Ｈｚ）に設定されているものとする。なお、特殊光Ｌ２のパルス幅は、高感度撮像素子２４の電荷蓄積期間Ｔと同じであるとする。
【００６５】
上述したように特殊光Ｌ２の照射周期ｔ２と高感度撮像素子２４の撮像周期ｔ１とを異なる周期にすることによって、図６に示すように、互いの周期の位相がずれることになる。そして、高感度撮像素子２４にフレーム毎に蓄積される電荷蓄積量は、高感度撮像素子２４の電荷蓄積期間Ｔに被観察部の照射された特殊光Ｌ２の光量に比例することになるので、図６に示すように、フレームに応じて順次変化する。
【００６６】
そして、フレーム毎の電荷蓄積量に応じた蛍光画像信号が高感度撮像素子２４から出力されるが、本実施形態のように高感度撮像素子２４の撮像周期ｔ１を１/１０ｓ（１０Ｈｚ）とし、特殊光Ｌ２の照射周期ｔ２を１/８ｓ（８Ｈｚ）とした場合の蛍光画像信号の変化を図７に示す。なお、図７の縦軸は蛍光画像信号の相対値を示している。図７に示すように、高感度撮像素子２４から出力される蛍光画像信号は、所定の周期をもって時間とともに増減する。そして、本実施形態のように高感度撮像素子２４の撮像周期ｔ１を１/１０ｓ（１０Ｈｚ）とし、特殊光の照射周期ｔ２を１/８ｓ（８Ｈｚ）とした場合には、蛍光画像信号の変化の周期は１/２ｓ（２Ｈｚ）となり、２Ｈｚのうなりをもつものとなる。ただし、高感度撮像素子２４の撮像周期と特殊光Ｌ２の照射周期とは、上記の周期に限らず、その他の周期を採用してもよく、また、これらの差も２Ｈｚに限らず、たとえば、１Ｈｚ〜１０Ｈｚ程度となるようにしてもよい。
【００６７】
そして、高感度撮像素子２４から出力された蛍光画像信号は、撮像制御ユニット２７においてＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）処理やＡ／Ｄ変換処理が施された後、ケーブル５を介して画像処理装置３に出力される。
【００６８】
次に、上記のようにして撮像ユニット２０において撮像された通常画像信号および蛍光画像信号に基づいて合成画像を表示する作用について説明する。
【００６９】
まず、画像処理装置３に入力された蛍光画像信号は、蛍光画像入力コントローラ３２において一時的に記憶された後、メモリ３４に格納される。そして、メモリ３４から読み出された１フレーム毎の蛍光画像信号は、画像処理部３３の蛍光画像処理部３３ｂにおいて所定の画像処理が施された後、画像合成部３３ｃに順次出力される。
【００７０】
一方、画像処理部３３の通常画像処理部３３ａにおいて所定の画像処理が施された通常画像信号も画像合成部３３ｃに順次出力される。
【００７１】
そして、画像合成部３３ｃにおいては、入力された通常画像信号の各画素の信号に係数Ｋ１が掛け合わされるとともに、入力された通常画像信号の各画素の信号に係数Ｋ２が掛け合わされ、それぞれ係数の掛け合わされた通常画像信号と蛍光画像信号とが加算される。上述したように係数を掛け合わせるのは、通常画像信号と蛍光画像信号を加算した際、画像信号の大きさを表現可能なデータ量に対して飽和しないようにするためである。したがって、係数Ｋ１および係数Ｋ２としては、Ｋ１＋Ｋ２＝１の関係を満たす値が設定される。本実施形態においては、Ｋ１＝０．５、Ｋ２＝０．５に設定されているものとする。
【００７２】
そして、画像合成部３３ｃにおいて生成された加算信号はビデオ出力部３５に出力され、ビデオ出力部３５は、入力された加算信号に所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ４に出力する。そして、モニタ４は、入力された表示制御信号に基づいて合成画像を表示する。
【００７３】
図８に、モニタ４に表示される通常画像および合成画像の一例を示す。なお、図８においては、通常画像に現れる部分と蛍光画像に現れる部分（血管部分）とを明確にするために蛍光画像の一例を示しているが、蛍光画像については表示してもしなくてもよい。
【００７４】
そして、図８には、時間とともに変化する３つの状態の合成画像１〜３を示している。合成画像１〜３に示すように、蛍光画像に現れる部分（血管部分）については、時間とともに濃度が変化し、１秒間に２回の割合で強弱表示される。このように蛍光画像に現れる部分を所定の周期で強弱表示することによって明確に認識することができる。
【００７５】
また、上記実施形態においては、特殊光Ｌ２の照射周期と高感度撮像素子２４の撮像周期とを異なる周期にすることによって蛍光画像信号にうなりを持たせるようにしたが、このような方法に限らず、たとえば、特殊光Ｌ２の照射周期と高感度撮像素子２４の撮像周期とは同じにし、特殊光Ｌ２のパルス幅を時間とともに変化させるようにＬＤドライバ４５を制御するようにしてもよい。
【００７６】
具体的には、図９に示すように、ＬＤドライバ４５の駆動電圧を変調する変調器４９を設け、この変調器４９によってＬＤドライバ４５の駆動電圧が周期的に変化するように変調を施すようにすればよい。このようにＬＤドライバ４５の駆動電圧に変調を施した場合におけるＬＤ光源４４から出力される特殊光Ｌ２のパターンを図１０に示す。
【００７７】
図１０に示すように、特殊光Ｌ２のパルス幅は時間とともに周期的に増減することになる。そして、この特殊光Ｌ２のパルス幅に応じた電荷が高感度撮像素子２４に蓄積されることになるので、上記実施形態と同様に高感度撮像素子２４から出力される蛍光画像信号にうなりをもたせることができる。
【００７８】
また、上記説明では、特殊光Ｌ２のパルス幅を増減させるようにしたが、すなわち、ＬＤドライバ４５の駆動電圧にパルス幅変調（ＰＷＭ）をかけるようにしたが、これに限らず、変調器４９によってＬＤドライバ４５の駆動電圧に振幅変調（ＡＭ）を施すようにしてもよい。図１１に、ＬＤドライバ４５の駆動電圧に振幅変調を施した場合におけるＬＤ光源４４から出力される特殊光Ｌ２のパターンを示す。図１１に示すように、ＬＤドライバ４５の駆動電圧に振幅変調を施すことによって、特殊光Ｌ２の強度が時間とともに周期的に増減することになる。そして、この特殊光Ｌ２の強度に応じた電荷が高感度撮像素子２４に蓄積されることになるので、上記実施形態と同様に高感度撮像素子２４から出力される蛍光画像信号にうなりをもたせることができる。
【００７９】
また、上記実施形態においては、蛍光画像に現れる部分全体を強弱表示させるようにしたが、これに限らず、通常画像には現われておらず、蛍光画像にのみ現れる部分を強弱表示するようにしてもよい。蛍光画像にのみ現れる部分としては、たとえば、通常画像には現れない脂肪下に存在する深部血管などがある。
【００８０】
具体的には、図１２に示すように、画像処理部３３にさらに血管抽出部３３ｄおよび画像演算部３３ｅを設ける。この場合の作用について以下に説明する。
【００８１】
まず、所定の画像処理の施された通常画像信号および蛍光画像信号が、血管抽出部３３ｄに入力される。そして、血管抽出部３３ｄにおいて、通常画像信号および蛍光画像信号に対して血管抽出処理が施される。
【００８２】
血管抽出処理は、たとえば、エッジ検出を用いた線分抽出処理を行うことによって行われる。エッジ検出方法としては、たとえば、１次微分を用いたキャニー法や、ノイズを減らすためのガウシアンフィルタ処理と２次微分処理とを行ってエッジを抽出するラプラシアンフィルタを組み合わせたＬＯＧ（Laplace of Gaussian）フィルタを用いた方法などがある。
【００８３】
そして、血管抽出部３３ｄにおいて生成された通常血管画像信号と蛍光血管画像信号とが画像演算部３３ｅに出力され、これらの信号に基づいて深部画像生成処理が行われる。具体的には、蛍光血管画像信号から通常血管画像信号が減算されて深部血管画像信号が生成されるとともに、蛍光血管画像信号と通常血管画像信号の共通部分である共通血管画像信号が生成される。なお、深部血管画像信号は、脂肪下の深さ１０分の数ｍｍから深さ数ｍｍまでに存在する血管画像を表すものとなる。
【００８４】
図１３に、通常血管画像信号が表す血管画像Ｖ１，蛍光血管画像信号が表す血管画像Ｖ２、深部血管画像信号が表す深部血管画像Ｖ３，Ｖ４の一例を表す。なお、血管画像Ｖ１は、共通血管画像信号が表す血管画像でもある。
【００８５】
そして、画像演算部３３ｅにおいて生成された深部血管画像信号のみが画像合成部３３ｃに出力され、画像合成部３３ｃにおいて、上記実施形態と同様に、通常画像信号の各画素の信号に係数Ｋ１が掛け合わされるとともに、深部血管画像信号の各画素の信号に係数Ｋ２が掛け合わされ、それぞれ係数の掛け合わされた通常画像信号と蛍光画像信号とが加算される。
【００８６】
そして、画像合成部３３ｃにおいて生成された加算信号はビデオ出力部３５に出力され、ビデオ出力部３５は、入力された加算信号に所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ４に出力する。そして、モニタ４は、入力された表示制御信号に基づいて合成画像を表示する。合成画像においては、深部血管画像Ｋ３，Ｋ４のみが強弱表示されることになる。
【００８７】
また、上記実施形態においては、第１の撮像系により蛍光画像を撮像するようにしたが、これに限らず、被観察部への特殊光の照射による被観察部の吸光特性に基づく画像を撮像するようにしてもよい。
【００８８】
また、上記実施形態においては、血管画像を抽出するようにしたが、これに限らず、たとえば、リンパ管、胆管などのその他の管部分を表す画像を抽出するようにしてもよい。
【００８９】
また、上記実施形態は、本発明の画像表示装置を腹腔鏡システムに適用したものであるが、これに限らず、たとえば、軟性内視鏡装置を有するその他の内視鏡システムに適用してもよい。また、内視鏡システムに限らず、体内に挿入される挿入部を備えていない、いわゆるビデオカメラ型の医用画像撮像装置に適用してもよい。
【符号の説明】
【００９０】
１ 腹腔鏡システム
２ 光源装置
３ 画像処理装置
４ モニタ
１０ 硬性鏡撮像装置
２０ 撮像ユニット
２４ 高感度撮像素子
２６ 撮像素子
３０ 硬質挿入部
【特許請求の範囲】
【請求項１】
通常光を射出する通常光源部および前記通常光とは異なる波長帯域の特殊光を射出する特殊光源部とを有し、前記通常光および前記特殊光を被観察部に照射する光照射部と、
前記通常光の照射によって前記被観察部から反射された反射光を光電変換して電荷を蓄積することによって通常画像を撮像する通常画像用撮像素子と前記特殊光の照射によって前記被観察部から発せられた光を光電変換して電荷を蓄積することによって特殊画像を撮像する特殊画像用撮像素子とを備えた撮像部と、
該撮像部によって撮像された通常画像と特殊画像とを合成した合成画像を表示する表示部と、
前記特殊画像用撮像素子のフレーム毎に蓄積される電荷蓄積量が周期的に変化するように前記特殊光源部を制御する光源制御部とを備えたことを特徴とする画像表示装置。
【請求項２】
前記光源制御部が、前記特殊画像用撮像素子の撮像周期とは異なる周期で前記特殊光を前記特殊光源部から射出させるものであることを特徴とする請求項１記載の画像表示装置。
【請求項３】
前記光源制御部が、前記特殊画像用撮像素子の撮像周期に応じた周期で前記特殊光を前記特殊光源部から射出させるとともに、該特殊光のパルス幅が周期的に変化するように前記特殊光源部を制御するものであることを特徴とする請求項１記載の画像表示装置。
【請求項４】
前記光源制御部が、前記特殊画像用撮像素子の撮像周期に応じた周期で前記特殊光を前記特殊光源部から射出させるとともに、該特殊光の振幅が周期的に変化するように前記特殊光源部を制御するものであることを特徴とする請求項１記載の画像表示装置。
【請求項１】
通常光を射出する通常光源部および前記通常光とは異なる波長帯域の特殊光を射出する特殊光源部とを有し、前記通常光および前記特殊光を被観察部に照射する光照射部と、
前記通常光の照射によって前記被観察部から反射された反射光を光電変換して電荷を蓄積することによって通常画像を撮像する通常画像用撮像素子と前記特殊光の照射によって前記被観察部から発せられた光を光電変換して電荷を蓄積することによって特殊画像を撮像する特殊画像用撮像素子とを備えた撮像部と、
該撮像部によって撮像された通常画像と特殊画像とを合成した合成画像を表示する表示部と、
前記特殊画像用撮像素子のフレーム毎に蓄積される電荷蓄積量が周期的に変化するように前記特殊光源部を制御する光源制御部とを備えたことを特徴とする画像表示装置。
【請求項２】
前記光源制御部が、前記特殊画像用撮像素子の撮像周期とは異なる周期で前記特殊光を前記特殊光源部から射出させるものであることを特徴とする請求項１記載の画像表示装置。
【請求項３】
前記光源制御部が、前記特殊画像用撮像素子の撮像周期に応じた周期で前記特殊光を前記特殊光源部から射出させるとともに、該特殊光のパルス幅が周期的に変化するように前記特殊光源部を制御するものであることを特徴とする請求項１記載の画像表示装置。
【請求項４】
前記光源制御部が、前記特殊画像用撮像素子の撮像周期に応じた周期で前記特殊光を前記特殊光源部から射出させるとともに、該特殊光の振幅が周期的に変化するように前記特殊光源部を制御するものであることを特徴とする請求項１記載の画像表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図８】
【公開番号】特開２０１１−１０１７７１（Ｐ２０１１−１０１７７１Ａ）
【公開日】平成２３年５月２６日（２０１１．５．２６）
【国際特許分類】
【出願番号】特願２００９−２５８６６５（Ｐ２００９−２５８６６５）
【出願日】平成２１年１１月１２日（２００９．１１．１２）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【復代理人】
【識別番号】１００１２８４５１
【弁理士】
【氏名又は名称】安田 隆一
【Ｆターム（参考）】
【公開日】平成２３年５月２６日（２０１１．５．２６）
【国際特許分類】
【出願日】平成２１年１１月１２日（２００９．１１．１２）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【復代理人】
【識別番号】１００１２８４５１
【弁理士】
【氏名又は名称】安田 隆一
【Ｆターム（参考）】
[ Back to top ]