内視鏡画像補正装置および内視鏡装置
【課題】異なる照明光で撮像された画像情報であっても、同じ色調となる分光推定画像を生成できるようにし、診断精度を向上させる。
【解決手段】
分光推定画像生成手段69により内視鏡第一観察画像と内視鏡第二観察画像の分光推定画像をそれぞれ生成するにあたり、内視鏡第一観察画像に対しては、分光推定画像生成手段69が所定の波長セットに応じて第一分光推定画像を生成し、内視鏡第二観察画像に対しては、波長セット設定手段が、第一光源からの照射光のスペクトルを近似的に生成する近似波長セットを設定し、分光推定画像生成手段69が、設定された近似波長セットに応じて第二分光推定画像を生成するよう構成した。
【解決手段】
分光推定画像生成手段69により内視鏡第一観察画像と内視鏡第二観察画像の分光推定画像をそれぞれ生成するにあたり、内視鏡第一観察画像に対しては、分光推定画像生成手段69が所定の波長セットに応じて第一分光推定画像を生成し、内視鏡第二観察画像に対しては、波長セット設定手段が、第一光源からの照射光のスペクトルを近似的に生成する近似波長セットを設定し、分光推定画像生成手段69が、設定された近似波長セットに応じて第二分光推定画像を生成するよう構成した。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、内視鏡画像補正装置および内視鏡装置に関する。
【背景技術】
【0002】
近年、特定波長の狭帯域光を生体組織に照射して粘膜組織表層の微細構造を強調する狭帯域光観察や、予め投与した蛍光物質や生体組織からの蛍光を観察する蛍光観察等の特殊光観察が可能な内視鏡装置が活用されている(特許文献1)。この種の内視鏡装置では、特殊光観察によって、例えば粘膜層或いは粘膜下層に発生する新生血管の微細構造、病変部の強調等、通常の観察像では得られない生体情報を簡単に可視化できる。また、従前より白色照明用に広く使用されているキセノン光源等に代えて、狭帯域光であるレーザ光と、蛍光体との組合せにより、白色光を生成し、高輝度の照明光を安定して供給する内視鏡装置が提案されている(特許文献2)。
【0003】
一方、上記の狭帯域の光を用いた特殊光観察の他にも、広波長帯域の白色照明光で撮像されたカラー画像信号に対してマトリックス演算処理を施すことにより、特定の狭波長帯域の光を照明光とした場合に得られるような分光推定画像を推定により求め、その分光推定画像を表示する技術が提案されている(特許文献3)。この特許文献3の技術は、RGBのそれぞれのカラー感度特性を数値データ化したものと、特定の狭帯域バンドパスの分光特性を数値データ化したものとの関係をマトリクスデータとして求め、このマトリクスデータとRGB信号との演算により、狭帯域バンドパスフィルタを介して得られる光成分を推定した分光画像信号を得ることを基本としている。これによれば、観察画像の狭帯域成分を白色照明光による観察画像から演算により推定して求めることができる。
【0004】
ところで、前述の演算処理により求まる分光推定画像と、実際に狭帯域光を照射して撮像した画像とでは、同じ観察部位の画像であっても色調が異なる場合がある。つまり、分光推定画像を生成する際は、観察目的に応じて予め登録された特定の波長帯の組を波長セットして設定し、この波長セットに応じて分光推定画像を生成する。このため、双方の画像が同じスペクトルの照明光の照射で撮像したもので、かつ、同じ波長セットを使用して分光推定画像を演算により生成していなければ、同じ色調にはならない。
【0005】
実際の内視鏡観察時においては、内視鏡の術者がリアルタイムで内視鏡観察画像を確認する以外にも、既に撮像した内視鏡観察画像をデータベースから取り出してモニタに表示させ、現在と過去の患部状態を比較する等、様々な画像表示形態が採られる。そのときに、例えば過去に撮像した観察画像がキセノン光源による照明で、現在撮像している観察画像がレーザ光と蛍光体で生成される白色光による照明である場合には、それぞれの画像に分光推定画像処理を施しても、過去と現在の観察画像を同じ色調に合わせることができない。そのため、診断時には色調差のある画像同士を対比せざるを得ない状況になっていた。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特許第3583731号公報
【特許文献2】特開2009−291347号公報
【特許文献3】特開2003−93336号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、異なる照明光で撮像された画像情報であっても、同じ色調となる分光推定画像を生成でき、これにより診断精度を向上できる内視鏡画像補正装置およびこれを備えた内視鏡装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明は下記構成からなる。
第一光源からの照射光で被検体を撮像した内視鏡第一観察画像と、前記第一光源とは異なるスペクトルの第二光源からの照射光で被検体を撮像した内視鏡第二観察画像とをそれぞれ演算処理した結果に対し、照射光のスペクトルの相違に起因する各画像間の色調のずれを補正する内視鏡画像補正装置であって、
複数の波長域の組合せを波長セットとして設定する波長セット設定手段と、
前記被検体に白色照明光を照射して撮像して得た撮像画像に対してマトリクス演算を施すことで、前記波長セット設定手段で設定された波長セットに応じて生成されるスペクトル光を被検体に照射した場合に得られると推定される分光推定画像を生成する分光推定画像生成手段と、
を備え、
前記分光推定画像生成手段により前記内視鏡第一観察画像と前記内視鏡第二観察画像の分光推定画像をそれぞれ生成するにあたり、
前記内視鏡第一観察画像に対しては、前記分光推定画像生成手段が所定の波長セットで第一分光推定画像を生成し、
前記内視鏡第二観察画像に対しては、前記波長セット設定手段が、前記第一光源からの光スペクトルを近似的に生成する近似波長セットを設定し、前記分光推定画像生成手段が、前記設定された近似波長セットに応じて第二分光推定画像を生成する内視鏡画像補正装置。
【発明の効果】
【0009】
本発明の内視鏡画像補正装置および内視鏡装置によれば、異なる照明光で撮像された画像情報であっても、同じ色調となる分光推定画像を生成でき、これにより診断精度を向上させることができる。
【図面の簡単な説明】
【0010】
【図1】本発明の実施形態を説明するための図で、内視鏡装置の概念的なブロック構成図である。
【図2】図1に示す内視鏡装置の一例としての外観図である。
【図3】第一光源のスペクトルの一例を表すグラフである。
【図4】第二光源のスペクトルの一例を表すグラフである。
【図5】第一、第二分光推定画像の色調合わせの手順を表すフローチャートである。
【図6】図1の内視鏡画像処理装置におけるデータベースに記憶されたマトリクスパラメータの一例を示す図である。
【図7】内視鏡画像補正装置を内視鏡装置の外部に設けた例の構成図である。
【図8】図7に示した端末の構成図である。
【図9】白色光源とレーザ光源とを備えた変形例に係る光源の構成図である。
【図10】LEDとレーザ光源とを備えた変形例に係る光源の構成図である。
【図11】白色光源と回転フィルタを備えた変形例に係る光源の構成図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施の形態を図面を参照して説明する。
図1は本発明の実施形態を説明するための図で、内視鏡装置の概念的なブロック構成図、図2は図1に示す内視鏡装置の一例としての外観図である。
図1、図2に示すように、内視鏡装置100は、内視鏡本体11と、この内視鏡本体11が接続される制御装置13とを有する。制御装置13には、画像情報等を表示する表示部15と、入力操作を受け付ける入力部17が接続されている。内視鏡本体11は、内視鏡挿入部19の先端から照明光を出射する照明光学系と、被観察領域を撮像する撮像素子21(図1参照)を含む撮像光学系とを有する、電子内視鏡である。
【0012】
また、内視鏡本体11は、被検体内に挿入される内視鏡挿入部19と、内視鏡挿入部19に連設部23を介して接続され内視鏡挿入部19の先端の湾曲操作や観察のための操作を行う操作部25(図2参照)と、内視鏡本体11を制御装置13に着脱自在に接続するユニバーサルケーブル27の先端に接続されるコネクタ部29A,29Bを備える。なお、図示はしないが、操作部25および内視鏡挿入部19の内部には、組織採取用処置具等を挿入する鉗子チャンネルや、送気・送水用のチャンネル等、各種のチャンネルが設けられる。
【0013】
内視鏡挿入部19は、可撓性を持つ軟性部31と、湾曲部33と、先端部(以降、内視鏡先端部とも呼称する)35から構成される。内視鏡先端部35には、図1に示すように、被観察領域へ光を照射する照射口37A,37Bと、被観察領域の画像情報を取得するCCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサ等の撮像素子21が配置されている。撮像素子21の受光面には対物レンズユニット39が配置される。
【0014】
湾曲部33は、軟性部31と先端部35との間に設けられ、操作部25に配置されたアングルノブ41の回動操作により湾曲自在にされている。この湾曲部33は、内視鏡本体11が使用される被検体の部位等に応じて、任意の方向、任意の角度に湾曲でき、内視鏡先端部35の照射口37A,37Bおよび撮像素子21の観察方向を、所望の観察部位に向けることができる。また、図示は省略するが、内視鏡挿入部19の照射口37A,37Bには、カバーガラスやレンズが配置される。
【0015】
制御装置13は、内視鏡先端部35の照射口37A,37Bに供給する照明光を発生する光源装置43、撮像素子21からの画像信号を画像処理するプロセッサ45を備え、コネクタ部29A,29Bを介して内視鏡本体11と接続される。また、プロセッサ45には、前述の表示部15と入力部17が接続されている。プロセッサ45は、内視鏡本体11の操作部25や入力部17からの指示に基づいて、内視鏡本体11から伝送されてくる撮像信号を画像処理し、表示部15へ表示用画像を生成して供給する。
【0016】
光源装置43は、中心波長445nmの半導体発光素子である青色レーザ光源(白色照明用光源)47と、中心波長405nmの半導体発光素子である紫色レーザ光源(特殊光光源)49とを発光源として備えている。本明細書中、これらの青色レーザ光源47および紫色レーザ光源49を第一光源とも称する。これら各光源47,49の半導体発光素子からの発光は、光源制御部51により個別に制御されており、青色レーザ光源47の出射光と、紫色レーザ光源49の出射光の光量比は変更自在になっている。
【0017】
青色レーザ光源47および紫色レーザ光源49は、ブロードエリア型のInGaN系レーザダイオードが利用でき、また、InGaNAs系レーザダイオードやGaNAs系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオード等の発光体を用いた構成としてもよい。
【0018】
各光源47,49から出射されるレーザ光は、集光レンズ(図示略)によりそれぞれ光ファイバに入力され、合波器であるコンバイナ53と、分波器であるカプラ55を介してコネクタ部29Aに伝送される。なお、これに限らず、コンバイナ53とカプラ55を用いずに各光源47,49からのレーザ光を直接コネクタ部29Aに送出する構成であってもよい。
【0019】
中心波長445nmの青色レーザ光、および中心波長405nmの紫色レーザ光が合波され、コネクタ部29Aまで伝送されたレーザ光は、光ファイバ57A,57Bによって、それぞれ内視鏡本体11の内視鏡先端部35まで伝搬される。
【0020】
ここで、図3に第一光源のスペクトルの一例のグラフを示した。青色レーザ光は、内視鏡先端部35の光ファイバ57Aの光出射端に配置された波長変換部材である蛍光体59、59を励起して蛍光を発光させる。また、一部の青色レーザ光は、そのまま蛍光体59を透過する。 紫色レーザ光は、蛍光体59の励起発光効率が青色レーザの場合より低くいために透過成分が多くなり、また、長波長側では青色レーザの場合より低強度な光を蛍光体が励起発光する。このとき蛍光体を透過する紫色レーザ光は狭帯域波長の照明光となる。
【0021】
本構成では、中心波長445nmの青色レーザ光と、中心波長405nmの紫色レーザ光を合波することにより、中心波長445nmの青色レーザ光で不足する460〜470nm近辺の波長帯域光が、中心波長405nmの紫色レーザ光から出射される同帯域の光によって補われ、白色光の色調が改善される。
【0022】
光ファイバ57A,57Bは、マルチモードファイバであり、一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3〜0.5mmの細径なファイバケーブルを使用できる。
蛍光体59は、青色レーザ光の一部を吸収して緑色〜黄色に励起発光する複数種の蛍光体(例えばYAG系蛍光体、或いはBAM(BaMgAl10O17)等の蛍光体)を含んで構成される。これにより、青色レーザ光を励起光とする緑色〜黄色の励起光と、蛍光体59により吸収されず透過した青色レーザ光とが合わされて、白色(疑似白色)の照明光となる。本構成例のように、半導体発光素子を励起光源として用いれば、高い発光効率で高強度の白色光が得られ、白色光の強度を容易に調整できる上に、白色光の色温度、色度の変化を小さく抑えることができる。
【0023】
上記の蛍光体59は、レーザ光の可干渉性により生じるスペックルに起因して、撮像の障害となるノイズの重畳や、動画像表示を行う際のちらつきの発生を防止できる。また、蛍光体59は、蛍光体を構成する蛍光物質と、充填剤となる固定・固化用樹脂との屈折率差を考慮して、蛍光物質そのものと充填剤に対する粒径を、赤外域の光に対して吸収が小さく、かつ散乱が大きい材料で構成することが好ましい。これにより、赤色や赤外域の光に対して光強度を落とすことなく散乱効果が高められ、光学的損失が小さくなる。つまり、高効率で高強度の白色光が得られる。
【0024】
図4は第二光源のスペクトルの一例を表すグラフである。
本構成の内視鏡装置100は、上記のように中心波長445nmの青色レーザ光により、また、場合によっては中心波長405nmの紫色レーザ光を合波することにより白色光を得、その白色光を照射して被検体の内視鏡観察画像を得る。一方、従来の内視鏡装置では、半導体発光素子ではないハロゲンランプ、キセノンランプ等の白色光を出射する光源が用いられていた。この場合、図4に示すように、その光源から出射されるブロードな波長帯の白色光にて被検体が撮像されて、内視鏡観察画像が得られていた。
【0025】
内視鏡装置100では、分光推定画像にて、例えば粘膜層或いは粘膜下層に発生する新生血管の微細構造、病変部の強調等、通常の観察像では得られない生体情報を可視可能としている。ところが、過去に撮像した観察画像がキセノン光源による照明であり、現在撮像している観察画像が上記構成のようなレーザ光と蛍光体で生成される白色光による照明である場合には、それぞれの画像に分光推定画像処理を施しても、過去と現在の分光推定画像を同じ色調に合わせることができなかった。
【0026】
そこで、内視鏡装置100は、第一光源からの照射光で被検体を撮像した内視鏡第一観察画像と、第一光源とは異なるスペクトルの第二光源であるキセノン光源等からの照射光で被検体を撮像した内視鏡第二観察画像とをそれぞれ演算処理した結果に対し、照射光のスペクトルの相違に起因する各画像間の色調のずれを補正できるようになされている。
【0027】
即ち、内視鏡装置100におけるプロセッサ45は、内視鏡本体11を用いて取得された内視鏡観察画像を画像処理するために、制御部63、記憶部65、前処理部67、分光推定画像生成手段である分光推定画像生成部69、画像処理部71、パラメータデータベース73を備えている。このうち、分光推定画像生成部69、画像処理部71、パラメータデータベース73は、内視鏡画像補正装置200を構成している。
【0028】
上記構成を有する内視鏡装置100において、照射光のスペクトルの相違に起因する各画像間の色調のずれを補正する手順を説明する。
図5は第一、第二分光推定画像の色調合わせの手順を表すフローチャートである。
図1に示す内視鏡先端部35の撮像素子21から出力される内視鏡観察画像の信号は、信号ケーブル75を介してA/D変換器77に伝送されてデジタル信号に変換されて取り込まれる(St1)。デジタル信号に変換された画像信号は、コネクタ部29Bを介してプロセッサ45の制御部63に入力される。制御部63では、A/D変換器77にてデジタル信号に変換された撮像素子21からの内視鏡観察画像信号が前処理部67以降の2次回路に分離伝送される。前処理部67は、制御部63から送られた内視鏡観察画像信号に対し前処理を施すものであって、たとえば内視鏡画像がCMY表色系、CMYG表色系からなる場合にはRGB表色系に変換し、さらにガンマ変換機能、階調を調整する機能等を有している。
【0029】
操作者が、通常画像から分光推定画像への観察を希望するときには、内視鏡本体11の操作部25に設けられているスイッチ81等を操作することにより指示を行う。分光推定画像観察が指示されると、前処理部67にて前処理の施された内視鏡観察画像信号は、分光推定画像生成部69に送られて分光推定処理が行われる(St2)。
【0030】
分光推定画像生成部69は、内視鏡観察画像Pに対しマトリクスパラメータMを用いてマトリクス演算を行うことにより分光推定画像SPを生成するものである。なお、分光推定画像生成部69の動作例の詳細については特開2003−93336号公報に記載されている。
【0031】
具体的には、分光推定画像生成部69は、マトリクスパラメータMを用いて下記式(1)に示すマトリクス演算を行うことにより分光推定画像SPを生成する。
【0032】
【数1】
・・・(1)
【0033】
なお、式(1)において、SPr、SPg、SPbは分光推定画像SPの各RGB成分、Pr、Pg、Pbは内視鏡観察画像Pの各RGB成分、M00〜M22からなる3×3行の行列はマトリクス演算を行うためのマトリクスパラメータMijをそれぞれ示している。
【0034】
図6は図1の内視鏡画像処理装置におけるデータベースに記憶されたマトリクスパラメータの一例を示す図である。
ここで、図6に示すように、パラメータデータベース73には例えば400nmから700nmの波長域を5nm間隔で分けた波長域毎にマトリクスパラメータPi=(Mj0,Mj1 ,Mj2)(i=1〜61、jはマトリクスパラメータMの行であってj=0〜2)が記憶されている。例えば、分光推定画像SPを構成する波長域λ1,λ2,λ3としてそれぞれ例えば500nm,620nm,650nmが選択される場合は、係数(Mj0,Mj1,Mj2)として、図6の61のパラメータのうち、中心波長500nmに対応するパラメータp21の係数、中心波長620nmに対応するパラメータp45の係数、および中心波長650nmに対応するパラメータp51の係数を用いた下記(2)式のマトリクスパラメータMijとなり、このマトリクスパラメータで上記マトリクス演算がなされる。
【0035】
【数2】
・・・(2)
【0036】
このようなパラメータの組み合わせはたとえば血管、生体組織等の観察したい部位毎にパラメータデータベース73に記憶されており、各部位にマッチングしたパラメータを用いて分光推定画像SPが生成される。具体的には、マトリクスパラメータMを設定するための波長セットとして、例えば表1に示す波長セットがある。
【0037】
【表1】
【0038】
次いで、過去の撮像画像を比較用として用いた場合には、過去撮像画像がLANを介して画像データベース79から読み出される(St3)。この際、過去撮像画像データのヘッダー部等に付与されている光源種情報も同時に読み込まれ、内視鏡装置100で使用されている光源種と違いがあるか否かが判断される(St4)。この判断において、光源種に違いがない場合には、過去撮像画像においても、上記と同様の分光推定処理がなされる(St6)。
【0039】
一方、過去撮像画像が内視鏡装置100で使用されている第一光源と異なる例えばキセノン光源等の第二光源であった場合には、分光推定処理のマトリクス変更がなされる(St5)。制御部63は、このマトリクス変更を実行するための波長セット設定手段を格納する。波長セット設定手段は、例えば記憶部65に格納されるプログラムとすることができる。波長セット設定手段は、複数の波長域の組合せを波長セットとして設定する。
【0040】
分光推定画像生成部69は、被検体に白色照明光を照射して撮像して得た撮像画像に対してマトリクス演算を施すことで、波長セット設定手段で設定された波長セットにより生成されるスペクトル光を被検体に照射した場合に得られると推定される分光推定画像を生成する。
【0041】
即ち、分光推定画像生成部69により内視鏡第一観察画像と内視鏡第二観察画像の分光推定画像をそれぞれ生成するにあたり、内視鏡第一観察画像に対しては、分光推定画像生成部69が所定の波長セットに応じて第一分光推定画像を生成する。一方、内視鏡第二観察画像に対しては、波長セット設定手段が、第一光源(青色レーザ光源47および蛍光体59)からの照射光のスペクトルを近似的に生成する近似波長セットを設定し、分光推定画像生成部69が、設定されたこの近似波長セットに応じて第二分光推定画像を生成する。
【0042】
これにより、白色照明光を照射して撮像して得た過去撮像画像においても、上記と同様の分光推定処理が近似的になされることとなる。このようにして処理のなされた過去撮像画像の分光推定画像と、内視鏡装置100による撮像画像の分光推定画像とが表示部15に表示され(St7)、診断が行われる(St8)。
【0043】
したがって、内視鏡装置100では、波長セット設定手段に、第一光源の照射光を近似的に生成する近似波長セットが設定され、分光推定画像生成部69が、その近似波長セットに基づき内視鏡第二観察画像から第二分光推定画像を生成するので、第二分光推定画像が、近似的に第一分光推定画像と同じスペクトル光源の照射にて得られた分光推定画像で生成され、第一分光推定画像と第二分光推定画像が同じ色調で比較可能となる。
【0044】
なお、内視鏡画像補正装置200は内視鏡本体11の個体差による撮像素子感度に応じた補正値により各RGB成分に対するゲインを調整する機能を有していてもよい。具体的には、分光推定画像生成部69は、上記式(1)のマトリクスパラメータMijの代わりに、下記式(3)のようにマトリクスパラメータMに各RGB成分のゲイン係数Rg、Gg、Bgを乗算したマトリクスパラメータM1を用いて分光推定画像SPを生成する。
【0045】
【数3】
・・・(3)
【0046】
上述したゲイン係数Rg、Gg、Bgは、例えば使用する内視鏡本体11に設けた個体識別メモリ83に記録された撮像素子感度特性に応じて変更される。これにより、分光推定画像生成部69が波長セットを用いて分光推定画像を生成するものであるとき、明るさに応じた適切なRGB成分値を得ることができ、分光推定画像の画質が向上する。
【0047】
したがって、上記内視鏡画像補正装置200によれば、異なる照明光で撮像された画像情報であっても、同じ色調となる分光推定画像を生成でき、これにより診断精度を向上させることができる。
【0048】
そして、内視鏡画像補正装置200を備えた内視鏡装置100によれば、被検体内に挿入される内視鏡挿入部19を有する内視鏡本体11と、内視鏡本体11に接続され、内視鏡画像補正装置が搭載された制御装置13と、を有するので、術者が既に撮像した内視鏡観察画像を表示させ、現在と過去の患部状態を比較する等の画像表示形態において、例えば過去に撮像した内視鏡第二観察画像がキセノン光源による照明で、現在撮像している内視鏡第一観察画像がレーザ光と蛍光体59で生成される白色光による照明であっても、双方の第一分光推定画像と第二分光推定画像が近似的に同じスペクトル光源の照射にて得られた分光推定画像となる。この結果、同じ色調での分光推定画像同士の対比が可能となる。
【0049】
次に、上記構成の変形例を説明する。
図7は内視鏡画像補正装置を内視鏡装置の外部に設けた例の構成図である。
上記した内視鏡装置100は、プロセッサ45内に内視鏡画像補正装置200を備えた構成としたが、図7に示すように、内視鏡画像補正装置200が外部に設けられる端末装置85に備えられる構成としてもよい。
【0050】
図8は図7に示した端末の構成図である。
この場合、端末装置85にはセレクタ87が設けられ、通常の画像処理と分光推定画像生成処理とに処理が切り替え可能に構成される。端末装置85には、上記した内視鏡画像補正装置200と同等の構成の他、モニタ89が設けられてもよい。このような内視鏡画像補正装置200を分離してシステム内に備える構成とすれば、内視鏡画像補正装置200を備える内視鏡装置と、内視鏡画像補正装置200を備えていない内視鏡装置とを、同一システム内で混用することが可能となる。
【0051】
また、内視鏡第一観察画像および内視鏡第二観察画像の情報を記憶する画像情報記憶手段である画像データベース79は、ネットワーク(LAN等)を介して接続される。これにより、内視鏡画像補正装置200に画像情報記憶手段を装備する必要がなく、製品コストを安価にできる。ネットワークを介して一つの画像データベース79にアクセスできるので、任意の内視鏡画像補正装置200が蓄積画像情報の全てを共有できる。また、任意の内視鏡画像補正装置200にて得られた内視鏡第一観察画像を逐一追加蓄積して共有することも可能となる。
【0052】
図9は白色光源とレーザ光源とを備えた変形例に係る光源の構成図である。
なお、第一光源、第二光源は、上記以外に、例えば以下の構成であってもよい。即ち、白色光源91からの光を、多数本の光ファイバからなるファイババンドル93から出射する照明系と、レーザ光源95からの光を一本の光ファイバ97にて導光して拡散板99を透過させて出射する照明系と、を備える構成であってもよい。
【0053】
図10はLEDとレーザ光源とを備えた変形例に係る光源の構成図である。
また、内視鏡挿入部19の先端部35に設けたRGB色の各発光ダイオード(LED)101を信号線103にて接続した光学系と、レーザ光源95からの光を一本の光ファイバ97にて導光して拡散板99を透過させて出射する照明系と、を備える構成であってもよい。
【0054】
図11は白色光源と回転フィルタを備えた変形例に係る光源の構成図である。
さらに、白色光源91からの光を、回転フィルタ105を用いることでR,G,B光や狭帯域光、あるいはC,M,Y光、またはC,M,Y,G光を取り出す構成であってもよい。
【0055】
また、撮像素子21は、CCDイメージセンサに限らず、CMOSイメージセンサであってもよく、RGBを検出する以外にも、CMYや、CMYGを検出する補色系の撮像素子であってもよい。
【0056】
さらに、撮像方法は、RGBの三色を同時に撮像する同時撮像式の他に、R画像、G画像、B画像をそれぞれ順次撮像し、後で組み合わせて(同時化処理して)一枚のカラー画像にする面順次式であってもよい。
【0057】
このように、本発明は上記の実施形態に限定されるものではなく、明細書の記載、並びに周知の技術に基づいて、当業者が変更、応用することも本発明の予定するところであり、保護を求める範囲に含まれる。
【0058】
以上の通り、本明細書には次の事項が開示されている。
(1) 第一光源からの照射光で被検体を撮像した内視鏡第一観察画像と、前記第一光源とは異なるスペクトルの第二光源からの照射光で被検体を撮像した内視鏡第二観察画像とをそれぞれ演算処理した結果に対し、照射光のスペクトルの相違に起因する各画像間の色調のずれを補正する内視鏡画像補正装置であって、
複数の波長域の組合せを波長セットとして設定する波長セット設定手段と、
前記被検体に白色照明光を照射して撮像して得た撮像画像に対してマトリクス演算を施すことで、前記波長セット設定手段で設定された波長セットに応じて生成されるスペクトル光を被検体に照射した場合に得られると推定される分光推定画像を生成する分光推定画像生成手段と、
を備え、
前記分光推定画像生成手段により前記内視鏡第一観察画像と前記内視鏡第二観察画像の分光推定画像をそれぞれ生成するにあたり、
前記内視鏡第一観察画像に対しては、前記分光推定画像生成手段が所定の波長セットで第一分光推定画像を生成し、
前記内視鏡第二観察画像に対しては、前記波長セット設定手段が、前記第一光源からの光スペクトルを近似的に生成する近似波長セットを設定し、前記分光推定画像生成手段が、前記設定された近似波長セットに応じて第二分光推定画像を生成する内視鏡画像補正装置。
この内視鏡画像補正装置によれば、波長セット設定手段に、第一光源のスペクトル光を近似的に生成する近似波長セットが設定され、分光推定画像生成手段が、その近似波長セットに基づき内視鏡第二観察画像から第二分光推定画像を生成するので、第二分光推定画像が、近似的に第一分光推定画像と同じスペクトル光源の照射にて得られた分光推定画像となり、第一分光推定画像と第二分光推定画像が同じ色調で比較可能となる。
【0059】
(2) (1)の内視鏡画像補正装置であって、
前記第一光源が、半導体発光素子と、該半導体発光素子の発光波長で励起する蛍光体を含んだ波長変換部材と、を有して構成される内視鏡画像補正装置。
この内視鏡画像補正装置によれば、半導体発光素子から出射されるレーザ光(青色)が、内視鏡先端部に配置された波長変換部材である蛍光体を励起して蛍光(白色光)を発光させ、高効率で高強度の白色光が得られる。また、一部のレーザ光(青色)を、蛍光体を励起させることなくそのまま透過させ、狭帯域波長の照明光として利用することもできる。
【0060】
(3) (2)の内視鏡画像補正装置であって、
前記第二光源が、白色光を発生する内視鏡画像補正装置。
この内視鏡画像補正装置によれば、第二光源としてハロゲンランプ、キセノンランプ、あいは白色発光ダイオード等の白色光を出射する光源が用いられ、その光源から出射されるブロードな波長帯の白色光にて被検体が撮像されて、内視鏡第二観察画像が得られる。
【0061】
(4) (1)〜(3)のいずれか1つの内視鏡画像補正装置であって、
前記分光推定画像のR,G,B成分をSPr,SPg,SPb、内視鏡観察画像のR,G,B成分をPr,Pg,Pb、マトリクスパラメータをMijとしたとき、
前記分光推定画像生成手段が、次式により分光推定画像を生成する内視鏡画像補正装置。
【0062】
【数4】
【0063】
この内視鏡画像補正装置によれば、たとえば血管、生体組織等の観察したい部位毎に、マトリクスパラメータの組み合わせがデータベースに記憶されており、各部位にマッチングしたマトリクスパラメータを用いた分光推定画像の生成が可能となる。
【0064】
(5) (4)の内視鏡画像補正装置であって、
前記マトリクスパラメータを、前記内視鏡観察画像を撮像する撮像素子の受光感度特性の情報を含むパラメータで補正する内視鏡画像補正装置。
この内視鏡画像補正装置によれば、分光推定画像生成部が、マトリクスパラメータに各RGB成分のゲイン係数を乗算したマトリクスパラメータにて分光推定画像を生成する。ゲイン係数はたとえば使用する内視鏡に設けた個体識別メモリに記録した撮像素子感度特性値に応じて変更される。これにより、分光画像生成手段が波長セットを用いて分光推定画像を生成するものであるとき、明るさに応じた適切なRGB成分値を得ることができ、分光推定画像の画質が向上する。
【0065】
(6) (1)〜(5)のいずれか1つの内視鏡画像補正装置であって、
前記内視鏡第一観察画像および前記内視鏡第二観察画像の情報を記憶する画像情報記憶手段が、ネットワークを介して接続された内視鏡画像補正装置。
この内視鏡画像補正装置によれば、内視鏡画像補正装置に画像情報記憶手段を装備する必要がなく、製品コストを安価にできる。ネットワークを介して一つの画像情報記憶手段にアクセスできるので、任意の内視鏡画像補正装置が蓄積画像情報の全てを共有できる。また、任意の内視鏡画像補正装置にて得られた内視鏡第一観察画像を逐一追加蓄積して共有することも可能となる。
【0066】
(7) 被検体内に挿入される内視鏡挿入部を有する内視鏡本体と、
該内視鏡本体に接続され、(1)〜(5)のいずれか1つの内視鏡画像補正装置が搭載された制御装置と、
を有する内視鏡装置。
この内視鏡装置によれば、内視鏡の術者が既に撮像した内視鏡観察画像を表示させ、現在と過去の患部状態を比較する等の画像表示形態において、例えば過去に撮像した内視鏡第二観察画像がキセノン光源による照明で、現在撮像している内視鏡第一観察画像がレーザ光と蛍光体で生成される白色光による照明であっても、双方の第一分光推定画像と第二分光推定画像が近似的に同じスペクトル光源の照射にて得られた分光推定画像となり、同じ色調での分光推定画像同士の対比が可能となる。
【符号の説明】
【0067】
11 内視鏡本体
13 制御装置
19 内視鏡挿入部
21 撮像素子
47 青色レーザ光源(半導体発光素子)
49 紫色レーザ光源(半導体発光素子)
59 蛍光体(波長変換部材)
69 分光推定画像生成部(分光推定画像生成手段)
79 画像データベース(画像情報記憶手段)
100 内視鏡装置
200 内視鏡画像補正装置
LAN ネットワーク
M マトリクスパラメータ
P 内視鏡観察画像
SP 分光推定画像
【技術分野】
【0001】
本発明は、内視鏡画像補正装置および内視鏡装置に関する。
【背景技術】
【0002】
近年、特定波長の狭帯域光を生体組織に照射して粘膜組織表層の微細構造を強調する狭帯域光観察や、予め投与した蛍光物質や生体組織からの蛍光を観察する蛍光観察等の特殊光観察が可能な内視鏡装置が活用されている(特許文献1)。この種の内視鏡装置では、特殊光観察によって、例えば粘膜層或いは粘膜下層に発生する新生血管の微細構造、病変部の強調等、通常の観察像では得られない生体情報を簡単に可視化できる。また、従前より白色照明用に広く使用されているキセノン光源等に代えて、狭帯域光であるレーザ光と、蛍光体との組合せにより、白色光を生成し、高輝度の照明光を安定して供給する内視鏡装置が提案されている(特許文献2)。
【0003】
一方、上記の狭帯域の光を用いた特殊光観察の他にも、広波長帯域の白色照明光で撮像されたカラー画像信号に対してマトリックス演算処理を施すことにより、特定の狭波長帯域の光を照明光とした場合に得られるような分光推定画像を推定により求め、その分光推定画像を表示する技術が提案されている(特許文献3)。この特許文献3の技術は、RGBのそれぞれのカラー感度特性を数値データ化したものと、特定の狭帯域バンドパスの分光特性を数値データ化したものとの関係をマトリクスデータとして求め、このマトリクスデータとRGB信号との演算により、狭帯域バンドパスフィルタを介して得られる光成分を推定した分光画像信号を得ることを基本としている。これによれば、観察画像の狭帯域成分を白色照明光による観察画像から演算により推定して求めることができる。
【0004】
ところで、前述の演算処理により求まる分光推定画像と、実際に狭帯域光を照射して撮像した画像とでは、同じ観察部位の画像であっても色調が異なる場合がある。つまり、分光推定画像を生成する際は、観察目的に応じて予め登録された特定の波長帯の組を波長セットして設定し、この波長セットに応じて分光推定画像を生成する。このため、双方の画像が同じスペクトルの照明光の照射で撮像したもので、かつ、同じ波長セットを使用して分光推定画像を演算により生成していなければ、同じ色調にはならない。
【0005】
実際の内視鏡観察時においては、内視鏡の術者がリアルタイムで内視鏡観察画像を確認する以外にも、既に撮像した内視鏡観察画像をデータベースから取り出してモニタに表示させ、現在と過去の患部状態を比較する等、様々な画像表示形態が採られる。そのときに、例えば過去に撮像した観察画像がキセノン光源による照明で、現在撮像している観察画像がレーザ光と蛍光体で生成される白色光による照明である場合には、それぞれの画像に分光推定画像処理を施しても、過去と現在の観察画像を同じ色調に合わせることができない。そのため、診断時には色調差のある画像同士を対比せざるを得ない状況になっていた。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特許第3583731号公報
【特許文献2】特開2009−291347号公報
【特許文献3】特開2003−93336号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、異なる照明光で撮像された画像情報であっても、同じ色調となる分光推定画像を生成でき、これにより診断精度を向上できる内視鏡画像補正装置およびこれを備えた内視鏡装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明は下記構成からなる。
第一光源からの照射光で被検体を撮像した内視鏡第一観察画像と、前記第一光源とは異なるスペクトルの第二光源からの照射光で被検体を撮像した内視鏡第二観察画像とをそれぞれ演算処理した結果に対し、照射光のスペクトルの相違に起因する各画像間の色調のずれを補正する内視鏡画像補正装置であって、
複数の波長域の組合せを波長セットとして設定する波長セット設定手段と、
前記被検体に白色照明光を照射して撮像して得た撮像画像に対してマトリクス演算を施すことで、前記波長セット設定手段で設定された波長セットに応じて生成されるスペクトル光を被検体に照射した場合に得られると推定される分光推定画像を生成する分光推定画像生成手段と、
を備え、
前記分光推定画像生成手段により前記内視鏡第一観察画像と前記内視鏡第二観察画像の分光推定画像をそれぞれ生成するにあたり、
前記内視鏡第一観察画像に対しては、前記分光推定画像生成手段が所定の波長セットで第一分光推定画像を生成し、
前記内視鏡第二観察画像に対しては、前記波長セット設定手段が、前記第一光源からの光スペクトルを近似的に生成する近似波長セットを設定し、前記分光推定画像生成手段が、前記設定された近似波長セットに応じて第二分光推定画像を生成する内視鏡画像補正装置。
【発明の効果】
【0009】
本発明の内視鏡画像補正装置および内視鏡装置によれば、異なる照明光で撮像された画像情報であっても、同じ色調となる分光推定画像を生成でき、これにより診断精度を向上させることができる。
【図面の簡単な説明】
【0010】
【図1】本発明の実施形態を説明するための図で、内視鏡装置の概念的なブロック構成図である。
【図2】図1に示す内視鏡装置の一例としての外観図である。
【図3】第一光源のスペクトルの一例を表すグラフである。
【図4】第二光源のスペクトルの一例を表すグラフである。
【図5】第一、第二分光推定画像の色調合わせの手順を表すフローチャートである。
【図6】図1の内視鏡画像処理装置におけるデータベースに記憶されたマトリクスパラメータの一例を示す図である。
【図7】内視鏡画像補正装置を内視鏡装置の外部に設けた例の構成図である。
【図8】図7に示した端末の構成図である。
【図9】白色光源とレーザ光源とを備えた変形例に係る光源の構成図である。
【図10】LEDとレーザ光源とを備えた変形例に係る光源の構成図である。
【図11】白色光源と回転フィルタを備えた変形例に係る光源の構成図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施の形態を図面を参照して説明する。
図1は本発明の実施形態を説明するための図で、内視鏡装置の概念的なブロック構成図、図2は図1に示す内視鏡装置の一例としての外観図である。
図1、図2に示すように、内視鏡装置100は、内視鏡本体11と、この内視鏡本体11が接続される制御装置13とを有する。制御装置13には、画像情報等を表示する表示部15と、入力操作を受け付ける入力部17が接続されている。内視鏡本体11は、内視鏡挿入部19の先端から照明光を出射する照明光学系と、被観察領域を撮像する撮像素子21(図1参照)を含む撮像光学系とを有する、電子内視鏡である。
【0012】
また、内視鏡本体11は、被検体内に挿入される内視鏡挿入部19と、内視鏡挿入部19に連設部23を介して接続され内視鏡挿入部19の先端の湾曲操作や観察のための操作を行う操作部25(図2参照)と、内視鏡本体11を制御装置13に着脱自在に接続するユニバーサルケーブル27の先端に接続されるコネクタ部29A,29Bを備える。なお、図示はしないが、操作部25および内視鏡挿入部19の内部には、組織採取用処置具等を挿入する鉗子チャンネルや、送気・送水用のチャンネル等、各種のチャンネルが設けられる。
【0013】
内視鏡挿入部19は、可撓性を持つ軟性部31と、湾曲部33と、先端部(以降、内視鏡先端部とも呼称する)35から構成される。内視鏡先端部35には、図1に示すように、被観察領域へ光を照射する照射口37A,37Bと、被観察領域の画像情報を取得するCCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサ等の撮像素子21が配置されている。撮像素子21の受光面には対物レンズユニット39が配置される。
【0014】
湾曲部33は、軟性部31と先端部35との間に設けられ、操作部25に配置されたアングルノブ41の回動操作により湾曲自在にされている。この湾曲部33は、内視鏡本体11が使用される被検体の部位等に応じて、任意の方向、任意の角度に湾曲でき、内視鏡先端部35の照射口37A,37Bおよび撮像素子21の観察方向を、所望の観察部位に向けることができる。また、図示は省略するが、内視鏡挿入部19の照射口37A,37Bには、カバーガラスやレンズが配置される。
【0015】
制御装置13は、内視鏡先端部35の照射口37A,37Bに供給する照明光を発生する光源装置43、撮像素子21からの画像信号を画像処理するプロセッサ45を備え、コネクタ部29A,29Bを介して内視鏡本体11と接続される。また、プロセッサ45には、前述の表示部15と入力部17が接続されている。プロセッサ45は、内視鏡本体11の操作部25や入力部17からの指示に基づいて、内視鏡本体11から伝送されてくる撮像信号を画像処理し、表示部15へ表示用画像を生成して供給する。
【0016】
光源装置43は、中心波長445nmの半導体発光素子である青色レーザ光源(白色照明用光源)47と、中心波長405nmの半導体発光素子である紫色レーザ光源(特殊光光源)49とを発光源として備えている。本明細書中、これらの青色レーザ光源47および紫色レーザ光源49を第一光源とも称する。これら各光源47,49の半導体発光素子からの発光は、光源制御部51により個別に制御されており、青色レーザ光源47の出射光と、紫色レーザ光源49の出射光の光量比は変更自在になっている。
【0017】
青色レーザ光源47および紫色レーザ光源49は、ブロードエリア型のInGaN系レーザダイオードが利用でき、また、InGaNAs系レーザダイオードやGaNAs系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオード等の発光体を用いた構成としてもよい。
【0018】
各光源47,49から出射されるレーザ光は、集光レンズ(図示略)によりそれぞれ光ファイバに入力され、合波器であるコンバイナ53と、分波器であるカプラ55を介してコネクタ部29Aに伝送される。なお、これに限らず、コンバイナ53とカプラ55を用いずに各光源47,49からのレーザ光を直接コネクタ部29Aに送出する構成であってもよい。
【0019】
中心波長445nmの青色レーザ光、および中心波長405nmの紫色レーザ光が合波され、コネクタ部29Aまで伝送されたレーザ光は、光ファイバ57A,57Bによって、それぞれ内視鏡本体11の内視鏡先端部35まで伝搬される。
【0020】
ここで、図3に第一光源のスペクトルの一例のグラフを示した。青色レーザ光は、内視鏡先端部35の光ファイバ57Aの光出射端に配置された波長変換部材である蛍光体59、59を励起して蛍光を発光させる。また、一部の青色レーザ光は、そのまま蛍光体59を透過する。 紫色レーザ光は、蛍光体59の励起発光効率が青色レーザの場合より低くいために透過成分が多くなり、また、長波長側では青色レーザの場合より低強度な光を蛍光体が励起発光する。このとき蛍光体を透過する紫色レーザ光は狭帯域波長の照明光となる。
【0021】
本構成では、中心波長445nmの青色レーザ光と、中心波長405nmの紫色レーザ光を合波することにより、中心波長445nmの青色レーザ光で不足する460〜470nm近辺の波長帯域光が、中心波長405nmの紫色レーザ光から出射される同帯域の光によって補われ、白色光の色調が改善される。
【0022】
光ファイバ57A,57Bは、マルチモードファイバであり、一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3〜0.5mmの細径なファイバケーブルを使用できる。
蛍光体59は、青色レーザ光の一部を吸収して緑色〜黄色に励起発光する複数種の蛍光体(例えばYAG系蛍光体、或いはBAM(BaMgAl10O17)等の蛍光体)を含んで構成される。これにより、青色レーザ光を励起光とする緑色〜黄色の励起光と、蛍光体59により吸収されず透過した青色レーザ光とが合わされて、白色(疑似白色)の照明光となる。本構成例のように、半導体発光素子を励起光源として用いれば、高い発光効率で高強度の白色光が得られ、白色光の強度を容易に調整できる上に、白色光の色温度、色度の変化を小さく抑えることができる。
【0023】
上記の蛍光体59は、レーザ光の可干渉性により生じるスペックルに起因して、撮像の障害となるノイズの重畳や、動画像表示を行う際のちらつきの発生を防止できる。また、蛍光体59は、蛍光体を構成する蛍光物質と、充填剤となる固定・固化用樹脂との屈折率差を考慮して、蛍光物質そのものと充填剤に対する粒径を、赤外域の光に対して吸収が小さく、かつ散乱が大きい材料で構成することが好ましい。これにより、赤色や赤外域の光に対して光強度を落とすことなく散乱効果が高められ、光学的損失が小さくなる。つまり、高効率で高強度の白色光が得られる。
【0024】
図4は第二光源のスペクトルの一例を表すグラフである。
本構成の内視鏡装置100は、上記のように中心波長445nmの青色レーザ光により、また、場合によっては中心波長405nmの紫色レーザ光を合波することにより白色光を得、その白色光を照射して被検体の内視鏡観察画像を得る。一方、従来の内視鏡装置では、半導体発光素子ではないハロゲンランプ、キセノンランプ等の白色光を出射する光源が用いられていた。この場合、図4に示すように、その光源から出射されるブロードな波長帯の白色光にて被検体が撮像されて、内視鏡観察画像が得られていた。
【0025】
内視鏡装置100では、分光推定画像にて、例えば粘膜層或いは粘膜下層に発生する新生血管の微細構造、病変部の強調等、通常の観察像では得られない生体情報を可視可能としている。ところが、過去に撮像した観察画像がキセノン光源による照明であり、現在撮像している観察画像が上記構成のようなレーザ光と蛍光体で生成される白色光による照明である場合には、それぞれの画像に分光推定画像処理を施しても、過去と現在の分光推定画像を同じ色調に合わせることができなかった。
【0026】
そこで、内視鏡装置100は、第一光源からの照射光で被検体を撮像した内視鏡第一観察画像と、第一光源とは異なるスペクトルの第二光源であるキセノン光源等からの照射光で被検体を撮像した内視鏡第二観察画像とをそれぞれ演算処理した結果に対し、照射光のスペクトルの相違に起因する各画像間の色調のずれを補正できるようになされている。
【0027】
即ち、内視鏡装置100におけるプロセッサ45は、内視鏡本体11を用いて取得された内視鏡観察画像を画像処理するために、制御部63、記憶部65、前処理部67、分光推定画像生成手段である分光推定画像生成部69、画像処理部71、パラメータデータベース73を備えている。このうち、分光推定画像生成部69、画像処理部71、パラメータデータベース73は、内視鏡画像補正装置200を構成している。
【0028】
上記構成を有する内視鏡装置100において、照射光のスペクトルの相違に起因する各画像間の色調のずれを補正する手順を説明する。
図5は第一、第二分光推定画像の色調合わせの手順を表すフローチャートである。
図1に示す内視鏡先端部35の撮像素子21から出力される内視鏡観察画像の信号は、信号ケーブル75を介してA/D変換器77に伝送されてデジタル信号に変換されて取り込まれる(St1)。デジタル信号に変換された画像信号は、コネクタ部29Bを介してプロセッサ45の制御部63に入力される。制御部63では、A/D変換器77にてデジタル信号に変換された撮像素子21からの内視鏡観察画像信号が前処理部67以降の2次回路に分離伝送される。前処理部67は、制御部63から送られた内視鏡観察画像信号に対し前処理を施すものであって、たとえば内視鏡画像がCMY表色系、CMYG表色系からなる場合にはRGB表色系に変換し、さらにガンマ変換機能、階調を調整する機能等を有している。
【0029】
操作者が、通常画像から分光推定画像への観察を希望するときには、内視鏡本体11の操作部25に設けられているスイッチ81等を操作することにより指示を行う。分光推定画像観察が指示されると、前処理部67にて前処理の施された内視鏡観察画像信号は、分光推定画像生成部69に送られて分光推定処理が行われる(St2)。
【0030】
分光推定画像生成部69は、内視鏡観察画像Pに対しマトリクスパラメータMを用いてマトリクス演算を行うことにより分光推定画像SPを生成するものである。なお、分光推定画像生成部69の動作例の詳細については特開2003−93336号公報に記載されている。
【0031】
具体的には、分光推定画像生成部69は、マトリクスパラメータMを用いて下記式(1)に示すマトリクス演算を行うことにより分光推定画像SPを生成する。
【0032】
【数1】
・・・(1)
【0033】
なお、式(1)において、SPr、SPg、SPbは分光推定画像SPの各RGB成分、Pr、Pg、Pbは内視鏡観察画像Pの各RGB成分、M00〜M22からなる3×3行の行列はマトリクス演算を行うためのマトリクスパラメータMijをそれぞれ示している。
【0034】
図6は図1の内視鏡画像処理装置におけるデータベースに記憶されたマトリクスパラメータの一例を示す図である。
ここで、図6に示すように、パラメータデータベース73には例えば400nmから700nmの波長域を5nm間隔で分けた波長域毎にマトリクスパラメータPi=(Mj0,Mj1 ,Mj2)(i=1〜61、jはマトリクスパラメータMの行であってj=0〜2)が記憶されている。例えば、分光推定画像SPを構成する波長域λ1,λ2,λ3としてそれぞれ例えば500nm,620nm,650nmが選択される場合は、係数(Mj0,Mj1,Mj2)として、図6の61のパラメータのうち、中心波長500nmに対応するパラメータp21の係数、中心波長620nmに対応するパラメータp45の係数、および中心波長650nmに対応するパラメータp51の係数を用いた下記(2)式のマトリクスパラメータMijとなり、このマトリクスパラメータで上記マトリクス演算がなされる。
【0035】
【数2】
・・・(2)
【0036】
このようなパラメータの組み合わせはたとえば血管、生体組織等の観察したい部位毎にパラメータデータベース73に記憶されており、各部位にマッチングしたパラメータを用いて分光推定画像SPが生成される。具体的には、マトリクスパラメータMを設定するための波長セットとして、例えば表1に示す波長セットがある。
【0037】
【表1】
【0038】
次いで、過去の撮像画像を比較用として用いた場合には、過去撮像画像がLANを介して画像データベース79から読み出される(St3)。この際、過去撮像画像データのヘッダー部等に付与されている光源種情報も同時に読み込まれ、内視鏡装置100で使用されている光源種と違いがあるか否かが判断される(St4)。この判断において、光源種に違いがない場合には、過去撮像画像においても、上記と同様の分光推定処理がなされる(St6)。
【0039】
一方、過去撮像画像が内視鏡装置100で使用されている第一光源と異なる例えばキセノン光源等の第二光源であった場合には、分光推定処理のマトリクス変更がなされる(St5)。制御部63は、このマトリクス変更を実行するための波長セット設定手段を格納する。波長セット設定手段は、例えば記憶部65に格納されるプログラムとすることができる。波長セット設定手段は、複数の波長域の組合せを波長セットとして設定する。
【0040】
分光推定画像生成部69は、被検体に白色照明光を照射して撮像して得た撮像画像に対してマトリクス演算を施すことで、波長セット設定手段で設定された波長セットにより生成されるスペクトル光を被検体に照射した場合に得られると推定される分光推定画像を生成する。
【0041】
即ち、分光推定画像生成部69により内視鏡第一観察画像と内視鏡第二観察画像の分光推定画像をそれぞれ生成するにあたり、内視鏡第一観察画像に対しては、分光推定画像生成部69が所定の波長セットに応じて第一分光推定画像を生成する。一方、内視鏡第二観察画像に対しては、波長セット設定手段が、第一光源(青色レーザ光源47および蛍光体59)からの照射光のスペクトルを近似的に生成する近似波長セットを設定し、分光推定画像生成部69が、設定されたこの近似波長セットに応じて第二分光推定画像を生成する。
【0042】
これにより、白色照明光を照射して撮像して得た過去撮像画像においても、上記と同様の分光推定処理が近似的になされることとなる。このようにして処理のなされた過去撮像画像の分光推定画像と、内視鏡装置100による撮像画像の分光推定画像とが表示部15に表示され(St7)、診断が行われる(St8)。
【0043】
したがって、内視鏡装置100では、波長セット設定手段に、第一光源の照射光を近似的に生成する近似波長セットが設定され、分光推定画像生成部69が、その近似波長セットに基づき内視鏡第二観察画像から第二分光推定画像を生成するので、第二分光推定画像が、近似的に第一分光推定画像と同じスペクトル光源の照射にて得られた分光推定画像で生成され、第一分光推定画像と第二分光推定画像が同じ色調で比較可能となる。
【0044】
なお、内視鏡画像補正装置200は内視鏡本体11の個体差による撮像素子感度に応じた補正値により各RGB成分に対するゲインを調整する機能を有していてもよい。具体的には、分光推定画像生成部69は、上記式(1)のマトリクスパラメータMijの代わりに、下記式(3)のようにマトリクスパラメータMに各RGB成分のゲイン係数Rg、Gg、Bgを乗算したマトリクスパラメータM1を用いて分光推定画像SPを生成する。
【0045】
【数3】
・・・(3)
【0046】
上述したゲイン係数Rg、Gg、Bgは、例えば使用する内視鏡本体11に設けた個体識別メモリ83に記録された撮像素子感度特性に応じて変更される。これにより、分光推定画像生成部69が波長セットを用いて分光推定画像を生成するものであるとき、明るさに応じた適切なRGB成分値を得ることができ、分光推定画像の画質が向上する。
【0047】
したがって、上記内視鏡画像補正装置200によれば、異なる照明光で撮像された画像情報であっても、同じ色調となる分光推定画像を生成でき、これにより診断精度を向上させることができる。
【0048】
そして、内視鏡画像補正装置200を備えた内視鏡装置100によれば、被検体内に挿入される内視鏡挿入部19を有する内視鏡本体11と、内視鏡本体11に接続され、内視鏡画像補正装置が搭載された制御装置13と、を有するので、術者が既に撮像した内視鏡観察画像を表示させ、現在と過去の患部状態を比較する等の画像表示形態において、例えば過去に撮像した内視鏡第二観察画像がキセノン光源による照明で、現在撮像している内視鏡第一観察画像がレーザ光と蛍光体59で生成される白色光による照明であっても、双方の第一分光推定画像と第二分光推定画像が近似的に同じスペクトル光源の照射にて得られた分光推定画像となる。この結果、同じ色調での分光推定画像同士の対比が可能となる。
【0049】
次に、上記構成の変形例を説明する。
図7は内視鏡画像補正装置を内視鏡装置の外部に設けた例の構成図である。
上記した内視鏡装置100は、プロセッサ45内に内視鏡画像補正装置200を備えた構成としたが、図7に示すように、内視鏡画像補正装置200が外部に設けられる端末装置85に備えられる構成としてもよい。
【0050】
図8は図7に示した端末の構成図である。
この場合、端末装置85にはセレクタ87が設けられ、通常の画像処理と分光推定画像生成処理とに処理が切り替え可能に構成される。端末装置85には、上記した内視鏡画像補正装置200と同等の構成の他、モニタ89が設けられてもよい。このような内視鏡画像補正装置200を分離してシステム内に備える構成とすれば、内視鏡画像補正装置200を備える内視鏡装置と、内視鏡画像補正装置200を備えていない内視鏡装置とを、同一システム内で混用することが可能となる。
【0051】
また、内視鏡第一観察画像および内視鏡第二観察画像の情報を記憶する画像情報記憶手段である画像データベース79は、ネットワーク(LAN等)を介して接続される。これにより、内視鏡画像補正装置200に画像情報記憶手段を装備する必要がなく、製品コストを安価にできる。ネットワークを介して一つの画像データベース79にアクセスできるので、任意の内視鏡画像補正装置200が蓄積画像情報の全てを共有できる。また、任意の内視鏡画像補正装置200にて得られた内視鏡第一観察画像を逐一追加蓄積して共有することも可能となる。
【0052】
図9は白色光源とレーザ光源とを備えた変形例に係る光源の構成図である。
なお、第一光源、第二光源は、上記以外に、例えば以下の構成であってもよい。即ち、白色光源91からの光を、多数本の光ファイバからなるファイババンドル93から出射する照明系と、レーザ光源95からの光を一本の光ファイバ97にて導光して拡散板99を透過させて出射する照明系と、を備える構成であってもよい。
【0053】
図10はLEDとレーザ光源とを備えた変形例に係る光源の構成図である。
また、内視鏡挿入部19の先端部35に設けたRGB色の各発光ダイオード(LED)101を信号線103にて接続した光学系と、レーザ光源95からの光を一本の光ファイバ97にて導光して拡散板99を透過させて出射する照明系と、を備える構成であってもよい。
【0054】
図11は白色光源と回転フィルタを備えた変形例に係る光源の構成図である。
さらに、白色光源91からの光を、回転フィルタ105を用いることでR,G,B光や狭帯域光、あるいはC,M,Y光、またはC,M,Y,G光を取り出す構成であってもよい。
【0055】
また、撮像素子21は、CCDイメージセンサに限らず、CMOSイメージセンサであってもよく、RGBを検出する以外にも、CMYや、CMYGを検出する補色系の撮像素子であってもよい。
【0056】
さらに、撮像方法は、RGBの三色を同時に撮像する同時撮像式の他に、R画像、G画像、B画像をそれぞれ順次撮像し、後で組み合わせて(同時化処理して)一枚のカラー画像にする面順次式であってもよい。
【0057】
このように、本発明は上記の実施形態に限定されるものではなく、明細書の記載、並びに周知の技術に基づいて、当業者が変更、応用することも本発明の予定するところであり、保護を求める範囲に含まれる。
【0058】
以上の通り、本明細書には次の事項が開示されている。
(1) 第一光源からの照射光で被検体を撮像した内視鏡第一観察画像と、前記第一光源とは異なるスペクトルの第二光源からの照射光で被検体を撮像した内視鏡第二観察画像とをそれぞれ演算処理した結果に対し、照射光のスペクトルの相違に起因する各画像間の色調のずれを補正する内視鏡画像補正装置であって、
複数の波長域の組合せを波長セットとして設定する波長セット設定手段と、
前記被検体に白色照明光を照射して撮像して得た撮像画像に対してマトリクス演算を施すことで、前記波長セット設定手段で設定された波長セットに応じて生成されるスペクトル光を被検体に照射した場合に得られると推定される分光推定画像を生成する分光推定画像生成手段と、
を備え、
前記分光推定画像生成手段により前記内視鏡第一観察画像と前記内視鏡第二観察画像の分光推定画像をそれぞれ生成するにあたり、
前記内視鏡第一観察画像に対しては、前記分光推定画像生成手段が所定の波長セットで第一分光推定画像を生成し、
前記内視鏡第二観察画像に対しては、前記波長セット設定手段が、前記第一光源からの光スペクトルを近似的に生成する近似波長セットを設定し、前記分光推定画像生成手段が、前記設定された近似波長セットに応じて第二分光推定画像を生成する内視鏡画像補正装置。
この内視鏡画像補正装置によれば、波長セット設定手段に、第一光源のスペクトル光を近似的に生成する近似波長セットが設定され、分光推定画像生成手段が、その近似波長セットに基づき内視鏡第二観察画像から第二分光推定画像を生成するので、第二分光推定画像が、近似的に第一分光推定画像と同じスペクトル光源の照射にて得られた分光推定画像となり、第一分光推定画像と第二分光推定画像が同じ色調で比較可能となる。
【0059】
(2) (1)の内視鏡画像補正装置であって、
前記第一光源が、半導体発光素子と、該半導体発光素子の発光波長で励起する蛍光体を含んだ波長変換部材と、を有して構成される内視鏡画像補正装置。
この内視鏡画像補正装置によれば、半導体発光素子から出射されるレーザ光(青色)が、内視鏡先端部に配置された波長変換部材である蛍光体を励起して蛍光(白色光)を発光させ、高効率で高強度の白色光が得られる。また、一部のレーザ光(青色)を、蛍光体を励起させることなくそのまま透過させ、狭帯域波長の照明光として利用することもできる。
【0060】
(3) (2)の内視鏡画像補正装置であって、
前記第二光源が、白色光を発生する内視鏡画像補正装置。
この内視鏡画像補正装置によれば、第二光源としてハロゲンランプ、キセノンランプ、あいは白色発光ダイオード等の白色光を出射する光源が用いられ、その光源から出射されるブロードな波長帯の白色光にて被検体が撮像されて、内視鏡第二観察画像が得られる。
【0061】
(4) (1)〜(3)のいずれか1つの内視鏡画像補正装置であって、
前記分光推定画像のR,G,B成分をSPr,SPg,SPb、内視鏡観察画像のR,G,B成分をPr,Pg,Pb、マトリクスパラメータをMijとしたとき、
前記分光推定画像生成手段が、次式により分光推定画像を生成する内視鏡画像補正装置。
【0062】
【数4】
【0063】
この内視鏡画像補正装置によれば、たとえば血管、生体組織等の観察したい部位毎に、マトリクスパラメータの組み合わせがデータベースに記憶されており、各部位にマッチングしたマトリクスパラメータを用いた分光推定画像の生成が可能となる。
【0064】
(5) (4)の内視鏡画像補正装置であって、
前記マトリクスパラメータを、前記内視鏡観察画像を撮像する撮像素子の受光感度特性の情報を含むパラメータで補正する内視鏡画像補正装置。
この内視鏡画像補正装置によれば、分光推定画像生成部が、マトリクスパラメータに各RGB成分のゲイン係数を乗算したマトリクスパラメータにて分光推定画像を生成する。ゲイン係数はたとえば使用する内視鏡に設けた個体識別メモリに記録した撮像素子感度特性値に応じて変更される。これにより、分光画像生成手段が波長セットを用いて分光推定画像を生成するものであるとき、明るさに応じた適切なRGB成分値を得ることができ、分光推定画像の画質が向上する。
【0065】
(6) (1)〜(5)のいずれか1つの内視鏡画像補正装置であって、
前記内視鏡第一観察画像および前記内視鏡第二観察画像の情報を記憶する画像情報記憶手段が、ネットワークを介して接続された内視鏡画像補正装置。
この内視鏡画像補正装置によれば、内視鏡画像補正装置に画像情報記憶手段を装備する必要がなく、製品コストを安価にできる。ネットワークを介して一つの画像情報記憶手段にアクセスできるので、任意の内視鏡画像補正装置が蓄積画像情報の全てを共有できる。また、任意の内視鏡画像補正装置にて得られた内視鏡第一観察画像を逐一追加蓄積して共有することも可能となる。
【0066】
(7) 被検体内に挿入される内視鏡挿入部を有する内視鏡本体と、
該内視鏡本体に接続され、(1)〜(5)のいずれか1つの内視鏡画像補正装置が搭載された制御装置と、
を有する内視鏡装置。
この内視鏡装置によれば、内視鏡の術者が既に撮像した内視鏡観察画像を表示させ、現在と過去の患部状態を比較する等の画像表示形態において、例えば過去に撮像した内視鏡第二観察画像がキセノン光源による照明で、現在撮像している内視鏡第一観察画像がレーザ光と蛍光体で生成される白色光による照明であっても、双方の第一分光推定画像と第二分光推定画像が近似的に同じスペクトル光源の照射にて得られた分光推定画像となり、同じ色調での分光推定画像同士の対比が可能となる。
【符号の説明】
【0067】
11 内視鏡本体
13 制御装置
19 内視鏡挿入部
21 撮像素子
47 青色レーザ光源(半導体発光素子)
49 紫色レーザ光源(半導体発光素子)
59 蛍光体(波長変換部材)
69 分光推定画像生成部(分光推定画像生成手段)
79 画像データベース(画像情報記憶手段)
100 内視鏡装置
200 内視鏡画像補正装置
LAN ネットワーク
M マトリクスパラメータ
P 内視鏡観察画像
SP 分光推定画像
【特許請求の範囲】
【請求項1】
第一光源からの照射光で被検体を撮像した内視鏡第一観察画像と、前記第一光源とは異なるスペクトルの第二光源からの照射光で被検体を撮像した内視鏡第二観察画像とをそれぞれ演算処理した結果に対し、照射光のスペクトルの相違に起因する各画像間の色調のずれを補正する内視鏡画像補正装置であって、
複数の波長域の組合せを波長セットとして設定する波長セット設定手段と、
前記被検体に白色照明光を照射して撮像して得た撮像画像に対してマトリクス演算を施すことで、前記波長セット設定手段で設定された波長セットに応じて生成されるスペクトル光を被検体に照射した場合に得られると推定される分光推定画像を生成する分光推定画像生成手段と、
を備え、
前記分光推定画像生成手段により前記内視鏡第一観察画像と前記内視鏡第二観察画像の分光推定画像をそれぞれ生成するにあたり、
前記内視鏡第一観察画像に対しては、前記分光推定画像生成手段が所定の波長セットで第一分光推定画像を生成し、
前記内視鏡第二観察画像に対しては、前記波長セット設定手段が、前記第一光源からの光スペクトルを近似的に生成する近似波長セットを設定し、前記分光推定画像生成手段が、前記設定された近似波長セットに応じて第二分光推定画像を生成する内視鏡画像補正装置。
【請求項2】
請求項1記載の内視鏡画像補正装置であって、
前記第一光源が、半導体発光素子と、該半導体発光素子の発光波長で励起する蛍光体を含んだ波長変換部材と、を有して構成される内視鏡画像補正装置。
【請求項3】
請求項2記載の内視鏡画像補正装置であって、
前記第二光源が、白色光を発生する内視鏡画像補正装置。
【請求項4】
請求項1〜請求項3のいずれか1項記載の内視鏡画像補正装置であって、
前記分光推定画像のR,G,B成分をSPr,SPg,SPb、内視鏡観察画像のR,G,B成分をPr,Pg,Pb、マトリクスパラメータをMijとしたとき、
前記分光推定画像生成手段が、次式により分光推定画像を生成する内視鏡画像補正装置。
【数1】
【請求項5】
請求項4記載の内視鏡画像補正装置であって、
前記マトリクスパラメータを、前記内視鏡観察画像を撮像する撮像素子の受光感度特性の情報を含むパラメータで補正する内視鏡画像補正装置。
【請求項6】
請求項1〜請求項5のいずれか1項記載の内視鏡画像補正装置であって、
前記内視鏡第一観察画像および前記内視鏡第二観察画像の情報を記憶する画像情報記憶手段が、ネットワークを介して接続された内視鏡画像補正装置。
【請求項7】
被検体内に挿入される内視鏡挿入部を有する内視鏡本体と、
該内視鏡本体に接続され、請求項1〜請求項5のいずれか1項記載の内視鏡画像補正装置が搭載された制御装置と、
を有する内視鏡装置。
【請求項1】
第一光源からの照射光で被検体を撮像した内視鏡第一観察画像と、前記第一光源とは異なるスペクトルの第二光源からの照射光で被検体を撮像した内視鏡第二観察画像とをそれぞれ演算処理した結果に対し、照射光のスペクトルの相違に起因する各画像間の色調のずれを補正する内視鏡画像補正装置であって、
複数の波長域の組合せを波長セットとして設定する波長セット設定手段と、
前記被検体に白色照明光を照射して撮像して得た撮像画像に対してマトリクス演算を施すことで、前記波長セット設定手段で設定された波長セットに応じて生成されるスペクトル光を被検体に照射した場合に得られると推定される分光推定画像を生成する分光推定画像生成手段と、
を備え、
前記分光推定画像生成手段により前記内視鏡第一観察画像と前記内視鏡第二観察画像の分光推定画像をそれぞれ生成するにあたり、
前記内視鏡第一観察画像に対しては、前記分光推定画像生成手段が所定の波長セットで第一分光推定画像を生成し、
前記内視鏡第二観察画像に対しては、前記波長セット設定手段が、前記第一光源からの光スペクトルを近似的に生成する近似波長セットを設定し、前記分光推定画像生成手段が、前記設定された近似波長セットに応じて第二分光推定画像を生成する内視鏡画像補正装置。
【請求項2】
請求項1記載の内視鏡画像補正装置であって、
前記第一光源が、半導体発光素子と、該半導体発光素子の発光波長で励起する蛍光体を含んだ波長変換部材と、を有して構成される内視鏡画像補正装置。
【請求項3】
請求項2記載の内視鏡画像補正装置であって、
前記第二光源が、白色光を発生する内視鏡画像補正装置。
【請求項4】
請求項1〜請求項3のいずれか1項記載の内視鏡画像補正装置であって、
前記分光推定画像のR,G,B成分をSPr,SPg,SPb、内視鏡観察画像のR,G,B成分をPr,Pg,Pb、マトリクスパラメータをMijとしたとき、
前記分光推定画像生成手段が、次式により分光推定画像を生成する内視鏡画像補正装置。
【数1】
【請求項5】
請求項4記載の内視鏡画像補正装置であって、
前記マトリクスパラメータを、前記内視鏡観察画像を撮像する撮像素子の受光感度特性の情報を含むパラメータで補正する内視鏡画像補正装置。
【請求項6】
請求項1〜請求項5のいずれか1項記載の内視鏡画像補正装置であって、
前記内視鏡第一観察画像および前記内視鏡第二観察画像の情報を記憶する画像情報記憶手段が、ネットワークを介して接続された内視鏡画像補正装置。
【請求項7】
被検体内に挿入される内視鏡挿入部を有する内視鏡本体と、
該内視鏡本体に接続され、請求項1〜請求項5のいずれか1項記載の内視鏡画像補正装置が搭載された制御装置と、
を有する内視鏡装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2011−194082(P2011−194082A)
【公開日】平成23年10月6日(2011.10.6)
【国際特許分類】
【出願番号】特願2010−65208(P2010−65208)
【出願日】平成22年3月19日(2010.3.19)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】
【公開日】平成23年10月6日(2011.10.6)
【国際特許分類】
【出願日】平成22年3月19日(2010.3.19)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】
[ Back to top ]