画像取得表示方法および画像撮像表示装置
【課題】医師などが腫瘍などをサージカルマージンも含めた範囲で適切に切除することができる通常画像を表示する。
【解決手段】特殊画像に基づいて、特殊画像における所定の関心領域を特定し、その特定した関心領域に対応する通常画像上における領域に対して所定のマージンを加えた領域の境界線を決定し、関心領域に対応する通常画像上における領域の境界線と、マージンを加えた領域の境界線とを通常画像上に表示する。
【解決手段】特殊画像に基づいて、特殊画像における所定の関心領域を特定し、その特定した関心領域に対応する通常画像上における領域に対して所定のマージンを加えた領域の境界線を決定し、関心領域に対応する通常画像上における領域の境界線と、マージンを加えた領域の境界線とを通常画像上に表示する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、照明光および特殊光の被観察部への照射によって通常画像および特殊画像を取得し、その取得した通常画像と特殊画像とを表示する画像取得表示方法および画像撮像表示装置に関するものであり、特に、手術等において被観察部の一部の切除する際の補助機能に関するものである。
【背景技術】
【0002】
従来、体腔内の組織を観察する内視鏡システムが広く知られており、白色光の照射によって体腔内の被観察部を撮像して通常画像を得、この通常画像をモニタ画面上に表示する電子式内視鏡システムが広く実用化されている。
【0003】
また、このような内視鏡システムの1つとして、たとえば、脂肪下の血管走行および血流、リンパ管、リンパ流、胆管走行、胆汁流など通常画像上には現れないものを観察するため、予め被観察部にICG(インドシアニングリーン)を投入し、被観察部に近赤外光の励起光を照射することによってICGの蛍光画像を取得する内視鏡システムが提案されている。
【0004】
そして、上記のような蛍光画像を取得する内視鏡システムを用いることによって、被観察部における腫瘍などの病変部を特定することができるが、その特定した腫瘍部分またはその部分を含む臓器区域を切除したい場合がある。
【0005】
そして、腫瘍などを切除する場合には、切除後の残存臓器内にがん細胞が残らないようにその腫瘍部分や臓器区域に対してサージカルマージンを設けて切除を行う必要がある。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2010−82041号公報
【特許文献2】特開2002−028125号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、蛍光画像上において腫瘍などを特定しただけでは、上述したようなサージカルマージンも含めた切除範囲を認識することができない。
【0008】
また、そもそも腫瘍などを切除する際には、白色光の通常画像を観察しながら行われるため、蛍光画像上において腫瘍の範囲が特定できたとしても、通常画像上においてサージカルマージンを含めた範囲がどの辺りに位置するのか把握することができず、適切な切除手技を行うことができない。
【0009】
なお、特許文献1においては、内視鏡で撮影された画像上にサージカルマージンを表示することが提案されているが、このサージカルマージンは、上述したようにリアルタイムに撮像された蛍光画像内で特定された腫瘍などに基づいて決定されたものではなく、予め設定された範囲である。
【0010】
また、特許文献2においては、外科手術の最中に撮影された蛍光画像を用いて腫瘍の境界部分をリアルタイムに識別し、可視化するものが記載されているが、上述したようなサージカルマージンについては一切考慮していない。
【0011】
本発明は、上記の問題に鑑みてなされたものであり、上述したような蛍光画像を取得する内視鏡システムにおいて、腫瘍などをサージカルマージンも含めた範囲で適切に切除することができる通常画像を表示可能な画像取得表示方法および画像撮像表示装置を提供することを目的とする。
【課題を解決するための手段】
【0012】
本発明の画像取得表示方法は、照明光の被観察部への照射によって被観察部から反射された反射光を受光することによって撮像された通常画像を取得するとともに、特殊光の被観察部への照射によって被観察部から発せられた光を受光することによって撮像された特殊画像を取得し、その取得した通常画像と特殊画像とを表示する画像取得表示方法において、特殊画像に基づいて、特殊画像における所定の関心領域を特定し、その特定した関心領域に対応する通常画像上における領域に対して所定のマージンを加えた領域の境界線を決定し、関心領域に対応する通常画像上における領域の境界線と、マージンを加えた領域の境界線とを通常画像上に表示することを特徴とする。
【0013】
本発明の画像撮像表示装置は、照明光および特殊光を被観察部に照射する光照射部と、照明光の照射によって被観察部から反射された反射光を受光して通常画像を撮像するとともに、特殊光の照射によって被観察部から発せられた光を受光して特殊画像を撮像する撮像部と、通常画像と特殊画像とを表示する表示部とを備えた画像撮像表示装置において、特殊画像に基づいて、特殊画像における所定の関心領域を特定する関心領域特定部と、関心領域特定部によって特定された関心領域に対応する通常画像上における領域に対して所定のマージンを加えた領域の境界線を決定するマージン決定部とを備え、表示部が、関心領域に対応する通常画像上における領域の境界線と、マージンを加えた領域の境界線とを通常画像上に表示するものであることを特徴とする。
【0014】
また、上記本発明の画像撮像表示装置においては、関心領域特定部を、予め設定された被観察部の生体情報に基づく区域の情報に基づいて、関心領域を特定するものとできる。
【0015】
また、撮像部を、予め設定された長さ情報を有する測長用マーカのマーカ画像を含む通常画像を撮像するものとし、マージン決定部を、マーカ画像の大きさに基づいてマージンを決定するものとできる。
【0016】
また、測長用マーカとして青色または緑色のものを用いることができる。
【0017】
また、測長用マーカを、被観察部である生体上に設置されるものとし、生体吸収性材料から形成することができる。
【0018】
また、マージン決定部を、被観察部である生体の部位に応じたマージンを決定するものとできる。
【0019】
また、表示部を、予め設定された被観察部である生体を切除するための切除器具情報に応じてマージンを加えた領域の境界線の表示形態を変更するものとできる。
【0020】
また、複数の切除器具情報と境界線の表示形態とを対応付けたテーブルを設けることができる。
【0021】
また、光照射部を、特殊光として励起光を照射するものとし、撮像部を、励起光の照射によって被観察部から発せられた蛍光を受光して特殊画像として蛍光画像を撮像するものとできる。
【発明の効果】
【0022】
本発明の画像取得表示方法および画像撮像表示装置によれば、特殊画像に基づいて、特殊画像における所定の関心領域を特定し、その特定した関心領域に対応する通常画像上における領域に対して所定のマージンを加えた領域の境界線を決定し、関心領域に対応する通常画像上における領域の境界線と、マージンを加えた領域の境界線とを通常画像上に表示するようにしたので、医師などが通常画像上の境界線を観察しながら腫瘍などをサージカルマージンも含めた範囲で適切に切除することができる。
【図面の簡単な説明】
【0023】
【図1】本発明の蛍光内視鏡装置の一実施形態を用いた硬性鏡システムの概略構成図
【図2】体腔挿入部の概略構成図
【図3】体腔挿入部の先端部の概略構成図
【図4】図3の4−4’線断面図
【図5】体腔挿入部の各投光ユニットによって照射される光のスペクトルおよびその光の照射によって被観察部から発せられる蛍光および反射光のスペクトルを示す図
【図6】撮像ユニットの概略構成を示す図
【図7】撮像ユニットの分光感度を示す図
【図8】画像処理装置および光源装置の概略構成を示す図
【図9】蛍光画像上において特定された関心領域に対応する通常画像上の領域を算出する方法を説明するための図
【図10】撮像対象の部位とサージカルマージンの長さとを対応付けたテーブルの一例を示す図
【図11】本発明の蛍光内視鏡装置の一実施形態を用いた硬性鏡システムの作用を説明するためのフローチャート
【図12】肺Pの蛍光画像上において特定された区域R1と、肺Pの通常画像上に区域R2とサージカルマージンの境界線SMとを表示した一例を示す図
【図13】切除器具とその切除器具の切断箇所の範囲に対応する境界線の表示方法とを対応づけたテーブルの一例を示す図
【図14】ステープラーに対応するサージカルマージンの境界線の表示例を示す図
【発明を実施するための形態】
【0024】
以下、図面を参照して本発明の画像撮像表示装置の一実施形態を用いた硬性鏡システムについて詳細に説明する。本実施形態は、サージカルマージンの表示方法に特徴を有するものであるが、まずは、そのシステム全体の構成から説明する。図1は、本実施形態の硬性鏡システム1の概略構成を示す外観図である。
【0025】
本実施形態の硬性鏡システム1は、図1に示すように、青色光と近赤外光を射出する光源装置2と、光源装置2から射出された青色光を波長変換した白色光と近赤外光を被観察部に照射するとともに、白色光の照射により被観察部から反射された反射光に基づく通常像と近赤外光の照射により被観察部から発せられた蛍光に基づく蛍光像を撮像する硬性鏡撮像装置10と、硬性鏡撮像装置10によって撮像された画像信号に所定の処理を施すとともに、光源装置2に制御信号を出力するプロセッサ3と、プロセッサ3において生成された表示制御信号に基づいて被観察部の蛍光画像および通常画像を表示するモニタ4とを備えている。
【0026】
硬性鏡撮像装置10は、図1に示すように、腹腔や胸腔などの体腔内に挿入される体腔挿入部30と、体腔挿入部30によって導光された被観察部の通常像および蛍光像を撮像する撮像ユニット20とを備えている。
【0027】
また、硬性鏡撮像装置10は、図2に示すように、体腔挿入部30と撮像ユニット20とが着脱可能に接続されている。そして、体腔挿入部30は接続部材30a、挿入部材30b、およびケーブル接続口30cを備えている。
【0028】
接続部材30aは、体腔挿入部30(挿入部材30b)の一端側30Xに設けられており、たとえば撮像ユニット20側に形成された開口20aに嵌め合わされることにより、撮像ユニット20と体腔挿入部30とが着脱可能に接続される。
【0029】
挿入部材30bは、体腔内の撮影を行う際に体腔内に挿入されるものであって、硬質な材料から形成され、たとえば、直径略5mmの円柱形状を有している。挿入部材30bの内部には、被観察部の像を結像するためのレンズ群が収容されており、先端側30Yから入射された被観察部の通常像および蛍光像はレンズ群を介して一端側30Xの撮像ユニット20側に射出される。
【0030】
挿入部材30bの側面にはケーブル接続口30cが設けられており、このケーブル接続口30cに光ケーブルLCが機械的に接続される。これにより、光源装置2と挿入部材30bとが光ケーブルLCを介して光学的に接続されることになる。
【0031】
また、図3に体腔挿入部30の先端側30Yの構成を示す。図3に示すように、体腔挿入部30の先端側30Yには、通常像および蛍光像を結像する撮像レンズ30dと、その撮像レンズ30dを挟んで略対称に白色光を照射する白色光用照射レンズ30e,30fと近赤外光を照射する近赤外光用照射レンズ30g,30hが設けられている。このように白色光用照射レンズ30e,30fおよび近赤外光用照射レンズ30g,30hを撮像レンズ30dに対して対称に2つ設けるようにしているのは、被観察部の凹凸によって通常像および蛍光像に陰影ができないようにするためである。
【0032】
また、図4に、図3の4-4’線断面図を示す。図4に示すように、体腔挿入部30内には、白色投光ユニット70と近赤外投光ユニット60とが設けられている。
【0033】
白色投光ユニット70は、青色光を導光するマルチモード光ファイバ71と、マルチモード光ファイバ71によって導光された青色光の一部を吸収して励起され、緑色〜黄色の可視光を発する蛍光体72とを備えている。蛍光体72は、複数種類の蛍光物質から形成されており、たとえば、YAG系蛍光体、あるいはBAM(BaMgAl10O17)等の蛍光物質などを含んで形成される。
【0034】
そして、蛍光体72の外周を覆うように筒状のスリーブ部材73が設けられており、スリーブ部材73の内部には、マルチモード光ファイバ71を中心軸として保持するフェニール74が挿入されている。さらに、フェニール74の後端側(先端側とは逆側)から延出されるマルチモード光ファイバ71には、その外皮を覆うフレキシブルスリーブ75がスリーブ部材73との間に挿入されている。
【0035】
また、近赤外投光ユニット60は、近赤外光を導光するマルチモード光ファイバ61を備えており、マルチモード光ファイバ61と近赤外光用照射レンズ30hとの間には空間62が設けられている。
【0036】
また、近赤外投光ユニット60にも、空間62の外周を覆うように筒状のスリーブ部材63が設けられており、白色投光ユニット70と同様に、フェニール64およびフレキシブルスリーブ65が設けられている。
【0037】
また、各投光ユニットにおいて使用されるマルチモード光ファイバとしては、たとえば、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径が直径0.3mm〜0.5mmの細径なものを使用することができる。
【0038】
なお、上記では、白色光用照射レンズ30fを含む白色投光ユニット70と近赤外光用照射レンズ30hを含む近赤外投光ユニット60について説明したが、白色光用照射レンズ30eを含む白色投光ユニットと近赤外光用照射レンズ30gを含む近赤外投光ユニットも同様の構成である。
【0039】
ここで、各投光ユニットによって被観察部に照射される光のスペクトルおよびその光の照射によって被観察部から発せられる蛍光および反射光のスペクトルを図5に示す。図5には、白色投光ユニット70の蛍光体72を透過して照射された青色光スペクトルS1と、白色投光ユニット70の蛍光体72において励起されて照射された緑色〜黄色の可視光スペクトルS2と、近赤外投光ユニット60によって照射された近赤外光スペクトルS3と、近赤外投光ユニット60による近赤外光スペクトルS3の照射によって発せられたICG蛍光スペクトルS4とが示されている。
【0040】
なお、本明細書における白色光とは、厳密に可視光の全ての波長成分を含むものに限らず、たとえば、基準光であるR(赤)、G(緑)、B(青)等、特定の波長帯の光を含むものであればよく、たとえば、緑色から赤色にかけての波長成分を含む光や、青色から緑色にかけての波長成分を含む光なども広義に含むものとする。したがって、白色投光ユニット70は、図5に示すような青色光スペクトルS1と可視光スペクトルS2とを照射するものであるが、これらのスペクトルからなる光も白色光であるとする。
【0041】
図6は、撮像ユニット20の概略構成を示す図である。撮像ユニット20は、体腔挿入部30内のレンズ群により結像された被観察部の蛍光像を撮像して被観察部の蛍光画像信号を生成する第1の撮像系と、体腔挿入部30内のレンズ群により結像された被観察部の通常像を撮像して通常画像信号を生成する第2の撮像系とを備えている。これらの撮像系は、通常像を反射するとともに、蛍光像を透過する分光特性を有するダイクロイックプリズム21によって、互いに直交する2つの光軸に分けられている。
【0042】
第1の撮像系は、体腔挿入部30から射出された蛍光像を透過するとともに、近赤外光をカットする近赤外光カットフィルタ22と、体腔挿入部30から射出され、ダイクロイックプリズム21および近赤外光カットフィルタ22を透過した蛍光像L2を結像する第1結像光学系23と、第1結像光学系23により結像された蛍光像L2を撮像する高感度撮像素子24とを備えている。
【0043】
第2の撮像系は、体腔挿入部30から射出され、ダイクロイックプリズム21を反射した通常像L1を結像する第2結像光学系25と、第2結像光学系25により結像された通常像L1を撮像する撮像素子26を備えている。
【0044】
高感度撮像素子24は、蛍光像L2の波長帯域の光を高感度に検出し、蛍光画像信号に変換して出力するものである。高感度撮像素子24はモノクロの撮像素子である。
【0045】
撮像素子26は、通常像の波長帯域の光を検出し、通常画像信号に変換して出力するものである。撮像素子26の撮像面には、3原色の赤(R)、緑(G)および青(B)のカラーフィルタがベイヤー配列またはハニカム配列で設けられている。
【0046】
ここで、図7に、撮像ユニット20の分光感度のグラフを示す。具体的には、撮像ユニット20は、第1の撮像系がIR(近赤外)感度を有し、第2の撮像系がR(赤)感度、G(緑)感度、B(青)感度を有するように構成されている。
【0047】
また、撮像ユニット20は、撮像制御ユニット27を備えている。撮像制御ユニット27は、プロセッサ3から出力されたCCD駆動信号に基づいて高感度撮像素子24および撮像素子26を駆動制御するとともに、高感度撮像素子24から出力された蛍光画像信号および撮像素子26から出力された通常画像信号に対し、CDS/AGC(相関二重サンプリング/自動利得制御)処理やA/D変換処理を施し、ケーブルを介してプロセッサ3に出力するものである。
【0048】
図8は、光源装置2およびプロセッサ3の概略構成を示す図である。プロセッサ3は、図8に示すように、通常画像入力コントローラ31、蛍光画像入力コントローラ32、画像処理部33、メモリ34、ビデオ出力部35、操作部36、TG(タイミングジェネレータ)37、制御部38、関心領域特定部39およびサージカルマージン決定部50を備えている。
【0049】
通常画像入力コントローラ31および蛍光画像入力コントローラ32は、所定容量のラインバッファを備えており、撮像ユニット20の撮像制御ユニット27から出力された1フレーム毎の通常画像信号および蛍光画像信号をそれぞれ一時的に記憶するものである。そして、通常画像入力コントローラ31に記憶された通常画像信号および蛍光画像入力コントローラ32に記憶された蛍光画像信号はバスを介してメモリ34に格納される。
【0050】
画像処理部33は、メモリ34から読み出された1フレーム毎の通常画像信号および蛍光画像信号が入力され、これらの画像信号に所定の画像処理を施し、バスに出力するものである。
【0051】
ビデオ出力部35は、画像処理部33から出力された通常画像信号および蛍光画像信号がバスを介して入力され、所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ4に出力するものである。
【0052】
操作部36は、所定の操作指示や制御パラメータなどの操作者による入力を受け付けるものである。
【0053】
本実施形態における操作部36は、特に、被観察部である生体の撮像部位の情報や、被観察部である生体を切除するための切除器具情報を受け付けるものである。
【0054】
また、TG37は、撮像ユニット20の高感度撮像素子24、撮像素子26および後述する光源装置2のLDドライバ43,46,49を駆動するための駆動パルス信号を出力するものである。
【0055】
制御部38は、システム全体を制御するものであるが、本実施形態においては、特に、
表示制御部38aを備え、表示制御部38aは、関心領域特定部39によって蛍光画像に基づいて特定された関心領域に対応する通常画像上における領域の境界線と、その通常画像上における領域に所定のサージカルマージンを加えた領域の境界線とを通常画像上に表示させるものである。なお、これらの境界線の表示の作用については、後で詳述する。
【0056】
関心領域特定部39は、撮像ユニット20の高感度撮像素子24によって撮像された蛍光画像信号に基づいて、蛍光画像上における関心領域を特定するものである。具体的には、本実施形態においては、関心領域特定部39には、被観察部の生体情報に基づく区域の情報が予め設定されており、関心領域特定部39は、蛍光画像における蛍光部分を特定し、その蛍光部分が含まれる区域を関心領域として特定するものである。なお、区域とは、血管やリンパ管や気管支など生体情報に基づいて医学上決められた区分された領域であって、たとえば、肺や肝臓などにおいて区域が決められている。また、関心領域特定部39は、操作部36において受け付けられた肺の先端などの撮像部位の情報に基づいて、たとえば、撮像部位に応じたパターン認識などを行って区域を特定するものとする。
【0057】
また、本実施形態においては、上述したように自動的に区域を決定するようにしたが、これに限らず、たとえば、蛍光画像の蛍光部分に基づいて医師などが操作部36を用いて蛍光画像上において区域を指定して特定するようにしてもよい。
【0058】
また、本実施形態においては、上述した区域を関心領域として特定するようにしたが、これに限らず、たとえば、蛍光画像における発光部分を含む予め設定された所定範囲を関心領域として自動的に特定するようにしてもよいし、医師などが操作部36を用いて蛍光画像上において任意の関心領域を指定して特定するようにしてもよい。また、自動検出した腫瘍病変部を関心領域としてもよい。
【0059】
サージカルマージン決定部50は、関心領域特定部39によって特定された関心領域に対応する通常画像上における領域に対して所定のサージカルマージンを加えた領域の境界線を決定するものである。
【0060】
ここで、関心領域特定部39によって蛍光画像上において特定された関心領域に対応する通常画像上の領域を算出する方法の一例について、以下に説明する。
【0061】
図9は、体腔挿入部30の先端と被観察部との距離がLのときの第1の撮像系と第2の撮像系の位置関係を示すものである。
【0062】
そして、図9に示すような位置関係のとき、たとえば、関心領域特定部39によって蛍光画像上において特定された関心領域の位置情報に対応する高感度撮像素子23上の座標位置が、図9に示すxAである場合には、その関心領域と同一の点が結像される撮像素子26上の座標位置xBは、下式によって算出される。
【数1】
なお、上式におけるΔLAは、体腔挿入部30の先端から第1結像光学系23の主点までの距離であり、ΔLBは、体腔挿入部30の先端から第2結像光学系25までの距離であり、lAは、第1結像光学系23の主点と高感度撮像素子24までの距離であり、lBは、第2結像光学系25の主点と撮像素子26までの距離lBであり、x0Aは、第1の撮像系の光軸位置であり、xOBは、第2の撮像系の光軸位置x0Bであり、これらの値は上述したように予め設定されているものとする。また、撮像距離Lについては、予め設定するようにしてもよいし、体腔挿入部30の先端に測距手段を設けて実際に計測するようにしてもよい。なお、この撮像距離の範囲は、十分に被写界深度内であるとする。
【0063】
また、蛍光画像上の座標と高感度撮像素子23上の座標とは互いに相関関係が分かっているものとし、通常画像上の座標と撮像素子25上の座標とも互いに相関関係が分かっているものとする。
【0064】
そして、サージカルマージン決定部50は、上式によって算出された撮像素子26上の座標位置xBに基づいて、通常画像上の領域の位置情報を取得する。なお、上記説明ではx方向についてのみ説明したがy方向についても同様である。
【0065】
また、サージカルマージン決定部50は、上述したようにして算出された通常画像上の領域に対してサージカルマージンを加えた領域の境界線を決定するが、サージカルマージンの長さについては、予め設定されているものとする。具体的には、本実施形態においては、図10に示すように、撮像対象の部位とサージカルマージンの長さとを対応付けたテーブルが予め設定されており、サージカルマージン決定部50は、操作部36を用いて医師などによって入力された撮像部位の情報に基づいて、上記テーブルを参照してサージカルマージの長さを取得する。このように撮像部位に応じたサージカルマージンを取得することにより、各部位の手術ガイドラインにしたがったサージカルマージンを取得することができる。
【0066】
そして、さらに、サージカルマージン決定部50は、撮像ユニット20の撮像素子26によって撮像された通常画像信号に含まれるマーカ画像信号と、上記ようにして取得したサージカルマージンの長さとに基づいて通常画像上におけるサージカルマージンの境界線の座標値を取得するものである。具体的には、上記マーカ画像信号とは、予め設定された長さ情報を有する測長用マーカを被観察部とともに撮像素子26によって撮像したものであり、サージカルマージン決定部50は、上記測長用マーカの長さ情報とマーカ画像信号の長さとの比と、上記のようにして取得したサージカルマージンの長さと通常画像上におけるサージカルマージの長さの比が一致するように、通常画像上におけるサージカルマージンの境界線の座標値を算出する。
【0067】
このように測長用マーカのマーカ画像を用いることによって、通常画像上におけるサージカルマージンの長さを簡易な方法で取得することができる。
【0068】
なお、上述した測長用マーカは、たとえば、撮像素子21の撮像範囲内の被観察部上または被観察部の近傍に設置されるものである。測長用マーカの色としては、内臓の色とは補色の関係にある青色や緑色であることが望ましい。これによりマーカ画像の輪郭をより明確にすることができ、より高精度な計測が可能である。
【0069】
また、測長用マーカは生体吸収性材料によって形成されることが望ましい。なお、生体吸収性材料としては、既に公知の材料を使用することができる。
【0070】
光源装置2は、図8に示すように、445nmの青色光を射出する青色LD光源40と、青色LD光源40から射出された青色光を集光して光ファイバスプリッタ42に入射させる集光レンズ41と、集光レンズ41によって入射された青色光を光ケーブルLC1と光ケーブルLC2との両方に同時に入射する光ファイバスプリッタ42と、青色LD光源40を駆動するLDドライバ43とを備えている。
【0071】
そして、光ケーブルLC1およびLC2は、それぞれ白色投光ユニット70のマルチモード光ファイバ71に光学的に接続されるものである。
【0072】
また、光源装置2は、750〜790nmの近赤外光を射出する複数の近赤外LD光源44,47と、各近赤外LD光源44,47から射出された近赤外光を集光して光ケーブルLC3,LC4に入射する複数の集光レンズ45,48と、各近赤外LD光源44,47を駆動する複数のLDドライバ46,49とを備えている。
【0073】
そして、光ケーブルLC3およびLC4は、それぞれ近赤外投光ユニット60のマルチモード光ファイバ61に光学的に接続されているものとする。
【0074】
また、本実施形態においては、励起光として近赤外光を用いるようにしたが、上記近赤外光に限定されず、被検者に投入される蛍光色素の種類もしくは自家蛍光させる生体組織の種類によって適宜決定される。
【0075】
次に、本実施形態の硬性鏡システムの作用について、図11のフローチャートを参照しながら説明する。
【0076】
まず、体腔挿入部30が被検者体腔内に挿入され、体腔挿入部30の先端が被観察部の近傍に設置される(S10)。そして、被観察部上に測長用マーカが設置される(S12)。
【0077】
次に、通常画像と蛍光画像の撮像が行われてこれらが表示される(S14)。
【0078】
通常画像の撮像および表示の作用は以下のとおりである。まず、光源装置2の青色LD光源40から射出された青色光が、集光レンズ41および光ファイバスプリッタ42を介して光ケーブルLC1およびLC2の両方に同時に入射される。そして、さらに青色光は光ケーブルLC1,LC2により導光されて体腔挿入部30に入射され、体腔挿入部30内の白色投光ユニット70のマルチモード光ファイバ71によって導光される。そして、マルチモード光ファイバ71の出射端から出射された青色光は、一部は蛍光体72を透過して被観察部に照射され、一部以外は蛍光体72によって緑色〜黄色の可視光に波長変換され、その可視光が被観察部に照射される。すなわち、青色光と緑色〜黄色の可視光とからなる白色光が被観察部に照射される。
【0079】
そして、白色光の照射によって被観察部から反射された通常像が挿入部材30bの先端30Yの撮像レンズ30dから入射し、挿入部材30b内のレンズ群により導光されて撮像ユニット20に向けて射出される。
【0080】
撮像ユニット20に入射された通常像は、ダイクロイックプリズム21によって直角方向に反射され、第2結像光学系25によって撮像素子26の撮像面に結像され、撮像素子26によって撮像される。
【0081】
そして、撮像素子26からそれぞれ出力されたR、G、Bの画像信号は、撮像制御ユニット27においてCDS/AGC(相関二重サンプリング/自動利得制御)処理やA/D変換処理が施された後、ケーブル5を介してプロセッサ3に出力される。
【0082】
そして、プロセッサ3に入力された通常画像信号は、通常画像入力コントローラ31において一時的に記憶された後、メモリ34に格納される。そして、メモリ34から読み出された1フレーム毎の通常画像信号は、画像処理部33において階調補正処理およびシャープネス補正処理が施された後、ビデオ出力部35に順次出力される。
【0083】
そして、ビデオ出力部35は、入力された通常画像信号に所定の処理を施して表示制御信号を生成し、1フレーム毎の表示制御信号をモニタ4に順次出力する。そして、モニタ4は、入力された表示制御信号に基づいて通常画像を表示する。
【0084】
また、蛍光画像の撮像および表示の作用は以下のとおりである。まず、光源装置2の近赤外LD光源44,47から射出された近赤外光が、集光レンズ45,48を介して光ケーブルLC3,LC4に入射され、光ケーブルLC3,LC4を介して体腔挿入部30に入射され、体腔挿入部30内の近赤外投光ユニット60のマルチモード光ファイバ61によって導光されて被観察部に照射される。
【0085】
そして、近赤外光の励起光の照射によって被観察部から発せられたICG蛍光像が挿入部材30bの先端30Yの撮像レンズ30dから入射し、挿入部材30b内のレンズ群により導光されて撮像ユニット20に向けて射出される。
【0086】
撮像ユニット20に入射されたICG蛍光像は、ダイクロイックプリズム21および近赤外光カットフィルタ22を透過した後、第1結像光学系23により高感度撮像素子24の撮像面上に結像され、高感度撮像素子24によって撮像される。高感度撮像素子24から出力されたICG蛍光画像信号は、撮像制御ユニット27においてCDS/AGC(相関二重サンプリング/自動利得制御)処理やA/D変換処理が施された後、ケーブル5を介してプロセッサ3に出力される。
【0087】
そして、プロセッサ3に入力された蛍光画像信号は、蛍光画像入力コントローラ32において一時的に記憶された後、メモリ34に格納される。そして、メモリ34から読み出された1フレーム毎の蛍光画像信号は、画像処理部33において所定の画像処理が施された後、ビデオ出力部35に順次出力される。
【0088】
そして、ビデオ出力部35は、入力された蛍光画像信号に所定の処理を施して表示制御信号を生成し、1フレーム毎の表示制御信号をモニタ4に順次出力する。そして、モニタ4は、入力された表示制御信号に基づいて蛍光画像を表示する。
【0089】
そして、次に、医師などによって操作部36を用いて撮像部位の情報が入力され(S16)、その情報が関心領域特定部39によって取得される。そして、関心領域特定部39は、蛍光画像における蛍光部分を特定し、その蛍光部分が含まれる区域を関心領域として特定する(S20)。そして、関心領域特定部39によって特定された区域は、蛍光画像上において表示される。図12の右図は、肺Pの蛍光画像上において特定された区域R1の一例を斜線で示している。
【0090】
次に、関心領域特定部39によって特定された蛍光画像上の区域の情報が、サージカルマージン決定部50に入力され、サージカルマージン決定部50は、入力された区域に対応する通常画像上の領域を算出し(S20)、さらにその通常画像上における区域に対して所定のサージカルマージンを加えた領域の境界線を決定する(S22)。
【0091】
そして、サージカルマージン決定部50において算出された通常画像上の区域の情報と、サージカルマージンを加えた領域の境界線の情報とが、制御部38の表示制御部38aに出力され、表示制御部38aは、入力された情報に基づいて、モニタ4に表示された通常画像上に区域とサージカルマージンの境界線とを表示させる(S24)。図12の左図は、肺Pの通常画像上に区域R2とサージカルマージンの境界線SMとを表示した一例を示している。なお、通常画像内におけるMは、測長用マーカの画像であり、上述したようにサージカルマージン決定部50は、この測長用マーカの画像信号に基づいて、通常画像上のサージカルマージンの境界線SMの座標値を算出する。
【0092】
そして、医師は、モニタ4に表示されたサージカルマージンの境界線SMを観察しながら切除器具を用いて病変などの切除を行う。
【0093】
ここで、上述したように医師が病変などの切除を行う際、医師が使用する切除器具によってその切断箇所の範囲が異なることがある。そこで、上記実施形態において、通常画像上に表示されるサージカルマージンの境界線を切除器具の種類に応じて変更するようにしてもよい。
【0094】
具体的には、たとえば、図13に示すような切除器具とその切除器具の切断箇所の範囲に対応する境界線の表示方法とを対応づけたテーブルを予め設定しておき、操作部36において医師などによる切除器具の情報の入力を受け付け、その切除器具に対応する境界線の表示方法を上記テーブルを参照して取得し、その取得した切除器具に対応する表示方法によってモニタ4に境界線を表示するようにすればよい。たとえば、切除器具が電気メスである場合には、比較的切断箇所の範囲が狭くサージカルマージンの境界に沿って切断可能であるので、図12の左図に示したように細い点線をサージカルマージンの境界に沿って表示し、切除器具がステープラーである場合には、電気メスよりも切断箇所の範囲が広く直線的に切断されるので、図14に示すように上記細い点線よりも太い直線で表示するようにすればよい。このように表示形態を変更することによって、より実際の切断箇所の範囲に近い表示を行うことができる。
【0095】
また、上記実施形態においては、第1の撮像系により蛍光画像を撮像するようにしたが、これに限らず、被観察部への特殊光の照射による被観察部の吸光特性に基づく画像を撮像するようにしてもよい。
【0096】
また、上記実施形態は、本発明の画像撮像表示装置を硬性鏡システムに適用したものであるが、これに限らず、たとえば、軟性内視鏡装置を有するその他の内視鏡システムに適用してもよい。また、内視鏡システムに限らず、体内に挿入される挿入部を備えていない、いわゆるビデオカメラ型の医用画像撮像装置に適用してもよい。
【符号の説明】
【0097】
1 硬性鏡システム
2 光源装置
3 プロセッサ
4 モニタ
10 硬性鏡撮像装置
20 撮像ユニット
21 撮像素子
24 高感度撮像素子
30 体腔挿入部
38 制御部
38a 表示制御部
39 関心領域特定部
50 サージカルマージン決定部
【技術分野】
【0001】
本発明は、照明光および特殊光の被観察部への照射によって通常画像および特殊画像を取得し、その取得した通常画像と特殊画像とを表示する画像取得表示方法および画像撮像表示装置に関するものであり、特に、手術等において被観察部の一部の切除する際の補助機能に関するものである。
【背景技術】
【0002】
従来、体腔内の組織を観察する内視鏡システムが広く知られており、白色光の照射によって体腔内の被観察部を撮像して通常画像を得、この通常画像をモニタ画面上に表示する電子式内視鏡システムが広く実用化されている。
【0003】
また、このような内視鏡システムの1つとして、たとえば、脂肪下の血管走行および血流、リンパ管、リンパ流、胆管走行、胆汁流など通常画像上には現れないものを観察するため、予め被観察部にICG(インドシアニングリーン)を投入し、被観察部に近赤外光の励起光を照射することによってICGの蛍光画像を取得する内視鏡システムが提案されている。
【0004】
そして、上記のような蛍光画像を取得する内視鏡システムを用いることによって、被観察部における腫瘍などの病変部を特定することができるが、その特定した腫瘍部分またはその部分を含む臓器区域を切除したい場合がある。
【0005】
そして、腫瘍などを切除する場合には、切除後の残存臓器内にがん細胞が残らないようにその腫瘍部分や臓器区域に対してサージカルマージンを設けて切除を行う必要がある。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2010−82041号公報
【特許文献2】特開2002−028125号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、蛍光画像上において腫瘍などを特定しただけでは、上述したようなサージカルマージンも含めた切除範囲を認識することができない。
【0008】
また、そもそも腫瘍などを切除する際には、白色光の通常画像を観察しながら行われるため、蛍光画像上において腫瘍の範囲が特定できたとしても、通常画像上においてサージカルマージンを含めた範囲がどの辺りに位置するのか把握することができず、適切な切除手技を行うことができない。
【0009】
なお、特許文献1においては、内視鏡で撮影された画像上にサージカルマージンを表示することが提案されているが、このサージカルマージンは、上述したようにリアルタイムに撮像された蛍光画像内で特定された腫瘍などに基づいて決定されたものではなく、予め設定された範囲である。
【0010】
また、特許文献2においては、外科手術の最中に撮影された蛍光画像を用いて腫瘍の境界部分をリアルタイムに識別し、可視化するものが記載されているが、上述したようなサージカルマージンについては一切考慮していない。
【0011】
本発明は、上記の問題に鑑みてなされたものであり、上述したような蛍光画像を取得する内視鏡システムにおいて、腫瘍などをサージカルマージンも含めた範囲で適切に切除することができる通常画像を表示可能な画像取得表示方法および画像撮像表示装置を提供することを目的とする。
【課題を解決するための手段】
【0012】
本発明の画像取得表示方法は、照明光の被観察部への照射によって被観察部から反射された反射光を受光することによって撮像された通常画像を取得するとともに、特殊光の被観察部への照射によって被観察部から発せられた光を受光することによって撮像された特殊画像を取得し、その取得した通常画像と特殊画像とを表示する画像取得表示方法において、特殊画像に基づいて、特殊画像における所定の関心領域を特定し、その特定した関心領域に対応する通常画像上における領域に対して所定のマージンを加えた領域の境界線を決定し、関心領域に対応する通常画像上における領域の境界線と、マージンを加えた領域の境界線とを通常画像上に表示することを特徴とする。
【0013】
本発明の画像撮像表示装置は、照明光および特殊光を被観察部に照射する光照射部と、照明光の照射によって被観察部から反射された反射光を受光して通常画像を撮像するとともに、特殊光の照射によって被観察部から発せられた光を受光して特殊画像を撮像する撮像部と、通常画像と特殊画像とを表示する表示部とを備えた画像撮像表示装置において、特殊画像に基づいて、特殊画像における所定の関心領域を特定する関心領域特定部と、関心領域特定部によって特定された関心領域に対応する通常画像上における領域に対して所定のマージンを加えた領域の境界線を決定するマージン決定部とを備え、表示部が、関心領域に対応する通常画像上における領域の境界線と、マージンを加えた領域の境界線とを通常画像上に表示するものであることを特徴とする。
【0014】
また、上記本発明の画像撮像表示装置においては、関心領域特定部を、予め設定された被観察部の生体情報に基づく区域の情報に基づいて、関心領域を特定するものとできる。
【0015】
また、撮像部を、予め設定された長さ情報を有する測長用マーカのマーカ画像を含む通常画像を撮像するものとし、マージン決定部を、マーカ画像の大きさに基づいてマージンを決定するものとできる。
【0016】
また、測長用マーカとして青色または緑色のものを用いることができる。
【0017】
また、測長用マーカを、被観察部である生体上に設置されるものとし、生体吸収性材料から形成することができる。
【0018】
また、マージン決定部を、被観察部である生体の部位に応じたマージンを決定するものとできる。
【0019】
また、表示部を、予め設定された被観察部である生体を切除するための切除器具情報に応じてマージンを加えた領域の境界線の表示形態を変更するものとできる。
【0020】
また、複数の切除器具情報と境界線の表示形態とを対応付けたテーブルを設けることができる。
【0021】
また、光照射部を、特殊光として励起光を照射するものとし、撮像部を、励起光の照射によって被観察部から発せられた蛍光を受光して特殊画像として蛍光画像を撮像するものとできる。
【発明の効果】
【0022】
本発明の画像取得表示方法および画像撮像表示装置によれば、特殊画像に基づいて、特殊画像における所定の関心領域を特定し、その特定した関心領域に対応する通常画像上における領域に対して所定のマージンを加えた領域の境界線を決定し、関心領域に対応する通常画像上における領域の境界線と、マージンを加えた領域の境界線とを通常画像上に表示するようにしたので、医師などが通常画像上の境界線を観察しながら腫瘍などをサージカルマージンも含めた範囲で適切に切除することができる。
【図面の簡単な説明】
【0023】
【図1】本発明の蛍光内視鏡装置の一実施形態を用いた硬性鏡システムの概略構成図
【図2】体腔挿入部の概略構成図
【図3】体腔挿入部の先端部の概略構成図
【図4】図3の4−4’線断面図
【図5】体腔挿入部の各投光ユニットによって照射される光のスペクトルおよびその光の照射によって被観察部から発せられる蛍光および反射光のスペクトルを示す図
【図6】撮像ユニットの概略構成を示す図
【図7】撮像ユニットの分光感度を示す図
【図8】画像処理装置および光源装置の概略構成を示す図
【図9】蛍光画像上において特定された関心領域に対応する通常画像上の領域を算出する方法を説明するための図
【図10】撮像対象の部位とサージカルマージンの長さとを対応付けたテーブルの一例を示す図
【図11】本発明の蛍光内視鏡装置の一実施形態を用いた硬性鏡システムの作用を説明するためのフローチャート
【図12】肺Pの蛍光画像上において特定された区域R1と、肺Pの通常画像上に区域R2とサージカルマージンの境界線SMとを表示した一例を示す図
【図13】切除器具とその切除器具の切断箇所の範囲に対応する境界線の表示方法とを対応づけたテーブルの一例を示す図
【図14】ステープラーに対応するサージカルマージンの境界線の表示例を示す図
【発明を実施するための形態】
【0024】
以下、図面を参照して本発明の画像撮像表示装置の一実施形態を用いた硬性鏡システムについて詳細に説明する。本実施形態は、サージカルマージンの表示方法に特徴を有するものであるが、まずは、そのシステム全体の構成から説明する。図1は、本実施形態の硬性鏡システム1の概略構成を示す外観図である。
【0025】
本実施形態の硬性鏡システム1は、図1に示すように、青色光と近赤外光を射出する光源装置2と、光源装置2から射出された青色光を波長変換した白色光と近赤外光を被観察部に照射するとともに、白色光の照射により被観察部から反射された反射光に基づく通常像と近赤外光の照射により被観察部から発せられた蛍光に基づく蛍光像を撮像する硬性鏡撮像装置10と、硬性鏡撮像装置10によって撮像された画像信号に所定の処理を施すとともに、光源装置2に制御信号を出力するプロセッサ3と、プロセッサ3において生成された表示制御信号に基づいて被観察部の蛍光画像および通常画像を表示するモニタ4とを備えている。
【0026】
硬性鏡撮像装置10は、図1に示すように、腹腔や胸腔などの体腔内に挿入される体腔挿入部30と、体腔挿入部30によって導光された被観察部の通常像および蛍光像を撮像する撮像ユニット20とを備えている。
【0027】
また、硬性鏡撮像装置10は、図2に示すように、体腔挿入部30と撮像ユニット20とが着脱可能に接続されている。そして、体腔挿入部30は接続部材30a、挿入部材30b、およびケーブル接続口30cを備えている。
【0028】
接続部材30aは、体腔挿入部30(挿入部材30b)の一端側30Xに設けられており、たとえば撮像ユニット20側に形成された開口20aに嵌め合わされることにより、撮像ユニット20と体腔挿入部30とが着脱可能に接続される。
【0029】
挿入部材30bは、体腔内の撮影を行う際に体腔内に挿入されるものであって、硬質な材料から形成され、たとえば、直径略5mmの円柱形状を有している。挿入部材30bの内部には、被観察部の像を結像するためのレンズ群が収容されており、先端側30Yから入射された被観察部の通常像および蛍光像はレンズ群を介して一端側30Xの撮像ユニット20側に射出される。
【0030】
挿入部材30bの側面にはケーブル接続口30cが設けられており、このケーブル接続口30cに光ケーブルLCが機械的に接続される。これにより、光源装置2と挿入部材30bとが光ケーブルLCを介して光学的に接続されることになる。
【0031】
また、図3に体腔挿入部30の先端側30Yの構成を示す。図3に示すように、体腔挿入部30の先端側30Yには、通常像および蛍光像を結像する撮像レンズ30dと、その撮像レンズ30dを挟んで略対称に白色光を照射する白色光用照射レンズ30e,30fと近赤外光を照射する近赤外光用照射レンズ30g,30hが設けられている。このように白色光用照射レンズ30e,30fおよび近赤外光用照射レンズ30g,30hを撮像レンズ30dに対して対称に2つ設けるようにしているのは、被観察部の凹凸によって通常像および蛍光像に陰影ができないようにするためである。
【0032】
また、図4に、図3の4-4’線断面図を示す。図4に示すように、体腔挿入部30内には、白色投光ユニット70と近赤外投光ユニット60とが設けられている。
【0033】
白色投光ユニット70は、青色光を導光するマルチモード光ファイバ71と、マルチモード光ファイバ71によって導光された青色光の一部を吸収して励起され、緑色〜黄色の可視光を発する蛍光体72とを備えている。蛍光体72は、複数種類の蛍光物質から形成されており、たとえば、YAG系蛍光体、あるいはBAM(BaMgAl10O17)等の蛍光物質などを含んで形成される。
【0034】
そして、蛍光体72の外周を覆うように筒状のスリーブ部材73が設けられており、スリーブ部材73の内部には、マルチモード光ファイバ71を中心軸として保持するフェニール74が挿入されている。さらに、フェニール74の後端側(先端側とは逆側)から延出されるマルチモード光ファイバ71には、その外皮を覆うフレキシブルスリーブ75がスリーブ部材73との間に挿入されている。
【0035】
また、近赤外投光ユニット60は、近赤外光を導光するマルチモード光ファイバ61を備えており、マルチモード光ファイバ61と近赤外光用照射レンズ30hとの間には空間62が設けられている。
【0036】
また、近赤外投光ユニット60にも、空間62の外周を覆うように筒状のスリーブ部材63が設けられており、白色投光ユニット70と同様に、フェニール64およびフレキシブルスリーブ65が設けられている。
【0037】
また、各投光ユニットにおいて使用されるマルチモード光ファイバとしては、たとえば、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径が直径0.3mm〜0.5mmの細径なものを使用することができる。
【0038】
なお、上記では、白色光用照射レンズ30fを含む白色投光ユニット70と近赤外光用照射レンズ30hを含む近赤外投光ユニット60について説明したが、白色光用照射レンズ30eを含む白色投光ユニットと近赤外光用照射レンズ30gを含む近赤外投光ユニットも同様の構成である。
【0039】
ここで、各投光ユニットによって被観察部に照射される光のスペクトルおよびその光の照射によって被観察部から発せられる蛍光および反射光のスペクトルを図5に示す。図5には、白色投光ユニット70の蛍光体72を透過して照射された青色光スペクトルS1と、白色投光ユニット70の蛍光体72において励起されて照射された緑色〜黄色の可視光スペクトルS2と、近赤外投光ユニット60によって照射された近赤外光スペクトルS3と、近赤外投光ユニット60による近赤外光スペクトルS3の照射によって発せられたICG蛍光スペクトルS4とが示されている。
【0040】
なお、本明細書における白色光とは、厳密に可視光の全ての波長成分を含むものに限らず、たとえば、基準光であるR(赤)、G(緑)、B(青)等、特定の波長帯の光を含むものであればよく、たとえば、緑色から赤色にかけての波長成分を含む光や、青色から緑色にかけての波長成分を含む光なども広義に含むものとする。したがって、白色投光ユニット70は、図5に示すような青色光スペクトルS1と可視光スペクトルS2とを照射するものであるが、これらのスペクトルからなる光も白色光であるとする。
【0041】
図6は、撮像ユニット20の概略構成を示す図である。撮像ユニット20は、体腔挿入部30内のレンズ群により結像された被観察部の蛍光像を撮像して被観察部の蛍光画像信号を生成する第1の撮像系と、体腔挿入部30内のレンズ群により結像された被観察部の通常像を撮像して通常画像信号を生成する第2の撮像系とを備えている。これらの撮像系は、通常像を反射するとともに、蛍光像を透過する分光特性を有するダイクロイックプリズム21によって、互いに直交する2つの光軸に分けられている。
【0042】
第1の撮像系は、体腔挿入部30から射出された蛍光像を透過するとともに、近赤外光をカットする近赤外光カットフィルタ22と、体腔挿入部30から射出され、ダイクロイックプリズム21および近赤外光カットフィルタ22を透過した蛍光像L2を結像する第1結像光学系23と、第1結像光学系23により結像された蛍光像L2を撮像する高感度撮像素子24とを備えている。
【0043】
第2の撮像系は、体腔挿入部30から射出され、ダイクロイックプリズム21を反射した通常像L1を結像する第2結像光学系25と、第2結像光学系25により結像された通常像L1を撮像する撮像素子26を備えている。
【0044】
高感度撮像素子24は、蛍光像L2の波長帯域の光を高感度に検出し、蛍光画像信号に変換して出力するものである。高感度撮像素子24はモノクロの撮像素子である。
【0045】
撮像素子26は、通常像の波長帯域の光を検出し、通常画像信号に変換して出力するものである。撮像素子26の撮像面には、3原色の赤(R)、緑(G)および青(B)のカラーフィルタがベイヤー配列またはハニカム配列で設けられている。
【0046】
ここで、図7に、撮像ユニット20の分光感度のグラフを示す。具体的には、撮像ユニット20は、第1の撮像系がIR(近赤外)感度を有し、第2の撮像系がR(赤)感度、G(緑)感度、B(青)感度を有するように構成されている。
【0047】
また、撮像ユニット20は、撮像制御ユニット27を備えている。撮像制御ユニット27は、プロセッサ3から出力されたCCD駆動信号に基づいて高感度撮像素子24および撮像素子26を駆動制御するとともに、高感度撮像素子24から出力された蛍光画像信号および撮像素子26から出力された通常画像信号に対し、CDS/AGC(相関二重サンプリング/自動利得制御)処理やA/D変換処理を施し、ケーブルを介してプロセッサ3に出力するものである。
【0048】
図8は、光源装置2およびプロセッサ3の概略構成を示す図である。プロセッサ3は、図8に示すように、通常画像入力コントローラ31、蛍光画像入力コントローラ32、画像処理部33、メモリ34、ビデオ出力部35、操作部36、TG(タイミングジェネレータ)37、制御部38、関心領域特定部39およびサージカルマージン決定部50を備えている。
【0049】
通常画像入力コントローラ31および蛍光画像入力コントローラ32は、所定容量のラインバッファを備えており、撮像ユニット20の撮像制御ユニット27から出力された1フレーム毎の通常画像信号および蛍光画像信号をそれぞれ一時的に記憶するものである。そして、通常画像入力コントローラ31に記憶された通常画像信号および蛍光画像入力コントローラ32に記憶された蛍光画像信号はバスを介してメモリ34に格納される。
【0050】
画像処理部33は、メモリ34から読み出された1フレーム毎の通常画像信号および蛍光画像信号が入力され、これらの画像信号に所定の画像処理を施し、バスに出力するものである。
【0051】
ビデオ出力部35は、画像処理部33から出力された通常画像信号および蛍光画像信号がバスを介して入力され、所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ4に出力するものである。
【0052】
操作部36は、所定の操作指示や制御パラメータなどの操作者による入力を受け付けるものである。
【0053】
本実施形態における操作部36は、特に、被観察部である生体の撮像部位の情報や、被観察部である生体を切除するための切除器具情報を受け付けるものである。
【0054】
また、TG37は、撮像ユニット20の高感度撮像素子24、撮像素子26および後述する光源装置2のLDドライバ43,46,49を駆動するための駆動パルス信号を出力するものである。
【0055】
制御部38は、システム全体を制御するものであるが、本実施形態においては、特に、
表示制御部38aを備え、表示制御部38aは、関心領域特定部39によって蛍光画像に基づいて特定された関心領域に対応する通常画像上における領域の境界線と、その通常画像上における領域に所定のサージカルマージンを加えた領域の境界線とを通常画像上に表示させるものである。なお、これらの境界線の表示の作用については、後で詳述する。
【0056】
関心領域特定部39は、撮像ユニット20の高感度撮像素子24によって撮像された蛍光画像信号に基づいて、蛍光画像上における関心領域を特定するものである。具体的には、本実施形態においては、関心領域特定部39には、被観察部の生体情報に基づく区域の情報が予め設定されており、関心領域特定部39は、蛍光画像における蛍光部分を特定し、その蛍光部分が含まれる区域を関心領域として特定するものである。なお、区域とは、血管やリンパ管や気管支など生体情報に基づいて医学上決められた区分された領域であって、たとえば、肺や肝臓などにおいて区域が決められている。また、関心領域特定部39は、操作部36において受け付けられた肺の先端などの撮像部位の情報に基づいて、たとえば、撮像部位に応じたパターン認識などを行って区域を特定するものとする。
【0057】
また、本実施形態においては、上述したように自動的に区域を決定するようにしたが、これに限らず、たとえば、蛍光画像の蛍光部分に基づいて医師などが操作部36を用いて蛍光画像上において区域を指定して特定するようにしてもよい。
【0058】
また、本実施形態においては、上述した区域を関心領域として特定するようにしたが、これに限らず、たとえば、蛍光画像における発光部分を含む予め設定された所定範囲を関心領域として自動的に特定するようにしてもよいし、医師などが操作部36を用いて蛍光画像上において任意の関心領域を指定して特定するようにしてもよい。また、自動検出した腫瘍病変部を関心領域としてもよい。
【0059】
サージカルマージン決定部50は、関心領域特定部39によって特定された関心領域に対応する通常画像上における領域に対して所定のサージカルマージンを加えた領域の境界線を決定するものである。
【0060】
ここで、関心領域特定部39によって蛍光画像上において特定された関心領域に対応する通常画像上の領域を算出する方法の一例について、以下に説明する。
【0061】
図9は、体腔挿入部30の先端と被観察部との距離がLのときの第1の撮像系と第2の撮像系の位置関係を示すものである。
【0062】
そして、図9に示すような位置関係のとき、たとえば、関心領域特定部39によって蛍光画像上において特定された関心領域の位置情報に対応する高感度撮像素子23上の座標位置が、図9に示すxAである場合には、その関心領域と同一の点が結像される撮像素子26上の座標位置xBは、下式によって算出される。
【数1】
なお、上式におけるΔLAは、体腔挿入部30の先端から第1結像光学系23の主点までの距離であり、ΔLBは、体腔挿入部30の先端から第2結像光学系25までの距離であり、lAは、第1結像光学系23の主点と高感度撮像素子24までの距離であり、lBは、第2結像光学系25の主点と撮像素子26までの距離lBであり、x0Aは、第1の撮像系の光軸位置であり、xOBは、第2の撮像系の光軸位置x0Bであり、これらの値は上述したように予め設定されているものとする。また、撮像距離Lについては、予め設定するようにしてもよいし、体腔挿入部30の先端に測距手段を設けて実際に計測するようにしてもよい。なお、この撮像距離の範囲は、十分に被写界深度内であるとする。
【0063】
また、蛍光画像上の座標と高感度撮像素子23上の座標とは互いに相関関係が分かっているものとし、通常画像上の座標と撮像素子25上の座標とも互いに相関関係が分かっているものとする。
【0064】
そして、サージカルマージン決定部50は、上式によって算出された撮像素子26上の座標位置xBに基づいて、通常画像上の領域の位置情報を取得する。なお、上記説明ではx方向についてのみ説明したがy方向についても同様である。
【0065】
また、サージカルマージン決定部50は、上述したようにして算出された通常画像上の領域に対してサージカルマージンを加えた領域の境界線を決定するが、サージカルマージンの長さについては、予め設定されているものとする。具体的には、本実施形態においては、図10に示すように、撮像対象の部位とサージカルマージンの長さとを対応付けたテーブルが予め設定されており、サージカルマージン決定部50は、操作部36を用いて医師などによって入力された撮像部位の情報に基づいて、上記テーブルを参照してサージカルマージの長さを取得する。このように撮像部位に応じたサージカルマージンを取得することにより、各部位の手術ガイドラインにしたがったサージカルマージンを取得することができる。
【0066】
そして、さらに、サージカルマージン決定部50は、撮像ユニット20の撮像素子26によって撮像された通常画像信号に含まれるマーカ画像信号と、上記ようにして取得したサージカルマージンの長さとに基づいて通常画像上におけるサージカルマージンの境界線の座標値を取得するものである。具体的には、上記マーカ画像信号とは、予め設定された長さ情報を有する測長用マーカを被観察部とともに撮像素子26によって撮像したものであり、サージカルマージン決定部50は、上記測長用マーカの長さ情報とマーカ画像信号の長さとの比と、上記のようにして取得したサージカルマージンの長さと通常画像上におけるサージカルマージの長さの比が一致するように、通常画像上におけるサージカルマージンの境界線の座標値を算出する。
【0067】
このように測長用マーカのマーカ画像を用いることによって、通常画像上におけるサージカルマージンの長さを簡易な方法で取得することができる。
【0068】
なお、上述した測長用マーカは、たとえば、撮像素子21の撮像範囲内の被観察部上または被観察部の近傍に設置されるものである。測長用マーカの色としては、内臓の色とは補色の関係にある青色や緑色であることが望ましい。これによりマーカ画像の輪郭をより明確にすることができ、より高精度な計測が可能である。
【0069】
また、測長用マーカは生体吸収性材料によって形成されることが望ましい。なお、生体吸収性材料としては、既に公知の材料を使用することができる。
【0070】
光源装置2は、図8に示すように、445nmの青色光を射出する青色LD光源40と、青色LD光源40から射出された青色光を集光して光ファイバスプリッタ42に入射させる集光レンズ41と、集光レンズ41によって入射された青色光を光ケーブルLC1と光ケーブルLC2との両方に同時に入射する光ファイバスプリッタ42と、青色LD光源40を駆動するLDドライバ43とを備えている。
【0071】
そして、光ケーブルLC1およびLC2は、それぞれ白色投光ユニット70のマルチモード光ファイバ71に光学的に接続されるものである。
【0072】
また、光源装置2は、750〜790nmの近赤外光を射出する複数の近赤外LD光源44,47と、各近赤外LD光源44,47から射出された近赤外光を集光して光ケーブルLC3,LC4に入射する複数の集光レンズ45,48と、各近赤外LD光源44,47を駆動する複数のLDドライバ46,49とを備えている。
【0073】
そして、光ケーブルLC3およびLC4は、それぞれ近赤外投光ユニット60のマルチモード光ファイバ61に光学的に接続されているものとする。
【0074】
また、本実施形態においては、励起光として近赤外光を用いるようにしたが、上記近赤外光に限定されず、被検者に投入される蛍光色素の種類もしくは自家蛍光させる生体組織の種類によって適宜決定される。
【0075】
次に、本実施形態の硬性鏡システムの作用について、図11のフローチャートを参照しながら説明する。
【0076】
まず、体腔挿入部30が被検者体腔内に挿入され、体腔挿入部30の先端が被観察部の近傍に設置される(S10)。そして、被観察部上に測長用マーカが設置される(S12)。
【0077】
次に、通常画像と蛍光画像の撮像が行われてこれらが表示される(S14)。
【0078】
通常画像の撮像および表示の作用は以下のとおりである。まず、光源装置2の青色LD光源40から射出された青色光が、集光レンズ41および光ファイバスプリッタ42を介して光ケーブルLC1およびLC2の両方に同時に入射される。そして、さらに青色光は光ケーブルLC1,LC2により導光されて体腔挿入部30に入射され、体腔挿入部30内の白色投光ユニット70のマルチモード光ファイバ71によって導光される。そして、マルチモード光ファイバ71の出射端から出射された青色光は、一部は蛍光体72を透過して被観察部に照射され、一部以外は蛍光体72によって緑色〜黄色の可視光に波長変換され、その可視光が被観察部に照射される。すなわち、青色光と緑色〜黄色の可視光とからなる白色光が被観察部に照射される。
【0079】
そして、白色光の照射によって被観察部から反射された通常像が挿入部材30bの先端30Yの撮像レンズ30dから入射し、挿入部材30b内のレンズ群により導光されて撮像ユニット20に向けて射出される。
【0080】
撮像ユニット20に入射された通常像は、ダイクロイックプリズム21によって直角方向に反射され、第2結像光学系25によって撮像素子26の撮像面に結像され、撮像素子26によって撮像される。
【0081】
そして、撮像素子26からそれぞれ出力されたR、G、Bの画像信号は、撮像制御ユニット27においてCDS/AGC(相関二重サンプリング/自動利得制御)処理やA/D変換処理が施された後、ケーブル5を介してプロセッサ3に出力される。
【0082】
そして、プロセッサ3に入力された通常画像信号は、通常画像入力コントローラ31において一時的に記憶された後、メモリ34に格納される。そして、メモリ34から読み出された1フレーム毎の通常画像信号は、画像処理部33において階調補正処理およびシャープネス補正処理が施された後、ビデオ出力部35に順次出力される。
【0083】
そして、ビデオ出力部35は、入力された通常画像信号に所定の処理を施して表示制御信号を生成し、1フレーム毎の表示制御信号をモニタ4に順次出力する。そして、モニタ4は、入力された表示制御信号に基づいて通常画像を表示する。
【0084】
また、蛍光画像の撮像および表示の作用は以下のとおりである。まず、光源装置2の近赤外LD光源44,47から射出された近赤外光が、集光レンズ45,48を介して光ケーブルLC3,LC4に入射され、光ケーブルLC3,LC4を介して体腔挿入部30に入射され、体腔挿入部30内の近赤外投光ユニット60のマルチモード光ファイバ61によって導光されて被観察部に照射される。
【0085】
そして、近赤外光の励起光の照射によって被観察部から発せられたICG蛍光像が挿入部材30bの先端30Yの撮像レンズ30dから入射し、挿入部材30b内のレンズ群により導光されて撮像ユニット20に向けて射出される。
【0086】
撮像ユニット20に入射されたICG蛍光像は、ダイクロイックプリズム21および近赤外光カットフィルタ22を透過した後、第1結像光学系23により高感度撮像素子24の撮像面上に結像され、高感度撮像素子24によって撮像される。高感度撮像素子24から出力されたICG蛍光画像信号は、撮像制御ユニット27においてCDS/AGC(相関二重サンプリング/自動利得制御)処理やA/D変換処理が施された後、ケーブル5を介してプロセッサ3に出力される。
【0087】
そして、プロセッサ3に入力された蛍光画像信号は、蛍光画像入力コントローラ32において一時的に記憶された後、メモリ34に格納される。そして、メモリ34から読み出された1フレーム毎の蛍光画像信号は、画像処理部33において所定の画像処理が施された後、ビデオ出力部35に順次出力される。
【0088】
そして、ビデオ出力部35は、入力された蛍光画像信号に所定の処理を施して表示制御信号を生成し、1フレーム毎の表示制御信号をモニタ4に順次出力する。そして、モニタ4は、入力された表示制御信号に基づいて蛍光画像を表示する。
【0089】
そして、次に、医師などによって操作部36を用いて撮像部位の情報が入力され(S16)、その情報が関心領域特定部39によって取得される。そして、関心領域特定部39は、蛍光画像における蛍光部分を特定し、その蛍光部分が含まれる区域を関心領域として特定する(S20)。そして、関心領域特定部39によって特定された区域は、蛍光画像上において表示される。図12の右図は、肺Pの蛍光画像上において特定された区域R1の一例を斜線で示している。
【0090】
次に、関心領域特定部39によって特定された蛍光画像上の区域の情報が、サージカルマージン決定部50に入力され、サージカルマージン決定部50は、入力された区域に対応する通常画像上の領域を算出し(S20)、さらにその通常画像上における区域に対して所定のサージカルマージンを加えた領域の境界線を決定する(S22)。
【0091】
そして、サージカルマージン決定部50において算出された通常画像上の区域の情報と、サージカルマージンを加えた領域の境界線の情報とが、制御部38の表示制御部38aに出力され、表示制御部38aは、入力された情報に基づいて、モニタ4に表示された通常画像上に区域とサージカルマージンの境界線とを表示させる(S24)。図12の左図は、肺Pの通常画像上に区域R2とサージカルマージンの境界線SMとを表示した一例を示している。なお、通常画像内におけるMは、測長用マーカの画像であり、上述したようにサージカルマージン決定部50は、この測長用マーカの画像信号に基づいて、通常画像上のサージカルマージンの境界線SMの座標値を算出する。
【0092】
そして、医師は、モニタ4に表示されたサージカルマージンの境界線SMを観察しながら切除器具を用いて病変などの切除を行う。
【0093】
ここで、上述したように医師が病変などの切除を行う際、医師が使用する切除器具によってその切断箇所の範囲が異なることがある。そこで、上記実施形態において、通常画像上に表示されるサージカルマージンの境界線を切除器具の種類に応じて変更するようにしてもよい。
【0094】
具体的には、たとえば、図13に示すような切除器具とその切除器具の切断箇所の範囲に対応する境界線の表示方法とを対応づけたテーブルを予め設定しておき、操作部36において医師などによる切除器具の情報の入力を受け付け、その切除器具に対応する境界線の表示方法を上記テーブルを参照して取得し、その取得した切除器具に対応する表示方法によってモニタ4に境界線を表示するようにすればよい。たとえば、切除器具が電気メスである場合には、比較的切断箇所の範囲が狭くサージカルマージンの境界に沿って切断可能であるので、図12の左図に示したように細い点線をサージカルマージンの境界に沿って表示し、切除器具がステープラーである場合には、電気メスよりも切断箇所の範囲が広く直線的に切断されるので、図14に示すように上記細い点線よりも太い直線で表示するようにすればよい。このように表示形態を変更することによって、より実際の切断箇所の範囲に近い表示を行うことができる。
【0095】
また、上記実施形態においては、第1の撮像系により蛍光画像を撮像するようにしたが、これに限らず、被観察部への特殊光の照射による被観察部の吸光特性に基づく画像を撮像するようにしてもよい。
【0096】
また、上記実施形態は、本発明の画像撮像表示装置を硬性鏡システムに適用したものであるが、これに限らず、たとえば、軟性内視鏡装置を有するその他の内視鏡システムに適用してもよい。また、内視鏡システムに限らず、体内に挿入される挿入部を備えていない、いわゆるビデオカメラ型の医用画像撮像装置に適用してもよい。
【符号の説明】
【0097】
1 硬性鏡システム
2 光源装置
3 プロセッサ
4 モニタ
10 硬性鏡撮像装置
20 撮像ユニット
21 撮像素子
24 高感度撮像素子
30 体腔挿入部
38 制御部
38a 表示制御部
39 関心領域特定部
50 サージカルマージン決定部
【特許請求の範囲】
【請求項1】
照明光の被観察部への照射によって前記被観察部から反射された反射光を受光することによって撮像された通常画像を取得するとともに、特殊光の前記被観察部への照射によって前記被観察部から発せられた光を受光することによって撮像された特殊画像を取得し、該取得した前記通常画像と前記特殊画像とを表示する画像取得表示方法において、
前記特殊画像に基づいて、前記特殊画像における所定の関心領域を特定し、
該特定した関心領域に対応する前記通常画像上における領域に対して所定のマージンを加えた領域の境界線を決定し、
前記関心領域に対応する前記通常画像上における領域の境界線と、前記マージンを加えた領域の境界線とを前記通常画像上に表示することを特徴とする画像取得表示方法。
【請求項2】
照明光および特殊光を被観察部に照射する光照射部と、前記照明光の照射によって前記被観察部から反射された反射光を受光して通常画像を撮像するとともに、前記特殊光の照射によって前記被観察部から発せられた光を受光して特殊画像を撮像する撮像部と、前記通常画像と前記特殊画像とを表示する表示部とを備えた画像撮像表示装置において、
前記特殊画像に基づいて、前記特殊画像における所定の関心領域を特定する関心領域特定部と、
前記関心領域特定部によって特定された関心領域に対応する前記通常画像上における領域に対して所定のマージンを加えた領域の境界線を決定するマージン決定部とを備え、
前記表示部が、前記関心領域に対応する前記通常画像上における領域の境界線と、前記マージンを加えた領域の境界線とを前記通常画像上に表示するものであることを特徴とする画像撮像表示装置。
【請求項3】
前記関心領域特定部が、予め設定された前記被観察部の生体情報に基づく区域の情報に基づいて、前記関心領域を特定するものであることを特徴とする請求項2記載の画像撮像表示装置。
【請求項4】
前記撮像部が、予め設定された長さ情報を有する測長用マーカのマーカ画像を含む通常画像を撮像するものであり、
前記マージン決定部が、前記マーカ画像の大きさに基づいて前記マージンを決定するものであることを特徴とする請求項2または3記載の画像撮像表示装置。
【請求項5】
前記測長用マーカが、青色または緑色であることを特徴とする請求項2から4いずれか1項記載の画像撮像表示装置。
【請求項6】
前記測長用マーカが、前記被観察部である生体上に設置されるものであるとともに、生体吸収性材料から形成されるものであることを特徴とする請求項2から5いずれか1項記載の画像撮像表示装置。
【請求項7】
前記マージン決定部が、前記被観察部である生体の部位に応じた前記マージンを決定するものであることを特徴とする請求項2から6いずれか1項記載の画像撮像表示装置。
【請求項8】
前記表示部が、予め設定された前記被観察部である生体を切除するための切除器具情報に応じて前記マージンを加えた領域の境界線の表示形態を変更するものであることを特徴とする請求項2から7いずれか1項記載の画像撮像表示装置。
【請求項9】
複数の前記切除器具情報と前記境界線の表示形態とを対応付けたテーブルを備えたことを特徴とする請求項8記載の画像撮像表示装置。
【請求項10】
前記光照射部が、前記特殊光として励起光を照射するものであり、
前記撮像部が、前記励起光の照射によって前記被観察部から発せられた蛍光を受光して前記特殊画像として蛍光画像を撮像するものであることを特徴とする請求項2から9いずれか1項記載の画像撮像表示装置。
【請求項1】
照明光の被観察部への照射によって前記被観察部から反射された反射光を受光することによって撮像された通常画像を取得するとともに、特殊光の前記被観察部への照射によって前記被観察部から発せられた光を受光することによって撮像された特殊画像を取得し、該取得した前記通常画像と前記特殊画像とを表示する画像取得表示方法において、
前記特殊画像に基づいて、前記特殊画像における所定の関心領域を特定し、
該特定した関心領域に対応する前記通常画像上における領域に対して所定のマージンを加えた領域の境界線を決定し、
前記関心領域に対応する前記通常画像上における領域の境界線と、前記マージンを加えた領域の境界線とを前記通常画像上に表示することを特徴とする画像取得表示方法。
【請求項2】
照明光および特殊光を被観察部に照射する光照射部と、前記照明光の照射によって前記被観察部から反射された反射光を受光して通常画像を撮像するとともに、前記特殊光の照射によって前記被観察部から発せられた光を受光して特殊画像を撮像する撮像部と、前記通常画像と前記特殊画像とを表示する表示部とを備えた画像撮像表示装置において、
前記特殊画像に基づいて、前記特殊画像における所定の関心領域を特定する関心領域特定部と、
前記関心領域特定部によって特定された関心領域に対応する前記通常画像上における領域に対して所定のマージンを加えた領域の境界線を決定するマージン決定部とを備え、
前記表示部が、前記関心領域に対応する前記通常画像上における領域の境界線と、前記マージンを加えた領域の境界線とを前記通常画像上に表示するものであることを特徴とする画像撮像表示装置。
【請求項3】
前記関心領域特定部が、予め設定された前記被観察部の生体情報に基づく区域の情報に基づいて、前記関心領域を特定するものであることを特徴とする請求項2記載の画像撮像表示装置。
【請求項4】
前記撮像部が、予め設定された長さ情報を有する測長用マーカのマーカ画像を含む通常画像を撮像するものであり、
前記マージン決定部が、前記マーカ画像の大きさに基づいて前記マージンを決定するものであることを特徴とする請求項2または3記載の画像撮像表示装置。
【請求項5】
前記測長用マーカが、青色または緑色であることを特徴とする請求項2から4いずれか1項記載の画像撮像表示装置。
【請求項6】
前記測長用マーカが、前記被観察部である生体上に設置されるものであるとともに、生体吸収性材料から形成されるものであることを特徴とする請求項2から5いずれか1項記載の画像撮像表示装置。
【請求項7】
前記マージン決定部が、前記被観察部である生体の部位に応じた前記マージンを決定するものであることを特徴とする請求項2から6いずれか1項記載の画像撮像表示装置。
【請求項8】
前記表示部が、予め設定された前記被観察部である生体を切除するための切除器具情報に応じて前記マージンを加えた領域の境界線の表示形態を変更するものであることを特徴とする請求項2から7いずれか1項記載の画像撮像表示装置。
【請求項9】
複数の前記切除器具情報と前記境界線の表示形態とを対応付けたテーブルを備えたことを特徴とする請求項8記載の画像撮像表示装置。
【請求項10】
前記光照射部が、前記特殊光として励起光を照射するものであり、
前記撮像部が、前記励起光の照射によって前記被観察部から発せられた蛍光を受光して前記特殊画像として蛍光画像を撮像するものであることを特徴とする請求項2から9いずれか1項記載の画像撮像表示装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2012−50618(P2012−50618A)
【公開日】平成24年3月15日(2012.3.15)
【国際特許分類】
【出願番号】特願2010−195025(P2010−195025)
【出願日】平成22年8月31日(2010.8.31)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【復代理人】
【識別番号】100128451
【弁理士】
【氏名又は名称】安田 隆一
【Fターム(参考)】
【公開日】平成24年3月15日(2012.3.15)
【国際特許分類】
【出願日】平成22年8月31日(2010.8.31)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【復代理人】
【識別番号】100128451
【弁理士】
【氏名又は名称】安田 隆一
【Fターム(参考)】
[ Back to top ]