説明

内視鏡装置

【課題】観察画像の明るさ調整することなく、観察に要求される分光画像を表示する。
【解決手段】特殊観察モードが選択されると、互いに離れたR,G,Bのピーク透過分布帯域をもつと同時にそれ以外の波長領域でも一様な透過分布特性を有するベースアップマルチバンドフィルタ24を光路上へ配置する。そして、第2画像処理回路34は、分光反射率の推定式を利用しながら、ピーク透過分布帯域の分光画像信号Ip1、Ip2、Ip3を算出する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、器官内壁層の深度に応じて異なる生体組織画像を内視鏡装置に関し、特に、狭帯域の特定波長光に基づく分光画像の生成処理に関する。
【背景技術】
【0002】
内視鏡装置として、観察対象である器官内壁層の深度に応じて互いに離散的な狭帯域の光を照射し、観察目的に応じた生体構造のイメージを鮮明に表示する方法が知られている(例えば、特許文献1参照)。そこでは、R,G,Bの光透過帯域をそれぞれ狭めた離散的ピーク分光特性をもつ(オーバラップ部分のない)狭帯域フィルタが、光路上に配置される。
【0003】
器官内壁などの体内組織は、その深さ方向に沿って組織分布が異なる場合が多く、粘膜表層付近には毛細血管が多く分布し、中間層、深層部には太い血管が多く部分布する。一方、光の波長域によって内壁深層部への到達度は異なり、短波長の光は表層付近の組織に吸収され、あるいは散乱を受ける。一方、長波長の光は深層部まで到達する。その結果、粘膜表層付近の毛細血管画像、深層部の血管画像など、通常のフルカラー画像とは異なる観察画像が得られる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第3607857号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
光路中に狭帯域フィルタを配置すると、撮像素子に到達する光の光量が不足する。光量不足を解決するためには、絞りを開いて光量を増加させるか、あるいは画像信号にゲインを掛けて光量不足を補う必要がある。
【0006】
しかしながら、光量増加を行うと部分的な高輝度エリア(ハレーション)が発生しやすくなり、また、注目部位が適正な明るさで表示されない恐れがある。一方、ゲインによる画像処理を行うと、画像信号にノイズが生じ、観察画像の画質が低下する。
【0007】
このように、狭帯域の光に基づく分光画像には、適正な明るさを維持しつつ高画質の観察画像を得ることが必要とされる。
【課題を解決するための手段】
【0008】
本発明の内視鏡装置は、少なくとも可視光領域の光を放射する光源と、可視光領域において互いに離れた少なくとも2つの別々のピーク透過分布帯域を有し、ピーク透過分布帯域以外のベース波長帯域においてピーク透過分布帯域の各ピーク値よりも小さい連続的透過分布特性をもつフィルタであって、光源の照明光路上へ退避可能に配置されるフィルタ(ここでは、光学フィルタという)と、少なくとも3つの色要素から構成されるカラーフィルタを照明光路上に配設した撮像素子と、撮像素子から読み出される一連の色画素信号に基づいて、複数のピーク透過分布帯域に応じた分光画像信号を生成する分光画像生成手段と、分光画像信号を色変換処理する色変換処理手段とを備える。
【0009】
例えば、カラーフィルタは、Cy,Mg,Ye,Gの4つの色要素を市松状に配列させたフィルタであればよく、また、画素混合読み出し方式によって画素信号を読み出すようにすればよい。この場合、R,G,Bに応じたピーク透過分布帯域の光学フィルタを用いることが可能である。光学フィルタ、カラーフィルタは、照明光路上で任意の位置に配置可能であり、2つのフィルタを通った光が撮像素子に到達する。なお、照明光路は、光源から放射された光が被写体に反射して撮像素子に到達するまでの経路を示す。
【0010】
本願発明の分光画像生成手段は、器官内壁表面を観察対象とした分光反射率の推定式に基づいて、分光画像信号を算出する。分光反射率の推定式は、例えば「分光画像処理入門」(三宅洋一編、東京大学出版会、2006年2月発行、第2章〜第6章参照)に記載されているように、器官内壁粘膜など、画面全体の中の色調に偏りが多い観察対象のとき、数少ない主成分スペクトル(パラメータ)だけで観察対象の分光反射率を推定可能である。少なくとも2つのピーク透過分布帯域を与えれば色再現性を満足させることができ、例えば、通常のカメラシステムで生成されるR,G,Bに応じた画像信号成分だけで分光反射率を推定することができる。
【0011】
本発明では、この推定式を利用して、カラーフィルタのある色要素に応じた画素(撮像)信号を算出する。例えば、ベース波長帯域の色画素信号成分を前記ピーク透過分布帯域の色画素信号成分に置き換えることによって、前記分光画像信号を算出することができる。これにより、ピーク帯域以外のベース波長域のスペクトル成分も抽出されることによって、光量調整、あるいはゲイン調整をすることなく、観察に必要な分光画像(バンド画像)が表示される。
【0012】
算出方法としては、ベース波長帯域の色画素信号成分をピーク透過分布帯域の色画素信号成分に置き換えることによって、分光画像信号を算出するピーク透過分布帯域の画素信号成分とあらかじめ定められた係数だけによって表し、そこから分光画像信号を求めることが可能である。係数としては、撮像システム、カラーフィルタの分光透過特性、光源の分光分布特性などを含めた係数が定められる。
【0013】
通常のカラー画像観察も行うようにするため、光学フィルタを選択的に照明光路上へ配置するフィルタ位置決め手段を設けるのがよい。
【発明の効果】
【0014】
このように本発明によれば、観察画像の明るさ調整することなく、観察に要求される分光画像を表示することができる。
【図面の簡単な説明】
【0015】
【図1】本実施形態である内視鏡装置のブロック図である。
【図2】ランプの分光分布特性を示した図である。
【図3】ベースアップマルチバンドフィルタの分光透過特性を示した図である。
【図4】補色カラーフィルタの分光透過特性を示した図である。
【図5】観察モード制御のフローチャートである。
【発明を実施するための形態】
【0016】
以下では、図面を参照して本実施形態である走査型内視鏡装置について説明する。
【0017】
図1は、本実施形態である内視鏡装置のブロック図である。
【0018】
内視鏡装置は、スコープ10とプロセッサ20とを備え、スコープ10の先端部には、補色カラーフィルタ16を配設したCCD15が備えられている、スコープ10はプロセッサ20と着脱自在に接続可能であり、プロセッサ20にはモニタ50が接続される。
【0019】
プロセッサ20に設けられたランプ(ハロゲンランプ、キセノンランプなど)22は、短波長領域から長波長領域に渡ってスペクトル分布をもつ白色光を放射する。放射された照明光は、集光レンズ25を介してライトガイド12の入射端12Sに入射する。入射した光は、ライトガイド12、配光レンズ13を介してスコープ先端部から射出される。これにより、観察対象TSが照明される。
【0020】
観察対象TSで反射した光は対物レンズ14、カラーフィルタ16を通ってCCD15の受光面に到達し、その結果被写体像がCCD15の受光面に形成される。撮像方式として、ここでは単板同時式が適用されており、カラーフィルタ16は、Cy(シアン)、マゼンタ(Mg)、イエロー(Ye)、グリーン(G)から成る4つの色要素を市松状に配列させたフィルタアレイ構造となっている。
【0021】
CCD15において発生する一連の画素信号は、所定のフレーム間隔でCCD15から読み出され、プロセッサ20へ送られる。画素信号の読み出し方式は、線順次色差方式に従う。すなわち、垂直方向に隣接する画素を上下切り替えながら交互に加算して読み出す。
【0022】
プロセッサ20に送られた一連の画素信号は、切替回路28を介して第1画像処理回路32へ送られる。第1画像処理回路32では、増幅処理などの初期処理が行われるとともに、ホワイトバランス調整、ガンマ補正処理などの処理が行われる。これによってR,G,Bの画像信号が生成される。そして、画素補間処理により、各画素に対してR,G,Bの画素信号が生成される。
【0023】
色変換処理回路36では、sRGB空間など所定の色空間に適応するための色変換処理がR,G,Bの画像信号に対して実行される。色変換処理された画像信号がモニタ50に出力されることによって、フルカラーの観察画像が動画像としてモニタ50に表示される。
【0024】
本実施形態では、上述した自然な色再現を目的とする通常観察モードに加え、器官内壁層の深度に応じた分光画像を生成する特殊観察モードによって観察することができる。プロセッサ20のフロントパネルには、通常観察モードと特殊観察モードを選択する観察モードスイッチ40が設けられている。
【0025】
特殊観察モードが選択されると、光学フィルタ24がランプ22と集光レンズ25との間に配置される。光学フィルタ24は、R,G,Bに応じた複数の狭帯域ピーク分布特性を備えるとともに、そのピーク分布特性以外の波長領域においても、一様な透過分布特性を備えている(以下、ベースアップマルチバンドフィルタという)。光学フィルタ24は、モータ26の駆動によって選択的に光路上へ配置可能である。
【0026】
光学フィルタ24を通った光が観察対象TSに照射されると、その反射光に基づく一連の画素信号がCCD15から読み出され、プロセッサ20へ送られる。プロセッサ20の切替回路28は、一連の画素信号を第2画像処理回路34へ送る。
【0027】
第2画像処理回路34では、補間処理された後の一連の画素信号から、狭帯域なR,G,Bのピーク分布帯域の画像信号(以下、分光画像信号という)が抽出される。そして色変換処理回路36では、期間内壁層構造に合わせた色変換処理施が分光画像信号に対して施される。これにより、観察対象の深度に応じて異なる色調パターンとなる分光画像が表示される。具体的には、内壁の粘膜表面付近の血管が茶色の色調パターンで、また、深層部の血管をシアン系の色調パターンで表示される。
【0028】
システムコントロール回路30は、プロセッサ20の動作を制御し、観察モードスイッチ40からの操作信号に応じてモータ26、切替回路28、色変換処理回路36へ制御信号を出力する。また、システムコントロール回路30は、ランプ22とライトガイド12との間に設けられた絞り機構(図示せず)を制御し、光量調整を行う。
【0029】
図2は、ランプの分光分布特性を示した図である。図3は、ベースアップマルチバンドフィルタの分光透過特性を示した図である。図4は、補色カラーフィルタの分光透過特性を示した図である。図2から図4を用いて、分光画像信号の生成について説明する。
【0030】
図3に示すように、ベースアップマルチバンドフィルタ24は、R、G,Bに応じた透過分布特性をもち、狭帯域でそれぞれ離れた3つのピーク透過分布帯域をもつ。各ピーク透過分布領域は、ガウス分布型の分布曲線によって表される400nm、550nm付近、650nm付近にG,B,Rに応じたピーク透過分布帯域が存在する。
【0031】
さらに、3つのピーク透過分布帯域を除く波長領域全体には、0よりも相対的スペクトル値が大きく、3つのピーク値よりも十分に小さい(例えば半分以下)ベース帯域のスペクトルが一様なスペクトル値で分布している。ここでは、およそ380nm〜1000nmまでの範囲でベース透過帯域が存在する。
【0032】
図2に示す分光分布特性をもつ照明光は、図3に示す分光透過特性をもつ光学フィルタ24を通過する。そして、観察対象において反射した光は、観察対象の分光反射率に基づいたスペクトル分布を有し、その反射光は、図4に示す分光透過特性の補色カラーフィルタ15を通過する。
【0033】
したがって、CCD16から得られるCy,Mg,Ye、Gの色要素に応じた画素信号は、短波長から長波長に渡る全体のスペクトル成分を取り入れた画素信号になっており、階層的な組織構造パターンの分光画像を表示するためには、R,G,Bのピーク透過分布帯域の分光画像信号Ip1、Ip2、Ip3を抽出する必要がある。
【0034】
そこで、本実施形態では、器官内壁表面粘膜層などの特定の観察対象を条件とした分光反射率の推定式に基づいて、分光画像信号Ip1、Ip2、Ip3を算出する。以下、その算出方法について説明する。
【0035】
Cy、Mg、Ye、Gの各色要素に応じた色画素(撮像)信号(以下では、同じ符号Cy、Mg、Ye、Gで表す)は、以下の式によって表される。
【0036】
【数1】

【0037】
L(λ)は、ランプ22から放射される照明光の分光反射率を表し、MBF(λ)は、ベースアップマルチバンドフィルタ24の分光透過率を示す、また、F(λ)は、補色カラーフィルタ15の分光透過率を表し、S(λ)は、CCD分光感度およびその他の撮像システム全体の分光特性を表す。そして、R(λ)は、観察対象となる器官内壁の分光反射率を示す。
【0038】
ここで、Cyの画素信号を例にとって波長領域ごとに分離すると、以下の式によって表される。
【0039】
【数2】

【0040】
上記式は、ベース透過帯域Ib1、Ib2、Ib3、そしてピーク透過分布帯域Ip1、Ip2、Ip3に分離して画素信号を表した式であり、以下のように置き換えられる。
【0041】
【数3】

【0042】
ところで、観察対象が胃粘膜、大腸粘膜など器官内壁粘膜の場合、その観察対象すべての(全画素の)分光反射率は、R,G,Bに応じた画素信号だけで推定することができる。具体的には、R,G、Bの画素信号をIr、Ig、Ibとすると、所定の波長領域の分光反射率は、あらかじめ(経験的に)その波長領域に定められた係数A,B、Cを乗じる(A×Ir+B×Ig+C×Ib)ことによって明らかになる。
【0043】
波長領域全体に渡った係数が統計的に定められていることから、観察対象全域(すなわち、観察画像の各画素)の分光反射率(スペクトル分布)を明らかにすることができる。このことは、ある特定波長領域の画素信号を、R,G,Bに応じた画素信号、すなわちピーク透過分布帯域の画素信号成分だけで表すことができることを意味する。
【0044】
したがって、上記式(3)のベース透過帯域成分Ib1、Ib2、Ib3をピーク成分Ip1、Ip2、Ip3で置き換えることにより、以下の式が導き出される。 ただし、係数αjiは、ベース透過帯域における分光反射率の推定式からあらかじめ定められた係数であり、また、補色カラーフィルタ15の分光透過特性、撮像システムの分光感度特性などを加味した係数である。
【0045】
【数4】

【0046】
他の画素信号Mg、Ye、Gについても、以下の式に示すように、ピーク成分だけで表すことができる。
【0047】
【数5】

【0048】
数式(4)、(5)において未知数であるのは、3つのピーク信号成分Ip1、Ip2、Ip3である。したがって、この2つの式から、ピーク透過分布帯域の信号成分Ip1、Ip2、Ip3が分光画像信号として算出される。
【0049】
図5は、観察モード制御のフローチャートである。
【0050】
特出観察モードが選択されていない場合、通常観察処理が実行される(S101、S102)。すなわち、ベースアップマルチバンドフィルタ24は光路上から退避した位置にあり、また、通常のR,G,B画像信号を生成するように色変換処理回路36が制御される。
【0051】
一方、特殊観察モードが選択されると、ベースアップマルチバンドフィルタ24が光路上に配置される(S103)。そして、ピーク透過分布帯域の分光画像信号に合わせた色変換処理を行うように、色変換処理回路36が制御される。観察が終了するまで(S105)、S101〜S104が繰り返し実行される。
【0052】
このように本実施形態によれば、特殊観察モードが選択されると、R,G,Bに応じた離散的ピーク透過分布帯域をもつと同時にそれ以外の波長領域でも一様な透過分布特性を有するベースアップマルチバンドフィルタ24が光路上に選択的に配置される。そして、第2画像処理回路34では、ピーク透過分布帯域の分光画像信号Ip1、Ip2、Ip3が算出される。
【0053】
従来の狭帯域フィルタをオフセットさせたような分光透過特性をもつため、短波長から長波長領域全域に渡り色信号成分が抽出される。これにより、光量調整、ゲイン調整することなく、分光画像信号を得ることができ、器官内壁を様々な層レベルの画像パターンで表示することができる。
【0054】
ベースアップマルチバンドフィルタ(光学フィルタ)の分光透過特性は、上記特性に限定されず、4つ以上のピーク透過特性をもつようにしてもよい。それに合わせて補色成分を増やして算出すればよい。また、ピーク透過分布帯域の波長領域も短波長、長波長、その中間波長領域の条件を満たす範囲で波長帯域幅、分布曲線特性も含めて適宜設定可能であり、分光反射率の推定式を利用できる範囲で調整可能である。一方、ベース透過帯域についても、相対スペクトル値を調整可能であり、すべての波長領域について色信号成分が抽出可能な範囲で設定すればよい。
【0055】
さらに、分光反射率の推定に関して言えば、R,G,Bに応じた3つのスペクトル成分を主成分として分光反射率を推定することに限定されず、主成分分析(Principal Component Analysis)などを通じて、少なくとも2つのスペクトル主成分、すなわちピーク透過分布帯域を設けるようにベースアップマルチバンドフィルタを構成することも可能である。
【0056】
例えば、Gとともに、Bに応じた中間波長域において2つの互いに離れたスペクトル成分(B1,B2)をもつベースアップマルチバンドフィルタを構成してもよい。あるいは、(G,B)の2つのピーク透過分布帯域だけのベースアップマルチバンドフィルタを使用しても、色再現性についてほとんど問題なく分光画像を得ることができる。また、ウィナー推定など、統計的データを使用しない推定方法を適用してもよい。
【0057】
色変換処理については、器官内壁を階層的に表示する処理に限定されず、通常の自然な色再現を含ませた色変換処理、ヘモグロビンの吸収特性を調べる画像を表示するための色変換処理など、周知の色変換処理を適用することも可能である。
【0058】
撮像素子に配設されるカラーフィルタとしては、上記補色フィルタ以外を適用してもよく、その場合、画素混合読み出し方式以外の方法で画素信号を読み出すようにすることも可能である。分光反射率の推定式を考慮した上で、少なくとも3つの色要素からカラーフィルタを構成することが可能である。また、カラーフィルタを撮像素子の受光面上に配設する代わりに、撮像面と離れた光路上に独立配置するように構成してもよく、ベースアップマルチバンドフィルタ、カラーフィルタにおいては、光源から撮像素子までの光路上に配置するように構成すればよい。
【符号の説明】
【0059】
10 ビデオスコープ
15 補色カラーフィルタ
16 CCD(撮像素子)
20 プロセッサ
24 ベースアップマルチバンドフィルタ(光学フィルタ)
34 第2画像処理回路(分光画像生成手段)
36 色変換処理回路



【特許請求の範囲】
【請求項1】
少なくとも可視光領域の光を放射する光源と、
可視光領域において互いに離れた少なくとも2つのピーク透過分布帯域を有し、前記ピーク透過分布帯域以外のベース波長帯域において前記ピーク透過分布帯域の各ピーク値よりも小さい連続的透過分布特性をもつ光学フィルタであって、前記光源の照明光路上へ退避可能に配置される光学フィルタと、
少なくとも3つの色要素から構成されるカラーフィルタを配設した撮像素子と、
前記撮像素子から読み出される一連の色画素信号に基づいて、前記複数のピーク透過分布帯域に応じた分光画像信号を生成する分光画像生成手段と、
前記分光画像信号を色変換処理する色変換処理手段とを備え、
前記分光画像生成手段が、器官内壁表面を観察対象とした分光反射率の推定式に基づいて、前記分光画像信号を算出することを特徴とする内視鏡装置。
【請求項2】
前記ベース波長帯域の色画素信号成分を前記ピーク透過分布帯域の色画素信号成分に置き換えることによって、前記分光画像信号を算出することを特徴とする請求項1に記載の内視鏡装置。
【請求項3】
前記分光反射率の推定式が、3つのピーク透過分布領域の応じた3つの色画素信号に対し、それぞれ定められた係数を乗じて分光反射率を推定する式であることを特徴とする請求項2に記載の内視鏡装置。
【請求項4】
前記光学フィルタは、それぞれが互いに離れた少なくともR、G、Bに応じたピーク透過分布帯域を有することを特徴とする請求項1乃至3の記載の内視鏡装置。
【請求項5】
前記カラーフィルタが、Cy,Mg,Ye,Gの4つの色要素を市松状に配列させたフィルタであることを特徴とする請求項1乃至4のいずれかに記載の内視鏡装置。
【請求項6】
前記光学フィルタを選択的に照明光路上へ配置するフィルタ位置決め手段をさらに有することを特徴とする請求項1乃至5のいずれかに記載の内視鏡装置。



【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2011−200364(P2011−200364A)
【公開日】平成23年10月13日(2011.10.13)
【国際特許分類】
【出願番号】特願2010−69460(P2010−69460)
【出願日】平成22年3月25日(2010.3.25)
【出願人】(000113263)HOYA株式会社 (3,820)
【Fターム(参考)】