説明

電子内視鏡システム

【課題】CMOS型のイメージセンサを用いながらも、異なる照明光による観察画像を同時に観察可能とする。
【解決手段】電子内視鏡10は、CMOS型のイメージセンサ(CMOSセンサ)23を有する。CMOSセンサ23の垂直走査回路51は、1水平ラインおきに撮像信号を読み出し得るよう構成され、CMOSセンサ23の全画素56の信号電荷をリセット用トランジスタM3経由でドレインに排出(全画素一括リセット)し得るよう構成されている。通常光(白色光)と狭い波長帯の特殊光を照射してそれぞれの観察画像を得る同時撮影モードが選択された場合、垂直走査回路51により1水平ラインおきに撮像信号を読み出している間、照明光を消灯する。また、垂直走査回路51により全画素一括リセットを実行してCMOSセンサ23の電荷蓄積の開始タイミングを揃え、CMOSセンサ23の蓄積期間単位で照明光を切り替える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被観察部位に照射する照明光の波長を切り替えながら被検体内をCMOS型のイメージセンサで撮像する電子内視鏡システムに関する。
【背景技術】
【0002】
従来、医療分野において、電子内視鏡を利用した検査が広く普及している。電子内視鏡は、被検体(患者)の体内に挿入される挿入部の先端に固体撮像素子を有する。電子内視鏡は、コードやコネクタを介してプロセッサ装置、および光源装置に接続される。
【0003】
プロセッサ装置は、固体撮像素子から出力された撮像信号に対して各種処理を施し、診断に供する観察画像を生成する。観察画像は、プロセッサ装置に接続されたモニタに表示される。光源装置は、キセノンランプ等の白色光源を有し、電子内視鏡に被検体内照明用の照明光を供給する。
【0004】
電子内視鏡に搭載される固体撮像素子としては、CMOS型のイメージセンサとCCD型のイメージセンサが挙げられる。CMOS型のイメージセンサは、低消費電力であり、周辺回路を同一の基板上に形成することができるという利点がある。その反面、図10に示すように、1水平ライン毎に順に信号電荷の読み出しを行うローリングシャッタ方式を採用していて各ラインの電荷蓄積期間がずれるため、動く被写体を撮像すると像が歪むことがある。
【0005】
一方、CCD型のイメージセンサは、高消費電力であり、スミアやブルーミング等の構造に起因する固有の問題点はあるが、高感度で高画質の画像が得易く、また、全画素の信号電荷の蓄積期間が同じで、一つの画像内での同時性を確保できることから、動く被写体の撮像に向いている。このため、動きがある被検体内を撮像する電子内視鏡では、CCD型のイメージセンサが多く採用されている。
【0006】
しかし、CMOS型のイメージセンサは消費電力が少なく、量産性に優れるので、CCD型のイメージセンサに代えてCMOS型のイメージセンサを電子内視鏡に用いることが従来提起されてきた。CMOS型のイメージセンサには、画素毎に設けられたアンプの個体差により、比較的ノイズが大きく高画質の画像を得ることが難しいという欠点があったが、近年はCMOS型イメージセンサの改良が進み、CCD型のイメージセンサと同等か、あるいはCCD型イメージセンサに画質が勝るCMOS型イメージセンサを容易に得られるようになったため、CMOS型イメージセンサを搭載した電子内視鏡の実用化が鋭意検討されている。
【0007】
ところで、電子内視鏡を用いた医療診断の分野では、病変の発見を容易にするために、可視光域にブロードな分光特性を有する白色光(以下、通常光という)ではなく、狭い波長帯の光(以下、特殊光という)を被観察部位に照射し、これによる反射光を画像化(以下、このようにして得られた画像を、通常光による通常画像と区別して特殊画像と呼ぶ)して観察する手法が脚光を浴びている。この手法によれば、粘膜下層部の血管を強調した画像や、胃壁、腸の表層組織等の臓器の構造物を強調した画像を容易に得ることができる(特許文献1参照)。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2007−322348号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
通常光と特殊光を被観察部位に照射して通常画像と特殊画像を得る手法では、通常画像と特殊画像の同時性(同一性)を確保し、相互の画像を比較しながら診断を行いたいという要望がある。
【0010】
CCD型のイメージセンサを用いた場合は、全画素の信号電荷の蓄積期間が同じで、現在の電荷蓄積期間中に一つ前の期間で蓄積された信号電荷の転送を行うことができるので、単にフレームレートの切れ目に合わせて照明光を切り替えるだけで、1フレーム間隔で交互に通常画像と特殊画像を得ることができる。
【0011】
対して、CMOS型のイメージセンサは、図10に示す如くローリングシャッタ方式で1水平ライン毎に順に信号電荷の読み出しを行う。このため、最初に読み出される1行目のラインの画素と、最後に読み出されるn行目のラインの画素には、電荷蓄積期間に約1フレーム分の差が生じる。また、信号電荷が読み出されたラインはリセットされ、次の露光に順次移行する。
【0012】
従って、ローリングシャッタ方式のCMOS型のイメージセンサを用いた場合は、照明光を切り替えると、照明光の切り替え時に通常光と特殊光による像が混じり合った画像が生成されてしまう。このため、1フレーム分は照明光の切り替えのために無駄に費やさなければならず、通常画像の取得フレーム、照明光の切り替えのためのフレーム、特殊画像の取得フレームというように、通常画像と特殊画像の間に1フレーム分の空きができる。
【0013】
このように、CMOS型のイメージセンサを用いて照明光の切り替えを行う場合には、CCD型のイメージセンサの場合のように、単にフレームレートに合わせて照明光を切り替えるだけでは、通常画像と特殊画像の同時性を確保することができない。
【0014】
本発明は上述の問題点に鑑みてなされたものであり、その目的は、CMOS型のイメージセンサを用いながらも、異なる照明光による観察画像を同時に観察可能とすることにある。
【課題を解決するための手段】
【0015】
上記目的を達成するために、本発明の電子内視鏡システムは、被検体内に挿入される電子内視鏡の挿入部に設けられ、被検体内を撮像するCMOS型のイメージセンサと、被検体内に照射する照明光の波長帯を切り替えつつ、照明光の点灯と消灯を繰り返す照明手段と、前記イメージセンサの撮像領域の画素から選択的に撮像信号を読み出すための垂直走査回路と、照明光が消灯されている間に撮像信号の読み出しが行われるよう、前記垂直走査回路の動作を制御する制御手段と、を備えることを特徴とする。
【0016】
前記垂直走査回路は、前記イメージセンサの撮像領域の選定した半数または1/3の画素から選択的に撮像信号を読み出し得るよう構成されている。例えば、前記垂直走査回路をシフトレジスタで構成し、シフトレジスタのフリップフロップを1水平ラインおき、または2水平ラインおきに繋げ、1水平ラインおき、または2水平ラインおきに撮像信号を読み出す。
【0017】
あるいは、保持データを強制的に“1”または“0”にするプリセット入力端子、およびクリア入力端子をもつフリップフロップを用い、水平ラインの選定した読み出し開始行のフリップフロップにプリセット入力を行い、選定した読み出し終了行の読み出しが完了したときに全フリップフロップにクリア入力を行えば、連続する所定数の行のみを部分的に読み出す(部分読出し)が可能となる。なお、フリップフロップに限らず、クロックドインバータ、クロック列とデコーダの組み合わせ等を使用してもよい。
【0018】
前記垂直走査回路は、前記イメージセンサの撮像領域の全画素から撮像信号を読み出し得るよう構成されている。前記イメージセンサの撮像領域の画素から選択的に撮像信号を読み出すか、前記イメージセンサの撮像領域の全画素から撮像信号を読み出すかを切り替える操作入力手段を備えることが好ましい。
【0019】
前記垂直走査回路は、前記イメージセンサの全画素に蓄積された信号電荷を一括してドレインに排出し得るよう構成されている。具体的には、保持データを強制的に“1”または“0”にするプリセット入力端子、およびクリア入力端子をもつフリップフロップを用い、画素への電荷蓄積を開始する際に全フリップフロップにプリセット入力を行えば、各画素の電荷蓄積の開始タイミングを揃えることができる。電荷蓄積の終了タイミングは照明光を消灯することで揃える。
【0020】
前記照明手段は、白色光と狭い波長帯の光とを発する。あるいは、前記照明手段は、RGBの各色の波長帯の光と、狭い波長帯の光とを発する。前者の場合、前記イメージセンサにはカラーフィルタを配置したものを用い、白色光を照射して得られた1種の撮像信号から1つの観察画像を生成する。後者の場合はモノクロのイメージセンサを用い、RGBの各色の波長帯の光を照射して得られた3種の撮像信号から1つの観察画像を生成する。
【発明の効果】
【0021】
本発明によれば、波長帯が切り替わりつつ点灯される照明光が消灯されている間に、CMOS型のイメージセンサの撮像領域の画素から選択的に撮像信号を読み出すので、CMOS型のイメージセンサを用いながらも、異なる照明光による観察画像を同時に観察可能とすることができる。
【図面の簡単な説明】
【0022】
【図1】電子内視鏡システムの構成を示す外観図である。
【図2】電子内視鏡システムの構成を示すブロック図である。
【図3】CMOS型のイメージセンサの構成を示す図である。
【図4】垂直走査回路の構成を示す図である。
【図5】波長選択フィルタの構成を示す図である。
【図6】フレームレート優先モードが選択された場合のCMOS型のイメージセンサの動作、および照明光の切り替わりを示すタイミングチャートである。
【図7】画質優先モードが選択された場合のCMOS型のイメージセンサの動作、および照明光の切り替わりを示すタイミングチャートである。
【図8】垂直走査回路の別の構成を示す図である。
【図9】面順次撮像方式を適用した場合の回転フィルタの構成を示す図である。
【図10】ローリングシャッタ方式のCMOS型のイメージセンサの動作を示すタイミングチャートである。
【発明を実施するための形態】
【0023】
図1において、電子内視鏡システム2は、電子内視鏡10、プロセッサ装置11、および光源装置12からなる。電子内視鏡10は、周知の如く、被検体(患者)の体内に挿入される可撓性の挿入部13と、挿入部13の基端部分に連設された操作部14と、プロセッサ装置11および光源装置12に接続されるコネクタ15と、操作部14、コネクタ15間を繋ぐユニバーサルコード16とを有する。
【0024】
挿入部13の先端には、観察窓20、照明窓21(ともに図2参照)等が設けられている。観察窓20の奥には、レンズ群およびプリズムからなる対物光学系22を介して、被検体内撮影用のCMOS型のイメージセンサ(以下、CMOSセンサと略記する)23が配されている(いずれも図2参照)。照明窓21は、ユニバーサルコード16や挿入部13に配設されたライトガイド24、および照明レンズ25(ともに図2参照)で導光される光源装置12からの照明光を、被観察部位に照射する。
【0025】
操作部14には、挿入部13の先端を上下左右方向に湾曲させるためのアングルノブや、挿入部13の先端からエアー、水を噴出させるための送気・送水ボタンの他、観察画像を静止画記録するためのレリーズボタン、モニタ17に表示された観察画像の拡大・縮小を指示するズームボタンといった操作部材が設けられている。
【0026】
また、操作部14の先端側には、電気メス等の処置具が挿通される鉗子口が設けられている。鉗子口は、挿入部13内の鉗子チャンネルを通して、挿入部13の先端に設けられた鉗子出口に連通している。
【0027】
プロセッサ装置11は、光源装置12と電気的に接続され、電子内視鏡システム2の動作を統括的に制御する。プロセッサ装置11は、ユニバーサルコード16や挿入部13内に挿通された伝送ケーブルを介して、電子内視鏡10に給電を行い、CMOSセンサ23の駆動を制御する。また、プロセッサ装置11は、伝送ケーブルを介して、CMOSセンサ23から出力された撮像信号を受信し、受信した撮像信号に各種処理を施して画像データを生成する。プロセッサ装置11で生成された画像データは、プロセッサ装置11にケーブル接続されたモニタ17に観察画像として表示される。
【0028】
図2において、電子内視鏡10は、前述の観察窓20、照明窓21、対物光学系22、CMOSセンサ23、および照明レンズ25が挿入部13の先端に設けられている。さらに、タイミングジェネレータ(TG)26、およびCPU27が操作部14に設けられている。なお、TG26は、CMOSセンサ23内に設けられていてもよい。
【0029】
CMOSセンサ23は、観察窓20、対物光学系22を経由した被検体内の被観察部位の像が、撮像領域50(図3参照)に入射するように配置されている。CMOSセンサ23の撮像領域50には、複数の色セグメントからなるカラーフィルタ、例えばベイヤー配列の原色(RGB)あるいは補色(CMYまたはCMYG)カラーフィルタが形成されている。
【0030】
CMOSセンサ23から出力された撮像信号は、ユニバーサルコード16、コネクタ15を介してプロセッサ装置11に入力され、デジタル信号処理回路(以下、DSPと略す)33の作業用メモリ(図示せず)に一旦格納される。
【0031】
TG26は、CMOSセンサ23にクロック信号を与える。CMOSセンサ23は、TG26からのクロック信号に応じて撮像動作を行い、撮像信号を出力する。CPU27は、電子内視鏡10とプロセッサ装置11とが接続された後、プロセッサ装置11のCPU30からの動作開始指示に基づいて、TG26を駆動させる。
【0032】
図3において、CMOSセンサ23は、撮像領域50、垂直走査回路51、相関二重サンプリング(CDS)回路52、列選択トランジスタ53、出力回路54、および水平走査回路55から構成される。
【0033】
撮像領域50には、画素56がマトリクス状に配列されている。画素56は、フォトダイオードD1、増幅用トランジスタM1、画素選択用トランジスタM2、およびリセット用トランジスタM3を有する。フォトダイオードD1は、光電変換によって、入射光量に応じた信号電荷を生成するとともに、これを蓄積する。フォトダイオードD1に蓄積された信号電荷は、増幅用トランジスタM1によって撮像信号として増幅され、画素選択用トランジスタM2によって、所定のタイミングで画素56外に出力される。また、フォトダイオードD1に蓄積された信号電荷は、所定のタイミングでリセット用トランジスタM3を介してドレインに排出される。画素選択用トランジスタM2、およびリセット用トランジスタM3はNチャンネルトランジスタであり、ゲートにHighレベル“1”が印加されるとオン、Lowレベル“0”が印加されるとオフとなる。
【0034】
撮像領域50には、垂直走査回路51から水平方向(X方向)に行選択線L1および行リセット線L2が配線されているとともに、CDS回路52から垂直方向(Y方向)に列信号線L3が配線されている。行選択線L1は、画素選択用トランジスタM2のゲートに接続されており、行リセット線L2は、リセット用トランジスタM3のゲートに接続されている。また、列信号線L3は、画素選択用トランジスタM2のソースに接続され、CDS回路52を介して、対応する列の列選択トランジスタ53に接続されている。
【0035】
CDS回路52は、垂直走査回路51によって選択された行選択線L1に接続された画素56の撮像信号を、TG26から入力されるクロック信号に基づいて保持し、ノイズ除去を行う。水平走査回路55は、TG26から入力されるクロック信号に基づいて水平走査信号を発生し、列選択トランジスタ53のオン、オフ制御を行う。
【0036】
列選択トランジスタ53は、出力回路54に接続された出力バスライン57とCDS回路52との間に設けられており、水平走査信号に応じて、出力バスライン57に撮像信号を転送させる画素を選択する。出力回路54は、CDS回路52から出力バスライン57に順に転送される撮像信号を増幅し、A/D変換して出力する。出力回路54による撮像信号の増幅率は、CPU27から出力回路54にゲイン調節信号を入力することにより調節される。
【0037】
図4に示すように、垂直走査回路51は、垂直走査用シフトレジスタ60とリセット用シフトレジスタ61を備えている。垂直走査用シフトレジスタ60は、TG26から入力されるクロック信号に基づいて、垂直走査信号を発生し、行選択線L1を1行ずつ選択して、撮像信号を列信号線L3に出力させる画素56の行(以下、水平ラインという)を変更する。リセット用シフトレジスタ61は、水平ラインの行リセット線L2を1行ずつ選択して、信号電荷をリセット用トランジスタM3経由でドレインに排出する水平ラインを変更する。
【0038】
各シフトレジスタ60、61は、水平ライン分の複数のD型フリップフロップ62、63を有する直列入力−並列出力型である。シフトレジスタは周知の如く、各フリップフロップ62、63の保持データ(“1”または“0”)をクロック信号(clk)の変化に応じて順次隣のフリップフロップ62、63に移すものである。
【0039】
垂直走査用シフトレジスタ60の1行目の水平ラインのフリップフロップ62の入力端子D(start)には、垂直走査を行う際に、クロック信号に同期したイネーブル信号“1”が与えられる。同様に、リセット用シフトレジスタ61の1行目の水平ラインのフリップフロップ63の入力端子D(start)には、リセット動作を行う際に、クロック信号に同期したイネーブル信号“1”が与えられる。
【0040】
垂直走査用シフトレジスタ60のフリップフロップ62の出力端子Qは、各水平ラインの行選択線L1_1、L1_2、・・・、L1_n−1、L1_nに接続されている。また、リセット用シフトレジスタ61のフリップフロップ63の出力端子Qは、行リセット線L2_1、L2_2、・・・、L2_n−1、L2_nに接続されている。クロック信号に伴ってイネーブル信号“1”がフリップフロップ62間を順次移行することで、行選択線L1に順に“1”が与えられて画素選択用トランジスタM2が順にオンになる。これにより各水平ラインの撮像信号が順次出力される。また、クロック信号に伴ってイネーブル信号“1”がフリップフロップ63間を順次移行することで、行リセット線L2に順に“1”が与えられてリセット用トランジスタM3が順にオンになる。これにより各水平ラインの信号電荷がドレインに排出される。
【0041】
垂直走査用シフトレジスタ60の奇数行目の水平ラインのフリップフロップ62の出力端子Qと偶数行目の水平ラインのフリップフロップ62の入力端子Dとの間には、切替スイッチ64aが接続されている。また、偶数行目の水平ラインのフリップフロップ62の出力端子Qと奇数行目の水平ラインのフリップフロップ62の入力端子Dの間には、切替スイッチ64bが接続されている。切替スイッチ64a、64bは連動する。
【0042】
奇数行目の水平ラインのフリップフロップ62間には分岐線65が配線されており、切替スイッチ64a、64bは、CPU27からの切替信号(swich)に応じて、隣接する各フリップフロップ62の入出力端子D、Qを繋ぐ図示の状態と、分岐線65側に倒されて、偶数行目の水平ラインのフリップフロップ62を飛ばして奇数行目の水平ラインのフリップフロップ62間を繋ぐ状態とに切り替わる。
【0043】
切替スイッチ64a、64bにより奇数行目の水平ラインのフリップフロップ62間を繋ぐ状態では、イネーブル信号は偶数行目の水平ラインのフリップフロップ62には与えられず、偶数行目の水平ラインのフリップフロップ62は“0”を保持している。従って偶数行目の行選択線L1に与えられるデータは“0”のままであり、偶数行目の水平ラインの撮像信号の出力は行われない。つまり、1行おきに撮像信号の出力が行われる間引き読み出しとなる。
【0044】
リセット用シフトレジスタ61のフリップフロップ63には、クロック信号を用いずに強制的に“1”または“0”のデータを保持させるための信号(preset、clear)の入力端子P、Cが設けられている。入力端子P、Cにともに“0”が入力されているときは、入力端子Dに与えられているデータがクロック信号に応じて取り込まれる。この場合は、クロック信号に応じてフリップフロップ63間でデータのシフト動作が行われ、各水平ラインの信号電荷が順次ドレインに排出される。一方、入力端子Pに“1”、入力端子Cに“0”が入力されると、入力端子Dに与えられているデータとは無関係に、リセット用シフトレジスタ61の全フリップフロップ63に“1”のデータが保持される。この場合は全ての行リセット線L2に“1”のデータが与えられ、全水平ラインの信号電荷を同時にドレインに排出する全画素一括リセットが実行される。全画素一括リセット後は、入力端子Pに“0”、入力端子Cに“1”が入力される。この場合は入力端子Dに与えられているデータとは無関係に、リセット用シフトレジスタ61の全フリップフロップ63に“0”のデータを保持される。すなわち全フリップフロップ63がクリアされる。
【0045】
図2に戻って、CPU30は、プロセッサ装置11全体の動作を統括的に制御する。CPU30は、図示しないデータバスやアドレスバス、制御線を介して各部と接続している。ROM31には、プロセッサ装置11の動作を制御するための各種プログラム(OS、アプリケーションプログラム等)やデータ(グラフィックデータ等)が記憶されている。CPU30は、ROM31から必要なプログラムやデータを読み出して、作業用メモリであるRAM32に展開し、読み出したプログラムを逐次処理する。また、CPU30は、検査日時、被検体や術者の情報等の文字情報といった検査毎に変わる情報を、後述する操作部36やLAN(Local Area Network)等のネットワークより得て、RAM32に記憶する。
【0046】
DSP33は、CMOSセンサ23からの撮像信号に対して、色分離、色補間、ゲイン補正、ホワイトバランス調整、ガンマ補正等の各種信号処理を施し、画像データを生成する。DSP33で生成された画像データは、デジタル画像処理回路(以下、DIPと略す)34の作業用メモリ(図示せず)に入力される。
【0047】
DIP34は、DSP33で処理された画像データに対して、電子変倍、あるいは色強調、エッジ強調等の各種画像処理を施す。DIP34で各種画像処理を施された画像データは、表示制御回路35に入力される。
【0048】
表示制御回路35は、DIP34からの処理済みの画像データを格納するVRAMを有する。表示制御回路35は、CPU30からROM31およびRAM32のグラフィックデータを受け取る。グラフィックデータには、観察画像の無効画素領域を隠して有効画素領域のみを表示させる表示用マスク、検査日時、あるいは被検体や術者の情報等の文字情報、グラフィカルユーザインターフェース(GUI)といったものがある。表示制御回路35は、DIP34からの画像データに対して、表示用マスク、文字情報、GUIの重畳処理、モニタ17の表示画面への描画処理といった各種表示制御処理を施す。
【0049】
表示制御回路35は、VRAMから画像データを読み出し、読み出した画像データをモニタ17の表示形式に応じたビデオ信号(コンポーネント信号、コンポジット信号等)に変換する。これにより、モニタ17に観察画像が表示される。
【0050】
操作部36は、プロセッサ装置11の筐体に設けられる操作パネル、電子内視鏡10の操作部14にあるボタン、あるいは、マウスやキーボード等の周知の入力デバイスである。CPU30は、操作部36からの操作信号に応じて、各部を動作させる。
【0051】
プロセッサ装置11には、上記の他にも、画像データに所定の圧縮形式(例えばJPEG形式)で画像圧縮を施す圧縮処理回路や、レリーズボタンの操作に連動して、圧縮された画像データをCFカード、光磁気ディスク(MO)、CD−R等のリムーバブルメディアに記録するメディアI/F、LAN等のネットワークとの間で各種データの伝送制御を行うネットワークI/F等が設けられている。これらはデータバス等を介してCPU30と接続されている。
【0052】
光源装置12は、光源40、波長選択フィルタ41、およびCPU42を有する。光源40は、赤から青までのブロードな波長の光(例えば、400nm以上800nm以下の波長帯の光、以下、通常光という)を発生するキセノンランプや白色LED(発光ダイオード)等であり、光源ドライバ43によって駆動される。光源40から発せられた照明光は、集光レンズ44で集光されてライトガイド24の入射端に導光される。
【0053】
波長選択フィルタ41は、光源40から発せられた光を特定の狭い波長帯の光(以下、特殊光という)に制限するフィルタである。波長選択フィルタ41は、図5に示すように円盤の半分が切り欠かれた形状を有し、光源40と集光レンズ44の間を横切るようにモータ回転される。また、波長選択フィルタ41には、その回転位置を検出するセンサが設けられている。波長選択フィルタ41が光源40と集光レンズ44の間を横切っている間は特殊光が照射され、波長選択フィルタ41の切り欠き部分が光源40と集光レンズ44の間を横切っている間は通常光が照射される。特殊光としては、例えば450、500、550、600、780nm近傍の波長の光が挙げられる。
【0054】
450nm近傍の特殊光による撮影は、表層の血管やピットパターン等の被観察部位表面の微細構造の観察に適している。500nm近傍の照明光では、被観察部位の陥凹や隆起等のマクロな凹凸構造を観察することができる。550nm近傍の照明光は、ヘモグロビンによる吸収率が高く、微細血管や発赤の観察に適し、600nm近傍の照明光は、肥厚の観察に適している。深層血管の観察には、インドシアニングリーン(ICG;Indocyanine green)等の蛍光物質を静脈注射し、780nm近傍の照明光を用いることで明瞭に観察することができる。
【0055】
なお、ここでは波長選択フィルタ41を用いるが、波長選択フィルタ41に代えて、あるいは加えて、光源40として波長帯が異なる光を発するLED、レーザダイオード等を複数備えておき、これらの点灯と消灯を制御することにより、通常光と特殊光を切り替えてもよい。また、青色レーザ光源、および青色レーザ光の照射により緑色〜黄色の励起光を発する蛍光体を用いて通常光を発生させ、さらに波長選択フィルタで特殊光を発生させてもよい。
【0056】
CPU42は、プロセッサ装置11のCPU30と通信し、光源ドライバ43および波長選択フィルタ41の動作制御を行う。
【0057】
ライトガイド24は、例えば、複数の石英製光ファイバを巻回テープ等で集束してバンドル化したものである。ライトガイド24の出射端に導かれた照明光は、照明レンズ25で拡散され、照明窓21を介して被検体内の被観察部位に照射される。
【0058】
電子内視鏡システム2には、通常光のみを使用して観察を行う通常撮影モードと、特殊光のみを使用して観察を行う特殊撮影モードと、通常光と特殊光を組み合わせて照射する同時撮影モードとが用意されている。特殊撮影モードでは、前述の450、500、550、600、780nm近傍の波長の光を選択することが可能である。さらに、同時撮影モードには、フレームレート優先モードと画質優先モードが設けられている。各モードの切り替えは、操作部36を操作することにより行われる。
【0059】
フレームレート優先モードは、通常画像および特殊画像の画素数を低減することによって画質を落としながらも、通常光または特殊光を照射して通常画像または特殊画像を得る通常、特殊撮影モードにおけるフレームレートと同じフレームレートで観察画像を取得するモードである。画質優先モードは、通常、特殊撮影モードと比較して、フレームレートを落としながらも、通常、特殊撮像モードと同等の高画質な観察画像を取得するモードである。
【0060】
通常撮影モードが選択された場合、CPU30は、CPU42を介して光源ドライバ43の駆動を制御して、光源40を点灯させる。また、回転位置検出センサの出力に基づいて波長選択フィルタ41を動作させ、光源40と集光レンズ44の間に波長選択フィルタ41の切り欠き部分を位置させる。被観察部位に照射される照明光は通常光のみとなる。一方、特殊撮影モードが選択された場合は、光源40を点灯させるとともに波長選択フィルタ41を光源40と集光レンズ44の間に位置させる。被観察部位に照射される照明光は特殊光のみとなる。
【0061】
通常撮影モードおよび特殊撮影モードでは、CMOSセンサ23は図10に示すローリングシャッタ方式の動作をする。切替スイッチ64a、64bは、隣接する各フリップフロップ62の入出力端子D、Qを繋ぐ図4の状態であり、また、リセット用シフトレジスタ61のフリップフロップ63の入力端子P、Cにはともに“0”が入力されている。この場合、各シフトレジスタ60、61は、行選択線L1、行リセット線L2をそれぞれ1行ずつ順に走査する。照明光が切り替えられないため、CMOSセンサ23をローリングシャッタ方式で動作させても、通常光と特殊光による像が混じり合った画像が生成されることはない。
【0062】
各水平ラインの画素56は、行リセット線L2にリセット信号が入力されて蓄積電荷がリセットされた(リセット用トランジスタM3への入力が“1”から“0”になった)ことに応じて新たに電荷蓄積を開始する。そして、行選択線L1への垂直走査信号の入力に応じて撮像信号の読み出しを行う。この動作を先頭の行から最終行の水平ラインまで順に繰り返すことで、1フレーム分の画像を得る。以下、通常照明光による撮影で得られた画像を通常画像、特殊照明光による撮影で得られた画像を特殊画像と呼ぶ。
【0063】
同時撮影モードでフレームレート優先モードが選択された場合、CMOSセンサ23は図6に示すように動作する。切替スイッチ64a、64bは、swich信号により奇数行目の水平ラインのフリップフロップ62間を繋ぐ状態とされる。これにより、偶数行目の水平ラインが読み飛ばされて奇数行目の水平ラインの撮像信号が順次読み出される(間引き読み出し)。
【0064】
一方、同時撮影モードで画質優先モードが選択された場合、CMOSセンサ23は図7に示すように動作する。切替スイッチ64a、64bは、通常、特殊撮影モードの場合と同様に、隣接する各フリップフロップ62の入出力端子D、Qを繋ぐ図4の状態とされ、各水平ラインの撮像信号が順次読み出される(全画素読み出し)。
【0065】
フレームレート優先、画質優先モードの双方とも、全水平ラインの撮像信号の読み出し後、リセット用シフトレジスタ61のフリップフロップ63の入力端子Pに“1”が入力される(入力端子Cは“0”)。これにより、全水平ラインの信号電荷が同時にドレインに排出される(全画素一括リセット)とともに、全水平ラインの電荷蓄積が開始される。全画素一括リセット後、フリップフロップ63の入力端子Pに“0”、入力端子Cに“1”が入力され、フリップフロップ63へのプリセットがクリアされる。
【0066】
そして、全水平ラインの撮像信号が読み出されている間(先頭の行の読み出し開始から最終行の読み出し終了までの間)、光源40は消灯される。また、CMOSセンサ23の蓄積期間単位で交互に通常光と特殊光が照射されるよう波長選択フィルタ41が回転される。被観察部位に照射される照明光は、消灯期間を挟んで、CMOSセンサ23の蓄積期間単位で通常光と特殊光とに順次切り替わる。なお、光源40を消灯する代わりに、波長選択フィルタ41に通常光および特殊光の遮光領域を設けておき、全水平ラインの撮像信号の読み出し期間と遮光領域とが一致するよう波長選択フィルタ41を回転させてもよい。
【0067】
フレームレート優先モードの場合は、奇数行目の水平ラインの撮像信号のみを読み出すので、撮像信号の読み出しに要する時間は、全水平ラインを順に読み出す画質優先モードの場合の半分となる。このため、フレームレート優先モードは画質優先モードの2倍のフレームレートで画像を生成することができる。但し、間引き読み出しのフレームレート優先モードと比べて、全画素読み出しの画質優先モードのほうが、垂直解像力の高い良質な画像が得られる。
【0068】
フレームレート優先モードが選択された場合、DSP33は、奇数行目の水平ラインの撮像信号を用いて、読み飛ばされた偶数行目の水平ラインの撮像信号を補間する画素補間処理を施し、各画像を生成する。表示制御回路35は、通常撮影モードまたは特殊撮影モードでは、通常画像または特殊画像の動画あるいは静止画のみをモニタ17に表示させる。同時撮影モードでは、操作部36への操作入力に応じて、通常画像、特殊画像の一方の動画あるいは静止画を表示、または各画像の動画あるいは静止画を同時にモニタ17に表示(例えば、通常、特殊画像の並列表示、重畳表示、入れ子表示(ピクチャーインピクチャー、PinP))させる。
【0069】
なお、ここで例示した各画像の表示形態は一例であり、種々の変形が可能である。例えば、モニタを複数台用意して、一台目は通常画像の表示用、二台目は特殊画像の表示用というように、マルチモニタ形式を採用してもよい。
【0070】
次に、上記のように構成された電子内視鏡システム2の作用について説明する。電子内視鏡10で被検体内を観察する際、術者は、電子内視鏡10と各装置11、12とを繋げ、各装置11、12の電源をオンする。そして、操作部36を操作して、被検体に関する情報等を入力し、検査開始を指示する。
【0071】
検査開始を指示した後、術者は、挿入部13を被検体内に挿入し、光源装置12からの照明光で被検体内を照明しながら、CMOSセンサ23による被検体内の観察画像をモニタ17で観察する。
【0072】
CMOSセンサ23から出力された撮像信号は、プロセッサ装置11のDSP33に入力される。DSP33では、入力された撮像信号に対して各種信号処理が施され、画像データが生成される。DSP33で生成された画像データは、DIP34に出力される。
【0073】
DIP34では、CPU30の制御の下、DSP33からの画像データに各種画像処理が施される。DIP34で処理された画像データは、表示制御回路35のVRAMに入力される。表示制御回路35では、CPU30からのグラフィックデータに応じて、各種表示制御処理が実行される。これにより、画像データがモニタ17に観察画像として表示される。
【0074】
電子内視鏡システム2を用いて検査を行うときには、観察しようとする部位が粘膜であるのか、粘膜下の血管であるのかといったように観察しようとする対象や、観察しようとする病変の種別等に応じて、被観察部位に照射する照明光の波長帯が選択される。ここで選択される照明光の波長帯は、観察の途中で、観察画像を見ながら、診断の行い易いものに適宜変更される。
【0075】
操作部36で通常、特殊撮影モードが選択された場合は、CPU30の指令の下に、光源40が点灯されて、波長選択フィルタ41の切り欠き部分が光源40と集光レンズ44の間に位置されるか、または波長選択フィルタ41が光源40と集光レンズ44の間に位置され、被観察部位には通常光、または特殊光のみが照射される。また、ローリングシャッタ方式でCMOSセンサ23が動作される。モニタ17には、通常画像、または特殊画像の動画あるいは静止画のみが表示される。
【0076】
一方、同時撮影モードが選択された場合は、CMOSセンサ23の蓄積期間単位で交互に通常光と特殊光が照射されるよう波長選択フィルタ41が回転される。また、CMOSセンサ23で撮像信号の読み出し動作が行われている間、光源40が消灯される。
【0077】
フレームレート優先モードが選択された場合、CMOSセンサ23の奇数行目の水平ラインの撮像信号のみを読み出す間引き読み出しが実行される。画質優先モードが選択された場合は全画素読み出しが実行される。いずれのモードとも全画素一括リセットが実行され、全画素56の電荷蓄積が同時に開始される。モニタ17には、通常画像、特殊画像の一方の動画あるいは静止画、または各画像の動画あるいは静止画が同時に表示される。
【0078】
術者は、挿入部13を被検体内に挿入する際には通常撮影モードを選択し、モニタ17に映る通常画像を観察しながら挿入作業を行う。詳細な観察が必要な病変が発見された際には特殊撮影モードを選択し、病変の種別等に応じた波長帯の特殊光を照射して得られた特殊画像を観察する。また、通常画像、特殊画像を比較して観察したい場合は、同時撮影モードを選択する。通常画像、特殊画像の同時性を重要視する場合はフレームレート優先モード、画質を重要視する場合は画質優先モードをそれぞれ選択する。そして、必要に応じて通常、特殊画像の何れかの静止画像を取得する。また、被観察部位に処置が必要な場合には、電子内視鏡10の鉗子チャンネルに各種処置具を挿通させて、病変の切除や投薬等の処置を施す。
【0079】
以上説明したように、照明光の消灯期間にCMOSセンサ23の撮像信号を間引いて読み出し、CMOSセンサ23の蓄積期間単位で通常光と特殊光とを切り替えながら通常、特殊画像を取得するので、CMOSセンサ23を用いながらも、通常、特殊画像を同時に観察することができる。また、間引き読み出しを実行することでフレームレートの低下を防ぐことができ、通常、特殊画像の同時性を確保することができる。
【0080】
間引き読み出しのフレームレート優先モードに加えて、全画素読み出しの画質優先モードを備え、これらのモードを切り替え可能としたので、観察や処置の様態に応じてより適切なモードに切り替えることができ、各モードが単独で設けられている場合よりも利便性が向上する。
【0081】
同時撮影モードでは、電荷蓄積の開始タイミングを全画素一括リセットにて各水平ラインで揃えている。また、電子内視鏡10が被検体内という暗所で用いられることを活かして、光源40を消灯することで実質的に電荷蓄積の終了タイミングを各水平ラインで揃えている。このため、電子内視鏡10の撮像装置を簡素にかつ安価に構成しながらも、ローリングシャッタ方式のように各水平ラインで電荷蓄積期間がずれることがなく、動きの大きい被写体を撮像しても像が歪むことがない。
【0082】
上記実施形態では、フレームレート優先モードで水平ラインを1行おきに選択して、実効的な画素数が全画素数の半数となる観察画像を取得するが、全ての水平ラインを読み飛ばさずに走査し、水平走査回路55に入力させるクロック信号を調節して、1つおきに列選択トランジスタをオンにして、1列おきに撮像信号を取得するようにしてもよい。また、垂直走査回路51や水平走査回路55に入力するクロック信号を調節して、撮像信号を出力させる画素56を、いわゆる市松模様状にしてもよい。
【0083】
上記実施形態では全画素一括リセットを例示したが、水平ラインを1行おきに選択しながら撮像信号を読み出した後に、水平ライン毎に順に信号電荷をドレインに排出してリセットしてもよい。この場合は、リセット用シフトレジスタのnライン目のリセットはn+1ライン目の垂直走査用シフトレジスタの読み出しと同じタイミングとする。同様に、撮像信号を出力させた後すぐにその水平ラインをリセットし、読み飛ばされて撮像信号の読み出しが行われなかった水平ラインに対しては、読み出し終了後に順に(または一括して同時に)信号電荷をドレインに排出させてもよい。
【0084】
上記実施形態では、1行おきに撮像信号の読み出しを行う例を挙げて説明したが、本発明はこれに限定されない。図8の垂直走査回路70を用いて、読み出し開始行および終了行を選定して、水平ラインの全行のうち、連続する所定数の行のみを部分的に読み出してもよい。
【0085】
フレームレート優先モード/水平画素選択の読み出し方法をとる場合は、通常撮影モードではRGB画素のうち読み出されない色がないように、カラーフィルタ配列に応じたライン選択をする。カラーフィルタの配列によっては、1水平ラインおきではなく、2水平ラインおきに読み出してもよい。この場合は垂直方向の読み出し画素数は全画素の1/3となる。RGBの配列に限らず、補色の配列の場合も同様にライン選択をする。例えば2垂直ライン周期でカラーフィルタの配列がなされている場合は2水平ラインおきに読み出す。
【0086】
なお、DSP33における画素補間も、読み出し画素の色配列や読み出し方(1水平ラインおきか2水平ラインおきか)に応じた画素補間を行う。また、フレームレート優先モードを選択した場合は、照射する特殊光に応じて、その反射光または蛍光が透過するカラーフィルタの画素を読み出すよう選択する。
【0087】
図8において、垂直走査回路70の垂直走査用シフトレジスタ71は、水平ライン分の複数のD型フリップフロップ72を有する直列入力および並列入力−並列出力型である。フリップフロップ72には、図4のリセット用シフトレジスタ61のフリップフロップ63と同様、preset信号の入力端子Pとclear信号の入力端子Cが設けられている。各フリップフロップ72には、preset信号が個別に入力される。垂直走査(シフト動作)の途中に、入力端子Pに“0”、入力端子Cに“1”入力されると、垂直走査用シフトレジスタ71の全フリップフロップ72に”0”のデータが保持され、撮像信号の読み出し動作が強制的にストップされる。なお、リセット用シフトレジスタの構成は図4の垂直走査回路51と同じであるため、図示および説明を省略する。
【0088】
部分読み出しを行う場合は、入力端子Pに“0”、入力端子Cに“1”を入力して全フリップフロップ72に”0”を保持させた後、入力端子Cに“0”を入力し、読み出しを開始する水平ラインのフリップフロップ72の入力端子Pに“1”を入力する。そして、入力端子P、Cに“0”を入力したうえで、全画素読み出しの場合と同じくクロック信号に応じて保持データをフリップフロップ72間で順次移行させ、読み出し開始行に選定した水平ライン以降の撮像信号を順次出力させる。読み出し終了行に選定した水平ラインの撮像信号読み出し完了後、入力端子Pに“0”、入力端子Cに“1”を入力して全フリップフロップ72に”0”を保持させて全フリップフロップ72をクリアし、撮像信号の読み出し動作を強制的にストップさせる。
【0089】
例えば、読み出し開始行に先頭行、読み出し終了行に中央行を選定した場合は、CMOSセンサ23の撮像領域50の上半分読み出し、読み出し開始行に中央行、読み出し終了行に最終行を選定した場合は下半分読み出し、読み出し開始行に先頭行と中央行の中間行、読み出し終了行に中央行と最終行の中間行を選定した場合は中央部読み出しが可能となる。なお、読み出し開始行に選定した水平ラインが先頭行であった場合は入力端子Pに“1”を入力して先頭行のフリップフロップ72に“1”を保持させる必要はなく、入力端子Dにイネーブル信号“1”を入力して、クロック信号に応じて読み出し動作をすればよい。
【0090】
なお、間引き読み出しする画素56は撮像領域50の半分に限らない。例えば、露光量が不十分となる波長帯の照明光を用いる場合には、例えば間引き読み出しする画素56を全体の1/3として撮像信号の読み出しに掛かる時間を短くし、その分露光時間を長くしてもよい。これとは逆に、少ない時間で十分な露光量が得られる場合には、間引き読み出しする画素56を多くして撮像信号の読み出しに掛かる時間を長くし、代わりに露光時間を短くして、より多くの画素から撮像信号を得て、画質のよい観察画像を得られるようにしてもよい。
【0091】
上記実施形態では、カラーフィルタを撮像領域50に配置した一つのCMOSセンサ23で撮像する方式を例示して説明したが、RGBの各色の波長帯の照明光を順次被観察部位に照射し、その像をモノクロのCMOSセンサにて時分割で撮像する、いわゆる面順次撮像方式を適用してもよい。
【0092】
この場合、例えば、図9に示す円盤状の回転フィルタ80を用いる。回転フィルタ80は、RGB各色の波長帯の光を照射するためのR光照射領域81、G光照射領域82、B光照射領域83、および特殊光を照射するための特殊光照射領域84を有する。各領域81〜84は、回転フィルタ80を六等分した区画にそれぞれ設けられている。特殊光照射領域84は、R光照射領域81、G光照射領域82、B光照射領域83のそれぞれの間に計3個配されている。この回転フィルタ80を光源40と集光レンズ44の間に配置し、RGBの各色の波長帯の照明光および特殊光が順次発せられるよう回転フィルタ80を回転させる。そして、上記実施形態の同時撮影モードの場合と同じようにCMOSセンサと光源40を動作させる。
【0093】
通常画像は、RGBの各色の波長帯の照明光が照射された各像の撮像信号を元に生成する。具体的には、RGBRGB・・・と続く撮像信号の出力のうち、RGB、GBR、BRGと連続する各組からそれぞれ通常画像を生成する。このため、被観察部位に照射される照明光はR光、特殊光、G光、特殊光、B光、特殊光、・・・と推移するが、通常画像と特殊画像は交互に出力される。
【0094】
特殊画像のみを取得する場合は、回転フィルタ80の特殊光照射領域84を光源40と集光レンズ44の間に位置させる。通常画像のみを取得する場合は、回転フィルタ80とは別に、R光照射領域81、G光照射領域82、B光照射領域83を三等分した区画に配置した、特殊光照射領域84がない回転フィルタを用意し、この回転フィルタを回転フィルタ80の代わりに光源40と集光レンズ44の間に挿入して回転させる。
【0095】
上記実施形態では、垂直走査回路にD型フリップフロップを用いる例を挙げたが、本発明はこれに限定されない。例えばクロックドインバータ、クロック列とデコーダの組み合わせ等をD型フリップフロップの代わりに用いてもよい。
【0096】
なお、図3に示すアナログ出力タイプのCMOSセンサ23に代えて、他の構成のCMOSセンサを用いてもよい。例えば、CDS回路52にA/D変換器を搭載し、画素56から読み出した撮像信号をデジタル化してパラレル出力するもの、さらにデジタル化した撮像信号を、パラレル・シリアル変換回路を通してシリアル化して出力するものを用いてもよい。
【0097】
また、1画素56を三個のトランジスタM1〜M3で構成しているが、1画素を四個のトランジスタで構成してもよい。また、画素選択用トランジスタM2を複数の画素56で共有するもの、またフォトダイオードD1の信号をトランジスタでフローティング・ディフュージョン部に転送した後段にトランジスタM1、M2をもつもの、複数の画素56のフォトダイオードD1から転送されるフローティング・ディフュージョン部を共通にするもの等の構成もあるが、本発明はそのいずれの構成に対しても適用することが可能である。
【0098】
上記実施形態では、被観察部位に照射する照明光として、通常光と特殊光を用いる例を説明したが、ここで用いる通常光、特殊光は、相互に波長帯の異なる2種類の照明光であればよい。
【0099】
また、白色の可視光とは異なる特定の波長帯の照明光を特殊光として説明したが、特殊光には、血管を強調表示する赤外光や、正常組織と病変組織の自家蛍光の強さを強調して表示するために、白色光のうち単色あるいは数色に波長帯を制限した光等が該当する。これらの様々な特殊光は、観察する部位や病変等に応じて、自在に選択できる構成とすることが好ましく、観察中にモニタを見ながら自在にその波長帯や混合する波長帯の成分を変化させることができる構成とすることが特に好ましい。
【符号の説明】
【0100】
2 電子内視鏡システム
10 電子内視鏡
11 プロセッサ装置
12 光源装置
23 CMOS型のイメージセンサ(CMOSセンサ)
26 タイミングジェネレータ(TG)
27、30、42 CPU
40 光源
41 波長選択フィルタ
51、70 垂直走査回路
56 画素
60、71 垂直走査用シフトレジスタ
61 リセット用シフトレジスタ
62、63、72 フリップフロップ
64a、64b 切替スイッチ
65 分岐線

【特許請求の範囲】
【請求項1】
被検体内に挿入される電子内視鏡の挿入部に設けられ、被検体内を撮像するCMOS型のイメージセンサと、
被検体内に照射する照明光の波長帯を切り替えつつ、照明光の点灯と消灯を繰り返す照明手段と、
前記イメージセンサの撮像領域の画素から選択的に撮像信号を読み出すための垂直走査回路と、
照明光が消灯されている間に撮像信号の読み出しが行われるよう、前記垂直走査回路の動作を制御する制御手段と、を備えることを特徴とする電子内視鏡システム。
【請求項2】
前記垂直走査回路は、前記イメージセンサの撮像領域の選定した半数または1/3の画素から選択的に撮像信号を読み出し得るよう構成されていることを特徴とする請求項1に記載の電子内視鏡システム。
【請求項3】
前記垂直走査回路はシフトレジスタであり、前記イメージセンサの撮像領域の画素の各水平ラインに撮像信号を読み出すための垂直走査信号を出力するフリップフロップが1水平ラインおき、または2水平ラインおきに繋げられる構成を有し、1水平ラインおき、または2水平ラインおきに撮像信号を読み出すことを特徴とする請求項1または2に記載の電子内視鏡システム。
【請求項4】
前記垂直走査回路はシフトレジスタであり、前記イメージセンサの撮像領域の画素の各水平ラインに撮像信号を読み出すための垂直走査信号を出力するフリップフロップを有し、
前記フリップフロップは、保持データを強制的に“1”または“0”にするプリセット入力端子、およびクリア入力端子をもつことを特徴とする請求項1または2に記載の電子内視鏡システム。
【請求項5】
前記垂直走査回路は、前記イメージセンサの撮像領域の全画素から撮像信号を読み出し得るよう構成され、
前記イメージセンサの撮像領域の画素から選択的に撮像信号を読み出すか、前記イメージセンサの撮像領域の全画素から撮像信号を読み出すかを切り替える操作入力手段を備えることを特徴とする請求項1ないし4のいずれかに記載の電子内視鏡システム。
【請求項6】
前記垂直走査回路は、前記イメージセンサの全画素に蓄積された信号電荷を一括してドレインに排出し得るよう構成されていることを特徴とする請求項1ないし5のいずれかに記載の電子内視鏡システム。
【請求項7】
前記垂直走査回路はシフトレジスタであり、前記イメージセンサの撮像領域の画素の各水平ラインに信号電荷をドレインに排出するためのリセット信号を出力するフリップフロップを有し、
前記フリップフロップは、保持データを強制的に“1”または“0”にするプリセット入力端子、およびクリア入力端子をもつことを特徴とする請求項6に記載の電子内視鏡システム。
【請求項8】
前記照明手段は、白色光と狭い波長帯の光とを発することを特徴とする請求項1ないし7のいずれかに記載の電子内視鏡システム。
【請求項9】
前記照明手段は、RGBの各色の波長帯の光と、狭い波長帯の光とを発することを特徴とする請求項1ないし7のいずれかに記載の電子内視鏡システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2011−250926(P2011−250926A)
【公開日】平成23年12月15日(2011.12.15)
【国際特許分類】
【出願番号】特願2010−125622(P2010−125622)
【出願日】平成22年6月1日(2010.6.1)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】