説明

電子内視鏡及び固定パターンノイズ除去方法

【課題】CMOS型のイメージセンサを備えた電子内視鏡に接続される外部制御装置(プロセッサ装置)に特別な補正回路や補正メモリを設けなくても、温度に依存されることなく固定パターンノイズ(縦筋状ノイズ)を確実に除去する。
【解決手段】電子内視鏡11は、挿入部16の先端にCMOSセンサ31を備え、該CMOSセンサ31は、行方向とこれに直交する列方向に配列された複数の画素41と、前記列方向に並ぶ画素列毎に並列的に設けられた複数のカラムアンプ34と、前記挿入部16の先端の温度を検出する温度センサ82と、前記温度センサ82により検出された温度に応じた補正データを供給する補正データ供給部と、前記補正データ供給部から供給される補正データに基づいて、前記複数のカラムアンプ34で増幅処理された出力信号に含まれる固定パターンノイズを除去する補正回路と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子内視鏡及び固定パターンノイズ除去方法に関するものであり、特に、CMOS型のイメージセンサを備えた電子内視鏡及び固定パターンノイズ除去方法に関する。
【背景技術】
【0002】
医療分野においては、細長い挿入部を被検者の体内に挿入して、挿入部の先端付近に搭載された小型の撮像装置によって、被検者の体内を直接的に撮像して診断する電子内視鏡システムが広く普及している。こうした電子内視鏡システムに搭載される微小な撮像装置は、いわゆるイメージセンサが搭載されており、被検者の体内に照明光を照射して、被検者の体内で反射された光を受けて、これを光電変換し、画素毎に信号電荷を蓄積する。そして、イメージセンサから信号電荷に対応する撮像信号を出力させて観察画像を得る。
【0003】
ところで、一般的な撮像装置に搭載されるイメージセンサとしては、CMOS型のイメージセンサ(以下、CMOSセンサという。)やCCD型のイメージセンサが知られている。CMOSセンサは、低電圧駆動が可能であり、多画素化と高速読出し化の要求に対応することが容易である。また、製造工程においてCMOSプロセスを使用でき、同一チップ内に駆動回路や処理回路などの周辺回路を混載することが可能であり、小型化にも有利である。
【0004】
ここで、一般的なCMOSセンサの構成としては、例えば図14に示すように、光電変換素子を含む画素900がマトリクス状に配置されており、垂直走査回路902及び水平走査回路904によって各画素900が順次選択され、各画素900からの出力信号がアンプ906で増幅された後、A/D変換器(ADC)908でデジタル信号に変換されて出力される。
【0005】
しかしながら、かかる構成の場合、最終段の出力信号に対して利得調整が行われるため、比較的高い周波数でのアンプ906の駆動が必要となり、周波数に応じた大きさのランダムノイズが付加され、雑音の大きい画像となる。特に近年の多画素化、高フレームレート化により、アンプ等のアナログ回路の駆動周波数が高くなる場合には、より多くのランダムノイズが付加される要因となる。
【0006】
これに対して、図15に示すように、カラム毎にカラムアンプ910が並列に搭載されたCMOSセンサが知られている。この方式によれば、各カラムアンプ910の駆動周波数をカラム数の逆数に相当する周波数まで低下させることが可能となる。その結果、多画素でかつ高フレームレートでも、ランダムノイズを小さくすることが可能となる。また、図示は省略するが、ランダムノイズの削減と同時に高速読み出しを実現するためにカラム毎にA/D変換器(カラムADC)が並列に搭載されたものも知られている。
【0007】
ところで、カラムアンプやカラムADCを備えた従来のCMOSセンサでは、ランダムノイズを低減できる反面、カラムアンプやカラムADCの性能ばらつきによって、CMOSセンサから出力される撮像信号によって生成される画像に固定パターンノイズ(縦筋状ノイズ)が付加されてしまう問題がある。
【0008】
かかる問題に対して、特許文献1では、CMOSセンサ内のカラムアンプ(列アンプ)に対してテスト用の電圧信号を印加して、それらの出力電圧を検出することにより、カラムアンプの特性ばらつきを検出し、その特性ばらつきに基づいて補正データを求め、この補正データにより通常撮影時のセンサ出力から、前記特性ばらつきに起因する固定パターンノイズを除去する技術が開示されている。
【0009】
また、特許文献2では、低温時に検出したカラム毎の誤差値(低温時誤差値)と、高温時に検出したカラム毎の誤差値(高温時誤差値)とが格納される誤差値格納メモリを備え、CMOSセンサの温度に応じて2つの誤差値を補間することによって誤差値を補正し、CMOSセンサから出力される撮像信号から補正後の誤差値を減算することによって固定パターンノイズを除去する技術が開示されている。
【先行技術文献】
【特許文献】
【0010】
【特許文献1】特開2008−306565号公報
【特許文献2】特開2006−135423号公報
【発明の概要】
【発明が解決しようとする課題】
【0011】
しかしながら、特許文献1に開示された技術では、ランダムノイズや結像光学系に起因した誤差に影響を受けることなく、カラムアンプの特性ばらつきを検出することができるものの、カラムアンプの温度特性のばらつきによって変動する固定パターンノイズを確実に除去することは困難である。
【0012】
これに対して、特許文献2に開示される技術によれば、CMOSセンサの温度に応じて誤差値格納メモリに格納される低温時及び高温時の誤差値を用いて固定パターンノイズを除去する処理が行われるので、カラムアンプの温度特性のばらつきに左右されることなく、固定パターンノイズを確実に除去することが可能となるが、特許文献2では電子内視鏡システムに適用するための工夫は何も検討されていない。
【0013】
ここで、特許文献2に開示された技術を電子内視鏡システムに適用しようとした場合、固定パターンノイズを除去するための補正回路や補正メモリは、通常、電子内視鏡ではなく、電子内視鏡とは別体に構成される外部制御装置(プロセッサ装置)に搭載されるのが一般的である。しかし、1台のプロセッサ装置には複数の電子内視鏡が交換されて使用されるため、電子内視鏡毎に特別な補正回路や補正メモリが必要となり、プロセッサ装置の肥大化や高価格化を招く要因となる。その結果、汎用性の低いシステムとなってしまう問題がある。
【0014】
本発明はこのような事情に鑑みてなされたもので、CMOS型のイメージセンサを備えた電子内視鏡に接続される外部制御装置(プロセッサ装置)に特別な補正回路や補正メモリを設けなくても、温度に依存されることなく固定パターンノイズ(縦筋状ノイズ)を確実に除去することが可能な電子内視鏡及び固定パターンノイズ除去方法を提供することを目的とする。
【課題を解決するための手段】
【0015】
前記目的を達成するために、本発明に係る電子内視鏡は、被検体内に挿入される挿入部の先端に設けられ、前記被検体内を撮像するCMOS型のイメージセンサを備えた電子内視鏡であって、前記イメージセンサは、行方向とこれに直交する列方向に配列された複数の画素部と、前記列方向に並ぶ画素列毎に並列的に設けられ、前記画素列に配列された前記画素部から出力される出力信号に所定の信号処理を施す複数の処理回路と、前記挿入部の先端の温度を検出する温度センサと、前記温度センサにより検出された温度に応じた補正データを供給する補正データ供給部と、前記補正データ供給部から供給される補正データに基づいて、前記複数の処理回路で信号処理された出力信号に含まれる固定パターンノイズを除去する補正回路と、を備える。
【0016】
本発明によれば、CMOS型のイメージセンサに温度センサが設けられ、イメージセンサ内部で温度センサの検出温度に応じて出力信号の補正処理が自己完結的に行われる。これにより、環境温度に影響を受けることなく、画素列毎に設けられる処理回路の個体差に起因する固定パターンノイズを確実に除去することが可能となる。また、1台のプロセッサ装置に対して複数の電子内視鏡が交換されて使用される場合でも、プロセッサ装置に特別な補正回路や補正メモリを追加する必要がなく、新型及び旧型のプロセッサ装置が混在していても使用可能であり、汎用性の高いシステムを構築することが可能となる。
【0017】
前記複数の画素部、前記複数の処理回路、前記温度センサ、前記補正データ供給部、及び前記補正回路は、同一の半導体チップ内に設けられていることが好ましい。
【0018】
また、前記補正データ供給部は、複数の補正データを所定の温度毎に備え、前記複数の補正データのうち、前記温度センサにより検出された温度に最も近い温度に対応する補正データを選択して供給することが好ましい。
【0019】
また、前記補正データ供給部は、所定の基準温度に対応する基準補正データを備え、前記温度センサにより検出された温度に応じて決定される補正係数を前記基準補正データに乗じて得られるデータを前記補正データとして供給することが好ましい。その際、前記補正データ供給部は、前記温度と前記補正係数との関係を示す補正係数テーブルを備え、前記補正係数テーブルに基づいて前記補正係数を決定することがより好ましい。
【0020】
また、前記温度センサは、前記複数の画素部のうち前記被検体内の撮像に寄与しない無効画素部に配置される光電変換素子を用いて構成されることが好ましい。
【0021】
また、前記温度センサは、複数の前記無効画素部から出力される出力信号を平均化したものを温度情報として用いるようにしてもよい。
【0022】
また、前記補正回路は、前記複数の処理回路のオフセット誤差及びゲイン誤差の少なくとも一方の誤差に起因する固定パターンノイズを除去する回路であることが好ましい。
【0023】
また、前記目的を達成するために、本発明に係る固定パターンノイズ除去方法は、被検体内に挿入される電子内視鏡の挿入部の先端に設けられ、前記被検体内を撮像するCMOS型のイメージセンサの出力信号から固定パターンノイズを除去する固定パターンノイズ除去方法であって、前記イメージセンサは、行方向とこれに直交する列方向に配列された複数の画素部と、前記列方向に並ぶ画素列毎に並列的に設けられ、前記画素列に配列された前記画素部から出力される出力信号に所定の信号処理を施す複数の処理回路と、を備え、前記イメージセンサと一体的に設けられた温度センサによって前記挿入部の先端の温度を検出する検出ステップと、前記イメージセンサと一体的に設けられる周辺回路において、前記温度センサにより検出された温度に応じた補正データに基づいて、前記複数の処理回路で信号処理された出力信号に含まれる固定パターンノイズを除去する補正ステップと、を含む。
【0024】
前記補正ステップでは、所定の温度毎に設けられた複数の補正データの中から前記温度センサにより検出された温度に最も近い温度に対応する補正データを選択することが好ましい。
【0025】
また、前記補正ステップでは、所定の基準温度に対応する基準補正データに対して前記温度センサにより検出された温度に応じて決定される補正係数を乗じて得られるデータを前記補正データとすることが好ましい。その際、前記補正ステップでは、前記温度と前記補正係数との関係を示す補正係数テーブルに基づいて前記補正係数を決定することがより好ましい。
【発明の効果】
【0026】
本発明によれば、CMOS型のイメージセンサに温度センサが設けられ、イメージセンサ内部で温度センサの検出温度に応じて出力信号の補正処理が自己完結的に行われる。これにより、環境温度に影響を受けることなく、画素列毎に設けられる処理回路の個体差に起因する固定パターンノイズを確実に除去することが可能となる。また、1台のプロセッサ装置に対して複数の電子内視鏡が交換されて使用される場合でも、プロセッサ装置に特別な補正回路や補正メモリを追加する必要がなく、新型及び旧型のプロセッサ装置が混在していても使用可能であり、汎用性の高いシステムを構築することが可能となる。
【図面の簡単な説明】
【0027】
【図1】電子内視鏡システムの概略構成を示した全体構成図
【図2】CMOSセンサの構成例を示した構成図
【図3】電子内視鏡システムの電気的な構成を示すブロック図
【図4】固定パターンノイズを含む撮像信号の一例を示したグラフ
【図5】図4の一部を拡大して示したグラフ
【図6】半導体チップの構成例を示した概略図
【図7】補正前の撮像信号の一例を示したグラフ
【図8】オフセット誤差用の補正データを示したグラフ
【図9】補正後の撮像信号を示したグラフ
【図10】第2の実施形態に係るCMOSセンサの構成例を示した構成図
【図11】補正係数テーブルの一例を示した図
【図12】第3の実施形態に係るCMOSセンサの構成例を示した構成図
【図13】第4の実施形態に係るCMOSセンサの構成例を示した構成図
【図14】一般的なCMOSセンサの構成例を示した構成図
【図15】カラムアンプを備えたCMOSのセンサの構成例を示した構成図
【発明を実施するための形態】
【0028】
以下、添付図面に従って本発明の好ましい実施の形態について詳説する。
【0029】
(第1の実施形態)
図1に示すように、電子内視鏡システム11は、電子内視鏡12、プロセッサ装置13、光源装置14等から構成される。また、電子内視鏡12は、挿入部16、手元操作部17、ユニバーサルコード18等から構成される。
【0030】
挿入部16は、被検者の体内に挿入されるため、被検者の体内の形状に応じて自在に湾曲するように設けられている。また、挿入部16の先端部分16aには、CMOSセンサを搭載した撮像装置が内蔵されている。さらに、先端部分16aの端面には、前方に照明光を照射する照明窓や、被検者の体内からの光をCMOSセンサに導く観察窓、各種処置具が露出される鉗子出口、洗浄水や空気等が噴射される送気送水ノズル等が設けられている。
【0031】
また、先端部分16aの後方には、湾曲部19が設けられている。この湾曲部19は、複数の湾曲駒を連結されたものであり、挿入部16に挿通されたワイヤによって、手元操作部17に設けられたアングルノブ21と連結されている。したがって、湾曲部19は、手元操作部17に設けられたアングルノブ21の回動操作によって挿入部16に挿通されたワイヤが押し引きされることにより、上下左右の所望の方向に自在に湾曲する。
【0032】
手元操作部17は、前述のように湾曲部19を操作するアングルノブ21の他に、鉗子口22や、送気送水ボタン23等の各種操作ボタンが設けられている。鉗子口22には、注射針や高周波メスなどがワイヤの先端に設けられた処置具が挿通される。また、送気送水ボタン23は、図示しない送気送水装置から供給される空気や洗浄水の送気、送水を制御する。
【0033】
ユニバーサルコード18は、その基端部分に設けられたコネクタ24を介して、電子内視鏡12をプロセッサ装置13に電気的に接続するとともに、電子内視鏡12を光源装置14に光学的に接続する。
【0034】
プロセッサ装置13は、電子内視鏡12、光源装置14、モニタ26等に接続されており、電子内視鏡システム11の動作を統括的に制御する。また、光源装置14は、ユニバーサルコード18や挿入部16に挿通されたライトガイド(図3参照)を通じて、観察部位に向けて照明光を照射する。
【0035】
前述のように、電子内視鏡システム11には、イメージセンサとしてCMOSセンサ31が用いられている。CMOSセンサ31は、図2に示すように、撮像領域32、垂直走査回路33、カラムアンプ34、列選択トランジスタ36、A/D変換器(ADC)37、水平走査回路38、固定パターンノイズ除去回路80、温度センサ82等から構成される。これらの各機能部は、同一の半導体チップ(半導体基板)内に設けられている。
【0036】
撮像領域32は、画素41がマトリクス状に配列されたものであり、図示しない結像光学系により観察部位の像が結像される。画素41は、フォトダイオードD1、増幅用トランジスタM1、画素選択用トランジスタM2、リセット用トランジスタM3等から構成される。フォトダイオードD1は、光電変換によって、入射光量に応じた信号電荷を生成するとともに、これを蓄積する。フォトダイオードD1に蓄積された信号電荷は、増幅用トランジスタM1によって撮像信号として増幅され、画素選択用トランジスタM2によって、所定のタイミングで画素41外に出力される。また、フォトダイオードD1に蓄積された信号電荷は、所定のタイミングでリセット用トランジスタM3によって破棄される。
【0037】
また、撮像領域32には、垂直走査回路33から水平方向(X方向)に行選択線L1及び行リセット線L2が配線されているとともに、カラムアンプ34から垂直方向(Y方向)に列信号線L3が配線されている。
【0038】
行選択線L1は、画素選択用トランジスタM2のゲートに接続されており、行リセット線L2は、リセット用トランジスタM3のゲートに接続されている。また、列信号線L3は、画素選択用トランジスタM2のソースに接続されているとともに、カラムアンプ34を介して、対応する列の列選択トランジスタ36に接続されている。
【0039】
垂直走査回路33は、タイミングジェネレータ(TG)42から入力されるタイミング信号に基づいて、垂直走査信号を発生し、行選択線L1を1行ずつ選択して、撮像信号を列信号線L3に出力させる画素41の行(以下、水平ラインという)を変更する。また、垂直走査回路33は、水平ラインの行リセット線L2を1行ずつ選択して、信号電荷の破棄を行う水平ラインを変更する。さらに、垂直走査回路33は、行選択線L1及び行リセット線L2の選択行が撮像領域32の端に位置する水平ラインに達した場合には、先頭の水平ラインを再び選択し、上述の動作を繰り返す。
【0040】
カラムアンプ34は、カラム(列信号線L3)毎に設けられており、垂直走査回路33によって選択された行選択線L1に接続された画素41の撮像信号を増幅する。カラムアンプ34による撮像信号の増幅率は、カラムアンプ34にゲイン調節信号を入力することにより調節される。
【0041】
水平走査回路38は、TG42から入力されるタイミング信号に基づいて水平走査信号を発生し、列選択トランジスタ36のオン、オフ制御を行う。
【0042】
列選択トランジスタ36は、A/D変換器37に接続された出力バスライン43とカラムアンプ34との間に設けられており、水平走査信号に応じて、出力バスライン43に撮像信号を転送させる画素を選択する。A/D変換器37は、カラムアンプ34から出力バスライン43に順に転送される撮像信号をアナログ信号からデジタル信号に変換して出力する。
【0043】
図3に示すように、電子内視鏡12には、上述のCMOSセンサ31と、対物レンズ51、CPU52、タイミングジェネレータ(TG)42、ライトガイド53等が設けられている。
【0044】
CMOSセンサ31は、前述のように挿入部16の先端部分16aに設けられており、その前方には対物レンズ51が配置されている。挿入部16の先端部分16aの端面には観察窓54が設けられており、この観察窓54から入射する被写体からの光は、対物レンズ51によってCMOSセンサ31の撮像領域32に結像される。CMOSセンサ31は、撮像領域32に結像された被写体像を画素41毎に光電変換し、各画素41に露光量に応じた信号電荷を蓄積させ、所定のタイミングで撮像信号として出力する。CMOSセンサ31の駆動タイミングは、TG42から入力されるタイミング信号によって制御される。
【0045】
CPU52は、プロセッサ装置13のCPU61と通信を行い、電子内視鏡12の各部を統括的に制御する。例えば、CPU52は、プロセッサ装置13のCPU61からの信号に基づき、TG42に所定のタイミング信号を生じさせることによって、CMOSセンサ31の動作を制御する。また、CPU52は、カラムアンプ34にゲイン調節信号を入力することにより、CMOSセンサ31から増幅率を調節して撮像信号を出力させる。
【0046】
ライトガイド53は、ユニバーサルコード18や挿入部16の内部に挿通されており、一端が挿入部16の先端部分16aの端面に設けられた照明窓56に接続され、他端は光源装置14に接続されている。光源装置14からの照明光は、ライトガイド53を通じて、照明窓56から観察部位へと照射される。
【0047】
また、図3に示すように、プロセッサ装置13は、CPU61、DSP62、D/A変換回路63、RAM64等から構成される。
【0048】
CPU61は、プロセッサ装置13の各部の動作を制御するとともに、電子内視鏡12のCPU52や光源装置14のCPU71と通信して、電子内視鏡12や光源装置14の動作を制御することにより、電子内視鏡システム11を統括的に制御する。
【0049】
DSP62は、CMOSセンサ31から出力された撮像信号に対して、色補間、ホワイトバランス調整、ガンマ補正等の各種信号処理を施す。CMOSセンサ31から出力された撮像信号は、DSP62によって各種画像処理が施されると、画像データとしてRAM64に保持される。また、DSP62は、RAM64から必要な画像データを読み出して、NTSC信号等の映像信号に変換し、D/A変換回路63によってD/A変換することにより、画像データをモニタ26上に表示させる。
【0050】
また、図3に示すように、光源装置14は、CPU71、光源72、波長選択フィルタ73等から構成される。CPU71は、プロセッサ装置13のCPU61と通信し、CMOSセンサ31の駆動タイミング等に応じて、光源72や波長選択フィルタ73を駆動することにより、光源装置14を制御する。
【0051】
光源72は、キセノンランプやハロゲンランプ等の広い波長帯にわたって高輝度の光を発する高輝度光源であり、CPU71によって点灯消灯の切り替えが制御される。また、光源72から発せられた光は、集光レンズ74によってライトガイド53に効率良く導かれる。
【0052】
波長選択フィルタ73は、光源72から発せられた光を、特定の波長帯の光に制限するフィルタであり、CPU71からの指示に基づいて、光源72と集光レンズ74の間に挿入、又は退避される。これにより、光源装置14は、設定や医師の操作等、必要に応じて照明光の波長帯を自在に切り替えられるようになっている。例えば、光源装置14は、単に白色の可視光を出力するだけでなく、赤外光等の可視光以外の光や、可視光のRGB成分の比率を調節した特殊光を出力することができるようになっている。
【0053】
このように構成される電子内視鏡システム11では、CMOSセンサ31にはカラム毎にカラムアンプ34が設けられるため(図2参照)、各カラムアンプ34の個体差によって各画素41が一様に露光されたとしてもカラム毎に出力がばらつき、CMOSセンサ31から出力される撮像信号に固定パターンノイズ(縦筋状ノイズ)が付加される要因となる。
【0054】
図4は、固定パターンノイズが付加された撮像信号における水平方向の1ライン分のデータの一例を示したグラフである。図5は、図4の一部を拡大して示したグラフである。図4及び図5において、横軸は水平方向の画素番号、縦軸は画素の出力値(画素値)を表している。また、CMOSセンサ31周辺の環境温度を24℃、36℃、45℃、57℃に変化させたときのデータがそれぞれ示されている。なお、ここでは、ランダムノイズを除去するため、各画素の出力値については10ライン分の平均値をとっている。
【0055】
図4及び図5に示すように、各画素の実際の出力値は、各カラムアンプ34の個体差がないとしたときの各画素の理想的な出力値(本例では64)よりも大きかったり、小さかったりしている。このような各画素の出力値のばらつきは、カラム毎に設けられるカラムアンプ34の性能ばらつきによって発生する。また、各カラムアンプ34の温度特性のばらつきによって、各画素の出力値が温度毎にばらついている。なお、図4及び図5に示した例では、温度が低いときほど各画素の出力値のばらつきが大きくなっているが、本例に限られるものではない。これらのことから、固定パターンノイズを確実に除去するためには、CMOSセンサ31周辺の環境温度に応じて補正することが有効である。
【0056】
そこで本実施形態では、図2に示すように、CMOSセンサ31と同一の半導体チップ内に固定パターンノイズ除去回路80及び温度センサ82を設け、環境温度に応じてCMOSセンサ31から出力される撮像信号に含まれる固定パターンノイズを除去する補正処理が自己完結的に行われるようになっている。なお、各カラムアンプ34間の固体差としてはオフセット誤差とゲイン誤差があるが、ここでは、説明の便宜上、オフセット誤差のみを補正する場合を例にして説明する。なお、ゲイン誤差を補正する態様については後述する。
【0057】
固定パターンノイズ除去回路80は、A/D変換器37の後段に設けられ、複数のラインメモリ84A〜84C、減算器86、ラインメモリ切替部88等から構成される。ラインメモリ84A〜84Cには、それぞれ所定の温度(例えば30℃、40℃、50℃)に対応したオフセット誤差用の補正データが予め記憶されている。これらの補正データは、後述するラインメモリ切替部88の切替状態に応じて減算器86に供給される。なお、図2では3つのラインメモリ84A〜84Cを備えた構成を例示したが、ラインメモリの数は特に限定されるものではない。ただし、ラインメモリの数が多いと、きめ細かい温度毎に補正データをラインメモリに記憶させておくことが可能になる反面、CMOSセンサチップの大型化を招くことから、ラインメモリの数はなるべく少ない方が好ましい。
【0058】
オフセット誤差用の補正データの作成方法としては、まず、所定の温度条件(例えば30℃)の環境下でCMOSセンサ31を備えた撮像装置にて遮光状態又は一定光量の被写体を撮影する。このとき黒い被写体以外を撮影する場合には光源やレンズのシェーディングの影響を抑えるためにシェーディング補正を行うことが好ましい。
【0059】
次に、CMOSセンサ31において水平ラインの数〜数十ライン分の平均値を求め、これを1ライン分のラインデータとする。このように複数ライン分の平均値をとることによってランダムノイズによる影響を軽減することができ、より精度の高い補正データを作成することが可能となる。続いて、前記ラインデータの全体平均値を求める。そして、前記ラインデータから全体平均値を差し引くことにより、オフセット誤差用の補正データが求められる。以上の処理を温度条件を変えながら複数回繰り返し行う。
【0060】
こうして求められたオフセット誤差用の補正データは、温度条件毎にそれぞれ対応したラインメモリ84A〜84Cに書き込み処理される。なお、これらの処理についてはCMOSセンサ31の製造時に行われるものであるが、これに限定されず、電子内視鏡12の使用時又は保管時に定期的に行うようにしてもよい。
【0061】
ラインメモリ切替部88は、ラインメモリ84A〜84Cと減算器86との間に設けられた切替スイッチを含んで構成され、温度センサ82の検出温度に応じてラインメモリ84A〜84Cの中から減算器86に接続されるラインメモリを選択する。
【0062】
減算器86は、A/D変換器37の出力信号とラインメモリ切替部88により選択されたラインメモリから供給される補正データとの差分を出力する。
【0063】
温度センサ82は、前述のようにCMOSセンサ31と同一の半導体チップ内に設けられ、CMOSセンサ31が配置される挿入部16の先端部分16aの内部の温度を検出する。温度センサ82の検出温度はラインメモリ切替部88に通知される。
【0064】
温度センサ82が配置される位置としては、CMOSセンサ31と同一半導体チップ内に設けられるものであれば特に限定されるものではないが、本実施形態では好ましい態様として、図6に示すような半導体チップ100内の周辺回路領域106に搭載された専用の温度センサ用ダイオードにより構成される。また、他の好ましい態様として、撮像領域32において有効画素領域102の周辺部に配置される無効画素領域104の無効画素(オプティカルブラック)のフォトダイオードD1を温度センサとして用いる態様や、無効画素領域104における1ライン分の無効画素の出力値を平均化したものを温度情報として利用する態様等がある。いずれの態様においても、CMOSセンサ31と同一の半導体チップ内に温度センサ82を配置することが可能であり、挿入部16の先端部分16aに実装可能である。
【0065】
上記のように構成された電子内視鏡システム11で体腔内を観察する際には、電子内視鏡12、光源装置14、及びモニタ26の電源をオンにして、電子内視鏡12の挿入部16を体腔内に挿入し、光源装置14からの照明光で体腔内を照明しながら、CMOSセンサ31により撮像される体腔内の画像をモニタ26で観察する。
【0066】
このとき、CMOSセンサ31の各画素41から出力された撮像信号は、カラム毎に設けられるカラムアンプ34にて増幅された後、A/D変換器37にてアナログ信号からデジタル信号に変換されて出力される。A/D変換器37から出力された撮像信号は固定パターンノイズ除去回路80の減算器86に入力される。このとき、固定パターンノイズ除去回路80の減算器86に入力される撮像信号の一例を図7に示す。図7に示した撮像信号は、各カラムアンプ34のオフセット誤差によって、本来、水平方向に平坦となる部分が波打ち状になってしまっている。
【0067】
一方、温度センサ82の検出温度(挿入部16の先端部分16aの内部温度)はラインメモリ切替部88に通知されると、ラインメモリ切替部88では、温度センサ82の検出温度に応じてラインメモリ84A〜84Cの中から所定のラインメモリが選択される。
【0068】
ここで、ラインメモリの切替方法としては、各ラインメモリ84A〜84Cの中に温度センサ82の検出温度に対応する補正データが記憶されるラインメモリが存在する場合にはそのラインメモリが選択される。例えば、前述のようにラインメモリ84A〜84Cに30℃、40℃、50℃に対応した補正データが記憶されている場合、温度センサ82の検出温度が30℃のときは減算器86の接続先としてラインメモリ84Aが選択される。
【0069】
また、温度センサ82の検出温度に対応する補正データが記憶されるラインメモリが存在しない場合には、一番近い温度に対応する補正データが記憶されるラインメモリが選択される。例えば前述の例の場合、温度センサ82によって検出された温度が36℃のときは減算器86の接続先としてラインメモリ84Bが選択される。
【0070】
なお、ラインメモリの切替方法としては前述の方法に限らず、温度センサ82の検出温度が予め用意されている補正データの対応温度と一致しない場合には、各ラインメモリ84A〜84Cに記憶されている温度毎の補正データを補間処理して得られる補間後の補正データとして減算器86に供給するようにしてもよい。例えば前述の例において35℃の場合には、30℃の補正データと40℃の補正データの中間値が補正データとして用いられる。
【0071】
このようにしてラインメモリ切替部88にてラインメモリの切り替えが行われると、減算器86には、温度センサ82の検出温度に応じた補正データがラインメモリから供給される。このとき、減算器86に供給される補正データの一例を図8に示す。図8に示した補正データは、縦軸方向の0の位置を基準としたときのオフセット誤差の大きさを示している。
【0072】
減算器86では、A/D変換器37から出力された撮像信号から補正データが差し引かれた補正後の撮像信号が出力される。このとき、減算器86から出力される撮像信号の一例を図9に示す。図9に示した撮像信号は、図7に示した撮像信号から図8の補正データを差し引くことにより得られるものであり、各カラムアンプ34のオフセット誤差に起因する固定パターンノイズが除去されている。
【0073】
このようにしてCMOSセンサ31から固定パターンノイズ除去回路80にて固定パターンノイズが除去された補正後の撮像信号が出力され、ユニバーサルコード18を介してプロセッサ装置13に伝送される。
【0074】
プロセッサ装置13は、CMOSセンサ31から出力された撮像信号をDSP62で受け、DSP62により画像データに変換され、モニタ26に画像表示が行われる。
【0075】
本実施形態の電子内視鏡12によれば、CMOSセンサ31には同一の半導体チップ内に固定パターンノイズ除去回路80及び温度センサ82が設けられ、温度センサ82の検出温度に応じた撮像信号の補正処理が自己完結的に行われる。これにより、環境温度に影響を受けることなく各カラムアンプ34の個体差に起因する固定パターンノイズを確実に除去することが可能となる。また、1台のプロセッサ装置13に対して複数の電子内視鏡12を交換して使用する場合でも、プロセッサ装置13に新たな補正機能や補正データを追加する必要がなく、新型及び旧型のプロセッサ装置13を混在して使用することが可能であり、汎用性の高いシステムを構築することが可能となる。
【0076】
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。以下、第1の実施形態と共通する部分については説明を省略し、本実施形態の特徴的部分を中心に説明する。
【0077】
第2の実施形態は、固定パターンノイズ除去回路80に備えられるラインメモリの数が複数でなく1つである点で第1の実施形態と異なる。
【0078】
図10は、第2の実施形態に係るCMOSセンサ31の構成例を示した概略構成図である。図10中、図2と共通又は類似する構成要素には同一の符号を付している。
【0079】
図10に示すように、固定パターンノイズ除去回路80は、ラインメモリ84、減算器86、係数決定部89、乗算器90等から構成される。ラインメモリ84には、所定の基準温度(例えば30℃)に対応した基準補正データが予め記憶されている。ラインメモリ84に記憶されている基準補正データは乗算器90に供給される。
【0080】
係数決定部89は、温度と補正係数との関係を示す補正係数テーブルを備え、当該補正係数テーブルに基づき温度センサ82の検出温度から補正係数を決定し、その決定された補正係数を乗算器90に供給する。
【0081】
ここで、係数決定部89に設けられる補正係数テーブルの一例を図11に示す。図11に示した補正係数テーブルは、基準温度が30℃であり、そのときの補正係数が1.000となっている。そして、温度が30℃よりも大きくなるにつれて補正係数は次第に小さくなり、温度が30℃よりも小さくなるにつれて補正係数は次第に大きくなっている。このような温度毎の補正係数は予め求めておく。
【0082】
なお、説明の便宜上、温度が5℃毎に設定されているが、その間隔は特に限定されるものでなく、その間隔は5℃よりも小さくても大きくてもよい。また、補正係数テーブルの中に温度センサ82の検出温度と一致する温度がなかった場合には、最も近い温度に対応する補正係数を用いるか、或いは、温度センサ82の検出温度に対応する補正係数を補間処理で算出するようにしてもよい。
【0083】
乗算器90は、ラインメモリ84から供給される基準補正データに係数決定部89で決定された補正係数を乗じて得られる補正データを出力する。乗算器90から出力される補正データは減算器86に供給される。
【0084】
減算器86では、A/D変換器37から出力される撮像信号から乗算器90から与えられた補正データを差し引くことによって得られる補正後の撮像信号が出力される。
【0085】
このように第2の実施形態によれば、固定パターンノイズ除去回路80には1つのラインメモリ84が設けられ、ラインメモリ84上の基準補正データに温度センサ82の検出温度に応じて決定される補正係数を乗じることによって得られる補正データに基づいて固定パターンノイズの除去処理が行われる。特に本実施形態は、各カラムアンプ34のオフセット誤差が温度に応じて線形に変化する場合に好適であり、第1の実施形態に比べてラインメモリの数を減らすことができ、回路構成を簡易なものとすることができる。これによって、電子内視鏡12の挿入部16の先端部分における細径化を図ることが可能となる。
【0086】
(第3の実施形態)
次に、本発明の第3の実施形態について説明する。以下、第1又は第2の実施形態と共通する部分については説明を省略し、本実施形態の特徴的部分を中心に説明する。
【0087】
第1及び第2の実施形態では、固定パターンノイズの主な発生要因が各カラムアンプ34のオフセット誤差である場合に好適な態様であるのに対し、第3の実施形態では、その発生要因が各カラムアンプ34のゲイン誤差である場合に好適な態様である。
【0088】
図12は、第3の実施形態に係るCMOSセンサ31の構成例を示した概略構成図である。図12中、図2と共通又は類似する構成要素には同一の符号を付している。
【0089】
図12に示すように、固定パターンノイズ除去回路80は、ゲイン誤差用補正データ供給部92、乗算器94等から構成される。
【0090】
ゲイン誤差用補正データ供給部92は、温度センサ82の検出温度を取得すると、その検出温度に応じたゲイン誤差補正用の補正データを乗算器94に供給する。ゲイン誤差用補正データ供給部92の構成としては、例えば、第1の実施形態のように複数のラインメモリ84A〜84C、ラインメモリ切替部88等から構成してもよいし(図2参照)、第2の実施形態のように1つのラインメモリ84、係数決定部89、乗算器90等から構成してもよい(図10参照)。ゲイン誤差補正用の補正データとしては、各カラムアンプ34のアンプゲインを平均ゲイン値で割った(すなわち、規格化した)データを用いればよい。
【0091】
乗算器94では、A/D変換器37から出力される撮像信号に補正データ供給部92から供給されるオフセット誤差用の補正データを乗じて得られる補正後の撮像信号が出力される。
【0092】
このように第3の実施形態によれば、環境温度に影響されることなく、各カラムアンプ34のゲイン誤差に起因する固定パターンノイズを確実に除去することが可能となる。
【0093】
(第4の実施形態)
次に、本発明の第4の実施形態について説明する。以下、第1〜第3の実施形態と共通する部分については説明を省略し、本実施形態の特徴的部分を中心に説明する。
【0094】
第4の実施形態は、固定パターンノイズの発生要因が各カラムアンプ34のオフセット誤差とゲイン誤差の両方である場合に好適な態様である。
【0095】
図13は、第4の実施形態に係るCMOSセンサ31の構成例を示した概略構成図である。図13中、図2と共通又は類似する構成要素には同一の符号を付している。
【0096】
図13に示すように、固定パターンノイズ除去回路80は、オフセット誤差用補正データ供給部96、ゲイン誤差用補正データ供給部92、減算器86、乗算器94等から構成される。図13に示した例では、A/D変換器37の後段に、乗算器94、減算器86が順に配置されているが、これらは逆の順序で配置されていてもよい。
【0097】
オフセット誤差用補正データ供給部96は、前述のゲイン誤差用補正データ供給部92と同様に、第1又は第2の実施形態と同様な構成が適用される。
【0098】
第4の実施形態によれば、環境温度に影響されることなく、各カラムアンプ34のオフセット誤差及びゲイン誤差に起因する固定パターンノイズを確実に除去することが可能となる。
【0099】
なお、上述した各実施形態では、CMOSセンサ31においてカラム毎に設けられる処理回路としてカラムアンプ34が設けられた構成を示したが、これに限らず、カラム毎にA/D変換器やその他処理回路が設けられた構成に対しても本発明を好適に適用することが可能である。
【0100】
以上、本発明の電子内視鏡及び固定パターンノイズ除去方法について詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいのはもちろんである。
【符号の説明】
【0101】
11…電子内視鏡システム、12…電子内視鏡、13…プロセッサ装置、14…光源装置、16…挿入部、16a…先端部分、17…手元操作部、26…モニタ、31…CMOSセンサ、32…撮像領域、33…垂直走査回路、34…カラムアンプ、37…A/D変換機、38…水平走査回路、41…画素、42…TG、52…CPU、80…固定パターンノイズ除去回路、82…温度センサ、84、84A、84B、84C…ラインメモリ、86…減算器、88…ラインメモリ切替部、89…係数決定部、92…ゲイン誤差用補正データ供給部、94…オフセット誤差用補正データ供給部、100…半導体チップ、102…有効画素領域、104…無効画素領域、106…周辺回路領域

【特許請求の範囲】
【請求項1】
被検体内に挿入される挿入部の先端に設けられ、前記被検体内を撮像するCMOS型のイメージセンサを備えた電子内視鏡であって、
前記イメージセンサは、
行方向とこれに直交する列方向に配列された複数の画素部と、
前記列方向に並ぶ画素列毎に並列的に設けられ、前記画素列に配列された前記画素部から出力される出力信号に所定の信号処理を施す複数の処理回路と、
前記挿入部の先端の温度を検出する温度センサと、
前記温度センサにより検出された温度に応じた補正データを供給する補正データ供給部と、
前記補正データ供給部から供給される補正データに基づいて、前記複数の処理回路で信号処理された出力信号に含まれる固定パターンノイズを除去する補正回路と、
を備える電子内視鏡。
【請求項2】
前記複数の画素部、前記複数の処理回路、前記温度センサ、前記補正データ供給部、及び前記補正回路は、同一の半導体チップ内に設けられている請求項1に記載の電子内視鏡。
【請求項3】
前記補正データ供給部は、複数の補正データを所定の温度毎に備え、前記複数の補正データのうち、前記温度センサにより検出された温度に最も近い温度に対応する補正データを選択して供給する請求項1又は2に記載の電子内視鏡。
【請求項4】
前記補正データ供給部は、所定の基準温度に対応する基準補正データを備え、前記温度センサにより検出された温度に応じて決定される補正係数を前記基準補正データに乗じて得られるデータを前記補正データとして供給する請求項1又は2に記載の電子内視鏡。
【請求項5】
前記補正データ供給部は、前記温度と前記補正係数との関係を示す補正係数テーブルを備え、前記補正係数テーブルに基づいて前記補正係数を決定する請求項4に記載の電子内視鏡。
【請求項6】
前記温度センサは、前記複数の画素部のうち前記被検体内の撮像に寄与しない無効画素部に配置される光電変換素子を用いて構成される請求項1〜5のいずれか1項に記載の電子内視鏡。
【請求項7】
前記温度センサは、複数の前記無効画素部から出力される出力信号を平均化したものを温度情報として用いる請求項6に記載の電子内視鏡。
【請求項8】
前記補正回路は、前記複数の処理回路のオフセット誤差及びゲイン誤差の少なくとも一方の誤差に起因する固定パターンノイズを除去する回路である請求項1〜7のいずれか1項に記載の電子内視鏡。
【請求項9】
被検体内に挿入される電子内視鏡の挿入部の先端に設けられ、前記被検体内を撮像するCMOS型のイメージセンサの出力信号から固定パターンノイズを除去する固定パターンノイズ除去方法であって、
前記イメージセンサは、行方向とこれに直交する列方向に配列された複数の画素部と、前記列方向に並ぶ画素列毎に並列的に設けられ、前記画素列に配列された前記画素部から出力される出力信号に所定の信号処理を施す複数の処理回路と、を備え、
前記イメージセンサと一体的に設けられた温度センサによって前記挿入部の先端の温度を検出する検出ステップと、
前記イメージセンサと一体的に設けられる周辺回路において、前記温度センサにより検出された温度に応じた補正データに基づいて、前記複数の処理回路で信号処理された出力信号に含まれる固定パターンノイズを除去する補正ステップと、
を含む固定パターンノイズ除去方法。
【請求項10】
前記補正ステップでは、所定の温度毎に設けられた複数の補正データの中から前記温度センサにより検出された温度に最も近い温度に対応する補正データを選択する請求項9に記載の固定パターンノイズ除去方法。
【請求項11】
前記補正ステップでは、所定の基準温度に対応する基準補正データに対して前記温度センサにより検出された温度に応じて決定される補正係数を乗じて得られるデータを前記補正データとする請求項9に記載の固定パターンノイズ除去方法。
【請求項12】
前記補正ステップでは、前記温度と前記補正係数との関係を示す補正係数テーブルに基づいて前記補正係数を決定する請求項11に記載の固定パターンノイズ除去方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate


【公開番号】特開2013−90750(P2013−90750A)
【公開日】平成25年5月16日(2013.5.16)
【国際特許分類】
【出願番号】特願2011−234233(P2011−234233)
【出願日】平成23年10月25日(2011.10.25)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】