内視鏡装置
【課題】温度の他に露光時間が変化した場合にも、ノイズを除去して画質の良い画像を生成できる内視鏡装置を提供する。
【解決手段】挿入部の先端部に設けたＣＣＤ１２の有効撮像領域により被写体像を撮像した信号から画像データを生成するＡＦＥ３２と、有効撮像領域を遮光した状態で生成された黒画像データを保持する黒画像保持部３３と、ＣＣＤ１２の温度及び露光時間の情報とからノイズ除去するための補正係数を保持する補正係数保持部３５と、黒画像データから抽出したノイズと、補正係数とから補正データを生成する補正データ生成部３４と、画像データから補正データを減算してノイズ除去した補正画像データを生成する処理を行う画像補正処理部３６とを有する。
【解決手段】挿入部の先端部に設けたＣＣＤ１２の有効撮像領域により被写体像を撮像した信号から画像データを生成するＡＦＥ３２と、有効撮像領域を遮光した状態で生成された黒画像データを保持する黒画像保持部３３と、ＣＣＤ１２の温度及び露光時間の情報とからノイズ除去するための補正係数を保持する補正係数保持部３５と、黒画像データから抽出したノイズと、補正係数とから補正データを生成する補正データ生成部３４と、画像データから補正データを減算してノイズ除去した補正画像データを生成する処理を行う画像補正処理部３６とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡に設けられた撮像手段により撮像した画像を内視鏡画像として表示する内視鏡装置に関する。
【背景技術】
【０００２】
近年、内視鏡装置は医療用分野及び工業用分野において広く採用されるようになっている。このような内視鏡装置は、細長の挿入部の先端部に固体撮像素子が設けられている。
この固体撮像素子は光電変換を行い、その電荷を蓄えるフォトダイオード部、蓄えられた電荷を順次転送していく転送部、転送された電荷を電圧に変換するアンプ部を有する。フォトダイオード部は入射した光に比例した電荷を光電変換して出力する。
また、その光電変換した電荷は、出力までの間、固体撮像素子の内部、又は外部からの熱の影響により、暗電流ノイズ、固定パターンノイズなどのノイズ成分を有する信号として出力する。
【０００３】
また、前記固体撮像素子は前記ノイズ成分を有する信号は、固体撮像素子の露光時間に比例して電荷を蓄積するため、前記ノイズ成分を有した信号もノイズも比例して増加する特徴がある。
内視鏡装置は、医療用分野においては、体腔内に細長の挿入部を挿入することにより、体腔内臓器等を観察したり、必要に応じ処置具チャンネル内に挿通した処置具を用いて各種治療処置のできる装置として広く利用されている。
また、工業用分野においても、ボイラ、タービン、エンジン、化学プラント等の検査対象物内部の傷、腐食等の観察、検査に工業用内視鏡を用いた内視鏡装置が幅広く用いられている。
上述のように使用される内視鏡においては、挿入部の先端部に被写体の光学像を画像信号に光電変換するＣＣＤなどの撮像素子を配設した電子内視鏡（以下内視鏡と略記する）がある。
【０００４】
この内視鏡では、光源装置等から供給される照明光によって照明した観察部位等の被写体の光学像を撮像素子の撮像面に結像させ、この撮像素子で光電変換した被写体像の画像信号を外部装置であるカメラコントロールユニット（以下ＣＣＵと略記する）の信号処理部に伝達して映像信号を生成し、モニタ画面上に内視鏡画像を表示させて観察を行う構成になっていた。
上記内視鏡装置としては、例えば、先端部に被写体像を撮像する固体撮像素子を備えた撮像部と、被写体を照明する照明部と、電源及び信号処理部を有する制御部（又は本体部）とから構成されている場合もある。制御部と、撮像部及び照明部とは複数の電線からなるケーブルで接続されており、このケーブルを介して、制御部から撮像部及び照明部に対する電力供給と、撮像部を制御する制御信号及び撮像部からの映像信号等の送受信が行われている。
【０００５】
一方、特開２００４−２３７６４号公報に記載されている従来例においては、固体撮像素子の遮光部分から読み出した信号に対して温度に依存する依存値を算出する算出手段と、前記固体撮像素子が駆動される基準条件下での基準ノイズパターン情報を記憶する記憶手段と、前記記憶手段に記憶された前記基準ノイズパターン情報と、撮像条件の前記算出手段で算出した前記依存値とから、該当する撮像条件下でのノイズパターンを算出するノイズ算出手段とを有し、前記固体撮像素子で得た画像信号から、前記ノイズ算出手段で算出したノイズパターンを除去するものが開示されている。
工業用分野で使用される内視鏡の中には、動作直後のエンジン内部やガスタービン、化学プラントの配管など、高温環境のもとで検査に使用される用途があり、工業用内視鏡は100℃を超える使用環境温度を満たさなければならない。
【０００６】
また、工業用内視鏡は固体撮像素子を覆う挿入部の直径が細いため、十分な防熱がし難く、固体撮像素子が高温環境に曝される場合がある。また、工業用内視鏡は一般的に暗い場所で使用されるため、露光時間を長くして、明るさをかせぐ駆動方法である、長時間露光を採用する場合もある。
そのため、医療用内視鏡や一般的なデジタルカメラより、ノイズが多く発生する問題があった。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
これに対して、上記特開２００４−２３７６４号公報に記載の画像処理装置による従来例のノイズ除去方法では、温度変化に応じて変化するノイズには有効であるが、露光時間の変化に対して変化するノイズ除去ができないため、出力される画像データにノイズが残ってしまう課題があった。
本発明は、上述した点に鑑みてなされたもので、温度の他に露光時間が変化した場合にも、ノイズを除去して画質の良い画像を生成できる内視鏡装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の内視鏡装置は、内視鏡挿入部の先端部に配置された固体撮像素子を用いて被写体像を撮像する撮像手段と、前記固体撮像素子の温度を取得する温度情報取得手段と、前記撮像手段の出力信号から、被写体像に対応する画像データを生成する画像データ生成手段と、前記固体撮像素子の有効撮像領域を遮光した際に前記画像データ生成手段から得られる黒画像データを補正情報として保持する黒画像保持手段と、前記固体撮像素子が撮像を行う露光時間及び温度情報に基づいて、ノイズ除去の補正処理を行う際の補正係数を保持する補正係数保持手段と、前記黒画像データから抽出したノイズと前記補正係数に基づいて、前記画像データを補正するための補正データを生成する補正データ生成手段と、前記画像データから前記補正データを減算し、前記露光時間及び前記温度に依存したノイズを除去した補正画像データを生成する画像補正処理手段と、を具備することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、温度の他に露光時間が変化した場合にも、ノイズを除去して画質の良い画像を生成できる。
【図面の簡単な説明】
【００１０】
【図１】図１は本発明の第１の実施形態の内視鏡装置の全体構成を示す図。
【図２】図２は画像処理部の構成を示すブロック図。
【図３】図３はＣＣＤの撮像面の有効撮像領域等を示す図。
【図４】図４は補正係数保持部に保持されている温度用補正係数のデータの例を示す図。
【図５】図５は露光時間と温度の情報に応じてノイズを除去した補正画像データを生成する処理手順を示すフローチャート。
【図６】図６は露光時間と温度の変化に応じて補正係数を変更してノイズを除去した補正画像データを生成する処理手順を示すフローチャート。
【図７】図７は図６における動作説明図。
【図８】図８は本発明の第２の実施形態における画像処理部の構成を示すブロック図。
【図９】図９はノイズ種類判別部によるノイズ判別の動作説明図。
【図１０】図１０は第２の実施形態の補正画像データを生成する処理手順を示すフローチャート。
【図１１】図１１は第２の実施形態の変形例における画像処理部の構成を示すブロック図。
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の実施形態を説明する。
（第１の実施形態）
図１に示すように本発明の第１の実施形態の内視鏡装置１は、ジェットエンジン等の検査対象物内に挿入される内視鏡挿入部（以下、単に挿入部と略記）２と、この挿入部２の基端に設けられた内視鏡装置本体部（以下、単に本体部と略記）３と、この本体部３により生成された映像信号が入力されることにより、該映像信号の画像を内視鏡画像として表示する表示手段としての液晶モニタ４と、操作者が各種の指示操作を行うリモートコントローラ（以下、リモコンと略記）５と、を有する。
検査対象物内に挿入される細長の挿入部２における先端部６には、照明窓と観察窓とが設けられている。照明窓には、照明部を形成する例えば白色で発光する発光ダイオード（ＬＥＤと略記）７が取り付けられている。このＬＥＤ７は挿入部２内を挿通された駆動ケーブル８を介して、本体部３内のＬＥＤ駆動部９に接続される。ＬＥＤ駆動部９は、ＬＥＤ７を発光させるＬＥＤ駆動信号を出力する。
【００１２】
観察窓には、対物レンズ１１が取り付けられており、対物レンズ１１は、ＬＥＤ７の白色の照明光により照明される検査対象物内の被写体像を光電変換する固体撮像素子としての例えば電荷結合素子（ＣＣＤと略記）１２の撮像面に結像する。対物レンズ１１とＣＣＤ１２とにより被写体像を撮像する撮像手段としての撮像部１０が形成される。
ＣＣＤ１２は挿入部２内に挿通された複合同軸ケーブル１３を介して、本体部３内の画像処理部１４におけるＣＣＤ駆動部１５及びプリアンプ１６に接続される。なお、画像処理部１４として、ＣＣＤ駆動部１５を含まない構成にしても良い。また、プリアンプ１６も、画像処理部１４内に設ける代わりに、先端部６内部に設けるようにしても良い。また、複合同軸ケーブル１３が駆動ケーブル８を含む構成にしても良い。
【００１３】
ＣＣＤ駆動部１５は、ＣＣＤ１２を駆動するＣＣＤ駆動信号を複合同軸ケーブル１３を介してＣＣＤ１２に印加する。ＣＣＤ１２は、ＣＣＤ駆動信号の印加により、光電変換して蓄積した信号電荷をＣＣＤ１２の出力信号として出力する。従って、時間的に隣接して出力されるＣＣＤ駆動信号の時間間隔が、実際にＣＣＤ１２により被写体像を撮像（光電変換）した信号電荷量を決定する露光時間に相当する。
画像処理部１４は、ＣＣＤ１２の出力信号に対する画像処理を行い、ＣＣＤ１２の撮像面に結像された被写体像に対応する画像の映像信号を生成し、画像記録部１７に出力する。この画像記録部１７には、画像を記録する記録媒体１８が着脱自在に装着される。
【００１４】
また、画像処理部１４は、図２を参照して後述するように、ＣＣＤ１２の出力信号に対して、露光時間と温度の変化に対応して、ノイズを除去する画像処理を行うことにより、画質の良い画像を生成する画像処理を行う。
また、挿入部２の先端部６内には、ＣＣＤ１２の温度を検知する温度センサ１９が設けてあり、この温度センサ１９により検知された信号は、挿入部２内を挿通されたケーブル２０を介して、画像処理部１４内に設けたＣＰＵ２１に入力される。
ＣＰＵ２１は、温度センサ１９を介してＣＣＤ１２の温度情報を取得する温度情報取得手段としての温度情報取得部２１ａの機能を持つ。
【００１５】
また、このＣＰＵ２１は、ＣＣＤ１２の有効撮像領域１２ｂにより実質的に撮像又は光電変換する時間としての露光時間を可変調整する露光時間調整部２１ｂ（図２参照）の機能を有する。換言すると、本内視鏡装置１は、撮像手段を形成する固体撮像素子の有効撮像領域により、被写体像を撮像する露光時間を可変調整（又は変更）する露光時間調整手段としての露光時間調整部２１ｂを有する。
なお、ＬＥＤ駆動部９は、照明部を形成するＬＥＤ７を常時、発光させるＬＥＤ駆動信号を出力するが、ＣＣＤ１２が実質的に撮像する露光時間のみＬＥＤ７を発光させて被写体側を照明するように、例えばＣＰＵ２１が制御する構成にしても良い。
画像処理部１４（のＣＰＵ２１）は、本体部３の制御を行うシステム制御部２２と通信を行う。
【００１６】
また、システム制御部２２は、リモコン５からの指示入力（画像の拡大指示信号としてのZOOM信号、静止画の指示信号としてのFREEZE信号、画像のコントラスト補正設定、ガンマ補正設定、Brightness設定等）を受け取り、指示入力に対応した指示内容を画像処理部１４に対して出力する。画像処理部１４は、指示内容に従って各種の画像処理を行う事となる。
上記画像記録部１７は、記録媒体１８が装着されている場合に、入力された画像を静止画及び動画として記録媒体１８に記録する事が可能である。その際にはシステム制御部２２がリモコン５からの入力に基づき、画像記録部１７に対し、指示を出す事となる。
【００１７】
また、画像処理部１４から出力される映像信号は、画像記録部１７を通って画像表示手段としての液晶モニタ４に入力され、液晶モニタ４は、この映像信号に対応する画像を表示する。また、液晶モニタ４は、リモコン５から記録媒体１８に記録された記録画像の再生指示がされた場合には記録画像を表示する。
図２は画像処理部１４の構成の詳細を示す。
画像処理部１４は、ＣＰＵ２１の制御に従って各種のタイミング信号を発生するタイミングジェネレータ３１を有し、このタイミングジェネレータ３１からのタイミング信号に基づいてＣＣＤ駆動部１５は、ＣＣＤ駆動信号をＣＣＤ１２に出力する。
ＣＣＤ１２は、光電変換した信号をプリアンプ１６に出力し、プリアンプ１６により増幅された信号はアナログフロントエンド（ＡＦＥと略記）３２に出力する。
【００１８】
このＡＦＥ３２は、ＣＣＤ１２のアナログの出力信号から相関二重サンプリング（ＣＤＳ）処理等を行って、ＣＣＤ１２の撮像面に結像された被写体像に対応する信号成分を抽出した後、Ａ／Ｄ変換してデジタルの画像データを生成する。
このＡＦＥ３２は、被写体像に対応する画像データを生成又は取得する画像データ生成手段又は画像データ取得手段を形成する。
ＡＦＥ３２から出力される画像データは、ＣＰＵ２１と、ＣＣＤ１２から黒画像データを保持（又は取得）する黒画像保持手段としての黒画像保持部３３とに出力される。
ＣＰＵ２１は、ＡＦＥ３２から出力される被写体像に対応する画像データにおける例えば平均の輝度値を算出し、所定の輝度範囲と比較して、平均の輝度値が所定の輝度範囲内となるように露光時間を調整、換言するとＣＣＤ駆動信号の周期を可変制御する。
例えば、大きな空洞内において遠方の被写体を撮像するような場合には、ＬＥＤ７による照明光量では、標準的な露光時間の状態では、各フレームの平均の輝度値のレベルが所定の輝度範囲から小さい方向に逸脱、つまり平均の輝度値のレベルが不足する場合が発生する。
【００１９】
このような場合には、ＣＰＵ２１（の露光時間調整部２１ｂ）は、露光時間（１フレームを撮像する撮像時間）を長くすることによりＡＦＥ３２を経て生成される画像データの輝度値のレベルを高め、その場合の平均の輝度値のレベルが所定の輝度範囲内となるように調整する。一方、ＬＥＤ７による照明光量が不足しない場合には、ＣＰＵ２１は、長い露光時間としないで短い露光時間に調整する。
なお、ＬＥＤ７を用いないで、本体部３内にランプ等の光源を設け、光源で発生した光を、挿入部２内に設けたライトガイドにより伝送し、ライトガイドの先端の照明窓から照明光として出射するようにしても良い。
【００２０】
図３は、ＣＣＤ１２の撮像面の総画素（全画素）１２ａを示す。ＣＣＤ１２の撮像面は、例えば長方形であり、この撮像面に各画素が２次元的に配列された総画素１２ａが形成される。また、この撮像面は、中央側に形成された有効撮像領域１２ｂと、この有効撮像領域１２ｂを囲むようにしてその周囲に形成された（常時）遮光された遮光部１２ｃとから構成される。
そして、被写体像を撮像する場合には、実質的に光電変換機能を有する有効撮像領域１２ｂにより光電変換した信号が用いられる。
本実施形態においては、内視鏡装置１により、被写体像を撮像して、（内視鏡）検査を開始するシステム起動時に、例えば先端部６を黒の容器等で覆い、撮像手段を形成するＣＣＤ１２の有効撮像領域１２ｂを一時的に遮光した撮像状態（つまり、黒の被写体像を撮像する状態）に設定して、ＡＦＥ３２により生成される有効撮像領域１２ｂの画像データを黒画像データとして黒画像保持部３３が保持する。
【００２１】
これに対して、実際に被写体像を撮像して観察、検査する場合には、有効撮像領域１２ｂを遮光しない状態に設定して撮像し、ＡＦＥ３２はノイズが補正されていない補正前（補正対象の）画像データを生成する。
上記黒画像保持部３３は、一時的に遮光された状態で有効撮像領域１２ｂにより撮像された黒の被写体像の１フレーム分の画像データ、つまり黒画像データを記憶（記録）して保持する不揮発性メモリ等により構成される。
ＣＣＤ１２は、実際には暗電流ノイズや、固定パターンノイズを発生し、照明光の有無に関係なく、ＣＣＤ１２の出力信号はこれらのノイズを含む。従って、有効撮像領域１２ｂを遮光して（黒の被写体像を）撮像することにより、その撮像状態におけるＣＣＤ１２の有効撮像領域１２ｂの暗電流ノイズや、固定パターンノイズ等のノイズのみが含まれる状態での出力信号として出力させることができる。
【００２２】
黒画像保持部３３は、上記遮光された有効撮像領域１２ｂにより撮像し、ＡＦＥ３２により生成された画像データを抽出することにより、ノイズのみからなる黒画像データとして保持する。そして、この黒画像データは、（補正対象の画像データを補正するための）補正データを生成する補正データ生成手段としての補正データ生成部３４に出力される。なお、黒画像保持部３３は、例えばＣＰＵ２１の制御下で黒画像データを補正データ生成部３４に出力する。
また、本実施形態においては、画像処理部１４は、ＣＣＤ１２が撮像を行う露光時間及び温度情報に基づいて、ノイズ除去の補正処理を行う際の補正係数を保持する補正係数保持手段としての補正係数保持部３５を有する。
【００２３】
例えば工場出荷前の各内視鏡装置１において、各内視鏡装置１に搭載されているＣＣＤ１２におけるノイズ特性が、種々の温度及び複数の露光時間の場合において測定される。その測定結果に基づいてＣＣＤ１２の有効撮像領域１２ｂにおけるノイズ除去する補正係数のデータ（情報）が補正係数保持部３５に格納される。
このため、（露光時間が変化しないで）温度が変化した場合においても、基本的に補正係数保持部３５に格納されている温度に依存するノイズ除去するための補正係数としての温度用補正係数を用いることにより、ノイズ除去が可能になる。
一方、露光時間に関しては、露光時間に比例してノイズも増大するため、基準となる露光時間においてノイズ除去するための露光時間用補正係数を用いることにより簡単に、任意の露光時間に対するノイズを除去できる。
【００２４】
補正係数保持部３５は、ノイズ除去するために各温度に対応した補正係数としての温度用補正係数を保持する温度用補正係数保持部３５ａと、ノイズ除去するために基準の露光時間（例えば１／３０秒）Ｐｒにおける補正係数としての基準露光時間用補正係数Ｄｒ（＝１）、又は実際の露光時間Ｐに対する露光時間用補正係数Ｄを保持する露光時間用補正係数保持部３５ｂとを備えている。
実際の露光時間Ｐに対する露光時間用補正係数Ｄは、基準露光時間用補正係数Ｄｒに、Ｐ／Ｐｒを乗算して算出することができる。
なお、露光時間用補正係数保持部３５ｂは、露光時間用補正係数Ｄを算出する算出式の情報を保持しても良い。以下では、基準露光時間用補正係数Ｄｒを１に設定した場合で説明する。図４は、補正係数保持部３５の温度用補正係数保持部３５ａが保持する各温度での温度用補正係数Ａｉ（ｉ＝１，２，…）の例を示す。
【００２５】
例えば温度センサ１９を用いて取得した温度情報としてのＣＣＤ１２の温度Ｔが温度Ｔ１では温度用補正係数がＡ１，温度Ｔ２では温度用補正係数がＡ２，…となる補正係数のデータが温度用補正係数保持部３５ａ（を構成するＲＯＭ）に格納されている。なお、図４の場合、ＣＣＤ１２の温度Ｔｉが温度範囲ＴｉとＴi＋１の間において、温度用補正係数がＡｉとなるように格納するようにしても良い。
また、温度用補正係数保持部３５ａは、多項式を用いて任意の温度での温度用補正係数Ａｉを算出できるように、多項式及びその係数の情報を格納するようにしても良い。なお、温度用補正係数Ａｉは、特定の温度、つまり基準となる基準温度においては１となるように設定される。
【００２６】
システム起動時におけるＣＣＤ１２の温度は、そのシステム起動時の環境温度によって変化するため、黒画像保持部３３によってＡＦＥ３２から出力される黒画像データ取得時（生成時）の温度も一定でなく、変動する場合が多い。つまり、ノイズ除去に用いる基準となる基準画像データとしての黒画像データは、一定温度の条件で取得されないで、変動する温度環境のもとで取得されるデータ（相対的基準黒画像データという）となる。
このため、システム起動時に取得された黒画像データは、その取得時の温度用補正係数Ａｉを含むデータとなる。例えばシステム起動時における温度がＴ１であると、その温度Ｔ１で取得した黒画像データは、すでに図４の温度用補正係数Ａ１を含むデータとなる。温度用補正係数が１の場合の黒画像データ（基準黒画像データ）は、温度がＴ１の場合に取得した黒画像データをＡ１で除算することにより得られる。
【００２７】
従って、システム起動時に取得した黒画像データの温度が変動しても、その取得時の温度用補正係数Ａｉで除算することにより、基準黒画像データを得ることができる。そして、その基準黒画像データを用いて、任意の温度での補正を行うようにしても良い。以下では、基準黒画像データを用いて補正を行う場合で説明するが、上記のように相対的基準黒画像データを用いて、任意の温度での補正を行うようにしても良い。
例えば、実際に検査を行う場合、黒画像取得時の温度を基準温度としてその基準温度が変化しない場合には、（ＣＰＵ２１は）その基準温度での温度用補正係数のままとする（実際には、その温度用補正係数が黒画像データにすでに含まれているので補正しない）。
【００２８】
一方、基準温度から温度変化が検出した場合には、基準温度に対する相対的な温度変化に対応した温度用補正係数を用いてノイズ除去の補正をする。例えば、上記基準温度がＴ１で、その後に温度がＴ２に変化した場合には、黒画像データに対して、温度用補正係数としてＡ２／Ａ１を用いてノイズ除去の補正を行うようにしても良い。
また、露光時間用補正係数保持部３５ｂは、上記のように基準となる露光時間で取得された１つの基準露光時間用補正係数Ｄｒを１として格納している。実際の露光時間Ｐにおいては、（Ｐ／Ｐｒ）の演算により露光時間用補正係数Ｄを算出（して保持）する。
【００２９】
ＣＰＵ２１は、温度センサ１９を用いて取得した現在の温度Ｔから対応する温度用補正係数Ａｉを補正係数保持部３５から読み出して補正データ生成部３４に出力させると共に、現在の露光時間Ｐの情報により算出される露光時間用補正係数Ｄも補正データ生成部３４に出力させる。なお、補正データ生成部３４において、露光時間用補正係数Ｄを算出するようにしても良い。
補正データ生成部３４は、（例えば、ＣＰＵ２１による制御下で）現在の温度Ｔに対応する温度用補正係数Ａｉと、現在の露光時間に対する露光時間用補正係数Ｄとを、黒画像保持部３３から出力される黒画像データに乗算して、ノイズ除去のための補正データを生成する。
【００３０】
基準黒画像データを用いる場合には、ＣＰＵ２１は、黒画像保持部３３がＡＦＥ３２を経て黒画像データとして取得した際のＣＣＤ１２の温度情報から基準黒画像データを生成する。なお、相対的基準黒画像データを用いる場合には、ＣＰＵ２１は、例えばＣＰＵ２１内のレジスタ等に黒画像取得時の温度情報を保持する。そして、ＣＣＤ１２の相対的な温度変化に応じて、補正係数を変更する。
補正データ生成部３４により生成される補正データは、黒画像データを取得した場合の温度及び露光時間から変化していない状態では、黒画像データ（のノイズ）に等しくなるが、黒画像データを取得した場合の温度と異なる温度に変化したり、露光時間が変化すると、それらの変化に対応して変化する（補正データとなる）。
【００３１】
換言すると、補正データ生成部３４はシステム起動時の（１つの温度及び１つの露光時間において取得した）黒画像データから、その温度及び露光時間が変化した場合に対しても、その変化した条件で実際に黒画像データを取得した場合に該当する補正データを近似的に生成可能にしている。
ＡＥＦ３２の画像データと、補正データ生成部３４により生成される補正データは、ノイズを除去した補正画像データを生成する画像補正処理手段としての画像補正処理部３６に入力される。
【００３２】
この画像補正処理部３６は、有効撮像領域１２ｂから順次読み出された２次元の画素位置においてＡＥＦ３２から出力される画像データから、対応する画素位置の補正データを減算して補正画像データを生成し、映像信号処理部３７に出力する。
映像信号処理部３７は、ノイズが除去された画像データとしての補正画像データの映像信号に対して、ガンマ補正、色補正、輪郭強調等の映像処理を行い、画像記録部１７側に出力し、液晶モニタ４にはノイズが除去された映像信号に対応する画質の良い画像が表示される。また、ノイズが除去された画質の良い画像（データ）を記録媒体１８等に記録することもできる。
【００３３】
このような構成の内視鏡装置１は、内視鏡挿入部２の先端部６に配置された固体撮像素子としてのＣＣＤ１２を用いて被写体像を撮像する撮像手段としての撮像部１２と、前記固体撮像素子の温度を取得する温度情報取得手段としての温度センサ１９を用いてＣＰＵ２１により形成される温度情報取得部２１ａと、前記撮像手段の出力信号から、被写体像に対応する画像データを生成する画像データ生成手段としてのＡＦＥ３２とを有する。
また、この内視鏡装置１は、前記固体撮像素子の有効撮像領域を遮光した際に前記画像データ生成手段から得られる黒画像データを補正情報として保持する黒画像保持手段としての黒画像保持部３３と、前記固体撮像素子が撮像を行う露光時間及び温度情報に基づいて、ノイズ除去の補正処理を行う際の補正係数を保持する補正係数保持手段としての補正係数保持部３５と、前記黒画像データから抽出したノイズと前記補正係数に基づいて、前記画像データを補正するための補正データを生成する補正データ生成手段としての補正データ生成部３４と、前記画像データから前記補正データを減算し、前記露光時間及び前記温度に依存したノイズを除去した補正画像データを生成する処理を行う画像補正処理手段としての画像補正処理部３６と、を具備することを特徴とする。
【００３４】
次に本実施形態の動作を説明する。
温度センサ１９によってＣＣＤ１２の温度情報をＣＰＵ２１が取得し、ＣＰＵ２１により調整される露光時間に対応してタイミングジェネレータ３１のタイミング信号がＣＣＤ駆動部１５に送られる。ＣＣＤ駆動部１５は、ＣＣＤ駆動信号をＣＣＤ１２に印加し、ＣＣＤ１２から光電変換された信号を出力させる。
ＣＣＤ１２の出力信号はプリアンプ１６に入力される。ＣＣＤ１２の出力信号は、挿入部２内のケーブルにより長距離伝送されるため減衰してしまう。この減衰分を補うためにプリアンプ１６にて増幅する。プリアンプ１６で増幅されたＣＣＤ１２の出力信号は、ＡＦＥ３２に入力される。ＡＦＥ３２に入力されたＣＣＤ１２の出力信号は、ＡＦＥ３２内部のＣＤＳ回路、Ａ／Ｄコンバータを経て、デジタルの画像データとして出力される。
【００３５】
ＡＦＥ３２が生成したデジタルの画像データは、暗電流ノイズ、固定パターンノイズを含む画像データであり、画像補正処理部３６に入力される。
黒画像保持部３３には、システム起動時に図３に示したＣＣＤ１２の有効撮像領域１２ｂを遮光した際にＡＦＥ３２から得られる黒画像データが記録して保持されている。
そして、図５に示すような処理を行うことにより、ノイズ除去のための補正データが生成され、画像補正処理部３６はノイズを除去した補正画像データを生成する。
【００３６】
なお、図５における２点鎖線で示すステップＳ０により、上記システム起動時において黒画像保持部３３には黒画像データが保持されている。また、システム起動時における基準温度に対応する温度用補正係数で黒画像データを除算することにより、基準黒画像データが生成される。
補正データ生成の処理が開始すると、ステップＳ１に示すようにＣＰＵ２１は露光時間とＣＣＤ１２の温度の情報を取得する。ステップＳ２に示すように補正係数保持部３５は、露光時間とＣＣＤ１２の温度の情報から対応する補正係数（具体的には露光時間用補正係数Ｄと温度用補正係数Ａｉ）を補正データ生成部３４に出力する。
【００３７】
ステップＳ３に示すように補正データ生成部３４は、黒画像データに、補正係数（Ｄ・Ａｉ）を乗算して、補正データを生成し、画像補正処理部３６に出力する。
次のステップＳ４に示すように、画像補正処理部３６は、ＡＦＥ３２から出力される（補正対象の）画像データから補正データを減算して補正画像データを生成する。そして、図５の処理は終了する。
画像補正処理部３６により生成される補正画像データは、露光時間及び温度に依存するノイズが除去された画像データであり、さらに映像信号処理部３７により各種の映像処理されて、画像記録部１７側に出力される。
【００３８】
また、図６は、図５に示した画像データとしての第１の画像データに対して補正画像データを生成した後に、引き続いて撮像を行った場合の画像データ（第２の画像データ）に対する処理手順を示す。
第１の画像データを生成した後、ステップＳ１１に示すようにＣＰＵ２１は、現在の露光時間とＣＣＤ１２の温度の情報を取得する。
ステップＳ１２に示すようにＣＰＵ２１は、露光時間とＣＣＤ１２の温度の情報に変化有りか否かを判定する。露光時間とＣＣＤ１２の温度の情報に変化なしの判定結果の場合には、ステップＳ１３に示すようにＣＰＵ２１は補正係数を変更しないように補正係数保持部３５を制御する。従って、ステップＳ１４に示すように補正データ生成部３４は同じ補正データを生成して、画像補正処理部３６に出力する。
【００３９】
一方、露光時間とＣＣＤ１２の温度の情報に変化有りの判定結果の場合には、ステップＳ１５に示すようにＣＰＵ２１は補正係数を変更するように補正係数保持部３５を制御する。従って、ステップＳ１６に示すように補正データ生成部３４は変更された補正係数を用いて補正データを生成して、画像補正処理部３６に出力する。
ステップＳ１７に示すように画像補正処理部３６は、ステップＳ４と同様の処理により、第１の画像データ後に入力される画像データ（例えば第２の画像データ）に対する補正画像データを生成して画像記録部１７側に出力する。そして、最初のステップＳ１１の処理に戻る。
【００４０】
図７は図６の動作説明図を示す。図７（Ａ）は、例えば内視鏡検査を開始した直後における温度ＴがＴ１であり、また露光時間が例えば黒画像を取得した場合と同じ露光時間Ｐ１の場合の画像データに含まれる例えば１フレーム期間のノイズを示す。図７（Ｂ）は、図７（Ａ）の状態において例えば先端部６を移動したために温度Ｔは殆ど変化しないが、被写体までの距離が変化し、距離の変化により図７（Ａ）の露光時間Ｐ１から露光時間Ｐ２に大きくなるように変更した場合のノイズを示す。図７（Ｂ）は、図７（Ａ）において、例えば２倍の露光時間にした場合のノイズを示す。
図７（Ｂ）は図７（Ａ）に比較して露光時間が、２倍になったため、そのノイズも２倍になる。図７（Ｃ）は、図７（Ａ）に対応した補正データの例である。図７（Ｃ）の補正データは、図７（Ｂ）の場合には、図７（Ｃ）の補正データは露光時間用補正係数が２倍に変更して図７（Ｄ）に示す補正データに変更される。
【００４１】
このように露光時間が変更された場合には、その露光時間に対応して、本実施形態では、補正係数を変更して補正データを生成する。従って、図７（Ａ）の場合には、図７（Ｃ）の補正データによりそのノイズを除去でき、また図７（Ｂ）の場合には図７（Ｄ）の補正データによりそのノイズを除去できる。従って、液晶モニタ４に表示される画像、又は記録媒体１８に記録される画像は、ノイズが十分に少ない内視鏡検査を行う易い画質の良い画像となる。
これに対して、従来例では温度の影響のみを考慮しているため、図７（Ｂ）のように露光時間の変化によって変化するノイズを十分に除去できない。
【００４２】
このような動作する本実施形態によれば、露光時間及び温度が変化するような環境において撮像を行う場合においても、ＣＣＤ１２により発生するノイズを十分に除去して画質の良い画像を生成することができる。
従って、本実施形態は、温度の他に露光時間が変化した場合にも、ノイズを除去して画質の良い画像を生成できる内視鏡装置を提供することができる効果を有する。
【００４３】
（第２の実施形態）
図８は本発明の第２の実施形態における画像処理部１４Ｂの構成を示す。この画像処理部１４Ｂは、図２の画像処理部１４において、黒画像保持部３３から出力される黒画像データからノイズの種類を判別するノイズ種類判別部４１を設けた構成にしている。
このノイズ種類判別部４１は、黒画像保持部３３からの黒画像データに対して、特性の異なる種類のノイズを判別し、判別結果の情報を補正係数保持部３５に出力する。
補正係数保持部３５は、ノイズ種類判別部４１により判別された異なる種類のノイズに対応して、複数の補正係数を予め保持している。
【００４４】
第１の実施形態においては、簡略化して１種類のノイズに対応して補正係数を保持していたが、本実施形態では複数種類、具体的には固定パターンノイズと、暗電流ノイズとの２種類のノイズ（成分）に対応して２種類の補正係数を保持する。例えば、本実施形態においては、図４における温度用補正係数Ａｉの代わりに、第１温度用補正係数Ｂｉと第２温度用補正係数Ｃｉとを保持している。なお、露光時間に関しては、第１の実施形態と同じである。
補正係数保持部３５は、ノイズ種類判別部４１による判別結果の情報、つまりノイズの種類に応じた補正係数を補正データ生成部３４に出力する。補正データ生成部３４は、黒画像保持部３３から出力される黒画像データに対して、実際の露光時間に対応した露光時間用補正係数Ｄと、判別結果に対応した一方の補正係数（具体的には第１温度用補正係数Ｂｉ又は第２温度用補正係数Ｃｉ）と、を乗算して生成した２種類の補正係数の一方を、判別結果に応じて乗算して補正データを生成する。
【００４５】
換言すると、第１の実施形態においては、１種類のノイズとして処理するようにした為、黒画像データに対して、露光時間を考慮して１種類の補正係数を乗算して補正データを生成していた。
これに対して、本実施形態においては、２種類のノイズに対応して、黒画像保持部３３から順次出力される黒画像データに対して、そのノイズの種類を判別し、判別結果に対応して、２種類の補正係数から、判別結果に対応する一方の補正係数及び露光時間用補正係数Ｄを黒画像データに乗算して、補正データを生成する。
図９は、本実施形態におけるノイズ種類判別部４１によるノイズ判別の説明図を示す。図９（Ａ）で模式的に示すように（ＣＣＤ１２の）有効撮像領域１２ｂには、ランダムに分布する暗電流ノイズ４２と、パターン状に分布する固定パターンノイズ４３とを有する。
【００４６】
遮光状態において有効撮像領域１２ｂにおける水平画素分の各画素の信号を、例えば２点鎖線で示す水平方向に沿って読み出した場合、図９（Ｂ）に示すような出力波形となる。なお、図９（Ｂ）における横軸は図９（Ａ）の水平位置に対応して時間を示し、縦軸は読み出された出力信号の輝度レベルを示す。
図９（Ｂ）に模式的に示すように、暗電流ノイズ４２は、離散的にパルス状に発生し、これに対して固定パターンノイズ４３は塊となってブロック状に発生すると共に、通常の条件では前者に対して後者の方が高いレベルで発生する。また、これら両ノイズの温度に対する特性も異なる場合が多い。
【００４７】
従って、図９（Ｂ）に示すように２つの閾値Ｖ１，Ｖ２にそれぞれ設定した図示しない比較器を用いて、ノイズ種類判別部４１は有効撮像領域１２ｂから読み出した出力信号を比較することにより、暗電流ノイズ４２と固定パターンノイズ４３とを判別することができる。
図９（Ｂ）の例では、出力信号が閾値Ｖ２よりも大きい場合には、固定パターンノイズ４３と判別し、出力信号が閾値Ｖ１とＶ２との間の場合には、暗電流ノイズ４２と判別する。
その他の構成は第１の実施形態と同様である。次に本実施形態の動作を説明する。本実施形態は、第１の実施形態においてノイズの種類を複数とした場合に該当するため、ノイズの種類が複数の場合に関連する動作を説明する。
【００４８】
図１０は本実施形態における補正データを生成する処理手順を示す。
システム起動時においてステップＳ２１に示すように黒画像保持部３３は、一時的に遮光状態にされたＣＣＤ１２の有効撮像領域１２ｂから読み出され、ＡＦＥ３２を経た黒画像データを格納して保持する。
その後、遮光状態は解除され、ユーザは、挿入部２を検査対象物内に挿入して内視鏡検査を開始する。
ステップＳ２２に示すようにＣＣＤ１２により撮像された被写体像は、ＡＦＥ３２を経て補正前（換言すると補正対象）の画像データとして取得され、この画像データは画像補正処理部３６に出力される。
【００４９】
一方、ＣＰＵ２１は、ステップＳ２３に示すように黒画像保持部から黒画像データを出力させ、この黒画像データはノイズ種類判別部４１と補正データ生成部３４とに出力される。
ステップＳ２４に示すようにノイズ種類判別部４１は、黒画像データの各出力タイミングにおいてノイズの種類を判別し、判別結果の情報を補正係数保持部３５に出力する。
ステップＳ２５に示すように補正係数保持部３５は、判別された種類のノイズに対応した温度用補正係数を、露光時間用補正係数と共に補正データ生成部３４に出力する。
【００５０】
ステップＳ２６に示すように補正データ生成部３４は、黒画像データにステップＳ２５における両補正係数を乗算して補正データを生成し、画像補正処理部３６に出力する。
ステップＳ２７に示すように画像補正処理部３６は、ステップＳ２２の補正対象の画像データから、この補正データを減算して補正画像データを生成し、映像信号処理部３７に出力する。映像信号処理部３７は、ノイズが除去された補正画像データに対して各種の画像処理を行い、画像記録部１７側に出力する。
このようにして、本実施形態においては、黒画像データに特性が異なる複数種類のノイズが含まれる場合においても、各ノイズを判別して、判別結果に応じて対応する補正係数を用いてノイズ除去するための補正データを生成する。
【００５１】
従って、本実施形態によれば、第１の実施形態の場合よりも、より精度良くノイズの除去が可能になる。その他、第１の実施形態と同様の効果を有する。
次に本実施形態の変形例を説明する。図１１に示す本変形例の画像処理部１４Ｃは、図８の画像処理部１４Ｂにおいて、ＡＦＥ３２が、ゲイン可変アンプとしてのＡＧＣ回路３２ｂを有する。なお、ＡＦＥ３２は、ＣＤＳ回路３２ａと、ＡＧＣ回路３２ｂと、Ａ／Ｄコンバータ３２ｃとから構成される。
ＡＧＣ回路３２ｂは、ＣＤＳ回路の出力信号における平均の輝度値を検出し、基準の輝度値からのずれ量に応じて、ゲイン（増幅率）を可変調整して、その平均の輝度値が基準の輝度値となるように自動制御する。
【００５２】
ＣＣＤ１２により撮像された信号は、プリアンプ１６により一定ゲインで増幅された後、ＣＤＳ回路３２ａにより信号成分が抽出された出力信号となり、さらにＡＧＣ回路３２ｂにより増幅された後、Ａ／Ｄコンバータ３２ｃによりデジタルの画像データに変換される。Ａ／Ｄコンバータ３２ｃの出力信号は黒画像保持部３３と画像補正処理部３６に出力される。
また、ＡＧＣ回路３２ｂにおける実際のゲインの設定値は、ＣＰＵ２１に入力され、ＣＰＵ２１はＡＧＣ回路３２ｂのゲインが変化した場合にもそのゲインの設定値を取得することができるようにしている。
【００５３】
本変形例では、黒画像データの取得（生成）時のＡＧＣ回路３２ｂのゲインが、検査時の画像データ（つまり補正対象の画像データ）生成時のゲインから変化した場合、その変化に対応した補正を行うようにしたものである。
このため、本変形例では、例えばＣＰＵ２１は、黒画像データの取得時におけるＡＧＣ回路３２ｂのゲイン（の設定値）を取得して例えばＣＰＵ２１内部のレジスタに保持（記憶）する。
そして、ＣＰＵ２１は、実際の検査時におけるＣＣＤ２１を用いて撮像を行っている最中において、ＡＧＣ回路３２ｂのゲインを取得して、黒画像データの取得時におけるゲインからの変更に応じて補正データを補正してノイズ除去の補正を行う。
【００５４】
具体的には、黒画像データの取得時のＡＧＣ回路３２ｂのゲインをＧｏとし、補正対象の画像データの生成時のゲインをＧとして場合、ＣＰＵ２１は補正データ生成部３４が生成する上述した補正データに対して、さらにゲイン補正係数Ｇ／Ｇｏを乗算して補正データを生成するように制御する。
本変形例においては、ＡＧＣ回路３２ｂによるゲイン調整によっても、基準の輝度値が得られない場合にはＣＰＵ２１は露光時間を長くして基準の輝度値が得られように露光時間の調整を行う。
その他の構成及び動作は、第２の実施形態と同様である。本変形例によれば、ゲインが可変されるゲイン可変アンプとしてのＡＧＣ回路３２ｂを用いて画像データを生成する場合においても、そのゲインの変動によるノイズの変動に応じた補正を行うため、画質の良い補正画像データを生成できる。
【００５５】
なお、上述した実施形態等において、黒画像保持部３３は、システム起動時に黒画像データを取得して保持するように説明したが、各システム起動時に必ず行うことが必要とされるものでない。
つまり、ＣＣＤ１２の特性は、短時間又は短期間には殆ど変化しないと考えられるため、前回の検査時に黒画像保持部３３を構成する不揮発性メモリ（例えば書き換え可能なフラッシュメモリ）に保持した黒画像データを次の検査時に用いるようにしても良い。
また、数回又は数十回の検査において一度、黒画像データを取得して保持するようにしても良い。また、黒画像データを取得した日時を記憶し、その日時から予め設定された時間が経過した場合に、黒画像データを取得して保持することを促す表示等を行うようにしても良い。このようにすると、黒画像データを取得して保持する作業を行う手間を軽減できる。
なお、上述した実施形態等を部分的に組み合わせて異なる実施形態を形成しても良い。
【符号の説明】
【００５６】
１…内視鏡装置、２…（内視鏡）挿入部、３…本体部、４…液晶モニタ、５…リモコン、６…先端部、７…ＬＥＤ、１０…撮像部、１２…ＣＣＤ、１５…ＣＣＤ駆動部、１７…画像記録部、１９…温度センサ、２１…ＣＰＵ、２１ａ…温度情報取得部、２１ｂ…露光時間調整部、３２…ＡＦＥ、３２ｂ…ＡＧＣ回路、３３…黒画像保持部、３４…補正データ生成部、３５…補正係数保持部、３５ａ…温度用補正係数保持部、３５ｂ…露光時間用補正係数保持部、３６…画像補正処理部、３７…映像信号処理部、４１…ノイズ種類判別部
【先行技術文献】
【特許文献】
【００５７】
【特許文献１】特開２００４−２３７６４号公報
【技術分野】
【０００１】
本発明は、内視鏡に設けられた撮像手段により撮像した画像を内視鏡画像として表示する内視鏡装置に関する。
【背景技術】
【０００２】
近年、内視鏡装置は医療用分野及び工業用分野において広く採用されるようになっている。このような内視鏡装置は、細長の挿入部の先端部に固体撮像素子が設けられている。
この固体撮像素子は光電変換を行い、その電荷を蓄えるフォトダイオード部、蓄えられた電荷を順次転送していく転送部、転送された電荷を電圧に変換するアンプ部を有する。フォトダイオード部は入射した光に比例した電荷を光電変換して出力する。
また、その光電変換した電荷は、出力までの間、固体撮像素子の内部、又は外部からの熱の影響により、暗電流ノイズ、固定パターンノイズなどのノイズ成分を有する信号として出力する。
【０００３】
また、前記固体撮像素子は前記ノイズ成分を有する信号は、固体撮像素子の露光時間に比例して電荷を蓄積するため、前記ノイズ成分を有した信号もノイズも比例して増加する特徴がある。
内視鏡装置は、医療用分野においては、体腔内に細長の挿入部を挿入することにより、体腔内臓器等を観察したり、必要に応じ処置具チャンネル内に挿通した処置具を用いて各種治療処置のできる装置として広く利用されている。
また、工業用分野においても、ボイラ、タービン、エンジン、化学プラント等の検査対象物内部の傷、腐食等の観察、検査に工業用内視鏡を用いた内視鏡装置が幅広く用いられている。
上述のように使用される内視鏡においては、挿入部の先端部に被写体の光学像を画像信号に光電変換するＣＣＤなどの撮像素子を配設した電子内視鏡（以下内視鏡と略記する）がある。
【０００４】
この内視鏡では、光源装置等から供給される照明光によって照明した観察部位等の被写体の光学像を撮像素子の撮像面に結像させ、この撮像素子で光電変換した被写体像の画像信号を外部装置であるカメラコントロールユニット（以下ＣＣＵと略記する）の信号処理部に伝達して映像信号を生成し、モニタ画面上に内視鏡画像を表示させて観察を行う構成になっていた。
上記内視鏡装置としては、例えば、先端部に被写体像を撮像する固体撮像素子を備えた撮像部と、被写体を照明する照明部と、電源及び信号処理部を有する制御部（又は本体部）とから構成されている場合もある。制御部と、撮像部及び照明部とは複数の電線からなるケーブルで接続されており、このケーブルを介して、制御部から撮像部及び照明部に対する電力供給と、撮像部を制御する制御信号及び撮像部からの映像信号等の送受信が行われている。
【０００５】
一方、特開２００４−２３７６４号公報に記載されている従来例においては、固体撮像素子の遮光部分から読み出した信号に対して温度に依存する依存値を算出する算出手段と、前記固体撮像素子が駆動される基準条件下での基準ノイズパターン情報を記憶する記憶手段と、前記記憶手段に記憶された前記基準ノイズパターン情報と、撮像条件の前記算出手段で算出した前記依存値とから、該当する撮像条件下でのノイズパターンを算出するノイズ算出手段とを有し、前記固体撮像素子で得た画像信号から、前記ノイズ算出手段で算出したノイズパターンを除去するものが開示されている。
工業用分野で使用される内視鏡の中には、動作直後のエンジン内部やガスタービン、化学プラントの配管など、高温環境のもとで検査に使用される用途があり、工業用内視鏡は100℃を超える使用環境温度を満たさなければならない。
【０００６】
また、工業用内視鏡は固体撮像素子を覆う挿入部の直径が細いため、十分な防熱がし難く、固体撮像素子が高温環境に曝される場合がある。また、工業用内視鏡は一般的に暗い場所で使用されるため、露光時間を長くして、明るさをかせぐ駆動方法である、長時間露光を採用する場合もある。
そのため、医療用内視鏡や一般的なデジタルカメラより、ノイズが多く発生する問題があった。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
これに対して、上記特開２００４−２３７６４号公報に記載の画像処理装置による従来例のノイズ除去方法では、温度変化に応じて変化するノイズには有効であるが、露光時間の変化に対して変化するノイズ除去ができないため、出力される画像データにノイズが残ってしまう課題があった。
本発明は、上述した点に鑑みてなされたもので、温度の他に露光時間が変化した場合にも、ノイズを除去して画質の良い画像を生成できる内視鏡装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の内視鏡装置は、内視鏡挿入部の先端部に配置された固体撮像素子を用いて被写体像を撮像する撮像手段と、前記固体撮像素子の温度を取得する温度情報取得手段と、前記撮像手段の出力信号から、被写体像に対応する画像データを生成する画像データ生成手段と、前記固体撮像素子の有効撮像領域を遮光した際に前記画像データ生成手段から得られる黒画像データを補正情報として保持する黒画像保持手段と、前記固体撮像素子が撮像を行う露光時間及び温度情報に基づいて、ノイズ除去の補正処理を行う際の補正係数を保持する補正係数保持手段と、前記黒画像データから抽出したノイズと前記補正係数に基づいて、前記画像データを補正するための補正データを生成する補正データ生成手段と、前記画像データから前記補正データを減算し、前記露光時間及び前記温度に依存したノイズを除去した補正画像データを生成する画像補正処理手段と、を具備することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、温度の他に露光時間が変化した場合にも、ノイズを除去して画質の良い画像を生成できる。
【図面の簡単な説明】
【００１０】
【図１】図１は本発明の第１の実施形態の内視鏡装置の全体構成を示す図。
【図２】図２は画像処理部の構成を示すブロック図。
【図３】図３はＣＣＤの撮像面の有効撮像領域等を示す図。
【図４】図４は補正係数保持部に保持されている温度用補正係数のデータの例を示す図。
【図５】図５は露光時間と温度の情報に応じてノイズを除去した補正画像データを生成する処理手順を示すフローチャート。
【図６】図６は露光時間と温度の変化に応じて補正係数を変更してノイズを除去した補正画像データを生成する処理手順を示すフローチャート。
【図７】図７は図６における動作説明図。
【図８】図８は本発明の第２の実施形態における画像処理部の構成を示すブロック図。
【図９】図９はノイズ種類判別部によるノイズ判別の動作説明図。
【図１０】図１０は第２の実施形態の補正画像データを生成する処理手順を示すフローチャート。
【図１１】図１１は第２の実施形態の変形例における画像処理部の構成を示すブロック図。
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の実施形態を説明する。
（第１の実施形態）
図１に示すように本発明の第１の実施形態の内視鏡装置１は、ジェットエンジン等の検査対象物内に挿入される内視鏡挿入部（以下、単に挿入部と略記）２と、この挿入部２の基端に設けられた内視鏡装置本体部（以下、単に本体部と略記）３と、この本体部３により生成された映像信号が入力されることにより、該映像信号の画像を内視鏡画像として表示する表示手段としての液晶モニタ４と、操作者が各種の指示操作を行うリモートコントローラ（以下、リモコンと略記）５と、を有する。
検査対象物内に挿入される細長の挿入部２における先端部６には、照明窓と観察窓とが設けられている。照明窓には、照明部を形成する例えば白色で発光する発光ダイオード（ＬＥＤと略記）７が取り付けられている。このＬＥＤ７は挿入部２内を挿通された駆動ケーブル８を介して、本体部３内のＬＥＤ駆動部９に接続される。ＬＥＤ駆動部９は、ＬＥＤ７を発光させるＬＥＤ駆動信号を出力する。
【００１２】
観察窓には、対物レンズ１１が取り付けられており、対物レンズ１１は、ＬＥＤ７の白色の照明光により照明される検査対象物内の被写体像を光電変換する固体撮像素子としての例えば電荷結合素子（ＣＣＤと略記）１２の撮像面に結像する。対物レンズ１１とＣＣＤ１２とにより被写体像を撮像する撮像手段としての撮像部１０が形成される。
ＣＣＤ１２は挿入部２内に挿通された複合同軸ケーブル１３を介して、本体部３内の画像処理部１４におけるＣＣＤ駆動部１５及びプリアンプ１６に接続される。なお、画像処理部１４として、ＣＣＤ駆動部１５を含まない構成にしても良い。また、プリアンプ１６も、画像処理部１４内に設ける代わりに、先端部６内部に設けるようにしても良い。また、複合同軸ケーブル１３が駆動ケーブル８を含む構成にしても良い。
【００１３】
ＣＣＤ駆動部１５は、ＣＣＤ１２を駆動するＣＣＤ駆動信号を複合同軸ケーブル１３を介してＣＣＤ１２に印加する。ＣＣＤ１２は、ＣＣＤ駆動信号の印加により、光電変換して蓄積した信号電荷をＣＣＤ１２の出力信号として出力する。従って、時間的に隣接して出力されるＣＣＤ駆動信号の時間間隔が、実際にＣＣＤ１２により被写体像を撮像（光電変換）した信号電荷量を決定する露光時間に相当する。
画像処理部１４は、ＣＣＤ１２の出力信号に対する画像処理を行い、ＣＣＤ１２の撮像面に結像された被写体像に対応する画像の映像信号を生成し、画像記録部１７に出力する。この画像記録部１７には、画像を記録する記録媒体１８が着脱自在に装着される。
【００１４】
また、画像処理部１４は、図２を参照して後述するように、ＣＣＤ１２の出力信号に対して、露光時間と温度の変化に対応して、ノイズを除去する画像処理を行うことにより、画質の良い画像を生成する画像処理を行う。
また、挿入部２の先端部６内には、ＣＣＤ１２の温度を検知する温度センサ１９が設けてあり、この温度センサ１９により検知された信号は、挿入部２内を挿通されたケーブル２０を介して、画像処理部１４内に設けたＣＰＵ２１に入力される。
ＣＰＵ２１は、温度センサ１９を介してＣＣＤ１２の温度情報を取得する温度情報取得手段としての温度情報取得部２１ａの機能を持つ。
【００１５】
また、このＣＰＵ２１は、ＣＣＤ１２の有効撮像領域１２ｂにより実質的に撮像又は光電変換する時間としての露光時間を可変調整する露光時間調整部２１ｂ（図２参照）の機能を有する。換言すると、本内視鏡装置１は、撮像手段を形成する固体撮像素子の有効撮像領域により、被写体像を撮像する露光時間を可変調整（又は変更）する露光時間調整手段としての露光時間調整部２１ｂを有する。
なお、ＬＥＤ駆動部９は、照明部を形成するＬＥＤ７を常時、発光させるＬＥＤ駆動信号を出力するが、ＣＣＤ１２が実質的に撮像する露光時間のみＬＥＤ７を発光させて被写体側を照明するように、例えばＣＰＵ２１が制御する構成にしても良い。
画像処理部１４（のＣＰＵ２１）は、本体部３の制御を行うシステム制御部２２と通信を行う。
【００１６】
また、システム制御部２２は、リモコン５からの指示入力（画像の拡大指示信号としてのZOOM信号、静止画の指示信号としてのFREEZE信号、画像のコントラスト補正設定、ガンマ補正設定、Brightness設定等）を受け取り、指示入力に対応した指示内容を画像処理部１４に対して出力する。画像処理部１４は、指示内容に従って各種の画像処理を行う事となる。
上記画像記録部１７は、記録媒体１８が装着されている場合に、入力された画像を静止画及び動画として記録媒体１８に記録する事が可能である。その際にはシステム制御部２２がリモコン５からの入力に基づき、画像記録部１７に対し、指示を出す事となる。
【００１７】
また、画像処理部１４から出力される映像信号は、画像記録部１７を通って画像表示手段としての液晶モニタ４に入力され、液晶モニタ４は、この映像信号に対応する画像を表示する。また、液晶モニタ４は、リモコン５から記録媒体１８に記録された記録画像の再生指示がされた場合には記録画像を表示する。
図２は画像処理部１４の構成の詳細を示す。
画像処理部１４は、ＣＰＵ２１の制御に従って各種のタイミング信号を発生するタイミングジェネレータ３１を有し、このタイミングジェネレータ３１からのタイミング信号に基づいてＣＣＤ駆動部１５は、ＣＣＤ駆動信号をＣＣＤ１２に出力する。
ＣＣＤ１２は、光電変換した信号をプリアンプ１６に出力し、プリアンプ１６により増幅された信号はアナログフロントエンド（ＡＦＥと略記）３２に出力する。
【００１８】
このＡＦＥ３２は、ＣＣＤ１２のアナログの出力信号から相関二重サンプリング（ＣＤＳ）処理等を行って、ＣＣＤ１２の撮像面に結像された被写体像に対応する信号成分を抽出した後、Ａ／Ｄ変換してデジタルの画像データを生成する。
このＡＦＥ３２は、被写体像に対応する画像データを生成又は取得する画像データ生成手段又は画像データ取得手段を形成する。
ＡＦＥ３２から出力される画像データは、ＣＰＵ２１と、ＣＣＤ１２から黒画像データを保持（又は取得）する黒画像保持手段としての黒画像保持部３３とに出力される。
ＣＰＵ２１は、ＡＦＥ３２から出力される被写体像に対応する画像データにおける例えば平均の輝度値を算出し、所定の輝度範囲と比較して、平均の輝度値が所定の輝度範囲内となるように露光時間を調整、換言するとＣＣＤ駆動信号の周期を可変制御する。
例えば、大きな空洞内において遠方の被写体を撮像するような場合には、ＬＥＤ７による照明光量では、標準的な露光時間の状態では、各フレームの平均の輝度値のレベルが所定の輝度範囲から小さい方向に逸脱、つまり平均の輝度値のレベルが不足する場合が発生する。
【００１９】
このような場合には、ＣＰＵ２１（の露光時間調整部２１ｂ）は、露光時間（１フレームを撮像する撮像時間）を長くすることによりＡＦＥ３２を経て生成される画像データの輝度値のレベルを高め、その場合の平均の輝度値のレベルが所定の輝度範囲内となるように調整する。一方、ＬＥＤ７による照明光量が不足しない場合には、ＣＰＵ２１は、長い露光時間としないで短い露光時間に調整する。
なお、ＬＥＤ７を用いないで、本体部３内にランプ等の光源を設け、光源で発生した光を、挿入部２内に設けたライトガイドにより伝送し、ライトガイドの先端の照明窓から照明光として出射するようにしても良い。
【００２０】
図３は、ＣＣＤ１２の撮像面の総画素（全画素）１２ａを示す。ＣＣＤ１２の撮像面は、例えば長方形であり、この撮像面に各画素が２次元的に配列された総画素１２ａが形成される。また、この撮像面は、中央側に形成された有効撮像領域１２ｂと、この有効撮像領域１２ｂを囲むようにしてその周囲に形成された（常時）遮光された遮光部１２ｃとから構成される。
そして、被写体像を撮像する場合には、実質的に光電変換機能を有する有効撮像領域１２ｂにより光電変換した信号が用いられる。
本実施形態においては、内視鏡装置１により、被写体像を撮像して、（内視鏡）検査を開始するシステム起動時に、例えば先端部６を黒の容器等で覆い、撮像手段を形成するＣＣＤ１２の有効撮像領域１２ｂを一時的に遮光した撮像状態（つまり、黒の被写体像を撮像する状態）に設定して、ＡＦＥ３２により生成される有効撮像領域１２ｂの画像データを黒画像データとして黒画像保持部３３が保持する。
【００２１】
これに対して、実際に被写体像を撮像して観察、検査する場合には、有効撮像領域１２ｂを遮光しない状態に設定して撮像し、ＡＦＥ３２はノイズが補正されていない補正前（補正対象の）画像データを生成する。
上記黒画像保持部３３は、一時的に遮光された状態で有効撮像領域１２ｂにより撮像された黒の被写体像の１フレーム分の画像データ、つまり黒画像データを記憶（記録）して保持する不揮発性メモリ等により構成される。
ＣＣＤ１２は、実際には暗電流ノイズや、固定パターンノイズを発生し、照明光の有無に関係なく、ＣＣＤ１２の出力信号はこれらのノイズを含む。従って、有効撮像領域１２ｂを遮光して（黒の被写体像を）撮像することにより、その撮像状態におけるＣＣＤ１２の有効撮像領域１２ｂの暗電流ノイズや、固定パターンノイズ等のノイズのみが含まれる状態での出力信号として出力させることができる。
【００２２】
黒画像保持部３３は、上記遮光された有効撮像領域１２ｂにより撮像し、ＡＦＥ３２により生成された画像データを抽出することにより、ノイズのみからなる黒画像データとして保持する。そして、この黒画像データは、（補正対象の画像データを補正するための）補正データを生成する補正データ生成手段としての補正データ生成部３４に出力される。なお、黒画像保持部３３は、例えばＣＰＵ２１の制御下で黒画像データを補正データ生成部３４に出力する。
また、本実施形態においては、画像処理部１４は、ＣＣＤ１２が撮像を行う露光時間及び温度情報に基づいて、ノイズ除去の補正処理を行う際の補正係数を保持する補正係数保持手段としての補正係数保持部３５を有する。
【００２３】
例えば工場出荷前の各内視鏡装置１において、各内視鏡装置１に搭載されているＣＣＤ１２におけるノイズ特性が、種々の温度及び複数の露光時間の場合において測定される。その測定結果に基づいてＣＣＤ１２の有効撮像領域１２ｂにおけるノイズ除去する補正係数のデータ（情報）が補正係数保持部３５に格納される。
このため、（露光時間が変化しないで）温度が変化した場合においても、基本的に補正係数保持部３５に格納されている温度に依存するノイズ除去するための補正係数としての温度用補正係数を用いることにより、ノイズ除去が可能になる。
一方、露光時間に関しては、露光時間に比例してノイズも増大するため、基準となる露光時間においてノイズ除去するための露光時間用補正係数を用いることにより簡単に、任意の露光時間に対するノイズを除去できる。
【００２４】
補正係数保持部３５は、ノイズ除去するために各温度に対応した補正係数としての温度用補正係数を保持する温度用補正係数保持部３５ａと、ノイズ除去するために基準の露光時間（例えば１／３０秒）Ｐｒにおける補正係数としての基準露光時間用補正係数Ｄｒ（＝１）、又は実際の露光時間Ｐに対する露光時間用補正係数Ｄを保持する露光時間用補正係数保持部３５ｂとを備えている。
実際の露光時間Ｐに対する露光時間用補正係数Ｄは、基準露光時間用補正係数Ｄｒに、Ｐ／Ｐｒを乗算して算出することができる。
なお、露光時間用補正係数保持部３５ｂは、露光時間用補正係数Ｄを算出する算出式の情報を保持しても良い。以下では、基準露光時間用補正係数Ｄｒを１に設定した場合で説明する。図４は、補正係数保持部３５の温度用補正係数保持部３５ａが保持する各温度での温度用補正係数Ａｉ（ｉ＝１，２，…）の例を示す。
【００２５】
例えば温度センサ１９を用いて取得した温度情報としてのＣＣＤ１２の温度Ｔが温度Ｔ１では温度用補正係数がＡ１，温度Ｔ２では温度用補正係数がＡ２，…となる補正係数のデータが温度用補正係数保持部３５ａ（を構成するＲＯＭ）に格納されている。なお、図４の場合、ＣＣＤ１２の温度Ｔｉが温度範囲ＴｉとＴi＋１の間において、温度用補正係数がＡｉとなるように格納するようにしても良い。
また、温度用補正係数保持部３５ａは、多項式を用いて任意の温度での温度用補正係数Ａｉを算出できるように、多項式及びその係数の情報を格納するようにしても良い。なお、温度用補正係数Ａｉは、特定の温度、つまり基準となる基準温度においては１となるように設定される。
【００２６】
システム起動時におけるＣＣＤ１２の温度は、そのシステム起動時の環境温度によって変化するため、黒画像保持部３３によってＡＦＥ３２から出力される黒画像データ取得時（生成時）の温度も一定でなく、変動する場合が多い。つまり、ノイズ除去に用いる基準となる基準画像データとしての黒画像データは、一定温度の条件で取得されないで、変動する温度環境のもとで取得されるデータ（相対的基準黒画像データという）となる。
このため、システム起動時に取得された黒画像データは、その取得時の温度用補正係数Ａｉを含むデータとなる。例えばシステム起動時における温度がＴ１であると、その温度Ｔ１で取得した黒画像データは、すでに図４の温度用補正係数Ａ１を含むデータとなる。温度用補正係数が１の場合の黒画像データ（基準黒画像データ）は、温度がＴ１の場合に取得した黒画像データをＡ１で除算することにより得られる。
【００２７】
従って、システム起動時に取得した黒画像データの温度が変動しても、その取得時の温度用補正係数Ａｉで除算することにより、基準黒画像データを得ることができる。そして、その基準黒画像データを用いて、任意の温度での補正を行うようにしても良い。以下では、基準黒画像データを用いて補正を行う場合で説明するが、上記のように相対的基準黒画像データを用いて、任意の温度での補正を行うようにしても良い。
例えば、実際に検査を行う場合、黒画像取得時の温度を基準温度としてその基準温度が変化しない場合には、（ＣＰＵ２１は）その基準温度での温度用補正係数のままとする（実際には、その温度用補正係数が黒画像データにすでに含まれているので補正しない）。
【００２８】
一方、基準温度から温度変化が検出した場合には、基準温度に対する相対的な温度変化に対応した温度用補正係数を用いてノイズ除去の補正をする。例えば、上記基準温度がＴ１で、その後に温度がＴ２に変化した場合には、黒画像データに対して、温度用補正係数としてＡ２／Ａ１を用いてノイズ除去の補正を行うようにしても良い。
また、露光時間用補正係数保持部３５ｂは、上記のように基準となる露光時間で取得された１つの基準露光時間用補正係数Ｄｒを１として格納している。実際の露光時間Ｐにおいては、（Ｐ／Ｐｒ）の演算により露光時間用補正係数Ｄを算出（して保持）する。
【００２９】
ＣＰＵ２１は、温度センサ１９を用いて取得した現在の温度Ｔから対応する温度用補正係数Ａｉを補正係数保持部３５から読み出して補正データ生成部３４に出力させると共に、現在の露光時間Ｐの情報により算出される露光時間用補正係数Ｄも補正データ生成部３４に出力させる。なお、補正データ生成部３４において、露光時間用補正係数Ｄを算出するようにしても良い。
補正データ生成部３４は、（例えば、ＣＰＵ２１による制御下で）現在の温度Ｔに対応する温度用補正係数Ａｉと、現在の露光時間に対する露光時間用補正係数Ｄとを、黒画像保持部３３から出力される黒画像データに乗算して、ノイズ除去のための補正データを生成する。
【００３０】
基準黒画像データを用いる場合には、ＣＰＵ２１は、黒画像保持部３３がＡＦＥ３２を経て黒画像データとして取得した際のＣＣＤ１２の温度情報から基準黒画像データを生成する。なお、相対的基準黒画像データを用いる場合には、ＣＰＵ２１は、例えばＣＰＵ２１内のレジスタ等に黒画像取得時の温度情報を保持する。そして、ＣＣＤ１２の相対的な温度変化に応じて、補正係数を変更する。
補正データ生成部３４により生成される補正データは、黒画像データを取得した場合の温度及び露光時間から変化していない状態では、黒画像データ（のノイズ）に等しくなるが、黒画像データを取得した場合の温度と異なる温度に変化したり、露光時間が変化すると、それらの変化に対応して変化する（補正データとなる）。
【００３１】
換言すると、補正データ生成部３４はシステム起動時の（１つの温度及び１つの露光時間において取得した）黒画像データから、その温度及び露光時間が変化した場合に対しても、その変化した条件で実際に黒画像データを取得した場合に該当する補正データを近似的に生成可能にしている。
ＡＥＦ３２の画像データと、補正データ生成部３４により生成される補正データは、ノイズを除去した補正画像データを生成する画像補正処理手段としての画像補正処理部３６に入力される。
【００３２】
この画像補正処理部３６は、有効撮像領域１２ｂから順次読み出された２次元の画素位置においてＡＥＦ３２から出力される画像データから、対応する画素位置の補正データを減算して補正画像データを生成し、映像信号処理部３７に出力する。
映像信号処理部３７は、ノイズが除去された画像データとしての補正画像データの映像信号に対して、ガンマ補正、色補正、輪郭強調等の映像処理を行い、画像記録部１７側に出力し、液晶モニタ４にはノイズが除去された映像信号に対応する画質の良い画像が表示される。また、ノイズが除去された画質の良い画像（データ）を記録媒体１８等に記録することもできる。
【００３３】
このような構成の内視鏡装置１は、内視鏡挿入部２の先端部６に配置された固体撮像素子としてのＣＣＤ１２を用いて被写体像を撮像する撮像手段としての撮像部１２と、前記固体撮像素子の温度を取得する温度情報取得手段としての温度センサ１９を用いてＣＰＵ２１により形成される温度情報取得部２１ａと、前記撮像手段の出力信号から、被写体像に対応する画像データを生成する画像データ生成手段としてのＡＦＥ３２とを有する。
また、この内視鏡装置１は、前記固体撮像素子の有効撮像領域を遮光した際に前記画像データ生成手段から得られる黒画像データを補正情報として保持する黒画像保持手段としての黒画像保持部３３と、前記固体撮像素子が撮像を行う露光時間及び温度情報に基づいて、ノイズ除去の補正処理を行う際の補正係数を保持する補正係数保持手段としての補正係数保持部３５と、前記黒画像データから抽出したノイズと前記補正係数に基づいて、前記画像データを補正するための補正データを生成する補正データ生成手段としての補正データ生成部３４と、前記画像データから前記補正データを減算し、前記露光時間及び前記温度に依存したノイズを除去した補正画像データを生成する処理を行う画像補正処理手段としての画像補正処理部３６と、を具備することを特徴とする。
【００３４】
次に本実施形態の動作を説明する。
温度センサ１９によってＣＣＤ１２の温度情報をＣＰＵ２１が取得し、ＣＰＵ２１により調整される露光時間に対応してタイミングジェネレータ３１のタイミング信号がＣＣＤ駆動部１５に送られる。ＣＣＤ駆動部１５は、ＣＣＤ駆動信号をＣＣＤ１２に印加し、ＣＣＤ１２から光電変換された信号を出力させる。
ＣＣＤ１２の出力信号はプリアンプ１６に入力される。ＣＣＤ１２の出力信号は、挿入部２内のケーブルにより長距離伝送されるため減衰してしまう。この減衰分を補うためにプリアンプ１６にて増幅する。プリアンプ１６で増幅されたＣＣＤ１２の出力信号は、ＡＦＥ３２に入力される。ＡＦＥ３２に入力されたＣＣＤ１２の出力信号は、ＡＦＥ３２内部のＣＤＳ回路、Ａ／Ｄコンバータを経て、デジタルの画像データとして出力される。
【００３５】
ＡＦＥ３２が生成したデジタルの画像データは、暗電流ノイズ、固定パターンノイズを含む画像データであり、画像補正処理部３６に入力される。
黒画像保持部３３には、システム起動時に図３に示したＣＣＤ１２の有効撮像領域１２ｂを遮光した際にＡＦＥ３２から得られる黒画像データが記録して保持されている。
そして、図５に示すような処理を行うことにより、ノイズ除去のための補正データが生成され、画像補正処理部３６はノイズを除去した補正画像データを生成する。
【００３６】
なお、図５における２点鎖線で示すステップＳ０により、上記システム起動時において黒画像保持部３３には黒画像データが保持されている。また、システム起動時における基準温度に対応する温度用補正係数で黒画像データを除算することにより、基準黒画像データが生成される。
補正データ生成の処理が開始すると、ステップＳ１に示すようにＣＰＵ２１は露光時間とＣＣＤ１２の温度の情報を取得する。ステップＳ２に示すように補正係数保持部３５は、露光時間とＣＣＤ１２の温度の情報から対応する補正係数（具体的には露光時間用補正係数Ｄと温度用補正係数Ａｉ）を補正データ生成部３４に出力する。
【００３７】
ステップＳ３に示すように補正データ生成部３４は、黒画像データに、補正係数（Ｄ・Ａｉ）を乗算して、補正データを生成し、画像補正処理部３６に出力する。
次のステップＳ４に示すように、画像補正処理部３６は、ＡＦＥ３２から出力される（補正対象の）画像データから補正データを減算して補正画像データを生成する。そして、図５の処理は終了する。
画像補正処理部３６により生成される補正画像データは、露光時間及び温度に依存するノイズが除去された画像データであり、さらに映像信号処理部３７により各種の映像処理されて、画像記録部１７側に出力される。
【００３８】
また、図６は、図５に示した画像データとしての第１の画像データに対して補正画像データを生成した後に、引き続いて撮像を行った場合の画像データ（第２の画像データ）に対する処理手順を示す。
第１の画像データを生成した後、ステップＳ１１に示すようにＣＰＵ２１は、現在の露光時間とＣＣＤ１２の温度の情報を取得する。
ステップＳ１２に示すようにＣＰＵ２１は、露光時間とＣＣＤ１２の温度の情報に変化有りか否かを判定する。露光時間とＣＣＤ１２の温度の情報に変化なしの判定結果の場合には、ステップＳ１３に示すようにＣＰＵ２１は補正係数を変更しないように補正係数保持部３５を制御する。従って、ステップＳ１４に示すように補正データ生成部３４は同じ補正データを生成して、画像補正処理部３６に出力する。
【００３９】
一方、露光時間とＣＣＤ１２の温度の情報に変化有りの判定結果の場合には、ステップＳ１５に示すようにＣＰＵ２１は補正係数を変更するように補正係数保持部３５を制御する。従って、ステップＳ１６に示すように補正データ生成部３４は変更された補正係数を用いて補正データを生成して、画像補正処理部３６に出力する。
ステップＳ１７に示すように画像補正処理部３６は、ステップＳ４と同様の処理により、第１の画像データ後に入力される画像データ（例えば第２の画像データ）に対する補正画像データを生成して画像記録部１７側に出力する。そして、最初のステップＳ１１の処理に戻る。
【００４０】
図７は図６の動作説明図を示す。図７（Ａ）は、例えば内視鏡検査を開始した直後における温度ＴがＴ１であり、また露光時間が例えば黒画像を取得した場合と同じ露光時間Ｐ１の場合の画像データに含まれる例えば１フレーム期間のノイズを示す。図７（Ｂ）は、図７（Ａ）の状態において例えば先端部６を移動したために温度Ｔは殆ど変化しないが、被写体までの距離が変化し、距離の変化により図７（Ａ）の露光時間Ｐ１から露光時間Ｐ２に大きくなるように変更した場合のノイズを示す。図７（Ｂ）は、図７（Ａ）において、例えば２倍の露光時間にした場合のノイズを示す。
図７（Ｂ）は図７（Ａ）に比較して露光時間が、２倍になったため、そのノイズも２倍になる。図７（Ｃ）は、図７（Ａ）に対応した補正データの例である。図７（Ｃ）の補正データは、図７（Ｂ）の場合には、図７（Ｃ）の補正データは露光時間用補正係数が２倍に変更して図７（Ｄ）に示す補正データに変更される。
【００４１】
このように露光時間が変更された場合には、その露光時間に対応して、本実施形態では、補正係数を変更して補正データを生成する。従って、図７（Ａ）の場合には、図７（Ｃ）の補正データによりそのノイズを除去でき、また図７（Ｂ）の場合には図７（Ｄ）の補正データによりそのノイズを除去できる。従って、液晶モニタ４に表示される画像、又は記録媒体１８に記録される画像は、ノイズが十分に少ない内視鏡検査を行う易い画質の良い画像となる。
これに対して、従来例では温度の影響のみを考慮しているため、図７（Ｂ）のように露光時間の変化によって変化するノイズを十分に除去できない。
【００４２】
このような動作する本実施形態によれば、露光時間及び温度が変化するような環境において撮像を行う場合においても、ＣＣＤ１２により発生するノイズを十分に除去して画質の良い画像を生成することができる。
従って、本実施形態は、温度の他に露光時間が変化した場合にも、ノイズを除去して画質の良い画像を生成できる内視鏡装置を提供することができる効果を有する。
【００４３】
（第２の実施形態）
図８は本発明の第２の実施形態における画像処理部１４Ｂの構成を示す。この画像処理部１４Ｂは、図２の画像処理部１４において、黒画像保持部３３から出力される黒画像データからノイズの種類を判別するノイズ種類判別部４１を設けた構成にしている。
このノイズ種類判別部４１は、黒画像保持部３３からの黒画像データに対して、特性の異なる種類のノイズを判別し、判別結果の情報を補正係数保持部３５に出力する。
補正係数保持部３５は、ノイズ種類判別部４１により判別された異なる種類のノイズに対応して、複数の補正係数を予め保持している。
【００４４】
第１の実施形態においては、簡略化して１種類のノイズに対応して補正係数を保持していたが、本実施形態では複数種類、具体的には固定パターンノイズと、暗電流ノイズとの２種類のノイズ（成分）に対応して２種類の補正係数を保持する。例えば、本実施形態においては、図４における温度用補正係数Ａｉの代わりに、第１温度用補正係数Ｂｉと第２温度用補正係数Ｃｉとを保持している。なお、露光時間に関しては、第１の実施形態と同じである。
補正係数保持部３５は、ノイズ種類判別部４１による判別結果の情報、つまりノイズの種類に応じた補正係数を補正データ生成部３４に出力する。補正データ生成部３４は、黒画像保持部３３から出力される黒画像データに対して、実際の露光時間に対応した露光時間用補正係数Ｄと、判別結果に対応した一方の補正係数（具体的には第１温度用補正係数Ｂｉ又は第２温度用補正係数Ｃｉ）と、を乗算して生成した２種類の補正係数の一方を、判別結果に応じて乗算して補正データを生成する。
【００４５】
換言すると、第１の実施形態においては、１種類のノイズとして処理するようにした為、黒画像データに対して、露光時間を考慮して１種類の補正係数を乗算して補正データを生成していた。
これに対して、本実施形態においては、２種類のノイズに対応して、黒画像保持部３３から順次出力される黒画像データに対して、そのノイズの種類を判別し、判別結果に対応して、２種類の補正係数から、判別結果に対応する一方の補正係数及び露光時間用補正係数Ｄを黒画像データに乗算して、補正データを生成する。
図９は、本実施形態におけるノイズ種類判別部４１によるノイズ判別の説明図を示す。図９（Ａ）で模式的に示すように（ＣＣＤ１２の）有効撮像領域１２ｂには、ランダムに分布する暗電流ノイズ４２と、パターン状に分布する固定パターンノイズ４３とを有する。
【００４６】
遮光状態において有効撮像領域１２ｂにおける水平画素分の各画素の信号を、例えば２点鎖線で示す水平方向に沿って読み出した場合、図９（Ｂ）に示すような出力波形となる。なお、図９（Ｂ）における横軸は図９（Ａ）の水平位置に対応して時間を示し、縦軸は読み出された出力信号の輝度レベルを示す。
図９（Ｂ）に模式的に示すように、暗電流ノイズ４２は、離散的にパルス状に発生し、これに対して固定パターンノイズ４３は塊となってブロック状に発生すると共に、通常の条件では前者に対して後者の方が高いレベルで発生する。また、これら両ノイズの温度に対する特性も異なる場合が多い。
【００４７】
従って、図９（Ｂ）に示すように２つの閾値Ｖ１，Ｖ２にそれぞれ設定した図示しない比較器を用いて、ノイズ種類判別部４１は有効撮像領域１２ｂから読み出した出力信号を比較することにより、暗電流ノイズ４２と固定パターンノイズ４３とを判別することができる。
図９（Ｂ）の例では、出力信号が閾値Ｖ２よりも大きい場合には、固定パターンノイズ４３と判別し、出力信号が閾値Ｖ１とＶ２との間の場合には、暗電流ノイズ４２と判別する。
その他の構成は第１の実施形態と同様である。次に本実施形態の動作を説明する。本実施形態は、第１の実施形態においてノイズの種類を複数とした場合に該当するため、ノイズの種類が複数の場合に関連する動作を説明する。
【００４８】
図１０は本実施形態における補正データを生成する処理手順を示す。
システム起動時においてステップＳ２１に示すように黒画像保持部３３は、一時的に遮光状態にされたＣＣＤ１２の有効撮像領域１２ｂから読み出され、ＡＦＥ３２を経た黒画像データを格納して保持する。
その後、遮光状態は解除され、ユーザは、挿入部２を検査対象物内に挿入して内視鏡検査を開始する。
ステップＳ２２に示すようにＣＣＤ１２により撮像された被写体像は、ＡＦＥ３２を経て補正前（換言すると補正対象）の画像データとして取得され、この画像データは画像補正処理部３６に出力される。
【００４９】
一方、ＣＰＵ２１は、ステップＳ２３に示すように黒画像保持部から黒画像データを出力させ、この黒画像データはノイズ種類判別部４１と補正データ生成部３４とに出力される。
ステップＳ２４に示すようにノイズ種類判別部４１は、黒画像データの各出力タイミングにおいてノイズの種類を判別し、判別結果の情報を補正係数保持部３５に出力する。
ステップＳ２５に示すように補正係数保持部３５は、判別された種類のノイズに対応した温度用補正係数を、露光時間用補正係数と共に補正データ生成部３４に出力する。
【００５０】
ステップＳ２６に示すように補正データ生成部３４は、黒画像データにステップＳ２５における両補正係数を乗算して補正データを生成し、画像補正処理部３６に出力する。
ステップＳ２７に示すように画像補正処理部３６は、ステップＳ２２の補正対象の画像データから、この補正データを減算して補正画像データを生成し、映像信号処理部３７に出力する。映像信号処理部３７は、ノイズが除去された補正画像データに対して各種の画像処理を行い、画像記録部１７側に出力する。
このようにして、本実施形態においては、黒画像データに特性が異なる複数種類のノイズが含まれる場合においても、各ノイズを判別して、判別結果に応じて対応する補正係数を用いてノイズ除去するための補正データを生成する。
【００５１】
従って、本実施形態によれば、第１の実施形態の場合よりも、より精度良くノイズの除去が可能になる。その他、第１の実施形態と同様の効果を有する。
次に本実施形態の変形例を説明する。図１１に示す本変形例の画像処理部１４Ｃは、図８の画像処理部１４Ｂにおいて、ＡＦＥ３２が、ゲイン可変アンプとしてのＡＧＣ回路３２ｂを有する。なお、ＡＦＥ３２は、ＣＤＳ回路３２ａと、ＡＧＣ回路３２ｂと、Ａ／Ｄコンバータ３２ｃとから構成される。
ＡＧＣ回路３２ｂは、ＣＤＳ回路の出力信号における平均の輝度値を検出し、基準の輝度値からのずれ量に応じて、ゲイン（増幅率）を可変調整して、その平均の輝度値が基準の輝度値となるように自動制御する。
【００５２】
ＣＣＤ１２により撮像された信号は、プリアンプ１６により一定ゲインで増幅された後、ＣＤＳ回路３２ａにより信号成分が抽出された出力信号となり、さらにＡＧＣ回路３２ｂにより増幅された後、Ａ／Ｄコンバータ３２ｃによりデジタルの画像データに変換される。Ａ／Ｄコンバータ３２ｃの出力信号は黒画像保持部３３と画像補正処理部３６に出力される。
また、ＡＧＣ回路３２ｂにおける実際のゲインの設定値は、ＣＰＵ２１に入力され、ＣＰＵ２１はＡＧＣ回路３２ｂのゲインが変化した場合にもそのゲインの設定値を取得することができるようにしている。
【００５３】
本変形例では、黒画像データの取得（生成）時のＡＧＣ回路３２ｂのゲインが、検査時の画像データ（つまり補正対象の画像データ）生成時のゲインから変化した場合、その変化に対応した補正を行うようにしたものである。
このため、本変形例では、例えばＣＰＵ２１は、黒画像データの取得時におけるＡＧＣ回路３２ｂのゲイン（の設定値）を取得して例えばＣＰＵ２１内部のレジスタに保持（記憶）する。
そして、ＣＰＵ２１は、実際の検査時におけるＣＣＤ２１を用いて撮像を行っている最中において、ＡＧＣ回路３２ｂのゲインを取得して、黒画像データの取得時におけるゲインからの変更に応じて補正データを補正してノイズ除去の補正を行う。
【００５４】
具体的には、黒画像データの取得時のＡＧＣ回路３２ｂのゲインをＧｏとし、補正対象の画像データの生成時のゲインをＧとして場合、ＣＰＵ２１は補正データ生成部３４が生成する上述した補正データに対して、さらにゲイン補正係数Ｇ／Ｇｏを乗算して補正データを生成するように制御する。
本変形例においては、ＡＧＣ回路３２ｂによるゲイン調整によっても、基準の輝度値が得られない場合にはＣＰＵ２１は露光時間を長くして基準の輝度値が得られように露光時間の調整を行う。
その他の構成及び動作は、第２の実施形態と同様である。本変形例によれば、ゲインが可変されるゲイン可変アンプとしてのＡＧＣ回路３２ｂを用いて画像データを生成する場合においても、そのゲインの変動によるノイズの変動に応じた補正を行うため、画質の良い補正画像データを生成できる。
【００５５】
なお、上述した実施形態等において、黒画像保持部３３は、システム起動時に黒画像データを取得して保持するように説明したが、各システム起動時に必ず行うことが必要とされるものでない。
つまり、ＣＣＤ１２の特性は、短時間又は短期間には殆ど変化しないと考えられるため、前回の検査時に黒画像保持部３３を構成する不揮発性メモリ（例えば書き換え可能なフラッシュメモリ）に保持した黒画像データを次の検査時に用いるようにしても良い。
また、数回又は数十回の検査において一度、黒画像データを取得して保持するようにしても良い。また、黒画像データを取得した日時を記憶し、その日時から予め設定された時間が経過した場合に、黒画像データを取得して保持することを促す表示等を行うようにしても良い。このようにすると、黒画像データを取得して保持する作業を行う手間を軽減できる。
なお、上述した実施形態等を部分的に組み合わせて異なる実施形態を形成しても良い。
【符号の説明】
【００５６】
１…内視鏡装置、２…（内視鏡）挿入部、３…本体部、４…液晶モニタ、５…リモコン、６…先端部、７…ＬＥＤ、１０…撮像部、１２…ＣＣＤ、１５…ＣＣＤ駆動部、１７…画像記録部、１９…温度センサ、２１…ＣＰＵ、２１ａ…温度情報取得部、２１ｂ…露光時間調整部、３２…ＡＦＥ、３２ｂ…ＡＧＣ回路、３３…黒画像保持部、３４…補正データ生成部、３５…補正係数保持部、３５ａ…温度用補正係数保持部、３５ｂ…露光時間用補正係数保持部、３６…画像補正処理部、３７…映像信号処理部、４１…ノイズ種類判別部
【先行技術文献】
【特許文献】
【００５７】
【特許文献１】特開２００４−２３７６４号公報
【特許請求の範囲】
【請求項１】
内視鏡挿入部の先端部に配置された固体撮像素子を用いて被写体像を撮像する撮像手段と、
前記固体撮像素子の温度を取得する温度情報取得手段と、
前記撮像手段の出力信号から、被写体像に対応する画像データを生成する画像データ生成手段と、
前記固体撮像素子の有効撮像領域を遮光した際に前記画像データ生成手段により得られる黒画像データを補正情報として保持する黒画像保持手段と、
前記固体撮像素子が撮像を行う露光時間及び温度情報に基づいて、ノイズ除去の補正処理を行う際の補正係数を保持する補正係数保持手段と、
前記黒画像データから抽出したノイズと前記補正係数に基づいて、前記画像データを補正するための補正データを生成する補正データ生成手段と、
前記画像データから前記補正データを減算し、前記露光時間及び前記温度に依存したノイズを除去した補正画像データを生成する処理を行う画像補正処理手段と、
を具備することを特徴とする内視鏡装置。
【請求項２】
前記補正データ生成手段は、前記画像データ生成手段により生成された前記画像データとしての第1の画像データの取得後に取得した第２の画像データの露光時間が、前記第１の画像データの場合よりも長くなった場合、前記第1の画像データの場合よりも実質的に高くなる前記補正係数を用いて前記補正データを生成することを特徴とする請求項１に記載の内視鏡装置。
【請求項３】
前記補正データ生成手段は、前記画像データ生成手段により生成された前記画像データとしての第1の画像データの取得後に取得した第２の画像データの露光時間が、前記第１の画像データの場合よりも短くなった場合、前記第1の画像データの場合よりも実質的に低くなる前記補正係数を用いて前記補正データを生成することを特徴とする請求項１に記載の内視鏡装置。
【請求項４】
さらに、前記黒画像から特性が異なる複数種類のノイズから、特性が異なる各ノイズを判別するノイズ種類判別手段を備え、前記補正データ生成手段は、前記ノイズ種類判別手段により判定された各ノイズ毎に、前記画像データを補正する前記補正係数を変更することを特徴とする請求項1〜請求項３のいずれかに記載の内視鏡装置。
【請求項５】
前記画像データ生成手段が前記撮像手段の出力信号に基づいて、該出力信号の平均の輝度値のレベルに応じて、ゲインを可変するゲイン可変アンプを有する場合には、前記補正データ生成手段は、さらに、前記黒画像データ生成時の前記ゲイン可変アンプのゲインに対して前記画像データ生成時のゲインの変化に対応したノイズ補正を行って前記補正データを生成することを特徴とする請求項１〜請求項４のいずれかに記載の内視鏡装置。
【請求項１】
内視鏡挿入部の先端部に配置された固体撮像素子を用いて被写体像を撮像する撮像手段と、
前記固体撮像素子の温度を取得する温度情報取得手段と、
前記撮像手段の出力信号から、被写体像に対応する画像データを生成する画像データ生成手段と、
前記固体撮像素子の有効撮像領域を遮光した際に前記画像データ生成手段により得られる黒画像データを補正情報として保持する黒画像保持手段と、
前記固体撮像素子が撮像を行う露光時間及び温度情報に基づいて、ノイズ除去の補正処理を行う際の補正係数を保持する補正係数保持手段と、
前記黒画像データから抽出したノイズと前記補正係数に基づいて、前記画像データを補正するための補正データを生成する補正データ生成手段と、
前記画像データから前記補正データを減算し、前記露光時間及び前記温度に依存したノイズを除去した補正画像データを生成する処理を行う画像補正処理手段と、
を具備することを特徴とする内視鏡装置。
【請求項２】
前記補正データ生成手段は、前記画像データ生成手段により生成された前記画像データとしての第1の画像データの取得後に取得した第２の画像データの露光時間が、前記第１の画像データの場合よりも長くなった場合、前記第1の画像データの場合よりも実質的に高くなる前記補正係数を用いて前記補正データを生成することを特徴とする請求項１に記載の内視鏡装置。
【請求項３】
前記補正データ生成手段は、前記画像データ生成手段により生成された前記画像データとしての第1の画像データの取得後に取得した第２の画像データの露光時間が、前記第１の画像データの場合よりも短くなった場合、前記第1の画像データの場合よりも実質的に低くなる前記補正係数を用いて前記補正データを生成することを特徴とする請求項１に記載の内視鏡装置。
【請求項４】
さらに、前記黒画像から特性が異なる複数種類のノイズから、特性が異なる各ノイズを判別するノイズ種類判別手段を備え、前記補正データ生成手段は、前記ノイズ種類判別手段により判定された各ノイズ毎に、前記画像データを補正する前記補正係数を変更することを特徴とする請求項1〜請求項３のいずれかに記載の内視鏡装置。
【請求項５】
前記画像データ生成手段が前記撮像手段の出力信号に基づいて、該出力信号の平均の輝度値のレベルに応じて、ゲインを可変するゲイン可変アンプを有する場合には、前記補正データ生成手段は、さらに、前記黒画像データ生成時の前記ゲイン可変アンプのゲインに対して前記画像データ生成時のゲインの変化に対応したノイズ補正を行って前記補正データを生成することを特徴とする請求項１〜請求項４のいずれかに記載の内視鏡装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−１３０５７８（Ｐ２０１２−１３０５７８Ａ）
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願番号】特願２０１０−２８６５６２（Ｐ２０１０−２８６５６２）
【出願日】平成２２年１２月２２日（２０１０．１２．２２）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願日】平成２２年１２月２２日（２０１０．１２．２２）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]