電子内視鏡システムにおけるノイズ除去方法及び装置
【課題】撮像素子からの出力信号に高ゲインを掛けることなく観察画像の縞ノイズを除去する。
【解決手段】撮像素子を有する内視鏡と、該撮像素子からの出力信号に基づいて画像を生成するビデオプロセッサとを備える電子内視鏡システムにおいて、撮像素子の連続する第１から第３のラインにおいて、注目画素と隣接画素に基づいて求められる該注目画素の輝度と、第１のラインにおいて注目画素に隣接する画素と隣接画素から求められる輝度と、第３のラインにおいて注目画素に隣接する画素と隣接画素から求められる輝度とを用いて、第１の画素の輝度と第３の画素の輝度の平均値を求め、第２のラインにおいて注目画素と隣接画素のいずれかの画素が飽和しているか否かを判定し、飽和している場合は注目画素の輝度を該平均値を用いて補正し、これらの処理を第２のラインの各画素に対して繰り返し実行する。
【解決手段】撮像素子を有する内視鏡と、該撮像素子からの出力信号に基づいて画像を生成するビデオプロセッサとを備える電子内視鏡システムにおいて、撮像素子の連続する第１から第３のラインにおいて、注目画素と隣接画素に基づいて求められる該注目画素の輝度と、第１のラインにおいて注目画素に隣接する画素と隣接画素から求められる輝度と、第３のラインにおいて注目画素に隣接する画素と隣接画素から求められる輝度とを用いて、第１の画素の輝度と第３の画素の輝度の平均値を求め、第２のラインにおいて注目画素と隣接画素のいずれかの画素が飽和しているか否かを判定し、飽和している場合は注目画素の輝度を該平均値を用いて補正し、これらの処理を第２のラインの各画素に対して繰り返し実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子内視鏡の撮像素子からの画像信号において発生する縞ノイズの除去方法及び除去装置に関する。
【背景技術】
【０００２】
患者の体腔内に細径で長尺の挿入部を挿入することによって対象部位を観察及び撮像を行うことができる電子内視鏡を備える電子内視鏡システムが広く用いられている。電子内視鏡システムでは、電子内視鏡の挿入部の先端部に設けられた撮像素子によって体腔内の部位を撮像し、電子内視鏡に接続されたビデオプロセッサによって撮像素子が生成する画像信号を処理して撮像画像を生成してモニタに出力する。
【０００３】
撮像素子では、ドライバからの水平同期信号や垂直同期信号などの駆動信号に基づいて、光電変換された出力信号が読み出される。撮像素子からの出力信号は、ビデオプロセッサの信号処理回路において、相関二重サンプリング、オートゲインコントロール、ホワイトバランス、エンハンス、γ補正などの画像処理が施され観察画像に変換され、さらに色調整やノイズリダクションなどの信号処理を施された後モニタに出力され、観察画像がモニタに表示される。
【０００４】
撮像素子からの出力信号の読み出しの一例として、特許文献１に開示される構成が挙げられる。特許文献１の電子内視鏡システムにおいては、撮像素子であるＣＣＤ（Charge-Coupled Device）は出力が複数ある複数チャンネル読み出し型のＣＣＤである。このＣＣＤをＣＣＤ水平転送駆動パルス発生回路から出力される同一タイミングのパルスによって駆動する。そして、ＣＣＤからの出力信号に対する処理を、チャンネル数と同数でありかつ同一構成を有する回路によって行い、これらの回路で処理された信号をデジタルで合成する。従って、１水平転送期間内にチャンネル数と同数のライン分の信号電荷が読み出される。
【０００５】
ここで、ＣＣＤから出力されるＲＡＷデータに基づいて観察画像を生成する過程において、インターレース走査によって輝度を算出する方法について説明する。図１に、ＣＣＤのベイヤ画素配列を示す。ベイヤ画素配列では、ＣＣＤの総画素数Ｎに対して、緑の解像度はＮ／２、赤および青の解像度はＮ／４になるため、各画素毎に周辺の画素の出力を用いて補間演算を行うことによりＮ個のＲ，Ｇ，Ｂの組が生成される。図１に示すように、Ｒ，Ｇ，Ｂの３原色は、互いに隣接する４画素におけるＷｒ，Ｇｂ，Ｇｒ，Ｗｂの４補色により生成される。そして、各画素の輝度は、水平方向のラインにおいて隣接する２画素の画素値の平均値から求められる。すなわち、ベイヤ画素配列内の任意の隣接する２ライン、すなわち奇数ラインと偶数ラインの組に注目し、任意の奇数ラインの輝度をＹＯ、該奇数ラインに隣接する偶数ラインの輝度をＹＥとし、Ｗｒ，Ｇｂ，Ｇｒ，Ｗｂに対応する画素における画素値をそれぞれＶＷｒ，ＶＧｂ，ＶＧｒ，ＶＷｂとすると、ＹＯは（ＶＷｒ＋ＶＧｂ）／２で、またＹＥは（ＶＧｒ＋ＶＷｂ）／２で与えられる。ここで、シアン、マゼンタ、黄、緑に対応する画素値を、それぞれＶＣｙ，ＶＭｇ，ＶＹｅ，ＶＧとすると、
ＶＷｒ＝ＶＣｙ＋ＶＭｇ、
ＶＷｂ＝ＶＣｙ＋ＶＧ、
ＶＧｒ＝ＶＹｅ＋ＶＭｇ、
ＶＧｂ＝ＶＹｅ＋ＶＧ、
であるため、
ＹＯ＝（ＶＷｒ＋ＶＧｂ）／２＝（ＶＣｙ＋ＶＭｇ＋ＶＹｅ＋ＶＧ）／２、
ＹＥ＝（ＶＧｒ＋ＶＷｂ）／２＝（ＶＹｅ＋ＶＭｇ＋ＶＣｙ＋ＶＧ）／２、
が成り立つ。
【０００６】
図２は、１２ビット信号処理により観察画像を生成する場合の、Ｗｒ，Ｗｂ，Ｇｒ，Ｇｂに対応する画素における、受光量に対する各輝度の推移を示すグラフである。１２ビット信号であるため、各画素の輝度の飽和値は電子的な閾値として値４０９５が設定されている。図２の一点鎖線のグラフＬに代表されるように、ＲＡＷデータにおける各画素の輝度は、受光量が大きくなるにつれて、輝度の変化が小さくなる特性を示すため感度が悪くなる。そこで、従来では、グラフＬの受光量が小さい範囲における線形部分のみを用いるべく、ＣＣＤの出力信号にゲインを掛けている。ゲインを掛けることにより、各画素の輝度は、図２の実線の各グラフが示すように、飽和値に達するまで画素の受光量に対して略リニアに変化する特性を示す。なお、掛けるゲインを高くするにつれて、実線の各グラフの傾きは大きくなる。
【０００７】
ここで、画素における輝度が飽和値に達しない場合は、奇数ラインの輝度ＹＯと偶数ラインの輝度ＹＥとは同じ値となるため、奇数ラインと偶数ラインとの間で輝度差は発生しない、すなわち観察画像において縞となるノイズは発生しない。しかし、Ｗｒ，Ｇｂ，Ｇｒ，Ｗｂに対応する画素の各輝度はそれぞれ異なる受光量にて飽和値に達するため、奇数ライン内又は偶数ライン内の画素に飽和値に達する画素が存在する場合、奇数ラインと偶数ラインとの間で輝度差が発生する。図２に示すグラフの場合、Ｗｒに対応する画素の輝度が飽和値に達するまでは、奇数ライン及び偶数ラインの輝度は、破線のグラフが示すように、同じ値を取りながら推移する。しかし、Ｗｒに対応する画素の輝度が飽和値に達すると、それ以降は二点鎖線の各グラフが示すように、受光量の増加に対する奇数ラインの輝度の増加が偶数ラインの輝度の増加に比べて緩やかになり、奇数ラインの輝度と偶数ラインの輝度との差が生じる。すなわち、グラフの斜線部の領域が示すように、奇数ラインと偶数ラインとの間に輝度差が生じる。この結果、観察画像に縞ノイズが発生してしまう。
【０００８】
そこで従来は、ライン間の輝度差を補正して縞ノイズを除去するために、輝度のゲインアップを行うことや、信号処理回路において縞の繰り返しの周波数を減衰させるフィルタ処理を行うことが提案されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平９−３１３４３４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかし、従来においては、ＣＣＤからの出力信号に高ゲインを掛けているため、ランダムノイズが発生し、画像信号のＳ／Ｎ比が悪化する可能性がある。従って、観察画像の品質が低下する可能性がある。一方、掛けるゲインを低くすると、ランダムノイズの発生やＳ／Ｎ比の悪化は回避しやすくなるものの、図２に示す実線の各グラフの傾きが小さくなり、各輝度の飽和値に達する受光量が大きく異なってくるため、斜線部の領域が大きくなる。すなわち、観察画像において縞ノイズが目立ってきてしまう。
【００１１】
本発明は上記の事情に鑑みてなされたものである。本発明の目的は、撮像素子からの出力信号に対して高ゲインを掛けることなく縞ノイズを除去することである。
【課題を解決するための手段】
【００１２】
本発明の縞ノイズ除去方法は、撮像素子を有する電子内視鏡と、撮像素子からの出力信号に基づいて画像を生成するビデオプロセッサとを備える電子内視鏡システムにおける縞ノイズ除去方法であって、撮像素子の任意の連続する第１から第３のラインにおいて、第２のラインのいずれかの画素を注目画素とみなし、注目画素の画素値と、第２のライン内の注目画素に隣接する少なくとも１つの画素の画素値とに基づいて、注目画素の輝度を求める注目画素の輝度算出ステップと、第２のラインにおいて注目画素及び注目画素に隣接する画素のいずれかの画素が飽和しているか否かを判定する飽和判定ステップと、第２のラインにおいて注目画素及び注目画素に隣接する画素のいずれかの画素が飽和していると判定された場合は、第１のラインにおける注目画素に隣接する画素の画素値と第３のラインにおける注目画素に隣接する画素の画素値とから求められる補正値を用いて、注目画素の輝度を補正する輝度補正ステップと、第２のラインにおいて注目画素及び注目画素に隣接する画素のいずれかの画素が飽和していないと判定された場合は、注目画素の輝度算出ステップにより求められる輝度を注目画素の輝度と決定する輝度決定ステップとを有し、第２のラインとして撮像素子の各ラインを順次指定して、指定された第２のラインの各画素に対して各ステップを繰り返し実行する。好ましくは、縞ノイズ除去方法は、第１のラインにおいて注目画素に対応する第１の画素の画素値と、第１のライン内の第１の画素に隣接する少なくとも１つの画素の画素値とに基づいて、第１の画素の輝度を求める第１の画素の輝度算出ステップと、第３のラインにおいて注目画素に対応する第２の画素の画素値と、第３のライン内の第２の画素に隣接する少なくとも１つの画素の画素値とに基づいて、第２の画素の輝度を求める第２の画素の輝度算出ステップと、第１の画素の輝度と第２の画素の輝度の平均値を求める輝度平均値算出ステップとをさらに有し、輝度補正ステップにおいて、当該平均値を補正値として用いる。これにより、注目画素を有するラインと隣接するラインとの間に発生した輝度差を解消して縞ノイズの発生を防止することができる。
【００１３】
また、好ましくは、第２のラインにおいて注目画素及び注目画素に隣接する画素のいずれかの画素が飽和していると判定された場合、平均値が注目画素の輝度の値を超えるときは、第２のラインの輝度の値として平均値を採用し、平均値が注目画素の輝度の値を超えないときは、第２のラインの輝度の値として注目画素の輝度の値を採用する。従って、注目画素を有するラインの画素が飽和する場合に、当該ラインが隣接するラインよりも先に飽和して隣接するラインとの輝度差が発生したときに輝度差を解消して縞ノイズを除去することができる。
【００１４】
また、本発明の縞ノイズ除去装置は、撮像素子を有する電子内視鏡と、撮像素子からの出力信号に基づいて画像を生成するビデオプロセッサとを備える電子内視鏡システムであって、ノイズ除去部を備え、ノイズ除去部は、撮像素子の任意の連続する第１から第３のラインのデータを格納するラインメモリと、ラインメモリに格納された第１から第３のラインのデータから第１から第３のラインの画素の輝度を計算する輝度計算部と、ラインメモリに格納された第２のラインのデータから第２のラインの画素の飽和状態を判定する飽和状態判定部と、第２のラインの画素の輝度を補正する輝度補正部とを有し、輝度計算部は、第２のラインのいずれかの画素を注目画素とみなし、注目画素の画素値と、第２のライン内の注目画素に隣接する少なくとも１つの画素の画素値とに基づいて、注目画素の輝度を求め、飽和状態判定部は、第２のラインにおいて注目画素及び注目画素に隣接する画素のいずれかの画素が飽和しているか否かを判定し、輝度補正部は、第２のラインにおいて注目画素及び注目画素に隣接する画素のいずれかの画素が飽和していると判定された場合は、第１のラインにおける注目画素に隣接する画素の画素値と第３のラインにおける注目画素に隣接する画素の画素値とから求められる補正値を用いて、注目画素の輝度を補正し、第２のラインにおいて注目画素及び注目画素に隣接する画素のいずれかの画素が飽和していないと判定された場合は、輝度計算部により求められる輝度を注目画素の輝度と決定し、ラインメモリには、撮像素子の各ラインのデータが１ラインずつ遅延して順次格納されていく。さらに、輝度計算部は、第１のラインにおいて注目画素に対応する第１の画素の画素値と、第１のライン内の第１の画素に隣接する少なくとも１つの画素の画素値とに基づいて、第１の画素の輝度を求め、第３のラインにおいて注目画素に対応する第２の画素の画素値と、第３のライン内の第２の画素に隣接する少なくとも１つの画素の画素値とに基づいて、第２の画素の輝度を求め、さらに、第１の画素の輝度と第２の画素の輝度の平均値を求め、輝度補正部は、当該平均値を補正値として用いる。
【００１５】
輝度補正部は、第２のラインにおいて注目画素及び注目画素に隣接する画素のいずれかの画素が飽和していると判定された場合、平均値が注目画素の輝度の値を超えるときは、第２のラインの輝度の値として平均値を採用し、平均値が注目画素の輝度の値を超えないときは、第２のラインの輝度の値として注目画素の輝度の値を採用する。また、ノイズ除去部は、電子内視鏡あるいはビデオプロセッサに設けられる。
【発明の効果】
【００１６】
本発明の縞ノイズ除去方法によれば、撮像素子の出力信号に対して高ゲインを掛けることなく隣接するライン間で発生した輝度差を解消して縞ノイズを除去することができるため、ランダムノイズを発生させることなく診断に良好な観察画像を生成することができる。
【図面の簡単な説明】
【００１７】
【図１】図１は、ＣＣＤの画素配列を示す図である。
【図２】図２は、各画素の輝度および図１の画素配列における奇数ラインと偶数ラインとの輝度差を示すグラフである。
【図３】図３は、本発明の一実施形態におけるノイズ除去方法を採用した電子内視鏡システムの概略を示すブロック図である。
【図４】図４は、本発明の一実施形態におけるノイズ除去方法を採用した電子内視鏡のノイズ除去部の概略を示すブロック図である。
【図５】図５（ａ）は、本発明の一実施形態におけるＣＣＤの注目画素及び隣接画素を示す図であり、図５（ｂ）は、本発明の一実施形態におけるＣＣＤの注目画素及び隣接画素の画素値の例を示す図である。
【図６】図６は、本発明の一実施形態におけるノイズ除去の処理を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、図面を参照して、本発明の一実施形態におけるノイズ除去方法について説明する。
【００１９】
図３は、本実施形態におけるノイズ除去方法を用いる電子内視鏡システム１００の概略を示すブロック図である。電子内視鏡１の電気的消去可能読み取り専用メモリ（ＥＥＰＲＯＭ）９には、画素数やフレームレートなど、ＣＣＤ４固有のプロパティ情報があらかじめ格納されている。電子内視鏡１がビデオプロセッサ２に接続されると、ＥＥＰＲＯＭ９に格納されているプロパティ情報がペリフェラルドライブ１１に読み込まれた後にシステムコントロール部１２に送られる。システムコントロール部１２は、電子内視鏡１のＥＥＰＲＯＭ９から得られるＣＣＤ４の駆動特性に関する情報に基づいて、ＣＣＤ４やビデオプロセッサ２などの制御を切り替える。また、システムコントロール部１２は、電子内視鏡１内のＥＥＰＲＯＭ９に格納されている情報、電子内視鏡１の操作部に設けられた各種操作用のボタン６やビデオプロセッサ２に設けられたパネルスイッチ１４の操作、ビデオプロセッサ２に接続されたキーボード１５からの入力に基づいて画像処理部１０の動作を制御する。例えば、システムコントロール部１２はフレームレートの情報に基づいて画像処理部１０の動作を制御する。
【００２０】
ビデオプロセッサ２の光源部１３で発生した光は、ライトガイド５によって電子内視鏡１の挿入部の先端に伝搬され、照明光として患者の体腔内の観察対象物に照射される。対象部位からの反射光は、挿入部の先端に設けられた対物光学系（図示せず）を介してＣＣＤ４に進行する。ＣＣＤ４の撮像面は、電子内視鏡１の挿入部において、挿入部の先端に設けられた対物光学系によって観察対象物の像が結ばれる位置に配置されている。また、電子内視鏡１の操作部に設けられた各種操作用のボタン６を操作することにより、操作信号がビデオプロセッサ２内のシステムコントロール部１２に送られ、静止画像や動画の記録、送気、送水などの種々の処理が行なわれる。
【００２１】
ＣＣＤ４によって光電変換された撮像信号は、図示しない処理部によって増幅、サンプルホールド処理、Ａ／Ｄ変換、ノイズ除去などの前処理が施された後、色変換部７とノイズ除去部８に送られる。色変換部７では、ＣＣＤ４の出力信号が色差信号Ｃｂ，Ｃｒに変換される。また、ノイズ除去部８では、ＣＣＤ４の出力信号が輝度信号Ｙに変換されて縞ノイズを除去する処理が行われる。図４は、ノイズ除去部８の概略を示すブロック図である。ノイズ除去部８において、ＣＣＤ４の互いに隣接する３つのラインのデータが、１ラインごとにラインメモリ２０，２１，２２に格納される。なお、ラインメモリ２０，２１，２２には、出力信号がそれぞれ１ラインずつ遅延して格納される。
【００２２】
図５（ａ）は、任意の注目画素とその周辺の画素Ｐ１〜Ｐ９を示す図である。ラインメモリ２０には画素Ｐ７，Ｐ８，Ｐ９を含むラインの出力信号が、ラインメモリ２１には画素Ｐ４，Ｐ５，Ｐ６を含むラインの出力信号が、ラインメモリ２２には画素Ｐ１，Ｐ２，Ｐ３を含むラインの出力信号がそれぞれ格納されている。各ラインメモリ２０，２１，２２に格納されているデータは、輝度計算部２４に送られる。また、ラインメモリ２１のデータは、飽和状態判定部２３にも送られる。飽和状態判定部２３は、ラインメモリ２１内の画素を１つずつ注目画素Ｐ５として順次設定する。ここで、注目画素Ｐ５とは、ＣＣＤの画素マトリクスにおいて、図５（ａ）に示すように互いに隣接する任意の９つの画素Ｐ１〜Ｐ９を１つの群とし、この１群の画素のうち中心にある画素をいう。飽和状態判定部２３は、それぞれの注目画素Ｐ５について、注目画素Ｐ５及び隣接画素Ｐ４，Ｐ６のいずれかの画素の画素値が飽和値に達しているか否かを判定し、判定結果を飽和状態信号として輝度補正部２５に送る。画素Ｐ４，Ｐ５，Ｐ６のいずれかが飽和している場合は、飽和状態信号が１に設定され、いずれも飽和していない場合は、飽和状態信号が０に設定される。
【００２３】
続いて図５（ａ）を参照しながら画素の輝度の算出方法について説明する。輝度計算部２４は、ラインメモリ２０，２１，２２に格納されているデータに基づいて注目画素Ｐ５の輝度と縞ノイズを除去するための補正輝度とを算出する。まず、輝度計算部２４は、ラインメモリ２１内のいずれかの画素を注目画素Ｐ５とし、注目画素Ｐ５の上下左右斜めに配置されている８つの画素を図５（ａ）に示すように画素Ｐ１〜Ｐ３，Ｐ４，Ｐ６，Ｐ７〜Ｐ９とみなす。ここで、画素Ｐｋ（ｋ＝１〜９）の画素値をＶｋ、輝度をＹＰｋとし、注目画素Ｐ５の輝度ＹＰ５が、
ＹＰ５＝（Ｖ４＋Ｖ５）／２
で与えられるとする。また、注目画素Ｐ５の上側に隣接する画素Ｐ２の輝度Ｙ上が、
Ｙ上＝（Ｖ１＋Ｖ２）／２（＝ＹＰ２）
で与えられ、注目画素Ｐ５の下側に隣接する画素Ｐ８の輝度Ｙ下が、
Ｙ下＝（Ｖ７＋Ｖ８）／２（＝ＹＰ８）
で与えられるとする。そして、補正輝度Ｙ’を注目画素の上側と下側に隣接する画素の各輝度の平均値とすると、
Ｙ’＝（Ｙ上＋Ｙ下）／２
となる。
【００２４】
例えば、注目画素Ｐ５として奇数ラインのＷｒに対応する任意の画素を選択した場合を考える。このとき、図５（ａ）に示すように、画素Ｐ１〜Ｐ９の画素値を、それぞれＶＷｂ（Ｐ１），ＶＧｒ（Ｐ２），ＶＷｂ（Ｐ３），ＶＧｂ（Ｐ４），ＶＷｒ（Ｐ５），ＶＧｂ（Ｐ６），ＶＷｂ（Ｐ７），ＶＧｒ（Ｐ８），ＶＷｂ（Ｐ９）とする。すると、
ＹＰ５＝（Ｖ４＋Ｖ５）／２＝（ＶＧｂ（Ｐ４）＋ＶＷｒ（Ｐ５））／２、
Ｙ上＝（Ｖ１＋Ｖ２）／２＝（ＶＷｂ（Ｐ１）＋ＶＧｒ（Ｐ２））／２、
Ｙ下＝（Ｖ７＋Ｖ８）／２＝（ＶＷｂ（Ｐ７）＋ＶＧｒ（Ｐ８））／２、
となる。また、補正輝度Ｙ’は、
Ｙ’＝（Ｙ上＋Ｙ下）／２＝（ＶＷｂ（Ｐ１）＋ＶＧｒ（Ｐ２）＋ＶＷｂ（Ｐ７）＋ＶＧｒ（Ｐ８））／４
となる。
【００２５】
輝度計算部２４は、輝度ＹＰ５及び補正輝度Ｙ’を算出してそれぞれ輝度補正部２５に送る。そして、輝度補正部２５は、輝度ＹＰ５、補正輝度Ｙ’、飽和状態判定部２３からの飽和状態信号に基づいて注目画素Ｐ５の輝度を補正する。そして、画素マトリクスの任意のラインにおいて列を１列ずつずらして注目画素を順次指定し、当該ライン内のすべての画素について注目画素の輝度計算、補正輝度計算、及び飽和状態の判定を行って注目画素の輝度補正を行う。当該ライン内のすべての画素に対する輝度補正が完了したら、行を１行ずらして新しいラインを指定し、新しいライン内のすべての画素について同様の処理を行う。こうして画素マトリクス内のすべての画素について輝度補正を行う。具体的な補正方法については後述する。
【００２６】
ここで図６に示す、本実施形態のノイズ除去部８における縞ノイズ除去処理のフローチャートを参照する。ステップＳ１０１において、輝度計算部２４により注目画素Ｐ５の輝度ＹＰ５が計算される。続いてステップＳ１０３において、輝度計算部２４により注目画素Ｐ５の上下の隣接画素の輝度の平均値Ｙ’が計算される。次にステップＳ１０５に進み、飽和状態判定部２３において画素Ｐ４，Ｐ５，Ｐ６のいずれかの画素が飽和しているか否かを判定する。飽和していると判定された場合はステップＳ１０７に進む。画素Ｐ４，Ｐ５，Ｐ６のいずれかが飽和している場合は、注目画素Ｐ５を含むラインと上下のラインとの間に輝度差が発生しているとみなす。ステップＳ１０７においては、輝度補正部２５には値が１である飽和状態信号が送られる。画素Ｐ４，Ｐ５，Ｐ６のいずれかが飽和しているので、輝度補正部２５は、ステップＳ１０３で計算されたＹ’を補正輝度としてＹ’がＹＰ５よりも大きい値か否かを判定する。Ｙ’がＹＰ５よりも大きい場合はステップＳ１０９に進み、輝度補正部２５によって補正後の輝度ＹｏｕｔとしてＹ’が設定される。従って、上の例で注目画素Ｐ５を奇数ラインのＷｒに対応する画素とした場合は、注目画素Ｐ５の輝度（ＶＧｂ（Ｐ４）＋ＶＷｒ（Ｐ５））／２が、（ＶＷｂ（Ｐ１）＋ＶＧｒ（Ｐ２）＋ＶＷｂ（Ｐ７）＋ＶＧｒ（Ｐ８））／４に補正され、補正された値がＹｏｕｔとして設定される。
【００２７】
一方、ステップＳ１０５において画素Ｐ４，Ｐ５，Ｐ６のいずれも飽和していないと判定された場合は、注目画素Ｐ５を含むラインと上下のラインとの間に輝度差は発生していないとみなし、輝度補正を行わない。従って、ステップＳ１１１に進む。ステップＳ１１１においては、輝度補正部２５には値が０である飽和状態信号が送られる。そして、輝度補正部２５によって補正後の輝度ＹｏｕｔとしてＹＰ５が設定される。また、ステップＳ１０７において、ＹＰ５がＹ’以上の値を取る場合もステップＳ１１１に進んで補正後の輝度ＹｏｕｔにＹＰ５が設定される。従って、上の例で注目画素Ｐ５を奇数ラインのＷｒに対応する画素とした場合は、注目画素Ｐ５の輝度（ＶＧｂ（Ｐ４）＋ＶＷｒ（Ｐ５））／２が、補正されずにＹｏｕｔとして設定される。
【００２８】
以上の処理により、図２のグラフに示したようにＷｒに対応する画素の輝度がＧｂ，Ｇｒ，Ｗｂに対応する他の画素の輝度よりも先に飽和値に達して隣接するラインとの間に輝度差が生じる場合でも、飽和した画素を注目画素Ｐ５として上記の判定を行い、飽和値に達した画素を有するラインの輝度を隣接するラインの輝度に合わせることにより、輝度差を解消して観察画像における縞ノイズの発生を防止することができる。
【００２９】
色変換部７により変換された色差信号とノイズ除去部８により補正された輝度信号は、画像処理部１０に送られる。画像処理部１０は、受信した色差信号及び輝度信号に対してクランプ、ニー、γ補正、補間処理、ＡＧＣ（Auto Gain Control）、Ａ／Ｄ変換などの所定の信号処理を施して、その処理信号を、図示省略されたフレームメモリにフレーム単位でバッファリングする。バッファリングされた信号は、所定のタイミングでフレームメモリから掃き出されて、ＮＴＳＣ（National Television System Committee）やＰＡＬ（Phase Alternating Line）などの所定の規格に準拠した映像信号に変換されてモニタ３に出力される。これにより、体腔内の観察画像がモニタ３に表示される。
【００３０】
以上が、本発明の実施形態に関する説明である。なお、本発明は、上記の構成に限定されるものではなく、本発明の技術的思想の範囲においてさまざまな変形が可能である。上記の説明では、撮像素子としてＣＣＤを想定しているが、例えば各画素に別個のフィルタ特性を有する４種類の色フィルタを配設し（黄（Ｙｅ）、マゼンダ（Ｍｇ）、シアン（Ｃｙ）、及びフィルタ無しをマトリクス状に規則的に配置するなど）、各画素の出力をマトリクス演算する構成としたＣＭＯＳ（Complementary Metal-Oxide Semiconductor）にも本発明を適用して上記の効果を達成することが可能である。
【００３１】
また、上記の説明では、注目画素などの輝度を算出するにあたって左隣の画素の画素値との平均値を用いているが、右隣の画素の画素値との平均値や両隣の画素の画素値との平均値を用いて計算してもよい。すなわち、上記の説明において、注目画素Ｐ５の輝度ＹＰ５を、（Ｖ５＋Ｖ６）／２として求めることもできるし、（Ｖ４＋２×Ｖ５＋Ｖ６）／４として求めることもできる。さらに、画素Ｐ２や画素Ｐ８などその他の画素の輝度についても同様に求めることができる。また、上記の説明では、縞ノイズ除去を行うノイズ除去部８を電子内視鏡１側に設けているが、ビデオプロセッサ２に設けてもよいし、ノイズ除去部８の各処理部のうち、一部を電子内視鏡１側に設け、残りの処理部をビデオプロセッサ２側に設ける構成としてもよい。
【符号の説明】
【００３２】
１ 電子内視鏡
２ ビデオプロセッサ
４ ＣＣＤ
８ ノイズ除去部
２０〜２１ ラインメモリ
２３ 飽和状態判定部
２４ 輝度計算部
２５ 輝度補正部
【技術分野】
【０００１】
本発明は、電子内視鏡の撮像素子からの画像信号において発生する縞ノイズの除去方法及び除去装置に関する。
【背景技術】
【０００２】
患者の体腔内に細径で長尺の挿入部を挿入することによって対象部位を観察及び撮像を行うことができる電子内視鏡を備える電子内視鏡システムが広く用いられている。電子内視鏡システムでは、電子内視鏡の挿入部の先端部に設けられた撮像素子によって体腔内の部位を撮像し、電子内視鏡に接続されたビデオプロセッサによって撮像素子が生成する画像信号を処理して撮像画像を生成してモニタに出力する。
【０００３】
撮像素子では、ドライバからの水平同期信号や垂直同期信号などの駆動信号に基づいて、光電変換された出力信号が読み出される。撮像素子からの出力信号は、ビデオプロセッサの信号処理回路において、相関二重サンプリング、オートゲインコントロール、ホワイトバランス、エンハンス、γ補正などの画像処理が施され観察画像に変換され、さらに色調整やノイズリダクションなどの信号処理を施された後モニタに出力され、観察画像がモニタに表示される。
【０００４】
撮像素子からの出力信号の読み出しの一例として、特許文献１に開示される構成が挙げられる。特許文献１の電子内視鏡システムにおいては、撮像素子であるＣＣＤ（Charge-Coupled Device）は出力が複数ある複数チャンネル読み出し型のＣＣＤである。このＣＣＤをＣＣＤ水平転送駆動パルス発生回路から出力される同一タイミングのパルスによって駆動する。そして、ＣＣＤからの出力信号に対する処理を、チャンネル数と同数でありかつ同一構成を有する回路によって行い、これらの回路で処理された信号をデジタルで合成する。従って、１水平転送期間内にチャンネル数と同数のライン分の信号電荷が読み出される。
【０００５】
ここで、ＣＣＤから出力されるＲＡＷデータに基づいて観察画像を生成する過程において、インターレース走査によって輝度を算出する方法について説明する。図１に、ＣＣＤのベイヤ画素配列を示す。ベイヤ画素配列では、ＣＣＤの総画素数Ｎに対して、緑の解像度はＮ／２、赤および青の解像度はＮ／４になるため、各画素毎に周辺の画素の出力を用いて補間演算を行うことによりＮ個のＲ，Ｇ，Ｂの組が生成される。図１に示すように、Ｒ，Ｇ，Ｂの３原色は、互いに隣接する４画素におけるＷｒ，Ｇｂ，Ｇｒ，Ｗｂの４補色により生成される。そして、各画素の輝度は、水平方向のラインにおいて隣接する２画素の画素値の平均値から求められる。すなわち、ベイヤ画素配列内の任意の隣接する２ライン、すなわち奇数ラインと偶数ラインの組に注目し、任意の奇数ラインの輝度をＹＯ、該奇数ラインに隣接する偶数ラインの輝度をＹＥとし、Ｗｒ，Ｇｂ，Ｇｒ，Ｗｂに対応する画素における画素値をそれぞれＶＷｒ，ＶＧｂ，ＶＧｒ，ＶＷｂとすると、ＹＯは（ＶＷｒ＋ＶＧｂ）／２で、またＹＥは（ＶＧｒ＋ＶＷｂ）／２で与えられる。ここで、シアン、マゼンタ、黄、緑に対応する画素値を、それぞれＶＣｙ，ＶＭｇ，ＶＹｅ，ＶＧとすると、
ＶＷｒ＝ＶＣｙ＋ＶＭｇ、
ＶＷｂ＝ＶＣｙ＋ＶＧ、
ＶＧｒ＝ＶＹｅ＋ＶＭｇ、
ＶＧｂ＝ＶＹｅ＋ＶＧ、
であるため、
ＹＯ＝（ＶＷｒ＋ＶＧｂ）／２＝（ＶＣｙ＋ＶＭｇ＋ＶＹｅ＋ＶＧ）／２、
ＹＥ＝（ＶＧｒ＋ＶＷｂ）／２＝（ＶＹｅ＋ＶＭｇ＋ＶＣｙ＋ＶＧ）／２、
が成り立つ。
【０００６】
図２は、１２ビット信号処理により観察画像を生成する場合の、Ｗｒ，Ｗｂ，Ｇｒ，Ｇｂに対応する画素における、受光量に対する各輝度の推移を示すグラフである。１２ビット信号であるため、各画素の輝度の飽和値は電子的な閾値として値４０９５が設定されている。図２の一点鎖線のグラフＬに代表されるように、ＲＡＷデータにおける各画素の輝度は、受光量が大きくなるにつれて、輝度の変化が小さくなる特性を示すため感度が悪くなる。そこで、従来では、グラフＬの受光量が小さい範囲における線形部分のみを用いるべく、ＣＣＤの出力信号にゲインを掛けている。ゲインを掛けることにより、各画素の輝度は、図２の実線の各グラフが示すように、飽和値に達するまで画素の受光量に対して略リニアに変化する特性を示す。なお、掛けるゲインを高くするにつれて、実線の各グラフの傾きは大きくなる。
【０００７】
ここで、画素における輝度が飽和値に達しない場合は、奇数ラインの輝度ＹＯと偶数ラインの輝度ＹＥとは同じ値となるため、奇数ラインと偶数ラインとの間で輝度差は発生しない、すなわち観察画像において縞となるノイズは発生しない。しかし、Ｗｒ，Ｇｂ，Ｇｒ，Ｗｂに対応する画素の各輝度はそれぞれ異なる受光量にて飽和値に達するため、奇数ライン内又は偶数ライン内の画素に飽和値に達する画素が存在する場合、奇数ラインと偶数ラインとの間で輝度差が発生する。図２に示すグラフの場合、Ｗｒに対応する画素の輝度が飽和値に達するまでは、奇数ライン及び偶数ラインの輝度は、破線のグラフが示すように、同じ値を取りながら推移する。しかし、Ｗｒに対応する画素の輝度が飽和値に達すると、それ以降は二点鎖線の各グラフが示すように、受光量の増加に対する奇数ラインの輝度の増加が偶数ラインの輝度の増加に比べて緩やかになり、奇数ラインの輝度と偶数ラインの輝度との差が生じる。すなわち、グラフの斜線部の領域が示すように、奇数ラインと偶数ラインとの間に輝度差が生じる。この結果、観察画像に縞ノイズが発生してしまう。
【０００８】
そこで従来は、ライン間の輝度差を補正して縞ノイズを除去するために、輝度のゲインアップを行うことや、信号処理回路において縞の繰り返しの周波数を減衰させるフィルタ処理を行うことが提案されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平９−３１３４３４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかし、従来においては、ＣＣＤからの出力信号に高ゲインを掛けているため、ランダムノイズが発生し、画像信号のＳ／Ｎ比が悪化する可能性がある。従って、観察画像の品質が低下する可能性がある。一方、掛けるゲインを低くすると、ランダムノイズの発生やＳ／Ｎ比の悪化は回避しやすくなるものの、図２に示す実線の各グラフの傾きが小さくなり、各輝度の飽和値に達する受光量が大きく異なってくるため、斜線部の領域が大きくなる。すなわち、観察画像において縞ノイズが目立ってきてしまう。
【００１１】
本発明は上記の事情に鑑みてなされたものである。本発明の目的は、撮像素子からの出力信号に対して高ゲインを掛けることなく縞ノイズを除去することである。
【課題を解決するための手段】
【００１２】
本発明の縞ノイズ除去方法は、撮像素子を有する電子内視鏡と、撮像素子からの出力信号に基づいて画像を生成するビデオプロセッサとを備える電子内視鏡システムにおける縞ノイズ除去方法であって、撮像素子の任意の連続する第１から第３のラインにおいて、第２のラインのいずれかの画素を注目画素とみなし、注目画素の画素値と、第２のライン内の注目画素に隣接する少なくとも１つの画素の画素値とに基づいて、注目画素の輝度を求める注目画素の輝度算出ステップと、第２のラインにおいて注目画素及び注目画素に隣接する画素のいずれかの画素が飽和しているか否かを判定する飽和判定ステップと、第２のラインにおいて注目画素及び注目画素に隣接する画素のいずれかの画素が飽和していると判定された場合は、第１のラインにおける注目画素に隣接する画素の画素値と第３のラインにおける注目画素に隣接する画素の画素値とから求められる補正値を用いて、注目画素の輝度を補正する輝度補正ステップと、第２のラインにおいて注目画素及び注目画素に隣接する画素のいずれかの画素が飽和していないと判定された場合は、注目画素の輝度算出ステップにより求められる輝度を注目画素の輝度と決定する輝度決定ステップとを有し、第２のラインとして撮像素子の各ラインを順次指定して、指定された第２のラインの各画素に対して各ステップを繰り返し実行する。好ましくは、縞ノイズ除去方法は、第１のラインにおいて注目画素に対応する第１の画素の画素値と、第１のライン内の第１の画素に隣接する少なくとも１つの画素の画素値とに基づいて、第１の画素の輝度を求める第１の画素の輝度算出ステップと、第３のラインにおいて注目画素に対応する第２の画素の画素値と、第３のライン内の第２の画素に隣接する少なくとも１つの画素の画素値とに基づいて、第２の画素の輝度を求める第２の画素の輝度算出ステップと、第１の画素の輝度と第２の画素の輝度の平均値を求める輝度平均値算出ステップとをさらに有し、輝度補正ステップにおいて、当該平均値を補正値として用いる。これにより、注目画素を有するラインと隣接するラインとの間に発生した輝度差を解消して縞ノイズの発生を防止することができる。
【００１３】
また、好ましくは、第２のラインにおいて注目画素及び注目画素に隣接する画素のいずれかの画素が飽和していると判定された場合、平均値が注目画素の輝度の値を超えるときは、第２のラインの輝度の値として平均値を採用し、平均値が注目画素の輝度の値を超えないときは、第２のラインの輝度の値として注目画素の輝度の値を採用する。従って、注目画素を有するラインの画素が飽和する場合に、当該ラインが隣接するラインよりも先に飽和して隣接するラインとの輝度差が発生したときに輝度差を解消して縞ノイズを除去することができる。
【００１４】
また、本発明の縞ノイズ除去装置は、撮像素子を有する電子内視鏡と、撮像素子からの出力信号に基づいて画像を生成するビデオプロセッサとを備える電子内視鏡システムであって、ノイズ除去部を備え、ノイズ除去部は、撮像素子の任意の連続する第１から第３のラインのデータを格納するラインメモリと、ラインメモリに格納された第１から第３のラインのデータから第１から第３のラインの画素の輝度を計算する輝度計算部と、ラインメモリに格納された第２のラインのデータから第２のラインの画素の飽和状態を判定する飽和状態判定部と、第２のラインの画素の輝度を補正する輝度補正部とを有し、輝度計算部は、第２のラインのいずれかの画素を注目画素とみなし、注目画素の画素値と、第２のライン内の注目画素に隣接する少なくとも１つの画素の画素値とに基づいて、注目画素の輝度を求め、飽和状態判定部は、第２のラインにおいて注目画素及び注目画素に隣接する画素のいずれかの画素が飽和しているか否かを判定し、輝度補正部は、第２のラインにおいて注目画素及び注目画素に隣接する画素のいずれかの画素が飽和していると判定された場合は、第１のラインにおける注目画素に隣接する画素の画素値と第３のラインにおける注目画素に隣接する画素の画素値とから求められる補正値を用いて、注目画素の輝度を補正し、第２のラインにおいて注目画素及び注目画素に隣接する画素のいずれかの画素が飽和していないと判定された場合は、輝度計算部により求められる輝度を注目画素の輝度と決定し、ラインメモリには、撮像素子の各ラインのデータが１ラインずつ遅延して順次格納されていく。さらに、輝度計算部は、第１のラインにおいて注目画素に対応する第１の画素の画素値と、第１のライン内の第１の画素に隣接する少なくとも１つの画素の画素値とに基づいて、第１の画素の輝度を求め、第３のラインにおいて注目画素に対応する第２の画素の画素値と、第３のライン内の第２の画素に隣接する少なくとも１つの画素の画素値とに基づいて、第２の画素の輝度を求め、さらに、第１の画素の輝度と第２の画素の輝度の平均値を求め、輝度補正部は、当該平均値を補正値として用いる。
【００１５】
輝度補正部は、第２のラインにおいて注目画素及び注目画素に隣接する画素のいずれかの画素が飽和していると判定された場合、平均値が注目画素の輝度の値を超えるときは、第２のラインの輝度の値として平均値を採用し、平均値が注目画素の輝度の値を超えないときは、第２のラインの輝度の値として注目画素の輝度の値を採用する。また、ノイズ除去部は、電子内視鏡あるいはビデオプロセッサに設けられる。
【発明の効果】
【００１６】
本発明の縞ノイズ除去方法によれば、撮像素子の出力信号に対して高ゲインを掛けることなく隣接するライン間で発生した輝度差を解消して縞ノイズを除去することができるため、ランダムノイズを発生させることなく診断に良好な観察画像を生成することができる。
【図面の簡単な説明】
【００１７】
【図１】図１は、ＣＣＤの画素配列を示す図である。
【図２】図２は、各画素の輝度および図１の画素配列における奇数ラインと偶数ラインとの輝度差を示すグラフである。
【図３】図３は、本発明の一実施形態におけるノイズ除去方法を採用した電子内視鏡システムの概略を示すブロック図である。
【図４】図４は、本発明の一実施形態におけるノイズ除去方法を採用した電子内視鏡のノイズ除去部の概略を示すブロック図である。
【図５】図５（ａ）は、本発明の一実施形態におけるＣＣＤの注目画素及び隣接画素を示す図であり、図５（ｂ）は、本発明の一実施形態におけるＣＣＤの注目画素及び隣接画素の画素値の例を示す図である。
【図６】図６は、本発明の一実施形態におけるノイズ除去の処理を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、図面を参照して、本発明の一実施形態におけるノイズ除去方法について説明する。
【００１９】
図３は、本実施形態におけるノイズ除去方法を用いる電子内視鏡システム１００の概略を示すブロック図である。電子内視鏡１の電気的消去可能読み取り専用メモリ（ＥＥＰＲＯＭ）９には、画素数やフレームレートなど、ＣＣＤ４固有のプロパティ情報があらかじめ格納されている。電子内視鏡１がビデオプロセッサ２に接続されると、ＥＥＰＲＯＭ９に格納されているプロパティ情報がペリフェラルドライブ１１に読み込まれた後にシステムコントロール部１２に送られる。システムコントロール部１２は、電子内視鏡１のＥＥＰＲＯＭ９から得られるＣＣＤ４の駆動特性に関する情報に基づいて、ＣＣＤ４やビデオプロセッサ２などの制御を切り替える。また、システムコントロール部１２は、電子内視鏡１内のＥＥＰＲＯＭ９に格納されている情報、電子内視鏡１の操作部に設けられた各種操作用のボタン６やビデオプロセッサ２に設けられたパネルスイッチ１４の操作、ビデオプロセッサ２に接続されたキーボード１５からの入力に基づいて画像処理部１０の動作を制御する。例えば、システムコントロール部１２はフレームレートの情報に基づいて画像処理部１０の動作を制御する。
【００２０】
ビデオプロセッサ２の光源部１３で発生した光は、ライトガイド５によって電子内視鏡１の挿入部の先端に伝搬され、照明光として患者の体腔内の観察対象物に照射される。対象部位からの反射光は、挿入部の先端に設けられた対物光学系（図示せず）を介してＣＣＤ４に進行する。ＣＣＤ４の撮像面は、電子内視鏡１の挿入部において、挿入部の先端に設けられた対物光学系によって観察対象物の像が結ばれる位置に配置されている。また、電子内視鏡１の操作部に設けられた各種操作用のボタン６を操作することにより、操作信号がビデオプロセッサ２内のシステムコントロール部１２に送られ、静止画像や動画の記録、送気、送水などの種々の処理が行なわれる。
【００２１】
ＣＣＤ４によって光電変換された撮像信号は、図示しない処理部によって増幅、サンプルホールド処理、Ａ／Ｄ変換、ノイズ除去などの前処理が施された後、色変換部７とノイズ除去部８に送られる。色変換部７では、ＣＣＤ４の出力信号が色差信号Ｃｂ，Ｃｒに変換される。また、ノイズ除去部８では、ＣＣＤ４の出力信号が輝度信号Ｙに変換されて縞ノイズを除去する処理が行われる。図４は、ノイズ除去部８の概略を示すブロック図である。ノイズ除去部８において、ＣＣＤ４の互いに隣接する３つのラインのデータが、１ラインごとにラインメモリ２０，２１，２２に格納される。なお、ラインメモリ２０，２１，２２には、出力信号がそれぞれ１ラインずつ遅延して格納される。
【００２２】
図５（ａ）は、任意の注目画素とその周辺の画素Ｐ１〜Ｐ９を示す図である。ラインメモリ２０には画素Ｐ７，Ｐ８，Ｐ９を含むラインの出力信号が、ラインメモリ２１には画素Ｐ４，Ｐ５，Ｐ６を含むラインの出力信号が、ラインメモリ２２には画素Ｐ１，Ｐ２，Ｐ３を含むラインの出力信号がそれぞれ格納されている。各ラインメモリ２０，２１，２２に格納されているデータは、輝度計算部２４に送られる。また、ラインメモリ２１のデータは、飽和状態判定部２３にも送られる。飽和状態判定部２３は、ラインメモリ２１内の画素を１つずつ注目画素Ｐ５として順次設定する。ここで、注目画素Ｐ５とは、ＣＣＤの画素マトリクスにおいて、図５（ａ）に示すように互いに隣接する任意の９つの画素Ｐ１〜Ｐ９を１つの群とし、この１群の画素のうち中心にある画素をいう。飽和状態判定部２３は、それぞれの注目画素Ｐ５について、注目画素Ｐ５及び隣接画素Ｐ４，Ｐ６のいずれかの画素の画素値が飽和値に達しているか否かを判定し、判定結果を飽和状態信号として輝度補正部２５に送る。画素Ｐ４，Ｐ５，Ｐ６のいずれかが飽和している場合は、飽和状態信号が１に設定され、いずれも飽和していない場合は、飽和状態信号が０に設定される。
【００２３】
続いて図５（ａ）を参照しながら画素の輝度の算出方法について説明する。輝度計算部２４は、ラインメモリ２０，２１，２２に格納されているデータに基づいて注目画素Ｐ５の輝度と縞ノイズを除去するための補正輝度とを算出する。まず、輝度計算部２４は、ラインメモリ２１内のいずれかの画素を注目画素Ｐ５とし、注目画素Ｐ５の上下左右斜めに配置されている８つの画素を図５（ａ）に示すように画素Ｐ１〜Ｐ３，Ｐ４，Ｐ６，Ｐ７〜Ｐ９とみなす。ここで、画素Ｐｋ（ｋ＝１〜９）の画素値をＶｋ、輝度をＹＰｋとし、注目画素Ｐ５の輝度ＹＰ５が、
ＹＰ５＝（Ｖ４＋Ｖ５）／２
で与えられるとする。また、注目画素Ｐ５の上側に隣接する画素Ｐ２の輝度Ｙ上が、
Ｙ上＝（Ｖ１＋Ｖ２）／２（＝ＹＰ２）
で与えられ、注目画素Ｐ５の下側に隣接する画素Ｐ８の輝度Ｙ下が、
Ｙ下＝（Ｖ７＋Ｖ８）／２（＝ＹＰ８）
で与えられるとする。そして、補正輝度Ｙ’を注目画素の上側と下側に隣接する画素の各輝度の平均値とすると、
Ｙ’＝（Ｙ上＋Ｙ下）／２
となる。
【００２４】
例えば、注目画素Ｐ５として奇数ラインのＷｒに対応する任意の画素を選択した場合を考える。このとき、図５（ａ）に示すように、画素Ｐ１〜Ｐ９の画素値を、それぞれＶＷｂ（Ｐ１），ＶＧｒ（Ｐ２），ＶＷｂ（Ｐ３），ＶＧｂ（Ｐ４），ＶＷｒ（Ｐ５），ＶＧｂ（Ｐ６），ＶＷｂ（Ｐ７），ＶＧｒ（Ｐ８），ＶＷｂ（Ｐ９）とする。すると、
ＹＰ５＝（Ｖ４＋Ｖ５）／２＝（ＶＧｂ（Ｐ４）＋ＶＷｒ（Ｐ５））／２、
Ｙ上＝（Ｖ１＋Ｖ２）／２＝（ＶＷｂ（Ｐ１）＋ＶＧｒ（Ｐ２））／２、
Ｙ下＝（Ｖ７＋Ｖ８）／２＝（ＶＷｂ（Ｐ７）＋ＶＧｒ（Ｐ８））／２、
となる。また、補正輝度Ｙ’は、
Ｙ’＝（Ｙ上＋Ｙ下）／２＝（ＶＷｂ（Ｐ１）＋ＶＧｒ（Ｐ２）＋ＶＷｂ（Ｐ７）＋ＶＧｒ（Ｐ８））／４
となる。
【００２５】
輝度計算部２４は、輝度ＹＰ５及び補正輝度Ｙ’を算出してそれぞれ輝度補正部２５に送る。そして、輝度補正部２５は、輝度ＹＰ５、補正輝度Ｙ’、飽和状態判定部２３からの飽和状態信号に基づいて注目画素Ｐ５の輝度を補正する。そして、画素マトリクスの任意のラインにおいて列を１列ずつずらして注目画素を順次指定し、当該ライン内のすべての画素について注目画素の輝度計算、補正輝度計算、及び飽和状態の判定を行って注目画素の輝度補正を行う。当該ライン内のすべての画素に対する輝度補正が完了したら、行を１行ずらして新しいラインを指定し、新しいライン内のすべての画素について同様の処理を行う。こうして画素マトリクス内のすべての画素について輝度補正を行う。具体的な補正方法については後述する。
【００２６】
ここで図６に示す、本実施形態のノイズ除去部８における縞ノイズ除去処理のフローチャートを参照する。ステップＳ１０１において、輝度計算部２４により注目画素Ｐ５の輝度ＹＰ５が計算される。続いてステップＳ１０３において、輝度計算部２４により注目画素Ｐ５の上下の隣接画素の輝度の平均値Ｙ’が計算される。次にステップＳ１０５に進み、飽和状態判定部２３において画素Ｐ４，Ｐ５，Ｐ６のいずれかの画素が飽和しているか否かを判定する。飽和していると判定された場合はステップＳ１０７に進む。画素Ｐ４，Ｐ５，Ｐ６のいずれかが飽和している場合は、注目画素Ｐ５を含むラインと上下のラインとの間に輝度差が発生しているとみなす。ステップＳ１０７においては、輝度補正部２５には値が１である飽和状態信号が送られる。画素Ｐ４，Ｐ５，Ｐ６のいずれかが飽和しているので、輝度補正部２５は、ステップＳ１０３で計算されたＹ’を補正輝度としてＹ’がＹＰ５よりも大きい値か否かを判定する。Ｙ’がＹＰ５よりも大きい場合はステップＳ１０９に進み、輝度補正部２５によって補正後の輝度ＹｏｕｔとしてＹ’が設定される。従って、上の例で注目画素Ｐ５を奇数ラインのＷｒに対応する画素とした場合は、注目画素Ｐ５の輝度（ＶＧｂ（Ｐ４）＋ＶＷｒ（Ｐ５））／２が、（ＶＷｂ（Ｐ１）＋ＶＧｒ（Ｐ２）＋ＶＷｂ（Ｐ７）＋ＶＧｒ（Ｐ８））／４に補正され、補正された値がＹｏｕｔとして設定される。
【００２７】
一方、ステップＳ１０５において画素Ｐ４，Ｐ５，Ｐ６のいずれも飽和していないと判定された場合は、注目画素Ｐ５を含むラインと上下のラインとの間に輝度差は発生していないとみなし、輝度補正を行わない。従って、ステップＳ１１１に進む。ステップＳ１１１においては、輝度補正部２５には値が０である飽和状態信号が送られる。そして、輝度補正部２５によって補正後の輝度ＹｏｕｔとしてＹＰ５が設定される。また、ステップＳ１０７において、ＹＰ５がＹ’以上の値を取る場合もステップＳ１１１に進んで補正後の輝度ＹｏｕｔにＹＰ５が設定される。従って、上の例で注目画素Ｐ５を奇数ラインのＷｒに対応する画素とした場合は、注目画素Ｐ５の輝度（ＶＧｂ（Ｐ４）＋ＶＷｒ（Ｐ５））／２が、補正されずにＹｏｕｔとして設定される。
【００２８】
以上の処理により、図２のグラフに示したようにＷｒに対応する画素の輝度がＧｂ，Ｇｒ，Ｗｂに対応する他の画素の輝度よりも先に飽和値に達して隣接するラインとの間に輝度差が生じる場合でも、飽和した画素を注目画素Ｐ５として上記の判定を行い、飽和値に達した画素を有するラインの輝度を隣接するラインの輝度に合わせることにより、輝度差を解消して観察画像における縞ノイズの発生を防止することができる。
【００２９】
色変換部７により変換された色差信号とノイズ除去部８により補正された輝度信号は、画像処理部１０に送られる。画像処理部１０は、受信した色差信号及び輝度信号に対してクランプ、ニー、γ補正、補間処理、ＡＧＣ（Auto Gain Control）、Ａ／Ｄ変換などの所定の信号処理を施して、その処理信号を、図示省略されたフレームメモリにフレーム単位でバッファリングする。バッファリングされた信号は、所定のタイミングでフレームメモリから掃き出されて、ＮＴＳＣ（National Television System Committee）やＰＡＬ（Phase Alternating Line）などの所定の規格に準拠した映像信号に変換されてモニタ３に出力される。これにより、体腔内の観察画像がモニタ３に表示される。
【００３０】
以上が、本発明の実施形態に関する説明である。なお、本発明は、上記の構成に限定されるものではなく、本発明の技術的思想の範囲においてさまざまな変形が可能である。上記の説明では、撮像素子としてＣＣＤを想定しているが、例えば各画素に別個のフィルタ特性を有する４種類の色フィルタを配設し（黄（Ｙｅ）、マゼンダ（Ｍｇ）、シアン（Ｃｙ）、及びフィルタ無しをマトリクス状に規則的に配置するなど）、各画素の出力をマトリクス演算する構成としたＣＭＯＳ（Complementary Metal-Oxide Semiconductor）にも本発明を適用して上記の効果を達成することが可能である。
【００３１】
また、上記の説明では、注目画素などの輝度を算出するにあたって左隣の画素の画素値との平均値を用いているが、右隣の画素の画素値との平均値や両隣の画素の画素値との平均値を用いて計算してもよい。すなわち、上記の説明において、注目画素Ｐ５の輝度ＹＰ５を、（Ｖ５＋Ｖ６）／２として求めることもできるし、（Ｖ４＋２×Ｖ５＋Ｖ６）／４として求めることもできる。さらに、画素Ｐ２や画素Ｐ８などその他の画素の輝度についても同様に求めることができる。また、上記の説明では、縞ノイズ除去を行うノイズ除去部８を電子内視鏡１側に設けているが、ビデオプロセッサ２に設けてもよいし、ノイズ除去部８の各処理部のうち、一部を電子内視鏡１側に設け、残りの処理部をビデオプロセッサ２側に設ける構成としてもよい。
【符号の説明】
【００３２】
１ 電子内視鏡
２ ビデオプロセッサ
４ ＣＣＤ
８ ノイズ除去部
２０〜２１ ラインメモリ
２３ 飽和状態判定部
２４ 輝度計算部
２５ 輝度補正部
【特許請求の範囲】
【請求項１】
撮像素子を有する電子内視鏡と、該撮像素子からの出力信号に基づいて画像を生成するビデオプロセッサとを備える電子内視鏡システムにおける縞ノイズ除去方法であって、
前記撮像素子の任意の連続する第１から第３のラインにおいて、第２のラインのいずれかの画素を注目画素とみなし、該注目画素の画素値と、該第２のライン内の該注目画素に隣接する少なくとも１つの画素の画素値とに基づいて、該注目画素の輝度を求める注目画素の輝度算出ステップと、
前記第２のラインにおいて前記注目画素及び該注目画素に隣接する画素のいずれかの画素が飽和しているか否かを判定する飽和判定ステップと、
前記第２のラインにおいて前記注目画素及び該注目画素に隣接する画素のいずれかの画素が飽和していると判定された場合は、前記第１のラインにおける該注目画素に隣接する画素の画素値と前記第３のラインにおける該注目画素に隣接する画素の画素値とから求められる補正値を用いて、該注目画素の輝度を補正する輝度補正ステップと、
前記第２のラインにおいて前記注目画素及び該注目画素に隣接する画素のいずれかの画素が飽和していないと判定された場合は、前記注目画素の輝度算出ステップにより求められる輝度を該注目画素の輝度と決定する輝度決定ステップと、を有し、
前記第２のラインとして前記撮像素子の各ラインを順次指定して、該指定された第２のラインの各画素に対して各ステップを繰り返し実行する、
ことを特徴とする電子内視鏡システムにおける縞ノイズ除去方法。
【請求項２】
前記縞ノイズ除去方法は、
前記第１のラインにおいて前記注目画素に対応する第１の画素の画素値と、該第１のライン内の該第１の画素に隣接する少なくとも１つの画素の画素値とに基づいて、該第１の画素の輝度を求める第１の画素の輝度算出ステップと、
前記第３のラインにおいて前記注目画素に対応する第２の画素の画素値と、該第３のライン内の該第２の画素に隣接する少なくとも１つの画素の画素値とに基づいて、該第２の画素の輝度を求める第２の画素の輝度算出ステップと、
前記第１の画素の輝度と前記第２の画素の輝度の平均値を求める輝度平均値算出ステップと、をさらに有し、
前記輝度補正ステップにおいて、前記平均値を前記補正値として用いる、
ことを特徴とする請求項１に記載の電子内視鏡システムにおける縞ノイズ除去方法。
【請求項３】
前記第２のラインにおいて前記注目画素及び該注目画素に隣接する画素のいずれかの画素が飽和していると判定された場合、前記平均値が該注目画素の輝度の値を超えるときは、該第２のラインの輝度の値として該平均値を採用し、該平均値が該注目画素の輝度の値を超えないときは、該第２のラインの輝度の値として該注目画素の輝度の値を採用することを特徴とする請求項２に記載の電子内視鏡システムにおける縞ノイズ除去方法。
【請求項４】
撮像素子を有する電子内視鏡と、該撮像素子からの出力信号に基づいて画像を生成するビデオプロセッサとを備える電子内視鏡システムであって、
ノイズ除去部を備え、
前記ノイズ除去部は、
前記撮像素子の任意の連続する第１から第３のラインのデータを格納するラインメモリと、
前記ラインメモリに格納された前記第１から第３のラインのデータから前記第１から第３のラインの画素の輝度を計算する輝度計算部と、
前記ラインメモリに格納された前記第２のラインのデータから前記第２のラインの画素の飽和状態を判定する飽和状態判定部と、
前記第２のラインの画素の輝度を補正する輝度補正部と、を有し、
前記輝度計算部は、
前記第２のラインのいずれかの画素を注目画素とみなし、該注目画素の画素値と、該第２のライン内の該注目画素に隣接する少なくとも１つの画素の画素値とに基づいて、該注目画素の輝度を求め、
前記飽和状態判定部は、
前記第２のラインにおいて前記注目画素及び該注目画素に隣接する画素のいずれかの画素が飽和しているか否かを判定し、
前記輝度補正部は、
前記第２のラインにおいて前記注目画素及び該注目画素に隣接する画素のいずれかの画素が飽和していると判定された場合は、前記第１のラインにおける該注目画素に隣接する画素の画素値と前記第３のラインにおける該注目画素に隣接する画素の画素値とから求められる補正値を用いて、該注目画素の輝度を補正し、
前記第２のラインにおいて前記注目画素及び該注目画素に隣接する画素のいずれかの画素が飽和していないと判定された場合は、前記輝度計算部により求められる輝度を該注目画素の輝度と決定し、
前記ラインメモリには、前記撮像素子の各ラインのデータが１ラインずつ遅延して順次格納されていく、
ことを特徴とする電子内視鏡システム。
【請求項５】
前記輝度計算部は、
前記第１のラインにおいて前記注目画素に対応する第１の画素の画素値と、該第１のライン内の該第１の画素に隣接する少なくとも１つの画素の画素値とに基づいて、該第１の画素の輝度を求め、
前記第３のラインにおいて前記注目画素に対応する第２の画素の画素値と、該第３のライン内の該第２の画素に隣接する少なくとも１つの画素の画素値とに基づいて、該第２の画素の輝度を求め、
さらに、前記第１の画素の輝度と前記第２の画素の輝度の平均値を求め、
前記輝度補正部は、前記平均値を前記補正値として用いる、
ことを特徴とする請求項４に記載の電子内視鏡システム。
【請求項６】
前記輝度補正部は、前記第２のラインにおいて前記注目画素及び該注目画素に隣接する画素のいずれかの画素が飽和していると判定された場合、前記平均値が該注目画素の輝度の値を超えるときは、該第２のラインの輝度の値として該平均値を採用し、該平均値が該注目画素の輝度の値を超えないときは、該第２のラインの輝度の値として該注目画素の輝度の値を採用することを特徴とする請求項５に記載の電子内視鏡システム。
【請求項７】
前記ノイズ除去部は、前記電子内視鏡に設けられることを特徴とする請求項４から請求項６のいずれか一項に記載の電子内視鏡システム。
【請求項８】
前記ノイズ除去部は、前記ビデオプロセッサに設けられることを特徴とする請求項４から請求項６のいずれか一項に記載の電子内視鏡システム。
【請求項１】
撮像素子を有する電子内視鏡と、該撮像素子からの出力信号に基づいて画像を生成するビデオプロセッサとを備える電子内視鏡システムにおける縞ノイズ除去方法であって、
前記撮像素子の任意の連続する第１から第３のラインにおいて、第２のラインのいずれかの画素を注目画素とみなし、該注目画素の画素値と、該第２のライン内の該注目画素に隣接する少なくとも１つの画素の画素値とに基づいて、該注目画素の輝度を求める注目画素の輝度算出ステップと、
前記第２のラインにおいて前記注目画素及び該注目画素に隣接する画素のいずれかの画素が飽和しているか否かを判定する飽和判定ステップと、
前記第２のラインにおいて前記注目画素及び該注目画素に隣接する画素のいずれかの画素が飽和していると判定された場合は、前記第１のラインにおける該注目画素に隣接する画素の画素値と前記第３のラインにおける該注目画素に隣接する画素の画素値とから求められる補正値を用いて、該注目画素の輝度を補正する輝度補正ステップと、
前記第２のラインにおいて前記注目画素及び該注目画素に隣接する画素のいずれかの画素が飽和していないと判定された場合は、前記注目画素の輝度算出ステップにより求められる輝度を該注目画素の輝度と決定する輝度決定ステップと、を有し、
前記第２のラインとして前記撮像素子の各ラインを順次指定して、該指定された第２のラインの各画素に対して各ステップを繰り返し実行する、
ことを特徴とする電子内視鏡システムにおける縞ノイズ除去方法。
【請求項２】
前記縞ノイズ除去方法は、
前記第１のラインにおいて前記注目画素に対応する第１の画素の画素値と、該第１のライン内の該第１の画素に隣接する少なくとも１つの画素の画素値とに基づいて、該第１の画素の輝度を求める第１の画素の輝度算出ステップと、
前記第３のラインにおいて前記注目画素に対応する第２の画素の画素値と、該第３のライン内の該第２の画素に隣接する少なくとも１つの画素の画素値とに基づいて、該第２の画素の輝度を求める第２の画素の輝度算出ステップと、
前記第１の画素の輝度と前記第２の画素の輝度の平均値を求める輝度平均値算出ステップと、をさらに有し、
前記輝度補正ステップにおいて、前記平均値を前記補正値として用いる、
ことを特徴とする請求項１に記載の電子内視鏡システムにおける縞ノイズ除去方法。
【請求項３】
前記第２のラインにおいて前記注目画素及び該注目画素に隣接する画素のいずれかの画素が飽和していると判定された場合、前記平均値が該注目画素の輝度の値を超えるときは、該第２のラインの輝度の値として該平均値を採用し、該平均値が該注目画素の輝度の値を超えないときは、該第２のラインの輝度の値として該注目画素の輝度の値を採用することを特徴とする請求項２に記載の電子内視鏡システムにおける縞ノイズ除去方法。
【請求項４】
撮像素子を有する電子内視鏡と、該撮像素子からの出力信号に基づいて画像を生成するビデオプロセッサとを備える電子内視鏡システムであって、
ノイズ除去部を備え、
前記ノイズ除去部は、
前記撮像素子の任意の連続する第１から第３のラインのデータを格納するラインメモリと、
前記ラインメモリに格納された前記第１から第３のラインのデータから前記第１から第３のラインの画素の輝度を計算する輝度計算部と、
前記ラインメモリに格納された前記第２のラインのデータから前記第２のラインの画素の飽和状態を判定する飽和状態判定部と、
前記第２のラインの画素の輝度を補正する輝度補正部と、を有し、
前記輝度計算部は、
前記第２のラインのいずれかの画素を注目画素とみなし、該注目画素の画素値と、該第２のライン内の該注目画素に隣接する少なくとも１つの画素の画素値とに基づいて、該注目画素の輝度を求め、
前記飽和状態判定部は、
前記第２のラインにおいて前記注目画素及び該注目画素に隣接する画素のいずれかの画素が飽和しているか否かを判定し、
前記輝度補正部は、
前記第２のラインにおいて前記注目画素及び該注目画素に隣接する画素のいずれかの画素が飽和していると判定された場合は、前記第１のラインにおける該注目画素に隣接する画素の画素値と前記第３のラインにおける該注目画素に隣接する画素の画素値とから求められる補正値を用いて、該注目画素の輝度を補正し、
前記第２のラインにおいて前記注目画素及び該注目画素に隣接する画素のいずれかの画素が飽和していないと判定された場合は、前記輝度計算部により求められる輝度を該注目画素の輝度と決定し、
前記ラインメモリには、前記撮像素子の各ラインのデータが１ラインずつ遅延して順次格納されていく、
ことを特徴とする電子内視鏡システム。
【請求項５】
前記輝度計算部は、
前記第１のラインにおいて前記注目画素に対応する第１の画素の画素値と、該第１のライン内の該第１の画素に隣接する少なくとも１つの画素の画素値とに基づいて、該第１の画素の輝度を求め、
前記第３のラインにおいて前記注目画素に対応する第２の画素の画素値と、該第３のライン内の該第２の画素に隣接する少なくとも１つの画素の画素値とに基づいて、該第２の画素の輝度を求め、
さらに、前記第１の画素の輝度と前記第２の画素の輝度の平均値を求め、
前記輝度補正部は、前記平均値を前記補正値として用いる、
ことを特徴とする請求項４に記載の電子内視鏡システム。
【請求項６】
前記輝度補正部は、前記第２のラインにおいて前記注目画素及び該注目画素に隣接する画素のいずれかの画素が飽和していると判定された場合、前記平均値が該注目画素の輝度の値を超えるときは、該第２のラインの輝度の値として該平均値を採用し、該平均値が該注目画素の輝度の値を超えないときは、該第２のラインの輝度の値として該注目画素の輝度の値を採用することを特徴とする請求項５に記載の電子内視鏡システム。
【請求項７】
前記ノイズ除去部は、前記電子内視鏡に設けられることを特徴とする請求項４から請求項６のいずれか一項に記載の電子内視鏡システム。
【請求項８】
前記ノイズ除去部は、前記ビデオプロセッサに設けられることを特徴とする請求項４から請求項６のいずれか一項に記載の電子内視鏡システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−２００５１４（Ｐ２０１１−２００５１４Ａ）
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願番号】特願２０１０−７１７７５（Ｐ２０１０−７１７７５）
【出願日】平成２２年３月２６日（２０１０．３．２６）
【出願人】（０００１１３２６３）ＨＯＹＡ株式会社 (3,820)
【Ｆターム（参考）】
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願日】平成２２年３月２６日（２０１０．３．２６）
【出願人】（０００１１３２６３）ＨＯＹＡ株式会社 (3,820)
【Ｆターム（参考）】
[ Back to top ]