画像信号補正装置、撮像装置、内視鏡装置
【課題】画像の動きのある部分のノイズ成分を低減できる画像信号補正装置、撮像装置及び内視鏡装置を得ること。
【解決手段】入力される画像信号を所定フレーム分保持するフレームメモリと、入力される画像信号と、フレームメモリ内に保持された画像信号との差分信号を算出する差分算出部と、差分信号のうち、閾値以下の差分信号を通過させるフィルタと、差分算出部で算出される差分信号の値に応じて、フィルタ部の閾値を変化させる制御部と、を具備する。
【解決手段】入力される画像信号を所定フレーム分保持するフレームメモリと、入力される画像信号と、フレームメモリ内に保持された画像信号との差分信号を算出する差分算出部と、差分信号のうち、閾値以下の差分信号を通過させるフィルタと、差分算出部で算出される差分信号の値に応じて、フィルタ部の閾値を変化させる制御部と、を具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、イメージセンサから出力される画像信号を補正する画像信号補正装置、撮像装置及び内視鏡装置に関する。
【背景技術】
【０００２】
患者の負担を低減するために、撮像装置、例えば、内視鏡装置を用いた手術が従来から行われている。内視鏡装置では、スコープを患者の体内へ挿入し、患部を照らしながら撮像を行う。しかし、患部を照らす光源や患部の状態によっては、コントラストが非常に低い画像となる。このため、従来の内視鏡装置では、輪郭を強調してコントラストをさせる画像処理を行っている。また、コントラスト以外に、画像に生じるノイズも患部の状態を認識する妨げとなる。このため、従来から種々のノイズを低減方法が提案されている（例えば、特許文献１〜３参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２３２４０２号公報
【特許文献２】特開２００９−２７６０８号公報
【特許文献３】特開２０１０−４２６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
以上のように、内視鏡装置では、画像に生じるノイズを低減することが重要な課題となっている。
本実施形態は、画像の動きのある部分のノイズ成分を低減できる画像信号補正装置、撮像装置及び内視鏡装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
実施形態に係る画像信号補正装置は、入力される画像信号を所定フレーム分保持するフレームメモリと、入力される画像信号と、フレームメモリ内に保持された画像信号との差分信号を算出する差分算出部と、差分信号のうち、閾値以下の差分信号を通過させるフィルタと、差分算出部で算出される差分信号の値に応じて、フィルタ部の閾値を変化させる制御部と、を具備する。
【図面の簡単な説明】
【０００６】
【図１】実施形態に係る内視鏡装置の構成図。
【図２】実施形態に係る内視鏡装置のヘッドの構成図。
【図３】実施形態に係る内視鏡装置のＣＣＵの構成図。
【図４】実施形態に係る内視鏡装置のライトソースの構成図。
【図５】実施形態に係る内視鏡装置の画像信号処理部の構成図。
【図６】ノイズ発生メカニズムの説明図。
【図７】実施形態に係る内視鏡装置の３次元ノイズリダクション部及びＤＴＬ部の構成図。
【図８】実施形態に係る内視鏡装置のメモリに記憶された補正データ図。
【図９】ノイズレベルの説明図。
【図１０】実施形態に係る内視鏡装置の動作を示すフローチャート。
【発明を実施するための形態】
【０００７】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
（実施形態）
この実施形態では、撮像装置として硬性内視鏡装置を例に、その構成を説明する。図１は、実施形態に係る内視鏡装置１（以下、内視鏡装置１と記載する）の構成図である。この実施形態では、撮像素子としてＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを採用した実施形態について説明するが、ＣＣＤ（Charge Coupled Device）イメージセンサを採用しても構わない。
【０００８】
内視鏡装置１は、先端に対物レンズ１０ａが設けられ、被検査体内へ挿入されるスコープ１０と、対物レンズ１０ａの結像面に位置するＣＭＯＳイメージセンサ２０ａ（以下、単にイメージセンサ２０ａと記載する）により撮像されるＲＧＢ画像信号（以下、単に画像信号と記載する）をＣＣＵへカメラケーブル５０を介して出力するヘッド２０と、ヘッド２０から出力される画像信号を処理するＣＣＵ（camera control unit）３０と、撮像範囲を照らすライトソース４０（光源）と、ライトソース４０からの光をスコープ１０の先端部へ導入するための光ファイバ６０と、撮像された画像信号に対応する画像を表示するモニタ７０とを具備する。
【０００９】
カメラケーブル５０は、ヘッド２０とＣＣＵ３０との間で画像信号及び制御信号を送受信するための信号線およびＣＣＵ３０からヘッド２０へ電力を供給するための電力線などを収容する。
【００１０】
図２は、ヘッド２０の構成図である。
ヘッド２０は、イメージセンサ２０ａ、接続端子２１、Ｉ／Ｆ部２２及びメモリ２３を具備する。イメージセンサ２０ａは、フルＨＤ（high density）に対応したデジタルカラーＣＭＯＳイメージセンサであり、３つの１／３型ＣＭＯＳセンサから構成される。この実施形態では、イメージセンサ２０ａは、プログレッシブスキャンで駆動されるが、インターレーススキャンで駆動してもよい。
【００１１】
接続端子２１には、カメラケーブル５０が接続される。Ｉ／Ｆ部２２は、ＬＶＤＳ（Low voltage differential signaling）シリアライであり、シリアライザ２２ａ及びＬＶＤＳ変換部２２ｂを備える。Ｉ／Ｆ部２２は、イメージセンサ２０ａから出力される画像信号をデジタル信号のまま接続端子２１に接続されたカメラケーブル５０を介してＣＣＵ３０へ送信する。この際、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）の各画像信号（具体的には、画面を構成する画素の濃度値（階調）のデータ）は、互いに独立した信号線を使って伝送される。このため、従来のアナログＲＧＢ伝送に比べて高品質の画像を表示することができる。メモリ２３は、例えば、フラッシュメモリであり、イメージセンサ２０ａの設定条件（例えば、フレームレート、ゲイン等）が記憶される。
【００１２】
図３は、ＣＣＵ３０の構成図である。
接続端子３１、Ｉ／Ｆ部３２、画像信号処理部３３、画像出力部３４、システム制御部３５及び電源部３６を具備する。接続端子３１には、カメラケーブル５０が接続される。Ｉ／Ｆ部３２は、ＬＶＤＳデシリアライザであり、デシリアライザ３２ａ及びＬＶＤＳ変換部３２ｂを備える。Ｉ／Ｆ部３２は、ヘッド２０から送信される画像信号を画像信号処理部３３へ出力する。また、Ｉ／Ｆ部３２は、システム制御部３５から出力される制御信号を接続端子３１に接続されたカメラケーブル５０を介してヘッド２０へ送信する。
【００１３】
画像信号処理部３３は、画像信号処理部３３ａと同期信号生成部３３ｂを具備する。画像信号処理部３３ａは、Ｉ／Ｆ部３２から出力される画像信号を処理して画像出力部３４へ出力する。具体的には、画像信号処理部３３ａは、画像信号のうち動きのある領域に生じるノイズを抑制する処理を行うが、詳細は、図５〜図７を参照して後述する。
【００１４】
同期信号生成部３３ｂは、イメージセンサ２０ａの撮像に用いられる同期信号を生成する。該同期信号は、設定されたフレームレートに応じた所定の間隔で生成される（例えば、１／３０秒、１／６０秒等）。生成された同期信号は、ＭＰＵ３５ｃへ出力されると共に、Ｉ／Ｆ部３２から接続端子３１に接続されたカメラケーブル５０を介してヘッド２０へ送信される。
【００１５】
画像出力部３４は、Ｄ／Ａコンバータ３４ａ及びＤＶＩ（digital visual interface）トランスミッタ３４ｂを備え、画像信号処理部３３で処理された画像信号をアナログ及び／又はデジタルのＲＧＢ画像信号としてモニタ７０へ出力する。
【００１６】
システム制御部３５は、メモリ３５ａ、ＯＳＤ（On-screen Display）コントローラ３５ｂ、ＭＰＵ（Micro Processing Unit）３５ｃ、受信部３５ｄ及び操作受付部３５ｅを備え、この内視鏡装置１全体を制御する。
【００１７】
メモリ３５ａは、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）やフラッシュメモリであり、ＭＰＵ３５ｃを動作させるためのプログラムが記憶されている。
【００１８】
ＭＰＵ３５ｃは、受信部３５ｄで受信したリモート制御信号、操作受付部で受付けた処理内容及びメモリ３５ａに記憶された設定情報に基づいてヘッド２０、ＣＣＵ３０及びライトソース４０を制御する。また、ＭＰＵ３５ｃは、時間を計測するタイマＴを内蔵する（以下、内蔵タイマＴと称する）。
【００１９】
ＯＳＤコントローラ３５ｂは、画像信号処理部３３ａで処理される画像信号の画像にテキストデータやビットマップ等を重畳表示する。
【００２０】
受信部３５ｄは、外部のＰＣ等から送信されるリモート制御用の制御信号を受信してＭＰＵ３５ｃへ出力する。なお、外部ＰＣとの通信は、ＲＳ２３２−Ｃ用シリアルポートを介して行われる。操作受付部３５ｅは、外部の操作キーで操作された処理を受け付けＭＰＵ３５ｃへ出力する。
【００２１】
電源部３６は、外部から供給される電力を所定の電圧に変換してＣＣＵ３０内の各部へ供給する。また、上記電力は、接続端子３１に接続されたカメラケーブル５０を介してヘッド２０にも供給される。
【００２２】
図４は、ライトソース４０の構成図である。
ライトソース４０は、ＬＥＤ（light emitting diode）４１及びレンズ４２を具備する。また、ライトソース４０には、光ファイバ６０が接続される。ＬＥＤ４１は、イメージセンサ２０ａの撮像範囲を照らす。レンズ４２は、ＬＥＤ４１からの光を光ファイバ６０へ導入する。光ファイバ６０へ導入された光は、スコープ１０の先端部へ導かれ、イメージセンサ２０ａの撮像範囲、すなわち患部を照らす。
【００２３】
図５は、画像信号処理部３３ａの構成図である。
画像信号処理部３３ａは、ホワイトバランス部１０１ａ〜１０１ｃと、γ補正部１０２ａ〜１０２ｃと、加算器１０３ａ〜１０３ｃと、輝度信号生成部１０４と、γ補正部１０５と、３次元ノイズリダクション部１０６と、ＤＴＬ部１０７とを備える。
【００２４】
この実施形態では、画像信号処理部３３ａは、ＦＰＧＡ（Field-Programmable Gate Array）で構成されるが、他の構成、例えば、画像信号処理部３３ａが備える機能をソフトウェア（プログラム）で実現してもよい。
【００２５】
画像信号処理部３３ａは、画像信号のうち動きのある領域に生じるノイズを抑制する。以下、画像信号処理部３３ａの具体的な構成について説明するが、初めに、動きのある領域にノイズが生じるメカニズムについて説明する。
【００２６】
図６は、ノイズ発生メカニズムの説明図である。
図６（ａ）では、前後するフレーム間で、被写体（撮像対象）が左から右に動いた状態を表している。図６（ａ）の破線は、ｎ番目のフレーム（第１のフレーム）での被写体の位置を示しており、図６（ａ）の実線は、１フレーム後のｎ＋１番目のフレーム（第２のフレーム）での被写体の位置を示している。また、図６（ａ）の斜線部は、ノイズ４０１を表している。
【００２７】
図６（ｂ）は、第１のフレームと第２のフレームとの差分を示している。領域Ａ１，Ａ２は、第１のフレームと第２のフレームとの差分がゼロの領域（以下、静止画像領域Ａと記載）であり、３次元ノイズリダクションによる効果、すなわち時間的にランダムに発生するノイズ４０１を低減する効果が得られる領域である。領域Ｂは、第１のフレームと第２のフレームとの差分が存在する領域（以下、動画像領域Ｂと記載）であり、３次元ノイズリダクションによる効果が得られない領域である。
【００２８】
図６（ｃ）は、第１のフレームと第２のフレームとの差分を第２のフレームに混合した状態を示す図である。なお、図６（ｃ）では、差分の混合比率を５０％としている。図６（ｃ）に示すように、静止画像領域Ａ１，Ａ２では、ノイズによる画像の変化が時間的に平均化されるためノイズ４０１が低減されるが、動画像領域Ｂでは、ノイズ４０１が低減されずに目で認識できる状態で残ってしまう。画像信号処理部３３ａは、この図６（ｃ）に示すノイズを低減する補正を行う。
【００２９】
以下、図５を参照して画像信号処理部３３ａの各構成について説明する。
ホワイトバランス部１０１ａ〜１０１ｃは、それぞれＲ、Ｇ、Ｂのチャネルごとに画像信号のホワイトバランスを調整する。γ補正部１０２ａ〜１０２ｃは、画像の明るさや色が正しくモニタ７０に表示されるように、Ｒ、Ｇ、Ｂのチャネルごとにホワイトバランス後の画像信号をモニタ７０の特性に合わせて補正する。
【００３０】
輝度信号生成部１０４は、ホワイトバランス後のＲ、Ｇ、Ｂの各チャネルの画像信号から、画面を構成する画素ごとに輝度信号Ｙを生成する。輝度信号Ｙの算出には、以下の計算式（１）を用いる。なお、ａ、ｂ、ｃは、任意の係数である。
Ｙ＝ａＲ＋ｂＧ＋ｃＢ・・・（１）（但し、ａ＋ｂ＋ｃ＝１）
【００３１】
γ補正部１０５は、輝度信号生成部１０４で生成される輝度信号Ｙをモニタ７０の特性に合わせて補正する。
【００３２】
図７は、３次元ノイズリダクション部１０６及びＤＴＬ部１０７の構成図である。
３次元ノイズリダクション部１０６は、フレームメモリ２０１と、加算器２０２と、ノイズリダクション部（静止画）２０３と、ノイズキャンセラ部（動画）２０４と、ＤＴＬ制御部２０５と、を備える。
【００３３】
フレームメモリ２０１は、ノイズリダクション部２０３により静止画部分のノイズが低減された輝度信号のデータを所定フレーム分保持する。
【００３４】
加算器２０２は、γ補正部１０５から入力される輝度信号と、フレームメモリ２０１に保持された輝度信号との差分信号（以下、単に差分信号と記載する）を算出する。
【００３５】
ノイズリダクション部２０３は、静止画像のノイズを低減する機能を有し、画像信号に発生する残像を抑制する補正を行う。ノイズリダクション部２０３は、γ補正部１０５から入力される差分信号の絶対値を算出し、該絶対値の大きさに応じてγ補正部１０５から出力される差分信号への混合比を小さくする補正を行う。具体的には、上記絶対値が大きいほど、つまり動きの激しい領域ほど、上記混合比を小さくしてフレーム巡回量を低減し、静止画におけるノイズを抑制する。
【００３６】
ノイズキャンセラ部２０４は、動画像のノイズを低減する機能を有し、解像度の劣化を抑制する補正を行う。ノイズキャンセラ部２０４は、γ補正部１０５から入力される差分信号の絶対値を算出し、該絶対値の大きさに応じてγ補正部１０５から出力される差分信号を補正する。具体的には、上記絶対値が小さいほど、つまり動きの少ない領域ほど、ＬＰＦを通った差分信号の混合比を小さくし、動画により発生したノイズを抑制する。
【００３７】
ＤＴＬ制御部２０５は、Ｈ／Ｖ ＬＰＦ（Ｈ／Ｖローパスフィルタ）２０５ａと、幅広部２０５ｂと、ε値出力部２０５ｃと、参照メモリ２０５ｄとを備える。Ｈ／Ｖ ＬＰＦ２０５ａは、差分信号の水平方向及び垂直方向の信号成分のうち、所定の閾値よりも低い周波数成分を通過させる機能を有するフィルタ部である。差分信号をＨ／Ｖ ＬＰＦ２０５ａに通すことにより差分信号のノイズ成分が除去される。
【００３８】
幅広部２０５ｂは、Ｈ／Ｖ ＬＰＦ（Ｈ／Ｖローパスフィルタ）２０５ａにより欠落した差分信号のエッジ部の情報を補完するため、ノイズ成分を除去した後の差分信号を絶対値化した後、Ｈ方向（水平方向）及びＶ方向（垂直方向）に、例えば、３画素／ラインごとの最大値を算出して、差分信号のエッジ部を広げる処理を行う。
【００３９】
ε値出力部２０５ｃは、参照メモリ２０５ｅを参照して、幅広部２０５ｂから出力される差分信号の絶対値Ｖ（以下、単に絶対値Ｖと記載する）に対応するε値をＤＴＬ部１０７へ出力する。
【００４０】
図８は、参照メモリ２０５ｅに記憶された補正データである。図８の横軸は、幅広部２０５ｂから出力される絶対値Ｖ、図８の縦軸は、ＤＴＬ部１０７へ出力するε値をそれぞれ示している。図８に示すように、この実施形態では、閾値ＴＨ１、ＴＨ２により、幅広部２０５ｂから出力される差分信号の絶対値Ｖを３つの領域Ｘ〜Ｚに分けている。
【００４１】
（領域Ｘ）
領域Ｘは、幅広部２０５ｂから出力される絶対値Ｖが閾値ＴＨ１よりも小さい領域である。幅広部２０５ｂから出力される絶対値Ｖが、この領域Ｘ内にある場合は、静止画像であるとみなし、ＤＴＬ部１０７へ出力するε値をゼロとする。
【００４２】
（領域Ｙ）
領域Ｙは、幅広部２０５ｂから出力される絶対値Ｖが、閾値ＴＨ１以上、閾値ＴＨ２よりも値の小さい領域である。幅広部２０５ｂから出力される絶対値Ｖが、この領域Ｙ内にある場合は、静止画像と動画像が混在した状態であるとみなし、ＤＴＬ部１０７へ出力するε値を、絶対値Ｖに応じて変化させる。
【００４３】
この実施形態では、幅広部２０５ｂから出力される絶対値Ｖと、ＤＴＬ部１０７へ出力されるε値との関係が、三角関数、具体的には、以下の（２）式となるように設定されている。
ε（Ｖ）＝Ｎｃｏｓ｛π×（Ｖ−ＴＨ２）／（２（ＴＨ１−ＴＨ２））｝・・・（２）
【００４４】
なお、幅広部２０５ｂから出力される絶対値Ｖと、ＤＴＬ部１０７へ出力されるε値との関係を、一次関数、具体的には、以下（３）式に設定してもよい。
ε（Ｖ）＝Ｎ／（ＴＨ２−ＴＨ１）（Ｖ−ＴＨ１）・・・（３）
【００４５】
（領域Ｚ）
領域Ｚは、幅広部２０５ｂから出力される絶対値Ｖが、閾値ＴＨ２以上の領域である。幅広部２０５ｂから出力される絶対値Ｖが、この領域Ｚ内にある場合は、動画像であるとみなし、ＤＴＬ部１０７へ出力するε値をノイズレベルＮとする。
【００４６】
ここで、領域Ｚでは、ＤＴＬ部１０７へ出力するε値をノイズレベルＮとしている理由について図９を参照して説明する。図９は、ノイズレベルＮの説明図である。図９（ａ）は、図６（ｃ）を参照して説明した領域Ｂの状態を示している。図６（ｃ）の領域Ｂは、実際には、図９（ａ）に示すように領域Ａ１と領域Ａ２とを傾いた状態となっている。図９（ｂ）は、図９（ａ）における着目画素α０とその周辺の拡大図である。
【００４７】
領域Ｚでは、ε値が着目画素α０と周辺画素α−２、α−１、α＋１、α＋２等との差分値で算出される為、フレーム間差分値と、ほぼ等しい値をとる。なお、着目画素α０と周辺画素α−２、α−１、α＋１、α＋２等との差分値には、図９（ｂ）に示すように、残像レベルとノイズレベルＮとが含まれるが、着目画素α０と周辺画素α−２、α−１、α＋１、α＋２等との残像レベルＮの差分は、ノイズレベルＮの差分に比較して非常に小さな値となるため、実質上無視することができ、着目画素α０と周辺画素α−２、α−１、α＋１、α＋２等との差分値は、ほぼノイズレベルＮの値となる。
【００４８】
このため、ε値をノイズレベルＮより大きな値にしてしまうと、動画領域におけるノイズを除去するだけではなく、画像信号までを補正する過補正を行う可能性が高いためである。この実施形態では、ε値の最大値をノイズレベルＮとすることにより、過剰な補正を防止するようにしている。
【００４９】
なお、ノイズレベルＮは、以下のようにして予め算出しておく。
差分信号に対し閾値を設け、その閾値を超えた画素数が１フレーム（１画面）に何個あるかをカウントする。次に、閾値を変化させて、例えば、差分信号の値が閾値を超える画素数が、１フレームの全画素数の０．５％を程度となる閾値をノイズレベルＮとする。
【００５０】
図７に示すように、ＤＴＬ部１０７は、第１フィルタ部３０１と、第２フィルタ部３０２と、増幅部３０３とを備える。第１フィルタ部３０１は、εフィルタであり、処理対象の画素（対象画素）と当該対象画素の水平方向にある周囲画素との差分を算出し、該差分がε値出力部２０５ｃから出力されるε値を超える画素は信号とみなしてフィルタリング処理を行わず、周辺画素の画素値と対象画素の画素値との差分が、ε値出力部２０５ｃから出力されるε値以下の画素はノイズとみなして水平方向のＬＰＦ（ローパスフィルタ）処理を行う。
【００５１】
第２フィルタ部３０２は、εフィルタであり、処理対象の画素（対象画素）と、当該対象画素の垂直方向にある周囲画素との差分を算出し、該差分がε値出力部２０５ｃから出力されるε値を超える画素は信号とみなしてフィルタリング処理を行わず、周辺画素の画素値と対象画素の画素値との差分が、ε値出力部２０５ｃから出力されるε値以下の画素はノイズとみなして垂直方向のＬＰＦ（ローパスフィルタ）処理を行う。
【００５２】
増幅部３０３は、第１フィルタ部３０１及び第２フィルタ部３０２から出力される信号を増幅する。
【００５３】
加算器１０３ａ〜１０３ｃは、ＤＴＬ部１０７が出力する信号をＲ、Ｇ、Ｂの各チャネルの画像信号に加算する。
【００５４】
（内視鏡装置１の動作）
図１０は、実施形態に係る内視鏡装置の動作を示すフローチャートである。以下、図１０を参照して内視鏡装置１の補正動作について説明する。
【００５５】
撮像が開始されると、イメージセンサ２０ａから画像信号が出力される（ステップＳ１０１）。画像信号処理部３３ａのホワイトバランス回路１０１ａ〜１０１ｃは、Ｒ、Ｇ、Ｂの各チャネルの画像信号のホワイトバランスを調整する（ステップＳ１０２）。
【００５６】
輝度信号生成部１０４は、ホワイトバランス調整後のＲＧＢ信号から輝度信号Ｙを生成する（ステップＳ１０３）。γ補正部１０５は、輝度信号Ｙをγ補正する（ステップＳ１０４）。
【００５７】
３次元ノイズリダクション部１０６のノイズリダクション部２０３は、γ補正部１０５から入力される差分信号の絶対値を算出し、該絶対値の大きさに応じてγ補正部１０５から出力される差分信号への混合比を小さくする補正を行い、静止画におけるノイズを抑制する（ステップＳ１０５）。
【００５８】
３次元ノイズリダクション部１０６のノイズキャンセラ部２０４は、γ補正部１０５から入力される差分信号の絶対値を算出し、該絶対値の大きさに応じてγ補正部１０５から出力される差分信号を補正し、動画により発生したノイズを抑制する（ステップＳ１０６）。
【００５９】
ＤＴＬ制御部２０５は、γ補正部１０５から入力される差分信号の絶対値Ｖを算出し、該絶対値Ｖの大きさに応じてＤＴＬ部１０７が備える第１フィルタ部３０１及び第２フィルタ部３０２のε値（閾値）を決定する（ステップＳ１０７）。
【００６０】
ＤＴＬ部１０７は、ＤＴＬ制御部２０５から出力されるε値を用いて、水平方向及び垂直方向のフィルタリングを行う（ステップＳ１０８）。加算器１０３ａ〜１０３ｃは、ＤＴＬ部１０７が出力する信号をＲ、Ｇ、Ｂの各チャネルの画像信号に加算する（ステップＳ１０９）。内視鏡装置１は、撮像が終了するまで上記処理を繰り返す（ステップＳ１１０）。
【００６１】
以上のように、内視鏡装置１は、差分信号の絶対値Ｖから対応する画素を、領域Ｘ（静止画像領域）、領域Ｙ（混在領域）、領域Ｚ（動画像領域）の３つの領域（Ｘ〜Ｚ）に区分し、該区分に応じて、第１フィルタ部３０１及び第２フィルタ部３０２のε値（閾値）を最適な値に変化させているので、動きのある部分のノイズを画像信号から効果的に低減することができる。
【００６２】
また、水平方向及び垂直方向の高周波成分（ノイズ）を除去するＨ／Ｖ ＬＰＦ２０５ａを備えているので、水平方向及び垂直方向のどちらの方向に対しても、ノイズを除去することができる。このため、差分信号による画像の動きを精度よく検出することができる。また、第１フィルタ部３０１及び第２フィルタ部３０２におけるε値（閾値）の最大値をノイズレベルとしたので、画像信号を過剰に補正（過補正）することを防止できる。
【００６３】
また、イメージセンサとしてＣＭＯＳイメージセンサを採用しているので、複数の電圧を必要とせず、動作電圧も低い。このため、数種の電圧を生成する電源が必要とせず撮像装置の製造コストおよび消費電力を抑制することができる。また、ＣＭＯＳイメージセンサは、ＣＣＤイメージセンサに比べ、素子を高密度化できるので、内視鏡装置１をより小型化できる。
【００６４】
（その他の実施形態）
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。上記実施形態は、その他の様々な形態で実施することが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００６５】
１…内視鏡装置、１０…スコープ、１０ａ…対物レンズ、２０…ヘッド、２０ａ…イメージセンサ、２１…接続端子、２２…Ｉ／Ｆ部、２２ａ…シリアライザ、２２ｂ…ＬＶＤＳ変換部、２３…メモリ、３１…接続端子、３２…Ｉ／Ｆ部、３２ａ…デシリアライザ、３２ｂ…ＬＶＤＳ変換部、３３…画像信号処理部、３３ａ…画像信号処理部、３３ｂ…同期信号生成部、３４…画像出力部、３４ａ…Ｄ／Ａコンバータ、３４ｂ…トランスミッタ、３５…システム制御部、３５ａ…メモリ、３５ｂ…コントローラ、３５ｄ…受信部、３５ｅ…操作受付部、３６…電源部、４０…ライトソース、４２…レンズ、５０…カメラケーブル、６０…光ファイバ、７０…モニタ、１０１ａ〜１０１ｃ…ホワイトバランス部、１０２ａ〜１０２ｃ…γ補正部、１０３ａ〜１０３ｃ…加算器、１０４…輝度信号生成部、１０５…γ補正部、１０６…３次元ノイズリダクション部、１０７…ＤＴＬ部、２０１…フレームメモリ、２０２…加算器、２０３…ノイズリダクション部、２０４…ノイズキャンセラ部、２０５…ＤＴＬ制御部、３０１…第１フィルタ部、３０２…第２フィルタ部、３０３…増幅部。
【技術分野】
【０００１】
本発明の実施形態は、イメージセンサから出力される画像信号を補正する画像信号補正装置、撮像装置及び内視鏡装置に関する。
【背景技術】
【０００２】
患者の負担を低減するために、撮像装置、例えば、内視鏡装置を用いた手術が従来から行われている。内視鏡装置では、スコープを患者の体内へ挿入し、患部を照らしながら撮像を行う。しかし、患部を照らす光源や患部の状態によっては、コントラストが非常に低い画像となる。このため、従来の内視鏡装置では、輪郭を強調してコントラストをさせる画像処理を行っている。また、コントラスト以外に、画像に生じるノイズも患部の状態を認識する妨げとなる。このため、従来から種々のノイズを低減方法が提案されている（例えば、特許文献１〜３参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２３２４０２号公報
【特許文献２】特開２００９−２７６０８号公報
【特許文献３】特開２０１０−４２６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
以上のように、内視鏡装置では、画像に生じるノイズを低減することが重要な課題となっている。
本実施形態は、画像の動きのある部分のノイズ成分を低減できる画像信号補正装置、撮像装置及び内視鏡装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
実施形態に係る画像信号補正装置は、入力される画像信号を所定フレーム分保持するフレームメモリと、入力される画像信号と、フレームメモリ内に保持された画像信号との差分信号を算出する差分算出部と、差分信号のうち、閾値以下の差分信号を通過させるフィルタと、差分算出部で算出される差分信号の値に応じて、フィルタ部の閾値を変化させる制御部と、を具備する。
【図面の簡単な説明】
【０００６】
【図１】実施形態に係る内視鏡装置の構成図。
【図２】実施形態に係る内視鏡装置のヘッドの構成図。
【図３】実施形態に係る内視鏡装置のＣＣＵの構成図。
【図４】実施形態に係る内視鏡装置のライトソースの構成図。
【図５】実施形態に係る内視鏡装置の画像信号処理部の構成図。
【図６】ノイズ発生メカニズムの説明図。
【図７】実施形態に係る内視鏡装置の３次元ノイズリダクション部及びＤＴＬ部の構成図。
【図８】実施形態に係る内視鏡装置のメモリに記憶された補正データ図。
【図９】ノイズレベルの説明図。
【図１０】実施形態に係る内視鏡装置の動作を示すフローチャート。
【発明を実施するための形態】
【０００７】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
（実施形態）
この実施形態では、撮像装置として硬性内視鏡装置を例に、その構成を説明する。図１は、実施形態に係る内視鏡装置１（以下、内視鏡装置１と記載する）の構成図である。この実施形態では、撮像素子としてＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを採用した実施形態について説明するが、ＣＣＤ（Charge Coupled Device）イメージセンサを採用しても構わない。
【０００８】
内視鏡装置１は、先端に対物レンズ１０ａが設けられ、被検査体内へ挿入されるスコープ１０と、対物レンズ１０ａの結像面に位置するＣＭＯＳイメージセンサ２０ａ（以下、単にイメージセンサ２０ａと記載する）により撮像されるＲＧＢ画像信号（以下、単に画像信号と記載する）をＣＣＵへカメラケーブル５０を介して出力するヘッド２０と、ヘッド２０から出力される画像信号を処理するＣＣＵ（camera control unit）３０と、撮像範囲を照らすライトソース４０（光源）と、ライトソース４０からの光をスコープ１０の先端部へ導入するための光ファイバ６０と、撮像された画像信号に対応する画像を表示するモニタ７０とを具備する。
【０００９】
カメラケーブル５０は、ヘッド２０とＣＣＵ３０との間で画像信号及び制御信号を送受信するための信号線およびＣＣＵ３０からヘッド２０へ電力を供給するための電力線などを収容する。
【００１０】
図２は、ヘッド２０の構成図である。
ヘッド２０は、イメージセンサ２０ａ、接続端子２１、Ｉ／Ｆ部２２及びメモリ２３を具備する。イメージセンサ２０ａは、フルＨＤ（high density）に対応したデジタルカラーＣＭＯＳイメージセンサであり、３つの１／３型ＣＭＯＳセンサから構成される。この実施形態では、イメージセンサ２０ａは、プログレッシブスキャンで駆動されるが、インターレーススキャンで駆動してもよい。
【００１１】
接続端子２１には、カメラケーブル５０が接続される。Ｉ／Ｆ部２２は、ＬＶＤＳ（Low voltage differential signaling）シリアライであり、シリアライザ２２ａ及びＬＶＤＳ変換部２２ｂを備える。Ｉ／Ｆ部２２は、イメージセンサ２０ａから出力される画像信号をデジタル信号のまま接続端子２１に接続されたカメラケーブル５０を介してＣＣＵ３０へ送信する。この際、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）の各画像信号（具体的には、画面を構成する画素の濃度値（階調）のデータ）は、互いに独立した信号線を使って伝送される。このため、従来のアナログＲＧＢ伝送に比べて高品質の画像を表示することができる。メモリ２３は、例えば、フラッシュメモリであり、イメージセンサ２０ａの設定条件（例えば、フレームレート、ゲイン等）が記憶される。
【００１２】
図３は、ＣＣＵ３０の構成図である。
接続端子３１、Ｉ／Ｆ部３２、画像信号処理部３３、画像出力部３４、システム制御部３５及び電源部３６を具備する。接続端子３１には、カメラケーブル５０が接続される。Ｉ／Ｆ部３２は、ＬＶＤＳデシリアライザであり、デシリアライザ３２ａ及びＬＶＤＳ変換部３２ｂを備える。Ｉ／Ｆ部３２は、ヘッド２０から送信される画像信号を画像信号処理部３３へ出力する。また、Ｉ／Ｆ部３２は、システム制御部３５から出力される制御信号を接続端子３１に接続されたカメラケーブル５０を介してヘッド２０へ送信する。
【００１３】
画像信号処理部３３は、画像信号処理部３３ａと同期信号生成部３３ｂを具備する。画像信号処理部３３ａは、Ｉ／Ｆ部３２から出力される画像信号を処理して画像出力部３４へ出力する。具体的には、画像信号処理部３３ａは、画像信号のうち動きのある領域に生じるノイズを抑制する処理を行うが、詳細は、図５〜図７を参照して後述する。
【００１４】
同期信号生成部３３ｂは、イメージセンサ２０ａの撮像に用いられる同期信号を生成する。該同期信号は、設定されたフレームレートに応じた所定の間隔で生成される（例えば、１／３０秒、１／６０秒等）。生成された同期信号は、ＭＰＵ３５ｃへ出力されると共に、Ｉ／Ｆ部３２から接続端子３１に接続されたカメラケーブル５０を介してヘッド２０へ送信される。
【００１５】
画像出力部３４は、Ｄ／Ａコンバータ３４ａ及びＤＶＩ（digital visual interface）トランスミッタ３４ｂを備え、画像信号処理部３３で処理された画像信号をアナログ及び／又はデジタルのＲＧＢ画像信号としてモニタ７０へ出力する。
【００１６】
システム制御部３５は、メモリ３５ａ、ＯＳＤ（On-screen Display）コントローラ３５ｂ、ＭＰＵ（Micro Processing Unit）３５ｃ、受信部３５ｄ及び操作受付部３５ｅを備え、この内視鏡装置１全体を制御する。
【００１７】
メモリ３５ａは、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）やフラッシュメモリであり、ＭＰＵ３５ｃを動作させるためのプログラムが記憶されている。
【００１８】
ＭＰＵ３５ｃは、受信部３５ｄで受信したリモート制御信号、操作受付部で受付けた処理内容及びメモリ３５ａに記憶された設定情報に基づいてヘッド２０、ＣＣＵ３０及びライトソース４０を制御する。また、ＭＰＵ３５ｃは、時間を計測するタイマＴを内蔵する（以下、内蔵タイマＴと称する）。
【００１９】
ＯＳＤコントローラ３５ｂは、画像信号処理部３３ａで処理される画像信号の画像にテキストデータやビットマップ等を重畳表示する。
【００２０】
受信部３５ｄは、外部のＰＣ等から送信されるリモート制御用の制御信号を受信してＭＰＵ３５ｃへ出力する。なお、外部ＰＣとの通信は、ＲＳ２３２−Ｃ用シリアルポートを介して行われる。操作受付部３５ｅは、外部の操作キーで操作された処理を受け付けＭＰＵ３５ｃへ出力する。
【００２１】
電源部３６は、外部から供給される電力を所定の電圧に変換してＣＣＵ３０内の各部へ供給する。また、上記電力は、接続端子３１に接続されたカメラケーブル５０を介してヘッド２０にも供給される。
【００２２】
図４は、ライトソース４０の構成図である。
ライトソース４０は、ＬＥＤ（light emitting diode）４１及びレンズ４２を具備する。また、ライトソース４０には、光ファイバ６０が接続される。ＬＥＤ４１は、イメージセンサ２０ａの撮像範囲を照らす。レンズ４２は、ＬＥＤ４１からの光を光ファイバ６０へ導入する。光ファイバ６０へ導入された光は、スコープ１０の先端部へ導かれ、イメージセンサ２０ａの撮像範囲、すなわち患部を照らす。
【００２３】
図５は、画像信号処理部３３ａの構成図である。
画像信号処理部３３ａは、ホワイトバランス部１０１ａ〜１０１ｃと、γ補正部１０２ａ〜１０２ｃと、加算器１０３ａ〜１０３ｃと、輝度信号生成部１０４と、γ補正部１０５と、３次元ノイズリダクション部１０６と、ＤＴＬ部１０７とを備える。
【００２４】
この実施形態では、画像信号処理部３３ａは、ＦＰＧＡ（Field-Programmable Gate Array）で構成されるが、他の構成、例えば、画像信号処理部３３ａが備える機能をソフトウェア（プログラム）で実現してもよい。
【００２５】
画像信号処理部３３ａは、画像信号のうち動きのある領域に生じるノイズを抑制する。以下、画像信号処理部３３ａの具体的な構成について説明するが、初めに、動きのある領域にノイズが生じるメカニズムについて説明する。
【００２６】
図６は、ノイズ発生メカニズムの説明図である。
図６（ａ）では、前後するフレーム間で、被写体（撮像対象）が左から右に動いた状態を表している。図６（ａ）の破線は、ｎ番目のフレーム（第１のフレーム）での被写体の位置を示しており、図６（ａ）の実線は、１フレーム後のｎ＋１番目のフレーム（第２のフレーム）での被写体の位置を示している。また、図６（ａ）の斜線部は、ノイズ４０１を表している。
【００２７】
図６（ｂ）は、第１のフレームと第２のフレームとの差分を示している。領域Ａ１，Ａ２は、第１のフレームと第２のフレームとの差分がゼロの領域（以下、静止画像領域Ａと記載）であり、３次元ノイズリダクションによる効果、すなわち時間的にランダムに発生するノイズ４０１を低減する効果が得られる領域である。領域Ｂは、第１のフレームと第２のフレームとの差分が存在する領域（以下、動画像領域Ｂと記載）であり、３次元ノイズリダクションによる効果が得られない領域である。
【００２８】
図６（ｃ）は、第１のフレームと第２のフレームとの差分を第２のフレームに混合した状態を示す図である。なお、図６（ｃ）では、差分の混合比率を５０％としている。図６（ｃ）に示すように、静止画像領域Ａ１，Ａ２では、ノイズによる画像の変化が時間的に平均化されるためノイズ４０１が低減されるが、動画像領域Ｂでは、ノイズ４０１が低減されずに目で認識できる状態で残ってしまう。画像信号処理部３３ａは、この図６（ｃ）に示すノイズを低減する補正を行う。
【００２９】
以下、図５を参照して画像信号処理部３３ａの各構成について説明する。
ホワイトバランス部１０１ａ〜１０１ｃは、それぞれＲ、Ｇ、Ｂのチャネルごとに画像信号のホワイトバランスを調整する。γ補正部１０２ａ〜１０２ｃは、画像の明るさや色が正しくモニタ７０に表示されるように、Ｒ、Ｇ、Ｂのチャネルごとにホワイトバランス後の画像信号をモニタ７０の特性に合わせて補正する。
【００３０】
輝度信号生成部１０４は、ホワイトバランス後のＲ、Ｇ、Ｂの各チャネルの画像信号から、画面を構成する画素ごとに輝度信号Ｙを生成する。輝度信号Ｙの算出には、以下の計算式（１）を用いる。なお、ａ、ｂ、ｃは、任意の係数である。
Ｙ＝ａＲ＋ｂＧ＋ｃＢ・・・（１）（但し、ａ＋ｂ＋ｃ＝１）
【００３１】
γ補正部１０５は、輝度信号生成部１０４で生成される輝度信号Ｙをモニタ７０の特性に合わせて補正する。
【００３２】
図７は、３次元ノイズリダクション部１０６及びＤＴＬ部１０７の構成図である。
３次元ノイズリダクション部１０６は、フレームメモリ２０１と、加算器２０２と、ノイズリダクション部（静止画）２０３と、ノイズキャンセラ部（動画）２０４と、ＤＴＬ制御部２０５と、を備える。
【００３３】
フレームメモリ２０１は、ノイズリダクション部２０３により静止画部分のノイズが低減された輝度信号のデータを所定フレーム分保持する。
【００３４】
加算器２０２は、γ補正部１０５から入力される輝度信号と、フレームメモリ２０１に保持された輝度信号との差分信号（以下、単に差分信号と記載する）を算出する。
【００３５】
ノイズリダクション部２０３は、静止画像のノイズを低減する機能を有し、画像信号に発生する残像を抑制する補正を行う。ノイズリダクション部２０３は、γ補正部１０５から入力される差分信号の絶対値を算出し、該絶対値の大きさに応じてγ補正部１０５から出力される差分信号への混合比を小さくする補正を行う。具体的には、上記絶対値が大きいほど、つまり動きの激しい領域ほど、上記混合比を小さくしてフレーム巡回量を低減し、静止画におけるノイズを抑制する。
【００３６】
ノイズキャンセラ部２０４は、動画像のノイズを低減する機能を有し、解像度の劣化を抑制する補正を行う。ノイズキャンセラ部２０４は、γ補正部１０５から入力される差分信号の絶対値を算出し、該絶対値の大きさに応じてγ補正部１０５から出力される差分信号を補正する。具体的には、上記絶対値が小さいほど、つまり動きの少ない領域ほど、ＬＰＦを通った差分信号の混合比を小さくし、動画により発生したノイズを抑制する。
【００３７】
ＤＴＬ制御部２０５は、Ｈ／Ｖ ＬＰＦ（Ｈ／Ｖローパスフィルタ）２０５ａと、幅広部２０５ｂと、ε値出力部２０５ｃと、参照メモリ２０５ｄとを備える。Ｈ／Ｖ ＬＰＦ２０５ａは、差分信号の水平方向及び垂直方向の信号成分のうち、所定の閾値よりも低い周波数成分を通過させる機能を有するフィルタ部である。差分信号をＨ／Ｖ ＬＰＦ２０５ａに通すことにより差分信号のノイズ成分が除去される。
【００３８】
幅広部２０５ｂは、Ｈ／Ｖ ＬＰＦ（Ｈ／Ｖローパスフィルタ）２０５ａにより欠落した差分信号のエッジ部の情報を補完するため、ノイズ成分を除去した後の差分信号を絶対値化した後、Ｈ方向（水平方向）及びＶ方向（垂直方向）に、例えば、３画素／ラインごとの最大値を算出して、差分信号のエッジ部を広げる処理を行う。
【００３９】
ε値出力部２０５ｃは、参照メモリ２０５ｅを参照して、幅広部２０５ｂから出力される差分信号の絶対値Ｖ（以下、単に絶対値Ｖと記載する）に対応するε値をＤＴＬ部１０７へ出力する。
【００４０】
図８は、参照メモリ２０５ｅに記憶された補正データである。図８の横軸は、幅広部２０５ｂから出力される絶対値Ｖ、図８の縦軸は、ＤＴＬ部１０７へ出力するε値をそれぞれ示している。図８に示すように、この実施形態では、閾値ＴＨ１、ＴＨ２により、幅広部２０５ｂから出力される差分信号の絶対値Ｖを３つの領域Ｘ〜Ｚに分けている。
【００４１】
（領域Ｘ）
領域Ｘは、幅広部２０５ｂから出力される絶対値Ｖが閾値ＴＨ１よりも小さい領域である。幅広部２０５ｂから出力される絶対値Ｖが、この領域Ｘ内にある場合は、静止画像であるとみなし、ＤＴＬ部１０７へ出力するε値をゼロとする。
【００４２】
（領域Ｙ）
領域Ｙは、幅広部２０５ｂから出力される絶対値Ｖが、閾値ＴＨ１以上、閾値ＴＨ２よりも値の小さい領域である。幅広部２０５ｂから出力される絶対値Ｖが、この領域Ｙ内にある場合は、静止画像と動画像が混在した状態であるとみなし、ＤＴＬ部１０７へ出力するε値を、絶対値Ｖに応じて変化させる。
【００４３】
この実施形態では、幅広部２０５ｂから出力される絶対値Ｖと、ＤＴＬ部１０７へ出力されるε値との関係が、三角関数、具体的には、以下の（２）式となるように設定されている。
ε（Ｖ）＝Ｎｃｏｓ｛π×（Ｖ−ＴＨ２）／（２（ＴＨ１−ＴＨ２））｝・・・（２）
【００４４】
なお、幅広部２０５ｂから出力される絶対値Ｖと、ＤＴＬ部１０７へ出力されるε値との関係を、一次関数、具体的には、以下（３）式に設定してもよい。
ε（Ｖ）＝Ｎ／（ＴＨ２−ＴＨ１）（Ｖ−ＴＨ１）・・・（３）
【００４５】
（領域Ｚ）
領域Ｚは、幅広部２０５ｂから出力される絶対値Ｖが、閾値ＴＨ２以上の領域である。幅広部２０５ｂから出力される絶対値Ｖが、この領域Ｚ内にある場合は、動画像であるとみなし、ＤＴＬ部１０７へ出力するε値をノイズレベルＮとする。
【００４６】
ここで、領域Ｚでは、ＤＴＬ部１０７へ出力するε値をノイズレベルＮとしている理由について図９を参照して説明する。図９は、ノイズレベルＮの説明図である。図９（ａ）は、図６（ｃ）を参照して説明した領域Ｂの状態を示している。図６（ｃ）の領域Ｂは、実際には、図９（ａ）に示すように領域Ａ１と領域Ａ２とを傾いた状態となっている。図９（ｂ）は、図９（ａ）における着目画素α０とその周辺の拡大図である。
【００４７】
領域Ｚでは、ε値が着目画素α０と周辺画素α−２、α−１、α＋１、α＋２等との差分値で算出される為、フレーム間差分値と、ほぼ等しい値をとる。なお、着目画素α０と周辺画素α−２、α−１、α＋１、α＋２等との差分値には、図９（ｂ）に示すように、残像レベルとノイズレベルＮとが含まれるが、着目画素α０と周辺画素α−２、α−１、α＋１、α＋２等との残像レベルＮの差分は、ノイズレベルＮの差分に比較して非常に小さな値となるため、実質上無視することができ、着目画素α０と周辺画素α−２、α−１、α＋１、α＋２等との差分値は、ほぼノイズレベルＮの値となる。
【００４８】
このため、ε値をノイズレベルＮより大きな値にしてしまうと、動画領域におけるノイズを除去するだけではなく、画像信号までを補正する過補正を行う可能性が高いためである。この実施形態では、ε値の最大値をノイズレベルＮとすることにより、過剰な補正を防止するようにしている。
【００４９】
なお、ノイズレベルＮは、以下のようにして予め算出しておく。
差分信号に対し閾値を設け、その閾値を超えた画素数が１フレーム（１画面）に何個あるかをカウントする。次に、閾値を変化させて、例えば、差分信号の値が閾値を超える画素数が、１フレームの全画素数の０．５％を程度となる閾値をノイズレベルＮとする。
【００５０】
図７に示すように、ＤＴＬ部１０７は、第１フィルタ部３０１と、第２フィルタ部３０２と、増幅部３０３とを備える。第１フィルタ部３０１は、εフィルタであり、処理対象の画素（対象画素）と当該対象画素の水平方向にある周囲画素との差分を算出し、該差分がε値出力部２０５ｃから出力されるε値を超える画素は信号とみなしてフィルタリング処理を行わず、周辺画素の画素値と対象画素の画素値との差分が、ε値出力部２０５ｃから出力されるε値以下の画素はノイズとみなして水平方向のＬＰＦ（ローパスフィルタ）処理を行う。
【００５１】
第２フィルタ部３０２は、εフィルタであり、処理対象の画素（対象画素）と、当該対象画素の垂直方向にある周囲画素との差分を算出し、該差分がε値出力部２０５ｃから出力されるε値を超える画素は信号とみなしてフィルタリング処理を行わず、周辺画素の画素値と対象画素の画素値との差分が、ε値出力部２０５ｃから出力されるε値以下の画素はノイズとみなして垂直方向のＬＰＦ（ローパスフィルタ）処理を行う。
【００５２】
増幅部３０３は、第１フィルタ部３０１及び第２フィルタ部３０２から出力される信号を増幅する。
【００５３】
加算器１０３ａ〜１０３ｃは、ＤＴＬ部１０７が出力する信号をＲ、Ｇ、Ｂの各チャネルの画像信号に加算する。
【００５４】
（内視鏡装置１の動作）
図１０は、実施形態に係る内視鏡装置の動作を示すフローチャートである。以下、図１０を参照して内視鏡装置１の補正動作について説明する。
【００５５】
撮像が開始されると、イメージセンサ２０ａから画像信号が出力される（ステップＳ１０１）。画像信号処理部３３ａのホワイトバランス回路１０１ａ〜１０１ｃは、Ｒ、Ｇ、Ｂの各チャネルの画像信号のホワイトバランスを調整する（ステップＳ１０２）。
【００５６】
輝度信号生成部１０４は、ホワイトバランス調整後のＲＧＢ信号から輝度信号Ｙを生成する（ステップＳ１０３）。γ補正部１０５は、輝度信号Ｙをγ補正する（ステップＳ１０４）。
【００５７】
３次元ノイズリダクション部１０６のノイズリダクション部２０３は、γ補正部１０５から入力される差分信号の絶対値を算出し、該絶対値の大きさに応じてγ補正部１０５から出力される差分信号への混合比を小さくする補正を行い、静止画におけるノイズを抑制する（ステップＳ１０５）。
【００５８】
３次元ノイズリダクション部１０６のノイズキャンセラ部２０４は、γ補正部１０５から入力される差分信号の絶対値を算出し、該絶対値の大きさに応じてγ補正部１０５から出力される差分信号を補正し、動画により発生したノイズを抑制する（ステップＳ１０６）。
【００５９】
ＤＴＬ制御部２０５は、γ補正部１０５から入力される差分信号の絶対値Ｖを算出し、該絶対値Ｖの大きさに応じてＤＴＬ部１０７が備える第１フィルタ部３０１及び第２フィルタ部３０２のε値（閾値）を決定する（ステップＳ１０７）。
【００６０】
ＤＴＬ部１０７は、ＤＴＬ制御部２０５から出力されるε値を用いて、水平方向及び垂直方向のフィルタリングを行う（ステップＳ１０８）。加算器１０３ａ〜１０３ｃは、ＤＴＬ部１０７が出力する信号をＲ、Ｇ、Ｂの各チャネルの画像信号に加算する（ステップＳ１０９）。内視鏡装置１は、撮像が終了するまで上記処理を繰り返す（ステップＳ１１０）。
【００６１】
以上のように、内視鏡装置１は、差分信号の絶対値Ｖから対応する画素を、領域Ｘ（静止画像領域）、領域Ｙ（混在領域）、領域Ｚ（動画像領域）の３つの領域（Ｘ〜Ｚ）に区分し、該区分に応じて、第１フィルタ部３０１及び第２フィルタ部３０２のε値（閾値）を最適な値に変化させているので、動きのある部分のノイズを画像信号から効果的に低減することができる。
【００６２】
また、水平方向及び垂直方向の高周波成分（ノイズ）を除去するＨ／Ｖ ＬＰＦ２０５ａを備えているので、水平方向及び垂直方向のどちらの方向に対しても、ノイズを除去することができる。このため、差分信号による画像の動きを精度よく検出することができる。また、第１フィルタ部３０１及び第２フィルタ部３０２におけるε値（閾値）の最大値をノイズレベルとしたので、画像信号を過剰に補正（過補正）することを防止できる。
【００６３】
また、イメージセンサとしてＣＭＯＳイメージセンサを採用しているので、複数の電圧を必要とせず、動作電圧も低い。このため、数種の電圧を生成する電源が必要とせず撮像装置の製造コストおよび消費電力を抑制することができる。また、ＣＭＯＳイメージセンサは、ＣＣＤイメージセンサに比べ、素子を高密度化できるので、内視鏡装置１をより小型化できる。
【００６４】
（その他の実施形態）
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。上記実施形態は、その他の様々な形態で実施することが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００６５】
１…内視鏡装置、１０…スコープ、１０ａ…対物レンズ、２０…ヘッド、２０ａ…イメージセンサ、２１…接続端子、２２…Ｉ／Ｆ部、２２ａ…シリアライザ、２２ｂ…ＬＶＤＳ変換部、２３…メモリ、３１…接続端子、３２…Ｉ／Ｆ部、３２ａ…デシリアライザ、３２ｂ…ＬＶＤＳ変換部、３３…画像信号処理部、３３ａ…画像信号処理部、３３ｂ…同期信号生成部、３４…画像出力部、３４ａ…Ｄ／Ａコンバータ、３４ｂ…トランスミッタ、３５…システム制御部、３５ａ…メモリ、３５ｂ…コントローラ、３５ｄ…受信部、３５ｅ…操作受付部、３６…電源部、４０…ライトソース、４２…レンズ、５０…カメラケーブル、６０…光ファイバ、７０…モニタ、１０１ａ〜１０１ｃ…ホワイトバランス部、１０２ａ〜１０２ｃ…γ補正部、１０３ａ〜１０３ｃ…加算器、１０４…輝度信号生成部、１０５…γ補正部、１０６…３次元ノイズリダクション部、１０７…ＤＴＬ部、２０１…フレームメモリ、２０２…加算器、２０３…ノイズリダクション部、２０４…ノイズキャンセラ部、２０５…ＤＴＬ制御部、３０１…第１フィルタ部、３０２…第２フィルタ部、３０３…増幅部。
【特許請求の範囲】
【請求項１】
入力される画像信号を所定フレーム分保持するフレームメモリと、
前記入力される画像信号と、前記フレームメモリ内に保持された画像信号との差分信号を算出する差分算出部と、
前記差分信号のうち、閾値以下の前記差分信号を通過させるフィルタと、
前記差分算出部で算出される差分信号の値に応じて、前記フィルタ部の閾値を変化させる制御部と、
を具備する画像信号補正装置。
【請求項２】
前記制御部は、
前記差分信号の値が、第１の閾値より小さい場合、前記フィルタ部の閾値をゼロとする請求項１に記載の画像信号補正装置。
【請求項３】
前記制御部は、
前記差分信号の値が、前記第１の閾値以上で、前記第１の閾値よりも大きい第２の閾値よりも小さい場合、前記差分信号の値の大きさに合わせて、前記フィルタ部の閾値も大きくする請求項２に記載の画像信号補正装置。
【請求項４】
前記制御部は、
前記差分信号の値が前記第２の閾値以上である場合、前記フィルタ部の閾値を一定とする請求項３に記載の画像信号補正装置。
【請求項５】
前記第１の閾値以上で、前記第２の閾値よりも小さい場合における前記差分信号の値と前記フィルタ部の閾値との関係が、三角関数で表される請求項３に記載の画像信号補正装置。
【請求項６】
前記差分信号の値が前記第２の閾値以上である場合における前記フィルタ部の閾値が、ノイズレベルである請求項３に記載の画像信号補正装置。
【請求項７】
前記差分信号の水平成分及び垂直成分のノイズを除去するＨ／Ｖフィルタ部をさらに具備し、
前記制御部は、前記Ｈ／Ｖフィルタ部でノイズを除去した後の前記差分信号の値に応じて、前記フィルタ部の閾値を変化させる請求項１に記載の画像信号補正装置。
【請求項８】
撮像した画像に対応する画像信号を出力する撮像部と、
前記撮像部の撮像範囲を照らす光源と、
前記撮像部から入力される画像信号を所定フレーム分保持するフレームメモリと、
前記入力される画像信号と、前記フレームメモリ内に保持された画像信号との差分信号を算出する差分算出部と、
前記差分信号のうち、閾値以下の前記差分信号を通過させるフィルタ部と、
前記差分算出部で算出される差分信号の値に応じて、前記フィルタ部の閾値を変化させる制御部と、
を具備する撮像装置。
【請求項９】
前記制御部は、
前記差分信号の値が、第１の閾値より小さい場合、前記フィルタ部の閾値をゼロとする請求項８に記載の撮像装置。
【請求項１０】
前記制御部は、
前記差分信号の値が、前記第１の閾値以上で、前記第１の閾値よりも大きい第２の閾値よりも小さい場合、前記差分信号の値の大きさに合わせて、前記フィルタ部の閾値も大きくする請求項９に記載の撮像装置。
【請求項１１】
前記制御部は、
前記差分信号の値が前記第２の閾値以上である場合、前記フィルタ部の閾値を一定とする請求項１０に記載の撮像装置。
【請求項１２】
前記第１の閾値以上で、前記第２の閾値よりも小さい場合における前記差分信号の値と前記フィルタ部の閾値との関係が、三角関数で表される請求項１０に記載の撮像装置。
【請求項１３】
前記差分信号の値が前記第２の閾値以上である場合における前記フィルタ部の閾値が、ノイズレベルである請求項１０に記載の撮像装置。
【請求項１４】
前記差分信号の水平成分及び垂直成分のノイズを除去するＨ／Ｖフィルタ部をさらに具備し、
前記制御部は、前記Ｈ／Ｖフィルタ部でノイズを除去した後の前記差分信号の値に応じて、前記フィルタ部の閾値を変化させる請求項８に記載の撮像装置。
【請求項１５】
先端にレンズが設けられ、被検体内に挿入されるスコープと、
被検体内を照らす光源と、
前記レンズにより結像される画像を画像信号として出力する撮像部と、
前記撮像部から入力される画像信号を所定フレーム分保持するフレームメモリと、
前記入力される画像信号と、前記フレームメモリ内に保持された画像信号との差分信号を算出する差分算出部と、
前記差分信号のうち、閾値以下の前記差分信号を通過させるフィルタ部と、
前記差分算出部で算出される差分信号の値に応じて、前記フィルタ部の閾値を変化させる制御部と、
前記差分信号により補正された画像信号に対応する画像を表示する表示部と、
を具備することを特徴とする内視鏡装置。
【請求項１６】
前記制御部は、
前記差分信号の値が、第１の閾値より小さい場合、前記フィルタ部の閾値をゼロとする請求項１５に記載の内視鏡装置。
【請求項１７】
前記制御部は、
前記差分信号の値が、前記第１の閾値以上で、前記第１の閾値よりも大きい第２の閾値よりも小さい場合、前記差分信号の値の大きさに合わせて、前記フィルタ部の閾値も大きくする請求項１６に記載の内視鏡装置。
【請求項１８】
前記制御部は、
前記差分信号の値が前記第２の閾値以上である場合、前記フィルタ部の閾値を一定とする請求項１７に記載の内視鏡装置。
【請求項１９】
前記第１の閾値以上で、前記第２の閾値よりも小さい場合における前記差分信号の値と前記フィルタ部の閾値との関係が、三角関数で表される請求項１７に記載の内視鏡装置。
【請求項２０】
前記差分信号の値が前記第２の閾値以上である場合における前記フィルタ部の閾値が、ノイズレベルである請求項１７に記載の内視鏡装置。
【請求項２１】
前記差分信号の水平成分及び垂直成分のノイズを除去するＨ／Ｖフィルタ部をさらに具備し、
前記制御部は、前記Ｈ／Ｖフィルタ部でノイズを除去した後の前記差分信号の値に応じて、前記フィルタ部の閾値を変化させる請求項１５に記載の内視鏡装置。
【請求項１】
入力される画像信号を所定フレーム分保持するフレームメモリと、
前記入力される画像信号と、前記フレームメモリ内に保持された画像信号との差分信号を算出する差分算出部と、
前記差分信号のうち、閾値以下の前記差分信号を通過させるフィルタと、
前記差分算出部で算出される差分信号の値に応じて、前記フィルタ部の閾値を変化させる制御部と、
を具備する画像信号補正装置。
【請求項２】
前記制御部は、
前記差分信号の値が、第１の閾値より小さい場合、前記フィルタ部の閾値をゼロとする請求項１に記載の画像信号補正装置。
【請求項３】
前記制御部は、
前記差分信号の値が、前記第１の閾値以上で、前記第１の閾値よりも大きい第２の閾値よりも小さい場合、前記差分信号の値の大きさに合わせて、前記フィルタ部の閾値も大きくする請求項２に記載の画像信号補正装置。
【請求項４】
前記制御部は、
前記差分信号の値が前記第２の閾値以上である場合、前記フィルタ部の閾値を一定とする請求項３に記載の画像信号補正装置。
【請求項５】
前記第１の閾値以上で、前記第２の閾値よりも小さい場合における前記差分信号の値と前記フィルタ部の閾値との関係が、三角関数で表される請求項３に記載の画像信号補正装置。
【請求項６】
前記差分信号の値が前記第２の閾値以上である場合における前記フィルタ部の閾値が、ノイズレベルである請求項３に記載の画像信号補正装置。
【請求項７】
前記差分信号の水平成分及び垂直成分のノイズを除去するＨ／Ｖフィルタ部をさらに具備し、
前記制御部は、前記Ｈ／Ｖフィルタ部でノイズを除去した後の前記差分信号の値に応じて、前記フィルタ部の閾値を変化させる請求項１に記載の画像信号補正装置。
【請求項８】
撮像した画像に対応する画像信号を出力する撮像部と、
前記撮像部の撮像範囲を照らす光源と、
前記撮像部から入力される画像信号を所定フレーム分保持するフレームメモリと、
前記入力される画像信号と、前記フレームメモリ内に保持された画像信号との差分信号を算出する差分算出部と、
前記差分信号のうち、閾値以下の前記差分信号を通過させるフィルタ部と、
前記差分算出部で算出される差分信号の値に応じて、前記フィルタ部の閾値を変化させる制御部と、
を具備する撮像装置。
【請求項９】
前記制御部は、
前記差分信号の値が、第１の閾値より小さい場合、前記フィルタ部の閾値をゼロとする請求項８に記載の撮像装置。
【請求項１０】
前記制御部は、
前記差分信号の値が、前記第１の閾値以上で、前記第１の閾値よりも大きい第２の閾値よりも小さい場合、前記差分信号の値の大きさに合わせて、前記フィルタ部の閾値も大きくする請求項９に記載の撮像装置。
【請求項１１】
前記制御部は、
前記差分信号の値が前記第２の閾値以上である場合、前記フィルタ部の閾値を一定とする請求項１０に記載の撮像装置。
【請求項１２】
前記第１の閾値以上で、前記第２の閾値よりも小さい場合における前記差分信号の値と前記フィルタ部の閾値との関係が、三角関数で表される請求項１０に記載の撮像装置。
【請求項１３】
前記差分信号の値が前記第２の閾値以上である場合における前記フィルタ部の閾値が、ノイズレベルである請求項１０に記載の撮像装置。
【請求項１４】
前記差分信号の水平成分及び垂直成分のノイズを除去するＨ／Ｖフィルタ部をさらに具備し、
前記制御部は、前記Ｈ／Ｖフィルタ部でノイズを除去した後の前記差分信号の値に応じて、前記フィルタ部の閾値を変化させる請求項８に記載の撮像装置。
【請求項１５】
先端にレンズが設けられ、被検体内に挿入されるスコープと、
被検体内を照らす光源と、
前記レンズにより結像される画像を画像信号として出力する撮像部と、
前記撮像部から入力される画像信号を所定フレーム分保持するフレームメモリと、
前記入力される画像信号と、前記フレームメモリ内に保持された画像信号との差分信号を算出する差分算出部と、
前記差分信号のうち、閾値以下の前記差分信号を通過させるフィルタ部と、
前記差分算出部で算出される差分信号の値に応じて、前記フィルタ部の閾値を変化させる制御部と、
前記差分信号により補正された画像信号に対応する画像を表示する表示部と、
を具備することを特徴とする内視鏡装置。
【請求項１６】
前記制御部は、
前記差分信号の値が、第１の閾値より小さい場合、前記フィルタ部の閾値をゼロとする請求項１５に記載の内視鏡装置。
【請求項１７】
前記制御部は、
前記差分信号の値が、前記第１の閾値以上で、前記第１の閾値よりも大きい第２の閾値よりも小さい場合、前記差分信号の値の大きさに合わせて、前記フィルタ部の閾値も大きくする請求項１６に記載の内視鏡装置。
【請求項１８】
前記制御部は、
前記差分信号の値が前記第２の閾値以上である場合、前記フィルタ部の閾値を一定とする請求項１７に記載の内視鏡装置。
【請求項１９】
前記第１の閾値以上で、前記第２の閾値よりも小さい場合における前記差分信号の値と前記フィルタ部の閾値との関係が、三角関数で表される請求項１７に記載の内視鏡装置。
【請求項２０】
前記差分信号の値が前記第２の閾値以上である場合における前記フィルタ部の閾値が、ノイズレベルである請求項１７に記載の内視鏡装置。
【請求項２１】
前記差分信号の水平成分及び垂直成分のノイズを除去するＨ／Ｖフィルタ部をさらに具備し、
前記制御部は、前記Ｈ／Ｖフィルタ部でノイズを除去した後の前記差分信号の値に応じて、前記フィルタ部の閾値を変化させる請求項１５に記載の内視鏡装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−８９２０５（Ｐ２０１３−８９２０５Ａ）
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１１−２３２２５４（Ｐ２０１１−２３２２５４）
【出願日】平成２３年１０月２１日（２０１１．１０．２１）
【特許番号】特許第５１７８８９８号（Ｐ５１７８８９８）
【特許公報発行日】平成２５年４月１０日（２０１３．４．１０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２３年１０月２１日（２０１１．１０．２１）
【特許番号】特許第５１７８８９８号（Ｐ５１７８８９８）
【特許公報発行日】平成２５年４月１０日（２０１３．４．１０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]