ノイズ低減装置およびノイズ低減方法
【課題】動画像のノイズ低減処理において空間的平滑化にともなう画質の低下を抑制する。
【解決手段】動画像のノイズを低減するノイズ低減装置４００は、動画像中で動きのある動領域と動領域以外の静領域とを検出する動き検出部４１２と、動画像を構成する入力フレーム画像Ｆ０に空間的平滑化処理を施して空間平滑フレーム画像を生成する空間平滑化処理部と、を備えている。空間平滑化処理部による空間的平滑化処理の度合は、入力フレーム画像Ｆ０を構成する画素毎に設定可能である。そして、静領域に属する画素における空間的平滑化処理の度合は、動領域に属する画素における空間的平滑化処理の度合よりも高くなるように設定される。
【解決手段】動画像のノイズを低減するノイズ低減装置４００は、動画像中で動きのある動領域と動領域以外の静領域とを検出する動き検出部４１２と、動画像を構成する入力フレーム画像Ｆ０に空間的平滑化処理を施して空間平滑フレーム画像を生成する空間平滑化処理部と、を備えている。空間平滑化処理部による空間的平滑化処理の度合は、入力フレーム画像Ｆ０を構成する画素毎に設定可能である。そして、静領域に属する画素における空間的平滑化処理の度合は、動領域に属する画素における空間的平滑化処理の度合よりも高くなるように設定される。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像のノイズを低減する技術に関する。
【背景技術】
【０００２】
動画像のノイズを低減する方法として、巡回型フィルタや非巡回型フィルタを用いて動画像を時間的に平滑化する方法や、フレーム毎に画像を空間的に平滑化する方法が用いられている。動画像に時間的平滑化処理を施すと、動画像中で動きがある部分については、残像が生じる。そのため、残像の発生を抑制するためには、フレーム毎に画像に空間的平滑化を施すことが好ましい。
【０００３】
【特許文献１】特開平６−１６９９２０号公報
【特許文献２】特開平９−３２２０２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、通常、空間的平滑化を施した画像にはぼけが生じる。そのため、空間的平滑化によるノイズ低減処理を行った場合には、ぼけの発生により、ノイズ低減後の動画像の画質が低下するおそれがある。
【０００５】
本発明は、上述した従来の課題を解決するためになされたものであり、動画像のノイズ低減処理において空間的な平滑化にともなう画質の低下を抑制する技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
【０００７】
［適用例１］
動画像のノイズを低減するノイズ低減装置であって、前記動画像中で動きのある動領域と、前記動領域以外の静領域と、を検出する動き検出部と、前記動画像を構成する入力フレーム画像に空間的平滑化処理を施して空間平滑フレーム画像を生成する空間平滑化処理部と、を備え、前記空間平滑化処理部は、前記入力フレーム画像を構成する画素毎に前記空間的平滑化処理の度合を設定可能に構成されており、前記静領域に属する画素における前記空間的平滑化処理の度合は、前記動領域に属する画素における前記空間的平滑化処理の度合よりも高くなるように設定されている、ノイズ低減装置。
【０００８】
この適用例によれば、入力フレーム画像に空間的平滑化処理を施す空間平滑化処理部は、入力フレーム画像を構成する画素毎に空間的平滑化処理の度合を設定可能に構成されている。そして、静領域画素における空間的平滑化処理の度合は、動領域画素における空間的平滑化処理の度合よりも高くなるように設定される。そのため、ノイズの影響が小さい動領域については平滑化処理によるぼけの影響をより抑制することができ、ノイズの影響が大きい静領域についてはノイズをより良好に低減することができる。そのため、ぼけによる画質の低下を抑制するともに、ノイズの影響を良好に低減できるので、動画像全体の画質をより良好なものにすることができる。
【０００９】
［適用例２］
適用例１記載のノイズ低減装置であって、前記空間平滑化処理部は、前記入力フレーム画像の空間平滑化処理を実行する空間平滑化フィルタと、前記空間平滑化フィルタを通過した平滑フレーム画像と、前記空間平滑化フィルタを通過しない非平滑フレーム画像と、を混合する混合処理部と、を備え、前記混合処理部は、画素毎に前記平滑フレーム画像と前記非平滑フレーム画像との混合比率を設定可能に構成されている、ノイズ低減装置。
【００１０】
この適用例によれば、空間平滑化の度合は、空間平滑化フィルタを通過した平滑フレーム画像と、空間平滑化フィルタを通過しない非平滑フレーム画像と、の混合比率を設定することにより変更することができる。そのため、空間平滑化の度合の設定がより容易となる。
【００１１】
なお、本発明は、種々の態様で実現することが可能である。例えば、ノイズ低減装置およびノイズ低減方法、そのノイズ低減装置および方法を適用したビデオカメラ、ビデオカメラの制御装置および制御方法、それらのノイズ低減装置および方法、ビデオカメラ、ビデオカメラ制御装置および制御方法、を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の態様で実現することができる。
【発明を実施するための最良の形態】
【００１２】
次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．第１実施例：
Ｂ．第２実施例：
Ｃ．第３実施例：
Ｄ．変形例：
【００１３】
Ａ．第１実施例：
図１は、本発明の一実施例としてのビデオカメラ１０の概略構成を示す概略構成図である。ビデオカメラ１０は、撮像レンズ１００と、イメージセンサ２００と、前処理部３００と、ノイズ低減部４００と、後処理部５００と、ビデオ信号生成部６００と、を備えている。
【００１４】
撮像レンズ１００は、被写体からの光をイメージセンサ２００の撮像面２０２に集光することにより、撮像面２０２に被写体の像を形成する。なお、撮像レンズ１００は、通常、複数の単レンズや絞り機構を備えているが、図１では、１枚の単レンズとして描いている。
【００１５】
イメージセンサ２００は、カラーフィルタ２１０と、撮像面２０２側に複数のセンサ素子が設けられた撮像素子２２０とを備えている。カラーフィルタ２１０には、撮像素子２２０に設けられた複数のセンサ素子に対応して、ＲＧＢの原色フィルタが複数形成されている。カラーフィルタ２１０が有するＲＧＢ各色の原色フィルタは、市松模様状（「Ｂａｙｅｒ配列」と呼ばれる）に配置されている。撮像面２０２上に形成された被写体の像は、原色フィルタによりＲＧＢの３色の色光に分解される。そして、分解された色光が、撮像素子２２０に設けられたセンサ素子に入射する。
【００１６】
撮像素子２２０の各センサ素子は、そのセンサ素子に入射した光量に応じて、電荷を生成し蓄積する。各センサ素子に蓄積された電荷量を表す電気信号（画像信号）は、図示しない増幅器により増幅される。増幅された画像信号は、Ａ−Ｄ変換器（図示しない）によりデジタルデータに変換され、画像データＢＤ１が生成される。ビデオカメラ１０においては、１画面（フレーム）分の画像データＢＤ１が周期的に生成される。
【００１７】
上述のように、各センサ素子へは、Ｂａｙｅｒ配列のカラーフィルタ２１０により分解された色光が入射する。そのため、撮像素子２２０により生成される画像データＢＤ１は、個々のセンサ素子に対応する画素が、ＲＧＢのいずれか１色のみの色成分値を有するデータ（Ｂａｙｅｒデータ）となっている。なお、撮像素子２２０としては、例えば、増幅器とＡ−Ｄ変換器が組み込まれたＣＭＯＳイメージセンサや、増幅器とＡ−Ｄ変換器（併せて、「アナログフロントエンド」と呼ばれる）が取り付けられたＣＣＤイメージセンサを使用することができる。
【００１８】
撮像素子２２０により生成された画像データＢＤ１は、前処理部３００に供給される。前処理部３００は、撮像素子２２０から供給された画像データＢＤ１にクランプ処理やホワイトバランス調整処理等の処理を施すことにより、画像データＢＤ２を生成する。前処理部３００における処理においては、ＲＧＢのそれぞれの色成分値に対して別個に処理が施される。そのため、前処理部３００において生成される画像データＢＤ２も、Ｂａｙｅｒデータとなっている。
【００１９】
前処理部３００により生成された画像データＢＤ２は、ノイズ低減部４００に供給される。ノイズ低減部４００は、前処理部３００から供給される画像データＢＤ２にノイズ低減処理を施すことにより、画像データＢＤ３を生成する。ノイズ低減部４００においても、ＲＧＢのそれぞれの色成分値に対して別個にノイズ低減処理が施される。そのため、ノイズ低減部４００により生成される画像データＢＤ３も、Ｂａｙｅｒデータとなっている。なお、ノイズ低減部４００の具体的な構成および機能については、後述する。
【００２０】
ノイズ低減部４００により生成された画像データＢＤ３は、後処理部５００に供給される。後処理部５００は、補間処理を行うための補間処理部５１０を備えている。補間処理部５１０は、画像データＢＤ３の各画素に欠落している色成分値を生成する。具体的には、画像データＢＤ３の各画素毎に、その画素に欠落している色成分値を周囲の画素の色成分値から補間・生成する。これにより、補間処理が施された画像データは、各画素がＲＧＢの３色の色成分値を有する画像データとなる。後処理部５００は、補間処理が施された画像データに対して、色調整処理（コントラスト調整処理、色補正処理）等の処理を施して画像データＩＭＧを生成する。なお、色調整処理の内容は、本発明に影響しないので、ここではその説明を省略する。
【００２１】
後処理部５００により生成された画像データＩＭＧは、ビデオ信号生成部６００に供給される。ビデオ信号生成部６００は、後処理部５００から供給される画像データＩＭＧから、モニタ装置が受け取り可能な所定の形式のビデオ信号ＶＳＧを生成する。生成されたビデオ信号ＶＳＧがビデオカメラ１０に接続されたモニタ装置に供給されることにより、モニタ装置には被写体の画像が表示される。
【００２２】
図２は、第１実施例におけるノイズ低減部４００の機能的な構成を示すブロック図である。ノイズ低減部４００は、フレーム蓄積部４１０と、画像混合部４２０と、空間平滑化フィルタ４３０と、を備えている。
【００２３】
フレーム蓄積部４１０は、動き検出部４１２と、フレームメモリ４１４とを有している。フレームメモリ４１４は、画像データＢＤ２の１フレーム分の画像（フレーム画像）をそれぞれ格納する２つの格納エリアを有している。ノイズ低減部４００に入力されるフレーム画像Ｆ１は、フレーム毎に、フレームメモリ４１４の２つの格納エリアに交互に書き込まれる。そして、フレームメモリ４１４に格納された直前のフレーム画像Ｆ０は、２つの格納エリアのうちフレーム画像Ｆ１が書き込みが行われていない格納エリアから読み出される。
【００２４】
なお、フレームメモリ４１４にフレーム画像を格納する２つの格納エリアを設け、読み出しと書き込みとを互いに異なるエリアに対して交互に行うことにより、ノイズ低減部４００が生成する画像データＢＤ３の１秒あたりのフレーム数（フレームレート）を、ノイズ低減部４００に供給される画像データＢＤ２のフレームレートと異なるものとすることができる。フレームレートを変換する必要がない場合は、フレームメモリ４１４は、１つのフレーム画像を格納できればよい。
【００２５】
動き検出部４１２は、画像データＢＤ２の各画素について、被写体中で動きがある部分に相当する画像領域（動領域）の画素であるか、被写体中で動きがない部分に相当する画像領域（静領域）の画素であるかを判断する。そして、各画素が、動領域に属する画素（動領域画素）と、静領域に属する画素（静領域画素）とのいずれであるかの判断結果を表す動き検出結果ＭＤを画像混合部４２０に供給する。
【００２６】
具体的には、動き検出部４１２は、判定対象となる画素（対象画素）について、フレームメモリ４１４に書き込まれるフレーム画像Ｆ１での色成分値（以下、「画素値」とも呼ぶ）と、フレームメモリ４１４から読み出されるフレーム画像Ｆ０での色成分値の差分Δを算出する。差分Δは、例えば、２つのフレーム画像Ｆ１，Ｆ０のそれぞれの対象画素の画素値ｐ１，ｐ０を用いて、以下の式（１）で算出することができる。
【００２７】
Δ＝｜ｐ１−ｐ０｜ …（１）
【００２８】
ここで、式（１）の右辺は、フレーム画像Ｆ１の画素値ｐ１から、フレーム画像Ｆ０の画素値ｐ０を引いた差の絶対値を表している。
【００２９】
動領域画素の画素値は、通常、被写体中での動きに伴って時間とともに変動するので、２つのフレーム画像Ｆ１，Ｆ０間の画素値の差分Δは大きくなる。これに対し、静領域画素の画素値は、通常、時間的変動が小さいため、２つのフレーム画像Ｆ１，Ｆ０間の画素値の差分Δは小さくなる。そこで、動き検出部４１２は、上記の式（１）で算出した差分Δと予め設定された閾値Δｃと比較し、差分Δが閾値Δｃよりも大きい（Δ＞Δｃ）場合、対象画素が動領域画素であると判断する。一方、差分Δが閾値Δｃ以下である（Δ≦Δｃ）場合、対象画素が静領域画素であると判断する。なお、閾値Δｃは、動領域画素の画素値の変動幅と、静領域画素の画素値の変動幅と、を実験的に求め、得られた変動幅に基づいて決定することができる。例えば、画素値が８ビットの数値（０〜２５５）で表される場合には、閾値Δｃは１５０に設定される。
【００３０】
フレームメモリ４１４から読み出されたフレーム画像Ｆ０は、直接、あるいは、空間平滑化フィルタ４３０を介して、画像混合部４２０に供給される。空間平滑化フィルタ４３０は、フレーム画像Ｆ０に空間平滑化処理を施して、フレーム画像Ｆ０’を生成する。フレーム画像Ｆ０の平滑化は、例えば、フレーム画像Ｆ０にガウシアンフィルタやメディアンフィルタ等の空間平滑化フィルタをかけることにより行うことができる。平滑化を施すことにより、空間周波数におけるフレーム画像Ｆ０の高周波成分が低減され、平滑化されたフレーム画像Ｆ０’の空間周波数成分は低周波成分が相対的に高くなる。そのため、空間平滑化フィルタ４３０は、「空間ローパスフィルタ（空間ＬＰＦ）」とも呼ばれる。
【００３１】
画像混合部４２０は、混合比率決定部４２２と、混合処理部４２４と、を備えている。混合比率決定部４２２は、動き検出部４１２から供給される動き検出結果ＭＤに基づいて、混合処理部４２４において混合される２つの画像の混合比率Ａ（０≦Ａ≦１）を決定する。なお、動き検出結果ＭＤに基づく混合比率Ａの決定方法については、後述する。
【００３２】
混合処理部４２４は、フレームメモリ４１４から直接供給されるフレーム画像Ｆ０と、空間平滑化フィルタ４３０により平滑化されたフレーム画像Ｆ０’と、を混合比率決定部４２２で決定された混合比率Ａに基づいて画素毎に混合する。具体的には、２つのフレーム画像Ｆ０，Ｆ０’の画素値ｐ，ｐ’から、出力する画像データＢＤ３の画素値ｑを次の式（２）に基づいて算出する。
【００３３】
ｑ＝Ａ×ｐ＋（１−Ａ）×ｐ’ …（２）
【００３４】
上記の式（２）から明らかなように、混合比率Ａが０に近づくに従って、画像データＢＤ３の画素値ｑのうち、平滑化されたフレーム画像Ｆ０’の画素値ｐ’が占める割合が大きくなる。一方、混合比率Ａが１に近づくに従って、画像データＢＤ３の画素値ｑのうち、平滑化されていないフレーム画像Ｆ０の画素値ｐが占める割合が大きくなる。このように、混合比率Ａを変化させることにより、出力される画像データＢＤ３における平滑化の度合を変化させることができる。
【００３５】
混合比率決定部４２２は、動き検出部４１２から供給される動き検出結果ＭＤに基づいて、動領域画素については平滑化の度合いを下げ、静領域画素については平滑化の度合を高めるように、混合比率Ａを決定する。混合比率決定部４２２は、例えば、以下のように混合比率Ａを決定する。
（ａ）動領域画素については、混合比率Ａ＝２７／３２（約０．８４）
（ｂ）静領域画素については、混合比率Ａ＝１６／３２（０．５）
【００３６】
このように、混合比率決定部４２２は、動領域画素に対しては、混合比率Ａを大きな値に設定する。一方、静領域画素に対しては、混合比率Ａを小さい値に設定する。そのため、ノイズ低減部４００が出力する画像データＢＤ３のうち、動領域では空間平滑化の度合いが低くなり、静領域では空間平滑化の度合が高くなる。以上の説明から明らかなように、空間平滑化フィルタ４３０と画像混合部４２０とにより構成される空間平滑化処理部は、画素毎に空間平滑化の度合を設定することができる。
【００３７】
一般に、空間平滑化を行うことにより、被写体の画像にはぼけが生じる。そのため、画質に対するノイズの影響が少ない場合には、空間平滑化の度合を少なくすることが好ましい。通常、被写体中で動きがある部分の画像は、ノイズが目立ちにくい。そのため、動領域に対して空間平滑化の度合を低くすることにより、ぼけによる動領域の画質が低下することを抑制することができる。これに対し、被写体中で動きのない部分の画像は、ノイズが目立ちやすい。そのため、静領域に対して空間平滑化の度合いを高くすることにより、ノイズによる静領域の画質の低下を抑制することができる。
【００３８】
このように、第１実施例によれば、ノイズが目立ちにくい動領域に対しては空間平滑化の度合を低くして、動領域の画像のぼけが抑制される。一方、ノイズが目立ちやすい静領域に対しては空間平滑化の度合いを高くすることにより、静領域のノイズをより低減する。これにより、画像全体に対するノイズの影響を低減するとともに、動きがある部分のぼけによる画質の低下を抑制することができる。
【００３９】
なお、第１実施例では、画素毎に空間平滑化の度合を設定するため、画素毎に２つのフレーム画像Ｆ０，Ｆ０’の混合比率Ａを決定しているが、空間平滑化の度合の設定は他の方法により行うこともできる。例えば、動き検出部４１２からの動き検出結果ＭＤに基づいて、空間平滑化フィルタ４３０における平滑化パラメータを画素毎に設定することも可能である。この場合、画像混合部４２０を省略することもできる。但し、空間平滑化フィルタ４３０の構成がより簡単になる点で、第１実施例のように、空間平滑化が施されていない非平滑フレーム画像Ｆ０と、空間平滑化が施された平滑フレーム画像Ｆ０’と、の混合比率Ａを設定することにより空間平滑化の度合を設定するのが好ましい。
【００４０】
Ｂ．第２実施例：
図３は、第２実施例におけるノイズ低減部４００ａの機能的な構成を示すブロック図である。第２実施例は、ノイズ低減部４００ａの構成が第１実施例のノイズ低減部４００（図２）と異なっている点で、第１実施例と異なっている。他の点は、第１実施例と同じである。
【００４１】
第２実施例のノイズ低減部４００ａは、画像重畳部４４０と、フレーム蓄積部４１０ａと、を備えている。フレーム蓄積部４１０ａは、フレームメモリ４１４が重畳フレームメモリ４１６に置き換えられている点で、第１実施例のフレーム蓄積部４１０（図２）と異なっている。他の点は、第１実施例のフレーム蓄積部４１０と同じである。
【００４２】
重畳フレームメモリ４１６は、書き込まれるフレーム画像が画像重畳部４４０から供給されるフレーム画像Ｇ１に変更されている点と、書き込まれるフレーム画像の変更に伴って読み出される直前のフレーム画像Ｇ０に変更されている点とで、第１実施例のフレームメモリ４１４（図２）と異なっている。ただし、重畳フレームメモリ４１６の構成および動作は、第１実施例のフレームメモリ４１４と同じであるので、ここではその説明を省略する。
【００４３】
画像重畳部４４０は、重畳比率決定部４４２と重畳処理部４４４とを備えている。重畳比率決定部４４２は、動き検出部４１２から供給される動き検出結果ＭＤに基づいて、重畳処理部４４４における処理に使用される重畳比率Ｂ（０≦Ｂ≦１）を決定する。なお、動き検出結果ＭＤに基づく重畳比率Ｂの決定方法については、後述する。
【００４４】
重畳処理部４４４は、ノイズ低減部４００ａに供給されたフレーム画像Ｆ１と、重畳フレームメモリ４１６から読み出されたフレーム画像Ｇ０と、を重畳比率決定部４４２により決定された重畳比率Ｂに基づいて画素毎に混合して、フレーム画像Ｇ１を生成する。具体的には、２つのフレーム画像Ｆ１，Ｇ０の画素値ｐ，ｒから、フレーム画像Ｇ１の画素値ｓを次の式（３）に基づいて算出する。
【００４５】
ｓ＝（１−Ｂ）×ｐ＋Ｂ×ｒ …（３）
【００４６】
生成されたフレーム画像Ｇ１は、重畳フレームメモリ４１６に供給され、重畳フレームメモリ４１６に書き込まれる。そして、重畳フレームメモリ４１６に格納された直前のフレーム画像Ｇ０が読み出され、画像重畳部４４０においてフレーム画像Ｆ１と混合される。
【００４７】
図４（ａ）および図４（ｂ）は、重畳フレームメモリ４１６に格納されるフレーム画像Ｇ０の画素値に対して、ノイズ低減部４００ａに順次入力されるフレーム画像Ｆ１の画素値が反映される割合（フレーム比率）の時間的変化を示す説明図である。図４（ａ）は、重畳比率Ｂが１６／３２（＝０．５）の場合におけるフレーム比率の時間変化を示しており、図４（ｂ）は、重畳比率Ｂが５／３２（≒０．１６）の場合におけるフレーム比率の時間変化を示している。
【００４８】
ビデオカメラ１０の起動直後（第１フレーム）では、ノイズ低減部４００ａに入力されたフレーム画像（＃１）がそのまま重畳フレームメモリ４１６に格納される。そして、次の第２フレームにおいて、第１フレームで入力されたフレーム画像（＃１）と第２フレームで入力されたフレーム画像（＃２）とが、重畳比率Ｂに従って混合され、混合された画像が重畳フレームメモリ４１６に格納される。そのため、図４（ａ）の例では、２つのフレーム画像（＃１，＃２）のフレーム比率はいずれも５０％となる。一方、図４（ｂ）の例では、第２フレームで入力されたフレーム画像（＃２）のフレーム比率が約８４％、第１フレームで入力されたフレーム画像のフレーム比率が約１６％となり、フレーム画像（＃１）の影響が図４（ａ）の場合と比べて低くなる。
【００４９】
同様に、次の第３フレームにおいて、図４（ａ）の例では、２つのフレーム画像（＃１，＃２）のフレーム比率はいずれも２５％となり、第３フレームで入力されたフレーム画像（＃３）のフレーム比率が５０％となる。これに対して、図４（ｂ）の例では、第１フレームで入力されたフレーム画像（＃１）のフレーム比率は約２％にまで低下する。
【００５０】
このように、重畳比率Ｂがより高い図４（ａ）の例では、先のフレーム画像の画素値がより長い期間反映される。そのため、重畳フレームメモリ４１６（図３）に格納されたフレーム画像Ｇ０は、より長い時間にわたって平均化されるので、ノイズ低減部４００ａから出力されるフレーム画像Ｇ０のノイズの低減の度合いが高くなる。その一方、動領域画素においては、先のフレーム画像の画素値がより長い期間反映されるため、ノイズ低減部４００ａから出力されるフレーム画像Ｇ０の動領域には残像が発生する。これに対し、重畳比率Ｂがより低い図４（ｂ）の例では、先のフレーム画像の画素値が反映される期間が短くなることにより、フレーム画像Ｇ０のノイズの低減度合いが低くなる一方、フレーム画像Ｇ０に残像が発生することを抑制することができる。
【００５１】
図４（ａ）および図４（ｂ）から解るように、ノイズ低減部４００ａ（図３）に入力されたフレーム画像Ｆ１と、重畳フレームメモリ４１６に格納された前のフレーム画像Ｇ０と、を混合して重畳フレーム画像Ｇ１を生成し、生成されたフレーム画像Ｇ１を重畳フレームメモリ４１６に格納する処理によれば、画素値は時間的に平滑化される。このように、時間的平滑化を行うフィルタは、「巡回型フィルタ」あるいは「ＩＩＲフィルタ」とも呼ばれる。従って、重畳処理部４４４と重畳フレームメモリ４１６とは、併せて巡回型フィルタを構成しているといえる。また、重畳比率Ｂは、巡回型フィルタにおける時間的平滑化の度合を指定するパラメータともいうことができる。
【００５２】
重畳比率決定部４４２は、動き検出部４１２から供給される動き検出結果ＭＤに基づいて、動領域については残像の発生を抑制し、残像が発生しない静領域についてはノイズをより低減するように重畳比率Ｂを決定する。重畳比率決定部は、例えば、以下のように重畳比率Ｂを決定する。
（ａ）動領域画素については、Ｂ＝５／３２（約０．１６）
（ｂ）静領域画素については、Ｂ＝１６／３２（０．５）
【００５３】
このように、重畳比率決定部４４２は、動領域画素に対しては、重畳比率Ｂを小さな値に設定する。一方、静領域画素に対しては、重畳比率Ｂを大きい値に設定する。そのため、ノイズ低減部４００ａが出力する画像データＢＤ３のうち、動領域では残像の発生が抑制されるとともに、静領域ではノイズが良好に低減される。
【００５４】
なお、第２実施例は、フレーム画像の時間平滑化によりノイズを低減しているため、空間平滑化処理によるぼけの発生を抑制できる点で、第１実施例よりも好ましい。一方、第１実施例は、フレーム画像の時間平滑化による残像の発生を抑制できる点で第２実施例よりも好ましい。
【００５５】
Ｃ．第３実施例：
図５は、第３実施例におけるノイズ低減部４００ｂの機能的な構成を示すブロック図である。第３実施例は、ノイズ低減部４００ｂの構成が第２実施例のノイズ低減部４００ａ（図３）と異なっている点で、第２実施例と異なっている。他の点は、第２実施例と同じである。
【００５６】
第３実施例のノイズ低減部４００ｂは、タイミング調整部４５０と空間平滑化フィルタ４３０と画像混合部４２０ｂとが付加されている点と、フレーム蓄積部４１０ｂに非重畳フレームメモリ４１８が付加されている点とで、図３に示す第２実施例のノイズ低減部４００ａと異なっている。他の点は、第２実施例のノイズ低減部４００ａと同じである。
【００５７】
空間平滑化フィルタ４３０および画像混合部４２０ｂの混合処理部４２４は、それぞれ、第１実施例のノイズ低減部４００に設けられた、空間平滑化フィルタ４３０および混合処理部４２４と同じである。画像混合部４２０ｂの混合比率決定部４２２ｂは、混合比率Ａの決定方法（後述する）が異なっている点で、第１実施例の混合比率決定部４２２と異なっている。
【００５８】
第３実施例のノイズ低減部４００ｂでは、入力されるフレーム画像Ｆ１は、画像重畳部４４０とタイミング調整部４５０との双方に供給される。画像重畳部４４０に供給されたフレーム画像Ｆ１は、第２実施例と同様に時間平滑化が施されることによりノイズが低減される。そして、重畳フレームメモリ４１６から出力されるフレーム画像Ｇ０は、混合処理部４２４に直接供給される。
【００５９】
一方、タイミング調整部４５０は、フレーム画像Ｆ１に、重畳処理部４４４による２つのフレーム画像Ｆ１，Ｇ０の混合処理に要する処理時間分の遅延をかけ、遅延されたフレーム画像Ｆ１’を生成する。遅延フレーム画像Ｆ１’は、非重畳フレームメモリ４１８に格納される。非重畳フレームメモリ４１８に格納された前フレーム画像Ｆ０は、重畳フレームメモリ４１６がフレーム画像Ｇ０を出力するタイミングに同期して、空間平滑化フィルタ４３０に供給される。空間平滑化フィルタ４３０により空間的に平滑化されたフレーム画像Ｆ０’は、混合処理部４２４に供給される。
【００６０】
混合処理部４２４は、重畳フレームメモリ４１６から供給される時間的に平滑化されたフレーム画像Ｇ０と、空間平滑化フィルタにより空間的に平滑化されたフレーム画像Ｆ０’とを混合する。
【００６１】
混合比率決定部４２２ｂは、重畳比率Ｂが低い動領域画素については、空間的に平滑化されたフレーム画像Ｆ０’の画素値を、時間的に平滑化されたフレーム画像Ｇ０の画素値よりも高い割合で反映するように混合比率Ａを決定する。一方、重畳比率が低い静領域画素については、時間的に平滑化されたフレーム画像Ｇ０の画素値を、空間的に平滑化されたフレーム画像Ｆ０’の画素値よりも高い割合で反映するように混合比率Ａを決定する。混合比率決定部４２２ｂは、具体的には、以下のように混合比率Ａを決定する。
（ａ）動領域画素については、混合比率Ａ＝１６／３２（０．５）
（ｂ）静領域画素については、混合比率Ａ＝２７／３２（約０．８４）
【００６２】
このように、動領域画素に対して、重畳比率Ｂがより小さな値に設定されることにより、ノイズ低減部４００ｂが出力する画像データＢＤ３の動領域では残像の発生が抑制される。また、動領域画素に対して、混合比率Ａがより小さな値に設定されることにより、空間的に平滑化されたフレーム画像Ｆ０’の画素値がより強く反映されるので、動領域画素のノイズが空間平滑化により低減される。
【００６３】
一方、静領域画素に対しては、混合比率Ａがより大きな値に設定されることにより、ノイズ低減部４００ｂが出力する画像データＢＤ３の静領域では、時間的に平滑化されたフレーム画像Ｇ０の画素値がより強く反映される。そのため、静領域においては、空間平滑化の度合いが低減するので、静領域の画像のぼけが抑制される。そして、静領域画素に対して、重畳比率Ｂがより大きな値に設定されることにより、残像の問題が少ない静領域のノイズは時間的平滑化により良好に低減される。
【００６４】
このように、第３実施例によれば、動領域画素に対して混合比率Ａと重畳比率Ｂとをいずれもより小さな値に設定することにより、残像の発生を抑制するとともにノイズが良好に低減される。一方、静領域画素に対して、混合比率Ａと重畳比率Ｂとをいずれもより大きな値に設定する、空間平滑化に伴うぼけの発生を抑制することができる。そのため、第３実施例によれば、残像の発生を抑制するとともに、画像全体のノイズを低減することができる。
【００６５】
なお、第３実施例では、重畳比率決定部４４２が、動き検出部４１２から供給される動き検出結果ＭＤに基づいて重畳比率Ｂを決定しているが、重畳比率決定部４４２を省略することも可能である。このようにしても、混合処理部４２４における混合比率Ａをより小さい値に設定して、空間平滑化されたフレーム画像Ｆ０’の画素値をより強く反映させることにより、残像の発生を抑制することができる。但し、重畳比率Ｂを低減することによりより残像の発生をより良好に抑制することができる点で、重畳比率Ｂを動き検出結果ＭＤに基づいて決定するのがより好ましい。
【００６６】
第３実施例は、ノイズ低減部４００ｂにおいて、静領域と動領域とのいずれの領域におけるノイズも低減することで、画像全体のノイズが低減できるる点で、第１および第２実施例よりも好ましい。一方、第１および第２実施例は、ノイズ低減部４００（図２），４００ａ（図３）の構成がより簡単となる点で、第３実施例よりも好ましい。
【００６７】
Ｄ．変形例：
なお、この発明は上記実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【００６８】
Ｄ１．変形例１：
上記各実施例では、ノイズ低減部４００（図１）は、補間処理部５１０を有する後処理部５００の前に配置され、ノイズ低減処理は補間処理前のＢａｙｅｒデータに対して施されるが、ノイズ低減処理を補間処理後のデータに対して施すものとしてもよい。但し、ＲＧＢのいずれか１色の色成分値毎にノイズ低減処理を施すことによりノイズ低減処理に要する演算処理量を低減することができる点で、ノイズ低減処理をＢａｙｅｒデータに対して施すことがより好ましい。
【００６９】
Ｄ２．変形例２：
上記第２ないし第３実施例では、時間的な平滑化処理は巡回型フィルタによって行われているが、一般に、複数のフレーム画像を用いて時間的に平滑化されたフレーム画像が生成可能であれば、任意の時間的平滑化処理方法を用いることができる。時間的な平滑化処理は、例えば、非巡回型フィルタを用いて行うことも可能である。但し、フレーム画像を格納するフレームメモリの容量をより低減することができる点で、巡回型フィルタを用いて時間的平滑化処理を行うのが好ましい。
【００７０】
Ｄ３．変形例３：
上記各実施例では、動き検出部は、フレームメモリに格納されたフレーム画像の画素値と、フレームメモリに入力されるフレーム画像の画素値との差分に基づいて、各画素が動領域と静領域とのいずれに属するかを決定しているが、他の方法により各画素が動領域と静領域とのいずれに属するかを決定することも可能である。例えば、フレーム画像を複数のブロックに分割し、ブロック毎にその変化を検出することも可能である。また、複数のフレーム画像から移動体の位置と動きベクトルを検出し、移動体の位置と動きベクトルとに基づいて各画素が動領域と静領域とのいずれに属するかを決定することも可能である。
【００７１】
Ｄ４．変形例４：
上記各実施例では、本発明をビデオカメラに適用しているが、本発明は動画像の入出力を行う装置であれば任意の装置に適用することができる。本発明は、例えば、ビデオレコーダやビデオディスク等の動画記録装置および動画再生装置、テレビやプロジェクタ等の動画表示装置に適用することも可能である。
【図面の簡単な説明】
【００７２】
【図１】本発明の一実施例としてのビデオカメラ１０の概略構成を示す概略構成図。
【図２】第１実施例におけるノイズ低減部４００の機能的な構成を示すブロック図。
【図３】第２実施例におけるノイズ低減部４００ａの機能的な構成を示すブロック図。
【図４】フレーム比率の時間的変化を示す説明図。
【図５】第３実施例におけるノイズ低減部４００ｂの機能的な構成を示すブロック図。
【符号の説明】
【００７３】
１０…ビデオカメラ
１００…撮像レンズ
２００…イメージセンサ
２０２…撮像面
２１０…カラーフィルタ
２２０…撮像素子
３００…前処理部
４００，４００ａ，４００ｂ…ノイズ低減部
４１０，４１０ａ，４１０ｂ…フレーム蓄積部
４１２…動き検出部
４１４…フレームメモリ
４１６…重畳フレームメモリ
４１８…非重畳フレームメモリ
４２０，４２０ｂ…画像混合部
４２２，４２２ｂ…混合比率決定部
４２４…混合処理部
４３０…空間平滑化フィルタ
４４０…画像重畳部
４４２…重畳比率決定部
４４４…重畳処理部
４５０…タイミング調整部
５００…後処理部
５１０…補間処理部
６００…ビデオ信号生成部
【技術分野】
【０００１】
この発明は、動画像のノイズを低減する技術に関する。
【背景技術】
【０００２】
動画像のノイズを低減する方法として、巡回型フィルタや非巡回型フィルタを用いて動画像を時間的に平滑化する方法や、フレーム毎に画像を空間的に平滑化する方法が用いられている。動画像に時間的平滑化処理を施すと、動画像中で動きがある部分については、残像が生じる。そのため、残像の発生を抑制するためには、フレーム毎に画像に空間的平滑化を施すことが好ましい。
【０００３】
【特許文献１】特開平６−１６９９２０号公報
【特許文献２】特開平９−３２２０２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、通常、空間的平滑化を施した画像にはぼけが生じる。そのため、空間的平滑化によるノイズ低減処理を行った場合には、ぼけの発生により、ノイズ低減後の動画像の画質が低下するおそれがある。
【０００５】
本発明は、上述した従来の課題を解決するためになされたものであり、動画像のノイズ低減処理において空間的な平滑化にともなう画質の低下を抑制する技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
【０００７】
［適用例１］
動画像のノイズを低減するノイズ低減装置であって、前記動画像中で動きのある動領域と、前記動領域以外の静領域と、を検出する動き検出部と、前記動画像を構成する入力フレーム画像に空間的平滑化処理を施して空間平滑フレーム画像を生成する空間平滑化処理部と、を備え、前記空間平滑化処理部は、前記入力フレーム画像を構成する画素毎に前記空間的平滑化処理の度合を設定可能に構成されており、前記静領域に属する画素における前記空間的平滑化処理の度合は、前記動領域に属する画素における前記空間的平滑化処理の度合よりも高くなるように設定されている、ノイズ低減装置。
【０００８】
この適用例によれば、入力フレーム画像に空間的平滑化処理を施す空間平滑化処理部は、入力フレーム画像を構成する画素毎に空間的平滑化処理の度合を設定可能に構成されている。そして、静領域画素における空間的平滑化処理の度合は、動領域画素における空間的平滑化処理の度合よりも高くなるように設定される。そのため、ノイズの影響が小さい動領域については平滑化処理によるぼけの影響をより抑制することができ、ノイズの影響が大きい静領域についてはノイズをより良好に低減することができる。そのため、ぼけによる画質の低下を抑制するともに、ノイズの影響を良好に低減できるので、動画像全体の画質をより良好なものにすることができる。
【０００９】
［適用例２］
適用例１記載のノイズ低減装置であって、前記空間平滑化処理部は、前記入力フレーム画像の空間平滑化処理を実行する空間平滑化フィルタと、前記空間平滑化フィルタを通過した平滑フレーム画像と、前記空間平滑化フィルタを通過しない非平滑フレーム画像と、を混合する混合処理部と、を備え、前記混合処理部は、画素毎に前記平滑フレーム画像と前記非平滑フレーム画像との混合比率を設定可能に構成されている、ノイズ低減装置。
【００１０】
この適用例によれば、空間平滑化の度合は、空間平滑化フィルタを通過した平滑フレーム画像と、空間平滑化フィルタを通過しない非平滑フレーム画像と、の混合比率を設定することにより変更することができる。そのため、空間平滑化の度合の設定がより容易となる。
【００１１】
なお、本発明は、種々の態様で実現することが可能である。例えば、ノイズ低減装置およびノイズ低減方法、そのノイズ低減装置および方法を適用したビデオカメラ、ビデオカメラの制御装置および制御方法、それらのノイズ低減装置および方法、ビデオカメラ、ビデオカメラ制御装置および制御方法、を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の態様で実現することができる。
【発明を実施するための最良の形態】
【００１２】
次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．第１実施例：
Ｂ．第２実施例：
Ｃ．第３実施例：
Ｄ．変形例：
【００１３】
Ａ．第１実施例：
図１は、本発明の一実施例としてのビデオカメラ１０の概略構成を示す概略構成図である。ビデオカメラ１０は、撮像レンズ１００と、イメージセンサ２００と、前処理部３００と、ノイズ低減部４００と、後処理部５００と、ビデオ信号生成部６００と、を備えている。
【００１４】
撮像レンズ１００は、被写体からの光をイメージセンサ２００の撮像面２０２に集光することにより、撮像面２０２に被写体の像を形成する。なお、撮像レンズ１００は、通常、複数の単レンズや絞り機構を備えているが、図１では、１枚の単レンズとして描いている。
【００１５】
イメージセンサ２００は、カラーフィルタ２１０と、撮像面２０２側に複数のセンサ素子が設けられた撮像素子２２０とを備えている。カラーフィルタ２１０には、撮像素子２２０に設けられた複数のセンサ素子に対応して、ＲＧＢの原色フィルタが複数形成されている。カラーフィルタ２１０が有するＲＧＢ各色の原色フィルタは、市松模様状（「Ｂａｙｅｒ配列」と呼ばれる）に配置されている。撮像面２０２上に形成された被写体の像は、原色フィルタによりＲＧＢの３色の色光に分解される。そして、分解された色光が、撮像素子２２０に設けられたセンサ素子に入射する。
【００１６】
撮像素子２２０の各センサ素子は、そのセンサ素子に入射した光量に応じて、電荷を生成し蓄積する。各センサ素子に蓄積された電荷量を表す電気信号（画像信号）は、図示しない増幅器により増幅される。増幅された画像信号は、Ａ−Ｄ変換器（図示しない）によりデジタルデータに変換され、画像データＢＤ１が生成される。ビデオカメラ１０においては、１画面（フレーム）分の画像データＢＤ１が周期的に生成される。
【００１７】
上述のように、各センサ素子へは、Ｂａｙｅｒ配列のカラーフィルタ２１０により分解された色光が入射する。そのため、撮像素子２２０により生成される画像データＢＤ１は、個々のセンサ素子に対応する画素が、ＲＧＢのいずれか１色のみの色成分値を有するデータ（Ｂａｙｅｒデータ）となっている。なお、撮像素子２２０としては、例えば、増幅器とＡ−Ｄ変換器が組み込まれたＣＭＯＳイメージセンサや、増幅器とＡ−Ｄ変換器（併せて、「アナログフロントエンド」と呼ばれる）が取り付けられたＣＣＤイメージセンサを使用することができる。
【００１８】
撮像素子２２０により生成された画像データＢＤ１は、前処理部３００に供給される。前処理部３００は、撮像素子２２０から供給された画像データＢＤ１にクランプ処理やホワイトバランス調整処理等の処理を施すことにより、画像データＢＤ２を生成する。前処理部３００における処理においては、ＲＧＢのそれぞれの色成分値に対して別個に処理が施される。そのため、前処理部３００において生成される画像データＢＤ２も、Ｂａｙｅｒデータとなっている。
【００１９】
前処理部３００により生成された画像データＢＤ２は、ノイズ低減部４００に供給される。ノイズ低減部４００は、前処理部３００から供給される画像データＢＤ２にノイズ低減処理を施すことにより、画像データＢＤ３を生成する。ノイズ低減部４００においても、ＲＧＢのそれぞれの色成分値に対して別個にノイズ低減処理が施される。そのため、ノイズ低減部４００により生成される画像データＢＤ３も、Ｂａｙｅｒデータとなっている。なお、ノイズ低減部４００の具体的な構成および機能については、後述する。
【００２０】
ノイズ低減部４００により生成された画像データＢＤ３は、後処理部５００に供給される。後処理部５００は、補間処理を行うための補間処理部５１０を備えている。補間処理部５１０は、画像データＢＤ３の各画素に欠落している色成分値を生成する。具体的には、画像データＢＤ３の各画素毎に、その画素に欠落している色成分値を周囲の画素の色成分値から補間・生成する。これにより、補間処理が施された画像データは、各画素がＲＧＢの３色の色成分値を有する画像データとなる。後処理部５００は、補間処理が施された画像データに対して、色調整処理（コントラスト調整処理、色補正処理）等の処理を施して画像データＩＭＧを生成する。なお、色調整処理の内容は、本発明に影響しないので、ここではその説明を省略する。
【００２１】
後処理部５００により生成された画像データＩＭＧは、ビデオ信号生成部６００に供給される。ビデオ信号生成部６００は、後処理部５００から供給される画像データＩＭＧから、モニタ装置が受け取り可能な所定の形式のビデオ信号ＶＳＧを生成する。生成されたビデオ信号ＶＳＧがビデオカメラ１０に接続されたモニタ装置に供給されることにより、モニタ装置には被写体の画像が表示される。
【００２２】
図２は、第１実施例におけるノイズ低減部４００の機能的な構成を示すブロック図である。ノイズ低減部４００は、フレーム蓄積部４１０と、画像混合部４２０と、空間平滑化フィルタ４３０と、を備えている。
【００２３】
フレーム蓄積部４１０は、動き検出部４１２と、フレームメモリ４１４とを有している。フレームメモリ４１４は、画像データＢＤ２の１フレーム分の画像（フレーム画像）をそれぞれ格納する２つの格納エリアを有している。ノイズ低減部４００に入力されるフレーム画像Ｆ１は、フレーム毎に、フレームメモリ４１４の２つの格納エリアに交互に書き込まれる。そして、フレームメモリ４１４に格納された直前のフレーム画像Ｆ０は、２つの格納エリアのうちフレーム画像Ｆ１が書き込みが行われていない格納エリアから読み出される。
【００２４】
なお、フレームメモリ４１４にフレーム画像を格納する２つの格納エリアを設け、読み出しと書き込みとを互いに異なるエリアに対して交互に行うことにより、ノイズ低減部４００が生成する画像データＢＤ３の１秒あたりのフレーム数（フレームレート）を、ノイズ低減部４００に供給される画像データＢＤ２のフレームレートと異なるものとすることができる。フレームレートを変換する必要がない場合は、フレームメモリ４１４は、１つのフレーム画像を格納できればよい。
【００２５】
動き検出部４１２は、画像データＢＤ２の各画素について、被写体中で動きがある部分に相当する画像領域（動領域）の画素であるか、被写体中で動きがない部分に相当する画像領域（静領域）の画素であるかを判断する。そして、各画素が、動領域に属する画素（動領域画素）と、静領域に属する画素（静領域画素）とのいずれであるかの判断結果を表す動き検出結果ＭＤを画像混合部４２０に供給する。
【００２６】
具体的には、動き検出部４１２は、判定対象となる画素（対象画素）について、フレームメモリ４１４に書き込まれるフレーム画像Ｆ１での色成分値（以下、「画素値」とも呼ぶ）と、フレームメモリ４１４から読み出されるフレーム画像Ｆ０での色成分値の差分Δを算出する。差分Δは、例えば、２つのフレーム画像Ｆ１，Ｆ０のそれぞれの対象画素の画素値ｐ１，ｐ０を用いて、以下の式（１）で算出することができる。
【００２７】
Δ＝｜ｐ１−ｐ０｜ …（１）
【００２８】
ここで、式（１）の右辺は、フレーム画像Ｆ１の画素値ｐ１から、フレーム画像Ｆ０の画素値ｐ０を引いた差の絶対値を表している。
【００２９】
動領域画素の画素値は、通常、被写体中での動きに伴って時間とともに変動するので、２つのフレーム画像Ｆ１，Ｆ０間の画素値の差分Δは大きくなる。これに対し、静領域画素の画素値は、通常、時間的変動が小さいため、２つのフレーム画像Ｆ１，Ｆ０間の画素値の差分Δは小さくなる。そこで、動き検出部４１２は、上記の式（１）で算出した差分Δと予め設定された閾値Δｃと比較し、差分Δが閾値Δｃよりも大きい（Δ＞Δｃ）場合、対象画素が動領域画素であると判断する。一方、差分Δが閾値Δｃ以下である（Δ≦Δｃ）場合、対象画素が静領域画素であると判断する。なお、閾値Δｃは、動領域画素の画素値の変動幅と、静領域画素の画素値の変動幅と、を実験的に求め、得られた変動幅に基づいて決定することができる。例えば、画素値が８ビットの数値（０〜２５５）で表される場合には、閾値Δｃは１５０に設定される。
【００３０】
フレームメモリ４１４から読み出されたフレーム画像Ｆ０は、直接、あるいは、空間平滑化フィルタ４３０を介して、画像混合部４２０に供給される。空間平滑化フィルタ４３０は、フレーム画像Ｆ０に空間平滑化処理を施して、フレーム画像Ｆ０’を生成する。フレーム画像Ｆ０の平滑化は、例えば、フレーム画像Ｆ０にガウシアンフィルタやメディアンフィルタ等の空間平滑化フィルタをかけることにより行うことができる。平滑化を施すことにより、空間周波数におけるフレーム画像Ｆ０の高周波成分が低減され、平滑化されたフレーム画像Ｆ０’の空間周波数成分は低周波成分が相対的に高くなる。そのため、空間平滑化フィルタ４３０は、「空間ローパスフィルタ（空間ＬＰＦ）」とも呼ばれる。
【００３１】
画像混合部４２０は、混合比率決定部４２２と、混合処理部４２４と、を備えている。混合比率決定部４２２は、動き検出部４１２から供給される動き検出結果ＭＤに基づいて、混合処理部４２４において混合される２つの画像の混合比率Ａ（０≦Ａ≦１）を決定する。なお、動き検出結果ＭＤに基づく混合比率Ａの決定方法については、後述する。
【００３２】
混合処理部４２４は、フレームメモリ４１４から直接供給されるフレーム画像Ｆ０と、空間平滑化フィルタ４３０により平滑化されたフレーム画像Ｆ０’と、を混合比率決定部４２２で決定された混合比率Ａに基づいて画素毎に混合する。具体的には、２つのフレーム画像Ｆ０，Ｆ０’の画素値ｐ，ｐ’から、出力する画像データＢＤ３の画素値ｑを次の式（２）に基づいて算出する。
【００３３】
ｑ＝Ａ×ｐ＋（１−Ａ）×ｐ’ …（２）
【００３４】
上記の式（２）から明らかなように、混合比率Ａが０に近づくに従って、画像データＢＤ３の画素値ｑのうち、平滑化されたフレーム画像Ｆ０’の画素値ｐ’が占める割合が大きくなる。一方、混合比率Ａが１に近づくに従って、画像データＢＤ３の画素値ｑのうち、平滑化されていないフレーム画像Ｆ０の画素値ｐが占める割合が大きくなる。このように、混合比率Ａを変化させることにより、出力される画像データＢＤ３における平滑化の度合を変化させることができる。
【００３５】
混合比率決定部４２２は、動き検出部４１２から供給される動き検出結果ＭＤに基づいて、動領域画素については平滑化の度合いを下げ、静領域画素については平滑化の度合を高めるように、混合比率Ａを決定する。混合比率決定部４２２は、例えば、以下のように混合比率Ａを決定する。
（ａ）動領域画素については、混合比率Ａ＝２７／３２（約０．８４）
（ｂ）静領域画素については、混合比率Ａ＝１６／３２（０．５）
【００３６】
このように、混合比率決定部４２２は、動領域画素に対しては、混合比率Ａを大きな値に設定する。一方、静領域画素に対しては、混合比率Ａを小さい値に設定する。そのため、ノイズ低減部４００が出力する画像データＢＤ３のうち、動領域では空間平滑化の度合いが低くなり、静領域では空間平滑化の度合が高くなる。以上の説明から明らかなように、空間平滑化フィルタ４３０と画像混合部４２０とにより構成される空間平滑化処理部は、画素毎に空間平滑化の度合を設定することができる。
【００３７】
一般に、空間平滑化を行うことにより、被写体の画像にはぼけが生じる。そのため、画質に対するノイズの影響が少ない場合には、空間平滑化の度合を少なくすることが好ましい。通常、被写体中で動きがある部分の画像は、ノイズが目立ちにくい。そのため、動領域に対して空間平滑化の度合を低くすることにより、ぼけによる動領域の画質が低下することを抑制することができる。これに対し、被写体中で動きのない部分の画像は、ノイズが目立ちやすい。そのため、静領域に対して空間平滑化の度合いを高くすることにより、ノイズによる静領域の画質の低下を抑制することができる。
【００３８】
このように、第１実施例によれば、ノイズが目立ちにくい動領域に対しては空間平滑化の度合を低くして、動領域の画像のぼけが抑制される。一方、ノイズが目立ちやすい静領域に対しては空間平滑化の度合いを高くすることにより、静領域のノイズをより低減する。これにより、画像全体に対するノイズの影響を低減するとともに、動きがある部分のぼけによる画質の低下を抑制することができる。
【００３９】
なお、第１実施例では、画素毎に空間平滑化の度合を設定するため、画素毎に２つのフレーム画像Ｆ０，Ｆ０’の混合比率Ａを決定しているが、空間平滑化の度合の設定は他の方法により行うこともできる。例えば、動き検出部４１２からの動き検出結果ＭＤに基づいて、空間平滑化フィルタ４３０における平滑化パラメータを画素毎に設定することも可能である。この場合、画像混合部４２０を省略することもできる。但し、空間平滑化フィルタ４３０の構成がより簡単になる点で、第１実施例のように、空間平滑化が施されていない非平滑フレーム画像Ｆ０と、空間平滑化が施された平滑フレーム画像Ｆ０’と、の混合比率Ａを設定することにより空間平滑化の度合を設定するのが好ましい。
【００４０】
Ｂ．第２実施例：
図３は、第２実施例におけるノイズ低減部４００ａの機能的な構成を示すブロック図である。第２実施例は、ノイズ低減部４００ａの構成が第１実施例のノイズ低減部４００（図２）と異なっている点で、第１実施例と異なっている。他の点は、第１実施例と同じである。
【００４１】
第２実施例のノイズ低減部４００ａは、画像重畳部４４０と、フレーム蓄積部４１０ａと、を備えている。フレーム蓄積部４１０ａは、フレームメモリ４１４が重畳フレームメモリ４１６に置き換えられている点で、第１実施例のフレーム蓄積部４１０（図２）と異なっている。他の点は、第１実施例のフレーム蓄積部４１０と同じである。
【００４２】
重畳フレームメモリ４１６は、書き込まれるフレーム画像が画像重畳部４４０から供給されるフレーム画像Ｇ１に変更されている点と、書き込まれるフレーム画像の変更に伴って読み出される直前のフレーム画像Ｇ０に変更されている点とで、第１実施例のフレームメモリ４１４（図２）と異なっている。ただし、重畳フレームメモリ４１６の構成および動作は、第１実施例のフレームメモリ４１４と同じであるので、ここではその説明を省略する。
【００４３】
画像重畳部４４０は、重畳比率決定部４４２と重畳処理部４４４とを備えている。重畳比率決定部４４２は、動き検出部４１２から供給される動き検出結果ＭＤに基づいて、重畳処理部４４４における処理に使用される重畳比率Ｂ（０≦Ｂ≦１）を決定する。なお、動き検出結果ＭＤに基づく重畳比率Ｂの決定方法については、後述する。
【００４４】
重畳処理部４４４は、ノイズ低減部４００ａに供給されたフレーム画像Ｆ１と、重畳フレームメモリ４１６から読み出されたフレーム画像Ｇ０と、を重畳比率決定部４４２により決定された重畳比率Ｂに基づいて画素毎に混合して、フレーム画像Ｇ１を生成する。具体的には、２つのフレーム画像Ｆ１，Ｇ０の画素値ｐ，ｒから、フレーム画像Ｇ１の画素値ｓを次の式（３）に基づいて算出する。
【００４５】
ｓ＝（１−Ｂ）×ｐ＋Ｂ×ｒ …（３）
【００４６】
生成されたフレーム画像Ｇ１は、重畳フレームメモリ４１６に供給され、重畳フレームメモリ４１６に書き込まれる。そして、重畳フレームメモリ４１６に格納された直前のフレーム画像Ｇ０が読み出され、画像重畳部４４０においてフレーム画像Ｆ１と混合される。
【００４７】
図４（ａ）および図４（ｂ）は、重畳フレームメモリ４１６に格納されるフレーム画像Ｇ０の画素値に対して、ノイズ低減部４００ａに順次入力されるフレーム画像Ｆ１の画素値が反映される割合（フレーム比率）の時間的変化を示す説明図である。図４（ａ）は、重畳比率Ｂが１６／３２（＝０．５）の場合におけるフレーム比率の時間変化を示しており、図４（ｂ）は、重畳比率Ｂが５／３２（≒０．１６）の場合におけるフレーム比率の時間変化を示している。
【００４８】
ビデオカメラ１０の起動直後（第１フレーム）では、ノイズ低減部４００ａに入力されたフレーム画像（＃１）がそのまま重畳フレームメモリ４１６に格納される。そして、次の第２フレームにおいて、第１フレームで入力されたフレーム画像（＃１）と第２フレームで入力されたフレーム画像（＃２）とが、重畳比率Ｂに従って混合され、混合された画像が重畳フレームメモリ４１６に格納される。そのため、図４（ａ）の例では、２つのフレーム画像（＃１，＃２）のフレーム比率はいずれも５０％となる。一方、図４（ｂ）の例では、第２フレームで入力されたフレーム画像（＃２）のフレーム比率が約８４％、第１フレームで入力されたフレーム画像のフレーム比率が約１６％となり、フレーム画像（＃１）の影響が図４（ａ）の場合と比べて低くなる。
【００４９】
同様に、次の第３フレームにおいて、図４（ａ）の例では、２つのフレーム画像（＃１，＃２）のフレーム比率はいずれも２５％となり、第３フレームで入力されたフレーム画像（＃３）のフレーム比率が５０％となる。これに対して、図４（ｂ）の例では、第１フレームで入力されたフレーム画像（＃１）のフレーム比率は約２％にまで低下する。
【００５０】
このように、重畳比率Ｂがより高い図４（ａ）の例では、先のフレーム画像の画素値がより長い期間反映される。そのため、重畳フレームメモリ４１６（図３）に格納されたフレーム画像Ｇ０は、より長い時間にわたって平均化されるので、ノイズ低減部４００ａから出力されるフレーム画像Ｇ０のノイズの低減の度合いが高くなる。その一方、動領域画素においては、先のフレーム画像の画素値がより長い期間反映されるため、ノイズ低減部４００ａから出力されるフレーム画像Ｇ０の動領域には残像が発生する。これに対し、重畳比率Ｂがより低い図４（ｂ）の例では、先のフレーム画像の画素値が反映される期間が短くなることにより、フレーム画像Ｇ０のノイズの低減度合いが低くなる一方、フレーム画像Ｇ０に残像が発生することを抑制することができる。
【００５１】
図４（ａ）および図４（ｂ）から解るように、ノイズ低減部４００ａ（図３）に入力されたフレーム画像Ｆ１と、重畳フレームメモリ４１６に格納された前のフレーム画像Ｇ０と、を混合して重畳フレーム画像Ｇ１を生成し、生成されたフレーム画像Ｇ１を重畳フレームメモリ４１６に格納する処理によれば、画素値は時間的に平滑化される。このように、時間的平滑化を行うフィルタは、「巡回型フィルタ」あるいは「ＩＩＲフィルタ」とも呼ばれる。従って、重畳処理部４４４と重畳フレームメモリ４１６とは、併せて巡回型フィルタを構成しているといえる。また、重畳比率Ｂは、巡回型フィルタにおける時間的平滑化の度合を指定するパラメータともいうことができる。
【００５２】
重畳比率決定部４４２は、動き検出部４１２から供給される動き検出結果ＭＤに基づいて、動領域については残像の発生を抑制し、残像が発生しない静領域についてはノイズをより低減するように重畳比率Ｂを決定する。重畳比率決定部は、例えば、以下のように重畳比率Ｂを決定する。
（ａ）動領域画素については、Ｂ＝５／３２（約０．１６）
（ｂ）静領域画素については、Ｂ＝１６／３２（０．５）
【００５３】
このように、重畳比率決定部４４２は、動領域画素に対しては、重畳比率Ｂを小さな値に設定する。一方、静領域画素に対しては、重畳比率Ｂを大きい値に設定する。そのため、ノイズ低減部４００ａが出力する画像データＢＤ３のうち、動領域では残像の発生が抑制されるとともに、静領域ではノイズが良好に低減される。
【００５４】
なお、第２実施例は、フレーム画像の時間平滑化によりノイズを低減しているため、空間平滑化処理によるぼけの発生を抑制できる点で、第１実施例よりも好ましい。一方、第１実施例は、フレーム画像の時間平滑化による残像の発生を抑制できる点で第２実施例よりも好ましい。
【００５５】
Ｃ．第３実施例：
図５は、第３実施例におけるノイズ低減部４００ｂの機能的な構成を示すブロック図である。第３実施例は、ノイズ低減部４００ｂの構成が第２実施例のノイズ低減部４００ａ（図３）と異なっている点で、第２実施例と異なっている。他の点は、第２実施例と同じである。
【００５６】
第３実施例のノイズ低減部４００ｂは、タイミング調整部４５０と空間平滑化フィルタ４３０と画像混合部４２０ｂとが付加されている点と、フレーム蓄積部４１０ｂに非重畳フレームメモリ４１８が付加されている点とで、図３に示す第２実施例のノイズ低減部４００ａと異なっている。他の点は、第２実施例のノイズ低減部４００ａと同じである。
【００５７】
空間平滑化フィルタ４３０および画像混合部４２０ｂの混合処理部４２４は、それぞれ、第１実施例のノイズ低減部４００に設けられた、空間平滑化フィルタ４３０および混合処理部４２４と同じである。画像混合部４２０ｂの混合比率決定部４２２ｂは、混合比率Ａの決定方法（後述する）が異なっている点で、第１実施例の混合比率決定部４２２と異なっている。
【００５８】
第３実施例のノイズ低減部４００ｂでは、入力されるフレーム画像Ｆ１は、画像重畳部４４０とタイミング調整部４５０との双方に供給される。画像重畳部４４０に供給されたフレーム画像Ｆ１は、第２実施例と同様に時間平滑化が施されることによりノイズが低減される。そして、重畳フレームメモリ４１６から出力されるフレーム画像Ｇ０は、混合処理部４２４に直接供給される。
【００５９】
一方、タイミング調整部４５０は、フレーム画像Ｆ１に、重畳処理部４４４による２つのフレーム画像Ｆ１，Ｇ０の混合処理に要する処理時間分の遅延をかけ、遅延されたフレーム画像Ｆ１’を生成する。遅延フレーム画像Ｆ１’は、非重畳フレームメモリ４１８に格納される。非重畳フレームメモリ４１８に格納された前フレーム画像Ｆ０は、重畳フレームメモリ４１６がフレーム画像Ｇ０を出力するタイミングに同期して、空間平滑化フィルタ４３０に供給される。空間平滑化フィルタ４３０により空間的に平滑化されたフレーム画像Ｆ０’は、混合処理部４２４に供給される。
【００６０】
混合処理部４２４は、重畳フレームメモリ４１６から供給される時間的に平滑化されたフレーム画像Ｇ０と、空間平滑化フィルタにより空間的に平滑化されたフレーム画像Ｆ０’とを混合する。
【００６１】
混合比率決定部４２２ｂは、重畳比率Ｂが低い動領域画素については、空間的に平滑化されたフレーム画像Ｆ０’の画素値を、時間的に平滑化されたフレーム画像Ｇ０の画素値よりも高い割合で反映するように混合比率Ａを決定する。一方、重畳比率が低い静領域画素については、時間的に平滑化されたフレーム画像Ｇ０の画素値を、空間的に平滑化されたフレーム画像Ｆ０’の画素値よりも高い割合で反映するように混合比率Ａを決定する。混合比率決定部４２２ｂは、具体的には、以下のように混合比率Ａを決定する。
（ａ）動領域画素については、混合比率Ａ＝１６／３２（０．５）
（ｂ）静領域画素については、混合比率Ａ＝２７／３２（約０．８４）
【００６２】
このように、動領域画素に対して、重畳比率Ｂがより小さな値に設定されることにより、ノイズ低減部４００ｂが出力する画像データＢＤ３の動領域では残像の発生が抑制される。また、動領域画素に対して、混合比率Ａがより小さな値に設定されることにより、空間的に平滑化されたフレーム画像Ｆ０’の画素値がより強く反映されるので、動領域画素のノイズが空間平滑化により低減される。
【００６３】
一方、静領域画素に対しては、混合比率Ａがより大きな値に設定されることにより、ノイズ低減部４００ｂが出力する画像データＢＤ３の静領域では、時間的に平滑化されたフレーム画像Ｇ０の画素値がより強く反映される。そのため、静領域においては、空間平滑化の度合いが低減するので、静領域の画像のぼけが抑制される。そして、静領域画素に対して、重畳比率Ｂがより大きな値に設定されることにより、残像の問題が少ない静領域のノイズは時間的平滑化により良好に低減される。
【００６４】
このように、第３実施例によれば、動領域画素に対して混合比率Ａと重畳比率Ｂとをいずれもより小さな値に設定することにより、残像の発生を抑制するとともにノイズが良好に低減される。一方、静領域画素に対して、混合比率Ａと重畳比率Ｂとをいずれもより大きな値に設定する、空間平滑化に伴うぼけの発生を抑制することができる。そのため、第３実施例によれば、残像の発生を抑制するとともに、画像全体のノイズを低減することができる。
【００６５】
なお、第３実施例では、重畳比率決定部４４２が、動き検出部４１２から供給される動き検出結果ＭＤに基づいて重畳比率Ｂを決定しているが、重畳比率決定部４４２を省略することも可能である。このようにしても、混合処理部４２４における混合比率Ａをより小さい値に設定して、空間平滑化されたフレーム画像Ｆ０’の画素値をより強く反映させることにより、残像の発生を抑制することができる。但し、重畳比率Ｂを低減することによりより残像の発生をより良好に抑制することができる点で、重畳比率Ｂを動き検出結果ＭＤに基づいて決定するのがより好ましい。
【００６６】
第３実施例は、ノイズ低減部４００ｂにおいて、静領域と動領域とのいずれの領域におけるノイズも低減することで、画像全体のノイズが低減できるる点で、第１および第２実施例よりも好ましい。一方、第１および第２実施例は、ノイズ低減部４００（図２），４００ａ（図３）の構成がより簡単となる点で、第３実施例よりも好ましい。
【００６７】
Ｄ．変形例：
なお、この発明は上記実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【００６８】
Ｄ１．変形例１：
上記各実施例では、ノイズ低減部４００（図１）は、補間処理部５１０を有する後処理部５００の前に配置され、ノイズ低減処理は補間処理前のＢａｙｅｒデータに対して施されるが、ノイズ低減処理を補間処理後のデータに対して施すものとしてもよい。但し、ＲＧＢのいずれか１色の色成分値毎にノイズ低減処理を施すことによりノイズ低減処理に要する演算処理量を低減することができる点で、ノイズ低減処理をＢａｙｅｒデータに対して施すことがより好ましい。
【００６９】
Ｄ２．変形例２：
上記第２ないし第３実施例では、時間的な平滑化処理は巡回型フィルタによって行われているが、一般に、複数のフレーム画像を用いて時間的に平滑化されたフレーム画像が生成可能であれば、任意の時間的平滑化処理方法を用いることができる。時間的な平滑化処理は、例えば、非巡回型フィルタを用いて行うことも可能である。但し、フレーム画像を格納するフレームメモリの容量をより低減することができる点で、巡回型フィルタを用いて時間的平滑化処理を行うのが好ましい。
【００７０】
Ｄ３．変形例３：
上記各実施例では、動き検出部は、フレームメモリに格納されたフレーム画像の画素値と、フレームメモリに入力されるフレーム画像の画素値との差分に基づいて、各画素が動領域と静領域とのいずれに属するかを決定しているが、他の方法により各画素が動領域と静領域とのいずれに属するかを決定することも可能である。例えば、フレーム画像を複数のブロックに分割し、ブロック毎にその変化を検出することも可能である。また、複数のフレーム画像から移動体の位置と動きベクトルを検出し、移動体の位置と動きベクトルとに基づいて各画素が動領域と静領域とのいずれに属するかを決定することも可能である。
【００７１】
Ｄ４．変形例４：
上記各実施例では、本発明をビデオカメラに適用しているが、本発明は動画像の入出力を行う装置であれば任意の装置に適用することができる。本発明は、例えば、ビデオレコーダやビデオディスク等の動画記録装置および動画再生装置、テレビやプロジェクタ等の動画表示装置に適用することも可能である。
【図面の簡単な説明】
【００７２】
【図１】本発明の一実施例としてのビデオカメラ１０の概略構成を示す概略構成図。
【図２】第１実施例におけるノイズ低減部４００の機能的な構成を示すブロック図。
【図３】第２実施例におけるノイズ低減部４００ａの機能的な構成を示すブロック図。
【図４】フレーム比率の時間的変化を示す説明図。
【図５】第３実施例におけるノイズ低減部４００ｂの機能的な構成を示すブロック図。
【符号の説明】
【００７３】
１０…ビデオカメラ
１００…撮像レンズ
２００…イメージセンサ
２０２…撮像面
２１０…カラーフィルタ
２２０…撮像素子
３００…前処理部
４００，４００ａ，４００ｂ…ノイズ低減部
４１０，４１０ａ，４１０ｂ…フレーム蓄積部
４１２…動き検出部
４１４…フレームメモリ
４１６…重畳フレームメモリ
４１８…非重畳フレームメモリ
４２０，４２０ｂ…画像混合部
４２２，４２２ｂ…混合比率決定部
４２４…混合処理部
４３０…空間平滑化フィルタ
４４０…画像重畳部
４４２…重畳比率決定部
４４４…重畳処理部
４５０…タイミング調整部
５００…後処理部
５１０…補間処理部
６００…ビデオ信号生成部
【特許請求の範囲】
【請求項１】
動画像のノイズを低減するノイズ低減装置であって、
前記動画像中で動きのある動領域と、前記動領域以外の静領域と、を検出する動き検出部と、
前記動画像を構成する入力フレーム画像に空間的平滑化処理を施して空間平滑フレーム画像を生成する空間平滑化処理部と、
を備え、
前記空間平滑化処理部は、前記入力フレーム画像を構成する画素毎に前記空間的平滑化処理の度合を設定可能に構成されており、
前記静領域に属する画素における前記空間的平滑化処理の度合は、前記動領域に属する画素における前記空間的平滑化処理の度合よりも高くなるように設定されている、
ノイズ低減装置。
【請求項２】
請求項１記載のノイズ低減装置であって、
前記空間平滑化処理部は、
前記入力フレーム画像の空間平滑化処理を実行する空間平滑化フィルタと、
前記空間平滑化フィルタを通過した平滑フレーム画像と、前記空間平滑化フィルタを通過しない非平滑フレーム画像と、を混合する混合処理部と、
を備え、
前記混合処理部は、画素毎に前記平滑フレーム画像と前記非平滑フレーム画像との混合比率を設定可能に構成されている、
ノイズ低減装置。
【請求項３】
動画像のノイズを低減するノイズ低減方法であって、
（ａ）前記動画像中で動きのある動領域と、前記動領域以外の静領域と、を検出する工程と、
（ｂ）前記入力フレーム画像を構成する画素毎に設定された空間的平滑化処理の度合に応じて、前記入力フレーム画像に空間的平滑化処理を施して空間平滑フレーム画像を生成する工程と、
（ｃ）前記静領域に属する画素における前記空間的平滑化処理の度合を、前記動領域に属する画素における前記空間的平滑化処理の度合よりも高くなるように設定する工程と、
を備える、
ノイズ低減方法。
【請求項１】
動画像のノイズを低減するノイズ低減装置であって、
前記動画像中で動きのある動領域と、前記動領域以外の静領域と、を検出する動き検出部と、
前記動画像を構成する入力フレーム画像に空間的平滑化処理を施して空間平滑フレーム画像を生成する空間平滑化処理部と、
を備え、
前記空間平滑化処理部は、前記入力フレーム画像を構成する画素毎に前記空間的平滑化処理の度合を設定可能に構成されており、
前記静領域に属する画素における前記空間的平滑化処理の度合は、前記動領域に属する画素における前記空間的平滑化処理の度合よりも高くなるように設定されている、
ノイズ低減装置。
【請求項２】
請求項１記載のノイズ低減装置であって、
前記空間平滑化処理部は、
前記入力フレーム画像の空間平滑化処理を実行する空間平滑化フィルタと、
前記空間平滑化フィルタを通過した平滑フレーム画像と、前記空間平滑化フィルタを通過しない非平滑フレーム画像と、を混合する混合処理部と、
を備え、
前記混合処理部は、画素毎に前記平滑フレーム画像と前記非平滑フレーム画像との混合比率を設定可能に構成されている、
ノイズ低減装置。
【請求項３】
動画像のノイズを低減するノイズ低減方法であって、
（ａ）前記動画像中で動きのある動領域と、前記動領域以外の静領域と、を検出する工程と、
（ｂ）前記入力フレーム画像を構成する画素毎に設定された空間的平滑化処理の度合に応じて、前記入力フレーム画像に空間的平滑化処理を施して空間平滑フレーム画像を生成する工程と、
（ｃ）前記静領域に属する画素における前記空間的平滑化処理の度合を、前記動領域に属する画素における前記空間的平滑化処理の度合よりも高くなるように設定する工程と、
を備える、
ノイズ低減方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００９−２７６０８（Ｐ２００９−２７６０８Ａ）
【公開日】平成２１年２月５日（２００９．２．５）
【国際特許分類】
【出願番号】特願２００７−１９０８６３（Ｐ２００７−１９０８６３）
【出願日】平成１９年７月２３日（２００７．７．２３）
【出願人】（００００００４２４）株式会社エルモ社 (104)
【Ｆターム（参考）】
【公開日】平成２１年２月５日（２００９．２．５）
【国際特許分類】
【出願日】平成１９年７月２３日（２００７．７．２３）
【出願人】（００００００４２４）株式会社エルモ社 (104)
【Ｆターム（参考）】
[ Back to top ]