画像処理装置、画像処理方法、及びプログラム
【課題】画像上の動き領域又は静止領域の少なくとも一方を精度良く検出する。
【解決手段】平坦検出部は、入力された第１の画像を構成する各画素の画素値の分散に基づいて、第１の画像上の平坦領域を検出し、差分算出部は、第１の画像と、第１の画像の前又は後に連続する第２の画像との対応する画素の画素値どうしの差分を算出し、ノイズレベル検出部は、第１の画像上の平坦領域を構成する各画素に対応する差分の分散に基づいて、ノイズレベルを検出し、動きレベル検出部は、第１の画像を構成する各画素に対応する差分の分散とノイズレベルとの比較結果に基づいて、第１の画像上の静止領域又は動き領域の少なくとも一方を検出する。本開示は、例えば、画像を処理する画像処理装置に適用できる。
【解決手段】平坦検出部は、入力された第１の画像を構成する各画素の画素値の分散に基づいて、第１の画像上の平坦領域を検出し、差分算出部は、第１の画像と、第１の画像の前又は後に連続する第２の画像との対応する画素の画素値どうしの差分を算出し、ノイズレベル検出部は、第１の画像上の平坦領域を構成する各画素に対応する差分の分散に基づいて、ノイズレベルを検出し、動きレベル検出部は、第１の画像を構成する各画素に対応する差分の分散とノイズレベルとの比較結果に基づいて、第１の画像上の静止領域又は動き領域の少なくとも一方を検出する。本開示は、例えば、画像を処理する画像処理装置に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法、及びプログラムに関し、特に、例えば、画像上から、動きのあるオブジェクトが表示された動き領域、又は動きのないオブジェクトが表示された静止領域の少なくとも一方を精度良く検出できるようにした画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
例えば、画像から、動き領域と静止領域とを検出するようにして、動き領域と静止領域とで異なるノイズ低減処理を行うノイズ低減技術が存在する（例えば、引用文献１参照）。
【０００３】
このノイズ低減技術によれば、画像を複数のブロックに区分し、複数のブロック毎に、ブロックマッチング等を用いて、ブロックの動きを表す動きベクトルを検出する。また、ブロック毎に検出した動きベクトルに基づいて、ブロックが、動き領域であるのか、静止領域であるのかを検出する。
【０００４】
そして、動き領域として検出されたブロックには、空間方向にノイズを低減する第１のノイズ低減処理を行い、静止領域として検出されたブロックには、時間方向にノイズを低減する第２のノイズ低減処理を行う。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−１６０９０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、上述のノイズ低減技術では、画像上に生じているノイズの量を表すノイズ量が多くなるほどに、そのノイズに起因して、各ブロックの動きベクトルを誤って検出してしまう。
【０００７】
このため、例えば、静止領域として検出すべきブロックを動き領域として検出し、検出したブロックに第１のノイズ低減処理を行ってしまうことが生じ得る。また、反対に、動き領域として検出すべきブロックを静止領域として検出し、第２のノイズ低減処理を行ってしまうことが生じ得る。
【０００８】
したがって、画像上のノイズを効果的に低減するためには、画像上の動き領域と静止領域とを精度良く検出する必要がある。
【０００９】
本開示は、このような状況に鑑みてなされたものであり、画像上の動き領域又は静止領域の少なくとも一方を精度良く検出できるようにするものである。
【課題を解決するための手段】
【００１０】
本開示の一側面の画像処理装置は、入力された第１の画像を構成する各画素の画素値の分散に基づいて、前記第１の画像上の、各画素の画素値が平坦な平坦領域を検出する平坦検出部と、前記第１の画像と、前記第１の画像の前又は後に連続する第２の画像との対応する画素の画素値どうしの差分を算出する差分算出部と、前記第１の画像上の前記平坦領域を構成する各画素に対応する前記差分の分散に基づいて、前記第１の画像を構成する各画素に生じているノイズの統計的なノイズ量を表すノイズレベルを検出するノイズレベル検出部と、前記第１の画像を構成する各画素に対応する前記差分の分散と前記ノイズレベルとの比較結果に基づいて、前記第１の画像上に存在するオブジェクトが静止している領域を表す静止領域、又は前記オブジェクトが動いている領域を表す動き領域の少なくとも一方を検出する動き検出部とを含む画像処理装置である。
【００１１】
前記第１の画像上の前記静止領域を構成する各画素に対応する前記差分に基づいて、前記静止領域に生じているノイズの性質を表すノイズ性質情報を検出するノイズ性質検出部をさらに設けることができる。
【００１２】
前記ノイズ検出性質部には、前記静止領域を構成する各画素に対応する前記差分を、それぞれ、予め決められた周波数成分に分離して得られる複数のパワーレベルの最大値であって、複数の前記周波数成分毎に得られる前記最大値を、前記ノイズ性質情報として検出させることができる。
【００１３】
前記ノイズ性質情報又は前記ノイズレベルの少なくとも一方に基づいて、前記第１の画像に生じているノイズを低減するノイズ低減部をさらに設けることができる。
【００１４】
前記ノイズ低減部は、前記ノイズ性質情報に基づいて、前記静止領域に生じているノイズを低減するための第１の補正量を算出する第１の補正量算出部と、前記ノイズレベルに基づいて、前記動き領域に生じているノイズを低減するための第２の補正量を算出する第２の補正量算出部と、前記第１の補正量と前記第２の補正量とを混合する混合部と、前記混合部の混合により得られる第３の補正量に基づいて、前記第１の画像の各画素の画素値を補正する補正部とを有するようにすることができる。
【００１５】
前記ノイズレベル検出部には、前記第１の画像上の前記平坦領域を構成する各画素に対応する前記差分の分散のうち、最頻の前記分散を、前記ノイズレベルとして検出させることができる。
【００１６】
本開示の一側面の画像処理方法は、入力される画像を処理する画像処理装置の画像処理方法であって、前記画像処理装置による、入力された第１の画像を構成する各画素の画素値の分散に基づいて、前記第１の画像上の、各画素の画素値が平坦な平坦領域を検出する平坦検出ステップと、前記第１の画像と、前記第１の画像の前又は後に連続する第２の画像との対応する画素の画素値どうしの差分を算出する差分算出ステップと、前記第１の画像上の前記平坦領域を構成する各画素に対応する前記差分の分散に基づいて、前記第１の画像を構成する各画素に生じているノイズの統計的なノイズ量を表すノイズレベルを検出するノイズレベル検出ステップと、前記第１の画像を構成する各画素に対応する前記差分の分散と前記ノイズレベルとの比較結果に基づいて、前記第１の画像上に存在するオブジェクトが静止している領域を表す静止領域、又は前記オブジェクトが動いている領域を表す動き領域の少なくとも一方を検出する動き検出ステップとを含む画像処理方法である。
【００１７】
本開示の一側面のプログラムは、コンピュータを、入力された第１の画像を構成する各画素の画素値の分散に基づいて、前記第１の画像上の、各画素の画素値が平坦な平坦領域を検出する平坦検出部と、前記第１の画像と、前記第１の画像の前又は後に連続する第２の画像との対応する画素の画素値どうしの差分を算出する差分算出部と、前記第１の画像上の前記平坦領域を構成する各画素に対応する前記差分の分散に基づいて、前記第１の画像を構成する各画素に生じているノイズの統計的なノイズ量を表すノイズレベルを検出するノイズレベル検出部と、前記第１の画像を構成する各画素に対応する前記差分の分散と前記ノイズレベルとの比較結果に基づいて、前記第１の画像上に存在するオブジェクトが静止している領域を表す静止領域、又は前記オブジェクトが動いている領域を表す動き領域の少なくとも一方を検出する動き検出部として機能させるためのプログラムである。
【００１８】
本開示によれば、入力された第１の画像を構成する各画素の画素値の分散に基づいて、前記第１の画像上の、各画素の画素値が平坦な平坦領域が検出され、前記第１の画像と、前記第１の画像の前又は後に連続する第２の画像との対応する画素の画素値どうしの差分が算出され、前記第１の画像上の前記平坦領域を構成する各画素に対応する前記差分の分散に基づいて、前記第１の画像を構成する各画素に生じているノイズの統計的なノイズ量を表すノイズレベルが検出され、前記第１の画像を構成する各画素に対応する前記差分の分散と前記ノイズレベルとの比較結果に基づいて、前記第１の画像上に存在するオブジェクトが静止している領域を表す静止領域、又は前記オブジェクトが動いている領域を表す動き領域の少なくとも一方が検出される。
【発明の効果】
【００１９】
本開示によれば、画像上の動き領域又は静止領域の少なくとも一方を精度良く検出することが可能となる。
【図面の簡単な説明】
【００２０】
【図１】第１の実施の形態である画像処理装置の構成例を示すブロック図である。
【図２】ノイズレベルを検出するためのヒストグラムの一例を示す図である。
【図３】動きレベルの一例を示す図である。
【図４】ノイズ性質検出部の詳細な構成例を示すブロック図である。
【図５】パワーレベルのヒストグラムの一例を示す図である。
【図６】ノイズ性質情報の一例を示す図である。
【図７】ノイズ性質情報の他の一例を示す図である。
【図８】時間方向NR部の詳細な構成例を示すブロック図である。
【図９】時間方向のノイズリダクションによりノイズを低減する様子の一例を示している。
【図１０】空間方向NR部の詳細な構成例を示すブロック図である。
【図１１】ノイズレベルに応じてイプシロンを決定する様子の一例を示す図である。
【図１２】混合部の詳細な構成例を示すブロック図である。
【図１３】混合部による混合の程度を表す重みを決定する様子の一例を示す図である。
【図１４】図１の画像処理装置が行う画像処理を説明するためのフローチャートである。
【図１５】第２の実施の形態である画像処理装置の構成例を示すブロック図である。
【図１６】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下、本開示における実施の形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（ノイズレベルに応じて、静止領域と動き領域とを区別するようにして、動き適応型のノイズリダクションを行う場合の一例）
２．第２の実施の形態（ノイズレベルに応じて、静止領域と動き領域とを区別するようにして、動き補償型のノイズリダクションを行う場合の一例）
３．変形例
【００２２】
＜１．第１の実施の形態＞
[画像処理装置２１の構成例]
図１は、第１の実施の形態である画像処理装置２１の構成例を示している。
【００２３】
なお、この画像処理装置２１は、例えば、撮像を行う撮像部（図示せず）と、その撮像により得られる各フレームにより構成される動画像を記憶するハードディスク（図示せず）との間に設けられる。そして、この画像処理装置２１は、撮像部の撮像によりn番目に得られるフレームnに生じているノイズを除去（低減）するノイズ除去処理を行い、ノイズ除去処理後のフレームnをハードディスクに供給して記憶させる。
【００２４】
ここで、本実施の形態では、フレーム（の画像）に生じているノイズを除去することについて説明するが、その他、例えば、フィールド（の画像）に生じているノイズを除去するように構成できる。
【００２５】
画像処理装置２１は、差分算出部４１、平坦検出部４２、ノイズレベル検出部４３、動きレベル検出部４４、ノイズ性質検出部４５、時間方向NR(noise reduction)部４６、空間方向NR部４７、混合部４８、及び補正部４９から構成される。
【００２６】
差分算出部４１には、例えば、図示せぬ撮像部の撮像により得られるフレームn-1及びフレームnが入力される。
【００２７】
差分算出部４１は、フレームn上の輝度値Y(x,y)から、フレームn-1上の輝度値Y(x,y)'を減算し、その減算により得られる差分値diffy(x,y)を、フレーム差分信号として、ノイズレベル検出部４３乃至時間方向NR部４６に供給する。
【００２８】
ここで、輝度値Y(x,y)とは、例えば、フレームnの左上を原点(0,0)とし、水平方向の座標をxとし、垂直方向の座標をyとしたときの位置(x,y)に存在する画素p(x,y)の輝度値を表す。このことは、輝度値Y(x,y)'についても同様である。
【００２９】
なお、第１の実施の形態では、フレームn上の画素の画素値として、輝度値Y(x,y)を補正してノイズを除去することを説明するが、補正の対象とされる画素値は、輝度値Y(x,y)に限定されない。すなわち、例えば、輝度値Y(x,y)とともに、又は輝度値Y(x,y)に代えて、色差等も補正の対象とすることができる。
【００３０】
平坦検出部４２には、図示せぬ撮像部からフレームnが供給される。平坦検出部４２は、供給されるフレームnの各画素p(x,y)に順次注目し、注目している注目画素p(x,y)の平坦度f(x,y)を検出する。
【００３１】
すなわち、例えば、平坦検出部４２は、次式（１）を用いて、注目画素p(x,y)を中心とするブロック（以下、注目画素p(x,y)のブロックともいう）の輝度平均Ave0を算出する。
【数１】
【００３２】
ここで、注目画素p(x,y)のブロックは、注目画素p(x,y)を中心とするM×N(横×縦)個の画素により構成されており、輝度平均Ave0は、注目画素p(x,y)のブロックに含まれるM×N個の各画素の輝度値Y(x,y)の平均を表す。
【００３３】
平坦検出部４２は、算出した輝度平均Ave0と、注目画素p(x,y)のブロックを構成するM×N個の各画素の輝度値Y(x,y)に基づいて、次式（２）により、注目画素p(x,y)の空間分散値var0を算出する。
【数２】
【００３４】
ここで、空間分散値var0とは、注目画素p(x,y)の輝度値Y(x,y)の分散を表す。また、空間分散値var0が小さい程に、フレームn上の、注目画素p(x,y)のブロック（が表す領域）は、各画素の輝度値Y(x,y)が平坦な領域となる。すなわち、注目画素p(x,y)のブロックにおける各画素の輝度値Y(x,y)が（殆ど）同一となる領域、つまり、注目画素p(x,y)のブロックにおける各画素の輝度値Y(x,y)どうしの変化が（殆ど）ない領域となる。
【００３５】
したがって、平坦検出部４２は、注目画素p(x,y)の空間分散値var0の逆数1/var0を、注目画素p(x,y)の平坦度f(x,y)(=1/var0)として検出する。この場合、平坦度f(x,y)が高い程に、対応する注目画素p(x,y)は平坦なものとなる。
【００３６】
平坦検出部４２は、フレームn上の各画素p(x,y)毎に検出された平坦度f(x,y)が、予め決められた閾値以上であるか否かを判定する。
【００３７】
そして、平坦検出部４２は、その判定結果に基づいて、予め決められた閾値以上となる平坦度f(x,y)に対応する画素p(x,y)により構成される平坦な領域を、平坦領域D(x,y)として検出し、ノイズレベル検出部４３に供給する。
【００３８】
ノイズレベル検出部４３は、差分算出部４１からのフレーム差分信号としての複数の差分値diffy(x,y)のうち、平坦検出部４２からの平坦領域D(x,y)に対応する差分値diffy(x,y)に基づいて、フレームnのノイズレベルを検出する。
【００３９】
ここで、ノイズレベルとは、フレームn上の各画素p(x,y)に生じているノイズの統計的な量を表す。
【００４０】
なお、ノイズレベル検出部４３において、平坦領域D(x,y)に対応する差分値diffy(x,y)を用いてノイズレベルを検出するのは、以下の理由による。
【００４１】
すなわち、差分値diffy(x,y)は、主に、フレーム上に存在するオブジェクトの動き等により、フレームn-1とフレームnとの対応する画素どうしの位置がずれる位置ズレと、フレーム上の画素に生じるノイズとにより変化する。
【００４２】
上述のように、ノイズレベル検出部４３は、フレームn上の各画素p(x,y)に生じているノイズの統計的な量を表すノイズレベルを検出する。このため、ノイズレベルの検出に用いる差分値diffy(x,y)は、対応する画素どうしの位置ズレでは変化せず、フレーム上の画素に生じるノイズにより変化するという条件を満たすものであることが望ましい。
【００４３】
上述したように、平坦領域D(x,y)とは、平坦領域D(x,y)を構成する各画素の輝度値Y(x,y)が（殆ど）同一となる領域である。このため、平坦領域D(x,y)において、位置ズレが生じたとしても、平坦領域D(x,y)に対応する差分値diffy(x,y)は、殆ど変化せず、フレーム上の画素に生じるノイズにより変化するものとなり、上述の条件を満たす。
【００４４】
よって、ノイズレベル検出部４３は、平坦領域D(x,y)に対応する差分値diffy(x,y)に基づいて、ノイズレベルを検出するようにしている。
【００４５】
すなわち、例えば、ノイズレベル検出部４３は、フレームn上の平坦領域D(x,y)を構成する各画素p(x,y)dに順次注目し、次式（３）により、注目している注目画素p(x,y)dのブロックにおける差分平均Ave1を算出する。
【数３】
【００４６】
ここで、差分平均Ave1は、注目画素p(x,y)dのブロックを構成する各画素に対応する差分値diffy(x,y)の平均を表す。
【００４７】
ノイズレベル検出部４３は、算出した差分平均Ave1と、注目画素p(x,y)dのブロックを構成する各画素に対応する差分値diffy(x,y)に基づいて、次式（４）により、注目画素p(x,y)dの時間分散値var1を算出する。
【数４】
【００４８】
ここで、時間分散値var1とは、注目画素p(x,y)dに対応する差分値diffy(x,y)の分散を表す。
【００４９】
いまの場合、ノイズレベル検出部４３は、差分値diffy(x,y)が、フレーム上の画素に生じるノイズのみにより変化する平坦領域D(x,y)上の各画素p(x,y)dについて、時間分散値var1を算出するようにしている。
【００５０】
したがって、この時間分散値var1は、平坦領域D(x,y)上の各画素p(x,y)dに生じているノイズの量を表すものとなる。
【００５１】
ノイズレベル検出部４３は、フレームn上の平坦領域D(x,y)を構成する各画素p(x,y)dにすべて注目し、各画素p(x,y)d毎に時間分散値var1を算出する。そして、ノイズレベル検出部４３は、算出した各画素p(x,y)d毎の時間分散値var1に基づいて、図２に示されるようなヒストグラムを計測する。なお、図２において、横軸は時間分散値var1を表し、縦軸は画素p(x,y)dの画素の画素数を表す。
【００５２】
ノイズレベル検出部４３は、計測したヒストグラムの極大部分(頻度の最も高い時間分散値var1)を、ノイズレベルとして、動きレベル検出部４４に供給する。
【００５３】
動きレベル検出部４４は、差分算出部４１からのフレーム差分信号としての差分値diffy(x,y)に基づいて、式（３）及び（４）により、フレームn上の各画素p(x,y)の時間分散値var1を算出する。
【００５４】
そして、動きレベル検出部４４は、算出したフレームn上の各画素p(x,y)の時間分散値var1が、ノイズレベル検出部４３のからのノイズレベル以下であるか否かに基づいて、フレームn上の静止領域Ds(x,y)を検出する。
【００５５】
なお、静止領域Ds(x,y)とは、領域Ds(x,y)上に存在するオブジェクトが静止している（動いていない）領域をいい、対応する差分値diffy(x,y)が所定の閾値未満となる領域をいう。
【００５６】
ここで、静止領域Ds(x,y)では、静止領域Ds(x,y)上に存在するオブジェクトが静止しているため、そのオブジェクトの動きによる差分値diffy(x,y)の増加はなく、ノイズに起因して差分値diffy(x,y)が増加する。
【００５７】
したがって、静止領域Ds(x,y)上の画素p(x,y)の時間分散値var1は、フレームnの各画素p(x,y)に生じている統計的なノイズの量を表すノイズレベル以下となる。
【００５８】
また、フレームn上の動き領域では、画素に生じているノイズの他、動き領域上に存在するオブジェクトの動きに起因して、差分値diffy(x,y)が増加する。なお、動き領域とは、その領域上に存在するオブジェクトが動いている領域をいい、対応する差分値diffy(x,y)が所定の閾値以上となる領域をいう。
【００５９】
したがって、動き領域上の画素p(x,y)の時間分散値var1は、フレームnの各画素p(x,y)に生じている統計的なノイズの量を表すノイズレベルよりも大となる。
【００６０】
よって、動きレベル検出部４４は、上述のように、算出したフレームn上の各画素p(x,y)の時間分散値var1が、ノイズレベル検出部４３からのノイズレベル以下であるか否かに基づいて、フレームn上の静止領域Ds(x,y)を検出する。
【００６１】
動きレベル検出部４４は、検出した静止領域Ds(x,y)（を表す情報）を、ノイズ性質検出部４５に供給する。
【００６２】
また、例えば、動きレベル検出部４４は、図３に示されるように、フレームn上の各画素p(x,y)の時間分散値var1を、それぞれ、最大の時間分散値max(var1)で正規化(除算)して、各画素の動きレベルを検出し、混合部４８に供給する。
【００６３】
なお、図３に示されるように、時間分散値var1がノイズレベルであるときの動きレベルが0.5である場合、0.5以下の動きレベルに対応する画素p(x,y)は、静止領域Ds(x,y)上の画素p(x,y)とされ、0.5より大の動きレベルに対応する画素p(x,y)は、動き領域上の画素p(x,y)とされる。
【００６４】
ノイズ性質検出部４５は、差分算出部４１からのフレーム差分信号としての複数の差分値diffy(x,y)のうち、動きレベル検出部４４からの静止領域Ds(x,y)に対応する差分値diffy(x,y)に基づいて、静止領域Ds(x,y)に生じているノイズの性質を表すノイズ性質情報を検出する。
【００６５】
ここで、静止領域Ds(x,y)上に存在するオブジェクトは、フレームn-1からフレームnにおいて静止している（動かない）ので、静止領域Ds(x,y)に対応する差分値diffy(x,y)は、静止領域Ds(x,y)上に生じるノイズのみに応じて変化するものとなる。
【００６６】
このため、ノイズ性質検出部４５は、静止領域Ds(x,y)に対応する差分値diffy(x,y)に基づいて、ノイズ性質情報を検出する。なお、ノイズ性質検出部４５の詳細は、図４を参照して詳述する。
【００６７】
時間方向NR部４６は、差分算出部４１からのフレーム差分信号としての差分値diffy(x,y)、及びノイズ性質検出部４５からのノイズ性質情報に基づいて、補正量Aを算出して混合部４８に供給する。
【００６８】
ここで、補正量Aとは、フレームn上の静止領域Ds(x,y)に生じているノイズを時間方向に除去するために、フレームnの輝度値Y(x,y)の負値{-Y(x,y)}と加算される値である。
【００６９】
なお、時間方向NR部４６が行う処理の詳細は、図８及び図９を参照して詳述する。
【００７０】
空間方向NR部４７は、図示せぬ撮像部からのフレームnと、ノイズレベル検出部４３からのノイズレベルとに基づいて、補正量Bを算出して混合部４８に供給する。
【００７１】
ここで、補正量Bとは、フレームn上の動き領域に生じているノイズを空間方向に除去するために、フレームnの輝度値Y(x,y)の負値{-Y(x,y)}と加算される値である。
【００７２】
なお、空間方向NR部４７が行う処理の詳細は、図１０及び図１１を参照して詳述する。
【００７３】
混合部４８は、動きレベル検出部４４からの、フレームn上の各画素毎の動きレベルに基づいて、フレームn上の各画素毎に、時間方向NR部４６からの補正量A、及び空間方向NR部４７からの補正量Bを混合する。
【００７４】
すなわち、例えば、混合部４８は、動きレベル検出部４４からの動きレベルに基づいて、補正量Aに乗算される重み（1-α）と、補正量Bに乗算される重みαを決定する。但し、重みαは０以上１以下の値とされる。
【００７５】
そして、混合部４８は、補正量Aと補正量Bとを、（1-α）対αの割合で混合し、その混合結果{(1-α)×A+α×B}を、補正量Cとして、補正部４９に供給する。なお、混合部４８が行う処理の詳細は、図１２及び図１３を参照して詳述する。
【００７６】
補正部４９は、混合部４８からの補正量Cに基づいて、図示せぬ撮像部からのフレームnを補正して、例えば図示せぬハードディスク等に供給して記憶させる。
【００７７】
すなわち、例えば、補正部４９は、混合部４８から供給される、フレームn上の各画素の補正量C(=(1-α)×A+α×B)から、図示せぬ撮像部からのフレームnの各画素のうち、対応する輝度値Y(x,y)を減算する（輝度値{-Y(x,y)}を加算する）。
【００７８】
そして、補正部４９は、その減算により、フレームn上の各画素毎に得られる値を輝度値とするフレームを、補正後のフレームnとして、図示せぬハードディスク等に供給して記憶させる。
【００７９】
[ノイズ性質検出部４５の詳細]
次に、図４は、ノイズ性質検出部４５の詳細な構成例を示している。
【００８０】
ノイズ性質検出部４５は、帯域分離部６１、ヒストグラム計測部６２乃至６５から構成される。
【００８１】
帯域分離部６１は、差分算出部４１からのフレーム差分信号を、異なる周波数成分（例えば、高域成分、中高域成分、中低域成分、及び低域成分等）毎のパワーレベルに分離する。
【００８２】
ここで、パワーレベルとは、フレーム差分信号としての各差分値diffy(x,y)毎に算出されるものであり、所定の周波数成分に分離する際に用いるフィルタ係数と、フレーム差分信号としての差分値diffy(x,y)との積和演算により算出される。
【００８３】
すなわち、例えば、帯域分離部６１は、差分算出部４１からのフレーム差分信号としての複数の差分値diffy(x,y)に順次注目する。
【００８４】
帯域分離部６１は、フレーム差分信号に対応する差分フレームのうち、注目している注目差分値diffy(x,y)を中心とするブロックを構成する各画素の差分値diffy(x,y)と、高域成分を分離するためにフィルタ係数wとのそれぞれによる積和演算を演算する。
【００８５】
そして、帯域分離部６１は、積和演算により得られる、注目差分値diffy(x,y)の高域パワーレベルを、ヒストグラム計測部６２に供給する。これにより、帯域分離部６１からヒストグラム計測部６２には、フレーム差分信号に対応する各差分値diffy(x,y)毎の高域パワーレベルが供給される。
【００８６】
ヒストグラム計測部６２は、動きレベル検出部４４からの静止領域Ds(x,y)に対応する各差分値diffy(x,y)毎の高域パワーレベルPL(x,y)について、例えば図５に示されるような分布のヒストグラム（高域パワーヒストグラム）を計測する。なお、図５において、横軸は、高域パワーレベルを表し、縦軸は高域パワーレベルPL(x,y)に対応する静止領域Ds(x,y)上の画素の画素数を表す。
【００８７】
ここで、上述したように、静止領域Ds(x,y)に対応する各差分値diffy(x,y)は、静止領域Ds(x,y)に生じるノイズのみに応じて変化する。
【００８８】
このため、高域パワーレベルPL(x,y)は、フレームn上の静止領域Ds(x,y)の高域成分に生じているノイズの高域パワーレベルを表す。したがって、高域パワーヒストグラムは、フレームn上の静止領域Ds(x,y)の高域成分に生じているノイズの高域パワーレベルの分布を表している。
【００８９】
ヒストグラム計測部６２は、高域パワーヒストグラムに基づいて、高域パワーレベルの最大値を、高域ノイズパワー最大値として、時間方向NR部４６に供給する。
【００９０】
なお、帯域分離部６１は、同様にして、フレーム差分信号に対応する各差分値diffy(x,y)毎の中高域パワーレベルを算出し、ヒストグラム計測部６３に供給する。また、帯域分離部６１は、フレーム差分信号に対応する各差分値diffy(x,y)毎の中低域パワーレベルを算出し、ヒストグラム計測部６４に供給する。さらに、帯域分離部６１は、フレーム差分信号に対応する各差分値diffy(x,y)毎の低域パワーレベルを算出し、ヒストグラム計測部６５に供給する。
【００９１】
ヒストグラム計測部６３乃至６５には、ヒストグラム計測部６２と同様に、動きレベル検出部４４から静止領域が供給され、ヒストグラム計測部６３乃至６５は、ヒストグラム計測部６２と同様の処理を行う。
【００９２】
すなわち、例えば、ヒストグラム計測部６３は、中高域パワーヒストグラムに基づいて、中高域パワーレベルの最大値を、中高域ノイズパワー最大値として、時間方向NR部４６に供給する。また、ヒストグラム計測部６４は、中低域パワーヒストグラムに基づいて、中低域パワーレベルの最大値を、中低域ノイズパワー最大値として、時間方向NR部４６に供給する。さらに、ヒストグラム計測部６５は、低域パワーヒストグラムに基づいて、低域パワーレベルの最大値を、低域ノイズパワー最大値として、時間方向NR部４６に供給する。
【００９３】
換言すれば、高域ノイズパワー最大値、中高域ノイズパワー最大値、中低域ノイズパワー最大値、及び低域ノイズパワー最大値が、ノイズ性質情報として、ヒストグラム計測部６２乃至６５から時間方向NR部４６に供給される。
【００９４】
次に、図６及び図７を参照して、高域ノイズパワー最大値、中高域ノイズパワー最大値、中低域ノイズパワー最大値、及び低域ノイズパワー最大値が、静止領域Ds(x,y)上に生じているノイズの性質を表すことを説明する。
【００９５】
図６は、MPEG(moving picture experts group)圧縮等により圧縮されていないフレームnのノイズ性質情報の一例を示している。
【００９６】
図６A乃至図６Dには、ノイズ性質情報として、それぞれ、高域ノイズパワー最大値、中高域ノイズパワー最大値、中低域ノイズパワー最大値、及び低域ノイズパワー最大値が示されている。
【００９７】
フレームnが、MPEG圧縮等により圧縮されていない場合、図６A乃至図６Dに示されるように、高域ノイズパワー最大値、中高域ノイズパワー最大値、中低域ノイズパワー最大値、及び低域ノイズパワー最大値のいずれも殆ど等しいものとなる。
【００９８】
つまり、フレームn上の静止領域Ds(x,y)に生じているノイズの性質として、いずれの周波数成分においても、同様のノイズが生じていることがわかる。
【００９９】
図７は、MPEG圧縮等により圧縮されたフレームnのノイズ性質情報の一例を示している。
【０１００】
図７A乃至図７Dには、ノイズ性質情報として、それぞれ、高域ノイズパワー最大値、中高域ノイズパワー最大値、中低域ノイズパワー最大値、及び低域ノイズパワー最大値が示されている。
【０１０１】
フレームnが、MPEG圧縮等により圧縮されている場合、高域成分ほど粗く量子化されるため、図７A乃至図７Dに示されるように、周波数成分が高い程に、ノイズパワー最大値が小さくなることがわかる。
【０１０２】
つまり、フレームn上の静止領域Ds(x,y)に生じているノイズの性質として、周波数成分が高い程に、ノイズパワー最大値が小さくなっていることがわかる。
【０１０３】
[時間方向NR部４６の詳細]
次に、図８は、時間方向NR部４６の詳細な構成例を示している。
【０１０４】
時間方向NR部４６は、帯域分離部８１、補正部８２乃至８５、及び帯域合成部８６から構成される。
【０１０５】
帯域分離部８１は、帯域分離部６１と同様にして、差分算出部４１からのフレーム差分信号を、高域パワーレベル、中高域パワーレベル、中低域パワーレベル、及び低域パワーレベルに分離する。
【０１０６】
そして、帯域分離部８１は、高域パワーレベルを補正部８２、中高域パワーレベルを補正部８３、中低域パワーレベルを補正部８４、低域パワーレベルを補正部８５にそれぞれ供給する。
【０１０７】
補正部８２には、図４のヒストグラム計測部６２から高域ノイズパワー最大値が供給される。補正部８２は、帯域分離部８１からの高域パワーレベルのうち、ヒストグラム計測部６２からの高域ノイズパワー最大値以下の高域パワーレベルに対して、ノイズ除去処理を施す。
【０１０８】
すなわち、高域ノイズパワー最大値は、フレームn上の静止領域Ds(x,y)に生じているノイズの高域パワーレベルの最大値を表している。したがって、高域ノイズパワー最大値以下の高域パワーレベルは、画素の動きに起因するものではなく、ノイズに起因するものであるため、時間方向におけるノイズ除去処理の対象とされる。
【０１０９】
したがって、例えば、補正部８２は、高域ノイズパワー最大値に近づくにつれてノイズの除去量を大きくし、高域ノイズパワー最大値から遠のくにつれ、ノイズの除去量を小さくする。
【０１１０】
次に、図９は、補正部８２が行うノイズ除去処理の様子を示している。
【０１１１】
図９において、関数１０１は、ノイズを除去する程度を表す除去量を表しており、関数１０２は、補正部８２から入力される高域パワーレベルを、除去量に応じて補正して得られる補正後の高域パワーレベルの出力を表す。
【０１１２】
補正部８２は、帯域分離部８１からの高域パワーレベルを、関数１０２のように、高域ノイズパワー最大値に近づくにつれて大きく補正するようにして得られる高域補正パワーレベルを帯域合成部８６に供給する。
【０１１３】
なお、補正部８３乃至８５は、補正部８２と同様の処理を行う。
【０１１４】
すなわち、例えば、補正部８３は、帯域分離部８１からの中高域パワーレベルのうち、ヒストグラム計測部６３からの中高域ノイズパワー最大値以下の中高域パワーレベルに対して、補正部８２と同様のノイズ除去処理を施し、その結果得られる中高域補正パワーレベルを帯域合成部８６に供給する。
【０１１５】
また、例えば、補正部８４は、帯域分離部８１からの中低域パワーレベルのうち、ヒストグラム計測部６４からの中低域ノイズパワー最大値以下の中低域パワーレベルに対して、補正部８２と同様のノイズ除去処理を施し、その結果得られる中低域補正パワーレベルを帯域合成部８６に供給する。
【０１１６】
さらに、例えば、補正部８５は、帯域分離部８１からの低域パワーレベルのうち、ヒストグラム計測部６５からの低域ノイズパワー最大値以下の低域パワーレベルに対して、補正部８２と同様のノイズ除去処理を施し、その結果得られる低域補正パワーレベルを帯域合成部８６に供給する。
【０１１７】
帯域合成部８６は、補正部８２からの高域補正パワーレベル、補正部８３からの中高域補正パワーレベル、補正部８４からの中低域補正パワーレベル、及び補正部８５からの低域補正パワーレベルを合成し、その結果得られる補正量Aを混合部４８に供給する。なお、補正量Aは、フレームnの各画素毎に算出される。
【０１１８】
[空間方向NR部４７の詳細]
図１０は、空間方向NR部４７の詳細な構成例を示している。
【０１１９】
空間方向NR部４７は、イプシロン算出部１２１、垂直処理部１２２、及び水平処理部１２３から構成される。
【０１２０】
イプシロン算出部１２１は、ノイズレベル検出部４３からのノイズレベルに基づいて、図１１に示されるようにして、イプシロンフィルタに用いる値ε（イプシロン）を算出し、垂直処理部１２２及び水平処理部１２３に供給する。
【０１２１】
垂直処理部１２２は、図示せぬ撮像部からのフレームnに対して、垂直方向にイプシロンフィルタを用いたフィルタ処理を行う。すなわち、例えば、垂直処理部１２２は、図示せぬ撮像部からのフレームnの各画素に注目し、注目している画素と垂直方向に隣接している画素との画素値の差分絶対値を算出する。
【０１２２】
そして、垂直処理部１２２は、算出した差分絶対値が、イプシロン算出部１２１からの値ε以上ではない場合、フレームn上の注目画素に対して、ローパスフィルタを用いたフィルタ処理を施す。なお、垂直処理部１２２は、算出した差分絶対値が、イプシロン算出部１２１からの値ε以上である場合、フィルタ処理を行わない。
【０１２３】
垂直処理部１２２は、フレームn上の各画素全てに注目した後、処理後のフレームnを、水平処理部１２３に供給する。
【０１２４】
水平処理部１２３は、垂直処理部１２２からのフレームnに対して、水平方向にイプシロンフィルタを用いたフィルタ処理を行う。すなわち、例えば、水平処理部１２３は、垂直処理部１２２からのフレームnの各画素に注目し、注目している画素と水平方向に隣接している画素との画素値の差分絶対値を算出する。
【０１２５】
そして、水平処理部１２３は、算出した差分絶対値が、イプシロン算出部１２１からの値ε以上ではない場合、フレームn上の注目画素に対して、ローパスフィルタを用いたフィルタ処理を施す。なお、水平処理部１２３は、算出した差分絶対値が、イプシロン算出部１２１からの値ε以上である場合、フィルタ処理を行わない。
【０１２６】
水平処理部１２３は、フレームn上の各画素全てに注目した後、処理後のフレームnの各画素の輝度値を、フレームnの各画素毎の補正量Bとして、混合部４８に供給する。
【０１２７】
[混合部４８の詳細]
図１２は、混合部４８の詳細な構成例を示している。
【０１２８】
混合部４８は、重み計算部１４１、減算部１４２、乗算部１４３、乗算部１４４、及び加算部１４５から構成される。
【０１２９】
重み計算部１４１は、動きレベル検出部４４からの、フレームnの各画素毎の動きレベルに基づいて、各画素毎に、輝度値Y(x,y)と乗算される補正量Bの重みαを計算し、減算部１４２及び乗算部１４３に供給する。
【０１３０】
減算部１４２は、予め保持している値１から、重み計算部１４１からの重みαを減算して得られる重み(1-α)を、乗算部１４４に供給する。
【０１３１】
乗算部１４３は、空間方向NR部４７からの補正量Bに対して、重み計算部１４１からの重みαを乗算し、その乗算結果(α×B)を、加算部１４５に供給する。
【０１３２】
乗算部１４４は、時間方向NR部４６からの補正量Aに対して、減算部１４２からの重み(1-α)を乗算し、その乗算結果{(1-α)×A}を、加算部１４５に供給する。
【０１３３】
加算部１４５は、乗算部１４３からの乗算結果(α×B)、及び乗算部１４４からの乗算結果{(1-α)×A}を加算し、その加算結果{(1-α)×A+α×B}を、補正量Cとして、補正部４９に供給する。
【０１３４】
すなわち、混合部４８は、図１３に示されるように、フレームnの各画素の動きレベルに応じて、補正量Bの重みαを決定するようにしている。
【０１３５】
[画像処理装置２１の動作説明]
次に、図１４のフローチャートを参照して、画像処理装置２１が行う画像処理について説明する。
【０１３６】
この画像処理は、図示せぬ撮像部の撮像により得られる動画像を構成するフレームnが供給されたときに開始される。
【０１３７】
ステップＳ２１において、差分算出部４１は、図示せぬ撮像部から入力されるフレームn上の輝度値Y(x,y)から、フレームn-1上の輝度値Y(x,y)'を減算し、その結果得られる差分値diffy(x,y)を、フレーム差分信号としてノイズレベル検出部４３乃至時間方向NR部４６に供給する。
【０１３８】
ステップＳ２２において、平坦検出部４２には、図示せぬ撮像部から入力されるフレームnの各画素p(x,y)に注目し、式（１）及び（２）により、注目している注目画素p(x,y)の輝度値Y(x,y)の分散を表す空間分散値var0を算出する。
【０１３９】
また、平坦検出部４２は、フレームnの各画素p(x,y)全てに注目した後、フレームnの各画素p(x,y)毎に算出された空間分散値var0に基づいて、各画素p(x,y)毎の平坦度f(x,y)を検出する。
【０１４０】
そして、平坦検出部４２は、フレームn上の各画素p(x,y)毎に検出された平坦度f(x,y)に基づいて、フレームn上の平坦領域D(x,y)を検出し、ノイズレベル検出部４３に供給する。
【０１４１】
ステップＳ２３において、ノイズレベル検出部４３は、差分算出部４１からのフレーム差分信号としての複数の差分値diffy(x,y)のうち、平坦検出部４２からの平坦領域D(x,y)に対応する差分値diffy(x,y)に基づいて、式（３）及び（４）により、平坦領域D(x,y)に対応する差分値diffy(x,y)の分散を表す時間分散値var1を算出する。
【０１４２】
そして、ノイズレベル検出部４３は、図２に示されるように、算出した時間分散値var1の分布に基づいて、フレームnのノイズレベルを検出し、動きレベル検出部４４及び空間方向NR部４７に供給する。
【０１４３】
ステップＳ２４において、動きレベル検出部４４は、差分算出部４１からのフレーム差分信号としての差分値diffy(x,y)に基づいて、式（３）及び（４）により、フレームn上の各画素p(x,y)の時間分散値var1を算出する。
【０１４４】
そして、動きレベル検出部４４は、算出したフレームn上の各画素p(x,y)の時間分散値var1が、ノイズレベル検出部４３のから供給されるノイズレベル以下であるか否かに基づいて、フレームn上の静止領域Ds(x,y)を検出し、ノイズ性質検出部４５に供給する。
【０１４５】
ステップＳ２５において、動きレベル検出部４４は、図３に示されるように、フレームn上の各画素p(x,y)の時間分散値var1を、それぞれ、最大時間分散値max(var1)で正規化(除算)して、各画素の動きレベルを検出し、混合部４８に供給する。
【０１４６】
ステップＳ２６において、ノイズ性質検出部４５は、差分算出部４１からのフレーム差分信号としての各差分値diffy(x,y)のうち、動きレベル検出部４４からの静止領域Ds(x,y)に対応する差分値diffy(x,y)に基づいて、静止領域Ds(x,y)のノイズ性質情報を検出し、時間方向NR部４６に供給する。
【０１４７】
ステップＳ２７において、時間方向NR部４６は、差分算出部４１からのフレーム差分信号としての差分値diffy(x,y)、及びノイズ性質検出部４５からのノイズ性質情報に基づいて、補正量Aを算出して混合部４８に供給する。
【０１４８】
ステップＳ２８において、空間方向NR部４７は、図示せぬ撮像部からのフレームnと、ノイズレベル検出部４３からのノイズレベルとに基づいて、補正量Bを算出して混合部４８に供給する。
【０１４９】
ステップＳ２９において、混合部４８は、動きレベル検出部４４からの、フレームnの各画素毎の動きレベルに基づいて、フレームn上の各画素毎に、時間方向NR部４６からの補正量A、及び空間方向NR部４７からの補正量Bを、所定の割合で混合し、その混合結果として得られる補正量Cを、補正部４９に供給する。
【０１５０】
ステップＳ３０において、補正部４９は、混合部４８からの補正量Cに基づいて、図示せぬ撮像部からのフレームnを補正して、図示せぬハードディスク等に供給して記憶させる。図示せぬ撮像部からのフレームnを全て処理した後、画像処理は終了される。
【０１５１】
以上説明したように、画像処理によれば、ノイズレベルに応じて、静止領域を検出するようにしたので、フレームに生じているノイズのノイズ量の多寡に拘らず、精度良く静止領域を検出することが可能となる。
【０１５２】
また、動きレベル検出部４４は、フレームn上の各画素p(x,y)の時間分散値var1が、ノイズレベル検出部４３からのノイズレベル以下であるか否かに基づいて、フレームn上の静止領域Ds(x,y)とともに、又は静止領域Ds(x,y)に代えて、動き領域を検出するようにすることができる。
【０１５３】
この場合についても同様に、フレームnに生じているノイズのノイズ量の多寡に拘らず、精度良く動き領域を検出することが可能となる。
【０１５４】
したがって、フレームn上の静止領域と動き領域とを精度良く検出できるようになるので、静止領域と動き領域とで適切なノイズの除去を行なうことができるようになる。このため、例えば、動き領域に時間方向のノイズ除去を誤って行ってしまうことにより生じる動きボケ等を防止することが可能となる。
【０１５５】
また、画像処理によれば、ノイズのみに起因して差分値diffy(x,y)が変化する静止領域からノイズ性質情報を検出するようにした。したがって、例えば、ノイズの他、オブジェクトの動きに起因して差分値diffy(x,y)が変化する動き領域から、ノイズ性質情報を検出する場合と比較して、より正確なノイズ性質情報を検出することが可能となる。
【０１５６】
このため、例えば、AD(analog to digital)変換時のサンプリング誤差に起因して発生する伝送ノイズ、チューナ等に起因して発生する弱電界ノイズ、カメラの撮像素子に起因して発生するセンサノイズ、MPEG圧縮等により変質したノイズ、フレームを所定の大きさにスケーリングしたことにより周波数の劣化したノイズ等の、種々のノイズを精度良く除去することが可能となる。
【０１５７】
＜２．第２の実施の形態＞
[画像処理装置１６１の構成例]
図１５は、第２の実施の形態である画像処理装置１６１の構成例を示している。
【０１５８】
なお、画像処理装置１６１は、図１の画像処理装置２１と同様に構成される部分については、同一の符号を付しているため、それらの説明は、以下、適宜省略する。
【０１５９】
すなわち、この画像処理装置１６１は、図１の時間方向NR部４６乃至補正部４９に代えて、MC型NR部１８１が設けられている他は、同様に構成されている。
【０１６０】
MC型NR部１８１は、動き補償型(MC型)のノイズ除去（低減）を行う。
【０１６１】
すなわち、例えば、MC型NR部１８１は、図示せぬ撮像部からのフレームn-1及びフレームn、ノイズレベル検出部４３からのノイズレベル、動きレベル検出部４４からの各画素の動きレベル、及びノイズ性質検出部４５からのノイズ性質情報に基づいて、フレームnに生じているノイズを除去し、ノイズを除去後のフレームnを、図示せぬハードディスク等に供給して記憶させる。
【０１６２】
具体的には、例えば、MC型NR部１８１は、ノイズレベル検出部４３からのノイズレベルが予め決められた閾値未満である場合、フレームnにノイズが殆どないものと判定する。
【０１６３】
フレームnにノイズが殆どない場合、第１の実施の形態で説明したようにして静止領域等を検出する場合よりも、動きベクトルを用いて静止領域と動き領域とを検出する精度のほうが高いものとなる。
【０１６４】
したがって、この場合、例えば、MC型NR部１８１は、図示せぬ撮像部からのフレームnを複数のブロックに区分する。また、MC型NR部１８１は、図示せぬ撮像部からのフレームn-1及びフレームnに基づいて、フレームn上の複数のブロック毎に、そのブロックの動きを表す動きベクトルを検出する。
【０１６５】
そして、MC型NR部１８１は、複数のブロック毎の動きベクトルに基づいて、各ブロックが、静止領域であるのか、動き領域であるのかを検出する。
【０１６６】
MC型NR部１８１は、動き領域として検出されたブロックに対して、ノイズレベル検出部４３からのノイズレベルに応じた強さで、空間方向にノイズを除去する処理を行う。
【０１６７】
また、MC型NR部１８１は、静止領域として検出されたブロックに対して、ノイズ性質検出部４５からのノイズ性質情報に応じた強さで、周波数成分毎に、時間方向にノイズを除去する処理を行う。
【０１６８】
さらに、例えば、MC型NR部１８１は、ノイズレベル検出部４３からのノイズレベルが予め決められた閾値以上である場合、フレームnにノイズが多く生じているものと判定する。
【０１６９】
フレームnにノイズが多く生じている場合、動きベクトルを誤って検出する事態が生じ易くなるので、MC型NR部１８１は、図１の時間方向NR部４６乃至補正部４９と同様の処理を行うようにして、フレームn上のノイズを除去する。
【０１７０】
このように構成されるMC型NR部１８１では、静止領域と動き領域とを精度良く検出するようにしたので、動きボケが非常に少ないノイズの除去を行うことが可能となる。
【０１７１】
また、フレームnにノイズが多く生じている場合には、MC型NR部１８１は、図１の時間方向NR部４６乃至補正部４９と同様の処理を行うようにしたので、ブロックに生じているノイズに起因して、動きベクトルを誤って検出する事態を防止（抑止）できるようになる。
【０１７２】
このため、例えば、MC型NR部１８１では、動きベクトルを誤って検出してしまうことに起因して、静止領域と動き領域とで適切なノイズの除去を行うことができない場合に生じるノイズ暴れや水平線崩れのような事態を防止することが可能となる。
【０１７３】
ここで、ノイズ暴れとは、フレームn上に生じるノイズが止まったり動いたりを繰り返す現象をいい、水平線崩れとは、フレームn上のブロックに存在する水平線の輪郭がガタガタに崩れてしまう現象をいう。
【０１７４】
＜３．変形例＞
第１及び第２の実施の形態では、差分算出部４１において、フレームnの輝度値Y(x,y)から、フレームn-1の輝度値Y(x,y)'を減算して差分値diffy(x,y)を算出するようにしたが、差分値diffy(x,y)の算出方法は、これに限定されない。
【０１７５】
すなわち、例えば、差分算出部４１は、フレームnの輝度値Y(x,y)から、フレームn+1の輝度値Y(x,y)''を減算して差分値diffy(x,y)を算出するようにしてもよい。
【０１７６】
なお、本技術は、以下のような構成をとることができる。
（１）入力された第１の画像を構成する各画素の画素値の分散に基づいて、前記第１の画像上の、各画素の画素値が平坦な平坦領域を検出する平坦検出部と、前記第１の画像と、前記第１の画像の前又は後に連続する第２の画像との対応する画素の画素値どうしの差分を算出する差分算出部と、前記第１の画像上の前記平坦領域を構成する各画素に対応する前記差分の分散に基づいて、前記第１の画像を構成する各画素に生じているノイズの統計的なノイズ量を表すノイズレベルを検出するノイズレベル検出部と、前記第１の画像を構成する各画素に対応する前記差分の分散と前記ノイズレベルとの比較結果に基づいて、前記第１の画像上に存在するオブジェクトが静止している領域を表す静止領域、又は前記オブジェクトが動いている領域を表す動き領域の少なくとも一方を検出する動き検出部とを含む画像処理装置。
（２）前記第１の画像上の前記静止領域を構成する各画素に対応する前記差分に基づいて、前記静止領域に生じているノイズの性質を表すノイズ性質情報を検出するノイズ性質検出部をさらに含む前記（１）に記載の画像処理装置。
（３）前記ノイズ検出性質部は、前記静止領域を構成する各画素に対応する前記差分を、それぞれ、予め決められた周波数成分に分離して得られる複数のパワーレベルの最大値であって、複数の前記周波数成分毎に得られる前記最大値を、前記ノイズ性質情報として検出する前記（２）に記載の画像処理装置。
（４）前記ノイズ性質情報又は前記ノイズレベルの少なくとも一方に基づいて、前記第１の画像に生じているノイズを低減するノイズ低減部をさらに含む前記（２）又は（３）に記載の画像処理装置。
（５）前記ノイズ低減部は、前記ノイズ性質情報に基づいて、前記静止領域に生じているノイズを低減するための第１の補正量を算出する第１の補正量算出部と、前記ノイズレベルに基づいて、前記動き領域に生じているノイズを低減するための第２の補正量を算出する第２の補正量算出部と、前記第１の補正量と前記第２の補正量とを混合する混合部と、前記混合部の混合により得られる第３の補正量に基づいて、前記第１の画像の各画素の画素値を補正する補正部とを有する前記（４）に記載の画像処理装置。
（６）前記ノイズレベル検出部は、前記第１の画像上の前記平坦領域を構成する各画素に対応する前記差分の分散のうち、最頻の前記分散を、前記ノイズレベルとして検出する前記（１）に記載の画像処理装置。
【０１７７】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。
【０１７８】
[コンピュータの構成例]
図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示している。
【０１７９】
CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２、又は記憶部２０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２０３には、CPU２０１が実行するプログラムやデータ等が適宜記憶される。これらのCPU２０１、ROM２０２、及びRAM２０３は、バス２０４により相互に接続されている。
【０１８０】
CPU２０１にはまた、バス２０４を介して入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホン等よりなる入力部２０６、ディスプレイ、スピーカ等よりなる出力部２０７が接続されている。CPU２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。
【０１８１】
入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、ネットワークやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
【０１８２】
また、通信部２０９を介してプログラムを取得し、記憶部２０８に記憶してもよい。
【０１８３】
入出力インタフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。
【０１８４】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録（記憶）する記録媒体は、図１６に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア２１１、又は、プログラムが一時的もしくは永続的に格納されるROM２０２や、記憶部２０８を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部２０９を介して、ローカルエリアネットワーク、ネットワーク、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
【０１８５】
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１８６】
また、本開示の実施の形態は、上述した本実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１８７】
２１ 画像処理装置， ４１ 差分算出部， ４２ 平坦検出部， ４３ ノイズレベル検出部， ４４ 動きレベル検出部， ４５ ノイズ性質検出部， ４６ 時間方向NR部， ４７ 空間方向NR部， ４８ 混合部， ４９ 補正部， １６１ 画像処理装置， １８１ MC型NR部
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法、及びプログラムに関し、特に、例えば、画像上から、動きのあるオブジェクトが表示された動き領域、又は動きのないオブジェクトが表示された静止領域の少なくとも一方を精度良く検出できるようにした画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
例えば、画像から、動き領域と静止領域とを検出するようにして、動き領域と静止領域とで異なるノイズ低減処理を行うノイズ低減技術が存在する（例えば、引用文献１参照）。
【０００３】
このノイズ低減技術によれば、画像を複数のブロックに区分し、複数のブロック毎に、ブロックマッチング等を用いて、ブロックの動きを表す動きベクトルを検出する。また、ブロック毎に検出した動きベクトルに基づいて、ブロックが、動き領域であるのか、静止領域であるのかを検出する。
【０００４】
そして、動き領域として検出されたブロックには、空間方向にノイズを低減する第１のノイズ低減処理を行い、静止領域として検出されたブロックには、時間方向にノイズを低減する第２のノイズ低減処理を行う。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−１６０９０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、上述のノイズ低減技術では、画像上に生じているノイズの量を表すノイズ量が多くなるほどに、そのノイズに起因して、各ブロックの動きベクトルを誤って検出してしまう。
【０００７】
このため、例えば、静止領域として検出すべきブロックを動き領域として検出し、検出したブロックに第１のノイズ低減処理を行ってしまうことが生じ得る。また、反対に、動き領域として検出すべきブロックを静止領域として検出し、第２のノイズ低減処理を行ってしまうことが生じ得る。
【０００８】
したがって、画像上のノイズを効果的に低減するためには、画像上の動き領域と静止領域とを精度良く検出する必要がある。
【０００９】
本開示は、このような状況に鑑みてなされたものであり、画像上の動き領域又は静止領域の少なくとも一方を精度良く検出できるようにするものである。
【課題を解決するための手段】
【００１０】
本開示の一側面の画像処理装置は、入力された第１の画像を構成する各画素の画素値の分散に基づいて、前記第１の画像上の、各画素の画素値が平坦な平坦領域を検出する平坦検出部と、前記第１の画像と、前記第１の画像の前又は後に連続する第２の画像との対応する画素の画素値どうしの差分を算出する差分算出部と、前記第１の画像上の前記平坦領域を構成する各画素に対応する前記差分の分散に基づいて、前記第１の画像を構成する各画素に生じているノイズの統計的なノイズ量を表すノイズレベルを検出するノイズレベル検出部と、前記第１の画像を構成する各画素に対応する前記差分の分散と前記ノイズレベルとの比較結果に基づいて、前記第１の画像上に存在するオブジェクトが静止している領域を表す静止領域、又は前記オブジェクトが動いている領域を表す動き領域の少なくとも一方を検出する動き検出部とを含む画像処理装置である。
【００１１】
前記第１の画像上の前記静止領域を構成する各画素に対応する前記差分に基づいて、前記静止領域に生じているノイズの性質を表すノイズ性質情報を検出するノイズ性質検出部をさらに設けることができる。
【００１２】
前記ノイズ検出性質部には、前記静止領域を構成する各画素に対応する前記差分を、それぞれ、予め決められた周波数成分に分離して得られる複数のパワーレベルの最大値であって、複数の前記周波数成分毎に得られる前記最大値を、前記ノイズ性質情報として検出させることができる。
【００１３】
前記ノイズ性質情報又は前記ノイズレベルの少なくとも一方に基づいて、前記第１の画像に生じているノイズを低減するノイズ低減部をさらに設けることができる。
【００１４】
前記ノイズ低減部は、前記ノイズ性質情報に基づいて、前記静止領域に生じているノイズを低減するための第１の補正量を算出する第１の補正量算出部と、前記ノイズレベルに基づいて、前記動き領域に生じているノイズを低減するための第２の補正量を算出する第２の補正量算出部と、前記第１の補正量と前記第２の補正量とを混合する混合部と、前記混合部の混合により得られる第３の補正量に基づいて、前記第１の画像の各画素の画素値を補正する補正部とを有するようにすることができる。
【００１５】
前記ノイズレベル検出部には、前記第１の画像上の前記平坦領域を構成する各画素に対応する前記差分の分散のうち、最頻の前記分散を、前記ノイズレベルとして検出させることができる。
【００１６】
本開示の一側面の画像処理方法は、入力される画像を処理する画像処理装置の画像処理方法であって、前記画像処理装置による、入力された第１の画像を構成する各画素の画素値の分散に基づいて、前記第１の画像上の、各画素の画素値が平坦な平坦領域を検出する平坦検出ステップと、前記第１の画像と、前記第１の画像の前又は後に連続する第２の画像との対応する画素の画素値どうしの差分を算出する差分算出ステップと、前記第１の画像上の前記平坦領域を構成する各画素に対応する前記差分の分散に基づいて、前記第１の画像を構成する各画素に生じているノイズの統計的なノイズ量を表すノイズレベルを検出するノイズレベル検出ステップと、前記第１の画像を構成する各画素に対応する前記差分の分散と前記ノイズレベルとの比較結果に基づいて、前記第１の画像上に存在するオブジェクトが静止している領域を表す静止領域、又は前記オブジェクトが動いている領域を表す動き領域の少なくとも一方を検出する動き検出ステップとを含む画像処理方法である。
【００１７】
本開示の一側面のプログラムは、コンピュータを、入力された第１の画像を構成する各画素の画素値の分散に基づいて、前記第１の画像上の、各画素の画素値が平坦な平坦領域を検出する平坦検出部と、前記第１の画像と、前記第１の画像の前又は後に連続する第２の画像との対応する画素の画素値どうしの差分を算出する差分算出部と、前記第１の画像上の前記平坦領域を構成する各画素に対応する前記差分の分散に基づいて、前記第１の画像を構成する各画素に生じているノイズの統計的なノイズ量を表すノイズレベルを検出するノイズレベル検出部と、前記第１の画像を構成する各画素に対応する前記差分の分散と前記ノイズレベルとの比較結果に基づいて、前記第１の画像上に存在するオブジェクトが静止している領域を表す静止領域、又は前記オブジェクトが動いている領域を表す動き領域の少なくとも一方を検出する動き検出部として機能させるためのプログラムである。
【００１８】
本開示によれば、入力された第１の画像を構成する各画素の画素値の分散に基づいて、前記第１の画像上の、各画素の画素値が平坦な平坦領域が検出され、前記第１の画像と、前記第１の画像の前又は後に連続する第２の画像との対応する画素の画素値どうしの差分が算出され、前記第１の画像上の前記平坦領域を構成する各画素に対応する前記差分の分散に基づいて、前記第１の画像を構成する各画素に生じているノイズの統計的なノイズ量を表すノイズレベルが検出され、前記第１の画像を構成する各画素に対応する前記差分の分散と前記ノイズレベルとの比較結果に基づいて、前記第１の画像上に存在するオブジェクトが静止している領域を表す静止領域、又は前記オブジェクトが動いている領域を表す動き領域の少なくとも一方が検出される。
【発明の効果】
【００１９】
本開示によれば、画像上の動き領域又は静止領域の少なくとも一方を精度良く検出することが可能となる。
【図面の簡単な説明】
【００２０】
【図１】第１の実施の形態である画像処理装置の構成例を示すブロック図である。
【図２】ノイズレベルを検出するためのヒストグラムの一例を示す図である。
【図３】動きレベルの一例を示す図である。
【図４】ノイズ性質検出部の詳細な構成例を示すブロック図である。
【図５】パワーレベルのヒストグラムの一例を示す図である。
【図６】ノイズ性質情報の一例を示す図である。
【図７】ノイズ性質情報の他の一例を示す図である。
【図８】時間方向NR部の詳細な構成例を示すブロック図である。
【図９】時間方向のノイズリダクションによりノイズを低減する様子の一例を示している。
【図１０】空間方向NR部の詳細な構成例を示すブロック図である。
【図１１】ノイズレベルに応じてイプシロンを決定する様子の一例を示す図である。
【図１２】混合部の詳細な構成例を示すブロック図である。
【図１３】混合部による混合の程度を表す重みを決定する様子の一例を示す図である。
【図１４】図１の画像処理装置が行う画像処理を説明するためのフローチャートである。
【図１５】第２の実施の形態である画像処理装置の構成例を示すブロック図である。
【図１６】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下、本開示における実施の形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（ノイズレベルに応じて、静止領域と動き領域とを区別するようにして、動き適応型のノイズリダクションを行う場合の一例）
２．第２の実施の形態（ノイズレベルに応じて、静止領域と動き領域とを区別するようにして、動き補償型のノイズリダクションを行う場合の一例）
３．変形例
【００２２】
＜１．第１の実施の形態＞
[画像処理装置２１の構成例]
図１は、第１の実施の形態である画像処理装置２１の構成例を示している。
【００２３】
なお、この画像処理装置２１は、例えば、撮像を行う撮像部（図示せず）と、その撮像により得られる各フレームにより構成される動画像を記憶するハードディスク（図示せず）との間に設けられる。そして、この画像処理装置２１は、撮像部の撮像によりn番目に得られるフレームnに生じているノイズを除去（低減）するノイズ除去処理を行い、ノイズ除去処理後のフレームnをハードディスクに供給して記憶させる。
【００２４】
ここで、本実施の形態では、フレーム（の画像）に生じているノイズを除去することについて説明するが、その他、例えば、フィールド（の画像）に生じているノイズを除去するように構成できる。
【００２５】
画像処理装置２１は、差分算出部４１、平坦検出部４２、ノイズレベル検出部４３、動きレベル検出部４４、ノイズ性質検出部４５、時間方向NR(noise reduction)部４６、空間方向NR部４７、混合部４８、及び補正部４９から構成される。
【００２６】
差分算出部４１には、例えば、図示せぬ撮像部の撮像により得られるフレームn-1及びフレームnが入力される。
【００２７】
差分算出部４１は、フレームn上の輝度値Y(x,y)から、フレームn-1上の輝度値Y(x,y)'を減算し、その減算により得られる差分値diffy(x,y)を、フレーム差分信号として、ノイズレベル検出部４３乃至時間方向NR部４６に供給する。
【００２８】
ここで、輝度値Y(x,y)とは、例えば、フレームnの左上を原点(0,0)とし、水平方向の座標をxとし、垂直方向の座標をyとしたときの位置(x,y)に存在する画素p(x,y)の輝度値を表す。このことは、輝度値Y(x,y)'についても同様である。
【００２９】
なお、第１の実施の形態では、フレームn上の画素の画素値として、輝度値Y(x,y)を補正してノイズを除去することを説明するが、補正の対象とされる画素値は、輝度値Y(x,y)に限定されない。すなわち、例えば、輝度値Y(x,y)とともに、又は輝度値Y(x,y)に代えて、色差等も補正の対象とすることができる。
【００３０】
平坦検出部４２には、図示せぬ撮像部からフレームnが供給される。平坦検出部４２は、供給されるフレームnの各画素p(x,y)に順次注目し、注目している注目画素p(x,y)の平坦度f(x,y)を検出する。
【００３１】
すなわち、例えば、平坦検出部４２は、次式（１）を用いて、注目画素p(x,y)を中心とするブロック（以下、注目画素p(x,y)のブロックともいう）の輝度平均Ave0を算出する。
【数１】
【００３２】
ここで、注目画素p(x,y)のブロックは、注目画素p(x,y)を中心とするM×N(横×縦)個の画素により構成されており、輝度平均Ave0は、注目画素p(x,y)のブロックに含まれるM×N個の各画素の輝度値Y(x,y)の平均を表す。
【００３３】
平坦検出部４２は、算出した輝度平均Ave0と、注目画素p(x,y)のブロックを構成するM×N個の各画素の輝度値Y(x,y)に基づいて、次式（２）により、注目画素p(x,y)の空間分散値var0を算出する。
【数２】
【００３４】
ここで、空間分散値var0とは、注目画素p(x,y)の輝度値Y(x,y)の分散を表す。また、空間分散値var0が小さい程に、フレームn上の、注目画素p(x,y)のブロック（が表す領域）は、各画素の輝度値Y(x,y)が平坦な領域となる。すなわち、注目画素p(x,y)のブロックにおける各画素の輝度値Y(x,y)が（殆ど）同一となる領域、つまり、注目画素p(x,y)のブロックにおける各画素の輝度値Y(x,y)どうしの変化が（殆ど）ない領域となる。
【００３５】
したがって、平坦検出部４２は、注目画素p(x,y)の空間分散値var0の逆数1/var0を、注目画素p(x,y)の平坦度f(x,y)(=1/var0)として検出する。この場合、平坦度f(x,y)が高い程に、対応する注目画素p(x,y)は平坦なものとなる。
【００３６】
平坦検出部４２は、フレームn上の各画素p(x,y)毎に検出された平坦度f(x,y)が、予め決められた閾値以上であるか否かを判定する。
【００３７】
そして、平坦検出部４２は、その判定結果に基づいて、予め決められた閾値以上となる平坦度f(x,y)に対応する画素p(x,y)により構成される平坦な領域を、平坦領域D(x,y)として検出し、ノイズレベル検出部４３に供給する。
【００３８】
ノイズレベル検出部４３は、差分算出部４１からのフレーム差分信号としての複数の差分値diffy(x,y)のうち、平坦検出部４２からの平坦領域D(x,y)に対応する差分値diffy(x,y)に基づいて、フレームnのノイズレベルを検出する。
【００３９】
ここで、ノイズレベルとは、フレームn上の各画素p(x,y)に生じているノイズの統計的な量を表す。
【００４０】
なお、ノイズレベル検出部４３において、平坦領域D(x,y)に対応する差分値diffy(x,y)を用いてノイズレベルを検出するのは、以下の理由による。
【００４１】
すなわち、差分値diffy(x,y)は、主に、フレーム上に存在するオブジェクトの動き等により、フレームn-1とフレームnとの対応する画素どうしの位置がずれる位置ズレと、フレーム上の画素に生じるノイズとにより変化する。
【００４２】
上述のように、ノイズレベル検出部４３は、フレームn上の各画素p(x,y)に生じているノイズの統計的な量を表すノイズレベルを検出する。このため、ノイズレベルの検出に用いる差分値diffy(x,y)は、対応する画素どうしの位置ズレでは変化せず、フレーム上の画素に生じるノイズにより変化するという条件を満たすものであることが望ましい。
【００４３】
上述したように、平坦領域D(x,y)とは、平坦領域D(x,y)を構成する各画素の輝度値Y(x,y)が（殆ど）同一となる領域である。このため、平坦領域D(x,y)において、位置ズレが生じたとしても、平坦領域D(x,y)に対応する差分値diffy(x,y)は、殆ど変化せず、フレーム上の画素に生じるノイズにより変化するものとなり、上述の条件を満たす。
【００４４】
よって、ノイズレベル検出部４３は、平坦領域D(x,y)に対応する差分値diffy(x,y)に基づいて、ノイズレベルを検出するようにしている。
【００４５】
すなわち、例えば、ノイズレベル検出部４３は、フレームn上の平坦領域D(x,y)を構成する各画素p(x,y)dに順次注目し、次式（３）により、注目している注目画素p(x,y)dのブロックにおける差分平均Ave1を算出する。
【数３】
【００４６】
ここで、差分平均Ave1は、注目画素p(x,y)dのブロックを構成する各画素に対応する差分値diffy(x,y)の平均を表す。
【００４７】
ノイズレベル検出部４３は、算出した差分平均Ave1と、注目画素p(x,y)dのブロックを構成する各画素に対応する差分値diffy(x,y)に基づいて、次式（４）により、注目画素p(x,y)dの時間分散値var1を算出する。
【数４】
【００４８】
ここで、時間分散値var1とは、注目画素p(x,y)dに対応する差分値diffy(x,y)の分散を表す。
【００４９】
いまの場合、ノイズレベル検出部４３は、差分値diffy(x,y)が、フレーム上の画素に生じるノイズのみにより変化する平坦領域D(x,y)上の各画素p(x,y)dについて、時間分散値var1を算出するようにしている。
【００５０】
したがって、この時間分散値var1は、平坦領域D(x,y)上の各画素p(x,y)dに生じているノイズの量を表すものとなる。
【００５１】
ノイズレベル検出部４３は、フレームn上の平坦領域D(x,y)を構成する各画素p(x,y)dにすべて注目し、各画素p(x,y)d毎に時間分散値var1を算出する。そして、ノイズレベル検出部４３は、算出した各画素p(x,y)d毎の時間分散値var1に基づいて、図２に示されるようなヒストグラムを計測する。なお、図２において、横軸は時間分散値var1を表し、縦軸は画素p(x,y)dの画素の画素数を表す。
【００５２】
ノイズレベル検出部４３は、計測したヒストグラムの極大部分(頻度の最も高い時間分散値var1)を、ノイズレベルとして、動きレベル検出部４４に供給する。
【００５３】
動きレベル検出部４４は、差分算出部４１からのフレーム差分信号としての差分値diffy(x,y)に基づいて、式（３）及び（４）により、フレームn上の各画素p(x,y)の時間分散値var1を算出する。
【００５４】
そして、動きレベル検出部４４は、算出したフレームn上の各画素p(x,y)の時間分散値var1が、ノイズレベル検出部４３のからのノイズレベル以下であるか否かに基づいて、フレームn上の静止領域Ds(x,y)を検出する。
【００５５】
なお、静止領域Ds(x,y)とは、領域Ds(x,y)上に存在するオブジェクトが静止している（動いていない）領域をいい、対応する差分値diffy(x,y)が所定の閾値未満となる領域をいう。
【００５６】
ここで、静止領域Ds(x,y)では、静止領域Ds(x,y)上に存在するオブジェクトが静止しているため、そのオブジェクトの動きによる差分値diffy(x,y)の増加はなく、ノイズに起因して差分値diffy(x,y)が増加する。
【００５７】
したがって、静止領域Ds(x,y)上の画素p(x,y)の時間分散値var1は、フレームnの各画素p(x,y)に生じている統計的なノイズの量を表すノイズレベル以下となる。
【００５８】
また、フレームn上の動き領域では、画素に生じているノイズの他、動き領域上に存在するオブジェクトの動きに起因して、差分値diffy(x,y)が増加する。なお、動き領域とは、その領域上に存在するオブジェクトが動いている領域をいい、対応する差分値diffy(x,y)が所定の閾値以上となる領域をいう。
【００５９】
したがって、動き領域上の画素p(x,y)の時間分散値var1は、フレームnの各画素p(x,y)に生じている統計的なノイズの量を表すノイズレベルよりも大となる。
【００６０】
よって、動きレベル検出部４４は、上述のように、算出したフレームn上の各画素p(x,y)の時間分散値var1が、ノイズレベル検出部４３からのノイズレベル以下であるか否かに基づいて、フレームn上の静止領域Ds(x,y)を検出する。
【００６１】
動きレベル検出部４４は、検出した静止領域Ds(x,y)（を表す情報）を、ノイズ性質検出部４５に供給する。
【００６２】
また、例えば、動きレベル検出部４４は、図３に示されるように、フレームn上の各画素p(x,y)の時間分散値var1を、それぞれ、最大の時間分散値max(var1)で正規化(除算)して、各画素の動きレベルを検出し、混合部４８に供給する。
【００６３】
なお、図３に示されるように、時間分散値var1がノイズレベルであるときの動きレベルが0.5である場合、0.5以下の動きレベルに対応する画素p(x,y)は、静止領域Ds(x,y)上の画素p(x,y)とされ、0.5より大の動きレベルに対応する画素p(x,y)は、動き領域上の画素p(x,y)とされる。
【００６４】
ノイズ性質検出部４５は、差分算出部４１からのフレーム差分信号としての複数の差分値diffy(x,y)のうち、動きレベル検出部４４からの静止領域Ds(x,y)に対応する差分値diffy(x,y)に基づいて、静止領域Ds(x,y)に生じているノイズの性質を表すノイズ性質情報を検出する。
【００６５】
ここで、静止領域Ds(x,y)上に存在するオブジェクトは、フレームn-1からフレームnにおいて静止している（動かない）ので、静止領域Ds(x,y)に対応する差分値diffy(x,y)は、静止領域Ds(x,y)上に生じるノイズのみに応じて変化するものとなる。
【００６６】
このため、ノイズ性質検出部４５は、静止領域Ds(x,y)に対応する差分値diffy(x,y)に基づいて、ノイズ性質情報を検出する。なお、ノイズ性質検出部４５の詳細は、図４を参照して詳述する。
【００６７】
時間方向NR部４６は、差分算出部４１からのフレーム差分信号としての差分値diffy(x,y)、及びノイズ性質検出部４５からのノイズ性質情報に基づいて、補正量Aを算出して混合部４８に供給する。
【００６８】
ここで、補正量Aとは、フレームn上の静止領域Ds(x,y)に生じているノイズを時間方向に除去するために、フレームnの輝度値Y(x,y)の負値{-Y(x,y)}と加算される値である。
【００６９】
なお、時間方向NR部４６が行う処理の詳細は、図８及び図９を参照して詳述する。
【００７０】
空間方向NR部４７は、図示せぬ撮像部からのフレームnと、ノイズレベル検出部４３からのノイズレベルとに基づいて、補正量Bを算出して混合部４８に供給する。
【００７１】
ここで、補正量Bとは、フレームn上の動き領域に生じているノイズを空間方向に除去するために、フレームnの輝度値Y(x,y)の負値{-Y(x,y)}と加算される値である。
【００７２】
なお、空間方向NR部４７が行う処理の詳細は、図１０及び図１１を参照して詳述する。
【００７３】
混合部４８は、動きレベル検出部４４からの、フレームn上の各画素毎の動きレベルに基づいて、フレームn上の各画素毎に、時間方向NR部４６からの補正量A、及び空間方向NR部４７からの補正量Bを混合する。
【００７４】
すなわち、例えば、混合部４８は、動きレベル検出部４４からの動きレベルに基づいて、補正量Aに乗算される重み（1-α）と、補正量Bに乗算される重みαを決定する。但し、重みαは０以上１以下の値とされる。
【００７５】
そして、混合部４８は、補正量Aと補正量Bとを、（1-α）対αの割合で混合し、その混合結果{(1-α)×A+α×B}を、補正量Cとして、補正部４９に供給する。なお、混合部４８が行う処理の詳細は、図１２及び図１３を参照して詳述する。
【００７６】
補正部４９は、混合部４８からの補正量Cに基づいて、図示せぬ撮像部からのフレームnを補正して、例えば図示せぬハードディスク等に供給して記憶させる。
【００７７】
すなわち、例えば、補正部４９は、混合部４８から供給される、フレームn上の各画素の補正量C(=(1-α)×A+α×B)から、図示せぬ撮像部からのフレームnの各画素のうち、対応する輝度値Y(x,y)を減算する（輝度値{-Y(x,y)}を加算する）。
【００７８】
そして、補正部４９は、その減算により、フレームn上の各画素毎に得られる値を輝度値とするフレームを、補正後のフレームnとして、図示せぬハードディスク等に供給して記憶させる。
【００７９】
[ノイズ性質検出部４５の詳細]
次に、図４は、ノイズ性質検出部４５の詳細な構成例を示している。
【００８０】
ノイズ性質検出部４５は、帯域分離部６１、ヒストグラム計測部６２乃至６５から構成される。
【００８１】
帯域分離部６１は、差分算出部４１からのフレーム差分信号を、異なる周波数成分（例えば、高域成分、中高域成分、中低域成分、及び低域成分等）毎のパワーレベルに分離する。
【００８２】
ここで、パワーレベルとは、フレーム差分信号としての各差分値diffy(x,y)毎に算出されるものであり、所定の周波数成分に分離する際に用いるフィルタ係数と、フレーム差分信号としての差分値diffy(x,y)との積和演算により算出される。
【００８３】
すなわち、例えば、帯域分離部６１は、差分算出部４１からのフレーム差分信号としての複数の差分値diffy(x,y)に順次注目する。
【００８４】
帯域分離部６１は、フレーム差分信号に対応する差分フレームのうち、注目している注目差分値diffy(x,y)を中心とするブロックを構成する各画素の差分値diffy(x,y)と、高域成分を分離するためにフィルタ係数wとのそれぞれによる積和演算を演算する。
【００８５】
そして、帯域分離部６１は、積和演算により得られる、注目差分値diffy(x,y)の高域パワーレベルを、ヒストグラム計測部６２に供給する。これにより、帯域分離部６１からヒストグラム計測部６２には、フレーム差分信号に対応する各差分値diffy(x,y)毎の高域パワーレベルが供給される。
【００８６】
ヒストグラム計測部６２は、動きレベル検出部４４からの静止領域Ds(x,y)に対応する各差分値diffy(x,y)毎の高域パワーレベルPL(x,y)について、例えば図５に示されるような分布のヒストグラム（高域パワーヒストグラム）を計測する。なお、図５において、横軸は、高域パワーレベルを表し、縦軸は高域パワーレベルPL(x,y)に対応する静止領域Ds(x,y)上の画素の画素数を表す。
【００８７】
ここで、上述したように、静止領域Ds(x,y)に対応する各差分値diffy(x,y)は、静止領域Ds(x,y)に生じるノイズのみに応じて変化する。
【００８８】
このため、高域パワーレベルPL(x,y)は、フレームn上の静止領域Ds(x,y)の高域成分に生じているノイズの高域パワーレベルを表す。したがって、高域パワーヒストグラムは、フレームn上の静止領域Ds(x,y)の高域成分に生じているノイズの高域パワーレベルの分布を表している。
【００８９】
ヒストグラム計測部６２は、高域パワーヒストグラムに基づいて、高域パワーレベルの最大値を、高域ノイズパワー最大値として、時間方向NR部４６に供給する。
【００９０】
なお、帯域分離部６１は、同様にして、フレーム差分信号に対応する各差分値diffy(x,y)毎の中高域パワーレベルを算出し、ヒストグラム計測部６３に供給する。また、帯域分離部６１は、フレーム差分信号に対応する各差分値diffy(x,y)毎の中低域パワーレベルを算出し、ヒストグラム計測部６４に供給する。さらに、帯域分離部６１は、フレーム差分信号に対応する各差分値diffy(x,y)毎の低域パワーレベルを算出し、ヒストグラム計測部６５に供給する。
【００９１】
ヒストグラム計測部６３乃至６５には、ヒストグラム計測部６２と同様に、動きレベル検出部４４から静止領域が供給され、ヒストグラム計測部６３乃至６５は、ヒストグラム計測部６２と同様の処理を行う。
【００９２】
すなわち、例えば、ヒストグラム計測部６３は、中高域パワーヒストグラムに基づいて、中高域パワーレベルの最大値を、中高域ノイズパワー最大値として、時間方向NR部４６に供給する。また、ヒストグラム計測部６４は、中低域パワーヒストグラムに基づいて、中低域パワーレベルの最大値を、中低域ノイズパワー最大値として、時間方向NR部４６に供給する。さらに、ヒストグラム計測部６５は、低域パワーヒストグラムに基づいて、低域パワーレベルの最大値を、低域ノイズパワー最大値として、時間方向NR部４６に供給する。
【００９３】
換言すれば、高域ノイズパワー最大値、中高域ノイズパワー最大値、中低域ノイズパワー最大値、及び低域ノイズパワー最大値が、ノイズ性質情報として、ヒストグラム計測部６２乃至６５から時間方向NR部４６に供給される。
【００９４】
次に、図６及び図７を参照して、高域ノイズパワー最大値、中高域ノイズパワー最大値、中低域ノイズパワー最大値、及び低域ノイズパワー最大値が、静止領域Ds(x,y)上に生じているノイズの性質を表すことを説明する。
【００９５】
図６は、MPEG(moving picture experts group)圧縮等により圧縮されていないフレームnのノイズ性質情報の一例を示している。
【００９６】
図６A乃至図６Dには、ノイズ性質情報として、それぞれ、高域ノイズパワー最大値、中高域ノイズパワー最大値、中低域ノイズパワー最大値、及び低域ノイズパワー最大値が示されている。
【００９７】
フレームnが、MPEG圧縮等により圧縮されていない場合、図６A乃至図６Dに示されるように、高域ノイズパワー最大値、中高域ノイズパワー最大値、中低域ノイズパワー最大値、及び低域ノイズパワー最大値のいずれも殆ど等しいものとなる。
【００９８】
つまり、フレームn上の静止領域Ds(x,y)に生じているノイズの性質として、いずれの周波数成分においても、同様のノイズが生じていることがわかる。
【００９９】
図７は、MPEG圧縮等により圧縮されたフレームnのノイズ性質情報の一例を示している。
【０１００】
図７A乃至図７Dには、ノイズ性質情報として、それぞれ、高域ノイズパワー最大値、中高域ノイズパワー最大値、中低域ノイズパワー最大値、及び低域ノイズパワー最大値が示されている。
【０１０１】
フレームnが、MPEG圧縮等により圧縮されている場合、高域成分ほど粗く量子化されるため、図７A乃至図７Dに示されるように、周波数成分が高い程に、ノイズパワー最大値が小さくなることがわかる。
【０１０２】
つまり、フレームn上の静止領域Ds(x,y)に生じているノイズの性質として、周波数成分が高い程に、ノイズパワー最大値が小さくなっていることがわかる。
【０１０３】
[時間方向NR部４６の詳細]
次に、図８は、時間方向NR部４６の詳細な構成例を示している。
【０１０４】
時間方向NR部４６は、帯域分離部８１、補正部８２乃至８５、及び帯域合成部８６から構成される。
【０１０５】
帯域分離部８１は、帯域分離部６１と同様にして、差分算出部４１からのフレーム差分信号を、高域パワーレベル、中高域パワーレベル、中低域パワーレベル、及び低域パワーレベルに分離する。
【０１０６】
そして、帯域分離部８１は、高域パワーレベルを補正部８２、中高域パワーレベルを補正部８３、中低域パワーレベルを補正部８４、低域パワーレベルを補正部８５にそれぞれ供給する。
【０１０７】
補正部８２には、図４のヒストグラム計測部６２から高域ノイズパワー最大値が供給される。補正部８２は、帯域分離部８１からの高域パワーレベルのうち、ヒストグラム計測部６２からの高域ノイズパワー最大値以下の高域パワーレベルに対して、ノイズ除去処理を施す。
【０１０８】
すなわち、高域ノイズパワー最大値は、フレームn上の静止領域Ds(x,y)に生じているノイズの高域パワーレベルの最大値を表している。したがって、高域ノイズパワー最大値以下の高域パワーレベルは、画素の動きに起因するものではなく、ノイズに起因するものであるため、時間方向におけるノイズ除去処理の対象とされる。
【０１０９】
したがって、例えば、補正部８２は、高域ノイズパワー最大値に近づくにつれてノイズの除去量を大きくし、高域ノイズパワー最大値から遠のくにつれ、ノイズの除去量を小さくする。
【０１１０】
次に、図９は、補正部８２が行うノイズ除去処理の様子を示している。
【０１１１】
図９において、関数１０１は、ノイズを除去する程度を表す除去量を表しており、関数１０２は、補正部８２から入力される高域パワーレベルを、除去量に応じて補正して得られる補正後の高域パワーレベルの出力を表す。
【０１１２】
補正部８２は、帯域分離部８１からの高域パワーレベルを、関数１０２のように、高域ノイズパワー最大値に近づくにつれて大きく補正するようにして得られる高域補正パワーレベルを帯域合成部８６に供給する。
【０１１３】
なお、補正部８３乃至８５は、補正部８２と同様の処理を行う。
【０１１４】
すなわち、例えば、補正部８３は、帯域分離部８１からの中高域パワーレベルのうち、ヒストグラム計測部６３からの中高域ノイズパワー最大値以下の中高域パワーレベルに対して、補正部８２と同様のノイズ除去処理を施し、その結果得られる中高域補正パワーレベルを帯域合成部８６に供給する。
【０１１５】
また、例えば、補正部８４は、帯域分離部８１からの中低域パワーレベルのうち、ヒストグラム計測部６４からの中低域ノイズパワー最大値以下の中低域パワーレベルに対して、補正部８２と同様のノイズ除去処理を施し、その結果得られる中低域補正パワーレベルを帯域合成部８６に供給する。
【０１１６】
さらに、例えば、補正部８５は、帯域分離部８１からの低域パワーレベルのうち、ヒストグラム計測部６５からの低域ノイズパワー最大値以下の低域パワーレベルに対して、補正部８２と同様のノイズ除去処理を施し、その結果得られる低域補正パワーレベルを帯域合成部８６に供給する。
【０１１７】
帯域合成部８６は、補正部８２からの高域補正パワーレベル、補正部８３からの中高域補正パワーレベル、補正部８４からの中低域補正パワーレベル、及び補正部８５からの低域補正パワーレベルを合成し、その結果得られる補正量Aを混合部４８に供給する。なお、補正量Aは、フレームnの各画素毎に算出される。
【０１１８】
[空間方向NR部４７の詳細]
図１０は、空間方向NR部４７の詳細な構成例を示している。
【０１１９】
空間方向NR部４７は、イプシロン算出部１２１、垂直処理部１２２、及び水平処理部１２３から構成される。
【０１２０】
イプシロン算出部１２１は、ノイズレベル検出部４３からのノイズレベルに基づいて、図１１に示されるようにして、イプシロンフィルタに用いる値ε（イプシロン）を算出し、垂直処理部１２２及び水平処理部１２３に供給する。
【０１２１】
垂直処理部１２２は、図示せぬ撮像部からのフレームnに対して、垂直方向にイプシロンフィルタを用いたフィルタ処理を行う。すなわち、例えば、垂直処理部１２２は、図示せぬ撮像部からのフレームnの各画素に注目し、注目している画素と垂直方向に隣接している画素との画素値の差分絶対値を算出する。
【０１２２】
そして、垂直処理部１２２は、算出した差分絶対値が、イプシロン算出部１２１からの値ε以上ではない場合、フレームn上の注目画素に対して、ローパスフィルタを用いたフィルタ処理を施す。なお、垂直処理部１２２は、算出した差分絶対値が、イプシロン算出部１２１からの値ε以上である場合、フィルタ処理を行わない。
【０１２３】
垂直処理部１２２は、フレームn上の各画素全てに注目した後、処理後のフレームnを、水平処理部１２３に供給する。
【０１２４】
水平処理部１２３は、垂直処理部１２２からのフレームnに対して、水平方向にイプシロンフィルタを用いたフィルタ処理を行う。すなわち、例えば、水平処理部１２３は、垂直処理部１２２からのフレームnの各画素に注目し、注目している画素と水平方向に隣接している画素との画素値の差分絶対値を算出する。
【０１２５】
そして、水平処理部１２３は、算出した差分絶対値が、イプシロン算出部１２１からの値ε以上ではない場合、フレームn上の注目画素に対して、ローパスフィルタを用いたフィルタ処理を施す。なお、水平処理部１２３は、算出した差分絶対値が、イプシロン算出部１２１からの値ε以上である場合、フィルタ処理を行わない。
【０１２６】
水平処理部１２３は、フレームn上の各画素全てに注目した後、処理後のフレームnの各画素の輝度値を、フレームnの各画素毎の補正量Bとして、混合部４８に供給する。
【０１２７】
[混合部４８の詳細]
図１２は、混合部４８の詳細な構成例を示している。
【０１２８】
混合部４８は、重み計算部１４１、減算部１４２、乗算部１４３、乗算部１４４、及び加算部１４５から構成される。
【０１２９】
重み計算部１４１は、動きレベル検出部４４からの、フレームnの各画素毎の動きレベルに基づいて、各画素毎に、輝度値Y(x,y)と乗算される補正量Bの重みαを計算し、減算部１４２及び乗算部１４３に供給する。
【０１３０】
減算部１４２は、予め保持している値１から、重み計算部１４１からの重みαを減算して得られる重み(1-α)を、乗算部１４４に供給する。
【０１３１】
乗算部１４３は、空間方向NR部４７からの補正量Bに対して、重み計算部１４１からの重みαを乗算し、その乗算結果(α×B)を、加算部１４５に供給する。
【０１３２】
乗算部１４４は、時間方向NR部４６からの補正量Aに対して、減算部１４２からの重み(1-α)を乗算し、その乗算結果{(1-α)×A}を、加算部１４５に供給する。
【０１３３】
加算部１４５は、乗算部１４３からの乗算結果(α×B)、及び乗算部１４４からの乗算結果{(1-α)×A}を加算し、その加算結果{(1-α)×A+α×B}を、補正量Cとして、補正部４９に供給する。
【０１３４】
すなわち、混合部４８は、図１３に示されるように、フレームnの各画素の動きレベルに応じて、補正量Bの重みαを決定するようにしている。
【０１３５】
[画像処理装置２１の動作説明]
次に、図１４のフローチャートを参照して、画像処理装置２１が行う画像処理について説明する。
【０１３６】
この画像処理は、図示せぬ撮像部の撮像により得られる動画像を構成するフレームnが供給されたときに開始される。
【０１３７】
ステップＳ２１において、差分算出部４１は、図示せぬ撮像部から入力されるフレームn上の輝度値Y(x,y)から、フレームn-1上の輝度値Y(x,y)'を減算し、その結果得られる差分値diffy(x,y)を、フレーム差分信号としてノイズレベル検出部４３乃至時間方向NR部４６に供給する。
【０１３８】
ステップＳ２２において、平坦検出部４２には、図示せぬ撮像部から入力されるフレームnの各画素p(x,y)に注目し、式（１）及び（２）により、注目している注目画素p(x,y)の輝度値Y(x,y)の分散を表す空間分散値var0を算出する。
【０１３９】
また、平坦検出部４２は、フレームnの各画素p(x,y)全てに注目した後、フレームnの各画素p(x,y)毎に算出された空間分散値var0に基づいて、各画素p(x,y)毎の平坦度f(x,y)を検出する。
【０１４０】
そして、平坦検出部４２は、フレームn上の各画素p(x,y)毎に検出された平坦度f(x,y)に基づいて、フレームn上の平坦領域D(x,y)を検出し、ノイズレベル検出部４３に供給する。
【０１４１】
ステップＳ２３において、ノイズレベル検出部４３は、差分算出部４１からのフレーム差分信号としての複数の差分値diffy(x,y)のうち、平坦検出部４２からの平坦領域D(x,y)に対応する差分値diffy(x,y)に基づいて、式（３）及び（４）により、平坦領域D(x,y)に対応する差分値diffy(x,y)の分散を表す時間分散値var1を算出する。
【０１４２】
そして、ノイズレベル検出部４３は、図２に示されるように、算出した時間分散値var1の分布に基づいて、フレームnのノイズレベルを検出し、動きレベル検出部４４及び空間方向NR部４７に供給する。
【０１４３】
ステップＳ２４において、動きレベル検出部４４は、差分算出部４１からのフレーム差分信号としての差分値diffy(x,y)に基づいて、式（３）及び（４）により、フレームn上の各画素p(x,y)の時間分散値var1を算出する。
【０１４４】
そして、動きレベル検出部４４は、算出したフレームn上の各画素p(x,y)の時間分散値var1が、ノイズレベル検出部４３のから供給されるノイズレベル以下であるか否かに基づいて、フレームn上の静止領域Ds(x,y)を検出し、ノイズ性質検出部４５に供給する。
【０１４５】
ステップＳ２５において、動きレベル検出部４４は、図３に示されるように、フレームn上の各画素p(x,y)の時間分散値var1を、それぞれ、最大時間分散値max(var1)で正規化(除算)して、各画素の動きレベルを検出し、混合部４８に供給する。
【０１４６】
ステップＳ２６において、ノイズ性質検出部４５は、差分算出部４１からのフレーム差分信号としての各差分値diffy(x,y)のうち、動きレベル検出部４４からの静止領域Ds(x,y)に対応する差分値diffy(x,y)に基づいて、静止領域Ds(x,y)のノイズ性質情報を検出し、時間方向NR部４６に供給する。
【０１４７】
ステップＳ２７において、時間方向NR部４６は、差分算出部４１からのフレーム差分信号としての差分値diffy(x,y)、及びノイズ性質検出部４５からのノイズ性質情報に基づいて、補正量Aを算出して混合部４８に供給する。
【０１４８】
ステップＳ２８において、空間方向NR部４７は、図示せぬ撮像部からのフレームnと、ノイズレベル検出部４３からのノイズレベルとに基づいて、補正量Bを算出して混合部４８に供給する。
【０１４９】
ステップＳ２９において、混合部４８は、動きレベル検出部４４からの、フレームnの各画素毎の動きレベルに基づいて、フレームn上の各画素毎に、時間方向NR部４６からの補正量A、及び空間方向NR部４７からの補正量Bを、所定の割合で混合し、その混合結果として得られる補正量Cを、補正部４９に供給する。
【０１５０】
ステップＳ３０において、補正部４９は、混合部４８からの補正量Cに基づいて、図示せぬ撮像部からのフレームnを補正して、図示せぬハードディスク等に供給して記憶させる。図示せぬ撮像部からのフレームnを全て処理した後、画像処理は終了される。
【０１５１】
以上説明したように、画像処理によれば、ノイズレベルに応じて、静止領域を検出するようにしたので、フレームに生じているノイズのノイズ量の多寡に拘らず、精度良く静止領域を検出することが可能となる。
【０１５２】
また、動きレベル検出部４４は、フレームn上の各画素p(x,y)の時間分散値var1が、ノイズレベル検出部４３からのノイズレベル以下であるか否かに基づいて、フレームn上の静止領域Ds(x,y)とともに、又は静止領域Ds(x,y)に代えて、動き領域を検出するようにすることができる。
【０１５３】
この場合についても同様に、フレームnに生じているノイズのノイズ量の多寡に拘らず、精度良く動き領域を検出することが可能となる。
【０１５４】
したがって、フレームn上の静止領域と動き領域とを精度良く検出できるようになるので、静止領域と動き領域とで適切なノイズの除去を行なうことができるようになる。このため、例えば、動き領域に時間方向のノイズ除去を誤って行ってしまうことにより生じる動きボケ等を防止することが可能となる。
【０１５５】
また、画像処理によれば、ノイズのみに起因して差分値diffy(x,y)が変化する静止領域からノイズ性質情報を検出するようにした。したがって、例えば、ノイズの他、オブジェクトの動きに起因して差分値diffy(x,y)が変化する動き領域から、ノイズ性質情報を検出する場合と比較して、より正確なノイズ性質情報を検出することが可能となる。
【０１５６】
このため、例えば、AD(analog to digital)変換時のサンプリング誤差に起因して発生する伝送ノイズ、チューナ等に起因して発生する弱電界ノイズ、カメラの撮像素子に起因して発生するセンサノイズ、MPEG圧縮等により変質したノイズ、フレームを所定の大きさにスケーリングしたことにより周波数の劣化したノイズ等の、種々のノイズを精度良く除去することが可能となる。
【０１５７】
＜２．第２の実施の形態＞
[画像処理装置１６１の構成例]
図１５は、第２の実施の形態である画像処理装置１６１の構成例を示している。
【０１５８】
なお、画像処理装置１６１は、図１の画像処理装置２１と同様に構成される部分については、同一の符号を付しているため、それらの説明は、以下、適宜省略する。
【０１５９】
すなわち、この画像処理装置１６１は、図１の時間方向NR部４６乃至補正部４９に代えて、MC型NR部１８１が設けられている他は、同様に構成されている。
【０１６０】
MC型NR部１８１は、動き補償型(MC型)のノイズ除去（低減）を行う。
【０１６１】
すなわち、例えば、MC型NR部１８１は、図示せぬ撮像部からのフレームn-1及びフレームn、ノイズレベル検出部４３からのノイズレベル、動きレベル検出部４４からの各画素の動きレベル、及びノイズ性質検出部４５からのノイズ性質情報に基づいて、フレームnに生じているノイズを除去し、ノイズを除去後のフレームnを、図示せぬハードディスク等に供給して記憶させる。
【０１６２】
具体的には、例えば、MC型NR部１８１は、ノイズレベル検出部４３からのノイズレベルが予め決められた閾値未満である場合、フレームnにノイズが殆どないものと判定する。
【０１６３】
フレームnにノイズが殆どない場合、第１の実施の形態で説明したようにして静止領域等を検出する場合よりも、動きベクトルを用いて静止領域と動き領域とを検出する精度のほうが高いものとなる。
【０１６４】
したがって、この場合、例えば、MC型NR部１８１は、図示せぬ撮像部からのフレームnを複数のブロックに区分する。また、MC型NR部１８１は、図示せぬ撮像部からのフレームn-1及びフレームnに基づいて、フレームn上の複数のブロック毎に、そのブロックの動きを表す動きベクトルを検出する。
【０１６５】
そして、MC型NR部１８１は、複数のブロック毎の動きベクトルに基づいて、各ブロックが、静止領域であるのか、動き領域であるのかを検出する。
【０１６６】
MC型NR部１８１は、動き領域として検出されたブロックに対して、ノイズレベル検出部４３からのノイズレベルに応じた強さで、空間方向にノイズを除去する処理を行う。
【０１６７】
また、MC型NR部１８１は、静止領域として検出されたブロックに対して、ノイズ性質検出部４５からのノイズ性質情報に応じた強さで、周波数成分毎に、時間方向にノイズを除去する処理を行う。
【０１６８】
さらに、例えば、MC型NR部１８１は、ノイズレベル検出部４３からのノイズレベルが予め決められた閾値以上である場合、フレームnにノイズが多く生じているものと判定する。
【０１６９】
フレームnにノイズが多く生じている場合、動きベクトルを誤って検出する事態が生じ易くなるので、MC型NR部１８１は、図１の時間方向NR部４６乃至補正部４９と同様の処理を行うようにして、フレームn上のノイズを除去する。
【０１７０】
このように構成されるMC型NR部１８１では、静止領域と動き領域とを精度良く検出するようにしたので、動きボケが非常に少ないノイズの除去を行うことが可能となる。
【０１７１】
また、フレームnにノイズが多く生じている場合には、MC型NR部１８１は、図１の時間方向NR部４６乃至補正部４９と同様の処理を行うようにしたので、ブロックに生じているノイズに起因して、動きベクトルを誤って検出する事態を防止（抑止）できるようになる。
【０１７２】
このため、例えば、MC型NR部１８１では、動きベクトルを誤って検出してしまうことに起因して、静止領域と動き領域とで適切なノイズの除去を行うことができない場合に生じるノイズ暴れや水平線崩れのような事態を防止することが可能となる。
【０１７３】
ここで、ノイズ暴れとは、フレームn上に生じるノイズが止まったり動いたりを繰り返す現象をいい、水平線崩れとは、フレームn上のブロックに存在する水平線の輪郭がガタガタに崩れてしまう現象をいう。
【０１７４】
＜３．変形例＞
第１及び第２の実施の形態では、差分算出部４１において、フレームnの輝度値Y(x,y)から、フレームn-1の輝度値Y(x,y)'を減算して差分値diffy(x,y)を算出するようにしたが、差分値diffy(x,y)の算出方法は、これに限定されない。
【０１７５】
すなわち、例えば、差分算出部４１は、フレームnの輝度値Y(x,y)から、フレームn+1の輝度値Y(x,y)''を減算して差分値diffy(x,y)を算出するようにしてもよい。
【０１７６】
なお、本技術は、以下のような構成をとることができる。
（１）入力された第１の画像を構成する各画素の画素値の分散に基づいて、前記第１の画像上の、各画素の画素値が平坦な平坦領域を検出する平坦検出部と、前記第１の画像と、前記第１の画像の前又は後に連続する第２の画像との対応する画素の画素値どうしの差分を算出する差分算出部と、前記第１の画像上の前記平坦領域を構成する各画素に対応する前記差分の分散に基づいて、前記第１の画像を構成する各画素に生じているノイズの統計的なノイズ量を表すノイズレベルを検出するノイズレベル検出部と、前記第１の画像を構成する各画素に対応する前記差分の分散と前記ノイズレベルとの比較結果に基づいて、前記第１の画像上に存在するオブジェクトが静止している領域を表す静止領域、又は前記オブジェクトが動いている領域を表す動き領域の少なくとも一方を検出する動き検出部とを含む画像処理装置。
（２）前記第１の画像上の前記静止領域を構成する各画素に対応する前記差分に基づいて、前記静止領域に生じているノイズの性質を表すノイズ性質情報を検出するノイズ性質検出部をさらに含む前記（１）に記載の画像処理装置。
（３）前記ノイズ検出性質部は、前記静止領域を構成する各画素に対応する前記差分を、それぞれ、予め決められた周波数成分に分離して得られる複数のパワーレベルの最大値であって、複数の前記周波数成分毎に得られる前記最大値を、前記ノイズ性質情報として検出する前記（２）に記載の画像処理装置。
（４）前記ノイズ性質情報又は前記ノイズレベルの少なくとも一方に基づいて、前記第１の画像に生じているノイズを低減するノイズ低減部をさらに含む前記（２）又は（３）に記載の画像処理装置。
（５）前記ノイズ低減部は、前記ノイズ性質情報に基づいて、前記静止領域に生じているノイズを低減するための第１の補正量を算出する第１の補正量算出部と、前記ノイズレベルに基づいて、前記動き領域に生じているノイズを低減するための第２の補正量を算出する第２の補正量算出部と、前記第１の補正量と前記第２の補正量とを混合する混合部と、前記混合部の混合により得られる第３の補正量に基づいて、前記第１の画像の各画素の画素値を補正する補正部とを有する前記（４）に記載の画像処理装置。
（６）前記ノイズレベル検出部は、前記第１の画像上の前記平坦領域を構成する各画素に対応する前記差分の分散のうち、最頻の前記分散を、前記ノイズレベルとして検出する前記（１）に記載の画像処理装置。
【０１７７】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。
【０１７８】
[コンピュータの構成例]
図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示している。
【０１７９】
CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２、又は記憶部２０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２０３には、CPU２０１が実行するプログラムやデータ等が適宜記憶される。これらのCPU２０１、ROM２０２、及びRAM２０３は、バス２０４により相互に接続されている。
【０１８０】
CPU２０１にはまた、バス２０４を介して入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホン等よりなる入力部２０６、ディスプレイ、スピーカ等よりなる出力部２０７が接続されている。CPU２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。
【０１８１】
入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、ネットワークやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
【０１８２】
また、通信部２０９を介してプログラムを取得し、記憶部２０８に記憶してもよい。
【０１８３】
入出力インタフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。
【０１８４】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録（記憶）する記録媒体は、図１６に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア２１１、又は、プログラムが一時的もしくは永続的に格納されるROM２０２や、記憶部２０８を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部２０９を介して、ローカルエリアネットワーク、ネットワーク、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
【０１８５】
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１８６】
また、本開示の実施の形態は、上述した本実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１８７】
２１ 画像処理装置， ４１ 差分算出部， ４２ 平坦検出部， ４３ ノイズレベル検出部， ４４ 動きレベル検出部， ４５ ノイズ性質検出部， ４６ 時間方向NR部， ４７ 空間方向NR部， ４８ 混合部， ４９ 補正部， １６１ 画像処理装置， １８１ MC型NR部
【特許請求の範囲】
【請求項１】
入力された第１の画像を構成する各画素の画素値の分散に基づいて、前記第１の画像上の、各画素の画素値が平坦な平坦領域を検出する平坦検出部と、
前記第１の画像と、前記第１の画像の前又は後に連続する第２の画像との対応する画素の画素値どうしの差分を算出する差分算出部と、
前記第１の画像上の前記平坦領域を構成する各画素に対応する前記差分の分散に基づいて、前記第１の画像を構成する各画素に生じているノイズの統計的なノイズ量を表すノイズレベルを検出するノイズレベル検出部と、
前記第１の画像を構成する各画素に対応する前記差分の分散と前記ノイズレベルとの比較結果に基づいて、前記第１の画像上に存在するオブジェクトが静止している領域を表す静止領域、又は前記オブジェクトが動いている領域を表す動き領域の少なくとも一方を検出する動き検出部と
を含む画像処理装置。
【請求項２】
前記第１の画像上の前記静止領域を構成する各画素に対応する前記差分に基づいて、前記静止領域に生じているノイズの性質を表すノイズ性質情報を検出するノイズ性質検出部を
さらに含む請求項１に記載の画像処理装置。
【請求項３】
前記ノイズ検出性質部は、前記静止領域を構成する各画素に対応する前記差分を、それぞれ、予め決められた周波数成分に分離して得られる複数のパワーレベルの最大値であって、複数の前記周波数成分毎に得られる前記最大値を、前記ノイズ性質情報として検出する
請求項２に記載の画像処理装置。
【請求項４】
前記ノイズ性質情報又は前記ノイズレベルの少なくとも一方に基づいて、前記第１の画像に生じているノイズを低減するノイズ低減部を
さらに含む請求項２に記載の画像処理装置。
【請求項５】
前記ノイズ低減部は、
前記ノイズ性質情報に基づいて、前記静止領域に生じているノイズを低減するための第１の補正量を算出する第１の補正量算出部と、
前記ノイズレベルに基づいて、前記動き領域に生じているノイズを低減するための第２の補正量を算出する第２の補正量算出部と、
前記第１の補正量と前記第２の補正量とを混合する混合部と、
前記混合部の混合により得られる第３の補正量に基づいて、前記第１の画像の各画素の画素値を補正する補正部と
を有する請求項４に記載の画像処理装置。
【請求項６】
前記ノイズレベル検出部は、前記第１の画像上の前記平坦領域を構成する各画素に対応する前記差分の分散のうち、最頻の前記分散を、前記ノイズレベルとして検出する
請求項１に記載の画像処理装置。
【請求項７】
入力される画像を処理する画像処理装置の画像処理方法において、
前記画像処理装置による、
入力された第１の画像を構成する各画素の画素値の分散に基づいて、前記第１の画像上の、各画素の画素値が平坦な平坦領域を検出する平坦検出ステップと、
前記第１の画像と、前記第１の画像の前又は後に連続する第２の画像との対応する画素の画素値どうしの差分を算出する差分算出ステップと、
前記第１の画像上の前記平坦領域を構成する各画素に対応する前記差分の分散に基づいて、前記第１の画像を構成する各画素に生じているノイズの統計的なノイズ量を表すノイズレベルを検出するノイズレベル検出ステップと、
前記第１の画像を構成する各画素に対応する前記差分の分散と前記ノイズレベルとの比較結果に基づいて、前記第１の画像上に存在するオブジェクトが静止している領域を表す静止領域、又は前記オブジェクトが動いている領域を表す動き領域の少なくとも一方を検出する動き検出ステップと
を含む画像処理方法。
【請求項８】
コンピュータを、
入力された第１の画像を構成する各画素の画素値の分散に基づいて、前記第１の画像上の、各画素の画素値が平坦な平坦領域を検出する平坦検出部と、
前記第１の画像と、前記第１の画像の前又は後に連続する第２の画像との対応する画素の画素値どうしの差分を算出する差分算出部と、
前記第１の画像上の前記平坦領域を構成する各画素に対応する前記差分の分散に基づいて、前記第１の画像を構成する各画素に生じているノイズの統計的なノイズ量を表すノイズレベルを検出するノイズレベル検出部と、
前記第１の画像を構成する各画素に対応する前記差分の分散と前記ノイズレベルとの比較結果に基づいて、前記第１の画像上に存在するオブジェクトが静止している領域を表す静止領域、又は前記オブジェクトが動いている領域を表す動き領域の少なくとも一方を検出する動き検出部と
して機能させるためのプログラム。
【請求項１】
入力された第１の画像を構成する各画素の画素値の分散に基づいて、前記第１の画像上の、各画素の画素値が平坦な平坦領域を検出する平坦検出部と、
前記第１の画像と、前記第１の画像の前又は後に連続する第２の画像との対応する画素の画素値どうしの差分を算出する差分算出部と、
前記第１の画像上の前記平坦領域を構成する各画素に対応する前記差分の分散に基づいて、前記第１の画像を構成する各画素に生じているノイズの統計的なノイズ量を表すノイズレベルを検出するノイズレベル検出部と、
前記第１の画像を構成する各画素に対応する前記差分の分散と前記ノイズレベルとの比較結果に基づいて、前記第１の画像上に存在するオブジェクトが静止している領域を表す静止領域、又は前記オブジェクトが動いている領域を表す動き領域の少なくとも一方を検出する動き検出部と
を含む画像処理装置。
【請求項２】
前記第１の画像上の前記静止領域を構成する各画素に対応する前記差分に基づいて、前記静止領域に生じているノイズの性質を表すノイズ性質情報を検出するノイズ性質検出部を
さらに含む請求項１に記載の画像処理装置。
【請求項３】
前記ノイズ検出性質部は、前記静止領域を構成する各画素に対応する前記差分を、それぞれ、予め決められた周波数成分に分離して得られる複数のパワーレベルの最大値であって、複数の前記周波数成分毎に得られる前記最大値を、前記ノイズ性質情報として検出する
請求項２に記載の画像処理装置。
【請求項４】
前記ノイズ性質情報又は前記ノイズレベルの少なくとも一方に基づいて、前記第１の画像に生じているノイズを低減するノイズ低減部を
さらに含む請求項２に記載の画像処理装置。
【請求項５】
前記ノイズ低減部は、
前記ノイズ性質情報に基づいて、前記静止領域に生じているノイズを低減するための第１の補正量を算出する第１の補正量算出部と、
前記ノイズレベルに基づいて、前記動き領域に生じているノイズを低減するための第２の補正量を算出する第２の補正量算出部と、
前記第１の補正量と前記第２の補正量とを混合する混合部と、
前記混合部の混合により得られる第３の補正量に基づいて、前記第１の画像の各画素の画素値を補正する補正部と
を有する請求項４に記載の画像処理装置。
【請求項６】
前記ノイズレベル検出部は、前記第１の画像上の前記平坦領域を構成する各画素に対応する前記差分の分散のうち、最頻の前記分散を、前記ノイズレベルとして検出する
請求項１に記載の画像処理装置。
【請求項７】
入力される画像を処理する画像処理装置の画像処理方法において、
前記画像処理装置による、
入力された第１の画像を構成する各画素の画素値の分散に基づいて、前記第１の画像上の、各画素の画素値が平坦な平坦領域を検出する平坦検出ステップと、
前記第１の画像と、前記第１の画像の前又は後に連続する第２の画像との対応する画素の画素値どうしの差分を算出する差分算出ステップと、
前記第１の画像上の前記平坦領域を構成する各画素に対応する前記差分の分散に基づいて、前記第１の画像を構成する各画素に生じているノイズの統計的なノイズ量を表すノイズレベルを検出するノイズレベル検出ステップと、
前記第１の画像を構成する各画素に対応する前記差分の分散と前記ノイズレベルとの比較結果に基づいて、前記第１の画像上に存在するオブジェクトが静止している領域を表す静止領域、又は前記オブジェクトが動いている領域を表す動き領域の少なくとも一方を検出する動き検出ステップと
を含む画像処理方法。
【請求項８】
コンピュータを、
入力された第１の画像を構成する各画素の画素値の分散に基づいて、前記第１の画像上の、各画素の画素値が平坦な平坦領域を検出する平坦検出部と、
前記第１の画像と、前記第１の画像の前又は後に連続する第２の画像との対応する画素の画素値どうしの差分を算出する差分算出部と、
前記第１の画像上の前記平坦領域を構成する各画素に対応する前記差分の分散に基づいて、前記第１の画像を構成する各画素に生じているノイズの統計的なノイズ量を表すノイズレベルを検出するノイズレベル検出部と、
前記第１の画像を構成する各画素に対応する前記差分の分散と前記ノイズレベルとの比較結果に基づいて、前記第１の画像上に存在するオブジェクトが静止している領域を表す静止領域、又は前記オブジェクトが動いている領域を表す動き領域の少なくとも一方を検出する動き検出部と
して機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−２３１３８９（Ｐ２０１２−２３１３８９Ａ）
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願番号】特願２０１１−９９５３９（Ｐ２０１１−９９５３９）
【出願日】平成２３年４月２７日（２０１１．４．２７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願日】平成２３年４月２７日（２０１１．４．２７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]