画像処理装置、画像表示装置、画像処理方法、コンピュータプログラム及び記憶媒体
【課題】ノイズの低減とディテイルの復元とを両立した画像処理が可能な画像処理装置を提供する。
【解決手段】ノイズ処理部１２は、第１ノイズ低減処理部１６と、ノイズ推定処理部１８と、ディテイル強調処理部１９とを備える。第１ノイズ低減処理部１６は、ノイズ低減の対象フレーム画像と比較フレーム画像との間で相関が小さい画素を、対象フレーム画像のノイズと見做し、当該ノイズを抑制する第１ノイズ低減処理を施して、ノイズ低減画像を生成する。ノイズ推定処理部１８は、対象フレーム画像とノイズ低減画像とを対応画素毎に比較した結果から、対象フレーム画像の各画素のノイズ強度を算出し、当該ノイズ強度に基づき対象フレーム画像の各画素についてノイズである可能性を判定するノイズ推定処理を実行する。ディテイル強調処理部１９は、ノイズ低減画像の画素毎に、ノイズ推定処理の結果を反映させた強調処理を施し、出力画像を生成する。
【解決手段】ノイズ処理部１２は、第１ノイズ低減処理部１６と、ノイズ推定処理部１８と、ディテイル強調処理部１９とを備える。第１ノイズ低減処理部１６は、ノイズ低減の対象フレーム画像と比較フレーム画像との間で相関が小さい画素を、対象フレーム画像のノイズと見做し、当該ノイズを抑制する第１ノイズ低減処理を施して、ノイズ低減画像を生成する。ノイズ推定処理部１８は、対象フレーム画像とノイズ低減画像とを対応画素毎に比較した結果から、対象フレーム画像の各画素のノイズ強度を算出し、当該ノイズ強度に基づき対象フレーム画像の各画素についてノイズである可能性を判定するノイズ推定処理を実行する。ディテイル強調処理部１９は、ノイズ低減画像の画素毎に、ノイズ推定処理の結果を反映させた強調処理を施し、出力画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像の精細感を向上させる画像処理装置、画像表示装置、画像処理方法、コンピュータプログラム及び記憶媒体に関する。
【背景技術】
【０００２】
画像を拡大表示する際、高解像度化処理を施して表示を行うと圧縮処理に伴うノイズ（ブロックノイズ、モスキートノイズ等）が目立つことがある。
【０００３】
そこで、ノイズを含む画像に対して、ガウシアンフィルタなどのローパスフィルタを適用することにより、周辺画素との平滑化によりノイズの低減が可能である。しかしながら、低減しようとする高周波成分よりなる領域が、ノイズであるかディテイル（画像の詳細部分）であるか区別されていないため、ディテイルをもぼかしてしまい、画像の解像度の低下を招ねく。他方、バイラテラルフィルタを画像に適用することにより、周辺画素との輝度値の差の大小も考慮して、山の輪郭のように周辺画素との輝度値の差が大きい部分に対しては平滑化の効果を小さくすることで、エッジの保存を期待できる。しかし、草むらや波などのように輝度値の差は小さいもののエッジを多く含む領域は、ノイズとともにぼかされがちである。
【０００４】
上記のような理由でぼかされたディテイルの復元のため、アンシャープマスクなどの単純な強調処理を適用すると、低減したノイズも同時に強調されて、ノイズの復元の原因となってしまう。
【０００５】
ここで、特許文献１には、注目画素と他の各画素との輝度値の差より標準偏差を求め、文字や線のように標準偏差が大きい領域にはハイパスフィルタによる強調処理を行い、写真や絵のように標準偏差が小さい領域にはローパスフィルタによる平滑処理を行うことで、画像のエッジを保ったままノイズを除去できることが記載されている。特許文献１の手法では、３つのフィルタが提案されており、いずれの場合も、標準偏差の大きい場合にハイパスフィルタとしての効果が強くなり、小さい場合にローパスフィルタとしての効果が強くなるように設計されているため、上記の効果を得ることができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−２６６２３３号公報（２００９年１１月１２日公開）
【特許文献２】国際公開番号ＷＯ２００９／０６９２９２（２００９年６月４日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１の手法の場合、注目画素と他の各画素との輝度値の差を利用しており、エッジ部分の強度に基づいた処理であるため、ノイズとディテイルとを分類することができない。従って、ノイズがディテイルとして残り、ディテイルがノイズとして平滑化されるとういう問題を有する。また、特許文献１の手法では、エッジ周辺にモスキートノイズが発生している場合に、エッジの強調処理にモスキートノイズを巻き込んでしまい、モスキートノイズをも強調してしまうおそれもある。
【０００８】
そこで、本発明は、上記の問題点に鑑みてなされたものであって、その目的は、ノイズの低減とディテイルの復元とを両立した画像処理が可能な画像処理装置、画像表示装置、画像処理方法、コンピュータプログラム、並びに記憶媒体を提供することにある。
【課題を解決するための手段】
【０００９】
フレーム画像のある画素がディテイルであるかノイズであるかの判断は、そのフレーム画像単独の情報だけでは困難であり、フレーム間での比較を行うことが有効な手段の一つである。
【００１０】
そこで、上記課題を解決するために、本発明に係る画像処理装置は、複数のフレーム画像からなる映像のノイズを低減する画像処理装置において、ノイズ低減の対象のフレーム画像である対象画像と、当該対象画像に対して表示順序が前または後の少なくとも一方の少なくとも１以上のフレーム画像である参照用画像との間で、相関が小さい画素を、上記対象画像のノイズと見做し、当該ノイズを抑制するノイズ低減処理を施して、ノイズ低減画像を生成するノイズ低減画像生成部と、上記対象画像と上記ノイズ低減画像とを対応画素毎に比較した結果として、上記対象画像の各画素のノイズ強度を算出し、当該ノイズ強度に基づき上記対象画像の各画素についてノイズである可能性を判定するノイズ推定処理を実行するノイズ推定処理部と、上記ノイズ低減画像の画素毎に、上記ノイズ推定処理の結果を反映させた強調処理を施して、出力画像を生成する強調処理部と、を備えることを特徴としている。
【００１１】
上記構成では、ノイズ低減画像生成部にて、対象画像と参照用画像との間で相関が小さい画素を対象画像のノイズと見做し、当該ノイズを抑制するノイズ低減処理を施して、ノイズ低減画像を生成する。このノイズ低減処理により、フレーム画像の間で相関が小さいノイズ（例えば、ランダムノイズやブロックノイズ）を低減することができる。ここで、ノイズ低減画像は、フレーム画像の間で相関が小さいノイズが低減された画像ということになる。
【００１２】
そして、ノイズ推定処理部にて、対象画像とノイズ低減画像とを対応画素毎に比較した結果として、対象画像の各画素のノイズ強度を算出し、当該ノイズ強度に基づき対象画像の各画素についてノイズである可能性を判定するノイズ推定処理を実行する。さらに、強調処理部にて、ノイズ低減画像の画素毎に、ノイズ推定処理の結果を反映させた強調処理を施して、出力画像を生成する。つまり、対象画像の各画素のノイズ強度を算出して、このノイズ強度から判定された各画素のノイズである可能性を反映させて、ノイズ低減画像の画素毎に、強調処理を施す。よって、ノイズでない画素を含むノイズである可能性の低い画素に対しては、その画素を強調する処理を施すことができる。反対にノイズである画素を含むノイズである可能性の高い画素に対しては、その画素を強調する処理を行わない、あるいはその画素を弱める処理を施す、ということができる。
【００１３】
以上からわかるように、本発明に係る画像処理装置の上記構成によると、映像を構成するフレーム画像に対して、ノイズの低減とディテイルの復元とを両立した画像処理を行うことができる。そのため、ノイズを抑制し、ディテイルを強調することができ、画質を向上させた画像を出力することができる。
【００１４】
本発明に係る画像処理装置では、上記構成に加え、上記ノイズ推定処理部は、上記ノイズ推定処理として、上記対象画像の注目画素の上記ノイズ強度と、当該注目画素に対応する上記ノイズ低減画像の画素が有する信号強度、または当該注目画素のエッジである可能性の程度を示すエッジ強度と、を比較し、当該注目画素がノイズであるか否かを判定する処理を実行し、上記強調処理部は、上記ノイズ推定処理の結果を反映させた強調処理として、上記ノイズでないと判定された上記注目画素に対応する上記ノイズ低減画像の画素を強調する処理、かつ、上記ノイズであると判定された上記注目画素に対応する上記ノイズ低減画像の画素を強調しない処理、を実行してもよい。
【００１５】
具体的には、上記強調処理部は、上記強調する処理として、上記ノイズ低減画像に対してアンシャープマスクを適用して輪郭強調画像を生成し、上記ノイズでないと判定された上記注目画素に対応する当該輪郭強調画像の画素を出力し、かつ、上記強調しない処理として、上記ノイズであると判定された上記注目画素に対応する上記ノイズ低減画像の画素をそのまま出力して、上記出力画像を生成してもよい。
【００１６】
上記構成によると、上記ノイズ推定処理部は、注目画素がノイズであるか否かを判定する。そして、強調処理部は、ノイズでないと判定された注目画素に対応する輪郭強調画像の画素を出力し、かつ、ノイズであると判定された注目画素に対応するノイズ低減画像の画素をそのまま出力して、出力画像を生成する。よって、効果的に、ノイズが低減され、かつ、輪郭が強調された出力画像を出力することができる。
【００１７】
あるいは、上記強調処理部は、上記強調する処理として、上記ノイズ低減画像に対して高周波成分のノイズを付加した輪郭強調画像を生成し、上記ノイズでないと判定された上記注目画素に対応する上記輪郭強調画像の画素を出力し、かつ、上記強調しない処理として、上記ノイズであると判定された上記注目画素に対応する上記ノイズ低減画像の画素をそのまま出力して、上記出力画像を生成してもよい。
【００１８】
上記構成によると、人の視感度の低い高周波成分を持つブルーノイズを添加しているので、ノイズ添加によるノイジーさを増すことなく、精細感が向上した画像を得ることができる。
【００１９】
本発明に係る画像処理装置では、上記構成に加え、上記ノイズ推定処理部は、上記ノイズ推定処理として、上記対象フレーム画像の注目画素の上記ノイズ強度と当該注目画素に対応する上記ノイズ低減画像の画素が有する信号強度との比率から、当該注目画素のノイズである可能性の程度を算出する処理を実行し、上記強調処理部は、上記ノイズ推定処理の結果を反映させた強調処理として、上記ノイズ低減画像に対して、上記算出されたノイズである可能性の程度に応じた強調処理を実行してもよい。
【００２０】
具体的には、上記強調処理部は、上記強調処理として、上記ノイズ低減画像に対してアンシャープマスクを適用した輪郭強調画像を生成し、上記注目画素に対応する上記ノイズ低減画像の画素と、上記注目画素に対応する上記輪郭強調画像の画素との、上記算出されたノイズである可能性の程度に応じた線形和を求めて、上記出力画像を生成してもよい。
【００２１】
上記構成によると、上記ノイズ推定処理部は、注目画素のノイズである可能性の程度を算出する。そして、強調処理部は、注目画素に対応するノイズ低減画像の画素と、注目画素に対応する輪郭強調画像の画素とを用いて、これらのノイズである可能性の程度に応じた線形和として、出力画像を生成する。そのため、効果的に、ノイズが低減され、かつ、輪郭が強調された出力画像を出力することができる。
【００２２】
本発明に係る画像処理装置では、上記構成に加え、上記ノイズ推定処理部は、上記ノイズ推定処理として、上記対象画像の注目画素の上記ノイズ強度と当該注目画素に対応する上記ノイズ低減画像の画素が有する信号強度との比率から、当該注目画素のノイズである可能性の程度を算出する処理を実行し、上記強調処理部は、上記ノイズ推定処理の結果を反映させたノイズ強調処理として、上記ノイズ低減画像に対して、上記算出されたノイズである可能性の程度に応じたノイズ重畳処理を実行してもよい。
【００２３】
上記構成によると、ノイズ推定処理部が、対象画像の各画素のノイズ強度を算出して、このノイズ強度から判定された各画素のノイズである可能性を判定する。そして、強調処理部が、ノイズである可能性を反映させて、ノイズ低減画像の画素毎に対して、各画素のノイズである可能性の程度に応じたノイズ重畳処理を行うことができる。よって、ノイズ重畳により画像を余計にノイジーにすることなく、精細感が向上した画像を得ることができる。
【００２４】
本発明に係る画像処理装置では、上記構成に加え、上記ノイズ低減画像生成部は、上記対象画像の各画素を基準とした上記参照用画像の各画素の移動量を算出する移動量決定部と、上記参照用画像の各画素を、上記対象画像の各画素の位置と合うように、上記算出された移動量を用いて移動させた補正画像を生成する補正画像生成部と、上記補正画像と上記対象画像との差を算出し、当該算出された差が大きい程小さくなる重みを決定する重み決定部と、上記ノイズ低減処理として、上記補正画像に対して、上記決定された重みを付けたフィルタ処理を施すノイズ低減フィルタリング処理部と、を備えていてもよい。
【００２５】
上記構成では、移動量決定部にて、対象画像の各画素を基準とした参照用画像の各画素の移動量を算出し、補正画像生成部にて、参照用画像の各画素を、対象画像の各画素の位置と合うように、当該移動量を用いて移動させた補正画像を生成する。また、重み決定部により、補正画像と上記対象画像との差を算出し、当該算出された差が大きい程小さくなる重みを決定する。そして、ノイズ低減フィルタリング処理部にて、ノイズ低減処理として、重みを付けたフィルタ処理を施す。
【００２６】
よって、フレーム画像間の位置合わせを行った補正画像を生成した上で、補正画像と対象画像との差が大きい程小さくなるよう決定された重みを付けたフィルタ処理を、補正画像に適用する。そのため、映像が動きのあるシーンであったとしても、フィルタ処理によるボケを発生させることなく、ランダムノイズやブロックノイズといったフレーム画像間で相関のないノイズを低減することができる。
【００２７】
本発明に係る画像処理装置では、上記構成に加え、上記ノイズ低減画像生成部は、上記ノイズ低減処理を実行する第１ノイズ低減処理部と、上記ノイズ低減処理を施した対象画像に対して、さらに、モスキートノイズを抑制する抑制処理を施して、上記ノイズ低減画像を生成する第２ノイズ低減処理部とを備えていてもよい。
【００２８】
上記構成によると、第１ノイズ低減処理部により上記ノイズ低減処理を実行することで、ランダムノイズ、ブロックノイズといったフレーム画像間に相関のないノイズを低減することができる。加えて、第２ノイズ低減処理部により、エッジ周辺に存在するモスキートノイズを低減することができる。よって、よりノイズが低減された画像を出力することができる。
【００２９】
本発明に係る画像処理装置では、上記構成に加え、上記第２ノイズ低減処理部は、上記ノイズ低減処理を施した対象画像の各画素について、エッジである可能性の程度を示すエッジ強度を算出するエッジ強度算出部と、上記ノイズ低減処理を施した対象画像に対して、上記モスキートノイズを低減するモスキートノイズ低減処理を施すモスキートノイズ処理部と、上記算出されたエッジ強度が所定値より大きい画素の場合、上記モスキートノイズ低減処理の効果が大きくなり、上記エッジ強度が上記所定値以下の画素の場合、上記モスキートノイズ低減処理の効果が小さくなるように調整して、上記ノイズ低減画像を生成するノイズ低減効果調整部と、を備えていてもよい。
【００３０】
上記構成では、エッジ強度算出部にて、第１ノイズ低減処理部でのノイズ低減処理を施した対象画像の各画素について、エッジ強度を算出する。そして、モスキートノイズ処理部にて、上記ノイズ低減処理を施した対象画像に対して、モスキートノイズを低減するモスキートノイズ低減処理を施す。さらに、ノイズ低減効果調整部では、エッジ強度が所定値より大きい画素には、モスキートノイズ低減処理の効果が大きくなり、エッジ強度が所定値以下の画素には、モスキートノイズ低減処理の効果が小さくなるように調整して、ノイズ低減画像を生成する。
【００３１】
モスキートノイズはエッジ周辺に発生する。そこで、上記構成によると、エッジ強度が所定値よりも大きい画素、つまり、モスキートノイズが発生しやすい画素に対してモスキートノイズ低減処理の効果が大きくなるよう調整できる。エッジ強度が所定値以下の画素、つまり、モスキートノイズが発生しない画素に対してモスキートノイズ低減処理の効果が小さくなるよう調整できる。よって、モスキートノイズ低減処理によるディテイルの損失を抑制して、効率よくモスキートノイズを低減することできる。
【００３２】
上記の課題を解決するために、本発明に係る画像表示装置は、上記いずれかの画像処理装置を備えることを特徴としている。本発明に係る画像表示装置は、本発明に係る画像処理装置を備えているため、ノイズの低減とディテイルの復元とを両立した画像処理が施された画像を表示することができる。つまり、ノイズを抑制し、ディテイルを強調することができるので、画質を向上させた画像を表示することができる。よって、ユーザに快適な視認環境を提供することができる。
【００３３】
上記の課題を解決するために、本発明に係る画像処理方法は、複数のフレーム画像からなる映像のノイズを低減する画像処理方法において、ノイズ低減の対象のフレーム画像である対象画像と、当該対象画像に対して表示順序が前または後の少なくとも一方の少なくとも１以上のフレーム画像である参照用画像との間で、相関が小さい画素を、上記対象画像のノイズと見做し、当該ノイズを抑制する第１ノイズ低減処理を施して、ノイズ低減画像を生成するノイズ低減画像生成ステップと、上記対象画像と上記ノイズ低減画像とを対応画素毎に比較した結果から、上記対象画像の各画素のノイズ強度を算出し、当該ノイズ強度に基づき上記対象画像の各画素についてノイズである可能性を判定するノイズ推定処理を実行するノイズ推定処理ステップと、上記ノイズ低減画像の画素毎に、上記ノイズ推定処理の結果を反映させた強調処理を施して、出力画像を生成する強調処理ステップと、を含むことを特徴としている。
【００３４】
上記方法によれば、ノイズの低減とディテイルの復元とを両立した画像処理が可能な画像処理方法を提供することができる。
【００３５】
なお、本発明に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより上記画像処理装置をコンピュータにて実現させるプログラム、及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【００３６】
本発明の画像処理装置は、以上のように、ノイズ低減の対象のフレーム画像である対象画像と、当該対象画像に対して表示順序が前または後の少なくとも一方の少なくとも１以上のフレーム画像である参照用画像との間で、相関が小さい画素を、上記対象画像のノイズと見做し、当該ノイズを抑制するノイズ低減処理を施して、ノイズ低減画像を生成するノイズ低減画像生成部と、上記対象画像と上記ノイズ低減画像とを対応画素毎に比較した結果として、上記対象画像の各画素のノイズ強度を算出し、当該ノイズ強度に基づき上記対象画像の各画素についてノイズである可能性を判定するノイズ推定処理を実行するノイズ推定処理部と、上記ノイズ低減画像の画素毎に、上記ノイズ推定処理の結果を反映させた強調処理を施して、出力画像を生成する強調処理部と、を備えている。
【００３７】
上記構成によると、ノイズ低減画像生成部にて、ノイズ低減処理により、フレーム画像の間で相関が小さいノイズを低減することができる。また、ノイズ推定処理部及び強調処理部にて、各画素のノイズ強度を算出して、このノイズ強度から判定された各画素のノイズである可能性を反映させて、ノイズ低減画像の画素毎に、強調処理を施すことができる。よって、ノイズである画素を含むノイズである可能性の高い画素に対しては、強調処理を施し、ノイズでない画素を含むノイズである可能性の低い画素に対しては、強調処理を行わない、あるいは弱める、といった処理を行うことができる。
【００３８】
以上からわかるように、本発明に係る画像処理装置の上記構成によると、映像を構成するフレーム画像に対して、ノイズの低減とディテイルの復元とを両立した画像処理を行うことができる。そのため、ノイズを抑制し、ディテイルを強調することができ、画質を向上させた画像を出力することができる。
【図面の簡単な説明】
【００３９】
【図１】本発明に係る一実施形態のテレビ放送受信装置の構成を示すブロック図である。
【図２】上記テレビ放送受信装置が有する映像信号処理部の構成を示すブロック図である。
【図３】上記映像信号処理部が有するノイズ低減処理部の構成を示すブロック図である。
【図４】上記ノイズ低減処理部が有する第１ノイズ低減処理部の構成を示すブロック図である。
【図５】上記第１ノイズ低減処理部が有する第１ノイズ低減フィルタ構築部５０の構成を示すブロック図である。
【図６】（ａ）〜（ｃ）は、画像fkと画像fINとの間のモーションがdk = (xk, yk)である場合の画像の例を示した図である。
【図７】（ａ）は、WB×HB画素を含むブロックに分割したフレーム画像を示す図であり、（ｂ）は、（ａ）に示すフレーム画像の各ブロックを１画素に置き換えた図である。
【図８】モーション推定処理の流れを示す図である。
【図９】上記ノイズ低減処理部が有する第２ノイズ低減処理部の構成を示すブロック図である。
【図１０】ガウシアンフィルタの例を示す図である。
【図１１】上記ノイズ低減処理部が有するノイズ推定処理部で実行される第１の処理形態の流れを示す図である。
【図１２】上記ノイズ推定処理部が上記第１の処理形態を実行した場合の、上記ノイズ低減処理部が有するディテイル強調処理部で実行される処理の流れを示す図である。
【図１３】上記ノイズ低減処理部が有するノイズ推定処理部で実行される第２の処理形態の流れを示す図である。
【図１４】ノイズらしさの程度γ (i, j)のグラフを表す図である。
【図１５】上記ノイズ推定処理部が上記第２の処理形態を実行した場合の、上記ノイズ低減処理部が有するディテイル強調処理部で実行される処理を示す図である。
【図１６】上記ノイズ低減処理部が有するノイズ推定処理部で実行される第３の処理形態の流れを示す図である。
【図１７】マルチディスプレイを示す図である。
【図１８】本発明に係る別の実施形態のノイズ低減処理部の構成を示すブロック図である。
【図１９】上記別の実施形態のノイズ低減処理部が有するノイズ推定処理部で実行される第１の処理形態の流れを示す図である。
【図２０】上記別の実施形態のノイズ低減処理部が有するノイズ推定処理部で実行される第２の処理形態の流れを示す図である。
【図２１】上記別の実施形態のノイズ低減処理部が有するノイズ推定処理部で実行される第３の処理形態の流れを示す図である。
【図２２】上記別の実施形態のノイズ推定処理部が第１または第３の処理形態を実行した場合の、上記別の実施形態のノイズ低減処理部が有するディテイル強調処理部で実行される処理の流れを示す図である。
【図２３】上記別の実施形態のノイズ推定処理部が第２の処理形態を実行した場合の、上記別の実施形態のノイズ低減処理部が有するディテイル強調処理部で実行される処理を示す図である。
【図２４】本発明に係るさらに別の実施形態の映像信号処理部の構成を示すブロック図である。
【図２５】上記さらに別の実施形態の映像信号処理部が有するノイズ処理部の構成を示すブロック図である。
【図２６】上記さらに別の実施形態のノイズ処理部が有する付加ノイズ生成部が生成する付加用ノイズデータの一例を示す図である。
【発明を実施するための形態】
【００４０】
本発明をその実施の形態を示す図面に基づき具体的に説明する。以下に記す実施の形態では、本発明に係る画像表示装置として、テレビ放送受信装置を例に用いて説明を行う。また、本発明に係る画像処理装置として、テレビ放送受信装置が有する映像信号処理部を例に用いて説明する。なお、以下の実施の形態では、映像とは動画像を示すものとする。
【００４１】
〔実施の形態１〕
（テレビ放送受信装置）
図１は、本実施形態のテレビ放送受信装置（画像表示装置）１の構成を示すブロック図である。テレビ放送受信装置１は、図１に示すように、インタフェース２、チューナー３、制御部４、電源ユニット５、表示部６、音声出力部７、及び、操作部８とを備える。
【００４２】
インタフェース２は、ＴＶアンテナ２１と、ＴＭＤＳ（Transition Minimized Differential Signaling）方式でシリアル通信するためのＤＶＩ（Digital Visual Interface）端子２２およびＨＤＭＩ（High - Definition multimedia Interface）端子２３と、ＴＣＰ（Transmission Control Protocol）またはＵＤＰ（User Datagram Protocol）等の通信プロトコルで通信するためのＬＡＮ端子２４とを含む。インタフェース２は、統括制御部４１からの指示に従って、ＤＶＩ端子２２、ＨＤＭＩ端子２３またはＬＡＮ端子２４に接続された外部の機器との間でデータを送受信する。
【００４３】
チューナー３は、ＴＶアンテナ２１と接続されており、ＴＶアンテナ２１が受信する放送信号がチューナー３に入力される。放送信号には、映像データ、音声データ等が含まれる。本実施形態では、チューナー３は、地上波デジタルチューナー３１及びＢＳ／ＣＳデジタルチューナー３２を備えているが、これらに限定されない。
【００４４】
制御部４は、テレビ放送受信装置１が有する各ブロックを統括的に制御する統括制御部４１、映像信号処理部４２、音声信号処理部４３およびパネルコントローラ４４を備える。
【００４５】
映像信号処理部４２は、インタフェース９を介して入力される映像データに所定の処理を施し、表示部６にて表示するための映像データ（映像信号）を生成する。
【００４６】
音声信号処理部４３は、インタフェース９を介して入力される音声データに所定の処理を施し音声信号を生成する。
【００４７】
パネルコントローラ４４は、表示部６を制御して、映像信号処理部４２が出力する映像データの映像を表示部６に表示する。
【００４８】
電源ユニット５は、外部から供給される電力を制御する。統括制御部４１は、操作部８が有する電源スイッチから入力される操作指示に応じて、電源ユニット５に電力を供給させる、または、電力の供給を遮断させる。電源スイッチから入力される操作指示が電源オンに切り替える操作指示である場合、テレビ放送受信装置１の全体に電力が供給され、電源スイッチから入力される操作指示が電源オフに切り替える操作指示である場合、テレビ放送受信装置１に供給される電力が遮断される。
【００４９】
表示部６は、例えば、液晶表示装置（ＬＣＤ）、プラズマディスプレイパネル等であり、映像信号処理部４２が出力する映像データの映像を表示する。
【００５０】
音声出力部７は、音声信号処理部４３で生成された音声信号を統括制御部４１の指示の下で出力する。
【００５１】
操作部８は、電源スイッチと、切替スイッチとを少なくとも含む。電源スイッチは、テレビ放送受信装置１の電源のオンとオフの切り替えを指示する操作指示を入力するためスイッチである。切替スイッチは、テレビ放送受信装置１で受像する放送チャンネルを指定する操作指示を入力するためのスイッチである。操作部８は、電源スイッチおよび切替スイッチが押下されることに応じて、各スイッチに対応する操作指示を統括制御部４１に出力する。
【００５２】
なお、ここでは、テレビ放送受信装置１が備える操作部８が操作される場合を例に説明したが、テレビ放送受信装置１と無線で通信することが可能なリモートコントローラに操作部８を備えるようにして、各スイッチに対応する操作指示をテレビ放送受信装置１に送信するようにしてもよい。この場合、リモートコントローラがテレビ放送受信装置１と通信する通信媒体は、赤外光であってもよいし、電磁波であってもよい。
【００５３】
（映像信号処理部）
図２は、映像信号処理部４２の構成を示すブロック図である。図２に示すように、映像信号処理部４２は、デコーダ１０と、ＩＰ変換処理部１１と、ノイズ処理部（画像処理装置）１２と、シャープネス処理部１３と、カラー調整処理部１４と、スケーラー処理部１５とを含む。
【００５４】
デコーダ１０は、圧縮された映像ストリームを復号して映像データを生成し、ＩＰ変換処理部１１に出力する。ＩＰ変換処理部１１は、必要に応じて、デコーダ１０から入力される映像データをインタレース方式からプログレッシブ方式に変換する。ノイズ処理部１２は、ＩＰ変換処理部１１が出力する映像データに含まれるノイズを低減（抑制）するためのノイズ低減処理を実行する。ノイズ低減処理の詳細については、後段で詳細に説明する。
【００５５】
シャープネス処理部１３は、ノイズ処理部１２が出力する映像データの映像を鮮鋭化するシャープネス処理を実行する。カラー調整処理部１４は、シャープネス処理部１３出力する映像データに対して、コントラストや彩度等を調整するカラー処理を実行する。スケーラー処理部１５は、カラー調整処理部１４が出力する映像データに対して、表示部６の画素数に応じたスケーリング処理を実行する。なお、統括制御部４１、図示しない記憶部に、映像信号処理部４２により各種の処理が実行される際の映像データを適宣記憶させる。
【００５６】
本実施形態では、映像信号処理部４２に入力される映像データを構成する画像データとしてＲＧＢデータを扱うものとする。但し、ＲＧＢ全てのチャネルに対して同じ処理を適用する代わりに、入力されるＲＧＢデータを、３×３マトリックスを用いてＹＣｂＣｒデータに変換し、そのうちのＹ信号に対する処理結果を用いてＲＧＢデータにノイズ低減処理を施してもよい。例えば、後述するモーション推定処理（動き予測処理）のみＹ信号に対してのみ行ってもよい。
【００５７】
各処理の前に画像データを、例えば、以下の式（１）に示すマトリックス演算を用いてＹＣｂＣｒデータに変換することができる。
【００５８】
【数１】
【００５９】
（ノイズ処理部）
図３は、ノイズ処理部１２の構成を示すブロック図である。ノイズ処理部１２は、映像を構成する画像に付加されているランダムノイズやブロックノイズを低減する第１ノイズ低減処理部１６と、モスキートノイズを低減する第２ノイズ低減処理部１７と、画像に含まれる各画素がノイズであるか否かを判断するノイズ推定処理部１８と、ノイズ推定処理部１８の推定結果に従い、第１および第２ノイズ低減処理部１６，１７において失われたディテイル（ディテイル成分）を選択的に強調するディテイル強調処理部１９とを含む。
【００６０】
映像データを構成する画像データはフレーム単位で構成されており、フレーム単位の画像をフレーム画像と称する。よって、映像は複数のフレーム画像から構成されている。ノイズ処理部１２では、映像を構成する各フレーム画像f0, f1, …, fN-1について、１枚（１フレーム）ずつノイズ低減処理を実行する。フレーム画像f0, f1, …, fN-1の添え字の数字は、フレーム画像の番号を示しており、表示される順番を示すものである。本実施の形態では第０番から始まるものとする。つまり、フレーム画像f0, f1, …, fN-1は、現在入力された映像データにおける第０番目、第１番目、…第N-1番目のフレーム画像である。本実施の形態では、映像データはシーン毎に入力される、つまり、映像を構成する各フレーム画像f0, f1, …, fN-1は同じシーンに含まれていることが望ましい。また、以下では、フレーム画像fは単に画像fと称する。なお、各フレーム画像f0, f1, …, fN-1が、同じシーンに含まれていない場合であっても、同じシーンに含まれていると仮定して処理を継続することができる。
【００６１】
ノイズ処理部１２でのノイズ低減処理の対象となるフレーム画像の番号をINとするとき、IN = 0のフレーム画像から順に、第１ノイズ低減処理部１６からディテイル強調処理部１９までの処理を行う。そして、ディテイル強調処理部１９での処理が終了すると、次のフレーム画像に進む。すなわち、IN = IN + 1として、第１ノイズ低減処理部１６から処理を実行する。以下では、第１ノイズ低減処理部１６での現在（今回）のノイズ低減処理対象のフレーム画像（対象画像）を画像fINとして説明する。
【００６２】
（第１ノイズ低減処理部）
第１ノイズ低減処理部１６は、ランダムノイズやブロックノイズのような規則性のないノイズを低減する処理を行う。そこで、第１ノイズ低減処理部１６では、ランダムノイズが近接するフレーム画像間において相関がないことを利用し、複数のフレーム画像の画素を用いて、相関が小さい画素をノイズと見做して、時間軸方向にフィルタ処理を適用してこのノイズを低減する。但し、フレーム画像間にはモーション（動き）が存在するため、フレーム画像間におけるモーションを推定（移動量を算出）し、ノイズ低減処理対象のフレーム画像の画素位置に合わせてから、所定の重み係数で時間軸方向にフィルタ処理を適用する。
【００６３】
図４は、第１ノイズ低減処理部１６の構成を示すブロック図である。第１ノイズ低減処理部１６は、第１ノイズ低減フィルタ構築部５０と第１ノイズ低減フィルタリング部５１とを備えている。第１ノイズ低減フィルタ構築部５０は、ノイズ低減の対象画像である画像fINに対して、時間軸方向に展開する重み付きフィルタを構築する。第１ノイズ低減フィルタリング部５１は、第１ノイズ低減フィルタ構築部５０にて構築されたフィルタを用いて、画像fINと、画像fINに対して時間軸方向で順序が前後のフレーム画像（参照用画像）である画像fIN-1, fIN+1, fIN+2に対して適用することで、画像fINのランダムノイズやブロックノイズの低減を行う。なお、画像fIN-1は、時間軸方向で画像fINの１枚前のフレーム画像であり、画像fIN+1は、時間軸方向で画像fINの１枚後のフレーム画像であり、画像fIN+2は、時間軸方向で画像fINの２枚後のフレーム画像である。
【００６４】
本実施の形態では、画像fIN+2まで適用するが、画像fIN、画像fIN-1及び画像fIN+1の３枚のみを用いてもよい。ただし、画像fIN-1は画像fINより前のフレーム画像であり、ノイズ低減処理後のフレーム画像であるため、これを用いることで、それ以前のフレーム情報も加味してノイズを低減することができる。それに対し、画像fIN+1及び画像fIN+2はノイズ低減処理前のフレーム画像であり、そのまま使用するしかないため、画像fINより後のフレーム画像は、より多くの枚数を用いた方がよい。なお、画像fINの前後で用いるフレーム画像の枚数に制限はない。
【００６５】
図５は、第１ノイズ低減フィルタ構築部５０の構成を示すブロック図である。第１ノイズ低減フィルタ構築部５０は、モーション推定部５２、モーション算出部５３、モーション補正部５４、及び重み決定部５５を有している。
【００６６】
フィルタを適用するフレーム画像の集合（画像群）をFT = {fIN-1, fIN, fIN+1, fIN+2}とする。第１ノイズ低減フィルタ構築部５０では、FTに含まれるフレーム画像の数NT（本実施形態では、NT = 4）と同数の成分を持つ重み付きフィルタを構築する。フィルタの各成分は重みを意味し、画像fINに対してFTに含まれる画像fk（kはフレーム番号であり、IN-1, IN, IN+1, IN+2のいずれか）が類似している程、大きな重みを与える。なお、画像fkのkがINの場合、画像fINそのものであるので、成分の大きさは４つのうち最大となる。
【００６７】
画像fkの画像fINに対する類似度を正確に評価するため、予めモーション推定部５２で、画像fINを基準とした画像fkのモーション（移動量）を推定し、モーション補正部５４で画像群FTの各画像fkのモーション補正処理を行う。モーション補正処理についての詳細は後述する。
【００６８】
図６（ａ）〜（ｃ）は、画像fkと画像fINとの間の移動量がdk = (xk, yk)である場合の画像の例を示した図である。図６（ａ）の黒丸で表される位置でサンプリングした画像が、図６（ｂ）に示す画像fkであり、図６（ａ）の黒三角で表される位置でサンプリングした画像が、図６（ｃ）に示す画像fINである。画像fkと画像fINとの差異が最小となる画像fkの移動量dk = (xk, yk)を求めて、これを画像fkのモーションとする。詳細には、フレーム画像間の差異を表すために、統計量m(x, y)を移動量(x, y)ごとに計測し、m (x, y)を最小にする移動量dk = (xk, yk)を画像fkのモーションとする。
【００６９】
実際には、図６に示すようにフレーム画像の全ての画素（領域）で同じモーションをとるとは限らず、領域毎に異なると考えられる。そこで、本実施の形態では、図７（ａ）に示すように１枚のフレーム画像を、WB×HB画素を含むブロックに分割し、ブロック単位でモーションの推定を行う。簡単のため、図７（ａ）のフレーム画像の各ブロックを１画素に置き換えた図７（ｂ）に示すような画像を、画像fINと画像fkとに対して夫々得る。そして、得られた２つの画像間からモーションの推定を行う。
【００７０】
１つのフレーム画像に含まれる各ブロックを１画素に置き換えた画像は、任意の補間手法を用いて、このフレーム画像を水平方向に1/WB倍、垂直方向に1/HB倍に縮小して得られる。なお、任意の補間手法として、例えば、近傍の４画素のうち最も近い画素の値を参照する最近傍補間法が挙げられる。このような方法により得られた、画像fINと画像fkとに対応する画像（縮小画像）を、夫々、画像fB0、画像fB1とする。縮小後の画像fB0、画像fB1における画素(I, J)は、縮小前の画像fIN、画像fkの水平方向I番目, 垂直方向J番目のブロックに該当する。ブロックのサイズは通常WB = HB = 2とするが、画素単位での推定を行いたい場合は、WB = HB = 1（つまりfB0 = fIN、fB1=fk）としてもよい。また、処理時間を短縮したい場合はWB 、HBともに２より大きな値としてもよい。
【００７１】
モーション推定部５２では、ブロック単位でモーションの推定を行う。１つのブロック内の画素は全て同じモーションを持つとして、予め、画像fIN及び画像fkの各ブロックを１画素に置き換えた画像fB0及び画像fB1間のモーションを画素単位で求める。そして、画像fIN及び画像fkの対応するブロックに含まれる画素に、このモーションを割り当てる。このとき、画像fB0及び画像fB1の１画素は、画像fIN及び画像fkの１ブロック、すなわちWB×HB画素に対応する。そのため、画像fB0及び画像fB1間のモーションも画像fIN及び画像fk間では水平方向にWB倍、垂直方向にHB倍とする。
【００７２】
モーション推定部５２での画像fINに対する画像fkのモーションを推定するモーション推定処理の流れを、図８のフローチャートを用いて説明する。初めに、統計量の最小値mMINを+∞、整数精度の移動量(XB, YB)を(0, 0)に初期化する（Ｓ１）。ここで、XB、YBは画像fIN、画像fk間の移動量である。続いて、画像fB0を(x, y)だけ平行移動した画像と、画像fB1との間の統計量m (I, J, x, y)を算出し（Ｓ２）、Ｓ２で算出した統計量m (I, J, x, y)と統計量の最小値mMINとの大小を比較する（Ｓ３）。この比較でＳ２で算出した統計量m (I, J, x, y)が統計量の最小値mMINより小さい場合（Ｓ３でＹＥＳ）、統計量の最小値mMINをＳ２で算出した統計量m (I, J, x, y)に置き換え、整数精度の移動量(XB, YB)を(x, y)に置き換える（Ｓ４）。
【００７３】
Ｓ２からＳ４を、モーション推定許容範囲Ｍ内の全ての整数の組(x, y)で行い、m (I, J, x, y)を最小にする移動量を画像fB1のモーションを求める。そして、モーション推定許容範囲Ｍ内の全ての整数の組で、統計量m (I, J, x, y)を最小にする整数の移動量(XB, YB)を求める。ここで、モーション推定許容範囲Ｍは、入力データの解像度、及び、フレームレートに応じて定める。基本的には処理量対精度のトレードオフ関係にあり、一般的に１フレーム画像間に動く画素数を許容範囲とする。例えば、３０ｆｐｓ（frame per second）ＦＨＤ（Full High Definition）画像であれば−１５〜１５等である。
【００７４】
最後に、画像fIN及び画像fkのブロックに合わせるため、dk = (WB×XB, HB×YB)を求める（Ｓ５）。この移動量dkを、画像fB1の画素(I, J)に該当する画像fk上のブロックに含まれる各画素のモーションとする。モーション推定部５２では、上記のブロック単位のモーション推定をフレーム画像の全てのブロックに対して実行する。
【００７５】
本実施の形態では、２つの画像の差異を評価する統計量として、特に簡単な例として、画像fB0を(x, y)平行移動した画像と、画像fB1との差分絶対値和（以下、ＳＡＤ（Sum of Absolute Difference）と称する）を使用している。ＳＡＤは、２つの画像のうち、画素(I, J)を中心とする近傍画素集合BIJに含まれる全ての画素における差分絶対値の総和を求めるものである。画素(I, J)における、ＳＡＤは下記の式（２）から求めることができる。
【００７６】
【数２】
【００７７】
ここで、BIJの形状は固定（例えば、１５×１５の正方形）でもよいし、ブロックサイズが固定でない場合、画像fINおよび画像fk上で固定サイズとなるように所定係数をWBおよびHBで除算したときの商を一辺の画素数とする矩形としても良い。
【００７８】
統計量m (x, y)は、他に差分２乗和のような、差異が小さいほど小さな値をとる統計量を利用してもよい。あるいは、相互相関係数のような、差異が小さいほど大きな値をとる評価値を用いて評価する場合は、m (x, y)がその評価値と負の相関を持つように設定した値を利用してもよい。
【００７９】
モーション算出部５３では、上記のようにモーション推定部５２で推定されたあるフレーム画像間のモーションを利用して、他のフレーム間のモーションを算出する。本実施の形態では、簡単のために、画像群FTに含まれる画像はフレーム毎に同じモーションで変化していると仮定する。また、モーション推定部５２では、fk = fIN-1とし、画像fINに対する画像fIN-1のモーション（移動量）dIN-1を求めたものとする。モーション推定部５２で推定された画像fINに対する画像fIN-1のモーションdIN-1を１フレーム間のモーションとすると、画像fIN+1に対する画像fINのモーション、画像fIN+2に対する画像fIN+1のモーションはdIN-1と等しくなる。よって、画像fINに対する画像fINのモーションdIN、画像fINに対する画像fIN+1のモーションdIN+1、画像fIN+2のモーションdIN+2は夫々次式（３）〜（５）となる。本実施の形態では、画像fINを基準とした移動量を算出するため、dINは画像fIN自身を基準としているので、算出する必要は無く、(0, 0)である。
【００８０】
dIN = (0, 0)・・・・・（３）
dIN+1 = -dIN-1・・・・・（４）
dIN+2 = -2dIN-1・・・・・（５）
なお、上述のように画像fINに対する画像fIN-1のモーションを推定した結果を用いて、画像fINに対する画像fIN+1、及び、画像fINに対する画像fIN+2のモーションを算出する代わり、フレーム画像それぞれについてモーション推定処理を行ってもよい。この場合、全てのフレーム画像のモーション推定処理をモーション推定部５２にて行うことになるため、モーション算出部５３は不要となる。
【００８１】
また、画像群FTに含まれるフレーム画像はフレーム毎に同じモーションで変化していると仮定する場合には、画像群FTに含まれるフレーム画像のどの２枚を用いてモーション推定処理してもよい。例えば、画像fIN-1と画像fIN+2とを用いて、画像fIN-1に対する画像fIN+2のモーションを推定すると、この推定値の-1/3倍、1/3倍、2/3倍が、それぞれ、画像fINに対する画像fIN-1のモーション、画像fINに対する画像fIN-1のモーション、画像fINに対する画像fIN+2のモーションとなる。
【００８２】
いずれにせよ、モーション推定部５２及びモーション算出部５３での処理にて、画像群FTに含まれるフレーム画像の、対象画像である画像fINを基準とした移動量を、決定できればよい。
【００８３】
モーション補正部５４では、モーション推定部５２及びモーション算出部５３で得られた画像fkのモーションdk = (xk, yk)に従って、画像fINを基準として、画像fkのモーション補正を行う。画像fkのモーション補正とは、画像fINの各画素の位置と合うように、画像fkの各画素を推定あるいは算出されたモーション分移動する処理のことである。よって、画像fkをモーション補正した画像は、画像fkのモーションの逆ベクトル-dkだけ画像fkを平行移動することによって得られる。この補正した画像、つまり画像fINを基準として画像fkをモーション補正した画像を、画像（補正画像）gkとする。
【００８４】
本実施の形態では、移動量を整数精度としているが、図６（ａ）で示すように、モーションdkの成分（xk, yk）が整数値でない場合には、画像fkからそのまま参照することはできない。そのため、近傍画素からの補間値を求める。簡単な例では、近傍の４画素のうち最も近い画素の値を参照する最近傍補間法や、近傍の４画素から下記の式（６）によって求められる線形補間法が挙げられる。
【００８５】
【数３】
【００８６】
上記方法によりモーション補正された画像群をGT = {gIN-1, gIN, gIN+1, gIN+2}とする。なお、画像fINのモーションに変化はない（dIN = (0, 0)）ため、画像gINは画像fINと同じものである。
【００８７】
重み決定部５５では、第１ノイズ低減フィルタ構築部５０で構築する重み付きフィルタの各成分を決定する。重み付きフィルタωTのk番目の成分は、画像gkと画像gINとの差異の大きさに対して、負の相関を持つように設定する。これにより、画像gINとの差異が小さい画像ほど画像gINに対する重みが最も大きくなり、画像gINとの差異が大きい画像ほど画像gINに対する重みが小さくなる。差異の大きさを表す評価値としては、例えば、画素(i, j)及びその周辺領域における画像gkと画像gINとの誤差の標準偏差が挙げられる。
【００８８】
例えば、画素(i, j)の近傍３×３画素における誤差を用いて誤差の分散Vを、以下の式（７）から算出する。
【００８９】
【数４】
【００９０】
ここで、例えば、全てのフレーム画像において分散Vが十分小さければ、ωT (i,j,IN-1) = ωT (i, j, IN) = ωT (i, j, IN+1) =ωT (i, j, IN+2) = 0.25になり、全てのフレーム画像において分散Vが十分大きければ、ωT (i, j, IN) = 1.0、ωT (i, j, IN-1) = ωT (i, j, IN+1) = ωT (i, j, IN+2) = 0.0となる。
【００９１】
図４に戻り、第１ノイズ低減フィルタリング部５１では、第１ノイズ低減フィルタ構築部５０で構築された重み付きフィルタωTを、モーション補正された画像群GTに対して適用しフィルタ処理を行うことで、ノイズ低減処理されたフレーム画像である画像（ノイズ低減画像）Tを得る。画像Tは以下の式（８）から求められる。
【００９２】
【数５】
【００９３】
以上の処理により、ランダムノイズやブロックノイズがフレーム間で相関のない特徴を利用して、時間軸方向に適応的にフィルタ処理を施すことにより、ノイズを低減することができる。画像Tはランダムノイズやブロックノイズを低減した画像である。
【００９４】
なお、ランダムノイズやブロックノイズは規則性がなく、隣り合うフレーム画像間においても相関がなく、重みが小さくなるのでフィルタ処理後の画素値は小さくなり、複数のフレーム画像を足し合わせることにより低減することができる。但し、その際、フレーム画像間で動きがあるためモーション補正部５４でフレーム画像の画素位置を合わせてから足し合わせる。
【００９５】
（第２ノイズ低減処理部）
次に、図３に示す第２ノイズ低減処理部１７について説明する。図９は、第２ノイズ低減処理部１７の構成を示すブロック図である。第２ノイズ低減処理部１７は、エッジ強度算出部６０と、第２ノイズ低減フィルタ構築部６１と、第２ノイズ低減フィルタリング部６２と、ノイズ低減効果調整部６３とを備える。第２ノイズ低減処理部１７では、第１ノイズ低減処理部１６によりランダムノイズやブロックノイズが低減された画像Tが入力されると、モスキートノイズの低減を行う。
【００９６】
エッジ強度算出部６０は、入力された画像Tにおいて、エッジである可能性（エッジらしさ）の程度であるエッジ強度の大きい画素ほどモスキートノイズの低減効果が得られるよう、エッジ強度を算出する。ここではエッジ強度は、輝度値のばらつき（変動量）として算出するが、明度や濃度値（画素値）を用いてエッジ強度を算出してもよい。
【００９７】
エッジ強度算出部６０では、画像における各画素の輝度値のばらつきを求める。画素(i, j)における輝度値のばらつきを示す統計量として、画素(i, j)を中心とした近傍画素集合Ｗの輝度値の分散σ2(i, j)を求める。
【００９８】
第２ノイズ低減フィルタ構築部６１では、モスキートノイズを低減するフィルタを構築する。例えば、次の式（９）に示すバイラテラルフィルタを構築する。
【００９９】
【数６】
【０１００】
なお、上式（９）ではバイラテラルフィルタの一般形として入力画像をfとしているが、第２ノイズ低減フィルタ構築部６１での構築時には、fには、第１ノイズ低減処理部１６で処理された後の画像Tが入力される。
【０１０１】
バイラテラルフィルタは、２つのガウシアンフィルタの積からなり、第１番目のガウシアンフィルタは画素間距離、第２番目のガウシアンフィルタは画素間の輝度値の差に依存する。標準偏差σrおよびσsは夫々第１番目、第２番目のガウシアンフィルタの規模を示す係数であり、固定値（例えば、σr = 2.0, σs =2.0）としてもよい。あるいは、画像f（ここでは、第１ノイズ低減処理部１６で処理された後の画像T）の特徴に応じて設定してもよい。後者の場合、例えば、画素間距離が所定値RのときにK倍になるように設定したい場合、exp {-R2/(2σr2)} = Kを満たすσrを求め、画素間の輝度値の差が所定値DfのときにK倍になるように設定したい場合、exp {-Df2/(2σs2)} = Kを満たすσsを求める。
【０１０２】
第２ノイズ低減フィルタリング部６２では、上式で構築されたバイラテラルフィルタωBLFを画像Tに対して適用して、画像TBLFを得る。フィルタリングは画像TとバイラテラルフィルタωBLFとのコンボリューションとする。コンボリューションの適用範囲は、注目画素(i, j)を中心とする近傍画素集合Wijに含まれる画素とする。画像TBLFは以下の式（１０）から得られる。
【０１０３】
【数７】
【０１０４】
Wijの形状は固定（例えば、９×９の正方形フィルタ）としてもよい。あるいは、全空間（−∞〜∞とするが、結果的には有効画素に絞られるため画像全体となる）を範囲としたガウシアンフィルタに対して所定の割合c（例えば、1.0以下の正定数とする）以上を占めるように決定してもよい。なお、許容誤差は５％以下、すなわちc≧0.95であることが望ましい。上記の条件は次式（１１）のように表される。なお、本来ガウシアンフィルタは−∞〜∞に分布しており、設計したガウシアンフィルタと同等の周波数特性を得るためには、ある程度のウインドウサイズが必要である。すなわち、フィルタ係数の総和が2πσrに近いほど所望の周波数特性に近づく。
【０１０５】
【数８】
【０１０６】
例えば、図１０に示すような、標準偏差σr = 2.0のガウシアンフィルタについて、７×７（図１０の最も内側の濃いグレーの部分）、９×９（図１０の７×７の部分及びその外側の薄いグレー部分）、１１×１１（図１０に示す範囲全て）の部分を使用する場合、上式（１１）の左辺、すなわちフィルタ係数の和は夫々およそ0.852×2πσr、0.955×2πσr、0.989×2πσrとなり、c≧0.95を満たすには９×９の正方形フィルタを用いればよいことが判る。
【０１０７】
第２ノイズ低減フィルタリング部６２は、第２ノイズ低減フィルタ構築部６１で構築されるフィルタを用いたフィルタリング処理（第２ノイズ低減フィルタリング処理）を行う。フィルタは、現在ノイズ低減処理の対象となっている画像T１つ（１枚）に対して適用する。
【０１０８】
ノイズ低減効果調整部６３では、エッジ強度算出部６０にて求めた分散σ2(i, j)に基づき、第２ノイズ低減フィルタリング部６２でのフィルタリング処理の効果の調整を行う。分散σ2(i, j)が大きいほど、画素(i, j)における輝度値の変動量が大きいため、エッジである可能性が高い。従って、エッジに対しては第２ノイズ低減フィルタリング処理の効果が大きく、そうでない部分に対しては第２ノイズ低減フィルタリング処理の効果が小さくなるよう調整を行う。画像Tの座標のうち分散σ2が取り得る最大値をσ2maxとするとき、第２ノイズ低減フィルタリング処理前の画像Tと、第２ノイズ低減フィルタリング後の画像TBLFとを、σ2max−σ2：σ2の比で線形和をとり、σ2が大きいとき画像TBLF、小さいとき画像Tの割合を大きくする。すなわち、分散が大きいエッジ周辺ほど第２ノイズ低減フィルタリングの効果が高くなるように制御し、エッジ周辺にだけバイラテラルフィルタ処理効果を適用する。よって、モスキートノイズを低減することができる。
【０１０９】
こうして得られた画像を、第２ノイズ低減処理の結果画像S (i, j)とする。画像S (i, j)は以下の式（１２）にて求められる。
【０１１０】
【数９】
【０１１１】
第２ノイズ低減処理部１７では、以上のように、モスキートノイズがエッジ周辺に発生する特徴を利用して、エッジ周辺ではエッジ保存の効果を持つバイラテラルフィルタ処理を施す。よって、エッジを保存しながらノイズを低減して、エッジが周辺にない領域では、バイラテラルフィルタの効果を小さくすることで、ディテイルをぼかさずに残すことができる。
【０１１２】
（ノイズ推定処理部及びディテイル強調処理部）
次に、図３に示すノイズ推定処理部１８、ディテイル強調処理部１９について説明する。ノイズ推定処理部１８で実行される処理には、以下で説明する第１〜第３の処理形態がある。それぞれの処理形態毎に、後段のディテイル強調処理部１９での処理も異なる。
【０１１３】
いずれの処理形態においても、ノイズ推定処理部１８には、現在のノイズ低減処理の対象の画像（対象画像）fINと、画像fINを第１ノイズ低減処理部１６にて処理して得られた画像（ノイズ低減画像）Tと、画像Tを第２ノイズ低減処理部１７にて処理して得られた画像（ノイズ低減画像）Sとが入力される。そして、画素単位でノイズの強度を算出する。ここで、画像Tは画像fINからランダムノイズやブロックノイズを低減した画像（第１ノイズ低減処理結果）であり、画像Sは画像Tからモスキートノイズを低減した画像（第２ノイズ低減処理結果）である。従って、画像fINと画像Tとの差分、画像fINと画像Sとの差分が、各種ノイズのノイズ強度を表す。
【０１１４】
ノイズ推定処理部１８で実行される処理について、第１の処理形態から順に説明する。第１の処理形態では、ノイズ推定処理部１８は、画素毎にノイズ強度を算出し、かつ、画素毎に画像自体が持つ信号強度を求め、これらを基に、各画素がディテイル（ノイズではない）かノイズかを判定する。これは、ノイズ推定処理部１８の後段のディテイル強調処理部１９にてディテイル（ノイズではない）と判定された画素に対してのみ強調処理を行うためである。
【０１１５】
図１１は、ノイズ推定処理部１８で実行される第１の処理形態を示すフローチャートである。まず、画像fINと画像Tとの差分絶対値をノイズ強度N1、画像fINと画像Sとの差分絶対値をノイズ強度N2として算出する（Ｓ１１、Ｓ１２）。そして、注目画素(i, j)を中心とした近傍画素の集合ηijの範囲におけるノイズ強度N1, N2の最大値Dmax N1, Dmax N2を、夫々以下の式（１３）、（１４）から求める（Ｓ１３，Ｓ１４）。
【０１１６】
【数１０】
【０１１７】
集合ηijの形状は固定（例えば、７×７の正方形）でもよいし、上記のバイラテラルフィルタと同じサイズとしてもよい。これら最大値のうち、より大きな値を画像fINの最大ノイズ強度Dmaxとする（Ｓ１５）。Dmaxは以下の式（１５）から求められる。
【０１１８】
【数１１】
【０１１９】
ここで、Ｓ１３及び１４での処理を行わず、Ｓ１５ではN1, N2のうち大きい方をDmaxとすることも可能である。しかし、この場合、後述のディテイルと判定された場合のアンシャープマスクによる輪郭強調処理（Ｓ２２）において、周囲にノイズの強い画素が含まれていると、その画素も利用して強調処理を行う可能性があり、ノイズが復活してしまうことがある。そこで、ある注目画素の近傍画素の集合ηijの範囲で強いノイズが出ている場合、強いノイズに合わせることで、アンシャープマスクによるノイズの復活を抑えることができる。これが、Ｓ１３〜Ｓ１５の処理において、近傍画素集合を使うことの狙いである。なお、集合のサイズを小さく（最小１×１、すなわち注目画素のみ）することで、影響を受ける範囲を小さくし、強調を優先することもできる。
【０１２０】
他方で、画像自体が持つ信号強度を画素毎に算出する（Ｓ１６）。例えば、画像自体が持つ信号強度を、画像SのダイナミックレンジRANGEとして求める。なお、画像SのRANGE(i, j)は、画素集合ηijの範囲における輝度値の最大値と最小値の差から、つまり、以下の式（１６）から、求めることができる。
【０１２１】
【数１２】
【０１２２】
なお、本実施の形態では、画像自体が持つ信号強度をダイナミックレンジとして求めているが、例えば、画像自体が元来持つ画素値の範囲（例えば２５５）を用いてもよい。ただし、ノイズの強さが同程度であっても、平坦な画像で発生している場合と、テキスチャのある画像で発生している場合とで、人が感じるノイズの強さは大きく異なる。そのため、ダイナミックレンジが狭いほど、ノイズが目立ちやすい特性を考慮して、ダイナミックレンジを使うのが好ましい。
【０１２３】
そして、画像自体が持つ信号強度と最大ノイズ強度Dmaxとの比率がαDより大きいか否かを判定する（Ｓ１７）。判定には以下の式（１７）が用いられる。ここで、αDは比率の閾値を示す定数（規定値）であり、本実施の形態ではαD = 2とする。なお、例えば、画像全体において、画像自体が持つ信号強度と最大ノイズ強度との比率を表すヒストグラムを生成し、ヒストグラム分布の谷における比率をαDの値として設定してもよい。
【０１２４】
【数１３】
【０１２５】
上記比率がαD以上である場合（Ｓ１７でＹＥＳ）、つまり、上記式（１７）を満たす場合には、注目画素(i, j)はディテイルと判定する（Ｓ１８）。上記比率がαDよりも小さい場合（Ｓ１７でＮＯ）、つまり、上記式（１７）を満たさない場合、注目画素(i, j)はノイズであると判定する（Ｓ１９）。
【０１２６】
図１２は、図３に示すノイズ推定処理部１８が、図１１に示す第１の処理形態を実行した場合の、図３に示すディテイル強調処理部１９で実行される処理のフローチャートである。ディテイル強調処理部１９では、前段のノイズ推定処理部１８における判定結果から、画素毎に異なる処理を行う。まず、注目画素(i, j)がディテイルであるか否か（言い換えれば、ノイズでないか否か）を判定する（Ｓ２１）。ディテイルである場合（Ｓ２１でＹＥＳ）、ノイズ低減処理されたノイズ低減画像S(i, j)に更に輪郭強調処理を施した輪郭強調画像U(i, j)を算出し（Ｓ２２）、この輪郭強調画像U(i, j)を出力する（Ｓ２３）。他方、注目画素(i, j)がディテイルでない場合（Ｓ２１でＮＯ）、言い換えれば、注目画素(i, j)がノイズである場合、ノイズ低減画像S(i, j)をそのまま出力する（Ｓ２４）。上記の選択処理を全ての画素に対して実行して得られた画像（出力画像）が、ノイズ処理部１２でのノイズ低減処理結果である。よって、対象画像fINをこの出力画像に置き換え、ノイズ処理部１２から出力する。
【０１２７】
ディテイル強調処理部１９では、ノイズ低減画像Sから輪郭強調画像Uを算出するために、例えば、ノイズ低減画像Sに対してアンシャープマスクを適用する。アンシャープマスクは、一旦画像をガウシアンフィルタなどにより平滑化し、原画像とその平滑化画像との差分に所定倍率（例えば、０．３倍）をかけて原画像に加算することにより、エッジ強度（例えば、輝度値の変動量）の大きな画素（領域）を更に強調するためのマスクである。
【０１２８】
ディテイル強調処理部１９では、輪郭強調処理をディテイルと判定された画素にのみ適用することで、一度低減したノイズを再度強調することなくディテイルのみを強調することができる。
【０１２９】
次に、ノイズ推定処理部１８で実行される第２の処理形態について説明する。図１３は、ノイズ推定処理部１８で実行される第２の処理形態を示すフローチャートである。第２の処理形態では、ノイズ推定処理部１８は、画素毎にノイズの強度を算出して、これを基に各画素のノイズである可能性（ノイズらしさ）の程度を数値として算出する。これは、ノイズ推定処理部１８の後段のディテイル強調処理部１９にて、ノイズらしさの程度に基づき、各画素の強調処理の程度を決定するからである。
【０１３０】
まず、上述のノイズ推定処理部１８で実行される第１の処理形態の場合と同様に、画像fINと画像Tとの差分絶対値、画像fINと画像Sとの差分絶対値を、それぞれ、ノイズ強度N1、ノイズ強度N2として算出する。そして、ノイズ強度N1, N2の最大値Dmax N1, Dmax N2から画像fINの最大ノイズ強度Dmaxを求める（Ｓ１１〜Ｓ１５）。
【０１３１】
他方で、ノイズ推定処理部１８で実行される第１の処理形態の場合と同様に、画像自体が持つ信号強度を画素毎に算出する（Ｓ１６）。第２の処理形態でも、画像自体が持つ信号強度を、画像SのダイナミックレンジRANGEとして求める。
【０１３２】
そして、最大ノイズ強度Dmaxと画像（画素）自体が持つ信号の強度（ここでは、画像SのダイナミックレンジRANGE）との比率LIN (i, j)を算出する（Ｓ３１）。比率LIN (i, j)は、以下の式（１８）から求めることができる。
【０１３３】
【数１４】
【０１３４】
さらに、第IN番目のフレーム画像である画像fINと、これより前のn-1枚のフレーム画像との計n枚のフレーム画像の、比率の重みつき平均Lμ (i, j)を算出する（Ｓ３５）。Lμ (i, j)は、以下の式（１９）から求めることができる。
【０１３５】
【数１５】
【０１３６】
ただし、画像fINとn-1枚の他のフレーム画像との間には、モーションが存在するため、比率の重みつき平均Lμ (i, j)を算出する前に、画像fINより前のｎ-1枚のフレーム画像の比率を、画像fINを基準にモーション補正した値に更新しておく。この更新は、次のように行う。
【０１３７】
まず、第IN番目より前のｎ-1枚のフレーム画像の比率をバッファ（図示せず）から参照し（Ｓ３２）、画像fINを基準に各フレーム画像の比率をモーション補正する（Ｓ３３）。そしてＳ３１で求めた比率と、Ｓ３３でモーション補正した比率をバッファに書き込む（Ｓ３４）。Ｓ３４では、第(IN - (n-1))番目から第IN番目までの比率、つまりn個の比率が、バッファに書き込まれる。
【０１３８】
Ｓ３３のモーション補正は、第１ノイズ低減処理部１６のモーション補正部５４で実行した処理と同様に、画像fINを基準としたときの画像fkのモーションの逆ベクトル-dkだけ比率Lkをシフトすることで得られる。モーションは、第１ノイズ低減フィルタ構築部５０で推定された値を使用してもよい。また、比率のモーション補正の結果をバッファに保存して、次のフレーム画像の処理時に参照することで、参照する過去の比率が予め１枚前のフレーム画像を基準にモーション補正されたものとなる。そのため、過去の比率のいずれについても、１枚前のフレーム画像との間のモーション補正を行うのみでよい。
【０１３９】
Ｓ３５の比率の重みつき平均Lμ (i, j)の算出で用いる重み係数ωL (k)は、第(IN-1)番目のフレーム画像に与える重みとし、第IN番目のフレーム画像である画像fINを基準として、画像fINに類似している程大きな重みを与えるよう（例えば、ωL (k) = 2-k）設定する。もしくは、ωL (k) = 1として、単純な平均を求めてもよい。
【０１４０】
そして、得られた比率の重みつき平均Lμからノイズらしさの程度を求める（Ｓ３６）。Lμ (i, j)が大きいほど画素(i, j)がノイズである可能性が高いとして、Lμ (i, j)と正の相関を持ち、最大値1、最小値0となる関数を設定し、得られる数値をノイズらしさの程度とする。関数の例として、次式（２０）で表される関数が挙げられる。
【０１４１】
【数１６】
【０１４２】
式（２０）において、αLおよびβLは正の固定値（例えば、αL = 8, βL = 0.5）をとる所定係数である。これらの係数は、画像fINの画質に合わせて最適化した値を設定しておく。上式（２０）をグラフで表した図１４に示す通り、ノイズらしさの程度γ (i, j)は、Lμ (i, j) = βLのとき０．５、すなわち、ノイズらしさの程度とディテイルらしさの程度が同等となる。また、αLが大きいほど、収束は高速となり、少しのノイズ強度でもノイズらしさの程度は大きい（高い）値をとるようになる。ノイズらしさの程度γ(i, j)は、Lμ (i, j)と正の相関を持ち、０から１の範囲をとり得る別の関数を利用してもよい。簡単な例では、Lμ (i, j) が閾値LTH未満のとき0, Lμ (i, j) が閾値LTH以上のとき１をとるステップ関数を利用することができる。
【０１４３】
以上の処理により、画像自体が持つ信号の強度に比べて、最大ノイズ強度が第IN番目のフレーム画像及びその前の数枚のフレーム画像との間で平均的に大きい場合、ノイズらしさの程度を表す数値は大きくなり、注目画素の近傍領域において継続的にノイズが発生している可能性が高いと判断できる。よって、ノイズらしさを表す数値が大きい領域では、後段のディテイル強調処理の効果を抑制することができる。
【０１４４】
図１５は、図３に示したノイズ推定処理部１８にて第２の処理形態が実行される場合のディテイル強調処理部１９での処理を示す図である。ディテイル強調処理部１９では、前段のノイズ推定処理部１８にて求めたノイズらしさの程度γ(i, j)から、画素毎に異なる処理を行う。ディテイル強調処理部１９では、ノイズ低減画像S(i, j)と、それに輪郭強調処理を施した輪郭強調画像U(i, j)を用意して、ノイズらしさの程度γ(i, j)の値に応じた線形和を求める。線形和は、以下の式（２１）から求められる。
【０１４５】
【数１７】
【０１４６】
上記の線形和を全ての画素に対して求めて得られた画像（出力画像）が、ノイズ処理部１２でのノイズ低減処理結果である。よって、画像fINをこの出力画像に置き換え、ノイズ処理部１２から出力する。
【０１４７】
なお、第２の処理形態における輪郭強調画像Uは、上記した第１の処理形態の場合と同様の手段を用いることで得ることができる。
【０１４８】
ディテイル強調処理部１９では、ノイズらしさの程度γ(i, j)の値に応じた線形和を求めることで、一度低減したノイズを再度強調することなくディテイル成分のみを強調することができる。
【０１４９】
次に、ノイズ推定処理部１８で実行される第３の処理形態について説明する。図１６は、ノイズ推定処理部１８で実行される第３の処理形態を示すフローチャートである。第３の処理形態では、画素毎にノイズ強度を算出し、かつ、画素毎に第２ノイズ低減処理された画像Sのエッジ強度DE(i, j)を求めて、これらを基に、各画素がディテイル（ノイズではない）かノイズかを判定する。これは、ノイズ推定処理部１８の後段のディテイル強調処理部１９にてディテイル（ノイズではない）と判定された画素に対してのみ強調処理を行うためである。
【０１５０】
まず、上述のノイズ推定処理部１８で実行される第１の処理形態の場合と同様に、画像fINと画像Tとの差分絶対値、画像fINと画像Sとの差分絶対値を、それぞれ、ノイズ強度N1、ノイズ強度N2として算出する。そして、ノイズ強度N1, N2の最大値Dmax N1, Dmax N2から画像fINの最大ノイズ強度Dmaxを求める（Ｓ１１〜Ｓ１５）。
【０１５１】
他方で、画素毎に画像Sのエッジ強度DE(i, j)を求める（Ｓ４１）。本実施の形態では、エッジ強度DE(i, j)は、画像Sと画像Sにローパスフィルタを適用した画像SLPFとの差分の絶対値として求める。エッジ強度DE(i, j)は、これ以外の方法で求めてもよい。
【０１５２】
そして、エッジ強度DE(i, j)と最大ノイズ強度Dmaxとの比率がαEより大きいか否かを判定する（Ｓ４２）。判定には以下の式（２２）が用いられる。ここで、αEは比率の閾値を示す定数（例えば、２０）である。
【０１５３】
【数１８】
【０１５４】
上記比率がαE以上である場合（Ｓ４２でＹＥＳ）、つまり、上記式（２２）を満たす場合には、注目画素(i, j)はディテイルと判定する（Ｓ４３）。上記比率がαEよりも小さい場合（Ｓ４２でＮＯ）、つまり、上記式（２２）を満たさない場合、注目画素(i, j)はノイズであると判定する（Ｓ４４）。
【０１５５】
ノイズ推定処理部１８が第３の処理形態を実施する場合、ディテイル強調処理部１９は、ノイズ推定処理部１８が第１の処理形態を実施された場合に行う、図１２を用いて説明した上記処理と同様の処理を行う。
【０１５６】
以上の処理により、ノイズであるかどうか判定しながらノイズを低減して、ディテイル成分のみに対して選択的に強調処理を実行する。よって、ノイズを低減しつつ、ディテイル成分のぼけを抑制することができる。
【０１５７】
ノイズ推定処理部１８で実行される処理は、以上の第１〜第３の処理形態の何れであっても構わない。
【０１５８】
ノイズ処理部１２では、第IN番目の画像fINに対して、第１ノイズ低減処理部１６からディテイル強調処理部１９までの一連のノイズ低減処理を終えると、IN = IN + 1として次のフレームに進む。全てのフレーム画像、つまり全ての映像データ、に対してノイズ処理部１２での処理が完了すると、図２に示すように、次のシャープネス処理部１３に進む。
【０１５９】
以上からわかるように、ノイズ処理部１２では、上記構成により、映像を構成するフレーム画像に対して、ノイズの低減とディテイルの復元とを両立した画像処理を行うことができる。そのため、ノイズを抑制し、ディテイルを強調することができ、画質を向上させた画像（出力画像）を出力することができる。また、テレビ放送受信装置１は、ノイズ処理部１２を有しているため、ノイズを抑制し、ディテイルを強調させて、画質を向上させた画像を表示することができる。よって、ユーザに快適な視認環境を提供することができる。
【０１６０】
（変形例）
本実施形態では、本発明に係る画像処理装置を、チューナー３を有するテレビ放送受信装置１の映像信号処理部４２に適用した場合を例に説明した。しかし、本発明に係る画像処理装置を、例えば、チューナー３を有していないモニタ（インフォメーションディスプレイ）の映像信号処理を実行する処理部に適用してもよい。この場合は、モニタが、本発明に係る画像表示装置であり、モニタの概略構成は、例えば、図１に示す構成からチューナー３を除いたものとなる。本発明に係る画像処理装置がモニタの映像信号処理を実行する処理部に適用されているため、モニタにおいて、高品質に映像のノイズ低減処理を実行することができる。
【０１６１】
また、本実施形態では、本発明に係る画像処理装置を、表示部６を１つ有するテレビ放送受信装置１の映像信号処理部４２に適用した場合を例に説明した。しかし、本発明に係る画像処理装置を、例えば図１７に示すように表示部６が垂直方向および水平方向に複数台配置されたマルチディスプレイ１００の映像信号処理を実行する処理部に適用してもよい。この場合は、マルチディスプレイ１００が、本発明に係る画像表示装置である。本発明に係る画像処理装置がマルチディスプレイ１００の映像信号処理を実行する処理部に適用されているため、例えば、マルチディスプレイ１００にＦＨＤ映像を再生するような場合において、高品質に映像のノイズ低減処理を実行することができる。
【０１６２】
〔実施の形態２〕
本実施の形態の映像信号処理部は、図２に示す実施の形態１の映像信号処理部４２のノイズ処理部１２が、図１８に示すノイズ処理部（画像処理装置）１２’に置き換わったものである。ノイズ処理部１２’以外の構成は実施の形態１の映像信号処理部４２と同じである。よって、実施の形態１で説明した構成と同一の構成には同一の符号を付し、実施の形態１で説明した処理については説明を省略する。
【０１６３】
ノイズ処理部１２’は、図１８に示すように、第１ノイズ低減処理部１６と、ノイズ推定処理部１８’と、ディテイル強調処理部１９’とを有する。
【０１６４】
ノイズ処理部１２’は、ノイズ処理部１２が有していた第２ノイズ低減処理部１７を有していない。そこで、本実施の形態では、例えば、デコーダ１０にて映像ストリームのデコードを行う際に、特許文献２に記載のような１枚のフレーム画像（シングルフレーム画像）を用いたノイズ低減処理を行い、できる限り圧縮ノイズを除去しておく。圧縮ノイズとは、シングルフレーム画像でも除去できるノイズ、特にモスキートノイズである。なお、圧縮ノイズの除去はデコーダ１０で実施されてもよいが、例えば、圧縮ノイズ除去部がノイズ処理部１２’より前段に設けられていてもよい。
【０１６５】
第１ノイズ低減処理部１６は、実施の形態１で説明した構成と同じであり、同じ処理を行う。つまり、複数のフレーム画像を用いて、フレーム間で相関が小さい画素をノイズと見做して低減する。
【０１６６】
ノイズ推定処理部１８’での処理には、実施の形態１と同様に、第１〜第３の処理形態がある。そして、それぞれの処理形態毎に、後段のディテイル強調処理部１９’での処理も異なる。いずれの処理形態においても、ノイズ推定処理部１８’には、現在のノイズ低減処理の対象の画像（対象画像）fINと、画像fINを第１ノイズ低減処理部１６にて処理して得られた画像（ノイズ低減画像）Tが入力される。そして、画素単位でノイズの強度を算出する。
【０１６７】
図１９は、ノイズ推定処理部１８’での第１の処理形態を示すフローチャートである。この第１の処理形態では、まず、実施の形態１のノイズ推定処理部１８で実行される第１の処理形態の場合と同様に、画像fINと画像Tとの差分絶対値をノイズ強度Nとして算出する（Ｓ１１）。そして、ノイズ強度Nの最大値Dmax Nを求める（Ｓ１３）。本実施の形態では、画像Sを用いない（算出しない）ので、最大値Dmax Nが画像fINの最大ノイズ強度Dmaxとなる。
【０１６８】
他方で、画像自体が持つ信号強度を画素毎に算出する（Ｓ１６’）。本実施の形態では、画像自体が持つ信号強度を、画像TのダイナミックレンジRANGEとして求める。
【０１６９】
そして、画像自体が持つ信号強度（ここでは、画像TのダイナミックレンジRANGE）と最大ノイズ強度Dmaxとの比率がαDより大きいか否かを判定し（Ｓ１７）、注目画素(i, j)がディテイルかノイズかを判定する（Ｓ１８、１９）。
【０１７０】
図２０は、ノイズ推定処理部１８’での第２の処理形態を示すフローチャートである。この第２の処理形態では、まず、実施の形態１のノイズ推定処理部１８で実行される第２の処理形態の場合と同様に、画像fINと画像Tとの差分絶対値をノイズ強度Nとして算出し（Ｓ１１）、ノイズ強度Nの最大値Dmax Nを求める（Ｓ１３）。この最大値Dmax Nが画像fINの最大ノイズ強度Dmaxとなる。
【０１７１】
他方で、画像自体が持つ信号強度を画素毎に算出する（Ｓ１６’）。ただし、本実施の形態では、画像自体が持つ信号の強度を、画像TのダイナミックレンジRANGEとして求める。
【０１７２】
そして、実施の形態１のノイズ推定処理部１８で実行される第２の処理形態の場合と同様に、最大ノイズ強度Dmaxと画像（画素）自体が持つ信号の強度（ここでは、画像TのダイナミックレンジRANGE）との比率LIN (i, j)を算出する（Ｓ３１）。
【０１７３】
さらに、実施の形態１のノイズ推定処理部１８で実行される第２の処理形態の場合と同様に、第IN番目より前のｎ-1枚のフレーム画像の比率をバッファから参照し（Ｓ３２）、画像fINを基準に各フレーム画像の比率をモーション補正する（Ｓ３３）。そして、Ｓ３１で求めた比率と、Ｓ３３でモーション補正した比率をバッファに書き込む（Ｓ３４）。そして、比率の重みつき平均Lμ (i, j)を算出して（Ｓ３５）、得られた比率の重みつき平均Lμからノイズらしさの程度を求める（Ｓ３６）。
【０１７４】
図２１は、ノイズ推定処理部１８’での第３の処理形態を示すフローチャートである。この第３の処理形態では、まず、実施の形態１のノイズ推定処理部１８で実行される第３の処理形態の場合と同様に、画像fINと画像Tとの差分絶対値をノイズ強度Nとして算出し（Ｓ１１）、ノイズ強度Nの最大値Dmax Nを求める（Ｓ１３）。この最大値Dmax Nが画像fINの最大ノイズ強度Dmaxとなる。
【０１７５】
他方で、画素毎に画像Tのエッジ強度エッジ強度DE(i, j)を求める（Ｓ４１’）。本実施の形態では、エッジ強度DE(i, j)は、画像Tと画像Tにローパスフィルタを適用した画像TLPFとの差分の絶対値として求める。エッジ強度DE(i, j)は、これ以外の方法で求めてもよい。
【０１７６】
そして、実施の形態１のノイズ推定処理部１８で実行される第３の処理形態の場合と同様に、エッジ強度DE(i, j)と最大ノイズ強度Dmaxとの比率がαEより大きいか否かを判定し（Ｓ４２）、注目画素(i, j)がディテイルかノイズかを判定する（Ｓ４３、４４）。
【０１７７】
ディテイル強調処理部１９’は、ノイズ推定処理部１８’が、第１もしくは第３の処理形態にてノイズ推定処理を行う場合、次の処理を行う。図２２に示すように、まず、注目画素(i, j)がディテイルであるか否か（言い換えれば、ノイズでないか否か）を判定する（Ｓ５１）。ディテイルである場合（Ｓ５１でＹＥＳ）、ノイズ低減処理されたノイズ低減画像T(i, j)に更に輪郭強調処理を施した輪郭強調画像U(i, j)を算出し（Ｓ５２）、この輪郭強調画像U(i, j)を出力する（Ｓ５３）。他方、注目画素(i, j)がディテイルでない場合（Ｓ５１でＮＯ）、言い換えれば、注目画素(i, j)がノイズである場合、ノイズ低減画像T(i, j)をそのまま出力する（Ｓ５４）。上記の選択処理を全ての画素に対して実行して得られた画像（出力画像）が、ノイズ処理部１２’でのノイズ低減処理結果である。よって、対象画像fINをこの出力画像に置き換え、ノイズ処理部１２’から出力する。
【０１７８】
ディテイル強調処理部１９’は、ノイズ推定処理部１８’が、第２の処理形態にてノイズ推定処理を行う場合、次の処理を行う。図２３に示すように、前段のノイズ推定処理部１８’にて求めたノイズらしさの程度γ(i, j)から、画素毎に異なる処理を行う。ディテイル強調処理部１９’では、ノイズ低減画像T(i, j)と、それに輪郭強調処理を施した輪郭強調画像U(i, j)を用意して、ノイズらしさの程度γ(i, j)の値に応じた線形和を求める。線形和は、線形和は、以下の式（２３）から求められる。
【０１７９】
【数１９】
【０１８０】
上記の線形和を全ての画素に対して求めて得られた画像（出力画像）が、ノイズ処理部１２’でのノイズ低減処理結果である。よって、画像fINをこの出力画像に置き換え、ノイズ処理部１２’から出力する。
【０１８１】
〔実施の形態３〕
図２４は、実施の形態３の映像信号処理部を示すブロック図である。本実施の形態では、実施の形態１で説明した構成と同一の構成には同一の符号を付し、実施の形態１で説明した処理については説明を省略し、異なる構成のみ説明する。
【０１８２】
本実施の形態の映像信号処理部４２０は、図２に示す実施の形態１の映像信号処理部４２のシャープネス処理部１３が無く、実施の形態１のノイズ処理部１２がノイズ処理部（画像処理装置）１２０に置き換わったものである。これら以外の構成は実施の形態１の映像信号処理部４２と同じである。
【０１８３】
ノイズ処理部１２０は、ＩＰ変換処理部１１が出力する映像データに含まれるノイズを低減（抑制）するためのノイズ低減処理を実行する。さらに、ＩＰ変換処理部１１が出力する映像データのディテイルを向上させる処理（ディテイル強調処理）を実行する。ノイズ低減処理、ディテイル強調処理については、後段で詳細に説明する。
【０１８４】
カラー調整処理部１４は、ノイズ処理部１２０が出力する映像データに対して、コントラストや彩度等を調整するカラー処理を実行する。
【０１８５】
（ノイズ処理部）
図２５は、ノイズ処理部１２０の構成を示すブロック図である。ノイズ処理部１２０は、第１ノイズ低減処理部１６と、第２ノイズ低減処理部１７と、ノイズ推定処理部１８と、ノイズ推定処理部１８の推定結果に従い、第１および第２ノイズ低減処理部１６，１７において失われたディテイル（ディテイル成分）に選択的にノイズを重畳するディテイル強調処理部１９０とを含む。つまり、ノイズ処理部１２０は、図３に示す実施の形態１のディテイル強調処理部１９が、ディテイル強調処理部１９０に置き換わったものである。ディテイル強調処理部１９０以外の構成は実施の形態１のノイズ処理部１２と同じである。
【０１８６】
ノイズ処理部１２０でのノイズ低減処理の対象となるフレーム画像の番号をINとするとき、IN = 0のフレーム画像から順に、第１ノイズ低減処理部１６からディテイル強調処理部１９０までの処理を行う。そして、ディテイル強調処理部１９０での処理が終了すると、次のフレーム画像に進む。すなわち、IN = IN + 1として、第１ノイズ低減処理部１６から処理を実行する。以下では、実施の形態１と同様に、第１ノイズ低減処理部１６での現在（今回）のノイズ低減処理対象のフレーム画像（対象画像）を画像fINとして説明する。
【０１８７】
第１ノイズ低減処理部１６、第２ノイズ低減処理部１７、ノイズ推定処理部１８での処理は実施の形態１と同様である。第２ノイズ低減処理部１７のエッジ強度算出部６０（図９参照）は、入力された画像Tにおいて、エッジである可能性（エッジらしさ）の程度であるエッジ強度の大きい画素ほどモスキートノイズの低減効果が得られるよう、エッジ強度を算出する。ここではエッジ強度は、輝度値のばらつき（変動量）として算出するが、明度や濃度値（画素値）を用いてエッジ強度を算出してもよい。輝度値は、式（１）のＹ成分を用いる。また、エッジ強度DE(i, j)は、画像Tと画像Tにローパスフィルタを適用した画像TLPFとの差分の絶対値として求める。一例として、エッジ強度は、以下の式（２４）より算出する。
【０１８８】
【数２０】
【０１８９】
（ノイズ推定処理部及びディテイル強調処理部）
次に、図２５に示すノイズ推定処理部１８、ディテイル強調処理部１９０について説明する。ノイズ推定処理部１８で実行される処理には、以下で説明する第１及び第２の処理形態がある。それぞれの処理形態毎に、後段のディテイル強調処理部１９０での処理も異なる。
【０１９０】
いずれの処理形態においても、ノイズ推定処理部１８には、現在のノイズ低減処理の対象の画像（対象画像）fINと、画像fINを第１ノイズ低減処理部１６にて処理して得られた画像（ノイズ低減画像）Tと、画像Tを第２ノイズ低減処理部１７にて処理して得られた画像（ノイズ低減画像）Sとが入力される。そして、画素単位でノイズの強度を算出する。ここで、画像Tは画像fINからランダムノイズやブロックノイズを低減した画像（第１ノイズ低減処理結果）であり、画像Sは画像Tからモスキートノイズを低減した画像（第２ノイズ低減処理結果）である。従って、画像fINと画像Tとの差分、画像fINと画像Sとの差分が、各種ノイズのノイズ強度を表す。
【０１９１】
ノイズ推定処理部１８で実行される処理について、第１の処理形態から順に説明する。第１の処理形態では、ノイズ推定処理部１８は、画素毎にノイズ強度を算出し、かつ、画素毎に画像自体が持つ信号強度を求め、これらを基に、各画素がディテイル（ノイズではない）かノイズかを判定する。これは、ノイズ推定処理部１８の後段のディテイル強調処理部１９０にて（ノイズではない）と判定された画素に対してのみノイズを重畳する処理を行うためである。
【０１９２】
本実施の形態でのノイズ推定処理部１８での第１の処理形態は、図１１で示す実施の形態１のノイズ推定処理部１８の第１の処理形態と同様である。
【０１９３】
図１２は、図２５に示すノイズ推定処理部１８が、図１１に示す第１の処理形態を実行した場合の、図２５に示すディテイル強調処理部１９０で実行される処理のフローチャートである。ディテイル強調処理部１９０では、前段のノイズ推定処理部１８における判定結果から、画素毎に異なる処理を行う。まず、注目画素(i, j)がディテイルであるか否か（言い換えれば、ノイズでないか否か）を判定する（Ｓ２１）。ディテイルである場合（Ｓ２１でＹＥＳ）、ノイズ低減処理されたノイズ低減画像S(i, j)にノイズ重畳処理を施した輪郭強調画像U(i, j)を算出し（Ｓ２２）、この輪郭強調画像U(i, j)を出力する（Ｓ２３）。他方、注目画素(i, j)がディテイルでない場合（Ｓ２１でＮＯ）、言い換えれば、注目画素(i, j)がノイズである場合、ノイズ低減画像S(i, j)をそのまま出力する（Ｓ２４）。なお、ノイズ重畳処理の詳細は後述する。
【０１９４】
上記の選択処理を全ての画素に対して実行して得られた画像（出力画像）が、ノイズ処理部１２０でのノイズ低減処理結果である。よって、対象画像fINをこの出力画像に置き換え、ノイズ処理部１２０から出力する。
【０１９５】
ディテイル強調処理部１９０では、ノイズ低減画像Sから輪郭強調画像Uを算出するために、例えば、ノイズ低減画像Sに対してノイズを重畳する。重畳するノイズは、高周波成分で構成されたノイズを原画像に加算することにより、ノイズ低減処理で失われた高周波成分を補うことが可能となり、精細感を向上させるものである。
【０１９６】
ディテイル強調処理部１９０では、ノイズ重畳処理をディテイルと判定された画素にのみ適用することで、一度低減したノイズを再度強調することなく精細感を向上させることができる。
【０１９７】
本実施の形態でのノイズ推定処理部１８での第２の処理形態は、図１３で示す実施の形態１のノイズ推定処理部１８での第２の処理形態と同様である。本実施の形態でのノイズ推定処理部１８での第２の処理形態では、ノイズ推定処理部１８は、画素毎にノイズの強度を算出して、これを基に各画素のノイズである可能性（ノイズらしさ）の程度を数値として算出する。これは、ノイズ推定処理部１８の後段のディテイル強調処理部１９０にて、ノイズらしさの程度に基づき、各画素に添加するノイズ重畳処理の程度を決定するからである。
【０１９８】
本実施の形態でのノイズ推定処理部１８での処理により、画像自体が持つ信号の強度に比べて、最大ノイズ強度が第IN番目のフレーム画像及びその前の数枚のフレーム画像との間で平均的に大きい場合、ノイズらしさの程度を表す数値は大きくなり、注目画素の近傍領域において継続的にノイズが発生している可能性が高いと判断できる。よって、ノイズらしさを表す数値が大きい領域では、後段のノイズ重畳処理の効果を抑制することができる。
【０１９９】
図１５は、図２５に示したノイズ推定処理部１８にて第２の処理形態が実行される場合のディテイル強調処理部１９０での処理を示す図である。ディテイル強調処理部１９０では、前段のノイズ推定処理部１８にて求めたノイズらしさの程度γ(i, j)から、画素毎に異なる処理を行う。ディテイル強調処理部１９０では、ノイズ低減画像S(i, j)と、それにノイズ重畳処理を施した輪郭強調画像U(i, j)を用意して、ノイズらしさの程度γ(i, j)の値に応じた線形和を求める。線形和は、上記した式（２１）から求められる。ノイズ重畳処理の詳細は後述する。
【０２００】
上記の線形和を全ての画素に対して求めて得られた画像（出力画像）が、ノイズ処理部１２０でのノイズ低減処理結果である。よって、画像fINをこの出力画像に置き換え、ノイズ処理部１２０から出力する。
【０２０１】
なお、本実施の形態の第２の処理形態におけるノイズが重畳された輪郭強調画像Uは、上記した本実施の形態の第１の処理形態の場合と同様の手段を用いることで得ることができる。
【０２０２】
ディテイル強調処理部１９０では、ノイズらしさの程度γ(i, j)の値に応じた線形和を求めることで、精細感を向上させることができる。
【０２０３】
ノイズ推定処理部１８で実行される処理は、以上の第１または第２の処理形態の何れであっても構わない。
【０２０４】
ノイズ処理部１２０では、第IN番目の画像fINに対して、第１ノイズ低減処理部１６からディテイル強調処理部１９０までの一連のノイズ低減処理を終えると、IN = IN + 1として次のフレームに進む。全てのフレーム画像、つまり全ての映像データ、に対してノイズ処理部１２０での処理が完了すると、図２４に示すように、次のカラー調整処理部１４に進む。
【０２０５】
以上からわかるように、本実施の形態のノイズ処理部１２０では、上記構成により、映像を構成するフレーム画像に対して、ノイズの低減とディテイルの復元とを両立した画像処理を行うことができる。そのため、ノイズを抑制し、精細感を向上させることができ、画質を向上させた画像（出力画像）を出力することができる。また、テレビ放送受信装置１は、ノイズ処理部１２０を有しているため、ノイズを抑制し、精細感を向上させて、画質を向上させた画像を表示することができる。よって、ユーザに快適な視認環境を提供することができる。
（ディテイル強調処理部におけるノイズ重畳処理）
次に、ディテイル強調処理部１９０におけるノイズ重畳処理の詳細について説明する。
ディテイル強調処理部１９０は、付加ノイズ生成部１９１と付加ノイズ重畳部１９２とで構成されている。
【０２０６】
付加ノイズ生成部１９１は、画像の精細感を向上させるために、高周波成分で構成されるノイズ（一般的にブルーノイズという名称で呼ばれている）を発生させるためのものである。ここでは、処理の高速化のために、既に発生させたブルーノイズを図示しないメモリに保存しておき、そのデータを画素ごとに読み出し付加用ノイズデータとして用いる。付加用ノイズデータの一例を図２６に示す。付加用ノイズの適用方法としては、図２６のデータそれぞれを１画素の付加用ノイズデータとして用いる。すなわち、画素(i, j)の輝度値V(i,j)に対して、付加用ノイズデータBN(i,j)を加算する。このとき、付加用ノイズデータBN(i,j)に、第２ノイズ低減処理部１７のエッジ強度算出部６０で求めたエッジ強度DE(i, j)と調整用パラメータαを乗算し、画素(i, j)の輝度値V(i,j)に加算し、以下の式（２５）で示す新たな輝度値Vnew(I,j) を得る。
【０２０７】
Vnew(i,j)=V(i,j)+ DE(i, j)×α×BN(i,j) （０≦α≦１）・・・（２５）
ここでαは、画質により決定される値であり、実験により求めることができる。エッジ強度DE(i, j)を規格化して使用し、付加用ノイズデータBN(i,j)を±１２７までの値に設定した場合は、画像がノイジーになるのを避けるためにαの値は０≦α≦０．２５程度に設定する。ここでは、付加用ノイズデータのサイズとして、２５６×２５６のサイズを使用している。これが、表示部に表示される画像データサイズ（例えば、９２０×１０８０画素）よりも小さいサイズである場合、２５６×２５６のサイズごとに水平方向、垂直方向に繰り返し適用する。
【０２０８】
この付加用ノイズは、２５６×２５６のサイズで例示しているが、表示部６に応じてより大きいサイズの付加用ノイズを使用することも可能である。
【０２０９】
付加ノイズ重畳部１９２は、第IN番目の画像fINに対して、付加用ノイズを画素ごとに重畳する。付加用ノイズを画素ごとに重畳する際、画素値が０以下、または、２５５以上になる場合には、それぞれ０および２５５に制限する処理を行う。
【０２１０】
付加用ノイズデータは、ここでは１プレーンのみ示しており、画像データが構成されているＲ、Ｇ、Ｂの各プレーンに同じ付加用ノイズデータを適用することができる。また、Ｒ、Ｇ、Ｂのプレーン毎に異なる付加用ノイズデータを適用することも可能である。プレーン毎に異なる付加用ノイズデータを適用する場合は、１プレーンのみ付加用ノイズデータを生成したときと同様に、３プレーン分のノイズデータを生成し、Ｒ、Ｇ、Ｂの各プレーンにそれぞれ異なるノイズデータを適用する。さらに、映像データは、１フレームごとに更新されていくが、上記と同様に、１フレームごとに付加用ノイズを変更してもよいし、変更せずに使用することも可能である。
【０２１１】
プレーン毎に付加用ノイズデータを、変更しない、あるいは、変更することによる効果を以下に説明する。Ｒ、Ｇ、Ｂの各プレーンに同じ付加用ノイズデータを付加する利点としては、同じ付加用ノイズデータが重畳されることにより、主にグレー成分の信号に対して、効果的に精細感を向上させる効果を有する。
【０２１２】
反対にＲ、Ｇ、Ｂの各プレーンに異なる付加用ノイズデータを付加する利点としては、各プレーンで異なるノイズ成分強度を有することにより、種々の色成分に対して精細感を持たせることが可能となる。従って、Ｒ、Ｇ、Ｂの各プレーンに異なる付加用ノイズデータを付加することで、グレー成分以外の種々の色成分に対して、効果的に精細感を向上させる効果を有する。
【０２１３】
次に、フレーム毎に付加用ノイズデータを変更することによる効果を以下に説明する。ノイズデータを付加する画素位置と付加するノイズの組み合わせによっては、付加用ノイズの振幅が十分ではない場合が存在する可能性がある。そのため、精細感を向上させたい画素位置において、精細感の向上度合いが少なくなる恐れがある。そこで、フレーム毎に付加用ノイズを変更することで、異なる振幅を持つノイズが付加されることになり、精細感を向上させることが可能となる。異なるノイズデータを付加することで、フレームによっては、上記精細感が逆に低下する可能性も存在する。しかし、人間の眼は、１フレームごとの変化を認識するほどの高速応答性はなく、数十フレーム程度を積分した画像を認識する特性を有している。このことから、これらの連続したフレームは常に更新されており、精細感の向上したフレームが存在することで、連続した動画として、あたかも精細感が向上しているかのような感覚を与えることができる。
【０２１４】
ブルーノイズの生成は、簡略的には以下の方法で行うことができる。まず、ランダムノイズ発生器でランダムノイズを生成する。生成したノイズデータをＦＦＴ（Fast Fourier Transform）を用いて、周波数空間に変更した後、ハイパスフィルタを通して、低周波成分をカットする。次に、逆ＦＦＴ変換し、実空間のデータに戻す。以上の処理によりブルーノイズデータを得ることができる。これらの変換は、例えば、アメリカ合衆国のMathWorks社が開発している数値解析ソフトウェアMATLAB（登録商標）など既存のソフトウェアを用いることで実現可能である。
【０２１５】
（エッジ強度の算出の変形例）
上記において、エッジ強度に基づいてノイズを付加する方法について記載した。エッジ強度の算出には、Ｓｏｂａｌ法、Ｐｒｅｗｉｔｔ法、Ｒｏｂｅｒｔ法、Ｃａｎｎｙ法など一般的なエッジ検出方法を用いて行うことも可能である。それぞれエッジ検出方法として特徴を有するが、Ｃａｎｎｙ法はノイズを間違って採用する可能性が他の方法と比べて少なく、真の弱いエッジをより検出することで知られている。Ｃａｎｎｙ法でエッジを求める方法は、インテルが開発・公開したオープンソースであるＯｐｅｎＣＶのコンピュータビジョン向けライブラリを用いることが可能である。方法の詳細は、ＯｐｅｎＣＶを参照することで容易に理解することができる。
【０２１６】
Ｃａｎｎｙ法を用いて画像データからエッジ情報を抽出すると、エッジ情報はエッジであるか否かの２値のデータで表される、例えば、エッジである場合Vcanny (i, j)＝２５５、
エッジでない場合Vcanny (i, j)＝０と表わすことができる。
【０２１７】
次に、エッジ強度を求めるために、Vcanny (i, j)をガウシアンフィルタを用いてぼかし処理を行う。例えば、ガウシアンフィルタのフィルタ係数ＬＰＦGaussianとして、以下の行列を用いることができる。
【０２１８】
【数２１】
【０２１９】
エッジ強度DE(i, j)は、DE(i, j)＝Vcanny (i, j)・ＬＰＦGaussianで表される。このエッジ強度DE(i, j)には、Ｃａｎｎｙ法でのエッジ抽出結果にガウシアンフィルタが適用されているため、エッジから離れるに従って、エッジ強度が弱くなっていく特性を持たせることができる。
【０２２０】
上記処理により、最初にＣａｎｎｙの方法で求めたエッジ位置が最大のエッジ強度を持ち、画素位置が離れるに従って、エッジ強度は弱くなっていく特性を得ることができる。上記エッジ強度を用いて、上記新たな輝度値Vnew(i,j)を算出することができる。
【０２２１】
なお、本実施形態では、シャープネス処理を行っていない。しかし、上記ノイズ付加処理の後段にシャープネス処理を追加して、つまり、図２４に示すノイズ処理部１２０と、カラー調整処理部１４との間にシャープネス処理部を設けて、更に強調効果を持たせるようにしてもよい。
【０２２２】
本実施形態の映像信号処理部４２０は、例えば、チューナーを有するテレビ放送受信装置、あるいは、チューナーを有していないモニタ（インフォメーションディスプレイ）、あるいは、マルチディスプレイ、の映像信号処理を実行する処理部に適用可能である。
【０２２３】
〔実施の形態４〕
実施の形態１〜３のノイズ処理部１２、１２’，１２０は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０２２４】
すなわち、ノイズ処理部１２、１２’，１２０（または映像信号処理部４２，４２０、またはテレビ放送受信装置１）は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラム及び各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるノイズ処理部１２，１２’ ，１２０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、ノイズ処理部１２，１２’，１２０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０２２５】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０２２６】
また、ノイズ処理部１２、１２’，１２０（または映像信号処理部４２，４２０、またはテレビ放送受信装置１）を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０２２７】
本発明は上述した各実施形態に限定されるものではなく、種々の変更が可能である。すなわち、本発明の要旨を逸脱しない範囲内において適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０２２８】
本発明は、複数のフレーム画像からなる映像のノイズを低減する画像処理装置等に利用することができる。
【符号の説明】
【０２２９】
１ テレビ放送受信装置（画像表示装置）
１２，１２’，１２０ ノイズ処理部（画像処理装置）
１６，１６’ 第１ノイズ低減処理部（ノイズ低減画像生成部）
１７ 第２ノイズ低減処理部（ノイズ低減画像生成部）
１８ ノイズ推定処理部
１９ ディテイル強調処理部（強調処理部）
４２，４２０ 映像信号処理部（画像処理装置）
５０ 第１ノイズ低減フィルタ構築部
５１ 第１ノイズ低減フィルタリング部（ノイズ低減フィルタリング処理部）
５２ モーション推定部（移動量決定部）
５３ モーション算出部（移動量決定部）
５４ モーション補正部（補正画像生成部）
５５ 重み決定部
６０ エッジ強度算出部
６１ 第２ノイズ低減フィルタ構築部
６２ 第２ノイズ低減フィルタリング部（モスキートノイズ処理部）
【技術分野】
【０００１】
本発明は、映像の精細感を向上させる画像処理装置、画像表示装置、画像処理方法、コンピュータプログラム及び記憶媒体に関する。
【背景技術】
【０００２】
画像を拡大表示する際、高解像度化処理を施して表示を行うと圧縮処理に伴うノイズ（ブロックノイズ、モスキートノイズ等）が目立つことがある。
【０００３】
そこで、ノイズを含む画像に対して、ガウシアンフィルタなどのローパスフィルタを適用することにより、周辺画素との平滑化によりノイズの低減が可能である。しかしながら、低減しようとする高周波成分よりなる領域が、ノイズであるかディテイル（画像の詳細部分）であるか区別されていないため、ディテイルをもぼかしてしまい、画像の解像度の低下を招ねく。他方、バイラテラルフィルタを画像に適用することにより、周辺画素との輝度値の差の大小も考慮して、山の輪郭のように周辺画素との輝度値の差が大きい部分に対しては平滑化の効果を小さくすることで、エッジの保存を期待できる。しかし、草むらや波などのように輝度値の差は小さいもののエッジを多く含む領域は、ノイズとともにぼかされがちである。
【０００４】
上記のような理由でぼかされたディテイルの復元のため、アンシャープマスクなどの単純な強調処理を適用すると、低減したノイズも同時に強調されて、ノイズの復元の原因となってしまう。
【０００５】
ここで、特許文献１には、注目画素と他の各画素との輝度値の差より標準偏差を求め、文字や線のように標準偏差が大きい領域にはハイパスフィルタによる強調処理を行い、写真や絵のように標準偏差が小さい領域にはローパスフィルタによる平滑処理を行うことで、画像のエッジを保ったままノイズを除去できることが記載されている。特許文献１の手法では、３つのフィルタが提案されており、いずれの場合も、標準偏差の大きい場合にハイパスフィルタとしての効果が強くなり、小さい場合にローパスフィルタとしての効果が強くなるように設計されているため、上記の効果を得ることができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−２６６２３３号公報（２００９年１１月１２日公開）
【特許文献２】国際公開番号ＷＯ２００９／０６９２９２（２００９年６月４日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１の手法の場合、注目画素と他の各画素との輝度値の差を利用しており、エッジ部分の強度に基づいた処理であるため、ノイズとディテイルとを分類することができない。従って、ノイズがディテイルとして残り、ディテイルがノイズとして平滑化されるとういう問題を有する。また、特許文献１の手法では、エッジ周辺にモスキートノイズが発生している場合に、エッジの強調処理にモスキートノイズを巻き込んでしまい、モスキートノイズをも強調してしまうおそれもある。
【０００８】
そこで、本発明は、上記の問題点に鑑みてなされたものであって、その目的は、ノイズの低減とディテイルの復元とを両立した画像処理が可能な画像処理装置、画像表示装置、画像処理方法、コンピュータプログラム、並びに記憶媒体を提供することにある。
【課題を解決するための手段】
【０００９】
フレーム画像のある画素がディテイルであるかノイズであるかの判断は、そのフレーム画像単独の情報だけでは困難であり、フレーム間での比較を行うことが有効な手段の一つである。
【００１０】
そこで、上記課題を解決するために、本発明に係る画像処理装置は、複数のフレーム画像からなる映像のノイズを低減する画像処理装置において、ノイズ低減の対象のフレーム画像である対象画像と、当該対象画像に対して表示順序が前または後の少なくとも一方の少なくとも１以上のフレーム画像である参照用画像との間で、相関が小さい画素を、上記対象画像のノイズと見做し、当該ノイズを抑制するノイズ低減処理を施して、ノイズ低減画像を生成するノイズ低減画像生成部と、上記対象画像と上記ノイズ低減画像とを対応画素毎に比較した結果として、上記対象画像の各画素のノイズ強度を算出し、当該ノイズ強度に基づき上記対象画像の各画素についてノイズである可能性を判定するノイズ推定処理を実行するノイズ推定処理部と、上記ノイズ低減画像の画素毎に、上記ノイズ推定処理の結果を反映させた強調処理を施して、出力画像を生成する強調処理部と、を備えることを特徴としている。
【００１１】
上記構成では、ノイズ低減画像生成部にて、対象画像と参照用画像との間で相関が小さい画素を対象画像のノイズと見做し、当該ノイズを抑制するノイズ低減処理を施して、ノイズ低減画像を生成する。このノイズ低減処理により、フレーム画像の間で相関が小さいノイズ（例えば、ランダムノイズやブロックノイズ）を低減することができる。ここで、ノイズ低減画像は、フレーム画像の間で相関が小さいノイズが低減された画像ということになる。
【００１２】
そして、ノイズ推定処理部にて、対象画像とノイズ低減画像とを対応画素毎に比較した結果として、対象画像の各画素のノイズ強度を算出し、当該ノイズ強度に基づき対象画像の各画素についてノイズである可能性を判定するノイズ推定処理を実行する。さらに、強調処理部にて、ノイズ低減画像の画素毎に、ノイズ推定処理の結果を反映させた強調処理を施して、出力画像を生成する。つまり、対象画像の各画素のノイズ強度を算出して、このノイズ強度から判定された各画素のノイズである可能性を反映させて、ノイズ低減画像の画素毎に、強調処理を施す。よって、ノイズでない画素を含むノイズである可能性の低い画素に対しては、その画素を強調する処理を施すことができる。反対にノイズである画素を含むノイズである可能性の高い画素に対しては、その画素を強調する処理を行わない、あるいはその画素を弱める処理を施す、ということができる。
【００１３】
以上からわかるように、本発明に係る画像処理装置の上記構成によると、映像を構成するフレーム画像に対して、ノイズの低減とディテイルの復元とを両立した画像処理を行うことができる。そのため、ノイズを抑制し、ディテイルを強調することができ、画質を向上させた画像を出力することができる。
【００１４】
本発明に係る画像処理装置では、上記構成に加え、上記ノイズ推定処理部は、上記ノイズ推定処理として、上記対象画像の注目画素の上記ノイズ強度と、当該注目画素に対応する上記ノイズ低減画像の画素が有する信号強度、または当該注目画素のエッジである可能性の程度を示すエッジ強度と、を比較し、当該注目画素がノイズであるか否かを判定する処理を実行し、上記強調処理部は、上記ノイズ推定処理の結果を反映させた強調処理として、上記ノイズでないと判定された上記注目画素に対応する上記ノイズ低減画像の画素を強調する処理、かつ、上記ノイズであると判定された上記注目画素に対応する上記ノイズ低減画像の画素を強調しない処理、を実行してもよい。
【００１５】
具体的には、上記強調処理部は、上記強調する処理として、上記ノイズ低減画像に対してアンシャープマスクを適用して輪郭強調画像を生成し、上記ノイズでないと判定された上記注目画素に対応する当該輪郭強調画像の画素を出力し、かつ、上記強調しない処理として、上記ノイズであると判定された上記注目画素に対応する上記ノイズ低減画像の画素をそのまま出力して、上記出力画像を生成してもよい。
【００１６】
上記構成によると、上記ノイズ推定処理部は、注目画素がノイズであるか否かを判定する。そして、強調処理部は、ノイズでないと判定された注目画素に対応する輪郭強調画像の画素を出力し、かつ、ノイズであると判定された注目画素に対応するノイズ低減画像の画素をそのまま出力して、出力画像を生成する。よって、効果的に、ノイズが低減され、かつ、輪郭が強調された出力画像を出力することができる。
【００１７】
あるいは、上記強調処理部は、上記強調する処理として、上記ノイズ低減画像に対して高周波成分のノイズを付加した輪郭強調画像を生成し、上記ノイズでないと判定された上記注目画素に対応する上記輪郭強調画像の画素を出力し、かつ、上記強調しない処理として、上記ノイズであると判定された上記注目画素に対応する上記ノイズ低減画像の画素をそのまま出力して、上記出力画像を生成してもよい。
【００１８】
上記構成によると、人の視感度の低い高周波成分を持つブルーノイズを添加しているので、ノイズ添加によるノイジーさを増すことなく、精細感が向上した画像を得ることができる。
【００１９】
本発明に係る画像処理装置では、上記構成に加え、上記ノイズ推定処理部は、上記ノイズ推定処理として、上記対象フレーム画像の注目画素の上記ノイズ強度と当該注目画素に対応する上記ノイズ低減画像の画素が有する信号強度との比率から、当該注目画素のノイズである可能性の程度を算出する処理を実行し、上記強調処理部は、上記ノイズ推定処理の結果を反映させた強調処理として、上記ノイズ低減画像に対して、上記算出されたノイズである可能性の程度に応じた強調処理を実行してもよい。
【００２０】
具体的には、上記強調処理部は、上記強調処理として、上記ノイズ低減画像に対してアンシャープマスクを適用した輪郭強調画像を生成し、上記注目画素に対応する上記ノイズ低減画像の画素と、上記注目画素に対応する上記輪郭強調画像の画素との、上記算出されたノイズである可能性の程度に応じた線形和を求めて、上記出力画像を生成してもよい。
【００２１】
上記構成によると、上記ノイズ推定処理部は、注目画素のノイズである可能性の程度を算出する。そして、強調処理部は、注目画素に対応するノイズ低減画像の画素と、注目画素に対応する輪郭強調画像の画素とを用いて、これらのノイズである可能性の程度に応じた線形和として、出力画像を生成する。そのため、効果的に、ノイズが低減され、かつ、輪郭が強調された出力画像を出力することができる。
【００２２】
本発明に係る画像処理装置では、上記構成に加え、上記ノイズ推定処理部は、上記ノイズ推定処理として、上記対象画像の注目画素の上記ノイズ強度と当該注目画素に対応する上記ノイズ低減画像の画素が有する信号強度との比率から、当該注目画素のノイズである可能性の程度を算出する処理を実行し、上記強調処理部は、上記ノイズ推定処理の結果を反映させたノイズ強調処理として、上記ノイズ低減画像に対して、上記算出されたノイズである可能性の程度に応じたノイズ重畳処理を実行してもよい。
【００２３】
上記構成によると、ノイズ推定処理部が、対象画像の各画素のノイズ強度を算出して、このノイズ強度から判定された各画素のノイズである可能性を判定する。そして、強調処理部が、ノイズである可能性を反映させて、ノイズ低減画像の画素毎に対して、各画素のノイズである可能性の程度に応じたノイズ重畳処理を行うことができる。よって、ノイズ重畳により画像を余計にノイジーにすることなく、精細感が向上した画像を得ることができる。
【００２４】
本発明に係る画像処理装置では、上記構成に加え、上記ノイズ低減画像生成部は、上記対象画像の各画素を基準とした上記参照用画像の各画素の移動量を算出する移動量決定部と、上記参照用画像の各画素を、上記対象画像の各画素の位置と合うように、上記算出された移動量を用いて移動させた補正画像を生成する補正画像生成部と、上記補正画像と上記対象画像との差を算出し、当該算出された差が大きい程小さくなる重みを決定する重み決定部と、上記ノイズ低減処理として、上記補正画像に対して、上記決定された重みを付けたフィルタ処理を施すノイズ低減フィルタリング処理部と、を備えていてもよい。
【００２５】
上記構成では、移動量決定部にて、対象画像の各画素を基準とした参照用画像の各画素の移動量を算出し、補正画像生成部にて、参照用画像の各画素を、対象画像の各画素の位置と合うように、当該移動量を用いて移動させた補正画像を生成する。また、重み決定部により、補正画像と上記対象画像との差を算出し、当該算出された差が大きい程小さくなる重みを決定する。そして、ノイズ低減フィルタリング処理部にて、ノイズ低減処理として、重みを付けたフィルタ処理を施す。
【００２６】
よって、フレーム画像間の位置合わせを行った補正画像を生成した上で、補正画像と対象画像との差が大きい程小さくなるよう決定された重みを付けたフィルタ処理を、補正画像に適用する。そのため、映像が動きのあるシーンであったとしても、フィルタ処理によるボケを発生させることなく、ランダムノイズやブロックノイズといったフレーム画像間で相関のないノイズを低減することができる。
【００２７】
本発明に係る画像処理装置では、上記構成に加え、上記ノイズ低減画像生成部は、上記ノイズ低減処理を実行する第１ノイズ低減処理部と、上記ノイズ低減処理を施した対象画像に対して、さらに、モスキートノイズを抑制する抑制処理を施して、上記ノイズ低減画像を生成する第２ノイズ低減処理部とを備えていてもよい。
【００２８】
上記構成によると、第１ノイズ低減処理部により上記ノイズ低減処理を実行することで、ランダムノイズ、ブロックノイズといったフレーム画像間に相関のないノイズを低減することができる。加えて、第２ノイズ低減処理部により、エッジ周辺に存在するモスキートノイズを低減することができる。よって、よりノイズが低減された画像を出力することができる。
【００２９】
本発明に係る画像処理装置では、上記構成に加え、上記第２ノイズ低減処理部は、上記ノイズ低減処理を施した対象画像の各画素について、エッジである可能性の程度を示すエッジ強度を算出するエッジ強度算出部と、上記ノイズ低減処理を施した対象画像に対して、上記モスキートノイズを低減するモスキートノイズ低減処理を施すモスキートノイズ処理部と、上記算出されたエッジ強度が所定値より大きい画素の場合、上記モスキートノイズ低減処理の効果が大きくなり、上記エッジ強度が上記所定値以下の画素の場合、上記モスキートノイズ低減処理の効果が小さくなるように調整して、上記ノイズ低減画像を生成するノイズ低減効果調整部と、を備えていてもよい。
【００３０】
上記構成では、エッジ強度算出部にて、第１ノイズ低減処理部でのノイズ低減処理を施した対象画像の各画素について、エッジ強度を算出する。そして、モスキートノイズ処理部にて、上記ノイズ低減処理を施した対象画像に対して、モスキートノイズを低減するモスキートノイズ低減処理を施す。さらに、ノイズ低減効果調整部では、エッジ強度が所定値より大きい画素には、モスキートノイズ低減処理の効果が大きくなり、エッジ強度が所定値以下の画素には、モスキートノイズ低減処理の効果が小さくなるように調整して、ノイズ低減画像を生成する。
【００３１】
モスキートノイズはエッジ周辺に発生する。そこで、上記構成によると、エッジ強度が所定値よりも大きい画素、つまり、モスキートノイズが発生しやすい画素に対してモスキートノイズ低減処理の効果が大きくなるよう調整できる。エッジ強度が所定値以下の画素、つまり、モスキートノイズが発生しない画素に対してモスキートノイズ低減処理の効果が小さくなるよう調整できる。よって、モスキートノイズ低減処理によるディテイルの損失を抑制して、効率よくモスキートノイズを低減することできる。
【００３２】
上記の課題を解決するために、本発明に係る画像表示装置は、上記いずれかの画像処理装置を備えることを特徴としている。本発明に係る画像表示装置は、本発明に係る画像処理装置を備えているため、ノイズの低減とディテイルの復元とを両立した画像処理が施された画像を表示することができる。つまり、ノイズを抑制し、ディテイルを強調することができるので、画質を向上させた画像を表示することができる。よって、ユーザに快適な視認環境を提供することができる。
【００３３】
上記の課題を解決するために、本発明に係る画像処理方法は、複数のフレーム画像からなる映像のノイズを低減する画像処理方法において、ノイズ低減の対象のフレーム画像である対象画像と、当該対象画像に対して表示順序が前または後の少なくとも一方の少なくとも１以上のフレーム画像である参照用画像との間で、相関が小さい画素を、上記対象画像のノイズと見做し、当該ノイズを抑制する第１ノイズ低減処理を施して、ノイズ低減画像を生成するノイズ低減画像生成ステップと、上記対象画像と上記ノイズ低減画像とを対応画素毎に比較した結果から、上記対象画像の各画素のノイズ強度を算出し、当該ノイズ強度に基づき上記対象画像の各画素についてノイズである可能性を判定するノイズ推定処理を実行するノイズ推定処理ステップと、上記ノイズ低減画像の画素毎に、上記ノイズ推定処理の結果を反映させた強調処理を施して、出力画像を生成する強調処理ステップと、を含むことを特徴としている。
【００３４】
上記方法によれば、ノイズの低減とディテイルの復元とを両立した画像処理が可能な画像処理方法を提供することができる。
【００３５】
なお、本発明に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより上記画像処理装置をコンピュータにて実現させるプログラム、及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【００３６】
本発明の画像処理装置は、以上のように、ノイズ低減の対象のフレーム画像である対象画像と、当該対象画像に対して表示順序が前または後の少なくとも一方の少なくとも１以上のフレーム画像である参照用画像との間で、相関が小さい画素を、上記対象画像のノイズと見做し、当該ノイズを抑制するノイズ低減処理を施して、ノイズ低減画像を生成するノイズ低減画像生成部と、上記対象画像と上記ノイズ低減画像とを対応画素毎に比較した結果として、上記対象画像の各画素のノイズ強度を算出し、当該ノイズ強度に基づき上記対象画像の各画素についてノイズである可能性を判定するノイズ推定処理を実行するノイズ推定処理部と、上記ノイズ低減画像の画素毎に、上記ノイズ推定処理の結果を反映させた強調処理を施して、出力画像を生成する強調処理部と、を備えている。
【００３７】
上記構成によると、ノイズ低減画像生成部にて、ノイズ低減処理により、フレーム画像の間で相関が小さいノイズを低減することができる。また、ノイズ推定処理部及び強調処理部にて、各画素のノイズ強度を算出して、このノイズ強度から判定された各画素のノイズである可能性を反映させて、ノイズ低減画像の画素毎に、強調処理を施すことができる。よって、ノイズである画素を含むノイズである可能性の高い画素に対しては、強調処理を施し、ノイズでない画素を含むノイズである可能性の低い画素に対しては、強調処理を行わない、あるいは弱める、といった処理を行うことができる。
【００３８】
以上からわかるように、本発明に係る画像処理装置の上記構成によると、映像を構成するフレーム画像に対して、ノイズの低減とディテイルの復元とを両立した画像処理を行うことができる。そのため、ノイズを抑制し、ディテイルを強調することができ、画質を向上させた画像を出力することができる。
【図面の簡単な説明】
【００３９】
【図１】本発明に係る一実施形態のテレビ放送受信装置の構成を示すブロック図である。
【図２】上記テレビ放送受信装置が有する映像信号処理部の構成を示すブロック図である。
【図３】上記映像信号処理部が有するノイズ低減処理部の構成を示すブロック図である。
【図４】上記ノイズ低減処理部が有する第１ノイズ低減処理部の構成を示すブロック図である。
【図５】上記第１ノイズ低減処理部が有する第１ノイズ低減フィルタ構築部５０の構成を示すブロック図である。
【図６】（ａ）〜（ｃ）は、画像fkと画像fINとの間のモーションがdk = (xk, yk)である場合の画像の例を示した図である。
【図７】（ａ）は、WB×HB画素を含むブロックに分割したフレーム画像を示す図であり、（ｂ）は、（ａ）に示すフレーム画像の各ブロックを１画素に置き換えた図である。
【図８】モーション推定処理の流れを示す図である。
【図９】上記ノイズ低減処理部が有する第２ノイズ低減処理部の構成を示すブロック図である。
【図１０】ガウシアンフィルタの例を示す図である。
【図１１】上記ノイズ低減処理部が有するノイズ推定処理部で実行される第１の処理形態の流れを示す図である。
【図１２】上記ノイズ推定処理部が上記第１の処理形態を実行した場合の、上記ノイズ低減処理部が有するディテイル強調処理部で実行される処理の流れを示す図である。
【図１３】上記ノイズ低減処理部が有するノイズ推定処理部で実行される第２の処理形態の流れを示す図である。
【図１４】ノイズらしさの程度γ (i, j)のグラフを表す図である。
【図１５】上記ノイズ推定処理部が上記第２の処理形態を実行した場合の、上記ノイズ低減処理部が有するディテイル強調処理部で実行される処理を示す図である。
【図１６】上記ノイズ低減処理部が有するノイズ推定処理部で実行される第３の処理形態の流れを示す図である。
【図１７】マルチディスプレイを示す図である。
【図１８】本発明に係る別の実施形態のノイズ低減処理部の構成を示すブロック図である。
【図１９】上記別の実施形態のノイズ低減処理部が有するノイズ推定処理部で実行される第１の処理形態の流れを示す図である。
【図２０】上記別の実施形態のノイズ低減処理部が有するノイズ推定処理部で実行される第２の処理形態の流れを示す図である。
【図２１】上記別の実施形態のノイズ低減処理部が有するノイズ推定処理部で実行される第３の処理形態の流れを示す図である。
【図２２】上記別の実施形態のノイズ推定処理部が第１または第３の処理形態を実行した場合の、上記別の実施形態のノイズ低減処理部が有するディテイル強調処理部で実行される処理の流れを示す図である。
【図２３】上記別の実施形態のノイズ推定処理部が第２の処理形態を実行した場合の、上記別の実施形態のノイズ低減処理部が有するディテイル強調処理部で実行される処理を示す図である。
【図２４】本発明に係るさらに別の実施形態の映像信号処理部の構成を示すブロック図である。
【図２５】上記さらに別の実施形態の映像信号処理部が有するノイズ処理部の構成を示すブロック図である。
【図２６】上記さらに別の実施形態のノイズ処理部が有する付加ノイズ生成部が生成する付加用ノイズデータの一例を示す図である。
【発明を実施するための形態】
【００４０】
本発明をその実施の形態を示す図面に基づき具体的に説明する。以下に記す実施の形態では、本発明に係る画像表示装置として、テレビ放送受信装置を例に用いて説明を行う。また、本発明に係る画像処理装置として、テレビ放送受信装置が有する映像信号処理部を例に用いて説明する。なお、以下の実施の形態では、映像とは動画像を示すものとする。
【００４１】
〔実施の形態１〕
（テレビ放送受信装置）
図１は、本実施形態のテレビ放送受信装置（画像表示装置）１の構成を示すブロック図である。テレビ放送受信装置１は、図１に示すように、インタフェース２、チューナー３、制御部４、電源ユニット５、表示部６、音声出力部７、及び、操作部８とを備える。
【００４２】
インタフェース２は、ＴＶアンテナ２１と、ＴＭＤＳ（Transition Minimized Differential Signaling）方式でシリアル通信するためのＤＶＩ（Digital Visual Interface）端子２２およびＨＤＭＩ（High - Definition multimedia Interface）端子２３と、ＴＣＰ（Transmission Control Protocol）またはＵＤＰ（User Datagram Protocol）等の通信プロトコルで通信するためのＬＡＮ端子２４とを含む。インタフェース２は、統括制御部４１からの指示に従って、ＤＶＩ端子２２、ＨＤＭＩ端子２３またはＬＡＮ端子２４に接続された外部の機器との間でデータを送受信する。
【００４３】
チューナー３は、ＴＶアンテナ２１と接続されており、ＴＶアンテナ２１が受信する放送信号がチューナー３に入力される。放送信号には、映像データ、音声データ等が含まれる。本実施形態では、チューナー３は、地上波デジタルチューナー３１及びＢＳ／ＣＳデジタルチューナー３２を備えているが、これらに限定されない。
【００４４】
制御部４は、テレビ放送受信装置１が有する各ブロックを統括的に制御する統括制御部４１、映像信号処理部４２、音声信号処理部４３およびパネルコントローラ４４を備える。
【００４５】
映像信号処理部４２は、インタフェース９を介して入力される映像データに所定の処理を施し、表示部６にて表示するための映像データ（映像信号）を生成する。
【００４６】
音声信号処理部４３は、インタフェース９を介して入力される音声データに所定の処理を施し音声信号を生成する。
【００４７】
パネルコントローラ４４は、表示部６を制御して、映像信号処理部４２が出力する映像データの映像を表示部６に表示する。
【００４８】
電源ユニット５は、外部から供給される電力を制御する。統括制御部４１は、操作部８が有する電源スイッチから入力される操作指示に応じて、電源ユニット５に電力を供給させる、または、電力の供給を遮断させる。電源スイッチから入力される操作指示が電源オンに切り替える操作指示である場合、テレビ放送受信装置１の全体に電力が供給され、電源スイッチから入力される操作指示が電源オフに切り替える操作指示である場合、テレビ放送受信装置１に供給される電力が遮断される。
【００４９】
表示部６は、例えば、液晶表示装置（ＬＣＤ）、プラズマディスプレイパネル等であり、映像信号処理部４２が出力する映像データの映像を表示する。
【００５０】
音声出力部７は、音声信号処理部４３で生成された音声信号を統括制御部４１の指示の下で出力する。
【００５１】
操作部８は、電源スイッチと、切替スイッチとを少なくとも含む。電源スイッチは、テレビ放送受信装置１の電源のオンとオフの切り替えを指示する操作指示を入力するためスイッチである。切替スイッチは、テレビ放送受信装置１で受像する放送チャンネルを指定する操作指示を入力するためのスイッチである。操作部８は、電源スイッチおよび切替スイッチが押下されることに応じて、各スイッチに対応する操作指示を統括制御部４１に出力する。
【００５２】
なお、ここでは、テレビ放送受信装置１が備える操作部８が操作される場合を例に説明したが、テレビ放送受信装置１と無線で通信することが可能なリモートコントローラに操作部８を備えるようにして、各スイッチに対応する操作指示をテレビ放送受信装置１に送信するようにしてもよい。この場合、リモートコントローラがテレビ放送受信装置１と通信する通信媒体は、赤外光であってもよいし、電磁波であってもよい。
【００５３】
（映像信号処理部）
図２は、映像信号処理部４２の構成を示すブロック図である。図２に示すように、映像信号処理部４２は、デコーダ１０と、ＩＰ変換処理部１１と、ノイズ処理部（画像処理装置）１２と、シャープネス処理部１３と、カラー調整処理部１４と、スケーラー処理部１５とを含む。
【００５４】
デコーダ１０は、圧縮された映像ストリームを復号して映像データを生成し、ＩＰ変換処理部１１に出力する。ＩＰ変換処理部１１は、必要に応じて、デコーダ１０から入力される映像データをインタレース方式からプログレッシブ方式に変換する。ノイズ処理部１２は、ＩＰ変換処理部１１が出力する映像データに含まれるノイズを低減（抑制）するためのノイズ低減処理を実行する。ノイズ低減処理の詳細については、後段で詳細に説明する。
【００５５】
シャープネス処理部１３は、ノイズ処理部１２が出力する映像データの映像を鮮鋭化するシャープネス処理を実行する。カラー調整処理部１４は、シャープネス処理部１３出力する映像データに対して、コントラストや彩度等を調整するカラー処理を実行する。スケーラー処理部１５は、カラー調整処理部１４が出力する映像データに対して、表示部６の画素数に応じたスケーリング処理を実行する。なお、統括制御部４１、図示しない記憶部に、映像信号処理部４２により各種の処理が実行される際の映像データを適宣記憶させる。
【００５６】
本実施形態では、映像信号処理部４２に入力される映像データを構成する画像データとしてＲＧＢデータを扱うものとする。但し、ＲＧＢ全てのチャネルに対して同じ処理を適用する代わりに、入力されるＲＧＢデータを、３×３マトリックスを用いてＹＣｂＣｒデータに変換し、そのうちのＹ信号に対する処理結果を用いてＲＧＢデータにノイズ低減処理を施してもよい。例えば、後述するモーション推定処理（動き予測処理）のみＹ信号に対してのみ行ってもよい。
【００５７】
各処理の前に画像データを、例えば、以下の式（１）に示すマトリックス演算を用いてＹＣｂＣｒデータに変換することができる。
【００５８】
【数１】
【００５９】
（ノイズ処理部）
図３は、ノイズ処理部１２の構成を示すブロック図である。ノイズ処理部１２は、映像を構成する画像に付加されているランダムノイズやブロックノイズを低減する第１ノイズ低減処理部１６と、モスキートノイズを低減する第２ノイズ低減処理部１７と、画像に含まれる各画素がノイズであるか否かを判断するノイズ推定処理部１８と、ノイズ推定処理部１８の推定結果に従い、第１および第２ノイズ低減処理部１６，１７において失われたディテイル（ディテイル成分）を選択的に強調するディテイル強調処理部１９とを含む。
【００６０】
映像データを構成する画像データはフレーム単位で構成されており、フレーム単位の画像をフレーム画像と称する。よって、映像は複数のフレーム画像から構成されている。ノイズ処理部１２では、映像を構成する各フレーム画像f0, f1, …, fN-1について、１枚（１フレーム）ずつノイズ低減処理を実行する。フレーム画像f0, f1, …, fN-1の添え字の数字は、フレーム画像の番号を示しており、表示される順番を示すものである。本実施の形態では第０番から始まるものとする。つまり、フレーム画像f0, f1, …, fN-1は、現在入力された映像データにおける第０番目、第１番目、…第N-1番目のフレーム画像である。本実施の形態では、映像データはシーン毎に入力される、つまり、映像を構成する各フレーム画像f0, f1, …, fN-1は同じシーンに含まれていることが望ましい。また、以下では、フレーム画像fは単に画像fと称する。なお、各フレーム画像f0, f1, …, fN-1が、同じシーンに含まれていない場合であっても、同じシーンに含まれていると仮定して処理を継続することができる。
【００６１】
ノイズ処理部１２でのノイズ低減処理の対象となるフレーム画像の番号をINとするとき、IN = 0のフレーム画像から順に、第１ノイズ低減処理部１６からディテイル強調処理部１９までの処理を行う。そして、ディテイル強調処理部１９での処理が終了すると、次のフレーム画像に進む。すなわち、IN = IN + 1として、第１ノイズ低減処理部１６から処理を実行する。以下では、第１ノイズ低減処理部１６での現在（今回）のノイズ低減処理対象のフレーム画像（対象画像）を画像fINとして説明する。
【００６２】
（第１ノイズ低減処理部）
第１ノイズ低減処理部１６は、ランダムノイズやブロックノイズのような規則性のないノイズを低減する処理を行う。そこで、第１ノイズ低減処理部１６では、ランダムノイズが近接するフレーム画像間において相関がないことを利用し、複数のフレーム画像の画素を用いて、相関が小さい画素をノイズと見做して、時間軸方向にフィルタ処理を適用してこのノイズを低減する。但し、フレーム画像間にはモーション（動き）が存在するため、フレーム画像間におけるモーションを推定（移動量を算出）し、ノイズ低減処理対象のフレーム画像の画素位置に合わせてから、所定の重み係数で時間軸方向にフィルタ処理を適用する。
【００６３】
図４は、第１ノイズ低減処理部１６の構成を示すブロック図である。第１ノイズ低減処理部１６は、第１ノイズ低減フィルタ構築部５０と第１ノイズ低減フィルタリング部５１とを備えている。第１ノイズ低減フィルタ構築部５０は、ノイズ低減の対象画像である画像fINに対して、時間軸方向に展開する重み付きフィルタを構築する。第１ノイズ低減フィルタリング部５１は、第１ノイズ低減フィルタ構築部５０にて構築されたフィルタを用いて、画像fINと、画像fINに対して時間軸方向で順序が前後のフレーム画像（参照用画像）である画像fIN-1, fIN+1, fIN+2に対して適用することで、画像fINのランダムノイズやブロックノイズの低減を行う。なお、画像fIN-1は、時間軸方向で画像fINの１枚前のフレーム画像であり、画像fIN+1は、時間軸方向で画像fINの１枚後のフレーム画像であり、画像fIN+2は、時間軸方向で画像fINの２枚後のフレーム画像である。
【００６４】
本実施の形態では、画像fIN+2まで適用するが、画像fIN、画像fIN-1及び画像fIN+1の３枚のみを用いてもよい。ただし、画像fIN-1は画像fINより前のフレーム画像であり、ノイズ低減処理後のフレーム画像であるため、これを用いることで、それ以前のフレーム情報も加味してノイズを低減することができる。それに対し、画像fIN+1及び画像fIN+2はノイズ低減処理前のフレーム画像であり、そのまま使用するしかないため、画像fINより後のフレーム画像は、より多くの枚数を用いた方がよい。なお、画像fINの前後で用いるフレーム画像の枚数に制限はない。
【００６５】
図５は、第１ノイズ低減フィルタ構築部５０の構成を示すブロック図である。第１ノイズ低減フィルタ構築部５０は、モーション推定部５２、モーション算出部５３、モーション補正部５４、及び重み決定部５５を有している。
【００６６】
フィルタを適用するフレーム画像の集合（画像群）をFT = {fIN-1, fIN, fIN+1, fIN+2}とする。第１ノイズ低減フィルタ構築部５０では、FTに含まれるフレーム画像の数NT（本実施形態では、NT = 4）と同数の成分を持つ重み付きフィルタを構築する。フィルタの各成分は重みを意味し、画像fINに対してFTに含まれる画像fk（kはフレーム番号であり、IN-1, IN, IN+1, IN+2のいずれか）が類似している程、大きな重みを与える。なお、画像fkのkがINの場合、画像fINそのものであるので、成分の大きさは４つのうち最大となる。
【００６７】
画像fkの画像fINに対する類似度を正確に評価するため、予めモーション推定部５２で、画像fINを基準とした画像fkのモーション（移動量）を推定し、モーション補正部５４で画像群FTの各画像fkのモーション補正処理を行う。モーション補正処理についての詳細は後述する。
【００６８】
図６（ａ）〜（ｃ）は、画像fkと画像fINとの間の移動量がdk = (xk, yk)である場合の画像の例を示した図である。図６（ａ）の黒丸で表される位置でサンプリングした画像が、図６（ｂ）に示す画像fkであり、図６（ａ）の黒三角で表される位置でサンプリングした画像が、図６（ｃ）に示す画像fINである。画像fkと画像fINとの差異が最小となる画像fkの移動量dk = (xk, yk)を求めて、これを画像fkのモーションとする。詳細には、フレーム画像間の差異を表すために、統計量m(x, y)を移動量(x, y)ごとに計測し、m (x, y)を最小にする移動量dk = (xk, yk)を画像fkのモーションとする。
【００６９】
実際には、図６に示すようにフレーム画像の全ての画素（領域）で同じモーションをとるとは限らず、領域毎に異なると考えられる。そこで、本実施の形態では、図７（ａ）に示すように１枚のフレーム画像を、WB×HB画素を含むブロックに分割し、ブロック単位でモーションの推定を行う。簡単のため、図７（ａ）のフレーム画像の各ブロックを１画素に置き換えた図７（ｂ）に示すような画像を、画像fINと画像fkとに対して夫々得る。そして、得られた２つの画像間からモーションの推定を行う。
【００７０】
１つのフレーム画像に含まれる各ブロックを１画素に置き換えた画像は、任意の補間手法を用いて、このフレーム画像を水平方向に1/WB倍、垂直方向に1/HB倍に縮小して得られる。なお、任意の補間手法として、例えば、近傍の４画素のうち最も近い画素の値を参照する最近傍補間法が挙げられる。このような方法により得られた、画像fINと画像fkとに対応する画像（縮小画像）を、夫々、画像fB0、画像fB1とする。縮小後の画像fB0、画像fB1における画素(I, J)は、縮小前の画像fIN、画像fkの水平方向I番目, 垂直方向J番目のブロックに該当する。ブロックのサイズは通常WB = HB = 2とするが、画素単位での推定を行いたい場合は、WB = HB = 1（つまりfB0 = fIN、fB1=fk）としてもよい。また、処理時間を短縮したい場合はWB 、HBともに２より大きな値としてもよい。
【００７１】
モーション推定部５２では、ブロック単位でモーションの推定を行う。１つのブロック内の画素は全て同じモーションを持つとして、予め、画像fIN及び画像fkの各ブロックを１画素に置き換えた画像fB0及び画像fB1間のモーションを画素単位で求める。そして、画像fIN及び画像fkの対応するブロックに含まれる画素に、このモーションを割り当てる。このとき、画像fB0及び画像fB1の１画素は、画像fIN及び画像fkの１ブロック、すなわちWB×HB画素に対応する。そのため、画像fB0及び画像fB1間のモーションも画像fIN及び画像fk間では水平方向にWB倍、垂直方向にHB倍とする。
【００７２】
モーション推定部５２での画像fINに対する画像fkのモーションを推定するモーション推定処理の流れを、図８のフローチャートを用いて説明する。初めに、統計量の最小値mMINを+∞、整数精度の移動量(XB, YB)を(0, 0)に初期化する（Ｓ１）。ここで、XB、YBは画像fIN、画像fk間の移動量である。続いて、画像fB0を(x, y)だけ平行移動した画像と、画像fB1との間の統計量m (I, J, x, y)を算出し（Ｓ２）、Ｓ２で算出した統計量m (I, J, x, y)と統計量の最小値mMINとの大小を比較する（Ｓ３）。この比較でＳ２で算出した統計量m (I, J, x, y)が統計量の最小値mMINより小さい場合（Ｓ３でＹＥＳ）、統計量の最小値mMINをＳ２で算出した統計量m (I, J, x, y)に置き換え、整数精度の移動量(XB, YB)を(x, y)に置き換える（Ｓ４）。
【００７３】
Ｓ２からＳ４を、モーション推定許容範囲Ｍ内の全ての整数の組(x, y)で行い、m (I, J, x, y)を最小にする移動量を画像fB1のモーションを求める。そして、モーション推定許容範囲Ｍ内の全ての整数の組で、統計量m (I, J, x, y)を最小にする整数の移動量(XB, YB)を求める。ここで、モーション推定許容範囲Ｍは、入力データの解像度、及び、フレームレートに応じて定める。基本的には処理量対精度のトレードオフ関係にあり、一般的に１フレーム画像間に動く画素数を許容範囲とする。例えば、３０ｆｐｓ（frame per second）ＦＨＤ（Full High Definition）画像であれば−１５〜１５等である。
【００７４】
最後に、画像fIN及び画像fkのブロックに合わせるため、dk = (WB×XB, HB×YB)を求める（Ｓ５）。この移動量dkを、画像fB1の画素(I, J)に該当する画像fk上のブロックに含まれる各画素のモーションとする。モーション推定部５２では、上記のブロック単位のモーション推定をフレーム画像の全てのブロックに対して実行する。
【００７５】
本実施の形態では、２つの画像の差異を評価する統計量として、特に簡単な例として、画像fB0を(x, y)平行移動した画像と、画像fB1との差分絶対値和（以下、ＳＡＤ（Sum of Absolute Difference）と称する）を使用している。ＳＡＤは、２つの画像のうち、画素(I, J)を中心とする近傍画素集合BIJに含まれる全ての画素における差分絶対値の総和を求めるものである。画素(I, J)における、ＳＡＤは下記の式（２）から求めることができる。
【００７６】
【数２】
【００７７】
ここで、BIJの形状は固定（例えば、１５×１５の正方形）でもよいし、ブロックサイズが固定でない場合、画像fINおよび画像fk上で固定サイズとなるように所定係数をWBおよびHBで除算したときの商を一辺の画素数とする矩形としても良い。
【００７８】
統計量m (x, y)は、他に差分２乗和のような、差異が小さいほど小さな値をとる統計量を利用してもよい。あるいは、相互相関係数のような、差異が小さいほど大きな値をとる評価値を用いて評価する場合は、m (x, y)がその評価値と負の相関を持つように設定した値を利用してもよい。
【００７９】
モーション算出部５３では、上記のようにモーション推定部５２で推定されたあるフレーム画像間のモーションを利用して、他のフレーム間のモーションを算出する。本実施の形態では、簡単のために、画像群FTに含まれる画像はフレーム毎に同じモーションで変化していると仮定する。また、モーション推定部５２では、fk = fIN-1とし、画像fINに対する画像fIN-1のモーション（移動量）dIN-1を求めたものとする。モーション推定部５２で推定された画像fINに対する画像fIN-1のモーションdIN-1を１フレーム間のモーションとすると、画像fIN+1に対する画像fINのモーション、画像fIN+2に対する画像fIN+1のモーションはdIN-1と等しくなる。よって、画像fINに対する画像fINのモーションdIN、画像fINに対する画像fIN+1のモーションdIN+1、画像fIN+2のモーションdIN+2は夫々次式（３）〜（５）となる。本実施の形態では、画像fINを基準とした移動量を算出するため、dINは画像fIN自身を基準としているので、算出する必要は無く、(0, 0)である。
【００８０】
dIN = (0, 0)・・・・・（３）
dIN+1 = -dIN-1・・・・・（４）
dIN+2 = -2dIN-1・・・・・（５）
なお、上述のように画像fINに対する画像fIN-1のモーションを推定した結果を用いて、画像fINに対する画像fIN+1、及び、画像fINに対する画像fIN+2のモーションを算出する代わり、フレーム画像それぞれについてモーション推定処理を行ってもよい。この場合、全てのフレーム画像のモーション推定処理をモーション推定部５２にて行うことになるため、モーション算出部５３は不要となる。
【００８１】
また、画像群FTに含まれるフレーム画像はフレーム毎に同じモーションで変化していると仮定する場合には、画像群FTに含まれるフレーム画像のどの２枚を用いてモーション推定処理してもよい。例えば、画像fIN-1と画像fIN+2とを用いて、画像fIN-1に対する画像fIN+2のモーションを推定すると、この推定値の-1/3倍、1/3倍、2/3倍が、それぞれ、画像fINに対する画像fIN-1のモーション、画像fINに対する画像fIN-1のモーション、画像fINに対する画像fIN+2のモーションとなる。
【００８２】
いずれにせよ、モーション推定部５２及びモーション算出部５３での処理にて、画像群FTに含まれるフレーム画像の、対象画像である画像fINを基準とした移動量を、決定できればよい。
【００８３】
モーション補正部５４では、モーション推定部５２及びモーション算出部５３で得られた画像fkのモーションdk = (xk, yk)に従って、画像fINを基準として、画像fkのモーション補正を行う。画像fkのモーション補正とは、画像fINの各画素の位置と合うように、画像fkの各画素を推定あるいは算出されたモーション分移動する処理のことである。よって、画像fkをモーション補正した画像は、画像fkのモーションの逆ベクトル-dkだけ画像fkを平行移動することによって得られる。この補正した画像、つまり画像fINを基準として画像fkをモーション補正した画像を、画像（補正画像）gkとする。
【００８４】
本実施の形態では、移動量を整数精度としているが、図６（ａ）で示すように、モーションdkの成分（xk, yk）が整数値でない場合には、画像fkからそのまま参照することはできない。そのため、近傍画素からの補間値を求める。簡単な例では、近傍の４画素のうち最も近い画素の値を参照する最近傍補間法や、近傍の４画素から下記の式（６）によって求められる線形補間法が挙げられる。
【００８５】
【数３】
【００８６】
上記方法によりモーション補正された画像群をGT = {gIN-1, gIN, gIN+1, gIN+2}とする。なお、画像fINのモーションに変化はない（dIN = (0, 0)）ため、画像gINは画像fINと同じものである。
【００８７】
重み決定部５５では、第１ノイズ低減フィルタ構築部５０で構築する重み付きフィルタの各成分を決定する。重み付きフィルタωTのk番目の成分は、画像gkと画像gINとの差異の大きさに対して、負の相関を持つように設定する。これにより、画像gINとの差異が小さい画像ほど画像gINに対する重みが最も大きくなり、画像gINとの差異が大きい画像ほど画像gINに対する重みが小さくなる。差異の大きさを表す評価値としては、例えば、画素(i, j)及びその周辺領域における画像gkと画像gINとの誤差の標準偏差が挙げられる。
【００８８】
例えば、画素(i, j)の近傍３×３画素における誤差を用いて誤差の分散Vを、以下の式（７）から算出する。
【００８９】
【数４】
【００９０】
ここで、例えば、全てのフレーム画像において分散Vが十分小さければ、ωT (i,j,IN-1) = ωT (i, j, IN) = ωT (i, j, IN+1) =ωT (i, j, IN+2) = 0.25になり、全てのフレーム画像において分散Vが十分大きければ、ωT (i, j, IN) = 1.0、ωT (i, j, IN-1) = ωT (i, j, IN+1) = ωT (i, j, IN+2) = 0.0となる。
【００９１】
図４に戻り、第１ノイズ低減フィルタリング部５１では、第１ノイズ低減フィルタ構築部５０で構築された重み付きフィルタωTを、モーション補正された画像群GTに対して適用しフィルタ処理を行うことで、ノイズ低減処理されたフレーム画像である画像（ノイズ低減画像）Tを得る。画像Tは以下の式（８）から求められる。
【００９２】
【数５】
【００９３】
以上の処理により、ランダムノイズやブロックノイズがフレーム間で相関のない特徴を利用して、時間軸方向に適応的にフィルタ処理を施すことにより、ノイズを低減することができる。画像Tはランダムノイズやブロックノイズを低減した画像である。
【００９４】
なお、ランダムノイズやブロックノイズは規則性がなく、隣り合うフレーム画像間においても相関がなく、重みが小さくなるのでフィルタ処理後の画素値は小さくなり、複数のフレーム画像を足し合わせることにより低減することができる。但し、その際、フレーム画像間で動きがあるためモーション補正部５４でフレーム画像の画素位置を合わせてから足し合わせる。
【００９５】
（第２ノイズ低減処理部）
次に、図３に示す第２ノイズ低減処理部１７について説明する。図９は、第２ノイズ低減処理部１７の構成を示すブロック図である。第２ノイズ低減処理部１７は、エッジ強度算出部６０と、第２ノイズ低減フィルタ構築部６１と、第２ノイズ低減フィルタリング部６２と、ノイズ低減効果調整部６３とを備える。第２ノイズ低減処理部１７では、第１ノイズ低減処理部１６によりランダムノイズやブロックノイズが低減された画像Tが入力されると、モスキートノイズの低減を行う。
【００９６】
エッジ強度算出部６０は、入力された画像Tにおいて、エッジである可能性（エッジらしさ）の程度であるエッジ強度の大きい画素ほどモスキートノイズの低減効果が得られるよう、エッジ強度を算出する。ここではエッジ強度は、輝度値のばらつき（変動量）として算出するが、明度や濃度値（画素値）を用いてエッジ強度を算出してもよい。
【００９７】
エッジ強度算出部６０では、画像における各画素の輝度値のばらつきを求める。画素(i, j)における輝度値のばらつきを示す統計量として、画素(i, j)を中心とした近傍画素集合Ｗの輝度値の分散σ2(i, j)を求める。
【００９８】
第２ノイズ低減フィルタ構築部６１では、モスキートノイズを低減するフィルタを構築する。例えば、次の式（９）に示すバイラテラルフィルタを構築する。
【００９９】
【数６】
【０１００】
なお、上式（９）ではバイラテラルフィルタの一般形として入力画像をfとしているが、第２ノイズ低減フィルタ構築部６１での構築時には、fには、第１ノイズ低減処理部１６で処理された後の画像Tが入力される。
【０１０１】
バイラテラルフィルタは、２つのガウシアンフィルタの積からなり、第１番目のガウシアンフィルタは画素間距離、第２番目のガウシアンフィルタは画素間の輝度値の差に依存する。標準偏差σrおよびσsは夫々第１番目、第２番目のガウシアンフィルタの規模を示す係数であり、固定値（例えば、σr = 2.0, σs =2.0）としてもよい。あるいは、画像f（ここでは、第１ノイズ低減処理部１６で処理された後の画像T）の特徴に応じて設定してもよい。後者の場合、例えば、画素間距離が所定値RのときにK倍になるように設定したい場合、exp {-R2/(2σr2)} = Kを満たすσrを求め、画素間の輝度値の差が所定値DfのときにK倍になるように設定したい場合、exp {-Df2/(2σs2)} = Kを満たすσsを求める。
【０１０２】
第２ノイズ低減フィルタリング部６２では、上式で構築されたバイラテラルフィルタωBLFを画像Tに対して適用して、画像TBLFを得る。フィルタリングは画像TとバイラテラルフィルタωBLFとのコンボリューションとする。コンボリューションの適用範囲は、注目画素(i, j)を中心とする近傍画素集合Wijに含まれる画素とする。画像TBLFは以下の式（１０）から得られる。
【０１０３】
【数７】
【０１０４】
Wijの形状は固定（例えば、９×９の正方形フィルタ）としてもよい。あるいは、全空間（−∞〜∞とするが、結果的には有効画素に絞られるため画像全体となる）を範囲としたガウシアンフィルタに対して所定の割合c（例えば、1.0以下の正定数とする）以上を占めるように決定してもよい。なお、許容誤差は５％以下、すなわちc≧0.95であることが望ましい。上記の条件は次式（１１）のように表される。なお、本来ガウシアンフィルタは−∞〜∞に分布しており、設計したガウシアンフィルタと同等の周波数特性を得るためには、ある程度のウインドウサイズが必要である。すなわち、フィルタ係数の総和が2πσrに近いほど所望の周波数特性に近づく。
【０１０５】
【数８】
【０１０６】
例えば、図１０に示すような、標準偏差σr = 2.0のガウシアンフィルタについて、７×７（図１０の最も内側の濃いグレーの部分）、９×９（図１０の７×７の部分及びその外側の薄いグレー部分）、１１×１１（図１０に示す範囲全て）の部分を使用する場合、上式（１１）の左辺、すなわちフィルタ係数の和は夫々およそ0.852×2πσr、0.955×2πσr、0.989×2πσrとなり、c≧0.95を満たすには９×９の正方形フィルタを用いればよいことが判る。
【０１０７】
第２ノイズ低減フィルタリング部６２は、第２ノイズ低減フィルタ構築部６１で構築されるフィルタを用いたフィルタリング処理（第２ノイズ低減フィルタリング処理）を行う。フィルタは、現在ノイズ低減処理の対象となっている画像T１つ（１枚）に対して適用する。
【０１０８】
ノイズ低減効果調整部６３では、エッジ強度算出部６０にて求めた分散σ2(i, j)に基づき、第２ノイズ低減フィルタリング部６２でのフィルタリング処理の効果の調整を行う。分散σ2(i, j)が大きいほど、画素(i, j)における輝度値の変動量が大きいため、エッジである可能性が高い。従って、エッジに対しては第２ノイズ低減フィルタリング処理の効果が大きく、そうでない部分に対しては第２ノイズ低減フィルタリング処理の効果が小さくなるよう調整を行う。画像Tの座標のうち分散σ2が取り得る最大値をσ2maxとするとき、第２ノイズ低減フィルタリング処理前の画像Tと、第２ノイズ低減フィルタリング後の画像TBLFとを、σ2max−σ2：σ2の比で線形和をとり、σ2が大きいとき画像TBLF、小さいとき画像Tの割合を大きくする。すなわち、分散が大きいエッジ周辺ほど第２ノイズ低減フィルタリングの効果が高くなるように制御し、エッジ周辺にだけバイラテラルフィルタ処理効果を適用する。よって、モスキートノイズを低減することができる。
【０１０９】
こうして得られた画像を、第２ノイズ低減処理の結果画像S (i, j)とする。画像S (i, j)は以下の式（１２）にて求められる。
【０１１０】
【数９】
【０１１１】
第２ノイズ低減処理部１７では、以上のように、モスキートノイズがエッジ周辺に発生する特徴を利用して、エッジ周辺ではエッジ保存の効果を持つバイラテラルフィルタ処理を施す。よって、エッジを保存しながらノイズを低減して、エッジが周辺にない領域では、バイラテラルフィルタの効果を小さくすることで、ディテイルをぼかさずに残すことができる。
【０１１２】
（ノイズ推定処理部及びディテイル強調処理部）
次に、図３に示すノイズ推定処理部１８、ディテイル強調処理部１９について説明する。ノイズ推定処理部１８で実行される処理には、以下で説明する第１〜第３の処理形態がある。それぞれの処理形態毎に、後段のディテイル強調処理部１９での処理も異なる。
【０１１３】
いずれの処理形態においても、ノイズ推定処理部１８には、現在のノイズ低減処理の対象の画像（対象画像）fINと、画像fINを第１ノイズ低減処理部１６にて処理して得られた画像（ノイズ低減画像）Tと、画像Tを第２ノイズ低減処理部１７にて処理して得られた画像（ノイズ低減画像）Sとが入力される。そして、画素単位でノイズの強度を算出する。ここで、画像Tは画像fINからランダムノイズやブロックノイズを低減した画像（第１ノイズ低減処理結果）であり、画像Sは画像Tからモスキートノイズを低減した画像（第２ノイズ低減処理結果）である。従って、画像fINと画像Tとの差分、画像fINと画像Sとの差分が、各種ノイズのノイズ強度を表す。
【０１１４】
ノイズ推定処理部１８で実行される処理について、第１の処理形態から順に説明する。第１の処理形態では、ノイズ推定処理部１８は、画素毎にノイズ強度を算出し、かつ、画素毎に画像自体が持つ信号強度を求め、これらを基に、各画素がディテイル（ノイズではない）かノイズかを判定する。これは、ノイズ推定処理部１８の後段のディテイル強調処理部１９にてディテイル（ノイズではない）と判定された画素に対してのみ強調処理を行うためである。
【０１１５】
図１１は、ノイズ推定処理部１８で実行される第１の処理形態を示すフローチャートである。まず、画像fINと画像Tとの差分絶対値をノイズ強度N1、画像fINと画像Sとの差分絶対値をノイズ強度N2として算出する（Ｓ１１、Ｓ１２）。そして、注目画素(i, j)を中心とした近傍画素の集合ηijの範囲におけるノイズ強度N1, N2の最大値Dmax N1, Dmax N2を、夫々以下の式（１３）、（１４）から求める（Ｓ１３，Ｓ１４）。
【０１１６】
【数１０】
【０１１７】
集合ηijの形状は固定（例えば、７×７の正方形）でもよいし、上記のバイラテラルフィルタと同じサイズとしてもよい。これら最大値のうち、より大きな値を画像fINの最大ノイズ強度Dmaxとする（Ｓ１５）。Dmaxは以下の式（１５）から求められる。
【０１１８】
【数１１】
【０１１９】
ここで、Ｓ１３及び１４での処理を行わず、Ｓ１５ではN1, N2のうち大きい方をDmaxとすることも可能である。しかし、この場合、後述のディテイルと判定された場合のアンシャープマスクによる輪郭強調処理（Ｓ２２）において、周囲にノイズの強い画素が含まれていると、その画素も利用して強調処理を行う可能性があり、ノイズが復活してしまうことがある。そこで、ある注目画素の近傍画素の集合ηijの範囲で強いノイズが出ている場合、強いノイズに合わせることで、アンシャープマスクによるノイズの復活を抑えることができる。これが、Ｓ１３〜Ｓ１５の処理において、近傍画素集合を使うことの狙いである。なお、集合のサイズを小さく（最小１×１、すなわち注目画素のみ）することで、影響を受ける範囲を小さくし、強調を優先することもできる。
【０１２０】
他方で、画像自体が持つ信号強度を画素毎に算出する（Ｓ１６）。例えば、画像自体が持つ信号強度を、画像SのダイナミックレンジRANGEとして求める。なお、画像SのRANGE(i, j)は、画素集合ηijの範囲における輝度値の最大値と最小値の差から、つまり、以下の式（１６）から、求めることができる。
【０１２１】
【数１２】
【０１２２】
なお、本実施の形態では、画像自体が持つ信号強度をダイナミックレンジとして求めているが、例えば、画像自体が元来持つ画素値の範囲（例えば２５５）を用いてもよい。ただし、ノイズの強さが同程度であっても、平坦な画像で発生している場合と、テキスチャのある画像で発生している場合とで、人が感じるノイズの強さは大きく異なる。そのため、ダイナミックレンジが狭いほど、ノイズが目立ちやすい特性を考慮して、ダイナミックレンジを使うのが好ましい。
【０１２３】
そして、画像自体が持つ信号強度と最大ノイズ強度Dmaxとの比率がαDより大きいか否かを判定する（Ｓ１７）。判定には以下の式（１７）が用いられる。ここで、αDは比率の閾値を示す定数（規定値）であり、本実施の形態ではαD = 2とする。なお、例えば、画像全体において、画像自体が持つ信号強度と最大ノイズ強度との比率を表すヒストグラムを生成し、ヒストグラム分布の谷における比率をαDの値として設定してもよい。
【０１２４】
【数１３】
【０１２５】
上記比率がαD以上である場合（Ｓ１７でＹＥＳ）、つまり、上記式（１７）を満たす場合には、注目画素(i, j)はディテイルと判定する（Ｓ１８）。上記比率がαDよりも小さい場合（Ｓ１７でＮＯ）、つまり、上記式（１７）を満たさない場合、注目画素(i, j)はノイズであると判定する（Ｓ１９）。
【０１２６】
図１２は、図３に示すノイズ推定処理部１８が、図１１に示す第１の処理形態を実行した場合の、図３に示すディテイル強調処理部１９で実行される処理のフローチャートである。ディテイル強調処理部１９では、前段のノイズ推定処理部１８における判定結果から、画素毎に異なる処理を行う。まず、注目画素(i, j)がディテイルであるか否か（言い換えれば、ノイズでないか否か）を判定する（Ｓ２１）。ディテイルである場合（Ｓ２１でＹＥＳ）、ノイズ低減処理されたノイズ低減画像S(i, j)に更に輪郭強調処理を施した輪郭強調画像U(i, j)を算出し（Ｓ２２）、この輪郭強調画像U(i, j)を出力する（Ｓ２３）。他方、注目画素(i, j)がディテイルでない場合（Ｓ２１でＮＯ）、言い換えれば、注目画素(i, j)がノイズである場合、ノイズ低減画像S(i, j)をそのまま出力する（Ｓ２４）。上記の選択処理を全ての画素に対して実行して得られた画像（出力画像）が、ノイズ処理部１２でのノイズ低減処理結果である。よって、対象画像fINをこの出力画像に置き換え、ノイズ処理部１２から出力する。
【０１２７】
ディテイル強調処理部１９では、ノイズ低減画像Sから輪郭強調画像Uを算出するために、例えば、ノイズ低減画像Sに対してアンシャープマスクを適用する。アンシャープマスクは、一旦画像をガウシアンフィルタなどにより平滑化し、原画像とその平滑化画像との差分に所定倍率（例えば、０．３倍）をかけて原画像に加算することにより、エッジ強度（例えば、輝度値の変動量）の大きな画素（領域）を更に強調するためのマスクである。
【０１２８】
ディテイル強調処理部１９では、輪郭強調処理をディテイルと判定された画素にのみ適用することで、一度低減したノイズを再度強調することなくディテイルのみを強調することができる。
【０１２９】
次に、ノイズ推定処理部１８で実行される第２の処理形態について説明する。図１３は、ノイズ推定処理部１８で実行される第２の処理形態を示すフローチャートである。第２の処理形態では、ノイズ推定処理部１８は、画素毎にノイズの強度を算出して、これを基に各画素のノイズである可能性（ノイズらしさ）の程度を数値として算出する。これは、ノイズ推定処理部１８の後段のディテイル強調処理部１９にて、ノイズらしさの程度に基づき、各画素の強調処理の程度を決定するからである。
【０１３０】
まず、上述のノイズ推定処理部１８で実行される第１の処理形態の場合と同様に、画像fINと画像Tとの差分絶対値、画像fINと画像Sとの差分絶対値を、それぞれ、ノイズ強度N1、ノイズ強度N2として算出する。そして、ノイズ強度N1, N2の最大値Dmax N1, Dmax N2から画像fINの最大ノイズ強度Dmaxを求める（Ｓ１１〜Ｓ１５）。
【０１３１】
他方で、ノイズ推定処理部１８で実行される第１の処理形態の場合と同様に、画像自体が持つ信号強度を画素毎に算出する（Ｓ１６）。第２の処理形態でも、画像自体が持つ信号強度を、画像SのダイナミックレンジRANGEとして求める。
【０１３２】
そして、最大ノイズ強度Dmaxと画像（画素）自体が持つ信号の強度（ここでは、画像SのダイナミックレンジRANGE）との比率LIN (i, j)を算出する（Ｓ３１）。比率LIN (i, j)は、以下の式（１８）から求めることができる。
【０１３３】
【数１４】
【０１３４】
さらに、第IN番目のフレーム画像である画像fINと、これより前のn-1枚のフレーム画像との計n枚のフレーム画像の、比率の重みつき平均Lμ (i, j)を算出する（Ｓ３５）。Lμ (i, j)は、以下の式（１９）から求めることができる。
【０１３５】
【数１５】
【０１３６】
ただし、画像fINとn-1枚の他のフレーム画像との間には、モーションが存在するため、比率の重みつき平均Lμ (i, j)を算出する前に、画像fINより前のｎ-1枚のフレーム画像の比率を、画像fINを基準にモーション補正した値に更新しておく。この更新は、次のように行う。
【０１３７】
まず、第IN番目より前のｎ-1枚のフレーム画像の比率をバッファ（図示せず）から参照し（Ｓ３２）、画像fINを基準に各フレーム画像の比率をモーション補正する（Ｓ３３）。そしてＳ３１で求めた比率と、Ｓ３３でモーション補正した比率をバッファに書き込む（Ｓ３４）。Ｓ３４では、第(IN - (n-1))番目から第IN番目までの比率、つまりn個の比率が、バッファに書き込まれる。
【０１３８】
Ｓ３３のモーション補正は、第１ノイズ低減処理部１６のモーション補正部５４で実行した処理と同様に、画像fINを基準としたときの画像fkのモーションの逆ベクトル-dkだけ比率Lkをシフトすることで得られる。モーションは、第１ノイズ低減フィルタ構築部５０で推定された値を使用してもよい。また、比率のモーション補正の結果をバッファに保存して、次のフレーム画像の処理時に参照することで、参照する過去の比率が予め１枚前のフレーム画像を基準にモーション補正されたものとなる。そのため、過去の比率のいずれについても、１枚前のフレーム画像との間のモーション補正を行うのみでよい。
【０１３９】
Ｓ３５の比率の重みつき平均Lμ (i, j)の算出で用いる重み係数ωL (k)は、第(IN-1)番目のフレーム画像に与える重みとし、第IN番目のフレーム画像である画像fINを基準として、画像fINに類似している程大きな重みを与えるよう（例えば、ωL (k) = 2-k）設定する。もしくは、ωL (k) = 1として、単純な平均を求めてもよい。
【０１４０】
そして、得られた比率の重みつき平均Lμからノイズらしさの程度を求める（Ｓ３６）。Lμ (i, j)が大きいほど画素(i, j)がノイズである可能性が高いとして、Lμ (i, j)と正の相関を持ち、最大値1、最小値0となる関数を設定し、得られる数値をノイズらしさの程度とする。関数の例として、次式（２０）で表される関数が挙げられる。
【０１４１】
【数１６】
【０１４２】
式（２０）において、αLおよびβLは正の固定値（例えば、αL = 8, βL = 0.5）をとる所定係数である。これらの係数は、画像fINの画質に合わせて最適化した値を設定しておく。上式（２０）をグラフで表した図１４に示す通り、ノイズらしさの程度γ (i, j)は、Lμ (i, j) = βLのとき０．５、すなわち、ノイズらしさの程度とディテイルらしさの程度が同等となる。また、αLが大きいほど、収束は高速となり、少しのノイズ強度でもノイズらしさの程度は大きい（高い）値をとるようになる。ノイズらしさの程度γ(i, j)は、Lμ (i, j)と正の相関を持ち、０から１の範囲をとり得る別の関数を利用してもよい。簡単な例では、Lμ (i, j) が閾値LTH未満のとき0, Lμ (i, j) が閾値LTH以上のとき１をとるステップ関数を利用することができる。
【０１４３】
以上の処理により、画像自体が持つ信号の強度に比べて、最大ノイズ強度が第IN番目のフレーム画像及びその前の数枚のフレーム画像との間で平均的に大きい場合、ノイズらしさの程度を表す数値は大きくなり、注目画素の近傍領域において継続的にノイズが発生している可能性が高いと判断できる。よって、ノイズらしさを表す数値が大きい領域では、後段のディテイル強調処理の効果を抑制することができる。
【０１４４】
図１５は、図３に示したノイズ推定処理部１８にて第２の処理形態が実行される場合のディテイル強調処理部１９での処理を示す図である。ディテイル強調処理部１９では、前段のノイズ推定処理部１８にて求めたノイズらしさの程度γ(i, j)から、画素毎に異なる処理を行う。ディテイル強調処理部１９では、ノイズ低減画像S(i, j)と、それに輪郭強調処理を施した輪郭強調画像U(i, j)を用意して、ノイズらしさの程度γ(i, j)の値に応じた線形和を求める。線形和は、以下の式（２１）から求められる。
【０１４５】
【数１７】
【０１４６】
上記の線形和を全ての画素に対して求めて得られた画像（出力画像）が、ノイズ処理部１２でのノイズ低減処理結果である。よって、画像fINをこの出力画像に置き換え、ノイズ処理部１２から出力する。
【０１４７】
なお、第２の処理形態における輪郭強調画像Uは、上記した第１の処理形態の場合と同様の手段を用いることで得ることができる。
【０１４８】
ディテイル強調処理部１９では、ノイズらしさの程度γ(i, j)の値に応じた線形和を求めることで、一度低減したノイズを再度強調することなくディテイル成分のみを強調することができる。
【０１４９】
次に、ノイズ推定処理部１８で実行される第３の処理形態について説明する。図１６は、ノイズ推定処理部１８で実行される第３の処理形態を示すフローチャートである。第３の処理形態では、画素毎にノイズ強度を算出し、かつ、画素毎に第２ノイズ低減処理された画像Sのエッジ強度DE(i, j)を求めて、これらを基に、各画素がディテイル（ノイズではない）かノイズかを判定する。これは、ノイズ推定処理部１８の後段のディテイル強調処理部１９にてディテイル（ノイズではない）と判定された画素に対してのみ強調処理を行うためである。
【０１５０】
まず、上述のノイズ推定処理部１８で実行される第１の処理形態の場合と同様に、画像fINと画像Tとの差分絶対値、画像fINと画像Sとの差分絶対値を、それぞれ、ノイズ強度N1、ノイズ強度N2として算出する。そして、ノイズ強度N1, N2の最大値Dmax N1, Dmax N2から画像fINの最大ノイズ強度Dmaxを求める（Ｓ１１〜Ｓ１５）。
【０１５１】
他方で、画素毎に画像Sのエッジ強度DE(i, j)を求める（Ｓ４１）。本実施の形態では、エッジ強度DE(i, j)は、画像Sと画像Sにローパスフィルタを適用した画像SLPFとの差分の絶対値として求める。エッジ強度DE(i, j)は、これ以外の方法で求めてもよい。
【０１５２】
そして、エッジ強度DE(i, j)と最大ノイズ強度Dmaxとの比率がαEより大きいか否かを判定する（Ｓ４２）。判定には以下の式（２２）が用いられる。ここで、αEは比率の閾値を示す定数（例えば、２０）である。
【０１５３】
【数１８】
【０１５４】
上記比率がαE以上である場合（Ｓ４２でＹＥＳ）、つまり、上記式（２２）を満たす場合には、注目画素(i, j)はディテイルと判定する（Ｓ４３）。上記比率がαEよりも小さい場合（Ｓ４２でＮＯ）、つまり、上記式（２２）を満たさない場合、注目画素(i, j)はノイズであると判定する（Ｓ４４）。
【０１５５】
ノイズ推定処理部１８が第３の処理形態を実施する場合、ディテイル強調処理部１９は、ノイズ推定処理部１８が第１の処理形態を実施された場合に行う、図１２を用いて説明した上記処理と同様の処理を行う。
【０１５６】
以上の処理により、ノイズであるかどうか判定しながらノイズを低減して、ディテイル成分のみに対して選択的に強調処理を実行する。よって、ノイズを低減しつつ、ディテイル成分のぼけを抑制することができる。
【０１５７】
ノイズ推定処理部１８で実行される処理は、以上の第１〜第３の処理形態の何れであっても構わない。
【０１５８】
ノイズ処理部１２では、第IN番目の画像fINに対して、第１ノイズ低減処理部１６からディテイル強調処理部１９までの一連のノイズ低減処理を終えると、IN = IN + 1として次のフレームに進む。全てのフレーム画像、つまり全ての映像データ、に対してノイズ処理部１２での処理が完了すると、図２に示すように、次のシャープネス処理部１３に進む。
【０１５９】
以上からわかるように、ノイズ処理部１２では、上記構成により、映像を構成するフレーム画像に対して、ノイズの低減とディテイルの復元とを両立した画像処理を行うことができる。そのため、ノイズを抑制し、ディテイルを強調することができ、画質を向上させた画像（出力画像）を出力することができる。また、テレビ放送受信装置１は、ノイズ処理部１２を有しているため、ノイズを抑制し、ディテイルを強調させて、画質を向上させた画像を表示することができる。よって、ユーザに快適な視認環境を提供することができる。
【０１６０】
（変形例）
本実施形態では、本発明に係る画像処理装置を、チューナー３を有するテレビ放送受信装置１の映像信号処理部４２に適用した場合を例に説明した。しかし、本発明に係る画像処理装置を、例えば、チューナー３を有していないモニタ（インフォメーションディスプレイ）の映像信号処理を実行する処理部に適用してもよい。この場合は、モニタが、本発明に係る画像表示装置であり、モニタの概略構成は、例えば、図１に示す構成からチューナー３を除いたものとなる。本発明に係る画像処理装置がモニタの映像信号処理を実行する処理部に適用されているため、モニタにおいて、高品質に映像のノイズ低減処理を実行することができる。
【０１６１】
また、本実施形態では、本発明に係る画像処理装置を、表示部６を１つ有するテレビ放送受信装置１の映像信号処理部４２に適用した場合を例に説明した。しかし、本発明に係る画像処理装置を、例えば図１７に示すように表示部６が垂直方向および水平方向に複数台配置されたマルチディスプレイ１００の映像信号処理を実行する処理部に適用してもよい。この場合は、マルチディスプレイ１００が、本発明に係る画像表示装置である。本発明に係る画像処理装置がマルチディスプレイ１００の映像信号処理を実行する処理部に適用されているため、例えば、マルチディスプレイ１００にＦＨＤ映像を再生するような場合において、高品質に映像のノイズ低減処理を実行することができる。
【０１６２】
〔実施の形態２〕
本実施の形態の映像信号処理部は、図２に示す実施の形態１の映像信号処理部４２のノイズ処理部１２が、図１８に示すノイズ処理部（画像処理装置）１２’に置き換わったものである。ノイズ処理部１２’以外の構成は実施の形態１の映像信号処理部４２と同じである。よって、実施の形態１で説明した構成と同一の構成には同一の符号を付し、実施の形態１で説明した処理については説明を省略する。
【０１６３】
ノイズ処理部１２’は、図１８に示すように、第１ノイズ低減処理部１６と、ノイズ推定処理部１８’と、ディテイル強調処理部１９’とを有する。
【０１６４】
ノイズ処理部１２’は、ノイズ処理部１２が有していた第２ノイズ低減処理部１７を有していない。そこで、本実施の形態では、例えば、デコーダ１０にて映像ストリームのデコードを行う際に、特許文献２に記載のような１枚のフレーム画像（シングルフレーム画像）を用いたノイズ低減処理を行い、できる限り圧縮ノイズを除去しておく。圧縮ノイズとは、シングルフレーム画像でも除去できるノイズ、特にモスキートノイズである。なお、圧縮ノイズの除去はデコーダ１０で実施されてもよいが、例えば、圧縮ノイズ除去部がノイズ処理部１２’より前段に設けられていてもよい。
【０１６５】
第１ノイズ低減処理部１６は、実施の形態１で説明した構成と同じであり、同じ処理を行う。つまり、複数のフレーム画像を用いて、フレーム間で相関が小さい画素をノイズと見做して低減する。
【０１６６】
ノイズ推定処理部１８’での処理には、実施の形態１と同様に、第１〜第３の処理形態がある。そして、それぞれの処理形態毎に、後段のディテイル強調処理部１９’での処理も異なる。いずれの処理形態においても、ノイズ推定処理部１８’には、現在のノイズ低減処理の対象の画像（対象画像）fINと、画像fINを第１ノイズ低減処理部１６にて処理して得られた画像（ノイズ低減画像）Tが入力される。そして、画素単位でノイズの強度を算出する。
【０１６７】
図１９は、ノイズ推定処理部１８’での第１の処理形態を示すフローチャートである。この第１の処理形態では、まず、実施の形態１のノイズ推定処理部１８で実行される第１の処理形態の場合と同様に、画像fINと画像Tとの差分絶対値をノイズ強度Nとして算出する（Ｓ１１）。そして、ノイズ強度Nの最大値Dmax Nを求める（Ｓ１３）。本実施の形態では、画像Sを用いない（算出しない）ので、最大値Dmax Nが画像fINの最大ノイズ強度Dmaxとなる。
【０１６８】
他方で、画像自体が持つ信号強度を画素毎に算出する（Ｓ１６’）。本実施の形態では、画像自体が持つ信号強度を、画像TのダイナミックレンジRANGEとして求める。
【０１６９】
そして、画像自体が持つ信号強度（ここでは、画像TのダイナミックレンジRANGE）と最大ノイズ強度Dmaxとの比率がαDより大きいか否かを判定し（Ｓ１７）、注目画素(i, j)がディテイルかノイズかを判定する（Ｓ１８、１９）。
【０１７０】
図２０は、ノイズ推定処理部１８’での第２の処理形態を示すフローチャートである。この第２の処理形態では、まず、実施の形態１のノイズ推定処理部１８で実行される第２の処理形態の場合と同様に、画像fINと画像Tとの差分絶対値をノイズ強度Nとして算出し（Ｓ１１）、ノイズ強度Nの最大値Dmax Nを求める（Ｓ１３）。この最大値Dmax Nが画像fINの最大ノイズ強度Dmaxとなる。
【０１７１】
他方で、画像自体が持つ信号強度を画素毎に算出する（Ｓ１６’）。ただし、本実施の形態では、画像自体が持つ信号の強度を、画像TのダイナミックレンジRANGEとして求める。
【０１７２】
そして、実施の形態１のノイズ推定処理部１８で実行される第２の処理形態の場合と同様に、最大ノイズ強度Dmaxと画像（画素）自体が持つ信号の強度（ここでは、画像TのダイナミックレンジRANGE）との比率LIN (i, j)を算出する（Ｓ３１）。
【０１７３】
さらに、実施の形態１のノイズ推定処理部１８で実行される第２の処理形態の場合と同様に、第IN番目より前のｎ-1枚のフレーム画像の比率をバッファから参照し（Ｓ３２）、画像fINを基準に各フレーム画像の比率をモーション補正する（Ｓ３３）。そして、Ｓ３１で求めた比率と、Ｓ３３でモーション補正した比率をバッファに書き込む（Ｓ３４）。そして、比率の重みつき平均Lμ (i, j)を算出して（Ｓ３５）、得られた比率の重みつき平均Lμからノイズらしさの程度を求める（Ｓ３６）。
【０１７４】
図２１は、ノイズ推定処理部１８’での第３の処理形態を示すフローチャートである。この第３の処理形態では、まず、実施の形態１のノイズ推定処理部１８で実行される第３の処理形態の場合と同様に、画像fINと画像Tとの差分絶対値をノイズ強度Nとして算出し（Ｓ１１）、ノイズ強度Nの最大値Dmax Nを求める（Ｓ１３）。この最大値Dmax Nが画像fINの最大ノイズ強度Dmaxとなる。
【０１７５】
他方で、画素毎に画像Tのエッジ強度エッジ強度DE(i, j)を求める（Ｓ４１’）。本実施の形態では、エッジ強度DE(i, j)は、画像Tと画像Tにローパスフィルタを適用した画像TLPFとの差分の絶対値として求める。エッジ強度DE(i, j)は、これ以外の方法で求めてもよい。
【０１７６】
そして、実施の形態１のノイズ推定処理部１８で実行される第３の処理形態の場合と同様に、エッジ強度DE(i, j)と最大ノイズ強度Dmaxとの比率がαEより大きいか否かを判定し（Ｓ４２）、注目画素(i, j)がディテイルかノイズかを判定する（Ｓ４３、４４）。
【０１７７】
ディテイル強調処理部１９’は、ノイズ推定処理部１８’が、第１もしくは第３の処理形態にてノイズ推定処理を行う場合、次の処理を行う。図２２に示すように、まず、注目画素(i, j)がディテイルであるか否か（言い換えれば、ノイズでないか否か）を判定する（Ｓ５１）。ディテイルである場合（Ｓ５１でＹＥＳ）、ノイズ低減処理されたノイズ低減画像T(i, j)に更に輪郭強調処理を施した輪郭強調画像U(i, j)を算出し（Ｓ５２）、この輪郭強調画像U(i, j)を出力する（Ｓ５３）。他方、注目画素(i, j)がディテイルでない場合（Ｓ５１でＮＯ）、言い換えれば、注目画素(i, j)がノイズである場合、ノイズ低減画像T(i, j)をそのまま出力する（Ｓ５４）。上記の選択処理を全ての画素に対して実行して得られた画像（出力画像）が、ノイズ処理部１２’でのノイズ低減処理結果である。よって、対象画像fINをこの出力画像に置き換え、ノイズ処理部１２’から出力する。
【０１７８】
ディテイル強調処理部１９’は、ノイズ推定処理部１８’が、第２の処理形態にてノイズ推定処理を行う場合、次の処理を行う。図２３に示すように、前段のノイズ推定処理部１８’にて求めたノイズらしさの程度γ(i, j)から、画素毎に異なる処理を行う。ディテイル強調処理部１９’では、ノイズ低減画像T(i, j)と、それに輪郭強調処理を施した輪郭強調画像U(i, j)を用意して、ノイズらしさの程度γ(i, j)の値に応じた線形和を求める。線形和は、線形和は、以下の式（２３）から求められる。
【０１７９】
【数１９】
【０１８０】
上記の線形和を全ての画素に対して求めて得られた画像（出力画像）が、ノイズ処理部１２’でのノイズ低減処理結果である。よって、画像fINをこの出力画像に置き換え、ノイズ処理部１２’から出力する。
【０１８１】
〔実施の形態３〕
図２４は、実施の形態３の映像信号処理部を示すブロック図である。本実施の形態では、実施の形態１で説明した構成と同一の構成には同一の符号を付し、実施の形態１で説明した処理については説明を省略し、異なる構成のみ説明する。
【０１８２】
本実施の形態の映像信号処理部４２０は、図２に示す実施の形態１の映像信号処理部４２のシャープネス処理部１３が無く、実施の形態１のノイズ処理部１２がノイズ処理部（画像処理装置）１２０に置き換わったものである。これら以外の構成は実施の形態１の映像信号処理部４２と同じである。
【０１８３】
ノイズ処理部１２０は、ＩＰ変換処理部１１が出力する映像データに含まれるノイズを低減（抑制）するためのノイズ低減処理を実行する。さらに、ＩＰ変換処理部１１が出力する映像データのディテイルを向上させる処理（ディテイル強調処理）を実行する。ノイズ低減処理、ディテイル強調処理については、後段で詳細に説明する。
【０１８４】
カラー調整処理部１４は、ノイズ処理部１２０が出力する映像データに対して、コントラストや彩度等を調整するカラー処理を実行する。
【０１８５】
（ノイズ処理部）
図２５は、ノイズ処理部１２０の構成を示すブロック図である。ノイズ処理部１２０は、第１ノイズ低減処理部１６と、第２ノイズ低減処理部１７と、ノイズ推定処理部１８と、ノイズ推定処理部１８の推定結果に従い、第１および第２ノイズ低減処理部１６，１７において失われたディテイル（ディテイル成分）に選択的にノイズを重畳するディテイル強調処理部１９０とを含む。つまり、ノイズ処理部１２０は、図３に示す実施の形態１のディテイル強調処理部１９が、ディテイル強調処理部１９０に置き換わったものである。ディテイル強調処理部１９０以外の構成は実施の形態１のノイズ処理部１２と同じである。
【０１８６】
ノイズ処理部１２０でのノイズ低減処理の対象となるフレーム画像の番号をINとするとき、IN = 0のフレーム画像から順に、第１ノイズ低減処理部１６からディテイル強調処理部１９０までの処理を行う。そして、ディテイル強調処理部１９０での処理が終了すると、次のフレーム画像に進む。すなわち、IN = IN + 1として、第１ノイズ低減処理部１６から処理を実行する。以下では、実施の形態１と同様に、第１ノイズ低減処理部１６での現在（今回）のノイズ低減処理対象のフレーム画像（対象画像）を画像fINとして説明する。
【０１８７】
第１ノイズ低減処理部１６、第２ノイズ低減処理部１７、ノイズ推定処理部１８での処理は実施の形態１と同様である。第２ノイズ低減処理部１７のエッジ強度算出部６０（図９参照）は、入力された画像Tにおいて、エッジである可能性（エッジらしさ）の程度であるエッジ強度の大きい画素ほどモスキートノイズの低減効果が得られるよう、エッジ強度を算出する。ここではエッジ強度は、輝度値のばらつき（変動量）として算出するが、明度や濃度値（画素値）を用いてエッジ強度を算出してもよい。輝度値は、式（１）のＹ成分を用いる。また、エッジ強度DE(i, j)は、画像Tと画像Tにローパスフィルタを適用した画像TLPFとの差分の絶対値として求める。一例として、エッジ強度は、以下の式（２４）より算出する。
【０１８８】
【数２０】
【０１８９】
（ノイズ推定処理部及びディテイル強調処理部）
次に、図２５に示すノイズ推定処理部１８、ディテイル強調処理部１９０について説明する。ノイズ推定処理部１８で実行される処理には、以下で説明する第１及び第２の処理形態がある。それぞれの処理形態毎に、後段のディテイル強調処理部１９０での処理も異なる。
【０１９０】
いずれの処理形態においても、ノイズ推定処理部１８には、現在のノイズ低減処理の対象の画像（対象画像）fINと、画像fINを第１ノイズ低減処理部１６にて処理して得られた画像（ノイズ低減画像）Tと、画像Tを第２ノイズ低減処理部１７にて処理して得られた画像（ノイズ低減画像）Sとが入力される。そして、画素単位でノイズの強度を算出する。ここで、画像Tは画像fINからランダムノイズやブロックノイズを低減した画像（第１ノイズ低減処理結果）であり、画像Sは画像Tからモスキートノイズを低減した画像（第２ノイズ低減処理結果）である。従って、画像fINと画像Tとの差分、画像fINと画像Sとの差分が、各種ノイズのノイズ強度を表す。
【０１９１】
ノイズ推定処理部１８で実行される処理について、第１の処理形態から順に説明する。第１の処理形態では、ノイズ推定処理部１８は、画素毎にノイズ強度を算出し、かつ、画素毎に画像自体が持つ信号強度を求め、これらを基に、各画素がディテイル（ノイズではない）かノイズかを判定する。これは、ノイズ推定処理部１８の後段のディテイル強調処理部１９０にて（ノイズではない）と判定された画素に対してのみノイズを重畳する処理を行うためである。
【０１９２】
本実施の形態でのノイズ推定処理部１８での第１の処理形態は、図１１で示す実施の形態１のノイズ推定処理部１８の第１の処理形態と同様である。
【０１９３】
図１２は、図２５に示すノイズ推定処理部１８が、図１１に示す第１の処理形態を実行した場合の、図２５に示すディテイル強調処理部１９０で実行される処理のフローチャートである。ディテイル強調処理部１９０では、前段のノイズ推定処理部１８における判定結果から、画素毎に異なる処理を行う。まず、注目画素(i, j)がディテイルであるか否か（言い換えれば、ノイズでないか否か）を判定する（Ｓ２１）。ディテイルである場合（Ｓ２１でＹＥＳ）、ノイズ低減処理されたノイズ低減画像S(i, j)にノイズ重畳処理を施した輪郭強調画像U(i, j)を算出し（Ｓ２２）、この輪郭強調画像U(i, j)を出力する（Ｓ２３）。他方、注目画素(i, j)がディテイルでない場合（Ｓ２１でＮＯ）、言い換えれば、注目画素(i, j)がノイズである場合、ノイズ低減画像S(i, j)をそのまま出力する（Ｓ２４）。なお、ノイズ重畳処理の詳細は後述する。
【０１９４】
上記の選択処理を全ての画素に対して実行して得られた画像（出力画像）が、ノイズ処理部１２０でのノイズ低減処理結果である。よって、対象画像fINをこの出力画像に置き換え、ノイズ処理部１２０から出力する。
【０１９５】
ディテイル強調処理部１９０では、ノイズ低減画像Sから輪郭強調画像Uを算出するために、例えば、ノイズ低減画像Sに対してノイズを重畳する。重畳するノイズは、高周波成分で構成されたノイズを原画像に加算することにより、ノイズ低減処理で失われた高周波成分を補うことが可能となり、精細感を向上させるものである。
【０１９６】
ディテイル強調処理部１９０では、ノイズ重畳処理をディテイルと判定された画素にのみ適用することで、一度低減したノイズを再度強調することなく精細感を向上させることができる。
【０１９７】
本実施の形態でのノイズ推定処理部１８での第２の処理形態は、図１３で示す実施の形態１のノイズ推定処理部１８での第２の処理形態と同様である。本実施の形態でのノイズ推定処理部１８での第２の処理形態では、ノイズ推定処理部１８は、画素毎にノイズの強度を算出して、これを基に各画素のノイズである可能性（ノイズらしさ）の程度を数値として算出する。これは、ノイズ推定処理部１８の後段のディテイル強調処理部１９０にて、ノイズらしさの程度に基づき、各画素に添加するノイズ重畳処理の程度を決定するからである。
【０１９８】
本実施の形態でのノイズ推定処理部１８での処理により、画像自体が持つ信号の強度に比べて、最大ノイズ強度が第IN番目のフレーム画像及びその前の数枚のフレーム画像との間で平均的に大きい場合、ノイズらしさの程度を表す数値は大きくなり、注目画素の近傍領域において継続的にノイズが発生している可能性が高いと判断できる。よって、ノイズらしさを表す数値が大きい領域では、後段のノイズ重畳処理の効果を抑制することができる。
【０１９９】
図１５は、図２５に示したノイズ推定処理部１８にて第２の処理形態が実行される場合のディテイル強調処理部１９０での処理を示す図である。ディテイル強調処理部１９０では、前段のノイズ推定処理部１８にて求めたノイズらしさの程度γ(i, j)から、画素毎に異なる処理を行う。ディテイル強調処理部１９０では、ノイズ低減画像S(i, j)と、それにノイズ重畳処理を施した輪郭強調画像U(i, j)を用意して、ノイズらしさの程度γ(i, j)の値に応じた線形和を求める。線形和は、上記した式（２１）から求められる。ノイズ重畳処理の詳細は後述する。
【０２００】
上記の線形和を全ての画素に対して求めて得られた画像（出力画像）が、ノイズ処理部１２０でのノイズ低減処理結果である。よって、画像fINをこの出力画像に置き換え、ノイズ処理部１２０から出力する。
【０２０１】
なお、本実施の形態の第２の処理形態におけるノイズが重畳された輪郭強調画像Uは、上記した本実施の形態の第１の処理形態の場合と同様の手段を用いることで得ることができる。
【０２０２】
ディテイル強調処理部１９０では、ノイズらしさの程度γ(i, j)の値に応じた線形和を求めることで、精細感を向上させることができる。
【０２０３】
ノイズ推定処理部１８で実行される処理は、以上の第１または第２の処理形態の何れであっても構わない。
【０２０４】
ノイズ処理部１２０では、第IN番目の画像fINに対して、第１ノイズ低減処理部１６からディテイル強調処理部１９０までの一連のノイズ低減処理を終えると、IN = IN + 1として次のフレームに進む。全てのフレーム画像、つまり全ての映像データ、に対してノイズ処理部１２０での処理が完了すると、図２４に示すように、次のカラー調整処理部１４に進む。
【０２０５】
以上からわかるように、本実施の形態のノイズ処理部１２０では、上記構成により、映像を構成するフレーム画像に対して、ノイズの低減とディテイルの復元とを両立した画像処理を行うことができる。そのため、ノイズを抑制し、精細感を向上させることができ、画質を向上させた画像（出力画像）を出力することができる。また、テレビ放送受信装置１は、ノイズ処理部１２０を有しているため、ノイズを抑制し、精細感を向上させて、画質を向上させた画像を表示することができる。よって、ユーザに快適な視認環境を提供することができる。
（ディテイル強調処理部におけるノイズ重畳処理）
次に、ディテイル強調処理部１９０におけるノイズ重畳処理の詳細について説明する。
ディテイル強調処理部１９０は、付加ノイズ生成部１９１と付加ノイズ重畳部１９２とで構成されている。
【０２０６】
付加ノイズ生成部１９１は、画像の精細感を向上させるために、高周波成分で構成されるノイズ（一般的にブルーノイズという名称で呼ばれている）を発生させるためのものである。ここでは、処理の高速化のために、既に発生させたブルーノイズを図示しないメモリに保存しておき、そのデータを画素ごとに読み出し付加用ノイズデータとして用いる。付加用ノイズデータの一例を図２６に示す。付加用ノイズの適用方法としては、図２６のデータそれぞれを１画素の付加用ノイズデータとして用いる。すなわち、画素(i, j)の輝度値V(i,j)に対して、付加用ノイズデータBN(i,j)を加算する。このとき、付加用ノイズデータBN(i,j)に、第２ノイズ低減処理部１７のエッジ強度算出部６０で求めたエッジ強度DE(i, j)と調整用パラメータαを乗算し、画素(i, j)の輝度値V(i,j)に加算し、以下の式（２５）で示す新たな輝度値Vnew(I,j) を得る。
【０２０７】
Vnew(i,j)=V(i,j)+ DE(i, j)×α×BN(i,j) （０≦α≦１）・・・（２５）
ここでαは、画質により決定される値であり、実験により求めることができる。エッジ強度DE(i, j)を規格化して使用し、付加用ノイズデータBN(i,j)を±１２７までの値に設定した場合は、画像がノイジーになるのを避けるためにαの値は０≦α≦０．２５程度に設定する。ここでは、付加用ノイズデータのサイズとして、２５６×２５６のサイズを使用している。これが、表示部に表示される画像データサイズ（例えば、９２０×１０８０画素）よりも小さいサイズである場合、２５６×２５６のサイズごとに水平方向、垂直方向に繰り返し適用する。
【０２０８】
この付加用ノイズは、２５６×２５６のサイズで例示しているが、表示部６に応じてより大きいサイズの付加用ノイズを使用することも可能である。
【０２０９】
付加ノイズ重畳部１９２は、第IN番目の画像fINに対して、付加用ノイズを画素ごとに重畳する。付加用ノイズを画素ごとに重畳する際、画素値が０以下、または、２５５以上になる場合には、それぞれ０および２５５に制限する処理を行う。
【０２１０】
付加用ノイズデータは、ここでは１プレーンのみ示しており、画像データが構成されているＲ、Ｇ、Ｂの各プレーンに同じ付加用ノイズデータを適用することができる。また、Ｒ、Ｇ、Ｂのプレーン毎に異なる付加用ノイズデータを適用することも可能である。プレーン毎に異なる付加用ノイズデータを適用する場合は、１プレーンのみ付加用ノイズデータを生成したときと同様に、３プレーン分のノイズデータを生成し、Ｒ、Ｇ、Ｂの各プレーンにそれぞれ異なるノイズデータを適用する。さらに、映像データは、１フレームごとに更新されていくが、上記と同様に、１フレームごとに付加用ノイズを変更してもよいし、変更せずに使用することも可能である。
【０２１１】
プレーン毎に付加用ノイズデータを、変更しない、あるいは、変更することによる効果を以下に説明する。Ｒ、Ｇ、Ｂの各プレーンに同じ付加用ノイズデータを付加する利点としては、同じ付加用ノイズデータが重畳されることにより、主にグレー成分の信号に対して、効果的に精細感を向上させる効果を有する。
【０２１２】
反対にＲ、Ｇ、Ｂの各プレーンに異なる付加用ノイズデータを付加する利点としては、各プレーンで異なるノイズ成分強度を有することにより、種々の色成分に対して精細感を持たせることが可能となる。従って、Ｒ、Ｇ、Ｂの各プレーンに異なる付加用ノイズデータを付加することで、グレー成分以外の種々の色成分に対して、効果的に精細感を向上させる効果を有する。
【０２１３】
次に、フレーム毎に付加用ノイズデータを変更することによる効果を以下に説明する。ノイズデータを付加する画素位置と付加するノイズの組み合わせによっては、付加用ノイズの振幅が十分ではない場合が存在する可能性がある。そのため、精細感を向上させたい画素位置において、精細感の向上度合いが少なくなる恐れがある。そこで、フレーム毎に付加用ノイズを変更することで、異なる振幅を持つノイズが付加されることになり、精細感を向上させることが可能となる。異なるノイズデータを付加することで、フレームによっては、上記精細感が逆に低下する可能性も存在する。しかし、人間の眼は、１フレームごとの変化を認識するほどの高速応答性はなく、数十フレーム程度を積分した画像を認識する特性を有している。このことから、これらの連続したフレームは常に更新されており、精細感の向上したフレームが存在することで、連続した動画として、あたかも精細感が向上しているかのような感覚を与えることができる。
【０２１４】
ブルーノイズの生成は、簡略的には以下の方法で行うことができる。まず、ランダムノイズ発生器でランダムノイズを生成する。生成したノイズデータをＦＦＴ（Fast Fourier Transform）を用いて、周波数空間に変更した後、ハイパスフィルタを通して、低周波成分をカットする。次に、逆ＦＦＴ変換し、実空間のデータに戻す。以上の処理によりブルーノイズデータを得ることができる。これらの変換は、例えば、アメリカ合衆国のMathWorks社が開発している数値解析ソフトウェアMATLAB（登録商標）など既存のソフトウェアを用いることで実現可能である。
【０２１５】
（エッジ強度の算出の変形例）
上記において、エッジ強度に基づいてノイズを付加する方法について記載した。エッジ強度の算出には、Ｓｏｂａｌ法、Ｐｒｅｗｉｔｔ法、Ｒｏｂｅｒｔ法、Ｃａｎｎｙ法など一般的なエッジ検出方法を用いて行うことも可能である。それぞれエッジ検出方法として特徴を有するが、Ｃａｎｎｙ法はノイズを間違って採用する可能性が他の方法と比べて少なく、真の弱いエッジをより検出することで知られている。Ｃａｎｎｙ法でエッジを求める方法は、インテルが開発・公開したオープンソースであるＯｐｅｎＣＶのコンピュータビジョン向けライブラリを用いることが可能である。方法の詳細は、ＯｐｅｎＣＶを参照することで容易に理解することができる。
【０２１６】
Ｃａｎｎｙ法を用いて画像データからエッジ情報を抽出すると、エッジ情報はエッジであるか否かの２値のデータで表される、例えば、エッジである場合Vcanny (i, j)＝２５５、
エッジでない場合Vcanny (i, j)＝０と表わすことができる。
【０２１７】
次に、エッジ強度を求めるために、Vcanny (i, j)をガウシアンフィルタを用いてぼかし処理を行う。例えば、ガウシアンフィルタのフィルタ係数ＬＰＦGaussianとして、以下の行列を用いることができる。
【０２１８】
【数２１】
【０２１９】
エッジ強度DE(i, j)は、DE(i, j)＝Vcanny (i, j)・ＬＰＦGaussianで表される。このエッジ強度DE(i, j)には、Ｃａｎｎｙ法でのエッジ抽出結果にガウシアンフィルタが適用されているため、エッジから離れるに従って、エッジ強度が弱くなっていく特性を持たせることができる。
【０２２０】
上記処理により、最初にＣａｎｎｙの方法で求めたエッジ位置が最大のエッジ強度を持ち、画素位置が離れるに従って、エッジ強度は弱くなっていく特性を得ることができる。上記エッジ強度を用いて、上記新たな輝度値Vnew(i,j)を算出することができる。
【０２２１】
なお、本実施形態では、シャープネス処理を行っていない。しかし、上記ノイズ付加処理の後段にシャープネス処理を追加して、つまり、図２４に示すノイズ処理部１２０と、カラー調整処理部１４との間にシャープネス処理部を設けて、更に強調効果を持たせるようにしてもよい。
【０２２２】
本実施形態の映像信号処理部４２０は、例えば、チューナーを有するテレビ放送受信装置、あるいは、チューナーを有していないモニタ（インフォメーションディスプレイ）、あるいは、マルチディスプレイ、の映像信号処理を実行する処理部に適用可能である。
【０２２３】
〔実施の形態４〕
実施の形態１〜３のノイズ処理部１２、１２’，１２０は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０２２４】
すなわち、ノイズ処理部１２、１２’，１２０（または映像信号処理部４２，４２０、またはテレビ放送受信装置１）は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラム及び各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるノイズ処理部１２，１２’ ，１２０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、ノイズ処理部１２，１２’，１２０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０２２５】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０２２６】
また、ノイズ処理部１２、１２’，１２０（または映像信号処理部４２，４２０、またはテレビ放送受信装置１）を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０２２７】
本発明は上述した各実施形態に限定されるものではなく、種々の変更が可能である。すなわち、本発明の要旨を逸脱しない範囲内において適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０２２８】
本発明は、複数のフレーム画像からなる映像のノイズを低減する画像処理装置等に利用することができる。
【符号の説明】
【０２２９】
１ テレビ放送受信装置（画像表示装置）
１２，１２’，１２０ ノイズ処理部（画像処理装置）
１６，１６’ 第１ノイズ低減処理部（ノイズ低減画像生成部）
１７ 第２ノイズ低減処理部（ノイズ低減画像生成部）
１８ ノイズ推定処理部
１９ ディテイル強調処理部（強調処理部）
４２，４２０ 映像信号処理部（画像処理装置）
５０ 第１ノイズ低減フィルタ構築部
５１ 第１ノイズ低減フィルタリング部（ノイズ低減フィルタリング処理部）
５２ モーション推定部（移動量決定部）
５３ モーション算出部（移動量決定部）
５４ モーション補正部（補正画像生成部）
５５ 重み決定部
６０ エッジ強度算出部
６１ 第２ノイズ低減フィルタ構築部
６２ 第２ノイズ低減フィルタリング部（モスキートノイズ処理部）
【特許請求の範囲】
【請求項１】
複数のフレーム画像からなる映像のノイズを低減する画像処理装置において、
ノイズ低減の対象のフレーム画像である対象画像と、当該対象画像に対して表示順序が前または後の少なくとも一方の少なくとも１以上のフレーム画像である参照用画像との間で、相関が小さい画素を、上記対象画像のノイズと見做し、当該ノイズを抑制するノイズ低減処理を施して、ノイズ低減画像を生成するノイズ低減画像生成部と、
上記対象画像と上記ノイズ低減画像とを対応画素毎に比較した結果から、上記対象画像の各画素のノイズ強度を算出し、当該ノイズ強度に基づき上記対象画像の各画素についてノイズである可能性を判定するノイズ推定処理を実行するノイズ推定処理部と、
上記ノイズ低減画像の画素毎に、上記ノイズ推定処理の結果を反映させた強調処理を施して、出力画像を生成する強調処理部と、
を備えることを特徴とする画像処理装置。
【請求項２】
上記ノイズ推定処理部は、上記ノイズ推定処理として、上記対象画像の注目画素の上記ノイズ強度と、当該注目画素に対応する上記ノイズ低減画像の画素が有する信号強度、または当該注目画素のエッジである可能性の程度を示すエッジ強度と、を比較し、当該注目画素がノイズであるか否かを判定する処理を実行し、
上記強調処理部は、上記ノイズ推定処理の結果を反映させた強調処理として、上記ノイズでないと判定された上記注目画素に対応する上記ノイズ低減画像の画素を強調する処理、かつ、上記ノイズであると判定された上記注目画素に対応する上記ノイズ低減画像の画素を強調しない処理、を実行することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記強調処理部は、上記強調する処理として、上記ノイズ低減画像に対してアンシャープマスクを適用した輪郭強調画像を生成し、上記ノイズでないと判定された上記注目画素に対応する上記輪郭強調画像の画素を出力し、かつ、上記強調しない処理として、上記ノイズであると判定された上記注目画素に対応する上記ノイズ低減画像の画素をそのまま出力して、上記出力画像を生成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
上記強調処理部は、上記強調する処理として、上記ノイズ低減画像に対して高周波成分のノイズを付加した輪郭強調画像を生成し、上記ノイズでないと判定された上記注目画素に対応する上記輪郭強調画像の画素を出力し、かつ、上記強調しない処理として、上記ノイズであると判定された上記注目画素に対応する上記ノイズ低減画像の画素をそのまま出力して、上記出力画像を生成することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
上記ノイズ推定処理部は、上記ノイズ推定処理として、上記対象画像の注目画素の上記ノイズ強度と当該注目画素に対応する上記ノイズ低減画像の画素が有する信号強度との比率から、当該注目画素のノイズである可能性の程度を算出する処理を実行し、
上記強調処理部は、上記ノイズ推定処理の結果を反映させた強調処理として、上記ノイズ低減画像に対して、上記算出されたノイズである可能性の程度に応じた強調処理を実行することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
上記強調処理部は、上記強調処理として、上記ノイズ低減画像に対してアンシャープマスクを適用した輪郭強調画像を生成し、上記注目画素に対応する上記ノイズ低減画像の画素と、上記注目画素に対応する上記輪郭強調画像の画素との、上記算出されたノイズである可能性の程度に応じた線形和を求めて、上記出力画像を生成することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
上記ノイズ推定処理部は、上記ノイズ推定処理として、上記対象画像の注目画素の上記ノイズ強度と当該注目画素に対応する上記ノイズ低減画像の画素が有する信号強度との比率から、当該注目画素のノイズである可能性の程度を算出する処理を実行し、
上記強調処理部は、上記ノイズ推定処理の結果を反映させたノイズ強調処理として、上記ノイズ低減画像に対して、上記算出されたノイズである可能性の程度に応じたノイズ重畳処理を実行することを特徴とすることを特徴とする請求項１に記載の画像処理装置。
【請求項８】
上記ノイズ低減画像生成部は、
上記対象画像の各画素を基準とした上記参照用画像の各画素の移動量を算出する移動量決定部と、
上記参照用画像の各画素を、上記対象画像の各画素の位置と合うように、上記算出された移動量を用いて移動させた補正画像を生成する補正画像生成部と、
上記補正画像と上記対象画像との差を算出し、当該算出された差が大きい程小さくなる重みを決定する重み決定部と、
上記ノイズ低減処理として、上記補正画像に対して、上記決定された重みを付けたフィルタ処理を施すノイズ低減フィルタリング処理部と、
を備えることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
上記ノイズ低減画像生成部は、上記ノイズ低減処理を実行する第１ノイズ低減処理部と、上記ノイズ低減処理を施した対象画像に対して、さらに、モスキートノイズを抑制する抑制処理を施して、上記ノイズ低減画像を生成する第２ノイズ低減処理部とを備えることを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
上記第２ノイズ低減処理部は、
上記ノイズ低減処理を施した対象画像の各画素について、エッジである可能性の程度を示すエッジ強度を算出するエッジ強度算出部と、
上記ノイズ低減処理を施した対象画像に対して、上記モスキートノイズを低減するモスキートノイズ低減処理を施すモスキートノイズ処理部と、
上記算出されたエッジ強度が所定値より大きい画素には、上記モスキートノイズ低減処理の効果が大きくなり、上記エッジ強度が上記所定値以下の画素には、上記モスキートノイズ低減処理の効果が小さくなるように調整して、上記ノイズ低減画像を生成するノイズ低減効果調整部と、
を備えることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
請求項１から１０のいずれか１項に記載の画像処理装置を備えることを特徴とする画像表示装置。
【請求項１２】
複数のフレーム画像からなる映像のノイズを低減する画像処理方法において、
ノイズ低減の対象のフレーム画像である対象画像と、当該対象画像に対して表示順序が前または後の少なくとも一方の少なくとも１以上のフレーム画像である参照用画像との間で、相関が小さい画素を、上記対象画像のノイズと見做し、当該ノイズを抑制する第１ノイズ低減処理を施して、ノイズ低減画像を生成するノイズ低減画像生成ステップと、
上記対象画像と上記ノイズ低減画像とを対応画素毎に比較した結果から、上記対象画像の各画素のノイズ強度を算出し、当該ノイズ強度に基づき上記対象画像の各画素についてノイズである可能性を判定するノイズ推定処理を実行するノイズ推定処理ステップと、
上記ノイズ低減画像の画素毎に、上記ノイズ推定処理の結果を反映させた強調処理を施して、出力画像を生成する強調処理ステップと、
を含むことを特徴とする画像処理方法。
【請求項１３】
請求項１から１０のいずれかに記載の画像処理装置を動作させるプログラムであって、コンピュータを上記の各部として機能させるためのプログラム。
【請求項１４】
請求項１３に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
複数のフレーム画像からなる映像のノイズを低減する画像処理装置において、
ノイズ低減の対象のフレーム画像である対象画像と、当該対象画像に対して表示順序が前または後の少なくとも一方の少なくとも１以上のフレーム画像である参照用画像との間で、相関が小さい画素を、上記対象画像のノイズと見做し、当該ノイズを抑制するノイズ低減処理を施して、ノイズ低減画像を生成するノイズ低減画像生成部と、
上記対象画像と上記ノイズ低減画像とを対応画素毎に比較した結果から、上記対象画像の各画素のノイズ強度を算出し、当該ノイズ強度に基づき上記対象画像の各画素についてノイズである可能性を判定するノイズ推定処理を実行するノイズ推定処理部と、
上記ノイズ低減画像の画素毎に、上記ノイズ推定処理の結果を反映させた強調処理を施して、出力画像を生成する強調処理部と、
を備えることを特徴とする画像処理装置。
【請求項２】
上記ノイズ推定処理部は、上記ノイズ推定処理として、上記対象画像の注目画素の上記ノイズ強度と、当該注目画素に対応する上記ノイズ低減画像の画素が有する信号強度、または当該注目画素のエッジである可能性の程度を示すエッジ強度と、を比較し、当該注目画素がノイズであるか否かを判定する処理を実行し、
上記強調処理部は、上記ノイズ推定処理の結果を反映させた強調処理として、上記ノイズでないと判定された上記注目画素に対応する上記ノイズ低減画像の画素を強調する処理、かつ、上記ノイズであると判定された上記注目画素に対応する上記ノイズ低減画像の画素を強調しない処理、を実行することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記強調処理部は、上記強調する処理として、上記ノイズ低減画像に対してアンシャープマスクを適用した輪郭強調画像を生成し、上記ノイズでないと判定された上記注目画素に対応する上記輪郭強調画像の画素を出力し、かつ、上記強調しない処理として、上記ノイズであると判定された上記注目画素に対応する上記ノイズ低減画像の画素をそのまま出力して、上記出力画像を生成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
上記強調処理部は、上記強調する処理として、上記ノイズ低減画像に対して高周波成分のノイズを付加した輪郭強調画像を生成し、上記ノイズでないと判定された上記注目画素に対応する上記輪郭強調画像の画素を出力し、かつ、上記強調しない処理として、上記ノイズであると判定された上記注目画素に対応する上記ノイズ低減画像の画素をそのまま出力して、上記出力画像を生成することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
上記ノイズ推定処理部は、上記ノイズ推定処理として、上記対象画像の注目画素の上記ノイズ強度と当該注目画素に対応する上記ノイズ低減画像の画素が有する信号強度との比率から、当該注目画素のノイズである可能性の程度を算出する処理を実行し、
上記強調処理部は、上記ノイズ推定処理の結果を反映させた強調処理として、上記ノイズ低減画像に対して、上記算出されたノイズである可能性の程度に応じた強調処理を実行することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
上記強調処理部は、上記強調処理として、上記ノイズ低減画像に対してアンシャープマスクを適用した輪郭強調画像を生成し、上記注目画素に対応する上記ノイズ低減画像の画素と、上記注目画素に対応する上記輪郭強調画像の画素との、上記算出されたノイズである可能性の程度に応じた線形和を求めて、上記出力画像を生成することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
上記ノイズ推定処理部は、上記ノイズ推定処理として、上記対象画像の注目画素の上記ノイズ強度と当該注目画素に対応する上記ノイズ低減画像の画素が有する信号強度との比率から、当該注目画素のノイズである可能性の程度を算出する処理を実行し、
上記強調処理部は、上記ノイズ推定処理の結果を反映させたノイズ強調処理として、上記ノイズ低減画像に対して、上記算出されたノイズである可能性の程度に応じたノイズ重畳処理を実行することを特徴とすることを特徴とする請求項１に記載の画像処理装置。
【請求項８】
上記ノイズ低減画像生成部は、
上記対象画像の各画素を基準とした上記参照用画像の各画素の移動量を算出する移動量決定部と、
上記参照用画像の各画素を、上記対象画像の各画素の位置と合うように、上記算出された移動量を用いて移動させた補正画像を生成する補正画像生成部と、
上記補正画像と上記対象画像との差を算出し、当該算出された差が大きい程小さくなる重みを決定する重み決定部と、
上記ノイズ低減処理として、上記補正画像に対して、上記決定された重みを付けたフィルタ処理を施すノイズ低減フィルタリング処理部と、
を備えることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
上記ノイズ低減画像生成部は、上記ノイズ低減処理を実行する第１ノイズ低減処理部と、上記ノイズ低減処理を施した対象画像に対して、さらに、モスキートノイズを抑制する抑制処理を施して、上記ノイズ低減画像を生成する第２ノイズ低減処理部とを備えることを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
上記第２ノイズ低減処理部は、
上記ノイズ低減処理を施した対象画像の各画素について、エッジである可能性の程度を示すエッジ強度を算出するエッジ強度算出部と、
上記ノイズ低減処理を施した対象画像に対して、上記モスキートノイズを低減するモスキートノイズ低減処理を施すモスキートノイズ処理部と、
上記算出されたエッジ強度が所定値より大きい画素には、上記モスキートノイズ低減処理の効果が大きくなり、上記エッジ強度が上記所定値以下の画素には、上記モスキートノイズ低減処理の効果が小さくなるように調整して、上記ノイズ低減画像を生成するノイズ低減効果調整部と、
を備えることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
請求項１から１０のいずれか１項に記載の画像処理装置を備えることを特徴とする画像表示装置。
【請求項１２】
複数のフレーム画像からなる映像のノイズを低減する画像処理方法において、
ノイズ低減の対象のフレーム画像である対象画像と、当該対象画像に対して表示順序が前または後の少なくとも一方の少なくとも１以上のフレーム画像である参照用画像との間で、相関が小さい画素を、上記対象画像のノイズと見做し、当該ノイズを抑制する第１ノイズ低減処理を施して、ノイズ低減画像を生成するノイズ低減画像生成ステップと、
上記対象画像と上記ノイズ低減画像とを対応画素毎に比較した結果から、上記対象画像の各画素のノイズ強度を算出し、当該ノイズ強度に基づき上記対象画像の各画素についてノイズである可能性を判定するノイズ推定処理を実行するノイズ推定処理ステップと、
上記ノイズ低減画像の画素毎に、上記ノイズ推定処理の結果を反映させた強調処理を施して、出力画像を生成する強調処理ステップと、
を含むことを特徴とする画像処理方法。
【請求項１３】
請求項１から１０のいずれかに記載の画像処理装置を動作させるプログラムであって、コンピュータを上記の各部として機能させるためのプログラム。
【請求項１４】
請求項１３に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【公開番号】特開２０１３−４１５６５（Ｐ２０１３−４１５６５Ａ）
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願番号】特願２０１１−２７３８９２（Ｐ２０１１−２７３８９２）
【出願日】平成２３年１２月１４日（２０１１．１２．１４）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願日】平成２３年１２月１４日（２０１１．１２．１４）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]