ノイズ低減装置及びノイズ低減方法
【課題】映像信号のノイズを低減すると共に、テクスチャ部の平滑化を抑える。
【解決手段】第1映像信号の第1注目画素の画素値と複数の第1周辺画素との平均値を第2の映像信号として出力するローパスフィルタ12と、第1映像信号を所定量遅延して第3映像信号として出力する遅延部13と、第2映像信号の第2注目画素と第2周辺画素を抽出する第1周辺画素取込部14と、第2注目画素と同一位置にある第3映像信号の第3注目画素と第3周辺画素を抽出する第2周辺画素取込部15と、第2周辺画素と第2注目画素の画素値による差分値が第1閾値未満であり、かつ、第2周辺画素と同一位置にある第3周辺画素と第3注目画素の画素値との差分値が第2閾値未満のとき、第3周辺画素の画素値を用いて第3注目画素の画素値を算出する相関画素加算部16とを有する。
【解決手段】第1映像信号の第1注目画素の画素値と複数の第1周辺画素との平均値を第2の映像信号として出力するローパスフィルタ12と、第1映像信号を所定量遅延して第3映像信号として出力する遅延部13と、第2映像信号の第2注目画素と第2周辺画素を抽出する第1周辺画素取込部14と、第2注目画素と同一位置にある第3映像信号の第3注目画素と第3周辺画素を抽出する第2周辺画素取込部15と、第2周辺画素と第2注目画素の画素値による差分値が第1閾値未満であり、かつ、第2周辺画素と同一位置にある第3周辺画素と第3注目画素の画素値との差分値が第2閾値未満のとき、第3周辺画素の画素値を用いて第3注目画素の画素値を算出する相関画素加算部16とを有する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像信号に含まれるノイズ成分を低減するノイズ低減装置及びノイズ低減方法に関する。
【背景技術】
【0002】
映像信号に含まれるノイズ成分を低減する種々の装置が、従来から提案されている。例えば、ノイズ成分を低減する装置の一つにローパスフィルタ(LPF:Low Pass Filter)がある。このLPFは、映像信号を表示した場合の映像画面領域における注目画素の画素値と、その注目画素の周囲に存在する複数の周辺画素の画素値を加算して平均し、その平均値を注目画素の画素値とする装置である。
【0003】
一方、特許文献1には映像信号のノイズ成分を低減する別の装置が記載されている。特許文献1記載のノイズ低減装置の構成では、映像信号を表示した場合の画面領域における注目画素と、その注目画素の周囲に存在する複数の周辺画素を取り込み、注目画素の画素値と各周辺画素の画素値との差分値を算出し、各差分値が所定の閾値以下であるか否かを判定して、相関関係の高い周辺画素を求める。そして、注目画素の画素値と、相関関係の高い周辺画素の画素値のみを加算して平均し、その平均値を注目画素の画素値とするものである。このようなノイズ低減装置は、ε―フィルタとも呼ばれる。
【0004】
また、特許文献2には上記特許文献1記載のε―フィルタを改良したノイズ低減装置が記載されている。特許文献2記載のノイズ低減装置の構成は、特許文献1記載の注目画素の画素値と、その注目画素と相関関係の高い周辺画素の画素値を加算して平均する際に、注目画素の画素値に重み付けをして注目画素の画素値を制御するものである。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平6−086104号公報
【特許文献2】特開2002−259965号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、一般的なLPFによるノイズ低減装置は、映像信号における相関のないランダムなノイズ成分を低減することができるが、同時に画像のエッジ成分も低減するので、画像の輪郭にぼけを生じさせる。
【0007】
上記特許文献1記載のノイズ低減装置は、上記のLPFと比較すると、画像のエッジ成分のぼけを低減することができる。しかし、このようなノイズ低減装置では、相関関係の高い周辺画素を求める際に用いる閾値を小さくすると、ノイズ成分の低減が不十分となる。また、閾値を大きくすると、注目画素に対して、その注目画素の周囲に存在する周辺画素の画素値がある程度変化する部分、いわゆるテクスチャ部までも平滑化するので、画像全体にぼけを生じさせる。
【0008】
さらに、上記特許文献2記載のノイズ低減装置は、注目画素に重み付けを行う構成であり、上記特許文献1記載のノイズ低減装置と比較すると、ノイズ低減効果は高くなる。しかし、注目画素の画素値とその注目画素と相関関係の高い周辺画素の画素値とを加算して平均する構成については特許文献1記載と同様の構成である。そのため、特許文献2記載のノイズ低減装置でも、相関関係の高い周辺画素を求めるときに用いる閾値を小さくすると、ノイズ成分の低減が不十分となる。また、閾値を大きくすると、テクスチャ部も平滑化するので、画像全体にぼけを生じさせる。
【0009】
本発明は、このような課題に鑑みなされたものであり、ランダムノイズを低減し、テクスチャ部の平滑化を抑えて画像の輪郭を明確にする映像信号のノイズ低減装置及びノイズ低減方法を提供することを目的としている。
【課題を解決するための手段】
【0010】
本発明は、上記した従来の技術の課題を解決するため、入力される第1の映像信号を記憶する記憶部(11)と、第1の映像信号のノイズ低減処理の対象とする第1の注目画素のそれぞれに対して、第1の注目画素の画素値と、第1の注目画素の周囲に存在する複数の第1の周辺画素の画素値を加算して平均値を算出し、算出した平均値を第2の映像信号として出力するローパスフィルタ(12)と、第1の映像信号を所定量遅延し、ローパスフィルタより第2の映像信号が出力されるタイミングに同期して、所定量遅延した第1の映像信号を第3の映像信号として出力する遅延部(13)と、第2の映像信号の第2の注目画素と、第2の注目画素の周囲に存在する複数の第2の周辺画素を抽出する第1の周辺画素取込部(14)と、第2の注目画素と同一の画素位置にある第3の映像信号の第3の注目画素と第3の注目画素の周囲に存在する複数の第3の周辺画素を抽出する第2の周辺画素取込部(15)と、第2の周辺画素のそれぞれに対して、第2の周辺画素の画素値と第2の注目画素の画素値との第1の差分値の絶対値を算出し、第2の周辺画素と同一の画素位置にある第3の周辺画素の画素値と第3の注目画素の画素値との第2の差分値の絶対値を算出し、第1の差分値の絶対値が第1の閾値未満であり、かつ、第2の差分値の絶対値が第2の閾値未満である場合に、第3の周辺画素と第3の注目画素の相関が高いと判定し、第1の差分値の絶対値が第1の閾値以上、または、第2の差分値の絶対値が第2の閾値以上である場合に、第3の周辺画素と第3の注目画素の相関がないと判定し、相関が高いと判定した第3の周辺画素の画素値を用いて第3の注目画素の画素値を算出する相関画素加算部(16)とを有することを特徴とするノイズ低減装置(1)を提供する。
また、第1の映像信号の第4の注目画素の周囲に存在する複数の第4の周辺画素のそれぞれに対して、前記第4の周辺画素の画素値から第4の注目画素の画素値を減算し、所定数の前記減算した値が第3の閾値以上である場合に、第4の注目画素の画素値はインパルスノイズであると判定し、インパルスノイズと判定した第4の注目画素の画素値は、少なくとも1つの第4の周辺画素に基いて決定するインパルスノイズ低減部(61)を有することが望ましい。
【0011】
また、本発明は、入力される第1の映像信号のノイズ低減処理の対象とする第1の注目画素のそれぞれに対して、第1の注目画素の画素値と、第1の注目画素の周囲に存在する複数の第1の周辺画素の画素値を加算して平均値を算出し、算出した平均値を第2の映像信号として出力し、第1の映像信号を所定量遅延し、ローパスフィルタより前記第2の映像信号が出力されるタイミングに同期して、所定量遅延した第1の映像信号を第3の映像信号として出力し、第2の映像信号の第2の注目画素と、第2の注目画素の周囲に存在する複数の第2の周辺画素を抽出し、第2の注目画素と同一の画素位置にある第3の映像信号の第3の注目画素と第3の注目画素の周囲に存在する複数の第3の周辺画素を抽出し、第2の周辺画素のそれぞれに対して、第2の周辺画素の画素値と第2の注目画素の画素値との第1の差分値の絶対値を算出し、第2の周辺画素と同一の画素位置にある第3の周辺画素の画素値と第3の注目画素の画素値との第2の差分値の絶対値を算出し、第1の差分値の絶対値が第1の閾値未満であり、かつ、第2の差分値の絶対値が第2の閾値未満である場合に、第3の周辺画素と第3の注目画素の相関が高いと判定し、第1の差分値の絶対値が第1の閾値以上、または、前記第2の差分値が第2の閾値以上である場合に、第3の周辺画素と第3の注目画素の相関がないと判定し、相関が高いと判定した第3の周辺画素の画素値に基いて第3の注目画素の画素値を算出することを特徴とするノイズ低減方法を提供する。
【発明の効果】
【0012】
本発明のノイズ低減装置及びノイズ低減方法によれば、映像信号のノイズを低減すると共に、テクスチャ部の平滑化を抑えることができるので、ぼけの少ない映像表示を実現することが可能となる。
【図面の簡単な説明】
【0013】
【図1】本発明の第1実施形態におけるノイズ低減装置の一例を示すブロック構成図である。
【図2】ノイズ低減装置の記憶部の一例を示す構成図である。
【図3】ノイズ低減装置の記憶部の別の一例を示す構成図である。
【図4】注目画素と周辺画素の関係を説明するための説明図である。
【図5】遅延部とLPFにおける映像信号のタイミングチャートである。
【図6】注目画素と周辺画素の画素位置を説明するための説明図である。
【図7】周辺画素取込部の一例を示す構成図である。
【図8】周辺画素取込部の一例を示す構成図である。
【図9】εフィルタの特性を説明する説明図である。
【図10】従来のεフィルタにより出力される映像信号と、相関画素加算部より出力される映像信号を比較して説明するための説明図である。
【図11】本発明の第1実施形態におけるノイズ低減方法の一例を示すフローチャートである。
【図12】本発明の第2実施形態におけるノイズ低減装置の一例を示すブロック図である。
【図13】インパルスノイズを含む映像信号のインパルノイズ低減処理をする前と後の映像信号を比較して説明するための説明図である。
【発明を実施するための形態】
【0014】
(第1実施形態)
以下、第1実施形態におけるノイズ低減装置及びノイズ低減方法について、添付図面を参照して説明する。図1は、第1実施形態におけるノイズ低減装置1のブロック構成図の一例である。ノイズ低減装置1は、記憶部11、ローパスフィルタ(LPF)12、遅延部13、周辺画素取込部14,15、相関画素加算部16、制御部21、遅延制御部22、LPF制御部23、閾値制御部24を有する。
【0015】
ノイズ低減装置1の記憶部11には、例えば不図示のCMOS(Complementary Metal Oxide Semiconductor)等で構成される撮像部、あるいは、外部の放送局、通信網(インターネットやLAN)などから、映像信号F0が入力される。映像信号F0は、所定の方式により圧縮された映像信号をデコード処理した信号である。
【0016】
図2に示す記憶部11Aは、図1に示す記憶部11の構成図の一例である。記憶部11Aは、複数のラインメモリ11A1〜11A6により構成される。ここで、記憶部11から出力される映像信号F0は、ライン毎の映像信号F0jと表記する場合もある。jは同一フレームの映像信号を表示した場合の画像領域における垂直方向のライン番号を示す整数値である。
【0017】
最初に、ラインメモリ11A1は、記憶部11Aに入力される1ライン分の映像信号F01を記憶する。ラインメモリ11A2は、続いて記憶部11Aに入力される映像信号F01の次の1ライン分の映像信号F02を記憶する。同様にして、ラインメモリ11A3は映像信号F02の次の1ライン分の映像信号F03を、ラインメモリ11A4は映像信号F03の次の1ライン分の映像信号F04を、ラインメモリ11A5は映像信号F04の次の1ライン分の映像信号F05を、ラインメモリ11A6は映像信号F05の次の1ライン分の映像信号F06をそれぞれ記憶する。
【0018】
記憶部11Aは、7ライン目の映像信号F07が入力されると、記憶部11Aのラインメモリで記憶することなく、そのまま映像信号F07として出力する。その際、映像信号F07の出力タイミングと同一のタイミングで、ラインメモリ11A1〜11A6に記憶している各映像信号F01〜F06を出力する。すなわち、記憶部11Aは、垂直方向において同一の画素位置にある画素毎に映像信号F01〜F07を同時に出力する。
【0019】
図3に示す記憶部11Bは、図1に示す記憶部11の構成図の別の一例である。記憶部11Bは、6ライン分を記憶するメモリ11B1と、ライトアドレス制御部11B2と、リードアドレス制御部11B3により構成される。最初に、ライトアドレス制御部11B2は、メモリ11B1のアドレスを制御して、入力される映像信号F0を順次、メモリ11B1に記憶させる。
【0020】
記憶部11Bは、さらに映像信号F0が入力されると、記憶部11Bのメモリ11B1で記憶することなく、そのまま映像信号F07として出力する。その際、リードアドレス制御部11B3は、メモリ11B1の読み出すアドレスを制御して、7ライン目の映像信号F07の出力タイミングと同じタイミングで、メモリ11B1に記憶している6ライン分の各映像信号F01〜F06を同時に出力する。すなわち、記憶部11Bは、垂直方向において同一の画素位置にある画素毎に映像信号F01〜F07を同時に出力する。記憶部11A,11Bは7ライン分の映像信号を同時に出力する構成として説明したが、ライン数等はこれに限定されるものではない。
【0021】
記憶部11(11A,11B)から出力された7ライン分の映像信号F0は、LPF12と、遅延部13に入力される。LPF12は、LPF制御部22により供給される制御信号C1と、記憶部11より入力される映像信号F0のノイズ低減処理の対象とする注目画素の画素値をその注目画素の周囲に存在する周辺画素の画素値に基いて順次平滑化する。
【0022】
制御部21は、LPF制御部22、遅延制御部23、閾値制御部24を制御する。そして、制御部21は、映像信号F0のノイズ成分は多いと判断するときは、LPF制御部22に対して、LPF12での平滑化処理を強くするように制御する。
【0023】
図4は、注目画素P0と周辺画素P1の関係を説明するための説明図である。図4に示すように、黒色表示で示す注目画素P0を中心として、注目画素P0の周囲に存在する白抜表示で示す画素を周辺画素P1とする。例えば、図4の場合、周辺画素P1は、注目画素P0を中心とする水平方向及び垂直方向にそれぞれ7画素分の画素である。すなわち、1つの注目画素P0に対して、周辺画素P1の画素数は7×7−1=48個である。なお、画像の左右あるいは上下の端部にある注目画素P0を対象とする場合は、周辺画素P1の画素数を少なくしてもよい。
【0024】
LPF制御部22は、制御部21より供給される制御信号C1に基いて、LPF12での平滑化処理に使用する周辺画素P1の個数を設定する。周辺画素P1の画素数は、注目画素P0を中心として水平方向にN画素分、垂直方向にM画素分、合計(N×M−1)個である。そして、LPF制御部22は、周辺画素P1の個数を示す制御信号C1をLPF12に供給する。また、映像信号F0を表示した場合の画像の絵柄、あるいは画像のノイズ状態などにより、周辺画素P1の個数を設定してもよい。なお、画像の絵柄、あるいは画像のノイズ状態は、制御部21が判別する構成としてもよい。
【0025】
さらに、LPF制御部22は、ユーザにより入力される情報に基いて、周辺画素P1の個数を設定してもよい。LPF制御部22によって設定される周辺画素P1の個数を多くするほどノイズを低減することはできるが、画像のエッジ部分にぼけを生じさせることにもなるので、画像の絵柄あるいはノイズの状態に応じて適切に設定することが望ましい。なお、第1実施形態では、LPF制御部22は、周辺画素P1の個数を図4に示す48画素分として設定するがこれに限定されるものではない。
【0026】
LPF12は、映像信号F0における注目画素P0の画素値と、図4に示す48画素分の周辺画素P1の各画素値とをすべて加算して平均値を算出する。そして、この平均値を注目画素P0の画素値とし、注目画素P0を順に変更して注目画素P0毎に画素値を算出する。なお、画素値とは、映像信号中の輝度情報、色差情報等を示す値である。
【0027】
LPF12での処理は、一般に平滑化処理と呼ばれるものであり、平滑化処理によって得られる映像信号による画像は、画像全体にノイズが低減される。LPF12は、この平滑化処理によって得られる注目画素P0毎の画素値を映像信号FLとして周辺画素取込部14に出力する。
【0028】
遅延制御部23は、制御部21の制御により、LPF12から周辺画素取込部14に出力される映像信号FLのタイミングに同期して、遅延部13から周辺画素取込部15に対して映像信号FDを出力するように、遅延部13で映像信号F0を遅延させる遅延量を決定する。そして、遅延制御部23は、その遅延量を示す制御信号C2を遅延部13に供給する。
【0029】
遅延部13は、遅延制御部23より供給される制御信号C2に基いて、入力される映像信号F0を所定量遅延し、遅延した映像信号FDを周辺画素取込部15に出力する。
【0030】
図5は、LPF12と遅延部13に入力される映像信号F0、LPF12と遅延部13よりそれぞれ出力される映像信号FL,FDのタイミングチャートを示している。LPF12及び遅延部13には、記憶部11より図5(A)に示す映像信号F0が入力される。LPF12は、制御信号C1に基いて、図5(A)に示す入力映像信号F0を平滑化処理し、映像信号F0の入力タイミングから平滑化処理に要するt時間分遅延して、図5(B)に示す平滑化処理後の映像信号FLを出力する。遅延部13は、制御信号C2に基いて、LPF12からの映像信号FLの出力と同じタイミングとなるように、図5(A)に示す入力映像信号F0をt時間遅延して、図5(C)に示す映像信号FDを出力する。
【0031】
周辺画素取込部14は、LPF12より供給される映像信号FLのノイズ低減処理の対象とする注目画素P0を中心として、その注目画素P0の周囲の水平方向にN画素分、垂直方向にM画素分、すなわち注目画素P0と周辺画素P1を合わせてN×M個の画素を抽出する。なお、第1実施形態では、周辺画素取込部14は、図4で説明したLPF12の場合と同様に、注目画素P0を中心として水平方向及び垂直方向にそれぞれ7画素分の周辺画素P1を抽出するものとして説明する。
【0032】
図6は、周辺画素取込部14で抽出される注目画素P0と周辺画素P1の画素位置の一例を説明するための説明図である。図6に示すように、注目画素P0と周辺画素P1の画素位置(位置座標)はP(x,y)で示される。ここで、x,yは共に1〜7の整数値である。注目画素P0の画素位置は、4ライン目の中央の画素であり画素P(4,4)で示される。周辺画素P1は、画素P(4,4)を除く画素P(1,1)〜P(7,1)、P(1,2)〜(7,2)、P(1,3)〜P(7,3)、P(1,4)〜P(3,4)、P(5,4)〜P(7,4)、P(1,5)〜P(7,5)、P(1,6)〜P(7,6)、P(1,7)〜P(7,7)で示される。
【0033】
図7は、周辺画素取込部14の一例を示す構成図である。周辺画素取込部14は、映像信号FLの7ライン分に対応した入力端子14A0〜14G0を有する。そして、入力端子14A0の後段には6個の遅延器14A1〜14A6を有する。各遅延器14A1〜14A6は、入力される1ライン目の映像信号FLをそれぞれ1画素ずつ遅延する。図7の各遅延器14A1〜14G6の“T”は1画素の遅延を意味するものである。
【0034】
入力端子14A0と同様に、入力端子14B0の後段には6個の遅延器14B1〜14B6、入力端子14C0の後段には6個の遅延器14C1〜14C6、入力端子14D0の後段には6個の遅延器14D1〜14D6、入力端子14E0の後段には6個の遅延器14E1〜14E6、入力端子14F0の後段には6個の遅延器14F1〜14F6、入力端子14G0の後段には6個の遅延器14G1〜14G6を有する。そして、各遅延器14B1〜14B6、14C1〜14C6、14D1〜14D6、14E1〜14E6、14F1〜14F6、14G1〜14G6は、遅延器14A1〜14A6と同様に、それぞれ映像信号FLを1画素ずつ遅延する。
【0035】
ここで、周辺画素取込部14に入力される映像信号FLは、ライン毎の映像信号FLjと表記する場合もある。jは同一フレームの映像信号を表示した場合の画像領域における水平方向のライン番号を示す整数値である。
【0036】
1ライン目の映像信号FL1は、図7に示す周辺画素取込部14の入力端子14A0に対して、画素毎に順次入力される。図6に示す1ライン目の画素P(1,1)の映像信号FL1は、遅延器14A1〜14A6によって6画素分遅延された信号であり、遅延器14A6の出力から抽出される。また、図6に示す1ライン目の画素P(2,1)の映像信号FL1は、遅延器14A1〜14A5によって5画素分遅延された信号であり、遅延器14A5の出力から抽出される。さらに、図6に示す画素P(3,1)の映像信号FL1は、遅延器14A1〜14A4によって4画素分遅延された信号であり、遅延器14A4の出力から抽出される。
【0037】
また、図6に示す1ライン目の画素P(4,1)の映像信号FL1は、遅延器14A1〜14A3によって3画素分遅延された信号であり、遅延器14A3の出力から抽出される。さらに、図6に示す1ライン目の画素P(5,1)の映像信号FL1は、遅延器14A1,14A2によって2画素分遅延された信号であり、遅延器14A2の出力から抽出される。また、図6に示す1ライン目の画素P(6,1)の映像信号FL1は、遅延器14A1によって1画素分遅延された信号であり、遅延器14A1の出力から抽出される。さらに、図6に示す1ライン目の画素P(7,1)の映像信号FL1は、遅延されることなく、入力端子14A0の出力から抽出される。
【0038】
1ライン目の映像信号FL1と同様に、2ライン目〜7ライン目の映像信号FL2〜FL7についても、図7に示す周辺画素取込部14の入力端子14B0〜14G0にそれぞれ入力される。そして、周辺画素取込部14は、1ライン目の映像信号FL1と同様に、各入力端子14B0〜14G0及び各遅延器14B1〜14G6の出力から、図6に示す各画素P(x,y)の映像信号FLを抽出する。例えば、図6に示す注目画素P0である4ライン目の画素P(4,4)の映像信号FL4は、遅延器14D1〜14D3によって3画素分遅延された信号であり、遅延器14D3の出力から抽出されるものである。
【0039】
そして、周辺画素取込部14は、各入力端子14A0〜14G0及び各遅延器14A1〜14G1から出力される画素毎の映像信号FLを相関画素加算部16に出力する。
【0040】
一方、遅延部13より出力される映像信号FDは、周辺画素取込部15に入力される。周辺画素取込部15は、映像信号FDにおいて、周辺画素取込部14で映像信号FLの注目画素P0とした同一の画素位置を注目画素P0とする。そして、周辺画素取込部14と同様に、その注目画素P0を中心として、注目画素P0の周囲の水平方向にN画素分、垂直方向にM画素分、すなわち注目画素P0と周辺画素P1を合わせてN×M個の画素を抽出する。
【0041】
図8は、周辺画素取込部15の一例を示す構成図である。周辺画素取込部15は、映像信号FDの7ライン分に対応した入力端子15A0〜15G0を有する。そして、入力端子15A0の後段には6個の遅延器15A1〜15A6を有する。各遅延器15A1〜15A6は、入力される1ライン目の映像信号FDをそれぞれ1画素ずつ遅延する。図8の各遅延器14A1〜14G6の“T”は、図7と同様に1画素の遅延を意味するものである。
【0042】
入力端子15A0と同様に、入力端子15B0の後段には6個の遅延器15B1〜15B6、入力端子15C0の後段には6個の遅延器15C1〜15C6、入力端子15D0の後段には6個の遅延器15D1〜15D6、入力端子15E0の後段には6個の遅延器15E1〜15E6、入力端子15F0の後段には6個の遅延器15F1〜15F6、入力端子15G0の後段には6個の遅延器15G1〜15G6を有する。そして、各遅延器15B1〜15B6、15C1〜15C6、15D1〜15D6、15E1〜15E6は、15F1〜15F6、15G1〜15G6は、遅延器15A1〜15A6と同様に、それぞれ映像信号FDを1画素ずつ遅延する。
【0043】
ここで、周辺画素取込部15に入力される映像信号FDは、ライン毎の映像信号FDjと表記する場合もある。jは同一フレームの映像信号を表示した場合の画像領域における水平方向のライン番号を示す整数値である。
【0044】
1ライン目の映像信号FD1は、図8に示す周辺画素取込部15の入力端子15A0に対して、画素毎に順次入力される。図6に示す1ライン目の画素P(1,1)の映像信号FD1は、遅延器15A1〜15A6によって6画素分遅延された信号であり、遅延器15A6の出力から抽出される。また、図6に示す1ライン目の画素P(2,1)の映像信号FD1は、遅延器15A1〜15A5によって5画素分遅延された信号であり、遅延器15A5の出力から抽出される。さらに、図6に示す1ライン目の画素P(3,1)の映像信号FD1は、遅延器15A1〜15A4によって4画素分遅延された信号であり、遅延器15A4の出力から抽出される。
【0045】
また、図6に示す1ライン目の画素P(4,1)の映像信号FD1は、遅延器15A1〜15A3によって3画素分遅延された信号であり、遅延器15A3の出力から抽出される。さらに、図6に示す1ライン目の画素P(5,1)の映像信号FD1は、遅延器15A1〜15A2によって2画素分遅延された信号であり、遅延器15A2の出力から抽出される。また、図6に示す1ライン目の画素P(6,1)の映像信号FD1は、遅延器15A1によって1画素分遅延された信号であり、遅延器15A1の出力から抽出される。さらに、図6に示す1ライン目の画素P(7,1)の映像信号FDは、遅延されることなく、入力端子15A0の出力から抽出される。
【0046】
1ライン目の映像信号FD1と同様に、2ライン目〜7ライン目の映像信号FD2〜FD7についても、図8に示す周辺画素取込部15の入力端子15B0〜15G0にそれぞれ入力される。そして、周辺画素取込部15は、1ライン目の映像信号FD1と同様に、各入力端子15B0〜15G0及び各遅延器15B1〜15G6の出力から、図6に示す各画素P(i,j)の映像信号FDを抽出する。例えば、図6に示す注目画素P0である4ライン目の画素P(4,4)の映像信号FD4は、遅延器15D1〜15D3によって3画素分遅延され、遅延器15D3の出力から抽出されるものである。
【0047】
そして、周辺画素取込部15は、各入力端子15A0〜15G0及び各遅延器15A1〜15G6から出力される画素毎の映像信号FDを相関画素加算部16に出力する。
【0048】
以上説明したように、本実施形態では図8に示す周辺画素取込部15と図7に示す周辺画素取込部14は同一の構成である。また、図8に示す周辺画素取込部15の各入力端子15A0〜15G0及び各遅延器15A1〜15G6のそれぞれから相関画素加算部16に出力する映像信号FDと、図7に示す周辺画素取込部14の各入力端子14A0〜14G0及び各遅延器14A1〜14G6のそれぞれから相関画素加算部16に出力する映像信号FLは、それぞれ同一の画素位置の映像信号に対応している。
【0049】
例えば、入力端子15A0から相関画素加算部16に出力する映像信号FDと、入力端子14A0から相関画素加算部16に出力する映像信号FLは、それぞれ画素P(7,1)の映像信号であり、遅延器15A1から相関画素加算部16に出力する映像信号FDと、入力端子14A1から相関画素加算部16に出力する映像信号FLは、それぞれ画素P(6,1)の映像信号である。なお、本実施形態では、周辺画素取込部14と周辺画素取込部15とが同一の構成として説明したが、別の構成とすることも可能である。
【0050】
閾値制御部24は、制御部21より供給される不図示の自動利得制御部(AGC:Auto Gain Control)で用いるゲインの値に基いて、後述する相関画素加算部16で用いる閾値ε1,ε2を設定する。なお、制御部21が判別する画像の絵柄、あるいは画像のノイズ状態によって、閾値ε1,ε2を設定してもよい。また、ユーザにより入力される情報に基いて、閾値ε1,ε2を設定してもよい。そして、閾値制御部24は、相関画素加算部16に閾値ε1,ε2を示す制御信号C3を供給する。
【0051】
相関画素加算部16は、LPF12によって平滑化処理され周辺画素取込部14により取り込まれた周辺画素P1毎に、映像信号FLにおける周辺画素P1の画素値から注目画素P0の画素値を減算して差分値D1を算出する。
【0052】
また、相関画素加算部16は、周辺画素取込部15により抽出された映像信号FDについて、前述の差分値D1を算出した周辺画素P1と同一の画素位置にある周辺画素P1の画素値から注目画素P0の画素値を減算して差分値D2を算出する。
【0053】
そして、相関画素加算部16は、閾値制御部23より供給される制御信号C3に基いて、差分値D1の絶対値が予め定められる閾値ε1未満であるか否か、及び差分値D2の絶対値が予め定められる閾値ε2未満であるか否かを判定する。
【0054】
相関画素加算部16は、周辺画素取込部14,15のそれぞれの同一の画素位置にある周辺画素P1について、差分値D1の絶対値が閾値ε1未満であり、かつ、差分値D2の絶対値が閾値ε2未満である場合、その周辺画素P1は注目画素P0と相関関係が高いと判定する。一方、相関画素加算部16は、上記条件に当てはまらない場合、すなわち、差分値D1の絶対値が閾値ε1以上、または、差分値D2の絶対値が閾値ε2以上である場合、その周辺画素P1は注目画素P0と相関関係がないと判定する。相関画素加算部16は、この差分値D1,D2の算出と相関関係の判定を周辺画素P1毎に繰り返し行う。
【0055】
相関画素加算部16は、周辺画素取込部15より入力されるすべての映像信号FDにおいて、相関関係の高いと判定した周辺画素P1の画素値と注目画素P0の画素値を加算して合計値Vを算出する。その合計値Vを算出する際に加算した注目画素P0と周辺画素P1の合計の画素数で除算して平均値を算出し、その平均値を注目画素P0の画素値とする。なお、相関画素加算部16は、相関関係の高いと判定した周辺画素P1について算出した差分値D2を加算して平均値を算出する構成でもよい。
【0056】
ここで、各画素Pの画素位置をP(i,j)、注目画素P0の画素位置をP(cx,cy)、相関画素換算部16で算出する注目画素P0の画素値をV(cx,cy)とする。上記説明した相関画素加算部16における注目画素P(cx,cy)の画素値V(cx,cy)の算出は、以下の数1式を用いて表すこともできる。
【0057】
【数1】
ただし、a(i,j)はP(i,j)毎に設定する係数、FD(i,j)は映像信号FDにおける画素P(i,j)の画素値、FL(i,j)は映像信号FLにおける画素P(i,j)の画素値、Nは水平方向の周辺画素P1の画素数、Mは垂直方向の周辺画素P1の画素数である。また、関数G[FD(i,j),FL(i,j)]は、以下の数2式を用いて表される。
【数2】
第1実施形態では、係数a(i,j)はすべてのP(i,j)に対してすべて1とするが、例えば、注目画素P0と周辺画素P1で値を変えるなど種々の変更が可能である。
【0058】
図9は、εフィルタの特性を説明する説明図である。図9に示すように、εフィルタは、入力信号(FD(i,j)−FD(cx,cy))の絶対値が閾値ε未満の場合に出力信号をG[FD(i,j)−FD(cx、cy)]、入力信号(FD(i,j)−FD(cx,cy))の絶対値が閾値ε以上の場合に、出力信号を0とするものである。
【0059】
数1,数2式に示す関数G[FD(i,j),FL(i,j)]は、図9に示すεフィルタを2種類の映像信号FD,FLと2種類の閾値ε1、ε2に適用したものである。よって、関数G[FD(i,j),FL(i,j)]の基本的な特性は
、図9に示すεフィルタの特性と同様である。
【0060】
数1,数2式によれば、映像信号FLにおける周辺画素P(i,j)の画素値FL(i,j)と注目画素P(cx,cy)の画素値FL(cx,cy)差分値の絶対値が閾値ε1未満であり、かつ、映像信号FDにおける周辺画素P(i,j)の画素値FD(i,j)と注目画素P(cx,cy)の画素値FD(cx,cy)との差分値の絶対値が閾値ε2未満のときに、注目画素P(cx,cy)の画素値FD(cx,cy)に周辺画素P(i,j)の画素値FD(i,j)を周辺画素P(cx,cy)毎に順次加算する。
【0061】
さらに、注目画素P(cx,cy)の画素値FD(cx,cy)と数1,数2式を満たす周辺画素P(i,j)の画素値FD(i,j)の合計値V(cx,cy)を算出する。合計値V(cx,cy)をその合計値Vを算出する際に加算した注目画素P(cx,cy)と周辺画素P(cx,cy)の合計の画素数で除算して平均値を算出し、その平均値を注目画素P(cx,cy)の画素値FD(cx,cy)とする。
【0062】
相関画素加算部16は、以上説明したように注目画素P(cx,cy)毎に算出した画素値を映像信号F1として出力する。この映像信号F1が第1実施形態においてノイズ低減した映像信号となる。
【0063】
図10は、従来のεフィルタにより出力される映像信号と、相関画素加算部16より出力される映像信号F1を比較して説明するための説明図である。図10
は、横軸に1ラインの一部分の画素、縦軸に各画素の画素値を示し、各画素値を丸印で示したものである。縦軸の画素値は、図10に示す画素PBの画素値からのレベル差で示している。
【0064】
図10(A)は、ノイズ低減装置1に入力される映像信号F0である。図10(A)の右側に示すテクスチャ部は、周辺の他の画素と比べて画素値の高い画像の絵柄(模様)に相当する。
【0065】
図10(B)は、図10(A)に示す映像信号F0をLPFにより周辺画素P1をすべて加算して平均した映像信号、すなわち平滑化処理した映像信号である。図10(B)に示すように、LPFより出力された映像信号では、テクスチャ部の左側に示すエッジ成分が低減され、この映像信号による画像のエッジはぼけてしまう。
【0066】
また、図10(B)は、図10(A)に示すε2を閾値とする場合における従来のεフィルタによる映像信号でもある。図10(A)に示すように、画素PBを注目画素P0とする場合、画素PBと周辺画素P1の画素値のレベル差の絶対値がすべて閾値ε2未満である。そのため、注目画素P0を順次変えて映像信号F0のノイズ低減処理を行うと、図10(B)に示す映像信号となる。
【0067】
さらに、図10(C)は、図10(A)に示す映像信号F0を本実施形態のノイズ低減装置1によりノイズ低減処理した映像信号F1である。ここで、図10(A)に示す映像信号が遅延部13により所定量遅延されて周辺画素取込部15より出力される映像信号FD、図10(B)に示す映像信号がLPF12で平滑化処理されて周辺画素取込部14より出力される映像信号FLと考えることができる。そして、注目画素P0毎に、図10(A)に示す映像信号FDにおける周辺画素P1の画素値と注目画素P0の画素値の差分値D2の絶対値が図10(A)に示す閾値ε2未満であり、図10(B)に示す映像信号FLにおける周辺画素P1の画素値と注目画素P0の画素値の差分値D1の絶対値が図10(B)に示す閾値ε1未満である場合に、注目画素P0と周辺画素P1の相関関係が高いと判定してノイズ低減処理を行うと、図10(C)に示す映像信号となる。
【0068】
図10(C)に示すように、第1実施形態のノイズ低減装置1によれば、図10(A)の左側に示すノイズ成分を低減して平坦部となり、かつ右側のテクスチャ部と平坦部の境界のエッジが明確になる。
【0069】
次に、ノイズ低減装置1を用いたノイズ低減方法について説明する。図11は、ノイズ低減方法を説明するフローチャートである。
【0070】
ノイズ低減装置1の記憶部11は、入力される複数ライン分の映像信号を記憶し、複数ライン分の映像信号F0をライン毎に同時に出力する(ステップS01)。LPF12は、映像信号F0を平滑化処理して映像信号FLを出力する。また、遅延部13は、映像信号F0を所定量遅延して、LPF12より出力される映像信号に同期して出力する(ステップS02)。
【0071】
そして、周辺画素取込部14は、LPF12より出力された映像信号FLにおける注目画素P0と所定数の周辺画素P1を抽出する。また、周辺画素取込部15は、遅延部13より出力された映像信号FDにおける注目画素P0と所定数の周辺画素P1を抽出する(ステップS03)。
【0072】
続いて、相関画素加算部16は、差分値D1,D2を算出していない周辺画素P1があるか否かを判定する(ステップS04)。ステップS04で差分値D1,D2を算出していない周辺画素P1がある場合(ステップS04,Y)、周辺画素取込部14より出力される映像信号FLの周辺画素P1と注目画素P0の差分値D1を算出する。また、周辺画素取込部15より出力される映像信号FDの周辺画素P1と注目画素P0の差分値D2を算出する(ステップS05)。
【0073】
そして、相関画素加算部16は、差分値D1の絶対値が閾値ε1未満であり、かつ、差分値D2の絶対値が閾値ε2未満であるかを判定する(ステップS06)。ステップS06で、差分値D1の絶対値が閾値ε1未満であり、かつ、差分値D2の絶対値が閾値ε2未満である場合(ステップS06,Y)、注目画素P0と周辺画素P1の相関関係が高いと判定し、合計値Vに現在対象としている映像信号FDにおける周辺画素P1の画素値を加算して(ステップS07)、ステップS04に戻る。合計値Vの初期値は、映像信号FDにおける注目画素P0の画素値である。また、ステップS06で、差分値D1の絶対値が閾値ε1以上、または、差分値D2の絶対値が閾値ε2以上である場合(ステップS06,N)、注目画素P0と周辺画素P1の相関関係はないと判定し、ステップS04に戻る。ステップS04で、差分値D1,D2を算出していない周辺画素P1がある場合には、以降ステップS05〜S07の処理を繰り返す。
【0074】
一方、ステップS04で、差分値D1,D2を算出していない周辺画素P1がない場合(ステップS04,N)、合計値VをステップS07で加算した回数に1を加えた数で除算して周辺画素P1の平均値を求め、その平均値を注目画素P0の画素値とする(ステップS08)。なお、注目画素P0の画素値は、相関関係の高い周辺画素P1と注目画素P0の差分値を加算することによって算出してよい。
【0075】
以上説明したように、ノイズ低減装置1を用いたノイズ低減方法によっても、図10(C)に示すように、映像信号のノイズを低減すると共に、平坦部とテクスチャ部の境界のエッジを明確にすることができる。
【0076】
(第2実施形態)
図12は、本発明の第2実施形態におけるノイズ低減装置の一例を示すブロック図である。図12において、インパルスノイズ低減部61が図1と異なる構成であり、その他の図1と同様の構成については同一の符号を付して説明を省略する。
【0077】
インパルスノイズ低減部61は、記憶部11より入力される映像信号F0における注目画素P0の画素値から、注目画素P0の周囲に存在する各周辺画素P1の画素値を減算する。そして、周辺画素P1毎に周辺画素P1と注目画素P0との減算値を算出する。所定数の減算値が予め定められる閾値ε3以上である場合に、注目画素P0の画素値はインパルスノイズであると判定する。なお、閾値ε3以上となる1つの減算値が得られた段階でインパルスノイズと判定する構成でもよい。また、周辺画素P1の個数は、例えば注目画素を中心として垂直方向に3画素分、水平方向に3画素分、注目画素P0を含めて合計9個とする。
【0078】
インパルノイズ低減部61は、インパルスノイズと判定した注目画素P0の画素値を複数の周辺画素P1の平均値で置き換える。図13はインパルスノイズを含む映像信号F0のインパルノイズ低減処理をする前と後の映像信号F0を説明するための説明図である。
【0079】
図13(A)は、インパルスノイズ低減部61に入力される映像信号F0を示している。図13は、横軸に1ラインの一部分の画素、縦軸に各画素の画素値を示し、各画素値を丸印で示したものである。縦軸の画素値は、画素PBの画素値からのレベル差で示している。また、図13(A)に示す画素PIがインパルスノイズに相当する画素である。
【0080】
図13(A)に示すように、画素PIの画素値と画素PBの画素値とのレベル差の絶対値がεフィルタで用いる閾値εより大きい場合、従来のεフィルタや第1実施形態のノイズ低減装置では、画素PIのインパルスノイズを低減することができない。
【0081】
図13(B)は、インパルスノイズ低減部61にてインパルスノイズ低減処理がされて出力される映像信号F0を示している。図13(B)に示すように、上記のインパルスノイズ低減処理によれば、画素PIのインパルスノイズを低減し、画素PIの画素値と画素PBの画素値のレベル差の絶対値を閾値ε1以下にすることができる。そして、インパルスノイズ低減部61は、インパルスノイズ低減処理を行った映像信号F0を第1実施形態で説明したLPF12及び遅延部13に出力する。本実施形態のノイズ低減装置51のその後の処理は、第1実施形態で説明したノイズ低減装置1と同一である。よって、ノイズ低減装置51によれば、第1実施形態の図10(C)に示すように、左側に示すノイズ成分を低減して平坦部となり、かつ右側のテクスチャ部と平坦部の境界のエッジが明確になる。
【0082】
以上説明したように、映像信号をLPFにより平滑化処理した映像信号と、平滑化処理しない映像信号を用いてノイズ低減処理を行う構成により、映像信号のノイズを低減すると共に、テクスチャ部の平滑化を抑え、映像信号を表示した場合の平坦部とテクスチャ部の境界におけるエッジを明確にすることができる。なお、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。
【符号の説明】
【0083】
1,51 ノイズ低減装置
11 記憶部
12 ローパスフィルタ(LPF)
13 遅延部
14,15 周辺画素取込部
16 相関画素加算部
61 インパルスノイズ低減部
【技術分野】
【0001】
本発明は、映像信号に含まれるノイズ成分を低減するノイズ低減装置及びノイズ低減方法に関する。
【背景技術】
【0002】
映像信号に含まれるノイズ成分を低減する種々の装置が、従来から提案されている。例えば、ノイズ成分を低減する装置の一つにローパスフィルタ(LPF:Low Pass Filter)がある。このLPFは、映像信号を表示した場合の映像画面領域における注目画素の画素値と、その注目画素の周囲に存在する複数の周辺画素の画素値を加算して平均し、その平均値を注目画素の画素値とする装置である。
【0003】
一方、特許文献1には映像信号のノイズ成分を低減する別の装置が記載されている。特許文献1記載のノイズ低減装置の構成では、映像信号を表示した場合の画面領域における注目画素と、その注目画素の周囲に存在する複数の周辺画素を取り込み、注目画素の画素値と各周辺画素の画素値との差分値を算出し、各差分値が所定の閾値以下であるか否かを判定して、相関関係の高い周辺画素を求める。そして、注目画素の画素値と、相関関係の高い周辺画素の画素値のみを加算して平均し、その平均値を注目画素の画素値とするものである。このようなノイズ低減装置は、ε―フィルタとも呼ばれる。
【0004】
また、特許文献2には上記特許文献1記載のε―フィルタを改良したノイズ低減装置が記載されている。特許文献2記載のノイズ低減装置の構成は、特許文献1記載の注目画素の画素値と、その注目画素と相関関係の高い周辺画素の画素値を加算して平均する際に、注目画素の画素値に重み付けをして注目画素の画素値を制御するものである。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平6−086104号公報
【特許文献2】特開2002−259965号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、一般的なLPFによるノイズ低減装置は、映像信号における相関のないランダムなノイズ成分を低減することができるが、同時に画像のエッジ成分も低減するので、画像の輪郭にぼけを生じさせる。
【0007】
上記特許文献1記載のノイズ低減装置は、上記のLPFと比較すると、画像のエッジ成分のぼけを低減することができる。しかし、このようなノイズ低減装置では、相関関係の高い周辺画素を求める際に用いる閾値を小さくすると、ノイズ成分の低減が不十分となる。また、閾値を大きくすると、注目画素に対して、その注目画素の周囲に存在する周辺画素の画素値がある程度変化する部分、いわゆるテクスチャ部までも平滑化するので、画像全体にぼけを生じさせる。
【0008】
さらに、上記特許文献2記載のノイズ低減装置は、注目画素に重み付けを行う構成であり、上記特許文献1記載のノイズ低減装置と比較すると、ノイズ低減効果は高くなる。しかし、注目画素の画素値とその注目画素と相関関係の高い周辺画素の画素値とを加算して平均する構成については特許文献1記載と同様の構成である。そのため、特許文献2記載のノイズ低減装置でも、相関関係の高い周辺画素を求めるときに用いる閾値を小さくすると、ノイズ成分の低減が不十分となる。また、閾値を大きくすると、テクスチャ部も平滑化するので、画像全体にぼけを生じさせる。
【0009】
本発明は、このような課題に鑑みなされたものであり、ランダムノイズを低減し、テクスチャ部の平滑化を抑えて画像の輪郭を明確にする映像信号のノイズ低減装置及びノイズ低減方法を提供することを目的としている。
【課題を解決するための手段】
【0010】
本発明は、上記した従来の技術の課題を解決するため、入力される第1の映像信号を記憶する記憶部(11)と、第1の映像信号のノイズ低減処理の対象とする第1の注目画素のそれぞれに対して、第1の注目画素の画素値と、第1の注目画素の周囲に存在する複数の第1の周辺画素の画素値を加算して平均値を算出し、算出した平均値を第2の映像信号として出力するローパスフィルタ(12)と、第1の映像信号を所定量遅延し、ローパスフィルタより第2の映像信号が出力されるタイミングに同期して、所定量遅延した第1の映像信号を第3の映像信号として出力する遅延部(13)と、第2の映像信号の第2の注目画素と、第2の注目画素の周囲に存在する複数の第2の周辺画素を抽出する第1の周辺画素取込部(14)と、第2の注目画素と同一の画素位置にある第3の映像信号の第3の注目画素と第3の注目画素の周囲に存在する複数の第3の周辺画素を抽出する第2の周辺画素取込部(15)と、第2の周辺画素のそれぞれに対して、第2の周辺画素の画素値と第2の注目画素の画素値との第1の差分値の絶対値を算出し、第2の周辺画素と同一の画素位置にある第3の周辺画素の画素値と第3の注目画素の画素値との第2の差分値の絶対値を算出し、第1の差分値の絶対値が第1の閾値未満であり、かつ、第2の差分値の絶対値が第2の閾値未満である場合に、第3の周辺画素と第3の注目画素の相関が高いと判定し、第1の差分値の絶対値が第1の閾値以上、または、第2の差分値の絶対値が第2の閾値以上である場合に、第3の周辺画素と第3の注目画素の相関がないと判定し、相関が高いと判定した第3の周辺画素の画素値を用いて第3の注目画素の画素値を算出する相関画素加算部(16)とを有することを特徴とするノイズ低減装置(1)を提供する。
また、第1の映像信号の第4の注目画素の周囲に存在する複数の第4の周辺画素のそれぞれに対して、前記第4の周辺画素の画素値から第4の注目画素の画素値を減算し、所定数の前記減算した値が第3の閾値以上である場合に、第4の注目画素の画素値はインパルスノイズであると判定し、インパルスノイズと判定した第4の注目画素の画素値は、少なくとも1つの第4の周辺画素に基いて決定するインパルスノイズ低減部(61)を有することが望ましい。
【0011】
また、本発明は、入力される第1の映像信号のノイズ低減処理の対象とする第1の注目画素のそれぞれに対して、第1の注目画素の画素値と、第1の注目画素の周囲に存在する複数の第1の周辺画素の画素値を加算して平均値を算出し、算出した平均値を第2の映像信号として出力し、第1の映像信号を所定量遅延し、ローパスフィルタより前記第2の映像信号が出力されるタイミングに同期して、所定量遅延した第1の映像信号を第3の映像信号として出力し、第2の映像信号の第2の注目画素と、第2の注目画素の周囲に存在する複数の第2の周辺画素を抽出し、第2の注目画素と同一の画素位置にある第3の映像信号の第3の注目画素と第3の注目画素の周囲に存在する複数の第3の周辺画素を抽出し、第2の周辺画素のそれぞれに対して、第2の周辺画素の画素値と第2の注目画素の画素値との第1の差分値の絶対値を算出し、第2の周辺画素と同一の画素位置にある第3の周辺画素の画素値と第3の注目画素の画素値との第2の差分値の絶対値を算出し、第1の差分値の絶対値が第1の閾値未満であり、かつ、第2の差分値の絶対値が第2の閾値未満である場合に、第3の周辺画素と第3の注目画素の相関が高いと判定し、第1の差分値の絶対値が第1の閾値以上、または、前記第2の差分値が第2の閾値以上である場合に、第3の周辺画素と第3の注目画素の相関がないと判定し、相関が高いと判定した第3の周辺画素の画素値に基いて第3の注目画素の画素値を算出することを特徴とするノイズ低減方法を提供する。
【発明の効果】
【0012】
本発明のノイズ低減装置及びノイズ低減方法によれば、映像信号のノイズを低減すると共に、テクスチャ部の平滑化を抑えることができるので、ぼけの少ない映像表示を実現することが可能となる。
【図面の簡単な説明】
【0013】
【図1】本発明の第1実施形態におけるノイズ低減装置の一例を示すブロック構成図である。
【図2】ノイズ低減装置の記憶部の一例を示す構成図である。
【図3】ノイズ低減装置の記憶部の別の一例を示す構成図である。
【図4】注目画素と周辺画素の関係を説明するための説明図である。
【図5】遅延部とLPFにおける映像信号のタイミングチャートである。
【図6】注目画素と周辺画素の画素位置を説明するための説明図である。
【図7】周辺画素取込部の一例を示す構成図である。
【図8】周辺画素取込部の一例を示す構成図である。
【図9】εフィルタの特性を説明する説明図である。
【図10】従来のεフィルタにより出力される映像信号と、相関画素加算部より出力される映像信号を比較して説明するための説明図である。
【図11】本発明の第1実施形態におけるノイズ低減方法の一例を示すフローチャートである。
【図12】本発明の第2実施形態におけるノイズ低減装置の一例を示すブロック図である。
【図13】インパルスノイズを含む映像信号のインパルノイズ低減処理をする前と後の映像信号を比較して説明するための説明図である。
【発明を実施するための形態】
【0014】
(第1実施形態)
以下、第1実施形態におけるノイズ低減装置及びノイズ低減方法について、添付図面を参照して説明する。図1は、第1実施形態におけるノイズ低減装置1のブロック構成図の一例である。ノイズ低減装置1は、記憶部11、ローパスフィルタ(LPF)12、遅延部13、周辺画素取込部14,15、相関画素加算部16、制御部21、遅延制御部22、LPF制御部23、閾値制御部24を有する。
【0015】
ノイズ低減装置1の記憶部11には、例えば不図示のCMOS(Complementary Metal Oxide Semiconductor)等で構成される撮像部、あるいは、外部の放送局、通信網(インターネットやLAN)などから、映像信号F0が入力される。映像信号F0は、所定の方式により圧縮された映像信号をデコード処理した信号である。
【0016】
図2に示す記憶部11Aは、図1に示す記憶部11の構成図の一例である。記憶部11Aは、複数のラインメモリ11A1〜11A6により構成される。ここで、記憶部11から出力される映像信号F0は、ライン毎の映像信号F0jと表記する場合もある。jは同一フレームの映像信号を表示した場合の画像領域における垂直方向のライン番号を示す整数値である。
【0017】
最初に、ラインメモリ11A1は、記憶部11Aに入力される1ライン分の映像信号F01を記憶する。ラインメモリ11A2は、続いて記憶部11Aに入力される映像信号F01の次の1ライン分の映像信号F02を記憶する。同様にして、ラインメモリ11A3は映像信号F02の次の1ライン分の映像信号F03を、ラインメモリ11A4は映像信号F03の次の1ライン分の映像信号F04を、ラインメモリ11A5は映像信号F04の次の1ライン分の映像信号F05を、ラインメモリ11A6は映像信号F05の次の1ライン分の映像信号F06をそれぞれ記憶する。
【0018】
記憶部11Aは、7ライン目の映像信号F07が入力されると、記憶部11Aのラインメモリで記憶することなく、そのまま映像信号F07として出力する。その際、映像信号F07の出力タイミングと同一のタイミングで、ラインメモリ11A1〜11A6に記憶している各映像信号F01〜F06を出力する。すなわち、記憶部11Aは、垂直方向において同一の画素位置にある画素毎に映像信号F01〜F07を同時に出力する。
【0019】
図3に示す記憶部11Bは、図1に示す記憶部11の構成図の別の一例である。記憶部11Bは、6ライン分を記憶するメモリ11B1と、ライトアドレス制御部11B2と、リードアドレス制御部11B3により構成される。最初に、ライトアドレス制御部11B2は、メモリ11B1のアドレスを制御して、入力される映像信号F0を順次、メモリ11B1に記憶させる。
【0020】
記憶部11Bは、さらに映像信号F0が入力されると、記憶部11Bのメモリ11B1で記憶することなく、そのまま映像信号F07として出力する。その際、リードアドレス制御部11B3は、メモリ11B1の読み出すアドレスを制御して、7ライン目の映像信号F07の出力タイミングと同じタイミングで、メモリ11B1に記憶している6ライン分の各映像信号F01〜F06を同時に出力する。すなわち、記憶部11Bは、垂直方向において同一の画素位置にある画素毎に映像信号F01〜F07を同時に出力する。記憶部11A,11Bは7ライン分の映像信号を同時に出力する構成として説明したが、ライン数等はこれに限定されるものではない。
【0021】
記憶部11(11A,11B)から出力された7ライン分の映像信号F0は、LPF12と、遅延部13に入力される。LPF12は、LPF制御部22により供給される制御信号C1と、記憶部11より入力される映像信号F0のノイズ低減処理の対象とする注目画素の画素値をその注目画素の周囲に存在する周辺画素の画素値に基いて順次平滑化する。
【0022】
制御部21は、LPF制御部22、遅延制御部23、閾値制御部24を制御する。そして、制御部21は、映像信号F0のノイズ成分は多いと判断するときは、LPF制御部22に対して、LPF12での平滑化処理を強くするように制御する。
【0023】
図4は、注目画素P0と周辺画素P1の関係を説明するための説明図である。図4に示すように、黒色表示で示す注目画素P0を中心として、注目画素P0の周囲に存在する白抜表示で示す画素を周辺画素P1とする。例えば、図4の場合、周辺画素P1は、注目画素P0を中心とする水平方向及び垂直方向にそれぞれ7画素分の画素である。すなわち、1つの注目画素P0に対して、周辺画素P1の画素数は7×7−1=48個である。なお、画像の左右あるいは上下の端部にある注目画素P0を対象とする場合は、周辺画素P1の画素数を少なくしてもよい。
【0024】
LPF制御部22は、制御部21より供給される制御信号C1に基いて、LPF12での平滑化処理に使用する周辺画素P1の個数を設定する。周辺画素P1の画素数は、注目画素P0を中心として水平方向にN画素分、垂直方向にM画素分、合計(N×M−1)個である。そして、LPF制御部22は、周辺画素P1の個数を示す制御信号C1をLPF12に供給する。また、映像信号F0を表示した場合の画像の絵柄、あるいは画像のノイズ状態などにより、周辺画素P1の個数を設定してもよい。なお、画像の絵柄、あるいは画像のノイズ状態は、制御部21が判別する構成としてもよい。
【0025】
さらに、LPF制御部22は、ユーザにより入力される情報に基いて、周辺画素P1の個数を設定してもよい。LPF制御部22によって設定される周辺画素P1の個数を多くするほどノイズを低減することはできるが、画像のエッジ部分にぼけを生じさせることにもなるので、画像の絵柄あるいはノイズの状態に応じて適切に設定することが望ましい。なお、第1実施形態では、LPF制御部22は、周辺画素P1の個数を図4に示す48画素分として設定するがこれに限定されるものではない。
【0026】
LPF12は、映像信号F0における注目画素P0の画素値と、図4に示す48画素分の周辺画素P1の各画素値とをすべて加算して平均値を算出する。そして、この平均値を注目画素P0の画素値とし、注目画素P0を順に変更して注目画素P0毎に画素値を算出する。なお、画素値とは、映像信号中の輝度情報、色差情報等を示す値である。
【0027】
LPF12での処理は、一般に平滑化処理と呼ばれるものであり、平滑化処理によって得られる映像信号による画像は、画像全体にノイズが低減される。LPF12は、この平滑化処理によって得られる注目画素P0毎の画素値を映像信号FLとして周辺画素取込部14に出力する。
【0028】
遅延制御部23は、制御部21の制御により、LPF12から周辺画素取込部14に出力される映像信号FLのタイミングに同期して、遅延部13から周辺画素取込部15に対して映像信号FDを出力するように、遅延部13で映像信号F0を遅延させる遅延量を決定する。そして、遅延制御部23は、その遅延量を示す制御信号C2を遅延部13に供給する。
【0029】
遅延部13は、遅延制御部23より供給される制御信号C2に基いて、入力される映像信号F0を所定量遅延し、遅延した映像信号FDを周辺画素取込部15に出力する。
【0030】
図5は、LPF12と遅延部13に入力される映像信号F0、LPF12と遅延部13よりそれぞれ出力される映像信号FL,FDのタイミングチャートを示している。LPF12及び遅延部13には、記憶部11より図5(A)に示す映像信号F0が入力される。LPF12は、制御信号C1に基いて、図5(A)に示す入力映像信号F0を平滑化処理し、映像信号F0の入力タイミングから平滑化処理に要するt時間分遅延して、図5(B)に示す平滑化処理後の映像信号FLを出力する。遅延部13は、制御信号C2に基いて、LPF12からの映像信号FLの出力と同じタイミングとなるように、図5(A)に示す入力映像信号F0をt時間遅延して、図5(C)に示す映像信号FDを出力する。
【0031】
周辺画素取込部14は、LPF12より供給される映像信号FLのノイズ低減処理の対象とする注目画素P0を中心として、その注目画素P0の周囲の水平方向にN画素分、垂直方向にM画素分、すなわち注目画素P0と周辺画素P1を合わせてN×M個の画素を抽出する。なお、第1実施形態では、周辺画素取込部14は、図4で説明したLPF12の場合と同様に、注目画素P0を中心として水平方向及び垂直方向にそれぞれ7画素分の周辺画素P1を抽出するものとして説明する。
【0032】
図6は、周辺画素取込部14で抽出される注目画素P0と周辺画素P1の画素位置の一例を説明するための説明図である。図6に示すように、注目画素P0と周辺画素P1の画素位置(位置座標)はP(x,y)で示される。ここで、x,yは共に1〜7の整数値である。注目画素P0の画素位置は、4ライン目の中央の画素であり画素P(4,4)で示される。周辺画素P1は、画素P(4,4)を除く画素P(1,1)〜P(7,1)、P(1,2)〜(7,2)、P(1,3)〜P(7,3)、P(1,4)〜P(3,4)、P(5,4)〜P(7,4)、P(1,5)〜P(7,5)、P(1,6)〜P(7,6)、P(1,7)〜P(7,7)で示される。
【0033】
図7は、周辺画素取込部14の一例を示す構成図である。周辺画素取込部14は、映像信号FLの7ライン分に対応した入力端子14A0〜14G0を有する。そして、入力端子14A0の後段には6個の遅延器14A1〜14A6を有する。各遅延器14A1〜14A6は、入力される1ライン目の映像信号FLをそれぞれ1画素ずつ遅延する。図7の各遅延器14A1〜14G6の“T”は1画素の遅延を意味するものである。
【0034】
入力端子14A0と同様に、入力端子14B0の後段には6個の遅延器14B1〜14B6、入力端子14C0の後段には6個の遅延器14C1〜14C6、入力端子14D0の後段には6個の遅延器14D1〜14D6、入力端子14E0の後段には6個の遅延器14E1〜14E6、入力端子14F0の後段には6個の遅延器14F1〜14F6、入力端子14G0の後段には6個の遅延器14G1〜14G6を有する。そして、各遅延器14B1〜14B6、14C1〜14C6、14D1〜14D6、14E1〜14E6、14F1〜14F6、14G1〜14G6は、遅延器14A1〜14A6と同様に、それぞれ映像信号FLを1画素ずつ遅延する。
【0035】
ここで、周辺画素取込部14に入力される映像信号FLは、ライン毎の映像信号FLjと表記する場合もある。jは同一フレームの映像信号を表示した場合の画像領域における水平方向のライン番号を示す整数値である。
【0036】
1ライン目の映像信号FL1は、図7に示す周辺画素取込部14の入力端子14A0に対して、画素毎に順次入力される。図6に示す1ライン目の画素P(1,1)の映像信号FL1は、遅延器14A1〜14A6によって6画素分遅延された信号であり、遅延器14A6の出力から抽出される。また、図6に示す1ライン目の画素P(2,1)の映像信号FL1は、遅延器14A1〜14A5によって5画素分遅延された信号であり、遅延器14A5の出力から抽出される。さらに、図6に示す画素P(3,1)の映像信号FL1は、遅延器14A1〜14A4によって4画素分遅延された信号であり、遅延器14A4の出力から抽出される。
【0037】
また、図6に示す1ライン目の画素P(4,1)の映像信号FL1は、遅延器14A1〜14A3によって3画素分遅延された信号であり、遅延器14A3の出力から抽出される。さらに、図6に示す1ライン目の画素P(5,1)の映像信号FL1は、遅延器14A1,14A2によって2画素分遅延された信号であり、遅延器14A2の出力から抽出される。また、図6に示す1ライン目の画素P(6,1)の映像信号FL1は、遅延器14A1によって1画素分遅延された信号であり、遅延器14A1の出力から抽出される。さらに、図6に示す1ライン目の画素P(7,1)の映像信号FL1は、遅延されることなく、入力端子14A0の出力から抽出される。
【0038】
1ライン目の映像信号FL1と同様に、2ライン目〜7ライン目の映像信号FL2〜FL7についても、図7に示す周辺画素取込部14の入力端子14B0〜14G0にそれぞれ入力される。そして、周辺画素取込部14は、1ライン目の映像信号FL1と同様に、各入力端子14B0〜14G0及び各遅延器14B1〜14G6の出力から、図6に示す各画素P(x,y)の映像信号FLを抽出する。例えば、図6に示す注目画素P0である4ライン目の画素P(4,4)の映像信号FL4は、遅延器14D1〜14D3によって3画素分遅延された信号であり、遅延器14D3の出力から抽出されるものである。
【0039】
そして、周辺画素取込部14は、各入力端子14A0〜14G0及び各遅延器14A1〜14G1から出力される画素毎の映像信号FLを相関画素加算部16に出力する。
【0040】
一方、遅延部13より出力される映像信号FDは、周辺画素取込部15に入力される。周辺画素取込部15は、映像信号FDにおいて、周辺画素取込部14で映像信号FLの注目画素P0とした同一の画素位置を注目画素P0とする。そして、周辺画素取込部14と同様に、その注目画素P0を中心として、注目画素P0の周囲の水平方向にN画素分、垂直方向にM画素分、すなわち注目画素P0と周辺画素P1を合わせてN×M個の画素を抽出する。
【0041】
図8は、周辺画素取込部15の一例を示す構成図である。周辺画素取込部15は、映像信号FDの7ライン分に対応した入力端子15A0〜15G0を有する。そして、入力端子15A0の後段には6個の遅延器15A1〜15A6を有する。各遅延器15A1〜15A6は、入力される1ライン目の映像信号FDをそれぞれ1画素ずつ遅延する。図8の各遅延器14A1〜14G6の“T”は、図7と同様に1画素の遅延を意味するものである。
【0042】
入力端子15A0と同様に、入力端子15B0の後段には6個の遅延器15B1〜15B6、入力端子15C0の後段には6個の遅延器15C1〜15C6、入力端子15D0の後段には6個の遅延器15D1〜15D6、入力端子15E0の後段には6個の遅延器15E1〜15E6、入力端子15F0の後段には6個の遅延器15F1〜15F6、入力端子15G0の後段には6個の遅延器15G1〜15G6を有する。そして、各遅延器15B1〜15B6、15C1〜15C6、15D1〜15D6、15E1〜15E6は、15F1〜15F6、15G1〜15G6は、遅延器15A1〜15A6と同様に、それぞれ映像信号FDを1画素ずつ遅延する。
【0043】
ここで、周辺画素取込部15に入力される映像信号FDは、ライン毎の映像信号FDjと表記する場合もある。jは同一フレームの映像信号を表示した場合の画像領域における水平方向のライン番号を示す整数値である。
【0044】
1ライン目の映像信号FD1は、図8に示す周辺画素取込部15の入力端子15A0に対して、画素毎に順次入力される。図6に示す1ライン目の画素P(1,1)の映像信号FD1は、遅延器15A1〜15A6によって6画素分遅延された信号であり、遅延器15A6の出力から抽出される。また、図6に示す1ライン目の画素P(2,1)の映像信号FD1は、遅延器15A1〜15A5によって5画素分遅延された信号であり、遅延器15A5の出力から抽出される。さらに、図6に示す1ライン目の画素P(3,1)の映像信号FD1は、遅延器15A1〜15A4によって4画素分遅延された信号であり、遅延器15A4の出力から抽出される。
【0045】
また、図6に示す1ライン目の画素P(4,1)の映像信号FD1は、遅延器15A1〜15A3によって3画素分遅延された信号であり、遅延器15A3の出力から抽出される。さらに、図6に示す1ライン目の画素P(5,1)の映像信号FD1は、遅延器15A1〜15A2によって2画素分遅延された信号であり、遅延器15A2の出力から抽出される。また、図6に示す1ライン目の画素P(6,1)の映像信号FD1は、遅延器15A1によって1画素分遅延された信号であり、遅延器15A1の出力から抽出される。さらに、図6に示す1ライン目の画素P(7,1)の映像信号FDは、遅延されることなく、入力端子15A0の出力から抽出される。
【0046】
1ライン目の映像信号FD1と同様に、2ライン目〜7ライン目の映像信号FD2〜FD7についても、図8に示す周辺画素取込部15の入力端子15B0〜15G0にそれぞれ入力される。そして、周辺画素取込部15は、1ライン目の映像信号FD1と同様に、各入力端子15B0〜15G0及び各遅延器15B1〜15G6の出力から、図6に示す各画素P(i,j)の映像信号FDを抽出する。例えば、図6に示す注目画素P0である4ライン目の画素P(4,4)の映像信号FD4は、遅延器15D1〜15D3によって3画素分遅延され、遅延器15D3の出力から抽出されるものである。
【0047】
そして、周辺画素取込部15は、各入力端子15A0〜15G0及び各遅延器15A1〜15G6から出力される画素毎の映像信号FDを相関画素加算部16に出力する。
【0048】
以上説明したように、本実施形態では図8に示す周辺画素取込部15と図7に示す周辺画素取込部14は同一の構成である。また、図8に示す周辺画素取込部15の各入力端子15A0〜15G0及び各遅延器15A1〜15G6のそれぞれから相関画素加算部16に出力する映像信号FDと、図7に示す周辺画素取込部14の各入力端子14A0〜14G0及び各遅延器14A1〜14G6のそれぞれから相関画素加算部16に出力する映像信号FLは、それぞれ同一の画素位置の映像信号に対応している。
【0049】
例えば、入力端子15A0から相関画素加算部16に出力する映像信号FDと、入力端子14A0から相関画素加算部16に出力する映像信号FLは、それぞれ画素P(7,1)の映像信号であり、遅延器15A1から相関画素加算部16に出力する映像信号FDと、入力端子14A1から相関画素加算部16に出力する映像信号FLは、それぞれ画素P(6,1)の映像信号である。なお、本実施形態では、周辺画素取込部14と周辺画素取込部15とが同一の構成として説明したが、別の構成とすることも可能である。
【0050】
閾値制御部24は、制御部21より供給される不図示の自動利得制御部(AGC:Auto Gain Control)で用いるゲインの値に基いて、後述する相関画素加算部16で用いる閾値ε1,ε2を設定する。なお、制御部21が判別する画像の絵柄、あるいは画像のノイズ状態によって、閾値ε1,ε2を設定してもよい。また、ユーザにより入力される情報に基いて、閾値ε1,ε2を設定してもよい。そして、閾値制御部24は、相関画素加算部16に閾値ε1,ε2を示す制御信号C3を供給する。
【0051】
相関画素加算部16は、LPF12によって平滑化処理され周辺画素取込部14により取り込まれた周辺画素P1毎に、映像信号FLにおける周辺画素P1の画素値から注目画素P0の画素値を減算して差分値D1を算出する。
【0052】
また、相関画素加算部16は、周辺画素取込部15により抽出された映像信号FDについて、前述の差分値D1を算出した周辺画素P1と同一の画素位置にある周辺画素P1の画素値から注目画素P0の画素値を減算して差分値D2を算出する。
【0053】
そして、相関画素加算部16は、閾値制御部23より供給される制御信号C3に基いて、差分値D1の絶対値が予め定められる閾値ε1未満であるか否か、及び差分値D2の絶対値が予め定められる閾値ε2未満であるか否かを判定する。
【0054】
相関画素加算部16は、周辺画素取込部14,15のそれぞれの同一の画素位置にある周辺画素P1について、差分値D1の絶対値が閾値ε1未満であり、かつ、差分値D2の絶対値が閾値ε2未満である場合、その周辺画素P1は注目画素P0と相関関係が高いと判定する。一方、相関画素加算部16は、上記条件に当てはまらない場合、すなわち、差分値D1の絶対値が閾値ε1以上、または、差分値D2の絶対値が閾値ε2以上である場合、その周辺画素P1は注目画素P0と相関関係がないと判定する。相関画素加算部16は、この差分値D1,D2の算出と相関関係の判定を周辺画素P1毎に繰り返し行う。
【0055】
相関画素加算部16は、周辺画素取込部15より入力されるすべての映像信号FDにおいて、相関関係の高いと判定した周辺画素P1の画素値と注目画素P0の画素値を加算して合計値Vを算出する。その合計値Vを算出する際に加算した注目画素P0と周辺画素P1の合計の画素数で除算して平均値を算出し、その平均値を注目画素P0の画素値とする。なお、相関画素加算部16は、相関関係の高いと判定した周辺画素P1について算出した差分値D2を加算して平均値を算出する構成でもよい。
【0056】
ここで、各画素Pの画素位置をP(i,j)、注目画素P0の画素位置をP(cx,cy)、相関画素換算部16で算出する注目画素P0の画素値をV(cx,cy)とする。上記説明した相関画素加算部16における注目画素P(cx,cy)の画素値V(cx,cy)の算出は、以下の数1式を用いて表すこともできる。
【0057】
【数1】
ただし、a(i,j)はP(i,j)毎に設定する係数、FD(i,j)は映像信号FDにおける画素P(i,j)の画素値、FL(i,j)は映像信号FLにおける画素P(i,j)の画素値、Nは水平方向の周辺画素P1の画素数、Mは垂直方向の周辺画素P1の画素数である。また、関数G[FD(i,j),FL(i,j)]は、以下の数2式を用いて表される。
【数2】
第1実施形態では、係数a(i,j)はすべてのP(i,j)に対してすべて1とするが、例えば、注目画素P0と周辺画素P1で値を変えるなど種々の変更が可能である。
【0058】
図9は、εフィルタの特性を説明する説明図である。図9に示すように、εフィルタは、入力信号(FD(i,j)−FD(cx,cy))の絶対値が閾値ε未満の場合に出力信号をG[FD(i,j)−FD(cx、cy)]、入力信号(FD(i,j)−FD(cx,cy))の絶対値が閾値ε以上の場合に、出力信号を0とするものである。
【0059】
数1,数2式に示す関数G[FD(i,j),FL(i,j)]は、図9に示すεフィルタを2種類の映像信号FD,FLと2種類の閾値ε1、ε2に適用したものである。よって、関数G[FD(i,j),FL(i,j)]の基本的な特性は
、図9に示すεフィルタの特性と同様である。
【0060】
数1,数2式によれば、映像信号FLにおける周辺画素P(i,j)の画素値FL(i,j)と注目画素P(cx,cy)の画素値FL(cx,cy)差分値の絶対値が閾値ε1未満であり、かつ、映像信号FDにおける周辺画素P(i,j)の画素値FD(i,j)と注目画素P(cx,cy)の画素値FD(cx,cy)との差分値の絶対値が閾値ε2未満のときに、注目画素P(cx,cy)の画素値FD(cx,cy)に周辺画素P(i,j)の画素値FD(i,j)を周辺画素P(cx,cy)毎に順次加算する。
【0061】
さらに、注目画素P(cx,cy)の画素値FD(cx,cy)と数1,数2式を満たす周辺画素P(i,j)の画素値FD(i,j)の合計値V(cx,cy)を算出する。合計値V(cx,cy)をその合計値Vを算出する際に加算した注目画素P(cx,cy)と周辺画素P(cx,cy)の合計の画素数で除算して平均値を算出し、その平均値を注目画素P(cx,cy)の画素値FD(cx,cy)とする。
【0062】
相関画素加算部16は、以上説明したように注目画素P(cx,cy)毎に算出した画素値を映像信号F1として出力する。この映像信号F1が第1実施形態においてノイズ低減した映像信号となる。
【0063】
図10は、従来のεフィルタにより出力される映像信号と、相関画素加算部16より出力される映像信号F1を比較して説明するための説明図である。図10
は、横軸に1ラインの一部分の画素、縦軸に各画素の画素値を示し、各画素値を丸印で示したものである。縦軸の画素値は、図10に示す画素PBの画素値からのレベル差で示している。
【0064】
図10(A)は、ノイズ低減装置1に入力される映像信号F0である。図10(A)の右側に示すテクスチャ部は、周辺の他の画素と比べて画素値の高い画像の絵柄(模様)に相当する。
【0065】
図10(B)は、図10(A)に示す映像信号F0をLPFにより周辺画素P1をすべて加算して平均した映像信号、すなわち平滑化処理した映像信号である。図10(B)に示すように、LPFより出力された映像信号では、テクスチャ部の左側に示すエッジ成分が低減され、この映像信号による画像のエッジはぼけてしまう。
【0066】
また、図10(B)は、図10(A)に示すε2を閾値とする場合における従来のεフィルタによる映像信号でもある。図10(A)に示すように、画素PBを注目画素P0とする場合、画素PBと周辺画素P1の画素値のレベル差の絶対値がすべて閾値ε2未満である。そのため、注目画素P0を順次変えて映像信号F0のノイズ低減処理を行うと、図10(B)に示す映像信号となる。
【0067】
さらに、図10(C)は、図10(A)に示す映像信号F0を本実施形態のノイズ低減装置1によりノイズ低減処理した映像信号F1である。ここで、図10(A)に示す映像信号が遅延部13により所定量遅延されて周辺画素取込部15より出力される映像信号FD、図10(B)に示す映像信号がLPF12で平滑化処理されて周辺画素取込部14より出力される映像信号FLと考えることができる。そして、注目画素P0毎に、図10(A)に示す映像信号FDにおける周辺画素P1の画素値と注目画素P0の画素値の差分値D2の絶対値が図10(A)に示す閾値ε2未満であり、図10(B)に示す映像信号FLにおける周辺画素P1の画素値と注目画素P0の画素値の差分値D1の絶対値が図10(B)に示す閾値ε1未満である場合に、注目画素P0と周辺画素P1の相関関係が高いと判定してノイズ低減処理を行うと、図10(C)に示す映像信号となる。
【0068】
図10(C)に示すように、第1実施形態のノイズ低減装置1によれば、図10(A)の左側に示すノイズ成分を低減して平坦部となり、かつ右側のテクスチャ部と平坦部の境界のエッジが明確になる。
【0069】
次に、ノイズ低減装置1を用いたノイズ低減方法について説明する。図11は、ノイズ低減方法を説明するフローチャートである。
【0070】
ノイズ低減装置1の記憶部11は、入力される複数ライン分の映像信号を記憶し、複数ライン分の映像信号F0をライン毎に同時に出力する(ステップS01)。LPF12は、映像信号F0を平滑化処理して映像信号FLを出力する。また、遅延部13は、映像信号F0を所定量遅延して、LPF12より出力される映像信号に同期して出力する(ステップS02)。
【0071】
そして、周辺画素取込部14は、LPF12より出力された映像信号FLにおける注目画素P0と所定数の周辺画素P1を抽出する。また、周辺画素取込部15は、遅延部13より出力された映像信号FDにおける注目画素P0と所定数の周辺画素P1を抽出する(ステップS03)。
【0072】
続いて、相関画素加算部16は、差分値D1,D2を算出していない周辺画素P1があるか否かを判定する(ステップS04)。ステップS04で差分値D1,D2を算出していない周辺画素P1がある場合(ステップS04,Y)、周辺画素取込部14より出力される映像信号FLの周辺画素P1と注目画素P0の差分値D1を算出する。また、周辺画素取込部15より出力される映像信号FDの周辺画素P1と注目画素P0の差分値D2を算出する(ステップS05)。
【0073】
そして、相関画素加算部16は、差分値D1の絶対値が閾値ε1未満であり、かつ、差分値D2の絶対値が閾値ε2未満であるかを判定する(ステップS06)。ステップS06で、差分値D1の絶対値が閾値ε1未満であり、かつ、差分値D2の絶対値が閾値ε2未満である場合(ステップS06,Y)、注目画素P0と周辺画素P1の相関関係が高いと判定し、合計値Vに現在対象としている映像信号FDにおける周辺画素P1の画素値を加算して(ステップS07)、ステップS04に戻る。合計値Vの初期値は、映像信号FDにおける注目画素P0の画素値である。また、ステップS06で、差分値D1の絶対値が閾値ε1以上、または、差分値D2の絶対値が閾値ε2以上である場合(ステップS06,N)、注目画素P0と周辺画素P1の相関関係はないと判定し、ステップS04に戻る。ステップS04で、差分値D1,D2を算出していない周辺画素P1がある場合には、以降ステップS05〜S07の処理を繰り返す。
【0074】
一方、ステップS04で、差分値D1,D2を算出していない周辺画素P1がない場合(ステップS04,N)、合計値VをステップS07で加算した回数に1を加えた数で除算して周辺画素P1の平均値を求め、その平均値を注目画素P0の画素値とする(ステップS08)。なお、注目画素P0の画素値は、相関関係の高い周辺画素P1と注目画素P0の差分値を加算することによって算出してよい。
【0075】
以上説明したように、ノイズ低減装置1を用いたノイズ低減方法によっても、図10(C)に示すように、映像信号のノイズを低減すると共に、平坦部とテクスチャ部の境界のエッジを明確にすることができる。
【0076】
(第2実施形態)
図12は、本発明の第2実施形態におけるノイズ低減装置の一例を示すブロック図である。図12において、インパルスノイズ低減部61が図1と異なる構成であり、その他の図1と同様の構成については同一の符号を付して説明を省略する。
【0077】
インパルスノイズ低減部61は、記憶部11より入力される映像信号F0における注目画素P0の画素値から、注目画素P0の周囲に存在する各周辺画素P1の画素値を減算する。そして、周辺画素P1毎に周辺画素P1と注目画素P0との減算値を算出する。所定数の減算値が予め定められる閾値ε3以上である場合に、注目画素P0の画素値はインパルスノイズであると判定する。なお、閾値ε3以上となる1つの減算値が得られた段階でインパルスノイズと判定する構成でもよい。また、周辺画素P1の個数は、例えば注目画素を中心として垂直方向に3画素分、水平方向に3画素分、注目画素P0を含めて合計9個とする。
【0078】
インパルノイズ低減部61は、インパルスノイズと判定した注目画素P0の画素値を複数の周辺画素P1の平均値で置き換える。図13はインパルスノイズを含む映像信号F0のインパルノイズ低減処理をする前と後の映像信号F0を説明するための説明図である。
【0079】
図13(A)は、インパルスノイズ低減部61に入力される映像信号F0を示している。図13は、横軸に1ラインの一部分の画素、縦軸に各画素の画素値を示し、各画素値を丸印で示したものである。縦軸の画素値は、画素PBの画素値からのレベル差で示している。また、図13(A)に示す画素PIがインパルスノイズに相当する画素である。
【0080】
図13(A)に示すように、画素PIの画素値と画素PBの画素値とのレベル差の絶対値がεフィルタで用いる閾値εより大きい場合、従来のεフィルタや第1実施形態のノイズ低減装置では、画素PIのインパルスノイズを低減することができない。
【0081】
図13(B)は、インパルスノイズ低減部61にてインパルスノイズ低減処理がされて出力される映像信号F0を示している。図13(B)に示すように、上記のインパルスノイズ低減処理によれば、画素PIのインパルスノイズを低減し、画素PIの画素値と画素PBの画素値のレベル差の絶対値を閾値ε1以下にすることができる。そして、インパルスノイズ低減部61は、インパルスノイズ低減処理を行った映像信号F0を第1実施形態で説明したLPF12及び遅延部13に出力する。本実施形態のノイズ低減装置51のその後の処理は、第1実施形態で説明したノイズ低減装置1と同一である。よって、ノイズ低減装置51によれば、第1実施形態の図10(C)に示すように、左側に示すノイズ成分を低減して平坦部となり、かつ右側のテクスチャ部と平坦部の境界のエッジが明確になる。
【0082】
以上説明したように、映像信号をLPFにより平滑化処理した映像信号と、平滑化処理しない映像信号を用いてノイズ低減処理を行う構成により、映像信号のノイズを低減すると共に、テクスチャ部の平滑化を抑え、映像信号を表示した場合の平坦部とテクスチャ部の境界におけるエッジを明確にすることができる。なお、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。
【符号の説明】
【0083】
1,51 ノイズ低減装置
11 記憶部
12 ローパスフィルタ(LPF)
13 遅延部
14,15 周辺画素取込部
16 相関画素加算部
61 インパルスノイズ低減部
【特許請求の範囲】
【請求項1】
入力される第1の映像信号を記憶する記憶部と、
前記第1の映像信号のノイズ低減処理の対象とする第1の注目画素のそれぞれに対して、前記第1の注目画素の画素値と、前記第1の注目画素の周囲に存在する複数の第1の周辺画素の画素値を加算して平均値を算出し、算出した前記平均値を第2の映像信号として出力するローパスフィルタと、
前記第1の映像信号を所定量遅延し、前記ローパスフィルタより前記第2の映像信号が出力されるタイミングに同期して、前記所定量遅延した前記第1の映像信号を第3の映像信号として出力する遅延部と、
前記第2の映像信号の第2の注目画素と、前記第2の注目画素の周囲に存在する複数の第2の周辺画素を抽出する第1の周辺画素取込部と、
前記第2の注目画素と同一の画素位置にある前記第3の映像信号の第3の注目画素と前記第3の注目画素の周囲に存在する複数の第3の周辺画素を抽出する第2の周辺画素取込部と、
前記第2の周辺画素のそれぞれに対して、前記第2の周辺画素の画素値と前記第2の注目画素の画素値との第1の差分値を算出し、前記第2の周辺画素と同一の画素位置にある前記第3の周辺画素の画素値と前記第3の注目画素の画素値との第2の差分値を算出し、前記第1の差分値の絶対値が第1の閾値未満であり、かつ、前記第2の差分値の絶対値が第2の閾値未満である場合に、前記第3の周辺画素と前記第3の注目画素の相関が高いと判定し、前記第1の差分値の絶対値が第1の閾値以上、または、前記第2の差分値の絶対値が第2の閾値以上である場合に、前記第3の周辺画素と前記第3の注目画素の相関がないと判定し、相関が高いと判定した前記第3の周辺画素の画素値を用いて前記第3の注目画素の画素値を算出する相関画素加算部と
を有することを特徴とするノイズ低減装置。
【請求項2】
前記第1の映像信号の第4の注目画素の周囲に存在する複数の第4の周辺画素のそれぞれに対して、前記第4の周辺画素の画素値から前記第4の注目画素の画素値を減算し、所定数の前記減算した値が第3の閾値以上である場合に、前記第4の注目画素の画素値はインパルスノイズであると判定し、前記インパルスノイズと判定した前記第4の注目画素の画素値は、少なくとも1つの前記第4の周辺画素に基いて決定するインパルスノイズ低減部と
を有することを特徴とする請求項1に記載のノイズ低減装置。
【請求項3】
入力される第1の映像信号のノイズ低減処理の対象とする第1の注目画素のそれぞれに対して、前記第1の注目画素の画素値と、前記第1の注目画素の周囲に存在する複数の第1の周辺画素の画素値を加算して平均値を算出し、算出した前記平均値を第2の映像信号として出力し、
前記第1の映像信号を所定量遅延し、前記ローパスフィルタより前記第2の映像信号が出力されるタイミングに同期して、前記所定量遅延した前記第1の映像信号を第3の映像信号として出力し、
前記第2の映像信号の第2の注目画素と、前記第2の注目画素の周囲に存在する複数の第2の周辺画素を抽出し、
前記第2の注目画素と同一の画素位置にある前記第3の映像信号の第3の注目画素と前記第3の注目画素の周囲に存在する複数の第3の周辺画素を抽出し、
前記第2の周辺画素のそれぞれに対して、前記第2の周辺画素の画素値と前記第2の注目画素の画素値との第1の差分値を算出し、前記第2の周辺画素と同一の画素位置にある前記第3の周辺画素の画素値と前記第3の注目画素の画素値との第2の差分値を算出し、前記第1の差分値の絶対値が第1の閾値未満であり、かつ、前記第2の差分値の絶対値が第2の閾値未満である場合に、前記第3の周辺画素と前記第3の注目画素の相関が高いと判定し、前記第1の差分値の絶対値が第1の閾値以上、または、前記第2の差分値の絶対値が第2の閾値以上である場合に、前記第3の周辺画素と前記第3の注目画素の相関がないと判定し、相関が高いと判定した前記第3の周辺画素の画素値に基いて前記第3の注目画素の画素値を算出する
ことを特徴とするノイズ低減方法。
【請求項1】
入力される第1の映像信号を記憶する記憶部と、
前記第1の映像信号のノイズ低減処理の対象とする第1の注目画素のそれぞれに対して、前記第1の注目画素の画素値と、前記第1の注目画素の周囲に存在する複数の第1の周辺画素の画素値を加算して平均値を算出し、算出した前記平均値を第2の映像信号として出力するローパスフィルタと、
前記第1の映像信号を所定量遅延し、前記ローパスフィルタより前記第2の映像信号が出力されるタイミングに同期して、前記所定量遅延した前記第1の映像信号を第3の映像信号として出力する遅延部と、
前記第2の映像信号の第2の注目画素と、前記第2の注目画素の周囲に存在する複数の第2の周辺画素を抽出する第1の周辺画素取込部と、
前記第2の注目画素と同一の画素位置にある前記第3の映像信号の第3の注目画素と前記第3の注目画素の周囲に存在する複数の第3の周辺画素を抽出する第2の周辺画素取込部と、
前記第2の周辺画素のそれぞれに対して、前記第2の周辺画素の画素値と前記第2の注目画素の画素値との第1の差分値を算出し、前記第2の周辺画素と同一の画素位置にある前記第3の周辺画素の画素値と前記第3の注目画素の画素値との第2の差分値を算出し、前記第1の差分値の絶対値が第1の閾値未満であり、かつ、前記第2の差分値の絶対値が第2の閾値未満である場合に、前記第3の周辺画素と前記第3の注目画素の相関が高いと判定し、前記第1の差分値の絶対値が第1の閾値以上、または、前記第2の差分値の絶対値が第2の閾値以上である場合に、前記第3の周辺画素と前記第3の注目画素の相関がないと判定し、相関が高いと判定した前記第3の周辺画素の画素値を用いて前記第3の注目画素の画素値を算出する相関画素加算部と
を有することを特徴とするノイズ低減装置。
【請求項2】
前記第1の映像信号の第4の注目画素の周囲に存在する複数の第4の周辺画素のそれぞれに対して、前記第4の周辺画素の画素値から前記第4の注目画素の画素値を減算し、所定数の前記減算した値が第3の閾値以上である場合に、前記第4の注目画素の画素値はインパルスノイズであると判定し、前記インパルスノイズと判定した前記第4の注目画素の画素値は、少なくとも1つの前記第4の周辺画素に基いて決定するインパルスノイズ低減部と
を有することを特徴とする請求項1に記載のノイズ低減装置。
【請求項3】
入力される第1の映像信号のノイズ低減処理の対象とする第1の注目画素のそれぞれに対して、前記第1の注目画素の画素値と、前記第1の注目画素の周囲に存在する複数の第1の周辺画素の画素値を加算して平均値を算出し、算出した前記平均値を第2の映像信号として出力し、
前記第1の映像信号を所定量遅延し、前記ローパスフィルタより前記第2の映像信号が出力されるタイミングに同期して、前記所定量遅延した前記第1の映像信号を第3の映像信号として出力し、
前記第2の映像信号の第2の注目画素と、前記第2の注目画素の周囲に存在する複数の第2の周辺画素を抽出し、
前記第2の注目画素と同一の画素位置にある前記第3の映像信号の第3の注目画素と前記第3の注目画素の周囲に存在する複数の第3の周辺画素を抽出し、
前記第2の周辺画素のそれぞれに対して、前記第2の周辺画素の画素値と前記第2の注目画素の画素値との第1の差分値を算出し、前記第2の周辺画素と同一の画素位置にある前記第3の周辺画素の画素値と前記第3の注目画素の画素値との第2の差分値を算出し、前記第1の差分値の絶対値が第1の閾値未満であり、かつ、前記第2の差分値の絶対値が第2の閾値未満である場合に、前記第3の周辺画素と前記第3の注目画素の相関が高いと判定し、前記第1の差分値の絶対値が第1の閾値以上、または、前記第2の差分値の絶対値が第2の閾値以上である場合に、前記第3の周辺画素と前記第3の注目画素の相関がないと判定し、相関が高いと判定した前記第3の周辺画素の画素値に基いて前記第3の注目画素の画素値を算出する
ことを特徴とするノイズ低減方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2011−223235(P2011−223235A)
【公開日】平成23年11月4日(2011.11.4)
【国際特許分類】
【出願番号】特願2010−89301(P2010−89301)
【出願日】平成22年4月8日(2010.4.8)
【出願人】(000004329)日本ビクター株式会社 (3,896)
【Fターム(参考)】
【公開日】平成23年11月4日(2011.11.4)
【国際特許分類】
【出願日】平成22年4月8日(2010.4.8)
【出願人】(000004329)日本ビクター株式会社 (3,896)
【Fターム(参考)】
[ Back to top ]