ノイズ除去装置及びノイズ除去方法

【課題】画像に含まれるノイズを精度よく除去する。
【解決手段】ノイズ除去装置１０は、画像に含まれる奇数×奇数画素の真ん中の画素である注目画素とそれ以外の画素である参照画素との差分絶対値を計算する差分絶対値計算部１３と、差分絶対値計算部１３により計算された差分絶対値が閾値以上の場合、その参照画素を平均化の対象外として決定し、差分絶対値計算部１３により計算された差分絶対値が閾値未満の場合、その参照画素を平均化の対象として決定する決定部１４と、決定部１４により平均化の対象として決定された参照画素と注目画素とを対象として画素値の平均値を計算する平均値計算部１５と、平均値計算部１５により計算された平均値に注目画素の画素値を置き換える置換部１６とを備える。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に含まれるノイズを除去するノイズ除去装置及びノイズ除去方法に関し、特に、モスキートノイズを除去する技術に関する。
【背景技術】
【０００２】
デジタル画像圧縮においてエッジや色の変化の激しい部分でノイズが発生することが知られている。このノイズは、蚊の大群がまとわりついたように見えるためモスキートノイズと呼ばれる。従来より、モスキートノイズを除去する方法が幾つか提案されている。
【０００３】
たとえば、図１６（Ａ）に示すように、5×5画素の25画素を対象として画素値を平均化する方法がある。画素の値は空（151）、モスキートノイズ（121）、電線（70）、鳥（100）とし、空にモスキートノイズがあるものと仮定する。注目画素は5×5画素の真ん中の画素（121）である。この場合、注目画素値121を25画素の平均に置換える。具体的には、(151×9+121×3+70×11+100×2)/25=107であるので、図１６（Ｂ）に示すように、注目画素値121を107に置き換えることになる。このような平均化を画像に含まれる全画素（左上の画素から右下の画素まで）について繰り返す。
【０００４】
また、エッジ情報を読込み、エッジである画素値のフィルタ係数を減少させ、減少させたフィルタ係数分を基準画素のフィルタ係数に加算し、平均化を行う技術もある（特許文献１参照）。ここでも、図１６（Ａ）と同じ25画素を例示して説明する。この場合、図１７（Ａ）に示すフィルタ係数を適用すると、(151×9+121×14+100×2)/25=130であるので、図１７（Ｂ）に示すように、注目画素値121を130に置き換えることになる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−３１０６３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、注目画素値121は空(151)に近い画素値になってほしいところ、25画素を単純に平均化する従来技術によると、注目画素値121は107になり、期待した画素値にならない。また、特許文献１に開示される従来技術によると、注目画素値121は130になり、いくらか期待した画素値に近づくものの、十分であるとは言い難い。
【０００７】
本発明は上記課題を解決するためになされたものであり、その目的は、画像に含まれるノイズを精度よく除去することのできるノイズ除去装置及びノイズ除去方法を提供することである。
【課題を解決するための手段】
【０００８】
本発明の第１の特徴は、画像に含まれるノイズを除去するノイズ除去装置であって、画像に含まれる奇数×奇数画素の真ん中の画素である注目画素とそれ以外の画素である参照画素との差分絶対値を計算する差分絶対値計算部と、前記差分絶対値計算部により計算された差分絶対値が閾値以上の場合、その参照画素を平均化の対象外として決定し、前記差分絶対値計算部により計算された差分絶対値が閾値未満の場合、その参照画素を平均化の対象として決定する決定部と、前記決定部により平均化の対象として決定された参照画素と注目画素とを対象として画素値の平均値を計算する平均値計算部と、前記平均値計算部により計算された平均値に注目画素の画素値を置き換える置換部とを備えたことである。
【０００９】
本発明の第２の特徴は、前記第１の特徴を備えたノイズ除去装置において、前記決定部が、前記奇数×奇数画素において外側の参照画素に接している内側の参照画素が全て平均化の対象外である場合、その外側の参照画素を平均化の対象外として決定することである。
【００１０】
本発明の第３の特徴は、前記第１の特徴を備えたノイズ除去装置において、前記差分絶対値計算部が、RとGとBの差分絶対値のうちの最大値を計算し、前記決定部が、前記最大値が閾値以上の場合、その参照画素を平均化の対象外として決定し、前記最大値が閾値未満の場合、その参照画素を平均化の対象として決定し、前記平均値計算部が、RGBそれぞれについて画素値の平均値を計算し、前記置換部が、RGBそれぞれについて注目画素の画素値を前記平均値に置き換えることである。
【００１１】
本発明の第４の特徴は、画像に含まれるノイズを除去するノイズ除去方法であって、画像に含まれる奇数×奇数画素の真ん中の画素である注目画素とそれ以外の画素である参照画素との差分絶対値を計算する差分絶対値計算ステップと、前記差分絶対値計算ステップで計算された差分絶対値が閾値以上の場合、その参照画素を平均化の対象外として決定し、前記差分絶対値計算ステップで計算された差分絶対値が閾値未満の場合、その参照画素を平均化の対象として決定する決定ステップと、前記決定ステップで平均化の対象として決定された参照画素と注目画素とを対象として画素値の平均値を計算する平均値計算ステップと、前記平均値計算ステップで計算された平均値に注目画素の画素値を置き換える置換ステップとを備えたことである。
【発明の効果】
【００１２】
本発明によれば、画像に含まれるノイズを精度よく除去することのできるノイズ除去装置及びノイズ除去方法を提供することが可能である。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施形態におけるノイズ除去装置の構成図である。
【図２】本発明の第１の実施形態におけるノイズ除去動作を示すフローチャートである。
【図３】本発明の第１の実施形態における5×5画素を示す図である。
【図４】本発明の第２の実施形態における3×3画素を示す図である。
【図５】本発明の第２の実施形態における3×3画素を示す図である。
【図６】本発明の第２の実施形態における3×3画素を示す図である。
【図７】本発明の第２の実施形態における3×3画素を示す図である。
【図８】本発明の第２の実施形態における3×3画素を示す図である。
【図９】本発明の第３の実施形態における5×5画素を示す図である。
【図１０】本発明の第３の実施形態における5×5画素を示す図である。
【図１１】本発明の第３の実施形態における5×5画素を示す図である。
【図１２】本発明の第３の実施形態における5×5画素を示す図である。
【図１３】本発明の第３の実施形態における5×5画素を示す図である。
【図１４】本発明の第３の実施形態における外側と内側の参照画素の対応を示す図である。
【図１５】本発明の第３の実施形態における5×5画素を示す図である。
【図１６】従来技術を説明するための図である。
【図１７】従来技術を説明するための図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について図面を参照して詳細に説明する。
【００１５】
（第１の実施形態）
図１は、本発明の第１の実施形態におけるノイズ除去装置１０の構成図である。このノイズ除去装置１０は、画像に含まれるモスキートノイズを除去する装置であって、図１に示すように、入力部１１と、メモリ１２と、差分絶対値計算部１３と、決定部１４と、平均値計算部１５と、置換部１６と、閾値設定部１７と、出力部１８とを備えている。入力部１１は、画像を入力してメモリ１２に記憶する。この画像には、モスキートノイズが含まれているものとする。差分絶対値計算部１３は、画像に含まれる奇数×奇数画素の真ん中の画素である注目画素とそれ以外の画素である参照画素との差分絶対値を計算する。奇数×奇数画素は、3×3画素、5×5画素、7×7画素など、処理対象となる画素のブロック（以下、「対象ブロック」という。）である。決定部１４は、差分絶対値計算部１３により計算された差分絶対値が閾値以上の場合、その参照画素を平均化の対象外として決定し、差分絶対値計算部１３により計算された差分絶対値が閾値未満の場合、その参照画素を平均化の対象として決定する。決定部１４は、奇数×奇数画素において外側の参照画素に接している内側の参照画素が全て平均化の対象外である場合、その外側の参照画素を平均化の対象外として決定してもよい。平均値計算部１５は、決定部１４により平均化の対象として決定された参照画素と注目画素とを対象として画素値の平均値を計算する。置換部１６は、平均値計算部１５により計算された平均値に注目画素の画素値を置き換える。閾値設定部１７は、決定部１４が使用する閾値を設定するための処理部である。出力部１８は、モスキートノイズが除去された画像をメモリ１２から読み出して出力する。
【００１６】
以下、図２を用いてノイズ除去装置１０の構成をその動作とともに説明する。ここでは、図３（Ａ）に示すように、5×5画素を対象ブロックとする場合を例示する。この5×5画素は、従来技術で説明した5×5画素と同じである（図１６参照）。すなわち、画素の値は空（151）、モスキートノイズ（121）、電線（70）、鳥（100）とし、空にモスキートノイズがあるものと仮定する。
【００１７】
まず、差分絶対値計算部１３は、メモリ１２に画像が入力されると、この画像に含まれる奇数×奇数画素を対象ブロックとして特定する（ステップＳ１）。次いで、図３（Ｂ）に示すように、5×5画素の注目画素と参照画素との差分絶対値を計算し（ステップＳ２）、その計算結果を決定部１４に渡す。注目画素は、5×5画素の真ん中の画素（121）である。参照画素は、5×5画素の真ん中以外の画素である。
【００１８】
これにより、決定部１４は、図３（Ｃ）に示すように、差分絶対値計算部１３から受け取った差分絶対値が閾値以上の場合、その参照画素を平均化の対象外として決定する（ステップＳ３→Ｓ４）。一方、差分絶対値計算部１３から受け取った差分絶対値が閾値未満の場合、その参照画素を平均化の対象として決定する（ステップＳ３→Ｓ５）。すなわち、差分絶対値が閾値以上の画素はエッジとみなし、注目画素と関連性が低い画素として取り扱う。ここでは、閾値が50である場合を例示し、平均化の対象を○、平均化の対象外を×で表している。閾値は、閾値設定部１７を介して所望の値に設定することができる。
【００１９】
次いで、決定部１４は、図３（Ｄ）に示すように、外側の参照画素に接している内側の参照画素が全て平均化の対象外である場合、その外側の参照画素を平均化の対象外として決定する（ステップＳ６→Ｓ７）。ここでは、外側の参照画素のうち、図中の点線丸印内の２画素に接している内側の参照画素は全て平均化の対象外である。そこで、この点線丸印内の２画素を平均化の対象外として決定することになる。対象ブロックが3×3画素である場合、このステップＳ６及びＳ７は実行しない。
【００２０】
次いで、平均値計算部１５は、平均化の対象として決定された参照画素と注目画素とを対象として画素値の平均値を計算する（ステップＳ８）。具体的には、(151×9+121×3)/12=143を計算することになる。この計算結果である平均値143は置換部１６に渡される。置換部１６は、注目画素の画素値121を平均値計算部１５から受け取った平均値143に置き換える（ステップＳ９）。
【００２１】
上記のステップを画像に含まれる全画素（左上の画素から右下の画素まで）について繰り返す。そして、右下の最終画素まで繰り返したら（ステップＳ１０：ＹＥＳ）、メモリ１２に記憶されている画像を出力して処理を終了する。
【００２２】
以上のように、本発明の第１の実施形態におけるノイズ除去装置１０によれば、注目画素と関連性が低い画素は平均化の対象外になるので、平均化の精度が上がり、画像に含まれるモスキートノイズを精度よく除去することができる。すなわち、従来技術によると、注目画素の画素値121は107や130にしかならなかったが、本発明によれば、注目画素の画素値121は143となり、期待した画素値151にかなり近い値となっている。
【００２３】
しかも、本発明の第１の実施形態におけるノイズ除去装置１０では、単純に差分絶対値だけで平均化の対象を決定していない。すなわち、外側の参照画素に接している内側の参照画素が全て平均化の対象外である場合、その外側の参照画素を平均化の対象外として決定するようにしている。そのため、空（151）にモスキートノイズ（121）がある場合においてモスキートノイズ（121）と鳥（100）との間に電線（70）があるとき、鳥の画素（100）は平均化の対象外となる。これにより、画像に含まれるモスキートノイズをより精度よく除去することができる。
【００２４】
なお、図２では、平均化の対象外として決定した場合でも（ステップＳ４）、内側の参照画素が全て平均化の対象外であるかどうかを判定することとしているが（ステップＳ６）、本発明はこれに限定されるものではない。すなわち、ステップＳ４で平均化の対象外として決定された参照画素についてはステップＳ６を実行しないようにしてもかまわない。
【００２５】
（第２の実施形態）
第１の実施形態では、モノクロ画像に含まれるモスキートノイズを除去する場合について説明した。本実施形態では、カラー画像に含まれるモスキートノイズを除去する場合について、第１の実施形態と異なる点を中心に説明する。
【００２６】
本実施形態では、図４に示すように、3×3画素を対象ブロックとする場合を例示する。1画素はR,G,Bで構成される。Rの注目画素は、3×3画素の真ん中の画素R5である。Gの注目画素は、3×3画素の真ん中の画素G5である。Bの注目画素は、3×3画素の真ん中の画素B5である。Rの参照画素は、3×3画素の真ん中以外の画素Rn（n=1〜4,6〜9）である。Gの参照画素は、3×3画素の真ん中以外の画素Gn（n=1〜4,6〜9）である。Bの参照画素は、3×3画素の真ん中以外の画素Bn（n=1〜4,6〜9）である。
【００２７】
差分絶対値計算部１３は、図５に示すように、注目画素と８個の参照画素との差分絶対値をRGBそれぞれについて計算する。具体的には下記式１〜３を計算することになる。
【００２８】
Rの差分絶対値DRn = | R5 - Rn | （式１）
Gの差分絶対値DGn = | G5 - Gn | （式２）
Bの差分絶対値DBn = | B5 - Bn | （式３）
また、差分絶対値計算部１３は、図６に示すように、８個の参照画素について、RとGとBの差分絶対値のうちの最大値Mn = MAX(DRn, DGn, DBn)を選択する（n=1〜4,6〜9）。たとえば、左上の参照画素については、Rの差分絶対値が5、Gの差分絶対値が10、Bの差分絶対値が5であるため、最大値Mnとしては10が選択されることになる。
【００２９】
決定部１４は、図７に示すように、最大値Mnが閾値以上の場合、その参照画素を平均化の対象外として決定する。一方、最大値Mnが閾値未満の場合、その参照画素を平均化の対象として決定する。図７でも、閾値が50である場合を例示している。
【００３０】
平均値計算部１５は、図８に示すように、点線丸印内の６個の画素を対象としてRGBそれぞれについて平均値を計算する。具体的には、Rについては（120×3+110×2+115）/6=115 、Gについては（150×3+140×3）/6=145 、Bについては（175×3+170×3）/6=172を計算することになる。置換部１６は、RGBそれぞれについて注目画素の画素値を平均値に置き換える。具体的には、Rの注目画素の画素値115を平均値115に置き換え、Gの注目画素の画素値140を平均値145に置き換え、Bの注目画素の画素値170を平均値172に置き換えることになる。
【００３１】
以上のように、本発明の第２の実施形態におけるノイズ除去装置１０によれば、カラー画像についても注目画素と関連性が低い画素は平均化の対象外になるので、モスキートノイズを精度よく除去することができる。
【００３２】
（第３の実施形態）
第２の実施形態では、対象ブロックを3×3画素としてカラー画像に含まれるモスキートノイズを除去する場合について説明した。本実施形態では、対象ブロックを5×5画素としてカラー画像に含まれるモスキートノイズを除去する場合について、第２の実施形態と異なる点を中心に説明する。
【００３３】
本実施形態では、図９に示すように、Rの注目画素は、5×5画素の真ん中の画素R13である。Gの注目画素は、5×5画素の真ん中の画素G13である。Bの注目画素は、5×5画素の真ん中の画素B13である。Rの参照画素は、5×5画素の真ん中以外の画素Rn（n=1〜12,14〜25）である。Gの参照画素は、5×5画素の真ん中以外の画素Gn（n=1〜12,14〜25）である。Bの参照画素は、5×5画素の真ん中以外の画素Bn（n=1〜12,14〜25）である。
【００３４】
差分絶対値計算部１３は、図１０に示すように、注目画素と２４個の参照画素との差分絶対値をRGBそれぞれについて計算する。具体的には下記式４〜６を計算することになる。
【００３５】
Rの差分絶対値DRn = | R13 - Rn | （式４）
Gの差分絶対値DGn = | G13 - Gn | （式５）
Bの差分絶対値DBn = | B13 - Bn | （式６）
また、差分絶対値計算部１３は、図１１に示すように、２４個の参照画素について、RとGとBの差分絶対値のうちの最大値Mn=MAX(DRn, DGn, DBn)を選択する（n=1〜12,14〜25）。たとえば、左上の参照画素については、Rの差分絶対値が5、Gの差分絶対値が10、Bの差分絶対値が5であるため、最大値Mnとしては10が選択されることになる。
【００３６】
決定部１４は、図１２に示すように、最大値Mnが閾値以上の場合、その参照画素を平均化の対象外として決定する。一方、最大値Mnが閾値未満の場合、その参照画素を平均化の対象として決定する。図１２でも、閾値が50である場合を例示している。
【００３７】
また、決定部１４は、図１３に示すように、外側の参照画素に接している内側の参照画素が全て平均化の対象外である場合、その外側の参照画素を平均化の対象外として決定する。外側の参照画素とは、外1, 外2, 外3, 外4, 外5, 外6, 外10, 外11, 外15, 外16, 外20, 外21, 外22, 外23, 外24, 外25である。内側の参照画素とは、内7, 内8, 内9, 内12, 内14, 内17, 内18, 内19である。外側の参照画素と、その外側の参照画素に接している内側の参照画素の対応を図１４に示す。ここでは、外側の参照画素（外20）に接している内側の参照画素（内14, 内19）は全て平均化の対象外である。また、外側の参照画素（外25）に接している内側の参照画素（内19）は全て平均化の対象外である。そこで、これら外側の参照画素（外20,外25）を平均化の対象外として決定することになる。
【００３８】
平均値計算部１５は、図１５に示すように、点線丸印内の１５個の画素を対象としてRGBそれぞれについて平均値を計算する。具体的には、Rについては（120×12+110×2+115）/15=118、Gについては（150×12+140×3）/15=148、Bについては（175×12+170×3）/15=174を計算することになる。置換部１６は、RGBそれぞれについて注目画素の画素値を平均値に置き換える。具体的には、Rの注目画素の画素値115を平均値118に置き換え、Gの注目画素の画素値140を平均値148に置き換え、Bの注目画素の画素値170を平均値174に置き換えることになる。
【００３９】
以上のように、本発明の第３の実施形態におけるノイズ除去装置１０によれば、カラー画像について対象ブロックを5×5画素としても、注目画素と関連性が低い画素は平均化の対象外になるので、モスキートノイズを精度よく除去することができる。
【００４０】
なお、第１〜第３の実施形態では、ノイズ除去装置１０はモスキートノイズを除去することとしているが、本発明はこれに限定されるものではない。すなわち、モスキートノイズ以外のノイズを除去する場合に本発明を適用することも可能である。
【００４１】
また、ここでは特に言及しなかったが、3×3画素や5×5画素などの奇数×奇数画素のうち、どの奇数×奇数画素を選択するかという点は特に限定されるものではない。すなわち、ノイズの除去精度が上がるものを適宜選択することができる。
【００４２】
また、本発明はノイズ除去装置１０として実現することができるだけでなく、このようなノイズ除去装置１０が備える特徴的な処理部をステップとするノイズ除去方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。このようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのはいうまでもない。
【符号の説明】
【００４３】
１０…ノイズ除去装置
１１…入力部
１２…メモリ
１３…差分絶対値計算部
１４…決定部
１５…平均値計算部
１６…置換部
１７…閾値設定部
１８…出力部

【特許請求の範囲】
【請求項１】
画像に含まれるノイズを除去するノイズ除去装置であって、
画像に含まれる奇数×奇数画素の真ん中の画素である注目画素とそれ以外の画素である参照画素との差分絶対値を計算する差分絶対値計算部と、
前記差分絶対値計算部により計算された差分絶対値が閾値以上の場合、その参照画素を平均化の対象外として決定し、前記差分絶対値計算部により計算された差分絶対値が閾値未満の場合、その参照画素を平均化の対象として決定する決定部と、
前記決定部により平均化の対象として決定された参照画素と注目画素とを対象として画素値の平均値を計算する平均値計算部と、
前記平均値計算部により計算された平均値に注目画素の画素値を置き換える置換部と、
を備えたことを特徴とするノイズ除去装置。
【請求項２】
前記決定部は、前記奇数×奇数画素において外側の参照画素に接している内側の参照画素が全て平均化の対象外である場合、その外側の参照画素を平均化の対象外として決定することを特徴とする請求項１記載のノイズ除去装置。
【請求項３】
前記差分絶対値計算部は、RとGとBの差分絶対値のうちの最大値を計算し、
前記決定部は、前記最大値が閾値以上の場合、その参照画素を平均化の対象外として決定し、前記最大値が閾値未満の場合、その参照画素を平均化の対象として決定し、
前記平均値計算部は、RGBそれぞれについて画素値の平均値を計算し、
前記置換部は、RGBそれぞれについて注目画素の画素値を前記平均値に置き換える
ことを特徴とする請求項１記載のノイズ除去装置。
【請求項４】
画像に含まれるノイズを除去するノイズ除去方法であって、
画像に含まれる奇数×奇数画素の真ん中の画素である注目画素とそれ以外の画素である参照画素との差分絶対値を計算する差分絶対値計算ステップと、
前記差分絶対値計算ステップで計算された差分絶対値が閾値以上の場合、その参照画素を平均化の対象外として決定し、前記差分絶対値計算ステップで計算された差分絶対値が閾値未満の場合、その参照画素を平均化の対象として決定する決定ステップと、
前記決定ステップで平均化の対象として決定された参照画素と注目画素とを対象として画素値の平均値を計算する平均値計算ステップと、
前記平均値計算ステップで計算された平均値に注目画素の画素値を置き換える置換ステップと、
を備えたことを特徴とするノイズ除去方法。

【図１】