画像処理装置、方法、コンピュータプログラムおよびチップ回路
【課題】画像の周波数成分が低周波成分に偏ることを抑えつつ、画像に重畳されたノイズを低減する。
【解決手段】画像処理装置は、所与の着目画素および参照画素の各々について、画素値の差の大きさに応じて単調減少する関数を用いて、ノイズ平滑化処理に用いられる第１の乗算係数を算出する第１の算出部と、着目画素および参照画素の各々について、乱数を用いて、ノイズ平滑化処理に用いられる第２の乗算係数を算出する第２の算出部と、着目画素および参照画素の各々についての第１の乗算係数、第２の乗算係数および画素値を乗算し、各乗算結果の総和を演算する積和演算部と、着目画素および参照画素の各々についての第１の乗算係数および第２の乗算係数を乗算し、各乗算結果の総和を演算する係数総和部と、積和演算部が演算した総和を、係数総和部が演算した総和で除算する除算部と、除算結果を出力する出力部とを備えている。
【解決手段】画像処理装置は、所与の着目画素および参照画素の各々について、画素値の差の大きさに応じて単調減少する関数を用いて、ノイズ平滑化処理に用いられる第１の乗算係数を算出する第１の算出部と、着目画素および参照画素の各々について、乱数を用いて、ノイズ平滑化処理に用いられる第２の乗算係数を算出する第２の算出部と、着目画素および参照画素の各々についての第１の乗算係数、第２の乗算係数および画素値を乗算し、各乗算結果の総和を演算する積和演算部と、着目画素および参照画素の各々についての第１の乗算係数および第２の乗算係数を乗算し、各乗算結果の総和を演算する係数総和部と、積和演算部が演算した総和を、係数総和部が演算した総和で除算する除算部と、除算結果を出力する出力部とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の画像処理に関する。より具体的には、動画像に含まれるノイズを低減する技術に関する。
【背景技術】
【０００２】
従来の画像処理装置は、動画像を構成する、時空間的に連続する画素の輝度値を平滑化してノイズを低減していた。たとえば非特許文献１は、複数の画素を用いた輝度値の平滑化処理において、輝度値がより近いものの影響をより大きく出力画素値に反映するようにするために、複数画素間の距離と輝度差とによって、平滑化の計算に反映させる重みを変える技術を開示している。また、特許文献１は、被写体に動きがないときは時間方向のみに平滑化処理を行い、被写体に動きがあるときには、空間方向のみに平滑化処理を行う技術を開示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第２８２６０１８号明細書
【特許文献２】特開平０９−１３８８４９号公報
【非特許文献】
【０００４】
【非特許文献１】トマシ（Ｃ． Ｔｏｍａｓｉ）、マンドゥッチ（Ｒ． Ｍａｎｄｕｃｈｉ）、「濃淡画像及びカラー画像のためのバイラテラルフィルタリング（Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒｉｎｇ ｆｏｒ Ｇｒａｙ ａｎｄ Ｃｏｌｏｒ Ｉｍａｇｅｓ）」、コンピュータヴィジョン国際会議予稿集（ｔｈｅ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １９９８ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｂｏｍｂａｙ Ｉｎｄｉａ）、米国電気電子技術者協会（ＩＥＥＥ）、１９９８年
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の技術では、時空間方向に連続な位置の画素を用いてノイズの平滑化処理を行うため、結果としてローパスフィルタの処理と同じ処理が行われていた。ローパスフィルタ処理前の画像には、ノイズを含む全帯域の周波数成分が含まれている。ローパスフィルタ処理によって、ノイズのみならず画像の高周波成分も除去されるため、処理後の画像には、画像およびノイズの低周波成分が偏って含まれることになる。その結果、ノイズの低周波成分の影響も加わり、まるですりガラス越しに見るかのような画像になっていた。
【０００６】
なお、特許文献２は、着目画素から空間的にランダムに軸を設定し、その軸上の画素に関して平滑化処理を行うことで、画像が低周波成分に偏ることを抑えている。しかしながら、特許文献２の構成では、平滑化に利用する画素が空間方向の軸上に限定されており、輝度値の平滑化を行うために利用される画素数が少ないという問題があった。これでは、画像に重畳されているノイズを十分に低減できない。
【０００７】
本発明は上記課題に鑑みてなされたものであり、その目的は、画像の周波数成分が低周波成分に偏ることを抑えつつ、画像に重畳されたノイズを低減することにある。
【課題を解決するための手段】
【０００８】
本発明による画像処理装置は、所与の着目画素および参照画素の各々について、前記着目画素の画素値と前記参照画素の画素値との差の大きさに応じて単調減少する関数を用いて、ノイズ平滑化処理に用いられる第１の乗算係数を算出する第１の算出部と、前記着目画素および前記参照画素の各々について、乱数を用いて、ノイズ平滑化処理に用いられる第２の乗算係数を算出する第２の算出部と、前記着目画素および前記参照画素の各々についての前記第１の乗算係数、前記第２の乗算係数および画素値を乗算し、得られた複数の乗算結果の総和を演算する積和演算部と、前記着目画素および前記参照画素の各々についての前記第１の乗算係数および前記第２の乗算係数を乗算し、得られた複数の乗算結果の総和を演算する係数総和部と、前記積和演算部が演算した総和を、前記係数総和部が演算した総和で除算する除算部と、前記除算部の除算結果を出力する出力部とを備えている。
【０００９】
前記画像処理装置は、複数のフレームを含む動画像を取得する取得部をさらに備え、前記着目画素および前記参照画素は、前記動画像の時間方向および空間方向のフレーム上に定められた画素であってもよい。
【００１０】
前記第２の算出部は、前記乱数を少なくとも１回生成する乱数生成部と、少なくとも１回生成された前記乱数を保持する乱数保持部とを備え、前記乱数保持部が保持する前記乱数を用いて前記第２の乗算係数を算出してもよい。
【００１１】
前記乱数生成部は前記乱数を複数回生成し、前記乱数保持部は前記乱数の組を複数保持し、前記乱数保持部が保持する前記乱数の組を選択して前記第２の乗算係数を算出してもよい。
【００１２】
前記第２の算出部は、２値乱数および複数乱数の一方を用いて、前記第２の乗算係数を算出してもよい。
【００１３】
前記第１の算出部は、前記単調減少の関数として、ガウシアン関数およびロジスティック関数の一方を用いて前記第１の乗算係数を算出してもよい。
【００１４】
本発明による画像処理方法は、所与の着目画素および参照画素の各々について、前記着目画素の画素値と前記参照画素の画素値との差の大きさに応じて単調減少する関数を用いて、ノイズ平滑化処理に用いられる第１の乗算係数を算出する第１の算出ステップと、前記着目画素および前記参照画素の各々について、乱数を用いて、ノイズ平滑化処理に用いられる第２の乗算係数を算出する第２の算出ステップと、前記着目画素および前記参照画素の各々についての前記第１の乗算係数、前記第２の乗算係数および画素値を乗算し、得られた複数の乗算結果の総和を演算する積和演算ステップと、前記着目画素および前記参照画素の各々についての前記第１の乗算係数および前記第２の乗算係数を乗算し、得られた複数の乗算結果の総和を演算する係数総和ステップと、前記積和演算ステップが演算した総和を、前記係数総和ステップが演算した総和で除算するステップと、除算する前記ステップの除算結果を出力するステップとを包含する。
【００１５】
本発明によるコンピュータプログラムは、画像処理装置に設けられたコンピュータによって実行されるコンピュータプログラムであって、前記コンピュータプログラムは、前記画像処理装置に実装されるコンピュータに対し、所与の着目画素および参照画素の各々について、前記着目画素の画素値と前記参照画素の画素値との差の大きさに応じて単調減少する関数を用いて、ノイズ平滑化処理に用いられる第１の乗算係数を算出する第１の算出ステップと、前記着目画素および前記参照画素の各々について、乱数を用いて、ノイズ平滑化処理に用いられる第２の乗算係数を算出する第２の算出ステップと、前記着目画素および前記参照画素の各々についての前記第１の乗算係数、前記第２の乗算係数および画素値を乗算し、得られた複数の乗算結果の総和を演算する積和演算ステップと、前記着目画素および前記参照画素の各々についての前記第１の乗算係数および前記第２の乗算係数を乗算し、得られた複数の乗算結果の総和を演算する係数総和ステップと、前記積和演算ステップが演算した総和を、前記係数総和ステップが演算した総和で除算するステップと、除算する前記ステップの除算結果を出力するステップとを実行させる。
【００１６】
本発明によるチップ回路は、上述のコンピュータプログラムが組み込まれたチップ回路である。
【発明の効果】
【００１７】
本発明によれば、時間方向および空間方向の少なくとも一方向の１つ以上の画素の画素値に対して、ランダムな係数を乗算する。これにより、ノイズの低減と高周波成分の保持を実現できる。
【００１８】
また、着目画素の画素値と参照画素の画素値との差に応じて、重みを減少させる単調減少関数部を設けることにより、動きのある被写体に対しても、処理後の画像に含まれる動きぶれの低減を実現できる。
【図面の簡単な説明】
【００１９】
【図１】本実施形態における画像処理装置１０１の構成を示すブロック図である。
【図２】本実施形態におけるフィルタ処理の特性を表すフィルタ係数の説明図である。
【図３】３種類のノイズ平滑化処理の関数（指数関数、ガウス関数、２値乱数）の各周波数特性を表す図である。
【図４】第二の乗算係数算出部１０４の構成例を示す図である。
【図５】第二の乗算係数算出部１０４の変形例の構成を示す図である。
【図６】乱数保持部３０１が保持する複数の乱数パターンデータ１１０のデータ構造を示す図である。
【図７】本発明の実施形態１にかかる画像処理装置１０１のノイズ低減処理動作のフローチャートを示す。
【図８】本発明の実施形態１の変形例による画像処理装置１０２のブロック図である。
【図９】着目画素と参照画素のフレーム内での画素座標値間の距離である空間距離をパラメータとして利用する際のフィルタ処理の特性を表すフィルタ係数の説明図である。
【図１０】着目画素と参照画素のフレーム間での画素座標値間の距離である時空間距離をパラメータとして利用する際のフィルタ処理の特性を表すフィルタ係数の説明図である。
【図１１】画素値の差と乗算係数値との他の関係を示す図である。
【図１２】画像再構成装置４０２と画像処理装置１０１とを有する画像処理システム２００の構成を示す図である。
【図１３】画像処理装置１０１の出力を受け取り、画像を再構成する画像再構成処理装置４０２を有する画像処理システム２０１の構成を示す図である。
【発明を実施するための形態】
【００２０】
以下、添付の図面を参照しながら、本発明による画像処理装置の実施形態を説明する。
【００２１】
まず、本明細書では以下のように用語を定義する。すなわち、「時間方向」とは、時間軸に沿って、という意味である。また「空間方向」とは、ある画像フレームのフレーム内においてという意味である。
【００２２】
（実施形態１）
図１は、本実施形態における画像処理装置１０１の構成を示すブロック図である。
【００２３】
画像処理装置１０１は、第一の乗算係数算出部１０３と、第二の乗算係数算出部１０４と、積和演算部１０５と、係数総和部１０６と、除算部１０７と、画像取得部１０８と、出力部１０９とを備えている。
【００２４】
画像処理装置１０１は、画像取得部１０８を介して入力画像Ｉを受け取り、入力画像Ｉに対してフィルタ処理を施した後、得られた画像Ｉ’を出力部１０９を介して出力する。画像取得部１０８および出力部１０９はＳＤＩ端子、ＨＤＭＩ端子などの映像端子である。
【００２５】
画像処理装置１０１が行うフィルタ処理は、下記の数１によって表される。
【００２６】
【数１】
ここで、Ｉ（ｘ，ｙ，ｔ）は入力画像を表し、Ｉ’（ｘ，ｙ，ｔ）は出力画像を表す。また”＊”は時間方向のコンボリューション（畳み込み積分）を示す。
【００２７】
画像処理装置１０１の各構成要素は、上記数１に示される一部の演算を実行する。すなわち、第一の乗算係数算出部１０３は、数１のｇ（ｘ，ｙ，ｔ）の算出処理を行う。第二の乗算係数算出部１０４は数１のｆ（ｘ，ｙ，ｔ）の算出処理を行う。積和演算部１０５は、数１の分子に示されるコンボリューション演算を行う。係数総和部１０６は、数１の分母に示される積分演算を行う。除算部１０７は、数１の除算演算を行う。
【００２８】
図２は、本実施形態におけるフィルタ処理の特性を表すフィルタ係数の説明図である。本実施形態では、フィルタ係数は２種類のパラメータによって決定される。
【００２９】
第一のパラメータは、フィルタ処理によって画素値が更新されるその着目画素の画素値とフィルタ処理の計算時に画素値を参照される参照画素の画素値との差分値である。画素値は階調を表しているため、画素値の差分値は階調差とも呼ばれる。第一のパラメータとして階調差ΔＩが求められる。本実施形態では、参照画素および着目画素は、画素位置（ｘ，ｙ）は同一であり、フレーム番号（すなわち撮影時刻ｔ）が異なる関係にあるとしている。
【００３０】
一方、第二のパラメータは、上記着目画素と参照画素の時間差（フレーム番号の差）ΔＴである。
【００３１】
本実施形態では、上記２つのパラメータによって決まるフィルタ係数を用いてフィルタ演算を行うことにより、ノイズ成分を低減しつつ、かつ、フィルタ出力に残るノイズの周波数成分が、通常のＬＰＦ（ローパスフィルタ）によるノイズ低減の結果にみられる様に、低周波数成分に偏ることを防ぐ。
【００３２】
以下、撮像処理装置１０１の各構成要素を詳細に説明する。
【００３３】
第一の乗算係数算出部１０３は、入力画像Ｉを受け取り、入力画像Ｉの着目位置の画素の画素値と、それ以外の位置の画素の画素値との差（階調差）を計算し、その差分値によって係数を算出する。係数の値は、差分値が大きいほど小さくする。本実施形態においては、係数であるｇ（ｘ，ｙ，ｔ）は、差分値に関して単調減少する関数である。
【００３４】
第一の乗算係数算出部１０３の具体的な計算を、ガウシアン関数を例にして説明する。ガウシアン関数は、一般にａ・ｅｘｐ（−（ｘ−ｂ）2／（２ｃ2））と表される。
【００３５】
いま、入力画像として、座標（ｘ，ｙ）における３フレーム分の画素値Ｉ（ｘ，ｙ，ｔ１）、Ｉ（ｘ，ｙ，ｔ２）、Ｉ（ｘ，ｙ，ｔ３）を考える。そして時刻ｔ＝ｔ２における位置（ｘ，ｙ）の画素を着目画素とする。着目画素の画素値が、上述のガウシアン関数のｂに相当する。ガウシアン関数で用いられる標準偏差（上記数式におけるｃに相当する。）をσで表す。
【００３６】
このとき、（ｘ，ｙ，ｔ１）の乗算係数を（数２）に示す。
【００３７】
【数２】
【００３８】
（ｘ，ｙ，ｔ２）の乗算係数は１になる。
【００３９】
（ｘ，ｙ，ｔ３）の乗算係数を（数３）に示す。
【００４０】
【数３】
【００４１】
次に、第二の乗算係数算出部１０４を説明する。第二の乗算係数算出部１０４は、入力のデータ数に対して、ランダムな乗算値を出力する。具体的には、（ｘ，ｙ，ｔ１）、（ｘ，ｙ，ｔ２）、（ｘ，ｙ，ｔ３）の入力された３つの画素の画素値に着目すると、それぞれに乗算するための乱数（ｒ１，ｒ２，ｒ３）を出力する。出力される乱数は、多値乱数に限るものではなく、２値乱数であってもよい。
【００４２】
図３を参照しながら、第二の乗算係数算出部１０４の効果を説明する。図３は、３種類のノイズ平滑化処理の関数（指数関数、ガウス関数、２値乱数）の各周波数特性を表している。これらの特性によれば、まず、ガウス関数、指数関数を用いたノイズ平滑化処理では、低周波成分を多く通し、高周波成分を０．１倍以下に低減していることがわかる。よって、処理後の画像の周波数成分は低周波成分に偏ってしまう。一方、２値乱数を用いたノイズ平滑化処理では、低周波から高周波まで、偏りなくほぼ一様に通す。よって、処理後の画像の周波数成分が低周波成分に偏ることを防ぐことができる。ここで「ほぼ一様に通す」とは、たとえば全周波数帯域に亘って各周波数成分を約１０％またはそれ以上通すことをいう。
【００４３】
第二の乗算係数算出部１０４で出力する係数の生成について、図４を参照しながら説明する。図４は、第二の乗算係数算出部１０４の構成例を示す。第二の乗算係数算出部１０４は、乱数生成部２０１を有している。乱数生成部２０１は、入力画像Ｉの各フレームの各画素値に対して、乱数を出力する。乱数生成部２０１で生成した乱数は、一部を利用する構成にしてもよいし、複数に分割して利用してもよい。
【００４４】
ただし、第二の乗算係数算出部１０４は、入力画像Ｉの各フレームの各画素値に対して、乱数を生成する構成だけでなく、生成した乱数を保持して再利用する構成でもよい。図５を参照しながらこの構成を詳細に説明する。
【００４５】
図５は、第二の乗算係数算出部１０４の変形例の構成を示す。第二の乗算係数算出部１０４は、乱数生成部２０１と、乱数保持部３０１とを有している。乱数保持部３０１は、乱数生成部２０１が少なくとも１回乱数を出力すると、その乱数を保持し、保持した乱数を後に出力する。ここで、乱数保持部３０１が保持する乱数は、入力画像Ｉの各フレームの各画素値に対して、１パターンのみ保持し、再利用する構成にしてもよい。これにより、回路規模、および、乱数を記憶するメモリ容量を最小限にすることができ、装置全体を小型化、低コスト化できる。
【００４６】
または、乱数を複数パターン用意し、入力ごとに出力する乱数を変えてもよい。たとえば図６は、乱数保持部３０１が保持する複数の乱数パターンデータ１１０のデータ構造を示す。複数の乱数パターンデータ１１０のように、乱数パターンを複数有する利点は、観察者に知覚されないよう、残像を目立たなくできる点にある。第二の乗算係数算出部１０４で用いる乱数が固定の場合、入力画像のテクスチャと動きの組み合わせによっては、被写体の輪郭付近等のテクスチャのコントラストの高いところで残像が生じ、これが観察者に知覚される可能性がある。そこで第二の乗算係数算出部１０４で用いる乱数の組を複数用意し、画素毎に切り替えると、残像の発生を空間的、時間的に一様でないようにすることができる。その結果、残像を目立たなくでき、観察者に知覚されないようにできる。
【００４７】
積和演算部１０５は、入力画像Ｉ、第一の乗算係数算出部１０３が出力した係数ｇ（ｘ，ｙ，ｔ）および第二の乗算係数算出部１０４が出力した係数ｆ（ｘ，ｙ，ｔ）を乗算した後に加算する。
【００４８】
積和演算部１０５の具体的な計算を説明する。第一の乗算係数算出部１０３がガウシアン関数、第二の乗算係数算出部１０４の出力をｆ（Ｔ）とし、入力を（ｘ，ｙ，ｔ１）、（ｘ，ｙ，ｔ２），（ｘ，ｙ，ｔ３）の３つの画素値とする。このとき、積和演算部１０５の計算は（数４）のようになる。
【００４９】
【数４】
【００５０】
係数総和部１０６は、ｔ＝ｔ１〜ｔ３の各時刻における第一の乗算係数算出部１０３の出力、および第二の乗算係数算出部１０４の出力（係数ｆ（Ｔ））を乗算し、得られた複数の値を加算する。
【００５１】
具体的には、第一の乗算係数算出部１０３に例えばガウシアン関数を用いる場合、係数総和部１０６の計算は（数５）のようになる。
【００５２】
【数５】
【００５３】
除算部１０７は、積和演算部１０５の出力を係数総和部１０６の出力で除算する。除算部１０７の出力が、画像処理装置１０１の出力画像Ｉ’となる。
【００５４】
図７は、本実施形態の画像処理装置１０１によるノイズ低減処理動作のフローチャートを示す。
【００５５】
ステップＳ１０において、画像取得部１０８は入力画像Ｉを受け取る。
【００５６】
ステップＳ１１において、第一の乗算係数算出部１０３は、着目画素の画素値と参照画素間の画素値との差に関して単調に減少する関数を用いてフィルタ係数ｇ（ｘ，ｙ，ｔ）を演算する。このようなフィルタにより、ノイズを低減させることが可能になる。
【００５７】
ステップＳ１２において、第二の乗算係数算出部１０４は、入力画像Ｉの着目画素および参照画素の各々に対応する乱数ｆ（ｔ）を生成する。本実施形態では、この乱数ｆ（ｔ）を２値乱数のくし型フィルタとして機能させ、ノイズを低減させる。
【００５８】
ステップＳ１３において、積和演算部１０５は、各時刻における乱数ｆ（ｔ）、フィルタ係数ｇ（ｘ、ｙ、ｔ）、および画素値Ｉ（ｘ、ｙ、ｔ）の積を求め、それらの和Ｓｕｍ１を計算する。
【００５９】
ステップＳ１４において、係数総和部１０６は、各時刻における乱数ｆ（ｔ）、およびフィルタ係数ｇ（ｘ、ｙ、Ｔ）の積を求め、それらの和Ｓｕｍ２を計算する。
【００６０】
ステップＳ１５において、除算部１０７はステップＳ１３で求めたＳｕｍ１を、ステップＳ１４で求めたＳｕｍ２で除算する。
【００６１】
そしてステップＳ１６において、出力部１０９は、除算結果として得られた新たな画像Ｉ’を出力する。
【００６２】
本実施形態ではガウシアン関数を用いたバイラテラルフィルタとして説明した。上述の処理によれば、ノイズが低域に偏っていないノイズ低減画像を出力することができる。
【００６３】
以上述べたように、本実施形態によれば、着目画素と参照画素間の画素値の差（階調差）と時間差（フレーム番号の差）という、２つのパラメータによって決まるフィルタ演算を行うことにより、ノイズ成分を低減しつつ、かつ、フィルタ出力に残るノイズの周波数成分が、通常のＬＰＦ（ローパスフィルタ）によるノイズ低減の結果にみられる様に、低周波数成分に偏ることを防ぐことができ、見た目に自然な違和感のないノイズ低減画像を得ることができる。
【００６４】
ノイズレベルの大小に応じて、もしくは、ノイズ低減効果の大小を制御するために、第一の乗算係数算出部１０３の、係数をランダムに設定する１つ以上の画素の数（すなわち、フィルタのタップ数）を大きくしてもよい。これにより、より大きなノイズ低減効果を得ることができる。また、第二の乗算係数算出部１０４の着目画素との画素値の差（階調差）に応じた重みを減少する際にも、重みの減少を緩やかにすることにより、より大きなノイズ低減効果を得ることができる。
【００６５】
ただし、前者については、「係数をランダムに設定する１つ以上の画素」の数（すなわち、フィルタのタップ数）を大きくすることにより、回路規模、演算量が大きくなる。そのため、回路規模や演算量とノイズ低減効果とのバランスを考慮する必要がある。また、後者については、「着目画素との画素値の差（階調差）に応じた重みを減少」を緩やかにすることにより、画像の細部が平滑化されて失われる。そのため、画像細部の解像度とノイズ低減効果とのバランスを考慮して、着目画素との画素値の差（階調差）に応じた重み減少の程度を決める必要がある。
【００６６】
（実施形態１の変形例）
実施形態１では、第一の乗算係数算出部１０３の例としてガウシアン関数を挙げた。しかしながらこれは一例に過ぎない。単調減少する関数であれば第一の乗算係数算出部１０３として利用することができる。たとえば他の関数としてロジスティック関数を用いてもよい。図８は、そのような実施形態１の変形例による画像処理装置１０２のブロック図である。図において、実施形態１と同一の動作をする構成要素については、図１と同一の符号を付し説明を省略する。ここでは、第１の乗算係数算出部９０１の動作について説明する。
【００６７】
入力画像Ｉの座標（ｘ，ｙ）における３フレーム分の画素値Ｉ（ｘ，ｙ，ｔ１）、Ｉ（ｘ，ｙ，ｔ２）、Ｉ（ｘ，ｙ，ｔ３）を考え、時刻ｔ＝ｔ２における位置（ｘ，ｙ）の画素を着目画素とする。このとき、第一の乗算係数算出部９０１は、数６に示される式により、Ｉ（ｘ，ｙ，ｔ１）に対する乗算係数を求める。
【００６８】
【数６】
【００６９】
また、（ｘ，ｙ，ｔ２）の乗算係数は１になる。
【００７０】
さらに、（ｘ，ｙ，ｔ３）の乗算係数を（数７）に示す。
【００７１】
【数７】
【００７２】
以上述べたように、第一の乗算係数算出部１０３で計算する係数は、実施形態１で述べたガウシアン関数によるものに限る必要はない。実施形態１の変形例として述べたようなロジスティック関数を用いても、実施形態１と同様の効果を得ることができる。
【００７３】
すなわち、単調減少する関数を用いて、第一の乗算係数の値が、着目画素と参照画素との画素値の差（階調差）に応じて減少する様に計算する。これにより、被写体の輪郭付近等において画素値が急激に大きく変化する場合、着目画素と画素値が大きく異なる参照画素の画素値が出力画像Ｉ’の画素値に与える影響を小さくできるため、被写体の輪郭部分での画質を保ち、見た目に自然な出力画像を得ることができる。
【００７４】
なお、本発明の実施形態１およびその変形において、第二の乗算係数算出部１０４が乱数を算出するに当たっては、図２に示す時間差（着目画素と参照画素のフレーム番号の差）ΔＴをパラメータする必要はない。他には、たとえば図９に示すような空間距離（着目画素と参照画素のフレーム内での画素座標値間の距離）や図１０に示すような時空間距離（着目画素と参照画素のフレーム間での画素座標値間の距離）をパラメータとしてもよい。このような、より少ないフレーム数の入力画像から同様のノイズ低減効果を得ることができる。これらもまた、本発明に含まれる。
【００７５】
なお、ガウシアン関数を用いた上記の実施形態では、第一の乗算係数算出部１０３の出力する係数は、画素値の差（階調差）が０のときに、最大値を出力する構成である。しかしながら、本発明はこれに限定されない。
【００７６】
図１１は、画素値の差（階調差）と乗算係数値との他の関係を示す。図１１に示すように、画素値の差（階調差）がＮのときに、係数の最大値をとる構成であってもよい。ここで、Ｎは入力画像に含まれるノイズの標準偏差、もしくは、分散の定数倍として決定する。
【００７７】
この構成で本発明の効果が得られる理由は、以下のとおりである。入力画像にノイズが含まれる場合、着目画素の観測値がノイズの影響によって変動する。よって、その変動の大きさに応じて、図１１におけるＮの値を調整すれば、処理結果に強く影響を与える範囲（着目画素と参照画素の画素値の差、すなわち階調差、の範囲）を決めることができる。また、ノイズを含まない真の画素値（未知の画素値）の出力画像への影響を、着目画素におけるそれよりも大きくできる。この構成によれば、画素値の差（階調差）が０でない位置の画素値を出力結果に反映しやすくなり、出力画像が低周波成分に偏ることを防ぐことができる。
【００７８】
また、第一の乗算係数算出部１０３の出力する係数が、画素差がＮのときに、係数の最大値をとる構成であるとき、出力画像が低周波成分に偏ることを防ぐことができる。よって第二の乗算係数算出部１０４で出力する係数は、着目画素からの時空間の距離差が０のときに最大値を出力する単調減少関数の構成であってもよい。
【００７９】
上述の実施形態およびその変形例では、画像処理装置１０１についてのみ説明した。しかしながら、画像処理装置１０１の入力画像Ｉが、画像を再構成する装置の出力であってもよい。
【００８０】
図１２は、画像再構成装置４０２と画像処理装置１０１とを有する画像処理システム２００の構成を示す。図１２において、画像再構成処理装置４０２は、同一の被写体を１種類以上の解像度と１種類以上のフレームレートで撮像した後、画像を再構成する技術である。「画像を再構成する」とは、たとえば超解像処理を行うことにより、当初の解像度およびフレームレートの少なくとも一方を向上させる処理である。画像再構成処理装置４０２の例としては、例えば特許第４３１７５８６号に記載の技術が挙げられる。
【００８１】
ただし、画像再構成処理装置４０２は、上述の特許にかかる発明に限られるものではなく、その他の超解像処理技術を利用してもよい。本実施例によって、再構成処理装置１０１の出力のＳ／Ｎを向上するとともに、画像が低周波成分に偏ることを防ぐことができる。
【００８２】
上述した画像処理システム２００では、再構成処理装置４０１の出力を画像処理装置１０１の入力画像Ｉにするという構成にした。しかしながら、これは一例である。たとえば図１３は、画像処理装置１０１の出力を受け取り、画像を再構成する画像再構成処理装置４０２を有する画像処理システム２０１の構成を示す。このように、画像処理装置１０１の出力画像Ｉ’を再構成処理装置４０１に入力してもよい。この構成によって、入力画像Ｉ’のＳ／Ｎを向上できるため、再構成処理装置４０１単独の処理よりも、Ｓ／Ｎを向上することができる。
【００８３】
なお、たとえば実施形態１では画像処理装置１０１を説明したが、本発明は、装置として実現されなくてもよい。たとえば、コンピュータである汎用のプロセッサがコンピュータ読み取り可能な記録媒体に記録されたコンピュータプログラムを実行することにより、上述した画像処理装置１０１の動作を行ってもよい。そのようなコンピュータプログラムは、たとえば上述の図７に示すフローチャートの処理を実現するための複数の命令で構成されている。コンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。
【００８４】
さらに、本発明は、上述のコンピュータプログラムが組み込まれた、いわゆるデジタル信号プロセッサ（ＤＳＰ）のような、１つまたは複数のチップ回路としてとして実現されてもよい。
【産業上の利用可能性】
【００８５】
本発明は、画像に含まれるノイズを低減する画像処理装置として実現される際に有用である。また、本発明は、コンピュータプログラムとしても実現される。さらに本発明は、そのようなコンピュータプログラムを１つまたは複数の回路に組み込んだＤＳＰ等のハードウェアとして実現される。
【符号の説明】
【００８６】
１０１ 画像処理装置
１０３ 第一の乗算係数算出部
１０４ 第二の乗算係数算出部
１０５ 積和演算部
１０６ 係数総和部
１０７ 除算部
２００ 画像処理システム
２０１ 乱数生成部
３０１ 乱数保持部
４０２ 画像再構成処理装置
【技術分野】
【０００１】
本発明は、動画像の画像処理に関する。より具体的には、動画像に含まれるノイズを低減する技術に関する。
【背景技術】
【０００２】
従来の画像処理装置は、動画像を構成する、時空間的に連続する画素の輝度値を平滑化してノイズを低減していた。たとえば非特許文献１は、複数の画素を用いた輝度値の平滑化処理において、輝度値がより近いものの影響をより大きく出力画素値に反映するようにするために、複数画素間の距離と輝度差とによって、平滑化の計算に反映させる重みを変える技術を開示している。また、特許文献１は、被写体に動きがないときは時間方向のみに平滑化処理を行い、被写体に動きがあるときには、空間方向のみに平滑化処理を行う技術を開示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第２８２６０１８号明細書
【特許文献２】特開平０９−１３８８４９号公報
【非特許文献】
【０００４】
【非特許文献１】トマシ（Ｃ． Ｔｏｍａｓｉ）、マンドゥッチ（Ｒ． Ｍａｎｄｕｃｈｉ）、「濃淡画像及びカラー画像のためのバイラテラルフィルタリング（Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒｉｎｇ ｆｏｒ Ｇｒａｙ ａｎｄ Ｃｏｌｏｒ Ｉｍａｇｅｓ）」、コンピュータヴィジョン国際会議予稿集（ｔｈｅ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １９９８ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｂｏｍｂａｙ Ｉｎｄｉａ）、米国電気電子技術者協会（ＩＥＥＥ）、１９９８年
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の技術では、時空間方向に連続な位置の画素を用いてノイズの平滑化処理を行うため、結果としてローパスフィルタの処理と同じ処理が行われていた。ローパスフィルタ処理前の画像には、ノイズを含む全帯域の周波数成分が含まれている。ローパスフィルタ処理によって、ノイズのみならず画像の高周波成分も除去されるため、処理後の画像には、画像およびノイズの低周波成分が偏って含まれることになる。その結果、ノイズの低周波成分の影響も加わり、まるですりガラス越しに見るかのような画像になっていた。
【０００６】
なお、特許文献２は、着目画素から空間的にランダムに軸を設定し、その軸上の画素に関して平滑化処理を行うことで、画像が低周波成分に偏ることを抑えている。しかしながら、特許文献２の構成では、平滑化に利用する画素が空間方向の軸上に限定されており、輝度値の平滑化を行うために利用される画素数が少ないという問題があった。これでは、画像に重畳されているノイズを十分に低減できない。
【０００７】
本発明は上記課題に鑑みてなされたものであり、その目的は、画像の周波数成分が低周波成分に偏ることを抑えつつ、画像に重畳されたノイズを低減することにある。
【課題を解決するための手段】
【０００８】
本発明による画像処理装置は、所与の着目画素および参照画素の各々について、前記着目画素の画素値と前記参照画素の画素値との差の大きさに応じて単調減少する関数を用いて、ノイズ平滑化処理に用いられる第１の乗算係数を算出する第１の算出部と、前記着目画素および前記参照画素の各々について、乱数を用いて、ノイズ平滑化処理に用いられる第２の乗算係数を算出する第２の算出部と、前記着目画素および前記参照画素の各々についての前記第１の乗算係数、前記第２の乗算係数および画素値を乗算し、得られた複数の乗算結果の総和を演算する積和演算部と、前記着目画素および前記参照画素の各々についての前記第１の乗算係数および前記第２の乗算係数を乗算し、得られた複数の乗算結果の総和を演算する係数総和部と、前記積和演算部が演算した総和を、前記係数総和部が演算した総和で除算する除算部と、前記除算部の除算結果を出力する出力部とを備えている。
【０００９】
前記画像処理装置は、複数のフレームを含む動画像を取得する取得部をさらに備え、前記着目画素および前記参照画素は、前記動画像の時間方向および空間方向のフレーム上に定められた画素であってもよい。
【００１０】
前記第２の算出部は、前記乱数を少なくとも１回生成する乱数生成部と、少なくとも１回生成された前記乱数を保持する乱数保持部とを備え、前記乱数保持部が保持する前記乱数を用いて前記第２の乗算係数を算出してもよい。
【００１１】
前記乱数生成部は前記乱数を複数回生成し、前記乱数保持部は前記乱数の組を複数保持し、前記乱数保持部が保持する前記乱数の組を選択して前記第２の乗算係数を算出してもよい。
【００１２】
前記第２の算出部は、２値乱数および複数乱数の一方を用いて、前記第２の乗算係数を算出してもよい。
【００１３】
前記第１の算出部は、前記単調減少の関数として、ガウシアン関数およびロジスティック関数の一方を用いて前記第１の乗算係数を算出してもよい。
【００１４】
本発明による画像処理方法は、所与の着目画素および参照画素の各々について、前記着目画素の画素値と前記参照画素の画素値との差の大きさに応じて単調減少する関数を用いて、ノイズ平滑化処理に用いられる第１の乗算係数を算出する第１の算出ステップと、前記着目画素および前記参照画素の各々について、乱数を用いて、ノイズ平滑化処理に用いられる第２の乗算係数を算出する第２の算出ステップと、前記着目画素および前記参照画素の各々についての前記第１の乗算係数、前記第２の乗算係数および画素値を乗算し、得られた複数の乗算結果の総和を演算する積和演算ステップと、前記着目画素および前記参照画素の各々についての前記第１の乗算係数および前記第２の乗算係数を乗算し、得られた複数の乗算結果の総和を演算する係数総和ステップと、前記積和演算ステップが演算した総和を、前記係数総和ステップが演算した総和で除算するステップと、除算する前記ステップの除算結果を出力するステップとを包含する。
【００１５】
本発明によるコンピュータプログラムは、画像処理装置に設けられたコンピュータによって実行されるコンピュータプログラムであって、前記コンピュータプログラムは、前記画像処理装置に実装されるコンピュータに対し、所与の着目画素および参照画素の各々について、前記着目画素の画素値と前記参照画素の画素値との差の大きさに応じて単調減少する関数を用いて、ノイズ平滑化処理に用いられる第１の乗算係数を算出する第１の算出ステップと、前記着目画素および前記参照画素の各々について、乱数を用いて、ノイズ平滑化処理に用いられる第２の乗算係数を算出する第２の算出ステップと、前記着目画素および前記参照画素の各々についての前記第１の乗算係数、前記第２の乗算係数および画素値を乗算し、得られた複数の乗算結果の総和を演算する積和演算ステップと、前記着目画素および前記参照画素の各々についての前記第１の乗算係数および前記第２の乗算係数を乗算し、得られた複数の乗算結果の総和を演算する係数総和ステップと、前記積和演算ステップが演算した総和を、前記係数総和ステップが演算した総和で除算するステップと、除算する前記ステップの除算結果を出力するステップとを実行させる。
【００１６】
本発明によるチップ回路は、上述のコンピュータプログラムが組み込まれたチップ回路である。
【発明の効果】
【００１７】
本発明によれば、時間方向および空間方向の少なくとも一方向の１つ以上の画素の画素値に対して、ランダムな係数を乗算する。これにより、ノイズの低減と高周波成分の保持を実現できる。
【００１８】
また、着目画素の画素値と参照画素の画素値との差に応じて、重みを減少させる単調減少関数部を設けることにより、動きのある被写体に対しても、処理後の画像に含まれる動きぶれの低減を実現できる。
【図面の簡単な説明】
【００１９】
【図１】本実施形態における画像処理装置１０１の構成を示すブロック図である。
【図２】本実施形態におけるフィルタ処理の特性を表すフィルタ係数の説明図である。
【図３】３種類のノイズ平滑化処理の関数（指数関数、ガウス関数、２値乱数）の各周波数特性を表す図である。
【図４】第二の乗算係数算出部１０４の構成例を示す図である。
【図５】第二の乗算係数算出部１０４の変形例の構成を示す図である。
【図６】乱数保持部３０１が保持する複数の乱数パターンデータ１１０のデータ構造を示す図である。
【図７】本発明の実施形態１にかかる画像処理装置１０１のノイズ低減処理動作のフローチャートを示す。
【図８】本発明の実施形態１の変形例による画像処理装置１０２のブロック図である。
【図９】着目画素と参照画素のフレーム内での画素座標値間の距離である空間距離をパラメータとして利用する際のフィルタ処理の特性を表すフィルタ係数の説明図である。
【図１０】着目画素と参照画素のフレーム間での画素座標値間の距離である時空間距離をパラメータとして利用する際のフィルタ処理の特性を表すフィルタ係数の説明図である。
【図１１】画素値の差と乗算係数値との他の関係を示す図である。
【図１２】画像再構成装置４０２と画像処理装置１０１とを有する画像処理システム２００の構成を示す図である。
【図１３】画像処理装置１０１の出力を受け取り、画像を再構成する画像再構成処理装置４０２を有する画像処理システム２０１の構成を示す図である。
【発明を実施するための形態】
【００２０】
以下、添付の図面を参照しながら、本発明による画像処理装置の実施形態を説明する。
【００２１】
まず、本明細書では以下のように用語を定義する。すなわち、「時間方向」とは、時間軸に沿って、という意味である。また「空間方向」とは、ある画像フレームのフレーム内においてという意味である。
【００２２】
（実施形態１）
図１は、本実施形態における画像処理装置１０１の構成を示すブロック図である。
【００２３】
画像処理装置１０１は、第一の乗算係数算出部１０３と、第二の乗算係数算出部１０４と、積和演算部１０５と、係数総和部１０６と、除算部１０７と、画像取得部１０８と、出力部１０９とを備えている。
【００２４】
画像処理装置１０１は、画像取得部１０８を介して入力画像Ｉを受け取り、入力画像Ｉに対してフィルタ処理を施した後、得られた画像Ｉ’を出力部１０９を介して出力する。画像取得部１０８および出力部１０９はＳＤＩ端子、ＨＤＭＩ端子などの映像端子である。
【００２５】
画像処理装置１０１が行うフィルタ処理は、下記の数１によって表される。
【００２６】
【数１】
ここで、Ｉ（ｘ，ｙ，ｔ）は入力画像を表し、Ｉ’（ｘ，ｙ，ｔ）は出力画像を表す。また”＊”は時間方向のコンボリューション（畳み込み積分）を示す。
【００２７】
画像処理装置１０１の各構成要素は、上記数１に示される一部の演算を実行する。すなわち、第一の乗算係数算出部１０３は、数１のｇ（ｘ，ｙ，ｔ）の算出処理を行う。第二の乗算係数算出部１０４は数１のｆ（ｘ，ｙ，ｔ）の算出処理を行う。積和演算部１０５は、数１の分子に示されるコンボリューション演算を行う。係数総和部１０６は、数１の分母に示される積分演算を行う。除算部１０７は、数１の除算演算を行う。
【００２８】
図２は、本実施形態におけるフィルタ処理の特性を表すフィルタ係数の説明図である。本実施形態では、フィルタ係数は２種類のパラメータによって決定される。
【００２９】
第一のパラメータは、フィルタ処理によって画素値が更新されるその着目画素の画素値とフィルタ処理の計算時に画素値を参照される参照画素の画素値との差分値である。画素値は階調を表しているため、画素値の差分値は階調差とも呼ばれる。第一のパラメータとして階調差ΔＩが求められる。本実施形態では、参照画素および着目画素は、画素位置（ｘ，ｙ）は同一であり、フレーム番号（すなわち撮影時刻ｔ）が異なる関係にあるとしている。
【００３０】
一方、第二のパラメータは、上記着目画素と参照画素の時間差（フレーム番号の差）ΔＴである。
【００３１】
本実施形態では、上記２つのパラメータによって決まるフィルタ係数を用いてフィルタ演算を行うことにより、ノイズ成分を低減しつつ、かつ、フィルタ出力に残るノイズの周波数成分が、通常のＬＰＦ（ローパスフィルタ）によるノイズ低減の結果にみられる様に、低周波数成分に偏ることを防ぐ。
【００３２】
以下、撮像処理装置１０１の各構成要素を詳細に説明する。
【００３３】
第一の乗算係数算出部１０３は、入力画像Ｉを受け取り、入力画像Ｉの着目位置の画素の画素値と、それ以外の位置の画素の画素値との差（階調差）を計算し、その差分値によって係数を算出する。係数の値は、差分値が大きいほど小さくする。本実施形態においては、係数であるｇ（ｘ，ｙ，ｔ）は、差分値に関して単調減少する関数である。
【００３４】
第一の乗算係数算出部１０３の具体的な計算を、ガウシアン関数を例にして説明する。ガウシアン関数は、一般にａ・ｅｘｐ（−（ｘ−ｂ）2／（２ｃ2））と表される。
【００３５】
いま、入力画像として、座標（ｘ，ｙ）における３フレーム分の画素値Ｉ（ｘ，ｙ，ｔ１）、Ｉ（ｘ，ｙ，ｔ２）、Ｉ（ｘ，ｙ，ｔ３）を考える。そして時刻ｔ＝ｔ２における位置（ｘ，ｙ）の画素を着目画素とする。着目画素の画素値が、上述のガウシアン関数のｂに相当する。ガウシアン関数で用いられる標準偏差（上記数式におけるｃに相当する。）をσで表す。
【００３６】
このとき、（ｘ，ｙ，ｔ１）の乗算係数を（数２）に示す。
【００３７】
【数２】
【００３８】
（ｘ，ｙ，ｔ２）の乗算係数は１になる。
【００３９】
（ｘ，ｙ，ｔ３）の乗算係数を（数３）に示す。
【００４０】
【数３】
【００４１】
次に、第二の乗算係数算出部１０４を説明する。第二の乗算係数算出部１０４は、入力のデータ数に対して、ランダムな乗算値を出力する。具体的には、（ｘ，ｙ，ｔ１）、（ｘ，ｙ，ｔ２）、（ｘ，ｙ，ｔ３）の入力された３つの画素の画素値に着目すると、それぞれに乗算するための乱数（ｒ１，ｒ２，ｒ３）を出力する。出力される乱数は、多値乱数に限るものではなく、２値乱数であってもよい。
【００４２】
図３を参照しながら、第二の乗算係数算出部１０４の効果を説明する。図３は、３種類のノイズ平滑化処理の関数（指数関数、ガウス関数、２値乱数）の各周波数特性を表している。これらの特性によれば、まず、ガウス関数、指数関数を用いたノイズ平滑化処理では、低周波成分を多く通し、高周波成分を０．１倍以下に低減していることがわかる。よって、処理後の画像の周波数成分は低周波成分に偏ってしまう。一方、２値乱数を用いたノイズ平滑化処理では、低周波から高周波まで、偏りなくほぼ一様に通す。よって、処理後の画像の周波数成分が低周波成分に偏ることを防ぐことができる。ここで「ほぼ一様に通す」とは、たとえば全周波数帯域に亘って各周波数成分を約１０％またはそれ以上通すことをいう。
【００４３】
第二の乗算係数算出部１０４で出力する係数の生成について、図４を参照しながら説明する。図４は、第二の乗算係数算出部１０４の構成例を示す。第二の乗算係数算出部１０４は、乱数生成部２０１を有している。乱数生成部２０１は、入力画像Ｉの各フレームの各画素値に対して、乱数を出力する。乱数生成部２０１で生成した乱数は、一部を利用する構成にしてもよいし、複数に分割して利用してもよい。
【００４４】
ただし、第二の乗算係数算出部１０４は、入力画像Ｉの各フレームの各画素値に対して、乱数を生成する構成だけでなく、生成した乱数を保持して再利用する構成でもよい。図５を参照しながらこの構成を詳細に説明する。
【００４５】
図５は、第二の乗算係数算出部１０４の変形例の構成を示す。第二の乗算係数算出部１０４は、乱数生成部２０１と、乱数保持部３０１とを有している。乱数保持部３０１は、乱数生成部２０１が少なくとも１回乱数を出力すると、その乱数を保持し、保持した乱数を後に出力する。ここで、乱数保持部３０１が保持する乱数は、入力画像Ｉの各フレームの各画素値に対して、１パターンのみ保持し、再利用する構成にしてもよい。これにより、回路規模、および、乱数を記憶するメモリ容量を最小限にすることができ、装置全体を小型化、低コスト化できる。
【００４６】
または、乱数を複数パターン用意し、入力ごとに出力する乱数を変えてもよい。たとえば図６は、乱数保持部３０１が保持する複数の乱数パターンデータ１１０のデータ構造を示す。複数の乱数パターンデータ１１０のように、乱数パターンを複数有する利点は、観察者に知覚されないよう、残像を目立たなくできる点にある。第二の乗算係数算出部１０４で用いる乱数が固定の場合、入力画像のテクスチャと動きの組み合わせによっては、被写体の輪郭付近等のテクスチャのコントラストの高いところで残像が生じ、これが観察者に知覚される可能性がある。そこで第二の乗算係数算出部１０４で用いる乱数の組を複数用意し、画素毎に切り替えると、残像の発生を空間的、時間的に一様でないようにすることができる。その結果、残像を目立たなくでき、観察者に知覚されないようにできる。
【００４７】
積和演算部１０５は、入力画像Ｉ、第一の乗算係数算出部１０３が出力した係数ｇ（ｘ，ｙ，ｔ）および第二の乗算係数算出部１０４が出力した係数ｆ（ｘ，ｙ，ｔ）を乗算した後に加算する。
【００４８】
積和演算部１０５の具体的な計算を説明する。第一の乗算係数算出部１０３がガウシアン関数、第二の乗算係数算出部１０４の出力をｆ（Ｔ）とし、入力を（ｘ，ｙ，ｔ１）、（ｘ，ｙ，ｔ２），（ｘ，ｙ，ｔ３）の３つの画素値とする。このとき、積和演算部１０５の計算は（数４）のようになる。
【００４９】
【数４】
【００５０】
係数総和部１０６は、ｔ＝ｔ１〜ｔ３の各時刻における第一の乗算係数算出部１０３の出力、および第二の乗算係数算出部１０４の出力（係数ｆ（Ｔ））を乗算し、得られた複数の値を加算する。
【００５１】
具体的には、第一の乗算係数算出部１０３に例えばガウシアン関数を用いる場合、係数総和部１０６の計算は（数５）のようになる。
【００５２】
【数５】
【００５３】
除算部１０７は、積和演算部１０５の出力を係数総和部１０６の出力で除算する。除算部１０７の出力が、画像処理装置１０１の出力画像Ｉ’となる。
【００５４】
図７は、本実施形態の画像処理装置１０１によるノイズ低減処理動作のフローチャートを示す。
【００５５】
ステップＳ１０において、画像取得部１０８は入力画像Ｉを受け取る。
【００５６】
ステップＳ１１において、第一の乗算係数算出部１０３は、着目画素の画素値と参照画素間の画素値との差に関して単調に減少する関数を用いてフィルタ係数ｇ（ｘ，ｙ，ｔ）を演算する。このようなフィルタにより、ノイズを低減させることが可能になる。
【００５７】
ステップＳ１２において、第二の乗算係数算出部１０４は、入力画像Ｉの着目画素および参照画素の各々に対応する乱数ｆ（ｔ）を生成する。本実施形態では、この乱数ｆ（ｔ）を２値乱数のくし型フィルタとして機能させ、ノイズを低減させる。
【００５８】
ステップＳ１３において、積和演算部１０５は、各時刻における乱数ｆ（ｔ）、フィルタ係数ｇ（ｘ、ｙ、ｔ）、および画素値Ｉ（ｘ、ｙ、ｔ）の積を求め、それらの和Ｓｕｍ１を計算する。
【００５９】
ステップＳ１４において、係数総和部１０６は、各時刻における乱数ｆ（ｔ）、およびフィルタ係数ｇ（ｘ、ｙ、Ｔ）の積を求め、それらの和Ｓｕｍ２を計算する。
【００６０】
ステップＳ１５において、除算部１０７はステップＳ１３で求めたＳｕｍ１を、ステップＳ１４で求めたＳｕｍ２で除算する。
【００６１】
そしてステップＳ１６において、出力部１０９は、除算結果として得られた新たな画像Ｉ’を出力する。
【００６２】
本実施形態ではガウシアン関数を用いたバイラテラルフィルタとして説明した。上述の処理によれば、ノイズが低域に偏っていないノイズ低減画像を出力することができる。
【００６３】
以上述べたように、本実施形態によれば、着目画素と参照画素間の画素値の差（階調差）と時間差（フレーム番号の差）という、２つのパラメータによって決まるフィルタ演算を行うことにより、ノイズ成分を低減しつつ、かつ、フィルタ出力に残るノイズの周波数成分が、通常のＬＰＦ（ローパスフィルタ）によるノイズ低減の結果にみられる様に、低周波数成分に偏ることを防ぐことができ、見た目に自然な違和感のないノイズ低減画像を得ることができる。
【００６４】
ノイズレベルの大小に応じて、もしくは、ノイズ低減効果の大小を制御するために、第一の乗算係数算出部１０３の、係数をランダムに設定する１つ以上の画素の数（すなわち、フィルタのタップ数）を大きくしてもよい。これにより、より大きなノイズ低減効果を得ることができる。また、第二の乗算係数算出部１０４の着目画素との画素値の差（階調差）に応じた重みを減少する際にも、重みの減少を緩やかにすることにより、より大きなノイズ低減効果を得ることができる。
【００６５】
ただし、前者については、「係数をランダムに設定する１つ以上の画素」の数（すなわち、フィルタのタップ数）を大きくすることにより、回路規模、演算量が大きくなる。そのため、回路規模や演算量とノイズ低減効果とのバランスを考慮する必要がある。また、後者については、「着目画素との画素値の差（階調差）に応じた重みを減少」を緩やかにすることにより、画像の細部が平滑化されて失われる。そのため、画像細部の解像度とノイズ低減効果とのバランスを考慮して、着目画素との画素値の差（階調差）に応じた重み減少の程度を決める必要がある。
【００６６】
（実施形態１の変形例）
実施形態１では、第一の乗算係数算出部１０３の例としてガウシアン関数を挙げた。しかしながらこれは一例に過ぎない。単調減少する関数であれば第一の乗算係数算出部１０３として利用することができる。たとえば他の関数としてロジスティック関数を用いてもよい。図８は、そのような実施形態１の変形例による画像処理装置１０２のブロック図である。図において、実施形態１と同一の動作をする構成要素については、図１と同一の符号を付し説明を省略する。ここでは、第１の乗算係数算出部９０１の動作について説明する。
【００６７】
入力画像Ｉの座標（ｘ，ｙ）における３フレーム分の画素値Ｉ（ｘ，ｙ，ｔ１）、Ｉ（ｘ，ｙ，ｔ２）、Ｉ（ｘ，ｙ，ｔ３）を考え、時刻ｔ＝ｔ２における位置（ｘ，ｙ）の画素を着目画素とする。このとき、第一の乗算係数算出部９０１は、数６に示される式により、Ｉ（ｘ，ｙ，ｔ１）に対する乗算係数を求める。
【００６８】
【数６】
【００６９】
また、（ｘ，ｙ，ｔ２）の乗算係数は１になる。
【００７０】
さらに、（ｘ，ｙ，ｔ３）の乗算係数を（数７）に示す。
【００７１】
【数７】
【００７２】
以上述べたように、第一の乗算係数算出部１０３で計算する係数は、実施形態１で述べたガウシアン関数によるものに限る必要はない。実施形態１の変形例として述べたようなロジスティック関数を用いても、実施形態１と同様の効果を得ることができる。
【００７３】
すなわち、単調減少する関数を用いて、第一の乗算係数の値が、着目画素と参照画素との画素値の差（階調差）に応じて減少する様に計算する。これにより、被写体の輪郭付近等において画素値が急激に大きく変化する場合、着目画素と画素値が大きく異なる参照画素の画素値が出力画像Ｉ’の画素値に与える影響を小さくできるため、被写体の輪郭部分での画質を保ち、見た目に自然な出力画像を得ることができる。
【００７４】
なお、本発明の実施形態１およびその変形において、第二の乗算係数算出部１０４が乱数を算出するに当たっては、図２に示す時間差（着目画素と参照画素のフレーム番号の差）ΔＴをパラメータする必要はない。他には、たとえば図９に示すような空間距離（着目画素と参照画素のフレーム内での画素座標値間の距離）や図１０に示すような時空間距離（着目画素と参照画素のフレーム間での画素座標値間の距離）をパラメータとしてもよい。このような、より少ないフレーム数の入力画像から同様のノイズ低減効果を得ることができる。これらもまた、本発明に含まれる。
【００７５】
なお、ガウシアン関数を用いた上記の実施形態では、第一の乗算係数算出部１０３の出力する係数は、画素値の差（階調差）が０のときに、最大値を出力する構成である。しかしながら、本発明はこれに限定されない。
【００７６】
図１１は、画素値の差（階調差）と乗算係数値との他の関係を示す。図１１に示すように、画素値の差（階調差）がＮのときに、係数の最大値をとる構成であってもよい。ここで、Ｎは入力画像に含まれるノイズの標準偏差、もしくは、分散の定数倍として決定する。
【００７７】
この構成で本発明の効果が得られる理由は、以下のとおりである。入力画像にノイズが含まれる場合、着目画素の観測値がノイズの影響によって変動する。よって、その変動の大きさに応じて、図１１におけるＮの値を調整すれば、処理結果に強く影響を与える範囲（着目画素と参照画素の画素値の差、すなわち階調差、の範囲）を決めることができる。また、ノイズを含まない真の画素値（未知の画素値）の出力画像への影響を、着目画素におけるそれよりも大きくできる。この構成によれば、画素値の差（階調差）が０でない位置の画素値を出力結果に反映しやすくなり、出力画像が低周波成分に偏ることを防ぐことができる。
【００７８】
また、第一の乗算係数算出部１０３の出力する係数が、画素差がＮのときに、係数の最大値をとる構成であるとき、出力画像が低周波成分に偏ることを防ぐことができる。よって第二の乗算係数算出部１０４で出力する係数は、着目画素からの時空間の距離差が０のときに最大値を出力する単調減少関数の構成であってもよい。
【００７９】
上述の実施形態およびその変形例では、画像処理装置１０１についてのみ説明した。しかしながら、画像処理装置１０１の入力画像Ｉが、画像を再構成する装置の出力であってもよい。
【００８０】
図１２は、画像再構成装置４０２と画像処理装置１０１とを有する画像処理システム２００の構成を示す。図１２において、画像再構成処理装置４０２は、同一の被写体を１種類以上の解像度と１種類以上のフレームレートで撮像した後、画像を再構成する技術である。「画像を再構成する」とは、たとえば超解像処理を行うことにより、当初の解像度およびフレームレートの少なくとも一方を向上させる処理である。画像再構成処理装置４０２の例としては、例えば特許第４３１７５８６号に記載の技術が挙げられる。
【００８１】
ただし、画像再構成処理装置４０２は、上述の特許にかかる発明に限られるものではなく、その他の超解像処理技術を利用してもよい。本実施例によって、再構成処理装置１０１の出力のＳ／Ｎを向上するとともに、画像が低周波成分に偏ることを防ぐことができる。
【００８２】
上述した画像処理システム２００では、再構成処理装置４０１の出力を画像処理装置１０１の入力画像Ｉにするという構成にした。しかしながら、これは一例である。たとえば図１３は、画像処理装置１０１の出力を受け取り、画像を再構成する画像再構成処理装置４０２を有する画像処理システム２０１の構成を示す。このように、画像処理装置１０１の出力画像Ｉ’を再構成処理装置４０１に入力してもよい。この構成によって、入力画像Ｉ’のＳ／Ｎを向上できるため、再構成処理装置４０１単独の処理よりも、Ｓ／Ｎを向上することができる。
【００８３】
なお、たとえば実施形態１では画像処理装置１０１を説明したが、本発明は、装置として実現されなくてもよい。たとえば、コンピュータである汎用のプロセッサがコンピュータ読み取り可能な記録媒体に記録されたコンピュータプログラムを実行することにより、上述した画像処理装置１０１の動作を行ってもよい。そのようなコンピュータプログラムは、たとえば上述の図７に示すフローチャートの処理を実現するための複数の命令で構成されている。コンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。
【００８４】
さらに、本発明は、上述のコンピュータプログラムが組み込まれた、いわゆるデジタル信号プロセッサ（ＤＳＰ）のような、１つまたは複数のチップ回路としてとして実現されてもよい。
【産業上の利用可能性】
【００８５】
本発明は、画像に含まれるノイズを低減する画像処理装置として実現される際に有用である。また、本発明は、コンピュータプログラムとしても実現される。さらに本発明は、そのようなコンピュータプログラムを１つまたは複数の回路に組み込んだＤＳＰ等のハードウェアとして実現される。
【符号の説明】
【００８６】
１０１ 画像処理装置
１０３ 第一の乗算係数算出部
１０４ 第二の乗算係数算出部
１０５ 積和演算部
１０６ 係数総和部
１０７ 除算部
２００ 画像処理システム
２０１ 乱数生成部
３０１ 乱数保持部
４０２ 画像再構成処理装置
【特許請求の範囲】
【請求項１】
所与の着目画素および参照画素の各々について、前記着目画素の画素値と前記参照画素の画素値との差の大きさに応じて単調減少する関数を用いて、ノイズ平滑化処理に用いられる第１の乗算係数を算出する第１の算出部と、
前記着目画素および前記参照画素の各々について、乱数を用いて、ノイズ平滑化処理に用いられる第２の乗算係数を算出する第２の算出部と、
前記着目画素および前記参照画素の各々についての前記第１の乗算係数、前記第２の乗算係数および画素値を乗算し、得られた複数の乗算結果の総和を演算する積和演算部と、
前記着目画素および前記参照画素の各々についての前記第１の乗算係数および前記第２の乗算係数を乗算し、得られた複数の乗算結果の総和を演算する係数総和部と、
前記積和演算部が演算した総和を、前記係数総和部が演算した総和で除算する除算部と、
前記除算部の除算結果を出力する出力部と
を備えた、画像処理装置。
【請求項２】
複数のフレームを含む動画像を取得する取得部をさらに備え、
前記着目画素および前記参照画素は、前記動画像の時間方向および空間方向のフレーム上に定められた画素である、請求項１に記載の画像処理装置。
【請求項３】
前記第２の算出部は、
前記乱数を少なくとも１回生成する乱数生成部と、
少なくとも１回生成された前記乱数を保持する乱数保持部と
を備え、前記乱数保持部が保持する前記乱数を用いて前記第２の乗算係数を算出する、請求項１に記載の画像処理装置。
【請求項４】
前記乱数生成部は、前記乱数を複数回生成し、
前記乱数保持部は、前記乱数の組を複数保持し、
前記乱数保持部が保持する前記乱数の組を選択して前記第２の乗算係数を算出する、請求項３に記載の画像処理装置。
【請求項５】
前記第２の算出部は、２値乱数および複数乱数の一方を用いて、前記第２の乗算係数を算出する、請求項１に記載の画像処理装置。
【請求項６】
前記第１の算出部は、前記単調減少の関数として、ガウシアン関数およびロジスティック関数の一方を用いて前記第１の乗算係数を算出する、請求項１に記載の画像処理装置。
【請求項７】
所与の着目画素および参照画素の各々について、前記着目画素の画素値と前記参照画素の画素値との差の大きさに応じて単調減少する関数を用いて、ノイズ平滑化処理に用いられる第１の乗算係数を算出する第１の算出ステップと、
前記着目画素および前記参照画素の各々について、乱数を用いて、ノイズ平滑化処理に用いられる第２の乗算係数を算出する第２の算出ステップと、
前記着目画素および前記参照画素の各々についての前記第１の乗算係数、前記第２の乗算係数および画素値を乗算し、得られた複数の乗算結果の総和を演算する積和演算ステップと、
前記着目画素および前記参照画素の各々についての前記第１の乗算係数および前記第２の乗算係数を乗算し、得られた複数の乗算結果の総和を演算する係数総和ステップと、
前記積和演算ステップが演算した総和を、前記係数総和ステップが演算した総和で除算するステップと、
除算する前記ステップの除算結果を出力するステップと
を包含する、画像処理方法。
【請求項８】
画像処理装置に設けられたコンピュータによって実行されるコンピュータプログラムであって、
前記コンピュータプログラムは、前記画像処理装置に実装されるコンピュータに対し、
所与の着目画素および参照画素の各々について、前記着目画素の画素値と前記参照画素の画素値との差の大きさに応じて単調減少する関数を用いて、ノイズ平滑化処理に用いられる第１の乗算係数を算出する第１の算出ステップと、
前記着目画素および前記参照画素の各々について、乱数を用いて、ノイズ平滑化処理に用いられる第２の乗算係数を算出する第２の算出ステップと、
前記着目画素および前記参照画素の各々についての前記第１の乗算係数、前記第２の乗算係数および画素値を乗算し、得られた複数の乗算結果の総和を演算する積和演算ステップと、
前記着目画素および前記参照画素の各々についての前記第１の乗算係数および前記第２の乗算係数を乗算し、得られた複数の乗算結果の総和を演算する係数総和ステップと、
前記積和演算ステップが演算した総和を、前記係数総和ステップが演算した総和で除算するステップと、
除算する前記ステップの除算結果を出力するステップと
を実行させる、コンピュータプログラム。
【請求項９】
請求項８に記載のコンピュータプログラムが組み込まれたチップ回路。
【請求項１】
所与の着目画素および参照画素の各々について、前記着目画素の画素値と前記参照画素の画素値との差の大きさに応じて単調減少する関数を用いて、ノイズ平滑化処理に用いられる第１の乗算係数を算出する第１の算出部と、
前記着目画素および前記参照画素の各々について、乱数を用いて、ノイズ平滑化処理に用いられる第２の乗算係数を算出する第２の算出部と、
前記着目画素および前記参照画素の各々についての前記第１の乗算係数、前記第２の乗算係数および画素値を乗算し、得られた複数の乗算結果の総和を演算する積和演算部と、
前記着目画素および前記参照画素の各々についての前記第１の乗算係数および前記第２の乗算係数を乗算し、得られた複数の乗算結果の総和を演算する係数総和部と、
前記積和演算部が演算した総和を、前記係数総和部が演算した総和で除算する除算部と、
前記除算部の除算結果を出力する出力部と
を備えた、画像処理装置。
【請求項２】
複数のフレームを含む動画像を取得する取得部をさらに備え、
前記着目画素および前記参照画素は、前記動画像の時間方向および空間方向のフレーム上に定められた画素である、請求項１に記載の画像処理装置。
【請求項３】
前記第２の算出部は、
前記乱数を少なくとも１回生成する乱数生成部と、
少なくとも１回生成された前記乱数を保持する乱数保持部と
を備え、前記乱数保持部が保持する前記乱数を用いて前記第２の乗算係数を算出する、請求項１に記載の画像処理装置。
【請求項４】
前記乱数生成部は、前記乱数を複数回生成し、
前記乱数保持部は、前記乱数の組を複数保持し、
前記乱数保持部が保持する前記乱数の組を選択して前記第２の乗算係数を算出する、請求項３に記載の画像処理装置。
【請求項５】
前記第２の算出部は、２値乱数および複数乱数の一方を用いて、前記第２の乗算係数を算出する、請求項１に記載の画像処理装置。
【請求項６】
前記第１の算出部は、前記単調減少の関数として、ガウシアン関数およびロジスティック関数の一方を用いて前記第１の乗算係数を算出する、請求項１に記載の画像処理装置。
【請求項７】
所与の着目画素および参照画素の各々について、前記着目画素の画素値と前記参照画素の画素値との差の大きさに応じて単調減少する関数を用いて、ノイズ平滑化処理に用いられる第１の乗算係数を算出する第１の算出ステップと、
前記着目画素および前記参照画素の各々について、乱数を用いて、ノイズ平滑化処理に用いられる第２の乗算係数を算出する第２の算出ステップと、
前記着目画素および前記参照画素の各々についての前記第１の乗算係数、前記第２の乗算係数および画素値を乗算し、得られた複数の乗算結果の総和を演算する積和演算ステップと、
前記着目画素および前記参照画素の各々についての前記第１の乗算係数および前記第２の乗算係数を乗算し、得られた複数の乗算結果の総和を演算する係数総和ステップと、
前記積和演算ステップが演算した総和を、前記係数総和ステップが演算した総和で除算するステップと、
除算する前記ステップの除算結果を出力するステップと
を包含する、画像処理方法。
【請求項８】
画像処理装置に設けられたコンピュータによって実行されるコンピュータプログラムであって、
前記コンピュータプログラムは、前記画像処理装置に実装されるコンピュータに対し、
所与の着目画素および参照画素の各々について、前記着目画素の画素値と前記参照画素の画素値との差の大きさに応じて単調減少する関数を用いて、ノイズ平滑化処理に用いられる第１の乗算係数を算出する第１の算出ステップと、
前記着目画素および前記参照画素の各々について、乱数を用いて、ノイズ平滑化処理に用いられる第２の乗算係数を算出する第２の算出ステップと、
前記着目画素および前記参照画素の各々についての前記第１の乗算係数、前記第２の乗算係数および画素値を乗算し、得られた複数の乗算結果の総和を演算する積和演算ステップと、
前記着目画素および前記参照画素の各々についての前記第１の乗算係数および前記第２の乗算係数を乗算し、得られた複数の乗算結果の総和を演算する係数総和ステップと、
前記積和演算ステップが演算した総和を、前記係数総和ステップが演算した総和で除算するステップと、
除算する前記ステップの除算結果を出力するステップと
を実行させる、コンピュータプログラム。
【請求項９】
請求項８に記載のコンピュータプログラムが組み込まれたチップ回路。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−２７０１６（Ｐ２０１３−２７０１６Ａ）
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願番号】特願２０１１−１６３０７６（Ｐ２０１１−１６３０７６）
【出願日】平成２３年７月２６日（２０１１．７．２６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願日】平成２３年７月２６日（２０１１．７．２６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]