説明

信号処理方法、及び信号処理装置

【課題】様々な入力信号に対応し、短時間で入力信号を処理することが可能な、信号処理方法、及び信号処理装置を提供すること。
【解決手段】サンプル画像に基づき生成されたフィルタと、該サンプル画像のパワースペクトルとを対応付けて格納する格納部20と、入力画像のパワースペクトルを算出し、格納部20に格納された複数のパワースペクトルのうち、算出されたパワースペクトルに近似するパワースペクトルを選択し、格納部20に格納された複数のフィルタのうち、選択されたパワースペクトルに対応するフィルタを選択するフィルタ選択部30と、入力画像に対して、選択されたフィルタを用いてコンボリューション処理を行うコンボリューション処理部40とを含む。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、信号処理方法、及び信号処理装置に関する。
【背景技術】
【0002】
従来から、ラプラシアンフィルタやガウスフィルタといったコンボリューションフィルタを用いて、エッジ強調やぼかしの画像処理を行う手法が知られている(例えば、特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2009−79949号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の手法では、任意の入力画像に対して的確に作用するフィルタはなく、入力画像を想定してパラメータが調整されたフィルタを使うしかなかった。また、入力画像を複数の解像度に展開するウェーブレットが知られているが、画素の1/2の級数で展開されるため、各解像度の差が粗く、きめ細かく画質を調整することができないといった問題点があった。また、ウェーブレットでは、入力画像を展開するため、大きな画像に対しては処理時間が膨大になるといった問題点があった。
【0005】
本発明は、以上のような問題点に鑑みてなされたものであり、本発明のいくつかの態様によれば、様々な入力信号に対応し、短時間で入力信号を処理することが可能な、信号処理方法、及び信号処理装置を提供することができる。
【課題を解決するための手段】
【0006】
(1)本発明に係る信号処理方法は、
入力信号のパワースペクトルを算出し、格納部に格納された複数のパワースペクトルのうち、算出されたパワースペクトルに近似するパワースペクトルを選択し、該格納部に格納された複数のフィルタのうち、選択されたパワースペクトルに対応するフィルタを選択するフィルタ選択工程と、
入力信号に対して、選択されたフィルタを用いてコンボリューション処理を行うコンボリューション処理工程とを含む。
【0007】
本発明によれば、複数のフィルタの中から、入力信号のパワースペクトルに基づき選択したフィルタを用いて入力信号に対してコンボリューション処理を行うことで、短い処理時間で入力信号に適したフィルタを用いた信号処理を行うことができる。
【0008】
(2)本発明に係る信号処理方法では、
前記格納部に格納されているフィルタは、サンプル入力信号に基づくフィルタ生成工程により生成され、且つ、該サンプル入力信号のパワースペクトルに対応付けられており、
前記フィルタ生成工程において、
任意の分布関数であるフィルタを、2つの分布関数の差を展開フィルタとして級数的に任意の個数の展開フィルタに展開し、各展開フィルタの係数を任意に設定し、前記係数を掛けた各展開フィルタを加算することで、前記展開フィルタの個数及び前記各展開フィルタの係数の関数であるフィルタを生成し、サンプル入力信号に基づき前記展開フィルタの個数及び前記各展開フィルタの係数を設定してもよい。
【0009】
本発明によれば、サンプル入力信号に基づき前記展開フィルタの個数及び前記各展開フィルタの係数を設定することで、サンプル入力信号に適したフィルタを生成することができ、サンプル入力信号に基づき生成した複数のフィルタの中から、入力信号のパワースペクトルに基づき選択したフィルタを用いて入力信号に対してコンボリューション処理を行うことで、短い処理時間で入力信号に適したフィルタを用いた信号処理を行うことができる。
【0010】
(3)本発明に係る信号処理方法では、
前記フィルタ生成工程において、
生成されたフィルタを用いてサンプル入力信号に対してコンボリューション処理を行うことによって得られる信号のSN比が最大となるように、前記展開フィルタの個数及び前記各展開フィルタの係数を設定してもよい。
【0011】
本発明によれば、サンプル入力信号に適したフィルタを生成することができ、サンプル入力信号に基づき生成した複数のフィルタの中から、入力信号のパワースペクトルに基づき選択したフィルタを用いて入力信号に対してコンボリューション処理を行うことで、短い処理時間で入力信号に適したフィルタを用いた信号処理を行うことができる。
【0012】
(4)本発明に係る信号処理方法では、
入力信号の空間サイズを拡張する空間サイズ拡張工程を更に含み、
前記コンボリューション処理工程において、
空間サイズが拡張された入力信号に対して、選択されたフィルタを用いてコンボリューション処理を行ってもよい。
【0013】
本発明によれば、入力信号の空間サイズを拡張してコンボリューション処理を行うことで、より適切な信号処理を行うことができる。
【0014】
(5)本発明に係る信号処理方法では、
前記空間サイズ拡張工程において、
入力信号の空間サイズを順次拡張し、空間サイズが拡張された入力信号の情報次元とコンボリューション処理が行われた出力信号の情報次元の比が所定の閾値を超えた時の倍率を最終倍率としてもよい。
【0015】
本発明によれば、入力信号の空間サイズを、選択されたフィルタに適した空間サイズに拡張することができ、より適切な信号処理を行うことができる。
【0016】
(6)本発明に係る信号処理方法では、
前記出力信号の空間サイズを、入力信号の空間サイズに復元する空間サイズ復元工程を更に含んでもよい。
【0017】
(7)本発明に係る信号処理方法では、
前記分布関数は、ガウス関数でもよい。
【0018】
(8)本発明に係る信号処理装置は、
サンプル入力信号に基づき生成されたフィルタと、該サンプル入力信号のパワースペクトルとを対応付けて格納する格納部と、
入力信号のパワースペクトルを算出し、前記格納部に格納された複数のパワースペクトルのうち、算出されたパワースペクトルに近似するパワースペクトルを選択し、前記格納部に格納された複数のフィルタのうち、選択されたパワースペクトルに対応するフィルタを選択するフィルタ選択部と、
入力信号に対して、選択されたフィルタを用いてコンボリューション処理を行うコンボリューション処理部とを含む。
【0019】
本発明によれば、サンプル入力信号に基づき生成した複数のフィルタの中から、入力信号のパワースペクトルに基づき選択したフィルタを用いて入力信号に対してコンボリューション処理を行うことで、短い処理時間で入力信号に適したフィルタを用いた信号処理を行うことができる。
【0020】
(9)本発明に係る信号処理装置では、
サンプル入力信号に基づきフィルタを生成し、該サンプル入力信号のパワースペクトルを算出するフィルタ生成部を更に含み、
前記フィルタ生成部が、
任意の分布関数であるフィルタを、2つの分布関数の差を展開フィルタとして級数的に任意の個数の展開フィルタに展開し、各展開フィルタの係数を任意に設定し、前記係数を掛けた各展開フィルタを加算することで、前記展開フィルタの個数及び前記各展開フィルタの係数の関数であるフィルタを生成し、サンプル入力信号に基づき前記展開フィルタの個数及び前記各展開フィルタの係数を設定してもよい。
【0021】
本発明によれば、サンプル入力信号に基づき前記展開フィルタの個数及び前記各展開フィルタの係数を設定することで、サンプル入力信号に適したフィルタを生成することができ、サンプル入力信号に基づき生成した複数のフィルタの中から、入力信号のパワースペクトルに基づき選択したフィルタを用いて入力信号に対してコンボリューション処理を行うことで、短い処理時間で入力信号に適したフィルタを用いた信号処理を行うことができる。
【0022】
(10)本発明に係る信号処理装置では、
前記フィルタ生成部が、
生成されたフィルタを用いてサンプル入力信号に対してコンボリューション処理を行うことによって得られる信号のSN比が最大となるように、前記展開フィルタの個数及び前記各展開フィルタの係数を設定してもよい。
【0023】
本発明によれば、サンプル入力信号に適したフィルタを生成することができ、サンプル入力信号に基づき生成した複数のフィルタの中から、入力信号のパワースペクトルに基づき選択したフィルタを用いて入力信号に対してコンボリューション処理を行うことで、短い処理時間で入力信号に適したフィルタを用いた信号処理を行うことができる。
【0024】
(11)本発明に係る信号処理装置では、
入力信号の空間サイズを拡張する空間サイズ拡張部を更に含み、
前記コンボリューション処理部が、
空間サイズが拡張された入力信号に対して、選択されたフィルタを用いてコンボリューション処理を行ってもよい。
【0025】
本発明によれば、入力信号の空間サイズを拡張してコンボリューション処理を行うことで、より適切な信号処理を行うことができる。
【0026】
(12)本発明に係る信号処理装置では、
前記空間サイズ拡張部が、
入力信号の空間サイズを順次拡張し、空間サイズが拡張された入力信号の情報次元とコンボリューション処理が行われた出力信号の情報次元の比が所定の閾値を超えた時の倍率を最終倍率としてもよい。
【0027】
本発明によれば、入力信号の空間サイズを、選択されたフィルタに適した空間サイズに拡張することができ、より適切な信号処理を行うことができる。
【0028】
(13)本発明に係る信号処理装置では、
前記出力信号の空間サイズを、入力信号の空間サイズに復元する空間サイズ復元部を更に含んでもよい。
【0029】
(14)本発明に係る信号処理装置では、
前記分布関数は、ガウス関数でもよい。
【図面の簡単な説明】
【0030】
【図1】本実施形態に係る画像処理装置(信号処理装置)の機能ブロック図の一例を示す図。
【図2】フィルタ生成部の詳細な機能ブロック図の一例を示す図。
【図3】展開フィルタの一例を示す図。
【図4】展開フィルタの係数について説明するための図。
【図5】本実施形態の処理の一例を示すフローチャート図。
【図6】本実施形態の処理の一例を示すフローチャート図。
【図7】本実施形態の手法による画像処理例を示す図。
【図8】本実施形態の手法による画像処理例を示す図。
【発明を実施するための形態】
【0031】
以下、本発明の好適な実施形態について図面を用いて詳細に説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成の全てが本発明の必須構成要件であるとは限らない。
【0032】
1.構成
図1に、本実施形態に係る画像処理装置(信号処理装置)の機能ブロック図の一例を示す。なお本実施形態の画像処理装置は図1の構成要素(各部)の一部を省略した構成としてもよい。
【0033】
本実施形態の画像処理装置1は、走査型電子顕微鏡(SEM)によって撮像された画像(SEM画像)を入力画像(入力信号の一例)として、入力画像の画質(分解能)を変えるための画像処理を行う装置であり、フィルタ生成部10、格納部20、フィルタ選択部30、コンボリューション処理部40、空間サイズ拡張部50、空間サイズ復元部60を含む。フィルタ生成部10、格納部20、フィルタ選択部30、コンボリューション処理部40、空間サイズ拡張部50及び空間サイズ復元部60の機能は、各種プロセッサ(CPU、DSP等)や、プログラムにより実現することができ、格納部20の機能は、RAMやハードディスクなどにより実現することができる。なお、画像処理装置1は、少なくとも、格納部20、フィルタ選択部30及びコンボリューション処理部40を備えていればよい。
【0034】
フィルタ生成部10は、サンプル画像(サンプル入力信号)に基づきフィルタを生成し、該サンプル画像のパワースペクトルを算出し、生成したフィルタと算出したパワースペクトルを格納部20に出力する。
【0035】
また、フィルタ生成部10は、任意の分布関数(例えば、ガウス分布)であるフィルタを、2つの分布関数の差を展開フィルタとして級数的に任意の個数の展開フィルタに展開し、各展開フィルタの係数を任意に設定し、前記係数を掛けた各展開フィルタを加算することで、前記展開フィルタの個数及び前記各展開フィルタの係数の関数であるフィルタを生成し、サンプル画像に基づき前記展開フィルタの個数及び前記各展開フィルタの係数を設定するようにしてもよい。
【0036】
また、フィルタ生成部10は、生成されたフィルタを用いてサンプル画像に対してコンボリューション処理を行うことによって得られる信号のSN比が最大となるように、前記展開フィルタの個数及び前記各展開フィルタの係数を設定するようにしてもよい。
【0037】
格納部20(記憶部)は、フィルタ生成部10によって、サンプル画像に基づき生成されたフィルタと、該サンプル画像のパワースペクトルとを対応付けて格納(記憶)する。なお、格納部20には、サンプル画像から生成したフィルタと該サンプル画像のパワースペクトルのセットを多数(例えば、100セット程度)格納しておくことが望ましい。また、サンプル画像としては、様々な試料を撮像したSEM画像や、様々な自然物や人工物をデジタルカメラ等で撮像した画像等を用いることができる。
【0038】
フィルタ選択部30は、入力画像(入力信号)のパワースペクトルを算出し、格納部20に格納された複数のパワースペクトルのうち、算出されたパワースペクトルに近似するパワースペクトルを選択し、格納部20に格納された複数のフィルタのうち、選択されたパワースペクトルに対応するフィルタを選択(抽出)して、選択したフィルタをコンボリューション処理部40に出力する。
【0039】
コンボリューション処理部40は、入力画像に対して、フィルタ選択部30で選択されたフィルタを用いてコンボリューション処理を行う。また、コンボリューション処理部40は、画像サイズ拡張部50によって空間サイズが拡張された入力画像に対して、選択されたフィルタを用いてコンボリューション処理を行ってもよい。
【0040】
画像サイズ拡張部50は、入力画像の空間サイズ(画像サイズ)を、bicubic法、bilinear法、又はnearest neighbor法等の手法を用いて拡張する処理を行う。
【0041】
また、画像サイズ拡張部50は、入力画像の空間サイズを等倍から順次拡張し、空間サイズが拡張された入力画像の情報次元と、コンボリューション処理部40でコンボリューション処理が行われた出力画像(出力信号)の情報次元の比が所定の閾値を超えた時の倍率を最終倍率とするようにしてもよい。
【0042】
空間サイズ復元部60は、コンボリューション処理部40でコンボリューション処理が行われた出力画像の空間サイズを、入力画像の空間サイズに復元する処理を行う。
【0043】
2.本実施形態の手法
次に本実施形態の手法について図面を用いて説明する。
【0044】
2−1.フィルタの選択とコンボリューション処理
入力画像に対して分布関数であるフィルタを用いてコンボリューションすることによって、入力画像の画質を変えることができる。本実施形態のコンボリューション処理部40は、次式に示すコンボリューション処理を行う。
【0045】
【数1】

【0046】
ここで、Iinは入力画像を示し、Ioutは出力画像を示し、Mは分布関数であるフィルタを示す。式(1)は、次式のように表される。
【0047】
【数2】

【0048】
ここで、x、yは、入力画像のX座標、Y座標を示し、X、Yは、フィルタのX座標、Y座標を示す。入力画像は通常、離散値であるため、式(2)は、次式のように表される。
【0049】
【数3】

【0050】
ここで、nx、nyは、入力画像のX方向画素数、Y方向画像数を示し、NX、NYは、フィルタのX方向画素数、Y方向画像数を示す。
【0051】
本実施形態のフィルタ選択部30は、離散化画像である入力画像Iin{ij}を、次式により離散フーリエ変換する。
【0052】
【数4】

【0053】
次に、フィルタ選択部30は、入力画像のパワースペクトルPin(p,q)を、次式により算出する。
【0054】
【数5】

【0055】
次に、フィルタ選択部30は、入力画像のパワースペクトルPin(p,q)と、格納部20に格納されたパワースペクトルPrec(p,q)との誤差errを、次式により算出する。
【0056】
【数6】

【0057】
そして、フィルタ選択部30は、格納部20に格納された複数のパワースペクトルのうち、入力画像のパワースペクトルとの誤差errが最小となるパワースペクトルを選択し、格納部20に格納された複数のフィルタのうち、選択されたパワースペクトルに対応するフィルタMを選択して、コンボリューション処理部40に出力する。
【0058】
このように、入力画像のパワースペクトルと最も近似するパワースペクトルに対応するフィルタを選択することで、入力画像に適したフィルタを生成する処理をその都度行うことなく、短い処理時間で入力画像に最適なフィルタを得ることができる。
【0059】
なお、入力画像のパワースペクトルと近似するパワースペクトルに対応するフィルタを選択する場合に、ニューラルネットワークや自己相関等の統計的手法を用いるようにしてもよい。例えば、ニューラルネットワークの手法では、入力を格納部20に格納されたパワースペクトルとし、出力を該パワースペクトルに対応付けられたフィルタとしてニューラルネットワークで学習させておき、入力画像のパワースペクトルを学習済みのニューラルネットワークに入力することで最適なフィルタを推論させることができる。
【0060】
2−2.フィルタの生成
図2に、本実施形態のフィルタ生成部10の詳細な機能ブロック図の一例を示す。
【0061】
フィルタ生成部10は、フィルタ展開部11、展開フィルタ生成部12、展開フィルタ格納部13、係数生成部14、フィルタ再構成部15、コンボリューション部16、画質評価部17、パワースペクトル生成部18を含む。
【0062】
フィルタ展開部11は、任意の分布関数であるフィルタを、2つの分布関数の差を展開フィルタとして級数的に任意の個数の展開フィルタに展開する。
【0063】
ある2次元分布関数をGとし、k(k=0,1,2‥nの整数)が大きくなるほど、分布関数Gの分散σが大きくなるものとする。ここでは、分布関数Gをk位の分布関数とする。例えば、分布関数Gを2次元ガウス関数とすると、分布関数Gとその分散σは、次式により表される。
【0064】
【数7】

【0065】
また、式(8)に示すように、k=0の場合、Gは、デルタ関数に近似するものとする(すなわち、Gの分散σは、0に近似する)。
【0066】
本実施形態では、このデルタ関数に近似する分布関数Gを、n個の展開フィルタ(2つの分布関数の差である分布関数)に級数的に展開する。いま、分布関数Gを、次式のように展開する。
【0067】
【数8】

【0068】
式(9)の第2項を、同様にしてn個に展開すると、次式のようになる。
【0069】
【数9】

【0070】
ここで、k個目の展開項を、k位の展開フィルタMとして、Mk=Gk-1-Gkとすると、式(10)は、次式のように表される。
【0071】
【数10】

【0072】
式(11)に示すように、分布関数Gは、n位の分布関数Gと、k−1位の分布関数Gk−1とk位の分布関数Gの差であるn個の展開フィルタM(k=1〜n)に展開されたことになる。
【0073】
図3に、展開フィルタMの一例を示す。図3では、式(7)においてΔσ=0.5、σ=1.5とし、k=1,3,5の場合をそれぞれ示した。図3に示すように、各展開フィルタMは、差分フィルタとなり、入力画像のエッジをk位で強調するフィルタとなる。ここで、展開フィルタMは、kの値が大きくなるほどその分散が大きくなるため、kの値が小さい展開フィルタMは、入力画像の高周波成分に対応するエッジ強調フィルタとなり、kの値が大きい展開フィルタMは、入力画像の低周波成分に対応するエッジ強調フィルタとなる。
【0074】
図2に示す展開フィルタ生成部12は、フィルタ展開部11で生成された展開フィルタMを平滑化する処理を行う。すなわち、次式に示すように、展開フィルタMに対して、k-1位の分布関数Gk-1を用いてコンボリューション処理を行うことで、新たな展開フィルタMを生成する。
【0075】
【数11】

【0076】
これは、kの値が大きくなると展開フィルタMの振幅が小さくなるため、振幅の大きさを補正するためである。
【0077】
展開フィルタ格納部13は、展開フィルタ生成部12で生成されたn個の展開フィルタMを格納する。
【0078】
係数生成部14は、展開フィルタ格納部13に格納されたn個の展開フィルタMのそれぞれに掛ける係数ωを、例えば、次式により生成する。
【0079】
【数12】

【0080】
ここで、λは任意の実数であるが、0.5〜0.9位の正の実数が望ましい。本実施形態では、λを1未満の実数としているため、図4に示すように、kの値が大きな展開フィルタM(画像の低周波成分に対応する展開フィルタ)の係数ωは大きくなり、kの値が小さな展開フィルタM(画像の高周波成分に対応する展開フィルタ)の係数ωは小さくなる。すなわち、より高周波の成分に対応する展開フィルタMほどその係数ωの値が減衰するようにしている。これは、一般的に、入力画像のパワースペクトルを見ると低周波成分が多いためである。このようにすると、見た目の自然さを保ちつつ画像の分解能を向上させることができる。
【0081】
また、図4に示すように、λの値を変化させると係数ωの減衰の度合いが変化する。例えば、λの値を大きくするほど係数ωの減衰の度合いは小さくなり、画像の高周波成分に対応する展開フィルタMの係数ωを大きくすることができ、また、λの値を小さくするほど係数ωの減衰の度合いは大きくなり、画像の高周波成分に対応する展開フィルタMの係数ωを小さくすることができる。すなわち、λの値を変えることで、画像の各周波数成分に対応する各展開フィルタMの重み付けを変えることができる。なお、図4は、n=10とした場合の例である。
【0082】
また、入力画像における特定の周波数成分に対してのみエッジ強調等の画像処理を行いたい場合には、当該周波数成分に対応する展開フィルタMの係数ωを0でない実数に設定し、それ以外の展開フィルタMの係数ωを0に設定すればよい。
【0083】
図2に示すフィルタ再構成部15は、展開フィルタ格納部13に格納された展開フィルタM(k=1〜n)と、係数生成部14で生成された係数ω(k=1〜n)に基づき、展開フィルタの個数nと、係数ωを特徴付けるλとの関数であるフィルタM(n,λ)を、次式により再構成する。
【0084】
【数13】

【0085】
ここで、Norm()は、正規化を示す。また、G(Gチルダ)は、任意の分布関数であるが、デルタ関数に近似するGに近い分布が望ましい。
【0086】
このように、λに基づく係数ωを掛けたn個の展開フィルタMを加算してフィルタを再構成することで、λとnの値に応じて様々な特性をもったフィルタM(n,λ)を作成することができる。例えば、図4に示したように、λの値を大きくすることで、高周波成分に対応する展開フィルタMの重み付けを大きくしたフィルタM(n,λ)を生成することができる。また、nの値を大きくすることで、より低周波の成分に対応するフィルタM(n,λ)を生成することができる。
【0087】
また、本実施形態の手法では、入力画像に比べて小さなサイズのフィルタ(例えば、9×9サイズのフィルタ)を展開して再構築するため、入力画像自体を展開するウェーブレット等の手法に比べて処理時間を極めて短くすることができる。
【0088】
コンボリューション部16は、フィルタ再構成部15で生成されたフィルタM(n,λ)を用いて、サンプル画像Iinに対して次式に示すコンボリューション処理を行うことで、画像Iを生成する。
【0089】
【数14】

【0090】
画質評価部17は、コンボリューション部16で生成された画像IのSNR(SN比)を、例えば、次式により算出する。
【0091】
【数15】

【0092】
ここで、次式に示すように、μsignalは、画像Iの平均であり、σnoiseは、画像Iの標準偏差である。
【0093】
【数16】

【0094】
コンボリューション部16は、フィルタM(n,λ)のnとλの全ての組み合わせについて、サンプル画像に対してフィルタM(n,λ)を用いたコンボリューション処理を行って画像Iを生成する。そして、画質評価部17は、生成された各画像IのSN比を算出して、次式により、SN比が最大となるnとλの組み合わせを求める。そして、SN比が最大となるnとλの組み合わせをもつフィルタM(n,λ)を、最適フィルタMとして格納部20(図1参照)に出力する。
【0095】
【数17】

【0096】
パワースペクトル生成部18は、サンプル画像のパワースペクトルPを、式(4)、式(5)と同様に算出して、格納部20に出力する。そして、格納部20には、サンプル画像に基づき生成された最適フィルタMと該サンプル画像のパワースペクトルPとが対応付けられて格納される。
【0097】
このように、サンプル画像から最適フィルタMを生成して、該サンプル画像のパワースペクトルPを算出する処理を、複数の異なるサンプル画像のそれぞれについて行う。
【0098】
本実施形態によれば、λとnの値に応じて様々な特性をもったフィルタM(n,λ)のうち、各サンプル画像に最適なフィルタMを生成することができ、また、各サンプル画像のパワースペクトルと対応付けて各サンプル画像に最適なフィルタMを格納しておくことで、サンプル画像のパワースペクトルに近似するパワースペクトルをもつ入力画像に適したフィルタを容易に選択することができる。
【0099】
2−3.画像サイズの拡張
図1に示す空間サイズ拡張部50は、入力画像Iinの画素数を、次式により公知の手法で補間或いは内挿して大きくして、サイズ変換画像Iexを生成する。
【0100】
【数18】

【0101】
ここで、Tsizeは、変換オペレータを示す。
【0102】
このサイズ変換画像IexとフィルタMとのコンボリューションがコンボリューション処理部40で行われ、出力画像Ioutが出力される。空間サイズ拡張部50は、入力画像Iinを倍率magでサイズ変換したときの出力画像Ioutの情報次元D(Iout|mag)を、次式により算出する。
【0103】
【数19】

【0104】
ここで、nx’、nx’は、サイズ変換後の画像のX方向画素数、Y方向画像数を示す(すなわち、nx ’=mag×nx、ny ’=mag×ny)。
【0105】
同様に、倍率magでサイズ変換したサイズ変換画像Iexの情報次元D(Iex|mag)を、次式により算出する。
【0106】
【数20】

【0107】
次に、出力画像Ioutの情報次元D(Iout|mag)とサイズ変換画像Iexの情報次元D(Iex|mag)の比Drate(mag)を、次式により算出する。
【0108】
【数21】

【0109】
そして、サイズ変換倍率magを、次式により順次大きくし、式(25)が不成立となった時の倍率magを最終倍率とする。
【0110】
【数22】

【0111】
ここで、k=1,2,・・・kmaxである。また、Δmagはパラメータであり、例えばΔmag=0.5である。
【0112】
【数23】

【0113】
ここで、εは、閾値のパラメータであり、例えばε=0.1である。
【0114】
このように、出力画像の情報次元とサイズ変換画像の情報次元の比Drate(mag)が所与の閾値を超えたときの倍率で入力画像の画像サイズを拡張することで、入力画像の画像サイズをフィルタMに適したサイズに拡張することができ、より適切なフィルタ処理を行うことができる。なお、出力画像の情報次元D(Iout|mag)とサイズ変換画像の情報次元D(Iex|mag)の式の分子は、情報エントロピーを示しているため、情報次元に代えて情報エントロピーを用いてもよい。
【0115】
空間サイズ復元部60は、コンボリューション処理部40から出力された出力画像Ioutの画素数を、入力画像Iinの画素数に戻す。また、入力画像Iinの画素数に戻さずにそのまま出力画像として出力してもよい。また、出力画像Ioutの画像サイズを復元するか否かを設定により切り替えるようにしてもよい。なお、出力画像Ioutの画像サイズを入力画像Iinの画像サイズに復元する場合には、サイズ変換倍率を1/magとして出力画像Ioutの画像サイズを変換すればよい。
【0116】
3.処理
次に、本実施形態の処理の一例について図5、6のフローチャートを用いて説明する。図5は、フィルタ選択処理、コンボリューション処理及び画像サイズ拡張処理の一例を示すフローチャート図である。
【0117】
まず、フィルタ選択部30は、式(4)、(5)により、入力画像Iinのパワースペクトルを算出する(ステップS10)。次に、式(6)により、入力画像Iinのパワースペクトルと、格納部に格納された各パワースペクトルとの誤差errを算出し(ステップS12)、格納部20に格納された複数のパワースペクトルのうち、入力画像Iinのパワースペクトルとの誤差errが最小となるパワースペクトルに対応するフィルタMを選択して格納部20から読み出す(ステップS14)。
【0118】
次に、空間サイズ拡張部50は、サイズ変換倍率magを1に設定し(ステップS16)、入力画像Iinの画像サイズを倍率magで拡張してサイズ変換画像Iexを生成する(ステップS18)。
【0119】
次に、コンボリューション処理部40は、サイズ変換画像Iexに対して、ステップS14で選択したフィルタMを用いてコンボリューション処理を行って出力画像Ioutを生成する(ステップS20)。
【0120】
次に、空間サイズ拡張部50は、式(21)〜(23)により、出力画像Ioutの情報次元と、サイズ変換画像Iexの情報次元の比Drate(mag)を算出する(ステップ22)。次に、情報次元の比Drate(mag)が、パラメータεを超えたか否かを判断し(ステップS24)、εを超えていないと判断した場合には、サイズ変換倍率magをΔmagだけ増加させ(ステップS26)、ステップS18の処理に進む。そして、情報次元の比Drate(mag)がεを超えるまでステップS18以下の処理を繰り返す。
【0121】
次に、空間サイズ復元部60は、出力画像Ioutの画像サイズを入力画像Iinの画像サイズに復元して出力する(ステップS28)。
【0122】
図6は、フィルタ生成処理の一例を示すフローチャート図である。
【0123】
まず、フィルタ生成部10は、式(11)により、デルタ関数に近似する分布関数であるフィルタGを、k−1位の分布関数Gk−1とk位の分布関数Gの差であるn個の展開フィルタMに展開する(ステップS30)。次に、式(12)により、各展開フィルタMを平滑化する(ステップS32)。
【0124】
次に、展開フィルタの個数nに1を設定し、且つλに0.5を設定して、式(13)により、各展開フィルタMの係数ωkを算出する(ステップS34、S36)。次に、式(14)により、係数ωkを掛けたn個の展開フィルタMを加算してフィルタM(n,λ)を再構築する(ステップS38)。
【0125】
次に、式(15)により、サンプル画像に対してフィルタM(n,λ)を用いてコンボリューション処理を行って画像Iを生成し(ステップS40)、式(16)〜(18)により、生成した画像のIのSN比を算出する(ステップS42)。
【0126】
次に、nの値が所定の最大値nmaxに達したか否かを判断し(ステップS44)、nmaxに達していない場合には、nの値を1だけ増加させ(ステップS46)、ステップS36の処理に進む。そして、nの値が最大値nmaxに達するまでステップ36以下の処理を繰り返す。
【0127】
nの値が最大値nmaxに達したと判断した場合には、λの値が0.9に達したか否かを判断し(ステップS48)、0.9に達していない場合には、λの値をΔλだけ増加させ(ステップS50)、ステップS36の処理に進む。そして、λの値が0.9に達するまでステップ36以下の処理を繰り返す。
【0128】
λの値が0.9に達した(nとλの全組み合わせについて画像IのSN比の算出が行われた)と判断した場合には、式(19)により、SN比が最大となるnとλの組み合わせをもつフィルタM(n,λ)を求め、求めたフィルタを最適フィルタMとして格納部20に出力する(ステップS52)。
【0129】
次に、サンプル画像のパワースペクトルを算出し、算出したパワースペクトルを格納部20に出力する(ステップS54)。
【0130】
4.画像処理例
図7(A)は、カーボンの被蒸着材に金粒子を蒸着させた試料を撮像したSEM画像である。図7(B)は、図7(A)に示すSEM画像に対して、本実施形態の手法による画像処理を施した出力画像である。図7(B)に示すように、本実施形態の手法によれば、入力画像に対して適度なエッジ強調処理を施すことができ、入力画像の画質(分解能)を向上させることができる。
【0131】
図8(A)は、デジタルカメラで撮像した人物像の一部を拡大した画像であり、図8(B)は、図8(A)に示す画像に対して、本実施形態の手法による画像処理を施した出力画像である。図8(B)に示すように、本実施形態の手法によれば、SEM画像のみならず、デジタルカメラ等で撮像した画像に対しても、画質を向上させるための適切なフィルタ処理を施すことができる。
【0132】
なお、本発明は、上述の実施の形態に限定されるものではなく、種々の変形が可能である。本発明は、実施の形態で説明した構成と実質的に同一の構成(例えば、機能、方法及び結果が同一の構成、あるいは目的及び効果が同一の構成)を含む。また、本発明は、実施の形態で説明した構成の本質的でない部分を置き換えた構成を含む。また、本発明は、実施の形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成することができる構成を含む。また、本発明は、実施の形態で説明した構成に公知技術を付加した構成を含む。
【0133】
例えば、上記実施形態では、本発明を2次元画像に対する画像処理に適用した場合について説明したが、本発明を1次元の信号(例えば、音声信号)に対する信号処理に適用してもよい。
【符号の説明】
【0134】
1 画像処理装置、10 フィルタ生成部、11 フィルタ展開部、12 展開フィルタ生成部、13 展開フィルタ格納部、14 係数生成部、15 フィルタ再構成部、16 コンボリューション部、17 画質評価部、18 パワースペクトル生成部、20 格納部、30 フィルタ選択部、40 コンボリューション処理部、50 空間サイズ拡張部、60 空間サイズ復元部

【特許請求の範囲】
【請求項1】
入力信号のパワースペクトルを算出し、格納部に格納された複数のパワースペクトルのうち、算出されたパワースペクトルに近似するパワースペクトルを選択し、該格納部に格納された複数のフィルタのうち、選択されたパワースペクトルに対応するフィルタを選択するフィルタ選択工程と、
入力信号に対して、選択されたフィルタを用いてコンボリューション処理を行うコンボリューション処理工程とを含む、信号処理方法。
【請求項2】
請求項1において、
前記格納部に格納されているフィルタは、サンプル入力信号に基づくフィルタ生成工程により生成され、且つ、該サンプル入力信号のパワースペクトルに対応付けられており、
前記フィルタ生成工程において、
任意の分布関数であるフィルタを、2つの分布関数の差を展開フィルタとして級数的に任意の個数の展開フィルタに展開し、各展開フィルタの係数を任意に設定し、前記係数を掛けた各展開フィルタを加算することで、前記展開フィルタの個数及び前記各展開フィルタの係数の関数であるフィルタを生成し、サンプル入力信号に基づき前記展開フィルタの個数及び前記各展開フィルタの係数を設定する、信号処理方法。
【請求項3】
請求項2において、
前記フィルタ生成工程において、
生成されたフィルタを用いてサンプル入力信号に対してコンボリューション処理を行うことによって得られる信号のSN比が最大となるように、前記展開フィルタの個数及び前記各展開フィルタの係数を設定する、信号処理方法。
【請求項4】
請求項1乃至3のいずれかにおいて、
入力信号の空間サイズを拡張する空間サイズ拡張工程を更に含み、
前記コンボリューション処理工程において、
空間サイズが拡張された入力信号に対して、選択されたフィルタを用いてコンボリューション処理を行う、信号処理方法。
【請求項5】
請求項4において、
前記空間サイズ拡張工程において、
入力信号の空間サイズを順次拡張し、空間サイズが拡張された入力信号の情報次元とコンボリューション処理が行われた出力信号の情報次元の比が所定の閾値を超えた時の倍率を最終倍率とする、信号処理方法。
【請求項6】
請求項4又は5において、
前記出力信号の空間サイズを、入力信号の空間サイズに復元する空間サイズ復元工程を更に含む、信号処理方法。
【請求項7】
請求項1乃至6のいずれかにおいて、
前記分布関数は、ガウス関数である、信号処理方法。
【請求項8】
サンプル入力信号に基づき生成されたフィルタと、該サンプル入力信号のパワースペクトルとを対応付けて格納する格納部と、
入力信号のパワースペクトルを算出し、前記格納部に格納された複数のパワースペクトルのうち、算出されたパワースペクトルに近似するパワースペクトルを選択し、前記格納部に格納された複数のフィルタのうち、選択されたパワースペクトルに対応するフィルタを選択するフィルタ選択部と、
入力信号に対して、選択されたフィルタを用いてコンボリューション処理を行うコンボリューション処理部とを含む、信号処理装置。
【請求項9】
請求項8において、
サンプル入力信号に基づきフィルタを生成し、該サンプル入力信号のパワースペクトルを算出するフィルタ生成部を更に含み、
前記フィルタ生成部が、
任意の分布関数であるフィルタを、2つの分布関数の差を展開フィルタとして級数的に任意の個数の展開フィルタに展開し、各展開フィルタの係数を任意に設定し、前記係数を掛けた各展開フィルタを加算することで、前記展開フィルタの個数及び前記各展開フィルタの係数の関数であるフィルタを生成し、サンプル入力信号に基づき前記展開フィルタの個数及び前記各展開フィルタの係数を設定する、信号処理装置。
【請求項10】
請求項9において、
前記フィルタ生成部が、
生成されたフィルタを用いてサンプル入力信号に対してコンボリューション処理を行うことによって得られる信号のSN比が最大となるように、前記展開フィルタの個数及び前記各展開フィルタの係数を設定する、信号処理装置。
【請求項11】
請求項8乃至10のいずれかにおいて、
入力信号の空間サイズを拡張する空間サイズ拡張部を更に含み、
前記コンボリューション処理部が、
空間サイズが拡張された入力信号に対して、選択されたフィルタを用いてコンボリューション処理を行う、信号処理装置。
【請求項12】
請求項11において、
前記空間サイズ拡張部が、
入力信号の空間サイズを順次拡張し、空間サイズが拡張された入力信号の情報次元とコンボリューション処理が行われた出力信号の情報次元の比が所定の閾値を超えた時の倍率を最終倍率とする、信号処理装置。
【請求項13】
請求項11又は12において、
前記出力信号の空間サイズを、入力信号の空間サイズに復元する空間サイズ復元部を更に含む、信号処理装置。
【請求項14】
請求項8乃至13のいずれかにおいて、
前記分布関数は、ガウス関数である、信号処理装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2012−137951(P2012−137951A)
【公開日】平成24年7月19日(2012.7.19)
【国際特許分類】
【出願番号】特願2010−290101(P2010−290101)
【出願日】平成22年12月27日(2010.12.27)
【出願人】(000004271)日本電子株式会社 (811)
【Fターム(参考)】