画像処理装置及び画像処理プログラム
【課題】原画像中の領域の連続性を確保した周波数特性を得て画像強調などを行う画像処理装置を提供する。
【解決手段】帯域分解部11は、与えられた原画像を予め定められた周波数帯域ごとの周波数成分画像に分解する。強度算出部12は、各画素を順に処理対象画素とし、その処理対象画素を含む予め定められた大きさの局所領域について周波数特性を解析し、各周波数帯域における周波数成分の強度を算出する。帯域加重画像生成部13は、局所領域における各周波数成分の強度に従って、処理対象画素が属する周波数帯域を決定するとともに、局所領域の各画素に対して当該周波数帯域の加重値を割り当てて帯域加重画像を生成する。画像強調部14は、原画像に対して、帯域加重画像生成部13で生成した各周波数帯域の帯域加重画像における加重値に従って、対応する周波数帯域の強調処理を行う。
【解決手段】帯域分解部11は、与えられた原画像を予め定められた周波数帯域ごとの周波数成分画像に分解する。強度算出部12は、各画素を順に処理対象画素とし、その処理対象画素を含む予め定められた大きさの局所領域について周波数特性を解析し、各周波数帯域における周波数成分の強度を算出する。帯域加重画像生成部13は、局所領域における各周波数成分の強度に従って、処理対象画素が属する周波数帯域を決定するとともに、局所領域の各画素に対して当該周波数帯域の加重値を割り当てて帯域加重画像を生成する。画像強調部14は、原画像に対して、帯域加重画像生成部13で生成した各周波数帯域の帯域加重画像における加重値に従って、対応する周波数帯域の強調処理を行う。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置及び画像処理プログラムに関するものである。
【背景技術】
【0002】
画像処理の一つとして、画像中の色または濃度の境界や輪郭などを強調し、あるいは、特定の周波数帯域を強調する画像強調技術がある。この画像強調技術を用い、自然画像の質感を向上させ、あるいは医療画像の分野でレントゲン写真を見やすく補正するなど、画像強調技術は様々な分野で利用されている。
【0003】
画像強調技術は、近年では「質感」の向上を意識した再現に変わりつつある。従来より用いられている手法として、USM(アンシャープマスキング)が知られており、画像全体に高周波強調フィルタをかけることで、輪郭や模様をはっきりさせている。
【0004】
一方で、USM処理を行うことで、すべての自然画像の質感が向上するわけではない。絵柄によっては、「ノイズが強調された」または「強調されすぎて不自然」などと感じられる場合がある。これは、人間の視覚特性によるものであり、絵柄の周波数帯域に応じて反応しているためと考えられる。
【0005】
画像中の絵柄に応じて強調すべき周波数帯域や強度を変える方法として、例えば、特許文献1に記載されているの方法がある。この方法は、局所領域ごとにエッジ量を算出し、エッジ量に応じて鮮鋭化する手段を切り替えるものである。また特許文献2には、画像を複数の周波数帯域に分解しておき、特定の帯域を強めて再合成することで周波数強調を行う方法が記載されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2004−318423号公報
【特許文献2】特開2007−66138号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、原画像中の領域の連続性を確保した周波数特性を得て画像強調などを行う画像処理装置及び画像処理プログラムを提供することを目的とするものである。
【課題を解決するための手段】
【0008】
本願請求項1に記載の発明は、与えられた原画像を予め定められた周波数帯域ごとの周波数成分画像に分解する帯域分解手段と、各画素を処理対象画素とし該処理対象画素を含む予め定められた大きさの局所領域について各周波数帯域における周波数成分の強度を算出する強度算出手段と、前記局所領域における各周波数成分の強度に従って前記処理対象画素が属する周波数帯域を決定するとともに前記局所領域の各画素に対して当該周波数帯域の加重値を割り当てて帯域加重画像を生成する帯域加重画像生成手段を有することを特徴とする画像処理装置である。
【0009】
本願請求項2に記載の発明は、本願請求項1に記載の発明の構成に、さらに、前記原画像に対して前記帯域加重画像生成手段で生成した各周波数帯域の帯域加重画像における加重値に従って対応する周波数帯域の強調処理を行う強調手段を有することを特徴とする画像処理装置である。
【0010】
本願請求項3に記載の発明は、本願請求項1または請求項2に記載の発明における前記帯域分解手段が、周波数帯域とともに方位ごとに分解することを特徴とする画像処理装置である。
【0011】
本願請求項4に記載の発明は、本願請求項1から請求項3のいずれか1項に記載の発明における前記帯域加重画像生成手段が、前記処理対象画素からの距離に応じた前記加重値を割り当てることを特徴とする画像処理装置である。
【0012】
本願請求項5に記載の発明は、本願請求項1から請求項4のいずれか1項に記載の発明における前記帯域加重画像生成手段が、前記局所領域の各画素に対して割り当てた当該周波数帯域の加重値を、各画素にそれまでに割り当てられた加重値と加算して前記帯域加重画像を生成することを特徴とする画像処理装置である。
【0013】
本願請求項6に記載の発明は、コンピュータに、請求項1から請求項5のいずれか1項に記載の画像処理装置の機能を実行させるものであることを特徴とする画像処理プログラムである。
【発明の効果】
【0014】
本願請求項1に記載の発明によれば、原画像中の領域の連続性を確保した周波数特性を示す帯域加重画像を得ることができる。
【0015】
本願請求項2に記載の発明によれば、原画像中の領域の周波数特性に応じた強調処理を、領域間の連続性を確保して行うことができる。
【0016】
本願請求項3に記載の発明によれば、原画像の周波数特性と輪郭方位特性の両方に応じた帯域加重画像を得ることができる。
【0017】
本願請求項4に記載の発明によれば、本構成を有しない場合に比べて滑らかに周波数特性が変化する帯域加重画像を得ることができる。
【0018】
本願請求項5に記載の発明によれば、本構成を有しない場合に比べて滑らかに周波数特性が変化する帯域加重画像を得ることができる。
【0019】
本願請求項6に記載の発明によれば、本願請求項1から請求項5のいずれか1項に記載の発明の効果を得ることができる。
【図面の簡単な説明】
【0020】
【図1】本発明の第1の実施の形態を示す構成図である。
【図2】帯域分解部の動作の具体例の説明図である。
【図3】DOG関数の一例の説明図である。
【図4】DOG関数の制御パラメータと特性の関係の一例の説明図である。
【図5】強度算出部及び帯域加重画像生成部における動作の第1の具体例の説明図(第2周波数帯域の場合)である。
【図6】強度算出部及び帯域加重画像生成部における動作の第1の具体例の説明図(第1周波数帯域の場合)である。
【図7】強度算出部及び帯域加重画像生成部における動作の第2の具体例の説明図(第2周波数帯域の場合)である。
【図8】強度算出部及び帯域加重画像生成部における動作の第2の具体例の説明図(第1周波数帯域の場合)である。
【図9】周波数と強調度の関係の一例の説明図である。
【図10】強度算出部及び帯域加重画像生成部における動作の第3の具体例の説明図である。
【図11】強度算出部及び帯域加重画像生成部の動作の第3の具体例における画像強調部の動作の一例の説明図である。
【図12】帯域分解部の別の動作の具体例の説明図である。
【図13】方位選択性DOG関数の一例の説明図である。
【図14】本発明の第2の実施の形態を示す構成図である。
【図15】本発明の各実施の形態で説明した機能をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体とコンピュータの一例の説明図である。
【発明を実施するための形態】
【0021】
図1は、本発明の第1の実施の形態を示す構成図である。図中、11は帯域分解部、12は強度算出部、13は帯域加重画像生成部、14は画像強調部である。帯域分解部11は、与えられた原画像を予め定められた周波数帯域ごとの周波数成分画像に分解する。
【0022】
強度算出部12は、各画素を順に処理対象画素とし、その処理対象画素を含む予め定められた大きさの局所領域について周波数特性を解析し、各周波数帯域における周波数成分の強度を算出する。
【0023】
帯域加重画像生成部13は、局所領域における各周波数成分の強度に従って、処理対象画素が属する周波数帯域を決定するとともに、局所領域の各画素に対して当該周波数帯域の加重値を割り当てて帯域加重画像を生成する。処理対象画素が属する周波数帯域は、各周波数成分の強度が最も大きかった周波数帯域を当該処理対象画素が属するものと決定すればよい。加重値は、当該処理対象画素が属する周波数帯域に対応する強度を用いたり、処理対象画素からの距離に応じた値を加重値として割り当てるとよい。処理対象画素以外の画素に割り当てた加重値は、当該画素にそれまでに割り当てられた加重値と加算して新たな加重値とすればよい。このようにして各画素の加重値により、各周波数帯域についての帯域加重画像が生成される。もちろん、加算する加重値あるいは生成処理が終了した帯域加重画像の各加重値を正規化してもよい。
【0024】
画像強調部14は、原画像に対して、帯域加重画像生成部13で生成した各周波数帯域の帯域加重画像における加重値に従って、対応する周波数帯域の強調処理を行う。なお、帯域加重画像を画像強調以外の用途、例えば画像検索のための特徴量などに利用する場合には、この画像強調部14を設けずに構成してもよい。
【0025】
上述の構成について、具体例を用いながらさらに説明する。図2は、帯域分解部の動作の具体例の説明図である。帯域分解部11では、原画像を周波数帯域ごとの周波数成分画像に分解する。図2(A)は原画像を示しており、周波数帯域毎に分解した周波数成分画像を、この例では図2(B)、(C)、(D)に示している。周波数帯域ごとの周波数成分画像に分解する方法としては、ウェーブレット解析や、DOG(Difference Of two Gaussian)関数を用いた方法など、公知の手法を使用すればよい。
【0026】
図3は、DOG関数の一例の説明図である。DOG関数は、人間の脳内における視覚特性の数学的モデルとして知られており、例えば図3に形状を2次元的に示した関数である。このDOG関数は以下の数式1で表される。
GDOG (x,y)=(1/2πσe2)ete−A・(1/2πσi2)eti (数式1)
te=−(x2+y2)/2σe2
ti=−(x2+y2)/2σi2
ここで、σe、σi、Aは制御パラメータである。これらの制御パラメータを変更することで、周波数帯域やその周波数帯域に対する反応の強さなどが制御される。
【0027】
図4は、DOG関数の制御パラメータと特性の関係の一例の説明図である。図4(A)には、数式1のパラメータσe、σi、Aを制御することにより変化する周波数帯域を表している。縦軸の応答が高いほど特定の周波数帯域への反応が強いことを意味する。また図4(B)には、特定の周波数帯域へ反応させるための制御パラメータの一例を示しており、周波数帯域の番号の欄の値と図4(A)に示した番号とが対応している。
【0028】
制御パラメータのうち、σe が小さいほど高周波への反応が強くなり、σi はσe よりも大きな値を設定する。この例では周波数帯域の番号が1の例でσe が最も小さく、その場合に最も高周波数にピークが存在している。また、σe が周波数帯域の番号1のσe より大きな値となるに従ってピークの周波数は低下している。
【0029】
また、制御パラメータAは正のガウスと負のガウスの相対的な強さを制御し、Aが0に近づくほど「ぼかし」のフィルタに近づく。周波数帯域の番号9から12の例において制御パラメータAを変更した場合を示しており、それぞれ図4(A)に一例を示す周波数特性となる。
【0030】
帯域分解部11では、数式1の制御パラメータを変更したいくつかの関数をフィルタとして原画像をフィルタリング処理する。これにより、原画像は図2(B)、(C)、(D)などに示した周波数成分画像に分解される。
【0031】
なお、帯域分解を行うための周波数帯域の数は1以上であればよい。特定の帯域だけに分解してもよいし、または、大きく低中周波数帯域と高周波帯域の2つの周波数帯域などに分類してもよい。もちろん、帯域分解の方法はDOG関数に限られないことは言うまでもない。
【0032】
このようにして帯域分解部11で原画像を周波数成分画像に分解したら、局所領域毎に、強度算出部12は各周波数帯域における周波数成分の強度を算出し、帯域加重画像生成部13は処理対象画素が属する周波数帯域を決定し、当該周波数帯域の加重値を割り当てて帯域加重画像を生成する。
【0033】
図5、図6は、強度算出部及び帯域加重画像生成部における動作の第1の具体例の説明図である。図5(A)及び図6(A)は原画像を示しており、図5(C),(D)及び図6(C),(D)は帯域分解部11で分解された周波数成分画像を示している。この具体例では、2つの周波数帯に分解した例を示している。図5(C),図6(C)に示した第1周波数成分画像は、図5(D),図6(D)に示した第2周波数成分画像よりも低周波数の帯域を、図5(D),図6(D)に示した第2周波数成分画像は、図5(C),図6(C)に示した第1周波数成分画像よりも高周波数の帯域を、それぞれ分離して得たものである。
【0034】
まず、ある処理対象画素について設定される局所領域の処理を説明する。原画像のそれぞれ異なる処理対象画素について設定した局所領域を図5(A)、図6(A)に白枠により示しており、その局所領域の画像を拡大して図5(B)、図6(B)に示している。図5に示した局所領域は他の領域に比べて高周波成分が多く含まれている領域であり、図6に示した局所領域は他の領域に比べて高周波成分が少ない領域である。これらの局所領域に対応する周波数成分画像の領域を拡大して図5(E),(F)及び図6(E),(F)に示している。図5(E)は図5(C)に示す第1周波数成分画像の局所領域を拡大して、図5(E)は図5(C)に示す第2周波数成分画像の局所領域を拡大して示している。また図6(E)は図6(C)に示す第1周波数成分画像の局所領域を拡大して、図6(E)は図6(C)に示す第2周波数成分画像の局所領域を拡大して示している。
【0035】
ある局所領域を周波数帯域ごとに参照すると、捉えられる画像が周波数帯域により異なる。例えば図5(E)と図5(F)、あるいは図6(E)と図6(F)を比較して分かるように、第2周波数成分画像よりも低い周波数帯域を分離した第1周波数成分画像の方が大きめの塊として画像が捉えられ、第1周波数成分画像よりも高い周波数帯域を分離した第2周波数成分画像の方が細かい模様として画像が捉えられる。そこで、強度算出部12で周波数成分の強度を算出して、局所領域の画像がどのような傾向にあるのかを帯域加重画像生成部13で判断するための材料とする。
【0036】
強度の算出方法として、例えば各周波数成分画像における局所領域内の値の最大値をそれぞれ代表値とすればよい。上述のように、例えば各周波数成分画像はフィルタリング処理により得ている場合、各周波数成分画像の各画素は当該周波数成分画像の周波数帯域における反応値となっており、この反応値の最大値を当該局所領域の代表値とする。反応値の平均値を代表値としてもよいが、この場合には周波数帯域が高くなるにつれて反応値が点在して平均値に反映されなくなる場合がある。
【0037】
帯域加重画像生成部13は、強度算出部12で算出された各周波数帯域における強度を示す代表値のうち最も大きな代表値を選択し、その代表値に対応する周波数帯域に当該局所領域が属するものとして判断する。そして、局所領域が属する周波数帯域に対応する帯域加重画像に加重値を割り当てる。加重値は、処理対象画素からの距離に応じた値を加重値として割り当てるとよく、例えば局所領域の中心位置にある処理対象画素が最大(代表値)となるガウス分布に従って加重値を割り当てるとよい。なお、最大となる加重値は、代表値とするほか、代表値を1などの値に正規化してもよい。ほかの周波数帯域に対応する帯域加重画像には加重値を割り当てない。加重値が割り当てられた帯域加重画像の画素では、それまでに割り当てられている加重値に、新たに割り当てられた加重値を加算して、当該がその新たな加重値とする。なお、帯域加重画像は各画素の加重値を0に初期化しておくものとする。
【0038】
例えば図5に示した例における局所領域は、他の領域に比べて高周波成分が多く含まれている領域である。そのため、強度算出部12で算出される強度は、第1周波数成分画像から得た強度よりも第2周波数成分画像から得た強度の方が大きな値となる。従って、帯域加重画像生成部13は当該局所領域は第2周波数成分画像に対応する周波数帯域に属するものと判断する。そして、図5(G)に示すガウス分布に従って、対応する帯域加重画像(図5(H))の局所領域内の各画素に加重値を割り当てて加算する。局所領域中の各画素の加重値は、例えばガウス分布に従った当該画素の位置における重みと、代表値または当該画素における当該周波数帯域における強度を乗算して求めればよい。なお、局所領域が属しない第1周波数成分画像の周波数帯域に対応する帯域加重画像については加重値を割り当てない。
【0039】
一方、例えば図6に示した例における局所領域は、他の領域に比べて低周波成分が多く含まれている領域である。そのため、強度算出部12で算出される強度は、第2周波数成分画像から得た強度よりも第1周波数成分画像から得た強度の方が大きな値となる。従って、帯域加重画像生成部13は当該局所領域は第1周波数成分画像に対応する周波数帯域に属するものと判断する。そして、図6(G)に示すガウス分布に従って、対応する帯域加重画像(図6(H))の局所領域内の各画素に加重値を割り当てて加算する。局所領域中の各画素の加重値は、例えばガウス分布に従った当該画素の位置における重みと、代表値または当該画素における当該周波数帯域における強度を乗算して求めればよい。なお、局所領域が属しない第2周波数成分画像の周波数帯域に対応する帯域加重画像については加重値を割り当てない。
【0040】
強度算出部12と帯域加重画像生成部13では、上述の処理を、画像(原画像あるいは周波数成分画像)の各画素を順に処理対象画素とし、その処理対象画素を含む予め定められた大きさの局所領域について行う。処理対象画素とすべき画素がなくなるまで行って、それまでに割り当てられた加重値によりそれぞれの周波数帯域に対応する帯域加重画像が生成されることになる。作成された第1周波数成分画像の周波数帯域に対応する帯域加重画像の一例を図5(H)に、また第2周波数成分画像の周波数帯域に対応する帯域加重画像の一例を図6(H)に、それぞれ示している。なお、画素を順に処理対象画素とするほか、数画素飛びに処理対象画素としたり、画像を局所領域の大きさでブロック分割して処理を行ってもよい。
【0041】
上述の例では、加重値を割り当てる際にガウス分布に従って行う例を示した。局所領域の各画素に加重値を割り当てる方法は、これに限られるものではない。図7、図8は、強度算出部及び帯域加重画像生成部における動作の第2の具体例の説明図である。図5(A)、(B)、(C)、(D)、(E)、(F)は図7(A)、(B)、(C)、(D)、(E)、(F)に対応し、図6(A)、(B)、(C)、(D)、(E)、(F)は図8(A)、(B)、(C)、(D)、(E)、(F)に対応している。この例では、図7(G)、図8(G)に示すように、局所領域の各画素に代表値あるいは最大値を加重値として割り当てる例を示している。
【0042】
例えば図7に示した例では、局所領域が属すると判定された周波数帯域に対応する帯域加重画像(図7(H))の局所領域内の各画素に、例えば代表値を加重値として割り当てて、それまでの加重値に加算する。あるいは、局所領域内の重みを1として各画素における当該周波数帯域における強度を加重値として割り当て、加算してもよい。なお、局所領域が属しない第1周波数成分画像の周波数帯域に対応する帯域加重画像については加重値を割り当てない。
【0043】
また、図8に示した例では、局所領域が属すると判定された周波数帯域に対応する帯域加重画像(図8(H))の局所領域内の各画素に、例えば代表値を加重値として割り当てて、それまでの加重値に加算する。なお、局所領域が属しない第2周波数成分画像の周波数帯域に対応する帯域加重画像については加重値を割り当てない。
【0044】
強度算出部12と帯域加重画像生成部13で上述の処理を画像(原画像あるいは周波数成分画像)の各画素を順に処理対象画素とし、その処理対象画素を含む予め定められた大きさの局所領域について行う。この場合も、画素を順に処理対象画素とするほか、数画素飛びに処理対象画素としたり、画像を局所領域の大きさでブロック分割して処理を行ってもよい。処理対象画素とすべき画素がなくなるまで行って、それまでに割り当てられた加重値によりそれぞれの周波数帯域に対応する帯域加重画像が生成されることになる。作成された第1周波数成分画像の周波数帯域に対応する帯域加重画像の一例を図7(H)に、また第2周波数成分画像の周波数帯域に対応する帯域加重画像の一例を図8(H)に、それぞれ示している。なお、このようにして得られた帯域加重画像に対して、例えばガウス関数などのぼかし処理を施してもよい。また、帯域加重画像の各加重値が予め決められている範囲内となるように正規化の処理を行ってもよい。
【0045】
このようにして作成された各周波数帯域の帯域加重画像を用い、画像強調部14は原画像に対してそれぞれ強調処理を行って合成する。図9は、周波数と強調度の関係の一例の説明図である。画像強調部14は、例えば図9に示す強調特性をもつ強調フィルタやトーンカーブを設計しておき、それぞれ対応する帯域加重画像の加重値に応じた強調処理を行えばよい。
【0046】
図9において、強調度は(強調画像の画素値/原画像の画素値)であり、強調処理を行わなければ強調画像の画素=原画像の画素となるので、強調度は1である。トーンカーブで画像全体を補正すると、周波数が0の場合の応答が変化するので、周波数が0の場合の強調度は1以外の値となる場合がある。また、アンシャープマスキングやDOG関数による周波数強調を行うことで、周波数が0以外の帯域が強調される。例えば「高周波強調」として示す曲線では、周波数が高くなるにつれて強度度を大きくしている。また、「低−中周波強調」として示す曲線では、ある周波数帯域までは強調度を大きくし、それより高い周波数では徐々に強調度を小さくしている。
【0047】
また、図9に示す「トーンカーブ及び低−高周波数強調」として示した曲線のように、トーンカーブと周波数強調処理を行う場合には、以下の数式2などによって実施すればよい。
Pij=pij+α(pij−pijLow )+βdij (数式2)
ここで、ijは画素の位置、Pijは強調画像の画素値、pijは原画像の画素値、pijLow は原画像をぼかした画像、αは周波数成分の強調度合いを制御する係数、dijはトーンカーブによる画素の変化分、βはトーンカーブの強調度合いを制御する係数である。
【0048】
例えば第1周波数成分画像に分離した周波数帯域については「低−中周波強調」として曲線で示した特性に従い、対応する帯域加重画像の加重値に応じた強調処理を原画像に対して行う。また、例えば第2周波数成分画像に分離した周波数帯域については「高周波強調」として曲線で示した特性に従い、対応する帯域加重画像の加重値に応じた強調処理を原画像に対して行う。強調処理を施した2つの画像を合成することにより、周波数帯域に応じた強調処理が施された画像が得られる。得られた画像では、それぞれの周波数帯域に対応した強調処理を行う領域の境界が加重値の割り当ての処理によってぼかされており、連続的に各周波数帯域に応じた強調処理が施されることになる。
【0049】
図10は、強度算出部及び帯域加重画像生成部における動作の第3の具体例の説明図である。上述の例では、帯域分解部11で2つの周波数帯域に分解した例を用いて説明したが、この例では帯域分解部11で分解する周波数帯域の数をN個とし、説明の都合上、第1周波数成分画像(図10(B))、第M周波数成分画像(1<M<N)(図10(C))、第N周波数成分画像(図10(D))について示している。なお、図10(A)は原画像である。
【0050】
強度算出部12は、ある処理対象画素を含む局所領域について各周波数帯域における強度を算出する。帯域加重画像生成部13では、強度算出部12で算出された強度の値をもとに、それぞれの周波数帯域における強度の最大値を求め、最も大きい強度の値を示した周波数帯域に当該局所領域が属するものと判断する。図10に示した例では、第M周波数成分画像から得た強度が最も大きかったものとし、この第M周波数帯域に当該局所領域が属するものとしている。そして、帯域加重画像生成部13は第M帯域加重画像の対応する局所領域に対して加重値を割り当てる。例えば図10に示した例では、第M帯域加重画像の対応する局所領域に対してガウス分布に従って加重値を割り当てて、それまでの加重値と加算した値を保持させる。もちろん、加重値の割り当てはガウス分布に限らず、上述した例を含め、種々の方法により行えばよい。第M帯域加重画像以外の帯域加重画像に対しては加重値を割り当てず、あるいは加重値0を加算すればよい。
【0051】
このような処理を、処理対象画素を変更しながら行うことにより、例えば第1周波数帯域については図10(E)に示す第1帯域加重画像が、第M周波数帯域については図10(F)に示す第M帯域加重画像が、第N周波数帯域については図10(G)に示す第N帯域加重画像が、それぞれ得られる。ここでは、0以外の加重値が付与された領域を図示しており、加重値については示していない。
【0052】
画像強調部14では、帯域加重画像生成部13で生成されたN個の帯域加重画像を用い、それぞれの周波数帯域と加重値に応じた画像強調処理を行う。図11は、強度算出部及び帯域加重画像生成部の動作の第3の具体例における画像強調部の動作の一例の説明図である。図11(A)には原画像を、図11(B)、(C)、(D)には図10(E)、(F)、(G)で示した帯域加重画像をそれぞれ示している。例えば第1周波数帯域については、図11(B)に示した第1帯域加重画像における加重値に応じた強調処理を行う。また、例えば第M周波数帯域については、図11(C)に示した第M帯域加重画像における加重値に応じた強調処理を行う。さらに、例えば第N周波数帯域については、図11(D)に示した第N帯域加重画像における加重値に応じた強調処理を行う。このようにして、原画像に対してそれぞれの周波数成分に応じた強調処理が行われ、これらの強調処理された画像を合成することにより、図11(E)に示す強調画像が得られることになる。なお、帯域加重画像生成部13で局所領域に対して加重値を割り当てていることから、ある画素について複数の帯域加重画像に0以外の加重値が存在し、複数の周波数帯域での強調処理が行われる場合がある。これにより、周波数特性の異なる領域間での連続性が確保されることになる。
【0053】
なお、それぞれの周波数帯域における強調処理は、それぞれ異なる手法、例えば異なる強調フィルタを用いてもよいし、共通した強調フィルタで係数をそれぞれの周波数帯域に応じて変更してもよい。例えば、図9で説明した強調特性を持つフィルタやトーンカーブを、各周波数帯域に応じて設計しておき、各周波数帯域と強度に見合ったものを選択して、加重値に応じて強調処理を行えばよい。図9の説明で示した数式2を用いる場合、低い周波数ほどpijLow で表されるぼかし画像のぼかし度合いを大きくして強調処理を行えばよい。逆に高い周波数ほど原画像から少しぼかすだけでよく、pijLow で表されるぼかし度合いを小さくすればよい。また、dijで表されるトーンカーブによる補正量は、全体の画素に対して施してもよく、または、周波数帯域に応じてβを制御してもよい。
【0054】
図12は、帯域分解部の別の動作の具体例の説明図、図13は、方位選択性DOG関数の一例の説明図である。これまでの説明では、方向を加味せずに帯域分解部11で各周波数帯域への分解を行うものとしている。しかしこれに限らず、方向を加味した周波数帯域ごとの周波数成分画像へ分解してもよい。
【0055】
方向を加味した分解には、例えば方位選択性をもつDOG関数を用いるとよい。方位選択性をもつDOG関数の一例を図13に示している。この関数は、
H(x,y)={F(x,e)−F(x,i)}・F(y) (数式3)
F(x,e)=(1/√(2π)σx,e )・etxe
txe=x2 /2σx,e2
F(x,i)=(1/√(2π)σx,i )・etxi
txi=x2 /2σx,i2
F(y)=(1/√(2π)σy )・ety
ty=y2 /2σy2
で表される。ここで、σx,e は輝度成分に対する反応の興奮性の分散を、σx,i は反応の抑制性の分散を、σy は特定方位への分散を表し、抽出される方位成分のぼかし度合いを決定するパラメータである。
【0056】
数式3に回転角φを指定して方位選択性をもたせ、Hφ(x,y)を
Hφ(x,y)=H(x・cosφ−y・sinφ,x・sinφ+y・cosφ) (数式4)
とすることにより、図13(A)で示される特定の方位に反応するフィルタとなる。この数式4で示されるフィルタを用いることで、特定の帯域、かつ、特定の方位に反応する周波数成分画像が生成される。例えば、0度、45度、90度、135度の4方位のフィルタは図13(B)、(C)、(D)、(E)に示すものとなる。また、図12(A)に示す原画像を、特定の周波数帯域かつ4方位に分解した周波数成分画像の一例を、図12(B)、(C)、(D)、(E)に示している。
【0057】
もちろん、このような方位選択性DOG関数に限らず、方向を加味した周波数帯域ごとの周波数成分画像へ分解する種々の方法を使用してもよいことは言うまでもない。
【0058】
強度算出部12以降の処理は上述した通りに行えばよい。この場合、方向を加味した周波数成分画像を使用することから、点などの雑音成分が強調されないことになる。また、画像強調部14で強調処理を行う際に、ある方向について他の方向よりも強調の度合いを強め、あるいは弱めて強調処理を行ってもよい。
【0059】
図14は、本発明の第2の実施の形態を示す構成図である。この第2の実施の形態では、画像強調部14における画像強調処理で周波数成分画像を使用する点で第1の実施の形態と異なっている。
【0060】
画像強調部14は、原画像に対して、帯域加重画像生成部13で生成した各周波数帯域の帯域加重画像における加重値とともに、帯域分解部11でそれぞれの周波数帯域に分解した周波数成分画像に従って、各周波数帯域の強調処理を行う。
【0061】
周波数成分画像を用いた強調処理として、例えば周波数成分画像の画素値sijに対して係数kを乗算し、原画像の画素値pijに対して
Pij=pij+ksij (数式5)
により強調画像の画素値Pijを算出すればよい。この数式3におけるksijを上述の数式2に加えることで、各周波数帯域における特徴(周波数特性)が強まることになる。
【0062】
上述の数式5における係数kの値は、周波数成分画像ごとに変えてもよい。例えば、ある周波数帯域の周波数成分が他の周波数帯域の周波数成分よりも多く含まれる画像であれば、当該周波数帯域の周波数成分画像に対しては、kを大きく設定すればよい。その逆に、ある周波数帯域の周波数成分が他の周波数帯域の周波数成分よりも目立つ場合にはkを小さく設定すればよい。
【0063】
また、使用する周波数成分画像として、図12に示した数式4を用いて得た各方向の周波数成分画像を用いてもよい。この場合、方向性を有しない点などの雑音を強調しなくなる。
【0064】
図15は、本発明の各実施の形態で説明した機能をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体とコンピュータの一例の説明図である。図中、21はプログラム、22はコンピュータ、31は光磁気ディスク、32は光ディスク、33は磁気ディスク、34はメモリ、41はCPU、42は内部メモリ、43は読取部、44はハードディスク、45はインタフェース、46は通信部である。
【0065】
上述の本発明の各実施の形態で説明した各部の機能の全部または部分的に、コンピュータにより実行可能なプログラム21によって実現してもよい。その場合、そのプログラム21およびそのプログラムが用いるデータなどは、コンピュータが読み取り可能な記憶媒体に記憶させておけばよい。記憶媒体とは、コンピュータのハードウェア資源に備えられている読取部43に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読取部43にプログラムの記述内容を伝達するものである。例えば、光磁気ディスク31,光ディスク32(CDやDVDなどを含む)、磁気ディスク33,メモリ34(ICカード、メモリカードなどを含む)等である。もちろんこれらの記憶媒体は、可搬型に限られるものではない。
【0066】
これらの記憶媒体にプログラム21を格納しておき、例えばコンピュータ22の読取部43あるいはインタフェース45にこれらの記憶媒体を装着することによって、コンピュータからプログラム21を読み出し、内部メモリ42またはハードディスク44に記憶し、CPU41によってプログラム21を実行することによって、上述の本発明の各実施の形態で説明した機能が全部又は部分的に実現される。あるいは、通信路を介してプログラム21をコンピュータ22に転送し、コンピュータ22では通信部46でプログラム21を受信して内部メモリ42またはハードディスク44に記憶し、CPU41によってプログラム21を実行することによって実現してもよい。
【0067】
コンピュータ22には、このほかインタフェース45を介して様々な装置と接続してもよい。例えば情報を表示する表示手段や利用者からの情報を受け付ける受付手段等も接続されていてもよい。また、例えば出力装置としての画像形成装置がインタフェース45を介して接続され、強調処理が施された画像を画像形成装置で形成する構成にしてもよい。なお、各構成が1台のコンピュータにおいて動作する必要はなく、各処理に応じて別のコンピュータにより処理が実行されてもよい。
【符号の説明】
【0068】
11…帯域分解部、12…強度算出部、13…帯域加重画像生成部、14…画像強調部、21…プログラム、22…コンピュータ、31…光磁気ディスク、32…光ディスク、33…磁気ディスク、34…メモリ、41…CPU、42…内部メモリ、43…読取部、44…ハードディスク、45…インタフェース、46…通信部。
【技術分野】
【0001】
本発明は、画像処理装置及び画像処理プログラムに関するものである。
【背景技術】
【0002】
画像処理の一つとして、画像中の色または濃度の境界や輪郭などを強調し、あるいは、特定の周波数帯域を強調する画像強調技術がある。この画像強調技術を用い、自然画像の質感を向上させ、あるいは医療画像の分野でレントゲン写真を見やすく補正するなど、画像強調技術は様々な分野で利用されている。
【0003】
画像強調技術は、近年では「質感」の向上を意識した再現に変わりつつある。従来より用いられている手法として、USM(アンシャープマスキング)が知られており、画像全体に高周波強調フィルタをかけることで、輪郭や模様をはっきりさせている。
【0004】
一方で、USM処理を行うことで、すべての自然画像の質感が向上するわけではない。絵柄によっては、「ノイズが強調された」または「強調されすぎて不自然」などと感じられる場合がある。これは、人間の視覚特性によるものであり、絵柄の周波数帯域に応じて反応しているためと考えられる。
【0005】
画像中の絵柄に応じて強調すべき周波数帯域や強度を変える方法として、例えば、特許文献1に記載されているの方法がある。この方法は、局所領域ごとにエッジ量を算出し、エッジ量に応じて鮮鋭化する手段を切り替えるものである。また特許文献2には、画像を複数の周波数帯域に分解しておき、特定の帯域を強めて再合成することで周波数強調を行う方法が記載されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2004−318423号公報
【特許文献2】特開2007−66138号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、原画像中の領域の連続性を確保した周波数特性を得て画像強調などを行う画像処理装置及び画像処理プログラムを提供することを目的とするものである。
【課題を解決するための手段】
【0008】
本願請求項1に記載の発明は、与えられた原画像を予め定められた周波数帯域ごとの周波数成分画像に分解する帯域分解手段と、各画素を処理対象画素とし該処理対象画素を含む予め定められた大きさの局所領域について各周波数帯域における周波数成分の強度を算出する強度算出手段と、前記局所領域における各周波数成分の強度に従って前記処理対象画素が属する周波数帯域を決定するとともに前記局所領域の各画素に対して当該周波数帯域の加重値を割り当てて帯域加重画像を生成する帯域加重画像生成手段を有することを特徴とする画像処理装置である。
【0009】
本願請求項2に記載の発明は、本願請求項1に記載の発明の構成に、さらに、前記原画像に対して前記帯域加重画像生成手段で生成した各周波数帯域の帯域加重画像における加重値に従って対応する周波数帯域の強調処理を行う強調手段を有することを特徴とする画像処理装置である。
【0010】
本願請求項3に記載の発明は、本願請求項1または請求項2に記載の発明における前記帯域分解手段が、周波数帯域とともに方位ごとに分解することを特徴とする画像処理装置である。
【0011】
本願請求項4に記載の発明は、本願請求項1から請求項3のいずれか1項に記載の発明における前記帯域加重画像生成手段が、前記処理対象画素からの距離に応じた前記加重値を割り当てることを特徴とする画像処理装置である。
【0012】
本願請求項5に記載の発明は、本願請求項1から請求項4のいずれか1項に記載の発明における前記帯域加重画像生成手段が、前記局所領域の各画素に対して割り当てた当該周波数帯域の加重値を、各画素にそれまでに割り当てられた加重値と加算して前記帯域加重画像を生成することを特徴とする画像処理装置である。
【0013】
本願請求項6に記載の発明は、コンピュータに、請求項1から請求項5のいずれか1項に記載の画像処理装置の機能を実行させるものであることを特徴とする画像処理プログラムである。
【発明の効果】
【0014】
本願請求項1に記載の発明によれば、原画像中の領域の連続性を確保した周波数特性を示す帯域加重画像を得ることができる。
【0015】
本願請求項2に記載の発明によれば、原画像中の領域の周波数特性に応じた強調処理を、領域間の連続性を確保して行うことができる。
【0016】
本願請求項3に記載の発明によれば、原画像の周波数特性と輪郭方位特性の両方に応じた帯域加重画像を得ることができる。
【0017】
本願請求項4に記載の発明によれば、本構成を有しない場合に比べて滑らかに周波数特性が変化する帯域加重画像を得ることができる。
【0018】
本願請求項5に記載の発明によれば、本構成を有しない場合に比べて滑らかに周波数特性が変化する帯域加重画像を得ることができる。
【0019】
本願請求項6に記載の発明によれば、本願請求項1から請求項5のいずれか1項に記載の発明の効果を得ることができる。
【図面の簡単な説明】
【0020】
【図1】本発明の第1の実施の形態を示す構成図である。
【図2】帯域分解部の動作の具体例の説明図である。
【図3】DOG関数の一例の説明図である。
【図4】DOG関数の制御パラメータと特性の関係の一例の説明図である。
【図5】強度算出部及び帯域加重画像生成部における動作の第1の具体例の説明図(第2周波数帯域の場合)である。
【図6】強度算出部及び帯域加重画像生成部における動作の第1の具体例の説明図(第1周波数帯域の場合)である。
【図7】強度算出部及び帯域加重画像生成部における動作の第2の具体例の説明図(第2周波数帯域の場合)である。
【図8】強度算出部及び帯域加重画像生成部における動作の第2の具体例の説明図(第1周波数帯域の場合)である。
【図9】周波数と強調度の関係の一例の説明図である。
【図10】強度算出部及び帯域加重画像生成部における動作の第3の具体例の説明図である。
【図11】強度算出部及び帯域加重画像生成部の動作の第3の具体例における画像強調部の動作の一例の説明図である。
【図12】帯域分解部の別の動作の具体例の説明図である。
【図13】方位選択性DOG関数の一例の説明図である。
【図14】本発明の第2の実施の形態を示す構成図である。
【図15】本発明の各実施の形態で説明した機能をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体とコンピュータの一例の説明図である。
【発明を実施するための形態】
【0021】
図1は、本発明の第1の実施の形態を示す構成図である。図中、11は帯域分解部、12は強度算出部、13は帯域加重画像生成部、14は画像強調部である。帯域分解部11は、与えられた原画像を予め定められた周波数帯域ごとの周波数成分画像に分解する。
【0022】
強度算出部12は、各画素を順に処理対象画素とし、その処理対象画素を含む予め定められた大きさの局所領域について周波数特性を解析し、各周波数帯域における周波数成分の強度を算出する。
【0023】
帯域加重画像生成部13は、局所領域における各周波数成分の強度に従って、処理対象画素が属する周波数帯域を決定するとともに、局所領域の各画素に対して当該周波数帯域の加重値を割り当てて帯域加重画像を生成する。処理対象画素が属する周波数帯域は、各周波数成分の強度が最も大きかった周波数帯域を当該処理対象画素が属するものと決定すればよい。加重値は、当該処理対象画素が属する周波数帯域に対応する強度を用いたり、処理対象画素からの距離に応じた値を加重値として割り当てるとよい。処理対象画素以外の画素に割り当てた加重値は、当該画素にそれまでに割り当てられた加重値と加算して新たな加重値とすればよい。このようにして各画素の加重値により、各周波数帯域についての帯域加重画像が生成される。もちろん、加算する加重値あるいは生成処理が終了した帯域加重画像の各加重値を正規化してもよい。
【0024】
画像強調部14は、原画像に対して、帯域加重画像生成部13で生成した各周波数帯域の帯域加重画像における加重値に従って、対応する周波数帯域の強調処理を行う。なお、帯域加重画像を画像強調以外の用途、例えば画像検索のための特徴量などに利用する場合には、この画像強調部14を設けずに構成してもよい。
【0025】
上述の構成について、具体例を用いながらさらに説明する。図2は、帯域分解部の動作の具体例の説明図である。帯域分解部11では、原画像を周波数帯域ごとの周波数成分画像に分解する。図2(A)は原画像を示しており、周波数帯域毎に分解した周波数成分画像を、この例では図2(B)、(C)、(D)に示している。周波数帯域ごとの周波数成分画像に分解する方法としては、ウェーブレット解析や、DOG(Difference Of two Gaussian)関数を用いた方法など、公知の手法を使用すればよい。
【0026】
図3は、DOG関数の一例の説明図である。DOG関数は、人間の脳内における視覚特性の数学的モデルとして知られており、例えば図3に形状を2次元的に示した関数である。このDOG関数は以下の数式1で表される。
GDOG (x,y)=(1/2πσe2)ete−A・(1/2πσi2)eti (数式1)
te=−(x2+y2)/2σe2
ti=−(x2+y2)/2σi2
ここで、σe、σi、Aは制御パラメータである。これらの制御パラメータを変更することで、周波数帯域やその周波数帯域に対する反応の強さなどが制御される。
【0027】
図4は、DOG関数の制御パラメータと特性の関係の一例の説明図である。図4(A)には、数式1のパラメータσe、σi、Aを制御することにより変化する周波数帯域を表している。縦軸の応答が高いほど特定の周波数帯域への反応が強いことを意味する。また図4(B)には、特定の周波数帯域へ反応させるための制御パラメータの一例を示しており、周波数帯域の番号の欄の値と図4(A)に示した番号とが対応している。
【0028】
制御パラメータのうち、σe が小さいほど高周波への反応が強くなり、σi はσe よりも大きな値を設定する。この例では周波数帯域の番号が1の例でσe が最も小さく、その場合に最も高周波数にピークが存在している。また、σe が周波数帯域の番号1のσe より大きな値となるに従ってピークの周波数は低下している。
【0029】
また、制御パラメータAは正のガウスと負のガウスの相対的な強さを制御し、Aが0に近づくほど「ぼかし」のフィルタに近づく。周波数帯域の番号9から12の例において制御パラメータAを変更した場合を示しており、それぞれ図4(A)に一例を示す周波数特性となる。
【0030】
帯域分解部11では、数式1の制御パラメータを変更したいくつかの関数をフィルタとして原画像をフィルタリング処理する。これにより、原画像は図2(B)、(C)、(D)などに示した周波数成分画像に分解される。
【0031】
なお、帯域分解を行うための周波数帯域の数は1以上であればよい。特定の帯域だけに分解してもよいし、または、大きく低中周波数帯域と高周波帯域の2つの周波数帯域などに分類してもよい。もちろん、帯域分解の方法はDOG関数に限られないことは言うまでもない。
【0032】
このようにして帯域分解部11で原画像を周波数成分画像に分解したら、局所領域毎に、強度算出部12は各周波数帯域における周波数成分の強度を算出し、帯域加重画像生成部13は処理対象画素が属する周波数帯域を決定し、当該周波数帯域の加重値を割り当てて帯域加重画像を生成する。
【0033】
図5、図6は、強度算出部及び帯域加重画像生成部における動作の第1の具体例の説明図である。図5(A)及び図6(A)は原画像を示しており、図5(C),(D)及び図6(C),(D)は帯域分解部11で分解された周波数成分画像を示している。この具体例では、2つの周波数帯に分解した例を示している。図5(C),図6(C)に示した第1周波数成分画像は、図5(D),図6(D)に示した第2周波数成分画像よりも低周波数の帯域を、図5(D),図6(D)に示した第2周波数成分画像は、図5(C),図6(C)に示した第1周波数成分画像よりも高周波数の帯域を、それぞれ分離して得たものである。
【0034】
まず、ある処理対象画素について設定される局所領域の処理を説明する。原画像のそれぞれ異なる処理対象画素について設定した局所領域を図5(A)、図6(A)に白枠により示しており、その局所領域の画像を拡大して図5(B)、図6(B)に示している。図5に示した局所領域は他の領域に比べて高周波成分が多く含まれている領域であり、図6に示した局所領域は他の領域に比べて高周波成分が少ない領域である。これらの局所領域に対応する周波数成分画像の領域を拡大して図5(E),(F)及び図6(E),(F)に示している。図5(E)は図5(C)に示す第1周波数成分画像の局所領域を拡大して、図5(E)は図5(C)に示す第2周波数成分画像の局所領域を拡大して示している。また図6(E)は図6(C)に示す第1周波数成分画像の局所領域を拡大して、図6(E)は図6(C)に示す第2周波数成分画像の局所領域を拡大して示している。
【0035】
ある局所領域を周波数帯域ごとに参照すると、捉えられる画像が周波数帯域により異なる。例えば図5(E)と図5(F)、あるいは図6(E)と図6(F)を比較して分かるように、第2周波数成分画像よりも低い周波数帯域を分離した第1周波数成分画像の方が大きめの塊として画像が捉えられ、第1周波数成分画像よりも高い周波数帯域を分離した第2周波数成分画像の方が細かい模様として画像が捉えられる。そこで、強度算出部12で周波数成分の強度を算出して、局所領域の画像がどのような傾向にあるのかを帯域加重画像生成部13で判断するための材料とする。
【0036】
強度の算出方法として、例えば各周波数成分画像における局所領域内の値の最大値をそれぞれ代表値とすればよい。上述のように、例えば各周波数成分画像はフィルタリング処理により得ている場合、各周波数成分画像の各画素は当該周波数成分画像の周波数帯域における反応値となっており、この反応値の最大値を当該局所領域の代表値とする。反応値の平均値を代表値としてもよいが、この場合には周波数帯域が高くなるにつれて反応値が点在して平均値に反映されなくなる場合がある。
【0037】
帯域加重画像生成部13は、強度算出部12で算出された各周波数帯域における強度を示す代表値のうち最も大きな代表値を選択し、その代表値に対応する周波数帯域に当該局所領域が属するものとして判断する。そして、局所領域が属する周波数帯域に対応する帯域加重画像に加重値を割り当てる。加重値は、処理対象画素からの距離に応じた値を加重値として割り当てるとよく、例えば局所領域の中心位置にある処理対象画素が最大(代表値)となるガウス分布に従って加重値を割り当てるとよい。なお、最大となる加重値は、代表値とするほか、代表値を1などの値に正規化してもよい。ほかの周波数帯域に対応する帯域加重画像には加重値を割り当てない。加重値が割り当てられた帯域加重画像の画素では、それまでに割り当てられている加重値に、新たに割り当てられた加重値を加算して、当該がその新たな加重値とする。なお、帯域加重画像は各画素の加重値を0に初期化しておくものとする。
【0038】
例えば図5に示した例における局所領域は、他の領域に比べて高周波成分が多く含まれている領域である。そのため、強度算出部12で算出される強度は、第1周波数成分画像から得た強度よりも第2周波数成分画像から得た強度の方が大きな値となる。従って、帯域加重画像生成部13は当該局所領域は第2周波数成分画像に対応する周波数帯域に属するものと判断する。そして、図5(G)に示すガウス分布に従って、対応する帯域加重画像(図5(H))の局所領域内の各画素に加重値を割り当てて加算する。局所領域中の各画素の加重値は、例えばガウス分布に従った当該画素の位置における重みと、代表値または当該画素における当該周波数帯域における強度を乗算して求めればよい。なお、局所領域が属しない第1周波数成分画像の周波数帯域に対応する帯域加重画像については加重値を割り当てない。
【0039】
一方、例えば図6に示した例における局所領域は、他の領域に比べて低周波成分が多く含まれている領域である。そのため、強度算出部12で算出される強度は、第2周波数成分画像から得た強度よりも第1周波数成分画像から得た強度の方が大きな値となる。従って、帯域加重画像生成部13は当該局所領域は第1周波数成分画像に対応する周波数帯域に属するものと判断する。そして、図6(G)に示すガウス分布に従って、対応する帯域加重画像(図6(H))の局所領域内の各画素に加重値を割り当てて加算する。局所領域中の各画素の加重値は、例えばガウス分布に従った当該画素の位置における重みと、代表値または当該画素における当該周波数帯域における強度を乗算して求めればよい。なお、局所領域が属しない第2周波数成分画像の周波数帯域に対応する帯域加重画像については加重値を割り当てない。
【0040】
強度算出部12と帯域加重画像生成部13では、上述の処理を、画像(原画像あるいは周波数成分画像)の各画素を順に処理対象画素とし、その処理対象画素を含む予め定められた大きさの局所領域について行う。処理対象画素とすべき画素がなくなるまで行って、それまでに割り当てられた加重値によりそれぞれの周波数帯域に対応する帯域加重画像が生成されることになる。作成された第1周波数成分画像の周波数帯域に対応する帯域加重画像の一例を図5(H)に、また第2周波数成分画像の周波数帯域に対応する帯域加重画像の一例を図6(H)に、それぞれ示している。なお、画素を順に処理対象画素とするほか、数画素飛びに処理対象画素としたり、画像を局所領域の大きさでブロック分割して処理を行ってもよい。
【0041】
上述の例では、加重値を割り当てる際にガウス分布に従って行う例を示した。局所領域の各画素に加重値を割り当てる方法は、これに限られるものではない。図7、図8は、強度算出部及び帯域加重画像生成部における動作の第2の具体例の説明図である。図5(A)、(B)、(C)、(D)、(E)、(F)は図7(A)、(B)、(C)、(D)、(E)、(F)に対応し、図6(A)、(B)、(C)、(D)、(E)、(F)は図8(A)、(B)、(C)、(D)、(E)、(F)に対応している。この例では、図7(G)、図8(G)に示すように、局所領域の各画素に代表値あるいは最大値を加重値として割り当てる例を示している。
【0042】
例えば図7に示した例では、局所領域が属すると判定された周波数帯域に対応する帯域加重画像(図7(H))の局所領域内の各画素に、例えば代表値を加重値として割り当てて、それまでの加重値に加算する。あるいは、局所領域内の重みを1として各画素における当該周波数帯域における強度を加重値として割り当て、加算してもよい。なお、局所領域が属しない第1周波数成分画像の周波数帯域に対応する帯域加重画像については加重値を割り当てない。
【0043】
また、図8に示した例では、局所領域が属すると判定された周波数帯域に対応する帯域加重画像(図8(H))の局所領域内の各画素に、例えば代表値を加重値として割り当てて、それまでの加重値に加算する。なお、局所領域が属しない第2周波数成分画像の周波数帯域に対応する帯域加重画像については加重値を割り当てない。
【0044】
強度算出部12と帯域加重画像生成部13で上述の処理を画像(原画像あるいは周波数成分画像)の各画素を順に処理対象画素とし、その処理対象画素を含む予め定められた大きさの局所領域について行う。この場合も、画素を順に処理対象画素とするほか、数画素飛びに処理対象画素としたり、画像を局所領域の大きさでブロック分割して処理を行ってもよい。処理対象画素とすべき画素がなくなるまで行って、それまでに割り当てられた加重値によりそれぞれの周波数帯域に対応する帯域加重画像が生成されることになる。作成された第1周波数成分画像の周波数帯域に対応する帯域加重画像の一例を図7(H)に、また第2周波数成分画像の周波数帯域に対応する帯域加重画像の一例を図8(H)に、それぞれ示している。なお、このようにして得られた帯域加重画像に対して、例えばガウス関数などのぼかし処理を施してもよい。また、帯域加重画像の各加重値が予め決められている範囲内となるように正規化の処理を行ってもよい。
【0045】
このようにして作成された各周波数帯域の帯域加重画像を用い、画像強調部14は原画像に対してそれぞれ強調処理を行って合成する。図9は、周波数と強調度の関係の一例の説明図である。画像強調部14は、例えば図9に示す強調特性をもつ強調フィルタやトーンカーブを設計しておき、それぞれ対応する帯域加重画像の加重値に応じた強調処理を行えばよい。
【0046】
図9において、強調度は(強調画像の画素値/原画像の画素値)であり、強調処理を行わなければ強調画像の画素=原画像の画素となるので、強調度は1である。トーンカーブで画像全体を補正すると、周波数が0の場合の応答が変化するので、周波数が0の場合の強調度は1以外の値となる場合がある。また、アンシャープマスキングやDOG関数による周波数強調を行うことで、周波数が0以外の帯域が強調される。例えば「高周波強調」として示す曲線では、周波数が高くなるにつれて強度度を大きくしている。また、「低−中周波強調」として示す曲線では、ある周波数帯域までは強調度を大きくし、それより高い周波数では徐々に強調度を小さくしている。
【0047】
また、図9に示す「トーンカーブ及び低−高周波数強調」として示した曲線のように、トーンカーブと周波数強調処理を行う場合には、以下の数式2などによって実施すればよい。
Pij=pij+α(pij−pijLow )+βdij (数式2)
ここで、ijは画素の位置、Pijは強調画像の画素値、pijは原画像の画素値、pijLow は原画像をぼかした画像、αは周波数成分の強調度合いを制御する係数、dijはトーンカーブによる画素の変化分、βはトーンカーブの強調度合いを制御する係数である。
【0048】
例えば第1周波数成分画像に分離した周波数帯域については「低−中周波強調」として曲線で示した特性に従い、対応する帯域加重画像の加重値に応じた強調処理を原画像に対して行う。また、例えば第2周波数成分画像に分離した周波数帯域については「高周波強調」として曲線で示した特性に従い、対応する帯域加重画像の加重値に応じた強調処理を原画像に対して行う。強調処理を施した2つの画像を合成することにより、周波数帯域に応じた強調処理が施された画像が得られる。得られた画像では、それぞれの周波数帯域に対応した強調処理を行う領域の境界が加重値の割り当ての処理によってぼかされており、連続的に各周波数帯域に応じた強調処理が施されることになる。
【0049】
図10は、強度算出部及び帯域加重画像生成部における動作の第3の具体例の説明図である。上述の例では、帯域分解部11で2つの周波数帯域に分解した例を用いて説明したが、この例では帯域分解部11で分解する周波数帯域の数をN個とし、説明の都合上、第1周波数成分画像(図10(B))、第M周波数成分画像(1<M<N)(図10(C))、第N周波数成分画像(図10(D))について示している。なお、図10(A)は原画像である。
【0050】
強度算出部12は、ある処理対象画素を含む局所領域について各周波数帯域における強度を算出する。帯域加重画像生成部13では、強度算出部12で算出された強度の値をもとに、それぞれの周波数帯域における強度の最大値を求め、最も大きい強度の値を示した周波数帯域に当該局所領域が属するものと判断する。図10に示した例では、第M周波数成分画像から得た強度が最も大きかったものとし、この第M周波数帯域に当該局所領域が属するものとしている。そして、帯域加重画像生成部13は第M帯域加重画像の対応する局所領域に対して加重値を割り当てる。例えば図10に示した例では、第M帯域加重画像の対応する局所領域に対してガウス分布に従って加重値を割り当てて、それまでの加重値と加算した値を保持させる。もちろん、加重値の割り当てはガウス分布に限らず、上述した例を含め、種々の方法により行えばよい。第M帯域加重画像以外の帯域加重画像に対しては加重値を割り当てず、あるいは加重値0を加算すればよい。
【0051】
このような処理を、処理対象画素を変更しながら行うことにより、例えば第1周波数帯域については図10(E)に示す第1帯域加重画像が、第M周波数帯域については図10(F)に示す第M帯域加重画像が、第N周波数帯域については図10(G)に示す第N帯域加重画像が、それぞれ得られる。ここでは、0以外の加重値が付与された領域を図示しており、加重値については示していない。
【0052】
画像強調部14では、帯域加重画像生成部13で生成されたN個の帯域加重画像を用い、それぞれの周波数帯域と加重値に応じた画像強調処理を行う。図11は、強度算出部及び帯域加重画像生成部の動作の第3の具体例における画像強調部の動作の一例の説明図である。図11(A)には原画像を、図11(B)、(C)、(D)には図10(E)、(F)、(G)で示した帯域加重画像をそれぞれ示している。例えば第1周波数帯域については、図11(B)に示した第1帯域加重画像における加重値に応じた強調処理を行う。また、例えば第M周波数帯域については、図11(C)に示した第M帯域加重画像における加重値に応じた強調処理を行う。さらに、例えば第N周波数帯域については、図11(D)に示した第N帯域加重画像における加重値に応じた強調処理を行う。このようにして、原画像に対してそれぞれの周波数成分に応じた強調処理が行われ、これらの強調処理された画像を合成することにより、図11(E)に示す強調画像が得られることになる。なお、帯域加重画像生成部13で局所領域に対して加重値を割り当てていることから、ある画素について複数の帯域加重画像に0以外の加重値が存在し、複数の周波数帯域での強調処理が行われる場合がある。これにより、周波数特性の異なる領域間での連続性が確保されることになる。
【0053】
なお、それぞれの周波数帯域における強調処理は、それぞれ異なる手法、例えば異なる強調フィルタを用いてもよいし、共通した強調フィルタで係数をそれぞれの周波数帯域に応じて変更してもよい。例えば、図9で説明した強調特性を持つフィルタやトーンカーブを、各周波数帯域に応じて設計しておき、各周波数帯域と強度に見合ったものを選択して、加重値に応じて強調処理を行えばよい。図9の説明で示した数式2を用いる場合、低い周波数ほどpijLow で表されるぼかし画像のぼかし度合いを大きくして強調処理を行えばよい。逆に高い周波数ほど原画像から少しぼかすだけでよく、pijLow で表されるぼかし度合いを小さくすればよい。また、dijで表されるトーンカーブによる補正量は、全体の画素に対して施してもよく、または、周波数帯域に応じてβを制御してもよい。
【0054】
図12は、帯域分解部の別の動作の具体例の説明図、図13は、方位選択性DOG関数の一例の説明図である。これまでの説明では、方向を加味せずに帯域分解部11で各周波数帯域への分解を行うものとしている。しかしこれに限らず、方向を加味した周波数帯域ごとの周波数成分画像へ分解してもよい。
【0055】
方向を加味した分解には、例えば方位選択性をもつDOG関数を用いるとよい。方位選択性をもつDOG関数の一例を図13に示している。この関数は、
H(x,y)={F(x,e)−F(x,i)}・F(y) (数式3)
F(x,e)=(1/√(2π)σx,e )・etxe
txe=x2 /2σx,e2
F(x,i)=(1/√(2π)σx,i )・etxi
txi=x2 /2σx,i2
F(y)=(1/√(2π)σy )・ety
ty=y2 /2σy2
で表される。ここで、σx,e は輝度成分に対する反応の興奮性の分散を、σx,i は反応の抑制性の分散を、σy は特定方位への分散を表し、抽出される方位成分のぼかし度合いを決定するパラメータである。
【0056】
数式3に回転角φを指定して方位選択性をもたせ、Hφ(x,y)を
Hφ(x,y)=H(x・cosφ−y・sinφ,x・sinφ+y・cosφ) (数式4)
とすることにより、図13(A)で示される特定の方位に反応するフィルタとなる。この数式4で示されるフィルタを用いることで、特定の帯域、かつ、特定の方位に反応する周波数成分画像が生成される。例えば、0度、45度、90度、135度の4方位のフィルタは図13(B)、(C)、(D)、(E)に示すものとなる。また、図12(A)に示す原画像を、特定の周波数帯域かつ4方位に分解した周波数成分画像の一例を、図12(B)、(C)、(D)、(E)に示している。
【0057】
もちろん、このような方位選択性DOG関数に限らず、方向を加味した周波数帯域ごとの周波数成分画像へ分解する種々の方法を使用してもよいことは言うまでもない。
【0058】
強度算出部12以降の処理は上述した通りに行えばよい。この場合、方向を加味した周波数成分画像を使用することから、点などの雑音成分が強調されないことになる。また、画像強調部14で強調処理を行う際に、ある方向について他の方向よりも強調の度合いを強め、あるいは弱めて強調処理を行ってもよい。
【0059】
図14は、本発明の第2の実施の形態を示す構成図である。この第2の実施の形態では、画像強調部14における画像強調処理で周波数成分画像を使用する点で第1の実施の形態と異なっている。
【0060】
画像強調部14は、原画像に対して、帯域加重画像生成部13で生成した各周波数帯域の帯域加重画像における加重値とともに、帯域分解部11でそれぞれの周波数帯域に分解した周波数成分画像に従って、各周波数帯域の強調処理を行う。
【0061】
周波数成分画像を用いた強調処理として、例えば周波数成分画像の画素値sijに対して係数kを乗算し、原画像の画素値pijに対して
Pij=pij+ksij (数式5)
により強調画像の画素値Pijを算出すればよい。この数式3におけるksijを上述の数式2に加えることで、各周波数帯域における特徴(周波数特性)が強まることになる。
【0062】
上述の数式5における係数kの値は、周波数成分画像ごとに変えてもよい。例えば、ある周波数帯域の周波数成分が他の周波数帯域の周波数成分よりも多く含まれる画像であれば、当該周波数帯域の周波数成分画像に対しては、kを大きく設定すればよい。その逆に、ある周波数帯域の周波数成分が他の周波数帯域の周波数成分よりも目立つ場合にはkを小さく設定すればよい。
【0063】
また、使用する周波数成分画像として、図12に示した数式4を用いて得た各方向の周波数成分画像を用いてもよい。この場合、方向性を有しない点などの雑音を強調しなくなる。
【0064】
図15は、本発明の各実施の形態で説明した機能をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体とコンピュータの一例の説明図である。図中、21はプログラム、22はコンピュータ、31は光磁気ディスク、32は光ディスク、33は磁気ディスク、34はメモリ、41はCPU、42は内部メモリ、43は読取部、44はハードディスク、45はインタフェース、46は通信部である。
【0065】
上述の本発明の各実施の形態で説明した各部の機能の全部または部分的に、コンピュータにより実行可能なプログラム21によって実現してもよい。その場合、そのプログラム21およびそのプログラムが用いるデータなどは、コンピュータが読み取り可能な記憶媒体に記憶させておけばよい。記憶媒体とは、コンピュータのハードウェア資源に備えられている読取部43に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読取部43にプログラムの記述内容を伝達するものである。例えば、光磁気ディスク31,光ディスク32(CDやDVDなどを含む)、磁気ディスク33,メモリ34(ICカード、メモリカードなどを含む)等である。もちろんこれらの記憶媒体は、可搬型に限られるものではない。
【0066】
これらの記憶媒体にプログラム21を格納しておき、例えばコンピュータ22の読取部43あるいはインタフェース45にこれらの記憶媒体を装着することによって、コンピュータからプログラム21を読み出し、内部メモリ42またはハードディスク44に記憶し、CPU41によってプログラム21を実行することによって、上述の本発明の各実施の形態で説明した機能が全部又は部分的に実現される。あるいは、通信路を介してプログラム21をコンピュータ22に転送し、コンピュータ22では通信部46でプログラム21を受信して内部メモリ42またはハードディスク44に記憶し、CPU41によってプログラム21を実行することによって実現してもよい。
【0067】
コンピュータ22には、このほかインタフェース45を介して様々な装置と接続してもよい。例えば情報を表示する表示手段や利用者からの情報を受け付ける受付手段等も接続されていてもよい。また、例えば出力装置としての画像形成装置がインタフェース45を介して接続され、強調処理が施された画像を画像形成装置で形成する構成にしてもよい。なお、各構成が1台のコンピュータにおいて動作する必要はなく、各処理に応じて別のコンピュータにより処理が実行されてもよい。
【符号の説明】
【0068】
11…帯域分解部、12…強度算出部、13…帯域加重画像生成部、14…画像強調部、21…プログラム、22…コンピュータ、31…光磁気ディスク、32…光ディスク、33…磁気ディスク、34…メモリ、41…CPU、42…内部メモリ、43…読取部、44…ハードディスク、45…インタフェース、46…通信部。
【特許請求の範囲】
【請求項1】
与えられた原画像を予め定められた周波数帯域ごとの周波数成分画像に分解する帯域分解手段と、各画素を処理対象画素とし該処理対象画素を含む予め定められた大きさの局所領域について各周波数帯域における周波数成分の強度を算出する強度算出手段と、前記局所領域における各周波数成分の強度に従って前記処理対象画素が属する周波数帯域を決定するとともに前記局所領域の各画素に対して当該周波数帯域の加重値を割り当てて帯域加重画像を生成する帯域加重画像生成手段を有することを特徴とする画像処理装置。
【請求項2】
さらに、前記原画像に対して前記帯域加重画像生成手段で生成した各周波数帯域の帯域加重画像における加重値に従って対応する周波数帯域の強調処理を行う強調手段を有することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記帯域分解手段は、周波数帯域とともに方位ごとに分解することを特徴とする請求項1または請求項2に記載の画像処理装置。
【請求項4】
前記帯域加重画像生成手段は、前記処理対象画素からの距離に応じた前記加重値を割り当てることを特徴とする請求項1から請求項3のいずれか1項に記載の画像処理装置。
【請求項5】
前記帯域加重画像生成手段は、前記局所領域の各画素に対して割り当てた当該周波数帯域の加重値を、各画素にそれまでに割り当てられた加重値と加算して前記帯域加重画像を生成することを特徴とする請求項1から請求項4のいずれか1項に記載の画像処理装置。
【請求項6】
コンピュータに、請求項1から請求項5のいずれか1項に記載の画像処理装置の機能を実行させるものであることを特徴とする画像処理プログラム。
【請求項1】
与えられた原画像を予め定められた周波数帯域ごとの周波数成分画像に分解する帯域分解手段と、各画素を処理対象画素とし該処理対象画素を含む予め定められた大きさの局所領域について各周波数帯域における周波数成分の強度を算出する強度算出手段と、前記局所領域における各周波数成分の強度に従って前記処理対象画素が属する周波数帯域を決定するとともに前記局所領域の各画素に対して当該周波数帯域の加重値を割り当てて帯域加重画像を生成する帯域加重画像生成手段を有することを特徴とする画像処理装置。
【請求項2】
さらに、前記原画像に対して前記帯域加重画像生成手段で生成した各周波数帯域の帯域加重画像における加重値に従って対応する周波数帯域の強調処理を行う強調手段を有することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記帯域分解手段は、周波数帯域とともに方位ごとに分解することを特徴とする請求項1または請求項2に記載の画像処理装置。
【請求項4】
前記帯域加重画像生成手段は、前記処理対象画素からの距離に応じた前記加重値を割り当てることを特徴とする請求項1から請求項3のいずれか1項に記載の画像処理装置。
【請求項5】
前記帯域加重画像生成手段は、前記局所領域の各画素に対して割り当てた当該周波数帯域の加重値を、各画素にそれまでに割り当てられた加重値と加算して前記帯域加重画像を生成することを特徴とする請求項1から請求項4のいずれか1項に記載の画像処理装置。
【請求項6】
コンピュータに、請求項1から請求項5のいずれか1項に記載の画像処理装置の機能を実行させるものであることを特徴とする画像処理プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【公開番号】特開2011−170717(P2011−170717A)
【公開日】平成23年9月1日(2011.9.1)
【国際特許分類】
【出願番号】特願2010−35313(P2010−35313)
【出願日】平成22年2月19日(2010.2.19)
【出願人】(000005496)富士ゼロックス株式会社 (21,908)
【Fターム(参考)】
【公開日】平成23年9月1日(2011.9.1)
【国際特許分類】
【出願日】平成22年2月19日(2010.2.19)
【出願人】(000005496)富士ゼロックス株式会社 (21,908)
【Fターム(参考)】
[ Back to top ]