画像処理装置及び方法並びに画像表示装置
【課題】高周波数成分側に折り返し成分を含むカラー画像、或いは高周波数成分を十分に含まないカラー画像が入力された場合でも、有彩色部分のエッジの近傍で色の濃淡を変化させることなく強調処理画像を得る。
【解決手段】カラー画像の輝度画像（ＹＩＮ）から特定の周波数帯域の成分を取り出して第１の中間画像（Ｄ１）を生成し（１）、第１の中間画像（Ｄ１）をもとに第２の中間画像（Ｄ２）を生成し（２）、第１の中間画像（Ｄ１）と第２の中間画像（Ｄ２）を加算して高周波数成分加算画像（Ｄ４）を生成するとともに、輝度画像（ＹＩＮ）に高周波数成分加算画像（Ｄ４）を加算して出力輝度画像（ＹＯＵＴ）を生成し（４）、高周波数成分加算画像（Ｄ４）の各画素値に基づいて、カラー画像の色差画像（ＣＲＩＮ、ＣＢＩＮ）の各画素値を増減させる（５）。
【解決手段】カラー画像の輝度画像（ＹＩＮ）から特定の周波数帯域の成分を取り出して第１の中間画像（Ｄ１）を生成し（１）、第１の中間画像（Ｄ１）をもとに第２の中間画像（Ｄ２）を生成し（２）、第１の中間画像（Ｄ１）と第２の中間画像（Ｄ２）を加算して高周波数成分加算画像（Ｄ４）を生成するとともに、輝度画像（ＹＩＮ）に高周波数成分加算画像（Ｄ４）を加算して出力輝度画像（ＹＯＵＴ）を生成し（４）、高周波数成分加算画像（Ｄ４）の各画素値に基づいて、カラー画像の色差画像（ＣＲＩＮ、ＣＢＩＮ）の各画素値を増減させる（５）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像に対し強調処理する画像処理装置及び方法並びにこれらを用いた画像表示装置に関し、例えば入力画像として、元となる画像を拡大した拡大画像が入力された際に、高周波数成分の生成及び加算をすることによって、解像感の高い出力画像を得るよう画像の強調処理を行うものである。
【背景技術】
【０００２】
一般に画像を表す画像信号に対し適宜画像処理を施した後、画像を再生表示するということが行われている。また、カラー画像に画像の強調処理を行う場合、輝度信号に画像強調処理を行っている。
【０００３】
例えば特許文献１に記載された画像処理装置においては、多重解像度に変換された細部画像に対して、所望の周波数帯域の細部画像に対する強調係数をその所望の周波数帯域よりも低周波数帯域の細部画像の信号に基づいて設定することにより、所望の周波数帯域を強調している。
【０００４】
さらに特許文献２に記載された鮮鋭度強調回路においては、入力した映像信号の輝度成分に対して、その輝度成分の最も高い高域の成分が含まれる周波数帯を中心として強調する第１の強調回路と、第１の強調回路よりも低い中心周波数で映像信号の輝度成分を強調する第２の強調回路を備えている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平９−４４６５１号公報
【特許文献２】特開２０００−１１５５８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、多重解像度に変換された細部画像に対して、所望の周波数帯域の細部画像に対する強調係数を適宜設定する画像処理装置では、入力画像によっては強調処理が不適切あるいは不十分となり、適正な画質の出力画像を得ることができないことがあった。
【０００７】
例えば、入力画像として拡大処理を受けた画像が入力される場合、入力画像の周波数スペクトルの高周波数成分側には、拡大処理前の画像の周波数スペクトルの一部が折り返した成分（折り返し成分）が現れる。したがって単純に高周波数成分を強調すると、この折り返し成分を強調してしまい、不適切な処理となる。また、周波数帯域を限定し、折り返し成分を含まない周波数帯域のみを強調すると、周波数スペクトルで考えた場合、高周波数成分側の強調を避けることになり、結果的に不十分な強調処理となってしまう。
【０００８】
また、入力画像としてノイズ処理を受けた画像が入力される場合、高周波数成分側の周波数スペクトルはノイズ処理によって失われている。したがって高周波数成分を取り出そうとしても、取り出すことができず、十分に画像の強調処理を行えないことがある。
【０００９】
また、入力した映像信号の輝度成分に対して、強調処理を行う場合、有彩色部分（彩度が比較的高い部分）のエッジ付近で色の濃淡が変化することがある。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置は、
カラー画像が入力される画像処理装置であって、
前記カラー画像の輝度信号を表す輝度画像から特定の周波数帯域の成分を取り出した第１の中間画像を生成する第１の中間画像生成手段と、
前記第１の中間画像をもとに第２の中間画像を生成する第２の中間画像生成手段と、
前記第１の中間画像と前記第２の中間画像を加算した高周波数成分加算画像と、前記輝度画像に前記高周波数成分加算画像を加算した出力輝度画像を生成する加算手段と、
前記高周波数成分加算画像の各画素値に基づいて、前記カラー画像の色差信号を表す色差画像の各画素値を増減させる色差増減手段と
を有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、入力画像がその周波数スペクトルにおいて、高周波数成分側に折り返し成分を含んでいる場合や、高周波数成分を十分に含んでいない場合でもオーバーシュートの発生を防止しつつ、十分に画像の強調処理を行うことができ、さらに有彩色部分のエッジ付近で色の濃淡が不自然に変化することがない。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態１による画像処理装置の構成を示すブロック図である。
【図２】図１の第１の中間画像生成手段１の構成例を示すブロック図である。
【図３】図１の第２の中間画像生成手段２の構成例を示すブロック図である。
【図４】図１の色差増減手段５の構成例を示すブロック図である。
【図５】図３の水平方向非線形処理手段２Ａｈの構成例を示すブロック図である。
【図６】図３の垂直方向非線形処理手段２Ａｖの構成例を示すブロック図である。
【図７】（Ａ）〜（Ｃ）は、高周波数成分加算画像Ｄ４、入力ＣＲ画像ＣＲＩＮ、及び入力ＣＢ画像ＣＢＩＮの画素の配置を示す図である。
【図８】高周波数成分加算画像Ｄ４の画素値Ｌと増幅率決定手段５Ａで決定される増幅率ＧＡＩＮの関係の一例を表す図である。
【図９】本発明による画像処理装置を用いた画像表示装置の構成例を示すブロック図である。
【図１０】図９の画像拡大手段Ｕ１の構成例を示すブロック図である。
【図１１】（Ａ）〜（Ｅ）は、図１０の画像拡大手段Ｕ１の動作を示す画素配置図である。
【図１２】（Ａ）〜（Ｄ）は、図１０の画像拡大手段Ｕ１の動作を説明するための周波数応答及び周波数スペクトルを示す図である。
【図１３】（Ａ）〜（Ｅ）は、第１の中間画像生成手段１の動作を説明するための周波数応答及び周波数スペクトルを示す図である。
【図１４】（Ａ）〜（Ｃ）は、第２の中間画像生成手段２の動作を説明するための周波数応答及び周波数スペクトルを示す図である。
【図１５】（Ａ）〜（Ｃ）は、ステップエッジとステップエッジをサンプリング間隔Ｓ１でサンプリングしたときに得られる、相連続する画素の信号の値を示す図である。
【図１６】（Ａ）〜（Ｃ）は、ステップエッジとステップエッジをサンプリング間隔Ｓ２でサンプリングしたときに得られる、相連続する画素の信号の値を示す図である。
【図１７】（Ａ）〜（Ｆ）は、第１の中間画像生成手段１及び第２の中間画像生成手段２の動作を説明するための、相連続する画素の信号の値を示す図である。
【図１８】（Ａ）及び（Ｂ）は、高周波数成分の加算に適度に行うことによって、画像の鮮鋭感を増した場合、及び高周波数成分の加算を過度に行った結果、画質の低下を招いた場合の、相連続する画素の信号の値を示す図である。
【図１９】高周波数成分加算画像Ｄ４の画素値Ｌと増幅率決定手段５Ａで決定される増幅率ＧＡＩＮの関係の他の例を表す図である。
【図２０】本発明の実施の形態２による画像処理方法における処理を示すフロー図である。
【図２１】図２０の第１の中間画像生成ステップＳＴ１における処理を示すフロー図である。
【図２２】図２０の第２の中間画像生成ステップＳＴ２における処理を示すフロー図である。
【図２３】図２２の水平方向非線形処理ステップＳＴ２Ａｈにおける処理を示すフロー図である。
【図２４】図２２の垂直方向非線形処理ステップＳＴ２Ａｖにおける処理を示すフロー図である。
【図２５】図２０の増幅率決定ステップＳＴ５における処理を示すフロー図である。
【発明を実施するための形態】
【００１３】
実施の形態１．
図１は本発明の実施の形態１による画像処理装置の構成を表す図であり、図示の画像処理装置は、例えば画像表示装置の一部として用いることができる。
【００１４】
図示の画像処理装置には、入力画像ＩＭＧＩＮが入力され、出力画像ＩＭＧＯＵＴが出力される。入力画像ＩＭＧＩＮはカラー画像であり、輝度成分を表す信号ＹＩＮ（以下、入力輝度画像ＹＩＮと呼ぶ）と色差成分を表す信号ＣＲＩＮ及びＣＢＩＮから成る。信号ＣＲＩＮ（以下、入力ＣＲ画像ＣＲＩＮと呼ぶ）は色差成分のうちＣｒ成分を表し、信号ＣＢＩＮ（以下、入力ＣＢ画像ＣＢＩＮと呼ぶ）は色差成分のうちＣｂ成分を表す。出力画像ＩＭＧＯＵＴもカラー画像であり、輝度成分を表す信号ＹＯＵＴ（以下、出力輝度画像ＹＯＵＴと呼ぶ）と色差成分を表す信号ＣＲＯＵＴ及びＣＢＯＵＴから成る。信号ＣＲＯＵＴ（以下、出力ＣＲ画像ＣＲＯＵＴと呼ぶ）は色差成分のうちＣｒ成分を表し、信号ＣＢＯＵＴ（以下、入力ＣＢ画像ＣＢＯＵＴと呼ぶ）は色差成分のうちＣｂ成分を表す。
【００１５】
図示の画像処理装置は、第１の中間画像生成手段１と、第２の中間画像生成手段２と、加算手段４と、色差増減手段５とを有する。
第１の中間画像生成手段１は、入力輝度画像ＹＩＮから特定の周波数帯域の成分(即ち第１の周波数（第１の所定の周波数）から第２の周波数（第２の所定の周波数）までの成分)を取り出した中間画像（第１の中間画像）Ｄ１を生成する。
第２の中間画像生成手段２は、中間画像Ｄ１に後述する処理を行った中間画像（第２の中間画像）Ｄ２を生成する。
加算手段４は、入力輝度画像ＹＩＮと、中間画像Ｄ１と、中間画像Ｄ２を加算する。
色差増減手段５は、入力ＣＲ画像ＣＲＩＮ及び入力ＣＢ画像ＣＢＩＮに後述する処理を行う。
加算手段４の出力画像が出力輝度画像ＹＯＵＴに相当し、色差増減手段５の出力が、出力ＣＲ画像ＣＲＯＵＴ及び出力ＣＢ画像ＣＢＯＵＴに相当する。
【００１６】
図２は第１の中間画像生成手段１の構成例を示した図であり、図示の第１の中間画像生成手段１は、入力輝度画像ＹＩＮから第１の周波数以上の高周波数成分のみを取り出した画像Ｄ１Ａを生成する高周波数成分画像生成手段１Ａと、画像Ｄ１Ａの第２の周波数以下の低周波数成分のみを取り出した画像Ｄ１Ｂを生成する低周波数成分画像生成手段１Ｂとを有する。第２の周波数は第１の周波数より高く、高周波数成分画像生成手段１Ａと低周波数成分画像生成手段１Ｂとで、特定の周波数帯域の成分を取り出す帯域通過フィルタ手段が構成されている。第１の中間画像生成手段１からは画像Ｄ１Ｂが中間画像Ｄ１として出力される。
【００１７】
図３は第２の中間画像生成手段２の構成例を示した図であり、図示の第２の中間画像生成手段２は、中間画像Ｄ１に対し、後述する非線形処理を行った画像Ｄ２Ａを出力する非線形処理手段２Ａと、画像Ｄ２Ａの第３の周波数（第３の所定の周波数）以上の高周波数成分のみを取り出した画像Ｄ２Ｂを出力する高周波数成分画像生成手段２Ｂを有する。第２の中間画像生成手段２からは画像Ｄ２Ｂが中間画像Ｄ２として出力される。
【００１８】
加算手段４は、中間画像Ｄ１と中間画像Ｄ２を加算した結果を高周波数成分加算画像Ｄ４として出力する。また、入力輝度画像ＹＩＮに対し、高周波数成分加算画像Ｄ４を加算した結果（即ち、中間画像Ｄ１及び中間画像Ｄ２を加算した結果）を、出力輝度画像ＹＯＵＴとして出力する。
【００１９】
図４は色差増減手段５の構成例を示した図であり、図示の色差増減手段５は、増幅率決定手段５Ａと、色差Ｃｒ乗算手段（第１の色差乗算手段）５Ｂ１と、色差Ｃｂ乗算手段（第２の色差乗算手段）５Ｂ２とを備える。
増幅率決定手段５Ａは、高周波数成分加算画像Ｄ４に基づいて増幅率Ｄ５Ａを決定する。
色差Ｃｒ乗算手段５Ｂ１は、増幅率Ｄ５Ａの値に基づいて、入力ＣＲ画像ＣＲＩＮの各画素値を増減し、その結果を画像Ｄ５Ｂ１として出力する。
色差Ｃｂ乗算手段５Ｂ２は、増幅率Ｄ５Ａの値に基づいて、入力ＣＢ画像ＣＢＩＮの各画素値を増減し、その結果を画像Ｄ５Ｂ２として出力する。
【００２０】
以下、本発明の実施の形態１による画像処理装置の詳細な動作について説明を行う。
まず、第１の中間画像生成手段１の詳細な動作について説明する。
第１の中間画像生成手段１は、高周波数成分画像生成手段１Ａにおいて、入力輝度画像ＹＩＮの第１の周波数以上の高周波数成分のみを取り出した画像Ｄ１Ａを生成する。
高周波数成分の取り出しは、ハイパスフィルタ処理を行うことで可能である。高周波数成分の取り出しは画像の水平方向及び垂直方向それぞれについて行う。即ち高周波数成分画像生成手段１Ａは、入力輝度画像ＹＩＮに対し、水平方向のハイパスフィルタ処理を行って水平方向についてのみ第１の水平方向周波数（第１の所定の水平方向周波数）以上の高周波数成分を取り出した画像Ｄ１Ａｈを生成する水平方向高周波数成分画像生成手段１Ａｈと、垂直方向のハイパスフィルタ処理を行って垂直方向についてのみ第１の垂直方向周波数（第１の所定の垂直方向周波数）以上の高周波数成分を取り出した画像Ｄ１Ａｖを生成する垂直方向高周波数成分画像生成手段１Ａｖを有し、画像Ｄ１Ａは画像Ｄ１Ａｈと画像Ｄ１Ａｖから成る。
【００２１】
次に、第１の中間画像生成手段１は、低周波数成分画像生成手段１Ｂにおいて、画像Ｄ１Ａの第２の周波数以下の低周波数成分のみを取り出した画像Ｄ１Ｂを生成する。低周波数成分の取り出しは、ローパスフィルタ処理を行うことで可能である。低周波数成分の取り出しは水平方向及び垂直方向それぞれについて行う。即ち低周波数成分画像生成手段１Ｂは、画像Ｄ１Ａｈに対し水平方向のローパスフィルタ処理を行って水平方向についてのみ第２の水平方向周波数（第２の所定の水平方向周波数）以下の低周波数成分を取り出した画像Ｄ１Ｂｈを生成する水平方向低周波数成分画像生成手段１Ｂｈと、画像Ｄ１Ａｖに対し垂直方向のローパスフィルタ処理を行って垂直方向についてのみ第２の垂直方向周波数（第２の所定の垂直方向周波数）以下の低周波数成分を取り出した画像Ｄ１Ｂｖを生成する垂直方向低周波数成分画像生成手段１Ｂｖとを有し、画像Ｄ１Ｂは画像Ｄ１Ｂｈと画像Ｄ１Ｂｖから成る。第１の中間画像生成手段１からは、画像Ｄ１Ｂが中間画像Ｄ１として出力される。なお、中間画像Ｄ１は、画像Ｄ１Ｂｈに相当する画像Ｄ１ｈと、画像Ｄ１Ｂｖに相当する画像Ｄ１ｖから成る。
【００２２】
次に、第２の中間画像生成手段２の詳細な動作について説明する。
まず、第２の中間画像生成手段２は、非線形処理手段２Ａにおいて、中間画像Ｄ１に対して後述する非線形処理を行った画像Ｄ２Ａを生成する。非線形処理は、水平方向及び垂直方向それぞれについて行う。即ち非線形処理手段２Ａは、画像Ｄ１ｈに対して後述する非線形処理を行って画像Ｄ２Ａｈを生成する水平方向非線形処理手段２Ａｈと、画像Ｄ１ｖに対して後述する非線形処理を行って画像Ｄ２Ａｖを生成する垂直方向非線形処理手段２Ａｖとを有し、画像Ｄ２Ａは画像Ｄ２Ａｈと画像Ｄ２Ａｖから成る。
【００２３】
非線形処理手段２Ａの動作についてさらに詳しく説明する。非線形処理手段２Ａは互いに同様の構成から成る水平方向非線形処理手段２Ａｈと、垂直方向非線形処理手段２Ａｖを備える。水平方向非線形処理手段２Ａｈは水平方向の処理を行い、垂直方向非線形処理手段２Ａｖは垂直方向の処理を行う。
【００２４】
図５は水平方向非線形処理手段２Ａｈの構成例を表す図である。図示の水平方向非線形処理手段２Ａｈはゼロクロス判定手段３１１ｈと、信号増幅手段３１２ｈとを備える。非線形処理手段２Ａｈには、画像Ｄ１ｈが入力画像ＤＩＮ３１１ｈとして入力される。
【００２５】
ゼロクロス判定手段３１１ｈは入力画像ＤＩＮ３１１ｈにおける画素値の変化を水平方向に沿って確認する。そして画素値が正の値から負の値へ、あるいは負の値から正の値へと変化する箇所をゼロクロス点として捉え、信号Ｄ３１１ｈによってゼロクロス点の前後にある画素（前後において隣接する画素）の位置を信号増幅手段３１２ｈに伝達する。ここで「前後」とは信号が供給される順序における前後であり、水平方向に左から右に画素の信号が供給されるときは「左右」を意味し、垂直方向に上から下に画素の信号が供給されるときは「上下」を意味する。ゼロクロス判定手段３１１ｈでは、水平方向非線形処理手段２Ａｈ内のゼロクロス判定手段３１１ｈでは、ゼロクロス点の左右に位置する画素がゼロクロス点の前後に位置する画素として認識される。
【００２６】
信号増幅手段３１２ｈは信号Ｄ３１１ｈをもとにゼロクロス点の前後にある画素（前後において隣接する画素）を特定し、ゼロクロス点の前後にある画素についてのみその画素値を増幅させた（絶対値を大きくした）非線形処理画像Ｄ３１２ｈを生成する。即ち、ゼロクロス点前後にある画素の画素値に対しては増幅率を１より大きな値とし、それ以外の画素の画素値に対しての増幅率は１とする。
水平方向非線形処理手段２Ａｈからは画像Ｄ２Ａｈとして非線形処理画像Ｄ３１２ｈが出力される。
【００２７】
図６は垂直方向非線形処理手段２Ａｖの構成例を表す図である。図示の垂直方向非線形処理手段２Ａｖはゼロクロス判定手段３１１ｖと、信号増幅手段３１２ｖとを備える。非線形処理手段２Ａｖには、画像Ｄ１ｖが入力画像ＤＩＮ３１１ｖとして入力される。
【００２８】
ゼロクロス判定手段３１１ｖは入力画像ＤＩＮ３１１ｖにおける画素値の変化を垂直方向に沿って確認する。そして画素値が正の値から負の値へ、あるいは負の値から正の値へと変化する箇所をゼロクロス点として捉え、信号Ｄ３１１ｖによってゼロクロス点の前後にある画素（前後において隣接する画素）の位置を信号増幅手段３１２ｖに伝達する。垂直方向非線形処理手段２Ａｖ内のゼロクロス判定手段３１１ｖでは、ゼロクロス点の上下に位置する画素がゼロクロス点の前後に位置する画素として認識される。
【００２９】
信号増幅手段３１２ｖは信号Ｄ３１１ｖをもとにゼロクロス点の前後にある画素（前後において隣接する画素）を特定し、ゼロクロス点の前後にある画素についてのみその画素値を増幅させた（絶対値を大きくした）非線形処理画像Ｄ３１２ｖを生成する。即ち、ゼロクロス点前後にある画素の画素値に対しては増幅率を１より大きな値とし、それ以外の画素の画素値に対しての増幅率は１とする。
以上が非線形処理手段２Ａの動作である。
【００３０】
次に第２の中間画像生成手段２は、高周波数成分画像生成手段２Ｂにおいて、画像Ｄ２Ａの第３の周波数（第３の所定の周波数）以上の高周波数成分のみを取り出した画像Ｄ２Ｂを生成する。高周波数成分の取り出しは、ハイパスフィルタ処理を行うことで可能である。高周波数成分の取り出しは画像の水平方向及び垂直方向それぞれについて行う。即ち高周波数成分画像生成手段２Ｂは、画像Ｄ２Ａｈに対し水平方向のハイパスフィルタ処理を行って水平方向についてのみ第３の水平方向周波数（第３の所定の水平方向周波数）以上の高周波数成分を取り出した画像Ｄ２Ｂｈを生成する水平方向高周波数成分画像生成手段２Ｂｈと、画像Ｄ２Ａｖに対し垂直方向のハイパスフィルタ処理を行って垂直方向についてのみ第３の垂直方向周波数（第３の所定の垂直方向周波数）以上の高周波数成分を取り出した画像Ｄ２Ｂｖを生成する垂直方向高周波数成分画像生成手段２Ｂｖとを有し、画像Ｄ２Ｂは画像Ｄ２Ｂｈと画像Ｄ２Ｂｖとから成る。第２の中間画像生成手段２からは、画像Ｄ２Ｂが中間画像Ｄ２として出力される。中間画像Ｄ２は画像Ｄ２Ｂｈに相当する画像Ｄ２ｈと、画像Ｄ２Ｂｖに相当する画像Ｄ２ｖとから成る。
【００３１】
次に加算手段４の動作について説明する。加算手段４は中間画像Ｄ１及び中間画像Ｄ２を加算した結果を高周波数成分加算画像Ｄ４として出力する。また、入力輝度画像ＹＩＮに対し、高周波数成分加算画像Ｄ４を加算した結果（即ち、中間画像Ｄ１及び中間画像Ｄ２を加算した結果）を、出力輝度画像ＹＯＵＴとして出力する。出力輝度画像ＹＯＵＴは最終的な出力画像ＩＭＧＯＵＴの一部として、画像処理装置から出力される。
【００３２】
中間画像Ｄ１は画像Ｄ１ｈ及び画像Ｄ１ｖから成っており、中間画像Ｄ２は画像Ｄ２ｈ及び画像Ｄ２ｖから成っているので、中間画像Ｄ１、及び中間画像Ｄ２を加算するとは、画像Ｄ１ｈ、Ｄ１ｖ、Ｄ２ｈ、及びＤ２ｖの全てを加算することを意味する。
【００３３】
ここで、加算手段４での加算処理は単純加算に限らず重み付け加算を行なっても良い。即ち、画像Ｄ１ｈ、Ｄ１ｖ、Ｄ２ｈ、及びＤ２ｖの各々をそれぞれ異なる増幅率で増幅してから加算したものを高周波数成分加算画像Ｄ４としてもよい。
【００３４】
次に色差増減手段５の詳細な動作について説明する。まず、色差増減手段５は増幅率決定手段５Ａにおいて高周波数成分加算画像Ｄ４をもとに増幅率Ｄ５Ａを決定する。ここで、増幅率Ｄ５Ａの決定は画素ごとに行われる。
【００３５】
図７（Ａ）〜（Ｃ）は高周波数成分加算画像Ｄ４、入力ＣＲ画像ＣＲＩＮ、及び入力ＣＢ画像ＣＢＩＮの画素の配置を示す図であり、図７（Ａ）が高周波数成分加算画像Ｄ４を、図７（Ｂ）が入力ＣＲ画像ＣＲＩＮを、図７（Ｃ）が入力ＣＢ画像ＣＢＩＮを表している。また、図７（Ａ）〜（Ｃ）では画像の水平方向及び垂直方向に合わせて水平座標及び垂直座標が表されている。さらに、高周波数成分加算画像Ｄ４については、水平座標ｘ、垂直座標ｙの位置にある画素の画素値がＬ（ｘｙ）という記号で表されており、入力ＣＲ画像ＣＲＩＮについては、水平座標ｘ、垂直座標ｙの位置にある画素の画素値がＣｒ（ｘｙ）という記号で表されており、入力ＣＢ画像ＣＢＩＮについては、水平座標ｘ、垂直座標ｙの位置にある画素の画素値がＣｂ（ｘｙ）という記号で表されている。
【００３６】
増幅率決定手段５Ａは入力ＣＲ画像ＣＲＩＮ及び入力ＣＢ画像ＣＢＩＮの各画素に対する増幅率を高周波数成分加算画像Ｄ４の同一座標の画素値に基づいて決定する。即ち、画素値Ｃｒ（１１）及びＣｂ（１１）に対する増幅率は画素値Ｌ（１１）をもとに決定し、画素値Ｃｒ（１２）及びＣｂ（１２）に対する増幅率は画素値Ｌ（１２）をもとに決定し、一般化すれば、画素値Ｃｒ（ｘｙ）及びＣｂ（ｘｙ）に対する増幅率は画素値Ｌ（ｘｙ）をもとに決定し、という様に高周波数成分加算画像Ｄ４の同一座標の画素値をもとに増幅率を決定し、その結果を増幅率Ｄ５Ａとして出力する。
【００３７】
図８は、高周波数成分加算画像Ｄ４の画素値（以下、Ｌと表す）と増幅率決定手段５Ａで決定される増幅率（以下、ＧＡＩＮと表す）の関係を表す図である。
図示のように、Ｌがゼロの場合、ＧＡＩＮは１となり、Ｌが正の値の場合、ＧＡＩＮは１より大きな値となり、Ｌが負の場合、ＧＡＩＮは１より小さい正の値となる。このようなＬとＧＡＩＮの関係は例えば、以下の式
【数１】
で表すことが出来る。ここでｋｐ、ｋｍは正の値をとる予め定められた係数であり、ｋｐは図８の曲線のＬ＞０の領域における傾きを表し、ｋｍは図８の曲線のＬ＜０の領域における傾きを表す。
【００３８】
なお、ＧＡＩＮは必ず正の値をとる。式（１）によってＧＡＩＮを計算する場合、Ｌのとりうる値に対してｋｍの値を十分小さくすれば、ＧＡＩＮの値が常に正の値となるようにすることが出来る。例えばＬを符号付きの８ビット整数値とした場合、Ｌの取りうる値は−１２８以上１２７以下である。したがってｋｍは１／１２８より小さな値とすればよい。一般化すれば、Ｌのとりうる値が−ＭＬ以上（ＭＬは正の値）であれば、ｋｍの値を１／ＭＬ以下とすればよく、これによりＧＡＩＮが負の値とならないようにすることができる。このようにｋｍに対する制限はＬの取りうる値の最小値から容易に考えることが出来る。
【００３９】
色差Ｃｒ乗算手段５Ｂ１は増幅率Ｄ５Ａを入力ＣＲ画像ＣＲＩＮの画素値に対してかけた結果を画像Ｄ５Ｂ１として出力する。増幅率Ｄ５Ａが１より大きい場合、入力ＣＲ画像ＣＲＩＮの画素値は増幅され、増幅率Ｄ５Ａが１より小さい場合、入力ＣＲ画像ＣＲＩＮの画素値は減少され、増幅率Ｄ５Ａが１の場合、入力ＣＲ画像ＣＲＩＮの画素値は維持されることになる。なお、増幅率Ｄ５Ａの値は、高周波数成分加算画像Ｄ４の画素値が正の場合、１より大きくなり、負の場合、１より小さくなり、ゼロの場合、１となるので、結局、入力ＣＲ画像ＣＲＩＮの画素値は、高周波数成分加算画像Ｄ４の画素値が正の場合、増幅され、負の場合、減少され、ゼロの場合、維持される。
【００４０】
同様に、色差Ｃｂ乗算手段５Ｂ２は増幅率Ｄ５Ａを入力ＣＢ画像ＣＢＩＮの画素値に対してかけた結果を画像Ｄ５Ｂ２として出力する。増幅率Ｄ５Ａが１より大きい場合、入力ＣＢ画像ＣＢＩＮの画素値は増幅され、増幅率Ｄ５Ａが１より小さい場合、入力ＣＢ画像ＣＢＩＮの画素値は減少され、増幅率Ｄ５Ａが１の場合、入力ＣＢ画像ＣＢＩＮの画素値は維持されることになる。なお、増幅率Ｄ５Ａの値は、高周波数成分加算画像Ｄ４の画素値が正の場合、１より大きくなり、負の場合、１より小さくなり、ゼロの場合、１となるので、結局、入力ＣＢ画像ＣＢＩＮの画素値は、高周波数成分加算画像Ｄ４の画素値が正の場合、増幅され、負の場合、減少され、ゼロの場合、維持される。
【００４１】
そして、画像Ｄ５Ｂ１が出力ＣＲ画像ＣＲＯＵＴとして出力され、画像Ｄ５Ｂ２が出力ＣＢ画像ＣＢＯＵＴとして出力される。また、出力ＣＲ画像ＣＲＯＵＴ及び出力ＣＢ画像ＣＢＯＵＴは最終的な出力画像ＩＭＧＯＵＴの一部として、画像処理装置から出力される。
以上が色差増減手段５の動作である。
【００４２】
以下、本発明における画像処理装置を画像表示装置の一部として利用する例について説明する。この説明を通じて、本発明における画像処理装置の作用、効果も明らかなものとなるであろう。なお、以下の説明では特に断らない限り、Ｆｎという記号は入力画像ＩＭＧＩＮのナイキスト周波数を表す。
【００４３】
図９は本発明における画像処理装置を利用した画像表示装置を示し、図示の画像表示装置においては、モニタＵ３上に原画ＩＭＧＯＲＧに対応した画像が表示される。
【００４４】
カラー画像拡大手段Ｕ１は、原画ＩＭＧＯＲＧの画像サイズがモニタＵ３の画像サイズより小さい場合、原画ＩＭＧＯＲＧを拡大した画像ＩＭＧＵ１を出力する。ここで画像を拡大する手段としては、バイキュービック法などを用いることができる。
【００４５】
本発明における画像処理装置Ｕ２は、画像ＩＭＧＵ１を入力画像ＩＭＧＩＮとし、入力画像ＩＭＧＩＮに対し、先に説明した処理を行った画像ＤＵ２を出力する。そしてモニタＵ３上には画像ＤＵ２が表示される。
【００４６】
なお、画像ＤＵ２は輝度信号（Ｙ）と色差信号（Ｃｒ、Ｃｂ）に分かれている（以下、ＹＣｂＣｒ形式と呼ぶこともある）ので、通常、モニタＵ３に表示される前に赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色信号（以下ＲＧＢ形式と呼ぶこともある）に変換される。ＹＣｂＣｒ形式とＲＧＢ形式の間の変換は例えば国際電気通信連合による勧告ＩＴＵ−Ｒ．ＢＴ６０１等に記載されており、ＲＧＢ形式からＹＣｂＣｒ形式への変換は
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
Ｃｒ＝０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ
Ｃｂ＝−０．１６９Ｒ−０．３３１Ｇ＋０．５００Ｂ
…（２）
により行なわれ、ＹＣｂＣｒ形式からＲＧＢ形式への変換は
Ｒ＝１．０００Ｙ＋１．４０２Ｃｒ＋０．０００Ｃｂ
Ｇ＝１．０００Ｙ−０．７１４Ｃｒ−０．３４４Ｃｂ
Ｂ＝１．０００Ｙ＋０．０００Ｃｒ＋１．７７２Ｃｂ
…（３）
により行なわれる。なお、式（２）、式（３）に示した係数は一例であって、本発明はこれに限定されない。また、入力画像が８ビットデータの場合、Ｃｒ、Ｃｂの値は通常−１２８以上１２７以下の範囲に丸め込まれる。
【００４７】
以下、原画ＩＭＧＯＲＧは、水平方向及び垂直方向ともにその画素数がモニタＵ３の画素数の半分であるとして、まずカラー画像拡大手段Ｕ１の動作、作用について説明を行う。
【００４８】
カラー画像拡大手段Ｕ１は原画ＩＭＧＯＲＧの輝度成分を表す画像ＹＯＲＧを拡大した画像ＤＵ１Ｙを生成する画像拡大手段Ｕ１Ｙと、Ｃｒ成分を表す画像ＣＲＯＲＧを拡大した画像ＤＵ１ＣＲを生成する画像拡大手段Ｕ１ＣＲと、Ｃｂ成分を表す画像ＣＢＯＲＧを拡大した画像ＤＵ１ＣＢを生成する画像拡大手段Ｕ１ＣＢとを有する。なお、画像拡大手段Ｕ１Ｙ、画像拡大手段Ｕ１ＣＲ、及び画像拡大手段Ｕ１ＣＢの構成はいずれも、図１０に示す画像拡大手段Ｕ１と同じにすることができる。
【００４９】
図１０は画像拡大手段Ｕ１の構成例を表す図であり、画像拡大手段Ｕ１は水平方向ゼロ挿入手段Ｕ１Ａと、水平方向低周波数成分通過手段Ｕ１Ｂと、垂直方向ゼロ挿入手段Ｕ１Ｃと、垂直方向低周波数成分通過手段Ｕ１Ｄとを有する。
また、画像拡大手段Ｕ１への入力画像を原画ＤＯＲＧとして表す。
水平方向ゼロ挿入手段Ｕ１Ａは原画ＤＯＲＧの水平方向に関して画素値０を持つ画素を適宜挿入した（原画ＤＯＲＧの水平方向に隣接する画素列相互間に、画素値０の画素から成る画素列を１列ずつ挿入した）画像ＤＵ１Ａを生成する。
水平方向低周波数成分通過手段Ｕ１Ｂはローパスフィルタ処理により画像ＤＵ１Ａの低周波数成分のみを取り出した画像ＤＵ１Ｂを生成する。
垂直方向ゼロ挿入手段Ｕ１Ｃは画像ＤＵ１Ｂの垂直方向に関して画素値０を持つ画素を適宜挿入した（画像ＤＵ１Ｂの垂直方向に隣接した画素行相互間に、画素値０の画素から成る画素行を１行ずつ挿入した）画像ＤＵ１Ｃを生成する。
垂直方向低周波数成分通過手段ＤＵ１Ｄは画像ＤＵ１Ｃの低周波数成分のみを取り出した画像ＤＵ１Ｄを生成する。
画像ＤＵ１Ｄが原画ＤＯＲＧを水平方向及び垂直方向ともに２倍した画像ＤＵ１として、画像拡大手段Ｕ１から出力される。
【００５０】
図１１（Ａ）〜（Ｅ）は画像拡大手段Ｕ１の動作を詳しく説明するための図であり、図１１（Ａ）は原画ＤＯＲＧを、図１１（Ｂ）は画像ＤＵ１Ａを、図１１（Ｃ）は画像ＤＵ１Ｂを、図１１（Ｄ）は画像ＤＵ１Ｃを、図１１（Ｅ）は画像ＤＵ１Ｄを表す。図１１（Ａ）〜（Ｅ）に関して、四角(升目)は画素を表し、その中に書かれた記号あるいは数値は各画素の画素値を表す。
【００５１】
水平方向ゼロ挿入手段Ｕ１Ａは図１１（Ａ）に示す原画ＤＯＲＧに対して、水平方向の１画素につき１個、画素値０をもった画素を挿入し（即ち、原画ＤＯＲＧの水平方向に隣接する画素列相互間に一つの、画素値０の画素から成る画素列を挿入し）、図１１（Ｂ）に示す画像ＤＵ１Ａを生成する。水平方向低周波数成分通過手段Ｕ１Ｂは図１１（Ｂ）に示す画像ＤＵ１Ａに対して、ローパスフィルタ処理を施し、図１１（Ｃ）に示す画像ＤＵ１Ｂを生成する。
垂直方向ゼロ挿入手段Ｕ１Ｃは図１１（Ｃ）に示す画像ＤＵ１Ｂに対して、垂直方向の１画素につき１個、画素値０をもった画素を挿入し（即ち、画像ＤＵ１Ｂの垂直方向に隣接する画素行相互間に一つの、画素値０の画素から成る画素行を挿入し）、図１１（Ｄ）に示す画像ＤＵ１Ｃを生成する。垂直方向低周波数成分通過手段Ｕ１Ｄは図１１（Ｄ）に示す画像ＤＵ１Ｃに対して、ローパスフィルタ処理を施し、図１１（Ｅ）に示す画像ＤＵ１Ｄを生成する。
以上の処理により原画ＤＯＲＧを水平方向及び垂直方向ともも２倍に拡大した画像ＤＵ１Ｄが生成される。
【００５２】
図１２（Ａ）〜（Ｄ）は画像拡大手段Ｕ１による処理の作用を周波数空間上で表したものであり、図１２（Ａ）は原画ＤＯＲＧの周波数スペクトル、図１２（Ｂ）は画像ＤＵ１Ａの周波数スペクトル、図１２（Ｃ）は水平方向周波数成分通過手段Ｕ１Ｂの周波数応答、図１２（Ｄ）は画像ＤＵ１Ｂの周波数スペクトルを表している。なお、図１２（Ａ）〜（Ｄ）において横軸は水平方向の空間周波数を表す周波数軸であり、縦軸は周波数スペクトルもしくは周波数応答の強度を表している。
原画ＤＯＲＧの画素数は水平方向及び垂直方向とも画像ＤＵ１の半分であり、言い換えると原画ＤＯＲＧのサンプリング間隔は画像ＤＵ１のサンプリング間隔の２倍である。したがって原画ＤＯＲＧのナイキスト周波数は画像ＤＵ１のナイキスト周波数の半分である。
一方、画像拡大手段Ｕ１（あるいは画像拡大手段Ｕ１Ｙ、画像拡大手段Ｕ１ＣＲ、画像拡大手段Ｕ１ＣＢ）の出力する画像ＩＭＧＵ１が入力画像ＩＭＧＩＮとして用いられるので、明らかに、画像ＤＵ１の画素数と入力画像ＩＭＧＩＮの画素数は同じである。即ち画像ＤＵ１のナイキスト周波数もＦｎである。したがって原画ＤＯＲＧのナイキスト周波数は入力画像入力画像ＩＭＧＩＮのナイキスト周波数の半分即ち、Ｆｎ／２である。
【００５３】
なお、図１２では表記を簡単にするため、１本の周波数軸しか用いていない。しかしながら、通常、画像データは２次元平面状に並んだ画素配列上に与えられた画素値から成り、その周波数スペクトルも水平方向の周波数軸及び垂直方向の周波数軸で張られる平面上に与えられるものである。したがって原画ＤＯＲＧ等の周波数スペクトル等を正確に表すためには、水平方向の周波数軸及び垂直方向の周波数軸の両方を記載する必要がある。しかしながらその周波数スペクトルの形状は通常、周波数軸上の原点を中心に等方的に広がったものであり、周波数軸１本で張られる空間上での周波数スペクトルを示しさえすれば、そこから周波数軸２本で張られる空間へ拡張して考察することは当業者にとって容易である。したがって以降の説明でも特に断らない限り、周波数空間上での説明は、１本の周波数軸で張られる空間を用いて行う。
【００５４】
また、原画ＤＯＲＧとして入力される信号としては、輝度成分を表す画像ＹＯＲＧと、色差成分を表す画像ＣＲＯＲＧ及び画像ＣＢＯＲＧがある。しかし、人間の目には色差成分の急峻な変化（或いは色差信号の持つ高周波数成分）については感度が低い。したがって、原画ＤＯＲＧとして色差成分を表す画像ＣＲＯＲＧ及び画像ＣＢＯＲＧが入力される場合、以下で説明するような折り返し成分は通常問題とならない。以上の理由から以下で説明する現象は原画ＤＯＲＧとして輝度成分を表す画像ＹＯＲＧが入力された場合に、顕著に現れる。したがって以下の説明では原画ＤＯＲＧとして、原画ＩＭＧＯＲＧの輝度成分を表す画像ＹＯＲＧが入力される場合を前提にしている。
【００５５】
まず、原画ＤＯＲＧの周波数スペクトルについて説明する。通常、自然画像が原画ＤＯＲＧとして入力されるが、その場合にはその輝度成分のスペクトル強度は周波数空間の原点周辺に集中している。したがって原画ＤＯＲＧの周波数スペクトルは図１２（Ａ）のスペクトルＳＰＯのようになる。
【００５６】
次に、画像ＤＵ１Ａのスペクトル強度について説明する。画像ＤＵ１Ａは、原画ＤＯＲＧに対して、水平方向に１画素につき１画素、画素値０を持った画素を挿入することで生成される。このような処理を行うと周波数スペクトルには原画ＤＯＲＧのナイキスト周波数を中心にした折り返しが発生する。即ち周波数±Ｆｎ／２を中心にスペクトルＳＰＯが折り返したスペクトルＳＰＭが発生するので、画像ＤＵ１Ａの周波数スペクトルは図１２（Ｂ）のように表される。
【００５７】
次に、水平方向低周波数成分通過手段Ｕ１Ｂの周波数応答について説明する。水平方向低周波数成分通過手段はローパスフィルタによって実現されるので、その周波数応答は図１２（Ｃ）に示すように周波数が高くなるほど低くなる。
【００５８】
最後に、画像ＤＵ１Ｂの周波数スペクトルについて説明する。図１２（Ｂ）に示す周波数スペクトルを持った画像ＤＵ１Ａに対し、図１２（Ｃ）に示した周波数応答を持ったローパスフィルタ処理を行うことで、図１２（Ｄ）に示す画像ＤＵ１Ｂが得られる。
したがって画像ＤＵ１Ｂの周波数スペクトルは画像ＤＵ１Ｂに示すように、スペクトルＳＰＭの強度がある程度落ちたスペクトルＳＰ２と、スペクトルＳＰＯの強度がある程度落ちたスペクトルＳＰ１から成る。なお一般に、ローパスフィルタの周波数応答は周波数が高くなるほど低くなる。従って、スペクトルＳＰ１の強度をスペクトルＳＰＯと比較すると、水平方向低周波数成分通過手段Ｕ１Ｂによって、高周波数成分側、即ち周波数が±Ｆｎ／２の近傍でのスペクトル強度が減少したものとなる。
【００５９】
また、画像拡大手段Ｕ１による処理のうち、垂直方向ゼロ挿入手段Ｕ１Ｃ及び垂直方向低周波数成分通過手段Ｕ１Ｄによる処理について、その周波数空間上での作用についての説明は省略するが、その処理の内容から、垂直方向の空間周波数を表す軸方向に対して、図１２（Ａ）〜（Ｄ）を参照して説明した内容と同様の作用があることは容易に理解できる。即ち、画像ＤＵ１Ｄの周波数スペクトルは、図１２（Ｄ）に示した周波数スペクトルが２次元状に広がったものとなる。
【００６０】
また、以降の説明ではスペクトルＳＰ２のことを折り返し成分と呼ぶ。この折り返し成分は、画像上では、比較的高い周波数成分を持ったノイズあるいは偽の信号として現れる。そのようなノイズあるいは偽の信号としてジャギー、リンギング等が挙げられる。
【００６１】
以下、本発明における画像処理装置の作用、効果について説明する。
図１３（Ａ）〜（Ｅ）は入力画像ＩＭＧＩＮ（もしくは画像ＩＭＧＵ１）として原画ＩＭＧＯＲＧを拡大して得られた画像ＩＭＧＵ１が入力された場合の、入力輝度画像ＹＩＮから中間画像Ｄ１を生成する際の作用、効果を模式的に表した図であり、
図１３（Ａ）は入力輝度画像ＹＩＮの周波数スペクトルを、図１３（Ｂ）は高周波数成分画像生成手段１Ａの周波数応答を、図１３（Ｃ）は低周波数成分画像生成手段１Ｂの周波数応答を、図１３（Ｄ）は第１の中間画像生成手段１の周波数応答を、図１３（Ｅ）は中間画像Ｄ１の周波数スペクトルを表す。なお、図１３（Ａ）〜（Ｅ）においても図１２（Ａ）〜（Ｄ）と同様の理由で周波数軸は１本しか用いていない。
【００６２】
さらに図１３（Ａ）〜（Ｅ）では、空間周波数が０以上となる範囲でのみ周波数スペクトルあるいは周波数応答の強度を表しているが、以下の説明での周波数スペクトルあるいは周波数応答は、周波数軸上の原点を中心に対称的な形状となる。したがって説明に用いる図は、空間周波数が０以上となる範囲のみを示したもので十分である。
【００６３】
まず、入力輝度画像ＹＩＮの周波数スペクトルについて説明する。画像拡大手段Ｕ１Ｙにおける拡大処理によって生成された画像ＩＭＧＵ１が入力輝度画像ＹＩＮとして入力されるので、入力輝度画像ＹＩＮの周波数スペクトルは図１３（Ａ）に示すように、図１２（Ｄ）で説明したものと同じ形状となり、原画ＩＭＧＯＲＧのスペクトルＳＰＯの強度がある程度落ちたスペクトルＳＰ１と折り返し成分となるスペクトルＳＰ２から成る。
【００６４】
次に、高周波数成分画像生成手段１Ａの周波数応答について説明する。高周波数成分画像生成手段１Ａはハイパスフィルタにより構成されているので、その周波数応答は図１３（Ｂ）に示すように周波数が低くなるほど低くなる。
【００６５】
次に、低周波数成分画像生成手段１Ｂの周波数応答について説明する。低周波数成分画像生成手段１Ｂはローパスフィルタにより構成されているので、その周波数応答は図１３（Ｃ）に示すように周波数が高くなるほど低くなる。
【００６６】
次に、第１の中間画像生成手段１の周波数応答について説明する。入力輝度画像ＹＩＮが持つ周波数成分のうち、図１３（Ｄ）に示された低周波数成分側の領域（「第１の周波数ＦＬ１」よりも低い周波数の帯域）ＲＬ１の周波数成分については、第１の中間画像生成手段１内の高周波数成分画像生成手段１Ａで弱められる。一方、図１３（Ｄ）に示された高周波数成分側の領域（第２の周波数ＦＬ２よりも高い周波数の帯域）ＲＨ１の周波数成分については、第１の中間画像生成手段１内の低周波数成分画像生成手段１Ｂで弱められる。したがって、第１の中間画像生成手段１の周波数応答は、図１３（Ｄ）に示すように、低周波数成分側の領域ＲＬ１と高周波数成分側の領域ＲＨ１によって帯域を制限された中間の領域（特定の周波数帯域）ＲＭ１内にピークを持ったものとなる。
【００６７】
次に、中間画像Ｄ１の周波数スペクトルについて説明する。図１３（Ａ）に示す周波数スペクトルを持つ入力輝度画像ＹＩＮが、図１３（Ｄ）に示した周波数応答を持つ第１の中間画像生成手段１を通過することで、図１３（Ｅ）に示す中間画像Ｄ１が得られる。そして第１の中間画像生成手段１の周波数応答は、低周波数成分側の領域ＲＬ１と高周波数成分側の領域ＲＨ１によって帯域制限された中間の領域ＲＭ１にピークを持ったものなので、中間画像Ｄ１の周波数スペクトルは、入力輝度画像ＹＩＮの周波数スペクトルのうち、低周波数成分側の領域ＲＬ１と高周波数成分側の領域ＲＨ１に含まれる部分の強度が弱くなったものとなる。従って中間画像Ｄ１は入力輝度画像ＹＩＮの持つ高周波数成分から折り返し成分となるスペクトルＳＰ２を取り除いたものとなる。即ち第１の中間画像生成手段１には、入力輝度画像ＹＩＮのもつ高周波数成分から折り返し成分となるスペクトルＳＰ１を取り除いた中間画像Ｄ１を生成するという効果がある。
【００６８】
図１４（Ａ）〜（Ｃ）は第２の中間画像生成手段２の作用、効果を表した図であり、図１４（Ａ）は非線形処理画像Ｄ２Ａの周波数スペクトルを、図１４（Ｂ）は高周波数成分画像生成手段２Ｂの周波数応答を、図１４（Ｃ）は画像Ｄ２Ｂの周波数スペクトルを表す。なお、図１４（Ａ）〜（Ｃ）では、図１３（Ａ）〜（Ｅ）と同様の理由で、空間周波数が０以上となる範囲でのみ周波数スペクトルあるいは周波数応答を表している。
【００６９】
後述するように非線形処理画像Ｄ２Ａでは、高周波数成分側の領域ＲＨ２に相当する高周波数成分が生成される。図１４（Ａ）はその様子を模式的に表した図である。図１４（Ｃ）に示す画像Ｄ２Ｂは非線形処理画像Ｄ２Ａが高周波数成分画像生成手段２Ｂを通過することで生成される。高周波数成分画像生成手段２Ｂは第３の周波数ＦＬ３以上の成分を通過させるハイパスフィルタで構成されており、その周波数応答は図１４（Ｂ）に示すように周波数が高くなるほど高いものとなる。従って画像Ｄ２Ｂの周波数スペクトルは図１４（Ｃ）に示すように非線形処理画像Ｄ２Ａの周波数スペクトルから低周波数成分側の領域ＲＬ２に相当する成分（第３の周波数ＦＬ３よりも低い周波数成分）を取り除いたものとなる。言い換えると、非線形処理手段２Ａには高周波数成分側の領域ＲＨ２に相当する高周波数成分を生成する効果があり、高周波数成分画像生成手段２Ｂには非線形処理手段２Ａで生成された高周波数成分のみを取り出す効果がある。なお、図示の例では、第３の周波数ＦＬ３は、Ｆｎ／２に略等しい。
【００７０】
上記の作用、効果についてさらに詳しく説明する。
図１５（Ａ）〜（Ｃ）及び図１６（Ａ）〜（Ｃ）はステップエッジをサンプリングした際に得られる輝度信号について表した図である。
図１５（Ａ）はステップエッジとサンプリング間隔Ｓ１を表しており、図１５（Ｂ）はステップエッジをサンプリング間隔Ｓ１でサンプリングした際に得られる輝度信号を表しており、図１５（Ｃ）は図１５（Ｂ）に表された信号の高周波数成分を表している。一方、図１６（Ａ）はステップエッジとサンプリング間隔Ｓ１より間隔の広いサンプリング間隔Ｓ２を表しており、図１６（Ｂ）はステップエッジをサンプリング間隔Ｓ２でサンプリングした際に得られる信号を表しており、図１６（Ｃ）は図１６（Ｂ）に表された信号の高周波数成分を表している。なお、以下の説明ではサンプリング間隔Ｓ２の長さはサンプリング間隔Ｓ１の長さの２倍であるとする。
【００７１】
図１５（Ｃ）及び図１６（Ｃ）に表されるようにステップエッジの中央は高周波数成分を表す信号においてゼロクロス点Ｚとして現れる。また、高周波数成分を表す信号のゼロクロス点Ｚの近傍での傾きは、サンプリング間隔が短いほど急になり、かつゼロクロス点Ｚの近傍での局所的な最大値、最小値を与える点の位置も、サンプリング間隔が短いほどゼロクロス点Ｚに近づく。
【００７２】
即ち、サンプリング間隔が変わっても、エッジの近傍において高周波数成分を表す信号のゼロクロス点の位置は変化しないが、サンプリング間隔が小さくなるほど（あるいは解像度が上がるほど）エッジの近傍での高周波数成分の傾きは急になり、局所的な最大値、最小値を与える点の位置はゼロクロス点に近づく。
【００７３】
図１７（Ａ）〜（Ｆ）はステップエッジをサンプリング間隔Ｓ２でサンプリングした信号が２倍に拡大された後、本発明における画像処理装置に入力された際の作用、効果を表す図であり、特に第１の中間画像生成手段１及び第２の中間画像生成手段２の作用、効果を表している。なお、先に述べた通り、第１の中間画像生成手段１及び第２の中間画像生成手段２内部の処理は水平方向及び垂直方向のそれぞれについて行われるのでその処理は一次元的に行われる。したがって図１７（Ａ）〜（Ｆ）では一次元信号を用いて処理の内容を表している。
【００７４】
図１７（Ａ）は、図１６（Ｂ）と同様ステップエッジをサンプリング間隔Ｓ２でサンプリングした際の輝度信号を示す。図１７（Ｂ）は、図１７（Ａ）に示される信号を２倍に拡大した信号を示す。即ち、原画ＤＯＲＧに図１７（Ａ）に示すようなエッジが含まれる場合、入力輝度画像ＹＩＮとして図１７（Ｂ）に示すような信号が入力される。なお、信号を２倍に拡大するとサンプリング間隔は拡大前の半分になるため、図１７（Ｂ）に示される信号のサンプリング間隔は図１４（Ａ）〜（Ｃ）中のサンプリング間隔Ｓ１と同じになる。また、図１７（Ａ）において座標Ｐ３で表される位置はステップエッジの低輝度側（エッジ信号の低レベル側）の境界部分であり、座標Ｐ４で表される位置はステップエッジの高輝度側（エッジ信号の高レベル側）の境界である。
【００７５】
図１７（Ｃ）は図１７（Ｂ）に示される信号の高周波数成分を表す信号、即ち高周波数成分画像生成手段１Ａから出力される画像Ｄ１Ａに相当する信号を示す。なお、画像Ｄ１Ａは、入力輝度画像ＹＩＮの高周波数成分を取り出したものなので、その中には折り返し成分も含まれている。
【００７６】
図１７（Ｄ）は図１７（Ｃ）に示される信号の低周波数成分を表す信号、即ち低周波数成分画像生成手段１Ｂから出力される画像Ｄ１Ｂに相当する信号を示す。なお先に述べたとおり画像Ｄ１Ｂが中間画像Ｄ１として出力されるので、図１７（Ｄ）は中間画像Ｄ１にも相当する。図１７（Ｄ）に示すとおり、中間画像Ｄ１においてゼロクロス点Ｚの近傍の局所的な最小値は座標Ｐ３に、局所的な最大値は座標Ｐ４に表れ、その様子は図１６（Ｃ）に示した、ステップエッジをサンプリング間隔Ｓ２でサンプリングした信号から取り出した高周波数成分と一致する。また、画像Ｄ１Ａに含まれていた折り返し成分は、低周波数成分画像生成手段１Ｂで行うローパスフィルタ処理によって取り除かれる。
【００７７】
図１７（Ｅ）は、図１７（Ｄ）に示される信号が非線形処理手段２Ａに入力された際の出力信号、即ち、中間画像Ｄ１が入力された場合に非線形処理手段２Ａから出力される画像Ｄ２Ａを表している。非線形処理手段２Ａではゼロクロス点Ｚの前後の（前後において隣接する）座標Ｐ１、Ｐ２の信号値が増幅される。したがって、画像Ｄ２Ａは図１７（Ｅ）に示すように座標Ｐ１、Ｐ２での信号値の大きさが他の値に比べ大きくなり、ゼロクロス点Ｚの近傍で、局所的な最小値の現れる位置が座標Ｐ３からよりゼロクロス点Ｚに近い座標Ｐ１に、局所的な最大値の現れる位置が座標Ｐ４からよりゼロクロス点Ｚに近い座標Ｐ２へと変化する。これは非線形処理手段２Ａにおける、ゼロクロス点Ｚの前後の画素の値を増幅するという非線形処理によって、高周波数成分が生成されたことを意味する。このように画素ごとに適応的に増幅率を変える、あるいは画素に応じて処理の内容を適宜変えることで、高周波数成分を生成することが可能になる。即ち非線形処理手段２Ａには、中間画像Ｄ１には含まれない高周波数成分、すわなち、図１４（Ａ）に示した高周波数成分側の領域ＲＨ２に相当する高周波数成分を生成する効果がある。
【００７８】
図１７（Ｆ）は図１７（Ｅ）に示される信号の高周波数成分を表す信号、即ち高周波数成分画像生成手段２Ｂから出力される画像Ｄ２Ｂに相当する信号である。画像Ｄ２Ｂのより正確な形状については後述するが、図１７（Ｆ）に示すとおり、画像Ｄ２Ｂにおいてゼロクロス点Ｚの近傍の局所的な最小値（負側のピーク）は座標Ｐ１に、最大値（正側のピーク）は座標Ｐ２に現れ、その様子は図１５（Ｃ）に示した、ステップエッジをサンプリング間隔Ｓ１でサンプリングした信号から取り出した高周波数成分と一致する。これは非線形処理手段２Ａにおいて生成された高周波数成分が高周波数成分画像生成手段２Ｂによって取り出され、画像Ｄ２Ｂとして出力されることを意味する。
また、取り出された画像Ｄ２Ｂはサンプリング間隔Ｓ１に対応した周波数成分を含む信号であるといえる。言い換えると、高周波数成分画像生成手段２Ｂには非線形処理手段２Ａで生成された高周波数成分のみを取り出す効果がある。
【００７９】
以上が第２の中間画像生成処理手段２の効果であり、まとめると、第２の中間画像生成処理手段２内の非線形処理手段２Ａには高周波数成分側の領域ＲＨ２に相当する高周波数成分を生成する効果があり、第２の中間画像生成処理手段２内の高周波数成分画像生成手段２Ｂには非線形処理手段２Ａで生成された高周波数成分のみを取り出す効果がある。そして画像Ｄ２Ｂが中間画像Ｄ２として出力されるので、第２の中間画像生成手段２は、サンプリング間隔Ｓ１に対応した高周波数成分を持った中間画像Ｄ２を出力することができる。
【００８０】
ここで中間画像Ｄ１及び中間画像Ｄ２を入力輝度画像ＹＩＮに加算することで画像の強調処理を行うことが可能である。
【００８１】
まず、中間画像Ｄ１を加算することの効果について述べる。先に述べたとおり中間画像Ｄ１は入力輝度画像ＹＩＮの持つ高周波数成分から折り返し成分を取り除いたものであり、図１３（Ｅ）に示すように原画ＤＯＲＧのナイキスト周波数の近傍の高周波数成分に対応している。図１２（Ｄ）で説明したとおり、原画ＤＯＲＧのナイキスト周波数の近傍のスペクトル強度は画像拡大手段Ｕ１での拡大処理によって弱められているので、中間画像Ｄ１を加算することで、拡大処理によって弱められたスペクトル強度を補うことができる。また、中間画像Ｄ１から、折り返し成分は取り除かれているので、ジャギー、リンギング等の偽の信号を強調することはない。
【００８２】
次に中間画像Ｄ２を加算することの効果について述べる。先に述べたとおり中間画像Ｄ２はサンプリング間隔Ｓ１に対応した高周波数成分である。したがって画像Ｄ２を加算することで原画ＤＯＲＧのナイキスト周波数以上の帯域の高周波数成分を与えることがでるので、画像の解像感を増すことができる。
【００８３】
まとめると中間画像Ｄ１と中間画像Ｄ２を入力輝度画像ＹＩＮに加算することで、折り返し成分を強調することなく高周波数成分を加算することが可能となり、画像の解像感を高めることが可能となる。
【００８４】
ところで、上記の説明の様にして生成した高周波数成分を入力画像に加算することで画像の鮮鋭感を増し、画質を向上することが可能であるが、高周波数成分の加算を過度に行うとかえって画質の低下を招くことがある。
【００８５】
図１８（Ａ）及び（Ｂ）は高周波数成分の加算による画質の低下について説明するための図であり、図１８（Ａ）は高周波数成分の加算に適度に行うことによって、画像の鮮鋭感を増した場合を、図１８（Ｂ）は高周波数成分の加算を過度に行った結果、画質の低下を招いた場合を表す。
【００８６】
図１８（Ａ）は、図１７（Ｂ）に示された入力輝度画像ＹＩＮに対して図１７（Ｄ）に示した中間画像Ｄ１及び図１７（Ｆ）に示した中間画像Ｄ２を加算した結果を示す図であり、図１７（Ａ）において座標Ｐ３で表されたステップエッジの低輝度側の境界部分が、図１８（Ａ）では座標Ｐ１で表される位置へと修正され、図１７（Ａ）において座標Ｐ４で表されたステップエッジの高輝度側の境界部分が、図１８（Ａ）では座標Ｐ２で表される位置へと修正され、その結果、図１７（Ａ）と図１８（Ａ）を比較すると、図１８（Ａ）の方が図１６（Ａ）に示すステップエッジへと近づいていることがわかる。これは高周波数成分の加算に適度に行うことによってステップエッジを再現し、画像の鮮鋭感を増したことを表す。
【００８７】
一方、図１８（Ｂ）も、図１７（Ｂ）に示された入力輝度画像ＹＩＮに対して図１７（Ｄ）に示した中間画像Ｄ１及び図１７（Ｆ）に示した中間画像Ｄ２を加算した結果を表す図であるが、図１８（Ａ）の場合とは異なり、高周波数成分の加算が過度に行われた場合を表している。図１８（Ａ）と比較すると座標Ｐ１、Ｐ３で表される位置の輝度がその周辺と比べて不自然に低くなったり（アンダーシュート）、座標Ｐ２、Ｐ４で表される位置の輝度がその周辺と比べて不自然に高くなったり（オーバーシュート）して、画質が低下していることがわかる。
【００８８】
特に入力輝度画像ＹＩＮにおいてオーバーシュートが発生すると輝度信号が必要以上に大きくなる。式（３）から、輝度信号（Ｙ）の値が大きくなるとＲＧＢ形式へ変換した場合、Ｒ、Ｇ、Ｂを表す各式の右辺の第１項が大きくなるので、結果的にＲ、Ｇ、Ｂとも大きな値になることがわかる。
【００８９】
Ｒ、Ｇ、Ｂとも大きな値になるということは白色に近づくことを意味する。白色に近づくとは言い換えれば色が薄くなるということである。もともと無彩色に近い部分で色が薄くなっても相対的に目立たないが、有彩色部分(彩度が比較的高い部分)のエッジ付近で色が薄くなると、エッジの周りのみ色が薄くなり、不自然な感じを与える。
【００９０】
言い換えると、有彩色の部分に中間画像Ｄ１や中間画像Ｄ２（あるいは高周波数成分加算画像Ｄ４）によって加算される輝度の大きさ（以下、補正量）が必要以上に大きくなると、色差に対し、輝度が相対的に大きくなりすぎ、色が薄くなるという問題が起きうる。また、上と逆の議論から、補正量が必要以上に小さな負の値になった場合、色差に対し、輝度が相対的に小さくなりすぎ、色が濃くなりすぎるという問題が起きうる。つまり有彩色部分のエッジの近傍で色の濃淡が変化するという問題がある。
【００９１】
上記の問題は、補正量が正の値の場合は色差が輝度に対し相対的に小さくなってしまうことが、補正量が負の値の場合は色差が輝度に対し相対的に大きくなってしまうということが原因である。
【００９２】
そこで本発明は、補正量に応じて色差信号を適宜増減させることで、色差が輝度に対し相対的に小さくなったり大きくなったりすることを防止することとしている。
【００９３】
即ち、補正量が正の値の場合は、色差が相対的に小さくなるのを防止するために、色差信号を増幅し、補正量が負の値の場合は、色差が相対的に大きくなるのを防止するために、色差信号を減少させる。
【００９４】
本発明の画像処理装置においては色差増減手段５で高周波成分加算画像Ｄ４の画素値に応じて、色差信号の値を増減させることとしている。即ち、高周波成分加算画像Ｄ４の画素値が正の場合は増幅率決定手段５Ａから増幅率Ｄ５Ａとして１より大きい値を出力し、色差Ｃｒ乗算手段５Ｂ１及び色差Ｃｂ乗算手段５Ｂ２で色差信号が増幅される。また、高周波成分加算画像Ｄ４の画素値が負の場合は増幅率決定手段５Ａから増幅率Ｄ５Ａとして１より小さい値が出力され、色差Ｃｒ乗算手段５Ｂ１及び色差Ｃｂ乗算手段５Ｂ２で色差信号が減少される。したがって上述した問題を未然に防ぐことが可能である。
【００９５】
以上のように本発明の実施の形態１による画像処理装置では、有彩色部分のエッジ付近で色の濃淡が変化するという不具合の発生を抑えつつ、画像の強調処理を行うことができる。有彩色部分のエッジ付近で色の濃淡が変化すると視覚特性上不自然に感じられるので、本発明の実施の形態１による画像処理装置は、視覚特性上も非常に好ましい効果が得られる。
【００９６】
また、入力ＣＲ画像ＣＲＩＮ及び入力ＣＢ画像ＣＢＩＮの各画素値に対して同じ増幅率Ｄ５Ａをかけることで色の濃淡（あるいは彩度）は変化するが、入力ＣＲ画像ＣＲＩＮ及び入力ＣＢ画像ＣＢＩＮの各画素値の比は変化しないので、色相が変化することはない。したがって実施の形態１による画像処理装置では、色相を変化させることなく、エッジ付近で発生する色の濃淡を補正することが可能である。
【００９７】
さらに、本発明における画像処理装置では、第１の中間画像生成手段１及び第２の中間画像生成手段２において、画像の水平方向に関する処理及び垂直方向に関する処理を並列に行っているので、画像の水平方向のみ、あるいは垂直方向のみに限らず任意の方向に関して上記の効果を得ることができる。
【００９８】
また、本発明における画像処理装置では周波数空間で考えて原点からＦｎに渡る周波数帯域のうち、原画ＤＯＲＧのナイキスト周波数±Ｆｎ／２の近傍（あるいは特定の周波数帯域）に入力輝度画像ＹＩＮが持っている成分をもとに、入力輝度画像ＹＩＮのナイキスト周波数±Ｆｎの近傍の高周波数成分に対応した画像Ｄ２Ｂを生成している。したがってなんらかの理由で、入力輝度画像ＹＩＮ（あるいは入力画像ＩＭＧＩＮ）において、ナイキスト周波数±Ｆｎの近傍の周波数成分が失われていたとしても、画像Ｄ２Ｂにより、ナイキスト周波数±Ｆｎの近傍の周波数成分を与えることが可能になる。言い換えると、入力輝度画像ＹＩＮに対し、より高周波数成分側の周波数成分を与えられることになるので、出力輝度画像ＹＯＵＴ（あるいは出力画像ＩＭＧＯＵＴ）の解像感を増すことができる。
【００９９】
なお、特定の周波数帯域として用いる箇所は、±Ｆｎ／２の近傍に限定されるものではない。即ち高周波数成分画像生成手段１Ａ及び低周波数成分画像生成手段１Ｂの周波数応答を適宜変更することで、利用する周波数帯域を変更することができる。
【０１００】
上記の説明ではナイキスト周波数Ｆｎの近傍の周波数成分が失われる例として画像の拡大処理を挙げたが、入力輝度画像ＹＩＮに対してナイキスト周波数Ｆｎの近傍の周波数成分が失われる原因はそれに限らず、他にもノイズ除去処理等が考えられる。したがって本発明における画像処理装置の用途は画像拡大処理後に限定されるものではない。
【０１０１】
また、増幅率決定手段５Ａで決定される増幅率５Ａと高周波数成分加算画像Ｄ４の画素値の関係は式（１）に示したものに限られず、高周波数成分加算画像Ｄ４の画素値が正の場合は１より大きい値をとり、負の場合は１より小さい正の値をとるものであればよい。但し、色差信号に対する補正をより効果的にするには、高周波数成分加算画像Ｄ４の画素値がより大きな正の値になるほど、増幅率５Ａもより大きな値にし、高周波数成分加算画像Ｄ４の画素値がより小さな負の値になるほど、増幅率５Ａもより小さな１より小さい正の値にした方がよい。
しかしながら、そのようでなくとも、高周波数成分加算画像Ｄ４の画素値に対して増幅率５Ａが単調に増加するものであればよい。
また、色差信号に対する過補正を防止するために増幅率Ｄ５Ａの範囲に制限を設けてもよい。即ち閾値ＴＨ１、ＴＨ２（ＴＨ１＞１、１＞ＴＨ２＞０とする）を設け、増幅率（ＧＡＩＮ）と輝度色差加算画像ＹＣの画素値（Ｌ）の関係を例えば
【数２】
と定義してもよい。式（４）におけるｋｐ、ｋｍは式（１）について説明したのと同じものである。式（４）で表される増幅率ＧＡＩＮと画素値Ｌの関係は図１９に示されるごとくである。
このように閾値によって増幅率（ＧＡＩＮ）の値に上限、下限を設けることで、色差増減手段５で色差成分に対して過補正がかかることを防止できる。
【０１０２】
なお、ＧＡＩＮとＬの関係は式（１）、式（４）以外にも様々な変形例が考えられる。また、上述の説明では色差Ｃｒ増幅手段５Ｂ１及び色差Ｃｂ増幅手段５Ｂ２で同じ増幅率を用いているが、色差Ｃｒ乗算手段５Ｂ１と色差Ｃｂ乗算手段５Ｂ２とで異なる増幅率を用いるようにしてもよい。
【０１０３】
実施の形態２．
図２０は本発明の実施の形態２による画像処理方法のフローを表す図であり、本発明の実施の形態２による画像処理方法は、第１の中間画像生成ステップＳＴ１、第２の中間画像生成ステップＳＴ２、加算ステップＳＴ４、及び色差増減ステップＳＴ５を含む。
【０１０４】
なお、実施の形態２による画像処理方法も実施の形態１と同様ＹＣｂＣｒ形式で入力される入力画像ＩＭＧＩＮに対して画像処理を行う。即ち、図示しない画像入力ステップで入力される入力画像ＩＭＧＩＮはカラー画像であり、輝度成分を表す信号ＹＩＮ（以下、入力輝度画像ＹＩＮと呼ぶ）と、色差成分を表す信号ＣＲＩＮ及びＣＢＩＮとから成る。信号ＣＲＩＮ（以下、入力ＣＲ画像ＣＲＩＮと呼ぶ）は色差成分のうちＣｒ成分を表し、信号ＣＢＩＮ（以下、入力ＣＢ画像ＣＢＩＮと呼ぶ）は色差成分のうちＣｂ成分を表す。
入力画像ＹＩＮに対して以下に示す説明に従った処理を行うことによって生成された出力輝度画像ＹＯＵＴ、出力ＣＲ画像ＣＲＯＵＴ、及び出力ＣＢ画像ＣＢＯＵＴから成る出力画像ＩＭＧＯＵＴが図示されない画像出力ステップによって最終的な出力画像として出力される。
【０１０５】
第１の中間画像生成ステップＳＴ１は、図２１に示すように、高周波数成分画像生成ステップＳＴ１Ａ、及び低周波数成分画像生成ステップＳＴ１Ｂを含む。
【０１０６】
高周波数成分画像生成ステップＳＴ１Ａは、水平方向高周波数成分画像生成ステップＳＴ１Ａｈ、及び垂直方向高周波数成分画像生成ステップＳＴ１Ａｖを含み、低周波数成分画像生成ステップＳＴ１Ｂは、水平方向低周波数成分画像生成ステップＳＴ１Ｂｈ、及び垂直方向高周波巣成分画像ＳＴ１Ｂｖを含む。
【０１０７】
第２の中間画像生成ステップＳＴ２は、図２２に示すように、非線形処理ステップＳＴ２Ａ、及び高周波数成分画像生成ステップＳＴ２Ｂを含む。
【０１０８】
非線形処理ステップＳＴ２Ａは、水平方向非線形処理ステップＳＴ２Ａｈ、及び垂直方向非線形処理ステップＳＴ２Ａｖを含み、高周波数成分画像生成ステップＳＴ２Ｂは、水平方向高周波数成分通過ステップＳＴ２Ｂｈ、及び垂直方向高周波数成分通過ステップＳＴ２Ｂｖを含む。
【０１０９】
水平方向非線形処理ステップＳＴ２Ａｈは、図２３に示すように、ゼロクロス判定ステップＳＴ３１１ｈ、及び信号増幅ステップＳＴ３１２ｈを含み、垂直方向非線形処理ステップＳＴ２Ａｖは、図２４に示すように、ゼロクロス判定ステップＳＴ３１１ｖ、及び信号増幅ステップＳＴ３１２ｖを含む。
【０１１０】
まず、図２１のフローに従って第１の中間画像生成ステップＳＴ１の動作について説明する。
高周波数成分画像生成ステップＳＴ１Ａでは、入力輝度画像ＹＩＮに対し、以下のような処理が行われる。
まず、水平方向高周波数成分画像生成ステップＳＴ１Ａｈでは、水平方向のハイパスフィルタ処理によって、入力輝度画像ＹＩＮから水平方向の高周波数成分を取り出した画像Ｄ１Ａｈを生成する。
垂直方向高周波数成分画像ステップＳＴ１Ａｖでは、垂直方向のハイパスフィルタ処理によって、入力輝度画像ＹＩＮから垂直方向の高周波数成分を取り出した画像Ｄ１Ａｖを生成する。
即ち、高周波数成分画像生成ステップＳＴ１Ａは、入力輝度画像ＹＩＮから、画像Ｄ１Ａｈ及び画像Ｄ１Ａｖから成る画像Ｄ１Ａを生成する。この動作は高周波数成分画像生成手段１Ａと同等である。
【０１１１】
低周波数成分画像生成ステップＳＴ１Ｂでは、画像Ｄ１Ａに対し、以下のような処理が行われる。まず、水平方向低周波数成分画像生成ステップＳＴ１Ｂｈでは、水平方向のローパスフィルタ処理によって、画像Ｄ１Ａｈから水平方向の低周波数成分を取り出した画像Ｄ１Ｂｈを生成する。
垂直方向低周波数成分画像生成ステップＳＴ１Ｂｖでは、垂直方向のローパスフィルタ処理によって、画像Ｄ１Ａｖから垂直方向の低周波数成分を取り出した画像Ｄ１Ｂｖを生成する。
即ち、低周波数成分画像生成ステップＳＴ１Ｂは、画像Ｄ１Ａから、画像Ｄ１Ｂｈ及び画像Ｄ１Ｂｖから成る画像Ｄ１Ｂを生成する。この動作は低周波数成分画像生成手段１Ｂと同等である。
【０１１２】
以上が第１の中間画像生成ステップＳＴ１の動作であり、第１の中間画像生成ステップＳＴ１は画像Ｄ１Ｂｈを画像Ｄ１ｈとし、画像Ｄ１Ｂｖを画像Ｄ１ｖとし、画像Ｄ１ｈ及び画像Ｄ１ｖから成る中間画像Ｄ１を出力する。以上の動作は第１の中間画像生成手段１と同等である。
【０１１３】
次に図２２〜図２４のフローに従って第２の中間画像生成ステップＳＴ２の動作について説明する。
まず、非線形処理ステップＳＴ２Ａでは中間画像Ｄ１に対し、以下のような処理を行う。
【０１１４】
まず、水平方向非線形処理ステップＳＴ２Ａｈでは、図２３に示すフローに従った処理で画像Ｄ１ｈから画像Ｄ２Ａｈを生成する。図２３に示すフローでの処理は以下の通りである。まず、ゼロクロス判定ステップＳＴ３１１ｈでは、画像Ｄ１ｈにおける画素値の変化を水平方向に沿って確認する。そして画素値が正の値から負の値へ、あるいは負の値から正の値へと変化する箇所をゼロクロス点として捉え、ゼロクロス点の左右に位置する画素を信号増幅ステップＳＴ３１２ｈに通知する。信号増幅ステップＳＴ３１２ｈでは画像Ｄ１ｈについて、ゼロクロス点の左右に位置すると通知された画素の画素値を増幅し、その画像を画像Ｄ２Ａｈとして出力する。即ち、非線形処理ステップＳＴ２Ａｈは、画像Ｄ１ｈに対し、水平方向非線形処理手段２Ａｈと同様の処理を行い、画像Ｄ２Ａｈを生成する。
【０１１５】
次に、垂直方向非線形処理ステップＳＴ２Ａｖでは、図２４に示すフローに従った処理で画像Ｄ１ｖから画像Ｄ２Ａｖを生成する。図２４に示すフローでの処理は以下の通りである。まず、ゼロクロス判定ステップＳＴ３１１ｖでは、画像Ｄ１ｖにおける画素値の変化を垂直方向に沿って確認する。そして画素値が正の値から負の値へ、あるいは負の値から正の値へと変化する箇所をゼロクロス点として捉え、ゼロクロス点の上下に位置する画素を信号増幅ステップＳＴ３１２ｖに通知する。信号増幅ステップＳＴ３１２ｖでは画像Ｄ１ｖについて、ゼロクロス点の上下に位置すると通知された画素の画素値を増幅し、その画像を画像Ｄ２Ａｖとして出力する。即ち、非線形処理ステップＳＴ２Ａｖは、画像Ｄ１ｖに対し、垂直方向非線形処理手段２Ａｖと同様の処理を行い、画像Ｄ２Ａｖを生成する。
【０１１６】
以上が非線形処理ステップＳＴ２Ａの動作であり、非線形処理ステップＳＴ２Ａは画像Ｄ２Ａｈ及び画像Ｄ２Ａｖから成る画像Ｄ２Ａを生成する。その動作は非線形処理手段２Ａと同等である。
【０１１７】
次に、高周波数成分画像生成ステップＳＴ２Ｂでは画像Ｄ２Ａに対し、以下の様な処理を行う。
まず、水平方向高周波数成分画像生成ステップＳＴ２Ｂｈでは、画像Ｄ２Ａｈに対し水平方向のハイパスフィルタ処理を行った画像Ｄ２Ｂｈを生成する。即ち、水平方向高周波数成分画像生成ステップＳＴ２Ｂｈは、水平方向高周波数成分画像生成手段２Ｂｈと同様の処理を行う。
【０１１８】
次に、垂直方向高周波数成分画像生成ステップＳＴ２Ｂｖでは、画像Ｄ２Ａｖに対し垂直方向のハイパスフィルタ処理を行った画像Ｄ２Ｂｖを生成する。即ち、垂直方向高周波数成分画像生成ステップＳＴ２Ｂｖは、垂直方向高周波数成分画像生成手段２Ｂｖと同様の処理を行う。
【０１１９】
以上が高周波数成分画像生成ステップＳＴ２Ｂの動作であり、高周波数成分画像生成ステップＳＴ２Ｂは画像Ｄ２Ｂｈ及び画像Ｄ２Ｂｖから成る画像Ｄ２Ｂを生成する。その動作は高周波数成分画像生成手段２Ｂと同等である。
【０１２０】
以上が第２の中間画像生成ステップＳＴ２の動作であり、第２の中間画像生成ステップＳＴ２は画像Ｄ２Ｂを中間画像Ｄ２として出力する。即ち、画像Ｄ２Ｂｈを画像Ｄ２ｈとし、画像Ｄ２Ｂｖを画像Ｄ２ｖとした中間画像Ｄ２を出力する。この動作は第２の中間画像生成手段２と同等である。
【０１２１】
次に加算ステップＳＴ４の動作について説明する。
加算ステップＳＴ４は入力輝度画像ＹＩＮ、中間画像Ｄ１、及び中間画像Ｄ２を加算した結果を高周波数成分加算画像Ｄ４として出力する。また、入力輝度画像ＹＩＮに対し、高周波数成分加算画像Ｄ４を加算した結果（即ち、中間画像Ｄ１及び中間画像Ｄ２を加算した結果）を、出力輝度画像ＹＯＵＴとして出力する。
なお、中間画像Ｄ１は画像Ｄ１ｈ及び画像Ｄ１ｖから成り、中間画像Ｄ２は画像Ｄ２ｈ及び画像Ｄ２ｖから成るので、加算ステップＳＴ４では画像Ｄ１ｈ、Ｄ１ｖ、Ｄ２ｈ、及びＤ２ｖの全てを加算し、高周波数成分加算画像Ｄ４を生成する。この際画像Ｄ１ｈ、Ｄ１ｖ、Ｄ２ｈ、及びＤ２ｖを単純に加算してもよいし、重み付け加算してもよい。そして出力輝度画像ＹＯＵＴが本発明における画像処理方法の最終出力画像の一部として出力される。以上が加算ステップＳＴ４の動作であり、この動作は加算手段４の動作と同等である。
【０１２２】
次に図２５のフローに従って輝度色差加算ステップＳＴ５の動作について説明する。
輝度色差加算ステップＳＴ５ではまず、増幅率決定ステップＳＴ５Ａにおいて、入力ＣＲ画像ＣＲＩＮ及び入力ＣＢ画像ＣＢＩＮの各画素に対する増幅率を高周波数成分加算画像Ｄ４の同一座標の画素値に基づいて決定する。高周波数成分加算画像Ｄ４の画素値と増幅率決定手段５Ａで決定される増幅率の関係は実施の形態１と同様の関係を用いる。
【０１２３】
次に、色差Ｃｒ乗算ステップＳＴ５Ｂ１は増幅率Ｄ５Ａで与えられる増幅率を入力ＣＲ画像ＣＲＩＮの画素値に対してかけた結果を画像Ｄ５Ｂ１として出力する。
【０１２４】
次に、色差Ｃｂ乗算ステップＳＴ５Ｂ２は増幅率Ｄ５Ａで与えられる増幅率を入力ＣＢ画像ＣＢＩＮの画素値に対してかけた結果を画像Ｄ５Ｂ２として出力する。
【０１２５】
そして、画像Ｄ５Ｂ１が出力ＣＲ画像ＣＲＯＵＴとして出力され、画像Ｄ５Ｂ２が出力ＣＢ画像ＣＢＯＵＴとして出力される。出力ＣＲ画像ＣＲＯＵＴ及び出力ＣＢ画像ＣＢＯＵＴは最終的な出力画像ＩＭＧＯＵＴの一部として用いられる。
以上が色差増幅ステップＳＴ５の動作であり、その動作は色差増幅手段５と同等である。
以上が本発明における画像処理方法の動作である。
【０１２６】
本発明における画像処理方法の動作はその説明から明らかなように、本発明の実施の形態１における画像処理装置と同等である。したがって本発明における画像処理方法は、本発明の実施の形態１における画像処理装置と同様の効果を持つ。また、図９に示す画像表示装置において、例えば画像処理装置Ｕ２内部で上記の画像処理方法を実施することで、上記の画像処理方法で処理された画像を、図９に示す画像表示装置で表示することもできる。
【符号の説明】
【０１２７】
１ 第１の中間画像生成手段、 ２ 第２の中間画像生成手段、 ４ 加算手段、 ５ 色差増減手段、 ＩＭＧＩＮ 入力画像、 ＹＩＮ 入力輝度画像、 ＣＲＩＮ 入力ＣＲ画像、 ＣＢＩＮ 入力ＣＢ画像、 Ｄ１ 中間画像、 Ｄ２ 中間画像、 Ｄ４ 高周波数成分加算画像、 ＩＭＧＯＵＴ 出力画像、 ＹＯＵＴ 出力輝度画像、 ＣＲＯＵＴ 出力ＣＲ画像、 ＣＢＯＵＴ 出力ＣＢ画像。
【技術分野】
【０００１】
本発明は、入力画像に対し強調処理する画像処理装置及び方法並びにこれらを用いた画像表示装置に関し、例えば入力画像として、元となる画像を拡大した拡大画像が入力された際に、高周波数成分の生成及び加算をすることによって、解像感の高い出力画像を得るよう画像の強調処理を行うものである。
【背景技術】
【０００２】
一般に画像を表す画像信号に対し適宜画像処理を施した後、画像を再生表示するということが行われている。また、カラー画像に画像の強調処理を行う場合、輝度信号に画像強調処理を行っている。
【０００３】
例えば特許文献１に記載された画像処理装置においては、多重解像度に変換された細部画像に対して、所望の周波数帯域の細部画像に対する強調係数をその所望の周波数帯域よりも低周波数帯域の細部画像の信号に基づいて設定することにより、所望の周波数帯域を強調している。
【０００４】
さらに特許文献２に記載された鮮鋭度強調回路においては、入力した映像信号の輝度成分に対して、その輝度成分の最も高い高域の成分が含まれる周波数帯を中心として強調する第１の強調回路と、第１の強調回路よりも低い中心周波数で映像信号の輝度成分を強調する第２の強調回路を備えている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平９−４４６５１号公報
【特許文献２】特開２０００−１１５５８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、多重解像度に変換された細部画像に対して、所望の周波数帯域の細部画像に対する強調係数を適宜設定する画像処理装置では、入力画像によっては強調処理が不適切あるいは不十分となり、適正な画質の出力画像を得ることができないことがあった。
【０００７】
例えば、入力画像として拡大処理を受けた画像が入力される場合、入力画像の周波数スペクトルの高周波数成分側には、拡大処理前の画像の周波数スペクトルの一部が折り返した成分（折り返し成分）が現れる。したがって単純に高周波数成分を強調すると、この折り返し成分を強調してしまい、不適切な処理となる。また、周波数帯域を限定し、折り返し成分を含まない周波数帯域のみを強調すると、周波数スペクトルで考えた場合、高周波数成分側の強調を避けることになり、結果的に不十分な強調処理となってしまう。
【０００８】
また、入力画像としてノイズ処理を受けた画像が入力される場合、高周波数成分側の周波数スペクトルはノイズ処理によって失われている。したがって高周波数成分を取り出そうとしても、取り出すことができず、十分に画像の強調処理を行えないことがある。
【０００９】
また、入力した映像信号の輝度成分に対して、強調処理を行う場合、有彩色部分（彩度が比較的高い部分）のエッジ付近で色の濃淡が変化することがある。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置は、
カラー画像が入力される画像処理装置であって、
前記カラー画像の輝度信号を表す輝度画像から特定の周波数帯域の成分を取り出した第１の中間画像を生成する第１の中間画像生成手段と、
前記第１の中間画像をもとに第２の中間画像を生成する第２の中間画像生成手段と、
前記第１の中間画像と前記第２の中間画像を加算した高周波数成分加算画像と、前記輝度画像に前記高周波数成分加算画像を加算した出力輝度画像を生成する加算手段と、
前記高周波数成分加算画像の各画素値に基づいて、前記カラー画像の色差信号を表す色差画像の各画素値を増減させる色差増減手段と
を有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、入力画像がその周波数スペクトルにおいて、高周波数成分側に折り返し成分を含んでいる場合や、高周波数成分を十分に含んでいない場合でもオーバーシュートの発生を防止しつつ、十分に画像の強調処理を行うことができ、さらに有彩色部分のエッジ付近で色の濃淡が不自然に変化することがない。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態１による画像処理装置の構成を示すブロック図である。
【図２】図１の第１の中間画像生成手段１の構成例を示すブロック図である。
【図３】図１の第２の中間画像生成手段２の構成例を示すブロック図である。
【図４】図１の色差増減手段５の構成例を示すブロック図である。
【図５】図３の水平方向非線形処理手段２Ａｈの構成例を示すブロック図である。
【図６】図３の垂直方向非線形処理手段２Ａｖの構成例を示すブロック図である。
【図７】（Ａ）〜（Ｃ）は、高周波数成分加算画像Ｄ４、入力ＣＲ画像ＣＲＩＮ、及び入力ＣＢ画像ＣＢＩＮの画素の配置を示す図である。
【図８】高周波数成分加算画像Ｄ４の画素値Ｌと増幅率決定手段５Ａで決定される増幅率ＧＡＩＮの関係の一例を表す図である。
【図９】本発明による画像処理装置を用いた画像表示装置の構成例を示すブロック図である。
【図１０】図９の画像拡大手段Ｕ１の構成例を示すブロック図である。
【図１１】（Ａ）〜（Ｅ）は、図１０の画像拡大手段Ｕ１の動作を示す画素配置図である。
【図１２】（Ａ）〜（Ｄ）は、図１０の画像拡大手段Ｕ１の動作を説明するための周波数応答及び周波数スペクトルを示す図である。
【図１３】（Ａ）〜（Ｅ）は、第１の中間画像生成手段１の動作を説明するための周波数応答及び周波数スペクトルを示す図である。
【図１４】（Ａ）〜（Ｃ）は、第２の中間画像生成手段２の動作を説明するための周波数応答及び周波数スペクトルを示す図である。
【図１５】（Ａ）〜（Ｃ）は、ステップエッジとステップエッジをサンプリング間隔Ｓ１でサンプリングしたときに得られる、相連続する画素の信号の値を示す図である。
【図１６】（Ａ）〜（Ｃ）は、ステップエッジとステップエッジをサンプリング間隔Ｓ２でサンプリングしたときに得られる、相連続する画素の信号の値を示す図である。
【図１７】（Ａ）〜（Ｆ）は、第１の中間画像生成手段１及び第２の中間画像生成手段２の動作を説明するための、相連続する画素の信号の値を示す図である。
【図１８】（Ａ）及び（Ｂ）は、高周波数成分の加算に適度に行うことによって、画像の鮮鋭感を増した場合、及び高周波数成分の加算を過度に行った結果、画質の低下を招いた場合の、相連続する画素の信号の値を示す図である。
【図１９】高周波数成分加算画像Ｄ４の画素値Ｌと増幅率決定手段５Ａで決定される増幅率ＧＡＩＮの関係の他の例を表す図である。
【図２０】本発明の実施の形態２による画像処理方法における処理を示すフロー図である。
【図２１】図２０の第１の中間画像生成ステップＳＴ１における処理を示すフロー図である。
【図２２】図２０の第２の中間画像生成ステップＳＴ２における処理を示すフロー図である。
【図２３】図２２の水平方向非線形処理ステップＳＴ２Ａｈにおける処理を示すフロー図である。
【図２４】図２２の垂直方向非線形処理ステップＳＴ２Ａｖにおける処理を示すフロー図である。
【図２５】図２０の増幅率決定ステップＳＴ５における処理を示すフロー図である。
【発明を実施するための形態】
【００１３】
実施の形態１．
図１は本発明の実施の形態１による画像処理装置の構成を表す図であり、図示の画像処理装置は、例えば画像表示装置の一部として用いることができる。
【００１４】
図示の画像処理装置には、入力画像ＩＭＧＩＮが入力され、出力画像ＩＭＧＯＵＴが出力される。入力画像ＩＭＧＩＮはカラー画像であり、輝度成分を表す信号ＹＩＮ（以下、入力輝度画像ＹＩＮと呼ぶ）と色差成分を表す信号ＣＲＩＮ及びＣＢＩＮから成る。信号ＣＲＩＮ（以下、入力ＣＲ画像ＣＲＩＮと呼ぶ）は色差成分のうちＣｒ成分を表し、信号ＣＢＩＮ（以下、入力ＣＢ画像ＣＢＩＮと呼ぶ）は色差成分のうちＣｂ成分を表す。出力画像ＩＭＧＯＵＴもカラー画像であり、輝度成分を表す信号ＹＯＵＴ（以下、出力輝度画像ＹＯＵＴと呼ぶ）と色差成分を表す信号ＣＲＯＵＴ及びＣＢＯＵＴから成る。信号ＣＲＯＵＴ（以下、出力ＣＲ画像ＣＲＯＵＴと呼ぶ）は色差成分のうちＣｒ成分を表し、信号ＣＢＯＵＴ（以下、入力ＣＢ画像ＣＢＯＵＴと呼ぶ）は色差成分のうちＣｂ成分を表す。
【００１５】
図示の画像処理装置は、第１の中間画像生成手段１と、第２の中間画像生成手段２と、加算手段４と、色差増減手段５とを有する。
第１の中間画像生成手段１は、入力輝度画像ＹＩＮから特定の周波数帯域の成分(即ち第１の周波数（第１の所定の周波数）から第２の周波数（第２の所定の周波数）までの成分)を取り出した中間画像（第１の中間画像）Ｄ１を生成する。
第２の中間画像生成手段２は、中間画像Ｄ１に後述する処理を行った中間画像（第２の中間画像）Ｄ２を生成する。
加算手段４は、入力輝度画像ＹＩＮと、中間画像Ｄ１と、中間画像Ｄ２を加算する。
色差増減手段５は、入力ＣＲ画像ＣＲＩＮ及び入力ＣＢ画像ＣＢＩＮに後述する処理を行う。
加算手段４の出力画像が出力輝度画像ＹＯＵＴに相当し、色差増減手段５の出力が、出力ＣＲ画像ＣＲＯＵＴ及び出力ＣＢ画像ＣＢＯＵＴに相当する。
【００１６】
図２は第１の中間画像生成手段１の構成例を示した図であり、図示の第１の中間画像生成手段１は、入力輝度画像ＹＩＮから第１の周波数以上の高周波数成分のみを取り出した画像Ｄ１Ａを生成する高周波数成分画像生成手段１Ａと、画像Ｄ１Ａの第２の周波数以下の低周波数成分のみを取り出した画像Ｄ１Ｂを生成する低周波数成分画像生成手段１Ｂとを有する。第２の周波数は第１の周波数より高く、高周波数成分画像生成手段１Ａと低周波数成分画像生成手段１Ｂとで、特定の周波数帯域の成分を取り出す帯域通過フィルタ手段が構成されている。第１の中間画像生成手段１からは画像Ｄ１Ｂが中間画像Ｄ１として出力される。
【００１７】
図３は第２の中間画像生成手段２の構成例を示した図であり、図示の第２の中間画像生成手段２は、中間画像Ｄ１に対し、後述する非線形処理を行った画像Ｄ２Ａを出力する非線形処理手段２Ａと、画像Ｄ２Ａの第３の周波数（第３の所定の周波数）以上の高周波数成分のみを取り出した画像Ｄ２Ｂを出力する高周波数成分画像生成手段２Ｂを有する。第２の中間画像生成手段２からは画像Ｄ２Ｂが中間画像Ｄ２として出力される。
【００１８】
加算手段４は、中間画像Ｄ１と中間画像Ｄ２を加算した結果を高周波数成分加算画像Ｄ４として出力する。また、入力輝度画像ＹＩＮに対し、高周波数成分加算画像Ｄ４を加算した結果（即ち、中間画像Ｄ１及び中間画像Ｄ２を加算した結果）を、出力輝度画像ＹＯＵＴとして出力する。
【００１９】
図４は色差増減手段５の構成例を示した図であり、図示の色差増減手段５は、増幅率決定手段５Ａと、色差Ｃｒ乗算手段（第１の色差乗算手段）５Ｂ１と、色差Ｃｂ乗算手段（第２の色差乗算手段）５Ｂ２とを備える。
増幅率決定手段５Ａは、高周波数成分加算画像Ｄ４に基づいて増幅率Ｄ５Ａを決定する。
色差Ｃｒ乗算手段５Ｂ１は、増幅率Ｄ５Ａの値に基づいて、入力ＣＲ画像ＣＲＩＮの各画素値を増減し、その結果を画像Ｄ５Ｂ１として出力する。
色差Ｃｂ乗算手段５Ｂ２は、増幅率Ｄ５Ａの値に基づいて、入力ＣＢ画像ＣＢＩＮの各画素値を増減し、その結果を画像Ｄ５Ｂ２として出力する。
【００２０】
以下、本発明の実施の形態１による画像処理装置の詳細な動作について説明を行う。
まず、第１の中間画像生成手段１の詳細な動作について説明する。
第１の中間画像生成手段１は、高周波数成分画像生成手段１Ａにおいて、入力輝度画像ＹＩＮの第１の周波数以上の高周波数成分のみを取り出した画像Ｄ１Ａを生成する。
高周波数成分の取り出しは、ハイパスフィルタ処理を行うことで可能である。高周波数成分の取り出しは画像の水平方向及び垂直方向それぞれについて行う。即ち高周波数成分画像生成手段１Ａは、入力輝度画像ＹＩＮに対し、水平方向のハイパスフィルタ処理を行って水平方向についてのみ第１の水平方向周波数（第１の所定の水平方向周波数）以上の高周波数成分を取り出した画像Ｄ１Ａｈを生成する水平方向高周波数成分画像生成手段１Ａｈと、垂直方向のハイパスフィルタ処理を行って垂直方向についてのみ第１の垂直方向周波数（第１の所定の垂直方向周波数）以上の高周波数成分を取り出した画像Ｄ１Ａｖを生成する垂直方向高周波数成分画像生成手段１Ａｖを有し、画像Ｄ１Ａは画像Ｄ１Ａｈと画像Ｄ１Ａｖから成る。
【００２１】
次に、第１の中間画像生成手段１は、低周波数成分画像生成手段１Ｂにおいて、画像Ｄ１Ａの第２の周波数以下の低周波数成分のみを取り出した画像Ｄ１Ｂを生成する。低周波数成分の取り出しは、ローパスフィルタ処理を行うことで可能である。低周波数成分の取り出しは水平方向及び垂直方向それぞれについて行う。即ち低周波数成分画像生成手段１Ｂは、画像Ｄ１Ａｈに対し水平方向のローパスフィルタ処理を行って水平方向についてのみ第２の水平方向周波数（第２の所定の水平方向周波数）以下の低周波数成分を取り出した画像Ｄ１Ｂｈを生成する水平方向低周波数成分画像生成手段１Ｂｈと、画像Ｄ１Ａｖに対し垂直方向のローパスフィルタ処理を行って垂直方向についてのみ第２の垂直方向周波数（第２の所定の垂直方向周波数）以下の低周波数成分を取り出した画像Ｄ１Ｂｖを生成する垂直方向低周波数成分画像生成手段１Ｂｖとを有し、画像Ｄ１Ｂは画像Ｄ１Ｂｈと画像Ｄ１Ｂｖから成る。第１の中間画像生成手段１からは、画像Ｄ１Ｂが中間画像Ｄ１として出力される。なお、中間画像Ｄ１は、画像Ｄ１Ｂｈに相当する画像Ｄ１ｈと、画像Ｄ１Ｂｖに相当する画像Ｄ１ｖから成る。
【００２２】
次に、第２の中間画像生成手段２の詳細な動作について説明する。
まず、第２の中間画像生成手段２は、非線形処理手段２Ａにおいて、中間画像Ｄ１に対して後述する非線形処理を行った画像Ｄ２Ａを生成する。非線形処理は、水平方向及び垂直方向それぞれについて行う。即ち非線形処理手段２Ａは、画像Ｄ１ｈに対して後述する非線形処理を行って画像Ｄ２Ａｈを生成する水平方向非線形処理手段２Ａｈと、画像Ｄ１ｖに対して後述する非線形処理を行って画像Ｄ２Ａｖを生成する垂直方向非線形処理手段２Ａｖとを有し、画像Ｄ２Ａは画像Ｄ２Ａｈと画像Ｄ２Ａｖから成る。
【００２３】
非線形処理手段２Ａの動作についてさらに詳しく説明する。非線形処理手段２Ａは互いに同様の構成から成る水平方向非線形処理手段２Ａｈと、垂直方向非線形処理手段２Ａｖを備える。水平方向非線形処理手段２Ａｈは水平方向の処理を行い、垂直方向非線形処理手段２Ａｖは垂直方向の処理を行う。
【００２４】
図５は水平方向非線形処理手段２Ａｈの構成例を表す図である。図示の水平方向非線形処理手段２Ａｈはゼロクロス判定手段３１１ｈと、信号増幅手段３１２ｈとを備える。非線形処理手段２Ａｈには、画像Ｄ１ｈが入力画像ＤＩＮ３１１ｈとして入力される。
【００２５】
ゼロクロス判定手段３１１ｈは入力画像ＤＩＮ３１１ｈにおける画素値の変化を水平方向に沿って確認する。そして画素値が正の値から負の値へ、あるいは負の値から正の値へと変化する箇所をゼロクロス点として捉え、信号Ｄ３１１ｈによってゼロクロス点の前後にある画素（前後において隣接する画素）の位置を信号増幅手段３１２ｈに伝達する。ここで「前後」とは信号が供給される順序における前後であり、水平方向に左から右に画素の信号が供給されるときは「左右」を意味し、垂直方向に上から下に画素の信号が供給されるときは「上下」を意味する。ゼロクロス判定手段３１１ｈでは、水平方向非線形処理手段２Ａｈ内のゼロクロス判定手段３１１ｈでは、ゼロクロス点の左右に位置する画素がゼロクロス点の前後に位置する画素として認識される。
【００２６】
信号増幅手段３１２ｈは信号Ｄ３１１ｈをもとにゼロクロス点の前後にある画素（前後において隣接する画素）を特定し、ゼロクロス点の前後にある画素についてのみその画素値を増幅させた（絶対値を大きくした）非線形処理画像Ｄ３１２ｈを生成する。即ち、ゼロクロス点前後にある画素の画素値に対しては増幅率を１より大きな値とし、それ以外の画素の画素値に対しての増幅率は１とする。
水平方向非線形処理手段２Ａｈからは画像Ｄ２Ａｈとして非線形処理画像Ｄ３１２ｈが出力される。
【００２７】
図６は垂直方向非線形処理手段２Ａｖの構成例を表す図である。図示の垂直方向非線形処理手段２Ａｖはゼロクロス判定手段３１１ｖと、信号増幅手段３１２ｖとを備える。非線形処理手段２Ａｖには、画像Ｄ１ｖが入力画像ＤＩＮ３１１ｖとして入力される。
【００２８】
ゼロクロス判定手段３１１ｖは入力画像ＤＩＮ３１１ｖにおける画素値の変化を垂直方向に沿って確認する。そして画素値が正の値から負の値へ、あるいは負の値から正の値へと変化する箇所をゼロクロス点として捉え、信号Ｄ３１１ｖによってゼロクロス点の前後にある画素（前後において隣接する画素）の位置を信号増幅手段３１２ｖに伝達する。垂直方向非線形処理手段２Ａｖ内のゼロクロス判定手段３１１ｖでは、ゼロクロス点の上下に位置する画素がゼロクロス点の前後に位置する画素として認識される。
【００２９】
信号増幅手段３１２ｖは信号Ｄ３１１ｖをもとにゼロクロス点の前後にある画素（前後において隣接する画素）を特定し、ゼロクロス点の前後にある画素についてのみその画素値を増幅させた（絶対値を大きくした）非線形処理画像Ｄ３１２ｖを生成する。即ち、ゼロクロス点前後にある画素の画素値に対しては増幅率を１より大きな値とし、それ以外の画素の画素値に対しての増幅率は１とする。
以上が非線形処理手段２Ａの動作である。
【００３０】
次に第２の中間画像生成手段２は、高周波数成分画像生成手段２Ｂにおいて、画像Ｄ２Ａの第３の周波数（第３の所定の周波数）以上の高周波数成分のみを取り出した画像Ｄ２Ｂを生成する。高周波数成分の取り出しは、ハイパスフィルタ処理を行うことで可能である。高周波数成分の取り出しは画像の水平方向及び垂直方向それぞれについて行う。即ち高周波数成分画像生成手段２Ｂは、画像Ｄ２Ａｈに対し水平方向のハイパスフィルタ処理を行って水平方向についてのみ第３の水平方向周波数（第３の所定の水平方向周波数）以上の高周波数成分を取り出した画像Ｄ２Ｂｈを生成する水平方向高周波数成分画像生成手段２Ｂｈと、画像Ｄ２Ａｖに対し垂直方向のハイパスフィルタ処理を行って垂直方向についてのみ第３の垂直方向周波数（第３の所定の垂直方向周波数）以上の高周波数成分を取り出した画像Ｄ２Ｂｖを生成する垂直方向高周波数成分画像生成手段２Ｂｖとを有し、画像Ｄ２Ｂは画像Ｄ２Ｂｈと画像Ｄ２Ｂｖとから成る。第２の中間画像生成手段２からは、画像Ｄ２Ｂが中間画像Ｄ２として出力される。中間画像Ｄ２は画像Ｄ２Ｂｈに相当する画像Ｄ２ｈと、画像Ｄ２Ｂｖに相当する画像Ｄ２ｖとから成る。
【００３１】
次に加算手段４の動作について説明する。加算手段４は中間画像Ｄ１及び中間画像Ｄ２を加算した結果を高周波数成分加算画像Ｄ４として出力する。また、入力輝度画像ＹＩＮに対し、高周波数成分加算画像Ｄ４を加算した結果（即ち、中間画像Ｄ１及び中間画像Ｄ２を加算した結果）を、出力輝度画像ＹＯＵＴとして出力する。出力輝度画像ＹＯＵＴは最終的な出力画像ＩＭＧＯＵＴの一部として、画像処理装置から出力される。
【００３２】
中間画像Ｄ１は画像Ｄ１ｈ及び画像Ｄ１ｖから成っており、中間画像Ｄ２は画像Ｄ２ｈ及び画像Ｄ２ｖから成っているので、中間画像Ｄ１、及び中間画像Ｄ２を加算するとは、画像Ｄ１ｈ、Ｄ１ｖ、Ｄ２ｈ、及びＤ２ｖの全てを加算することを意味する。
【００３３】
ここで、加算手段４での加算処理は単純加算に限らず重み付け加算を行なっても良い。即ち、画像Ｄ１ｈ、Ｄ１ｖ、Ｄ２ｈ、及びＤ２ｖの各々をそれぞれ異なる増幅率で増幅してから加算したものを高周波数成分加算画像Ｄ４としてもよい。
【００３４】
次に色差増減手段５の詳細な動作について説明する。まず、色差増減手段５は増幅率決定手段５Ａにおいて高周波数成分加算画像Ｄ４をもとに増幅率Ｄ５Ａを決定する。ここで、増幅率Ｄ５Ａの決定は画素ごとに行われる。
【００３５】
図７（Ａ）〜（Ｃ）は高周波数成分加算画像Ｄ４、入力ＣＲ画像ＣＲＩＮ、及び入力ＣＢ画像ＣＢＩＮの画素の配置を示す図であり、図７（Ａ）が高周波数成分加算画像Ｄ４を、図７（Ｂ）が入力ＣＲ画像ＣＲＩＮを、図７（Ｃ）が入力ＣＢ画像ＣＢＩＮを表している。また、図７（Ａ）〜（Ｃ）では画像の水平方向及び垂直方向に合わせて水平座標及び垂直座標が表されている。さらに、高周波数成分加算画像Ｄ４については、水平座標ｘ、垂直座標ｙの位置にある画素の画素値がＬ（ｘｙ）という記号で表されており、入力ＣＲ画像ＣＲＩＮについては、水平座標ｘ、垂直座標ｙの位置にある画素の画素値がＣｒ（ｘｙ）という記号で表されており、入力ＣＢ画像ＣＢＩＮについては、水平座標ｘ、垂直座標ｙの位置にある画素の画素値がＣｂ（ｘｙ）という記号で表されている。
【００３６】
増幅率決定手段５Ａは入力ＣＲ画像ＣＲＩＮ及び入力ＣＢ画像ＣＢＩＮの各画素に対する増幅率を高周波数成分加算画像Ｄ４の同一座標の画素値に基づいて決定する。即ち、画素値Ｃｒ（１１）及びＣｂ（１１）に対する増幅率は画素値Ｌ（１１）をもとに決定し、画素値Ｃｒ（１２）及びＣｂ（１２）に対する増幅率は画素値Ｌ（１２）をもとに決定し、一般化すれば、画素値Ｃｒ（ｘｙ）及びＣｂ（ｘｙ）に対する増幅率は画素値Ｌ（ｘｙ）をもとに決定し、という様に高周波数成分加算画像Ｄ４の同一座標の画素値をもとに増幅率を決定し、その結果を増幅率Ｄ５Ａとして出力する。
【００３７】
図８は、高周波数成分加算画像Ｄ４の画素値（以下、Ｌと表す）と増幅率決定手段５Ａで決定される増幅率（以下、ＧＡＩＮと表す）の関係を表す図である。
図示のように、Ｌがゼロの場合、ＧＡＩＮは１となり、Ｌが正の値の場合、ＧＡＩＮは１より大きな値となり、Ｌが負の場合、ＧＡＩＮは１より小さい正の値となる。このようなＬとＧＡＩＮの関係は例えば、以下の式
【数１】
で表すことが出来る。ここでｋｐ、ｋｍは正の値をとる予め定められた係数であり、ｋｐは図８の曲線のＬ＞０の領域における傾きを表し、ｋｍは図８の曲線のＬ＜０の領域における傾きを表す。
【００３８】
なお、ＧＡＩＮは必ず正の値をとる。式（１）によってＧＡＩＮを計算する場合、Ｌのとりうる値に対してｋｍの値を十分小さくすれば、ＧＡＩＮの値が常に正の値となるようにすることが出来る。例えばＬを符号付きの８ビット整数値とした場合、Ｌの取りうる値は−１２８以上１２７以下である。したがってｋｍは１／１２８より小さな値とすればよい。一般化すれば、Ｌのとりうる値が−ＭＬ以上（ＭＬは正の値）であれば、ｋｍの値を１／ＭＬ以下とすればよく、これによりＧＡＩＮが負の値とならないようにすることができる。このようにｋｍに対する制限はＬの取りうる値の最小値から容易に考えることが出来る。
【００３９】
色差Ｃｒ乗算手段５Ｂ１は増幅率Ｄ５Ａを入力ＣＲ画像ＣＲＩＮの画素値に対してかけた結果を画像Ｄ５Ｂ１として出力する。増幅率Ｄ５Ａが１より大きい場合、入力ＣＲ画像ＣＲＩＮの画素値は増幅され、増幅率Ｄ５Ａが１より小さい場合、入力ＣＲ画像ＣＲＩＮの画素値は減少され、増幅率Ｄ５Ａが１の場合、入力ＣＲ画像ＣＲＩＮの画素値は維持されることになる。なお、増幅率Ｄ５Ａの値は、高周波数成分加算画像Ｄ４の画素値が正の場合、１より大きくなり、負の場合、１より小さくなり、ゼロの場合、１となるので、結局、入力ＣＲ画像ＣＲＩＮの画素値は、高周波数成分加算画像Ｄ４の画素値が正の場合、増幅され、負の場合、減少され、ゼロの場合、維持される。
【００４０】
同様に、色差Ｃｂ乗算手段５Ｂ２は増幅率Ｄ５Ａを入力ＣＢ画像ＣＢＩＮの画素値に対してかけた結果を画像Ｄ５Ｂ２として出力する。増幅率Ｄ５Ａが１より大きい場合、入力ＣＢ画像ＣＢＩＮの画素値は増幅され、増幅率Ｄ５Ａが１より小さい場合、入力ＣＢ画像ＣＢＩＮの画素値は減少され、増幅率Ｄ５Ａが１の場合、入力ＣＢ画像ＣＢＩＮの画素値は維持されることになる。なお、増幅率Ｄ５Ａの値は、高周波数成分加算画像Ｄ４の画素値が正の場合、１より大きくなり、負の場合、１より小さくなり、ゼロの場合、１となるので、結局、入力ＣＢ画像ＣＢＩＮの画素値は、高周波数成分加算画像Ｄ４の画素値が正の場合、増幅され、負の場合、減少され、ゼロの場合、維持される。
【００４１】
そして、画像Ｄ５Ｂ１が出力ＣＲ画像ＣＲＯＵＴとして出力され、画像Ｄ５Ｂ２が出力ＣＢ画像ＣＢＯＵＴとして出力される。また、出力ＣＲ画像ＣＲＯＵＴ及び出力ＣＢ画像ＣＢＯＵＴは最終的な出力画像ＩＭＧＯＵＴの一部として、画像処理装置から出力される。
以上が色差増減手段５の動作である。
【００４２】
以下、本発明における画像処理装置を画像表示装置の一部として利用する例について説明する。この説明を通じて、本発明における画像処理装置の作用、効果も明らかなものとなるであろう。なお、以下の説明では特に断らない限り、Ｆｎという記号は入力画像ＩＭＧＩＮのナイキスト周波数を表す。
【００４３】
図９は本発明における画像処理装置を利用した画像表示装置を示し、図示の画像表示装置においては、モニタＵ３上に原画ＩＭＧＯＲＧに対応した画像が表示される。
【００４４】
カラー画像拡大手段Ｕ１は、原画ＩＭＧＯＲＧの画像サイズがモニタＵ３の画像サイズより小さい場合、原画ＩＭＧＯＲＧを拡大した画像ＩＭＧＵ１を出力する。ここで画像を拡大する手段としては、バイキュービック法などを用いることができる。
【００４５】
本発明における画像処理装置Ｕ２は、画像ＩＭＧＵ１を入力画像ＩＭＧＩＮとし、入力画像ＩＭＧＩＮに対し、先に説明した処理を行った画像ＤＵ２を出力する。そしてモニタＵ３上には画像ＤＵ２が表示される。
【００４６】
なお、画像ＤＵ２は輝度信号（Ｙ）と色差信号（Ｃｒ、Ｃｂ）に分かれている（以下、ＹＣｂＣｒ形式と呼ぶこともある）ので、通常、モニタＵ３に表示される前に赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色信号（以下ＲＧＢ形式と呼ぶこともある）に変換される。ＹＣｂＣｒ形式とＲＧＢ形式の間の変換は例えば国際電気通信連合による勧告ＩＴＵ−Ｒ．ＢＴ６０１等に記載されており、ＲＧＢ形式からＹＣｂＣｒ形式への変換は
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
Ｃｒ＝０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ
Ｃｂ＝−０．１６９Ｒ−０．３３１Ｇ＋０．５００Ｂ
…（２）
により行なわれ、ＹＣｂＣｒ形式からＲＧＢ形式への変換は
Ｒ＝１．０００Ｙ＋１．４０２Ｃｒ＋０．０００Ｃｂ
Ｇ＝１．０００Ｙ−０．７１４Ｃｒ−０．３４４Ｃｂ
Ｂ＝１．０００Ｙ＋０．０００Ｃｒ＋１．７７２Ｃｂ
…（３）
により行なわれる。なお、式（２）、式（３）に示した係数は一例であって、本発明はこれに限定されない。また、入力画像が８ビットデータの場合、Ｃｒ、Ｃｂの値は通常−１２８以上１２７以下の範囲に丸め込まれる。
【００４７】
以下、原画ＩＭＧＯＲＧは、水平方向及び垂直方向ともにその画素数がモニタＵ３の画素数の半分であるとして、まずカラー画像拡大手段Ｕ１の動作、作用について説明を行う。
【００４８】
カラー画像拡大手段Ｕ１は原画ＩＭＧＯＲＧの輝度成分を表す画像ＹＯＲＧを拡大した画像ＤＵ１Ｙを生成する画像拡大手段Ｕ１Ｙと、Ｃｒ成分を表す画像ＣＲＯＲＧを拡大した画像ＤＵ１ＣＲを生成する画像拡大手段Ｕ１ＣＲと、Ｃｂ成分を表す画像ＣＢＯＲＧを拡大した画像ＤＵ１ＣＢを生成する画像拡大手段Ｕ１ＣＢとを有する。なお、画像拡大手段Ｕ１Ｙ、画像拡大手段Ｕ１ＣＲ、及び画像拡大手段Ｕ１ＣＢの構成はいずれも、図１０に示す画像拡大手段Ｕ１と同じにすることができる。
【００４９】
図１０は画像拡大手段Ｕ１の構成例を表す図であり、画像拡大手段Ｕ１は水平方向ゼロ挿入手段Ｕ１Ａと、水平方向低周波数成分通過手段Ｕ１Ｂと、垂直方向ゼロ挿入手段Ｕ１Ｃと、垂直方向低周波数成分通過手段Ｕ１Ｄとを有する。
また、画像拡大手段Ｕ１への入力画像を原画ＤＯＲＧとして表す。
水平方向ゼロ挿入手段Ｕ１Ａは原画ＤＯＲＧの水平方向に関して画素値０を持つ画素を適宜挿入した（原画ＤＯＲＧの水平方向に隣接する画素列相互間に、画素値０の画素から成る画素列を１列ずつ挿入した）画像ＤＵ１Ａを生成する。
水平方向低周波数成分通過手段Ｕ１Ｂはローパスフィルタ処理により画像ＤＵ１Ａの低周波数成分のみを取り出した画像ＤＵ１Ｂを生成する。
垂直方向ゼロ挿入手段Ｕ１Ｃは画像ＤＵ１Ｂの垂直方向に関して画素値０を持つ画素を適宜挿入した（画像ＤＵ１Ｂの垂直方向に隣接した画素行相互間に、画素値０の画素から成る画素行を１行ずつ挿入した）画像ＤＵ１Ｃを生成する。
垂直方向低周波数成分通過手段ＤＵ１Ｄは画像ＤＵ１Ｃの低周波数成分のみを取り出した画像ＤＵ１Ｄを生成する。
画像ＤＵ１Ｄが原画ＤＯＲＧを水平方向及び垂直方向ともに２倍した画像ＤＵ１として、画像拡大手段Ｕ１から出力される。
【００５０】
図１１（Ａ）〜（Ｅ）は画像拡大手段Ｕ１の動作を詳しく説明するための図であり、図１１（Ａ）は原画ＤＯＲＧを、図１１（Ｂ）は画像ＤＵ１Ａを、図１１（Ｃ）は画像ＤＵ１Ｂを、図１１（Ｄ）は画像ＤＵ１Ｃを、図１１（Ｅ）は画像ＤＵ１Ｄを表す。図１１（Ａ）〜（Ｅ）に関して、四角(升目)は画素を表し、その中に書かれた記号あるいは数値は各画素の画素値を表す。
【００５１】
水平方向ゼロ挿入手段Ｕ１Ａは図１１（Ａ）に示す原画ＤＯＲＧに対して、水平方向の１画素につき１個、画素値０をもった画素を挿入し（即ち、原画ＤＯＲＧの水平方向に隣接する画素列相互間に一つの、画素値０の画素から成る画素列を挿入し）、図１１（Ｂ）に示す画像ＤＵ１Ａを生成する。水平方向低周波数成分通過手段Ｕ１Ｂは図１１（Ｂ）に示す画像ＤＵ１Ａに対して、ローパスフィルタ処理を施し、図１１（Ｃ）に示す画像ＤＵ１Ｂを生成する。
垂直方向ゼロ挿入手段Ｕ１Ｃは図１１（Ｃ）に示す画像ＤＵ１Ｂに対して、垂直方向の１画素につき１個、画素値０をもった画素を挿入し（即ち、画像ＤＵ１Ｂの垂直方向に隣接する画素行相互間に一つの、画素値０の画素から成る画素行を挿入し）、図１１（Ｄ）に示す画像ＤＵ１Ｃを生成する。垂直方向低周波数成分通過手段Ｕ１Ｄは図１１（Ｄ）に示す画像ＤＵ１Ｃに対して、ローパスフィルタ処理を施し、図１１（Ｅ）に示す画像ＤＵ１Ｄを生成する。
以上の処理により原画ＤＯＲＧを水平方向及び垂直方向ともも２倍に拡大した画像ＤＵ１Ｄが生成される。
【００５２】
図１２（Ａ）〜（Ｄ）は画像拡大手段Ｕ１による処理の作用を周波数空間上で表したものであり、図１２（Ａ）は原画ＤＯＲＧの周波数スペクトル、図１２（Ｂ）は画像ＤＵ１Ａの周波数スペクトル、図１２（Ｃ）は水平方向周波数成分通過手段Ｕ１Ｂの周波数応答、図１２（Ｄ）は画像ＤＵ１Ｂの周波数スペクトルを表している。なお、図１２（Ａ）〜（Ｄ）において横軸は水平方向の空間周波数を表す周波数軸であり、縦軸は周波数スペクトルもしくは周波数応答の強度を表している。
原画ＤＯＲＧの画素数は水平方向及び垂直方向とも画像ＤＵ１の半分であり、言い換えると原画ＤＯＲＧのサンプリング間隔は画像ＤＵ１のサンプリング間隔の２倍である。したがって原画ＤＯＲＧのナイキスト周波数は画像ＤＵ１のナイキスト周波数の半分である。
一方、画像拡大手段Ｕ１（あるいは画像拡大手段Ｕ１Ｙ、画像拡大手段Ｕ１ＣＲ、画像拡大手段Ｕ１ＣＢ）の出力する画像ＩＭＧＵ１が入力画像ＩＭＧＩＮとして用いられるので、明らかに、画像ＤＵ１の画素数と入力画像ＩＭＧＩＮの画素数は同じである。即ち画像ＤＵ１のナイキスト周波数もＦｎである。したがって原画ＤＯＲＧのナイキスト周波数は入力画像入力画像ＩＭＧＩＮのナイキスト周波数の半分即ち、Ｆｎ／２である。
【００５３】
なお、図１２では表記を簡単にするため、１本の周波数軸しか用いていない。しかしながら、通常、画像データは２次元平面状に並んだ画素配列上に与えられた画素値から成り、その周波数スペクトルも水平方向の周波数軸及び垂直方向の周波数軸で張られる平面上に与えられるものである。したがって原画ＤＯＲＧ等の周波数スペクトル等を正確に表すためには、水平方向の周波数軸及び垂直方向の周波数軸の両方を記載する必要がある。しかしながらその周波数スペクトルの形状は通常、周波数軸上の原点を中心に等方的に広がったものであり、周波数軸１本で張られる空間上での周波数スペクトルを示しさえすれば、そこから周波数軸２本で張られる空間へ拡張して考察することは当業者にとって容易である。したがって以降の説明でも特に断らない限り、周波数空間上での説明は、１本の周波数軸で張られる空間を用いて行う。
【００５４】
また、原画ＤＯＲＧとして入力される信号としては、輝度成分を表す画像ＹＯＲＧと、色差成分を表す画像ＣＲＯＲＧ及び画像ＣＢＯＲＧがある。しかし、人間の目には色差成分の急峻な変化（或いは色差信号の持つ高周波数成分）については感度が低い。したがって、原画ＤＯＲＧとして色差成分を表す画像ＣＲＯＲＧ及び画像ＣＢＯＲＧが入力される場合、以下で説明するような折り返し成分は通常問題とならない。以上の理由から以下で説明する現象は原画ＤＯＲＧとして輝度成分を表す画像ＹＯＲＧが入力された場合に、顕著に現れる。したがって以下の説明では原画ＤＯＲＧとして、原画ＩＭＧＯＲＧの輝度成分を表す画像ＹＯＲＧが入力される場合を前提にしている。
【００５５】
まず、原画ＤＯＲＧの周波数スペクトルについて説明する。通常、自然画像が原画ＤＯＲＧとして入力されるが、その場合にはその輝度成分のスペクトル強度は周波数空間の原点周辺に集中している。したがって原画ＤＯＲＧの周波数スペクトルは図１２（Ａ）のスペクトルＳＰＯのようになる。
【００５６】
次に、画像ＤＵ１Ａのスペクトル強度について説明する。画像ＤＵ１Ａは、原画ＤＯＲＧに対して、水平方向に１画素につき１画素、画素値０を持った画素を挿入することで生成される。このような処理を行うと周波数スペクトルには原画ＤＯＲＧのナイキスト周波数を中心にした折り返しが発生する。即ち周波数±Ｆｎ／２を中心にスペクトルＳＰＯが折り返したスペクトルＳＰＭが発生するので、画像ＤＵ１Ａの周波数スペクトルは図１２（Ｂ）のように表される。
【００５７】
次に、水平方向低周波数成分通過手段Ｕ１Ｂの周波数応答について説明する。水平方向低周波数成分通過手段はローパスフィルタによって実現されるので、その周波数応答は図１２（Ｃ）に示すように周波数が高くなるほど低くなる。
【００５８】
最後に、画像ＤＵ１Ｂの周波数スペクトルについて説明する。図１２（Ｂ）に示す周波数スペクトルを持った画像ＤＵ１Ａに対し、図１２（Ｃ）に示した周波数応答を持ったローパスフィルタ処理を行うことで、図１２（Ｄ）に示す画像ＤＵ１Ｂが得られる。
したがって画像ＤＵ１Ｂの周波数スペクトルは画像ＤＵ１Ｂに示すように、スペクトルＳＰＭの強度がある程度落ちたスペクトルＳＰ２と、スペクトルＳＰＯの強度がある程度落ちたスペクトルＳＰ１から成る。なお一般に、ローパスフィルタの周波数応答は周波数が高くなるほど低くなる。従って、スペクトルＳＰ１の強度をスペクトルＳＰＯと比較すると、水平方向低周波数成分通過手段Ｕ１Ｂによって、高周波数成分側、即ち周波数が±Ｆｎ／２の近傍でのスペクトル強度が減少したものとなる。
【００５９】
また、画像拡大手段Ｕ１による処理のうち、垂直方向ゼロ挿入手段Ｕ１Ｃ及び垂直方向低周波数成分通過手段Ｕ１Ｄによる処理について、その周波数空間上での作用についての説明は省略するが、その処理の内容から、垂直方向の空間周波数を表す軸方向に対して、図１２（Ａ）〜（Ｄ）を参照して説明した内容と同様の作用があることは容易に理解できる。即ち、画像ＤＵ１Ｄの周波数スペクトルは、図１２（Ｄ）に示した周波数スペクトルが２次元状に広がったものとなる。
【００６０】
また、以降の説明ではスペクトルＳＰ２のことを折り返し成分と呼ぶ。この折り返し成分は、画像上では、比較的高い周波数成分を持ったノイズあるいは偽の信号として現れる。そのようなノイズあるいは偽の信号としてジャギー、リンギング等が挙げられる。
【００６１】
以下、本発明における画像処理装置の作用、効果について説明する。
図１３（Ａ）〜（Ｅ）は入力画像ＩＭＧＩＮ（もしくは画像ＩＭＧＵ１）として原画ＩＭＧＯＲＧを拡大して得られた画像ＩＭＧＵ１が入力された場合の、入力輝度画像ＹＩＮから中間画像Ｄ１を生成する際の作用、効果を模式的に表した図であり、
図１３（Ａ）は入力輝度画像ＹＩＮの周波数スペクトルを、図１３（Ｂ）は高周波数成分画像生成手段１Ａの周波数応答を、図１３（Ｃ）は低周波数成分画像生成手段１Ｂの周波数応答を、図１３（Ｄ）は第１の中間画像生成手段１の周波数応答を、図１３（Ｅ）は中間画像Ｄ１の周波数スペクトルを表す。なお、図１３（Ａ）〜（Ｅ）においても図１２（Ａ）〜（Ｄ）と同様の理由で周波数軸は１本しか用いていない。
【００６２】
さらに図１３（Ａ）〜（Ｅ）では、空間周波数が０以上となる範囲でのみ周波数スペクトルあるいは周波数応答の強度を表しているが、以下の説明での周波数スペクトルあるいは周波数応答は、周波数軸上の原点を中心に対称的な形状となる。したがって説明に用いる図は、空間周波数が０以上となる範囲のみを示したもので十分である。
【００６３】
まず、入力輝度画像ＹＩＮの周波数スペクトルについて説明する。画像拡大手段Ｕ１Ｙにおける拡大処理によって生成された画像ＩＭＧＵ１が入力輝度画像ＹＩＮとして入力されるので、入力輝度画像ＹＩＮの周波数スペクトルは図１３（Ａ）に示すように、図１２（Ｄ）で説明したものと同じ形状となり、原画ＩＭＧＯＲＧのスペクトルＳＰＯの強度がある程度落ちたスペクトルＳＰ１と折り返し成分となるスペクトルＳＰ２から成る。
【００６４】
次に、高周波数成分画像生成手段１Ａの周波数応答について説明する。高周波数成分画像生成手段１Ａはハイパスフィルタにより構成されているので、その周波数応答は図１３（Ｂ）に示すように周波数が低くなるほど低くなる。
【００６５】
次に、低周波数成分画像生成手段１Ｂの周波数応答について説明する。低周波数成分画像生成手段１Ｂはローパスフィルタにより構成されているので、その周波数応答は図１３（Ｃ）に示すように周波数が高くなるほど低くなる。
【００６６】
次に、第１の中間画像生成手段１の周波数応答について説明する。入力輝度画像ＹＩＮが持つ周波数成分のうち、図１３（Ｄ）に示された低周波数成分側の領域（「第１の周波数ＦＬ１」よりも低い周波数の帯域）ＲＬ１の周波数成分については、第１の中間画像生成手段１内の高周波数成分画像生成手段１Ａで弱められる。一方、図１３（Ｄ）に示された高周波数成分側の領域（第２の周波数ＦＬ２よりも高い周波数の帯域）ＲＨ１の周波数成分については、第１の中間画像生成手段１内の低周波数成分画像生成手段１Ｂで弱められる。したがって、第１の中間画像生成手段１の周波数応答は、図１３（Ｄ）に示すように、低周波数成分側の領域ＲＬ１と高周波数成分側の領域ＲＨ１によって帯域を制限された中間の領域（特定の周波数帯域）ＲＭ１内にピークを持ったものとなる。
【００６７】
次に、中間画像Ｄ１の周波数スペクトルについて説明する。図１３（Ａ）に示す周波数スペクトルを持つ入力輝度画像ＹＩＮが、図１３（Ｄ）に示した周波数応答を持つ第１の中間画像生成手段１を通過することで、図１３（Ｅ）に示す中間画像Ｄ１が得られる。そして第１の中間画像生成手段１の周波数応答は、低周波数成分側の領域ＲＬ１と高周波数成分側の領域ＲＨ１によって帯域制限された中間の領域ＲＭ１にピークを持ったものなので、中間画像Ｄ１の周波数スペクトルは、入力輝度画像ＹＩＮの周波数スペクトルのうち、低周波数成分側の領域ＲＬ１と高周波数成分側の領域ＲＨ１に含まれる部分の強度が弱くなったものとなる。従って中間画像Ｄ１は入力輝度画像ＹＩＮの持つ高周波数成分から折り返し成分となるスペクトルＳＰ２を取り除いたものとなる。即ち第１の中間画像生成手段１には、入力輝度画像ＹＩＮのもつ高周波数成分から折り返し成分となるスペクトルＳＰ１を取り除いた中間画像Ｄ１を生成するという効果がある。
【００６８】
図１４（Ａ）〜（Ｃ）は第２の中間画像生成手段２の作用、効果を表した図であり、図１４（Ａ）は非線形処理画像Ｄ２Ａの周波数スペクトルを、図１４（Ｂ）は高周波数成分画像生成手段２Ｂの周波数応答を、図１４（Ｃ）は画像Ｄ２Ｂの周波数スペクトルを表す。なお、図１４（Ａ）〜（Ｃ）では、図１３（Ａ）〜（Ｅ）と同様の理由で、空間周波数が０以上となる範囲でのみ周波数スペクトルあるいは周波数応答を表している。
【００６９】
後述するように非線形処理画像Ｄ２Ａでは、高周波数成分側の領域ＲＨ２に相当する高周波数成分が生成される。図１４（Ａ）はその様子を模式的に表した図である。図１４（Ｃ）に示す画像Ｄ２Ｂは非線形処理画像Ｄ２Ａが高周波数成分画像生成手段２Ｂを通過することで生成される。高周波数成分画像生成手段２Ｂは第３の周波数ＦＬ３以上の成分を通過させるハイパスフィルタで構成されており、その周波数応答は図１４（Ｂ）に示すように周波数が高くなるほど高いものとなる。従って画像Ｄ２Ｂの周波数スペクトルは図１４（Ｃ）に示すように非線形処理画像Ｄ２Ａの周波数スペクトルから低周波数成分側の領域ＲＬ２に相当する成分（第３の周波数ＦＬ３よりも低い周波数成分）を取り除いたものとなる。言い換えると、非線形処理手段２Ａには高周波数成分側の領域ＲＨ２に相当する高周波数成分を生成する効果があり、高周波数成分画像生成手段２Ｂには非線形処理手段２Ａで生成された高周波数成分のみを取り出す効果がある。なお、図示の例では、第３の周波数ＦＬ３は、Ｆｎ／２に略等しい。
【００７０】
上記の作用、効果についてさらに詳しく説明する。
図１５（Ａ）〜（Ｃ）及び図１６（Ａ）〜（Ｃ）はステップエッジをサンプリングした際に得られる輝度信号について表した図である。
図１５（Ａ）はステップエッジとサンプリング間隔Ｓ１を表しており、図１５（Ｂ）はステップエッジをサンプリング間隔Ｓ１でサンプリングした際に得られる輝度信号を表しており、図１５（Ｃ）は図１５（Ｂ）に表された信号の高周波数成分を表している。一方、図１６（Ａ）はステップエッジとサンプリング間隔Ｓ１より間隔の広いサンプリング間隔Ｓ２を表しており、図１６（Ｂ）はステップエッジをサンプリング間隔Ｓ２でサンプリングした際に得られる信号を表しており、図１６（Ｃ）は図１６（Ｂ）に表された信号の高周波数成分を表している。なお、以下の説明ではサンプリング間隔Ｓ２の長さはサンプリング間隔Ｓ１の長さの２倍であるとする。
【００７１】
図１５（Ｃ）及び図１６（Ｃ）に表されるようにステップエッジの中央は高周波数成分を表す信号においてゼロクロス点Ｚとして現れる。また、高周波数成分を表す信号のゼロクロス点Ｚの近傍での傾きは、サンプリング間隔が短いほど急になり、かつゼロクロス点Ｚの近傍での局所的な最大値、最小値を与える点の位置も、サンプリング間隔が短いほどゼロクロス点Ｚに近づく。
【００７２】
即ち、サンプリング間隔が変わっても、エッジの近傍において高周波数成分を表す信号のゼロクロス点の位置は変化しないが、サンプリング間隔が小さくなるほど（あるいは解像度が上がるほど）エッジの近傍での高周波数成分の傾きは急になり、局所的な最大値、最小値を与える点の位置はゼロクロス点に近づく。
【００７３】
図１７（Ａ）〜（Ｆ）はステップエッジをサンプリング間隔Ｓ２でサンプリングした信号が２倍に拡大された後、本発明における画像処理装置に入力された際の作用、効果を表す図であり、特に第１の中間画像生成手段１及び第２の中間画像生成手段２の作用、効果を表している。なお、先に述べた通り、第１の中間画像生成手段１及び第２の中間画像生成手段２内部の処理は水平方向及び垂直方向のそれぞれについて行われるのでその処理は一次元的に行われる。したがって図１７（Ａ）〜（Ｆ）では一次元信号を用いて処理の内容を表している。
【００７４】
図１７（Ａ）は、図１６（Ｂ）と同様ステップエッジをサンプリング間隔Ｓ２でサンプリングした際の輝度信号を示す。図１７（Ｂ）は、図１７（Ａ）に示される信号を２倍に拡大した信号を示す。即ち、原画ＤＯＲＧに図１７（Ａ）に示すようなエッジが含まれる場合、入力輝度画像ＹＩＮとして図１７（Ｂ）に示すような信号が入力される。なお、信号を２倍に拡大するとサンプリング間隔は拡大前の半分になるため、図１７（Ｂ）に示される信号のサンプリング間隔は図１４（Ａ）〜（Ｃ）中のサンプリング間隔Ｓ１と同じになる。また、図１７（Ａ）において座標Ｐ３で表される位置はステップエッジの低輝度側（エッジ信号の低レベル側）の境界部分であり、座標Ｐ４で表される位置はステップエッジの高輝度側（エッジ信号の高レベル側）の境界である。
【００７５】
図１７（Ｃ）は図１７（Ｂ）に示される信号の高周波数成分を表す信号、即ち高周波数成分画像生成手段１Ａから出力される画像Ｄ１Ａに相当する信号を示す。なお、画像Ｄ１Ａは、入力輝度画像ＹＩＮの高周波数成分を取り出したものなので、その中には折り返し成分も含まれている。
【００７６】
図１７（Ｄ）は図１７（Ｃ）に示される信号の低周波数成分を表す信号、即ち低周波数成分画像生成手段１Ｂから出力される画像Ｄ１Ｂに相当する信号を示す。なお先に述べたとおり画像Ｄ１Ｂが中間画像Ｄ１として出力されるので、図１７（Ｄ）は中間画像Ｄ１にも相当する。図１７（Ｄ）に示すとおり、中間画像Ｄ１においてゼロクロス点Ｚの近傍の局所的な最小値は座標Ｐ３に、局所的な最大値は座標Ｐ４に表れ、その様子は図１６（Ｃ）に示した、ステップエッジをサンプリング間隔Ｓ２でサンプリングした信号から取り出した高周波数成分と一致する。また、画像Ｄ１Ａに含まれていた折り返し成分は、低周波数成分画像生成手段１Ｂで行うローパスフィルタ処理によって取り除かれる。
【００７７】
図１７（Ｅ）は、図１７（Ｄ）に示される信号が非線形処理手段２Ａに入力された際の出力信号、即ち、中間画像Ｄ１が入力された場合に非線形処理手段２Ａから出力される画像Ｄ２Ａを表している。非線形処理手段２Ａではゼロクロス点Ｚの前後の（前後において隣接する）座標Ｐ１、Ｐ２の信号値が増幅される。したがって、画像Ｄ２Ａは図１７（Ｅ）に示すように座標Ｐ１、Ｐ２での信号値の大きさが他の値に比べ大きくなり、ゼロクロス点Ｚの近傍で、局所的な最小値の現れる位置が座標Ｐ３からよりゼロクロス点Ｚに近い座標Ｐ１に、局所的な最大値の現れる位置が座標Ｐ４からよりゼロクロス点Ｚに近い座標Ｐ２へと変化する。これは非線形処理手段２Ａにおける、ゼロクロス点Ｚの前後の画素の値を増幅するという非線形処理によって、高周波数成分が生成されたことを意味する。このように画素ごとに適応的に増幅率を変える、あるいは画素に応じて処理の内容を適宜変えることで、高周波数成分を生成することが可能になる。即ち非線形処理手段２Ａには、中間画像Ｄ１には含まれない高周波数成分、すわなち、図１４（Ａ）に示した高周波数成分側の領域ＲＨ２に相当する高周波数成分を生成する効果がある。
【００７８】
図１７（Ｆ）は図１７（Ｅ）に示される信号の高周波数成分を表す信号、即ち高周波数成分画像生成手段２Ｂから出力される画像Ｄ２Ｂに相当する信号である。画像Ｄ２Ｂのより正確な形状については後述するが、図１７（Ｆ）に示すとおり、画像Ｄ２Ｂにおいてゼロクロス点Ｚの近傍の局所的な最小値（負側のピーク）は座標Ｐ１に、最大値（正側のピーク）は座標Ｐ２に現れ、その様子は図１５（Ｃ）に示した、ステップエッジをサンプリング間隔Ｓ１でサンプリングした信号から取り出した高周波数成分と一致する。これは非線形処理手段２Ａにおいて生成された高周波数成分が高周波数成分画像生成手段２Ｂによって取り出され、画像Ｄ２Ｂとして出力されることを意味する。
また、取り出された画像Ｄ２Ｂはサンプリング間隔Ｓ１に対応した周波数成分を含む信号であるといえる。言い換えると、高周波数成分画像生成手段２Ｂには非線形処理手段２Ａで生成された高周波数成分のみを取り出す効果がある。
【００７９】
以上が第２の中間画像生成処理手段２の効果であり、まとめると、第２の中間画像生成処理手段２内の非線形処理手段２Ａには高周波数成分側の領域ＲＨ２に相当する高周波数成分を生成する効果があり、第２の中間画像生成処理手段２内の高周波数成分画像生成手段２Ｂには非線形処理手段２Ａで生成された高周波数成分のみを取り出す効果がある。そして画像Ｄ２Ｂが中間画像Ｄ２として出力されるので、第２の中間画像生成手段２は、サンプリング間隔Ｓ１に対応した高周波数成分を持った中間画像Ｄ２を出力することができる。
【００８０】
ここで中間画像Ｄ１及び中間画像Ｄ２を入力輝度画像ＹＩＮに加算することで画像の強調処理を行うことが可能である。
【００８１】
まず、中間画像Ｄ１を加算することの効果について述べる。先に述べたとおり中間画像Ｄ１は入力輝度画像ＹＩＮの持つ高周波数成分から折り返し成分を取り除いたものであり、図１３（Ｅ）に示すように原画ＤＯＲＧのナイキスト周波数の近傍の高周波数成分に対応している。図１２（Ｄ）で説明したとおり、原画ＤＯＲＧのナイキスト周波数の近傍のスペクトル強度は画像拡大手段Ｕ１での拡大処理によって弱められているので、中間画像Ｄ１を加算することで、拡大処理によって弱められたスペクトル強度を補うことができる。また、中間画像Ｄ１から、折り返し成分は取り除かれているので、ジャギー、リンギング等の偽の信号を強調することはない。
【００８２】
次に中間画像Ｄ２を加算することの効果について述べる。先に述べたとおり中間画像Ｄ２はサンプリング間隔Ｓ１に対応した高周波数成分である。したがって画像Ｄ２を加算することで原画ＤＯＲＧのナイキスト周波数以上の帯域の高周波数成分を与えることがでるので、画像の解像感を増すことができる。
【００８３】
まとめると中間画像Ｄ１と中間画像Ｄ２を入力輝度画像ＹＩＮに加算することで、折り返し成分を強調することなく高周波数成分を加算することが可能となり、画像の解像感を高めることが可能となる。
【００８４】
ところで、上記の説明の様にして生成した高周波数成分を入力画像に加算することで画像の鮮鋭感を増し、画質を向上することが可能であるが、高周波数成分の加算を過度に行うとかえって画質の低下を招くことがある。
【００８５】
図１８（Ａ）及び（Ｂ）は高周波数成分の加算による画質の低下について説明するための図であり、図１８（Ａ）は高周波数成分の加算に適度に行うことによって、画像の鮮鋭感を増した場合を、図１８（Ｂ）は高周波数成分の加算を過度に行った結果、画質の低下を招いた場合を表す。
【００８６】
図１８（Ａ）は、図１７（Ｂ）に示された入力輝度画像ＹＩＮに対して図１７（Ｄ）に示した中間画像Ｄ１及び図１７（Ｆ）に示した中間画像Ｄ２を加算した結果を示す図であり、図１７（Ａ）において座標Ｐ３で表されたステップエッジの低輝度側の境界部分が、図１８（Ａ）では座標Ｐ１で表される位置へと修正され、図１７（Ａ）において座標Ｐ４で表されたステップエッジの高輝度側の境界部分が、図１８（Ａ）では座標Ｐ２で表される位置へと修正され、その結果、図１７（Ａ）と図１８（Ａ）を比較すると、図１８（Ａ）の方が図１６（Ａ）に示すステップエッジへと近づいていることがわかる。これは高周波数成分の加算に適度に行うことによってステップエッジを再現し、画像の鮮鋭感を増したことを表す。
【００８７】
一方、図１８（Ｂ）も、図１７（Ｂ）に示された入力輝度画像ＹＩＮに対して図１７（Ｄ）に示した中間画像Ｄ１及び図１７（Ｆ）に示した中間画像Ｄ２を加算した結果を表す図であるが、図１８（Ａ）の場合とは異なり、高周波数成分の加算が過度に行われた場合を表している。図１８（Ａ）と比較すると座標Ｐ１、Ｐ３で表される位置の輝度がその周辺と比べて不自然に低くなったり（アンダーシュート）、座標Ｐ２、Ｐ４で表される位置の輝度がその周辺と比べて不自然に高くなったり（オーバーシュート）して、画質が低下していることがわかる。
【００８８】
特に入力輝度画像ＹＩＮにおいてオーバーシュートが発生すると輝度信号が必要以上に大きくなる。式（３）から、輝度信号（Ｙ）の値が大きくなるとＲＧＢ形式へ変換した場合、Ｒ、Ｇ、Ｂを表す各式の右辺の第１項が大きくなるので、結果的にＲ、Ｇ、Ｂとも大きな値になることがわかる。
【００８９】
Ｒ、Ｇ、Ｂとも大きな値になるということは白色に近づくことを意味する。白色に近づくとは言い換えれば色が薄くなるということである。もともと無彩色に近い部分で色が薄くなっても相対的に目立たないが、有彩色部分(彩度が比較的高い部分)のエッジ付近で色が薄くなると、エッジの周りのみ色が薄くなり、不自然な感じを与える。
【００９０】
言い換えると、有彩色の部分に中間画像Ｄ１や中間画像Ｄ２（あるいは高周波数成分加算画像Ｄ４）によって加算される輝度の大きさ（以下、補正量）が必要以上に大きくなると、色差に対し、輝度が相対的に大きくなりすぎ、色が薄くなるという問題が起きうる。また、上と逆の議論から、補正量が必要以上に小さな負の値になった場合、色差に対し、輝度が相対的に小さくなりすぎ、色が濃くなりすぎるという問題が起きうる。つまり有彩色部分のエッジの近傍で色の濃淡が変化するという問題がある。
【００９１】
上記の問題は、補正量が正の値の場合は色差が輝度に対し相対的に小さくなってしまうことが、補正量が負の値の場合は色差が輝度に対し相対的に大きくなってしまうということが原因である。
【００９２】
そこで本発明は、補正量に応じて色差信号を適宜増減させることで、色差が輝度に対し相対的に小さくなったり大きくなったりすることを防止することとしている。
【００９３】
即ち、補正量が正の値の場合は、色差が相対的に小さくなるのを防止するために、色差信号を増幅し、補正量が負の値の場合は、色差が相対的に大きくなるのを防止するために、色差信号を減少させる。
【００９４】
本発明の画像処理装置においては色差増減手段５で高周波成分加算画像Ｄ４の画素値に応じて、色差信号の値を増減させることとしている。即ち、高周波成分加算画像Ｄ４の画素値が正の場合は増幅率決定手段５Ａから増幅率Ｄ５Ａとして１より大きい値を出力し、色差Ｃｒ乗算手段５Ｂ１及び色差Ｃｂ乗算手段５Ｂ２で色差信号が増幅される。また、高周波成分加算画像Ｄ４の画素値が負の場合は増幅率決定手段５Ａから増幅率Ｄ５Ａとして１より小さい値が出力され、色差Ｃｒ乗算手段５Ｂ１及び色差Ｃｂ乗算手段５Ｂ２で色差信号が減少される。したがって上述した問題を未然に防ぐことが可能である。
【００９５】
以上のように本発明の実施の形態１による画像処理装置では、有彩色部分のエッジ付近で色の濃淡が変化するという不具合の発生を抑えつつ、画像の強調処理を行うことができる。有彩色部分のエッジ付近で色の濃淡が変化すると視覚特性上不自然に感じられるので、本発明の実施の形態１による画像処理装置は、視覚特性上も非常に好ましい効果が得られる。
【００９６】
また、入力ＣＲ画像ＣＲＩＮ及び入力ＣＢ画像ＣＢＩＮの各画素値に対して同じ増幅率Ｄ５Ａをかけることで色の濃淡（あるいは彩度）は変化するが、入力ＣＲ画像ＣＲＩＮ及び入力ＣＢ画像ＣＢＩＮの各画素値の比は変化しないので、色相が変化することはない。したがって実施の形態１による画像処理装置では、色相を変化させることなく、エッジ付近で発生する色の濃淡を補正することが可能である。
【００９７】
さらに、本発明における画像処理装置では、第１の中間画像生成手段１及び第２の中間画像生成手段２において、画像の水平方向に関する処理及び垂直方向に関する処理を並列に行っているので、画像の水平方向のみ、あるいは垂直方向のみに限らず任意の方向に関して上記の効果を得ることができる。
【００９８】
また、本発明における画像処理装置では周波数空間で考えて原点からＦｎに渡る周波数帯域のうち、原画ＤＯＲＧのナイキスト周波数±Ｆｎ／２の近傍（あるいは特定の周波数帯域）に入力輝度画像ＹＩＮが持っている成分をもとに、入力輝度画像ＹＩＮのナイキスト周波数±Ｆｎの近傍の高周波数成分に対応した画像Ｄ２Ｂを生成している。したがってなんらかの理由で、入力輝度画像ＹＩＮ（あるいは入力画像ＩＭＧＩＮ）において、ナイキスト周波数±Ｆｎの近傍の周波数成分が失われていたとしても、画像Ｄ２Ｂにより、ナイキスト周波数±Ｆｎの近傍の周波数成分を与えることが可能になる。言い換えると、入力輝度画像ＹＩＮに対し、より高周波数成分側の周波数成分を与えられることになるので、出力輝度画像ＹＯＵＴ（あるいは出力画像ＩＭＧＯＵＴ）の解像感を増すことができる。
【００９９】
なお、特定の周波数帯域として用いる箇所は、±Ｆｎ／２の近傍に限定されるものではない。即ち高周波数成分画像生成手段１Ａ及び低周波数成分画像生成手段１Ｂの周波数応答を適宜変更することで、利用する周波数帯域を変更することができる。
【０１００】
上記の説明ではナイキスト周波数Ｆｎの近傍の周波数成分が失われる例として画像の拡大処理を挙げたが、入力輝度画像ＹＩＮに対してナイキスト周波数Ｆｎの近傍の周波数成分が失われる原因はそれに限らず、他にもノイズ除去処理等が考えられる。したがって本発明における画像処理装置の用途は画像拡大処理後に限定されるものではない。
【０１０１】
また、増幅率決定手段５Ａで決定される増幅率５Ａと高周波数成分加算画像Ｄ４の画素値の関係は式（１）に示したものに限られず、高周波数成分加算画像Ｄ４の画素値が正の場合は１より大きい値をとり、負の場合は１より小さい正の値をとるものであればよい。但し、色差信号に対する補正をより効果的にするには、高周波数成分加算画像Ｄ４の画素値がより大きな正の値になるほど、増幅率５Ａもより大きな値にし、高周波数成分加算画像Ｄ４の画素値がより小さな負の値になるほど、増幅率５Ａもより小さな１より小さい正の値にした方がよい。
しかしながら、そのようでなくとも、高周波数成分加算画像Ｄ４の画素値に対して増幅率５Ａが単調に増加するものであればよい。
また、色差信号に対する過補正を防止するために増幅率Ｄ５Ａの範囲に制限を設けてもよい。即ち閾値ＴＨ１、ＴＨ２（ＴＨ１＞１、１＞ＴＨ２＞０とする）を設け、増幅率（ＧＡＩＮ）と輝度色差加算画像ＹＣの画素値（Ｌ）の関係を例えば
【数２】
と定義してもよい。式（４）におけるｋｐ、ｋｍは式（１）について説明したのと同じものである。式（４）で表される増幅率ＧＡＩＮと画素値Ｌの関係は図１９に示されるごとくである。
このように閾値によって増幅率（ＧＡＩＮ）の値に上限、下限を設けることで、色差増減手段５で色差成分に対して過補正がかかることを防止できる。
【０１０２】
なお、ＧＡＩＮとＬの関係は式（１）、式（４）以外にも様々な変形例が考えられる。また、上述の説明では色差Ｃｒ増幅手段５Ｂ１及び色差Ｃｂ増幅手段５Ｂ２で同じ増幅率を用いているが、色差Ｃｒ乗算手段５Ｂ１と色差Ｃｂ乗算手段５Ｂ２とで異なる増幅率を用いるようにしてもよい。
【０１０３】
実施の形態２．
図２０は本発明の実施の形態２による画像処理方法のフローを表す図であり、本発明の実施の形態２による画像処理方法は、第１の中間画像生成ステップＳＴ１、第２の中間画像生成ステップＳＴ２、加算ステップＳＴ４、及び色差増減ステップＳＴ５を含む。
【０１０４】
なお、実施の形態２による画像処理方法も実施の形態１と同様ＹＣｂＣｒ形式で入力される入力画像ＩＭＧＩＮに対して画像処理を行う。即ち、図示しない画像入力ステップで入力される入力画像ＩＭＧＩＮはカラー画像であり、輝度成分を表す信号ＹＩＮ（以下、入力輝度画像ＹＩＮと呼ぶ）と、色差成分を表す信号ＣＲＩＮ及びＣＢＩＮとから成る。信号ＣＲＩＮ（以下、入力ＣＲ画像ＣＲＩＮと呼ぶ）は色差成分のうちＣｒ成分を表し、信号ＣＢＩＮ（以下、入力ＣＢ画像ＣＢＩＮと呼ぶ）は色差成分のうちＣｂ成分を表す。
入力画像ＹＩＮに対して以下に示す説明に従った処理を行うことによって生成された出力輝度画像ＹＯＵＴ、出力ＣＲ画像ＣＲＯＵＴ、及び出力ＣＢ画像ＣＢＯＵＴから成る出力画像ＩＭＧＯＵＴが図示されない画像出力ステップによって最終的な出力画像として出力される。
【０１０５】
第１の中間画像生成ステップＳＴ１は、図２１に示すように、高周波数成分画像生成ステップＳＴ１Ａ、及び低周波数成分画像生成ステップＳＴ１Ｂを含む。
【０１０６】
高周波数成分画像生成ステップＳＴ１Ａは、水平方向高周波数成分画像生成ステップＳＴ１Ａｈ、及び垂直方向高周波数成分画像生成ステップＳＴ１Ａｖを含み、低周波数成分画像生成ステップＳＴ１Ｂは、水平方向低周波数成分画像生成ステップＳＴ１Ｂｈ、及び垂直方向高周波巣成分画像ＳＴ１Ｂｖを含む。
【０１０７】
第２の中間画像生成ステップＳＴ２は、図２２に示すように、非線形処理ステップＳＴ２Ａ、及び高周波数成分画像生成ステップＳＴ２Ｂを含む。
【０１０８】
非線形処理ステップＳＴ２Ａは、水平方向非線形処理ステップＳＴ２Ａｈ、及び垂直方向非線形処理ステップＳＴ２Ａｖを含み、高周波数成分画像生成ステップＳＴ２Ｂは、水平方向高周波数成分通過ステップＳＴ２Ｂｈ、及び垂直方向高周波数成分通過ステップＳＴ２Ｂｖを含む。
【０１０９】
水平方向非線形処理ステップＳＴ２Ａｈは、図２３に示すように、ゼロクロス判定ステップＳＴ３１１ｈ、及び信号増幅ステップＳＴ３１２ｈを含み、垂直方向非線形処理ステップＳＴ２Ａｖは、図２４に示すように、ゼロクロス判定ステップＳＴ３１１ｖ、及び信号増幅ステップＳＴ３１２ｖを含む。
【０１１０】
まず、図２１のフローに従って第１の中間画像生成ステップＳＴ１の動作について説明する。
高周波数成分画像生成ステップＳＴ１Ａでは、入力輝度画像ＹＩＮに対し、以下のような処理が行われる。
まず、水平方向高周波数成分画像生成ステップＳＴ１Ａｈでは、水平方向のハイパスフィルタ処理によって、入力輝度画像ＹＩＮから水平方向の高周波数成分を取り出した画像Ｄ１Ａｈを生成する。
垂直方向高周波数成分画像ステップＳＴ１Ａｖでは、垂直方向のハイパスフィルタ処理によって、入力輝度画像ＹＩＮから垂直方向の高周波数成分を取り出した画像Ｄ１Ａｖを生成する。
即ち、高周波数成分画像生成ステップＳＴ１Ａは、入力輝度画像ＹＩＮから、画像Ｄ１Ａｈ及び画像Ｄ１Ａｖから成る画像Ｄ１Ａを生成する。この動作は高周波数成分画像生成手段１Ａと同等である。
【０１１１】
低周波数成分画像生成ステップＳＴ１Ｂでは、画像Ｄ１Ａに対し、以下のような処理が行われる。まず、水平方向低周波数成分画像生成ステップＳＴ１Ｂｈでは、水平方向のローパスフィルタ処理によって、画像Ｄ１Ａｈから水平方向の低周波数成分を取り出した画像Ｄ１Ｂｈを生成する。
垂直方向低周波数成分画像生成ステップＳＴ１Ｂｖでは、垂直方向のローパスフィルタ処理によって、画像Ｄ１Ａｖから垂直方向の低周波数成分を取り出した画像Ｄ１Ｂｖを生成する。
即ち、低周波数成分画像生成ステップＳＴ１Ｂは、画像Ｄ１Ａから、画像Ｄ１Ｂｈ及び画像Ｄ１Ｂｖから成る画像Ｄ１Ｂを生成する。この動作は低周波数成分画像生成手段１Ｂと同等である。
【０１１２】
以上が第１の中間画像生成ステップＳＴ１の動作であり、第１の中間画像生成ステップＳＴ１は画像Ｄ１Ｂｈを画像Ｄ１ｈとし、画像Ｄ１Ｂｖを画像Ｄ１ｖとし、画像Ｄ１ｈ及び画像Ｄ１ｖから成る中間画像Ｄ１を出力する。以上の動作は第１の中間画像生成手段１と同等である。
【０１１３】
次に図２２〜図２４のフローに従って第２の中間画像生成ステップＳＴ２の動作について説明する。
まず、非線形処理ステップＳＴ２Ａでは中間画像Ｄ１に対し、以下のような処理を行う。
【０１１４】
まず、水平方向非線形処理ステップＳＴ２Ａｈでは、図２３に示すフローに従った処理で画像Ｄ１ｈから画像Ｄ２Ａｈを生成する。図２３に示すフローでの処理は以下の通りである。まず、ゼロクロス判定ステップＳＴ３１１ｈでは、画像Ｄ１ｈにおける画素値の変化を水平方向に沿って確認する。そして画素値が正の値から負の値へ、あるいは負の値から正の値へと変化する箇所をゼロクロス点として捉え、ゼロクロス点の左右に位置する画素を信号増幅ステップＳＴ３１２ｈに通知する。信号増幅ステップＳＴ３１２ｈでは画像Ｄ１ｈについて、ゼロクロス点の左右に位置すると通知された画素の画素値を増幅し、その画像を画像Ｄ２Ａｈとして出力する。即ち、非線形処理ステップＳＴ２Ａｈは、画像Ｄ１ｈに対し、水平方向非線形処理手段２Ａｈと同様の処理を行い、画像Ｄ２Ａｈを生成する。
【０１１５】
次に、垂直方向非線形処理ステップＳＴ２Ａｖでは、図２４に示すフローに従った処理で画像Ｄ１ｖから画像Ｄ２Ａｖを生成する。図２４に示すフローでの処理は以下の通りである。まず、ゼロクロス判定ステップＳＴ３１１ｖでは、画像Ｄ１ｖにおける画素値の変化を垂直方向に沿って確認する。そして画素値が正の値から負の値へ、あるいは負の値から正の値へと変化する箇所をゼロクロス点として捉え、ゼロクロス点の上下に位置する画素を信号増幅ステップＳＴ３１２ｖに通知する。信号増幅ステップＳＴ３１２ｖでは画像Ｄ１ｖについて、ゼロクロス点の上下に位置すると通知された画素の画素値を増幅し、その画像を画像Ｄ２Ａｖとして出力する。即ち、非線形処理ステップＳＴ２Ａｖは、画像Ｄ１ｖに対し、垂直方向非線形処理手段２Ａｖと同様の処理を行い、画像Ｄ２Ａｖを生成する。
【０１１６】
以上が非線形処理ステップＳＴ２Ａの動作であり、非線形処理ステップＳＴ２Ａは画像Ｄ２Ａｈ及び画像Ｄ２Ａｖから成る画像Ｄ２Ａを生成する。その動作は非線形処理手段２Ａと同等である。
【０１１７】
次に、高周波数成分画像生成ステップＳＴ２Ｂでは画像Ｄ２Ａに対し、以下の様な処理を行う。
まず、水平方向高周波数成分画像生成ステップＳＴ２Ｂｈでは、画像Ｄ２Ａｈに対し水平方向のハイパスフィルタ処理を行った画像Ｄ２Ｂｈを生成する。即ち、水平方向高周波数成分画像生成ステップＳＴ２Ｂｈは、水平方向高周波数成分画像生成手段２Ｂｈと同様の処理を行う。
【０１１８】
次に、垂直方向高周波数成分画像生成ステップＳＴ２Ｂｖでは、画像Ｄ２Ａｖに対し垂直方向のハイパスフィルタ処理を行った画像Ｄ２Ｂｖを生成する。即ち、垂直方向高周波数成分画像生成ステップＳＴ２Ｂｖは、垂直方向高周波数成分画像生成手段２Ｂｖと同様の処理を行う。
【０１１９】
以上が高周波数成分画像生成ステップＳＴ２Ｂの動作であり、高周波数成分画像生成ステップＳＴ２Ｂは画像Ｄ２Ｂｈ及び画像Ｄ２Ｂｖから成る画像Ｄ２Ｂを生成する。その動作は高周波数成分画像生成手段２Ｂと同等である。
【０１２０】
以上が第２の中間画像生成ステップＳＴ２の動作であり、第２の中間画像生成ステップＳＴ２は画像Ｄ２Ｂを中間画像Ｄ２として出力する。即ち、画像Ｄ２Ｂｈを画像Ｄ２ｈとし、画像Ｄ２Ｂｖを画像Ｄ２ｖとした中間画像Ｄ２を出力する。この動作は第２の中間画像生成手段２と同等である。
【０１２１】
次に加算ステップＳＴ４の動作について説明する。
加算ステップＳＴ４は入力輝度画像ＹＩＮ、中間画像Ｄ１、及び中間画像Ｄ２を加算した結果を高周波数成分加算画像Ｄ４として出力する。また、入力輝度画像ＹＩＮに対し、高周波数成分加算画像Ｄ４を加算した結果（即ち、中間画像Ｄ１及び中間画像Ｄ２を加算した結果）を、出力輝度画像ＹＯＵＴとして出力する。
なお、中間画像Ｄ１は画像Ｄ１ｈ及び画像Ｄ１ｖから成り、中間画像Ｄ２は画像Ｄ２ｈ及び画像Ｄ２ｖから成るので、加算ステップＳＴ４では画像Ｄ１ｈ、Ｄ１ｖ、Ｄ２ｈ、及びＤ２ｖの全てを加算し、高周波数成分加算画像Ｄ４を生成する。この際画像Ｄ１ｈ、Ｄ１ｖ、Ｄ２ｈ、及びＤ２ｖを単純に加算してもよいし、重み付け加算してもよい。そして出力輝度画像ＹＯＵＴが本発明における画像処理方法の最終出力画像の一部として出力される。以上が加算ステップＳＴ４の動作であり、この動作は加算手段４の動作と同等である。
【０１２２】
次に図２５のフローに従って輝度色差加算ステップＳＴ５の動作について説明する。
輝度色差加算ステップＳＴ５ではまず、増幅率決定ステップＳＴ５Ａにおいて、入力ＣＲ画像ＣＲＩＮ及び入力ＣＢ画像ＣＢＩＮの各画素に対する増幅率を高周波数成分加算画像Ｄ４の同一座標の画素値に基づいて決定する。高周波数成分加算画像Ｄ４の画素値と増幅率決定手段５Ａで決定される増幅率の関係は実施の形態１と同様の関係を用いる。
【０１２３】
次に、色差Ｃｒ乗算ステップＳＴ５Ｂ１は増幅率Ｄ５Ａで与えられる増幅率を入力ＣＲ画像ＣＲＩＮの画素値に対してかけた結果を画像Ｄ５Ｂ１として出力する。
【０１２４】
次に、色差Ｃｂ乗算ステップＳＴ５Ｂ２は増幅率Ｄ５Ａで与えられる増幅率を入力ＣＢ画像ＣＢＩＮの画素値に対してかけた結果を画像Ｄ５Ｂ２として出力する。
【０１２５】
そして、画像Ｄ５Ｂ１が出力ＣＲ画像ＣＲＯＵＴとして出力され、画像Ｄ５Ｂ２が出力ＣＢ画像ＣＢＯＵＴとして出力される。出力ＣＲ画像ＣＲＯＵＴ及び出力ＣＢ画像ＣＢＯＵＴは最終的な出力画像ＩＭＧＯＵＴの一部として用いられる。
以上が色差増幅ステップＳＴ５の動作であり、その動作は色差増幅手段５と同等である。
以上が本発明における画像処理方法の動作である。
【０１２６】
本発明における画像処理方法の動作はその説明から明らかなように、本発明の実施の形態１における画像処理装置と同等である。したがって本発明における画像処理方法は、本発明の実施の形態１における画像処理装置と同様の効果を持つ。また、図９に示す画像表示装置において、例えば画像処理装置Ｕ２内部で上記の画像処理方法を実施することで、上記の画像処理方法で処理された画像を、図９に示す画像表示装置で表示することもできる。
【符号の説明】
【０１２７】
１ 第１の中間画像生成手段、 ２ 第２の中間画像生成手段、 ４ 加算手段、 ５ 色差増減手段、 ＩＭＧＩＮ 入力画像、 ＹＩＮ 入力輝度画像、 ＣＲＩＮ 入力ＣＲ画像、 ＣＢＩＮ 入力ＣＢ画像、 Ｄ１ 中間画像、 Ｄ２ 中間画像、 Ｄ４ 高周波数成分加算画像、 ＩＭＧＯＵＴ 出力画像、 ＹＯＵＴ 出力輝度画像、 ＣＲＯＵＴ 出力ＣＲ画像、 ＣＢＯＵＴ 出力ＣＢ画像。
【特許請求の範囲】
【請求項１】
カラー画像が入力される画像処理装置であって、
前記カラー画像の輝度信号を表す輝度画像から特定の周波数帯域の成分を取り出した第１の中間画像を生成する第１の中間画像生成手段と、
前記第１の中間画像をもとに第２の中間画像を生成する第２の中間画像生成手段と、
前記第１の中間画像と前記第２の中間画像を加算した高周波数成分加算画像と、前記輝度画像に前記高周波数成分加算画像を加算した出力輝度画像を生成する加算手段と、
前記高周波数成分加算画像の各画素値に基づいて、前記カラー画像の色差信号を表す色差画像の各画素値を増減させる色差増減手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記色差増減手段は、
前記高周波数成分加算画像の各画素値に基づいて、前記色差画像の各画素値に対する増幅率を決定する増幅率決定手段と、前記増幅率決定手段により決定された増幅率を、前記色差画像の各画素値にかけた値を出力する色差乗算手段を備え、
前記増幅率決定手段は、
前記高周波数成分加算画像の画素値が正の場合、前記増幅率を１より大きな値とし、
前記高周波数成分加算画像の画素値が負の場合、前記増幅率を１より小さな値とし、
前記高周波数成分加算画像の画素値が零の場合、前記増幅率を１とする
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記増幅率は、
前記高周波数成分加算画像の画素値に対して単調に増加する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第１の中間画像生成手段は、
前記入力画像の第１の所定の周波数以上の高周波数成分のみを取り出した第１の高周波数成分画像を生成する第１の高周波数成分画像生成手段と、
前記第１の高周波数成分画像の第２の所定の周波数以下の低周波数成分のみを取り出す低周波数成分画像生成手段を有する
ことを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
【請求項５】
前記第１の高周波数成分画像生成手段は、
前記入力画像の各画素の水平方向の近傍に存在する画素を用いて第１の所定の水平方向周波数以上の高周波数成分を取り出した第１の水平方向高周波数成分画像を生成する第１の水平方向高周波数成分画像生成手段と、
前記入力画像の各画素の垂直方向の近傍に存在する画素を用いて第１の所定の垂直方向周波数以上の高周波数成分を取り出した第１の垂直方向高周波数成分画像を生成する第１の垂直方向高周波数成分画像生成手段を有し、
前記低周波数成分画像生成手段は、
前記第１の水平方向高周波数成分画像の第２の所定の水平方向周波数以下の低周波数成分のみを取り出した第１の水平方向中間画像を生成する水平方向低周波数成分画像生成手段と、
前記第１の垂直方向高周波数成分画像の第２の所定の垂直方向周波数以下の低周波数成分のみを取り出した第１の垂直方向中間画像を生成する垂直方向低周波数成分画像生成手段を有する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第２の中間画像生成手段は、
前記第１の中間画像の画素値を画素に応じて変化させた増幅率で増幅させた非線形処理画像を生成する非線形処理手段を有する
ことを特徴とする請求項１乃至５のいずれかに記載の画像処理装置。
【請求項７】
前記第２の中間画像生成手段は、
前記非線形処理画像の第３の所定の周波数以上の高周波数成分のみを取り出した第２の高周波数成分画像を生成する第２の高周波数成分画像生成手段をさらに有する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記第１の中間画像が、
前記第１の水平方向中間画像及び前記第１の垂直方向中間画像から成り、
前記非線形処理手段は、
前記第１の水平方向中間画像の各画素値を画素に応じて変化させた増幅率で増幅した水平方向非線形処理画像を生成する水平方向非線形処理手段と、
前記第１の垂直方向中間画像の各画素値を画素に応じて変化させた増幅率で増幅した垂直方向非線形処理画像を生成する垂直方向非線形処理手段を有し、
前記第２の高周波数成分画像生成手段は、
前記水平方向非線形処理画像の第３の所定の水平方向周波数以上の高周波数成分のみを取り出した第２の水平方向高周波数成分画像を生成する第２の水平方向高周波数成分画像生成手段と、
前記垂直方向非線形処理画像の第３の所定の垂直方向周波数以上の高周波数成分のみを取り出した第２の垂直方向高周波数成分画像を生成する第２の垂直方向高周波数成分画像生成手段を有する
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記水平方向非線形処理手段は、
前記第１の水平方向中間画像の画素値が正から負もしくは負から正へと変化する箇所をゼロクロス点として判定する水平方向ゼロクロス判定手段と、
前記水平方向ゼロクロス判定手段の判定結果に応じて前記第１の水平方向中間画像の各画素に対する増幅率を決定する水平方向信号増幅手段を有し、
前記垂直方向非線形処理手段は、
前記第１の垂直方向中間画像の画素値が正から負もしくは負から正へと変化する箇所をゼロクロス点として判定する垂直方向ゼロクロス判定手段と、
前記垂直方向ゼロクロス判定手段の判定結果に応じて前記第１の垂直方向中間画像の各画素に対する増幅率を決定する垂直方向信号増幅手段を有する
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
請求項１乃至９のいずれかに記載の画像処理装置を備えたことを特徴とする画像表示装置。
【請求項１１】
カラー画像を処理する画像処理方法であって、
前記カラー画像の輝度信号を表す輝度画像から特定の周波数帯域の成分を取り出した第１の中間画像を生成する第１の中間画像生成ステップと、
前記第１の中間画像をもとに第２の中間画像を生成する第２の中間画像生成ステップと、
前記第１の中間画像と前記第２の中間画像を加算した高周波数成分加算画像と、前記輝度画像に高周波数成分加算画像を加算した出力輝度画像を生成する加算ステップと、
前記高周波数成分加算画像の各画素値に基づいて、前記カラー画像の色差信号を表す色差画像の各画素値を増減させる色差ステップと
を有することを特徴とする画像処理方法。
【請求項１２】
請求項１１に記載の画像処理方法により処理された画像を表示することを特徴とする画像表示装置。
【請求項１】
カラー画像が入力される画像処理装置であって、
前記カラー画像の輝度信号を表す輝度画像から特定の周波数帯域の成分を取り出した第１の中間画像を生成する第１の中間画像生成手段と、
前記第１の中間画像をもとに第２の中間画像を生成する第２の中間画像生成手段と、
前記第１の中間画像と前記第２の中間画像を加算した高周波数成分加算画像と、前記輝度画像に前記高周波数成分加算画像を加算した出力輝度画像を生成する加算手段と、
前記高周波数成分加算画像の各画素値に基づいて、前記カラー画像の色差信号を表す色差画像の各画素値を増減させる色差増減手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記色差増減手段は、
前記高周波数成分加算画像の各画素値に基づいて、前記色差画像の各画素値に対する増幅率を決定する増幅率決定手段と、前記増幅率決定手段により決定された増幅率を、前記色差画像の各画素値にかけた値を出力する色差乗算手段を備え、
前記増幅率決定手段は、
前記高周波数成分加算画像の画素値が正の場合、前記増幅率を１より大きな値とし、
前記高周波数成分加算画像の画素値が負の場合、前記増幅率を１より小さな値とし、
前記高周波数成分加算画像の画素値が零の場合、前記増幅率を１とする
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記増幅率は、
前記高周波数成分加算画像の画素値に対して単調に増加する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第１の中間画像生成手段は、
前記入力画像の第１の所定の周波数以上の高周波数成分のみを取り出した第１の高周波数成分画像を生成する第１の高周波数成分画像生成手段と、
前記第１の高周波数成分画像の第２の所定の周波数以下の低周波数成分のみを取り出す低周波数成分画像生成手段を有する
ことを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
【請求項５】
前記第１の高周波数成分画像生成手段は、
前記入力画像の各画素の水平方向の近傍に存在する画素を用いて第１の所定の水平方向周波数以上の高周波数成分を取り出した第１の水平方向高周波数成分画像を生成する第１の水平方向高周波数成分画像生成手段と、
前記入力画像の各画素の垂直方向の近傍に存在する画素を用いて第１の所定の垂直方向周波数以上の高周波数成分を取り出した第１の垂直方向高周波数成分画像を生成する第１の垂直方向高周波数成分画像生成手段を有し、
前記低周波数成分画像生成手段は、
前記第１の水平方向高周波数成分画像の第２の所定の水平方向周波数以下の低周波数成分のみを取り出した第１の水平方向中間画像を生成する水平方向低周波数成分画像生成手段と、
前記第１の垂直方向高周波数成分画像の第２の所定の垂直方向周波数以下の低周波数成分のみを取り出した第１の垂直方向中間画像を生成する垂直方向低周波数成分画像生成手段を有する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第２の中間画像生成手段は、
前記第１の中間画像の画素値を画素に応じて変化させた増幅率で増幅させた非線形処理画像を生成する非線形処理手段を有する
ことを特徴とする請求項１乃至５のいずれかに記載の画像処理装置。
【請求項７】
前記第２の中間画像生成手段は、
前記非線形処理画像の第３の所定の周波数以上の高周波数成分のみを取り出した第２の高周波数成分画像を生成する第２の高周波数成分画像生成手段をさらに有する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記第１の中間画像が、
前記第１の水平方向中間画像及び前記第１の垂直方向中間画像から成り、
前記非線形処理手段は、
前記第１の水平方向中間画像の各画素値を画素に応じて変化させた増幅率で増幅した水平方向非線形処理画像を生成する水平方向非線形処理手段と、
前記第１の垂直方向中間画像の各画素値を画素に応じて変化させた増幅率で増幅した垂直方向非線形処理画像を生成する垂直方向非線形処理手段を有し、
前記第２の高周波数成分画像生成手段は、
前記水平方向非線形処理画像の第３の所定の水平方向周波数以上の高周波数成分のみを取り出した第２の水平方向高周波数成分画像を生成する第２の水平方向高周波数成分画像生成手段と、
前記垂直方向非線形処理画像の第３の所定の垂直方向周波数以上の高周波数成分のみを取り出した第２の垂直方向高周波数成分画像を生成する第２の垂直方向高周波数成分画像生成手段を有する
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記水平方向非線形処理手段は、
前記第１の水平方向中間画像の画素値が正から負もしくは負から正へと変化する箇所をゼロクロス点として判定する水平方向ゼロクロス判定手段と、
前記水平方向ゼロクロス判定手段の判定結果に応じて前記第１の水平方向中間画像の各画素に対する増幅率を決定する水平方向信号増幅手段を有し、
前記垂直方向非線形処理手段は、
前記第１の垂直方向中間画像の画素値が正から負もしくは負から正へと変化する箇所をゼロクロス点として判定する垂直方向ゼロクロス判定手段と、
前記垂直方向ゼロクロス判定手段の判定結果に応じて前記第１の垂直方向中間画像の各画素に対する増幅率を決定する垂直方向信号増幅手段を有する
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
請求項１乃至９のいずれかに記載の画像処理装置を備えたことを特徴とする画像表示装置。
【請求項１１】
カラー画像を処理する画像処理方法であって、
前記カラー画像の輝度信号を表す輝度画像から特定の周波数帯域の成分を取り出した第１の中間画像を生成する第１の中間画像生成ステップと、
前記第１の中間画像をもとに第２の中間画像を生成する第２の中間画像生成ステップと、
前記第１の中間画像と前記第２の中間画像を加算した高周波数成分加算画像と、前記輝度画像に高周波数成分加算画像を加算した出力輝度画像を生成する加算ステップと、
前記高周波数成分加算画像の各画素値に基づいて、前記カラー画像の色差信号を表す色差画像の各画素値を増減させる色差ステップと
を有することを特徴とする画像処理方法。
【請求項１２】
請求項１１に記載の画像処理方法により処理された画像を表示することを特徴とする画像表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【公開番号】特開２０１０−１６５０９６（Ｐ２０１０−１６５０９６Ａ）
【公開日】平成２２年７月２９日（２０１０．７．２９）
【国際特許分類】
【出願番号】特願２００９−５５４９（Ｐ２００９−５５４９）
【出願日】平成２１年１月１４日（２００９．１．１４）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２２年７月２９日（２０１０．７．２９）
【国際特許分類】
【出願日】平成２１年１月１４日（２００９．１．１４）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]