画像処理装置及び方法、並びに画像表示装置及び方法
【課題】有彩色部分のエッジの近傍で色が白くなったり黒くなったりすることなく解像感のある拡大画像を得る。
【解決手段】
輝度を表す画像（ＹＩＮ）の高周波数成分を取り出し拡大した画像（Ｄ２Ｂ）からさらに高周波数成分を取り出した画像（Ｄ３２Ａ）、あるいは輝度を表す画像（ＹＩＮ）の高周波数成分を取り出し拡大した画像に非線形処理を含む処理を行った画像（Ｄ３２Ｂ）の少なくとも一方を、輝度を表す画像を拡大した画像（Ｄ２Ａ）と色差を表す画像（ＣＢＩＮ、ＣＲＩＮ）を拡大した画像（Ｄ２Ｃ、Ｄ２Ｄ）の絶対値を加重加算した画像（Ｄ５）の画素値に応じて変化する増幅率でもって増幅した後、輝度を表す画像を拡大した画像（Ｄ２Ａ）に加算する。
【解決手段】
輝度を表す画像（ＹＩＮ）の高周波数成分を取り出し拡大した画像（Ｄ２Ｂ）からさらに高周波数成分を取り出した画像（Ｄ３２Ａ）、あるいは輝度を表す画像（ＹＩＮ）の高周波数成分を取り出し拡大した画像に非線形処理を含む処理を行った画像（Ｄ３２Ｂ）の少なくとも一方を、輝度を表す画像を拡大した画像（Ｄ２Ａ）と色差を表す画像（ＣＢＩＮ、ＣＲＩＮ）を拡大した画像（Ｄ２Ｃ、Ｄ２Ｄ）の絶対値を加重加算した画像（Ｄ５）の画素値に応じて変化する増幅率でもって増幅した後、輝度を表す画像を拡大した画像（Ｄ２Ａ）に加算する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル化された画像を拡大する画像処理装置及び方法、並びに画像表示装置及び方法に関するものであり、画像を拡大する際に、高周波数成分を生成することによって、解像感の高い拡大画像を得るものである。
【背景技術】
【０００２】
一般に画像処理装置は、出力画像の画素数が入力画像の画素数より多い場合、画像を拡大処理しなければならない。従来の画像処理装置では注目する画素近傍の画素がもつ画素値を重み付け加算して画像を拡大していた。また、カラー画像に対する処理では輝度信号に画像強調処理を行っている。
【０００３】
例えば特許文献１に記載された画像処理装置においては、各シフトレジスタからそれぞれ出力される主走査方向の隣り合った５個の画素データに所定の重み付け定数を乗算し、各画素データにおける乗算結果を加算するための演算回路を備え、画像データの拡大処理を行う場合に、演算回路での演算結果をこれらの画素データの中央の画素データとしてセレクタにて選択して出力している。
【０００４】
さらに特許文献２に記載された鮮鋭度強調回路においては、入力した映像信号の輝度成分に対して、その輝度成分の最も高い高域の成分が含まれる周波数帯を中心として強調する第１の強調回路と、第１の強調回路よりも低い中心周波数で映像信号の輝度成分を強調する第２の強調回路を備えている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平６−３１１３４６号公報
【特許文献２】特開２０００−１１５５８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
注目する画素近傍の画素がもつ画素値を重み付け加算することは入力画像の低周波数成分のみを通過させるローパスフィルタ処理となる。従って、上記の従来の技術では、拡大画像に対して高周波数成分を十分に与えることが出来ないため、拡大画像の解像感が失われるという問題があった。
【０００７】
また、入力した映像信号の輝度成分に対して、強調処理を行う場合、有彩色のエッジ付近で色が白く（あるいは薄く）なることがある。
【課題を解決するための手段】
【０００８】
本発明は上述のような課題を解消するためになされたもので、本発明の画像処理装置は、
カラー画像を拡大する画像処理装置において、
前記カラー画像の輝度成分を表す画像を拡大し、第１の拡大画像を出力する第１の画像拡大手段と、
前記カラー画像の輝度成分を表す画像の高周波数成分を取り出し、第１の高周波数成分画像を生成する第１の高周波数成分画像生成手段と、
前記第１の高周波数成分画像を拡大し、第２の拡大画像を出力する第２の画像拡大手段と、
前記カラー画像の色差成分を表す画像を拡大した色差拡大画像を出力する画像拡大手段と、
前記第１の拡大画像と前記色差拡大画像の絶対値を加重加算した輝度色差加算画像を出力する輝度色差加算手段と、
前記第２の拡大画像と前記輝度色差加算画像を入力とし、第２の高周波数成分画像を出力する高周波数成分画像処理手段と、
前記第１の拡大画像と前記第２の高周波数成分画像を加算する第１の加算手段と
を有する画像処理装置において、
前記高周波数成分画像処理手段は、
前記第２の拡大画像の高周波数成分を取り出して第１の中間画像を出力する第２の高周波数成分画像生成手段を含む第１の補正成分生成手段と、
前記第２の拡大画像に対して非線形処理を含む処理を行った第２の中間画像を出力する非線形処理画像生成手段を含を含む第２の補正成分生成手段と、
前記第１の補正成分生成手段の出力と、前記第２の補正成分生成手段の出力を加算する第２の加算手段とを備え、
前記第２の加算手段における加算の結果が、前記高周波数成分画像処理手段の出力として用いられ、
前記第１の補正成分生成手段が、
前記第１の中間画像の各画素値を前記輝度色差加算画像の画素値に応じて求められる第１の増幅率によって増幅した第３の中間画像を出力する第１の高周波数成分画像補正手段をさらに備え、
前記第３の中間画像が前記第１の補正成分生成手段の出力として用いられる
ことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、カラー画像において有彩色のエッジ付近で色が白く（あるいは薄く）なることなく、解像感のある拡大画像を得ることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態１の画像処理装置の構成を示すブロック図である。
【図２】実施の形態１の画像処理装置を用いた画像表示装置の構成例を示すブロック図である。
【図３】図１の輝度画像拡大手段６の構成をより詳細に示すブロック図である。
【図４】（ａ）〜（ｄ）は、画像拡大手段２Ａの動作を示す画素配置図である。
【図５】画像拡大手段２Ａの構成例を示すブロック図である。
【図６】画像拡大手段２Ｂの構成例を示すブロック図である。
【図７】水平方向非線形処理手段３１ｈの構成例を示すブロック図である。
【図８】垂直方向非線形処理手段３１ｖの構成例を示すブロック図である。
【図９】高周波数成分画像補正手段３３Ａの構成例を示すブロック図である。
【図１０】高周波数成分画像補正手段３３Ａにおける画素値と増幅率の関係の一例を示す図である。
【図１１】高周波数成分画像補正手段３３Ｂの構成例を示すブロック図である。
【図１２】高周波数成分画像補正手段３３Ｂにおける画素値と増幅率の関係の一例を示す図である。
【図１３】（ａ）〜（ｄ）は、拡大画像Ｄ２Ａを得る過程を説明するための周波数スペクトル及び周波数応答を示す図である。
【図１４】（ａ）〜（ｆ）は、中間画像Ｄ３２Ａを得る過程を説明するための周波数スペクトル及び周波数応答を示す図である。
【図１５】（ａ）〜（ｃ）は、中間画像Ｄ３２Ｂを得る過程を説明するための周波数スペクトル及び周波数応答を示す図である。
【図１６】（ａ）〜（ｅ）は、ステップエッジ信号とステップエッジ信号を異なるサンプリング周波数でサンプリングした際に得られる信号とその高周波数成分の信号強度を示す図である。
【図１７】（ａ）〜（ｆ）は、非線形処理手段３１と高周波数成分画像生成手段３２Ｂの動作を説明するための、信号強度を示すである。
【図１８】（ａ）〜（ｄ）は、中間画像Ｄ３２Ａ、Ｄ３２Ｂを加算する効果を説明するための、信号強度を示す図である。
【図１９】（ａ）及び（ｂ）は、中間画像Ｄ３２Ａ、Ｄ３２Ｂを加算する効果及び不具合の説明するための信号強度を示す図である。
【図２０】拡大画像Ｄｏｕｔの周波数スペクトルの説明図である。
【図２１】（ａ）〜（ｅ）は、ステップエッジ信号とステップエッジ信号を異なるサンプリング周波数でサンプリングした際に得られる信号とその高周波数成分の信号強度を示す図である。
【図２２】（ａ）〜（ｆ）は、非線形処理手段３１と高周波数成分画像生成手段３２Ｂの動作を説明するための信号の強度を示す図である。
【図２３】増幅率計算手段３ＭＡ、３ＨＡの画素値と増幅率の関係を示す図である。
【図２４】本発明の実施の形態２の画像処理装置の構成を示すブロック図である。
【図２５】実施の形態２の画像処理方法を示すフロー図である。
【図２６】高周波数成分画像生成ステップＳＴ１を示すフロー図である。
【図２７】画像拡大ステップＳＴ２Ｂを示すフロー図である。
【図２８】高周波数成分画像処理ステップＳＴ３を示すフロー図である。
【図２９】水平方向非線形処理ステップＳＴ３１ｈを示すフロー図である。
【図３０】垂直方向非線形処理ステップＳＴ３１ｖを示すフロー図である。
【図３１】高周波数成分画像補正ステップＳＴ３３Ａを示すフロー図である。
【図３２】高周波数成分画像補正ステップＳＴ３３Ｂを示すフロー図である。
【図３３】本発明の実施の形態３の画像処理装置の構成を示すブロック図である。
【図３４】本発明の実施の形態４における高周波数成分画像処理ステップＳＴ３を示すフロー図である。
【発明を実施するための形態】
【００１１】
実施の形態１．
図１は本発明の実施の形態１による画像処理装置の構成を表す図であり、例えば図２に示す画像表示装置の一部として用いることができる。ここで図２に示す画像表示装置は図１に示す画像処理装置を内部に含む画像処理装置Ｕ１及び表示部９を備えており、画像処理装置Ｕ１において画像ＤＯＲＧに対する出力として得られた画像ＤＵ１が表示部９に表示される。
【００１２】
画像ＤＵ１は輝度信号（Ｙ）と色差信号（Ｃｒ、Ｃｂ）に分かれている（以下、ＹＣｂＣｒ形式と呼ぶこともある）ので、通常、表示部９において表示される前に赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色信号（以下ＲＧＢ形式と呼ぶこともある）に変換される。ＹＣｂＣｒ形式とＲＧＢ形式の間の変換は例えば国際電気通信連合による勧告ＩＴＵ−Ｒ．ＢＴ６０１等に記載されており、ＲＧＢ形式からＹＣｂＣｒ形式への変換は
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
Ｃｒ＝０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ
Ｃｂ＝−０．１６９Ｒ−０．３３１Ｇ＋０．５００Ｂ
…（１）
により行なわれ、ＹＣｂＣｒ形式からＲＧＢ形式への変換は
Ｒ＝１．０００Ｙ＋１．４０２Ｃｒ＋０．０００Ｃｂ
Ｇ＝１．０００Ｙ−０．７１４Ｃｒ−０．３４４Ｃｂ
Ｂ＝１．０００Ｙ＋０．０００Ｃｒ＋１．７７２Ｃｂ
…（２）
により行なわれる。なお、式（１）、式（２）に示した式は一例であって、ＹＣｂＣｒ形式とＲＧＢ形式の間の変換方法はこれに限定されない。また、入力画像が８ビットデータの場合、Ｃｒ、Ｃｂの値は通常−１２８以上１２７以下の範囲に、Ｒ、Ｇ、Ｂの値は０以上２５５以下の範囲に、それぞれ丸め込まれる。
【００１３】
実施の形態１による画像処理装置は、入力カラー画像ＩＭＧＩＮを入力とし、出力カラー画像ＩＭＧＯＵＴを出力とする。入力カラー画像ＩＭＧＩＮはカラー画像であり、輝度成分を表す信号ＹＩＮ（以下、入力輝度画像ＹＩＮと呼ぶ）と色差成分を表す信号ＣＲＩＮ及びＣＢＩＮから成る。信号ＣＲＩＮ（以下、入力ＣＲ画像ＣＲＩＮと呼ぶ）は色差成分のうちＣｒ成分を表し、信号ＣＢＩＮ（以下、入力ＣＢ画像ＣＢＩＮと呼ぶ）は色差成分のうちＣｂ成分を表す。出力カラー画像ＩＭＧＯＵＴもカラー画像であり、輝度成分を表す信号ＹＯＵＴ（以下、出力輝度画像ＹＯＵＴと呼ぶ）と色差成分を表す信号ＣＲＯＵＴ及びＣＢＯＵＴから成る。信号ＣＲＯＵＴ（以下、出力ＣＲ画像ＣＲＯＵＴと呼ぶ）は色差成分のうちＣｒ成分を表し、信号ＣＢＯＵＴ（以下、入力ＣＢ画像ＣＢＯＵＴと呼ぶ）は色差成分のうちＣｂ成分を表す。
【００１４】
図示の画像処理装置は、輝度画像拡大手段６、ＣＢ画像拡大手段（第１の色差画像拡大手段）２Ｃ、ＣＲ画像拡大手段（第２の色差画像拡大手段）画像拡大手段２Ｄ、輝度色差加算手段５を有する。
【００１５】
ＣＢ画像拡大手段２Ｃは入力ＣＢ画像ＣＢＩＮを拡大した画像（ＣＢ拡大画像）Ｄ２Ｃを出力する。
【００１６】
ＣＲ画像拡大手段２Ｄは入力ＣＲ画像ＣＲＩＮを拡大した画像（ＣＲ拡大画像）Ｄ２Ｄを出力する。
【００１７】
そして、ＣＢ拡大画像Ｄ２Ｃが出力ＣＢ画像ＣＢＯＵＴとして出力され、ＣＲ拡大画像Ｄ２Ｄが出力ＣＲ画像ＣＲＯＵＴとして出力される。また、出力ＣＲ画像ＣＲＯＵＴ及び出力ＣＢ画像ＣＢＯＵＴは最終的な出力カラー画像ＩＭＧＯＵＴの一部として、画像処理装置から出力される。
【００１８】
なお、ＣＢ画像拡大手段２Ｃ、及びＣＲ画像拡大手段２Ｄの動作、構成は例えば後述する画像拡大手段２Ａの動作、構成と同じにすることができる。
【００１９】
輝度色差加算手段５は各画素について後述する処理にて生成される拡大画像Ｄ２Ａの画素値と、ＣＢ拡大画像Ｄ２Ｃの画素値の絶対値と、ＣＲ拡大画像Ｄ２Ｄの画素値の絶対値とを加重加算し、輝度色差加算画像Ｄ５を生成する。即ち、拡大画像Ｄ２Ａ、ＣＢ拡大画像Ｄ２Ｃ、ＣＲ拡大画像Ｄ２Ｄを用いて以下に式により、輝度色差加算画像Ｄ５を求める。
Ｄ５＝Ｋｙ・Ｄ２Ａ＋Ｋｃｒ・｜Ｄ２Ｃ｜＋Ｋｃｂ・｜Ｄ２Ｄ｜ …（３）
ここでＫｙ、Ｋｃｒ、Ｋｃｂは重み付けのための係数である。
【００２０】
輝度画像拡大手段６は、画像拡大手段２Ａと、高周波数成分画像生成手段１と、画像拡大手段２Ｂと、高周波数成分画像処理手段３と、加算手段４とを備え、画像Ｄ４と拡大画像Ｄ２Ａとを出力する。
【００２１】
なお、特別の理由がない限り、輝度画像拡大手段６、ＣＢ画像拡大手段２Ｃ、及びＣＲ画像拡大手段２Ｄでの拡大率は同じである。
【００２２】
図３は輝度画像拡大手段６の構成の詳細を表す図であり、入力輝度画像ＹＩＮが入力画像Ｄｉｎとして、出力輝度画像ＹＯＵＴが出力画像Ｄｏｕｔとして表されている。以下、画像拡大手段２Ａ、高周波数成分画像生成手段１、画像拡大手段２Ｂ、及び高周波数成分画像処理手段３の構成をより詳細に説明する。
【００２３】
画像拡大手段２Ａは、入力画像Ｄｉｎを拡大して拡大画像Ｄ２Ａを生成する。
高周波数成分画像生成手段１は、入力画像Ｄｉｎの高周波数成分のみを取り出して高周波数成分画像Ｄ１を生成する。
【００２４】
画像拡大手段２Ｂは、高周波数成分画像生成手段１から出力される高周波数成分画像Ｄ１を拡大して拡大画像（高周波数成分拡大画像）Ｄ２Ｂを生成する。
高周波数成分画像処理手段３は、画像拡大手段２Ｂから出力される拡大画像Ｄ２Ｂに対して後述の処理を行い、高周波数成分画像（高周波数成分処理画像）Ｄ３を生成する。
【００２５】
加算手段４は、画像拡大手段２Ａから出力される拡大画像Ｄ２Ａに、高周波数成分画像処理手段３から出力される高周波数成分画像Ｄ３を画像Ｄ４と拡大画像Ｄ２Ａを最終的な輝度拡大画像、即ち出力画像Ｄｏｕｔとして出力する。加算手段４の出力は、出力ＣＢ画像ＣＢＯＵＴ及び出力ＣＲ画像ＣＲＯＵＴとともに、例えば図２に示す画像表示装置の表示部９に画像ＤＵ１として供給され、表示部９による画像表示に用いられる。
【００２６】
なお、本明細書において、拡大、高周波数成分生成、高周波数成分処理などの処理は「画像」に対して行なわれる旨記載されるが、具体的には、画像を表すデジタルデータに対して行われる。また、「画像」との記載も具体的には「画像データ」を意味する場合がある。
【００２７】
画像拡大手段２Ａ、高周波数成分画像生成手段１、画像拡大手段２Ｂ、及び高周波数成分画像処理手段３の詳細な動作については後述するが、高周波数成分画像Ｄ３のもつ周波数成分は拡大画像Ｄ２Ａがもつ周波数成分より高い周波数帯域のものとなる。従って加算手段４において拡大画像Ｄ２Ａに高周波数成分画像Ｄ３を加算することで、高周波数成分を多く含んだ拡大画像Ｄｏｕｔを得ることができる。
【００２８】
画像拡大手段２Ａは、水平方向及び垂直方向の少なくとも一方に画像を拡大するものであり、例えば、水平方向及び垂直方向に同じ倍率で拡大を行なうが、代わりに、水平方向及び垂直方向に異なる倍率で拡大を行なうものであっても良い。また、水平方向及び垂直方向の一方にのみ拡大を行なうものであっても良く、例えば入力画像に対して表示画面が横長である場合に水平方向にのみ拡大を行なうことがある。
【００２９】
高周波数成分画像生成手段１は、入力画像Ｄｉｎの高周波数成分（所定の周波数Ｆｂよりも高い成分）を取り出して、高周波数成分画像Ｄ１を生成するものであり、後述の方法でそれぞれ水平方向高周波数成分画像Ｄ１ｈ及び垂直方向高周波数成分画像Ｄ１ｖを生成する水平方向高周波数成分画像生成手段１ｈ及び垂直方向高周波数成分画像生成手段１ｖを備える。水平方向高周波数成分画像Ｄ１ｈと垂直方向高周波数成分画像Ｄ１ｖとで高周波数成分画像Ｄ１が構成されている。
【００３０】
画像拡大手段２Ｂは、水平方向高周波数成分画像Ｄ１ｈを拡大した拡大画像Ｄ２Ｂｈを生成する画像拡大手段２Ｂｈ及び垂直方向高周波数成分画像Ｄ１ｖを拡大した拡大画像Ｄ２Ｂｖを生成する画像拡大手段２Ｂｖを備える。拡大画像Ｄ２Ｂｈと拡大画像Ｄ２Ｂｖとで拡大画像Ｄ２Ｂが構成されている。
【００３１】
画像拡大手段２Ａが水平方向及び垂直方向の両方向に拡大を行なう場合、画像拡大手段２Ｂｈは、水平方向高周波数成分画像Ｄ１ｈを水平方向及び垂直方向の両方向に拡大し、画像拡大手段２Ｂｖは、垂直方向高周波数成分画像Ｄ１ｖを水平方向及び垂直方向の両方向に拡大する。画像拡大手段２Ｂｈ及び２Ｂｖによる、水平方向高周波数成分画像Ｄ１ｈ及び垂直方向高周波数成分画像Ｄ１ｖの拡大は、画像拡大手段２Ａによる拡大と水平方向及び垂直方向の各々について同じ倍率で行なわれる。
【００３２】
高周波数成分画像処理手段３は、第１の補正成分生成手段３Ａと、第２の補正成分生成手段３Ｂと、加算手段３４を備えている。第１の補正成分生成手段３Ａは、高周波数成分画像生成手段３２Ａと、高周波数成分画像補正手段３３Ａとを備え、第２の補正成分生成手段３Ｂは、非線形処理画像生成手段３０と、高周波数成分画像補正手段３３Ｂとを備える。
【００３３】
高周波数成分画像生成手段３２Ａは、拡大画像Ｄ２Ｂの高周波数成分（所定の周波数Ｆｄよりも高い成分）を取り出して中間画像（高周波数成分画像）Ｄ３２Ａを出力するものであり、拡大画像Ｄ２Ｂｈに含まれる水平方向の高周波数成分のみを取り出した水平方向中間画像Ｄ３２Ａｈを生成する水平方向高周波数成分画像生成手段３２Ａｈと、拡大画像Ｄ２Ｂｖの垂直方向の高周波数成分のみを取り出した垂直方向中間画像Ｄ３２Ａｖを生成する垂直方向高周波数成分画像生成手段３２Ａｖを備え、高周波数成分画像生成手段３２Ａからは、水平方向中間画像Ｄ３２Ａｈと垂直方向中間画像Ｄ３２Ａｖから成る中間画像Ｄ３２Ａが出力される。
【００３４】
非線形処理画像生成手段（エッジ鮮鋭化画像生成手段）３０は、拡大画像Ｄ２Ｂに対して非線形処理を含む処理を行った中間画像（エッジ鮮鋭化画像）Ｄ３２Ｂを出力するものであり、非線形処理手段３１、及び高周波数成分画像生成手段３２Ｂを備える。
非線形処理手段３１は、拡大画像Ｄ２Ｂに対して後述するエッジの鮮鋭化のための非線形処理を行った非線形処理画像Ｄ３１を生成する。
高周波数成分画像生成手段３２Ｂは非線形処理画像Ｄ３１に含まれる高周波数成分（所定の周波数Ｆｆよりも高い成分）を取り出した中間画像Ｄ３２Ｂを出力する。
【００３５】
非線形処理手段３１は、拡大画像Ｄ２Ｂｈに対して非線形処理した非線形処理画像Ｄ３１ｈを生成する水平方向非線形処理手段３１ｈと、拡大画像Ｄ２Ｂｖに対して非線形処理した非線形処理画像Ｄ３１ｖを生成する垂直方向非線形処理手段３１ｖを備えており、非線形処理画像Ｄ３１は非線形処理画像Ｄ３１ｈと非線形処理画像Ｄ３１ｖから成る。
【００３６】
高周波数成分画像生成手段３２Ｂは、非線形処理画像Ｄ３１ｈから高周波数成分を取り出し、水平方向中間画像Ｄ３２Ｂｈを生成する水平方向高周波数成分画像生成手段３２Ｂｈと、非線形処理画像Ｄ３１ｖから高周波数成分を取り出し、垂直方向中間画像Ｄ３２Ｂｖを生成する垂直方向高周波数成分画像生成手段３２Ｂｖを備え、中間画像Ｄ３２Ｂは水平方向中間画像Ｄ３２Ｂｈと垂直方向中間画像Ｄ３２Ｂｖから成る。
【００３７】
高周波数成分画像補正手段３３Ａは、輝度色差加算画像Ｄ５と中間画像Ｄ３２Ａとを入力とし、中間画像Ｄ３２Ａを輝度色差加算画像Ｄ５の画素値に応じて求められる増幅率によって増幅した中間画像（補正画像）Ｄ３３Ａを出力するものであり、水平方向中間画像Ｄ３２Ａｈに対して補正処理を行って、水平方向中間画像Ｄ３３Ａｈを生成する水平方向高周波数成分画像補正手段３３Ａｈと、垂直方向中間画像Ｄ３２Ａｖに対して補正処理を行って、垂直方向中間画像Ｄ３３Ａｖを生成する垂直方向高周波数成分画像補正手段３３Ａｖを備える。水平方向中間画像Ｄ３３Ａｈと垂直方向中間画像Ｄ３３Ａｖとで中間画像Ｄ３３が構成される。
【００３８】
高周波数成分画像補正手段３３Ｂは、輝度色差加算画像Ｄ５と中間画像Ｄ３２Ｂとを入力とし、中間画像Ｄ３２Ｂを輝度色差加算画像Ｄ５の画素値に応じて求められる増幅率によって増幅した中間画像（補正画像）Ｄ３３Ｂを出力するものであり、水平方向中間画像３２Ｂｈに対して補正処理を行って、水平方向中間画像Ｄ３３Ｂｈを生成する水平方向高周波数成分画像補正手段３３Ｂｈと、垂直方向中間画像３２Ｂｖに対して補正処理を行って垂直方向中間画像Ｄ３３Ｂｖを生成する垂直方向高周波数成分画像補正手段３３Ｂｖを備える。水平方向中間画像Ｄ３３Ｂｈと垂直方向中間画像Ｄ３３Ｂｖとで中間画像Ｄ３３Ｂが構成される。
【００３９】
加算手段３４は、中間画像Ｄ３３Ａと中間画像Ｄ３３Ｂを加算し、高周波数成分画像Ｄ３を出力する。
【００４０】
以下、輝度画像拡大手段６において、入力画像Ｄｉｎを水平方向、垂直方向ともに２倍に拡大した拡大画像Ｄｏｕｔを生成する場合を例にし、各構成要素の動作をさらに詳細に説明する。
【００４１】
まず、画像拡大手段２Ａの動作について説明する。画像拡大手段２Ａは入力画像Ｄｉｎを水平方向、垂直方向ともに２倍に拡大した拡大画像Ｄ２Ａを生成する。図４（ａ）〜（ｄ）は画像拡大手段２Ａにおける拡大画像Ｄ２Ａの生成手順の一例を模式的に示した図であり、図５は画像拡大手段２Ａの一例を示した図である。
【００４２】
画像拡大手段２Ａは、ゼロ挿入手段２１Ａと、低周波数成分通過手段２２Ａを備える。以下、図４（ａ）〜（ｄ）を用いてゼロ挿入手段２１Ａ及び低周波数成分通過手段２２Ａの動作を説明する。図４（ａ）は入力画像Ｄｉｎ（特に画像の一部を構成する画素の配列）を、図４（ｂ）はゼロ挿入手段２１Ａで生成されるゼロ挿入画像Ｄ２１Ａを、図４（ｃ）は低周波数成分通過手段２２Ａにおいて拡大画像Ｄ２Ａを生成する際使用されるフィルタ係数を、図４（ｄ）は低周波数成分通過手段２２Ａで生成された拡大画像Ｄ２Ａを表す。図４（ａ）、（ｂ）、（ｄ）には画素の位置に対応させて水平座標Ｘ、垂直座標Ｙを記載している。
【００４３】
ゼロ挿入手段２１Ａでは入力画像Ｄｉｎに対して画素値０をもつ画素を水平方向には（入力画像Ｄｉｎの）１画素につき１個（隣り合う２つの画素相互間に１個）、垂直方向には（入力画像Ｄｉｎの）１ラインにつき１本（隣り合う２本のライン相互間に１本）を挿入したゼロ挿入画像Ｄ２１Ａを生成する。
「ＰＸＹ」が入力画像Ｄｉｎの座標（Ｘ，Ｙ）における画素の画素値を表し、「Ｐ’ＸＹ」がゼロ挿入画像Ｄ２１Ａの座標（Ｘ，Ｙ）の画素の画素値を表すとすると、ゼロ挿入画像Ｄ２１Ａの、Ｐ’（２Ｘ−１）（２Ｙ−１）で表わされる画素値は、入力画像ＤｉｎのＰＸＹに等しく、Ｐ’（２Ｘ−１）（２Ｙ）、Ｐ’（２Ｘ）（２Ｙ）、Ｐ’（２Ｘ）（２Ｙ−１）で表わされる画素値は、ゼロに等しい。
【００４４】
低周波数成分通過手段２２Ａではゼロ挿入画像Ｄ２１Ａに対し、図４（ｃ）に示されたフィルタ係数で表されたフィルタ演算を行うことで、図４（ｄ）に示される拡大画像Ｄ２Ａを生成する。
例えば、拡大画像Ｄ２Ａに含まれる、座標（Ｘ，Ｙ）の画素の画素値ＱＸＹは下記の式（４）のように計算される。
【００４５】
ＱＸＹ＝（４／１６）×
｛Ｐ’（Ｘ−１）（Ｙ−１）＋２Ｐ’Ｘ（Ｙ−１）＋ Ｐ’（Ｘ＋１）（Ｙ−１）
＋２Ｐ’（Ｘ−１）Ｙ＋４Ｐ’ＸＹ＋２Ｐ’（Ｘ＋１）Ｙ
＋Ｐ’（Ｘ−１）（Ｙ＋１）＋２Ｐ’Ｘ（Ｙ＋１）＋Ｐ’（Ｘ＋１）（Ｙ＋１）｝
…（４）
【００４６】
なお、図４（ｃ）で表されるフィルタ係数はローパスフィルタを表すので、式（４）で表される低周波数成分通過手段２２Ａにおける処理はゼロ挿入画像Ｄ２１Ａの低周波数成分（所定の周波数Ｆａ以下の成分）を取り出すことに対応する。
【００４７】
また、式（４）において
Ｐ’（Ｘ−１）（Ｙ−１）、２Ｐ’Ｘ（Ｙ−１）、Ｐ’（Ｘ＋１）（Ｙ−１）、２Ｐ’（Ｘ−１）Ｙ、Ｐ’ＸＹ、２Ｐ’（Ｘ＋１）Ｙ、Ｐ’（Ｘ−１）（Ｙ＋１）、Ｐ’Ｘ（Ｙ＋１）、Ｐ’（Ｘ＋１）（Ｙ＋１）
のうちいくつかはその値が０であり、それ以外は入力画像Ｄｉｎの画素値そのものになる。従って拡大処理は入力画像Ｄｉｎにおいて注目する画素の近傍の画素値を加重加算する処理と同じである。
【００４８】
次に水平方向高周波数成分画像生成手段１ｈ及び垂直方向高周波数成分画像生成手段１ｖの動作について説明する。
水平方向高周波数成分画像生成手段１ｈは入力画像Ｄｉｎに対して、入力画像Ｄｉｎの各画素及びその水平方向近傍にある、例えば所定数の画素を用いたハイパスフィルタをかけて水平方向高周波数成分画像Ｄ１ｈを生成する。
一方、垂直方向高周波数成分画像生成手段１ｈは入力画像Ｄｉｎに対して、入力画像Ｄｉｎの各画素及びその垂直方向近傍にある、例えば所定数の画素を用いたハイパスフィルタをかけて垂直方向高周波数成分画像Ｄ１ｖを生成する。
【００４９】
ハイパスフィルタをかけることは高周波数成分を取り出すことに対応し、水平方向高周波数成分画像Ｄ１ｈには、入力画像Ｄｉｎの水平方向の高周波数成分（所定の水平周波数よりも高い成分から成る）が含まれ、垂直方向高周波数成分画像Ｄ１ｖには、入力画像Ｄｉｎの垂直方向の高周波数成分（所定の垂直方向周波数よりも高い成分から成る）が含まれる。
【００５０】
水平方向高周波数成分画像生成手段１ｈで行なわれるハイパスフィルタをかける処理としては、例えば、該手段１ｈへの入力信号からその水平方向の低周波数成分（もしくは各画素に対して水平方向に整列した所定数の画素から成る局所領域における画素値の単純平均値あるいは加重平均値）を差し引くことで高周波数成分を取り出す処理を行なうことができる。
同様に、垂直方向高周波数成分画像生成手段１ｖで行なわれるハイパスフィルタをかける処理としては、例えば、該手段１ｖへの入力信号からその垂直方向の低周波数成分（もしくは各画素に対して垂直方向に整列した所定数の画素から成る局所領域における画素値の単純平均値あるいは加重平均値）を差し引くことで高周波数成分を取り出す処理を行なうことができる。
【００５１】
次に画像拡大手段２Ｂｈ及び２Ｂｖの動作について説明する。画像拡大手段２Ｂｈは水平方向高周波数成分画像Ｄ１ｈを水平方向、垂直方向とも２倍に拡大した拡大画像Ｄ２Ｂｈを生成し、画像拡大手段２Ｂｖは垂直方向高周波数成分画像Ｄ１ｖを水平方向、垂直方向とも２倍に拡大した拡大画像Ｄ２Ｂｖを生成する。
【００５２】
画像拡大手段２Ｂｈ及び画像拡大手段２Ｂｖの各々は、図５を参照して説明した画像拡大手段２Ａと同様に構成することができる。従って、画像拡大手段２Ｂｈと画像拡大手段２Ｂｖとで構成される画像拡大手段２Ｂは図６のように示すことができる。
画像拡大手段２Ｂｈの入力は水平方向高周波数成分画像Ｄ１ｈであり、出力が拡大画像Ｄ２Ｂｈとなる。画像拡大手段２Ｂｖの入力は垂直方向高周波数成分画像Ｄ１ｖであり、出力が拡大画像Ｄ２Ｂｖである。
【００５３】
画像拡大手段２Ｂｈは、ゼロ挿入手段２１Ｂｈと、低周波数成分通過手段２２Ｂｈとを備え、画像拡大手段２Ｂｖは、ゼロ挿入手段２１Ｂｖと、低周波数成分通過手段２２Ｂｖとを備える。
ゼロ挿入手段２１Ｂｈ及びゼロ挿入手段２１Ｂｖの各々は、図５のゼロ挿入手段２１Ａと同様のものであり、低周波数成分通過手段２２Ｂｈ及び低周波数成分通過手段２２Ｂｖの各々は、図５の低周波数成分通過手段２２Ａと同様のものである。
【００５４】
ゼロ挿入手段２１Ｂｈから出力されるゼロ挿入画像Ｄ２１Ｂｈとゼロ挿入手段２１Ｂｖから出力されるゼロ挿入画像Ｄ２１Ｂｖとで、ゼロ挿入手段２１Ｂの出力としてのゼロ挿入画像Ｄ２１Ｂが構成される。
低周波数成分通過手段２２Ｂｈから出力される拡大画像Ｄ２Ｂｈと低周波数成分通過手段２２Ｂｖから出力される拡大画像Ｄ２Ｂｖとで、低周波数成分通過手段２２Ｂの出力としての拡大画像Ｄ２Ｂが構成される。低周波数成分通過手段２２Ｂの出力は、ゼロ挿入画像Ｄ２１Ｂの低周波数成分（Ｆｃ以下の成分）を取り出したものである。
【００５５】
次に高周波数成分画像生成手段３２Ａの動作について説明する。
水平方向高周波数成分画像生成手段３２Ａｈは、拡大画像Ｄ２Ｂｈに水平方向のハイパスフィルタをかけて所定の水平方向周波数以上の成分から成る、高周波数成分を取り出し、水平方向中間画像Ｄ３２Ａｈを生成する。
一方、垂直方向高周波数成分画像生成手段３２Ａｖは、拡大画像Ｄ２Ｂｖに垂直方向のハイパスフィルタをかけて所定の垂直方向周波数以上の成分から成る、高周波数成分を取り出し、垂直方向中間画像Ｄ３２Ａｖを生成する。
そして水平方向中間画像Ｄ３２Ａｈと垂直方向中間画像Ｄ３２Ａｖから成る中間画像Ｄ３２Ａが高周波数成分画像生成手段３２Ａから出力される。
【００５６】
水平方向高周波数成分画像生成手段３２Ａｈで行なわれるハイパスフィルタをかける処理は、水平方向高周波数成分画像生成手段１ｈにおける処理と同様に行ない、垂直方向高周波数成分画像生成手段３２Ａｖで行なわれるハイパスフィルタをかける処理は、垂直方向高周波数成分画像生成手段１ｖにおける処理と同様に行なうことができる。
即ち、水平方向高周波数成分画像生成手段３２Ａｈで行なわれるハイパスフィルタをかける処理としては、水平方向高周波数成分画像生成手段１ｈにおける処理と同様に、例えば、該手段３２Ａｈへの入力信号からその水平方向の低周波数成分（もしくは各画素に対して水平方向に整列した所定数の画素から成る局所領域における画素値の単純平均値あるいは加重平均値）を差し引くことで高周波数成分を取り出す処理を行なうことができる。
【００５７】
同様に、垂直方向高周波数成分画像生成手段３２Ａｖで行なわれるハイパスフィルタをかける処理としては、例えば、該手段３２Ａｖへの入力信号からその垂直方向の低周波数成分（もしくは各画素に対して垂直方向に整列した所定数の画素から成る局所領域における画素値の単純平均値あるいは加重平均値）を差し引くことで高周波数成分を取り出す処理を行なうことができる。
【００５８】
次に非線形処理手段３１の動作について説明する。非線形処理手段３１は、水平方向非線形処理手段３１ｈと、垂直方向非線形処理手段３１ｖを備える。水平方向非線形処理手段３１ｈと垂直方向非線形処理手段３１ｖとは互いに同様に構成されている。但し、水平方向非線形処理手段３１ｈは水平方向の処理を行ない、垂直方向非線形処理手段３１ｖは垂直方向の処理を行なう。
【００５９】
図７は水平方向非線形処理手段３１ｈの内部構成を表す図である。図示の水平方向非線形処理手段３１ｈは、ゼロクロス判定手段３１１ｈと、信号増幅手段３１２ｈを備える。
【００６０】
ゼロクロス判定手段３１１ｈは、入力される拡大画像Ｄ２Ｂｈにおける画素値の変化を水平方向に沿って確認する。そして画素値が正の値から負の値あるいは負の値から正の値に変化する箇所をゼロクロス点として捉え、信号Ｄ３１１ｈによってゼロクロス点の前後にある画素（図示の例では、直前及び直後の各１画素）の位置を信号増幅手段３１２ｈに伝達する。
なお、水平方向非線形処理手段３１ｈではゼロクロス点の左右に位置する画素がゼロクロス点の前後にある画素として認識される。
【００６１】
水平方向信号増幅手段３１２ｈは、水平方向ゼロクロス判定手段３１１ｈの判定結果に応じて決められる増幅率で拡大画像Ｄ２Ｂｈの画素値を増幅する。具体的には、信号増幅手段３１２ｈは、信号Ｄ３１１ｈをもとにゼロクロス点の前後にある画素（ゼロクロス点を含む所定の領域内に存在する画素）を特定し、ゼロクロス点の前後にある画素についてのみその画素値を増幅させた（絶対値を大きくした）非線形処理画像Ｄ３１ｈを生成する。すなわちゼロクロス点の前後にある画素の画素値に対する増幅率を１より大きな値とし、それ以外の画素の画素値に対する増幅率は１とする。
このような処理により、水平方向に並んだ画素の信号値のステップ状の変化を含むエッジの鮮鋭化が行なわれる。
【００６２】
図８は垂直方向非線形処理手段３１ｖの内部構成を表す図である。図示の垂直方向非線形処理手段３１ｖは、ゼロクロス判定手段３１１ｖと、信号増幅手段３１２ｖを備える。
【００６３】
ゼロクロス判定手段３１１ｖは、入力される拡大画像Ｄ２Ｂｖにおける画素値の変化を垂直方向に沿って確認する。そして画素値が正の値から負の値あるいは負の値から正の値に変化する箇所をゼロクロス点として捉え、信号Ｄ３１１ｖによってゼロクロス点の前後にある画素（図示の例では、直前及び直後の各１画素）の位置を信号増幅手段３１２ｖに伝達する。
なお、垂直方向非線形処理手段３１ｖではゼロクロス点の上下に位置する画素がゼロクロス点の前後にある画素として認識される。
【００６４】
垂直方向信号増幅手段３１２ｖは、垂直方向ゼロクロス判定手段３１１ｖの判定結果に応じて決められる増幅率で拡大画像Ｄ２Ｂｖの画素値を増幅する。具体的には、信号増幅手段３１２ｖは、信号Ｄ３１１ｖをもとにゼロクロス点の前後にある画素（ゼロクロス点を含む所定の領域内に存在する画素）を特定し、ゼロクロス点の前後にある画素についてのみその画素値を増幅させた（絶対値を大きくした）非線形処理画像Ｄ３１ｖを生成する。すなわちゼロクロス点の前後にある画素の画素値に対する増幅率を１より大きな値とし、それ以外の画素の画素値に対する増幅率は１とする。
このような処理により、垂直方向に並んだ画素の信号値のステップ状の変化を含むエッジの鮮鋭化が行なわれる。
【００６５】
なお、図示の例では、ゼロクロス点の直前及び直後の各々１個ずつの画素についてのみ、画素値を増幅させているが、ゼロクロス点の前及び後の所定数の画素、言い換えると、ゼロクロス点を含む所定の領域内に存在する画素について、画素値を増幅させることとしても良い。また上記「所定の領域」の大きさ（所定の領域に含まれる画素の数）を画像拡大手段２Ｂにおける画像の拡大率に応じて変える（拡大率に対して適切な値に定める）こととしても良い。
【００６６】
次に高周波数成分画像生成手段３２Ｂの動作について説明する。
水平方向高周波数成分画像生成手段３２Ｂｈは、非線形処理画像Ｄ３１ｈに水平方向のハイパスフィルタをかけて所定の水平方向周波数以上の成分から成る、高周波数成分を取り出し、水平方向中間画像Ｄ３２Ｂｈを生成する。一方、垂直方向高周波数成分画像生成手段３２Ｂｖは、非線形処理画像Ｄ３１ｖに垂直方向のハイパスフィルタをかけて所定の垂直方向周波数以上の成分から成る、高周波数成分を取り出し、垂直方向中間画像Ｄ３２Ｂｖを生成する。このようにして生成された水平方向中間画像Ｄ３２Ｂｈと垂直方向中間画像Ｄ３２Ｂｖから成る中間画像Ｄ３２Ｂが高周波数成分画像生成手段３２Ｂから出力される。
【００６７】
水平方向高周波数成分画像生成手段３２Ｂｈで行なわれるハイパスフィルタをかける処理は、水平方向高周波数成分画像生成手段１ｈにおける処理と同様に行ない、垂直方向高周波数成分画像生成手段３２Ｂｖで行なわれるハイパスフィルタをかける処理は、垂直方向高周波数成分画像生成手段１ｖにおける処理と同様に行なうことができる。
即ち、水平方向高周波数成分画像生成手段３２Ｂｈで行なわれるハイパスフィルタをかける処理としては、例えば、該手段３２Ｂｈへの入力信号からその水平方向の低周波数成分（もしくは各画素に対して水平方向に整列した所定数の画素から成る局所領域における画素値の単純平均値あるいは加重平均値）を差し引くことで高周波数成分を取り出す処理を行なうことができる。
【００６８】
同様に、垂直方向高周波数成分画像生成手段３２Ｂｖで行なわれるハイパスフィルタをかける処理としては、例えば、該手段３２Ｂｖへの入力信号からその垂直方向の低周波数成分（もしくは各画素に対して垂直方向に整列した所定数の画素から成る局所領域における画素値の単純平均値あるいは加重平均値）を差し引くことで高周波数成分を取り出す処理を行なうことができる。
【００６９】
次に、高周波数成分画像補正手段３３Ａの詳細な動作について説明する。
図９は高周波数成分画像補正手段３３Ａの内部構成を表す図であり、図示の高周波数成分画像補正手段３３Ａは、増幅率計算手段３ＭＡと、画素値増幅手段３ＭＢとを有する。
【００７０】
増幅率計算手段３ＭＡは、輝度色差加算画像Ｄ５の画素値をもとに増幅率Ｄ３ＭＡを決定する。
画素値増幅手段３ＭＢは、増幅率計算手段３ＭＡにより決定された増幅率Ｄ３ＭＡで中間画像Ｄ３２Ａの画素値を増幅し、その結果を中間画像Ｄ３ＭＢとして出力する。高周波数成分画像補正手段３３Ａからは中間画像Ｄ３ＭＢが中間画像Ｄ３３Ａとして出力される。
以上のように増幅率Ｄ３ＭＡによって中間画像Ｄ３２Ａの画素値が増幅されるが、この動作は画素ごとに行われる。すわなち、増幅率計算手段３ＭＡは増幅率Ｄ３ＭＡを中間画像Ｄ３２Ａの各画素値に対して計算する。すなわち、中間画像Ｄ３２Ａにおいて水平座標がｘ、垂直座標がｙで表される画素の画素値は、輝度色差加算画像Ｄ５において水平座標がｘ、垂直座標がｙで表される画素の画素値を用いて計算された増幅率Ｄ３ＭＡでもって増幅される。
【００７１】
図１０を用いて増幅率計算手段３ＭＡの動作についてさらに詳しく説明する。増幅率計算手段３ＭＡは輝度色差加算画像Ｄ５の画素値をもとに増幅率Ｄ３ＭＡを計算する。図１０は増幅率計算手段３ＭＡにおいて計算される増幅率Ｄ３ＭＡの一例を表す。
【００７２】
増幅率Ｄ３ＭＡは、輝度色差加算画像Ｄ５の画素値が大きい場合、小さな値をとる。一例として、傾きｋＭ１、ｋＭ２、ｋＭ３がすべて負の数であるとして、輝度色差加算画像Ｄ５の画素値が０の場合はある所定の値ＧＭｂをとり、画素値が０からある値ＡＭ１の間は傾きｋＭ１で減少していき、画素値がＡＭ１からある値ＡＭ２の間は傾きｋＭ２で減少していき、画素値がＡＭ２以上の場合は傾きｋＭ３で減少していくといった形が考えられる。なお、明らかに増幅率は０以上であった方がよいので、上記の決定において増幅率が負の値になった場合はその値を０とする。
【００７３】
この関係を、増幅率Ｄ３ＭｈをＧ、輝度色差加算画像Ｄ５の画素値をＬとして表すと
【数１】
と表される。
【００７４】
なお、増幅率Ｄ３ＭＡは、輝度色差加算画像Ｄ５の画素値が大きい場合、小さな値となるよう制御することが目的であるので、傾きｋＭ１、ｋＭ２、ｋＭ３の正、負がすべて同じである必要はなく、上記のような制御ができるのであればどのような組み合わせでもよい。さらに言えば、増幅率Ｄ３ＭＡと、輝度色差加算画像Ｄ５の画素値の関係が上記のよう制御することができるのであれば式（５）における各係数のとる値は自由である。また、増幅率Ｄ３ＭＡの求め方も式（５）に制限されるものではない。
以上が増幅率計算手段３ＭＡの動作である。
【００７５】
次に画素値増幅手段３ＭＢは、増幅率Ｄ３ＭＡに基づいて中間画像Ｄ３２Ａの画素値を増幅する。中間画像Ｄ３２Ａは水平方向中間画像Ｄ３２Ａｈと垂直方向中間画像Ｄ３２Ａｖとから成るので、画素値増幅手段３ＭＢは、水平方向中間画像Ｄ３２Ａｈの画素値を増幅するための水平方向画素値増幅手段３ＭＢｈと、垂直方向中間画像Ｄ３２Ａｖの画素値を増幅するための垂直方向画素値増幅手段３ＭＢｖとを有する。
【００７６】
水平方向画素値増幅手段３ＭＢｈは、増幅率Ｄ３ＭＡに基づいて水平方向中間画像Ｄ３２Ａｈの画素値を増幅した画像Ｄ３ＭＢｈを出力し、垂直方向画素値増幅手段３ＭＢｖは、増幅率Ｄ３ＭＡに基づいて垂直方向中間画像Ｄ３２Ａｖの画素値を増幅した画像Ｄ３ＭＢｖを出力する。先にも述べたようにこの動作は画素ごとに行われる。すなわち、水平方向中間画像Ｄ３２Ａｈにおいて水平座標がｘ、垂直座標がｙで表される画素の画素値は、輝度色差加算画像Ｄ５において水平座標がｘ、垂直座標がｙで表される画素の画素値を用いて計算された増幅率Ｄ３ＭＡでもって増幅され、垂直方向中間画像Ｄ３２Ａｖにおいて水平座標がｘ、垂直座標がｙで表される画素の画素値は、輝度色差加算画像Ｄ５において水平座標がｘ、垂直座標がｙで表される画素の画素値を用いて計算された増幅率Ｄ３ＭＡでもって増幅される。そして画素値増幅手段３ＭＢからは画像Ｄ３ＭＢｈ及び画像Ｄ３ＭＢｖが画像Ｄ３ＭＢとして出力される。
【００７７】
そして画像Ｄ３ＭＢが中間画像Ｄ３３Ａとして高周波数成分画像補正手段３３Ａから出力される。中間画像Ｄ３３Ａは画像Ｄ３ＭＢｈに相当する水平方向中間画像Ｄ３３Ａｈと画像Ｄ３ＭＢｖに相当する垂直方向中間画像Ｄ３３Ａｖから成る。
以上が画素値増幅率手段３ＭＢの動作である。
【００７８】
以上が高周波数成分補正手段３３Ａの動作であり、高周波数成分画像補正手段３３Ａでは、輝度色差加算画像Ｄ５の画素値に応じて決められる増幅率（あるいはゲイン、利得）によって、中間画像Ｄ３２Ａに補正が加えられる。
また、増幅率計算手段３ＭＡと水平方向画素値増幅手段３ＭＢｈで水平方向高周波数成分画像補正手段３３Ａｈを構成し、増幅率計算手段３ＭＡと垂直方向画素値増幅手段３ＭＢｖで垂直方向高周波数成分画像補正手段３３Ａｖを構成している。
【００７９】
次に、高周波数成分画像補正手段３３Ｂの詳細な動作について説明する。
図１１は高周波数成分画像補正手段３３Ｂの内部構成を表す図であり、図示の高周波数成分画像補正手段３３Ｂは、増幅率計算手段３ＨＡと、画素値増幅手段３ＨＢとを有する。
【００８０】
増幅率計算手段３ＨＡは、輝度色差加算画像Ｄ５の画素値をもとに増幅率Ｄ３ＨＡを決定する。
画素値増幅手段３ＨＢは、増幅率計算手段３ＨＡにより決定された増幅率Ｄ３ＨＡで中間画像Ｄ３２Ｂの画素値を増幅し、その結果を中間画像Ｄ３ＨＢとして出力する。高周波数成分画像補正手段３３Ｂからは中間画像Ｄ３ＨＢが中間画像Ｄ３３Ｂとして出力される。
以上のように増幅率Ｄ３ＨＡによって中間画像Ｄ３２Ｂの画素値が増幅されるが、この動作は画素ごとに行われる。すわなち、増幅率計算手段３ＨＡは増幅率Ｄ３ＨＡを中間画像Ｄ３２Ｂの各画素値に対して計算する。すなわち、中間画像Ｄ３２Ｂにおいて水平座標がｘ、垂直座標がｙで表される画素の画素値は、輝度色差加算画像Ｄ５において水平座標がｘ、垂直座標がｙで表される画素の画素値を用いて計算された増幅率Ｄ３ＨＡでもって増幅される。
【００８１】
図１２を用いて増幅率計算手段３ＨＡの動作についてさらに詳しく説明する。図１２は増幅率計算手段３ＨＡにおいて計算される増幅率Ｄ３ＨＡの一例を表す。
【００８２】
増幅率Ｄ３ＨＡは、輝度色差加算画像Ｄ５の画素値が大きい場合、小さな値をとる。一例として、傾きｋＨ１、ｋＨ２、ｋＨ３がすべて負の数であるとして、輝度色差加算画像Ｄ５の画素値が０の場合はある所定の値ＧＨｂをとり、画素値が０からある値ＡＨ１の間は傾きｋＨ１で減少していき、画素値がＡＨ１からある値ＡＨ２の間は傾きｋＨ２で減少していき、画素値がＡＨ２以上の場合は傾きｋＨ３で減少していくといった形が考えられる。なお、明らかに増幅率は０以上であった方がよいので、上記の決定において増幅率が負の値になった場合はその値を０とする。
【００８３】
この関係を、増幅率Ｄ３ＨＡをＧ、輝度色差加算画像Ｄ５の画素値をＬとして表すと
【数２】
と表される。
【００８４】
なお、増幅率Ｄ３ＨＡは輝度色差加算画像Ｄ５の画素値が大きい場合、小さな値となるよう制御することが目的であるので、傾きｋＨ１、ｋＨ２、ｋＨ３の正、負がすべて同じである必要はなく、上記のような制御ができるのであればどのような組み合わせでもよい。さらに言えば、増幅率Ｄ３ＨＡと、輝度色差加算画像Ｄ５の画素値の関係が上記のよう制御することができるのであれば式（６）における各係数のとる値は自由である。また、増幅率Ｄ３ＨＡの求め方も式（６）に制限されるものではない。
以上が増幅率計算手段３ＨＡの動作である。
【００８５】
次に画素値増幅手段３ＨＢは、増幅率Ｄ３ＨＡに基づいて中間画像Ｄ３２Ｂの画素値を増幅する。中間画像Ｄ３２Ｂは水平方向中間画像Ｄ３２Ｂｈと垂直方向中間画像Ｄ３２Ｂｖとから成るので、画素値増幅手段３ＨＢは、水平方向中間画像Ｄ３２Ｂｈの画素値を増幅するための水平方向画素値増幅手段３ＨＢｈと、垂直方向中間画像Ｄ３２Ｂｖの画素値を増幅するための垂直方向画素値増幅手段３ＨＢｖとを有する。
【００８６】
水平方向画素値増幅手段３ＨＢｈは、増幅率Ｄ３ＨＡに基づいて水平方向中間画像Ｄ３２Ｂｈの画素値を増幅した画像Ｄ３ＨＢｈを出力し、垂直方向画素値増幅手段３ＨＢｖは、増幅率Ｄ３ＨＡに基づいて垂直方向中間画像Ｄ３２Ｂｖの画素値を増幅した画像Ｄ３ＨＢｖを出力する。先にも述べたようにこの動作は画素ごとに行われる。すなわち、水平方向中間画像Ｄ３２Ｂｈにおいて水平座標がｘ、垂直座標がｙで表される画素の画素値は、輝度色差加算画像Ｄ５において水平座標がｘ、垂直座標がｙで表される画素の画素値を用いて計算された増幅率Ｄ３ＨＡでもって増幅され、垂直方向中間画像Ｄ３２Ｂｖにおいて水平座標がｘ、垂直座標がｙで表される画素の画素値は、輝度色差加算画像Ｄ５において水平座標がｘ、垂直座標がｙで表される画素の画素値を用いて計算された増幅率Ｄ３ＨＡでもって増幅される。そして画素値増幅手段３ＨＢからは画像Ｄ３ＨＢｈ及び画像Ｄ３ＨＢｖが画像Ｄ３ＨＢとして出力される。
【００８７】
そして画像Ｄ３ＨＢが中間画像Ｄ３３Ｂとして高周波数成分画像処理手段３３Ｂから出力される。中間画像Ｄ３３Ｂは画像Ｄ３ＭＢｈに相当する水平方向中間画像Ｄ３３Ｂｈと画像Ｄ３ＨＢｖに相当する垂直方向中間画像Ｄ３３Ｂｖから成る。
以上が画素値増幅率手段３ＨＢの動作である。
【００８８】
以上が高周波数成分補正手段３３Ｂの動作であり、高周波数成分画像補正手段３３Ｂでは、輝度色差加算画像Ｄ５の画素値に応じて決められる増幅率（あるいはゲイン、利得）によって、中間画像Ｄ３２Ｂに補正が加えられる。
【００８９】
次に加算手段３４の動作について説明する。加算手段３４は、中間画像Ｄ３３Ａと中間画像Ｄ３３Ｂを加算した結果を高周波数成分画像Ｄ３として出力する。
また、増幅率計算手段３ＨＡと水平方向画素値増幅手段３ＨＢｈで水平方向高周波数成分画像補正手段３３Ｂｈを構成し、増幅率計算手段３ＨＡと垂直方向画素値増幅手段３ＨＢｖで垂直方向高周波数成分画像補正手段３３Ｂｖを構成している。
【００９０】
ここで中間画像Ｄ３３Ａは水平方向中間画像Ｄ３３Ａｈ及び垂直方向中間画像Ｄ３３Ａｖから成り、中間画像Ｄ３３Ｂは水平方向中間画像Ｄ３３Ｂｈ及び垂直方向中間画像Ｄ３３Ｂｖから成るので、中間画像Ｄ３３Ａと中間画像Ｄ３３Ｂを加算するとは、水平方向中間画像Ｄ３３Ａｈ、垂直方向中間画像Ｄ３３Ａｖ、水平方向中間画像Ｄ３３Ｂｈ、垂直方向中間画像Ｄ３３Ｂｖを加算することを意味する。なおここでの加算処理は、単純加算に限らず、各画像に個別の重みを付けて加算する処理であっても良い。
【００９１】
最後に加算手段４の動作について説明する。加算手段４は、拡大画像Ｄ２Ａと高周波数成分画像Ｄ３を加算する。そして加算手段４において拡大画像Ｄ２Ａと高周波数成分画像Ｄ３を加算した結果得られた画像が、最終的な拡大画像Ｄｏｕｔとして輝度画像拡大手段６から出力される。なおここでの加算処理は、単純加算に限らず、各画像に個別の重みを付けて加算する処理であっても良い。
【００９２】
以下、本発明における画像処理装置の作用、効果について説明する。
まず、輝度画像拡大手段６の作用、効果から説明する。
本発明の実施の形態では、中間画像Ｄ３２Ａ及びＤ３２Ｂをそのまま加算して高周波数成分画像Ｄ３を生成して拡大画像Ｄ２Ａに加算するわけではなく、中間画像Ｄ３２Ａ及びＤ３２Ｂを高周波数成分画像補正手段３３Ａ及び３３Ｂで補正した後に加算して高周波数成分画像Ｄ３を生成して、拡大画像Ｄ２Ａに加算しているが、
以下、仮に中間画像Ｄ３２Ａ及びＤ３２Ｂをそのまま加算し高周波数成分画像Ｄ３を生成して、拡大画像Ｄ２Ａに加算した場合に得られる効果について説明し、その後で、中間画像Ｄ３２Ａ及びＤ３２Ｂの代わりに、中間画像Ｄ３３Ａ及びＤ３３Ｂを加算することによる効果について説明する。
【００９３】
拡大画像Ｄ２Ａは、入力画像Ｄｉｎのナイキスト周波数Ｆｎより低い周波数に相当する周波数成分を含み、高周波数成分画像Ｄ３は入力画像Ｄｉｎのナイキスト周波数Ｆｎ以上の周波数に相当する周波数成分を含む。従って、拡大画像Ｄ２Ａと高周波数成分画像Ｄ３を加算して生成される拡大画像Ｄｏｕｔは画像拡大後のナイキスト周波数に至る全ての周波数領域にわたって周波数成分を持つことになる。
【００９４】
まず、拡大画像Ｄ２Ａが入力画像Ｄｉｎのナイキスト周波数Ｆｎより低い周波数に相当する周波数成分を持つことについて説明する。
【００９５】
図１３（ａ）〜（ｄ）は入力画像Ｄｉｎから拡大画像Ｄ２Ａを生成する際の作用を模式的に表した図であり、図１３（ａ）は入力画像Ｄｉｎの周波数スペクトルを、図１３（ｂ）はゼロ挿入画像Ｄ２１Ａの周波数スペクトルを、図１３（ｃ）は低周波数成分通過手段２２Ａの周波数応答を、図１３（ｄ）は拡大画像Ｄ２Ａの周波数スペクトルを表している。
【００９６】
入力画像Ｄｉｎの周波数スペクトルについて説明する。入力画像Ｄｉｎからは通常、自然画などが入力されるが、これらの画像のスペクトル強度は周波数空間の原点周辺に集中している。従って入力画像Ｄｉｎの周波数スペクトルは図１３（ａ）のように表すことが出来る。ここで図１３（ａ）の縦軸はスペクトル強度を、横軸は空間周波数を、Ｆｎは入力画像Ｄｉｎのナイキスト周波数を表している。
【００９７】
なお、通常入力画像Ｄｉｎは２次元の画像のため、その周波数スペクトルも２次元の周波数空間で表されるが、その形状は図１３（ａ）に示した周波数スペクトルが原点を中心に等方的に広がったものとなる。従って周波数スペクトルについて説明するためには最低限、１次元分の形状を示せばよく、今後、特に断らない限り、周波数空間の形状は１次元分のみ示して説明を行う。
【００９８】
次にゼロ挿入画像Ｄ２１Ａの周波数スペクトルについて説明する。入力画像Ｄｉｎに対してゼロ挿入手段２１Ａで（入力画像Ｄｉｎの）１画素につき１画素、画素値０を持った画素を挿入することで周波数空間上では周波数Ｆｎを中心にした折り返しが発生する。その結果、ゼロ挿入画像Ｄ２１Ａの周波数スペクトルは図１３（ｂ）のようになる。
【００９９】
次に低周波数成分通過手段２２Ａの周波数応答について説明する。先に述べたように低周波数成分通過手段２２Ａにおける演算はローパスフィルタ処理となっているので、図１３（ｃ）に示すように低周波数成分通過手段２２Ａの周波数応答は、周波数が高くなるほど低くなる。図示の例では、低周波数成分通過手段２２Ａが主に第１の周波数Ｆａ（＝Ｆｎ）以下の周波数成分を通過させるものとしている。
【０１００】
最後に拡大画像Ｄ２Ａの周波数スペクトルについて説明する。図１３（ｂ）に示した周波数スペクトルを持つゼロ挿入画像Ｄ２１Ａが図１３（ｃ）に示した周波数応答を持った低周波数成分通過手段２２Ａを通ることで拡大画像Ｄ２Ａが生成される。従って拡大画像Ｄ２Ａの周波数スペクトルはゼロ挿入画像Ｄ２１Ａの周波数スペクトルから、斜線で示した高周波数側の領域Ｒ２ＡＨが除かれたものとなる。
【０１０１】
従って、拡大画像Ｄ２Ａは主に入力画像Ｄｉｎのナイキスト周波数Ｆｎより低い周波数に相当する周波数成分を持つことになる。
【０１０２】
次に高周波数成分画像Ｄ３が主に入力画像Ｄｉｎのナイキスト周波数Ｆｎ以上の周波数に相当する周波数成分を持つことについて説明する。仮に高周波数成分画像補正手段３３Ａ及び３３Ｂによる補正を行わないとすれば、高周波数成分画像Ｄ３は中間画像Ｄ３２Ａと中間画像Ｄ３２Ｂを加算して得られるが、中間画像Ｄ３２Ａは特に入力画像Ｄｉｎのナイキスト周波数Ｆｎに近い周波数に相当する周波数成分を持ち、中間画像Ｄ３２Ｂは特に入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に相当する周波数成分を持ち、高周波数成分画像Ｄ３では中間画像Ｄ３２Ａ、Ｄ３２Ｂがもつ周波数成分が加算されるので、入力画像Ｄｉｎのナイキスト周波数Ｆｎ以上の周波数成分を持つことになる。
【０１０３】
まず、中間画像Ｄ３２Ａの周波数スペクトルについて説明する。
図１４（ａ）〜（ｆ）は中間画像Ｄ３２Ａを生成する際の作用を模式的に表した図であり、図１４（ａ）は高周波数成分画像生成手段１の周波数応答を、図１４（ｂ）は高周波数成分画像Ｄ１（又はＤ１ｈ若しくはＤ１ｖ）の周波数スペクトルを、図１４（ｃ）は画像拡大手段２Ｂ内のゼロ挿入手段２１Ｂによって生成されるゼロ挿入画像Ｄ２１Ｂ（又はＤ２１Ｂｈ若しくはＤ２１Ｂｖ）の周波数スペクトルを、図１４（ｄ）は拡大画像Ｄ２Ｂ（又はＤ２Ｂｈ若しくはＤ２Ｂｖ）の周波数スペクトルを、図１４（ｅ）は高周波数成分画像生成手段３２Ａ（又は３２Ａｈ若しくは３２Ａｖ）の周波数応答を、図１４（ｆ）は高周波数成分画像生成手段３２Ａから出力される中間画像Ｄ３２Ａ（又はＤ３２Ａｈ若しくはＤ３２Ａｖ）の周波数スペクトルを表している。
【０１０４】
まず、高周波数成分画像生成手段１の周波数応答及び高周波数成分画像Ｄ１の周波数スペクトルについて説明する。高周波数成分画像生成手段１は入力画像Ｄｉｎのうち、主に所定の周波数Ｆｂ以上の成分を通過させるハイパスフィルタを用いて高周波数成分画像Ｄ１を生成するので、図１４（ａ）に示すように高周波数成分画像生成手段１の周波数応答は、周波数が高くなるほど高くなる。図１３（ａ）に示した周波数スペクトルを持つ入力画像Ｄｉｎが図１４（ａ）に示す周波数応答をもつハイパスフィルタを通過することで高周波数成分画像Ｄ１が得られるので、高周波数成分画像Ｄ１の周波数スペクトルは図１４（ｂ）に示すように周波数が低い領域（周波数Ｆｂよりも低い領域）では小さくなり、周波数が高い領域（周波数Ｆｂ以上の領域）でのみある程度の強度をもつことになる。
【０１０５】
次に画像拡大手段２Ｂ内のゼロ挿入画像Ｄ２１Ｂの周波数スペクトルについて説明する。先に画像拡大手段２Ａのゼロ挿入手段２１Ａについて説明したのと同様に、ゼロ挿入手段２１Ｂによって折り返しが発生するので、画像拡大手段２Ｂ内のゼロ挿入画像Ｄ２１Ｂの周波数スペクトルは図１４（ｃ）のようになる。
【０１０６】
次に拡大画像Ｄ２Ｂの周波数スペクトルについて説明する。
拡大画像Ｄ２Ｂを生成する際、ゼロ挿入画像Ｄ２１Ｂの高周波数成分側の周波数スペクトル（例えば所定の周波数Ｆｃよりも高い領域の成分）が、低周波数成分通過手段２２Ｂによって取り除かれるので、拡大画像Ｄ２Ｂの周波数スペクトルは図１４（ｄ）に示すように高周波数側の領域（周波数Ｆｃよりも高い領域）Ｒ３２ＡＨが取り除かれたものとなる。
【０１０７】
最後に高周波数成分画像生成手段３２Ａの周波数応答及び中間画像Ｄ３２Ａの周波数スペクトルについて説明する。高周波数成分画像生成手段３２Ａは主に所定の周波数Ｆｄ以上の成分を通過させるハイパスフィルタとなっているのでその周波数応答は図１４（ｅ）に示すように周波数が高くなるほど高くなる。中間画像Ｄ３２Ａは、図１４（ｄ）に示した周波数スペクトルをもつ拡大画像Ｄ２Ｂが、図１４（ｅ）に示した周波数応答をもつハイパスフィルタを通過することで生成される。従って中間画像Ｄ３２Ａの周波数応答は図１４（ｆ）に示すように、図１４（ｄ）に示した拡大画像Ｄ２Ｂの周波数スペクトルからさらに低周波数側の領域（周波数Ｆｄよりも低い領域）Ｒ３２ＡＬが取り除かれたものとなる。
【０１０８】
従って中間画像Ｄ３２Ａは主に入力画像Ｄｉｎのナイキスト周波数Ｆｎに近い周波数に相当する周波数成分 (周波数Ｆｄから周波数Ｆｃまでの周波数成分)を持つことになる。
【０１０９】
次に中間画像Ｄ３２Ｂの周波数スペクトルについて説明する。
図１５（ａ）〜（ｃ）は中間画像Ｄ３２Ｂを生成する際の作用を模式的に表した図であり、図１５（ａ）は非線形処理手段３１（又は３１ｈ若しくは３１ｖ）により高周波数成分が生成される様子を、図１５（ｂ）は高周波数成分画像生成手段３２Ｂの周波数応答を、図１５（ｃ）は中間画像Ｄ３２Ｂの周波数スペクトルを表している。
【０１１０】
後述するように、非線形処理画像Ｄ３１には入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に相当する高周波数成分が生成される。図１５（ａ）はその様子を模式的に表した図である。図示の例では、周波数Ｆｅ以上の成分が生成されている。中間画像Ｄ３２Ｂは非線形処理画像Ｄ３１が高周波数成分画像生成手段３２Ｂを通過することで生成される。高周波数成分画像生成手段３２Ｂは主に周波数Ｆｆ以上の成分を通過させるハイパスフィルタでありその周波数応答は図１５（ｂ）に示すように、周波数が高くなるほど高くなっている。従って中間画像Ｄ３２Ｂの周波数スペクトルは図１５（ｃ）に示すように、非線形処理画像Ｄ３１の周波数スペクトルから低周波数側の領域Ｒ３２ＢＬが取り除かれたものとなるので、入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に相当するものとなる。
【０１１１】
図１６（ａ）〜（ｅ）、図１７（ａ）〜（ｆ）を用いて中間画像Ｄ３２Ｂの周波数スペクトルについてより詳しく説明を行う。なお、説明を簡単にするため各々１次元信号として記載した。
【０１１２】
図１６（ａ）〜（ｅ）は、輝度、彩度などの成分値がステップ状に変化する画像（ステップ画像）を表すステップエッジ信号と、該ステップエッジ信号を互いに異なるサンプリング周波数でサンプリングした際に得られる信号及びその高周波数成分信号の信号強度を表している。図１６（ａ）はステップエッジ信号を表す。
【０１１３】
図１６（ｂ）はステップエッジ信号をサンプリング間隔Ｓ１でサンプリングして得られる信号、図１６（ｃ）はステップエッジ信号を間隔Ｓ１でサンプリングして得られる信号の高周波数成分を表し、図１６（ｄ）はステップエッジ信号をサンプリング間隔Ｓ２でサンプリングして得られる信号、図１６（ｅ）はステップエッジ信号を間隔Ｓ１でサンプリングして得られる信号の高周波数成分を表す。
なお、サンプリング間隔Ｓ１はサンプリング間隔Ｓ２より短くなっており、サンプリング間隔を短くすることは画像を拡大することと同じである。
なお、図１６を用いて説明する、ステップエッジ信号に対するサンプリング間隔Ｓ１、Ｓ２と高周波数成分の関係は特定のサンプリング間隔の組み合わせに依存する話ではないが、以下、サンプリング間隔Ｓ２は入力画像Ｄｉｎのサンプリング間隔と同じであり、サンプリング間隔Ｓ１はサンプリング間隔Ｓ２の半分であるとする。
【０１１４】
図１６（ｂ）、（ｃ）及び図１６（ｄ）、（ｅ）に示されるようにエッジの中央は高周波数成分信号（図１６（ｃ）、（ｅ））においてゼロクロス点Ｚとして現れる。また、図１６（ｂ）、（ｃ）と図１６（ｄ）、（ｅ）を比較すると明らかなように、ゼロクロス点Ｚの前後での高周波数成分信号の傾きはサンプリング間隔を短くするにつれて（あるいは画像を拡大させるのに応じて）急になり、かつゼロクロス点Ｚの近傍で高周波数成分の局所的な最大値、最小値を与える点の位置もゼロクロス点Ｚに近づく。
【０１１５】
従って画像を拡大する際、入力画像Ｄｉｎの高周波数成分を取り出し、その変化をゼロクロス近傍で急峻にし、かつゼロクロス近傍で局所的な最大値、最小値を与える点をゼロクロス点に近づけることで入力画像Ｄｉｎの解像度には含まれない（あるいは入力画像Ｄｉｎのナイキスト周波数より高い）高周波数成分を生成し、これによりエッジの鮮鋭化が可能となる。
【０１１６】
図１７（ａ）〜（ｆ）は、高周波数成分画像生成手段１、画像拡大手段２Ｂ、非線形処理手段３１及び高周波数成分画像生成手段３２Ｂによる高周波数成分生成の手順を模式的に表した図であり、図１７（ａ）は輝度、彩度などの成分値がステップ状に変化する画像（ステップ画像）、図１７（ｂ）はステップ画像に対応した入力画像Ｄｉｎ、図１７（ｃ）は高周波数成分画像Ｄ１、図１７（ｄ）は拡大画像Ｄ２Ｂ、図１７（ｅ）は非線形処理画像Ｄ３１、図１７（ｆ）は中間画像Ｄ３２Ｂを表す。
【０１１７】
また、図１７（ａ）〜（ｆ）において座標Ｐ３はエッジ近傍において信号強度が低い値をとる領域（低レベル側）の境界に相当する画素であり、座標Ｐ４は高い値をとる領域（高レベル側）の境界に相当する画素である。
【０１１８】
ステップ画像に対応した入力画像Ｄｉｎ、高周波数成分画像Ｄ１については図１６（ａ）〜（ｅ）で説明した通りであり、その説明は省略し、まず拡大画像Ｄ２Ｂの説明を行う。
なお、高周波数成分画像Ｄ１においてゼロクロス点Ｚ近傍での局所的な最大値は、高レベル側の境界に現われるので座標Ｐ４で表される画素に局所的な最大値が現われ、逆に局所的な最小値は、低レベル側の境界に現われるので座標Ｐ３で表される画素に局所的な最小値が現われる。
【０１１９】
拡大画像Ｄ２Ｂ（又はＤ２Ｂｈ若しくはＤ２Ｂｖ）はゼロ挿入手段２１Ｂで高周波数成分画像Ｄ１に対して（画像Ｄ１の）１画素につき１画素、画素値０をもった画素を挿入した後、低周波数成分通過手段２２Ｂでその低周波数成分を取り出すことで得られる。低周波数成分を取り出すことは高周波数成分画像Ｄ１（図１７（ｃ））について局所領域における平均的な画素値を求めることと同じであり、拡大画像Ｄ２Ｂ（又はＤ２Ｂｈ若しくはＤ２Ｂｖ）は、図１７（ｄ）に示したように、高周波数成分画像Ｄ１とほぼ同じ形をした、サンプリング数の増えた信号となる。
【０１２０】
なお、画像が拡大されるのでゼロクロス点Ｚと座標Ｐ３で表される画素の間に新たに座標Ｐ１で表される画素が、ゼロクロス点Ｚと座標Ｐ４で表される画素の間に新たに座標Ｐ２で表される画素が現われる。また、拡大画像Ｄ２Ｂにおいてもゼロクロス点Ｚ近傍での局所的な最大値は座標Ｐ４で表される画素に、局所的な最小値は座標Ｐ３で表される画素に現われる。
【０１２１】
次に非線形処理画像Ｄ３１の説明を行う。非線形処理画像Ｄ３１は、非線形処理手段３１が拡大画像Ｄ１中のゼロクロス点Ｚを検出し、そのゼロクロス点Ｚの前後の画素の画素値を増幅した結果として出力される。従って非線形処理画像Ｄ３１（又はＤ３１ｈ若しくはＤ３１ｖ）では、座標Ｐ１、Ｐ２で表される画素の画素値が増幅されることになり、非線形処理画像Ｄ３１は図１７（ｅ）に示したような信号となる。
【０１２２】
最後に中間画像Ｄ３２Ｂの説明を行う。中間画像Ｄ３２Ｂ（図１７（ｆ））は非線形処理画像Ｄ３１（図１７(ｅ)）のもつ高周波数成分が高周波数成分画像生成手段３２Ｂにて取り出されたものである。高周波数成分は、入力信号から入力信号の低周波数成分（もしくは局所領域における画素値の単純平均値あるいは加重平均値）を差し引くことで取り出すことができる。
【０１２３】
非線形処理画像Ｄ３１（図１７（ｅ））ではゼロクロス点Ｚの前後の画素（座標Ｐ１、Ｐ２で表される画素）については、その画素値が信号増幅手段３１２ｈ、３１２ｖにて増幅されているため、局所領域における平均的な画素値からの差は大きくなる。一方、ゼロクロス点近傍のその他の画素については、その画素値が増幅されることはないので、局所領域における平均的な画素値からの差は小さな値となる。従って拡大画像Ｄ２Ｂ（図１７（ｄ））と比較すると中間画像Ｄ３２Ｂ（図１７（ｆ））では、ゼロクロス点Ｚの近傍での局所的な最大値、最小値を与える点はそれぞれ座標Ｐ２、Ｐ１で表される画素となり、よりゼロクロス点Ｚへと近づく。また、局所的な最大値、最小値を与える点がゼロクロス点Ｚへと近づいた分、ゼロクロス点近傍での信号の変化も急になる。
【０１２４】
先に説明したようにこれは中間画像Ｄ３２Ｂに、入力画像Ｄｉｎの解像度には含まれない高周波数成分が含まれることを意味する。言い換えると非線形処理手段３１において、拡大画像Ｄ２Ｂのゼロクロス点前後の画素値を増幅することで、入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に対応した高周波数成分を生成したことになる。
【０１２５】
別の観点から説明すれば、拡大画像Ｄ２Ｂに非線形処理を行うことで入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に対応した高周波数成分を生成することが出来る。
【０１２６】
また、中間画像Ｄ３２Ｂは非線形処理手段３１において生成した高周波数成分を高周波数成分画像生成手段３２Ｂで取り出すことで生成されるので、入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に対応した高周波数成分をもつ画像となる。
【０１２７】
拡大画像Ｄ２Ａ、中間画像Ｄ３２Ａ、中間画像Ｄ３２Ｂが持つ周波数成分を図示すると図２０のようになる。拡大画像Ｄ２Ａには主に入力画像Ｄｉｎのナイキスト周波数Ｆｎより低い周波数に相当する領域ＲＬに対応した周波数成分が含まれている。一方、中間画像Ｄ３２Ａには入力画像Ｄｉｎのナイキスト周波数Ｆｎに近い周波数に相当する領域ＲＭに対応した周波数成分が含まれており、中間画像Ｄ３２Ｂには入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に相当する領域ＲＨに対応した周波数成分が含まれている。
【０１２８】
中間画像Ｄ３２Ａと中間画像Ｄ３２Ｂを加算して高周波数成分画像Ｄ３を生成すれば、高周波数成分画像Ｄ３には、中間画像Ｄ３２Ａが持つ周波数成分と中間画像Ｄ３２Ｂが持つ周波数成分の双方が含まれることになる。中間画像Ｄ３２Ａには入力画像Ｄｉｎのナイキスト周波数Ｆｎに近い周波数に相当する周波数成分が含まれており、中間画像Ｄ３２Ｂには入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に相当する周波数成分が含まれているので、高周波数成分画像Ｄ３には入力画像Ｄｉｎのナイキスト周波数Ｆｎ以上の周波数成分が含まれることになる。そして、拡大画像Ｄ２Ａに高周波数成分画像Ｄ３を加算し出力画像Ｄｏｕｔを得ることで、出力画像Ｄｏｕｔに対して入力画像Ｄｉｎのナイキスト周波数Ｆｎ以上の周波数成分を与えることが可能になり、出力画像Ｄｏｕｔの解像感を増すことが出来る。
【０１２９】
図１８（ａ）〜（ｄ）は上記の効果を別の観点から説明するための図である。図１８（ａ）はステップエッジ信号を表している。図１８（ａ）に示すエッジではエッジ中央より左側の方が右側より輝度が低くなっている。すなわち、エッジ中央より左側が低レベル側、右側が高レベル側になる。図１８（ｂ）はステップエッジ信号をサンプリング間隔Ｓ２でサンプリングして得られる入力画像Ｄｉｎを表している。
【０１３０】
図１８（ｃ）は図１８（ｂ）に示す入力画像Ｄｉｎに対して得られる拡大画像Ｄ２Ａを表している。拡大画像Ｄ２Ａは、入力画像Ｄｉｎに対して補間演算を行って得られるので、サンプリング間隔はＳ２の半分のＳ１になるが、エッジ近傍の信号の変化はなだらかなままであり、低レベル側の境界は座標Ｐ３で表される画素であり、高レベル側の境界は座標Ｐ４で表される画素のままである。
【０１３１】
図１８（ｄ）はサンプリング間隔Ｓ１でステップエッジ信号をサンプリングした画像(図１８（ｂ）の画像と同じく符号Ｄｉｎで示す)を表している。低レベル側の境界は座標Ｐ１で表される画素であり、高レベル側の境界は座標Ｐ２で表される画素であり、拡大画像Ｄ２Ａと比較し、エッジ近傍での信号の変化が急になっている。
【０１３２】
中間画像Ｄ３２Ａと中間画像Ｄ３２Ｂを加算することで、拡大画像Ｄ２のエッジ近傍での信号の傾きが補正され、図１８（ｄ）に示すステップエッジ信号をサンプリング間隔Ｓ１でサンプリングした画像に近い画像が得られ、出力輝度画像ＹＯＵＴの解像感を高めることが出来る。
【０１３３】
人間の目はカラー画像の解像感においては輝度成分の与える情報が支配的であるので、上記の説明の様に、中間画像Ｄ３２Ａ、Ｄ３２Ｂ（あるいは高周波数成分）を拡大画像Ｄ２Ａに加算し、出力輝度画像ＹＯＵＴの解像感を増すことで出力カラー画像ＩＭＧＯＵＴにおいても画像の鮮鋭感を増し、画質を向上することが可能であるが、高周波数成分の加算を過度に行うと画質低下を招くことがある。
【０１３４】
図１９（ａ）及び（ｂ）は高周波数成分の加算による画質低下について説明するための図である。図１９（ａ）は高周波数成分の加算を適度に行うことによって、画像の鮮鋭感を増した場合を、図１９（ｂ）は高周波数成分の加算を過度に行った結果、画質の低下を招いた場合を表す。
【０１３５】
図１９（ａ）は、図１８（ｃ）に示された拡大画像Ｄ２Ａに対してこのとき得られる中間画像Ｄ３２Ａ及び中間画像Ｄ３２Ｂを加算した結果を示す図であり、図１８（ｃ）において座標Ｐ３で表されたステップエッジの低輝度側の境界部分が、図１９（ａ）では座標Ｐ１で表される位置へと修正され、図１８（ｃ）において座標Ｐ４で表されたステップエッジの高輝度側の境界部分が、図１９（ａ）では座標Ｐ２で表される位置へと修正され、その結果、図１８（ｃ）と図１９（ａ）を比較すると、図１９（ａ）の方が図１６（ｂ）に示すステップエッジをサンプリング間隔Ｓ１でサンプリングした信号へと近づいていることがわかる。これは高周波数成分の加算を適度に行うことによって、画像の鮮鋭感が増したことを表す。
【０１３６】
一方、図１９（ｂ）も、図１８（ｃ）に示された拡大画像Ｄ２Ａに対して中間画像Ｄ３２Ａ及び中間画像Ｄ３２Ｂを加算した結果を示す図であるが、図１９（ａ）の場合とは異なり、高周波数成分の加算が過度に行われた場合を表している。図１９（ａ）と比較すると座標Ｐ１、Ｐ３で表される位置の輝度がその周辺と比べて不自然に低くなったり（アンダーシュート）、座標Ｐ２、Ｐ４で表される位置の輝度がその周辺と比べて不自然に高くなったり（オーバーシュート）している。以下、オーバーシュートが発生した場合の不具合を考えるとともに、本発明によってそれを如何に防止するかについて述べる。
【０１３７】
出力輝度画像ＹＯＵＴにおいてオーバーシュートが発生すると輝度信号が必要以上に大きくなる。式（２）から、輝度信号（Ｙ）の値が大きくなるとＲＧＢ形式へ変換した場合、Ｒ、Ｇ、Ｂを表す各式の右辺の第１項が大きくなるので、結果的にＲ、Ｇ、Ｂともに大きな値になることがわかる。
【０１３８】
Ｒ、Ｇ、Ｂともに大きな値になるということは白色に近づくことを意味する。白色に近づくとは言い換えれば色が薄くなるということである。もともと無彩色に近い部分で色が薄くなっても相対的に目立たないが、有彩色のエッジ付近で色が薄くなると、エッジの周りのみ色が薄くなり、不自然な感じを与える。
【０１３９】
言い換えると、有彩色の部分に中間画像Ｄ３２Ａや中間画像Ｄ３２Ｂによって加算される輝度の大きさ（以下、補正量）が必要以上に大きくなると、これら画質の低下が発生しやすくなると考えられる。そこで有彩色の部分において補正量が必要以上に大きくならないよう調整すればよいと考えられる。
【０１４０】
その方法として例えば、有彩色かつ中間画像Ｄ３２Ａや中間画像Ｄ３２Ｂによって与えられる補正量が大きくなる部分を検出し、検出された箇所では、中間画像Ｄ３２Ａや中間画像Ｄ３２Ｂによる補正量が小さくなるよう適宜ゲインをかけることで、補正量が必要以上に大きくならないようにする方法が考えられる。
【０１４１】
有彩色であるかどうかは彩度（Ｃｒ、Ｃｂの２乗和の平方根で表すことができる）で判定することができる。即ち、有彩色では彩度は大きな値となる。またＣｒ、Ｃｂの２乗和の平方根はＣｒ、Ｃｂの絶対値の和で近似することが出来る。ＣｒあるいはＣｂの絶対値が大きくなればＣｒ、Ｃｂの２乗和の平方根も大きくなるからである。なお、本実施の形態１ではＣＢ拡大画像Ｄ２ＣがＣｂに対応し、ＣＲ拡大画像Ｄ２ＤがＣｒに対応している。従ってＣＢ拡大画像Ｄ２Ｃの画素値の絶対値あるいはＣＲ拡大画像Ｄ２Ｄの画素値の絶対値が大きい場合、有彩色であると判断できる。また、有彩色であるか否か判断するために、Ｃｒ、Ｃｂの２乗和の平方根を計算するより、絶対値の和を計算する方が簡単であり、回路規模も小さくて済む。
【０１４２】
中間画像Ｄ３２Ａや中間画像Ｄ３２Ｂによって与えられる補正量が大きくなるかどうかは拡大画像Ｄ２Ａの画素値に基づいてある程度判断することが可能である。理由を以下に述べる。
【０１４３】
中間画像Ｄ３２Ａは拡大画像Ｄ２Ｂに対してハイパスフィルタ処理を行うことで生成される。ここでハイパスフィルタ処理は拡大画像Ｄ２Ｂの各画素値から局所的な平均値を引くことに相当する。従って拡大画像Ｄ２Ｂにおいて画素値が大きな正の値である画素は、その画素に対して与えられるハイパスフィルタ処理後の出力値、すなわち中間画像Ｄ３２Ａの画素値も大きな正の値となる可能性が高い。
【０１４４】
一方、拡大画像Ｄ２Ｂは高周波数成分画像Ｄ１を拡大することで生成される。拡大処理は注目する画素近傍の画素値を加重加算することに相当する。
従って拡大画像Ｄ２Ｂの画素値を算出する際、高周波数成分画像Ｄ１内の画素値が大きな正の値である画素を用いる箇所では、拡大画像Ｄ２Ｂの画素値として大きな正の値が得られる可能性が高い。
【０１４５】
高周波数成分画像Ｄ１は入力画像Ｄｉｎにハイパスフィルタ処理を行うことで生成される。ここでハイパスフィルタ処理は各画素値から局所的な平均値を引くことに相当するので、入力画像Ｄｉｎにおいて画素値が大きな正の値である画素は、高周波数成分画像Ｄ１の画素値も大きな正の値になる可能性が高い。
【０１４６】
以上の話を逆から述べると、入力画像Ｄｉｎにおいて、大きな正の値を持った画素があった場合、高周波数成分画像Ｄ１中で同画素に対応する画素の画素値は大きな正の値になる可能性が高い。また、高周波数成分画像Ｄ１において、画素値が大きな正の値である画素があった場合、同画素値をもちいて算出される拡大画像Ｄ２Ｂの画素値も大きな正の値となる可能性が高いので、入力画像Ｄｉｎにおいて、大きな正の値を持った画素があった場合、拡大画像Ｄ２Ｂ上で同画素に対応する位置にある画素も大きな正の値を持つ可能性が高い。さらに、拡大画像Ｄ２Ｂにおいて、画素値が大きな正の値である画素は、その画素に対して与えられるハイパスフィルタ処理後の出力値、すなわち中間画像Ｄ３２Ａの画素値も大きな正の値となる可能性が高いので、入力画像Ｄｉｎにおいて、大きな正の値を持った画素があった場合、中間画像Ｄ３２Ａ上で同画素に対応する位置にある画素も大きな正の値を持つ可能性が高い。
【０１４７】
一方、拡大画像Ｄ２Ａは入力画像Ｄｉｎに拡大処理を行うことで生成される。拡大処理は注目する画素近傍の画素値を加重加算することに相当する。従って拡大画像Ｄ２Ａの画素値を算出する際、入力画像Ｄｉｎ内の画素値が大きいな正の値である画素を用いる箇所では、拡大画像Ｄ２Ａの画素値が大きな正の値になる可能性が高い。また、先に述べた様に、入力画像Ｄｉｎにおいて、大きな正の値を持った画素があった場合、中間画像Ｄ３２Ａ上で同画素に対応する位置にある画素も大きな正の値を持つ可能性が高い。従って入力画像Ｄｉｎにおいて、大きな正の値を持った画素があった場合、中間画像Ｄ３２Ａにおいても、拡大画像Ｄ２Ａにおいても、同画素に対応する位置にある画素は大きな正の値を持つ可能性が高い。
【０１４８】
従って、拡大画像Ｄ２Ａの画素値が大きい場合、中間画像Ｄ３２Ａの画素値も大きな正の値となる可能性が高く、言い換えると中間画像Ｄ３２Ａによって補正量が過度に加算され、オーバーシュートが発生する可能性が高くなる。
【０１４９】
また、中間画像Ｄ３２Ｂは拡大画像Ｄ２Ｂに対し、非線形処理手段２Ａで非線形処理を行った後、高周波数成分画像生成手段３２Ｂにおいてハイパスフィルタ処理を行うことで得られる。非線形処理手段２Ａではゼロクロス点の近傍のみ中間画像Ｄ３２Ａを増幅させるので、基本的に拡大画像Ｄ２Ｂが大きな正の値を持っていると非線形処理手段３１の出力する非線形処理画像Ｄ３１も大きな正の値を持っていると考えられる。非線形処理画像Ｄ３１が大きな正の値を持っている場合、非線形処理画像Ｄ３１に対するハイパスフィルタ処理結果である中間画像Ｄ３２Ｂも大きな正の値をもつ可能性が高い。
【０１５０】
以上をまとめると、拡大画像Ｄ２Ａの画素値が大きい場合、中間画像Ｄ３２Ａや中間画像Ｄ３２Ｂの画素値も大きな正の値となる可能性が高い。言い換えると拡大画像Ｄ２Ａの画素値が大きい場合、中間画像Ｄ３２Ａや中間画像Ｄ３２Ｂによって与えられる補正量が大きくなるとある程度判断することが可能である。
【０１５１】
上記の理由から拡大画像Ｄ２Ａの画素値、ＣＢ拡大画像Ｄ２Ｃの画素値の絶対値、及びＣＲ拡大画像Ｄ２Ｄの画素値の絶対値のいずれかが大きい画素では、有彩色の部分で補正量が大きくなり、ＲＧＢ形式に直した場合に色が薄くなるという不具合が起きうると考えられる。
【０１５２】
また、拡大画像Ｄ２Ａの画素値、ＣＢ拡大画像Ｄ２Ｃの画素値の絶対値、及びＣＲ拡大画像Ｄ２Ｄの画素値の絶対値のいずれかが大きい場合、その加重加算値も大きな値となる。
【０１５３】
そこで本発明は、式（３）により拡大画像Ｄ２Ａの画素値、ＣＢ拡大画像Ｄ２Ｃの画素値の絶対値、及びＣＲ拡大画像Ｄ２Ｄの画素値の絶対値を加重加算し、輝度色差加算画像Ｄ５を生成し、図１０や図１２に示すように輝度色差加算画像Ｄ５の画素値が大きくなるほど中間画像Ｄ３２Ａや中間画像Ｄ３２Ｂにかける増幅率を小さくすることで、有彩色のエッジ付近で色が薄くなるという不具合を回避することとしたものである。
【０１５４】
以上のように実施の形態１による画像処理装置では、エッジ付近で色が薄くなるという不具合の発生を抑えつつ、画像の強調処理を行うことができる。エッジ付近で色が薄くなると視覚特性上不自然に感じられるので、実施の形態１による画像処理装置では、視覚特性上も非常に好ましいものである。
【０１５５】
また、実施の形態１による画像処理装置では、高周波数成分画像補正手段３３Ａ及び高周波数成分画像補正手段３３Ｂにおいて、中間画像Ｄ３２Ａ及び中間画像Ｄ３２Ｂに対する増幅率を決定しているが、その際必要になる情報は拡大画像Ｄ２Ａの画素値、ＣＢ拡大画像Ｄ２Ｃの画素値の絶対値、及び入力ＣＲ拡大画像Ｄ２Ｄの画素値の絶対値の加重加算値のみである。従って簡単な回路で増幅率を決定することが可能であり、回路規模の増加も少なくて済む。
【０１５６】
なお、上記の実施の形態では、高周波数成分画像補正手段３３Ａにおいて、輝度色差加算画像Ｄ５に基づいて増幅率Ｄ３ＭＡを決定するとともに、高周波数成分画像補正手段３３Ｂにおいて、輝度色差加算画像Ｄ５に基づいて増幅率Ｄ３ＨＡを決定することとしているが、高周波数成分画像補正手段３３Ａ及び高周波数成分画像補正手段３３Ｂの一方においてのみ、上記の方法で増幅率を決定することとし、他方においては他の方法で増幅率を決定することとしても良い。
【０１５７】
また、上記の実施の形態では、高周波数成分画像処理手段３が、高周波数成分画像補正手段３３Ａ及び３３Ｂの双方を備えているが、一方のみでも良い。例えば、第２の補正成分生成手段３Ｂが、高周波数成分画像補正手段３３Ｂを備えず、非線形処理画像生成手段３０が出力する中間画像Ｄ３２Ｂを第２の補正成分生成手段３Ｂの出力として用いても良く、第１の補正成分生成手段３Ａが、高周波数成分画像補正手段３３Ａを備えず、高周波数成分画像生成手段３２Ａが出力する中間画像Ｄ３２Ａを第１の補正成分生成手段３Ａの出力として用いても良い。
【０１５８】
以上に説明したように、輝度成分については高周波数成分画像生成手段１で生成した高周波数成分画像Ｄ１を画像拡大手段２Ｂで拡大した画像拡大手段２Ｂを、高周波数成分画像処理手段３で処理することによって、入力画像Ｄｉｎ（あるいは入力輝度画像ＹＩＮ）のナイキスト周波数Ｆｎ以上の周波数に相当する周波数成分を含んだ高周波数成分画像Ｄ３を得ることができる。そして、加算手段４において、入力画像Ｄｉｎのナイキスト周波数Ｆｎより低い周波数に相当する領域の周波数成分を含む拡大画像Ｄ２Ａと入力画像Ｄｉｎのナイキスト周波数Ｆｎ以上の周波数に相当する領域の周波数成分を含む高周波数成分画像Ｄ３を加算して拡大画像Ｄｏｕｔを生成することとしているので、拡大画像Ｄｏｕｔに対して高周波数成分を十分に与えることができ、解像感のある拡大画像Ｄｏｕｔ（あるいは出力輝度画像ＹＯＵＴ）を得ることができる。
【０１５９】
また、高周波数成分画像生成手段１において、水平方向の高周波数成分を取り出した水平方向高周波数成分画像Ｄ１ｈと垂直方向の高周波数成分を取り出した垂直方向高周波数成分画像Ｄ１ｖを生成することで、画像の水平方向、垂直方向のうちの任意の方向について入力画像Ｄｉｎのナイキスト周波数Ｆｎ以上の周波数に相当した周波数成分を生成することが可能となる。すなわち、水平方向高周波数成分画像Ｄ１ｈを画像拡大手段２Ｂｈで拡大した拡大画像Ｄ２Ｂｈに対し、水平方向高周波数成分画像生成手段３２Ａｈで水平方向のハイパスフィルタをかけることで、水平方向に関して入力画像Ｄｉｎのナイキスト周波数Ｆｎに近い周波数に相当した周波数成分をもった中間画像Ｄ３２Ａｈが生成され、垂直方向高周波数成分画像Ｄ１ｖを画像拡大手段２Ｂｖで拡大した拡大画像Ｄ２Ｂｖに対し、垂直方向高周波数成分画像生成手段３２Ａｖで垂直方向のハイパスフィルタをかけることで、垂直方向に関して入力画像Ｄｉｎのナイキスト周波数Ｆｎに近い周波数に相当した周波数成分をもった中間画像Ｄ３２Ａｖが生成される。
【０１６０】
また、水平方向及び垂直方向について異なる特性のハイパスフィルタをかけることで、水平方向と垂直方向とで水平方向と垂直方向とでナイキスト周波数Ｆｎに近い周波数に相当した周波数成分を異なる程度に含むようにすることもできる。
【０１６１】
また、拡大画像Ｄ２Ｂｈに対し水平方向非線形処理手段３１ｈで非線形処理を行って生成した非線形処理画像Ｄ３１ｈに対して、水平方向高周波数成分画像生成手段３２Ｂｈでハイパスフィルタをかけることで、水平方向に関して入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に相当した周波数成分をもった中間画像Ｄ３２Ｂｈが生成され、拡大画像Ｄ２Ｂｖに対し垂直方向非線形処理手段３１ｖで非線形処理を行って生成した非線形処理画像Ｄ３１ｖに対して、垂直方向高周波数成分画像生成手段３２Ｂｖでハイパスフィルタをかけることで、垂直方向に関して入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に相当した周波数成分をもった中間画像Ｄ３２Ｂｖが生成される。
【０１６２】
また、水平方向及び垂直方向について異なる特性の非線形処理及びハイパスフィルタリングを行なうことで、水平方向と垂直方向とでナイキスト周波数Ｆｎより高い周波数に相当した周波数成分を異なる程度に含むようにすることもできる。
【０１６３】
また、中間画像Ｄ３２Ａに対しては、高周波数成分画像補正手段３３Ａにおいて輝度色差加算画像Ｄ５の画素値に応じて補正をかけた中間画像Ｄ３３Ａを生成し、加算手段３４を介して拡大画像Ｄ２Ａに加算することで、エッジ近傍で色が薄くなるのを防止することができる。
【０１６４】
また、中間画像Ｄ３２Ｂに対しては、高周波数成分画像補正手段３３Ｂにおいて輝度色差加算画像Ｄ５の画素値に応じて補正をかけた中間画像Ｄ３３Ｂを生成し、加算手段３４を介して拡大画像Ｄ２Ａに加算することで、エッジ近傍で色が薄くなるのを防止することができる。
【０１６５】
なお、輝度画像拡大手段６において、入力画像Ｄｉｎから拡大画像Ｄｏｕｔを生成する場合の拡大率を水平方向、垂直方向とも２倍として説明を行ったが拡大率は２倍に限定されるものではない。すなわち、画像拡大手段２Ａにおいて入力画像Ｄｉｎを水平方向、垂直方向ともに所望の倍率に拡大した拡大画像Ｄ２Ａを生成し、高周波数成分生成手段１において入力画像Ｄｉｎをもとに高周波数成分画像Ｄ１を生成し、画像拡大手段２Ｂにおいて、高周波数成分画像Ｄ１を水平方向、垂直方向ともに所望の倍率（画像拡大手段２Ａにおける拡大倍率と同じ倍率）に拡大した拡大画像Ｄ２Ｂを生成し、高周波数成分画像処理手段３において拡大画像Ｄ２Ｂをもとに高周波数成分画像Ｄ３を生成し、加算手段４において拡大画像Ｄ２Ａと高周波数成分画像Ｄ３を加算し、最終的な拡大画像Ｄｏｕｔを得ればよい。
さらに、先にも述べたように、水平方向の拡大率と垂直方向の拡大率とは同じでなくても良く、また水平方向、垂直方向の一方についてのみ拡大を行なっても良い。
【０１６６】
また、上記の説明では水平方向、垂直方向ともゼロクロス点の前後１画素についてのみ増幅率を大きくするとしたが、増幅率の制御の例はこの限りではなく、例えば拡大率に応じて適宜変化させる（拡大率に応じた値に設定する）ことも出来る。
【０１６７】
以下、拡大率が上記の例とは異なる場合について、図２１（ａ）〜（ｅ）及び図２２（ａ）〜（ｆ）を参照して説明する。
【０１６８】
図２１（ａ）にステップエッジ信号、図２１（ｂ）にステップエッジ信号をサンプリング間隔Ｓ１でサンプリングして得られる信号、図２１（ｃ）はステップエッジ信号をサンプリング間隔Ｓ１でサンプリングして得られる信号の高周波数成分を表し、図２１（ｄ）はステップエッジ信号を間隔Ｓ１の３倍の間隔Ｓ３でサンプリングして得られる信号、図２１（ｅ）はステップエッジ信号を間隔Ｓ３でサンプリングして得られる信号の高周波数成分を表す。なお、図２１（ｄ）及び（ｅ）において画素の位置ＰＬ１、ＰＲ１はステップエッジ信号の境界（輝度の明暗が変化する地点）を表す。通常、ステップエッジ信号をサンプリングした画像の高周波数成分を表す信号において、ゼロクロス点Ｚ近傍での局所的な最大値、最小値を与える画素の位置は、ステップエッジ信号の境界の位置とほぼ一致する。
【０１６９】
図２２（ａ）〜（ｆ）は、拡大率が３倍の場合の、高周波数成分画像生成手段１、画像拡大手段２Ｂ、非線形処理手段３１及び高周波数成分画像生成手段３２Ｂによる高周波数成分生成の手順を模式的に表した図であり、図２２（ａ）は輝度、彩度などの成分値がステップ状に変化する画像（ステップ画像）、図２２（ｂ）はステップ画像に対応した入力画像Ｄｉｎ、図２２（ｃ）は高周波数成分画像Ｄ１、図２２（ｄ）は拡大画像Ｄ２Ｂ、図２２（ｅ）は非線形処理画像Ｄ３１、図２２（ｆ）は中間画像Ｄ３２Ｂを表す。なお、説明を簡単にするため各々１次元信号として記載した。
【０１７０】
図２２（ｄ）に示すように、拡大画像Ｄ２Ｂにおいてゼロクロス点Ｚ近傍での局所的な最大値、最小値を与える画素の位置ＰＬ１、ＰＲ１は、拡大画像Ｄ２Ｂにおいてもステップエッジ信号の境界の位置とほぼ一致する。通常、本実施の形態の説明で用いた拡大方法ではこのＰＬ１、ＰＲ１の位置は変化せず、ＰＬ１、ＰＲ１で表す位置とゼロクロス点Ｚの間に存在する画素の数が多くなる。また、ＰＬ１、ＰＲ１で表す位置とゼロクロス点Ｚの間に存在する画素の数は拡大画像Ｄ２Ｂを生成する際の拡大率を大きくすれば（あるいはサンプリング間隔を短くすれば）多くなる。
一方、ステップエッジ信号を短いサンプリング間隔でサンプリングした画像の高周波数成分を表す信号では、ゼロクロス点Ｚ近傍での局所的な最大値、最小値を与える画素の位置はよりゼロクロス点Ｚに近づき、ゼロクロス点にＺより近い画素ほど高周波数成分を表す信号の振幅が大きくなる。
【０１７１】
従って、ゼロクロス点Ｚ前後の信号のみ増幅して非線形処理画像Ｄ３１を生成する際に、ＰＬ１及びＰＲ１よりゼロクロス点Ｚにより近い画素になるほど振幅が大きくなるよう処理してやることが好ましく、例えば位置ＰＬ１、ＰＲ１よりゼロクロス点Ｚに近い画素ではゼロクロス点Ｚにより近い画素ほど大きな増幅率で、ＰＬ１、ＰＲ１よりゼロクロス点Ｚから遠い画素については増幅率１で拡大画像Ｄ２Ｂの画素値を増幅することで、図２２（ｅ）に示すような、ゼロクロス点Ｚにより近い画素ほど大きな振幅をもった非線形処理画像Ｄ３１を生成することができる。
そしてこのようにして生成した拡大画像Ｄ２Ｂからハイパスフィルタ処理によって高周波数成分のみを取り出すことで図２２（ｆ）に示すようなサンプリング間隔Ｓ１に対応した中間画像Ｄ３２Ｂを生成できる。
【０１７２】
以上をまとめると、位置ＰＬ１、ＰＲ１とゼロクロス点Ｚの間に存在する画素の数は拡大画像Ｄ２Ｂ生成時の拡大率によって異なるので、拡大画像Ｄ２Ｂから非線形処理画像Ｄ３１を生成する際にゼロクロス点Ｚ前後において増幅率を１より大きくする画素の数を画像の拡大率に応じて変えてもよい。また、これらの画素に対する増幅率も画素に応じて、例えば、ゼロクロス点Ｚからの距離に応じて変えてもよい。たとえば、ゼロクロス点Ｚに近い画素ほど増幅率を大きくしてもよい。
【０１７３】
また、中間画像Ｄ３２Ａと中間画像Ｄ３２Ｂを比較した場合、中間画像Ｄ３２Ｂの方がより高い周波数成分を有しており、図１に記載の高周波数成分画像処理手段３から、高周波数成分画像生成手段３２Ａ、高周波数成分画像補正手段３３Ａを取り除いた構成としても、拡大画像Ｄ２Ａに対して入力輝度画像ＹＩＮのナイキスト周波数Ｆｎ以上の成分を与え、解像感を高めることが出来る。
この場合、例えば、高周波数成分画像処理手段３が非線形処理画像生成手段３０、高周波数成分画像補正手段３３Ｂ、加算手段３４を備え、加算手段３４が水平方向中間画像Ｄ３３Ｂｈ、垂直方向中間画像Ｄ３３Ｂｖを加算した結果を高周波数成分画像Ｄ３として出力する構成とすればよい。
【０１７４】
また、先に説明したように、拡大画像Ｄ２Ｂに非線形処理を行うことで入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に対応した高周波数成分を生成することが出来るので、要するに、高周波数成分画像処理手段３内部で拡大画像Ｄ２Ｂに対して非線形処理を行えればよい。
【０１７５】
なお、上記のように過度のオーバーシュートを防止するために輝度色差加算画像Ｄ５の画素値が大きい場合、小さくなるよう増幅率を制御するのは一例であり、目的に応じて輝度色差加算画像Ｄ５と増幅率の関係は適宜設定できる。たとえば本実施の形態１における画像処理装置のように、輝度成分からハイパスフィルタを用いて高周波数成分を取り出し、それをもとに生成した成分を加算する場合、ハイパスフィルタの通過帯域を通過するようなノイズが入力画像に含まれていると、入力画像によってはノイズが強調される場合があり、このような現象は特に画像の輝度が低い場合に起こりやすい。自然画像において輝度が低い部分は通常無彩色であるので色差信号の絶対値はゼロに近い。従って輝度が低い部分では輝度色差加算画像の画素値の値は小さい。従って、例えば図２３に示すように、輝度色差加算画像Ｄ５の画素値ある程度が小さい場合とある程度大きい場合に増幅率が小さくなるよう設定することも可能である。このようにすることで、画像の低輝度部分ではノイズが強調されるのを防止しつつ、過度のオーバーシュートが発生するのを防止することが可能になる。
【０１７６】
ここで図２３において記号ＧｂはＧＭｂ、ＧＨｂのいずれかに、記号ｋ１〜ｋ３はｋＭ１〜ｋＭ３、ｋＨ１〜ｋＨ３のいずれかに、記号Ａ１、Ａ２はＡＭ１、ＡＭ２、ＡＨ１、ＡＨ２のいずれかに相当する。
【０１７７】
要するに輝度色差加算画像Ｄ５の画素値に応じて中間画像Ｄ３２Ａ、Ｄ３２Ｂにかける増幅率を適宜変更してやることで、様々なアーティファクトを防止することができる。
【０１７８】
また、上記の例では水平方向中間画像Ｄ３２Ａｈ及び垂直方向中間画像Ｄ３２Ａｖには同じ増幅率を用いているが水平方向中間画像Ｄ３２Ａｈ及び垂直方向中間画像Ｄ３２Ａｖに対して異なる増幅率を用いることとしてもよい。
【０１７９】
この場合、例えば、高周波数成分画像補正手段３３Ａが水平方向中間画像Ｄ３２Ａｈに対する増幅率を計算する水平方向増幅率計算手段と垂直方向中間画像Ｄ３２Ａｖに対する増幅率を計算する垂直方向増幅率計算手段を備えた増幅率計算手段と水平方向画素値増幅手段３ＭＢｈと垂直方向画素値増幅手段３ＭＢｖを備えた画素値増幅手段３ＭＢを備える構成とすればよい。さらに水平方向増幅率計算手段、垂直方向増幅率計算手段の少なくとも一方の動作は増幅率計算手段３ＭＡの動作と同様にし、水平方向画素値増幅手段３ＭＢｈが水平方向増幅率計算手段で計算された増幅率でもって水平方向中間画像Ｄ３２Ａｈの各画素値を増幅し、垂直方向画素値増幅手段３ＭＢｖが垂直方向増幅率計算手段で計算された増幅率でもって垂直方向中間画像Ｄ３２Ａｖの各画素値を増幅してやればよい。この際、水平方向増幅率計算手段と水平方向画素値増幅手段３ＭＢｖで水平方向高周波数成分画像補正手段３３Ａｈを形成し、垂直方向増幅率計算手段と垂直方向画素値増幅手段３ＭＢｖで垂直方向高周波数成分画像補正手段３３Ａｖを形成することが出来る。
【０１８０】
また、上記の例では水平方向中間画像Ｄ３２Ｂｈ及び垂直方向中間画像Ｄ３２Ｂｖには同じ増幅率を用いているが水平方向中間画像Ｄ３２Ｂｈ及び垂直方向中間画像Ｄ３２Ｂｖに対して異なる増幅率を用いることとしてもよい。
【０１８１】
この場合、例えば、高周波数成分画像補正手段３３Ｂが水平方向中間画像Ｄ３２Ｂｈに対する増幅率を計算する水平方向増幅率計算手段と垂直方向中間画像Ｄ３２Ｂｖに対する増幅率を計算する垂直方向増幅率計算手段を備えた増幅率計算手段と水平方向画素値増幅手段３ＨＢｈと垂直方向画素値増幅手段３ＨＢｖを備えた画素値増幅手段３ＨＢを備える構成とすればよい。さらに水平方向増幅率計算手段、垂直方向増幅率計算手段の少なくとも一方の動作は増幅率計算手段３ＨＡの動作と同様にし、水平方向画素値増幅手段３ＨＢｈが水平方向増幅率計算手段で計算された増幅率でもって水平方向中間画像Ｄ３２Ｂｈの各画素値を増幅し、垂直方向画素値増幅手段３ＨＢｖが垂直方向増幅率計算手段で計算された増幅率でもって垂直方向中間画像Ｄ３２Ｂｖの各画素値を増幅してやればよい。この際、水平方向増幅率計算手段と水平方向画素値増幅手段３ＨＢｖで水平方向高周波数成分画像補正手段３３Ｂｈを形成し、垂直方向増幅率計算手段と垂直方向画素値増幅手段３ＨＢｖで垂直方向高周波数成分画像補正手段３３Ｂｖを形成することが出来る。
【０１８２】
実施の形態２．
実施の形態１では、本発明をハードウエアにより実現するものとして説明したが、図１に示される構成の一部又は全部をソフトウエアにより、即ちプログラムされたコンピュータにより実現することも可能である。その場合の処理を図２４、並びに図２５〜図３２を参照して説明する。
【０１８３】
図２４は、実施の形態２の画像処理装置を示す。図示の画像処理装置は、ＣＰＵ１１と、プログラムメモリ１２と、データメモリ１３と、これらを接続するバス１４を有する。
ＣＰＵ１１は、プログラムメモリ１２に記憶されたプログラムに従って動作する。動作の過程で種々のデータをデータメモリ１３に記憶させる。処理の結果生成される拡大画像Ｄｏｕｔは、インターフェース１５を介して表示部９に供給され、表示部９による表示に用いられる。
以下、ＣＰＵ１１により行なわれる処理を図２５〜図３２を参照して説明する。
【０１８４】
実施の形態２による画像処理方法は図２４の画像処理装置で実施され、入力カラー画像ＩＭＧＩＮを入力とし、出力カラー画像ＩＭＧＯＵＴを出力とする。入力カラー画像ＩＭＧＩＮはカラー画像であり、輝度成分を表す信号ＹＩＮ（以下、入力輝度画像ＹＩＮと呼ぶ）と色差成分を表す信号ＣＲＩＮ及びＣＢＩＮから成る。信号ＣＲＩＮ（以下、入力ＣＲ画像ＣＲＩＮと呼ぶ）は色差成分のうちＣｒ成分を表し、信号ＣＢＩＮ（以下、入力ＣＢ画像ＣＢＩＮと呼ぶ）は色差成分のうちＣｂ成分を表す。出力カラー画像ＩＭＧＯＵＴもカラー画像であり、輝度成分を表す信号ＹＯＵＴ（以下、出力輝度画像ＹＯＵＴと呼ぶ）と色差成分を表す信号ＣＲＯＵＴ及びＣＢＯＵＴから成る。信号ＣＲＯＵＴ（以下、出力ＣＲ画像ＣＲＯＵＴと呼ぶ）は色差成分のうちＣｒ成分を表し、信号ＣＢＯＵＴ（以下、入力ＣＢ画像ＣＢＯＵＴと呼ぶ）は色差成分のうちＣｂ成分を表す。
【０１８５】
図２５は図２４の画像処理装置で実施される画像処理方法のフローを表す図であり、図２５に示される画像処理方法は、画像拡大ステップＳＴ２Ａ、ＣＢ画像拡大ステップＳＴ２Ｃ、ＣＲ画像拡大ステップＳＴ２Ｄ、高周波数成分画像生成ステップＳＴ１、画像拡大ステップＳＴ２Ｂ、高周波数成分画像処理ステップＳＴ３、及び加算ステップＳＴ４を有する。
【０１８６】
画像拡大ステップＳＴ２Ａは入力輝度画像ＹＩＮを、図１、図３の画像拡大手段２Ａと同様の処理で拡大した拡大画像Ｄ２Ａを生成する。
【０１８７】
ＣＢ画像拡大ステップＳＴ２Ｃは入力ＣＢ画像ＣＢＩＮを拡大したＣＢ拡大画像Ｄ２Ｃを出力する。
【０１８８】
ＣＲ画像拡大ステップＳＴ２Ｄは入力ＣＲ画像ＣＲＩＮを拡大したＣＲ拡大画像Ｄ２Ｄを出力する。
【０１８９】
ＣＢ拡大画像Ｄ２Ｃが出力ＣＲ画像ＣＲＯＵＴとして出力され、ＣＲ拡大画像Ｄ２Ｄが出力ＣＢ画像ＣＢＯＵＴとして出力される。また、出力ＣＲ画像ＣＲＯＵＴ及び出力ＣＢ画像ＣＢＯＵＴは最終的な出力カラー画像ＩＭＧＯＵＴの一部として出力される。
【０１９０】
なお、特別の理由がない限り、画像拡大ステップＳＴ２Ａ、ＣＢ画像拡大ステップＳＴ２Ｃ、及びＣＲ画像拡大ステップＳＴ２Ｄでの拡大率は同じである。
また、ＣＢ画像拡大ステップＳＴ２Ｃ、ＣＲ画像拡大ステップＳＴ２Ｄの動作は画像拡大ステップＳＴ２Ａと同様にすればよい。
【０１９１】
輝度色差加算ステップＳＴ５では拡大画像Ｄ２Ａの画素値及びＣＢ拡大画像Ｄ２Ｃ、ＣＲ拡大画像Ｄ２Ｄの各画素値の絶対値を式（３）に従って加重加算し、その結果を輝度色差加算画像Ｄ５として出力する。この動作は実施の形態１における輝度色差加算手段５と同じである。
【０１９２】
高周波数成分画像生成ステップＳＴ１は、図２６に示すように、水平方向高周波数成分画像生成ステップＳＴ１ｈ、及び垂直方向高周波数成分画像生成ステップＳＴ１ｖを有する。水平方向高周波数成分画像生成ステップＳＴ１ｈでは入力輝度画像ＹＩＮに対し、図３の水平方向高周波数成分画像生成手段１ｈと同様の処理を行い、水平方向高周波数成分画像Ｄ１ｈを生成する。一方、垂直方向高周波数成分画像生成ステップＳＴ１ｖでは入力輝度画像ＹＩＮに対し、図３の垂直方向高周波数成分画像生成手段１ｖと同様の処理を行い、垂直方向高周波数成分画像Ｄ１ｖを生成する。
【０１９３】
画像拡大ステップＳＴ２Ｂは、図２７に示すように、画像拡大ステップＳＴ２Ｂｈ、及び画像拡大ステップＳＴ２Ｂｖを有する。
画像拡大ステップＳＴ２Ｂｈでは、水平方向高周波数成分画像生成ステップＳＴ１ｈで生成した水平方向高周波数成分画像Ｄ１ｈに対し、図３の画像拡大手段２Ｂｈと同様の処理を行い、拡大画像Ｄ２Ｂｈを生成する。
画像拡大ステップＳＴ２Ｂｖでは、垂直方向高周波数成分画像生成ステップＳＴ１ｖで生成した垂直方向高周波数成分画像Ｄ１ｖに対し、図３の画像拡大手段２Ｂｖと同様の処理を行い、拡大画像Ｄ２Ｂｖを生成する。
【０１９４】
なお、特別の理由がない限り、画像拡大ステップＳＴ２Ｂと画像拡大ステップＳＴ２Ａでの拡大率は同じである。
【０１９５】
次に高周波数成分画像処理ステップＳＴ３の動作を説明する。
高周波数成分画像処理ステップＳＴ３は、図２８に示すように、高周波数成分画像生成ステップＳＴ３２Ａ、非線形処理画像生成ステップＳＴ３０、高周波数成分画像補正ステップＳＴ３３Ａ、高周波数成分画像補正ステップＳＴ３３Ｂ、及び加算ステップＳＴ３４を有する。
高周波数成分通過ステップＳＴ３２Ａは、水平方向高周波数成分画像生成ステップＳＴ３２Ａｈ、垂直方向高周波数成分画像生成ステップＳＴ３２Ａｖを有する。
【０１９６】
非線形処理画像生成ステップＳＴ３０は、非線形処理ステップＳＴ３１、高周波数成分画像生成ステップＳＴ３２Ｂを有する。
非線形処理ステップＳＴ３１は水平方向非線形処理ステップＳＴ３１ｈ、及び垂直方向非線形処理ステップＳＴ３１ｖを有する。
高周波数成分画像生成ステップＳＴ３２Ｂは、水平方向高周波数成分画像生成ステップＳＴ３２Ｂｈ、垂直方向高周波数成分画像生成ステップＳＴ３２Ｂｖを有する。
【０１９７】
水平方向高周波数成分通過ステップＳＴ３２Ａｈでは、画像拡大ステップＳＴ２Ｂｈで生成した拡大画像Ｄ２Ｂｈに対し、図３の水平方向高周波数成分画像生成手段３２Ａｈと同様の処理を行い、水平方向中間画像Ｄ３２Ａｈを生成する。垂直方向高周波数成分通過ステップＳＴ３２Ａｖでは、画像拡大ステップＳＴ２Ｂｖで生成した拡大画像Ｄ２Ｂｖに対し、図３の垂直方向高周波数成分画像生成手段３２Ａｖと同様の処理を行い、垂直方向中間画像Ｄ３２Ａｖを生成する。
そして高周波数成分画像生成ステップＳＴ３２Ａでは水平方向中間画像Ｄ３２Ａｈと垂直方向中間画像Ｄ３２Ａｖから成る中間画像Ｄ３２Ａが生成される。
このように、高周波数成分通過ステップＳＴ３２Ａでは、図３の高周波数成分画像生成手段３２Ａと同様の動作が行われる。
【０１９８】
水平方向非線形処理ステップＳＴ３１ｈは、図２９に示すようにゼロクロス判定ステップＳＴ３１１ｈと信号増幅ステップＳＴ３１２ｈを有する。
水平方向非線形処理ステップＳＴ３１ｈの動作は以下のごとくである。
まず、ゼロクロス判定ステップＳＴ３１１ｈで、画像拡大ステップＳＴ２Ｂｈで生成した拡大画像Ｄ２Ｂｈにおける画素値の変化を水平方向に沿って確認する。そして画素値が正の値から負の値あるいは負の値から正の値に変化する箇所をゼロクロス点として捉え、ゼロクロス点の左右に位置する画素を特定する。信号増幅ステップＳＴ３１２ｈでは、拡大画像Ｄ２Ｂｈのうち、ゼロクロス判定ステップＳＴ３１１ｈで特定されたゼロクロス点の左右に位置する画素の画素値を増幅し、その結果得られる画像を非線形処理画像Ｄ３１ｈとして生成する。
【０１９９】
垂直方向非線形処理ステップＳＴ３１ｖは、図３０に示すようにゼロクロス判定ステップＳＴ３１１ｖと信号増幅ステップＳＴ３１２ｖを有する。
垂直方向非線形処理ステップＳＴ３１ｖの動作は以下のごとくである。
まず、ゼロクロス判定ステップＳＴ３１１ｖで、画像拡大ステップＳＴ２Ｂｖで生成した拡大画像Ｄ２Ｂｖにおける画素値の変化を垂直方向に沿って確認する。そして画素値が正の値から負の値あるいは負の値から正の値に変化する箇所をゼロクロス点として捉え、ゼロクロス点の上下に位置する画素を特定する。信号増幅ステップＳＴ３１２ｖでは、拡大画像Ｄ２Ｂｖのうち、ゼロクロス判定ステップＳＴ３１１ｖで特定されたゼロクロス点の上下に位置する画素の画素値を増幅し、その結果得られる画像を非線形処理画像Ｄ３１ｖとして生成する。
【０２００】
そして高周波数成分画像生成ステップＳＴ３１では非線形処理画像Ｄ３１ｈと非線形処理画像Ｄ３１ｖから成る非線形処理画像Ｄ３１が生成される。
このように、非線形処理ステップＳＴ３１では、図３の非線形処理手段３１と同様の動作が行われる。
【０２０１】
水平方向高周波数成分通過ステップＳＴ３２Ｂｈは、水平方向非線形処理ステップＳＴ３１ｈで生成した非線形処理画像Ｄ３１ｈにハイパスフィルタをかけ、水平方向中間画像Ｄ３２Ｂｈを生成する。垂直方向高周波数成分通過ステップＳＴ３２Ｂｖは、垂直方向非線形処理ステップＳＴ３１ｖで生成した非線形処理画像Ｄ３１ｖにハイパスフィルタをかけ、垂直方向中間画像Ｄ３２Ｂｖを生成する。
【０２０２】
そして高周波数成分画像生成ステップＳＴ３２Ｂでは水平方向中間画像Ｄ３２Ｂｈと垂直方向中間画像Ｄ３２Ｂｖから成る中間画像Ｄ３２Ｂが生成される。
このように、高周波数成分通過ステップＳＴ３２Ｂでは、図３の高周波数成分画像生成手段３２Ｂと同様の動作が行われる。
【０２０３】
次に、高周波数成分画像補正ステップＳＴ３３Ａの詳細な動作について説明する。
高周波数成分画像補正ステップＳＴ３３Ａは、図３１に示すように増幅率計算ステップＳＴ３ＭＡと画素値増幅ステップＳＴ３ＭＢを含み、輝度色差加算画像Ｄ５の画素値に応じて求められる増幅率を使って、中間画像Ｄ３２Ａの各画素値を補正する。なおここで言う補正とは、輝度色差加算画像Ｄ５の画素値に応じて求められる増幅率を、中間画像Ｄ３２Ａの各画素値に掛け合わせる（あるいは輝度色差加算画像Ｄ５の画素値に応じて求められる増幅率によって画素値を増幅する）ことを意味する。
【０２０４】
ここで増幅率計算ステップＳＴ３ＭＡの動作は増幅率計算手段３ＭＡと同様であるのでその説明は省略する。
【０２０５】
次に画素値増幅ステップＳＴ３ＭＢでは、増幅率計算ステップＳＴ３ＭＡにおいて決定された増幅率に基づいて中間画像Ｄ３２Ａの各画素がもつ画素値を増幅する。ここで中間画像Ｄ３２Ａは水平方向中間画像Ｄ３２Ａｈ及び垂直方向中間画像Ｄ３２Ａｖから成るので、画素値の増幅は、水平方向中間画像Ｄ３２Ａｈと垂直方向中間画像Ｄ３２Ａｖの各々について行われる。
【０２０６】
即ち、水平方向画素値増幅ステップＳＴ３ＭＢｈでは、増幅率計算ステップＳＴ３ＭＡで決定された増幅率に基づいて水平方向中間画像Ｄ３２Ａｈの各画素値が増幅した画像Ｄ３ＭＢｈが生成される。また、垂直方向画素値増幅ステップＳＴ３ＭＢｖでは、増幅率計算ステップＳＴ３ＭＡで決定された増幅率に基づいて垂直方向中間画像Ｄ３２Ａｖの各画素値が増幅した画像Ｄ３ＭＢｖが生成される。この動作は画素値増幅手段３ＭＢの動作と同じである。
【０２０７】
そして画像Ｄ３ＭＢｈに相当する水平方向中間画像Ｄ３３Ａｈと画像Ｄ３ＭＢｖに相当する垂直方向中間画像Ｄ３３Ａｖから成る中間画像Ｄ３３Ａが、高周波数成分画像補正ステップＳＴ３３Ａによって生成される。
【０２０８】
以上が高周波数成分画像補正ステップＳＴ３３Ａの動作であり、その動作は図９の高周波数成分補正手段３３Ａの動作と同等である。
【０２０９】
次に、高周波数成分画像補正ステップＳＴ３３Ｂの詳細な動作について説明する。
高周波数成分画像補正ステップＳＴ３３Ｂは、図３２に示すように増幅率計算ステップＳＴ３ＨＡと画素値増幅ステップＳＴ３ＨＢを含み、輝度色差加算画像Ｄ５の画素値に応じて求められる増幅率を使って、中間画像Ｄ３２Ｂの各画素値を補正する。なおここで言う補正とは、輝度色差加算画像Ｄ５の画素値に応じて求められる増幅率を、中間画像Ｄ３２Ｂの各画素値に掛け合わせる（あるいは輝度色差加算画像Ｄ５の画素値に応じて求められる増幅率によって画素値を増幅する）ことを意味する。
【０２１０】
ここで増幅率計算ステップＳＴ３ＨＡの動作は増幅率計算手段３ＨＡと同様であるのでその説明は省略する。
【０２１１】
次に画素値増幅ステップＳＴ３ＨＢでは、増幅率計算ステップＳＴ３ＨＡにおいて決定された増幅率に基づいて中間画像Ｄ３２Ｂの各画素がもつ画素値を増幅する。ここで中間画像Ｄ３２Ｂは水平方向中間画像Ｄ３２Ｂｈ及び垂直方向中間画像Ｄ３２Ｂｖから成るので、画素値の増幅は、水平方向中間画像Ｄ３２Ｂｈと垂直方向中間画像Ｄ３２Ｂｖの各々について行われる。即ち、水平方向画素値増幅ステップＳＴ３ＨＢｈでは、増幅率計算ステップＳＴ３ＨＡで決定された増幅率に基づいて水平方向中間画像Ｄ３２Ｂｈの各画素値を増幅した画像Ｄ３ＨＢｈが生成される。また、垂直方向画素値増幅ステップＳＴ３ＨＢｖでは、増幅率計算ステップＳＴ３ＨＡで決定された増幅率に基づいて垂直方向中間画像Ｄ３２Ｂｖの各画素値が増幅した画像Ｄ３ＨＢｖが生成される。この動作は画素値増幅手段３ＨＢの動作と同じである。
【０２１２】
そして画像Ｄ３ＨＢｈに相当する水平方向中間画像Ｄ３３Ｂｈと画像Ｄ３ＨＢｖに相当する垂直方向中間画像Ｄ３３Ｂｖから成る中間画像Ｄ３３Ｂが、高周波数成分画像補正ステップＳＴ３３Ｂによって生成される。
【０２１３】
以上が高周波数成分画像補正ステップＳＴ３３Ｂの動作であり、その動作は図１１の高周波数成分補正手段３３Ｂの動作と同等である。
【０２１４】
高周波数成分画像生成ステップＳＴ３２Ａと高周波数成分画像補正ステップＳＴ３３Ａの組み合わせが、第１の補正成分生成手段３Ａの動作に対応し、非線形処理画像生成ステップＳＴ３０と高周波数成分画像補正ステップＳＴ３３Ｂの組み合わせが、第２の補正成分生成手段３Ｂの動作に対応する。
【０２１５】
加算ステップＳＴ３４は、高周波数成分画像補正ステップＳＴ３３Ａで生成した中間画像Ｄ３３Ａと高周波数成分画像補正ステップＳＴ３３Ｂで生成した中間画像Ｄ３３Ｂを加算し、高周波数成分画像Ｄ３を得る。このように、ステップＳＴ３４では、図３の加算手段３４と同様の動作が行われる。
なお、ここでの加算は加算手段３４と同様、加重加算でもよい。
【０２１６】
以上が、高周波数成分画像処理ステップＳＴ３の動作であり、この動作は、図１、図３の高周波数成分画像処理手段３と同じである。
【０２１７】
加算ステップＳＴ４は、画像拡大ステップＳＴ２Ａで生成した拡大画像Ｄ２Ａと高周波数成分画像処理ステップＳＴ３で生成した高周波数成分画像Ｄ３を加算した画像Ｄｏｕｔを生成する。そして生成された画像Ｄｏｕｔが出力輝度画像ＹＯＵＴとなり、最終的な出力カラー画像ＩＭＧＯＵＴの一部として、画像処理装置から出力される。
この動作は、図１、図３の加算手段４と同じである。
【０２１８】
なお、上記の説明から明らかなように、画像拡大ステップＳＴ２Ａ、高周波数成分画像生成ステップＳＴ１、画像拡大ステップＳＴ２Ｂ、高周波数成分画像処理ステップＳＴ３によって図１あるいは図３に記載の輝度画像拡大手段６と同様の処理がなされる。
【０２１９】
以上が実施の形態２による画像処理方法の動作である。上記の説明から明らかなように実施の形態２による画像処理方法でも実施の形態１による画像処理装置と同様の処理で画像を拡大できるため、実施の形態１による画像処理装置と同様の効果が得られる。また、実施の形態２による画像処理方法にも、実施の形態１による画像処理装置と同様の変形を行うことができ、その場合に得られる効果も実施の形態１による画像処理装置と同様である。
【０２２０】
例えば、高周波数成分画像処理ステップＳＴ３が非線形処理画像生成ステップＳＴ３０、高周波数成分画像補正ステップＳＴ３３Ｂ、加算ステップＳＴ３４を備え、加算ステップＳＴ３４が水平方向中間画像Ｄ３３Ｂｈ、垂直方向中間画像Ｄ３３Ｂｖを加算した結果を高周波数成分画像Ｄ３として出力する構成としてもよい。この場合でも、非線形処理画像生成ステップＳＴ３０によってナイキスト周波数Ｆｎより高い周波数成分が生成されるので、解像感を増す効果が得られる。
【０２２１】
なお、実施の形態１で説明した変形例は上記以外のものも適用可能であり、その場合、実施の形態２による画像処理方法の構成要素をどう変形すべきかは実施の形態１との対比から明らかである。
【０２２２】
また、実施の形態２による画像処理装置は実施の形態１で説明した画像処理装置と同様画像表示装置の一部として用いることができるため、実施の形態２による画像処理装置で生成された画像Ｄｏｕｔを表示する画像表示装置も、実施の形態１で説明した画像処理装置と同様の効果が得られる。さらに、実施の形態１及び実施の形態２の画像処理装置を用いて実施される画像処理方法、及びこれを用いた画像表示方法も同様の効果が得られる。
【０２２３】
実施の形態３．
図３３は本発明の実施の形態３による画像処理装置の構成を表す図である。実施の形態３による画像処理装置も実施の形態１による画像処理装置と同様、図２に示す画像表示装置の一部として利用可能である。
【０２２４】
実施の形態３による画像処理装置は、実施の形態１による画像処理装置と比較した場合、輝度画像拡大手段６内の高周波数成分画像処理手段３の構成が若干異なる。従って高周波数成分画像処理手段３以外の説明は省略する。
【０２２５】
高周波数成分画像処理手段３は、高周波数成分画像生成手段３２Ａ、非線形処理画像生成手段３０、加算手段３４Ｂ、及び高周波数成分画像補正手段３３Ｃを備える。高周波数成分画像生成手段３２Ａ、及び非線形処理画像生成手段３０の動作は実施の形態１で説明したものと同様なのでその説明は省略する。
【０２２６】
加算手段３４Ｂは、中間画像Ｄ３２Ａと中間画像Ｄ３２Ｂを加算する。そして得られた画像が中間画像Ｄ３４Ａとして出力される。なお、ここでの加算は加算手段３４と同様加重加算でもよい。
【０２２７】
高周波数成分画像補正手段３３Ｃは中間画像Ｄ３４Ａの各画素値を、輝度色差加算画像Ｄ５の画素値に応じて求められる増幅率で増幅し、その結果を高周波数成分画像Ｄ３として出力する。
【０２２８】
なお、高周波数成分画像補正手段３３Ｃの詳細な動作は、実施の形態１による画像処理装置において、例えば、高周波数成分画像補正手段３３Ａが水平方向中間画像Ｄ３２Ａｈに対して行っていた動作や高周波数成分画像補正手段３３Ｂが垂直方向中間画像Ｄ３２Ｂｖに対して行っていた動作と同様にすることが出来るのでその説明は省略する。また、高周波数成分画像補正手段３３Ｃの詳細な構成についても同様に省略する。
【０２２９】
実施の形態３による画像処理装置でも実施の形態１による画像処理装置と同様、高周波数成分画像処理手段３において、入力輝度画像ＹＩＮのナイキスト周波数以上の高周波数成分を与えることで出力カラー画像ＩＭＧＯＵＴの解像感を増すことが可能である。
【０２３０】
また、高周波数成分画像補正手段３３Ｃが中間画像Ｄ３４Ａに対して行なう動作は実施の形態１による画像処理装置において、高周波数成分画像補正手段３３Ａが中間画像Ｄ３２Ａに対して行っていた動作あるいは高周波数成分画像補正手段３３Ｂが中間画像Ｄ３２Ｂに対して行っていた動作と同様である。従って、高周波数成分（高周波数成分画像Ｄ３）による補正が過度に行われ、有彩色のエッジ付近で色が薄くなるという画質上の問題が発生するのを防ぐことが出来る。
【０２３１】
さらに、実施の形態１による画像処理装置と比較した場合、高周波数成分画像補正手段の数が少ないので実施の形態１より少ない回路規模で構成可能である。
【０２３２】
また、中間画像Ｄ３２Ａと中間画像Ｄ３２Ｂを比較した場合、中間画像Ｄ３２Ｂの方がより高い周波数成分を有しており、図３３に記載の高周波数成分画像処理手段３から、高周波数成分画像生成手段３２Ａ、及び加算手段３４Ｂを取り除き、非線形処理画像生成手段３０から出力される中間画像Ｄ３２Ｂを高周波数成分画像補正手段３３Ｃに入力する構成、言い換えれば、図３３に記載の高周波数成分画像処理手段３を、非線形処理手段３０、高周波数成分画像補正手段３３Ｃを含む構成とし、非線形処理手段３０から出力される中間画像Ｄ３２Ｂを高周波数成分画像補正手段３３Ｃへ入力する構成としても、拡大画像Ｄ２Ａに対して入力輝度画像ＹＩＮのナイキスト周波数Ｆｎ以上の成分を与え、解像感を高めることが出来る。
なお、中間画像Ｄ３２Ｂが水平方向中間画像Ｄ３２Ｂｈおよび垂直方向中間画像Ｄ３２Ｂｖからなる場合、水平方向中間画像Ｄ３２Ｂｈおよび垂直方向中間画像Ｄ３２Ｂｖを加算した後、高周波数成分画像補正手段３３Ｃへ入力することとしてもよい。
【０２３３】
また、先に説明したように、拡大画像Ｄ２Ｂに非線形処理を行うことで入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に対応した高周波数成分を生成することが出来るので、要するに、高周波数成分画像処理手段３内部で拡大画像Ｄ２Ｂに対して非線形処理を行えればよい。
【０２３４】
なお、実施の形態１に対して考えられる変形例及びその効果は実施の形態３に対しても有効である。
【０２３５】
実施の形態４．
本発明の実施の形態４による画像処理方法も実施の形態２による画像処理方法と同様、図２４に示す画像表示装置の一部として利用可能である。また、そのフローは実施の形態２と同様、図２５のように構成することが出来るのでその説明は省略する。
【０２３６】
実施の形態４による画像処理方法は実施の形態２による画像処理方法と概して同じであるが、高周波数成分画像処理ステップＳＴ３の動作、構成が異なる。図３４は実施の形態４による画像処理方法での高周波数成分画像処理ステップＳＴ３のフローを示す図である。
【０２３７】
実施の形態４による画像処理方法での高周波数成分画像処理ステップＳＴ３は、高周波数成分画像生成ステップＳＴ３２Ａ、非線形処理画像生成ステップＳＴ３０、加算ステップＳＴ３４Ｂ、及び高周波数成分画像補正ステップＳＴ３３Ｃを含む。
【０２３８】
ここで、高周波数成分画像生成ステップＳＴ３２Ａ、及び非線形処理画像生成ステップＳＴ３０の動作は実施の形態２による画像処理方法と同様であるのでその説明は省略する。
【０２３９】
加算ステップＳＴ３４Ｂは、中間画像Ｄ３２Ａと中間画像Ｄ３２Ｂを加算し、中間画像Ｄ３４Ｂを出力する。この動作は実施の形態３による画像処理装置における加算手段３４Ｂと同じである。
【０２４０】
高周波数成分画像補正ステップＳＴ３３Ｃは中間画像Ｄ３４Ｂの各画素値を、輝度色差加算画像Ｄ５の画素値に応じて求められる増幅率で増幅し、高周波数成分画像Ｄ３を出力する。なお、高周波数成分画像補正ステップＳＴ３３Ｃの詳細な動作は、実施の形態２による画像処理方法において、例えば、高周波数成分画像補正ステップＳＴ３３Ａが水平方向中間画像Ｄ３２Ａｈに対して行っていた動作や高周波数成分画像補正ステップＳＴ３３Ｂが垂直方向中間画像Ｄ３２Ｂｖに対して行っていた動作と同様にすることが出来るのでその説明は省略する。また、高周波数成分画像補正ステップＳＴ３３Ｃの詳細な構成についても同様である。この動作は実施の形態３による画像処理装置における高周波数成分画像補正手段３３Ｃと同じである。
【０２４１】
実施の形態４による画像処理方法の動作は実施の形態３による画像処理装置と同様であるので、実施の形態３による画像処理装置と同様の効果を得ることが出来る。また、実施の形態３による画像処理装置と同様の変形例を考えることも出来る上、その場合に得られる効果についても同様である。
【符号の説明】
【０２４２】
１ 高周波数成分画像生成手段、 ２Ａ 画像拡大手段、 ２Ｂ 画像拡大手段、 ２Ｃ ＣＢ画像拡大手段、 ２Ｄ ＣＲ画像拡大手段、 ３ 高周波数成分画像処理手段、 ４ 加算手段、 ５ 輝度色差加算手段、 ６ 輝度画像拡大手段、 ３０ 非線形画像生成手段、 ３２Ａ 高周波数成分画像生成手段、 ３２Ｂ 高周波数成分画像生成手段、 ３３Ａ 高周波数成分画像補正手段、 ３３Ｂ 高周波数成分画像補正手段、 ３３Ｃ 高周波数成分画像補正手段、 ３４ 加算手段、 ３４Ｂ 加算手段、 ＤＩＲＧＢ 入力カラー画像、 ＤＯＲＧＢ 出力カラー画像。
【技術分野】
【０００１】
本発明は、デジタル化された画像を拡大する画像処理装置及び方法、並びに画像表示装置及び方法に関するものであり、画像を拡大する際に、高周波数成分を生成することによって、解像感の高い拡大画像を得るものである。
【背景技術】
【０００２】
一般に画像処理装置は、出力画像の画素数が入力画像の画素数より多い場合、画像を拡大処理しなければならない。従来の画像処理装置では注目する画素近傍の画素がもつ画素値を重み付け加算して画像を拡大していた。また、カラー画像に対する処理では輝度信号に画像強調処理を行っている。
【０００３】
例えば特許文献１に記載された画像処理装置においては、各シフトレジスタからそれぞれ出力される主走査方向の隣り合った５個の画素データに所定の重み付け定数を乗算し、各画素データにおける乗算結果を加算するための演算回路を備え、画像データの拡大処理を行う場合に、演算回路での演算結果をこれらの画素データの中央の画素データとしてセレクタにて選択して出力している。
【０００４】
さらに特許文献２に記載された鮮鋭度強調回路においては、入力した映像信号の輝度成分に対して、その輝度成分の最も高い高域の成分が含まれる周波数帯を中心として強調する第１の強調回路と、第１の強調回路よりも低い中心周波数で映像信号の輝度成分を強調する第２の強調回路を備えている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平６−３１１３４６号公報
【特許文献２】特開２０００−１１５５８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
注目する画素近傍の画素がもつ画素値を重み付け加算することは入力画像の低周波数成分のみを通過させるローパスフィルタ処理となる。従って、上記の従来の技術では、拡大画像に対して高周波数成分を十分に与えることが出来ないため、拡大画像の解像感が失われるという問題があった。
【０００７】
また、入力した映像信号の輝度成分に対して、強調処理を行う場合、有彩色のエッジ付近で色が白く（あるいは薄く）なることがある。
【課題を解決するための手段】
【０００８】
本発明は上述のような課題を解消するためになされたもので、本発明の画像処理装置は、
カラー画像を拡大する画像処理装置において、
前記カラー画像の輝度成分を表す画像を拡大し、第１の拡大画像を出力する第１の画像拡大手段と、
前記カラー画像の輝度成分を表す画像の高周波数成分を取り出し、第１の高周波数成分画像を生成する第１の高周波数成分画像生成手段と、
前記第１の高周波数成分画像を拡大し、第２の拡大画像を出力する第２の画像拡大手段と、
前記カラー画像の色差成分を表す画像を拡大した色差拡大画像を出力する画像拡大手段と、
前記第１の拡大画像と前記色差拡大画像の絶対値を加重加算した輝度色差加算画像を出力する輝度色差加算手段と、
前記第２の拡大画像と前記輝度色差加算画像を入力とし、第２の高周波数成分画像を出力する高周波数成分画像処理手段と、
前記第１の拡大画像と前記第２の高周波数成分画像を加算する第１の加算手段と
を有する画像処理装置において、
前記高周波数成分画像処理手段は、
前記第２の拡大画像の高周波数成分を取り出して第１の中間画像を出力する第２の高周波数成分画像生成手段を含む第１の補正成分生成手段と、
前記第２の拡大画像に対して非線形処理を含む処理を行った第２の中間画像を出力する非線形処理画像生成手段を含を含む第２の補正成分生成手段と、
前記第１の補正成分生成手段の出力と、前記第２の補正成分生成手段の出力を加算する第２の加算手段とを備え、
前記第２の加算手段における加算の結果が、前記高周波数成分画像処理手段の出力として用いられ、
前記第１の補正成分生成手段が、
前記第１の中間画像の各画素値を前記輝度色差加算画像の画素値に応じて求められる第１の増幅率によって増幅した第３の中間画像を出力する第１の高周波数成分画像補正手段をさらに備え、
前記第３の中間画像が前記第１の補正成分生成手段の出力として用いられる
ことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、カラー画像において有彩色のエッジ付近で色が白く（あるいは薄く）なることなく、解像感のある拡大画像を得ることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態１の画像処理装置の構成を示すブロック図である。
【図２】実施の形態１の画像処理装置を用いた画像表示装置の構成例を示すブロック図である。
【図３】図１の輝度画像拡大手段６の構成をより詳細に示すブロック図である。
【図４】（ａ）〜（ｄ）は、画像拡大手段２Ａの動作を示す画素配置図である。
【図５】画像拡大手段２Ａの構成例を示すブロック図である。
【図６】画像拡大手段２Ｂの構成例を示すブロック図である。
【図７】水平方向非線形処理手段３１ｈの構成例を示すブロック図である。
【図８】垂直方向非線形処理手段３１ｖの構成例を示すブロック図である。
【図９】高周波数成分画像補正手段３３Ａの構成例を示すブロック図である。
【図１０】高周波数成分画像補正手段３３Ａにおける画素値と増幅率の関係の一例を示す図である。
【図１１】高周波数成分画像補正手段３３Ｂの構成例を示すブロック図である。
【図１２】高周波数成分画像補正手段３３Ｂにおける画素値と増幅率の関係の一例を示す図である。
【図１３】（ａ）〜（ｄ）は、拡大画像Ｄ２Ａを得る過程を説明するための周波数スペクトル及び周波数応答を示す図である。
【図１４】（ａ）〜（ｆ）は、中間画像Ｄ３２Ａを得る過程を説明するための周波数スペクトル及び周波数応答を示す図である。
【図１５】（ａ）〜（ｃ）は、中間画像Ｄ３２Ｂを得る過程を説明するための周波数スペクトル及び周波数応答を示す図である。
【図１６】（ａ）〜（ｅ）は、ステップエッジ信号とステップエッジ信号を異なるサンプリング周波数でサンプリングした際に得られる信号とその高周波数成分の信号強度を示す図である。
【図１７】（ａ）〜（ｆ）は、非線形処理手段３１と高周波数成分画像生成手段３２Ｂの動作を説明するための、信号強度を示すである。
【図１８】（ａ）〜（ｄ）は、中間画像Ｄ３２Ａ、Ｄ３２Ｂを加算する効果を説明するための、信号強度を示す図である。
【図１９】（ａ）及び（ｂ）は、中間画像Ｄ３２Ａ、Ｄ３２Ｂを加算する効果及び不具合の説明するための信号強度を示す図である。
【図２０】拡大画像Ｄｏｕｔの周波数スペクトルの説明図である。
【図２１】（ａ）〜（ｅ）は、ステップエッジ信号とステップエッジ信号を異なるサンプリング周波数でサンプリングした際に得られる信号とその高周波数成分の信号強度を示す図である。
【図２２】（ａ）〜（ｆ）は、非線形処理手段３１と高周波数成分画像生成手段３２Ｂの動作を説明するための信号の強度を示す図である。
【図２３】増幅率計算手段３ＭＡ、３ＨＡの画素値と増幅率の関係を示す図である。
【図２４】本発明の実施の形態２の画像処理装置の構成を示すブロック図である。
【図２５】実施の形態２の画像処理方法を示すフロー図である。
【図２６】高周波数成分画像生成ステップＳＴ１を示すフロー図である。
【図２７】画像拡大ステップＳＴ２Ｂを示すフロー図である。
【図２８】高周波数成分画像処理ステップＳＴ３を示すフロー図である。
【図２９】水平方向非線形処理ステップＳＴ３１ｈを示すフロー図である。
【図３０】垂直方向非線形処理ステップＳＴ３１ｖを示すフロー図である。
【図３１】高周波数成分画像補正ステップＳＴ３３Ａを示すフロー図である。
【図３２】高周波数成分画像補正ステップＳＴ３３Ｂを示すフロー図である。
【図３３】本発明の実施の形態３の画像処理装置の構成を示すブロック図である。
【図３４】本発明の実施の形態４における高周波数成分画像処理ステップＳＴ３を示すフロー図である。
【発明を実施するための形態】
【００１１】
実施の形態１．
図１は本発明の実施の形態１による画像処理装置の構成を表す図であり、例えば図２に示す画像表示装置の一部として用いることができる。ここで図２に示す画像表示装置は図１に示す画像処理装置を内部に含む画像処理装置Ｕ１及び表示部９を備えており、画像処理装置Ｕ１において画像ＤＯＲＧに対する出力として得られた画像ＤＵ１が表示部９に表示される。
【００１２】
画像ＤＵ１は輝度信号（Ｙ）と色差信号（Ｃｒ、Ｃｂ）に分かれている（以下、ＹＣｂＣｒ形式と呼ぶこともある）ので、通常、表示部９において表示される前に赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色信号（以下ＲＧＢ形式と呼ぶこともある）に変換される。ＹＣｂＣｒ形式とＲＧＢ形式の間の変換は例えば国際電気通信連合による勧告ＩＴＵ−Ｒ．ＢＴ６０１等に記載されており、ＲＧＢ形式からＹＣｂＣｒ形式への変換は
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
Ｃｒ＝０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ
Ｃｂ＝−０．１６９Ｒ−０．３３１Ｇ＋０．５００Ｂ
…（１）
により行なわれ、ＹＣｂＣｒ形式からＲＧＢ形式への変換は
Ｒ＝１．０００Ｙ＋１．４０２Ｃｒ＋０．０００Ｃｂ
Ｇ＝１．０００Ｙ−０．７１４Ｃｒ−０．３４４Ｃｂ
Ｂ＝１．０００Ｙ＋０．０００Ｃｒ＋１．７７２Ｃｂ
…（２）
により行なわれる。なお、式（１）、式（２）に示した式は一例であって、ＹＣｂＣｒ形式とＲＧＢ形式の間の変換方法はこれに限定されない。また、入力画像が８ビットデータの場合、Ｃｒ、Ｃｂの値は通常−１２８以上１２７以下の範囲に、Ｒ、Ｇ、Ｂの値は０以上２５５以下の範囲に、それぞれ丸め込まれる。
【００１３】
実施の形態１による画像処理装置は、入力カラー画像ＩＭＧＩＮを入力とし、出力カラー画像ＩＭＧＯＵＴを出力とする。入力カラー画像ＩＭＧＩＮはカラー画像であり、輝度成分を表す信号ＹＩＮ（以下、入力輝度画像ＹＩＮと呼ぶ）と色差成分を表す信号ＣＲＩＮ及びＣＢＩＮから成る。信号ＣＲＩＮ（以下、入力ＣＲ画像ＣＲＩＮと呼ぶ）は色差成分のうちＣｒ成分を表し、信号ＣＢＩＮ（以下、入力ＣＢ画像ＣＢＩＮと呼ぶ）は色差成分のうちＣｂ成分を表す。出力カラー画像ＩＭＧＯＵＴもカラー画像であり、輝度成分を表す信号ＹＯＵＴ（以下、出力輝度画像ＹＯＵＴと呼ぶ）と色差成分を表す信号ＣＲＯＵＴ及びＣＢＯＵＴから成る。信号ＣＲＯＵＴ（以下、出力ＣＲ画像ＣＲＯＵＴと呼ぶ）は色差成分のうちＣｒ成分を表し、信号ＣＢＯＵＴ（以下、入力ＣＢ画像ＣＢＯＵＴと呼ぶ）は色差成分のうちＣｂ成分を表す。
【００１４】
図示の画像処理装置は、輝度画像拡大手段６、ＣＢ画像拡大手段（第１の色差画像拡大手段）２Ｃ、ＣＲ画像拡大手段（第２の色差画像拡大手段）画像拡大手段２Ｄ、輝度色差加算手段５を有する。
【００１５】
ＣＢ画像拡大手段２Ｃは入力ＣＢ画像ＣＢＩＮを拡大した画像（ＣＢ拡大画像）Ｄ２Ｃを出力する。
【００１６】
ＣＲ画像拡大手段２Ｄは入力ＣＲ画像ＣＲＩＮを拡大した画像（ＣＲ拡大画像）Ｄ２Ｄを出力する。
【００１７】
そして、ＣＢ拡大画像Ｄ２Ｃが出力ＣＢ画像ＣＢＯＵＴとして出力され、ＣＲ拡大画像Ｄ２Ｄが出力ＣＲ画像ＣＲＯＵＴとして出力される。また、出力ＣＲ画像ＣＲＯＵＴ及び出力ＣＢ画像ＣＢＯＵＴは最終的な出力カラー画像ＩＭＧＯＵＴの一部として、画像処理装置から出力される。
【００１８】
なお、ＣＢ画像拡大手段２Ｃ、及びＣＲ画像拡大手段２Ｄの動作、構成は例えば後述する画像拡大手段２Ａの動作、構成と同じにすることができる。
【００１９】
輝度色差加算手段５は各画素について後述する処理にて生成される拡大画像Ｄ２Ａの画素値と、ＣＢ拡大画像Ｄ２Ｃの画素値の絶対値と、ＣＲ拡大画像Ｄ２Ｄの画素値の絶対値とを加重加算し、輝度色差加算画像Ｄ５を生成する。即ち、拡大画像Ｄ２Ａ、ＣＢ拡大画像Ｄ２Ｃ、ＣＲ拡大画像Ｄ２Ｄを用いて以下に式により、輝度色差加算画像Ｄ５を求める。
Ｄ５＝Ｋｙ・Ｄ２Ａ＋Ｋｃｒ・｜Ｄ２Ｃ｜＋Ｋｃｂ・｜Ｄ２Ｄ｜ …（３）
ここでＫｙ、Ｋｃｒ、Ｋｃｂは重み付けのための係数である。
【００２０】
輝度画像拡大手段６は、画像拡大手段２Ａと、高周波数成分画像生成手段１と、画像拡大手段２Ｂと、高周波数成分画像処理手段３と、加算手段４とを備え、画像Ｄ４と拡大画像Ｄ２Ａとを出力する。
【００２１】
なお、特別の理由がない限り、輝度画像拡大手段６、ＣＢ画像拡大手段２Ｃ、及びＣＲ画像拡大手段２Ｄでの拡大率は同じである。
【００２２】
図３は輝度画像拡大手段６の構成の詳細を表す図であり、入力輝度画像ＹＩＮが入力画像Ｄｉｎとして、出力輝度画像ＹＯＵＴが出力画像Ｄｏｕｔとして表されている。以下、画像拡大手段２Ａ、高周波数成分画像生成手段１、画像拡大手段２Ｂ、及び高周波数成分画像処理手段３の構成をより詳細に説明する。
【００２３】
画像拡大手段２Ａは、入力画像Ｄｉｎを拡大して拡大画像Ｄ２Ａを生成する。
高周波数成分画像生成手段１は、入力画像Ｄｉｎの高周波数成分のみを取り出して高周波数成分画像Ｄ１を生成する。
【００２４】
画像拡大手段２Ｂは、高周波数成分画像生成手段１から出力される高周波数成分画像Ｄ１を拡大して拡大画像（高周波数成分拡大画像）Ｄ２Ｂを生成する。
高周波数成分画像処理手段３は、画像拡大手段２Ｂから出力される拡大画像Ｄ２Ｂに対して後述の処理を行い、高周波数成分画像（高周波数成分処理画像）Ｄ３を生成する。
【００２５】
加算手段４は、画像拡大手段２Ａから出力される拡大画像Ｄ２Ａに、高周波数成分画像処理手段３から出力される高周波数成分画像Ｄ３を画像Ｄ４と拡大画像Ｄ２Ａを最終的な輝度拡大画像、即ち出力画像Ｄｏｕｔとして出力する。加算手段４の出力は、出力ＣＢ画像ＣＢＯＵＴ及び出力ＣＲ画像ＣＲＯＵＴとともに、例えば図２に示す画像表示装置の表示部９に画像ＤＵ１として供給され、表示部９による画像表示に用いられる。
【００２６】
なお、本明細書において、拡大、高周波数成分生成、高周波数成分処理などの処理は「画像」に対して行なわれる旨記載されるが、具体的には、画像を表すデジタルデータに対して行われる。また、「画像」との記載も具体的には「画像データ」を意味する場合がある。
【００２７】
画像拡大手段２Ａ、高周波数成分画像生成手段１、画像拡大手段２Ｂ、及び高周波数成分画像処理手段３の詳細な動作については後述するが、高周波数成分画像Ｄ３のもつ周波数成分は拡大画像Ｄ２Ａがもつ周波数成分より高い周波数帯域のものとなる。従って加算手段４において拡大画像Ｄ２Ａに高周波数成分画像Ｄ３を加算することで、高周波数成分を多く含んだ拡大画像Ｄｏｕｔを得ることができる。
【００２８】
画像拡大手段２Ａは、水平方向及び垂直方向の少なくとも一方に画像を拡大するものであり、例えば、水平方向及び垂直方向に同じ倍率で拡大を行なうが、代わりに、水平方向及び垂直方向に異なる倍率で拡大を行なうものであっても良い。また、水平方向及び垂直方向の一方にのみ拡大を行なうものであっても良く、例えば入力画像に対して表示画面が横長である場合に水平方向にのみ拡大を行なうことがある。
【００２９】
高周波数成分画像生成手段１は、入力画像Ｄｉｎの高周波数成分（所定の周波数Ｆｂよりも高い成分）を取り出して、高周波数成分画像Ｄ１を生成するものであり、後述の方法でそれぞれ水平方向高周波数成分画像Ｄ１ｈ及び垂直方向高周波数成分画像Ｄ１ｖを生成する水平方向高周波数成分画像生成手段１ｈ及び垂直方向高周波数成分画像生成手段１ｖを備える。水平方向高周波数成分画像Ｄ１ｈと垂直方向高周波数成分画像Ｄ１ｖとで高周波数成分画像Ｄ１が構成されている。
【００３０】
画像拡大手段２Ｂは、水平方向高周波数成分画像Ｄ１ｈを拡大した拡大画像Ｄ２Ｂｈを生成する画像拡大手段２Ｂｈ及び垂直方向高周波数成分画像Ｄ１ｖを拡大した拡大画像Ｄ２Ｂｖを生成する画像拡大手段２Ｂｖを備える。拡大画像Ｄ２Ｂｈと拡大画像Ｄ２Ｂｖとで拡大画像Ｄ２Ｂが構成されている。
【００３１】
画像拡大手段２Ａが水平方向及び垂直方向の両方向に拡大を行なう場合、画像拡大手段２Ｂｈは、水平方向高周波数成分画像Ｄ１ｈを水平方向及び垂直方向の両方向に拡大し、画像拡大手段２Ｂｖは、垂直方向高周波数成分画像Ｄ１ｖを水平方向及び垂直方向の両方向に拡大する。画像拡大手段２Ｂｈ及び２Ｂｖによる、水平方向高周波数成分画像Ｄ１ｈ及び垂直方向高周波数成分画像Ｄ１ｖの拡大は、画像拡大手段２Ａによる拡大と水平方向及び垂直方向の各々について同じ倍率で行なわれる。
【００３２】
高周波数成分画像処理手段３は、第１の補正成分生成手段３Ａと、第２の補正成分生成手段３Ｂと、加算手段３４を備えている。第１の補正成分生成手段３Ａは、高周波数成分画像生成手段３２Ａと、高周波数成分画像補正手段３３Ａとを備え、第２の補正成分生成手段３Ｂは、非線形処理画像生成手段３０と、高周波数成分画像補正手段３３Ｂとを備える。
【００３３】
高周波数成分画像生成手段３２Ａは、拡大画像Ｄ２Ｂの高周波数成分（所定の周波数Ｆｄよりも高い成分）を取り出して中間画像（高周波数成分画像）Ｄ３２Ａを出力するものであり、拡大画像Ｄ２Ｂｈに含まれる水平方向の高周波数成分のみを取り出した水平方向中間画像Ｄ３２Ａｈを生成する水平方向高周波数成分画像生成手段３２Ａｈと、拡大画像Ｄ２Ｂｖの垂直方向の高周波数成分のみを取り出した垂直方向中間画像Ｄ３２Ａｖを生成する垂直方向高周波数成分画像生成手段３２Ａｖを備え、高周波数成分画像生成手段３２Ａからは、水平方向中間画像Ｄ３２Ａｈと垂直方向中間画像Ｄ３２Ａｖから成る中間画像Ｄ３２Ａが出力される。
【００３４】
非線形処理画像生成手段（エッジ鮮鋭化画像生成手段）３０は、拡大画像Ｄ２Ｂに対して非線形処理を含む処理を行った中間画像（エッジ鮮鋭化画像）Ｄ３２Ｂを出力するものであり、非線形処理手段３１、及び高周波数成分画像生成手段３２Ｂを備える。
非線形処理手段３１は、拡大画像Ｄ２Ｂに対して後述するエッジの鮮鋭化のための非線形処理を行った非線形処理画像Ｄ３１を生成する。
高周波数成分画像生成手段３２Ｂは非線形処理画像Ｄ３１に含まれる高周波数成分（所定の周波数Ｆｆよりも高い成分）を取り出した中間画像Ｄ３２Ｂを出力する。
【００３５】
非線形処理手段３１は、拡大画像Ｄ２Ｂｈに対して非線形処理した非線形処理画像Ｄ３１ｈを生成する水平方向非線形処理手段３１ｈと、拡大画像Ｄ２Ｂｖに対して非線形処理した非線形処理画像Ｄ３１ｖを生成する垂直方向非線形処理手段３１ｖを備えており、非線形処理画像Ｄ３１は非線形処理画像Ｄ３１ｈと非線形処理画像Ｄ３１ｖから成る。
【００３６】
高周波数成分画像生成手段３２Ｂは、非線形処理画像Ｄ３１ｈから高周波数成分を取り出し、水平方向中間画像Ｄ３２Ｂｈを生成する水平方向高周波数成分画像生成手段３２Ｂｈと、非線形処理画像Ｄ３１ｖから高周波数成分を取り出し、垂直方向中間画像Ｄ３２Ｂｖを生成する垂直方向高周波数成分画像生成手段３２Ｂｖを備え、中間画像Ｄ３２Ｂは水平方向中間画像Ｄ３２Ｂｈと垂直方向中間画像Ｄ３２Ｂｖから成る。
【００３７】
高周波数成分画像補正手段３３Ａは、輝度色差加算画像Ｄ５と中間画像Ｄ３２Ａとを入力とし、中間画像Ｄ３２Ａを輝度色差加算画像Ｄ５の画素値に応じて求められる増幅率によって増幅した中間画像（補正画像）Ｄ３３Ａを出力するものであり、水平方向中間画像Ｄ３２Ａｈに対して補正処理を行って、水平方向中間画像Ｄ３３Ａｈを生成する水平方向高周波数成分画像補正手段３３Ａｈと、垂直方向中間画像Ｄ３２Ａｖに対して補正処理を行って、垂直方向中間画像Ｄ３３Ａｖを生成する垂直方向高周波数成分画像補正手段３３Ａｖを備える。水平方向中間画像Ｄ３３Ａｈと垂直方向中間画像Ｄ３３Ａｖとで中間画像Ｄ３３が構成される。
【００３８】
高周波数成分画像補正手段３３Ｂは、輝度色差加算画像Ｄ５と中間画像Ｄ３２Ｂとを入力とし、中間画像Ｄ３２Ｂを輝度色差加算画像Ｄ５の画素値に応じて求められる増幅率によって増幅した中間画像（補正画像）Ｄ３３Ｂを出力するものであり、水平方向中間画像３２Ｂｈに対して補正処理を行って、水平方向中間画像Ｄ３３Ｂｈを生成する水平方向高周波数成分画像補正手段３３Ｂｈと、垂直方向中間画像３２Ｂｖに対して補正処理を行って垂直方向中間画像Ｄ３３Ｂｖを生成する垂直方向高周波数成分画像補正手段３３Ｂｖを備える。水平方向中間画像Ｄ３３Ｂｈと垂直方向中間画像Ｄ３３Ｂｖとで中間画像Ｄ３３Ｂが構成される。
【００３９】
加算手段３４は、中間画像Ｄ３３Ａと中間画像Ｄ３３Ｂを加算し、高周波数成分画像Ｄ３を出力する。
【００４０】
以下、輝度画像拡大手段６において、入力画像Ｄｉｎを水平方向、垂直方向ともに２倍に拡大した拡大画像Ｄｏｕｔを生成する場合を例にし、各構成要素の動作をさらに詳細に説明する。
【００４１】
まず、画像拡大手段２Ａの動作について説明する。画像拡大手段２Ａは入力画像Ｄｉｎを水平方向、垂直方向ともに２倍に拡大した拡大画像Ｄ２Ａを生成する。図４（ａ）〜（ｄ）は画像拡大手段２Ａにおける拡大画像Ｄ２Ａの生成手順の一例を模式的に示した図であり、図５は画像拡大手段２Ａの一例を示した図である。
【００４２】
画像拡大手段２Ａは、ゼロ挿入手段２１Ａと、低周波数成分通過手段２２Ａを備える。以下、図４（ａ）〜（ｄ）を用いてゼロ挿入手段２１Ａ及び低周波数成分通過手段２２Ａの動作を説明する。図４（ａ）は入力画像Ｄｉｎ（特に画像の一部を構成する画素の配列）を、図４（ｂ）はゼロ挿入手段２１Ａで生成されるゼロ挿入画像Ｄ２１Ａを、図４（ｃ）は低周波数成分通過手段２２Ａにおいて拡大画像Ｄ２Ａを生成する際使用されるフィルタ係数を、図４（ｄ）は低周波数成分通過手段２２Ａで生成された拡大画像Ｄ２Ａを表す。図４（ａ）、（ｂ）、（ｄ）には画素の位置に対応させて水平座標Ｘ、垂直座標Ｙを記載している。
【００４３】
ゼロ挿入手段２１Ａでは入力画像Ｄｉｎに対して画素値０をもつ画素を水平方向には（入力画像Ｄｉｎの）１画素につき１個（隣り合う２つの画素相互間に１個）、垂直方向には（入力画像Ｄｉｎの）１ラインにつき１本（隣り合う２本のライン相互間に１本）を挿入したゼロ挿入画像Ｄ２１Ａを生成する。
「ＰＸＹ」が入力画像Ｄｉｎの座標（Ｘ，Ｙ）における画素の画素値を表し、「Ｐ’ＸＹ」がゼロ挿入画像Ｄ２１Ａの座標（Ｘ，Ｙ）の画素の画素値を表すとすると、ゼロ挿入画像Ｄ２１Ａの、Ｐ’（２Ｘ−１）（２Ｙ−１）で表わされる画素値は、入力画像ＤｉｎのＰＸＹに等しく、Ｐ’（２Ｘ−１）（２Ｙ）、Ｐ’（２Ｘ）（２Ｙ）、Ｐ’（２Ｘ）（２Ｙ−１）で表わされる画素値は、ゼロに等しい。
【００４４】
低周波数成分通過手段２２Ａではゼロ挿入画像Ｄ２１Ａに対し、図４（ｃ）に示されたフィルタ係数で表されたフィルタ演算を行うことで、図４（ｄ）に示される拡大画像Ｄ２Ａを生成する。
例えば、拡大画像Ｄ２Ａに含まれる、座標（Ｘ，Ｙ）の画素の画素値ＱＸＹは下記の式（４）のように計算される。
【００４５】
ＱＸＹ＝（４／１６）×
｛Ｐ’（Ｘ−１）（Ｙ−１）＋２Ｐ’Ｘ（Ｙ−１）＋ Ｐ’（Ｘ＋１）（Ｙ−１）
＋２Ｐ’（Ｘ−１）Ｙ＋４Ｐ’ＸＹ＋２Ｐ’（Ｘ＋１）Ｙ
＋Ｐ’（Ｘ−１）（Ｙ＋１）＋２Ｐ’Ｘ（Ｙ＋１）＋Ｐ’（Ｘ＋１）（Ｙ＋１）｝
…（４）
【００４６】
なお、図４（ｃ）で表されるフィルタ係数はローパスフィルタを表すので、式（４）で表される低周波数成分通過手段２２Ａにおける処理はゼロ挿入画像Ｄ２１Ａの低周波数成分（所定の周波数Ｆａ以下の成分）を取り出すことに対応する。
【００４７】
また、式（４）において
Ｐ’（Ｘ−１）（Ｙ−１）、２Ｐ’Ｘ（Ｙ−１）、Ｐ’（Ｘ＋１）（Ｙ−１）、２Ｐ’（Ｘ−１）Ｙ、Ｐ’ＸＹ、２Ｐ’（Ｘ＋１）Ｙ、Ｐ’（Ｘ−１）（Ｙ＋１）、Ｐ’Ｘ（Ｙ＋１）、Ｐ’（Ｘ＋１）（Ｙ＋１）
のうちいくつかはその値が０であり、それ以外は入力画像Ｄｉｎの画素値そのものになる。従って拡大処理は入力画像Ｄｉｎにおいて注目する画素の近傍の画素値を加重加算する処理と同じである。
【００４８】
次に水平方向高周波数成分画像生成手段１ｈ及び垂直方向高周波数成分画像生成手段１ｖの動作について説明する。
水平方向高周波数成分画像生成手段１ｈは入力画像Ｄｉｎに対して、入力画像Ｄｉｎの各画素及びその水平方向近傍にある、例えば所定数の画素を用いたハイパスフィルタをかけて水平方向高周波数成分画像Ｄ１ｈを生成する。
一方、垂直方向高周波数成分画像生成手段１ｈは入力画像Ｄｉｎに対して、入力画像Ｄｉｎの各画素及びその垂直方向近傍にある、例えば所定数の画素を用いたハイパスフィルタをかけて垂直方向高周波数成分画像Ｄ１ｖを生成する。
【００４９】
ハイパスフィルタをかけることは高周波数成分を取り出すことに対応し、水平方向高周波数成分画像Ｄ１ｈには、入力画像Ｄｉｎの水平方向の高周波数成分（所定の水平周波数よりも高い成分から成る）が含まれ、垂直方向高周波数成分画像Ｄ１ｖには、入力画像Ｄｉｎの垂直方向の高周波数成分（所定の垂直方向周波数よりも高い成分から成る）が含まれる。
【００５０】
水平方向高周波数成分画像生成手段１ｈで行なわれるハイパスフィルタをかける処理としては、例えば、該手段１ｈへの入力信号からその水平方向の低周波数成分（もしくは各画素に対して水平方向に整列した所定数の画素から成る局所領域における画素値の単純平均値あるいは加重平均値）を差し引くことで高周波数成分を取り出す処理を行なうことができる。
同様に、垂直方向高周波数成分画像生成手段１ｖで行なわれるハイパスフィルタをかける処理としては、例えば、該手段１ｖへの入力信号からその垂直方向の低周波数成分（もしくは各画素に対して垂直方向に整列した所定数の画素から成る局所領域における画素値の単純平均値あるいは加重平均値）を差し引くことで高周波数成分を取り出す処理を行なうことができる。
【００５１】
次に画像拡大手段２Ｂｈ及び２Ｂｖの動作について説明する。画像拡大手段２Ｂｈは水平方向高周波数成分画像Ｄ１ｈを水平方向、垂直方向とも２倍に拡大した拡大画像Ｄ２Ｂｈを生成し、画像拡大手段２Ｂｖは垂直方向高周波数成分画像Ｄ１ｖを水平方向、垂直方向とも２倍に拡大した拡大画像Ｄ２Ｂｖを生成する。
【００５２】
画像拡大手段２Ｂｈ及び画像拡大手段２Ｂｖの各々は、図５を参照して説明した画像拡大手段２Ａと同様に構成することができる。従って、画像拡大手段２Ｂｈと画像拡大手段２Ｂｖとで構成される画像拡大手段２Ｂは図６のように示すことができる。
画像拡大手段２Ｂｈの入力は水平方向高周波数成分画像Ｄ１ｈであり、出力が拡大画像Ｄ２Ｂｈとなる。画像拡大手段２Ｂｖの入力は垂直方向高周波数成分画像Ｄ１ｖであり、出力が拡大画像Ｄ２Ｂｖである。
【００５３】
画像拡大手段２Ｂｈは、ゼロ挿入手段２１Ｂｈと、低周波数成分通過手段２２Ｂｈとを備え、画像拡大手段２Ｂｖは、ゼロ挿入手段２１Ｂｖと、低周波数成分通過手段２２Ｂｖとを備える。
ゼロ挿入手段２１Ｂｈ及びゼロ挿入手段２１Ｂｖの各々は、図５のゼロ挿入手段２１Ａと同様のものであり、低周波数成分通過手段２２Ｂｈ及び低周波数成分通過手段２２Ｂｖの各々は、図５の低周波数成分通過手段２２Ａと同様のものである。
【００５４】
ゼロ挿入手段２１Ｂｈから出力されるゼロ挿入画像Ｄ２１Ｂｈとゼロ挿入手段２１Ｂｖから出力されるゼロ挿入画像Ｄ２１Ｂｖとで、ゼロ挿入手段２１Ｂの出力としてのゼロ挿入画像Ｄ２１Ｂが構成される。
低周波数成分通過手段２２Ｂｈから出力される拡大画像Ｄ２Ｂｈと低周波数成分通過手段２２Ｂｖから出力される拡大画像Ｄ２Ｂｖとで、低周波数成分通過手段２２Ｂの出力としての拡大画像Ｄ２Ｂが構成される。低周波数成分通過手段２２Ｂの出力は、ゼロ挿入画像Ｄ２１Ｂの低周波数成分（Ｆｃ以下の成分）を取り出したものである。
【００５５】
次に高周波数成分画像生成手段３２Ａの動作について説明する。
水平方向高周波数成分画像生成手段３２Ａｈは、拡大画像Ｄ２Ｂｈに水平方向のハイパスフィルタをかけて所定の水平方向周波数以上の成分から成る、高周波数成分を取り出し、水平方向中間画像Ｄ３２Ａｈを生成する。
一方、垂直方向高周波数成分画像生成手段３２Ａｖは、拡大画像Ｄ２Ｂｖに垂直方向のハイパスフィルタをかけて所定の垂直方向周波数以上の成分から成る、高周波数成分を取り出し、垂直方向中間画像Ｄ３２Ａｖを生成する。
そして水平方向中間画像Ｄ３２Ａｈと垂直方向中間画像Ｄ３２Ａｖから成る中間画像Ｄ３２Ａが高周波数成分画像生成手段３２Ａから出力される。
【００５６】
水平方向高周波数成分画像生成手段３２Ａｈで行なわれるハイパスフィルタをかける処理は、水平方向高周波数成分画像生成手段１ｈにおける処理と同様に行ない、垂直方向高周波数成分画像生成手段３２Ａｖで行なわれるハイパスフィルタをかける処理は、垂直方向高周波数成分画像生成手段１ｖにおける処理と同様に行なうことができる。
即ち、水平方向高周波数成分画像生成手段３２Ａｈで行なわれるハイパスフィルタをかける処理としては、水平方向高周波数成分画像生成手段１ｈにおける処理と同様に、例えば、該手段３２Ａｈへの入力信号からその水平方向の低周波数成分（もしくは各画素に対して水平方向に整列した所定数の画素から成る局所領域における画素値の単純平均値あるいは加重平均値）を差し引くことで高周波数成分を取り出す処理を行なうことができる。
【００５７】
同様に、垂直方向高周波数成分画像生成手段３２Ａｖで行なわれるハイパスフィルタをかける処理としては、例えば、該手段３２Ａｖへの入力信号からその垂直方向の低周波数成分（もしくは各画素に対して垂直方向に整列した所定数の画素から成る局所領域における画素値の単純平均値あるいは加重平均値）を差し引くことで高周波数成分を取り出す処理を行なうことができる。
【００５８】
次に非線形処理手段３１の動作について説明する。非線形処理手段３１は、水平方向非線形処理手段３１ｈと、垂直方向非線形処理手段３１ｖを備える。水平方向非線形処理手段３１ｈと垂直方向非線形処理手段３１ｖとは互いに同様に構成されている。但し、水平方向非線形処理手段３１ｈは水平方向の処理を行ない、垂直方向非線形処理手段３１ｖは垂直方向の処理を行なう。
【００５９】
図７は水平方向非線形処理手段３１ｈの内部構成を表す図である。図示の水平方向非線形処理手段３１ｈは、ゼロクロス判定手段３１１ｈと、信号増幅手段３１２ｈを備える。
【００６０】
ゼロクロス判定手段３１１ｈは、入力される拡大画像Ｄ２Ｂｈにおける画素値の変化を水平方向に沿って確認する。そして画素値が正の値から負の値あるいは負の値から正の値に変化する箇所をゼロクロス点として捉え、信号Ｄ３１１ｈによってゼロクロス点の前後にある画素（図示の例では、直前及び直後の各１画素）の位置を信号増幅手段３１２ｈに伝達する。
なお、水平方向非線形処理手段３１ｈではゼロクロス点の左右に位置する画素がゼロクロス点の前後にある画素として認識される。
【００６１】
水平方向信号増幅手段３１２ｈは、水平方向ゼロクロス判定手段３１１ｈの判定結果に応じて決められる増幅率で拡大画像Ｄ２Ｂｈの画素値を増幅する。具体的には、信号増幅手段３１２ｈは、信号Ｄ３１１ｈをもとにゼロクロス点の前後にある画素（ゼロクロス点を含む所定の領域内に存在する画素）を特定し、ゼロクロス点の前後にある画素についてのみその画素値を増幅させた（絶対値を大きくした）非線形処理画像Ｄ３１ｈを生成する。すなわちゼロクロス点の前後にある画素の画素値に対する増幅率を１より大きな値とし、それ以外の画素の画素値に対する増幅率は１とする。
このような処理により、水平方向に並んだ画素の信号値のステップ状の変化を含むエッジの鮮鋭化が行なわれる。
【００６２】
図８は垂直方向非線形処理手段３１ｖの内部構成を表す図である。図示の垂直方向非線形処理手段３１ｖは、ゼロクロス判定手段３１１ｖと、信号増幅手段３１２ｖを備える。
【００６３】
ゼロクロス判定手段３１１ｖは、入力される拡大画像Ｄ２Ｂｖにおける画素値の変化を垂直方向に沿って確認する。そして画素値が正の値から負の値あるいは負の値から正の値に変化する箇所をゼロクロス点として捉え、信号Ｄ３１１ｖによってゼロクロス点の前後にある画素（図示の例では、直前及び直後の各１画素）の位置を信号増幅手段３１２ｖに伝達する。
なお、垂直方向非線形処理手段３１ｖではゼロクロス点の上下に位置する画素がゼロクロス点の前後にある画素として認識される。
【００６４】
垂直方向信号増幅手段３１２ｖは、垂直方向ゼロクロス判定手段３１１ｖの判定結果に応じて決められる増幅率で拡大画像Ｄ２Ｂｖの画素値を増幅する。具体的には、信号増幅手段３１２ｖは、信号Ｄ３１１ｖをもとにゼロクロス点の前後にある画素（ゼロクロス点を含む所定の領域内に存在する画素）を特定し、ゼロクロス点の前後にある画素についてのみその画素値を増幅させた（絶対値を大きくした）非線形処理画像Ｄ３１ｖを生成する。すなわちゼロクロス点の前後にある画素の画素値に対する増幅率を１より大きな値とし、それ以外の画素の画素値に対する増幅率は１とする。
このような処理により、垂直方向に並んだ画素の信号値のステップ状の変化を含むエッジの鮮鋭化が行なわれる。
【００６５】
なお、図示の例では、ゼロクロス点の直前及び直後の各々１個ずつの画素についてのみ、画素値を増幅させているが、ゼロクロス点の前及び後の所定数の画素、言い換えると、ゼロクロス点を含む所定の領域内に存在する画素について、画素値を増幅させることとしても良い。また上記「所定の領域」の大きさ（所定の領域に含まれる画素の数）を画像拡大手段２Ｂにおける画像の拡大率に応じて変える（拡大率に対して適切な値に定める）こととしても良い。
【００６６】
次に高周波数成分画像生成手段３２Ｂの動作について説明する。
水平方向高周波数成分画像生成手段３２Ｂｈは、非線形処理画像Ｄ３１ｈに水平方向のハイパスフィルタをかけて所定の水平方向周波数以上の成分から成る、高周波数成分を取り出し、水平方向中間画像Ｄ３２Ｂｈを生成する。一方、垂直方向高周波数成分画像生成手段３２Ｂｖは、非線形処理画像Ｄ３１ｖに垂直方向のハイパスフィルタをかけて所定の垂直方向周波数以上の成分から成る、高周波数成分を取り出し、垂直方向中間画像Ｄ３２Ｂｖを生成する。このようにして生成された水平方向中間画像Ｄ３２Ｂｈと垂直方向中間画像Ｄ３２Ｂｖから成る中間画像Ｄ３２Ｂが高周波数成分画像生成手段３２Ｂから出力される。
【００６７】
水平方向高周波数成分画像生成手段３２Ｂｈで行なわれるハイパスフィルタをかける処理は、水平方向高周波数成分画像生成手段１ｈにおける処理と同様に行ない、垂直方向高周波数成分画像生成手段３２Ｂｖで行なわれるハイパスフィルタをかける処理は、垂直方向高周波数成分画像生成手段１ｖにおける処理と同様に行なうことができる。
即ち、水平方向高周波数成分画像生成手段３２Ｂｈで行なわれるハイパスフィルタをかける処理としては、例えば、該手段３２Ｂｈへの入力信号からその水平方向の低周波数成分（もしくは各画素に対して水平方向に整列した所定数の画素から成る局所領域における画素値の単純平均値あるいは加重平均値）を差し引くことで高周波数成分を取り出す処理を行なうことができる。
【００６８】
同様に、垂直方向高周波数成分画像生成手段３２Ｂｖで行なわれるハイパスフィルタをかける処理としては、例えば、該手段３２Ｂｖへの入力信号からその垂直方向の低周波数成分（もしくは各画素に対して垂直方向に整列した所定数の画素から成る局所領域における画素値の単純平均値あるいは加重平均値）を差し引くことで高周波数成分を取り出す処理を行なうことができる。
【００６９】
次に、高周波数成分画像補正手段３３Ａの詳細な動作について説明する。
図９は高周波数成分画像補正手段３３Ａの内部構成を表す図であり、図示の高周波数成分画像補正手段３３Ａは、増幅率計算手段３ＭＡと、画素値増幅手段３ＭＢとを有する。
【００７０】
増幅率計算手段３ＭＡは、輝度色差加算画像Ｄ５の画素値をもとに増幅率Ｄ３ＭＡを決定する。
画素値増幅手段３ＭＢは、増幅率計算手段３ＭＡにより決定された増幅率Ｄ３ＭＡで中間画像Ｄ３２Ａの画素値を増幅し、その結果を中間画像Ｄ３ＭＢとして出力する。高周波数成分画像補正手段３３Ａからは中間画像Ｄ３ＭＢが中間画像Ｄ３３Ａとして出力される。
以上のように増幅率Ｄ３ＭＡによって中間画像Ｄ３２Ａの画素値が増幅されるが、この動作は画素ごとに行われる。すわなち、増幅率計算手段３ＭＡは増幅率Ｄ３ＭＡを中間画像Ｄ３２Ａの各画素値に対して計算する。すなわち、中間画像Ｄ３２Ａにおいて水平座標がｘ、垂直座標がｙで表される画素の画素値は、輝度色差加算画像Ｄ５において水平座標がｘ、垂直座標がｙで表される画素の画素値を用いて計算された増幅率Ｄ３ＭＡでもって増幅される。
【００７１】
図１０を用いて増幅率計算手段３ＭＡの動作についてさらに詳しく説明する。増幅率計算手段３ＭＡは輝度色差加算画像Ｄ５の画素値をもとに増幅率Ｄ３ＭＡを計算する。図１０は増幅率計算手段３ＭＡにおいて計算される増幅率Ｄ３ＭＡの一例を表す。
【００７２】
増幅率Ｄ３ＭＡは、輝度色差加算画像Ｄ５の画素値が大きい場合、小さな値をとる。一例として、傾きｋＭ１、ｋＭ２、ｋＭ３がすべて負の数であるとして、輝度色差加算画像Ｄ５の画素値が０の場合はある所定の値ＧＭｂをとり、画素値が０からある値ＡＭ１の間は傾きｋＭ１で減少していき、画素値がＡＭ１からある値ＡＭ２の間は傾きｋＭ２で減少していき、画素値がＡＭ２以上の場合は傾きｋＭ３で減少していくといった形が考えられる。なお、明らかに増幅率は０以上であった方がよいので、上記の決定において増幅率が負の値になった場合はその値を０とする。
【００７３】
この関係を、増幅率Ｄ３ＭｈをＧ、輝度色差加算画像Ｄ５の画素値をＬとして表すと
【数１】
と表される。
【００７４】
なお、増幅率Ｄ３ＭＡは、輝度色差加算画像Ｄ５の画素値が大きい場合、小さな値となるよう制御することが目的であるので、傾きｋＭ１、ｋＭ２、ｋＭ３の正、負がすべて同じである必要はなく、上記のような制御ができるのであればどのような組み合わせでもよい。さらに言えば、増幅率Ｄ３ＭＡと、輝度色差加算画像Ｄ５の画素値の関係が上記のよう制御することができるのであれば式（５）における各係数のとる値は自由である。また、増幅率Ｄ３ＭＡの求め方も式（５）に制限されるものではない。
以上が増幅率計算手段３ＭＡの動作である。
【００７５】
次に画素値増幅手段３ＭＢは、増幅率Ｄ３ＭＡに基づいて中間画像Ｄ３２Ａの画素値を増幅する。中間画像Ｄ３２Ａは水平方向中間画像Ｄ３２Ａｈと垂直方向中間画像Ｄ３２Ａｖとから成るので、画素値増幅手段３ＭＢは、水平方向中間画像Ｄ３２Ａｈの画素値を増幅するための水平方向画素値増幅手段３ＭＢｈと、垂直方向中間画像Ｄ３２Ａｖの画素値を増幅するための垂直方向画素値増幅手段３ＭＢｖとを有する。
【００７６】
水平方向画素値増幅手段３ＭＢｈは、増幅率Ｄ３ＭＡに基づいて水平方向中間画像Ｄ３２Ａｈの画素値を増幅した画像Ｄ３ＭＢｈを出力し、垂直方向画素値増幅手段３ＭＢｖは、増幅率Ｄ３ＭＡに基づいて垂直方向中間画像Ｄ３２Ａｖの画素値を増幅した画像Ｄ３ＭＢｖを出力する。先にも述べたようにこの動作は画素ごとに行われる。すなわち、水平方向中間画像Ｄ３２Ａｈにおいて水平座標がｘ、垂直座標がｙで表される画素の画素値は、輝度色差加算画像Ｄ５において水平座標がｘ、垂直座標がｙで表される画素の画素値を用いて計算された増幅率Ｄ３ＭＡでもって増幅され、垂直方向中間画像Ｄ３２Ａｖにおいて水平座標がｘ、垂直座標がｙで表される画素の画素値は、輝度色差加算画像Ｄ５において水平座標がｘ、垂直座標がｙで表される画素の画素値を用いて計算された増幅率Ｄ３ＭＡでもって増幅される。そして画素値増幅手段３ＭＢからは画像Ｄ３ＭＢｈ及び画像Ｄ３ＭＢｖが画像Ｄ３ＭＢとして出力される。
【００７７】
そして画像Ｄ３ＭＢが中間画像Ｄ３３Ａとして高周波数成分画像補正手段３３Ａから出力される。中間画像Ｄ３３Ａは画像Ｄ３ＭＢｈに相当する水平方向中間画像Ｄ３３Ａｈと画像Ｄ３ＭＢｖに相当する垂直方向中間画像Ｄ３３Ａｖから成る。
以上が画素値増幅率手段３ＭＢの動作である。
【００７８】
以上が高周波数成分補正手段３３Ａの動作であり、高周波数成分画像補正手段３３Ａでは、輝度色差加算画像Ｄ５の画素値に応じて決められる増幅率（あるいはゲイン、利得）によって、中間画像Ｄ３２Ａに補正が加えられる。
また、増幅率計算手段３ＭＡと水平方向画素値増幅手段３ＭＢｈで水平方向高周波数成分画像補正手段３３Ａｈを構成し、増幅率計算手段３ＭＡと垂直方向画素値増幅手段３ＭＢｖで垂直方向高周波数成分画像補正手段３３Ａｖを構成している。
【００７９】
次に、高周波数成分画像補正手段３３Ｂの詳細な動作について説明する。
図１１は高周波数成分画像補正手段３３Ｂの内部構成を表す図であり、図示の高周波数成分画像補正手段３３Ｂは、増幅率計算手段３ＨＡと、画素値増幅手段３ＨＢとを有する。
【００８０】
増幅率計算手段３ＨＡは、輝度色差加算画像Ｄ５の画素値をもとに増幅率Ｄ３ＨＡを決定する。
画素値増幅手段３ＨＢは、増幅率計算手段３ＨＡにより決定された増幅率Ｄ３ＨＡで中間画像Ｄ３２Ｂの画素値を増幅し、その結果を中間画像Ｄ３ＨＢとして出力する。高周波数成分画像補正手段３３Ｂからは中間画像Ｄ３ＨＢが中間画像Ｄ３３Ｂとして出力される。
以上のように増幅率Ｄ３ＨＡによって中間画像Ｄ３２Ｂの画素値が増幅されるが、この動作は画素ごとに行われる。すわなち、増幅率計算手段３ＨＡは増幅率Ｄ３ＨＡを中間画像Ｄ３２Ｂの各画素値に対して計算する。すなわち、中間画像Ｄ３２Ｂにおいて水平座標がｘ、垂直座標がｙで表される画素の画素値は、輝度色差加算画像Ｄ５において水平座標がｘ、垂直座標がｙで表される画素の画素値を用いて計算された増幅率Ｄ３ＨＡでもって増幅される。
【００８１】
図１２を用いて増幅率計算手段３ＨＡの動作についてさらに詳しく説明する。図１２は増幅率計算手段３ＨＡにおいて計算される増幅率Ｄ３ＨＡの一例を表す。
【００８２】
増幅率Ｄ３ＨＡは、輝度色差加算画像Ｄ５の画素値が大きい場合、小さな値をとる。一例として、傾きｋＨ１、ｋＨ２、ｋＨ３がすべて負の数であるとして、輝度色差加算画像Ｄ５の画素値が０の場合はある所定の値ＧＨｂをとり、画素値が０からある値ＡＨ１の間は傾きｋＨ１で減少していき、画素値がＡＨ１からある値ＡＨ２の間は傾きｋＨ２で減少していき、画素値がＡＨ２以上の場合は傾きｋＨ３で減少していくといった形が考えられる。なお、明らかに増幅率は０以上であった方がよいので、上記の決定において増幅率が負の値になった場合はその値を０とする。
【００８３】
この関係を、増幅率Ｄ３ＨＡをＧ、輝度色差加算画像Ｄ５の画素値をＬとして表すと
【数２】
と表される。
【００８４】
なお、増幅率Ｄ３ＨＡは輝度色差加算画像Ｄ５の画素値が大きい場合、小さな値となるよう制御することが目的であるので、傾きｋＨ１、ｋＨ２、ｋＨ３の正、負がすべて同じである必要はなく、上記のような制御ができるのであればどのような組み合わせでもよい。さらに言えば、増幅率Ｄ３ＨＡと、輝度色差加算画像Ｄ５の画素値の関係が上記のよう制御することができるのであれば式（６）における各係数のとる値は自由である。また、増幅率Ｄ３ＨＡの求め方も式（６）に制限されるものではない。
以上が増幅率計算手段３ＨＡの動作である。
【００８５】
次に画素値増幅手段３ＨＢは、増幅率Ｄ３ＨＡに基づいて中間画像Ｄ３２Ｂの画素値を増幅する。中間画像Ｄ３２Ｂは水平方向中間画像Ｄ３２Ｂｈと垂直方向中間画像Ｄ３２Ｂｖとから成るので、画素値増幅手段３ＨＢは、水平方向中間画像Ｄ３２Ｂｈの画素値を増幅するための水平方向画素値増幅手段３ＨＢｈと、垂直方向中間画像Ｄ３２Ｂｖの画素値を増幅するための垂直方向画素値増幅手段３ＨＢｖとを有する。
【００８６】
水平方向画素値増幅手段３ＨＢｈは、増幅率Ｄ３ＨＡに基づいて水平方向中間画像Ｄ３２Ｂｈの画素値を増幅した画像Ｄ３ＨＢｈを出力し、垂直方向画素値増幅手段３ＨＢｖは、増幅率Ｄ３ＨＡに基づいて垂直方向中間画像Ｄ３２Ｂｖの画素値を増幅した画像Ｄ３ＨＢｖを出力する。先にも述べたようにこの動作は画素ごとに行われる。すなわち、水平方向中間画像Ｄ３２Ｂｈにおいて水平座標がｘ、垂直座標がｙで表される画素の画素値は、輝度色差加算画像Ｄ５において水平座標がｘ、垂直座標がｙで表される画素の画素値を用いて計算された増幅率Ｄ３ＨＡでもって増幅され、垂直方向中間画像Ｄ３２Ｂｖにおいて水平座標がｘ、垂直座標がｙで表される画素の画素値は、輝度色差加算画像Ｄ５において水平座標がｘ、垂直座標がｙで表される画素の画素値を用いて計算された増幅率Ｄ３ＨＡでもって増幅される。そして画素値増幅手段３ＨＢからは画像Ｄ３ＨＢｈ及び画像Ｄ３ＨＢｖが画像Ｄ３ＨＢとして出力される。
【００８７】
そして画像Ｄ３ＨＢが中間画像Ｄ３３Ｂとして高周波数成分画像処理手段３３Ｂから出力される。中間画像Ｄ３３Ｂは画像Ｄ３ＭＢｈに相当する水平方向中間画像Ｄ３３Ｂｈと画像Ｄ３ＨＢｖに相当する垂直方向中間画像Ｄ３３Ｂｖから成る。
以上が画素値増幅率手段３ＨＢの動作である。
【００８８】
以上が高周波数成分補正手段３３Ｂの動作であり、高周波数成分画像補正手段３３Ｂでは、輝度色差加算画像Ｄ５の画素値に応じて決められる増幅率（あるいはゲイン、利得）によって、中間画像Ｄ３２Ｂに補正が加えられる。
【００８９】
次に加算手段３４の動作について説明する。加算手段３４は、中間画像Ｄ３３Ａと中間画像Ｄ３３Ｂを加算した結果を高周波数成分画像Ｄ３として出力する。
また、増幅率計算手段３ＨＡと水平方向画素値増幅手段３ＨＢｈで水平方向高周波数成分画像補正手段３３Ｂｈを構成し、増幅率計算手段３ＨＡと垂直方向画素値増幅手段３ＨＢｖで垂直方向高周波数成分画像補正手段３３Ｂｖを構成している。
【００９０】
ここで中間画像Ｄ３３Ａは水平方向中間画像Ｄ３３Ａｈ及び垂直方向中間画像Ｄ３３Ａｖから成り、中間画像Ｄ３３Ｂは水平方向中間画像Ｄ３３Ｂｈ及び垂直方向中間画像Ｄ３３Ｂｖから成るので、中間画像Ｄ３３Ａと中間画像Ｄ３３Ｂを加算するとは、水平方向中間画像Ｄ３３Ａｈ、垂直方向中間画像Ｄ３３Ａｖ、水平方向中間画像Ｄ３３Ｂｈ、垂直方向中間画像Ｄ３３Ｂｖを加算することを意味する。なおここでの加算処理は、単純加算に限らず、各画像に個別の重みを付けて加算する処理であっても良い。
【００９１】
最後に加算手段４の動作について説明する。加算手段４は、拡大画像Ｄ２Ａと高周波数成分画像Ｄ３を加算する。そして加算手段４において拡大画像Ｄ２Ａと高周波数成分画像Ｄ３を加算した結果得られた画像が、最終的な拡大画像Ｄｏｕｔとして輝度画像拡大手段６から出力される。なおここでの加算処理は、単純加算に限らず、各画像に個別の重みを付けて加算する処理であっても良い。
【００９２】
以下、本発明における画像処理装置の作用、効果について説明する。
まず、輝度画像拡大手段６の作用、効果から説明する。
本発明の実施の形態では、中間画像Ｄ３２Ａ及びＤ３２Ｂをそのまま加算して高周波数成分画像Ｄ３を生成して拡大画像Ｄ２Ａに加算するわけではなく、中間画像Ｄ３２Ａ及びＤ３２Ｂを高周波数成分画像補正手段３３Ａ及び３３Ｂで補正した後に加算して高周波数成分画像Ｄ３を生成して、拡大画像Ｄ２Ａに加算しているが、
以下、仮に中間画像Ｄ３２Ａ及びＤ３２Ｂをそのまま加算し高周波数成分画像Ｄ３を生成して、拡大画像Ｄ２Ａに加算した場合に得られる効果について説明し、その後で、中間画像Ｄ３２Ａ及びＤ３２Ｂの代わりに、中間画像Ｄ３３Ａ及びＤ３３Ｂを加算することによる効果について説明する。
【００９３】
拡大画像Ｄ２Ａは、入力画像Ｄｉｎのナイキスト周波数Ｆｎより低い周波数に相当する周波数成分を含み、高周波数成分画像Ｄ３は入力画像Ｄｉｎのナイキスト周波数Ｆｎ以上の周波数に相当する周波数成分を含む。従って、拡大画像Ｄ２Ａと高周波数成分画像Ｄ３を加算して生成される拡大画像Ｄｏｕｔは画像拡大後のナイキスト周波数に至る全ての周波数領域にわたって周波数成分を持つことになる。
【００９４】
まず、拡大画像Ｄ２Ａが入力画像Ｄｉｎのナイキスト周波数Ｆｎより低い周波数に相当する周波数成分を持つことについて説明する。
【００９５】
図１３（ａ）〜（ｄ）は入力画像Ｄｉｎから拡大画像Ｄ２Ａを生成する際の作用を模式的に表した図であり、図１３（ａ）は入力画像Ｄｉｎの周波数スペクトルを、図１３（ｂ）はゼロ挿入画像Ｄ２１Ａの周波数スペクトルを、図１３（ｃ）は低周波数成分通過手段２２Ａの周波数応答を、図１３（ｄ）は拡大画像Ｄ２Ａの周波数スペクトルを表している。
【００９６】
入力画像Ｄｉｎの周波数スペクトルについて説明する。入力画像Ｄｉｎからは通常、自然画などが入力されるが、これらの画像のスペクトル強度は周波数空間の原点周辺に集中している。従って入力画像Ｄｉｎの周波数スペクトルは図１３（ａ）のように表すことが出来る。ここで図１３（ａ）の縦軸はスペクトル強度を、横軸は空間周波数を、Ｆｎは入力画像Ｄｉｎのナイキスト周波数を表している。
【００９７】
なお、通常入力画像Ｄｉｎは２次元の画像のため、その周波数スペクトルも２次元の周波数空間で表されるが、その形状は図１３（ａ）に示した周波数スペクトルが原点を中心に等方的に広がったものとなる。従って周波数スペクトルについて説明するためには最低限、１次元分の形状を示せばよく、今後、特に断らない限り、周波数空間の形状は１次元分のみ示して説明を行う。
【００９８】
次にゼロ挿入画像Ｄ２１Ａの周波数スペクトルについて説明する。入力画像Ｄｉｎに対してゼロ挿入手段２１Ａで（入力画像Ｄｉｎの）１画素につき１画素、画素値０を持った画素を挿入することで周波数空間上では周波数Ｆｎを中心にした折り返しが発生する。その結果、ゼロ挿入画像Ｄ２１Ａの周波数スペクトルは図１３（ｂ）のようになる。
【００９９】
次に低周波数成分通過手段２２Ａの周波数応答について説明する。先に述べたように低周波数成分通過手段２２Ａにおける演算はローパスフィルタ処理となっているので、図１３（ｃ）に示すように低周波数成分通過手段２２Ａの周波数応答は、周波数が高くなるほど低くなる。図示の例では、低周波数成分通過手段２２Ａが主に第１の周波数Ｆａ（＝Ｆｎ）以下の周波数成分を通過させるものとしている。
【０１００】
最後に拡大画像Ｄ２Ａの周波数スペクトルについて説明する。図１３（ｂ）に示した周波数スペクトルを持つゼロ挿入画像Ｄ２１Ａが図１３（ｃ）に示した周波数応答を持った低周波数成分通過手段２２Ａを通ることで拡大画像Ｄ２Ａが生成される。従って拡大画像Ｄ２Ａの周波数スペクトルはゼロ挿入画像Ｄ２１Ａの周波数スペクトルから、斜線で示した高周波数側の領域Ｒ２ＡＨが除かれたものとなる。
【０１０１】
従って、拡大画像Ｄ２Ａは主に入力画像Ｄｉｎのナイキスト周波数Ｆｎより低い周波数に相当する周波数成分を持つことになる。
【０１０２】
次に高周波数成分画像Ｄ３が主に入力画像Ｄｉｎのナイキスト周波数Ｆｎ以上の周波数に相当する周波数成分を持つことについて説明する。仮に高周波数成分画像補正手段３３Ａ及び３３Ｂによる補正を行わないとすれば、高周波数成分画像Ｄ３は中間画像Ｄ３２Ａと中間画像Ｄ３２Ｂを加算して得られるが、中間画像Ｄ３２Ａは特に入力画像Ｄｉｎのナイキスト周波数Ｆｎに近い周波数に相当する周波数成分を持ち、中間画像Ｄ３２Ｂは特に入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に相当する周波数成分を持ち、高周波数成分画像Ｄ３では中間画像Ｄ３２Ａ、Ｄ３２Ｂがもつ周波数成分が加算されるので、入力画像Ｄｉｎのナイキスト周波数Ｆｎ以上の周波数成分を持つことになる。
【０１０３】
まず、中間画像Ｄ３２Ａの周波数スペクトルについて説明する。
図１４（ａ）〜（ｆ）は中間画像Ｄ３２Ａを生成する際の作用を模式的に表した図であり、図１４（ａ）は高周波数成分画像生成手段１の周波数応答を、図１４（ｂ）は高周波数成分画像Ｄ１（又はＤ１ｈ若しくはＤ１ｖ）の周波数スペクトルを、図１４（ｃ）は画像拡大手段２Ｂ内のゼロ挿入手段２１Ｂによって生成されるゼロ挿入画像Ｄ２１Ｂ（又はＤ２１Ｂｈ若しくはＤ２１Ｂｖ）の周波数スペクトルを、図１４（ｄ）は拡大画像Ｄ２Ｂ（又はＤ２Ｂｈ若しくはＤ２Ｂｖ）の周波数スペクトルを、図１４（ｅ）は高周波数成分画像生成手段３２Ａ（又は３２Ａｈ若しくは３２Ａｖ）の周波数応答を、図１４（ｆ）は高周波数成分画像生成手段３２Ａから出力される中間画像Ｄ３２Ａ（又はＤ３２Ａｈ若しくはＤ３２Ａｖ）の周波数スペクトルを表している。
【０１０４】
まず、高周波数成分画像生成手段１の周波数応答及び高周波数成分画像Ｄ１の周波数スペクトルについて説明する。高周波数成分画像生成手段１は入力画像Ｄｉｎのうち、主に所定の周波数Ｆｂ以上の成分を通過させるハイパスフィルタを用いて高周波数成分画像Ｄ１を生成するので、図１４（ａ）に示すように高周波数成分画像生成手段１の周波数応答は、周波数が高くなるほど高くなる。図１３（ａ）に示した周波数スペクトルを持つ入力画像Ｄｉｎが図１４（ａ）に示す周波数応答をもつハイパスフィルタを通過することで高周波数成分画像Ｄ１が得られるので、高周波数成分画像Ｄ１の周波数スペクトルは図１４（ｂ）に示すように周波数が低い領域（周波数Ｆｂよりも低い領域）では小さくなり、周波数が高い領域（周波数Ｆｂ以上の領域）でのみある程度の強度をもつことになる。
【０１０５】
次に画像拡大手段２Ｂ内のゼロ挿入画像Ｄ２１Ｂの周波数スペクトルについて説明する。先に画像拡大手段２Ａのゼロ挿入手段２１Ａについて説明したのと同様に、ゼロ挿入手段２１Ｂによって折り返しが発生するので、画像拡大手段２Ｂ内のゼロ挿入画像Ｄ２１Ｂの周波数スペクトルは図１４（ｃ）のようになる。
【０１０６】
次に拡大画像Ｄ２Ｂの周波数スペクトルについて説明する。
拡大画像Ｄ２Ｂを生成する際、ゼロ挿入画像Ｄ２１Ｂの高周波数成分側の周波数スペクトル（例えば所定の周波数Ｆｃよりも高い領域の成分）が、低周波数成分通過手段２２Ｂによって取り除かれるので、拡大画像Ｄ２Ｂの周波数スペクトルは図１４（ｄ）に示すように高周波数側の領域（周波数Ｆｃよりも高い領域）Ｒ３２ＡＨが取り除かれたものとなる。
【０１０７】
最後に高周波数成分画像生成手段３２Ａの周波数応答及び中間画像Ｄ３２Ａの周波数スペクトルについて説明する。高周波数成分画像生成手段３２Ａは主に所定の周波数Ｆｄ以上の成分を通過させるハイパスフィルタとなっているのでその周波数応答は図１４（ｅ）に示すように周波数が高くなるほど高くなる。中間画像Ｄ３２Ａは、図１４（ｄ）に示した周波数スペクトルをもつ拡大画像Ｄ２Ｂが、図１４（ｅ）に示した周波数応答をもつハイパスフィルタを通過することで生成される。従って中間画像Ｄ３２Ａの周波数応答は図１４（ｆ）に示すように、図１４（ｄ）に示した拡大画像Ｄ２Ｂの周波数スペクトルからさらに低周波数側の領域（周波数Ｆｄよりも低い領域）Ｒ３２ＡＬが取り除かれたものとなる。
【０１０８】
従って中間画像Ｄ３２Ａは主に入力画像Ｄｉｎのナイキスト周波数Ｆｎに近い周波数に相当する周波数成分 (周波数Ｆｄから周波数Ｆｃまでの周波数成分)を持つことになる。
【０１０９】
次に中間画像Ｄ３２Ｂの周波数スペクトルについて説明する。
図１５（ａ）〜（ｃ）は中間画像Ｄ３２Ｂを生成する際の作用を模式的に表した図であり、図１５（ａ）は非線形処理手段３１（又は３１ｈ若しくは３１ｖ）により高周波数成分が生成される様子を、図１５（ｂ）は高周波数成分画像生成手段３２Ｂの周波数応答を、図１５（ｃ）は中間画像Ｄ３２Ｂの周波数スペクトルを表している。
【０１１０】
後述するように、非線形処理画像Ｄ３１には入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に相当する高周波数成分が生成される。図１５（ａ）はその様子を模式的に表した図である。図示の例では、周波数Ｆｅ以上の成分が生成されている。中間画像Ｄ３２Ｂは非線形処理画像Ｄ３１が高周波数成分画像生成手段３２Ｂを通過することで生成される。高周波数成分画像生成手段３２Ｂは主に周波数Ｆｆ以上の成分を通過させるハイパスフィルタでありその周波数応答は図１５（ｂ）に示すように、周波数が高くなるほど高くなっている。従って中間画像Ｄ３２Ｂの周波数スペクトルは図１５（ｃ）に示すように、非線形処理画像Ｄ３１の周波数スペクトルから低周波数側の領域Ｒ３２ＢＬが取り除かれたものとなるので、入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に相当するものとなる。
【０１１１】
図１６（ａ）〜（ｅ）、図１７（ａ）〜（ｆ）を用いて中間画像Ｄ３２Ｂの周波数スペクトルについてより詳しく説明を行う。なお、説明を簡単にするため各々１次元信号として記載した。
【０１１２】
図１６（ａ）〜（ｅ）は、輝度、彩度などの成分値がステップ状に変化する画像（ステップ画像）を表すステップエッジ信号と、該ステップエッジ信号を互いに異なるサンプリング周波数でサンプリングした際に得られる信号及びその高周波数成分信号の信号強度を表している。図１６（ａ）はステップエッジ信号を表す。
【０１１３】
図１６（ｂ）はステップエッジ信号をサンプリング間隔Ｓ１でサンプリングして得られる信号、図１６（ｃ）はステップエッジ信号を間隔Ｓ１でサンプリングして得られる信号の高周波数成分を表し、図１６（ｄ）はステップエッジ信号をサンプリング間隔Ｓ２でサンプリングして得られる信号、図１６（ｅ）はステップエッジ信号を間隔Ｓ１でサンプリングして得られる信号の高周波数成分を表す。
なお、サンプリング間隔Ｓ１はサンプリング間隔Ｓ２より短くなっており、サンプリング間隔を短くすることは画像を拡大することと同じである。
なお、図１６を用いて説明する、ステップエッジ信号に対するサンプリング間隔Ｓ１、Ｓ２と高周波数成分の関係は特定のサンプリング間隔の組み合わせに依存する話ではないが、以下、サンプリング間隔Ｓ２は入力画像Ｄｉｎのサンプリング間隔と同じであり、サンプリング間隔Ｓ１はサンプリング間隔Ｓ２の半分であるとする。
【０１１４】
図１６（ｂ）、（ｃ）及び図１６（ｄ）、（ｅ）に示されるようにエッジの中央は高周波数成分信号（図１６（ｃ）、（ｅ））においてゼロクロス点Ｚとして現れる。また、図１６（ｂ）、（ｃ）と図１６（ｄ）、（ｅ）を比較すると明らかなように、ゼロクロス点Ｚの前後での高周波数成分信号の傾きはサンプリング間隔を短くするにつれて（あるいは画像を拡大させるのに応じて）急になり、かつゼロクロス点Ｚの近傍で高周波数成分の局所的な最大値、最小値を与える点の位置もゼロクロス点Ｚに近づく。
【０１１５】
従って画像を拡大する際、入力画像Ｄｉｎの高周波数成分を取り出し、その変化をゼロクロス近傍で急峻にし、かつゼロクロス近傍で局所的な最大値、最小値を与える点をゼロクロス点に近づけることで入力画像Ｄｉｎの解像度には含まれない（あるいは入力画像Ｄｉｎのナイキスト周波数より高い）高周波数成分を生成し、これによりエッジの鮮鋭化が可能となる。
【０１１６】
図１７（ａ）〜（ｆ）は、高周波数成分画像生成手段１、画像拡大手段２Ｂ、非線形処理手段３１及び高周波数成分画像生成手段３２Ｂによる高周波数成分生成の手順を模式的に表した図であり、図１７（ａ）は輝度、彩度などの成分値がステップ状に変化する画像（ステップ画像）、図１７（ｂ）はステップ画像に対応した入力画像Ｄｉｎ、図１７（ｃ）は高周波数成分画像Ｄ１、図１７（ｄ）は拡大画像Ｄ２Ｂ、図１７（ｅ）は非線形処理画像Ｄ３１、図１７（ｆ）は中間画像Ｄ３２Ｂを表す。
【０１１７】
また、図１７（ａ）〜（ｆ）において座標Ｐ３はエッジ近傍において信号強度が低い値をとる領域（低レベル側）の境界に相当する画素であり、座標Ｐ４は高い値をとる領域（高レベル側）の境界に相当する画素である。
【０１１８】
ステップ画像に対応した入力画像Ｄｉｎ、高周波数成分画像Ｄ１については図１６（ａ）〜（ｅ）で説明した通りであり、その説明は省略し、まず拡大画像Ｄ２Ｂの説明を行う。
なお、高周波数成分画像Ｄ１においてゼロクロス点Ｚ近傍での局所的な最大値は、高レベル側の境界に現われるので座標Ｐ４で表される画素に局所的な最大値が現われ、逆に局所的な最小値は、低レベル側の境界に現われるので座標Ｐ３で表される画素に局所的な最小値が現われる。
【０１１９】
拡大画像Ｄ２Ｂ（又はＤ２Ｂｈ若しくはＤ２Ｂｖ）はゼロ挿入手段２１Ｂで高周波数成分画像Ｄ１に対して（画像Ｄ１の）１画素につき１画素、画素値０をもった画素を挿入した後、低周波数成分通過手段２２Ｂでその低周波数成分を取り出すことで得られる。低周波数成分を取り出すことは高周波数成分画像Ｄ１（図１７（ｃ））について局所領域における平均的な画素値を求めることと同じであり、拡大画像Ｄ２Ｂ（又はＤ２Ｂｈ若しくはＤ２Ｂｖ）は、図１７（ｄ）に示したように、高周波数成分画像Ｄ１とほぼ同じ形をした、サンプリング数の増えた信号となる。
【０１２０】
なお、画像が拡大されるのでゼロクロス点Ｚと座標Ｐ３で表される画素の間に新たに座標Ｐ１で表される画素が、ゼロクロス点Ｚと座標Ｐ４で表される画素の間に新たに座標Ｐ２で表される画素が現われる。また、拡大画像Ｄ２Ｂにおいてもゼロクロス点Ｚ近傍での局所的な最大値は座標Ｐ４で表される画素に、局所的な最小値は座標Ｐ３で表される画素に現われる。
【０１２１】
次に非線形処理画像Ｄ３１の説明を行う。非線形処理画像Ｄ３１は、非線形処理手段３１が拡大画像Ｄ１中のゼロクロス点Ｚを検出し、そのゼロクロス点Ｚの前後の画素の画素値を増幅した結果として出力される。従って非線形処理画像Ｄ３１（又はＤ３１ｈ若しくはＤ３１ｖ）では、座標Ｐ１、Ｐ２で表される画素の画素値が増幅されることになり、非線形処理画像Ｄ３１は図１７（ｅ）に示したような信号となる。
【０１２２】
最後に中間画像Ｄ３２Ｂの説明を行う。中間画像Ｄ３２Ｂ（図１７（ｆ））は非線形処理画像Ｄ３１（図１７(ｅ)）のもつ高周波数成分が高周波数成分画像生成手段３２Ｂにて取り出されたものである。高周波数成分は、入力信号から入力信号の低周波数成分（もしくは局所領域における画素値の単純平均値あるいは加重平均値）を差し引くことで取り出すことができる。
【０１２３】
非線形処理画像Ｄ３１（図１７（ｅ））ではゼロクロス点Ｚの前後の画素（座標Ｐ１、Ｐ２で表される画素）については、その画素値が信号増幅手段３１２ｈ、３１２ｖにて増幅されているため、局所領域における平均的な画素値からの差は大きくなる。一方、ゼロクロス点近傍のその他の画素については、その画素値が増幅されることはないので、局所領域における平均的な画素値からの差は小さな値となる。従って拡大画像Ｄ２Ｂ（図１７（ｄ））と比較すると中間画像Ｄ３２Ｂ（図１７（ｆ））では、ゼロクロス点Ｚの近傍での局所的な最大値、最小値を与える点はそれぞれ座標Ｐ２、Ｐ１で表される画素となり、よりゼロクロス点Ｚへと近づく。また、局所的な最大値、最小値を与える点がゼロクロス点Ｚへと近づいた分、ゼロクロス点近傍での信号の変化も急になる。
【０１２４】
先に説明したようにこれは中間画像Ｄ３２Ｂに、入力画像Ｄｉｎの解像度には含まれない高周波数成分が含まれることを意味する。言い換えると非線形処理手段３１において、拡大画像Ｄ２Ｂのゼロクロス点前後の画素値を増幅することで、入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に対応した高周波数成分を生成したことになる。
【０１２５】
別の観点から説明すれば、拡大画像Ｄ２Ｂに非線形処理を行うことで入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に対応した高周波数成分を生成することが出来る。
【０１２６】
また、中間画像Ｄ３２Ｂは非線形処理手段３１において生成した高周波数成分を高周波数成分画像生成手段３２Ｂで取り出すことで生成されるので、入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に対応した高周波数成分をもつ画像となる。
【０１２７】
拡大画像Ｄ２Ａ、中間画像Ｄ３２Ａ、中間画像Ｄ３２Ｂが持つ周波数成分を図示すると図２０のようになる。拡大画像Ｄ２Ａには主に入力画像Ｄｉｎのナイキスト周波数Ｆｎより低い周波数に相当する領域ＲＬに対応した周波数成分が含まれている。一方、中間画像Ｄ３２Ａには入力画像Ｄｉｎのナイキスト周波数Ｆｎに近い周波数に相当する領域ＲＭに対応した周波数成分が含まれており、中間画像Ｄ３２Ｂには入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に相当する領域ＲＨに対応した周波数成分が含まれている。
【０１２８】
中間画像Ｄ３２Ａと中間画像Ｄ３２Ｂを加算して高周波数成分画像Ｄ３を生成すれば、高周波数成分画像Ｄ３には、中間画像Ｄ３２Ａが持つ周波数成分と中間画像Ｄ３２Ｂが持つ周波数成分の双方が含まれることになる。中間画像Ｄ３２Ａには入力画像Ｄｉｎのナイキスト周波数Ｆｎに近い周波数に相当する周波数成分が含まれており、中間画像Ｄ３２Ｂには入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に相当する周波数成分が含まれているので、高周波数成分画像Ｄ３には入力画像Ｄｉｎのナイキスト周波数Ｆｎ以上の周波数成分が含まれることになる。そして、拡大画像Ｄ２Ａに高周波数成分画像Ｄ３を加算し出力画像Ｄｏｕｔを得ることで、出力画像Ｄｏｕｔに対して入力画像Ｄｉｎのナイキスト周波数Ｆｎ以上の周波数成分を与えることが可能になり、出力画像Ｄｏｕｔの解像感を増すことが出来る。
【０１２９】
図１８（ａ）〜（ｄ）は上記の効果を別の観点から説明するための図である。図１８（ａ）はステップエッジ信号を表している。図１８（ａ）に示すエッジではエッジ中央より左側の方が右側より輝度が低くなっている。すなわち、エッジ中央より左側が低レベル側、右側が高レベル側になる。図１８（ｂ）はステップエッジ信号をサンプリング間隔Ｓ２でサンプリングして得られる入力画像Ｄｉｎを表している。
【０１３０】
図１８（ｃ）は図１８（ｂ）に示す入力画像Ｄｉｎに対して得られる拡大画像Ｄ２Ａを表している。拡大画像Ｄ２Ａは、入力画像Ｄｉｎに対して補間演算を行って得られるので、サンプリング間隔はＳ２の半分のＳ１になるが、エッジ近傍の信号の変化はなだらかなままであり、低レベル側の境界は座標Ｐ３で表される画素であり、高レベル側の境界は座標Ｐ４で表される画素のままである。
【０１３１】
図１８（ｄ）はサンプリング間隔Ｓ１でステップエッジ信号をサンプリングした画像(図１８（ｂ）の画像と同じく符号Ｄｉｎで示す)を表している。低レベル側の境界は座標Ｐ１で表される画素であり、高レベル側の境界は座標Ｐ２で表される画素であり、拡大画像Ｄ２Ａと比較し、エッジ近傍での信号の変化が急になっている。
【０１３２】
中間画像Ｄ３２Ａと中間画像Ｄ３２Ｂを加算することで、拡大画像Ｄ２のエッジ近傍での信号の傾きが補正され、図１８（ｄ）に示すステップエッジ信号をサンプリング間隔Ｓ１でサンプリングした画像に近い画像が得られ、出力輝度画像ＹＯＵＴの解像感を高めることが出来る。
【０１３３】
人間の目はカラー画像の解像感においては輝度成分の与える情報が支配的であるので、上記の説明の様に、中間画像Ｄ３２Ａ、Ｄ３２Ｂ（あるいは高周波数成分）を拡大画像Ｄ２Ａに加算し、出力輝度画像ＹＯＵＴの解像感を増すことで出力カラー画像ＩＭＧＯＵＴにおいても画像の鮮鋭感を増し、画質を向上することが可能であるが、高周波数成分の加算を過度に行うと画質低下を招くことがある。
【０１３４】
図１９（ａ）及び（ｂ）は高周波数成分の加算による画質低下について説明するための図である。図１９（ａ）は高周波数成分の加算を適度に行うことによって、画像の鮮鋭感を増した場合を、図１９（ｂ）は高周波数成分の加算を過度に行った結果、画質の低下を招いた場合を表す。
【０１３５】
図１９（ａ）は、図１８（ｃ）に示された拡大画像Ｄ２Ａに対してこのとき得られる中間画像Ｄ３２Ａ及び中間画像Ｄ３２Ｂを加算した結果を示す図であり、図１８（ｃ）において座標Ｐ３で表されたステップエッジの低輝度側の境界部分が、図１９（ａ）では座標Ｐ１で表される位置へと修正され、図１８（ｃ）において座標Ｐ４で表されたステップエッジの高輝度側の境界部分が、図１９（ａ）では座標Ｐ２で表される位置へと修正され、その結果、図１８（ｃ）と図１９（ａ）を比較すると、図１９（ａ）の方が図１６（ｂ）に示すステップエッジをサンプリング間隔Ｓ１でサンプリングした信号へと近づいていることがわかる。これは高周波数成分の加算を適度に行うことによって、画像の鮮鋭感が増したことを表す。
【０１３６】
一方、図１９（ｂ）も、図１８（ｃ）に示された拡大画像Ｄ２Ａに対して中間画像Ｄ３２Ａ及び中間画像Ｄ３２Ｂを加算した結果を示す図であるが、図１９（ａ）の場合とは異なり、高周波数成分の加算が過度に行われた場合を表している。図１９（ａ）と比較すると座標Ｐ１、Ｐ３で表される位置の輝度がその周辺と比べて不自然に低くなったり（アンダーシュート）、座標Ｐ２、Ｐ４で表される位置の輝度がその周辺と比べて不自然に高くなったり（オーバーシュート）している。以下、オーバーシュートが発生した場合の不具合を考えるとともに、本発明によってそれを如何に防止するかについて述べる。
【０１３７】
出力輝度画像ＹＯＵＴにおいてオーバーシュートが発生すると輝度信号が必要以上に大きくなる。式（２）から、輝度信号（Ｙ）の値が大きくなるとＲＧＢ形式へ変換した場合、Ｒ、Ｇ、Ｂを表す各式の右辺の第１項が大きくなるので、結果的にＲ、Ｇ、Ｂともに大きな値になることがわかる。
【０１３８】
Ｒ、Ｇ、Ｂともに大きな値になるということは白色に近づくことを意味する。白色に近づくとは言い換えれば色が薄くなるということである。もともと無彩色に近い部分で色が薄くなっても相対的に目立たないが、有彩色のエッジ付近で色が薄くなると、エッジの周りのみ色が薄くなり、不自然な感じを与える。
【０１３９】
言い換えると、有彩色の部分に中間画像Ｄ３２Ａや中間画像Ｄ３２Ｂによって加算される輝度の大きさ（以下、補正量）が必要以上に大きくなると、これら画質の低下が発生しやすくなると考えられる。そこで有彩色の部分において補正量が必要以上に大きくならないよう調整すればよいと考えられる。
【０１４０】
その方法として例えば、有彩色かつ中間画像Ｄ３２Ａや中間画像Ｄ３２Ｂによって与えられる補正量が大きくなる部分を検出し、検出された箇所では、中間画像Ｄ３２Ａや中間画像Ｄ３２Ｂによる補正量が小さくなるよう適宜ゲインをかけることで、補正量が必要以上に大きくならないようにする方法が考えられる。
【０１４１】
有彩色であるかどうかは彩度（Ｃｒ、Ｃｂの２乗和の平方根で表すことができる）で判定することができる。即ち、有彩色では彩度は大きな値となる。またＣｒ、Ｃｂの２乗和の平方根はＣｒ、Ｃｂの絶対値の和で近似することが出来る。ＣｒあるいはＣｂの絶対値が大きくなればＣｒ、Ｃｂの２乗和の平方根も大きくなるからである。なお、本実施の形態１ではＣＢ拡大画像Ｄ２ＣがＣｂに対応し、ＣＲ拡大画像Ｄ２ＤがＣｒに対応している。従ってＣＢ拡大画像Ｄ２Ｃの画素値の絶対値あるいはＣＲ拡大画像Ｄ２Ｄの画素値の絶対値が大きい場合、有彩色であると判断できる。また、有彩色であるか否か判断するために、Ｃｒ、Ｃｂの２乗和の平方根を計算するより、絶対値の和を計算する方が簡単であり、回路規模も小さくて済む。
【０１４２】
中間画像Ｄ３２Ａや中間画像Ｄ３２Ｂによって与えられる補正量が大きくなるかどうかは拡大画像Ｄ２Ａの画素値に基づいてある程度判断することが可能である。理由を以下に述べる。
【０１４３】
中間画像Ｄ３２Ａは拡大画像Ｄ２Ｂに対してハイパスフィルタ処理を行うことで生成される。ここでハイパスフィルタ処理は拡大画像Ｄ２Ｂの各画素値から局所的な平均値を引くことに相当する。従って拡大画像Ｄ２Ｂにおいて画素値が大きな正の値である画素は、その画素に対して与えられるハイパスフィルタ処理後の出力値、すなわち中間画像Ｄ３２Ａの画素値も大きな正の値となる可能性が高い。
【０１４４】
一方、拡大画像Ｄ２Ｂは高周波数成分画像Ｄ１を拡大することで生成される。拡大処理は注目する画素近傍の画素値を加重加算することに相当する。
従って拡大画像Ｄ２Ｂの画素値を算出する際、高周波数成分画像Ｄ１内の画素値が大きな正の値である画素を用いる箇所では、拡大画像Ｄ２Ｂの画素値として大きな正の値が得られる可能性が高い。
【０１４５】
高周波数成分画像Ｄ１は入力画像Ｄｉｎにハイパスフィルタ処理を行うことで生成される。ここでハイパスフィルタ処理は各画素値から局所的な平均値を引くことに相当するので、入力画像Ｄｉｎにおいて画素値が大きな正の値である画素は、高周波数成分画像Ｄ１の画素値も大きな正の値になる可能性が高い。
【０１４６】
以上の話を逆から述べると、入力画像Ｄｉｎにおいて、大きな正の値を持った画素があった場合、高周波数成分画像Ｄ１中で同画素に対応する画素の画素値は大きな正の値になる可能性が高い。また、高周波数成分画像Ｄ１において、画素値が大きな正の値である画素があった場合、同画素値をもちいて算出される拡大画像Ｄ２Ｂの画素値も大きな正の値となる可能性が高いので、入力画像Ｄｉｎにおいて、大きな正の値を持った画素があった場合、拡大画像Ｄ２Ｂ上で同画素に対応する位置にある画素も大きな正の値を持つ可能性が高い。さらに、拡大画像Ｄ２Ｂにおいて、画素値が大きな正の値である画素は、その画素に対して与えられるハイパスフィルタ処理後の出力値、すなわち中間画像Ｄ３２Ａの画素値も大きな正の値となる可能性が高いので、入力画像Ｄｉｎにおいて、大きな正の値を持った画素があった場合、中間画像Ｄ３２Ａ上で同画素に対応する位置にある画素も大きな正の値を持つ可能性が高い。
【０１４７】
一方、拡大画像Ｄ２Ａは入力画像Ｄｉｎに拡大処理を行うことで生成される。拡大処理は注目する画素近傍の画素値を加重加算することに相当する。従って拡大画像Ｄ２Ａの画素値を算出する際、入力画像Ｄｉｎ内の画素値が大きいな正の値である画素を用いる箇所では、拡大画像Ｄ２Ａの画素値が大きな正の値になる可能性が高い。また、先に述べた様に、入力画像Ｄｉｎにおいて、大きな正の値を持った画素があった場合、中間画像Ｄ３２Ａ上で同画素に対応する位置にある画素も大きな正の値を持つ可能性が高い。従って入力画像Ｄｉｎにおいて、大きな正の値を持った画素があった場合、中間画像Ｄ３２Ａにおいても、拡大画像Ｄ２Ａにおいても、同画素に対応する位置にある画素は大きな正の値を持つ可能性が高い。
【０１４８】
従って、拡大画像Ｄ２Ａの画素値が大きい場合、中間画像Ｄ３２Ａの画素値も大きな正の値となる可能性が高く、言い換えると中間画像Ｄ３２Ａによって補正量が過度に加算され、オーバーシュートが発生する可能性が高くなる。
【０１４９】
また、中間画像Ｄ３２Ｂは拡大画像Ｄ２Ｂに対し、非線形処理手段２Ａで非線形処理を行った後、高周波数成分画像生成手段３２Ｂにおいてハイパスフィルタ処理を行うことで得られる。非線形処理手段２Ａではゼロクロス点の近傍のみ中間画像Ｄ３２Ａを増幅させるので、基本的に拡大画像Ｄ２Ｂが大きな正の値を持っていると非線形処理手段３１の出力する非線形処理画像Ｄ３１も大きな正の値を持っていると考えられる。非線形処理画像Ｄ３１が大きな正の値を持っている場合、非線形処理画像Ｄ３１に対するハイパスフィルタ処理結果である中間画像Ｄ３２Ｂも大きな正の値をもつ可能性が高い。
【０１５０】
以上をまとめると、拡大画像Ｄ２Ａの画素値が大きい場合、中間画像Ｄ３２Ａや中間画像Ｄ３２Ｂの画素値も大きな正の値となる可能性が高い。言い換えると拡大画像Ｄ２Ａの画素値が大きい場合、中間画像Ｄ３２Ａや中間画像Ｄ３２Ｂによって与えられる補正量が大きくなるとある程度判断することが可能である。
【０１５１】
上記の理由から拡大画像Ｄ２Ａの画素値、ＣＢ拡大画像Ｄ２Ｃの画素値の絶対値、及びＣＲ拡大画像Ｄ２Ｄの画素値の絶対値のいずれかが大きい画素では、有彩色の部分で補正量が大きくなり、ＲＧＢ形式に直した場合に色が薄くなるという不具合が起きうると考えられる。
【０１５２】
また、拡大画像Ｄ２Ａの画素値、ＣＢ拡大画像Ｄ２Ｃの画素値の絶対値、及びＣＲ拡大画像Ｄ２Ｄの画素値の絶対値のいずれかが大きい場合、その加重加算値も大きな値となる。
【０１５３】
そこで本発明は、式（３）により拡大画像Ｄ２Ａの画素値、ＣＢ拡大画像Ｄ２Ｃの画素値の絶対値、及びＣＲ拡大画像Ｄ２Ｄの画素値の絶対値を加重加算し、輝度色差加算画像Ｄ５を生成し、図１０や図１２に示すように輝度色差加算画像Ｄ５の画素値が大きくなるほど中間画像Ｄ３２Ａや中間画像Ｄ３２Ｂにかける増幅率を小さくすることで、有彩色のエッジ付近で色が薄くなるという不具合を回避することとしたものである。
【０１５４】
以上のように実施の形態１による画像処理装置では、エッジ付近で色が薄くなるという不具合の発生を抑えつつ、画像の強調処理を行うことができる。エッジ付近で色が薄くなると視覚特性上不自然に感じられるので、実施の形態１による画像処理装置では、視覚特性上も非常に好ましいものである。
【０１５５】
また、実施の形態１による画像処理装置では、高周波数成分画像補正手段３３Ａ及び高周波数成分画像補正手段３３Ｂにおいて、中間画像Ｄ３２Ａ及び中間画像Ｄ３２Ｂに対する増幅率を決定しているが、その際必要になる情報は拡大画像Ｄ２Ａの画素値、ＣＢ拡大画像Ｄ２Ｃの画素値の絶対値、及び入力ＣＲ拡大画像Ｄ２Ｄの画素値の絶対値の加重加算値のみである。従って簡単な回路で増幅率を決定することが可能であり、回路規模の増加も少なくて済む。
【０１５６】
なお、上記の実施の形態では、高周波数成分画像補正手段３３Ａにおいて、輝度色差加算画像Ｄ５に基づいて増幅率Ｄ３ＭＡを決定するとともに、高周波数成分画像補正手段３３Ｂにおいて、輝度色差加算画像Ｄ５に基づいて増幅率Ｄ３ＨＡを決定することとしているが、高周波数成分画像補正手段３３Ａ及び高周波数成分画像補正手段３３Ｂの一方においてのみ、上記の方法で増幅率を決定することとし、他方においては他の方法で増幅率を決定することとしても良い。
【０１５７】
また、上記の実施の形態では、高周波数成分画像処理手段３が、高周波数成分画像補正手段３３Ａ及び３３Ｂの双方を備えているが、一方のみでも良い。例えば、第２の補正成分生成手段３Ｂが、高周波数成分画像補正手段３３Ｂを備えず、非線形処理画像生成手段３０が出力する中間画像Ｄ３２Ｂを第２の補正成分生成手段３Ｂの出力として用いても良く、第１の補正成分生成手段３Ａが、高周波数成分画像補正手段３３Ａを備えず、高周波数成分画像生成手段３２Ａが出力する中間画像Ｄ３２Ａを第１の補正成分生成手段３Ａの出力として用いても良い。
【０１５８】
以上に説明したように、輝度成分については高周波数成分画像生成手段１で生成した高周波数成分画像Ｄ１を画像拡大手段２Ｂで拡大した画像拡大手段２Ｂを、高周波数成分画像処理手段３で処理することによって、入力画像Ｄｉｎ（あるいは入力輝度画像ＹＩＮ）のナイキスト周波数Ｆｎ以上の周波数に相当する周波数成分を含んだ高周波数成分画像Ｄ３を得ることができる。そして、加算手段４において、入力画像Ｄｉｎのナイキスト周波数Ｆｎより低い周波数に相当する領域の周波数成分を含む拡大画像Ｄ２Ａと入力画像Ｄｉｎのナイキスト周波数Ｆｎ以上の周波数に相当する領域の周波数成分を含む高周波数成分画像Ｄ３を加算して拡大画像Ｄｏｕｔを生成することとしているので、拡大画像Ｄｏｕｔに対して高周波数成分を十分に与えることができ、解像感のある拡大画像Ｄｏｕｔ（あるいは出力輝度画像ＹＯＵＴ）を得ることができる。
【０１５９】
また、高周波数成分画像生成手段１において、水平方向の高周波数成分を取り出した水平方向高周波数成分画像Ｄ１ｈと垂直方向の高周波数成分を取り出した垂直方向高周波数成分画像Ｄ１ｖを生成することで、画像の水平方向、垂直方向のうちの任意の方向について入力画像Ｄｉｎのナイキスト周波数Ｆｎ以上の周波数に相当した周波数成分を生成することが可能となる。すなわち、水平方向高周波数成分画像Ｄ１ｈを画像拡大手段２Ｂｈで拡大した拡大画像Ｄ２Ｂｈに対し、水平方向高周波数成分画像生成手段３２Ａｈで水平方向のハイパスフィルタをかけることで、水平方向に関して入力画像Ｄｉｎのナイキスト周波数Ｆｎに近い周波数に相当した周波数成分をもった中間画像Ｄ３２Ａｈが生成され、垂直方向高周波数成分画像Ｄ１ｖを画像拡大手段２Ｂｖで拡大した拡大画像Ｄ２Ｂｖに対し、垂直方向高周波数成分画像生成手段３２Ａｖで垂直方向のハイパスフィルタをかけることで、垂直方向に関して入力画像Ｄｉｎのナイキスト周波数Ｆｎに近い周波数に相当した周波数成分をもった中間画像Ｄ３２Ａｖが生成される。
【０１６０】
また、水平方向及び垂直方向について異なる特性のハイパスフィルタをかけることで、水平方向と垂直方向とで水平方向と垂直方向とでナイキスト周波数Ｆｎに近い周波数に相当した周波数成分を異なる程度に含むようにすることもできる。
【０１６１】
また、拡大画像Ｄ２Ｂｈに対し水平方向非線形処理手段３１ｈで非線形処理を行って生成した非線形処理画像Ｄ３１ｈに対して、水平方向高周波数成分画像生成手段３２Ｂｈでハイパスフィルタをかけることで、水平方向に関して入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に相当した周波数成分をもった中間画像Ｄ３２Ｂｈが生成され、拡大画像Ｄ２Ｂｖに対し垂直方向非線形処理手段３１ｖで非線形処理を行って生成した非線形処理画像Ｄ３１ｖに対して、垂直方向高周波数成分画像生成手段３２Ｂｖでハイパスフィルタをかけることで、垂直方向に関して入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に相当した周波数成分をもった中間画像Ｄ３２Ｂｖが生成される。
【０１６２】
また、水平方向及び垂直方向について異なる特性の非線形処理及びハイパスフィルタリングを行なうことで、水平方向と垂直方向とでナイキスト周波数Ｆｎより高い周波数に相当した周波数成分を異なる程度に含むようにすることもできる。
【０１６３】
また、中間画像Ｄ３２Ａに対しては、高周波数成分画像補正手段３３Ａにおいて輝度色差加算画像Ｄ５の画素値に応じて補正をかけた中間画像Ｄ３３Ａを生成し、加算手段３４を介して拡大画像Ｄ２Ａに加算することで、エッジ近傍で色が薄くなるのを防止することができる。
【０１６４】
また、中間画像Ｄ３２Ｂに対しては、高周波数成分画像補正手段３３Ｂにおいて輝度色差加算画像Ｄ５の画素値に応じて補正をかけた中間画像Ｄ３３Ｂを生成し、加算手段３４を介して拡大画像Ｄ２Ａに加算することで、エッジ近傍で色が薄くなるのを防止することができる。
【０１６５】
なお、輝度画像拡大手段６において、入力画像Ｄｉｎから拡大画像Ｄｏｕｔを生成する場合の拡大率を水平方向、垂直方向とも２倍として説明を行ったが拡大率は２倍に限定されるものではない。すなわち、画像拡大手段２Ａにおいて入力画像Ｄｉｎを水平方向、垂直方向ともに所望の倍率に拡大した拡大画像Ｄ２Ａを生成し、高周波数成分生成手段１において入力画像Ｄｉｎをもとに高周波数成分画像Ｄ１を生成し、画像拡大手段２Ｂにおいて、高周波数成分画像Ｄ１を水平方向、垂直方向ともに所望の倍率（画像拡大手段２Ａにおける拡大倍率と同じ倍率）に拡大した拡大画像Ｄ２Ｂを生成し、高周波数成分画像処理手段３において拡大画像Ｄ２Ｂをもとに高周波数成分画像Ｄ３を生成し、加算手段４において拡大画像Ｄ２Ａと高周波数成分画像Ｄ３を加算し、最終的な拡大画像Ｄｏｕｔを得ればよい。
さらに、先にも述べたように、水平方向の拡大率と垂直方向の拡大率とは同じでなくても良く、また水平方向、垂直方向の一方についてのみ拡大を行なっても良い。
【０１６６】
また、上記の説明では水平方向、垂直方向ともゼロクロス点の前後１画素についてのみ増幅率を大きくするとしたが、増幅率の制御の例はこの限りではなく、例えば拡大率に応じて適宜変化させる（拡大率に応じた値に設定する）ことも出来る。
【０１６７】
以下、拡大率が上記の例とは異なる場合について、図２１（ａ）〜（ｅ）及び図２２（ａ）〜（ｆ）を参照して説明する。
【０１６８】
図２１（ａ）にステップエッジ信号、図２１（ｂ）にステップエッジ信号をサンプリング間隔Ｓ１でサンプリングして得られる信号、図２１（ｃ）はステップエッジ信号をサンプリング間隔Ｓ１でサンプリングして得られる信号の高周波数成分を表し、図２１（ｄ）はステップエッジ信号を間隔Ｓ１の３倍の間隔Ｓ３でサンプリングして得られる信号、図２１（ｅ）はステップエッジ信号を間隔Ｓ３でサンプリングして得られる信号の高周波数成分を表す。なお、図２１（ｄ）及び（ｅ）において画素の位置ＰＬ１、ＰＲ１はステップエッジ信号の境界（輝度の明暗が変化する地点）を表す。通常、ステップエッジ信号をサンプリングした画像の高周波数成分を表す信号において、ゼロクロス点Ｚ近傍での局所的な最大値、最小値を与える画素の位置は、ステップエッジ信号の境界の位置とほぼ一致する。
【０１６９】
図２２（ａ）〜（ｆ）は、拡大率が３倍の場合の、高周波数成分画像生成手段１、画像拡大手段２Ｂ、非線形処理手段３１及び高周波数成分画像生成手段３２Ｂによる高周波数成分生成の手順を模式的に表した図であり、図２２（ａ）は輝度、彩度などの成分値がステップ状に変化する画像（ステップ画像）、図２２（ｂ）はステップ画像に対応した入力画像Ｄｉｎ、図２２（ｃ）は高周波数成分画像Ｄ１、図２２（ｄ）は拡大画像Ｄ２Ｂ、図２２（ｅ）は非線形処理画像Ｄ３１、図２２（ｆ）は中間画像Ｄ３２Ｂを表す。なお、説明を簡単にするため各々１次元信号として記載した。
【０１７０】
図２２（ｄ）に示すように、拡大画像Ｄ２Ｂにおいてゼロクロス点Ｚ近傍での局所的な最大値、最小値を与える画素の位置ＰＬ１、ＰＲ１は、拡大画像Ｄ２Ｂにおいてもステップエッジ信号の境界の位置とほぼ一致する。通常、本実施の形態の説明で用いた拡大方法ではこのＰＬ１、ＰＲ１の位置は変化せず、ＰＬ１、ＰＲ１で表す位置とゼロクロス点Ｚの間に存在する画素の数が多くなる。また、ＰＬ１、ＰＲ１で表す位置とゼロクロス点Ｚの間に存在する画素の数は拡大画像Ｄ２Ｂを生成する際の拡大率を大きくすれば（あるいはサンプリング間隔を短くすれば）多くなる。
一方、ステップエッジ信号を短いサンプリング間隔でサンプリングした画像の高周波数成分を表す信号では、ゼロクロス点Ｚ近傍での局所的な最大値、最小値を与える画素の位置はよりゼロクロス点Ｚに近づき、ゼロクロス点にＺより近い画素ほど高周波数成分を表す信号の振幅が大きくなる。
【０１７１】
従って、ゼロクロス点Ｚ前後の信号のみ増幅して非線形処理画像Ｄ３１を生成する際に、ＰＬ１及びＰＲ１よりゼロクロス点Ｚにより近い画素になるほど振幅が大きくなるよう処理してやることが好ましく、例えば位置ＰＬ１、ＰＲ１よりゼロクロス点Ｚに近い画素ではゼロクロス点Ｚにより近い画素ほど大きな増幅率で、ＰＬ１、ＰＲ１よりゼロクロス点Ｚから遠い画素については増幅率１で拡大画像Ｄ２Ｂの画素値を増幅することで、図２２（ｅ）に示すような、ゼロクロス点Ｚにより近い画素ほど大きな振幅をもった非線形処理画像Ｄ３１を生成することができる。
そしてこのようにして生成した拡大画像Ｄ２Ｂからハイパスフィルタ処理によって高周波数成分のみを取り出すことで図２２（ｆ）に示すようなサンプリング間隔Ｓ１に対応した中間画像Ｄ３２Ｂを生成できる。
【０１７２】
以上をまとめると、位置ＰＬ１、ＰＲ１とゼロクロス点Ｚの間に存在する画素の数は拡大画像Ｄ２Ｂ生成時の拡大率によって異なるので、拡大画像Ｄ２Ｂから非線形処理画像Ｄ３１を生成する際にゼロクロス点Ｚ前後において増幅率を１より大きくする画素の数を画像の拡大率に応じて変えてもよい。また、これらの画素に対する増幅率も画素に応じて、例えば、ゼロクロス点Ｚからの距離に応じて変えてもよい。たとえば、ゼロクロス点Ｚに近い画素ほど増幅率を大きくしてもよい。
【０１７３】
また、中間画像Ｄ３２Ａと中間画像Ｄ３２Ｂを比較した場合、中間画像Ｄ３２Ｂの方がより高い周波数成分を有しており、図１に記載の高周波数成分画像処理手段３から、高周波数成分画像生成手段３２Ａ、高周波数成分画像補正手段３３Ａを取り除いた構成としても、拡大画像Ｄ２Ａに対して入力輝度画像ＹＩＮのナイキスト周波数Ｆｎ以上の成分を与え、解像感を高めることが出来る。
この場合、例えば、高周波数成分画像処理手段３が非線形処理画像生成手段３０、高周波数成分画像補正手段３３Ｂ、加算手段３４を備え、加算手段３４が水平方向中間画像Ｄ３３Ｂｈ、垂直方向中間画像Ｄ３３Ｂｖを加算した結果を高周波数成分画像Ｄ３として出力する構成とすればよい。
【０１７４】
また、先に説明したように、拡大画像Ｄ２Ｂに非線形処理を行うことで入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に対応した高周波数成分を生成することが出来るので、要するに、高周波数成分画像処理手段３内部で拡大画像Ｄ２Ｂに対して非線形処理を行えればよい。
【０１７５】
なお、上記のように過度のオーバーシュートを防止するために輝度色差加算画像Ｄ５の画素値が大きい場合、小さくなるよう増幅率を制御するのは一例であり、目的に応じて輝度色差加算画像Ｄ５と増幅率の関係は適宜設定できる。たとえば本実施の形態１における画像処理装置のように、輝度成分からハイパスフィルタを用いて高周波数成分を取り出し、それをもとに生成した成分を加算する場合、ハイパスフィルタの通過帯域を通過するようなノイズが入力画像に含まれていると、入力画像によってはノイズが強調される場合があり、このような現象は特に画像の輝度が低い場合に起こりやすい。自然画像において輝度が低い部分は通常無彩色であるので色差信号の絶対値はゼロに近い。従って輝度が低い部分では輝度色差加算画像の画素値の値は小さい。従って、例えば図２３に示すように、輝度色差加算画像Ｄ５の画素値ある程度が小さい場合とある程度大きい場合に増幅率が小さくなるよう設定することも可能である。このようにすることで、画像の低輝度部分ではノイズが強調されるのを防止しつつ、過度のオーバーシュートが発生するのを防止することが可能になる。
【０１７６】
ここで図２３において記号ＧｂはＧＭｂ、ＧＨｂのいずれかに、記号ｋ１〜ｋ３はｋＭ１〜ｋＭ３、ｋＨ１〜ｋＨ３のいずれかに、記号Ａ１、Ａ２はＡＭ１、ＡＭ２、ＡＨ１、ＡＨ２のいずれかに相当する。
【０１７７】
要するに輝度色差加算画像Ｄ５の画素値に応じて中間画像Ｄ３２Ａ、Ｄ３２Ｂにかける増幅率を適宜変更してやることで、様々なアーティファクトを防止することができる。
【０１７８】
また、上記の例では水平方向中間画像Ｄ３２Ａｈ及び垂直方向中間画像Ｄ３２Ａｖには同じ増幅率を用いているが水平方向中間画像Ｄ３２Ａｈ及び垂直方向中間画像Ｄ３２Ａｖに対して異なる増幅率を用いることとしてもよい。
【０１７９】
この場合、例えば、高周波数成分画像補正手段３３Ａが水平方向中間画像Ｄ３２Ａｈに対する増幅率を計算する水平方向増幅率計算手段と垂直方向中間画像Ｄ３２Ａｖに対する増幅率を計算する垂直方向増幅率計算手段を備えた増幅率計算手段と水平方向画素値増幅手段３ＭＢｈと垂直方向画素値増幅手段３ＭＢｖを備えた画素値増幅手段３ＭＢを備える構成とすればよい。さらに水平方向増幅率計算手段、垂直方向増幅率計算手段の少なくとも一方の動作は増幅率計算手段３ＭＡの動作と同様にし、水平方向画素値増幅手段３ＭＢｈが水平方向増幅率計算手段で計算された増幅率でもって水平方向中間画像Ｄ３２Ａｈの各画素値を増幅し、垂直方向画素値増幅手段３ＭＢｖが垂直方向増幅率計算手段で計算された増幅率でもって垂直方向中間画像Ｄ３２Ａｖの各画素値を増幅してやればよい。この際、水平方向増幅率計算手段と水平方向画素値増幅手段３ＭＢｖで水平方向高周波数成分画像補正手段３３Ａｈを形成し、垂直方向増幅率計算手段と垂直方向画素値増幅手段３ＭＢｖで垂直方向高周波数成分画像補正手段３３Ａｖを形成することが出来る。
【０１８０】
また、上記の例では水平方向中間画像Ｄ３２Ｂｈ及び垂直方向中間画像Ｄ３２Ｂｖには同じ増幅率を用いているが水平方向中間画像Ｄ３２Ｂｈ及び垂直方向中間画像Ｄ３２Ｂｖに対して異なる増幅率を用いることとしてもよい。
【０１８１】
この場合、例えば、高周波数成分画像補正手段３３Ｂが水平方向中間画像Ｄ３２Ｂｈに対する増幅率を計算する水平方向増幅率計算手段と垂直方向中間画像Ｄ３２Ｂｖに対する増幅率を計算する垂直方向増幅率計算手段を備えた増幅率計算手段と水平方向画素値増幅手段３ＨＢｈと垂直方向画素値増幅手段３ＨＢｖを備えた画素値増幅手段３ＨＢを備える構成とすればよい。さらに水平方向増幅率計算手段、垂直方向増幅率計算手段の少なくとも一方の動作は増幅率計算手段３ＨＡの動作と同様にし、水平方向画素値増幅手段３ＨＢｈが水平方向増幅率計算手段で計算された増幅率でもって水平方向中間画像Ｄ３２Ｂｈの各画素値を増幅し、垂直方向画素値増幅手段３ＨＢｖが垂直方向増幅率計算手段で計算された増幅率でもって垂直方向中間画像Ｄ３２Ｂｖの各画素値を増幅してやればよい。この際、水平方向増幅率計算手段と水平方向画素値増幅手段３ＨＢｖで水平方向高周波数成分画像補正手段３３Ｂｈを形成し、垂直方向増幅率計算手段と垂直方向画素値増幅手段３ＨＢｖで垂直方向高周波数成分画像補正手段３３Ｂｖを形成することが出来る。
【０１８２】
実施の形態２．
実施の形態１では、本発明をハードウエアにより実現するものとして説明したが、図１に示される構成の一部又は全部をソフトウエアにより、即ちプログラムされたコンピュータにより実現することも可能である。その場合の処理を図２４、並びに図２５〜図３２を参照して説明する。
【０１８３】
図２４は、実施の形態２の画像処理装置を示す。図示の画像処理装置は、ＣＰＵ１１と、プログラムメモリ１２と、データメモリ１３と、これらを接続するバス１４を有する。
ＣＰＵ１１は、プログラムメモリ１２に記憶されたプログラムに従って動作する。動作の過程で種々のデータをデータメモリ１３に記憶させる。処理の結果生成される拡大画像Ｄｏｕｔは、インターフェース１５を介して表示部９に供給され、表示部９による表示に用いられる。
以下、ＣＰＵ１１により行なわれる処理を図２５〜図３２を参照して説明する。
【０１８４】
実施の形態２による画像処理方法は図２４の画像処理装置で実施され、入力カラー画像ＩＭＧＩＮを入力とし、出力カラー画像ＩＭＧＯＵＴを出力とする。入力カラー画像ＩＭＧＩＮはカラー画像であり、輝度成分を表す信号ＹＩＮ（以下、入力輝度画像ＹＩＮと呼ぶ）と色差成分を表す信号ＣＲＩＮ及びＣＢＩＮから成る。信号ＣＲＩＮ（以下、入力ＣＲ画像ＣＲＩＮと呼ぶ）は色差成分のうちＣｒ成分を表し、信号ＣＢＩＮ（以下、入力ＣＢ画像ＣＢＩＮと呼ぶ）は色差成分のうちＣｂ成分を表す。出力カラー画像ＩＭＧＯＵＴもカラー画像であり、輝度成分を表す信号ＹＯＵＴ（以下、出力輝度画像ＹＯＵＴと呼ぶ）と色差成分を表す信号ＣＲＯＵＴ及びＣＢＯＵＴから成る。信号ＣＲＯＵＴ（以下、出力ＣＲ画像ＣＲＯＵＴと呼ぶ）は色差成分のうちＣｒ成分を表し、信号ＣＢＯＵＴ（以下、入力ＣＢ画像ＣＢＯＵＴと呼ぶ）は色差成分のうちＣｂ成分を表す。
【０１８５】
図２５は図２４の画像処理装置で実施される画像処理方法のフローを表す図であり、図２５に示される画像処理方法は、画像拡大ステップＳＴ２Ａ、ＣＢ画像拡大ステップＳＴ２Ｃ、ＣＲ画像拡大ステップＳＴ２Ｄ、高周波数成分画像生成ステップＳＴ１、画像拡大ステップＳＴ２Ｂ、高周波数成分画像処理ステップＳＴ３、及び加算ステップＳＴ４を有する。
【０１８６】
画像拡大ステップＳＴ２Ａは入力輝度画像ＹＩＮを、図１、図３の画像拡大手段２Ａと同様の処理で拡大した拡大画像Ｄ２Ａを生成する。
【０１８７】
ＣＢ画像拡大ステップＳＴ２Ｃは入力ＣＢ画像ＣＢＩＮを拡大したＣＢ拡大画像Ｄ２Ｃを出力する。
【０１８８】
ＣＲ画像拡大ステップＳＴ２Ｄは入力ＣＲ画像ＣＲＩＮを拡大したＣＲ拡大画像Ｄ２Ｄを出力する。
【０１８９】
ＣＢ拡大画像Ｄ２Ｃが出力ＣＲ画像ＣＲＯＵＴとして出力され、ＣＲ拡大画像Ｄ２Ｄが出力ＣＢ画像ＣＢＯＵＴとして出力される。また、出力ＣＲ画像ＣＲＯＵＴ及び出力ＣＢ画像ＣＢＯＵＴは最終的な出力カラー画像ＩＭＧＯＵＴの一部として出力される。
【０１９０】
なお、特別の理由がない限り、画像拡大ステップＳＴ２Ａ、ＣＢ画像拡大ステップＳＴ２Ｃ、及びＣＲ画像拡大ステップＳＴ２Ｄでの拡大率は同じである。
また、ＣＢ画像拡大ステップＳＴ２Ｃ、ＣＲ画像拡大ステップＳＴ２Ｄの動作は画像拡大ステップＳＴ２Ａと同様にすればよい。
【０１９１】
輝度色差加算ステップＳＴ５では拡大画像Ｄ２Ａの画素値及びＣＢ拡大画像Ｄ２Ｃ、ＣＲ拡大画像Ｄ２Ｄの各画素値の絶対値を式（３）に従って加重加算し、その結果を輝度色差加算画像Ｄ５として出力する。この動作は実施の形態１における輝度色差加算手段５と同じである。
【０１９２】
高周波数成分画像生成ステップＳＴ１は、図２６に示すように、水平方向高周波数成分画像生成ステップＳＴ１ｈ、及び垂直方向高周波数成分画像生成ステップＳＴ１ｖを有する。水平方向高周波数成分画像生成ステップＳＴ１ｈでは入力輝度画像ＹＩＮに対し、図３の水平方向高周波数成分画像生成手段１ｈと同様の処理を行い、水平方向高周波数成分画像Ｄ１ｈを生成する。一方、垂直方向高周波数成分画像生成ステップＳＴ１ｖでは入力輝度画像ＹＩＮに対し、図３の垂直方向高周波数成分画像生成手段１ｖと同様の処理を行い、垂直方向高周波数成分画像Ｄ１ｖを生成する。
【０１９３】
画像拡大ステップＳＴ２Ｂは、図２７に示すように、画像拡大ステップＳＴ２Ｂｈ、及び画像拡大ステップＳＴ２Ｂｖを有する。
画像拡大ステップＳＴ２Ｂｈでは、水平方向高周波数成分画像生成ステップＳＴ１ｈで生成した水平方向高周波数成分画像Ｄ１ｈに対し、図３の画像拡大手段２Ｂｈと同様の処理を行い、拡大画像Ｄ２Ｂｈを生成する。
画像拡大ステップＳＴ２Ｂｖでは、垂直方向高周波数成分画像生成ステップＳＴ１ｖで生成した垂直方向高周波数成分画像Ｄ１ｖに対し、図３の画像拡大手段２Ｂｖと同様の処理を行い、拡大画像Ｄ２Ｂｖを生成する。
【０１９４】
なお、特別の理由がない限り、画像拡大ステップＳＴ２Ｂと画像拡大ステップＳＴ２Ａでの拡大率は同じである。
【０１９５】
次に高周波数成分画像処理ステップＳＴ３の動作を説明する。
高周波数成分画像処理ステップＳＴ３は、図２８に示すように、高周波数成分画像生成ステップＳＴ３２Ａ、非線形処理画像生成ステップＳＴ３０、高周波数成分画像補正ステップＳＴ３３Ａ、高周波数成分画像補正ステップＳＴ３３Ｂ、及び加算ステップＳＴ３４を有する。
高周波数成分通過ステップＳＴ３２Ａは、水平方向高周波数成分画像生成ステップＳＴ３２Ａｈ、垂直方向高周波数成分画像生成ステップＳＴ３２Ａｖを有する。
【０１９６】
非線形処理画像生成ステップＳＴ３０は、非線形処理ステップＳＴ３１、高周波数成分画像生成ステップＳＴ３２Ｂを有する。
非線形処理ステップＳＴ３１は水平方向非線形処理ステップＳＴ３１ｈ、及び垂直方向非線形処理ステップＳＴ３１ｖを有する。
高周波数成分画像生成ステップＳＴ３２Ｂは、水平方向高周波数成分画像生成ステップＳＴ３２Ｂｈ、垂直方向高周波数成分画像生成ステップＳＴ３２Ｂｖを有する。
【０１９７】
水平方向高周波数成分通過ステップＳＴ３２Ａｈでは、画像拡大ステップＳＴ２Ｂｈで生成した拡大画像Ｄ２Ｂｈに対し、図３の水平方向高周波数成分画像生成手段３２Ａｈと同様の処理を行い、水平方向中間画像Ｄ３２Ａｈを生成する。垂直方向高周波数成分通過ステップＳＴ３２Ａｖでは、画像拡大ステップＳＴ２Ｂｖで生成した拡大画像Ｄ２Ｂｖに対し、図３の垂直方向高周波数成分画像生成手段３２Ａｖと同様の処理を行い、垂直方向中間画像Ｄ３２Ａｖを生成する。
そして高周波数成分画像生成ステップＳＴ３２Ａでは水平方向中間画像Ｄ３２Ａｈと垂直方向中間画像Ｄ３２Ａｖから成る中間画像Ｄ３２Ａが生成される。
このように、高周波数成分通過ステップＳＴ３２Ａでは、図３の高周波数成分画像生成手段３２Ａと同様の動作が行われる。
【０１９８】
水平方向非線形処理ステップＳＴ３１ｈは、図２９に示すようにゼロクロス判定ステップＳＴ３１１ｈと信号増幅ステップＳＴ３１２ｈを有する。
水平方向非線形処理ステップＳＴ３１ｈの動作は以下のごとくである。
まず、ゼロクロス判定ステップＳＴ３１１ｈで、画像拡大ステップＳＴ２Ｂｈで生成した拡大画像Ｄ２Ｂｈにおける画素値の変化を水平方向に沿って確認する。そして画素値が正の値から負の値あるいは負の値から正の値に変化する箇所をゼロクロス点として捉え、ゼロクロス点の左右に位置する画素を特定する。信号増幅ステップＳＴ３１２ｈでは、拡大画像Ｄ２Ｂｈのうち、ゼロクロス判定ステップＳＴ３１１ｈで特定されたゼロクロス点の左右に位置する画素の画素値を増幅し、その結果得られる画像を非線形処理画像Ｄ３１ｈとして生成する。
【０１９９】
垂直方向非線形処理ステップＳＴ３１ｖは、図３０に示すようにゼロクロス判定ステップＳＴ３１１ｖと信号増幅ステップＳＴ３１２ｖを有する。
垂直方向非線形処理ステップＳＴ３１ｖの動作は以下のごとくである。
まず、ゼロクロス判定ステップＳＴ３１１ｖで、画像拡大ステップＳＴ２Ｂｖで生成した拡大画像Ｄ２Ｂｖにおける画素値の変化を垂直方向に沿って確認する。そして画素値が正の値から負の値あるいは負の値から正の値に変化する箇所をゼロクロス点として捉え、ゼロクロス点の上下に位置する画素を特定する。信号増幅ステップＳＴ３１２ｖでは、拡大画像Ｄ２Ｂｖのうち、ゼロクロス判定ステップＳＴ３１１ｖで特定されたゼロクロス点の上下に位置する画素の画素値を増幅し、その結果得られる画像を非線形処理画像Ｄ３１ｖとして生成する。
【０２００】
そして高周波数成分画像生成ステップＳＴ３１では非線形処理画像Ｄ３１ｈと非線形処理画像Ｄ３１ｖから成る非線形処理画像Ｄ３１が生成される。
このように、非線形処理ステップＳＴ３１では、図３の非線形処理手段３１と同様の動作が行われる。
【０２０１】
水平方向高周波数成分通過ステップＳＴ３２Ｂｈは、水平方向非線形処理ステップＳＴ３１ｈで生成した非線形処理画像Ｄ３１ｈにハイパスフィルタをかけ、水平方向中間画像Ｄ３２Ｂｈを生成する。垂直方向高周波数成分通過ステップＳＴ３２Ｂｖは、垂直方向非線形処理ステップＳＴ３１ｖで生成した非線形処理画像Ｄ３１ｖにハイパスフィルタをかけ、垂直方向中間画像Ｄ３２Ｂｖを生成する。
【０２０２】
そして高周波数成分画像生成ステップＳＴ３２Ｂでは水平方向中間画像Ｄ３２Ｂｈと垂直方向中間画像Ｄ３２Ｂｖから成る中間画像Ｄ３２Ｂが生成される。
このように、高周波数成分通過ステップＳＴ３２Ｂでは、図３の高周波数成分画像生成手段３２Ｂと同様の動作が行われる。
【０２０３】
次に、高周波数成分画像補正ステップＳＴ３３Ａの詳細な動作について説明する。
高周波数成分画像補正ステップＳＴ３３Ａは、図３１に示すように増幅率計算ステップＳＴ３ＭＡと画素値増幅ステップＳＴ３ＭＢを含み、輝度色差加算画像Ｄ５の画素値に応じて求められる増幅率を使って、中間画像Ｄ３２Ａの各画素値を補正する。なおここで言う補正とは、輝度色差加算画像Ｄ５の画素値に応じて求められる増幅率を、中間画像Ｄ３２Ａの各画素値に掛け合わせる（あるいは輝度色差加算画像Ｄ５の画素値に応じて求められる増幅率によって画素値を増幅する）ことを意味する。
【０２０４】
ここで増幅率計算ステップＳＴ３ＭＡの動作は増幅率計算手段３ＭＡと同様であるのでその説明は省略する。
【０２０５】
次に画素値増幅ステップＳＴ３ＭＢでは、増幅率計算ステップＳＴ３ＭＡにおいて決定された増幅率に基づいて中間画像Ｄ３２Ａの各画素がもつ画素値を増幅する。ここで中間画像Ｄ３２Ａは水平方向中間画像Ｄ３２Ａｈ及び垂直方向中間画像Ｄ３２Ａｖから成るので、画素値の増幅は、水平方向中間画像Ｄ３２Ａｈと垂直方向中間画像Ｄ３２Ａｖの各々について行われる。
【０２０６】
即ち、水平方向画素値増幅ステップＳＴ３ＭＢｈでは、増幅率計算ステップＳＴ３ＭＡで決定された増幅率に基づいて水平方向中間画像Ｄ３２Ａｈの各画素値が増幅した画像Ｄ３ＭＢｈが生成される。また、垂直方向画素値増幅ステップＳＴ３ＭＢｖでは、増幅率計算ステップＳＴ３ＭＡで決定された増幅率に基づいて垂直方向中間画像Ｄ３２Ａｖの各画素値が増幅した画像Ｄ３ＭＢｖが生成される。この動作は画素値増幅手段３ＭＢの動作と同じである。
【０２０７】
そして画像Ｄ３ＭＢｈに相当する水平方向中間画像Ｄ３３Ａｈと画像Ｄ３ＭＢｖに相当する垂直方向中間画像Ｄ３３Ａｖから成る中間画像Ｄ３３Ａが、高周波数成分画像補正ステップＳＴ３３Ａによって生成される。
【０２０８】
以上が高周波数成分画像補正ステップＳＴ３３Ａの動作であり、その動作は図９の高周波数成分補正手段３３Ａの動作と同等である。
【０２０９】
次に、高周波数成分画像補正ステップＳＴ３３Ｂの詳細な動作について説明する。
高周波数成分画像補正ステップＳＴ３３Ｂは、図３２に示すように増幅率計算ステップＳＴ３ＨＡと画素値増幅ステップＳＴ３ＨＢを含み、輝度色差加算画像Ｄ５の画素値に応じて求められる増幅率を使って、中間画像Ｄ３２Ｂの各画素値を補正する。なおここで言う補正とは、輝度色差加算画像Ｄ５の画素値に応じて求められる増幅率を、中間画像Ｄ３２Ｂの各画素値に掛け合わせる（あるいは輝度色差加算画像Ｄ５の画素値に応じて求められる増幅率によって画素値を増幅する）ことを意味する。
【０２１０】
ここで増幅率計算ステップＳＴ３ＨＡの動作は増幅率計算手段３ＨＡと同様であるのでその説明は省略する。
【０２１１】
次に画素値増幅ステップＳＴ３ＨＢでは、増幅率計算ステップＳＴ３ＨＡにおいて決定された増幅率に基づいて中間画像Ｄ３２Ｂの各画素がもつ画素値を増幅する。ここで中間画像Ｄ３２Ｂは水平方向中間画像Ｄ３２Ｂｈ及び垂直方向中間画像Ｄ３２Ｂｖから成るので、画素値の増幅は、水平方向中間画像Ｄ３２Ｂｈと垂直方向中間画像Ｄ３２Ｂｖの各々について行われる。即ち、水平方向画素値増幅ステップＳＴ３ＨＢｈでは、増幅率計算ステップＳＴ３ＨＡで決定された増幅率に基づいて水平方向中間画像Ｄ３２Ｂｈの各画素値を増幅した画像Ｄ３ＨＢｈが生成される。また、垂直方向画素値増幅ステップＳＴ３ＨＢｖでは、増幅率計算ステップＳＴ３ＨＡで決定された増幅率に基づいて垂直方向中間画像Ｄ３２Ｂｖの各画素値が増幅した画像Ｄ３ＨＢｖが生成される。この動作は画素値増幅手段３ＨＢの動作と同じである。
【０２１２】
そして画像Ｄ３ＨＢｈに相当する水平方向中間画像Ｄ３３Ｂｈと画像Ｄ３ＨＢｖに相当する垂直方向中間画像Ｄ３３Ｂｖから成る中間画像Ｄ３３Ｂが、高周波数成分画像補正ステップＳＴ３３Ｂによって生成される。
【０２１３】
以上が高周波数成分画像補正ステップＳＴ３３Ｂの動作であり、その動作は図１１の高周波数成分補正手段３３Ｂの動作と同等である。
【０２１４】
高周波数成分画像生成ステップＳＴ３２Ａと高周波数成分画像補正ステップＳＴ３３Ａの組み合わせが、第１の補正成分生成手段３Ａの動作に対応し、非線形処理画像生成ステップＳＴ３０と高周波数成分画像補正ステップＳＴ３３Ｂの組み合わせが、第２の補正成分生成手段３Ｂの動作に対応する。
【０２１５】
加算ステップＳＴ３４は、高周波数成分画像補正ステップＳＴ３３Ａで生成した中間画像Ｄ３３Ａと高周波数成分画像補正ステップＳＴ３３Ｂで生成した中間画像Ｄ３３Ｂを加算し、高周波数成分画像Ｄ３を得る。このように、ステップＳＴ３４では、図３の加算手段３４と同様の動作が行われる。
なお、ここでの加算は加算手段３４と同様、加重加算でもよい。
【０２１６】
以上が、高周波数成分画像処理ステップＳＴ３の動作であり、この動作は、図１、図３の高周波数成分画像処理手段３と同じである。
【０２１７】
加算ステップＳＴ４は、画像拡大ステップＳＴ２Ａで生成した拡大画像Ｄ２Ａと高周波数成分画像処理ステップＳＴ３で生成した高周波数成分画像Ｄ３を加算した画像Ｄｏｕｔを生成する。そして生成された画像Ｄｏｕｔが出力輝度画像ＹＯＵＴとなり、最終的な出力カラー画像ＩＭＧＯＵＴの一部として、画像処理装置から出力される。
この動作は、図１、図３の加算手段４と同じである。
【０２１８】
なお、上記の説明から明らかなように、画像拡大ステップＳＴ２Ａ、高周波数成分画像生成ステップＳＴ１、画像拡大ステップＳＴ２Ｂ、高周波数成分画像処理ステップＳＴ３によって図１あるいは図３に記載の輝度画像拡大手段６と同様の処理がなされる。
【０２１９】
以上が実施の形態２による画像処理方法の動作である。上記の説明から明らかなように実施の形態２による画像処理方法でも実施の形態１による画像処理装置と同様の処理で画像を拡大できるため、実施の形態１による画像処理装置と同様の効果が得られる。また、実施の形態２による画像処理方法にも、実施の形態１による画像処理装置と同様の変形を行うことができ、その場合に得られる効果も実施の形態１による画像処理装置と同様である。
【０２２０】
例えば、高周波数成分画像処理ステップＳＴ３が非線形処理画像生成ステップＳＴ３０、高周波数成分画像補正ステップＳＴ３３Ｂ、加算ステップＳＴ３４を備え、加算ステップＳＴ３４が水平方向中間画像Ｄ３３Ｂｈ、垂直方向中間画像Ｄ３３Ｂｖを加算した結果を高周波数成分画像Ｄ３として出力する構成としてもよい。この場合でも、非線形処理画像生成ステップＳＴ３０によってナイキスト周波数Ｆｎより高い周波数成分が生成されるので、解像感を増す効果が得られる。
【０２２１】
なお、実施の形態１で説明した変形例は上記以外のものも適用可能であり、その場合、実施の形態２による画像処理方法の構成要素をどう変形すべきかは実施の形態１との対比から明らかである。
【０２２２】
また、実施の形態２による画像処理装置は実施の形態１で説明した画像処理装置と同様画像表示装置の一部として用いることができるため、実施の形態２による画像処理装置で生成された画像Ｄｏｕｔを表示する画像表示装置も、実施の形態１で説明した画像処理装置と同様の効果が得られる。さらに、実施の形態１及び実施の形態２の画像処理装置を用いて実施される画像処理方法、及びこれを用いた画像表示方法も同様の効果が得られる。
【０２２３】
実施の形態３．
図３３は本発明の実施の形態３による画像処理装置の構成を表す図である。実施の形態３による画像処理装置も実施の形態１による画像処理装置と同様、図２に示す画像表示装置の一部として利用可能である。
【０２２４】
実施の形態３による画像処理装置は、実施の形態１による画像処理装置と比較した場合、輝度画像拡大手段６内の高周波数成分画像処理手段３の構成が若干異なる。従って高周波数成分画像処理手段３以外の説明は省略する。
【０２２５】
高周波数成分画像処理手段３は、高周波数成分画像生成手段３２Ａ、非線形処理画像生成手段３０、加算手段３４Ｂ、及び高周波数成分画像補正手段３３Ｃを備える。高周波数成分画像生成手段３２Ａ、及び非線形処理画像生成手段３０の動作は実施の形態１で説明したものと同様なのでその説明は省略する。
【０２２６】
加算手段３４Ｂは、中間画像Ｄ３２Ａと中間画像Ｄ３２Ｂを加算する。そして得られた画像が中間画像Ｄ３４Ａとして出力される。なお、ここでの加算は加算手段３４と同様加重加算でもよい。
【０２２７】
高周波数成分画像補正手段３３Ｃは中間画像Ｄ３４Ａの各画素値を、輝度色差加算画像Ｄ５の画素値に応じて求められる増幅率で増幅し、その結果を高周波数成分画像Ｄ３として出力する。
【０２２８】
なお、高周波数成分画像補正手段３３Ｃの詳細な動作は、実施の形態１による画像処理装置において、例えば、高周波数成分画像補正手段３３Ａが水平方向中間画像Ｄ３２Ａｈに対して行っていた動作や高周波数成分画像補正手段３３Ｂが垂直方向中間画像Ｄ３２Ｂｖに対して行っていた動作と同様にすることが出来るのでその説明は省略する。また、高周波数成分画像補正手段３３Ｃの詳細な構成についても同様に省略する。
【０２２９】
実施の形態３による画像処理装置でも実施の形態１による画像処理装置と同様、高周波数成分画像処理手段３において、入力輝度画像ＹＩＮのナイキスト周波数以上の高周波数成分を与えることで出力カラー画像ＩＭＧＯＵＴの解像感を増すことが可能である。
【０２３０】
また、高周波数成分画像補正手段３３Ｃが中間画像Ｄ３４Ａに対して行なう動作は実施の形態１による画像処理装置において、高周波数成分画像補正手段３３Ａが中間画像Ｄ３２Ａに対して行っていた動作あるいは高周波数成分画像補正手段３３Ｂが中間画像Ｄ３２Ｂに対して行っていた動作と同様である。従って、高周波数成分（高周波数成分画像Ｄ３）による補正が過度に行われ、有彩色のエッジ付近で色が薄くなるという画質上の問題が発生するのを防ぐことが出来る。
【０２３１】
さらに、実施の形態１による画像処理装置と比較した場合、高周波数成分画像補正手段の数が少ないので実施の形態１より少ない回路規模で構成可能である。
【０２３２】
また、中間画像Ｄ３２Ａと中間画像Ｄ３２Ｂを比較した場合、中間画像Ｄ３２Ｂの方がより高い周波数成分を有しており、図３３に記載の高周波数成分画像処理手段３から、高周波数成分画像生成手段３２Ａ、及び加算手段３４Ｂを取り除き、非線形処理画像生成手段３０から出力される中間画像Ｄ３２Ｂを高周波数成分画像補正手段３３Ｃに入力する構成、言い換えれば、図３３に記載の高周波数成分画像処理手段３を、非線形処理手段３０、高周波数成分画像補正手段３３Ｃを含む構成とし、非線形処理手段３０から出力される中間画像Ｄ３２Ｂを高周波数成分画像補正手段３３Ｃへ入力する構成としても、拡大画像Ｄ２Ａに対して入力輝度画像ＹＩＮのナイキスト周波数Ｆｎ以上の成分を与え、解像感を高めることが出来る。
なお、中間画像Ｄ３２Ｂが水平方向中間画像Ｄ３２Ｂｈおよび垂直方向中間画像Ｄ３２Ｂｖからなる場合、水平方向中間画像Ｄ３２Ｂｈおよび垂直方向中間画像Ｄ３２Ｂｖを加算した後、高周波数成分画像補正手段３３Ｃへ入力することとしてもよい。
【０２３３】
また、先に説明したように、拡大画像Ｄ２Ｂに非線形処理を行うことで入力画像Ｄｉｎのナイキスト周波数Ｆｎより高い周波数に対応した高周波数成分を生成することが出来るので、要するに、高周波数成分画像処理手段３内部で拡大画像Ｄ２Ｂに対して非線形処理を行えればよい。
【０２３４】
なお、実施の形態１に対して考えられる変形例及びその効果は実施の形態３に対しても有効である。
【０２３５】
実施の形態４．
本発明の実施の形態４による画像処理方法も実施の形態２による画像処理方法と同様、図２４に示す画像表示装置の一部として利用可能である。また、そのフローは実施の形態２と同様、図２５のように構成することが出来るのでその説明は省略する。
【０２３６】
実施の形態４による画像処理方法は実施の形態２による画像処理方法と概して同じであるが、高周波数成分画像処理ステップＳＴ３の動作、構成が異なる。図３４は実施の形態４による画像処理方法での高周波数成分画像処理ステップＳＴ３のフローを示す図である。
【０２３７】
実施の形態４による画像処理方法での高周波数成分画像処理ステップＳＴ３は、高周波数成分画像生成ステップＳＴ３２Ａ、非線形処理画像生成ステップＳＴ３０、加算ステップＳＴ３４Ｂ、及び高周波数成分画像補正ステップＳＴ３３Ｃを含む。
【０２３８】
ここで、高周波数成分画像生成ステップＳＴ３２Ａ、及び非線形処理画像生成ステップＳＴ３０の動作は実施の形態２による画像処理方法と同様であるのでその説明は省略する。
【０２３９】
加算ステップＳＴ３４Ｂは、中間画像Ｄ３２Ａと中間画像Ｄ３２Ｂを加算し、中間画像Ｄ３４Ｂを出力する。この動作は実施の形態３による画像処理装置における加算手段３４Ｂと同じである。
【０２４０】
高周波数成分画像補正ステップＳＴ３３Ｃは中間画像Ｄ３４Ｂの各画素値を、輝度色差加算画像Ｄ５の画素値に応じて求められる増幅率で増幅し、高周波数成分画像Ｄ３を出力する。なお、高周波数成分画像補正ステップＳＴ３３Ｃの詳細な動作は、実施の形態２による画像処理方法において、例えば、高周波数成分画像補正ステップＳＴ３３Ａが水平方向中間画像Ｄ３２Ａｈに対して行っていた動作や高周波数成分画像補正ステップＳＴ３３Ｂが垂直方向中間画像Ｄ３２Ｂｖに対して行っていた動作と同様にすることが出来るのでその説明は省略する。また、高周波数成分画像補正ステップＳＴ３３Ｃの詳細な構成についても同様である。この動作は実施の形態３による画像処理装置における高周波数成分画像補正手段３３Ｃと同じである。
【０２４１】
実施の形態４による画像処理方法の動作は実施の形態３による画像処理装置と同様であるので、実施の形態３による画像処理装置と同様の効果を得ることが出来る。また、実施の形態３による画像処理装置と同様の変形例を考えることも出来る上、その場合に得られる効果についても同様である。
【符号の説明】
【０２４２】
１ 高周波数成分画像生成手段、 ２Ａ 画像拡大手段、 ２Ｂ 画像拡大手段、 ２Ｃ ＣＢ画像拡大手段、 ２Ｄ ＣＲ画像拡大手段、 ３ 高周波数成分画像処理手段、 ４ 加算手段、 ５ 輝度色差加算手段、 ６ 輝度画像拡大手段、 ３０ 非線形画像生成手段、 ３２Ａ 高周波数成分画像生成手段、 ３２Ｂ 高周波数成分画像生成手段、 ３３Ａ 高周波数成分画像補正手段、 ３３Ｂ 高周波数成分画像補正手段、 ３３Ｃ 高周波数成分画像補正手段、 ３４ 加算手段、 ３４Ｂ 加算手段、 ＤＩＲＧＢ 入力カラー画像、 ＤＯＲＧＢ 出力カラー画像。
【特許請求の範囲】
【請求項１】
カラー画像を拡大する画像処理装置において、
前記カラー画像の輝度成分を表す画像を拡大し、第１の拡大画像を出力する第１の画像拡大手段と、
前記カラー画像の輝度成分を表す画像の高周波数成分を取り出し、第１の高周波数成分画像を生成する第１の高周波数成分画像生成手段と、
前記第１の高周波数成分画像を拡大し、第２の拡大画像を出力する第２の画像拡大手段と、
前記カラー画像の色差成分を表す画像を拡大した色差拡大画像を出力する画像拡大手段と、
前記第１の拡大画像と前記色差拡大画像の絶対値を加重加算した輝度色差加算画像を出力する輝度色差加算手段と、
前記第２の拡大画像と前記輝度色差加算画像を入力とし、第２の高周波数成分画像を出力する高周波数成分画像処理手段と、
前記第１の拡大画像と前記第２の高周波数成分画像を加算する第１の加算手段と
を有する画像処理装置において、
前記高周波数成分画像処理手段は、
前記第２の拡大画像の高周波数成分を取り出して第１の中間画像を出力する第２の高周波数成分画像生成手段を含む第１の補正成分生成手段と、
前記第２の拡大画像に対して非線形処理を含む処理を行った第２の中間画像を出力する非線形処理画像生成手段を含を含む第２の補正成分生成手段と、
前記第１の補正成分生成手段の出力と、前記第２の補正成分生成手段の出力を加算する第２の加算手段とを備え、
前記第２の加算手段における加算の結果が、前記高周波数成分画像処理手段の出力として用いられ、
前記第１の補正成分生成手段が、
前記第１の中間画像の各画素値を前記輝度色差加算画像の画素値に応じて求められる第１の増幅率によって増幅した第３の中間画像を出力する第１の高周波数成分画像補正手段をさらに備え、
前記第３の中間画像が前記第１の補正成分生成手段の出力として用いられる
ことを特徴とする画像処理装置。
【請求項２】
カラー画像を拡大する画像処理装置において、
前記カラー画像の輝度成分を表す画像を拡大し、第１の拡大画像を出力する第１の画像拡大手段と、
前記カラー画像の輝度成分を表す画像の高周波数成分を取り出し、第１の高周波数成分画像を生成する第１の高周波数成分画像生成手段と、
前記第１の高周波数成分画像を拡大し、第２の拡大画像を出力する第２の画像拡大手段と、
前記カラー画像の色差成分を表す画像を拡大した色差拡大画像を出力する画像拡大手段と、
前記第１の拡大画像と前記色差拡大画像の絶対値を加重加算した輝度色差加算画像を出力する輝度色差加算手段と、
前記第２の拡大画像と前記輝度色差加算画像を入力とし、第２の高周波数成分画像を出力する高周波数成分画像処理手段と、
前記第１の拡大画像と前記第２の高周波数成分画像を加算する第１の加算手段と
を有する画像処理装置において、
前記高周波数成分画像処理手段は、
前記第２の拡大画像の高周波数成分を取り出して第１の中間画像を出力する第２の高周波数成分画像生成手段を含む第１の補正成分生成手段と、
前記第２の拡大画像に対して非線形処理を含む処理を行った第２の中間画像を出力する非線形処理画像生成手段を含を含む第２の補正成分生成手段と、
前記第１の補正成分生成手段の出力と、前記第２の補正成分生成手段の出力を加算する第２の加算手段とを備え、
前記第２の加算手段における加算の結果が、前記高周波数成分画像処理手段の出力として用いられ、
前記第２の補正成分生成手段が、
前記第２の中間画像の各画素値を前記輝度色差加算画像の画素値に応じて求められる第２の増幅率によって増幅した第４の中間画像を出力する第２の高周波数成分画像補正手段をさらに備え、
前記第４の中間画像が前記第２の補正成分生成手段の出力として用いられる
ことを特徴とする画像処理装置。
【請求項３】
前記第２の補正成分生成手段が、
前記第２の中間画像の各画素値を前記輝度色差加算画像の画素値に応じて求められる第２の増幅率によって増幅した第４の中間画像を出力する第２の高周波数成分画像補正手段をさらに備え、
前記第４の中間画像が前記第２の補正成分生成手段の出力として用いられる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第１の高周波数成分画像補正手段は、
前記第１の増幅率を決定する第１の増幅率計算手段と、
前記第１の増幅率で前記第１の中間画像の各画素値を増幅する第１の画素値増幅手段を含む
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記第２の高周波数成分画像補正手段は、
前記第２の増幅率を決定する第２の増幅率計算手段と、
前記第２の増幅率で前記第２の中間画像の各画素値を増幅する第２の画素値増幅手段を含む
ことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
カラー画像を拡大する画像処理装置において、
前記カラー画像の輝度成分を表す画像を拡大し、第１の拡大画像を出力する第１の画像拡大手段と、
前記カラー画像の輝度成分を表す画像の高周波数成分を取り出し、第１の高周波数成分画像を生成する第１の高周波数成分画像生成手段と、
前記第１の高周波数成分画像を拡大し、第２の拡大画像を出力する第２の画像拡大手段と、
前記カラー画像の色差成分を表す画像を拡大した色差拡大画像を出力する画像拡大手段と、
前記第１の拡大画像と前記色差拡大画像の絶対値を加重加算した輝度色差加算画像を出力する輝度色差加算手段と、
前記第２の拡大画像と前記輝度色差加算画像を入力とし、第２の高周波数成分画像を出力する高周波数成分画像処理手段と、
前記第１の拡大画像と前記第２の高周波数成分画像を加算する第１の加算手段と
を有する画像処理装置において、
前記高周波数成分画像処理手段は、
前記第２の拡大画像に対して非線形処理を含む処理を行う非線形処理画像生成手段と、
前記非線形処理画像生成手段による非線形処理の結果得られる画像の各画素値を前記輝度色差加算画像の画素値に応じて求められる第３の増幅率によって増幅する第３の高周波数成分画像補正手段を含み、
前記第３の高周波数成分画像補正手段による増幅の結果得られる画像が前記前記第２の高周波数成分画像として用いられる
ことを特徴とする画像処理装置。
【請求項７】
前記非線形処理画像生成手段は、
前記第２の拡大画像に対して非線形処理を行った第１の非線形処理画像を生成する非線形処理手段と、
前記第１の非線形処理画像から高周波数成分を取り出し、前記第２の中間画像とする第３の高周波数成分画像生成手段を含む
ことを特徴とする請求項３に記載の画像処理装置。
【請求項８】
前記非線形処理画像生成手段は、
前記第２の拡大画像に対して非線形処理を行った第１の非線形処理画像を生成する非線形処理手段と、
前記第１の非線形処理画像から高周波数成分を取り出し、前記第２の中間画像とする第３の高周波数成分画像生成手段を含む
ことを特徴とする請求項６に記載の画像処理装置。
【請求項９】
前記第１の高周波数成分画像生成手段は、
前記入力画像の各画素について水平方向近傍に存在する画素の画素値を用いて水平方向高周波数成分画像を生成する第１の水平方向高周波数成分画像生成手段を有し、
前記第２の画像拡大手段は、
前記第１の水平方向高周波数成分画像を拡大し、第３の拡大画像を出力する第３の画像拡大手段を有し、
前記第２の拡大画像は、前記第３の拡大画像を含み、
前記第２の高周波数成分画像生成手段は、
前記第３の拡大画像の高周波数成分のみを取り出し、第１の水平方向中間画像を出力する第２の水平方向高周波数成分画像生成手段を有し、
前記非線形処理手段は、
前記第３の拡大画像に対して非線形処理を行った第２の非線形処理画像を出力する水平方向非線形処理手段を有し、
前記第３の高周波数成分画像生成手段は、
前記第２の非線形処理画像から高周波数成分を取り出し、第２の水平方向中間画像を出力する第３の水平方向高周波数成分画像生成手段を有し、
前記第１の中間画像は前記第１の水平方向中間画像を含み、
前記第２の中間画像は前記第２の水平方向中間画像を含み、
前記第１の画素値増幅手段は、前記第１の増幅率で前記第１の水平方向中間画像の各画素値を増幅した第３の水平方向中間画像を出力する第１の水平方向画素値増幅手段を有し、
前記第２の画素値増幅手段は、前記第２の増幅率で前記第２の水平方向中間画像の各画素値を増幅した第４の水平方向中間画像を出力する第２の水平方向画素値増幅手段を有し、
前記第３の中間画像は前記第３の水平方向中間画像を含み、
前記第４の中間画像は前記第４の水平方向中間画像を含む
ことを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
前記水平方向非線形処理手段は、
前記第３の拡大画像の画素値が正から負もしくは負から正へと変化する箇所をゼロクロス点として判定する水平方向ゼロクロス判定手段と、
前記水平方向ゼロクロス判定手段の判定結果に応じて決められる増幅率で前記第３の拡大画像の画素値を増幅する水平方向信号増幅手段とを有し、
前記第３の高周波数成分画像生成手段は、前記水平方向信号増幅手段の出力する画像から高周波数成分を取り出す第３の水平方向高周波数成分画像生成手段を有する
ことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記水平方向信号増幅手段は、
前記水平方向ゼロクロス判定手段で判定されたゼロクロス点を含む第１の領域内に存在する画素の画素値に対する増幅率を１より大きな値とし、それ以外の画素の画素値に対する増幅率を１とする
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記第１の領域は前記第２の画像拡大手段における拡大率に応じて定められる
ことを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記第１の領域に存在する画素に対する増幅率は画素に応じて定められる
ことを特徴とする請求項１１又は１２に記載の画像処理装置。
【請求項１４】
前記第１の高周波数成分画像生成手段は、
前記入力画像の各画素について垂直方向近傍に存在する画素の画素値を用いて垂直方向高周波数成分画像を生成する第１の垂直方向高周波数成分画像生成手段を有し、
前記第２の画像拡大手段は、
前記第１の垂直方向高周波数成分画像を拡大し、第４の拡大画像を出力する第４の画像拡大手段を有し、
前記第２の拡大画像は、前記第４の拡大画像を含み、
前記第２の高周波数成分画像生成手段は、
前記第４の拡大画像の高周波数成分のみを取り出し、第１の垂直方向中間画像を出力する第２の垂直方向高周波数成分画像生成手段を有し、
前記非線形処理手段は、
前記第４の拡大画像に対して非線形処理を行った第３の非線形処理画像を出力する垂直方向非線形処理手段を有し、
前記第３の高周波数成分画像生成手段は、
前記第３の非線形処理画像から高周波数成分を取り出し、第２の垂直方向中間画像を出力する第３の垂直方向高周波数成分画像生成手段を有し、
前記第１の中間画像は前記第１の垂直方向中間画像を含み、
前記第２の中間画像は前記第２の垂直方向中間画像を含み、
前記第１の画素値増幅手段は、前記第１の増幅率で前記第１の垂直方向中間画像の各画素値を増幅した第３の垂直方向中間画像を出力する第１の垂直方向画素値増幅手段を有し、
前記第２の画素値増幅手段は、前記第２の増幅率で前記第２の垂直方向中間画像の各画素値を増幅した第４の垂直方向中間画像を出力する第２の垂直方向画素値増幅手段を有し、
前記第３の中間画像は前記第３の垂直方向中間画像を含み、
前記第４の中間画像は前記第４の垂直方向中間画像を含む
ことを特徴とする請求項７、９乃至１３のいずれかに記載の画像処理装置。
【請求項１５】
前記垂直方向非線形処理手段は、
前記第４の拡大画像の画素値が正から負もしくは負から正へと変化する箇所をゼロクロス点として判定する垂直方向ゼロクロス判定手段と、
前記垂直方向ゼロクロス判定手段の判定結果に応じて決められる増幅率で前記第４の拡大画像の画素値を増幅する垂直方向信号増幅手段とを有し、
前記第３の高周波数成分画像生成手段が、前記垂直方向信号増幅手段の出力する画像から高周波数成分を取り出す第３の垂直方向高周波数成分画像生成手段を有する
ことを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
前記垂直方向信号増幅手段は、
前記垂直方向ゼロクロス判定手段で判定されたゼロクロス点を含む第２の領域内に存在する画素の画素値に対する増幅率を１より大きな値とし、それ以外の画素の画素値に対する増幅率を１とする
ことを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
前記第２の領域は前記第２の画像拡大手段における拡大率に応じて定められる
ことを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
前記第２の領域に存在する画素に対する増幅率は画素に応じて定められる
ことを特徴とする請求項１６又は１７に記載の画像処理装置。
【請求項１９】
請求項１乃至１８のいずれかに記載の画像処理装置を備えたことを特徴とする画像表示装置。
【請求項２０】
カラー画像を拡大する画像処理方法において、
前記カラー画像の輝度成分を表す画像を拡大し、第１の拡大画像を出力する第１の画像拡大ステップと、
前記カラー画像の輝度成分を表す画像の高周波数成分を取り出し、第１の高周波数成分画像を生成する第１の高周波数成分画像生成ステップと、
前記第１の高周波数成分画像を拡大し、第２の拡大画像を出力する第２の画像拡大ステップと、
前記カラー画像の色差成分を表す画像を拡大した色差拡大画像を出力する画像拡大ステップと、
前記第１の拡大画像と前記色差拡大画像の絶対値を加重加算した輝度色差加算画像を出力する輝度色差加算ステップと、
前記第２の拡大画像と前記輝度色差加算画像を入力とし、第２の高周波数成分画像を出力する高周波数成分画像処理ステップと、
前記第１の拡大画像と前記第２の高周波数成分画像を加算する第１の加算ステップとを有する画像処理方法において、
前記高周波数成分画像処理ステップは、
前記第２の拡大画像の高周波数成分を取り出す第２の高周波数成分画像生成ステップと、
前記第２の拡大画像に対して非線形処理を含む処理を行う非線形処理画像生成ステップと、
前記第２の高周波数成分画像生成ステップにより得られる画像及び前記非線形処理画像生成ステップにより得られる画像を加算する第２の加算ステップとを含み、
前記第２の高周波数成分画像生成ステップにより得られる画像、及び前記非線形処理画像生成ステップにより得られる画像の少なくとも一つに対し、前記第２の加算ステップによる加算の前に、前記輝度色差加算画像の画素値とに応じて求められる増幅率によって増幅する高周波数成分画像補正ステップをさらに有する
ことを特徴とする画像処理方法。
【請求項２１】
カラー画像を拡大する画像処理方法において、
前記カラー画像の輝度成分を表す画像を拡大し、第１の拡大画像を出力する第１の画像拡大ステップと、
前記カラー画像の輝度成分を表す画像の高周波数成分を取り出し、第１の高周波数成分画像を生成する第１の高周波数成分画像生成ステップと、
前記第１の高周波数成分画像を拡大し、第２の拡大画像を出力する第２の画像拡大ステップと、
前記カラー画像の色差成分を表す画像を拡大した色差拡大画像を出力する画像拡大ステップと、
前記第１の拡大画像と前記色差拡大画像の絶対値を加重加算した輝度色差加算画像を出力する輝度色差加算ステップと、
前記第２の拡大画像と前記輝度色差加算画像を入力とし、第２の高周波数成分画像を出力する高周波数成分画像処理ステップと、
前記第１の拡大画像と前記第２の高周波数成分画像を加算する第１の加算ステップとを有する画像処理方法において、
前記高周波数成分画像処理ステップは、
前記第２の拡大画像に対して非線形処理を含む処理を行った第２の中間画像を出力する非線形処理画像生成ステップを含み、さらに、
前記第２の中間画像の各画素値を前記輝度色差加算画像の画素値に応じて求められる増幅率によって増幅する第２の高周波数成分画像補正ステップを含み、
前記第２の高周波数成分画像補正ステップによる増幅の結果生成される画像を前記第２の高周波数成分画像として出力する
ことを特徴とする画像処理方法。
【請求項２２】
請求項２０又は２１に記載の画像処理方法により処理された画像を表示することを特徴とする画像表示装置。
【請求項１】
カラー画像を拡大する画像処理装置において、
前記カラー画像の輝度成分を表す画像を拡大し、第１の拡大画像を出力する第１の画像拡大手段と、
前記カラー画像の輝度成分を表す画像の高周波数成分を取り出し、第１の高周波数成分画像を生成する第１の高周波数成分画像生成手段と、
前記第１の高周波数成分画像を拡大し、第２の拡大画像を出力する第２の画像拡大手段と、
前記カラー画像の色差成分を表す画像を拡大した色差拡大画像を出力する画像拡大手段と、
前記第１の拡大画像と前記色差拡大画像の絶対値を加重加算した輝度色差加算画像を出力する輝度色差加算手段と、
前記第２の拡大画像と前記輝度色差加算画像を入力とし、第２の高周波数成分画像を出力する高周波数成分画像処理手段と、
前記第１の拡大画像と前記第２の高周波数成分画像を加算する第１の加算手段と
を有する画像処理装置において、
前記高周波数成分画像処理手段は、
前記第２の拡大画像の高周波数成分を取り出して第１の中間画像を出力する第２の高周波数成分画像生成手段を含む第１の補正成分生成手段と、
前記第２の拡大画像に対して非線形処理を含む処理を行った第２の中間画像を出力する非線形処理画像生成手段を含を含む第２の補正成分生成手段と、
前記第１の補正成分生成手段の出力と、前記第２の補正成分生成手段の出力を加算する第２の加算手段とを備え、
前記第２の加算手段における加算の結果が、前記高周波数成分画像処理手段の出力として用いられ、
前記第１の補正成分生成手段が、
前記第１の中間画像の各画素値を前記輝度色差加算画像の画素値に応じて求められる第１の増幅率によって増幅した第３の中間画像を出力する第１の高周波数成分画像補正手段をさらに備え、
前記第３の中間画像が前記第１の補正成分生成手段の出力として用いられる
ことを特徴とする画像処理装置。
【請求項２】
カラー画像を拡大する画像処理装置において、
前記カラー画像の輝度成分を表す画像を拡大し、第１の拡大画像を出力する第１の画像拡大手段と、
前記カラー画像の輝度成分を表す画像の高周波数成分を取り出し、第１の高周波数成分画像を生成する第１の高周波数成分画像生成手段と、
前記第１の高周波数成分画像を拡大し、第２の拡大画像を出力する第２の画像拡大手段と、
前記カラー画像の色差成分を表す画像を拡大した色差拡大画像を出力する画像拡大手段と、
前記第１の拡大画像と前記色差拡大画像の絶対値を加重加算した輝度色差加算画像を出力する輝度色差加算手段と、
前記第２の拡大画像と前記輝度色差加算画像を入力とし、第２の高周波数成分画像を出力する高周波数成分画像処理手段と、
前記第１の拡大画像と前記第２の高周波数成分画像を加算する第１の加算手段と
を有する画像処理装置において、
前記高周波数成分画像処理手段は、
前記第２の拡大画像の高周波数成分を取り出して第１の中間画像を出力する第２の高周波数成分画像生成手段を含む第１の補正成分生成手段と、
前記第２の拡大画像に対して非線形処理を含む処理を行った第２の中間画像を出力する非線形処理画像生成手段を含を含む第２の補正成分生成手段と、
前記第１の補正成分生成手段の出力と、前記第２の補正成分生成手段の出力を加算する第２の加算手段とを備え、
前記第２の加算手段における加算の結果が、前記高周波数成分画像処理手段の出力として用いられ、
前記第２の補正成分生成手段が、
前記第２の中間画像の各画素値を前記輝度色差加算画像の画素値に応じて求められる第２の増幅率によって増幅した第４の中間画像を出力する第２の高周波数成分画像補正手段をさらに備え、
前記第４の中間画像が前記第２の補正成分生成手段の出力として用いられる
ことを特徴とする画像処理装置。
【請求項３】
前記第２の補正成分生成手段が、
前記第２の中間画像の各画素値を前記輝度色差加算画像の画素値に応じて求められる第２の増幅率によって増幅した第４の中間画像を出力する第２の高周波数成分画像補正手段をさらに備え、
前記第４の中間画像が前記第２の補正成分生成手段の出力として用いられる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第１の高周波数成分画像補正手段は、
前記第１の増幅率を決定する第１の増幅率計算手段と、
前記第１の増幅率で前記第１の中間画像の各画素値を増幅する第１の画素値増幅手段を含む
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記第２の高周波数成分画像補正手段は、
前記第２の増幅率を決定する第２の増幅率計算手段と、
前記第２の増幅率で前記第２の中間画像の各画素値を増幅する第２の画素値増幅手段を含む
ことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
カラー画像を拡大する画像処理装置において、
前記カラー画像の輝度成分を表す画像を拡大し、第１の拡大画像を出力する第１の画像拡大手段と、
前記カラー画像の輝度成分を表す画像の高周波数成分を取り出し、第１の高周波数成分画像を生成する第１の高周波数成分画像生成手段と、
前記第１の高周波数成分画像を拡大し、第２の拡大画像を出力する第２の画像拡大手段と、
前記カラー画像の色差成分を表す画像を拡大した色差拡大画像を出力する画像拡大手段と、
前記第１の拡大画像と前記色差拡大画像の絶対値を加重加算した輝度色差加算画像を出力する輝度色差加算手段と、
前記第２の拡大画像と前記輝度色差加算画像を入力とし、第２の高周波数成分画像を出力する高周波数成分画像処理手段と、
前記第１の拡大画像と前記第２の高周波数成分画像を加算する第１の加算手段と
を有する画像処理装置において、
前記高周波数成分画像処理手段は、
前記第２の拡大画像に対して非線形処理を含む処理を行う非線形処理画像生成手段と、
前記非線形処理画像生成手段による非線形処理の結果得られる画像の各画素値を前記輝度色差加算画像の画素値に応じて求められる第３の増幅率によって増幅する第３の高周波数成分画像補正手段を含み、
前記第３の高周波数成分画像補正手段による増幅の結果得られる画像が前記前記第２の高周波数成分画像として用いられる
ことを特徴とする画像処理装置。
【請求項７】
前記非線形処理画像生成手段は、
前記第２の拡大画像に対して非線形処理を行った第１の非線形処理画像を生成する非線形処理手段と、
前記第１の非線形処理画像から高周波数成分を取り出し、前記第２の中間画像とする第３の高周波数成分画像生成手段を含む
ことを特徴とする請求項３に記載の画像処理装置。
【請求項８】
前記非線形処理画像生成手段は、
前記第２の拡大画像に対して非線形処理を行った第１の非線形処理画像を生成する非線形処理手段と、
前記第１の非線形処理画像から高周波数成分を取り出し、前記第２の中間画像とする第３の高周波数成分画像生成手段を含む
ことを特徴とする請求項６に記載の画像処理装置。
【請求項９】
前記第１の高周波数成分画像生成手段は、
前記入力画像の各画素について水平方向近傍に存在する画素の画素値を用いて水平方向高周波数成分画像を生成する第１の水平方向高周波数成分画像生成手段を有し、
前記第２の画像拡大手段は、
前記第１の水平方向高周波数成分画像を拡大し、第３の拡大画像を出力する第３の画像拡大手段を有し、
前記第２の拡大画像は、前記第３の拡大画像を含み、
前記第２の高周波数成分画像生成手段は、
前記第３の拡大画像の高周波数成分のみを取り出し、第１の水平方向中間画像を出力する第２の水平方向高周波数成分画像生成手段を有し、
前記非線形処理手段は、
前記第３の拡大画像に対して非線形処理を行った第２の非線形処理画像を出力する水平方向非線形処理手段を有し、
前記第３の高周波数成分画像生成手段は、
前記第２の非線形処理画像から高周波数成分を取り出し、第２の水平方向中間画像を出力する第３の水平方向高周波数成分画像生成手段を有し、
前記第１の中間画像は前記第１の水平方向中間画像を含み、
前記第２の中間画像は前記第２の水平方向中間画像を含み、
前記第１の画素値増幅手段は、前記第１の増幅率で前記第１の水平方向中間画像の各画素値を増幅した第３の水平方向中間画像を出力する第１の水平方向画素値増幅手段を有し、
前記第２の画素値増幅手段は、前記第２の増幅率で前記第２の水平方向中間画像の各画素値を増幅した第４の水平方向中間画像を出力する第２の水平方向画素値増幅手段を有し、
前記第３の中間画像は前記第３の水平方向中間画像を含み、
前記第４の中間画像は前記第４の水平方向中間画像を含む
ことを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
前記水平方向非線形処理手段は、
前記第３の拡大画像の画素値が正から負もしくは負から正へと変化する箇所をゼロクロス点として判定する水平方向ゼロクロス判定手段と、
前記水平方向ゼロクロス判定手段の判定結果に応じて決められる増幅率で前記第３の拡大画像の画素値を増幅する水平方向信号増幅手段とを有し、
前記第３の高周波数成分画像生成手段は、前記水平方向信号増幅手段の出力する画像から高周波数成分を取り出す第３の水平方向高周波数成分画像生成手段を有する
ことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記水平方向信号増幅手段は、
前記水平方向ゼロクロス判定手段で判定されたゼロクロス点を含む第１の領域内に存在する画素の画素値に対する増幅率を１より大きな値とし、それ以外の画素の画素値に対する増幅率を１とする
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記第１の領域は前記第２の画像拡大手段における拡大率に応じて定められる
ことを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記第１の領域に存在する画素に対する増幅率は画素に応じて定められる
ことを特徴とする請求項１１又は１２に記載の画像処理装置。
【請求項１４】
前記第１の高周波数成分画像生成手段は、
前記入力画像の各画素について垂直方向近傍に存在する画素の画素値を用いて垂直方向高周波数成分画像を生成する第１の垂直方向高周波数成分画像生成手段を有し、
前記第２の画像拡大手段は、
前記第１の垂直方向高周波数成分画像を拡大し、第４の拡大画像を出力する第４の画像拡大手段を有し、
前記第２の拡大画像は、前記第４の拡大画像を含み、
前記第２の高周波数成分画像生成手段は、
前記第４の拡大画像の高周波数成分のみを取り出し、第１の垂直方向中間画像を出力する第２の垂直方向高周波数成分画像生成手段を有し、
前記非線形処理手段は、
前記第４の拡大画像に対して非線形処理を行った第３の非線形処理画像を出力する垂直方向非線形処理手段を有し、
前記第３の高周波数成分画像生成手段は、
前記第３の非線形処理画像から高周波数成分を取り出し、第２の垂直方向中間画像を出力する第３の垂直方向高周波数成分画像生成手段を有し、
前記第１の中間画像は前記第１の垂直方向中間画像を含み、
前記第２の中間画像は前記第２の垂直方向中間画像を含み、
前記第１の画素値増幅手段は、前記第１の増幅率で前記第１の垂直方向中間画像の各画素値を増幅した第３の垂直方向中間画像を出力する第１の垂直方向画素値増幅手段を有し、
前記第２の画素値増幅手段は、前記第２の増幅率で前記第２の垂直方向中間画像の各画素値を増幅した第４の垂直方向中間画像を出力する第２の垂直方向画素値増幅手段を有し、
前記第３の中間画像は前記第３の垂直方向中間画像を含み、
前記第４の中間画像は前記第４の垂直方向中間画像を含む
ことを特徴とする請求項７、９乃至１３のいずれかに記載の画像処理装置。
【請求項１５】
前記垂直方向非線形処理手段は、
前記第４の拡大画像の画素値が正から負もしくは負から正へと変化する箇所をゼロクロス点として判定する垂直方向ゼロクロス判定手段と、
前記垂直方向ゼロクロス判定手段の判定結果に応じて決められる増幅率で前記第４の拡大画像の画素値を増幅する垂直方向信号増幅手段とを有し、
前記第３の高周波数成分画像生成手段が、前記垂直方向信号増幅手段の出力する画像から高周波数成分を取り出す第３の垂直方向高周波数成分画像生成手段を有する
ことを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
前記垂直方向信号増幅手段は、
前記垂直方向ゼロクロス判定手段で判定されたゼロクロス点を含む第２の領域内に存在する画素の画素値に対する増幅率を１より大きな値とし、それ以外の画素の画素値に対する増幅率を１とする
ことを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
前記第２の領域は前記第２の画像拡大手段における拡大率に応じて定められる
ことを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
前記第２の領域に存在する画素に対する増幅率は画素に応じて定められる
ことを特徴とする請求項１６又は１７に記載の画像処理装置。
【請求項１９】
請求項１乃至１８のいずれかに記載の画像処理装置を備えたことを特徴とする画像表示装置。
【請求項２０】
カラー画像を拡大する画像処理方法において、
前記カラー画像の輝度成分を表す画像を拡大し、第１の拡大画像を出力する第１の画像拡大ステップと、
前記カラー画像の輝度成分を表す画像の高周波数成分を取り出し、第１の高周波数成分画像を生成する第１の高周波数成分画像生成ステップと、
前記第１の高周波数成分画像を拡大し、第２の拡大画像を出力する第２の画像拡大ステップと、
前記カラー画像の色差成分を表す画像を拡大した色差拡大画像を出力する画像拡大ステップと、
前記第１の拡大画像と前記色差拡大画像の絶対値を加重加算した輝度色差加算画像を出力する輝度色差加算ステップと、
前記第２の拡大画像と前記輝度色差加算画像を入力とし、第２の高周波数成分画像を出力する高周波数成分画像処理ステップと、
前記第１の拡大画像と前記第２の高周波数成分画像を加算する第１の加算ステップとを有する画像処理方法において、
前記高周波数成分画像処理ステップは、
前記第２の拡大画像の高周波数成分を取り出す第２の高周波数成分画像生成ステップと、
前記第２の拡大画像に対して非線形処理を含む処理を行う非線形処理画像生成ステップと、
前記第２の高周波数成分画像生成ステップにより得られる画像及び前記非線形処理画像生成ステップにより得られる画像を加算する第２の加算ステップとを含み、
前記第２の高周波数成分画像生成ステップにより得られる画像、及び前記非線形処理画像生成ステップにより得られる画像の少なくとも一つに対し、前記第２の加算ステップによる加算の前に、前記輝度色差加算画像の画素値とに応じて求められる増幅率によって増幅する高周波数成分画像補正ステップをさらに有する
ことを特徴とする画像処理方法。
【請求項２１】
カラー画像を拡大する画像処理方法において、
前記カラー画像の輝度成分を表す画像を拡大し、第１の拡大画像を出力する第１の画像拡大ステップと、
前記カラー画像の輝度成分を表す画像の高周波数成分を取り出し、第１の高周波数成分画像を生成する第１の高周波数成分画像生成ステップと、
前記第１の高周波数成分画像を拡大し、第２の拡大画像を出力する第２の画像拡大ステップと、
前記カラー画像の色差成分を表す画像を拡大した色差拡大画像を出力する画像拡大ステップと、
前記第１の拡大画像と前記色差拡大画像の絶対値を加重加算した輝度色差加算画像を出力する輝度色差加算ステップと、
前記第２の拡大画像と前記輝度色差加算画像を入力とし、第２の高周波数成分画像を出力する高周波数成分画像処理ステップと、
前記第１の拡大画像と前記第２の高周波数成分画像を加算する第１の加算ステップとを有する画像処理方法において、
前記高周波数成分画像処理ステップは、
前記第２の拡大画像に対して非線形処理を含む処理を行った第２の中間画像を出力する非線形処理画像生成ステップを含み、さらに、
前記第２の中間画像の各画素値を前記輝度色差加算画像の画素値に応じて求められる増幅率によって増幅する第２の高周波数成分画像補正ステップを含み、
前記第２の高周波数成分画像補正ステップによる増幅の結果生成される画像を前記第２の高周波数成分画像として出力する
ことを特徴とする画像処理方法。
【請求項２２】
請求項２０又は２１に記載の画像処理方法により処理された画像を表示することを特徴とする画像表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【公開番号】特開２０１１−４９８７９（Ｐ２０１１−４９８７９Ａ）
【公開日】平成２３年３月１０日（２０１１．３．１０）
【国際特許分類】
【出願番号】特願２００９−１９７１７８（Ｐ２００９−１９７１７８）
【出願日】平成２１年８月２７日（２００９．８．２７）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２３年３月１０日（２０１１．３．１０）
【国際特許分類】
【出願日】平成２１年８月２７日（２００９．８．２７）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]