画像処理装置、画像処理方法、及び、プログラム
【課題】画像の階調を向上させる。
【解決手段】ΔΣ変調部３１は、そこに供給される画像に、ΔΣ変調を施し、その結果られる変調画像は、記憶部２１に記憶される。信号処理部２２は、記憶部２１に記憶された変調画像に、所定の信号処理を施す。ΔΣ変調部３１のΔΣ変調によるノイズシェーピングの周波数特性は、信号処理部２２の所定の信号処理の周波数特性の逆の特性になっている。本発明は、画像に、拡大処理等の所定の信号処理が施される場合に、その所定の信号処理の対象となる画像を生成する場合に適用できる。
【解決手段】ΔΣ変調部３１は、そこに供給される画像に、ΔΣ変調を施し、その結果られる変調画像は、記憶部２１に記憶される。信号処理部２２は、記憶部２１に記憶された変調画像に、所定の信号処理を施す。ΔΣ変調部３１のΔΣ変調によるノイズシェーピングの周波数特性は、信号処理部２２の所定の信号処理の周波数特性の逆の特性になっている。本発明は、画像に、拡大処理等の所定の信号処理が施される場合に、その所定の信号処理の対象となる画像を生成する場合に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及び、プログラムに関し、特に、例えば、画像に、所定の信号処理が施される場合に、その所定の信号処理によって得られる画像の階調を向上させることができるようにする画像処理装置、画像処理方法、及び、プログラムに関する。
【背景技術】
【０００２】
図１は、従来の画像処理システム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは問わない）の一例の構成を示している。
【０００３】
図１において、画像処理システムは、記憶用画像生成装置１０と、表示用画像生成装置２０とから構成される。
【０００４】
記憶用画像生成装置１０は、量子化部１１から構成され、表示用画像生成装置２０に記憶させる画像を生成する。
【０００５】
すなわち、表示用画像生成装置２０は、例えば、テレビジョン受像機（以下、TV(Television)ともいう）に適用することができ、TVに適用された表示用画像生成装置２０は、例えば、メニュー画面の画像や何らかの背景となる背景画像等を記憶する。記憶用画像生成装置１０は、表示用画像生成装置２０が記憶する画像を生成する。
【０００６】
具体的には、記憶用画像生成装置１０には、例えば、デザイナが、画像作成ツールを使用して、メニュー画面の原画像として作成した、例えば、RGB(Red,Green,Blue)の各成分が16ビットの画像（以下、16ビット画像ともいう）等の多ビットの画像が供給される。
【０００７】
記憶用画像生成装置１０では、量子化部１１が、容量や、表示用画像生成装置２０での演算量の削減のために、記憶用画像生成装置１０に供給される16ビット画像を、16ビットより小の、例えば、8ビットに量子化する。そして、記憶用画像生成装置１０は、量子化部１１での量子化により得られる8ビット画像（RGBの各成分が8ビットの画像）を、例えば、PNG(Portable Network Graphics)等の形式の画像ファイルで出力する。
【０００８】
表示用画像生成装置２０は、記憶部２１、信号処理部２２、及び、階調変換部２３から構成される。
【０００９】
記憶部２１は、例えば、フラッシュメモリ等であり、記憶用画像生成装置１０が出力する画像ファイルを記憶している。
【００１０】
すなわち、記憶用画像生成装置１０が出力する画像ファイルは、表示用画像生成装置２０を適用したTVを製造する工場等において、記憶部２１に書き込まれる（記憶される）。
【００１１】
信号処理部２２は、記憶部２１に記憶された画像ファイルに格納されたメニュー画面の8ビット画像に必要な信号処理を施し、階調変換部２３に供給する。
【００１２】
階調変換部２３は、信号処理部２２からの画像を、8ビット画像に階調変換し、例えば、8ビット画像を表示することが可能な図示せぬディスプレイ（以下、8ビットディスプレイともいう）に供給する。
【００１３】
すなわち、信号処理部２２において、8ビット画像に対して行われる信号処理の結果得られる画像は、8ビット画像よりも、多ビットの画像になることがある。8ビット画像より多ビットの画像は、そのままでは、8ビットディスプレイで表示することができないため、階調変換部２３は、信号処理部２２からの画像を、8ビット画像に階調変換する。
【００１４】
ここで、階調変換部２３では、画像に、ノイズを付加してから、その画像の量子化を行うディザリング処理が、階調変換として行われる。本明細書では、ディザリング処理には、ディザ法や誤差拡散法等が含まれる。ディザ法では、画像に、ランダムノイズ等の、画像に関係ないノイズを付加してから、その画像の量子化が行われる。誤差拡散法では、画像に、ノイズとしての、画像の量子化誤差（のフィルタリング結果）を付加（誤差拡散）してから、その画像の量子化が行われる（例えば、非特許文献１を参照）。
【００１５】
なお、階調変換部２３は、信号処理部２２からの画像が、8ビット画像より多ビットの画像である場合に、階調変換を行う。信号処理部２２からの画像が、8ビット画像である場合、階調変換部２３は、8ビット画像を、そのまま、8ビットディスプレイに供給する。
【００１６】
また、記憶部２１の画像ファイルに格納されたメニュー画面の8ビット画像は、例えば、ユーザがメニュー画面を表示するように操作を行った場合等に、上述したように処理されて、8ビットディスプレイに表示される。
【００１７】
【非特許文献１】貴家仁志著，「よくわかるディジタル画像処理」，第6版，CQ出
【発明の開示】
【発明が解決しようとする課題】
【００１８】
階調変換部２３でのディザリング処理による階調変換によれば、人の視覚の積分効果を利用して、多ビットの画像と同等の階調を、擬似的に実現することができる。
【００１９】
すなわち、例えば、図１の表示用画像生成装置２０では、メニュー画面については、記憶部２１の画像ファイルに、8ビット画像が記憶されているので、その8ビット画像と同等の階調を実現することができる。
【００２０】
しかしながら、メニュー画面について、記憶部２１の画像ファイルに格納された8ビット画像よりも多ビットの画像と同等の階調を実現することは困難である。
【００２１】
すなわち、メニュー画面の原画像は、デザイナが作成した16ビット画像であるが、記憶用画像生成装置１０において、その原画像としての16ビット画像が、8ビット画像に量子化され、表示用画像生成装置２０の記憶部２１に記憶される。
【００２２】
表示用画像生成装置２０では、記憶部２１に記憶されたメニュー画面の8ビット画像が、信号処理部２２で信号処理され、さらに、階調変換部２３で階調変換されて表示される。
【００２３】
このように、メニュー画面の画像は、信号処理の後に、階調変換がされて表示されるが、表示用画像生成装置２０では、信号処理の対象となる画像が、8ビット画像であるために、その8ビット画像の階調を超える階調の画像を、階調変換によって実現することは困難である。
【００２４】
このため、メニュー画面としては、デザイナが意図した画像よりも階調が大幅に劣化した画像が表示される。
【００２５】
本発明は、このような状況に鑑みてなされたものであり、画像に、所定の信号処理が施される場合に、その所定の信号処理によって得られる画像の階調を向上させることができるようにするものである。
【課題を解決するための手段】
【００２６】
本発明の一側面の画像処理装置、又は、プログラムは、画像にΔΣ変調を施して得られる変調画像に対し、信号処理部において、所定の信号処理が施される場合の、前記画像に、前記ΔΣ変調を施すΔΣ変調手段を備え、前記ΔΣ変調によるノイズシェーピングの周波数特性は、前記所定の信号処理の周波数特性の逆の特性になっている画像処理装置、又は、画像処理装置として、コンピュータを機能させるプログラムである。
【００２７】
本発明の一側面の画像処理方法は、画像にΔΣ変調を施して得られる変調画像に対し、信号処理部において、所定の信号処理が施される場合の、前記画像に、前記ΔΣ変調を施すステップを含み、前記ΔΣ変調によるノイズシェーピングの周波数特性は、前記所定の信号処理の周波数特性の逆の特性になっている画像処理方法である。
【００２８】
以上のような本発明の一側面においては、画像にΔΣ変調を施して得られる変調画像に対し、信号処理部において、所定の信号処理が施される場合の、前記画像に、前記ΔΣ変調が施される。前記ΔΣ変調によるノイズシェーピングの周波数特性は、前記所定の信号処理の周波数特性の逆の特性になっている。
【００２９】
なお、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【００３０】
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００３１】
本発明の一側面によれば、画像の階調を向上させることができる。特に、例えば、画像に、所定の信号処理が施される場合に、その所定の信号処理によって得られる画像の階調を向上させることができる。
【発明を実施するための最良の形態】
【００３２】
［本発明を適用した画像処理システムの一実施の形態の全体構成例］
【００３３】
図２は、本発明を適用した画像処理システムの一実施の形態の構成例を示している。
【００３４】
なお、図中、図１の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【００３５】
図２の画像処理システムは、表示用画像生成装置２０を有する点で、図１の場合と共通する。但し、図２の画像処理システムは、記憶用画像生成装置１０（図１）に代えて、記憶用画像生成装置３０が設けられている点で、図１の場合と相違する。
【００３６】
記憶用画像生成装置３０は、ΔΣ変調部３１を有する。
【００３７】
記憶用画像生成装置３０には、例えば、デザイナがメニュー画面の原画像として作成した16ビット画像が供給される。
【００３８】
記憶用画像生成装置３０のΔΣ変調部３１は、容量や、表示用画像生成装置２０での演算量の削減のために、記憶用画像生成装置１０に供給される16ビット画像に、ΔΣ変調、すなわち、誤差拡散法による階調変換を施し、その16ビット画像を8ビット画像とする。
【００３９】
ここで、ΔΣ変調では、処理をしようとして注目している画素である注目画素に空間的に近い画素の画素値の量子化誤差であるノイズが、人の視覚の感度が低い空間周波数の高域にノイズシェーピングされる。そして、そのノイズシェーピング後のノイズを、注目画素の画素値に加算する誤差拡散が行われ、ノイズの加算後の画素値が、所望のビット数である8ビットに量子化される。
【００４０】
ΔΣ変調では、上述のように、ノイズ（量子化誤差）が加算された後の画素値が量子化される。そのため、その量子化後（階調変換後）の画像では、下位ビットを切り捨てるだけでは一定値となる部分の画素値が、PWM(Pulse Width Modulation)がされたようになる。その結果、ΔΣ変調後の画像の階調は、人の視覚で空間方向の積分が行われるという空間積分効果によって、滑らかに変化しているように見える。すなわち、元の画像と同等の階調（例えば、元の画像が、上述したように、16ビット画像であれば、216階調）を、擬似的に表現することができる。
【００４１】
なお、詳細については後述するが、ΔΣ変調部３１のΔΣ変調によるノイズシェーピングの周波数特性（振幅特性）は、表示用画像生成装置２０の信号処理部２２で行われる信号処理（所定の信号処理）の周波数特性の逆の特性になっている。
【００４２】
また、ΔΣ変調部３１でのΔΣ変調によって得られる画像を、以下、変調画像ともいう。
【００４３】
記憶用画像生成装置３０では、ΔΣ変調部３１でのΔΣ変調により得られる変調画像としての8ビット画像が、例えば、PNG等の形式の画像ファイルで出力される。
【００４４】
そして、記憶用画像生成装置１０が出力する画像ファイルは、表示用画像生成装置２０を適用したTVを製造する工場等において、記憶部２１に書き込まれる。
【００４５】
［ΔΣ変調部３１の構成例］
【００４６】
図３は、図２のΔΣ変調部３１の構成例を示している。
【００４７】
図３において、ΔΣ変調部３１は、演算部４１、量子化部４２、演算部４３、及び、フィルタ４４から構成される。
【００４８】
演算部４１には、メニュー画面の原画像である16ビット画像が、ΔΣ変調の対象の画像（以下、対象画像ともいう）として供給される。さらに、演算部４１には、対象画像としての16ビット画像の画素値を量子化した量子化値の量子化誤差の空間方向のフィルタリングを行うフィルタ４４の出力Pが供給される。
【００４９】
演算部４１は、対象画像の画素を、ラスタスキャン順に注目画素とし、注目画素の16ビットの画素値INと、フィルタ４４の出力Pとを加算し、その結果得られる加算値Uを、量子化部４２、及び演算部４３に供給（出力）する。
【００５０】
量子化部４２は、演算部４１の出力である加算値Uを、対象画像のビット数である16ビットより少ない、例えば、8ビットに量子化し、その結果得られる8ビットの量子化値を、画素値INのΔΣ変調の結果である変調画素値OUTとして出力する。
【００５１】
量子化部４２が出力する8ビットの変調画素値OUTは、変調画像としての8ビット画像の画素値になる。さらに、量子化部４２が出力する8ビットの変調画素値OUTは、演算部４３に供給される。
【００５２】
演算部４３は、演算部４１の出力である加算値Uと、量子化部４２の出力である、加算値Uの量子化値である8ビットの変調画素値OUTとの差分U-OUTを演算することにより、量子化値である変調画素値OUTに含まれる量子化誤差Qを求めて出力する。
【００５３】
演算部４３が出力する量子化誤差Qは、フィルタ４４に供給される。
【００５４】
フィルタ４４は、例えば、空間方向の２次元（水平方向及び垂直方向）のフィルタリングを行うFIR(Finite Impulse Response)フィルタであり、演算部４３からの量子化誤差Qの、空間方向のフィルタリングを行う。さらに、フィルタ４４は、そのフィルタリング結果(P)を、演算部４１に供給（出力）する。
【００５５】
ここで、フィルタ４４の伝達関数をGと表すこととすると、量子化部４２が出力する変調画素値OUTは、式（１）で表される。
【００５６】
OUT＝IN-(1-G)Q
・・・（１）
【００５７】
式（１）では、量子化誤差Qが、-(1-G)で変調されているが、この-(1-G)での変調が、空間方向のΔΣ変調によるノイズシェーピングである。
【００５８】
［フィルタ４４の構成例］
【００５９】
図４は、図３のフィルタ４４の構成例を示している。
【００６０】
図４において、フィルタ４４は、１２タップの２次元のFIRフィルタであり、１２個の演算部５１1,3，５１1,2，５１1,1，５１2,3，５１2,2，５１2,1，５１3,2，５１3,1，５１4,1，５１4,2，５１5,1、及び、５１5,2、並びに、１個の演算部５２等から構成される。
【００６１】
いま、注目画素を中心とする、横×縦が5×5画素のうちの、左からx番目で、上からy番目の画素の量子化誤差を、Q(x,y)と表すこととすると、演算部５１x,yには、量子化誤差Q(x,y)が供給される。
【００６２】
すなわち、図４では、演算部５１x,yには、注目画素を中心とする、横×縦が5×5画素のうちの、ラスタスキャン順で、注目画素より先に処理される（注目画素にされる）12画素それぞれの量子化誤差Q(x,y)が供給される。
【００６３】
演算部５１x,yは、そこに供給される量子化誤差Q(x,y)と、あらかじめ設定されたフィルタ係数a(x,y)とを乗算し、その結果得られる乗算値を、演算部５２に供給する。
【００６４】
演算部５２は、１２個の演算部５１x,yそれぞれから供給される乗算値を加算し、その加算値Pを、量子化誤差のフィルタリング結果として、演算部４１（図３）に出力する。
【００６５】
図３の演算部４１では、以上のように、注目画素を中心とする5×5画素のうちの、ラスタスキャン順で、注目画素より先に処理される12画素それぞれの量子化誤差Q(x,y)を用いて得られるフィルタリング結果が、注目画素の画素値INに加算される。
【００６６】
［記憶用画像生成装置３０の処理］
【００６７】
図５を参照して、図２の記憶用画像生成装置３０が行う画像処理（記憶用画像生成処理）について説明する。
【００６８】
記憶用画像生成装置３０は、そこに16ビット画像のあるフレーム（１画面分）が供給されるのを待って受信する。そして、記憶用画像生成装置３０は、ステップＳ１０において、16ビット画像を対象画像としてΔΣ変調を行い、その結果得られる8ビット画像を、変調画像として出力する。
【００６９】
すなわち、記憶用画像生成装置３０のΔΣ変調部３１（図３）では、演算部４１が、そこに対象画像のあるフレームが供給されるのを待って受信し、そのフレームの画素のうちの、ラスタスキャン順で、まだ注目画素としていない画素を、注目画素とする。そして、演算部４１は、ステップＳ１１において、注目画素の画素値と、フィルタ４４が直前に行った、後述するステップＳ１４のフィルタリングで得られた値（フィルタ４４の出力）とを加算し、その結果得られる加算値を、量子化部４２、及び演算部４３に出力して、処理は、ステップＳ１２に進む。
【００７０】
ステップＳ１２では、量子化部４２が、演算部４１の出力である加算値を量子化し、量子化誤差を含む量子化値を、変調画像の、注目画素の位置の画素の変調画素値として出力し、処理は、ステップＳ１３に進む。
【００７１】
量子化部４２が出力する量子化値である変調画素値は、演算部４３に供給される。
【００７２】
演算部４３は、ステップＳ１３において、演算部４１の出力である加算値と、量子化部４２の出力（演算部４１の出力である加算値の量子化値）（変調画素値）との差分を演算することにより、量子化部４２の量子化による量子化誤差を求める。さらに、演算部４３は、量子化誤差を、フィルタ４４に供給して、処理は、ステップＳ１３からステップＳ１４に進む。
【００７３】
ステップＳ１４では、フィルタ４４が、演算部４３からの量子化誤差の、空間方向のフィルタリングを行い、そのフィルタリング結果を、演算部４１に供給（出力）する。
【００７４】
その後、演算部４１は、ラスタスキャン順で、注目画素の次の画素を、新たな注目画素とする。そして、処理は、ステップＳ１４からステップＳ１１に戻り、新たな注目画素の画素値と、直前のステップＳ１４で、フィルタ４４から供給されたフィルタリング結果とを加算し、以下、同様の処理が繰り返される。
【００７５】
なお、ステップＳ１１ないしＳ１４の処理は、記憶用画像生成装置３０に16ビット画像が供給されなくなるまで、繰り返し行われる。
【００７６】
［表示用画像生成装置２０が適用されたTVの構成例］
【００７７】
次に、図２（及び図１）の表示用画像生成装置２０は、例えば、TV等の画像を扱う装置に適用することができる。
【００７８】
図６は、図２の表示用画像生成装置２０を適用したTVの構成例を示している。
【００７９】
図６において、TV６０は、記憶部６１、信号処理部６２、階調変換部６３、及び、ブレンド部６４から構成される。
【００８０】
記憶部６１は、図２の記憶部２１に対応し、例えば、デザイナがメニュー画面の原画像として作成した16ビット画像にΔΣ変調を施して得られる変調画像としての8ビット画像が格納された画像ファイルを記憶している。
【００８１】
信号処理部６２は、図２の信号処理部２２に対応し、記憶部６１の画像ファイルに格納されたメニュー画面の8ビット画像に必要な信号処理を施し、ブレンド部６４に供給する。
【００８２】
ここで、記憶部６１の画像ファイルに格納された8ビット画像は、容量等の削減のために、横及び縦のサイズそれぞれが、メニュー画面の原画像である16ビット画像の、例えば、1/2のサイズの画像になっている。
【００８３】
このため、信号処理部６２は、記憶部２１の画像ファイルに格納されたメニュー画面の8ビット画像に対して、2倍の拡大率で拡大する拡大処理を、信号処理として施し、原画像と同一のサイズの8ビット画像を得て、ブレンド部６４に供給する。
【００８４】
階調変換部６３は、図２の階調変換部２３に対応し、ブレンド部６４からの後述する合成画像を、8ビット画像に階調変換し、図示せぬ8ビットディスプレイに供給して表示させる。
【００８５】
ブレンド部６４は、信号処理部６２から供給されるメニュー画面の8ビット画像と、テレビジョン放送等の番組の画像（以下、コンテンツ画像ともいう）とを合成した合成画像を生成し、階調変換部６３に供給する。
【００８６】
すなわち、ブレンド部６４は、演算部６５，６６、及び６７から構成され、所定の係数αを用いて、いわゆるαブレンディングを行う。
【００８７】
演算部６５には、信号処理部６２からのメニュー画面の8ビット画像が供給される。演算部６５は、信号処理部６２からのメニュー画面の8ビット画像に、αブレンディング用の係数α（αは、0ないし1の範囲の値）を乗算し、その結果得られる乗算値を、演算部６７に供給する。
【００８８】
演算部６６には、図示せぬチューナ等から、コンテンツ画像が供給される。演算部６６は、コンテンツ画像に、係数1-αを乗算し、その結果得られる乗算値を、演算部６７に供給する。
【００８９】
演算部６７は、演算部６５からの乗算値と、演算部６６からの乗算値とを加算することにより、コンテンツ画像に、メニュー画面が重畳された合成画像を生成し、階調変換部６３に供給する。
【００９０】
以上のように構成されるTV６０では、信号処理部６２は、記憶部６１の画像ファイルに格納されたメニュー画面の8ビット画像に対して、2倍の拡大率で拡大する拡大処理を、信号処理として施し、原画像と同一のサイズの8ビット画像を得て、ブレンド部６４に供給する。
【００９１】
ブレンド部６４では、演算部６５が、信号処理部６２からのメニュー画面の8ビット画像と、係数αとを乗算し、その結果得られる乗算値を、演算部６７に供給する。さらに、演算部６６が、コンテンツ画像に、係数1-αを乗算し、その結果得られる乗算値を、演算部６７に供給する。演算部６７は、演算部６５からの乗算値と、演算部６６からの乗算値とを加算することにより、合成画像を生成し、階調変換部６３に供給する。
【００９２】
階調変換部６３は、ブレンド部６４からの合成画像を、8ビット画像に階調変換し、図示せぬ8ビットディスプレイに供給して表示させる。
【００９３】
［記憶用画像生成装置１０が適用された画像処理装置の構成例］
【００９４】
次に、表示用画像生成装置２０が適用されたTV６０の記憶部６１に、上述したように、サイズが、メニュー画面の原画像である16ビット画像の1/2のサイズになっている8ビット画像（が格納された画像ファイル）が記憶される場合に、そのような8ビット画像を生成する画像処理装置について説明する。
【００９５】
図７は、図１の記憶用画像生成装置１０を適用した画像処理装置の構成例を示している。
【００９６】
図７において、画像処理装置７０は、縮小部７１と量子化部７２から構成される。
【００９７】
縮小部７１には、メニュー画面の原画像である16ビット画像が供給される。縮小部７１は、メニュー画面の原画像である16ビット画像のサイズを、信号処理部６２（図６）での拡大処理の拡大率に対応する縮小率である1/2に従って縮小する。そして、縮小部７０は、サイズの縮小によって得られる16ビットの縮小画像（RGBの各成分が16ビットの縮小画像）を、量子化部７２に出力する。
【００９８】
量子化部７２は、図１の量子化部１１に対応し、縮小部７１からの16ビットの縮小画像を、8ビットに量子化する。
【００９９】
そして、画像処理装置７０は、量子化部７２での量子化により得られる8ビットの縮小画像を、画像ファイルに格納して出力する。
【０１００】
［画像処理装置７０で扱われる画像、及び、TV６０に、画像処理装置７０で得られる8ビットの縮小画像が記憶されている場合に、TV６０で扱われる画像］
【０１０１】
次に、図７の画像処理装置７０で扱われる画像、及び、TV６０（図６）の記憶部６１に、画像処理装置７０で得られる8ビットの縮小画像が記憶されている場合に、TV６０で扱われる画像について説明する。
【０１０２】
図８は、図７の画像処理装置７０で扱われる画像を示している。
【０１０３】
なお、図８において（後述する図９ないし図１２、図１８、及び図１９でも同様）、横軸は、水平方向（又は垂直方向）に並ぶ画素の位置を表し、縦軸は、画素値を表す。
【０１０４】
図８Ａは、縮小部７１（図７）において、メニュー画面の原画像である16ビット画像のサイズを1/2に縮小することで得られる16ビットの縮小画像を示している。
【０１０５】
図８Ａの16ビットの縮小画像においては、左から1番目の画素から200番目の画素までの画素値が、100から110に滑らかに（線形に）変化している。
【０１０６】
図８Ｂは、量子化部７２（図７）において、図８Ａの16ビットの縮小画像を、8ビットに量子化することで得られる8ビットの縮小画像を示している。
【０１０７】
図８Ｂの8ビットの縮小画像においては、左から1番目の画素から200番目の画素までの画素値が、100から110に、階段状に変化しており、量子化部７２での量子化によって、階調が、図８Ａの16ビットの縮小画像に比較して低下している。すなわち、図８Ｂの8ビットの縮小画像は、量子化部７２での量子化によって、28階調の画像になる。
【０１０８】
図９は、図６のTV６０の記憶部６１に、図８Ｂの8ビットの縮小画像が記憶されている場合に、TV６０で扱われる画像を示している。
【０１０９】
すなわち、図９Ａは、信号処理部６２（図６）において、図８Ｂの8ビットの縮小画像のサイズを2倍に拡大することで得られる、メニュー画面の原画像と同一のサイズの画像（以下、元サイズ画像ともいう）を示している。
【０１１０】
図９Ａの元サイズ画像においては、左から1番目の画素から200番目の画素までの2倍の範囲の、左から1番目の画素から400番目の画素までの画素値が、100から109に、階段状に変化しており、図８Ｂの場合と同様に、量子化部７２での量子化によって、階調が、図８Ａの16ビットの縮小画像に比較して低下している。
【０１１１】
図９Ｂは、演算部６５（図６）において、図９Ａの元サイズ画像に、係数αを乗算して得られる画像（以下、α倍画像ともいう）を示している。
【０１１２】
すなわち、図９Ｂは、係数αを、例えば、0.5に設定した場合に、演算部６５において得られるα倍画像を示している。
【０１１３】
図９Ｂのα倍画像においては、左から1番目の画素から400番目の画素までの画素値が、図９Ａの場合の100から109の0.5(=α)倍である50から54.5に、階段状に変化しており、図８Ｂ及び図９Ａの場合と同様に、階調が低下している。
【０１１４】
図１０は、コンテンツ画像を示している。
【０１１５】
すなわち、図１０Ａは、演算部６６（図６）に供給されるコンテンツ画像を示している。
【０１１６】
図１０Ａのコンテンツ画像においては、左から1番目の画素から400番目の画素までの画素値が、一定値である60になっている。
【０１１７】
図１０Ｂは、演算部６６（図６）において、図１０Ａのコンテンツ画像に、係数1-αを乗算して得られる画像（以下、1-α倍画像ともいう）を示している。
【０１１８】
すなわち、図１０Ｂは、係数αを、例えば、図９で説明したように、0.5に設定した場合に、演算部６６において得られる1-α倍画像を示している。
【０１１９】
図１０Ｂの1-α倍画像においては、左から1番目の画素から400番目の画素までの画素値が、図１０Ａの場合の60の0.5(=1-α)倍である30になっている。
【０１２０】
図１１は、演算部６７（図６）において、図９Ｂのα倍画像と、図１０Ｂの1-α倍画像とのαブレンディング（合成）を行うことによって得られる合成画像を示している。
【０１２１】
図１１の合成画像においては、左から1番目の画素から400番目の画素までの画素値が、50から54.5に階段状に変化する図９Ｂのα倍画像と、左から1番目の画素から400番目の画素までの画素値が30になっている図１０Ｂの1-α倍画像とが加算されることによって、左から1番目の画素から400番目の画素までの画素値が、80から84.5に、階段状に変化しており、図８Ｂ及び図９Ａの場合と同様に、階調が低下している。
【０１２２】
図１２は、図１１の合成画像を8ビットに階調変換して得られる階調変換後の画像（以下、階調変換後画像ともいう）を示している。
【０１２３】
すなわち、図１２Ａは、階調変換部６３（図６）において、量子化だけによって、図１１の合成画像を8ビットに階調変換した場合の、階調変換後画像を示している。
【０１２４】
図１２Ａの階調変換後画像においては、左から1番目の画素から400番目の画素までの画素値が、80から85に、より大きな段差の階段状に変化しており、図１１の場合よりも、さらに、階調が低下している。
【０１２５】
すなわち、合成画像の生成に用いられた図９Ｂのα倍画像は、図９Ａの元サイズ画像に、係数αとしての0.5(=2-1)を乗算して得られる画像である。そのようなα倍画像（を用いて生成された合成画像）を、量子化だけによって8ビットに階調変換すると、実質的に、27階調の画像になるため、階調が、階調変換前よりも低下する。
【０１２６】
図１２Ｂは、階調変換部６３（図６）において、ディザリング処理によって、図１１の合成画像を8ビットに階調変換した場合の、階調変換後画像を示している。
【０１２７】
図１２Ｂの階調変換後画像においては、画素値が、PWMがされたように変化しており、そのように変化する画素値が、視覚の空間積分効果によって、滑らかに変化しているように見える。
【０１２８】
すなわち、図１２Ｂの階調変換後画像において、メニュー画面の画像については、記憶部６１（図６）に記憶された8ビットの縮小画像と同等の階調が、擬似的に実現される。
【０１２９】
しかしながら、図１２Ｂの階調変換後画像において、メニュー画面の画像は、その原画像である16ビット画像と同等の階調の画像にはならない。
【０１３０】
なお、上述したように、演算部６５（図６）では、画素値が100から109に変化する図９Ａの元サイズ画像が、α(=0.5)倍されることで、画素値が50から54.5に変化する図９Ｂのα倍画像となる。
【０１３１】
したがって、図９Ｂのα倍画像では、画素値の変化が、図９Ａの元サイズ画像よりも緩やかになるので、そのようなα倍画像（を用いて生成された合成画像）を階調変換することで得られる階調変換後の合成画像には、バンディングが、より目立ちやすくなる。
【０１３２】
すなわち、画素値の変化が緩やかな画像の階調変換後の合成画像では、一定の画素値が長く連続する部分が増加し、階調の変化が帯のように見えるバンディングが目立ちやすくなる。
【０１３３】
［記憶用画像生成装置３０が適用された画像処理装置の構成例］
【０１３４】
階調変換後画像において、メニュー画面の画像を、擬似的に、その原画像である16ビット画像と同等の階調の画像とし、かつ、バンディングの目立たない画像とするには、階調変換の対象の画像、すなわち、ブレンド部６４（図６）で得られる合成画像が、16ビット画像と同等の階調の画像になっている必要がある。
【０１３５】
そこで、図１３は、図２の記憶用画像生成装置３０を適用した画像処理装置の構成例を示している。
【０１３６】
なお、図中、図７の画像処理装置７０と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１３７】
すなわち、図１３において、画像処理装置８０は、縮小部７１とΔΣ変調部８１から構成される。画像処理装置８０は、縮小部７１を有する点で、図７の画像処理装置７０と共通し、量子化部７２に代えて、ΔΣ変調部８１が設けられている点で、図７の画像処理装置７０と相違する。
【０１３８】
ΔΣ変調部８１には、縮小部７１において、メニュー画面の原画像である16ビット画像のサイズを、信号処理部６２（図６）での拡大処理の拡大率に対応する縮小率である1/2に縮小することで得られる16ビットの縮小画像が供給される。
【０１３９】
ΔΣ変調部８１は、図２のΔΣ変調部３１に対応し、縮小部７１からの16ビットの縮小画像に、ΔΣ変調を施し、その16ビットの縮小画像を8ビットの縮小画像とする。
【０１４０】
そして、画像処理装置８０は、ΔΣ変調部８１でのΔΣ変調により得られる8ビットの縮小画像を、画像ファイルに格納して出力する。
【０１４１】
［ΔΣ変調によるノイズシェーピングの周波数特性］
【０１４２】
図１３のΔΣ変調部８１のΔΣ変調によるノイズシェーピングの周波数特性は、TV６０（図６）の信号処理部６２で行われる信号処理の周波数特性の逆の特性になっている。
【０１４３】
そこで、ΔΣ変調部８１のΔΣ変調によるノイズシェーピングの周波数特性について説明するために、信号処理部６２で行われる信号処理の周波数特性について説明する。
【０１４４】
図６で説明したように、TV６０において、信号処理部６２は、記憶部６１の画像ファイルに格納されたメニュー画面の8ビット画像（8ビットの縮小画像）に対して、2倍の拡大率で拡大する拡大処理を、信号処理として施す。
【０１４５】
図１４は、そのような拡大処理を信号処理として行う信号処理部６２の構成例を示している。
【０１４６】
図１４において、信号処理部６２は、アップサンプル部９１と、LPF(Low Pass Filter)９２とから構成される。
【０１４７】
アップサンプル部９１には、記憶部６１（図６）の画像ファイルに格納されたメニュー画面の8ビットの縮小画像が供給される。
【０１４８】
アップサンプル部９１は、8ビットの縮小画像を構成する、隣接する画素どうしの間に、画素値が0値の画素を1個ずつ補間することにより、サイズが2倍になった8ビット画像を生成し、LPF９２に供給する。
【０１４９】
すなわち、アップサンプル部９１は、0値の補間によって、横及び縦の画素数が、いずれも、8ビットの縮小画像の2倍になった画像を生成し、LPF９２に供給する。
【０１５０】
LPF９２は、アップサンプル部９１からの画像をフィルタリングすることにより、アップサンプル部９１で0値が補間された画素の画素値を、例えば、線形補間し、その結果得られる、メニュー画面の原画像と同一のサイズの画像（元サイズ画像）を、ブレンド部６４（図６）に供給する。
【０１５１】
以上のように、信号処理部６２は、8ビットの縮小画像に、0値を補間し、LPF９２によるフィルタリングを行うことにより、画像を2倍の拡大率で拡大する拡大処理（縮小画像を、元のサイズに戻すリサイズの処理）を行う。
【０１５２】
ここで、いま、説明を簡単にするために、8ビットの縮小画像の水平方向にだけ注目すると、アップサンプル部９１は、8ビットの縮小画像の、水平方向に隣接する画素どうしの間に、画素値が0値の画素を1個ずつ補間することにより、水平方向のサイズが2倍になった画像を生成する。
【０１５３】
さらに、アップサンプル部９１は、画素値の平均値が変化しないように、水平方向のサイズが2倍になった画像の画素値を2倍にし、LPF９２に供給する。
【０１５４】
LPF９２は、例えば、水平方向に連続する3画素（の画素値）と乗算されるフィルタ係数が、1/4,1/2/,1/4のFIRフィルタであり、アップサンプル部９１からの画像を、水平方向にフィルタリングする。これにより、LPF９２からは、アップサンプル部９１で補間された画素の画素値が線形補間された元サイズ画像が出力される。
【０１５５】
信号処理部６２が、以上のように、アップサンプル部９１及びLPF９２で構成される場合には、ΔΣ変調部８１（図１３）のΔΣ変調によるノイズシェーピングの周波数特性は、LPF９２の周波数特性の逆の特性になっている。
【０１５６】
すなわち、図１５は、LPF９２の周波数特性（振幅特性）を示している。
【０１５７】
なお、図１５において（後述する図１６でも同様）、横軸は、LPF９２によるフィルタリングの対象となる画像（0値が補間された画像）の画素のサンプリング周波数の1/2を1とする周波数（以下、正規化周波数ともいう）を表す。また、縦軸は、dBを単位とする利得を表す。
【０１５８】
ΔΣ変調部８１（図１３）は、LPF９２によるフィルタリングの対象となる画像（0値が補間された画像）（以下、0値補間画像ともいう）のサイズの1/2のサイズの8ビットの縮小画像を対象画像として、ΔΣ変調を行う。
【０１５９】
また、ΔΣ変調の対象となる8ビットの縮小画像の画素のサンプリング周波数は、LPF９２によるフィルタリングの対象となる0値補間画像の画素のサンプリング周波数の1/2である。
【０１６０】
したがって、LPF９２によるフィルタリングは、ΔΣ変調の対象となる8ビットの縮小画像については、LPF９２の周波数特性の、正規化周波数特性が0.5以下の部分が影響するので、その部分だけを考慮すれば良い。
【０１６１】
すなわち、図１６は、図１５のLPF９２の周波数特性のうちの、正規化周波数が0.5以下の部分を示している。
【０１６２】
ΔΣ変調部８１（図１３）のΔΣ変調によるノイズシェーピングの周波数特性は、図１６の周波数特性の逆の特性になっている。
【０１６３】
図１７は、ΔΣ変調部８１（図１３）のΔΣ変調によるノイズシェーピングの周波数特性（振幅特性）を示している。
【０１６４】
なお、図１７において、横軸は、ΔΣ変調の対象となる8ビットの縮小画像の画素のサンプリング周波数の1/2を1とする周波数（正規化周波数）を表す。また、縦軸は、dBを単位とする利得を表す。
【０１６５】
図１７の正規化周波数の1は、図１５及び１６に示したLPF９２（図１４）の周波数特性の正規化周波数の0.5に対応する。
【０１６６】
図１７のノイズシェーピングの周波数特性は、正規化周波数が0のときに、利得が0で、高域（空間周波数の高域）の正規化周波数ほど、利得が大になる特性になっており、図１６の周波数特性の（ほぼ）逆の特性になっている。
【０１６７】
ここで、ノイズシェーピングの周波数特性は、信号処理部６２（図６）の周波数特性、すなわち、ここでは、LPF９２（図１４）の周波数特性（但し、正規化周波数が0.5以下の部分（図１６））の上下を反転した逆の特性に、完全に一致している必要はない。
【０１６８】
すなわち、図１６の周波数特性によれば、ΔΣ変調の対象となる8ビットの縮小画像については、LPF９２によるフィルタリングによって、空間周波数の高域の成分が減衰する。
【０１６９】
ΔΣ変調部８１（図１３）では、LPF９２によるフィルタリングによって減衰する（平均化される）高域のノイズ（量子化誤差）を付加することで、LPF９２によるフィルタリングによって得られる元サイズ画像が、16ビット画像と同等の階調の画像となるように、ΔΣ変調を行う。
【０１７０】
したがって、ΔΣ変調によるノイズシェーピングの周波数特性は、その周波数特性に従ったノイズ（量子化誤差）が、LPF９２によるフィルタリングによって（理想的には、完全に）減衰するような特性になっていれば良い。
【０１７１】
すなわち、ΔΣ変調によるノイズシェーピングの周波数特性は、LPF９２の周波数特性（正規化周波数が0.5以下の部分（図１６））の上下を反転した形状に類似した形状の特性になっていれば良い。
【０１７２】
ここで、本明細書において、ノイズシェーピングの周波数特性が、信号処理部６２（図６）の周波数特性の逆の特性になっているとは、ノイズシェーピングの周波数特性が、信号処理部６２の信号処理の周波数特性の逆の特性に完全に一致している場合の他、逆の特性に類似している場合も含まれる。
【０１７３】
また、ΔΣ変調部８１は、図３のΔΣ変調部３１と同様に構成されるが、ΔΣ変調部８１のΔΣ変調によるノイズシェーピングの周波数特性は、フィルタ４４（図３）の伝達関数G、ひいては、フィルタ４４のフィルタ係数によって決まる。
【０１７４】
例えば、上述したように、信号処理部６２（図６）の信号処理が、画像を、線形補間によって、サイズを2倍に拡大する拡大処理であり、かつ、フィルタ４４が、図４に示したように、１２タップの２次元のFIRフィルタである場合には、ΔΣ変調部８１のΔΣ変調によるノイズシェーピングの周波数特性を、信号処理部６２の信号処理の周波数特性の逆の特性にするフィルタ４４のフィルタ係数a(x,y)（図４）は、例えば、
a(1,1) = -0.0064,
a(2,1) = -0.0256,
a(3,1) = -0.0384,
a(4,1) = -0.0256,
a(5,1) = -0.0064,
a(1,2) = -0.0256,
a(2,2) = 0.1816,
a(3,2) = 0.4144,
a(4,2) = 0.1816,
a(5,2) = -0.0256,
a(1,3) = -0.0384,
a(2,3) = 0.4144
となる。
【０１７５】
［画像処理装置８０で扱われる画像、及び、TV６０に、画像処理装置８０で得られる8ビットの縮小画像が記憶されている場合に、TV６０で扱われる画像］
【０１７６】
次に、図１３の画像処理装置８０で扱われる画像、及び、TV６０（図６）の記憶部６１に、画像処理装置８０で得られる8ビットの縮小画像が記憶されている場合に、TV６０で扱われる画像について説明する。
【０１７７】
図１８は、図１３の画像処理装置８０で扱われる画像を示している。
【０１７８】
すなわち、図１８は、ΔΣ変調部８１（図１３）において、縮小部７１で得られる図８Ａの16ビットの縮小画像にΔΣ変調を施して得られる変調画像としての8ビットの縮小画像を示している。
【０１７９】
図１８の変調画像としての8ビットの縮小画像においては、画素値が、PWMがされたように変化しており、そのように変化する画素値が、視覚の空間積分効果によって、滑らかに変化しているように見える。
【０１８０】
すなわち、図１８の変調画像としての8ビットの縮小画像によれば、ΔΣ変調がされる前の16ビットの縮小画像（図８Ａ）と同等の階調が、擬似的に実現される。
【０１８１】
図１９は、図６のTV６０の記憶部６１に、図１８の8ビットの縮小画像が記憶されている場合に、TV６０で扱われる画像を示している。
【０１８２】
なお、図１９では、左から1番目の画素から400番目の画素までの画素値を示している。
【０１８３】
図１９Ａは、信号処理部６２（図６）において、図１８の8ビットの縮小画像のサイズを2倍に拡大することで得られる元サイズ画像を示している。
【０１８４】
上述したように、信号処理部６２（図１４）では、0値を補間し、LPF９２によるフィルタリングを行う拡大処理としての信号処理が行われる。そして、その信号処理の対象となる図１８の8ビットの縮小画像には、LPF９２の周波数特性の逆の特性のノイズ（量子化誤差）が付加されている（LPF９２の周波数特性の逆の特性の周波数特性のノイズシェーピングを行うΔΣ変調が施されている）。
【０１８５】
このため、図１８の8ビットの縮小画像に、信号処理部６２による拡大処理としての信号処理が施されることにより、その縮小画像に付加されているノイズは減衰する（平均化される）。その結果、信号処理部６２による拡大処理としての信号処理によって得られる元サイズ画像は、視覚の空間積分効果によって擬似的に実現される16ビット画像（メニュー画面の原画像）を、いわば復元したかのような画像となる。
【０１８６】
図１９Ｂは、係数αを、例えば、0.5として、ブレンド部６４（図６）において、図１９Ａの元サイズ画像に、係数αを乗算して得られる画像（α倍画像）と、図１０Ｂの1-α倍画像との加算を行うことによって得られる合成画像を示している。
【０１８７】
図１９Ｂの合成画像は、階調が、図１１の合成画像と比較して、高階調の画像になっていることが分かる。
【０１８８】
ここで、図１９Ｃは、係数αを0.5として、メニュー画面の原画像である16ビット画像に、係数αを乗算して得られる画像（α倍画像）と、図１０Ｂの1-α倍画像とのαブレンディングを行うことによって得られる、いわば理想的な合成画像を示している。
【０１８９】
図１９Ｂの合成画像は、階調が、図１１の合成画像よりも、図１９Ｃの理想的な合成画像に近い（類似する）画像になっている。
【０１９０】
図１９Ｄは、階調変換部６３（図６）において、ディザリング処理によって、図１９Ｂの合成画像を8ビットに階調変換した場合の、階調変換後画像を示している。
【０１９１】
図１９Ｄの階調変換後画像においては、画素値が、PWMがされたように変化しており、そのように変化する画素値が、視覚の空間積分効果によって、滑らかに変化しているように見える。
【０１９２】
すなわち、階調変換部６３（図６）でのディザリング処理による階調変換の対象となる合成画像は、図１９Ｂに示したように、図１９Ｃの理想的な合成画像に近い画像になっており、その理想的な合成画像に近い階調を有する。
【０１９３】
そのような合成画像のディザリング処理を行って得られる階調変換後画像によれば、階調変換前の合成画像と同等の階調が、擬似的に（視覚の空間積分効果によって）実現される。
【０１９４】
すなわち、図１９Ｄの階調変換後画像において、メニュー画面の画像については、メニュー画面の原画像である16ビット画像とほぼ同等の階調が、擬似的に実現される。
【０１９５】
したがって、TV６０（図６）において、メニュー画面の画像に、所定の信号処理としての拡大処理が施される場合に、その所定の信号処理としての拡大処理によって得られる画像の階調を向上させることができる。
【０１９６】
さらに、階調変換部６３（図６）でのディザリング処理による階調変換の対象となる合成画像は、図１９Ｂに示したように、図１９Ｃの理想的な合成画像に近い階調を有するので、その合成画像を階調変換して得られる画像において、図１１に示したような、画素値が階段状に変化する合成画像を階調変換した場合に比較して、バンディングが生じることを防止することができる。
【０１９７】
以上のように、ノイズシェーピングの周波数特性が、TV６０（図６）の信号処理部６２の信号処理の周波数特性の逆の特性になっているΔΣ変調を、メニュー画面の原画像を縮小した16ビットの縮小画像に施すことで、変調画像としての8ビットの縮小画像に階調変換し、TV６０に記憶させておくことにより、TV６０では、特別なハードウェアやソフトウェアを設けずに、メニュー画面の原画像に近い高階調のメニュー画面の画像を表示することが可能となる。
【０１９８】
なお、画像処理装置８０（図１３）では、メニュー画面の画像（原画像）等のUI(User Interface)となる画像の他、実世界を撮影した画像等を、処理の対象とすることができる。
【０１９９】
さらに、画像処理装置８０では、静止画、及び動画のいずれをも、処理の対象とすることができる。
【０２００】
また、TV６０（図６）の信号処理部６２の信号処理としての拡大処理は、線形補間以外の、例えば、最近傍補間や、キュービック補間等によって行うことができる。
【０２０１】
さらに、信号処理部６２の拡大処理としては、画像を、2倍以外の拡大率で拡大する処理を採用することができる。
【０２０２】
また、信号処理部６２の信号処理は、拡大処理に限定されるものではない。
【０２０３】
［本発明を適用したコンピュータの構成例］
【０２０４】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２０５】
そこで、図２０は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２０６】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
【０２０７】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０２０８】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。
【０２０９】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵している。CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、また、CPU１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０２１０】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２１１】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２１２】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２１３】
【図１】従来の画像処理システムの一例の構成を示すブロック図である。
【図２】本発明を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。
【図３】ΔΣ変調部３１の構成例を示すブロック図である。
【図４】フィルタ４４の構成例を示すブロック図である。
【図５】記憶用画像生成装置３０が行う画像処理を説明するフローチャートである。
【図６】表示用画像生成装置２０を適用したTVの構成例を示すブロック図である。
【図７】記憶用画像生成装置１０を適用した画像処理装置の構成例を示すブロック図である。
【図８】画像処理装置７０で扱われる画像を示す図である。
【図９】TV６０で扱われる画像を示す図である。
【図１０】コンテンツ画像を示す図である。
【図１１】合成画像を示す図である。
【図１２】階調変換後画像を示す図である。
【図１３】記憶用画像生成装置３０を適用した画像処理装置の構成例を示すブロック図である。
【図１４】信号処理部６２の構成例を示すブロック図である。
【図１５】LPF９２の振幅特性を示す図である。
【図１６】LPF９２の振幅特性を示す図である。
【図１７】ΔΣ変調によるノイズシェーピングの振幅特性を示す図である。
【図１８】画像処理装置８０で扱われる画像を示す図である。
【図１９】TV６０で扱われる画像を示す図である。
【図２０】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０２１４】
１０ 記憶用画像生成装置， １１ 量子化部， ２０ 表示用画像生成装置， ２１ 記憶部， ２２ 信号処理部， ２３ 階調変換部， ３０ 記憶用画像生成装置， ３１ ΔΣ変調部， ４１ 演算部， ４２ 量子化部， ４３ 演算部， ４４ フィルタ， ５１1,1，５１2,1，５１3,1，５１4,1，５１5,1，５１1,2，５１2,2，５１3,2，５１4,2，５１5,2，５１1,3，５１2,3，５２ 演算部， ６１ 記憶部， ６２ 信号処理部， ６３ 階調変換部， ６４ ブレンド部， ６５ないし６７ 演算部， ７１ 縮小部， ７２ 量子化部， ８１ ΔΣ変調部， ９１ アップサンプル部， ９２ LPF， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及び、プログラムに関し、特に、例えば、画像に、所定の信号処理が施される場合に、その所定の信号処理によって得られる画像の階調を向上させることができるようにする画像処理装置、画像処理方法、及び、プログラムに関する。
【背景技術】
【０００２】
図１は、従来の画像処理システム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは問わない）の一例の構成を示している。
【０００３】
図１において、画像処理システムは、記憶用画像生成装置１０と、表示用画像生成装置２０とから構成される。
【０００４】
記憶用画像生成装置１０は、量子化部１１から構成され、表示用画像生成装置２０に記憶させる画像を生成する。
【０００５】
すなわち、表示用画像生成装置２０は、例えば、テレビジョン受像機（以下、TV(Television)ともいう）に適用することができ、TVに適用された表示用画像生成装置２０は、例えば、メニュー画面の画像や何らかの背景となる背景画像等を記憶する。記憶用画像生成装置１０は、表示用画像生成装置２０が記憶する画像を生成する。
【０００６】
具体的には、記憶用画像生成装置１０には、例えば、デザイナが、画像作成ツールを使用して、メニュー画面の原画像として作成した、例えば、RGB(Red,Green,Blue)の各成分が16ビットの画像（以下、16ビット画像ともいう）等の多ビットの画像が供給される。
【０００７】
記憶用画像生成装置１０では、量子化部１１が、容量や、表示用画像生成装置２０での演算量の削減のために、記憶用画像生成装置１０に供給される16ビット画像を、16ビットより小の、例えば、8ビットに量子化する。そして、記憶用画像生成装置１０は、量子化部１１での量子化により得られる8ビット画像（RGBの各成分が8ビットの画像）を、例えば、PNG(Portable Network Graphics)等の形式の画像ファイルで出力する。
【０００８】
表示用画像生成装置２０は、記憶部２１、信号処理部２２、及び、階調変換部２３から構成される。
【０００９】
記憶部２１は、例えば、フラッシュメモリ等であり、記憶用画像生成装置１０が出力する画像ファイルを記憶している。
【００１０】
すなわち、記憶用画像生成装置１０が出力する画像ファイルは、表示用画像生成装置２０を適用したTVを製造する工場等において、記憶部２１に書き込まれる（記憶される）。
【００１１】
信号処理部２２は、記憶部２１に記憶された画像ファイルに格納されたメニュー画面の8ビット画像に必要な信号処理を施し、階調変換部２３に供給する。
【００１２】
階調変換部２３は、信号処理部２２からの画像を、8ビット画像に階調変換し、例えば、8ビット画像を表示することが可能な図示せぬディスプレイ（以下、8ビットディスプレイともいう）に供給する。
【００１３】
すなわち、信号処理部２２において、8ビット画像に対して行われる信号処理の結果得られる画像は、8ビット画像よりも、多ビットの画像になることがある。8ビット画像より多ビットの画像は、そのままでは、8ビットディスプレイで表示することができないため、階調変換部２３は、信号処理部２２からの画像を、8ビット画像に階調変換する。
【００１４】
ここで、階調変換部２３では、画像に、ノイズを付加してから、その画像の量子化を行うディザリング処理が、階調変換として行われる。本明細書では、ディザリング処理には、ディザ法や誤差拡散法等が含まれる。ディザ法では、画像に、ランダムノイズ等の、画像に関係ないノイズを付加してから、その画像の量子化が行われる。誤差拡散法では、画像に、ノイズとしての、画像の量子化誤差（のフィルタリング結果）を付加（誤差拡散）してから、その画像の量子化が行われる（例えば、非特許文献１を参照）。
【００１５】
なお、階調変換部２３は、信号処理部２２からの画像が、8ビット画像より多ビットの画像である場合に、階調変換を行う。信号処理部２２からの画像が、8ビット画像である場合、階調変換部２３は、8ビット画像を、そのまま、8ビットディスプレイに供給する。
【００１６】
また、記憶部２１の画像ファイルに格納されたメニュー画面の8ビット画像は、例えば、ユーザがメニュー画面を表示するように操作を行った場合等に、上述したように処理されて、8ビットディスプレイに表示される。
【００１７】
【非特許文献１】貴家仁志著，「よくわかるディジタル画像処理」，第6版，CQ出
【発明の開示】
【発明が解決しようとする課題】
【００１８】
階調変換部２３でのディザリング処理による階調変換によれば、人の視覚の積分効果を利用して、多ビットの画像と同等の階調を、擬似的に実現することができる。
【００１９】
すなわち、例えば、図１の表示用画像生成装置２０では、メニュー画面については、記憶部２１の画像ファイルに、8ビット画像が記憶されているので、その8ビット画像と同等の階調を実現することができる。
【００２０】
しかしながら、メニュー画面について、記憶部２１の画像ファイルに格納された8ビット画像よりも多ビットの画像と同等の階調を実現することは困難である。
【００２１】
すなわち、メニュー画面の原画像は、デザイナが作成した16ビット画像であるが、記憶用画像生成装置１０において、その原画像としての16ビット画像が、8ビット画像に量子化され、表示用画像生成装置２０の記憶部２１に記憶される。
【００２２】
表示用画像生成装置２０では、記憶部２１に記憶されたメニュー画面の8ビット画像が、信号処理部２２で信号処理され、さらに、階調変換部２３で階調変換されて表示される。
【００２３】
このように、メニュー画面の画像は、信号処理の後に、階調変換がされて表示されるが、表示用画像生成装置２０では、信号処理の対象となる画像が、8ビット画像であるために、その8ビット画像の階調を超える階調の画像を、階調変換によって実現することは困難である。
【００２４】
このため、メニュー画面としては、デザイナが意図した画像よりも階調が大幅に劣化した画像が表示される。
【００２５】
本発明は、このような状況に鑑みてなされたものであり、画像に、所定の信号処理が施される場合に、その所定の信号処理によって得られる画像の階調を向上させることができるようにするものである。
【課題を解決するための手段】
【００２６】
本発明の一側面の画像処理装置、又は、プログラムは、画像にΔΣ変調を施して得られる変調画像に対し、信号処理部において、所定の信号処理が施される場合の、前記画像に、前記ΔΣ変調を施すΔΣ変調手段を備え、前記ΔΣ変調によるノイズシェーピングの周波数特性は、前記所定の信号処理の周波数特性の逆の特性になっている画像処理装置、又は、画像処理装置として、コンピュータを機能させるプログラムである。
【００２７】
本発明の一側面の画像処理方法は、画像にΔΣ変調を施して得られる変調画像に対し、信号処理部において、所定の信号処理が施される場合の、前記画像に、前記ΔΣ変調を施すステップを含み、前記ΔΣ変調によるノイズシェーピングの周波数特性は、前記所定の信号処理の周波数特性の逆の特性になっている画像処理方法である。
【００２８】
以上のような本発明の一側面においては、画像にΔΣ変調を施して得られる変調画像に対し、信号処理部において、所定の信号処理が施される場合の、前記画像に、前記ΔΣ変調が施される。前記ΔΣ変調によるノイズシェーピングの周波数特性は、前記所定の信号処理の周波数特性の逆の特性になっている。
【００２９】
なお、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【００３０】
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００３１】
本発明の一側面によれば、画像の階調を向上させることができる。特に、例えば、画像に、所定の信号処理が施される場合に、その所定の信号処理によって得られる画像の階調を向上させることができる。
【発明を実施するための最良の形態】
【００３２】
［本発明を適用した画像処理システムの一実施の形態の全体構成例］
【００３３】
図２は、本発明を適用した画像処理システムの一実施の形態の構成例を示している。
【００３４】
なお、図中、図１の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【００３５】
図２の画像処理システムは、表示用画像生成装置２０を有する点で、図１の場合と共通する。但し、図２の画像処理システムは、記憶用画像生成装置１０（図１）に代えて、記憶用画像生成装置３０が設けられている点で、図１の場合と相違する。
【００３６】
記憶用画像生成装置３０は、ΔΣ変調部３１を有する。
【００３７】
記憶用画像生成装置３０には、例えば、デザイナがメニュー画面の原画像として作成した16ビット画像が供給される。
【００３８】
記憶用画像生成装置３０のΔΣ変調部３１は、容量や、表示用画像生成装置２０での演算量の削減のために、記憶用画像生成装置１０に供給される16ビット画像に、ΔΣ変調、すなわち、誤差拡散法による階調変換を施し、その16ビット画像を8ビット画像とする。
【００３９】
ここで、ΔΣ変調では、処理をしようとして注目している画素である注目画素に空間的に近い画素の画素値の量子化誤差であるノイズが、人の視覚の感度が低い空間周波数の高域にノイズシェーピングされる。そして、そのノイズシェーピング後のノイズを、注目画素の画素値に加算する誤差拡散が行われ、ノイズの加算後の画素値が、所望のビット数である8ビットに量子化される。
【００４０】
ΔΣ変調では、上述のように、ノイズ（量子化誤差）が加算された後の画素値が量子化される。そのため、その量子化後（階調変換後）の画像では、下位ビットを切り捨てるだけでは一定値となる部分の画素値が、PWM(Pulse Width Modulation)がされたようになる。その結果、ΔΣ変調後の画像の階調は、人の視覚で空間方向の積分が行われるという空間積分効果によって、滑らかに変化しているように見える。すなわち、元の画像と同等の階調（例えば、元の画像が、上述したように、16ビット画像であれば、216階調）を、擬似的に表現することができる。
【００４１】
なお、詳細については後述するが、ΔΣ変調部３１のΔΣ変調によるノイズシェーピングの周波数特性（振幅特性）は、表示用画像生成装置２０の信号処理部２２で行われる信号処理（所定の信号処理）の周波数特性の逆の特性になっている。
【００４２】
また、ΔΣ変調部３１でのΔΣ変調によって得られる画像を、以下、変調画像ともいう。
【００４３】
記憶用画像生成装置３０では、ΔΣ変調部３１でのΔΣ変調により得られる変調画像としての8ビット画像が、例えば、PNG等の形式の画像ファイルで出力される。
【００４４】
そして、記憶用画像生成装置１０が出力する画像ファイルは、表示用画像生成装置２０を適用したTVを製造する工場等において、記憶部２１に書き込まれる。
【００４５】
［ΔΣ変調部３１の構成例］
【００４６】
図３は、図２のΔΣ変調部３１の構成例を示している。
【００４７】
図３において、ΔΣ変調部３１は、演算部４１、量子化部４２、演算部４３、及び、フィルタ４４から構成される。
【００４８】
演算部４１には、メニュー画面の原画像である16ビット画像が、ΔΣ変調の対象の画像（以下、対象画像ともいう）として供給される。さらに、演算部４１には、対象画像としての16ビット画像の画素値を量子化した量子化値の量子化誤差の空間方向のフィルタリングを行うフィルタ４４の出力Pが供給される。
【００４９】
演算部４１は、対象画像の画素を、ラスタスキャン順に注目画素とし、注目画素の16ビットの画素値INと、フィルタ４４の出力Pとを加算し、その結果得られる加算値Uを、量子化部４２、及び演算部４３に供給（出力）する。
【００５０】
量子化部４２は、演算部４１の出力である加算値Uを、対象画像のビット数である16ビットより少ない、例えば、8ビットに量子化し、その結果得られる8ビットの量子化値を、画素値INのΔΣ変調の結果である変調画素値OUTとして出力する。
【００５１】
量子化部４２が出力する8ビットの変調画素値OUTは、変調画像としての8ビット画像の画素値になる。さらに、量子化部４２が出力する8ビットの変調画素値OUTは、演算部４３に供給される。
【００５２】
演算部４３は、演算部４１の出力である加算値Uと、量子化部４２の出力である、加算値Uの量子化値である8ビットの変調画素値OUTとの差分U-OUTを演算することにより、量子化値である変調画素値OUTに含まれる量子化誤差Qを求めて出力する。
【００５３】
演算部４３が出力する量子化誤差Qは、フィルタ４４に供給される。
【００５４】
フィルタ４４は、例えば、空間方向の２次元（水平方向及び垂直方向）のフィルタリングを行うFIR(Finite Impulse Response)フィルタであり、演算部４３からの量子化誤差Qの、空間方向のフィルタリングを行う。さらに、フィルタ４４は、そのフィルタリング結果(P)を、演算部４１に供給（出力）する。
【００５５】
ここで、フィルタ４４の伝達関数をGと表すこととすると、量子化部４２が出力する変調画素値OUTは、式（１）で表される。
【００５６】
OUT＝IN-(1-G)Q
・・・（１）
【００５７】
式（１）では、量子化誤差Qが、-(1-G)で変調されているが、この-(1-G)での変調が、空間方向のΔΣ変調によるノイズシェーピングである。
【００５８】
［フィルタ４４の構成例］
【００５９】
図４は、図３のフィルタ４４の構成例を示している。
【００６０】
図４において、フィルタ４４は、１２タップの２次元のFIRフィルタであり、１２個の演算部５１1,3，５１1,2，５１1,1，５１2,3，５１2,2，５１2,1，５１3,2，５１3,1，５１4,1，５１4,2，５１5,1、及び、５１5,2、並びに、１個の演算部５２等から構成される。
【００６１】
いま、注目画素を中心とする、横×縦が5×5画素のうちの、左からx番目で、上からy番目の画素の量子化誤差を、Q(x,y)と表すこととすると、演算部５１x,yには、量子化誤差Q(x,y)が供給される。
【００６２】
すなわち、図４では、演算部５１x,yには、注目画素を中心とする、横×縦が5×5画素のうちの、ラスタスキャン順で、注目画素より先に処理される（注目画素にされる）12画素それぞれの量子化誤差Q(x,y)が供給される。
【００６３】
演算部５１x,yは、そこに供給される量子化誤差Q(x,y)と、あらかじめ設定されたフィルタ係数a(x,y)とを乗算し、その結果得られる乗算値を、演算部５２に供給する。
【００６４】
演算部５２は、１２個の演算部５１x,yそれぞれから供給される乗算値を加算し、その加算値Pを、量子化誤差のフィルタリング結果として、演算部４１（図３）に出力する。
【００６５】
図３の演算部４１では、以上のように、注目画素を中心とする5×5画素のうちの、ラスタスキャン順で、注目画素より先に処理される12画素それぞれの量子化誤差Q(x,y)を用いて得られるフィルタリング結果が、注目画素の画素値INに加算される。
【００６６】
［記憶用画像生成装置３０の処理］
【００６７】
図５を参照して、図２の記憶用画像生成装置３０が行う画像処理（記憶用画像生成処理）について説明する。
【００６８】
記憶用画像生成装置３０は、そこに16ビット画像のあるフレーム（１画面分）が供給されるのを待って受信する。そして、記憶用画像生成装置３０は、ステップＳ１０において、16ビット画像を対象画像としてΔΣ変調を行い、その結果得られる8ビット画像を、変調画像として出力する。
【００６９】
すなわち、記憶用画像生成装置３０のΔΣ変調部３１（図３）では、演算部４１が、そこに対象画像のあるフレームが供給されるのを待って受信し、そのフレームの画素のうちの、ラスタスキャン順で、まだ注目画素としていない画素を、注目画素とする。そして、演算部４１は、ステップＳ１１において、注目画素の画素値と、フィルタ４４が直前に行った、後述するステップＳ１４のフィルタリングで得られた値（フィルタ４４の出力）とを加算し、その結果得られる加算値を、量子化部４２、及び演算部４３に出力して、処理は、ステップＳ１２に進む。
【００７０】
ステップＳ１２では、量子化部４２が、演算部４１の出力である加算値を量子化し、量子化誤差を含む量子化値を、変調画像の、注目画素の位置の画素の変調画素値として出力し、処理は、ステップＳ１３に進む。
【００７１】
量子化部４２が出力する量子化値である変調画素値は、演算部４３に供給される。
【００７２】
演算部４３は、ステップＳ１３において、演算部４１の出力である加算値と、量子化部４２の出力（演算部４１の出力である加算値の量子化値）（変調画素値）との差分を演算することにより、量子化部４２の量子化による量子化誤差を求める。さらに、演算部４３は、量子化誤差を、フィルタ４４に供給して、処理は、ステップＳ１３からステップＳ１４に進む。
【００７３】
ステップＳ１４では、フィルタ４４が、演算部４３からの量子化誤差の、空間方向のフィルタリングを行い、そのフィルタリング結果を、演算部４１に供給（出力）する。
【００７４】
その後、演算部４１は、ラスタスキャン順で、注目画素の次の画素を、新たな注目画素とする。そして、処理は、ステップＳ１４からステップＳ１１に戻り、新たな注目画素の画素値と、直前のステップＳ１４で、フィルタ４４から供給されたフィルタリング結果とを加算し、以下、同様の処理が繰り返される。
【００７５】
なお、ステップＳ１１ないしＳ１４の処理は、記憶用画像生成装置３０に16ビット画像が供給されなくなるまで、繰り返し行われる。
【００７６】
［表示用画像生成装置２０が適用されたTVの構成例］
【００７７】
次に、図２（及び図１）の表示用画像生成装置２０は、例えば、TV等の画像を扱う装置に適用することができる。
【００７８】
図６は、図２の表示用画像生成装置２０を適用したTVの構成例を示している。
【００７９】
図６において、TV６０は、記憶部６１、信号処理部６２、階調変換部６３、及び、ブレンド部６４から構成される。
【００８０】
記憶部６１は、図２の記憶部２１に対応し、例えば、デザイナがメニュー画面の原画像として作成した16ビット画像にΔΣ変調を施して得られる変調画像としての8ビット画像が格納された画像ファイルを記憶している。
【００８１】
信号処理部６２は、図２の信号処理部２２に対応し、記憶部６１の画像ファイルに格納されたメニュー画面の8ビット画像に必要な信号処理を施し、ブレンド部６４に供給する。
【００８２】
ここで、記憶部６１の画像ファイルに格納された8ビット画像は、容量等の削減のために、横及び縦のサイズそれぞれが、メニュー画面の原画像である16ビット画像の、例えば、1/2のサイズの画像になっている。
【００８３】
このため、信号処理部６２は、記憶部２１の画像ファイルに格納されたメニュー画面の8ビット画像に対して、2倍の拡大率で拡大する拡大処理を、信号処理として施し、原画像と同一のサイズの8ビット画像を得て、ブレンド部６４に供給する。
【００８４】
階調変換部６３は、図２の階調変換部２３に対応し、ブレンド部６４からの後述する合成画像を、8ビット画像に階調変換し、図示せぬ8ビットディスプレイに供給して表示させる。
【００８５】
ブレンド部６４は、信号処理部６２から供給されるメニュー画面の8ビット画像と、テレビジョン放送等の番組の画像（以下、コンテンツ画像ともいう）とを合成した合成画像を生成し、階調変換部６３に供給する。
【００８６】
すなわち、ブレンド部６４は、演算部６５，６６、及び６７から構成され、所定の係数αを用いて、いわゆるαブレンディングを行う。
【００８７】
演算部６５には、信号処理部６２からのメニュー画面の8ビット画像が供給される。演算部６５は、信号処理部６２からのメニュー画面の8ビット画像に、αブレンディング用の係数α（αは、0ないし1の範囲の値）を乗算し、その結果得られる乗算値を、演算部６７に供給する。
【００８８】
演算部６６には、図示せぬチューナ等から、コンテンツ画像が供給される。演算部６６は、コンテンツ画像に、係数1-αを乗算し、その結果得られる乗算値を、演算部６７に供給する。
【００８９】
演算部６７は、演算部６５からの乗算値と、演算部６６からの乗算値とを加算することにより、コンテンツ画像に、メニュー画面が重畳された合成画像を生成し、階調変換部６３に供給する。
【００９０】
以上のように構成されるTV６０では、信号処理部６２は、記憶部６１の画像ファイルに格納されたメニュー画面の8ビット画像に対して、2倍の拡大率で拡大する拡大処理を、信号処理として施し、原画像と同一のサイズの8ビット画像を得て、ブレンド部６４に供給する。
【００９１】
ブレンド部６４では、演算部６５が、信号処理部６２からのメニュー画面の8ビット画像と、係数αとを乗算し、その結果得られる乗算値を、演算部６７に供給する。さらに、演算部６６が、コンテンツ画像に、係数1-αを乗算し、その結果得られる乗算値を、演算部６７に供給する。演算部６７は、演算部６５からの乗算値と、演算部６６からの乗算値とを加算することにより、合成画像を生成し、階調変換部６３に供給する。
【００９２】
階調変換部６３は、ブレンド部６４からの合成画像を、8ビット画像に階調変換し、図示せぬ8ビットディスプレイに供給して表示させる。
【００９３】
［記憶用画像生成装置１０が適用された画像処理装置の構成例］
【００９４】
次に、表示用画像生成装置２０が適用されたTV６０の記憶部６１に、上述したように、サイズが、メニュー画面の原画像である16ビット画像の1/2のサイズになっている8ビット画像（が格納された画像ファイル）が記憶される場合に、そのような8ビット画像を生成する画像処理装置について説明する。
【００９５】
図７は、図１の記憶用画像生成装置１０を適用した画像処理装置の構成例を示している。
【００９６】
図７において、画像処理装置７０は、縮小部７１と量子化部７２から構成される。
【００９７】
縮小部７１には、メニュー画面の原画像である16ビット画像が供給される。縮小部７１は、メニュー画面の原画像である16ビット画像のサイズを、信号処理部６２（図６）での拡大処理の拡大率に対応する縮小率である1/2に従って縮小する。そして、縮小部７０は、サイズの縮小によって得られる16ビットの縮小画像（RGBの各成分が16ビットの縮小画像）を、量子化部７２に出力する。
【００９８】
量子化部７２は、図１の量子化部１１に対応し、縮小部７１からの16ビットの縮小画像を、8ビットに量子化する。
【００９９】
そして、画像処理装置７０は、量子化部７２での量子化により得られる8ビットの縮小画像を、画像ファイルに格納して出力する。
【０１００】
［画像処理装置７０で扱われる画像、及び、TV６０に、画像処理装置７０で得られる8ビットの縮小画像が記憶されている場合に、TV６０で扱われる画像］
【０１０１】
次に、図７の画像処理装置７０で扱われる画像、及び、TV６０（図６）の記憶部６１に、画像処理装置７０で得られる8ビットの縮小画像が記憶されている場合に、TV６０で扱われる画像について説明する。
【０１０２】
図８は、図７の画像処理装置７０で扱われる画像を示している。
【０１０３】
なお、図８において（後述する図９ないし図１２、図１８、及び図１９でも同様）、横軸は、水平方向（又は垂直方向）に並ぶ画素の位置を表し、縦軸は、画素値を表す。
【０１０４】
図８Ａは、縮小部７１（図７）において、メニュー画面の原画像である16ビット画像のサイズを1/2に縮小することで得られる16ビットの縮小画像を示している。
【０１０５】
図８Ａの16ビットの縮小画像においては、左から1番目の画素から200番目の画素までの画素値が、100から110に滑らかに（線形に）変化している。
【０１０６】
図８Ｂは、量子化部７２（図７）において、図８Ａの16ビットの縮小画像を、8ビットに量子化することで得られる8ビットの縮小画像を示している。
【０１０７】
図８Ｂの8ビットの縮小画像においては、左から1番目の画素から200番目の画素までの画素値が、100から110に、階段状に変化しており、量子化部７２での量子化によって、階調が、図８Ａの16ビットの縮小画像に比較して低下している。すなわち、図８Ｂの8ビットの縮小画像は、量子化部７２での量子化によって、28階調の画像になる。
【０１０８】
図９は、図６のTV６０の記憶部６１に、図８Ｂの8ビットの縮小画像が記憶されている場合に、TV６０で扱われる画像を示している。
【０１０９】
すなわち、図９Ａは、信号処理部６２（図６）において、図８Ｂの8ビットの縮小画像のサイズを2倍に拡大することで得られる、メニュー画面の原画像と同一のサイズの画像（以下、元サイズ画像ともいう）を示している。
【０１１０】
図９Ａの元サイズ画像においては、左から1番目の画素から200番目の画素までの2倍の範囲の、左から1番目の画素から400番目の画素までの画素値が、100から109に、階段状に変化しており、図８Ｂの場合と同様に、量子化部７２での量子化によって、階調が、図８Ａの16ビットの縮小画像に比較して低下している。
【０１１１】
図９Ｂは、演算部６５（図６）において、図９Ａの元サイズ画像に、係数αを乗算して得られる画像（以下、α倍画像ともいう）を示している。
【０１１２】
すなわち、図９Ｂは、係数αを、例えば、0.5に設定した場合に、演算部６５において得られるα倍画像を示している。
【０１１３】
図９Ｂのα倍画像においては、左から1番目の画素から400番目の画素までの画素値が、図９Ａの場合の100から109の0.5(=α)倍である50から54.5に、階段状に変化しており、図８Ｂ及び図９Ａの場合と同様に、階調が低下している。
【０１１４】
図１０は、コンテンツ画像を示している。
【０１１５】
すなわち、図１０Ａは、演算部６６（図６）に供給されるコンテンツ画像を示している。
【０１１６】
図１０Ａのコンテンツ画像においては、左から1番目の画素から400番目の画素までの画素値が、一定値である60になっている。
【０１１７】
図１０Ｂは、演算部６６（図６）において、図１０Ａのコンテンツ画像に、係数1-αを乗算して得られる画像（以下、1-α倍画像ともいう）を示している。
【０１１８】
すなわち、図１０Ｂは、係数αを、例えば、図９で説明したように、0.5に設定した場合に、演算部６６において得られる1-α倍画像を示している。
【０１１９】
図１０Ｂの1-α倍画像においては、左から1番目の画素から400番目の画素までの画素値が、図１０Ａの場合の60の0.5(=1-α)倍である30になっている。
【０１２０】
図１１は、演算部６７（図６）において、図９Ｂのα倍画像と、図１０Ｂの1-α倍画像とのαブレンディング（合成）を行うことによって得られる合成画像を示している。
【０１２１】
図１１の合成画像においては、左から1番目の画素から400番目の画素までの画素値が、50から54.5に階段状に変化する図９Ｂのα倍画像と、左から1番目の画素から400番目の画素までの画素値が30になっている図１０Ｂの1-α倍画像とが加算されることによって、左から1番目の画素から400番目の画素までの画素値が、80から84.5に、階段状に変化しており、図８Ｂ及び図９Ａの場合と同様に、階調が低下している。
【０１２２】
図１２は、図１１の合成画像を8ビットに階調変換して得られる階調変換後の画像（以下、階調変換後画像ともいう）を示している。
【０１２３】
すなわち、図１２Ａは、階調変換部６３（図６）において、量子化だけによって、図１１の合成画像を8ビットに階調変換した場合の、階調変換後画像を示している。
【０１２４】
図１２Ａの階調変換後画像においては、左から1番目の画素から400番目の画素までの画素値が、80から85に、より大きな段差の階段状に変化しており、図１１の場合よりも、さらに、階調が低下している。
【０１２５】
すなわち、合成画像の生成に用いられた図９Ｂのα倍画像は、図９Ａの元サイズ画像に、係数αとしての0.5(=2-1)を乗算して得られる画像である。そのようなα倍画像（を用いて生成された合成画像）を、量子化だけによって8ビットに階調変換すると、実質的に、27階調の画像になるため、階調が、階調変換前よりも低下する。
【０１２６】
図１２Ｂは、階調変換部６３（図６）において、ディザリング処理によって、図１１の合成画像を8ビットに階調変換した場合の、階調変換後画像を示している。
【０１２７】
図１２Ｂの階調変換後画像においては、画素値が、PWMがされたように変化しており、そのように変化する画素値が、視覚の空間積分効果によって、滑らかに変化しているように見える。
【０１２８】
すなわち、図１２Ｂの階調変換後画像において、メニュー画面の画像については、記憶部６１（図６）に記憶された8ビットの縮小画像と同等の階調が、擬似的に実現される。
【０１２９】
しかしながら、図１２Ｂの階調変換後画像において、メニュー画面の画像は、その原画像である16ビット画像と同等の階調の画像にはならない。
【０１３０】
なお、上述したように、演算部６５（図６）では、画素値が100から109に変化する図９Ａの元サイズ画像が、α(=0.5)倍されることで、画素値が50から54.5に変化する図９Ｂのα倍画像となる。
【０１３１】
したがって、図９Ｂのα倍画像では、画素値の変化が、図９Ａの元サイズ画像よりも緩やかになるので、そのようなα倍画像（を用いて生成された合成画像）を階調変換することで得られる階調変換後の合成画像には、バンディングが、より目立ちやすくなる。
【０１３２】
すなわち、画素値の変化が緩やかな画像の階調変換後の合成画像では、一定の画素値が長く連続する部分が増加し、階調の変化が帯のように見えるバンディングが目立ちやすくなる。
【０１３３】
［記憶用画像生成装置３０が適用された画像処理装置の構成例］
【０１３４】
階調変換後画像において、メニュー画面の画像を、擬似的に、その原画像である16ビット画像と同等の階調の画像とし、かつ、バンディングの目立たない画像とするには、階調変換の対象の画像、すなわち、ブレンド部６４（図６）で得られる合成画像が、16ビット画像と同等の階調の画像になっている必要がある。
【０１３５】
そこで、図１３は、図２の記憶用画像生成装置３０を適用した画像処理装置の構成例を示している。
【０１３６】
なお、図中、図７の画像処理装置７０と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１３７】
すなわち、図１３において、画像処理装置８０は、縮小部７１とΔΣ変調部８１から構成される。画像処理装置８０は、縮小部７１を有する点で、図７の画像処理装置７０と共通し、量子化部７２に代えて、ΔΣ変調部８１が設けられている点で、図７の画像処理装置７０と相違する。
【０１３８】
ΔΣ変調部８１には、縮小部７１において、メニュー画面の原画像である16ビット画像のサイズを、信号処理部６２（図６）での拡大処理の拡大率に対応する縮小率である1/2に縮小することで得られる16ビットの縮小画像が供給される。
【０１３９】
ΔΣ変調部８１は、図２のΔΣ変調部３１に対応し、縮小部７１からの16ビットの縮小画像に、ΔΣ変調を施し、その16ビットの縮小画像を8ビットの縮小画像とする。
【０１４０】
そして、画像処理装置８０は、ΔΣ変調部８１でのΔΣ変調により得られる8ビットの縮小画像を、画像ファイルに格納して出力する。
【０１４１】
［ΔΣ変調によるノイズシェーピングの周波数特性］
【０１４２】
図１３のΔΣ変調部８１のΔΣ変調によるノイズシェーピングの周波数特性は、TV６０（図６）の信号処理部６２で行われる信号処理の周波数特性の逆の特性になっている。
【０１４３】
そこで、ΔΣ変調部８１のΔΣ変調によるノイズシェーピングの周波数特性について説明するために、信号処理部６２で行われる信号処理の周波数特性について説明する。
【０１４４】
図６で説明したように、TV６０において、信号処理部６２は、記憶部６１の画像ファイルに格納されたメニュー画面の8ビット画像（8ビットの縮小画像）に対して、2倍の拡大率で拡大する拡大処理を、信号処理として施す。
【０１４５】
図１４は、そのような拡大処理を信号処理として行う信号処理部６２の構成例を示している。
【０１４６】
図１４において、信号処理部６２は、アップサンプル部９１と、LPF(Low Pass Filter)９２とから構成される。
【０１４７】
アップサンプル部９１には、記憶部６１（図６）の画像ファイルに格納されたメニュー画面の8ビットの縮小画像が供給される。
【０１４８】
アップサンプル部９１は、8ビットの縮小画像を構成する、隣接する画素どうしの間に、画素値が0値の画素を1個ずつ補間することにより、サイズが2倍になった8ビット画像を生成し、LPF９２に供給する。
【０１４９】
すなわち、アップサンプル部９１は、0値の補間によって、横及び縦の画素数が、いずれも、8ビットの縮小画像の2倍になった画像を生成し、LPF９２に供給する。
【０１５０】
LPF９２は、アップサンプル部９１からの画像をフィルタリングすることにより、アップサンプル部９１で0値が補間された画素の画素値を、例えば、線形補間し、その結果得られる、メニュー画面の原画像と同一のサイズの画像（元サイズ画像）を、ブレンド部６４（図６）に供給する。
【０１５１】
以上のように、信号処理部６２は、8ビットの縮小画像に、0値を補間し、LPF９２によるフィルタリングを行うことにより、画像を2倍の拡大率で拡大する拡大処理（縮小画像を、元のサイズに戻すリサイズの処理）を行う。
【０１５２】
ここで、いま、説明を簡単にするために、8ビットの縮小画像の水平方向にだけ注目すると、アップサンプル部９１は、8ビットの縮小画像の、水平方向に隣接する画素どうしの間に、画素値が0値の画素を1個ずつ補間することにより、水平方向のサイズが2倍になった画像を生成する。
【０１５３】
さらに、アップサンプル部９１は、画素値の平均値が変化しないように、水平方向のサイズが2倍になった画像の画素値を2倍にし、LPF９２に供給する。
【０１５４】
LPF９２は、例えば、水平方向に連続する3画素（の画素値）と乗算されるフィルタ係数が、1/4,1/2/,1/4のFIRフィルタであり、アップサンプル部９１からの画像を、水平方向にフィルタリングする。これにより、LPF９２からは、アップサンプル部９１で補間された画素の画素値が線形補間された元サイズ画像が出力される。
【０１５５】
信号処理部６２が、以上のように、アップサンプル部９１及びLPF９２で構成される場合には、ΔΣ変調部８１（図１３）のΔΣ変調によるノイズシェーピングの周波数特性は、LPF９２の周波数特性の逆の特性になっている。
【０１５６】
すなわち、図１５は、LPF９２の周波数特性（振幅特性）を示している。
【０１５７】
なお、図１５において（後述する図１６でも同様）、横軸は、LPF９２によるフィルタリングの対象となる画像（0値が補間された画像）の画素のサンプリング周波数の1/2を1とする周波数（以下、正規化周波数ともいう）を表す。また、縦軸は、dBを単位とする利得を表す。
【０１５８】
ΔΣ変調部８１（図１３）は、LPF９２によるフィルタリングの対象となる画像（0値が補間された画像）（以下、0値補間画像ともいう）のサイズの1/2のサイズの8ビットの縮小画像を対象画像として、ΔΣ変調を行う。
【０１５９】
また、ΔΣ変調の対象となる8ビットの縮小画像の画素のサンプリング周波数は、LPF９２によるフィルタリングの対象となる0値補間画像の画素のサンプリング周波数の1/2である。
【０１６０】
したがって、LPF９２によるフィルタリングは、ΔΣ変調の対象となる8ビットの縮小画像については、LPF９２の周波数特性の、正規化周波数特性が0.5以下の部分が影響するので、その部分だけを考慮すれば良い。
【０１６１】
すなわち、図１６は、図１５のLPF９２の周波数特性のうちの、正規化周波数が0.5以下の部分を示している。
【０１６２】
ΔΣ変調部８１（図１３）のΔΣ変調によるノイズシェーピングの周波数特性は、図１６の周波数特性の逆の特性になっている。
【０１６３】
図１７は、ΔΣ変調部８１（図１３）のΔΣ変調によるノイズシェーピングの周波数特性（振幅特性）を示している。
【０１６４】
なお、図１７において、横軸は、ΔΣ変調の対象となる8ビットの縮小画像の画素のサンプリング周波数の1/2を1とする周波数（正規化周波数）を表す。また、縦軸は、dBを単位とする利得を表す。
【０１６５】
図１７の正規化周波数の1は、図１５及び１６に示したLPF９２（図１４）の周波数特性の正規化周波数の0.5に対応する。
【０１６６】
図１７のノイズシェーピングの周波数特性は、正規化周波数が0のときに、利得が0で、高域（空間周波数の高域）の正規化周波数ほど、利得が大になる特性になっており、図１６の周波数特性の（ほぼ）逆の特性になっている。
【０１６７】
ここで、ノイズシェーピングの周波数特性は、信号処理部６２（図６）の周波数特性、すなわち、ここでは、LPF９２（図１４）の周波数特性（但し、正規化周波数が0.5以下の部分（図１６））の上下を反転した逆の特性に、完全に一致している必要はない。
【０１６８】
すなわち、図１６の周波数特性によれば、ΔΣ変調の対象となる8ビットの縮小画像については、LPF９２によるフィルタリングによって、空間周波数の高域の成分が減衰する。
【０１６９】
ΔΣ変調部８１（図１３）では、LPF９２によるフィルタリングによって減衰する（平均化される）高域のノイズ（量子化誤差）を付加することで、LPF９２によるフィルタリングによって得られる元サイズ画像が、16ビット画像と同等の階調の画像となるように、ΔΣ変調を行う。
【０１７０】
したがって、ΔΣ変調によるノイズシェーピングの周波数特性は、その周波数特性に従ったノイズ（量子化誤差）が、LPF９２によるフィルタリングによって（理想的には、完全に）減衰するような特性になっていれば良い。
【０１７１】
すなわち、ΔΣ変調によるノイズシェーピングの周波数特性は、LPF９２の周波数特性（正規化周波数が0.5以下の部分（図１６））の上下を反転した形状に類似した形状の特性になっていれば良い。
【０１７２】
ここで、本明細書において、ノイズシェーピングの周波数特性が、信号処理部６２（図６）の周波数特性の逆の特性になっているとは、ノイズシェーピングの周波数特性が、信号処理部６２の信号処理の周波数特性の逆の特性に完全に一致している場合の他、逆の特性に類似している場合も含まれる。
【０１７３】
また、ΔΣ変調部８１は、図３のΔΣ変調部３１と同様に構成されるが、ΔΣ変調部８１のΔΣ変調によるノイズシェーピングの周波数特性は、フィルタ４４（図３）の伝達関数G、ひいては、フィルタ４４のフィルタ係数によって決まる。
【０１７４】
例えば、上述したように、信号処理部６２（図６）の信号処理が、画像を、線形補間によって、サイズを2倍に拡大する拡大処理であり、かつ、フィルタ４４が、図４に示したように、１２タップの２次元のFIRフィルタである場合には、ΔΣ変調部８１のΔΣ変調によるノイズシェーピングの周波数特性を、信号処理部６２の信号処理の周波数特性の逆の特性にするフィルタ４４のフィルタ係数a(x,y)（図４）は、例えば、
a(1,1) = -0.0064,
a(2,1) = -0.0256,
a(3,1) = -0.0384,
a(4,1) = -0.0256,
a(5,1) = -0.0064,
a(1,2) = -0.0256,
a(2,2) = 0.1816,
a(3,2) = 0.4144,
a(4,2) = 0.1816,
a(5,2) = -0.0256,
a(1,3) = -0.0384,
a(2,3) = 0.4144
となる。
【０１７５】
［画像処理装置８０で扱われる画像、及び、TV６０に、画像処理装置８０で得られる8ビットの縮小画像が記憶されている場合に、TV６０で扱われる画像］
【０１７６】
次に、図１３の画像処理装置８０で扱われる画像、及び、TV６０（図６）の記憶部６１に、画像処理装置８０で得られる8ビットの縮小画像が記憶されている場合に、TV６０で扱われる画像について説明する。
【０１７７】
図１８は、図１３の画像処理装置８０で扱われる画像を示している。
【０１７８】
すなわち、図１８は、ΔΣ変調部８１（図１３）において、縮小部７１で得られる図８Ａの16ビットの縮小画像にΔΣ変調を施して得られる変調画像としての8ビットの縮小画像を示している。
【０１７９】
図１８の変調画像としての8ビットの縮小画像においては、画素値が、PWMがされたように変化しており、そのように変化する画素値が、視覚の空間積分効果によって、滑らかに変化しているように見える。
【０１８０】
すなわち、図１８の変調画像としての8ビットの縮小画像によれば、ΔΣ変調がされる前の16ビットの縮小画像（図８Ａ）と同等の階調が、擬似的に実現される。
【０１８１】
図１９は、図６のTV６０の記憶部６１に、図１８の8ビットの縮小画像が記憶されている場合に、TV６０で扱われる画像を示している。
【０１８２】
なお、図１９では、左から1番目の画素から400番目の画素までの画素値を示している。
【０１８３】
図１９Ａは、信号処理部６２（図６）において、図１８の8ビットの縮小画像のサイズを2倍に拡大することで得られる元サイズ画像を示している。
【０１８４】
上述したように、信号処理部６２（図１４）では、0値を補間し、LPF９２によるフィルタリングを行う拡大処理としての信号処理が行われる。そして、その信号処理の対象となる図１８の8ビットの縮小画像には、LPF９２の周波数特性の逆の特性のノイズ（量子化誤差）が付加されている（LPF９２の周波数特性の逆の特性の周波数特性のノイズシェーピングを行うΔΣ変調が施されている）。
【０１８５】
このため、図１８の8ビットの縮小画像に、信号処理部６２による拡大処理としての信号処理が施されることにより、その縮小画像に付加されているノイズは減衰する（平均化される）。その結果、信号処理部６２による拡大処理としての信号処理によって得られる元サイズ画像は、視覚の空間積分効果によって擬似的に実現される16ビット画像（メニュー画面の原画像）を、いわば復元したかのような画像となる。
【０１８６】
図１９Ｂは、係数αを、例えば、0.5として、ブレンド部６４（図６）において、図１９Ａの元サイズ画像に、係数αを乗算して得られる画像（α倍画像）と、図１０Ｂの1-α倍画像との加算を行うことによって得られる合成画像を示している。
【０１８７】
図１９Ｂの合成画像は、階調が、図１１の合成画像と比較して、高階調の画像になっていることが分かる。
【０１８８】
ここで、図１９Ｃは、係数αを0.5として、メニュー画面の原画像である16ビット画像に、係数αを乗算して得られる画像（α倍画像）と、図１０Ｂの1-α倍画像とのαブレンディングを行うことによって得られる、いわば理想的な合成画像を示している。
【０１８９】
図１９Ｂの合成画像は、階調が、図１１の合成画像よりも、図１９Ｃの理想的な合成画像に近い（類似する）画像になっている。
【０１９０】
図１９Ｄは、階調変換部６３（図６）において、ディザリング処理によって、図１９Ｂの合成画像を8ビットに階調変換した場合の、階調変換後画像を示している。
【０１９１】
図１９Ｄの階調変換後画像においては、画素値が、PWMがされたように変化しており、そのように変化する画素値が、視覚の空間積分効果によって、滑らかに変化しているように見える。
【０１９２】
すなわち、階調変換部６３（図６）でのディザリング処理による階調変換の対象となる合成画像は、図１９Ｂに示したように、図１９Ｃの理想的な合成画像に近い画像になっており、その理想的な合成画像に近い階調を有する。
【０１９３】
そのような合成画像のディザリング処理を行って得られる階調変換後画像によれば、階調変換前の合成画像と同等の階調が、擬似的に（視覚の空間積分効果によって）実現される。
【０１９４】
すなわち、図１９Ｄの階調変換後画像において、メニュー画面の画像については、メニュー画面の原画像である16ビット画像とほぼ同等の階調が、擬似的に実現される。
【０１９５】
したがって、TV６０（図６）において、メニュー画面の画像に、所定の信号処理としての拡大処理が施される場合に、その所定の信号処理としての拡大処理によって得られる画像の階調を向上させることができる。
【０１９６】
さらに、階調変換部６３（図６）でのディザリング処理による階調変換の対象となる合成画像は、図１９Ｂに示したように、図１９Ｃの理想的な合成画像に近い階調を有するので、その合成画像を階調変換して得られる画像において、図１１に示したような、画素値が階段状に変化する合成画像を階調変換した場合に比較して、バンディングが生じることを防止することができる。
【０１９７】
以上のように、ノイズシェーピングの周波数特性が、TV６０（図６）の信号処理部６２の信号処理の周波数特性の逆の特性になっているΔΣ変調を、メニュー画面の原画像を縮小した16ビットの縮小画像に施すことで、変調画像としての8ビットの縮小画像に階調変換し、TV６０に記憶させておくことにより、TV６０では、特別なハードウェアやソフトウェアを設けずに、メニュー画面の原画像に近い高階調のメニュー画面の画像を表示することが可能となる。
【０１９８】
なお、画像処理装置８０（図１３）では、メニュー画面の画像（原画像）等のUI(User Interface)となる画像の他、実世界を撮影した画像等を、処理の対象とすることができる。
【０１９９】
さらに、画像処理装置８０では、静止画、及び動画のいずれをも、処理の対象とすることができる。
【０２００】
また、TV６０（図６）の信号処理部６２の信号処理としての拡大処理は、線形補間以外の、例えば、最近傍補間や、キュービック補間等によって行うことができる。
【０２０１】
さらに、信号処理部６２の拡大処理としては、画像を、2倍以外の拡大率で拡大する処理を採用することができる。
【０２０２】
また、信号処理部６２の信号処理は、拡大処理に限定されるものではない。
【０２０３】
［本発明を適用したコンピュータの構成例］
【０２０４】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２０５】
そこで、図２０は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２０６】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
【０２０７】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０２０８】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。
【０２０９】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵している。CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、また、CPU１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０２１０】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２１１】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２１２】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２１３】
【図１】従来の画像処理システムの一例の構成を示すブロック図である。
【図２】本発明を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。
【図３】ΔΣ変調部３１の構成例を示すブロック図である。
【図４】フィルタ４４の構成例を示すブロック図である。
【図５】記憶用画像生成装置３０が行う画像処理を説明するフローチャートである。
【図６】表示用画像生成装置２０を適用したTVの構成例を示すブロック図である。
【図７】記憶用画像生成装置１０を適用した画像処理装置の構成例を示すブロック図である。
【図８】画像処理装置７０で扱われる画像を示す図である。
【図９】TV６０で扱われる画像を示す図である。
【図１０】コンテンツ画像を示す図である。
【図１１】合成画像を示す図である。
【図１２】階調変換後画像を示す図である。
【図１３】記憶用画像生成装置３０を適用した画像処理装置の構成例を示すブロック図である。
【図１４】信号処理部６２の構成例を示すブロック図である。
【図１５】LPF９２の振幅特性を示す図である。
【図１６】LPF９２の振幅特性を示す図である。
【図１７】ΔΣ変調によるノイズシェーピングの振幅特性を示す図である。
【図１８】画像処理装置８０で扱われる画像を示す図である。
【図１９】TV６０で扱われる画像を示す図である。
【図２０】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０２１４】
１０ 記憶用画像生成装置， １１ 量子化部， ２０ 表示用画像生成装置， ２１ 記憶部， ２２ 信号処理部， ２３ 階調変換部， ３０ 記憶用画像生成装置， ３１ ΔΣ変調部， ４１ 演算部， ４２ 量子化部， ４３ 演算部， ４４ フィルタ， ５１1,1，５１2,1，５１3,1，５１4,1，５１5,1，５１1,2，５１2,2，５１3,2，５１4,2，５１5,2，５１1,3，５１2,3，５２ 演算部， ６１ 記憶部， ６２ 信号処理部， ６３ 階調変換部， ６４ ブレンド部， ６５ないし６７ 演算部， ７１ 縮小部， ７２ 量子化部， ８１ ΔΣ変調部， ９１ アップサンプル部， ９２ LPF， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体
【特許請求の範囲】
【請求項１】
画像にΔΣ変調を施して得られる変調画像に対し、信号処理部において、所定の信号処理が施される場合の、前記画像に、前記ΔΣ変調を施すΔΣ変調手段を備え、
前記ΔΣ変調によるノイズシェーピングの周波数特性は、前記所定の信号処理の周波数特性の逆の特性になっている
画像処理装置。
【請求項２】
前記信号処理部が、0値を補間し、LPF(Low Pass Filter)によるフィルタリングを行うことにより、画像を所定の拡大率で拡大する拡大処理を、前記所定の信号処理として施す場合に、
前記ΔΣ変調によるノイズシェーピングの周波数特性は、前記LPFの周波数特性の逆の特性になっている
請求項１に記載の画像処理装置。
【請求項３】
原画像を、前記拡大率に対応する縮小率で縮小し、縮小画像を出力する縮小手段をさらに備え
前記ΔΣ変調手段は、前記縮小画像に、前記ΔΣ変調を施す
請求項２に記載の画像処理装置。
【請求項４】
画像にΔΣ変調を施して得られる変調画像に対し、信号処理部において、所定の信号処理が施される場合の、前記画像に、前記ΔΣ変調を施す
ステップを含み、
前記ΔΣ変調によるノイズシェーピングの周波数特性は、前記所定の信号処理の周波数特性の逆の特性になっている
画像処理方法。
【請求項５】
画像にΔΣ変調を施して得られる変調画像に対し、信号処理部において、所定の信号処理が施される場合の、前記画像に、前記ΔΣ変調を施すΔΣ変調手段として、コンピュータを機能させるためのプログラムであり、
前記ΔΣ変調によるノイズシェーピングの周波数特性は、前記所定の信号処理の周波数特性の逆の特性になっている
プログラム。
【請求項１】
画像にΔΣ変調を施して得られる変調画像に対し、信号処理部において、所定の信号処理が施される場合の、前記画像に、前記ΔΣ変調を施すΔΣ変調手段を備え、
前記ΔΣ変調によるノイズシェーピングの周波数特性は、前記所定の信号処理の周波数特性の逆の特性になっている
画像処理装置。
【請求項２】
前記信号処理部が、0値を補間し、LPF(Low Pass Filter)によるフィルタリングを行うことにより、画像を所定の拡大率で拡大する拡大処理を、前記所定の信号処理として施す場合に、
前記ΔΣ変調によるノイズシェーピングの周波数特性は、前記LPFの周波数特性の逆の特性になっている
請求項１に記載の画像処理装置。
【請求項３】
原画像を、前記拡大率に対応する縮小率で縮小し、縮小画像を出力する縮小手段をさらに備え
前記ΔΣ変調手段は、前記縮小画像に、前記ΔΣ変調を施す
請求項２に記載の画像処理装置。
【請求項４】
画像にΔΣ変調を施して得られる変調画像に対し、信号処理部において、所定の信号処理が施される場合の、前記画像に、前記ΔΣ変調を施す
ステップを含み、
前記ΔΣ変調によるノイズシェーピングの周波数特性は、前記所定の信号処理の周波数特性の逆の特性になっている
画像処理方法。
【請求項５】
画像にΔΣ変調を施して得られる変調画像に対し、信号処理部において、所定の信号処理が施される場合の、前記画像に、前記ΔΣ変調を施すΔΣ変調手段として、コンピュータを機能させるためのプログラムであり、
前記ΔΣ変調によるノイズシェーピングの周波数特性は、前記所定の信号処理の周波数特性の逆の特性になっている
プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１０−１０２４８３（Ｐ２０１０−１０２４８３Ａ）
【公開日】平成２２年５月６日（２０１０．５．６）
【国際特許分類】
【出願番号】特願２００８−２７２８９０（Ｐ２００８−２７２８９０）
【出願日】平成２０年１０月２３日（２００８．１０．２３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２２年５月６日（２０１０．５．６）
【国際特許分類】
【出願日】平成２０年１０月２３日（２００８．１０．２３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]