画像処理装置及び画像処理方法
【課題】 画質の劣化を抑えると同時に、高速、低コストな画像処理装置を提供する。
【解決手段】 画像入力部１から入力された原画像圧縮データは、復号・逆量子化部２でＤＣＴデータに変換され、画像記憶部３に格納される。画像処理部４のデータ選択部１１では、画像記憶部３に格納されたＤＣＴデータを読み込み、閾値以上のＤＣＴデータを選択してデータ演算部１２に送り、データ演算部１２で所定の処理を行なう。これにより、非常に小さい値や０を値として取る無効係数データについてはデータ演算部１２で処理が行なわれず、演算量を削減できる。データ演算部１２で処理されたデータを含むブロックは符号・量子化部５で圧縮され、画像出力部６へ送られて出力される。
【解決手段】 画像入力部１から入力された原画像圧縮データは、復号・逆量子化部２でＤＣＴデータに変換され、画像記憶部３に格納される。画像処理部４のデータ選択部１１では、画像記憶部３に格納されたＤＣＴデータを読み込み、閾値以上のＤＣＴデータを選択してデータ演算部１２に送り、データ演算部１２で所定の処理を行なう。これにより、非常に小さい値や０を値として取る無効係数データについてはデータ演算部１２で処理が行なわれず、演算量を削減できる。データ演算部１２で処理されたデータを含むブロックは符号・量子化部５で圧縮され、画像出力部６へ送られて出力される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディジタル画像処理に係り、特に高速／低コストで画像処理を行なうことが可能な画像処理装置及び画像処理方法に関するものである。
【背景技術】
【０００２】
フルカラー画像などの画像データは、一般にデータ量が非常に多いため、データを圧縮して蓄積あるいは伝送することが多い。これら多値画像データを圧縮する方法の１つとしては直交変換符号化方法が知られている。この方法は、画像全体を例えば８×８画素単位のブロックに分割して、分割されたブロックごとに直交変換を行なって符号化するものである。特徴としては、画像データに含まれる成分を低周波数成分および高周波数成分に変換し、視覚特性上影響力の大きい低周波数成分に多くのビットを割り当て、高周波数成分は少ないビット数で量子化することにより、画像データを効率的に圧縮する。直交変換としては、離散コサイン変換などが使われている。
【０００３】
このように直交変換符号化されて伝送あるいは蓄積された画像に対して画像処理を施す場合、まず符号化データを復号化し、その復号化データを逆量子化し、逆量子化データを直交逆変換して原画像データに戻した後、目的とする画像処理を行ない、再度、直交変換、量子化、符号化を行ない、伝送あるいは蓄積する。しかし、一般に直交変換は、演算量が多い処理であるため、通常の画像データを処理する場合と比べて処理時間が長くなるという欠点がある。
【０００４】
そこで従来より、原画像データを直交変換して得られた周波数データに対して、逆変換を行なわずに処理を行なう手法が提案されている。例えば、特許文献１に記載されているように、ブロック内のデータに解像度変換用マトリクスを乗じることにより、周波数データを逆変換することなしに、高解像度から低解像度への解像度変換を行なう手法が提案されている。また、特許文献２に記載されているように、ハイパス・ローパス等の線形フィルタリングや、拡大・縮小・回転等の編集を実現するマトリクスと直交変換マトリクスとの積を新たな変換用マトリクスとして用いることで、逆変換と同時に上記の処理を行なう手法が提案されている。
【０００５】
さらに、処理速度を向上させる手法として、特許文献３や特許文献４のように、周波数データのＤＣ成分のみを用いてカラー画像の色補正や、画像表示装置のガンマ特性に合わせた濃度補正を行なう手法も提案されている。
【０００６】
こうした手法では、直交変換符号化によるデータ量の減少と、直交変換および直交逆変換を行なわないことによる処理コストの減少を利用した高速化が図られ、同時にデータ格納に必要な装置コストを減らすことができる。
【０００７】
一般に、自然画像などを直交変換すると、低周波成分に大きな値が現れ、高周波成分は小さな値か０となる場合が多い。しかしながら、分割されたブロック内の周波数データを用いて解像度変換やフィルタリングなどの処理を行なう手法では、こうした非常に小さな値や０による演算が多く含まれ、処理として効率が悪いという問題がある。
【０００８】
また、周波数データのＤＣ成分のみを用いる手法では、高周波成分が多い画像ブロックの場合、原画像データへ逆変換するとブロックの境界が目立ち、画質が極端に劣化するという問題がある。
【０００９】
【特許文献１】特開平５−３１６３５７号公報
【特許文献２】特開平１−１１４２７９号公報
【特許文献３】特開平６−６６１１号公報
【特許文献４】特開平６−６６０８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明は、上述した事情に鑑みてなされたもので、原画像データを直交変換して得られた周波数データに対して処理を行なう際に、直交変換および逆変換する無駄を減らし、さらに、画質の劣化を抑えると同時に、高速、低コストな画像処理装置及び画像処理方法を提供することを目的とするものである。
【課題を解決するための手段】
【００１１】
請求項１に記載の発明は、原画像データを複数の画素を含む複数のブロックに分割して、ブロックごとに空間周波数成分に変換した周波数データに対して画像処理を行なう画像処理装置であって、前記ブロック内における処理すべきデータに演算を施す演算手段を備え、前記演算手段は、前記ブロックの周波数データを周波数に応じて分割された複数の領域について、周波数の低い領域で各ブロックの周波数データ中の個々のデータを足し合わせた積算値が閾値以下である場合、周波数の高い領域のデータに対して演算を行なわないことを特徴とするものである。
【００１２】
請求項２に記載の発明は、原画像データを複数の画素を含む複数のブロックに分割して、ブロックごとに空間周波数成分に変換した周波数データに対して画像処理を行なう画像処理装置であって、前記ブロック内における処理すべきデータに演算を施す演算手段を備え、前記演算手段は、前記ブロックの周波数データを周波数に応じて分割された複数の領域について、周波数の低い領域のエネルギーが所定値よりも小さい場合、周波数の高い領域のデータに対して演算を行なわないことを特徴とするものである。
【００１３】
請求項３に記載の発明は、請求項１または請求項２に記載の画像処理装置において、前記周波数データが、原画像データをブロックごとに直交変換したデータであることを特徴とするものである。
【００１４】
請求項４に記載の発明は、請求項１または請求項２に記載の画像処理装置において、前記周波数データが、原画像データをブロックごとに離散コサイン変換したデータであることを特徴とするものである。
【００１５】
請求項５に記載の発明は、原画像データを複数の画素を含む複数のブロックに分割して、ブロックごとに空間周波数成分に変換した周波数データに対して画像処理を行なう画像処理方法であって、前記ブロック内における処理すべきデータに演算を施す演算手段を備え、前記演算手段は、前記ブロックの周波数データを周波数に応じて分割された複数の領域について、周波数の低い領域で各ブロックの周波数データ中の個々のデータを足し合わせた積算値が閾値以下である場合、周波数の高い領域のデータに対して演算を行なわないことを特徴とするものである。
【００１６】
請求項６に記載の発明は、原画像データを複数の画素を含む複数のブロックに分割して、ブロックごとに空間周波数成分に変換した周波数データに対して画像処理を行なう画像処理方法であって、前記ブロック内における処理すべきデータに演算を施す演算手段を備え、前記演算手段は、前記ブロックの周波数データを周波数に応じて分割された複数の領域について、周波数の低い領域のエネルギーが所定値よりも小さい場合、周波数の高い領域のデータに対して演算を行なわないことを特徴とするものである。
【発明の効果】
【００１７】
本発明によれば、原画像データをブロックごとに直交変換した周波数データに対して、絶対値の非常に小さい値や０を値として取る無効係数データや、原画像データにほとんど影響のない、ブロック内のある特定領域のデータの演算を省くことで、高速で効率の良い処理が可能な画像処理装置及び画像処理方法を実現することができるという効果がある。
【発明を実施するための最良の形態】
【００１８】
図１は、本発明による画像処理装置の第１の実施の形態を示すブロック図である。図中、１は画像入力部、２は復号・逆量子化部、３は画像記憶部、４は画像処理部、５は符号・量子化部、６は画像出力部、７は制御部、１１はデータ選択部、１２はデータ演算部である。ここでは一例として、８×８画素のブロックごとに離散コサイン変換（ＤＣＴ）符号化、量子化、ハフマン符号化されて伝送あるいは蓄積された原画像圧縮データに対して画像処理を施す場合について説明する。
【００１９】
画像入力部１は、原画像圧縮データを入力する。復号・逆量子化部２は、画像入力部１から入力された原画像圧縮データをハフマン復号化、逆量子化処理を行なって８×８のＤＣＴ係数データ（以後、ＤＣＴデータと呼ぶ）に戻す。画像記憶部３は、復号・逆量子化部２で得られた８×８のＤＣＴデータを記憶する。画像処理部４は、ＤＣＴデータに対して画像処理を行なう。符号・量子化部５は、画像処理部４で処理された８×８のＤＣＴデータを量子化処理、ハフマン符号化を行なって圧縮する。画像出力部６は、符号・量子化部５で圧縮された画像データを出力する。制御部７は、各部を制御する。
【００２０】
画像処理部４は、データ選択部１１とデータ演算部１２を有し、入力されたＤＣＴデータに対して画像処理を行なう。データ選択部１１は、ブロック内において処理すべきデータを選択する。データ演算部１２は、ブロック内でデータ選択部１１により選択されたデータにのみ画像処理を施す。
【００２１】
図１において、画像入力部１から入力された原画像圧縮データは、復号・逆量子化部２でＤＣＴデータに変換され、画像記憶部３に格納される。画像記憶部３に格納されたＤＣＴデータは、画像処理部４へ読み出されてデータ処理され、符号・量子化部５で圧縮され、画像出力部６へ送られて出力される。
【００２２】
図２は、本発明の画像処理装置の第１の実施の形態におけるデータ選択部１１の一例を示す構成図である。図中、２１は係数参照部、２２は閾値処理部である。データ選択部１１は、例えば図２に示すように、係数参照部２１および閾値処理部２２を有する構成とすることができる。係数参照部２１は、画像記憶部３から読み込まれた８×８ブロックのＤＣＴデータ中の係数を順次参照する。閾値処理部２２は、係数参照部２１で参照された係数と、予め定められた閾値Ｔｈとを比較し、有効係数と無効係数にわける。例えば、係数の絶対値が閾値Ｔｈ以上のとき、その係数を有効係数としてデータ演算部１２に転送する。このようにしてＤＣＴデータ中の有効係数のみを選択し、データ演算部１２において画像処理を行なう。
【００２３】
図３は、ＤＣＴデータの一例の説明図である。図３では、８×８個のＤＣＴデータの係数を１つのブロックとして示している。ブロックの左上の角に当たる箇所が８×８ブロック中の平均的な画素値を表わしており、周波数成分でいえば直流成分を表わしている。その意味でＤＣ成分と呼ばれる。他の６３個の要素は交流成分を表わし、ＡＣ成分と呼ばれる。また図２に示すように、ブロックの右下の方向に進むにつれて、順次周波数が高くなり、より高周波の成分を表わすデータとなる。
【００２４】
図４は、本発明の画像処理装置の第１の実施の形態における画像処理部４の処理の流れの一例を示すフローチャートである。Ｓ３１において、ブロック内での処理開始位置Ｐを１とし、ブロック左上のＤＣ係数の位置に設定して処理を開始する。
【００２５】
Ｓ３２において、画像記憶部３からデータ選択部１１に８×８ブロックのＤＣＴデータを読み込む。このブロック内の位置Ｐのデータの絶対値を係数ｖと称する。
【００２６】
Ｓ３３において、Ｓ３２で参照した係数ｖを予め定められた閾値Ｔｈと閾値処理部２２で比較する。その結果、Ｔｈ≦ｖの場合にはＳ３４に、Ｔｈ＞ｖの場合にはＳ３５に移る。Ｔｈ≦ｖの場合、空間周波数表現された８×８ブロックのＤＣＴデータにおいて、ブロック内の位置Ｐに相当する周波数成分が、大きいエネルギーを持つことを示す。すなわち、原画像データに対しては、その周波数域に重要な情報が存在することを示す。そこで、Ｓ３４において、位置Ｐのデータをデータ演算部１２に転送し、データ演算部１２でデータの処理を行なう。データ演算部１２内の処理については後述する。
【００２７】
Ｔｈ＞ｖの場合、空間周波数表現された８×８ブロックのＤＣＴデータにおいて、ブロック内の位置Ｐに相当する周波数成分は小さいエネルギーしか持たないことを示す。すなわち原画像データに対しては、その周波数域の情報は無視できることを示す。従って、位置Ｐのデータはデータ演算部１２に転送しない。
【００２８】
Ｓ３５において、１ブロックについての処理が終了したか否かを判定し、当該ブロックの処理中である場合にはＳ３６に移り、Ｓ３６において、ブロック内の位置Ｐを１つ進めてＳ３２に戻る。もし当該ブロックの処理が終了した場合、Ｓ３７に移る。そして、Ｓ３７において、演算後の８×８ブロックのＤＣＴデータを画像出力部６に送り、順次出力する。
【００２９】
Ｓ３８において、全ブロックについて処理を行なったか否かを判定する。全ブロックの処理が終了していない場合、Ｓ３１に戻る。全ブロックの処理が終了した場合には、画像処理部４の処理を終了する。
【００３０】
図５は、本発明の画像処理装置の第１の実施の形態におけるデータ演算部１２の動作の具体例の説明図である。ここでは、周波数特性変換を行なう場合について説明する。図５（Ａ）においてハッチングを施した部分は、８×８ブロックのＤＣＴデータ中で、データ選択部１１により選択された有効係数を示している。また、図５（Ａ）でハッチングを施していない部分、つまりデータ選択部１１により無効係数とされた各要素は、非常に小さい値かあるいは０の値を取るので、データ演算部１２で処理を行なわず、そのまま出力される。
【００３１】
原画像データの周波数特性変換は、図５（Ａ）に示すように空間周波数表現されたＤＣＴデータの各係数に、図５（Ｂ）に示す周波数特性変換マトリクスのそれぞれ対応する位置の要素を乗じることにより実行される。例えば、ＤＣＴデータの係数をａi とし、周波数特性変換マトリクスの要素をｆi とするとき、演算後の係数ｂi は、
ｂi ＝ａi ×ｆi （ｉ＝０〜６３）
として求めればよい。
【００３２】
ここで、実際にマトリクス演算を施すのは有効係数だけであり、無効係数については演算を行なわない。図５に示す具体例では、無効係数を除く２３個の有効係数のみ、演算を行なうことになる。すなわち、従来のようにＤＣＴデータの選択を行なわない場合、各ブロックにつき６４回の乗算が必要であるのに対し、この具体例においては、２３回の乗算しか必要とせず、演算コストの削減が可能となる。
【００３３】
図６は、周波数特性変換マトリクスの一例の説明図である。図６に示すような周波数特性変換マトリクスを図５（Ｂ）に示す周波数特性変換マトリクスとして用い、ＤＣＴデータに乗じることにより、原画像データを平滑化する画像処理を行なうことが可能である。
【００３４】
図７は、周波数特性変換マトリクスの別の例の説明図である。図７に示すような周波数特性変換マトリクスを図５（Ｂ）に示す周波数特性変換マトリクスとして用い、ＤＣＴデータに乗じることにより、原画像データにおけるエッジ部分を強調する画像処理を行なうことが可能である。
【００３５】
図８は、本発明の画像処理装置の第１の実施の形態におけるデータ演算部１２の動作の別の具体例の説明図である。ここでは、ＲＧＢ空間から輝度・色差（ＹＣｒＣｂ）空間への色空間変換を例に説明を行なう。図８（Ａ），（Ｂ），（Ｃ）は、Ｒ，Ｇ，Ｂ各色信号ごとのＤＣＴデータを示し、ハッチングを施した部分がＤＣＴデータ中でデータ選択部１１により選択された有効係数の一例である。
【００３６】
図８に示すように、ＲＧＢ空間からＹＣｒＣｂ空間への色空間変換は、図８（Ａ），（Ｂ），（Ｃ）に示すＤＣＴデータの各係数ごとに、例えば図８（Ｄ）に示すような係数マトリクスを用いたマトリクス演算を施して行なわれる。３×３マトリクス処理の場合は、９回の乗算と６回の加減算が必要である。従って、従来のようにＤＣＴデータの選択を行なわない場合、ブロック内の各係数につき９回の乗算と６回の加減算が必要であり、８×８ブロック全体では５７６回の乗算と３８４回の加減算が必要となる。これに対して、この具体例においては、図８（Ｅ），（Ｆ），（Ｇ）にハッチングを施して示した部分の演算しか必要としない。具体的には１３５回の乗算と７２回の加減算のみで実行でき、演算コストの削減が可能となる。
【００３７】
以上説明したように、この第１の実施の形態によれば、ＤＣＴデータを原画像データに逆変換することなく画像処理を行なうとともに、演算を施しても処理結果にほとんど影響のでない無効係数データの演算を簡単な閾値処理によって省くことで、画質の劣化を抑えた、高速かつ効率的な画像処理が可能になる。
【００３８】
なお、上述の説明では、閾値処理部２２の閾値Ｔｈは固定としたが、これに限定されるわけではなく、さまざまな閾値を用いることが可能である。例えば、図３に示すようなＤＣＴデータの特性を利用して、ブロック内の位置により適応的に閾値を変える可変閾値を用いる方法が可能である。その一例として、低周波領域にはより小さい閾値、高周波領域にはより大きい閾値を用いることで、高域成分が目につきにくいという人間の視覚特性を利用した閾値処理が可能となる。
【００３９】
次に、第２の実施の形態について説明する。上述の第１の実施の形態では、８×８ブロックのＤＣＴデータの各係数について閾値処理を施し、有効係数のみを選択していた。しかし、図３でも示されるように、ブロック分割されたＤＣＴデータは、ブロック内の左上から右下に向かって、周波数の低い順に配置されている。また一般に、自然画像は低い周波数成分を多く含む。従って、ブロック内において、低周波領域と高周波領域とを分け、処理する領域を選択することで、高速な処理が可能となる。
【００４０】
図９は、本発明の画像処理装置の第２の実施の形態におけるデータ選択部１１の一例を示す構成図である。図中、２３は係数値積算部である。係数値積算部２３は、画像記憶部３から読み込まれた８×８ブロックのＤＣＴデータに対して、ある特定領域のＤＣＴデータの係数絶対値を積算する。
【００４１】
図１０は、本発明の画像処理装置の第２の実施の形態における計数値積算部２３で係数の積算を行なう特定領域の一例の説明図である。計数値積算部２３で係数の積算を行なう特定領域としては、例えば、ＤＣ成分のみの領域と、図１０（Ａ）にハッチングを施して示す低周波領域と、図１０（Ｂ）にハッチングを施して示す高周波領域の３つの領域を用いるように構成することができる。計数値積算部２３では、各特定領域ごとにその特定領域内の計数を積算する。
【００４２】
閾値処理部２２は、係数値積算部２３で計算された積算値に対して、予め定められた閾値Ｔｈにより閾値処理を行ない、演算領域を選択する。データ演算部１２は、選択された領域内のデータに対してのみ処理を施す。
【００４３】
図１１は、本発明の画像処理装置の第２の実施の形態における画像処理部４の処理の流れの一例を示すフローチャートである。Ｓ４１において、画像記憶部３から係数値積算部２３に、８×８ブロックのＤＣＴデータを読み込み、図１０（Ａ）にハッチングを施して示した低周波領域内のＤＣＴデータの係数の絶対値を積算し、積算値Ｓｕｍ１を求める。
【００４４】
Ｓ４２において、Ｓ４１で求めた積算値Ｓｕｍ１を閾値処理部２２に転送し、予め定められた閾値Ｔｈ１と比較する。その結果、Ｔｈ１＞Ｓｕｍ１の場合にはＳ４３に、Ｔｈ１≦Ｓｕｍ１の場合にはＳ４４に移る。Ｔｈ１＞Ｓｕｍ１の場合、図１０（Ａ）に示されるような低周波領域に大きなエネルギーを持たないことを示す。すなわち、原画像データにおいて、非常に平坦で画素値の変化がほとんどない領域であることを示す。そこで、Ｓ４３において、８×８ブロックのＤＣＴデータのうち、ＤＣ成分のみをデータ演算部１２に転送し、データ演算部１２で処理を行なう。
【００４５】
Ｔｈ１≦Ｓｕｍ１の場合、低周波領域に大きなエネルギーを持ち、原画像データにおいても画素値の変化があることを示す。そこで、次にＳ４４において、係数値積算部２３で、今度は図１０（Ｂ）にハッチングを施して示す特定領域、つまり高周波領域内のＤＣＴデータの係数の絶対値を積算し、積算値Ｓｕｍ２を求める。
【００４６】
Ｓ４５において、Ｓ４４で求めた積算値Ｓｕｍ２を閾値処理部２２に転送し、予め定められた閾値Ｔｈ２と比較する。その結果、Ｔｈ２≦Ｓｕｍ２の場合にはＳ４６に、Ｔｈ２＞Ｓｕｍ２の場合にはＳ４７に移る。Ｔｈ２＞Ｓｕｍ２の場合、図１０（Ｂ）で示されるような、周波領域に大きなエネルギーを持たないことを示す。すなわち、原画像データにおいては、エッジ等によって、画素値が急激に変化することがない領域であることを示す。そこで、Ｓ４７において、８×８ブロックのＤＣＴデータのうち、ＤＣ成分とＳ４１で用いた図１０（Ａ）に示す低周波領域内のデータを選択してデータ演算部１２に転送し、データ演算部１２で処理を行なう。
【００４７】
Ｔｈ２≦Ｓｕｍ２の場合、高周波領域にも大きなエネルギーを持ち、原画像データにおいて、エッジ等の画素値変化が激しい領域であることを示す。そこで、Ｓ４６において、８×８ブロック内の全てのＤＣＴデータを選択してデータ演算部１２に転送し、データ演算部１２で処理を行なう。
【００４８】
Ｓ４８において、Ｓ４３，Ｓ４６，Ｓ４７のいずれかのステップで処理された処理後の８×８ブロックのＤＣＴデータを画像出力部６に送り、順次出力する。
【００４９】
Ｓ４９において、全ブロックについて処理を行なったか否かを判定する。全ブロックの処理が終了していない場合、未処理のブロックについて処理を行なうべくＳ４１に戻る。全ブロックの処理が終了した場合には、画像処理部４の処理を終了する。
【００５０】
以上説明したように、この第２の実施の形態によれば、ＤＣＴデータを原画像データに逆変換することなく、８×８ブロックのＤＣＴデータをＤＣ成分と低周波領域および高周波領域とに分け、それぞれの領域内の係数絶対値による簡単な閾値処理により、原画像データにほとんど影響のでない演算を領域単位で省くので、画質の劣化を抑えた、高速な画像処理が可能になる。
【００５１】
なお、本実施の形態において、８×８ブロックのＤＣＴデータの分割方法は、ＤＣ成分と低周波領域および高周波領域の３領域に限定されるわけではなく、さらに多くの領域に分割する方法もある。図１２は、本発明の画像処理装置の第２の実施の形態における計数値積算部２３で係数の積算を行なう特定領域の別の例の説明図である。例えば、図１２（Ａ）に示すように、ブロック内を低周波側からＤＣ成分も含めて５つの領域に分割し、各領域ごとに予め定められた閾値により、処理領域を選択することも可能である。もちろん、４つの領域に分割したり、６以上の領域に分割してもよい。
【００５２】
また図１２（Ｂ）に示すように、斜めに配置された係数ごとにグループ化し、このグループごとに選択する手法も可能である。例えば、８×８ブロック内のＤＣ成分から周波数が高くなる方向へ、ＤＣＴ係数の絶対値和Ｓｕｍ１，Ｓｕｍ２，Ｓｕｍ３，・・・を順次計算し、計算された絶対値和の積算値Ｓを算出する。各々の絶対値和に対応するように閾値Ｔｈ１，Ｔｈ２，Ｔｈ３，・・・を予め定めておき、絶対値和が算出されるごとに、対応する閾値とそれまでの絶対値和の積算値Ｓを比較する。閾値Ｔｈｉより積算値Ｓが小さくなる領域までを処理領域とするように、低周波側から順に領域を選択すればよい。
【００５３】
図１２（Ｂ）に示した例では、順次Ｓｕｍ１，Ｓｕｍ２，・・・と計算していき、Ｓｕｍ５までの積算値Ｓが
Ｓ＝Ｓｕｍ１＋Ｓｕｍ２＋Ｓｕｍ３＋Ｓｕｍ４＋Ｓｕｍ５＜Ｔｈ５
となった場合を示しており、図１２（Ｂ）にハッチングを施して示した部分を処理領域として選択することになる。
【００５４】
上述の各例において、ＤＣＴデータの係数マトリクスの大きさを８×８としているが、本発明はこの大きさに限らず、小さくても大きくてもよい。ＪＰＥＧやＭＰＥＧ等の種々の規格化された符号化データでは、８×８の大きさのＤＣＴデータを用いており、上述の各例では、これらの規格に容易に対応させることが可能である。
【００５５】
また、上述の各例では、一例として８×８画素のブロックごとに離散コサイン変換（ＤＣＴ）符号化、量子化、ハフマン符号化されて伝送あるいは蓄積された原画像圧縮データに対して画像処理を施す場合について説明したが、これに限るものではない。例えば、原画像のブロックの大きさは８×８画素に限定されるものではなく、もっと大きくても小さくてもよい。また、離散コサイン変換符号化のほか、離散フーリエ変換符号化やＫ−Ｌ変換符号化など、他の種々の直交変換符号化手法を用いてもよい。さらに、このような直交変換符号化による符号データがそのまま入力されてもよいし、上述の例において量子化やハフマン符号化が行なわれていたように、他の種々の処理が施された符号データが入力されてもよい。なお、これらの変形を行なう際には、復号・逆量子化部２、符号・量子化部５を対応させておけばよい。
【図面の簡単な説明】
【００５６】
【図１】本発明による画像処理装置の第１の実施の形態を示すブロック図である。
【図２】本発明の画像処理装置の第１の実施の形態におけるデータ選択部１１の一例を示す構成図である。
【図３】ＤＣＴデータの一例の説明図である。
【図４】本発明の画像処理装置の第１の実施の形態における画像処理部４の処理の流れの一例を示すフローチャートである。
【図５】本発明の画像処理装置の第１の実施の形態におけるデータ演算部１２の動作の具体例の説明図である。
【図６】周波数特性変換マトリクスの一例の説明図である。
【図７】周波数特性変換マトリクスの別の例の説明図である。
【図８】本発明の画像処理装置の第１の実施の形態におけるデータ演算部１２の動作の別の具体例の説明図である。
【図９】本発明の画像処理装置の第２の実施の形態におけるデータ選択部１１の一例を示す構成図である。
【図１０】本発明の画像処理装置の第２の実施の形態における計数値積算部２３で係数の積算を行なう特定領域の一例の説明図である。
【図１１】本発明の画像処理装置の第２の実施の形態における画像処理部４の処理の流れの一例を示すフローチャートである。
【図１２】本発明の画像処理装置の第２の実施の形態における計数値積算部２３で係数の積算を行なう特定領域の別の例の説明図である。
【符号の説明】
【００５７】
１…画像入力部、２…復号・逆量子化部、３…画像記憶部、４…画像処理部、５…符号・量子化部、６…画像出力部、７…制御部、１１…データ選択部、１２…データ演算部、２１…係数参照部、２２…閾値処理部、２３…係数値積算部。
【技術分野】
【０００１】
本発明は、ディジタル画像処理に係り、特に高速／低コストで画像処理を行なうことが可能な画像処理装置及び画像処理方法に関するものである。
【背景技術】
【０００２】
フルカラー画像などの画像データは、一般にデータ量が非常に多いため、データを圧縮して蓄積あるいは伝送することが多い。これら多値画像データを圧縮する方法の１つとしては直交変換符号化方法が知られている。この方法は、画像全体を例えば８×８画素単位のブロックに分割して、分割されたブロックごとに直交変換を行なって符号化するものである。特徴としては、画像データに含まれる成分を低周波数成分および高周波数成分に変換し、視覚特性上影響力の大きい低周波数成分に多くのビットを割り当て、高周波数成分は少ないビット数で量子化することにより、画像データを効率的に圧縮する。直交変換としては、離散コサイン変換などが使われている。
【０００３】
このように直交変換符号化されて伝送あるいは蓄積された画像に対して画像処理を施す場合、まず符号化データを復号化し、その復号化データを逆量子化し、逆量子化データを直交逆変換して原画像データに戻した後、目的とする画像処理を行ない、再度、直交変換、量子化、符号化を行ない、伝送あるいは蓄積する。しかし、一般に直交変換は、演算量が多い処理であるため、通常の画像データを処理する場合と比べて処理時間が長くなるという欠点がある。
【０００４】
そこで従来より、原画像データを直交変換して得られた周波数データに対して、逆変換を行なわずに処理を行なう手法が提案されている。例えば、特許文献１に記載されているように、ブロック内のデータに解像度変換用マトリクスを乗じることにより、周波数データを逆変換することなしに、高解像度から低解像度への解像度変換を行なう手法が提案されている。また、特許文献２に記載されているように、ハイパス・ローパス等の線形フィルタリングや、拡大・縮小・回転等の編集を実現するマトリクスと直交変換マトリクスとの積を新たな変換用マトリクスとして用いることで、逆変換と同時に上記の処理を行なう手法が提案されている。
【０００５】
さらに、処理速度を向上させる手法として、特許文献３や特許文献４のように、周波数データのＤＣ成分のみを用いてカラー画像の色補正や、画像表示装置のガンマ特性に合わせた濃度補正を行なう手法も提案されている。
【０００６】
こうした手法では、直交変換符号化によるデータ量の減少と、直交変換および直交逆変換を行なわないことによる処理コストの減少を利用した高速化が図られ、同時にデータ格納に必要な装置コストを減らすことができる。
【０００７】
一般に、自然画像などを直交変換すると、低周波成分に大きな値が現れ、高周波成分は小さな値か０となる場合が多い。しかしながら、分割されたブロック内の周波数データを用いて解像度変換やフィルタリングなどの処理を行なう手法では、こうした非常に小さな値や０による演算が多く含まれ、処理として効率が悪いという問題がある。
【０００８】
また、周波数データのＤＣ成分のみを用いる手法では、高周波成分が多い画像ブロックの場合、原画像データへ逆変換するとブロックの境界が目立ち、画質が極端に劣化するという問題がある。
【０００９】
【特許文献１】特開平５−３１６３５７号公報
【特許文献２】特開平１−１１４２７９号公報
【特許文献３】特開平６−６６１１号公報
【特許文献４】特開平６−６６０８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明は、上述した事情に鑑みてなされたもので、原画像データを直交変換して得られた周波数データに対して処理を行なう際に、直交変換および逆変換する無駄を減らし、さらに、画質の劣化を抑えると同時に、高速、低コストな画像処理装置及び画像処理方法を提供することを目的とするものである。
【課題を解決するための手段】
【００１１】
請求項１に記載の発明は、原画像データを複数の画素を含む複数のブロックに分割して、ブロックごとに空間周波数成分に変換した周波数データに対して画像処理を行なう画像処理装置であって、前記ブロック内における処理すべきデータに演算を施す演算手段を備え、前記演算手段は、前記ブロックの周波数データを周波数に応じて分割された複数の領域について、周波数の低い領域で各ブロックの周波数データ中の個々のデータを足し合わせた積算値が閾値以下である場合、周波数の高い領域のデータに対して演算を行なわないことを特徴とするものである。
【００１２】
請求項２に記載の発明は、原画像データを複数の画素を含む複数のブロックに分割して、ブロックごとに空間周波数成分に変換した周波数データに対して画像処理を行なう画像処理装置であって、前記ブロック内における処理すべきデータに演算を施す演算手段を備え、前記演算手段は、前記ブロックの周波数データを周波数に応じて分割された複数の領域について、周波数の低い領域のエネルギーが所定値よりも小さい場合、周波数の高い領域のデータに対して演算を行なわないことを特徴とするものである。
【００１３】
請求項３に記載の発明は、請求項１または請求項２に記載の画像処理装置において、前記周波数データが、原画像データをブロックごとに直交変換したデータであることを特徴とするものである。
【００１４】
請求項４に記載の発明は、請求項１または請求項２に記載の画像処理装置において、前記周波数データが、原画像データをブロックごとに離散コサイン変換したデータであることを特徴とするものである。
【００１５】
請求項５に記載の発明は、原画像データを複数の画素を含む複数のブロックに分割して、ブロックごとに空間周波数成分に変換した周波数データに対して画像処理を行なう画像処理方法であって、前記ブロック内における処理すべきデータに演算を施す演算手段を備え、前記演算手段は、前記ブロックの周波数データを周波数に応じて分割された複数の領域について、周波数の低い領域で各ブロックの周波数データ中の個々のデータを足し合わせた積算値が閾値以下である場合、周波数の高い領域のデータに対して演算を行なわないことを特徴とするものである。
【００１６】
請求項６に記載の発明は、原画像データを複数の画素を含む複数のブロックに分割して、ブロックごとに空間周波数成分に変換した周波数データに対して画像処理を行なう画像処理方法であって、前記ブロック内における処理すべきデータに演算を施す演算手段を備え、前記演算手段は、前記ブロックの周波数データを周波数に応じて分割された複数の領域について、周波数の低い領域のエネルギーが所定値よりも小さい場合、周波数の高い領域のデータに対して演算を行なわないことを特徴とするものである。
【発明の効果】
【００１７】
本発明によれば、原画像データをブロックごとに直交変換した周波数データに対して、絶対値の非常に小さい値や０を値として取る無効係数データや、原画像データにほとんど影響のない、ブロック内のある特定領域のデータの演算を省くことで、高速で効率の良い処理が可能な画像処理装置及び画像処理方法を実現することができるという効果がある。
【発明を実施するための最良の形態】
【００１８】
図１は、本発明による画像処理装置の第１の実施の形態を示すブロック図である。図中、１は画像入力部、２は復号・逆量子化部、３は画像記憶部、４は画像処理部、５は符号・量子化部、６は画像出力部、７は制御部、１１はデータ選択部、１２はデータ演算部である。ここでは一例として、８×８画素のブロックごとに離散コサイン変換（ＤＣＴ）符号化、量子化、ハフマン符号化されて伝送あるいは蓄積された原画像圧縮データに対して画像処理を施す場合について説明する。
【００１９】
画像入力部１は、原画像圧縮データを入力する。復号・逆量子化部２は、画像入力部１から入力された原画像圧縮データをハフマン復号化、逆量子化処理を行なって８×８のＤＣＴ係数データ（以後、ＤＣＴデータと呼ぶ）に戻す。画像記憶部３は、復号・逆量子化部２で得られた８×８のＤＣＴデータを記憶する。画像処理部４は、ＤＣＴデータに対して画像処理を行なう。符号・量子化部５は、画像処理部４で処理された８×８のＤＣＴデータを量子化処理、ハフマン符号化を行なって圧縮する。画像出力部６は、符号・量子化部５で圧縮された画像データを出力する。制御部７は、各部を制御する。
【００２０】
画像処理部４は、データ選択部１１とデータ演算部１２を有し、入力されたＤＣＴデータに対して画像処理を行なう。データ選択部１１は、ブロック内において処理すべきデータを選択する。データ演算部１２は、ブロック内でデータ選択部１１により選択されたデータにのみ画像処理を施す。
【００２１】
図１において、画像入力部１から入力された原画像圧縮データは、復号・逆量子化部２でＤＣＴデータに変換され、画像記憶部３に格納される。画像記憶部３に格納されたＤＣＴデータは、画像処理部４へ読み出されてデータ処理され、符号・量子化部５で圧縮され、画像出力部６へ送られて出力される。
【００２２】
図２は、本発明の画像処理装置の第１の実施の形態におけるデータ選択部１１の一例を示す構成図である。図中、２１は係数参照部、２２は閾値処理部である。データ選択部１１は、例えば図２に示すように、係数参照部２１および閾値処理部２２を有する構成とすることができる。係数参照部２１は、画像記憶部３から読み込まれた８×８ブロックのＤＣＴデータ中の係数を順次参照する。閾値処理部２２は、係数参照部２１で参照された係数と、予め定められた閾値Ｔｈとを比較し、有効係数と無効係数にわける。例えば、係数の絶対値が閾値Ｔｈ以上のとき、その係数を有効係数としてデータ演算部１２に転送する。このようにしてＤＣＴデータ中の有効係数のみを選択し、データ演算部１２において画像処理を行なう。
【００２３】
図３は、ＤＣＴデータの一例の説明図である。図３では、８×８個のＤＣＴデータの係数を１つのブロックとして示している。ブロックの左上の角に当たる箇所が８×８ブロック中の平均的な画素値を表わしており、周波数成分でいえば直流成分を表わしている。その意味でＤＣ成分と呼ばれる。他の６３個の要素は交流成分を表わし、ＡＣ成分と呼ばれる。また図２に示すように、ブロックの右下の方向に進むにつれて、順次周波数が高くなり、より高周波の成分を表わすデータとなる。
【００２４】
図４は、本発明の画像処理装置の第１の実施の形態における画像処理部４の処理の流れの一例を示すフローチャートである。Ｓ３１において、ブロック内での処理開始位置Ｐを１とし、ブロック左上のＤＣ係数の位置に設定して処理を開始する。
【００２５】
Ｓ３２において、画像記憶部３からデータ選択部１１に８×８ブロックのＤＣＴデータを読み込む。このブロック内の位置Ｐのデータの絶対値を係数ｖと称する。
【００２６】
Ｓ３３において、Ｓ３２で参照した係数ｖを予め定められた閾値Ｔｈと閾値処理部２２で比較する。その結果、Ｔｈ≦ｖの場合にはＳ３４に、Ｔｈ＞ｖの場合にはＳ３５に移る。Ｔｈ≦ｖの場合、空間周波数表現された８×８ブロックのＤＣＴデータにおいて、ブロック内の位置Ｐに相当する周波数成分が、大きいエネルギーを持つことを示す。すなわち、原画像データに対しては、その周波数域に重要な情報が存在することを示す。そこで、Ｓ３４において、位置Ｐのデータをデータ演算部１２に転送し、データ演算部１２でデータの処理を行なう。データ演算部１２内の処理については後述する。
【００２７】
Ｔｈ＞ｖの場合、空間周波数表現された８×８ブロックのＤＣＴデータにおいて、ブロック内の位置Ｐに相当する周波数成分は小さいエネルギーしか持たないことを示す。すなわち原画像データに対しては、その周波数域の情報は無視できることを示す。従って、位置Ｐのデータはデータ演算部１２に転送しない。
【００２８】
Ｓ３５において、１ブロックについての処理が終了したか否かを判定し、当該ブロックの処理中である場合にはＳ３６に移り、Ｓ３６において、ブロック内の位置Ｐを１つ進めてＳ３２に戻る。もし当該ブロックの処理が終了した場合、Ｓ３７に移る。そして、Ｓ３７において、演算後の８×８ブロックのＤＣＴデータを画像出力部６に送り、順次出力する。
【００２９】
Ｓ３８において、全ブロックについて処理を行なったか否かを判定する。全ブロックの処理が終了していない場合、Ｓ３１に戻る。全ブロックの処理が終了した場合には、画像処理部４の処理を終了する。
【００３０】
図５は、本発明の画像処理装置の第１の実施の形態におけるデータ演算部１２の動作の具体例の説明図である。ここでは、周波数特性変換を行なう場合について説明する。図５（Ａ）においてハッチングを施した部分は、８×８ブロックのＤＣＴデータ中で、データ選択部１１により選択された有効係数を示している。また、図５（Ａ）でハッチングを施していない部分、つまりデータ選択部１１により無効係数とされた各要素は、非常に小さい値かあるいは０の値を取るので、データ演算部１２で処理を行なわず、そのまま出力される。
【００３１】
原画像データの周波数特性変換は、図５（Ａ）に示すように空間周波数表現されたＤＣＴデータの各係数に、図５（Ｂ）に示す周波数特性変換マトリクスのそれぞれ対応する位置の要素を乗じることにより実行される。例えば、ＤＣＴデータの係数をａi とし、周波数特性変換マトリクスの要素をｆi とするとき、演算後の係数ｂi は、
ｂi ＝ａi ×ｆi （ｉ＝０〜６３）
として求めればよい。
【００３２】
ここで、実際にマトリクス演算を施すのは有効係数だけであり、無効係数については演算を行なわない。図５に示す具体例では、無効係数を除く２３個の有効係数のみ、演算を行なうことになる。すなわち、従来のようにＤＣＴデータの選択を行なわない場合、各ブロックにつき６４回の乗算が必要であるのに対し、この具体例においては、２３回の乗算しか必要とせず、演算コストの削減が可能となる。
【００３３】
図６は、周波数特性変換マトリクスの一例の説明図である。図６に示すような周波数特性変換マトリクスを図５（Ｂ）に示す周波数特性変換マトリクスとして用い、ＤＣＴデータに乗じることにより、原画像データを平滑化する画像処理を行なうことが可能である。
【００３４】
図７は、周波数特性変換マトリクスの別の例の説明図である。図７に示すような周波数特性変換マトリクスを図５（Ｂ）に示す周波数特性変換マトリクスとして用い、ＤＣＴデータに乗じることにより、原画像データにおけるエッジ部分を強調する画像処理を行なうことが可能である。
【００３５】
図８は、本発明の画像処理装置の第１の実施の形態におけるデータ演算部１２の動作の別の具体例の説明図である。ここでは、ＲＧＢ空間から輝度・色差（ＹＣｒＣｂ）空間への色空間変換を例に説明を行なう。図８（Ａ），（Ｂ），（Ｃ）は、Ｒ，Ｇ，Ｂ各色信号ごとのＤＣＴデータを示し、ハッチングを施した部分がＤＣＴデータ中でデータ選択部１１により選択された有効係数の一例である。
【００３６】
図８に示すように、ＲＧＢ空間からＹＣｒＣｂ空間への色空間変換は、図８（Ａ），（Ｂ），（Ｃ）に示すＤＣＴデータの各係数ごとに、例えば図８（Ｄ）に示すような係数マトリクスを用いたマトリクス演算を施して行なわれる。３×３マトリクス処理の場合は、９回の乗算と６回の加減算が必要である。従って、従来のようにＤＣＴデータの選択を行なわない場合、ブロック内の各係数につき９回の乗算と６回の加減算が必要であり、８×８ブロック全体では５７６回の乗算と３８４回の加減算が必要となる。これに対して、この具体例においては、図８（Ｅ），（Ｆ），（Ｇ）にハッチングを施して示した部分の演算しか必要としない。具体的には１３５回の乗算と７２回の加減算のみで実行でき、演算コストの削減が可能となる。
【００３７】
以上説明したように、この第１の実施の形態によれば、ＤＣＴデータを原画像データに逆変換することなく画像処理を行なうとともに、演算を施しても処理結果にほとんど影響のでない無効係数データの演算を簡単な閾値処理によって省くことで、画質の劣化を抑えた、高速かつ効率的な画像処理が可能になる。
【００３８】
なお、上述の説明では、閾値処理部２２の閾値Ｔｈは固定としたが、これに限定されるわけではなく、さまざまな閾値を用いることが可能である。例えば、図３に示すようなＤＣＴデータの特性を利用して、ブロック内の位置により適応的に閾値を変える可変閾値を用いる方法が可能である。その一例として、低周波領域にはより小さい閾値、高周波領域にはより大きい閾値を用いることで、高域成分が目につきにくいという人間の視覚特性を利用した閾値処理が可能となる。
【００３９】
次に、第２の実施の形態について説明する。上述の第１の実施の形態では、８×８ブロックのＤＣＴデータの各係数について閾値処理を施し、有効係数のみを選択していた。しかし、図３でも示されるように、ブロック分割されたＤＣＴデータは、ブロック内の左上から右下に向かって、周波数の低い順に配置されている。また一般に、自然画像は低い周波数成分を多く含む。従って、ブロック内において、低周波領域と高周波領域とを分け、処理する領域を選択することで、高速な処理が可能となる。
【００４０】
図９は、本発明の画像処理装置の第２の実施の形態におけるデータ選択部１１の一例を示す構成図である。図中、２３は係数値積算部である。係数値積算部２３は、画像記憶部３から読み込まれた８×８ブロックのＤＣＴデータに対して、ある特定領域のＤＣＴデータの係数絶対値を積算する。
【００４１】
図１０は、本発明の画像処理装置の第２の実施の形態における計数値積算部２３で係数の積算を行なう特定領域の一例の説明図である。計数値積算部２３で係数の積算を行なう特定領域としては、例えば、ＤＣ成分のみの領域と、図１０（Ａ）にハッチングを施して示す低周波領域と、図１０（Ｂ）にハッチングを施して示す高周波領域の３つの領域を用いるように構成することができる。計数値積算部２３では、各特定領域ごとにその特定領域内の計数を積算する。
【００４２】
閾値処理部２２は、係数値積算部２３で計算された積算値に対して、予め定められた閾値Ｔｈにより閾値処理を行ない、演算領域を選択する。データ演算部１２は、選択された領域内のデータに対してのみ処理を施す。
【００４３】
図１１は、本発明の画像処理装置の第２の実施の形態における画像処理部４の処理の流れの一例を示すフローチャートである。Ｓ４１において、画像記憶部３から係数値積算部２３に、８×８ブロックのＤＣＴデータを読み込み、図１０（Ａ）にハッチングを施して示した低周波領域内のＤＣＴデータの係数の絶対値を積算し、積算値Ｓｕｍ１を求める。
【００４４】
Ｓ４２において、Ｓ４１で求めた積算値Ｓｕｍ１を閾値処理部２２に転送し、予め定められた閾値Ｔｈ１と比較する。その結果、Ｔｈ１＞Ｓｕｍ１の場合にはＳ４３に、Ｔｈ１≦Ｓｕｍ１の場合にはＳ４４に移る。Ｔｈ１＞Ｓｕｍ１の場合、図１０（Ａ）に示されるような低周波領域に大きなエネルギーを持たないことを示す。すなわち、原画像データにおいて、非常に平坦で画素値の変化がほとんどない領域であることを示す。そこで、Ｓ４３において、８×８ブロックのＤＣＴデータのうち、ＤＣ成分のみをデータ演算部１２に転送し、データ演算部１２で処理を行なう。
【００４５】
Ｔｈ１≦Ｓｕｍ１の場合、低周波領域に大きなエネルギーを持ち、原画像データにおいても画素値の変化があることを示す。そこで、次にＳ４４において、係数値積算部２３で、今度は図１０（Ｂ）にハッチングを施して示す特定領域、つまり高周波領域内のＤＣＴデータの係数の絶対値を積算し、積算値Ｓｕｍ２を求める。
【００４６】
Ｓ４５において、Ｓ４４で求めた積算値Ｓｕｍ２を閾値処理部２２に転送し、予め定められた閾値Ｔｈ２と比較する。その結果、Ｔｈ２≦Ｓｕｍ２の場合にはＳ４６に、Ｔｈ２＞Ｓｕｍ２の場合にはＳ４７に移る。Ｔｈ２＞Ｓｕｍ２の場合、図１０（Ｂ）で示されるような、周波領域に大きなエネルギーを持たないことを示す。すなわち、原画像データにおいては、エッジ等によって、画素値が急激に変化することがない領域であることを示す。そこで、Ｓ４７において、８×８ブロックのＤＣＴデータのうち、ＤＣ成分とＳ４１で用いた図１０（Ａ）に示す低周波領域内のデータを選択してデータ演算部１２に転送し、データ演算部１２で処理を行なう。
【００４７】
Ｔｈ２≦Ｓｕｍ２の場合、高周波領域にも大きなエネルギーを持ち、原画像データにおいて、エッジ等の画素値変化が激しい領域であることを示す。そこで、Ｓ４６において、８×８ブロック内の全てのＤＣＴデータを選択してデータ演算部１２に転送し、データ演算部１２で処理を行なう。
【００４８】
Ｓ４８において、Ｓ４３，Ｓ４６，Ｓ４７のいずれかのステップで処理された処理後の８×８ブロックのＤＣＴデータを画像出力部６に送り、順次出力する。
【００４９】
Ｓ４９において、全ブロックについて処理を行なったか否かを判定する。全ブロックの処理が終了していない場合、未処理のブロックについて処理を行なうべくＳ４１に戻る。全ブロックの処理が終了した場合には、画像処理部４の処理を終了する。
【００５０】
以上説明したように、この第２の実施の形態によれば、ＤＣＴデータを原画像データに逆変換することなく、８×８ブロックのＤＣＴデータをＤＣ成分と低周波領域および高周波領域とに分け、それぞれの領域内の係数絶対値による簡単な閾値処理により、原画像データにほとんど影響のでない演算を領域単位で省くので、画質の劣化を抑えた、高速な画像処理が可能になる。
【００５１】
なお、本実施の形態において、８×８ブロックのＤＣＴデータの分割方法は、ＤＣ成分と低周波領域および高周波領域の３領域に限定されるわけではなく、さらに多くの領域に分割する方法もある。図１２は、本発明の画像処理装置の第２の実施の形態における計数値積算部２３で係数の積算を行なう特定領域の別の例の説明図である。例えば、図１２（Ａ）に示すように、ブロック内を低周波側からＤＣ成分も含めて５つの領域に分割し、各領域ごとに予め定められた閾値により、処理領域を選択することも可能である。もちろん、４つの領域に分割したり、６以上の領域に分割してもよい。
【００５２】
また図１２（Ｂ）に示すように、斜めに配置された係数ごとにグループ化し、このグループごとに選択する手法も可能である。例えば、８×８ブロック内のＤＣ成分から周波数が高くなる方向へ、ＤＣＴ係数の絶対値和Ｓｕｍ１，Ｓｕｍ２，Ｓｕｍ３，・・・を順次計算し、計算された絶対値和の積算値Ｓを算出する。各々の絶対値和に対応するように閾値Ｔｈ１，Ｔｈ２，Ｔｈ３，・・・を予め定めておき、絶対値和が算出されるごとに、対応する閾値とそれまでの絶対値和の積算値Ｓを比較する。閾値Ｔｈｉより積算値Ｓが小さくなる領域までを処理領域とするように、低周波側から順に領域を選択すればよい。
【００５３】
図１２（Ｂ）に示した例では、順次Ｓｕｍ１，Ｓｕｍ２，・・・と計算していき、Ｓｕｍ５までの積算値Ｓが
Ｓ＝Ｓｕｍ１＋Ｓｕｍ２＋Ｓｕｍ３＋Ｓｕｍ４＋Ｓｕｍ５＜Ｔｈ５
となった場合を示しており、図１２（Ｂ）にハッチングを施して示した部分を処理領域として選択することになる。
【００５４】
上述の各例において、ＤＣＴデータの係数マトリクスの大きさを８×８としているが、本発明はこの大きさに限らず、小さくても大きくてもよい。ＪＰＥＧやＭＰＥＧ等の種々の規格化された符号化データでは、８×８の大きさのＤＣＴデータを用いており、上述の各例では、これらの規格に容易に対応させることが可能である。
【００５５】
また、上述の各例では、一例として８×８画素のブロックごとに離散コサイン変換（ＤＣＴ）符号化、量子化、ハフマン符号化されて伝送あるいは蓄積された原画像圧縮データに対して画像処理を施す場合について説明したが、これに限るものではない。例えば、原画像のブロックの大きさは８×８画素に限定されるものではなく、もっと大きくても小さくてもよい。また、離散コサイン変換符号化のほか、離散フーリエ変換符号化やＫ−Ｌ変換符号化など、他の種々の直交変換符号化手法を用いてもよい。さらに、このような直交変換符号化による符号データがそのまま入力されてもよいし、上述の例において量子化やハフマン符号化が行なわれていたように、他の種々の処理が施された符号データが入力されてもよい。なお、これらの変形を行なう際には、復号・逆量子化部２、符号・量子化部５を対応させておけばよい。
【図面の簡単な説明】
【００５６】
【図１】本発明による画像処理装置の第１の実施の形態を示すブロック図である。
【図２】本発明の画像処理装置の第１の実施の形態におけるデータ選択部１１の一例を示す構成図である。
【図３】ＤＣＴデータの一例の説明図である。
【図４】本発明の画像処理装置の第１の実施の形態における画像処理部４の処理の流れの一例を示すフローチャートである。
【図５】本発明の画像処理装置の第１の実施の形態におけるデータ演算部１２の動作の具体例の説明図である。
【図６】周波数特性変換マトリクスの一例の説明図である。
【図７】周波数特性変換マトリクスの別の例の説明図である。
【図８】本発明の画像処理装置の第１の実施の形態におけるデータ演算部１２の動作の別の具体例の説明図である。
【図９】本発明の画像処理装置の第２の実施の形態におけるデータ選択部１１の一例を示す構成図である。
【図１０】本発明の画像処理装置の第２の実施の形態における計数値積算部２３で係数の積算を行なう特定領域の一例の説明図である。
【図１１】本発明の画像処理装置の第２の実施の形態における画像処理部４の処理の流れの一例を示すフローチャートである。
【図１２】本発明の画像処理装置の第２の実施の形態における計数値積算部２３で係数の積算を行なう特定領域の別の例の説明図である。
【符号の説明】
【００５７】
１…画像入力部、２…復号・逆量子化部、３…画像記憶部、４…画像処理部、５…符号・量子化部、６…画像出力部、７…制御部、１１…データ選択部、１２…データ演算部、２１…係数参照部、２２…閾値処理部、２３…係数値積算部。
【特許請求の範囲】
【請求項１】
原画像データを複数の画素を含む複数のブロックに分割して、ブロックごとに空間周波数成分に変換した周波数データに対して画像処理を行なう画像処理装置であって、前記ブロック内における処理すべきデータに演算を施す演算手段を備え、前記演算手段は、前記ブロックの周波数データを周波数に応じて分割された複数の領域について、周波数の低い領域で各ブロックの周波数データ中の個々のデータを足し合わせた積算値が閾値以下である場合、周波数の高い領域のデータに対して演算を行なわないことを特徴とする画像処理装置。
【請求項２】
原画像データを複数の画素を含む複数のブロックに分割して、ブロックごとに空間周波数成分に変換した周波数データに対して画像処理を行なう画像処理装置であって、前記ブロック内における処理すべきデータに演算を施す演算手段を備え、前記演算手段は、前記ブロックの周波数データを周波数に応じて分割された複数の領域について、周波数の低い領域のエネルギーが所定値よりも小さい場合、周波数の高い領域のデータに対して演算を行なわないことを特徴とする画像処理装置。
【請求項３】
前記周波数データが、原画像データをブロックごとに直交変換したデータであることを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記周波数データが、原画像データをブロックごとに離散コサイン変換したデータであることを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項５】
原画像データを複数の画素を含む複数のブロックに分割して、ブロックごとに空間周波数成分に変換した周波数データに対して画像処理を行なう画像処理方法であって、前記ブロック内における処理すべきデータに演算を施す演算手段を備え、前記演算手段は、前記ブロックの周波数データを周波数に応じて分割された複数の領域について、周波数の低い領域で各ブロックの周波数データ中の個々のデータを足し合わせた積算値が閾値以下である場合、周波数の高い領域のデータに対して演算を行なわないことを特徴とする画像処理方法。
【請求項６】
原画像データを複数の画素を含む複数のブロックに分割して、ブロックごとに空間周波数成分に変換した周波数データに対して画像処理を行なう画像処理方法であって、前記ブロック内における処理すべきデータに演算を施す演算手段を備え、前記演算手段は、前記ブロックの周波数データを周波数に応じて分割された複数の領域について、周波数の低い領域のエネルギーが所定値よりも小さい場合、周波数の高い領域のデータに対して演算を行なわないことを特徴とする画像処理方法。
【請求項１】
原画像データを複数の画素を含む複数のブロックに分割して、ブロックごとに空間周波数成分に変換した周波数データに対して画像処理を行なう画像処理装置であって、前記ブロック内における処理すべきデータに演算を施す演算手段を備え、前記演算手段は、前記ブロックの周波数データを周波数に応じて分割された複数の領域について、周波数の低い領域で各ブロックの周波数データ中の個々のデータを足し合わせた積算値が閾値以下である場合、周波数の高い領域のデータに対して演算を行なわないことを特徴とする画像処理装置。
【請求項２】
原画像データを複数の画素を含む複数のブロックに分割して、ブロックごとに空間周波数成分に変換した周波数データに対して画像処理を行なう画像処理装置であって、前記ブロック内における処理すべきデータに演算を施す演算手段を備え、前記演算手段は、前記ブロックの周波数データを周波数に応じて分割された複数の領域について、周波数の低い領域のエネルギーが所定値よりも小さい場合、周波数の高い領域のデータに対して演算を行なわないことを特徴とする画像処理装置。
【請求項３】
前記周波数データが、原画像データをブロックごとに直交変換したデータであることを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記周波数データが、原画像データをブロックごとに離散コサイン変換したデータであることを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項５】
原画像データを複数の画素を含む複数のブロックに分割して、ブロックごとに空間周波数成分に変換した周波数データに対して画像処理を行なう画像処理方法であって、前記ブロック内における処理すべきデータに演算を施す演算手段を備え、前記演算手段は、前記ブロックの周波数データを周波数に応じて分割された複数の領域について、周波数の低い領域で各ブロックの周波数データ中の個々のデータを足し合わせた積算値が閾値以下である場合、周波数の高い領域のデータに対して演算を行なわないことを特徴とする画像処理方法。
【請求項６】
原画像データを複数の画素を含む複数のブロックに分割して、ブロックごとに空間周波数成分に変換した周波数データに対して画像処理を行なう画像処理方法であって、前記ブロック内における処理すべきデータに演算を施す演算手段を備え、前記演算手段は、前記ブロックの周波数データを周波数に応じて分割された複数の領域について、周波数の低い領域のエネルギーが所定値よりも小さい場合、周波数の高い領域のデータに対して演算を行なわないことを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００６−２４２２２（Ｐ２００６−２４２２２Ａ）
【公開日】平成１８年１月２６日（２００６．１．２６）
【国際特許分類】
【出願番号】特願２００５−２０１４００（Ｐ２００５−２０１４００）
【出願日】平成１７年７月１１日（２００５．７．１１）
【分割の表示】特願平８−１７２３１８の分割
【原出願日】平成８年７月２日（１９９６．７．２）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成１８年１月２６日（２００６．１．２６）
【国際特許分類】
【出願日】平成１７年７月１１日（２００５．７．１１）
【分割の表示】特願平８−１７２３１８の分割
【原出願日】平成８年７月２日（１９９６．７．２）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]