画像処理方法及び画像処理装置
【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像圧縮・伸長を行う画像処理方法及び画像処理装置に係り、特に圧縮率を向上させ、また、高圧縮率においても実用的な画像を得ることができる画像処理方法及び画像処理装置に関する。
【0002】
【従来の技術】画像通信及び画像蓄積の際に用いられる画像データ符号化・復号化方法には、完全な原画像を復号できる「可逆方式」と、符号化の際に原画像の情報の一部を削減し、復号化の際に劣化を伴う「非可逆方式」とがある。
【0003】本発明は、後者の「非可逆方式」に関するものであり、従来の「非可逆方式」の画像処理方法としては、静止画を圧縮・伸長するものとしてJPEG(JointPhotographic coding Experts Group:ISO/IEC ITU-T T.81又はISO/IEC IS 10918-1)方式、また、動画像を圧縮・伸長するものとしてH.261(ITU-T H.261)、MPEG1(Moving Picture Experts Group 1:ISO/IEC IS 11172-1)、MPEG2(ISO/IEC IS 13818-1)等がある。
【0004】そこで、従来の画像処理方法の一例であるJPEG方式の画像処理装置について図7を使って説明する。図7は、従来の画像処理装置の構成ブロック図である。従来の画像処理装置は、図7に示すように、原画像を圧縮符号化する部分である符号化部1と、伝送又は蓄積された圧縮符号化データを伸長復号化する部分である復号化部2とから構成されている。
【0005】そして、符号化部1は、DCT(Discrete Cosine Transform)演算を行う離散コサイン変換器11と、量子化を行う量子化器12と、エントロピー符号化を行うハフマン符号化器13とから構成され、復号化部2は、エントロピー復号化を行うハフマン復号化器21と、逆量子化を行う逆量子化器22と、逆離散コサイン演算(逆DCT演算)を行う逆離散コサイン変換器23とから構成されている。
【0006】次に、従来の画像処理装置における画像処理方法について、図7、図8、図9を使って説明する。図8は、JPEG方式を用いた従来の画像処理装置の符号化部分の動作の流れを示すフローチャート図であり、図9は、JPEG方式を用いた従来の画像処理装置の復号化部分の動作の流れを示すフローチャート図である。
【0007】従来の画像処理装置における符号化方法は、図8に示すように、原画像の画像データを入力し(S101)、原画像について例えば8×8画素のブロック単位で走査して画像データを入力し(S103)、離散コサイン変換器11において離散コサイン変換し(S104)、得られたDCT係数を量子化器12によって量子化して有効係数の数を削減し(S105)、更にハフマン符号化器13によってエントロピー符号化(ハフマン符号化)して(S106)、圧縮符号化データ(符号化データ)を通信路または蓄積メディアに出力し(S107)、全てのブロックについて符号化処理が終了したか判断し(S108)、終了した場合(Yes)は符号化処理を終了し、全てのブロックについて処理が終了していない場合(No)は、次にブロックに切り替えて(S109)、処理S103から処理S108を繰り返す。
【0008】また、従来の画像処理装置の復号化方法は、図9に示すように、通信路または蓄積メディアから1画面分の圧縮符号化データを入力し(S201)、ブロック単位で符号化データを入力し(S202)、ハフマン復号化器21によってエントロピー復号化(ハフマン復号化)し(S203)、逆量子化器22によって逆量子化し(S204)、逆離散コサイン変換器23によって逆離散コサイン変換して(S205)、伸長復号した画像データを出力し(S206)、全てのブロックについて復号化処理が終了したか判断し(S207)、全てのブロックについて処理が終了していない場合(No)は、次にブロックに切り替えて(S209)、処理S202から処理S207を繰り返す。
【0009】尚、JPEG方式については、「最新MPEG教科書」マルチメディア通信研究会編 (株)アスキー発行 p53〜p67に詳細に記述されている。また、H.261方式,MPEG1,MPEG2についても同書に詳しく記載されている。
【0010】
【発明が解決しようとする課題】しかしながら、上記従来の非可逆方式による画像処理方法では、歪み、雑音の発生による画像劣化のために、1フレームに対する原画像データの実用圧縮率が1/40程度であり、それ以上圧縮率を上げると、再生画像の劣化が著しいという問題があった。
【0011】本発明は上記実情に鑑みて為されたもので、高圧縮においても実用的な画質の画面を得ることによって、圧縮率の実用限界をのばすことができる画像処理方法及び画像処理装置及びその制御方法を提供することを目的とする。
【0012】
【課題を解決するための手段】上記従来例の問題点を解決するための請求項1の発明は、画像処理方法において、原画像の1フレームの画像データを特定画素数のブロックに分割して離散コサイン変換し、前記ブロックについて縮小画像に相当するDC成分とAC成分で逆離散コサイン変換し、更に各画素の画素値を縮小比倍として各画素の輝度調整を行って縮小画像データを作成し、前記縮小画像データを前記ブロック単位に圧縮符号化し、前記圧縮符号化された画像データを伸長復号化して1フレームの縮小画像データを作成し、前記縮小画像データを特定画素数のブロックに分割して離散コサイン変換し、得られた離散コサイン変換係数について高周波成分にゼロの値を挿入して拡大画像に相当する離散コサイン変換係数を作成し、当該作成した離散コサイン変換係数で逆離散コサイン変換し、更に各画素の画素値を拡大比倍として各画素の輝度調整を行って原画像の1フレームに対応する画像を復元し、前記復元された画像について輪郭検出を行い、輪郭以外の部分をぼかすよう修復して画像を再生することを特徴としており、圧縮効率を高めることができ、高圧縮においても実質的な画質の画像を得ることができる。
【0013】
【0014】上記従来例の問題点を解決するための請求項2記載の発明は、請求項1記載の画像処理方法において、縮小画像データを圧縮符号化及び伸長復号化するのにJPEG方式、H.261方式、MPEG1方式、MPEG2方式又はベクトル量子化方式を用いたことを特徴としており、圧縮効率を高めることができ、高圧縮においても実質的な画質の画像を得ることができる。
【0015】上記従来例の問題点を解決するための請求項3記載の発明は、画像処理装置において、原画像の1フレームの画像データを特定画素数のブロックに分割して離散コサイン変換し、前記ブロックについて縮小画像に相当するDC成分とAC成分で逆離散コサイン変換し、更に各画素の画素値を縮小比倍として各画素の輝度調整を行って縮小画像データを作成する画像縮小手段と、前記縮小画像データを前記ブロック単位に圧縮符号化する圧縮符号化手段と、前記圧縮符号化された画像データを伸長復号化する伸長復号化手段と、前記伸長復号化された画像データを特定画素数のブロックに分割して離散コサイン変換し、得られた離散コサイン変換係数について高周波成分にゼロの値を挿入して拡大画像に相当する離散コサイン変換係数を作成し、当該作成した離散コサイン変換係数で逆離散コサイン変換し、更に各画素の画素値を拡大比倍として各画素の輝度調整を行って原画像の1フレームに対応する画像を復元する画像拡大手段と、前記復元された画像について輪郭検出し、輪郭以外の部分をぼかすことによって修復する画像修復手段とを有することを特徴としており、圧縮効率を高めることができ、高圧縮においても実質的な画質の画像を得ることができる。
【0016】
【0017】上記従来例の問題点を解決するための請求項4記載の発明は、請求項3記載の画像処理装置において、縮小画像データを圧縮符号化及び伸長復号化するのにJPEG方式、H.261方式、MPEG1方式、MPEG2方式又はベクトル量子化方式を用いたことを特徴としており、圧縮効率を高めることができ、高圧縮においても実質的な画質の画像を得ることができる。
【0018】
【発明の実施の形態】本発明の実施の形態を図面を参照しながら説明する。本発明の実施の形態に係る画像処理方法は、原画像を縮小して縮小画像データを作成し、その縮小画像データを圧縮符号化して伝送又は蓄積し、そして、伝送又は蓄積された圧縮符号化データを伸長復号化して縮小画像データを作成し、その縮小画像データを拡大して原画像と同じ大きさに復元し、更に歪みや雑音を除去するためのコーデックアダプタとして、復元された画像の輪郭検出を行い、輪郭以外の部分をぼかすことによって画像の修復を行って再生画像を出力するものであり、原画像を高品質で効率的に圧縮・伸長できるものである。尚、本発明の実施の形態に係る画像処理装置は、上記画像処理方法を実現するための装置である。
【0019】まず、本発明の実施の形態に係る画像処理方法を実現する画像処理装置について図1を使って説明する。図1は、本発明の実施の形態に係る画像処理装置の基本構成ブロック図である。尚、図7と同様の構成をとる部分については同一の符号を付して説明する。
【0020】本発明の実施の形態に係る画像処理装置(本装置)は、図1に示すように、従来と同様の画像データを圧縮符号化する符号化部1と、伝送又は蓄積された圧縮符号化データを伸長復号化する復号化部2とから構成され、更に本発明の特徴部分として、原画像の画像データ(原画像データ)を縮小する縮小器3と、復号化された画像データを拡大する拡大器4と、拡大された画像データを修復する修復フィルタ5が設けられている。
【0021】本装置の縮小器3は、原画像の画像データを入力し、入力した画像データを縮小して縮小画像を作成し、縮小画像の画像データをブロック単位で符号化部1に出力するものである。
【0022】また、拡大器4は、復号化部2によって伸長復号化された縮小画像を縮小器3における縮小方法に対応する拡大方法で拡大して、原画像と同じサイズの画像を復元し、復元された画像の画像データを出力するものである。
【0023】本装置の縮小器3及び拡大器4における縮小・拡大方法の一例として、離散コサイン変換(DCT)を用いる方法について図2を使って説明する。図2は、本発明における離散コサイン変換を用いた画像縮小・拡大方法の概略を示す説明図である。本発明における離散コサイン変換(Discrete Cosine Transform :DCT)を用いた画像縮小方法は、画像をP/N(P<N)倍に縮小する場合は、まず、原画像をN×N画素のブロックに分割し、離散コサイン変換して得られたDCT係数(N×N)について、高周波成分を捨てて、P×PのDC成分及び低周波のAC成分だけで逆離散コサイン変換(Inverse Discrete Cosine Transform :IDCT)を行ってP×P画素の画像を得、最後に各画素値をP/N倍して輝度調整を行うことにより、P/N倍の縮小画像を得るようになっている。
【0024】例えば、図2に示すように、P=5,N=8で画像を5/8倍に縮小する場合は、8×8画素のブロックをDCT変換して得られた8×8のDCT係数について、図2(a)に示す点線で囲んだ部分(係数を記号xで示す)の高周波成分を捨てて、5×5のDC成分及び低周波のAC成分だけでIDCT変換(図中では単に「逆変換」としている)を行って5×5画素の画像を得、更に各画素値を5/8倍して輝度調整を行うことによって、5/8倍の縮小画像を得ることができる。
【0025】また、画像をP/N(P>N)倍に拡大する場合は、原画像をN×N画素のブロックに分割し、離散コサイン変換して得られたDCT係数(N×N)について、高周波成分部分に0(ゼロ)値を挿入してP×PのDCT係数を作成し、そのP×PのDCT係数で逆離散コサイン変換を行ってP×P画素の画像を得、最後に各画素値をP/N倍して輝度を上げる輝度調整を行うことにより、P/N倍の拡大画像を得るようになっている。
【0026】例えば、図2に示すように、P=10,N=8で画像を10/8倍に拡大する場合は、8×8画素をDCT変換して得られた8×8のDCT係数について、図2(b)に示す点線で囲んだ高周波成分部分(係数を記号oで示す)に0(ゼロ)値を挿入して10×10のDCT係数で逆離散コサイン変換(図中では単に「逆変換」としている)を行って10×10画素の画像を得、更に各画素値を10/8倍して輝度調整を行うことによって、10/8倍の拡大画像を得ることができる。
【0027】また、より大きな拡大・縮小は、上記の操作を何回か繰り返すことによって実現することができるものである。
【0028】尚、本発明の画像処理方法における画像の縮小・拡大方法については、一般的に知られている最近接内挿法や、共一次内挿法や、3次畳み込み内挿法等の各種内挿法を用いる方法、又はアダマール変換を用いる方法等、いかなる縮小・拡大方法を用いても構わない。画像の拡大・縮小のアルゴリズムについては、「インターフェイス’93年1月号 CQ出版社」、「画像解析ハンドブック 東京大学出版会」に詳しく記載されている。
【0029】符号化部1は、縮小器3からブロック単位で出力される縮小画像の画像データについて、従来と同様の圧縮符号化を行い、符号化データを出力するものである。また、復号化部2は、伝送又は蓄積された縮小画像の符号化データについて、従来と同様に符号化部1における符号化に対応して伸長復号化し、縮小画像の画像データを出力するものである。
【0030】本装置の符号化部1及び復号化部2における符号化・復号化方法としては、従来と同様のJPEGでも良いし、一般的に知られているH.261,MPEG1,MPEG2等の方法を用いても構わない。
【0031】修復フィルタ5は、拡大器4によって原画像と同じ大きさに拡大されて復元された画像データの歪みや雑音を修復するコーデックアダプタである。そして、本発明の画像処理方法では、修復方法として、まず復元された画像(復元画像)から輪郭フィルタを用いて輪郭部分を検出して輪郭情報を得る輪郭検出を行い、輪郭情報に基づいて復元画像の輪郭以外の部分をぼかすぼかし処理を行う方法を用いている。
【0032】まず、輪郭検出方法について図3を用いて説明する。図3は、本装置で用いた輪郭フィルタのカーネルh(k,l) の具体例を示す説明図である。本発明の輪郭検出方法は、通常知られているラプラシアンオペレータ等の手法を用いて、まず復元画像の画素値分布l(x,y) から、例として図3に示す輪郭フィルタのカーネルh(k,l) を用いて、次式により輪郭画像E(x,y) を得る。
E(x,y) =ΣΣl(x+k,y+l) *h(k,l) /Σh(k,l)但し、図3(a)の場合k,l =-1,0,1、図2(b)の場合k,l =-2,-1,0,1,2尚、輪郭画像を求める処理は、カラー画像ならば、RGBの一成分、又は輝度(Y)、色差(Cr,Cb)に変換したときの輝度成分の一成分についてのみ行えばよい。
【0033】そして、輪郭画像E(x,y) では画素値の大きい部分が輪郭部分であるから、この輪郭画像E(x,y) を適当なしきい値で2値化することによって、復元画像を輪郭部分とそれ以外の部分とに分けた輪郭の位置情報(輪郭情報)を得ることになる。
【0034】ここで、適当なしきい値とは、例えば輪郭画像E(x,y) の画素値における最大値と最小値との中間値をしきい値とするか、又は輪郭画像E(x,y) を適当な大きさのブロックに分割し、そのブロック内の画素値の平均値をしきい値とする等であるが、それに限定しない。
【0035】そして、上記輪郭情報に基づいて行うぼかし処理とは、輪郭情報に基づいて復元画像の輪郭以外の部分の各画素値について、例えば図4に示すぼかしフィルタ(ローパスフィルタ)をかけることによって画像をぼかす処理である。図4は、本装置で用いたぼかしフィルタの具体例を示す説明図である。本発明のぼかし処理に用いるぼかしフィルタは、図4に示すように単純に周辺画素との重み平均を取ったフィルタでよい。
【0036】次に、本発明の画像処理装置の動作について、図1、図5、図6を用いて説明する。図5は、JPEG方式を用いた場合の本装置の符号化部分の動作の流れを示すフローチャート図であり、図6は、JPEG方式を用いた場合の本装置の復号化部分の動作の流れを示すフローチャート図である。
【0037】本発明の画像処理装置の符号化部分の動作は、図5に示すように、原画像の画像データを入力し(S401)、縮小器3の動作で縮小画像を作成する(S402)。
【0038】そして、以降は、図8に示した従来の符号化動作と同様で、縮小画像について例えば8×8画素のブロック単位で走査して画像データを入力し(S403)、離散コサイン変換器11において離散コサイン変換し(S404)、得られたDCT係数を量子化器12によって量子化して有効係数の数を削減し(S405)、更にハフマン符号化器13によってエントロピー符号化(ハフマン符号化)して(S406)、圧縮符号化データ(符号化データ)を通信路または蓄積メディアに出力し(S407)、全てのブロックについて符号化処理が終了したか判断し(S408)、終了した場合(Yes)は符号化処理を終了し、全てのブロックについて処理が終了していない場合(No)は、次にブロックに切り替えて(S409)、処理S403から処理S408を繰り返す。
【0039】また本発明の画像処理装置の復号化部分の動作は、図6に示すように、まず図9に示した従来の処理S201〜S207に対応して伝送又は蓄積された縮小画像の符号化データを、復号化部2で伸長復号化する(S501〜S507及びS509)。
【0040】そして、処理S507において、全てのブロックについて処理が終了した場合(Yes)は、拡大器4の動作として拡大画像を作成し(S508)、修復フィルタ5の動作として画像を修復し(S510)、復号化処理を終了するようになっている。
【0041】本発明の実施の形態の画像処理方法及び画像処理装置によれば、原画像の圧縮符号化の前に画像データを縮小し、その縮小画像データを圧縮符号化して伝送又は蓄積し、伝送又は蓄積されたデータを伸長復号化して縮小画像データを作成し、その縮小画像データを拡大し、更に輪郭検出を行い輪郭以外の部分をぼかすことによって画像の修復を行って再生画像を得るようにしているので、縮小画像データの圧縮符号化により圧縮効率を向上させることができ、伸長復号化させた縮小画像データを拡大し、更に歪みや雑音することにより実用的な品質の画質で再生できる効果がある。
【0042】
【発明の効果】請求項1記載の発明によれば、原画像の圧縮符号化前に原画像の画像データを特定画素数のブロックに分割して離散コサイン変換し、そのブロックについて縮小画像に相当するDC成分とAC成分で逆離散コサイン変換し、更に各画素の画素値を縮小比倍として各画素の輝度調整を行って縮小し、伸長復号化後の圧縮画像データを特定画素数のブロックに分割して離散コサイン変換し、得られた離散コサイン変換係数について高周波成分にゼロの値を挿入して拡大画像に相当する離散コサイン変換係数を作成し、当該作成した離散コサイン変換係数で逆離散コサイン変換し、更に各画素の画素値を拡大比倍として各画素の輝度調整を行って拡大し、輪郭検出を行い、輪郭以外の部分をぼかすことにより修復する画像処理方法としているので、圧縮効率を高めることができ、高圧縮においても実質的な画質の画像を得ることができる効果がある。
【0043】
【0044】請求項2記載の発明によれば、縮小画像データを圧縮符号化及び伸長復号化するのにJPEG方式、H.261方式、MPEG1方式、MPEG2方式又はベクトル量子化方式を用いた請求項1記載の画像処理方法としているので、圧縮効率を高めることができ、高圧縮においても実質的な画質の画像を得ることができる効果がある。
【0045】請求項3記載の発明によれば、原画像の圧縮符号化前に画像縮小手段が原画像の画像データを特定画素数のブロックに分割して離散コサイン変換し、そのブロックについて縮小画像に相当するDC成分とAC成分で逆離散コサイン変換し、更に各画素の画素値を縮小比倍として各画素の輝度調整を行って縮小し、伸長復号化後の縮小画像データを画像拡大手段が特定画素数のブロックに分割して離散コサイン変換し、得られた離散コサイン変換係数について高周波成分にゼロの値を挿入して拡大画像に相当する離散コサイン変換係数を作成し、当該作成した離散コサイン変換係数で逆離散コサイン変換し、更に各画素の画素値を拡大比倍として各画素の輝度調整を行って拡大し、画像修復手段が輪郭検出を行い、輪郭以外の部分をぼかすことにより画像を修復する画像処理装置としているので、圧縮効率を高めることができ、高圧縮においても実質的な画質の画像を得ることができる効果がある。
【0046】
【0047】請求項4記載の発明によれば、縮小画像データを圧縮符号化及び伸長復号化するのにJPEG方式、H.261方式、MPEG1方式、MPEG2方式又はベクトル量子化方式を用いた請求項3記載の画像処理装置としているので、圧縮効率を高めることができ、高圧縮においても実質的な画質の画像を得ることができる効果がある。
【図面の簡単な説明】
【図1】本発明の実施の形態に係る画像処理装置の基本構成ブロック図である。
【図2】本発明における離散コサイン変換を用いた画像縮小・拡大方法の概略を示す説明図である。
【図3】本装置で用いた輪郭フィルタのカーネルh(k,l) の具体例を示す説明図である。
【図4】本装置で用いたぼかしフィルタの具体例を示す説明図である。
【図5】JPEG方式を用いた場合の本装置の符号化部分の動作の流れを示すフローチャート図である。
【図6】JPEG方式を用いた場合の本装置の復号化部分の動作の流れを示すフローチャート図である。
【図7】従来の画像処理装置の構成ブロック図である。
【図8】JPEG方式を用いた従来の画像処理装置の符号化部分の動作の流れを示すフローチャート図である。
【図9】JPEG方式を用いた従来の画像処理装置の復号化部分の動作の流れを示すフローチャート図である。
【符号の説明】
1…符号化部、 2…復号化部、 3…縮小器、 4…拡大器、 5…修復フィルタ、 11…離散コサイン変換器、 12…量子化器、 13…ハフマン符号化器、 21…ハフマン復号化器、 22…逆量子化器、 23…逆離散コサイン変換器
【0001】
【発明の属する技術分野】本発明は、画像圧縮・伸長を行う画像処理方法及び画像処理装置に係り、特に圧縮率を向上させ、また、高圧縮率においても実用的な画像を得ることができる画像処理方法及び画像処理装置に関する。
【0002】
【従来の技術】画像通信及び画像蓄積の際に用いられる画像データ符号化・復号化方法には、完全な原画像を復号できる「可逆方式」と、符号化の際に原画像の情報の一部を削減し、復号化の際に劣化を伴う「非可逆方式」とがある。
【0003】本発明は、後者の「非可逆方式」に関するものであり、従来の「非可逆方式」の画像処理方法としては、静止画を圧縮・伸長するものとしてJPEG(JointPhotographic coding Experts Group:ISO/IEC ITU-T T.81又はISO/IEC IS 10918-1)方式、また、動画像を圧縮・伸長するものとしてH.261(ITU-T H.261)、MPEG1(Moving Picture Experts Group 1:ISO/IEC IS 11172-1)、MPEG2(ISO/IEC IS 13818-1)等がある。
【0004】そこで、従来の画像処理方法の一例であるJPEG方式の画像処理装置について図7を使って説明する。図7は、従来の画像処理装置の構成ブロック図である。従来の画像処理装置は、図7に示すように、原画像を圧縮符号化する部分である符号化部1と、伝送又は蓄積された圧縮符号化データを伸長復号化する部分である復号化部2とから構成されている。
【0005】そして、符号化部1は、DCT(Discrete Cosine Transform)演算を行う離散コサイン変換器11と、量子化を行う量子化器12と、エントロピー符号化を行うハフマン符号化器13とから構成され、復号化部2は、エントロピー復号化を行うハフマン復号化器21と、逆量子化を行う逆量子化器22と、逆離散コサイン演算(逆DCT演算)を行う逆離散コサイン変換器23とから構成されている。
【0006】次に、従来の画像処理装置における画像処理方法について、図7、図8、図9を使って説明する。図8は、JPEG方式を用いた従来の画像処理装置の符号化部分の動作の流れを示すフローチャート図であり、図9は、JPEG方式を用いた従来の画像処理装置の復号化部分の動作の流れを示すフローチャート図である。
【0007】従来の画像処理装置における符号化方法は、図8に示すように、原画像の画像データを入力し(S101)、原画像について例えば8×8画素のブロック単位で走査して画像データを入力し(S103)、離散コサイン変換器11において離散コサイン変換し(S104)、得られたDCT係数を量子化器12によって量子化して有効係数の数を削減し(S105)、更にハフマン符号化器13によってエントロピー符号化(ハフマン符号化)して(S106)、圧縮符号化データ(符号化データ)を通信路または蓄積メディアに出力し(S107)、全てのブロックについて符号化処理が終了したか判断し(S108)、終了した場合(Yes)は符号化処理を終了し、全てのブロックについて処理が終了していない場合(No)は、次にブロックに切り替えて(S109)、処理S103から処理S108を繰り返す。
【0008】また、従来の画像処理装置の復号化方法は、図9に示すように、通信路または蓄積メディアから1画面分の圧縮符号化データを入力し(S201)、ブロック単位で符号化データを入力し(S202)、ハフマン復号化器21によってエントロピー復号化(ハフマン復号化)し(S203)、逆量子化器22によって逆量子化し(S204)、逆離散コサイン変換器23によって逆離散コサイン変換して(S205)、伸長復号した画像データを出力し(S206)、全てのブロックについて復号化処理が終了したか判断し(S207)、全てのブロックについて処理が終了していない場合(No)は、次にブロックに切り替えて(S209)、処理S202から処理S207を繰り返す。
【0009】尚、JPEG方式については、「最新MPEG教科書」マルチメディア通信研究会編 (株)アスキー発行 p53〜p67に詳細に記述されている。また、H.261方式,MPEG1,MPEG2についても同書に詳しく記載されている。
【0010】
【発明が解決しようとする課題】しかしながら、上記従来の非可逆方式による画像処理方法では、歪み、雑音の発生による画像劣化のために、1フレームに対する原画像データの実用圧縮率が1/40程度であり、それ以上圧縮率を上げると、再生画像の劣化が著しいという問題があった。
【0011】本発明は上記実情に鑑みて為されたもので、高圧縮においても実用的な画質の画面を得ることによって、圧縮率の実用限界をのばすことができる画像処理方法及び画像処理装置及びその制御方法を提供することを目的とする。
【0012】
【課題を解決するための手段】上記従来例の問題点を解決するための請求項1の発明は、画像処理方法において、原画像の1フレームの画像データを特定画素数のブロックに分割して離散コサイン変換し、前記ブロックについて縮小画像に相当するDC成分とAC成分で逆離散コサイン変換し、更に各画素の画素値を縮小比倍として各画素の輝度調整を行って縮小画像データを作成し、前記縮小画像データを前記ブロック単位に圧縮符号化し、前記圧縮符号化された画像データを伸長復号化して1フレームの縮小画像データを作成し、前記縮小画像データを特定画素数のブロックに分割して離散コサイン変換し、得られた離散コサイン変換係数について高周波成分にゼロの値を挿入して拡大画像に相当する離散コサイン変換係数を作成し、当該作成した離散コサイン変換係数で逆離散コサイン変換し、更に各画素の画素値を拡大比倍として各画素の輝度調整を行って原画像の1フレームに対応する画像を復元し、前記復元された画像について輪郭検出を行い、輪郭以外の部分をぼかすよう修復して画像を再生することを特徴としており、圧縮効率を高めることができ、高圧縮においても実質的な画質の画像を得ることができる。
【0013】
【0014】上記従来例の問題点を解決するための請求項2記載の発明は、請求項1記載の画像処理方法において、縮小画像データを圧縮符号化及び伸長復号化するのにJPEG方式、H.261方式、MPEG1方式、MPEG2方式又はベクトル量子化方式を用いたことを特徴としており、圧縮効率を高めることができ、高圧縮においても実質的な画質の画像を得ることができる。
【0015】上記従来例の問題点を解決するための請求項3記載の発明は、画像処理装置において、原画像の1フレームの画像データを特定画素数のブロックに分割して離散コサイン変換し、前記ブロックについて縮小画像に相当するDC成分とAC成分で逆離散コサイン変換し、更に各画素の画素値を縮小比倍として各画素の輝度調整を行って縮小画像データを作成する画像縮小手段と、前記縮小画像データを前記ブロック単位に圧縮符号化する圧縮符号化手段と、前記圧縮符号化された画像データを伸長復号化する伸長復号化手段と、前記伸長復号化された画像データを特定画素数のブロックに分割して離散コサイン変換し、得られた離散コサイン変換係数について高周波成分にゼロの値を挿入して拡大画像に相当する離散コサイン変換係数を作成し、当該作成した離散コサイン変換係数で逆離散コサイン変換し、更に各画素の画素値を拡大比倍として各画素の輝度調整を行って原画像の1フレームに対応する画像を復元する画像拡大手段と、前記復元された画像について輪郭検出し、輪郭以外の部分をぼかすことによって修復する画像修復手段とを有することを特徴としており、圧縮効率を高めることができ、高圧縮においても実質的な画質の画像を得ることができる。
【0016】
【0017】上記従来例の問題点を解決するための請求項4記載の発明は、請求項3記載の画像処理装置において、縮小画像データを圧縮符号化及び伸長復号化するのにJPEG方式、H.261方式、MPEG1方式、MPEG2方式又はベクトル量子化方式を用いたことを特徴としており、圧縮効率を高めることができ、高圧縮においても実質的な画質の画像を得ることができる。
【0018】
【発明の実施の形態】本発明の実施の形態を図面を参照しながら説明する。本発明の実施の形態に係る画像処理方法は、原画像を縮小して縮小画像データを作成し、その縮小画像データを圧縮符号化して伝送又は蓄積し、そして、伝送又は蓄積された圧縮符号化データを伸長復号化して縮小画像データを作成し、その縮小画像データを拡大して原画像と同じ大きさに復元し、更に歪みや雑音を除去するためのコーデックアダプタとして、復元された画像の輪郭検出を行い、輪郭以外の部分をぼかすことによって画像の修復を行って再生画像を出力するものであり、原画像を高品質で効率的に圧縮・伸長できるものである。尚、本発明の実施の形態に係る画像処理装置は、上記画像処理方法を実現するための装置である。
【0019】まず、本発明の実施の形態に係る画像処理方法を実現する画像処理装置について図1を使って説明する。図1は、本発明の実施の形態に係る画像処理装置の基本構成ブロック図である。尚、図7と同様の構成をとる部分については同一の符号を付して説明する。
【0020】本発明の実施の形態に係る画像処理装置(本装置)は、図1に示すように、従来と同様の画像データを圧縮符号化する符号化部1と、伝送又は蓄積された圧縮符号化データを伸長復号化する復号化部2とから構成され、更に本発明の特徴部分として、原画像の画像データ(原画像データ)を縮小する縮小器3と、復号化された画像データを拡大する拡大器4と、拡大された画像データを修復する修復フィルタ5が設けられている。
【0021】本装置の縮小器3は、原画像の画像データを入力し、入力した画像データを縮小して縮小画像を作成し、縮小画像の画像データをブロック単位で符号化部1に出力するものである。
【0022】また、拡大器4は、復号化部2によって伸長復号化された縮小画像を縮小器3における縮小方法に対応する拡大方法で拡大して、原画像と同じサイズの画像を復元し、復元された画像の画像データを出力するものである。
【0023】本装置の縮小器3及び拡大器4における縮小・拡大方法の一例として、離散コサイン変換(DCT)を用いる方法について図2を使って説明する。図2は、本発明における離散コサイン変換を用いた画像縮小・拡大方法の概略を示す説明図である。本発明における離散コサイン変換(Discrete Cosine Transform :DCT)を用いた画像縮小方法は、画像をP/N(P<N)倍に縮小する場合は、まず、原画像をN×N画素のブロックに分割し、離散コサイン変換して得られたDCT係数(N×N)について、高周波成分を捨てて、P×PのDC成分及び低周波のAC成分だけで逆離散コサイン変換(Inverse Discrete Cosine Transform :IDCT)を行ってP×P画素の画像を得、最後に各画素値をP/N倍して輝度調整を行うことにより、P/N倍の縮小画像を得るようになっている。
【0024】例えば、図2に示すように、P=5,N=8で画像を5/8倍に縮小する場合は、8×8画素のブロックをDCT変換して得られた8×8のDCT係数について、図2(a)に示す点線で囲んだ部分(係数を記号xで示す)の高周波成分を捨てて、5×5のDC成分及び低周波のAC成分だけでIDCT変換(図中では単に「逆変換」としている)を行って5×5画素の画像を得、更に各画素値を5/8倍して輝度調整を行うことによって、5/8倍の縮小画像を得ることができる。
【0025】また、画像をP/N(P>N)倍に拡大する場合は、原画像をN×N画素のブロックに分割し、離散コサイン変換して得られたDCT係数(N×N)について、高周波成分部分に0(ゼロ)値を挿入してP×PのDCT係数を作成し、そのP×PのDCT係数で逆離散コサイン変換を行ってP×P画素の画像を得、最後に各画素値をP/N倍して輝度を上げる輝度調整を行うことにより、P/N倍の拡大画像を得るようになっている。
【0026】例えば、図2に示すように、P=10,N=8で画像を10/8倍に拡大する場合は、8×8画素をDCT変換して得られた8×8のDCT係数について、図2(b)に示す点線で囲んだ高周波成分部分(係数を記号oで示す)に0(ゼロ)値を挿入して10×10のDCT係数で逆離散コサイン変換(図中では単に「逆変換」としている)を行って10×10画素の画像を得、更に各画素値を10/8倍して輝度調整を行うことによって、10/8倍の拡大画像を得ることができる。
【0027】また、より大きな拡大・縮小は、上記の操作を何回か繰り返すことによって実現することができるものである。
【0028】尚、本発明の画像処理方法における画像の縮小・拡大方法については、一般的に知られている最近接内挿法や、共一次内挿法や、3次畳み込み内挿法等の各種内挿法を用いる方法、又はアダマール変換を用いる方法等、いかなる縮小・拡大方法を用いても構わない。画像の拡大・縮小のアルゴリズムについては、「インターフェイス’93年1月号 CQ出版社」、「画像解析ハンドブック 東京大学出版会」に詳しく記載されている。
【0029】符号化部1は、縮小器3からブロック単位で出力される縮小画像の画像データについて、従来と同様の圧縮符号化を行い、符号化データを出力するものである。また、復号化部2は、伝送又は蓄積された縮小画像の符号化データについて、従来と同様に符号化部1における符号化に対応して伸長復号化し、縮小画像の画像データを出力するものである。
【0030】本装置の符号化部1及び復号化部2における符号化・復号化方法としては、従来と同様のJPEGでも良いし、一般的に知られているH.261,MPEG1,MPEG2等の方法を用いても構わない。
【0031】修復フィルタ5は、拡大器4によって原画像と同じ大きさに拡大されて復元された画像データの歪みや雑音を修復するコーデックアダプタである。そして、本発明の画像処理方法では、修復方法として、まず復元された画像(復元画像)から輪郭フィルタを用いて輪郭部分を検出して輪郭情報を得る輪郭検出を行い、輪郭情報に基づいて復元画像の輪郭以外の部分をぼかすぼかし処理を行う方法を用いている。
【0032】まず、輪郭検出方法について図3を用いて説明する。図3は、本装置で用いた輪郭フィルタのカーネルh(k,l) の具体例を示す説明図である。本発明の輪郭検出方法は、通常知られているラプラシアンオペレータ等の手法を用いて、まず復元画像の画素値分布l(x,y) から、例として図3に示す輪郭フィルタのカーネルh(k,l) を用いて、次式により輪郭画像E(x,y) を得る。
E(x,y) =ΣΣl(x+k,y+l) *h(k,l) /Σh(k,l)但し、図3(a)の場合k,l =-1,0,1、図2(b)の場合k,l =-2,-1,0,1,2尚、輪郭画像を求める処理は、カラー画像ならば、RGBの一成分、又は輝度(Y)、色差(Cr,Cb)に変換したときの輝度成分の一成分についてのみ行えばよい。
【0033】そして、輪郭画像E(x,y) では画素値の大きい部分が輪郭部分であるから、この輪郭画像E(x,y) を適当なしきい値で2値化することによって、復元画像を輪郭部分とそれ以外の部分とに分けた輪郭の位置情報(輪郭情報)を得ることになる。
【0034】ここで、適当なしきい値とは、例えば輪郭画像E(x,y) の画素値における最大値と最小値との中間値をしきい値とするか、又は輪郭画像E(x,y) を適当な大きさのブロックに分割し、そのブロック内の画素値の平均値をしきい値とする等であるが、それに限定しない。
【0035】そして、上記輪郭情報に基づいて行うぼかし処理とは、輪郭情報に基づいて復元画像の輪郭以外の部分の各画素値について、例えば図4に示すぼかしフィルタ(ローパスフィルタ)をかけることによって画像をぼかす処理である。図4は、本装置で用いたぼかしフィルタの具体例を示す説明図である。本発明のぼかし処理に用いるぼかしフィルタは、図4に示すように単純に周辺画素との重み平均を取ったフィルタでよい。
【0036】次に、本発明の画像処理装置の動作について、図1、図5、図6を用いて説明する。図5は、JPEG方式を用いた場合の本装置の符号化部分の動作の流れを示すフローチャート図であり、図6は、JPEG方式を用いた場合の本装置の復号化部分の動作の流れを示すフローチャート図である。
【0037】本発明の画像処理装置の符号化部分の動作は、図5に示すように、原画像の画像データを入力し(S401)、縮小器3の動作で縮小画像を作成する(S402)。
【0038】そして、以降は、図8に示した従来の符号化動作と同様で、縮小画像について例えば8×8画素のブロック単位で走査して画像データを入力し(S403)、離散コサイン変換器11において離散コサイン変換し(S404)、得られたDCT係数を量子化器12によって量子化して有効係数の数を削減し(S405)、更にハフマン符号化器13によってエントロピー符号化(ハフマン符号化)して(S406)、圧縮符号化データ(符号化データ)を通信路または蓄積メディアに出力し(S407)、全てのブロックについて符号化処理が終了したか判断し(S408)、終了した場合(Yes)は符号化処理を終了し、全てのブロックについて処理が終了していない場合(No)は、次にブロックに切り替えて(S409)、処理S403から処理S408を繰り返す。
【0039】また本発明の画像処理装置の復号化部分の動作は、図6に示すように、まず図9に示した従来の処理S201〜S207に対応して伝送又は蓄積された縮小画像の符号化データを、復号化部2で伸長復号化する(S501〜S507及びS509)。
【0040】そして、処理S507において、全てのブロックについて処理が終了した場合(Yes)は、拡大器4の動作として拡大画像を作成し(S508)、修復フィルタ5の動作として画像を修復し(S510)、復号化処理を終了するようになっている。
【0041】本発明の実施の形態の画像処理方法及び画像処理装置によれば、原画像の圧縮符号化の前に画像データを縮小し、その縮小画像データを圧縮符号化して伝送又は蓄積し、伝送又は蓄積されたデータを伸長復号化して縮小画像データを作成し、その縮小画像データを拡大し、更に輪郭検出を行い輪郭以外の部分をぼかすことによって画像の修復を行って再生画像を得るようにしているので、縮小画像データの圧縮符号化により圧縮効率を向上させることができ、伸長復号化させた縮小画像データを拡大し、更に歪みや雑音することにより実用的な品質の画質で再生できる効果がある。
【0042】
【発明の効果】請求項1記載の発明によれば、原画像の圧縮符号化前に原画像の画像データを特定画素数のブロックに分割して離散コサイン変換し、そのブロックについて縮小画像に相当するDC成分とAC成分で逆離散コサイン変換し、更に各画素の画素値を縮小比倍として各画素の輝度調整を行って縮小し、伸長復号化後の圧縮画像データを特定画素数のブロックに分割して離散コサイン変換し、得られた離散コサイン変換係数について高周波成分にゼロの値を挿入して拡大画像に相当する離散コサイン変換係数を作成し、当該作成した離散コサイン変換係数で逆離散コサイン変換し、更に各画素の画素値を拡大比倍として各画素の輝度調整を行って拡大し、輪郭検出を行い、輪郭以外の部分をぼかすことにより修復する画像処理方法としているので、圧縮効率を高めることができ、高圧縮においても実質的な画質の画像を得ることができる効果がある。
【0043】
【0044】請求項2記載の発明によれば、縮小画像データを圧縮符号化及び伸長復号化するのにJPEG方式、H.261方式、MPEG1方式、MPEG2方式又はベクトル量子化方式を用いた請求項1記載の画像処理方法としているので、圧縮効率を高めることができ、高圧縮においても実質的な画質の画像を得ることができる効果がある。
【0045】請求項3記載の発明によれば、原画像の圧縮符号化前に画像縮小手段が原画像の画像データを特定画素数のブロックに分割して離散コサイン変換し、そのブロックについて縮小画像に相当するDC成分とAC成分で逆離散コサイン変換し、更に各画素の画素値を縮小比倍として各画素の輝度調整を行って縮小し、伸長復号化後の縮小画像データを画像拡大手段が特定画素数のブロックに分割して離散コサイン変換し、得られた離散コサイン変換係数について高周波成分にゼロの値を挿入して拡大画像に相当する離散コサイン変換係数を作成し、当該作成した離散コサイン変換係数で逆離散コサイン変換し、更に各画素の画素値を拡大比倍として各画素の輝度調整を行って拡大し、画像修復手段が輪郭検出を行い、輪郭以外の部分をぼかすことにより画像を修復する画像処理装置としているので、圧縮効率を高めることができ、高圧縮においても実質的な画質の画像を得ることができる効果がある。
【0046】
【0047】請求項4記載の発明によれば、縮小画像データを圧縮符号化及び伸長復号化するのにJPEG方式、H.261方式、MPEG1方式、MPEG2方式又はベクトル量子化方式を用いた請求項3記載の画像処理装置としているので、圧縮効率を高めることができ、高圧縮においても実質的な画質の画像を得ることができる効果がある。
【図面の簡単な説明】
【図1】本発明の実施の形態に係る画像処理装置の基本構成ブロック図である。
【図2】本発明における離散コサイン変換を用いた画像縮小・拡大方法の概略を示す説明図である。
【図3】本装置で用いた輪郭フィルタのカーネルh(k,l) の具体例を示す説明図である。
【図4】本装置で用いたぼかしフィルタの具体例を示す説明図である。
【図5】JPEG方式を用いた場合の本装置の符号化部分の動作の流れを示すフローチャート図である。
【図6】JPEG方式を用いた場合の本装置の復号化部分の動作の流れを示すフローチャート図である。
【図7】従来の画像処理装置の構成ブロック図である。
【図8】JPEG方式を用いた従来の画像処理装置の符号化部分の動作の流れを示すフローチャート図である。
【図9】JPEG方式を用いた従来の画像処理装置の復号化部分の動作の流れを示すフローチャート図である。
【符号の説明】
1…符号化部、 2…復号化部、 3…縮小器、 4…拡大器、 5…修復フィルタ、 11…離散コサイン変換器、 12…量子化器、 13…ハフマン符号化器、 21…ハフマン復号化器、 22…逆量子化器、 23…逆離散コサイン変換器
【特許請求の範囲】
【請求項1】 原画像の1フレームの画像データを特定画素数のブロックに分割して離散コサイン変換し、前記ブロックについて縮小画像に相当するDC成分とAC成分で逆離散コサイン変換し、更に各画素の画素値を縮小比倍として各画素の輝度調整を行って縮小画像データを作成し、前記縮小画像データを前記ブロック単位に圧縮符号化し、前記圧縮符号化された画像データを伸長復号化して1フレームの縮小画像データを作成し、前記縮小画像データを特定画素数のブロックに分割して離散コサイン変換し、得られた離散コサイン変換係数について高周波成分にゼロの値を挿入して拡大画像に相当する離散コサイン変換係数を作成し、当該作成した離散コサイン変換係数で逆離散コサイン変換し、更に各画素の画素値を拡大比倍として各画素の輝度調整を行って原画像の1フレームに対応する画像を復元し、前記復元された画像について輪郭検出を行い、輪郭以外の部分をぼかすよう修復して画像を再生することを特徴とする画像処理方法。
【請求項2】 縮小画像データを圧縮符号化及び伸長復号化するのにJPEG方式、H.261方式、MPEG1方式、MPEG2方式又はベクトル量子化方式を用いたことを特徴とする請求項1記載の画像処理方法。
【請求項3】 原画像の1フレームの画像データを特定画素数のブロックに分割して離散コサイン変換し、前記ブロックについて縮小画像に相当するDC成分とAC成分で逆離散コサイン変換し、更に各画素の画素値を縮小比倍として各画素の輝度調整を行って縮小画像データを作成する画像縮小手段と、前記縮小画像データを前記ブロック単位に圧縮符号化する圧縮符号化手段と、前記圧縮符号化された画像データを伸長復号化する伸長復号化手段と、前記伸長復号化された画像データを特定画素数のブロックに分割して離散コサイン変換し、得られた離散コサイン変換係数について高周波成分にゼロの値を挿入して拡大画像に相当する離散コサイン変換係数を作成し、当該作成した離散コサイン変換係数で逆離散コサイン変換し、更に各画素の画素値を拡大比倍として各画素の輝度調整を行って原画像の1フレームに対応する画像を復元する画像拡大手段と、前記復元された画像について輪郭検出し、輪郭以外の部分をぼかすことによって修復する画像修復手段とを有することを特徴とする画像処理装置。
【請求項4】 縮小画像データを圧縮符号化及び伸長復号化するのにJPEG方式、H.261方式、MPEG1方式、MPEG2方式又はベクトル量子化方式を用いたことを特徴とする請求項3記載の画像処理装置。
【請求項1】 原画像の1フレームの画像データを特定画素数のブロックに分割して離散コサイン変換し、前記ブロックについて縮小画像に相当するDC成分とAC成分で逆離散コサイン変換し、更に各画素の画素値を縮小比倍として各画素の輝度調整を行って縮小画像データを作成し、前記縮小画像データを前記ブロック単位に圧縮符号化し、前記圧縮符号化された画像データを伸長復号化して1フレームの縮小画像データを作成し、前記縮小画像データを特定画素数のブロックに分割して離散コサイン変換し、得られた離散コサイン変換係数について高周波成分にゼロの値を挿入して拡大画像に相当する離散コサイン変換係数を作成し、当該作成した離散コサイン変換係数で逆離散コサイン変換し、更に各画素の画素値を拡大比倍として各画素の輝度調整を行って原画像の1フレームに対応する画像を復元し、前記復元された画像について輪郭検出を行い、輪郭以外の部分をぼかすよう修復して画像を再生することを特徴とする画像処理方法。
【請求項2】 縮小画像データを圧縮符号化及び伸長復号化するのにJPEG方式、H.261方式、MPEG1方式、MPEG2方式又はベクトル量子化方式を用いたことを特徴とする請求項1記載の画像処理方法。
【請求項3】 原画像の1フレームの画像データを特定画素数のブロックに分割して離散コサイン変換し、前記ブロックについて縮小画像に相当するDC成分とAC成分で逆離散コサイン変換し、更に各画素の画素値を縮小比倍として各画素の輝度調整を行って縮小画像データを作成する画像縮小手段と、前記縮小画像データを前記ブロック単位に圧縮符号化する圧縮符号化手段と、前記圧縮符号化された画像データを伸長復号化する伸長復号化手段と、前記伸長復号化された画像データを特定画素数のブロックに分割して離散コサイン変換し、得られた離散コサイン変換係数について高周波成分にゼロの値を挿入して拡大画像に相当する離散コサイン変換係数を作成し、当該作成した離散コサイン変換係数で逆離散コサイン変換し、更に各画素の画素値を拡大比倍として各画素の輝度調整を行って原画像の1フレームに対応する画像を復元する画像拡大手段と、前記復元された画像について輪郭検出し、輪郭以外の部分をぼかすことによって修復する画像修復手段とを有することを特徴とする画像処理装置。
【請求項4】 縮小画像データを圧縮符号化及び伸長復号化するのにJPEG方式、H.261方式、MPEG1方式、MPEG2方式又はベクトル量子化方式を用いたことを特徴とする請求項3記載の画像処理装置。
【図1】
【図3】
【図4】
【図7】
【図2】
【図5】
【図6】
【図9】
【図8】
【図3】
【図4】
【図7】
【図2】
【図5】
【図6】
【図9】
【図8】
【特許番号】特許第3458883号(P3458883)
【登録日】平成15年8月8日(2003.8.8)
【発行日】平成15年10月20日(2003.10.20)
【国際特許分類】
【出願番号】特願平8−187313
【出願日】平成8年7月17日(1996.7.17)
【公開番号】特開平10−32708
【公開日】平成10年2月3日(1998.2.3)
【審査請求日】平成11年3月24日(1999.3.24)
【審判番号】不服2001−20836(P2001−20836/J1)
【審判請求日】平成13年11月22日(2001.11.22)
【出願人】(000001122)株式会社日立国際電気 (5,007)
【合議体】
【参考文献】
【文献】特開 平4−229382(JP,A)
【文献】特開 平4−256285(JP,A)
【文献】特開 平3−333989(JP,A)
【文献】特開 平3−204268(JP,A)
【文献】特開 平6−319126(JP,A)
【文献】特開 平4−288685(JP,A)
【文献】特開 平2−56179(JP,A)
【登録日】平成15年8月8日(2003.8.8)
【発行日】平成15年10月20日(2003.10.20)
【国際特許分類】
【出願日】平成8年7月17日(1996.7.17)
【公開番号】特開平10−32708
【公開日】平成10年2月3日(1998.2.3)
【審査請求日】平成11年3月24日(1999.3.24)
【審判番号】不服2001−20836(P2001−20836/J1)
【審判請求日】平成13年11月22日(2001.11.22)
【出願人】(000001122)株式会社日立国際電気 (5,007)
【合議体】
【参考文献】
【文献】特開 平4−229382(JP,A)
【文献】特開 平4−256285(JP,A)
【文献】特開 平3−333989(JP,A)
【文献】特開 平3−204268(JP,A)
【文献】特開 平6−319126(JP,A)
【文献】特開 平4−288685(JP,A)
【文献】特開 平2−56179(JP,A)
[ Back to top ]