画像改善装置
【課題】既存の符号化器により直交変換及び量子化された画像信号に対し、量子化の際に喪失した周波数成分の直交変換係数を補完することにより、主観的な画質の向上を図る。
【解決手段】画質改善装置２００に備えた係数補完手段２０１は、所定の関数ｆｍ，ｎを用いて直交変換係数ｃ（ｍ，ｎ）に対し補完演算を施し、新たな直交変換係数ｃ’（ｍ，ｎ）を生成する。この補完演算の関数ｆｍ，ｎは、符号データに含まれる非零の直交変換係数を引数に含め、零の直交変換係数を非零に補完するものである。これにより、符号化器１００の処理において喪失した直交変換係数を、係数補完手段２０１により補完することができる。したがって、復号化器３００による復号時において、主観的な画質を向上させることができる。
【解決手段】画質改善装置２００に備えた係数補完手段２０１は、所定の関数ｆｍ，ｎを用いて直交変換係数ｃ（ｍ，ｎ）に対し補完演算を施し、新たな直交変換係数ｃ’（ｍ，ｎ）を生成する。この補完演算の関数ｆｍ，ｎは、符号データに含まれる非零の直交変換係数を引数に含め、零の直交変換係数を非零に補完するものである。これにより、符号化器１００の処理において喪失した直交変換係数を、係数補完手段２０１により補完することができる。したがって、復号化器３００による復号時において、主観的な画質を向上させることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、直交変換及び量子化を行う画像符号化方式の復号処理に関し、特に、非可逆符号化により劣化した画像の主観的画質を向上させる画像改善装置に関する。
【背景技術】
【０００２】
従来、画像改善装置には、画像を構成する周波数成分の高域を強調することにより、不自然な輪郭補正を防ぐと共に、鑑賞者に違和感を与えることがないよう画質を改善するものがある（特許文献１を参照）。また、ＥＤＴＶ（Ｅｎｈａｎｃｅｄ Ｄｅｆｉｎｉｔｉｏｎ ＴｅｌｅＶｉｓｉｏｎ）−ＩＩ（ワイドクリアビジョン）において、送信側にて画像信号に付加された補強信号を用いることにより、画質を改善するものもある（特許文献２を参照）。具体的には、受信した画像信号の状態を検出し、この検出結果に合わせて補強信号の情報量を制御することにより、画質の改善を図るものである。
【０００３】
【特許文献１】特開平５−７５９００号公報
【特許文献２】特開平５−３００４７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
図５は、従来の画像処理システムの構成を示すブロック図である。この画像処理システムは、符号化器１００及び復号化器３００から成り、これらは伝送路により接続される。符号化器１００は、入力画像を入力すると、当該画像を所定のブロックに分割し、当該ブロック毎に直交変換を施し、量子化を施す。そして、直交変換及び量子化を施された直交変換係数は、伝送路を介して復号化器３００へ送信される。復号化器３００は、直交変換係数を受信すると、逆量子化を施し、逆直交変換を施し、ブロックを再構成する。そして、復号化器３００は、復号画像を出力する。図５に示した画像処理システムは、静止画像に適用するシステムである。この画像処理システムに、さらに動き補償機能を備えることにより、動画像に適用させることことができる。尚、図５は、伝送路符号化及び伝送路復号化のそれぞれの機能を省略してある。以下の説明においても同様とする。
【０００５】
このような画像処理システムを用いて、ＪＰＥＧ、ＭＰＥＧ、ＭＰＥＧ２、ＭＰＥＧ４等（以下、ＪＰＥＧ等という）の直交変換及び量子化により画像圧縮を行う符号化を実現する場合、圧縮率（ビットレート）または入力画像の種類如何によっては、画像を構成する周波数成分のうちの特に高域成分が、その量子化の過程で完全に失われることがある。この場合、復号化器３００が、高域周波数成分が失われた直交変換係数により復号処理を行うと、復号画像には不自然な歪み及びノイズが生じてしまう。
【０００６】
この問題を解決するために、前述した特許文献１の技術により、高域成分を強調して画質の改善を試みたとしても、そもそも入力符号において高域成分が完全に失われているから、画質の改善を図ることはできない。
【０００７】
また、前述した特許文献２の技術により、送信側にて画像信号に付加された補強信号を用いて画質の改善を試みたとしても、比較的多くのビット配分が必要になるため、符号化の効率を損なってしまう。これは、ワイドクリアビジョンにおける補強信号が、アスペクト比１６：９映像をアスペクト比４：３映像の内部に納める際に生ずる上下の黒み領域等に付加される信号であって、高精細化のために必要な信号だからである。
【０００８】
そこで、本発明は、かかる課題を解決するためになされたものであり、その目的は、既存の符号化器により直交変換及び量子化された画像信号に対し、量子化の際に喪失した周波数成分を補完することにより、主観的な画質の向上を図ることが可能な画質改善装置を提供することにある。
【０００９】
ここで、主観的な画質は、人間の感覚に依存しないでＳ／Ｎ比等の物理的に明確な定義式により評価される客観的な画質とは異なり、実験的または統計的に評価されるものである。具体的には、ＩＴＵ−Ｒ勧告５００−７等で推奨される２重刺激連続品質尺度法、比率尺度法、多次元尺度構成法等の画質主観評価法により、主観的な画質が評価される。したがって、主観的な画質が向上した場合とは、例えば、画像内のエッジ付近のボケやモスキートノイズ、ブロック歪み等が目立たなくなり、画像の見た目が良くなる場合が挙げられる。
【課題を解決するための手段】
【００１０】
上記課題を解決し、目的を達成するために、本発明による画質改善装置は、直交変換及び量子化により符号化された画像の画質を改善する装置であって、前記符号化された画像の符号データを入力し、該符号データに含まれる直交変換係数に対し、該直交変換係数を引数として予め規定された関数に基づいて、非零の直交変換係数の引数を用いて零の直交変換係数が非零になるように補完演算を施し、前記量子化により喪失した直交変換係数を新たに生成する係数補完手段を備えたことを特徴とする。これにより、当該補完した直交変換係数を用いて復号画像を得ることができるから、主観的な画質を向上させることができる。
【００１１】
また、本発明による画質改善装置は、前記関数の引数とする直交変換係数が、符号データに含まれる全ての直交変換係数のうちの一部とすることを特徴とする。また、前記予め規定された関数が、直交変換係数に重み係数を乗算して演算を行うことを特徴とする。また、前記予め規定された関数が、符号データに含まれる直交変換係数が非零の場合に、該直交変換係数をそのまま新たな直交変換係数とし、符号データに含まれる直交変換係数が零の場合に、直交変換係数に重み係数を乗算して演算を行うことを特徴とする。これにより、係数補完手段の処理を簡潔にすることができるから、画質改善装置全体として処理負荷を軽減することができる。
【００１２】
本発明による画質改善装置は、さらに、前記符号データを入力し、該符号データに含まれる情報に基づいて画像特徴を抽出する特徴抽出手段と、該特徴抽出手段により抽出された画像特徴に基づいて、前記係数補完手段で用いる重み係数を決定する重み係数決定手段とを備えたことを特徴とする。これにより、画像特徴に応じて適応的に関数を変化させることができる。また、符号データを送信する符号化器は、重み係数を決定するための情報を新たに生成する必要がないから、処理負担が生じることがない。したがって、符号化効率の低下を抑えると共に、画像に応じた効率的な画質改善を図ることができる。
【００１３】
本発明による画質改善装置は、さらに、前記符号データとは別の情報であって、該符号データに付加された識別子を入力し、該識別子に基づいて、前記係数補完手段で用いる重み係数を決定する重み係数決定手段を備えたことを特徴とする。これにより、符号化器側の意図に応じて適応的に関数を変化させることができる。また、符号データを送信する符号化器は、重み係数を決定するための情報を新たに生成する必要がないから、処理負担が生じることがない。したがって、符号化効率の低下を抑えると共に、符号化器側の意図に応じた画質改善を図ることができる。
【発明の効果】
【００１４】
本発明によれば、既存の符号化器により直交変換及び量子化された符号データに対し、量子化の際に喪失した周波数成分を補完するようにしたから、主観的な画質の向上を図ることが可能となる。例えば、画像内のエッジ付近のボケやモスキートノイズ、ブロック歪み等が目立たなくなり、画像の見た目が良くなる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態について図面を用いて詳細に説明する。本発明の実施の形態は、実施例１から３までの画質改善装置である。実施例１の画質改善装置は、入力係数である直交変換係数に対し、所定の関数により補完演算を施し、出力係数である補完後の直交変換係数を得るものである。実施例２の画質改善装置は、符号データに含まれる情報に基づいて重み係数を決定し、直交変換係数に対し、当該重み係数により重み付けを行い、所定の関数により補完演算を施し、補完後の直交変換係数を得るものである。また、実施例３の画像改善装置は、符号データに付加された情報に基づいて重み係数を決定し、直交変換係数に対し、当該重み係数により重み付けを行い、所定の関数により補完演算を施し、補完後の直交変換係数を得るものである。この場合、量子化の際に喪失した周波数成分の直交変換係数を、喪失していない直交変換係数に基づいて推測し、経験的に現れやすい直交変換係数として補完するようにしたから、当該補完した直交変換係数を用いて復号化処理を施すことにより、主観的な画質を向上させることが可能となる。
【実施例１】
【００１６】
まず、実施例１について説明する。図１は、本発明の実施の形態に係る画質改善装置の実施例１を示すブロック図である。この画質改善装置を含む画像処理システムは、符号化器１００、画質改善装置２００、及び復号化器３００を備えている。符号化器１００及び画質改善装置２００は、伝送路により接続される。画質改善装置２００は、符号化器１００と復号化器３００との間に挿入されている。
【００１７】
符号化器１００は、図５に示したものと同様に、既存の標準的な符号化器であり、画像を１以上のブロックに分割し、当該ブロック毎に直交変換を施して直交変換係数を算出する。そして、量子化を施し、当該量子化した直交変換係数を含む符号データを伝送路経由で画質改善装置２００へ送信する。
【００１８】
画質改善装置２００は、係数補完手段２０１を備えている。画質改善装置２００が符号化器１００により伝送路を介して送信された符号データを受信すると、係数補完手段２０１は、当該符号データを入力し、符号データに含まれる各ブロックの直交変換係数に対し、所定の関数により補完演算を施し、補完後の直交変換係数を出力する。つまり、入力符号を構成する各ブロックの直交変換係数（入力係数）に対し、所定の関数により写像を施し、直交変換係数（出力係数）を出力する。直交変換係数の補完手法（写像手法）については後述する。
【００１９】
復号化器３００は、図５に示したものと同様に、画質改善装置２００により補完された直交変換係数を入力し、当該補完後の直交変換係数を用いて復号化処理を施し、復号画像を得る。
【００２０】
次に、画質改善装置２００に備えた係数補完手段２０１の処理、すなわち直交変換係数の補完手法について詳細に説明する。以下の説明では、画像を構成する一つのブロックに注目し、当該ブロックにおける直交変換係数をｃ、補完後の直交変換係数をｃ’とする。直交変換係数ｃは、符号化器１００により量子化の際に算出された係数であり、符号化器１００により送信される符号データに含まれるものである。補完後の直交変換係数ｃ’は、画質改善装置２００の係数補完手段２０１により出力される係数である。また、これらの直交変換係数ｃ，ｃ’は、画像を構成するブロック毎に算出されるものであり、１つの画像において水平（水平周波数）方向にＭ個、垂直（垂直周波数）方向にＮ個から成る場合、水平方向ｍ番目（ｍ＝０，１，・・・，Ｍ−１）及び垂直方向ｎ番目（ｎ＝０，１，・・・，Ｎ−１）の成分を、それぞれｃ（ｍ，ｎ）、ｃ’（ｍ，ｎ）とする。
【００２１】
前述のように、係数補完手段２０１は、符号データを入力し、符号データに含まれる各ブロックの直交変換係数ｃ（ｍ，ｎ）を補完し、補完後の直交変換係数ｃ’（ｍ，ｎ）を出力する。具体的には、係数補完手段２０１は、入力係数であるＭ×Ｎ個の直交変換係数ｃ（ｍ，ｎ）のうちの一つ以上の係数に基づいて、直交変換係数ｃ（ｍ，ｎ）に対し、（１）式に示す関数ｆｍ，ｎによる補完演算を施し、補完後の直交変換係数ｃ’（ｍ，ｎ）を算出する。
【数１】
この関数ｆｍ，ｎの引数は、係数補完手段２０１に入力される符号データに含まれる全ての直交変換係数ｃ（ｍ，ｎ）である。すなわち、係数補完手段２０１は、全ての直交変換係数ｃ（ｍ，ｎ）を用いて関数ｆｍ，ｎによる補完演算を施し、補完後の直交変換係数ｃ’（ｍ，ｎ）を算出する。特定の種類の画像に特化して補完演算を施すことにより、主観的な画質の向上を一層図ることができる。
【００２２】
尚、係数補完手段２０１は、全ての直交変換係数ｃ（ｍ，ｎ）のうちの一部の係数を引数とし、当該一部の係数を用いて関数ｆｍ，ｎによる補完演算を施し、直交変換係数ｃ’（ｍ，ｎ）を算出するようにしてもよい。例えば、全ての直交変換係数ｃ（ｍ，ｎ）のうちの低域成分（低周波数成分）の直交変換係数を引数として補完を行う。図２は、低域成分の直交変換係数を引数とした場合の補完手法の一例を示す図である。図２における左図は、全ての直交変換係数ｃ（ｍ，ｎ）を画像に対応させて図式化したものである。本図において、黒塗りの四角は、直交変換係数がゼロでない（非零）成分を示し、白塗りの四角は、直交変換係数がゼロである（零）成分を示す。また、点線で囲まれた成分は、補完のために用いる直交変換係数群を示す。このように、係数補完手段２０１は、点線で囲まれた低域成分の直交変換係数群を引数とし、当該係数を用いて関数ｆｍ，ｎによる補完演算を施し、直交変換係数ｃ’（ｍ，ｎ）を算出する。
【００２３】
この場合、引数の対象となる低域成分の領域（点線領域）は、予め設定されるものとする。例えば、２次元で表された直交変換係数ｃ（ｍ，ｎ）に対し、最も低域の直流成分から高域成分側へ向けてジグザグスキャンすることにより、２次元の直交変換係数を１次元の直交変換係数に並び替える。そして、この１次元の直交変換係数において、最初からＬ個までの直交変換係数を低域成分の領域として設定する。例えば、直交変換として離散コサイン変換（ＤＣＴ）を用いた場合には、直交変換係数は低域成分に信号電力が集中する。したがって、係数補完手段２０１は、このような直交変換の場合に、信号電力が集中する低域成分の直交変換係数を引数として補完を行うことができる。
【００２４】
このように、係数補完手段２０１が、一部の直交変換係数ｃ（ｍ，ｎ）を引数として補完演算を施すことにより、特定の種類の画像に特化することなく様々な画像（例えば、風景、肖像、スポーツ、ＣＧ、ＣＭ）に対して主観的な画質の向上を図ることができる。また、処理負荷の低減を図ることができ、効率の良い補完処理を実現することができる。
【００２５】
また、係数補完手段２０１は、（１）式に示した関数ｆｍ，ｎの代わりに、（２）式に示す線形変換及び量子化の関数による補完演算を施し、補完後の直交変換係数ｃ’（ｍ，ｎ）を算出する。（２）式の関数ｆｍ，ｎは、直交変換係数ｃ（ｍ，ｎ）に対し、線形変換及び量子化の演算を施すものである。
【数２】
ここで、ｋ（ｍ，ｎ；ｉ，ｊ）は重み係数、Ｑは量子化関数を示す。
【００２６】
量子化関数Ｑは、標準的な符号化器１００で用いられるものと互換性のある量子化の演算を行うものとし、標準的な符号化器１００における量子化のステップよりも細かいステップで量子化の演算を行うのが好適である。
【００２７】
重み係数ｋは、復号画像が自然な画像になるように主観的な画質を向上させるための、予め定めた定数とする。この重み係数ｋは任意に予め定められる係数であり、例えば、画像に対する主観評価により、当該画像に適した重み係数ｋを予め定めるようにしてもよい。具体的には、以下の主観評価実験の手順により重み係数ｋを定める。
（１）重み係数ｋを例えば乱数により決定する。
（２）様々な画像に対し、画質改善装置２００を用いて復号画像を得る。
（３）被験者に、（２）により得られた復号画像群を見せ、最もきれいに見える画像であるか否かを主観評価させる。
このような手順を繰り返すことにより、被験者の主観評価により最もきれいに見える復号画像が得られたときの重み係数ｋを採用し、当該重み係数ｋを（２）式におけるｋに用いる。
【００２８】
一方、機械学習により重み係数ｋを予め定めるようにしてもよい。具体的には、符号化器１００は、機械学習モードにおいて、複数の画像に対し、量子化前の直交変換係数と量子化後の直交変換係数とを取り出し、これらをペアとした学習データを前記画像毎に得る。
Ｉ（ｉ）＝（量子化前の直交変換係数，量子化後の直交変換係数）
ここで、ｉは画像の番号を、Ｉ（ｉ）は学習データを示す。また、画質改善装置２００は、機械学習モードにおいて、画像毎に補完後の直交変換係数を得る。学習装置（図示せず）は、符号化器１００から学習データを入力し、画質改善装置２００から補完後の直交変換係数を入力する。また、画像毎（ｉ）に、量子化前の直交変換係数と補完後の直交変換係数との間の誤差（自乗誤差等）ｅ（ｉ）を算出し、複数の画像に対して、Ｅ＝Σｅ（ｉ）を算出する。そして、このＥが小さくなるように、最急降下法等を用いて重み係数ｋを変化させながら、重み係数ｋの最適値を決定する。この最適値に決定された重み係数ｋを採用し、当該重み係数ｋを（２）式におけるｋに用いる。
【００２９】
また、分割されたブロックの画像に対する位置、ブロックのサイズ等により、当該位置等に適した重み係数ｋを予め定めるようにしてもよい。具体的には、前述した主観評価実験または機械学習により、例えば、画像の左上からラスタスキャンの順に数えた所定の位置を基準とした場合、画像内において４×４、４×８、８×４、８×８等のブロックサイズとした場合等の最適な重み係数ｋをそれぞれ定める。例えば、風景画像のように上側は空で下側は陸という画像の場合は、画像の上下において空間周波数としての性質が異なるブロックが存在する画像がある。この場合、ブロックの画像に対する位置に適した重み係数ｋを用いることにより、主観的な画質の向上を図ることができる。また、例えば、Ｈ．２６４等で規格された符号化方式による画像は、４×４、４×８、８×４、８×８等の様々なブロック分割があり得る。この場合、ブロックのサイズに適した重み係数ｋを用いることにより、主観的な画質の向上を図ることができる。
【００３０】
尚、係数補完手段２０１は、（１）式及び（２）式に示した関数ｆｍ，ｎを用いて補完演算を施すようにしたが、引数として用いる直交変換係数の中にゼロの成分を含んでいてもよい。この場合、ゼロの直交変換係数により補完演算を施す。また、当該補完演算により、必ずしも全ての直交変換係数を補完する必要はなく、その一部を補完するようにしてもよい。例えば、係数補完手段２０１は、十分に高域な成分である直交変換係数を全てゼロにした直交変換係数ｃ’（ｍ，ｎ）を出力するようにしてもよい。ここで、十分に高域な成分の領域は、予め設定されるものとする。例えば、前述したように、２次元の直交変換係数をジグザグスキャンすることにより、１次元の直交変換係数に並び替え、この１次元の直交変換係数において、最後からＭ個までの直交変換係数を十分に高域な成分の領域として設定する。また、係数補完手段２０１は、一部の直交変換係数ｃ（ｍ，ｎ）を引数として（２）式により補完演算を施すようにしてもよい。この場合、重み係数ｋを決定するための主観評価実験のために必要な画像や、機械学習のために必要な学習データが少なくて済む。
【００３１】
また、係数補完手段２０１は、（１）式及び（２）式に示した関数ｆｍ，ｎの代わりに、（３）式に示す関数による補完演算を施し、補完後の直交変換係数ｃ’（ｍ，ｎ）を算出する。（３）式の関数ｆｍ，ｎは、入力係数ｃ（ｍ，ｎ）が非零の成分に対して、その入力係数ｃ（ｍ，ｎ）のまま出力係数ｃ’（ｍ，ｎ）を出力し、入力係数ｃ（ｍ，ｎ）が零の成分に対して、関数ｆｍ，ｎによる補完演算を施すものである。
【数３】
図２を参照して、係数補完手段２０１は、（３）式により、図２の左図に示した黒塗りの四角成分の非零の係数を、図２の右図に示すようにそのまま値を変化させないで、補完後の直交変換係数として出力する。また、左図に示した白塗りの四角成分（零の係数）に対して、左図の点線で囲まれた低域成分の直交変換係数群を引数とし、当該係数を用いて（３）式の関数ｆｍ，ｎによる補完演算を施し、右図に示す網掛けの四角成分のように補完する。この場合、全ての直交変換係数を引数として補完演算を施すようにしてもよい。
【００３２】
以上のように、実施例１の画質改善装置２００によれば、係数補完手段２０１が、直交変換係数ｃ（ｍ，ｎ）に対し、所定の関数ｆｍ，ｎにより補完演算を施すようにした。この補完演算の関数ｆｍ，ｎにより、存在する直交変換係数（非零の直交変換係数）を引数として、存在しない直交変換係数（零の直交変換係数）を非零の直交変換係数に補完することができる。これにより、符号化器１００の処理において喪失した（零となった）直交変換係数を、画質改善装置２００の係数補完手段２０１により擬似的に補完することができる。この補完は、統計的または実験的に評価される画像の結果を得ることができるような関数に基づいて処理されるから、復号化器３００は、見た目として不自然さを受けることが少ない復号画像を得ることができ、主観的な画質を向上させることができる。
【実施例２】
【００３３】
次に、実施例２について説明する。図３は、本発明の実施の形態に係る画質改善装置の実施例２を示すブロック図である。この実施例２と実施例１とを比較すると、両実施例は、符号化器１００により送信された符号データに含まれる直交変換係数ｃ（ｍ，ｎ）を引数として、所定の関数ｆｍ，ｎを用いて直交変換係数ｃ（ｍ，ｎ）の補完演算を行う点で同一であるが、実施例１では、関数ｆｍ，ｎの重み係数が予め定められた値であるのに対し、実施例２では、当該重み係数が符号化器１００から送信された符号データに含まれる情報に基づいて決定される点で相違する。すなわち、実施例２において、画質改善装置２００は、符号化器１００により送信された符号データに含まれる情報に基づいて写像を決定する。
【００３４】
図３を参照して、この画質改善装置を含む画像処理システムは、符号化器１００、画質改善装置２００、及び復号化器３００を備えている。符号化器１００及び画質改善装置２００は、伝送路により接続される。画質改善装置２００は、符号化器１００と復号化器３００との間に挿入されている。
【００３５】
符号化器１００及び復号化器３００は、図１に示したものと同等の機能を有する。すなわち、符号化器１００は、直交変換及び量子化を施し、当該量子化した直交変換係数を含む符号データを伝送路を経由して画質改善装置２００へ送信する。また、復号化器３００は、画質改善装置２００により補完された直交変換係数ｃ’（ｍ，ｎ）を入力し、当該補完後の直交変換係数を用いて復号化処理を施し、復号画像を得る。
【００３６】
画質改善装置２００は、係数補完手段２０１、特徴抽出手段２０２、及び重み係数決定手段２０３を備えている。画質改善装置２００が符号化器１００により伝送路を介して送信された符号データを受信すると、特徴抽出手段２０２は、符号データに含まれる情報から画像特徴を抽出する。例えば、符号データに含まれる動きベクトル情報から、その絶対値を画像特徴として抽出する。また、符号データに含まれる輝度値情報及び色情報から、特徴量を画像特徴として抽出する。さらに、符号データに含まれる直交変換係数の直流成分から、当該ブロックの平均輝度を画像特徴として抽出する。
【００３７】
重み係数決定手段２０３は、特徴抽出手段２０２により抽出された画像特徴を入力し、当該画像特徴に応じて、前述した（２）式の重み係数ｋ群を決定する。例えば、画像特徴として動きベクトルの絶対値を入力する場合には、当該動きベクトルの絶対値の大きさに対応した重み係数ｋをテーブルとして予め用意しておき、そのテーブルを用いて動きベクトルの絶対値に応じた重み係数ｋを決定する。
【００３８】
具体的には、実施例１と同様に、以下の主観評価実験の手順により重み係数ｋのテーブル（例えば、ｋ０及びｋ１の組）を定める。
（１）重み係数ｋ０及びｋ１を例えば乱数により決定する。
（２）様々な画像に対し、画質改善装置２００を用いて復号画像を得る。この場合、符号データに含まれる動きベクトルの絶対値と予め定めた閾値とを比較し、当該絶対値が閾値を超えたブロックに対してはｋ１を、それ以外のブロックに対してはｋ２をそれぞれ用い、復号画像を得る。
（３）被験者に、（２）により得られた復号画像群を見せ、最もきれいに見える画像であるか否かを主観評価させる。
このような手順を繰り返すことにより、被験者の主観評価により最もきれいに見える復号画像が得られたときの重み係数ｋ０及びｋ１を採用し、当該重み係数ｋのテーブルに用いる。
【００３９】
一方、実施例１と同様に、機械学習により重み係数ｋを予め定めるようにしてもよい。すなわち、学習装置が、符号化器１００から学習データＩ（ｉ）＝（量子化前の直交変換係数，量子化後の直交変換係数）を入力し、画質改善装置２００から補完後の直交変換係数を入力する。そして、画像毎（ｉ）に、量子化前の直交変換係数と補完後の直交変換係数との間の誤差（自乗誤差等）ｅ（ｉ）を算出し、複数の画像に対して、Ｅ＝Σｅ（ｉ）を算出し、このＥが小さくなるように、最急降下法等を用いて重み係数ｋ０及びｋ１を変化させながら、重み係数ｋ０及びｋ１の最適値を決定する。この最適値に決定された重み係数ｋ０及びｋ１を採用し、当該重み係数ｋのテーブルに用いる。
【００４０】
また、画像特徴としてブロックの平均輝度を入力する場合には、当該平均輝度に対応した重み係数ｋをテーブルとして予め用意しておき、そのテーブルを用いて平均輝度に応じた重み係数ｋを決定する。これも、前述した主観評価実験または機械学習により、重み係数を決定する。
【００４１】
係数補完手段２０１は、符号化器１００により伝送路を介して送信された符号データを入力し、重み係数決定手段２０３により決定された重み係数ｋ群を入力する。そして、当該符号データに含まれる直交変換係数ｃ（ｍ，ｎ）に対し、当該重み係数ｋの（２）式または（３）式に示した関数ｆｍ，ｎによる補完演算を施し、補完後の直交変換係数ｃ’（ｍ，ｎ）を算出する。
【００４２】
以上のように、実施例２の画質改善装置２００によれば、係数補完手段２０１が、符号データに含まれる情報から決定された重み係数ｋの関数ｆｍ，ｎを用いて、直交変換係数ｃ（ｍ，ｎ）に対し補完演算を施すようにした。これにより、実施例１と同様な効果を奏する。また、重み係数決定手段２０３が、補完演算を施す関数ｆｍ，ｎの重み係数ｋを、画像を構成する各ブロックにおける画像特徴に基づいて決定するようにした。これにより、画像シーンに応じた補完演算が可能になるから、主観的な画質を一層向上させることができる。また、特徴抽出手段２０２が、符号データに含まれる情報に基づいて画像特徴を抽出するようにしたから、符号化器１００は、画像シーンに応じた補完演算のために必要な情報を新たに生成する必要がなく、その処理負担を軽減することができる。
【実施例３】
【００４３】
次に、実施例３について説明する。図４は、本発明の実施の形態に係る画質改善装置の実施例３を示すブロック図である。この実施例３と実施例１とを比較すると、両実施例は、符号化器１００により送信された符号データに含まれる直交変換係数ｃ（ｍ，ｎ）を引数として、所定の関数ｆｍ，ｎを用いて直交変換係数ｃ（ｍ，ｎ）の補完演算を行う点で同一であるが、実施例１では、関数ｆｍ，ｎの重み係数が予め定められた値であるのに対し、実施例３では、当該重み係数が、符号化器１００から送信された符号データに付加された情報に基づいて決定される点で相違する。また、実施例３と実施例２とを比較すると、両実施例は、当該重み係数が、符号化器１００から送信された情報に基づいて決定される点で同一であるが、実施例２では、重み係数が符号データに含まれる情報に基づいて決定されるのに対し、実施例３では、重み係数が符号データに付加された情報（符号データとは別の情報）に基づいて決定される点で相違する。すなわち、実施例３において、画質改善装置２００は、符号化器１００から符号データと共に送信される付加的な情報に基づいて写像を決定する。
【００４４】
図４を参照して、この画質改善装置を含む画像処理システムは、符号化器１００、画質改善装置２００、及び復号化器３００を備えている。符号化器１００及び画質改善装置２００は、伝送路により接続される。画質改善装置２００は、符号化器１００と復号化器３００との間に挿入されている。
【００４５】
符号化器１００は、実施例１及び２と同様に、既存の標準的な符号化器であり、画像を１以上のブロックに分割し、当該ブロック毎に直交変換を施して直交変換係数を算出する。そして、量子化を施し、伝送路を介して画質改善装置２００へ、当該量子化した直交変換係数を含む符号データを送信すると共に、符号データに付加する情報も送信する。この付加情報は、重み係数ｋを決定するための情報である。例えば、重み係数を決定するための識別子（切替情報）である。
【００４６】
画質改善装置２００は、係数補完手段２０１及び重み係数決定手段２０３を備えている。画質改善装置２００が符号化器１００により伝送路を介して送信された符号データ及び付加情報を受信すると、係数補完手段２０１は当該符号データを入力し、重み係数決定手段２０３は付加情報を入力する。そして、重み係数決定手段２０３は、当該付加情報に基づいて重み係数ｋ群を決定する。例えば、付加情報として識別子を入力する場合には、当該識別子に対応した重み係数ｋ群をテーブルとして予め用意しておき、そのテーブルを用いて識別子に応じた重み係数ｋ群を決定する。この場合、識別子は、テーブルに格納された複数の重み係数ｋ群の中から、その識別子に応じた重み係数ｋ群を選択するために用いられる。したがって、識別子は、現在選択している重み係数ｋ群から、その識別子に応じた他の重み係数ｋ群に切り替えるための切替情報でもある。
【００４７】
係数補完手段２０１は、実施例２と同様の機能を有する。係数補完手段２０１は、符号化器１００により伝送路を介して送信された符号データを入力し、重み係数決定手段２０３により決定された重み係数ｋ群を入力する。そして、当該符号データに含まれる直交変換係数ｃ（ｍ，ｎ）に対し、当該重み係数ｋの（２）式または（３）式に示した関数ｆｍ，ｎによる補完演算を施し、補完後の直交変換係数ｃ’（ｍ，ｎ）を算出する。
【００４８】
復号化器３００は、図１に示したものと同等の機能を有する。すなわち、復号化器３００は、画質改善装置２００により補完された直交変換係数ｃ’（ｍ，ｎ）を入力し、当該補完後の直交変換係数を用いて復号化処理を施し、復号画像を得る。
【００４９】
以上のように、実施例３の画質改善装置２００によれば、係数補完手段２０１が、付加情報から決定された重み係数ｋの関数ｆｍ，ｎを用いて、直交変換係数ｃ（ｍ，ｎ）に対し補完演算を施すようにした。これにより、実施例１と同様な効果を奏する。また、重み係数決定手段２０３は、補完演算を施す関数ｆｍ，ｎの重み係数ｋを、符号化器１００により送信される符号データとは別の付加情報に基づいて決定する。これにより、符号化器１００側の意図に応じた補完演算が可能になるから、主観的な画質を一層向上させることができる。
【００５０】
以上、実施例を挙げて本発明を説明したが、本発明は上記実施例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、符号化器１００による直交変換は、原画像の輝度値及び色成分に対して直接変換するようにしてもよいし、前処理を施した結果の画像に対して施すようにしてもよい。例えば、動画像の場合には、前処理として動き補償を施し、当該動き補償の残差に対して直交変換を施すようにしてもよい。また、原画像に対して平滑化等のフィルタ処理を施し、当該処理後の値に対して直交変換を施すようにしてもよい。この場合、直交変換として、離散コサイン変換（ＤＣＴ）、離散アダマール変換（ＤＨＴ）、カルーネン・レーベ変換（ＫＬＴ）、ウェーブレット変換（ＷＴ）等を用いることができる。
【００５１】
また、符号化器１００において、直交変換係数ｃ（ｍ，ｎ）は、図２に示したように、水平方向及び垂直方向の２次元に分布しているが、１次元に分布して構成されるようにしてもよい。
【００５２】
また、実施例１〜３において、画質改善装置２００は、復号化器３００とは別の装置として独立し、符号化器１００と復号化器３００との間に挿入されているが、復号化器３００の一部として構成されるようにしてもよい。この場合、復号化器３００は、画質改善装置２００の機能を有し、符号化器１００から伝送路を介して送信された符号データを受信する。また、実施例３の場合は、復号化器３００は、符号データと共に付加情報も受信する。
【図面の簡単な説明】
【００５３】
【図１】本発明の実施の形態に係る画質改善装置の実施例１を示すブロック図である。
【図２】直交変換係数の補完の一例を説明する図である。
【図３】本発明の実施の形態に係る画質改善装置の実施例２を示すブロック図である。
【図４】本発明の実施の形態に係る画質改善装置の実施例３を示すブロック図である。
【図５】従来の画像処理システムの構成を示すブロック図である。
【符号の説明】
【００５４】
１００ 符号化器
２００ 画質改善装置
２０１ 係数補完手段
２０２ 特徴抽出手段
２０３ 重み係数決定手段
３００ 復号化器
【技術分野】
【０００１】
本発明は、直交変換及び量子化を行う画像符号化方式の復号処理に関し、特に、非可逆符号化により劣化した画像の主観的画質を向上させる画像改善装置に関する。
【背景技術】
【０００２】
従来、画像改善装置には、画像を構成する周波数成分の高域を強調することにより、不自然な輪郭補正を防ぐと共に、鑑賞者に違和感を与えることがないよう画質を改善するものがある（特許文献１を参照）。また、ＥＤＴＶ（Ｅｎｈａｎｃｅｄ Ｄｅｆｉｎｉｔｉｏｎ ＴｅｌｅＶｉｓｉｏｎ）−ＩＩ（ワイドクリアビジョン）において、送信側にて画像信号に付加された補強信号を用いることにより、画質を改善するものもある（特許文献２を参照）。具体的には、受信した画像信号の状態を検出し、この検出結果に合わせて補強信号の情報量を制御することにより、画質の改善を図るものである。
【０００３】
【特許文献１】特開平５−７５９００号公報
【特許文献２】特開平５−３００４７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
図５は、従来の画像処理システムの構成を示すブロック図である。この画像処理システムは、符号化器１００及び復号化器３００から成り、これらは伝送路により接続される。符号化器１００は、入力画像を入力すると、当該画像を所定のブロックに分割し、当該ブロック毎に直交変換を施し、量子化を施す。そして、直交変換及び量子化を施された直交変換係数は、伝送路を介して復号化器３００へ送信される。復号化器３００は、直交変換係数を受信すると、逆量子化を施し、逆直交変換を施し、ブロックを再構成する。そして、復号化器３００は、復号画像を出力する。図５に示した画像処理システムは、静止画像に適用するシステムである。この画像処理システムに、さらに動き補償機能を備えることにより、動画像に適用させることことができる。尚、図５は、伝送路符号化及び伝送路復号化のそれぞれの機能を省略してある。以下の説明においても同様とする。
【０００５】
このような画像処理システムを用いて、ＪＰＥＧ、ＭＰＥＧ、ＭＰＥＧ２、ＭＰＥＧ４等（以下、ＪＰＥＧ等という）の直交変換及び量子化により画像圧縮を行う符号化を実現する場合、圧縮率（ビットレート）または入力画像の種類如何によっては、画像を構成する周波数成分のうちの特に高域成分が、その量子化の過程で完全に失われることがある。この場合、復号化器３００が、高域周波数成分が失われた直交変換係数により復号処理を行うと、復号画像には不自然な歪み及びノイズが生じてしまう。
【０００６】
この問題を解決するために、前述した特許文献１の技術により、高域成分を強調して画質の改善を試みたとしても、そもそも入力符号において高域成分が完全に失われているから、画質の改善を図ることはできない。
【０００７】
また、前述した特許文献２の技術により、送信側にて画像信号に付加された補強信号を用いて画質の改善を試みたとしても、比較的多くのビット配分が必要になるため、符号化の効率を損なってしまう。これは、ワイドクリアビジョンにおける補強信号が、アスペクト比１６：９映像をアスペクト比４：３映像の内部に納める際に生ずる上下の黒み領域等に付加される信号であって、高精細化のために必要な信号だからである。
【０００８】
そこで、本発明は、かかる課題を解決するためになされたものであり、その目的は、既存の符号化器により直交変換及び量子化された画像信号に対し、量子化の際に喪失した周波数成分を補完することにより、主観的な画質の向上を図ることが可能な画質改善装置を提供することにある。
【０００９】
ここで、主観的な画質は、人間の感覚に依存しないでＳ／Ｎ比等の物理的に明確な定義式により評価される客観的な画質とは異なり、実験的または統計的に評価されるものである。具体的には、ＩＴＵ−Ｒ勧告５００−７等で推奨される２重刺激連続品質尺度法、比率尺度法、多次元尺度構成法等の画質主観評価法により、主観的な画質が評価される。したがって、主観的な画質が向上した場合とは、例えば、画像内のエッジ付近のボケやモスキートノイズ、ブロック歪み等が目立たなくなり、画像の見た目が良くなる場合が挙げられる。
【課題を解決するための手段】
【００１０】
上記課題を解決し、目的を達成するために、本発明による画質改善装置は、直交変換及び量子化により符号化された画像の画質を改善する装置であって、前記符号化された画像の符号データを入力し、該符号データに含まれる直交変換係数に対し、該直交変換係数を引数として予め規定された関数に基づいて、非零の直交変換係数の引数を用いて零の直交変換係数が非零になるように補完演算を施し、前記量子化により喪失した直交変換係数を新たに生成する係数補完手段を備えたことを特徴とする。これにより、当該補完した直交変換係数を用いて復号画像を得ることができるから、主観的な画質を向上させることができる。
【００１１】
また、本発明による画質改善装置は、前記関数の引数とする直交変換係数が、符号データに含まれる全ての直交変換係数のうちの一部とすることを特徴とする。また、前記予め規定された関数が、直交変換係数に重み係数を乗算して演算を行うことを特徴とする。また、前記予め規定された関数が、符号データに含まれる直交変換係数が非零の場合に、該直交変換係数をそのまま新たな直交変換係数とし、符号データに含まれる直交変換係数が零の場合に、直交変換係数に重み係数を乗算して演算を行うことを特徴とする。これにより、係数補完手段の処理を簡潔にすることができるから、画質改善装置全体として処理負荷を軽減することができる。
【００１２】
本発明による画質改善装置は、さらに、前記符号データを入力し、該符号データに含まれる情報に基づいて画像特徴を抽出する特徴抽出手段と、該特徴抽出手段により抽出された画像特徴に基づいて、前記係数補完手段で用いる重み係数を決定する重み係数決定手段とを備えたことを特徴とする。これにより、画像特徴に応じて適応的に関数を変化させることができる。また、符号データを送信する符号化器は、重み係数を決定するための情報を新たに生成する必要がないから、処理負担が生じることがない。したがって、符号化効率の低下を抑えると共に、画像に応じた効率的な画質改善を図ることができる。
【００１３】
本発明による画質改善装置は、さらに、前記符号データとは別の情報であって、該符号データに付加された識別子を入力し、該識別子に基づいて、前記係数補完手段で用いる重み係数を決定する重み係数決定手段を備えたことを特徴とする。これにより、符号化器側の意図に応じて適応的に関数を変化させることができる。また、符号データを送信する符号化器は、重み係数を決定するための情報を新たに生成する必要がないから、処理負担が生じることがない。したがって、符号化効率の低下を抑えると共に、符号化器側の意図に応じた画質改善を図ることができる。
【発明の効果】
【００１４】
本発明によれば、既存の符号化器により直交変換及び量子化された符号データに対し、量子化の際に喪失した周波数成分を補完するようにしたから、主観的な画質の向上を図ることが可能となる。例えば、画像内のエッジ付近のボケやモスキートノイズ、ブロック歪み等が目立たなくなり、画像の見た目が良くなる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態について図面を用いて詳細に説明する。本発明の実施の形態は、実施例１から３までの画質改善装置である。実施例１の画質改善装置は、入力係数である直交変換係数に対し、所定の関数により補完演算を施し、出力係数である補完後の直交変換係数を得るものである。実施例２の画質改善装置は、符号データに含まれる情報に基づいて重み係数を決定し、直交変換係数に対し、当該重み係数により重み付けを行い、所定の関数により補完演算を施し、補完後の直交変換係数を得るものである。また、実施例３の画像改善装置は、符号データに付加された情報に基づいて重み係数を決定し、直交変換係数に対し、当該重み係数により重み付けを行い、所定の関数により補完演算を施し、補完後の直交変換係数を得るものである。この場合、量子化の際に喪失した周波数成分の直交変換係数を、喪失していない直交変換係数に基づいて推測し、経験的に現れやすい直交変換係数として補完するようにしたから、当該補完した直交変換係数を用いて復号化処理を施すことにより、主観的な画質を向上させることが可能となる。
【実施例１】
【００１６】
まず、実施例１について説明する。図１は、本発明の実施の形態に係る画質改善装置の実施例１を示すブロック図である。この画質改善装置を含む画像処理システムは、符号化器１００、画質改善装置２００、及び復号化器３００を備えている。符号化器１００及び画質改善装置２００は、伝送路により接続される。画質改善装置２００は、符号化器１００と復号化器３００との間に挿入されている。
【００１７】
符号化器１００は、図５に示したものと同様に、既存の標準的な符号化器であり、画像を１以上のブロックに分割し、当該ブロック毎に直交変換を施して直交変換係数を算出する。そして、量子化を施し、当該量子化した直交変換係数を含む符号データを伝送路経由で画質改善装置２００へ送信する。
【００１８】
画質改善装置２００は、係数補完手段２０１を備えている。画質改善装置２００が符号化器１００により伝送路を介して送信された符号データを受信すると、係数補完手段２０１は、当該符号データを入力し、符号データに含まれる各ブロックの直交変換係数に対し、所定の関数により補完演算を施し、補完後の直交変換係数を出力する。つまり、入力符号を構成する各ブロックの直交変換係数（入力係数）に対し、所定の関数により写像を施し、直交変換係数（出力係数）を出力する。直交変換係数の補完手法（写像手法）については後述する。
【００１９】
復号化器３００は、図５に示したものと同様に、画質改善装置２００により補完された直交変換係数を入力し、当該補完後の直交変換係数を用いて復号化処理を施し、復号画像を得る。
【００２０】
次に、画質改善装置２００に備えた係数補完手段２０１の処理、すなわち直交変換係数の補完手法について詳細に説明する。以下の説明では、画像を構成する一つのブロックに注目し、当該ブロックにおける直交変換係数をｃ、補完後の直交変換係数をｃ’とする。直交変換係数ｃは、符号化器１００により量子化の際に算出された係数であり、符号化器１００により送信される符号データに含まれるものである。補完後の直交変換係数ｃ’は、画質改善装置２００の係数補完手段２０１により出力される係数である。また、これらの直交変換係数ｃ，ｃ’は、画像を構成するブロック毎に算出されるものであり、１つの画像において水平（水平周波数）方向にＭ個、垂直（垂直周波数）方向にＮ個から成る場合、水平方向ｍ番目（ｍ＝０，１，・・・，Ｍ−１）及び垂直方向ｎ番目（ｎ＝０，１，・・・，Ｎ−１）の成分を、それぞれｃ（ｍ，ｎ）、ｃ’（ｍ，ｎ）とする。
【００２１】
前述のように、係数補完手段２０１は、符号データを入力し、符号データに含まれる各ブロックの直交変換係数ｃ（ｍ，ｎ）を補完し、補完後の直交変換係数ｃ’（ｍ，ｎ）を出力する。具体的には、係数補完手段２０１は、入力係数であるＭ×Ｎ個の直交変換係数ｃ（ｍ，ｎ）のうちの一つ以上の係数に基づいて、直交変換係数ｃ（ｍ，ｎ）に対し、（１）式に示す関数ｆｍ，ｎによる補完演算を施し、補完後の直交変換係数ｃ’（ｍ，ｎ）を算出する。
【数１】
この関数ｆｍ，ｎの引数は、係数補完手段２０１に入力される符号データに含まれる全ての直交変換係数ｃ（ｍ，ｎ）である。すなわち、係数補完手段２０１は、全ての直交変換係数ｃ（ｍ，ｎ）を用いて関数ｆｍ，ｎによる補完演算を施し、補完後の直交変換係数ｃ’（ｍ，ｎ）を算出する。特定の種類の画像に特化して補完演算を施すことにより、主観的な画質の向上を一層図ることができる。
【００２２】
尚、係数補完手段２０１は、全ての直交変換係数ｃ（ｍ，ｎ）のうちの一部の係数を引数とし、当該一部の係数を用いて関数ｆｍ，ｎによる補完演算を施し、直交変換係数ｃ’（ｍ，ｎ）を算出するようにしてもよい。例えば、全ての直交変換係数ｃ（ｍ，ｎ）のうちの低域成分（低周波数成分）の直交変換係数を引数として補完を行う。図２は、低域成分の直交変換係数を引数とした場合の補完手法の一例を示す図である。図２における左図は、全ての直交変換係数ｃ（ｍ，ｎ）を画像に対応させて図式化したものである。本図において、黒塗りの四角は、直交変換係数がゼロでない（非零）成分を示し、白塗りの四角は、直交変換係数がゼロである（零）成分を示す。また、点線で囲まれた成分は、補完のために用いる直交変換係数群を示す。このように、係数補完手段２０１は、点線で囲まれた低域成分の直交変換係数群を引数とし、当該係数を用いて関数ｆｍ，ｎによる補完演算を施し、直交変換係数ｃ’（ｍ，ｎ）を算出する。
【００２３】
この場合、引数の対象となる低域成分の領域（点線領域）は、予め設定されるものとする。例えば、２次元で表された直交変換係数ｃ（ｍ，ｎ）に対し、最も低域の直流成分から高域成分側へ向けてジグザグスキャンすることにより、２次元の直交変換係数を１次元の直交変換係数に並び替える。そして、この１次元の直交変換係数において、最初からＬ個までの直交変換係数を低域成分の領域として設定する。例えば、直交変換として離散コサイン変換（ＤＣＴ）を用いた場合には、直交変換係数は低域成分に信号電力が集中する。したがって、係数補完手段２０１は、このような直交変換の場合に、信号電力が集中する低域成分の直交変換係数を引数として補完を行うことができる。
【００２４】
このように、係数補完手段２０１が、一部の直交変換係数ｃ（ｍ，ｎ）を引数として補完演算を施すことにより、特定の種類の画像に特化することなく様々な画像（例えば、風景、肖像、スポーツ、ＣＧ、ＣＭ）に対して主観的な画質の向上を図ることができる。また、処理負荷の低減を図ることができ、効率の良い補完処理を実現することができる。
【００２５】
また、係数補完手段２０１は、（１）式に示した関数ｆｍ，ｎの代わりに、（２）式に示す線形変換及び量子化の関数による補完演算を施し、補完後の直交変換係数ｃ’（ｍ，ｎ）を算出する。（２）式の関数ｆｍ，ｎは、直交変換係数ｃ（ｍ，ｎ）に対し、線形変換及び量子化の演算を施すものである。
【数２】
ここで、ｋ（ｍ，ｎ；ｉ，ｊ）は重み係数、Ｑは量子化関数を示す。
【００２６】
量子化関数Ｑは、標準的な符号化器１００で用いられるものと互換性のある量子化の演算を行うものとし、標準的な符号化器１００における量子化のステップよりも細かいステップで量子化の演算を行うのが好適である。
【００２７】
重み係数ｋは、復号画像が自然な画像になるように主観的な画質を向上させるための、予め定めた定数とする。この重み係数ｋは任意に予め定められる係数であり、例えば、画像に対する主観評価により、当該画像に適した重み係数ｋを予め定めるようにしてもよい。具体的には、以下の主観評価実験の手順により重み係数ｋを定める。
（１）重み係数ｋを例えば乱数により決定する。
（２）様々な画像に対し、画質改善装置２００を用いて復号画像を得る。
（３）被験者に、（２）により得られた復号画像群を見せ、最もきれいに見える画像であるか否かを主観評価させる。
このような手順を繰り返すことにより、被験者の主観評価により最もきれいに見える復号画像が得られたときの重み係数ｋを採用し、当該重み係数ｋを（２）式におけるｋに用いる。
【００２８】
一方、機械学習により重み係数ｋを予め定めるようにしてもよい。具体的には、符号化器１００は、機械学習モードにおいて、複数の画像に対し、量子化前の直交変換係数と量子化後の直交変換係数とを取り出し、これらをペアとした学習データを前記画像毎に得る。
Ｉ（ｉ）＝（量子化前の直交変換係数，量子化後の直交変換係数）
ここで、ｉは画像の番号を、Ｉ（ｉ）は学習データを示す。また、画質改善装置２００は、機械学習モードにおいて、画像毎に補完後の直交変換係数を得る。学習装置（図示せず）は、符号化器１００から学習データを入力し、画質改善装置２００から補完後の直交変換係数を入力する。また、画像毎（ｉ）に、量子化前の直交変換係数と補完後の直交変換係数との間の誤差（自乗誤差等）ｅ（ｉ）を算出し、複数の画像に対して、Ｅ＝Σｅ（ｉ）を算出する。そして、このＥが小さくなるように、最急降下法等を用いて重み係数ｋを変化させながら、重み係数ｋの最適値を決定する。この最適値に決定された重み係数ｋを採用し、当該重み係数ｋを（２）式におけるｋに用いる。
【００２９】
また、分割されたブロックの画像に対する位置、ブロックのサイズ等により、当該位置等に適した重み係数ｋを予め定めるようにしてもよい。具体的には、前述した主観評価実験または機械学習により、例えば、画像の左上からラスタスキャンの順に数えた所定の位置を基準とした場合、画像内において４×４、４×８、８×４、８×８等のブロックサイズとした場合等の最適な重み係数ｋをそれぞれ定める。例えば、風景画像のように上側は空で下側は陸という画像の場合は、画像の上下において空間周波数としての性質が異なるブロックが存在する画像がある。この場合、ブロックの画像に対する位置に適した重み係数ｋを用いることにより、主観的な画質の向上を図ることができる。また、例えば、Ｈ．２６４等で規格された符号化方式による画像は、４×４、４×８、８×４、８×８等の様々なブロック分割があり得る。この場合、ブロックのサイズに適した重み係数ｋを用いることにより、主観的な画質の向上を図ることができる。
【００３０】
尚、係数補完手段２０１は、（１）式及び（２）式に示した関数ｆｍ，ｎを用いて補完演算を施すようにしたが、引数として用いる直交変換係数の中にゼロの成分を含んでいてもよい。この場合、ゼロの直交変換係数により補完演算を施す。また、当該補完演算により、必ずしも全ての直交変換係数を補完する必要はなく、その一部を補完するようにしてもよい。例えば、係数補完手段２０１は、十分に高域な成分である直交変換係数を全てゼロにした直交変換係数ｃ’（ｍ，ｎ）を出力するようにしてもよい。ここで、十分に高域な成分の領域は、予め設定されるものとする。例えば、前述したように、２次元の直交変換係数をジグザグスキャンすることにより、１次元の直交変換係数に並び替え、この１次元の直交変換係数において、最後からＭ個までの直交変換係数を十分に高域な成分の領域として設定する。また、係数補完手段２０１は、一部の直交変換係数ｃ（ｍ，ｎ）を引数として（２）式により補完演算を施すようにしてもよい。この場合、重み係数ｋを決定するための主観評価実験のために必要な画像や、機械学習のために必要な学習データが少なくて済む。
【００３１】
また、係数補完手段２０１は、（１）式及び（２）式に示した関数ｆｍ，ｎの代わりに、（３）式に示す関数による補完演算を施し、補完後の直交変換係数ｃ’（ｍ，ｎ）を算出する。（３）式の関数ｆｍ，ｎは、入力係数ｃ（ｍ，ｎ）が非零の成分に対して、その入力係数ｃ（ｍ，ｎ）のまま出力係数ｃ’（ｍ，ｎ）を出力し、入力係数ｃ（ｍ，ｎ）が零の成分に対して、関数ｆｍ，ｎによる補完演算を施すものである。
【数３】
図２を参照して、係数補完手段２０１は、（３）式により、図２の左図に示した黒塗りの四角成分の非零の係数を、図２の右図に示すようにそのまま値を変化させないで、補完後の直交変換係数として出力する。また、左図に示した白塗りの四角成分（零の係数）に対して、左図の点線で囲まれた低域成分の直交変換係数群を引数とし、当該係数を用いて（３）式の関数ｆｍ，ｎによる補完演算を施し、右図に示す網掛けの四角成分のように補完する。この場合、全ての直交変換係数を引数として補完演算を施すようにしてもよい。
【００３２】
以上のように、実施例１の画質改善装置２００によれば、係数補完手段２０１が、直交変換係数ｃ（ｍ，ｎ）に対し、所定の関数ｆｍ，ｎにより補完演算を施すようにした。この補完演算の関数ｆｍ，ｎにより、存在する直交変換係数（非零の直交変換係数）を引数として、存在しない直交変換係数（零の直交変換係数）を非零の直交変換係数に補完することができる。これにより、符号化器１００の処理において喪失した（零となった）直交変換係数を、画質改善装置２００の係数補完手段２０１により擬似的に補完することができる。この補完は、統計的または実験的に評価される画像の結果を得ることができるような関数に基づいて処理されるから、復号化器３００は、見た目として不自然さを受けることが少ない復号画像を得ることができ、主観的な画質を向上させることができる。
【実施例２】
【００３３】
次に、実施例２について説明する。図３は、本発明の実施の形態に係る画質改善装置の実施例２を示すブロック図である。この実施例２と実施例１とを比較すると、両実施例は、符号化器１００により送信された符号データに含まれる直交変換係数ｃ（ｍ，ｎ）を引数として、所定の関数ｆｍ，ｎを用いて直交変換係数ｃ（ｍ，ｎ）の補完演算を行う点で同一であるが、実施例１では、関数ｆｍ，ｎの重み係数が予め定められた値であるのに対し、実施例２では、当該重み係数が符号化器１００から送信された符号データに含まれる情報に基づいて決定される点で相違する。すなわち、実施例２において、画質改善装置２００は、符号化器１００により送信された符号データに含まれる情報に基づいて写像を決定する。
【００３４】
図３を参照して、この画質改善装置を含む画像処理システムは、符号化器１００、画質改善装置２００、及び復号化器３００を備えている。符号化器１００及び画質改善装置２００は、伝送路により接続される。画質改善装置２００は、符号化器１００と復号化器３００との間に挿入されている。
【００３５】
符号化器１００及び復号化器３００は、図１に示したものと同等の機能を有する。すなわち、符号化器１００は、直交変換及び量子化を施し、当該量子化した直交変換係数を含む符号データを伝送路を経由して画質改善装置２００へ送信する。また、復号化器３００は、画質改善装置２００により補完された直交変換係数ｃ’（ｍ，ｎ）を入力し、当該補完後の直交変換係数を用いて復号化処理を施し、復号画像を得る。
【００３６】
画質改善装置２００は、係数補完手段２０１、特徴抽出手段２０２、及び重み係数決定手段２０３を備えている。画質改善装置２００が符号化器１００により伝送路を介して送信された符号データを受信すると、特徴抽出手段２０２は、符号データに含まれる情報から画像特徴を抽出する。例えば、符号データに含まれる動きベクトル情報から、その絶対値を画像特徴として抽出する。また、符号データに含まれる輝度値情報及び色情報から、特徴量を画像特徴として抽出する。さらに、符号データに含まれる直交変換係数の直流成分から、当該ブロックの平均輝度を画像特徴として抽出する。
【００３７】
重み係数決定手段２０３は、特徴抽出手段２０２により抽出された画像特徴を入力し、当該画像特徴に応じて、前述した（２）式の重み係数ｋ群を決定する。例えば、画像特徴として動きベクトルの絶対値を入力する場合には、当該動きベクトルの絶対値の大きさに対応した重み係数ｋをテーブルとして予め用意しておき、そのテーブルを用いて動きベクトルの絶対値に応じた重み係数ｋを決定する。
【００３８】
具体的には、実施例１と同様に、以下の主観評価実験の手順により重み係数ｋのテーブル（例えば、ｋ０及びｋ１の組）を定める。
（１）重み係数ｋ０及びｋ１を例えば乱数により決定する。
（２）様々な画像に対し、画質改善装置２００を用いて復号画像を得る。この場合、符号データに含まれる動きベクトルの絶対値と予め定めた閾値とを比較し、当該絶対値が閾値を超えたブロックに対してはｋ１を、それ以外のブロックに対してはｋ２をそれぞれ用い、復号画像を得る。
（３）被験者に、（２）により得られた復号画像群を見せ、最もきれいに見える画像であるか否かを主観評価させる。
このような手順を繰り返すことにより、被験者の主観評価により最もきれいに見える復号画像が得られたときの重み係数ｋ０及びｋ１を採用し、当該重み係数ｋのテーブルに用いる。
【００３９】
一方、実施例１と同様に、機械学習により重み係数ｋを予め定めるようにしてもよい。すなわち、学習装置が、符号化器１００から学習データＩ（ｉ）＝（量子化前の直交変換係数，量子化後の直交変換係数）を入力し、画質改善装置２００から補完後の直交変換係数を入力する。そして、画像毎（ｉ）に、量子化前の直交変換係数と補完後の直交変換係数との間の誤差（自乗誤差等）ｅ（ｉ）を算出し、複数の画像に対して、Ｅ＝Σｅ（ｉ）を算出し、このＥが小さくなるように、最急降下法等を用いて重み係数ｋ０及びｋ１を変化させながら、重み係数ｋ０及びｋ１の最適値を決定する。この最適値に決定された重み係数ｋ０及びｋ１を採用し、当該重み係数ｋのテーブルに用いる。
【００４０】
また、画像特徴としてブロックの平均輝度を入力する場合には、当該平均輝度に対応した重み係数ｋをテーブルとして予め用意しておき、そのテーブルを用いて平均輝度に応じた重み係数ｋを決定する。これも、前述した主観評価実験または機械学習により、重み係数を決定する。
【００４１】
係数補完手段２０１は、符号化器１００により伝送路を介して送信された符号データを入力し、重み係数決定手段２０３により決定された重み係数ｋ群を入力する。そして、当該符号データに含まれる直交変換係数ｃ（ｍ，ｎ）に対し、当該重み係数ｋの（２）式または（３）式に示した関数ｆｍ，ｎによる補完演算を施し、補完後の直交変換係数ｃ’（ｍ，ｎ）を算出する。
【００４２】
以上のように、実施例２の画質改善装置２００によれば、係数補完手段２０１が、符号データに含まれる情報から決定された重み係数ｋの関数ｆｍ，ｎを用いて、直交変換係数ｃ（ｍ，ｎ）に対し補完演算を施すようにした。これにより、実施例１と同様な効果を奏する。また、重み係数決定手段２０３が、補完演算を施す関数ｆｍ，ｎの重み係数ｋを、画像を構成する各ブロックにおける画像特徴に基づいて決定するようにした。これにより、画像シーンに応じた補完演算が可能になるから、主観的な画質を一層向上させることができる。また、特徴抽出手段２０２が、符号データに含まれる情報に基づいて画像特徴を抽出するようにしたから、符号化器１００は、画像シーンに応じた補完演算のために必要な情報を新たに生成する必要がなく、その処理負担を軽減することができる。
【実施例３】
【００４３】
次に、実施例３について説明する。図４は、本発明の実施の形態に係る画質改善装置の実施例３を示すブロック図である。この実施例３と実施例１とを比較すると、両実施例は、符号化器１００により送信された符号データに含まれる直交変換係数ｃ（ｍ，ｎ）を引数として、所定の関数ｆｍ，ｎを用いて直交変換係数ｃ（ｍ，ｎ）の補完演算を行う点で同一であるが、実施例１では、関数ｆｍ，ｎの重み係数が予め定められた値であるのに対し、実施例３では、当該重み係数が、符号化器１００から送信された符号データに付加された情報に基づいて決定される点で相違する。また、実施例３と実施例２とを比較すると、両実施例は、当該重み係数が、符号化器１００から送信された情報に基づいて決定される点で同一であるが、実施例２では、重み係数が符号データに含まれる情報に基づいて決定されるのに対し、実施例３では、重み係数が符号データに付加された情報（符号データとは別の情報）に基づいて決定される点で相違する。すなわち、実施例３において、画質改善装置２００は、符号化器１００から符号データと共に送信される付加的な情報に基づいて写像を決定する。
【００４４】
図４を参照して、この画質改善装置を含む画像処理システムは、符号化器１００、画質改善装置２００、及び復号化器３００を備えている。符号化器１００及び画質改善装置２００は、伝送路により接続される。画質改善装置２００は、符号化器１００と復号化器３００との間に挿入されている。
【００４５】
符号化器１００は、実施例１及び２と同様に、既存の標準的な符号化器であり、画像を１以上のブロックに分割し、当該ブロック毎に直交変換を施して直交変換係数を算出する。そして、量子化を施し、伝送路を介して画質改善装置２００へ、当該量子化した直交変換係数を含む符号データを送信すると共に、符号データに付加する情報も送信する。この付加情報は、重み係数ｋを決定するための情報である。例えば、重み係数を決定するための識別子（切替情報）である。
【００４６】
画質改善装置２００は、係数補完手段２０１及び重み係数決定手段２０３を備えている。画質改善装置２００が符号化器１００により伝送路を介して送信された符号データ及び付加情報を受信すると、係数補完手段２０１は当該符号データを入力し、重み係数決定手段２０３は付加情報を入力する。そして、重み係数決定手段２０３は、当該付加情報に基づいて重み係数ｋ群を決定する。例えば、付加情報として識別子を入力する場合には、当該識別子に対応した重み係数ｋ群をテーブルとして予め用意しておき、そのテーブルを用いて識別子に応じた重み係数ｋ群を決定する。この場合、識別子は、テーブルに格納された複数の重み係数ｋ群の中から、その識別子に応じた重み係数ｋ群を選択するために用いられる。したがって、識別子は、現在選択している重み係数ｋ群から、その識別子に応じた他の重み係数ｋ群に切り替えるための切替情報でもある。
【００４７】
係数補完手段２０１は、実施例２と同様の機能を有する。係数補完手段２０１は、符号化器１００により伝送路を介して送信された符号データを入力し、重み係数決定手段２０３により決定された重み係数ｋ群を入力する。そして、当該符号データに含まれる直交変換係数ｃ（ｍ，ｎ）に対し、当該重み係数ｋの（２）式または（３）式に示した関数ｆｍ，ｎによる補完演算を施し、補完後の直交変換係数ｃ’（ｍ，ｎ）を算出する。
【００４８】
復号化器３００は、図１に示したものと同等の機能を有する。すなわち、復号化器３００は、画質改善装置２００により補完された直交変換係数ｃ’（ｍ，ｎ）を入力し、当該補完後の直交変換係数を用いて復号化処理を施し、復号画像を得る。
【００４９】
以上のように、実施例３の画質改善装置２００によれば、係数補完手段２０１が、付加情報から決定された重み係数ｋの関数ｆｍ，ｎを用いて、直交変換係数ｃ（ｍ，ｎ）に対し補完演算を施すようにした。これにより、実施例１と同様な効果を奏する。また、重み係数決定手段２０３は、補完演算を施す関数ｆｍ，ｎの重み係数ｋを、符号化器１００により送信される符号データとは別の付加情報に基づいて決定する。これにより、符号化器１００側の意図に応じた補完演算が可能になるから、主観的な画質を一層向上させることができる。
【００５０】
以上、実施例を挙げて本発明を説明したが、本発明は上記実施例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、符号化器１００による直交変換は、原画像の輝度値及び色成分に対して直接変換するようにしてもよいし、前処理を施した結果の画像に対して施すようにしてもよい。例えば、動画像の場合には、前処理として動き補償を施し、当該動き補償の残差に対して直交変換を施すようにしてもよい。また、原画像に対して平滑化等のフィルタ処理を施し、当該処理後の値に対して直交変換を施すようにしてもよい。この場合、直交変換として、離散コサイン変換（ＤＣＴ）、離散アダマール変換（ＤＨＴ）、カルーネン・レーベ変換（ＫＬＴ）、ウェーブレット変換（ＷＴ）等を用いることができる。
【００５１】
また、符号化器１００において、直交変換係数ｃ（ｍ，ｎ）は、図２に示したように、水平方向及び垂直方向の２次元に分布しているが、１次元に分布して構成されるようにしてもよい。
【００５２】
また、実施例１〜３において、画質改善装置２００は、復号化器３００とは別の装置として独立し、符号化器１００と復号化器３００との間に挿入されているが、復号化器３００の一部として構成されるようにしてもよい。この場合、復号化器３００は、画質改善装置２００の機能を有し、符号化器１００から伝送路を介して送信された符号データを受信する。また、実施例３の場合は、復号化器３００は、符号データと共に付加情報も受信する。
【図面の簡単な説明】
【００５３】
【図１】本発明の実施の形態に係る画質改善装置の実施例１を示すブロック図である。
【図２】直交変換係数の補完の一例を説明する図である。
【図３】本発明の実施の形態に係る画質改善装置の実施例２を示すブロック図である。
【図４】本発明の実施の形態に係る画質改善装置の実施例３を示すブロック図である。
【図５】従来の画像処理システムの構成を示すブロック図である。
【符号の説明】
【００５４】
１００ 符号化器
２００ 画質改善装置
２０１ 係数補完手段
２０２ 特徴抽出手段
２０３ 重み係数決定手段
３００ 復号化器
【特許請求の範囲】
【請求項１】
直交変換及び量子化により符号化された画像の画質を改善する装置であって、
前記符号化された画像の符号データを入力し、該符号データに含まれる直交変換係数に対し、該直交変換係数を引数として予め規定された関数に基づいて、非零の直交変換係数の引数を用いて零の直交変換係数が非零になるように補完演算を施し、前記量子化により喪失した成分の直交変換係数を新たに生成する係数補完手段を備えたことを特徴とする画質改善装置。
【請求項２】
請求項１に記載の画質改善装置において、
前記関数の引数とする直交変換係数は、符号データに含まれる全ての直交変換係数のうちの一部とすることを特徴とする画質改善装置。
【請求項３】
請求項１または２に記載の画質改善装置において、
前記予め規定された関数は、直交変換係数に重み係数を乗算して演算を行うことを特徴とする画質改善装置。
【請求項４】
請求項３に記載の画質改善装置において、
前記予め規定された関数は、符号データに含まれる直交変換係数が非零の場合に、該直交変換係数をそのまま新たな直交変換係数とし、符号データに含まれる直交変換係数が零の場合に、直交変換係数に重み係数を乗算して演算を行うことを特徴とする画質改善装置。
【請求項５】
請求項３または４に記載の画質改善装置において、
さらに、前記符号データを入力し、該符号データに含まれる情報に基づいて画像特徴を抽出する特徴抽出手段と、
該特徴抽出手段により抽出された画像特徴に基づいて、前記係数補完手段で用いる重み係数を決定する重み係数決定手段とを備えたことを特徴とする画質改善装置。
【請求項６】
請求項３または４に記載の画質改善装置において、
さらに、前記符号データとは別の情報であって、該符号データに付加された識別子を入力し、該識別子に基づいて、前記係数補完手段で用いる重み係数を決定する重み係数決定手段を備えたことを特徴とする画質改善装置。
【請求項１】
直交変換及び量子化により符号化された画像の画質を改善する装置であって、
前記符号化された画像の符号データを入力し、該符号データに含まれる直交変換係数に対し、該直交変換係数を引数として予め規定された関数に基づいて、非零の直交変換係数の引数を用いて零の直交変換係数が非零になるように補完演算を施し、前記量子化により喪失した成分の直交変換係数を新たに生成する係数補完手段を備えたことを特徴とする画質改善装置。
【請求項２】
請求項１に記載の画質改善装置において、
前記関数の引数とする直交変換係数は、符号データに含まれる全ての直交変換係数のうちの一部とすることを特徴とする画質改善装置。
【請求項３】
請求項１または２に記載の画質改善装置において、
前記予め規定された関数は、直交変換係数に重み係数を乗算して演算を行うことを特徴とする画質改善装置。
【請求項４】
請求項３に記載の画質改善装置において、
前記予め規定された関数は、符号データに含まれる直交変換係数が非零の場合に、該直交変換係数をそのまま新たな直交変換係数とし、符号データに含まれる直交変換係数が零の場合に、直交変換係数に重み係数を乗算して演算を行うことを特徴とする画質改善装置。
【請求項５】
請求項３または４に記載の画質改善装置において、
さらに、前記符号データを入力し、該符号データに含まれる情報に基づいて画像特徴を抽出する特徴抽出手段と、
該特徴抽出手段により抽出された画像特徴に基づいて、前記係数補完手段で用いる重み係数を決定する重み係数決定手段とを備えたことを特徴とする画質改善装置。
【請求項６】
請求項３または４に記載の画質改善装置において、
さらに、前記符号データとは別の情報であって、該符号データに付加された識別子を入力し、該識別子に基づいて、前記係数補完手段で用いる重み係数を決定する重み係数決定手段を備えたことを特徴とする画質改善装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００７−１１０６１８（Ｐ２００７−１１０６１８Ａ）
【公開日】平成１９年４月２６日（２００７．４．２６）
【国際特許分類】
【出願番号】特願２００５−３０１７８１（Ｐ２００５−３０１７８１）
【出願日】平成１７年１０月１７日（２００５．１０．１７）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成１９年４月２６日（２００７．４．２６）
【国際特許分類】
【出願日】平成１７年１０月１７日（２００５．１０．１７）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]