画像復号装置

【課題】復号化と同時に輝度色差フォーマットを変換する。
【解決手段】
ハフマン復号手段１００は、入力される符号化データを８×８のブロック毎にハフマン復号し、逆量子化手段１０１がブロック毎に逆量子化処理を施す。逆量子化手段１０１の出力信号のうちの輝度信号に関しては、逆直交変換手段１０２が８×８画素から８×８画素に通常の逆直交変換処理を行い、フレームバッファ１０４に出力する。逆量子化手段１０１の出力信号のうちの色差信号に対しては、位相ずれ逆直交変換手段１０３が、８×８画素から８×１６画素に位相をずらした逆直交変換処理を行う。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像復号装置に関する。
【背景技術】
【０００２】
画像データのフォーマットの一つである輝度色差フォーマットには、４：２：０、４：２：２及び４：４：４等の輝度信号と色差信号の成分の割合と、一致型配置及び中心型配置等の輝度信号と色差信号の位置関係とによって様々なフォーマットが存在する。
【０００３】
また、数多くの画像符号化方式が考案・運用されており、画像データの表示又は画像合成の際には、輝度色差フォーマットで符号化された符号データを復号し、異なる輝度色差フォーマットに変換する状況が頻繁に起こる。
【０００４】
輝度色差フォーマット変換は、一般に線形補間により実現される。例えば、４：２：０の一致型配置の輝度指色差フォーマットを４：２：２の一致型配置の輝度色差フォーマットに変換する場合、図１５に示すように、上下画素の平均値を補間値として算出する。
【０００５】
また、４：２：０の一致型配置の輝度色差フォーマットを４：２：０の中心型配置の輝度色差フォーマットに変換する場合、図１６に示すように、隣接する４画素への距離に比例した係数を用いて補間値を算出する。
【０００６】
以下、輝度色差フォーマット変換を伴う従来の復号処理方法の一例を説明する。図１２は、輝度色差フォーマット変換を伴う従来の画像復号装置の概略構成ブロック図を示す。画像復号手段５００は、入力される符号化データを復号し、復号された１フレーム分の画像データをフレームバッファ５０１に出力する。その後、線形補間手段５０２が、フレームバッファ５０１の画像データを入力として色差信号に対して線形補間することで所望の輝度色差フォーマットに変換し、フレームバッファ５０３に１フレーム分の画像データを出力する。
【０００７】
以上のような構成では、１フレーム分の遅延が発生するだけでなく、メモリアクセス回数や演算量が多くなる。ハードウエアで実現する場合は回路規模が大きくなり、ソフトウエアで実現する場合は処理負荷が大きいという問題があった。
【０００８】
これに対して、以下に説明するような構成が提案された（特許文献１参照）。
【０００９】
図１３は、輝度色差フォーマット変換を伴うＪＰＥＧ復号装置の概略構成ブロック図を示す。ハフマン復号手段６００は、入力符号化データを８×８のブロック毎にハフマン復号し、逆量子化手段６０１はブロック毎に逆量子化処理を施し、逆直交変換６０２はブロック毎に逆直交変換処理を施す。その後、線形補間手段６０３が、入力された色差信号ブロックに対して新たに必要な隣接画素のみをフレームバッファ６０４から参照し、線形補間する。これにより、復号された画像データは、所望の輝度色差フォーマットに変換される。線形補間手段６０３は必要な画素にデータを補間した画像データをフレームバッファ６０４に出力する。この一連の処理を１フレーム分行って、画像データを出力する。
【００１０】
図１４は、輝度色差フォーマット変換を伴うＭＰＥＧ復号装置の概略構成ブロック図を示す。ハフマン復号手段７００は、入力符号化データを８×８のブロック毎にハフマン復号し、逆量子化手段７０１がブロック毎に逆量子化処理を施し、逆直交変換装置７０２がブロック毎に逆直交変換処理を施す。その後、線形補間手段７０３が、入力された色差信号ブロックに対して新たに必要な隣接画素のみをフレームバッファ７０５から参照し、線形補間する。動き補償処理装置７０４は、輝度色差フォーマット変換された画像データのノンイントラブロックに対してフレームバッファ７０５からの参照データを用いて動き補償処理を施し、フレームバッファ７０５に出力する。この一連の処理を１フレーム分行って、画像データを出力する。これにより、復号された画像データは、所望の輝度色差フォーマットで出力される。
【特許文献１】特開２００１−３２０７０８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
最初の従来例では、前述したように、１フレーム分の遅延が発生するだけでなく、メモリアクセス回数や演算量が多く、ハードウエアで実現する場合は回路規模が大きくなり、ソフトウエアで実現する場合は処理負荷が大きい問題がある。
【００１２】
第２及び第３の従来例では、ブロック単位で処理することにより、メモリアクセス回数が減り、特にキャッシュを用いてソフトウエアで実現する場合に効果が上がり、処理負荷を低減できる。
【００１３】
しかし、線形補間に必要な隣接画素についてはメモリアクセスを伴うので、メモリアクセス回数を十分に低減できなかったり、又は、専用のバッファを必要とし、メモリ量が増大するという問題がある。
【００１４】
また、復号処理と線形補間処理の演算量自体は第１の従来例と同等であるので、処理負荷の低減が十分でない。
【００１５】
本発明は、このような不都合を解消した画像復号装置を提示することを目的とする。
【課題を解決するための手段】
【００１６】
本発明に係る画像復号装置は、直交変換を有する画像圧縮方式で圧縮された第１の輝度色差フォーマットの画像データを復号し、当該第１の輝度色差フォーマットとは異なる第２の輝度色差フォーマットで出力する画像復号装置であって、当該第１の輝度色差フォーマットの直交変換された輝度データを逆直交変換し、当該第２の輝度色差フォーマットの輝度データを出力する輝度データ用逆直交変換手段と、当該第１の輝度色差フォーマットの直交変換された色差データを逆直交変換し、当該第２の輝度色差フォーマットの色差データを出力する色差データ用逆直交変換手段とを具備することを特徴とする。
【発明の効果】
【００１７】
本発明によれば、復号処理内に存在する逆直交変換処理において大きさと位置を加味した逆直交変換処理を行うことで、線形補間することなく、演算量を大幅に低減できる。また、ブロック毎に処理し、かつ隣接画素も参照しないため、メモリアクセス回数を大幅に低減する。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【００１９】
静止画圧縮手法として多用されるＪＰＥＧ符号化データを復号する場合に、４：２：０の一致型配置の輝度色差フォーマットを４：２：２の一致型配置の輝度色差フォーマットに変換する実施例を説明する。図１は、本発明のその実施例の概略構成ブロック図を示す。
【００２０】
ハフマン復号手段１００は、入力される符号化データを８×８のブロック毎にハフマン復号し、逆量子化手段１０１がブロック毎に逆量子化処理を施す。逆量子化手段１０１の出力信号のうちの輝度信号に関しては、逆直交変換手段１０２が８×８画素から８×８画素に通常の逆直交変換処理を行い、フレームバッファ１０４に出力する。逆量子化手段１０１の出力信号のうちの色差信号に対しては、位相ずれ逆直交変換手段１０３が、８×８画素から８×１６画素に位相をずらした逆直交変換処理を行うことで、所望の輝度色差フォーマットになるような逆直交変換処理を施し、フレームバッファ１０４に出力する。この一連の処理が１フレーム分行われると、輝度色差フォーマットを変換された１フレームの画像データを得ることが出来る。
【００２１】
図２乃至図６を参照して、逆直交変換と輝度色差フォーマット変換を同時に行う様子を説明する。
【００２２】
逆直交変換時の画像の拡大方法として、一般に、高周波領域へのゼロ挿入という方法がある。これは、周波数領域の係数の高周波成分にゼロを挿入し、本来のタップ数とは異なるタップ数で逆直交変換を行うことにより、拡大画像を得る方法である。例えば、垂直方向に２倍に拡大する場合、図２に示す式で表現される通常の逆直交変換に対し、図３に示す式で表現される処理を用いる。本実施例の場合、これを４：２：０の一致型配置の色差信号に適用すると、輝度信号と色差信号の位置関係は図５に示すようになり、４：２：２の一致型配置の輝度色差フォーマットにはならない。
【００２３】
そこでさらに、逆直交変換のインデックスを変更して、画像の位置を所望の位置に変更する方法を用いる。これは、インデックスを変更することで逆直交変換における位相をずらし、逆直交変換後の画像の位置を変更する方法である。本実施例では、図３に示す式のインデクックスを図４に示す式に変更することで、図６に示すように、４：２：０の一致型配置から４：２：２の一致型配置の色差信号用の逆直交変換を実現する。
【００２４】
以上のように、色差信号に対し通常の逆直交変換のインデックスを変形させ、タップ数と位相の異なる逆直交変換を適用することにより、所望の輝度色差フォーマットを得ることができる。
【００２５】
このように、本実施例では、輝度信号に対する逆直交変換手段１０２の８×８画素から８×８画素への通常の逆直交変換では、図２に示す式で表現される処理を行い、色差信号を対象とした位相ずれ逆直交変換手段１０３では、図４に示す式で表現される処理を行うことで、４：２：２の一致型配置の輝度色差フォーマットを得ることができる。
【００２６】
また、本実施例では、逆直交変換時の画像の拡大方法として、高周波領域にゼロを挿入する方法を用いたが、高周波領域に有意係数を付加して逆直交変換する方法を用いてもよい。
【実施例２】
【００２７】
次に、動画圧縮手法として多用されるＭＰＥＧ符号化データを復号し、４：２：０の一致型配置の輝度指色差フォーマットを４：４：４の一致型配置の輝度指色差フォーマットに変換する実施例を説明する。図７は、第２実施例である画像復号装置の概略構成ブロック図を示す。
【００２８】
ハフマン復号手段３００は、入力符号化データを８×８画素のブロック毎にハフマン復号し、逆量子化手段３０１は、ブロック毎に逆量子化処理を施す。逆量子化手段３０１の出力信号のうちの輝度信号に関して、逆直交変換手段３０２が、８×８画素から８×８画素への通常の逆直交変換処理を施す。逆量子化手段３０１の出力信号のうちの色差信号に関して、位相ずれ逆直交変換手段３０３が、８×８画素から１６×１６画素への位相をずらした逆直交変換処理を行う。このような処理により、所望の輝度色差フォーマットに変換できる。動き補償処理手段３０４が、ノンイントラブロックに対してフレームバッファ３０５からの参照データを用いて動き補償処理を施し、フレームバッファ３０５に出力する。この一連の処理が１フレーム分行われると、輝度色差フォーマットを変換された１フレームの画像データを得ることが出来る。
【００２９】
図８乃至図１１を参照して、逆直交変換と輝度色差フォーマット変換を同時に行う様子を説明する。
【００３０】
逆直交変換時の画像の拡大方法として、先に説明したように、高周波領域へのゼロ挿入という方法がある。これは、周波数領域の係数の高周波成分にゼロを挿入し、本来のタップ数とは異なるタップ数で逆直交変換を行うことにより、拡大画像を得る方法である。水平・垂直方向に２倍に拡大する場合、図２に示す式で表現される通常の逆直交変換に対し、図８に示す式で表現される処理を用いることになる。本実施例の場合、これを４：２：０の一致型配置の色差信号に適用すると、輝度信号と色差信号の位置関係は、図１０に示すようになり、４：４：４の一致型配置の輝度色差フォーマットにはならない。
【００３１】
そこでさらに、逆直交変換のインデックスを変更することにより画像の位置を所望の位置に変更する方法を用いる。これは、インデクスを変更することで、逆直交変換における位相をずらし、逆直交変換後の画像の位置を変更する方法である。本実施例では、図８に示す式のインデクッスを図９に示す式に変更することで、図１１に示すように４：２：０の一致型配置から４：４：４の一致型配置への色差信号用の逆直交変換となる。
【００３２】
以上のように、色差信号に対し通常の逆直交変換のインデックスを変形させ、タップ数と位相の異なる逆直交変換を適用することにより、所望の輝度色差フォーマットを得ることができる。
【００３３】
本実施例では、輝度信号を対象とした逆直交変換手段３０２のような通常の逆直交変換では、図２に示す式で表現される処理を行い、色差信号を対象とした位相ずれ逆直交変換手段１０３では、図９に示す式で表現される処理を行うことで、４：４：４の一致型配置の輝度色差フォーマットを得ることができる。
【００３４】
また、本実施例では、逆直交変換時の画像の拡大方法として、高周波領域にゼロを挿入する方法を説明したが、高周波領域に有意係数を付加して逆直交変換する方法を用いてもよい。
【図面の簡単な説明】
【００３５】
【図１】本発明の第１実施例の概略構成ブロック図である。
【図２】通常の逆直交変換式である。
【図３】垂直方向に２倍する場合の、色差信号に適用する逆直交変換式である。
【図４】第１実施例で色差信号に適用する逆直交変換式である。
【図５】第１実施例の動作説明図である。
【図６】第１実施例の別の動作説明図である。
【図７】本発明の第２実施例の概略構成ブロック図である。
【図８】垂直方向に２倍する場合の、色差信号に適用する逆直交変換式である。
【図９】第２実施例で色差信号に適用する逆直交変換式である。
【図１０】第２の実施例の動作説明図である。
【図１１】第２実施例の別の動作説明図である。
【図１２】第１の従来例の概略構成ブロック図である。
【図１３】第２の従来例の概略構成ブロック図である。
【図１４】第３の従来例の概略構成ブロック図である。
【図１５】従来例の動作説明図１である。
【図１６】従来例の動作説明図２である。
【符号の説明】
【００３６】
１００，３００，６００，７００：ハフマン復号手段
５００：復号手段
１０１，３０１，６０１，７０１：逆量子化手段
１０２，３０２，６０２，７０２：逆直交変換手段
１０３，３０３：位相ずれ逆直交変換手段
５０２, ６０３，７０３：線形補間手段
１０４，３０５，５０１, ５０３, ６０４，７０５：フレームバッファ
３０４，７０４：動き補償手段

【特許請求の範囲】
【請求項１】
直交変換を有する画像圧縮方式で圧縮された第１の輝度色差フォーマットの画像データを復号し、当該第１の輝度色差フォーマットとは異なる第２の輝度色差フォーマットで出力する画像復号装置であって、
当該第１の輝度色差フォーマットの直交変換された輝度データを逆直交変換し、当該第２の輝度色差フォーマットの輝度データを出力する輝度データ用逆直交変換手段と、
当該第１の輝度色差フォーマットの直交変換された色差データを逆直交変換し、当該第２の輝度色差フォーマットの色差データを出力する色差データ用逆直交変換手段
とを具備することを特徴とする画像復号装置。
【請求項２】
前記色差データ用逆直交変換手段が、ゼロ挿入による逆直交変換を利用することを特徴とする請求項１に記載の輝度色差フォーマット変換を伴う画像復号装置。
【請求項３】
前記色差データ用逆直交変換手段が、画素位置を変更する逆直交変換を利用することを特徴とする請求項１又は２に記載の輝度色差フォーマット変換を伴う画像復号装置。
【請求項４】
更に、ハフマン復号化手段と、当該ハフマン復号化手段の出力を逆量子化する逆量子化手段とを具備し、
当該逆量子化手段の出力の内の輝度成分が当該輝度データ用逆直交変換手段に印加され、当該逆量子化手段の出力の内の色差成分が当該色差データ用逆直交変換手段に印加されることを特徴とする請求項１乃至３の何れか１項に記載の画像復号装置。

【図１】