符号化装置、符号化方法及び符号化プログラム記憶媒体
【課題】 表示対象画面(フレーム)毎の画質の変動を抑制するとともに、記憶容量の有効利用を図る。
【解決手段】 量子化ビット数制御手段は、1サンプル当たりのビット数であるビットレートの平均値である平均ビットレートRTのときの重み付き平均二乗歪みD*Tとし、重み付き平均二乗歪みD*Tが一定、かつ、平均ビットレートRTが最小となるように帯域分割データ毎に量子化ビット数を定め、量子化ビット数制御データを量子化手段に出力し、量子化手段は、量子化ビット数制御データに対応する量子化ビット数で帯域分割データを量子化し、符号化手段は、量子化データを符号化して符号化データとして出力するので、入力データが動画データである場合、複雑な画面に対しては、多くの符号量を割り当て、単純な画面に対しては少ない符号量を割り当てても、一定の画質(SN比)を確保することが可能となる。
【解決手段】 量子化ビット数制御手段は、1サンプル当たりのビット数であるビットレートの平均値である平均ビットレートRTのときの重み付き平均二乗歪みD*Tとし、重み付き平均二乗歪みD*Tが一定、かつ、平均ビットレートRTが最小となるように帯域分割データ毎に量子化ビット数を定め、量子化ビット数制御データを量子化手段に出力し、量子化手段は、量子化ビット数制御データに対応する量子化ビット数で帯域分割データを量子化し、符号化手段は、量子化データを符号化して符号化データとして出力するので、入力データが動画データである場合、複雑な画面に対しては、多くの符号量を割り当て、単純な画面に対しては少ない符号量を割り当てても、一定の画質(SN比)を確保することが可能となる。
【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は符号化装置、符号化方法及び符号化プログラム記憶媒体に係り、特に画像データを圧縮する符号化装置、符号化方法及び符号化プログラム記憶媒体に関する。
【0002】
【従来の技術】従来より動画像に対応する画像信号を記録するための記憶媒体として、磁気テープや光ディスクなどを用いる場合には、磁気テープ記録(あるいは記録再生)装置あるいは光ディスク記録(あるいは記録再生)装置が駆動機構を備えているため、そのアクセス時間の制限や転送レートの制限などの観点から固定レートの符号化が行われていた。
【0003】
【発明が解決しようとする課題】上記従来の固定レートによる符号化では、複雑な画面に対してはS/Nが低くなり、画質の劣化が大きくなり、単純な画面に対してはS/Nが高く画質の劣化が小さく、表示対象画面(フレーム)毎の画質が変動し画像により画質に差が生じてしまうという問題点があった。
【0004】また、単純な画面に対しても固定の符号量で処理を行うため、半導体メモリなどの駆動機構を有しない高速な記憶媒体を用いようとする場合には、記憶容量の有効利用が図れないという問題点があった。そこで本発明の目的は、表示対象画面(フレーム)毎の画質の変動を抑制するとともに、記憶容量の有効利用を図ることが可能な符号化装置、符号化方法及び符号化プログラム記憶媒体を提供することにある。
【0005】
【課題を解決するための手段】上記課題を解決するため、請求項1記載の発明は、入力データを複数の帯域に分割して帯域分割データとして出力する帯域分割手段と、1サンプル当たりのビット数であるビットレートの平均値である平均ビットレートRTのときの重み付き平均二乗歪みをD*Tとし、前記重み付き平均二乗歪みD*Tが一定、かつ、前記平均ビットレートRTが最小となるように前記帯域分割データ毎に量子化ビット数を定め、量子化ビット数制御データを出力する量子化ビット数制御手段と、前記量子化ビット数制御データに対応する量子化ビット数で前記帯域分割データを量子化して量子化データとして出力する量子化手段と、前記量子化データを符号化して符号化データとして出力する符号化手段と、を備えて構成する。
【0006】請求項1記載の発明によれば、帯域分割手段は、入力データを複数の帯域に分割して帯域分割データとして量子化ビット数制御手段及び量子化手段に出力する。量子化ビット数制御手段は、1サンプル当たりのビット数であるビットレートの平均値である平均ビットレートRTのときの重み付き平均二乗歪みをD*Tとし、重み付き平均二乗歪みD*Tが一定、かつ、平均ビットレートRTが最小となるように帯域分割データ毎に量子化ビット数を定め、量子化ビット数制御データを量子化手段に出力する。
【0007】量子化手段は、量子化ビット数制御データに対応する量子化ビット数で帯域分割データを量子化して量子化データとして符号化手段に出力する。符号化手段は、量子化データを符号化して符号化データとして出力する。請求項2記載の発明は、請求項1記載の発明において、前記量子化ビット数制御手段は、各前記帯域の量子化ビット数をRとし(R;0以上、かつ、最大量子0化ビット数Rmax以下の整数)、前記量子化ビット数R及び予め算出した前記量子化ビット数Rに対応する(1)式で表される判別値Fの値を記憶する判別値記憶手段と、
【0008】
【数10】
各前記帯域の分散をσ2とし、各前記帯域の重みをBとし、分散σ2と重みBの積Gを(2)式により算出する積算出手段と、 G=σ2・B (2)
前記判別値F及び積Gに基づいて前記積Gに最も近い値を有する前記判別値Fに対応する前記量子化ビット数Rに相当する前記量子化ビット数制御データを出力する量子化ビット数判別手段と、を備えて構成する。
【0009】請求項2記載の発明によれば、請求項1記載の発明の作用に加えて、量子化ビット数制御手段の判別値記憶手段は、(1)式で表される判別値Fの値を記憶する。積算出手段は、分散σ2と重みBの積Gを(2)式により算出する。
【0010】量子化ビット数判別手段は、判別値F及び積Gに基づいて積Gに最も近い値を有する判別値Fに対応する量子化ビット数Rに相当する量子化ビット数制御データを量子化手段に出力する。請求項3記載の発明は、請求項1記載の発明において、前記量子化ビット数制御手段は、各前記帯域の量子化ビット数をRとし(R;0以上、かつ、最大量子化ビット数Rmax以下の整数)、量子化ビット数R=X(X=0以上、かつ、最大量子化ビット数Rmax−1以下の整数)に対応する(1)式で表される判別値FX及び量子化ビット数R=X+1に対応する(2)式で表される判別値F(X+1)の相乗平均値Hを前記量子化ビット数に対応づけて記憶する相乗平均値記憶手段と、
【0011】
【数11】
【0012】
【数12】
各前記帯域の分散をσ2とし、各前記帯域の重みをBとし、分散σ2と重みBの積Gを(3)式により算出する積算出手段と、 G=σ2・B (3)
前記積Gと前記相乗平均値Hの大小関係に基づいて前記量子化ビット数制御データを出力する量子化ビット数判別手段と、を備えて構成する。
【0013】請求項3記載の発明によれば、請求項1記載の発明の作用に加えて、量子化ビット数制御手段の相乗平均値記憶手段は、量子化ビット数R=Xに対応する(1)式で表される判別値FX及び量子化ビット数R=X+1に対応する(2)式で表される判別値F(X+1)の相乗平均値Hを量子化ビット数に対応づけて記憶する。
【0014】積算出手段は、分散σ2と重みBの積Gを(3)式により算出する。これらにより量子化ビット数判別手段は、積Gと相乗平均値Hの大小関係に基づいて量子化ビット数制御データを量子化手段に出力する。請求項4記載の発明は、請求項1乃至請求項3のいずれかに記載の発明において、前記量子化ビット数制御手段は、各前記帯域の標準偏差σを標準偏差データとして出力する標準偏差出力手段を備え、前記量子化手段は、前記量子化を行うに際し、前記標準偏差データに基づいて各前記帯域の分散σ2が1となるように正規化を行う正規化手段を備えて構成する。
【0015】請求項4記載の発明によれば、請求項1乃至請求項3のいずれかに記載の発明の作用に加えて、量子化ビット数制御手段の標準偏差出力手段は、各帯域の標準偏差σを標準偏差データとして正規化手段に出力する。量子化手段の正規化手段は、量子化を行うに際し、標準偏差データに基づいて各帯域の分散σ2が1となるように正規化を行う。
【0016】請求項5記載の発明は、請求項1乃至請求項3のいずれかに記載の発明において、前記量子化ビット数制御手段は、各前記帯域の標準偏差σを標準偏差データとして出力する標準偏差出力手段を備え、前記量子化手段は、前記標準偏差データに基づいて前記量子化を行う際の量子化ステップ幅を標準偏差σでスケーリングする量子化ステップ幅制御手段を備えて構成する。
【0017】請求項5記載の発明によれば、請求項1乃至請求項3のいずれかに記載の発明の作用に加えて、量子化ビット数制御手段の標準偏差出力手段は、各帯域の標準偏差σを標準偏差データとして量子化ステップ幅制御手段に出力する。量子化手段の量子化ステップ幅制御手段は、標準偏差データに基づいて量子化を行う際の量子化ステップ幅を標準偏差σでスケーリングする。
【0018】請求項6記載の発明は、請求項1乃至請求項5のいずれかに記載の発明において、前記帯域分割手段は、2次元Y階層ウェーブレット変換処理(Y:2以上の整数)を行い、最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分割するように構成する。
【0019】請求項6記載の発明によれば、請求項1乃至請求項5のいずれかに記載の発明の作用に加えて、帯域分割手段は、2次元Y階層ウェーブレット変換処理を行って、最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分割する。
【0020】請求項7記載の発明は、請求項1乃至請求項5のいずれかに記載の発明において、前記帯域分割手段は、(2Y×2Y)画素を一のブロックとし(Y:2以上の整数)、(2Y×2Y)個の離散コサイン変換係数を生成する離散コサイン変換処理を行い、前記(2Y×2Y)個の離散コサイン変換係数を最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分配するように構成する。
【0021】請求項7記載の発明によれば、請求項1乃至請求項5のいずれかに記載の発明の作用に加えて、帯域分割手段は、(2Y×2Y)画素を一のブロックとし(Y:2以上の整数)て離散コサイン変換処理を行い、(2Y×2Y)個の離散コサイン変換係数を最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分配する。
【0022】請求項8記載の発明は、入力データを複数の帯域に分割する帯域分割工程と、1サンプル当たりのビット数であるビットレートの平均値である平均ビットレートRTのときの重み付き平均二乗歪みをD*Tとし、前記重み付き平均二乗歪みD*Tが一定、かつ、前記平均ビットレートRTが最小となるように前記分割した帯域毎に量子化ビット数を定める量子化ビット数制御工程と、前記定められた量子化ビット数で前記帯域分割された前記入力データを量子化する量子化工程と、前記量子化された入力データを符号化する符号化工程と、を備えて構成する。
【0023】請求項8記載の発明によれば、帯域分割工程は、入力データを複数の帯域に分割する。量子化ビット数制御工程は、1サンプル当たりのビット数であるビットレートの平均値である平均ビットレートRTのときの重み付き平均二乗歪みD*Tが一定、かつ、平均ビットレートRTが最小となるように分割した帯域毎に量子化ビット数を定める。
【0024】量子化工程は、定められた量子化ビット数で帯域分割された入力データを量子化する。符号化工程は、量子化された入力データを符号化する。請求項9記載の発明は、請求項8記載の発明において、前記量子化ビット数制御工程は、各前記帯域の量子化ビット数をRとし(R;0以上、かつ、最大量子化ビット数Rmax以下の整数)、前記量子化ビット数R及び予め算出した前記量子化ビット数Rに対応する(1)式で表される判別値Fの値を記憶する判別値記憶工程と、
【0025】
【数13】
各前記帯域の分散をσ2とし、各前記帯域の重みをBとし、分散σ2と重みBの積Gを(2)式により算出する積算出工程と、 G=σ2・B (2)
前記判別値F及び積Gに基づいて前記積Gに最も近い値を有する前記判別値Fに対応する前記量子化ビット数Rを当該分割した帯域について定めるべき量子化ビット数とする量子化ビット数判別工程と、を備えて構成する。
【0026】請求項9記載の発明によれば、請求項8記載の発明の作用に加えて、量子化ビット数制御工程の判別値記憶工程は、量子化ビット数R及び予め算出した量子化ビット数Rに対応する(1)式で表される判別値Fの値を記憶する。積算出工程は、分散σ2と重みBの積Gを(2)式により算出する。
【0027】量子化ビット数判別工程は、判別値F及び積Gに基づいて積Gに最も近い値を有する判別値Fに対応する量子化ビット数Rを当該分割した帯域について定めるべき量子化ビット数とする。請求項10記載の発明は、請求項8記載の発明において、前記量子化ビット数制御工程は、各前記帯域の量子化ビット数をRとし(R;0以上、かつ、最大量子化ビット数Rmax以下の整数)、量子化ビット数R=X(X=0以上、かつ、最大量子化ビット数Rmax−1以下の整数)に対応する(1)式で表される判別値FX及び量子化ビット数R=X+1に対応する(2)式で表される判別値F(X+1)の相乗平均値Hを前記量子化ビット数に対応づけて記憶する相乗平均値記憶工程と、
【0028】
【数14】
【0029】
【数15】
各前記帯域の分散をσ2とし、各前記帯域の重みをBとし、分散σ2と重みBの積Gを(3)式により算出する積算出工程と、 G=σ2・B (3)
前記積Gと前記相乗平均値Hの大小関係に基づいて当該分割した帯域について量子化ビット数を定める量子化ビット数判別工程と、を備えて構成する。
【0030】請求項10記載の発明によれば、請求項8記載の発明の作用に加えて、量子化ビット数制御工程の相乗平均値記憶工程は、量子化ビット数R=Xに対応する(1)式で表される判別値FX及び量子化ビット数R=X+1に対応する(2)式で表される判別値F(X+1)の相乗平均値Hを量子化ビット数に対応づけて記憶する。
【0031】積算出工程は、分散σ2と重みBの積Gを(3)式により算出する。量子化ビット数判別工程は、積Gと相乗平均値Hの大小関係に基づいて当該分割した帯域について量子化ビット数を定める。請求項11記載の発明は、請求項8乃至請求項10のいずれかに記載の発明において、前記量子化ビット数制御工程は、各前記帯域の標準偏差σを算出する標準偏差算出工程を備え、前記量子化工程は、前記量子化を行うに際し、前記標準偏差に基づいて各前記帯域の分散σ2が1となるように正規化を行う正規化工程を備えて構成する。
【0032】請求項11記載の発明によれば、請求項8乃至請求項10のいずれかに記載の発明の作用に加えて、量子化ビット数制御工程の標準偏差算出工程は、各帯域の標準偏差σを算出する。量子化工程の正規化工程は、量子化を行うに際し、標準偏差に基づいて各帯域の分散σ2が1となるように正規化を行う。
【0033】請求項12記載の発明は、請求項8乃至請求項10のいずれかに記載の発明において、前記量子化ビット数制御工程は、各前記帯域の標準偏差σを算出する標準偏差算出工程を備え、前記量子化工程は、前記標準偏差に基づいて前記量子化を行う際の量子化ステップ幅を制御して標準偏差σでスケーリングする量子化ステップ幅制御工程を備えて構成する。
【0034】請求項12記載の発明によれば、請求項8乃至請求項10のいずれかに記載の発明の作用に加えて、量子化ビット数制御工程の標準偏差算出工程は、各帯域の標準偏差σを算出する。量子化工程の量子化ステップ幅制御工程は、標準偏差に基づいて量子化を行う際の量子化ステップ幅を標準偏差σでスケーリングする。
【0035】請求項13記載の発明は、請求項8乃至請求項12のいずれかに記載の発明において、前記帯域分割工程は、2次元Y階層ウェーブレット変換処理(Y:2以上の整数)を行い、最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分割するように構成する。
【0036】請求項13記載の発明によれば、請求項8乃至請求項12のいずれかに記載の発明の作用に加えて、帯域分割工程は、2次元Y階層ウェーブレット変換処理を行って、最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分割する。
【0037】請求項14記載の発明は、請求項8乃至請求項12のいずれかに記載の発明において、前記帯域分割工程は、(2Y×2Y)画素を一のブロックとし(Y:2以上の整数)て、(2Y×2Y)個の離散コサイン変換係数を生成する離散コサイン変換処理を行って、前記(2Y×2Y)個の離散コサイン変換係数を最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分配するように構成する。
【0038】請求項14記載の発明によれば、請求項8乃至請求項12のいずれかに記載の発明の作用に加えて、帯域分割工程は、離散コサイン変換処理を行って、(2Y×2Y)個の離散コサイン変換係数を最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分配する。
【0039】請求項15記載の発明は、符号化装置に入力データの符号化を行わせるための符号化プログラムを記憶した符号化プログラム記憶媒体であって、入力データを複数の帯域に分割し、1サンプル当たりのビット数であるビットレートの平均値である平均ビットレートRTのときの重み付き平均二乗歪みをD*Tとし、前記重み付き平均二乗歪みD*Tが一定、かつ、前記平均ビットレートRTが最小となるように前記分割した帯域毎に量子化ビット数を定め、前記定められた量子化ビット数で前記帯域分割された前記入力データを量子化し、前記量子化された入力データを符号化する、符号化プログラムを記憶して構成する。
【0040】請求項15記載の発明によれば、符号化装置は、符号化プログラムにより、入力データを複数の帯域に分割し、重み付き平均二乗歪みD*Tが一定、かつ、平均ビットレートRTが最小となるように分割した帯域毎に量子化ビット数を定め、定められた量子化ビット数で帯域分割された入力データを量子化し、量子化された入力データを符号化する。
【0041】請求項16記載の発明は、請求項15記載の発明において、各前記帯域の量子化ビット数をRとし(R;0以上、かつ、最大量子化ビット数Rmax以下の整数)、前記量子化ビット数R及び予め算出した前記量子化ビット数Rに対応する(1)式で表される判別値Fの値を記憶し、
【0042】
【数16】
各前記帯域の分散をσ2とし、各前記帯域の重みをBとし、分散σ2と重みBの積Gを(2)式により算出し、 G=σ2・B (2)
前記判別値F及び積Gに基づいて前記積Gに最も近い値を有する前記判別値Fに対応する前記量子化ビット数Rを当該分割した帯域について定めるべき量子化ビット数とする符号化プログラムを記憶して構成する。
【0043】請求項16記載の発明によれば、請求項15記載の発明の作用に加えて、量子化ビット数R及び予め算出した量子化ビット数Rに対応する(1)式で表される判別値Fの値を記憶し、分散σ2と重みBの積Gを(2)式により算出し、判別値F及び積Gに基づいて積Gに最も近い値を有する判別値Fに対応する量子化ビット数Rを当該分割した帯域について定めるべき量子化ビット数とする。
【0044】請求項17記載の発明は、請求項15記載の発明において、各前記帯域の量子化ビット数をRとし(R;0以上、かつ、最大量子化ビット数Rmax以下の整数)、量子化ビット数R=X(X=0以上、かつ、最大量子化ビット数Rmax−1以下の整数)に対応する(1)式で表される判別値FX及び量子化ビット数R=X+1に対応する(2)式で表される判別値F(X+1)の相乗平均値Hを前記量子化ビット数に対応づけて記憶し、
【0045】
【数17】
【0046】
【数18】
各前記帯域の分散をσ2とし、各前記帯域の重みをBとし、分散σ2と重みBの積Gを(3)式により算出し、 G=σ2・B (3)
前記積Gと前記相乗平均値Hの大小関係に基づいて当該分割した帯域について量子化ビット数を定める、符号化プログラムを記憶して構成する。
【0047】請求項17記載の発明によれば、請求項15記載の発明の作用に加えて、量子化ビット数R=Xに対応する(1)式で表される判別値FX及び量子化ビット数R=X+1に対応する(2)式で表される判別値F(X+1)の相乗平均値Hを量子化ビット数に対応づけて記憶し、分散σ2と重みBの積Gを(3)式により算出し、積Gと相乗平均値Hの大小関係に基づいて当該分割した帯域について量子化ビット数を定める。
【0048】請求項18記載の発明は、請求項15乃至請求項17のいずれかに記載の発明において、各前記帯域の標準偏差σを算出し、前記量子化を行うに際し、前記標準偏差に基づいて各前記帯域の分散σ2が1となるように正規化を行う、符号化プログラムを記憶して構成する。
【0049】請求項18記載の発明によれば、請求項15乃至請求項17のいずれかに記載の発明の作用に加えて、符号化プログラムは各帯域の標準偏差σを算出し、量子化を行うに際し、標準偏差に基づいて各帯域の分散σ2が1となるように正規化を行う。
【0050】請求項19記載の発明は、請求項15乃至請求項17のいずれかに記載の発明において、各前記帯域の標準偏差σを算出し、前記標準偏差に基づいて前記量子化を行う際の量子化ステップ幅を標準偏差σでスケーリングする符号化プログラムを記憶して構成する。
【0051】請求項19記載の発明によれば、請求項15乃至請求項17のいずれかに記載の発明の作用に加えて、符号化プログラムは、各帯域の標準偏差σを算出し、標準偏差に基づいて量子化を行う際の量子化ステップ幅を標準偏差σでスケーリングする。
【0052】請求項20記載の発明は、請求項15乃至請求項19のいずれかに記載の発明において、前記帯域分割は、2次元Y階層ウェーブレット変換処理であり(Y:2以上の整数)、最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分割する、符号化プログラムを記憶して構成する。
【0053】請求項20記載の発明によれば、請求項15乃至請求項19のいずれかに記載の発明の作用に加えて、符号化プログラムは、2次元Y階層ウェーブレット変換処理を行って、最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分割する。
【0054】請求項21記載の発明は、請求項15乃至請求項19のいずれかに記載の発明において、前記帯域分割は、(2Y×2Y)画素を一のブロックとし(Y:2以上の整数)、(2Y×2Y)個の離散コサイン変換係数を生成する離散コサイン変換処理であり、前記(2Y×2Y)個の離散コサイン変換係数を最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分配する、符号化プログラムを記憶して構成する。
【0055】請求項21記載の発明によれば、請求項15乃至請求項19のいずれかに記載の発明の作用に加えて、符号化プログラムは、(2Y×2Y)個の離散コサイン変換係数を最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分配する。
【0056】
【発明の実施の形態】次に図面を参照して本発明の好適な実施形態について説明する。図1にサブバンド符号化の方法としてウェーブレット変換を用いた映像記録再生装置の概要構成ブロック図を示す。
【0057】映像記録再生装置1は、大別すると、1フレーム分の入力データDGをウェーブレット変換し、量子化し、符号化し、フレーム単位で所定のデータフォーマットに変換(フォーマッティング)して符号化フレームデータDFLとして出力するエンコーダ2と、符号化フレームデータを記憶する記憶媒体としてのメモリ3と、メモリから読み出した符号化フレームデータDFLを逆フォーマッティングし、復号化し、逆量子化し、逆ウェーブレット変換を行って再生データDPGとして出力するデコーダ4と、を備えて構成されている。エンコーダ2は、1フレーム分の入力データDGを2次元ウェーブレット変換し、複数のサブバンドデータDSBを生成して出力するウェーブレット変換部5と、順次入力されたサブバンドデータDSBに基づいて、当該サブバンドデータDSBの量子化ビット数を算出し、ビット割当情報データDBTとして出力するとともに、後述の標準偏差σm,dを出力する適応ビット割当部6と、順次入力されたサブバンドデータDSBを対応するビット割当情報データDBTに基づいて量子化し、量子化データDQSBとして出力する量子化部7と、量子化データDQSBを2次元ハフマン符号化し符号化データDENとして出力するハフマン符号部8と、ビット割当情報データDBT、標準偏差σm,d及び1フレームに対応する複数の符号化データDENに基づいて所定のフォーマットを有するフレームデータDFLを生成し、出力するフォーマッタ部9と、を備えて構成されている。
【0058】デコーダ4は、メモリ3から読み出したフレームデータDFLを逆フォーマッティングし、符号化データDENを取り出し、ビット割当情報データDBT及び標準偏差σm,dを分離して出力する逆フォーマッタ部10と、入力された符号化データDENを2次元ハフマン復号化し、復号化データDDEとして出力するハフマン復号部11と、ビット割当情報データDBT及び標準偏差σm,dに基づいて復号化データDDEを逆量子化し、逆量子化サブバンドデータDRSBとして出力する逆量子化部12と、逆量子化サブバンドデータDRSBを2次元逆ウェーブレット変換して再生データDPGとして出力するウェーブレット逆変換部13と、を備えて構成されている。
【0059】図2に適応ビット割当部及び量子化部の概要構成ブロック図を示す。適応ビット割当部6は、M階層2次元ウェーブレット変換(Mは、自然数)において、m階層(mは、M以下の自然数)、サブバンド方向d(d=1:垂直方向、d=2:水平方向、d=3:対角方向)のサブバンドデータDSBの分散σ2m,dを算出するとともに、分散σ2m,dの算出の際に得られる標準偏差σm,dを出力する分散計算部15と、分散σ2m,dに、サブバンドSB(m,d)に対する重みBm,dを乗じて得られる判別用データD、すなわち、D=σ2m,d・Bm,dを出力する重み乗算部16と、判別用データDに基づいて予め設定した判別境界テーブルを参照し、階層m、方向dのサブバンドSBm,dの量子化ビット数Rm,d(Rm,dは、量子化可能ビット数範囲内の値をとる。図2では、0、1、…、N)を算出し、ビット割当情報データDBTを出力する判別境界テーブル参照部17と、を備えて構成されている。
【0060】量子化部7は、入力されたサブバンドデータDSBを標準偏差σm,dで除することにより、分散σ2m,d=1となるようにサブバンドデータDSBの正規化を行い正規化サブバンドデータDNSBを出力する正規化部20と、正規化サブバンドデータDNSBを0、1、…、Nビットのいずれかで量子化する0ビット量子化器21-0、1ビット量子化器21-1、…、Nビット量子化器21-Nと、判別境界テーブル参照部17により出力されたビット割当情報データDBTに基づいて、協働して0ビット量子化器21-0、1ビット量子化器21-1、…、Nビット量子化器21-Nのうちのいずれかの量子化器の入力端子を正規化部20に接続し、当該量子化器の出力端子をハフマン符号部8に接続する切換スイッチSW1、SW2と、を備えて構成されている。
1)エンコーダの動作まず、ウェーブレット変換部11の概要動作(3階層2次元ウェーブレット変換;M=3相当)について図3及び図4を参照して説明する。
【0061】3階層2次元ウェーブレット変換は、図3に示すように、1階層毎に第1の方向(図3では水平方向)に1次元のサブバンド分割を行い、さらに第2の方向(図3では垂直方向)に1次元のサブバンド分割を行うという処理を、当該階層で最も低域のサブバンドに再帰的に適用することによって実現できる。
【0062】図4において、記号「L」及び記号「H」は、ウェーブレット理論に基づいて設計されたクアドラチャミラーフィルタ(QMF)あり、記号「L」は低域通過フィルタを表し、記号「H」は高域通過フィルタを表している。この場合において、低域通過フィルタL及び高域通過フィルタHのインパルス応答をそれぞれl(n)及びh(n)とすると、h(n)=(−1)(1-n)l(1−n)
の関係を有している。
【0063】また記号「↓2」は、1/2サブサンプリングを表している。さらに1対の「L↓2」及び「H↓2」は分割フィルタ対を構成している。次にウェーブレット変換部5の詳細動作を説明する。
a) 第1階層入力された画像データDGを水平方向にサブバンド分割を行い、図示しない第1フレームメモリ上に低域信号及び高域信号を分割記録する。
【0064】次に第1フレームメモリ上のデータに基づいて、垂直方向にサブバンド分割を行い、図3に示すように、図示しない第2フレームメモリ上にサブバンドLL1、SB(1,1)、SB(1,2)、SB(1,3)の4つのサブバンドを分割記録する。
b) 第2階層続いて、サブバンドLL1、SB(1,1)、SB(1,2)、SB(1,3 )のうち最も低域のサブバンドLL1を水平方向にサブバンド分割し、図示しない第1フレームメモリ上に低域信号及び高域信号を分割記録する。
【0065】次に第1フレームメモリ上のサブバンドLL1に対応する領域上のデータに基づいて垂直方向にサブバンド分割を行い、図3に示すように、図示しない第2フレーム上のサブバンドLL1に対応する領域にサブバンドLL2、SB(2,1)、SB(2,2)、SB(2,3 )の4つのサブバンドを分割記録する。
c) 第3階層同様に、サブバンドLL2、SB(2,1)、SB(2,2)、SB(2,3 )のうち最も低域のサブバンドLL2を水平方向にサブバンド分割し、図示しない第1フレームメモリ上に低域信号及び高域信号を分割記録する。
【0066】次に第1フレームメモリ上のサブバンドLL2に対応する領域上のデータに基づいて垂直方向にサブバンド分割を行い、図3に示すように、第2フレームメモリ上のサブバンドLL2に対応する領域にサブバンドSB(3,0)、SB(3,1)、SB(3 ,2)、SB(3,3 )の4つのサブバンドを分割記録する。
【0067】これらの第1階層〜第3階層の2次元ウェーブレット変換を行うことにより入力された画像データDGは、サブバンドSB(3,0)〜SB(1,3)の10個のサブバンドに分割されることとなる。同様にして、M階層2次元ウェーブレット変換を行うと、得られるサブバンド分割数SBNは、SBN=3×M+1(個)
となる。この場合において、サブバンドSB(M,0)、例えば、上述の場合サブバンドSB(3,0)の信号は直流成分を含むので、差分符号化することにより直流成分を除き、その平均値を0とする。なお、他のサブバンドSB(M,1)〜(1,3 )の信号の平均値は0である。
【0068】これらの第1階層〜第3階層の2次元ウェーブレット変換を行うことにより入力された画像データDGは、サブバンドデータDSB(3,0)〜DSB(1,3)の10個のサブバンドデータに分割される。これらのサブバンドデータDSB(3,0)〜DSB(1,3)はサブバンド画像データDSBを構成する。
【0069】このようにして画像データDGをウェーブレット変換することにより得られたサブバンド画像データDSB(=サブバンドデータDSB(3,0)〜DSB(1,3))は適応ビット割当部6及び量子化部7に出力される。
2)適応ビット割当部の動作次に、適応ビット割当部におけるビット割当について詳細に説明する。
【0070】1サンプル当たりのビット数の平均値である平均ビットレートRT[bits/sample]は、
【0071】
【数19】
で表される。ここで、RM,0:M階層2次元ウェーブレット変換を行った場合に最も低域の(最も解 像度の低い)サブバンドSB(M,0)の量子化ビット数[bits/sample]
Rm,d:階層m、方向d(d=1:水平、d=2:垂直、d=3:対角)のサ ブバンドSB(m,d)の量子化ビット数[bits/sample]である。
【0072】このときの重み付き平均二乗歪みD*Tは、
【0073】
【数20】
となる。ここで、DM,0:量子化ビット数RM,0のときのサブバンドSB(M,0)の平均二乗歪みBM,0:サブバンドSB(M,0)に対する重みDm,d:量子化ビット数Rm,dのときのサブバンドSB(m,d)の平均二乗歪みBm,d:サブバンドSB(m,d)に対する重みである。
【0074】この場合において、最適な量子化ビット割当を行うため、すなわち、符号量の無駄を抑制し、かつ、画質を安定させるためには、各フレームの重み付き平均二乗歪みD*Tが一定の条件下で、符号量が最小となるようにすればよい。より詳細には、重み付き平均二乗歪みD*Tが一定の条件下で、平均ビットレートRTを最小とする量子化ビット数Rm,dを各サブバンド毎に求めればよい。
【0075】そこでラグランジェの未定乗数法を用いて(3)式で表されるラグランジェ関数Lを最小化する。
【0076】
【数21】
ところで、サブバンドSB(m,d)の平均二乗歪みDm,dをレート歪み理論を用い、サブバンドSB(m,d)の信号の分散σ2m,dと量子化ビット数Rm,dとの関係で表すと、
【0077】
【数22】
という関係がある。ここで、パラメータδは、入力信号の確率密度関数及びこの確率密度関数に対して設計した量子化器によって定まる値である。(4)式を(3)式に代入し、量子化ビット数Rm,dで偏微分してその値を0として、(5)式を得る。
【0078】
【数23】
(5)式を変形することにより、(6)式が得られる。
【0079】
【数24】
この(6)式を(4)式に代入することにより、量子化ビット数Rm,dのときのサブバンドSB(m,d)の平均二乗歪みDm,dは、(7)式のように表すことができる。
【0080】
【数25】
得られた(7)式を(2)式に代入することにより、重み付き平均二乗歪みD*Tは、
【0081】
【数26】
で表すことができる。この(8)式を(6)式に代入することにより、(9)式が得られる。
【0082】
【数27】
この(9)式を変形することにより、最適な量子化ビット数Rm,dは、
【0083】
【数28】
となる。ところで、後述するように、パラメータδは量子化ビット数Rの関数であるので、(10)式を変形して、以下に示す(11)式を満足する量子化ビット数Rm,dを求めれば良いこととなる。
【0084】
【数29】
さらに量子化ビット数Rm,dは、整数値しかとらないので、(12)式を満たす整数値の量子化ビット数Rm,dを算出すればよい。
【0085】
【数30】
(12)式からわかるように、重み付き平均二乗歪みD*Tが与えられたとき、各サブバンドSB(m,d)の量子化ビット数Rm,dは、サブバンドSB(m,d)のパラメータδ(Rm,d)、各サブバンドSB(m,d)の分散σ2m,d及びサブバンドSB(m,d)に対する重みBm,dによって決まる。
【0086】そこで、以下、重み付き平均二乗歪みD*T、パラメータδ(Rm,d)、分散σ2m,d及び重みBm,dの算出について説明する。
a) 重み付き平均二乗歪みD*Tの算出入力画像の符号化の場合には、SN比SNRは、ピークSN比SNRpで表すのが一般的であり、原画像が8ビット量子化により行われている場合、
【0087】
【数31】
で表される。従って、所望のSNRpが与えられれば、(14)式により重み付き平均二乗歪みD*Tが求まる。
【0088】
【数32】
b) パラメータδ(Rm,d)の算出Rビットで量子化したときの信号の分散σ2と平均二乗歪みDの比は、(4)式より、
【0089】
【数33】
となる。(15)式をデシベル(dB)で表したものをSNR(R)とすると、
【0090】
【数34】
となる。ところで、信号振幅分布の確率密度関数が与えられれば、SN比を最大にするための最適な量子化器を設計することができ、この最適な量子化器を用いた場合の最大のSN比SNR(R)を求めることができる。
【0091】この求めたSN比SNR(R)を(16)式に代入することにより、パラメータδ(R)が求まることとなる。
【0092】
【数35】
一例として確率密度関数をラプラス分布とし、量子化ビット数R=1〜8[bit(s)]の場合の最適非一様量子化器におけるSN比SNR(R)及びパラメータδ(R)の値を図5に示す。例えば、量子化ビット数R=3の場合には、SNR(R)=12.64[dB]
δ(R) =0.9003となる。
【0093】c) 分散σ2m,dの算出分散σ2m,d は、(18)式により算出することができる。
【0094】
【数36】
ここで、xiはサブバンド信号、Nm,dはサブバンド内のサンプル数である。
d) サブバンドの重みBm,dの算出文献[M.Antonini,M.Barlaud,P.Mathieu,and,I.Daubechies,"Image Coding Using Wavelet Transform",IEEE Trans. Image Proc.,vol.1,pp.205-220,April,1992]によれば、サブバンドの重みBm,dは、(19)式により与えられる。
【0095】
【数37】
この場合において、γとβm,dは人間の視覚特性に合うように実験的に定められる値である。なお、このサブバンドの重みBm,dは、その都度演算により求めることも可能であるが、各サブバンド毎に予め求めておくように構成することも可能である。
【0096】以上の説明のように、重み付き平均二乗歪みD*T、パラメータδ(Rm,d)及び分散σ2m,d、サブバンドの重みBm,dを得ることができるので、これらを用いて(12)式を満たす量子化ビット数Rm,dを算出することができる。ところで、(12)式は、対数演算を含むので、計算が煩雑になる。
【0097】そこで、実際には、以下のようにすることにより演算の簡略化を図っている。(9)式より、重み付き平均二乗歪みD*T、パラメータδ(Rm,d)及び分散σ2m,d及びサブバンドの重みBm,dの間には、
【0098】
【数38】
の関係がある。従って、整数値をとる量子化ビット数Rに対して、
【0099】
【数39】
を算出し、図6に示すように、メモリ上にテーブルを作成して格納しておく。なお、図6は、ピークSN比SNRp=40[dB](D*T=6.5)の場合である。
【0100】そして、各サブバンドSBm,dについて、分散σ2m,dと、サブバンドの重みBm,dと、の積Gを求める、G=σ2m,d・Bm,dそして、得られた積Gに基づいて、テーブル(図6参照)を参照し、最も近い(21)式の値に対応する量子化ビット数Rを選択する。
【0101】さらに簡略化するためには、量子化ビット数Rを量子化ビット数R=Y(Y:0、1、…、7[bit(s)])あるいは量子化ビット数R=Y+1の何れにすべきかを判別するための判別境界(値)及び量子化ビット数R(図6参照)のみを予めメモリにテーブルとして登録しておけばよい。
【0102】この結果、得られた積Gの値を判別境界(値)と比較することにより、迅速に量子化ビット数Rを割り当てることが可能となる。この場合において、(21)式は量子化ビット数Rの増加に対して指数関数的に増加するので、判別境界(値)は、量子化ビット数R=Y及び量子化ビット数R=Y+1にそれぞれ対応する、
【0103】
【数40】
の値の相乗平均値とする。実際の判別としては、積Gの値が100である場合には、66.5<100<224.8であるので(図6参照)、量子化ビット数R=3となる。
3)量子化部の動作次に量子化部7の動作について図2を参照して説明する。
【0104】量子化部7の正規化部20は、サブバンド画像データDSB(=サブバンドデータDSB(3,0)〜DSB(1,3))が入力されると、当該入力されたサブバンドデータDSBを標準偏差σm,dで除することにより、分散σ2m,d=1となるようにサブバンドデータDSBの正規化を行い正規化サブバンドデータDNSBを切換スイッチSW1の入力端子に出力する。
【0105】この正規化サブバンドデータDNSBの入力に先立って、切換スイッチSW1、SW2を、当該正規化サブバンドデータDNSBに対応する判別境界テーブル参照部17により出力されたビット割当情報データDBTに対応するビット数で量子化が可能な0ビット量子化器21-0、1ビット量子化器21-1、…、Nビット量子化器21-Nのうちのいずれか一の量子化器に接続しておく。
【0106】この結果、切換スイッチSW1に入力された正規化サブバンドデータDNSBはビット割当情報データDBTに対応するビット数を有する量子化データDQSBとしてハフマン符号部8に切換スイッチ2を介して出力する。
4)ハフマン符号部及びフォーマッタ部の動作ハフマン符号部8は、入力された量子化データDQSBを2次元ハフマン符号化し符号化データDENとしてフォーマッタ部9に出力する。
【0107】フォーマッタ部9は、適応ビット割当部6により入力されたビット割当情報データDBT及び1フレームに対応する複数の符号化データDENに基づいて所定のフォーマットを有する符号化フレームデータDFLを生成し、メモリ3に出力する。
5)メモリの物理フォーマット図7にメモリの物理フォーマットを示す。
【0108】メモリ3は、大別すると、画像シーケンスのファイル名、当該画像シーケンスに対応するファイルのスタートセクタ番号、当該画像シーケンスに対応するファイルのエンドセクタ番号、当該ファイルのファイルサイズ、記録時間などのディレクトリ情報を記憶するディレクトリ領域3Aと、フレームデータDFLを記憶するプログラム領域3Bとを備えて構成されており、ディレクトリ領域3Aを参照することにより、メモリ3内に記録されている画像シーケンス数、各画像シーケンスの先頭位置及び記録時間などが分かることとなる。
【0109】より詳細には、メモリ3は、(N+1)個のセクタ(例えば、各セクタは2048バイトで構成)で構成されており、ディレクトリ領域3Aは第0セクタ(図中、セクタ0と表記)SC0が割り当てられ、プログラム領域3Bは第1セクタ(図中、セクタ1と表記)SC1〜第Nセクタ(図中、セクタNと表記)SCNのN個のセクタが割り当てられている。
【0110】さらに実際の符号化画像データDENは、フレームに対応するフレームデータ単位でプログラム領域3Bに格納され、各フレームデータDFL1〜DFLLは各フレームデータDFL1、…、DFLLの先頭検出を容易とするため、必ず、各セクタSC1〜SCNの先頭からデータが書き込まれ、当該フレームデータに対応する最後のセクタのデータが存在しない領域にはダミーデータとしてのゼロデータが書き込まれる。
【0111】例えば、第1フレームデータDFL1は、第1セクタSC1の先頭からデータが記録され、第nセクタSCnの途中まで記録され、第nセクタの残りの部分にはゼロデータがダミーデータとして書き込まれることとなる。そして次の第(n+1)セクタSC(n+1)の先頭から第2フレームデータが書き込まれることとなる。
【0112】6)フレームデータの構成図8にフレームデータDFLのデータ構成図を示す。フレームデータDFLは、大別すると、インデックス情報部30と、画像データ部31と、を備えて構成されている。
【0113】インデックス情報部30は、フレームデータの先頭を表すSOF(Start Of Frame)データ32と、フレーム番号(Frame No.)を表すフレーム番号データ33と、当該フレームの総バイト数を表すフレームバイト数カウントデータ34と、を備えて構成されている。
【0114】画像データ部31は、各サブバンド毎の輝度信号(Y)成分データ、R−Y色差信号成分データ及びB−Y色差信号成分データを備えて構成されており、より具体的には、サブバンドSB(3,0)の輝度信号成分に対応する輝度信号(Y)成分データSB0Y、サブバンドSB(3,0)のR−Y色差信号成分に対応するR−Y色差信号成分データSB0R、サブバンドSB(3,0)のB−Y色差信号成分に対応するB−Y色差信号成分データSB0B、サブバンドSB(3,1)の輝度信号(Y)成分データSB1Y、……、サブバンドSB(1,3)の輝度信号成分に対応する輝度信号(Y)成分データSB9Y、サブバンドSB(1,3)のR−Y色差信号成分に対応するR−Y色差信号成分データSB9R及びサブバンドSB(1,3)のB−Y色差信号成分に対応するB−Y色差信号成分データSB9Bを備えて構成されている。
【0115】ここで、輝度信号(Y)成分データとして、サブバンドSB(3,1)の輝度信号(Y)成分データSB1Yを例として説明する。輝度信号(Y)成分データSB1Yは、当該サブバンドSB(3,1)の先頭であることを表すSOS(Start Of Subband)データ40と、当該サブバンドSB(3,1)の量子化ビット数(Q Bit)を表すデータ41と、当該サブバンドSB(3,1)の標準偏差を表すスケールファクター(SCF)データ42と、当該サブバンドSB(3,1)のバイト数を表すサブバンドバイト数カウントデータ43と、2次元ハフマン符号化されたサブバンドのデータであるハフマン符号化データ44と、を備えて構成されている。
【0116】7)デコーダの動作ここで、具体的なデコーダ4の動作について説明する。まず、再生指令が入力されると、逆フォーマッタ部10は、メモリ3から再生指令に対応するフレームデータDFLを読み出し、フレームデータDFLを逆フォーマッティングし、符号化データDENを取り出し、ハフマン復号部11に出力するとともに、ビット割当情報データDBT及び標準偏差σm,dを分離して逆量子化部12に出力する。
【0117】ハフマン復号部11は、入力された符号化データDENを2次元ハフマン復号化し、復号化データDDEとして逆量子化部12に出力する。逆量子化部12は、ビット割当情報データDBT及び標準偏差σm,dに基づいて復号化データDDEを逆量子化し、逆量子化サブバンドデータDRSB(=逆量子化サブバンドデータDRSB(3,0)〜DRSB(1,3))としてウェーブレット逆変換部13に出力する。
【0118】逆ウェーブレット逆変換部13は、逆量子化サブバンドデータDRSBを2次元逆ウェーブレット変換して再生データDPGとして出力する。
8)ウェーブレット逆変換部の動作次にウェーブレット逆変換部13の概要動作(3階層2次元ウェーブレット逆変換)について説明する。
【0119】3階層2次元ウェーブレット逆変換は、第1の方向(例えば、垂直方向)に1次元のサブバンド合成を行い、さらに第2の方向(例えば、水平方向)に1次元のサブバンド合成を行うという処理を行い、さらに二つの合成結果を順次再合成することによって実現できる。
【0120】次にウェーブレット逆変換部13の詳細動作を図3及び図9を参照して説明する。図9において、記号「L」は低域通過フィルタを表し、記号「H」は高域通過フィルタを表す。また記号「↑2」は、2倍のアップサンプリングを表している。更に一対の「↑2L」と「↑2H」は合成フィルタ対を構成している。
【0121】そして、逆量子化サブバンドデータDRSB(m,d)は、第1のフレームメモリ上に図3に示すように記録される。
a) 第3階層逆量子化サブバンドデータDRSB(3,0)と逆量子化サブバンドデータDRSB(3,1)とは、第3階層第1垂直方向合成フィルタ対によって合成され、図示しない第2フレームメモリ上に水平方向低域信号として記録される。
【0122】一方、逆量子化サブバンドデータDRSB(3,2)と逆量子化サブバンドデータDRSB(3,3)とは、第3階層第2垂直合成フィルタ対によって合成され、図示しない第2フレームメモリ上に水平方向高域信号として記録される。サブバンドデータDRSB(3,0)及びサブバンドデータDRSB(3,1)の垂直方向合成結果である低域信号並びに逆量子化サブバンドデータDRSB(3,2)及び逆量子化サブバンドデータDRSB(3,3)の垂直方向合成結果である高域信号は、第3階層水平合成フィルタ対によって合成され、サブバンドデータLL2として、第1フレームメモリFM1上の対応する領域に記録される。
【0123】b) 第2階層サブバンドデータLL2と逆量子化サブバンドデータDRSB(2,1)とは、第2階層第1垂直方向合成フィルタ対によって合成され図示しない第2フレームメモリ上に水平方向低域信号として記録される。
【0124】一方、逆量子化サブバンドデータDRSB(2,2)と逆量子化サブバンドデータDRSB(2,3)とは、第2階層第2垂直方向合成フィルタ対によって合成され、図示しない第2フレームメモリ上に水平方向高域信号として記録される。逆量子化サブバンドデータLL2及び逆量子化サブバンドデータDRSB(2,1)の垂直方向合成結果である低域信号並びに逆量子化サブバンドデータDRSB(2,2)及び逆量子化サブバンドデータDRSB(2,3)の垂直方向合成結果である高域信号は第2階層水平合成フィルタ対によって合成され、逆量子化サブバンドデータLL1として、第1フレームメモリ上の対応する記録される。
【0125】c) 第1階層逆量子化サブバンドデータLL1と逆量子化サブバンドデータDRSB(1,1)とは、第1階層第1垂直方向合成フィルタ対によって合成され図示しない第2フレームメモリ上に水平方向低域信号として記録される。
【0126】一方、逆量子化サブバンドデータDRSB(1,2)と逆量子化サブバンドデータDRSB(1,3)とは、第1階層第2垂直方向合成フィルタ対によって合成され図示しない第2フレームメモリ上に水平方向高域信号として記録される。サブバンドデータLL1及び逆量子化サブバンドデータDRSB(1,1)の垂直方向合成結果である低域信号並びに逆量子化サブバンドデータDRSB(1,2)及び逆量子化サブバンドデータDRSB(1,3)の垂直方向合成結果である高域信号は第1階層水平合成フィルタ対によって復号画像データDPGとして、第1フレームメモリ上に記録されることとなる。
【0127】そして復号画像データDPGはD/A変換されて画像信号とされ、図示しないディスプレイに出力される。この結果、ディスプレイの画面上には復号された画像が表示されることとなる。
【0128】以上の説明のように、本第1実施形態によれば、重み付き平均二乗歪みが一定という条件下で、符号量(平均ビットレート)が最小になるように構成することにより、複雑な画面に対しては多くの符号量を割り当て、単純な画面に対しては少ない符号量を割り当てるようにしているので、半導体メモリのような駆動機構がなく高速処理が可能ではあるが、容量の小さな記憶媒体を用いる場合でも、符号量の無駄を押さえ、かつ、画質の安定した映像を得られることとなる。
【0129】以上の第1実施形態においては、2次元3階層ウェーブレット変換処理を行う場合について説明したが、2次元Y階層ウェーブレット変換処理(Y:2以上の整数)を行う場合にも本発明の適用が可能である。すなわち、、最も低域のサブバンドであるサブバンドSB(Y,0)から最も高域のサブバンドであるサブバンドSB(1,3)までの(3・Y+1)個のサブバンドを構成するサブバンドデータDSB(Y,0)〜DSB(1,3)を生成するように構成すればよい。
第2実施形態以上の第1実施形態においては、符号化方法としてウェーブレット変換を用いていたが、本第2実施形態は、JPEG(Joint Photographic Experts Group)やMPEG(Moving Picture Experts Group)で用いられているDCT(離散コサイン変換)を用いた場合の実施形態である。
【0130】DCTを用いる場合には、図1のウェーブレット変換部5を図10(a)に示す2次元の離散コサイン変換を行う2次元DCT部51及び離散コサイン変換により得られたDCT係数を並び換えるDCT係数並び換え部52に置き換え、図1のウェーブレット逆変換部を図10(b)に示すDCT係数の逆並び換えを行うDCT係数逆並び換え部53及び逆並び換えられたDCT係数を逆離散コサイン変換する2次元逆DCT(2次元IDCT)部54に置き換えることにより実現できる。
【0131】2次元DCTの変換対象ブロックを8[画素]×8[画素]構成とすると、図11(a)に示すように、64個のDCT係数K0〜K63が得られる。第1番目のDCT係数K0は直流成分を表し、図11(a)中、右側にあるDCT係数ほど水平方向の高周波成分を表し、図11(a)中、下側にあるDCT係数ほど垂直方向の高周波成分を表している。
【0132】そこで、図11(b)に示すように、64個のDCT係数K0〜K63を10個のDCT係数グループ(帯域)G0〜G9に分割し、1フレーム分のDCT係数グループを各帯域毎にまとめて、図12に示すようにマッピング(再配置)すると、上述の第1実施形態のように、ウェーブレット変換を用いたサブバンド分割と類似の帯域分割を行うことが可能となる。
【0133】この結果、第1実施形態のエンコーダ2における量子化部7の量子化動作からメモリ3への記録動作並びにメモリ3からの読出動作からデコーダ4おける逆量子化部12の逆量子化動作までは、第1実施形態と同様の処理を行うことができ、特に量子化ビット数を決定する際には、各帯域毎に分散σm2(m:0〜9)を求めればよい。
【0134】より具体的には、図12に示すように、各フレームの第1DCT係数グループG0を元の変換対象ブロックの配置に基づいて第1フレームDCT係数グループ(帯域)FG0にマッピングし、第2DCT係数グループG1を元の変換対象ブロックの配置に基づいて第2フレームDCT係数グループFG1 にマッピングし、……、第9DCT係数グループG8を元の変換対象ブロックの配置に基づいて第9フレームDCT係数グループFG8にマッピングし、第10DCT係数グループG9を元の変換対象ブロックの配置に基づいて第10フレームDCT係数グループFG9にマッピングする。
【0135】この結果、ウェーブレット変換を用いた場合と同様に帯域分割が行え、同様にして、適応ビット割当部により量子化ビット数を設定することができる。ここで、ディスプレイの画面への映像シーケンスの再生動作について説明する。
【0136】映像1フレーム分の第1フレームDCT係数グループFG0〜第10フレームDCT係数グループFG9がメモリから読み出され、ハフマン復号化及び逆量子化が行われる。逆量子化されたDCT係数は、図12R>2のマッピングとは逆の操作であるDCT係数逆並び換えにより図13(a)に示すように、8×8=64[個]
のDCT係数K0〜K63からなるDCT係数ブロックに再構築される。DCT係数は1フレーム分得られる。
【0137】そして得られた64個のDCT係数からなる各DCT係数ブロックに対して2次元IDCT部により2次元IDCTを施し、図13(b)に示すように、8[画素]×8[画素](元の画素数(=64[画素])からなるブロックを構成して、フレームメモリの当該ブロックに対応する領域に書き込む。
【0138】以上の処理を1映像フレームを構成する全てのDCT係数ブロックに対して行うことにより、フレームメモリ上には、復号画像が得られることとなる。こうして得られた復号画像を図示しないビデオインターフェース部でD/A変換することによりディスプレイ画面上に動画再生がなされることとなる。
【0139】以上の第2実施形態においては、8×8画素をブロックとしてDCT変換係数を生成する場合について説明したが、(2Y×2Y)画素を一のブロックとし(Y:2以上の整数)、(2Y×2Y)個の離散コサイン変換係数を生成する離散コサイン変換処理を行う場合についても、本発明の適用が可能である。
【0140】すなわち、得られた1フレームの離散コサイン変換係数を予め設定した(3・Y+1)個の帯域に分割し、最も低域の帯域である第1帯域に相当する第1フレームDCT係数グループから最も高域の第(3・Y+1)フレームDCT係数グループまでの(3・Y+1)個のフレームDCT係数グループを生成するように構成すればよい。
【0141】
【発明の効果】請求項1記載の発明によれば、帯域分割手段は、入力データを複数の帯域に分割して帯域分割データとして量子化ビット数制御手段及び量子化手段に出力する。
【0142】量子化ビット数制御手段は、1サンプル当たりのビット数であるビットレートの平均値である平均ビットレートRTのときの重み付き平均二乗歪みをD*Tとし、重み付き平均二乗歪みD*Tが一定、かつ、平均ビットレートRTが最小となるように帯域分割データ毎に量子化ビット数を定め、量子化ビット数制御データを量子化手段に出力し、量子化手段は、量子化ビット数制御データに対応する量子化ビット数で帯域分割データを量子化して量子化データとして符号化手段に出力し、符号化手段は、量子化データを符号化して符号化データとして出力するので、入力データが動画データである場合、複雑な画面に対しては、多くの符号量を割り当て、単純な画面に対しては少ない符号量を割り当てても、一定の画質(SN比)を確保することが可能となる。
【0143】この結果、画像の記憶媒体として、駆動機構がなく高速ではあるが、ビット当たりの単価が高く、容量の少ない半導体メモリのような記憶媒体を用いたとしても、記憶容量を有効に利用して、高品質な画像を得ることが可能となる。請求項2記載の発明によれば、請求項1記載の発明の効果に加えて、量子化ビット数制御手段の判別値記憶手段は、(1)式で表される判別値Fの値を記憶し、
【0144】
【数41】
積算出手段は、分散σ2と重みBの積Gを(2)式により算出し、 G=σ2・B (2)
量子化ビット数判別手段は、判別値F及び積Gに基づいて積Gに最も近い値を有する判別値Fに対応する量子化ビット数Rに相当する量子化ビット数制御データを量子化手段に出力するので、高速で量子化ビット数を割り当てることができ、画質を劣化させることなく高速で符号化処理を行うことが可能となる。
【0145】従って、動画像データを高品位で高速に符号化することが可能となる。請求項3記載の発明によれば、請求項1記載の発明の効果に加えて、量子化ビット数制御手段の相乗平均値記憶手段は、量子化ビット数R=Xに対応する(1)式で表される判別値FX及び量子化ビット数R=X+1に対応する(2)式で表される判別値F(X+1)の相乗平均値Hを量子化ビット数に対応づけて記憶し、
【0146】
【数42】
【0147】
【数43】
積算出手段は、分散σ2と重みBの積Gを(3)式により算出し、 G=σ2・B (3)
これらにより量子化ビット数判別手段は、積Gと相乗平均値Hの大小関係に基づいて量子化ビット数制御データを量子化手段に出力するので、演算量をより低減して、より高速に符号化処理を行える。
【0148】請求項4記載の発明によれば、請求項1乃至請求項3のいずれかに記載の発明の効果に加えて、量子化ビット数制御手段の標準偏差出力手段は、各帯域の標準偏差σを標準偏差データとして正規化手段に出力し、量子化手段の正規化手段は、量子化を行うに際し、標準偏差データに基づいて各帯域の分散σ2が1となるように正規化を行うので、入力データの種類に拘わらず、同一の演算処理を行え、装置構成を簡略化することが可能となる。
【0149】請求項5記載の発明によれば、請求項1乃至請求項3のいずれかに記載の発明の効果に加えて、量子化ビット数制御手段の標準偏差出力手段は、各帯域の標準偏差σを標準偏差データとして量子化ステップ幅制御手段に出力し、量子化手段の量子化ステップ幅制御手段は、標準偏差データに基づいて量子化を行う際の量子化ステップ幅を標準偏差σでスケーリングするので、入力データの種類に拘わらず、同一の演算処理を行え、装置構成を簡略化することが可能となる。請求項6記載の発明によれば、請求項1乃至請求項5のいずれかに記載の発明の効果に加えて、帯域分割手段は、最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分割するので、符号化効率の良い符号化を行うことができ、データ量の削減が可能となる。
【0150】請求項7記載の発明によれば、請求項1乃至請求項5のいずれかに記載の発明の効果に加えて、符号化は、(2Y×2Y)画素を一のブロックとし(Y:2以上の整数)、帯域分割手段は、(2Y×2Y)個の離散コサイン変換係数を最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分配するので、符号化としてウェーブレット変換を用いる場合と同様の取り扱いが可能となる。
【0151】請求項8記載の発明によれば、帯域分割工程は、入力データを複数の帯域に分割し、量子化ビット数制御工程は、1サンプル当たりのビット数であるビットレートの平均値である平均ビットレートRTのときの重み付き平均二乗歪みをD*Tとし、重み付き平均二乗歪みD*Tが一定、かつ、平均ビットレートRTが最小となるように分割した帯域毎に量子化ビット数を定め、量子化工程は、定められた量子化ビット数で帯域分割された入力データを量子化し、符号化工程は、量子化された入力データを符号化するので、入力データが動画データである場合、複雑な画面に対しては、多くの符号量を割り当て、単純な画面に対しては少ない符号量を割り当てても、一定の画質(SN比)を確保することが可能となる。
【0152】この結果、画像の記憶媒体として、駆動機構がなく高速ではあるが、ビット当たりの単価が高く、容量の少ない半導体メモリのような記憶媒体を用いたとしても、記憶容量を有効に利用して、高品質な画像を得ることが可能となる。請求項9記載の発明によれば、請求項8記載の発明の効果に加えて、量子化ビット数制御工程の判別値記憶工程は、量子化ビット数R及び予め算出した量子化ビット数Rに対応する(1)式で表される判別値Fの値を記憶し、
【0153】
【数44】
積算出工程は、分散σ2と重みBの積Gを(2)式により算出する。
G=σ2・B (2)
量子化ビット数判別工程は、判別値F及び積Gに基づいて積Gに最も近い値を有する判別値Fに対応する量子化ビット数Rを当該分割した帯域について定めるべき量子化ビット数とするので、高速で量子化ビット数を割り当てることができ、画質を劣化させることなく高速で符号化処理を行うことが可能となる。
【0154】従って、動画像データを高品位で高速に符号化することが可能となる。請求項10記載の発明によれば、請求項8記載の発明の効果に加えて、量子化ビット数制御工程の相乗平均値記憶工程は、量子化ビット数R=Xに対応する(1)式で表される判別値FX及び量子化ビット数R=X+1に対応する(2)式で表される判別値F(X+1)の相乗平均値Hを量子化ビット数に対応づけて記憶し、
【0155】
【数45】
【0156】
【数46】
積算出工程は、分散σ2と重みBの積Gを(3)式により算出し、 G=σ2・B (3)
量子化ビット数判別工程は、積Gと相乗平均値Hの大小関係に基づいて当該分割した帯域について量子化ビット数を定めるので、演算量をより低減して、より高速に符号化処理を行える。
【0157】請求項11記載の発明によれば、請求項8乃至請求項10のいずれかに記載の発明の効果に加えて、量子化ビット数制御工程の標準偏差算出工程は、各帯域の標準偏差σを算出し、量子化工程の正規化工程は、量子化を行うに際し、標準偏差に基づいて各帯域の分散σ2が1となるように正規化を行うので、入力データの種類に拘わらず、同一の演算処理を行え、符号化装置の装置構成を簡略化することが可能となる。
【0158】請求項12記載の発明によれば、請求項8乃至請求項10のいずれかに記載の発明の効果に加えて、量子化ビット数制御工程の標準偏差算出工程は、各帯域の標準偏差σを算出し、量子化工程の量子化ステップ幅制御工程は、標準偏差に基づいて量子化を行う際の量子化ステップ幅を標準偏差σでスケーリングするので、入力データの種類に拘わらず、同一の演算処理を行え、装置構成を簡略化することが可能となる。
【0159】請求項13記載の発明によれば、請求項8乃至請求項12のいずれかに記載の発明の効果に加えて、帯域分割工程は、最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分割するので、符号化効率のよい符号化を行うことができ、データ量の削減が可能となる。
【0160】請求項14記載の発明によれば、請求項8乃至請求項12のいずれかに記載の発明の効果に加えて、帯域分割手段は、(2Y×2Y)個の離散コサイン変換係数を最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分配するので、符号化としてウェーブレット変換を用いる場合と同様の取り扱いが可能となる。
【0161】請求項15記載の発明によれば、符号化装置は、符号化プログラムにより、入力データを複数の帯域に分割し、重み付き平均二乗歪みD*Tが一定、かつ、平均ビットレートRTが最小となるように分割した帯域毎に量子化ビット数を定め、定められた量子化ビット数で帯域分割された入力データを量子化し、量子化された入力データを符号化するので、入力データが動画データである場合、複雑な画面に対しては、多くの符号量を割り当て、単純な画面に対しては少ない符号量を割り当てても、一定の画質(SN比)を確保することが可能となる。
【0162】この結果、画像の記憶媒体として、駆動機構がなく高速ではあるが、ビット当たりの単価が高く、容量の少ない半導体メモリのような記憶媒体を用いたとしても、記憶容量を有効に利用して、高品質な画像を得ることが可能となる。請求項16記載の発明によれば、請求項15記載の発明の効果に加えて、量子化ビット数R及び予め算出した量子化ビット数Rに対応する(1)式で表される判別値Fの値を記憶し、
【0163】
【数47】
分散σ2と重みBの積Gを(2)式により算出し、 G=σ2・B (2)
判別値F及び積Gに基づいて積Gに最も近い値を有する判別値Fに対応する量子化ビット数Rを当該分割した帯域について定めるべき量子化ビット数とするので、高速で量子化ビット数を割り当てることができ、画質を劣化させることなく高速で符号化処理を行うことが可能となる。
【0164】従って、動画像データを高品位で高速に符号化することが可能となる。請求項17記載の発明によれば、請求項15記載の発明の効果に加えて、量子化ビット数R=Xに対応する(1)式で表される判別値FX及び量子化ビット数R=X+1に対応する(2)式で表される判別値F(X+1)の相乗平均値Hを量子化ビット数に対応づけて記憶し、
【0165】
【数48】
【0166】
【数49】
分散σ2と重みBの積Gを(3)式により算出し、 G=σ2・B (3)
積Gと相乗平均値Hの大小関係に基づいて当該分割した帯域について量子化ビット数を定めるので、演算量をより低減して、より高速に符号化処理を行える。
【0167】請求項18記載の発明によれば、請求項15乃至請求項17のいずれかに記載の発明の効果に加えて、符号化プログラムは各帯域の標準偏差σを算出し、量子化を行うに際し、標準偏差に基づいて各帯域の分散σ2が1となるように正規化を行うので、入力データの種類に拘わらず、同一の演算処理を行え、符号化装置の装置構成を簡略化することが可能となる。
【0168】請求項19記載の発明によれば、請求項15乃至請求項17のいずれかに記載の発明の効果に加えて、符号化プログラムは、各帯域の標準偏差σを算出し、標準偏差に基づいて量子化を行う際の量子化ステップ幅を標準偏差σでスケーリングするので、入力データの種類に拘わらず、同一の演算処理を行え、符号化装置の装置構成を簡略化することが可能となる。
【0169】請求項20記載の発明によれば、請求項15乃至請求項19のいずれかに記載の発明の効果に加えて、符号化プログラムは、最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分割するので、符号化効率の良い符号化を行うことができ、データ量の削減が可能となる。
【0170】請求項21記載の発明によれば、請求項15乃至請求項19のいずれかに記載の発明の効果に加えて、符号化プログラムは、(2Y×2Y)個の離散コサイン変換係数を最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分配するので、符号化としてウェーブレット変換を用いる場合と同様の取り扱いが可能となる。
【図面の簡単な説明】
【図1】実施形態の映像記録再生装置の概要構成ブロック図である。
【図2】適応ビット割当部及び量子化部の概要構成ブロック図である。
【図3】ウェーブレット変換動作の説明図(1)である。
【図4】ウェーブレット変換動作の説明図(2)である。
【図5】最適非一様量子化器におけるSN比SNR(R)及びパラメータδ(R)の値の関係説明図である。
【図6】量子化ビット数と判別境界のメモリテーブルの説明図である。
【図7】メモリの物理フォーマットの説明図である。
【図8】フレームデータのデータ構成説明図である。
【図9】逆ウェーブレット変換の説明図である。
【図10】第2実施形態の構成説明図である。
【図11】DCT係数及びDCT係数の帯域分割の説明図である。
【図12】DCT係数の並び替え処理の説明図である。
【図13】2次元逆DCT変換の説明図である。
【符号の説明】
1 映像記録再生装置
2 エンコーダ
3 メモリ
4 デコーダ
5 ウェーブレット変換部
6 適応ビット割当部
7 量子化部
8 ハフマン符号部
9 フォーマッタ部
10 逆フォーマッタ部
11 ハフマン復号部
12 逆量子化部
13 ウェーブレット逆変換部
15 分散計算部
16 重み乗算部
17 判別境界テーブル参照部
20 正規化部
21-1〜21-N 量子化器
D 判別用データ
DBT ビット割当情報データ
DDE 復号化データ
DEN 符号化データ
DG 画像データ
DNSB 正規化サブバンドデータ
DPG 再生データ
DRSB 逆量子化サブバンドデータ
DFL フレームデータ
DSB サブバンドデータ
DQSB 量子化データ
【0001】
【発明の属する技術分野】本発明は符号化装置、符号化方法及び符号化プログラム記憶媒体に係り、特に画像データを圧縮する符号化装置、符号化方法及び符号化プログラム記憶媒体に関する。
【0002】
【従来の技術】従来より動画像に対応する画像信号を記録するための記憶媒体として、磁気テープや光ディスクなどを用いる場合には、磁気テープ記録(あるいは記録再生)装置あるいは光ディスク記録(あるいは記録再生)装置が駆動機構を備えているため、そのアクセス時間の制限や転送レートの制限などの観点から固定レートの符号化が行われていた。
【0003】
【発明が解決しようとする課題】上記従来の固定レートによる符号化では、複雑な画面に対してはS/Nが低くなり、画質の劣化が大きくなり、単純な画面に対してはS/Nが高く画質の劣化が小さく、表示対象画面(フレーム)毎の画質が変動し画像により画質に差が生じてしまうという問題点があった。
【0004】また、単純な画面に対しても固定の符号量で処理を行うため、半導体メモリなどの駆動機構を有しない高速な記憶媒体を用いようとする場合には、記憶容量の有効利用が図れないという問題点があった。そこで本発明の目的は、表示対象画面(フレーム)毎の画質の変動を抑制するとともに、記憶容量の有効利用を図ることが可能な符号化装置、符号化方法及び符号化プログラム記憶媒体を提供することにある。
【0005】
【課題を解決するための手段】上記課題を解決するため、請求項1記載の発明は、入力データを複数の帯域に分割して帯域分割データとして出力する帯域分割手段と、1サンプル当たりのビット数であるビットレートの平均値である平均ビットレートRTのときの重み付き平均二乗歪みをD*Tとし、前記重み付き平均二乗歪みD*Tが一定、かつ、前記平均ビットレートRTが最小となるように前記帯域分割データ毎に量子化ビット数を定め、量子化ビット数制御データを出力する量子化ビット数制御手段と、前記量子化ビット数制御データに対応する量子化ビット数で前記帯域分割データを量子化して量子化データとして出力する量子化手段と、前記量子化データを符号化して符号化データとして出力する符号化手段と、を備えて構成する。
【0006】請求項1記載の発明によれば、帯域分割手段は、入力データを複数の帯域に分割して帯域分割データとして量子化ビット数制御手段及び量子化手段に出力する。量子化ビット数制御手段は、1サンプル当たりのビット数であるビットレートの平均値である平均ビットレートRTのときの重み付き平均二乗歪みをD*Tとし、重み付き平均二乗歪みD*Tが一定、かつ、平均ビットレートRTが最小となるように帯域分割データ毎に量子化ビット数を定め、量子化ビット数制御データを量子化手段に出力する。
【0007】量子化手段は、量子化ビット数制御データに対応する量子化ビット数で帯域分割データを量子化して量子化データとして符号化手段に出力する。符号化手段は、量子化データを符号化して符号化データとして出力する。請求項2記載の発明は、請求項1記載の発明において、前記量子化ビット数制御手段は、各前記帯域の量子化ビット数をRとし(R;0以上、かつ、最大量子0化ビット数Rmax以下の整数)、前記量子化ビット数R及び予め算出した前記量子化ビット数Rに対応する(1)式で表される判別値Fの値を記憶する判別値記憶手段と、
【0008】
【数10】
各前記帯域の分散をσ2とし、各前記帯域の重みをBとし、分散σ2と重みBの積Gを(2)式により算出する積算出手段と、 G=σ2・B (2)
前記判別値F及び積Gに基づいて前記積Gに最も近い値を有する前記判別値Fに対応する前記量子化ビット数Rに相当する前記量子化ビット数制御データを出力する量子化ビット数判別手段と、を備えて構成する。
【0009】請求項2記載の発明によれば、請求項1記載の発明の作用に加えて、量子化ビット数制御手段の判別値記憶手段は、(1)式で表される判別値Fの値を記憶する。積算出手段は、分散σ2と重みBの積Gを(2)式により算出する。
【0010】量子化ビット数判別手段は、判別値F及び積Gに基づいて積Gに最も近い値を有する判別値Fに対応する量子化ビット数Rに相当する量子化ビット数制御データを量子化手段に出力する。請求項3記載の発明は、請求項1記載の発明において、前記量子化ビット数制御手段は、各前記帯域の量子化ビット数をRとし(R;0以上、かつ、最大量子化ビット数Rmax以下の整数)、量子化ビット数R=X(X=0以上、かつ、最大量子化ビット数Rmax−1以下の整数)に対応する(1)式で表される判別値FX及び量子化ビット数R=X+1に対応する(2)式で表される判別値F(X+1)の相乗平均値Hを前記量子化ビット数に対応づけて記憶する相乗平均値記憶手段と、
【0011】
【数11】
【0012】
【数12】
各前記帯域の分散をσ2とし、各前記帯域の重みをBとし、分散σ2と重みBの積Gを(3)式により算出する積算出手段と、 G=σ2・B (3)
前記積Gと前記相乗平均値Hの大小関係に基づいて前記量子化ビット数制御データを出力する量子化ビット数判別手段と、を備えて構成する。
【0013】請求項3記載の発明によれば、請求項1記載の発明の作用に加えて、量子化ビット数制御手段の相乗平均値記憶手段は、量子化ビット数R=Xに対応する(1)式で表される判別値FX及び量子化ビット数R=X+1に対応する(2)式で表される判別値F(X+1)の相乗平均値Hを量子化ビット数に対応づけて記憶する。
【0014】積算出手段は、分散σ2と重みBの積Gを(3)式により算出する。これらにより量子化ビット数判別手段は、積Gと相乗平均値Hの大小関係に基づいて量子化ビット数制御データを量子化手段に出力する。請求項4記載の発明は、請求項1乃至請求項3のいずれかに記載の発明において、前記量子化ビット数制御手段は、各前記帯域の標準偏差σを標準偏差データとして出力する標準偏差出力手段を備え、前記量子化手段は、前記量子化を行うに際し、前記標準偏差データに基づいて各前記帯域の分散σ2が1となるように正規化を行う正規化手段を備えて構成する。
【0015】請求項4記載の発明によれば、請求項1乃至請求項3のいずれかに記載の発明の作用に加えて、量子化ビット数制御手段の標準偏差出力手段は、各帯域の標準偏差σを標準偏差データとして正規化手段に出力する。量子化手段の正規化手段は、量子化を行うに際し、標準偏差データに基づいて各帯域の分散σ2が1となるように正規化を行う。
【0016】請求項5記載の発明は、請求項1乃至請求項3のいずれかに記載の発明において、前記量子化ビット数制御手段は、各前記帯域の標準偏差σを標準偏差データとして出力する標準偏差出力手段を備え、前記量子化手段は、前記標準偏差データに基づいて前記量子化を行う際の量子化ステップ幅を標準偏差σでスケーリングする量子化ステップ幅制御手段を備えて構成する。
【0017】請求項5記載の発明によれば、請求項1乃至請求項3のいずれかに記載の発明の作用に加えて、量子化ビット数制御手段の標準偏差出力手段は、各帯域の標準偏差σを標準偏差データとして量子化ステップ幅制御手段に出力する。量子化手段の量子化ステップ幅制御手段は、標準偏差データに基づいて量子化を行う際の量子化ステップ幅を標準偏差σでスケーリングする。
【0018】請求項6記載の発明は、請求項1乃至請求項5のいずれかに記載の発明において、前記帯域分割手段は、2次元Y階層ウェーブレット変換処理(Y:2以上の整数)を行い、最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分割するように構成する。
【0019】請求項6記載の発明によれば、請求項1乃至請求項5のいずれかに記載の発明の作用に加えて、帯域分割手段は、2次元Y階層ウェーブレット変換処理を行って、最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分割する。
【0020】請求項7記載の発明は、請求項1乃至請求項5のいずれかに記載の発明において、前記帯域分割手段は、(2Y×2Y)画素を一のブロックとし(Y:2以上の整数)、(2Y×2Y)個の離散コサイン変換係数を生成する離散コサイン変換処理を行い、前記(2Y×2Y)個の離散コサイン変換係数を最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分配するように構成する。
【0021】請求項7記載の発明によれば、請求項1乃至請求項5のいずれかに記載の発明の作用に加えて、帯域分割手段は、(2Y×2Y)画素を一のブロックとし(Y:2以上の整数)て離散コサイン変換処理を行い、(2Y×2Y)個の離散コサイン変換係数を最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分配する。
【0022】請求項8記載の発明は、入力データを複数の帯域に分割する帯域分割工程と、1サンプル当たりのビット数であるビットレートの平均値である平均ビットレートRTのときの重み付き平均二乗歪みをD*Tとし、前記重み付き平均二乗歪みD*Tが一定、かつ、前記平均ビットレートRTが最小となるように前記分割した帯域毎に量子化ビット数を定める量子化ビット数制御工程と、前記定められた量子化ビット数で前記帯域分割された前記入力データを量子化する量子化工程と、前記量子化された入力データを符号化する符号化工程と、を備えて構成する。
【0023】請求項8記載の発明によれば、帯域分割工程は、入力データを複数の帯域に分割する。量子化ビット数制御工程は、1サンプル当たりのビット数であるビットレートの平均値である平均ビットレートRTのときの重み付き平均二乗歪みD*Tが一定、かつ、平均ビットレートRTが最小となるように分割した帯域毎に量子化ビット数を定める。
【0024】量子化工程は、定められた量子化ビット数で帯域分割された入力データを量子化する。符号化工程は、量子化された入力データを符号化する。請求項9記載の発明は、請求項8記載の発明において、前記量子化ビット数制御工程は、各前記帯域の量子化ビット数をRとし(R;0以上、かつ、最大量子化ビット数Rmax以下の整数)、前記量子化ビット数R及び予め算出した前記量子化ビット数Rに対応する(1)式で表される判別値Fの値を記憶する判別値記憶工程と、
【0025】
【数13】
各前記帯域の分散をσ2とし、各前記帯域の重みをBとし、分散σ2と重みBの積Gを(2)式により算出する積算出工程と、 G=σ2・B (2)
前記判別値F及び積Gに基づいて前記積Gに最も近い値を有する前記判別値Fに対応する前記量子化ビット数Rを当該分割した帯域について定めるべき量子化ビット数とする量子化ビット数判別工程と、を備えて構成する。
【0026】請求項9記載の発明によれば、請求項8記載の発明の作用に加えて、量子化ビット数制御工程の判別値記憶工程は、量子化ビット数R及び予め算出した量子化ビット数Rに対応する(1)式で表される判別値Fの値を記憶する。積算出工程は、分散σ2と重みBの積Gを(2)式により算出する。
【0027】量子化ビット数判別工程は、判別値F及び積Gに基づいて積Gに最も近い値を有する判別値Fに対応する量子化ビット数Rを当該分割した帯域について定めるべき量子化ビット数とする。請求項10記載の発明は、請求項8記載の発明において、前記量子化ビット数制御工程は、各前記帯域の量子化ビット数をRとし(R;0以上、かつ、最大量子化ビット数Rmax以下の整数)、量子化ビット数R=X(X=0以上、かつ、最大量子化ビット数Rmax−1以下の整数)に対応する(1)式で表される判別値FX及び量子化ビット数R=X+1に対応する(2)式で表される判別値F(X+1)の相乗平均値Hを前記量子化ビット数に対応づけて記憶する相乗平均値記憶工程と、
【0028】
【数14】
【0029】
【数15】
各前記帯域の分散をσ2とし、各前記帯域の重みをBとし、分散σ2と重みBの積Gを(3)式により算出する積算出工程と、 G=σ2・B (3)
前記積Gと前記相乗平均値Hの大小関係に基づいて当該分割した帯域について量子化ビット数を定める量子化ビット数判別工程と、を備えて構成する。
【0030】請求項10記載の発明によれば、請求項8記載の発明の作用に加えて、量子化ビット数制御工程の相乗平均値記憶工程は、量子化ビット数R=Xに対応する(1)式で表される判別値FX及び量子化ビット数R=X+1に対応する(2)式で表される判別値F(X+1)の相乗平均値Hを量子化ビット数に対応づけて記憶する。
【0031】積算出工程は、分散σ2と重みBの積Gを(3)式により算出する。量子化ビット数判別工程は、積Gと相乗平均値Hの大小関係に基づいて当該分割した帯域について量子化ビット数を定める。請求項11記載の発明は、請求項8乃至請求項10のいずれかに記載の発明において、前記量子化ビット数制御工程は、各前記帯域の標準偏差σを算出する標準偏差算出工程を備え、前記量子化工程は、前記量子化を行うに際し、前記標準偏差に基づいて各前記帯域の分散σ2が1となるように正規化を行う正規化工程を備えて構成する。
【0032】請求項11記載の発明によれば、請求項8乃至請求項10のいずれかに記載の発明の作用に加えて、量子化ビット数制御工程の標準偏差算出工程は、各帯域の標準偏差σを算出する。量子化工程の正規化工程は、量子化を行うに際し、標準偏差に基づいて各帯域の分散σ2が1となるように正規化を行う。
【0033】請求項12記載の発明は、請求項8乃至請求項10のいずれかに記載の発明において、前記量子化ビット数制御工程は、各前記帯域の標準偏差σを算出する標準偏差算出工程を備え、前記量子化工程は、前記標準偏差に基づいて前記量子化を行う際の量子化ステップ幅を制御して標準偏差σでスケーリングする量子化ステップ幅制御工程を備えて構成する。
【0034】請求項12記載の発明によれば、請求項8乃至請求項10のいずれかに記載の発明の作用に加えて、量子化ビット数制御工程の標準偏差算出工程は、各帯域の標準偏差σを算出する。量子化工程の量子化ステップ幅制御工程は、標準偏差に基づいて量子化を行う際の量子化ステップ幅を標準偏差σでスケーリングする。
【0035】請求項13記載の発明は、請求項8乃至請求項12のいずれかに記載の発明において、前記帯域分割工程は、2次元Y階層ウェーブレット変換処理(Y:2以上の整数)を行い、最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分割するように構成する。
【0036】請求項13記載の発明によれば、請求項8乃至請求項12のいずれかに記載の発明の作用に加えて、帯域分割工程は、2次元Y階層ウェーブレット変換処理を行って、最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分割する。
【0037】請求項14記載の発明は、請求項8乃至請求項12のいずれかに記載の発明において、前記帯域分割工程は、(2Y×2Y)画素を一のブロックとし(Y:2以上の整数)て、(2Y×2Y)個の離散コサイン変換係数を生成する離散コサイン変換処理を行って、前記(2Y×2Y)個の離散コサイン変換係数を最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分配するように構成する。
【0038】請求項14記載の発明によれば、請求項8乃至請求項12のいずれかに記載の発明の作用に加えて、帯域分割工程は、離散コサイン変換処理を行って、(2Y×2Y)個の離散コサイン変換係数を最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分配する。
【0039】請求項15記載の発明は、符号化装置に入力データの符号化を行わせるための符号化プログラムを記憶した符号化プログラム記憶媒体であって、入力データを複数の帯域に分割し、1サンプル当たりのビット数であるビットレートの平均値である平均ビットレートRTのときの重み付き平均二乗歪みをD*Tとし、前記重み付き平均二乗歪みD*Tが一定、かつ、前記平均ビットレートRTが最小となるように前記分割した帯域毎に量子化ビット数を定め、前記定められた量子化ビット数で前記帯域分割された前記入力データを量子化し、前記量子化された入力データを符号化する、符号化プログラムを記憶して構成する。
【0040】請求項15記載の発明によれば、符号化装置は、符号化プログラムにより、入力データを複数の帯域に分割し、重み付き平均二乗歪みD*Tが一定、かつ、平均ビットレートRTが最小となるように分割した帯域毎に量子化ビット数を定め、定められた量子化ビット数で帯域分割された入力データを量子化し、量子化された入力データを符号化する。
【0041】請求項16記載の発明は、請求項15記載の発明において、各前記帯域の量子化ビット数をRとし(R;0以上、かつ、最大量子化ビット数Rmax以下の整数)、前記量子化ビット数R及び予め算出した前記量子化ビット数Rに対応する(1)式で表される判別値Fの値を記憶し、
【0042】
【数16】
各前記帯域の分散をσ2とし、各前記帯域の重みをBとし、分散σ2と重みBの積Gを(2)式により算出し、 G=σ2・B (2)
前記判別値F及び積Gに基づいて前記積Gに最も近い値を有する前記判別値Fに対応する前記量子化ビット数Rを当該分割した帯域について定めるべき量子化ビット数とする符号化プログラムを記憶して構成する。
【0043】請求項16記載の発明によれば、請求項15記載の発明の作用に加えて、量子化ビット数R及び予め算出した量子化ビット数Rに対応する(1)式で表される判別値Fの値を記憶し、分散σ2と重みBの積Gを(2)式により算出し、判別値F及び積Gに基づいて積Gに最も近い値を有する判別値Fに対応する量子化ビット数Rを当該分割した帯域について定めるべき量子化ビット数とする。
【0044】請求項17記載の発明は、請求項15記載の発明において、各前記帯域の量子化ビット数をRとし(R;0以上、かつ、最大量子化ビット数Rmax以下の整数)、量子化ビット数R=X(X=0以上、かつ、最大量子化ビット数Rmax−1以下の整数)に対応する(1)式で表される判別値FX及び量子化ビット数R=X+1に対応する(2)式で表される判別値F(X+1)の相乗平均値Hを前記量子化ビット数に対応づけて記憶し、
【0045】
【数17】
【0046】
【数18】
各前記帯域の分散をσ2とし、各前記帯域の重みをBとし、分散σ2と重みBの積Gを(3)式により算出し、 G=σ2・B (3)
前記積Gと前記相乗平均値Hの大小関係に基づいて当該分割した帯域について量子化ビット数を定める、符号化プログラムを記憶して構成する。
【0047】請求項17記載の発明によれば、請求項15記載の発明の作用に加えて、量子化ビット数R=Xに対応する(1)式で表される判別値FX及び量子化ビット数R=X+1に対応する(2)式で表される判別値F(X+1)の相乗平均値Hを量子化ビット数に対応づけて記憶し、分散σ2と重みBの積Gを(3)式により算出し、積Gと相乗平均値Hの大小関係に基づいて当該分割した帯域について量子化ビット数を定める。
【0048】請求項18記載の発明は、請求項15乃至請求項17のいずれかに記載の発明において、各前記帯域の標準偏差σを算出し、前記量子化を行うに際し、前記標準偏差に基づいて各前記帯域の分散σ2が1となるように正規化を行う、符号化プログラムを記憶して構成する。
【0049】請求項18記載の発明によれば、請求項15乃至請求項17のいずれかに記載の発明の作用に加えて、符号化プログラムは各帯域の標準偏差σを算出し、量子化を行うに際し、標準偏差に基づいて各帯域の分散σ2が1となるように正規化を行う。
【0050】請求項19記載の発明は、請求項15乃至請求項17のいずれかに記載の発明において、各前記帯域の標準偏差σを算出し、前記標準偏差に基づいて前記量子化を行う際の量子化ステップ幅を標準偏差σでスケーリングする符号化プログラムを記憶して構成する。
【0051】請求項19記載の発明によれば、請求項15乃至請求項17のいずれかに記載の発明の作用に加えて、符号化プログラムは、各帯域の標準偏差σを算出し、標準偏差に基づいて量子化を行う際の量子化ステップ幅を標準偏差σでスケーリングする。
【0052】請求項20記載の発明は、請求項15乃至請求項19のいずれかに記載の発明において、前記帯域分割は、2次元Y階層ウェーブレット変換処理であり(Y:2以上の整数)、最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分割する、符号化プログラムを記憶して構成する。
【0053】請求項20記載の発明によれば、請求項15乃至請求項19のいずれかに記載の発明の作用に加えて、符号化プログラムは、2次元Y階層ウェーブレット変換処理を行って、最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分割する。
【0054】請求項21記載の発明は、請求項15乃至請求項19のいずれかに記載の発明において、前記帯域分割は、(2Y×2Y)画素を一のブロックとし(Y:2以上の整数)、(2Y×2Y)個の離散コサイン変換係数を生成する離散コサイン変換処理であり、前記(2Y×2Y)個の離散コサイン変換係数を最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分配する、符号化プログラムを記憶して構成する。
【0055】請求項21記載の発明によれば、請求項15乃至請求項19のいずれかに記載の発明の作用に加えて、符号化プログラムは、(2Y×2Y)個の離散コサイン変換係数を最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分配する。
【0056】
【発明の実施の形態】次に図面を参照して本発明の好適な実施形態について説明する。図1にサブバンド符号化の方法としてウェーブレット変換を用いた映像記録再生装置の概要構成ブロック図を示す。
【0057】映像記録再生装置1は、大別すると、1フレーム分の入力データDGをウェーブレット変換し、量子化し、符号化し、フレーム単位で所定のデータフォーマットに変換(フォーマッティング)して符号化フレームデータDFLとして出力するエンコーダ2と、符号化フレームデータを記憶する記憶媒体としてのメモリ3と、メモリから読み出した符号化フレームデータDFLを逆フォーマッティングし、復号化し、逆量子化し、逆ウェーブレット変換を行って再生データDPGとして出力するデコーダ4と、を備えて構成されている。エンコーダ2は、1フレーム分の入力データDGを2次元ウェーブレット変換し、複数のサブバンドデータDSBを生成して出力するウェーブレット変換部5と、順次入力されたサブバンドデータDSBに基づいて、当該サブバンドデータDSBの量子化ビット数を算出し、ビット割当情報データDBTとして出力するとともに、後述の標準偏差σm,dを出力する適応ビット割当部6と、順次入力されたサブバンドデータDSBを対応するビット割当情報データDBTに基づいて量子化し、量子化データDQSBとして出力する量子化部7と、量子化データDQSBを2次元ハフマン符号化し符号化データDENとして出力するハフマン符号部8と、ビット割当情報データDBT、標準偏差σm,d及び1フレームに対応する複数の符号化データDENに基づいて所定のフォーマットを有するフレームデータDFLを生成し、出力するフォーマッタ部9と、を備えて構成されている。
【0058】デコーダ4は、メモリ3から読み出したフレームデータDFLを逆フォーマッティングし、符号化データDENを取り出し、ビット割当情報データDBT及び標準偏差σm,dを分離して出力する逆フォーマッタ部10と、入力された符号化データDENを2次元ハフマン復号化し、復号化データDDEとして出力するハフマン復号部11と、ビット割当情報データDBT及び標準偏差σm,dに基づいて復号化データDDEを逆量子化し、逆量子化サブバンドデータDRSBとして出力する逆量子化部12と、逆量子化サブバンドデータDRSBを2次元逆ウェーブレット変換して再生データDPGとして出力するウェーブレット逆変換部13と、を備えて構成されている。
【0059】図2に適応ビット割当部及び量子化部の概要構成ブロック図を示す。適応ビット割当部6は、M階層2次元ウェーブレット変換(Mは、自然数)において、m階層(mは、M以下の自然数)、サブバンド方向d(d=1:垂直方向、d=2:水平方向、d=3:対角方向)のサブバンドデータDSBの分散σ2m,dを算出するとともに、分散σ2m,dの算出の際に得られる標準偏差σm,dを出力する分散計算部15と、分散σ2m,dに、サブバンドSB(m,d)に対する重みBm,dを乗じて得られる判別用データD、すなわち、D=σ2m,d・Bm,dを出力する重み乗算部16と、判別用データDに基づいて予め設定した判別境界テーブルを参照し、階層m、方向dのサブバンドSBm,dの量子化ビット数Rm,d(Rm,dは、量子化可能ビット数範囲内の値をとる。図2では、0、1、…、N)を算出し、ビット割当情報データDBTを出力する判別境界テーブル参照部17と、を備えて構成されている。
【0060】量子化部7は、入力されたサブバンドデータDSBを標準偏差σm,dで除することにより、分散σ2m,d=1となるようにサブバンドデータDSBの正規化を行い正規化サブバンドデータDNSBを出力する正規化部20と、正規化サブバンドデータDNSBを0、1、…、Nビットのいずれかで量子化する0ビット量子化器21-0、1ビット量子化器21-1、…、Nビット量子化器21-Nと、判別境界テーブル参照部17により出力されたビット割当情報データDBTに基づいて、協働して0ビット量子化器21-0、1ビット量子化器21-1、…、Nビット量子化器21-Nのうちのいずれかの量子化器の入力端子を正規化部20に接続し、当該量子化器の出力端子をハフマン符号部8に接続する切換スイッチSW1、SW2と、を備えて構成されている。
1)エンコーダの動作まず、ウェーブレット変換部11の概要動作(3階層2次元ウェーブレット変換;M=3相当)について図3及び図4を参照して説明する。
【0061】3階層2次元ウェーブレット変換は、図3に示すように、1階層毎に第1の方向(図3では水平方向)に1次元のサブバンド分割を行い、さらに第2の方向(図3では垂直方向)に1次元のサブバンド分割を行うという処理を、当該階層で最も低域のサブバンドに再帰的に適用することによって実現できる。
【0062】図4において、記号「L」及び記号「H」は、ウェーブレット理論に基づいて設計されたクアドラチャミラーフィルタ(QMF)あり、記号「L」は低域通過フィルタを表し、記号「H」は高域通過フィルタを表している。この場合において、低域通過フィルタL及び高域通過フィルタHのインパルス応答をそれぞれl(n)及びh(n)とすると、h(n)=(−1)(1-n)l(1−n)
の関係を有している。
【0063】また記号「↓2」は、1/2サブサンプリングを表している。さらに1対の「L↓2」及び「H↓2」は分割フィルタ対を構成している。次にウェーブレット変換部5の詳細動作を説明する。
a) 第1階層入力された画像データDGを水平方向にサブバンド分割を行い、図示しない第1フレームメモリ上に低域信号及び高域信号を分割記録する。
【0064】次に第1フレームメモリ上のデータに基づいて、垂直方向にサブバンド分割を行い、図3に示すように、図示しない第2フレームメモリ上にサブバンドLL1、SB(1,1)、SB(1,2)、SB(1,3)の4つのサブバンドを分割記録する。
b) 第2階層続いて、サブバンドLL1、SB(1,1)、SB(1,2)、SB(1,3 )のうち最も低域のサブバンドLL1を水平方向にサブバンド分割し、図示しない第1フレームメモリ上に低域信号及び高域信号を分割記録する。
【0065】次に第1フレームメモリ上のサブバンドLL1に対応する領域上のデータに基づいて垂直方向にサブバンド分割を行い、図3に示すように、図示しない第2フレーム上のサブバンドLL1に対応する領域にサブバンドLL2、SB(2,1)、SB(2,2)、SB(2,3 )の4つのサブバンドを分割記録する。
c) 第3階層同様に、サブバンドLL2、SB(2,1)、SB(2,2)、SB(2,3 )のうち最も低域のサブバンドLL2を水平方向にサブバンド分割し、図示しない第1フレームメモリ上に低域信号及び高域信号を分割記録する。
【0066】次に第1フレームメモリ上のサブバンドLL2に対応する領域上のデータに基づいて垂直方向にサブバンド分割を行い、図3に示すように、第2フレームメモリ上のサブバンドLL2に対応する領域にサブバンドSB(3,0)、SB(3,1)、SB(3 ,2)、SB(3,3 )の4つのサブバンドを分割記録する。
【0067】これらの第1階層〜第3階層の2次元ウェーブレット変換を行うことにより入力された画像データDGは、サブバンドSB(3,0)〜SB(1,3)の10個のサブバンドに分割されることとなる。同様にして、M階層2次元ウェーブレット変換を行うと、得られるサブバンド分割数SBNは、SBN=3×M+1(個)
となる。この場合において、サブバンドSB(M,0)、例えば、上述の場合サブバンドSB(3,0)の信号は直流成分を含むので、差分符号化することにより直流成分を除き、その平均値を0とする。なお、他のサブバンドSB(M,1)〜(1,3 )の信号の平均値は0である。
【0068】これらの第1階層〜第3階層の2次元ウェーブレット変換を行うことにより入力された画像データDGは、サブバンドデータDSB(3,0)〜DSB(1,3)の10個のサブバンドデータに分割される。これらのサブバンドデータDSB(3,0)〜DSB(1,3)はサブバンド画像データDSBを構成する。
【0069】このようにして画像データDGをウェーブレット変換することにより得られたサブバンド画像データDSB(=サブバンドデータDSB(3,0)〜DSB(1,3))は適応ビット割当部6及び量子化部7に出力される。
2)適応ビット割当部の動作次に、適応ビット割当部におけるビット割当について詳細に説明する。
【0070】1サンプル当たりのビット数の平均値である平均ビットレートRT[bits/sample]は、
【0071】
【数19】
で表される。ここで、RM,0:M階層2次元ウェーブレット変換を行った場合に最も低域の(最も解 像度の低い)サブバンドSB(M,0)の量子化ビット数[bits/sample]
Rm,d:階層m、方向d(d=1:水平、d=2:垂直、d=3:対角)のサ ブバンドSB(m,d)の量子化ビット数[bits/sample]である。
【0072】このときの重み付き平均二乗歪みD*Tは、
【0073】
【数20】
となる。ここで、DM,0:量子化ビット数RM,0のときのサブバンドSB(M,0)の平均二乗歪みBM,0:サブバンドSB(M,0)に対する重みDm,d:量子化ビット数Rm,dのときのサブバンドSB(m,d)の平均二乗歪みBm,d:サブバンドSB(m,d)に対する重みである。
【0074】この場合において、最適な量子化ビット割当を行うため、すなわち、符号量の無駄を抑制し、かつ、画質を安定させるためには、各フレームの重み付き平均二乗歪みD*Tが一定の条件下で、符号量が最小となるようにすればよい。より詳細には、重み付き平均二乗歪みD*Tが一定の条件下で、平均ビットレートRTを最小とする量子化ビット数Rm,dを各サブバンド毎に求めればよい。
【0075】そこでラグランジェの未定乗数法を用いて(3)式で表されるラグランジェ関数Lを最小化する。
【0076】
【数21】
ところで、サブバンドSB(m,d)の平均二乗歪みDm,dをレート歪み理論を用い、サブバンドSB(m,d)の信号の分散σ2m,dと量子化ビット数Rm,dとの関係で表すと、
【0077】
【数22】
という関係がある。ここで、パラメータδは、入力信号の確率密度関数及びこの確率密度関数に対して設計した量子化器によって定まる値である。(4)式を(3)式に代入し、量子化ビット数Rm,dで偏微分してその値を0として、(5)式を得る。
【0078】
【数23】
(5)式を変形することにより、(6)式が得られる。
【0079】
【数24】
この(6)式を(4)式に代入することにより、量子化ビット数Rm,dのときのサブバンドSB(m,d)の平均二乗歪みDm,dは、(7)式のように表すことができる。
【0080】
【数25】
得られた(7)式を(2)式に代入することにより、重み付き平均二乗歪みD*Tは、
【0081】
【数26】
で表すことができる。この(8)式を(6)式に代入することにより、(9)式が得られる。
【0082】
【数27】
この(9)式を変形することにより、最適な量子化ビット数Rm,dは、
【0083】
【数28】
となる。ところで、後述するように、パラメータδは量子化ビット数Rの関数であるので、(10)式を変形して、以下に示す(11)式を満足する量子化ビット数Rm,dを求めれば良いこととなる。
【0084】
【数29】
さらに量子化ビット数Rm,dは、整数値しかとらないので、(12)式を満たす整数値の量子化ビット数Rm,dを算出すればよい。
【0085】
【数30】
(12)式からわかるように、重み付き平均二乗歪みD*Tが与えられたとき、各サブバンドSB(m,d)の量子化ビット数Rm,dは、サブバンドSB(m,d)のパラメータδ(Rm,d)、各サブバンドSB(m,d)の分散σ2m,d及びサブバンドSB(m,d)に対する重みBm,dによって決まる。
【0086】そこで、以下、重み付き平均二乗歪みD*T、パラメータδ(Rm,d)、分散σ2m,d及び重みBm,dの算出について説明する。
a) 重み付き平均二乗歪みD*Tの算出入力画像の符号化の場合には、SN比SNRは、ピークSN比SNRpで表すのが一般的であり、原画像が8ビット量子化により行われている場合、
【0087】
【数31】
で表される。従って、所望のSNRpが与えられれば、(14)式により重み付き平均二乗歪みD*Tが求まる。
【0088】
【数32】
b) パラメータδ(Rm,d)の算出Rビットで量子化したときの信号の分散σ2と平均二乗歪みDの比は、(4)式より、
【0089】
【数33】
となる。(15)式をデシベル(dB)で表したものをSNR(R)とすると、
【0090】
【数34】
となる。ところで、信号振幅分布の確率密度関数が与えられれば、SN比を最大にするための最適な量子化器を設計することができ、この最適な量子化器を用いた場合の最大のSN比SNR(R)を求めることができる。
【0091】この求めたSN比SNR(R)を(16)式に代入することにより、パラメータδ(R)が求まることとなる。
【0092】
【数35】
一例として確率密度関数をラプラス分布とし、量子化ビット数R=1〜8[bit(s)]の場合の最適非一様量子化器におけるSN比SNR(R)及びパラメータδ(R)の値を図5に示す。例えば、量子化ビット数R=3の場合には、SNR(R)=12.64[dB]
δ(R) =0.9003となる。
【0093】c) 分散σ2m,dの算出分散σ2m,d は、(18)式により算出することができる。
【0094】
【数36】
ここで、xiはサブバンド信号、Nm,dはサブバンド内のサンプル数である。
d) サブバンドの重みBm,dの算出文献[M.Antonini,M.Barlaud,P.Mathieu,and,I.Daubechies,"Image Coding Using Wavelet Transform",IEEE Trans. Image Proc.,vol.1,pp.205-220,April,1992]によれば、サブバンドの重みBm,dは、(19)式により与えられる。
【0095】
【数37】
この場合において、γとβm,dは人間の視覚特性に合うように実験的に定められる値である。なお、このサブバンドの重みBm,dは、その都度演算により求めることも可能であるが、各サブバンド毎に予め求めておくように構成することも可能である。
【0096】以上の説明のように、重み付き平均二乗歪みD*T、パラメータδ(Rm,d)及び分散σ2m,d、サブバンドの重みBm,dを得ることができるので、これらを用いて(12)式を満たす量子化ビット数Rm,dを算出することができる。ところで、(12)式は、対数演算を含むので、計算が煩雑になる。
【0097】そこで、実際には、以下のようにすることにより演算の簡略化を図っている。(9)式より、重み付き平均二乗歪みD*T、パラメータδ(Rm,d)及び分散σ2m,d及びサブバンドの重みBm,dの間には、
【0098】
【数38】
の関係がある。従って、整数値をとる量子化ビット数Rに対して、
【0099】
【数39】
を算出し、図6に示すように、メモリ上にテーブルを作成して格納しておく。なお、図6は、ピークSN比SNRp=40[dB](D*T=6.5)の場合である。
【0100】そして、各サブバンドSBm,dについて、分散σ2m,dと、サブバンドの重みBm,dと、の積Gを求める、G=σ2m,d・Bm,dそして、得られた積Gに基づいて、テーブル(図6参照)を参照し、最も近い(21)式の値に対応する量子化ビット数Rを選択する。
【0101】さらに簡略化するためには、量子化ビット数Rを量子化ビット数R=Y(Y:0、1、…、7[bit(s)])あるいは量子化ビット数R=Y+1の何れにすべきかを判別するための判別境界(値)及び量子化ビット数R(図6参照)のみを予めメモリにテーブルとして登録しておけばよい。
【0102】この結果、得られた積Gの値を判別境界(値)と比較することにより、迅速に量子化ビット数Rを割り当てることが可能となる。この場合において、(21)式は量子化ビット数Rの増加に対して指数関数的に増加するので、判別境界(値)は、量子化ビット数R=Y及び量子化ビット数R=Y+1にそれぞれ対応する、
【0103】
【数40】
の値の相乗平均値とする。実際の判別としては、積Gの値が100である場合には、66.5<100<224.8であるので(図6参照)、量子化ビット数R=3となる。
3)量子化部の動作次に量子化部7の動作について図2を参照して説明する。
【0104】量子化部7の正規化部20は、サブバンド画像データDSB(=サブバンドデータDSB(3,0)〜DSB(1,3))が入力されると、当該入力されたサブバンドデータDSBを標準偏差σm,dで除することにより、分散σ2m,d=1となるようにサブバンドデータDSBの正規化を行い正規化サブバンドデータDNSBを切換スイッチSW1の入力端子に出力する。
【0105】この正規化サブバンドデータDNSBの入力に先立って、切換スイッチSW1、SW2を、当該正規化サブバンドデータDNSBに対応する判別境界テーブル参照部17により出力されたビット割当情報データDBTに対応するビット数で量子化が可能な0ビット量子化器21-0、1ビット量子化器21-1、…、Nビット量子化器21-Nのうちのいずれか一の量子化器に接続しておく。
【0106】この結果、切換スイッチSW1に入力された正規化サブバンドデータDNSBはビット割当情報データDBTに対応するビット数を有する量子化データDQSBとしてハフマン符号部8に切換スイッチ2を介して出力する。
4)ハフマン符号部及びフォーマッタ部の動作ハフマン符号部8は、入力された量子化データDQSBを2次元ハフマン符号化し符号化データDENとしてフォーマッタ部9に出力する。
【0107】フォーマッタ部9は、適応ビット割当部6により入力されたビット割当情報データDBT及び1フレームに対応する複数の符号化データDENに基づいて所定のフォーマットを有する符号化フレームデータDFLを生成し、メモリ3に出力する。
5)メモリの物理フォーマット図7にメモリの物理フォーマットを示す。
【0108】メモリ3は、大別すると、画像シーケンスのファイル名、当該画像シーケンスに対応するファイルのスタートセクタ番号、当該画像シーケンスに対応するファイルのエンドセクタ番号、当該ファイルのファイルサイズ、記録時間などのディレクトリ情報を記憶するディレクトリ領域3Aと、フレームデータDFLを記憶するプログラム領域3Bとを備えて構成されており、ディレクトリ領域3Aを参照することにより、メモリ3内に記録されている画像シーケンス数、各画像シーケンスの先頭位置及び記録時間などが分かることとなる。
【0109】より詳細には、メモリ3は、(N+1)個のセクタ(例えば、各セクタは2048バイトで構成)で構成されており、ディレクトリ領域3Aは第0セクタ(図中、セクタ0と表記)SC0が割り当てられ、プログラム領域3Bは第1セクタ(図中、セクタ1と表記)SC1〜第Nセクタ(図中、セクタNと表記)SCNのN個のセクタが割り当てられている。
【0110】さらに実際の符号化画像データDENは、フレームに対応するフレームデータ単位でプログラム領域3Bに格納され、各フレームデータDFL1〜DFLLは各フレームデータDFL1、…、DFLLの先頭検出を容易とするため、必ず、各セクタSC1〜SCNの先頭からデータが書き込まれ、当該フレームデータに対応する最後のセクタのデータが存在しない領域にはダミーデータとしてのゼロデータが書き込まれる。
【0111】例えば、第1フレームデータDFL1は、第1セクタSC1の先頭からデータが記録され、第nセクタSCnの途中まで記録され、第nセクタの残りの部分にはゼロデータがダミーデータとして書き込まれることとなる。そして次の第(n+1)セクタSC(n+1)の先頭から第2フレームデータが書き込まれることとなる。
【0112】6)フレームデータの構成図8にフレームデータDFLのデータ構成図を示す。フレームデータDFLは、大別すると、インデックス情報部30と、画像データ部31と、を備えて構成されている。
【0113】インデックス情報部30は、フレームデータの先頭を表すSOF(Start Of Frame)データ32と、フレーム番号(Frame No.)を表すフレーム番号データ33と、当該フレームの総バイト数を表すフレームバイト数カウントデータ34と、を備えて構成されている。
【0114】画像データ部31は、各サブバンド毎の輝度信号(Y)成分データ、R−Y色差信号成分データ及びB−Y色差信号成分データを備えて構成されており、より具体的には、サブバンドSB(3,0)の輝度信号成分に対応する輝度信号(Y)成分データSB0Y、サブバンドSB(3,0)のR−Y色差信号成分に対応するR−Y色差信号成分データSB0R、サブバンドSB(3,0)のB−Y色差信号成分に対応するB−Y色差信号成分データSB0B、サブバンドSB(3,1)の輝度信号(Y)成分データSB1Y、……、サブバンドSB(1,3)の輝度信号成分に対応する輝度信号(Y)成分データSB9Y、サブバンドSB(1,3)のR−Y色差信号成分に対応するR−Y色差信号成分データSB9R及びサブバンドSB(1,3)のB−Y色差信号成分に対応するB−Y色差信号成分データSB9Bを備えて構成されている。
【0115】ここで、輝度信号(Y)成分データとして、サブバンドSB(3,1)の輝度信号(Y)成分データSB1Yを例として説明する。輝度信号(Y)成分データSB1Yは、当該サブバンドSB(3,1)の先頭であることを表すSOS(Start Of Subband)データ40と、当該サブバンドSB(3,1)の量子化ビット数(Q Bit)を表すデータ41と、当該サブバンドSB(3,1)の標準偏差を表すスケールファクター(SCF)データ42と、当該サブバンドSB(3,1)のバイト数を表すサブバンドバイト数カウントデータ43と、2次元ハフマン符号化されたサブバンドのデータであるハフマン符号化データ44と、を備えて構成されている。
【0116】7)デコーダの動作ここで、具体的なデコーダ4の動作について説明する。まず、再生指令が入力されると、逆フォーマッタ部10は、メモリ3から再生指令に対応するフレームデータDFLを読み出し、フレームデータDFLを逆フォーマッティングし、符号化データDENを取り出し、ハフマン復号部11に出力するとともに、ビット割当情報データDBT及び標準偏差σm,dを分離して逆量子化部12に出力する。
【0117】ハフマン復号部11は、入力された符号化データDENを2次元ハフマン復号化し、復号化データDDEとして逆量子化部12に出力する。逆量子化部12は、ビット割当情報データDBT及び標準偏差σm,dに基づいて復号化データDDEを逆量子化し、逆量子化サブバンドデータDRSB(=逆量子化サブバンドデータDRSB(3,0)〜DRSB(1,3))としてウェーブレット逆変換部13に出力する。
【0118】逆ウェーブレット逆変換部13は、逆量子化サブバンドデータDRSBを2次元逆ウェーブレット変換して再生データDPGとして出力する。
8)ウェーブレット逆変換部の動作次にウェーブレット逆変換部13の概要動作(3階層2次元ウェーブレット逆変換)について説明する。
【0119】3階層2次元ウェーブレット逆変換は、第1の方向(例えば、垂直方向)に1次元のサブバンド合成を行い、さらに第2の方向(例えば、水平方向)に1次元のサブバンド合成を行うという処理を行い、さらに二つの合成結果を順次再合成することによって実現できる。
【0120】次にウェーブレット逆変換部13の詳細動作を図3及び図9を参照して説明する。図9において、記号「L」は低域通過フィルタを表し、記号「H」は高域通過フィルタを表す。また記号「↑2」は、2倍のアップサンプリングを表している。更に一対の「↑2L」と「↑2H」は合成フィルタ対を構成している。
【0121】そして、逆量子化サブバンドデータDRSB(m,d)は、第1のフレームメモリ上に図3に示すように記録される。
a) 第3階層逆量子化サブバンドデータDRSB(3,0)と逆量子化サブバンドデータDRSB(3,1)とは、第3階層第1垂直方向合成フィルタ対によって合成され、図示しない第2フレームメモリ上に水平方向低域信号として記録される。
【0122】一方、逆量子化サブバンドデータDRSB(3,2)と逆量子化サブバンドデータDRSB(3,3)とは、第3階層第2垂直合成フィルタ対によって合成され、図示しない第2フレームメモリ上に水平方向高域信号として記録される。サブバンドデータDRSB(3,0)及びサブバンドデータDRSB(3,1)の垂直方向合成結果である低域信号並びに逆量子化サブバンドデータDRSB(3,2)及び逆量子化サブバンドデータDRSB(3,3)の垂直方向合成結果である高域信号は、第3階層水平合成フィルタ対によって合成され、サブバンドデータLL2として、第1フレームメモリFM1上の対応する領域に記録される。
【0123】b) 第2階層サブバンドデータLL2と逆量子化サブバンドデータDRSB(2,1)とは、第2階層第1垂直方向合成フィルタ対によって合成され図示しない第2フレームメモリ上に水平方向低域信号として記録される。
【0124】一方、逆量子化サブバンドデータDRSB(2,2)と逆量子化サブバンドデータDRSB(2,3)とは、第2階層第2垂直方向合成フィルタ対によって合成され、図示しない第2フレームメモリ上に水平方向高域信号として記録される。逆量子化サブバンドデータLL2及び逆量子化サブバンドデータDRSB(2,1)の垂直方向合成結果である低域信号並びに逆量子化サブバンドデータDRSB(2,2)及び逆量子化サブバンドデータDRSB(2,3)の垂直方向合成結果である高域信号は第2階層水平合成フィルタ対によって合成され、逆量子化サブバンドデータLL1として、第1フレームメモリ上の対応する記録される。
【0125】c) 第1階層逆量子化サブバンドデータLL1と逆量子化サブバンドデータDRSB(1,1)とは、第1階層第1垂直方向合成フィルタ対によって合成され図示しない第2フレームメモリ上に水平方向低域信号として記録される。
【0126】一方、逆量子化サブバンドデータDRSB(1,2)と逆量子化サブバンドデータDRSB(1,3)とは、第1階層第2垂直方向合成フィルタ対によって合成され図示しない第2フレームメモリ上に水平方向高域信号として記録される。サブバンドデータLL1及び逆量子化サブバンドデータDRSB(1,1)の垂直方向合成結果である低域信号並びに逆量子化サブバンドデータDRSB(1,2)及び逆量子化サブバンドデータDRSB(1,3)の垂直方向合成結果である高域信号は第1階層水平合成フィルタ対によって復号画像データDPGとして、第1フレームメモリ上に記録されることとなる。
【0127】そして復号画像データDPGはD/A変換されて画像信号とされ、図示しないディスプレイに出力される。この結果、ディスプレイの画面上には復号された画像が表示されることとなる。
【0128】以上の説明のように、本第1実施形態によれば、重み付き平均二乗歪みが一定という条件下で、符号量(平均ビットレート)が最小になるように構成することにより、複雑な画面に対しては多くの符号量を割り当て、単純な画面に対しては少ない符号量を割り当てるようにしているので、半導体メモリのような駆動機構がなく高速処理が可能ではあるが、容量の小さな記憶媒体を用いる場合でも、符号量の無駄を押さえ、かつ、画質の安定した映像を得られることとなる。
【0129】以上の第1実施形態においては、2次元3階層ウェーブレット変換処理を行う場合について説明したが、2次元Y階層ウェーブレット変換処理(Y:2以上の整数)を行う場合にも本発明の適用が可能である。すなわち、、最も低域のサブバンドであるサブバンドSB(Y,0)から最も高域のサブバンドであるサブバンドSB(1,3)までの(3・Y+1)個のサブバンドを構成するサブバンドデータDSB(Y,0)〜DSB(1,3)を生成するように構成すればよい。
第2実施形態以上の第1実施形態においては、符号化方法としてウェーブレット変換を用いていたが、本第2実施形態は、JPEG(Joint Photographic Experts Group)やMPEG(Moving Picture Experts Group)で用いられているDCT(離散コサイン変換)を用いた場合の実施形態である。
【0130】DCTを用いる場合には、図1のウェーブレット変換部5を図10(a)に示す2次元の離散コサイン変換を行う2次元DCT部51及び離散コサイン変換により得られたDCT係数を並び換えるDCT係数並び換え部52に置き換え、図1のウェーブレット逆変換部を図10(b)に示すDCT係数の逆並び換えを行うDCT係数逆並び換え部53及び逆並び換えられたDCT係数を逆離散コサイン変換する2次元逆DCT(2次元IDCT)部54に置き換えることにより実現できる。
【0131】2次元DCTの変換対象ブロックを8[画素]×8[画素]構成とすると、図11(a)に示すように、64個のDCT係数K0〜K63が得られる。第1番目のDCT係数K0は直流成分を表し、図11(a)中、右側にあるDCT係数ほど水平方向の高周波成分を表し、図11(a)中、下側にあるDCT係数ほど垂直方向の高周波成分を表している。
【0132】そこで、図11(b)に示すように、64個のDCT係数K0〜K63を10個のDCT係数グループ(帯域)G0〜G9に分割し、1フレーム分のDCT係数グループを各帯域毎にまとめて、図12に示すようにマッピング(再配置)すると、上述の第1実施形態のように、ウェーブレット変換を用いたサブバンド分割と類似の帯域分割を行うことが可能となる。
【0133】この結果、第1実施形態のエンコーダ2における量子化部7の量子化動作からメモリ3への記録動作並びにメモリ3からの読出動作からデコーダ4おける逆量子化部12の逆量子化動作までは、第1実施形態と同様の処理を行うことができ、特に量子化ビット数を決定する際には、各帯域毎に分散σm2(m:0〜9)を求めればよい。
【0134】より具体的には、図12に示すように、各フレームの第1DCT係数グループG0を元の変換対象ブロックの配置に基づいて第1フレームDCT係数グループ(帯域)FG0にマッピングし、第2DCT係数グループG1を元の変換対象ブロックの配置に基づいて第2フレームDCT係数グループFG1 にマッピングし、……、第9DCT係数グループG8を元の変換対象ブロックの配置に基づいて第9フレームDCT係数グループFG8にマッピングし、第10DCT係数グループG9を元の変換対象ブロックの配置に基づいて第10フレームDCT係数グループFG9にマッピングする。
【0135】この結果、ウェーブレット変換を用いた場合と同様に帯域分割が行え、同様にして、適応ビット割当部により量子化ビット数を設定することができる。ここで、ディスプレイの画面への映像シーケンスの再生動作について説明する。
【0136】映像1フレーム分の第1フレームDCT係数グループFG0〜第10フレームDCT係数グループFG9がメモリから読み出され、ハフマン復号化及び逆量子化が行われる。逆量子化されたDCT係数は、図12R>2のマッピングとは逆の操作であるDCT係数逆並び換えにより図13(a)に示すように、8×8=64[個]
のDCT係数K0〜K63からなるDCT係数ブロックに再構築される。DCT係数は1フレーム分得られる。
【0137】そして得られた64個のDCT係数からなる各DCT係数ブロックに対して2次元IDCT部により2次元IDCTを施し、図13(b)に示すように、8[画素]×8[画素](元の画素数(=64[画素])からなるブロックを構成して、フレームメモリの当該ブロックに対応する領域に書き込む。
【0138】以上の処理を1映像フレームを構成する全てのDCT係数ブロックに対して行うことにより、フレームメモリ上には、復号画像が得られることとなる。こうして得られた復号画像を図示しないビデオインターフェース部でD/A変換することによりディスプレイ画面上に動画再生がなされることとなる。
【0139】以上の第2実施形態においては、8×8画素をブロックとしてDCT変換係数を生成する場合について説明したが、(2Y×2Y)画素を一のブロックとし(Y:2以上の整数)、(2Y×2Y)個の離散コサイン変換係数を生成する離散コサイン変換処理を行う場合についても、本発明の適用が可能である。
【0140】すなわち、得られた1フレームの離散コサイン変換係数を予め設定した(3・Y+1)個の帯域に分割し、最も低域の帯域である第1帯域に相当する第1フレームDCT係数グループから最も高域の第(3・Y+1)フレームDCT係数グループまでの(3・Y+1)個のフレームDCT係数グループを生成するように構成すればよい。
【0141】
【発明の効果】請求項1記載の発明によれば、帯域分割手段は、入力データを複数の帯域に分割して帯域分割データとして量子化ビット数制御手段及び量子化手段に出力する。
【0142】量子化ビット数制御手段は、1サンプル当たりのビット数であるビットレートの平均値である平均ビットレートRTのときの重み付き平均二乗歪みをD*Tとし、重み付き平均二乗歪みD*Tが一定、かつ、平均ビットレートRTが最小となるように帯域分割データ毎に量子化ビット数を定め、量子化ビット数制御データを量子化手段に出力し、量子化手段は、量子化ビット数制御データに対応する量子化ビット数で帯域分割データを量子化して量子化データとして符号化手段に出力し、符号化手段は、量子化データを符号化して符号化データとして出力するので、入力データが動画データである場合、複雑な画面に対しては、多くの符号量を割り当て、単純な画面に対しては少ない符号量を割り当てても、一定の画質(SN比)を確保することが可能となる。
【0143】この結果、画像の記憶媒体として、駆動機構がなく高速ではあるが、ビット当たりの単価が高く、容量の少ない半導体メモリのような記憶媒体を用いたとしても、記憶容量を有効に利用して、高品質な画像を得ることが可能となる。請求項2記載の発明によれば、請求項1記載の発明の効果に加えて、量子化ビット数制御手段の判別値記憶手段は、(1)式で表される判別値Fの値を記憶し、
【0144】
【数41】
積算出手段は、分散σ2と重みBの積Gを(2)式により算出し、 G=σ2・B (2)
量子化ビット数判別手段は、判別値F及び積Gに基づいて積Gに最も近い値を有する判別値Fに対応する量子化ビット数Rに相当する量子化ビット数制御データを量子化手段に出力するので、高速で量子化ビット数を割り当てることができ、画質を劣化させることなく高速で符号化処理を行うことが可能となる。
【0145】従って、動画像データを高品位で高速に符号化することが可能となる。請求項3記載の発明によれば、請求項1記載の発明の効果に加えて、量子化ビット数制御手段の相乗平均値記憶手段は、量子化ビット数R=Xに対応する(1)式で表される判別値FX及び量子化ビット数R=X+1に対応する(2)式で表される判別値F(X+1)の相乗平均値Hを量子化ビット数に対応づけて記憶し、
【0146】
【数42】
【0147】
【数43】
積算出手段は、分散σ2と重みBの積Gを(3)式により算出し、 G=σ2・B (3)
これらにより量子化ビット数判別手段は、積Gと相乗平均値Hの大小関係に基づいて量子化ビット数制御データを量子化手段に出力するので、演算量をより低減して、より高速に符号化処理を行える。
【0148】請求項4記載の発明によれば、請求項1乃至請求項3のいずれかに記載の発明の効果に加えて、量子化ビット数制御手段の標準偏差出力手段は、各帯域の標準偏差σを標準偏差データとして正規化手段に出力し、量子化手段の正規化手段は、量子化を行うに際し、標準偏差データに基づいて各帯域の分散σ2が1となるように正規化を行うので、入力データの種類に拘わらず、同一の演算処理を行え、装置構成を簡略化することが可能となる。
【0149】請求項5記載の発明によれば、請求項1乃至請求項3のいずれかに記載の発明の効果に加えて、量子化ビット数制御手段の標準偏差出力手段は、各帯域の標準偏差σを標準偏差データとして量子化ステップ幅制御手段に出力し、量子化手段の量子化ステップ幅制御手段は、標準偏差データに基づいて量子化を行う際の量子化ステップ幅を標準偏差σでスケーリングするので、入力データの種類に拘わらず、同一の演算処理を行え、装置構成を簡略化することが可能となる。請求項6記載の発明によれば、請求項1乃至請求項5のいずれかに記載の発明の効果に加えて、帯域分割手段は、最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分割するので、符号化効率の良い符号化を行うことができ、データ量の削減が可能となる。
【0150】請求項7記載の発明によれば、請求項1乃至請求項5のいずれかに記載の発明の効果に加えて、符号化は、(2Y×2Y)画素を一のブロックとし(Y:2以上の整数)、帯域分割手段は、(2Y×2Y)個の離散コサイン変換係数を最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分配するので、符号化としてウェーブレット変換を用いる場合と同様の取り扱いが可能となる。
【0151】請求項8記載の発明によれば、帯域分割工程は、入力データを複数の帯域に分割し、量子化ビット数制御工程は、1サンプル当たりのビット数であるビットレートの平均値である平均ビットレートRTのときの重み付き平均二乗歪みをD*Tとし、重み付き平均二乗歪みD*Tが一定、かつ、平均ビットレートRTが最小となるように分割した帯域毎に量子化ビット数を定め、量子化工程は、定められた量子化ビット数で帯域分割された入力データを量子化し、符号化工程は、量子化された入力データを符号化するので、入力データが動画データである場合、複雑な画面に対しては、多くの符号量を割り当て、単純な画面に対しては少ない符号量を割り当てても、一定の画質(SN比)を確保することが可能となる。
【0152】この結果、画像の記憶媒体として、駆動機構がなく高速ではあるが、ビット当たりの単価が高く、容量の少ない半導体メモリのような記憶媒体を用いたとしても、記憶容量を有効に利用して、高品質な画像を得ることが可能となる。請求項9記載の発明によれば、請求項8記載の発明の効果に加えて、量子化ビット数制御工程の判別値記憶工程は、量子化ビット数R及び予め算出した量子化ビット数Rに対応する(1)式で表される判別値Fの値を記憶し、
【0153】
【数44】
積算出工程は、分散σ2と重みBの積Gを(2)式により算出する。
G=σ2・B (2)
量子化ビット数判別工程は、判別値F及び積Gに基づいて積Gに最も近い値を有する判別値Fに対応する量子化ビット数Rを当該分割した帯域について定めるべき量子化ビット数とするので、高速で量子化ビット数を割り当てることができ、画質を劣化させることなく高速で符号化処理を行うことが可能となる。
【0154】従って、動画像データを高品位で高速に符号化することが可能となる。請求項10記載の発明によれば、請求項8記載の発明の効果に加えて、量子化ビット数制御工程の相乗平均値記憶工程は、量子化ビット数R=Xに対応する(1)式で表される判別値FX及び量子化ビット数R=X+1に対応する(2)式で表される判別値F(X+1)の相乗平均値Hを量子化ビット数に対応づけて記憶し、
【0155】
【数45】
【0156】
【数46】
積算出工程は、分散σ2と重みBの積Gを(3)式により算出し、 G=σ2・B (3)
量子化ビット数判別工程は、積Gと相乗平均値Hの大小関係に基づいて当該分割した帯域について量子化ビット数を定めるので、演算量をより低減して、より高速に符号化処理を行える。
【0157】請求項11記載の発明によれば、請求項8乃至請求項10のいずれかに記載の発明の効果に加えて、量子化ビット数制御工程の標準偏差算出工程は、各帯域の標準偏差σを算出し、量子化工程の正規化工程は、量子化を行うに際し、標準偏差に基づいて各帯域の分散σ2が1となるように正規化を行うので、入力データの種類に拘わらず、同一の演算処理を行え、符号化装置の装置構成を簡略化することが可能となる。
【0158】請求項12記載の発明によれば、請求項8乃至請求項10のいずれかに記載の発明の効果に加えて、量子化ビット数制御工程の標準偏差算出工程は、各帯域の標準偏差σを算出し、量子化工程の量子化ステップ幅制御工程は、標準偏差に基づいて量子化を行う際の量子化ステップ幅を標準偏差σでスケーリングするので、入力データの種類に拘わらず、同一の演算処理を行え、装置構成を簡略化することが可能となる。
【0159】請求項13記載の発明によれば、請求項8乃至請求項12のいずれかに記載の発明の効果に加えて、帯域分割工程は、最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分割するので、符号化効率のよい符号化を行うことができ、データ量の削減が可能となる。
【0160】請求項14記載の発明によれば、請求項8乃至請求項12のいずれかに記載の発明の効果に加えて、帯域分割手段は、(2Y×2Y)個の離散コサイン変換係数を最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分配するので、符号化としてウェーブレット変換を用いる場合と同様の取り扱いが可能となる。
【0161】請求項15記載の発明によれば、符号化装置は、符号化プログラムにより、入力データを複数の帯域に分割し、重み付き平均二乗歪みD*Tが一定、かつ、平均ビットレートRTが最小となるように分割した帯域毎に量子化ビット数を定め、定められた量子化ビット数で帯域分割された入力データを量子化し、量子化された入力データを符号化するので、入力データが動画データである場合、複雑な画面に対しては、多くの符号量を割り当て、単純な画面に対しては少ない符号量を割り当てても、一定の画質(SN比)を確保することが可能となる。
【0162】この結果、画像の記憶媒体として、駆動機構がなく高速ではあるが、ビット当たりの単価が高く、容量の少ない半導体メモリのような記憶媒体を用いたとしても、記憶容量を有効に利用して、高品質な画像を得ることが可能となる。請求項16記載の発明によれば、請求項15記載の発明の効果に加えて、量子化ビット数R及び予め算出した量子化ビット数Rに対応する(1)式で表される判別値Fの値を記憶し、
【0163】
【数47】
分散σ2と重みBの積Gを(2)式により算出し、 G=σ2・B (2)
判別値F及び積Gに基づいて積Gに最も近い値を有する判別値Fに対応する量子化ビット数Rを当該分割した帯域について定めるべき量子化ビット数とするので、高速で量子化ビット数を割り当てることができ、画質を劣化させることなく高速で符号化処理を行うことが可能となる。
【0164】従って、動画像データを高品位で高速に符号化することが可能となる。請求項17記載の発明によれば、請求項15記載の発明の効果に加えて、量子化ビット数R=Xに対応する(1)式で表される判別値FX及び量子化ビット数R=X+1に対応する(2)式で表される判別値F(X+1)の相乗平均値Hを量子化ビット数に対応づけて記憶し、
【0165】
【数48】
【0166】
【数49】
分散σ2と重みBの積Gを(3)式により算出し、 G=σ2・B (3)
積Gと相乗平均値Hの大小関係に基づいて当該分割した帯域について量子化ビット数を定めるので、演算量をより低減して、より高速に符号化処理を行える。
【0167】請求項18記載の発明によれば、請求項15乃至請求項17のいずれかに記載の発明の効果に加えて、符号化プログラムは各帯域の標準偏差σを算出し、量子化を行うに際し、標準偏差に基づいて各帯域の分散σ2が1となるように正規化を行うので、入力データの種類に拘わらず、同一の演算処理を行え、符号化装置の装置構成を簡略化することが可能となる。
【0168】請求項19記載の発明によれば、請求項15乃至請求項17のいずれかに記載の発明の効果に加えて、符号化プログラムは、各帯域の標準偏差σを算出し、標準偏差に基づいて量子化を行う際の量子化ステップ幅を標準偏差σでスケーリングするので、入力データの種類に拘わらず、同一の演算処理を行え、符号化装置の装置構成を簡略化することが可能となる。
【0169】請求項20記載の発明によれば、請求項15乃至請求項19のいずれかに記載の発明の効果に加えて、符号化プログラムは、最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分割するので、符号化効率の良い符号化を行うことができ、データ量の削減が可能となる。
【0170】請求項21記載の発明によれば、請求項15乃至請求項19のいずれかに記載の発明の効果に加えて、符号化プログラムは、(2Y×2Y)個の離散コサイン変換係数を最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分配するので、符号化としてウェーブレット変換を用いる場合と同様の取り扱いが可能となる。
【図面の簡単な説明】
【図1】実施形態の映像記録再生装置の概要構成ブロック図である。
【図2】適応ビット割当部及び量子化部の概要構成ブロック図である。
【図3】ウェーブレット変換動作の説明図(1)である。
【図4】ウェーブレット変換動作の説明図(2)である。
【図5】最適非一様量子化器におけるSN比SNR(R)及びパラメータδ(R)の値の関係説明図である。
【図6】量子化ビット数と判別境界のメモリテーブルの説明図である。
【図7】メモリの物理フォーマットの説明図である。
【図8】フレームデータのデータ構成説明図である。
【図9】逆ウェーブレット変換の説明図である。
【図10】第2実施形態の構成説明図である。
【図11】DCT係数及びDCT係数の帯域分割の説明図である。
【図12】DCT係数の並び替え処理の説明図である。
【図13】2次元逆DCT変換の説明図である。
【符号の説明】
1 映像記録再生装置
2 エンコーダ
3 メモリ
4 デコーダ
5 ウェーブレット変換部
6 適応ビット割当部
7 量子化部
8 ハフマン符号部
9 フォーマッタ部
10 逆フォーマッタ部
11 ハフマン復号部
12 逆量子化部
13 ウェーブレット逆変換部
15 分散計算部
16 重み乗算部
17 判別境界テーブル参照部
20 正規化部
21-1〜21-N 量子化器
D 判別用データ
DBT ビット割当情報データ
DDE 復号化データ
DEN 符号化データ
DG 画像データ
DNSB 正規化サブバンドデータ
DPG 再生データ
DRSB 逆量子化サブバンドデータ
DFL フレームデータ
DSB サブバンドデータ
DQSB 量子化データ
【特許請求の範囲】
【請求項1】 入力データを複数の帯域に分割して帯域分割データとして出力する帯域分割手段と、1サンプル当たりのビット数であるビットレートの平均値である平均ビットレートRTのときの重み付き平均二乗歪みをD*Tとし、前記重み付き平均二乗歪みD*Tが一定、かつ、前記平均ビットレートRTが最小となるように前記帯域分割データ毎に量子化ビット数を定め、量子化ビット数制御データを出力する量子化ビット数制御手段と、前記量子化ビット数制御データに対応する量子化ビット数で前記帯域分割データを量子化して量子化データとして出力する量子化手段と、前記量子化データを符号化して符号化データとして出力する符号化手段と、を備えたことを特徴とする符号化装置。
【請求項2】 請求項1記載の符号化装置において、前記量子化ビット数制御手段は、各前記帯域の量子化ビット数をRとし(R;0以上、かつ、最大量子化ビット数Rmax以下の整数)、前記量子化ビット数R及び予め算出した前記量子化ビット数Rに対応する(1)式で表される判別値Fの値を記憶する判別値記憶手段と、
【数1】
各前記帯域の分散をσ2とし、各前記帯域の重みをBとし、分散σ2と重みBの積Gを(2)式により算出する積算出手段と、 G=σ2・B (2)
前記判別値F及び積Gに基づいて前記積Gに最も近い値を有する前記判別値Fに対応する前記量子化ビット数Rに相当する前記量子化ビット数制御データを出力する量子化ビット数判別手段と、を備えたことを特徴とする符号化装置。
【請求項3】 請求項1記載の符号化装置において、前記量子化ビット数制御手段は、各前記帯域の量子化ビット数をRとし(R;0以上、かつ、最大量子化ビット数Rmax以下の整数)、量子化ビット数R=X(X=0以上、かつ、最大量子化ビット数Rmax−1以下の整数)に対応する(1)式で表される判別値FX及び量子化ビット数R=X+1に対応する(2)式で表される判別値F(X+1)の相乗平均値Hを前記量子化ビット数に対応づけて記憶する相乗平均値記憶手段と、
【数2】
【数3】
各前記帯域の分散をσ2とし、各前記帯域の重みをBとし、分散σ2と重みBの積Gを(3)式により算出する積算出手段と、 G=σ2・B (3)
前記積Gと前記相乗平均値Hの大小関係に基づいて前記量子化ビット数制御データを出力する量子化ビット数判別手段と、を備えたことを特徴とする符号化装置。
【請求項4】 請求項1乃至請求項3のいずれかに記載の符号化装置において、前記量子化ビット数制御手段は、各前記帯域の標準偏差σを標準偏差データとして出力する標準偏差出力手段を備え、前記量子化手段は、前記量子化を行うに際し、前記標準偏差データに基づいて各前記帯域の分散σ2が1となるように正規化を行う正規化手段を備えたことを特徴とする符号化装置。
【請求項5】 請求項1乃至請求項3のいずれかに記載の符号化装置において、前記量子化ビット数制御手段は、各前記帯域の標準偏差σを標準偏差データとして出力する標準偏差出力手段を備え、前記量子化手段は、前記標準偏差データに基づいて前記量子化を行う際の量子化ステップ幅を標準偏差σでスケーリングする量子化ステップ幅制御手段を備えたことを特徴とする符号化装置。
【請求項6】 請求項1乃至請求項5のいずれかに記載の符号化装置において、前記帯域分割手段は、2次元Y階層ウェーブレット変換処理(Y:2以上の整数)を行い、最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分割することを特徴とする符号化装置。
【請求項7】 請求項1乃至請求項5のいずれかに記載の符号化装置において、前記帯域分割手段は、(2Y×2Y)画素を一のブロックとして(Y:2以上の整数)、(2Y×2Y)個の離散コサイン変換係数を生成する離散コサイン変換処理を行い、前記(2Y×2Y)個の離散コサイン変換係数を最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分配することを特徴とする符号化装置。
【請求項8】 入力データを複数の帯域に分割する帯域分割工程と、1サンプル当たりのビット数であるビットレートの平均値である平均ビットレートRTのときの重み付き平均二乗歪みD*Tとし、前記重み付き平均二乗歪みD*Tが一定、かつ、前記平均ビットレートRTが最小となるように前記分割した帯域毎に量子化ビット数を定める量子化ビット数制御工程と、前記定められた量子化ビット数で前記帯域分割された前記入力データを量子化する量子化工程と、前記量子化された入力データを符号化する符号化工程と、を備えたことを特徴とする符号化方法。
【請求項9】 請求項8記載の符号化方法において、前記量子化ビット数制御工程は、各前記帯域の量子化ビット数をRとし(R;0以上、かつ、最大量子化ビット数Rmax以下の整数)、前記量子化ビット数R及び予め算出した前記量子化ビット数Rに対応する(1)式で表される判別値Fの値を記憶する判別値記憶工程と、
【数4】
各前記帯域の分散をσ2とし、各前記帯域の重みをBとし、分散σ2と重みBの積Gを(2)式により算出する積算出工程と、 G=σ2・B (2)
前記判別値F及び積Gに基づいて前記積Gに最も近い値を有する前記判別値Fに対応する前記量子化ビット数Rを当該分割した帯域について定めるべき量子化ビット数とする量子化ビット数判別工程と、を備えたことを特徴とする符号化方法。
【請求項10】 請求項8記載の符号化方法において、前記量子化ビット数制御工程は、各前記帯域の量子化ビット数をRとし(R;0以上、かつ、最大量子化ビット数Rmax以下の整数)、量子化ビット数R=X(X=0以上、かつ、最大量子化ビット数Rmax−1以下の整数)に対応する(1)式で表される判別値FX及び量子化ビット数R=X+1に対応する(2)式で表される判別値F(X+1)の相乗平均値Hを前記量子化ビット数に対応づけて記憶する相乗平均値記憶工程と、
【数5】
【数6】
各前記帯域の分散をσ2とし、各前記帯域の重みをBとし、分散σ2と重みBの積Gを(3)式により算出する積算出工程と、 G=σ2・B (3)
前記積Gと前記相乗平均値Hの大小関係に基づいて当該分割した帯域について量子化ビット数を定める量子化ビット数判別工程と、を備えたことを特徴とする符号化方法。
【請求項11】 請求項8乃至請求項10のいずれかに記載の符号化方法において、前記量子化ビット数制御工程は、各前記帯域の標準偏差σを算出する標準偏差算出工程を備え、前記量子化工程は、前記量子化を行うに際し、前記標準偏差に基づいて各前記帯域の分散σ2が1となるように正規化を行う正規化工程を備えたことを特徴とする符号化方法。
【請求項12】 請求項8乃至請求項10のいずれかに記載の符号化方法において、前記量子化ビット数制御工程は、各前記帯域の標準偏差σを算出する標準偏差算出工程を備え、前記量子化工程は、前記標準偏差に基づいて前記量子化を行う際の量子化ステップ幅を標準偏差σでスケーリングする量子化ステップ幅制御工程を備えたことを特徴とする符号化方法。
【請求項13】 請求項8乃至請求項12のいずれかに記載の符号化方法において、前記帯域分割工程は、2次元Y階層ウェーブレット変換処理(Y:2以上の整数)を行い、最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分割することを特徴とする符号化方法。
【請求項14】 請求項8乃至請求項12のいずれかに記載の符号化方法において、前記帯域分割手段は、(2Y×2Y)画素を一のブロックとして(Y:2以上の整数)、(2Y×2Y)個の離散コサイン変換係数を生成する離散コサイン変換処理を行い、前記(2Y×2Y)個の離散コサイン変換係数を最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分配することを特徴とする符号化方法。
【請求項15】 符号化装置に入力データの符号化を行わせるための符号化プログラムを記憶した符号化プログラム記憶媒体であって、入力データを複数の帯域に分割し、1サンプル当たりのビット数であるビットレートの平均値である平均ビットレートRTのときの重み付き平均二乗歪みをD*Tとし、前記重み付き平均二乗歪みD*Tが一定、かつ、前記平均ビットレートRTが最小となるように前記分割した帯域毎に量子化ビット数を定め、前記定められた量子化ビット数で帯域分割された前記入力データを量子化し、前記量子化された入力データを符号化する、符号化プログラムを記憶したことを特徴とする符号化プログラム記憶媒体。
【請求項16】 請求項15記載の符号化プログラム記憶媒体において、各前記帯域の量子化ビット数をRとし(R;0以上、かつ、最大量子化ビット数Rmax以下の整数)、前記量子化ビット数R及び予め算出した前記量子化ビット数Rに対応する(1)式で表される判別値Fの値を記憶し、
【数7】
各前記帯域の分散をσ2とし、各前記帯域の重みをBとし、分散σ2と重みBの積Gを(2)式により算出し、 G=σ2・B (2)
前記判別値F及び積Gに基づいて前記積Gに最も近い値を有する前記判別値Fに対応する前記量子化ビット数Rを当該分割した帯域について定めるべき量子化ビット数とする、符号化プログラムを記憶したことを特徴とする符号化プログラム記憶媒体。
【請求項17】 請求項15記載の符号化プログラム記憶媒体において、各前記帯域の量子化ビット数をRとし(R;0以上、かつ、最大量子化ビット数Rmax以下の整数)、量子化ビット数R=X(X=0以上、かつ、最大量子化ビット数Rmax−1以下の整数)に対応する(1)式で表される判別値FX及び量子化ビット数R=X+1に対応する(2)式で表される判別値F(X+1)の相乗平均値Hを前記量子化ビット数に対応づけて記憶し、
【数8】
【数9】
各前記帯域の分散をσ2とし、各前記帯域の重みをBとし、分散σ2と重みBの積Gを(3)式により算出し、 G=σ2・B (3)
前記積Gと前記相乗平均値Hの大小関係に基づいて当該分割した帯域について量子化ビット数を定める、符号化プログラムを記憶したことを特徴とする符号化プログラム記憶媒体。
【請求項18】 請求項15乃至請求項17のいずれかに記載の符号化プログラム記憶媒体において、各前記帯域の標準偏差σを算出し、前記量子化を行うに際し、前記標準偏差に基づいて各前記帯域の分散σ2が1となるように正規化を行う、符号化プログラムを記憶したことを特徴とする符号化プログラム記憶媒体。
【請求項19】 請求項15乃至請求項17のいずれかに記載の符号化プログラム記憶媒体において、各前記帯域の標準偏差σを算出し、前記標準偏差に基づいて前記量子化を行う際の量子化ステップ幅を標準偏差σでスケーリングする、符号化プログラムを記憶したことを特徴とする符号化プログラム記憶媒体。
【請求項20】 請求項15乃至請求項19のいずれかに記載の符号化プログラム記憶媒体において、前記帯域分割は、2次元Y階層ウェーブレット変換処理であり(Y:2以上の整数)、最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分割する、符号化プログラムを記憶したことを特徴とする符号化プログラム記憶媒体。
【請求項21】 請求項15乃至請求項19のいずれかに記載の符号化プログラム記憶媒体において、前記帯域分割は、(2Y×2Y)画素を一のブロックとし(Y:2以上の整数)、(2Y×2Y)個の離散コサイン変換係数を生成する離散コサイン変換処理であり、前記(2Y×2Y)個の離散コサイン変換係数を最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分配する、符号化プログラムを記憶したことを特徴とする符号化プログラム記憶媒体。
【請求項1】 入力データを複数の帯域に分割して帯域分割データとして出力する帯域分割手段と、1サンプル当たりのビット数であるビットレートの平均値である平均ビットレートRTのときの重み付き平均二乗歪みをD*Tとし、前記重み付き平均二乗歪みD*Tが一定、かつ、前記平均ビットレートRTが最小となるように前記帯域分割データ毎に量子化ビット数を定め、量子化ビット数制御データを出力する量子化ビット数制御手段と、前記量子化ビット数制御データに対応する量子化ビット数で前記帯域分割データを量子化して量子化データとして出力する量子化手段と、前記量子化データを符号化して符号化データとして出力する符号化手段と、を備えたことを特徴とする符号化装置。
【請求項2】 請求項1記載の符号化装置において、前記量子化ビット数制御手段は、各前記帯域の量子化ビット数をRとし(R;0以上、かつ、最大量子化ビット数Rmax以下の整数)、前記量子化ビット数R及び予め算出した前記量子化ビット数Rに対応する(1)式で表される判別値Fの値を記憶する判別値記憶手段と、
【数1】
各前記帯域の分散をσ2とし、各前記帯域の重みをBとし、分散σ2と重みBの積Gを(2)式により算出する積算出手段と、 G=σ2・B (2)
前記判別値F及び積Gに基づいて前記積Gに最も近い値を有する前記判別値Fに対応する前記量子化ビット数Rに相当する前記量子化ビット数制御データを出力する量子化ビット数判別手段と、を備えたことを特徴とする符号化装置。
【請求項3】 請求項1記載の符号化装置において、前記量子化ビット数制御手段は、各前記帯域の量子化ビット数をRとし(R;0以上、かつ、最大量子化ビット数Rmax以下の整数)、量子化ビット数R=X(X=0以上、かつ、最大量子化ビット数Rmax−1以下の整数)に対応する(1)式で表される判別値FX及び量子化ビット数R=X+1に対応する(2)式で表される判別値F(X+1)の相乗平均値Hを前記量子化ビット数に対応づけて記憶する相乗平均値記憶手段と、
【数2】
【数3】
各前記帯域の分散をσ2とし、各前記帯域の重みをBとし、分散σ2と重みBの積Gを(3)式により算出する積算出手段と、 G=σ2・B (3)
前記積Gと前記相乗平均値Hの大小関係に基づいて前記量子化ビット数制御データを出力する量子化ビット数判別手段と、を備えたことを特徴とする符号化装置。
【請求項4】 請求項1乃至請求項3のいずれかに記載の符号化装置において、前記量子化ビット数制御手段は、各前記帯域の標準偏差σを標準偏差データとして出力する標準偏差出力手段を備え、前記量子化手段は、前記量子化を行うに際し、前記標準偏差データに基づいて各前記帯域の分散σ2が1となるように正規化を行う正規化手段を備えたことを特徴とする符号化装置。
【請求項5】 請求項1乃至請求項3のいずれかに記載の符号化装置において、前記量子化ビット数制御手段は、各前記帯域の標準偏差σを標準偏差データとして出力する標準偏差出力手段を備え、前記量子化手段は、前記標準偏差データに基づいて前記量子化を行う際の量子化ステップ幅を標準偏差σでスケーリングする量子化ステップ幅制御手段を備えたことを特徴とする符号化装置。
【請求項6】 請求項1乃至請求項5のいずれかに記載の符号化装置において、前記帯域分割手段は、2次元Y階層ウェーブレット変換処理(Y:2以上の整数)を行い、最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分割することを特徴とする符号化装置。
【請求項7】 請求項1乃至請求項5のいずれかに記載の符号化装置において、前記帯域分割手段は、(2Y×2Y)画素を一のブロックとして(Y:2以上の整数)、(2Y×2Y)個の離散コサイン変換係数を生成する離散コサイン変換処理を行い、前記(2Y×2Y)個の離散コサイン変換係数を最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分配することを特徴とする符号化装置。
【請求項8】 入力データを複数の帯域に分割する帯域分割工程と、1サンプル当たりのビット数であるビットレートの平均値である平均ビットレートRTのときの重み付き平均二乗歪みD*Tとし、前記重み付き平均二乗歪みD*Tが一定、かつ、前記平均ビットレートRTが最小となるように前記分割した帯域毎に量子化ビット数を定める量子化ビット数制御工程と、前記定められた量子化ビット数で前記帯域分割された前記入力データを量子化する量子化工程と、前記量子化された入力データを符号化する符号化工程と、を備えたことを特徴とする符号化方法。
【請求項9】 請求項8記載の符号化方法において、前記量子化ビット数制御工程は、各前記帯域の量子化ビット数をRとし(R;0以上、かつ、最大量子化ビット数Rmax以下の整数)、前記量子化ビット数R及び予め算出した前記量子化ビット数Rに対応する(1)式で表される判別値Fの値を記憶する判別値記憶工程と、
【数4】
各前記帯域の分散をσ2とし、各前記帯域の重みをBとし、分散σ2と重みBの積Gを(2)式により算出する積算出工程と、 G=σ2・B (2)
前記判別値F及び積Gに基づいて前記積Gに最も近い値を有する前記判別値Fに対応する前記量子化ビット数Rを当該分割した帯域について定めるべき量子化ビット数とする量子化ビット数判別工程と、を備えたことを特徴とする符号化方法。
【請求項10】 請求項8記載の符号化方法において、前記量子化ビット数制御工程は、各前記帯域の量子化ビット数をRとし(R;0以上、かつ、最大量子化ビット数Rmax以下の整数)、量子化ビット数R=X(X=0以上、かつ、最大量子化ビット数Rmax−1以下の整数)に対応する(1)式で表される判別値FX及び量子化ビット数R=X+1に対応する(2)式で表される判別値F(X+1)の相乗平均値Hを前記量子化ビット数に対応づけて記憶する相乗平均値記憶工程と、
【数5】
【数6】
各前記帯域の分散をσ2とし、各前記帯域の重みをBとし、分散σ2と重みBの積Gを(3)式により算出する積算出工程と、 G=σ2・B (3)
前記積Gと前記相乗平均値Hの大小関係に基づいて当該分割した帯域について量子化ビット数を定める量子化ビット数判別工程と、を備えたことを特徴とする符号化方法。
【請求項11】 請求項8乃至請求項10のいずれかに記載の符号化方法において、前記量子化ビット数制御工程は、各前記帯域の標準偏差σを算出する標準偏差算出工程を備え、前記量子化工程は、前記量子化を行うに際し、前記標準偏差に基づいて各前記帯域の分散σ2が1となるように正規化を行う正規化工程を備えたことを特徴とする符号化方法。
【請求項12】 請求項8乃至請求項10のいずれかに記載の符号化方法において、前記量子化ビット数制御工程は、各前記帯域の標準偏差σを算出する標準偏差算出工程を備え、前記量子化工程は、前記標準偏差に基づいて前記量子化を行う際の量子化ステップ幅を標準偏差σでスケーリングする量子化ステップ幅制御工程を備えたことを特徴とする符号化方法。
【請求項13】 請求項8乃至請求項12のいずれかに記載の符号化方法において、前記帯域分割工程は、2次元Y階層ウェーブレット変換処理(Y:2以上の整数)を行い、最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分割することを特徴とする符号化方法。
【請求項14】 請求項8乃至請求項12のいずれかに記載の符号化方法において、前記帯域分割手段は、(2Y×2Y)画素を一のブロックとして(Y:2以上の整数)、(2Y×2Y)個の離散コサイン変換係数を生成する離散コサイン変換処理を行い、前記(2Y×2Y)個の離散コサイン変換係数を最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分配することを特徴とする符号化方法。
【請求項15】 符号化装置に入力データの符号化を行わせるための符号化プログラムを記憶した符号化プログラム記憶媒体であって、入力データを複数の帯域に分割し、1サンプル当たりのビット数であるビットレートの平均値である平均ビットレートRTのときの重み付き平均二乗歪みをD*Tとし、前記重み付き平均二乗歪みD*Tが一定、かつ、前記平均ビットレートRTが最小となるように前記分割した帯域毎に量子化ビット数を定め、前記定められた量子化ビット数で帯域分割された前記入力データを量子化し、前記量子化された入力データを符号化する、符号化プログラムを記憶したことを特徴とする符号化プログラム記憶媒体。
【請求項16】 請求項15記載の符号化プログラム記憶媒体において、各前記帯域の量子化ビット数をRとし(R;0以上、かつ、最大量子化ビット数Rmax以下の整数)、前記量子化ビット数R及び予め算出した前記量子化ビット数Rに対応する(1)式で表される判別値Fの値を記憶し、
【数7】
各前記帯域の分散をσ2とし、各前記帯域の重みをBとし、分散σ2と重みBの積Gを(2)式により算出し、 G=σ2・B (2)
前記判別値F及び積Gに基づいて前記積Gに最も近い値を有する前記判別値Fに対応する前記量子化ビット数Rを当該分割した帯域について定めるべき量子化ビット数とする、符号化プログラムを記憶したことを特徴とする符号化プログラム記憶媒体。
【請求項17】 請求項15記載の符号化プログラム記憶媒体において、各前記帯域の量子化ビット数をRとし(R;0以上、かつ、最大量子化ビット数Rmax以下の整数)、量子化ビット数R=X(X=0以上、かつ、最大量子化ビット数Rmax−1以下の整数)に対応する(1)式で表される判別値FX及び量子化ビット数R=X+1に対応する(2)式で表される判別値F(X+1)の相乗平均値Hを前記量子化ビット数に対応づけて記憶し、
【数8】
【数9】
各前記帯域の分散をσ2とし、各前記帯域の重みをBとし、分散σ2と重みBの積Gを(3)式により算出し、 G=σ2・B (3)
前記積Gと前記相乗平均値Hの大小関係に基づいて当該分割した帯域について量子化ビット数を定める、符号化プログラムを記憶したことを特徴とする符号化プログラム記憶媒体。
【請求項18】 請求項15乃至請求項17のいずれかに記載の符号化プログラム記憶媒体において、各前記帯域の標準偏差σを算出し、前記量子化を行うに際し、前記標準偏差に基づいて各前記帯域の分散σ2が1となるように正規化を行う、符号化プログラムを記憶したことを特徴とする符号化プログラム記憶媒体。
【請求項19】 請求項15乃至請求項17のいずれかに記載の符号化プログラム記憶媒体において、各前記帯域の標準偏差σを算出し、前記標準偏差に基づいて前記量子化を行う際の量子化ステップ幅を標準偏差σでスケーリングする、符号化プログラムを記憶したことを特徴とする符号化プログラム記憶媒体。
【請求項20】 請求項15乃至請求項19のいずれかに記載の符号化プログラム記憶媒体において、前記帯域分割は、2次元Y階層ウェーブレット変換処理であり(Y:2以上の整数)、最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分割する、符号化プログラムを記憶したことを特徴とする符号化プログラム記憶媒体。
【請求項21】 請求項15乃至請求項19のいずれかに記載の符号化プログラム記憶媒体において、前記帯域分割は、(2Y×2Y)画素を一のブロックとし(Y:2以上の整数)、(2Y×2Y)個の離散コサイン変換係数を生成する離散コサイン変換処理であり、前記(2Y×2Y)個の離散コサイン変換係数を最も低域の帯域である第(Y,0)帯域から最も高域の帯域である第(1,3)帯域までの(3・Y+1)個の帯域に分配する、符号化プログラムを記憶したことを特徴とする符号化プログラム記憶媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図10】
【図7】
【図8】
【図9】
【図13】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図10】
【図7】
【図8】
【図9】
【図13】
【図11】
【図12】
【公開番号】特開平10−164582
【公開日】平成10年(1998)6月19日
【国際特許分類】
【出願番号】特願平8−324363
【出願日】平成8年(1996)12月4日
【出願人】(000005016)パイオニア株式会社 (3,620)
【公開日】平成10年(1998)6月19日
【国際特許分類】
【出願日】平成8年(1996)12月4日
【出願人】(000005016)パイオニア株式会社 (3,620)
[ Back to top ]