画像符号化・復号化方法及びシステム
【課題】 同一伝送レートで高品質の画像を復元することができる画像符号化・復号化技術を提供することである。
【解決手段】 カメラ１１で画像を取得し、この画像にディスプレイ１２の特性の非線形性を補償するためのγ補正を施す。続いて、前処理部１３により、カメラ１１の出力により、ディスプレイ１２の表示をシュミレートする。シュミレート結果を符号化部１４により符号化して伝送する。この符号化データを復号部１５により復号化し、量子化雑音が最小の画像を復号する。後処理部２３により、復号化された画像データによりディスプレイの表示特性の逆特性をシュミレートし、シュミレート結果を表示装置に供給して表示させる。
【解決手段】 カメラ１１で画像を取得し、この画像にディスプレイ１２の特性の非線形性を補償するためのγ補正を施す。続いて、前処理部１３により、カメラ１１の出力により、ディスプレイ１２の表示をシュミレートする。シュミレート結果を符号化部１４により符号化して伝送する。この符号化データを復号部１５により復号化し、量子化雑音が最小の画像を復号する。後処理部２３により、復号化された画像データによりディスプレイの表示特性の逆特性をシュミレートし、シュミレート結果を表示装置に供給して表示させる。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】この発明は、画像符号化・復号化技術に関し、特に、高品質の画像を復元することができる画像符号化・復号化技術に関する。
【０００２】
【従来の技術】画像符号化（圧縮）・復号化技術は、画像通信システムにおけるキーテクノロジーとして注目されている。画像符号化・復号化の標準的な方式として、ＪＰＥＧ方式、ＭＰＥＧ方式等が知られている。この種の画像符号化・復号化システムの構成及び動作を図８を参照して説明する。
【０００３】図示するように、従来の画像符号化・復号化システムは、カメラ１１１と、符号化部１１２と、復号化部１１３と、ディスプレイ１１４と、より構成される。カメラ１１１は、任意の画像を取得し、符号化部１１２に供給する。符号化部１１２は、変換部１１５、量子化部１１６、可変長符号化部１１７より構成される。変換部１１３は直交変換等を用いて画像データを量子化に適した形式に変換し、量子化部１１６は、量子化パラメータを用いて変換後の画像データを量子化し、可変長符号化定理に基づいて量子化された画像データを符号化し、被圧縮画像データを生成する。このようにして得られた被圧縮画像データは伝送路を介して送信され、或いは、蓄積装置に蓄積される。
【０００４】このようにして符号化された画像データを復号化する場合、受信された又は蓄積装置から読み出された被圧縮画像データは復号化部１１３の可変長復号化部１１８に供給される。可変長復号化部１１８は、供給された画像データに可変長復号化処理を施して量子化データを復号する。逆量子化部１１９は量子化データに逆量子化処理を施し、逆変換部１２０に供給する。逆変換部１２０は、変換部１１５が施した変換処理とは逆特性の変換を施し、画像データを復号し、ディスプレイ１１４に供給する。
【０００５】
【発明が解決しようとする課題】従来の画像符号化・復号化システムにおいては、量子化部１１６の量子化処理において大幅な情報圧縮を行っており、この圧縮処理により、大きな雑音（誤差）が発生する。従来のシステムでは、逆変換部１２０による逆変換処理が終了した時点での画像の雑音量が最小になるように設計されているが、ディスプレイ１１４は、入力画像データに対して非線形の表示特性（γ特性）を有している。このため、ディスプレイ１１４の特性によっては、雑音が誇張されて表示され、或いは、高周波雑音が低周波雑音に変換されて視認されやすくなる等、実際に表示される画像上の雑音が視覚的に最小にならない場合があった。
【０００６】この発明は、上記実状に鑑みてなされたもので、雑音の少ない画像を表示することができる画像符号化・復号化方法及びシステムを提供することを目的とする。
【０００７】
【課題を解決するための手段】上記目的を達成するため、この発明にかかる画像処理システムは、画像データを出力する画像データ出力手段と、所定の表示特性を有する表示装置と、前記画像データ出力手段からの画像データを量子化し、符号化する符号化手段と、前記符号化手段により符号化されたデータを復号化する復号化手段と、前記復号化手段により復号化された画像データにより前記表示装置の表示特性の逆特性をシュミレートし、シュミレート結果を前記表示装置に供給して表示させる逆シュミレート手段と、より構成されることを特徴とする。
【０００８】また、この発明にかかる画像データ符号化システムは、画像データを出力する画像データ出力手段と、前記画像データ出力手段により取得された画像データに対して、所定の表示特性に基づく表示をシュミレートするシュミレート手段と、前記シュミレート手段の出力データを量子化対象データに変換する変換手段と、前記変換手段により変換されたデータを量子化する量子化手段と、前記量子化手段により量子化されたデータを可変長符号化して出力する可変長符号化手段と、より構成されることを特徴とする。
【０００９】また、この発明にかかる画像データ復号化システムは、表示装置と、符号化されたデータを可変長復号化する可変長復号化手段と、前記可変長復号化手段により可変長復号化されたデータを逆量子化する逆量子化手段と、逆量子化手段により逆量子化されたデータを逆変換する逆変換手段と、前記逆変換手段により、出力されたデータにより、表示装置の逆特性をシュミレートし、該シュミレート結果を前記表示装置に供給して表示させる手段と、より構成されることを特徴とする。
【００１０】この発明の符号化方法は、画像データを出力し、該画像データに対し所定の表示特性を補正するための補正処理を実行し、該補正処理の結果データに対し、前記表示特性をシュミレートする処理を施し、シュミレート後の画像データに対し復号化処理を行うことを特徴とする。
【００１１】この発明の復号化方法は、符号化された画像データを復号化し、復号化された画像データにより表示装置の表示をシュミレートし、シュミレート結果の画像データを表示のために出力する、ことを特徴とする。
【００１２】
【発明の実施の形態】以下、この発明の実施の形態を、図１〜図３を参照して説明する。この実施の形態にかかる符号化・復号化システムは、図１に示すように、カメラ（撮像装置）１１と、ディスプレイ１２、前処理部１３と、符号化部１４と、復号化部１５と、後処理部１６とより構成される。
【００１３】ディスプレイ（表示装置）１２は、供給された画像データに対応する階調を表示するＣＲＴから構成される。ＣＲＴは、電子ビームを走査して表示を行うという特性上、図２に示すように、各画素Ｘiの輝度は、同一走査線上の先に走査された一連の画素Ｘi-1、Ｘi-2・・・・・・の輝度の影響を受ける。これをＣＲＴの低周波特性と呼ぶ。また、図３に示すように、画像データの変化に対し、ディスプレイ１２の表示階調は非線形に変化する。これをディスプレイのγ特性と呼ぶ。
【００１４】カメラ（撮像装置）１１は、入力光量に対応した画像信号を出力する撮像部と、ディスプレイ１２のγ特性をキャンセルするために、撮像部の出力信号を補正するγ補正回路１１Ａを内蔵するものであり、入力光量に対応した画像信号を出力する。
【００１５】前処理部１３は、ディスプレイ１２の上述の表示特性をシュミレートするものである。換言すると、前処理部１３はカメラ１１より順次供給されるデータＺi（ｉは供給されるデータの順番を表す）を、ディスプレイ１２に供給した場合に実際に表示される輝度を示すデータＸiに変換する。
【００１６】符号化部１４は、従来のＪＰＥＧ，ＭＰＥＧ方式の符号化部と実質的に同一の構成を有し、変換部２１と量子化部２２と可変長符号化部２３とを備える。変換部２１は、前処理部１３から供給された画像データに対しＤＣＴ（離散コサイン変換）を施し、量子化対象の画像データに変換する。
【００１７】量子化部２２は、変換部２１により変換処理された画像データを量子化スケールコードを用いて量子化し、ビット数を圧縮する。可変長符号化部２３は、量子化された画像データに可変長符号化処理を施し、被符号化データを得る。このようにして得られた被符号化データは伝送路を介して送信され、或いは、蓄積装置に蓄積される。
【００１８】復号化部１５は、受信した又は蓄積装置から読み出した被符号化データを復号化するための回路であり、従来と実質的に同一の構成を有し、可変長復号化部３１と、逆量子化部３２と、逆変換部３３とを備える。可変長復号化部３１は、被符号化データに可変長符号化処理を施し、量子化された画像データを復号する。逆量子化部３２は、供給された画像データを量子化スケールコードを用いて逆量子化する。逆変換部３３は、逆量子化された画像データに対し、変換部２１が施したＤＣＴ変換の逆の変換、即ち、逆ＤＣＴ変換処理を行う。
【００１９】符号化部１４と復号化部１５は、従来と同様の設計法及びパラメータ最適化法等により、逆変換部３３の出力する画像の雑音が最も小さくなるように設定されている。
【００２０】後処理部１６は、前処理部１３のシミレート処理と逆特性のシュミレート処理、即ち、ディスプレイ１２のγ特性を相殺する処理を行い、得られた画像データをディスプレイ１２に供給する。
【００２１】従来の技術の欄で説明したように、画像データ符号化・復号化システムは、逆変換部３３の出力画像における雑音が最小になるように設定されている。このシステムによれば、ディスプレイ１２の表示特性を後処理部１６により相殺しているので、誤差が最小の状態にある逆変換部３３の出力画像がそのままディスプレイ１２に表示される。従って、量子化時の誤差（ノイズ）がディスプレイ１２の特性により誇張されて表示されたり、高周波ノイズが低周波ノイズに変換されて、表示に悪影響を与える事態を防止でき、高品質の画像を表示することができる。
【００２２】また、前処理部１３で、ディスプレイ１２の表示特性をシュミレートし、その後、符号化及び復号化を行っているので、後処理部１６を追加したことにより画像の乱れも発生しない。従って、従来技術と比較して、同一の回線容量（データレート）ならば、より高い品質の画像を通信又は蓄積することができ、より少ない回線容量で同等の画質の画像を通信可能なシステムを構築できる。
【００２３】また、この実施の形態においても、符号化部１４及び復号化部１５は、逆変換部３３の出力画像のノイズが最も小さくなるように設定されている。従って、従来の技術の画像符号化方式設計法や符号化パラメータ最適化法をそのまま活用することができる。
【００２４】次に、図４（Ａ）と（Ｂ）を参照して、前処理部１３と後処理部１６の構成例を具体的に説明する。まず、前処理部１３は、カメラ１１からの画像データＺiから数５に示す出力Ｙiを生成するフィルタ回路１３Ａと、フィルタ回路１３Ａの出力Ｙiをディスプレイ１２のγ特性のパラメータγで数６に示すようにべき乗してＹiγを求めるべき乗演算部１３Ｂとより構成される。フィルタ回路１３Ａはディスプレイ１２の低周波特性をシュミレートするものであり、係数Ａ、Ｂ、Ｃ・・・・・・は、それぞれディスプレイ１２の特性に従って設定される。ＣＲＴの表示特性は注目画素とその直前の画素の入力のみの線形和からシュミレートできる。従って、数７を使用してもよい。また、べき乗回路１３Ｂは図３に示す画像データに対する表示階調の非線形性をシュミレートするものであり、ディスプレイにパラメータγが定まる。例えば、表示装置の特性毎に、パラメータγをテーブルに格納しておき、最適なパラメータγを読み出して使用すればよい。
【００２５】
【数５】Ｙi＝ＡＺi＋ＢＺi-1＋ＣＺi-2・・・・・・
【数６】Ｙi＝Ｘiγ
【数７】Ｙi＝ＡＺi＋ＢＺi-1
【００２６】一方、後処理部１６は、数８に示すように復号化部１５からのデータＸiをディスプレイ１２のγ特性のパラメータγの負の数−γでべき乗してＸi-γを求めるべき乗演算部１６Ｂと、べき乗演算部１６Ｂの出力Ｙiから数９で示す出力Ｚiを生成するフィルタ回路１６Ａより構成される。べき乗回路１６Ｂは図３に示す画像データに対する表示階調の非線形特性の逆特性をシュミレートするものであり、ディスプレイ毎にパラメータγが定まる。従って、べき乗演算回路１３Ｂと同様に、ディスプレイの特性毎に、パラメータγをテーブルに格納しておき、ディスプレイの特性に応じて最適なパラメータγを読み出して使用すればよい。また、フィルタ回路１６Ａはディスプレイ１２の低周波特性の逆特性をシュミレートするものであり、係数ａとｂは、それぞれディスプレイ１２の特性の逆特性に従って設定される。また、フィルタ回路１３Ａの特性が数７で表される場合、フィルタ回路１６Ａのフィルタ係数ａとｂはそれぞれ数１０で表される。
【００２７】
【数８】Ｙi＝Ｘi-γ
【数９】Ｚi＝ａ（Ｙi−ｂＹi-1＋ｂ2Ｙi-2−ｂ3Ｙi-3＋ｂ4Ｙi-4・・・・・・）
【数１０】ａ＝１／Ａ、ｂ＝Ｂ／Ａ
【００２８】フィルタ回路１３Ａは、例えば、有限長タップ線形フィルタから構成することができる。図５に示す有限長タップ線形フィルタは、シーケンシャルに接続された複数のレジスタ４１（４１1〜４１n）と、レジスタ４１（４１1〜４１n）の出力に対応する係数を乗算する乗算回路４２（４２2〜４２n）と、乗算回路４２（４２2〜４２n）の出力を加算する加算器４３と、加算器４３の出力データに所定の係数を乗算する乗算器４４から構成される。フィルタ回路１６Ａも同様の回路で構成することができる。
【００２９】次に、逆変換部における雑音を最小とする手法について説明する。画像データに対しＤＣＴなどの変換をかけた後の変換係数ｘの分布の確率密度関数は、数１１に示すラプラス分布ｆLA（ｘ）に近似できる。
【００３０】
【数１１】ｆLA（ｘ）＝１／（√２・σ）・ｅｘｐ（−｜（√２・ｘ／σ）｜）
但し、σ2は分布の分散を表す。
【００３１】分散σのラプラス分布に従うデータ列を量子化ステップδで量子化したとき、量子化誤差の分散σq2は数１２で表される。
【００３２】
【数１２】σq2＝（１−Δ／sinhΔ）・σ2Δ＝δ／（√２・σ）
【００３３】このとき、量子化されたデータのエントロピーＥ（理想的に可変長符号化できた時に必要となる符号量に対応する）もσとδとの関係式として数１３に示すように求められる。
【００３４】
【数１３】Ｅ＝−（１−ｅｘｐ（−Δ））・ｌｏｇ2（１−ｅｘｐ（−Δ））−ｅｘｐ（−Δ）・ｌｏｇ2（sinhΔ）＋（Δ・ｌｏｇ2ｅ）／sinhΔ
【００３５】このとき、各変換係数毎に発生する量子化誤差と必要となる符号量の関係を調整して、全ての変換係数の量子化されたデータを符号化するのに用いる符号量の和を一定としたときに発生する量子化誤差の和を最小とすれば、最適な画像符号化が達成される。但し、ラプラス分布をなすデータについては、近似的に各変換係数に対する最適な符号量配分を決定できるため、その符号量配分から各変換係数毎に最適な量子化ステップを決定することができる。
【００３６】すなわち、各変換係数の分散を予め求めるか統計的に予測しておくかすれば、各変換係数毎に最適な量子化ステップを決定することができる。
【００３７】例えば、ＪＰＥＧやＭＰＥＧで用いられている８×８画素のＤＣＴを例に説明すると、変換部２１は８×８の正方形の画像のブロックを６４個の変換係数に変換する。しかし、８×８の正方形のブロックの集合である画像全体についてＤＣＴを行うと変換係数の数列が６４個できることになり、この「６４個の変換係数の数列」が上記の「全ての変換係数」に該当する。６４個の変換係数についてそれぞれ分散を求め、画像全体でどの程度の符号量に圧縮するかを決定すれば、それぞれの変換係数に対して最適な量子化ステップを求めることができる。
【００３８】なお、この発明は上記実施の形態に限定されず、種々の変形及び応用が可能である。例えば、上記実施の形態においては、変換部２１と逆変換部３３では、ＤＣＴ変換と逆ＤＣＴ変換を実行したが、サブバンド符号化とサブバンド復号化、ウェーブレッド変換と逆ウエーブレッド変換等の量子化に適した画像データを生成する各種の変換法を使用できる。
【００３９】また、上記実施の形態では、カメラ１１はγ補正回路１１Ａを備えている。このγ補正回路の特性と前処理部１３の特性は互いに相殺する特性である。従って、γ補正回路を備えないカメラ１１を使用する場合には、前処理部は必要なく、図６に示すように、カメラ（撮像装置）１１の出力データが符号化部１４の変換部２１にそのまま供給される。ディスプレイ１２はＣＲＴ等に限定されず、液晶表示素子、プラズマ表示素子等の任意の表示素子を使用できる。これらの表示素子の場合、隣接する画素の輝度が注目画素の輝度に与える影響は小さいが、過去のフレームでの表示が現のフレームの表示に与える影響が大きい。従って、前処理部１３及び後処理部１６は、それぞれこのような特性及び逆特性をシュミレートできるように構成する。
【００４０】また、図７に示すように、前処理部１３を含む複数のカメラ１１1〜１１nと後処理部１６を含むディスプレイ１２1〜１２mを用いることにより、特性の異なるディスプレイ１２が混在する環境でも、同一の符号化部１４と復号化部１５を使用して高品質、高能率な画像通信システムを構築することができる。
【００４１】図４及び図６に示した前処理部１３と後処理部１６の構成は、例示であり、これらの構成に限定されるものではない。
【００４２】画像を取得してから可変長符号化を実行するまでの装置と、可変長符号化された画像をデータを受信して表示するまでの装置とは、物理的に分離されていてもよい。同様に、カメラ１１で得られた画像を一旦蓄積し、その後、符号化部１４に供給するようにしてもよい。また、カメラ１１を使用せずに、コンピュータ等により画像データを生成して符号化部１４に供給してもよい。
【００４３】
【発明の効果】以上説明したように、この発明によれば、量子化時のノイズがディスプレイの特性により誇張されて表示される等の事態を防止することができる。従って、量子化誤差による画像の劣化の少ない画像を表示することができる。
【図面の簡単な説明】
【図１】この発明の実施の形態にかかる画像符号化・復号化システムの構成を示すブロック図である。
【図２】ディスプレイ装置の隣接画素の輝度が各画素の輝度に与える影響を説明するための図である。
【図３】階調データとディスプレイ装置の表示階調との関係を示す図である。
【図４】（Ａ）と（Ｂ）は、前処理部と後処理部の構成例を示す図である。
【図５】後処理部を構成するフィルタ回路の一例を示す図である。
【図６】図１に示す画像符号化・復号化システムの変形例の構成を示すブロック図である。
【図７】図１に示す画像符号化・復号化システムの他の変形例の構成を示すブロック図である。
【図８】従来の画像符号化・復号化システムの構成を示すブロック図である。
【符号の説明】
１１ カメラ
１１Ａ γ補正回路
１２ ディスプレイ
１３ 前処理部
１４ 符号化部
１５ 復号化部
１６ 後処理部
２１ 変換部
２２ 量子化部
２３ 可変長符号化部
３１ 可変長復号化部
３２ 逆量子化部
３３ 逆変換部
【０００１】
【発明の属する技術分野】この発明は、画像符号化・復号化技術に関し、特に、高品質の画像を復元することができる画像符号化・復号化技術に関する。
【０００２】
【従来の技術】画像符号化（圧縮）・復号化技術は、画像通信システムにおけるキーテクノロジーとして注目されている。画像符号化・復号化の標準的な方式として、ＪＰＥＧ方式、ＭＰＥＧ方式等が知られている。この種の画像符号化・復号化システムの構成及び動作を図８を参照して説明する。
【０００３】図示するように、従来の画像符号化・復号化システムは、カメラ１１１と、符号化部１１２と、復号化部１１３と、ディスプレイ１１４と、より構成される。カメラ１１１は、任意の画像を取得し、符号化部１１２に供給する。符号化部１１２は、変換部１１５、量子化部１１６、可変長符号化部１１７より構成される。変換部１１３は直交変換等を用いて画像データを量子化に適した形式に変換し、量子化部１１６は、量子化パラメータを用いて変換後の画像データを量子化し、可変長符号化定理に基づいて量子化された画像データを符号化し、被圧縮画像データを生成する。このようにして得られた被圧縮画像データは伝送路を介して送信され、或いは、蓄積装置に蓄積される。
【０００４】このようにして符号化された画像データを復号化する場合、受信された又は蓄積装置から読み出された被圧縮画像データは復号化部１１３の可変長復号化部１１８に供給される。可変長復号化部１１８は、供給された画像データに可変長復号化処理を施して量子化データを復号する。逆量子化部１１９は量子化データに逆量子化処理を施し、逆変換部１２０に供給する。逆変換部１２０は、変換部１１５が施した変換処理とは逆特性の変換を施し、画像データを復号し、ディスプレイ１１４に供給する。
【０００５】
【発明が解決しようとする課題】従来の画像符号化・復号化システムにおいては、量子化部１１６の量子化処理において大幅な情報圧縮を行っており、この圧縮処理により、大きな雑音（誤差）が発生する。従来のシステムでは、逆変換部１２０による逆変換処理が終了した時点での画像の雑音量が最小になるように設計されているが、ディスプレイ１１４は、入力画像データに対して非線形の表示特性（γ特性）を有している。このため、ディスプレイ１１４の特性によっては、雑音が誇張されて表示され、或いは、高周波雑音が低周波雑音に変換されて視認されやすくなる等、実際に表示される画像上の雑音が視覚的に最小にならない場合があった。
【０００６】この発明は、上記実状に鑑みてなされたもので、雑音の少ない画像を表示することができる画像符号化・復号化方法及びシステムを提供することを目的とする。
【０００７】
【課題を解決するための手段】上記目的を達成するため、この発明にかかる画像処理システムは、画像データを出力する画像データ出力手段と、所定の表示特性を有する表示装置と、前記画像データ出力手段からの画像データを量子化し、符号化する符号化手段と、前記符号化手段により符号化されたデータを復号化する復号化手段と、前記復号化手段により復号化された画像データにより前記表示装置の表示特性の逆特性をシュミレートし、シュミレート結果を前記表示装置に供給して表示させる逆シュミレート手段と、より構成されることを特徴とする。
【０００８】また、この発明にかかる画像データ符号化システムは、画像データを出力する画像データ出力手段と、前記画像データ出力手段により取得された画像データに対して、所定の表示特性に基づく表示をシュミレートするシュミレート手段と、前記シュミレート手段の出力データを量子化対象データに変換する変換手段と、前記変換手段により変換されたデータを量子化する量子化手段と、前記量子化手段により量子化されたデータを可変長符号化して出力する可変長符号化手段と、より構成されることを特徴とする。
【０００９】また、この発明にかかる画像データ復号化システムは、表示装置と、符号化されたデータを可変長復号化する可変長復号化手段と、前記可変長復号化手段により可変長復号化されたデータを逆量子化する逆量子化手段と、逆量子化手段により逆量子化されたデータを逆変換する逆変換手段と、前記逆変換手段により、出力されたデータにより、表示装置の逆特性をシュミレートし、該シュミレート結果を前記表示装置に供給して表示させる手段と、より構成されることを特徴とする。
【００１０】この発明の符号化方法は、画像データを出力し、該画像データに対し所定の表示特性を補正するための補正処理を実行し、該補正処理の結果データに対し、前記表示特性をシュミレートする処理を施し、シュミレート後の画像データに対し復号化処理を行うことを特徴とする。
【００１１】この発明の復号化方法は、符号化された画像データを復号化し、復号化された画像データにより表示装置の表示をシュミレートし、シュミレート結果の画像データを表示のために出力する、ことを特徴とする。
【００１２】
【発明の実施の形態】以下、この発明の実施の形態を、図１〜図３を参照して説明する。この実施の形態にかかる符号化・復号化システムは、図１に示すように、カメラ（撮像装置）１１と、ディスプレイ１２、前処理部１３と、符号化部１４と、復号化部１５と、後処理部１６とより構成される。
【００１３】ディスプレイ（表示装置）１２は、供給された画像データに対応する階調を表示するＣＲＴから構成される。ＣＲＴは、電子ビームを走査して表示を行うという特性上、図２に示すように、各画素Ｘiの輝度は、同一走査線上の先に走査された一連の画素Ｘi-1、Ｘi-2・・・・・・の輝度の影響を受ける。これをＣＲＴの低周波特性と呼ぶ。また、図３に示すように、画像データの変化に対し、ディスプレイ１２の表示階調は非線形に変化する。これをディスプレイのγ特性と呼ぶ。
【００１４】カメラ（撮像装置）１１は、入力光量に対応した画像信号を出力する撮像部と、ディスプレイ１２のγ特性をキャンセルするために、撮像部の出力信号を補正するγ補正回路１１Ａを内蔵するものであり、入力光量に対応した画像信号を出力する。
【００１５】前処理部１３は、ディスプレイ１２の上述の表示特性をシュミレートするものである。換言すると、前処理部１３はカメラ１１より順次供給されるデータＺi（ｉは供給されるデータの順番を表す）を、ディスプレイ１２に供給した場合に実際に表示される輝度を示すデータＸiに変換する。
【００１６】符号化部１４は、従来のＪＰＥＧ，ＭＰＥＧ方式の符号化部と実質的に同一の構成を有し、変換部２１と量子化部２２と可変長符号化部２３とを備える。変換部２１は、前処理部１３から供給された画像データに対しＤＣＴ（離散コサイン変換）を施し、量子化対象の画像データに変換する。
【００１７】量子化部２２は、変換部２１により変換処理された画像データを量子化スケールコードを用いて量子化し、ビット数を圧縮する。可変長符号化部２３は、量子化された画像データに可変長符号化処理を施し、被符号化データを得る。このようにして得られた被符号化データは伝送路を介して送信され、或いは、蓄積装置に蓄積される。
【００１８】復号化部１５は、受信した又は蓄積装置から読み出した被符号化データを復号化するための回路であり、従来と実質的に同一の構成を有し、可変長復号化部３１と、逆量子化部３２と、逆変換部３３とを備える。可変長復号化部３１は、被符号化データに可変長符号化処理を施し、量子化された画像データを復号する。逆量子化部３２は、供給された画像データを量子化スケールコードを用いて逆量子化する。逆変換部３３は、逆量子化された画像データに対し、変換部２１が施したＤＣＴ変換の逆の変換、即ち、逆ＤＣＴ変換処理を行う。
【００１９】符号化部１４と復号化部１５は、従来と同様の設計法及びパラメータ最適化法等により、逆変換部３３の出力する画像の雑音が最も小さくなるように設定されている。
【００２０】後処理部１６は、前処理部１３のシミレート処理と逆特性のシュミレート処理、即ち、ディスプレイ１２のγ特性を相殺する処理を行い、得られた画像データをディスプレイ１２に供給する。
【００２１】従来の技術の欄で説明したように、画像データ符号化・復号化システムは、逆変換部３３の出力画像における雑音が最小になるように設定されている。このシステムによれば、ディスプレイ１２の表示特性を後処理部１６により相殺しているので、誤差が最小の状態にある逆変換部３３の出力画像がそのままディスプレイ１２に表示される。従って、量子化時の誤差（ノイズ）がディスプレイ１２の特性により誇張されて表示されたり、高周波ノイズが低周波ノイズに変換されて、表示に悪影響を与える事態を防止でき、高品質の画像を表示することができる。
【００２２】また、前処理部１３で、ディスプレイ１２の表示特性をシュミレートし、その後、符号化及び復号化を行っているので、後処理部１６を追加したことにより画像の乱れも発生しない。従って、従来技術と比較して、同一の回線容量（データレート）ならば、より高い品質の画像を通信又は蓄積することができ、より少ない回線容量で同等の画質の画像を通信可能なシステムを構築できる。
【００２３】また、この実施の形態においても、符号化部１４及び復号化部１５は、逆変換部３３の出力画像のノイズが最も小さくなるように設定されている。従って、従来の技術の画像符号化方式設計法や符号化パラメータ最適化法をそのまま活用することができる。
【００２４】次に、図４（Ａ）と（Ｂ）を参照して、前処理部１３と後処理部１６の構成例を具体的に説明する。まず、前処理部１３は、カメラ１１からの画像データＺiから数５に示す出力Ｙiを生成するフィルタ回路１３Ａと、フィルタ回路１３Ａの出力Ｙiをディスプレイ１２のγ特性のパラメータγで数６に示すようにべき乗してＹiγを求めるべき乗演算部１３Ｂとより構成される。フィルタ回路１３Ａはディスプレイ１２の低周波特性をシュミレートするものであり、係数Ａ、Ｂ、Ｃ・・・・・・は、それぞれディスプレイ１２の特性に従って設定される。ＣＲＴの表示特性は注目画素とその直前の画素の入力のみの線形和からシュミレートできる。従って、数７を使用してもよい。また、べき乗回路１３Ｂは図３に示す画像データに対する表示階調の非線形性をシュミレートするものであり、ディスプレイにパラメータγが定まる。例えば、表示装置の特性毎に、パラメータγをテーブルに格納しておき、最適なパラメータγを読み出して使用すればよい。
【００２５】
【数５】Ｙi＝ＡＺi＋ＢＺi-1＋ＣＺi-2・・・・・・
【数６】Ｙi＝Ｘiγ
【数７】Ｙi＝ＡＺi＋ＢＺi-1
【００２６】一方、後処理部１６は、数８に示すように復号化部１５からのデータＸiをディスプレイ１２のγ特性のパラメータγの負の数−γでべき乗してＸi-γを求めるべき乗演算部１６Ｂと、べき乗演算部１６Ｂの出力Ｙiから数９で示す出力Ｚiを生成するフィルタ回路１６Ａより構成される。べき乗回路１６Ｂは図３に示す画像データに対する表示階調の非線形特性の逆特性をシュミレートするものであり、ディスプレイ毎にパラメータγが定まる。従って、べき乗演算回路１３Ｂと同様に、ディスプレイの特性毎に、パラメータγをテーブルに格納しておき、ディスプレイの特性に応じて最適なパラメータγを読み出して使用すればよい。また、フィルタ回路１６Ａはディスプレイ１２の低周波特性の逆特性をシュミレートするものであり、係数ａとｂは、それぞれディスプレイ１２の特性の逆特性に従って設定される。また、フィルタ回路１３Ａの特性が数７で表される場合、フィルタ回路１６Ａのフィルタ係数ａとｂはそれぞれ数１０で表される。
【００２７】
【数８】Ｙi＝Ｘi-γ
【数９】Ｚi＝ａ（Ｙi−ｂＹi-1＋ｂ2Ｙi-2−ｂ3Ｙi-3＋ｂ4Ｙi-4・・・・・・）
【数１０】ａ＝１／Ａ、ｂ＝Ｂ／Ａ
【００２８】フィルタ回路１３Ａは、例えば、有限長タップ線形フィルタから構成することができる。図５に示す有限長タップ線形フィルタは、シーケンシャルに接続された複数のレジスタ４１（４１1〜４１n）と、レジスタ４１（４１1〜４１n）の出力に対応する係数を乗算する乗算回路４２（４２2〜４２n）と、乗算回路４２（４２2〜４２n）の出力を加算する加算器４３と、加算器４３の出力データに所定の係数を乗算する乗算器４４から構成される。フィルタ回路１６Ａも同様の回路で構成することができる。
【００２９】次に、逆変換部における雑音を最小とする手法について説明する。画像データに対しＤＣＴなどの変換をかけた後の変換係数ｘの分布の確率密度関数は、数１１に示すラプラス分布ｆLA（ｘ）に近似できる。
【００３０】
【数１１】ｆLA（ｘ）＝１／（√２・σ）・ｅｘｐ（−｜（√２・ｘ／σ）｜）
但し、σ2は分布の分散を表す。
【００３１】分散σのラプラス分布に従うデータ列を量子化ステップδで量子化したとき、量子化誤差の分散σq2は数１２で表される。
【００３２】
【数１２】σq2＝（１−Δ／sinhΔ）・σ2Δ＝δ／（√２・σ）
【００３３】このとき、量子化されたデータのエントロピーＥ（理想的に可変長符号化できた時に必要となる符号量に対応する）もσとδとの関係式として数１３に示すように求められる。
【００３４】
【数１３】Ｅ＝−（１−ｅｘｐ（−Δ））・ｌｏｇ2（１−ｅｘｐ（−Δ））−ｅｘｐ（−Δ）・ｌｏｇ2（sinhΔ）＋（Δ・ｌｏｇ2ｅ）／sinhΔ
【００３５】このとき、各変換係数毎に発生する量子化誤差と必要となる符号量の関係を調整して、全ての変換係数の量子化されたデータを符号化するのに用いる符号量の和を一定としたときに発生する量子化誤差の和を最小とすれば、最適な画像符号化が達成される。但し、ラプラス分布をなすデータについては、近似的に各変換係数に対する最適な符号量配分を決定できるため、その符号量配分から各変換係数毎に最適な量子化ステップを決定することができる。
【００３６】すなわち、各変換係数の分散を予め求めるか統計的に予測しておくかすれば、各変換係数毎に最適な量子化ステップを決定することができる。
【００３７】例えば、ＪＰＥＧやＭＰＥＧで用いられている８×８画素のＤＣＴを例に説明すると、変換部２１は８×８の正方形の画像のブロックを６４個の変換係数に変換する。しかし、８×８の正方形のブロックの集合である画像全体についてＤＣＴを行うと変換係数の数列が６４個できることになり、この「６４個の変換係数の数列」が上記の「全ての変換係数」に該当する。６４個の変換係数についてそれぞれ分散を求め、画像全体でどの程度の符号量に圧縮するかを決定すれば、それぞれの変換係数に対して最適な量子化ステップを求めることができる。
【００３８】なお、この発明は上記実施の形態に限定されず、種々の変形及び応用が可能である。例えば、上記実施の形態においては、変換部２１と逆変換部３３では、ＤＣＴ変換と逆ＤＣＴ変換を実行したが、サブバンド符号化とサブバンド復号化、ウェーブレッド変換と逆ウエーブレッド変換等の量子化に適した画像データを生成する各種の変換法を使用できる。
【００３９】また、上記実施の形態では、カメラ１１はγ補正回路１１Ａを備えている。このγ補正回路の特性と前処理部１３の特性は互いに相殺する特性である。従って、γ補正回路を備えないカメラ１１を使用する場合には、前処理部は必要なく、図６に示すように、カメラ（撮像装置）１１の出力データが符号化部１４の変換部２１にそのまま供給される。ディスプレイ１２はＣＲＴ等に限定されず、液晶表示素子、プラズマ表示素子等の任意の表示素子を使用できる。これらの表示素子の場合、隣接する画素の輝度が注目画素の輝度に与える影響は小さいが、過去のフレームでの表示が現のフレームの表示に与える影響が大きい。従って、前処理部１３及び後処理部１６は、それぞれこのような特性及び逆特性をシュミレートできるように構成する。
【００４０】また、図７に示すように、前処理部１３を含む複数のカメラ１１1〜１１nと後処理部１６を含むディスプレイ１２1〜１２mを用いることにより、特性の異なるディスプレイ１２が混在する環境でも、同一の符号化部１４と復号化部１５を使用して高品質、高能率な画像通信システムを構築することができる。
【００４１】図４及び図６に示した前処理部１３と後処理部１６の構成は、例示であり、これらの構成に限定されるものではない。
【００４２】画像を取得してから可変長符号化を実行するまでの装置と、可変長符号化された画像をデータを受信して表示するまでの装置とは、物理的に分離されていてもよい。同様に、カメラ１１で得られた画像を一旦蓄積し、その後、符号化部１４に供給するようにしてもよい。また、カメラ１１を使用せずに、コンピュータ等により画像データを生成して符号化部１４に供給してもよい。
【００４３】
【発明の効果】以上説明したように、この発明によれば、量子化時のノイズがディスプレイの特性により誇張されて表示される等の事態を防止することができる。従って、量子化誤差による画像の劣化の少ない画像を表示することができる。
【図面の簡単な説明】
【図１】この発明の実施の形態にかかる画像符号化・復号化システムの構成を示すブロック図である。
【図２】ディスプレイ装置の隣接画素の輝度が各画素の輝度に与える影響を説明するための図である。
【図３】階調データとディスプレイ装置の表示階調との関係を示す図である。
【図４】（Ａ）と（Ｂ）は、前処理部と後処理部の構成例を示す図である。
【図５】後処理部を構成するフィルタ回路の一例を示す図である。
【図６】図１に示す画像符号化・復号化システムの変形例の構成を示すブロック図である。
【図７】図１に示す画像符号化・復号化システムの他の変形例の構成を示すブロック図である。
【図８】従来の画像符号化・復号化システムの構成を示すブロック図である。
【符号の説明】
１１ カメラ
１１Ａ γ補正回路
１２ ディスプレイ
１３ 前処理部
１４ 符号化部
１５ 復号化部
１６ 後処理部
２１ 変換部
２２ 量子化部
２３ 可変長符号化部
３１ 可変長復号化部
３２ 逆量子化部
３３ 逆変換部
【特許請求の範囲】
【請求項１】画像データを出力する画像データ出力手段と、所定の表示特性を有する表示装置と、前記画像データ出力手段からの画像データを量子化し、符号化する符号化手段と、前記符号化手段により符号化されたデータを復号化する復号化手段と、前記復号化手段により復号化された画像データにより前記表示装置の表示特性の逆特性をシュミレートし、シュミレート結果を前記表示装置に供給して表示させる逆シュミレート手段と、より構成されることを特徴とする画像符号化・復号化システム。
【請求項２】前記符号化手段と前記復号化手段とは、前記復号化手段により復号化された画像データにより定義される画像の量子化雑音が実質的に最小となるように構成されている、ことを特徴とする請求項１に記載の画像符号化・復号化システム。
【請求項３】前記逆シュミレート手段は、前記復号化手段の出力データを所定のパラメータでべき乗するべき乗部と、前記べき乗部の出力する時系列信号中の複数の信号に所定の係数を乗算して加算するフィルタ回路とより構成される、ことを特徴とする請求項１又は２に記載の画像符号化・復号化システム。
【請求項４】前記逆シュミレート手段は、前記復号化手段の出力データＸiと前記表示装置のγ特性のパラメータγを用い、数１で表される出力Ｙiを求めるべき乗部と、前記べき乗部の出力する時間列信号Ｙiに対して、数２で表される出力Ｚiを生成するフィルタ回路と、より構成されることを特徴とする請求項１又は２に記載の画像符号化・復号化システム。
【数１】Ｙi＝Ｘi-γ
【数２】
Ｚi＝ａ（Ｙi−ｂＹi-1＋ｂ2Ｙi-2−ｂ3Ｙi-3・・・・・・）
（ａとｂは定数）
【請求項５】画像データ出力手段は、入力光量に対応する画像データを出力する画像取得手段と、前記表示装置の表示特性を補償するための補正回路とを備える撮像手段と、前記撮像手段の出力する画像データにより、前記表示装置の表示特性をシュミレートするシュミレート手段と、より構成されることを特徴とする請求項１、２、３又は４に記載の画像符号化・復号化システム。
【請求項６】画像データ出力手段は、入力光量に対応する画像データを出力する画像取得手段と、前記画像取得手段の出力データを前記符号化手段に供給する手段と、より構成されることを特徴とする請求項１、２、３又は４に記載の画像符号化・復号化システム。
【請求項７】前記符号化手段は、画像データ出力手段からの画像データを符号化対象データに変換する変換手段と、該符号化対象データを量子化パラメータに従って量子化する量子化手段と、量子化された画像データを可変長符号に変換する可変長符号化手段と、より構成され、前記復号化手段は、可変長符号に可変長復号化処理を施す可変長符号化手段と、可変長復号化された画像データを逆量子化する逆量子化手段と、逆量子化手段の出力データを逆変換する逆変換手段と、より構成される、ことを特徴とする請求項１乃至６のいずれか１つに記載の画像符号化・復号化システム。
【請求項８】画像データを出力する画像データ出力手段と、前記画像データ出力手段により取得された画像データに対して、所定の表示特性に基づく表示をシュミレートするシュミレート手段と、前記シュミレート手段の出力データを量子化対象データに変換する変換手段と、前記変換手段により変換されたデータを量子化する量子化手段と、前記量子化手段により量子化されたデータを可変長符号化して出力する可変長符号化手段と、より構成されることを特徴とする画像データ符号化システム。
【請求項９】表示装置と、符号化されたデータを可変長復号化する可変長復号化手段と、前記可変長復号化手段により可変長復号化されたデータを逆量子化する逆量子化手段と、逆量子化手段により逆量子化されたデータを逆変換する逆変換手段と、前記逆変換手段により、出力されたデータにより、表示装置の逆特性をシュミレートし、該シュミレート結果を前記表示装置に供給して表示させる手段と、より構成されることを特徴とする画像データ復号化システム。
【請求項１０】前記逆シュミレート手段は、前記逆変換手段の出力データＸiと前記表示装置のγ特性のパラメータγを用い、数３で表される出力Ｙiを求めるべき乗部と、前記べき乗部の出力する時間列信号Ｙiに対して、数４で表される出力Ｚiを生成するフィルタ回路と、より構成されることを特徴とする請求項９に記載の画像データ復号化システム。
【数３】Ｙi＝Ｘi-γ
【数４】
Ｚi＝ａ（Ｙi−ｂＹi-1＋ｂ2Ｙi-2−ｂ3Ｙi-3・・・・・・）
（ａとｂは定数）
【請求項１１】画像データを出力し、該画像データに対し所定の表示特性を補正するための補正処理を実行し、該補正処理の結果データに対し、前記表示特性をシュミレートする処理を施し、シュミレート後の画像データに対し復号化処理を行うことを特徴とする画像データ符号化方法。
【請求項１２】符号化された画像データを復号化し、復号化された画像データにより表示装置の表示をシュミレートし、シュミレート結果の画像データを表示のために出力する、ことを特徴とする画像データ復号化方法。
【請求項１】画像データを出力する画像データ出力手段と、所定の表示特性を有する表示装置と、前記画像データ出力手段からの画像データを量子化し、符号化する符号化手段と、前記符号化手段により符号化されたデータを復号化する復号化手段と、前記復号化手段により復号化された画像データにより前記表示装置の表示特性の逆特性をシュミレートし、シュミレート結果を前記表示装置に供給して表示させる逆シュミレート手段と、より構成されることを特徴とする画像符号化・復号化システム。
【請求項２】前記符号化手段と前記復号化手段とは、前記復号化手段により復号化された画像データにより定義される画像の量子化雑音が実質的に最小となるように構成されている、ことを特徴とする請求項１に記載の画像符号化・復号化システム。
【請求項３】前記逆シュミレート手段は、前記復号化手段の出力データを所定のパラメータでべき乗するべき乗部と、前記べき乗部の出力する時系列信号中の複数の信号に所定の係数を乗算して加算するフィルタ回路とより構成される、ことを特徴とする請求項１又は２に記載の画像符号化・復号化システム。
【請求項４】前記逆シュミレート手段は、前記復号化手段の出力データＸiと前記表示装置のγ特性のパラメータγを用い、数１で表される出力Ｙiを求めるべき乗部と、前記べき乗部の出力する時間列信号Ｙiに対して、数２で表される出力Ｚiを生成するフィルタ回路と、より構成されることを特徴とする請求項１又は２に記載の画像符号化・復号化システム。
【数１】Ｙi＝Ｘi-γ
【数２】
Ｚi＝ａ（Ｙi−ｂＹi-1＋ｂ2Ｙi-2−ｂ3Ｙi-3・・・・・・）
（ａとｂは定数）
【請求項５】画像データ出力手段は、入力光量に対応する画像データを出力する画像取得手段と、前記表示装置の表示特性を補償するための補正回路とを備える撮像手段と、前記撮像手段の出力する画像データにより、前記表示装置の表示特性をシュミレートするシュミレート手段と、より構成されることを特徴とする請求項１、２、３又は４に記載の画像符号化・復号化システム。
【請求項６】画像データ出力手段は、入力光量に対応する画像データを出力する画像取得手段と、前記画像取得手段の出力データを前記符号化手段に供給する手段と、より構成されることを特徴とする請求項１、２、３又は４に記載の画像符号化・復号化システム。
【請求項７】前記符号化手段は、画像データ出力手段からの画像データを符号化対象データに変換する変換手段と、該符号化対象データを量子化パラメータに従って量子化する量子化手段と、量子化された画像データを可変長符号に変換する可変長符号化手段と、より構成され、前記復号化手段は、可変長符号に可変長復号化処理を施す可変長符号化手段と、可変長復号化された画像データを逆量子化する逆量子化手段と、逆量子化手段の出力データを逆変換する逆変換手段と、より構成される、ことを特徴とする請求項１乃至６のいずれか１つに記載の画像符号化・復号化システム。
【請求項８】画像データを出力する画像データ出力手段と、前記画像データ出力手段により取得された画像データに対して、所定の表示特性に基づく表示をシュミレートするシュミレート手段と、前記シュミレート手段の出力データを量子化対象データに変換する変換手段と、前記変換手段により変換されたデータを量子化する量子化手段と、前記量子化手段により量子化されたデータを可変長符号化して出力する可変長符号化手段と、より構成されることを特徴とする画像データ符号化システム。
【請求項９】表示装置と、符号化されたデータを可変長復号化する可変長復号化手段と、前記可変長復号化手段により可変長復号化されたデータを逆量子化する逆量子化手段と、逆量子化手段により逆量子化されたデータを逆変換する逆変換手段と、前記逆変換手段により、出力されたデータにより、表示装置の逆特性をシュミレートし、該シュミレート結果を前記表示装置に供給して表示させる手段と、より構成されることを特徴とする画像データ復号化システム。
【請求項１０】前記逆シュミレート手段は、前記逆変換手段の出力データＸiと前記表示装置のγ特性のパラメータγを用い、数３で表される出力Ｙiを求めるべき乗部と、前記べき乗部の出力する時間列信号Ｙiに対して、数４で表される出力Ｚiを生成するフィルタ回路と、より構成されることを特徴とする請求項９に記載の画像データ復号化システム。
【数３】Ｙi＝Ｘi-γ
【数４】
Ｚi＝ａ（Ｙi−ｂＹi-1＋ｂ2Ｙi-2−ｂ3Ｙi-3・・・・・・）
（ａとｂは定数）
【請求項１１】画像データを出力し、該画像データに対し所定の表示特性を補正するための補正処理を実行し、該補正処理の結果データに対し、前記表示特性をシュミレートする処理を施し、シュミレート後の画像データに対し復号化処理を行うことを特徴とする画像データ符号化方法。
【請求項１２】符号化された画像データを復号化し、復号化された画像データにより表示装置の表示をシュミレートし、シュミレート結果の画像データを表示のために出力する、ことを特徴とする画像データ復号化方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開平９−９８４１４
【公開日】平成９年（１９９７）４月８日
【国際特許分類】
【出願番号】特願平７−２５４３６０
【出願日】平成７年（１９９５）１０月２日
【出願人】（０００１０２７２８）エヌ・ティ・ティ・データ通信株式会社 (438)
【公開日】平成９年（１９９７）４月８日
【国際特許分類】
【出願日】平成７年（１９９５）１０月２日
【出願人】（０００１０２７２８）エヌ・ティ・ティ・データ通信株式会社 (438)
[ Back to top ]