再生画像解析装置
【課題】ＪＰＥＧ２０００のような従来のＤＣＴベースの符号化とは異なる符号化方式であっても、再生画像から初期符号化時の符号化パラメータをより正確に推定できる。
【解決手段】符号化パラメータ設定手段１０５により予め準備した所定の符号化パラメータを画像符号化手段に設定し、画像符号化手段１０１により、設定された符号化パラメータに基づいて再生画像の再符号化を行いコードストリームを生成し、生成されたコードストリームを画像復号手段１０３で再復号して再々生画像を生成し、符号化歪算出手段１０３により、再々生画像と再生画像とから再符号化による符号化歪を算出し、再生画像解析手段１０４において、符号化歪とコードストリームの符号量に基づいて再生画像の初期符号化時の符号化パラメータを推定する。
【解決手段】符号化パラメータ設定手段１０５により予め準備した所定の符号化パラメータを画像符号化手段に設定し、画像符号化手段１０１により、設定された符号化パラメータに基づいて再生画像の再符号化を行いコードストリームを生成し、生成されたコードストリームを画像復号手段１０３で再復号して再々生画像を生成し、符号化歪算出手段１０３により、再々生画像と再生画像とから再符号化による符号化歪を算出し、再生画像解析手段１０４において、符号化歪とコードストリームの符号量に基づいて再生画像の初期符号化時の符号化パラメータを推定する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、符号化と復号の処理を経て生成された再生画像から、符号化時に使用した符号化パラメータを推定する再生画像解析装置に関するものである。
【背景技術】
【０００２】
符号化、復号を経て生成された再生画像を再度符号化する場合、最初の符号化時に用いたのと同じ符号化パラメータを使用することが画質劣化の低減に有効であるため、再生画像から最初の符号化時（以下、「初期符号化時」とする）の符号化パラメータを知ることは重要な課題といえる。再生画像のコードストリーム（圧縮データ）がある場合には、コードストリームを復号する過程で比較的容易に符号化パラメータを知ることができるが、再生画像にしかアクセスできない場合には、より高度な解析が必要になる。
【０００３】
従来、再生画像のみから符号化パラメータを推定する手法として、ピクチャタイプ（Iピクチャ／Ｐピクチャ）の種類、量子化ステップサイズを推定する手法などがある。例えば特許文献１には、固定量子化符号化器により再生画像の再符号化を行い、予めトレーニングにより求めておいた発生符号量との対比関係から、ピクチャタイプ、量子化ステップサイズを推定する方法が開示されている。また、特許文献２には、再生画像から変換係数の量子化出力の発生頻度分布を算出し、頻度分布の極大値が発生する間隔から量子化ステップサイズを推定する方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−３５２５４号公報
【特許文献２】特開平７−１１１５９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の符号化パラメータ推定手法は、符号化方式ＪＰＥＧ（ISO/IEC 10918-1）、ＭＰＥＧ−２（ISO/IEC 13818―2）など、ブロック単位に処理を行うＤＣＴ（Discrete Cosine Transform；離散コサイン変換）を使い、エントロピー符号化の前段階にスカラー量子化を行う方法をその対象としていた。これに対し、近年普及しつつあるＪＰＥＧ２０００（ISO/ITU 15444-1）では、基本的にブロック単位ではないウェーブレット変換を使っており、スカラー量子化の他に、エントロピー符号化後に特定のビットプレーンを切り捨てるポスト量子化を行っているため、従来の符号化パラメータの推定手法の適用は困難な場合がある。
【０００６】
この発明は、ＪＰＥＧ２０００のような従来のＤＣＴベースの符号化とは異なる符号化方式であっても、再生画像から初期符号化時の符号化パラメータをより正確に推定できる再生画像解析装置を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る再生画像解析装置は、符号化処理と復号処理により生成された再生画像から当該再生画像の初期符号化時に使用した符号化パラメータを推定する再生画像解析装置において、設定される符号化パラメータに基づいて前記再生画像の再符号化を行いコードストリームを生成する画像符号化手段と、予め準備した所定の符号化パラメータを前記画像符号化手段に設定する符号化パラメータ設定手段と、生成されたコードストリームを再復号して再々生画像を生成する画像復号手段と、再々生画像と再生画像とから再符号化による符号化歪を算出する符号化歪算出手段と、算出された符号化歪とコードストリームの符号量に基づいて再生画像の初期符号化時の符号化パラメータを推定する再生画像解析手段とを備えたものである。
【発明の効果】
【０００８】
この発明によれば、ＪＰＥＧ２０００のような、ウェーブレット変換を使っており、スカラー量子化の他に特定のビットプレーンを切り捨てるポスト量子化を行っている符号化方式であっても符号化パラメータを推定できるという効果がある。
【図面の簡単な説明】
【０００９】
【図１】この発明の各実施の形態に共通な再生画像解析装置の機能構成を示すブロック図である。
【図２】この発明の実施の形態１に係る再生画像解析装置の処理手順を示すフローチャートである。
【図３】この発明の実施の形態１に係るパラメータセットに対する再符号化による符号量対符号化歪みの関係例を示す説明図である。
【図４】この発明の実施の形態２に係る再生画像解析装置の処理手順を示すフローチャートである。
【図５】この発明の実施の形態３に係る再生画像解析装置の処理手順を示すフローチャートである。
【図６】コードブロックごとの符号量歪特性を示す説明図である。
【図７】ＪＰＥＧ２０００符号化器、復号器の機能構成を示すブロック図である。
【図８】２次元のウェーブレット変換について示す説明図である。
【図９】コードブロックのビットプレーンへの分解を示す説明図である。
【図１０】コードブロックの符号量対歪特性を示す説明図である。
【発明を実施するための形態】
【００１０】
実施の形態１．
この発明をＪＰＥＧ２０００により圧縮、伸長された再生画像の符号化パラメータを解析する場合を例にとり説明するが、最初に、勧告書ＩＳＯ/ＩＥＣ １５４４４-１に従ってＪＰＥＧ２０００符号化アルゴリズムの基本方式の概略について説明する。
図７は、ＪＰＥＧ２０００符号化器、復号器の機能構成を示すブロック図である。符号化器７００の構成において、ウェーブレット変換手段７０１は、入力画像信号に対し２次元のウェーブレット変換を再帰的に行う手段である。スカラー量子化手段７０２は、ウェーブレット変換手段７０１によって生成されたウェーブレット変換係数を予め設定された量子化ステップサイズで量子化処理する手段である。エントロピー符号化手段７０３は、量子化されたウェーブレット変換係数をビットプレーンに分解し２値算術符号化する手段である。ポスト量子化手段７０４は、エントロピー符号化された符号データから不要なデータを切り捨てる手段である。ポスト量子化制御手段７０５は、符号化歪と発生符号量の関係を計算し、ポスト量子化手段７０４に不要なデータを通知する手段である。また、復号器７１０の構成において、エントロピー復号手段７０７は、コードストリーム内の符号データを算術復号し、変換係数の量子化値を再生する手段である。スカラー逆量子化手段７０８は、量子化値を逆量子化して変換係数再生値を生成する手段である。逆ウェーブレット変換手段７０９は、変換係数再生値を再生画像に変換する手段である。
【００１１】
次に符号化器の動作について説明する。
まず、入力された原画像の画像信号は、ウェーブレット変換手段７０１で２次元のウェーブレット変換が施され、複数のサブバンドに帯域分割される。ここで、２次元のウェーブレット変換は、１次元のウェーブレット変換の組み合わせとして実現される。つまり、垂直方向の一次元ウェーブレット変換を列毎に順次行う処理と水平方向の１次元ウェーブレット変換をライン毎に順次行う処理である。また、１次元のウェーブレット変換は、図８（ａ）に示すように、所定の特性を持つローパスフィルタ、ハイパスフィルタおよびダウンサンプラから構成されるものである。こうして生成された２次元のウェーブレット変換係数は、低域成分をＬ、高域成分をＨとし、水平方向の変換を１文字目、垂直方向の変換を２文字目で表現することで、図８（ｂ）に示すようにＬＬ、ＨＬ、ＬＨ、ＨＨと表現される。また、これらの帯域分割された成分はサブバンドと呼ばれている。ここで、水平、垂直方向の低域成分（ＬＬ成分）は再帰的にウェーブレット変換が施される。再帰的に施される各ウェーブレット変換によって生成される各サブバンドを分割レベル、分割の回数を分割レベル数と称する。図中ＬＬ、ＨＬ、ＬＨ、ＨＨの前に記載された数字「１」、「２」が分割レベルあたる。すなわち、ウェーブレット変換の分割レベル数２の場合には、最低解像度成分の分割レベルは２となり、反対に最高解像度成分のＨＬ，ＬＨ，ＨＨの分割レベルは１になる。ＪＰＥＧ２０００では２種類のフィルタが用意されている。９タップと７タップの実数演算のフィルタリングを行う９×７フィルタと、５タップと３タップの整数演算のフィルタリングを行う５×３フィルタである。用途に応じて符号化側で選択する。
【００１２】
次に、スカラー量子化手段７０２において、サブバンドのウェーブレット変換係数は、サブバンド毎に設定された量子化ステップサイズにより量子化される。この量子化を後述するポスト量子化と区別するために、これ以降、スカラー量子化と呼ぶことにする。スカラー量子化には、量子化ステップサイズの設定方法の異なる２種類の方法がある。一つは、全てのサブバンドの量子化ステップサイズをヘッダに記載する明示的な量子化である。図８（ｂ）の分割レベル２の例だと、１ＨＨから２ＬＬまで全てのサブバンドに対する量子化ステップサイズが記載される。もう一つは、ＬＬ成分の量子化ステップサイズのみをヘッダに記載し、それ以外の解像度については解像度が上がるたびに２倍される非明示的な量子化である。図８（ｂ）の分割レベル２の例で、２ＬＬの量子化ステップサイズをΔとすると、２ＬＨ、２ＨＨ、２ＨＬの量子化ステップサイズはΔ、１ＬＨ、１ＨＨ、１ＨＬの量子化ステップサイズは２Δとなる。なお、５×３フィルタの使用時には、スカラー量子化は行わない。
【００１３】
エントロピー符号化手段７０３では、各サブバンドのウェーブレット変換係数をコードブロックと呼ばれる固定サイズの矩形領域に分割した後、多値データからなるそれぞれのコードブロックを２値のビットプレーンに変換する。通常このコードブロックの大きさは、６４×６４、３２×３２などのサイズに設定される。
ここで、図９を用いてビットプレーンの分解について説明する。図９（ａ）は４×４のコードブロックの一例を表している。これらのデータに対して、正負を表す１ビットの信号と絶対値の表現に変換し、それらのデータを縦方向に２進表現した結果を各行単位に並べたものが図９（ｂ）となる。次に、図９（ｂ）に対して同一のビット番号のビットを集めたものが図９（ｃ）となる。ここで、最下位ビット（ＬＳＢ；Least Significant Bit）を第０ビット、第上位ビット（ＭＳＢ；Most Significant Bit）を第３ビットとした時、第０ビットで集めたものを第０ビットプレーン、第１ビットで集めたものを第１ビットプレーン、第２ビットで集めたものを第２ビットプレーン、第３ビットで集めたものを第３ビットプレーンとしている。これ以外にも正負を表すビットの集まりとして符号ビットプレーンを作成する。
【００１４】
エントロピー符号化手段７０３は、ビットプレーン内の各ビットを、そのコンテクストに応じて、３通りの符号化パス、すなわちシグニフィカントプロパゲーションデコーディングパス（Significant Propagation Decoding Pass；有意な係数が周囲にある有意でない係数の符号化）、マグニチュードリファインメントパス（Magnitude Refinement Pass；有意な係数の符号化）、クリーンナップパス（Cleanup Pass；残りの係数情報の符号化）に分割する。そして、各パスを算術符号化により符号データに圧縮する。
【００１５】
ポスト量子化手段７０４では、特定のパス以降のパスを切り捨てる処理を行う。あるパス以降の下位ビットプレーンを全て切り捨てることは、量子化に相当するのでこれをポスト量子化と呼ぶ。このポスト量子化による切り捨てパス数を制御することにより、符号量を所望の値に調整することが可能になる。ポスト量子化による符号量制御の方法は符号化側の裁量に応じて任意の方法を使うことができるが、以下に勧告書ＩＳＯ／ＩＴＵ１５４４４−１ Ｊ．１４．３に参考情報として記載されているラグランジェの乗数法によるレート制御部のメカニズムについて概略を説明する。
【００１６】
この方法では、各コードブロックｉにおける切り捨てパスをｎｉとした時、各切り捨てパスまでの符号量Ｒ（ｉ，ｎｉ）、歪Ｄ（ｉ，ｎｉ）を算出する。ここで、歪とは、ある符号化パス以降を切り捨てた場合に、どれだけの平均２乗誤差が発生するかを意味する。この符号量と歪みの関係を「符号量歪特性」と呼ぶことにする。
次に、画面全体での総符号量が目標符号量Ｒｍａｘ以下となるという条件のもと、符号化歪が最小となる切り捨てパスを決定する。これには、（１）式を考え、（１）式を最小とする切り捨てパスをコードブロックごとに算出する。
Σ｛Ｒ（ｉ，ｎｉ）＋λＤ（ｉ，ｎｉ）｝ （１）
ただし、λは、λ＞０の定数とする。
【００１７】
（１）式を最小にする切り捨てパスを見つけることは、図１０に示すように、各コードブロックの符号量対歪特性をグラフに表した時、その接線の傾きが−１／λとなる切り捨てパスを見つけることと等価である。図１０では、２つのコードブロックＣ１、Ｃ２において、接線の傾きが−１／λとなる切り捨てパスがｎｃ１、ｎｃ２で、その切り捨てパスまでの符号量がＲ（ｃ１，ｎｃ１）、Ｒ（ｃ２，ｎｃ２）となることを表している。このようなＲを全てのコードブロックに対して算出し、各コードブロックの切り捨てパスを設定する。
【００１８】
一方、復号器７１０においては、上記符号化器７００と逆の動作を行うことにより再生画像を生成する。エントロピー復号手段７０７では、コードストリームを算術復号すると共に、ポスト量子化により切り捨てられたビットプレーンに値を補填して、変換係数の量子化値を生成する。スカラー逆量子化手段７０８では、量子化値と量子化ステップサイズから定まる変換係数再生値を生成する。逆ウェーブレット変換手段７０９では、ウェーブレット変換手段７０１と逆の変換を施し、再生画像を生成する。
【００１９】
図１は、この発明の各実施の形態に共通な再生画像解析装置の機能構成を示すブロック図である。
図１において、画像符号化手段１０１は、入力される再生画像を設定される符号化パラメータに基づいて再符号化する手段である。画像復号手段１０２は、再生画像を再符号化して生成されるコードストリームを復号して再々生画像を生成する手段である。符号化歪算出手段１０３は、再々生画像と再生画像から再符号化による符号化歪を算出する手段である。再生画像解析手段１０４は、再符号化による符号化歪とコードストリームの符号量に基づいて初期符号化時の符号量やその他の符号化パラメータを推定する手段である。符号化パラメータ設定手段１０５は、画像符号化手段１０１で符号化に使用する符号化パラメータを設定する手段である。
【００２０】
次に、図２のフローチャートに従って動作を説明する。
単純な例として、符号化パラメータの種類を、フィルタ、ウェーブレット変換の分割レベル数、および符号量とする。符号量以外の符号化パラメータの推定値（または条件）として、フィルタを５×３フィルタまたは９×７フィルタとし、ウェーブレット変換の分割レベル数を３または４と推定した場合、推定すべき符号化パラメータ候補の組み合わせは以下の４セットが考えられる。
パラメータセットＡ：５×３フィルタと分割レベル数３
パラメータセットＢ：５×３フィルタと分割レベル数４
パラメータセットＣ：９×７フィルタと分割レベル数３
パラメータセットＤ：９×７フィルタと分割レベル数４
【００２１】
符号化パラメータ設定手段１０５では、まず、上記パラメータセットの一つを画像符号化手段１０１に設定し（ステップＳＴ２０１）、さらに符号量も設定する（ステップＳＴ２０２）。画像符号化手段１０１は、設定されたパラメータに基づいて再生画像の符号化を行い、設定された符号量のコードストリームを生成するよう上記のラグランジェの乗数法により符号量を制御する。画像復号手段１０２では、再符号化により生成されたコードストリームを再復号して再々生画像を生成する。符号化歪算出手段１０３では、元の再生画像と画像復号手段１０２による再々生画像とから、再符号化による符号化歪を算出する（ステップＳＴ２０３）。再生画像解析手段１０４では、算出された符号化歪とこの時の発生符号量を記憶する。
【００２２】
ステップＳＴ２０２において、符号化パラメータ設定手段１０５は、一つのパラメータセットに対し、設定符号量として異なる値、例えば、０．５０ビット／画素から３．０ビット／画素まで、０．２５ビット／画素刻みの値を画像符号化手段１０１に与え、そのたびに、上記のステップＳＴ２０３の処理を実行する。設定符号量以外の符号化パラメータは、固定のパラメータを使用し、符号化のたびに変化させることはしないものとする。
一つのパラメータセットに対する所望の設定符号量による符号化が終了したら（ステップＳＴ２０４）、別のパラメータセットと符号量を設定して、ステップＳＴ２０１〜ＳＴ２０４の処理を実行する。これを全てのパラメータセットについて実行し（ステップＳＴ２０５）、各パラメータセットに対する符号量と符号化歪の値を算出する。上記パラメータセットＡ〜Ｄを例とした符号量対符号化歪の関係は図３に示されるようになる。
【００２３】
次に、再生画像解析手段１０４において、各パラメータセットによる符号量の最小値のうち、最も大きな符号量ｂｍｉｎを算出し、また、各パラメータセットによる符号量の最大値のうち、最も小さな符号量ｂｍａｘを算出する（ステップＳＴ２０６）。図３の例では、パラメータセットＢの最小符号量がｂｍｉｎ、パラメータセットＡの最大符号量がｂｍａｘになる。再生画像解析手段１０４では、各パラメータセットの符号量歪特性と符号量の軸に挟まれる部分のｂｍｉｎからｂｍａｘまでの面積Ｓ（符号量歪特性に対するｂｍｉｎからｂｍａｘまでの積分値）を算出する（ステップＳＴ２０７）。図３の斜線で示した部分は、パラメータセットＡの符号量歪特性が囲む範囲である。そして、全てのパラメータセットの中で面積Ｓが最小となるパラメータセットを選び、それを推定パラメータセットと決定する（ステップＳＴ２０８）。また、推定パラメータセットの符号量歪特性上で、符号化歪が最小値をとるポイントのうち、最も小さい符号量を初期符号化時の推定符号量、そのポイントでの切り捨てパスを推定切り捨てパスと推定する（ステップＳＴ２０９）。
【００２４】
上記例では、４つのパラメータセットの場合を例として示したが、パラメータセットが更に多くても同様に各パラメータセットを比較することで、初期符号化時の符号量やその他の符号化パラメータを特定できる。符号化パラメータの種類としては、フィルタ、分割レベル数の他に、タイルサイズ、コードブロックサイズ、プレシンクトサイズ、量子化種別、色変換の有無などがある。
【００２５】
以上のように、この実施の形態１によれば、符号化パラメータ設定手段１０５により予め準備した所定の符号量やその他の符号化パラメータを画像符号化手段に設定し、画像符号化手段１０１により、設定された符号量やその他の符号化パラメータに基づいて再生画像の再符号化を行いコードストリームを生成し、生成されたコードストリームを画像復号手段１０３で再復号して再々生画像を生成し、符号化歪算出手段１０３により、再々生画像と再生画像とから再符号化による符号化歪を算出し、再生画像解析手段１０４において、符号化歪とコードストリームの符号量に基づいて再生画像の初期符号化時の符号化パラメータを推定するようにしている。また、より具体的には、複数種の符号化パラメータ候補とその推定値を組み合わせた複数のパラメータセットに基づいて、画像符号化手段１０１、画像復号手段１０２および符号化歪算出手段１０３の処理をそれぞれ順次行い、再生画像解析手段１０４で、複数種のパラメータセットに基づく符号化歪が最小となる場合のパラメータセットを初期符号化時の符号化パラメータの組み合わせとして推定している。したがって、ＪＰＥＧ２０００のように、フィルタ、分割レベル数、コードブロックサイズなど多くの符号化パラメータを有する符号化方式であっても符号化パラメータを推定できる。
【００２６】
実施の形態２．
この実施の形態２では、ＪＰＥＧ２０００の符号化パラメータの種類として、フィルタ、分割レベル数、コードブロックサイズがある場合に段階的に推定する方法について説明する。
ここで、符号化パラメータ候補として、フィルタは５×３または９×７、ウェーブレット変換の分割レベル数は３または４、コードブロックサイズは３２×３２または６４×６４が考えられるとする。
図１の再生画像解析装置の構成において、この実施の形態２の動作を図４のフローチャートに従って説明する。
符号化パラメータ設定手段１０５では、まず、符号化パラメータ候補のうちでフィルタのみの値を異なる値、５×３と９×７とし、残りの符号化パラメータである分割レベル数とコードブロックサイズは共通な値に固定した一対のパラメータセットを準備し、画像符号化手段１０１に設定する。画像符号化手段１０１は再生画像を再符号化し、画像復号手段１０２が復号を行って再々生画像を生成する。符号化歪算出手段１０３は元の再生画像と再々生画像からそれらの符号化歪を算出する。再生画像解析手段１０４は、符号化歪とその時の発生符号量を記憶しておく。
【００２７】
この際、符号化パラメータ設定手段１０５は、上記実施の形態１における図２のステップＳＴ２０２〜ＳＴ２０４と同様に、各フィルタに対し、設定符号量として異なる値を複数回、画像符号化手段１０１に与える。そのたびに、上記の画像符号化手段１０１、画像復号手段１０２、符号化歪算出手段１０３の処理を実行し、各フィルタに対する符号量歪特性を算出する（ステップＳＴ４０１）。フィルタ、設定符号量以外の符号化パラメータの値は、固定値、すなわち分割レベル数は３レベル、コードブロックサイズは３２×３２を使用し、符号化のたびに変化させることはしないものとする。
【００２８】
両フィルタ（５×３フィルタおよび９×７フィルタ）による符号化が終了した後、再生画像解析手段１０４において、各符号化フィルタによる符号量の最小値のうち、大きな方の符号量ｂｍｉｎを、また、各フィルタによる符号量の最大値のうち、小さい方の符号量ｂｍａｘを算出する。再生画像解析手段１０４では、さらに両フィルタの符号量歪特性と符号量の軸に挟まれる部分のｂｍｉｎからｂｍａｘまでの面積Ｓ（符号量歪特性に対するｂｍｉｎからｂｍａｘまでの積分値）を算出する（ステップＳＴ４０２）。そして、両符号化パラメータセットの面積Ｓを比較し小さい値の方のフィルタを選び、それを推定フィルタと決定する（ステップＳＴ４０３）。
【００２９】
次の段階では、フィルタを、推定されたフィルタに固定して、まだ符号化をしていない分割レベル数４で再生画像を符号化し、分割レベル数を特定する。再符号化のパラメータがステップＳＴ４０１〜ＳＴ４０３と異なること以外は、上記のフィルタ推定と同様の手順を取る。つまり、画像符号化手段１０１では、推定されたフィルタを使い、分割レベル数４で再生画像の符号化を実行し、符号化歪と符号量の関係を算出する（ステップＳＴ４０５またはステップＳＴ４１５）。そして、分割レベル数３と分割レベル数４を比較して、符号量歪特性が囲む面積が小さい方を推定分割レベル数と決定する（ステップＳＴ４０６、ＳＴ４０７、またはステップＳＴ４１６、ＳＴ４１７）。
【００３０】
次の段階では、推定されたフィルタの値、分割レベル数に固定して、コードブロックサイズ６４×６４で再生画像を符号化し、コードブロックサイズを特定する。再符号化のパラメータが異なること以外は、上記、フィルタ、分割レベル数の推定と同様の手順を取る。つまり、画像符号化手段１０１では、推定されたフィルタ、分割レベル数を使い、コードブロックサイズ６４×６４で再生画像の符号化を実行し、符号化歪と符号量の関係を算出する（ステップＳＴ４０９、ＳＴ４１２、ＳＴ４１９またはＳＴ４２２）。そして、コードブロックサイズ３２×３２と６４×６４を比較して、符号量歪特性が囲む面積が小さい方を推定コードブロックサイズと決定する（ステップＳＴ４１０、ＳＴ４１１、またはステップＳＴ４１３、ＳＴ４１４、またはステップＳＴ４２０、ＳＴ４２１、またはステップＳＴ４２３、ＳＴ４２４）。
また、画像符号化手段１０１は、推定パラメータセットの符号量歪特性上で、符号化歪が最小値をとるポイントのうち、最も小さい符号量を初期符号化時の推定符号量、そのポイントでの切り捨てパスを推定切り捨てパスと推定する（ステップＳＴ４２５）。
【００３１】
上記動作例では、推定パラメータとして、フィルタ、分割レベル数、コードブロックサイズがある場合を例として示したが、パラメータが更に多くても同様に各パラメータを順に決定していくことで、初期符号化時の符号量やその他の符号化パラメータが特定できる。符号化パラメータの種類としては、フィルタ、分割レベル数の他に、タイルサイズ、コードブロックサイズ、プレシンクトサイズ、量子化種別、色変換の有無などがある。
【００３２】
以上のように、この実施の形態２によれば、パラメータセットとして、各パラメータセット間で最初、特定種類の符号化パラメータ候補のみ異なる値に設定し、残りの種類の符号化パラメータ候補はそれぞれ共通の値に固定した少なくとも一対の１次パラメータセットを生成し、この１次パラメータセットに基づいて、画像符号化手段１０１から再生画像解析手段１０４までの処理をそれぞれ順次行い、再生画像解析手段１０４では、１次パラメータセットに基づく符号化歪が最小となる方のパラメータセットを１次推定候補とし、当該１次推定候補のパラメータセットの特定種類の符号化パラメータ候補の値はそのまま固定し、残りの種類の符号化パラメータ候補の少なくとも一つのみを異なる値に設定した一対の２次パラメータセットを生成し、今度は２次パラメータセットに基づいて、画像符号化手段１０１から再生画像解析手段１０４までの処理をそれぞれ行って符号化歪が最小となる方のパラメータセットを２次推定候補として抽出し、同様に、パラメータセットを構成する全ての種類の符号化パラメータ候補の値を段階的に異なる値に設定しながら上記画像符号化手段１０１から再生画像解析手段１０４までの処理を繰り返して抽出した最終推定候補のパラメータセットを初期符号化時の符号化パラメータの組み合わせとしている。したがって、ＪＰＥＧ２０００のように推定する符号化パラメータの種類が多い場合でも、効率よく初期符号化時の符号化パラメータを算出することが可能である。
【００３３】
実施の形態３．
実施の形態３では、スカラー量子化の量子化ステップサイズ、ポスト量子化の切り捨てパスを推定する処理を説明する。
図１の再生画像解析装置の構成において、この実施の形態３の動作を図５のフローチャートに従って参照しながら説明する。
この実施の形態３のステップＳＴ５０１では、実施の形態１と同様な手法によりフィルタの値、ウェーブレット変換の分割レベル数を特定する。５×３フィルタと推定された場合は、スカラー量子化は行われないので、ポスト量子化のみを考慮すればよい。再生画像解析手段１０４では、ステップＳＴ５０１で算出した５×３フィルタの符号量歪特性を参照し、符号化歪が最小値を取るポイントの符号量を初期符号化時の推定符号量として決定し（ステップＳＴ５０３）、その符号量歪が最小になるポイントでの切り捨てパスを初期符号化時の推定切り捨てパスと推定する（ステップＳＴ５０４）。
【００３４】
一方、９×７フィルタでは、スカラー量子化とポスト量子化の両方、またはスカラー量子化のみが行われる。この場合、コードブロックごとに異なる切り捨てパスでのポスト量子化が行われる可能性があるので、コードブロックごとに変換係数の符号化歪と発生する符号量を算出する。
符号化パラメータ設定手段１０５はスカラー量子化の量子化ステップサイズ候補Δｉを複数設定し、それぞれの量子化ステップサイズでポスト量子化を行わずに符号化を行い、コードブロックごとに符号量と符号化歪の関係を算出する。これにより、コードブロックごとに符号量と符号化歪の関係が得られる（ステップＳＴ５０５）。図６に、ある２つのコードブロックにおいて、量子化ステップサイズを変化させた時の、符号量対歪特性の関係を示す。再符号化の量子化ステップサイズが初期符号化時の量子化ステップサイズに近い場合には、図上の楕円で囲まれた点のように符号化歪が非常に小さな値になる。
【００３５】
再生画像解析手段１０４は、各コードブロックの符号量対歪特性を参照し、符号化歪が最小となるポイントの量子化ステップサイズを推定量子化ステップサイズに決定し（ステップＳＴ５０６）、符号量を推定符号量とする（ステップＳＴ５０７）。ただし、ここで推定される量子化ステップサイズは、スカラー量子化とポスト量子化の両者の影響を併せた量子化ステップサイズである。スカラー量子化の量子化ステップサイズのみ、あるいはポスト量子化の切り捨てパスだけを推定しているわけではない。
【００３６】
以上のように、この実施の形態３によれば、再生画像解析手段１０４は、ＪＰＥＧ２０００のようにコードブロックごとに量子化ステップサイズが異なる符号化方式であっても、コードブロックごとに算出する符号量と符号化歪の関係から各コードブロックの量子化ステップサイズを推定できる。
【符号の説明】
【００３７】
１０１ 画像符号化手段、１０２ 画像復号手段、１０３ 符号化歪算出手段、１０４ 再生画像解析手段、１０５ 符号化パラメータ設定手段。
【技術分野】
【０００１】
この発明は、符号化と復号の処理を経て生成された再生画像から、符号化時に使用した符号化パラメータを推定する再生画像解析装置に関するものである。
【背景技術】
【０００２】
符号化、復号を経て生成された再生画像を再度符号化する場合、最初の符号化時に用いたのと同じ符号化パラメータを使用することが画質劣化の低減に有効であるため、再生画像から最初の符号化時（以下、「初期符号化時」とする）の符号化パラメータを知ることは重要な課題といえる。再生画像のコードストリーム（圧縮データ）がある場合には、コードストリームを復号する過程で比較的容易に符号化パラメータを知ることができるが、再生画像にしかアクセスできない場合には、より高度な解析が必要になる。
【０００３】
従来、再生画像のみから符号化パラメータを推定する手法として、ピクチャタイプ（Iピクチャ／Ｐピクチャ）の種類、量子化ステップサイズを推定する手法などがある。例えば特許文献１には、固定量子化符号化器により再生画像の再符号化を行い、予めトレーニングにより求めておいた発生符号量との対比関係から、ピクチャタイプ、量子化ステップサイズを推定する方法が開示されている。また、特許文献２には、再生画像から変換係数の量子化出力の発生頻度分布を算出し、頻度分布の極大値が発生する間隔から量子化ステップサイズを推定する方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−３５２５４号公報
【特許文献２】特開平７−１１１５９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の符号化パラメータ推定手法は、符号化方式ＪＰＥＧ（ISO/IEC 10918-1）、ＭＰＥＧ−２（ISO/IEC 13818―2）など、ブロック単位に処理を行うＤＣＴ（Discrete Cosine Transform；離散コサイン変換）を使い、エントロピー符号化の前段階にスカラー量子化を行う方法をその対象としていた。これに対し、近年普及しつつあるＪＰＥＧ２０００（ISO/ITU 15444-1）では、基本的にブロック単位ではないウェーブレット変換を使っており、スカラー量子化の他に、エントロピー符号化後に特定のビットプレーンを切り捨てるポスト量子化を行っているため、従来の符号化パラメータの推定手法の適用は困難な場合がある。
【０００６】
この発明は、ＪＰＥＧ２０００のような従来のＤＣＴベースの符号化とは異なる符号化方式であっても、再生画像から初期符号化時の符号化パラメータをより正確に推定できる再生画像解析装置を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る再生画像解析装置は、符号化処理と復号処理により生成された再生画像から当該再生画像の初期符号化時に使用した符号化パラメータを推定する再生画像解析装置において、設定される符号化パラメータに基づいて前記再生画像の再符号化を行いコードストリームを生成する画像符号化手段と、予め準備した所定の符号化パラメータを前記画像符号化手段に設定する符号化パラメータ設定手段と、生成されたコードストリームを再復号して再々生画像を生成する画像復号手段と、再々生画像と再生画像とから再符号化による符号化歪を算出する符号化歪算出手段と、算出された符号化歪とコードストリームの符号量に基づいて再生画像の初期符号化時の符号化パラメータを推定する再生画像解析手段とを備えたものである。
【発明の効果】
【０００８】
この発明によれば、ＪＰＥＧ２０００のような、ウェーブレット変換を使っており、スカラー量子化の他に特定のビットプレーンを切り捨てるポスト量子化を行っている符号化方式であっても符号化パラメータを推定できるという効果がある。
【図面の簡単な説明】
【０００９】
【図１】この発明の各実施の形態に共通な再生画像解析装置の機能構成を示すブロック図である。
【図２】この発明の実施の形態１に係る再生画像解析装置の処理手順を示すフローチャートである。
【図３】この発明の実施の形態１に係るパラメータセットに対する再符号化による符号量対符号化歪みの関係例を示す説明図である。
【図４】この発明の実施の形態２に係る再生画像解析装置の処理手順を示すフローチャートである。
【図５】この発明の実施の形態３に係る再生画像解析装置の処理手順を示すフローチャートである。
【図６】コードブロックごとの符号量歪特性を示す説明図である。
【図７】ＪＰＥＧ２０００符号化器、復号器の機能構成を示すブロック図である。
【図８】２次元のウェーブレット変換について示す説明図である。
【図９】コードブロックのビットプレーンへの分解を示す説明図である。
【図１０】コードブロックの符号量対歪特性を示す説明図である。
【発明を実施するための形態】
【００１０】
実施の形態１．
この発明をＪＰＥＧ２０００により圧縮、伸長された再生画像の符号化パラメータを解析する場合を例にとり説明するが、最初に、勧告書ＩＳＯ/ＩＥＣ １５４４４-１に従ってＪＰＥＧ２０００符号化アルゴリズムの基本方式の概略について説明する。
図７は、ＪＰＥＧ２０００符号化器、復号器の機能構成を示すブロック図である。符号化器７００の構成において、ウェーブレット変換手段７０１は、入力画像信号に対し２次元のウェーブレット変換を再帰的に行う手段である。スカラー量子化手段７０２は、ウェーブレット変換手段７０１によって生成されたウェーブレット変換係数を予め設定された量子化ステップサイズで量子化処理する手段である。エントロピー符号化手段７０３は、量子化されたウェーブレット変換係数をビットプレーンに分解し２値算術符号化する手段である。ポスト量子化手段７０４は、エントロピー符号化された符号データから不要なデータを切り捨てる手段である。ポスト量子化制御手段７０５は、符号化歪と発生符号量の関係を計算し、ポスト量子化手段７０４に不要なデータを通知する手段である。また、復号器７１０の構成において、エントロピー復号手段７０７は、コードストリーム内の符号データを算術復号し、変換係数の量子化値を再生する手段である。スカラー逆量子化手段７０８は、量子化値を逆量子化して変換係数再生値を生成する手段である。逆ウェーブレット変換手段７０９は、変換係数再生値を再生画像に変換する手段である。
【００１１】
次に符号化器の動作について説明する。
まず、入力された原画像の画像信号は、ウェーブレット変換手段７０１で２次元のウェーブレット変換が施され、複数のサブバンドに帯域分割される。ここで、２次元のウェーブレット変換は、１次元のウェーブレット変換の組み合わせとして実現される。つまり、垂直方向の一次元ウェーブレット変換を列毎に順次行う処理と水平方向の１次元ウェーブレット変換をライン毎に順次行う処理である。また、１次元のウェーブレット変換は、図８（ａ）に示すように、所定の特性を持つローパスフィルタ、ハイパスフィルタおよびダウンサンプラから構成されるものである。こうして生成された２次元のウェーブレット変換係数は、低域成分をＬ、高域成分をＨとし、水平方向の変換を１文字目、垂直方向の変換を２文字目で表現することで、図８（ｂ）に示すようにＬＬ、ＨＬ、ＬＨ、ＨＨと表現される。また、これらの帯域分割された成分はサブバンドと呼ばれている。ここで、水平、垂直方向の低域成分（ＬＬ成分）は再帰的にウェーブレット変換が施される。再帰的に施される各ウェーブレット変換によって生成される各サブバンドを分割レベル、分割の回数を分割レベル数と称する。図中ＬＬ、ＨＬ、ＬＨ、ＨＨの前に記載された数字「１」、「２」が分割レベルあたる。すなわち、ウェーブレット変換の分割レベル数２の場合には、最低解像度成分の分割レベルは２となり、反対に最高解像度成分のＨＬ，ＬＨ，ＨＨの分割レベルは１になる。ＪＰＥＧ２０００では２種類のフィルタが用意されている。９タップと７タップの実数演算のフィルタリングを行う９×７フィルタと、５タップと３タップの整数演算のフィルタリングを行う５×３フィルタである。用途に応じて符号化側で選択する。
【００１２】
次に、スカラー量子化手段７０２において、サブバンドのウェーブレット変換係数は、サブバンド毎に設定された量子化ステップサイズにより量子化される。この量子化を後述するポスト量子化と区別するために、これ以降、スカラー量子化と呼ぶことにする。スカラー量子化には、量子化ステップサイズの設定方法の異なる２種類の方法がある。一つは、全てのサブバンドの量子化ステップサイズをヘッダに記載する明示的な量子化である。図８（ｂ）の分割レベル２の例だと、１ＨＨから２ＬＬまで全てのサブバンドに対する量子化ステップサイズが記載される。もう一つは、ＬＬ成分の量子化ステップサイズのみをヘッダに記載し、それ以外の解像度については解像度が上がるたびに２倍される非明示的な量子化である。図８（ｂ）の分割レベル２の例で、２ＬＬの量子化ステップサイズをΔとすると、２ＬＨ、２ＨＨ、２ＨＬの量子化ステップサイズはΔ、１ＬＨ、１ＨＨ、１ＨＬの量子化ステップサイズは２Δとなる。なお、５×３フィルタの使用時には、スカラー量子化は行わない。
【００１３】
エントロピー符号化手段７０３では、各サブバンドのウェーブレット変換係数をコードブロックと呼ばれる固定サイズの矩形領域に分割した後、多値データからなるそれぞれのコードブロックを２値のビットプレーンに変換する。通常このコードブロックの大きさは、６４×６４、３２×３２などのサイズに設定される。
ここで、図９を用いてビットプレーンの分解について説明する。図９（ａ）は４×４のコードブロックの一例を表している。これらのデータに対して、正負を表す１ビットの信号と絶対値の表現に変換し、それらのデータを縦方向に２進表現した結果を各行単位に並べたものが図９（ｂ）となる。次に、図９（ｂ）に対して同一のビット番号のビットを集めたものが図９（ｃ）となる。ここで、最下位ビット（ＬＳＢ；Least Significant Bit）を第０ビット、第上位ビット（ＭＳＢ；Most Significant Bit）を第３ビットとした時、第０ビットで集めたものを第０ビットプレーン、第１ビットで集めたものを第１ビットプレーン、第２ビットで集めたものを第２ビットプレーン、第３ビットで集めたものを第３ビットプレーンとしている。これ以外にも正負を表すビットの集まりとして符号ビットプレーンを作成する。
【００１４】
エントロピー符号化手段７０３は、ビットプレーン内の各ビットを、そのコンテクストに応じて、３通りの符号化パス、すなわちシグニフィカントプロパゲーションデコーディングパス（Significant Propagation Decoding Pass；有意な係数が周囲にある有意でない係数の符号化）、マグニチュードリファインメントパス（Magnitude Refinement Pass；有意な係数の符号化）、クリーンナップパス（Cleanup Pass；残りの係数情報の符号化）に分割する。そして、各パスを算術符号化により符号データに圧縮する。
【００１５】
ポスト量子化手段７０４では、特定のパス以降のパスを切り捨てる処理を行う。あるパス以降の下位ビットプレーンを全て切り捨てることは、量子化に相当するのでこれをポスト量子化と呼ぶ。このポスト量子化による切り捨てパス数を制御することにより、符号量を所望の値に調整することが可能になる。ポスト量子化による符号量制御の方法は符号化側の裁量に応じて任意の方法を使うことができるが、以下に勧告書ＩＳＯ／ＩＴＵ１５４４４−１ Ｊ．１４．３に参考情報として記載されているラグランジェの乗数法によるレート制御部のメカニズムについて概略を説明する。
【００１６】
この方法では、各コードブロックｉにおける切り捨てパスをｎｉとした時、各切り捨てパスまでの符号量Ｒ（ｉ，ｎｉ）、歪Ｄ（ｉ，ｎｉ）を算出する。ここで、歪とは、ある符号化パス以降を切り捨てた場合に、どれだけの平均２乗誤差が発生するかを意味する。この符号量と歪みの関係を「符号量歪特性」と呼ぶことにする。
次に、画面全体での総符号量が目標符号量Ｒｍａｘ以下となるという条件のもと、符号化歪が最小となる切り捨てパスを決定する。これには、（１）式を考え、（１）式を最小とする切り捨てパスをコードブロックごとに算出する。
Σ｛Ｒ（ｉ，ｎｉ）＋λＤ（ｉ，ｎｉ）｝ （１）
ただし、λは、λ＞０の定数とする。
【００１７】
（１）式を最小にする切り捨てパスを見つけることは、図１０に示すように、各コードブロックの符号量対歪特性をグラフに表した時、その接線の傾きが−１／λとなる切り捨てパスを見つけることと等価である。図１０では、２つのコードブロックＣ１、Ｃ２において、接線の傾きが−１／λとなる切り捨てパスがｎｃ１、ｎｃ２で、その切り捨てパスまでの符号量がＲ（ｃ１，ｎｃ１）、Ｒ（ｃ２，ｎｃ２）となることを表している。このようなＲを全てのコードブロックに対して算出し、各コードブロックの切り捨てパスを設定する。
【００１８】
一方、復号器７１０においては、上記符号化器７００と逆の動作を行うことにより再生画像を生成する。エントロピー復号手段７０７では、コードストリームを算術復号すると共に、ポスト量子化により切り捨てられたビットプレーンに値を補填して、変換係数の量子化値を生成する。スカラー逆量子化手段７０８では、量子化値と量子化ステップサイズから定まる変換係数再生値を生成する。逆ウェーブレット変換手段７０９では、ウェーブレット変換手段７０１と逆の変換を施し、再生画像を生成する。
【００１９】
図１は、この発明の各実施の形態に共通な再生画像解析装置の機能構成を示すブロック図である。
図１において、画像符号化手段１０１は、入力される再生画像を設定される符号化パラメータに基づいて再符号化する手段である。画像復号手段１０２は、再生画像を再符号化して生成されるコードストリームを復号して再々生画像を生成する手段である。符号化歪算出手段１０３は、再々生画像と再生画像から再符号化による符号化歪を算出する手段である。再生画像解析手段１０４は、再符号化による符号化歪とコードストリームの符号量に基づいて初期符号化時の符号量やその他の符号化パラメータを推定する手段である。符号化パラメータ設定手段１０５は、画像符号化手段１０１で符号化に使用する符号化パラメータを設定する手段である。
【００２０】
次に、図２のフローチャートに従って動作を説明する。
単純な例として、符号化パラメータの種類を、フィルタ、ウェーブレット変換の分割レベル数、および符号量とする。符号量以外の符号化パラメータの推定値（または条件）として、フィルタを５×３フィルタまたは９×７フィルタとし、ウェーブレット変換の分割レベル数を３または４と推定した場合、推定すべき符号化パラメータ候補の組み合わせは以下の４セットが考えられる。
パラメータセットＡ：５×３フィルタと分割レベル数３
パラメータセットＢ：５×３フィルタと分割レベル数４
パラメータセットＣ：９×７フィルタと分割レベル数３
パラメータセットＤ：９×７フィルタと分割レベル数４
【００２１】
符号化パラメータ設定手段１０５では、まず、上記パラメータセットの一つを画像符号化手段１０１に設定し（ステップＳＴ２０１）、さらに符号量も設定する（ステップＳＴ２０２）。画像符号化手段１０１は、設定されたパラメータに基づいて再生画像の符号化を行い、設定された符号量のコードストリームを生成するよう上記のラグランジェの乗数法により符号量を制御する。画像復号手段１０２では、再符号化により生成されたコードストリームを再復号して再々生画像を生成する。符号化歪算出手段１０３では、元の再生画像と画像復号手段１０２による再々生画像とから、再符号化による符号化歪を算出する（ステップＳＴ２０３）。再生画像解析手段１０４では、算出された符号化歪とこの時の発生符号量を記憶する。
【００２２】
ステップＳＴ２０２において、符号化パラメータ設定手段１０５は、一つのパラメータセットに対し、設定符号量として異なる値、例えば、０．５０ビット／画素から３．０ビット／画素まで、０．２５ビット／画素刻みの値を画像符号化手段１０１に与え、そのたびに、上記のステップＳＴ２０３の処理を実行する。設定符号量以外の符号化パラメータは、固定のパラメータを使用し、符号化のたびに変化させることはしないものとする。
一つのパラメータセットに対する所望の設定符号量による符号化が終了したら（ステップＳＴ２０４）、別のパラメータセットと符号量を設定して、ステップＳＴ２０１〜ＳＴ２０４の処理を実行する。これを全てのパラメータセットについて実行し（ステップＳＴ２０５）、各パラメータセットに対する符号量と符号化歪の値を算出する。上記パラメータセットＡ〜Ｄを例とした符号量対符号化歪の関係は図３に示されるようになる。
【００２３】
次に、再生画像解析手段１０４において、各パラメータセットによる符号量の最小値のうち、最も大きな符号量ｂｍｉｎを算出し、また、各パラメータセットによる符号量の最大値のうち、最も小さな符号量ｂｍａｘを算出する（ステップＳＴ２０６）。図３の例では、パラメータセットＢの最小符号量がｂｍｉｎ、パラメータセットＡの最大符号量がｂｍａｘになる。再生画像解析手段１０４では、各パラメータセットの符号量歪特性と符号量の軸に挟まれる部分のｂｍｉｎからｂｍａｘまでの面積Ｓ（符号量歪特性に対するｂｍｉｎからｂｍａｘまでの積分値）を算出する（ステップＳＴ２０７）。図３の斜線で示した部分は、パラメータセットＡの符号量歪特性が囲む範囲である。そして、全てのパラメータセットの中で面積Ｓが最小となるパラメータセットを選び、それを推定パラメータセットと決定する（ステップＳＴ２０８）。また、推定パラメータセットの符号量歪特性上で、符号化歪が最小値をとるポイントのうち、最も小さい符号量を初期符号化時の推定符号量、そのポイントでの切り捨てパスを推定切り捨てパスと推定する（ステップＳＴ２０９）。
【００２４】
上記例では、４つのパラメータセットの場合を例として示したが、パラメータセットが更に多くても同様に各パラメータセットを比較することで、初期符号化時の符号量やその他の符号化パラメータを特定できる。符号化パラメータの種類としては、フィルタ、分割レベル数の他に、タイルサイズ、コードブロックサイズ、プレシンクトサイズ、量子化種別、色変換の有無などがある。
【００２５】
以上のように、この実施の形態１によれば、符号化パラメータ設定手段１０５により予め準備した所定の符号量やその他の符号化パラメータを画像符号化手段に設定し、画像符号化手段１０１により、設定された符号量やその他の符号化パラメータに基づいて再生画像の再符号化を行いコードストリームを生成し、生成されたコードストリームを画像復号手段１０３で再復号して再々生画像を生成し、符号化歪算出手段１０３により、再々生画像と再生画像とから再符号化による符号化歪を算出し、再生画像解析手段１０４において、符号化歪とコードストリームの符号量に基づいて再生画像の初期符号化時の符号化パラメータを推定するようにしている。また、より具体的には、複数種の符号化パラメータ候補とその推定値を組み合わせた複数のパラメータセットに基づいて、画像符号化手段１０１、画像復号手段１０２および符号化歪算出手段１０３の処理をそれぞれ順次行い、再生画像解析手段１０４で、複数種のパラメータセットに基づく符号化歪が最小となる場合のパラメータセットを初期符号化時の符号化パラメータの組み合わせとして推定している。したがって、ＪＰＥＧ２０００のように、フィルタ、分割レベル数、コードブロックサイズなど多くの符号化パラメータを有する符号化方式であっても符号化パラメータを推定できる。
【００２６】
実施の形態２．
この実施の形態２では、ＪＰＥＧ２０００の符号化パラメータの種類として、フィルタ、分割レベル数、コードブロックサイズがある場合に段階的に推定する方法について説明する。
ここで、符号化パラメータ候補として、フィルタは５×３または９×７、ウェーブレット変換の分割レベル数は３または４、コードブロックサイズは３２×３２または６４×６４が考えられるとする。
図１の再生画像解析装置の構成において、この実施の形態２の動作を図４のフローチャートに従って説明する。
符号化パラメータ設定手段１０５では、まず、符号化パラメータ候補のうちでフィルタのみの値を異なる値、５×３と９×７とし、残りの符号化パラメータである分割レベル数とコードブロックサイズは共通な値に固定した一対のパラメータセットを準備し、画像符号化手段１０１に設定する。画像符号化手段１０１は再生画像を再符号化し、画像復号手段１０２が復号を行って再々生画像を生成する。符号化歪算出手段１０３は元の再生画像と再々生画像からそれらの符号化歪を算出する。再生画像解析手段１０４は、符号化歪とその時の発生符号量を記憶しておく。
【００２７】
この際、符号化パラメータ設定手段１０５は、上記実施の形態１における図２のステップＳＴ２０２〜ＳＴ２０４と同様に、各フィルタに対し、設定符号量として異なる値を複数回、画像符号化手段１０１に与える。そのたびに、上記の画像符号化手段１０１、画像復号手段１０２、符号化歪算出手段１０３の処理を実行し、各フィルタに対する符号量歪特性を算出する（ステップＳＴ４０１）。フィルタ、設定符号量以外の符号化パラメータの値は、固定値、すなわち分割レベル数は３レベル、コードブロックサイズは３２×３２を使用し、符号化のたびに変化させることはしないものとする。
【００２８】
両フィルタ（５×３フィルタおよび９×７フィルタ）による符号化が終了した後、再生画像解析手段１０４において、各符号化フィルタによる符号量の最小値のうち、大きな方の符号量ｂｍｉｎを、また、各フィルタによる符号量の最大値のうち、小さい方の符号量ｂｍａｘを算出する。再生画像解析手段１０４では、さらに両フィルタの符号量歪特性と符号量の軸に挟まれる部分のｂｍｉｎからｂｍａｘまでの面積Ｓ（符号量歪特性に対するｂｍｉｎからｂｍａｘまでの積分値）を算出する（ステップＳＴ４０２）。そして、両符号化パラメータセットの面積Ｓを比較し小さい値の方のフィルタを選び、それを推定フィルタと決定する（ステップＳＴ４０３）。
【００２９】
次の段階では、フィルタを、推定されたフィルタに固定して、まだ符号化をしていない分割レベル数４で再生画像を符号化し、分割レベル数を特定する。再符号化のパラメータがステップＳＴ４０１〜ＳＴ４０３と異なること以外は、上記のフィルタ推定と同様の手順を取る。つまり、画像符号化手段１０１では、推定されたフィルタを使い、分割レベル数４で再生画像の符号化を実行し、符号化歪と符号量の関係を算出する（ステップＳＴ４０５またはステップＳＴ４１５）。そして、分割レベル数３と分割レベル数４を比較して、符号量歪特性が囲む面積が小さい方を推定分割レベル数と決定する（ステップＳＴ４０６、ＳＴ４０７、またはステップＳＴ４１６、ＳＴ４１７）。
【００３０】
次の段階では、推定されたフィルタの値、分割レベル数に固定して、コードブロックサイズ６４×６４で再生画像を符号化し、コードブロックサイズを特定する。再符号化のパラメータが異なること以外は、上記、フィルタ、分割レベル数の推定と同様の手順を取る。つまり、画像符号化手段１０１では、推定されたフィルタ、分割レベル数を使い、コードブロックサイズ６４×６４で再生画像の符号化を実行し、符号化歪と符号量の関係を算出する（ステップＳＴ４０９、ＳＴ４１２、ＳＴ４１９またはＳＴ４２２）。そして、コードブロックサイズ３２×３２と６４×６４を比較して、符号量歪特性が囲む面積が小さい方を推定コードブロックサイズと決定する（ステップＳＴ４１０、ＳＴ４１１、またはステップＳＴ４１３、ＳＴ４１４、またはステップＳＴ４２０、ＳＴ４２１、またはステップＳＴ４２３、ＳＴ４２４）。
また、画像符号化手段１０１は、推定パラメータセットの符号量歪特性上で、符号化歪が最小値をとるポイントのうち、最も小さい符号量を初期符号化時の推定符号量、そのポイントでの切り捨てパスを推定切り捨てパスと推定する（ステップＳＴ４２５）。
【００３１】
上記動作例では、推定パラメータとして、フィルタ、分割レベル数、コードブロックサイズがある場合を例として示したが、パラメータが更に多くても同様に各パラメータを順に決定していくことで、初期符号化時の符号量やその他の符号化パラメータが特定できる。符号化パラメータの種類としては、フィルタ、分割レベル数の他に、タイルサイズ、コードブロックサイズ、プレシンクトサイズ、量子化種別、色変換の有無などがある。
【００３２】
以上のように、この実施の形態２によれば、パラメータセットとして、各パラメータセット間で最初、特定種類の符号化パラメータ候補のみ異なる値に設定し、残りの種類の符号化パラメータ候補はそれぞれ共通の値に固定した少なくとも一対の１次パラメータセットを生成し、この１次パラメータセットに基づいて、画像符号化手段１０１から再生画像解析手段１０４までの処理をそれぞれ順次行い、再生画像解析手段１０４では、１次パラメータセットに基づく符号化歪が最小となる方のパラメータセットを１次推定候補とし、当該１次推定候補のパラメータセットの特定種類の符号化パラメータ候補の値はそのまま固定し、残りの種類の符号化パラメータ候補の少なくとも一つのみを異なる値に設定した一対の２次パラメータセットを生成し、今度は２次パラメータセットに基づいて、画像符号化手段１０１から再生画像解析手段１０４までの処理をそれぞれ行って符号化歪が最小となる方のパラメータセットを２次推定候補として抽出し、同様に、パラメータセットを構成する全ての種類の符号化パラメータ候補の値を段階的に異なる値に設定しながら上記画像符号化手段１０１から再生画像解析手段１０４までの処理を繰り返して抽出した最終推定候補のパラメータセットを初期符号化時の符号化パラメータの組み合わせとしている。したがって、ＪＰＥＧ２０００のように推定する符号化パラメータの種類が多い場合でも、効率よく初期符号化時の符号化パラメータを算出することが可能である。
【００３３】
実施の形態３．
実施の形態３では、スカラー量子化の量子化ステップサイズ、ポスト量子化の切り捨てパスを推定する処理を説明する。
図１の再生画像解析装置の構成において、この実施の形態３の動作を図５のフローチャートに従って参照しながら説明する。
この実施の形態３のステップＳＴ５０１では、実施の形態１と同様な手法によりフィルタの値、ウェーブレット変換の分割レベル数を特定する。５×３フィルタと推定された場合は、スカラー量子化は行われないので、ポスト量子化のみを考慮すればよい。再生画像解析手段１０４では、ステップＳＴ５０１で算出した５×３フィルタの符号量歪特性を参照し、符号化歪が最小値を取るポイントの符号量を初期符号化時の推定符号量として決定し（ステップＳＴ５０３）、その符号量歪が最小になるポイントでの切り捨てパスを初期符号化時の推定切り捨てパスと推定する（ステップＳＴ５０４）。
【００３４】
一方、９×７フィルタでは、スカラー量子化とポスト量子化の両方、またはスカラー量子化のみが行われる。この場合、コードブロックごとに異なる切り捨てパスでのポスト量子化が行われる可能性があるので、コードブロックごとに変換係数の符号化歪と発生する符号量を算出する。
符号化パラメータ設定手段１０５はスカラー量子化の量子化ステップサイズ候補Δｉを複数設定し、それぞれの量子化ステップサイズでポスト量子化を行わずに符号化を行い、コードブロックごとに符号量と符号化歪の関係を算出する。これにより、コードブロックごとに符号量と符号化歪の関係が得られる（ステップＳＴ５０５）。図６に、ある２つのコードブロックにおいて、量子化ステップサイズを変化させた時の、符号量対歪特性の関係を示す。再符号化の量子化ステップサイズが初期符号化時の量子化ステップサイズに近い場合には、図上の楕円で囲まれた点のように符号化歪が非常に小さな値になる。
【００３５】
再生画像解析手段１０４は、各コードブロックの符号量対歪特性を参照し、符号化歪が最小となるポイントの量子化ステップサイズを推定量子化ステップサイズに決定し（ステップＳＴ５０６）、符号量を推定符号量とする（ステップＳＴ５０７）。ただし、ここで推定される量子化ステップサイズは、スカラー量子化とポスト量子化の両者の影響を併せた量子化ステップサイズである。スカラー量子化の量子化ステップサイズのみ、あるいはポスト量子化の切り捨てパスだけを推定しているわけではない。
【００３６】
以上のように、この実施の形態３によれば、再生画像解析手段１０４は、ＪＰＥＧ２０００のようにコードブロックごとに量子化ステップサイズが異なる符号化方式であっても、コードブロックごとに算出する符号量と符号化歪の関係から各コードブロックの量子化ステップサイズを推定できる。
【符号の説明】
【００３７】
１０１ 画像符号化手段、１０２ 画像復号手段、１０３ 符号化歪算出手段、１０４ 再生画像解析手段、１０５ 符号化パラメータ設定手段。
【特許請求の範囲】
【請求項１】
符号化処理と復号処理により生成された再生画像から当該再生画像の初期符号化時に使用した符号化パラメータを推定する再生画像解析装置において、
設定される符号化パラメータに基づいて前記再生画像の再符号化を行いコードストリームを生成する画像符号化手段と、
予め準備した所定の符号化パラメータを前記画像符号化手段に設定する符号化パラメータ設定手段と、
前記生成されたコードストリームを再復号して再々生画像を生成する画像復号手段と、
前記再々生画像と前記再生画像とから再符号化による符号化歪を算出する符号化歪算出手段と、
前記算出された符号化歪と前記コードストリームの符号量に基づいて前記再生画像の初期符号化時の符号化パラメータを推定する再生画像解析手段とを備えたことを特徴とする再生画像解析装置。
【請求項２】
複数種の符号化パラメータ候補とその推定値を組み合わせた複数のパラメータセットに基づいて、画像符号化手段から画像解析手段までの処理をそれぞれ順次行い、
前記再生画像解析手段は、符号化歪算出手段で算出された複数種のパラメータセットに基づく符号化歪が最小となる場合のパラメータセットを初期符号化時の符号化パラメータの組み合わせとして推定することを特徴とする請求項１記載の再生画像解析装置。
【請求項３】
パラメータセットとして、各パラメータセット間で最初、特定種類の符号化パラメータ候補のみ異なる値に設定し、残りの種類の符号化パラメータ候補はそれぞれ共通の値に固定した少なくとも一対の１次パラメータセットを生成し、
前記１次パラメータセットに基づいて、画像符号化手段から再生画像解析手段までの処理をそれぞれ順次行い、
前記再生画像解析手段は、符号化歪算出手段で算出された１次パラメータセットに基づく符号化歪が最小となる方のパラメータセットを１次推定候補とし、
当該１次推定候補のパラメータセットの前記特定種類の符号化パラメータ候補の値はそのまま固定し、残りの種類の符号化パラメータ候補の少なくとも一つのみを異なる値に設定した一対の２次パラメータセットを生成し、
前記２次パラメータセットに基づいて、前記画像符号化手段から前記再生画像解析手段までの処理をそれぞれ行って符号化歪が最小となる方のパラメータセットを２次推定候補として抽出し、
同様に、パラメータセットを構成する全ての種類の符号化パラメータ候補の値を段階的に異なる値に設定しながら前記画像符号化手段から前記再生画像解析手段の処理を繰り返して抽出した最終推定候補のパラメータセットを初期符号化時の符号化パラメータの組み合わせとして推定することを特徴とする請求項２記載の再生画像解析装置。
【請求項４】
画像符号化手段は、ＪＰＥＧ２０００による再生画像を対象とし、ラグランジェの乗数法によりウェーブレット変換係数を切り捨てることにより符号量を制御して異なる符号量のコードストリームを生成することを特徴とする請求項２または請求項３に記載の再生画像解析装置。
【請求項５】
再生画像解析手段は、各パラメータセットの符号量対符号化歪の関係のグラフ上で所定の符号量の間で囲む面積を比較することにより符号化歪の大きさを判別することを特徴とする請求項２または請求項３に記載の再生画像解析装置。
【請求項６】
再生画像解析手段は、ＪＰＥＧ２０００による再生画像を対象とし、コードブロックごとに算出する符号量と符号化歪の関係から各コードブロックの量子化ステップサイズを推定することを特徴とする請求項２または請求項３に記載の再生画像解析装置。
【請求項１】
符号化処理と復号処理により生成された再生画像から当該再生画像の初期符号化時に使用した符号化パラメータを推定する再生画像解析装置において、
設定される符号化パラメータに基づいて前記再生画像の再符号化を行いコードストリームを生成する画像符号化手段と、
予め準備した所定の符号化パラメータを前記画像符号化手段に設定する符号化パラメータ設定手段と、
前記生成されたコードストリームを再復号して再々生画像を生成する画像復号手段と、
前記再々生画像と前記再生画像とから再符号化による符号化歪を算出する符号化歪算出手段と、
前記算出された符号化歪と前記コードストリームの符号量に基づいて前記再生画像の初期符号化時の符号化パラメータを推定する再生画像解析手段とを備えたことを特徴とする再生画像解析装置。
【請求項２】
複数種の符号化パラメータ候補とその推定値を組み合わせた複数のパラメータセットに基づいて、画像符号化手段から画像解析手段までの処理をそれぞれ順次行い、
前記再生画像解析手段は、符号化歪算出手段で算出された複数種のパラメータセットに基づく符号化歪が最小となる場合のパラメータセットを初期符号化時の符号化パラメータの組み合わせとして推定することを特徴とする請求項１記載の再生画像解析装置。
【請求項３】
パラメータセットとして、各パラメータセット間で最初、特定種類の符号化パラメータ候補のみ異なる値に設定し、残りの種類の符号化パラメータ候補はそれぞれ共通の値に固定した少なくとも一対の１次パラメータセットを生成し、
前記１次パラメータセットに基づいて、画像符号化手段から再生画像解析手段までの処理をそれぞれ順次行い、
前記再生画像解析手段は、符号化歪算出手段で算出された１次パラメータセットに基づく符号化歪が最小となる方のパラメータセットを１次推定候補とし、
当該１次推定候補のパラメータセットの前記特定種類の符号化パラメータ候補の値はそのまま固定し、残りの種類の符号化パラメータ候補の少なくとも一つのみを異なる値に設定した一対の２次パラメータセットを生成し、
前記２次パラメータセットに基づいて、前記画像符号化手段から前記再生画像解析手段までの処理をそれぞれ行って符号化歪が最小となる方のパラメータセットを２次推定候補として抽出し、
同様に、パラメータセットを構成する全ての種類の符号化パラメータ候補の値を段階的に異なる値に設定しながら前記画像符号化手段から前記再生画像解析手段の処理を繰り返して抽出した最終推定候補のパラメータセットを初期符号化時の符号化パラメータの組み合わせとして推定することを特徴とする請求項２記載の再生画像解析装置。
【請求項４】
画像符号化手段は、ＪＰＥＧ２０００による再生画像を対象とし、ラグランジェの乗数法によりウェーブレット変換係数を切り捨てることにより符号量を制御して異なる符号量のコードストリームを生成することを特徴とする請求項２または請求項３に記載の再生画像解析装置。
【請求項５】
再生画像解析手段は、各パラメータセットの符号量対符号化歪の関係のグラフ上で所定の符号量の間で囲む面積を比較することにより符号化歪の大きさを判別することを特徴とする請求項２または請求項３に記載の再生画像解析装置。
【請求項６】
再生画像解析手段は、ＪＰＥＧ２０００による再生画像を対象とし、コードブロックごとに算出する符号量と符号化歪の関係から各コードブロックの量子化ステップサイズを推定することを特徴とする請求項２または請求項３に記載の再生画像解析装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−２５２１６０（Ｐ２０１０−２５２１６０Ａ）
【公開日】平成２２年１１月４日（２０１０．１１．４）
【国際特許分類】
【出願番号】特願２００９−１００９８２（Ｐ２００９−１００９８２）
【出願日】平成２１年４月１７日（２００９．４．１７）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２２年１１月４日（２０１０．１１．４）
【国際特許分類】
【出願日】平成２１年４月１７日（２００９．４．１７）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]