動画像符号化装置及びプログラム
【課題】輝度成分のみを用いる動きベクトル探索において、輝度成分が一様な場合の主観画質の劣化を低減する。
【解決手段】動画像符号化装置１０は、輝度成分と色差成分とで表現されている動画像のフレーム間で行う動きベクトルの予測の結果に基づいて当該動画像の圧縮符号化を行う。量子化パラメータ制御部１８は、当該動画像のフレーム上に設定される小ブロックに対し当該動きベクトルの予測結果に基づいた動き補償を動きベクトル検出・補償部１１が行ったときにおける輝度成分の予測誤差の当該小ブロックでの累積値と、当該動き補償を動きベクトル検出・補償部１１が行ったときにおける色差成分の予測誤差の当該小ブロックでの累積値との比を、当該動きベクトルの予測精度の指標として算出し、当該予測精度指標に基づいて、当該小ブロックの画像情報の量子化を行う量子化部１４の制御を行う。
【解決手段】動画像符号化装置１０は、輝度成分と色差成分とで表現されている動画像のフレーム間で行う動きベクトルの予測の結果に基づいて当該動画像の圧縮符号化を行う。量子化パラメータ制御部１８は、当該動画像のフレーム上に設定される小ブロックに対し当該動きベクトルの予測結果に基づいた動き補償を動きベクトル検出・補償部１１が行ったときにおける輝度成分の予測誤差の当該小ブロックでの累積値と、当該動き補償を動きベクトル検出・補償部１１が行ったときにおける色差成分の予測誤差の当該小ブロックでの累積値との比を、当該動きベクトルの予測精度の指標として算出し、当該予測精度指標に基づいて、当該小ブロックの画像情報の量子化を行う量子化部１４の制御を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチメディア符号化及び復号化の技術に関し、特に、カラー動画像を輝度成分と色差成分とで表現してフレーム間動き予測符号化を行う圧縮符号化の技術に関する。
【背景技術】
【０００２】
一般に動画像の情報量は非常に大きく、メディア蓄積やネットワーク伝送をそのままで行うことはコストが非常に高くなる。このため、動画像を可逆若しくは非可逆方式で圧縮符号化する技術開発・標準化が従来から広く行われてきた。その代表例が、ＭＰＥＧ(Moving Picture Experts Group)で標準化されたＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＡＶＣ／Ｈ．２６４である。
【０００３】
これらの標準では、フレーム間動き予測符号化を採用している。フレーム間動き予測符号化は、フレーム間で相関度が高い部分を検索し、両者の位置差分（動きベクトル）と両者の画素値差分（予測誤差）とを符号化するものである。動画像ではフレーム間の相関度が一般的に高いことから、画素差分値が元の画素値と比較して小さくなるので、高い圧縮効率が実現できる。
【０００４】
動きベクトルの検索・決定方法は上述した標準では規定されていない。従って、符号化装置の画質性能は動きベクトルの予測精度に大きく左右されるこことなる。但し、動きベクトル検出の処理量は、探索範囲や探索位置数を大きくするに従い非常に大きくなるため、画質と装置の回路規模・消費電力との間にはトレードオフが存在する。
【０００５】
動きベクトルの検出では、一般的に、輝度成分のみを用いる。これは、色差成分の解像度は輝度成分の解像度に比べて小さいので、色差成分の解像度のみを落としても主観画質の劣化は微少なものに留まるからである。カラー動画像における輝度成分Ｙと色差成分Ｃｂ及びＣｒとの情報比率Ｙ：Ｃｂ：Ｃｒとして、一般的には４：２：０形式が用いられることが多いのも、このことによるものである。
【０００６】
このような、輝度成分のみを用いた動きベクトル検出方法は通常の画像の場合には問題ないのであるが、輝度成分が一様（テクスチャがない）であって且つ色差成分のみにテクスチャがあるような画像の場合には、動きベクトルの予測精度が低下し、主観画質が大きく劣化してしまうことがある。
【０００７】
図４を用いてこの問題を説明する。
図４の画面例は、赤色の円状の前景物体（同図においては網掛けの円で表現している）が、右から左に移動している状態を表したものである。なお、この画面例では、前景と背景との輝度成分は一定であり、色差成分のみに違いがあるものとする。
【０００８】
図４において、（ａ）の行には、現在のフレームの画像成分を示しており、（ｂ）の行には、（ａ）よりも単位時間前の時刻におけるフレームの画像成分を示している。
図４の例においては、同図に示した破線の矢印が正しい動きベクトルである。ところが、この画面例では、画面全体に渡って輝度成分が一様なために、動きベクトルが同図に示した実線の矢印のように誤検出されてしまったとする。図４の（ｃ）の行には、この誤検出の結果として得られる動き補償後フレームの画像成分を表している。
【０００９】
動き補償後フレームは、現在のフレームの画像成分から動き補償フレームを減算することによって得られる。なお、動き補償フレームは、現在から単位時間前の時刻におけるフレームを動きベクトル分空間的にずらしたものである。上述したように、動きベクトルは実線矢印のように誤検出されているので、図４の例における動き補償フレームは、（ｂ）の行に示されているフレームにおける赤色の前景物体を、当該実線矢印とは逆方向にずらしたものとなる。（ａ）の行に示されている現在のフレームからこの動き補償フレームを減算すると、動き補償後フレームには、（ｃ）に示すように、赤色の前景物体の他に、シアン色（赤色の補色）である物体の像（同図においては黒色の円で表現している）が現れてしまうことになる。
【００１０】
このように、輝度成分が一様な場合には、動きベクトルの探索に相関度を用いるため、正しい動きベクトルを得ることができずに誤った動きベクトルを検出してしまうことがある。この結果、図４からも分かるように、動き補償後フレーム（（ｃ）の行のフレーム）は元画像のフレーム（（ａ）の行のフレーム）に比べて情報量が多くなってしまう。ここで、ビットレート（発生情報量）が予め決められており、このビットレートの制限をこの場合にも守るには、量子化パラメータ（量子化の分解能）を大きくすることになるのであるが、これは結果として色差成分の量子化誤差が増えることとなる。しかもこの場合には輝度成分が一様であるために、色差成分の量子化誤差が視覚的に目立つこととなり、主観画質の大きな劣化となる。
【００１１】
この問題に関し、例えば特許文献１では、動きベクトル探索において、輝度成分の予測誤差の累積値と色差成分の予測誤差の累積値との合計を、動きベクトルの精度評価値として用いる技術が開示されている。
【００１２】
また、この問題に対する別のアプローチとして、画質劣化が発生すると予測される小ブロックの量子化パラメータを小さくすること（適応量子化）が考えられる。一般的な適応量子化に関して、例えば、特許文献２、特許文献３、及び特許文献４にそれぞれ技術が開示されている。
【００１３】
このうち、特許文献２に開示されている技術は、量子化パラメータを、ブロックのアクティビティ、平坦度、及びバッファ蓄積度から決定するというものである。また、特許文献３に開示されている技術は、人肌等の所定の色を持つブロックの量子化パラメータを小さくするというものである。また、特許文献４に開示されている技術は、他フレームのブロックから参照されるブロックの情報量を大きくするというものである。
【特許文献１】特開平８−１０２９６５号公報
【特許文献２】特開平７−１０７４８１号公報
【特許文献３】特表２００１−５２２１７４号公報
【特許文献４】特開２００２−６４８２９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
上掲した特許文献１に開示されている技術では、動きベクトル探索において常に色差成分を使用しており、輝度成分のみを用いる場合に比べ演算量が増大する。これは、例えばデジタルカメラのような回路規模や消費電力を抑える必要のある符号化装置を実現する場合には重大な問題になる。
【００１５】
また、上掲した特許文献２、特許文献３、及び特許文献４に開示されている技術では、いずれも、画像によっては、画質劣化の発生する小ブロックの予測が妥当とはいえない場合もあり得る。
【００１６】
本発明は上述した問題に鑑みてなされたものであり、その解決しようとする課題は、輝度成分のみを用いる動きベクトル探索において、輝度成分が一様な場合の主観画質の劣化を低減することである。
【課題を解決するための手段】
【００１７】
本発明の態様のひとつである動画像符号化装置は、輝度成分と色差成分とで表現されている動画像のフレーム間で行う動きベクトルの予測の結果に基づいて当該動画像の圧縮符号化を行う動画像符号化装置であって、当該動画像のフレーム上に設定される小ブロックに対し当該動きベクトルの予測結果に基づいた動き補償予測により輝度成分の予測誤差を算出する輝度成分予測誤差算出手段と、当該動き補償予測により色差成分の予測誤差を算出する色差成分予測誤差算出手段と、輝度成分予測誤差算出手段で算出された輝度成分の予測誤差、及び色差成分予測誤差算出手段で算出された色差成分の予測誤差を入力とし、複数の量子化方法の中から最適な量子化方法を決定する量子化方法決定手段と、当該量子化方法決定手段で決定された量子化方法で、量子化を行う量子化手段と、を有することを特徴とするものであり、この特徴によって前述した課題を解決する。
【００１８】
この構成によれば、輝度成分のみを用いる動きベクトル探索において、動きベクトルの予測精度の変動を検出し、当該検出結果に応じて小ブロックの量子化精度を変化させることができる。
【００１９】
なお、上述した本発明に係る動画像符号化装置において、当該色差成分予測誤差の小ブロック内累積値が当該輝度成分予測誤差の小ブロック内累積値に比べて大きくなると、当該動きベクトルの予測精度の低下を予測精度指標として示すように構成することができる。
【００２０】
この構成によれば、予測精度指標が動きベクトルの予測精度の低下を示したときに、小ブロックの量子化精度を向上させる制御を行うことができる。
なお、このとき、当該色差成分予測誤差の小ブロック内累積値と当該輝度成分予測誤差の小ブロック内累積値との比が所定の閾値よりも大きくなると、当該動きベクトルの予測精度の低下を予測精度指標として示すように構成することもできる。
【００２１】
この構成によれば、予測精度指標が動きベクトルの予測精度の顕著な低下を示したときに、小ブロックの量子化精度を向上させる制御を行うことができる。
また、前述した本発明に係る動画像符号化装置において、当該量子化方法決定手段は、当該量子化における量子化パラメータを制御するように構成することができる。
【００２２】
この構成によれば、小ブロックの量子化精度を変化させることができる。
なお、このとき、当該予測精度指標が当該動きベクトルの予測精度の低下を示したときには、当該量子化方法決定手段は、当該量子化パラメータを小さくするように構成することができる。
【００２３】
この構成によれば、動きベクトルの予測精度が低下したときに、小ブロックの量子化精度が向上する。
なお、このとき、当該量子化方法決定手段は、更に、圧縮符号化された動画像の情報量に基づいて当該量子化手段を制御して、当該量子化後の画像情報における輝度成分の情報量を変化させるように構成することができる。ここで、当該量子化方法決定手段は、当該量子化後の画像情報における輝度成分の情報量を削減する制御を当該量子化手段に対して行うことにより、当該圧縮符号化された動画像の情報量を所定の閾値に収めるように構成することができる。
【００２４】
この構成によれば、量子化パラメータを小さくしたことにより圧縮符号化された動画像の情報量が過剰に大きくなることが防止される。しかも、輝度成分が一様な場合における画像の成分は輝度成分よりも色差成分が主であるので、輝度成分の情報量を削減しても主観画質の劣化はわずかなものに留まる。
【００２５】
なお、このとき、当該量子化方法決定手段による制御は、当該量子化後の画像情報における輝度成分の係数値のうち、当該係数値の絶対値が所定値よりも小さいものをゼロにする制御であるように構成することができる。
【００２６】
若しくは、このとき、当該量子化方法決定手段による制御は、当該量子化におけるデッドゾーン幅を広げる制御であるように構成することもできる。
上述したどちらの構成によっても、量子化後の画像情報における輝度成分の情報量が削減される。
【００２７】
なお、輝度成分と色差成分とで表現されている動画像のフレーム間で行う動きベクトルの予測の結果に基づいた当該動画像の圧縮符号化をコンピュータに行わせるためのプログラムであって、当該動画像のフレーム上に設定される小ブロックに対し当該動きベクトルの予測結果に基づいた動き補償予測を行い輝度成分の予測誤差を算出する処理と、当該動き補償予測を行い色差成分の予測誤差を算出する処理と、当該輝度成分の予測誤差と色差成分の予測誤差から最適な量子化方法を決定する処理と、決定された量子化方法で量子化する処理と、をコンピュータに行わせるためのプログラムであっても、このプログラムを当該コンピュータで実行させることにより、上述した本発明に係る動画像符号化装置と同様の作用・効果を奏するので、前述した課題が解決される。
【発明の効果】
【００２８】
本発明によれば、以上のようにすることにより、輝度成分のみを用いる動きベクトル探索において、輝度成分が一様な場合の主観画質の劣化が低減するという効果を奏する。
【発明を実施するための最良の形態】
【００２９】
まず、本発明の実施形態の概要を説明する。
画面中のある小ブロックにおいて、輝度成分のみが一様で且つ色差成分のみにテクスチャがある場合、動きベクトルの予測精度が落ちる。このとき、輝度成分は一様なため、動きベクトルの予測精度が落ちても、輝度成分の予測誤差累積値は小さい。一方、色差成分の予測誤差累積値は、輝度成分の予測誤差累積値に比べて相対的に大きくなる。
【００３０】
そこで、本発明の実施形態では、輝度成分の予測誤差累積値と色差成分の予測誤差累積値との比を、動きベクトルの予測精度の指標として算出する。そして、この指標が、動きベクトルの予測精度の低下を示したときには、主観画質が低下する可能性のある小ブロックと判定し、量子化パラメータを他の小ブロックよりも小さくする。
【００３１】
このようにすると、画面中の小ブロックに対する動きベクトル予測精度の低下した小ブロックの割合が低い場合には、量子化パラメータを小さくすることによる影響度は低くなるので、他の小ブロックの主観画質は維持しつつ、動きベクトル予測精度の低下した小ブロックの主観画質が向上することになる。
【００３２】
また、本発明の実施形態では、上述した構成に加え、動きベクトルの予測精度が低下した小ブロックにおいて、量子化パラメータを小さくしたことで情報量が過剰に大きくなることを防ぐために、輝度成分の量子化後の係数を切り捨てて当該輝度成分の情報量を削減するようにする。これは、「輝度成分のみが一様」といっても一般的には多少の予測誤差があるため、ビットレートが制限されている場合には、量子化パラメータを小さくしたことによる情報量の増加が無視できなくなるからである。また、このような切り捨てを行っても、このような場合の画像の成分は輝度成分よりも色差成分が主であるため、主観画質の劣化はわずかである。
【００３３】
なお、ここでは、量子化後の係数を切り捨てる手法として、量子化後の係数の絶対値が閾値よりも小さい場合には全て「０」とするという第一の手法と、量子化におけるデッドゾーン幅を広くするという第二の手法とを提供する。
【００３４】
以下、本発明の実施の形態を図面に基づいて説明する。
まず図１について説明する。同図は、本発明を実施する符号化装置１０の構成を示している。
【００３５】
動きベクトル検出・補償部１１は、入力された動画像の処理フレームと、フレームバッファ１７に格納されている、過去にローカル復号された参照フレームとの間で、輝度成分のみを用いての動きベクトルの予測を行い、最適動きベクトルを画像の小ブロック毎に決定する。加えて、当該参照フレームと最適動きベクトルとに基づいて動き補償フレームを作成し、減算器１２へ出力する。更に、入力された動画像の処理フレームと作成した動き補償フレームとの誤差累積値を、輝度成分と色差成分とで別々に量子化パラメータ制御部１８へ通知する。
【００３６】
入力された動画像の処理フレームと作成した動き補償フレームとについての輝度成分の誤差累積値SAD_Y 及び色差成分の誤差累積値SAD_C は、以下のように計算される。
【００３７】
【数１】
【００３８】
上記の式において、org_Y[] 、org_Cb[]、org_Cr[]は、それぞれ、入力動画像の処理フレームの小ブロックに含まれる輝度（Ｙ）成分、色差（Ｃｂ）成分、色差（Ｃｒ）成分である。また、pred_Y[]、pred_Cb[] 、pred_Cr[] は、それぞれ、検出動きベクトルに基づく予測小ブロックの輝度（Ｙ）成分、色差（Ｃｂ）成分、色差（Ｃｒ）成分である。また、Ｎ及びＭは、小ブロック内に含まれる輝度（Ｙ）成分及び色差（Ｃｂ及びＣｒ）成分それぞれのサンプル数である。
【００３９】
減算器１２は、入力された動画像の処理フレームと、動きベクトル検出・補償部１１から出力された動き補償フレームとの間で減算処理を行う。
ＤＣＴ部１３は、減算器１２から出力される予測誤差画素に対し、ＤＣＴ（離散コサイン変換）演算を適用して周波数変換する。
【００４０】
量子化部１４は、周波数変換された予測誤差画素に対し、量子化パラメータ制御部１８から渡される量子化パラメータと輝度成分情報量削減の指示とに従って量子化処理を行う。
【００４１】
ＩＤＣＴ・逆量子化部１５は、量子化部１４の出力に対し、量子化パラメータ制御部１８から渡された量子化パラメータを用いての逆量子化処理とＩＤＣＴ（逆離散コサイン変換）演算とを行う。
【００４２】
加算器１６は、ＩＤＣＴ・逆量子化部１５の出力と、動きベクトル検出・補償部１１の出力とを加算してローカル復号フレームを生成する。
フレームバッファ１７は、加算器１６から出力されるローカル復号フレームを格納して一時的に保持しておくメモリである。
【００４３】
量子化パラメータ制御部１８は、量子化パラメータを決定すると共に、その決定値によって必要な場合には輝度成分情報量削減の指示を量子化部１４へ行う。
可変長符号化部１９は、周波数変換され量子化された動き予測誤差画素値を、可変長符号化する。
【００４４】
次に図２について説明する。同図は、量子化パラメータ制御部１８によって行われる制御処理の詳細をフローチャートで示したものである。
図２において、まずＳ１０１では、可変長符号化部１９での発生情報量を取得する処理が行われ、続くＳ１０２において、取得した発生情報量に基づき、ベースとなる量子化パラメータを、画像の小ブロック毎に算出する処理が行われる。この量子化パラメータＱＰの算出は、ビットレート制限を遵守するレート管理方式として周知の各種の方式を用いて行うことができる。例えば、前掲した特許文献２、特許文献３、若しくは特許文献４に開示されている方式は利用可能である。
【００４５】
なお、この後のＳ１０３以降の処理も、画像の小ブロック毎について行われる。
Ｓ１０３では、動きベクトル検出・補償部１１から通知される輝度成分の誤差累積値SAD_Y と色差成分の誤差累積値SAD_C とを取得する処理が行われ、続くＳ１０４において、前述した動きベクトルの予測精度の指標、すなわち、取得した輝度成分の誤差累積値SAD_Y と色差成分の誤差累積値SAD_C との比、を算出する処理が行われる。そして、続くＳ１０５において、この指標が、動きベクトルの予測精度の低下を示しているか否かを判定する処理が行われる。
【００４６】
なお、量子化パラメータＱＰを小さくするか否かの判定は、下記の式が成立するか否かを以って行うようにしてもよい。
【００４７】
【数２】
【００４８】
上記の式において、THは、外部から与えるパラメータである。つまり、上記の式が成立する場合は、輝度成分の誤差累積値SAD_Y に対する色差成分の誤差累積値SAD_C の比（SAD_C/SAD_Y ）が所定の閾値よりも大きい場合であるから、これはすなわち、本発明において動きベクトルの予測精度が低下していると判定すべき場合である。なお、前述した４：２：０形式のカラー動画像の場合では、このＴＨの値として例えば「３」が与えられる。
【００４９】
Ｓ１０５の判定処理において、動きベクトルの予測精度が低下していると判定されたとき（判定結果がＹｅｓのとき）には、Ｓ１０６において、可変長符号化部１９での発生情報量に基づいて算出された量子化パラメータＱＰに対し、下記の式
【００５０】
【数３】
【００５１】
で示される低減処理を施す。なお、上記の式におけるOffsetの値として、AVC/H.264符号化の場合には、例えば「６」が用いられる。そして、続くＳ１０７において、上記の式で得られた量子化パラメータＱＰ’を量子化部１４とＩＤＣＴ・逆量子化部１５とへ通知する処理が行われる。
【００５２】
一方、Ｓ１０５の判定処理において、動きベクトルの予測精度は低下していないと判定されたとき（判定結果がＮｏのとき）には、Ｓ１０６の処理を実行することなくＳ１０７に処理を進め、Ｓ１０２の処理によって算出されていた量子化パラメータＱＰを量子化部１４とＩＤＣＴ・逆量子化部１５とへ通知する処理が行われる。
【００５３】
Ｓ１０８では、Ｓ１０１の処理で取得した発生情報量が所定値（例えば、符号化装置１０に対して予め定められているビットレート）以内に収まっているか否かを判定する処理が行われる。ここで、収まっていると判定されたとき（判定結果がＹｅｓのとき）にはＳ１０１へと処理を戻して上述した処理が繰り返される。一方、収まっていないと判定されたとき（判定結果がＮｏのとき）にはＳ１０９に処理を進める。
【００５４】
Ｓ１０９では、量子化後の輝度成分の発生情報量を削減する手法として、符号化装置１０に対して予め設定されているものは、前述した第一の手法と第二の手法とのうちのどちらであるかを判定する処理が行われる。ここで、第一の手法が設定されているのであれば、Ｓ１１０において、量子化後の係数の絶対値が閾値（例えば「１」）よりも小さい場合には全て「０」とすることで輝度成分の情報量を削減する指示を量子化部１４へ通知する処理が行われる。一方、第二の手法が設定されているのであれば、Ｓ１１１において、量子化におけるデッドゾーン幅を広くすることで輝度成分の情報量を削減する指示を量子化部１４へ通知する処理が行われる。
【００５５】
ここで、第二の手法、すなわち、量子化におけるデッドゾーン幅を広くすることで輝度成分の情報量を削減する手法について、更に説明する。
量子化部１４による量子化の処理は、例えば下記のような式で表現することができる。
【００５６】
ｃ’＝（ｃ＋（ｄｚ＜＜（ＱＰ−１）））＞＞（ＱＰ）
上記の式において、「＜＜」は左ビットシフト、「＞＞」は右ビットシフトを表している。また、ｃは量子化前の係数、ｃ’は量子化後の係数である。更に、ＱＰは量子化パラメータであり、上記の式は、係数ｃを２QP値で量子化することを表している。なお、ｄｚは量子化におけるデッドゾーン幅を決めるパラメータである。ここで、ｄｚの値を小さくするとデッドゾーン幅が広くなり、量子化後の係数は小さくなる。
【００５７】
上記の式において、例えば、ｃ＝６（二進数で「１１０」）、ＱＰ＝３、ｄｚ＝０．５の場合を考える。この場合、（ｄｚ＜＜（ＱＰ−１））＝２（二進数で「１０」）であるから、（ｃ＋（ｄｚ＜＜（ＱＰ−１）））＝８（二進数で「１０００」）となる。従って、ｃ’＝１（二進数でも「１」）となる。
【００５８】
一方、上記の場合において、デッドゾーン幅を広くしてｄｚ＝０．２５とした場合を考える。この場合、（ｄｚ＜＜（ＱＰ−１））＝１（二進数でも「１」）であるから、（ｃ＋（ｄｚ＜＜（ＱＰ−１）））＝７（二進数で「１１１」）となる。従って、ｃ’＝０となる。こうして、量子化パラメータを小さくしたことによる輝度成分の量子化後の情報量の増加が抑制される。
【００５９】
以上のＳ１１０若しくはＳ１１１の処理を終えたときには、Ｓ１０１へと処理を戻して上述した処理が繰り返される。
以上の処理を行う量子化パラメータ制御部１８により、量子化パラメータの決定、及び、その決定値によって必要な場合における量子化部１４への輝度成分情報量削減の指示が行われる。
【００６０】
図１に示した構成の符号化装置１０は、以上のように動作するので、回路規模や消費電力の制約等の理由で動きベクトルの検出に輝度成分のみを用いるようにしても、輝度成分のみが一様であるために動きベクトル予測精度が低下する部分の主観画質の劣化が低減される。
【００６１】
なお、図１に示した符号化装置１０によって行われる動画像の符号化を、標準的な構成を有するコンピュータ、すなわち、図３に示すように、コンピュータ３０全体の動作制御を司るＣＰＵ３１、ＣＰＵ３１が各種の処理を行う際に必要に応じて作業用として使用するＲＡＭ３２、ＣＰＵ３１によって実行される基本制御プログラムやその実行の際に必要に応じて使用される各種のデータが予め格納されているＲＯＭ３３、ＣＰＵ３１によって実行される各種の制御プログラムやその実行の際に必要に応じて使用される各種のデータを格納しておく磁気ディスク記憶装置３４、例えばＣＤ（Compact Disc）やＭＯ（Magneto Optical ）ディスク、ＤＶＤ（Digital Versatile Disc）等の可搬型記録媒体４０に記録されている各種のデータを読み取るデータ読取装置３５、例えばマウス等のポインティングデバイスやキーボート装置などを有して構成されていてそれらに対する操作の内容に対応付けられているユーザからの指示を取得する入力部３６、ＣＰＵの指示に応じて所定の画像を表示する表示部３７、他の機器との間で各種のデータの授受を行うＩ／Ｆ（インタフェース）部３８、などを備えるコンピュータ３０に行わせることも可能である。
【００６２】
特に、このようなコンピュータ３０で本発明を実施するためには、例えば、上述した実施形態においては量子化パラメータ制御部１８が行っていた、図２に示した制御処理をコンピュータ３０のＣＰＵ３１に行わせるための制御プロプログラムを作成して上述したような可搬型記録媒体４０に記録しておき、その制御プログラムをコンピュータ３０に読み込ませてＣＰＵ３１で実行させればよい。
【００６３】
なお、上述した制御プログラムを格納しておく記録媒体としては、可搬型記録媒体４０の代わりに、インターネット等の通信回線５０に接続されているプログラムサーバ６０として機能するコンピュータシステムが備えている記憶装置６１を用いるようにしてもよい。この場合には、上述した制御プログラムを表現するデータ信号で搬送波を変調して得られる伝送信号を、プログラムサーバ６０から伝送媒体である通信回線５０を通じてコンピュータ３０へ伝送するようにする。一方、コンピュータ３０では。この伝送信号を受信して復調して元の制御プログラムを再現することによりこの制御プログラムをＣＰＵ３１で実行できるようになる。
【００６４】
以上本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではない。
なお、上記した実施の形態から次のような構成の技術的思想が導かれる。
【００６５】
（付記１）
輝度成分と色差成分とで表現されている動画像のフレーム間で行う動きベクトルの予測の結果に基づいて当該動画像の圧縮符号化を行う動画像符号化装置であって、
前記動画像のフレーム上に設定される小ブロックに対し前記動きベクトルの予測結果に基づいた動き補償予測により輝度成分の予測誤差を算出する輝度成分予測誤差算出手段と、
前記動き補償予測により色差成分の予測誤差を算出する色差成分予測誤差算出手段と、
前記輝度成分予測誤差算出手段で算出された輝度成分の予測誤差、及び前記色差成分予測誤差算出手段で算出された色差成分の予測誤差を入力とし、複数の量子化方法の中から最適な量子化方法を決定する量子化方法決定手段と、
前記量子化方法決定手段で決定された量子化方法で、量子化を行う量子化手段と、
を有することを特徴とする動画像符号化装置。
【００６６】
（付記２）
前記色差成分予測誤差の小ブロック内累積値が前記輝度成分予測誤差の小ブロック内累積値に比べて大きくなると、前記動きベクトルの予測精度の低下を予測精度指標として示すことを特徴とする付記１に記載の動画像符号化装置。
【００６７】
（付記３）
前記色差成分予測誤差の小ブロック内累積値と前記輝度成分予測誤差の小ブロック内累積値との比が所定の閾値よりも大きくなると、前記動きベクトルの予測精度の低下を予測精度指標として示すことを特徴とする付記２に記載の動画像符号化装置。
【００６８】
（付記４）
前記量子化方法決定手段は、前記量子化における量子化パラメータを制御することを特徴とする付記１から３のいずれか１項に記載の動画像符号化装置。
【００６９】
（付記５）
前記予測精度指標が前記動きベクトルの予測精度の低下を示したときには、前記量子化方法決定手段は、前記量子化パラメータを小さくすることを特徴とする付記４に記載の動画像符号化装置。
【００７０】
（付記６）
前記量子化方法決定手段は、更に、圧縮符号化された動画像の情報量に基づいて前記量子化手段を制御して、前記量子化後の画像情報における輝度成分の情報量を変化させることを特徴とする付記５に記載の動画像符号化装置。
【００７１】
（付記７）
前記量子化方法決定手段は、前記量子化後の画像情報における輝度成分の情報量を削減する制御を前記量子化手段に対して行うことにより、前記圧縮符号化された動画像の情報量を所定の閾値に収めることを特徴とする付記６に記載の動画像符号化装置。
【００７２】
（付記８）
前記量子化方法決定手段による制御は、前記量子化後の画像情報における輝度成分の係数値のうち、当該係数値の絶対値が所定値よりも小さいものをゼロにする制御であることを特徴とする付記７に記載の動画像符号化装置。
【００７３】
（付記９）
前記量子化方法決定手段による制御は、前記量子化におけるデッドゾーン幅を広げる制御であることを特徴とする付記７に記載の動画像符号化装置。
【００７４】
（付記１０）
輝度成分と色差成分とで表現されている動画像のフレーム間で行う動きベクトルの予測の結果に基づいた当該動画像の圧縮符号化をコンピュータに行わせるためのプログラムであって、
前記動画像のフレーム上に設定される小ブロックに対し前記動きベクトルの予測結果に基づいた動き補償予測を行い輝度成分の予測誤差を算出する処理と、
前記動き補償予測を行い色差成分の予測誤差を算出する処理と、
前記輝度成分の予測誤差と前記色差成分の予測誤差とから最適な量子化方法を決定する処理と、
決定された量子化方法で量子化する処理と、
をコンピュータに行わせるためのプログラム。
【００７５】
（付記１１）
前記色差成分予測誤差の小ブロック内累積値が前記輝度成分予測誤差の小ブロック内累積値に比べて大きくなると、前記動きベクトルの予測精度の低下を予測精度指標として示すことを特徴とする付記１０に記載のプログラム。
【００７６】
（付記１２）
前記色差成分予測誤差の小ブロック内累積値が前記輝度成分予測誤差の小ブロック内累積値との比が所定の閾値よりも大きくなると、前記動きベクトルの予測精度の低下を予測精度指標として示すことを特徴とする付記１１に記載のプログラム。
【００７７】
（付記１３）
前記量子化の制御では、当該量子化における量子化パラメータを制御することを特徴とする付記１０から１２までのうちのいずれか１項に記載のプログラム。
【００７８】
（付記１４）
前記予測精度指標が前記動きベクトルの予測精度の低下を示したときには、前記量子化の制御によって、前記量子化パラメータを小さくすることを特徴とする付記１３に記載のプログラム。
【００７９】
（付記１５）
前記量子化の制御では、更に、圧縮符号化された動画像の情報量に基づいて当該量子化を制御して、当該量子化後の画像情報における輝度成分の情報量を変化させることを特徴とする付記１４に記載のプログラム。
【００８０】
（付記１６）
前記量子化の制御では、当該量子化後の画像情報における輝度成分の情報量を削減する制御を行うことにより、前記圧縮符号化された動画像の情報量を所定の閾値に収めることを特徴とする付記１５に記載のプログラム。
【００８１】
（付記１７）
前記量子化の制御は、当該量子化後の画像情報における輝度成分の係数値のうち、当該係数値の絶対値が所定値よりも小さいものをゼロにする制御であることを特徴とする付記１６に記載のプログラム。
【００８２】
（付記１８）
前記量子化の制御は、当該量子化におけるデッドゾーン幅を広げる制御であることを特徴とする付記１６に記載のプログラム。
【００８３】
（付記１９）
輝度成分と色差成分とで表現されている動画像のフレーム間で行う動きベクトルの予測の結果に基づいて当該動画像の圧縮符号化を行う方法であって、
前記動画像のフレーム上に設定される小ブロックに対し前記動きベクトルの予測結果に基づいた動き補償を行ったときにおける輝度成分の予測誤差の当該小ブロックでの累積値と、当該動き補償を行ったときにおける色差成分の予測誤差の当該小ブロックでの累積値との比を、当該動きベクトルの予測精度の指標として算出し、
前記予測精度指標に基づいて前記小ブロックの画像情報の量子化を制御する、
ことを特徴とする動画像符号化方法。
【００８４】
（付記２０）
前記量子化の制御では、更に、圧縮符号化された動画像の情報量に基づいて当該量子化を制御して、当該量子化後の画像情報における輝度成分の情報量を変化させることを特徴とする付記１９に記載の動画像符号化方法。
【図面の簡単な説明】
【００８５】
【図１】本発明を実施する符号化装置の構成を示す図である。
【図２】量子化パラメータ制御部によって行われる制御処理の詳細をフローチャートで示した図である。
【図３】本発明を実施するコンピュータの構成例を示す図である。
【図４】従来技術の問題点を説明する図である。
【符号の説明】
【００８６】
１０ 符号化装置
１１ 動きベクトル検出・補償部
１２ 減算器
１３ ＤＣＴ部
１４ 量子化部
１５ ＩＤＣＴ・逆量子化部
１６ 加算器
１７ フレームバッファ
１８ 量子化パラメータ制御部
１９ 可変長符号化部
３０ コンピュータ
３１ ＣＰＵ
３２ ＲＯＭ
３３ ＲＡＭ
３４ 磁気ディスク装置
３５ データ読み取り装置
３６ 入力部
３７ 表示部
３８ Ｉ／Ｆ部
４０ 可搬型記録媒体
５０ 通信回線
６０ プログラムサーバ
６１ 記憶装置
【技術分野】
【０００１】
本発明は、マルチメディア符号化及び復号化の技術に関し、特に、カラー動画像を輝度成分と色差成分とで表現してフレーム間動き予測符号化を行う圧縮符号化の技術に関する。
【背景技術】
【０００２】
一般に動画像の情報量は非常に大きく、メディア蓄積やネットワーク伝送をそのままで行うことはコストが非常に高くなる。このため、動画像を可逆若しくは非可逆方式で圧縮符号化する技術開発・標準化が従来から広く行われてきた。その代表例が、ＭＰＥＧ(Moving Picture Experts Group)で標準化されたＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＡＶＣ／Ｈ．２６４である。
【０００３】
これらの標準では、フレーム間動き予測符号化を採用している。フレーム間動き予測符号化は、フレーム間で相関度が高い部分を検索し、両者の位置差分（動きベクトル）と両者の画素値差分（予測誤差）とを符号化するものである。動画像ではフレーム間の相関度が一般的に高いことから、画素差分値が元の画素値と比較して小さくなるので、高い圧縮効率が実現できる。
【０００４】
動きベクトルの検索・決定方法は上述した標準では規定されていない。従って、符号化装置の画質性能は動きベクトルの予測精度に大きく左右されるこことなる。但し、動きベクトル検出の処理量は、探索範囲や探索位置数を大きくするに従い非常に大きくなるため、画質と装置の回路規模・消費電力との間にはトレードオフが存在する。
【０００５】
動きベクトルの検出では、一般的に、輝度成分のみを用いる。これは、色差成分の解像度は輝度成分の解像度に比べて小さいので、色差成分の解像度のみを落としても主観画質の劣化は微少なものに留まるからである。カラー動画像における輝度成分Ｙと色差成分Ｃｂ及びＣｒとの情報比率Ｙ：Ｃｂ：Ｃｒとして、一般的には４：２：０形式が用いられることが多いのも、このことによるものである。
【０００６】
このような、輝度成分のみを用いた動きベクトル検出方法は通常の画像の場合には問題ないのであるが、輝度成分が一様（テクスチャがない）であって且つ色差成分のみにテクスチャがあるような画像の場合には、動きベクトルの予測精度が低下し、主観画質が大きく劣化してしまうことがある。
【０００７】
図４を用いてこの問題を説明する。
図４の画面例は、赤色の円状の前景物体（同図においては網掛けの円で表現している）が、右から左に移動している状態を表したものである。なお、この画面例では、前景と背景との輝度成分は一定であり、色差成分のみに違いがあるものとする。
【０００８】
図４において、（ａ）の行には、現在のフレームの画像成分を示しており、（ｂ）の行には、（ａ）よりも単位時間前の時刻におけるフレームの画像成分を示している。
図４の例においては、同図に示した破線の矢印が正しい動きベクトルである。ところが、この画面例では、画面全体に渡って輝度成分が一様なために、動きベクトルが同図に示した実線の矢印のように誤検出されてしまったとする。図４の（ｃ）の行には、この誤検出の結果として得られる動き補償後フレームの画像成分を表している。
【０００９】
動き補償後フレームは、現在のフレームの画像成分から動き補償フレームを減算することによって得られる。なお、動き補償フレームは、現在から単位時間前の時刻におけるフレームを動きベクトル分空間的にずらしたものである。上述したように、動きベクトルは実線矢印のように誤検出されているので、図４の例における動き補償フレームは、（ｂ）の行に示されているフレームにおける赤色の前景物体を、当該実線矢印とは逆方向にずらしたものとなる。（ａ）の行に示されている現在のフレームからこの動き補償フレームを減算すると、動き補償後フレームには、（ｃ）に示すように、赤色の前景物体の他に、シアン色（赤色の補色）である物体の像（同図においては黒色の円で表現している）が現れてしまうことになる。
【００１０】
このように、輝度成分が一様な場合には、動きベクトルの探索に相関度を用いるため、正しい動きベクトルを得ることができずに誤った動きベクトルを検出してしまうことがある。この結果、図４からも分かるように、動き補償後フレーム（（ｃ）の行のフレーム）は元画像のフレーム（（ａ）の行のフレーム）に比べて情報量が多くなってしまう。ここで、ビットレート（発生情報量）が予め決められており、このビットレートの制限をこの場合にも守るには、量子化パラメータ（量子化の分解能）を大きくすることになるのであるが、これは結果として色差成分の量子化誤差が増えることとなる。しかもこの場合には輝度成分が一様であるために、色差成分の量子化誤差が視覚的に目立つこととなり、主観画質の大きな劣化となる。
【００１１】
この問題に関し、例えば特許文献１では、動きベクトル探索において、輝度成分の予測誤差の累積値と色差成分の予測誤差の累積値との合計を、動きベクトルの精度評価値として用いる技術が開示されている。
【００１２】
また、この問題に対する別のアプローチとして、画質劣化が発生すると予測される小ブロックの量子化パラメータを小さくすること（適応量子化）が考えられる。一般的な適応量子化に関して、例えば、特許文献２、特許文献３、及び特許文献４にそれぞれ技術が開示されている。
【００１３】
このうち、特許文献２に開示されている技術は、量子化パラメータを、ブロックのアクティビティ、平坦度、及びバッファ蓄積度から決定するというものである。また、特許文献３に開示されている技術は、人肌等の所定の色を持つブロックの量子化パラメータを小さくするというものである。また、特許文献４に開示されている技術は、他フレームのブロックから参照されるブロックの情報量を大きくするというものである。
【特許文献１】特開平８−１０２９６５号公報
【特許文献２】特開平７−１０７４８１号公報
【特許文献３】特表２００１−５２２１７４号公報
【特許文献４】特開２００２−６４８２９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
上掲した特許文献１に開示されている技術では、動きベクトル探索において常に色差成分を使用しており、輝度成分のみを用いる場合に比べ演算量が増大する。これは、例えばデジタルカメラのような回路規模や消費電力を抑える必要のある符号化装置を実現する場合には重大な問題になる。
【００１５】
また、上掲した特許文献２、特許文献３、及び特許文献４に開示されている技術では、いずれも、画像によっては、画質劣化の発生する小ブロックの予測が妥当とはいえない場合もあり得る。
【００１６】
本発明は上述した問題に鑑みてなされたものであり、その解決しようとする課題は、輝度成分のみを用いる動きベクトル探索において、輝度成分が一様な場合の主観画質の劣化を低減することである。
【課題を解決するための手段】
【００１７】
本発明の態様のひとつである動画像符号化装置は、輝度成分と色差成分とで表現されている動画像のフレーム間で行う動きベクトルの予測の結果に基づいて当該動画像の圧縮符号化を行う動画像符号化装置であって、当該動画像のフレーム上に設定される小ブロックに対し当該動きベクトルの予測結果に基づいた動き補償予測により輝度成分の予測誤差を算出する輝度成分予測誤差算出手段と、当該動き補償予測により色差成分の予測誤差を算出する色差成分予測誤差算出手段と、輝度成分予測誤差算出手段で算出された輝度成分の予測誤差、及び色差成分予測誤差算出手段で算出された色差成分の予測誤差を入力とし、複数の量子化方法の中から最適な量子化方法を決定する量子化方法決定手段と、当該量子化方法決定手段で決定された量子化方法で、量子化を行う量子化手段と、を有することを特徴とするものであり、この特徴によって前述した課題を解決する。
【００１８】
この構成によれば、輝度成分のみを用いる動きベクトル探索において、動きベクトルの予測精度の変動を検出し、当該検出結果に応じて小ブロックの量子化精度を変化させることができる。
【００１９】
なお、上述した本発明に係る動画像符号化装置において、当該色差成分予測誤差の小ブロック内累積値が当該輝度成分予測誤差の小ブロック内累積値に比べて大きくなると、当該動きベクトルの予測精度の低下を予測精度指標として示すように構成することができる。
【００２０】
この構成によれば、予測精度指標が動きベクトルの予測精度の低下を示したときに、小ブロックの量子化精度を向上させる制御を行うことができる。
なお、このとき、当該色差成分予測誤差の小ブロック内累積値と当該輝度成分予測誤差の小ブロック内累積値との比が所定の閾値よりも大きくなると、当該動きベクトルの予測精度の低下を予測精度指標として示すように構成することもできる。
【００２１】
この構成によれば、予測精度指標が動きベクトルの予測精度の顕著な低下を示したときに、小ブロックの量子化精度を向上させる制御を行うことができる。
また、前述した本発明に係る動画像符号化装置において、当該量子化方法決定手段は、当該量子化における量子化パラメータを制御するように構成することができる。
【００２２】
この構成によれば、小ブロックの量子化精度を変化させることができる。
なお、このとき、当該予測精度指標が当該動きベクトルの予測精度の低下を示したときには、当該量子化方法決定手段は、当該量子化パラメータを小さくするように構成することができる。
【００２３】
この構成によれば、動きベクトルの予測精度が低下したときに、小ブロックの量子化精度が向上する。
なお、このとき、当該量子化方法決定手段は、更に、圧縮符号化された動画像の情報量に基づいて当該量子化手段を制御して、当該量子化後の画像情報における輝度成分の情報量を変化させるように構成することができる。ここで、当該量子化方法決定手段は、当該量子化後の画像情報における輝度成分の情報量を削減する制御を当該量子化手段に対して行うことにより、当該圧縮符号化された動画像の情報量を所定の閾値に収めるように構成することができる。
【００２４】
この構成によれば、量子化パラメータを小さくしたことにより圧縮符号化された動画像の情報量が過剰に大きくなることが防止される。しかも、輝度成分が一様な場合における画像の成分は輝度成分よりも色差成分が主であるので、輝度成分の情報量を削減しても主観画質の劣化はわずかなものに留まる。
【００２５】
なお、このとき、当該量子化方法決定手段による制御は、当該量子化後の画像情報における輝度成分の係数値のうち、当該係数値の絶対値が所定値よりも小さいものをゼロにする制御であるように構成することができる。
【００２６】
若しくは、このとき、当該量子化方法決定手段による制御は、当該量子化におけるデッドゾーン幅を広げる制御であるように構成することもできる。
上述したどちらの構成によっても、量子化後の画像情報における輝度成分の情報量が削減される。
【００２７】
なお、輝度成分と色差成分とで表現されている動画像のフレーム間で行う動きベクトルの予測の結果に基づいた当該動画像の圧縮符号化をコンピュータに行わせるためのプログラムであって、当該動画像のフレーム上に設定される小ブロックに対し当該動きベクトルの予測結果に基づいた動き補償予測を行い輝度成分の予測誤差を算出する処理と、当該動き補償予測を行い色差成分の予測誤差を算出する処理と、当該輝度成分の予測誤差と色差成分の予測誤差から最適な量子化方法を決定する処理と、決定された量子化方法で量子化する処理と、をコンピュータに行わせるためのプログラムであっても、このプログラムを当該コンピュータで実行させることにより、上述した本発明に係る動画像符号化装置と同様の作用・効果を奏するので、前述した課題が解決される。
【発明の効果】
【００２８】
本発明によれば、以上のようにすることにより、輝度成分のみを用いる動きベクトル探索において、輝度成分が一様な場合の主観画質の劣化が低減するという効果を奏する。
【発明を実施するための最良の形態】
【００２９】
まず、本発明の実施形態の概要を説明する。
画面中のある小ブロックにおいて、輝度成分のみが一様で且つ色差成分のみにテクスチャがある場合、動きベクトルの予測精度が落ちる。このとき、輝度成分は一様なため、動きベクトルの予測精度が落ちても、輝度成分の予測誤差累積値は小さい。一方、色差成分の予測誤差累積値は、輝度成分の予測誤差累積値に比べて相対的に大きくなる。
【００３０】
そこで、本発明の実施形態では、輝度成分の予測誤差累積値と色差成分の予測誤差累積値との比を、動きベクトルの予測精度の指標として算出する。そして、この指標が、動きベクトルの予測精度の低下を示したときには、主観画質が低下する可能性のある小ブロックと判定し、量子化パラメータを他の小ブロックよりも小さくする。
【００３１】
このようにすると、画面中の小ブロックに対する動きベクトル予測精度の低下した小ブロックの割合が低い場合には、量子化パラメータを小さくすることによる影響度は低くなるので、他の小ブロックの主観画質は維持しつつ、動きベクトル予測精度の低下した小ブロックの主観画質が向上することになる。
【００３２】
また、本発明の実施形態では、上述した構成に加え、動きベクトルの予測精度が低下した小ブロックにおいて、量子化パラメータを小さくしたことで情報量が過剰に大きくなることを防ぐために、輝度成分の量子化後の係数を切り捨てて当該輝度成分の情報量を削減するようにする。これは、「輝度成分のみが一様」といっても一般的には多少の予測誤差があるため、ビットレートが制限されている場合には、量子化パラメータを小さくしたことによる情報量の増加が無視できなくなるからである。また、このような切り捨てを行っても、このような場合の画像の成分は輝度成分よりも色差成分が主であるため、主観画質の劣化はわずかである。
【００３３】
なお、ここでは、量子化後の係数を切り捨てる手法として、量子化後の係数の絶対値が閾値よりも小さい場合には全て「０」とするという第一の手法と、量子化におけるデッドゾーン幅を広くするという第二の手法とを提供する。
【００３４】
以下、本発明の実施の形態を図面に基づいて説明する。
まず図１について説明する。同図は、本発明を実施する符号化装置１０の構成を示している。
【００３５】
動きベクトル検出・補償部１１は、入力された動画像の処理フレームと、フレームバッファ１７に格納されている、過去にローカル復号された参照フレームとの間で、輝度成分のみを用いての動きベクトルの予測を行い、最適動きベクトルを画像の小ブロック毎に決定する。加えて、当該参照フレームと最適動きベクトルとに基づいて動き補償フレームを作成し、減算器１２へ出力する。更に、入力された動画像の処理フレームと作成した動き補償フレームとの誤差累積値を、輝度成分と色差成分とで別々に量子化パラメータ制御部１８へ通知する。
【００３６】
入力された動画像の処理フレームと作成した動き補償フレームとについての輝度成分の誤差累積値SAD_Y 及び色差成分の誤差累積値SAD_C は、以下のように計算される。
【００３７】
【数１】
【００３８】
上記の式において、org_Y[] 、org_Cb[]、org_Cr[]は、それぞれ、入力動画像の処理フレームの小ブロックに含まれる輝度（Ｙ）成分、色差（Ｃｂ）成分、色差（Ｃｒ）成分である。また、pred_Y[]、pred_Cb[] 、pred_Cr[] は、それぞれ、検出動きベクトルに基づく予測小ブロックの輝度（Ｙ）成分、色差（Ｃｂ）成分、色差（Ｃｒ）成分である。また、Ｎ及びＭは、小ブロック内に含まれる輝度（Ｙ）成分及び色差（Ｃｂ及びＣｒ）成分それぞれのサンプル数である。
【００３９】
減算器１２は、入力された動画像の処理フレームと、動きベクトル検出・補償部１１から出力された動き補償フレームとの間で減算処理を行う。
ＤＣＴ部１３は、減算器１２から出力される予測誤差画素に対し、ＤＣＴ（離散コサイン変換）演算を適用して周波数変換する。
【００４０】
量子化部１４は、周波数変換された予測誤差画素に対し、量子化パラメータ制御部１８から渡される量子化パラメータと輝度成分情報量削減の指示とに従って量子化処理を行う。
【００４１】
ＩＤＣＴ・逆量子化部１５は、量子化部１４の出力に対し、量子化パラメータ制御部１８から渡された量子化パラメータを用いての逆量子化処理とＩＤＣＴ（逆離散コサイン変換）演算とを行う。
【００４２】
加算器１６は、ＩＤＣＴ・逆量子化部１５の出力と、動きベクトル検出・補償部１１の出力とを加算してローカル復号フレームを生成する。
フレームバッファ１７は、加算器１６から出力されるローカル復号フレームを格納して一時的に保持しておくメモリである。
【００４３】
量子化パラメータ制御部１８は、量子化パラメータを決定すると共に、その決定値によって必要な場合には輝度成分情報量削減の指示を量子化部１４へ行う。
可変長符号化部１９は、周波数変換され量子化された動き予測誤差画素値を、可変長符号化する。
【００４４】
次に図２について説明する。同図は、量子化パラメータ制御部１８によって行われる制御処理の詳細をフローチャートで示したものである。
図２において、まずＳ１０１では、可変長符号化部１９での発生情報量を取得する処理が行われ、続くＳ１０２において、取得した発生情報量に基づき、ベースとなる量子化パラメータを、画像の小ブロック毎に算出する処理が行われる。この量子化パラメータＱＰの算出は、ビットレート制限を遵守するレート管理方式として周知の各種の方式を用いて行うことができる。例えば、前掲した特許文献２、特許文献３、若しくは特許文献４に開示されている方式は利用可能である。
【００４５】
なお、この後のＳ１０３以降の処理も、画像の小ブロック毎について行われる。
Ｓ１０３では、動きベクトル検出・補償部１１から通知される輝度成分の誤差累積値SAD_Y と色差成分の誤差累積値SAD_C とを取得する処理が行われ、続くＳ１０４において、前述した動きベクトルの予測精度の指標、すなわち、取得した輝度成分の誤差累積値SAD_Y と色差成分の誤差累積値SAD_C との比、を算出する処理が行われる。そして、続くＳ１０５において、この指標が、動きベクトルの予測精度の低下を示しているか否かを判定する処理が行われる。
【００４６】
なお、量子化パラメータＱＰを小さくするか否かの判定は、下記の式が成立するか否かを以って行うようにしてもよい。
【００４７】
【数２】
【００４８】
上記の式において、THは、外部から与えるパラメータである。つまり、上記の式が成立する場合は、輝度成分の誤差累積値SAD_Y に対する色差成分の誤差累積値SAD_C の比（SAD_C/SAD_Y ）が所定の閾値よりも大きい場合であるから、これはすなわち、本発明において動きベクトルの予測精度が低下していると判定すべき場合である。なお、前述した４：２：０形式のカラー動画像の場合では、このＴＨの値として例えば「３」が与えられる。
【００４９】
Ｓ１０５の判定処理において、動きベクトルの予測精度が低下していると判定されたとき（判定結果がＹｅｓのとき）には、Ｓ１０６において、可変長符号化部１９での発生情報量に基づいて算出された量子化パラメータＱＰに対し、下記の式
【００５０】
【数３】
【００５１】
で示される低減処理を施す。なお、上記の式におけるOffsetの値として、AVC/H.264符号化の場合には、例えば「６」が用いられる。そして、続くＳ１０７において、上記の式で得られた量子化パラメータＱＰ’を量子化部１４とＩＤＣＴ・逆量子化部１５とへ通知する処理が行われる。
【００５２】
一方、Ｓ１０５の判定処理において、動きベクトルの予測精度は低下していないと判定されたとき（判定結果がＮｏのとき）には、Ｓ１０６の処理を実行することなくＳ１０７に処理を進め、Ｓ１０２の処理によって算出されていた量子化パラメータＱＰを量子化部１４とＩＤＣＴ・逆量子化部１５とへ通知する処理が行われる。
【００５３】
Ｓ１０８では、Ｓ１０１の処理で取得した発生情報量が所定値（例えば、符号化装置１０に対して予め定められているビットレート）以内に収まっているか否かを判定する処理が行われる。ここで、収まっていると判定されたとき（判定結果がＹｅｓのとき）にはＳ１０１へと処理を戻して上述した処理が繰り返される。一方、収まっていないと判定されたとき（判定結果がＮｏのとき）にはＳ１０９に処理を進める。
【００５４】
Ｓ１０９では、量子化後の輝度成分の発生情報量を削減する手法として、符号化装置１０に対して予め設定されているものは、前述した第一の手法と第二の手法とのうちのどちらであるかを判定する処理が行われる。ここで、第一の手法が設定されているのであれば、Ｓ１１０において、量子化後の係数の絶対値が閾値（例えば「１」）よりも小さい場合には全て「０」とすることで輝度成分の情報量を削減する指示を量子化部１４へ通知する処理が行われる。一方、第二の手法が設定されているのであれば、Ｓ１１１において、量子化におけるデッドゾーン幅を広くすることで輝度成分の情報量を削減する指示を量子化部１４へ通知する処理が行われる。
【００５５】
ここで、第二の手法、すなわち、量子化におけるデッドゾーン幅を広くすることで輝度成分の情報量を削減する手法について、更に説明する。
量子化部１４による量子化の処理は、例えば下記のような式で表現することができる。
【００５６】
ｃ’＝（ｃ＋（ｄｚ＜＜（ＱＰ−１）））＞＞（ＱＰ）
上記の式において、「＜＜」は左ビットシフト、「＞＞」は右ビットシフトを表している。また、ｃは量子化前の係数、ｃ’は量子化後の係数である。更に、ＱＰは量子化パラメータであり、上記の式は、係数ｃを２QP値で量子化することを表している。なお、ｄｚは量子化におけるデッドゾーン幅を決めるパラメータである。ここで、ｄｚの値を小さくするとデッドゾーン幅が広くなり、量子化後の係数は小さくなる。
【００５７】
上記の式において、例えば、ｃ＝６（二進数で「１１０」）、ＱＰ＝３、ｄｚ＝０．５の場合を考える。この場合、（ｄｚ＜＜（ＱＰ−１））＝２（二進数で「１０」）であるから、（ｃ＋（ｄｚ＜＜（ＱＰ−１）））＝８（二進数で「１０００」）となる。従って、ｃ’＝１（二進数でも「１」）となる。
【００５８】
一方、上記の場合において、デッドゾーン幅を広くしてｄｚ＝０．２５とした場合を考える。この場合、（ｄｚ＜＜（ＱＰ−１））＝１（二進数でも「１」）であるから、（ｃ＋（ｄｚ＜＜（ＱＰ−１）））＝７（二進数で「１１１」）となる。従って、ｃ’＝０となる。こうして、量子化パラメータを小さくしたことによる輝度成分の量子化後の情報量の増加が抑制される。
【００５９】
以上のＳ１１０若しくはＳ１１１の処理を終えたときには、Ｓ１０１へと処理を戻して上述した処理が繰り返される。
以上の処理を行う量子化パラメータ制御部１８により、量子化パラメータの決定、及び、その決定値によって必要な場合における量子化部１４への輝度成分情報量削減の指示が行われる。
【００６０】
図１に示した構成の符号化装置１０は、以上のように動作するので、回路規模や消費電力の制約等の理由で動きベクトルの検出に輝度成分のみを用いるようにしても、輝度成分のみが一様であるために動きベクトル予測精度が低下する部分の主観画質の劣化が低減される。
【００６１】
なお、図１に示した符号化装置１０によって行われる動画像の符号化を、標準的な構成を有するコンピュータ、すなわち、図３に示すように、コンピュータ３０全体の動作制御を司るＣＰＵ３１、ＣＰＵ３１が各種の処理を行う際に必要に応じて作業用として使用するＲＡＭ３２、ＣＰＵ３１によって実行される基本制御プログラムやその実行の際に必要に応じて使用される各種のデータが予め格納されているＲＯＭ３３、ＣＰＵ３１によって実行される各種の制御プログラムやその実行の際に必要に応じて使用される各種のデータを格納しておく磁気ディスク記憶装置３４、例えばＣＤ（Compact Disc）やＭＯ（Magneto Optical ）ディスク、ＤＶＤ（Digital Versatile Disc）等の可搬型記録媒体４０に記録されている各種のデータを読み取るデータ読取装置３５、例えばマウス等のポインティングデバイスやキーボート装置などを有して構成されていてそれらに対する操作の内容に対応付けられているユーザからの指示を取得する入力部３６、ＣＰＵの指示に応じて所定の画像を表示する表示部３７、他の機器との間で各種のデータの授受を行うＩ／Ｆ（インタフェース）部３８、などを備えるコンピュータ３０に行わせることも可能である。
【００６２】
特に、このようなコンピュータ３０で本発明を実施するためには、例えば、上述した実施形態においては量子化パラメータ制御部１８が行っていた、図２に示した制御処理をコンピュータ３０のＣＰＵ３１に行わせるための制御プロプログラムを作成して上述したような可搬型記録媒体４０に記録しておき、その制御プログラムをコンピュータ３０に読み込ませてＣＰＵ３１で実行させればよい。
【００６３】
なお、上述した制御プログラムを格納しておく記録媒体としては、可搬型記録媒体４０の代わりに、インターネット等の通信回線５０に接続されているプログラムサーバ６０として機能するコンピュータシステムが備えている記憶装置６１を用いるようにしてもよい。この場合には、上述した制御プログラムを表現するデータ信号で搬送波を変調して得られる伝送信号を、プログラムサーバ６０から伝送媒体である通信回線５０を通じてコンピュータ３０へ伝送するようにする。一方、コンピュータ３０では。この伝送信号を受信して復調して元の制御プログラムを再現することによりこの制御プログラムをＣＰＵ３１で実行できるようになる。
【００６４】
以上本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではない。
なお、上記した実施の形態から次のような構成の技術的思想が導かれる。
【００６５】
（付記１）
輝度成分と色差成分とで表現されている動画像のフレーム間で行う動きベクトルの予測の結果に基づいて当該動画像の圧縮符号化を行う動画像符号化装置であって、
前記動画像のフレーム上に設定される小ブロックに対し前記動きベクトルの予測結果に基づいた動き補償予測により輝度成分の予測誤差を算出する輝度成分予測誤差算出手段と、
前記動き補償予測により色差成分の予測誤差を算出する色差成分予測誤差算出手段と、
前記輝度成分予測誤差算出手段で算出された輝度成分の予測誤差、及び前記色差成分予測誤差算出手段で算出された色差成分の予測誤差を入力とし、複数の量子化方法の中から最適な量子化方法を決定する量子化方法決定手段と、
前記量子化方法決定手段で決定された量子化方法で、量子化を行う量子化手段と、
を有することを特徴とする動画像符号化装置。
【００６６】
（付記２）
前記色差成分予測誤差の小ブロック内累積値が前記輝度成分予測誤差の小ブロック内累積値に比べて大きくなると、前記動きベクトルの予測精度の低下を予測精度指標として示すことを特徴とする付記１に記載の動画像符号化装置。
【００６７】
（付記３）
前記色差成分予測誤差の小ブロック内累積値と前記輝度成分予測誤差の小ブロック内累積値との比が所定の閾値よりも大きくなると、前記動きベクトルの予測精度の低下を予測精度指標として示すことを特徴とする付記２に記載の動画像符号化装置。
【００６８】
（付記４）
前記量子化方法決定手段は、前記量子化における量子化パラメータを制御することを特徴とする付記１から３のいずれか１項に記載の動画像符号化装置。
【００６９】
（付記５）
前記予測精度指標が前記動きベクトルの予測精度の低下を示したときには、前記量子化方法決定手段は、前記量子化パラメータを小さくすることを特徴とする付記４に記載の動画像符号化装置。
【００７０】
（付記６）
前記量子化方法決定手段は、更に、圧縮符号化された動画像の情報量に基づいて前記量子化手段を制御して、前記量子化後の画像情報における輝度成分の情報量を変化させることを特徴とする付記５に記載の動画像符号化装置。
【００７１】
（付記７）
前記量子化方法決定手段は、前記量子化後の画像情報における輝度成分の情報量を削減する制御を前記量子化手段に対して行うことにより、前記圧縮符号化された動画像の情報量を所定の閾値に収めることを特徴とする付記６に記載の動画像符号化装置。
【００７２】
（付記８）
前記量子化方法決定手段による制御は、前記量子化後の画像情報における輝度成分の係数値のうち、当該係数値の絶対値が所定値よりも小さいものをゼロにする制御であることを特徴とする付記７に記載の動画像符号化装置。
【００７３】
（付記９）
前記量子化方法決定手段による制御は、前記量子化におけるデッドゾーン幅を広げる制御であることを特徴とする付記７に記載の動画像符号化装置。
【００７４】
（付記１０）
輝度成分と色差成分とで表現されている動画像のフレーム間で行う動きベクトルの予測の結果に基づいた当該動画像の圧縮符号化をコンピュータに行わせるためのプログラムであって、
前記動画像のフレーム上に設定される小ブロックに対し前記動きベクトルの予測結果に基づいた動き補償予測を行い輝度成分の予測誤差を算出する処理と、
前記動き補償予測を行い色差成分の予測誤差を算出する処理と、
前記輝度成分の予測誤差と前記色差成分の予測誤差とから最適な量子化方法を決定する処理と、
決定された量子化方法で量子化する処理と、
をコンピュータに行わせるためのプログラム。
【００７５】
（付記１１）
前記色差成分予測誤差の小ブロック内累積値が前記輝度成分予測誤差の小ブロック内累積値に比べて大きくなると、前記動きベクトルの予測精度の低下を予測精度指標として示すことを特徴とする付記１０に記載のプログラム。
【００７６】
（付記１２）
前記色差成分予測誤差の小ブロック内累積値が前記輝度成分予測誤差の小ブロック内累積値との比が所定の閾値よりも大きくなると、前記動きベクトルの予測精度の低下を予測精度指標として示すことを特徴とする付記１１に記載のプログラム。
【００７７】
（付記１３）
前記量子化の制御では、当該量子化における量子化パラメータを制御することを特徴とする付記１０から１２までのうちのいずれか１項に記載のプログラム。
【００７８】
（付記１４）
前記予測精度指標が前記動きベクトルの予測精度の低下を示したときには、前記量子化の制御によって、前記量子化パラメータを小さくすることを特徴とする付記１３に記載のプログラム。
【００７９】
（付記１５）
前記量子化の制御では、更に、圧縮符号化された動画像の情報量に基づいて当該量子化を制御して、当該量子化後の画像情報における輝度成分の情報量を変化させることを特徴とする付記１４に記載のプログラム。
【００８０】
（付記１６）
前記量子化の制御では、当該量子化後の画像情報における輝度成分の情報量を削減する制御を行うことにより、前記圧縮符号化された動画像の情報量を所定の閾値に収めることを特徴とする付記１５に記載のプログラム。
【００８１】
（付記１７）
前記量子化の制御は、当該量子化後の画像情報における輝度成分の係数値のうち、当該係数値の絶対値が所定値よりも小さいものをゼロにする制御であることを特徴とする付記１６に記載のプログラム。
【００８２】
（付記１８）
前記量子化の制御は、当該量子化におけるデッドゾーン幅を広げる制御であることを特徴とする付記１６に記載のプログラム。
【００８３】
（付記１９）
輝度成分と色差成分とで表現されている動画像のフレーム間で行う動きベクトルの予測の結果に基づいて当該動画像の圧縮符号化を行う方法であって、
前記動画像のフレーム上に設定される小ブロックに対し前記動きベクトルの予測結果に基づいた動き補償を行ったときにおける輝度成分の予測誤差の当該小ブロックでの累積値と、当該動き補償を行ったときにおける色差成分の予測誤差の当該小ブロックでの累積値との比を、当該動きベクトルの予測精度の指標として算出し、
前記予測精度指標に基づいて前記小ブロックの画像情報の量子化を制御する、
ことを特徴とする動画像符号化方法。
【００８４】
（付記２０）
前記量子化の制御では、更に、圧縮符号化された動画像の情報量に基づいて当該量子化を制御して、当該量子化後の画像情報における輝度成分の情報量を変化させることを特徴とする付記１９に記載の動画像符号化方法。
【図面の簡単な説明】
【００８５】
【図１】本発明を実施する符号化装置の構成を示す図である。
【図２】量子化パラメータ制御部によって行われる制御処理の詳細をフローチャートで示した図である。
【図３】本発明を実施するコンピュータの構成例を示す図である。
【図４】従来技術の問題点を説明する図である。
【符号の説明】
【００８６】
１０ 符号化装置
１１ 動きベクトル検出・補償部
１２ 減算器
１３ ＤＣＴ部
１４ 量子化部
１５ ＩＤＣＴ・逆量子化部
１６ 加算器
１７ フレームバッファ
１８ 量子化パラメータ制御部
１９ 可変長符号化部
３０ コンピュータ
３１ ＣＰＵ
３２ ＲＯＭ
３３ ＲＡＭ
３４ 磁気ディスク装置
３５ データ読み取り装置
３６ 入力部
３７ 表示部
３８ Ｉ／Ｆ部
４０ 可搬型記録媒体
５０ 通信回線
６０ プログラムサーバ
６１ 記憶装置
【特許請求の範囲】
【請求項１】
輝度成分と色差成分とで表現されている動画像のフレーム間で行う動きベクトルの予測の結果に基づいて当該動画像の圧縮符号化を行う動画像符号化装置であって、
前記動画像のフレーム上に設定される小ブロックに対し前記動きベクトルの予測結果に基づいた動き補償予測により輝度成分の予測誤差を算出する輝度成分予測誤差算出手段と、
前記動き補償予測により色差成分の予測誤差を算出する色差成分予測誤差算出手段と、
前記輝度成分予測誤差算出手段で算出された輝度成分の予測誤差、及び前記色差成分予測誤差算出手段で算出された色差成分の予測誤差を入力とし、複数の量子化方法の中から最適な量子化方法を決定する量子化方法決定手段と、
前記量子化方法決定手段で決定された量子化方法で、量子化を行う量子化手段と、
を有することを特徴とする動画像符号化装置。
【請求項２】
前記色差成分予測誤差の小ブロック内累積値が前記輝度成分予測誤差の小ブロック内累積値に比べて大きくなると、前記動きベクトルの予測精度の低下を予測精度指標として示すことを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記色差成分予測誤差の小ブロック内累積値と前記輝度成分予測誤差の小ブロック内累積値との比が所定の閾値よりも大きくなると、前記動きベクトルの予測精度の低下を予測精度指標として示すことを特徴とする請求項２に記載の動画像符号化装置。
【請求項４】
前記量子化方法決定手段は、前記量子化における量子化パラメータを制御することを特徴とする請求項１から３のいずれか１項に記載の動画像符号化装置。
【請求項５】
前記予測精度指標が前記動きベクトルの予測精度の低下を示したときには、前記量子化方法決定手段は、前記量子化パラメータを小さくすることを特徴とする請求項４に記載の動画像符号化装置。
【請求項６】
前記量子化方法決定手段は、更に、圧縮符号化された動画像の情報量に基づいて前記量子化手段を制御して、前記量子化後の画像情報における輝度成分の情報量を変化させることを特徴とする請求項５に記載の動画像符号化装置。
【請求項７】
前記量子化方法決定手段は、前記量子化後の画像情報における輝度成分の情報量を削減する制御を前記量子化手段に対して行うことにより、前記圧縮符号化された動画像の情報量を所定の閾値に収めることを特徴とする請求項６に記載の動画像符号化装置。
【請求項８】
前記量子化方法決定手段による制御は、前記量子化後の画像情報における輝度成分の係数値のうち、当該係数値の絶対値が所定値よりも小さいものをゼロにする制御であることを特徴とする請求項７に記載の動画像符号化装置。
【請求項９】
前記量子化方法決定手段による制御は、前記量子化におけるデッドゾーン幅を広げる制御であることを特徴とする請求項７に記載の動画像符号化装置。
【請求項１０】
輝度成分と色差成分とで表現されている動画像のフレーム間で行う動きベクトルの予測の結果に基づいた当該動画像の圧縮符号化をコンピュータに行わせるためのプログラムであって、
前記動画像のフレーム上に設定される小ブロックに対し前記動きベクトルの予測結果に基づいた動き補償予測を行い輝度成分の予測誤差を算出する処理と、
前記動き補償予測を行い色差成分の予測誤差を算出する処理と、
前記輝度成分の予測誤差と前記色差成分の予測誤差とから最適な量子化方法を決定する処理と、
決定された量子化方法で量子化する処理と、
をコンピュータに行わせるためのプログラム。
【請求項１】
輝度成分と色差成分とで表現されている動画像のフレーム間で行う動きベクトルの予測の結果に基づいて当該動画像の圧縮符号化を行う動画像符号化装置であって、
前記動画像のフレーム上に設定される小ブロックに対し前記動きベクトルの予測結果に基づいた動き補償予測により輝度成分の予測誤差を算出する輝度成分予測誤差算出手段と、
前記動き補償予測により色差成分の予測誤差を算出する色差成分予測誤差算出手段と、
前記輝度成分予測誤差算出手段で算出された輝度成分の予測誤差、及び前記色差成分予測誤差算出手段で算出された色差成分の予測誤差を入力とし、複数の量子化方法の中から最適な量子化方法を決定する量子化方法決定手段と、
前記量子化方法決定手段で決定された量子化方法で、量子化を行う量子化手段と、
を有することを特徴とする動画像符号化装置。
【請求項２】
前記色差成分予測誤差の小ブロック内累積値が前記輝度成分予測誤差の小ブロック内累積値に比べて大きくなると、前記動きベクトルの予測精度の低下を予測精度指標として示すことを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記色差成分予測誤差の小ブロック内累積値と前記輝度成分予測誤差の小ブロック内累積値との比が所定の閾値よりも大きくなると、前記動きベクトルの予測精度の低下を予測精度指標として示すことを特徴とする請求項２に記載の動画像符号化装置。
【請求項４】
前記量子化方法決定手段は、前記量子化における量子化パラメータを制御することを特徴とする請求項１から３のいずれか１項に記載の動画像符号化装置。
【請求項５】
前記予測精度指標が前記動きベクトルの予測精度の低下を示したときには、前記量子化方法決定手段は、前記量子化パラメータを小さくすることを特徴とする請求項４に記載の動画像符号化装置。
【請求項６】
前記量子化方法決定手段は、更に、圧縮符号化された動画像の情報量に基づいて前記量子化手段を制御して、前記量子化後の画像情報における輝度成分の情報量を変化させることを特徴とする請求項５に記載の動画像符号化装置。
【請求項７】
前記量子化方法決定手段は、前記量子化後の画像情報における輝度成分の情報量を削減する制御を前記量子化手段に対して行うことにより、前記圧縮符号化された動画像の情報量を所定の閾値に収めることを特徴とする請求項６に記載の動画像符号化装置。
【請求項８】
前記量子化方法決定手段による制御は、前記量子化後の画像情報における輝度成分の係数値のうち、当該係数値の絶対値が所定値よりも小さいものをゼロにする制御であることを特徴とする請求項７に記載の動画像符号化装置。
【請求項９】
前記量子化方法決定手段による制御は、前記量子化におけるデッドゾーン幅を広げる制御であることを特徴とする請求項７に記載の動画像符号化装置。
【請求項１０】
輝度成分と色差成分とで表現されている動画像のフレーム間で行う動きベクトルの予測の結果に基づいた当該動画像の圧縮符号化をコンピュータに行わせるためのプログラムであって、
前記動画像のフレーム上に設定される小ブロックに対し前記動きベクトルの予測結果に基づいた動き補償予測を行い輝度成分の予測誤差を算出する処理と、
前記動き補償予測を行い色差成分の予測誤差を算出する処理と、
前記輝度成分の予測誤差と前記色差成分の予測誤差とから最適な量子化方法を決定する処理と、
決定された量子化方法で量子化する処理と、
をコンピュータに行わせるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２００７−２５１４５３（Ｐ２００７−２５１４５３Ａ）
【公開日】平成１９年９月２７日（２００７．９．２７）
【国際特許分類】
【出願番号】特願２００６−７０１７０（Ｐ２００６−７０１７０）
【出願日】平成１８年３月１５日（２００６．３．１５）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成１９年９月２７日（２００７．９．２７）
【国際特許分類】
【出願日】平成１８年３月１５日（２００６．３．１５）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]