画像符号化装置
【課題】 限られた符号量の範囲で、画像の精細度を選択可能にする。
【解決手段】 画像の符号化を行う画像符号化装置において、画像に離散コサイン変換を行って離散コサイン変換係数を算出する変換部６と、離散コサイン変換係数に対して、量子化ステップにもとづき量子化を行って量子化係数を算出する量子化部７と、離散コサイン変換係数から画像特性パラメータを算出し、当該画像特性パラメータにもとづいて、量子化ステップを決定する制御部１９と、を備える。画像特性パラメータが離散コサイン係数から算出されるので、少ない演算量で、画像特性パラメータが求められる。また、画像特性パラメータが用いられるので、高い精度で発生符号量を予測することができる。
【解決手段】 画像の符号化を行う画像符号化装置において、画像に離散コサイン変換を行って離散コサイン変換係数を算出する変換部６と、離散コサイン変換係数に対して、量子化ステップにもとづき量子化を行って量子化係数を算出する量子化部７と、離散コサイン変換係数から画像特性パラメータを算出し、当該画像特性パラメータにもとづいて、量子化ステップを決定する制御部１９と、を備える。画像特性パラメータが離散コサイン係数から算出されるので、少ない演算量で、画像特性パラメータが求められる。また、画像特性パラメータが用いられるので、高い精度で発生符号量を予測することができる。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】この発明は、H.263規格、MPEG規格等にもとづく画像符号化に好適な、画像符号化装置に関し、特に、符号量を低減するための改良に関する。
【０００２】
【従来の技術】動画像の符号化を行うことによって、画像の圧縮、すなわち、画像信号の量を低減する技術として、周知のMPEG規格等に代表される符号化技術が知られている。MPEG規格の符号化技術の例では、フレーム間の局部的な画像の動きの量を表現する動きベクトルを用いた動き補償を取り入れることによって、フレーム間の符号化が行われる。それによって、動画像の圧縮効率の飛躍的な向上が図られている。
【０００３】
【発明が解決しようとする課題】しかしながら、従来の画像符号化技術では、リアルな動画像を電話回線等の伝送容量の限られた伝送経路を用いて伝送するには、なお、符号化信号の信号量、すなわち符号量を低く抑えることが課題となっている。
【０００４】この発明は、従来の画像符号化技術における上記した問題点を解消するためになされたもので、符号量を低減し得る画像符号化装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】第１の発明の装置は、画像の符号化を行う画像符号化装置において、前記画像に離散コサイン変換を行って離散コサイン変換係数を算出する変換部と、前記離散コサイン変換係数に対して、量子化ステップにもとづき量子化を行って量子化係数を算出する量子化部と、前記離散コサイン変換係数から画像特性パラメータを算出し、当該画像特性パラメータにもとづいて、前記量子化ステップを決定する制御部と、を備えることを特徴とする。
【０００６】第２の発明の装置は、第１の発明の画像符号化装置において、可変長符号化テーブルを参照しつつ前記量子化係数に対して可変長符号化を行う可変長符号化部を、さらに備え、前記制御部が、画像種別、マクロブロックの種別、および、前記可変長符号化テーブルに適合した方法にもとづいて、前記画像特性パラメータを算出することを特徴とする。
【０００７】第３の発明の装置は、第１または第２の発明の画像符号化装置において、前記制御部が、さらに、過去の画像の画像特性パラメータの分布履歴、視覚特性、および、符号化の中における発生符号量にもとづいて、つぎの符号化対象とされるマクロブロックにおける目標符号量を決定することを、特徴とする。
【０００８】第４の発明の装置は、画像の符号化を行う画像符号化装置において、前記画像に離散コサイン変換を行って離散コサイン変換係数を算出する変換部と、前記離散コサイン変換係数に対して、量子化ステップにもとづき量子化を行って量子化係数を算出する量子化部と、各マクロブロックに対して、画面内での位置、および、符号化対象画像における前記離散コサイン変換係数から、画像特性パラメータを算出し、当該画像特性パラメータにもとづいて、視覚上の重要度に応じた重み付けを行うための重み付けパラメータを算出し、さらに、当該重み付けパラメータにもとづいて、前記マクロブロックごとに、目標符号量の割当、および、前記量子化ステップに対する重み付けを行う制御部と、を備えることを特徴とする。
【０００９】
【発明の実施の形態】＜1.実施の形態１＞はじめに、実施の形態１の装置について説明する。
【００１０】＜1-1.装置の全体構成＞図１は、実施の形態１の画像符号化装置の構成を示すブロック図である。後述するように、実施の形態１の装置は、フレーム間の符号化であるインター符号化が施された画像の中に、部分的に、フレーム内の符号化であるイントラ符号化が施された画像を組み込む装置部分（図１では、モード切替部２０）に、主要な特徴を有している。したがって、図１R>１には、広く知られるMPEG規格にもとづいて画像信号の符号化を実行する装置を例示するが、実施の形態１に具体化される発明は、イントラ符号化画像とインター符号化画像との双方を得て送信する画像符号化装置一般に対して、適用可能である。
【００１１】はじめに、モード切替部２０の構成の前提となる周辺部を含めて、図１の装置の全体構成の概略について説明する。図１に示すように、カラーカメラなどの画像入力部１は、撮像された画像を表現する画像信号を、デジタル信号の形式で出力する。なお、本明細書では、説明の無用な煩雑化を避けるために、混同のおそれのない範囲で、画像を表現する画像信号と、画像そのものとを、等しく「画像」と表現する。
【００１２】画像入力部１から出力される画像は、フレーム単位でフレームメモリ２に一時的に記憶される。その後、フレームメモリ読出部３によって、フレームメモリ２から、フレームごとに一定の順序で画像が読み出され、カレント画像２２として差分回路４および切換部５へと入力される。
【００１３】差分回路４は、フレームメモリ読出部３から送られたカレント画像２２と、予測メモリ１１から送られる予測画像１２との間で、画素値の差分を演算する。切換部５は、差分回路４から出力される差分画像２３と、フレームメモリ読出部３からのカレント画像２２との間で、いずれかを選択して出力する。切換部５が出力する信号は、変換部６へと入力される。
【００１４】変換部６では、いわゆる離散コサイン変換（ＤＣＴ）が実行される。この離散コサイン変換では、例えば８×８画素で構成されるブロックごとに、入力された画像が、ブロックを構成する画素の数と同数（例えば、８×８＝６４個）の空間周波数成分（ＤＣＴ係数）の組へと変換される。変換によって得られたＤＣＴ係数は、量子化部７へと入力される。
【００１５】量子化部７では、その内部に備わる量子化テーブルに規定される係数値の組、および、符号化パラメータ制御部１９から送出される量子化ステップ指示信号２５を参照して、各ＤＣＴ係数ごとに量子化が施される。すなわち、ＤＣＴ係数が量子化係数へと変換される。量子化ステップ指示信号２５は、量子化テーブルに規定される係数値の組に対して、一律に共通の倍率を付与することによって、量子化テーブルにもとづく量子化の幅、すなわち量子化ステップを、すべてのＤＣＴ係数に共通の倍率で補正する。量子化ステップが小さいほど、画質の劣化は抑えられるが、符号量は多くなる。
【００１６】量子化部７で得られた量子化係数は、可変長符号化部（ＶＬＣ）１５へと入力されると同時に、逆量子化部８へと入力される。逆量子化部８では、量子化部７とは逆の演算が実行される。したがって、量子化される以前のＤＣＴ係数と同一形式の信号が得られる。
【００１７】ただし、量子化部７における処理は、一般に非可逆であるため、逆量子化部８で再構成されたＤＣＴ係数は、変換部６から出力されるＤＣＴ係数と、一般には同一ではない。すなわち、逆量子化部８の出力には、量子化部７の処理によって生じる量子化誤差が一般に含まれる。いうまでもなく、量子化ステップが小さいほど、量子化誤差は小さくなる。
【００１８】逆量子化部８で得られたＤＣＴ係数は、逆変換部９へと入力される。逆変換部９では、ＤＣＴとは逆の演算（逆ＤＣＴ）が実行される。その結果、変換部６でＤＣＴ変換が施される前の画像信号と同一形式の画像信号が得られる。この画像信号も、いうまでもなく、一般には変換部６へ入力された画像信号と同一ではなく、量子化誤差を含んでいる。
【００１９】再構成された画像信号は、参照画像１３として、予測メモリ１１へとフレーム単位で格納される。予測メモリ１１に格納される参照画像１３は、動きベクトル検出部１４へと入力される。フレームメモリ読出部３から読み出されたカレント画像２２は、動きベクトル検出部１４へも同時に入力される。動きベクトル検出部１４は、マクロブロック単位で、このカレント画像２２にもっとも近い参照画像１３の部分を探索する。探索された部分は、予測画像と称される。
【００２０】動きベクトル検出部１４は、さらに、予測画像からこれに対応するカレント画像２２の上のマクロブロックまでの変位を表現するベクトルを、動きベクトル２４として、予測メモリ１１、および、可変長符号化部１５へと送出する。予測メモリ１１は、動きベクトル２４にもとづいて、マクロブロックごとに参照画像１３の中から予測画像１２を抽出して、差分回路４へと送出する。
【００２１】ここで、マクロブロックとは、動きベクトル２４が定義される画像の単位であり、例えば、画像信号の輝度成分に対しては１６×１６画素、色差成分に対しては８×８画素で構成される。輝度成分に対して１６×１６画素でマクロブロックが定義される場合には、輝度成分に対しては、例えば、１つのマクロブロックが４分割されてなる８×８画素で構成されるブロックを単位として、変換部６におけるＤＣＴ変換処理、および、量子化部７における量子化処理が施される。
【００２２】切換部５は、図示しない制御部に接続されており、この制御部の指示にもとづいて、既述したように、カレント画像２２および差分画像２３の間で、いずれかを選択して変換部６へと出力する。カレント画像２２が選択されると、フレーム内での符号化、すなわちイントラ符号化が行われることとなる。そうして得られた画像は、Ｉピクチャーと称される。また、差分回路４が出力する差分画像２３が選択されると、インター符号化の一種であるフレーム間予測符号化が行われることとなる。そうして得られた画像は、Ｐピクチャーと称される。
【００２３】ところで、差分回路４と切換部５との間には、イントラ／インター間のモード切替を行うモード切替部２０が介挿されている。したがって、差分画像２３は切換部５へと直接には入力されずに、モード切替部２０を介することによって、モード切替部２０が出力するモード選択画像１０として切換部５へと入力される。すなわち、切換部５は、直接には、カレント画像２２とモード選択画像１０とのいずれかを選択して出力する。
【００２４】モード切替部２０は、カレント画像２２と差分画像２３との間で、マクロブロックの単位で、いずれかを選択し、モード選択画像１０として切換部５へ送出する。すなわち、モード切替部２０は、本来ではインター符号化がなされるべきＰピクチャー内に、マクロブロック単位で、イントラ符号化されたＩピクチャーを混ぜ合わせるべく機能する。
【００２５】可変長符号化部１５では、入力される量子化係数に対して、例えばハフマン符号化などの可変長符号化処理が実行されると同時に、動きベクトル検出部１４から送出される動きベクトル２４が付加され、その結果、符号化信号が得られる。得られた符号化信号は、つづく多重化部１６で多重化処理を施された上で、送信バッファ１７に一旦蓄積される。
【００２６】送信バッファ１７に蓄積された符号化信号は、適時、送信経路１８へと送出される。送信バッファ１７からは、その状態、すなわち、バッファがオーバフローである、あるいは、空であることを通知するステータス信号が、符号化パラメータ制御部１９へと送出される。符号化信号には動きベクトル２４が含まれているため、符号化信号を受信し、カレント画像２２を再構成する復号化装置において、動きベクトル２４を考慮した復号化が可能となる。
【００２７】＜1-2.モード切替部＞つぎに、本発明の特徴部をなすモード切替部２０について説明する。モード切替部２０は、プログラムを搭載したメモリと、そのプログラムに従って動作するコンピュータとを、備えることによって、所定の動作を実現することが可能である。モード切替部２０は、また、プログラムによらずに、集積回路を含むハードウェアのみで構成することも可能である。
【００２８】はじめに、比較対照のために、モード切替部２０が、"Test Model Near-Term5"（以下、"TMN 5"と略記する）にもとづいて動作する例について説明する。"TMN 5"は、ITU-T（国際電気通信連合ITUの常設機関の一つ）に属する研究委員会によって記述されたテストモデルである。この"TMN 5"では、イントラ／インター間のモード切替をつぎの要領で行う。
【００２９】まず、カレント画像内の一つのマクロブロックのすべての輝度成分（Ｙ成分）の平均値mean が算出される。すなわち、数１に示す要領で、平均値mean が算出される。数１は、輝度成分に関して、１つのマクロブロックが１６×１６画素で構成されることを前提としている。そして、数１における記号ＹCi (i=1,・・,4)は、１個のマクロブロックを４等分割して成る４個のブロックの一つである第iブロック(i=1,・・,4)におけるすべての画素の輝度成分を表している。
【００３０】
【数１】
【００３１】つぎに、数２に示す要領で、各ブロックごとに、輝度成分から平均値mean が差し引かれ、その上で、得られた差の絶対値の総和Ａが算出される。
【００３２】
【数２】
【００３３】つぎに、数３に示す要領で、輝度成分ＹCi の動きベクトルに対応するマクロブロックの輝度成分Ｙpiと輝度成分ＹCi とが差し引かれ、さらに、その差の絶対値の総和sumが算出される。
【００３４】
【数３】
【００３５】ただし、動きベクトルのｘ、ｙ成分（画面上の水平、垂直成分）のいずれもが、値0であるときには、数４に示すように、絶対値の総和sumは、値100だけ差し引かれる。
【００３６】
【数４】
【００３７】こうして得られた総和sumにもとづいて、モード選択が行われる。すなわち、数５の関係が成り立つ（真）ならば、イントラモードが選択され、成り立たない（偽）ならば、インターモードが選択される。
【００３８】
【数５】
【００３９】以上が、"TMN 5"にもとづく、イントラ／インター間のモード切替のアルゴリズムである。
【００４０】これに対して、この実施の形態のモード切替部２０では、つぎの要領でモード切替が行われる。まず、数６に示す要領で、４個のブロックの各々ごとに、輝度成分の平均値が算出される。数６において、記号mean(i)は、第iブロック(i=1,・・,4)における輝度成分の平均値を表している。
【００４１】
【数６】
【００４２】つぎに、数７に示す要領で、各ブロックごとに、輝度成分から平均値mean(i)が差し引かれ、その上で、得られた差の絶対値の総和Ａが算出される。
【００４３】
【数７】
【００４４】つぎに、数８に示す要領で、輝度成分ＹCi の動きベクトルに対応するマクロブロックの輝度成分Ｙpiと輝度成分ＹCi とが差し引かれ、さらに、その差の絶対値の総和sumが算出される。
【００４５】
【数８】
【００４６】こうして得られた総和sumにもとづいて、モード選択が行われる。すなわち、数５の関係が成り立つ（真）ならば、イントラモードが選択され、成り立たない（偽）ならば、インターモードが選択される。
【００４７】テストモデル"TMN 5"では、１個のマクロブロックに属する各ブロックの中で、輝度成分の分散が小さくても、各ブロックにおける輝度成分の平均値の間に、大きな差があるときには、符号量が大きくなる方のモードが選択されることがある。例えば、一つのマクロブロックに含まれる各ブロックに関する輝度成分の平均値が、125,36,126,38であり、分散が8,15,9,16である場合が、これに相当する。
【００４８】この実施の形態のモード切替部２０では、"TMN 5"とは異なり、マクロブロック全体にわたる輝度成分の平均値が算出されるのではなく、ブロックごとに平均値が算出され、その平均値と各ブロックにおける輝度成分との絶対値差分の総和が、モード切替の判断基準とされる。このため、発生する符号量の少ない方が、モード切替部２０において適切に選択される。すなわち、送信経路１８へと送出される符号化信号の符号量を、低く抑えることができるという利点が得られる。
【００４９】＜2.実施の形態２＞実施の形態２の画像符号化装置の全体構成は、図１のブロック図で示される。実施の形態２では、量子化ステップを決定する装置部分である符号化パラメータ制御部１９に、実施の形態１とは異なる特徴がある。すなわち、実施の形態２では、符号化パラメータ制御部１９は、符号化の対象とされる画像（符号化対象画像）のＤＣＴ係数から求めた画像特性パラメータを用いて、目標符号量を達成する符号化に最適な量子化ステップ指示値(QUANT)を決定する。決定されたQUANTは、それを表現する信号である量子化ステップ指示信号２５の形式で量子化部７へ送られる。
【００５０】また、画像特性パラメータは、符号化対象画像が属するＩ／Ｐピクチャー等のピクチャータイプ、マクロブロックのタイプ、および、ハフマンテーブル等のＶＬＣ（可変長符号化）テーブルに対して適合した方法を用いて決定される。以上の手順で決定されたQUANTを用いて量子化が行われることによって、目標符号量に対して符号量を±5%以内とする符号化が達成される。
【００５１】図２および図３に、符号化対象画像がＩピクチャーであるときの符号化の流れを示す。また、図４〜図６に符号化対象画像がＰピクチャーであるときの符号化の流れを示す。以下に、これらのフローチャートに沿って、符号化の手順について説明する。
【００５２】図２に示すように、符号化対象画像がＩピクチャーであるときに、符号化が開始されると、まず、ステップＳ１において、初期化が行われる。すなわち、レートコントロールなどの制御に用いられる変数のうち、初期化が必要なものすべてについて初期化が行われる。つぎに、ステップＳ２〜Ｓ６までの第１ループの処理が、マクロブロックごとに反復して実行される。第１ループでは、レートコントロールを行うためのデータが準備される。
【００５３】まず、ステップＳ３では、変換部６によるＤＣＴ変換が行われる。つづくステップＳ４では、同一画像内の隣接マクロブロックのＤＣＴ係数の値を参照して、疑似ＤＣ／ＡＣ係数予測が行われる。予測モードも、これらのデータによって、擬似的に決定される。つぎに、ステップＳ５において、画像特性パラメータの算出が行われる。すなわち、レートコントロールを行うための画像特性パラメータが算出される。必要とされるデータは、Ｙ、Ｃｒ、Ｃｂ成分のすべての疑似ＤＣ／ＡＣ係数予測後のＤＣＴ係数の絶対値和である。
【００５４】符号化対象画像のすべてのマクロブロックに対して、第１ループが反復的に実行されると、その後、処理はステップＳ７へ移行する。ステップＳ７では、Ｉ／Ｐ比率の予測と、符号量割当の決定とが行われる。すなわち、直前のＰピクチャーの符号量と、第１ループで求められる予測符号量とにもとづいて、Ｉ／Ｐピクチャーの符号量の比率（Ｉ／Ｐ比率）が推測される。そして、それにもとづいて、ＧＯＰ（Group of Pictures：Ｉ，Ｐピクチャー等によって構成される画面群）を構成する各ピクチャーへの符号量割当が決定される。この処理は、例えば、符号化パラメータ制御部１９において行われる。
【００５５】つぎに、図３に示すように、ステップＳ８〜Ｓ１８までの第２ループの処理が、マクロブロックごとに反復して実行される。第２ループでは、符号化が行われる。まず、ステップＳ９において、残りビットとQUANTの更新が行われる。すなわち、現在において対象とされるマクロブロックまでの発生符号量と、第１ループで求められた画像特性パラメータとにもとづいて、残りビットとQUANTとが算出される。この処理は、符号化パラメータ制御部１９によって実行される。
【００５６】つぎに、ステップＳ１０において、実際のＤＣ／ＡＣ係数予測が行われる。このＤＣ／ＡＣ係数予測は、ローカルデコードされた画像信号にもとづいて遂行される。つづくステップＳ１１では、量子化が行われる。量子化は、先のステップで求められたQUANTにもとづいて、量子化部７によって実行される。つぎに、ステップＳ１２において、可変長符号化が行われる。すなわち、量子化によって得られた量子化係数が１次元配列に変換された上で、可変長符号化が行われる。この処理は、可変長符号化部１５によって実行される。
【００５７】つぎに、ステップＳ１３において、レートコントロール用パラメータが更新される。つづくステップＳ１４では、量子化係数に対して逆量子化が施される。この処理は、逆量子化部８によって実行される。つづいて、ステップＳ１５において、ＤＣ／ＡＣ係数補償が行われる。その後、ステップＳ１６において、逆ＤＣＴ変換が行われる。この処理は、逆変換部９によって実行される。つぎに、ステップＳ１７において、デコード（復号化）された画像が予測メモリ１１へと格納される。
【００５８】符号化対象画像のすべてのマクロブロックに対して、第２ループが反復的に実行されると、その後、処理はステップＳ１９へ移行する。ステップＳ１９では、スタッフビットの挿入が行われる。すなわち、発生符号量が割当てビット量よりも少ないときには、スタッフビットが挿入される。以上の手順で、Ｉピクチャーに対する符号化が行われる。
【００５９】図４に示すように、符号化対象画像がＰピクチャーであるときに、符号化が開始されると、まず、ステップＳ２１において、初期化が行われる。すなわち、レートコントロールなどの制御に用いられる変数のうち、初期化が必要なものすべてについて初期化が行われる。つぎに、ステップＳ２２〜Ｓ３０までの第１ループの処理が、マクロブロックごとに反復して実行される。第１ループでは、レートコントロールを行うためのデータが準備される。
【００６０】まず、ステップＳ２３では、動き検出が行われる。つづくステップＳ２４では、イントラ／インターモードの判断が行われる。すなわち、動き検出の結果にもとづいて、イントラモード／インターモードのいずれかが判定される。つぎに、ステップＳ２５において、ＤＣＴ変換が行われる。すなわち、符号化対象画像（イントラモードに対してはカレント画像、インターモードに対しては差分画像２３）に対して、ＤＣＴ変換が施される。この処理は、変換部６で実行される。
【００６１】つぎに、ステップＳ２６において、イントラモードであるか否かが判断される。そして、イントラモードであれば、処理はステップＳ２７へと移行し、イントラモードでなければ、ステップＳ２８へと移行する。ステップＳ２７では、疑似ＤＣ／ＡＣ係数予測が行われる。イントラ予測モードは擬似的に決定される。ステップＳ２７が終了すると、処理はステップＳ２８へと移行する。ステップＳ２８では、動きベクトル差分など、量子化されたＤＣＴ係数以外で発生する符号量の予測が行われる。この処理は、例えば、符号化パラメータ制御部１９によって実行される。
【００６２】つぎに、ステップＳ２９において、画像特性パラメータの算出が行われる。すなわち、レートコントロールを行うための画像特性パラメータが算出される。必要とされるデータは、イントラブロックとインターブロックで異なる。イントラブロックでは、Ｙ、Ｃｒ、Ｃｂ成分のすべての疑似ＤＣ／ＡＣ係数予測後のＤＣＴ係数の絶対値和である。インターブロックでは、動き検出後のＤＣＴ係数のＹ、Ｃｒ、Ｃｂ成分のすべてについて、ＡＣ成分の絶対値和とＤＣＴ係数の絶対値の最大値である。
【００６３】符号化対象画像のすべてのマクロブロックに対して、第１ループが反復的に実行されると、その後、図５に示すように、ステップＳ３１〜Ｓ４０までの第２ループの処理が、マクロブロックごとに反復して実行される。第２ループでは、符号化が行われる。
【００６４】第２ループが開始されると、まず、ステップＳ３２において、残りビットとQUANTの更新が行われる。すなわち、現在において対象とされるマクロブロックまでの発生符号量と、第１ループで求められた画像特性パラメータとにもとづいて、残りビットとQUANTとが算出される。この処理は、符号化パラメータ制御部１９によって実行される。
【００６５】つぎに、ステップＳ３３において、現在において対象とされるマクロブロックがイントラブロック（イントラモードのマクロブロック）であるか否かが判定される。そして、イントラブロックであれば、処理はステップＳ３４へ移行し、そうでなければ、ステップＳ３５へと飛躍する。ステップＳ３４では、ローカルデコードされた画像信号にもとづいて、実際のＤＣ／ＡＣ係数予測が行われる。ステップＳ３４の後、処理は、ステップＳ３５へと移行する。
【００６６】ステップＳ３５では、量子化が行われる。量子化は、先のステップで求められたQUANTにもとづいて、量子化部７によって実行される。つぎに、ステップＳ３６において、可変長符号化が行われる。すなわち、量子化によって得られた量子化係数が１次元配列に変換された上で、可変長符号化が行われる。ステップＳ３６の処理は、可変長符号化部１５によって実行される。
【００６７】つぎに、ステップＳ３７において、レートコントロール用パラメータが更新される。つづくステップＳ３８では、量子化係数に対して逆量子化が施される。この処理は、逆量子化部８によって実行される。つづいて、ステップＳ３９で、現在において対象とされるマクロブロックがイントラブロックであるか否かが判定される。そして、イントラブロックであれば、処理はステップＳ４０へ移行し、そうでなければ、ステップＳ４１へと飛躍する。
【００６８】ステップＳ４０では、ＤＣ／ＡＣ係数補償が行われる。すなわち、イントラブロックにおいては、マクロブロックごとのイントラ予測モードにもとづいて、係数の復元が行われる。ステップＳ４０が終了すると、図６に示すように、処理はステップＳ４１へ移行する。ステップＳ４１では、逆ＤＣＴ変換が行われる。この処理は、逆変換部９によって実行される。
【００６９】つぎに、ステップＳ４２で、現在において対象とされるマクロブロックがインターブロック（インターモードのマクロブロック）であるか否かが判定される。そして、インターブロックであれば、処理はステップＳ４３へ移行し、そうでなければ、ステップＳ４４へと飛躍する。ステップＳ４３では、動き補償が行われる。すなわち、インターブロックに対しては、動きベクトルにもとづいて動き補償が行われる。ステップＳ４３の後、処理はステップＳ４４へと移行する。
【００７０】ステップＳ４４では、ローカルデコードされた画像が予測メモリ１１へと格納される。符号化対象画像のすべてのマクロブロックに対して、第２ループが反復的に実行されると、その後、処理はステップＳ４６へ移行する。ステップＳ４６では、スタッフビットの挿入が行われる。すなわち、発生符号量が割当てビット量よりも少ないときには、スタッフビットが挿入される。以上の手順で、Ｐピクチャーに対する符号化が行われる。
【００７１】以上の処理において、イントラブロック（第ｉマクロブロック）の画像特性パラメータＸIiは、数９にもとづいて算出される。
【００７２】
【数９】
【００７３】ここで、符号coeffsは係数を表し、符号blksはマクロブロックを構成するブロックを表す。
【００７４】また、インターブロック（第ｉマクロブロック）の画像特性パラメータＸPiは、数１０にもとづいて算出される。
【００７５】
【数１０】
【００７６】さらに、Ｐピクチャー内のイントラブロック（第ｉマクロブロック）の画像特性パラメータＸIiは、数１１にもとづいて、インターブロックのパラメータＸPiへと変換される。
【００７７】
【数１１】
【００７８】ピクチャー内の第ｉマクロブロックに対するQUANTは、Ｉピクチャーに対しては、数１２にもとづき、Ｐピクチャーに対しては、数１３にもとづいて算出される。
【００７９】
【数１２】
【００８０】
【数１３】
【００８１】従来技術においては、QUANTを決定するのに、標準偏差またはＳＡＤ（差分絶対値和）が用いられていた。標準偏差が用いられるときには、画像の符号化に必要な計算と別途に標準偏差を計算する必要があった。また、ＳＡＤが用いられるときには、発生符号量の予測精度が低いという問題点があった。また、いずれが用いられたときにも、Ｉピクチャーの画面内のＤＣ／ＡＣ係数予測に対応した符号化量予測ができないという問題点があった。
【００８２】これに対して、実施の形態２の装置では、以上に説明したように、QUANTを決定するのに、ＤＣＴ係数から求めた画像特性パラメータが用いられる。画像特性パラメータは、ＤＣＴ係数から、少ない演算量で求めることができるという利点がある。また、画像特性パラメータが用いられるので、高い精度で発生符号量を予測することができるという利点がある。また、Ｉピクチャーの画面内のＤＣ／ＡＣ係数予測に対応した符号量予測が行い得るという利点も得られる。
【００８３】＜3.実施の形態３＞実施の形態３の画像符号化装置の全体構成も、実施の形態２と同様に、図１のブロック図で示される。実施の形態２では、二つのループすなわち第１および第２ループ（図２〜図６）に沿って処理が行われていた。これに対して、実施の形態３では、二つのループを単一のループへと統合すべく構成されている点が、実施の形態２とは特徴的に異なっている。すなわち、実施の形態３の装置は、過去の画像の画像特性パラメータの分布履歴、視覚特性、および、符号化が行われつつある符号化対象画像の発生符号量にもとづいて、現在符号化の対象としているマクロブロックのつぎに符号化対象とされるマクロブロックの目標符号量が決定される点を主要な特徴としている。
【００８４】図７および図８に、符号化対象画像がＩピクチャーであるときの符号化の流れを示す。また、図９〜図１１に符号化対象画像がＰピクチャーであるときの符号化の流れを示す。以下に、これらのフローチャートに沿って、符号化の手順について説明する。
【００８５】図７に示すように、符号化対象画像がＩピクチャーであるときに、符号化が開始されると、まず、ステップＳ５１において、初期化が行われる。すなわち、レートコントロールなどの制御に用いられる変数のうち、初期化が必要なものすべてについて初期化が行われる。つづくステップＳ５２では、Ｉ／Ｐ比率の推測、および、符号量割当の決定が行われる。すなわち、最新のＩピクチャーとＰピクチャーの符号量から、Ｉピクチャー／Ｐピクチャーの符号化量の比率（Ｉ／Ｐ比率）が推測される。さらに、これにもとづいて、ＧＯＰを構成する各ピクチャーへの符号量割当が決定される。この処理は、例えば、符号化パラメータ制御部１９において行われる。
【００８６】つぎに、ステップＳ５３〜Ｓ６６までのループの処理が、マクロブロックごとに反復して実行される。ループが開始されると、まず、ステップＳ５４において、変換部６によるＤＣＴ変換が行われる。つづくステップＳ５５では、同一画像内の隣接マクロブロックのＤＣＴ係数の値を参照して、疑似ＤＣ／ＡＣ係数予測が行われる。予測モードも、これらのデータによって、擬似的に決定される。
【００８７】つぎに、ステップＳ５６において、画像特性パラメータの算出が行われる。すなわち、レートコントロールを行うための画像特性パラメータが算出される。必要とされるデータは、Ｙ、Ｃｒ、Ｃｂ成分のすべての疑似ＤＣ／ＡＣ係数予測後のＤＣＴ係数の絶対値和である。つづくステップＳ５７では、目標符号量とQUANTの更新とが行われる。
【００８８】すなわち、現在において対象とされるマクロブロック（対象マクロブロック）までの発生符号量と、最新のＩピクチャーの画像特性パラメータの分布とにもとづいて、対象マクロブロックの目標符号量が算出される。さらに、この目標符号量と、先に算出された画像特性パラメータとにもとづいて、QUANTが算出される。このステップＳ５７の処理は、符号化パラメータ制御部１９によって実行される。つぎに、ステップＳ５８において、実際のＤＣ／ＡＣ係数予測が行われる。このＤＣ／ＡＣ係数予測は、ローカルデコードされた画像信号にもとづいて遂行される。
【００８９】図８に示すように、つづくステップＳ５９では、量子化が行われる。量子化は、先のステップで求められたQUANTにもとづいて、量子化部７によって実行される。つぎに、ステップＳ６０において、可変長符号化が行われる。すなわち、量子化によって得られた量子化係数が１次元配列に変換された上で、可変長符号化が行われる。この処理は、可変長符号化部１５によって実行される。
【００９０】つぎに、ステップＳ６１において、レートコントロール用パラメータが更新される。つづくステップＳ６２では、量子化係数に対して逆量子化が施される。この処理は、逆量子化部８によって実行される。つづいて、ステップＳ６３において、ＤＣ／ＡＣ係数補償が行われる。その後、ステップＳ６４において、逆ＤＣＴ変換が行われる。この処理は、逆変換部９によって実行される。つぎに、ステップＳ６５において、デコード（符号化）された画像が予測メモリ１１へと格納される。
【００９１】符号化対象画像のすべてのマクロブロックに対して、ループが反復的に実行されると、その後、処理はステップＳ６７へ移行する。ステップＳ６７では、スタッフビットの挿入が行われる。すなわち、発生符号量が割当てビット量よりも少ないときには、スタッフビットが挿入される。以上の手順で、Ｉピクチャーに対する符号化が行われる。
【００９２】図９に示すように、符号化対象画像がＰピクチャーであるときに、符号化が開始されると、まず、ステップＳ７１において、初期化が行われる。すなわち、レートコントロールなどの制御に用いられる変数のうち、初期化が必要なものすべてについて初期化が行われる。つぎに、ステップＳ７２〜Ｓ９３までのループの処理が、マクロブロックごとに反復して実行される。
【００９３】ループが開始されると、まず、ステップＳ７３において、動き検出が行われる。つづくステップＳ７４では、イントラ／インターモードの判断が行われる。すなわち、動き検出の結果にもとづいて、イントラモード／インターモードのいずれかが判定される。つぎに、ステップＳ７５において、ＤＣＴ変換が行われる。すなわち、符号化対象画像（イントラモードに対してはカレント画像２２、インターモードに対しては差分画像２３）に対して、ＤＣＴ変換が施される。この処理は、変換部６で実行される。
【００９４】つぎに、ステップＳ７６において、イントラモードであるか否かが判断される。そして、イントラモードであれば、処理はステップＳ７７へと移行し、イントラモードでなければ、ステップＳ７８へと移行する。ステップＳ７７では、疑似ＤＣ／ＡＣ係数予測が行われる。イントラ予測モードは擬似的に決定される。ステップＳ７７が終了すると、処理はステップＳ７８へと移行する。ステップＳ７８では、動きベクトル差分など、量子化されたＤＣＴ係数以外で発生する符号量の予測が行われる。この処理は、例えば、符号化パラメータ制御部１９によって実行される。
【００９５】つぎに、ステップＳ７９において、画像特性パラメータの算出が行われる。すなわち、レートコントロールを行うための画像特性パラメータが算出される。必要とされるデータは、イントラブロックとインターブロックで異なる。イントラブロックでは、Ｙ、Ｃｒ、Ｃｂ成分のすべての疑似ＤＣ／ＡＣ係数予測後のＤＣＴ係数の絶対値和である。インターブロックでは、動き検出後のＤＣＴ係数のＹ、Ｃｒ、Ｃｂ成分のすべてについて、ＡＣ成分の絶対値和とＤＣＴ係数の絶対値の最大値である。
【００９６】つぎに、図１０に示すように、ステップＳ８０において、目標符号量とQUANTの更新が行われる。すなわち、現在において対象とされるマクロブロック（対象マクロブロック）までの発生符号量と、最新のＰピクチャーの画像特性パラメータ分布とにもとづいて、対象マクロブロックの目標符号量が算出される。さらに、この目標符号量と、先に算出された画像特性パラメータとにもとづいて、QUANTが算出される。このステップＳ８０の処理は、符号化パラメータ制御部１９によって実行される。
【００９７】つぎに、ステップＳ８１において、現在において対象とされるマクロブロックがイントラブロックであるか否かが判定される。そして、イントラブロックであれば、処理はステップＳ８２へ移行し、そうでなければ、ステップＳ８３へと飛躍する。ステップＳ８２では、ローカルデコードされた画像信号にもとづいて、実際のＤＣ／ＡＣ係数予測が行われる。ステップＳ８２の後、処理は、ステップＳ８３へと移行する。
【００９８】ステップＳ８３では、量子化が行われる。量子化は、先のステップで求められたQUANTにもとづいて、量子化部７によって実行される。つぎに、ステップＳ８４において、可変長符号化が行われる。すなわち、量子化によって得られた量子化係数が１次元配列に変換された上で、可変長符号化が行われる。ステップＳ８４の処理は、可変長符号化部１５によって実行される。
【００９９】つぎに、ステップＳ８５において、レートコントロール用パラメータが更新される。つづくステップＳ８６では、量子化係数に対して逆量子化が施される。この処理は、逆量子化部８によって実行される。つづいて、ステップＳ８７で、現在において対象とされるマクロブロックがイントラブロックであるか否かが判定される。そして、イントラブロックであれば、処理はステップＳ８８へ移行し、そうでなければ、ステップＳ８９へと飛躍する。
【０１００】ステップＳ８８では、ＤＣ／ＡＣ係数補償が行われる。すなわち、イントラブロックにおいては、マクロブロックごとのＤＣ／ＡＣ係数予測モードにもとづいて、係数の復元が行われる。ステップＳ８８が終了すると、図１１に示すように、処理はステップＳ８９へ移行する。ステップＳ８９は、逆ＤＣＴ変換が行われる。この処理は、逆変換部９によって実行される。
【０１０１】つぎに、ステップＳ９０で、現在において対象とされるマクロブロックがインターブロックであるか否かが判定される。そして、インターブロックであれば、処理はステップＳ９１へ移行し、そうでなければ、ステップＳ９２へと飛躍する。ステップＳ９１では、動き補償が行われる。すなわち、インターブロックに対しては、動きベクトルにもとづいて動き補償が行われる。ステップＳ９１の後、処理はステップＳ９２へと移行する。
【０１０２】ステップＳ９２では、ローカルデコードされた画像が予測メモリ１１へと格納される。符号化対象画像のすべてのマクロブロックに対して、ループが反復的に実行されると、その後、処理はステップＳ９４へ移行する。ステップＳ９４では、スタッフビットの挿入が行われる。すなわち、発生符号量が割当てビット量よりも少ないときには、スタッフビットが挿入される。以上の手順で、Ｐピクチャーに対する符号化が行われる。
【０１０３】以上の処理において、画像特性パラメータは、実施の形態２と同様の数式にもとづいて算出される。また、ピクチャー内の第ｉマクロブロックに対する目標符号量は、第ｉマクロブロックがＩピクチャーであるときには数１４にもとづき、Ｐピクチャーであるときには数１５にもとづいて算出される。
【０１０４】
【数１４】
【０１０５】
【数１５】
【０１０６】ピクチャー内の第ｉマクロブロックに対するQUANTは、Ｉピクチャーに対しては、数１６にもとづき、Ｐピクチャーに対しては、数１７にもとづいて算出される。
【０１０７】
【数１６】
【０１０８】
【数１７】
【０１０９】従来技術の一つにおいては、QUANTの決定に先だって、符号化対象画像の全体に対して解析が行われていた。その結果、発生符号量の制御の精度は高いが、符号化対象画像を２度にわたって走査する必要があり、演算にメモリ容量を多く必要とし、また、前処理に時間がかかるという問題点があった。
【０１１０】また、別の従来技術においては、発生符号量の増減にもとづいて、QUANTの制御が行われていた。このため、符号化対象画像の走査は１度でよく、演算に必要なメモリ容量が少なく、また、前処理時間も短いという利点はあるが、実際の発生符号量とQUANTの増減との間に遅延が生じ、発生符号量の制御の精度が低いという問題点があった。
【０１１１】これに対して、実施の形態３の装置では、符号化対象画像の走査は一度でよく、演算に必要なメモリ容量が少なく、また、前処理時間も短いという利点とともに、演算量に対して高い符号量の制御精度が得られるという利点がある。
【０１１２】＜4.実施の形態４＞実施の形態４の画像符号化装置の全体構成も、実施の形態２と同様に、図１のブロック図で示される。実施の形態４は、実施の形態２または３で用いられる目標符号量の割当、あるいは、QUANTなどに対して、マクロブロックごとに重みが付加される点を、主要な特徴としている。
【０１１３】すなわち、実施の形態４の装置では、各マクロブロックに対して、画面内の位置や、符号化対象画像のＤＣＴ係数から求められた画像特性パラメータにもとづいて、例えば画面の中央部あるいは画像が速く動く部分など視覚的に重要なマクロブロックであるか、あるいは否かに応じた重み付けパラメータが算出される。そして、この重み付けパラメータにもとづいて、マクロブロックごとに目標符号量の割当、あるいは、QUANTに対して重み付けが行われる。
【０１１４】演算の一例を示すと、まず、第(i,j)マクロブロックに対する画像位置パラメータＰijが、数１８にもとづいて算出される。
【０１１５】
【数１８】
【０１１６】数１８に示されない他の(i,j)に対しては、適当な補完を行うことによって画像位置パラメータＰijが算出される。画像位置パラメータＰijは、画面内の位置の視覚的重要度を反映している。
【０１１７】つぎに、第(i,j)マクロブロックに対する画像特性パラメータＸijを用いて、第(i,j)マクロブロックに対する重み付けパラメータＡijが、数１９にもとづいて算出される。
【０１１８】
【数１９】
【０１１９】このようにして算出された重み付けパラメータＡijが、実施の形態２，３で述べた発生符号量の制御に用いられる。すなわち、目標符号量の割当やQUANTに対して、重み付けパラメータＡijが積として付加されることにより、視覚的重要度に応じた重み付け補正が加えられる。
【０１２０】従来技術においては、重み付けパラメータとして、標準偏差が用いられていた。その結果、画像符号化に必要な計算とは別途に標準偏差を計算する必要があるという問題点があった。さらに、重み付けと符号量制御との両立が困難であるという問題点もあった。
【０１２１】これに対して、実施の形態４の装置では、ＤＣＴ係数にもとづいて少ない演算量で画像特性パラメータが算出でき、さらに、実施の形態２，３で述べた発生符号量制御との整合性が良好であり、両立が容易であるという利点が得られる。
【０１２２】＜5.実施の形態５＞実施の形態５の画像符号化装置の全体構成は、図１２のブロック図で示される。実施の形態５の装置は、フレームレートを制御する装置部分であるフレームレート制御部３０、および、これに付随するユーザ画質指定部３１を備える点を、主要な特徴としている。
【０１２３】フレームレート制御部３０は、第１に、外部から与えられたビットレートと、ユーザ画質指定部３１を通じてユーザが選択的に指定した指定画質とにしたがって、初期フレームレートを設定する。フレームレート制御部３０は、第２に、符号化時の発生符号量とQUANTの履歴にもとづいて、フレームレートを最適値へと自動的に更新する。フレームレート制御部３０は、第３に、符号化の過程の中においても、ユーザ画質指定部３１を通じたユーザの要求に応じて、フレームレートを更新する。
【０１２４】すなわち、１フレーム当たりの符号量の多い高精細画像を伝送すべき時には、フレームレートを犠牲にし、逆に、フレームレートを高くして動きの滑らかな画像を伝送すべき時には、各フレームの画像の精細度を犠牲にすることで、送信経路１８の伝送容量における制約の中でトレードオフの関係にある、１フレームの画像の精細度とフレームレートとを、選択可能にしている。
【０１２５】図１３のフローチャートに、図１２の装置における特徴的な動作の流れを示す。図１３に示すように、フレームレート制御が開始されると、まず、ステップＳ１０１において、テーブルへのパターンの格納が行われる。すなわち、装置が採り得るフレームレートのパターンが、参照用テーブルに格納される。同時に、採り得るフレームレート変更間隔（＝ｓ秒）も与えられる。このテーブルと、フレームレート間隔を記憶するメモリは、例えば、フレームレート制御部３０に内蔵されている。
【０１２６】つぎに、ステップＳ１０２において、画質パラメータが定められる。すなわち、ユーザが選択可能な解像度の幅、間隔等の選択枝が、画質パラメータとして準備される。例えば、圧縮率の下限に対応する値を０、圧縮率の上限に対応する値を１とし、解像度の度合いに対応する０〜１の範囲の値を、ユーザが選択可能な範囲として準備する。圧縮率の下限には、最低の精細画像、および、最高のフレームレートが対応し、また、圧縮率の上限には、最高の精細画像、および、最低のフレームレートが対応する。準備された画質パラメータは、参照用テーブルに格納される。
【０１２７】つぎに、ステップＳ１０３において、QUANTの限界値が定められる。すなわち、QUANTの上限値Qu、下限値Ql、および、実効上限値Qmu、実効下限値Qmlが決定される。QUANTは、下限値Ql＜QUANT＜上限値Quの範囲になくてはならず、実効下限値Qml＜QUANT＜実効上限値Qmuの範囲にあることが望ましいとされる。
【０１２８】つぎに、ステップＳ１０４において、ビットレートが定義される。つづく、ステップＳ１０５では、フレームレートパターンに対応した画質パラメータが参照用テーブルへと格納される。つづいて、ステップＳ１０６において、ユーザによって画質が指定される。この指定は、入力装置として構成されるユーザ画質指定部３１を通じて行われる。
【０１２９】つぎに、ステップＳ１０７において、精細度とフレームレートの探索が行われる。すなわち、指定された精細度に対応する画質パラメータが、参照用テーブルから探索され、さらに、その値に対応するフレームレートが、参照用テーブルから探索される。そして、得られたフレームレートが基準フレームレートとして設定される。
【０１３０】つぎに、ステップＳ１０８において、ビット割当および符号化が行われる。すなわち、基礎フレームレートの下で、各フレームのビット割当、および、エンコード（符号化）が行われる。つづく、ステップＳ１０９では、符号化の結果にもとづいて、フレームレートの自動調整が行われる。つづいて、ステップＳ１１０において、ユーザによって、あらためて画質の指示がなされることにより、画質変更が定されると、処理はステップＳ１０７へと戻って、ステップＳ１０７〜ステップＳ１０９の処理が改めて実行される。
【０１３１】図１４および図１５は、ステップＳ１０９の処理の流れを詳細に示すフローチャートである。図１４R>４に示すように、ステップＳ１０９の処理が開始されると、ステップＳ１１１において、最新の２フレームについて、QUANT＞上限値Qu、であるか否かが判定される。判定の結果が「Yes」であれば、処理はステップＳ１１２へと移行し、逆に、「No」であれば、ステップＳ１２０へと飛躍する。
【０１３２】ステップＳ１１２では、フレームレートが基準値よりも１段階引き下げられる。つぎに、ステップＳ１１３において、ｓ秒間の待機が行われる。すなわち、ステップＳ１１２で引き下げられたフレームレートが、ｓ秒間にわたってそのまま維持される。ｓ秒の値は、先のステップＳ１０１で決定されている。
【０１３３】つづくステップＳ１１４では、最新の２フレームについて、QUANT＞上限値Qu、であるか否かが判定される。判定の結果が、「Yes」であれば、処理はステップＳ１１５へ移行し、「No」であれば、ステップＳ１１６へと移行する。ステップＳ１１５では、フレームレートの再調整が行われ、フレームレートが現在の値よりも１段階引き下げられる。その後、処理はステップＳ１１３へと戻る。
【０１３４】ステップＳ１１６では、最新の２フレームについて、QUANT＞実効上限値Qmu、であるか否かが判定される。判定の結果が、「Yes」であれば、処理はステップＳ１１７へと移行し、「No」であれば、ステップＳ１１８へ移行する。ステップＳ１１７では、フレームレートは変更されることなく、現在の値のままに保持される。その後、処理はステップＳ１１３へと戻る。
【０１３５】一方、ステップＳ１１８では、フレームレートが、現在の値よりも１段階引き上げられる。つづいて、ステップＳ１１９において、現在のフレームレートが基準値に一致するか否かが判定される。判定の結果が「No」であれば、処理はステップＳ１１３へと戻り、「Yes」であれば、ステップＳ１０９の処理は完了する。
【０１３６】つぎに、図１５に示すように、ステップＳ１２０において、最新の２フレームについて、QUANT＜下限値Ql、であるか否かが判定される。判定の結果が「Yes」であれば、処理はステップＳ１２１へと移行し、「No」であればステップＳ１０９の処理は完了する。
【０１３７】ステップＳ１２１では、フレームレートが基準値よりも１段階引き上げられる。つぎに、ステップＳ１２２において、ｓ秒間の待機が行われる。すなわち、ステップＳ１２１で引き上げられたフレームレートが、ｓ秒間にわたってそのまま維持される。
【０１３８】つづくステップＳ１２３では、最新の２フレームについて、QUANT＜下限値Ql、であるか否かが判定される。判定の結果が、「Yes」であれば、処理はステップＳ１２４へ移行し、「No」であれば、ステップＳ１２５へと移行する。ステップＳ１２４では、フレームレートの再調整が行われ、フレームレートが現在の値よりも１段階引き上げられる。その後、処理はステップＳ１２２へと戻る。
【０１３９】ステップＳ１２５では、最新の２フレームについて、QUANT＜実効下限値Qml、であるか否かが判定される。判定の結果が、「Yes」であれば、処理はステップＳ１２６へと移行し、「No」であれば、ステップＳ１２７へ移行する。ステップＳ１２６では、フレームレートは変更されることなく、現在の値のままに保持される。その後、処理はステップＳ１２２へと戻る。
【０１４０】一方、ステップＳ１２７では、フレームレートが、現在の値よりも１段階引き下げられる。つづいて、ステップＳ１２８において、現在のフレームレートが基準値に一致するか否かが判定される。判定の結果が「No」であれば、処理はステップＳ１２２へと戻り、「Yes」であれば、ステップＳ１０９の処理は完了する。
【０１４１】
【発明の効果】第１の発明の装置では、画像特性パラメータが離散コサイン係数から算出されるので、少ない演算量で、画像特性パラメータが求められる。また、画像特性パラメータが用いられるので、高い精度で発生符号量を予測することができるという効果が得られる。
【０１４２】第２の発明の装置では、イントラピクチャー（Ｉピクチャー）の画面内のＤＣ／ＡＣ係数予測に対応した符号量予測が行い得るという効果がある。
【０１４３】第３の発明の装置では、過去の画像の画像特性パラメータの分布履歴等にもとづいて、つぎの符号化対象とされるマクロブロックにおける目標符号量が決定されるので、符号化対象画像の走査が一度でよく、演算に必要なメモリ容量が少なくて済み、前処理時間も短いのに加えて、高い符号量の制御精度が得られるという効果がある。
【０１４４】第４の発明の装置では、前記離散コサイン変換係数等にもとづいて画像特性パラメータが算出され、これにもとづいて算出された重み付けパラメータに応じて、マクロブロックごとに、目標符号量の割当、および、量子化ステップに対する重み付けが行われる。このため、少ない演算量で画像特性パラメータが算出でき、さらに、発生符号量制御との整合性が良好であり、両立が容易であるという効果が得られる。
【図面の簡単な説明】
【図１】 実施の形態１〜４の装置のブロック図である。
【図２】 実施の形態２の装置の動作の流れを示す流れ図である。
【図３】 実施の形態２の装置の動作の流れを示す流れ図である。
【図４】 実施の形態２の装置の動作の流れを示す流れ図である。
【図５】 実施の形態２の装置の動作の流れを示す流れ図である。
【図６】 実施の形態２の装置の動作の流れを示す流れ図である。
【図７】 実施の形態３の装置の動作の流れを示す流れ図である。
【図８】 実施の形態３の装置の動作の流れを示す流れ図である。
【図９】 実施の形態３の装置の動作の流れを示す流れ図である。
【図１０】 実施の形態３の装置の動作の流れを示す流れ図である。
【図１１】 実施の形態３の装置の動作の流れを示す流れ図である。
【図１２】 実施の形態５の装置のブロック図である。
【図１３】 実施の形態５の装置の動作の流れを示す流れ図である。
【図１４】 実施の形態５の装置の動作の流れを示す流れ図である。
【図１５】 実施の形態５の装置の動作の流れを示す流れ図である。
【符号の説明】
６ 変換部
７ 量子化部
１５ 可変長符号化部
１９ 符号化パラメータ制御部（制御部）
３０ フレームレート制御部（制御部）
【０００１】
【発明の属する技術分野】この発明は、H.263規格、MPEG規格等にもとづく画像符号化に好適な、画像符号化装置に関し、特に、符号量を低減するための改良に関する。
【０００２】
【従来の技術】動画像の符号化を行うことによって、画像の圧縮、すなわち、画像信号の量を低減する技術として、周知のMPEG規格等に代表される符号化技術が知られている。MPEG規格の符号化技術の例では、フレーム間の局部的な画像の動きの量を表現する動きベクトルを用いた動き補償を取り入れることによって、フレーム間の符号化が行われる。それによって、動画像の圧縮効率の飛躍的な向上が図られている。
【０００３】
【発明が解決しようとする課題】しかしながら、従来の画像符号化技術では、リアルな動画像を電話回線等の伝送容量の限られた伝送経路を用いて伝送するには、なお、符号化信号の信号量、すなわち符号量を低く抑えることが課題となっている。
【０００４】この発明は、従来の画像符号化技術における上記した問題点を解消するためになされたもので、符号量を低減し得る画像符号化装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】第１の発明の装置は、画像の符号化を行う画像符号化装置において、前記画像に離散コサイン変換を行って離散コサイン変換係数を算出する変換部と、前記離散コサイン変換係数に対して、量子化ステップにもとづき量子化を行って量子化係数を算出する量子化部と、前記離散コサイン変換係数から画像特性パラメータを算出し、当該画像特性パラメータにもとづいて、前記量子化ステップを決定する制御部と、を備えることを特徴とする。
【０００６】第２の発明の装置は、第１の発明の画像符号化装置において、可変長符号化テーブルを参照しつつ前記量子化係数に対して可変長符号化を行う可変長符号化部を、さらに備え、前記制御部が、画像種別、マクロブロックの種別、および、前記可変長符号化テーブルに適合した方法にもとづいて、前記画像特性パラメータを算出することを特徴とする。
【０００７】第３の発明の装置は、第１または第２の発明の画像符号化装置において、前記制御部が、さらに、過去の画像の画像特性パラメータの分布履歴、視覚特性、および、符号化の中における発生符号量にもとづいて、つぎの符号化対象とされるマクロブロックにおける目標符号量を決定することを、特徴とする。
【０００８】第４の発明の装置は、画像の符号化を行う画像符号化装置において、前記画像に離散コサイン変換を行って離散コサイン変換係数を算出する変換部と、前記離散コサイン変換係数に対して、量子化ステップにもとづき量子化を行って量子化係数を算出する量子化部と、各マクロブロックに対して、画面内での位置、および、符号化対象画像における前記離散コサイン変換係数から、画像特性パラメータを算出し、当該画像特性パラメータにもとづいて、視覚上の重要度に応じた重み付けを行うための重み付けパラメータを算出し、さらに、当該重み付けパラメータにもとづいて、前記マクロブロックごとに、目標符号量の割当、および、前記量子化ステップに対する重み付けを行う制御部と、を備えることを特徴とする。
【０００９】
【発明の実施の形態】＜1.実施の形態１＞はじめに、実施の形態１の装置について説明する。
【００１０】＜1-1.装置の全体構成＞図１は、実施の形態１の画像符号化装置の構成を示すブロック図である。後述するように、実施の形態１の装置は、フレーム間の符号化であるインター符号化が施された画像の中に、部分的に、フレーム内の符号化であるイントラ符号化が施された画像を組み込む装置部分（図１では、モード切替部２０）に、主要な特徴を有している。したがって、図１R>１には、広く知られるMPEG規格にもとづいて画像信号の符号化を実行する装置を例示するが、実施の形態１に具体化される発明は、イントラ符号化画像とインター符号化画像との双方を得て送信する画像符号化装置一般に対して、適用可能である。
【００１１】はじめに、モード切替部２０の構成の前提となる周辺部を含めて、図１の装置の全体構成の概略について説明する。図１に示すように、カラーカメラなどの画像入力部１は、撮像された画像を表現する画像信号を、デジタル信号の形式で出力する。なお、本明細書では、説明の無用な煩雑化を避けるために、混同のおそれのない範囲で、画像を表現する画像信号と、画像そのものとを、等しく「画像」と表現する。
【００１２】画像入力部１から出力される画像は、フレーム単位でフレームメモリ２に一時的に記憶される。その後、フレームメモリ読出部３によって、フレームメモリ２から、フレームごとに一定の順序で画像が読み出され、カレント画像２２として差分回路４および切換部５へと入力される。
【００１３】差分回路４は、フレームメモリ読出部３から送られたカレント画像２２と、予測メモリ１１から送られる予測画像１２との間で、画素値の差分を演算する。切換部５は、差分回路４から出力される差分画像２３と、フレームメモリ読出部３からのカレント画像２２との間で、いずれかを選択して出力する。切換部５が出力する信号は、変換部６へと入力される。
【００１４】変換部６では、いわゆる離散コサイン変換（ＤＣＴ）が実行される。この離散コサイン変換では、例えば８×８画素で構成されるブロックごとに、入力された画像が、ブロックを構成する画素の数と同数（例えば、８×８＝６４個）の空間周波数成分（ＤＣＴ係数）の組へと変換される。変換によって得られたＤＣＴ係数は、量子化部７へと入力される。
【００１５】量子化部７では、その内部に備わる量子化テーブルに規定される係数値の組、および、符号化パラメータ制御部１９から送出される量子化ステップ指示信号２５を参照して、各ＤＣＴ係数ごとに量子化が施される。すなわち、ＤＣＴ係数が量子化係数へと変換される。量子化ステップ指示信号２５は、量子化テーブルに規定される係数値の組に対して、一律に共通の倍率を付与することによって、量子化テーブルにもとづく量子化の幅、すなわち量子化ステップを、すべてのＤＣＴ係数に共通の倍率で補正する。量子化ステップが小さいほど、画質の劣化は抑えられるが、符号量は多くなる。
【００１６】量子化部７で得られた量子化係数は、可変長符号化部（ＶＬＣ）１５へと入力されると同時に、逆量子化部８へと入力される。逆量子化部８では、量子化部７とは逆の演算が実行される。したがって、量子化される以前のＤＣＴ係数と同一形式の信号が得られる。
【００１７】ただし、量子化部７における処理は、一般に非可逆であるため、逆量子化部８で再構成されたＤＣＴ係数は、変換部６から出力されるＤＣＴ係数と、一般には同一ではない。すなわち、逆量子化部８の出力には、量子化部７の処理によって生じる量子化誤差が一般に含まれる。いうまでもなく、量子化ステップが小さいほど、量子化誤差は小さくなる。
【００１８】逆量子化部８で得られたＤＣＴ係数は、逆変換部９へと入力される。逆変換部９では、ＤＣＴとは逆の演算（逆ＤＣＴ）が実行される。その結果、変換部６でＤＣＴ変換が施される前の画像信号と同一形式の画像信号が得られる。この画像信号も、いうまでもなく、一般には変換部６へ入力された画像信号と同一ではなく、量子化誤差を含んでいる。
【００１９】再構成された画像信号は、参照画像１３として、予測メモリ１１へとフレーム単位で格納される。予測メモリ１１に格納される参照画像１３は、動きベクトル検出部１４へと入力される。フレームメモリ読出部３から読み出されたカレント画像２２は、動きベクトル検出部１４へも同時に入力される。動きベクトル検出部１４は、マクロブロック単位で、このカレント画像２２にもっとも近い参照画像１３の部分を探索する。探索された部分は、予測画像と称される。
【００２０】動きベクトル検出部１４は、さらに、予測画像からこれに対応するカレント画像２２の上のマクロブロックまでの変位を表現するベクトルを、動きベクトル２４として、予測メモリ１１、および、可変長符号化部１５へと送出する。予測メモリ１１は、動きベクトル２４にもとづいて、マクロブロックごとに参照画像１３の中から予測画像１２を抽出して、差分回路４へと送出する。
【００２１】ここで、マクロブロックとは、動きベクトル２４が定義される画像の単位であり、例えば、画像信号の輝度成分に対しては１６×１６画素、色差成分に対しては８×８画素で構成される。輝度成分に対して１６×１６画素でマクロブロックが定義される場合には、輝度成分に対しては、例えば、１つのマクロブロックが４分割されてなる８×８画素で構成されるブロックを単位として、変換部６におけるＤＣＴ変換処理、および、量子化部７における量子化処理が施される。
【００２２】切換部５は、図示しない制御部に接続されており、この制御部の指示にもとづいて、既述したように、カレント画像２２および差分画像２３の間で、いずれかを選択して変換部６へと出力する。カレント画像２２が選択されると、フレーム内での符号化、すなわちイントラ符号化が行われることとなる。そうして得られた画像は、Ｉピクチャーと称される。また、差分回路４が出力する差分画像２３が選択されると、インター符号化の一種であるフレーム間予測符号化が行われることとなる。そうして得られた画像は、Ｐピクチャーと称される。
【００２３】ところで、差分回路４と切換部５との間には、イントラ／インター間のモード切替を行うモード切替部２０が介挿されている。したがって、差分画像２３は切換部５へと直接には入力されずに、モード切替部２０を介することによって、モード切替部２０が出力するモード選択画像１０として切換部５へと入力される。すなわち、切換部５は、直接には、カレント画像２２とモード選択画像１０とのいずれかを選択して出力する。
【００２４】モード切替部２０は、カレント画像２２と差分画像２３との間で、マクロブロックの単位で、いずれかを選択し、モード選択画像１０として切換部５へ送出する。すなわち、モード切替部２０は、本来ではインター符号化がなされるべきＰピクチャー内に、マクロブロック単位で、イントラ符号化されたＩピクチャーを混ぜ合わせるべく機能する。
【００２５】可変長符号化部１５では、入力される量子化係数に対して、例えばハフマン符号化などの可変長符号化処理が実行されると同時に、動きベクトル検出部１４から送出される動きベクトル２４が付加され、その結果、符号化信号が得られる。得られた符号化信号は、つづく多重化部１６で多重化処理を施された上で、送信バッファ１７に一旦蓄積される。
【００２６】送信バッファ１７に蓄積された符号化信号は、適時、送信経路１８へと送出される。送信バッファ１７からは、その状態、すなわち、バッファがオーバフローである、あるいは、空であることを通知するステータス信号が、符号化パラメータ制御部１９へと送出される。符号化信号には動きベクトル２４が含まれているため、符号化信号を受信し、カレント画像２２を再構成する復号化装置において、動きベクトル２４を考慮した復号化が可能となる。
【００２７】＜1-2.モード切替部＞つぎに、本発明の特徴部をなすモード切替部２０について説明する。モード切替部２０は、プログラムを搭載したメモリと、そのプログラムに従って動作するコンピュータとを、備えることによって、所定の動作を実現することが可能である。モード切替部２０は、また、プログラムによらずに、集積回路を含むハードウェアのみで構成することも可能である。
【００２８】はじめに、比較対照のために、モード切替部２０が、"Test Model Near-Term5"（以下、"TMN 5"と略記する）にもとづいて動作する例について説明する。"TMN 5"は、ITU-T（国際電気通信連合ITUの常設機関の一つ）に属する研究委員会によって記述されたテストモデルである。この"TMN 5"では、イントラ／インター間のモード切替をつぎの要領で行う。
【００２９】まず、カレント画像内の一つのマクロブロックのすべての輝度成分（Ｙ成分）の平均値mean が算出される。すなわち、数１に示す要領で、平均値mean が算出される。数１は、輝度成分に関して、１つのマクロブロックが１６×１６画素で構成されることを前提としている。そして、数１における記号ＹCi (i=1,・・,4)は、１個のマクロブロックを４等分割して成る４個のブロックの一つである第iブロック(i=1,・・,4)におけるすべての画素の輝度成分を表している。
【００３０】
【数１】
【００３１】つぎに、数２に示す要領で、各ブロックごとに、輝度成分から平均値mean が差し引かれ、その上で、得られた差の絶対値の総和Ａが算出される。
【００３２】
【数２】
【００３３】つぎに、数３に示す要領で、輝度成分ＹCi の動きベクトルに対応するマクロブロックの輝度成分Ｙpiと輝度成分ＹCi とが差し引かれ、さらに、その差の絶対値の総和sumが算出される。
【００３４】
【数３】
【００３５】ただし、動きベクトルのｘ、ｙ成分（画面上の水平、垂直成分）のいずれもが、値0であるときには、数４に示すように、絶対値の総和sumは、値100だけ差し引かれる。
【００３６】
【数４】
【００３７】こうして得られた総和sumにもとづいて、モード選択が行われる。すなわち、数５の関係が成り立つ（真）ならば、イントラモードが選択され、成り立たない（偽）ならば、インターモードが選択される。
【００３８】
【数５】
【００３９】以上が、"TMN 5"にもとづく、イントラ／インター間のモード切替のアルゴリズムである。
【００４０】これに対して、この実施の形態のモード切替部２０では、つぎの要領でモード切替が行われる。まず、数６に示す要領で、４個のブロックの各々ごとに、輝度成分の平均値が算出される。数６において、記号mean(i)は、第iブロック(i=1,・・,4)における輝度成分の平均値を表している。
【００４１】
【数６】
【００４２】つぎに、数７に示す要領で、各ブロックごとに、輝度成分から平均値mean(i)が差し引かれ、その上で、得られた差の絶対値の総和Ａが算出される。
【００４３】
【数７】
【００４４】つぎに、数８に示す要領で、輝度成分ＹCi の動きベクトルに対応するマクロブロックの輝度成分Ｙpiと輝度成分ＹCi とが差し引かれ、さらに、その差の絶対値の総和sumが算出される。
【００４５】
【数８】
【００４６】こうして得られた総和sumにもとづいて、モード選択が行われる。すなわち、数５の関係が成り立つ（真）ならば、イントラモードが選択され、成り立たない（偽）ならば、インターモードが選択される。
【００４７】テストモデル"TMN 5"では、１個のマクロブロックに属する各ブロックの中で、輝度成分の分散が小さくても、各ブロックにおける輝度成分の平均値の間に、大きな差があるときには、符号量が大きくなる方のモードが選択されることがある。例えば、一つのマクロブロックに含まれる各ブロックに関する輝度成分の平均値が、125,36,126,38であり、分散が8,15,9,16である場合が、これに相当する。
【００４８】この実施の形態のモード切替部２０では、"TMN 5"とは異なり、マクロブロック全体にわたる輝度成分の平均値が算出されるのではなく、ブロックごとに平均値が算出され、その平均値と各ブロックにおける輝度成分との絶対値差分の総和が、モード切替の判断基準とされる。このため、発生する符号量の少ない方が、モード切替部２０において適切に選択される。すなわち、送信経路１８へと送出される符号化信号の符号量を、低く抑えることができるという利点が得られる。
【００４９】＜2.実施の形態２＞実施の形態２の画像符号化装置の全体構成は、図１のブロック図で示される。実施の形態２では、量子化ステップを決定する装置部分である符号化パラメータ制御部１９に、実施の形態１とは異なる特徴がある。すなわち、実施の形態２では、符号化パラメータ制御部１９は、符号化の対象とされる画像（符号化対象画像）のＤＣＴ係数から求めた画像特性パラメータを用いて、目標符号量を達成する符号化に最適な量子化ステップ指示値(QUANT)を決定する。決定されたQUANTは、それを表現する信号である量子化ステップ指示信号２５の形式で量子化部７へ送られる。
【００５０】また、画像特性パラメータは、符号化対象画像が属するＩ／Ｐピクチャー等のピクチャータイプ、マクロブロックのタイプ、および、ハフマンテーブル等のＶＬＣ（可変長符号化）テーブルに対して適合した方法を用いて決定される。以上の手順で決定されたQUANTを用いて量子化が行われることによって、目標符号量に対して符号量を±5%以内とする符号化が達成される。
【００５１】図２および図３に、符号化対象画像がＩピクチャーであるときの符号化の流れを示す。また、図４〜図６に符号化対象画像がＰピクチャーであるときの符号化の流れを示す。以下に、これらのフローチャートに沿って、符号化の手順について説明する。
【００５２】図２に示すように、符号化対象画像がＩピクチャーであるときに、符号化が開始されると、まず、ステップＳ１において、初期化が行われる。すなわち、レートコントロールなどの制御に用いられる変数のうち、初期化が必要なものすべてについて初期化が行われる。つぎに、ステップＳ２〜Ｓ６までの第１ループの処理が、マクロブロックごとに反復して実行される。第１ループでは、レートコントロールを行うためのデータが準備される。
【００５３】まず、ステップＳ３では、変換部６によるＤＣＴ変換が行われる。つづくステップＳ４では、同一画像内の隣接マクロブロックのＤＣＴ係数の値を参照して、疑似ＤＣ／ＡＣ係数予測が行われる。予測モードも、これらのデータによって、擬似的に決定される。つぎに、ステップＳ５において、画像特性パラメータの算出が行われる。すなわち、レートコントロールを行うための画像特性パラメータが算出される。必要とされるデータは、Ｙ、Ｃｒ、Ｃｂ成分のすべての疑似ＤＣ／ＡＣ係数予測後のＤＣＴ係数の絶対値和である。
【００５４】符号化対象画像のすべてのマクロブロックに対して、第１ループが反復的に実行されると、その後、処理はステップＳ７へ移行する。ステップＳ７では、Ｉ／Ｐ比率の予測と、符号量割当の決定とが行われる。すなわち、直前のＰピクチャーの符号量と、第１ループで求められる予測符号量とにもとづいて、Ｉ／Ｐピクチャーの符号量の比率（Ｉ／Ｐ比率）が推測される。そして、それにもとづいて、ＧＯＰ（Group of Pictures：Ｉ，Ｐピクチャー等によって構成される画面群）を構成する各ピクチャーへの符号量割当が決定される。この処理は、例えば、符号化パラメータ制御部１９において行われる。
【００５５】つぎに、図３に示すように、ステップＳ８〜Ｓ１８までの第２ループの処理が、マクロブロックごとに反復して実行される。第２ループでは、符号化が行われる。まず、ステップＳ９において、残りビットとQUANTの更新が行われる。すなわち、現在において対象とされるマクロブロックまでの発生符号量と、第１ループで求められた画像特性パラメータとにもとづいて、残りビットとQUANTとが算出される。この処理は、符号化パラメータ制御部１９によって実行される。
【００５６】つぎに、ステップＳ１０において、実際のＤＣ／ＡＣ係数予測が行われる。このＤＣ／ＡＣ係数予測は、ローカルデコードされた画像信号にもとづいて遂行される。つづくステップＳ１１では、量子化が行われる。量子化は、先のステップで求められたQUANTにもとづいて、量子化部７によって実行される。つぎに、ステップＳ１２において、可変長符号化が行われる。すなわち、量子化によって得られた量子化係数が１次元配列に変換された上で、可変長符号化が行われる。この処理は、可変長符号化部１５によって実行される。
【００５７】つぎに、ステップＳ１３において、レートコントロール用パラメータが更新される。つづくステップＳ１４では、量子化係数に対して逆量子化が施される。この処理は、逆量子化部８によって実行される。つづいて、ステップＳ１５において、ＤＣ／ＡＣ係数補償が行われる。その後、ステップＳ１６において、逆ＤＣＴ変換が行われる。この処理は、逆変換部９によって実行される。つぎに、ステップＳ１７において、デコード（復号化）された画像が予測メモリ１１へと格納される。
【００５８】符号化対象画像のすべてのマクロブロックに対して、第２ループが反復的に実行されると、その後、処理はステップＳ１９へ移行する。ステップＳ１９では、スタッフビットの挿入が行われる。すなわち、発生符号量が割当てビット量よりも少ないときには、スタッフビットが挿入される。以上の手順で、Ｉピクチャーに対する符号化が行われる。
【００５９】図４に示すように、符号化対象画像がＰピクチャーであるときに、符号化が開始されると、まず、ステップＳ２１において、初期化が行われる。すなわち、レートコントロールなどの制御に用いられる変数のうち、初期化が必要なものすべてについて初期化が行われる。つぎに、ステップＳ２２〜Ｓ３０までの第１ループの処理が、マクロブロックごとに反復して実行される。第１ループでは、レートコントロールを行うためのデータが準備される。
【００６０】まず、ステップＳ２３では、動き検出が行われる。つづくステップＳ２４では、イントラ／インターモードの判断が行われる。すなわち、動き検出の結果にもとづいて、イントラモード／インターモードのいずれかが判定される。つぎに、ステップＳ２５において、ＤＣＴ変換が行われる。すなわち、符号化対象画像（イントラモードに対してはカレント画像、インターモードに対しては差分画像２３）に対して、ＤＣＴ変換が施される。この処理は、変換部６で実行される。
【００６１】つぎに、ステップＳ２６において、イントラモードであるか否かが判断される。そして、イントラモードであれば、処理はステップＳ２７へと移行し、イントラモードでなければ、ステップＳ２８へと移行する。ステップＳ２７では、疑似ＤＣ／ＡＣ係数予測が行われる。イントラ予測モードは擬似的に決定される。ステップＳ２７が終了すると、処理はステップＳ２８へと移行する。ステップＳ２８では、動きベクトル差分など、量子化されたＤＣＴ係数以外で発生する符号量の予測が行われる。この処理は、例えば、符号化パラメータ制御部１９によって実行される。
【００６２】つぎに、ステップＳ２９において、画像特性パラメータの算出が行われる。すなわち、レートコントロールを行うための画像特性パラメータが算出される。必要とされるデータは、イントラブロックとインターブロックで異なる。イントラブロックでは、Ｙ、Ｃｒ、Ｃｂ成分のすべての疑似ＤＣ／ＡＣ係数予測後のＤＣＴ係数の絶対値和である。インターブロックでは、動き検出後のＤＣＴ係数のＹ、Ｃｒ、Ｃｂ成分のすべてについて、ＡＣ成分の絶対値和とＤＣＴ係数の絶対値の最大値である。
【００６３】符号化対象画像のすべてのマクロブロックに対して、第１ループが反復的に実行されると、その後、図５に示すように、ステップＳ３１〜Ｓ４０までの第２ループの処理が、マクロブロックごとに反復して実行される。第２ループでは、符号化が行われる。
【００６４】第２ループが開始されると、まず、ステップＳ３２において、残りビットとQUANTの更新が行われる。すなわち、現在において対象とされるマクロブロックまでの発生符号量と、第１ループで求められた画像特性パラメータとにもとづいて、残りビットとQUANTとが算出される。この処理は、符号化パラメータ制御部１９によって実行される。
【００６５】つぎに、ステップＳ３３において、現在において対象とされるマクロブロックがイントラブロック（イントラモードのマクロブロック）であるか否かが判定される。そして、イントラブロックであれば、処理はステップＳ３４へ移行し、そうでなければ、ステップＳ３５へと飛躍する。ステップＳ３４では、ローカルデコードされた画像信号にもとづいて、実際のＤＣ／ＡＣ係数予測が行われる。ステップＳ３４の後、処理は、ステップＳ３５へと移行する。
【００６６】ステップＳ３５では、量子化が行われる。量子化は、先のステップで求められたQUANTにもとづいて、量子化部７によって実行される。つぎに、ステップＳ３６において、可変長符号化が行われる。すなわち、量子化によって得られた量子化係数が１次元配列に変換された上で、可変長符号化が行われる。ステップＳ３６の処理は、可変長符号化部１５によって実行される。
【００６７】つぎに、ステップＳ３７において、レートコントロール用パラメータが更新される。つづくステップＳ３８では、量子化係数に対して逆量子化が施される。この処理は、逆量子化部８によって実行される。つづいて、ステップＳ３９で、現在において対象とされるマクロブロックがイントラブロックであるか否かが判定される。そして、イントラブロックであれば、処理はステップＳ４０へ移行し、そうでなければ、ステップＳ４１へと飛躍する。
【００６８】ステップＳ４０では、ＤＣ／ＡＣ係数補償が行われる。すなわち、イントラブロックにおいては、マクロブロックごとのイントラ予測モードにもとづいて、係数の復元が行われる。ステップＳ４０が終了すると、図６に示すように、処理はステップＳ４１へ移行する。ステップＳ４１では、逆ＤＣＴ変換が行われる。この処理は、逆変換部９によって実行される。
【００６９】つぎに、ステップＳ４２で、現在において対象とされるマクロブロックがインターブロック（インターモードのマクロブロック）であるか否かが判定される。そして、インターブロックであれば、処理はステップＳ４３へ移行し、そうでなければ、ステップＳ４４へと飛躍する。ステップＳ４３では、動き補償が行われる。すなわち、インターブロックに対しては、動きベクトルにもとづいて動き補償が行われる。ステップＳ４３の後、処理はステップＳ４４へと移行する。
【００７０】ステップＳ４４では、ローカルデコードされた画像が予測メモリ１１へと格納される。符号化対象画像のすべてのマクロブロックに対して、第２ループが反復的に実行されると、その後、処理はステップＳ４６へ移行する。ステップＳ４６では、スタッフビットの挿入が行われる。すなわち、発生符号量が割当てビット量よりも少ないときには、スタッフビットが挿入される。以上の手順で、Ｐピクチャーに対する符号化が行われる。
【００７１】以上の処理において、イントラブロック（第ｉマクロブロック）の画像特性パラメータＸIiは、数９にもとづいて算出される。
【００７２】
【数９】
【００７３】ここで、符号coeffsは係数を表し、符号blksはマクロブロックを構成するブロックを表す。
【００７４】また、インターブロック（第ｉマクロブロック）の画像特性パラメータＸPiは、数１０にもとづいて算出される。
【００７５】
【数１０】
【００７６】さらに、Ｐピクチャー内のイントラブロック（第ｉマクロブロック）の画像特性パラメータＸIiは、数１１にもとづいて、インターブロックのパラメータＸPiへと変換される。
【００７７】
【数１１】
【００７８】ピクチャー内の第ｉマクロブロックに対するQUANTは、Ｉピクチャーに対しては、数１２にもとづき、Ｐピクチャーに対しては、数１３にもとづいて算出される。
【００７９】
【数１２】
【００８０】
【数１３】
【００８１】従来技術においては、QUANTを決定するのに、標準偏差またはＳＡＤ（差分絶対値和）が用いられていた。標準偏差が用いられるときには、画像の符号化に必要な計算と別途に標準偏差を計算する必要があった。また、ＳＡＤが用いられるときには、発生符号量の予測精度が低いという問題点があった。また、いずれが用いられたときにも、Ｉピクチャーの画面内のＤＣ／ＡＣ係数予測に対応した符号化量予測ができないという問題点があった。
【００８２】これに対して、実施の形態２の装置では、以上に説明したように、QUANTを決定するのに、ＤＣＴ係数から求めた画像特性パラメータが用いられる。画像特性パラメータは、ＤＣＴ係数から、少ない演算量で求めることができるという利点がある。また、画像特性パラメータが用いられるので、高い精度で発生符号量を予測することができるという利点がある。また、Ｉピクチャーの画面内のＤＣ／ＡＣ係数予測に対応した符号量予測が行い得るという利点も得られる。
【００８３】＜3.実施の形態３＞実施の形態３の画像符号化装置の全体構成も、実施の形態２と同様に、図１のブロック図で示される。実施の形態２では、二つのループすなわち第１および第２ループ（図２〜図６）に沿って処理が行われていた。これに対して、実施の形態３では、二つのループを単一のループへと統合すべく構成されている点が、実施の形態２とは特徴的に異なっている。すなわち、実施の形態３の装置は、過去の画像の画像特性パラメータの分布履歴、視覚特性、および、符号化が行われつつある符号化対象画像の発生符号量にもとづいて、現在符号化の対象としているマクロブロックのつぎに符号化対象とされるマクロブロックの目標符号量が決定される点を主要な特徴としている。
【００８４】図７および図８に、符号化対象画像がＩピクチャーであるときの符号化の流れを示す。また、図９〜図１１に符号化対象画像がＰピクチャーであるときの符号化の流れを示す。以下に、これらのフローチャートに沿って、符号化の手順について説明する。
【００８５】図７に示すように、符号化対象画像がＩピクチャーであるときに、符号化が開始されると、まず、ステップＳ５１において、初期化が行われる。すなわち、レートコントロールなどの制御に用いられる変数のうち、初期化が必要なものすべてについて初期化が行われる。つづくステップＳ５２では、Ｉ／Ｐ比率の推測、および、符号量割当の決定が行われる。すなわち、最新のＩピクチャーとＰピクチャーの符号量から、Ｉピクチャー／Ｐピクチャーの符号化量の比率（Ｉ／Ｐ比率）が推測される。さらに、これにもとづいて、ＧＯＰを構成する各ピクチャーへの符号量割当が決定される。この処理は、例えば、符号化パラメータ制御部１９において行われる。
【００８６】つぎに、ステップＳ５３〜Ｓ６６までのループの処理が、マクロブロックごとに反復して実行される。ループが開始されると、まず、ステップＳ５４において、変換部６によるＤＣＴ変換が行われる。つづくステップＳ５５では、同一画像内の隣接マクロブロックのＤＣＴ係数の値を参照して、疑似ＤＣ／ＡＣ係数予測が行われる。予測モードも、これらのデータによって、擬似的に決定される。
【００８７】つぎに、ステップＳ５６において、画像特性パラメータの算出が行われる。すなわち、レートコントロールを行うための画像特性パラメータが算出される。必要とされるデータは、Ｙ、Ｃｒ、Ｃｂ成分のすべての疑似ＤＣ／ＡＣ係数予測後のＤＣＴ係数の絶対値和である。つづくステップＳ５７では、目標符号量とQUANTの更新とが行われる。
【００８８】すなわち、現在において対象とされるマクロブロック（対象マクロブロック）までの発生符号量と、最新のＩピクチャーの画像特性パラメータの分布とにもとづいて、対象マクロブロックの目標符号量が算出される。さらに、この目標符号量と、先に算出された画像特性パラメータとにもとづいて、QUANTが算出される。このステップＳ５７の処理は、符号化パラメータ制御部１９によって実行される。つぎに、ステップＳ５８において、実際のＤＣ／ＡＣ係数予測が行われる。このＤＣ／ＡＣ係数予測は、ローカルデコードされた画像信号にもとづいて遂行される。
【００８９】図８に示すように、つづくステップＳ５９では、量子化が行われる。量子化は、先のステップで求められたQUANTにもとづいて、量子化部７によって実行される。つぎに、ステップＳ６０において、可変長符号化が行われる。すなわち、量子化によって得られた量子化係数が１次元配列に変換された上で、可変長符号化が行われる。この処理は、可変長符号化部１５によって実行される。
【００９０】つぎに、ステップＳ６１において、レートコントロール用パラメータが更新される。つづくステップＳ６２では、量子化係数に対して逆量子化が施される。この処理は、逆量子化部８によって実行される。つづいて、ステップＳ６３において、ＤＣ／ＡＣ係数補償が行われる。その後、ステップＳ６４において、逆ＤＣＴ変換が行われる。この処理は、逆変換部９によって実行される。つぎに、ステップＳ６５において、デコード（符号化）された画像が予測メモリ１１へと格納される。
【００９１】符号化対象画像のすべてのマクロブロックに対して、ループが反復的に実行されると、その後、処理はステップＳ６７へ移行する。ステップＳ６７では、スタッフビットの挿入が行われる。すなわち、発生符号量が割当てビット量よりも少ないときには、スタッフビットが挿入される。以上の手順で、Ｉピクチャーに対する符号化が行われる。
【００９２】図９に示すように、符号化対象画像がＰピクチャーであるときに、符号化が開始されると、まず、ステップＳ７１において、初期化が行われる。すなわち、レートコントロールなどの制御に用いられる変数のうち、初期化が必要なものすべてについて初期化が行われる。つぎに、ステップＳ７２〜Ｓ９３までのループの処理が、マクロブロックごとに反復して実行される。
【００９３】ループが開始されると、まず、ステップＳ７３において、動き検出が行われる。つづくステップＳ７４では、イントラ／インターモードの判断が行われる。すなわち、動き検出の結果にもとづいて、イントラモード／インターモードのいずれかが判定される。つぎに、ステップＳ７５において、ＤＣＴ変換が行われる。すなわち、符号化対象画像（イントラモードに対してはカレント画像２２、インターモードに対しては差分画像２３）に対して、ＤＣＴ変換が施される。この処理は、変換部６で実行される。
【００９４】つぎに、ステップＳ７６において、イントラモードであるか否かが判断される。そして、イントラモードであれば、処理はステップＳ７７へと移行し、イントラモードでなければ、ステップＳ７８へと移行する。ステップＳ７７では、疑似ＤＣ／ＡＣ係数予測が行われる。イントラ予測モードは擬似的に決定される。ステップＳ７７が終了すると、処理はステップＳ７８へと移行する。ステップＳ７８では、動きベクトル差分など、量子化されたＤＣＴ係数以外で発生する符号量の予測が行われる。この処理は、例えば、符号化パラメータ制御部１９によって実行される。
【００９５】つぎに、ステップＳ７９において、画像特性パラメータの算出が行われる。すなわち、レートコントロールを行うための画像特性パラメータが算出される。必要とされるデータは、イントラブロックとインターブロックで異なる。イントラブロックでは、Ｙ、Ｃｒ、Ｃｂ成分のすべての疑似ＤＣ／ＡＣ係数予測後のＤＣＴ係数の絶対値和である。インターブロックでは、動き検出後のＤＣＴ係数のＹ、Ｃｒ、Ｃｂ成分のすべてについて、ＡＣ成分の絶対値和とＤＣＴ係数の絶対値の最大値である。
【００９６】つぎに、図１０に示すように、ステップＳ８０において、目標符号量とQUANTの更新が行われる。すなわち、現在において対象とされるマクロブロック（対象マクロブロック）までの発生符号量と、最新のＰピクチャーの画像特性パラメータ分布とにもとづいて、対象マクロブロックの目標符号量が算出される。さらに、この目標符号量と、先に算出された画像特性パラメータとにもとづいて、QUANTが算出される。このステップＳ８０の処理は、符号化パラメータ制御部１９によって実行される。
【００９７】つぎに、ステップＳ８１において、現在において対象とされるマクロブロックがイントラブロックであるか否かが判定される。そして、イントラブロックであれば、処理はステップＳ８２へ移行し、そうでなければ、ステップＳ８３へと飛躍する。ステップＳ８２では、ローカルデコードされた画像信号にもとづいて、実際のＤＣ／ＡＣ係数予測が行われる。ステップＳ８２の後、処理は、ステップＳ８３へと移行する。
【００９８】ステップＳ８３では、量子化が行われる。量子化は、先のステップで求められたQUANTにもとづいて、量子化部７によって実行される。つぎに、ステップＳ８４において、可変長符号化が行われる。すなわち、量子化によって得られた量子化係数が１次元配列に変換された上で、可変長符号化が行われる。ステップＳ８４の処理は、可変長符号化部１５によって実行される。
【００９９】つぎに、ステップＳ８５において、レートコントロール用パラメータが更新される。つづくステップＳ８６では、量子化係数に対して逆量子化が施される。この処理は、逆量子化部８によって実行される。つづいて、ステップＳ８７で、現在において対象とされるマクロブロックがイントラブロックであるか否かが判定される。そして、イントラブロックであれば、処理はステップＳ８８へ移行し、そうでなければ、ステップＳ８９へと飛躍する。
【０１００】ステップＳ８８では、ＤＣ／ＡＣ係数補償が行われる。すなわち、イントラブロックにおいては、マクロブロックごとのＤＣ／ＡＣ係数予測モードにもとづいて、係数の復元が行われる。ステップＳ８８が終了すると、図１１に示すように、処理はステップＳ８９へ移行する。ステップＳ８９は、逆ＤＣＴ変換が行われる。この処理は、逆変換部９によって実行される。
【０１０１】つぎに、ステップＳ９０で、現在において対象とされるマクロブロックがインターブロックであるか否かが判定される。そして、インターブロックであれば、処理はステップＳ９１へ移行し、そうでなければ、ステップＳ９２へと飛躍する。ステップＳ９１では、動き補償が行われる。すなわち、インターブロックに対しては、動きベクトルにもとづいて動き補償が行われる。ステップＳ９１の後、処理はステップＳ９２へと移行する。
【０１０２】ステップＳ９２では、ローカルデコードされた画像が予測メモリ１１へと格納される。符号化対象画像のすべてのマクロブロックに対して、ループが反復的に実行されると、その後、処理はステップＳ９４へ移行する。ステップＳ９４では、スタッフビットの挿入が行われる。すなわち、発生符号量が割当てビット量よりも少ないときには、スタッフビットが挿入される。以上の手順で、Ｐピクチャーに対する符号化が行われる。
【０１０３】以上の処理において、画像特性パラメータは、実施の形態２と同様の数式にもとづいて算出される。また、ピクチャー内の第ｉマクロブロックに対する目標符号量は、第ｉマクロブロックがＩピクチャーであるときには数１４にもとづき、Ｐピクチャーであるときには数１５にもとづいて算出される。
【０１０４】
【数１４】
【０１０５】
【数１５】
【０１０６】ピクチャー内の第ｉマクロブロックに対するQUANTは、Ｉピクチャーに対しては、数１６にもとづき、Ｐピクチャーに対しては、数１７にもとづいて算出される。
【０１０７】
【数１６】
【０１０８】
【数１７】
【０１０９】従来技術の一つにおいては、QUANTの決定に先だって、符号化対象画像の全体に対して解析が行われていた。その結果、発生符号量の制御の精度は高いが、符号化対象画像を２度にわたって走査する必要があり、演算にメモリ容量を多く必要とし、また、前処理に時間がかかるという問題点があった。
【０１１０】また、別の従来技術においては、発生符号量の増減にもとづいて、QUANTの制御が行われていた。このため、符号化対象画像の走査は１度でよく、演算に必要なメモリ容量が少なく、また、前処理時間も短いという利点はあるが、実際の発生符号量とQUANTの増減との間に遅延が生じ、発生符号量の制御の精度が低いという問題点があった。
【０１１１】これに対して、実施の形態３の装置では、符号化対象画像の走査は一度でよく、演算に必要なメモリ容量が少なく、また、前処理時間も短いという利点とともに、演算量に対して高い符号量の制御精度が得られるという利点がある。
【０１１２】＜4.実施の形態４＞実施の形態４の画像符号化装置の全体構成も、実施の形態２と同様に、図１のブロック図で示される。実施の形態４は、実施の形態２または３で用いられる目標符号量の割当、あるいは、QUANTなどに対して、マクロブロックごとに重みが付加される点を、主要な特徴としている。
【０１１３】すなわち、実施の形態４の装置では、各マクロブロックに対して、画面内の位置や、符号化対象画像のＤＣＴ係数から求められた画像特性パラメータにもとづいて、例えば画面の中央部あるいは画像が速く動く部分など視覚的に重要なマクロブロックであるか、あるいは否かに応じた重み付けパラメータが算出される。そして、この重み付けパラメータにもとづいて、マクロブロックごとに目標符号量の割当、あるいは、QUANTに対して重み付けが行われる。
【０１１４】演算の一例を示すと、まず、第(i,j)マクロブロックに対する画像位置パラメータＰijが、数１８にもとづいて算出される。
【０１１５】
【数１８】
【０１１６】数１８に示されない他の(i,j)に対しては、適当な補完を行うことによって画像位置パラメータＰijが算出される。画像位置パラメータＰijは、画面内の位置の視覚的重要度を反映している。
【０１１７】つぎに、第(i,j)マクロブロックに対する画像特性パラメータＸijを用いて、第(i,j)マクロブロックに対する重み付けパラメータＡijが、数１９にもとづいて算出される。
【０１１８】
【数１９】
【０１１９】このようにして算出された重み付けパラメータＡijが、実施の形態２，３で述べた発生符号量の制御に用いられる。すなわち、目標符号量の割当やQUANTに対して、重み付けパラメータＡijが積として付加されることにより、視覚的重要度に応じた重み付け補正が加えられる。
【０１２０】従来技術においては、重み付けパラメータとして、標準偏差が用いられていた。その結果、画像符号化に必要な計算とは別途に標準偏差を計算する必要があるという問題点があった。さらに、重み付けと符号量制御との両立が困難であるという問題点もあった。
【０１２１】これに対して、実施の形態４の装置では、ＤＣＴ係数にもとづいて少ない演算量で画像特性パラメータが算出でき、さらに、実施の形態２，３で述べた発生符号量制御との整合性が良好であり、両立が容易であるという利点が得られる。
【０１２２】＜5.実施の形態５＞実施の形態５の画像符号化装置の全体構成は、図１２のブロック図で示される。実施の形態５の装置は、フレームレートを制御する装置部分であるフレームレート制御部３０、および、これに付随するユーザ画質指定部３１を備える点を、主要な特徴としている。
【０１２３】フレームレート制御部３０は、第１に、外部から与えられたビットレートと、ユーザ画質指定部３１を通じてユーザが選択的に指定した指定画質とにしたがって、初期フレームレートを設定する。フレームレート制御部３０は、第２に、符号化時の発生符号量とQUANTの履歴にもとづいて、フレームレートを最適値へと自動的に更新する。フレームレート制御部３０は、第３に、符号化の過程の中においても、ユーザ画質指定部３１を通じたユーザの要求に応じて、フレームレートを更新する。
【０１２４】すなわち、１フレーム当たりの符号量の多い高精細画像を伝送すべき時には、フレームレートを犠牲にし、逆に、フレームレートを高くして動きの滑らかな画像を伝送すべき時には、各フレームの画像の精細度を犠牲にすることで、送信経路１８の伝送容量における制約の中でトレードオフの関係にある、１フレームの画像の精細度とフレームレートとを、選択可能にしている。
【０１２５】図１３のフローチャートに、図１２の装置における特徴的な動作の流れを示す。図１３に示すように、フレームレート制御が開始されると、まず、ステップＳ１０１において、テーブルへのパターンの格納が行われる。すなわち、装置が採り得るフレームレートのパターンが、参照用テーブルに格納される。同時に、採り得るフレームレート変更間隔（＝ｓ秒）も与えられる。このテーブルと、フレームレート間隔を記憶するメモリは、例えば、フレームレート制御部３０に内蔵されている。
【０１２６】つぎに、ステップＳ１０２において、画質パラメータが定められる。すなわち、ユーザが選択可能な解像度の幅、間隔等の選択枝が、画質パラメータとして準備される。例えば、圧縮率の下限に対応する値を０、圧縮率の上限に対応する値を１とし、解像度の度合いに対応する０〜１の範囲の値を、ユーザが選択可能な範囲として準備する。圧縮率の下限には、最低の精細画像、および、最高のフレームレートが対応し、また、圧縮率の上限には、最高の精細画像、および、最低のフレームレートが対応する。準備された画質パラメータは、参照用テーブルに格納される。
【０１２７】つぎに、ステップＳ１０３において、QUANTの限界値が定められる。すなわち、QUANTの上限値Qu、下限値Ql、および、実効上限値Qmu、実効下限値Qmlが決定される。QUANTは、下限値Ql＜QUANT＜上限値Quの範囲になくてはならず、実効下限値Qml＜QUANT＜実効上限値Qmuの範囲にあることが望ましいとされる。
【０１２８】つぎに、ステップＳ１０４において、ビットレートが定義される。つづく、ステップＳ１０５では、フレームレートパターンに対応した画質パラメータが参照用テーブルへと格納される。つづいて、ステップＳ１０６において、ユーザによって画質が指定される。この指定は、入力装置として構成されるユーザ画質指定部３１を通じて行われる。
【０１２９】つぎに、ステップＳ１０７において、精細度とフレームレートの探索が行われる。すなわち、指定された精細度に対応する画質パラメータが、参照用テーブルから探索され、さらに、その値に対応するフレームレートが、参照用テーブルから探索される。そして、得られたフレームレートが基準フレームレートとして設定される。
【０１３０】つぎに、ステップＳ１０８において、ビット割当および符号化が行われる。すなわち、基礎フレームレートの下で、各フレームのビット割当、および、エンコード（符号化）が行われる。つづく、ステップＳ１０９では、符号化の結果にもとづいて、フレームレートの自動調整が行われる。つづいて、ステップＳ１１０において、ユーザによって、あらためて画質の指示がなされることにより、画質変更が定されると、処理はステップＳ１０７へと戻って、ステップＳ１０７〜ステップＳ１０９の処理が改めて実行される。
【０１３１】図１４および図１５は、ステップＳ１０９の処理の流れを詳細に示すフローチャートである。図１４R>４に示すように、ステップＳ１０９の処理が開始されると、ステップＳ１１１において、最新の２フレームについて、QUANT＞上限値Qu、であるか否かが判定される。判定の結果が「Yes」であれば、処理はステップＳ１１２へと移行し、逆に、「No」であれば、ステップＳ１２０へと飛躍する。
【０１３２】ステップＳ１１２では、フレームレートが基準値よりも１段階引き下げられる。つぎに、ステップＳ１１３において、ｓ秒間の待機が行われる。すなわち、ステップＳ１１２で引き下げられたフレームレートが、ｓ秒間にわたってそのまま維持される。ｓ秒の値は、先のステップＳ１０１で決定されている。
【０１３３】つづくステップＳ１１４では、最新の２フレームについて、QUANT＞上限値Qu、であるか否かが判定される。判定の結果が、「Yes」であれば、処理はステップＳ１１５へ移行し、「No」であれば、ステップＳ１１６へと移行する。ステップＳ１１５では、フレームレートの再調整が行われ、フレームレートが現在の値よりも１段階引き下げられる。その後、処理はステップＳ１１３へと戻る。
【０１３４】ステップＳ１１６では、最新の２フレームについて、QUANT＞実効上限値Qmu、であるか否かが判定される。判定の結果が、「Yes」であれば、処理はステップＳ１１７へと移行し、「No」であれば、ステップＳ１１８へ移行する。ステップＳ１１７では、フレームレートは変更されることなく、現在の値のままに保持される。その後、処理はステップＳ１１３へと戻る。
【０１３５】一方、ステップＳ１１８では、フレームレートが、現在の値よりも１段階引き上げられる。つづいて、ステップＳ１１９において、現在のフレームレートが基準値に一致するか否かが判定される。判定の結果が「No」であれば、処理はステップＳ１１３へと戻り、「Yes」であれば、ステップＳ１０９の処理は完了する。
【０１３６】つぎに、図１５に示すように、ステップＳ１２０において、最新の２フレームについて、QUANT＜下限値Ql、であるか否かが判定される。判定の結果が「Yes」であれば、処理はステップＳ１２１へと移行し、「No」であればステップＳ１０９の処理は完了する。
【０１３７】ステップＳ１２１では、フレームレートが基準値よりも１段階引き上げられる。つぎに、ステップＳ１２２において、ｓ秒間の待機が行われる。すなわち、ステップＳ１２１で引き上げられたフレームレートが、ｓ秒間にわたってそのまま維持される。
【０１３８】つづくステップＳ１２３では、最新の２フレームについて、QUANT＜下限値Ql、であるか否かが判定される。判定の結果が、「Yes」であれば、処理はステップＳ１２４へ移行し、「No」であれば、ステップＳ１２５へと移行する。ステップＳ１２４では、フレームレートの再調整が行われ、フレームレートが現在の値よりも１段階引き上げられる。その後、処理はステップＳ１２２へと戻る。
【０１３９】ステップＳ１２５では、最新の２フレームについて、QUANT＜実効下限値Qml、であるか否かが判定される。判定の結果が、「Yes」であれば、処理はステップＳ１２６へと移行し、「No」であれば、ステップＳ１２７へ移行する。ステップＳ１２６では、フレームレートは変更されることなく、現在の値のままに保持される。その後、処理はステップＳ１２２へと戻る。
【０１４０】一方、ステップＳ１２７では、フレームレートが、現在の値よりも１段階引き下げられる。つづいて、ステップＳ１２８において、現在のフレームレートが基準値に一致するか否かが判定される。判定の結果が「No」であれば、処理はステップＳ１２２へと戻り、「Yes」であれば、ステップＳ１０９の処理は完了する。
【０１４１】
【発明の効果】第１の発明の装置では、画像特性パラメータが離散コサイン係数から算出されるので、少ない演算量で、画像特性パラメータが求められる。また、画像特性パラメータが用いられるので、高い精度で発生符号量を予測することができるという効果が得られる。
【０１４２】第２の発明の装置では、イントラピクチャー（Ｉピクチャー）の画面内のＤＣ／ＡＣ係数予測に対応した符号量予測が行い得るという効果がある。
【０１４３】第３の発明の装置では、過去の画像の画像特性パラメータの分布履歴等にもとづいて、つぎの符号化対象とされるマクロブロックにおける目標符号量が決定されるので、符号化対象画像の走査が一度でよく、演算に必要なメモリ容量が少なくて済み、前処理時間も短いのに加えて、高い符号量の制御精度が得られるという効果がある。
【０１４４】第４の発明の装置では、前記離散コサイン変換係数等にもとづいて画像特性パラメータが算出され、これにもとづいて算出された重み付けパラメータに応じて、マクロブロックごとに、目標符号量の割当、および、量子化ステップに対する重み付けが行われる。このため、少ない演算量で画像特性パラメータが算出でき、さらに、発生符号量制御との整合性が良好であり、両立が容易であるという効果が得られる。
【図面の簡単な説明】
【図１】 実施の形態１〜４の装置のブロック図である。
【図２】 実施の形態２の装置の動作の流れを示す流れ図である。
【図３】 実施の形態２の装置の動作の流れを示す流れ図である。
【図４】 実施の形態２の装置の動作の流れを示す流れ図である。
【図５】 実施の形態２の装置の動作の流れを示す流れ図である。
【図６】 実施の形態２の装置の動作の流れを示す流れ図である。
【図７】 実施の形態３の装置の動作の流れを示す流れ図である。
【図８】 実施の形態３の装置の動作の流れを示す流れ図である。
【図９】 実施の形態３の装置の動作の流れを示す流れ図である。
【図１０】 実施の形態３の装置の動作の流れを示す流れ図である。
【図１１】 実施の形態３の装置の動作の流れを示す流れ図である。
【図１２】 実施の形態５の装置のブロック図である。
【図１３】 実施の形態５の装置の動作の流れを示す流れ図である。
【図１４】 実施の形態５の装置の動作の流れを示す流れ図である。
【図１５】 実施の形態５の装置の動作の流れを示す流れ図である。
【符号の説明】
６ 変換部
７ 量子化部
１５ 可変長符号化部
１９ 符号化パラメータ制御部（制御部）
３０ フレームレート制御部（制御部）
【特許請求の範囲】
【請求項１】 画像の符号化を行う画像符号化装置において、前記画像に離散コサイン変換を行って離散コサイン変換係数を算出する変換部と、前記離散コサイン変換係数に対して、量子化ステップにもとづき量子化を行って量子化係数を算出する量子化部と、前記離散コサイン変換係数から画像特性パラメータを算出し、当該画像特性パラメータにもとづいて、前記量子化ステップを決定する制御部と、を備えることを特徴とする画像符号化装置。
【請求項２】 請求項１に記載の画像符号化装置において、可変長符号化テーブルを参照しつつ前記量子化係数に対して可変長符号化を行う可変長符号化部を、さらに備え、前記制御部は、画像種別、マクロブロックの種別、および、前記可変長符号化テーブルに適合した方法にもとづいて、前記画像特性パラメータを算出することを特徴とする画像符号化装置。
【請求項３】 請求項１または請求項２に記載の画像符号化装置において、前記制御部は、さらに、過去の画像の画像特性パラメータの分布履歴、視覚特性、および、符号化の中における発生符号量にもとづいて、つぎの符号化対象とされるマクロブロックにおける目標符号量を決定することを、特徴とする画像符号化装置。
【請求項４】 画像の符号化を行う画像符号化装置において、前記画像に離散コサイン変換を行って離散コサイン変換係数を算出する変換部と、前記離散コサイン変換係数に対して、量子化ステップにもとづき量子化を行って量子化係数を算出する量子化部と、各マクロブロックに対して、画面内での位置、および、符号化対象画像における前記離散コサイン変換係数から、画像特性パラメータを算出し、当該画像特性パラメータにもとづいて、視覚上の重要度に応じた重み付けを行うための重み付けパラメータを算出し、さらに、当該重み付けパラメータにもとづいて、前記マクロブロックごとに、目標符号量の割当、および、前記量子化ステップに対する重み付けを行う制御部と、を備えることを特徴とする画像符号化装置。
【請求項１】 画像の符号化を行う画像符号化装置において、前記画像に離散コサイン変換を行って離散コサイン変換係数を算出する変換部と、前記離散コサイン変換係数に対して、量子化ステップにもとづき量子化を行って量子化係数を算出する量子化部と、前記離散コサイン変換係数から画像特性パラメータを算出し、当該画像特性パラメータにもとづいて、前記量子化ステップを決定する制御部と、を備えることを特徴とする画像符号化装置。
【請求項２】 請求項１に記載の画像符号化装置において、可変長符号化テーブルを参照しつつ前記量子化係数に対して可変長符号化を行う可変長符号化部を、さらに備え、前記制御部は、画像種別、マクロブロックの種別、および、前記可変長符号化テーブルに適合した方法にもとづいて、前記画像特性パラメータを算出することを特徴とする画像符号化装置。
【請求項３】 請求項１または請求項２に記載の画像符号化装置において、前記制御部は、さらに、過去の画像の画像特性パラメータの分布履歴、視覚特性、および、符号化の中における発生符号量にもとづいて、つぎの符号化対象とされるマクロブロックにおける目標符号量を決定することを、特徴とする画像符号化装置。
【請求項４】 画像の符号化を行う画像符号化装置において、前記画像に離散コサイン変換を行って離散コサイン変換係数を算出する変換部と、前記離散コサイン変換係数に対して、量子化ステップにもとづき量子化を行って量子化係数を算出する量子化部と、各マクロブロックに対して、画面内での位置、および、符号化対象画像における前記離散コサイン変換係数から、画像特性パラメータを算出し、当該画像特性パラメータにもとづいて、視覚上の重要度に応じた重み付けを行うための重み付けパラメータを算出し、さらに、当該重み付けパラメータにもとづいて、前記マクロブロックごとに、目標符号量の割当、および、前記量子化ステップに対する重み付けを行う制御部と、を備えることを特徴とする画像符号化装置。
【図６】
【図１１】
【図１】
【図２】
【図３】
【図５】
【図４】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図１３】
【図１４】
【図１５】
【図１１】
【図１】
【図２】
【図３】
【図５】
【図４】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００３−１６３９３３（Ｐ２００３−１６３９３３Ａ）
【公開日】平成１５年６月６日（２００３．６．６）
【国際特許分類】
【出願番号】特願２００２−２６１７８８（Ｐ２００２−２６１７８８）
【分割の表示】特願平９−２８２０８２の分割
【出願日】平成９年１０月１５日（１９９７．１０．１５）
【出願人】（５９１１２８４５３）株式会社メガチップス (322)
【Ｆターム（参考）】
【公開日】平成１５年６月６日（２００３．６．６）
【国際特許分類】
【分割の表示】特願平９−２８２０８２の分割
【出願日】平成９年１０月１５日（１９９７．１０．１５）
【出願人】（５９１１２８４５３）株式会社メガチップス (322)
【Ｆターム（参考）】
[ Back to top ]