画像圧縮符号化方法、及び装置
【課題】低遅延を必要とするMPEG-4/AVC規格を用いた高解像度アプリケーションへの適用を考慮して、エンコード処理LSIと外部メモリとの間で行われるデータ転送に必要な帯域を削減させる。
【解決手段】第１の遅延用メモリ１４３は、動き検出処理部１４１から出力される入力画像フレームを入力し、所定時間、予測残差生成処理を行うための第１の加算器１１５への出力を遅延させる。第２の遅延用メモリ１４７は、インタ予測輝度画像フレームを入力し、所定時間、予測選択回路１３１への出力を遅延させる。第３の遅延用メモリ１４９は、動き検出処理部１４１から出力される動きベクトル情報を入力し、所定時間、上記動きベクトル情報のインタ予測色差画像作成処理部１５１への出力を遅延させる。
【解決手段】第１の遅延用メモリ１４３は、動き検出処理部１４１から出力される入力画像フレームを入力し、所定時間、予測残差生成処理を行うための第１の加算器１１５への出力を遅延させる。第２の遅延用メモリ１４７は、インタ予測輝度画像フレームを入力し、所定時間、予測選択回路１３１への出力を遅延させる。第３の遅延用メモリ１４９は、動き検出処理部１４１から出力される動きベクトル情報を入力し、所定時間、上記動きベクトル情報のインタ予測色差画像作成処理部１５１への出力を遅延させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された画像フレームに対し所定の符号化処理を施すことにより、前記画像フレームの情報量を圧縮する画像圧縮符号化方法、及び装置に関する。
【背景技術】
【０００２】
従来、映像データ圧縮技術の分野において、適切なデータ量を持つ圧縮映像データを生成することが可能で、且つ、映像データの圧縮処理に要する時間を短縮することが可能な装置の提供を目的とした提案が知られている。該提案では、映像データを圧縮符号化するための前処理、フラットネス、及びイントラACの生成（フラットス、及びイントラACは、Iピクチャに圧縮されるピクチャの絵柄の難度を示すパラメータである）、映像の動き予測の予測誤差量（ME残差）の算出、入力された映像データの各ピクチャの遅延処理、等の各過程が実行される。該提案では、上記映像データの各ピクチャの遅延処理に続いて、更に、ME残差、フラットネス、及びイントラACによる各ピクチャの絵柄の難度を示す実難度データの近似処理、近似処理された後の実難度データからの、圧縮映像データの目標データ量の算出処理、圧縮映像データのデータ量が、略目標データ量になるような圧縮符号化処理、等の各過程も実行される（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開2006-136010号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述した特許文献１に開示されているような、予め設定された画像領域分の統計データを基に、量子化パラメータを決定することを特徴とする符号量制御方法を採用した画像圧縮符号化装置では、高精度な符号量制御を実現することが可能である。それ故に、符号量予測に用いるアクティビティや、SAD（入力画像フレームと予測画像フレームとの間の誤差量、即ち、差分絶対値和のこと。以下同じ）等の統計データの量を１ピクチャ分以下に抑制することで、低遅延画像圧縮符号化装置（以下、「低遅延エンコーダ」と表記することもある。）にも適用することができる。特許文献１に係わる画像圧縮符号化装置のように、画像の統計データに基づく発生符号量予測によって量子化制御を行う場合に、設定された画像領域における統計データが全て取得された後でなければ量子化パラメータが決定できない。そのため、画像フレーム中の動画像の動き検出と、該画像フレ−ムにおける周波数成分の量子化との間に、上記画像の統計データ取得期間分の遅延時間を持たせる必要がある。
【０００５】
そこで、上記に鑑みて、特許文献１に係わる画像圧縮符号化装置では、以下のような対策が講じられている。即ち、動画像の動き検出処理を実行する構成と予測残差の生成処理を実行する構成との間に、第１の遅延用メモリを介在させ、上記動き検出処理を実行する構成と上記動画像の動き補償処理を実行する構成との間に、上記動き検出処理において生成された動きベクトル情報を遅延させるための第２の遅延用メモリを介在させることにした。これにより、上記画像の統計データ取得期間分の遅延時間を持たせることができる。
【０００６】
特許文献１に係わる画像圧縮符号化装置では、第１の遅延用メモリの後段側の構成、及び第２の遅延用メモリの後段側の構成を、上記画像圧縮符号化装置の後段側に位置付けられる復号化装置の構成と同一に設定することが可能である。そのため、上記画像圧縮符号化装置と上記復号化装置との間で回路部品を共用することができるので、装置設計に要する期間の短縮を図るのに有利である。また、動きベクトル情報は、データ量が小さいために、動きベクトル情報を遅延させることで該遅延に伴うメモリ容量の増大を抑制することができるから、装置コストの上昇の抑制を図るのに有利である。
【０００７】
しかし、MPEG-2の次の国際標準規格であるMPEG-4/AVC（MPEG-4/Advanced Video Coding）においては、特許文献１に係わる画像圧縮符号化装置のように、動きベクトル情報を遅延させ、設定された遅延時間の経過後に動き補償処理による予測画像（インタ予測画像：画面（画像フレーム）間予測画像）の作成を行うことによって、（画像圧縮符号化装置の）エンコード処理LSIと、該エンコードLSIに接続される外部メモリとの間で転送されるデータの量が増大するという問題が生じる。その理由は、MPEG-4/AVCのインタ予測画像作成処理が、MPEG-2のインタ予測画像作成処理に対し、以下に説明するような特徴を有するからである。
【０００８】
即ち、第１に、MPEG-4/AVCは、６タップフィルタリングによる小数画素生成方式を採用しており、予測画像フレーム生成のために大量の画像データを必要とするという特徴がある。第２に、MPEG-4/AVCの画面間予測（画像フレーム同士の間での予測）（インタ予測）では、画像フレーム上で区分される１個のマクロブロックを、最大で１６個の画像ブロックに分割して画面間予測を行うことが可能であるため、最大で上記１６個の画像ブロックの夫々に対し、予測画像を生成するという特徴がある。上記第１の特徴によって、輝度に係わるインタ予測の予測画像（インタ予測輝度画像）を作成するのに必要な輝度に係わる参照画像（参照輝度画像）のデータ量が、MPEG-2のそれに対し４倍以上と膨大な量になるという問題が生じる。
【０００９】
また、上記第２の特徴によって、特許文献１に係わる画像圧縮符号化装置のように、予測画像（フレーム）作成に必要な参照画像データを外部メモリから取得する場合には、該装置から外部メモリへのアクセスが、少ない画像データを複数回取得するというアクセスになるため、該装置と外部メモリとの間における画像データの転送効率が著しく悪化するという問題も生じる。これにより、画像圧縮符号化装置と外部メモリとの間におけるデータ転送に際しての帯域の確保のためのコストの上昇や、外部メモリから画像圧縮符号化装置へ転送されるデータ量の増大に伴う消費電力量の増大という問題が生じる。しかも、入力される画像情報の解像度が高解像度になるほど、動画像の圧縮に要するデータの転送帯域は大きくなるために、双方向データ通信における高解像度アプリケーションでは、コスト上昇や消費電力量の増大等の問題は、より深刻になる。
【００１０】
上述したように、特許文献１に係わる画像圧縮符号化装置では、量子化パラメータを決定するための遅延時間が経過した後に、インタ予測輝度画像を作成するための参照輝度画像を外部メモリから取得する。これにより、低遅延を必要とするMPEG-4/AVC規格を用いた高解像度アプリケーションへの応用の面で、（上記画像圧縮符号化装置の）エンコードLSIと、外部メモリとの間で転送されるデータの量が著しく増大し、非常に大きなデータ転送帯域が必要になるという問題がある。
【００１１】
従って本発明の目的は、画像圧縮符号化装置において、低遅延を必要とするMPEG-4/AVC規格を用いた高解像度アプリケーションへの適用を考慮して、エンコード処理LSIと外部メモリとの間で行われるデータ転送に必要な帯域を削減できるようにすることにある。
【課題を解決するための手段】
【００１２】
本発明の第１の観点に従う画像圧縮符号化装置は、入力された画像フレームに対し所定の符号化処理を施すことにより、上記画像フレームの情報量を圧縮するもので、入力された画像フレームから、その画像フレームについての輝度に係わるインタ予測処理（「画像フレーム間予測処理」のこと。以下同じ）を行ってインタ予測輝度画像フレームを生成するインタ予測輝度画像フレーム生成部と、上記インタ予測輝度画像フレーム生成部において生成されたインタ予測輝度画像フレームを入力し、所定時間経過後に、上記インタ予測輝度画像フレームを出力する第１の遅延部と、上記入力された画像フレームを入力し、所定時間経過後に、上記入力された画像フレームを出力する第２の遅延部と、を備える。
【００１３】
本発明の第１の観点に係る好適な実施形態では、上記所定時間が、上記インタ予測輝度画像フレームが上記第１の遅延部に入力されてから、上記入力された画像フレームに係わる量子化処理が可能になるまでに要する時間、又は上記入力された画像フレームが上記第２の遅延部に入力されてから、その画像フレームに係わる量子化処理が可能になるまでに要する時間である。
【００１４】
上記とは別の実施形態では、上記所定時間が、少なくとも３マクロブロック分の上記画像フレームが入力される時間以上に設定されている。
【００１５】
また、上記とは別の実施形態では、上記量子化処理が、上記入力された画像フレームに対する符号化処理後の符号量を予測するために算出される指標データに基づいて決定された量子化パラメータを用いて行われる。
【００１６】
また、上記とは別の実施形態では、上記入力した画像フレームから、色差に係わるインタ予測処理を行ってインタ予測色差画像フレームを生成するインタ予測色差画像フレーム生成部、を更に備える。
【００１７】
また、上記とは別の実施形態では、上記第１の遅延部が、上記インタ予測輝度画像フレームの格納が可能である外部メモリである。
【００１８】
また、上記とは別の実施形態では、上記第２の遅延部が、上記入力された画像フレームの格納が可能である外部メモリである。
【００１９】
また、上記とは別の実施形態では、上記第１の遅延部が、上記インタ予測輝度画像フレームの格納が可能である外部メモリであり、上記第２の遅延部が、上記入力された画像フレームの格納が可能である外部メモリである。
【００２０】
更に、上記とは別の実施形態では、上記第１の遅延部の入力側に、上記入力された画像フレームと上記インタ予測輝度画像フレームとの間の予測残差を生成する予測残差生成部を、上記第１の遅延部に出力側に、上記予測残差と上記入力された画像フレームとから上記インタ予測輝度画像フレームを再生させるインタ予測輝度画像フレーム再生部を、夫々備える。
【００２１】
本発明の第２の観点に従う画像圧縮符号化方法は、入力された画像フレームに対し所定の符号化処理を施すことにより、上記画像フレームの情報量を圧縮する画像圧縮符号化装置において、入力された画像フレームから、その画像フレームについての輝度に係わるインタ予測処理を行ってインタ予測輝度画像フレームを生成する第１のステップと、上記第１のステップにおいて生成されたインタ予測輝度画像フレームを第１の遅延部に入力し、所定時間経過後に、その第１の遅延部から上記インタ予測輝度画像フレームを出力する第２のステップと、上記入力された画像フレームを第２の遅延部に入力し、所定時間経過後に、その第２の遅延部から上記画像フレームを出力する第３のステップと、を備える。
【発明の効果】
【００２２】
本発明によれば、画像圧縮符号化装置において、低遅延を必要とするMPEG-4/AVC規格を用いた高解像度アプリケーションへの適用を考慮して、エンコード処理LSIと外部メモリとの間で行われるデータ転送に必要な帯域を削減できるようにすることができる。
【発明を実施するための最良の形態】
【００２３】
図１は、一般的な画像圧縮符号化装置の構成を示す機能ブロック図である。
【００２４】
図１に示す画像圧縮符号化装置では、該装置に入力される画像フレーム（以下、「入力画像フレーム」と表記する。）をより少ないデータ量のストリームに変換するための処理である符号化処理が、MPEG方式で行われる。そして、MPEG方式による符号化処理（即ち、MPEG符号化処理）では、画面内予測（画像フレーム内予測）と、画面間予測（画像フレーム間予測）という２種類の予測方式が用いられる。画面内予測方式を用いる符号化処理では、現在の入力画像フレームに対し、画面内予測処理部１による画面内予測処理、直交変換処理部３による直交変換処理、量子化処理部５による量子化処理、逆量子化処理部７による逆量子化処理、逆直交変換処理部９による逆直交変換処理、及び可変長符号化処理部１１による可変長符号化処理が夫々施される。これにより、ストリームが生成される。
【００２５】
一方、画面間予測方式を用いる符号化処理では、現在の入力画像フレームに対し、動き探索処理部１３による動き探索処理、動き補償処理部１５による動き補償処理、直交変換処理部３による直交変換処理、量子化処理部５による量子化処理、逆量子化処理部７による逆量子化処理、逆直交変換部９による逆直交変換処理、及び可変長符号化処理部１１による可変長符号化処理が夫々施される。これにより、ストリームが生成される。なお、量子化パラメータは、可変長符号化処理部１１による可変長符号化処理により生成されるストリームの出力量を基に、量子化制御部１７により決定される。
【００２６】
上記画像圧縮符号化装置において、画面内予測処理部１は、現在の入力画像フレームから、画面内予測情報と、現在の入力画像フレームよりも時間的に後に入力されるであろう画像フレームを予測するための予測画像フレームと、を生成する。画面内予測情報については、画面内予測処理部１から可変長符号化処理部１１に、また、予測画像フレームについては、画面内予測処理部１から減算器１９に、夫々出力される。減算器１９は、画面内予測処理部１から出力される予測画像データ（予測画像フレーム）と、上記入力画像データ（入力画像フレーム）との間の差分、即ち、予測残差を算出する。該算出された予測残差は、減算器１９から直交変換処理部３に出力される。直交変換処理部３は、減算器１９から出力される予測残差を基に、直交変換処理を施すことにより、周波数成分を生成する。該生成された周波数成分は、直交変換処理部３から量子化処理部５に出力される。
【００２７】
量子化処理部５は、直交変換処理部３から出力される周波数成分と、量子化制御部１７により決定された量子化パラメータと、を夫々入力する。そして、該量子化パラメータを基に、上記周波数成分を量子化する処理を行い、情報量を削減する。上記量子化された後の周波数成分は、量子化処理部５から可変長符号化処理部１１、及び逆量子化処理部７に夫々出力される。逆量子化処理部７は、量子化処理部５から出力される量子化された後の周波数成分を入力して、該量子化された後の周波数成分に対し、逆量子化処理を施すことにより、上記周波数成分の復元処理を行う。
【００２８】
逆直交変換処理部９は、逆量子化処理部７から出力される復元された周波数成分を入力する。そして、該復元された周波数成分に対し、逆直交変換処理を施すことにより、減算器１９によって算出された予測残差を復元する。該復元された予測残差は、逆直交変換処理部９から加算器２１に出力される。加算器２１は、逆直交変換処理部９から出力される上記復元された予測残差と、動き補償処理部１５により生成された予測画像データ（予測画像フレーム）と、を夫々入力する。そして、上記復元された予測残差を、上記予測画像データ（予測画像フレーム）に加算することにより参照画像データ（参照画像フレーム）を生成する。該生成された参照画像データ（参照画像フレーム）は、加算器２１により記憶部２３に記憶される。
【００２９】
動き探索処理部１３は、現在の入力画像フレームと、記憶部２３に記憶されている（現在の入力画像フレームよりも時間的に前の入力画像フレーム、現在の入力画像フレームを基に予測される、現在の入力画像フレームよりも時間的に後の入力画像フレームである）参照画像フレームと、を夫々入力する。そして、上記参照画像フレーム内において、現在の入力画像フレーム内の各々の領域に類似する領域を探索することにより、該類似する領域の位置を表す動きベクトルを生成する。該動きベクトルは、動き探索処理部１３から動き補償処理部１５、及び可変長符号化処理部１１に夫々出力される。動き補償処理部１５は、動き探索処理部１３から出力される動きベクトルを入力する。そして、該動きベクトルが示す位置を基に、対応する参照画像フレームを記憶部２３中から参照し、該参照画像フレームに対しフィルタリング処理を施すことにより、予測画像フレームを生成する。該生成された予測画像フレームは、動き補償処理部１５から減算器１９、加算器２１に夫々出力される。
【００３０】
可変長符号化処理部１１は、画面内予測処理部１から出力される画面内予測情報と、量子化処理部５から出力される量子化された後の周波数成分と、動き探索処理部１３から出力される動きベクトルと、を夫々入力する。そして、上記画面内予測情報、上記量子化された後の周波数成分、及び上記動きベクトルを、より少ないデータ量のデータ列に符号化する。該符号化されたデータ列は、ストリームとして可変長符号化処理部１１により記憶部２５に記憶される。
【００３１】
上述したMPEG等の技術は、高い画像品質を維持したまま、画像情報の持つデータ量を大きく削減することができるため、（画像情報の）蓄積メディア、放送、通信等、幅広い分野に適用されており、例えば、テレビ電話等の画像情報を用いた双方向データ通信のアプリケーションにおいても、MPEG方式が適用されている。しかし、双方向データ通信のアプリケーションにおいては、画像情報の高品質性、及び画像情報の高圧縮性に加えて、画像情報伝送の低遅延性が求められるため、蓄積メディアや、放送向けとは特性の異なる符号化装置が必要になる。
【００３２】
以下、本発明の実施の形態を、図面により詳細に説明する。
【００３３】
図２は、本発明の第１の実施形態に係わる画像圧縮符号化装置の全体構成を示す機能ブロック図である。
【００３４】
上記画像圧縮符号化装置は、図２に示すように、エンコード処理LSI１０１と、外部メモリ１０３と、ホストコンピュータ１０５と、を備える。エンコード処理LSI１０１は、画像圧縮符号化処理を実行するLSIである。エンコード処理LSI１０１は、画像特性解析部１１１、画面間予測処理部１１３、第１の加算器１１５、直交変換処理部１１７、量子化処理部１１９、可変長符号化処理部１２１、量子化制御部１２３、逆量子化処理部１２５、逆直交変換処理部１２７、第２の加算器１２９、予測選択回路１３１、及び画面内予測処理部１３３の各機能ブロックで夫々示される諸機能を備える。上記各機能ブロックの詳細については、後述する。
【００３５】
外部メモリ１０３は、エンコード処理LSI１０１が実行する画像圧縮符号化処理の過程において保持する必要のある（画像フレーム等の）画像情報を格納するための、エンコード処理LSI１０１の外部に設けられるメモリである。外部メモリ１０３は、フレームメモリとも称される。ホストコンピュータ１０５は、（エンコード処理LSI１０１の）画像特性解析部１１１が算出するアクティビティ（評価値）、及び（エンコード処理LSI１０１の）画面間予測処理部１１３が算出するSAD（差分絶対値和）等の指標データの統計を基に、量子化パラメータを決定するための指標を（エンコーダ処理LSI１０１の）量子化制御部１２３に出力するよう構成されている。本実施形態では、ホストコンピュータ１０５は、エンコード処理LSI１０１とは独立に存在しているが、エンコード処理LSI１０１の内部に組み込まれた状態で設置するようにしても差し支えない。
【００３６】
エンコード処理LSI１０１において、画像特性解析部１１１は、エンコード処理LSI１０１に入力される画像フレーム（入力画像フレーム）を圧縮処理した際の発生符号量の見積もりのために、上記入力画像フレームの空間的相関特性を解析する。画像特性解析部１１１は、例えば、特許文献１にも記載されているように、入力画像フレームにおけるフラットネスやイントラACデータのような絵柄の複雑さに関する評価値（アクティビティ）の算出を行う。該算出された評価値は、画像特性解析部１１１からホストコンピュータ１０５に出力される。画像特性解析部１１１は、更に、上記入力画像フレームを、画面間予測処理部１１３に出力する。
【００３７】
画面間予測処理部１１３は、画像特性解析部１１１から出力される上記入力画像フレーム、及び外部メモリ１０３から出力される（画像フレーム等の）画像情報を夫々入力する。そして、上記入力画像フレーム中の動画像の動き検出処理、及び動き補償処理を行う。画面間予測処理部１１３は、出力が遅延された上記入力画像フレームを、予測残差生成処理を行うための第１の加算器１１５に、また、画面間予測処理により得られる、出力が遅延された予測画像フレームを、予測選択回路１３１に、夫々出力する。画面間予測処理部１１３は、更に、上記動き検出処理において算出したSAD（差分絶対値和）を、ホストコンピュータ１０５に出力する。画面間予測処理部１１３の構成の詳細については、後述する。
【００３８】
予測選択回路１３１は、画面間予測処理部１１３から出力される上記出力が遅延された予測画像フレームの出力、及び画面内予測処理部１３３から出力される予測画像フレームの出力を、夫々受付ける。そして、上記双方の予測画像フレームのうちの、最適と判断される予測方法に係わる予測画像フレームを選択し、該選択した予測画像フレームを（予測残差生成処理を行うための）第１の加算器１１５、又は第２の加算器１２９に夫々出力する。
【００３９】
第１の加算器１１５は、画面間予測処理部１１３から出力される予測画像フレームと、予測選択回路１３１から出力される予測画像フレーム（画面間予測処理部１１３から出力される予測画像フレー）との間の差分、即ち、予測残差を算出する。該算出された予測残差は、第１の加算器１１５から直交変換処理部１１７に出力される。直交変換処理部１１７は、図１で示した直交変換処理部３と同様に、第１の加算器１１５から出力される予測残差を基に、直交変換処理を施すことにより、周波数成分を生成する。該生成された周波数成分は、直交変換処理部１１７から量子化処理部１１９に出力される。
【００４０】
量子化処理部１１９は、図１で示した量子化処理部５と同様に、直交変換処理部１１７から出力される周波数成分と、量子化制御部１２３により決定された量子化パラメータと、を夫々入力する。そして、該量子化パラメータを基に、上記周波数成分を量子化する処理を行い、情報量を削減する。上記量子化された後の周波数成分は、量子化処理部１１９から可変長符号化処理部１２１、及び逆量子化処理部１２５に夫々出力される。逆量子化処理部１２５は、図１で示した逆量子化処理部７と同様に、量子化処理部１１９から出力される量子化された後の周波数成分を入力して、該量子化された後の周波数成分に対し、逆量子化処理を施すことにより、上記周波数成分の復元処理を行う。上記復元された周波数成分は、逆量子化処理部１２５から逆直交変換処理部１２７に出力される。逆直交変換処理部１２７は、図１で示した逆直交変換処理部９と同様に、逆量子化処理部１２５から出力される復元された周波数成分を入力する。そして、該復元された周波数成分に対し、逆直交変換処理を施すことにより、第１の加算器１１５によって算出された予測残差を復元する。該復元された予測残差は、逆直交変換処理部１２７から第２の加算器１２９に出力される。
【００４１】
第２の加算器１２９は、逆直交変換処理部１２７から出力される上記復元された予測残差と、予測選択回路１３１から選択的に出力される予測画像データ（予測画像フレーム）と、を夫々入力する。そして、上記復元された予測残差を、上記予測画像フレームに加算することにより参照画像フレームを生成する。該生成された参照画像フレームは、第２の加算器１２９により画面内予測処理部１３３、及び外部メモリ１０３に夫々出力される。画面内予測処理部１３３は、第２の加算器１２９から出力される参照画像フレームから、画面内予測情報と、予測画像フレーム、即ち、現在の入力画像フレームよりも時間的に後に入力されるであろう画像フレームと、を生成する。上記予測画像フレームは、画面内予測処理部１３３から予測選択回路１３１に出力される。
【００４２】
可変長符号化処理部１２１は、量子化処理部１１９から出力される量子化された後の周波数成分を入力して、該量子化された後の周波数成分を、より少ないデータ量のデータ列に符号化する。該符号化されたデータ列は、ストリームとして可変長符号化処理部１２１により記憶部１３５に記憶されるのみならず、可変長符号化処理部１２１から量子化制御部１２３にも出力される。
【００４３】
量子化制御部１２３は、可変長符号化処理部１２１から出力される（上記符号化されたデータ列の）ストリームを入力する。量子化制御部１２３は、また、ホストコンピュータ１０５から出力されるアクティビティ、及びSAD（差分絶対値和）の統計データを基に算出された指標をも入力する。そして、上記（符号化されたデータ列の）ストリームの出力量、上記アクティビティ、及び上記指標を用いて量子化パラメータを決定する。該量子化パラメータは、量子化制御部１２３から量子化処理部１１９に出力される。
【００４４】
図３は、図２に記載の画面間予測処理部１１３の内部構成を示す機能ブロック図である。
【００４５】
上記画面間予測処理部１１３は、図３に示すように、動き検出処理部１４１、第１の遅延用メモリ１４３、インタ予測輝度画像作成処理部１４５、第２の遅延用メモリ１４７、第３の遅延用メモリ１４９、及びインタ予測色差画像作成処理部１５１の各機能ブロックで夫々示される諸機能を備える。
【００４６】
動き検出処理部１４１は、図２で示した画像特性解析部１１１からリアルタイムで出力される入力画像フレーム、及び図２で示した外部メモリ１０３から出力される参照輝度画像フレームを夫々入力する。そして、インタ予測による符号化のための動きベクトル（情報）を得るために、上記参照輝度画像フレームに対し、SAD（差分絶対値和）等を評価値としたブロックマッチング演算を施す。動き検出処理部１４１は、また、インタ予測を用いて入力した画像フレームに圧縮処理を加えた際の発生符号量見積もりのために、得られた動きベクトル（情報）に対応したSAD（差分絶対値和）等の評価値を、ホストコンピュータ１０５に出力する。動き検出処理部１４１は、また、インタ予測画像フレーム作成のために必要な輝度に係わる参照画像フレーム（参照輝度画像フレーム）を、外部メモリ１０３より読み出して、該参照画像フレームを、インタ予測輝度画像作成処理部１４５に出力する。動き検出処理部１４１は、また、上記（ブロックマッチング演算を施すことにより得られた）動きベクトル（情報）を、インタ予測輝度画像作成処理部１４５、及び第３の遅延用メモリ１４９に夫々出力する。動き検出処理部１４１は、更に、（図２で示した）画像特性解析部１１１からリアルタイムで出力される入力画像フレームを、第１の遅延用メモリ１４３に出力する。
【００４７】
インタ予測輝度画像作成処理部１４５は、動き検出処理部１４１から夫々出力される上記参照画像フレーム（参照輝度画像フレーム）、及び上記動きベクトル（情報）を入力する。そして、上記参照画像フレーム（参照輝度画像フレーム）、及び上記動きベクトル（情報）に基づき、６タップフィルタを用いて小数画素精度のインタ予測輝度画像フレームを作成し、該インタ予測輝度画像フレームを、第２の遅延用メモリ１４７に格納する。
【００４８】
第１の遅延用メモリ１４３は、動き検出処理部１４１からリアルタイムで出力される入力画像フレームを入力する。そして、（図２で示した）量子化制御部１２３において該入力画像フレームに対する量子化パラメータが決定され、（図２で示した量子化処理部１１９において）該入力画像フレームに対する量子化処理が可能になるまでの間（所定時間）、該入力画像フレームの（図２で示した）予測残差生成処理を行うための第１の加算器１１５への出力を遅延させる。なお、量子化制御部１２３が、上記入力画像フレームの量子化パラメータを決定するに際して、例えば、算出すべき統計データ量がマクロブロック１０００個分の画像領域であった場合には、上記所定時間は、少なくとも量子化制御部１２３が１０００個分の上記統計データを算出するのに要する時間に設定されるものとする。
【００４９】
第２の遅延用メモリ１４７は、インタ予測輝度画像作成処理部１４５から出力されるインタ予測輝度画像フレームを入力する。そして、量子化制御部１２３において上記入力画像フレームに対する量子化パラメータが決定され、量子化処理部１１９において上記入力画像フレームに対する量子化処理が可能になるまでの間（所定時間）、上記インタ予測輝度画像フレームの（図２で示した）予測選択回路１３１への出力を遅延させる。
【００５０】
第３の遅延用メモリ１４９は、動き検出処理部１４１から出力される上記（ブロックマッチング演算を施すことにより得られた）動きベクトル（情報）を入力する。そして、量子化制御部１２３において上記入力画像フレームに対する量子化パラメータが決定され、量子化処理部１１９において上記入力画像フレームに対する量子化処理が可能になるまでの間（所定時間）、上記動きベクトル（情報）のインタ予測色差画像作成処理部１５１への出力を遅延させる。なお、動きベクトル（情報）は、第３の遅延用メモリ１４９のみならず、（図２で示した）外部メモリ１０３に出力遅延の機能を持たせることによっても、その出力を遅延させることが可能である。
【００５１】
インタ予測色差画像作成処理部１５１は、上記所定時間の経過後に、第３の遅延用メモリ１４９から出力される上記動きベクトル（情報）を入力し、該動きベクトル（情報）を基に、色差についての参照画像フレーム（参照色差画像フレーム）を外部メモリ１０３から読み出す。ぞして、色差についてのインタ予測画像フレーム（インタ予測色差画像フレーム）を作成する。該作成されたインタ予測色差画像フレームは、インタ予測色差画像作成処理部１５１から（図２で示した）予測選択回路１３１に出力される。
【００５２】
上述したように、図３で示した画面間予測処理部１１３では、インタ予測画像フレームの作成処理を、インタ予測輝度画像作成処理部１４５によるインタ予測輝度画像フレームの作成処理と、インタ予測色差画像作成処理部１５１によるインタ予測色差画像フレームの作成処理とに分離し、インタ予測輝度画像作成処理部１４５を第２の遅延用メモリ１４７の前段に配置している。上記に加えて、上記画面間予測処理部１１３では、インタ予測色差画像作成処理部１５１を、第３の遅延用メモリ１４９の後段に配置している。これにより、画面間予測処理部１１３では、インタ予測輝度画像フレーム作成のために必要な参照輝度画像フレームを、外部メモリ１０３から画像フレームを読み出すこと無く、インタ予測画像フレームを作成できると共に、作成したインタ予測画像フレーム、及び（図２で示した）画像特性解析部１１１からリアルタイムで出力される入力画像フレームを、所定（の遅延）時間経過後に出力することができる。
【００５３】
そのため、図２で示した画像圧縮符号化装置によれば、エンコード処理LSI１０１と外部メモリ１０３との間で行われるデータの転送に使用される帯域に対して大きな負荷になるインタ予測輝度画像フレームを、エンコード処理LSI１０１が外部メモリ１０３から取得すること無しに、高精度な符号量予測に基づくレート制御が可能になる。これにより、エンコード処理LSI１０１と外部メモリ１０３との間で行われるデータの転送に使用される帯域を大きく削減することができ、低コストで且つ消費電力の小さな低遅延エンコーダが実現可能になり、来るべき双方向データ通信の時代において、地球環境に配慮したデータ通信システムが実現できる。
【００５４】
上述した本発明の第1の実施形態に係る画像圧縮符号化装置では、図３で示した構成の画面間予測処理部１１３を用いることにより、エンコード処理LSI１０１と外部メモリ１０３との間で行われるデータの転送に必要な帯域を、特許文献１に開示されているような構成の画像圧縮符号化装置と比較して大きく削減することができる。しかし、第１の実施形態に係る画像圧縮符号化装置では、画面間予測処理部１１３の内部に、大きなメモリ容量を有する遅延用メモリ（第２の遅延用メモリ１４７）が必要になる。そのため、（画像圧縮符号化装置の）ハードウェア規模に対して厳しい制約のある状況下では、第１の実施形態に係るような構成の画像圧縮符号化装置を実現させるのが困難な場合も想定され得る。
【００５５】
そこで、上記に鑑みて、本発明の第１の実施形態に係わる画像圧縮符号化装置よりも小さなハードウェア規模で、エンコード処理LSIと外部メモリとの間で行われるデータの転送に必要な帯域を、特許文献１に係わる画像圧縮符号化装置と比較して大きく削減できるようにしたのが、以下に説明する本発明の第２の実施形態に係わる画像圧縮符号化装置である。
図４は、本発明の第２の実施形態に係わる画像圧縮符号化装置の全体構成を示す機能ブロック図である。図４と図２とを比較対照して明らかなように、本発明の第２の実施形態に係わる画像圧縮符号化装置も、本発明の第１の実施形態に係わる画像圧縮符号化装置と同様に、エンコード処理LSIと、外部メモリと、ホストコンピュータと、を備える。そして、エンコード処理LSIは、画像特性解析部、画面間予測処理部、第１の加算器、直交変換処理部、量子化処理部、可変長符号化処理部、量子化制御部、逆量子化処理部、逆直交変換処理部、第２の加算器、予測選択回路、及び画面内予測処理部の各機能ブロックで夫々示される諸機能を備える。しかし、エンコード処理LSIを構成する上記各部のうち、画面間予測処理部の内部構成が、本発明の第２の実施形態と、本発明の第１の実施形態とでは相違している。そこで、図４においては、画面間予測処理部を除く各部については、夫々図２で示したのと同一符号を付し、画面間予測処理部についてのみ、新たな符号１３７を付すことにした。よって、図４に記載した各部についての詳細な説明は、省略する。
【００５６】
図５は、図４に記載の画面間予測処理部１３７の内部構成を示す機能ブロック図である。
【００５７】
図５と図３とを比較対照して明らかなように、上記画面間予測処理部１３７では、主に、図３で示した第２の遅延用メモリ１４７が備えられていない点で、図３で示した画面間予測処理部１１３と構成が相違する。即ち、上記画面間予測処理部１３７では、インタ予測輝度画像作成処理部１４５において作成されたインタ予測輝度画像フレームが、外部メモリ１０３により所定時間遅延されて出力される。上記画面間予測処理部１３７における一連の処理動作のうちの、動き検出処理部１４１における既述の処理動作から、インタ予測輝度画像作成処理部１４５における既述の処理動作までについては、画面間予測処理部１１３におけるのと同様である。よって、図５において、図３で示した物と同一物には同一符号を付してそれらの詳細な説明を省略する。
【００５８】
図５において、インタ予測輝度画像作成処理部１４５において作成されたインタ予測輝度画像フレームは、外部メモリ１０３に格納される。そして、図４で示した量子化制御部１２３において、入力画像フレームに係わる量子化パラメータが決定され、直交変換処理部１１７からの出力に対する量子化処理が可能になるまでの所定時間が経過すると、外部メモリ１０３に格納されている上記インタ予測輝度画像フレームが、遅延インタ予測輝度画像フレームとして外部メモリ１０３から読み出される。該遅延インタ予測輝度画像フレームは、図４で示した予測選択回路１３１へ出力される。
【００５９】
画面間予測処理部１３７を含む図４で示した画像圧縮符号化装置における上記以降の処理動作については、図２、及び図３で示した本発明の第１の実施形態に係る画像圧縮符号化装置、及び画面間予測処理部１１３におけるのと同様であるので、詳細な説明を省略する。
【００６０】
上述したように、本発明の第２の実施形態に係る画像圧縮符号化装置では、インタ予測輝度画像作成処理部１４５において作成されたインタ予測輝度画像フレームが、一旦外部メモリ１０３に格納されることで、外部メモリ１０３において所定時間経過した後に出力されるようになっているため、エンコード処理LSI１０１と外部メモリ１０３との間で、２マクロブロック分のインタ予測輝度画像フレームの転送を行う必要がある。しかし、特許文献１に係わる画像圧縮符号化装置では、エンコード処理LSIと外部メモリとの間で５マクロブロック分のインタ予測輝度画像フレームの転送を行う必要があったから、本発明の第２の実施形態に係る画像圧縮符号化装置の方が、特許文献１に係わる画像圧縮符号化装置よりも、上記転送に用いられる帯域を小さくすることが可能になった。なお、１マクロブロック分の（インタ予測）輝度画像フレームの転送は、フルHD（1920×1080）の解像度において、１秒当り約500Mbitのデータ量の転送に相当する。また、ハードウェア規模で本発明の第２の実施形態に係わる画像圧縮符号化装置と、本発明の第１の実施形態に係わる画像圧縮符号化装置とを比較した場合に、前者の方が、後者よりもハードウェア規模を小さくすることができる。
【００６１】
以上説明したように、本発明の第２の実施形態によれば、本発明の第１の実施形態におけるよりも小さなハードウェア規模での画像圧縮符号化装置の実現が可能になる。また、エンコード処理LSIと外部メモリとの間の（インタ予測）輝度画像フレームの転送に必要な帯域を、特許文献１に係わる画像圧縮符号化装置におけるそれよりも大幅に削減することも可能になる。従って、本発明の第２の実施形態によれば、画像圧縮符号化装置（低遅延エンコーダ）のハードウェア規模に関して厳しい制約がある場合においても、エンコード処理LSIと外部メモリとの間の（インタ予測）輝度画像フレームの転送に必要な帯域を大幅に削減できると共に、低価格で、且つ、消費電力の小さな画像圧縮符号化装置（低遅延エンコーダ）が実現できる。
【００６２】
上述した本発明の第２の実施形態に係る画像圧縮符号化装置では、図５で示した構成の画面間予測処理部１３７を用いることにより、画像圧縮符号化装置のハードウェア規模に厳しい制約がある場合においても、エンコード処理LSIと外部メモリとの間での（インタ予測）輝度画像フレームの転送に必要な帯域を特許文献１に係わる画像圧縮符号化装置におけるそれよりも大幅に削減することができた。しかし、本発明の第２の実施形態においては、画面間予測処理部１３７内に、大容量の遅延用メモリ（第１の遅延用メモリ）１４３が必要であるため、画像圧縮符号化装置のハードウェア規模により厳しい制約がある状況下では、上記画像圧縮符号化装置の実現が困難な場合が生じる。
【００６３】
そこで、上記に鑑みて、本発明の第２の実施形態に係わる画像圧縮符号化装置よりも小さなハードウェア規模で、エンコード処理LSIと外部メモリとの間で行われるデータの転送に必要な帯域を、特許文献１に係わる画像圧縮符号化装置と比較して大きく削減できるようにしたのが、以下に説明する本発明の第３の実施形態に係わる画像圧縮符号化装置である。
【００６４】
図６は、本発明の第３の実施形態に係わる画像圧縮符号化装置の全体構成を示す機能ブロック図である。
【００６５】
図６と図２とを比較対照して明らかなように、本発明の第３の実施形態に係わる画像圧縮符号化装置も、本発明の第１の実施形態に係わる画像圧縮符号化装置と同様に、エンコード処理LSIと、外部メモリと、ホストコンピュータと、を備える。そして、エンコード処理LSIは、画像特性解析部、画面間予測処理部、第１の加算器、直交変換処理部、量子化処理部、可変長符号化処理部、量子化制御部、逆量子化処理部、逆直交変換処理部、第２の加算器、予測選択回路、及び画面内予測処理部の各機能ブロックで夫々示される諸機能を備える。しかし、エンコード処理LSIを構成する上記各部のうち、画面間予測処理部の内部構成が、本発明の第３の実施形態と、本発明の第１の実施形態とでは相違している。そこで、図６においては、画面間予測処理部を除く各部については、夫々図２で示したのと同一符号を付し、画面間予測処理部についてのみ、新たな符号１３９を付すことにした。よって、図６に記載した各部についての詳細な説明は、省略する。
【００６６】
図７は、図６に記載の画面間予測処理部１３９の内部構成を示す機能ブロック図である。
【００６７】
図７と図３とを比較対照して明らかなように、上記画面間予測処理部１３９では、主に、図３で示した第１の遅延用メモリ１４３が備えられていない点で、図３で示した画面間予測処理部１１３と構成が相違する。即ち、上記画面間予測処理部１３９では、動き検出処理部１４１から出力される入力画像フレームが、外部メモリ１０３により所定時間遅延されて出力される。上記画面間予測処理部１３９における一連の処理動作のうちの、動き検出処理部１４１における既述の処理動作については、画面間予測処理部１１３におけるのと同様である。よって、図７において、図３で示した物と同一物には同一符号を付してそれらの詳細な説明を省略する。
【００６８】
図７において、動き検出処理部１４１から出力される入六画像フレームは、外部メモリ１０３に格納される。そして、図６で示した量子化制御部１２３において、入力画像フレームに係わる量子化パラメータが決定され、直交変換処理部１１７からの出力に対する量子化処理が可能になるまでの所定時間が経過すると、外部メモリ１０３に格納されている上記入力画像フレームが、遅延入力画像フレームとして外部メモリ１０３から読み出される。該入力画像フレームは、図６で示した予測残差生成処理を行う第１の加算器１１５へ出力される。
【００６９】
画面間予測処理部１３９を含む図６で示した画像圧縮符号化装置における上記以降の処理動作については、図２、及び図３で示した本発明の第１の実施形態に係わる画像圧縮符号化装置、及び画面間予測処理部１１３におけるのと同様であるので、詳細な説明を省略する。
【００７０】
上述したように、本発明の第３の実施形態に係わる画像圧縮符号化装置では、動き検出処理部１４１から出力される入力画像フレームが、一旦外部メモリ１０３に格納されることで、外部メモリ１０３において所定時間経過した後に出力されるようになっているため、エンコード処理LSI１０１と外部メモリ１０３との間で、３マクロブロック分に相当するインタ予測輝度画像フレームの転送を行う必要がある。しかし、特許文献１に係わる画像圧縮符号化装置では、エンコード処理LSIと外部メモリとの間で５マクロブロック分のインタ予測輝度画像フレームの転送を行う必要があったから、本発明の第３の実施形態に係わる画像圧縮符号化装置の方が、上記転送に用いられる帯域を小さくすることが可能になった。
【００７１】
また、ハードウェア規模での比較において、入力画像フレームは、輝度と色差とを有するから、入力画像フレームの出力を遅延させるための第１の遅延用メモリ１４３のメモリ容量は、輝度（データ）の出力を遅延させるための第２の遅延用メモリ１４７のメモリ容量よりも大きい。よって、本発明の第３の実施形態に係わる画像圧縮符号化装置と、本発明の第２の実施形態に係わる画像圧縮符号化装置とを比較した場合に、前者の方が、後者よりもハードウェア規模を小さくすることができる。
【００７２】
以上説明したように、本発明の第３の実施形態によれば、本発明の第２の実施形態におけるよりも小さなハードウェア規模での画像圧縮符号化装置の実現が可能になる。また、エンコード処理LSIと外部メモリとの間の（インタ予測）輝度画像フレームの転送に必要な帯域を、特許文献１に係わる画像圧縮符号化装置におけるそれよりも大幅に削減することも可能になる。従って、本発明の第３の実施形態によれば、画像圧縮符号化装置（低遅延エンコーダ）のハードウェア規模に関してより厳しい制約がある場合においても、エンコード処理LSIと外部メモリとの間の（インタ予測）輝度画像フレームの転送に必要な帯域を大幅に削減できると共に、低価格で、且つ、消費電力の小さな画像圧縮符号化装置（低遅延エンコーダ）が実現できる。
【００７３】
上述した本発明の第３の実施形態に係わる画像圧縮符号化装置では、図７で示した構成の画面間予測処理部１３９を用いることにより、画像圧縮符号化装置のハードウェア規模に厳しい制約がある場合においても、エンコード処理LSIと外部メモリとの間での（インタ予測）輝度画像フレームの転送に必要な帯域を特許文献１に係わる画像圧縮符号化装置におけるそれよりも大幅に削減することができる。しかし、本発明の第３の実施形態においては、画面間予測処理部１３９内に、大容量の遅延用メモリ（第２の遅延用メモリ）１４７が必要であるため、画像圧縮符号化装置のハードウェア規模により厳しい制約がある状況下では、上記画像圧縮符号化装置の実現が困難な場合が生じる。
【００７４】
そこで、上記に鑑みて、第３の実施形態に係る画像圧縮符号化装置よりも小さなハードウェア規模で、エンコード処理LSIと外部メモリとの間で行われるデータの転送に必要な帯域を、特許文献１に係わる画像圧縮符号化装置と比較して大きく削減できるようにしたのが、以下に説明する本発明の第４の実施形態に係わる画像圧縮符号化装置である。
【００７５】
図８は、本発明の第４の実施形態に係わる画像圧縮符号化装置の全体構成を示す機能ブロック図である。
【００７６】
図８と図２とを比較対照して明らかなように、本発明の第３の実施形態に係わる画像圧縮符号化装置も、本発明の第１の実施形態に係わる画像圧縮符号化装置と同様に、エンコード処理LSIと、外部メモリと、ホストコンピュータと、を備える。そして、エンコード処理LSIは、画像特性解析部、画面間予測処理部、第１の加算器、直交変換処理部、量子化処理部、可変長符号化処理部、量子化制御部、逆量子化処理部、逆直交変換処理部、第２の加算器、予測選択回路、及び画面内予測処理部の各機能ブロックで夫々示される諸機能を備える。しかし、エンコード処理LSIを構成する上記各部のうち、画面間予測処理部の内部構成が、本発明の第４の実施形態と、本発明の第１の実施形態とでは相違している。そこで、図８においては、画面間予測処理部を除く各部については、夫々図２で示したのと同一符号を付し、画面間予測処理部についてのみ、新たな符号１８１を付すことにした。よって、図８に記載した各部についての詳細な説明は、省略する。
【００７７】
図９は、図８に記載の画面間予測処理部の内部構成を示す機能ブロック図である。
【００７８】
図９と図３とを比較対照して明らかなように、上記画面間予測処理部１８１では、主に、図３で示した第１の遅延用メモリ１４３と、第２の遅延用メモリ１４７とが備えられていない点で、図３で示した画面間予測処理部１１３と構成が相違する。即ち、上記画面間予測処理部１８１では、動き検出処理部１４１から出力される入力画像フレーム、及びインタ予測輝度画像作成処理部１４５において作成されたインタ予測輝度画像フレームが、外部メモリ１０３により所定時間遅延されて出力される。上記画面間予測処理部１８１における一連の処理動作のうちの、動き検出処理部１４１における既述の処理動作、及びインタ予測輝度画像作成処理部１４５における既述の処理動作については、画面間予測処理部１１３におけるのと同様である。よって、図９において、図３で示した物と同一物には同一符号を付してそれらの詳細な説明を省略する。
【００７９】
図９において、動き検出処理部１４１から出力される入六画像フレームは、外部メモリ１０３に格納される。そして、図８で示した量子化制御部１２３において、画像圧縮符号化装置に入力される画像フレームに係わる量子化パラメータが決定され、直交変換処理部１１７からの出力に対する量子化処理が可能になるまでの所定時間が経過すると、外部メモリ１０３に格納されている上記入力画像フレームが、遅延入力画像フレームとして外部メモリ１０３から読み出される。該入力画像フレームは、図６で示した予測残差生成処理を行う第１の加算器１１５へ出力される。また、インタ予測輝度画像作成処理部１４５では、動き検出処理部１４１による上記一連の処理動作が終了すると、インタ予測輝度画像フレームが作成され、該作成されたインタ予測輝度画像フレームの外部メモリ１０３への格納が行われる。そして、図８で示した量子化制御部１２３において、入力画像フレームに係わる量子化パラメータが決定され、直交変換処理部１１７からの出力に対する量子化処理が可能になるまでの所定時間が経過すると、外部メモリ１０３に格納されている上記インタ予測輝度画像フレームが、遅延インタ予測輝度画像フレームとして外部メモリ１０３から読み出される。該遅延インタ予測輝度画像フレームは、図８で示した予測選択回路１３１へ出力される。
【００８０】
画面間予測処理部１８１を含む図８で示した画像圧縮符号化装置における上記以降の処理動作については、図２、及び図３で示した本発明の第１の実施形態に係わる画像圧縮符号化装置、及び画面間予測処理部 におけるのと同様であるので、詳細な説明を省略する。
【００８１】
上述したように、本発明の第４の実施形態に係わる画像圧縮符号化装置では、動き検出処理部１４１から出力される入力画像フレーム、及びインタ予測輝度画像作成処理部１４５から出力されるインタ予測輝度画像フレームが、一旦外部メモリ１０３に格納されることで、外部メモリ１０３において所定時間経過した後に出力されるようになっている。そのため、エンコード処理LSI１０１と外部メモリ１０３との間で、５マクロブロック分に相当する（入力画像フレームやインタ予測輝度画像フレーム等の）量のデータ転送を行う必要があるが、高い転送効率でデータ転送を行うことができる。一方、特許文献１に係わる画像圧縮符号化装置では、エンコード処理LSIと外部メモリとの間で５マクロブロック分のインタ予測輝度画像フレームの転送を行う必要があるが、一般的にインタ予測輝度画像フレームを作成するためには、任意の位置における矩形画像データを外部メモリから読み出す必要があるので、データの転送効率は非常に低い。よって、本発明の第４の実施形態に係わる画像圧縮符号化装置の方が、上記転送に用いられる帯域を小さくすることが可能である。
【００８２】
また、ハードウェア規模での比較において、本発明の第４の実施形態に係わるエンコード処理LSIの方が、本発明の第３の実施形態に係わるエンコード処理LSIよりも小さなハードウェア規模で実現できることも、また、特許文献１に係わるエンコード処理LSIよりも小さなハードウェア規模で実現できることも明らかである。本発明の第４の実施形態においては、入力画像フレーム、及びインタ予測輝度画像フレーム等の遅延させて出力すべき主要データを、非常に大きな容量を持つ外部メモリに一旦格納しておくことによってそれらデータの出力を遅延させるという特徴があるので、量子化パラメータを決定するのに用いる指標を算出する画像領域を任意の大きさに設定することができ、より高精度の符号量制御が可能になる。
【００８３】
以上説明したように、本発明の第４の実施形態によれば、本発明の第３の実施形態におけるよりも小さなハードウェア規模での画像圧縮符号化装置の実現が可能になる。また、エンコード処理LSIと外部メモリとの間の（インタ予測）輝度画像フレームの転送に必要な帯域を、特許文献１に係わる画像圧縮符号化装置におけるそれよりも大幅に削減することも可能になる。従って、本発明の第４の実施形態によれば、画像圧縮符号化装置（低遅延エンコーダ）のハードウェア規模に関してより厳しい制約がある場合においても、エンコード処理LSIと外部メモリとの間の入力画像フレームや、（インタ予測）輝度画像フレーム等のデータの転送に必要な帯域を大幅に削減できると共に、低価格で、且つ、消費電力の小さな画像圧縮符号化装置（低遅延エンコーダ）が実現できる。
【００８４】
上述した本発明の第１の実施形態に係わる画像圧縮符号化装置、乃至本発明の第４の実施形態に係わる画像圧縮符号化装置においては、何れもインタ予測輝度画像フレームの出力を遅延させることにより、特許文献１に係わる画像圧縮符号化装置におけるよりも、エンコード処理LSIと外部メモリとの間でのデータの転送帯域の大幅な削減を実現することができる。しかし、本発明の基本的な特徴は、遅延用メモリ（第１〜第３）や外部メモリ等の、データの出力を遅延させるための回路要素よりも前段の位置にて、インタ予測輝度画像フレームを作成する点にあるので、上述した回路要素により出力が遅延されるデータは、インタ予測輝度画像フレームに限定されない。インタ予測輝度画像フレームが作成された後から、量子化処理部１１９による、直交変換処理部１１７から出力される周波数成分に対する量子化処理が行われるまでの間の輝度に係わる如何なるデータについても、該データを一旦格納することにより、その出力を遅延させることが可能である。
【００８５】
図１０は、本発明の第５の実施形態に係わる画像圧縮符号化装置の全体構成を示す機能ブロック図である。
【００８６】
本発明の第５の実施形態に係わる画像圧縮符号化装置は、主に、輝度に係わるデータ、即ち、例えば、インタ予測輝度画像フレーム等の出力を遅延させるためのものである。
【００８７】
図１０と図２とを比較対照して明らかなように、本発明の第５の実施形態に係わる画像圧縮符号化装置も、本発明の第１の実施形態に係わる画像圧縮符号化装置と同様に、エンコード処理LSIと、外部メモリと、ホストコンピュータと、を備える。そして、エンコード処理LSIは、画像特性解析部、画面間予測処理部、第１の加算器、直交変換処理部、量子化処理部、可変長符号化処理部、量子化制御部、逆量子化処理部、逆直交変換処理部、第２の加算器、予測選択回路、及び画面内予測処理部の各機能ブロックで夫々示される諸機能を備える。しかし、エンコード処理LSIを構成する上記各部のうち、画面間予測処理部の内部構成が、本発明の第５の実施形態と、本発明の第１の実施形態とでは相違している。そこで、図１０においては、画面間予測処理部を除く各部については、夫々図２で示したのと同一符号を付し、画面間予測処理部についてのみ、新たな符号１８３を付すことにした。よって、図１０に記載した各部についての詳細な説明は、省略する。
【００８８】
図１１は、図１０に記載の画面間予測処理部１８３の内部構成を示す機能ブロック図である。
【００８９】
図１１と図３とを比較対照して明らかなように、上記画面間予測処理部１８３では、第２の遅延用メモリ１４７の入力側と出力側とに、夫々加算器２０１、２０３が備えられている点で、図３で示した画面間予測処理部１１３と構成が相違する。即ち、（第２の遅延用メモリ１４７の入力側に備えられる）加算器２０１は、予測残差生成処理を行う加算器（以下、「予測残差生成用加算器」と表記する。）であり、また、（第２の遅延用メモリ１４７の出力側に備えられる）加算器２０３は、予測残差再生成処理を行う加算器（以下、「予測残差再生成用加算器」と表記する。）である。従って予測残差生成用加算器２０１からの出力は、第２の遅延用メモリ１４７に、予測残差再生成用加算器２０３からの出力は、（図１０で示した）予測選択回路１３１に、夫々入力される。
【００９０】
上記画面間予測処理部１８３では、予測残差生成用加算器２０１は、動き検出処理部１４１から出力される入力画像フレームと、インタ予測輝度画像作成処理部１４５から出力されるインタ予測輝度画像フレームとの差分を取り、予測残差を生成して、該予測残差を第２の遅延用メモリ１４７に格納する。一方、予測残差再生成用加算器２０３は、第１の遅延用メモリ１４３から既述の所定時間経過後に出力される入力画像フレームと、第２の遅延用メモリ１４７から既述の所定時間経過後に出力される上記予測残差との間の差分を取り、予測画像フレームを生成し、該予測画像フレームを（図１０で示した）予測選択回路１３１に出力する。
【００９１】
本発明の第５の実施形態に係わる画像圧縮符号化装置では、上記構成の画面間予測処理部 を備えることにより、特許文献１に係わる画像圧縮符号化装置におけるエンコード処理LSIと外部メモリとの間でのデータの転送帯域の増大に対処する。
【００９２】
上記画面間予測処理部１８３における一連の処理動作のうちの、動き検出処理部１４１における既述の処理動作、及びインタ予測輝度画像作成処理部１４５における既述の処理動作については、画面間予測処理部１１３におけるのと同様である。よって、図１１において、図３で示した物と同一物には同一符号を付してそれらの詳細な説明を省略する。
【００９３】
図１１において、インタ予測輝度画像作成処理部１４５において作成されたインタ予測輝度画像フレームは、予測残差生成用加算器２０１に出力される。予測残差生成用加算器２０１では、既述のように、動き検出処理部１４１からの入力画像フレームと、インタ予測輝度画像作成処理部１４５からのインタ予測輝度画像フレームとから、予測残差が生成され、該予測残差が、第２の遅延用メモリ１４７に格納される。一方、動き検出処理部１４１から出力される入力画像フレームは、第１の遅延用メモリ１４３に格納される。そして、図１０で示した量子化制御部１２３において、該入力画像フレームに係わる量子化パラメータが決定され、直交変換処理部１１７からの出力に対する量子化処理が可能になるまでの所定時間が経過すると、第２の遅延用メモリ１４７に格納されている上記予測残差が、第２の遅延用メモリ１４７から予測残差再生成用加算器２０３に出力される。
【００９４】
予測残差再生成用加算器２０３では、第２の遅延用メモリ１４７からの上記予測残差と、第１の遅延用メモリ１４３からの上記入力画像フレームとから、インタ予測輝度画像作成処理部１４５が作成したのと同様のインタ予測輝度画像フレームが作成される。該インタ予測輝度画像フレームは、予測残差再生成用加算器２０３から（図１０で示した）予測選択回路１３１に出力される。
【００９５】
画面間予測処理部１８３を含む図１０で示した画像圧縮符号化装置における上記以降の処理動作については、図２、及び図３で示した本発明の第１の実施形態に係る画像圧縮符号化装置、及び画面間予測処理部１１３におけるのと同様であるので、詳細な説明を省略する。
【００９６】
以上説明したように、本発明の第５の実施形態に係わる画像圧縮符号化装置では、（入力画像フレームとインタ予測輝度画像フレームとの間の）予測残差を生成し、該予測残差を所定時間経過後に出力し、該出力を遅延させた予測残差を用いてインタ予測輝度画像フレームを復元する処理動作が行われる。しかし、これら一連の処理動作以外の処理動作については、本発明の第１の実施形態に係わる画像圧縮符号化装置と同様である。なお、第２の遅延用メモリ１４７から出力される予測残差（のデータ）を、予測残差再生成用加算器２０３、及び図１０で示した（予測残差生成処理を行う）第１の加算器１１５を介さずに、直接直交変換処理部１１７に出力ずる構成とすることで、第１の加算器１１５における演算処理に要する消費電力を削減することも可能である。
【００９７】
また、本発明の第５の実施形態に係わる画像圧縮符号化装置においても、入力画像フレーム、及び予測残差等のデータ出力を、上述したような遅延用メモリのようなエンコード処理LSIに内蔵されるメモリを用いて遅延させるか、或いは、外部メモリ１０３のような、エンコード処理LSIに対して外付けのメモリを用いて遅延させるか、或いは、上記内蔵メモリと外付けのメモリとの適宜な組み合わせにより遅延させるかを選択することによって、本発明の第１の実施形態の変形例として位置付けられる本発明の第２乃至第４の実施形態のような変形も可能である。更には、図１１で示した第２の遅延用メモリ１４７の入力側に、図１０で示した直交変換処理部１１７を、出力側に、図１０で示した逆直交変換処理部１２７を、夫々配置すれば、出力を遅延させるデータを、画像情報の輝度における直交変換処理後の係数として利用することも可能になる。
【００９８】
以上説明したように、本発明の第５の実施形態によれば、エンコード処理LSIと外部メモリとの間でのデータの転送に必要な帯域に対して大きな負荷になるインタ予測輝度画像フレームを、外部メモリから取得すること無しに、高精度な符号量予測に基づくレート制御が可能になる。これにより、エンコード処理LSI１０１と外部メモリ１０３との間で行われるデータの転送に使用される帯域を大幅に削減することができ、低コストで且つ消費電力の小さな低遅延エンコーダが実現可能になり、来るべき双方向データ通信の時代において、地球環境に配慮したデータ通信システムが実現できる。
【００９９】
以上、本発明の好適な実施形態を説明したが、これらは本発明の説明のための例示であって、本発明の範囲をこれらの実施形態にのみ限定する趣旨ではない。本発明は、他の種々の形態でも実施することが可能である。
【図面の簡単な説明】
【０１００】
【図１】一般的な画像圧縮符号化装置の構成を示す機能ブロック図。
【図２】本発明の第１の実施形態に係わる画像圧縮符号化装置の全体構成を示す機能ブロック図。
【図３】図２に記載した画面間予測処理部の内部構成を示す機能ブロック図。
【図４】本発明の第２の実施形態に係わる画像圧縮符号化装置の全体構成を示す機能ブロック図。
【図５】図４に記載した画面間予測処理部の内部構成を示す機能ブロック図。
【図６】本発明の第３の実施形態に係わる画像圧縮符号化装置の全体構成を示す機能ブロック図。
【図７】図６に記載した画面間予測処理部の内部構成を示す機能ブロック図。
【図８】本発明の第４の実施形態に係わる画像圧縮符号化装置の全体構成を示す機能ブロック図。
【図９】図８に記載した画面間予測処理部の内部構成を示す機能ブロック図。
【図１０】本発明の第５の実施形態に係わる画像圧縮符号化装置の全体構成を示す機能ブロック図。
【図１１】図１０に記載した画面間予測処理部の内部構成を示す機能ブロック図。
【符号の説明】
【０１０１】
１０１ エンコード処理LSI
１０３ 外部メモリ
１０５ ホストコンピュータ
１１１ 画像特性解析部
１１３ 画面間予測処理部
１１５ 第１の加算器
１１７ 直交変換処理部
１１９ 量子化処理部
１２１ 可変長符号化処理部
１２３ 量子化制御部
１２５ 逆量子化処理部
１２７ 逆直交変換処理部
１２９ 第２の加算器
１３１ 予測選択回路
１３３ 画面内予測処理部
１４１ 動き検出処理部
１４３ 第１の遅延用メモリ
１４５ インタ予測輝度画像作成処理部
１４７ 第２の遅延用メモリ
１４９ 第３の遅延用メモリ
１５１ インタ予測色差画像作成処理部
２０１ 予測残差生成用加算器
２０３ 予測残差再生成用加算器
【技術分野】
【０００１】
本発明は、入力された画像フレームに対し所定の符号化処理を施すことにより、前記画像フレームの情報量を圧縮する画像圧縮符号化方法、及び装置に関する。
【背景技術】
【０００２】
従来、映像データ圧縮技術の分野において、適切なデータ量を持つ圧縮映像データを生成することが可能で、且つ、映像データの圧縮処理に要する時間を短縮することが可能な装置の提供を目的とした提案が知られている。該提案では、映像データを圧縮符号化するための前処理、フラットネス、及びイントラACの生成（フラットス、及びイントラACは、Iピクチャに圧縮されるピクチャの絵柄の難度を示すパラメータである）、映像の動き予測の予測誤差量（ME残差）の算出、入力された映像データの各ピクチャの遅延処理、等の各過程が実行される。該提案では、上記映像データの各ピクチャの遅延処理に続いて、更に、ME残差、フラットネス、及びイントラACによる各ピクチャの絵柄の難度を示す実難度データの近似処理、近似処理された後の実難度データからの、圧縮映像データの目標データ量の算出処理、圧縮映像データのデータ量が、略目標データ量になるような圧縮符号化処理、等の各過程も実行される（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開2006-136010号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述した特許文献１に開示されているような、予め設定された画像領域分の統計データを基に、量子化パラメータを決定することを特徴とする符号量制御方法を採用した画像圧縮符号化装置では、高精度な符号量制御を実現することが可能である。それ故に、符号量予測に用いるアクティビティや、SAD（入力画像フレームと予測画像フレームとの間の誤差量、即ち、差分絶対値和のこと。以下同じ）等の統計データの量を１ピクチャ分以下に抑制することで、低遅延画像圧縮符号化装置（以下、「低遅延エンコーダ」と表記することもある。）にも適用することができる。特許文献１に係わる画像圧縮符号化装置のように、画像の統計データに基づく発生符号量予測によって量子化制御を行う場合に、設定された画像領域における統計データが全て取得された後でなければ量子化パラメータが決定できない。そのため、画像フレーム中の動画像の動き検出と、該画像フレ−ムにおける周波数成分の量子化との間に、上記画像の統計データ取得期間分の遅延時間を持たせる必要がある。
【０００５】
そこで、上記に鑑みて、特許文献１に係わる画像圧縮符号化装置では、以下のような対策が講じられている。即ち、動画像の動き検出処理を実行する構成と予測残差の生成処理を実行する構成との間に、第１の遅延用メモリを介在させ、上記動き検出処理を実行する構成と上記動画像の動き補償処理を実行する構成との間に、上記動き検出処理において生成された動きベクトル情報を遅延させるための第２の遅延用メモリを介在させることにした。これにより、上記画像の統計データ取得期間分の遅延時間を持たせることができる。
【０００６】
特許文献１に係わる画像圧縮符号化装置では、第１の遅延用メモリの後段側の構成、及び第２の遅延用メモリの後段側の構成を、上記画像圧縮符号化装置の後段側に位置付けられる復号化装置の構成と同一に設定することが可能である。そのため、上記画像圧縮符号化装置と上記復号化装置との間で回路部品を共用することができるので、装置設計に要する期間の短縮を図るのに有利である。また、動きベクトル情報は、データ量が小さいために、動きベクトル情報を遅延させることで該遅延に伴うメモリ容量の増大を抑制することができるから、装置コストの上昇の抑制を図るのに有利である。
【０００７】
しかし、MPEG-2の次の国際標準規格であるMPEG-4/AVC（MPEG-4/Advanced Video Coding）においては、特許文献１に係わる画像圧縮符号化装置のように、動きベクトル情報を遅延させ、設定された遅延時間の経過後に動き補償処理による予測画像（インタ予測画像：画面（画像フレーム）間予測画像）の作成を行うことによって、（画像圧縮符号化装置の）エンコード処理LSIと、該エンコードLSIに接続される外部メモリとの間で転送されるデータの量が増大するという問題が生じる。その理由は、MPEG-4/AVCのインタ予測画像作成処理が、MPEG-2のインタ予測画像作成処理に対し、以下に説明するような特徴を有するからである。
【０００８】
即ち、第１に、MPEG-4/AVCは、６タップフィルタリングによる小数画素生成方式を採用しており、予測画像フレーム生成のために大量の画像データを必要とするという特徴がある。第２に、MPEG-4/AVCの画面間予測（画像フレーム同士の間での予測）（インタ予測）では、画像フレーム上で区分される１個のマクロブロックを、最大で１６個の画像ブロックに分割して画面間予測を行うことが可能であるため、最大で上記１６個の画像ブロックの夫々に対し、予測画像を生成するという特徴がある。上記第１の特徴によって、輝度に係わるインタ予測の予測画像（インタ予測輝度画像）を作成するのに必要な輝度に係わる参照画像（参照輝度画像）のデータ量が、MPEG-2のそれに対し４倍以上と膨大な量になるという問題が生じる。
【０００９】
また、上記第２の特徴によって、特許文献１に係わる画像圧縮符号化装置のように、予測画像（フレーム）作成に必要な参照画像データを外部メモリから取得する場合には、該装置から外部メモリへのアクセスが、少ない画像データを複数回取得するというアクセスになるため、該装置と外部メモリとの間における画像データの転送効率が著しく悪化するという問題も生じる。これにより、画像圧縮符号化装置と外部メモリとの間におけるデータ転送に際しての帯域の確保のためのコストの上昇や、外部メモリから画像圧縮符号化装置へ転送されるデータ量の増大に伴う消費電力量の増大という問題が生じる。しかも、入力される画像情報の解像度が高解像度になるほど、動画像の圧縮に要するデータの転送帯域は大きくなるために、双方向データ通信における高解像度アプリケーションでは、コスト上昇や消費電力量の増大等の問題は、より深刻になる。
【００１０】
上述したように、特許文献１に係わる画像圧縮符号化装置では、量子化パラメータを決定するための遅延時間が経過した後に、インタ予測輝度画像を作成するための参照輝度画像を外部メモリから取得する。これにより、低遅延を必要とするMPEG-4/AVC規格を用いた高解像度アプリケーションへの応用の面で、（上記画像圧縮符号化装置の）エンコードLSIと、外部メモリとの間で転送されるデータの量が著しく増大し、非常に大きなデータ転送帯域が必要になるという問題がある。
【００１１】
従って本発明の目的は、画像圧縮符号化装置において、低遅延を必要とするMPEG-4/AVC規格を用いた高解像度アプリケーションへの適用を考慮して、エンコード処理LSIと外部メモリとの間で行われるデータ転送に必要な帯域を削減できるようにすることにある。
【課題を解決するための手段】
【００１２】
本発明の第１の観点に従う画像圧縮符号化装置は、入力された画像フレームに対し所定の符号化処理を施すことにより、上記画像フレームの情報量を圧縮するもので、入力された画像フレームから、その画像フレームについての輝度に係わるインタ予測処理（「画像フレーム間予測処理」のこと。以下同じ）を行ってインタ予測輝度画像フレームを生成するインタ予測輝度画像フレーム生成部と、上記インタ予測輝度画像フレーム生成部において生成されたインタ予測輝度画像フレームを入力し、所定時間経過後に、上記インタ予測輝度画像フレームを出力する第１の遅延部と、上記入力された画像フレームを入力し、所定時間経過後に、上記入力された画像フレームを出力する第２の遅延部と、を備える。
【００１３】
本発明の第１の観点に係る好適な実施形態では、上記所定時間が、上記インタ予測輝度画像フレームが上記第１の遅延部に入力されてから、上記入力された画像フレームに係わる量子化処理が可能になるまでに要する時間、又は上記入力された画像フレームが上記第２の遅延部に入力されてから、その画像フレームに係わる量子化処理が可能になるまでに要する時間である。
【００１４】
上記とは別の実施形態では、上記所定時間が、少なくとも３マクロブロック分の上記画像フレームが入力される時間以上に設定されている。
【００１５】
また、上記とは別の実施形態では、上記量子化処理が、上記入力された画像フレームに対する符号化処理後の符号量を予測するために算出される指標データに基づいて決定された量子化パラメータを用いて行われる。
【００１６】
また、上記とは別の実施形態では、上記入力した画像フレームから、色差に係わるインタ予測処理を行ってインタ予測色差画像フレームを生成するインタ予測色差画像フレーム生成部、を更に備える。
【００１７】
また、上記とは別の実施形態では、上記第１の遅延部が、上記インタ予測輝度画像フレームの格納が可能である外部メモリである。
【００１８】
また、上記とは別の実施形態では、上記第２の遅延部が、上記入力された画像フレームの格納が可能である外部メモリである。
【００１９】
また、上記とは別の実施形態では、上記第１の遅延部が、上記インタ予測輝度画像フレームの格納が可能である外部メモリであり、上記第２の遅延部が、上記入力された画像フレームの格納が可能である外部メモリである。
【００２０】
更に、上記とは別の実施形態では、上記第１の遅延部の入力側に、上記入力された画像フレームと上記インタ予測輝度画像フレームとの間の予測残差を生成する予測残差生成部を、上記第１の遅延部に出力側に、上記予測残差と上記入力された画像フレームとから上記インタ予測輝度画像フレームを再生させるインタ予測輝度画像フレーム再生部を、夫々備える。
【００２１】
本発明の第２の観点に従う画像圧縮符号化方法は、入力された画像フレームに対し所定の符号化処理を施すことにより、上記画像フレームの情報量を圧縮する画像圧縮符号化装置において、入力された画像フレームから、その画像フレームについての輝度に係わるインタ予測処理を行ってインタ予測輝度画像フレームを生成する第１のステップと、上記第１のステップにおいて生成されたインタ予測輝度画像フレームを第１の遅延部に入力し、所定時間経過後に、その第１の遅延部から上記インタ予測輝度画像フレームを出力する第２のステップと、上記入力された画像フレームを第２の遅延部に入力し、所定時間経過後に、その第２の遅延部から上記画像フレームを出力する第３のステップと、を備える。
【発明の効果】
【００２２】
本発明によれば、画像圧縮符号化装置において、低遅延を必要とするMPEG-4/AVC規格を用いた高解像度アプリケーションへの適用を考慮して、エンコード処理LSIと外部メモリとの間で行われるデータ転送に必要な帯域を削減できるようにすることができる。
【発明を実施するための最良の形態】
【００２３】
図１は、一般的な画像圧縮符号化装置の構成を示す機能ブロック図である。
【００２４】
図１に示す画像圧縮符号化装置では、該装置に入力される画像フレーム（以下、「入力画像フレーム」と表記する。）をより少ないデータ量のストリームに変換するための処理である符号化処理が、MPEG方式で行われる。そして、MPEG方式による符号化処理（即ち、MPEG符号化処理）では、画面内予測（画像フレーム内予測）と、画面間予測（画像フレーム間予測）という２種類の予測方式が用いられる。画面内予測方式を用いる符号化処理では、現在の入力画像フレームに対し、画面内予測処理部１による画面内予測処理、直交変換処理部３による直交変換処理、量子化処理部５による量子化処理、逆量子化処理部７による逆量子化処理、逆直交変換処理部９による逆直交変換処理、及び可変長符号化処理部１１による可変長符号化処理が夫々施される。これにより、ストリームが生成される。
【００２５】
一方、画面間予測方式を用いる符号化処理では、現在の入力画像フレームに対し、動き探索処理部１３による動き探索処理、動き補償処理部１５による動き補償処理、直交変換処理部３による直交変換処理、量子化処理部５による量子化処理、逆量子化処理部７による逆量子化処理、逆直交変換部９による逆直交変換処理、及び可変長符号化処理部１１による可変長符号化処理が夫々施される。これにより、ストリームが生成される。なお、量子化パラメータは、可変長符号化処理部１１による可変長符号化処理により生成されるストリームの出力量を基に、量子化制御部１７により決定される。
【００２６】
上記画像圧縮符号化装置において、画面内予測処理部１は、現在の入力画像フレームから、画面内予測情報と、現在の入力画像フレームよりも時間的に後に入力されるであろう画像フレームを予測するための予測画像フレームと、を生成する。画面内予測情報については、画面内予測処理部１から可変長符号化処理部１１に、また、予測画像フレームについては、画面内予測処理部１から減算器１９に、夫々出力される。減算器１９は、画面内予測処理部１から出力される予測画像データ（予測画像フレーム）と、上記入力画像データ（入力画像フレーム）との間の差分、即ち、予測残差を算出する。該算出された予測残差は、減算器１９から直交変換処理部３に出力される。直交変換処理部３は、減算器１９から出力される予測残差を基に、直交変換処理を施すことにより、周波数成分を生成する。該生成された周波数成分は、直交変換処理部３から量子化処理部５に出力される。
【００２７】
量子化処理部５は、直交変換処理部３から出力される周波数成分と、量子化制御部１７により決定された量子化パラメータと、を夫々入力する。そして、該量子化パラメータを基に、上記周波数成分を量子化する処理を行い、情報量を削減する。上記量子化された後の周波数成分は、量子化処理部５から可変長符号化処理部１１、及び逆量子化処理部７に夫々出力される。逆量子化処理部７は、量子化処理部５から出力される量子化された後の周波数成分を入力して、該量子化された後の周波数成分に対し、逆量子化処理を施すことにより、上記周波数成分の復元処理を行う。
【００２８】
逆直交変換処理部９は、逆量子化処理部７から出力される復元された周波数成分を入力する。そして、該復元された周波数成分に対し、逆直交変換処理を施すことにより、減算器１９によって算出された予測残差を復元する。該復元された予測残差は、逆直交変換処理部９から加算器２１に出力される。加算器２１は、逆直交変換処理部９から出力される上記復元された予測残差と、動き補償処理部１５により生成された予測画像データ（予測画像フレーム）と、を夫々入力する。そして、上記復元された予測残差を、上記予測画像データ（予測画像フレーム）に加算することにより参照画像データ（参照画像フレーム）を生成する。該生成された参照画像データ（参照画像フレーム）は、加算器２１により記憶部２３に記憶される。
【００２９】
動き探索処理部１３は、現在の入力画像フレームと、記憶部２３に記憶されている（現在の入力画像フレームよりも時間的に前の入力画像フレーム、現在の入力画像フレームを基に予測される、現在の入力画像フレームよりも時間的に後の入力画像フレームである）参照画像フレームと、を夫々入力する。そして、上記参照画像フレーム内において、現在の入力画像フレーム内の各々の領域に類似する領域を探索することにより、該類似する領域の位置を表す動きベクトルを生成する。該動きベクトルは、動き探索処理部１３から動き補償処理部１５、及び可変長符号化処理部１１に夫々出力される。動き補償処理部１５は、動き探索処理部１３から出力される動きベクトルを入力する。そして、該動きベクトルが示す位置を基に、対応する参照画像フレームを記憶部２３中から参照し、該参照画像フレームに対しフィルタリング処理を施すことにより、予測画像フレームを生成する。該生成された予測画像フレームは、動き補償処理部１５から減算器１９、加算器２１に夫々出力される。
【００３０】
可変長符号化処理部１１は、画面内予測処理部１から出力される画面内予測情報と、量子化処理部５から出力される量子化された後の周波数成分と、動き探索処理部１３から出力される動きベクトルと、を夫々入力する。そして、上記画面内予測情報、上記量子化された後の周波数成分、及び上記動きベクトルを、より少ないデータ量のデータ列に符号化する。該符号化されたデータ列は、ストリームとして可変長符号化処理部１１により記憶部２５に記憶される。
【００３１】
上述したMPEG等の技術は、高い画像品質を維持したまま、画像情報の持つデータ量を大きく削減することができるため、（画像情報の）蓄積メディア、放送、通信等、幅広い分野に適用されており、例えば、テレビ電話等の画像情報を用いた双方向データ通信のアプリケーションにおいても、MPEG方式が適用されている。しかし、双方向データ通信のアプリケーションにおいては、画像情報の高品質性、及び画像情報の高圧縮性に加えて、画像情報伝送の低遅延性が求められるため、蓄積メディアや、放送向けとは特性の異なる符号化装置が必要になる。
【００３２】
以下、本発明の実施の形態を、図面により詳細に説明する。
【００３３】
図２は、本発明の第１の実施形態に係わる画像圧縮符号化装置の全体構成を示す機能ブロック図である。
【００３４】
上記画像圧縮符号化装置は、図２に示すように、エンコード処理LSI１０１と、外部メモリ１０３と、ホストコンピュータ１０５と、を備える。エンコード処理LSI１０１は、画像圧縮符号化処理を実行するLSIである。エンコード処理LSI１０１は、画像特性解析部１１１、画面間予測処理部１１３、第１の加算器１１５、直交変換処理部１１７、量子化処理部１１９、可変長符号化処理部１２１、量子化制御部１２３、逆量子化処理部１２５、逆直交変換処理部１２７、第２の加算器１２９、予測選択回路１３１、及び画面内予測処理部１３３の各機能ブロックで夫々示される諸機能を備える。上記各機能ブロックの詳細については、後述する。
【００３５】
外部メモリ１０３は、エンコード処理LSI１０１が実行する画像圧縮符号化処理の過程において保持する必要のある（画像フレーム等の）画像情報を格納するための、エンコード処理LSI１０１の外部に設けられるメモリである。外部メモリ１０３は、フレームメモリとも称される。ホストコンピュータ１０５は、（エンコード処理LSI１０１の）画像特性解析部１１１が算出するアクティビティ（評価値）、及び（エンコード処理LSI１０１の）画面間予測処理部１１３が算出するSAD（差分絶対値和）等の指標データの統計を基に、量子化パラメータを決定するための指標を（エンコーダ処理LSI１０１の）量子化制御部１２３に出力するよう構成されている。本実施形態では、ホストコンピュータ１０５は、エンコード処理LSI１０１とは独立に存在しているが、エンコード処理LSI１０１の内部に組み込まれた状態で設置するようにしても差し支えない。
【００３６】
エンコード処理LSI１０１において、画像特性解析部１１１は、エンコード処理LSI１０１に入力される画像フレーム（入力画像フレーム）を圧縮処理した際の発生符号量の見積もりのために、上記入力画像フレームの空間的相関特性を解析する。画像特性解析部１１１は、例えば、特許文献１にも記載されているように、入力画像フレームにおけるフラットネスやイントラACデータのような絵柄の複雑さに関する評価値（アクティビティ）の算出を行う。該算出された評価値は、画像特性解析部１１１からホストコンピュータ１０５に出力される。画像特性解析部１１１は、更に、上記入力画像フレームを、画面間予測処理部１１３に出力する。
【００３７】
画面間予測処理部１１３は、画像特性解析部１１１から出力される上記入力画像フレーム、及び外部メモリ１０３から出力される（画像フレーム等の）画像情報を夫々入力する。そして、上記入力画像フレーム中の動画像の動き検出処理、及び動き補償処理を行う。画面間予測処理部１１３は、出力が遅延された上記入力画像フレームを、予測残差生成処理を行うための第１の加算器１１５に、また、画面間予測処理により得られる、出力が遅延された予測画像フレームを、予測選択回路１３１に、夫々出力する。画面間予測処理部１１３は、更に、上記動き検出処理において算出したSAD（差分絶対値和）を、ホストコンピュータ１０５に出力する。画面間予測処理部１１３の構成の詳細については、後述する。
【００３８】
予測選択回路１３１は、画面間予測処理部１１３から出力される上記出力が遅延された予測画像フレームの出力、及び画面内予測処理部１３３から出力される予測画像フレームの出力を、夫々受付ける。そして、上記双方の予測画像フレームのうちの、最適と判断される予測方法に係わる予測画像フレームを選択し、該選択した予測画像フレームを（予測残差生成処理を行うための）第１の加算器１１５、又は第２の加算器１２９に夫々出力する。
【００３９】
第１の加算器１１５は、画面間予測処理部１１３から出力される予測画像フレームと、予測選択回路１３１から出力される予測画像フレーム（画面間予測処理部１１３から出力される予測画像フレー）との間の差分、即ち、予測残差を算出する。該算出された予測残差は、第１の加算器１１５から直交変換処理部１１７に出力される。直交変換処理部１１７は、図１で示した直交変換処理部３と同様に、第１の加算器１１５から出力される予測残差を基に、直交変換処理を施すことにより、周波数成分を生成する。該生成された周波数成分は、直交変換処理部１１７から量子化処理部１１９に出力される。
【００４０】
量子化処理部１１９は、図１で示した量子化処理部５と同様に、直交変換処理部１１７から出力される周波数成分と、量子化制御部１２３により決定された量子化パラメータと、を夫々入力する。そして、該量子化パラメータを基に、上記周波数成分を量子化する処理を行い、情報量を削減する。上記量子化された後の周波数成分は、量子化処理部１１９から可変長符号化処理部１２１、及び逆量子化処理部１２５に夫々出力される。逆量子化処理部１２５は、図１で示した逆量子化処理部７と同様に、量子化処理部１１９から出力される量子化された後の周波数成分を入力して、該量子化された後の周波数成分に対し、逆量子化処理を施すことにより、上記周波数成分の復元処理を行う。上記復元された周波数成分は、逆量子化処理部１２５から逆直交変換処理部１２７に出力される。逆直交変換処理部１２７は、図１で示した逆直交変換処理部９と同様に、逆量子化処理部１２５から出力される復元された周波数成分を入力する。そして、該復元された周波数成分に対し、逆直交変換処理を施すことにより、第１の加算器１１５によって算出された予測残差を復元する。該復元された予測残差は、逆直交変換処理部１２７から第２の加算器１２９に出力される。
【００４１】
第２の加算器１２９は、逆直交変換処理部１２７から出力される上記復元された予測残差と、予測選択回路１３１から選択的に出力される予測画像データ（予測画像フレーム）と、を夫々入力する。そして、上記復元された予測残差を、上記予測画像フレームに加算することにより参照画像フレームを生成する。該生成された参照画像フレームは、第２の加算器１２９により画面内予測処理部１３３、及び外部メモリ１０３に夫々出力される。画面内予測処理部１３３は、第２の加算器１２９から出力される参照画像フレームから、画面内予測情報と、予測画像フレーム、即ち、現在の入力画像フレームよりも時間的に後に入力されるであろう画像フレームと、を生成する。上記予測画像フレームは、画面内予測処理部１３３から予測選択回路１３１に出力される。
【００４２】
可変長符号化処理部１２１は、量子化処理部１１９から出力される量子化された後の周波数成分を入力して、該量子化された後の周波数成分を、より少ないデータ量のデータ列に符号化する。該符号化されたデータ列は、ストリームとして可変長符号化処理部１２１により記憶部１３５に記憶されるのみならず、可変長符号化処理部１２１から量子化制御部１２３にも出力される。
【００４３】
量子化制御部１２３は、可変長符号化処理部１２１から出力される（上記符号化されたデータ列の）ストリームを入力する。量子化制御部１２３は、また、ホストコンピュータ１０５から出力されるアクティビティ、及びSAD（差分絶対値和）の統計データを基に算出された指標をも入力する。そして、上記（符号化されたデータ列の）ストリームの出力量、上記アクティビティ、及び上記指標を用いて量子化パラメータを決定する。該量子化パラメータは、量子化制御部１２３から量子化処理部１１９に出力される。
【００４４】
図３は、図２に記載の画面間予測処理部１１３の内部構成を示す機能ブロック図である。
【００４５】
上記画面間予測処理部１１３は、図３に示すように、動き検出処理部１４１、第１の遅延用メモリ１４３、インタ予測輝度画像作成処理部１４５、第２の遅延用メモリ１４７、第３の遅延用メモリ１４９、及びインタ予測色差画像作成処理部１５１の各機能ブロックで夫々示される諸機能を備える。
【００４６】
動き検出処理部１４１は、図２で示した画像特性解析部１１１からリアルタイムで出力される入力画像フレーム、及び図２で示した外部メモリ１０３から出力される参照輝度画像フレームを夫々入力する。そして、インタ予測による符号化のための動きベクトル（情報）を得るために、上記参照輝度画像フレームに対し、SAD（差分絶対値和）等を評価値としたブロックマッチング演算を施す。動き検出処理部１４１は、また、インタ予測を用いて入力した画像フレームに圧縮処理を加えた際の発生符号量見積もりのために、得られた動きベクトル（情報）に対応したSAD（差分絶対値和）等の評価値を、ホストコンピュータ１０５に出力する。動き検出処理部１４１は、また、インタ予測画像フレーム作成のために必要な輝度に係わる参照画像フレーム（参照輝度画像フレーム）を、外部メモリ１０３より読み出して、該参照画像フレームを、インタ予測輝度画像作成処理部１４５に出力する。動き検出処理部１４１は、また、上記（ブロックマッチング演算を施すことにより得られた）動きベクトル（情報）を、インタ予測輝度画像作成処理部１４５、及び第３の遅延用メモリ１４９に夫々出力する。動き検出処理部１４１は、更に、（図２で示した）画像特性解析部１１１からリアルタイムで出力される入力画像フレームを、第１の遅延用メモリ１４３に出力する。
【００４７】
インタ予測輝度画像作成処理部１４５は、動き検出処理部１４１から夫々出力される上記参照画像フレーム（参照輝度画像フレーム）、及び上記動きベクトル（情報）を入力する。そして、上記参照画像フレーム（参照輝度画像フレーム）、及び上記動きベクトル（情報）に基づき、６タップフィルタを用いて小数画素精度のインタ予測輝度画像フレームを作成し、該インタ予測輝度画像フレームを、第２の遅延用メモリ１４７に格納する。
【００４８】
第１の遅延用メモリ１４３は、動き検出処理部１４１からリアルタイムで出力される入力画像フレームを入力する。そして、（図２で示した）量子化制御部１２３において該入力画像フレームに対する量子化パラメータが決定され、（図２で示した量子化処理部１１９において）該入力画像フレームに対する量子化処理が可能になるまでの間（所定時間）、該入力画像フレームの（図２で示した）予測残差生成処理を行うための第１の加算器１１５への出力を遅延させる。なお、量子化制御部１２３が、上記入力画像フレームの量子化パラメータを決定するに際して、例えば、算出すべき統計データ量がマクロブロック１０００個分の画像領域であった場合には、上記所定時間は、少なくとも量子化制御部１２３が１０００個分の上記統計データを算出するのに要する時間に設定されるものとする。
【００４９】
第２の遅延用メモリ１４７は、インタ予測輝度画像作成処理部１４５から出力されるインタ予測輝度画像フレームを入力する。そして、量子化制御部１２３において上記入力画像フレームに対する量子化パラメータが決定され、量子化処理部１１９において上記入力画像フレームに対する量子化処理が可能になるまでの間（所定時間）、上記インタ予測輝度画像フレームの（図２で示した）予測選択回路１３１への出力を遅延させる。
【００５０】
第３の遅延用メモリ１４９は、動き検出処理部１４１から出力される上記（ブロックマッチング演算を施すことにより得られた）動きベクトル（情報）を入力する。そして、量子化制御部１２３において上記入力画像フレームに対する量子化パラメータが決定され、量子化処理部１１９において上記入力画像フレームに対する量子化処理が可能になるまでの間（所定時間）、上記動きベクトル（情報）のインタ予測色差画像作成処理部１５１への出力を遅延させる。なお、動きベクトル（情報）は、第３の遅延用メモリ１４９のみならず、（図２で示した）外部メモリ１０３に出力遅延の機能を持たせることによっても、その出力を遅延させることが可能である。
【００５１】
インタ予測色差画像作成処理部１５１は、上記所定時間の経過後に、第３の遅延用メモリ１４９から出力される上記動きベクトル（情報）を入力し、該動きベクトル（情報）を基に、色差についての参照画像フレーム（参照色差画像フレーム）を外部メモリ１０３から読み出す。ぞして、色差についてのインタ予測画像フレーム（インタ予測色差画像フレーム）を作成する。該作成されたインタ予測色差画像フレームは、インタ予測色差画像作成処理部１５１から（図２で示した）予測選択回路１３１に出力される。
【００５２】
上述したように、図３で示した画面間予測処理部１１３では、インタ予測画像フレームの作成処理を、インタ予測輝度画像作成処理部１４５によるインタ予測輝度画像フレームの作成処理と、インタ予測色差画像作成処理部１５１によるインタ予測色差画像フレームの作成処理とに分離し、インタ予測輝度画像作成処理部１４５を第２の遅延用メモリ１４７の前段に配置している。上記に加えて、上記画面間予測処理部１１３では、インタ予測色差画像作成処理部１５１を、第３の遅延用メモリ１４９の後段に配置している。これにより、画面間予測処理部１１３では、インタ予測輝度画像フレーム作成のために必要な参照輝度画像フレームを、外部メモリ１０３から画像フレームを読み出すこと無く、インタ予測画像フレームを作成できると共に、作成したインタ予測画像フレーム、及び（図２で示した）画像特性解析部１１１からリアルタイムで出力される入力画像フレームを、所定（の遅延）時間経過後に出力することができる。
【００５３】
そのため、図２で示した画像圧縮符号化装置によれば、エンコード処理LSI１０１と外部メモリ１０３との間で行われるデータの転送に使用される帯域に対して大きな負荷になるインタ予測輝度画像フレームを、エンコード処理LSI１０１が外部メモリ１０３から取得すること無しに、高精度な符号量予測に基づくレート制御が可能になる。これにより、エンコード処理LSI１０１と外部メモリ１０３との間で行われるデータの転送に使用される帯域を大きく削減することができ、低コストで且つ消費電力の小さな低遅延エンコーダが実現可能になり、来るべき双方向データ通信の時代において、地球環境に配慮したデータ通信システムが実現できる。
【００５４】
上述した本発明の第1の実施形態に係る画像圧縮符号化装置では、図３で示した構成の画面間予測処理部１１３を用いることにより、エンコード処理LSI１０１と外部メモリ１０３との間で行われるデータの転送に必要な帯域を、特許文献１に開示されているような構成の画像圧縮符号化装置と比較して大きく削減することができる。しかし、第１の実施形態に係る画像圧縮符号化装置では、画面間予測処理部１１３の内部に、大きなメモリ容量を有する遅延用メモリ（第２の遅延用メモリ１４７）が必要になる。そのため、（画像圧縮符号化装置の）ハードウェア規模に対して厳しい制約のある状況下では、第１の実施形態に係るような構成の画像圧縮符号化装置を実現させるのが困難な場合も想定され得る。
【００５５】
そこで、上記に鑑みて、本発明の第１の実施形態に係わる画像圧縮符号化装置よりも小さなハードウェア規模で、エンコード処理LSIと外部メモリとの間で行われるデータの転送に必要な帯域を、特許文献１に係わる画像圧縮符号化装置と比較して大きく削減できるようにしたのが、以下に説明する本発明の第２の実施形態に係わる画像圧縮符号化装置である。
図４は、本発明の第２の実施形態に係わる画像圧縮符号化装置の全体構成を示す機能ブロック図である。図４と図２とを比較対照して明らかなように、本発明の第２の実施形態に係わる画像圧縮符号化装置も、本発明の第１の実施形態に係わる画像圧縮符号化装置と同様に、エンコード処理LSIと、外部メモリと、ホストコンピュータと、を備える。そして、エンコード処理LSIは、画像特性解析部、画面間予測処理部、第１の加算器、直交変換処理部、量子化処理部、可変長符号化処理部、量子化制御部、逆量子化処理部、逆直交変換処理部、第２の加算器、予測選択回路、及び画面内予測処理部の各機能ブロックで夫々示される諸機能を備える。しかし、エンコード処理LSIを構成する上記各部のうち、画面間予測処理部の内部構成が、本発明の第２の実施形態と、本発明の第１の実施形態とでは相違している。そこで、図４においては、画面間予測処理部を除く各部については、夫々図２で示したのと同一符号を付し、画面間予測処理部についてのみ、新たな符号１３７を付すことにした。よって、図４に記載した各部についての詳細な説明は、省略する。
【００５６】
図５は、図４に記載の画面間予測処理部１３７の内部構成を示す機能ブロック図である。
【００５７】
図５と図３とを比較対照して明らかなように、上記画面間予測処理部１３７では、主に、図３で示した第２の遅延用メモリ１４７が備えられていない点で、図３で示した画面間予測処理部１１３と構成が相違する。即ち、上記画面間予測処理部１３７では、インタ予測輝度画像作成処理部１４５において作成されたインタ予測輝度画像フレームが、外部メモリ１０３により所定時間遅延されて出力される。上記画面間予測処理部１３７における一連の処理動作のうちの、動き検出処理部１４１における既述の処理動作から、インタ予測輝度画像作成処理部１４５における既述の処理動作までについては、画面間予測処理部１１３におけるのと同様である。よって、図５において、図３で示した物と同一物には同一符号を付してそれらの詳細な説明を省略する。
【００５８】
図５において、インタ予測輝度画像作成処理部１４５において作成されたインタ予測輝度画像フレームは、外部メモリ１０３に格納される。そして、図４で示した量子化制御部１２３において、入力画像フレームに係わる量子化パラメータが決定され、直交変換処理部１１７からの出力に対する量子化処理が可能になるまでの所定時間が経過すると、外部メモリ１０３に格納されている上記インタ予測輝度画像フレームが、遅延インタ予測輝度画像フレームとして外部メモリ１０３から読み出される。該遅延インタ予測輝度画像フレームは、図４で示した予測選択回路１３１へ出力される。
【００５９】
画面間予測処理部１３７を含む図４で示した画像圧縮符号化装置における上記以降の処理動作については、図２、及び図３で示した本発明の第１の実施形態に係る画像圧縮符号化装置、及び画面間予測処理部１１３におけるのと同様であるので、詳細な説明を省略する。
【００６０】
上述したように、本発明の第２の実施形態に係る画像圧縮符号化装置では、インタ予測輝度画像作成処理部１４５において作成されたインタ予測輝度画像フレームが、一旦外部メモリ１０３に格納されることで、外部メモリ１０３において所定時間経過した後に出力されるようになっているため、エンコード処理LSI１０１と外部メモリ１０３との間で、２マクロブロック分のインタ予測輝度画像フレームの転送を行う必要がある。しかし、特許文献１に係わる画像圧縮符号化装置では、エンコード処理LSIと外部メモリとの間で５マクロブロック分のインタ予測輝度画像フレームの転送を行う必要があったから、本発明の第２の実施形態に係る画像圧縮符号化装置の方が、特許文献１に係わる画像圧縮符号化装置よりも、上記転送に用いられる帯域を小さくすることが可能になった。なお、１マクロブロック分の（インタ予測）輝度画像フレームの転送は、フルHD（1920×1080）の解像度において、１秒当り約500Mbitのデータ量の転送に相当する。また、ハードウェア規模で本発明の第２の実施形態に係わる画像圧縮符号化装置と、本発明の第１の実施形態に係わる画像圧縮符号化装置とを比較した場合に、前者の方が、後者よりもハードウェア規模を小さくすることができる。
【００６１】
以上説明したように、本発明の第２の実施形態によれば、本発明の第１の実施形態におけるよりも小さなハードウェア規模での画像圧縮符号化装置の実現が可能になる。また、エンコード処理LSIと外部メモリとの間の（インタ予測）輝度画像フレームの転送に必要な帯域を、特許文献１に係わる画像圧縮符号化装置におけるそれよりも大幅に削減することも可能になる。従って、本発明の第２の実施形態によれば、画像圧縮符号化装置（低遅延エンコーダ）のハードウェア規模に関して厳しい制約がある場合においても、エンコード処理LSIと外部メモリとの間の（インタ予測）輝度画像フレームの転送に必要な帯域を大幅に削減できると共に、低価格で、且つ、消費電力の小さな画像圧縮符号化装置（低遅延エンコーダ）が実現できる。
【００６２】
上述した本発明の第２の実施形態に係る画像圧縮符号化装置では、図５で示した構成の画面間予測処理部１３７を用いることにより、画像圧縮符号化装置のハードウェア規模に厳しい制約がある場合においても、エンコード処理LSIと外部メモリとの間での（インタ予測）輝度画像フレームの転送に必要な帯域を特許文献１に係わる画像圧縮符号化装置におけるそれよりも大幅に削減することができた。しかし、本発明の第２の実施形態においては、画面間予測処理部１３７内に、大容量の遅延用メモリ（第１の遅延用メモリ）１４３が必要であるため、画像圧縮符号化装置のハードウェア規模により厳しい制約がある状況下では、上記画像圧縮符号化装置の実現が困難な場合が生じる。
【００６３】
そこで、上記に鑑みて、本発明の第２の実施形態に係わる画像圧縮符号化装置よりも小さなハードウェア規模で、エンコード処理LSIと外部メモリとの間で行われるデータの転送に必要な帯域を、特許文献１に係わる画像圧縮符号化装置と比較して大きく削減できるようにしたのが、以下に説明する本発明の第３の実施形態に係わる画像圧縮符号化装置である。
【００６４】
図６は、本発明の第３の実施形態に係わる画像圧縮符号化装置の全体構成を示す機能ブロック図である。
【００６５】
図６と図２とを比較対照して明らかなように、本発明の第３の実施形態に係わる画像圧縮符号化装置も、本発明の第１の実施形態に係わる画像圧縮符号化装置と同様に、エンコード処理LSIと、外部メモリと、ホストコンピュータと、を備える。そして、エンコード処理LSIは、画像特性解析部、画面間予測処理部、第１の加算器、直交変換処理部、量子化処理部、可変長符号化処理部、量子化制御部、逆量子化処理部、逆直交変換処理部、第２の加算器、予測選択回路、及び画面内予測処理部の各機能ブロックで夫々示される諸機能を備える。しかし、エンコード処理LSIを構成する上記各部のうち、画面間予測処理部の内部構成が、本発明の第３の実施形態と、本発明の第１の実施形態とでは相違している。そこで、図６においては、画面間予測処理部を除く各部については、夫々図２で示したのと同一符号を付し、画面間予測処理部についてのみ、新たな符号１３９を付すことにした。よって、図６に記載した各部についての詳細な説明は、省略する。
【００６６】
図７は、図６に記載の画面間予測処理部１３９の内部構成を示す機能ブロック図である。
【００６７】
図７と図３とを比較対照して明らかなように、上記画面間予測処理部１３９では、主に、図３で示した第１の遅延用メモリ１４３が備えられていない点で、図３で示した画面間予測処理部１１３と構成が相違する。即ち、上記画面間予測処理部１３９では、動き検出処理部１４１から出力される入力画像フレームが、外部メモリ１０３により所定時間遅延されて出力される。上記画面間予測処理部１３９における一連の処理動作のうちの、動き検出処理部１４１における既述の処理動作については、画面間予測処理部１１３におけるのと同様である。よって、図７において、図３で示した物と同一物には同一符号を付してそれらの詳細な説明を省略する。
【００６８】
図７において、動き検出処理部１４１から出力される入六画像フレームは、外部メモリ１０３に格納される。そして、図６で示した量子化制御部１２３において、入力画像フレームに係わる量子化パラメータが決定され、直交変換処理部１１７からの出力に対する量子化処理が可能になるまでの所定時間が経過すると、外部メモリ１０３に格納されている上記入力画像フレームが、遅延入力画像フレームとして外部メモリ１０３から読み出される。該入力画像フレームは、図６で示した予測残差生成処理を行う第１の加算器１１５へ出力される。
【００６９】
画面間予測処理部１３９を含む図６で示した画像圧縮符号化装置における上記以降の処理動作については、図２、及び図３で示した本発明の第１の実施形態に係わる画像圧縮符号化装置、及び画面間予測処理部１１３におけるのと同様であるので、詳細な説明を省略する。
【００７０】
上述したように、本発明の第３の実施形態に係わる画像圧縮符号化装置では、動き検出処理部１４１から出力される入力画像フレームが、一旦外部メモリ１０３に格納されることで、外部メモリ１０３において所定時間経過した後に出力されるようになっているため、エンコード処理LSI１０１と外部メモリ１０３との間で、３マクロブロック分に相当するインタ予測輝度画像フレームの転送を行う必要がある。しかし、特許文献１に係わる画像圧縮符号化装置では、エンコード処理LSIと外部メモリとの間で５マクロブロック分のインタ予測輝度画像フレームの転送を行う必要があったから、本発明の第３の実施形態に係わる画像圧縮符号化装置の方が、上記転送に用いられる帯域を小さくすることが可能になった。
【００７１】
また、ハードウェア規模での比較において、入力画像フレームは、輝度と色差とを有するから、入力画像フレームの出力を遅延させるための第１の遅延用メモリ１４３のメモリ容量は、輝度（データ）の出力を遅延させるための第２の遅延用メモリ１４７のメモリ容量よりも大きい。よって、本発明の第３の実施形態に係わる画像圧縮符号化装置と、本発明の第２の実施形態に係わる画像圧縮符号化装置とを比較した場合に、前者の方が、後者よりもハードウェア規模を小さくすることができる。
【００７２】
以上説明したように、本発明の第３の実施形態によれば、本発明の第２の実施形態におけるよりも小さなハードウェア規模での画像圧縮符号化装置の実現が可能になる。また、エンコード処理LSIと外部メモリとの間の（インタ予測）輝度画像フレームの転送に必要な帯域を、特許文献１に係わる画像圧縮符号化装置におけるそれよりも大幅に削減することも可能になる。従って、本発明の第３の実施形態によれば、画像圧縮符号化装置（低遅延エンコーダ）のハードウェア規模に関してより厳しい制約がある場合においても、エンコード処理LSIと外部メモリとの間の（インタ予測）輝度画像フレームの転送に必要な帯域を大幅に削減できると共に、低価格で、且つ、消費電力の小さな画像圧縮符号化装置（低遅延エンコーダ）が実現できる。
【００７３】
上述した本発明の第３の実施形態に係わる画像圧縮符号化装置では、図７で示した構成の画面間予測処理部１３９を用いることにより、画像圧縮符号化装置のハードウェア規模に厳しい制約がある場合においても、エンコード処理LSIと外部メモリとの間での（インタ予測）輝度画像フレームの転送に必要な帯域を特許文献１に係わる画像圧縮符号化装置におけるそれよりも大幅に削減することができる。しかし、本発明の第３の実施形態においては、画面間予測処理部１３９内に、大容量の遅延用メモリ（第２の遅延用メモリ）１４７が必要であるため、画像圧縮符号化装置のハードウェア規模により厳しい制約がある状況下では、上記画像圧縮符号化装置の実現が困難な場合が生じる。
【００７４】
そこで、上記に鑑みて、第３の実施形態に係る画像圧縮符号化装置よりも小さなハードウェア規模で、エンコード処理LSIと外部メモリとの間で行われるデータの転送に必要な帯域を、特許文献１に係わる画像圧縮符号化装置と比較して大きく削減できるようにしたのが、以下に説明する本発明の第４の実施形態に係わる画像圧縮符号化装置である。
【００７５】
図８は、本発明の第４の実施形態に係わる画像圧縮符号化装置の全体構成を示す機能ブロック図である。
【００７６】
図８と図２とを比較対照して明らかなように、本発明の第３の実施形態に係わる画像圧縮符号化装置も、本発明の第１の実施形態に係わる画像圧縮符号化装置と同様に、エンコード処理LSIと、外部メモリと、ホストコンピュータと、を備える。そして、エンコード処理LSIは、画像特性解析部、画面間予測処理部、第１の加算器、直交変換処理部、量子化処理部、可変長符号化処理部、量子化制御部、逆量子化処理部、逆直交変換処理部、第２の加算器、予測選択回路、及び画面内予測処理部の各機能ブロックで夫々示される諸機能を備える。しかし、エンコード処理LSIを構成する上記各部のうち、画面間予測処理部の内部構成が、本発明の第４の実施形態と、本発明の第１の実施形態とでは相違している。そこで、図８においては、画面間予測処理部を除く各部については、夫々図２で示したのと同一符号を付し、画面間予測処理部についてのみ、新たな符号１８１を付すことにした。よって、図８に記載した各部についての詳細な説明は、省略する。
【００７７】
図９は、図８に記載の画面間予測処理部の内部構成を示す機能ブロック図である。
【００７８】
図９と図３とを比較対照して明らかなように、上記画面間予測処理部１８１では、主に、図３で示した第１の遅延用メモリ１４３と、第２の遅延用メモリ１４７とが備えられていない点で、図３で示した画面間予測処理部１１３と構成が相違する。即ち、上記画面間予測処理部１８１では、動き検出処理部１４１から出力される入力画像フレーム、及びインタ予測輝度画像作成処理部１４５において作成されたインタ予測輝度画像フレームが、外部メモリ１０３により所定時間遅延されて出力される。上記画面間予測処理部１８１における一連の処理動作のうちの、動き検出処理部１４１における既述の処理動作、及びインタ予測輝度画像作成処理部１４５における既述の処理動作については、画面間予測処理部１１３におけるのと同様である。よって、図９において、図３で示した物と同一物には同一符号を付してそれらの詳細な説明を省略する。
【００７９】
図９において、動き検出処理部１４１から出力される入六画像フレームは、外部メモリ１０３に格納される。そして、図８で示した量子化制御部１２３において、画像圧縮符号化装置に入力される画像フレームに係わる量子化パラメータが決定され、直交変換処理部１１７からの出力に対する量子化処理が可能になるまでの所定時間が経過すると、外部メモリ１０３に格納されている上記入力画像フレームが、遅延入力画像フレームとして外部メモリ１０３から読み出される。該入力画像フレームは、図６で示した予測残差生成処理を行う第１の加算器１１５へ出力される。また、インタ予測輝度画像作成処理部１４５では、動き検出処理部１４１による上記一連の処理動作が終了すると、インタ予測輝度画像フレームが作成され、該作成されたインタ予測輝度画像フレームの外部メモリ１０３への格納が行われる。そして、図８で示した量子化制御部１２３において、入力画像フレームに係わる量子化パラメータが決定され、直交変換処理部１１７からの出力に対する量子化処理が可能になるまでの所定時間が経過すると、外部メモリ１０３に格納されている上記インタ予測輝度画像フレームが、遅延インタ予測輝度画像フレームとして外部メモリ１０３から読み出される。該遅延インタ予測輝度画像フレームは、図８で示した予測選択回路１３１へ出力される。
【００８０】
画面間予測処理部１８１を含む図８で示した画像圧縮符号化装置における上記以降の処理動作については、図２、及び図３で示した本発明の第１の実施形態に係わる画像圧縮符号化装置、及び画面間予測処理部 におけるのと同様であるので、詳細な説明を省略する。
【００８１】
上述したように、本発明の第４の実施形態に係わる画像圧縮符号化装置では、動き検出処理部１４１から出力される入力画像フレーム、及びインタ予測輝度画像作成処理部１４５から出力されるインタ予測輝度画像フレームが、一旦外部メモリ１０３に格納されることで、外部メモリ１０３において所定時間経過した後に出力されるようになっている。そのため、エンコード処理LSI１０１と外部メモリ１０３との間で、５マクロブロック分に相当する（入力画像フレームやインタ予測輝度画像フレーム等の）量のデータ転送を行う必要があるが、高い転送効率でデータ転送を行うことができる。一方、特許文献１に係わる画像圧縮符号化装置では、エンコード処理LSIと外部メモリとの間で５マクロブロック分のインタ予測輝度画像フレームの転送を行う必要があるが、一般的にインタ予測輝度画像フレームを作成するためには、任意の位置における矩形画像データを外部メモリから読み出す必要があるので、データの転送効率は非常に低い。よって、本発明の第４の実施形態に係わる画像圧縮符号化装置の方が、上記転送に用いられる帯域を小さくすることが可能である。
【００８２】
また、ハードウェア規模での比較において、本発明の第４の実施形態に係わるエンコード処理LSIの方が、本発明の第３の実施形態に係わるエンコード処理LSIよりも小さなハードウェア規模で実現できることも、また、特許文献１に係わるエンコード処理LSIよりも小さなハードウェア規模で実現できることも明らかである。本発明の第４の実施形態においては、入力画像フレーム、及びインタ予測輝度画像フレーム等の遅延させて出力すべき主要データを、非常に大きな容量を持つ外部メモリに一旦格納しておくことによってそれらデータの出力を遅延させるという特徴があるので、量子化パラメータを決定するのに用いる指標を算出する画像領域を任意の大きさに設定することができ、より高精度の符号量制御が可能になる。
【００８３】
以上説明したように、本発明の第４の実施形態によれば、本発明の第３の実施形態におけるよりも小さなハードウェア規模での画像圧縮符号化装置の実現が可能になる。また、エンコード処理LSIと外部メモリとの間の（インタ予測）輝度画像フレームの転送に必要な帯域を、特許文献１に係わる画像圧縮符号化装置におけるそれよりも大幅に削減することも可能になる。従って、本発明の第４の実施形態によれば、画像圧縮符号化装置（低遅延エンコーダ）のハードウェア規模に関してより厳しい制約がある場合においても、エンコード処理LSIと外部メモリとの間の入力画像フレームや、（インタ予測）輝度画像フレーム等のデータの転送に必要な帯域を大幅に削減できると共に、低価格で、且つ、消費電力の小さな画像圧縮符号化装置（低遅延エンコーダ）が実現できる。
【００８４】
上述した本発明の第１の実施形態に係わる画像圧縮符号化装置、乃至本発明の第４の実施形態に係わる画像圧縮符号化装置においては、何れもインタ予測輝度画像フレームの出力を遅延させることにより、特許文献１に係わる画像圧縮符号化装置におけるよりも、エンコード処理LSIと外部メモリとの間でのデータの転送帯域の大幅な削減を実現することができる。しかし、本発明の基本的な特徴は、遅延用メモリ（第１〜第３）や外部メモリ等の、データの出力を遅延させるための回路要素よりも前段の位置にて、インタ予測輝度画像フレームを作成する点にあるので、上述した回路要素により出力が遅延されるデータは、インタ予測輝度画像フレームに限定されない。インタ予測輝度画像フレームが作成された後から、量子化処理部１１９による、直交変換処理部１１７から出力される周波数成分に対する量子化処理が行われるまでの間の輝度に係わる如何なるデータについても、該データを一旦格納することにより、その出力を遅延させることが可能である。
【００８５】
図１０は、本発明の第５の実施形態に係わる画像圧縮符号化装置の全体構成を示す機能ブロック図である。
【００８６】
本発明の第５の実施形態に係わる画像圧縮符号化装置は、主に、輝度に係わるデータ、即ち、例えば、インタ予測輝度画像フレーム等の出力を遅延させるためのものである。
【００８７】
図１０と図２とを比較対照して明らかなように、本発明の第５の実施形態に係わる画像圧縮符号化装置も、本発明の第１の実施形態に係わる画像圧縮符号化装置と同様に、エンコード処理LSIと、外部メモリと、ホストコンピュータと、を備える。そして、エンコード処理LSIは、画像特性解析部、画面間予測処理部、第１の加算器、直交変換処理部、量子化処理部、可変長符号化処理部、量子化制御部、逆量子化処理部、逆直交変換処理部、第２の加算器、予測選択回路、及び画面内予測処理部の各機能ブロックで夫々示される諸機能を備える。しかし、エンコード処理LSIを構成する上記各部のうち、画面間予測処理部の内部構成が、本発明の第５の実施形態と、本発明の第１の実施形態とでは相違している。そこで、図１０においては、画面間予測処理部を除く各部については、夫々図２で示したのと同一符号を付し、画面間予測処理部についてのみ、新たな符号１８３を付すことにした。よって、図１０に記載した各部についての詳細な説明は、省略する。
【００８８】
図１１は、図１０に記載の画面間予測処理部１８３の内部構成を示す機能ブロック図である。
【００８９】
図１１と図３とを比較対照して明らかなように、上記画面間予測処理部１８３では、第２の遅延用メモリ１４７の入力側と出力側とに、夫々加算器２０１、２０３が備えられている点で、図３で示した画面間予測処理部１１３と構成が相違する。即ち、（第２の遅延用メモリ１４７の入力側に備えられる）加算器２０１は、予測残差生成処理を行う加算器（以下、「予測残差生成用加算器」と表記する。）であり、また、（第２の遅延用メモリ１４７の出力側に備えられる）加算器２０３は、予測残差再生成処理を行う加算器（以下、「予測残差再生成用加算器」と表記する。）である。従って予測残差生成用加算器２０１からの出力は、第２の遅延用メモリ１４７に、予測残差再生成用加算器２０３からの出力は、（図１０で示した）予測選択回路１３１に、夫々入力される。
【００９０】
上記画面間予測処理部１８３では、予測残差生成用加算器２０１は、動き検出処理部１４１から出力される入力画像フレームと、インタ予測輝度画像作成処理部１４５から出力されるインタ予測輝度画像フレームとの差分を取り、予測残差を生成して、該予測残差を第２の遅延用メモリ１４７に格納する。一方、予測残差再生成用加算器２０３は、第１の遅延用メモリ１４３から既述の所定時間経過後に出力される入力画像フレームと、第２の遅延用メモリ１４７から既述の所定時間経過後に出力される上記予測残差との間の差分を取り、予測画像フレームを生成し、該予測画像フレームを（図１０で示した）予測選択回路１３１に出力する。
【００９１】
本発明の第５の実施形態に係わる画像圧縮符号化装置では、上記構成の画面間予測処理部 を備えることにより、特許文献１に係わる画像圧縮符号化装置におけるエンコード処理LSIと外部メモリとの間でのデータの転送帯域の増大に対処する。
【００９２】
上記画面間予測処理部１８３における一連の処理動作のうちの、動き検出処理部１４１における既述の処理動作、及びインタ予測輝度画像作成処理部１４５における既述の処理動作については、画面間予測処理部１１３におけるのと同様である。よって、図１１において、図３で示した物と同一物には同一符号を付してそれらの詳細な説明を省略する。
【００９３】
図１１において、インタ予測輝度画像作成処理部１４５において作成されたインタ予測輝度画像フレームは、予測残差生成用加算器２０１に出力される。予測残差生成用加算器２０１では、既述のように、動き検出処理部１４１からの入力画像フレームと、インタ予測輝度画像作成処理部１４５からのインタ予測輝度画像フレームとから、予測残差が生成され、該予測残差が、第２の遅延用メモリ１４７に格納される。一方、動き検出処理部１４１から出力される入力画像フレームは、第１の遅延用メモリ１４３に格納される。そして、図１０で示した量子化制御部１２３において、該入力画像フレームに係わる量子化パラメータが決定され、直交変換処理部１１７からの出力に対する量子化処理が可能になるまでの所定時間が経過すると、第２の遅延用メモリ１４７に格納されている上記予測残差が、第２の遅延用メモリ１４７から予測残差再生成用加算器２０３に出力される。
【００９４】
予測残差再生成用加算器２０３では、第２の遅延用メモリ１４７からの上記予測残差と、第１の遅延用メモリ１４３からの上記入力画像フレームとから、インタ予測輝度画像作成処理部１４５が作成したのと同様のインタ予測輝度画像フレームが作成される。該インタ予測輝度画像フレームは、予測残差再生成用加算器２０３から（図１０で示した）予測選択回路１３１に出力される。
【００９５】
画面間予測処理部１８３を含む図１０で示した画像圧縮符号化装置における上記以降の処理動作については、図２、及び図３で示した本発明の第１の実施形態に係る画像圧縮符号化装置、及び画面間予測処理部１１３におけるのと同様であるので、詳細な説明を省略する。
【００９６】
以上説明したように、本発明の第５の実施形態に係わる画像圧縮符号化装置では、（入力画像フレームとインタ予測輝度画像フレームとの間の）予測残差を生成し、該予測残差を所定時間経過後に出力し、該出力を遅延させた予測残差を用いてインタ予測輝度画像フレームを復元する処理動作が行われる。しかし、これら一連の処理動作以外の処理動作については、本発明の第１の実施形態に係わる画像圧縮符号化装置と同様である。なお、第２の遅延用メモリ１４７から出力される予測残差（のデータ）を、予測残差再生成用加算器２０３、及び図１０で示した（予測残差生成処理を行う）第１の加算器１１５を介さずに、直接直交変換処理部１１７に出力ずる構成とすることで、第１の加算器１１５における演算処理に要する消費電力を削減することも可能である。
【００９７】
また、本発明の第５の実施形態に係わる画像圧縮符号化装置においても、入力画像フレーム、及び予測残差等のデータ出力を、上述したような遅延用メモリのようなエンコード処理LSIに内蔵されるメモリを用いて遅延させるか、或いは、外部メモリ１０３のような、エンコード処理LSIに対して外付けのメモリを用いて遅延させるか、或いは、上記内蔵メモリと外付けのメモリとの適宜な組み合わせにより遅延させるかを選択することによって、本発明の第１の実施形態の変形例として位置付けられる本発明の第２乃至第４の実施形態のような変形も可能である。更には、図１１で示した第２の遅延用メモリ１４７の入力側に、図１０で示した直交変換処理部１１７を、出力側に、図１０で示した逆直交変換処理部１２７を、夫々配置すれば、出力を遅延させるデータを、画像情報の輝度における直交変換処理後の係数として利用することも可能になる。
【００９８】
以上説明したように、本発明の第５の実施形態によれば、エンコード処理LSIと外部メモリとの間でのデータの転送に必要な帯域に対して大きな負荷になるインタ予測輝度画像フレームを、外部メモリから取得すること無しに、高精度な符号量予測に基づくレート制御が可能になる。これにより、エンコード処理LSI１０１と外部メモリ１０３との間で行われるデータの転送に使用される帯域を大幅に削減することができ、低コストで且つ消費電力の小さな低遅延エンコーダが実現可能になり、来るべき双方向データ通信の時代において、地球環境に配慮したデータ通信システムが実現できる。
【００９９】
以上、本発明の好適な実施形態を説明したが、これらは本発明の説明のための例示であって、本発明の範囲をこれらの実施形態にのみ限定する趣旨ではない。本発明は、他の種々の形態でも実施することが可能である。
【図面の簡単な説明】
【０１００】
【図１】一般的な画像圧縮符号化装置の構成を示す機能ブロック図。
【図２】本発明の第１の実施形態に係わる画像圧縮符号化装置の全体構成を示す機能ブロック図。
【図３】図２に記載した画面間予測処理部の内部構成を示す機能ブロック図。
【図４】本発明の第２の実施形態に係わる画像圧縮符号化装置の全体構成を示す機能ブロック図。
【図５】図４に記載した画面間予測処理部の内部構成を示す機能ブロック図。
【図６】本発明の第３の実施形態に係わる画像圧縮符号化装置の全体構成を示す機能ブロック図。
【図７】図６に記載した画面間予測処理部の内部構成を示す機能ブロック図。
【図８】本発明の第４の実施形態に係わる画像圧縮符号化装置の全体構成を示す機能ブロック図。
【図９】図８に記載した画面間予測処理部の内部構成を示す機能ブロック図。
【図１０】本発明の第５の実施形態に係わる画像圧縮符号化装置の全体構成を示す機能ブロック図。
【図１１】図１０に記載した画面間予測処理部の内部構成を示す機能ブロック図。
【符号の説明】
【０１０１】
１０１ エンコード処理LSI
１０３ 外部メモリ
１０５ ホストコンピュータ
１１１ 画像特性解析部
１１３ 画面間予測処理部
１１５ 第１の加算器
１１７ 直交変換処理部
１１９ 量子化処理部
１２１ 可変長符号化処理部
１２３ 量子化制御部
１２５ 逆量子化処理部
１２７ 逆直交変換処理部
１２９ 第２の加算器
１３１ 予測選択回路
１３３ 画面内予測処理部
１４１ 動き検出処理部
１４３ 第１の遅延用メモリ
１４５ インタ予測輝度画像作成処理部
１４７ 第２の遅延用メモリ
１４９ 第３の遅延用メモリ
１５１ インタ予測色差画像作成処理部
２０１ 予測残差生成用加算器
２０３ 予測残差再生成用加算器
【特許請求の範囲】
【請求項１】
入力された画像フレームに対し所定の符号化処理を施すことにより、前記画像フレームの情報量を圧縮する画像圧縮符号化装置において、
入力された画像フレームから、該画像フレームについての輝度に係わるインタ予測処理を行ってインタ予測輝度画像フレームを生成するインタ予測輝度画像フレーム生成部と、
前記インタ予測輝度画像フレーム生成部において生成されたインタ予測輝度画像フレームを入力し、所定時間経過後に、前記インタ予測輝度画像フレームを出力する第１の遅延部と、
前記入力された画像フレームを入力し、所定時間経過後に、前記入力された画像フレームを出力する第２の遅延部と、
を備える画像圧縮符号化装置。
【請求項２】
請求項１記載の画像圧縮符号化装置において、
前記所定時間が、前記インタ予測輝度画像フレームが前記第１の遅延部に入力されてから、前記入力された画像フレームに係わる量子化処理が可能になるまでに要する時間、又は前記入力された画像フレームが前記第２の遅延部に入力されてから、該画像フレームに係わる量子化処理が可能になるまでに要する時間である画像圧縮符号化装置。
【請求項３】
請求項２記載の画像圧縮符号化装置において、
前記所定時間が、少なくとも３マクロブロック分の前記画像フレームが入力される時間以上に設定されている画像圧縮符号化装置。
【請求項４】
請求項２記載の画像圧縮符号化装置において、
前記量子化処理が、前記入力された画像フレームに対する符号化処理後の符号量を予測するために算出される指標データに基づいて決定された量子化パラメータを用いて行われる画像圧縮符号化装置。
【請求項５】
前記入力した画像フレームから、色差に係わるインタ予測処理を行ってインタ予測色差画像フレームを生成するインタ予測色差画像フレーム生成部、
を更に備える画像圧縮符号化装置。
【請求項６】
請求項１記載の画像圧縮符号化装置において、
前記第１の遅延部が、前記インタ予測輝度画像フレームの格納が可能である外部メモリである画像圧縮符号化装置。
【請求項７】
請求項１記載の画像圧縮符号化装置において、
前記第２の遅延部が、前記入力された画像フレームの格納が可能である外部メモリである画像圧縮符号化装置。
【請求項８】
請求項１記載の画像圧縮符号化装置において、
前記第１の遅延部が、前記インタ予測輝度画像フレームの格納が可能である外部メモリであり、前記第２の遅延部が、前記入力された画像フレームの格納が可能である外部メモリである画像圧縮符号化装置。
【請求項９】
請求項１記載の画像圧縮符号化装置において、
前記第１の遅延部の入力側に、前記入力された画像フレームと前記インタ予測輝度画像フレームとの間の予測残差を生成する予測残差生成部を、
前記第１の遅延部に出力側に、前記予測残差と前記入力された画像フレームとから前記インタ予測輝度画像フレームを再生させるインタ予測輝度画像フレーム再生部を、
夫々備える画像圧縮符号化装置。
【請求項１０】
入力された画像フレームに対し所定の符号化処理を施すことにより、前記画像フレームの情報量を圧縮する画像圧縮符号化装置において、
入力された画像フレームから、該画像フレームについての輝度に係わるインタ予測処理を行ってインタ予測輝度画像フレームを生成する第１のステップと、
前記第１のステップにおいて生成されたインタ予測輝度画像フレームを第１の遅延部に入力し、所定時間経過後に、該第１の遅延部から前記インタ予測輝度画像フレームを出力する第２のステップと、
前記入力された画像フレームを第２の遅延部に入力し、所定時間経過後に、該第２の遅延部から前記画像フレームを出力する第３のステップと、
を備える画像圧縮符号化方法。
【請求項１】
入力された画像フレームに対し所定の符号化処理を施すことにより、前記画像フレームの情報量を圧縮する画像圧縮符号化装置において、
入力された画像フレームから、該画像フレームについての輝度に係わるインタ予測処理を行ってインタ予測輝度画像フレームを生成するインタ予測輝度画像フレーム生成部と、
前記インタ予測輝度画像フレーム生成部において生成されたインタ予測輝度画像フレームを入力し、所定時間経過後に、前記インタ予測輝度画像フレームを出力する第１の遅延部と、
前記入力された画像フレームを入力し、所定時間経過後に、前記入力された画像フレームを出力する第２の遅延部と、
を備える画像圧縮符号化装置。
【請求項２】
請求項１記載の画像圧縮符号化装置において、
前記所定時間が、前記インタ予測輝度画像フレームが前記第１の遅延部に入力されてから、前記入力された画像フレームに係わる量子化処理が可能になるまでに要する時間、又は前記入力された画像フレームが前記第２の遅延部に入力されてから、該画像フレームに係わる量子化処理が可能になるまでに要する時間である画像圧縮符号化装置。
【請求項３】
請求項２記載の画像圧縮符号化装置において、
前記所定時間が、少なくとも３マクロブロック分の前記画像フレームが入力される時間以上に設定されている画像圧縮符号化装置。
【請求項４】
請求項２記載の画像圧縮符号化装置において、
前記量子化処理が、前記入力された画像フレームに対する符号化処理後の符号量を予測するために算出される指標データに基づいて決定された量子化パラメータを用いて行われる画像圧縮符号化装置。
【請求項５】
前記入力した画像フレームから、色差に係わるインタ予測処理を行ってインタ予測色差画像フレームを生成するインタ予測色差画像フレーム生成部、
を更に備える画像圧縮符号化装置。
【請求項６】
請求項１記載の画像圧縮符号化装置において、
前記第１の遅延部が、前記インタ予測輝度画像フレームの格納が可能である外部メモリである画像圧縮符号化装置。
【請求項７】
請求項１記載の画像圧縮符号化装置において、
前記第２の遅延部が、前記入力された画像フレームの格納が可能である外部メモリである画像圧縮符号化装置。
【請求項８】
請求項１記載の画像圧縮符号化装置において、
前記第１の遅延部が、前記インタ予測輝度画像フレームの格納が可能である外部メモリであり、前記第２の遅延部が、前記入力された画像フレームの格納が可能である外部メモリである画像圧縮符号化装置。
【請求項９】
請求項１記載の画像圧縮符号化装置において、
前記第１の遅延部の入力側に、前記入力された画像フレームと前記インタ予測輝度画像フレームとの間の予測残差を生成する予測残差生成部を、
前記第１の遅延部に出力側に、前記予測残差と前記入力された画像フレームとから前記インタ予測輝度画像フレームを再生させるインタ予測輝度画像フレーム再生部を、
夫々備える画像圧縮符号化装置。
【請求項１０】
入力された画像フレームに対し所定の符号化処理を施すことにより、前記画像フレームの情報量を圧縮する画像圧縮符号化装置において、
入力された画像フレームから、該画像フレームについての輝度に係わるインタ予測処理を行ってインタ予測輝度画像フレームを生成する第１のステップと、
前記第１のステップにおいて生成されたインタ予測輝度画像フレームを第１の遅延部に入力し、所定時間経過後に、該第１の遅延部から前記インタ予測輝度画像フレームを出力する第２のステップと、
前記入力された画像フレームを第２の遅延部に入力し、所定時間経過後に、該第２の遅延部から前記画像フレームを出力する第３のステップと、
を備える画像圧縮符号化方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１０−８１４９８（Ｐ２０１０−８１４９８Ａ）
【公開日】平成２２年４月８日（２０１０．４．８）
【国際特許分類】
【出願番号】特願２００８−２４９９８４（Ｐ２００８−２４９９８４）
【出願日】平成２０年９月２９日（２００８．９．２９）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
【公開日】平成２２年４月８日（２０１０．４．８）
【国際特許分類】
【出願日】平成２０年９月２９日（２００８．９．２９）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
[ Back to top ]