画像復号化装置、画像復号化方法および画像復号化プログラム
【課題】参照画像を読み出すのに際して、アクセス時間を短縮することを課題とする。
【解決手段】このシステムは、ストリームを送信する画像符号化装置と、ストリームを復号して復号データを生成する画像復号化装置とが、通信可能に接続されている。そして、画像復号化装置は、フレーム予測に対応したフレーム構造で参照画像を記憶するフレーム構造用メモリと、フィールド予測に対応したフィールド構造で参照画像を記憶するフィールド構造用メモリとを保持する。このような構成において、画像復号化装置は、ストリームを受け付けた場合に、当該ストリームを解析して符号化に用いられた予測形式を判別し、判別した予測形式で格納される参照画像をメモリから読み出して、ストリームと参照画像とから新たな復号データを生成し、生成された新たな復号データから、複数のメモリそれぞれの予測形式ごとに応じた参照画像を生成して、複数のメモリそれぞれに格納する。
【解決手段】このシステムは、ストリームを送信する画像符号化装置と、ストリームを復号して復号データを生成する画像復号化装置とが、通信可能に接続されている。そして、画像復号化装置は、フレーム予測に対応したフレーム構造で参照画像を記憶するフレーム構造用メモリと、フィールド予測に対応したフィールド構造で参照画像を記憶するフィールド構造用メモリとを保持する。このような構成において、画像復号化装置は、ストリームを受け付けた場合に、当該ストリームを解析して符号化に用いられた予測形式を判別し、判別した予測形式で格納される参照画像をメモリから読み出して、ストリームと参照画像とから新たな復号データを生成し、生成された新たな復号データから、複数のメモリそれぞれの予測形式ごとに応じた参照画像を生成して、複数のメモリそれぞれに格納する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、符号化されたデータである符号化データを生成する画像符号化装置から符号化データを受け付けて、既に復号された復号データである参照画像と当該符号化データとを用いて新たな復号データを生成する画像復号化装置、画像復号化方法および画像復号化プログラムに関する。
【背景技術】
【０００２】
従来より、MPEG-2（Moving Picture Experts Group phase2）、H.264/AVCなどの動画圧縮技術では、動画像の圧縮符号化において高い圧縮率を得るために、フレーム間予測を用いている。このフレーム予測とは、入力フレームと時間的に前後するフレームとは良く似ているという動画像の性質を利用して、前後のフレームから現在のフレームを予測した予測フレームを生成し、入力フレームと予測フレームとの差分を符号化する技術のことである。また、上記したように予測フレームを、フレーム単位ではなくフィールド単位で予測することをフィールド予測と呼ぶ。
【０００３】
そして、このようなフレーム予測やフィールド予測では、さらに圧縮効率を高めるために動き補償と呼ばれる技術を用いる。フレーム予測を例にして説明すると、フレーム予測では、前後のフレームから現在のフレームを予測して予測フレームを作成するが、実際には前後のフレームと現在のフレームとは全く同じではなく、フレーム中の物体が動いていたりする。つまり、フレーム間に連続性があることとなる。このフレーム間の連続性を補うための技術が動き補償である。
【０００４】
具体的に説明すると、データを符号化して送信する画像符号化装置（エンコーダ）は、フレームを構成する予測単位ごとに差分を算出して動きベクトルを算出する。そして、画像符号化装置は、このようにして算出された動きベクトルデータと、入力フレームと予測フレームとの差分である差分画像データとを符号化してストリーム（データ）を作成し、作成したストリームを画像復号化装置（デコーダ）に送信する。
【０００５】
そして、画像復号化装置では、受け付けたストリームを解析して、動きベクトルデータに対応した画像（参照画像と呼ぶ）を予測単位毎にメモリから取得し、この参照画像に差分画像データを加算することで、データを復号する。また、画像復号化装置は、このように復号した復号データを、後に受け付けるストリームから新たに復号データを生成するために必要な参照画像として、メモリに格納する。
【０００６】
このように、画像復号化装置が復号データを生成するためには、メモリに格納してある参照画像が重要であり、さらに、復号データの生成には、メモリから参照画像を読み出すアクセス時間が重要に関係している。つまり、アクセス時間が高速であれば、データを高速に復号することができ、アクセス時間が低速であれば、データを復号するのに時間がかかる。
【０００７】
この関係性を具体的に例を挙げて説明するために、まず、参照画像を記憶するメモリについて説明する。一般的に、メモリに格納される参照画像は、図１２に示したように順次走査に対応するように、第一フィールドと第二フィールドを交互に格納するフレーム構造と、図１３に示したような飛び越し走査に対応するように、第一フィールドと第二フィールドとを別領域に格納するフィールド構造とのどちらかの構造で格納される。そして、このような参照画像を記憶するメモリは、通常、アクセス帯域を確保し易いＤＤＲ２−ＳＤＲＡＭ（Double Data Rate 2−Synchronous Dynamic Random Access Memory）などのデータの高速転送が可能なメモリが利用される。
【０００８】
このＤＤＲ２−ＳＤＲＡＭは、最小のアクセスが２クロック（４バースト）であり、データバスが３２ビットの場合、１６バイト単位のアクセスとなる。また、記憶される動画像の１画素は、輝度成分（Ｙ）と色差成分（Ｃ）から構成される。つまり、輝度成分と色差成分とをそれぞれ８ビットとし、輝度成分を格納するものとして計算すると、ＤＤＲ２−ＳＤＲＡＭは、１６画素（１６バイト）分のデータを単位として蓄積して記憶することとなる。この場合、メモリへのアクセス単位と画素の関係は、例えば、図１４に示したように、４ピクセル×４ラインの１６ピクセルとなる。なお、ここで例示したアクセス単位は、あくまでも例であり、必ずしも４ピクセル×４ラインである必要はなく、８ピクセル×２ラインであってもよい。
【０００９】
次に、上記した輝度成分（１動きベクトルデータ）にのみ着目して、このようなＤＤＲ２−ＳＤＲＡＭを備える画像復号化装置が参照画像を読み出すアクセス時間について説明する。なお、以下では、例として、「◆」「●」を含む９ピクセル×９ラインの画像が参照画像として必要な場合について説明する。
【００１０】
そこで、画像復号化装置は、このようなＤＤＲ２−ＳＤＲＡＭなどのメモリに、参照画像をフレーム構造で格納していた場合に、動き補償の予測形式がフレーム予測であるストリームを受け付けたとすると、例えば、図１５に示すように、ストリームからデータを復号するために、実際に必要な画像情報「◆」「●」を含む４×４のアクセス単位を９個（計１４４画素）読み出す（リードする）必要がある。
【００１１】
一方、画像復号化装置は、このようなＤＤＲ２−ＳＤＲＡＭなどのメモリに、参照画像をフィールド構造で格納していた場合に、動き補償の予測形式がフレーム予測であるストリームを受け付けたとすると、例えば、図１６に示すように、画像復号化装置は、実際に必要な画像情報「◆」「●」を読み出すために、第一フィールドから４×４のアクセス単位を６個（計９６画素）と、第二フィールドから４×４のアクセス単位を６個（計９６画素）とを読み出す必要がある。
【００１２】
また、参照画像をフレーム構造で格納していた場合に、動き補償の予測形式がフィールド予測であるストリームを受け付けたとすると、例えば、図１７に示すように、画像復号化装置は、実際に必要な画像情報「◆」を含む４×４のアクセス単位を１５個（計２４０画素）読み出す必要がある。
【００１３】
一方、参照画像をフィールド構造で格納していた場合に、動き補償の予測形式がフィールド予測であるストリームを受け付けたとすると、例えば、図１８に示すように、画像復号化装置は、実際に必要な画像情報「◆」を読み出すために、第一フィールドから４×４のアクセス単位を０個（計０画素）と、第二フィールドから４×４のアクセス単位を９個（計１４４画素）とを読み出す必要がある。
【００１４】
上記で輝度成分に関して説明した１動きベクトルデータの結果を踏まえ、２動きベクトルデータ（参照画像が２つある場合）における参照に必要な画素数（読み出し画素数）を図１９に示す。図１９に示すように、メモリに格納されるデータ構造と、受け付けたストリームに使用された予測形式とが異なる場合、読み出す画素数が多くなり、アクセス時間が遅くなる。一方、メモリに格納されるデータ構造と、受け付けたストリームに使用された予測形式とが同じである場合、読み出す画素数が少なくなり、アクセス時間が短くなる。
【００１５】
このように、データの復号には、メモリから参照画像を読み出すアクセス時間が重要に関係している。そこで、画像復号化装置において、メモリから参照画像を効率的に読み出すことで、アクセス時間を短縮する様々な技術が開示されている。
【００１６】
例えば、特許文献１（特開平８−２７５１８１号公報）では、参照画像を分割して複数のメモリに格納した場合でも、メモリをアクセスための時間が増大するのを防止し、読み出し位置によらず一定のアクセス時間で参照画像を参照することができる技術が開示されている。具体的には、参照画像が分割して複数のメモリに格納される場合に、分割点近傍の画像データを、メモリの分割点前後の画像データが格納される２つの領域に二重に書き込む。このようにすることで、分割された参照画像を読み出す場合に、読み出すアドレスを変更することなく、１つのメモリから参照画像を読み出すことができる。
【００１７】
【特許文献１】特開平８−２７５１８１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１８】
しかしながら、上記した従来の技術（特許文献１）では、参照画像が分割されて格納された場合に、読み出し効率の悪化を防ぐための技術であり、読み出し効率を改善することはできず、アクセス時間を短縮することができないという課題があった。また、上記では、画像圧縮技術としてフィールド予測とフレーム予測とを別々に用いた場合について説明したが、フィールド予測とフレーム予測とが混在した画像圧縮技術においても同様の課題がある。
【００１９】
そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、参照画像を読み出すのに際して、アクセス時間を短縮することが可能である画像復号化装置、画像復号化方法および画像復号化プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２０】
上述した課題を解決し、目的を達成するため、請求項１に係る発明は、符号化された画像データである符号化データを生成する画像符号化装置から前記符号化データを受け付けて、画像データに既に復号された復号データである参照画像と当該符号化データとを用いて新たな復号データを生成する画像復号化装置であって、前記符号化データに用いられうる予測形式のそれぞれに合致した構造で前記参照画像を記憶する参照画像記憶手段と、前記符号化データを受け付けた場合に、当該符号化データを解析して符号化に用いられた予測形式を判別し、判別した予測形式で格納される参照画像を前記参照画像記憶手段から読み出して、前記符号化データと前記参照画像とから新たな復号データを生成する復号データ生成手段と、前記復号データ生成手段により生成された新たな復号データから、前記予測形式それぞれに対応した参照画像を生成して、当該生成した参照画像を前記参照画像記憶手段にそれぞれ格納する参照画像格納手段と、を備えたことを特徴とする。
【００２１】
また、請求項２に係る発明は、上記の発明において、前記復号データ生成手段は、前記符号化データを受け付けた場合に、当該符号化データを解析して符号化に用いられた予測形式が、フレーム予測であるかフィールド予測であるかを判別し、フレーム予測であった場合に、前記参照画像記憶手段からフレーム構造の参照画像を読み出して、前記符号化データと参照画像とから新たな復号データを生成し、フィールド予測であった場合に、前記参照画像記憶手段からフィールド構造の参照画像を読み出して、前記符号化データと参照画像とから新たな復号データを生成し、前記参照画像格納手段は、前記復号データ生成手段により生成された新たな復号データから、フレーム構造の参照画像とフィールド構造の参照画像とを生成し、生成したフレーム構造の参照画像とフィールド構造の参照画像とを前記参照画像記憶手段にそれぞれ格納することを特徴とする。
【００２２】
また、請求項３に係る発明は、上記の発明において、前記参照画像記憶手段は、一つの記憶部で構成されるものであって、前記参照画像格納手段は、前記予測形式に対応した参照画像をそれぞれ生成して、当該生成した参照画像を前記参照画像記憶手段に領域を分けてそれぞれ格納することを特徴とすることを特徴とする。
【００２３】
また、請求項４に係る発明は、上記の発明において、前記参照画像記憶手段は、前記予測形式ごとに参照画像をそれぞれ記憶する複数の記憶部で構成されるものであって、前記参照画像格納手段は、前記予測形式ごとにそれぞれ参照画像を生成して、生成した参照画像を、それぞれの予測形式で参照画像を記憶する参照画像記憶手段にそれぞれ格納することを特徴とする。
【００２４】
また、請求項５に係る発明は、上記の発明において、前記参照画像格納手段は、前記復号データ生成手段により生成された新たな復号データから、前記複数の参照画像記憶手段それぞれの予測形式ごとに応じた参照画像を生成して格納する際に、前記参照画像を輝度成分と色差成分とに領域を分けて格納することを特徴とする。
【００２５】
また、請求項６に係る発明は、上記の発明において、前記復号データ生成手段は、前記符号化データを受け付けた場合に、当該符号化データを解析して符号化に用いられた予測形式を判別し、判別した予測形式に対応する参照画像を前記複数の参照画像記憶手段から読み出す際に、前記複数の参照画像記憶手段の格納形式に対して、垂直方向に二ライン以上をアクセス単位とすることを特徴とする。
【００２６】
また、請求項７に係る発明は、符号化された画像データである符号化データを生成する画像符号化装置から前記符号化データを受け付けて、画像データに既に復号された復号データである参照画像と当該符号化データとを用いて新たな復号データを生成することに適した復号化方法であって、前記符号化データに用いられる予測形式ごとに前記参照画像を記憶する参照画像記憶手段と、前記符号化データを受け付けた場合に、当該符号化データを解析して符号化に用いられた予測形式を判別し、判別した予測形式で格納される参照画像を前記参照画像記憶手段から読み出して、前記符号化データと前記参照画像とから新たな復号データを生成する復号データ生成工程と、前記復号データ生成工程により生成された新たな復号データから、前記予測形式それぞれに対応した参照画像を生成して、当該生成した参照画像を前記参照画像記憶手段にそれぞれ格納する参照画像格納工程と、を含んだことを特徴とする。
【００２７】
また、請求項８に係る発明は、符号化された画像データである符号化データを生成する画像符号化装置から前記符号化データを受け付けて、画像データに既に復号された復号データである参照画像と当該符号化データとを用いて新たな復号データを生成することをコンピュータに実行させる復号化プログラムであって、前記符号化データに用いられる予測形式ごとに前記参照画像を記憶する参照画像記憶手段と、前記符号化データを受け付けた場合に、当該符号化データを解析して符号化に用いられた予測形式を判別し、判別した予測形式で格納される参照画像を前記参照画像記憶手段から読み出して、前記符号化データと前記参照画像とから新たな復号データを生成する復号データ生成手順と、前記復号データ生成手順により生成された新たな復号データから、前記予測形式それぞれに対応した参照画像を生成して、当該生成した参照画像を前記参照画像記憶手段にそれぞれ格納する参照画像格納手順と、をコンピュータに実行させることを特徴とする。
【発明の効果】
【００２８】
請求項１、７、８の発明によれば、符号化データに用いられうる予測形式のそれぞれに合致した構造で参照画像を記憶し、符号化データを受け付けた場合に、当該符号化データを解析して符号化に用いられた予測形式を判別し、判別した予測形式で格納される参照画像を読み出して、符号化データと参照画像とから新たな復号データを生成し、生成された新たな復号データから、予測形式それぞれに対応した参照画像を生成して、当該生成した参照画像をそれぞれ格納するので、参照画像を読み出すのに際して、アクセス時間を短縮することが可能である。
【００２９】
例えば、フレーム予測やフィールド予測などに用いられる様々な予測形式に応じて、あらかじめメモリなどに参照画像を格納しておくことで、どのような予測形式を用いて符号化された符号化データを受け付けた場合でも、読み出す参照画像の状態に関わらず、最もアクセス時間が短く参照画像を読み出すことが可能である。
【００３０】
また、参照画像を複数の形式でメモリに書き込むことになる結果、メモリへの書き込みアクセス時間とメモリから参照画像を読み出す読み出しアクセス時間とを考慮した場合、トータルでアクセス時間が短縮されないという懸念がある。ところが、一般的に、メモリへの書き込み量（書き込み回数）に比べて、読み出し量（読み出し回数）の方が圧倒的に多いため、書き込みと読み出しとの両方を考えてもアクセス時間を短縮することが可能である。
【００３１】
具体的に例を挙げると、符号化技術（圧縮技術）としてMPEG-2を用いた場合、１マクロブロックあたりで計算すると、メモリに書き込む画素数が１６×１６の２５６画素数であるのに対して、メモリから読み出す画素数が１７×１７×２の５７８画素数となる。また、符号化技術（圧縮技術）としてH.264/AVCを用いた場合、予測単位を８×８として計算すると、メモリに書き込む画素数が８×８の６４画素数であるのに対して、メモリから読み出す画素数が１３×１３×２の３３８画素数となる。このように、メモリへ書き込み回数を２倍にしたとしても、メモリからデータを読み出す画素数の方が多いため、書き込みと読み出しとの両方を考えてもアクセス時間を短縮することが可能である。
【００３２】
この読み出す画素数の計算を説明する。MPEG-2の場合、動きベクトルが０．５単位であり、その場合、小数点以下の値の補間計算には上下左右の１画素ずつの値を必要とするため、復号してメモリに書き込む画素数が１６×１６であるとすると、それに対応して読み出す画素数は最大で１７×１７となる。そして、さらに動きベクトルの数は、最大２つなので、全体として読み出しが必要となるのは、最大で１７×１７×２＝５７８画素数となる。同様に、H.264/AVCの場合には、動きベクトルが０．２５単位であり、その場合小数点以下の値の補間計算には上下左右の３画素ずつの値を必要とするため、復号してメモリに書き込む画素数が８×８であるとすると、それに対応して読み出す画素数は、最大で１３×１３となる。そして、さらに動きベクトルの数は最大２つなので、全体として読み出しが必要となるのは、最大で１３×１３×２＝３３８画素数となる。
【００３３】
また、請求項２の発明によれば、符号化データを受け付けた場合に、当該符号化データを解析して符号化に用いられた予測形式が、フレーム予測であるかフィールド予測であるかを判別し、フレーム予測であった場合に、フレーム構造の参照画像を読み出して、符号化データと参照画像とから新たな復号データを生成し、フィールド予測であった場合に、フィールド構造の参照画像を読み出して、符号化データと参照画像とから新たな復号データを生成し、生成された新たな復号データから、フレーム構造の参照画像とフィールド構造の参照画像とを生成し、生成したフレーム構造の参照画像とフィールド構造の参照画像とをそれぞれ格納するので、参照画像を読み出すのに際して、さらにアクセス時間を短縮することが可能である。
【００３４】
例えば、符号化技術（圧縮技術）として一般的に用いられるフレーム予測とフィールド予測とをあらかじめメモリに格納させておくことで、MPEG-2やH.264/AVCなどのように、よく用いられる圧縮技術を用いた符号化データを受け付けた場合に、参照画像を読み出すのに際して、さらにアクセス時間を短縮することが可能である。
【００３５】
また、請求項３の発明によれば、予測形式に対応した参照画像をそれぞれ生成して、当該生成した参照画像を領域を分けてそれぞれ格納するので、１つの記憶部で構成される場合に、記憶部の領域の浪費を防止することが可能である。
【００３６】
例えば、予測形式ごとに参照画像を生成しても容量が少ない場合、複数のメモリに格納すると、空き容量が多くなり容量が浪費される。このような場合に、１つのメモリに領域を分けて参照画像を格納することで、記憶部（メモリ）の領域の浪費を防止することが可能である。
【００３７】
また、請求項４の発明によれば、予測形式ごとにそれぞれ参照画像を生成して、生成した参照画像を、それぞれの予測形式で参照画像をそれぞれ格納するので、参照画像の書き込み時間を短縮することが可能である。
【００３８】
例えば、予測形式がフレーム予測とフィールド予測の２種類存在する場合に、それぞれの予測形式の参照画像を記憶する２つのメモリを用意したとすると、生成されたそれぞれの予測形式ごとの参照画像を、２つのメモリに同時に書き込みを開始することができる結果、１つのメモリに２種類の参照画像を書き込む場合に比べて、参照画像の書き込み時間をより短縮することが可能である。
【００３９】
また、請求項５の発明によれば、生成された新たな復号データから、それぞれの予測形式ごとに応じた参照画像を生成して格納する際に、参照画像を輝度成分と色差成分とに領域を分けて格納するので、必要な成分のみを参照する場合に、さらにアクセス時間を短縮することが可能である。
【００４０】
例えば、復号状況を解析するなどデータを解析すること以外に、輝度成分や色差成分の参照が必要な場合に、輝度成分のみを参照したり、色差成分のみを参照したりするアクセス時間を短縮することが可能である。また、輝度成分と色差成分とで予測形式が違う場合にも対応が可能となる。
【００４１】
また、請求項６の発明によれば、符号化データを受け付けた場合に、当該符号化データを解析して符号化に用いられた予測形式を判別し、判別した予測形式に対応する参照画像を読み出す際に、複数の格納形式に対して、垂直方向に２ライン以上をアクセス単位とするので、参照画像を読み出す際のアクセス量を削減することが可能である。
【００４２】
具体的に、参照画像を読み出す一般的な例として、図９〜図１１を用いてアクセスの単位を１６画素、読み出しが必要なサイズを９×９画素として説明する。図９は、垂直方向に４ラインをアクセス単位とした場合に読み出しに必要な画素数の例を示す図であり、図１０は、垂直方向に２ラインをアクセス単位とした場合に読み出しに必要な画素数の例を示す図であり、図１１は、垂直方向に１ラインをアクセス単位とした場合に読み出しに必要な画素数の例を示す図である。
【００４３】
図９に示すように、４ピクセル×４ラインの構成で参照画像が記憶される場合、９×９の読み出しに最大（４×４）×９＝１４４画素の読み出しが必要である。また、図１０に示すように、８ピクセル×２ラインの構成で参照画像が記憶される場合、９×９の読み出しに最大（８×２）×１０＝１６０画素の読み出しが必要である。そして、図１１に示すように、１６ピクセル×１ラインの構成で参照画像が記憶される場合、９×９の読み出しに最大（１６×１）×１８＝２８８画素の読み出しが必要である。
【００４４】
このように、垂直方向の単位を２ライン以上にすると（図９と図１０参照）、垂直方向の単位を１ラインとした場合（図１１参照）に比べて、合計のリード量を削減することができる結果、参照画像を読み出す際のアクセス量を削減することが可能である。なお、MPEG-2やH.264/AVCなどの一般的に多く利用される圧縮形式に対しても、同様の効果が得られる。
【発明を実施するための最良の形態】
【００４５】
以下に添付図面を参照して、この発明に係る画像復号化装置、画像復号化方法および画像復号化プログラムの実施例を詳細に説明する。なお、以下では、本実施例で用いる主要な用語、本実施例に係る画像復号化装置の概要および特徴、画像復号化装置の構成および処理の流れを順に説明し、最後に本実施例に対する種々の変形例を説明する。
【実施例１】
【００４６】
［用語の説明］
まず最初に、本実施例で用いる主要な用語を説明する。本実施例で用いる「画像復号化装置（特許請求の範囲に記載の「画像復号化装置」に対応する。）」とは、動画や静止画などのデータである画像データを符号化して符号化データを生成するエンコーダなどの画像符号化装置からインターネットなどのネットワークを介して、当該符号化データであるストリームを受け付け、それを解析して、画像データに既に復号された復号データである参照画像と当該符号化データとを用いて、画像データである符号化データを復号する装置のことであり、具体的に例を挙げると、デコーダなどがこれに該当する。なお、画像復号化装置は、必ずしもネットワーク経由で符号化データを受け付けする必要はなく、例えば、フレキシブルディスク（ＦＤ）、ＣＤ、ＭＯディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカード、ＨＤＤやＵＳＢメモリなどの物理媒体から受け付ける（入力される）ようにしてもよい。
【００４７】
ここで、画像符号化装置から符号化データが送信されて、画像復号化装置において復号されるまでの処理の流れを具体的に説明する。画像符号化装置は、フレーム予測やフィールド予測などの予測形式と動画像の動きを表すベクトルデータである動き補償とを用いて、ストリームを生成して画像復号化装置に送信する。そして、画像復号化装置は、受け付けたストリームを解析して、予測形式やベクトルデータを含む解析したデータを生成する。続いて、画像復号化装置は、当該解析したデータから復号データを生成するために必要な参照画像をメモリなどの記憶部から取得し、取得した参照画像と解析したデータとを用いてデータを復号する。
【００４８】
また、最近では、符号化して送信する動画像データの解像度を上げたりする画像サイズの拡大化が進んでいることより、画像復号化装置でのストリームからのデータ復号の高速化が必要となっている。つまり、上記した処理のうち、画像復号化装置が参照画像をメモリなどの記憶部から取得し、取得した参照画像と解析したデータとを用いて、データを復号して復号データを生成する処理の高速化が必要である。例えば、テレビ画像の場合、デジタル放送では、アナログ放送の画像サイズに比べて約６倍の解像度になっており、復号化も６倍の性能が必要である。
【００４９】
また、本実施例で用いる「ストリーム」とは、画像符号化装置が、現在の画像から様々な予測形式で予測画像を生成し、また、前後の画像から物体がどの方向に、どのくらい動いているかを動きベクトルデータとして算出し、このようにして算出された動きベクトルデータと、入力画像と予測画像との差分からベクトルデータを差し引いた残りの差分画像データとを含む情報を符号化した符号化データのことである。
【００５０】
［画像復号化装置の概要および特徴］
次に、図１と図２を用いて、実施例１に係る画像復号化装置の概要および特徴を説明する。図１は、実施例１に係る画像復号化装置を含むシステムの全体構成を示すシステム構成図であり、図２は、読み出される参照画像の領域の例を示す図である。
【００５１】
図１に示すように、このシステムは、画像データを符号化してストリームを送信する画像符号化装置と、受け付けたストリームを復号して復号データ（元の画像データ）を生成する画像復号化装置とが、インターネットなどのネットワークを介して相互に通信可能に接続されている。また、画像復号化装置は、復号した復号データを格納する復号データ用メモリを保持する。
【００５２】
このような構成において、このシステムにおける画像復号化装置は、上記したように、符号化された画像データである符号化データを生成する画像符号化装置から符号化データを受け付けて、既に復号された復号データである参照画像と当該符号化データとを用いて新たな復号データを生成することを概要とするものであり、特に、参照画像を読み出すのに際して、アクセス時間を短縮することが可能である点に主たる特徴がある。
【００５３】
この主たる特徴を具体的に説明すると、画像復号化装置は、符号化データ（ストリーム）に用いられうる予測形式のそれぞれに合致した構造で参照画像を記憶する複数のメモリを保持する。具体的に例を挙げると、画像復号化装置は、符号化データに用いられるフレーム予測に対応したフレーム構造で参照画像を記憶するフレーム構造用メモリと、符号化データに用いられるフィールド予測に対応したフィールド構造で参照画像を記憶するフィールド構造用メモリとを保持する。
【００５４】
このような状態において、画像符号化装置は、フレーム予測で作成されたストリームを画像復号化装置に送信し（図１の（１）参照）、画像復号化装置は、受け付けたストリームを解析して符号化に用いられた予測形式を判別し、判別した予測形式で格納される参照画像をメモリから読み出して、ストリームと参照画像とから符号化される前の元の動画像データである新たな復号データを生成する（図１の（２）〜（４）参照）。
【００５５】
具体的に例を挙げて説明すると、ストリームを受け付けた画像復号化装置は、当該ストリームを解析して得られる予測形式、動き補償や差分画像データなどの含むデータから、当該ストリームの作成に用いられた予測形式がフレーム予測であるかフィールド予測であるかを判別する。そして、画像復号化装置は、受け付けたストリームに用いられた予測形式がフレーム予測であると判断すると、図２の（１）に示すように（実際に必要な画像情報「◆」「●」）、当該ストリームを復号して復号データを生成するのに必要な参照画像をフレーム構造用メモリから取得する。
【００５６】
続いて、参照画像を取得した画像復号化装置は、当該ストリームから得られた動き補償や差分画像データなどを含むデータを、取得した参照画像に加算することで復号データを生成する。なお、ここで、受け付けたストリームにいずれの予測形式も用いられていない場合や参照画像を必要としないストリームを受け付けた場合など、画像復号化装置は、参照画像を取得することなく当該ストリームを復号して新たな復号データを生成し、生成した新たな復号データを復号データ用メモリに格納する。
【００５７】
そして、画像復号化装置は、生成された新たな復号データから、複数のメモリそれぞれの予測形式ごとに応じた参照画像を生成して、当該参照画像を複数のメモリそれぞれに格納する（図１の（５）と（６）参照）。
【００５８】
上記した例で具体的に説明すると、画像復号化装置は、生成された新たな復号データから、フレーム構造の参照画像とフィールド構造の参照画像とを生成し、生成したフレーム構造の参照画像をフレーム構造で参照画像を記憶するフレーム構造用メモリに格納し、生成したフィールド構造の参照画像をフィールド構造用のメモリに格納する。
【００５９】
その後、画像符号化装置からストリームを受け付けた画像復号化装置は、上記で説明したように、当該ストリームを解析（復号）して得られる予測形式、動き補償や差分画像データなどの含むデータから、当該ストリームの作成に用いられた予測形式がフレーム予測であるかフィールド予測であるかを判別する（図１の（７）と（８）参照）。
【００６０】
そして、画像復号化装置は、受け付けたストリームに用いられた予測形式がフィールド予測であると判断すると、図２の（２）に示すように（実際に必要な画像情報「◆」「●」）、当該ストリームを復号して復号データを生成するのに必要な参照画像をフィールド構造用メモリから取得し（図１の（９）参照）、当該ストリームから得られた動き補償や差分画像データなどを含むデータを、取得した参照画像に加算することで復号データを生成する（図１の（１０）参照）。
【００６１】
続いて、画像復号化装置は、生成された新たな復号データから、フレーム構造で参照画像を記憶するフレーム構造用メモリに対してフレーム構造の参照画像を生成して格納し、フィールド構造で参照画像を記憶するフィールド構造用メモリに対してフィールド構造の参照画像を生成して格納する（図１の（１１）と（１２）参照）。
【００６２】
このように、このシステムにおける画像復号化装置は、フレーム予測やフィールド予測などに用いられる様々な予測形式に応じて、あらかじめメモリなどに参照画像を格納しておくことで、どのような予測形式を用いて符号化されたストリームを受け付けた場合でも、読み出す参照画像の状態に関わらず、最もアクセス時間が短く参照画像を読み出すことができる結果、参照画像を読み出すのに際して、アクセス時間を短縮することが可能である。
【００６３】
［画像復号化装置の構成］
次に、図３を用いて、図１に示した画像復号化装置の構成を説明する。図３は、実施例１に係る画像復号化装置の構成を示すブロック図である。図３に示すように、この画像復号化装置１０は、通信制御Ｉ／Ｆ部１１と、記憶部１２と、制御部２０とから構成される。
【００６４】
通信制御Ｉ／Ｆ部１１は、画像復号化装置１０に接続される画像符号化装置などとの間でやり取りする各種情報に関する通信を制御する。具体的には、通信制御Ｉ／Ｆ部１１は、予測形式による動き補償を用いて画像データを符号化したストリームを画像符号化装置から受け付け、後述する制御部２０の復号データ生成部２１に出力する。
【００６５】
記憶部１２は、制御部２０による各種処理に必要なデータおよびプログラムを格納するとともに、特に本発明に密接に関連するものとしては、復号データ用メモリ１３と、フレーム構造用メモリ１４と、フィールド構造用メモリ１５とを備える。
【００６６】
復号データ用メモリ１３は、後述する制御部２０の復号データ生成部２１により復号された復号データを記憶する。具体的には、復号データ用メモリ１３は、制御部２０の復号データ生成部２１によって、画像符号化装置から送信されたストリームを復号して得られた元の動画像データである復号データを記憶する。
【００６７】
フレーム構造用メモリ１４は、フレーム構造で参照画像を記憶する。具体的に例を挙げれば、図４に示すように、フレーム構造用メモリ１４は、順次走査に対応するように、各フレームにおける第一フィールドと第二フィールドを交互に格納する。なお、図４は、フレーム構造用メモリに格納される情報の例を示す図である。
【００６８】
フィールド構造用メモリ１５は、フィールド構造で参照画像を記憶する。具体的に例を挙げれば、図５に示すように、フィールド構造用メモリ１５は、飛び越し走査に対応するように、各フレームにおける第一フィールドと第二フィールドとを別領域に格納する。なお、図５は、フィールド構造用メモリに格納される情報の例を示す図である。また、フレーム構造用メモリ１４と、フィールド構造用メモリ１５とは、それぞれ特許請求の範囲に記載の「複数の参照画像記憶手段」に対応する。
【００６９】
制御部２０は、ＯＳ（Operating System）などの制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有するとともに、特に本発明に密接に関連するものとしては、復号データ生成部２１と、読み出しアドレス作成部（フレーム構造用）２３と、読み出しアドレス作成部（フィールド構造用）２４と、選択回路２５と、参照画像格納部３０と、データバッファ３１と、書き込みアドレス作成部（フレーム構造用）３２と、書き込みアドレス作成部（フィールド構造用）３３と、選択回路３４とを備え、これらによって種々の処理を実行する。
【００７０】
復号データ生成部２１は、通信制御Ｉ／Ｆ部１１により受け付けられたストリームを解析して符号化に用いられた予測形式を判別し、判別した予測形式で格納される参照画像をメモリから読み出して、ストリームと参照画像とから新たな復号データを生成し、生成した復号データを復号データ用メモリ１３に格納するとともに、当該復号データを後述する参照画像格納部３０に出力する。
【００７１】
具体的に説明すると、復号データ生成部２１は、通信制御Ｉ／Ｆ部１１により受け付けられたストリームを復号するのに参照画像を必要とするか否かを判別する。そして、復号データ生成部２１は、いずれの予測形式も用いられておらず、参照画像を必要としないと判別すると、参照画像を取得することなく当該ストリームを復号して新たな復号データを生成し、生成した新たな復号データを復号データ用メモリ１３に格納するとともに、当該復号データを後述する参照画像格納部３０に出力する。
【００７２】
一方、いずれかの予測形式が用いられており、参照画像が必要であると判別すると復号データ生成部２１は、ストリームを解析して符号化に用いられた予測形式が、フレーム予測であるかフィールド予測であるかを判別する。
【００７３】
そして、フレーム予測と判断した場合に、復号データ生成部２１は、複数のメモリのうちフレーム構造で参照画像を記憶するフレーム構造用メモリ１４から、当該ストリームに対応した参照画像を読み出すために、後述する読み出しアドレス作成部（フレーム構造用）２３に対して、読み出す参照画像のアドレスを算出するように指示する。そして、読み出しアドレス作成部（フレーム構造用）２３により作成されたアドレスが選択回路２５により選択され、復号データ生成部２１は、当該アドレスを用いて当該ストリームに対応した参照画像をフレーム構造用メモリ１４から読み出す。このようにして参照画像を読み出した復号データ生成部２１は、受け付けたストリームと読み出した参照画像とから新たな復号データを生成して、生成した復号データを復号データ用メモリ１３に格納するとともに、当該復号データを後述する参照画像格納部３０に出力する。
【００７４】
一方、ストリームを解析して符号化に用いられた予測形式が、フィールド予測であると判断した場合に、復号データ生成部２１は、複数のメモリのうちフィールド構造で参照画像を記憶するフィールド構造用メモリ１５から、当該ストリームに対応した参照画像を読み出すために、後述する読み出しアドレス作成部（フィールド構造用）２４に対して、読み出す参照画像のアドレスを算出するように指示する。そして、読み出しアドレス作成部（フィールド構造用）２４により作成されたアドレスが選択回路２５により選択され、復号データ生成部２１は、当該アドレスを用いて当該ストリームに対応した参照画像をフィールド構造用メモリ１５から読み出す。このようにして参照画像を読み出した復号データ生成部２１は、受け付けたストリームと読み出した参照画像とから新たな復号データを生成して、生成した復号データを復号データ用メモリ１３に格納するとともに、当該復号データを後述する参照画像格納部３０に出力する。
【００７５】
読み出しアドレス作成部（フレーム構造用）２３は、フレーム構造用メモリ１４に記憶されている参照画像を読み出すためのアドレスを算出する。上記した例で具体的に説明すると、読み出しアドレス作成部（フレーム構造用）２３は、復号データ生成部２１から読み出す参照画像のアドレスを算出するように指示されると、必要となる参照画像とアクセス単位とを考慮して、読み出し開始アドレスを算出し、算出したアドレスを後述する選択回路２５に出力する。
【００７６】
読み出しアドレス作成部（フィールド構造用）２４は、フィールド構造用メモリ１５に記憶されている参照画像を読み出すためのアドレスを算出する。上記した例で具体的に説明すると、読み出しアドレス作成部（フィールド構造用）２４は、復号データ生成部２１から読み出す参照画像のアドレスを算出するように指示されると、必要となる参照画像とアクセス単位とを考慮して、読み出し開始アドレスを算出し、算出したアドレスを後述する選択回路２５に出力する。
【００７７】
選択回路２５は、読み出しアドレス作成部（フレーム構造用）２３により作成されたアドレス、または読み出しアドレス作成部（フィールド構造用）２４により作成されたアドレスから、記憶部１２へ出力するアドレスを選択する。上記した例で具体的に説明すると、選択回路２５は、読み出しアドレス作成部（フレーム構造用）２３からアドレスが入力されると、フレーム構造用メモリ１４に当該アドレスを出力して、復号データ生成部２１はフレーム構造の参照画像を読み出す。
【００７８】
また、読み出しアドレス作成部（フィールド構造用）２４からアドレスが入力されると、選択回路２５は、フィールド構造用メモリ１５に当該アドレスを出力して、復号データ生成部２１は、フィールド構造の参照画像を読み出す。なお、上記した復号データ生成部２１と、読み出しアドレス作成部（フレーム構造用）２３と、読み出しアドレス作成部（フィールド構造用）２４と、選択回路２５は、特許請求の範囲に記載の「復号データ生成手段」に対応する。
【００７９】
参照画像格納部３０は、復号データ生成部２１により生成された新たな復号データから、複数のメモリそれぞれの予測形式ごとに応じた参照画像を生成して、当該参照画像を複数のメモリそれぞれに格納する。上記した例で具体的に説明すると、生成された新たな復号データが復号データ生成部２１から入力された参照画像格納部３０は、当該復号データからフレーム構造の参照画像とフィールド構造の参照画像とを生成し、生成したそれぞれの参照画像を後述するデータバッファ３１に格納するとともに、書き込みアドレス作成部（フレーム構造用）３２と書き込みアドレス作成部（フィールド構造用）３３とに、書き込みを開始するアドレスを算出するように指示する。
【００８０】
そして、選択回路３４は、書き込みアドレス作成部（フレーム構造用）３２により作成されたアドレスがフレーム構造用メモリ１４に、書き込みアドレス作成部（フィールド構造用）３３により作成されたアドレスがフィールド構造用メモリ１５に出力されるように選択する。
【００８１】
参照画像格納部３０は、書き込みアドレス作成部（フレーム構造用）３２により作成されたアドレスを用いて、生成したフレーム構造の参照画像をデータバッファ３１から読み出してフレーム構造用メモリ１４に格納するとともに、書き込みアドレス作成部（フィールド構造用）３３により作成されたアドレスを用いて、生成したフィールド構造の参照画像をデータバッファ３１から読み出してフィールド構造用メモリ１５に格納する。
【００８２】
データバッファ３１は、参照画像格納部３０により生成された参照画像を一時的に記憶する。上記した例で具体的に説明すると、データバッファ３１は、生成されたフレーム構造の参照画像とフィールド構造の参照画像が参照画像格納部３０から入力されると、次に参照画像格納部３０によりフレーム構造用メモリ１４とフィールド構造用メモリ１５とに出力されるまでの間、入力された参照画像を一時的に記憶する。
【００８３】
書き込みアドレス作成部（フレーム構造用）３２は、フレーム構造用メモリ１４に復号データを格納するためのアドレスを算出する。上記した例で具体的に説明すると、書き込みアドレス作成部（フレーム構造用）３２は、参照画像格納部３０により生成されたフレーム構造の参照画像を格納するためのアドレスを計算するように指示されると、書き込み開始アドレスを算出し、算出したアドレスを後述する選択回路３４に出力する。
【００８４】
書き込みアドレス作成部（フィールド構造用）３３は、フィールド構造用メモリ１５に復号データを格納するためのアドレスを算出する。上記した例で具体的に説明すると、書き込みアドレス作成部（フィールド構造用）３３は、参照画像格納部３０により生成されたフィールド構造の参照画像を格納するためのアドレスを計算するように指示されると、書き込み開始アドレスを算出し、算出したアドレスを後述する選択回路３４に出力する。
【００８５】
選択回路３４は、書き込みアドレス作成部（フレーム構造用）３２により作成されたアドレスと書き込みアドレス作成部（フィールド構造用）３３により作成されたアドレスから、記憶部１２へ出力するアドレスを選択する。上記した例で具体的に説明すると、参照画像をフレーム構造用メモリ１４に書き込む場合には、書き込みアドレス作成部（フレーム構造用）３２により作成されたアドレスを選択し、フレーム構造用メモリ１４に出力する。
【００８６】
また、参照画像をフィールド構造用メモリ１５に書き込む場合には、書き込みアドレス作成部（フィールド構造用）３３により作成されたアドレスを選択し、フィールド構造用メモリ１５に出力する。なお、上記した参照画像格納部３０と、データバッファ３１と、書き込みアドレス作成部（フレーム構造用）３２と、書き込みアドレス作成部（フィールド構造用）３３と、選択回路３４は、特許請求の範囲に記載の「参照画像格納手段」に対応する。
【００８７】
［画像復号化装置による復号化処理］
次に、図６と図７を用いて、画像復号化装置による処理を説明する。図６は、実施例１に係る画像復号化装置における復号化処理の流れを示すフローチャートであり、図７は、実施例１に係る画像復号化装置における参照画像格納処理の流れを示すフローチャートである。
【００８８】
（復号化処理）
まず、図６を用いて、実施例１に係る画像復号化装置における復号化処理の流れを説明する。図６に示すように、画像符号化装置からストリームを受け付けると（ステップＳ６０１肯定）、画像復号化装置１０の復号データ生成部２１は、当該ストリームを解析して、復号するのに参照画像が必要であるか否かを判別する（ステップＳ６０２）。
【００８９】
そして、当該ストリームを復号するのに参照画像が必要であると判別すると（ステップＳ６０２肯定）、画像復号化装置１０の復号データ生成部２１は、当該ストリームに用いられた予測形式がフレーム予測であるかフィールド予測であるかを判別する（ステップＳ６０３）。
【００９０】
続いて、当該ストリームに用いられた予測形式がフレーム予測であった場合（ステップＳ６０４肯定）、復号データ生成部２１は、読み出しアドレス作成部（フレーム構造用）２３に参照画像を読み出すアドレスを算出するように指示し、算出されたアドレスを用いて、フレーム構造用メモリ１４から当該ストリームに対応する参照画像を取得し（ステップＳ６０５）、復号データ生成部２１は、受け付けたストリームと読み出した参照画像とから新たな復号データを生成する（ステップＳ６０７）。
【００９１】
一方、当該ストリームに用いられた予測形式がフレーム予測でない場合（ステップＳ６０４否定）、復号データ生成部２１は、読み出しアドレス作成部（フィールド構造用）２４に参照画像を読み出すアドレスを算出するように指示し、算出されたアドレスを用いて、フィールド構造用メモリ１５から当該ストリームに対応する参照画像を取得し（ステップＳ６０６）、復号データ生成部２１は、受け付けたストリームと読み出した参照画像とから新たな復号データを生成する（ステップＳ６０７）。
【００９２】
ステップＳ６０２に戻り、当該ストリームを復号するのに参照画像が必要でない場合（ステップＳ６０２否定）、画像復号化装置１０の復号データ生成部２１は、参照画像を用いることなく当該ストリームを復号する（ステップＳ６０７）。
【００９３】
（参照画像格納処理）
次に、図７を用いて、実施例１に係る画像復号化装置における参照画像格納処理の流れを説明する。図７に示すように、生成された新たな復号データを復号データ生成部２１から受け付けると（ステップＳ７０１肯定）、参照画像格納部３０は、当該復号データからフレーム構造の参照画像とフィールド構造の参照画像とを生成し、それぞれ生成した参照画像をデータバッファ３１に格納する（ステップＳ７０２とステップＳ７０３）。
【００９４】
すると、参照画像格納部３０は、書き込みアドレス作成部（フレーム構造用）３２と書き込みアドレス作成部（フィールド構造用）３３とに書き込み開始アドレスの算出を指示し、書き込みアドレス作成部（フレーム構造用）３２により算出されたアドレスを用いて、生成したフレーム構造の参照画像をフレーム構造用メモリ１４に書き込み（ステップＳ７０４）、同様に、書き込みアドレス作成部（フィールド構造用）３３により算出されたアドレスを用いて、生成したフィールド構造の参照画像をフィールド構造用メモリ１５に書き込む（ステップＳ７０５）。
【００９５】
［実施例１による効果］
このように、実施例１によれば、ストリームに用いられうる予測形式のそれぞれに合致した構造で参照画像を記憶し、ストリームを受け付けた場合に、当該ストリームを解析して符号化に用いられた予測形式を判別し、判別した予測形式で格納される参照画像をメモリから読み出して、ストリームと参照画像とから新たな復号データを生成し、生成された新たな復号データから、複数のメモリそれぞれの予測形式ごとに応じた参照画像を生成して、当該参照画像を複数のメモリそれぞれに格納するので、参照画像を読み出すのに際して、アクセス時間を短縮することが可能である。
【００９６】
例えば、フレーム予測やフィールド予測などに用いられる様々な予測形式に応じて、あらかじめメモリなどに参照画像を格納しておくことで、どのような予測形式を用いて符号化された符号化データを受け付けた場合でも、読み出す参照画像の状態に関わらず、最もアクセス時間が短く参照画像を読み出すことが可能である。また、それぞれの参照画像を別々のメモリに書き込むことで、書き込みのオーバーヘッドを削除することが可能である。
【００９７】
また、参照画像を複数のメモリに書き込むことになる結果、メモリへの書き込みアクセス時間とメモリから参照画像を読み出す読み出しアクセス時間とを考慮した場合、トータルでアクセス時間が短縮されないという懸念があるが、一般的に、メモリへの書き込み量（書き込み回数）に比べて、読み出し量（読み出し回数）の方が圧倒的に多いため、書き込みと読み出しとの両方を考えてもアクセス時間を短縮することが可能である。
【００９８】
具体的に例を挙げると、符号化技術（圧縮技術）としてMPEG-2を用いた場合、１マクロブロックあたりで計算すると、メモリに書き込む画素数が１６×１６の２５６画素数であるのに対して、メモリから読み出す画素数が１７×１７×２の５７８画素数となる。また、符号化技術（圧縮技術）としてH.264/AVCを用いた場合、予測単位を８×８として計算すると、メモリに書き込む画素数が８×８の６４画素数であるのに対して、メモリから読み出す画素数が１３×１３×２の３３８画素数となる。このように、メモリへ書き込み回数を２倍にしたとしても、メモリからデータを読み出す画素数の方が多いため、書き込みと読み出しとの両方を考えてもアクセス時間を短縮することが可能である。
【００９９】
また、実施例１によれば、ストリームを受け付けた場合に、当該ストリームを解析して符号化に用いられた予測形式が、フレーム予測であるかフィールド予測であるかを判別し、フレーム予測であった場合に、フレーム構造用メモリ１４からフレーム構造の参照画像を読み出して、ストリームと参照画像とから新たな復号データを生成し、フィールド予測であった場合に、フィールド構造用メモリ１５からフィールド構造の参照画像を読み出して、ストリームと参照画像とから新たな復号データを生成し、生成された新たな復号データから、フレーム構造の参照画像とフィールド構造の参照画像とを生成し、生成したフレーム構造の参照画像とフィールド構造の参照画像とをフレーム構造用メモリ１４とフィールド構造用メモリ１５とのそれぞれに格納するので、参照画像を読み出すのに際して、さらにアクセス時間を短縮することが可能である。
【０１００】
例えば、符号化技術（圧縮技術）として一般的に用いられるフレーム予測とフィールド予測とをあらかじめメモリに格納させておくことで、MPEG-2やH.264/AVCなどのように、よく用いられる圧縮技術を用いた符号化データを受け付けた場合に、参照画像を読み出すのに際して、さらにアクセス時間を短縮することが可能である。また、それぞれの参照画像を別々のメモリに書き込むことで、書き込みのオーバーヘッドを削除することが可能である。
【０１０１】
また、実施例１によれば、図８に示すように、フレーム構造かまたはフィールド構造のメモリのどちらかしか備えていない場合、メモリと異なる形式のストリームを受け付けると、無駄に多くの画素数を読み出すこととなる。例えば、メモリの構造がフレーム構造であった場合に、フレーム予測で生成されたストリームを受け付けると、画像復号化装置は、２８８画素を読み出せばよいが、フレーム予測ではなくフィールド予測で生成されたストリームを受け付けたとすると、画像復号化装置は、４８０画素を読み出すこととなる。そこで、上記した実施例で説明したように、フレーム構造およびフィールド構造のメモリをそれぞれ備えている場合、画像復号化装置は、常に最小の画素数を選択して読み出すことが可能である。なお、図８は、読み出しに必要な画素数の例を示す図である。
【０１０２】
また、実施例１によれば、予測形式ごとにそれぞれ参照画像を生成して、生成した参照画像を、それぞれの予測形式で参照画像をそれぞれ格納するので、参照画像の書き込み時間を短縮することが可能である。
【０１０３】
例えば、予測形式がフレーム予測とフィールド予測の２種類存在する場合に、それぞれの予測形式の参照画像を記憶する２つのメモリを用意したとすると、生成されたそれぞれの予測形式ごとの参照画像を、２つのメモリに同時に書き込みを開始することができる結果、１つのメモリに２種類の参照画像を書き込む場合に比べて、参照画像の書き込み時間をより短縮することが可能である。
【０１０４】
また、実施例１によれば、参照画像の書き込みはマクロブロックで行われるため、書き込むべき画素数と実際に書き込む画素数が一致しているが、参照画像の読み出しは必ずしもマクロブロック単位ではないので、読み出すべき画素数と実際に読み出す画素数とは必ずしも一致しないため、あらかじめメモリなどに参照画像を格納しておくことで、どのような予測形式を用いて符号化された符号化データを受け付けた場合でも、読み出す画素数を最小限にすることができる結果、アクセス時間を短縮することが可能である。
【０１０５】
例えば、符号化技術がH.264/AVCの場合、４ピクセル×４ラインの画像（計１６画素）を復号するために９ピクセル×９ラインの参照画像を読み出す必要がある。図９〜図１６では、９ピクセル×９ラインの参照画像を読み出す場合について説明しているが、４ピクセル× ４ラインを単位として読み出しが行われるため、実際の画素数である８１画素で読み出されるわけではなく、最大で２４０画素、最小で１４４画素が読み出されることとなる。そのため、参照画像として２度以上メモリに書き込みを行った場合でも、書き込み画素数は１６２画素以上となり、最小で読み出す画素数よりも多くなる。つまり、あらかじめメモリなどに参照画像を格納しておくことで、どのような予測形式を用いて符号化された符号化データを受け付けた場合でも、読み出す画素数を最小限にすることができる結果、アクセス時間を短縮することが可能である。
【実施例２】
【０１０６】
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下に示すように、（１）格納領域、（２）アクセス単位、（３）メモリの数、（４）システム構成等、（５）プログラム、にそれぞれ区分けして異なる実施例を説明する。
【０１０７】
（１）格納領域
例えば、実施例１では、生成された参照画像をフレーム構造用メモリとフィールド構造用メモリにそれぞれ格納する場合に、当該参照画像の輝度成分と色差成分とを同じ格納領域に格納する場合について説明したが、本発明はこれに限定されるものではなく、輝度成分と色差成分とに領域を分けて格納するようにしてもよい。このようにすることで、必要な成分のみを参照する場合に、さらにアクセス時間を短縮することが可能である。
【０１０８】
例えば、復号状況を解析するなどデータを解析すること以外に、輝度成分や色差成分の参照が必要な場合に、輝度成分のみを参照したり、色差成分のみを参照したりするアクセス時間を短縮することが可能である。また、輝度成分と色差成分とで予測形式が違う場合にも対応が可能となる。
【０１０９】
（２）アクセス単位
また、実施例１では、参照画像を読み出すアクセス単位を特に指定することなく読み出す場合について説明したが、本発明はこれに限定されるものではなく、フレーム構造用メモリおよびフィールド構造用メモリそれぞれの格納形式に対して、垂直方向に２ライン以上をアクセス単位とするようにしてもよい。このようにすることで、参照画像を読み出す際のアクセス量を削減することが可能である。
【０１１０】
（３）メモリの数
また、実施例１では、参照画像を記憶するメモリが２つある場合について説明したが、本発明はこれに限定されるものではなく、メモリの数に制限は設けていない。例えば、実施例１で説明したように、フレーム構造とフィールド構造の２種類の参照画像を格納する場合であっても、１つのメモリに格納するようにしてもよい。
【０１１１】
このようにすることで、メモリ領域の浪費を防止することが可能である。例えば、予測形式ごとに参照画像を生成しても容量が少ない場合、複数のメモリに格納すると、空き容量が多くなり容量が浪費される。このような場合に、１つのメモリに領域を分けて参照画像を格納することで、メモリ領域の浪費を防止することが可能である。
【０１１２】
（４）システム構成等
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部（例えば、ストリーム解析処理やアドレス算出処理など）または一部を手動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報（例えば、図２、図４、図５、図９〜図１８など）については、特記する場合を除いて任意に変更することができる。
【０１１３】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合（例えば、復号データ生成部と参照画像格納部を統合するなど）して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【０１１４】
（５）プログラム
なお、本実施例で説明した通信制御方法は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【産業上の利用可能性】
【０１１５】
以上のように、本発明に係る画像復号化装置、画像復号化方法および画像復号化プログラムは、符号化された画像データである符号化データを生成する画像符号化装置から符号化データを受け付けて、既に復号された復号データである参照画像と当該符号化データとを用いて新たな復号データを生成するに有用であり、特に、参照画像を読み出すのに際して、アクセス時間を短縮することに適する。
【図面の簡単な説明】
【０１１６】
【図１】実施例１に係る画像復号化装置を含むシステムの全体構成を示すシステム構成図である。
【図２】読み出される参照画像の領域の例を示す図である。
【図３】実施例１に係る画像復号化装置の構成を示すブロック図である。
【図４】フレーム構造用メモリに格納される情報の例を示す図である。
【図５】フィールド構造用メモリに格納される情報の例を示す図である。
【図６】実施例１に係る画像復号化装置における復号化処理の流れを示すフローチャートである。
【図７】実施例１に係る画像復号化装置における参照画像格納処理の流れを示すフローチャートである。
【図８】読み出しに必要な画素数の例を示す図である。
【図９】垂直方向に４ラインをアクセス単位とした場合に読み出しに必要な画素数の例を示す図である。
【図１０】垂直方向に２ラインをアクセス単位とした場合に読み出しに必要な画素数の例を示す図である。
【図１１】垂直方向に１ラインをアクセス単位とした場合に読み出しに必要な画素数の例を示す図である。
【図１２】従来技術を説明するための図である。
【図１３】従来技術を説明するための図である。
【図１４】従来技術を説明するための図である。
【図１５】従来技術を説明するための図である。
【図１６】従来技術を説明するための図である。
【図１７】従来技術を説明するための図である。
【図１８】従来技術を説明するための図である。
【図１９】従来技術を説明するための図である。
【符号の説明】
【０１１７】
１０ 画像復号化装置
１１ 通信制御Ｉ／Ｆ部
１２ 記憶部
１３ 復号データ用メモリ
１４ フレーム構造用メモリ
１５ フィールド構造用メモリ
２０ 制御部
２１ 復号データ生成部
２２ アドレス生成部（復号データ用）
２３ 読み出しアドレス作成部（フレーム構造用）
２４ 読み出しアドレス作成部（フィールド構造用）
２５ 選択回路
３０ 参照画像格納部
３１ データバッファ
３２ 書き込みアドレス作成部（フレーム構造用）
３３ 書き込みアドレス作成部（フィールド構造用）
３４ 選択回路
【技術分野】
【０００１】
この発明は、符号化されたデータである符号化データを生成する画像符号化装置から符号化データを受け付けて、既に復号された復号データである参照画像と当該符号化データとを用いて新たな復号データを生成する画像復号化装置、画像復号化方法および画像復号化プログラムに関する。
【背景技術】
【０００２】
従来より、MPEG-2（Moving Picture Experts Group phase2）、H.264/AVCなどの動画圧縮技術では、動画像の圧縮符号化において高い圧縮率を得るために、フレーム間予測を用いている。このフレーム予測とは、入力フレームと時間的に前後するフレームとは良く似ているという動画像の性質を利用して、前後のフレームから現在のフレームを予測した予測フレームを生成し、入力フレームと予測フレームとの差分を符号化する技術のことである。また、上記したように予測フレームを、フレーム単位ではなくフィールド単位で予測することをフィールド予測と呼ぶ。
【０００３】
そして、このようなフレーム予測やフィールド予測では、さらに圧縮効率を高めるために動き補償と呼ばれる技術を用いる。フレーム予測を例にして説明すると、フレーム予測では、前後のフレームから現在のフレームを予測して予測フレームを作成するが、実際には前後のフレームと現在のフレームとは全く同じではなく、フレーム中の物体が動いていたりする。つまり、フレーム間に連続性があることとなる。このフレーム間の連続性を補うための技術が動き補償である。
【０００４】
具体的に説明すると、データを符号化して送信する画像符号化装置（エンコーダ）は、フレームを構成する予測単位ごとに差分を算出して動きベクトルを算出する。そして、画像符号化装置は、このようにして算出された動きベクトルデータと、入力フレームと予測フレームとの差分である差分画像データとを符号化してストリーム（データ）を作成し、作成したストリームを画像復号化装置（デコーダ）に送信する。
【０００５】
そして、画像復号化装置では、受け付けたストリームを解析して、動きベクトルデータに対応した画像（参照画像と呼ぶ）を予測単位毎にメモリから取得し、この参照画像に差分画像データを加算することで、データを復号する。また、画像復号化装置は、このように復号した復号データを、後に受け付けるストリームから新たに復号データを生成するために必要な参照画像として、メモリに格納する。
【０００６】
このように、画像復号化装置が復号データを生成するためには、メモリに格納してある参照画像が重要であり、さらに、復号データの生成には、メモリから参照画像を読み出すアクセス時間が重要に関係している。つまり、アクセス時間が高速であれば、データを高速に復号することができ、アクセス時間が低速であれば、データを復号するのに時間がかかる。
【０００７】
この関係性を具体的に例を挙げて説明するために、まず、参照画像を記憶するメモリについて説明する。一般的に、メモリに格納される参照画像は、図１２に示したように順次走査に対応するように、第一フィールドと第二フィールドを交互に格納するフレーム構造と、図１３に示したような飛び越し走査に対応するように、第一フィールドと第二フィールドとを別領域に格納するフィールド構造とのどちらかの構造で格納される。そして、このような参照画像を記憶するメモリは、通常、アクセス帯域を確保し易いＤＤＲ２−ＳＤＲＡＭ（Double Data Rate 2−Synchronous Dynamic Random Access Memory）などのデータの高速転送が可能なメモリが利用される。
【０００８】
このＤＤＲ２−ＳＤＲＡＭは、最小のアクセスが２クロック（４バースト）であり、データバスが３２ビットの場合、１６バイト単位のアクセスとなる。また、記憶される動画像の１画素は、輝度成分（Ｙ）と色差成分（Ｃ）から構成される。つまり、輝度成分と色差成分とをそれぞれ８ビットとし、輝度成分を格納するものとして計算すると、ＤＤＲ２−ＳＤＲＡＭは、１６画素（１６バイト）分のデータを単位として蓄積して記憶することとなる。この場合、メモリへのアクセス単位と画素の関係は、例えば、図１４に示したように、４ピクセル×４ラインの１６ピクセルとなる。なお、ここで例示したアクセス単位は、あくまでも例であり、必ずしも４ピクセル×４ラインである必要はなく、８ピクセル×２ラインであってもよい。
【０００９】
次に、上記した輝度成分（１動きベクトルデータ）にのみ着目して、このようなＤＤＲ２−ＳＤＲＡＭを備える画像復号化装置が参照画像を読み出すアクセス時間について説明する。なお、以下では、例として、「◆」「●」を含む９ピクセル×９ラインの画像が参照画像として必要な場合について説明する。
【００１０】
そこで、画像復号化装置は、このようなＤＤＲ２−ＳＤＲＡＭなどのメモリに、参照画像をフレーム構造で格納していた場合に、動き補償の予測形式がフレーム予測であるストリームを受け付けたとすると、例えば、図１５に示すように、ストリームからデータを復号するために、実際に必要な画像情報「◆」「●」を含む４×４のアクセス単位を９個（計１４４画素）読み出す（リードする）必要がある。
【００１１】
一方、画像復号化装置は、このようなＤＤＲ２−ＳＤＲＡＭなどのメモリに、参照画像をフィールド構造で格納していた場合に、動き補償の予測形式がフレーム予測であるストリームを受け付けたとすると、例えば、図１６に示すように、画像復号化装置は、実際に必要な画像情報「◆」「●」を読み出すために、第一フィールドから４×４のアクセス単位を６個（計９６画素）と、第二フィールドから４×４のアクセス単位を６個（計９６画素）とを読み出す必要がある。
【００１２】
また、参照画像をフレーム構造で格納していた場合に、動き補償の予測形式がフィールド予測であるストリームを受け付けたとすると、例えば、図１７に示すように、画像復号化装置は、実際に必要な画像情報「◆」を含む４×４のアクセス単位を１５個（計２４０画素）読み出す必要がある。
【００１３】
一方、参照画像をフィールド構造で格納していた場合に、動き補償の予測形式がフィールド予測であるストリームを受け付けたとすると、例えば、図１８に示すように、画像復号化装置は、実際に必要な画像情報「◆」を読み出すために、第一フィールドから４×４のアクセス単位を０個（計０画素）と、第二フィールドから４×４のアクセス単位を９個（計１４４画素）とを読み出す必要がある。
【００１４】
上記で輝度成分に関して説明した１動きベクトルデータの結果を踏まえ、２動きベクトルデータ（参照画像が２つある場合）における参照に必要な画素数（読み出し画素数）を図１９に示す。図１９に示すように、メモリに格納されるデータ構造と、受け付けたストリームに使用された予測形式とが異なる場合、読み出す画素数が多くなり、アクセス時間が遅くなる。一方、メモリに格納されるデータ構造と、受け付けたストリームに使用された予測形式とが同じである場合、読み出す画素数が少なくなり、アクセス時間が短くなる。
【００１５】
このように、データの復号には、メモリから参照画像を読み出すアクセス時間が重要に関係している。そこで、画像復号化装置において、メモリから参照画像を効率的に読み出すことで、アクセス時間を短縮する様々な技術が開示されている。
【００１６】
例えば、特許文献１（特開平８−２７５１８１号公報）では、参照画像を分割して複数のメモリに格納した場合でも、メモリをアクセスための時間が増大するのを防止し、読み出し位置によらず一定のアクセス時間で参照画像を参照することができる技術が開示されている。具体的には、参照画像が分割して複数のメモリに格納される場合に、分割点近傍の画像データを、メモリの分割点前後の画像データが格納される２つの領域に二重に書き込む。このようにすることで、分割された参照画像を読み出す場合に、読み出すアドレスを変更することなく、１つのメモリから参照画像を読み出すことができる。
【００１７】
【特許文献１】特開平８−２７５１８１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１８】
しかしながら、上記した従来の技術（特許文献１）では、参照画像が分割されて格納された場合に、読み出し効率の悪化を防ぐための技術であり、読み出し効率を改善することはできず、アクセス時間を短縮することができないという課題があった。また、上記では、画像圧縮技術としてフィールド予測とフレーム予測とを別々に用いた場合について説明したが、フィールド予測とフレーム予測とが混在した画像圧縮技術においても同様の課題がある。
【００１９】
そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、参照画像を読み出すのに際して、アクセス時間を短縮することが可能である画像復号化装置、画像復号化方法および画像復号化プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２０】
上述した課題を解決し、目的を達成するため、請求項１に係る発明は、符号化された画像データである符号化データを生成する画像符号化装置から前記符号化データを受け付けて、画像データに既に復号された復号データである参照画像と当該符号化データとを用いて新たな復号データを生成する画像復号化装置であって、前記符号化データに用いられうる予測形式のそれぞれに合致した構造で前記参照画像を記憶する参照画像記憶手段と、前記符号化データを受け付けた場合に、当該符号化データを解析して符号化に用いられた予測形式を判別し、判別した予測形式で格納される参照画像を前記参照画像記憶手段から読み出して、前記符号化データと前記参照画像とから新たな復号データを生成する復号データ生成手段と、前記復号データ生成手段により生成された新たな復号データから、前記予測形式それぞれに対応した参照画像を生成して、当該生成した参照画像を前記参照画像記憶手段にそれぞれ格納する参照画像格納手段と、を備えたことを特徴とする。
【００２１】
また、請求項２に係る発明は、上記の発明において、前記復号データ生成手段は、前記符号化データを受け付けた場合に、当該符号化データを解析して符号化に用いられた予測形式が、フレーム予測であるかフィールド予測であるかを判別し、フレーム予測であった場合に、前記参照画像記憶手段からフレーム構造の参照画像を読み出して、前記符号化データと参照画像とから新たな復号データを生成し、フィールド予測であった場合に、前記参照画像記憶手段からフィールド構造の参照画像を読み出して、前記符号化データと参照画像とから新たな復号データを生成し、前記参照画像格納手段は、前記復号データ生成手段により生成された新たな復号データから、フレーム構造の参照画像とフィールド構造の参照画像とを生成し、生成したフレーム構造の参照画像とフィールド構造の参照画像とを前記参照画像記憶手段にそれぞれ格納することを特徴とする。
【００２２】
また、請求項３に係る発明は、上記の発明において、前記参照画像記憶手段は、一つの記憶部で構成されるものであって、前記参照画像格納手段は、前記予測形式に対応した参照画像をそれぞれ生成して、当該生成した参照画像を前記参照画像記憶手段に領域を分けてそれぞれ格納することを特徴とすることを特徴とする。
【００２３】
また、請求項４に係る発明は、上記の発明において、前記参照画像記憶手段は、前記予測形式ごとに参照画像をそれぞれ記憶する複数の記憶部で構成されるものであって、前記参照画像格納手段は、前記予測形式ごとにそれぞれ参照画像を生成して、生成した参照画像を、それぞれの予測形式で参照画像を記憶する参照画像記憶手段にそれぞれ格納することを特徴とする。
【００２４】
また、請求項５に係る発明は、上記の発明において、前記参照画像格納手段は、前記復号データ生成手段により生成された新たな復号データから、前記複数の参照画像記憶手段それぞれの予測形式ごとに応じた参照画像を生成して格納する際に、前記参照画像を輝度成分と色差成分とに領域を分けて格納することを特徴とする。
【００２５】
また、請求項６に係る発明は、上記の発明において、前記復号データ生成手段は、前記符号化データを受け付けた場合に、当該符号化データを解析して符号化に用いられた予測形式を判別し、判別した予測形式に対応する参照画像を前記複数の参照画像記憶手段から読み出す際に、前記複数の参照画像記憶手段の格納形式に対して、垂直方向に二ライン以上をアクセス単位とすることを特徴とする。
【００２６】
また、請求項７に係る発明は、符号化された画像データである符号化データを生成する画像符号化装置から前記符号化データを受け付けて、画像データに既に復号された復号データである参照画像と当該符号化データとを用いて新たな復号データを生成することに適した復号化方法であって、前記符号化データに用いられる予測形式ごとに前記参照画像を記憶する参照画像記憶手段と、前記符号化データを受け付けた場合に、当該符号化データを解析して符号化に用いられた予測形式を判別し、判別した予測形式で格納される参照画像を前記参照画像記憶手段から読み出して、前記符号化データと前記参照画像とから新たな復号データを生成する復号データ生成工程と、前記復号データ生成工程により生成された新たな復号データから、前記予測形式それぞれに対応した参照画像を生成して、当該生成した参照画像を前記参照画像記憶手段にそれぞれ格納する参照画像格納工程と、を含んだことを特徴とする。
【００２７】
また、請求項８に係る発明は、符号化された画像データである符号化データを生成する画像符号化装置から前記符号化データを受け付けて、画像データに既に復号された復号データである参照画像と当該符号化データとを用いて新たな復号データを生成することをコンピュータに実行させる復号化プログラムであって、前記符号化データに用いられる予測形式ごとに前記参照画像を記憶する参照画像記憶手段と、前記符号化データを受け付けた場合に、当該符号化データを解析して符号化に用いられた予測形式を判別し、判別した予測形式で格納される参照画像を前記参照画像記憶手段から読み出して、前記符号化データと前記参照画像とから新たな復号データを生成する復号データ生成手順と、前記復号データ生成手順により生成された新たな復号データから、前記予測形式それぞれに対応した参照画像を生成して、当該生成した参照画像を前記参照画像記憶手段にそれぞれ格納する参照画像格納手順と、をコンピュータに実行させることを特徴とする。
【発明の効果】
【００２８】
請求項１、７、８の発明によれば、符号化データに用いられうる予測形式のそれぞれに合致した構造で参照画像を記憶し、符号化データを受け付けた場合に、当該符号化データを解析して符号化に用いられた予測形式を判別し、判別した予測形式で格納される参照画像を読み出して、符号化データと参照画像とから新たな復号データを生成し、生成された新たな復号データから、予測形式それぞれに対応した参照画像を生成して、当該生成した参照画像をそれぞれ格納するので、参照画像を読み出すのに際して、アクセス時間を短縮することが可能である。
【００２９】
例えば、フレーム予測やフィールド予測などに用いられる様々な予測形式に応じて、あらかじめメモリなどに参照画像を格納しておくことで、どのような予測形式を用いて符号化された符号化データを受け付けた場合でも、読み出す参照画像の状態に関わらず、最もアクセス時間が短く参照画像を読み出すことが可能である。
【００３０】
また、参照画像を複数の形式でメモリに書き込むことになる結果、メモリへの書き込みアクセス時間とメモリから参照画像を読み出す読み出しアクセス時間とを考慮した場合、トータルでアクセス時間が短縮されないという懸念がある。ところが、一般的に、メモリへの書き込み量（書き込み回数）に比べて、読み出し量（読み出し回数）の方が圧倒的に多いため、書き込みと読み出しとの両方を考えてもアクセス時間を短縮することが可能である。
【００３１】
具体的に例を挙げると、符号化技術（圧縮技術）としてMPEG-2を用いた場合、１マクロブロックあたりで計算すると、メモリに書き込む画素数が１６×１６の２５６画素数であるのに対して、メモリから読み出す画素数が１７×１７×２の５７８画素数となる。また、符号化技術（圧縮技術）としてH.264/AVCを用いた場合、予測単位を８×８として計算すると、メモリに書き込む画素数が８×８の６４画素数であるのに対して、メモリから読み出す画素数が１３×１３×２の３３８画素数となる。このように、メモリへ書き込み回数を２倍にしたとしても、メモリからデータを読み出す画素数の方が多いため、書き込みと読み出しとの両方を考えてもアクセス時間を短縮することが可能である。
【００３２】
この読み出す画素数の計算を説明する。MPEG-2の場合、動きベクトルが０．５単位であり、その場合、小数点以下の値の補間計算には上下左右の１画素ずつの値を必要とするため、復号してメモリに書き込む画素数が１６×１６であるとすると、それに対応して読み出す画素数は最大で１７×１７となる。そして、さらに動きベクトルの数は、最大２つなので、全体として読み出しが必要となるのは、最大で１７×１７×２＝５７８画素数となる。同様に、H.264/AVCの場合には、動きベクトルが０．２５単位であり、その場合小数点以下の値の補間計算には上下左右の３画素ずつの値を必要とするため、復号してメモリに書き込む画素数が８×８であるとすると、それに対応して読み出す画素数は、最大で１３×１３となる。そして、さらに動きベクトルの数は最大２つなので、全体として読み出しが必要となるのは、最大で１３×１３×２＝３３８画素数となる。
【００３３】
また、請求項２の発明によれば、符号化データを受け付けた場合に、当該符号化データを解析して符号化に用いられた予測形式が、フレーム予測であるかフィールド予測であるかを判別し、フレーム予測であった場合に、フレーム構造の参照画像を読み出して、符号化データと参照画像とから新たな復号データを生成し、フィールド予測であった場合に、フィールド構造の参照画像を読み出して、符号化データと参照画像とから新たな復号データを生成し、生成された新たな復号データから、フレーム構造の参照画像とフィールド構造の参照画像とを生成し、生成したフレーム構造の参照画像とフィールド構造の参照画像とをそれぞれ格納するので、参照画像を読み出すのに際して、さらにアクセス時間を短縮することが可能である。
【００３４】
例えば、符号化技術（圧縮技術）として一般的に用いられるフレーム予測とフィールド予測とをあらかじめメモリに格納させておくことで、MPEG-2やH.264/AVCなどのように、よく用いられる圧縮技術を用いた符号化データを受け付けた場合に、参照画像を読み出すのに際して、さらにアクセス時間を短縮することが可能である。
【００３５】
また、請求項３の発明によれば、予測形式に対応した参照画像をそれぞれ生成して、当該生成した参照画像を領域を分けてそれぞれ格納するので、１つの記憶部で構成される場合に、記憶部の領域の浪費を防止することが可能である。
【００３６】
例えば、予測形式ごとに参照画像を生成しても容量が少ない場合、複数のメモリに格納すると、空き容量が多くなり容量が浪費される。このような場合に、１つのメモリに領域を分けて参照画像を格納することで、記憶部（メモリ）の領域の浪費を防止することが可能である。
【００３７】
また、請求項４の発明によれば、予測形式ごとにそれぞれ参照画像を生成して、生成した参照画像を、それぞれの予測形式で参照画像をそれぞれ格納するので、参照画像の書き込み時間を短縮することが可能である。
【００３８】
例えば、予測形式がフレーム予測とフィールド予測の２種類存在する場合に、それぞれの予測形式の参照画像を記憶する２つのメモリを用意したとすると、生成されたそれぞれの予測形式ごとの参照画像を、２つのメモリに同時に書き込みを開始することができる結果、１つのメモリに２種類の参照画像を書き込む場合に比べて、参照画像の書き込み時間をより短縮することが可能である。
【００３９】
また、請求項５の発明によれば、生成された新たな復号データから、それぞれの予測形式ごとに応じた参照画像を生成して格納する際に、参照画像を輝度成分と色差成分とに領域を分けて格納するので、必要な成分のみを参照する場合に、さらにアクセス時間を短縮することが可能である。
【００４０】
例えば、復号状況を解析するなどデータを解析すること以外に、輝度成分や色差成分の参照が必要な場合に、輝度成分のみを参照したり、色差成分のみを参照したりするアクセス時間を短縮することが可能である。また、輝度成分と色差成分とで予測形式が違う場合にも対応が可能となる。
【００４１】
また、請求項６の発明によれば、符号化データを受け付けた場合に、当該符号化データを解析して符号化に用いられた予測形式を判別し、判別した予測形式に対応する参照画像を読み出す際に、複数の格納形式に対して、垂直方向に２ライン以上をアクセス単位とするので、参照画像を読み出す際のアクセス量を削減することが可能である。
【００４２】
具体的に、参照画像を読み出す一般的な例として、図９〜図１１を用いてアクセスの単位を１６画素、読み出しが必要なサイズを９×９画素として説明する。図９は、垂直方向に４ラインをアクセス単位とした場合に読み出しに必要な画素数の例を示す図であり、図１０は、垂直方向に２ラインをアクセス単位とした場合に読み出しに必要な画素数の例を示す図であり、図１１は、垂直方向に１ラインをアクセス単位とした場合に読み出しに必要な画素数の例を示す図である。
【００４３】
図９に示すように、４ピクセル×４ラインの構成で参照画像が記憶される場合、９×９の読み出しに最大（４×４）×９＝１４４画素の読み出しが必要である。また、図１０に示すように、８ピクセル×２ラインの構成で参照画像が記憶される場合、９×９の読み出しに最大（８×２）×１０＝１６０画素の読み出しが必要である。そして、図１１に示すように、１６ピクセル×１ラインの構成で参照画像が記憶される場合、９×９の読み出しに最大（１６×１）×１８＝２８８画素の読み出しが必要である。
【００４４】
このように、垂直方向の単位を２ライン以上にすると（図９と図１０参照）、垂直方向の単位を１ラインとした場合（図１１参照）に比べて、合計のリード量を削減することができる結果、参照画像を読み出す際のアクセス量を削減することが可能である。なお、MPEG-2やH.264/AVCなどの一般的に多く利用される圧縮形式に対しても、同様の効果が得られる。
【発明を実施するための最良の形態】
【００４５】
以下に添付図面を参照して、この発明に係る画像復号化装置、画像復号化方法および画像復号化プログラムの実施例を詳細に説明する。なお、以下では、本実施例で用いる主要な用語、本実施例に係る画像復号化装置の概要および特徴、画像復号化装置の構成および処理の流れを順に説明し、最後に本実施例に対する種々の変形例を説明する。
【実施例１】
【００４６】
［用語の説明］
まず最初に、本実施例で用いる主要な用語を説明する。本実施例で用いる「画像復号化装置（特許請求の範囲に記載の「画像復号化装置」に対応する。）」とは、動画や静止画などのデータである画像データを符号化して符号化データを生成するエンコーダなどの画像符号化装置からインターネットなどのネットワークを介して、当該符号化データであるストリームを受け付け、それを解析して、画像データに既に復号された復号データである参照画像と当該符号化データとを用いて、画像データである符号化データを復号する装置のことであり、具体的に例を挙げると、デコーダなどがこれに該当する。なお、画像復号化装置は、必ずしもネットワーク経由で符号化データを受け付けする必要はなく、例えば、フレキシブルディスク（ＦＤ）、ＣＤ、ＭＯディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカード、ＨＤＤやＵＳＢメモリなどの物理媒体から受け付ける（入力される）ようにしてもよい。
【００４７】
ここで、画像符号化装置から符号化データが送信されて、画像復号化装置において復号されるまでの処理の流れを具体的に説明する。画像符号化装置は、フレーム予測やフィールド予測などの予測形式と動画像の動きを表すベクトルデータである動き補償とを用いて、ストリームを生成して画像復号化装置に送信する。そして、画像復号化装置は、受け付けたストリームを解析して、予測形式やベクトルデータを含む解析したデータを生成する。続いて、画像復号化装置は、当該解析したデータから復号データを生成するために必要な参照画像をメモリなどの記憶部から取得し、取得した参照画像と解析したデータとを用いてデータを復号する。
【００４８】
また、最近では、符号化して送信する動画像データの解像度を上げたりする画像サイズの拡大化が進んでいることより、画像復号化装置でのストリームからのデータ復号の高速化が必要となっている。つまり、上記した処理のうち、画像復号化装置が参照画像をメモリなどの記憶部から取得し、取得した参照画像と解析したデータとを用いて、データを復号して復号データを生成する処理の高速化が必要である。例えば、テレビ画像の場合、デジタル放送では、アナログ放送の画像サイズに比べて約６倍の解像度になっており、復号化も６倍の性能が必要である。
【００４９】
また、本実施例で用いる「ストリーム」とは、画像符号化装置が、現在の画像から様々な予測形式で予測画像を生成し、また、前後の画像から物体がどの方向に、どのくらい動いているかを動きベクトルデータとして算出し、このようにして算出された動きベクトルデータと、入力画像と予測画像との差分からベクトルデータを差し引いた残りの差分画像データとを含む情報を符号化した符号化データのことである。
【００５０】
［画像復号化装置の概要および特徴］
次に、図１と図２を用いて、実施例１に係る画像復号化装置の概要および特徴を説明する。図１は、実施例１に係る画像復号化装置を含むシステムの全体構成を示すシステム構成図であり、図２は、読み出される参照画像の領域の例を示す図である。
【００５１】
図１に示すように、このシステムは、画像データを符号化してストリームを送信する画像符号化装置と、受け付けたストリームを復号して復号データ（元の画像データ）を生成する画像復号化装置とが、インターネットなどのネットワークを介して相互に通信可能に接続されている。また、画像復号化装置は、復号した復号データを格納する復号データ用メモリを保持する。
【００５２】
このような構成において、このシステムにおける画像復号化装置は、上記したように、符号化された画像データである符号化データを生成する画像符号化装置から符号化データを受け付けて、既に復号された復号データである参照画像と当該符号化データとを用いて新たな復号データを生成することを概要とするものであり、特に、参照画像を読み出すのに際して、アクセス時間を短縮することが可能である点に主たる特徴がある。
【００５３】
この主たる特徴を具体的に説明すると、画像復号化装置は、符号化データ（ストリーム）に用いられうる予測形式のそれぞれに合致した構造で参照画像を記憶する複数のメモリを保持する。具体的に例を挙げると、画像復号化装置は、符号化データに用いられるフレーム予測に対応したフレーム構造で参照画像を記憶するフレーム構造用メモリと、符号化データに用いられるフィールド予測に対応したフィールド構造で参照画像を記憶するフィールド構造用メモリとを保持する。
【００５４】
このような状態において、画像符号化装置は、フレーム予測で作成されたストリームを画像復号化装置に送信し（図１の（１）参照）、画像復号化装置は、受け付けたストリームを解析して符号化に用いられた予測形式を判別し、判別した予測形式で格納される参照画像をメモリから読み出して、ストリームと参照画像とから符号化される前の元の動画像データである新たな復号データを生成する（図１の（２）〜（４）参照）。
【００５５】
具体的に例を挙げて説明すると、ストリームを受け付けた画像復号化装置は、当該ストリームを解析して得られる予測形式、動き補償や差分画像データなどの含むデータから、当該ストリームの作成に用いられた予測形式がフレーム予測であるかフィールド予測であるかを判別する。そして、画像復号化装置は、受け付けたストリームに用いられた予測形式がフレーム予測であると判断すると、図２の（１）に示すように（実際に必要な画像情報「◆」「●」）、当該ストリームを復号して復号データを生成するのに必要な参照画像をフレーム構造用メモリから取得する。
【００５６】
続いて、参照画像を取得した画像復号化装置は、当該ストリームから得られた動き補償や差分画像データなどを含むデータを、取得した参照画像に加算することで復号データを生成する。なお、ここで、受け付けたストリームにいずれの予測形式も用いられていない場合や参照画像を必要としないストリームを受け付けた場合など、画像復号化装置は、参照画像を取得することなく当該ストリームを復号して新たな復号データを生成し、生成した新たな復号データを復号データ用メモリに格納する。
【００５７】
そして、画像復号化装置は、生成された新たな復号データから、複数のメモリそれぞれの予測形式ごとに応じた参照画像を生成して、当該参照画像を複数のメモリそれぞれに格納する（図１の（５）と（６）参照）。
【００５８】
上記した例で具体的に説明すると、画像復号化装置は、生成された新たな復号データから、フレーム構造の参照画像とフィールド構造の参照画像とを生成し、生成したフレーム構造の参照画像をフレーム構造で参照画像を記憶するフレーム構造用メモリに格納し、生成したフィールド構造の参照画像をフィールド構造用のメモリに格納する。
【００５９】
その後、画像符号化装置からストリームを受け付けた画像復号化装置は、上記で説明したように、当該ストリームを解析（復号）して得られる予測形式、動き補償や差分画像データなどの含むデータから、当該ストリームの作成に用いられた予測形式がフレーム予測であるかフィールド予測であるかを判別する（図１の（７）と（８）参照）。
【００６０】
そして、画像復号化装置は、受け付けたストリームに用いられた予測形式がフィールド予測であると判断すると、図２の（２）に示すように（実際に必要な画像情報「◆」「●」）、当該ストリームを復号して復号データを生成するのに必要な参照画像をフィールド構造用メモリから取得し（図１の（９）参照）、当該ストリームから得られた動き補償や差分画像データなどを含むデータを、取得した参照画像に加算することで復号データを生成する（図１の（１０）参照）。
【００６１】
続いて、画像復号化装置は、生成された新たな復号データから、フレーム構造で参照画像を記憶するフレーム構造用メモリに対してフレーム構造の参照画像を生成して格納し、フィールド構造で参照画像を記憶するフィールド構造用メモリに対してフィールド構造の参照画像を生成して格納する（図１の（１１）と（１２）参照）。
【００６２】
このように、このシステムにおける画像復号化装置は、フレーム予測やフィールド予測などに用いられる様々な予測形式に応じて、あらかじめメモリなどに参照画像を格納しておくことで、どのような予測形式を用いて符号化されたストリームを受け付けた場合でも、読み出す参照画像の状態に関わらず、最もアクセス時間が短く参照画像を読み出すことができる結果、参照画像を読み出すのに際して、アクセス時間を短縮することが可能である。
【００６３】
［画像復号化装置の構成］
次に、図３を用いて、図１に示した画像復号化装置の構成を説明する。図３は、実施例１に係る画像復号化装置の構成を示すブロック図である。図３に示すように、この画像復号化装置１０は、通信制御Ｉ／Ｆ部１１と、記憶部１２と、制御部２０とから構成される。
【００６４】
通信制御Ｉ／Ｆ部１１は、画像復号化装置１０に接続される画像符号化装置などとの間でやり取りする各種情報に関する通信を制御する。具体的には、通信制御Ｉ／Ｆ部１１は、予測形式による動き補償を用いて画像データを符号化したストリームを画像符号化装置から受け付け、後述する制御部２０の復号データ生成部２１に出力する。
【００６５】
記憶部１２は、制御部２０による各種処理に必要なデータおよびプログラムを格納するとともに、特に本発明に密接に関連するものとしては、復号データ用メモリ１３と、フレーム構造用メモリ１４と、フィールド構造用メモリ１５とを備える。
【００６６】
復号データ用メモリ１３は、後述する制御部２０の復号データ生成部２１により復号された復号データを記憶する。具体的には、復号データ用メモリ１３は、制御部２０の復号データ生成部２１によって、画像符号化装置から送信されたストリームを復号して得られた元の動画像データである復号データを記憶する。
【００６７】
フレーム構造用メモリ１４は、フレーム構造で参照画像を記憶する。具体的に例を挙げれば、図４に示すように、フレーム構造用メモリ１４は、順次走査に対応するように、各フレームにおける第一フィールドと第二フィールドを交互に格納する。なお、図４は、フレーム構造用メモリに格納される情報の例を示す図である。
【００６８】
フィールド構造用メモリ１５は、フィールド構造で参照画像を記憶する。具体的に例を挙げれば、図５に示すように、フィールド構造用メモリ１５は、飛び越し走査に対応するように、各フレームにおける第一フィールドと第二フィールドとを別領域に格納する。なお、図５は、フィールド構造用メモリに格納される情報の例を示す図である。また、フレーム構造用メモリ１４と、フィールド構造用メモリ１５とは、それぞれ特許請求の範囲に記載の「複数の参照画像記憶手段」に対応する。
【００６９】
制御部２０は、ＯＳ（Operating System）などの制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有するとともに、特に本発明に密接に関連するものとしては、復号データ生成部２１と、読み出しアドレス作成部（フレーム構造用）２３と、読み出しアドレス作成部（フィールド構造用）２４と、選択回路２５と、参照画像格納部３０と、データバッファ３１と、書き込みアドレス作成部（フレーム構造用）３２と、書き込みアドレス作成部（フィールド構造用）３３と、選択回路３４とを備え、これらによって種々の処理を実行する。
【００７０】
復号データ生成部２１は、通信制御Ｉ／Ｆ部１１により受け付けられたストリームを解析して符号化に用いられた予測形式を判別し、判別した予測形式で格納される参照画像をメモリから読み出して、ストリームと参照画像とから新たな復号データを生成し、生成した復号データを復号データ用メモリ１３に格納するとともに、当該復号データを後述する参照画像格納部３０に出力する。
【００７１】
具体的に説明すると、復号データ生成部２１は、通信制御Ｉ／Ｆ部１１により受け付けられたストリームを復号するのに参照画像を必要とするか否かを判別する。そして、復号データ生成部２１は、いずれの予測形式も用いられておらず、参照画像を必要としないと判別すると、参照画像を取得することなく当該ストリームを復号して新たな復号データを生成し、生成した新たな復号データを復号データ用メモリ１３に格納するとともに、当該復号データを後述する参照画像格納部３０に出力する。
【００７２】
一方、いずれかの予測形式が用いられており、参照画像が必要であると判別すると復号データ生成部２１は、ストリームを解析して符号化に用いられた予測形式が、フレーム予測であるかフィールド予測であるかを判別する。
【００７３】
そして、フレーム予測と判断した場合に、復号データ生成部２１は、複数のメモリのうちフレーム構造で参照画像を記憶するフレーム構造用メモリ１４から、当該ストリームに対応した参照画像を読み出すために、後述する読み出しアドレス作成部（フレーム構造用）２３に対して、読み出す参照画像のアドレスを算出するように指示する。そして、読み出しアドレス作成部（フレーム構造用）２３により作成されたアドレスが選択回路２５により選択され、復号データ生成部２１は、当該アドレスを用いて当該ストリームに対応した参照画像をフレーム構造用メモリ１４から読み出す。このようにして参照画像を読み出した復号データ生成部２１は、受け付けたストリームと読み出した参照画像とから新たな復号データを生成して、生成した復号データを復号データ用メモリ１３に格納するとともに、当該復号データを後述する参照画像格納部３０に出力する。
【００７４】
一方、ストリームを解析して符号化に用いられた予測形式が、フィールド予測であると判断した場合に、復号データ生成部２１は、複数のメモリのうちフィールド構造で参照画像を記憶するフィールド構造用メモリ１５から、当該ストリームに対応した参照画像を読み出すために、後述する読み出しアドレス作成部（フィールド構造用）２４に対して、読み出す参照画像のアドレスを算出するように指示する。そして、読み出しアドレス作成部（フィールド構造用）２４により作成されたアドレスが選択回路２５により選択され、復号データ生成部２１は、当該アドレスを用いて当該ストリームに対応した参照画像をフィールド構造用メモリ１５から読み出す。このようにして参照画像を読み出した復号データ生成部２１は、受け付けたストリームと読み出した参照画像とから新たな復号データを生成して、生成した復号データを復号データ用メモリ１３に格納するとともに、当該復号データを後述する参照画像格納部３０に出力する。
【００７５】
読み出しアドレス作成部（フレーム構造用）２３は、フレーム構造用メモリ１４に記憶されている参照画像を読み出すためのアドレスを算出する。上記した例で具体的に説明すると、読み出しアドレス作成部（フレーム構造用）２３は、復号データ生成部２１から読み出す参照画像のアドレスを算出するように指示されると、必要となる参照画像とアクセス単位とを考慮して、読み出し開始アドレスを算出し、算出したアドレスを後述する選択回路２５に出力する。
【００７６】
読み出しアドレス作成部（フィールド構造用）２４は、フィールド構造用メモリ１５に記憶されている参照画像を読み出すためのアドレスを算出する。上記した例で具体的に説明すると、読み出しアドレス作成部（フィールド構造用）２４は、復号データ生成部２１から読み出す参照画像のアドレスを算出するように指示されると、必要となる参照画像とアクセス単位とを考慮して、読み出し開始アドレスを算出し、算出したアドレスを後述する選択回路２５に出力する。
【００７７】
選択回路２５は、読み出しアドレス作成部（フレーム構造用）２３により作成されたアドレス、または読み出しアドレス作成部（フィールド構造用）２４により作成されたアドレスから、記憶部１２へ出力するアドレスを選択する。上記した例で具体的に説明すると、選択回路２５は、読み出しアドレス作成部（フレーム構造用）２３からアドレスが入力されると、フレーム構造用メモリ１４に当該アドレスを出力して、復号データ生成部２１はフレーム構造の参照画像を読み出す。
【００７８】
また、読み出しアドレス作成部（フィールド構造用）２４からアドレスが入力されると、選択回路２５は、フィールド構造用メモリ１５に当該アドレスを出力して、復号データ生成部２１は、フィールド構造の参照画像を読み出す。なお、上記した復号データ生成部２１と、読み出しアドレス作成部（フレーム構造用）２３と、読み出しアドレス作成部（フィールド構造用）２４と、選択回路２５は、特許請求の範囲に記載の「復号データ生成手段」に対応する。
【００７９】
参照画像格納部３０は、復号データ生成部２１により生成された新たな復号データから、複数のメモリそれぞれの予測形式ごとに応じた参照画像を生成して、当該参照画像を複数のメモリそれぞれに格納する。上記した例で具体的に説明すると、生成された新たな復号データが復号データ生成部２１から入力された参照画像格納部３０は、当該復号データからフレーム構造の参照画像とフィールド構造の参照画像とを生成し、生成したそれぞれの参照画像を後述するデータバッファ３１に格納するとともに、書き込みアドレス作成部（フレーム構造用）３２と書き込みアドレス作成部（フィールド構造用）３３とに、書き込みを開始するアドレスを算出するように指示する。
【００８０】
そして、選択回路３４は、書き込みアドレス作成部（フレーム構造用）３２により作成されたアドレスがフレーム構造用メモリ１４に、書き込みアドレス作成部（フィールド構造用）３３により作成されたアドレスがフィールド構造用メモリ１５に出力されるように選択する。
【００８１】
参照画像格納部３０は、書き込みアドレス作成部（フレーム構造用）３２により作成されたアドレスを用いて、生成したフレーム構造の参照画像をデータバッファ３１から読み出してフレーム構造用メモリ１４に格納するとともに、書き込みアドレス作成部（フィールド構造用）３３により作成されたアドレスを用いて、生成したフィールド構造の参照画像をデータバッファ３１から読み出してフィールド構造用メモリ１５に格納する。
【００８２】
データバッファ３１は、参照画像格納部３０により生成された参照画像を一時的に記憶する。上記した例で具体的に説明すると、データバッファ３１は、生成されたフレーム構造の参照画像とフィールド構造の参照画像が参照画像格納部３０から入力されると、次に参照画像格納部３０によりフレーム構造用メモリ１４とフィールド構造用メモリ１５とに出力されるまでの間、入力された参照画像を一時的に記憶する。
【００８３】
書き込みアドレス作成部（フレーム構造用）３２は、フレーム構造用メモリ１４に復号データを格納するためのアドレスを算出する。上記した例で具体的に説明すると、書き込みアドレス作成部（フレーム構造用）３２は、参照画像格納部３０により生成されたフレーム構造の参照画像を格納するためのアドレスを計算するように指示されると、書き込み開始アドレスを算出し、算出したアドレスを後述する選択回路３４に出力する。
【００８４】
書き込みアドレス作成部（フィールド構造用）３３は、フィールド構造用メモリ１５に復号データを格納するためのアドレスを算出する。上記した例で具体的に説明すると、書き込みアドレス作成部（フィールド構造用）３３は、参照画像格納部３０により生成されたフィールド構造の参照画像を格納するためのアドレスを計算するように指示されると、書き込み開始アドレスを算出し、算出したアドレスを後述する選択回路３４に出力する。
【００８５】
選択回路３４は、書き込みアドレス作成部（フレーム構造用）３２により作成されたアドレスと書き込みアドレス作成部（フィールド構造用）３３により作成されたアドレスから、記憶部１２へ出力するアドレスを選択する。上記した例で具体的に説明すると、参照画像をフレーム構造用メモリ１４に書き込む場合には、書き込みアドレス作成部（フレーム構造用）３２により作成されたアドレスを選択し、フレーム構造用メモリ１４に出力する。
【００８６】
また、参照画像をフィールド構造用メモリ１５に書き込む場合には、書き込みアドレス作成部（フィールド構造用）３３により作成されたアドレスを選択し、フィールド構造用メモリ１５に出力する。なお、上記した参照画像格納部３０と、データバッファ３１と、書き込みアドレス作成部（フレーム構造用）３２と、書き込みアドレス作成部（フィールド構造用）３３と、選択回路３４は、特許請求の範囲に記載の「参照画像格納手段」に対応する。
【００８７】
［画像復号化装置による復号化処理］
次に、図６と図７を用いて、画像復号化装置による処理を説明する。図６は、実施例１に係る画像復号化装置における復号化処理の流れを示すフローチャートであり、図７は、実施例１に係る画像復号化装置における参照画像格納処理の流れを示すフローチャートである。
【００８８】
（復号化処理）
まず、図６を用いて、実施例１に係る画像復号化装置における復号化処理の流れを説明する。図６に示すように、画像符号化装置からストリームを受け付けると（ステップＳ６０１肯定）、画像復号化装置１０の復号データ生成部２１は、当該ストリームを解析して、復号するのに参照画像が必要であるか否かを判別する（ステップＳ６０２）。
【００８９】
そして、当該ストリームを復号するのに参照画像が必要であると判別すると（ステップＳ６０２肯定）、画像復号化装置１０の復号データ生成部２１は、当該ストリームに用いられた予測形式がフレーム予測であるかフィールド予測であるかを判別する（ステップＳ６０３）。
【００９０】
続いて、当該ストリームに用いられた予測形式がフレーム予測であった場合（ステップＳ６０４肯定）、復号データ生成部２１は、読み出しアドレス作成部（フレーム構造用）２３に参照画像を読み出すアドレスを算出するように指示し、算出されたアドレスを用いて、フレーム構造用メモリ１４から当該ストリームに対応する参照画像を取得し（ステップＳ６０５）、復号データ生成部２１は、受け付けたストリームと読み出した参照画像とから新たな復号データを生成する（ステップＳ６０７）。
【００９１】
一方、当該ストリームに用いられた予測形式がフレーム予測でない場合（ステップＳ６０４否定）、復号データ生成部２１は、読み出しアドレス作成部（フィールド構造用）２４に参照画像を読み出すアドレスを算出するように指示し、算出されたアドレスを用いて、フィールド構造用メモリ１５から当該ストリームに対応する参照画像を取得し（ステップＳ６０６）、復号データ生成部２１は、受け付けたストリームと読み出した参照画像とから新たな復号データを生成する（ステップＳ６０７）。
【００９２】
ステップＳ６０２に戻り、当該ストリームを復号するのに参照画像が必要でない場合（ステップＳ６０２否定）、画像復号化装置１０の復号データ生成部２１は、参照画像を用いることなく当該ストリームを復号する（ステップＳ６０７）。
【００９３】
（参照画像格納処理）
次に、図７を用いて、実施例１に係る画像復号化装置における参照画像格納処理の流れを説明する。図７に示すように、生成された新たな復号データを復号データ生成部２１から受け付けると（ステップＳ７０１肯定）、参照画像格納部３０は、当該復号データからフレーム構造の参照画像とフィールド構造の参照画像とを生成し、それぞれ生成した参照画像をデータバッファ３１に格納する（ステップＳ７０２とステップＳ７０３）。
【００９４】
すると、参照画像格納部３０は、書き込みアドレス作成部（フレーム構造用）３２と書き込みアドレス作成部（フィールド構造用）３３とに書き込み開始アドレスの算出を指示し、書き込みアドレス作成部（フレーム構造用）３２により算出されたアドレスを用いて、生成したフレーム構造の参照画像をフレーム構造用メモリ１４に書き込み（ステップＳ７０４）、同様に、書き込みアドレス作成部（フィールド構造用）３３により算出されたアドレスを用いて、生成したフィールド構造の参照画像をフィールド構造用メモリ１５に書き込む（ステップＳ７０５）。
【００９５】
［実施例１による効果］
このように、実施例１によれば、ストリームに用いられうる予測形式のそれぞれに合致した構造で参照画像を記憶し、ストリームを受け付けた場合に、当該ストリームを解析して符号化に用いられた予測形式を判別し、判別した予測形式で格納される参照画像をメモリから読み出して、ストリームと参照画像とから新たな復号データを生成し、生成された新たな復号データから、複数のメモリそれぞれの予測形式ごとに応じた参照画像を生成して、当該参照画像を複数のメモリそれぞれに格納するので、参照画像を読み出すのに際して、アクセス時間を短縮することが可能である。
【００９６】
例えば、フレーム予測やフィールド予測などに用いられる様々な予測形式に応じて、あらかじめメモリなどに参照画像を格納しておくことで、どのような予測形式を用いて符号化された符号化データを受け付けた場合でも、読み出す参照画像の状態に関わらず、最もアクセス時間が短く参照画像を読み出すことが可能である。また、それぞれの参照画像を別々のメモリに書き込むことで、書き込みのオーバーヘッドを削除することが可能である。
【００９７】
また、参照画像を複数のメモリに書き込むことになる結果、メモリへの書き込みアクセス時間とメモリから参照画像を読み出す読み出しアクセス時間とを考慮した場合、トータルでアクセス時間が短縮されないという懸念があるが、一般的に、メモリへの書き込み量（書き込み回数）に比べて、読み出し量（読み出し回数）の方が圧倒的に多いため、書き込みと読み出しとの両方を考えてもアクセス時間を短縮することが可能である。
【００９８】
具体的に例を挙げると、符号化技術（圧縮技術）としてMPEG-2を用いた場合、１マクロブロックあたりで計算すると、メモリに書き込む画素数が１６×１６の２５６画素数であるのに対して、メモリから読み出す画素数が１７×１７×２の５７８画素数となる。また、符号化技術（圧縮技術）としてH.264/AVCを用いた場合、予測単位を８×８として計算すると、メモリに書き込む画素数が８×８の６４画素数であるのに対して、メモリから読み出す画素数が１３×１３×２の３３８画素数となる。このように、メモリへ書き込み回数を２倍にしたとしても、メモリからデータを読み出す画素数の方が多いため、書き込みと読み出しとの両方を考えてもアクセス時間を短縮することが可能である。
【００９９】
また、実施例１によれば、ストリームを受け付けた場合に、当該ストリームを解析して符号化に用いられた予測形式が、フレーム予測であるかフィールド予測であるかを判別し、フレーム予測であった場合に、フレーム構造用メモリ１４からフレーム構造の参照画像を読み出して、ストリームと参照画像とから新たな復号データを生成し、フィールド予測であった場合に、フィールド構造用メモリ１５からフィールド構造の参照画像を読み出して、ストリームと参照画像とから新たな復号データを生成し、生成された新たな復号データから、フレーム構造の参照画像とフィールド構造の参照画像とを生成し、生成したフレーム構造の参照画像とフィールド構造の参照画像とをフレーム構造用メモリ１４とフィールド構造用メモリ１５とのそれぞれに格納するので、参照画像を読み出すのに際して、さらにアクセス時間を短縮することが可能である。
【０１００】
例えば、符号化技術（圧縮技術）として一般的に用いられるフレーム予測とフィールド予測とをあらかじめメモリに格納させておくことで、MPEG-2やH.264/AVCなどのように、よく用いられる圧縮技術を用いた符号化データを受け付けた場合に、参照画像を読み出すのに際して、さらにアクセス時間を短縮することが可能である。また、それぞれの参照画像を別々のメモリに書き込むことで、書き込みのオーバーヘッドを削除することが可能である。
【０１０１】
また、実施例１によれば、図８に示すように、フレーム構造かまたはフィールド構造のメモリのどちらかしか備えていない場合、メモリと異なる形式のストリームを受け付けると、無駄に多くの画素数を読み出すこととなる。例えば、メモリの構造がフレーム構造であった場合に、フレーム予測で生成されたストリームを受け付けると、画像復号化装置は、２８８画素を読み出せばよいが、フレーム予測ではなくフィールド予測で生成されたストリームを受け付けたとすると、画像復号化装置は、４８０画素を読み出すこととなる。そこで、上記した実施例で説明したように、フレーム構造およびフィールド構造のメモリをそれぞれ備えている場合、画像復号化装置は、常に最小の画素数を選択して読み出すことが可能である。なお、図８は、読み出しに必要な画素数の例を示す図である。
【０１０２】
また、実施例１によれば、予測形式ごとにそれぞれ参照画像を生成して、生成した参照画像を、それぞれの予測形式で参照画像をそれぞれ格納するので、参照画像の書き込み時間を短縮することが可能である。
【０１０３】
例えば、予測形式がフレーム予測とフィールド予測の２種類存在する場合に、それぞれの予測形式の参照画像を記憶する２つのメモリを用意したとすると、生成されたそれぞれの予測形式ごとの参照画像を、２つのメモリに同時に書き込みを開始することができる結果、１つのメモリに２種類の参照画像を書き込む場合に比べて、参照画像の書き込み時間をより短縮することが可能である。
【０１０４】
また、実施例１によれば、参照画像の書き込みはマクロブロックで行われるため、書き込むべき画素数と実際に書き込む画素数が一致しているが、参照画像の読み出しは必ずしもマクロブロック単位ではないので、読み出すべき画素数と実際に読み出す画素数とは必ずしも一致しないため、あらかじめメモリなどに参照画像を格納しておくことで、どのような予測形式を用いて符号化された符号化データを受け付けた場合でも、読み出す画素数を最小限にすることができる結果、アクセス時間を短縮することが可能である。
【０１０５】
例えば、符号化技術がH.264/AVCの場合、４ピクセル×４ラインの画像（計１６画素）を復号するために９ピクセル×９ラインの参照画像を読み出す必要がある。図９〜図１６では、９ピクセル×９ラインの参照画像を読み出す場合について説明しているが、４ピクセル× ４ラインを単位として読み出しが行われるため、実際の画素数である８１画素で読み出されるわけではなく、最大で２４０画素、最小で１４４画素が読み出されることとなる。そのため、参照画像として２度以上メモリに書き込みを行った場合でも、書き込み画素数は１６２画素以上となり、最小で読み出す画素数よりも多くなる。つまり、あらかじめメモリなどに参照画像を格納しておくことで、どのような予測形式を用いて符号化された符号化データを受け付けた場合でも、読み出す画素数を最小限にすることができる結果、アクセス時間を短縮することが可能である。
【実施例２】
【０１０６】
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下に示すように、（１）格納領域、（２）アクセス単位、（３）メモリの数、（４）システム構成等、（５）プログラム、にそれぞれ区分けして異なる実施例を説明する。
【０１０７】
（１）格納領域
例えば、実施例１では、生成された参照画像をフレーム構造用メモリとフィールド構造用メモリにそれぞれ格納する場合に、当該参照画像の輝度成分と色差成分とを同じ格納領域に格納する場合について説明したが、本発明はこれに限定されるものではなく、輝度成分と色差成分とに領域を分けて格納するようにしてもよい。このようにすることで、必要な成分のみを参照する場合に、さらにアクセス時間を短縮することが可能である。
【０１０８】
例えば、復号状況を解析するなどデータを解析すること以外に、輝度成分や色差成分の参照が必要な場合に、輝度成分のみを参照したり、色差成分のみを参照したりするアクセス時間を短縮することが可能である。また、輝度成分と色差成分とで予測形式が違う場合にも対応が可能となる。
【０１０９】
（２）アクセス単位
また、実施例１では、参照画像を読み出すアクセス単位を特に指定することなく読み出す場合について説明したが、本発明はこれに限定されるものではなく、フレーム構造用メモリおよびフィールド構造用メモリそれぞれの格納形式に対して、垂直方向に２ライン以上をアクセス単位とするようにしてもよい。このようにすることで、参照画像を読み出す際のアクセス量を削減することが可能である。
【０１１０】
（３）メモリの数
また、実施例１では、参照画像を記憶するメモリが２つある場合について説明したが、本発明はこれに限定されるものではなく、メモリの数に制限は設けていない。例えば、実施例１で説明したように、フレーム構造とフィールド構造の２種類の参照画像を格納する場合であっても、１つのメモリに格納するようにしてもよい。
【０１１１】
このようにすることで、メモリ領域の浪費を防止することが可能である。例えば、予測形式ごとに参照画像を生成しても容量が少ない場合、複数のメモリに格納すると、空き容量が多くなり容量が浪費される。このような場合に、１つのメモリに領域を分けて参照画像を格納することで、メモリ領域の浪費を防止することが可能である。
【０１１２】
（４）システム構成等
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部（例えば、ストリーム解析処理やアドレス算出処理など）または一部を手動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報（例えば、図２、図４、図５、図９〜図１８など）については、特記する場合を除いて任意に変更することができる。
【０１１３】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合（例えば、復号データ生成部と参照画像格納部を統合するなど）して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【０１１４】
（５）プログラム
なお、本実施例で説明した通信制御方法は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【産業上の利用可能性】
【０１１５】
以上のように、本発明に係る画像復号化装置、画像復号化方法および画像復号化プログラムは、符号化された画像データである符号化データを生成する画像符号化装置から符号化データを受け付けて、既に復号された復号データである参照画像と当該符号化データとを用いて新たな復号データを生成するに有用であり、特に、参照画像を読み出すのに際して、アクセス時間を短縮することに適する。
【図面の簡単な説明】
【０１１６】
【図１】実施例１に係る画像復号化装置を含むシステムの全体構成を示すシステム構成図である。
【図２】読み出される参照画像の領域の例を示す図である。
【図３】実施例１に係る画像復号化装置の構成を示すブロック図である。
【図４】フレーム構造用メモリに格納される情報の例を示す図である。
【図５】フィールド構造用メモリに格納される情報の例を示す図である。
【図６】実施例１に係る画像復号化装置における復号化処理の流れを示すフローチャートである。
【図７】実施例１に係る画像復号化装置における参照画像格納処理の流れを示すフローチャートである。
【図８】読み出しに必要な画素数の例を示す図である。
【図９】垂直方向に４ラインをアクセス単位とした場合に読み出しに必要な画素数の例を示す図である。
【図１０】垂直方向に２ラインをアクセス単位とした場合に読み出しに必要な画素数の例を示す図である。
【図１１】垂直方向に１ラインをアクセス単位とした場合に読み出しに必要な画素数の例を示す図である。
【図１２】従来技術を説明するための図である。
【図１３】従来技術を説明するための図である。
【図１４】従来技術を説明するための図である。
【図１５】従来技術を説明するための図である。
【図１６】従来技術を説明するための図である。
【図１７】従来技術を説明するための図である。
【図１８】従来技術を説明するための図である。
【図１９】従来技術を説明するための図である。
【符号の説明】
【０１１７】
１０ 画像復号化装置
１１ 通信制御Ｉ／Ｆ部
１２ 記憶部
１３ 復号データ用メモリ
１４ フレーム構造用メモリ
１５ フィールド構造用メモリ
２０ 制御部
２１ 復号データ生成部
２２ アドレス生成部（復号データ用）
２３ 読み出しアドレス作成部（フレーム構造用）
２４ 読み出しアドレス作成部（フィールド構造用）
２５ 選択回路
３０ 参照画像格納部
３１ データバッファ
３２ 書き込みアドレス作成部（フレーム構造用）
３３ 書き込みアドレス作成部（フィールド構造用）
３４ 選択回路
【特許請求の範囲】
【請求項１】
符号化された画像データである符号化データを生成する画像符号化装置から前記符号化データを受け付けて、前記画像データに既に復号された復号データである参照画像と当該符号化データとを用いて新たな復号データを生成する画像復号化装置であって、
前記符号化データに用いられうる予測形式のそれぞれに合致した構造で前記参照画像を記憶する参照画像記憶手段と、
前記符号化データを受け付けた場合に、当該符号化データを解析して符号化に用いられた予測形式を判別し、判別した予測形式で格納される参照画像を前記参照画像記憶手段から読み出して、前記符号化データと前記参照画像とから新たな復号データを生成する復号データ生成手段と、
前記復号データ生成手段により生成された新たな復号データから、前記予測形式それぞれに対応した参照画像を生成して、当該生成した参照画像を前記参照画像記憶手段にそれぞれ格納する参照画像格納手段と、
を備えたことを特徴とする画像復号化装置。
【請求項２】
前記復号データ生成手段は、前記符号化データを受け付けた場合に、当該符号化データを解析して符号化に用いられた予測形式が、フレーム予測であるかフィールド予測であるかを判別し、フレーム予測であった場合に、前記参照画像記憶手段からフレーム構造の参照画像を読み出して、前記符号化データと参照画像とから新たな復号データを生成し、フィールド予測であった場合に、前記参照画像記憶手段からフィールド構造の参照画像を読み出して、前記符号化データと参照画像とから新たな復号データを生成し、
前記参照画像格納手段は、前記復号データ生成手段により生成された新たな復号データから、フレーム構造の参照画像とフィールド構造の参照画像とを生成し、生成したフレーム構造の参照画像とフィールド構造の参照画像とを前記参照画像記憶手段にそれぞれ格納することを特徴とする請求項１に記載の画像復号化装置。
【請求項３】
前記参照画像記憶手段は、一つの記憶部で構成されるものであって、
前記参照画像格納手段は、前記予測形式に対応した参照画像をそれぞれ生成して、当該生成した参照画像を前記参照画像記憶手段に領域を分けてそれぞれ格納することを特徴とすることを特徴とする請求項１または２に記載の画像復号化装置。
【請求項４】
前記参照画像記憶手段は、前記予測形式ごとに参照画像をそれぞれ記憶する複数の記憶部で構成されるものであって、
前記参照画像格納手段は、前記予測形式ごとにそれぞれ参照画像を生成して、生成した参照画像を、それぞれの予測形式で参照画像を記憶する参照画像記憶手段にそれぞれ格納することを特徴とする請求項１または２に記載の画像復号化装置。
【請求項５】
前記参照画像格納手段は、前記復号データ生成手段により生成された新たな復号データから、前記複数の参照画像記憶手段それぞれの予測形式ごとに応じた参照画像を生成して格納する際に、前記参照画像を輝度成分と色差成分とに領域を分けて格納することを特徴とする請求項１〜４のいずれか一つに記載の画像復号化装置。
【請求項６】
前記復号データ生成手段は、前記符号化データを受け付けた場合に、当該符号化データを解析して符号化に用いられた予測形式を判別し、判別した予測形式に対応する参照画像を前記複数の参照画像記憶手段から読み出す際に、前記複数の参照画像記憶手段の格納形式に対して、垂直方向に二ライン以上をアクセス単位とすることを特徴とする請求項１〜５のいずれか一つに記載の画像復号化装置。
【請求項７】
符号化された画像データである符号化データを生成する画像符号化装置から前記符号化データを受け付けて、前記画像データに既に復号された復号データである参照画像と当該符号化データとを用いて新たな復号データを生成することに適した画像復号化方法であって、
前記符号化データに用いられる予測形式ごとに前記参照画像を記憶する参照画像記憶手段と、
前記符号化データを受け付けた場合に、当該符号化データを解析して符号化に用いられた予測形式を判別し、判別した予測形式で格納される参照画像を前記参照画像記憶手段から読み出して、前記符号化データと前記参照画像とから新たな復号データを生成する復号データ生成工程と、
前記復号データ生成工程により生成された新たな復号データから、前記予測形式それぞれに対応した参照画像を生成して、当該生成した参照画像を前記参照画像記憶手段にそれぞれ格納する参照画像格納工程と、
を含んだことを特徴とする画像復号化方法。
【請求項８】
符号化された画像データである符号化データを生成する画像符号化装置から前記符号化データを受け付けて、前記画像データに既に復号された復号データである参照画像と当該符号化データとを用いて新たな復号データを生成することをコンピュータに実行させる画像復号化プログラムであって、
前記符号化データに用いられる予測形式ごとに前記参照画像を記憶する参照画像記憶手段と、
前記符号化データを受け付けた場合に、当該符号化データを解析して符号化に用いられた予測形式を判別し、判別した予測形式で格納される参照画像を前記参照画像記憶手段から読み出して、前記符号化データと前記参照画像とから新たな復号データを生成する復号データ生成手順と、
前記復号データ生成手順により生成された新たな復号データから、前記予測形式それぞれに対応した参照画像を生成して、当該生成した参照画像を前記参照画像記憶手段にそれぞれ格納する参照画像格納手順と、
をコンピュータに実行させることを特徴とする画像復号化プログラム。
【請求項１】
符号化された画像データである符号化データを生成する画像符号化装置から前記符号化データを受け付けて、前記画像データに既に復号された復号データである参照画像と当該符号化データとを用いて新たな復号データを生成する画像復号化装置であって、
前記符号化データに用いられうる予測形式のそれぞれに合致した構造で前記参照画像を記憶する参照画像記憶手段と、
前記符号化データを受け付けた場合に、当該符号化データを解析して符号化に用いられた予測形式を判別し、判別した予測形式で格納される参照画像を前記参照画像記憶手段から読み出して、前記符号化データと前記参照画像とから新たな復号データを生成する復号データ生成手段と、
前記復号データ生成手段により生成された新たな復号データから、前記予測形式それぞれに対応した参照画像を生成して、当該生成した参照画像を前記参照画像記憶手段にそれぞれ格納する参照画像格納手段と、
を備えたことを特徴とする画像復号化装置。
【請求項２】
前記復号データ生成手段は、前記符号化データを受け付けた場合に、当該符号化データを解析して符号化に用いられた予測形式が、フレーム予測であるかフィールド予測であるかを判別し、フレーム予測であった場合に、前記参照画像記憶手段からフレーム構造の参照画像を読み出して、前記符号化データと参照画像とから新たな復号データを生成し、フィールド予測であった場合に、前記参照画像記憶手段からフィールド構造の参照画像を読み出して、前記符号化データと参照画像とから新たな復号データを生成し、
前記参照画像格納手段は、前記復号データ生成手段により生成された新たな復号データから、フレーム構造の参照画像とフィールド構造の参照画像とを生成し、生成したフレーム構造の参照画像とフィールド構造の参照画像とを前記参照画像記憶手段にそれぞれ格納することを特徴とする請求項１に記載の画像復号化装置。
【請求項３】
前記参照画像記憶手段は、一つの記憶部で構成されるものであって、
前記参照画像格納手段は、前記予測形式に対応した参照画像をそれぞれ生成して、当該生成した参照画像を前記参照画像記憶手段に領域を分けてそれぞれ格納することを特徴とすることを特徴とする請求項１または２に記載の画像復号化装置。
【請求項４】
前記参照画像記憶手段は、前記予測形式ごとに参照画像をそれぞれ記憶する複数の記憶部で構成されるものであって、
前記参照画像格納手段は、前記予測形式ごとにそれぞれ参照画像を生成して、生成した参照画像を、それぞれの予測形式で参照画像を記憶する参照画像記憶手段にそれぞれ格納することを特徴とする請求項１または２に記載の画像復号化装置。
【請求項５】
前記参照画像格納手段は、前記復号データ生成手段により生成された新たな復号データから、前記複数の参照画像記憶手段それぞれの予測形式ごとに応じた参照画像を生成して格納する際に、前記参照画像を輝度成分と色差成分とに領域を分けて格納することを特徴とする請求項１〜４のいずれか一つに記載の画像復号化装置。
【請求項６】
前記復号データ生成手段は、前記符号化データを受け付けた場合に、当該符号化データを解析して符号化に用いられた予測形式を判別し、判別した予測形式に対応する参照画像を前記複数の参照画像記憶手段から読み出す際に、前記複数の参照画像記憶手段の格納形式に対して、垂直方向に二ライン以上をアクセス単位とすることを特徴とする請求項１〜５のいずれか一つに記載の画像復号化装置。
【請求項７】
符号化された画像データである符号化データを生成する画像符号化装置から前記符号化データを受け付けて、前記画像データに既に復号された復号データである参照画像と当該符号化データとを用いて新たな復号データを生成することに適した画像復号化方法であって、
前記符号化データに用いられる予測形式ごとに前記参照画像を記憶する参照画像記憶手段と、
前記符号化データを受け付けた場合に、当該符号化データを解析して符号化に用いられた予測形式を判別し、判別した予測形式で格納される参照画像を前記参照画像記憶手段から読み出して、前記符号化データと前記参照画像とから新たな復号データを生成する復号データ生成工程と、
前記復号データ生成工程により生成された新たな復号データから、前記予測形式それぞれに対応した参照画像を生成して、当該生成した参照画像を前記参照画像記憶手段にそれぞれ格納する参照画像格納工程と、
を含んだことを特徴とする画像復号化方法。
【請求項８】
符号化された画像データである符号化データを生成する画像符号化装置から前記符号化データを受け付けて、前記画像データに既に復号された復号データである参照画像と当該符号化データとを用いて新たな復号データを生成することをコンピュータに実行させる画像復号化プログラムであって、
前記符号化データに用いられる予測形式ごとに前記参照画像を記憶する参照画像記憶手段と、
前記符号化データを受け付けた場合に、当該符号化データを解析して符号化に用いられた予測形式を判別し、判別した予測形式で格納される参照画像を前記参照画像記憶手段から読み出して、前記符号化データと前記参照画像とから新たな復号データを生成する復号データ生成手順と、
前記復号データ生成手順により生成された新たな復号データから、前記予測形式それぞれに対応した参照画像を生成して、当該生成した参照画像を前記参照画像記憶手段にそれぞれ格納する参照画像格納手順と、
をコンピュータに実行させることを特徴とする画像復号化プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２００８−２９４９７８（Ｐ２００８−２９４９７８Ａ）
【公開日】平成２０年１２月４日（２００８．１２．４）
【国際特許分類】
【出願番号】特願２００７−１４０９１４（Ｐ２００７−１４０９１４）
【出願日】平成１９年５月２８日（２００７．５．２８）
【出願人】（５００４８９５０９）アイベックステクノロジー株式会社 (9)
【Ｆターム（参考）】
【公開日】平成２０年１２月４日（２００８．１２．４）
【国際特許分類】
【出願日】平成１９年５月２８日（２００７．５．２８）
【出願人】（５００４８９５０９）アイベックステクノロジー株式会社 (9)
【Ｆターム（参考）】
[ Back to top ]