動画像符号化装置及びプログラム、動画像復号装置及びプログラム、並びに、動画像配信システム
【課題】 符号化された動画像データの復号に係る処理量を低減する。
【解決手段】 本発明は、動画像符号化装置を搭載した動画像配信装置と、動画像復号装置を搭載した動画像受信装置とを有する動画像配信システムに関する。そして、動画像符号化装置は、動画像のキーフレームを符号化する手段と、非キーフレームの予測画像を生成する手段と、原画像に対する予測画像の誤りやすさに応じた誤り訂正符号の量を求める手段と、求めた誤り訂正符号の量に応じた誤り訂正符号のデータを生成して保持する手段と、原画像に係るデータを保持する手段と、求めた誤り訂正符号の量に応じて、誤り訂正符号又は原画像に係るデータのいずれかを選択して非キーフレームの符号化データとして生成する手段とを有することを特徴とする。また、動画像復号装置は、符号化された非キーフレームの符号化データの種類に応じた復号手段を適用して復号する手段を有することを特徴とする。
【解決手段】 本発明は、動画像符号化装置を搭載した動画像配信装置と、動画像復号装置を搭載した動画像受信装置とを有する動画像配信システムに関する。そして、動画像符号化装置は、動画像のキーフレームを符号化する手段と、非キーフレームの予測画像を生成する手段と、原画像に対する予測画像の誤りやすさに応じた誤り訂正符号の量を求める手段と、求めた誤り訂正符号の量に応じた誤り訂正符号のデータを生成して保持する手段と、原画像に係るデータを保持する手段と、求めた誤り訂正符号の量に応じて、誤り訂正符号又は原画像に係るデータのいずれかを選択して非キーフレームの符号化データとして生成する手段とを有することを特徴とする。また、動画像復号装置は、符号化された非キーフレームの符号化データの種類に応じた復号手段を適用して復号する手段を有することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置及びプログラム、動画像復号装置及びプログラム、並びに、動画像配信システムに関し、例えば、動画像についてＤＶＣ（Ｄｉｓｔｒｉｂｕｔｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）方式で符号化して配信する動画像配信システムに適用し得る。
【背景技術】
【０００２】
近年、非特許文献１に説明されるようなＤｉｓｔｒｉｂｕｔｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（以下ＤＶＣ）という新しい符号化方式に注目が集まっている。この方式は、符号化部で符号化するべき原画像に対してＳｌｅｐｉａｎ−Ｗｏｌｆ符号化処理を行い、その符号化データと復号側で行った符号化部側の原画像の予測画像とともにＳｌｅｐｉａｎ−Ｗｏｌｆ復号を行うことで画像の符号化を行う新しい符号化方式である。このような、非特許文献１に代表されるＤＶＣの方式は、誤り訂正符号の再送要求というフィードバックを行うため、遅延が生じることや、符号化部と復号部が単独で動作できないという問題がある。
【０００３】
そこで、非特許文献２では、この再送要求を避けるために、誤り訂正に必要な誤り訂正符号の量をＷｙｎｅｒ−Ｚｉｖフレーム符号化部で計算を行う方式を提案している。
【０００４】
以下、非特許文献２に記載されている、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化としてＬＤＰＣ符号を用いた動画像の符号化装置及び復号装置について説明する。
【０００５】
符号化装置側では、符号化するべき原画像（Ｗｙｎｅｒ−Ｚｉｖ Ｆｒａｍｅｓ）を変換係数領域（ＤＣＴ）に変換した後、各帯域毎に量子化（２Ｍｋｌｅｖｅｌ Ｑｕａｎｔｉｚｅｒ）し、その値（ｑｋ）を２値で表し、各ビットの情報を、例えば１ｆｒａｍｅ分集めた情報（Ｅｘｔｒａｃｔ ｂｉｔ−ｐｌａｎｅｓ）毎にＳｌｅｐｉａｎ−Ｗｏｌｆ符号化を行い、その結果のうちシンドロームビットのみを一時保存し、情報ビットは捨てられる。そして、符号化装置側では、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部の作る予測画像を想定した予測画像をＷｙｎｅｒ−Ｚｉｖフレーム符号器側で生成し、予測画像の誤りやすさを推定し、訂正するための必要な誤り訂正符号の量を計算する。
【０００６】
符号化装置から復号装置に与えるシンドロームビットの量は、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化されたシンドロームビットを間引くことによって決定する。これは、間引きパターンを複数用意しておき、ここから誤り訂正に必要な符号量が得られる間引きパターンを選択することによって、送信する符号量を決定する。例えば、誤り訂正符号を１／４８単位で間引くパターンの例で説明すると、１／４８に間引くパターン、２／４８に間引くパターン、…、４７／４８に間引くパターンというような間引きパターンと４８／４８のパターン（間引きなし）を用意しておき、この４８通りから計算した送信する対応する間引きパターンを選択する。
【０００７】
復号装置側では、予測画像を生成し（Ｉｎｔｅｒｐｏｌａｔｉｏｎ／Ｅｘｔｒａｐｏｌａｔｉｏｎ）、その予測画像を変換係数領域（ＤＣＴ）に変換し、帯域毎にＳｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎとして利用する。
【０００８】
そして、復号装置側では、符号化装置側から与えられたシンドロームビットとその内容を示す信号を受信し、受信したシンドロームビットの内容によって適用する復号方式を決定する。
【０００９】
例えば、受信したシンドロームビットが、２／４８等の間引かれたパターンの場合は、受け取ったシンドロームビットを送信された間引きパターンと仮定してＳｌｅｐｉａｎ−Ｗｏｌｆ復号を行い、その復号値と、Ｓｉｄｅ Ｉｎｆｏｒｔｎａｔｉｏｎから変換係数を再構築し、逆変換（ＩＤＣＴ）することで復号画像を得る。一方、４８／４８のパターン（間引きなしのパターン）の場合は、マトリクス解法を行い、その処理結果とＳｉｄｅ Ｉｎｆｏｒｎａｔｉｏｎから変換係数を再構築し、逆変換（ＩＤＣＴ）することで復号画像を得る。シンドロームビットが間引き無しの場合にマトリクス解法を行うのは、予測画像に誤りが極めて多い場合には、間引き無しのシンドロームビットによりＳｌｅｐｉａｎ−Ｗｏｌｆ復号を行っても正しく復号できるとは限らないが、マトリクス解法を用いると復号の精度が向上する。
【先行技術文献】
【非特許文献】
【００１０】
【非特許文献１】Ａｎｎｅ Ａａｒｏ， Ｓｈａｎｔａｎｕ Ｒａｎｅ， Ｅｒｉｃ Ｓｅｔｔｏｎ， ａｎｄ Ｂｅｒｎｄ Ｇｉｒｏｄ，“Ｔｒａｎｓｆｏｒｍ−ｄｏｍａｉｎ Ｗｙｎｅｒ−Ｚｉｖ Ｃｏｄｅｃ ｆｏｒ Ｖｉｄｅｏ．”Ｉｎ：Ｐｒｏｃ，ＳＰＩＥ Ｖｉｓｕａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，Ｓａｎ Ｊｏｓｅ，ＣＡ（２００４）
【非特許文献２】Ｃ．Ｂｒｉｔｅｓ，Ｆ．Ｐｅｒｅｉｒａ，”Ｅｎｃｏｄｅｒ Ｒａｔｅ Ｃｏｎｔｒｏｌ ｆｏｒ Ｔｒａｎｓｆｏｒｍ Ｄｏｍａｉｎ Ｗｙｎｅｒ−Ｚｉｖ Ｖｉｄｅｏ Ｃｏｄｉｎｇ“，ＩＣＩＰ２００７
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、非特許文献２における送信符号量の制御方法では、符号化装置側でシンドロームビットについて間引きを行ったか、行っていないかによって、復号装置側での処理が異なる。符号化装置側で、間引きを行っていない場合には、復号装置側で、マトリクス解法による処理を行う必要があり、回路規模の増大、プログラム規模の増大などという問題が発生する。
【００１２】
そのため、符号化された動画像データの復号に係る処理量を低減することができる動画像符号化装置及びプログラム、動画像復号装置及びプログラム、並びに、動画像配信システムが臨まれている。
【課題を解決するための手段】
【００１３】
第１の本発明の動画像符号化装置は、（１）フレーム列を有する動画像信号の上記フレーム列のうちキーフレームを符号化するキーフレーム符号化手段と、（２）キーフレームを利用して、上記フレーム列のうち非キーフレームの予測画像を生成する予測画像生成手段と、（３）上記非キーフレームの原画像に係るデータを保持する原画像データ保持手段と、（４）上記予測画像の誤りやすさに応じて、その誤りを訂正する誤り訂正符号の量を求める送信符号量算出手段と、（５）上記送信符号量算出手段が求めた誤り訂正符号の量に応じた誤り訂正符号のデータを、生成して保持する誤り訂正符号データ保持手段と、（６）上記送信符号量算出手段が求めた誤り訂正符号の量に応じて、非キーフレームの符号化データとして、上記訂正符号データ保持手段が保持しているデータ、又は、上記原画像データ保持手段が保持しているデータのいずれかを選択する符号化データ選択手段と、（７）上記符号化データ選択手段が選択したデータを非キーフレームの符号化データとして出力する符号化データ出力手段とを有することを特徴とする。
【００１４】
第２の本発明の動画像復号装置は、（１）フレーム単位に符号化された動画像データのうちキーフレームを復号するキーフレーム復号手段と、（２）復号されたキーフレームを利用して、上記動画像データのうち非キーフレームの予測画像を生成する予測画像生成手段と、（３）上記動画像データにおいて、非キーフレームの符号化データが、非キーフレームの原画像に対する、上記予測画像の誤りを訂正する誤り訂正符号であった場合には、その誤り訂正符号と上記予測画像とを用いて、非キーフレームを復号する第１の非キーフレーム復号手段と、（４）上記動画像データにおいて、非キーフレームの符号化データが、非キーフレームの原画像に係るデータであった場合に、その符号化データを復号する第２の非キーフレーム復号手段とを有することを特徴とする。
【００１５】
第３の本発明の動画像符号化プログラムは、コンピュータを、（１）フレーム列を有する動画像信号の上記フレーム列のうちキーフレームを符号化するキーフレーム符号化手段と、（２）キーフレームを利用して、上記フレーム列のうち非キーフレームの予測画像を生成する予測画像生成手段と、（３）上記非キーフレームの原画像に係るデータを保持する原画像データ保持手段と、（４）上記予測画像の誤りやすさに応じて、その誤りを訂正する誤り訂正符号の量を求める送信符号量算出手段と、（５）上記送信符号量算出手段が求めた誤り訂正符号の量に応じた誤り訂正符号のデータを、生成して保持する誤り訂正符号データ保持手段と、（６）上記送信符号量算出手段が求めた誤り訂正符号の量に応じて、非キーフレームの符号化データとして、上記訂正符号データ保持手段が保持しているデータ、又は、上記原画像データ保持手段が保持しているデータのいずれかを選択する符号化データ選択手段と、（７）上記符号化データ選択手段が選択したデータを非キーフレームの符号化データとして出力する符号化データ出力手段として機能させることを特徴とする。
【００１６】
第４の本発明の動画像復号プログラムは、コンピュータを、（１）フレーム単位に符号化された動画像データのうちキーフレームを復号するキーフレーム復号手段と、（２）復号されたキーフレームを利用して、上記動画像データのうち非キーフレームの予測画像を生成する予測画像生成手段と、（３）上記動画像データにおいて、非キーフレームの符号化データが、非キーフレームの原画像に対する、上記予測画像の誤りを訂正する誤り訂正符号であった場合には、その誤り訂正符号と上記予測画像とを用いて、非キーフレームを復号する第１の非キーフレーム復号手段と、（４）上記動画像データにおいて、非キーフレームの符号化データが、非キーフレームの原画像に係るデータであった場合に、その符号化データを復号する第２の非キーフレーム復号手段として機能させることを特徴とする。
【００１７】
第５の本発明は、動画像受信装置と、配信用動画像データを上記動画像受信装置に配信する動画像配信装置とを有する動画像配信システムにおいて、（１）上記動画像配信装置は、フレーム列を有する動画像信号を符号化して配信用動画像データを生成する動画像符号化装置を有し、（２）上記動画像受信装置は、上記動画像配信装置から与えられた配信用動画像データを復号する動画像復号装置を有し、（３）上記動画像符号化装置として、第１の本発明の動画像符号化装置を適用し、（４）上記動画像復号装置として、第２の本発明の動画像復号装置を適用したことを特徴とする。
【発明の効果】
【００１８】
本発明によれば、符号化された動画像データの復号に係る処理量を低減することができる。
【図面の簡単な説明】
【００１９】
【図１】実施形態に係る動画像配信システムの全体構成について示したブロック図である。
【図２】実施形態に係る動画像符号化装置の動作について示したフローチャートである。
【図３】実施形態に係る動画像復号装置の動作について示したフローチャートである。
【発明を実施するための形態】
【００２０】
（Ａ）主たる実施形態
以下、本発明による動画像符号化装置及びプログラム、動画像復号装置及びプログラム、並びに、動画像配信システムの一実施形態を、図面を参照しながら詳述する。
【００２１】
（Ａ−１）実施形態の構成
図１は、この実施形態の動画像配信システム１の全体構成を示すブロック図である。
【００２２】
動画像配信システム１は、動画像配信装置１０及び動画像受信装置２０を有している。動画像配信装置１０は、動画像符号化装置１００を有しており、動画像符号化装置１００により入力された映像信号を符号化して動画像データを生成し、図示しない通信部により動画像受信装置２０に向けて送出する。
【００２３】
動画像符号化装置１００に対して入力される映像信号は、この実施形態においては、フレーム単位の映像信号（例えば、ＣＣＤカメラから入力される映像信号等）の列（以下、「入力シーケンス」という）を適用するものとして説明する。その他にも、動画像符号化装置１００に、ビデオカメラ等によるアナログ形式の映像信号を入力して、動画像符号化装置１００がフレーム単位の画像データに変換するキャプチャを別途備えるようにしても良い。このように、動画像符号化装置１００に対して入力される映像信号の形式は限定されないものである。
【００２４】
動画像受信装置２０は、動画像復号装置２００を有しており、図示しないにより、動画像配信装置１０から送信された動画像データを受信し、動画像復号装置２００により、受信した符号化された動画像データを復号して、動画像の信号を生成、所定の出力（例えば、ディスプレイへの出力や、復号した動画像データの記憶媒体への書き込み等、出力方法限定されないものである）を行う。
【００２５】
動画像符号化装置１００は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ、ハードディスクなどのプログラムの実行構成に、実施形態の動画像符号化プログラムをインストールすることにより構築するようにしても良いが、その場合でも、機能的には、図１のように表すことができる。また、動画像復号装置２００についても同様のプログラムの実施構成に、実施形態の動画像復号プログラムをインストールすることにより構築するようにしても良いが、その場合でも、機能的には、図１のように表すことができる。
【００２６】
動画像配信装置１０は、例えば、ハードウェア的な通信部の他は、通信処理やデータ処理等を実行するためのＣＰＵ、ＲＯＭ、ＲＡＭ等を有しており、ＣＰＵが実行するプログラム（実施形態の動画像符号化プログラムを含む）をインストールすることにより構築しても良く、上述したプログラムを含め、動画像配信装置１０の機能的構成を示すと図１に示すようになる。また、動画像受信装置２０も、同様の装置に、実施形態の動画像復号プログラム等をインストールすることにより構築するようにしても良く、上述したプログラムを含め、動画像配信装置１０の機能的構成を示すと図１に示すようになる。
【００２７】
次に、動画像符号化装置１００の内部構成について説明する。
【００２８】
動画像符号化装置１００は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０及びキーフレーム符号化部１２０を有している。また、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０は、変換量子化部１１１、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１１２、送信符号量推定部１１３、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１４、及び情報ビット格納部１１５を有している。
【００２９】
キーフレーム符号化部１２０は、入力シーケンスからキーフレームを得、従来のＭＰＥＧやＪＰＥＧといった従来の符号化方式で符号化を行い、復号側へ符号化データを送信する。
【００３０】
変換量子化部１１１は、入力シーケンスからＷｙｎｅｒ−Ｚｉｖフレームを得、変換・量子化しビットプレーン単位へ分割する。
【００３１】
Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１１２は、Ｗｙｎｅｒ−Ｚｉｖフレームの前、もしくは後ろ、もしくは前後のキーフレーム画像を入力し、Ｗｙｎｅｒ−Ｚｉｖフレーム画像の予測画像を生成し、変換・量子化し、ビットプレーンへ分割する。
【００３２】
Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１４は、変換量子化部１１１から入力された各ビットプレーンの情報（情報ビット）に対し、ＬＤＰＣ符号といったＳｌｅｐｉａｎ一Ｗｏｌｆ符号化を行い、シンドロームビットを生成し、送信符号量推定部１１３からの指示があった場合にシンドロームビットを受信側（動画像受信装置２０）に送信する。
【００３３】
情報ビット格納部１１５は、変換量子化部１１１から入力された各ビットプレーンの情報（以下、「情報ビット」という）を格納し、送信符号量推定部１１３からの指示があった場合に動画像受信装置２０（動画像復号装置２００）に送信する。
【００３４】
送信符号量推定部１１３は、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１１２で生成された予測画像の変換係数と、変換量子化部１１１で得られたＷｙｎｅｒ−Ｚｉｖフレームの変換係数を入力し、各ビットプレーンの復号部へ送る誤り訂正符号の量を推定する。
【００３５】
送信符号量推定部１１３による誤り訂正符号の量は、上述の非特許文献２の記載技術と同様の処理により、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１４が符号化したシンドロームビットについて間引く量を決定する（間引く量ではなく、残す量を決定するようにしても良いが、ここでは、説明を簡易にするため間引く量として説明する）。
【００３６】
そして、ここでは、例として、送信符号量推定部１１３が決定する誤り訂正符号の量（間引き量のパターン）は、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化したシンドロームビットを、１／４８単位で間引くいずれかのパターン（１／４８、２／４８、…、４８／４８のいずれかのパターン）で示されるものとする。
【００３７】
そして、送信符号量推定部１１３は、上述の間引き量のパターンを、４８／４８のパターン（すなわち、間引き無し）と決定した場合には、その旨が情報ビット格納部１１５に通知し、当該非キーフレームの符号化データとして、情報ビット格納部１１５に格納された情報を出力し、動画像受信装置２０（動画像復号装置２００）に送信する。
【００３８】
また、送信符号量推定部１１３は、上述の間引き量のパターンを、１／４８〜４７／４８のいずれかのパターン（すなわち、間引き有り）と決定した場合には、その旨をＳｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１４に通知する。そして、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１４は、生成したシンドロームビットから、送信符号量推定部１１３により決定されたパターンの間引きを行って、その間引き後のデータを、当該非キーフレームの符号化データとして出力し、動画像受信装置２０（動画像復号装置２００）に送信する。
【００３９】
また、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０では、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１４から送信される情報と、情報ビット格納部１１５から送信される情報について、受信側で分類できるような情報を付加するようにしても良い。例えば、ヘッダ情報の一部に、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１４から送信される情報と、情報ビット格納部１１５から送信される情報とを分類するための情報を挿入するようにしても良い。
【００４０】
次に、動画像復号装置２００の内部構成について説明する。
【００４１】
動画像復号装置２００は、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部２１０及びキーフレーム復号部２２０を有している。また、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部２１０は、切り替え部２１１、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部２１２、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部２１３、及び復号画像生成部２１４を有している。
【００４２】
キーフレーム復号部２２０は、動画像符号化装置１００（キーフレーム符号化部１２０）で符号化されたキーフレームを受信し、復号を行うことで、復号画像を得る。
【００４３】
Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部２１３は、キーフレーム復号部２２０で得られたＷｙｎｅｒ−Ｚｉｖフレームの前、もしくは後ろ、もしくは前後のキーフレームの復号画像から、例えば動き推定と動き補償などの手法を用いてＷｙｎｅｒ−Ｚｉｖフレームの予測画像を生成し、変換・量子化しビットプレーンへ分割する。
【００４４】
切り替え部２１１は、動画像符号化装置１００（Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０）から受信したＷｙｎｅｒ−Ｚｉｖフレームに係るデータが、シンドロームビットの場合には、そのデータをＳｌｅｐｉａｎ−Ｗｏｌｆ復号部２１２へ与え、情報ビットの場合には、復号画像生成部２１４へ与える。
【００４５】
Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部２１２は、受信したシンドロームビットとＳｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部２１３で生成された予測画像の情報（ビットプレーン）とから、Ｓｌｅｐｉａｎ−Ｗｏｌf復号を行う。
【００４６】
復号画像生成部２１４は、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部２１２での各ビットプレーンの復号結果もしくは受信した情報ビットと、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部２１３で生成された予測画像の情報を参照してフレーム単位での情報に再構成したのち、再構成されたフレームに逆変換・逆量子化を行い、復号画像を得る。
【００４７】
（Ａ−２）実施形態の動作
次に、以上のような構成を有するこの実施形態の動画像配信システム１の動作を説明する。
【００４８】
ここでは、まず、動画像符号化装置１００の動作について説明した後に、動画像復号装置２００の動作について説明する。
【００４９】
（Ａ−２−１）動画像符号化装置の動作について
動画像符号化装置１００に入力される、入力シーケンスはキーフレームとＷｙｎｅｒ−Ｚｉｖフレームに分けられ、それぞれの符号化・復号が行われる。ここでは、入力シーケンスをキーフレームとＷｙｎｅｒ−Ｚｉｖフレームを交互に符号化する例について説明を行う。
【００５０】
動画像符号化装置１００では、入力シーケンスの１フレーム目はキーフレームとして符号化が行われる。１フレーム目は、キーフレーム符号化部１２０において、非特許文献１などと同じくＪＰＥＧやＭＰＥＧのＩフレームのようなフレーム内符号化がおこなわれて受信側へ送信される。次に、２フレーム目はＷｙｎｅｒ−Ｚｉｖフレームとして、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０により符号化が行われる。ここでは、この２フレーム目のデータが、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０により符号化される場合を例として、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０の動作について説明する。
【００５１】
図２は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０の動作について示したフローチャートである。
【００５２】
まず、入力シーケンスから２フレーム目の原画像を変換量子化部１１１へ入力される（Ｓ２０１）。
【００５３】
次に、変換量子化部１１１で、２フレーム目の原画像が変換係数領域に変換（ＤＣＴ）され、帯域ごとに量子化される（Ｓ２０２）。ステップＳ２０２では、各帯域の量子化された変換係数が２値化され、ビットプレーンへ分割されるとともに、各ビットプレーンの情報が情報ビットとして、情報ビット格納部１１５に格納される。帯域毎にビットプレーン化する際に、１フレーム全体の長さでビットプレーンへ分割しても良いし、画面内の領域ごと、といった形でグループ化した長さで区切り、ビットプレーンへ分割しても良い。一般に、誤り訂正符号は符号長が長いほど高い誤り訂正能力を発揮できる。しかし、動画像では、動きのある領域と動きがない領域では、動きのある領域のほうが予測画像の誤りが多い、というように画面内の領域によって誤りの量が異なることが考えられるため、領域によってビットプレーンを分割することにより、領域の特徴を捉えることができると考えられる。
【００５４】
次に、キーフレーム符号化部１２０から前または後、または両方のキーフレーム画像がＳｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１１２へ入力される（Ｓ２０３）。
【００５５】
次に、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１１２において２フレーム目（Ｗｙｎｅｒ−Ｚｉｖフレーム）の予測画像が生成される（Ｓ２０４）。
【００５６】
予測画像の生成には、前のキーフレームを利用する方法や、前後のキーフレーム画像の平均を取るなどの方法や、非特許文献２に示されるような、範囲の絞った動き探索などの方法がある。
【００５７】
次に、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１１２において生成した予測画像に対して、変換・量子化を行い、ビットプレーンに分割される（Ｓ２０５）。このときのビットプレーンの長さは変換量子化部１１１と同様の分割方法で行う。
【００５８】
次に、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１１２から予測画像の変換係数を送信符号量推定部１１３へ入力される（Ｓ２０６）。
【００５９】
次に、変換量子化部１１１から原画像の変換係数が送信符号量推定部１１３へ入力される（Ｓ２０７）。
【００６０】
次に、送信符号量推定部１１３において、誤り訂正に必要な誤り訂正符号の量が推定される（Ｓ２０８）。
【００６１】
ステップＳ２０８における計算手法については、例えば、非特許文献２などの方法を用いることができる。つまり、送信符号量推定部１１３では、入力されたＷｙｎｅｒ−Ｚｉｖフレームの予測画像と原画像の変換係数を比較し、帯域毎に予測誤差の分布パラメータを推定する。予測誤差の分布を平均０のラプラス分布と仮定すると、予測画像の変換係数と原画像の変換係数の差分の分散を計算することによって得られる。次に、推定した分布パラメータをもとに、各ビットプレーンの予測画像の誤りやすさを推定し、それを訂正するために必要な誤り訂正符号の量を計算する。符号化側のＳｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１１２で生成された予測画像を復号側で生成する予測画像と仮定することで、誤りやすさを推定し、誤り訂正に必要な誤り訂正符号の量を推定し、間引きパターンを選択する。間引きパターンとは、例えば、誤り訂正符号（ここでは、例としてＬＤＰＣのシンドロームビットを用いる）を１／４８単位で間引くパターンの例で説明すると、１／４８に間引くパターン，２／４８に間引くパターン、・・・、４７／４８に間引くパターンというような間引きパターンと、４８／４８のパターン（間引きなし）が用意されているので選択する。
【００６２】
次に、送信符号量推定部１１３で求められた間引きパターンが、間引きありのパターンか無しのパターンかが判定され（Ｓ２０９）、間引き有りの場合（上述の例では４８／４８以外のパターン）は、間引きされたシンドロームビットが、動画像受信装置２０（Ｗｙｎｅｒ−Ｚｉｖフレーム復号部２１０）に送信される（Ｓ２１０）。一方、間引きなし（上述の例では４８／４８のパターン）の場合は、情報ビット格納部１１５から、情報ビットが、動画像受信装置２０（Ｗｙｎｅｒ−Ｚｉｖフレーム復号部２１０）に送信される（Ｓ２１１）。
【００６３】
（Ａ−２−２）動画像復号装置の動作について
次に、動画像復号装置２００の動作を説明する。
【００６４】
動画像復号装置２００では、動画像符号化装置１００から与えられる１フレーム目のデータは、上述の通りキーフレームの符号化データであるため、キーフレーム復号部２２０は、キーフレーム符号化部１２０から送信された符号化されたキーフレームを受信し、復号を行う。動画像符号化装置１００側では、キーフレームはＪＰＥＧやＭＰＥＧのＩフレームといった従来の符号化方式のフレーム内符号化を例として挙げているのが、これに対応した復号を行うことにより、復号画像を得る。
【００６５】
次に、２フレーム目はＷｙｎｅｒ−Ｚｉｖフレームについて符号化されたデータであるので、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部２１０により復号が行われる。ここでは、この２フレーム目のデータが、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部２１０により復号される場合を例として、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部２１０の動作について説明する。
【００６６】
図３は、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部２１０の動作について示したフローチャートである。
【００６７】
まず、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部２１０において、動画像配信装置１０（動画像符号化装置１００）から送信された、Ｗｙｎｅｒ−Ｚｉｖフレームの符号化データが受信される（Ｓ３０１）。
【００６８】
次に、切り替え部２１１において、受信した符号化データの内容が、ヘッダ情報の確認等により、シンドロームビットか情報ビットかが判定され（Ｓ３０２）、シンドロームビットである場合には、後述するステップＳ３０３の処理に進み、情報ビットである場合には後述するステップＳ３０８の処理に進む。
【００６９】
次に、上述のステップＳ３０３において、受信した符号化データの内容が、シンドロームビットであった場合には、まず、キーフレーム復号部２２０の出力結果からキーフレーム画像（例えば前後のキーフレーム）がＳｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部２１３へ入力される（Ｓ３０３）。
【００７０】
次に、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部２１３で２フレーム目（Ｗｙｎｅｒ−Ｚｉｖフレーム）の予測画像が生成される（Ｓ３０４）。予測画像生成方法としては、例えば、前後の平均や、動き推定・動き補償を行う方法などがある。
【００７１】
次に、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部２１３において予測画像が、量子化・２値化され、ビットプレーンへ分割される（Ｓ３０５）。このとき、ビットプレーンの長さについては、符号化器と対応するように、フレーム全体や、画面内の領域といった一定の長さとなるようにしておく。
【００７２】
次に、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部２１２へＳｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部２１３で生成されたビットプレーンが入力される（Ｓ３０６）。
【００７３】
次に、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部２１２では、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０から送信されたシンドロームビットを用いて、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号（この実施形態においては、ＬＤＰＣ復号を用いる）が行われる（Ｓ３０７）。
【００７４】
そして、上述のステップＳ３０３において、受信した符号化データがシンドロームビットであった場合には、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部２１２での復号結果が、復号画像生成部２１４へ入力される。一方、上述のステップＳ３０３において、受信した符号化データが情報ビットであると判定された場合には、受信した情報ビットが、復号画像生成部２１４へ入力される（Ｓ３０８）。
【００７５】
次に、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部２１０では、１フレームの全てのビットプレーンを処理したか否かが判定され（Ｓ３０９）、全てのビットプレーンの処理が完了した場合には後述するステップＳ３１０の処理に進み、そうでない場合には、上述のステップＳ３０１の処理に戻って動作する。
【００７６】
次に、復号画像生成部２１４では、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部２１２による復号結果のビットプレーン又は情報ビットが、フレーム単位へ再構成され、逆量子化・逆変換することで復号画像が得られる（Ｓ３１０）。
【００７７】
（Ａ−３）実施形態の効果
この実施形態によれば、以下のような効果を奏することができる。
【００７８】
動画像符号化装置１００側では、送信符号量推定部１１３により、シンドロームを間引かずに送信すると判定された場合には、シンドロームビットを送らずに、対応する情報ビットを送ることで、動画像復号装置２００側で、従来のようなマトリクス解法等を行う手段を用意する必要がなくなる。これにより、動画像復号装置２００側の回路規模、プログラム規模が縮小される上、処理量も低減することができる。
【００７９】
（Ｂ）他の実施形態
本発明は、上記の実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
【００８０】
（Ｂ−１）上記の実施形態においては、送信符号量推定部１１３は、決定した誤り訂正符号の量（間引き量のパターン）が、「間引き有り」のパターンの場合には、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１４に間引きしたシンドロームビットの出力を指示し、「間引き無し」のパターンの場合には、情報ビット格納部１１５に情報ビットの出力を指示しているが、その他の基準を適用するようにしても良い。
【００８１】
例えば、間引きの有無ではなく、間引き量に対する閾値を設けて、その閾値との比較結果に応じて、シンドロームビット又は情報ビットの出力のいずれかを選択するようにしても良い。例えば、閾値を４５／４８に設定した場合には、送信符号量推定部１１３が決定した間引き量が１／４８〜４４／４８のいずれかのパターンであった場合には、シンドロームビットの出力を選択し、４５／４８〜４８／４８のいずれかのパターンであった場合には、情報ビットの出力を選択するようにしても良い。
【００８２】
（Ｂ−２）上記の実施形態においては、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１４では、ＬＤＰＣ符号を用いた処理を行っているが、他の符号化方式（例えば、ターボ符号）を適用するようにしても良い。
【００８３】
（Ｂ−３）上記の実施形態においては、情報ビット格納部１１５には、変換量子化部１１１から出力されるＷｙｎｅｒ−Ｚｉｖフレーム（非キーフレーム）の原画像に係るビットプレーンが格納されるものとして説明したが、他の形式の原画像に係るデータを格納するようにしても良い。
【００８４】
例えば、キーフレーム符号化部１２０における符号化形式と同様の形式（例えば、ＭＰＥＧにおけるＩフレームやＪＰＥＧ等の形式）のデータを情報ビット格納部１１５に格納するようにしても良い。その場合は、動画像復号装置２００側でも、復号画像生成部２１４において、情報ビット格納部１１５からのデータを受信した場合には、キーフレーム復号部２２０と同様の処理により復号するようにしても良い。なお、上述の例の場合、別途復号手段を設けずに、キーフレーム復号部２２０をそのまま適用するようにしても良い。
【００８５】
（Ｂ−４）上記の実施形態において、動画像符号化装置１００は、動画像配信装置１０に搭載され、符号化した動画像データを、動画像受信装置２０（動画像復号装置２００）に送信するものとして説明したが、動画像符号化装置１００を単独の装置として構築するようにしても良い。その場合、例えば、動画像符号化装置１００が出力する動画像の符号化データを記録媒体（ＣＤ、ＤＶＤ、ディスク装置等）に記録するようにしても良い。
【００８６】
また、上記の実施形態において、動画像復号装置２００は、動画像受信装置２０に搭載され、符号化した動画像データを、動画像配信装置１０（動画像符号化装置１００）から受信して復号するものとして説明したが、動画像復号装置２００を単独の装置として構築するようにしても良い。その場合例えば、動画像復号装置２００に入力されるデータは、記録媒体（ＣＤ、ＤＶＤ、ディスク装置等）に記録されたデータとしても良い。
【符号の説明】
【００８７】
１…動画像配信システム、１０…動画像配信装置、１００…動画像符号化装置、１１０…Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部、１１１…変換量子化部、１１２…Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部、１１３…送信符号量推定部、１１４…Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部、１１５…情報ビット格納部、１２０…キーフレーム符号化部、２０…動画像受信装置、２００…動画像復号装置、２１０…Ｗｙｎｅｒ−Ｚｉｖフレーム復号部、２２１…切り替え部、２２２…Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部、２２３…Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部、２２４…復号画像生成部、２２０…キーフレーム復号部。
【技術分野】
【０００１】
本発明は、動画像符号化装置及びプログラム、動画像復号装置及びプログラム、並びに、動画像配信システムに関し、例えば、動画像についてＤＶＣ（Ｄｉｓｔｒｉｂｕｔｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）方式で符号化して配信する動画像配信システムに適用し得る。
【背景技術】
【０００２】
近年、非特許文献１に説明されるようなＤｉｓｔｒｉｂｕｔｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（以下ＤＶＣ）という新しい符号化方式に注目が集まっている。この方式は、符号化部で符号化するべき原画像に対してＳｌｅｐｉａｎ−Ｗｏｌｆ符号化処理を行い、その符号化データと復号側で行った符号化部側の原画像の予測画像とともにＳｌｅｐｉａｎ−Ｗｏｌｆ復号を行うことで画像の符号化を行う新しい符号化方式である。このような、非特許文献１に代表されるＤＶＣの方式は、誤り訂正符号の再送要求というフィードバックを行うため、遅延が生じることや、符号化部と復号部が単独で動作できないという問題がある。
【０００３】
そこで、非特許文献２では、この再送要求を避けるために、誤り訂正に必要な誤り訂正符号の量をＷｙｎｅｒ−Ｚｉｖフレーム符号化部で計算を行う方式を提案している。
【０００４】
以下、非特許文献２に記載されている、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化としてＬＤＰＣ符号を用いた動画像の符号化装置及び復号装置について説明する。
【０００５】
符号化装置側では、符号化するべき原画像（Ｗｙｎｅｒ−Ｚｉｖ Ｆｒａｍｅｓ）を変換係数領域（ＤＣＴ）に変換した後、各帯域毎に量子化（２Ｍｋｌｅｖｅｌ Ｑｕａｎｔｉｚｅｒ）し、その値（ｑｋ）を２値で表し、各ビットの情報を、例えば１ｆｒａｍｅ分集めた情報（Ｅｘｔｒａｃｔ ｂｉｔ−ｐｌａｎｅｓ）毎にＳｌｅｐｉａｎ−Ｗｏｌｆ符号化を行い、その結果のうちシンドロームビットのみを一時保存し、情報ビットは捨てられる。そして、符号化装置側では、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部の作る予測画像を想定した予測画像をＷｙｎｅｒ−Ｚｉｖフレーム符号器側で生成し、予測画像の誤りやすさを推定し、訂正するための必要な誤り訂正符号の量を計算する。
【０００６】
符号化装置から復号装置に与えるシンドロームビットの量は、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化されたシンドロームビットを間引くことによって決定する。これは、間引きパターンを複数用意しておき、ここから誤り訂正に必要な符号量が得られる間引きパターンを選択することによって、送信する符号量を決定する。例えば、誤り訂正符号を１／４８単位で間引くパターンの例で説明すると、１／４８に間引くパターン、２／４８に間引くパターン、…、４７／４８に間引くパターンというような間引きパターンと４８／４８のパターン（間引きなし）を用意しておき、この４８通りから計算した送信する対応する間引きパターンを選択する。
【０００７】
復号装置側では、予測画像を生成し（Ｉｎｔｅｒｐｏｌａｔｉｏｎ／Ｅｘｔｒａｐｏｌａｔｉｏｎ）、その予測画像を変換係数領域（ＤＣＴ）に変換し、帯域毎にＳｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎとして利用する。
【０００８】
そして、復号装置側では、符号化装置側から与えられたシンドロームビットとその内容を示す信号を受信し、受信したシンドロームビットの内容によって適用する復号方式を決定する。
【０００９】
例えば、受信したシンドロームビットが、２／４８等の間引かれたパターンの場合は、受け取ったシンドロームビットを送信された間引きパターンと仮定してＳｌｅｐｉａｎ−Ｗｏｌｆ復号を行い、その復号値と、Ｓｉｄｅ Ｉｎｆｏｒｔｎａｔｉｏｎから変換係数を再構築し、逆変換（ＩＤＣＴ）することで復号画像を得る。一方、４８／４８のパターン（間引きなしのパターン）の場合は、マトリクス解法を行い、その処理結果とＳｉｄｅ Ｉｎｆｏｒｎａｔｉｏｎから変換係数を再構築し、逆変換（ＩＤＣＴ）することで復号画像を得る。シンドロームビットが間引き無しの場合にマトリクス解法を行うのは、予測画像に誤りが極めて多い場合には、間引き無しのシンドロームビットによりＳｌｅｐｉａｎ−Ｗｏｌｆ復号を行っても正しく復号できるとは限らないが、マトリクス解法を用いると復号の精度が向上する。
【先行技術文献】
【非特許文献】
【００１０】
【非特許文献１】Ａｎｎｅ Ａａｒｏ， Ｓｈａｎｔａｎｕ Ｒａｎｅ， Ｅｒｉｃ Ｓｅｔｔｏｎ， ａｎｄ Ｂｅｒｎｄ Ｇｉｒｏｄ，“Ｔｒａｎｓｆｏｒｍ−ｄｏｍａｉｎ Ｗｙｎｅｒ−Ｚｉｖ Ｃｏｄｅｃ ｆｏｒ Ｖｉｄｅｏ．”Ｉｎ：Ｐｒｏｃ，ＳＰＩＥ Ｖｉｓｕａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，Ｓａｎ Ｊｏｓｅ，ＣＡ（２００４）
【非特許文献２】Ｃ．Ｂｒｉｔｅｓ，Ｆ．Ｐｅｒｅｉｒａ，”Ｅｎｃｏｄｅｒ Ｒａｔｅ Ｃｏｎｔｒｏｌ ｆｏｒ Ｔｒａｎｓｆｏｒｍ Ｄｏｍａｉｎ Ｗｙｎｅｒ−Ｚｉｖ Ｖｉｄｅｏ Ｃｏｄｉｎｇ“，ＩＣＩＰ２００７
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、非特許文献２における送信符号量の制御方法では、符号化装置側でシンドロームビットについて間引きを行ったか、行っていないかによって、復号装置側での処理が異なる。符号化装置側で、間引きを行っていない場合には、復号装置側で、マトリクス解法による処理を行う必要があり、回路規模の増大、プログラム規模の増大などという問題が発生する。
【００１２】
そのため、符号化された動画像データの復号に係る処理量を低減することができる動画像符号化装置及びプログラム、動画像復号装置及びプログラム、並びに、動画像配信システムが臨まれている。
【課題を解決するための手段】
【００１３】
第１の本発明の動画像符号化装置は、（１）フレーム列を有する動画像信号の上記フレーム列のうちキーフレームを符号化するキーフレーム符号化手段と、（２）キーフレームを利用して、上記フレーム列のうち非キーフレームの予測画像を生成する予測画像生成手段と、（３）上記非キーフレームの原画像に係るデータを保持する原画像データ保持手段と、（４）上記予測画像の誤りやすさに応じて、その誤りを訂正する誤り訂正符号の量を求める送信符号量算出手段と、（５）上記送信符号量算出手段が求めた誤り訂正符号の量に応じた誤り訂正符号のデータを、生成して保持する誤り訂正符号データ保持手段と、（６）上記送信符号量算出手段が求めた誤り訂正符号の量に応じて、非キーフレームの符号化データとして、上記訂正符号データ保持手段が保持しているデータ、又は、上記原画像データ保持手段が保持しているデータのいずれかを選択する符号化データ選択手段と、（７）上記符号化データ選択手段が選択したデータを非キーフレームの符号化データとして出力する符号化データ出力手段とを有することを特徴とする。
【００１４】
第２の本発明の動画像復号装置は、（１）フレーム単位に符号化された動画像データのうちキーフレームを復号するキーフレーム復号手段と、（２）復号されたキーフレームを利用して、上記動画像データのうち非キーフレームの予測画像を生成する予測画像生成手段と、（３）上記動画像データにおいて、非キーフレームの符号化データが、非キーフレームの原画像に対する、上記予測画像の誤りを訂正する誤り訂正符号であった場合には、その誤り訂正符号と上記予測画像とを用いて、非キーフレームを復号する第１の非キーフレーム復号手段と、（４）上記動画像データにおいて、非キーフレームの符号化データが、非キーフレームの原画像に係るデータであった場合に、その符号化データを復号する第２の非キーフレーム復号手段とを有することを特徴とする。
【００１５】
第３の本発明の動画像符号化プログラムは、コンピュータを、（１）フレーム列を有する動画像信号の上記フレーム列のうちキーフレームを符号化するキーフレーム符号化手段と、（２）キーフレームを利用して、上記フレーム列のうち非キーフレームの予測画像を生成する予測画像生成手段と、（３）上記非キーフレームの原画像に係るデータを保持する原画像データ保持手段と、（４）上記予測画像の誤りやすさに応じて、その誤りを訂正する誤り訂正符号の量を求める送信符号量算出手段と、（５）上記送信符号量算出手段が求めた誤り訂正符号の量に応じた誤り訂正符号のデータを、生成して保持する誤り訂正符号データ保持手段と、（６）上記送信符号量算出手段が求めた誤り訂正符号の量に応じて、非キーフレームの符号化データとして、上記訂正符号データ保持手段が保持しているデータ、又は、上記原画像データ保持手段が保持しているデータのいずれかを選択する符号化データ選択手段と、（７）上記符号化データ選択手段が選択したデータを非キーフレームの符号化データとして出力する符号化データ出力手段として機能させることを特徴とする。
【００１６】
第４の本発明の動画像復号プログラムは、コンピュータを、（１）フレーム単位に符号化された動画像データのうちキーフレームを復号するキーフレーム復号手段と、（２）復号されたキーフレームを利用して、上記動画像データのうち非キーフレームの予測画像を生成する予測画像生成手段と、（３）上記動画像データにおいて、非キーフレームの符号化データが、非キーフレームの原画像に対する、上記予測画像の誤りを訂正する誤り訂正符号であった場合には、その誤り訂正符号と上記予測画像とを用いて、非キーフレームを復号する第１の非キーフレーム復号手段と、（４）上記動画像データにおいて、非キーフレームの符号化データが、非キーフレームの原画像に係るデータであった場合に、その符号化データを復号する第２の非キーフレーム復号手段として機能させることを特徴とする。
【００１７】
第５の本発明は、動画像受信装置と、配信用動画像データを上記動画像受信装置に配信する動画像配信装置とを有する動画像配信システムにおいて、（１）上記動画像配信装置は、フレーム列を有する動画像信号を符号化して配信用動画像データを生成する動画像符号化装置を有し、（２）上記動画像受信装置は、上記動画像配信装置から与えられた配信用動画像データを復号する動画像復号装置を有し、（３）上記動画像符号化装置として、第１の本発明の動画像符号化装置を適用し、（４）上記動画像復号装置として、第２の本発明の動画像復号装置を適用したことを特徴とする。
【発明の効果】
【００１８】
本発明によれば、符号化された動画像データの復号に係る処理量を低減することができる。
【図面の簡単な説明】
【００１９】
【図１】実施形態に係る動画像配信システムの全体構成について示したブロック図である。
【図２】実施形態に係る動画像符号化装置の動作について示したフローチャートである。
【図３】実施形態に係る動画像復号装置の動作について示したフローチャートである。
【発明を実施するための形態】
【００２０】
（Ａ）主たる実施形態
以下、本発明による動画像符号化装置及びプログラム、動画像復号装置及びプログラム、並びに、動画像配信システムの一実施形態を、図面を参照しながら詳述する。
【００２１】
（Ａ−１）実施形態の構成
図１は、この実施形態の動画像配信システム１の全体構成を示すブロック図である。
【００２２】
動画像配信システム１は、動画像配信装置１０及び動画像受信装置２０を有している。動画像配信装置１０は、動画像符号化装置１００を有しており、動画像符号化装置１００により入力された映像信号を符号化して動画像データを生成し、図示しない通信部により動画像受信装置２０に向けて送出する。
【００２３】
動画像符号化装置１００に対して入力される映像信号は、この実施形態においては、フレーム単位の映像信号（例えば、ＣＣＤカメラから入力される映像信号等）の列（以下、「入力シーケンス」という）を適用するものとして説明する。その他にも、動画像符号化装置１００に、ビデオカメラ等によるアナログ形式の映像信号を入力して、動画像符号化装置１００がフレーム単位の画像データに変換するキャプチャを別途備えるようにしても良い。このように、動画像符号化装置１００に対して入力される映像信号の形式は限定されないものである。
【００２４】
動画像受信装置２０は、動画像復号装置２００を有しており、図示しないにより、動画像配信装置１０から送信された動画像データを受信し、動画像復号装置２００により、受信した符号化された動画像データを復号して、動画像の信号を生成、所定の出力（例えば、ディスプレイへの出力や、復号した動画像データの記憶媒体への書き込み等、出力方法限定されないものである）を行う。
【００２５】
動画像符号化装置１００は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ、ハードディスクなどのプログラムの実行構成に、実施形態の動画像符号化プログラムをインストールすることにより構築するようにしても良いが、その場合でも、機能的には、図１のように表すことができる。また、動画像復号装置２００についても同様のプログラムの実施構成に、実施形態の動画像復号プログラムをインストールすることにより構築するようにしても良いが、その場合でも、機能的には、図１のように表すことができる。
【００２６】
動画像配信装置１０は、例えば、ハードウェア的な通信部の他は、通信処理やデータ処理等を実行するためのＣＰＵ、ＲＯＭ、ＲＡＭ等を有しており、ＣＰＵが実行するプログラム（実施形態の動画像符号化プログラムを含む）をインストールすることにより構築しても良く、上述したプログラムを含め、動画像配信装置１０の機能的構成を示すと図１に示すようになる。また、動画像受信装置２０も、同様の装置に、実施形態の動画像復号プログラム等をインストールすることにより構築するようにしても良く、上述したプログラムを含め、動画像配信装置１０の機能的構成を示すと図１に示すようになる。
【００２７】
次に、動画像符号化装置１００の内部構成について説明する。
【００２８】
動画像符号化装置１００は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０及びキーフレーム符号化部１２０を有している。また、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０は、変換量子化部１１１、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１１２、送信符号量推定部１１３、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１４、及び情報ビット格納部１１５を有している。
【００２９】
キーフレーム符号化部１２０は、入力シーケンスからキーフレームを得、従来のＭＰＥＧやＪＰＥＧといった従来の符号化方式で符号化を行い、復号側へ符号化データを送信する。
【００３０】
変換量子化部１１１は、入力シーケンスからＷｙｎｅｒ−Ｚｉｖフレームを得、変換・量子化しビットプレーン単位へ分割する。
【００３１】
Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１１２は、Ｗｙｎｅｒ−Ｚｉｖフレームの前、もしくは後ろ、もしくは前後のキーフレーム画像を入力し、Ｗｙｎｅｒ−Ｚｉｖフレーム画像の予測画像を生成し、変換・量子化し、ビットプレーンへ分割する。
【００３２】
Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１４は、変換量子化部１１１から入力された各ビットプレーンの情報（情報ビット）に対し、ＬＤＰＣ符号といったＳｌｅｐｉａｎ一Ｗｏｌｆ符号化を行い、シンドロームビットを生成し、送信符号量推定部１１３からの指示があった場合にシンドロームビットを受信側（動画像受信装置２０）に送信する。
【００３３】
情報ビット格納部１１５は、変換量子化部１１１から入力された各ビットプレーンの情報（以下、「情報ビット」という）を格納し、送信符号量推定部１１３からの指示があった場合に動画像受信装置２０（動画像復号装置２００）に送信する。
【００３４】
送信符号量推定部１１３は、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１１２で生成された予測画像の変換係数と、変換量子化部１１１で得られたＷｙｎｅｒ−Ｚｉｖフレームの変換係数を入力し、各ビットプレーンの復号部へ送る誤り訂正符号の量を推定する。
【００３５】
送信符号量推定部１１３による誤り訂正符号の量は、上述の非特許文献２の記載技術と同様の処理により、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１４が符号化したシンドロームビットについて間引く量を決定する（間引く量ではなく、残す量を決定するようにしても良いが、ここでは、説明を簡易にするため間引く量として説明する）。
【００３６】
そして、ここでは、例として、送信符号量推定部１１３が決定する誤り訂正符号の量（間引き量のパターン）は、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化したシンドロームビットを、１／４８単位で間引くいずれかのパターン（１／４８、２／４８、…、４８／４８のいずれかのパターン）で示されるものとする。
【００３７】
そして、送信符号量推定部１１３は、上述の間引き量のパターンを、４８／４８のパターン（すなわち、間引き無し）と決定した場合には、その旨が情報ビット格納部１１５に通知し、当該非キーフレームの符号化データとして、情報ビット格納部１１５に格納された情報を出力し、動画像受信装置２０（動画像復号装置２００）に送信する。
【００３８】
また、送信符号量推定部１１３は、上述の間引き量のパターンを、１／４８〜４７／４８のいずれかのパターン（すなわち、間引き有り）と決定した場合には、その旨をＳｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１４に通知する。そして、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１４は、生成したシンドロームビットから、送信符号量推定部１１３により決定されたパターンの間引きを行って、その間引き後のデータを、当該非キーフレームの符号化データとして出力し、動画像受信装置２０（動画像復号装置２００）に送信する。
【００３９】
また、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０では、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１４から送信される情報と、情報ビット格納部１１５から送信される情報について、受信側で分類できるような情報を付加するようにしても良い。例えば、ヘッダ情報の一部に、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１４から送信される情報と、情報ビット格納部１１５から送信される情報とを分類するための情報を挿入するようにしても良い。
【００４０】
次に、動画像復号装置２００の内部構成について説明する。
【００４１】
動画像復号装置２００は、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部２１０及びキーフレーム復号部２２０を有している。また、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部２１０は、切り替え部２１１、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部２１２、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部２１３、及び復号画像生成部２１４を有している。
【００４２】
キーフレーム復号部２２０は、動画像符号化装置１００（キーフレーム符号化部１２０）で符号化されたキーフレームを受信し、復号を行うことで、復号画像を得る。
【００４３】
Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部２１３は、キーフレーム復号部２２０で得られたＷｙｎｅｒ−Ｚｉｖフレームの前、もしくは後ろ、もしくは前後のキーフレームの復号画像から、例えば動き推定と動き補償などの手法を用いてＷｙｎｅｒ−Ｚｉｖフレームの予測画像を生成し、変換・量子化しビットプレーンへ分割する。
【００４４】
切り替え部２１１は、動画像符号化装置１００（Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０）から受信したＷｙｎｅｒ−Ｚｉｖフレームに係るデータが、シンドロームビットの場合には、そのデータをＳｌｅｐｉａｎ−Ｗｏｌｆ復号部２１２へ与え、情報ビットの場合には、復号画像生成部２１４へ与える。
【００４５】
Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部２１２は、受信したシンドロームビットとＳｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部２１３で生成された予測画像の情報（ビットプレーン）とから、Ｓｌｅｐｉａｎ−Ｗｏｌf復号を行う。
【００４６】
復号画像生成部２１４は、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部２１２での各ビットプレーンの復号結果もしくは受信した情報ビットと、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部２１３で生成された予測画像の情報を参照してフレーム単位での情報に再構成したのち、再構成されたフレームに逆変換・逆量子化を行い、復号画像を得る。
【００４７】
（Ａ−２）実施形態の動作
次に、以上のような構成を有するこの実施形態の動画像配信システム１の動作を説明する。
【００４８】
ここでは、まず、動画像符号化装置１００の動作について説明した後に、動画像復号装置２００の動作について説明する。
【００４９】
（Ａ−２−１）動画像符号化装置の動作について
動画像符号化装置１００に入力される、入力シーケンスはキーフレームとＷｙｎｅｒ−Ｚｉｖフレームに分けられ、それぞれの符号化・復号が行われる。ここでは、入力シーケンスをキーフレームとＷｙｎｅｒ−Ｚｉｖフレームを交互に符号化する例について説明を行う。
【００５０】
動画像符号化装置１００では、入力シーケンスの１フレーム目はキーフレームとして符号化が行われる。１フレーム目は、キーフレーム符号化部１２０において、非特許文献１などと同じくＪＰＥＧやＭＰＥＧのＩフレームのようなフレーム内符号化がおこなわれて受信側へ送信される。次に、２フレーム目はＷｙｎｅｒ−Ｚｉｖフレームとして、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０により符号化が行われる。ここでは、この２フレーム目のデータが、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０により符号化される場合を例として、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０の動作について説明する。
【００５１】
図２は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０の動作について示したフローチャートである。
【００５２】
まず、入力シーケンスから２フレーム目の原画像を変換量子化部１１１へ入力される（Ｓ２０１）。
【００５３】
次に、変換量子化部１１１で、２フレーム目の原画像が変換係数領域に変換（ＤＣＴ）され、帯域ごとに量子化される（Ｓ２０２）。ステップＳ２０２では、各帯域の量子化された変換係数が２値化され、ビットプレーンへ分割されるとともに、各ビットプレーンの情報が情報ビットとして、情報ビット格納部１１５に格納される。帯域毎にビットプレーン化する際に、１フレーム全体の長さでビットプレーンへ分割しても良いし、画面内の領域ごと、といった形でグループ化した長さで区切り、ビットプレーンへ分割しても良い。一般に、誤り訂正符号は符号長が長いほど高い誤り訂正能力を発揮できる。しかし、動画像では、動きのある領域と動きがない領域では、動きのある領域のほうが予測画像の誤りが多い、というように画面内の領域によって誤りの量が異なることが考えられるため、領域によってビットプレーンを分割することにより、領域の特徴を捉えることができると考えられる。
【００５４】
次に、キーフレーム符号化部１２０から前または後、または両方のキーフレーム画像がＳｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１１２へ入力される（Ｓ２０３）。
【００５５】
次に、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１１２において２フレーム目（Ｗｙｎｅｒ−Ｚｉｖフレーム）の予測画像が生成される（Ｓ２０４）。
【００５６】
予測画像の生成には、前のキーフレームを利用する方法や、前後のキーフレーム画像の平均を取るなどの方法や、非特許文献２に示されるような、範囲の絞った動き探索などの方法がある。
【００５７】
次に、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１１２において生成した予測画像に対して、変換・量子化を行い、ビットプレーンに分割される（Ｓ２０５）。このときのビットプレーンの長さは変換量子化部１１１と同様の分割方法で行う。
【００５８】
次に、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１１２から予測画像の変換係数を送信符号量推定部１１３へ入力される（Ｓ２０６）。
【００５９】
次に、変換量子化部１１１から原画像の変換係数が送信符号量推定部１１３へ入力される（Ｓ２０７）。
【００６０】
次に、送信符号量推定部１１３において、誤り訂正に必要な誤り訂正符号の量が推定される（Ｓ２０８）。
【００６１】
ステップＳ２０８における計算手法については、例えば、非特許文献２などの方法を用いることができる。つまり、送信符号量推定部１１３では、入力されたＷｙｎｅｒ−Ｚｉｖフレームの予測画像と原画像の変換係数を比較し、帯域毎に予測誤差の分布パラメータを推定する。予測誤差の分布を平均０のラプラス分布と仮定すると、予測画像の変換係数と原画像の変換係数の差分の分散を計算することによって得られる。次に、推定した分布パラメータをもとに、各ビットプレーンの予測画像の誤りやすさを推定し、それを訂正するために必要な誤り訂正符号の量を計算する。符号化側のＳｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部１１２で生成された予測画像を復号側で生成する予測画像と仮定することで、誤りやすさを推定し、誤り訂正に必要な誤り訂正符号の量を推定し、間引きパターンを選択する。間引きパターンとは、例えば、誤り訂正符号（ここでは、例としてＬＤＰＣのシンドロームビットを用いる）を１／４８単位で間引くパターンの例で説明すると、１／４８に間引くパターン，２／４８に間引くパターン、・・・、４７／４８に間引くパターンというような間引きパターンと、４８／４８のパターン（間引きなし）が用意されているので選択する。
【００６２】
次に、送信符号量推定部１１３で求められた間引きパターンが、間引きありのパターンか無しのパターンかが判定され（Ｓ２０９）、間引き有りの場合（上述の例では４８／４８以外のパターン）は、間引きされたシンドロームビットが、動画像受信装置２０（Ｗｙｎｅｒ−Ｚｉｖフレーム復号部２１０）に送信される（Ｓ２１０）。一方、間引きなし（上述の例では４８／４８のパターン）の場合は、情報ビット格納部１１５から、情報ビットが、動画像受信装置２０（Ｗｙｎｅｒ−Ｚｉｖフレーム復号部２１０）に送信される（Ｓ２１１）。
【００６３】
（Ａ−２−２）動画像復号装置の動作について
次に、動画像復号装置２００の動作を説明する。
【００６４】
動画像復号装置２００では、動画像符号化装置１００から与えられる１フレーム目のデータは、上述の通りキーフレームの符号化データであるため、キーフレーム復号部２２０は、キーフレーム符号化部１２０から送信された符号化されたキーフレームを受信し、復号を行う。動画像符号化装置１００側では、キーフレームはＪＰＥＧやＭＰＥＧのＩフレームといった従来の符号化方式のフレーム内符号化を例として挙げているのが、これに対応した復号を行うことにより、復号画像を得る。
【００６５】
次に、２フレーム目はＷｙｎｅｒ−Ｚｉｖフレームについて符号化されたデータであるので、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部２１０により復号が行われる。ここでは、この２フレーム目のデータが、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部２１０により復号される場合を例として、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部２１０の動作について説明する。
【００６６】
図３は、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部２１０の動作について示したフローチャートである。
【００６７】
まず、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部２１０において、動画像配信装置１０（動画像符号化装置１００）から送信された、Ｗｙｎｅｒ−Ｚｉｖフレームの符号化データが受信される（Ｓ３０１）。
【００６８】
次に、切り替え部２１１において、受信した符号化データの内容が、ヘッダ情報の確認等により、シンドロームビットか情報ビットかが判定され（Ｓ３０２）、シンドロームビットである場合には、後述するステップＳ３０３の処理に進み、情報ビットである場合には後述するステップＳ３０８の処理に進む。
【００６９】
次に、上述のステップＳ３０３において、受信した符号化データの内容が、シンドロームビットであった場合には、まず、キーフレーム復号部２２０の出力結果からキーフレーム画像（例えば前後のキーフレーム）がＳｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部２１３へ入力される（Ｓ３０３）。
【００７０】
次に、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部２１３で２フレーム目（Ｗｙｎｅｒ−Ｚｉｖフレーム）の予測画像が生成される（Ｓ３０４）。予測画像生成方法としては、例えば、前後の平均や、動き推定・動き補償を行う方法などがある。
【００７１】
次に、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部２１３において予測画像が、量子化・２値化され、ビットプレーンへ分割される（Ｓ３０５）。このとき、ビットプレーンの長さについては、符号化器と対応するように、フレーム全体や、画面内の領域といった一定の長さとなるようにしておく。
【００７２】
次に、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部２１２へＳｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部２１３で生成されたビットプレーンが入力される（Ｓ３０６）。
【００７３】
次に、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部２１２では、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１１０から送信されたシンドロームビットを用いて、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号（この実施形態においては、ＬＤＰＣ復号を用いる）が行われる（Ｓ３０７）。
【００７４】
そして、上述のステップＳ３０３において、受信した符号化データがシンドロームビットであった場合には、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部２１２での復号結果が、復号画像生成部２１４へ入力される。一方、上述のステップＳ３０３において、受信した符号化データが情報ビットであると判定された場合には、受信した情報ビットが、復号画像生成部２１４へ入力される（Ｓ３０８）。
【００７５】
次に、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部２１０では、１フレームの全てのビットプレーンを処理したか否かが判定され（Ｓ３０９）、全てのビットプレーンの処理が完了した場合には後述するステップＳ３１０の処理に進み、そうでない場合には、上述のステップＳ３０１の処理に戻って動作する。
【００７６】
次に、復号画像生成部２１４では、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部２１２による復号結果のビットプレーン又は情報ビットが、フレーム単位へ再構成され、逆量子化・逆変換することで復号画像が得られる（Ｓ３１０）。
【００７７】
（Ａ−３）実施形態の効果
この実施形態によれば、以下のような効果を奏することができる。
【００７８】
動画像符号化装置１００側では、送信符号量推定部１１３により、シンドロームを間引かずに送信すると判定された場合には、シンドロームビットを送らずに、対応する情報ビットを送ることで、動画像復号装置２００側で、従来のようなマトリクス解法等を行う手段を用意する必要がなくなる。これにより、動画像復号装置２００側の回路規模、プログラム規模が縮小される上、処理量も低減することができる。
【００７９】
（Ｂ）他の実施形態
本発明は、上記の実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
【００８０】
（Ｂ−１）上記の実施形態においては、送信符号量推定部１１３は、決定した誤り訂正符号の量（間引き量のパターン）が、「間引き有り」のパターンの場合には、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１４に間引きしたシンドロームビットの出力を指示し、「間引き無し」のパターンの場合には、情報ビット格納部１１５に情報ビットの出力を指示しているが、その他の基準を適用するようにしても良い。
【００８１】
例えば、間引きの有無ではなく、間引き量に対する閾値を設けて、その閾値との比較結果に応じて、シンドロームビット又は情報ビットの出力のいずれかを選択するようにしても良い。例えば、閾値を４５／４８に設定した場合には、送信符号量推定部１１３が決定した間引き量が１／４８〜４４／４８のいずれかのパターンであった場合には、シンドロームビットの出力を選択し、４５／４８〜４８／４８のいずれかのパターンであった場合には、情報ビットの出力を選択するようにしても良い。
【００８２】
（Ｂ−２）上記の実施形態においては、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１１４では、ＬＤＰＣ符号を用いた処理を行っているが、他の符号化方式（例えば、ターボ符号）を適用するようにしても良い。
【００８３】
（Ｂ−３）上記の実施形態においては、情報ビット格納部１１５には、変換量子化部１１１から出力されるＷｙｎｅｒ−Ｚｉｖフレーム（非キーフレーム）の原画像に係るビットプレーンが格納されるものとして説明したが、他の形式の原画像に係るデータを格納するようにしても良い。
【００８４】
例えば、キーフレーム符号化部１２０における符号化形式と同様の形式（例えば、ＭＰＥＧにおけるＩフレームやＪＰＥＧ等の形式）のデータを情報ビット格納部１１５に格納するようにしても良い。その場合は、動画像復号装置２００側でも、復号画像生成部２１４において、情報ビット格納部１１５からのデータを受信した場合には、キーフレーム復号部２２０と同様の処理により復号するようにしても良い。なお、上述の例の場合、別途復号手段を設けずに、キーフレーム復号部２２０をそのまま適用するようにしても良い。
【００８５】
（Ｂ−４）上記の実施形態において、動画像符号化装置１００は、動画像配信装置１０に搭載され、符号化した動画像データを、動画像受信装置２０（動画像復号装置２００）に送信するものとして説明したが、動画像符号化装置１００を単独の装置として構築するようにしても良い。その場合、例えば、動画像符号化装置１００が出力する動画像の符号化データを記録媒体（ＣＤ、ＤＶＤ、ディスク装置等）に記録するようにしても良い。
【００８６】
また、上記の実施形態において、動画像復号装置２００は、動画像受信装置２０に搭載され、符号化した動画像データを、動画像配信装置１０（動画像符号化装置１００）から受信して復号するものとして説明したが、動画像復号装置２００を単独の装置として構築するようにしても良い。その場合例えば、動画像復号装置２００に入力されるデータは、記録媒体（ＣＤ、ＤＶＤ、ディスク装置等）に記録されたデータとしても良い。
【符号の説明】
【００８７】
１…動画像配信システム、１０…動画像配信装置、１００…動画像符号化装置、１１０…Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部、１１１…変換量子化部、１１２…Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部、１１３…送信符号量推定部、１１４…Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部、１１５…情報ビット格納部、１２０…キーフレーム符号化部、２０…動画像受信装置、２００…動画像復号装置、２１０…Ｗｙｎｅｒ−Ｚｉｖフレーム復号部、２２１…切り替え部、２２２…Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部、２２３…Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ生成部、２２４…復号画像生成部、２２０…キーフレーム復号部。
【特許請求の範囲】
【請求項１】
フレーム列を有する動画像信号の上記フレーム列のうちキーフレームを符号化するキーフレーム符号化手段と、
キーフレームを利用して、上記フレーム列のうち非キーフレームの予測画像を生成する予測画像生成手段と、
上記非キーフレームの原画像に係るデータを保持する原画像データ保持手段と、
上記予測画像の誤りやすさに応じて、その誤りを訂正する誤り訂正符号の量を求める送信符号量算出手段と、
上記送信符号量算出手段が求めた誤り訂正符号の量に応じた誤り訂正符号のデータを、生成して保持する誤り訂正符号データ保持手段と、
上記送信符号量算出手段が求めた誤り訂正符号の量に応じて、非キーフレームの符号化データとして、上記訂正符号データ保持手段が保持しているデータ、又は、上記原画像データ保持手段が保持しているデータのいずれかを選択する符号化データ選択手段と、
上記符号化データ選択手段が選択したデータを非キーフレームの符号化データとして出力する符号化データ出力手段と
を有することを特徴とする動画像符号化装置。
【請求項２】
上記符号化データ選択手段は、送信符号量算出手段が保持した誤り訂正符号の量が、上記誤り訂正符号データ保持手段が生成し得る誤り訂正符号の上限であった場合には、上記原画像データ保持手段が保持しているデータを選択し、送信符号量算出手段が保持した誤り訂正符号の量が、上記誤り訂正符号データ保持手段が生成し得る誤り訂正符号の上限でない場合には、上記訂正符号データ保持手段が保持しているデータを選択することを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
上記符号化データ選択手段は、送信符号量算出手段が保持した誤り訂正符号の量が、閾値以上であった場合には、上記原画像データ保持手段が保持しているデータを選択し、送信符号量算出手段が保持した誤り訂正符号の量が、上記閾値より少ない量であった場合には、上記訂正符号データ保持手段が保持しているデータを選択することを特徴とする請求項１に記載の動画像符号化装置。
【請求項４】
フレーム単位に符号化された動画像データのうちキーフレームを復号するキーフレーム復号手段と、
復号されたキーフレームを利用して、上記動画像データのうち非キーフレームの予測画像を生成する予測画像生成手段と、
上記動画像データにおいて、非キーフレームの符号化データが、非キーフレームの原画像に対する、上記予測画像の誤りを訂正する誤り訂正符号であった場合には、その誤り訂正符号と上記予測画像とを用いて、非キーフレームを復号する第１の非キーフレーム復号手段と、
上記動画像データにおいて、非キーフレームの符号化データが、非キーフレームの原画像に係るデータであった場合に、その符号化データを復号する第２の非キーフレーム復号手段と
を有することを特徴とする動画像復号装置。
【請求項５】
コンピュータを、
フレーム列を有する動画像信号の上記フレーム列のうちキーフレームを符号化するキーフレーム符号化手段と、
キーフレームを利用して、上記フレーム列のうち非キーフレームの予測画像を生成する予測画像生成手段と、
上記非キーフレームの原画像に係るデータを保持する原画像データ保持手段と、
上記予測画像の誤りやすさに応じて、その誤りを訂正する誤り訂正符号の量を求める送信符号量算出手段と、
上記送信符号量算出手段が求めた誤り訂正符号の量に応じた誤り訂正符号のデータを、生成して保持する誤り訂正符号データ保持手段と、
上記送信符号量算出手段が求めた誤り訂正符号の量に応じて、非キーフレームの符号化データとして、上記訂正符号データ保持手段が保持しているデータ、又は、上記原画像データ保持手段が保持しているデータのいずれかを選択する符号化データ選択手段と、
上記符号化データ選択手段が選択したデータを非キーフレームの符号化データとして出力する符号化データ出力手段と
して機能させることを特徴とする動画像符号化プログラム。
【請求項６】
コンピュータを、
フレーム単位に符号化された動画像データのうちキーフレームを復号するキーフレーム復号手段と、
復号されたキーフレームを利用して、上記動画像データのうち非キーフレームの予測画像を生成する予測画像生成手段と、
上記動画像データにおいて、非キーフレームの符号化データが、非キーフレームの原画像に対する、上記予測画像の誤りを訂正する誤り訂正符号であった場合には、その誤り訂正符号と上記予測画像とを用いて、非キーフレームを復号する第１の非キーフレーム復号手段と
上記動画像データにおいて、非キーフレームの符号化データが、非キーフレームの原画像に係るデータであった場合に、その符号化データを復号する第２の非キーフレーム復号手段と
して機能させることを特徴とする動画像復号プログラム。
【請求項７】
動画像受信装置と、配信用動画像データを上記動画像受信装置に配信する動画像配信装置とを有する動画像配信システムにおいて、
上記動画像配信装置は、フレーム列を有する動画像信号を符号化して配信用動画像データを生成する動画像符号化装置を有し、
上記動画像受信装置は、上記動画像配信装置から与えられた配信用動画像データを復号する動画像復号装置を有し、
上記動画像符号化装置として、請求項１〜３のいずれかに記載の動画像符号化装置を適用し、
上記動画像復号装置として、請求項４に記載の動画像復号装置を適用したことを特徴とする動画像配信システム。
【請求項１】
フレーム列を有する動画像信号の上記フレーム列のうちキーフレームを符号化するキーフレーム符号化手段と、
キーフレームを利用して、上記フレーム列のうち非キーフレームの予測画像を生成する予測画像生成手段と、
上記非キーフレームの原画像に係るデータを保持する原画像データ保持手段と、
上記予測画像の誤りやすさに応じて、その誤りを訂正する誤り訂正符号の量を求める送信符号量算出手段と、
上記送信符号量算出手段が求めた誤り訂正符号の量に応じた誤り訂正符号のデータを、生成して保持する誤り訂正符号データ保持手段と、
上記送信符号量算出手段が求めた誤り訂正符号の量に応じて、非キーフレームの符号化データとして、上記訂正符号データ保持手段が保持しているデータ、又は、上記原画像データ保持手段が保持しているデータのいずれかを選択する符号化データ選択手段と、
上記符号化データ選択手段が選択したデータを非キーフレームの符号化データとして出力する符号化データ出力手段と
を有することを特徴とする動画像符号化装置。
【請求項２】
上記符号化データ選択手段は、送信符号量算出手段が保持した誤り訂正符号の量が、上記誤り訂正符号データ保持手段が生成し得る誤り訂正符号の上限であった場合には、上記原画像データ保持手段が保持しているデータを選択し、送信符号量算出手段が保持した誤り訂正符号の量が、上記誤り訂正符号データ保持手段が生成し得る誤り訂正符号の上限でない場合には、上記訂正符号データ保持手段が保持しているデータを選択することを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
上記符号化データ選択手段は、送信符号量算出手段が保持した誤り訂正符号の量が、閾値以上であった場合には、上記原画像データ保持手段が保持しているデータを選択し、送信符号量算出手段が保持した誤り訂正符号の量が、上記閾値より少ない量であった場合には、上記訂正符号データ保持手段が保持しているデータを選択することを特徴とする請求項１に記載の動画像符号化装置。
【請求項４】
フレーム単位に符号化された動画像データのうちキーフレームを復号するキーフレーム復号手段と、
復号されたキーフレームを利用して、上記動画像データのうち非キーフレームの予測画像を生成する予測画像生成手段と、
上記動画像データにおいて、非キーフレームの符号化データが、非キーフレームの原画像に対する、上記予測画像の誤りを訂正する誤り訂正符号であった場合には、その誤り訂正符号と上記予測画像とを用いて、非キーフレームを復号する第１の非キーフレーム復号手段と、
上記動画像データにおいて、非キーフレームの符号化データが、非キーフレームの原画像に係るデータであった場合に、その符号化データを復号する第２の非キーフレーム復号手段と
を有することを特徴とする動画像復号装置。
【請求項５】
コンピュータを、
フレーム列を有する動画像信号の上記フレーム列のうちキーフレームを符号化するキーフレーム符号化手段と、
キーフレームを利用して、上記フレーム列のうち非キーフレームの予測画像を生成する予測画像生成手段と、
上記非キーフレームの原画像に係るデータを保持する原画像データ保持手段と、
上記予測画像の誤りやすさに応じて、その誤りを訂正する誤り訂正符号の量を求める送信符号量算出手段と、
上記送信符号量算出手段が求めた誤り訂正符号の量に応じた誤り訂正符号のデータを、生成して保持する誤り訂正符号データ保持手段と、
上記送信符号量算出手段が求めた誤り訂正符号の量に応じて、非キーフレームの符号化データとして、上記訂正符号データ保持手段が保持しているデータ、又は、上記原画像データ保持手段が保持しているデータのいずれかを選択する符号化データ選択手段と、
上記符号化データ選択手段が選択したデータを非キーフレームの符号化データとして出力する符号化データ出力手段と
して機能させることを特徴とする動画像符号化プログラム。
【請求項６】
コンピュータを、
フレーム単位に符号化された動画像データのうちキーフレームを復号するキーフレーム復号手段と、
復号されたキーフレームを利用して、上記動画像データのうち非キーフレームの予測画像を生成する予測画像生成手段と、
上記動画像データにおいて、非キーフレームの符号化データが、非キーフレームの原画像に対する、上記予測画像の誤りを訂正する誤り訂正符号であった場合には、その誤り訂正符号と上記予測画像とを用いて、非キーフレームを復号する第１の非キーフレーム復号手段と
上記動画像データにおいて、非キーフレームの符号化データが、非キーフレームの原画像に係るデータであった場合に、その符号化データを復号する第２の非キーフレーム復号手段と
して機能させることを特徴とする動画像復号プログラム。
【請求項７】
動画像受信装置と、配信用動画像データを上記動画像受信装置に配信する動画像配信装置とを有する動画像配信システムにおいて、
上記動画像配信装置は、フレーム列を有する動画像信号を符号化して配信用動画像データを生成する動画像符号化装置を有し、
上記動画像受信装置は、上記動画像配信装置から与えられた配信用動画像データを復号する動画像復号装置を有し、
上記動画像符号化装置として、請求項１〜３のいずれかに記載の動画像符号化装置を適用し、
上記動画像復号装置として、請求項４に記載の動画像復号装置を適用したことを特徴とする動画像配信システム。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１１−７７８７９（Ｐ２０１１−７７８７９Ａ）
【公開日】平成２３年４月１４日（２０１１．４．１４）
【国際特許分類】
【出願番号】特願２００９−２２７８９６（Ｐ２００９−２２７８９６）
【出願日】平成２１年９月３０日（２００９．９．３０）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
【公開日】平成２３年４月１４日（２０１１．４．１４）
【国際特許分類】
【出願日】平成２１年９月３０日（２００９．９．３０）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
[ Back to top ]