メディア符号化伝送装置
【課題】メディアの再生品質を維持しながら、帯域利用効率の低下を防止することができるとともに、回線の帯域に制限がある伝送路を使用する場合でも、伝送誤りの発生を防止することができるようにする。
【解決手段】符号化対象のメディアデータの重要度を判別する重要度判別部１３や、重要度判別部１３により判別された重要度を基準にして、そのメディアデータを圧縮符号化する際の符号化レートＥｒａｔｅを決定する符号化レート決定部１４などを設ける。
【解決手段】符号化対象のメディアデータの重要度を判別する重要度判別部１３や、重要度判別部１３により判別された重要度を基準にして、そのメディアデータを圧縮符号化する際の符号化レートＥｒａｔｅを決定する符号化レート決定部１４などを設ける。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、メディアデータを圧縮符号化して、圧縮符号化後のメディアデータであるメディア符号化データをネットワーク経由でリアルタイムに伝送するメディア符号化伝送装置に関するものである。
【背景技術】
【０００２】
例えば、映像データや音声データなどのメディアデータを圧縮符号化し、圧縮符号化後のメディアデータであるメディア符号化データをネットワーク経由でリアルタイムに伝送するメディア符号化伝送装置が開発されている。
ただし、メディア符号化伝送装置から送出されたメディア符号化データが受信側に到達するまでの間に、ネットワークを構成する様々な中継器や、特性が異なる回線を経由するため、伝送の途中で発生した電気的ノイズなどの影響でメディア符号化データが破損したり、伝送データの輻輳により中継器でメディア符号化データが破棄されたりして、メディア符号化データに伝送誤りが発生することがある。
【０００３】
伝送誤りが発生した場合の対策として、受信側が伝送誤りの発生を検知すると、メディア符号化データの再送を送信側に要求し、送信側から再送されたメディア符号化データを用いて、破損しているメディア符号化データの修復を行う再送処理が一般的に行われている。
ただし、このような再送処理の場合、送信側が受信側から再送要求を受信した時点から、メディア符号化データの再送を開始するため、破損しているメディア符号化データの修復が完了するまでに遅延が発生し、メディア符号化データのリアルタイム伝送には適していない。
【０００４】
破損しているメディア符号化データを遅延なく誤り訂正を行う方式として、受信側において、伝送誤りを訂正することが可能な誤り訂正用データを予めメディア符号化データに付加して送信する前方誤り訂正（Ｆｏｒｗａｒｄ Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ：ＦＥＣ）の方式がある（例えば、非特許文献１を参照）。
前方誤り訂正方式を用いる場合、メディア符号化データを構成しているメディアデータ伝送用パケットを送信する際、そのメディアデータ伝送用パケットの一定間隔毎（例えば、１０パケット毎）に、ＦＥＣパケットを１個挿入して送信する。
ＦＥＣパケットの内容は、ＦＥＣパケットを送信する直前の例えば１０個のメディアデータ伝送用パケットのＸＯＲ（ｅＸｃｌｕｓｉｖｅ ＯＲ：排他的論理和）をとったものである。
【０００５】
受信側では、メディアデータ伝送用パケットに連続的に付けられている番号等を参照することでパケットの欠落を検知すると、欠落していない残りの９個のメディアデータ伝送用パケットとＦＥＣパケットを合わせた合計１０個のパケットのＸＯＲをとることで、欠落しているメディアデータ伝送用パケットを復旧させることができる。
しかし、前方誤り訂正方式を用いる場合、伝送誤りの発生の有無に関わらず、常時、一定量のＦＥＣパケットを伝送する必要があるため、本来のメディア符号化データを伝送するための帯域が減少して、伝送効率が低下してしまうことになる。
【０００６】
そこで、メディアデータの重要度に応じて誤り訂正用データのデータ量を制御することで、帯域利用効率の低下を防止するメディア符号化伝送装置が開発されている（例えば、特許文献１を参照）。
このようなメディア符号化伝送装置では、メディアデータの重要度（例えば、ＭＰＥＧのピクチャタイプ）に応じて、誤り訂正用データのデータ長を変更している。
誤り訂正用データのデータ長が長い程、誤り訂正能力が高くなるため、重要なメディアデータに付加する誤り訂正用データのデータ長を長くし、それ以外のメディアデータに付加する誤り訂正用データのデータ長を短くすることで、メディアの再生品質を維持しながら、帯域利用効率の低下を防止している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−９２２１４号公報（段落番号［００１６］）
【非特許文献】
【０００８】
【非特許文献１】ＩＥＴＦ ＲＦＣ２７３３ “Ａｎ ＲＴＰ Ｐａｙｌｏａｄ Ｆｏｒｍａｔ ｆｏｒ Ｇｅｎｅｒｉｃ Ｆｏｒｗａｒｄ Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ”
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従来のメディア符号化伝送装置は以上のように構成されているので、メディアデータの重要度に応じて、誤り訂正用データのデータ長を制御することで、帯域利用効率の低下を防止している。しかし、メディアデータのデータ量が常時一定量であっても、誤り訂正用データのデータ長がメディアデータの重要度に応じて変化するので、メディアデータと誤り訂正用データを合わせた全体のデータ長が時間毎に変動する。このため、例えば、衛星通信や無線通信のように、回線の帯域に制限がある伝送路を使用する場合、全体のデータ長が長くなって伝送量が増加したときに、回線の帯域の制限を越えてしまって、伝送誤りが発生することがある課題があった。
【００１０】
この発明は上記のような課題を解決するためになされたもので、メディアの再生品質を維持しながら、帯域利用効率の低下を防止することができるとともに、回線の帯域に制限がある伝送路を使用する場合でも、伝送誤りの発生を防止することができるメディア符号化伝送装置を得ることを目的とする。
【課題を解決するための手段】
【００１１】
この発明に係るメディア符号化伝送装置は、符号化対象のメディアデータの重要度を判別する重要度判別手段と、重要度判別手段により判別された重要度を基準にして、そのメディアデータを圧縮符号化する際の符号化レートを決定するとともに、圧縮符号化後のメディアデータに付加する誤り訂正符号の付加レートを決定するレート決定手段と、レート決定手段により決定された符号化レートでメディアデータを圧縮符号化して、圧縮符号化後のメディアデータであるメディア符号化データを出力するメディアデータ符号化手段と、メディアデータ符号化手段から出力されたメディア符号化データに対して、レート決定手段により決定された付加レートで誤り訂正符号を付加し、誤り訂正符号付きのメディア符号化データを出力する誤り訂正符号付加手段と、誤り訂正符号付加手段から出力された誤り訂正符号付きのメディア符号化データをネットワークに送出するデータ送出手段とを設け、データ送出手段から送出された誤り訂正符号付きのメディア符号化データの伝送レートが許容範囲内から逸脱している場合、レート補正手段がレート決定手段に対して符号化レート及び付加レートの補正を指示して、伝送レートを許容範囲内に収めるようにしたものである。
【発明の効果】
【００１２】
この発明によれば、符号化対象のメディアデータの重要度を判別する重要度判別手段と、重要度判別手段により判別された重要度を基準にして、そのメディアデータを圧縮符号化する際の符号化レートを決定するとともに、圧縮符号化後のメディアデータに付加する誤り訂正符号の付加レートを決定するレート決定手段と、レート決定手段により決定された符号化レートでメディアデータを圧縮符号化して、圧縮符号化後のメディアデータであるメディア符号化データを出力するメディアデータ符号化手段と、メディアデータ符号化手段から出力されたメディア符号化データに対して、レート決定手段により決定された付加レートで誤り訂正符号を付加し、誤り訂正符号付きのメディア符号化データを出力する誤り訂正符号付加手段と、誤り訂正符号付加手段から出力された誤り訂正符号付きのメディア符号化データをネットワークに送出するデータ送出手段とを設け、データ送出手段から送出された誤り訂正符号付きのメディア符号化データの伝送レートが許容範囲内から逸脱している場合、レート補正手段がレート決定手段に対して符号化レート及び付加レートの補正を指示して、伝送レートを許容範囲内に収めるように構成したので、メディアの再生品質を維持しながら、帯域利用効率の低下を防止することができるとともに、回線の帯域に制限がある伝送路を使用する場合でも、伝送誤りの発生を防止することができる効果がある。
【図面の簡単な説明】
【００１３】
【図１】この発明の実施の形態１によるメディア符号化伝送装置を示す構成図である。
【図２】この発明の実施の形態１によるメディア符号化伝送装置の処理内容を示すフローチャートである。
【図３】符号化レートＥｒａｔｅで圧縮符号化されたメディアデータ及び付加レートＡｒａｔｅで付加された誤り訂正符号を示す説明図である。
【図４】この発明の実施の形態２によるメディア符号化伝送装置を示す構成図である。
【図５】この発明の実施の形態３によるメディア符号化伝送装置を示す構成図である。
【図６】映像音声多重部２２により多重化された映像符号化データ及び音声符号化データと、映像音声整列部２３により並び替えが行われた映像符号化データ及び音声符号化データと、誤り訂正符号が付加された映像符号化データ及び音声符号化データとを示す説明図である。
【図７】この発明の実施の形態９によるメディア符号化伝送装置を示す構成図である。
【発明を実施するための形態】
【００１４】
実施の形態１．
図１はこの発明の実施の形態１によるメディア符号化伝送装置を示す構成図である。
図１において、メディア符号化伝送装置１はメディアソース２から例えば映像データや音声データなどのメディアデータを入力し、そのメディアデータを圧縮符号化して、圧縮符号化後のメディアデータであるメディア符号化データをネットワーク３に送出する装置である。
メディアソース２は例えば映像データや音声データなどのメディアデータを出力することが可能な装置であり、例えば、ビデオカメラやＶＴＲなどが該当する。
ネットワーク３は例えば無線ＬＡＮや衛星通信回線などが該当する。
【００１５】
メディア圧縮符号化処理部１１は特徴量抽出処理部１２及び符号化処理部１６から構成されており、メディアソース２からメディアデータを入力すると、そのメディアデータの特徴量を抽出して、その特徴量を重要度判別部１３に出力するとともに、そのメディアデータを圧縮符号化して、圧縮符号化後のメディアデータであるメディア符号化データを誤り訂正符号付加部１７に出力する処理を実施する。
【００１６】
特徴量抽出処理部１２はメディアソース２から符号化対象のメディアデータを入力するインタフェース（例えば、ビデオ入力端子や音声入力端子）を備えており、入力した符号化対象のメディアデータの特徴量（例えば、動きベクトル、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）係数、音声データの有無など）を抽出して、その特徴量を重要度判別部１３及び符号化処理部１６に出力するとともに、そのメディアデータを符号化処理部１６に出力する処理を実施する。
重要度判別部１３は特徴量抽出処理部１２から出力された特徴量を参照して、符号化対象のメディアデータの重要度を判別する処理を実施する。
なお、特徴量抽出処理部１２及び重要度判別部１３から重要度判別手段が構成されている。
【００１７】
符号化レート決定部１４は重要度判別部１３により判別された重要度を基準にして、特徴量抽出処理部１２により入力されたメディアデータを圧縮符号化する際の符号化レートを決定する処理を実施する。
誤り訂正符号付加レート決定部１５は重要度判別部１３により判別された重要度を基準にして、符号化処理部１６により圧縮符号化されたメディアデータに付加する誤り訂正符号の付加レートを決定する処理を実施する。
なお、符号化レート決定部１４及び誤り訂正符号付加レート決定部１５からレート決定手段が構成されている。
【００１８】
符号化処理部１６は符号化レート決定部１４により決定された符号化レートで、特徴量抽出処理部１２から出力された特徴量に応じてメディアデータを圧縮符号化し、圧縮符号化後のメディアデータであるメディア符号化データを出力する処理を実施する。なお、符号化処理部１６はメディアデータ符号化手段を構成している。
誤り訂正符号付加部１７は符号化処理部１６から出力されたメディア符号化データに対して、誤り訂正符号付加レート決定部１５により決定された付加レートで誤り訂正符号を付加し、誤り訂正符号付きのメディア符号化データを出力する処理を実施する。なお、誤り訂正符号付加部１７は誤り訂正符号付加手段を構成している。
【００１９】
データ送出部１８はネットワーク３に対するインタフェース（例えば、無線ＬＡＮアダプタ、無線通信機器など）を備えており、誤り訂正符号付加部１７から出力された誤り訂正符号付きのメディア符号化データをネットワーク３に送出する処理を実施する。なお、データ送出部１８はデータ送出手段を構成している。
伝送レート補正部１９はデータ送出部１８から送出された誤り訂正符号付きのメディア符号化データの伝送レートが予め設定されている許容範囲内から逸脱している場合、符号化レート決定部１４及び誤り訂正符号付加レート決定部１５に対して、符号化レート及び付加レートの補正を指示して、その伝送レートを許容範囲内に収める処理を実施する。なお、伝送レート補正部１９はレート補正手段を構成している。
【００２０】
図１の例では、メディア符号化伝送装置の構成要素である特徴量抽出処理部１２、重要度判別部１３、符号化レート決定部１４、誤り訂正符号付加レート決定部１５、符号化処理部１６、誤り訂正符号付加部１７、データ送出部１８及び伝送レート補正部１９のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、メディア符号化伝送装置がコンピュータで構成される場合、特徴量抽出処理部１２、重要度判別部１３、符号化レート決定部１４、誤り訂正符号付加レート決定部１５、符号化処理部１６、誤り訂正符号付加部１７、データ送出部１８及び伝送レート補正部１９の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１によるメディア符号化伝送装置の処理内容を示すフローチャートである。
【００２１】
次に動作について説明する。
メディア圧縮符号化処理部１１の特徴量抽出処理部１２は、メディアソース２から符号化対象のメディアデータ（映像データ、音声データ）を入力すると（ステップＳＴ１）、そのメディアデータの特徴量を抽出する（ステップＳＴ２）。
メディアデータの特徴量としては、例えば、メディアデータのピクチャタイプ、映像データが圧縮符号化される際に用いられる動きベクトル、映像データが圧縮符号化される際に算出されるＤＣＴ係数、メディアデータにおける音声データの有無などが考えられる。
【００２２】
特徴量を抽出する具体的な手順として、例えば、「ＩＳＯ／ＩＥＣ ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−１／２／４」や、「ＩＴＵ−Ｔ勧告 Ｈ．２６１／２６２／２６３／２６４」に規定されている圧縮符号化技術を利用すればよいので、ここでは詳細な説明を省略する。
特徴量抽出処理部１２は、メディアデータの特徴量を抽出すると、その特徴量を重要度判別部１３及び符号化処理部１６に出力するとともに、そのメディアデータを符号化処理部１６に出力する。
【００２３】
重要度判別部１３は、特徴量抽出処理部１２からメディアデータの特徴量を受けると、その特徴量を参照して、符号化対象のメディアデータの重要度を判別する（ステップＳＴ３）。
メディアデータの重要度は、特徴量に基づいて判別するが（重要度の具体的な判別処理は、実施の形態４〜８で説明する）、メディアデータの重要度は、「符号化対象のメディアデータの欠落が、メディア再生の品質に及ぼす影響の度合い」を示す指標であり、影響度が大きい程、重要度が高い。
【００２４】
符号化レート決定部１４は、重要度判別部１３がメディアデータの重要度を判別すると、その重要度を基準にして、特徴量抽出処理部１２により入力されたメディアデータを圧縮符号化する際の符号化レートＥｒａｔｅを決定し、その符号化レートＥｒａｔｅを符号化処理部１６に出力する（ステップＳＴ４）。
符号化レートＥｒａｔｅの具体的な決定処理は後述する。
【００２５】
符号化処理部１６は、符号化レート決定部１４から符号化レートＥｒａｔｅを受けると、その符号化レートＥｒａｔｅで、特徴量抽出処理部１２から出力された特徴量に応じてメディアデータを圧縮符号化し、圧縮符号化後のメディアデータであるメディア符号化データを誤り訂正符号付加部１７に出力する（ステップＳＴ５）。
メディアデータを圧縮符号化する具体的な手順として、例えば、「ＩＳＯ／ＩＥＣ ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−１／２／４」や、「ＩＴＵ−Ｔ勧告 Ｈ．２６１／２６２／２６３／２６４」に規定されている圧縮符号化技術を利用すればよいので、ここでは詳細な説明を省略する。
【００２６】
誤り訂正符号付加レート決定部１５は、重要度判別部１３がメディアデータの重要度を判別すると、その重要度を基準にして、符号化処理部１６により圧縮符号化されたメディアデータに付加する誤り訂正符号の付加レートＡｒａｔｅを決定し、誤り訂正符号の付加レートＡｒａｔｅを誤り訂正符号付加部１７に出力する（ステップＳＴ６）。
付加レートＡｒａｔｅの具体的な決定処理は後述する。
【００２７】
誤り訂正符号付加部１７は、符号化処理部１６からメディア符号化データを受けると、そのメディア符号化データが伝送中に破損した場合に、受信側が破損したメディア符号化データを復旧させる際に利用する誤り訂正符号を生成する。
即ち、誤り訂正符号付加部１７は、符号化処理部１６から出力された付加レートＡｒａｔｅに対応するデータ長の誤り訂正符号を生成し、その誤り訂正符号をメディア符号化データに付加する（ステップＳＴ７）。
誤り訂正符号を付加する具体的な手順については、例えば、リードソロモン符号の手順や、「ＩＥＴＦ ＲＦＣ２７３３ “Ａｎ ＲＴＰ Ｐａｙｌｏａｄ Ｆｏｒｍａｔ ｆｏｒ Ｇｅｎｅｒｉｃ Ｆｏｒｗａｒｄ Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ”」に規定されているＦＥＣパケット挿入の手順を利用すればよいので、ここでは詳細な説明を省略する。
【００２８】
ここで、図３は符号化レートＥｒａｔｅで圧縮符号化されたメディアデータ及び付加レートＡｒａｔｅで付加された誤り訂正符号を示す説明図である。
以下、図３を参照して、重要度判別部１３により判別された重要度に応じて、符号化レートＥｒａｔｅ及び付加レートＡｒａｔｅを決定する処理内容を具体的に説明する。
図３において、縦軸は誤り訂正符号付きのメディア符号化データ（メディア符号化データ＋誤り訂正符号）の伝送レートを表している。
横軸は誤り訂正符号付きのメディア符号化データの伝送時間を表しており、面積は伝送可能なメディア符号化データ及び誤り訂正符号の情報量を表している。
【００２９】
また、図３の例では、メディアデータの重要度が「高／中／低」の３段階の場合を示している。
図３の上側の図は、メディアデータの重要度が考慮されていない場合の誤り訂正符号とメディア符号化データの配分であり、メディアデータの重要度と関係なく、常に、誤り訂正符号とメディア符号化データのレート配分が一定である。
図３の下側の図は、メディアデータの重要度が考慮されている場合の誤り訂正符号とメディア符号化データの配分である。
【００３０】
重要度が高いメディアデータは、伝送誤りによって欠落すると、メディアの再生品質に与える影響が大きいので、仮に欠落しても受信側で正確に訂正できるように誤り訂正能力を上げる必要がある。
そこで、誤り訂正符号付加部１７は、メディアデータの重要度が高い場合、重要度が低い場合よりも、誤り訂正符号の付加レートＡｒａｔｅを増やしている（図３の下側の図を参照）。
しかし、全体の伝送レートを一定に維持するには、誤り訂正符号の付加レートＡｒａｔｅの増加に伴ってメディアデータの符号化レートＥｒａｔｅを減少させる必要があるので、符号化レート決定部１４がメディアデータの符号化レートＥｒａｔｅを下げている。
【００３１】
ただし、誤り訂正符号の付加レートＡｒａｔｅを増す前後で、同等の情報量を伝送可能にするため、全体の伝送時間のうち、重要度が高いメディアデータの符号化データに割り当てる伝送時間を長くして、伝送可能な情報量を確保している。
重要度が高いメディアデータの符号化データに割り当てる伝送時間を長くした分、重要度が「中／低」のメディアデータの符号化データに割り当てる伝送時間を短くすることで、全体の伝送時間を維持している。
なお、伝送時間の短縮によって、重要度が「中／低」のメディアデータの伝送可能な情報量が不足する場合には、重要度が低いメディアデータの符号化データに付加する誤り訂正符号の付加レートＡｒａｔｅを減少させて情報量を確保するようにする。
【００３２】
データ送出部１８は、誤り訂正符号付加部１７から誤り訂正符号付きのメディア符号化データを受けると、誤り訂正符号付きのメディア符号化データをネットワーク３に送出する（ステップＳＴ８）。
上述したように、符号化レートＥｒａｔｅ及び付加レートＡｒａｔｅがメディアデータの重要度に応じて決定されているので、データ送出部１８から送出される誤り訂正符号付きのメディア符号化データの伝送レートは一定に制御される。
しかし、実際には、メディアデータの内容等によって伝送レートに誤差が生じることがある。
【００３３】
そこで、伝送レート補正部１９は、データ送出部１８から送出された誤り訂正符号付きのメディア符号化データの伝送レートを監視し、その伝送レートが予め設定されている許容範囲内から逸脱していれば（ステップＳＴ９）、符号化レート決定部１４及び誤り訂正符号付加レート決定部１５に対して、符号化レートＥｒａｔｅ及び付加レートＡｒａｔｅの補正を指示して、その伝送レートを許容範囲内に収めるようにする（ステップＳＴ１０）。
具体的には、以下の通りである。
【００３４】
伝送レート補正部１９は、データ送出部１８から送出された誤り訂正符号付きのメディア符号化データの伝送レートを監視して、そのメディア符号化データの全体の伝送レートと、そのメディア符号化データの重要度別の伝送レートを分析する。
伝送レート補正部１９は、そのメディア符号化データの全体の伝送レートが許容範囲を超えて変動している場合、変動が特定の重要度に係る誤り訂正符号付きのメディア符号化データ（例えば、重要度が高いメディアデータが圧縮符号化されている符号化データ及び誤り訂正符号）にのみ発生しているのか、特定の重要度に関わらず全体的に変動している（全ての重要度に係る誤り訂正符号付きのメディア符号化データに変動が発生している）のかを確認する。
【００３５】
伝送レート補正部１９は、変動が特定の重要度に係る誤り訂正符号付きのメディア符号化データにのみ発生している場合、該当する重要度に対応する符号化レートＥｒａｔｅの補正指示を符号化レート決定部１４に出力し、また、該当する重要度に対応する付加レートＡｒａｔｅの補正を誤り訂正符号付加レート決定部１５に出力する。
これにより、符号化レート決定部１４が該当する重要度に対応する符号化レートＥｒａｔｅを下げる補正を実施し、誤り訂正符号付加レート決定部１５が該当する重要度に対応する付加レートＡｒａｔｅを下げる補正を実施する。
【００３６】
伝送レート補正部１９は、特定の重要度に関わらず全体的に変動している場合、全ての重要度に対応する符号化レートＥｒａｔｅの補正指示を符号化レート決定部１４に出力し、また、全ての重要度に対応する付加レートＡｒａｔｅの補正指示を誤り訂正符号付加レート決定部１５に出力する。
これにより、符号化レート決定部１４が全ての重要度に対応する符号化レートＥｒａｔｅを下げる補正を実施し、誤り訂正符号付加レート決定部１５が全ての重要度に対応する付加レートＡｒａｔｅを下げる補正を実施する。
【００３７】
以上で明らかなように、この実施の形態１によれば、符号化対象のメディアデータの重要度を判別する重要度判別部１３と、重要度判別部１３により判別された重要度を基準にして、そのメディアデータを圧縮符号化する際の符号化レートＥｒａｔｅを決定する符号化レート決定部１４と、重要度判別部１３により判別された重要度を基準にして、圧縮符号化後のメディアデータに付加する誤り訂正符号の付加レートＡｒａｔｅを決定する誤り訂正符号付加レート決定部１５と、符号化レート決定部１４により決定された符号化レートＥｒａｔｅでメディアデータを圧縮符号化して、圧縮符号化後のメディアデータであるメディア符号化データを出力する符号化処理部１６と、符号化処理部１６から出力されたメディア符号化データに対して、誤り訂正符号付加レート決定部１５により決定された付加レートＡｒａｔｅで誤り訂正符号を付加し、誤り訂正符号付きのメディア符号化データを出力する誤り訂正符号付加部１７とを設け、データ送出部１８が誤り訂正符号付加部１７から出力された誤り訂正符号付きのメディア符号化データをネットワーク３に送出するように構成したので、メディアの再生品質を維持しながら、帯域利用効率の低下を防止することができる効果を奏する。
【００３８】
また、データ送出部１８から送出された誤り訂正符号付きのメディア符号化データの伝送レートが許容範囲内から逸脱している場合、伝送レート補正部１９が符号化レート決定部１４及び誤り訂正符号付加レート決定部１５に対して、符号化レートＥｒａｔｅ及び付加レートＡｒａｔｅの補正を指示して、伝送レートを許容範囲内に収めるように構成したので、回線の帯域に制限がある伝送路を使用する場合でも、伝送誤りの発生を防止することができる効果を奏する。
【００３９】
実施の形態２．
図４はこの発明の実施の形態２によるメディア符号化伝送装置を示す構成図であり、図において、図１と同一符号は同一又は相当部分を示すので説明を省略する。
映像圧縮符号化処理部１１ａは映像特徴量抽出処理部１２ａ及び映像符号化処理部１６ａから構成されており、メディアソース２からメディアデータである映像データを入力すると、その映像データの特徴量を抽出して、その特徴量を映像重要度判別部１３ａに出力するとともに、その映像データを圧縮符号化して、圧縮符号化後の映像データである映像符号化データを映像誤り訂正符号付加部１７ａに出力する処理を実施する。
音声圧縮符号化処理部１１ｂは音声特徴量抽出処理部１２ｂ及び音声符号化処理部１６ｂから構成されており、メディアソース２からメディアデータである音声データを入力すると、その音声データの特徴量を抽出して、その特徴量を音声重要度判別部１３ｂに出力するとともに、その音声データを圧縮符号化して、圧縮符号化後の音声データである音声符号化データを音声誤り訂正符号付加部１７ｂに出力する処理を実施する。
【００４０】
映像特徴量抽出処理部１２ａはメディアソース２から符号化対象の映像データを入力するインタフェース（例えば、ビデオ入力端子）を備えており、入力した符号化対象の映像データの特徴量（例えば、動きベクトル、ＤＣＴ係数など）を抽出して、その特徴量を映像重要度判別部１３ａ及び映像符号化処理部１６ａに出力するとともに、その映像データを映像符号化処理部１６ａに出力する処理を実施する。
音声特徴量抽出処理部１２ｂはメディアソース２から符号化対象の音声データを入力するインタフェース（例えば、音声入力端子）を備えており、入力した符号化対象の音声データの特徴量を抽出して、その特徴量を音声重要度判別部１３ｂ及び音声符号化処理部１６ｂに出力するとともに、その音声データを音声符号化処理部１６ｂに出力する処理を実施する。
【００４１】
映像重要度判別部１３ａは映像特徴量抽出処理部１２ａから出力された特徴量を参照して、符号化対象の映像データの重要度を判別する処理を実施する。
音声重要度判別部１３ｂは音声特徴量抽出処理部１２ｂから出力された特徴量を参照して、符号化対象の音声データの重要度を判別する処理を実施する。
なお、映像特徴量抽出処理部１２ａ、音声特徴量抽出処理部１２ｂ、映像重要度判別部１３ａ及び音声重要度判別部１３ｂから重要度判別手段が構成されている。
【００４２】
映像符号化レート決定部１４ａは映像重要度判別部１３ａにより判別された重要度を基準にして、映像特徴量抽出処理部１２ａにより入力された映像データを圧縮符号化する際の符号化レートを決定する処理を実施する。
音声符号化レート決定部１４ｂは音声重要度判別部１３ｂにより判別された重要度を基準にして、音声特徴量抽出処理部１２ｂにより入力された音声データを圧縮符号化する際の符号化レートを決定する処理を実施する。
【００４３】
映像誤り訂正符号付加レート決定部１５ａは映像重要度判別部１３ａにより判別された重要度を基準にして、映像符号化処理部１６ａにより圧縮符号化された映像データに付加する誤り訂正符号の付加レートを決定する処理を実施する。
音声誤り訂正符号付加レート決定部１５ｂは音声重要度判別部１３ｂにより判別された重要度を基準にして、音声符号化処理部１６ｂにより圧縮符号化された音声データに付加する誤り訂正符号の付加レートを決定する処理を実施する。
なお、映像符号化レート決定部１４ａ、音声符号化レート決定部１４ｂ、映像誤り訂正符号付加レート決定部１５ａ及び音声誤り訂正符号付加レート決定部１５ｂからレート決定手段が構成されている。
【００４４】
映像符号化処理部１６ａは映像符号化レート決定部１４ａにより決定された符号化レートで、映像特徴量抽出処理部１２ａから出力された特徴量に応じて映像データを圧縮符号化し、圧縮符号化後の映像データである映像符号化データを出力する処理を実施する。
音声符号化処理部１６ｂは音声符号化レート決定部１４ｂにより決定された符号化レートで、音声特徴量抽出処理部１２ｂから出力された特徴量に応じて音声データを圧縮符号化し、圧縮符号化後の音声データである音声符号化データを出力する処理を実施する。
なお、映像符号化処理部１６ａ及び音声符号化処理部１６ｂからメディアデータ符号化手段が構成されている。
【００４５】
映像誤り訂正符号付加部１７ａは映像符号化処理部１６ａから出力された映像符号化データに対して、映像誤り訂正符号付加レート決定部１５ａにより決定された付加レートで誤り訂正符号を付加し、誤り訂正符号付きの映像符号化データを出力する処理を実施する。
音声誤り訂正符号付加部１７ｂは音声符号化処理部１６ｂから出力された音声符号化データに対して、音声誤り訂正符号付加レート決定部１５ｂにより決定された付加レートで誤り訂正符号を付加し、誤り訂正符号付きの音声符号化データを出力する処理を実施する。
なお、映像誤り訂正符号付加部１７ａ及び音声誤り訂正符号付加部１７ｂから誤り訂正符号付加手段が構成されている。
【００４６】
データ送出部２０はネットワーク３に対するインタフェース（例えば、無線ＬＡＮアダプタ、無線通信機器など）を備えており、映像誤り訂正符号付加部１７ａから出力された誤り訂正符号付きの映像符号化データ及び音声誤り訂正符号付加部１７ｂから出力された誤り訂正符号付きの音声符号化データをネットワーク３に送出する処理を実施する。なお、データ送出部２０はデータ送出手段を構成している。
伝送レート補正部２１はデータ送出部２０から送出された誤り訂正符号付きのメディア符号化データ（誤り訂正符号付きの映像符号化データ＋誤り訂正符号付きの音声符号化データ）の伝送レートが予め設定されている許容範囲内から逸脱している場合、映像符号化レート決定部１４ａ及び音声符号化レート決定部１４ｂに対して符号化レートの補正を指示するとともに、映像誤り訂正符号付加レート決定部１５ａ及び音声誤り訂正符号付加レート決定部１５ｂに対して付加レートの補正を指示して、その伝送レートを許容範囲内に収める処理を実施する。なお、伝送レート補正部２１はレート補正手段を構成している。
【００４７】
図４の例では、メディア符号化伝送装置の構成要素である映像特徴量抽出処理部１２ａ、音声特徴量抽出処理部１２ｂ、映像重要度判別部１３ａ、音声重要度判別部１３ｂ、映像符号化レート決定部１４ａ、音声符号化レート決定部１４ｂ、映像誤り訂正符号付加レート決定部１５ａ、音声誤り訂正符号付加レート決定部１５ｂ、映像符号化処理部１６ａ、音声符号化処理部１６ｂ、映像誤り訂正符号付加部１７ａ、音声誤り訂正符号付加部１７ｂ、データ送出部２０及び伝送レート補正部２１のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、メディア符号化伝送装置がコンピュータで構成される場合、映像特徴量抽出処理部１２ａ、音声特徴量抽出処理部１２ｂ、映像重要度判別部１３ａ、音声重要度判別部１３ｂ、映像符号化レート決定部１４ａ、音声符号化レート決定部１４ｂ、映像誤り訂正符号付加レート決定部１５ａ、音声誤り訂正符号付加レート決定部１５ｂ、映像符号化処理部１６ａ、音声符号化処理部１６ｂ、映像誤り訂正符号付加部１７ａ、音声誤り訂正符号付加部１７ｂ、データ送出部２０及び伝送レート補正部２１の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
【００４８】
上記実施の形態１では、メディアデータを圧縮符号化して伝送するものについて示したが、通常、メディアデータには、映像データや音声データなど、複数種類のデータが重畳されている場合が多い。
しかし、映像データから見て重要度が高いシーンが、音声データにおいても重要度が高いとは限らない。逆に、音声データから見て重要度が高いシーンが、映像データにおいても重要度が高いとは限らない。
そこで、この実施の形態２では、映像データと音声データの重要度を個別に判別して、映像データに係る符号化レートＩＥｒａｔｅ及び付加レートＩＡｒａｔｅと、音声データに係る符号化レートＶＥｒａｔｅ及び付加レートＶＡｒａｔｅとを別個に決定するようにする。
【００４９】
次に動作について説明する。
映像圧縮符号化処理部１１ａの映像特徴量抽出処理部１２ａは、メディアソース２から符号化対象の映像データを入力すると、図１の特徴量抽出処理部１２と同様に、その映像データの特徴量を抽出する。
映像特徴量抽出処理部１２ａは、映像データの特徴量を抽出すると、その特徴量を映像重要度判別部１３ａ及び映像符号化処理部１６ａに出力するとともに、その映像データを映像符号化処理部１６ａに出力する。
【００５０】
音声圧縮符号化処理部１１ｂの音声特徴量抽出処理部１２ｂは、メディアソース２から符号化対象の音声データを入力すると、図１の特徴量抽出処理部１２と同様に、その音声データの特徴量を抽出する。
音声特徴量抽出処理部１２ｂは、音声データの特徴量を抽出すると、その特徴量を音声重要度判別部１３ｂ及び音声符号化処理部１６ｂに出力するとともに、その音声データを音声符号化処理部１６ｂに出力する。
【００５１】
映像重要度判別部１３ａは、映像特徴量抽出処理部１２ａから映像データの特徴量を受けると、図１の重要度判別部１３と同様に、その特徴量を参照して、符号化対象の映像データの重要度を判別する。
音声重要度判別部１３ｂは、音声特徴量抽出処理部１２ｂから音声データの特徴量を受けると、図１の重要度判別部１３と同様に、その特徴量を参照して、符号化対象の音声データの重要度を判別する。
【００５２】
映像符号化レート決定部１４ａは、映像重要度判別部１３ａが映像データの重要度を判別すると、図１の符号化レート決定部１４と同様に、その重要度を基準にして、映像特徴量抽出処理部１２ａにより入力された映像データを圧縮符号化する際の符号化レートＩＥｒａｔｅを決定し、その符号化レートＩＥｒａｔｅを映像符号化処理部１６ａに出力する。
音声符号化レート決定部１４ｂは、音声重要度判別部１３ｂが音声データの重要度を判別すると、図１の符号化レート決定部１４と同様に、その重要度を基準にして、音声特徴量抽出処理部１２ｂにより入力された音声データを圧縮符号化する際の符号化レートＶＥｒａｔｅを決定し、その符号化レートＶＥｒａｔｅを音声符号化処理部１６ｂに出力する。
【００５３】
映像符号化処理部１６ａは、映像符号化レート決定部１４ａから符号化レートＩＥｒａｔｅを受けると、図１の符号化処理部１６と同様に、その符号化レートＩＥｒａｔｅで、映像特徴量抽出処理部１２ａから出力された特徴量に応じて映像データを圧縮符号化し、圧縮符号化後の映像データである映像符号化データを映像誤り訂正符号付加部１７ａに出力する。
音声符号化処理部１６ｂは、音声符号化レート決定部１４ｂから符号化レートＶＥｒａｔｅを受けると、図１の符号化処理部１６と同様に、その符号化レートＶＥｒａｔｅで、音声特徴量抽出処理部１２ｂから出力された特徴量に応じて音声データを圧縮符号化し、圧縮符号化後の音声データである音声符号化データを音声誤り訂正符号付加部１７ｂに出力する。
【００５４】
映像誤り訂正符号付加レート決定部１５ａは、映像重要度判別部１３ａが映像データの重要度を判別すると、図１の誤り訂正符号付加レート決定部１５と同様に、その重要度を基準にして、映像符号化処理部１６ａにより圧縮符号化された映像データに付加する誤り訂正符号の付加レートＩＡｒａｔｅを決定し、誤り訂正符号の付加レートＩＡｒａｔｅを映像誤り訂正符号付加部１７ａに出力する。
音声誤り訂正符号付加レート決定部１５ｂは、音声重要度判別部１３ｂが音声データの重要度を判別すると、図１の誤り訂正符号付加レート決定部１５と同様に、その重要度を基準にして、音声符号化処理部１６ｂにより圧縮符号化された音声データに付加する誤り訂正符号の付加レートＶＡｒａｔｅを決定し、誤り訂正符号の付加レートＶＡｒａｔｅを音声誤り訂正符号付加部１７ｂに出力する。
【００５５】
映像誤り訂正符号付加部１７ａは、映像符号化処理部１６ａから映像符号化データを受けると、その映像符号化データが伝送中に破損した場合に、受信側が破損した映像符号化データを復旧させる際に利用する誤り訂正符号を生成する。
即ち、映像誤り訂正符号付加部１７ａは、映像符号化処理部１６ａから出力された付加レートＩＡｒａｔｅに対応するデータ長の誤り訂正符号を生成し、その誤り訂正符号を映像符号化データに付加する。
【００５６】
音声誤り訂正符号付加部１７ｂは、音声符号化処理部１６ｂから音声符号化データを受けると、その音声符号化データが伝送中に破損した場合に、受信側が破損した音声符号化データを復旧させる際に利用する誤り訂正符号を生成する。
即ち、音声誤り訂正符号付加部１７ｂは、音声符号化処理部１６ｂから出力された付加レートＶＡｒａｔｅに対応するデータ長の誤り訂正符号を生成し、その誤り訂正符号を音声符号化データに付加する。
【００５７】
データ送出部２０は、映像誤り訂正符号付加部１７ａから誤り訂正符号付きの映像符号化データを受け、音声誤り訂正符号付加部１７ｂから誤り訂正符号付きの音声符号化データを受けると、誤り訂正符号付きのメディア符号化データ（誤り訂正符号付きの映像符号化データ＋誤り訂正符号付きの音声符号化データ）をネットワーク３に送出する。
上述したように、符号化レートＩＥｒａｔｅ，ＶＥｒａｔｅ及び付加レートＩＡｒａｔｅ，ＶＡｒａｔｅが映像データ／音声データの重要度に応じて決定されているので、データ送出部２０から送出される誤り訂正符号付きのメディア符号化データの伝送レートは一定に制御される。
しかし、実際には、メディアデータの内容等によって伝送レートに誤差が生じることがある。
【００５８】
そこで、伝送レート補正部２１は、データ送出部２０から送出された誤り訂正符号付きのメディア符号化データの伝送レートを監視し、その伝送レートが予め設定されている許容範囲内から逸脱していれば、映像符号化レート決定部１４ａ及び音声符号化レート決定部１４ｂに対して符号化レートＩＥｒａｔｅ，ＶＥｒａｔｅの補正を指示するとともに、映像誤り訂正符号付加レート決定部１５ａ及び音声誤り訂正符号付加レート決定部１５ｂに対して付加レートＩＡｒａｔｅ，ＶＡｒａｔｅの補正を指示して、その伝送レートを許容範囲内に収めるようにする。
具体的には、以下の通りである。
【００５９】
伝送レート補正部２１は、データ送出部２０から送出された誤り訂正符号付きのメディア符号化データの伝送レートを監視して、そのメディア符号化データの全体の伝送レートと、そのメディア符号化データの重要度別の伝送レートを分析する。
伝送レート補正部２１は、そのメディア符号化データの全体の伝送レートが許容範囲を超えて変動している場合、変動が特定の重要度に係る誤り訂正符号付きのメディア符号化データ（例えば、重要度が高い映像データ／音声データが圧縮符号化されている符号化データ及び誤り訂正符号）にのみ発生しているのか、特定の重要度に関わらず全体的に変動している（全ての重要度に係る誤り訂正符号付きのメディア符号化データに変動が発生している）のかを確認する。
【００６０】
伝送レート補正部２１は、変動が特定の重要度に係る誤り訂正符号付きの映像符号化データにのみ発生している場合、該当する重要度に対応する符号化レートＩＥｒａｔｅの補正指示を映像符号化レート決定部１４ａに出力し、また、該当する重要度に対応する付加レートＩＡｒａｔｅの補正を映像誤り訂正符号付加レート決定部１５ａに出力する。
これにより、映像符号化レート決定部１４ａが該当する重要度に対応する符号化レートＩＥｒａｔｅを下げる補正を実施し、映像誤り訂正符号付加レート決定部１５ａが該当する重要度に対応する付加レートＩＡｒａｔｅを下げる補正を実施する。
【００６１】
伝送レート補正部２１は、変動が特定の重要度に係る誤り訂正符号付きの音声符号化データにのみ発生している場合、該当する重要度に対応する符号化レートＶＥｒａｔｅの補正指示を音声符号化レート決定部１４ｂに出力し、また、該当する重要度に対応する付加レートＶＡｒａｔｅの補正を音声誤り訂正符号付加レート決定部１５ｂに出力する。
これにより、音声符号化レート決定部１４ｂが該当する重要度に対応する符号化レートＶＥｒａｔｅを下げる補正を実施し、音声誤り訂正符号付加レート決定部１５ｂが該当する重要度に対応する付加レートＶＡｒａｔｅを下げる補正を実施する。
【００６２】
伝送レート補正部２１は、特定の重要度に関わらず全体的に変動している場合、全ての重要度に対応する符号化レートＩＥｒａｔｅ，ＶＥｒａｔｅの補正指示を映像符号化レート決定部１４ａ及び音声符号化レート決定部１４ｂに出力し、また、全ての重要度に対応する付加レートＩＡｒａｔｅ，ＶＡｒａｔｅの補正指示を映像誤り訂正符号付加レート決定部１５ａ及び音声誤り訂正符号付加レート決定部１５ｂに出力する。
これにより、映像符号化レート決定部１４ａ及び音声符号化レート決定部１４ｂが全ての重要度に対応する符号化レートＩＥｒａｔｅ，ＶＥｒａｔｅを下げる補正を実施し、映像誤り訂正符号付加レート決定部１５ａ及び音声誤り訂正符号付加レート決定部１５ｂが全ての重要度に対応する付加レートＩＡｒａｔｅ，ＶＡｒａｔｅを下げる補正を実施する。
【００６３】
以上で明らかなように、この実施の形態２によれば、映像データと音声データの重要度を個別に判別して、映像データに係る符号化レートＩＥｒａｔｅ及び付加レートＩＡｒａｔｅと、音声データに係る符号化レートＶＥｒａｔｅ及び付加レートＶＡｒａｔｅとを別個に決定するように構成したので、同一シーンの映像データと音声データの重要度が異なる場合でも、メディアの再生品質を維持しながら、帯域利用効率の低下を防止することができるとともに、回線の帯域に制限がある伝送路を使用する場合でも、伝送誤りの発生を防止することができる効果を奏する。
【００６４】
実施の形態３．
上記実施の形態２では、映像データと音声データの重要度を個別に判別して、映像データに係る符号化レートＩＥｒａｔｅ及び付加レートＩＡｒａｔｅと、音声データに係る符号化レートＶＥｒａｔｅ及び付加レートＶＡｒａｔｅとを別個に決定するものについて示したが、例えば、ＭＰＥＧシステムなどのように、映像データと音声データを符号化した後、誤り訂正符号を付加する前に、映像符号化データと音声符号化データを多重化する場合、上記実施の形態２を適用することができない。
この実施の形態３では、映像データと音声データを符号化した後、誤り訂正符号を付加する前に、映像符号化データと音声符号化データを多重化する場合でも、適用可能な実施形態を開示する。
【００６５】
図５はこの発明の実施の形態３によるメディア符号化伝送装置を示す構成図であり、図において、図４と同一符号は同一又は相当部分を示すので説明を省略する。
映像音声多重部２２は映像符号化処理部１６ａから出力された映像符号化データと音声符号化処理部１６ｂから出力された音声符号化データを多重化し、メディア符号化データ（映像符号化データ＋音声符号化データ）を映像音声整列部２３に出力する処理を実施する。なお、映像音声多重部２２はデータ多重化手段を構成している。
映像音声整列部２３は映像音声多重部２２から出力されたメディア符号化データ内の映像符号化データと音声符号化データの並び替え処理を実施する。なお、映像音声整列部２３はデータ整列手段を構成している。
【００６６】
映像誤り訂正符号付加部２４ａは映像音声整列部２３により並び替えが行われたメディア符号化データ内の映像符号化データに対して、映像誤り訂正符号付加レート決定部１５ａにより決定された付加レートで誤り訂正符号を付加する処理を実施する。
音声誤り訂正符号付加部２４ｂは映像音声整列部２３により並び替えが行われたメディア符号化データ内の音声符号化データに対して、音声誤り訂正符号付加レート決定部１５ｂにより決定された付加レートで誤り訂正符号を付加する処理を実施する。
なお、映像誤り訂正符号付加部２４ａ及び音声誤り訂正符号付加部２４ｂから誤り訂正符号付加手段が構成されている。
【００６７】
図５の例では、メディア符号化伝送装置の構成要素である映像特徴量抽出処理部１２ａ、音声特徴量抽出処理部１２ｂ、映像重要度判別部１３ａ、音声重要度判別部１３ｂ、映像符号化レート決定部１４ａ、音声符号化レート決定部１４ｂ、映像誤り訂正符号付加レート決定部１５ａ、音声誤り訂正符号付加レート決定部１５ｂ、映像符号化処理部１６ａ、音声符号化処理部１６ｂ、映像音声多重部２２、映像音声整列部２３、映像誤り訂正符号付加部２４ａ、音声誤り訂正符号付加部２４ｂ、データ送出部２０及び伝送レート補正部２１のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、メディア符号化伝送装置がコンピュータで構成される場合、映像特徴量抽出処理部１２ａ、音声特徴量抽出処理部１２ｂ、映像重要度判別部１３ａ、音声重要度判別部１３ｂ、映像符号化レート決定部１４ａ、音声符号化レート決定部１４ｂ、映像誤り訂正符号付加レート決定部１５ａ、音声誤り訂正符号付加レート決定部１５ｂ、映像符号化処理部１６ａ、音声符号化処理部１６ｂ、映像音声多重部２２、映像音声整列部２３、映像誤り訂正符号付加部２４ａ、音声誤り訂正符号付加部２４ｂ、データ送出部２０及び伝送レート補正部２１の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
【００６８】
次に動作について説明する。
映像音声多重部２２は、映像符号化処理部１６ａが映像データを圧縮符号化して映像符号化データを出力し、音声符号化処理部１６ｂが音声データを圧縮符号化して音声符号化データを出力すると、その映像符号化データと音声符号化データを多重化し、メディア符号化データ（映像符号化データ＋音声符号化データ）を映像音声整列部２３に出力する。
ここで、図６は映像音声多重部２２により多重化された映像符号化データ及び音声符号化データと、映像音声整列部２３により並び替えが行われた映像符号化データ及び音声符号化データと、誤り訂正符号が付加された映像符号化データ及び音声符号化データとを示す説明図である。
【００６９】
映像音声整列部２３は、映像音声多重部２２から図６に示すようなメディア符号化データ（映像符号化データ＋音声符号化データ）を受けると、そのメディア符号化データ内の映像符号化データと音声符号化データの並び替え処理を実施する。
具体的には、以下に示すような並び替え処理を実施する。
【００７０】
例えば、映像符号化データに対して、５パケット毎に１つの誤り訂正符号を付加するように指定されている場合、映像符号化データのパケット［１］〜［５］に対して、１つの誤り訂正符号を付加する。
図６の例では、映像符号化データのパケット［１］〜［５］の次に２つの映像符号化データのパケット［６］［７］が入力されているが、５つのパケットが入力される前に、音声符号化データのパケット［８］が入力されているため、映像符号化データの５つのパケットに対して、１つの誤り訂正符号を付加することができない。
そこで、音声符号化データのパケット［８］の次に入力された映像符号化データのパケット［９］〜［１１］を、音声符号化データのパケット［８］の前に入れ替える並び替え処理を行って、映像符号化データの５つのパケット［６］［７］［９］［１０］［１１］に対して、１つの誤り訂正符号を付加することができるようにしている。
【００７１】
ただし、伝送にＭＰＥＧシステムを利用する場合、メディア符号化データの中に、送信側と受信側の時刻を同期させるための信号（ＰＣＲ：Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）が含まれている。
このＰＣＲが含まれているパケットの送信順序を並べ替えると、受信側において、時刻同期がずれてしまうため、並べ替えの対象となるパケットの中にＰＣＲが含まれている場合、受信側での時刻同期がずれないように、ＰＣＲの補正も合わせて行うことで、受信側での時刻同期を守るようにしている。
【００７２】
映像誤り訂正符号付加部２４ａは、映像音声整列部２３がメディア符号化データ内の映像符号化データと音声符号化データの並び替えを行うと、並び替えが行われたメディア符号化データ内の映像符号化データに対して、映像誤り訂正符号付加レート決定部１５ａにより決定された付加レートＩＡｒａｔｅで誤り訂正符号を付加する。
図６では、例えば、映像符号化データのパケット［１］〜［５］に対して、１つの誤り訂正符号を付加し、また、映像符号化データのパケット［６］［７］［９］［１０］［１１］に対して、１つの誤り訂正符号を付加している。
【００７３】
音声誤り訂正符号付加部２４ｂは、映像音声整列部２３がメディア符号化データ内の映像符号化データと音声符号化データの並び替えを行うと、並び替えが行われたメディア符号化データ内の音声符号化データに対して、音声誤り訂正符号付加レート決定部１５ｂにより決定された付加レートＶＡｒａｔｅで誤り訂正符号を付加する。
図６の例では、音声符号化データのパケット［８］に対して、１つの誤り訂正符号を付加している。
データ送出部２０及び伝送レート補正部２１の処理内容は、上記実施の形態２と同様であるため説明を省略する。
【００７４】
以上で明らかなように、この実施の形態３によれば、映像音声整列部２３が映像音声多重部２２から出力されたメディア符号化データ内の映像符号化データと音声符号化データの並び替えを行うように構成したので、ＭＰＥＧシステムなどのように、映像データと音声データを符号化した後、誤り訂正符号を付加する前に、映像符号化データと音声符号化データを多重化する場合でも適用することができる。
【００７５】
実施の形態４．
この実施の形態４では、図１の特徴量抽出部１２（図４及び図５の映像特徴量抽出部１２ａ、音声特徴量抽出部１２ｂを含む）が符号化対象のメディアデータの特徴量として、そのメディアデータがヘッダ部を構成している情報であるのか、データ部を構成している情報であるのかを確認し、図１の重要度判別部１３（図４及び図５の映像重要度判別部１３ａ、音声重要度判別部１３ｂを含む）が、符号化対象のメディアデータがヘッダ部を構成している情報であれば、そのメディアデータの重要度が「高」であると判別し、符号化対象のメディアデータがデータ部を構成している情報であれば、そのメディアデータの重要度が「中」又は「低」であると判別するようにする。
【００７６】
具体的には、以下の通りである。
メディアデータのデータ部には、例えば、映像データや音声データなど、実際に伝送したい情報が格納され、ヘッダ部には、データ部に格納されている情報の種別やデータ構成などが格納される。
ヘッダ部の種類には、例えば、ＭＰＥＧシステムでは、映像の縦横の画素数や、フレームレートなどが格納されているシーケンスヘッダや、シーケンスの先頭からの時間などが格納されたＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）ヘッダなどがある。
ヘッダ部が欠落すると、データ部に格納されている情報の種別や構成が分からなくなり、データ部が正常に受信されても、メディアデータの復号ができなくなってしまうため、ヘッダ部はデータ部よりも重要度が高い。
【００７７】
そこで、特徴量抽出部１２は、符号化対象のメディアデータの特徴量として、そのメディアデータがヘッダ部を構成している情報であるのか、データ部を構成している情報であるのかを確認する。
重要度判別部１３は、符号化対象のメディアデータがヘッダ部を構成している情報であれば、そのメディアデータの重要度が「高」であると判別し、符号化対象のメディアデータがデータ部を構成している情報であれば、そのメディアデータの重要度が「中」又は「低」であると判別する。
【００７８】
以上で明らかなように、この実施の形態４によれば、符号化対象のメディアデータの重要度を判別する際、そのメディアデータがヘッダ部を構成している情報であるのか、データ部を構成している情報であるのかを確認し、そのメディアデータがヘッダ部を構成している情報である場合の重要度を、データ部を構成している情報である場合の重要度より高く設定するように構成したので、ヘッダ部の誤り訂正能力を高めて、復号メディアの品質を高めることができる効果を奏する。
【００７９】
実施の形態５．
この実施の形態５では、符号化対象のメディアデータが映像データである場合、図１の特徴量抽出部１２（図４及び図５の映像特徴量抽出部１２ａを含む）が符号化対象の映像データの特徴量として、その映像データのピクチャタイプを確認し、図１の重要度判別部１３（図４及び図５の映像重要度判別部１３ａを含む）が、そのピクチャタイプを基準にして、その映像データの重要度を判別するようにする。
【００８０】
具体的には、以下の通りである。
例えば、映像データの圧縮符号化にＭＰＥＧ−２を利用する場合、Ｉピクチャが欠落すると、そのＩピクチャを参照するＰピクチャやＢピクチャの復号にも影響を及ぼしてしまうため、Ｉピクチャは、ＰピクチャやＢピクチャよりも重要度が高いデータであるといえる。
また、Ｐピクチャが欠落すると、そのＰピクチャを参照するＢピクチャの復号にも影響を及ぼしてしまうため、Ｐピクチャは、Ｂピクチャよりも重要度が高いデータであるといえる。
【００８１】
そこで、特徴量抽出部１２は、符号化対象の映像データの特徴量として、その映像データのピクチャタイプを確認する。
重要度判別部１３は、特徴量抽出部１２が映像データのピクチャタイプを確認すると、そのピクチャタイプを基準にして、その映像データの重要度を判別する。
例えば、映像データのピクチャタイプがＩピクチャであれば、その映像データの重要度が「高」であると判別し、映像データのピクチャタイプがＰピクチャであれば、その映像データの重要度が「中」であると判別し、映像データのピクチャタイプがＢピクチャであれば、その映像データの重要度が「低」であると判別する。
【００８２】
以上で明らかなように、この実施の形態５によれば、符号化対象のメディアデータが映像データである場合、その映像データのピクチャタイプを確認し、そのピクチャタイプを基準にして、その映像データの重要度を判別するように構成したので、復号映像の画質を高めることができる効果を奏する。
【００８３】
実施の形態６．
この実施の形態６では、符号化対象のメディアデータが映像データである場合、図１の特徴量抽出部１２（図４及び図５の映像特徴量抽出部１２ａを含む）が符号化対象の映像データの特徴量として、その映像データが圧縮符号化される際に用いられる動きベクトルを確認し、図１の重要度判別部１３（図４及び図５の映像重要度判別部１３ａを含む）が、その動きベクトルを基準にして、その映像データの重要度を判別するようにする。
【００８４】
具体的には、以下の通りである。
例えば、ＭＰＥＧなどの映像圧縮符号化方式では、圧縮符号化手法の一つとして、動き補償フレーム間予測が行われる。
動き補償フレーム間予測が行われるとき、大きな移動量（動きベクトル）を持っているピクチャは、参照画像からの変化が大きいことを意味するので、このピクチャが欠落すると、このピクチャを参照するピクチャの復号映像に影響を与えることになる。
このため、大きな動きベクトルを持つピクチャは、大きな動きベクトルを持たないピクチャよりも重要度が高いといえる。
これより、例えば、ピクチャの持つ動きベクトルの大きさの平均値が大きいピクチャの重要度を高くすることによって、ＰピクチャやＢピクチャの中でも、重要度が高いピクチャと重要度が低いピクチャを判定して、より細かく符号化レートや誤り訂正符号の付加レートを制御することができる。
【００８５】
そこで、特徴量抽出部１２は、符号化対象の映像データの特徴量として、その映像データが圧縮符号化される際に用いられる動きベクトルを確認する。動きベクトルを確認するに際して、特徴量抽出部１２が動きベクトルを探索する動きベクトル探索部を実装するようにしてもよいし、図１の符号化処理部１６（図４及び図５の映像符号化処理部１６ａを含む）から圧縮符号化される際に用いられる動きベクトルを取得するようにしてもよい。
重要度判別部１３は、特徴量抽出部１２により確認された動きベクトルを基準にして、映像データの重要度を判別する。
例えば、動きベクトルの大きさの平均値が大きいピクチャ（映像データ）である程、当該ピクチャの重要度を高く設定する。
【００８６】
以上で明らかなように、この実施の形態６によれば、符号化対象のメディアデータが映像データである場合、その映像データが圧縮符号化される際に用いられる動きベクトルを基準にして、その映像データの重要度を判別するように構成したので、符号化レートや付加レートをきめ細かく制御することができるようになり、その結果、復号映像の画質を高めることができる効果を奏する。
【００８７】
なお、この実施の形態６では、動きベクトルの大きさの平均値が大きいピクチャ（映像データ）である程、当該ピクチャの重要度を高く設定するものについて示したが、これに限るものではなく、例えば、ある閾値以上の大きさを持つ動きベクトルの数や、ある方向を向いている動きベクトルの数などに応じて、映像データの重要度を判別するようにしてもよい。
【００８８】
実施の形態７．
この実施の形態７では、符号化対象のメディアデータが映像データである場合、図１の特徴量抽出部１２（図４及び図５の映像特徴量抽出部１２ａを含む）が符号化対象の映像データの特徴量として、その映像データが圧縮符号化される際に算出されるＤＣＴ係数（離散コサイン変換係数）を確認し、図１の重要度判別部１３（図４及び図５の映像重要度判別部１３ａを含む）が、そのＤＣＴ係数を基準にして、その映像データの重要度を判別するようにする。
【００８９】
具体的には、以下の通りである。
例えば、ＭＰＥＧなどの映像圧縮符号化方式では、空間方向の冗長度を削減するために、符号化対象の映像データをＤＣＴ変換して、その変換結果であるＤＣＴ係数を量子化する。
このとき、ＤＣＴ係数のＡＣ成分に大きな値（特に、高周波成分に大きな値）を持つピクチャは、ピクチャ内の画像が複雑であることを意味するので、ＤＣＴ係数の分布を計算し、高周波成分に多くの値を持つピクチャの重要度を高く設定すれば、複雑な画像の誤り訂正能力を強化することができる。
【００９０】
そこで、特徴量抽出部１２は、符号化対象の映像データの特徴量として、その映像データが圧縮符号化される際に算出されるＤＣＴ係数を確認する。ＤＣＴ係数を確認するに際して、特徴量抽出部１２が、例えば、符号化対象の映像データと参照画像の映像データとの差分データをＤＣＴ変換してＤＣＴ係数を算出するＤＣＴ器を実装するようにしてもよいし、図１の符号化処理部１６（図４及び図５の映像符号化処理部１６ａを含む）から圧縮符号化される際に算出されるＤＣＴ係数を取得するようにしてもよい。
重要度判別部１３は、特徴量抽出部１２により確認されたＤＣＴ係数を基準にして、映像データの重要度を判別する。
例えば、ＤＣＴ係数のＡＣ成分に大きな値を有するピクチャ（映像データ）である程、当該ピクチャの重要度を高く設定する。
【００９１】
以上で明らかなように、この実施の形態７によれば、符号化対象のメディアデータが映像データである場合、その映像データの特徴量として、その映像データが圧縮符号化される際に算出されるＤＣＴ係数を確認し、そのＤＣＴ係数を基準にして、その映像データの重要度を判別するように構成したので、符号化レートや付加レートをきめ細かく制御することができるようになり、その結果、復号映像の画質を高めることができる効果を奏する。
【００９２】
実施の形態８．
この実施の形態８では、符号化対象のメディアデータの重要度を判別する際、図１の特徴量抽出部１２が、そのメディアデータが音声データを含んでいるか否かを確認し、図１の重要度判別部１３が、音声データを含んでいる場合のメディアデータの重要度を、音声データを含んでいない場合のメディアデータの重要度より高いものと判別するようにする。
【００９３】
具体的には、以下の通りである。
映像データは音声データと一緒に使用されることが多く、映像データは音声データが重畳されて伝送されることが多い。
音声データは、単位時間当たりのデータ量が映像データと比べて非常に小さいため、映像データであれば、復号映像の一部分の画質が劣化する程度のデータ量の欠落でも、音声データであれば、音声を復号することができないほどの欠落になる可能性がある。
つまり、１つのデータ欠落が復号音声に与える影響は、１つのデータ欠落が復号映像に与える影響より大きい。
このため、音声データを含むメディアデータの重要度を高く判定すれば、音声データの伝送誤り訂正能力を上げて、復号音声の品質を維持することができる。
【００９４】
そこで、特徴量抽出部１２は、符号化対象のメディアデータの特徴量として、そのメディアデータが音声データを含んでいるか否かを確認する。
重要度判別部１３は、符号化対象のメディアデータが音声データを含んでいる場合のメディアデータの重要度を、音声データを含んでいない場合のメディアデータの重要度より高く設定する。
【００９５】
以上で明らかなように、この実施の形態８によれば、符号化対象のメディアデータの重要度を判別する際、そのメディアデータが音声データを含んでいるか否かを確認し、音声データを含んでいる場合のメディアデータの重要度を、音声データを含んでいない場合のメディアデータの重要度より高く設定するように構成したので、音声データの伝送誤り訂正能力を上げて、復号音声の品質を維持することができる効果を奏する。
【００９６】
実施の形態９．
上記実施の形態１〜８では、受信側において、誤り訂正を行うことができるようにするために、誤り訂正符号を付加しているが、誤り訂正符号は冗長なデータであり、伝送誤りが発生していなければ、誤り訂正符号が使用する帯域をメディア符号化データに割り当てた方が、より高画質なメディアデータを伝送することができる。
そのため、伝送状況が良好であれば、誤り訂正符号の付加レートを下げて伝送効率を上げ、伝送状況が劣化していれば、誤り訂正符号の付加レートを上げて誤り訂正能力を上げることが望ましい。
【００９７】
図７はこの発明の実施の形態９によるメディア符号化伝送装置を示す構成図であり、図において、図４と同一符号は同一又は相当部分を示すので説明を省略する。
回線状況取得部２５は例えば受信側装置などのネットワーク３内の他の機器から回線状況（ネットワークの通信状況）を収集する処理を実施する。なお、回線状況取得部２５は通信状況収集手段を構成している。
【００９８】
伝送レート補正部２６は図４の伝送レート補正部２１と同様の処理を実施するほか、回線状況取得部２５により収集された回線状況に応じた符号化レートに決定する指示を映像符号化レート決定部１４ａ及び音声符号化レート決定部１４ｂに行うとともに、その回線状況に応じた付加レートに決定する指示を映像誤り訂正符号付加レート決定部１５ａ及び音声誤り訂正符号付加レート決定部１５ｂに行う処理を実施する。なお、伝送レート補正部２６はレート補正手段を構成している。
図７では、回線状況取得部２５及び伝送レート補正部２６を図４のメディア符号化伝送装置に実装している例を示しているが、回線状況取得部２５及び伝送レート補正部２６を図１又は図５のメディア符号化伝送装置に実装するようにしてもよい。
【００９９】
図７の例では、メディア符号化伝送装置の構成要素である映像特徴量抽出処理部１２ａ、音声特徴量抽出処理部１２ｂ、映像重要度判別部１３ａ、音声重要度判別部１３ｂ、映像符号化レート決定部１４ａ、音声符号化レート決定部１４ｂ、映像誤り訂正符号付加レート決定部１５ａ、音声誤り訂正符号付加レート決定部１５ｂ、映像符号化処理部１６ａ、音声符号化処理部１６ｂ、映像誤り訂正符号付加部１７ａ、音声誤り訂正符号付加部１７ｂ、データ送出部２０、回線状況取得部２５及び伝送レート補正部２６のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、メディア符号化伝送装置がコンピュータで構成される場合、映像特徴量抽出処理部１２ａ、音声特徴量抽出処理部１２ｂ、映像重要度判別部１３ａ、音声重要度判別部１３ｂ、映像符号化レート決定部１４ａ、音声符号化レート決定部１４ｂ、映像誤り訂正符号付加レート決定部１５ａ、音声誤り訂正符号付加レート決定部１５ｂ、映像符号化処理部１６ａ、音声符号化処理部１６ｂ、映像誤り訂正符号付加部１７ａ、音声誤り訂正符号付加部１７ｂ、データ送出部２０、回線状況取得部２５及び伝送レート補正部２６の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
【０１００】
次に動作について説明する。
回線状況取得部２５は、例えば、受信側装置などのネットワーク３内の他の機器から回線状況を収集し、その回線状況を伝送レート補正部２６に通知する。
具体的には、例えば、伝送路がＩＰネットワークである場合、「ＩＥＴＦ ＲＦＣ３５５０ “ＲＴＰ：Ａ Ｔｒａｓｎｐｏｒｔ Ｐｒｏｔｏｃｏｌ ｆｏｒ Ｒｅａｌ−Ｔｉｍｅ Ａｐｐｌｉｃａｔｉｏｎｓ”」に規定されているＲＴＣＰ（Ｒｅａｌ−Ｔｉｍｅ Ｔｒａｎｓｆｅｒ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）を利用することで、回線状況を収集することができる。
即ち、ＲＴＣＰを利用する場合、回線状況取得部２５が、送信側装置であるメディア符号化伝送装置１のレポート（ＳＲ：Ｓｅｎｄｅｒ Ｒｅｐｏｒｔ）に対する受信側装置からのレポート（ＲＲ：Ｒｅｃｅｉｖｅｒ Ｒｅｐｏｒｔ）を受け取ることにより、ネットワーク３の回線状況として、ネットワーク３におけるパケット欠落率、累積欠落パケット数やパケット間隔ジッタなどを収集することができる。
【０１０１】
伝送レート補正部２６は、伝送レートを一定に維持するために、図４の伝送レート補正部２１と同様の処理を実施するが、ネットワーク３の回線状況に応じて、符号化レートと付加レートを制御する。
例えば、伝送レート補正部２６は、回線状況取得部２５から通知されたネットワーク３の回線状況が、パケットの欠落がない旨を示していれば、誤り訂正符号の付加レートＩＡｒａｔｅ，ＶＡｒａｔｅを下げる補正指示を映像誤り訂正符号付加レート決定部１５ａ及び音声誤り訂正符号付加レート決定部１５ｂに出力して、伝送効率が上がるようにする。
一方、回線状況取得部２５から通知されたネットワーク３の回線状況が、パケットの欠落が発生している旨を示していれば、誤り訂正符号の付加レートＩＡｒａｔｅ，ＶＡｒａｔｅを上げる補正指示を映像誤り訂正符号付加レート決定部１５ａ及び音声誤り訂正符号付加レート決定部１５ｂに出力して、誤り訂正能力が上がるようにする。
【０１０２】
以上で明らかなように、この実施の形態９によれば、ネットワーク３の回線状況を収集する回線状況取得部２５を設け、伝送レート補正部２６が、回線状況取得部２５により収集された回線状況に応じた付加レートＩＡｒａｔｅ，ＶＡｒａｔｅに決定する指示を映像誤り訂正符号付加レート決定部１５ａ及び音声誤り訂正符号付加レート決定部１５ｂに行うように構成したので、ネットワーク３の回線状況が良好であれば、伝送効率を上げることができる一方、ネットワーク３の回線状況が劣化していれば、誤り訂正能力を上げることができる効果を奏する。
【０１０３】
実施の形態１０．
上記実施の形態９では、ネットワーク３の回線状況に応じて誤り訂正符号の付加レートＩＡｒａｔｅ，ＶＡｒａｔｅを増減させるものについて示したが、この場合、ネットワーク３の回線状況が悪くなると、全体的に誤り訂正符号の符号量が増えるため、メディア符号化データの符号量が減り、メディアデータの重要度に関係なく、一律にメディア品質が低下することになる。
【０１０４】
そこで、この実施の形態１０では、ネットワーク３の回線状況が劣化している場合、伝送レート補正部２６が、メディアデータの重要度の再判別を映像重要度判別部１３ａ及び音声重要度判別部１３ｂに指示するようにしている。
これにより、映像重要度判別部１３ａは、映像データの重要度を再判別し、音声重要度判別部１３ｂは、音声データの重要度を再判別する。
【０１０５】
この結果、回線状況が劣化している場合、誤り訂正符号の付加レートＩＡｒａｔｅ，ＶＡｒａｔｅを上げた分だけ、重要度が高いメディアデータの伝送時間を更に長く設定して、重要度が低いメディアデータの伝送時間を短くすることで、重要度が高いメディアデータの伝送をより確実に行うことが可能な最適なレート配分を実現することができる。
【符号の説明】
【０１０６】
１ メディア符号化伝送装置、２ メディアソース、３ ネットワーク、１１ メディア圧縮符号化処理部、１１ａ 映像圧縮符号化処理部、１１ｂ 音声圧縮符号化処理部、１２ 特徴量抽出処理部（重要度判別手段）、１２ａ 映像特徴量抽出処理部（重要度判別手段）、１２ｂ 音声特徴量抽出処理部（重要度判別手段）、１３ 重要度判別部（重要度判別手段）、１３ａ 映像重要度判別部（重要度判別手段）、１３ｂ 音声重要度判別部（重要度判別手段）、１４ 符号化レート決定部（レート決定手段）、１４ａ 映像符号化レート決定部（レート決定手段）、１４ｂ 音声符号化レート決定部（レート決定手段）、１５ 誤り訂正符号付加レート決定部（レート決定手段）、１５ａ 映像誤り訂正符号付加レート決定部（レート決定手段）、１５ｂ 音声誤り訂正符号付加レート決定部（レート決定手段）、１６ 符号化処理部（メディアデータ符号化手段）、１６ａ 映像符号化処理部（メディアデータ符号化手段）、１６ｂ 音声符号化処理部（メディアデータ符号化手段）、１７ 誤り訂正符号付加部（誤り訂正符号付加手段）、１７ａ，２４ａ 映像誤り訂正符号付加部（誤り訂正符号付加手段）、１７ｂ，２４ｂ 音声誤り訂正符号付加部（誤り訂正符号付加手段）、１８，２０ データ送出部（データ送出手段）、１９，２１，２６ 伝送レート補正部（レート補正手段）、２２ 映像音声多重部（データ多重化手段）、２３ 映像音声整列部（データ整列手段）、２５ 回線状況取得部（通信状況収集手段）。
【技術分野】
【０００１】
この発明は、メディアデータを圧縮符号化して、圧縮符号化後のメディアデータであるメディア符号化データをネットワーク経由でリアルタイムに伝送するメディア符号化伝送装置に関するものである。
【背景技術】
【０００２】
例えば、映像データや音声データなどのメディアデータを圧縮符号化し、圧縮符号化後のメディアデータであるメディア符号化データをネットワーク経由でリアルタイムに伝送するメディア符号化伝送装置が開発されている。
ただし、メディア符号化伝送装置から送出されたメディア符号化データが受信側に到達するまでの間に、ネットワークを構成する様々な中継器や、特性が異なる回線を経由するため、伝送の途中で発生した電気的ノイズなどの影響でメディア符号化データが破損したり、伝送データの輻輳により中継器でメディア符号化データが破棄されたりして、メディア符号化データに伝送誤りが発生することがある。
【０００３】
伝送誤りが発生した場合の対策として、受信側が伝送誤りの発生を検知すると、メディア符号化データの再送を送信側に要求し、送信側から再送されたメディア符号化データを用いて、破損しているメディア符号化データの修復を行う再送処理が一般的に行われている。
ただし、このような再送処理の場合、送信側が受信側から再送要求を受信した時点から、メディア符号化データの再送を開始するため、破損しているメディア符号化データの修復が完了するまでに遅延が発生し、メディア符号化データのリアルタイム伝送には適していない。
【０００４】
破損しているメディア符号化データを遅延なく誤り訂正を行う方式として、受信側において、伝送誤りを訂正することが可能な誤り訂正用データを予めメディア符号化データに付加して送信する前方誤り訂正（Ｆｏｒｗａｒｄ Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ：ＦＥＣ）の方式がある（例えば、非特許文献１を参照）。
前方誤り訂正方式を用いる場合、メディア符号化データを構成しているメディアデータ伝送用パケットを送信する際、そのメディアデータ伝送用パケットの一定間隔毎（例えば、１０パケット毎）に、ＦＥＣパケットを１個挿入して送信する。
ＦＥＣパケットの内容は、ＦＥＣパケットを送信する直前の例えば１０個のメディアデータ伝送用パケットのＸＯＲ（ｅＸｃｌｕｓｉｖｅ ＯＲ：排他的論理和）をとったものである。
【０００５】
受信側では、メディアデータ伝送用パケットに連続的に付けられている番号等を参照することでパケットの欠落を検知すると、欠落していない残りの９個のメディアデータ伝送用パケットとＦＥＣパケットを合わせた合計１０個のパケットのＸＯＲをとることで、欠落しているメディアデータ伝送用パケットを復旧させることができる。
しかし、前方誤り訂正方式を用いる場合、伝送誤りの発生の有無に関わらず、常時、一定量のＦＥＣパケットを伝送する必要があるため、本来のメディア符号化データを伝送するための帯域が減少して、伝送効率が低下してしまうことになる。
【０００６】
そこで、メディアデータの重要度に応じて誤り訂正用データのデータ量を制御することで、帯域利用効率の低下を防止するメディア符号化伝送装置が開発されている（例えば、特許文献１を参照）。
このようなメディア符号化伝送装置では、メディアデータの重要度（例えば、ＭＰＥＧのピクチャタイプ）に応じて、誤り訂正用データのデータ長を変更している。
誤り訂正用データのデータ長が長い程、誤り訂正能力が高くなるため、重要なメディアデータに付加する誤り訂正用データのデータ長を長くし、それ以外のメディアデータに付加する誤り訂正用データのデータ長を短くすることで、メディアの再生品質を維持しながら、帯域利用効率の低下を防止している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−９２２１４号公報（段落番号［００１６］）
【非特許文献】
【０００８】
【非特許文献１】ＩＥＴＦ ＲＦＣ２７３３ “Ａｎ ＲＴＰ Ｐａｙｌｏａｄ Ｆｏｒｍａｔ ｆｏｒ Ｇｅｎｅｒｉｃ Ｆｏｒｗａｒｄ Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ”
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従来のメディア符号化伝送装置は以上のように構成されているので、メディアデータの重要度に応じて、誤り訂正用データのデータ長を制御することで、帯域利用効率の低下を防止している。しかし、メディアデータのデータ量が常時一定量であっても、誤り訂正用データのデータ長がメディアデータの重要度に応じて変化するので、メディアデータと誤り訂正用データを合わせた全体のデータ長が時間毎に変動する。このため、例えば、衛星通信や無線通信のように、回線の帯域に制限がある伝送路を使用する場合、全体のデータ長が長くなって伝送量が増加したときに、回線の帯域の制限を越えてしまって、伝送誤りが発生することがある課題があった。
【００１０】
この発明は上記のような課題を解決するためになされたもので、メディアの再生品質を維持しながら、帯域利用効率の低下を防止することができるとともに、回線の帯域に制限がある伝送路を使用する場合でも、伝送誤りの発生を防止することができるメディア符号化伝送装置を得ることを目的とする。
【課題を解決するための手段】
【００１１】
この発明に係るメディア符号化伝送装置は、符号化対象のメディアデータの重要度を判別する重要度判別手段と、重要度判別手段により判別された重要度を基準にして、そのメディアデータを圧縮符号化する際の符号化レートを決定するとともに、圧縮符号化後のメディアデータに付加する誤り訂正符号の付加レートを決定するレート決定手段と、レート決定手段により決定された符号化レートでメディアデータを圧縮符号化して、圧縮符号化後のメディアデータであるメディア符号化データを出力するメディアデータ符号化手段と、メディアデータ符号化手段から出力されたメディア符号化データに対して、レート決定手段により決定された付加レートで誤り訂正符号を付加し、誤り訂正符号付きのメディア符号化データを出力する誤り訂正符号付加手段と、誤り訂正符号付加手段から出力された誤り訂正符号付きのメディア符号化データをネットワークに送出するデータ送出手段とを設け、データ送出手段から送出された誤り訂正符号付きのメディア符号化データの伝送レートが許容範囲内から逸脱している場合、レート補正手段がレート決定手段に対して符号化レート及び付加レートの補正を指示して、伝送レートを許容範囲内に収めるようにしたものである。
【発明の効果】
【００１２】
この発明によれば、符号化対象のメディアデータの重要度を判別する重要度判別手段と、重要度判別手段により判別された重要度を基準にして、そのメディアデータを圧縮符号化する際の符号化レートを決定するとともに、圧縮符号化後のメディアデータに付加する誤り訂正符号の付加レートを決定するレート決定手段と、レート決定手段により決定された符号化レートでメディアデータを圧縮符号化して、圧縮符号化後のメディアデータであるメディア符号化データを出力するメディアデータ符号化手段と、メディアデータ符号化手段から出力されたメディア符号化データに対して、レート決定手段により決定された付加レートで誤り訂正符号を付加し、誤り訂正符号付きのメディア符号化データを出力する誤り訂正符号付加手段と、誤り訂正符号付加手段から出力された誤り訂正符号付きのメディア符号化データをネットワークに送出するデータ送出手段とを設け、データ送出手段から送出された誤り訂正符号付きのメディア符号化データの伝送レートが許容範囲内から逸脱している場合、レート補正手段がレート決定手段に対して符号化レート及び付加レートの補正を指示して、伝送レートを許容範囲内に収めるように構成したので、メディアの再生品質を維持しながら、帯域利用効率の低下を防止することができるとともに、回線の帯域に制限がある伝送路を使用する場合でも、伝送誤りの発生を防止することができる効果がある。
【図面の簡単な説明】
【００１３】
【図１】この発明の実施の形態１によるメディア符号化伝送装置を示す構成図である。
【図２】この発明の実施の形態１によるメディア符号化伝送装置の処理内容を示すフローチャートである。
【図３】符号化レートＥｒａｔｅで圧縮符号化されたメディアデータ及び付加レートＡｒａｔｅで付加された誤り訂正符号を示す説明図である。
【図４】この発明の実施の形態２によるメディア符号化伝送装置を示す構成図である。
【図５】この発明の実施の形態３によるメディア符号化伝送装置を示す構成図である。
【図６】映像音声多重部２２により多重化された映像符号化データ及び音声符号化データと、映像音声整列部２３により並び替えが行われた映像符号化データ及び音声符号化データと、誤り訂正符号が付加された映像符号化データ及び音声符号化データとを示す説明図である。
【図７】この発明の実施の形態９によるメディア符号化伝送装置を示す構成図である。
【発明を実施するための形態】
【００１４】
実施の形態１．
図１はこの発明の実施の形態１によるメディア符号化伝送装置を示す構成図である。
図１において、メディア符号化伝送装置１はメディアソース２から例えば映像データや音声データなどのメディアデータを入力し、そのメディアデータを圧縮符号化して、圧縮符号化後のメディアデータであるメディア符号化データをネットワーク３に送出する装置である。
メディアソース２は例えば映像データや音声データなどのメディアデータを出力することが可能な装置であり、例えば、ビデオカメラやＶＴＲなどが該当する。
ネットワーク３は例えば無線ＬＡＮや衛星通信回線などが該当する。
【００１５】
メディア圧縮符号化処理部１１は特徴量抽出処理部１２及び符号化処理部１６から構成されており、メディアソース２からメディアデータを入力すると、そのメディアデータの特徴量を抽出して、その特徴量を重要度判別部１３に出力するとともに、そのメディアデータを圧縮符号化して、圧縮符号化後のメディアデータであるメディア符号化データを誤り訂正符号付加部１７に出力する処理を実施する。
【００１６】
特徴量抽出処理部１２はメディアソース２から符号化対象のメディアデータを入力するインタフェース（例えば、ビデオ入力端子や音声入力端子）を備えており、入力した符号化対象のメディアデータの特徴量（例えば、動きベクトル、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）係数、音声データの有無など）を抽出して、その特徴量を重要度判別部１３及び符号化処理部１６に出力するとともに、そのメディアデータを符号化処理部１６に出力する処理を実施する。
重要度判別部１３は特徴量抽出処理部１２から出力された特徴量を参照して、符号化対象のメディアデータの重要度を判別する処理を実施する。
なお、特徴量抽出処理部１２及び重要度判別部１３から重要度判別手段が構成されている。
【００１７】
符号化レート決定部１４は重要度判別部１３により判別された重要度を基準にして、特徴量抽出処理部１２により入力されたメディアデータを圧縮符号化する際の符号化レートを決定する処理を実施する。
誤り訂正符号付加レート決定部１５は重要度判別部１３により判別された重要度を基準にして、符号化処理部１６により圧縮符号化されたメディアデータに付加する誤り訂正符号の付加レートを決定する処理を実施する。
なお、符号化レート決定部１４及び誤り訂正符号付加レート決定部１５からレート決定手段が構成されている。
【００１８】
符号化処理部１６は符号化レート決定部１４により決定された符号化レートで、特徴量抽出処理部１２から出力された特徴量に応じてメディアデータを圧縮符号化し、圧縮符号化後のメディアデータであるメディア符号化データを出力する処理を実施する。なお、符号化処理部１６はメディアデータ符号化手段を構成している。
誤り訂正符号付加部１７は符号化処理部１６から出力されたメディア符号化データに対して、誤り訂正符号付加レート決定部１５により決定された付加レートで誤り訂正符号を付加し、誤り訂正符号付きのメディア符号化データを出力する処理を実施する。なお、誤り訂正符号付加部１７は誤り訂正符号付加手段を構成している。
【００１９】
データ送出部１８はネットワーク３に対するインタフェース（例えば、無線ＬＡＮアダプタ、無線通信機器など）を備えており、誤り訂正符号付加部１７から出力された誤り訂正符号付きのメディア符号化データをネットワーク３に送出する処理を実施する。なお、データ送出部１８はデータ送出手段を構成している。
伝送レート補正部１９はデータ送出部１８から送出された誤り訂正符号付きのメディア符号化データの伝送レートが予め設定されている許容範囲内から逸脱している場合、符号化レート決定部１４及び誤り訂正符号付加レート決定部１５に対して、符号化レート及び付加レートの補正を指示して、その伝送レートを許容範囲内に収める処理を実施する。なお、伝送レート補正部１９はレート補正手段を構成している。
【００２０】
図１の例では、メディア符号化伝送装置の構成要素である特徴量抽出処理部１２、重要度判別部１３、符号化レート決定部１４、誤り訂正符号付加レート決定部１５、符号化処理部１６、誤り訂正符号付加部１７、データ送出部１８及び伝送レート補正部１９のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、メディア符号化伝送装置がコンピュータで構成される場合、特徴量抽出処理部１２、重要度判別部１３、符号化レート決定部１４、誤り訂正符号付加レート決定部１５、符号化処理部１６、誤り訂正符号付加部１７、データ送出部１８及び伝送レート補正部１９の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１によるメディア符号化伝送装置の処理内容を示すフローチャートである。
【００２１】
次に動作について説明する。
メディア圧縮符号化処理部１１の特徴量抽出処理部１２は、メディアソース２から符号化対象のメディアデータ（映像データ、音声データ）を入力すると（ステップＳＴ１）、そのメディアデータの特徴量を抽出する（ステップＳＴ２）。
メディアデータの特徴量としては、例えば、メディアデータのピクチャタイプ、映像データが圧縮符号化される際に用いられる動きベクトル、映像データが圧縮符号化される際に算出されるＤＣＴ係数、メディアデータにおける音声データの有無などが考えられる。
【００２２】
特徴量を抽出する具体的な手順として、例えば、「ＩＳＯ／ＩＥＣ ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−１／２／４」や、「ＩＴＵ−Ｔ勧告 Ｈ．２６１／２６２／２６３／２６４」に規定されている圧縮符号化技術を利用すればよいので、ここでは詳細な説明を省略する。
特徴量抽出処理部１２は、メディアデータの特徴量を抽出すると、その特徴量を重要度判別部１３及び符号化処理部１６に出力するとともに、そのメディアデータを符号化処理部１６に出力する。
【００２３】
重要度判別部１３は、特徴量抽出処理部１２からメディアデータの特徴量を受けると、その特徴量を参照して、符号化対象のメディアデータの重要度を判別する（ステップＳＴ３）。
メディアデータの重要度は、特徴量に基づいて判別するが（重要度の具体的な判別処理は、実施の形態４〜８で説明する）、メディアデータの重要度は、「符号化対象のメディアデータの欠落が、メディア再生の品質に及ぼす影響の度合い」を示す指標であり、影響度が大きい程、重要度が高い。
【００２４】
符号化レート決定部１４は、重要度判別部１３がメディアデータの重要度を判別すると、その重要度を基準にして、特徴量抽出処理部１２により入力されたメディアデータを圧縮符号化する際の符号化レートＥｒａｔｅを決定し、その符号化レートＥｒａｔｅを符号化処理部１６に出力する（ステップＳＴ４）。
符号化レートＥｒａｔｅの具体的な決定処理は後述する。
【００２５】
符号化処理部１６は、符号化レート決定部１４から符号化レートＥｒａｔｅを受けると、その符号化レートＥｒａｔｅで、特徴量抽出処理部１２から出力された特徴量に応じてメディアデータを圧縮符号化し、圧縮符号化後のメディアデータであるメディア符号化データを誤り訂正符号付加部１７に出力する（ステップＳＴ５）。
メディアデータを圧縮符号化する具体的な手順として、例えば、「ＩＳＯ／ＩＥＣ ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−１／２／４」や、「ＩＴＵ−Ｔ勧告 Ｈ．２６１／２６２／２６３／２６４」に規定されている圧縮符号化技術を利用すればよいので、ここでは詳細な説明を省略する。
【００２６】
誤り訂正符号付加レート決定部１５は、重要度判別部１３がメディアデータの重要度を判別すると、その重要度を基準にして、符号化処理部１６により圧縮符号化されたメディアデータに付加する誤り訂正符号の付加レートＡｒａｔｅを決定し、誤り訂正符号の付加レートＡｒａｔｅを誤り訂正符号付加部１７に出力する（ステップＳＴ６）。
付加レートＡｒａｔｅの具体的な決定処理は後述する。
【００２７】
誤り訂正符号付加部１７は、符号化処理部１６からメディア符号化データを受けると、そのメディア符号化データが伝送中に破損した場合に、受信側が破損したメディア符号化データを復旧させる際に利用する誤り訂正符号を生成する。
即ち、誤り訂正符号付加部１７は、符号化処理部１６から出力された付加レートＡｒａｔｅに対応するデータ長の誤り訂正符号を生成し、その誤り訂正符号をメディア符号化データに付加する（ステップＳＴ７）。
誤り訂正符号を付加する具体的な手順については、例えば、リードソロモン符号の手順や、「ＩＥＴＦ ＲＦＣ２７３３ “Ａｎ ＲＴＰ Ｐａｙｌｏａｄ Ｆｏｒｍａｔ ｆｏｒ Ｇｅｎｅｒｉｃ Ｆｏｒｗａｒｄ Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ”」に規定されているＦＥＣパケット挿入の手順を利用すればよいので、ここでは詳細な説明を省略する。
【００２８】
ここで、図３は符号化レートＥｒａｔｅで圧縮符号化されたメディアデータ及び付加レートＡｒａｔｅで付加された誤り訂正符号を示す説明図である。
以下、図３を参照して、重要度判別部１３により判別された重要度に応じて、符号化レートＥｒａｔｅ及び付加レートＡｒａｔｅを決定する処理内容を具体的に説明する。
図３において、縦軸は誤り訂正符号付きのメディア符号化データ（メディア符号化データ＋誤り訂正符号）の伝送レートを表している。
横軸は誤り訂正符号付きのメディア符号化データの伝送時間を表しており、面積は伝送可能なメディア符号化データ及び誤り訂正符号の情報量を表している。
【００２９】
また、図３の例では、メディアデータの重要度が「高／中／低」の３段階の場合を示している。
図３の上側の図は、メディアデータの重要度が考慮されていない場合の誤り訂正符号とメディア符号化データの配分であり、メディアデータの重要度と関係なく、常に、誤り訂正符号とメディア符号化データのレート配分が一定である。
図３の下側の図は、メディアデータの重要度が考慮されている場合の誤り訂正符号とメディア符号化データの配分である。
【００３０】
重要度が高いメディアデータは、伝送誤りによって欠落すると、メディアの再生品質に与える影響が大きいので、仮に欠落しても受信側で正確に訂正できるように誤り訂正能力を上げる必要がある。
そこで、誤り訂正符号付加部１７は、メディアデータの重要度が高い場合、重要度が低い場合よりも、誤り訂正符号の付加レートＡｒａｔｅを増やしている（図３の下側の図を参照）。
しかし、全体の伝送レートを一定に維持するには、誤り訂正符号の付加レートＡｒａｔｅの増加に伴ってメディアデータの符号化レートＥｒａｔｅを減少させる必要があるので、符号化レート決定部１４がメディアデータの符号化レートＥｒａｔｅを下げている。
【００３１】
ただし、誤り訂正符号の付加レートＡｒａｔｅを増す前後で、同等の情報量を伝送可能にするため、全体の伝送時間のうち、重要度が高いメディアデータの符号化データに割り当てる伝送時間を長くして、伝送可能な情報量を確保している。
重要度が高いメディアデータの符号化データに割り当てる伝送時間を長くした分、重要度が「中／低」のメディアデータの符号化データに割り当てる伝送時間を短くすることで、全体の伝送時間を維持している。
なお、伝送時間の短縮によって、重要度が「中／低」のメディアデータの伝送可能な情報量が不足する場合には、重要度が低いメディアデータの符号化データに付加する誤り訂正符号の付加レートＡｒａｔｅを減少させて情報量を確保するようにする。
【００３２】
データ送出部１８は、誤り訂正符号付加部１７から誤り訂正符号付きのメディア符号化データを受けると、誤り訂正符号付きのメディア符号化データをネットワーク３に送出する（ステップＳＴ８）。
上述したように、符号化レートＥｒａｔｅ及び付加レートＡｒａｔｅがメディアデータの重要度に応じて決定されているので、データ送出部１８から送出される誤り訂正符号付きのメディア符号化データの伝送レートは一定に制御される。
しかし、実際には、メディアデータの内容等によって伝送レートに誤差が生じることがある。
【００３３】
そこで、伝送レート補正部１９は、データ送出部１８から送出された誤り訂正符号付きのメディア符号化データの伝送レートを監視し、その伝送レートが予め設定されている許容範囲内から逸脱していれば（ステップＳＴ９）、符号化レート決定部１４及び誤り訂正符号付加レート決定部１５に対して、符号化レートＥｒａｔｅ及び付加レートＡｒａｔｅの補正を指示して、その伝送レートを許容範囲内に収めるようにする（ステップＳＴ１０）。
具体的には、以下の通りである。
【００３４】
伝送レート補正部１９は、データ送出部１８から送出された誤り訂正符号付きのメディア符号化データの伝送レートを監視して、そのメディア符号化データの全体の伝送レートと、そのメディア符号化データの重要度別の伝送レートを分析する。
伝送レート補正部１９は、そのメディア符号化データの全体の伝送レートが許容範囲を超えて変動している場合、変動が特定の重要度に係る誤り訂正符号付きのメディア符号化データ（例えば、重要度が高いメディアデータが圧縮符号化されている符号化データ及び誤り訂正符号）にのみ発生しているのか、特定の重要度に関わらず全体的に変動している（全ての重要度に係る誤り訂正符号付きのメディア符号化データに変動が発生している）のかを確認する。
【００３５】
伝送レート補正部１９は、変動が特定の重要度に係る誤り訂正符号付きのメディア符号化データにのみ発生している場合、該当する重要度に対応する符号化レートＥｒａｔｅの補正指示を符号化レート決定部１４に出力し、また、該当する重要度に対応する付加レートＡｒａｔｅの補正を誤り訂正符号付加レート決定部１５に出力する。
これにより、符号化レート決定部１４が該当する重要度に対応する符号化レートＥｒａｔｅを下げる補正を実施し、誤り訂正符号付加レート決定部１５が該当する重要度に対応する付加レートＡｒａｔｅを下げる補正を実施する。
【００３６】
伝送レート補正部１９は、特定の重要度に関わらず全体的に変動している場合、全ての重要度に対応する符号化レートＥｒａｔｅの補正指示を符号化レート決定部１４に出力し、また、全ての重要度に対応する付加レートＡｒａｔｅの補正指示を誤り訂正符号付加レート決定部１５に出力する。
これにより、符号化レート決定部１４が全ての重要度に対応する符号化レートＥｒａｔｅを下げる補正を実施し、誤り訂正符号付加レート決定部１５が全ての重要度に対応する付加レートＡｒａｔｅを下げる補正を実施する。
【００３７】
以上で明らかなように、この実施の形態１によれば、符号化対象のメディアデータの重要度を判別する重要度判別部１３と、重要度判別部１３により判別された重要度を基準にして、そのメディアデータを圧縮符号化する際の符号化レートＥｒａｔｅを決定する符号化レート決定部１４と、重要度判別部１３により判別された重要度を基準にして、圧縮符号化後のメディアデータに付加する誤り訂正符号の付加レートＡｒａｔｅを決定する誤り訂正符号付加レート決定部１５と、符号化レート決定部１４により決定された符号化レートＥｒａｔｅでメディアデータを圧縮符号化して、圧縮符号化後のメディアデータであるメディア符号化データを出力する符号化処理部１６と、符号化処理部１６から出力されたメディア符号化データに対して、誤り訂正符号付加レート決定部１５により決定された付加レートＡｒａｔｅで誤り訂正符号を付加し、誤り訂正符号付きのメディア符号化データを出力する誤り訂正符号付加部１７とを設け、データ送出部１８が誤り訂正符号付加部１７から出力された誤り訂正符号付きのメディア符号化データをネットワーク３に送出するように構成したので、メディアの再生品質を維持しながら、帯域利用効率の低下を防止することができる効果を奏する。
【００３８】
また、データ送出部１８から送出された誤り訂正符号付きのメディア符号化データの伝送レートが許容範囲内から逸脱している場合、伝送レート補正部１９が符号化レート決定部１４及び誤り訂正符号付加レート決定部１５に対して、符号化レートＥｒａｔｅ及び付加レートＡｒａｔｅの補正を指示して、伝送レートを許容範囲内に収めるように構成したので、回線の帯域に制限がある伝送路を使用する場合でも、伝送誤りの発生を防止することができる効果を奏する。
【００３９】
実施の形態２．
図４はこの発明の実施の形態２によるメディア符号化伝送装置を示す構成図であり、図において、図１と同一符号は同一又は相当部分を示すので説明を省略する。
映像圧縮符号化処理部１１ａは映像特徴量抽出処理部１２ａ及び映像符号化処理部１６ａから構成されており、メディアソース２からメディアデータである映像データを入力すると、その映像データの特徴量を抽出して、その特徴量を映像重要度判別部１３ａに出力するとともに、その映像データを圧縮符号化して、圧縮符号化後の映像データである映像符号化データを映像誤り訂正符号付加部１７ａに出力する処理を実施する。
音声圧縮符号化処理部１１ｂは音声特徴量抽出処理部１２ｂ及び音声符号化処理部１６ｂから構成されており、メディアソース２からメディアデータである音声データを入力すると、その音声データの特徴量を抽出して、その特徴量を音声重要度判別部１３ｂに出力するとともに、その音声データを圧縮符号化して、圧縮符号化後の音声データである音声符号化データを音声誤り訂正符号付加部１７ｂに出力する処理を実施する。
【００４０】
映像特徴量抽出処理部１２ａはメディアソース２から符号化対象の映像データを入力するインタフェース（例えば、ビデオ入力端子）を備えており、入力した符号化対象の映像データの特徴量（例えば、動きベクトル、ＤＣＴ係数など）を抽出して、その特徴量を映像重要度判別部１３ａ及び映像符号化処理部１６ａに出力するとともに、その映像データを映像符号化処理部１６ａに出力する処理を実施する。
音声特徴量抽出処理部１２ｂはメディアソース２から符号化対象の音声データを入力するインタフェース（例えば、音声入力端子）を備えており、入力した符号化対象の音声データの特徴量を抽出して、その特徴量を音声重要度判別部１３ｂ及び音声符号化処理部１６ｂに出力するとともに、その音声データを音声符号化処理部１６ｂに出力する処理を実施する。
【００４１】
映像重要度判別部１３ａは映像特徴量抽出処理部１２ａから出力された特徴量を参照して、符号化対象の映像データの重要度を判別する処理を実施する。
音声重要度判別部１３ｂは音声特徴量抽出処理部１２ｂから出力された特徴量を参照して、符号化対象の音声データの重要度を判別する処理を実施する。
なお、映像特徴量抽出処理部１２ａ、音声特徴量抽出処理部１２ｂ、映像重要度判別部１３ａ及び音声重要度判別部１３ｂから重要度判別手段が構成されている。
【００４２】
映像符号化レート決定部１４ａは映像重要度判別部１３ａにより判別された重要度を基準にして、映像特徴量抽出処理部１２ａにより入力された映像データを圧縮符号化する際の符号化レートを決定する処理を実施する。
音声符号化レート決定部１４ｂは音声重要度判別部１３ｂにより判別された重要度を基準にして、音声特徴量抽出処理部１２ｂにより入力された音声データを圧縮符号化する際の符号化レートを決定する処理を実施する。
【００４３】
映像誤り訂正符号付加レート決定部１５ａは映像重要度判別部１３ａにより判別された重要度を基準にして、映像符号化処理部１６ａにより圧縮符号化された映像データに付加する誤り訂正符号の付加レートを決定する処理を実施する。
音声誤り訂正符号付加レート決定部１５ｂは音声重要度判別部１３ｂにより判別された重要度を基準にして、音声符号化処理部１６ｂにより圧縮符号化された音声データに付加する誤り訂正符号の付加レートを決定する処理を実施する。
なお、映像符号化レート決定部１４ａ、音声符号化レート決定部１４ｂ、映像誤り訂正符号付加レート決定部１５ａ及び音声誤り訂正符号付加レート決定部１５ｂからレート決定手段が構成されている。
【００４４】
映像符号化処理部１６ａは映像符号化レート決定部１４ａにより決定された符号化レートで、映像特徴量抽出処理部１２ａから出力された特徴量に応じて映像データを圧縮符号化し、圧縮符号化後の映像データである映像符号化データを出力する処理を実施する。
音声符号化処理部１６ｂは音声符号化レート決定部１４ｂにより決定された符号化レートで、音声特徴量抽出処理部１２ｂから出力された特徴量に応じて音声データを圧縮符号化し、圧縮符号化後の音声データである音声符号化データを出力する処理を実施する。
なお、映像符号化処理部１６ａ及び音声符号化処理部１６ｂからメディアデータ符号化手段が構成されている。
【００４５】
映像誤り訂正符号付加部１７ａは映像符号化処理部１６ａから出力された映像符号化データに対して、映像誤り訂正符号付加レート決定部１５ａにより決定された付加レートで誤り訂正符号を付加し、誤り訂正符号付きの映像符号化データを出力する処理を実施する。
音声誤り訂正符号付加部１７ｂは音声符号化処理部１６ｂから出力された音声符号化データに対して、音声誤り訂正符号付加レート決定部１５ｂにより決定された付加レートで誤り訂正符号を付加し、誤り訂正符号付きの音声符号化データを出力する処理を実施する。
なお、映像誤り訂正符号付加部１７ａ及び音声誤り訂正符号付加部１７ｂから誤り訂正符号付加手段が構成されている。
【００４６】
データ送出部２０はネットワーク３に対するインタフェース（例えば、無線ＬＡＮアダプタ、無線通信機器など）を備えており、映像誤り訂正符号付加部１７ａから出力された誤り訂正符号付きの映像符号化データ及び音声誤り訂正符号付加部１７ｂから出力された誤り訂正符号付きの音声符号化データをネットワーク３に送出する処理を実施する。なお、データ送出部２０はデータ送出手段を構成している。
伝送レート補正部２１はデータ送出部２０から送出された誤り訂正符号付きのメディア符号化データ（誤り訂正符号付きの映像符号化データ＋誤り訂正符号付きの音声符号化データ）の伝送レートが予め設定されている許容範囲内から逸脱している場合、映像符号化レート決定部１４ａ及び音声符号化レート決定部１４ｂに対して符号化レートの補正を指示するとともに、映像誤り訂正符号付加レート決定部１５ａ及び音声誤り訂正符号付加レート決定部１５ｂに対して付加レートの補正を指示して、その伝送レートを許容範囲内に収める処理を実施する。なお、伝送レート補正部２１はレート補正手段を構成している。
【００４７】
図４の例では、メディア符号化伝送装置の構成要素である映像特徴量抽出処理部１２ａ、音声特徴量抽出処理部１２ｂ、映像重要度判別部１３ａ、音声重要度判別部１３ｂ、映像符号化レート決定部１４ａ、音声符号化レート決定部１４ｂ、映像誤り訂正符号付加レート決定部１５ａ、音声誤り訂正符号付加レート決定部１５ｂ、映像符号化処理部１６ａ、音声符号化処理部１６ｂ、映像誤り訂正符号付加部１７ａ、音声誤り訂正符号付加部１７ｂ、データ送出部２０及び伝送レート補正部２１のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、メディア符号化伝送装置がコンピュータで構成される場合、映像特徴量抽出処理部１２ａ、音声特徴量抽出処理部１２ｂ、映像重要度判別部１３ａ、音声重要度判別部１３ｂ、映像符号化レート決定部１４ａ、音声符号化レート決定部１４ｂ、映像誤り訂正符号付加レート決定部１５ａ、音声誤り訂正符号付加レート決定部１５ｂ、映像符号化処理部１６ａ、音声符号化処理部１６ｂ、映像誤り訂正符号付加部１７ａ、音声誤り訂正符号付加部１７ｂ、データ送出部２０及び伝送レート補正部２１の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
【００４８】
上記実施の形態１では、メディアデータを圧縮符号化して伝送するものについて示したが、通常、メディアデータには、映像データや音声データなど、複数種類のデータが重畳されている場合が多い。
しかし、映像データから見て重要度が高いシーンが、音声データにおいても重要度が高いとは限らない。逆に、音声データから見て重要度が高いシーンが、映像データにおいても重要度が高いとは限らない。
そこで、この実施の形態２では、映像データと音声データの重要度を個別に判別して、映像データに係る符号化レートＩＥｒａｔｅ及び付加レートＩＡｒａｔｅと、音声データに係る符号化レートＶＥｒａｔｅ及び付加レートＶＡｒａｔｅとを別個に決定するようにする。
【００４９】
次に動作について説明する。
映像圧縮符号化処理部１１ａの映像特徴量抽出処理部１２ａは、メディアソース２から符号化対象の映像データを入力すると、図１の特徴量抽出処理部１２と同様に、その映像データの特徴量を抽出する。
映像特徴量抽出処理部１２ａは、映像データの特徴量を抽出すると、その特徴量を映像重要度判別部１３ａ及び映像符号化処理部１６ａに出力するとともに、その映像データを映像符号化処理部１６ａに出力する。
【００５０】
音声圧縮符号化処理部１１ｂの音声特徴量抽出処理部１２ｂは、メディアソース２から符号化対象の音声データを入力すると、図１の特徴量抽出処理部１２と同様に、その音声データの特徴量を抽出する。
音声特徴量抽出処理部１２ｂは、音声データの特徴量を抽出すると、その特徴量を音声重要度判別部１３ｂ及び音声符号化処理部１６ｂに出力するとともに、その音声データを音声符号化処理部１６ｂに出力する。
【００５１】
映像重要度判別部１３ａは、映像特徴量抽出処理部１２ａから映像データの特徴量を受けると、図１の重要度判別部１３と同様に、その特徴量を参照して、符号化対象の映像データの重要度を判別する。
音声重要度判別部１３ｂは、音声特徴量抽出処理部１２ｂから音声データの特徴量を受けると、図１の重要度判別部１３と同様に、その特徴量を参照して、符号化対象の音声データの重要度を判別する。
【００５２】
映像符号化レート決定部１４ａは、映像重要度判別部１３ａが映像データの重要度を判別すると、図１の符号化レート決定部１４と同様に、その重要度を基準にして、映像特徴量抽出処理部１２ａにより入力された映像データを圧縮符号化する際の符号化レートＩＥｒａｔｅを決定し、その符号化レートＩＥｒａｔｅを映像符号化処理部１６ａに出力する。
音声符号化レート決定部１４ｂは、音声重要度判別部１３ｂが音声データの重要度を判別すると、図１の符号化レート決定部１４と同様に、その重要度を基準にして、音声特徴量抽出処理部１２ｂにより入力された音声データを圧縮符号化する際の符号化レートＶＥｒａｔｅを決定し、その符号化レートＶＥｒａｔｅを音声符号化処理部１６ｂに出力する。
【００５３】
映像符号化処理部１６ａは、映像符号化レート決定部１４ａから符号化レートＩＥｒａｔｅを受けると、図１の符号化処理部１６と同様に、その符号化レートＩＥｒａｔｅで、映像特徴量抽出処理部１２ａから出力された特徴量に応じて映像データを圧縮符号化し、圧縮符号化後の映像データである映像符号化データを映像誤り訂正符号付加部１７ａに出力する。
音声符号化処理部１６ｂは、音声符号化レート決定部１４ｂから符号化レートＶＥｒａｔｅを受けると、図１の符号化処理部１６と同様に、その符号化レートＶＥｒａｔｅで、音声特徴量抽出処理部１２ｂから出力された特徴量に応じて音声データを圧縮符号化し、圧縮符号化後の音声データである音声符号化データを音声誤り訂正符号付加部１７ｂに出力する。
【００５４】
映像誤り訂正符号付加レート決定部１５ａは、映像重要度判別部１３ａが映像データの重要度を判別すると、図１の誤り訂正符号付加レート決定部１５と同様に、その重要度を基準にして、映像符号化処理部１６ａにより圧縮符号化された映像データに付加する誤り訂正符号の付加レートＩＡｒａｔｅを決定し、誤り訂正符号の付加レートＩＡｒａｔｅを映像誤り訂正符号付加部１７ａに出力する。
音声誤り訂正符号付加レート決定部１５ｂは、音声重要度判別部１３ｂが音声データの重要度を判別すると、図１の誤り訂正符号付加レート決定部１５と同様に、その重要度を基準にして、音声符号化処理部１６ｂにより圧縮符号化された音声データに付加する誤り訂正符号の付加レートＶＡｒａｔｅを決定し、誤り訂正符号の付加レートＶＡｒａｔｅを音声誤り訂正符号付加部１７ｂに出力する。
【００５５】
映像誤り訂正符号付加部１７ａは、映像符号化処理部１６ａから映像符号化データを受けると、その映像符号化データが伝送中に破損した場合に、受信側が破損した映像符号化データを復旧させる際に利用する誤り訂正符号を生成する。
即ち、映像誤り訂正符号付加部１７ａは、映像符号化処理部１６ａから出力された付加レートＩＡｒａｔｅに対応するデータ長の誤り訂正符号を生成し、その誤り訂正符号を映像符号化データに付加する。
【００５６】
音声誤り訂正符号付加部１７ｂは、音声符号化処理部１６ｂから音声符号化データを受けると、その音声符号化データが伝送中に破損した場合に、受信側が破損した音声符号化データを復旧させる際に利用する誤り訂正符号を生成する。
即ち、音声誤り訂正符号付加部１７ｂは、音声符号化処理部１６ｂから出力された付加レートＶＡｒａｔｅに対応するデータ長の誤り訂正符号を生成し、その誤り訂正符号を音声符号化データに付加する。
【００５７】
データ送出部２０は、映像誤り訂正符号付加部１７ａから誤り訂正符号付きの映像符号化データを受け、音声誤り訂正符号付加部１７ｂから誤り訂正符号付きの音声符号化データを受けると、誤り訂正符号付きのメディア符号化データ（誤り訂正符号付きの映像符号化データ＋誤り訂正符号付きの音声符号化データ）をネットワーク３に送出する。
上述したように、符号化レートＩＥｒａｔｅ，ＶＥｒａｔｅ及び付加レートＩＡｒａｔｅ，ＶＡｒａｔｅが映像データ／音声データの重要度に応じて決定されているので、データ送出部２０から送出される誤り訂正符号付きのメディア符号化データの伝送レートは一定に制御される。
しかし、実際には、メディアデータの内容等によって伝送レートに誤差が生じることがある。
【００５８】
そこで、伝送レート補正部２１は、データ送出部２０から送出された誤り訂正符号付きのメディア符号化データの伝送レートを監視し、その伝送レートが予め設定されている許容範囲内から逸脱していれば、映像符号化レート決定部１４ａ及び音声符号化レート決定部１４ｂに対して符号化レートＩＥｒａｔｅ，ＶＥｒａｔｅの補正を指示するとともに、映像誤り訂正符号付加レート決定部１５ａ及び音声誤り訂正符号付加レート決定部１５ｂに対して付加レートＩＡｒａｔｅ，ＶＡｒａｔｅの補正を指示して、その伝送レートを許容範囲内に収めるようにする。
具体的には、以下の通りである。
【００５９】
伝送レート補正部２１は、データ送出部２０から送出された誤り訂正符号付きのメディア符号化データの伝送レートを監視して、そのメディア符号化データの全体の伝送レートと、そのメディア符号化データの重要度別の伝送レートを分析する。
伝送レート補正部２１は、そのメディア符号化データの全体の伝送レートが許容範囲を超えて変動している場合、変動が特定の重要度に係る誤り訂正符号付きのメディア符号化データ（例えば、重要度が高い映像データ／音声データが圧縮符号化されている符号化データ及び誤り訂正符号）にのみ発生しているのか、特定の重要度に関わらず全体的に変動している（全ての重要度に係る誤り訂正符号付きのメディア符号化データに変動が発生している）のかを確認する。
【００６０】
伝送レート補正部２１は、変動が特定の重要度に係る誤り訂正符号付きの映像符号化データにのみ発生している場合、該当する重要度に対応する符号化レートＩＥｒａｔｅの補正指示を映像符号化レート決定部１４ａに出力し、また、該当する重要度に対応する付加レートＩＡｒａｔｅの補正を映像誤り訂正符号付加レート決定部１５ａに出力する。
これにより、映像符号化レート決定部１４ａが該当する重要度に対応する符号化レートＩＥｒａｔｅを下げる補正を実施し、映像誤り訂正符号付加レート決定部１５ａが該当する重要度に対応する付加レートＩＡｒａｔｅを下げる補正を実施する。
【００６１】
伝送レート補正部２１は、変動が特定の重要度に係る誤り訂正符号付きの音声符号化データにのみ発生している場合、該当する重要度に対応する符号化レートＶＥｒａｔｅの補正指示を音声符号化レート決定部１４ｂに出力し、また、該当する重要度に対応する付加レートＶＡｒａｔｅの補正を音声誤り訂正符号付加レート決定部１５ｂに出力する。
これにより、音声符号化レート決定部１４ｂが該当する重要度に対応する符号化レートＶＥｒａｔｅを下げる補正を実施し、音声誤り訂正符号付加レート決定部１５ｂが該当する重要度に対応する付加レートＶＡｒａｔｅを下げる補正を実施する。
【００６２】
伝送レート補正部２１は、特定の重要度に関わらず全体的に変動している場合、全ての重要度に対応する符号化レートＩＥｒａｔｅ，ＶＥｒａｔｅの補正指示を映像符号化レート決定部１４ａ及び音声符号化レート決定部１４ｂに出力し、また、全ての重要度に対応する付加レートＩＡｒａｔｅ，ＶＡｒａｔｅの補正指示を映像誤り訂正符号付加レート決定部１５ａ及び音声誤り訂正符号付加レート決定部１５ｂに出力する。
これにより、映像符号化レート決定部１４ａ及び音声符号化レート決定部１４ｂが全ての重要度に対応する符号化レートＩＥｒａｔｅ，ＶＥｒａｔｅを下げる補正を実施し、映像誤り訂正符号付加レート決定部１５ａ及び音声誤り訂正符号付加レート決定部１５ｂが全ての重要度に対応する付加レートＩＡｒａｔｅ，ＶＡｒａｔｅを下げる補正を実施する。
【００６３】
以上で明らかなように、この実施の形態２によれば、映像データと音声データの重要度を個別に判別して、映像データに係る符号化レートＩＥｒａｔｅ及び付加レートＩＡｒａｔｅと、音声データに係る符号化レートＶＥｒａｔｅ及び付加レートＶＡｒａｔｅとを別個に決定するように構成したので、同一シーンの映像データと音声データの重要度が異なる場合でも、メディアの再生品質を維持しながら、帯域利用効率の低下を防止することができるとともに、回線の帯域に制限がある伝送路を使用する場合でも、伝送誤りの発生を防止することができる効果を奏する。
【００６４】
実施の形態３．
上記実施の形態２では、映像データと音声データの重要度を個別に判別して、映像データに係る符号化レートＩＥｒａｔｅ及び付加レートＩＡｒａｔｅと、音声データに係る符号化レートＶＥｒａｔｅ及び付加レートＶＡｒａｔｅとを別個に決定するものについて示したが、例えば、ＭＰＥＧシステムなどのように、映像データと音声データを符号化した後、誤り訂正符号を付加する前に、映像符号化データと音声符号化データを多重化する場合、上記実施の形態２を適用することができない。
この実施の形態３では、映像データと音声データを符号化した後、誤り訂正符号を付加する前に、映像符号化データと音声符号化データを多重化する場合でも、適用可能な実施形態を開示する。
【００６５】
図５はこの発明の実施の形態３によるメディア符号化伝送装置を示す構成図であり、図において、図４と同一符号は同一又は相当部分を示すので説明を省略する。
映像音声多重部２２は映像符号化処理部１６ａから出力された映像符号化データと音声符号化処理部１６ｂから出力された音声符号化データを多重化し、メディア符号化データ（映像符号化データ＋音声符号化データ）を映像音声整列部２３に出力する処理を実施する。なお、映像音声多重部２２はデータ多重化手段を構成している。
映像音声整列部２３は映像音声多重部２２から出力されたメディア符号化データ内の映像符号化データと音声符号化データの並び替え処理を実施する。なお、映像音声整列部２３はデータ整列手段を構成している。
【００６６】
映像誤り訂正符号付加部２４ａは映像音声整列部２３により並び替えが行われたメディア符号化データ内の映像符号化データに対して、映像誤り訂正符号付加レート決定部１５ａにより決定された付加レートで誤り訂正符号を付加する処理を実施する。
音声誤り訂正符号付加部２４ｂは映像音声整列部２３により並び替えが行われたメディア符号化データ内の音声符号化データに対して、音声誤り訂正符号付加レート決定部１５ｂにより決定された付加レートで誤り訂正符号を付加する処理を実施する。
なお、映像誤り訂正符号付加部２４ａ及び音声誤り訂正符号付加部２４ｂから誤り訂正符号付加手段が構成されている。
【００６７】
図５の例では、メディア符号化伝送装置の構成要素である映像特徴量抽出処理部１２ａ、音声特徴量抽出処理部１２ｂ、映像重要度判別部１３ａ、音声重要度判別部１３ｂ、映像符号化レート決定部１４ａ、音声符号化レート決定部１４ｂ、映像誤り訂正符号付加レート決定部１５ａ、音声誤り訂正符号付加レート決定部１５ｂ、映像符号化処理部１６ａ、音声符号化処理部１６ｂ、映像音声多重部２２、映像音声整列部２３、映像誤り訂正符号付加部２４ａ、音声誤り訂正符号付加部２４ｂ、データ送出部２０及び伝送レート補正部２１のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、メディア符号化伝送装置がコンピュータで構成される場合、映像特徴量抽出処理部１２ａ、音声特徴量抽出処理部１２ｂ、映像重要度判別部１３ａ、音声重要度判別部１３ｂ、映像符号化レート決定部１４ａ、音声符号化レート決定部１４ｂ、映像誤り訂正符号付加レート決定部１５ａ、音声誤り訂正符号付加レート決定部１５ｂ、映像符号化処理部１６ａ、音声符号化処理部１６ｂ、映像音声多重部２２、映像音声整列部２３、映像誤り訂正符号付加部２４ａ、音声誤り訂正符号付加部２４ｂ、データ送出部２０及び伝送レート補正部２１の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
【００６８】
次に動作について説明する。
映像音声多重部２２は、映像符号化処理部１６ａが映像データを圧縮符号化して映像符号化データを出力し、音声符号化処理部１６ｂが音声データを圧縮符号化して音声符号化データを出力すると、その映像符号化データと音声符号化データを多重化し、メディア符号化データ（映像符号化データ＋音声符号化データ）を映像音声整列部２３に出力する。
ここで、図６は映像音声多重部２２により多重化された映像符号化データ及び音声符号化データと、映像音声整列部２３により並び替えが行われた映像符号化データ及び音声符号化データと、誤り訂正符号が付加された映像符号化データ及び音声符号化データとを示す説明図である。
【００６９】
映像音声整列部２３は、映像音声多重部２２から図６に示すようなメディア符号化データ（映像符号化データ＋音声符号化データ）を受けると、そのメディア符号化データ内の映像符号化データと音声符号化データの並び替え処理を実施する。
具体的には、以下に示すような並び替え処理を実施する。
【００７０】
例えば、映像符号化データに対して、５パケット毎に１つの誤り訂正符号を付加するように指定されている場合、映像符号化データのパケット［１］〜［５］に対して、１つの誤り訂正符号を付加する。
図６の例では、映像符号化データのパケット［１］〜［５］の次に２つの映像符号化データのパケット［６］［７］が入力されているが、５つのパケットが入力される前に、音声符号化データのパケット［８］が入力されているため、映像符号化データの５つのパケットに対して、１つの誤り訂正符号を付加することができない。
そこで、音声符号化データのパケット［８］の次に入力された映像符号化データのパケット［９］〜［１１］を、音声符号化データのパケット［８］の前に入れ替える並び替え処理を行って、映像符号化データの５つのパケット［６］［７］［９］［１０］［１１］に対して、１つの誤り訂正符号を付加することができるようにしている。
【００７１】
ただし、伝送にＭＰＥＧシステムを利用する場合、メディア符号化データの中に、送信側と受信側の時刻を同期させるための信号（ＰＣＲ：Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）が含まれている。
このＰＣＲが含まれているパケットの送信順序を並べ替えると、受信側において、時刻同期がずれてしまうため、並べ替えの対象となるパケットの中にＰＣＲが含まれている場合、受信側での時刻同期がずれないように、ＰＣＲの補正も合わせて行うことで、受信側での時刻同期を守るようにしている。
【００７２】
映像誤り訂正符号付加部２４ａは、映像音声整列部２３がメディア符号化データ内の映像符号化データと音声符号化データの並び替えを行うと、並び替えが行われたメディア符号化データ内の映像符号化データに対して、映像誤り訂正符号付加レート決定部１５ａにより決定された付加レートＩＡｒａｔｅで誤り訂正符号を付加する。
図６では、例えば、映像符号化データのパケット［１］〜［５］に対して、１つの誤り訂正符号を付加し、また、映像符号化データのパケット［６］［７］［９］［１０］［１１］に対して、１つの誤り訂正符号を付加している。
【００７３】
音声誤り訂正符号付加部２４ｂは、映像音声整列部２３がメディア符号化データ内の映像符号化データと音声符号化データの並び替えを行うと、並び替えが行われたメディア符号化データ内の音声符号化データに対して、音声誤り訂正符号付加レート決定部１５ｂにより決定された付加レートＶＡｒａｔｅで誤り訂正符号を付加する。
図６の例では、音声符号化データのパケット［８］に対して、１つの誤り訂正符号を付加している。
データ送出部２０及び伝送レート補正部２１の処理内容は、上記実施の形態２と同様であるため説明を省略する。
【００７４】
以上で明らかなように、この実施の形態３によれば、映像音声整列部２３が映像音声多重部２２から出力されたメディア符号化データ内の映像符号化データと音声符号化データの並び替えを行うように構成したので、ＭＰＥＧシステムなどのように、映像データと音声データを符号化した後、誤り訂正符号を付加する前に、映像符号化データと音声符号化データを多重化する場合でも適用することができる。
【００７５】
実施の形態４．
この実施の形態４では、図１の特徴量抽出部１２（図４及び図５の映像特徴量抽出部１２ａ、音声特徴量抽出部１２ｂを含む）が符号化対象のメディアデータの特徴量として、そのメディアデータがヘッダ部を構成している情報であるのか、データ部を構成している情報であるのかを確認し、図１の重要度判別部１３（図４及び図５の映像重要度判別部１３ａ、音声重要度判別部１３ｂを含む）が、符号化対象のメディアデータがヘッダ部を構成している情報であれば、そのメディアデータの重要度が「高」であると判別し、符号化対象のメディアデータがデータ部を構成している情報であれば、そのメディアデータの重要度が「中」又は「低」であると判別するようにする。
【００７６】
具体的には、以下の通りである。
メディアデータのデータ部には、例えば、映像データや音声データなど、実際に伝送したい情報が格納され、ヘッダ部には、データ部に格納されている情報の種別やデータ構成などが格納される。
ヘッダ部の種類には、例えば、ＭＰＥＧシステムでは、映像の縦横の画素数や、フレームレートなどが格納されているシーケンスヘッダや、シーケンスの先頭からの時間などが格納されたＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）ヘッダなどがある。
ヘッダ部が欠落すると、データ部に格納されている情報の種別や構成が分からなくなり、データ部が正常に受信されても、メディアデータの復号ができなくなってしまうため、ヘッダ部はデータ部よりも重要度が高い。
【００７７】
そこで、特徴量抽出部１２は、符号化対象のメディアデータの特徴量として、そのメディアデータがヘッダ部を構成している情報であるのか、データ部を構成している情報であるのかを確認する。
重要度判別部１３は、符号化対象のメディアデータがヘッダ部を構成している情報であれば、そのメディアデータの重要度が「高」であると判別し、符号化対象のメディアデータがデータ部を構成している情報であれば、そのメディアデータの重要度が「中」又は「低」であると判別する。
【００７８】
以上で明らかなように、この実施の形態４によれば、符号化対象のメディアデータの重要度を判別する際、そのメディアデータがヘッダ部を構成している情報であるのか、データ部を構成している情報であるのかを確認し、そのメディアデータがヘッダ部を構成している情報である場合の重要度を、データ部を構成している情報である場合の重要度より高く設定するように構成したので、ヘッダ部の誤り訂正能力を高めて、復号メディアの品質を高めることができる効果を奏する。
【００７９】
実施の形態５．
この実施の形態５では、符号化対象のメディアデータが映像データである場合、図１の特徴量抽出部１２（図４及び図５の映像特徴量抽出部１２ａを含む）が符号化対象の映像データの特徴量として、その映像データのピクチャタイプを確認し、図１の重要度判別部１３（図４及び図５の映像重要度判別部１３ａを含む）が、そのピクチャタイプを基準にして、その映像データの重要度を判別するようにする。
【００８０】
具体的には、以下の通りである。
例えば、映像データの圧縮符号化にＭＰＥＧ−２を利用する場合、Ｉピクチャが欠落すると、そのＩピクチャを参照するＰピクチャやＢピクチャの復号にも影響を及ぼしてしまうため、Ｉピクチャは、ＰピクチャやＢピクチャよりも重要度が高いデータであるといえる。
また、Ｐピクチャが欠落すると、そのＰピクチャを参照するＢピクチャの復号にも影響を及ぼしてしまうため、Ｐピクチャは、Ｂピクチャよりも重要度が高いデータであるといえる。
【００８１】
そこで、特徴量抽出部１２は、符号化対象の映像データの特徴量として、その映像データのピクチャタイプを確認する。
重要度判別部１３は、特徴量抽出部１２が映像データのピクチャタイプを確認すると、そのピクチャタイプを基準にして、その映像データの重要度を判別する。
例えば、映像データのピクチャタイプがＩピクチャであれば、その映像データの重要度が「高」であると判別し、映像データのピクチャタイプがＰピクチャであれば、その映像データの重要度が「中」であると判別し、映像データのピクチャタイプがＢピクチャであれば、その映像データの重要度が「低」であると判別する。
【００８２】
以上で明らかなように、この実施の形態５によれば、符号化対象のメディアデータが映像データである場合、その映像データのピクチャタイプを確認し、そのピクチャタイプを基準にして、その映像データの重要度を判別するように構成したので、復号映像の画質を高めることができる効果を奏する。
【００８３】
実施の形態６．
この実施の形態６では、符号化対象のメディアデータが映像データである場合、図１の特徴量抽出部１２（図４及び図５の映像特徴量抽出部１２ａを含む）が符号化対象の映像データの特徴量として、その映像データが圧縮符号化される際に用いられる動きベクトルを確認し、図１の重要度判別部１３（図４及び図５の映像重要度判別部１３ａを含む）が、その動きベクトルを基準にして、その映像データの重要度を判別するようにする。
【００８４】
具体的には、以下の通りである。
例えば、ＭＰＥＧなどの映像圧縮符号化方式では、圧縮符号化手法の一つとして、動き補償フレーム間予測が行われる。
動き補償フレーム間予測が行われるとき、大きな移動量（動きベクトル）を持っているピクチャは、参照画像からの変化が大きいことを意味するので、このピクチャが欠落すると、このピクチャを参照するピクチャの復号映像に影響を与えることになる。
このため、大きな動きベクトルを持つピクチャは、大きな動きベクトルを持たないピクチャよりも重要度が高いといえる。
これより、例えば、ピクチャの持つ動きベクトルの大きさの平均値が大きいピクチャの重要度を高くすることによって、ＰピクチャやＢピクチャの中でも、重要度が高いピクチャと重要度が低いピクチャを判定して、より細かく符号化レートや誤り訂正符号の付加レートを制御することができる。
【００８５】
そこで、特徴量抽出部１２は、符号化対象の映像データの特徴量として、その映像データが圧縮符号化される際に用いられる動きベクトルを確認する。動きベクトルを確認するに際して、特徴量抽出部１２が動きベクトルを探索する動きベクトル探索部を実装するようにしてもよいし、図１の符号化処理部１６（図４及び図５の映像符号化処理部１６ａを含む）から圧縮符号化される際に用いられる動きベクトルを取得するようにしてもよい。
重要度判別部１３は、特徴量抽出部１２により確認された動きベクトルを基準にして、映像データの重要度を判別する。
例えば、動きベクトルの大きさの平均値が大きいピクチャ（映像データ）である程、当該ピクチャの重要度を高く設定する。
【００８６】
以上で明らかなように、この実施の形態６によれば、符号化対象のメディアデータが映像データである場合、その映像データが圧縮符号化される際に用いられる動きベクトルを基準にして、その映像データの重要度を判別するように構成したので、符号化レートや付加レートをきめ細かく制御することができるようになり、その結果、復号映像の画質を高めることができる効果を奏する。
【００８７】
なお、この実施の形態６では、動きベクトルの大きさの平均値が大きいピクチャ（映像データ）である程、当該ピクチャの重要度を高く設定するものについて示したが、これに限るものではなく、例えば、ある閾値以上の大きさを持つ動きベクトルの数や、ある方向を向いている動きベクトルの数などに応じて、映像データの重要度を判別するようにしてもよい。
【００８８】
実施の形態７．
この実施の形態７では、符号化対象のメディアデータが映像データである場合、図１の特徴量抽出部１２（図４及び図５の映像特徴量抽出部１２ａを含む）が符号化対象の映像データの特徴量として、その映像データが圧縮符号化される際に算出されるＤＣＴ係数（離散コサイン変換係数）を確認し、図１の重要度判別部１３（図４及び図５の映像重要度判別部１３ａを含む）が、そのＤＣＴ係数を基準にして、その映像データの重要度を判別するようにする。
【００８９】
具体的には、以下の通りである。
例えば、ＭＰＥＧなどの映像圧縮符号化方式では、空間方向の冗長度を削減するために、符号化対象の映像データをＤＣＴ変換して、その変換結果であるＤＣＴ係数を量子化する。
このとき、ＤＣＴ係数のＡＣ成分に大きな値（特に、高周波成分に大きな値）を持つピクチャは、ピクチャ内の画像が複雑であることを意味するので、ＤＣＴ係数の分布を計算し、高周波成分に多くの値を持つピクチャの重要度を高く設定すれば、複雑な画像の誤り訂正能力を強化することができる。
【００９０】
そこで、特徴量抽出部１２は、符号化対象の映像データの特徴量として、その映像データが圧縮符号化される際に算出されるＤＣＴ係数を確認する。ＤＣＴ係数を確認するに際して、特徴量抽出部１２が、例えば、符号化対象の映像データと参照画像の映像データとの差分データをＤＣＴ変換してＤＣＴ係数を算出するＤＣＴ器を実装するようにしてもよいし、図１の符号化処理部１６（図４及び図５の映像符号化処理部１６ａを含む）から圧縮符号化される際に算出されるＤＣＴ係数を取得するようにしてもよい。
重要度判別部１３は、特徴量抽出部１２により確認されたＤＣＴ係数を基準にして、映像データの重要度を判別する。
例えば、ＤＣＴ係数のＡＣ成分に大きな値を有するピクチャ（映像データ）である程、当該ピクチャの重要度を高く設定する。
【００９１】
以上で明らかなように、この実施の形態７によれば、符号化対象のメディアデータが映像データである場合、その映像データの特徴量として、その映像データが圧縮符号化される際に算出されるＤＣＴ係数を確認し、そのＤＣＴ係数を基準にして、その映像データの重要度を判別するように構成したので、符号化レートや付加レートをきめ細かく制御することができるようになり、その結果、復号映像の画質を高めることができる効果を奏する。
【００９２】
実施の形態８．
この実施の形態８では、符号化対象のメディアデータの重要度を判別する際、図１の特徴量抽出部１２が、そのメディアデータが音声データを含んでいるか否かを確認し、図１の重要度判別部１３が、音声データを含んでいる場合のメディアデータの重要度を、音声データを含んでいない場合のメディアデータの重要度より高いものと判別するようにする。
【００９３】
具体的には、以下の通りである。
映像データは音声データと一緒に使用されることが多く、映像データは音声データが重畳されて伝送されることが多い。
音声データは、単位時間当たりのデータ量が映像データと比べて非常に小さいため、映像データであれば、復号映像の一部分の画質が劣化する程度のデータ量の欠落でも、音声データであれば、音声を復号することができないほどの欠落になる可能性がある。
つまり、１つのデータ欠落が復号音声に与える影響は、１つのデータ欠落が復号映像に与える影響より大きい。
このため、音声データを含むメディアデータの重要度を高く判定すれば、音声データの伝送誤り訂正能力を上げて、復号音声の品質を維持することができる。
【００９４】
そこで、特徴量抽出部１２は、符号化対象のメディアデータの特徴量として、そのメディアデータが音声データを含んでいるか否かを確認する。
重要度判別部１３は、符号化対象のメディアデータが音声データを含んでいる場合のメディアデータの重要度を、音声データを含んでいない場合のメディアデータの重要度より高く設定する。
【００９５】
以上で明らかなように、この実施の形態８によれば、符号化対象のメディアデータの重要度を判別する際、そのメディアデータが音声データを含んでいるか否かを確認し、音声データを含んでいる場合のメディアデータの重要度を、音声データを含んでいない場合のメディアデータの重要度より高く設定するように構成したので、音声データの伝送誤り訂正能力を上げて、復号音声の品質を維持することができる効果を奏する。
【００９６】
実施の形態９．
上記実施の形態１〜８では、受信側において、誤り訂正を行うことができるようにするために、誤り訂正符号を付加しているが、誤り訂正符号は冗長なデータであり、伝送誤りが発生していなければ、誤り訂正符号が使用する帯域をメディア符号化データに割り当てた方が、より高画質なメディアデータを伝送することができる。
そのため、伝送状況が良好であれば、誤り訂正符号の付加レートを下げて伝送効率を上げ、伝送状況が劣化していれば、誤り訂正符号の付加レートを上げて誤り訂正能力を上げることが望ましい。
【００９７】
図７はこの発明の実施の形態９によるメディア符号化伝送装置を示す構成図であり、図において、図４と同一符号は同一又は相当部分を示すので説明を省略する。
回線状況取得部２５は例えば受信側装置などのネットワーク３内の他の機器から回線状況（ネットワークの通信状況）を収集する処理を実施する。なお、回線状況取得部２５は通信状況収集手段を構成している。
【００９８】
伝送レート補正部２６は図４の伝送レート補正部２１と同様の処理を実施するほか、回線状況取得部２５により収集された回線状況に応じた符号化レートに決定する指示を映像符号化レート決定部１４ａ及び音声符号化レート決定部１４ｂに行うとともに、その回線状況に応じた付加レートに決定する指示を映像誤り訂正符号付加レート決定部１５ａ及び音声誤り訂正符号付加レート決定部１５ｂに行う処理を実施する。なお、伝送レート補正部２６はレート補正手段を構成している。
図７では、回線状況取得部２５及び伝送レート補正部２６を図４のメディア符号化伝送装置に実装している例を示しているが、回線状況取得部２５及び伝送レート補正部２６を図１又は図５のメディア符号化伝送装置に実装するようにしてもよい。
【００９９】
図７の例では、メディア符号化伝送装置の構成要素である映像特徴量抽出処理部１２ａ、音声特徴量抽出処理部１２ｂ、映像重要度判別部１３ａ、音声重要度判別部１３ｂ、映像符号化レート決定部１４ａ、音声符号化レート決定部１４ｂ、映像誤り訂正符号付加レート決定部１５ａ、音声誤り訂正符号付加レート決定部１５ｂ、映像符号化処理部１６ａ、音声符号化処理部１６ｂ、映像誤り訂正符号付加部１７ａ、音声誤り訂正符号付加部１７ｂ、データ送出部２０、回線状況取得部２５及び伝送レート補正部２６のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、メディア符号化伝送装置がコンピュータで構成される場合、映像特徴量抽出処理部１２ａ、音声特徴量抽出処理部１２ｂ、映像重要度判別部１３ａ、音声重要度判別部１３ｂ、映像符号化レート決定部１４ａ、音声符号化レート決定部１４ｂ、映像誤り訂正符号付加レート決定部１５ａ、音声誤り訂正符号付加レート決定部１５ｂ、映像符号化処理部１６ａ、音声符号化処理部１６ｂ、映像誤り訂正符号付加部１７ａ、音声誤り訂正符号付加部１７ｂ、データ送出部２０、回線状況取得部２５及び伝送レート補正部２６の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
【０１００】
次に動作について説明する。
回線状況取得部２５は、例えば、受信側装置などのネットワーク３内の他の機器から回線状況を収集し、その回線状況を伝送レート補正部２６に通知する。
具体的には、例えば、伝送路がＩＰネットワークである場合、「ＩＥＴＦ ＲＦＣ３５５０ “ＲＴＰ：Ａ Ｔｒａｓｎｐｏｒｔ Ｐｒｏｔｏｃｏｌ ｆｏｒ Ｒｅａｌ−Ｔｉｍｅ Ａｐｐｌｉｃａｔｉｏｎｓ”」に規定されているＲＴＣＰ（Ｒｅａｌ−Ｔｉｍｅ Ｔｒａｎｓｆｅｒ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）を利用することで、回線状況を収集することができる。
即ち、ＲＴＣＰを利用する場合、回線状況取得部２５が、送信側装置であるメディア符号化伝送装置１のレポート（ＳＲ：Ｓｅｎｄｅｒ Ｒｅｐｏｒｔ）に対する受信側装置からのレポート（ＲＲ：Ｒｅｃｅｉｖｅｒ Ｒｅｐｏｒｔ）を受け取ることにより、ネットワーク３の回線状況として、ネットワーク３におけるパケット欠落率、累積欠落パケット数やパケット間隔ジッタなどを収集することができる。
【０１０１】
伝送レート補正部２６は、伝送レートを一定に維持するために、図４の伝送レート補正部２１と同様の処理を実施するが、ネットワーク３の回線状況に応じて、符号化レートと付加レートを制御する。
例えば、伝送レート補正部２６は、回線状況取得部２５から通知されたネットワーク３の回線状況が、パケットの欠落がない旨を示していれば、誤り訂正符号の付加レートＩＡｒａｔｅ，ＶＡｒａｔｅを下げる補正指示を映像誤り訂正符号付加レート決定部１５ａ及び音声誤り訂正符号付加レート決定部１５ｂに出力して、伝送効率が上がるようにする。
一方、回線状況取得部２５から通知されたネットワーク３の回線状況が、パケットの欠落が発生している旨を示していれば、誤り訂正符号の付加レートＩＡｒａｔｅ，ＶＡｒａｔｅを上げる補正指示を映像誤り訂正符号付加レート決定部１５ａ及び音声誤り訂正符号付加レート決定部１５ｂに出力して、誤り訂正能力が上がるようにする。
【０１０２】
以上で明らかなように、この実施の形態９によれば、ネットワーク３の回線状況を収集する回線状況取得部２５を設け、伝送レート補正部２６が、回線状況取得部２５により収集された回線状況に応じた付加レートＩＡｒａｔｅ，ＶＡｒａｔｅに決定する指示を映像誤り訂正符号付加レート決定部１５ａ及び音声誤り訂正符号付加レート決定部１５ｂに行うように構成したので、ネットワーク３の回線状況が良好であれば、伝送効率を上げることができる一方、ネットワーク３の回線状況が劣化していれば、誤り訂正能力を上げることができる効果を奏する。
【０１０３】
実施の形態１０．
上記実施の形態９では、ネットワーク３の回線状況に応じて誤り訂正符号の付加レートＩＡｒａｔｅ，ＶＡｒａｔｅを増減させるものについて示したが、この場合、ネットワーク３の回線状況が悪くなると、全体的に誤り訂正符号の符号量が増えるため、メディア符号化データの符号量が減り、メディアデータの重要度に関係なく、一律にメディア品質が低下することになる。
【０１０４】
そこで、この実施の形態１０では、ネットワーク３の回線状況が劣化している場合、伝送レート補正部２６が、メディアデータの重要度の再判別を映像重要度判別部１３ａ及び音声重要度判別部１３ｂに指示するようにしている。
これにより、映像重要度判別部１３ａは、映像データの重要度を再判別し、音声重要度判別部１３ｂは、音声データの重要度を再判別する。
【０１０５】
この結果、回線状況が劣化している場合、誤り訂正符号の付加レートＩＡｒａｔｅ，ＶＡｒａｔｅを上げた分だけ、重要度が高いメディアデータの伝送時間を更に長く設定して、重要度が低いメディアデータの伝送時間を短くすることで、重要度が高いメディアデータの伝送をより確実に行うことが可能な最適なレート配分を実現することができる。
【符号の説明】
【０１０６】
１ メディア符号化伝送装置、２ メディアソース、３ ネットワーク、１１ メディア圧縮符号化処理部、１１ａ 映像圧縮符号化処理部、１１ｂ 音声圧縮符号化処理部、１２ 特徴量抽出処理部（重要度判別手段）、１２ａ 映像特徴量抽出処理部（重要度判別手段）、１２ｂ 音声特徴量抽出処理部（重要度判別手段）、１３ 重要度判別部（重要度判別手段）、１３ａ 映像重要度判別部（重要度判別手段）、１３ｂ 音声重要度判別部（重要度判別手段）、１４ 符号化レート決定部（レート決定手段）、１４ａ 映像符号化レート決定部（レート決定手段）、１４ｂ 音声符号化レート決定部（レート決定手段）、１５ 誤り訂正符号付加レート決定部（レート決定手段）、１５ａ 映像誤り訂正符号付加レート決定部（レート決定手段）、１５ｂ 音声誤り訂正符号付加レート決定部（レート決定手段）、１６ 符号化処理部（メディアデータ符号化手段）、１６ａ 映像符号化処理部（メディアデータ符号化手段）、１６ｂ 音声符号化処理部（メディアデータ符号化手段）、１７ 誤り訂正符号付加部（誤り訂正符号付加手段）、１７ａ，２４ａ 映像誤り訂正符号付加部（誤り訂正符号付加手段）、１７ｂ，２４ｂ 音声誤り訂正符号付加部（誤り訂正符号付加手段）、１８，２０ データ送出部（データ送出手段）、１９，２１，２６ 伝送レート補正部（レート補正手段）、２２ 映像音声多重部（データ多重化手段）、２３ 映像音声整列部（データ整列手段）、２５ 回線状況取得部（通信状況収集手段）。
【特許請求の範囲】
【請求項１】
符号化対象のメディアデータの重要度を判別する重要度判別手段と、上記重要度判別手段により判別された重要度を基準にして、上記メディアデータを圧縮符号化する際の符号化レートを決定するとともに、圧縮符号化後のメディアデータに付加する誤り訂正符号の付加レートを決定するレート決定手段と、上記レート決定手段により決定された符号化レートで上記メディアデータを圧縮符号化して、圧縮符号化後のメディアデータであるメディア符号化データを出力するメディアデータ符号化手段と、上記メディアデータ符号化手段から出力されたメディア符号化データに対して、上記レート決定手段により決定された付加レートで誤り訂正符号を付加し、誤り訂正符号付きのメディア符号化データを出力する誤り訂正符号付加手段と、上記誤り訂正符号付加手段から出力された誤り訂正符号付きのメディア符号化データをネットワークに送出するデータ送出手段と、上記データ送出手段から送出された誤り訂正符号付きのメディア符号化データの伝送レートが許容範囲内から逸脱している場合、上記レート決定手段に対して符号化レート及び付加レートの補正を指示して、上記伝送レートを許容範囲内に収めるレート補正手段とを備えたメディア符号化伝送装置。
【請求項２】
符号化対象のメディアデータである映像データの重要度を判別する一方、符号化対象のメディアデータである音声データの重要度を判別する重要度判別手段と、上記重要度判別手段により判別された映像データの重要度を基準にして、上記映像データを圧縮符号化する際の符号化レートを決定するとともに、圧縮符号化後の映像データに付加する誤り訂正符号の付加レートを決定する一方、上記重要度判別手段により判別された音声データの重要度を基準にして、上記音声データを圧縮符号化する際の符号化レートを決定するとともに、圧縮符号化後の音声データに付加する誤り訂正符号の付加レートを決定するレート決定手段と、上記レート決定手段により決定された符号化レートで上記映像データを圧縮符号化して、圧縮符号化後の映像データである映像符号化データを出力する一方、上記レート決定手段により決定された符号化レートで上記音声データを圧縮符号化して、圧縮符号化後の音声データである音声符号化データを出力するメディアデータ符号化手段と、上記メディアデータ符号化手段から出力された映像符号化データに対して、上記レート決定手段により決定された付加レートで誤り訂正符号を付加し、誤り訂正符号付きの映像符号化データを出力する一方、上記メディアデータ符号化手段から出力された音声符号化データに対して、上記レート決定手段により決定された付加レートで誤り訂正符号を付加し、誤り訂正符号付きの音声符号化データを出力する誤り訂正符号付加手段と、上記誤り訂正符号付加手段から出力された誤り訂正符号付きの映像符号化データ及び誤り訂正符号付きの音声符号化データをネットワークに送出するデータ送出手段と、上記データ送出手段から送出された誤り訂正符号付きの映像符号化データ及び誤り訂正符号付きの音声符号化データの伝送レートが許容範囲内から逸脱している場合、上記レート決定手段に対して符号化レート及び付加レートの補正を指示して、上記伝送レートを許容範囲内に収めるレート補正手段とを備えたメディア符号化伝送装置。
【請求項３】
符号化対象のメディアデータである映像データの重要度を判別する一方、符号化対象のメディアデータである音声データの重要度を判別する重要度判別手段と、上記重要度判別手段により判別された映像データの重要度を基準にして、上記映像データを圧縮符号化する際の符号化レートを決定するとともに、圧縮符号化後の映像データに付加する誤り訂正符号の付加レートを決定する一方、上記重要度判別手段により判別された音声データの重要度を基準にして、上記音声データを圧縮符号化する際の符号化レートを決定するとともに、圧縮符号化後の音声データに付加する誤り訂正符号の付加レートを決定するレート決定手段と、上記レート決定手段により決定された符号化レートで上記映像データを圧縮符号化して、圧縮符号化後の映像データである映像符号化データを出力する一方、上記レート決定手段により決定された符号化レートで上記音声データを圧縮符号化して、圧縮符号化後の音声データである音声符号化データを出力するメディアデータ符号化手段と、上記メディアデータ符号化手段から出力された映像符号化データと音声符号化データを多重化し、上記映像符号化データと上記音声符号化データが多重化されているメディア符号化データを出力するデータ多重化手段と、上記データ多重化手段から出力されたメディア符号化データ内の映像符号化データと音声符号化データの並び替えを行うデータ整列手段と、上記データ整列手段により並び替えが行われたメディア符号化データ内の映像符号化データ及び音声符号化データに対して、上記レート決定手段により決定された付加レートで誤り訂正符号を付加する誤り訂正符号付加手段と、上記誤り訂正符号付加手段により誤り訂正符号が付加されているメディア符号化データをネットワークに送出するデータ送出手段と、上記データ送出手段から送出された誤り訂正符号付きのメディア符号化データの伝送レートが許容範囲内から逸脱している場合、上記レート決定手段に対して符号化レート及び付加レートの補正を指示して、上記伝送レートを許容範囲内に収めるレート補正手段とを備えたメディア符号化伝送装置。
【請求項４】
重要度判別手段は、符号化対象のメディアデータの重要度を判別する際、そのメディアデータがヘッダ部を構成している情報であるのか、データ部を構成している情報であるのかを確認し、そのメディアデータがヘッダ部を構成している情報である場合の重要度を、データ部を構成している情報である場合の重要度より高く設定することを特徴とする請求項１から請求項３のうちのいずれか１項記載のメディア符号化伝送装置。
【請求項５】
重要度判別手段は、符号化対象のメディアデータが映像データである場合、上記映像データのピクチャタイプを確認し、上記ピクチャタイプを基準にして、上記映像データの重要度を判別することを特徴とする請求項１から請求項３のうちのいずれか１項記載のメディア符号化伝送装置。
【請求項６】
重要度判別手段は、符号化対象のメディアデータが映像データである場合、上記映像データが圧縮符号化される際に用いられる動きベクトルを基準にして、上記映像データの重要度を判別することを特徴とする請求項１から請求項３のうちのいずれか１項記載のメディア符号化伝送装置。
【請求項７】
重要度判別手段は、符号化対象のメディアデータが映像データである場合、上記映像データが圧縮符号化される際に算出される離散コサイン変換係数を基準にして、上記映像データの重要度を判別することを特徴とする請求項１から請求項３のうちのいずれか１項記載のメディア符号化伝送装置。
【請求項８】
重要度判別手段は、符号化対象のメディアデータの重要度を判別する際、上記メディアデータが音声データを含んでいるか否かを確認し、音声データを含んでいる場合のメディアデータの重要度を、音声データを含んでいない場合のメディアデータの重要度より高く設定することを特徴とする請求項１記載のメディア符号化伝送装置。
【請求項９】
ネットワークの通信状況を収集する通信状況収集手段を設け、レート補正手段が上記通信状況収集手段により収集されたネットワークの通信状況に応じた付加レートに決定する指示をレート決定手段に行うことを特徴とする請求項１から請求項８のうちのいずれか１項記載のメディア符号化伝送装置。
【請求項１０】
レート補正手段は、通信状況収集手段により収集されたネットワークの通信状況が許容状況より劣化している場合、メディアデータの重要度の再判別を重要度判別手段に指示することを特徴とする請求項９記載のメディア符号化伝送装置。
【請求項１】
符号化対象のメディアデータの重要度を判別する重要度判別手段と、上記重要度判別手段により判別された重要度を基準にして、上記メディアデータを圧縮符号化する際の符号化レートを決定するとともに、圧縮符号化後のメディアデータに付加する誤り訂正符号の付加レートを決定するレート決定手段と、上記レート決定手段により決定された符号化レートで上記メディアデータを圧縮符号化して、圧縮符号化後のメディアデータであるメディア符号化データを出力するメディアデータ符号化手段と、上記メディアデータ符号化手段から出力されたメディア符号化データに対して、上記レート決定手段により決定された付加レートで誤り訂正符号を付加し、誤り訂正符号付きのメディア符号化データを出力する誤り訂正符号付加手段と、上記誤り訂正符号付加手段から出力された誤り訂正符号付きのメディア符号化データをネットワークに送出するデータ送出手段と、上記データ送出手段から送出された誤り訂正符号付きのメディア符号化データの伝送レートが許容範囲内から逸脱している場合、上記レート決定手段に対して符号化レート及び付加レートの補正を指示して、上記伝送レートを許容範囲内に収めるレート補正手段とを備えたメディア符号化伝送装置。
【請求項２】
符号化対象のメディアデータである映像データの重要度を判別する一方、符号化対象のメディアデータである音声データの重要度を判別する重要度判別手段と、上記重要度判別手段により判別された映像データの重要度を基準にして、上記映像データを圧縮符号化する際の符号化レートを決定するとともに、圧縮符号化後の映像データに付加する誤り訂正符号の付加レートを決定する一方、上記重要度判別手段により判別された音声データの重要度を基準にして、上記音声データを圧縮符号化する際の符号化レートを決定するとともに、圧縮符号化後の音声データに付加する誤り訂正符号の付加レートを決定するレート決定手段と、上記レート決定手段により決定された符号化レートで上記映像データを圧縮符号化して、圧縮符号化後の映像データである映像符号化データを出力する一方、上記レート決定手段により決定された符号化レートで上記音声データを圧縮符号化して、圧縮符号化後の音声データである音声符号化データを出力するメディアデータ符号化手段と、上記メディアデータ符号化手段から出力された映像符号化データに対して、上記レート決定手段により決定された付加レートで誤り訂正符号を付加し、誤り訂正符号付きの映像符号化データを出力する一方、上記メディアデータ符号化手段から出力された音声符号化データに対して、上記レート決定手段により決定された付加レートで誤り訂正符号を付加し、誤り訂正符号付きの音声符号化データを出力する誤り訂正符号付加手段と、上記誤り訂正符号付加手段から出力された誤り訂正符号付きの映像符号化データ及び誤り訂正符号付きの音声符号化データをネットワークに送出するデータ送出手段と、上記データ送出手段から送出された誤り訂正符号付きの映像符号化データ及び誤り訂正符号付きの音声符号化データの伝送レートが許容範囲内から逸脱している場合、上記レート決定手段に対して符号化レート及び付加レートの補正を指示して、上記伝送レートを許容範囲内に収めるレート補正手段とを備えたメディア符号化伝送装置。
【請求項３】
符号化対象のメディアデータである映像データの重要度を判別する一方、符号化対象のメディアデータである音声データの重要度を判別する重要度判別手段と、上記重要度判別手段により判別された映像データの重要度を基準にして、上記映像データを圧縮符号化する際の符号化レートを決定するとともに、圧縮符号化後の映像データに付加する誤り訂正符号の付加レートを決定する一方、上記重要度判別手段により判別された音声データの重要度を基準にして、上記音声データを圧縮符号化する際の符号化レートを決定するとともに、圧縮符号化後の音声データに付加する誤り訂正符号の付加レートを決定するレート決定手段と、上記レート決定手段により決定された符号化レートで上記映像データを圧縮符号化して、圧縮符号化後の映像データである映像符号化データを出力する一方、上記レート決定手段により決定された符号化レートで上記音声データを圧縮符号化して、圧縮符号化後の音声データである音声符号化データを出力するメディアデータ符号化手段と、上記メディアデータ符号化手段から出力された映像符号化データと音声符号化データを多重化し、上記映像符号化データと上記音声符号化データが多重化されているメディア符号化データを出力するデータ多重化手段と、上記データ多重化手段から出力されたメディア符号化データ内の映像符号化データと音声符号化データの並び替えを行うデータ整列手段と、上記データ整列手段により並び替えが行われたメディア符号化データ内の映像符号化データ及び音声符号化データに対して、上記レート決定手段により決定された付加レートで誤り訂正符号を付加する誤り訂正符号付加手段と、上記誤り訂正符号付加手段により誤り訂正符号が付加されているメディア符号化データをネットワークに送出するデータ送出手段と、上記データ送出手段から送出された誤り訂正符号付きのメディア符号化データの伝送レートが許容範囲内から逸脱している場合、上記レート決定手段に対して符号化レート及び付加レートの補正を指示して、上記伝送レートを許容範囲内に収めるレート補正手段とを備えたメディア符号化伝送装置。
【請求項４】
重要度判別手段は、符号化対象のメディアデータの重要度を判別する際、そのメディアデータがヘッダ部を構成している情報であるのか、データ部を構成している情報であるのかを確認し、そのメディアデータがヘッダ部を構成している情報である場合の重要度を、データ部を構成している情報である場合の重要度より高く設定することを特徴とする請求項１から請求項３のうちのいずれか１項記載のメディア符号化伝送装置。
【請求項５】
重要度判別手段は、符号化対象のメディアデータが映像データである場合、上記映像データのピクチャタイプを確認し、上記ピクチャタイプを基準にして、上記映像データの重要度を判別することを特徴とする請求項１から請求項３のうちのいずれか１項記載のメディア符号化伝送装置。
【請求項６】
重要度判別手段は、符号化対象のメディアデータが映像データである場合、上記映像データが圧縮符号化される際に用いられる動きベクトルを基準にして、上記映像データの重要度を判別することを特徴とする請求項１から請求項３のうちのいずれか１項記載のメディア符号化伝送装置。
【請求項７】
重要度判別手段は、符号化対象のメディアデータが映像データである場合、上記映像データが圧縮符号化される際に算出される離散コサイン変換係数を基準にして、上記映像データの重要度を判別することを特徴とする請求項１から請求項３のうちのいずれか１項記載のメディア符号化伝送装置。
【請求項８】
重要度判別手段は、符号化対象のメディアデータの重要度を判別する際、上記メディアデータが音声データを含んでいるか否かを確認し、音声データを含んでいる場合のメディアデータの重要度を、音声データを含んでいない場合のメディアデータの重要度より高く設定することを特徴とする請求項１記載のメディア符号化伝送装置。
【請求項９】
ネットワークの通信状況を収集する通信状況収集手段を設け、レート補正手段が上記通信状況収集手段により収集されたネットワークの通信状況に応じた付加レートに決定する指示をレート決定手段に行うことを特徴とする請求項１から請求項８のうちのいずれか１項記載のメディア符号化伝送装置。
【請求項１０】
レート補正手段は、通信状況収集手段により収集されたネットワークの通信状況が許容状況より劣化している場合、メディアデータの重要度の再判別を重要度判別手段に指示することを特徴とする請求項９記載のメディア符号化伝送装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−１７２１５３（Ｐ２０１１−１７２１５３Ａ）
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【出願番号】特願２０１０−３６１２４（Ｐ２０１０−３６１２４）
【出願日】平成２２年２月２２日（２０１０．２．２２）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【出願日】平成２２年２月２２日（２０１０．２．２２）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]