映像多重化装置、映像多重化方法、及びプログラム
【課題】符号化レートを下げ過ぎることなく、伝送レートに応じた最適な高画質映像を伝送する。
【解決手段】符号化部２０１は、複数のストリームの各々を、複数の符号化レートで符号化し多重化する。参照情報作成部２０３は、複数の符号化レートで符号化された複数のストリームの各々に対する品質評価値を算出し、複数のストリームの符号化レートの総和が伝送帯域以内となり、かつ、その品質評価値の最低値がより高くなるような組合わせを特定する参照情報を作成する。コマンド変換部２１１は、参照情報に基づいて、データ管理部２０５により選択されるべき所定数のストリームの組合わせを指示する。データ管理部２０５は、データ蓄積部２０２から符号化された所定数のストリームを取り出す。データ送信部２０７は、該所定数のストリームを伝送する。
【解決手段】符号化部２０１は、複数のストリームの各々を、複数の符号化レートで符号化し多重化する。参照情報作成部２０３は、複数の符号化レートで符号化された複数のストリームの各々に対する品質評価値を算出し、複数のストリームの符号化レートの総和が伝送帯域以内となり、かつ、その品質評価値の最低値がより高くなるような組合わせを特定する参照情報を作成する。コマンド変換部２１１は、参照情報に基づいて、データ管理部２０５により選択されるべき所定数のストリームの組合わせを指示する。データ管理部２０５は、データ蓄積部２０２から符号化された所定数のストリームを取り出す。データ送信部２０７は、該所定数のストリームを伝送する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、同期した複数のストリーム構成をもつ映像を一定の伝送帯域以内で伝送する映像多重化装置、映像多重化方法、及びプログラムに関する。
【背景技術】
【０００２】
複数のカメラ映像をまとめて圧縮する符号化方式として、国際標準符号化方式Ｈ．２６４ Ａｎｎｅｘ Ｈとして多視点映像符号化（ＭＶＣ）が標準化されている（例えば、非特許文献１参照）。ＭＶＣでは、複数の映像符号化データが多重化された形で圧縮符号化される。同じタイムスタンプのフレームの符号化データが連続して多重化される。すなわち、符号化データは、複数の映像データが多重化されたストリームになる。同じタイムスタンプのフレームが連続して多重化されているため、復号器は、ＭＶＣの符号化データを復号することで、同じタイムスタンプの複数のカメラ映像を連続して復号して出力することができる。
【０００３】
図２６は、従来技術による映像伝送システムの構成を示すブロック図である。図において、従来技術の映像伝送システムは、多重化装置１、映像伝送サーバ２、映像再生クライアント３から構成される。多重化装置１において、符号化部１０１は、Ｍ本の入力ストリームを同一の固定符号化レートで符号化・多重化し、多重化データを作成する。データ蓄積部１０２は、このＭ本のストリームを含む多重化データを蓄積する。
【０００４】
映像伝送サーバ２において、データ送信部１０３は、データ蓄積部１０２からＮ（≦Ｍ）本のストリームを取り出し、映像再生クライアント３へ送出する。ここで、Ｎ本のストリームを送出するためには、Ｎ×固定符号化レート分の伝送レートが必要となる。
【０００５】
映像再生クライアント３において、データ受信部１０４は、Ｎ本のストリームを受信する。復号化部１０５は、Ｎ本のストリームを復号する。映像表示部１０６は、部分映像を表示する。
【０００６】
なお、ここでは、Ｍ本のストリーム（全体ストリーム）から構成される映像を「全体映像」、Ｎ（≦Ｍ）本のストリーム（部分ストリーム）から構成される映像を「部分映像」、１本のストリームから構成される映像を「単位映像」と定義する。つまり、全体映像は、Ｍ個の単位映像、部分映像は、Ｎ個の単位映像から構成される。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Hideaki Kimata, Shinya Shimizu, Yutaka Kunita, Megumi Isogai, and Yoshimitsu Ohtani, "Panorama video coding for user-driven interactive video application," IEEE International Symposium on Consumer Electronics (ISCE) 2009, 2009.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述した従来技術では、伝送レート＜Ｎ×固定符号化レートの場合には、Ｎ本の部分ストリームから構成される部分映像を送出できないという問題があった。また、伝送レート≧Ｎ×固定符号化レートとなるように符号化レートを下げ過ぎると、画像品質が悪くなるという問題があった。
【０００９】
本発明は、このような事情を考慮してなされたものであり、その目的は、符号化レートを下げ過ぎることなく、伝送レートに応じた最適な高画質映像を伝送することができる映像多重化装置、映像多重化方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上述した課題を解決するために、本発明は、符号化された複数のストリームを符号化・多重化して所定の伝送帯域で伝送する映像多重化装置であって、複数のストリームの各々を、複数の符号化レートで符号化し多重化する符号化手段と、前記符号化手段により複数の符号レートで符号化された複数のストリームの中から所定数のストリームを選択する選択手段と、前記符号化手段により複数の符号化レートで符号化された複数のストリームの各々に対する品質評価値を算出する評価値算出手段と、前記選択手段により選択される前記所定数のストリームの符号化レートの総和が前記所定の伝送帯域以内となり、かつ、前記所定数のストリームの品質評価値の最低値がより高くなる、前記所定数のストリームの組合わせを特定する参照情報を作成する参照情報作成手段と、前記参照情報作成手段により作成された参照情報に基づいて、前記選択手段により選択されるべき前記所定数のストリームの組合わせを指示する選択指示手段と、前記選択手段により最終的に選択された、前記所定数のストリームを伝送する伝送手段とを備えることを特徴とする映像多重化装置である。
【００１１】
本発明は、上記の発明において、入力された映像データを小領域に分割することで複数のストリームを生成する映像分割手段を更に備え、前記符号化手段は、前記映像分割手段により分割された複数のストリームの各々を、複数の符号化レートで符号化し多重化することを特徴とする。
【００１２】
本発明は、上記の発明において、前記所定数のストリームの組合わせを指定する指定手段を更に具備し、前記選択指示手段は、前記指定手段により前記所定数のストリームの組合わせが変更指示されると、前記参照情報作成手段により作成された参照情報に基づいて、前記選択手段により選択されるべき前記所定数のストリームの組合わせを新たに指示することを特徴とする。
【００１３】
本発明は、上記の発明において、前記所定数のストリームの組合わせを指定する指定手段を更に具備し、前記参照情報作成手段は、前記指定手段により前記所定数のストリームの組合わせが変更指示されると、変更指示された組合わせに含まれる前記所定数のストリームの符号化レートの総和が前記所定の伝送帯域以内となり、かつ、変更指示された組合わせに含まれる前記所定数のストリームの品質評価値の最低値がより高くなる、前記所定数のストリームの組合わせを特定する参照情報を新たに作成することを特徴とする。
【００１４】
また、上述した課題を解決するために、本発明は、符号化された複数のストリームを符号化・多重化して所定の伝送帯域で伝送する映像多重化方法であって、複数のストリームの各々を、複数の符号化レートで符号化し多重化するステップと、前記複数の符号レートで符号化された複数のストリームの中から所定数のストリームを選択するステップと、前記複数の符号化レートで符号化された複数のストリームの各々に対する品質評価値を算出するステップと、前記所定数のストリームの符号化レートの総和が前記所定の伝送帯域以内となり、かつ、前記所定数のストリームの品質評価値の最低値がより高くなる、前記所定数のストリームの組合わせを特定する参照情報を作成するステップと、前記作成された参照情報に基づいて、選択すべき前記所定数のストリームの組合わせを指示するステップと、最終的に選択された、前記所定数のストリームを伝送するステップとを含むことを特徴とする映像多重化方法である。
【００１５】
本発明は、上記の発明において、入力された映像データを小領域に分割することで複数のストリームを生成するステップと、前記分割された複数のストリームの各々を、複数の符号化レートで符号化し多重化するステップとを更に含むことを特徴とする。
【００１６】
本発明は、上記の発明において、前記所定数のストリームの組合わせを指定するステップと、前記所定数のストリームの組合わせが変更指示されると、前記参照情報に基づいて、前記選択されるべき前記所定数のストリームの組合わせを新たに指示するステップとを更に含むことを特徴とする。
【００１７】
本発明は、上記の発明において、前記所定数のストリームの組合わせを指定するステップと、前記所定数のストリームの組合わせが変更指示されると、変更指示された組合わせに含まれる前記所定数のストリームの符号化レートの総和が前記所定の伝送帯域以内となり、かつ、変更指示された組合わせに含まれる前記所定数のストリームの品質評価値の最低値がより高くなる、前記所定数のストリームの組合わせを特定する参照情報を新たに作成するステップとを更に含むことを特徴とする。
【００１８】
また、上述した課題を解決するために、本発明は、符号化された複数のストリームを符号化・多重化して所定の伝送帯域で伝送する映像多重化装置のコンピュータに、複数のストリームの各々を、複数の符号化レートで符号化し多重化する符号化機能、前記符号化機能により複数の符号レートで符号化された複数のストリームの中から所定数のストリームを選択する選択機能、前記符号化機能により複数の符号化レートで符号化された複数のストリームの各々に対する品質評価値を算出する評価値算出機能、前記選択機能により選択される前記所定数のストリームの符号化レートの総和が前記所定の伝送帯域以内となり、かつ、前記所定数のストリームの品質評価値の最低値がより高くなる、前記所定数のストリームの組合わせを特定する参照情報を作成する参照情報作成機能、前記参照情報作成機能により作成された参照情報に基づいて、前記選択機能により選択されるべき前記所定数のストリームの組合わせを指示する選択指示機能、前記選択機能により最終的に選択された、前記所定数のストリームを伝送する伝送機能を実現することを特徴とするプログラムである。
【発明の効果】
【００１９】
この発明によれば、符号化レートを下げ過ぎることなく、伝送レートに応じた最適な高画質映像を伝送することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１実施形態による映像伝送システムの構成を示すブロック図である。
【図２】本第１実施形態による、各データＩＤに対する評価値算出手順を説明するためのフローチャートである。
【図３】本第１実施形態でのコマンド変換の際に必要となる、参照情報の作成手順を説明するためのフローチャートである。
【図４】本第１実施形態でのストリームＩＤとデータＩＤとの対応情報を示す概念図である。
【図５】本第１実施形態での参照情報作成の詳細手順を説明するためのフローチャートである。
【図６】本第１実施形態での画質改善のための優先データＩＤ情報を示す概念図である。
【図７】本第１実施形態でのストリーム要求情報の作成例を示す概念図である。
【図８】本第１実施形態での参照情報を示す概念図である。
【図９】本第１実施形態での映像再生クライアント３０のコマンド送信手順を説明するためのフローチャートである。
【図１０】本第１実施形態での映像伝送サーバ２０のコマンド受信およびデータ送信手順を説明するためのフローチャートである。
【図１１】本第１実施形態での映像再生クライアント３０のデータ受信および映像表示手順を説明するためのフローチャートである。
【図１２】本第２実施形態による映像伝送システムの構成を示すブロック図である。
【図１３】本第２実施形態での映像分割部３０１による映像分割の一例を示す概念図である。
【図１４】本第２実施形態での各データＩＤに対するＳＮＲの算出手順を説明するためのフローチャートである。
【図１５】本第２実施形態でのビットレート（５００ｋｂｐｓ）で付与されたデータＩＤを示す概念図である。
【図１６】本第２実施形態でのビットレート（１Ｍｂｐｓ）で付与されたデータＩＤを示す概念図である。
【図１７】本第２実施形態でのビットレート（１．５Ｍｂｐｓ）で付与されたデータＩＤを示す概念図である。
【図１８】本第２実施形態でのタイルＩＤと映像符号化データＩＤの対応情報を示す概念図である。
【図１９】本第２実施形態での表示パターンの例を示す概念図である。
【図２０】本第２実施形態でのストリーム要求情報の作成例を示す概念図である。
【図２１】本第２実施形態での参照情報を示す概念図である。
【図２２】本発明の第３実施形態による映像伝送システムの構成を示すブロック図である。
【図２３】本発明の第４実施形態による映像伝送システムの構成を示すブロック図である。
【図２４】本発明の第５実施形態による、多重化装置１０における参照情報作成手順を説明するためのフローチャートである。
【図２５】本第５実施形態での多重化装置１０における評価値をキーとしたデータＩＤの昇順ソートの例を示す概念図である。
【図２６】従来技術による映像伝送システムの構成を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下、本発明の一実施形態を、図面を参照して説明する。
Ａ．第１実施形態
図１は、本発明の第１実施形態による映像伝送システムの構成を示すブロック図である。多重化装置１０において、符号化部２０１は、同期したＭ本のストリーム構成を持つ映像を入力とし、各ストリームを複数の符号化レートで符号化・多重化し、映像データを作成する。データ蓄積部２０２は、この映像データを蓄積する。参照情報作成部２０３は、データ蓄積部２０２に蓄積されている映像データを用いて、参照情報を作成し、参照情報蓄積部２０４に蓄積する。なお、参照情報、映像データの順に多重化したデータをデータ蓄積部２０２に蓄積してもよい。
【００２２】
映像伝送サーバ２０において、データ管理部２０５は、コマンド受信部２０６で受信した、映像再生クライアント３０からの「ストリーム要求情報」に従って、データ蓄積部２０２へＮ（≦Ｍ）本のストリーム要求を行うことで、データ蓄積部２０２に蓄積されたＭ本のストリームからＮ本のストリームを取り出し、データ送信部２０７へ転送する。データ送信部２０７は、Ｎ本のストリームを映像再生クライアント３０へ送出する。コマンド受信部２０６は、映像再生クライアント３０からのコマンドを受信する。参照情報送信部２０８は、参照情報蓄積部２０４から参照情報データを取り出し、映像再生クライアント３０へ送出する。
【００２３】
映像再生クライアント３０において、データ受信部２１２は、Ｎ本のストリームを受信する。復号化部２１３は、Ｎ本のストリームを復号する。映像表示部２１４は、復号化された部分映像を表示する。参照情報受信部２１６は、映像伝送サーバ２０から送信される参照情報を受信し、参照情報蓄積部２１０に蓄積する。ストリーム組合せ指定部２１５は、ストリーム組合せ指定の変更入力を受付ける。コマンド変換部２１１は、ストリーム組合せ指定に変更があった場合に、参照情報蓄積部２１０に蓄積された参照情報を参照し、「ストリーム組合せ情報」を「ストリーム要求情報」へ変換する。コマンド送信部２０９は、「ストリーム要求情報」に従って映像伝送サーバ２０にコマンド送信を行う。
【００２４】
なお、多重化装置１０におけるデータ蓄積部２０２と参照情報蓄積部２０４とを機能統合し、映像伝送サーバ２０におけるデータ送信部２０７と参照情報送信部２０８とを機能統合し、映像再生クライアント３０におけるデータ受信部２１２と参照情報受信部２１６とを機能統合するような構成も可能である。
【００２５】
また、図１では、映像再生クライアント３０において、コマンド変換部２０９は、「参照情報」を参照して、「ストリーム組合せ情報」を「ストリーム要求情報」へ変換しているが、映像伝送サーバ２０と映像再生クライアント３０とで「参照情報」を持つことで、コマンド変換部２１１にてコマンド変換せず、「ストリーム組合せ情報」を、直接、コマンドとして、コマンド送信部２０９より送信する構成も実施可能である。この構成の場合、映像伝送サーバ２０側で、参照情報を参照することで、「ストリーム組合せ情報」を「ストリーム要求情報」へ変換することができる。
【００２６】
次に、本第１実施形態の映像多重化・伝送方法について詳細に説明する。
本第１実施形態では、例えば、同期した１２本の入力ストリームから構成される映像を１０Ｍｂｐｓで伝送する際に、映像データを伝送する前に、参照情報を送信する。図１に示す多重化装置１０における参照情報作成部２０３での参照情報の作成手順は、各入力ストリームを複数のビットレートで符号化した結果に対する評価値算出手順と、評価値の算出結果を用いた参照情報作成手順とから構成される。
【００２７】
図２は、本第１実施形態による、符号化部２０１、参照情報作成部２０３による各データＩＤに対する評価値算出手順を説明するためのフローチャートである。まず、符号化部２０１は、同期した複数の入力ストリームにストリームＩＤを付与する。次に、各入力ストリームを複数の符号化レート（ビットレート）で符号化し（ステップＳ００１）、符号化後のストリームに対してデータＩＤを付与する（ステップＳ００２）。続いて、参照情報作成部２０３は、ストリームＩＤと映像符号化データＩＤの対応情報の作成を行い（ステップＳ００３）、最後に各データＩＤに対する評価値の算出を行う（ステップＳ００４）。
【００２８】
図３は、本第１実施形態による、コマンド変換部２１１でのコマンド変換の際に必要となる、参照情報作成部２０３による参照情報の作成手順を説明するためのフローチャートである。参照情報作成部２０３は、参照情報の作成の前に、まず、伝送帯域を示す「伝送レート」と、データＩＤの組合せから構成される「ストリーム組合せ」とを設定し（ステップＳ２０１）、基本となる符号化レートを示す「ベースビットレート」と、基本となる符号化レートより大きい符号化レートを示す「改善ビットレート」との設定を行う（ステップＳ２０２）。
【００２９】
次に、「ストリーム組合せ」内のベースビットレートにおけるデータＩＤから画質改善対象となるデータＩＤの個数を算出する（ステップＳ２０３）。次に、ステップＳ００４で算出した各データＩＤに対する評価値を用いて、優先的に画質改善が必要なデータＩＤの順位情報を作成する（ステップＳ２０４）。「ストリーム組合せ」内のベースビットレートにおけるデータＩＤから、ステップＳ２０３で算出されたデータＩＤの個数分を、改善ビットレートにおけるデータＩＤに変更する（ステップＳ２０５）。最後に、「ストリーム組合せ情報」と、データＩＤから構成される「ストリーム要求情報」との対応情報を含む参照情報の作成を行う（ステップＳ２０６）。
【００３０】
例えば、伝送レート：１０Ｍｂｐｓ、ベースビットレート：５００ｋｂｐｓ、改善ビットレート：１Ｍｂｐｓ、「ストリーム組合せ」をストリームＩＤ（７，８，９，１３，１４，１５，１９，２０，２１，２５，２６，２７）、評価値を平均ＳＮＲ（全フレームのＳＮＲ（信号雑音比：signal-noise ratio)の平均値）とした場合、ストリームＩＤとデータＩＤとの対応情報は、図４に示すようになる。
【００３１】
また、各フレームのＳＮＲは、次式（１）により算出する。
【００３２】
ＳＮＲ＝１０＊ｌｏｇ１０（ＭＡＸ２／ＭＳＥ） （１）
【００３３】
単位はデシベル［ｄＢ］である。ＭＡＸは、原画像が取り得る最大画素値である。例えば、ビット深度が８ビットの場合のＭＡＸの値は、２５５となる。また、数式（１）のＭＳＥとは、平均二乗誤差（Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ）のことであり、タイルサイズの原画像とローカルデコード画像との差分の二乗総和を、タイルサイズの画素数で割ることで求められる。
【００３４】
なお、符号化部２０１にてローカルデコード画像が得られない符号化モード（例えば、フルイントラモード）などの場合には、ローカルデコード画像作成（復号化）を符号化手順とは別に行う必要がある。
【００３５】
図５は、本第１実施形態による、多重化装置１０における参照情報作成の詳細手順を説明するためのフローチャートである。参照情報作成部２０３は、まず、「ストリーム組合せ」の設定（ストリームＩＤ（７，８，９，１３，１４，１５，１９，２０，２１，２５，２６，２７）、Ｎｔ＝１２）、伝送ビットレート（Ｍａｘ＿ｂｉｔｒａｔｅ）＝１０Ｍｂｐｓの設定を行う（ステップＳ３０１）。次に、ベースビットレート（ｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｂａｓｅ）＝５００ｋｂｐｓ、改善ビットレート（ｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｕｐ）＝１Ｍｂｐｓの設定を行う（ステップＳ３０２）。
【００３６】
次に、Ｎｔ（「ストリーム組合せ」のストリームＩＤの個数）×ｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｂａｓｅ（ベースビットレート）＜Ｍａｘ＿ｂｉｔｒａｔｅ（伝送ビットレート）であり（第１の条件）、かつ、Ｍ１（Ｍａｘ＿ｂｉｔｒａｔｅ−Ｎｔ×ｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｂａｓｅ）＞Ｍ２（ｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｕｐ−ｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｂａｓｅ）、または、Ｍ１＝Ｍ２となる第２の条件を満足するか否かを判定する（ステップＳ３０３）。
【００３７】
上記第１の条件、または第２の条件を満たさない場合には、ｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｂａｓｅ＝ｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｂａｓｅ−Δｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｂａｓｅ、ｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｕｐ＝ｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｕｐ−Δｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｕｐとし（ステップＳ３０４）、ステップＳ３０３に戻る。
【００３８】
一方、上述した設定条件では、「ストリーム組合せ」のストリームＩＤの個数よりＮｔ＝１２であるので、Ｎｔ×ｔｉｔｌｅ＿ｂｉｔｒａｔｅ＿ｂａｓｅ＝１２×０．５Ｍｂｐｓ＝６Ｍｂｐｓ＜Ｍａｘ＿ｂｉｔｒａｔｅ＝１０Ｍｂｐｓとなり、第１の条件を満たし、さらに、ｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｕｐ＝１Ｍｂｐｓであるので、Ｍ１＝１０−１２×０．５＝４Ｍｂｐｓ、Ｍ２＝１−０．５＝０．５Ｍｂｐｓとなり、Ｍ１＞Ｍ２の第２の条件を満たす（ステップＳ３０３のＹＥＳ）。
【００３９】
上記第１の条件、及び第２の条件を満たすと、Ｍｕｐ＝ＩＮＴ（４／０．５）＝８を算出し（ステップＳ３０５）、「ストリーム組合せ」内の１２個のベースビットレートにおけるデータＩＤに関するＹ成分のＳＮＲをキーとして昇順にソートする（ステップＳ３０６）。これにより、図６に示すソート結果を得る。
【００４０】
次に、Ｍｕｐ＝８から、ＳＮＲの小さい順に８個選定し（ステップＳ３０７）、図４に示す「データＩＤ」の対応情報を参照し、ベースビットレートｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｂａｓｅにおけるデータＩＤを、図７に示すように、改善ビットレートｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｕｐにおけるデータＩＤに変更する（ステップＳ３０８）。最後に、図８に示すように、「ストリーム組合せ」とデータＩＤから構成される「ストリーム要求情報」との対応情報を含む参照情報を作成する（ステップＳ３０９）。
【００４１】
次に、本第１実施形態による映像伝送システムで、映像再生クライアント３０からのコマンド送信から映像表示までの一連の手順について図９から図１１を参照して説明する。
【００４２】
図９は、映像再生クライアント３０のコマンド送信手順を説明するためのフローチャートである。まず、ストリーム組合せ指定部２１５にて、「ストリーム組合せ」の指定を行い（ステップＳ５０１）、コマンド変換部２１１にて、「ストリーム組合せ」から「ストリーム要求情報」への変換を行い（ステップＳ５０２）、コマンド送信部２０９にて、コマンド送信を行う（ステップＳ５０３）。
【００４３】
図１０は、映像伝送サーバ２０のコマンド受信およびデータ送信手順を説明するためのフローチャートである。まず、コマンド受信部２０６にて、コマンドを受信し（ステップＳ４０１）、コマンドに含まれる要求データＩＤの解釈を行い（ステップＳ４０２）、要求データＩＤに対応するストリームをデータ蓄積部２０２からデータ送信部２０７へ転送する（ステップＳ４０３）。最後に、データ送信部２０７にてストリームの送信を行う（ステップＳ４０４）。
【００４４】
図１１は、映像再生クライアント３０のデータ受信および映像表示手順を説明するためのフローチャートである。まず、データ受信部２１２にてストリームの受信を行い（ステップＳ６０１）、次に復号化部２１３にてストリームの復号化を行う（ステップＳ６０２）。最後に、映像表示部２１４にて復号化データの表示を行う（ステップＳ６０３）。
【００４５】
Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
図１２は、本第２実施形態による映像伝送システムの構成を示すブロック図である。なお、図１に対応する部分には同一の符号を付けて説明を省略する。多重化装置１０において、映像分割部３０１は、入力された映像データをＭ本のストリームに分割（タイル分割）する。符号化部２０１は、各ストリームを複数の符号化レートで符号化・多重化し、映像データを作成する。
【００４６】
上述したように、本第２実施形態では、映像分割部３０１にて、入力映像データを同期した複数のストリームに分割する。例えば、入力映像サイズ３８４０×１９２０画素、タイルサイズ６４０×３２０画素とした場合には、図１３に示すような分割結果となる。このとき、映像表示領域サイズを１９２０×１０８０画素とした場合、映像表示のパターンは、１２パターンとなる。
【００４７】
図１４は、各データＩＤに対するＳＮＲの算出手順を説明するためのフローチャートである。まず、３８４０×１９２０画素の入力映像を、図１３に示すように、６×６＝３６個にタイル分割する（ステップＳ１０１）。次に、各タイルを複数の段階のビットレート（例えば、５００ｋｂｐｓ、１Ｍｂｐｓ、１．５Ｍｂｐｓ）で符号化する（ステップＳ１０２）。続いて、各タイルの符号化結果に対するデータＩＤの付与を行う（ステップＳ１０３）。例えば、図１５、図１６、図１７には、複数の段階のビットレート（５００ｋｂｐｓ、１Ｍｂｐｓ、１．５Ｍｂｐｓ）で付与されたデータＩＤを示している。
【００４８】
次に、図１８に示すような、タイルＩＤと映像符号化データＩＤの対応情報を作成する（ステップＳ１０４）。最後に、入力画像のタイル分割後に得られるタイルサイズの原画像と、符号化部２０１での処理の過程で得られるタイルサイズのローカルデコード画像とから各データＩＤに対する平均ＳＮＲ（全フレームのＳＮＲの平均値）を算出する（ステップＳ１０５）。
【００４９】
ここで、各フレームのＳＮＲは、前述した第１実施形態と同様に、数式（１）で算出する。なお、符号化部２０１にてローカルデコード画像が得られない符号化モード（例えば、フルイントラモード）などの場合には、ローカルデコード画像作成（復号化）を、符号化手順とは別に行う必要がある。
【００５０】
本第２実施形態において、コマンド変換部２１１でのコマンド変換の際に必要となる、参照情報の作成手順は、前述した第１実施形態と同様（図３）であるので、異なる点についてのみ説明する。
【００５１】
例えば、図１３に示すように、タイルサイズを６４０×３２０画素、入力映像サイズを３８４０×１９２０画素、映像表示領域サイズを１９２０×１０８０画素とした場合の例について説明する。図１３に示すようなケースの場合、映像表示領域が拡大縮小せず、平行移動のみと仮定した場合、全部で表示パターンは、図１９に示すように、表示パターンＰ１〜Ｐ１２の１２パターンとなる。各タイルＩＤが付与されたストリームを入力画像として、図１５に示す、５００ｋｂｐｓで符号化した結果のストリーム、図１６に示す、１Ｍｂｐｓで符号化した結果を、図１７に示す、１．５Ｍｂｐｓで符号化した結果を、データＩＤ付与したとき、タイルＩＤとデータＩＤの対応関係は、図１８に表すことができる。
【００５２】
ここで、本第２実施形態において、伝送レート１０Ｍｂｐｓ、ベースビットレート５００ｋｂｐｓ、改善ビットレート１Ｍｂｐｓ、または１．５Ｍｂｐｓ、評価値を平均ＳＮＲ（全フレームのＳＮＲの平均値）とした場合について説明する。なお、本第２実施形態による、多重化装置１０における参照情報作成手順は、前述した第１実施形態と基本的に同様（図５）であるので、図５を参照して説明する。
【００５３】
ステップＳ３０１において、「ストリーム組合せ」として、図１９に示す「表示パターンＰ６」を設定、伝送レートが１０ＭｂｐｓなのでＭａｘ＿ｂｉｔｒａｔｅ＝１０Ｍｂｐｓで設定する。次に、ステップＳ３０２において、ベースビットレートｔｉｔｌｅ＿ｂｉｔｒａｔｅ＿ｂａｓｅ＝５００ｋｂｐｓ、改善ビットレートｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｕｐ＝１Ｍｂｐｓを設定した場合について説明する。
【００５４】
図１９に示す「表示パターンＰ６」内のタイル数は、１２タイルなので、Ｎｔ＝１２となる。よって、ステップＳ３０３において、Ｎｔ×ｔｉｔｌｅ＿ｂｉｔｒａｔｅ＿ｂａｓｅ＝１２×０．５Ｍｂｐｓ＝６ＭｂｐｓＭａｘ＿ｂｉｔｒａｔｅ＝１０Ｍｂｐｓとなり、条件を満たし、さらに、ｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｕｐ＝１Ｍｂｐｓの場合、Ｍ１＝１０−１２×０．５＝４Ｍｂｐｓ、Ｍ２＝１−０．５＝０．５Ｍｂｐｓとなり、Ｍ１＞Ｍ２の条件を満たす。
【００５５】
上記条件を満たすと、ステップＳ３０５で、Ｍｕｐ＝ＩＮＴ（４／０．５）＝８と算出できる。次に、図１８に示すタイルＩＤと映像符号化データＩＤとの対応情報より、「表示パターンＰ６」内の１２個のタイルＩＤに対応するベースビットレートにおけるデータＩＤを選択し、ステップＳ３０６において、このデータＩＤに関するＹ成分の平均ＳＮＲをキーとして昇順にソートする。これにより、図６に示すソート結果を得る。
【００５６】
次に、ステップＳ３０５で算出されたＭｕｐ＝８から、ステップＳ３０７において、ＳＮＲの小さい順に８個選定し、ステップＳ３０８において、図１８に示す「データＩＤ」の対応情報を参照し、ベースビットレートｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｂａｓｅにおけるデータＩＤを、改善ビットレートｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｕｐにおけるデータＩＤに変更する。最後に、ステップＳ３０９において、図８に示すように、「ストリーム組合せ」とデータＩＤとから構成される「ストリーム要求情報」の対応情報を含む参照情報を作成する。
【００５７】
一方、ｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｕｐ＝１．５Ｍｂｐと設定した場合には、ステップＳ３０３において、Ｍ１＝１０−１２×０．５＝４Ｍｂｐｓ、Ｍ２＝１．５−０．５＝１．０Ｍｂｐｓとなり、Ｍ１＞Ｍ２の条件を満たすので、ステップＳ３０５において、Ｍｕｐ＝ＩＮＴ（４／１．０）＝４と算出できる。
【００５８】
次に、ステップＳ３０６において、表示パターンＰ６内の１２個のタイル数分のデータＩＤに関するＹ成分のＳＮＲをキーとして昇順にソートする。これにより、図６に示すソート結果を得る。次に、Ｓ３０５で算出されたＭｕｐ＝４から、ステップＳ３０７において、ＳＮＲの小さい順に４個選定し、ステップＳ３０８において、図１８に示す「データＩＤ」の対応情報を参照し、ベースビットレートｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｂａｓｅにおけるデータＩＤを、図２０に示すように、改善ビットレートｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｕｐにおけるデータＩＤに変更する。最後に、ステップＳ３０９において、図２１に示すように、「ストリーム組合せ」とデータＩＤから構成される「ストリーム要求情報」との対応情報を含む参照情報を作成する。
【００５９】
なお、本第２実施形態において、映像再生クライアントにおけるコマンド送信から映像表示までの一連の手順については、前述した第１実施形態と同様（図９から図１１）であるので、説明を省略する。
【００６０】
Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。
図２２は、本第３実施形態による映像伝送システムの構成を示すブロック図である。なお、図１に対応する部分には同一の符号を付けて説明を省略する。多重化装置１０において、評価値計算部４０３は、データ蓄積部４０２に蓄積されている映像データを用いて、評価値を計算し、計算値蓄積部４０４に蓄積する。なお、評価値、映像データの順に多重化したデータをデータ蓄積部４０２に蓄積してもよい。
【００６１】
映像伝送サーバ２０において、評価値送信部４０８は、評価値蓄積部４０４から評価値情報を取り出し、映像再生クライアントへ送出する。
【００６２】
映像再生クライアント３０において、評価値受信部４１５は、映像伝送サーバ２０から送信される評価値情報を受信し、評価値蓄積部４１６に蓄積する。参照情報作成部４１８は、ストリーム組合せ指定に変更があった場合に、評価値蓄積部４１６から評価値情報を取り出し、参照情報の作成を行い、該参照情報を参照情報蓄積部２１０に蓄積する。
【００６３】
なお、多重化装置１０におけるデータ蓄積部２０２と評価値蓄積部４０４とを機能統合し、映像伝送サーバ２０におけるデータ送信部２０７と評価値送信部４０８とを機能統合し、映像再生クライアント３０におけるデータ受信部２１２と評価値受信部４１５とを機能統合するような構成も可能である。
【００６４】
本第３実施形態は、前述した第１実施形態の変形であり、図１の構成と図２２の構成とを比較することで分かる通り、多重化装置１０で参照情報を作成するのではなく、映像再生クライアント３０で参照情報の作成を行う。
【００６５】
このため、映像伝送クライアント３０に送信される情報は、図８、及び図２１に示す情報ではなく、図４に示すストリームＩＤと映像符号化データＩＤとの対応情報、及び図６に示すソートした結果（ここでは、全データＩＤに対する平均ＳＮＲ計算結果）となる。映像再生クライアント３０での参照情報の作成は、前述した第１実施形態と同様である。つまり、図５における、ステップＳ３０１の「ストリーム組合せ」の設定を、図２２に示すストリーム組合せ指定部２１５にて行い、「ストリーム組合せ」の指定の変化に応じて、図５に示す手順で参照情報の作成を行う。
【００６６】
Ｄ．第４実施形態
次に、本発明の第４実施形態について説明する。
図２３は、本第４実施形態による映像伝送システムの構成を示すブロック図である。なお、図１、図１２、図２２に対応する部分には同一の符号を付けて説明を省略する。図２３から明らかなように、本第４実施形態による映像伝送システムは、図１に示す第１実施形態による映像伝送システムの構成に対して、図１２に示す第２実施形態の構成、及び図２２に示す第３実施形態の構成を採用した構成となっている。
【００６７】
すなわち、本第４実施形態による映像伝送システムでは、多重化装置１０において、映像分割部３０１が、入力された映像データをＭ本のストリームに分割（タイル分割）し、評価値計算部４０３は、データ蓄積部５０３に蓄積されている映像データを用いて、評価値を計算し、計算値蓄積部４０４に蓄積する。また、映像伝送サーバ２０において、評価値送信部４０８は、評価値蓄積部４０４から評価値情報を取り出し、映像再生クライアント３０へ送出する。映像再生クライアント３０において、評価値受信部４１５は、映像伝送サーバ２０から送信される評価値情報を受信し、評価値蓄積部４１６に評価値情報を蓄積し、参照情報作成部４１８は、ストリーム組合せ指定に変更があった場合に、評価値蓄積部４１６から評価値情報を取り出し、参照情報の作成を行い、参照情報を参照情報蓄積部２１０に蓄積する。
【００６８】
本第４実施形態は、前述した第１実施形態の変形であり、図１２の構成と図２３の構成とを比較することで分かる通り、多重化装置１０で参照情報を作成するのではなく、映像再生クライアント３０で参照情報の作成を行う。
【００６９】
このため、映像伝送クライアント３０に送信される情報は、図８、及び図２１に示す情報ではなく、図１８、及び図６（ここでは、全データＩＤに対する平均ＳＮＲ計算結果）に示す情報となる。映像再生クライアント３０での参照情報の作成は、前述した第２実施形態と同様であり、図５における、ステップＳ３０１の「ストリーム組合せ」の設定を、図２３のストリーム組合せ指定部２１５にて行い、「ストリーム組合せ」の指定の変化に応じて、図５に示す手順で参照情報の作成を行えばよい。
【００７０】
Ｅ．第５実施形態
次に、本発明の第５実施形態について説明する。
本第５実施形態による映像伝送システムの構成は、図１２に示す本第２実施形態による映像伝送システムの構成と同じであるので説明を省略する。本第５実施形態では、伝送レート：１１Ｍｂｐｓ、ベースビットレート：５００ｋｂｐｓ、改善ビットレート：１Ｍｂｐｓ、及び１．５Ｍｂｐｓ（２段階の改善）、評価値を平均ＳＮＲ（全フレームのＳＮＲの平均値）とした場合の参照情報作成手順について説明する。
【００７１】
図２４は、本第５実施形態による、多重化装置１０における参照情報作成手順を説明するためのフローチャートである。まず、伝送帯域を示す「伝送レート」を１１Ｍｂｐｓに設定し、データＩＤの組合せから構成される「ストリーム組合せ」の設定（ストリームＩＤ＝（７，８，９，１３，１４，１５，１９，２０，２１，２５，２６，２７））を行い（ステップＳ７０１）、次に、基本となる符号化レートを示す「ベースビットレート」＝５００ｋｂｐｓと、基本となる符号化レートより大きい符号化レートを示す「改善ビットレート」＝１Ｍｂｐｓ ａｎｄ １．５Ｍｂｐｓの設定を行う（ステップＳ７０２）。
【００７２】
次に、図２５に示すように、評価値（ＳＮＲ＿Ｙ５００で示される平均ＳＮＲ）をキーとしたデータＩＤの昇順ソートを行い（ステップＳ７０３）、ベースビットレートによる符号化データに付与されたデータＩＤ＝（１０７，１０８，１０９，１１３，１１４，１１５，１１９，１２０，１２１，１２５，１２６，１２７）のうち、ＳＮＲが最低値を示すデータＩＤ＝１２１を、１段階上の１Ｍｂｐｓで符号化されたデータに付与されたデータＩＤ＝２２１に変更する（ステップＳ７０４）。変更後は、データＩＤ＝（１０７，１０８，１０９，１１３，１１４，１１５，１１９，１２０，２２１，１２５，１２６，１２７）となる。
【００７３】
この結果、総ビットレート１１×０．５Ｍｂｐｓ＋１×１Ｍｂｐｓ＝６．５Ｍｂｐｓ＜伝送レート：１１Ｍｂｐｓとなり（ステップＳ７０５のＮＯ）、Ｓ７０３へ戻る。なお、ソートとデータＩＤ変更を複数回行った後、データＩＤ＝２２１をさらに変更する際には、１段階上の１．５Ｍｂｐｓで符号化されたデータに付与されたデータＩＤ＝３２１に変更する。
【００７４】
そして、ステップＳ７０５にて、ＹＥＳとなった場合には、総ビットレートが伝送レートを超えていることを示しているので、直前のデータＩＤ変更を元に戻す（ステップＳ７０６）。今回のケースでは、１０回のデータＩＤ変更が実施され、図２５に示すような結果を得ることができる。ここで、ＳＮＲ＿Ｙは、変更後のデータＩＤに対応したデータに対応した平均ＳＮＲを示している。次に、図２５に斜線で示すデータＩＤに基づいて、参照情報を作成する（ステップＳ７０７）。
【００７５】
なお、図２５には、変更前のデータＩＤと図４により対応付けられたデータＩＤに対する平均ＳＮＲとを示している。
【００７６】
上述した第１実施形態から第５実施形態によれば、複数の同期したストリーム構成からなる映像に対して、複数のビットレートで符号化、及び多重化した映像データから伝送レートに適したＮ本のストリームを取り出して伝送することで、伝送レート＜Ｎ×固定符号化レートの場合であっても、Ｎ本のストリームから構成される部分映像を送出することができ、伝送レート≧Ｎ×固定符号化レートとなるように、符号化レートを下げ過ぎることなく、伝送レートに応じた最適な高画質映像を伝送することができる。
【符号の説明】
【００７７】
１０ 多重化装置
２０ 映像伝送サーバ
３０ 映像再生クライアント
２０１ 符号化部
２０２ データ蓄積部
２０３ 参照情報作成部
２０４ 参照情報蓄積部
２０５ データ管理部
２０６ コマンド受信部
２０７ データ送信部
２０８ 参照情報送受信部
２０９ コマンド送信部
２１０ 参照情報蓄積部
２１１ コマンド変換部
２１２ データ受信部
２１３ 復号化部
２１４ 映像表示部
２１５ ストリーム組合わせ指定部
２１６ 参照情報受信部
【技術分野】
【０００１】
本発明は、同期した複数のストリーム構成をもつ映像を一定の伝送帯域以内で伝送する映像多重化装置、映像多重化方法、及びプログラムに関する。
【背景技術】
【０００２】
複数のカメラ映像をまとめて圧縮する符号化方式として、国際標準符号化方式Ｈ．２６４ Ａｎｎｅｘ Ｈとして多視点映像符号化（ＭＶＣ）が標準化されている（例えば、非特許文献１参照）。ＭＶＣでは、複数の映像符号化データが多重化された形で圧縮符号化される。同じタイムスタンプのフレームの符号化データが連続して多重化される。すなわち、符号化データは、複数の映像データが多重化されたストリームになる。同じタイムスタンプのフレームが連続して多重化されているため、復号器は、ＭＶＣの符号化データを復号することで、同じタイムスタンプの複数のカメラ映像を連続して復号して出力することができる。
【０００３】
図２６は、従来技術による映像伝送システムの構成を示すブロック図である。図において、従来技術の映像伝送システムは、多重化装置１、映像伝送サーバ２、映像再生クライアント３から構成される。多重化装置１において、符号化部１０１は、Ｍ本の入力ストリームを同一の固定符号化レートで符号化・多重化し、多重化データを作成する。データ蓄積部１０２は、このＭ本のストリームを含む多重化データを蓄積する。
【０００４】
映像伝送サーバ２において、データ送信部１０３は、データ蓄積部１０２からＮ（≦Ｍ）本のストリームを取り出し、映像再生クライアント３へ送出する。ここで、Ｎ本のストリームを送出するためには、Ｎ×固定符号化レート分の伝送レートが必要となる。
【０００５】
映像再生クライアント３において、データ受信部１０４は、Ｎ本のストリームを受信する。復号化部１０５は、Ｎ本のストリームを復号する。映像表示部１０６は、部分映像を表示する。
【０００６】
なお、ここでは、Ｍ本のストリーム（全体ストリーム）から構成される映像を「全体映像」、Ｎ（≦Ｍ）本のストリーム（部分ストリーム）から構成される映像を「部分映像」、１本のストリームから構成される映像を「単位映像」と定義する。つまり、全体映像は、Ｍ個の単位映像、部分映像は、Ｎ個の単位映像から構成される。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Hideaki Kimata, Shinya Shimizu, Yutaka Kunita, Megumi Isogai, and Yoshimitsu Ohtani, "Panorama video coding for user-driven interactive video application," IEEE International Symposium on Consumer Electronics (ISCE) 2009, 2009.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述した従来技術では、伝送レート＜Ｎ×固定符号化レートの場合には、Ｎ本の部分ストリームから構成される部分映像を送出できないという問題があった。また、伝送レート≧Ｎ×固定符号化レートとなるように符号化レートを下げ過ぎると、画像品質が悪くなるという問題があった。
【０００９】
本発明は、このような事情を考慮してなされたものであり、その目的は、符号化レートを下げ過ぎることなく、伝送レートに応じた最適な高画質映像を伝送することができる映像多重化装置、映像多重化方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上述した課題を解決するために、本発明は、符号化された複数のストリームを符号化・多重化して所定の伝送帯域で伝送する映像多重化装置であって、複数のストリームの各々を、複数の符号化レートで符号化し多重化する符号化手段と、前記符号化手段により複数の符号レートで符号化された複数のストリームの中から所定数のストリームを選択する選択手段と、前記符号化手段により複数の符号化レートで符号化された複数のストリームの各々に対する品質評価値を算出する評価値算出手段と、前記選択手段により選択される前記所定数のストリームの符号化レートの総和が前記所定の伝送帯域以内となり、かつ、前記所定数のストリームの品質評価値の最低値がより高くなる、前記所定数のストリームの組合わせを特定する参照情報を作成する参照情報作成手段と、前記参照情報作成手段により作成された参照情報に基づいて、前記選択手段により選択されるべき前記所定数のストリームの組合わせを指示する選択指示手段と、前記選択手段により最終的に選択された、前記所定数のストリームを伝送する伝送手段とを備えることを特徴とする映像多重化装置である。
【００１１】
本発明は、上記の発明において、入力された映像データを小領域に分割することで複数のストリームを生成する映像分割手段を更に備え、前記符号化手段は、前記映像分割手段により分割された複数のストリームの各々を、複数の符号化レートで符号化し多重化することを特徴とする。
【００１２】
本発明は、上記の発明において、前記所定数のストリームの組合わせを指定する指定手段を更に具備し、前記選択指示手段は、前記指定手段により前記所定数のストリームの組合わせが変更指示されると、前記参照情報作成手段により作成された参照情報に基づいて、前記選択手段により選択されるべき前記所定数のストリームの組合わせを新たに指示することを特徴とする。
【００１３】
本発明は、上記の発明において、前記所定数のストリームの組合わせを指定する指定手段を更に具備し、前記参照情報作成手段は、前記指定手段により前記所定数のストリームの組合わせが変更指示されると、変更指示された組合わせに含まれる前記所定数のストリームの符号化レートの総和が前記所定の伝送帯域以内となり、かつ、変更指示された組合わせに含まれる前記所定数のストリームの品質評価値の最低値がより高くなる、前記所定数のストリームの組合わせを特定する参照情報を新たに作成することを特徴とする。
【００１４】
また、上述した課題を解決するために、本発明は、符号化された複数のストリームを符号化・多重化して所定の伝送帯域で伝送する映像多重化方法であって、複数のストリームの各々を、複数の符号化レートで符号化し多重化するステップと、前記複数の符号レートで符号化された複数のストリームの中から所定数のストリームを選択するステップと、前記複数の符号化レートで符号化された複数のストリームの各々に対する品質評価値を算出するステップと、前記所定数のストリームの符号化レートの総和が前記所定の伝送帯域以内となり、かつ、前記所定数のストリームの品質評価値の最低値がより高くなる、前記所定数のストリームの組合わせを特定する参照情報を作成するステップと、前記作成された参照情報に基づいて、選択すべき前記所定数のストリームの組合わせを指示するステップと、最終的に選択された、前記所定数のストリームを伝送するステップとを含むことを特徴とする映像多重化方法である。
【００１５】
本発明は、上記の発明において、入力された映像データを小領域に分割することで複数のストリームを生成するステップと、前記分割された複数のストリームの各々を、複数の符号化レートで符号化し多重化するステップとを更に含むことを特徴とする。
【００１６】
本発明は、上記の発明において、前記所定数のストリームの組合わせを指定するステップと、前記所定数のストリームの組合わせが変更指示されると、前記参照情報に基づいて、前記選択されるべき前記所定数のストリームの組合わせを新たに指示するステップとを更に含むことを特徴とする。
【００１７】
本発明は、上記の発明において、前記所定数のストリームの組合わせを指定するステップと、前記所定数のストリームの組合わせが変更指示されると、変更指示された組合わせに含まれる前記所定数のストリームの符号化レートの総和が前記所定の伝送帯域以内となり、かつ、変更指示された組合わせに含まれる前記所定数のストリームの品質評価値の最低値がより高くなる、前記所定数のストリームの組合わせを特定する参照情報を新たに作成するステップとを更に含むことを特徴とする。
【００１８】
また、上述した課題を解決するために、本発明は、符号化された複数のストリームを符号化・多重化して所定の伝送帯域で伝送する映像多重化装置のコンピュータに、複数のストリームの各々を、複数の符号化レートで符号化し多重化する符号化機能、前記符号化機能により複数の符号レートで符号化された複数のストリームの中から所定数のストリームを選択する選択機能、前記符号化機能により複数の符号化レートで符号化された複数のストリームの各々に対する品質評価値を算出する評価値算出機能、前記選択機能により選択される前記所定数のストリームの符号化レートの総和が前記所定の伝送帯域以内となり、かつ、前記所定数のストリームの品質評価値の最低値がより高くなる、前記所定数のストリームの組合わせを特定する参照情報を作成する参照情報作成機能、前記参照情報作成機能により作成された参照情報に基づいて、前記選択機能により選択されるべき前記所定数のストリームの組合わせを指示する選択指示機能、前記選択機能により最終的に選択された、前記所定数のストリームを伝送する伝送機能を実現することを特徴とするプログラムである。
【発明の効果】
【００１９】
この発明によれば、符号化レートを下げ過ぎることなく、伝送レートに応じた最適な高画質映像を伝送することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１実施形態による映像伝送システムの構成を示すブロック図である。
【図２】本第１実施形態による、各データＩＤに対する評価値算出手順を説明するためのフローチャートである。
【図３】本第１実施形態でのコマンド変換の際に必要となる、参照情報の作成手順を説明するためのフローチャートである。
【図４】本第１実施形態でのストリームＩＤとデータＩＤとの対応情報を示す概念図である。
【図５】本第１実施形態での参照情報作成の詳細手順を説明するためのフローチャートである。
【図６】本第１実施形態での画質改善のための優先データＩＤ情報を示す概念図である。
【図７】本第１実施形態でのストリーム要求情報の作成例を示す概念図である。
【図８】本第１実施形態での参照情報を示す概念図である。
【図９】本第１実施形態での映像再生クライアント３０のコマンド送信手順を説明するためのフローチャートである。
【図１０】本第１実施形態での映像伝送サーバ２０のコマンド受信およびデータ送信手順を説明するためのフローチャートである。
【図１１】本第１実施形態での映像再生クライアント３０のデータ受信および映像表示手順を説明するためのフローチャートである。
【図１２】本第２実施形態による映像伝送システムの構成を示すブロック図である。
【図１３】本第２実施形態での映像分割部３０１による映像分割の一例を示す概念図である。
【図１４】本第２実施形態での各データＩＤに対するＳＮＲの算出手順を説明するためのフローチャートである。
【図１５】本第２実施形態でのビットレート（５００ｋｂｐｓ）で付与されたデータＩＤを示す概念図である。
【図１６】本第２実施形態でのビットレート（１Ｍｂｐｓ）で付与されたデータＩＤを示す概念図である。
【図１７】本第２実施形態でのビットレート（１．５Ｍｂｐｓ）で付与されたデータＩＤを示す概念図である。
【図１８】本第２実施形態でのタイルＩＤと映像符号化データＩＤの対応情報を示す概念図である。
【図１９】本第２実施形態での表示パターンの例を示す概念図である。
【図２０】本第２実施形態でのストリーム要求情報の作成例を示す概念図である。
【図２１】本第２実施形態での参照情報を示す概念図である。
【図２２】本発明の第３実施形態による映像伝送システムの構成を示すブロック図である。
【図２３】本発明の第４実施形態による映像伝送システムの構成を示すブロック図である。
【図２４】本発明の第５実施形態による、多重化装置１０における参照情報作成手順を説明するためのフローチャートである。
【図２５】本第５実施形態での多重化装置１０における評価値をキーとしたデータＩＤの昇順ソートの例を示す概念図である。
【図２６】従来技術による映像伝送システムの構成を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下、本発明の一実施形態を、図面を参照して説明する。
Ａ．第１実施形態
図１は、本発明の第１実施形態による映像伝送システムの構成を示すブロック図である。多重化装置１０において、符号化部２０１は、同期したＭ本のストリーム構成を持つ映像を入力とし、各ストリームを複数の符号化レートで符号化・多重化し、映像データを作成する。データ蓄積部２０２は、この映像データを蓄積する。参照情報作成部２０３は、データ蓄積部２０２に蓄積されている映像データを用いて、参照情報を作成し、参照情報蓄積部２０４に蓄積する。なお、参照情報、映像データの順に多重化したデータをデータ蓄積部２０２に蓄積してもよい。
【００２２】
映像伝送サーバ２０において、データ管理部２０５は、コマンド受信部２０６で受信した、映像再生クライアント３０からの「ストリーム要求情報」に従って、データ蓄積部２０２へＮ（≦Ｍ）本のストリーム要求を行うことで、データ蓄積部２０２に蓄積されたＭ本のストリームからＮ本のストリームを取り出し、データ送信部２０７へ転送する。データ送信部２０７は、Ｎ本のストリームを映像再生クライアント３０へ送出する。コマンド受信部２０６は、映像再生クライアント３０からのコマンドを受信する。参照情報送信部２０８は、参照情報蓄積部２０４から参照情報データを取り出し、映像再生クライアント３０へ送出する。
【００２３】
映像再生クライアント３０において、データ受信部２１２は、Ｎ本のストリームを受信する。復号化部２１３は、Ｎ本のストリームを復号する。映像表示部２１４は、復号化された部分映像を表示する。参照情報受信部２１６は、映像伝送サーバ２０から送信される参照情報を受信し、参照情報蓄積部２１０に蓄積する。ストリーム組合せ指定部２１５は、ストリーム組合せ指定の変更入力を受付ける。コマンド変換部２１１は、ストリーム組合せ指定に変更があった場合に、参照情報蓄積部２１０に蓄積された参照情報を参照し、「ストリーム組合せ情報」を「ストリーム要求情報」へ変換する。コマンド送信部２０９は、「ストリーム要求情報」に従って映像伝送サーバ２０にコマンド送信を行う。
【００２４】
なお、多重化装置１０におけるデータ蓄積部２０２と参照情報蓄積部２０４とを機能統合し、映像伝送サーバ２０におけるデータ送信部２０７と参照情報送信部２０８とを機能統合し、映像再生クライアント３０におけるデータ受信部２１２と参照情報受信部２１６とを機能統合するような構成も可能である。
【００２５】
また、図１では、映像再生クライアント３０において、コマンド変換部２０９は、「参照情報」を参照して、「ストリーム組合せ情報」を「ストリーム要求情報」へ変換しているが、映像伝送サーバ２０と映像再生クライアント３０とで「参照情報」を持つことで、コマンド変換部２１１にてコマンド変換せず、「ストリーム組合せ情報」を、直接、コマンドとして、コマンド送信部２０９より送信する構成も実施可能である。この構成の場合、映像伝送サーバ２０側で、参照情報を参照することで、「ストリーム組合せ情報」を「ストリーム要求情報」へ変換することができる。
【００２６】
次に、本第１実施形態の映像多重化・伝送方法について詳細に説明する。
本第１実施形態では、例えば、同期した１２本の入力ストリームから構成される映像を１０Ｍｂｐｓで伝送する際に、映像データを伝送する前に、参照情報を送信する。図１に示す多重化装置１０における参照情報作成部２０３での参照情報の作成手順は、各入力ストリームを複数のビットレートで符号化した結果に対する評価値算出手順と、評価値の算出結果を用いた参照情報作成手順とから構成される。
【００２７】
図２は、本第１実施形態による、符号化部２０１、参照情報作成部２０３による各データＩＤに対する評価値算出手順を説明するためのフローチャートである。まず、符号化部２０１は、同期した複数の入力ストリームにストリームＩＤを付与する。次に、各入力ストリームを複数の符号化レート（ビットレート）で符号化し（ステップＳ００１）、符号化後のストリームに対してデータＩＤを付与する（ステップＳ００２）。続いて、参照情報作成部２０３は、ストリームＩＤと映像符号化データＩＤの対応情報の作成を行い（ステップＳ００３）、最後に各データＩＤに対する評価値の算出を行う（ステップＳ００４）。
【００２８】
図３は、本第１実施形態による、コマンド変換部２１１でのコマンド変換の際に必要となる、参照情報作成部２０３による参照情報の作成手順を説明するためのフローチャートである。参照情報作成部２０３は、参照情報の作成の前に、まず、伝送帯域を示す「伝送レート」と、データＩＤの組合せから構成される「ストリーム組合せ」とを設定し（ステップＳ２０１）、基本となる符号化レートを示す「ベースビットレート」と、基本となる符号化レートより大きい符号化レートを示す「改善ビットレート」との設定を行う（ステップＳ２０２）。
【００２９】
次に、「ストリーム組合せ」内のベースビットレートにおけるデータＩＤから画質改善対象となるデータＩＤの個数を算出する（ステップＳ２０３）。次に、ステップＳ００４で算出した各データＩＤに対する評価値を用いて、優先的に画質改善が必要なデータＩＤの順位情報を作成する（ステップＳ２０４）。「ストリーム組合せ」内のベースビットレートにおけるデータＩＤから、ステップＳ２０３で算出されたデータＩＤの個数分を、改善ビットレートにおけるデータＩＤに変更する（ステップＳ２０５）。最後に、「ストリーム組合せ情報」と、データＩＤから構成される「ストリーム要求情報」との対応情報を含む参照情報の作成を行う（ステップＳ２０６）。
【００３０】
例えば、伝送レート：１０Ｍｂｐｓ、ベースビットレート：５００ｋｂｐｓ、改善ビットレート：１Ｍｂｐｓ、「ストリーム組合せ」をストリームＩＤ（７，８，９，１３，１４，１５，１９，２０，２１，２５，２６，２７）、評価値を平均ＳＮＲ（全フレームのＳＮＲ（信号雑音比：signal-noise ratio)の平均値）とした場合、ストリームＩＤとデータＩＤとの対応情報は、図４に示すようになる。
【００３１】
また、各フレームのＳＮＲは、次式（１）により算出する。
【００３２】
ＳＮＲ＝１０＊ｌｏｇ１０（ＭＡＸ２／ＭＳＥ） （１）
【００３３】
単位はデシベル［ｄＢ］である。ＭＡＸは、原画像が取り得る最大画素値である。例えば、ビット深度が８ビットの場合のＭＡＸの値は、２５５となる。また、数式（１）のＭＳＥとは、平均二乗誤差（Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ）のことであり、タイルサイズの原画像とローカルデコード画像との差分の二乗総和を、タイルサイズの画素数で割ることで求められる。
【００３４】
なお、符号化部２０１にてローカルデコード画像が得られない符号化モード（例えば、フルイントラモード）などの場合には、ローカルデコード画像作成（復号化）を符号化手順とは別に行う必要がある。
【００３５】
図５は、本第１実施形態による、多重化装置１０における参照情報作成の詳細手順を説明するためのフローチャートである。参照情報作成部２０３は、まず、「ストリーム組合せ」の設定（ストリームＩＤ（７，８，９，１３，１４，１５，１９，２０，２１，２５，２６，２７）、Ｎｔ＝１２）、伝送ビットレート（Ｍａｘ＿ｂｉｔｒａｔｅ）＝１０Ｍｂｐｓの設定を行う（ステップＳ３０１）。次に、ベースビットレート（ｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｂａｓｅ）＝５００ｋｂｐｓ、改善ビットレート（ｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｕｐ）＝１Ｍｂｐｓの設定を行う（ステップＳ３０２）。
【００３６】
次に、Ｎｔ（「ストリーム組合せ」のストリームＩＤの個数）×ｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｂａｓｅ（ベースビットレート）＜Ｍａｘ＿ｂｉｔｒａｔｅ（伝送ビットレート）であり（第１の条件）、かつ、Ｍ１（Ｍａｘ＿ｂｉｔｒａｔｅ−Ｎｔ×ｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｂａｓｅ）＞Ｍ２（ｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｕｐ−ｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｂａｓｅ）、または、Ｍ１＝Ｍ２となる第２の条件を満足するか否かを判定する（ステップＳ３０３）。
【００３７】
上記第１の条件、または第２の条件を満たさない場合には、ｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｂａｓｅ＝ｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｂａｓｅ−Δｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｂａｓｅ、ｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｕｐ＝ｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｕｐ−Δｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｕｐとし（ステップＳ３０４）、ステップＳ３０３に戻る。
【００３８】
一方、上述した設定条件では、「ストリーム組合せ」のストリームＩＤの個数よりＮｔ＝１２であるので、Ｎｔ×ｔｉｔｌｅ＿ｂｉｔｒａｔｅ＿ｂａｓｅ＝１２×０．５Ｍｂｐｓ＝６Ｍｂｐｓ＜Ｍａｘ＿ｂｉｔｒａｔｅ＝１０Ｍｂｐｓとなり、第１の条件を満たし、さらに、ｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｕｐ＝１Ｍｂｐｓであるので、Ｍ１＝１０−１２×０．５＝４Ｍｂｐｓ、Ｍ２＝１−０．５＝０．５Ｍｂｐｓとなり、Ｍ１＞Ｍ２の第２の条件を満たす（ステップＳ３０３のＹＥＳ）。
【００３９】
上記第１の条件、及び第２の条件を満たすと、Ｍｕｐ＝ＩＮＴ（４／０．５）＝８を算出し（ステップＳ３０５）、「ストリーム組合せ」内の１２個のベースビットレートにおけるデータＩＤに関するＹ成分のＳＮＲをキーとして昇順にソートする（ステップＳ３０６）。これにより、図６に示すソート結果を得る。
【００４０】
次に、Ｍｕｐ＝８から、ＳＮＲの小さい順に８個選定し（ステップＳ３０７）、図４に示す「データＩＤ」の対応情報を参照し、ベースビットレートｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｂａｓｅにおけるデータＩＤを、図７に示すように、改善ビットレートｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｕｐにおけるデータＩＤに変更する（ステップＳ３０８）。最後に、図８に示すように、「ストリーム組合せ」とデータＩＤから構成される「ストリーム要求情報」との対応情報を含む参照情報を作成する（ステップＳ３０９）。
【００４１】
次に、本第１実施形態による映像伝送システムで、映像再生クライアント３０からのコマンド送信から映像表示までの一連の手順について図９から図１１を参照して説明する。
【００４２】
図９は、映像再生クライアント３０のコマンド送信手順を説明するためのフローチャートである。まず、ストリーム組合せ指定部２１５にて、「ストリーム組合せ」の指定を行い（ステップＳ５０１）、コマンド変換部２１１にて、「ストリーム組合せ」から「ストリーム要求情報」への変換を行い（ステップＳ５０２）、コマンド送信部２０９にて、コマンド送信を行う（ステップＳ５０３）。
【００４３】
図１０は、映像伝送サーバ２０のコマンド受信およびデータ送信手順を説明するためのフローチャートである。まず、コマンド受信部２０６にて、コマンドを受信し（ステップＳ４０１）、コマンドに含まれる要求データＩＤの解釈を行い（ステップＳ４０２）、要求データＩＤに対応するストリームをデータ蓄積部２０２からデータ送信部２０７へ転送する（ステップＳ４０３）。最後に、データ送信部２０７にてストリームの送信を行う（ステップＳ４０４）。
【００４４】
図１１は、映像再生クライアント３０のデータ受信および映像表示手順を説明するためのフローチャートである。まず、データ受信部２１２にてストリームの受信を行い（ステップＳ６０１）、次に復号化部２１３にてストリームの復号化を行う（ステップＳ６０２）。最後に、映像表示部２１４にて復号化データの表示を行う（ステップＳ６０３）。
【００４５】
Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
図１２は、本第２実施形態による映像伝送システムの構成を示すブロック図である。なお、図１に対応する部分には同一の符号を付けて説明を省略する。多重化装置１０において、映像分割部３０１は、入力された映像データをＭ本のストリームに分割（タイル分割）する。符号化部２０１は、各ストリームを複数の符号化レートで符号化・多重化し、映像データを作成する。
【００４６】
上述したように、本第２実施形態では、映像分割部３０１にて、入力映像データを同期した複数のストリームに分割する。例えば、入力映像サイズ３８４０×１９２０画素、タイルサイズ６４０×３２０画素とした場合には、図１３に示すような分割結果となる。このとき、映像表示領域サイズを１９２０×１０８０画素とした場合、映像表示のパターンは、１２パターンとなる。
【００４７】
図１４は、各データＩＤに対するＳＮＲの算出手順を説明するためのフローチャートである。まず、３８４０×１９２０画素の入力映像を、図１３に示すように、６×６＝３６個にタイル分割する（ステップＳ１０１）。次に、各タイルを複数の段階のビットレート（例えば、５００ｋｂｐｓ、１Ｍｂｐｓ、１．５Ｍｂｐｓ）で符号化する（ステップＳ１０２）。続いて、各タイルの符号化結果に対するデータＩＤの付与を行う（ステップＳ１０３）。例えば、図１５、図１６、図１７には、複数の段階のビットレート（５００ｋｂｐｓ、１Ｍｂｐｓ、１．５Ｍｂｐｓ）で付与されたデータＩＤを示している。
【００４８】
次に、図１８に示すような、タイルＩＤと映像符号化データＩＤの対応情報を作成する（ステップＳ１０４）。最後に、入力画像のタイル分割後に得られるタイルサイズの原画像と、符号化部２０１での処理の過程で得られるタイルサイズのローカルデコード画像とから各データＩＤに対する平均ＳＮＲ（全フレームのＳＮＲの平均値）を算出する（ステップＳ１０５）。
【００４９】
ここで、各フレームのＳＮＲは、前述した第１実施形態と同様に、数式（１）で算出する。なお、符号化部２０１にてローカルデコード画像が得られない符号化モード（例えば、フルイントラモード）などの場合には、ローカルデコード画像作成（復号化）を、符号化手順とは別に行う必要がある。
【００５０】
本第２実施形態において、コマンド変換部２１１でのコマンド変換の際に必要となる、参照情報の作成手順は、前述した第１実施形態と同様（図３）であるので、異なる点についてのみ説明する。
【００５１】
例えば、図１３に示すように、タイルサイズを６４０×３２０画素、入力映像サイズを３８４０×１９２０画素、映像表示領域サイズを１９２０×１０８０画素とした場合の例について説明する。図１３に示すようなケースの場合、映像表示領域が拡大縮小せず、平行移動のみと仮定した場合、全部で表示パターンは、図１９に示すように、表示パターンＰ１〜Ｐ１２の１２パターンとなる。各タイルＩＤが付与されたストリームを入力画像として、図１５に示す、５００ｋｂｐｓで符号化した結果のストリーム、図１６に示す、１Ｍｂｐｓで符号化した結果を、図１７に示す、１．５Ｍｂｐｓで符号化した結果を、データＩＤ付与したとき、タイルＩＤとデータＩＤの対応関係は、図１８に表すことができる。
【００５２】
ここで、本第２実施形態において、伝送レート１０Ｍｂｐｓ、ベースビットレート５００ｋｂｐｓ、改善ビットレート１Ｍｂｐｓ、または１．５Ｍｂｐｓ、評価値を平均ＳＮＲ（全フレームのＳＮＲの平均値）とした場合について説明する。なお、本第２実施形態による、多重化装置１０における参照情報作成手順は、前述した第１実施形態と基本的に同様（図５）であるので、図５を参照して説明する。
【００５３】
ステップＳ３０１において、「ストリーム組合せ」として、図１９に示す「表示パターンＰ６」を設定、伝送レートが１０ＭｂｐｓなのでＭａｘ＿ｂｉｔｒａｔｅ＝１０Ｍｂｐｓで設定する。次に、ステップＳ３０２において、ベースビットレートｔｉｔｌｅ＿ｂｉｔｒａｔｅ＿ｂａｓｅ＝５００ｋｂｐｓ、改善ビットレートｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｕｐ＝１Ｍｂｐｓを設定した場合について説明する。
【００５４】
図１９に示す「表示パターンＰ６」内のタイル数は、１２タイルなので、Ｎｔ＝１２となる。よって、ステップＳ３０３において、Ｎｔ×ｔｉｔｌｅ＿ｂｉｔｒａｔｅ＿ｂａｓｅ＝１２×０．５Ｍｂｐｓ＝６ＭｂｐｓＭａｘ＿ｂｉｔｒａｔｅ＝１０Ｍｂｐｓとなり、条件を満たし、さらに、ｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｕｐ＝１Ｍｂｐｓの場合、Ｍ１＝１０−１２×０．５＝４Ｍｂｐｓ、Ｍ２＝１−０．５＝０．５Ｍｂｐｓとなり、Ｍ１＞Ｍ２の条件を満たす。
【００５５】
上記条件を満たすと、ステップＳ３０５で、Ｍｕｐ＝ＩＮＴ（４／０．５）＝８と算出できる。次に、図１８に示すタイルＩＤと映像符号化データＩＤとの対応情報より、「表示パターンＰ６」内の１２個のタイルＩＤに対応するベースビットレートにおけるデータＩＤを選択し、ステップＳ３０６において、このデータＩＤに関するＹ成分の平均ＳＮＲをキーとして昇順にソートする。これにより、図６に示すソート結果を得る。
【００５６】
次に、ステップＳ３０５で算出されたＭｕｐ＝８から、ステップＳ３０７において、ＳＮＲの小さい順に８個選定し、ステップＳ３０８において、図１８に示す「データＩＤ」の対応情報を参照し、ベースビットレートｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｂａｓｅにおけるデータＩＤを、改善ビットレートｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｕｐにおけるデータＩＤに変更する。最後に、ステップＳ３０９において、図８に示すように、「ストリーム組合せ」とデータＩＤとから構成される「ストリーム要求情報」の対応情報を含む参照情報を作成する。
【００５７】
一方、ｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｕｐ＝１．５Ｍｂｐと設定した場合には、ステップＳ３０３において、Ｍ１＝１０−１２×０．５＝４Ｍｂｐｓ、Ｍ２＝１．５−０．５＝１．０Ｍｂｐｓとなり、Ｍ１＞Ｍ２の条件を満たすので、ステップＳ３０５において、Ｍｕｐ＝ＩＮＴ（４／１．０）＝４と算出できる。
【００５８】
次に、ステップＳ３０６において、表示パターンＰ６内の１２個のタイル数分のデータＩＤに関するＹ成分のＳＮＲをキーとして昇順にソートする。これにより、図６に示すソート結果を得る。次に、Ｓ３０５で算出されたＭｕｐ＝４から、ステップＳ３０７において、ＳＮＲの小さい順に４個選定し、ステップＳ３０８において、図１８に示す「データＩＤ」の対応情報を参照し、ベースビットレートｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｂａｓｅにおけるデータＩＤを、図２０に示すように、改善ビットレートｔｉｌｅ＿ｂｉｔｒａｔｅ＿ｕｐにおけるデータＩＤに変更する。最後に、ステップＳ３０９において、図２１に示すように、「ストリーム組合せ」とデータＩＤから構成される「ストリーム要求情報」との対応情報を含む参照情報を作成する。
【００５９】
なお、本第２実施形態において、映像再生クライアントにおけるコマンド送信から映像表示までの一連の手順については、前述した第１実施形態と同様（図９から図１１）であるので、説明を省略する。
【００６０】
Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。
図２２は、本第３実施形態による映像伝送システムの構成を示すブロック図である。なお、図１に対応する部分には同一の符号を付けて説明を省略する。多重化装置１０において、評価値計算部４０３は、データ蓄積部４０２に蓄積されている映像データを用いて、評価値を計算し、計算値蓄積部４０４に蓄積する。なお、評価値、映像データの順に多重化したデータをデータ蓄積部４０２に蓄積してもよい。
【００６１】
映像伝送サーバ２０において、評価値送信部４０８は、評価値蓄積部４０４から評価値情報を取り出し、映像再生クライアントへ送出する。
【００６２】
映像再生クライアント３０において、評価値受信部４１５は、映像伝送サーバ２０から送信される評価値情報を受信し、評価値蓄積部４１６に蓄積する。参照情報作成部４１８は、ストリーム組合せ指定に変更があった場合に、評価値蓄積部４１６から評価値情報を取り出し、参照情報の作成を行い、該参照情報を参照情報蓄積部２１０に蓄積する。
【００６３】
なお、多重化装置１０におけるデータ蓄積部２０２と評価値蓄積部４０４とを機能統合し、映像伝送サーバ２０におけるデータ送信部２０７と評価値送信部４０８とを機能統合し、映像再生クライアント３０におけるデータ受信部２１２と評価値受信部４１５とを機能統合するような構成も可能である。
【００６４】
本第３実施形態は、前述した第１実施形態の変形であり、図１の構成と図２２の構成とを比較することで分かる通り、多重化装置１０で参照情報を作成するのではなく、映像再生クライアント３０で参照情報の作成を行う。
【００６５】
このため、映像伝送クライアント３０に送信される情報は、図８、及び図２１に示す情報ではなく、図４に示すストリームＩＤと映像符号化データＩＤとの対応情報、及び図６に示すソートした結果（ここでは、全データＩＤに対する平均ＳＮＲ計算結果）となる。映像再生クライアント３０での参照情報の作成は、前述した第１実施形態と同様である。つまり、図５における、ステップＳ３０１の「ストリーム組合せ」の設定を、図２２に示すストリーム組合せ指定部２１５にて行い、「ストリーム組合せ」の指定の変化に応じて、図５に示す手順で参照情報の作成を行う。
【００６６】
Ｄ．第４実施形態
次に、本発明の第４実施形態について説明する。
図２３は、本第４実施形態による映像伝送システムの構成を示すブロック図である。なお、図１、図１２、図２２に対応する部分には同一の符号を付けて説明を省略する。図２３から明らかなように、本第４実施形態による映像伝送システムは、図１に示す第１実施形態による映像伝送システムの構成に対して、図１２に示す第２実施形態の構成、及び図２２に示す第３実施形態の構成を採用した構成となっている。
【００６７】
すなわち、本第４実施形態による映像伝送システムでは、多重化装置１０において、映像分割部３０１が、入力された映像データをＭ本のストリームに分割（タイル分割）し、評価値計算部４０３は、データ蓄積部５０３に蓄積されている映像データを用いて、評価値を計算し、計算値蓄積部４０４に蓄積する。また、映像伝送サーバ２０において、評価値送信部４０８は、評価値蓄積部４０４から評価値情報を取り出し、映像再生クライアント３０へ送出する。映像再生クライアント３０において、評価値受信部４１５は、映像伝送サーバ２０から送信される評価値情報を受信し、評価値蓄積部４１６に評価値情報を蓄積し、参照情報作成部４１８は、ストリーム組合せ指定に変更があった場合に、評価値蓄積部４１６から評価値情報を取り出し、参照情報の作成を行い、参照情報を参照情報蓄積部２１０に蓄積する。
【００６８】
本第４実施形態は、前述した第１実施形態の変形であり、図１２の構成と図２３の構成とを比較することで分かる通り、多重化装置１０で参照情報を作成するのではなく、映像再生クライアント３０で参照情報の作成を行う。
【００６９】
このため、映像伝送クライアント３０に送信される情報は、図８、及び図２１に示す情報ではなく、図１８、及び図６（ここでは、全データＩＤに対する平均ＳＮＲ計算結果）に示す情報となる。映像再生クライアント３０での参照情報の作成は、前述した第２実施形態と同様であり、図５における、ステップＳ３０１の「ストリーム組合せ」の設定を、図２３のストリーム組合せ指定部２１５にて行い、「ストリーム組合せ」の指定の変化に応じて、図５に示す手順で参照情報の作成を行えばよい。
【００７０】
Ｅ．第５実施形態
次に、本発明の第５実施形態について説明する。
本第５実施形態による映像伝送システムの構成は、図１２に示す本第２実施形態による映像伝送システムの構成と同じであるので説明を省略する。本第５実施形態では、伝送レート：１１Ｍｂｐｓ、ベースビットレート：５００ｋｂｐｓ、改善ビットレート：１Ｍｂｐｓ、及び１．５Ｍｂｐｓ（２段階の改善）、評価値を平均ＳＮＲ（全フレームのＳＮＲの平均値）とした場合の参照情報作成手順について説明する。
【００７１】
図２４は、本第５実施形態による、多重化装置１０における参照情報作成手順を説明するためのフローチャートである。まず、伝送帯域を示す「伝送レート」を１１Ｍｂｐｓに設定し、データＩＤの組合せから構成される「ストリーム組合せ」の設定（ストリームＩＤ＝（７，８，９，１３，１４，１５，１９，２０，２１，２５，２６，２７））を行い（ステップＳ７０１）、次に、基本となる符号化レートを示す「ベースビットレート」＝５００ｋｂｐｓと、基本となる符号化レートより大きい符号化レートを示す「改善ビットレート」＝１Ｍｂｐｓ ａｎｄ １．５Ｍｂｐｓの設定を行う（ステップＳ７０２）。
【００７２】
次に、図２５に示すように、評価値（ＳＮＲ＿Ｙ５００で示される平均ＳＮＲ）をキーとしたデータＩＤの昇順ソートを行い（ステップＳ７０３）、ベースビットレートによる符号化データに付与されたデータＩＤ＝（１０７，１０８，１０９，１１３，１１４，１１５，１１９，１２０，１２１，１２５，１２６，１２７）のうち、ＳＮＲが最低値を示すデータＩＤ＝１２１を、１段階上の１Ｍｂｐｓで符号化されたデータに付与されたデータＩＤ＝２２１に変更する（ステップＳ７０４）。変更後は、データＩＤ＝（１０７，１０８，１０９，１１３，１１４，１１５，１１９，１２０，２２１，１２５，１２６，１２７）となる。
【００７３】
この結果、総ビットレート１１×０．５Ｍｂｐｓ＋１×１Ｍｂｐｓ＝６．５Ｍｂｐｓ＜伝送レート：１１Ｍｂｐｓとなり（ステップＳ７０５のＮＯ）、Ｓ７０３へ戻る。なお、ソートとデータＩＤ変更を複数回行った後、データＩＤ＝２２１をさらに変更する際には、１段階上の１．５Ｍｂｐｓで符号化されたデータに付与されたデータＩＤ＝３２１に変更する。
【００７４】
そして、ステップＳ７０５にて、ＹＥＳとなった場合には、総ビットレートが伝送レートを超えていることを示しているので、直前のデータＩＤ変更を元に戻す（ステップＳ７０６）。今回のケースでは、１０回のデータＩＤ変更が実施され、図２５に示すような結果を得ることができる。ここで、ＳＮＲ＿Ｙは、変更後のデータＩＤに対応したデータに対応した平均ＳＮＲを示している。次に、図２５に斜線で示すデータＩＤに基づいて、参照情報を作成する（ステップＳ７０７）。
【００７５】
なお、図２５には、変更前のデータＩＤと図４により対応付けられたデータＩＤに対する平均ＳＮＲとを示している。
【００７６】
上述した第１実施形態から第５実施形態によれば、複数の同期したストリーム構成からなる映像に対して、複数のビットレートで符号化、及び多重化した映像データから伝送レートに適したＮ本のストリームを取り出して伝送することで、伝送レート＜Ｎ×固定符号化レートの場合であっても、Ｎ本のストリームから構成される部分映像を送出することができ、伝送レート≧Ｎ×固定符号化レートとなるように、符号化レートを下げ過ぎることなく、伝送レートに応じた最適な高画質映像を伝送することができる。
【符号の説明】
【００７７】
１０ 多重化装置
２０ 映像伝送サーバ
３０ 映像再生クライアント
２０１ 符号化部
２０２ データ蓄積部
２０３ 参照情報作成部
２０４ 参照情報蓄積部
２０５ データ管理部
２０６ コマンド受信部
２０７ データ送信部
２０８ 参照情報送受信部
２０９ コマンド送信部
２１０ 参照情報蓄積部
２１１ コマンド変換部
２１２ データ受信部
２１３ 復号化部
２１４ 映像表示部
２１５ ストリーム組合わせ指定部
２１６ 参照情報受信部
【特許請求の範囲】
【請求項１】
符号化された複数のストリームを符号化・多重化して所定の伝送帯域で伝送する映像多重化装置であって、
複数のストリームの各々を、複数の符号化レートで符号化し多重化する符号化手段と、
前記符号化手段により複数の符号レートで符号化された複数のストリームの中から所定数のストリームを選択する選択手段と、
前記符号化手段により複数の符号化レートで符号化された複数のストリームの各々に対する品質評価値を算出する評価値算出手段と、
前記選択手段により選択される前記所定数のストリームの符号化レートの総和が前記所定の伝送帯域以内となり、かつ、前記所定数のストリームの品質評価値の最低値がより高くなる、前記所定数のストリームの組合わせを特定する参照情報を作成する参照情報作成手段と、
前記参照情報作成手段により作成された参照情報に基づいて、前記選択手段により選択されるべき前記所定数のストリームの組合わせを指示する選択指示手段と、
前記選択手段により最終的に選択された、前記所定数のストリームを伝送する伝送手段と
を備えることを特徴とする映像多重化装置。
【請求項２】
入力された映像データを小領域に分割することで複数のストリームを生成する映像分割手段を更に備え、
前記符号化手段は、
前記映像分割手段により分割された複数のストリームの各々を、複数の符号化レートで符号化し多重化することを特徴とする請求項１記載の映像多重化装置。
【請求項３】
前記所定数のストリームの組合わせを指定する指定手段を更に具備し、
前記選択指示手段は、
前記指定手段により前記所定数のストリームの組合わせが変更指示されると、前記参照情報作成手段により作成された参照情報に基づいて、前記選択手段により選択されるべき前記所定数のストリームの組合わせを新たに指示することを特徴とする請求項１または２に記載の映像多重化装置。
【請求項４】
前記所定数のストリームの組合わせを指定する指定手段を更に具備し、
前記参照情報作成手段は、
前記指定手段により前記所定数のストリームの組合わせが変更指示されると、変更指示された組合わせに含まれる前記所定数のストリームの符号化レートの総和が前記所定の伝送帯域以内となり、かつ、変更指示された組合わせに含まれる前記所定数のストリームの品質評価値の最低値がより高くなる、前記所定数のストリームの組合わせを特定する参照情報を新たに作成することを特徴とする請求項１または２に記載の映像多重化装置。
【請求項５】
符号化された複数のストリームを符号化・多重化して所定の伝送帯域で伝送する映像多重化方法であって、
複数のストリームの各々を、複数の符号化レートで符号化し多重化するステップと、
前記複数の符号レートで符号化された複数のストリームの中から所定数のストリームを選択するステップと、
前記複数の符号化レートで符号化された複数のストリームの各々に対する品質評価値を算出するステップと、
前記所定数のストリームの符号化レートの総和が前記所定の伝送帯域以内となり、かつ、前記所定数のストリームの品質評価値の最低値がより高くなる、前記所定数のストリームの組合わせを特定する参照情報を作成するステップと、
前記作成された参照情報に基づいて、選択すべき前記所定数のストリームの組合わせを指示するステップと、
最終的に選択された、前記所定数のストリームを伝送するステップと
を含むことを特徴とする映像多重化方法。
【請求項６】
入力された映像データを小領域に分割することで複数のストリームを生成するステップと、
前記分割された複数のストリームの各々を、複数の符号化レートで符号化し多重化するステップと
を更に含むことを特徴とする請求項５記載の映像多重化方法。
【請求項７】
前記所定数のストリームの組合わせを指定するステップと、
前記所定数のストリームの組合わせが変更指示されると、前記参照情報に基づいて、前記選択されるべき前記所定数のストリームの組合わせを新たに指示するステップと
を更に含むことを特徴とする請求項５または６に記載の映像多重化方法。
【請求項８】
前記所定数のストリームの組合わせを指定するステップと、
前記所定数のストリームの組合わせが変更指示されると、変更指示された組合わせに含まれる前記所定数のストリームの符号化レートの総和が前記所定の伝送帯域以内となり、かつ、変更指示された組合わせに含まれる前記所定数のストリームの品質評価値の最低値がより高くなる、前記所定数のストリームの組合わせを特定する参照情報を新たに作成するステップと
を更に含むことを特徴とする請求項５または６に記載の映像多重化方法。
【請求項９】
符号化された複数のストリームを符号化・多重化して所定の伝送帯域で伝送する映像多重化装置のコンピュータに、
複数のストリームの各々を、複数の符号化レートで符号化し多重化する符号化機能、
前記符号化機能により複数の符号レートで符号化された複数のストリームの中から所定数のストリームを選択する選択機能、
前記符号化機能により複数の符号化レートで符号化された複数のストリームの各々に対する品質評価値を算出する評価値算出機能、
前記選択機能により選択される前記所定数のストリームの符号化レートの総和が前記所定の伝送帯域以内となり、かつ、前記所定数のストリームの品質評価値の最低値がより高くなる、前記所定数のストリームの組合わせを特定する参照情報を作成する参照情報作成機能、
前記参照情報作成機能により作成された参照情報に基づいて、前記選択機能により選択されるべき前記所定数のストリームの組合わせを指示する選択指示機能、
前記選択機能により最終的に選択された、前記所定数のストリームを伝送する伝送機能
を実現することを特徴とするプログラム。
【請求項１】
符号化された複数のストリームを符号化・多重化して所定の伝送帯域で伝送する映像多重化装置であって、
複数のストリームの各々を、複数の符号化レートで符号化し多重化する符号化手段と、
前記符号化手段により複数の符号レートで符号化された複数のストリームの中から所定数のストリームを選択する選択手段と、
前記符号化手段により複数の符号化レートで符号化された複数のストリームの各々に対する品質評価値を算出する評価値算出手段と、
前記選択手段により選択される前記所定数のストリームの符号化レートの総和が前記所定の伝送帯域以内となり、かつ、前記所定数のストリームの品質評価値の最低値がより高くなる、前記所定数のストリームの組合わせを特定する参照情報を作成する参照情報作成手段と、
前記参照情報作成手段により作成された参照情報に基づいて、前記選択手段により選択されるべき前記所定数のストリームの組合わせを指示する選択指示手段と、
前記選択手段により最終的に選択された、前記所定数のストリームを伝送する伝送手段と
を備えることを特徴とする映像多重化装置。
【請求項２】
入力された映像データを小領域に分割することで複数のストリームを生成する映像分割手段を更に備え、
前記符号化手段は、
前記映像分割手段により分割された複数のストリームの各々を、複数の符号化レートで符号化し多重化することを特徴とする請求項１記載の映像多重化装置。
【請求項３】
前記所定数のストリームの組合わせを指定する指定手段を更に具備し、
前記選択指示手段は、
前記指定手段により前記所定数のストリームの組合わせが変更指示されると、前記参照情報作成手段により作成された参照情報に基づいて、前記選択手段により選択されるべき前記所定数のストリームの組合わせを新たに指示することを特徴とする請求項１または２に記載の映像多重化装置。
【請求項４】
前記所定数のストリームの組合わせを指定する指定手段を更に具備し、
前記参照情報作成手段は、
前記指定手段により前記所定数のストリームの組合わせが変更指示されると、変更指示された組合わせに含まれる前記所定数のストリームの符号化レートの総和が前記所定の伝送帯域以内となり、かつ、変更指示された組合わせに含まれる前記所定数のストリームの品質評価値の最低値がより高くなる、前記所定数のストリームの組合わせを特定する参照情報を新たに作成することを特徴とする請求項１または２に記載の映像多重化装置。
【請求項５】
符号化された複数のストリームを符号化・多重化して所定の伝送帯域で伝送する映像多重化方法であって、
複数のストリームの各々を、複数の符号化レートで符号化し多重化するステップと、
前記複数の符号レートで符号化された複数のストリームの中から所定数のストリームを選択するステップと、
前記複数の符号化レートで符号化された複数のストリームの各々に対する品質評価値を算出するステップと、
前記所定数のストリームの符号化レートの総和が前記所定の伝送帯域以内となり、かつ、前記所定数のストリームの品質評価値の最低値がより高くなる、前記所定数のストリームの組合わせを特定する参照情報を作成するステップと、
前記作成された参照情報に基づいて、選択すべき前記所定数のストリームの組合わせを指示するステップと、
最終的に選択された、前記所定数のストリームを伝送するステップと
を含むことを特徴とする映像多重化方法。
【請求項６】
入力された映像データを小領域に分割することで複数のストリームを生成するステップと、
前記分割された複数のストリームの各々を、複数の符号化レートで符号化し多重化するステップと
を更に含むことを特徴とする請求項５記載の映像多重化方法。
【請求項７】
前記所定数のストリームの組合わせを指定するステップと、
前記所定数のストリームの組合わせが変更指示されると、前記参照情報に基づいて、前記選択されるべき前記所定数のストリームの組合わせを新たに指示するステップと
を更に含むことを特徴とする請求項５または６に記載の映像多重化方法。
【請求項８】
前記所定数のストリームの組合わせを指定するステップと、
前記所定数のストリームの組合わせが変更指示されると、変更指示された組合わせに含まれる前記所定数のストリームの符号化レートの総和が前記所定の伝送帯域以内となり、かつ、変更指示された組合わせに含まれる前記所定数のストリームの品質評価値の最低値がより高くなる、前記所定数のストリームの組合わせを特定する参照情報を新たに作成するステップと
を更に含むことを特徴とする請求項５または６に記載の映像多重化方法。
【請求項９】
符号化された複数のストリームを符号化・多重化して所定の伝送帯域で伝送する映像多重化装置のコンピュータに、
複数のストリームの各々を、複数の符号化レートで符号化し多重化する符号化機能、
前記符号化機能により複数の符号レートで符号化された複数のストリームの中から所定数のストリームを選択する選択機能、
前記符号化機能により複数の符号化レートで符号化された複数のストリームの各々に対する品質評価値を算出する評価値算出機能、
前記選択機能により選択される前記所定数のストリームの符号化レートの総和が前記所定の伝送帯域以内となり、かつ、前記所定数のストリームの品質評価値の最低値がより高くなる、前記所定数のストリームの組合わせを特定する参照情報を作成する参照情報作成機能、
前記参照情報作成機能により作成された参照情報に基づいて、前記選択機能により選択されるべき前記所定数のストリームの組合わせを指示する選択指示機能、
前記選択機能により最終的に選択された、前記所定数のストリームを伝送する伝送機能
を実現することを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【公開番号】特開２０１１−１０９１７６（Ｐ２０１１−１０９１７６Ａ）
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願番号】特願２００９−２５８９７０（Ｐ２００９−２５８９７０）
【出願日】平成２１年１１月１２日（２００９．１１．１２）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願日】平成２１年１１月１２日（２００９．１１．１２）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]