ＴＶ会議システム、映像配信装置、及びデータ処理方法
【課題】階層的に符号化された映像データの特徴を用いて実行される送信データ調整によるネットワーク帯域制御技術と、送信する映像の種類を検知する画像認識技術を組み合わせ、映像端末間を中継する映像配信装置にて処理を行い、映像の種類にとって最適な解像度、フレームレート、ＳＮＲで映像データを送信する。
【解決手段】映像配信装置は、映像端末から受信され、複数の階層を含む符号化データ中の階層の一部分を復号化する部分的復号化手段と、復号化された映像データの映像の種類を判別する映像種類判別手段と、判別結果に基づいて優先させる階層を指定する優先階層指定手段と、指定された階層を優先的に残しながら符号化データに含まれる階層の一部分を取り除いた調整符号化データを生成する階層切出手段と、を備え、階層切出手段により生成された調整符号化データを配信する。
【解決手段】映像配信装置は、映像端末から受信され、複数の階層を含む符号化データ中の階層の一部分を復号化する部分的復号化手段と、復号化された映像データの映像の種類を判別する映像種類判別手段と、判別結果に基づいて優先させる階層を指定する優先階層指定手段と、指定された階層を優先的に残しながら符号化データに含まれる階層の一部分を取り除いた調整符号化データを生成する階層切出手段と、を備え、階層切出手段により生成された調整符号化データを配信する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークによりリアルタイムで映像データや音声データを送受信するＴＶ会議システムに関し、特に端末と端末間とを中継する映像配信装置が行う配信映像の品質調整技術に関するものである。
【背景技術】
【０００２】
ＴＶ会議システムにおいては、映像データと音声データとをリアルタイムに送受信するため、使用するネットワークの品質が保証されていない場合には、十分な性能を発揮できないことがある。そこで、端末と端末間の通信を中継する映像配信装置は通信パケットの損失や通信遅延時間などの情報を交換し、使用しているネットワークの状態を検知する。この検知したネットワークの状態に合わせて、端末が送受信する映像の解像度、フレームレートやＳＮＲ（画質）を調整するという制御技術が考えられている。
これに対し、スケーラブル映像符号化技術を用いて送信先である各端末とネットワークの状態に合わせて映像データ量を映像配信装置で調節する技術が既に知られている。
【０００３】
ここで、従来のＴＶ会議システムについて説明する。図５は、従来のＴＶ会議システムにおける端末と映像配信装置の構成を示す図である。図５は従来のＨ．２６４／ＳＶＣ（スケーラブル映像符号化）を用いたＴＶ会議システムにおける端末と端末間を中継する映像配信装置の構成を表している。
ＴＶ会議システム１００は、各拠点Ａ、Ｂに夫々設置されて、映像データ等の送受信を行う端末１１０（１１０ａ、１１０ｂ）と、ＴＶ会議をしている際の自拠点の映像を撮影するカメラ１２１（１２１ａ、１２１ｂ）と、ＴＶ会議をしている他拠点の映像を表示するディスプレイ１２３（１２３ａ、１２３ｂ）と、夫々の端末１１０ａと１１０ｂを中継する映像配信装置１３０と、を備えている。
端末１１０は、映像データをＨ．２６４／ＳＶＣ方式にて圧縮符号化するＨ．２６４／ＳＶＣエンコーダー１１１と、Ｈ．２６４／ＳＶＣ方式にて圧縮符号化された映像データを復号化するＨ．２６４／ＳＶＣデコーダー１１３と、を備えている。端末１１０は、映像配信装置１３０との間で映像データ等の通信を行う。
カメラ１２１は、ＴＶ会議をしている際の映像を撮影する装置である。ディスプレイ１２３は他拠点の映像を表示する装置である。カメラ１２１とディスプレイ１２３は、夫々端末１１０に接続されている。
映像配信装置１３０は、映像データの中継と送信データ量の調整を行う装置であり、ネットワーク状態・受信端末状態検知部１３１と、映像データのレイヤー切出部１３３（１３３ａ、１３３ｂ）と、を備えている。
【０００４】
以上のように構成されたＴＶ会議システム１００の動作について、端末１１０ａから端末１１０ｂに映像データが送信される場合の例により説明する。
端末１１０ａのＨ．２６４／ＳＶＣエンコーダー１１１ａは、カメラ１２１ａで撮影された自拠点の映像をスケーラブル圧縮符号化し、映像配信装置１３０に送信する。ここでＨ．２６４／ＳＶＣを用いた映像符号化では、空間（解像度）、時間（フレームレート）、画質（ＳＮＲ）の情報を粗い情報から細かい情報へと階層化（レイヤー化）して符号化することにより、解像度、フレームレート、ＳＮＲのスケーラビリティを実現することが知られている。以降、各レイヤーはそれぞれ、空間レイヤー（解像度）、時間レイヤー（フレームレート）、画質レイヤー（ＳＮＲ）と表現する。
映像配信装置１３０は端末１１０ｂと通信を行い、ネットワーク状態・受信端末状態検知部１３１にて、受信側端末との間のネットワークＮの状態（使用可能な通信帯域、パケット損失率など）と受信側の端末１１０ｂの状態（処理性能、現在の稼働率など）を検知し、検知した結果に応じて、端末１１０ａから受信した映像データの調整をする。この調整の際にはレイヤー切出部１３３ａを用いて、受信した映像データからレイヤーを切り出し、受信側端末である端末１１０ｂに送信する。
端末１１０ｂは、映像配信装置１３０から受信した映像データをＨ．２６４／ＳＶＣデコーダー１１３ｂによって復号化し、ディスプレイ１２３ｂに表示する。
これを拠点Ａと拠点Ｂとの間で双方向に行うことにより、互いの映像を送受信する。
【０００５】
図６は、従来のＴＶ会議システムにおける映像データの処理フロー図である。従来のＨ．２６４／ＳＶＣを用いたＴＶ会議システムにおいて、映像データは以下のように処理される。なお、端末１１０ａを送信側端末とし、端末１１０ｂを受信側端末として説明する。
（ステップＳ１０１）送信側端末１１０ａはカメラ１２１ａにて撮影した映像を、Ｈ．２６４／ＳＶＣエンコーダー１１１ａにて圧縮符号化する。
（ステップＳ１０２）送信側端末１１０ａは、圧縮符号化された映像データを映像配信装置１３０に送信する。
（ステップＳ１０３）映像配信装置１３０は、送信側端末１１０ａから映像データを受信する。
（ステップＳ１０４）ネットワーク状態・受信端末状態検知部１３１は、受信側端末１１０ｂの状態、ネットワークＮの状態から送信可能なデータ量を検知する。
（ステップＳ１０５）レイヤー切出部１３３ａは、受信した映像データのレイヤーを切り出し、ステップＳ１０４で検知した送信可能なデータ量に調整する。
（ステップＳ１０６）映像配信装置１３０は、受信側端末１１０ｂに映像データを送信する。
（ステップＳ１０７）受信側端末１１０ｂは映像配信装置１３０から映像データを受信する。
（ステップＳ１０８）Ｈ．２６４／ＳＶＣデコーダー１１３ｂは、受信した映像データをＨ．２６４／ＳＶＣ方式にて復号化する。
（ステップＳ１０９）受信側端末１１０ｂは、復号化した映像データをディスプレイ１２３ｂに表示する。
以上のようなステップでＴＶ会議の映像配信を実施している。
【０００６】
上記と同様の技術として特許文献１には、音声品質の劣化や遅延を抑える目的で、映像音声制御装置がネットワークの状態や各クライアントのＣＰＵの状態の変化によって、クライアントまたは各映像配信装置に対してビットレート、フレームレート、解像度およびフレーム間引きの少なくとも１つを含む映像の品質を調整するように制御する構成が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら従来の制御技術では、映像の種類に関係なく、ネットワークの状態や端末の状態に基づいて、映像配信装置が送信する映像データの解像度、フレームレート、ＳＮＲを調節する。従って、解像度が重要な映像であっても解像度を下げて、またフレームレートが重要ではないにもかかわらずフレームレートはそのままにして送信されるといったような、映像コンテンツに対して最適ではない調整が行われるという問題があった。
たとえば、図５、６に示したＴＶ会議システムにおいては、レイヤー切り出しによる映像データ量の調整の際に、その映像データの種類を考慮してないため、映像コンテンツに対して最適ではない調整が行われるという問題がある。上記問題は、特許文献１においても、解決されていない。
本発明は、上述の事情に鑑みてなされたものであり、階層的に符号化された映像データの特徴を用いて実行される送信データ調整による帯域制御技術と、送信する映像の種類を検知する画像認識技術を組み合わせ、端末間を中継する映像配信装置にて処理を行うことにより、端末の構成を変えずに、映像の種類にとって最適な解像度、フレームレート、ＳＮＲで映像データを送信することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明に係るＴＶ会議システムは、映像データを符号化して複数の階層が含まれる符号化データを生成する映像端末と、該映像端末から受信した前記符号化データに含まれる階層の少なくとも一部分を復号化する部分的復号化手段と、該部分的復号化手段により復号化された映像データの映像の種類を判別する映像種類判別手段と、該映像種類判別手段による判別結果に基づいて、前記符号化データに含まれる階層の中で優先させる階層を指定する優先階層指定手段と、該優先階層指定手段により指定された階層を優先的に残しながら、前記符号化データに含まれる階層の一部分を取り除いた調整符号化データを生成する階層切出手段と、を備え、該階層切出手段により生成された前記調整符号化データを配信する映像配信装置と、が接続されていることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、階層的に符号化された映像データの特徴を用いて実行される送信データ調整による帯域制御技術と、送信する映像の種類を検知する画像認識技術を組み合わせ、端末間を中継する映像配信装置にて処理を行うことにより、端末の構成を変えずに、映像の種類にとって最適な解像度、フレームレート、ＳＮＲで映像データを送信することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の１実施形態に係るＴＶ会議システムを示した概略構成図である。
【図２】本発明の１実施形態に係るＴＶ会議システムの端末と映像配信装置の具体的な内容を示した概略構成図である。
【図３】本発明の１実施形態に係る符号化映像データを示す模式図である。
【図４】本発明の１実施形態に係るＴＶ会議システムにおける映像データの処理フロー図である。
【図５】従来のＴＶ会議システムにおける端末と映像配信装置の構成を示す図である。
【図６】従来のＴＶ会議システムにおける映像データの処理フロー図である。
【発明を実施するための形態】
【００１１】
本発明の実施の形態を説明する。本発明は、ＴＶ会議システムのようなリアルタイムで映像を送受信するシステムにおいて、端末や端末間を中継する映像配信装置が行う送信映像の調整に際して、以下の特徴を有する。
要するに、端末は従来通りの構成でスケーラブルにエンコードされた映像データを、端末間を中継する映像配信装置に送信する。映像配信装置ではスケーラブルにエンコードされた映像データのうち空間レイヤーの低解像度側のレイヤーをデコードし、デコードされた映像から映像の種類を検知する。映像配信装置は検知された映像の種類から現在の映像コンテンツにとって解像度、フレームレート、又は画質のいずれが重要かを判断する。映像配信装置は従来通りの方法で各受信端末のネットワーク状態を検知しており、送信可能な帯域に合わせて映像データ量を調整するが、上記の判断結果に応じて解像度、フレームレート、画質を優先的に残してデータ量を調整し、各端末に送信することが特徴になっている。
上記記載の本発明の特徴について、以下、図面を用いて詳細に解説する。
【００１２】
図１は、本発明の１実施形態に係るＴＶ会議システムを示した概略構成図である。ＴＶ会議システム１は、各拠点Ａ、Ｂに夫々設置されて、映像データ等の送受信を行う端末１０（１０ａ、１０ｂ）と、ＴＶ会議をしている際の自拠点の映像を撮影するカメラ２１（２１ａ、２１ｂ）と、ＴＶ会議をしている他拠点の映像を表示するディスプレイ２３（２３ａ、２３ｂ）と、夫々の端末１０ａ、１０ｂを中継する映像配信装置３０と、を備えている。また、各端末１０ａ、１０ｂと映像配信装置３０は、互いにネットワークＮを介して接続されている。
以下の説明において拠点Ａの装置と拠点Ｂの装置を区別しないときは、「端末１０」のようにアルファベットの小文字符号を省略して記載する。
【００１３】
図２は、本発明の１実施形態に係るＴＶ会議システムの端末と映像配信装置の具体的な内容を示した概略構成図である。図２では、本発明のＴＶ会議システムにおける端末と端末間を中継する映像配信装置の構成を表している。この構成の特徴は、図５に示した従来の構成に加え、映像配信装置に従来周知のＨ．２６４／ＳＶＣデコーダー３５、映像種類判別部３７と優先レイヤー指定部３９を備えていることである。
図２に示すように、拠点Ａ、Ｂに夫々設置された端末は従来と同様の構成（図５参照）を有している。すなわち、端末１０は、映像データをＨ．２６４／ＳＶＣ方式にて圧縮符号化するＨ．２６４／ＳＶＣエンコーダー１１（符号化手段）と、Ｈ．２６４／ＳＶＣ方式にて圧縮符号化された映像データを復号化するＨ．２６４／ＳＶＣデコーダー１３（復号化手段）と、を備えている。端末１０は、映像配信装置３０との間で映像データ等の通信を行う。カメラ２１は、ＴＶ会議をしている際の映像を撮影する装置である。ディスプレイ２３は他拠点の映像を表示する装置である。カメラ２１とディスプレイ２３は、夫々端末１０に接続されている。
端末１０のＨ．２６４／ＳＶＣエンコーダー１１は、カメラ２１で撮影された自拠点の映像をスケーラブル圧縮符号化してスケーラブル符号化データを生成し、映像配信装置３０に送信する。ここでＨ．２６４／ＳＶＣを用いた映像符号化では、空間（解像度）、時間（フレームレート）、画質（ＳＮＲ）の情報を粗い情報から細かい情報へと階層化（レイヤー化）して符号化することにより、解像度、フレームレート、ＳＮＲのスケーラビリティを実現することが知られている。なお、「レイヤー」と「階層」は同義である。以降、各レイヤーはそれぞれ、空間レイヤー（解像度）、時間レイヤー（フレームレート）、画質レイヤー（ＳＮＲ）と表現する。
【００１４】
映像配信装置３０は、映像データの中継と送信データ量の調整を行う装置であり、従来と同様の構成として、ネットワーク状態・受信端末状態検知部３１と、映像データのレイヤー切出部３３（３３ａ、３３ｂ：階層切出手段）と、を備えている。さらに、映像配信装置３０は、Ｈ．２６４／ＳＶＣデコーダー３５（３５ａ、３５ｂ：部分的復号化手段）と、映像種類判別部３７（３７ａ、３７ｂ）と優先レイヤー指定部３９（３９ａ、３９ｂ：優先階層指定手段）とを備えている。
ネットワーク状態・受信端末状態検知部３１は、受信側となる端末１０と通信を行い、受信側端末との間に介在するネットワークＮの状態（使用可能な通信帯域、パケット損失率など）と受信側の端末１０の状態（処理性能、現在の稼働率など）を検知し、受信側の端末１０に対して送信することができるデータ量を算出する。
Ｈ．２６４／ＳＶＣデコーダー３５は、端末１０から受信したスケーラブル符号化データを受信し、空間レイヤーの下層側レイヤー（低解像度側のレイヤー）のみを復号化して低解像度の映像データを得る。処理の詳細については後述する。映像種類判別部３７は、この低解像度の映像データから、映像の種類を判別する。優先レイヤー指定部３９は、判別された映像の種類に基づいて、映像データのうち空間レイヤー、時間レイヤー、画質レイヤーのいずれを優先させるかを指定する。
レイヤー切出部３３は、ネットワーク状態・受信端末状態検知部３１により算出された送信データ量と、優先レイヤー指定部３９により指定された優先レイヤーとに基づいて、送信側の端末１０から受信したスケーラブル符号化データに含まれるレイヤーの一部分を取り除いて、データ量が調整された調整符号化データを生成する。そして、受信側の端末１０に送信する。
【００１５】
Ｈ．２６４／ＳＶＣデコーダー３５によるスケーラブル符号化データの復号化について説明する。スケーラブル符号化とは、信号を粗い情報から細かい情報へと階層的に符号化する技術の総称である。圧縮符号化されたデータがスケーラブルであるとは、復号したときの画像の品質を再符号化することなく、向上させたり、低下させたりすることが可能であることを意味する。スケーラブル符号化された映像データでは、解像度の階層として空間レイヤー、フレームレートの階層として時間レイヤー、画質として画質レイヤーというふうに、それぞれ複数の階層を持つ。この複数の階層のうち、どの階層まで復号するかによって、映像の品質を向上させたり、低下させたりすることが可能である。図３は、本発明の１実施形態に係る符号化映像データを示す模式図である。図３には、例として空間レイヤー３階層、画質レイヤー３階層の符号化映像データの場合を示している。
端末１０から送信されたスケーラブル符号化データ４０を映像配信装置３０が受信した後、Ｈ．２６４／ＳＶＣデコーダー３５はスケーラブル符号化データ４０の復号化を行う。ここで、Ｈ．２６４／ＳＶＣデコーダー３５は、スケーラブル符号化データ４０に含まれるレイヤーの少なくとも一部分を復号化する。「一部分を復号化する」とは、映像種類判別部３７において正確に映像データの種類を判別可能な情報が得られる程度に、幾つかのレイヤーを復号化するということである。具体的には、Ｈ．２６４／ＳＶＣデコーダー３５は、スケーラブル符号化データ４０に含まれる空間レイヤーの最下層レイヤーに含まれる映像データを復号化する。なお、正確に映像データの種類を判別するにあたって一定の画質が必要であることから、Ｈ．２６４／ＳＶＣデコーダー３５は、最下層の空間レイヤーにある全ての画質レイヤーを復号化する。
【００１６】
映像種類判別部３７は、復号化された映像データを用いて映像の種類の判別を行う。この結果に応じて優先レイヤー指定部３９が、解像度、画質、又はフレームレートのいずれが映像にとって重要であるものかを特定する。映像種類の判別結果の一例として、
（Ａ１）映像種類判別部３７において、映像の大きさが必要であると判定された時には、優先レイヤー指定部３９で解像度を優先するように指定する。
（Ａ２）映像種類判別部３７において、映像に文字情報など精密なものが映っていると判定された時には、優先レイヤー指定部３９で画質を優先するように指定する。
（Ａ３）映像種類判別部３７において、映像内に動き（変化）が多い時には、優先レイヤー指定部３９でフレームレートを優先するように指定する。
が挙げられる。そして優先レイヤー指定部３９は、レイヤー切出部３３に優先するべきレイヤー（優先レイヤー）を切り出さないように指示を行う。すなわち、
【００１７】
（Ｂ１）解像度を優先させる場合、優先レイヤー指定部３９は「解像度レイヤーを切り出さない」という指示をレイヤー切出部３３に行う。
（Ｂ２）画質を優先させる場合、優先レイヤー指定部３９は「画質レイヤーを切り出さない」という指示をレイヤー切出部３３に行う。
（Ｂ３）フレームレートを優先させる場合、優先レイヤー指定部３９は「時間レイヤーを切り出さない」という指示をレイヤー切出部３３に行う。
優先レイヤー指定部３９によって指定された優先レイヤーと、ネットワーク状態・受信端末状態検知部３１によって検知された送信可能データ量とに基づいて、レイヤー切出部３３はレイヤーの切り出しによる送信データ量調整を行う。すなわち、レイヤー切出部３３は、スケーラブル符号化データに含まれるレイヤーのうち、指定された優先レイヤー以外のレイヤーを取り除くことにより、送信データ量の調整を行う。
なお、映像種類判別部３７では、非特許文献１に記載されたような既存の顔検出技術などの画像認識技術を用いて、撮影した映像データの種類を判別する。例えば、顔認識技術を用いて、顔が認識されれば、映像内に人物がいると判断できるため、動きのある映像だということが分かる。このときには、優先レイヤー指定部３９は、フレームレートが重要であると判断し、優先的に時間レイヤーを残すようにレイヤー切出部３３に指示する。逆に、顔が検出されなければ、ＴＶ会議の場合、フレームレートよりも解像度、又は画質の方が重要であると判断し、優先的に空間、又は画質レイヤーを残すようにレイヤー切出部３３に指示する。なお、上記方式により映像データの種類を判別する場合、１フレーム分の映像データ（画像データ）があれば、映像種類の判別が可能である。
【００１８】
上述のＴＶ会議システムにおける処理の流れについて説明する。図４は、本発明の１実施形態に係るＴＶ会議システムにおける映像データの処理フロー図である。図示するフローは、映像種類判別部３７において人物検出技術を用いて映像種類を判別する場合の処理フローである。以下、説明の簡略化のため、端末１０ａを送信端末とし、端末１０ｂを受信端末として説明する。もちろん実際には、各端末１０ａ、１０ｂが夫々送受信端末として機能し、また、３つ以上の端末１０が映像配信装置３０に接続されていても構わない。
（ステップＳ１）送信側端末１０ａでは、カメラ２１ａにて撮影した映像データを、Ｈ．２６４／ＳＶＣエンコーダー１１ａがスケーラブル圧縮符号化してスケーラブル符号化データを生成する。
（ステップＳ２）送信側端末１０ａは、スケーラブル符号化データを映像配信装置３０に送信する。
（ステップＳ３）映像配信装置３０は、送信側端末１０ａからスケーラブル符号化データを受信する。
（ステップＳ４）ネットワーク状態・受信端末状態検知部３１は、受信側端末１０ｂの状態、ネットワークＮの状態（使用可能な通信帯域、パケット損失率など）から送信可能なデータ量を算出する。
（ステップＳ５）Ｈ．２６４／ＳＶＣデコーダー３５は、スケーラブル符号化データの最下位の解像度レイヤーのみを復号化する。
（ステップＳ６）映像種類判別部３７は、部分的に復号化された映像データを基に映像内に人がいるかどうかを判別する。
【００１９】
（ステップＳ７）映像種類判別部３７にて人が検知された場合（ステップＳ６にてＹｅｓ）、優先レイヤー指定部３９は、時間レイヤーを優先的に残すようにレイヤー切出部３３に指示する。
（ステップＳ８）レイヤー切出部３３は、時間レイヤーを優先的に残しつつ、他のレイヤーを切り出すことにより、ネットワーク状態・受信端末状態検知部３１（ステップＳ４）にて算出されたデータ量に調節した調整符号化データを生成する。
（ステップＳ９）映像種類判別部３７にて人が検知されなかった場合（ステップＳ６にてＮｏ）、優先レイヤー指定部３９は、空間レイヤーを優先的に残すようにレイヤー切出部３３に指示する。
（ステップＳ１０）レイヤー切出部３３は、空間レイヤーを優先的に残しつつ、他のレイヤーを切り出すことにより、ネットワーク状態・受信端末状態検知部３１（ステップＳ４）にて算出されたデータ量に調節した調整符号化データを生成する。
（ステップＳ１１）映像配信装置３０は受信側端末１０ｂに調整符号化データを送信する。
（ステップＳ１２）受信側端末１０ｂは映像配信装置３０から調整符号化データを受信する。
（ステップＳ１３）Ｈ．２６４／ＳＶＣデコーダー１３ｂは、調整符号化データを復号化して映像データを得る。
（ステップＳ１４）復号化された映像データをディスプレイ２３ｂに表示する。
【００２０】
本発明においては、以上の処理ステップでＴＶ会議の映像配信を実施できる。
この実施例では、映像内の人物を認識する画像認識技術を用いて、映像種類判別部３７にて映像の種類を検知しているが、撮影する状況、目的に合わせて他の画像認識技術に組み替えることで、映像種類判別部３７において様々な映像の種類を検知することが可能である。
このような構成において映像配信装置は、ネットワークの状態だけではなく撮影した映像の種類を考慮して送信データ量を調整するので、撮影している映像の目的に合った最適な映像データの調整を行うことができる。端末側のＨ．２６４／ＳＶＣエンコーダーは、映像の種類に合わせてエンコードパラメータの調整を行う必要がなく、送信可能な範囲で高品質に映像を符号化しておけばよい上に、端末の構成は従来と同様で済むため、従来の端末を継続的に利用しても今回の発明の効果を得られる。また、演算能力の高い映像配信装置側に最適にデータ量の調整を行う処理を任せることができるので、端末コストを少なくできる利点もある。
【００２１】
このように本発明においては、端末は従来通りの構成でスケーラブルにエンコードされた映像データを、端末間を中継する映像配信装置に送信する。映像配信装置ではスケーラブルにエンコードされた映像データのうち、空間レイヤーの低解度側のいくつかのレイヤーのみをデコードし、デコードされた映像から映像の種類を検知する。映像配信装置は検知された映像の種類から現在の映像コンテンツにとって解像度とフレームレートのどちらが重要かを判断する。映像配信装置は従来通りの方法で各受信端末のネットワーク状態を検知しており、送信可能な帯域に合わせて、映像データ量を調整するが、このときに映像の種類に応じて解像度、フレームレート、ＳＮＲのいずれかを優先的に残してデータ量に調整し、各端末に送信する。
従って、本発明によれば、スケーラブルに符号化された映像データの特徴を用いて実行される送信データ調整によるネットワーク帯域制御技術と、送信する映像の種類を検知する画像認識技術を組み合わせ、端末間を中継する映像配信装置にて処理を行うことにより、端末の構成を変えずに、映像の種類にとって最適な解像度、フレームレート、ＳＮＲで映像データを送信することができる。
【符号の説明】
【００２２】
１…ＴＶ会議システム、１０…端末、１１…Ｈ．２６４／ＳＶＣエンコーダー、１３…Ｈ．２６４／ＳＶＣデコーダー、２１…カメラ、２３…ディスプレイ、３０…映像配信装置、３１…ネットワーク状態・受信端末状態検知部、３３…レイヤー切出部、３５…Ｈ．２６４／ＳＶＣデコーダー、３７…映像種類判別部、３９…優先レイヤー指定部、４０…スケーラブル符号化データ、１００…ＴＶ会議システム、１１０…端末、１２１…カメラ、１２３…ディスプレイ、１３０…映像配信装置、１３１…ネットワーク状態・受信端末状態検知部、１３３…レイヤー切出部
【先行技術文献】
【特許文献】
【００２３】
【特許文献１】特開２００７−１９４８２３
【非特許文献】
【００２４】
【非特許文献１】社団法人電子情報通信学会 信学技報ＰＲＭＵ２００５−９９（２００５−１０）「ＧＭＭによる肌モデルを用いた背景にロバストな人物検出」
【技術分野】
【０００１】
本発明は、ネットワークによりリアルタイムで映像データや音声データを送受信するＴＶ会議システムに関し、特に端末と端末間とを中継する映像配信装置が行う配信映像の品質調整技術に関するものである。
【背景技術】
【０００２】
ＴＶ会議システムにおいては、映像データと音声データとをリアルタイムに送受信するため、使用するネットワークの品質が保証されていない場合には、十分な性能を発揮できないことがある。そこで、端末と端末間の通信を中継する映像配信装置は通信パケットの損失や通信遅延時間などの情報を交換し、使用しているネットワークの状態を検知する。この検知したネットワークの状態に合わせて、端末が送受信する映像の解像度、フレームレートやＳＮＲ（画質）を調整するという制御技術が考えられている。
これに対し、スケーラブル映像符号化技術を用いて送信先である各端末とネットワークの状態に合わせて映像データ量を映像配信装置で調節する技術が既に知られている。
【０００３】
ここで、従来のＴＶ会議システムについて説明する。図５は、従来のＴＶ会議システムにおける端末と映像配信装置の構成を示す図である。図５は従来のＨ．２６４／ＳＶＣ（スケーラブル映像符号化）を用いたＴＶ会議システムにおける端末と端末間を中継する映像配信装置の構成を表している。
ＴＶ会議システム１００は、各拠点Ａ、Ｂに夫々設置されて、映像データ等の送受信を行う端末１１０（１１０ａ、１１０ｂ）と、ＴＶ会議をしている際の自拠点の映像を撮影するカメラ１２１（１２１ａ、１２１ｂ）と、ＴＶ会議をしている他拠点の映像を表示するディスプレイ１２３（１２３ａ、１２３ｂ）と、夫々の端末１１０ａと１１０ｂを中継する映像配信装置１３０と、を備えている。
端末１１０は、映像データをＨ．２６４／ＳＶＣ方式にて圧縮符号化するＨ．２６４／ＳＶＣエンコーダー１１１と、Ｈ．２６４／ＳＶＣ方式にて圧縮符号化された映像データを復号化するＨ．２６４／ＳＶＣデコーダー１１３と、を備えている。端末１１０は、映像配信装置１３０との間で映像データ等の通信を行う。
カメラ１２１は、ＴＶ会議をしている際の映像を撮影する装置である。ディスプレイ１２３は他拠点の映像を表示する装置である。カメラ１２１とディスプレイ１２３は、夫々端末１１０に接続されている。
映像配信装置１３０は、映像データの中継と送信データ量の調整を行う装置であり、ネットワーク状態・受信端末状態検知部１３１と、映像データのレイヤー切出部１３３（１３３ａ、１３３ｂ）と、を備えている。
【０００４】
以上のように構成されたＴＶ会議システム１００の動作について、端末１１０ａから端末１１０ｂに映像データが送信される場合の例により説明する。
端末１１０ａのＨ．２６４／ＳＶＣエンコーダー１１１ａは、カメラ１２１ａで撮影された自拠点の映像をスケーラブル圧縮符号化し、映像配信装置１３０に送信する。ここでＨ．２６４／ＳＶＣを用いた映像符号化では、空間（解像度）、時間（フレームレート）、画質（ＳＮＲ）の情報を粗い情報から細かい情報へと階層化（レイヤー化）して符号化することにより、解像度、フレームレート、ＳＮＲのスケーラビリティを実現することが知られている。以降、各レイヤーはそれぞれ、空間レイヤー（解像度）、時間レイヤー（フレームレート）、画質レイヤー（ＳＮＲ）と表現する。
映像配信装置１３０は端末１１０ｂと通信を行い、ネットワーク状態・受信端末状態検知部１３１にて、受信側端末との間のネットワークＮの状態（使用可能な通信帯域、パケット損失率など）と受信側の端末１１０ｂの状態（処理性能、現在の稼働率など）を検知し、検知した結果に応じて、端末１１０ａから受信した映像データの調整をする。この調整の際にはレイヤー切出部１３３ａを用いて、受信した映像データからレイヤーを切り出し、受信側端末である端末１１０ｂに送信する。
端末１１０ｂは、映像配信装置１３０から受信した映像データをＨ．２６４／ＳＶＣデコーダー１１３ｂによって復号化し、ディスプレイ１２３ｂに表示する。
これを拠点Ａと拠点Ｂとの間で双方向に行うことにより、互いの映像を送受信する。
【０００５】
図６は、従来のＴＶ会議システムにおける映像データの処理フロー図である。従来のＨ．２６４／ＳＶＣを用いたＴＶ会議システムにおいて、映像データは以下のように処理される。なお、端末１１０ａを送信側端末とし、端末１１０ｂを受信側端末として説明する。
（ステップＳ１０１）送信側端末１１０ａはカメラ１２１ａにて撮影した映像を、Ｈ．２６４／ＳＶＣエンコーダー１１１ａにて圧縮符号化する。
（ステップＳ１０２）送信側端末１１０ａは、圧縮符号化された映像データを映像配信装置１３０に送信する。
（ステップＳ１０３）映像配信装置１３０は、送信側端末１１０ａから映像データを受信する。
（ステップＳ１０４）ネットワーク状態・受信端末状態検知部１３１は、受信側端末１１０ｂの状態、ネットワークＮの状態から送信可能なデータ量を検知する。
（ステップＳ１０５）レイヤー切出部１３３ａは、受信した映像データのレイヤーを切り出し、ステップＳ１０４で検知した送信可能なデータ量に調整する。
（ステップＳ１０６）映像配信装置１３０は、受信側端末１１０ｂに映像データを送信する。
（ステップＳ１０７）受信側端末１１０ｂは映像配信装置１３０から映像データを受信する。
（ステップＳ１０８）Ｈ．２６４／ＳＶＣデコーダー１１３ｂは、受信した映像データをＨ．２６４／ＳＶＣ方式にて復号化する。
（ステップＳ１０９）受信側端末１１０ｂは、復号化した映像データをディスプレイ１２３ｂに表示する。
以上のようなステップでＴＶ会議の映像配信を実施している。
【０００６】
上記と同様の技術として特許文献１には、音声品質の劣化や遅延を抑える目的で、映像音声制御装置がネットワークの状態や各クライアントのＣＰＵの状態の変化によって、クライアントまたは各映像配信装置に対してビットレート、フレームレート、解像度およびフレーム間引きの少なくとも１つを含む映像の品質を調整するように制御する構成が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら従来の制御技術では、映像の種類に関係なく、ネットワークの状態や端末の状態に基づいて、映像配信装置が送信する映像データの解像度、フレームレート、ＳＮＲを調節する。従って、解像度が重要な映像であっても解像度を下げて、またフレームレートが重要ではないにもかかわらずフレームレートはそのままにして送信されるといったような、映像コンテンツに対して最適ではない調整が行われるという問題があった。
たとえば、図５、６に示したＴＶ会議システムにおいては、レイヤー切り出しによる映像データ量の調整の際に、その映像データの種類を考慮してないため、映像コンテンツに対して最適ではない調整が行われるという問題がある。上記問題は、特許文献１においても、解決されていない。
本発明は、上述の事情に鑑みてなされたものであり、階層的に符号化された映像データの特徴を用いて実行される送信データ調整による帯域制御技術と、送信する映像の種類を検知する画像認識技術を組み合わせ、端末間を中継する映像配信装置にて処理を行うことにより、端末の構成を変えずに、映像の種類にとって最適な解像度、フレームレート、ＳＮＲで映像データを送信することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明に係るＴＶ会議システムは、映像データを符号化して複数の階層が含まれる符号化データを生成する映像端末と、該映像端末から受信した前記符号化データに含まれる階層の少なくとも一部分を復号化する部分的復号化手段と、該部分的復号化手段により復号化された映像データの映像の種類を判別する映像種類判別手段と、該映像種類判別手段による判別結果に基づいて、前記符号化データに含まれる階層の中で優先させる階層を指定する優先階層指定手段と、該優先階層指定手段により指定された階層を優先的に残しながら、前記符号化データに含まれる階層の一部分を取り除いた調整符号化データを生成する階層切出手段と、を備え、該階層切出手段により生成された前記調整符号化データを配信する映像配信装置と、が接続されていることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、階層的に符号化された映像データの特徴を用いて実行される送信データ調整による帯域制御技術と、送信する映像の種類を検知する画像認識技術を組み合わせ、端末間を中継する映像配信装置にて処理を行うことにより、端末の構成を変えずに、映像の種類にとって最適な解像度、フレームレート、ＳＮＲで映像データを送信することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の１実施形態に係るＴＶ会議システムを示した概略構成図である。
【図２】本発明の１実施形態に係るＴＶ会議システムの端末と映像配信装置の具体的な内容を示した概略構成図である。
【図３】本発明の１実施形態に係る符号化映像データを示す模式図である。
【図４】本発明の１実施形態に係るＴＶ会議システムにおける映像データの処理フロー図である。
【図５】従来のＴＶ会議システムにおける端末と映像配信装置の構成を示す図である。
【図６】従来のＴＶ会議システムにおける映像データの処理フロー図である。
【発明を実施するための形態】
【００１１】
本発明の実施の形態を説明する。本発明は、ＴＶ会議システムのようなリアルタイムで映像を送受信するシステムにおいて、端末や端末間を中継する映像配信装置が行う送信映像の調整に際して、以下の特徴を有する。
要するに、端末は従来通りの構成でスケーラブルにエンコードされた映像データを、端末間を中継する映像配信装置に送信する。映像配信装置ではスケーラブルにエンコードされた映像データのうち空間レイヤーの低解像度側のレイヤーをデコードし、デコードされた映像から映像の種類を検知する。映像配信装置は検知された映像の種類から現在の映像コンテンツにとって解像度、フレームレート、又は画質のいずれが重要かを判断する。映像配信装置は従来通りの方法で各受信端末のネットワーク状態を検知しており、送信可能な帯域に合わせて映像データ量を調整するが、上記の判断結果に応じて解像度、フレームレート、画質を優先的に残してデータ量を調整し、各端末に送信することが特徴になっている。
上記記載の本発明の特徴について、以下、図面を用いて詳細に解説する。
【００１２】
図１は、本発明の１実施形態に係るＴＶ会議システムを示した概略構成図である。ＴＶ会議システム１は、各拠点Ａ、Ｂに夫々設置されて、映像データ等の送受信を行う端末１０（１０ａ、１０ｂ）と、ＴＶ会議をしている際の自拠点の映像を撮影するカメラ２１（２１ａ、２１ｂ）と、ＴＶ会議をしている他拠点の映像を表示するディスプレイ２３（２３ａ、２３ｂ）と、夫々の端末１０ａ、１０ｂを中継する映像配信装置３０と、を備えている。また、各端末１０ａ、１０ｂと映像配信装置３０は、互いにネットワークＮを介して接続されている。
以下の説明において拠点Ａの装置と拠点Ｂの装置を区別しないときは、「端末１０」のようにアルファベットの小文字符号を省略して記載する。
【００１３】
図２は、本発明の１実施形態に係るＴＶ会議システムの端末と映像配信装置の具体的な内容を示した概略構成図である。図２では、本発明のＴＶ会議システムにおける端末と端末間を中継する映像配信装置の構成を表している。この構成の特徴は、図５に示した従来の構成に加え、映像配信装置に従来周知のＨ．２６４／ＳＶＣデコーダー３５、映像種類判別部３７と優先レイヤー指定部３９を備えていることである。
図２に示すように、拠点Ａ、Ｂに夫々設置された端末は従来と同様の構成（図５参照）を有している。すなわち、端末１０は、映像データをＨ．２６４／ＳＶＣ方式にて圧縮符号化するＨ．２６４／ＳＶＣエンコーダー１１（符号化手段）と、Ｈ．２６４／ＳＶＣ方式にて圧縮符号化された映像データを復号化するＨ．２６４／ＳＶＣデコーダー１３（復号化手段）と、を備えている。端末１０は、映像配信装置３０との間で映像データ等の通信を行う。カメラ２１は、ＴＶ会議をしている際の映像を撮影する装置である。ディスプレイ２３は他拠点の映像を表示する装置である。カメラ２１とディスプレイ２３は、夫々端末１０に接続されている。
端末１０のＨ．２６４／ＳＶＣエンコーダー１１は、カメラ２１で撮影された自拠点の映像をスケーラブル圧縮符号化してスケーラブル符号化データを生成し、映像配信装置３０に送信する。ここでＨ．２６４／ＳＶＣを用いた映像符号化では、空間（解像度）、時間（フレームレート）、画質（ＳＮＲ）の情報を粗い情報から細かい情報へと階層化（レイヤー化）して符号化することにより、解像度、フレームレート、ＳＮＲのスケーラビリティを実現することが知られている。なお、「レイヤー」と「階層」は同義である。以降、各レイヤーはそれぞれ、空間レイヤー（解像度）、時間レイヤー（フレームレート）、画質レイヤー（ＳＮＲ）と表現する。
【００１４】
映像配信装置３０は、映像データの中継と送信データ量の調整を行う装置であり、従来と同様の構成として、ネットワーク状態・受信端末状態検知部３１と、映像データのレイヤー切出部３３（３３ａ、３３ｂ：階層切出手段）と、を備えている。さらに、映像配信装置３０は、Ｈ．２６４／ＳＶＣデコーダー３５（３５ａ、３５ｂ：部分的復号化手段）と、映像種類判別部３７（３７ａ、３７ｂ）と優先レイヤー指定部３９（３９ａ、３９ｂ：優先階層指定手段）とを備えている。
ネットワーク状態・受信端末状態検知部３１は、受信側となる端末１０と通信を行い、受信側端末との間に介在するネットワークＮの状態（使用可能な通信帯域、パケット損失率など）と受信側の端末１０の状態（処理性能、現在の稼働率など）を検知し、受信側の端末１０に対して送信することができるデータ量を算出する。
Ｈ．２６４／ＳＶＣデコーダー３５は、端末１０から受信したスケーラブル符号化データを受信し、空間レイヤーの下層側レイヤー（低解像度側のレイヤー）のみを復号化して低解像度の映像データを得る。処理の詳細については後述する。映像種類判別部３７は、この低解像度の映像データから、映像の種類を判別する。優先レイヤー指定部３９は、判別された映像の種類に基づいて、映像データのうち空間レイヤー、時間レイヤー、画質レイヤーのいずれを優先させるかを指定する。
レイヤー切出部３３は、ネットワーク状態・受信端末状態検知部３１により算出された送信データ量と、優先レイヤー指定部３９により指定された優先レイヤーとに基づいて、送信側の端末１０から受信したスケーラブル符号化データに含まれるレイヤーの一部分を取り除いて、データ量が調整された調整符号化データを生成する。そして、受信側の端末１０に送信する。
【００１５】
Ｈ．２６４／ＳＶＣデコーダー３５によるスケーラブル符号化データの復号化について説明する。スケーラブル符号化とは、信号を粗い情報から細かい情報へと階層的に符号化する技術の総称である。圧縮符号化されたデータがスケーラブルであるとは、復号したときの画像の品質を再符号化することなく、向上させたり、低下させたりすることが可能であることを意味する。スケーラブル符号化された映像データでは、解像度の階層として空間レイヤー、フレームレートの階層として時間レイヤー、画質として画質レイヤーというふうに、それぞれ複数の階層を持つ。この複数の階層のうち、どの階層まで復号するかによって、映像の品質を向上させたり、低下させたりすることが可能である。図３は、本発明の１実施形態に係る符号化映像データを示す模式図である。図３には、例として空間レイヤー３階層、画質レイヤー３階層の符号化映像データの場合を示している。
端末１０から送信されたスケーラブル符号化データ４０を映像配信装置３０が受信した後、Ｈ．２６４／ＳＶＣデコーダー３５はスケーラブル符号化データ４０の復号化を行う。ここで、Ｈ．２６４／ＳＶＣデコーダー３５は、スケーラブル符号化データ４０に含まれるレイヤーの少なくとも一部分を復号化する。「一部分を復号化する」とは、映像種類判別部３７において正確に映像データの種類を判別可能な情報が得られる程度に、幾つかのレイヤーを復号化するということである。具体的には、Ｈ．２６４／ＳＶＣデコーダー３５は、スケーラブル符号化データ４０に含まれる空間レイヤーの最下層レイヤーに含まれる映像データを復号化する。なお、正確に映像データの種類を判別するにあたって一定の画質が必要であることから、Ｈ．２６４／ＳＶＣデコーダー３５は、最下層の空間レイヤーにある全ての画質レイヤーを復号化する。
【００１６】
映像種類判別部３７は、復号化された映像データを用いて映像の種類の判別を行う。この結果に応じて優先レイヤー指定部３９が、解像度、画質、又はフレームレートのいずれが映像にとって重要であるものかを特定する。映像種類の判別結果の一例として、
（Ａ１）映像種類判別部３７において、映像の大きさが必要であると判定された時には、優先レイヤー指定部３９で解像度を優先するように指定する。
（Ａ２）映像種類判別部３７において、映像に文字情報など精密なものが映っていると判定された時には、優先レイヤー指定部３９で画質を優先するように指定する。
（Ａ３）映像種類判別部３７において、映像内に動き（変化）が多い時には、優先レイヤー指定部３９でフレームレートを優先するように指定する。
が挙げられる。そして優先レイヤー指定部３９は、レイヤー切出部３３に優先するべきレイヤー（優先レイヤー）を切り出さないように指示を行う。すなわち、
【００１７】
（Ｂ１）解像度を優先させる場合、優先レイヤー指定部３９は「解像度レイヤーを切り出さない」という指示をレイヤー切出部３３に行う。
（Ｂ２）画質を優先させる場合、優先レイヤー指定部３９は「画質レイヤーを切り出さない」という指示をレイヤー切出部３３に行う。
（Ｂ３）フレームレートを優先させる場合、優先レイヤー指定部３９は「時間レイヤーを切り出さない」という指示をレイヤー切出部３３に行う。
優先レイヤー指定部３９によって指定された優先レイヤーと、ネットワーク状態・受信端末状態検知部３１によって検知された送信可能データ量とに基づいて、レイヤー切出部３３はレイヤーの切り出しによる送信データ量調整を行う。すなわち、レイヤー切出部３３は、スケーラブル符号化データに含まれるレイヤーのうち、指定された優先レイヤー以外のレイヤーを取り除くことにより、送信データ量の調整を行う。
なお、映像種類判別部３７では、非特許文献１に記載されたような既存の顔検出技術などの画像認識技術を用いて、撮影した映像データの種類を判別する。例えば、顔認識技術を用いて、顔が認識されれば、映像内に人物がいると判断できるため、動きのある映像だということが分かる。このときには、優先レイヤー指定部３９は、フレームレートが重要であると判断し、優先的に時間レイヤーを残すようにレイヤー切出部３３に指示する。逆に、顔が検出されなければ、ＴＶ会議の場合、フレームレートよりも解像度、又は画質の方が重要であると判断し、優先的に空間、又は画質レイヤーを残すようにレイヤー切出部３３に指示する。なお、上記方式により映像データの種類を判別する場合、１フレーム分の映像データ（画像データ）があれば、映像種類の判別が可能である。
【００１８】
上述のＴＶ会議システムにおける処理の流れについて説明する。図４は、本発明の１実施形態に係るＴＶ会議システムにおける映像データの処理フロー図である。図示するフローは、映像種類判別部３７において人物検出技術を用いて映像種類を判別する場合の処理フローである。以下、説明の簡略化のため、端末１０ａを送信端末とし、端末１０ｂを受信端末として説明する。もちろん実際には、各端末１０ａ、１０ｂが夫々送受信端末として機能し、また、３つ以上の端末１０が映像配信装置３０に接続されていても構わない。
（ステップＳ１）送信側端末１０ａでは、カメラ２１ａにて撮影した映像データを、Ｈ．２６４／ＳＶＣエンコーダー１１ａがスケーラブル圧縮符号化してスケーラブル符号化データを生成する。
（ステップＳ２）送信側端末１０ａは、スケーラブル符号化データを映像配信装置３０に送信する。
（ステップＳ３）映像配信装置３０は、送信側端末１０ａからスケーラブル符号化データを受信する。
（ステップＳ４）ネットワーク状態・受信端末状態検知部３１は、受信側端末１０ｂの状態、ネットワークＮの状態（使用可能な通信帯域、パケット損失率など）から送信可能なデータ量を算出する。
（ステップＳ５）Ｈ．２６４／ＳＶＣデコーダー３５は、スケーラブル符号化データの最下位の解像度レイヤーのみを復号化する。
（ステップＳ６）映像種類判別部３７は、部分的に復号化された映像データを基に映像内に人がいるかどうかを判別する。
【００１９】
（ステップＳ７）映像種類判別部３７にて人が検知された場合（ステップＳ６にてＹｅｓ）、優先レイヤー指定部３９は、時間レイヤーを優先的に残すようにレイヤー切出部３３に指示する。
（ステップＳ８）レイヤー切出部３３は、時間レイヤーを優先的に残しつつ、他のレイヤーを切り出すことにより、ネットワーク状態・受信端末状態検知部３１（ステップＳ４）にて算出されたデータ量に調節した調整符号化データを生成する。
（ステップＳ９）映像種類判別部３７にて人が検知されなかった場合（ステップＳ６にてＮｏ）、優先レイヤー指定部３９は、空間レイヤーを優先的に残すようにレイヤー切出部３３に指示する。
（ステップＳ１０）レイヤー切出部３３は、空間レイヤーを優先的に残しつつ、他のレイヤーを切り出すことにより、ネットワーク状態・受信端末状態検知部３１（ステップＳ４）にて算出されたデータ量に調節した調整符号化データを生成する。
（ステップＳ１１）映像配信装置３０は受信側端末１０ｂに調整符号化データを送信する。
（ステップＳ１２）受信側端末１０ｂは映像配信装置３０から調整符号化データを受信する。
（ステップＳ１３）Ｈ．２６４／ＳＶＣデコーダー１３ｂは、調整符号化データを復号化して映像データを得る。
（ステップＳ１４）復号化された映像データをディスプレイ２３ｂに表示する。
【００２０】
本発明においては、以上の処理ステップでＴＶ会議の映像配信を実施できる。
この実施例では、映像内の人物を認識する画像認識技術を用いて、映像種類判別部３７にて映像の種類を検知しているが、撮影する状況、目的に合わせて他の画像認識技術に組み替えることで、映像種類判別部３７において様々な映像の種類を検知することが可能である。
このような構成において映像配信装置は、ネットワークの状態だけではなく撮影した映像の種類を考慮して送信データ量を調整するので、撮影している映像の目的に合った最適な映像データの調整を行うことができる。端末側のＨ．２６４／ＳＶＣエンコーダーは、映像の種類に合わせてエンコードパラメータの調整を行う必要がなく、送信可能な範囲で高品質に映像を符号化しておけばよい上に、端末の構成は従来と同様で済むため、従来の端末を継続的に利用しても今回の発明の効果を得られる。また、演算能力の高い映像配信装置側に最適にデータ量の調整を行う処理を任せることができるので、端末コストを少なくできる利点もある。
【００２１】
このように本発明においては、端末は従来通りの構成でスケーラブルにエンコードされた映像データを、端末間を中継する映像配信装置に送信する。映像配信装置ではスケーラブルにエンコードされた映像データのうち、空間レイヤーの低解度側のいくつかのレイヤーのみをデコードし、デコードされた映像から映像の種類を検知する。映像配信装置は検知された映像の種類から現在の映像コンテンツにとって解像度とフレームレートのどちらが重要かを判断する。映像配信装置は従来通りの方法で各受信端末のネットワーク状態を検知しており、送信可能な帯域に合わせて、映像データ量を調整するが、このときに映像の種類に応じて解像度、フレームレート、ＳＮＲのいずれかを優先的に残してデータ量に調整し、各端末に送信する。
従って、本発明によれば、スケーラブルに符号化された映像データの特徴を用いて実行される送信データ調整によるネットワーク帯域制御技術と、送信する映像の種類を検知する画像認識技術を組み合わせ、端末間を中継する映像配信装置にて処理を行うことにより、端末の構成を変えずに、映像の種類にとって最適な解像度、フレームレート、ＳＮＲで映像データを送信することができる。
【符号の説明】
【００２２】
１…ＴＶ会議システム、１０…端末、１１…Ｈ．２６４／ＳＶＣエンコーダー、１３…Ｈ．２６４／ＳＶＣデコーダー、２１…カメラ、２３…ディスプレイ、３０…映像配信装置、３１…ネットワーク状態・受信端末状態検知部、３３…レイヤー切出部、３５…Ｈ．２６４／ＳＶＣデコーダー、３７…映像種類判別部、３９…優先レイヤー指定部、４０…スケーラブル符号化データ、１００…ＴＶ会議システム、１１０…端末、１２１…カメラ、１２３…ディスプレイ、１３０…映像配信装置、１３１…ネットワーク状態・受信端末状態検知部、１３３…レイヤー切出部
【先行技術文献】
【特許文献】
【００２３】
【特許文献１】特開２００７−１９４８２３
【非特許文献】
【００２４】
【非特許文献１】社団法人電子情報通信学会 信学技報ＰＲＭＵ２００５−９９（２００５−１０）「ＧＭＭによる肌モデルを用いた背景にロバストな人物検出」
【特許請求の範囲】
【請求項１】
映像データを符号化して複数の階層が含まれる符号化データを生成する映像端末と、
該映像端末から受信した前記符号化データに含まれる階層の少なくとも一部分を復号化する部分的復号化手段と、該部分的復号化手段により復号化された映像データの映像の種類を判別する映像種類判別手段と、該映像種類判別手段による判別結果に基づいて、前記符号化データに含まれる階層の中で優先させる階層を指定する優先階層指定手段と、該優先階層指定手段により指定された階層を優先的に残しながら、前記符号化データに含まれる階層の一部分を取り除いた調整符号化データを生成する階層切出手段と、を備え、該階層切出手段により生成された前記調整符号化データを配信する映像配信装置と、
が接続されていることを特徴とするＴＶ会議システム。
【請求項２】
前記映像配信装置は、前記映像端末との間に介在するネットワークの状態を検知して該ネットワークの状態に適合する送信可能データ量を算出するネットワーク状態検知手段を備え、
前記階層切出手段は、前記ネットワーク状態検知手段により算出された前記送信可能データ量に応じてデータ量を調整した調整符号化データを生成することを特徴とする請求項１に記載のＴＶ会議システム。
【請求項３】
前記映像配信装置は、前記調整符号化データを受信する映像端末の状態を検知して該映像端末の状態に適合する送信可能データ量を算出する受信端末状態検知手段を備え、
前記階層切出手段は、前記受信端末状態検知手段により算出された前記送信可能データ量に応じてデータ量を調整した調整符号化データを生成することを特徴とする請求項１又は２に記載のＴＶ会議システム。
【請求項４】
前記部分的復号化手段は、前記符号化データに含まれる空間階層の下層階層を復号化することを特徴とする請求項１乃至３の何れか一項に記載のＴＶ会議システム。
【請求項５】
前記優先階層指定手段は、前記符号化データに含まれる解像度階層、時間階層、又は画質階層の何れかを優先するように指示することを特徴とする請求項１乃至４の何れか一項に記載のＴＶ会議システム。
【請求項６】
映像端末から受信され、複数の階層を含む符号化データ中の前記階層の少なくとも一部分を復号化する部分的復号化手段と、該部分的復号化手段により復号化された映像データの映像の種類を判別する映像種類判別手段と、該映像種類判別手段による判別結果に基づいて前記符号化データに含まれる階層の中で優先させる階層を指定する優先階層指定手段と、該優先階層指定手段により指定された階層を優先的に残しながら前記符号化データに含まれる階層の一部分を取り除いた調整符号化データを生成する階層切出手段と、を備え、該階層切出手段により生成された前記調整符号化データを配信することを特徴とする映像配信装置。
【請求項７】
複数の階層を含んだ状態にて映像端末から送信される符号化データを映像配信装置で処理するデータ処理方法であって、
前記映像端末から受信した符号化データに含まれる階層の少なくとも一部分を復号化する部分的復号化ステップと、
該部分的復号化ステップにより復号化された映像データの映像の種類を判別する映像種類判別ステップと、
該映像種類判別ステップによる判別結果に基づいて前記符号化データに含まれる階層の中で優先させる階層を指定する優先階層指定ステップと、
該優先階層指定ステップにより指定された階層を優先的に残しながら前記符号化データに含まれる階層の一部分を取り除いた調整符号化データを生成する階層切出ステップと、
を有することを特徴とするデータ処理方法。
【請求項１】
映像データを符号化して複数の階層が含まれる符号化データを生成する映像端末と、
該映像端末から受信した前記符号化データに含まれる階層の少なくとも一部分を復号化する部分的復号化手段と、該部分的復号化手段により復号化された映像データの映像の種類を判別する映像種類判別手段と、該映像種類判別手段による判別結果に基づいて、前記符号化データに含まれる階層の中で優先させる階層を指定する優先階層指定手段と、該優先階層指定手段により指定された階層を優先的に残しながら、前記符号化データに含まれる階層の一部分を取り除いた調整符号化データを生成する階層切出手段と、を備え、該階層切出手段により生成された前記調整符号化データを配信する映像配信装置と、
が接続されていることを特徴とするＴＶ会議システム。
【請求項２】
前記映像配信装置は、前記映像端末との間に介在するネットワークの状態を検知して該ネットワークの状態に適合する送信可能データ量を算出するネットワーク状態検知手段を備え、
前記階層切出手段は、前記ネットワーク状態検知手段により算出された前記送信可能データ量に応じてデータ量を調整した調整符号化データを生成することを特徴とする請求項１に記載のＴＶ会議システム。
【請求項３】
前記映像配信装置は、前記調整符号化データを受信する映像端末の状態を検知して該映像端末の状態に適合する送信可能データ量を算出する受信端末状態検知手段を備え、
前記階層切出手段は、前記受信端末状態検知手段により算出された前記送信可能データ量に応じてデータ量を調整した調整符号化データを生成することを特徴とする請求項１又は２に記載のＴＶ会議システム。
【請求項４】
前記部分的復号化手段は、前記符号化データに含まれる空間階層の下層階層を復号化することを特徴とする請求項１乃至３の何れか一項に記載のＴＶ会議システム。
【請求項５】
前記優先階層指定手段は、前記符号化データに含まれる解像度階層、時間階層、又は画質階層の何れかを優先するように指示することを特徴とする請求項１乃至４の何れか一項に記載のＴＶ会議システム。
【請求項６】
映像端末から受信され、複数の階層を含む符号化データ中の前記階層の少なくとも一部分を復号化する部分的復号化手段と、該部分的復号化手段により復号化された映像データの映像の種類を判別する映像種類判別手段と、該映像種類判別手段による判別結果に基づいて前記符号化データに含まれる階層の中で優先させる階層を指定する優先階層指定手段と、該優先階層指定手段により指定された階層を優先的に残しながら前記符号化データに含まれる階層の一部分を取り除いた調整符号化データを生成する階層切出手段と、を備え、該階層切出手段により生成された前記調整符号化データを配信することを特徴とする映像配信装置。
【請求項７】
複数の階層を含んだ状態にて映像端末から送信される符号化データを映像配信装置で処理するデータ処理方法であって、
前記映像端末から受信した符号化データに含まれる階層の少なくとも一部分を復号化する部分的復号化ステップと、
該部分的復号化ステップにより復号化された映像データの映像の種類を判別する映像種類判別ステップと、
該映像種類判別ステップによる判別結果に基づいて前記符号化データに含まれる階層の中で優先させる階層を指定する優先階層指定ステップと、
該優先階層指定ステップにより指定された階層を優先的に残しながら前記符号化データに含まれる階層の一部分を取り除いた調整符号化データを生成する階層切出ステップと、
を有することを特徴とするデータ処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−４８３５６（Ｐ２０１３−４８３５６Ａ）
【公開日】平成２５年３月７日（２０１３．３．７）
【国際特許分類】
【出願番号】特願２０１１−１８５９９０（Ｐ２０１１−１８５９９０）
【出願日】平成２３年８月２９日（２０１１．８．２９）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２５年３月７日（２０１３．３．７）
【国際特許分類】
【出願日】平成２３年８月２９日（２０１１．８．２９）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]