映像送受信システム及び映像送信方法
【課題】ネットワークの状態に合わせて送信データ量を調整するネットワーク帯域制御技術と、送信する映像にどのようなものが映っているかを検知する画像認識技術を組み合わせることにより、映像にとって重要な情報を優先して送信することのできる映像送信システムを提供する。
【解決手段】映像送信装置（１４Ａ）は、ネットワーク４０の状態を検知し、ネットワークの状態に合った送信データ量を算出するネットワーク状態検知手段２０Ａと、映像データを送信するに当たり映像データの内容を判別して優先される映像パラメータを決定する映像判別手段２２と、ネットワーク状態検知手段により算出された送信データ量（Ｄ３）と映像判別手段により決定された映像パラメータ（Ｄ７）とに基づいて映像データを圧縮符号化するエンコーダー１６Ａと、を備えたことを特徴とする映像送受信システム。
【解決手段】映像送信装置（１４Ａ）は、ネットワーク４０の状態を検知し、ネットワークの状態に合った送信データ量を算出するネットワーク状態検知手段２０Ａと、映像データを送信するに当たり映像データの内容を判別して優先される映像パラメータを決定する映像判別手段２２と、ネットワーク状態検知手段により算出された送信データ量（Ｄ３）と映像判別手段により決定された映像パラメータ（Ｄ７）とに基づいて映像データを圧縮符号化するエンコーダー１６Ａと、を備えたことを特徴とする映像送受信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔地にて開催される会議をネットワークにより中継するＴＶ会議システム等における映像の送受信システムに関し、特に、ネットワークの状態に応じて映像の品質を調整した上で送信する映像送信装置を備えた映像送受信システム及び映像送信方法に関する。
【背景技術】
【０００２】
ＴＶ会議システムでは大容量のデータをリアルタイムに送受信するため、使用するネットワークの品質が保証されていない場合においては、十分な性能を発揮できないことがある。そこで、端末装置と端末装置間の通信を中継するサーバーは通信パケットの損失や通信遅延時間などの情報を交換し、使用できるネットワークの状態を検知する。この検知したネットワークの状態情報に合わせて、端末装置は送受信する映像の解像度やフレームレートを調整するという制御技術が考えられ既に知られている。
例えば、特許文献１には、音声品質の劣化や遅延を抑える目的で、ネットワークの状態や各クライアントのＣＰＵの状態の変化によって、クライアントまたは各サーバーに対してビットレート、フレームレート、解像度およびフレーム間引きの少なくとも１つを含む映像の品質を調整するように制御する映像音声制御装置が開示されている。
【０００３】
図４は、従来のＴＶ会議システムの構成を示す図である。図４においては、ＴＶ会議システムのうち、特に映像データに関する部分のみを記載している。
ＴＶ会議システム１００は、第一の拠点に設置されたカメラ１１０Ａ、ディスプレイ１１２Ａ、端末装置１１４Ａと、第二の拠点に設置されたカメラ１１０Ｂ、ディスプレイ１１２Ｂ、端末装置１１４Ｂと、端末装置１１４Ａと１１４Ｂとの間を中継するサーバー１３０により構成されている。端末装置１１４Ａと端末装置１１４Ｂとサーバー１３０とは、インターネットやイントラネット等のネットワーク１４０にて接続されている。
【０００４】
以下、例えばカメラ１１０Ａとカメラ１１０Ｂとをまとめて「カメラ１１０」と表記する。他の装置についても同様に表記する。
カメラ１１０は、ＴＶ会議をしている際の映像を撮影する。ディスプレイ１１２は他拠点の映像を表示する。端末装置１１４は、画像データ等の通信を行う。
端末装置１１４は、エンコーダー１１６、デコーダー１１８、及びネットワーク状態検知部１２０を備えている。エンコーダー１１６は自拠点の映像を圧縮符号化して送信し、デコーダー１１８は他拠点から受信した画像データを復号化する。ネットワーク状態検知部１２０は、ネットワーク１４０の状態（使用可能な通信帯域、パケット損失率など）を検知し、その状態に合った送信データ量をエンコーダー１１６に伝える。
サーバー１３０は異なる拠点に存在する端末装置間（端末装置１１４Ａと端末装置１１４Ｂ）の画像データ等を中継する。
【０００５】
送信側の端末装置１１４Ａはカメラ１１０Ａによって撮影した映像データ（映像データＤ１１）を自らが備えるエンコーダー１１６Ａにより圧縮符号化してサーバー１３０に送信する（符号化データＤ１４）。サーバー１３０は、端末装置１１４Ａから受け取った映像データ（符号化データＤ１４）を受信側の端末装置１１４Ｂに中継する（中継データＤ１５）。映像データ（中継データＤ１５）を受け取った端末装置１１４Ｂは、自らが備えるデコーダー１１８Ｂにより映像データを復号化し（復号データＤ１６）、ディスプレイ１１２Ｂに映し出す。これを双方向に行うことにより、互いの映像を送受信している。
ここで、送信側の端末装置１１４Ａのネットワーク状態検知部１２０Ａは端末装置１１４Ａ、１１４Ｂ間を中継するサーバー１３０とネットワーク１４０の状態の情報（状態情報Ｄ１２）を交換している。状態情報Ｄ１２から、ネットワーク状態検知部１２０Ａは、ネットワーク１４０の状態に合った送信データ量をエンコーダー１１６Ａに伝える（データ量情報Ｄ１３）。データ量情報Ｄ１３を受けて、エンコーダー１１６Ａはパラメータを調節し、映像データＤ１１を圧縮符号化する。
【０００６】
図５は、従来のＴＶ会議システムの動作を示したフローチャート図である。
従来のＴＶ会議システム１００においては、ステップＳ１０１：ネットワーク状態検知部１２０Ａが、サーバー１３０とネットワーク１４０の状態に関する情報を交換し、ネットワーク１４０の状態を検知する。
ステップＳ１０２：検知されたネットワーク１４０の状態に関する情報から、ネットワーク状態検知部１２０Ａが、送信可能なデータ量を算出してエンコーダー１１６Ａに伝える。
ステップＳ１０３：エンコーダー１１６Ａは、送信可能なデータ量に合わせて、カメラ１１０Ａにて撮影された映像データの圧縮符号化を行う。
ステップＳ１０４：エンコーダー１１６Ａは、圧縮符号化された映像データをサーバー１３０に送信する。
ステップＳ１０５：エンコーダー１１６Ａから映像データを受信したサーバー１３０は、他拠点の端末装置１１４Ｂに映像データを送信する。
ステップＳ１０６：デコーダー１１８Ｂは、サーバー１３０から受け取った映像データを復号する。
ステップＳ１０７：復号された映像データをディスプレイ１１２Ｂに表示する。
というステップでＴＶ会議の映像配信を実施している。このようにＴＶ会議システム１００においては、ネットワーク１４０の状態を考慮して適宜映像品質を調整しているので、音声品質の劣化や遅延を防止することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載された映像音声制御装置や、上述のＴＶ会議システム１００等、従来の制御技術では、ネットワークの状態や端末装置のＣＰＵ負荷のみに基づいて送信する映像データの品質を調節しており、例えば、解像度とフレームレートの何れを優先するべきかについては考慮されていなかった。そのため、解像度が重要な映像であるにも関わらず、解像度を下げることでシステムが利用するネットワーク帯域を減らすといった調整が行われる結果、映像データにとって最適ではない品質調整が行われるといった問題があった。
本発明は、上述の事情に鑑みてなされたものであり、ネットワークの状態に合わせて送信データ量を調整するネットワーク帯域制御技術と、送信する映像にどのようなものが映っているかを検知する画像認識技術を組み合わせることにより、映像にとって重要な情報を優先して送信することのできる映像送信装置を備えた映像送受信システム及び映像送信方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、請求項１に記載の発明は、映像データを送信する映像送信装置と、前記映像データを受信して表示する映像受信装置と、がネットワークを介して接続されている映像送受信システムであって、前記映像送信装置は、前記ネットワークの状態を検知し、該ネットワークの状態に合った送信データ量を算出するネットワーク状態検知手段と、前記映像データを送信するに当たり該映像データの内容を判別して優先される映像パラメータを決定する映像判別手段と、前記ネットワーク状態検知手段により算出された送信データ量と前記映像判別手段により決定された映像パラメータとに基づいて前記映像データを圧縮符号化するエンコーダーと、を備えた映像送受信システムを特徴とする。
請求項２に記載の発明は、前記映像判別手段は、前記映像データの内容を画像認識手段により判別する請求項１記載の映像送受信システムを特徴とする。
【０００９】
請求項３に記載の発明は、前記画像認識手段により前記映像データが動的な映像と判別された場合、前記映像判別手段は、映像パラメータのうちフレームレートを前記優先される映像パラメータとして決定する請求項２記載の映像送受信システムを特徴とする。
請求項４に記載の発明は、前記画像認識手段により前記映像データが静的な映像と判別された場合、前記映像判別手段は、映像パラメータのうち解像度を前記優先される映像パラメータとして決定する請求項２記載の映像送受信システムを特徴とする。
請求項５に記載の発明は、映像データを送信する映像送信装置と、前記映像データを受信して表示する映像受信装置と、がネットワークを介して接続されている映像送受信システムにおける映像送信方法であって、ネットワーク状態検知手段が、前記ネットワークの状態を検知し、該ネットワークの状態に合った送信データ量を算出するステップと、映像判別手段が、前記映像データを送信するに当たり該映像データの内容を判別して優先される映像パラメータを決定するステップと、エンコーダーが、前記ネットワーク状態検知手段により算出された送信データ量と前記映像判別手段により決定された映像パラメータとに基づいて前記映像データを圧縮符号化するステップと、を有する映像送信方法を特徴とする。
【発明の効果】
【００１０】
本発明によれば、端末装置は送信する映像の内容を判別し、優先される映像パラメータを残すように映像の調整を行うようエンコーダーに指示するので、ネットワークの状態に合わせて送信する映像を調整する際に、送信する映像の内容を考慮した調整を行うことで、映像にとって重要な情報を優先して送信することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明に係るＴＶ会議システムの構成を示す図である。
【図２】本発明に係るＴＶ会議システムの映像エンコード方法を示す図である。
【図３】本発明に係るＴＶ会議システムの動作を示したフローチャートである。
【図４】従来のＴＶ会議システムの構成を示す図である。
【図５】従来のＴＶ会議システムの動作を示したフローチャートである。
【発明を実施するための形態】
【００１２】
本発明の実施の形態を説明する。本発明は、ＴＶ会議システムのようなリアルタイムで映像を送受信するシステムにおいて、端末装置や端末装置間を中継するサーバーが行う送信映像の調整に際して、以下の特徴を有する。
要するに、端末装置は送信する映像の内容を判別し、その映像にとって重要な映像パラメータを残すように映像の調整を行うようエンコーダーに指示することが特徴になっている。そのため、本発明における端末装置は映像判別部を備えている。
上記記載の本発明の特徴について、以下の図面を用いて詳細に解説する。
【００１３】
図１は、本発明に係るＴＶ会議システムの構成を示す図である。図１においては、ＴＶ会議システムのうち、特に映像データに関する部分のみを記載している。
ＴＶ会議システム１は、第一の拠点に設置されたカメラ１０Ａ、ディスプレイ１２Ａ、端末装置１４Ａと、第二の拠点に設置されたカメラ１０Ｂ、ディスプレイ１２Ｂ、端末装置１４Ｂと、端末装置１４Ａと１４Ｂとの間を中継するサーバー３０により構成されている。端末装置１４Ａと端末装置１４Ｂとサーバー３０とは、インターネットやイントラネット等のネットワーク４０にて接続されている。
なお、図１においては、第一の拠点を送信側、第二の拠点を受信側として説明するが、実際には、各拠点に設置された夫々の装置は同一の構成を有しており、ともに送受信が可能である。以下、例えばカメラ１０Ａとカメラ１０Ｂとをまとめて「カメラ１０」と表記する。他の装置についても同様に表記する。
【００１４】
カメラ１０は、ＴＶ会議をしている際の映像を撮影する。ディスプレイ１２は他拠点の映像を表示する。端末装置１４は、画像データ等の通信を行う。
端末装置１４は、エンコーダー１６、デコーダー１８、ネットワーク状態検知部２０、及び映像判別部２２を備えている。エンコーダー１６は自拠点の映像を圧縮符号化して送信し、デコーダー１８は他拠点から受信した画像データを復号化する。ネットワーク状態検知部２０は、ネットワーク４０の状態（使用可能な通信帯域、パケット損失率など）を検知し、その状態に合った送信データ量、即ちビットレートをエンコーダー１６に伝える。ネットワーク状態検知部２０の具体的なネットワーク４０の状態の検知方法は、特許文献２に記載される方法で実現される。本発明の特徴的な構成である映像判別部２２は、周知の画像認識技術（画像認識手段）を利用して映像の内容を判別し、解像度又はフレームレートの何れが映像にとって重要であるかを判定する。
サーバー３０は異なる拠点に存在する端末装置間（端末装置１４Ａと端末装置１４Ｂ）の画像データ等を中継する。
【００１５】
送信側のカメラ１０Ａによって撮影された映像データ（映像データＤ１）は、エンコーダー１６Ａと映像判別部２２Ａに入力される。送信側の端末装置１４Ａはカメラ１０Ａによって撮影した映像データ（映像データＤ１）を自らが備えるエンコーダー１６Ａにより圧縮符号化してサーバー３０に送信する（符号化データＤ４）。サーバー３０は、端末装置１４Ａから受け取った映像データ（符号化データＤ４）を受信側の端末装置１４Ｂに中継する（中継データＤ５）。映像データ（中継データＤ５）を受け取った端末装置１４Ｂは、自らが備えるデコーダー１８Ｂにより映像データを復号化し（復号データＤ６）、ディスプレイ１２Ｂに映し出す。これを双方向に行うことにより、互いの映像を送受信している。
このとき、送信側の端末装置１４Ａのネットワーク状態検知部２０Ａは端末装置１４Ａ、１４Ｂ間を中継するサーバー３０とネットワーク４０の状態の情報（状態情報Ｄ２）を交換している。状態情報Ｄ２から、ネットワーク状態検知部２０Ａは、ネットワーク４０の状態に合った送信データ量をエンコーダー１６Ａに伝える（データ量情報Ｄ３）。
ここで検知したネットワークの状態が悪く、送信できるデータ量に制限のある時に本発明は効力を示す。映像判別部２２Ａは映像データＤ１から映像の内容を判別し、映像パラメータのうち解像度又はフレームレートのどちらがその映像にとって重要であるものかを判定し、重要性の高いパラメータを残すようにエンコーダー１６Ａに伝える（優先情報Ｄ７）。エンコーダー１６Ａは、ネットワークの状態に合った送信データ量（データ量情報Ｄ３）と優先情報Ｄ７とに基づいて、映像データＤ１を圧縮符号化する。
【００１６】
図２は本発明に係るＴＶ会議システムの映像エンコード方法を示す図である。映像データＤ１を解像度優先でエンコードした場合、フレームレートは下げ、解像度は大きなままでエンコードを行う（解像度優先エンコードＥ１）。フレームレート優先でエンコードした場合、フレームレートは下げないで、解像度を小さくしてエンコードを行う（フレームレート優先エンコードＥ２）。以上のようにして、ネットワーク状態が悪く、送信できるデータ量に制限のある場合においても、送信できるデータ量に合わせながら映像における優先パラメータを落とさずに映像を送信することが可能になる。
なお、映像判別部２２Ａでは既存の顔検出技術などの画像認識技術を用いて、撮影した映像の内容を判別する。
【００１７】
例えば、非特許文献１に記載された顔認識技術を用いて、顔が認識されれば、映像内に人物がいると判断できるため、動きのある映像（動的な映像）だということが分かる。このときには、フレームレートが重要であると判断し、優先的にフレームレートを残すようにエンコーダー１６Ａに伝える。逆に、顔が検出されなければ動きのない静的な映像である可能性が高い。ＴＶ会議の場合、フレームレートよりも解像度の方が重要であると判断し、優先的に解像度を残すようにエンコーダー１６Ａに伝える。
また、同様の顔検出技術を用いて、映像内に人物が何人いるかをフレームレート優先度の指標として用いることも可能である。つまり、映像内の人物が増えればその分動きが多くなると判断し、更にフレームレートを優先するようにエンコーダー１６Ａに伝える。逆に人が少なければ、それだけ動きが少なくなるものと判断し、解像度を優先するようにエンコーダー１６Ａに伝える。
【００１８】
顔を検出してトラッキングすることにより映像内の人物の動きを検出する方法を使うと、人物に動きがあればフレームレートを、人物に動きが無ければ解像度を優先することが可能である。例えば、映像内に人物が増える、または人物の動きを検知して、一時的にフレームレートを優先するようにエンコーダー１６Ａに伝えていたが、人物の動きが無くなった時には、顔検出後のトラッキングからその人物の動きが無くなったことを検知し、解像度を優先するようにエンコーダー１６Ａに伝えるといったようにもできる。
顔検出技術以外にも動きを検出する方法はある。例えば、前のフレームと現在のフレームとの差分を算出し、その大小で映像内に動きがあるかどうかを検知すれば、例え映像内に人物がいない場合においても動きを検出でき、フレームレートと解像度のどちらを優先するか判断が可能である。
【００１９】
図３は、本発明に係るＴＶ会議システムの動作を示したフローチャート図である。
本発明を利用し、映像内に人物がいるかどうかを判断できるＴＶ会議システム１では、
ステップＳ１：ネットワーク状態検知部２０Ａが、サーバー３０とネットワーク４０の状態に関する情報（状態情報Ｄ２）を交換し、ネットワーク４０の状態を検知する。
ステップＳ２：検知されたネットワーク４０の状態に関する状態情報Ｄ２から、ネットワーク状態検知部２０Ａが、送信可能なデータ量を算出し、データ量情報Ｄ３としてエンコーダー１６Ａに伝える。
ステップＳ３：映像判別部２２Ａは、撮影された映像データＤ１内に人物がいるかどうか判別する。
ステップＳ４：映像データＤ１内に人物がいる場合（ステップＳ３でｙｅｓ）、映像判別部２２Ａは、優先的にフレームレートを残すようにエンコーダー１６Ａに伝え（優先情報Ｄ７）、エンコーダー１６Ａは優先情報Ｄ７に基づいてフレームレート優先で送信可能なデータ量に合わせて映像データＤ１の圧縮符号化を行う。
【００２０】
ステップＳ５：映像データＤ１内に人物がいない場合（ステップＳ３でｎｏ）、映像判別部２２Ａは、優先的に解像度を残すようにエンコーダー１６Ａに伝え（優先情報Ｄ７）、エンコーダー１６Ａは優先情報Ｄ７に基づいて解像度優先で送信可能なデータ量に合わせて映像データＤ１の圧縮符号化を行う。
ステップＳ６：エンコーダー１６Ａは、圧縮符号化された映像データをサーバー３０に送信する。
ステップＳ７：エンコーダー１６Ａから映像データを受信したサーバー３０は、他拠点の端末装置１４Ｂに映像データを送信する。
ステップＳ８：デコーダー１８Ｂは、サーバー３０から受け取った映像データを復号化する。
ステップＳ９：復号された映像データをディスプレイ１２Ａに表示する。
というステップでＴＶ会議の映像配信を実施できる。
【００２１】
この実施形態においては、映像内の人物を認識する画像認識技術を用いて映像の内容（どのようなものが映っている映像であるか）を判別しているが、撮影する状況、目的に合わせて他の画像認識技術に組み替えることで、様々な映像の内容を判別することが可能である。そして、判別された映像の内容に基づいて、優先的に残す映像パラメータを決定する。特に、動的な映像の場合にはフレームレートを優先的に残すようにし、静的な映像の場合には解像度を優先的に残すようにする。
このような構成においては、映像データはネットワーク４０の状態だけではなく、撮影した映像の内容を考慮することができるので、解像度が重要な映像においては解像度を優先的に残し、フレームレートを下げて圧縮符号化することで利用するネットワーク帯域を減らすといったような、映像にとって最適な調整を行うことができる。
【符号の説明】
【００２２】
１…ＴＶ会議システム、１０…カメラ、１２…ディスプレイ、１４…端末装置、１６…エンコーダー、１８…デコーダー、２０…ネットワーク状態検知部、２２…映像判別部、３０…サーバー、４０…ネットワーク、１００…ＴＶ会議システム、１１０…カメラ、１１２…ディスプレイ、１１４…端末装置、１１６…エンコーダー、１１８…デコーダー、１２０…ネットワーク状態検知部、１３０…サーバー、１４０…ネットワーク
【先行技術文献】
【特許文献】
【００２３】
【特許文献１】特開２００７−１９４８２３公報
【特許文献２】特開２００６−１２８９９７公報
【非特許文献】
【００２４】
【非特許文献１】社団法人電子情報通信学会 信学技報PRMU2005-99(2005-10)「ＧＭＭによる肌モデルを用いた背景にロバストな人物検出」
【技術分野】
【０００１】
本発明は、遠隔地にて開催される会議をネットワークにより中継するＴＶ会議システム等における映像の送受信システムに関し、特に、ネットワークの状態に応じて映像の品質を調整した上で送信する映像送信装置を備えた映像送受信システム及び映像送信方法に関する。
【背景技術】
【０００２】
ＴＶ会議システムでは大容量のデータをリアルタイムに送受信するため、使用するネットワークの品質が保証されていない場合においては、十分な性能を発揮できないことがある。そこで、端末装置と端末装置間の通信を中継するサーバーは通信パケットの損失や通信遅延時間などの情報を交換し、使用できるネットワークの状態を検知する。この検知したネットワークの状態情報に合わせて、端末装置は送受信する映像の解像度やフレームレートを調整するという制御技術が考えられ既に知られている。
例えば、特許文献１には、音声品質の劣化や遅延を抑える目的で、ネットワークの状態や各クライアントのＣＰＵの状態の変化によって、クライアントまたは各サーバーに対してビットレート、フレームレート、解像度およびフレーム間引きの少なくとも１つを含む映像の品質を調整するように制御する映像音声制御装置が開示されている。
【０００３】
図４は、従来のＴＶ会議システムの構成を示す図である。図４においては、ＴＶ会議システムのうち、特に映像データに関する部分のみを記載している。
ＴＶ会議システム１００は、第一の拠点に設置されたカメラ１１０Ａ、ディスプレイ１１２Ａ、端末装置１１４Ａと、第二の拠点に設置されたカメラ１１０Ｂ、ディスプレイ１１２Ｂ、端末装置１１４Ｂと、端末装置１１４Ａと１１４Ｂとの間を中継するサーバー１３０により構成されている。端末装置１１４Ａと端末装置１１４Ｂとサーバー１３０とは、インターネットやイントラネット等のネットワーク１４０にて接続されている。
【０００４】
以下、例えばカメラ１１０Ａとカメラ１１０Ｂとをまとめて「カメラ１１０」と表記する。他の装置についても同様に表記する。
カメラ１１０は、ＴＶ会議をしている際の映像を撮影する。ディスプレイ１１２は他拠点の映像を表示する。端末装置１１４は、画像データ等の通信を行う。
端末装置１１４は、エンコーダー１１６、デコーダー１１８、及びネットワーク状態検知部１２０を備えている。エンコーダー１１６は自拠点の映像を圧縮符号化して送信し、デコーダー１１８は他拠点から受信した画像データを復号化する。ネットワーク状態検知部１２０は、ネットワーク１４０の状態（使用可能な通信帯域、パケット損失率など）を検知し、その状態に合った送信データ量をエンコーダー１１６に伝える。
サーバー１３０は異なる拠点に存在する端末装置間（端末装置１１４Ａと端末装置１１４Ｂ）の画像データ等を中継する。
【０００５】
送信側の端末装置１１４Ａはカメラ１１０Ａによって撮影した映像データ（映像データＤ１１）を自らが備えるエンコーダー１１６Ａにより圧縮符号化してサーバー１３０に送信する（符号化データＤ１４）。サーバー１３０は、端末装置１１４Ａから受け取った映像データ（符号化データＤ１４）を受信側の端末装置１１４Ｂに中継する（中継データＤ１５）。映像データ（中継データＤ１５）を受け取った端末装置１１４Ｂは、自らが備えるデコーダー１１８Ｂにより映像データを復号化し（復号データＤ１６）、ディスプレイ１１２Ｂに映し出す。これを双方向に行うことにより、互いの映像を送受信している。
ここで、送信側の端末装置１１４Ａのネットワーク状態検知部１２０Ａは端末装置１１４Ａ、１１４Ｂ間を中継するサーバー１３０とネットワーク１４０の状態の情報（状態情報Ｄ１２）を交換している。状態情報Ｄ１２から、ネットワーク状態検知部１２０Ａは、ネットワーク１４０の状態に合った送信データ量をエンコーダー１１６Ａに伝える（データ量情報Ｄ１３）。データ量情報Ｄ１３を受けて、エンコーダー１１６Ａはパラメータを調節し、映像データＤ１１を圧縮符号化する。
【０００６】
図５は、従来のＴＶ会議システムの動作を示したフローチャート図である。
従来のＴＶ会議システム１００においては、ステップＳ１０１：ネットワーク状態検知部１２０Ａが、サーバー１３０とネットワーク１４０の状態に関する情報を交換し、ネットワーク１４０の状態を検知する。
ステップＳ１０２：検知されたネットワーク１４０の状態に関する情報から、ネットワーク状態検知部１２０Ａが、送信可能なデータ量を算出してエンコーダー１１６Ａに伝える。
ステップＳ１０３：エンコーダー１１６Ａは、送信可能なデータ量に合わせて、カメラ１１０Ａにて撮影された映像データの圧縮符号化を行う。
ステップＳ１０４：エンコーダー１１６Ａは、圧縮符号化された映像データをサーバー１３０に送信する。
ステップＳ１０５：エンコーダー１１６Ａから映像データを受信したサーバー１３０は、他拠点の端末装置１１４Ｂに映像データを送信する。
ステップＳ１０６：デコーダー１１８Ｂは、サーバー１３０から受け取った映像データを復号する。
ステップＳ１０７：復号された映像データをディスプレイ１１２Ｂに表示する。
というステップでＴＶ会議の映像配信を実施している。このようにＴＶ会議システム１００においては、ネットワーク１４０の状態を考慮して適宜映像品質を調整しているので、音声品質の劣化や遅延を防止することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載された映像音声制御装置や、上述のＴＶ会議システム１００等、従来の制御技術では、ネットワークの状態や端末装置のＣＰＵ負荷のみに基づいて送信する映像データの品質を調節しており、例えば、解像度とフレームレートの何れを優先するべきかについては考慮されていなかった。そのため、解像度が重要な映像であるにも関わらず、解像度を下げることでシステムが利用するネットワーク帯域を減らすといった調整が行われる結果、映像データにとって最適ではない品質調整が行われるといった問題があった。
本発明は、上述の事情に鑑みてなされたものであり、ネットワークの状態に合わせて送信データ量を調整するネットワーク帯域制御技術と、送信する映像にどのようなものが映っているかを検知する画像認識技術を組み合わせることにより、映像にとって重要な情報を優先して送信することのできる映像送信装置を備えた映像送受信システム及び映像送信方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、請求項１に記載の発明は、映像データを送信する映像送信装置と、前記映像データを受信して表示する映像受信装置と、がネットワークを介して接続されている映像送受信システムであって、前記映像送信装置は、前記ネットワークの状態を検知し、該ネットワークの状態に合った送信データ量を算出するネットワーク状態検知手段と、前記映像データを送信するに当たり該映像データの内容を判別して優先される映像パラメータを決定する映像判別手段と、前記ネットワーク状態検知手段により算出された送信データ量と前記映像判別手段により決定された映像パラメータとに基づいて前記映像データを圧縮符号化するエンコーダーと、を備えた映像送受信システムを特徴とする。
請求項２に記載の発明は、前記映像判別手段は、前記映像データの内容を画像認識手段により判別する請求項１記載の映像送受信システムを特徴とする。
【０００９】
請求項３に記載の発明は、前記画像認識手段により前記映像データが動的な映像と判別された場合、前記映像判別手段は、映像パラメータのうちフレームレートを前記優先される映像パラメータとして決定する請求項２記載の映像送受信システムを特徴とする。
請求項４に記載の発明は、前記画像認識手段により前記映像データが静的な映像と判別された場合、前記映像判別手段は、映像パラメータのうち解像度を前記優先される映像パラメータとして決定する請求項２記載の映像送受信システムを特徴とする。
請求項５に記載の発明は、映像データを送信する映像送信装置と、前記映像データを受信して表示する映像受信装置と、がネットワークを介して接続されている映像送受信システムにおける映像送信方法であって、ネットワーク状態検知手段が、前記ネットワークの状態を検知し、該ネットワークの状態に合った送信データ量を算出するステップと、映像判別手段が、前記映像データを送信するに当たり該映像データの内容を判別して優先される映像パラメータを決定するステップと、エンコーダーが、前記ネットワーク状態検知手段により算出された送信データ量と前記映像判別手段により決定された映像パラメータとに基づいて前記映像データを圧縮符号化するステップと、を有する映像送信方法を特徴とする。
【発明の効果】
【００１０】
本発明によれば、端末装置は送信する映像の内容を判別し、優先される映像パラメータを残すように映像の調整を行うようエンコーダーに指示するので、ネットワークの状態に合わせて送信する映像を調整する際に、送信する映像の内容を考慮した調整を行うことで、映像にとって重要な情報を優先して送信することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明に係るＴＶ会議システムの構成を示す図である。
【図２】本発明に係るＴＶ会議システムの映像エンコード方法を示す図である。
【図３】本発明に係るＴＶ会議システムの動作を示したフローチャートである。
【図４】従来のＴＶ会議システムの構成を示す図である。
【図５】従来のＴＶ会議システムの動作を示したフローチャートである。
【発明を実施するための形態】
【００１２】
本発明の実施の形態を説明する。本発明は、ＴＶ会議システムのようなリアルタイムで映像を送受信するシステムにおいて、端末装置や端末装置間を中継するサーバーが行う送信映像の調整に際して、以下の特徴を有する。
要するに、端末装置は送信する映像の内容を判別し、その映像にとって重要な映像パラメータを残すように映像の調整を行うようエンコーダーに指示することが特徴になっている。そのため、本発明における端末装置は映像判別部を備えている。
上記記載の本発明の特徴について、以下の図面を用いて詳細に解説する。
【００１３】
図１は、本発明に係るＴＶ会議システムの構成を示す図である。図１においては、ＴＶ会議システムのうち、特に映像データに関する部分のみを記載している。
ＴＶ会議システム１は、第一の拠点に設置されたカメラ１０Ａ、ディスプレイ１２Ａ、端末装置１４Ａと、第二の拠点に設置されたカメラ１０Ｂ、ディスプレイ１２Ｂ、端末装置１４Ｂと、端末装置１４Ａと１４Ｂとの間を中継するサーバー３０により構成されている。端末装置１４Ａと端末装置１４Ｂとサーバー３０とは、インターネットやイントラネット等のネットワーク４０にて接続されている。
なお、図１においては、第一の拠点を送信側、第二の拠点を受信側として説明するが、実際には、各拠点に設置された夫々の装置は同一の構成を有しており、ともに送受信が可能である。以下、例えばカメラ１０Ａとカメラ１０Ｂとをまとめて「カメラ１０」と表記する。他の装置についても同様に表記する。
【００１４】
カメラ１０は、ＴＶ会議をしている際の映像を撮影する。ディスプレイ１２は他拠点の映像を表示する。端末装置１４は、画像データ等の通信を行う。
端末装置１４は、エンコーダー１６、デコーダー１８、ネットワーク状態検知部２０、及び映像判別部２２を備えている。エンコーダー１６は自拠点の映像を圧縮符号化して送信し、デコーダー１８は他拠点から受信した画像データを復号化する。ネットワーク状態検知部２０は、ネットワーク４０の状態（使用可能な通信帯域、パケット損失率など）を検知し、その状態に合った送信データ量、即ちビットレートをエンコーダー１６に伝える。ネットワーク状態検知部２０の具体的なネットワーク４０の状態の検知方法は、特許文献２に記載される方法で実現される。本発明の特徴的な構成である映像判別部２２は、周知の画像認識技術（画像認識手段）を利用して映像の内容を判別し、解像度又はフレームレートの何れが映像にとって重要であるかを判定する。
サーバー３０は異なる拠点に存在する端末装置間（端末装置１４Ａと端末装置１４Ｂ）の画像データ等を中継する。
【００１５】
送信側のカメラ１０Ａによって撮影された映像データ（映像データＤ１）は、エンコーダー１６Ａと映像判別部２２Ａに入力される。送信側の端末装置１４Ａはカメラ１０Ａによって撮影した映像データ（映像データＤ１）を自らが備えるエンコーダー１６Ａにより圧縮符号化してサーバー３０に送信する（符号化データＤ４）。サーバー３０は、端末装置１４Ａから受け取った映像データ（符号化データＤ４）を受信側の端末装置１４Ｂに中継する（中継データＤ５）。映像データ（中継データＤ５）を受け取った端末装置１４Ｂは、自らが備えるデコーダー１８Ｂにより映像データを復号化し（復号データＤ６）、ディスプレイ１２Ｂに映し出す。これを双方向に行うことにより、互いの映像を送受信している。
このとき、送信側の端末装置１４Ａのネットワーク状態検知部２０Ａは端末装置１４Ａ、１４Ｂ間を中継するサーバー３０とネットワーク４０の状態の情報（状態情報Ｄ２）を交換している。状態情報Ｄ２から、ネットワーク状態検知部２０Ａは、ネットワーク４０の状態に合った送信データ量をエンコーダー１６Ａに伝える（データ量情報Ｄ３）。
ここで検知したネットワークの状態が悪く、送信できるデータ量に制限のある時に本発明は効力を示す。映像判別部２２Ａは映像データＤ１から映像の内容を判別し、映像パラメータのうち解像度又はフレームレートのどちらがその映像にとって重要であるものかを判定し、重要性の高いパラメータを残すようにエンコーダー１６Ａに伝える（優先情報Ｄ７）。エンコーダー１６Ａは、ネットワークの状態に合った送信データ量（データ量情報Ｄ３）と優先情報Ｄ７とに基づいて、映像データＤ１を圧縮符号化する。
【００１６】
図２は本発明に係るＴＶ会議システムの映像エンコード方法を示す図である。映像データＤ１を解像度優先でエンコードした場合、フレームレートは下げ、解像度は大きなままでエンコードを行う（解像度優先エンコードＥ１）。フレームレート優先でエンコードした場合、フレームレートは下げないで、解像度を小さくしてエンコードを行う（フレームレート優先エンコードＥ２）。以上のようにして、ネットワーク状態が悪く、送信できるデータ量に制限のある場合においても、送信できるデータ量に合わせながら映像における優先パラメータを落とさずに映像を送信することが可能になる。
なお、映像判別部２２Ａでは既存の顔検出技術などの画像認識技術を用いて、撮影した映像の内容を判別する。
【００１７】
例えば、非特許文献１に記載された顔認識技術を用いて、顔が認識されれば、映像内に人物がいると判断できるため、動きのある映像（動的な映像）だということが分かる。このときには、フレームレートが重要であると判断し、優先的にフレームレートを残すようにエンコーダー１６Ａに伝える。逆に、顔が検出されなければ動きのない静的な映像である可能性が高い。ＴＶ会議の場合、フレームレートよりも解像度の方が重要であると判断し、優先的に解像度を残すようにエンコーダー１６Ａに伝える。
また、同様の顔検出技術を用いて、映像内に人物が何人いるかをフレームレート優先度の指標として用いることも可能である。つまり、映像内の人物が増えればその分動きが多くなると判断し、更にフレームレートを優先するようにエンコーダー１６Ａに伝える。逆に人が少なければ、それだけ動きが少なくなるものと判断し、解像度を優先するようにエンコーダー１６Ａに伝える。
【００１８】
顔を検出してトラッキングすることにより映像内の人物の動きを検出する方法を使うと、人物に動きがあればフレームレートを、人物に動きが無ければ解像度を優先することが可能である。例えば、映像内に人物が増える、または人物の動きを検知して、一時的にフレームレートを優先するようにエンコーダー１６Ａに伝えていたが、人物の動きが無くなった時には、顔検出後のトラッキングからその人物の動きが無くなったことを検知し、解像度を優先するようにエンコーダー１６Ａに伝えるといったようにもできる。
顔検出技術以外にも動きを検出する方法はある。例えば、前のフレームと現在のフレームとの差分を算出し、その大小で映像内に動きがあるかどうかを検知すれば、例え映像内に人物がいない場合においても動きを検出でき、フレームレートと解像度のどちらを優先するか判断が可能である。
【００１９】
図３は、本発明に係るＴＶ会議システムの動作を示したフローチャート図である。
本発明を利用し、映像内に人物がいるかどうかを判断できるＴＶ会議システム１では、
ステップＳ１：ネットワーク状態検知部２０Ａが、サーバー３０とネットワーク４０の状態に関する情報（状態情報Ｄ２）を交換し、ネットワーク４０の状態を検知する。
ステップＳ２：検知されたネットワーク４０の状態に関する状態情報Ｄ２から、ネットワーク状態検知部２０Ａが、送信可能なデータ量を算出し、データ量情報Ｄ３としてエンコーダー１６Ａに伝える。
ステップＳ３：映像判別部２２Ａは、撮影された映像データＤ１内に人物がいるかどうか判別する。
ステップＳ４：映像データＤ１内に人物がいる場合（ステップＳ３でｙｅｓ）、映像判別部２２Ａは、優先的にフレームレートを残すようにエンコーダー１６Ａに伝え（優先情報Ｄ７）、エンコーダー１６Ａは優先情報Ｄ７に基づいてフレームレート優先で送信可能なデータ量に合わせて映像データＤ１の圧縮符号化を行う。
【００２０】
ステップＳ５：映像データＤ１内に人物がいない場合（ステップＳ３でｎｏ）、映像判別部２２Ａは、優先的に解像度を残すようにエンコーダー１６Ａに伝え（優先情報Ｄ７）、エンコーダー１６Ａは優先情報Ｄ７に基づいて解像度優先で送信可能なデータ量に合わせて映像データＤ１の圧縮符号化を行う。
ステップＳ６：エンコーダー１６Ａは、圧縮符号化された映像データをサーバー３０に送信する。
ステップＳ７：エンコーダー１６Ａから映像データを受信したサーバー３０は、他拠点の端末装置１４Ｂに映像データを送信する。
ステップＳ８：デコーダー１８Ｂは、サーバー３０から受け取った映像データを復号化する。
ステップＳ９：復号された映像データをディスプレイ１２Ａに表示する。
というステップでＴＶ会議の映像配信を実施できる。
【００２１】
この実施形態においては、映像内の人物を認識する画像認識技術を用いて映像の内容（どのようなものが映っている映像であるか）を判別しているが、撮影する状況、目的に合わせて他の画像認識技術に組み替えることで、様々な映像の内容を判別することが可能である。そして、判別された映像の内容に基づいて、優先的に残す映像パラメータを決定する。特に、動的な映像の場合にはフレームレートを優先的に残すようにし、静的な映像の場合には解像度を優先的に残すようにする。
このような構成においては、映像データはネットワーク４０の状態だけではなく、撮影した映像の内容を考慮することができるので、解像度が重要な映像においては解像度を優先的に残し、フレームレートを下げて圧縮符号化することで利用するネットワーク帯域を減らすといったような、映像にとって最適な調整を行うことができる。
【符号の説明】
【００２２】
１…ＴＶ会議システム、１０…カメラ、１２…ディスプレイ、１４…端末装置、１６…エンコーダー、１８…デコーダー、２０…ネットワーク状態検知部、２２…映像判別部、３０…サーバー、４０…ネットワーク、１００…ＴＶ会議システム、１１０…カメラ、１１２…ディスプレイ、１１４…端末装置、１１６…エンコーダー、１１８…デコーダー、１２０…ネットワーク状態検知部、１３０…サーバー、１４０…ネットワーク
【先行技術文献】
【特許文献】
【００２３】
【特許文献１】特開２００７−１９４８２３公報
【特許文献２】特開２００６−１２８９９７公報
【非特許文献】
【００２４】
【非特許文献１】社団法人電子情報通信学会 信学技報PRMU2005-99(2005-10)「ＧＭＭによる肌モデルを用いた背景にロバストな人物検出」
【特許請求の範囲】
【請求項１】
映像データを送信する映像送信装置と、前記映像データを受信して表示する映像受信装置と、がネットワークを介して接続されている映像送受信システムであって、
前記映像送信装置は、前記ネットワークの状態を検知し、該ネットワークの状態に合った送信データ量を算出するネットワーク状態検知手段と、前記映像データを送信するに当たり該映像データの内容を判別して優先される映像パラメータを決定する映像判別手段と、前記ネットワーク状態検知手段により算出された送信データ量と前記映像判別手段により決定された映像パラメータとに基づいて前記映像データを圧縮符号化するエンコーダーと、を備えたことを特徴とする映像送受信システム。
【請求項２】
前記映像判別手段は、前記映像データの内容を画像認識手段により判別することを特徴とする請求項１記載の映像送受信システム。
【請求項３】
前記画像認識手段により前記映像データが動的な映像と判別された場合、前記映像判別手段は、映像パラメータのうちフレームレートを前記優先される映像パラメータとして決定することを特徴とする請求項２記載の映像送受信システム。
【請求項４】
前記画像認識手段により前記映像データが静的な映像と判別された場合、前記映像判別手段は、映像パラメータのうち解像度を前記優先される映像パラメータとして決定することを特徴とする請求項２記載の映像送受信システム。
【請求項５】
映像データを送信する映像送信装置と、前記映像データを受信して表示する映像受信装置と、がネットワークを介して接続されている映像送受信システムにおける映像送信方法であって、
ネットワーク状態検知手段が、前記ネットワークの状態を検知し、該ネットワークの状態に合った送信データ量を算出するステップと、
映像判別手段が、前記映像データを送信するに当たり該映像データの内容を判別して優先される映像パラメータを決定するステップと、
エンコーダーが、前記ネットワーク状態検知手段により算出された送信データ量と前記映像判別手段により決定された映像パラメータとに基づいて前記映像データを圧縮符号化するステップと、を有することを特徴とする映像送信方法。
【請求項１】
映像データを送信する映像送信装置と、前記映像データを受信して表示する映像受信装置と、がネットワークを介して接続されている映像送受信システムであって、
前記映像送信装置は、前記ネットワークの状態を検知し、該ネットワークの状態に合った送信データ量を算出するネットワーク状態検知手段と、前記映像データを送信するに当たり該映像データの内容を判別して優先される映像パラメータを決定する映像判別手段と、前記ネットワーク状態検知手段により算出された送信データ量と前記映像判別手段により決定された映像パラメータとに基づいて前記映像データを圧縮符号化するエンコーダーと、を備えたことを特徴とする映像送受信システム。
【請求項２】
前記映像判別手段は、前記映像データの内容を画像認識手段により判別することを特徴とする請求項１記載の映像送受信システム。
【請求項３】
前記画像認識手段により前記映像データが動的な映像と判別された場合、前記映像判別手段は、映像パラメータのうちフレームレートを前記優先される映像パラメータとして決定することを特徴とする請求項２記載の映像送受信システム。
【請求項４】
前記画像認識手段により前記映像データが静的な映像と判別された場合、前記映像判別手段は、映像パラメータのうち解像度を前記優先される映像パラメータとして決定することを特徴とする請求項２記載の映像送受信システム。
【請求項５】
映像データを送信する映像送信装置と、前記映像データを受信して表示する映像受信装置と、がネットワークを介して接続されている映像送受信システムにおける映像送信方法であって、
ネットワーク状態検知手段が、前記ネットワークの状態を検知し、該ネットワークの状態に合った送信データ量を算出するステップと、
映像判別手段が、前記映像データを送信するに当たり該映像データの内容を判別して優先される映像パラメータを決定するステップと、
エンコーダーが、前記ネットワーク状態検知手段により算出された送信データ量と前記映像判別手段により決定された映像パラメータとに基づいて前記映像データを圧縮符号化するステップと、を有することを特徴とする映像送信方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−８０５１８（Ｐ２０１２−８０５１８Ａ）
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願番号】特願２０１１−１４８９６０（Ｐ２０１１−１４８９６０）
【出願日】平成２３年７月５日（２０１１．７．５）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願日】平成２３年７月５日（２０１１．７．５）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]