通信システムおよび通信方法
【課題】複数の拠点の撮影端末により生成される映像データの送受信を効率的に行うとともに、ネットワーク負荷の変動によっても重要な部分の欠落が発生しないような通信システムおよび通信方法を提供すること。
【解決手段】本発明の実施形態に係る監視システム100は、表示端末3における表示に必要な画素数の映像データを受信するように、各中継装置2において映像データのビットレートを調整するから、表示端末3における表示品質を低下させずにネットワークの負荷を低減させることができる。また、各通信経路における通信帯域が狭くなった場合には、例えば、重要性の低い映像データのビットレートを重要性の高い映像データのビットレートに比べて相対的に低下させることもできるから、重要性の高い映像データに係る映像の表示品質を高い状態に保つこともできる。
【解決手段】本発明の実施形態に係る監視システム100は、表示端末3における表示に必要な画素数の映像データを受信するように、各中継装置2において映像データのビットレートを調整するから、表示端末3における表示品質を低下させずにネットワークの負荷を低減させることができる。また、各通信経路における通信帯域が狭くなった場合には、例えば、重要性の低い映像データのビットレートを重要性の高い映像データのビットレートに比べて相対的に低下させることもできるから、重要性の高い映像データに係る映像の表示品質を高い状態に保つこともできる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の拠点から送信される映像データを表示端末に受信させる際のネットワーク負荷低減の技術に関する。
【背景技術】
【0002】
近年、安全性確保のために、各拠点にカメラを設置し、各カメラによって撮影した映像を監視センタなどのモニタにまとめて表示する監視映像表示装置の需要が高まっている。監視のためには、できるだけ多くの拠点にカメラを設置して状況を詳細に把握することが求められる一方、カメラの撮影によって生成される映像データはデータ量が大きいことから、多くの拠点にカメラを設置するほどネットワークの負荷が大きくなっていた。ネットワークの負荷によって映像データの送受信が乱れてしまうと、重要な映像が欠落したりして監視に対して悪影響を与えてしまう。このため、ネットワークの負荷に対応した十分な通信帯域を確保しようとすると、専用線を設けるなど大きなコスト負担となってしまう。そこで、映像データの送受信を効率的に行うための技術が開発されている(例えば、特許文献1)。
【特許文献1】特開2003−259345号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
特許文献1に開示された技術によれば、映像データの送受信を効率的に行うことができる一方、専用線を用いていない場合など、他の要因によりネットワークの負荷が増大して通信帯域が狭くなった場合に、映像データの送受信が乱れてしまい、監視すべき重要な部分が欠落してしまうようなこともある。
【0004】
本発明は、上述の事情に鑑みてなされたものであり、複数の拠点の撮影端末により生成される映像データの送受信を効率的に行うとともに、ネットワーク負荷の変動によっても重要な部分の欠落が発生しないような通信システムおよび通信方法を提供することを目的とする。
【課題を解決するための手段】
【0005】
上述の課題を解決するため、本発明は、ネットワークに接続される複数の撮影端末の各々からストリーミング形式で送信される映像データであって、その送信元の前記撮影端末を特定する端末情報が付加された映像データを受信し、受信した映像データをネットワークに接続される表示端末に送信する通信システムにおいて、前記各撮影端末によって送信された映像データを受信する受信手段と、前記受信手段によって受信された各映像データのビットレートを所定の制御に応じて当該ビットレート以下に調整するビットレート調整手段と、前記ビットレート調整手段によってビットレートが調整された各映像データを前記表示端末に送信する送信手段と、前記送信手段によって送信される各映像データに係る映像の前記表示端末における表示態様を示す情報と前記映像データの送信元となる撮影端末とが対応付けられている設定データを取得する取得手段と、前記複数の撮影端末の各々と前記表示端末との各通信経路において通信可能な映像データの最大ビットレートを測定する帯域測定手段と、前記送信手段によって前記表示端末に送信される映像データのビットレートが、前記取得手段によって取得された設定データが示す当該映像データの送信元となる撮影端末に対応する表示態様および前記帯域測定手段によって測定された当該撮影端末と前記表示端末との通信経路における最大ビットレートに応じたビットレートになるように、前記ビットレート調整手段を制御する制御手段とを具備することを特徴とする通信システムを提供する。
【0006】
また、本発明は、ネットワークに接続される複数の撮影端末の各々からストリーミング形式で送信される映像データであって、その送信元の前記撮影端末を特定する端末情報が付加された映像データを受信して、受信した映像データをネットワークに接続される表示端末に送信する中継装置と、前記中継装置を制御するコントローラとを有する通信システムにおいて、前記中継装置は、前記撮影端末によって送信された映像データを受信する受信手段と、前記受信手段によって受信された映像データのビットレートを所定の制御に応じて当該ビットレート以下に調整するビットレート調整手段と、前記ビットレート調整手段によってビットレートが調整された映像データを前記表示端末に送信する送信手段と、前記複数の撮影端末の各々と前記表示端末との各通信経路において通信可能な映像データの最大ビットレートを測定する帯域測定手段とを具備し、前記コントローラは、前記送信手段によって送信される各映像データに係る映像の前記表示端末における表示態様を示す情報と前記映像データの送信元となる撮影端末とが対応付けられている設定データを取得する取得手段と、前記送信手段によって前記表示端末に送信される映像データのビットレートが、前記取得手段によって取得された設定データが示す当該映像データの送信元となる撮影端末に対応する表示態様および前記帯域測定手段によって測定された当該撮影端末と前記表示端末との通信経路における最大ビットレートに応じたビットレートになるように、前記ビットレート調整手段を制御する制御手段とを具備することを特徴とする通信システムを提供する。
【0007】
また、別の好ましい態様において、前記取得手段によって取得される設定データに係る表示態様を示す情報は、画素数を指定する情報であり、前記制御手段は、前記送信手段によって前記表示端末に送信される映像データに係る映像の画素数を、前記取得手段によって取得された設定データが示す当該映像データの送信元となる撮影端末に対応する画素数に変換して当該映像データのビットレートを調整するように前記ビットレート調整手段を制御するとともに、前記帯域測定手段によって測定された各通信経路における最大ビットレートに応じて、前記映像データにさらに所定の処理を施して前記各通信経路を通過する映像データのビットレートの総計が前記各通信経路に対応する最大ビットレート以下になるように、前記ビットレート調整手段を制御することを特徴とする。
【0008】
また、別の好ましい態様において、前記所定の処理は、前記受信手段によって受信された映像データのフレームレートを変換する処理を含むことを特徴とする。
【0009】
また、別の好ましい態様において、前記所定の処理は、前記受信手段によって受信された映像データの圧縮率を変換する処理を含むことを特徴とする。
【0010】
また、別の好ましい態様において、前記映像データに係る映像を解析する解析手段をさらに具備し、前記制御手段は、さらに前記解析手段による解析結果に応じたビットレートになるように、前記ビットレート調整手段を制御することを特徴とする。
【0011】
また、本発明は、ネットワークに接続される複数の撮影端末の各々からストリーミング形式で送信される映像データであって、その送信元の前記撮影端末を特定する端末情報が付加された映像データを受信し、受信した映像データをネットワークに接続される表示端末に送信する通信システムに用いられる通信方法において、前記各撮影端末によって送信された映像データを受信する受信過程と、前記受信過程において受信された各映像データのビットレートを所定の制御に応じて当該ビットレート以下に調整するビットレート調整過程と、前記ビットレート調整過程においてビットレートが調整された各映像データを前記表示端末に送信する送信過程と、前記送信過程において送信される各映像データに係る映像の前記表示端末における表示態様を示す情報と前記映像データの送信元となる撮影端末とが対応付けられている設定データを取得する取得過程と、前記複数の撮影端末の各々と前記表示端末との各通信経路において通信可能な映像データの最大ビットレートを測定する帯域測定過程と、前記送信過程において前記表示端末に送信される映像データのビットレートが、前記取得過程において取得された設定データが示す当該映像データの送信元となる撮影端末に対応する表示態様および前記帯域測定過程において測定された当該撮影端末と前記表示端末との通信経路における最大ビットレートに応じたビットレートになるように、前記ビットレート調整過程におけるビットレートの調整を制御する制御手段とを備えることを特徴とする通信方法を提供する。
【発明の効果】
【0012】
本発明によれば、複数の拠点の撮影端末により生成される映像データの送受信を効率的に行うとともに、ネットワーク負荷の変動によっても重要な部分の欠落が発生しないような通信システムおよび通信方法を提供することができる。
【発明を実施するための最良の形態】
【0013】
以下、本発明の一実施形態について説明する。
【0014】
<実施形態>
本発明の実施形態に係る通信システムの一態様である監視システム100は、図1に示すように、複数の撮影端末1−1、1−2、1−3、1−4(以下、それぞれを区別しないときには撮影端末1という)、複数の中継装置2−1、2−2、2−3、2−4(以下、それぞれを区別しないときには中継装置2という)、表示端末3、コントローラ4を有している。
【0015】
この例においては、WAN(Wide Area Network)などのネットワーク5には、中継装置2−1、2−2、2−4、コントローラ4が接続されている。また、撮影端末1−1は中継装置2−1に、撮影端末1−2および中継装置2−3は中継装置2−2に、撮影端末1−3、1−4は中継装置2−3に、表示端末3は、中継装置2−4にそれぞれLAN(Local Area Network)などのネットワークを介して接続されている。ここで、中継装置2と撮影端末1との間、中継装置2と表示端末3との間は、専用線で接続され十分な通信帯域が確保されているものとする。そして、この撮影端末1−1、1−2、1−3,1−4は、それぞれ拠点A、拠点B、拠点C、拠点Dに設置されている。
【0016】
この監視システム100は、各撮影端末1における撮影により生成された映像データが送信され、表示端末3において受信するまでの間の通信経路の途中に設けられた中継装置2によって、映像データを中継する。この中継装置2によって映像データが中継されるときに、コントローラ4の制御によって、その映像データのビットレートが調整されるようになっている。以下、監視システム100を構成する各々について、その構成を順に説明する。
【0017】
まず撮影端末1の構成について説明する。撮影端末1は、図2に示すように、撮影部101、エンコード部102および送信部103を有する。
【0018】
撮影部101は、撮像素子を有するデジタルビデオカメラなどの撮影手段であって、利用者などを撮影し、その撮影内容を示す映像データを生成して、エンコード部102に出力する。この撮影部101の撮像素子は、横1152ピクセル、縦864ピクセル(以下、1152×864のように表示する)の画素数(XGA+)による撮影が可能である。そのため、撮影部101が生成する映像データに係る映像の画素数は、1152×864となり、図3に示すように、その座標は、左上(0,0)、右上(1151,0)、左下(0,863)、右下(1151,863)と表される。そして、撮影部101は、拠点Aの所定範囲を撮影することにより、生成された映像データに係る映像には、拠点Aの所定範囲(図3に示す例においては、部屋の扉が存在するT字路周辺を想定)が含まれているものとなる。
【0019】
エンコード部102は、撮影部101から出力された映像データを符号化して、送信部103に出力する。
【0020】
送信部103は、エンコード部102によって符号化された映像データに送信する撮影端末1を示す端末情報を付加して、この撮影端末1に接続される中継装置2に送信する。この映像データは、ストリーミング形式で送信されるものであって、MPEG2、MotionJPEGなどのファイル形式で構成される。以上が、撮影端末1の構成についての説明である。
【0021】
次に、中継装置2の構成について説明する。中継装置2は、各撮影端末1と表示端末3との間に設けられたルータなどであって、図4に示すような構成になっている。以下に説明する中継装置2の構成については、ハードウエアとして実現されていてもよいし、図示しないコンピュータのCPUなどの制御部によってハードディスクなどの記憶部に記憶されたプログラムを実行することによって実現してもよい。
【0022】
制御データ受信部201は、後述するコントローラ4によって生成された制御データを受信して、調整部204に出力する。制御データは、後述する調整部204における映像データのビットレートの調整を行うときの制御内容を示すものである。また、中継装置2に接続された撮影端末1が複数である場合は、受信部202において受信する映像データが複数であることもあるから、この制御データは、各映像データの送信元である撮影端末1に対応した制御内容が示されている。制御データの詳細については後述する。
【0023】
受信部202は、接続される撮影端末1または他の中継装置2から映像データを受信して、デコード部203に出力する。受信する各映像データには上述したように端末情報が付加されているから、各映像データの送信元である撮影端末1を特定することができるようになっている。
【0024】
デコード部203は、受信部202から出力された各映像データを復号化して調整部204に出力する。
【0025】
調整部204は、制御データ受信部201から制御データが入力され、デコード部203から復号化した映像データが入力される。そして、調整部204は、入力された映像データのビットレートを、入力された制御データが示す制御内容に応じて、そのビットレート以下に調整する。具体的には、制御データが示す制御内容に応じて、映像データに係る映像の画素数の変換の他、フレームレート、圧縮率の変換、カラーからモノクロへの変換などについても行われることによって、ビットレートの調整が行われる。このようにして生成される映像データには、ビットレートが調整される前の映像データに付加されていた端末情報がそのまま付加される。
【0026】
そして、調整部204は、上述のようにして映像の画素数を調整することにより生成した各映像データをエンコード部205に出力する。なお、受信した映像データについて、制御データの制御内容によりビットレートの調整が行われない場合には、受信した映像データをそのまま送信するようにしてもよい。
【0027】
エンコード部205は、調整部204から出力された映像データを符号化して、送信部206に出力する。
【0028】
送信部206は、エンコード部205によって符号化された映像データを、この中継装置2に接続される表示端末3、または表示端末3への通信経路の途中に設けられた他の中継装置2に送信する。
【0029】
通信帯域測定部207は、この中継装置2から表示端末3に至る通信経路の途中に設けられている他の中継装置2までの通信経路の通信帯域を測定、すなわち、この中継装置2から送信可能な映像データの最大ビットレートを測定し、測定した通信経路に対応する通信帯域を示す帯域データを生成して帯域データ送信部208に出力する。この例においては、図1に示すように、中継装置2−1においては、通信経路aについての最大ビットレート、中継装置2−2、2−3については、それぞれ通信経路b、cについての最大ビットレートを測定する。この最大ビットレートの測定は、定期的に行われる。なお、中継装置2−4については、映像データの送信先は他の中継装置2ではないので、この構成を有していなくてもよい。
【0030】
帯域データ送信部208は、通信帯域測定部207から入力された帯域データをコントローラ4に送信する。ここで、最大ビットレートの測定は定期的に行われるから、帯域データについても定期的に送信される。以上が、中継装置2の構成についての説明である。
【0031】
次に、表示端末3の構成について説明する。表示端末3は、各撮影端末1を送信元とする映像データを受信し、設定した表示態様で表示モニタの表示領域に表示させるコンピュータなどであって、図5に示すような構成になっている。以下に説明する表示端末3の構成については、ハードウエアとして実現されていてもよいし、図示しないコンピュータのCPUなどの制御部によってハードディスクなどの記憶部に記憶されたプログラムを実行することによって実現してもよい。
【0032】
受信部301は、接続される中継装置2から映像データを受信して、デコード部302に出力する。受信する各映像データには上述したように端末情報が付加されているから、各映像データの送信元である撮影端末1を特定することができるようになっている。
【0033】
なお、受信部301によって受信される各映像データは、各中継装置2において映像データのビットレートが調整されたものであり、必ずしも全ての映像データが同一のビットレートであるとは限らない。したがって、受信する各映像データに係る映像の画素数、フレームレートなど互いに異なっている場合がある。
【0034】
デコード部302は、受信部301から出力された各映像データを復号化して合成部305に出力する。
【0035】
操作部303は、マウス、キーボード、また後述する表示部306の表示領域上のタッチパネルなどの操作手段である。この例においては、利用者によって操作部303が所定の操作をされることによって、他の各撮影端末1から送信される映像データを受信して表示部306の表示領域に表示させるときのレイアウトすなわち表示態様が決定される。このように決定されるレイアウトは、受信する映像データの数に応じて、様々なレイアウトが可能であって、予め記憶される複数のテンプレートから選択することにより決定してもよいし、利用者が操作部303を操作して所望のレイアウトを決定してもよい。
【0036】
このようなレイアウトの一例としては、例えば、図6に示すようなレイアウトが挙げられる。この図は、表示部306の表示領域に表示される表示内容を例示したものであって、各拠点の撮影端末1を送信元とする映像データに係る映像を、表示部306の表示領域のうち、どの領域に表示させるかを示したものである。例えば、図6(b)に示した例であれば、表示領域を4分割し、左上の領域は拠点Aに設置された撮影端末1−1を送信元とする映像データに係る映像を表示させる領域とし、同様に拠点Bに係る映像は右上、拠点Cに係る映像は左下、拠点Dに係る映像は右下に表示されるレイアウトを示している。ここで、後述するように各撮影端末1における表示部306の表示領域は、この例においては、1152×864の画素数により構成されている。
【0037】
そして、図6(b)に示すようなレイアウトでの表示のときに、利用者が操作部303を操作して、拠点Bの表示を大きくする旨の指示を出すと、図6(a)に示すようなレイアウトに変更される。すなわち、拠点Bについての表示範囲が拡大され、他の拠点A、C、Dについての表示範囲が縮小されるレイアウトが決定される。そして、元に戻す指示により、図6(b)に示すようなレイアウトに変更される。なお、この各レイアウトは、それぞれ他の映像が表示される領域と重複した領域を持たないようになっているが、重複する領域を持つようなレイアウトであってもよい。重複する場合には、双方の映像を合成した映像であってもよいし、いずれかの映像を優先して表示させるようにしてもよい。
【0038】
図5に戻って説明を続ける。設定部304は、操作部303の操作によって決定されたレイアウトを示す配置データを生成し、合成部305に出力することによりレイアウトを設定する。この配置データは、例えば図7に示すように、表示部306に表示させる映像の各拠点(各撮影端末1)に対応して、各拠点を送信元とする映像データに係る映像が配置される表示領域内の各領域を指定したものである。この例においては、この領域の指定は、領域の大きさを縦横の画素数で示し、領域の左上の座標を配置座標として示すことによって行われる。図6(a)に示すようなレイアウトである場合には、配置データは図7(a)に示すようなものとなる。同様に、図6(b)に示すようなレイアウトである場合には、配置データは図7(b)に示すようなものとなる。
【0039】
また、設定部304は、上述のように生成した配置データのうち配置座標を除いた設定データを生成して、設定データ送信部307に出力する。この設定データは、表示部306に表示させる映像の各拠点(各撮影端末1)に対応して、各拠点に対応する映像データに係る映像が配置される表示領域内における表示態様(この例においては画素数)、すなわち表示端末3において受信すべき映像データに係る映像の画素数を指定したものである。このように、設定データが示す画素数は、表示端末3において受信する各撮影端末1を送信元とする映像データの品質を100%生かせる画素数を示すものであるから、この画素数以上の映像を示す映像データの受信は、ネットワークへの負荷を不要に増大させることになる。
【0040】
合成部305は、デコード部302からの各映像データ、および設定部304から配置データが入力される。そして、表示部306の表示領域に表示させたときに、その表示領域のうち配置データによって指定される各領域に、対応する各映像データに係る映像が配置されるように合成した映像データを生成して、表示部306に出力する。
【0041】
このとき、デコード部302から入力される各映像データは、後述するように各中継装置2において、その映像の画素数が変換された映像データであり、合成部305に入力された配置データが指定する各拠点(各撮影端末1)に対応する画素数と同様なものとなっている。すなわち、決定されたレイアウトが図6(a)に示すようなものであった場合には、拠点A、C、D(撮影端末1−1、1−3、1−4)を送信元とする各映像データについては、その映像の画素数が384×288となっている。また、拠点B(撮影端末1−2)を送信元とする映像データについては、その映像の画素数が768×576となっている。なお、入力される映像データに係る映像の画素数が、配置データが指定する画素数と異なっている場合には、配置データが指定する画素数になるように画素数の変換を行う。
【0042】
そして、合成部305は、配置データに指定される画素数に調整されている各映像データに係る映像について、配置データに指定される配置座標に応じて配置することにより合成した映像データを表示部306に出力する。
【0043】
表示部306は、液晶ディスプレイなどの表示モニタを有する表示手段であって、その画素数は1152×864となっている。そして、合成部305から映像データが入力され、その映像データに応じて表示部306の表示領域に表示を行う。このようにして表示を行うと、表示部306の表示領域には、設定されたレイアウトに係る表示態様で受信した各々の映像データに係る映像が表示されることになる。
【0044】
設定データ送信部307は、各中継装置2を介して、設定部304において生成された設定データをコントローラ4へ送信する。ここで、設定データの送信は、異なるレイアウトが決定されて設定部304において設定データが生成されるたびに行われる。以上が、表示端末3の構成についての説明である。
【0045】
次に、コントローラ4の構成について説明する。コントローラ4は、各中継装置2を制御するコンピュータなどであって、図8に示すような構成になっている。以下に説明するコントローラ4の構成については、ハードウエアとして実現されていてもよいし、図示しないコンピュータのCPUなどの制御部によってハードディスクなどの記憶部に記憶されたプログラムを実行することによって実現してもよい。
【0046】
設定データ受信部401は、表示端末3から送信されたデータを受信して、算出部404に出力する。帯域データ受信部402は、各中継装置2から送信された帯域データを受信して、算出部404に出力する。
【0047】
接続状態記憶部403は、各中継装置2において、各撮影端末1、他の中継装置2および表示端末3との接続状態を示す情報を記憶する。この接続状態とは、映像データの送受信が可能な状態に接続され、通信経路を構成していることを示している。この例においては、図1に示すように、中継装置2−1は、撮影端末1−1および中継装置2−2、2−4と接続状態、中継装置2−2は、中継装置2−1、2−3、2−4および撮影端末1−2と接続状態、また、中継装置2−3は、中継装置2−2および撮影端末1−3、1−4と接続状態、そして、中継装置2−4は、中継装置2−1、2−2および表示端末3と接続状態にあることを示す情報が記憶されている。
【0048】
そして、このようにして記憶されている情報は、算出部404に出力される。なお、このように記憶される接続状態を示す情報については、予め、監視システム100の管理者などにより生成されたものであってもよいし、各中継装置2に接続状態を認識させて、その結果を送信させることにより、コントローラ4において生成するようにしてもよい。この場合には、定期的にその接続状態を各中継装置2に認識させてもよい。
【0049】
算出部404は、設定データ受信部401から入力される設定データ、帯域データ受信部402から入力される帯域データ、および接続状態記憶部403から入力される接続状態を示す情報に基づいて、所定の算出を行うことにより、各中継装置2に対応した制御データを生成する。この制御データは、各中継装置2における調整部204のビットレートの調整の制御内容(画素数の変換など)を示し、中継装置2に受信させることによって、その中継装置2を制御する。以下、算出部404における制御データの生成について説明する。
【0050】
算出部404は、まず、複数の中継装置2の各々に対応して、各中継装置2において撮影端末1から受信する映像データの画素数を、設定データが示すその撮影端末1(拠点)に対応する画素数に変換する制御内容を示す制御データを生成する。例えば、表示端末3において設定されたレイアウトが図6(a)に示すようなものであった場合、この段階における中継装置2−2に対応する制御データは、撮影端末1−2(拠点B)から受信した映像データに係る映像の画素数を1152×864から768×576へ変換する制御内容を示すものとなる。そして、同様に、中継装置2−1、2−3に対応する制御データについては、それぞれ接続される撮影端末1から受信する映像データに係る映像の画素数を1152×864から384×288へ変換する制御内容を示すものとなる。ここで、中継装置2−4に対応する制御データについては、撮影端末1から直接受信する映像データが無いため、この段階では画素数を変換する制御は行わず、そのまま通過させる制御内容を示すものとなる。
【0051】
さらに、算出部404は、中継装置2において各制御データが示す制御内容で映像データに係る映像の画素数を変換してビットレートを調整させた場合に、ビットレートが調整された映像データを送信するにあたり、各通信経路における通信帯域が確保されているかを、帯域データおよび接続状態を示す情報に基づいて判別する。すなわち、各通信経路において送信される映像データのビットレートの総計が、帯域データが示す各通信経路の最大ビットレート以下になっているかを判別する。算出部404は、各通信経路において送信される映像データのビットレートの総計が最大ビットレートを超える場合には、各通信経路における最大ビットレートを超えないように各映像データのビットレートを低減する制御内容を、各中継装置2に対応した制御データに追加する。この例においては、制御データに追加する制御内容は、映像データに係るフレームレートを低下させる変換を行うことによりビットレートを低減する調整をさせるものである。なお、フレームレートに限らず、圧縮率であってもよいし、他の方法によりビットレートを低減するものであってもよい。また、通信帯域が十分確保されているときには、制御データには、フレームレートを変換する制御内容が追加されないようにしてもよいし、フレームレートの変換を行わないとする制御内容が追加されるようにしてもよい。
【0052】
ここで、フレームレートを変換する制御内容を制御データに追加する場合において、通信経路aを通過する映像データについては、撮影端末1−1を送信元とする映像データだけであるから、中継装置2−1に対応する制御データには、帯域データが示す通信経路aの最大ビットレートに応じてこの映像データのビットレートを調整する制御内容が追加されればよい。一方、通信経路b、cにおいては、送信される映像データが複数存在する。したがって、通信経路b、cを通過する映像データについては、所定のアルゴリズムによりビットレートの調整量を算出し、その結果を示す制御内容を制御データに追加するようにすればよい。
【0053】
所定のアルゴリズムとは、例えば、設定データが示す画素数のうち、画素数が大きい拠点(撮影端末1)を送信元とする映像データほど、表示するときの重要性が高いと認識してビットレートの低減量を他の映像データに比べて相対的に少なくするものとすればよい。この場合には、通信経路cにおいては、撮影端末1−3、1−4を送信元とする映像データは、それぞれ同じ画素数に変換されるから、中継装置2−3に対応する制御データは、同じ程度にフレームレートを低下させる変換をすることによりビットレートを減少させる調整をする制御内容を追加したものとすればよい。
【0054】
一方、通信経路bにおいては、撮影端末1−2を送信元とする映像データが、撮影端末1−3、1−4を送信元とする映像データより大きい画素数に変換されるから、中継装置2−2に対応する制御データは、撮影端末1−2を送信元とする映像データのフレームレートを低下させずに、撮影端末1−3、1−4を送信元とする映像データのフレームレートを低下させる変換をすることによりビットレートを減少させる調整をする制御内容を追加したものとすればよい。
【0055】
なお、このような所定のアルゴリズムによるビットレートの調整の態様は一例であって、例えば、低下させるフレームレートの下限を設定し、低下させるフレームレートがその下限値に達した場合には、重要性が高い映像データについてもフレームレートを低下させてもよいし、またフレームレート以外の要素を変換してビットレートを低減させる調整としてもよい。このように、各通信経路における最大ビットレートに応じてビットレートを調整する態様で所定のアルゴリズムが設定されていればよい。
【0056】
このようにして、算出部404は、各中継装置2に対応する制御データを生成し、制御データ送信部405に出力する。
【0057】
制御データ送信部405は、算出部404によって出力された制御データを対応する各中継装置2に送信する。以上が、コントローラ4の構成の説明である。
【0058】
次に、本発明の実施形態に係る監視システム100の動作について説明する。まず、表示端末3の利用者は、操作部303を操作して、表示部306の表示領域に表示させるレイアウトを図6(b)に示すようなものとして決定する。これにより、図7(b)に示す配置データのうち、拠点と画素数との対応を示す設定データがコントローラ4に送信される。また、各中継装置2からは、各通信経路a、b、cにおける最大ビットレートを示す帯域データがコントローラ4に送信される。この時点においては、各通信経路a、b、cにおける最大ビットレートは大きな値として測定され、各映像データを送信するために十分な通信帯域が確保されているものとする。
【0059】
コントローラ4は、設定データを受信すると、各中継装置2に対応する制御データを生成する。この制御データについては、上述したように、各中継装置2において、接続される撮影端末1から送信される映像データに係る映像の画素数を1152×864から576×432に変換する制御内容を示すものである。ここで、帯域データが示す各通信経路a、b、cの最大ビットレートは、この時点においては大きな値であり、画素数が変換された映像データの通過には十分の通信帯域が確保されているから、制御データは、各撮影端末1から受信した映像データに係る映像の画素数の変換をする制御内容を示すもであって、フレームレートの変換についての制御内容については示されていないものとして、各中継装置2に送信される。
【0060】
各中継装置2は、接続された撮影端末1から映像データを受信し、その映像データに係る映像の画素数を1152×864から576×432に変換してビットレートを調整した映像データを生成する。そして、各中継装置2は、生成した映像データを他の中継装置2を介して表示端末3に送信する。表示端末3においては、受信した映像データを配置データに応じて合成して、表示部306の表示領域に、図6(b)に示されるような表示内容の表示がなされる。このようにして中継装置2において受信した映像データのビットレートは、そのビットレート以下に調整されて表示端末3に送信されるから、ネットワークの負荷を低減することができる。また、この際、映像データに係る映像の画素数は、表示領域に対応した画素数に変換されているだけであるから、表示領域に表示される映像の品質が悪化することもない。
【0061】
次に、利用者が拠点Bの映像に注目して拡大表示させるために、操作部303を操作して図6(a)に示すようなレイアウトに変更する決定をしたものとする。各通信経路の通信帯域は、このときにおいても十分な帯域が確保されているものとする。
【0062】
利用者によりレイアウトの変更指示がなされると、表示端末3からコントローラ4に対して、変更後のレイアウトに対応する設定データが送信される。そして、コントローラ4は、設定データに応じて各中継装置2に対応する制御データを生成して各中継装置2に送信する。具体的には、コントローラ4は、中継装置2−1に対しては、撮影端末1−1から受信した映像データに係る映像の画素数を1152×864から384×288に変換する制御内容の制御データ、中継装置2−2に対しては、撮影端末1−2から受信した映像データに係る映像の画素数を1152×864から768×576に変換する制御内容の制御データ、中継装置2−3に対しては、撮影端末1−3および撮影端末1−4から受信した映像データ係る映像の画素数を1152×864から384×288に変換する制御内容の制御データをそれぞれ送信する。
【0063】
これにより、各中継装置2において制御データに応じて各映像データのビットレートの調整がなされ、ビットレートが調整された各映像データが表示端末3に送信される。表示端末3においては、受信した映像データを配置データに応じて合成して、表示部306の表示領域に、図6(a)に示されるような表示内容の表示がなされる。このような状況においても、上述同様、表示領域に表示される映像の品質を悪化させずにネットワークの負荷を低減することができる。
【0064】
この状況において、通信経路bにおける通信帯域が狭くなり、送信可能な映像データの最大ビットレートが低下したものとする。この最大ビットレートの低下は、中継装置2−2の通信帯域測定部207において測定され、通信経路bについて低下した最大ビットレートを示す帯域データがコントローラ4に送信される。コントローラ4の算出部404は、この帯域データを受信すると、接続状態を示す情報から通信経路bを通過する映像データを認識する。この場合は、送信元が撮影端末1−2、1−3、1−4の映像データが認識される。
【0065】
そして、コントローラ4の算出部404は、所定のアルゴリズムで認識した映像データのビットレートの低減量を算出する。この例においては、帯域データが示す通信経路bの最大ビットレート内になるように、設定データが示す画素数が少ない拠点(撮影端末1−3、1−4)を送信元とする映像データのフレームレートの低下量を算出する。そして、映像データに係る映像の画素数を変換するとともに、算出したフレームレートに低下させる変換をする制御内容を示す制御データを中継装置2−3に送信する。
【0066】
中継装置2−3において、この制御データを受信すると、撮影端末1−3、1−4から受信した映像データに係る映像の画素数を変換するとともに、フレームレートを低下させる変換を行うことにより生成した映像データを送信する。これにより、通信経路bを通過する映像データのビットレートの総計が、最大ビットレート以下とすることができる。このとき、拠点C、Dについての表示はフレームレートが落ちることによりその表示品質が低下するものとなるが、注目している拠点Bについての表示については、その表示品質を維持することができる。なお、この方法によれば、このとき通信経路cにおける負荷についても低減することができるが、通信経路cにおける負荷を低減させなくてもよいときには、コントローラ4は、中継装置2−3へこのような制御データを送信する代わりに、中継装置2−2に対して、撮影端末1−2を送信元とする映像データの画素数を変換するとともに、撮影端末1−3、1−4を送信元とする映像データのフレームレートを変換する制御内容の制御データを送信して、撮影端末1−3、1−4を送信元とする映像データのフレームレートの変換は中継装置2−2で行うようにしてもよい。
【0067】
このように、本発明の実施形態に係る監視システム100は、表示端末3における表示に必要な画素数の映像データを受信するように、各中継装置2において映像データのビットレートを調整するから、表示端末3における表示品質を低下させずにネットワークの負荷を低減させることができる。また、各通信経路における通信帯域が狭くなった場合には、その通信帯域に応じて映像データのビットレートを低減する調整を行うことができ、映像データの通信を安定したものとすることができる。また、例えば、重要性の低い映像データのビットレートを重要性の高い映像データのビットレートに比べて相対的に低下させることもできるから、重要性の高い映像データに係る映像の表示品質を高い状態に保つこともできる。
【0068】
以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。
【0069】
<変形例1>
上述した実施形態においては、表示端末3の表示部306の表示領域に、利用者が決定したレイアウトに応じた表示をするための映像データの生成は、表示端末3において行っていたが、表示端末3が接続されている中継装置2−4において行うようにしてもよい。この場合には、中継装置2−4に表示端末3における合成部305の機能を設け、表示端末3は、配置データを中継装置2−4に送信するようにすればよい。
【0070】
<変形例2>
上述した実施形態において、調整部204は、映像データに係る映像の画素数を変換していたが、この変換の態様はどのようなものであってもよい。例えば、映像データに係る映像の範囲は一定とし、全体的に映像を縮小することにより解像度を低減して、画素数を調整してもよい。一方、映像の縮小は行わずに解像度を維持し、映像の範囲の一部を切り出すことにより画素数を調整してもよい。また、双方を組み合わせて、映像の範囲の一部を切り出してさらに縮小を行うようにしてもよい。切り出される映像の範囲の一部については、中継装置2に予め設定されていてもよいし、コントローラ4の制御によって行なわれてもよい。コントローラ4の制御によって行われる場合には、制御データにおいて切り出すべき範囲についても指定されるようにすればよい。
【0071】
また、表示端末3において各撮影端末1を送信元とする映像データに係る映像に対して、その切り出すべき範囲を指定してもよい。この場合には、表示端末3において指定された範囲を示す情報が設定データに含まれるようにする。そして、コントローラ4においては、実施形態のようにして生成される制御データが示す画素数が、表示端末3において指定された範囲の画素数よりも大きい場合には、指定された範囲を含む範囲であって、制御データが示す画素数に応じた範囲を切り出すことによって画素数を変換するように、各中継装置2を制御する制御データを生成すればよい。
【0072】
一方、制御データが示す画素数が、表示端末3において指定された範囲の画素数よりも小さい場合には、指定された範囲を切り出した上で、その範囲を縮小することによって画素数を変換するように、各中継装置2を制御する制御データを生成すればよい。
【0073】
このような処理について、ある撮影端末1を送信元とする映像データに係る映像について、表示端末3において指定された範囲が、例えば図9に示す破線の範囲(画素数640×480)である場合について、図10を用いて説明する。この撮影端末1を送信元とする映像データについて、中継装置2の調整部204において変換する画素数が768×576である場合には、図10(a)に示すように、調整部204は、表示端末3において指定された破線の範囲を含む2点鎖線の範囲(画素数768×576)を切り出すことによって映像データに係る映像の画素数を調整する。この切り出しの範囲は、表示端末3において指定された範囲が含まれていれば、どのような範囲でもよく、その態様については予め設定しておけばよい。
【0074】
一方、この撮影端末1を送信元とする映像データについて、中継装置2の調整部204において変換する画素数が576×432である場合には、図10(b)に示すように、調整部204は、この撮影端末1において指定された破線の範囲を切り出した上で、その範囲の映像を縮小(この場合には、縦横の画素数をそれぞれ0.9倍)することによって映像データに係る映像の画素数を変換する。このようにすると、指定された範囲を切り出さずに縮小する態様に比べ、画像の解像度の劣化を低減することができる。表示端末3において指定されている範囲が残されるように切り出されることにより、重要な部分の映像を残すことができる。
【0075】
なお、表示端末3における範囲の指定は、自動的に行われるようにしてもよく、画像認識により人物がいると判定される位置を含む所定範囲が自動的に指定されるようにしてもよい。また、マイクアレイなどにより発音方向を認識できるようにしておくことで、その発音方向に対応する所定範囲が自動的に指定されるようにしてもよい。このように自動的に行われる場合には、指定される範囲が随時変化していくこともある。なお、このように自動的に行われる場合には、表示端末3において範囲が指定されるだけでなく、撮影端末1、中継装置2において行われるようにしてもよい。
【0076】
<変形例3>
上述した実施形態においては、撮影端末1から送信された映像データの全てについて、表示端末3において受信して表示領域に表示させていたが、レイアウトの内容によっては表示領域に表示させない映像があってもよい。そして、表示させない映像に係る映像データの送信元である撮影端末1については、電源をオフに制御するようにしてもよい。この場合には、中継装置2は、図11に示すような構成とし、撮影端末1は、図12のような構成とすればよい。
【0077】
そして、コントローラ4は、設定データにより使用されない映像データの送信元となる撮影端末1を認識し、その撮影端末1が接続されている中継装置2に対して送信する制御データに、その撮影端末1が使用されていないことを示す停止情報が含まれるようにする。中継装置2は、図11に示すように、電源制御データ生成部209および電源制御データ送信部210をさらに有する。電源制御データ生成部209は、制御データ受信部201によって受信された制御データが入力され、その制御データに撮影端末1についての停止情報が含まれていることを認識すると、電源をオフにする制御内容を示す電源制御データを生成して、電源制御データ送信部210から電源をオフにすべき撮影端末1に対して送信する。
【0078】
撮影端末1は、図12に示すように電源制御データ受信部104および電源制御部105を有する。電源制御データ受信部104は、中継装置2から電源制御データを受信すると、電源制御部105に出力する。電源制御部105は、電源制御データが入力されると停止情報により撮影部101、エンコード部102および送信部103の電源供給を停止し、その機能を停止させる。このように構成することにより、表示させない映像に係る映像データの送信元である撮影端末1については、電源をオフにすることができる。
【0079】
一方、表示端末3において異なるレイアウトが決定され、電源をオフにした撮影端末1を送信元とする映像データを受信する必要がある場合には、コントローラ4は、そのレイアウトの決定より受信した設定データに基づいて、制御データにその撮影端末1が使用される状況になったことを示す開始情報が含まれるようにする。中継装置2の電源制御データ生成部209は、制御データ受信部201によって受信された制御データが入力され、その制御データに撮影端末1についての開始情報が含まれていることを認識すると、電源をオンにする制御内容を示す電源制御データを生成して、電源制御データ送信部210から電源をオンにすべき撮影端末1に対して送信する。
【0080】
撮影端末1の電源制御データ受信部104は、中継装置2から電源制御データを受信すると、電源制御部105に出力する。電源制御部105は、電源制御データが入力されると開始情報により撮影部101、エンコード部102および送信部103の電源供給を開始し、その機能を再開させる。このように構成することにより、電源がオフにされていた撮影端末1の電源を再びオンにすることができる。
【0081】
<変形例4>
上述した実施形態においては、表示の重要性については、画素数の大きさ、すなわち表示領域における表示範囲の大きさに応じて決定されるようにしていたが、映像データに係る映像の内容に応じて重要性について決定されるようにしてもよい。この場合には、映像データに係る映像の内容を解析する解析手段を、撮影端末1、中継装置2または表示端末3のいずれかに設け、その解析結果に応じて映像の内容の重要性が決定されるようにすればよい。そして、重要性に応じて実施形態におけるフレームレートの低下量を決定すればよい。ここで、解析手段による解析とは、例えば、映像の変化量を解析してもよいし、映像に人物が存在するか否か、またはその人数を解析してもよい。すなわち、映像の内容を解析して、何らかの数値化できる要素を抽出できれば、どのような解析であってもよい。そして、その要素の数値によって重要性が決定されるように予め設定しておけばよい。このようにして決定された重要性を示す情報を、コントローラ4に送信して、制御データが示す映像データのビットレートを調整する制御内容に反映するようにすればよい。なお、重要性が高い場合には、撮影端末1から送信される映像データのフレームレートを高くするように制御してもよい。この場合には、撮影端末1における撮影部101をさらに高いフレームレートでの撮影ができるものとしておけばよい。
【0082】
<変形例5>
上述した実施形態においては、設定データは、各拠点とその拠点の撮影端末1を送信元とする映像データに係る映像の画素数とにより表示態様を示すものとしていたが、別の形式で表示態様を示すようにしてもよい。例えば、各拠点に対応してフレームレート、圧縮率、カラーまたはモノクロの指定などにより表示態様を示すようにしてもよい。これは、利用者が操作部303を操作することによって決定すればよい。また、コントローラ4においては、この設定データの内容に対応して、中継装置2におけるビットレートの調整の制御内容を示す制御データを生成し、中継装置2に送信すればよい。このように、設定データによって示される各拠点に係る映像の表示態様は、様々な形式で表すことができ、すなわち、表示態様とは、表示端末3における表示領域の表示に影響を与える要素であれば、どのような要素を用いた形式でも表すことができ、複数の形式、例えば、画素数とフレームレートなどで表すようにしてもよい。
【図面の簡単な説明】
【0083】
【図1】実施形態に係る監視システムの構成の一例を示すブロック図である。
【図2】実施形態に係る撮影端末の構成を示すブロック図である。
【図3】実施形態に係る撮影部の撮影内容および座標を示す説明図である。
【図4】実施形態に係る中継装置の構成を示すブロック図である。
【図5】実施形態に係る表示端末の構成を示すブロック図である。
【図6】実施形態に係る表示部の表示領域に表示される各映像のレイアウトの一例を示す説明図である。
【図7】実施形態に係る配置データの一例を示す説明図である。
【図8】実施形態に係るコントローラの構成を示すブロック図である。
【図9】変形例2に係る端末において指定される範囲の一例を示す説明図である。
【図10】変形例2に係る中継装置における画素数の変換の一例を示す説明図である。
【図11】変形例3に係る中継装置の構成を示すブロック図である。
【図12】変形例3に係る撮影端末の構成を示すブロック図である。
【符号の説明】
【0084】
1,1−1,1−2,1−3,1−4…撮影端末、2,2−1,2−2,2−3,2−4…中継装置、3…表示端末、4…コントローラ、5…ネットワーク、100…監視システム、101…撮影部、102…エンコード部、103…送信部、201…制御データ受信部、202…受信部、203…デコード部、204…調整部、205…エンコード部、206…送信部、207…通信帯域測定部、208…帯域データ送信部、301…受信部、302…デコード部、303…操作部、304…設定部、305…合成部、306…表示部、307…設定データ送信部、401…設定データ受信部、402…帯域データ受信部、403…接続状態記憶部、404…算出部、405…制御データ送信部
【技術分野】
【0001】
本発明は、複数の拠点から送信される映像データを表示端末に受信させる際のネットワーク負荷低減の技術に関する。
【背景技術】
【0002】
近年、安全性確保のために、各拠点にカメラを設置し、各カメラによって撮影した映像を監視センタなどのモニタにまとめて表示する監視映像表示装置の需要が高まっている。監視のためには、できるだけ多くの拠点にカメラを設置して状況を詳細に把握することが求められる一方、カメラの撮影によって生成される映像データはデータ量が大きいことから、多くの拠点にカメラを設置するほどネットワークの負荷が大きくなっていた。ネットワークの負荷によって映像データの送受信が乱れてしまうと、重要な映像が欠落したりして監視に対して悪影響を与えてしまう。このため、ネットワークの負荷に対応した十分な通信帯域を確保しようとすると、専用線を設けるなど大きなコスト負担となってしまう。そこで、映像データの送受信を効率的に行うための技術が開発されている(例えば、特許文献1)。
【特許文献1】特開2003−259345号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
特許文献1に開示された技術によれば、映像データの送受信を効率的に行うことができる一方、専用線を用いていない場合など、他の要因によりネットワークの負荷が増大して通信帯域が狭くなった場合に、映像データの送受信が乱れてしまい、監視すべき重要な部分が欠落してしまうようなこともある。
【0004】
本発明は、上述の事情に鑑みてなされたものであり、複数の拠点の撮影端末により生成される映像データの送受信を効率的に行うとともに、ネットワーク負荷の変動によっても重要な部分の欠落が発生しないような通信システムおよび通信方法を提供することを目的とする。
【課題を解決するための手段】
【0005】
上述の課題を解決するため、本発明は、ネットワークに接続される複数の撮影端末の各々からストリーミング形式で送信される映像データであって、その送信元の前記撮影端末を特定する端末情報が付加された映像データを受信し、受信した映像データをネットワークに接続される表示端末に送信する通信システムにおいて、前記各撮影端末によって送信された映像データを受信する受信手段と、前記受信手段によって受信された各映像データのビットレートを所定の制御に応じて当該ビットレート以下に調整するビットレート調整手段と、前記ビットレート調整手段によってビットレートが調整された各映像データを前記表示端末に送信する送信手段と、前記送信手段によって送信される各映像データに係る映像の前記表示端末における表示態様を示す情報と前記映像データの送信元となる撮影端末とが対応付けられている設定データを取得する取得手段と、前記複数の撮影端末の各々と前記表示端末との各通信経路において通信可能な映像データの最大ビットレートを測定する帯域測定手段と、前記送信手段によって前記表示端末に送信される映像データのビットレートが、前記取得手段によって取得された設定データが示す当該映像データの送信元となる撮影端末に対応する表示態様および前記帯域測定手段によって測定された当該撮影端末と前記表示端末との通信経路における最大ビットレートに応じたビットレートになるように、前記ビットレート調整手段を制御する制御手段とを具備することを特徴とする通信システムを提供する。
【0006】
また、本発明は、ネットワークに接続される複数の撮影端末の各々からストリーミング形式で送信される映像データであって、その送信元の前記撮影端末を特定する端末情報が付加された映像データを受信して、受信した映像データをネットワークに接続される表示端末に送信する中継装置と、前記中継装置を制御するコントローラとを有する通信システムにおいて、前記中継装置は、前記撮影端末によって送信された映像データを受信する受信手段と、前記受信手段によって受信された映像データのビットレートを所定の制御に応じて当該ビットレート以下に調整するビットレート調整手段と、前記ビットレート調整手段によってビットレートが調整された映像データを前記表示端末に送信する送信手段と、前記複数の撮影端末の各々と前記表示端末との各通信経路において通信可能な映像データの最大ビットレートを測定する帯域測定手段とを具備し、前記コントローラは、前記送信手段によって送信される各映像データに係る映像の前記表示端末における表示態様を示す情報と前記映像データの送信元となる撮影端末とが対応付けられている設定データを取得する取得手段と、前記送信手段によって前記表示端末に送信される映像データのビットレートが、前記取得手段によって取得された設定データが示す当該映像データの送信元となる撮影端末に対応する表示態様および前記帯域測定手段によって測定された当該撮影端末と前記表示端末との通信経路における最大ビットレートに応じたビットレートになるように、前記ビットレート調整手段を制御する制御手段とを具備することを特徴とする通信システムを提供する。
【0007】
また、別の好ましい態様において、前記取得手段によって取得される設定データに係る表示態様を示す情報は、画素数を指定する情報であり、前記制御手段は、前記送信手段によって前記表示端末に送信される映像データに係る映像の画素数を、前記取得手段によって取得された設定データが示す当該映像データの送信元となる撮影端末に対応する画素数に変換して当該映像データのビットレートを調整するように前記ビットレート調整手段を制御するとともに、前記帯域測定手段によって測定された各通信経路における最大ビットレートに応じて、前記映像データにさらに所定の処理を施して前記各通信経路を通過する映像データのビットレートの総計が前記各通信経路に対応する最大ビットレート以下になるように、前記ビットレート調整手段を制御することを特徴とする。
【0008】
また、別の好ましい態様において、前記所定の処理は、前記受信手段によって受信された映像データのフレームレートを変換する処理を含むことを特徴とする。
【0009】
また、別の好ましい態様において、前記所定の処理は、前記受信手段によって受信された映像データの圧縮率を変換する処理を含むことを特徴とする。
【0010】
また、別の好ましい態様において、前記映像データに係る映像を解析する解析手段をさらに具備し、前記制御手段は、さらに前記解析手段による解析結果に応じたビットレートになるように、前記ビットレート調整手段を制御することを特徴とする。
【0011】
また、本発明は、ネットワークに接続される複数の撮影端末の各々からストリーミング形式で送信される映像データであって、その送信元の前記撮影端末を特定する端末情報が付加された映像データを受信し、受信した映像データをネットワークに接続される表示端末に送信する通信システムに用いられる通信方法において、前記各撮影端末によって送信された映像データを受信する受信過程と、前記受信過程において受信された各映像データのビットレートを所定の制御に応じて当該ビットレート以下に調整するビットレート調整過程と、前記ビットレート調整過程においてビットレートが調整された各映像データを前記表示端末に送信する送信過程と、前記送信過程において送信される各映像データに係る映像の前記表示端末における表示態様を示す情報と前記映像データの送信元となる撮影端末とが対応付けられている設定データを取得する取得過程と、前記複数の撮影端末の各々と前記表示端末との各通信経路において通信可能な映像データの最大ビットレートを測定する帯域測定過程と、前記送信過程において前記表示端末に送信される映像データのビットレートが、前記取得過程において取得された設定データが示す当該映像データの送信元となる撮影端末に対応する表示態様および前記帯域測定過程において測定された当該撮影端末と前記表示端末との通信経路における最大ビットレートに応じたビットレートになるように、前記ビットレート調整過程におけるビットレートの調整を制御する制御手段とを備えることを特徴とする通信方法を提供する。
【発明の効果】
【0012】
本発明によれば、複数の拠点の撮影端末により生成される映像データの送受信を効率的に行うとともに、ネットワーク負荷の変動によっても重要な部分の欠落が発生しないような通信システムおよび通信方法を提供することができる。
【発明を実施するための最良の形態】
【0013】
以下、本発明の一実施形態について説明する。
【0014】
<実施形態>
本発明の実施形態に係る通信システムの一態様である監視システム100は、図1に示すように、複数の撮影端末1−1、1−2、1−3、1−4(以下、それぞれを区別しないときには撮影端末1という)、複数の中継装置2−1、2−2、2−3、2−4(以下、それぞれを区別しないときには中継装置2という)、表示端末3、コントローラ4を有している。
【0015】
この例においては、WAN(Wide Area Network)などのネットワーク5には、中継装置2−1、2−2、2−4、コントローラ4が接続されている。また、撮影端末1−1は中継装置2−1に、撮影端末1−2および中継装置2−3は中継装置2−2に、撮影端末1−3、1−4は中継装置2−3に、表示端末3は、中継装置2−4にそれぞれLAN(Local Area Network)などのネットワークを介して接続されている。ここで、中継装置2と撮影端末1との間、中継装置2と表示端末3との間は、専用線で接続され十分な通信帯域が確保されているものとする。そして、この撮影端末1−1、1−2、1−3,1−4は、それぞれ拠点A、拠点B、拠点C、拠点Dに設置されている。
【0016】
この監視システム100は、各撮影端末1における撮影により生成された映像データが送信され、表示端末3において受信するまでの間の通信経路の途中に設けられた中継装置2によって、映像データを中継する。この中継装置2によって映像データが中継されるときに、コントローラ4の制御によって、その映像データのビットレートが調整されるようになっている。以下、監視システム100を構成する各々について、その構成を順に説明する。
【0017】
まず撮影端末1の構成について説明する。撮影端末1は、図2に示すように、撮影部101、エンコード部102および送信部103を有する。
【0018】
撮影部101は、撮像素子を有するデジタルビデオカメラなどの撮影手段であって、利用者などを撮影し、その撮影内容を示す映像データを生成して、エンコード部102に出力する。この撮影部101の撮像素子は、横1152ピクセル、縦864ピクセル(以下、1152×864のように表示する)の画素数(XGA+)による撮影が可能である。そのため、撮影部101が生成する映像データに係る映像の画素数は、1152×864となり、図3に示すように、その座標は、左上(0,0)、右上(1151,0)、左下(0,863)、右下(1151,863)と表される。そして、撮影部101は、拠点Aの所定範囲を撮影することにより、生成された映像データに係る映像には、拠点Aの所定範囲(図3に示す例においては、部屋の扉が存在するT字路周辺を想定)が含まれているものとなる。
【0019】
エンコード部102は、撮影部101から出力された映像データを符号化して、送信部103に出力する。
【0020】
送信部103は、エンコード部102によって符号化された映像データに送信する撮影端末1を示す端末情報を付加して、この撮影端末1に接続される中継装置2に送信する。この映像データは、ストリーミング形式で送信されるものであって、MPEG2、MotionJPEGなどのファイル形式で構成される。以上が、撮影端末1の構成についての説明である。
【0021】
次に、中継装置2の構成について説明する。中継装置2は、各撮影端末1と表示端末3との間に設けられたルータなどであって、図4に示すような構成になっている。以下に説明する中継装置2の構成については、ハードウエアとして実現されていてもよいし、図示しないコンピュータのCPUなどの制御部によってハードディスクなどの記憶部に記憶されたプログラムを実行することによって実現してもよい。
【0022】
制御データ受信部201は、後述するコントローラ4によって生成された制御データを受信して、調整部204に出力する。制御データは、後述する調整部204における映像データのビットレートの調整を行うときの制御内容を示すものである。また、中継装置2に接続された撮影端末1が複数である場合は、受信部202において受信する映像データが複数であることもあるから、この制御データは、各映像データの送信元である撮影端末1に対応した制御内容が示されている。制御データの詳細については後述する。
【0023】
受信部202は、接続される撮影端末1または他の中継装置2から映像データを受信して、デコード部203に出力する。受信する各映像データには上述したように端末情報が付加されているから、各映像データの送信元である撮影端末1を特定することができるようになっている。
【0024】
デコード部203は、受信部202から出力された各映像データを復号化して調整部204に出力する。
【0025】
調整部204は、制御データ受信部201から制御データが入力され、デコード部203から復号化した映像データが入力される。そして、調整部204は、入力された映像データのビットレートを、入力された制御データが示す制御内容に応じて、そのビットレート以下に調整する。具体的には、制御データが示す制御内容に応じて、映像データに係る映像の画素数の変換の他、フレームレート、圧縮率の変換、カラーからモノクロへの変換などについても行われることによって、ビットレートの調整が行われる。このようにして生成される映像データには、ビットレートが調整される前の映像データに付加されていた端末情報がそのまま付加される。
【0026】
そして、調整部204は、上述のようにして映像の画素数を調整することにより生成した各映像データをエンコード部205に出力する。なお、受信した映像データについて、制御データの制御内容によりビットレートの調整が行われない場合には、受信した映像データをそのまま送信するようにしてもよい。
【0027】
エンコード部205は、調整部204から出力された映像データを符号化して、送信部206に出力する。
【0028】
送信部206は、エンコード部205によって符号化された映像データを、この中継装置2に接続される表示端末3、または表示端末3への通信経路の途中に設けられた他の中継装置2に送信する。
【0029】
通信帯域測定部207は、この中継装置2から表示端末3に至る通信経路の途中に設けられている他の中継装置2までの通信経路の通信帯域を測定、すなわち、この中継装置2から送信可能な映像データの最大ビットレートを測定し、測定した通信経路に対応する通信帯域を示す帯域データを生成して帯域データ送信部208に出力する。この例においては、図1に示すように、中継装置2−1においては、通信経路aについての最大ビットレート、中継装置2−2、2−3については、それぞれ通信経路b、cについての最大ビットレートを測定する。この最大ビットレートの測定は、定期的に行われる。なお、中継装置2−4については、映像データの送信先は他の中継装置2ではないので、この構成を有していなくてもよい。
【0030】
帯域データ送信部208は、通信帯域測定部207から入力された帯域データをコントローラ4に送信する。ここで、最大ビットレートの測定は定期的に行われるから、帯域データについても定期的に送信される。以上が、中継装置2の構成についての説明である。
【0031】
次に、表示端末3の構成について説明する。表示端末3は、各撮影端末1を送信元とする映像データを受信し、設定した表示態様で表示モニタの表示領域に表示させるコンピュータなどであって、図5に示すような構成になっている。以下に説明する表示端末3の構成については、ハードウエアとして実現されていてもよいし、図示しないコンピュータのCPUなどの制御部によってハードディスクなどの記憶部に記憶されたプログラムを実行することによって実現してもよい。
【0032】
受信部301は、接続される中継装置2から映像データを受信して、デコード部302に出力する。受信する各映像データには上述したように端末情報が付加されているから、各映像データの送信元である撮影端末1を特定することができるようになっている。
【0033】
なお、受信部301によって受信される各映像データは、各中継装置2において映像データのビットレートが調整されたものであり、必ずしも全ての映像データが同一のビットレートであるとは限らない。したがって、受信する各映像データに係る映像の画素数、フレームレートなど互いに異なっている場合がある。
【0034】
デコード部302は、受信部301から出力された各映像データを復号化して合成部305に出力する。
【0035】
操作部303は、マウス、キーボード、また後述する表示部306の表示領域上のタッチパネルなどの操作手段である。この例においては、利用者によって操作部303が所定の操作をされることによって、他の各撮影端末1から送信される映像データを受信して表示部306の表示領域に表示させるときのレイアウトすなわち表示態様が決定される。このように決定されるレイアウトは、受信する映像データの数に応じて、様々なレイアウトが可能であって、予め記憶される複数のテンプレートから選択することにより決定してもよいし、利用者が操作部303を操作して所望のレイアウトを決定してもよい。
【0036】
このようなレイアウトの一例としては、例えば、図6に示すようなレイアウトが挙げられる。この図は、表示部306の表示領域に表示される表示内容を例示したものであって、各拠点の撮影端末1を送信元とする映像データに係る映像を、表示部306の表示領域のうち、どの領域に表示させるかを示したものである。例えば、図6(b)に示した例であれば、表示領域を4分割し、左上の領域は拠点Aに設置された撮影端末1−1を送信元とする映像データに係る映像を表示させる領域とし、同様に拠点Bに係る映像は右上、拠点Cに係る映像は左下、拠点Dに係る映像は右下に表示されるレイアウトを示している。ここで、後述するように各撮影端末1における表示部306の表示領域は、この例においては、1152×864の画素数により構成されている。
【0037】
そして、図6(b)に示すようなレイアウトでの表示のときに、利用者が操作部303を操作して、拠点Bの表示を大きくする旨の指示を出すと、図6(a)に示すようなレイアウトに変更される。すなわち、拠点Bについての表示範囲が拡大され、他の拠点A、C、Dについての表示範囲が縮小されるレイアウトが決定される。そして、元に戻す指示により、図6(b)に示すようなレイアウトに変更される。なお、この各レイアウトは、それぞれ他の映像が表示される領域と重複した領域を持たないようになっているが、重複する領域を持つようなレイアウトであってもよい。重複する場合には、双方の映像を合成した映像であってもよいし、いずれかの映像を優先して表示させるようにしてもよい。
【0038】
図5に戻って説明を続ける。設定部304は、操作部303の操作によって決定されたレイアウトを示す配置データを生成し、合成部305に出力することによりレイアウトを設定する。この配置データは、例えば図7に示すように、表示部306に表示させる映像の各拠点(各撮影端末1)に対応して、各拠点を送信元とする映像データに係る映像が配置される表示領域内の各領域を指定したものである。この例においては、この領域の指定は、領域の大きさを縦横の画素数で示し、領域の左上の座標を配置座標として示すことによって行われる。図6(a)に示すようなレイアウトである場合には、配置データは図7(a)に示すようなものとなる。同様に、図6(b)に示すようなレイアウトである場合には、配置データは図7(b)に示すようなものとなる。
【0039】
また、設定部304は、上述のように生成した配置データのうち配置座標を除いた設定データを生成して、設定データ送信部307に出力する。この設定データは、表示部306に表示させる映像の各拠点(各撮影端末1)に対応して、各拠点に対応する映像データに係る映像が配置される表示領域内における表示態様(この例においては画素数)、すなわち表示端末3において受信すべき映像データに係る映像の画素数を指定したものである。このように、設定データが示す画素数は、表示端末3において受信する各撮影端末1を送信元とする映像データの品質を100%生かせる画素数を示すものであるから、この画素数以上の映像を示す映像データの受信は、ネットワークへの負荷を不要に増大させることになる。
【0040】
合成部305は、デコード部302からの各映像データ、および設定部304から配置データが入力される。そして、表示部306の表示領域に表示させたときに、その表示領域のうち配置データによって指定される各領域に、対応する各映像データに係る映像が配置されるように合成した映像データを生成して、表示部306に出力する。
【0041】
このとき、デコード部302から入力される各映像データは、後述するように各中継装置2において、その映像の画素数が変換された映像データであり、合成部305に入力された配置データが指定する各拠点(各撮影端末1)に対応する画素数と同様なものとなっている。すなわち、決定されたレイアウトが図6(a)に示すようなものであった場合には、拠点A、C、D(撮影端末1−1、1−3、1−4)を送信元とする各映像データについては、その映像の画素数が384×288となっている。また、拠点B(撮影端末1−2)を送信元とする映像データについては、その映像の画素数が768×576となっている。なお、入力される映像データに係る映像の画素数が、配置データが指定する画素数と異なっている場合には、配置データが指定する画素数になるように画素数の変換を行う。
【0042】
そして、合成部305は、配置データに指定される画素数に調整されている各映像データに係る映像について、配置データに指定される配置座標に応じて配置することにより合成した映像データを表示部306に出力する。
【0043】
表示部306は、液晶ディスプレイなどの表示モニタを有する表示手段であって、その画素数は1152×864となっている。そして、合成部305から映像データが入力され、その映像データに応じて表示部306の表示領域に表示を行う。このようにして表示を行うと、表示部306の表示領域には、設定されたレイアウトに係る表示態様で受信した各々の映像データに係る映像が表示されることになる。
【0044】
設定データ送信部307は、各中継装置2を介して、設定部304において生成された設定データをコントローラ4へ送信する。ここで、設定データの送信は、異なるレイアウトが決定されて設定部304において設定データが生成されるたびに行われる。以上が、表示端末3の構成についての説明である。
【0045】
次に、コントローラ4の構成について説明する。コントローラ4は、各中継装置2を制御するコンピュータなどであって、図8に示すような構成になっている。以下に説明するコントローラ4の構成については、ハードウエアとして実現されていてもよいし、図示しないコンピュータのCPUなどの制御部によってハードディスクなどの記憶部に記憶されたプログラムを実行することによって実現してもよい。
【0046】
設定データ受信部401は、表示端末3から送信されたデータを受信して、算出部404に出力する。帯域データ受信部402は、各中継装置2から送信された帯域データを受信して、算出部404に出力する。
【0047】
接続状態記憶部403は、各中継装置2において、各撮影端末1、他の中継装置2および表示端末3との接続状態を示す情報を記憶する。この接続状態とは、映像データの送受信が可能な状態に接続され、通信経路を構成していることを示している。この例においては、図1に示すように、中継装置2−1は、撮影端末1−1および中継装置2−2、2−4と接続状態、中継装置2−2は、中継装置2−1、2−3、2−4および撮影端末1−2と接続状態、また、中継装置2−3は、中継装置2−2および撮影端末1−3、1−4と接続状態、そして、中継装置2−4は、中継装置2−1、2−2および表示端末3と接続状態にあることを示す情報が記憶されている。
【0048】
そして、このようにして記憶されている情報は、算出部404に出力される。なお、このように記憶される接続状態を示す情報については、予め、監視システム100の管理者などにより生成されたものであってもよいし、各中継装置2に接続状態を認識させて、その結果を送信させることにより、コントローラ4において生成するようにしてもよい。この場合には、定期的にその接続状態を各中継装置2に認識させてもよい。
【0049】
算出部404は、設定データ受信部401から入力される設定データ、帯域データ受信部402から入力される帯域データ、および接続状態記憶部403から入力される接続状態を示す情報に基づいて、所定の算出を行うことにより、各中継装置2に対応した制御データを生成する。この制御データは、各中継装置2における調整部204のビットレートの調整の制御内容(画素数の変換など)を示し、中継装置2に受信させることによって、その中継装置2を制御する。以下、算出部404における制御データの生成について説明する。
【0050】
算出部404は、まず、複数の中継装置2の各々に対応して、各中継装置2において撮影端末1から受信する映像データの画素数を、設定データが示すその撮影端末1(拠点)に対応する画素数に変換する制御内容を示す制御データを生成する。例えば、表示端末3において設定されたレイアウトが図6(a)に示すようなものであった場合、この段階における中継装置2−2に対応する制御データは、撮影端末1−2(拠点B)から受信した映像データに係る映像の画素数を1152×864から768×576へ変換する制御内容を示すものとなる。そして、同様に、中継装置2−1、2−3に対応する制御データについては、それぞれ接続される撮影端末1から受信する映像データに係る映像の画素数を1152×864から384×288へ変換する制御内容を示すものとなる。ここで、中継装置2−4に対応する制御データについては、撮影端末1から直接受信する映像データが無いため、この段階では画素数を変換する制御は行わず、そのまま通過させる制御内容を示すものとなる。
【0051】
さらに、算出部404は、中継装置2において各制御データが示す制御内容で映像データに係る映像の画素数を変換してビットレートを調整させた場合に、ビットレートが調整された映像データを送信するにあたり、各通信経路における通信帯域が確保されているかを、帯域データおよび接続状態を示す情報に基づいて判別する。すなわち、各通信経路において送信される映像データのビットレートの総計が、帯域データが示す各通信経路の最大ビットレート以下になっているかを判別する。算出部404は、各通信経路において送信される映像データのビットレートの総計が最大ビットレートを超える場合には、各通信経路における最大ビットレートを超えないように各映像データのビットレートを低減する制御内容を、各中継装置2に対応した制御データに追加する。この例においては、制御データに追加する制御内容は、映像データに係るフレームレートを低下させる変換を行うことによりビットレートを低減する調整をさせるものである。なお、フレームレートに限らず、圧縮率であってもよいし、他の方法によりビットレートを低減するものであってもよい。また、通信帯域が十分確保されているときには、制御データには、フレームレートを変換する制御内容が追加されないようにしてもよいし、フレームレートの変換を行わないとする制御内容が追加されるようにしてもよい。
【0052】
ここで、フレームレートを変換する制御内容を制御データに追加する場合において、通信経路aを通過する映像データについては、撮影端末1−1を送信元とする映像データだけであるから、中継装置2−1に対応する制御データには、帯域データが示す通信経路aの最大ビットレートに応じてこの映像データのビットレートを調整する制御内容が追加されればよい。一方、通信経路b、cにおいては、送信される映像データが複数存在する。したがって、通信経路b、cを通過する映像データについては、所定のアルゴリズムによりビットレートの調整量を算出し、その結果を示す制御内容を制御データに追加するようにすればよい。
【0053】
所定のアルゴリズムとは、例えば、設定データが示す画素数のうち、画素数が大きい拠点(撮影端末1)を送信元とする映像データほど、表示するときの重要性が高いと認識してビットレートの低減量を他の映像データに比べて相対的に少なくするものとすればよい。この場合には、通信経路cにおいては、撮影端末1−3、1−4を送信元とする映像データは、それぞれ同じ画素数に変換されるから、中継装置2−3に対応する制御データは、同じ程度にフレームレートを低下させる変換をすることによりビットレートを減少させる調整をする制御内容を追加したものとすればよい。
【0054】
一方、通信経路bにおいては、撮影端末1−2を送信元とする映像データが、撮影端末1−3、1−4を送信元とする映像データより大きい画素数に変換されるから、中継装置2−2に対応する制御データは、撮影端末1−2を送信元とする映像データのフレームレートを低下させずに、撮影端末1−3、1−4を送信元とする映像データのフレームレートを低下させる変換をすることによりビットレートを減少させる調整をする制御内容を追加したものとすればよい。
【0055】
なお、このような所定のアルゴリズムによるビットレートの調整の態様は一例であって、例えば、低下させるフレームレートの下限を設定し、低下させるフレームレートがその下限値に達した場合には、重要性が高い映像データについてもフレームレートを低下させてもよいし、またフレームレート以外の要素を変換してビットレートを低減させる調整としてもよい。このように、各通信経路における最大ビットレートに応じてビットレートを調整する態様で所定のアルゴリズムが設定されていればよい。
【0056】
このようにして、算出部404は、各中継装置2に対応する制御データを生成し、制御データ送信部405に出力する。
【0057】
制御データ送信部405は、算出部404によって出力された制御データを対応する各中継装置2に送信する。以上が、コントローラ4の構成の説明である。
【0058】
次に、本発明の実施形態に係る監視システム100の動作について説明する。まず、表示端末3の利用者は、操作部303を操作して、表示部306の表示領域に表示させるレイアウトを図6(b)に示すようなものとして決定する。これにより、図7(b)に示す配置データのうち、拠点と画素数との対応を示す設定データがコントローラ4に送信される。また、各中継装置2からは、各通信経路a、b、cにおける最大ビットレートを示す帯域データがコントローラ4に送信される。この時点においては、各通信経路a、b、cにおける最大ビットレートは大きな値として測定され、各映像データを送信するために十分な通信帯域が確保されているものとする。
【0059】
コントローラ4は、設定データを受信すると、各中継装置2に対応する制御データを生成する。この制御データについては、上述したように、各中継装置2において、接続される撮影端末1から送信される映像データに係る映像の画素数を1152×864から576×432に変換する制御内容を示すものである。ここで、帯域データが示す各通信経路a、b、cの最大ビットレートは、この時点においては大きな値であり、画素数が変換された映像データの通過には十分の通信帯域が確保されているから、制御データは、各撮影端末1から受信した映像データに係る映像の画素数の変換をする制御内容を示すもであって、フレームレートの変換についての制御内容については示されていないものとして、各中継装置2に送信される。
【0060】
各中継装置2は、接続された撮影端末1から映像データを受信し、その映像データに係る映像の画素数を1152×864から576×432に変換してビットレートを調整した映像データを生成する。そして、各中継装置2は、生成した映像データを他の中継装置2を介して表示端末3に送信する。表示端末3においては、受信した映像データを配置データに応じて合成して、表示部306の表示領域に、図6(b)に示されるような表示内容の表示がなされる。このようにして中継装置2において受信した映像データのビットレートは、そのビットレート以下に調整されて表示端末3に送信されるから、ネットワークの負荷を低減することができる。また、この際、映像データに係る映像の画素数は、表示領域に対応した画素数に変換されているだけであるから、表示領域に表示される映像の品質が悪化することもない。
【0061】
次に、利用者が拠点Bの映像に注目して拡大表示させるために、操作部303を操作して図6(a)に示すようなレイアウトに変更する決定をしたものとする。各通信経路の通信帯域は、このときにおいても十分な帯域が確保されているものとする。
【0062】
利用者によりレイアウトの変更指示がなされると、表示端末3からコントローラ4に対して、変更後のレイアウトに対応する設定データが送信される。そして、コントローラ4は、設定データに応じて各中継装置2に対応する制御データを生成して各中継装置2に送信する。具体的には、コントローラ4は、中継装置2−1に対しては、撮影端末1−1から受信した映像データに係る映像の画素数を1152×864から384×288に変換する制御内容の制御データ、中継装置2−2に対しては、撮影端末1−2から受信した映像データに係る映像の画素数を1152×864から768×576に変換する制御内容の制御データ、中継装置2−3に対しては、撮影端末1−3および撮影端末1−4から受信した映像データ係る映像の画素数を1152×864から384×288に変換する制御内容の制御データをそれぞれ送信する。
【0063】
これにより、各中継装置2において制御データに応じて各映像データのビットレートの調整がなされ、ビットレートが調整された各映像データが表示端末3に送信される。表示端末3においては、受信した映像データを配置データに応じて合成して、表示部306の表示領域に、図6(a)に示されるような表示内容の表示がなされる。このような状況においても、上述同様、表示領域に表示される映像の品質を悪化させずにネットワークの負荷を低減することができる。
【0064】
この状況において、通信経路bにおける通信帯域が狭くなり、送信可能な映像データの最大ビットレートが低下したものとする。この最大ビットレートの低下は、中継装置2−2の通信帯域測定部207において測定され、通信経路bについて低下した最大ビットレートを示す帯域データがコントローラ4に送信される。コントローラ4の算出部404は、この帯域データを受信すると、接続状態を示す情報から通信経路bを通過する映像データを認識する。この場合は、送信元が撮影端末1−2、1−3、1−4の映像データが認識される。
【0065】
そして、コントローラ4の算出部404は、所定のアルゴリズムで認識した映像データのビットレートの低減量を算出する。この例においては、帯域データが示す通信経路bの最大ビットレート内になるように、設定データが示す画素数が少ない拠点(撮影端末1−3、1−4)を送信元とする映像データのフレームレートの低下量を算出する。そして、映像データに係る映像の画素数を変換するとともに、算出したフレームレートに低下させる変換をする制御内容を示す制御データを中継装置2−3に送信する。
【0066】
中継装置2−3において、この制御データを受信すると、撮影端末1−3、1−4から受信した映像データに係る映像の画素数を変換するとともに、フレームレートを低下させる変換を行うことにより生成した映像データを送信する。これにより、通信経路bを通過する映像データのビットレートの総計が、最大ビットレート以下とすることができる。このとき、拠点C、Dについての表示はフレームレートが落ちることによりその表示品質が低下するものとなるが、注目している拠点Bについての表示については、その表示品質を維持することができる。なお、この方法によれば、このとき通信経路cにおける負荷についても低減することができるが、通信経路cにおける負荷を低減させなくてもよいときには、コントローラ4は、中継装置2−3へこのような制御データを送信する代わりに、中継装置2−2に対して、撮影端末1−2を送信元とする映像データの画素数を変換するとともに、撮影端末1−3、1−4を送信元とする映像データのフレームレートを変換する制御内容の制御データを送信して、撮影端末1−3、1−4を送信元とする映像データのフレームレートの変換は中継装置2−2で行うようにしてもよい。
【0067】
このように、本発明の実施形態に係る監視システム100は、表示端末3における表示に必要な画素数の映像データを受信するように、各中継装置2において映像データのビットレートを調整するから、表示端末3における表示品質を低下させずにネットワークの負荷を低減させることができる。また、各通信経路における通信帯域が狭くなった場合には、その通信帯域に応じて映像データのビットレートを低減する調整を行うことができ、映像データの通信を安定したものとすることができる。また、例えば、重要性の低い映像データのビットレートを重要性の高い映像データのビットレートに比べて相対的に低下させることもできるから、重要性の高い映像データに係る映像の表示品質を高い状態に保つこともできる。
【0068】
以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。
【0069】
<変形例1>
上述した実施形態においては、表示端末3の表示部306の表示領域に、利用者が決定したレイアウトに応じた表示をするための映像データの生成は、表示端末3において行っていたが、表示端末3が接続されている中継装置2−4において行うようにしてもよい。この場合には、中継装置2−4に表示端末3における合成部305の機能を設け、表示端末3は、配置データを中継装置2−4に送信するようにすればよい。
【0070】
<変形例2>
上述した実施形態において、調整部204は、映像データに係る映像の画素数を変換していたが、この変換の態様はどのようなものであってもよい。例えば、映像データに係る映像の範囲は一定とし、全体的に映像を縮小することにより解像度を低減して、画素数を調整してもよい。一方、映像の縮小は行わずに解像度を維持し、映像の範囲の一部を切り出すことにより画素数を調整してもよい。また、双方を組み合わせて、映像の範囲の一部を切り出してさらに縮小を行うようにしてもよい。切り出される映像の範囲の一部については、中継装置2に予め設定されていてもよいし、コントローラ4の制御によって行なわれてもよい。コントローラ4の制御によって行われる場合には、制御データにおいて切り出すべき範囲についても指定されるようにすればよい。
【0071】
また、表示端末3において各撮影端末1を送信元とする映像データに係る映像に対して、その切り出すべき範囲を指定してもよい。この場合には、表示端末3において指定された範囲を示す情報が設定データに含まれるようにする。そして、コントローラ4においては、実施形態のようにして生成される制御データが示す画素数が、表示端末3において指定された範囲の画素数よりも大きい場合には、指定された範囲を含む範囲であって、制御データが示す画素数に応じた範囲を切り出すことによって画素数を変換するように、各中継装置2を制御する制御データを生成すればよい。
【0072】
一方、制御データが示す画素数が、表示端末3において指定された範囲の画素数よりも小さい場合には、指定された範囲を切り出した上で、その範囲を縮小することによって画素数を変換するように、各中継装置2を制御する制御データを生成すればよい。
【0073】
このような処理について、ある撮影端末1を送信元とする映像データに係る映像について、表示端末3において指定された範囲が、例えば図9に示す破線の範囲(画素数640×480)である場合について、図10を用いて説明する。この撮影端末1を送信元とする映像データについて、中継装置2の調整部204において変換する画素数が768×576である場合には、図10(a)に示すように、調整部204は、表示端末3において指定された破線の範囲を含む2点鎖線の範囲(画素数768×576)を切り出すことによって映像データに係る映像の画素数を調整する。この切り出しの範囲は、表示端末3において指定された範囲が含まれていれば、どのような範囲でもよく、その態様については予め設定しておけばよい。
【0074】
一方、この撮影端末1を送信元とする映像データについて、中継装置2の調整部204において変換する画素数が576×432である場合には、図10(b)に示すように、調整部204は、この撮影端末1において指定された破線の範囲を切り出した上で、その範囲の映像を縮小(この場合には、縦横の画素数をそれぞれ0.9倍)することによって映像データに係る映像の画素数を変換する。このようにすると、指定された範囲を切り出さずに縮小する態様に比べ、画像の解像度の劣化を低減することができる。表示端末3において指定されている範囲が残されるように切り出されることにより、重要な部分の映像を残すことができる。
【0075】
なお、表示端末3における範囲の指定は、自動的に行われるようにしてもよく、画像認識により人物がいると判定される位置を含む所定範囲が自動的に指定されるようにしてもよい。また、マイクアレイなどにより発音方向を認識できるようにしておくことで、その発音方向に対応する所定範囲が自動的に指定されるようにしてもよい。このように自動的に行われる場合には、指定される範囲が随時変化していくこともある。なお、このように自動的に行われる場合には、表示端末3において範囲が指定されるだけでなく、撮影端末1、中継装置2において行われるようにしてもよい。
【0076】
<変形例3>
上述した実施形態においては、撮影端末1から送信された映像データの全てについて、表示端末3において受信して表示領域に表示させていたが、レイアウトの内容によっては表示領域に表示させない映像があってもよい。そして、表示させない映像に係る映像データの送信元である撮影端末1については、電源をオフに制御するようにしてもよい。この場合には、中継装置2は、図11に示すような構成とし、撮影端末1は、図12のような構成とすればよい。
【0077】
そして、コントローラ4は、設定データにより使用されない映像データの送信元となる撮影端末1を認識し、その撮影端末1が接続されている中継装置2に対して送信する制御データに、その撮影端末1が使用されていないことを示す停止情報が含まれるようにする。中継装置2は、図11に示すように、電源制御データ生成部209および電源制御データ送信部210をさらに有する。電源制御データ生成部209は、制御データ受信部201によって受信された制御データが入力され、その制御データに撮影端末1についての停止情報が含まれていることを認識すると、電源をオフにする制御内容を示す電源制御データを生成して、電源制御データ送信部210から電源をオフにすべき撮影端末1に対して送信する。
【0078】
撮影端末1は、図12に示すように電源制御データ受信部104および電源制御部105を有する。電源制御データ受信部104は、中継装置2から電源制御データを受信すると、電源制御部105に出力する。電源制御部105は、電源制御データが入力されると停止情報により撮影部101、エンコード部102および送信部103の電源供給を停止し、その機能を停止させる。このように構成することにより、表示させない映像に係る映像データの送信元である撮影端末1については、電源をオフにすることができる。
【0079】
一方、表示端末3において異なるレイアウトが決定され、電源をオフにした撮影端末1を送信元とする映像データを受信する必要がある場合には、コントローラ4は、そのレイアウトの決定より受信した設定データに基づいて、制御データにその撮影端末1が使用される状況になったことを示す開始情報が含まれるようにする。中継装置2の電源制御データ生成部209は、制御データ受信部201によって受信された制御データが入力され、その制御データに撮影端末1についての開始情報が含まれていることを認識すると、電源をオンにする制御内容を示す電源制御データを生成して、電源制御データ送信部210から電源をオンにすべき撮影端末1に対して送信する。
【0080】
撮影端末1の電源制御データ受信部104は、中継装置2から電源制御データを受信すると、電源制御部105に出力する。電源制御部105は、電源制御データが入力されると開始情報により撮影部101、エンコード部102および送信部103の電源供給を開始し、その機能を再開させる。このように構成することにより、電源がオフにされていた撮影端末1の電源を再びオンにすることができる。
【0081】
<変形例4>
上述した実施形態においては、表示の重要性については、画素数の大きさ、すなわち表示領域における表示範囲の大きさに応じて決定されるようにしていたが、映像データに係る映像の内容に応じて重要性について決定されるようにしてもよい。この場合には、映像データに係る映像の内容を解析する解析手段を、撮影端末1、中継装置2または表示端末3のいずれかに設け、その解析結果に応じて映像の内容の重要性が決定されるようにすればよい。そして、重要性に応じて実施形態におけるフレームレートの低下量を決定すればよい。ここで、解析手段による解析とは、例えば、映像の変化量を解析してもよいし、映像に人物が存在するか否か、またはその人数を解析してもよい。すなわち、映像の内容を解析して、何らかの数値化できる要素を抽出できれば、どのような解析であってもよい。そして、その要素の数値によって重要性が決定されるように予め設定しておけばよい。このようにして決定された重要性を示す情報を、コントローラ4に送信して、制御データが示す映像データのビットレートを調整する制御内容に反映するようにすればよい。なお、重要性が高い場合には、撮影端末1から送信される映像データのフレームレートを高くするように制御してもよい。この場合には、撮影端末1における撮影部101をさらに高いフレームレートでの撮影ができるものとしておけばよい。
【0082】
<変形例5>
上述した実施形態においては、設定データは、各拠点とその拠点の撮影端末1を送信元とする映像データに係る映像の画素数とにより表示態様を示すものとしていたが、別の形式で表示態様を示すようにしてもよい。例えば、各拠点に対応してフレームレート、圧縮率、カラーまたはモノクロの指定などにより表示態様を示すようにしてもよい。これは、利用者が操作部303を操作することによって決定すればよい。また、コントローラ4においては、この設定データの内容に対応して、中継装置2におけるビットレートの調整の制御内容を示す制御データを生成し、中継装置2に送信すればよい。このように、設定データによって示される各拠点に係る映像の表示態様は、様々な形式で表すことができ、すなわち、表示態様とは、表示端末3における表示領域の表示に影響を与える要素であれば、どのような要素を用いた形式でも表すことができ、複数の形式、例えば、画素数とフレームレートなどで表すようにしてもよい。
【図面の簡単な説明】
【0083】
【図1】実施形態に係る監視システムの構成の一例を示すブロック図である。
【図2】実施形態に係る撮影端末の構成を示すブロック図である。
【図3】実施形態に係る撮影部の撮影内容および座標を示す説明図である。
【図4】実施形態に係る中継装置の構成を示すブロック図である。
【図5】実施形態に係る表示端末の構成を示すブロック図である。
【図6】実施形態に係る表示部の表示領域に表示される各映像のレイアウトの一例を示す説明図である。
【図7】実施形態に係る配置データの一例を示す説明図である。
【図8】実施形態に係るコントローラの構成を示すブロック図である。
【図9】変形例2に係る端末において指定される範囲の一例を示す説明図である。
【図10】変形例2に係る中継装置における画素数の変換の一例を示す説明図である。
【図11】変形例3に係る中継装置の構成を示すブロック図である。
【図12】変形例3に係る撮影端末の構成を示すブロック図である。
【符号の説明】
【0084】
1,1−1,1−2,1−3,1−4…撮影端末、2,2−1,2−2,2−3,2−4…中継装置、3…表示端末、4…コントローラ、5…ネットワーク、100…監視システム、101…撮影部、102…エンコード部、103…送信部、201…制御データ受信部、202…受信部、203…デコード部、204…調整部、205…エンコード部、206…送信部、207…通信帯域測定部、208…帯域データ送信部、301…受信部、302…デコード部、303…操作部、304…設定部、305…合成部、306…表示部、307…設定データ送信部、401…設定データ受信部、402…帯域データ受信部、403…接続状態記憶部、404…算出部、405…制御データ送信部
【特許請求の範囲】
【請求項1】
ネットワークに接続される複数の撮影端末の各々からストリーミング形式で送信される映像データであって、その送信元の前記撮影端末を特定する端末情報が付加された映像データを受信し、受信した映像データをネットワークに接続される表示端末に送信する通信システムにおいて、
前記各撮影端末によって送信された映像データを受信する受信手段と、
前記受信手段によって受信された各映像データのビットレートを所定の制御に応じて当該ビットレート以下に調整するビットレート調整手段と、
前記ビットレート調整手段によってビットレートが調整された各映像データを前記表示端末に送信する送信手段と、
前記送信手段によって送信される各映像データに係る映像の前記表示端末における表示態様を示す情報と前記映像データの送信元となる撮影端末とが対応付けられている設定データを取得する取得手段と、
前記複数の撮影端末の各々と前記表示端末との各通信経路において通信可能な映像データの最大ビットレートを測定する帯域測定手段と、
前記送信手段によって前記表示端末に送信される映像データのビットレートが、前記取得手段によって取得された設定データが示す当該映像データの送信元となる撮影端末に対応する表示態様および前記帯域測定手段によって測定された当該撮影端末と前記表示端末との通信経路における最大ビットレートに応じたビットレートになるように、前記ビットレート調整手段を制御する制御手段と
を具備することを特徴とする通信システム。
【請求項2】
ネットワークに接続される複数の撮影端末の各々からストリーミング形式で送信される映像データであって、その送信元の前記撮影端末を特定する端末情報が付加された映像データを受信して、受信した映像データをネットワークに接続される表示端末に送信する中継装置と、前記中継装置を制御するコントローラとを有する通信システムにおいて、
前記中継装置は、
前記撮影端末によって送信された映像データを受信する受信手段と、
前記受信手段によって受信された映像データのビットレートを所定の制御に応じて当該ビットレート以下に調整するビットレート調整手段と、
前記ビットレート調整手段によってビットレートが調整された映像データを前記表示端末に送信する送信手段と、
前記複数の撮影端末の各々と前記表示端末との各通信経路において通信可能な映像データの最大ビットレートを測定する帯域測定手段と
を具備し、
前記コントローラは、
前記送信手段によって送信される各映像データに係る映像の前記表示端末における表示態様を示す情報と前記映像データの送信元となる撮影端末とが対応付けられている設定データを取得する取得手段と、
前記送信手段によって前記表示端末に送信される映像データのビットレートが、前記取得手段によって取得された設定データが示す当該映像データの送信元となる撮影端末に対応する表示態様および前記帯域測定手段によって測定された当該撮影端末と前記表示端末との通信経路における最大ビットレートに応じたビットレートになるように、前記ビットレート調整手段を制御する制御手段と
を具備する
ことを特徴とする通信システム。
【請求項3】
前記取得手段によって取得される設定データに係る表示態様を示す情報は、画素数を指定する情報であり、
前記制御手段は、前記送信手段によって前記表示端末に送信される映像データに係る映像の画素数を、前記取得手段によって取得された設定データが示す当該映像データの送信元となる撮影端末に対応する画素数に変換して当該映像データのビットレートを調整するように前記ビットレート調整手段を制御するとともに、前記帯域測定手段によって測定された各通信経路における最大ビットレートに応じて、前記映像データにさらに所定の処理を施して前記各通信経路を通過する映像データのビットレートの総計が前記各通信経路に対応する最大ビットレート以下になるように、前記ビットレート調整手段を制御する
ことを特徴とする請求項1または請求項2に記載の通信システム。
【請求項4】
前記所定の処理は、前記受信手段によって受信された映像データのフレームレートを変換する処理を含む
ことを特徴とする請求項3に記載の通信システム。
【請求項5】
前記所定の処理は、前記受信手段によって受信された映像データの圧縮率を変換する処理を含む
ことを特徴とする請求項3または請求項4に記載の通信システム。
【請求項6】
前記映像データに係る映像を解析する解析手段をさらに具備し、
前記制御手段は、さらに前記解析手段による解析結果に応じたビットレートになるように、前記ビットレート調整手段を制御する
ことを特徴とする請求項1乃至請求項5のいずれかに記載の通信システム。
【請求項7】
ネットワークに接続される複数の撮影端末の各々からストリーミング形式で送信される映像データであって、その送信元の前記撮影端末を特定する端末情報が付加された映像データを受信し、受信した映像データをネットワークに接続される表示端末に送信する通信システムに用いられる通信方法において、
前記各撮影端末によって送信された映像データを受信する受信過程と、
前記受信過程において受信された各映像データのビットレートを所定の制御に応じて当該ビットレート以下に調整するビットレート調整過程と、
前記ビットレート調整過程においてビットレートが調整された各映像データを前記表示端末に送信する送信過程と、
前記送信過程において送信される各映像データに係る映像の前記表示端末における表示態様を示す情報と前記映像データの送信元となる撮影端末とが対応付けられている設定データを取得する取得過程と、
前記複数の撮影端末の各々と前記表示端末との各通信経路において通信可能な映像データの最大ビットレートを測定する帯域測定過程と、
前記送信過程において前記表示端末に送信される映像データのビットレートが、前記取得過程において取得された設定データが示す当該映像データの送信元となる撮影端末に対応する表示態様および前記帯域測定過程において測定された当該撮影端末と前記表示端末との通信経路における最大ビットレートに応じたビットレートになるように、前記ビットレート調整過程におけるビットレートの調整を制御する制御手段と
を備えることを特徴とする通信方法。
【請求項1】
ネットワークに接続される複数の撮影端末の各々からストリーミング形式で送信される映像データであって、その送信元の前記撮影端末を特定する端末情報が付加された映像データを受信し、受信した映像データをネットワークに接続される表示端末に送信する通信システムにおいて、
前記各撮影端末によって送信された映像データを受信する受信手段と、
前記受信手段によって受信された各映像データのビットレートを所定の制御に応じて当該ビットレート以下に調整するビットレート調整手段と、
前記ビットレート調整手段によってビットレートが調整された各映像データを前記表示端末に送信する送信手段と、
前記送信手段によって送信される各映像データに係る映像の前記表示端末における表示態様を示す情報と前記映像データの送信元となる撮影端末とが対応付けられている設定データを取得する取得手段と、
前記複数の撮影端末の各々と前記表示端末との各通信経路において通信可能な映像データの最大ビットレートを測定する帯域測定手段と、
前記送信手段によって前記表示端末に送信される映像データのビットレートが、前記取得手段によって取得された設定データが示す当該映像データの送信元となる撮影端末に対応する表示態様および前記帯域測定手段によって測定された当該撮影端末と前記表示端末との通信経路における最大ビットレートに応じたビットレートになるように、前記ビットレート調整手段を制御する制御手段と
を具備することを特徴とする通信システム。
【請求項2】
ネットワークに接続される複数の撮影端末の各々からストリーミング形式で送信される映像データであって、その送信元の前記撮影端末を特定する端末情報が付加された映像データを受信して、受信した映像データをネットワークに接続される表示端末に送信する中継装置と、前記中継装置を制御するコントローラとを有する通信システムにおいて、
前記中継装置は、
前記撮影端末によって送信された映像データを受信する受信手段と、
前記受信手段によって受信された映像データのビットレートを所定の制御に応じて当該ビットレート以下に調整するビットレート調整手段と、
前記ビットレート調整手段によってビットレートが調整された映像データを前記表示端末に送信する送信手段と、
前記複数の撮影端末の各々と前記表示端末との各通信経路において通信可能な映像データの最大ビットレートを測定する帯域測定手段と
を具備し、
前記コントローラは、
前記送信手段によって送信される各映像データに係る映像の前記表示端末における表示態様を示す情報と前記映像データの送信元となる撮影端末とが対応付けられている設定データを取得する取得手段と、
前記送信手段によって前記表示端末に送信される映像データのビットレートが、前記取得手段によって取得された設定データが示す当該映像データの送信元となる撮影端末に対応する表示態様および前記帯域測定手段によって測定された当該撮影端末と前記表示端末との通信経路における最大ビットレートに応じたビットレートになるように、前記ビットレート調整手段を制御する制御手段と
を具備する
ことを特徴とする通信システム。
【請求項3】
前記取得手段によって取得される設定データに係る表示態様を示す情報は、画素数を指定する情報であり、
前記制御手段は、前記送信手段によって前記表示端末に送信される映像データに係る映像の画素数を、前記取得手段によって取得された設定データが示す当該映像データの送信元となる撮影端末に対応する画素数に変換して当該映像データのビットレートを調整するように前記ビットレート調整手段を制御するとともに、前記帯域測定手段によって測定された各通信経路における最大ビットレートに応じて、前記映像データにさらに所定の処理を施して前記各通信経路を通過する映像データのビットレートの総計が前記各通信経路に対応する最大ビットレート以下になるように、前記ビットレート調整手段を制御する
ことを特徴とする請求項1または請求項2に記載の通信システム。
【請求項4】
前記所定の処理は、前記受信手段によって受信された映像データのフレームレートを変換する処理を含む
ことを特徴とする請求項3に記載の通信システム。
【請求項5】
前記所定の処理は、前記受信手段によって受信された映像データの圧縮率を変換する処理を含む
ことを特徴とする請求項3または請求項4に記載の通信システム。
【請求項6】
前記映像データに係る映像を解析する解析手段をさらに具備し、
前記制御手段は、さらに前記解析手段による解析結果に応じたビットレートになるように、前記ビットレート調整手段を制御する
ことを特徴とする請求項1乃至請求項5のいずれかに記載の通信システム。
【請求項7】
ネットワークに接続される複数の撮影端末の各々からストリーミング形式で送信される映像データであって、その送信元の前記撮影端末を特定する端末情報が付加された映像データを受信し、受信した映像データをネットワークに接続される表示端末に送信する通信システムに用いられる通信方法において、
前記各撮影端末によって送信された映像データを受信する受信過程と、
前記受信過程において受信された各映像データのビットレートを所定の制御に応じて当該ビットレート以下に調整するビットレート調整過程と、
前記ビットレート調整過程においてビットレートが調整された各映像データを前記表示端末に送信する送信過程と、
前記送信過程において送信される各映像データに係る映像の前記表示端末における表示態様を示す情報と前記映像データの送信元となる撮影端末とが対応付けられている設定データを取得する取得過程と、
前記複数の撮影端末の各々と前記表示端末との各通信経路において通信可能な映像データの最大ビットレートを測定する帯域測定過程と、
前記送信過程において前記表示端末に送信される映像データのビットレートが、前記取得過程において取得された設定データが示す当該映像データの送信元となる撮影端末に対応する表示態様および前記帯域測定過程において測定された当該撮影端末と前記表示端末との通信経路における最大ビットレートに応じたビットレートになるように、前記ビットレート調整過程におけるビットレートの調整を制御する制御手段と
を備えることを特徴とする通信方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2009−260820(P2009−260820A)
【公開日】平成21年11月5日(2009.11.5)
【国際特許分類】
【出願番号】特願2008−109306(P2008−109306)
【出願日】平成20年4月18日(2008.4.18)
【出願人】(000004075)ヤマハ株式会社 (5,930)
【Fターム(参考)】
【公開日】平成21年11月5日(2009.11.5)
【国際特許分類】
【出願日】平成20年4月18日(2008.4.18)
【出願人】(000004075)ヤマハ株式会社 (5,930)
【Fターム(参考)】
[ Back to top ]