映像配信装置、配信中継装置及びそれらの制御方法並びにデータ配信システム
【課題】撮影した映像をリアルタイムに複数の表示装置へ配信木に従って配信する映像配信システムにおいて、映像配信の制御に関わる操作性を向上する。
【解決手段】配信木データによって表された配信木に従って映像データを複数の表示装置に配信するための映像配信装置は、制御権を有する表示装置からネットワークを介して受信した命令に従って映像パラメータを調整する機能を有する。そして、制御権を別の表示装置へ移動する場合には、制御権の移動先の表示装置を制御ノードとして、ルートノードと制御ノードとの間の映像配信遅延が減少するように配信木データを更新することにより、映像データの配信のための配信木を変更する。
【解決手段】配信木データによって表された配信木に従って映像データを複数の表示装置に配信するための映像配信装置は、制御権を有する表示装置からネットワークを介して受信した命令に従って映像パラメータを調整する機能を有する。そして、制御権を別の表示装置へ移動する場合には、制御権の移動先の表示装置を制御ノードとして、ルートノードと制御ノードとの間の映像配信遅延が減少するように配信木データを更新することにより、映像データの配信のための配信木を変更する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば映像配信装置と配信中継装置としての複数の表示装置がネットワーク接続されたような形態の、データ配信システムに関する。
【背景技術】
【0002】
近年、映像撮影手段のデジタル化とブロードバンド・ネットワークの普及によって、撮影した映像をリアルタイムに複数の表示装置へ配信する要求が高まってきている。ここで、複数の表示装置それぞれに直接ユニキャストで映像データを配信すると、映像配信装置にアクセスが集中してしまい表示装置数に関するスケーラビリティが欠如する。そこで、複数の表示装置に同報配信するマルチキャスト技術が注目されている。
【0003】
マルチキャスト通信を実現する方式としては、IP(Internet Protocol)層において配信データの経路制御や複製処理を行うIPマルチキャストが知られている。しかし、IPマルチキャストを広範囲で利用可能なネットワーク・インフラストラクチャは普及していない。また、IPマルチキャストを利用できたとしてもISP(InternetServiceProvider)内部の閉じたネットワークに限られる場合が多い。
【0004】
このため、アプリケーション層において配信データの経路制御や複製処理を行うアプリケーション層マルチキャスト(Application-layer Multicast:ALM)が注目を集めている。ALMでは、個々の表示装置が配信データの表示処理と同時に配信データの中継処理も行い、バケツリレー式に配信データを転送する。各ノード間の中継処理はユニキャストで行われるため、既存のネットワーク・インフラストラクチャを利用して、ISPを跨ぐ広範囲な映像同報配信が実現可能である。
【0005】
ALMにおいては、図1の(a)に示すような、ルータを介した「物理的なデータの流れ」の上に、図1の(b)に示すような「論理的なデータの流れ」を当てはめる。この論理的なデータの流れ方はルートノードを頂点とした木構造になるためALM配信木と呼ばれる。ALMではこの配信木を組み替えることによって論理的なネットワーク構成をアプリケーションによって自由に変更することが可能である。
【0006】
ALMを用いた映像同報配信技術として、ビデオ会議データの配信にALMを用いた技術が特許文献1に記載されている。
【特許文献1】特開2006−50639号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
ALMを用いた映像配信システムは、配信木の下段に属する表示装置は上段に属する表示装置に比べて映像の配信時刻が遅れるという性質を持っている。下層であればあるほど映像配信装置までに多くの表示装置を中継することが必要となるためである。これは下段の表示装置を使っている操作者が、映像パラメータの調整といったような映像配信装置の制御を行う場合、制御結果の映像をすぐに表示装置で確認できず、操作性が悪いという課題に繋がる。
【0008】
本発明は上記の課題に鑑みてなされたものであり、撮影した映像をリアルタイムに複数の表示装置へ配信木に従って配信する映像配信システムにおいて、映像配信の制御に関わる操作性を向上することを目的とする。
【課題を解決するための手段】
【0009】
上記の目的を達成するための本発明の一態様による映像配信装置は以下の構成を備える。即ち、
配信木データによって示される配信木に従って映像データを複数の表示装置に配信するための映像配信装置であって、
制御権を有する表示装置からネットワークを介して受信した命令に従って映像パラメータを調整する調整手段と、
当該映像配信装置をルートノード、前記複数の表示装置をその子孫ノードとする配信木を示す配信木データを保持する保持手段と、
前記制御権を別の表示装置へ移動する場合に、前記制御権の移動先の表示装置を制御ノードとして、前記ルートノードと前記制御ノードとの間の映像配信遅延が減少するように配信木データを更新することにより、映像データの配信のための配信木を変更する変更手段とを備える。
【0010】
また、上記の目的を達成するための本発明の他の態様による配信中継装置は以下の構成を備える。即ち、
外部より配信木を表す配信木データを受信する受信手段と、
前記配信木データに従って映像データを受信し、配信する配信手段と、
前記受信手段により更新された配信木データを受信した場合に、更新前の配信木に従って受信される映像データの遅延と更新後の配信木に従って受信される映像データの遅延との変化を判断する判断手段と、
前記判断手段で判断された遅延の変化により発生する映像フレームのスキップまたは遅延を、前記映像データを表示する表示器に表示する表示制御手段とを備える。
【0011】
更に、上記の目的を達成するための本発明の他の態様による映像配信装置は以下の構成を備える。即ち、
配信木データが示す配信木に従って映像データを配信する配信手段と、
前記配信木データが更新された場合に、下流に接続された外部装置における映像データの遅延時間の変化を判断する判断手段と、
前記判断手段で判断された遅延時間の変化に基づいて、配信木の更新によって接続が変更された外部装置に映像フレームの欠落または停滞が生じないように映像データの配信を制御する配信制御手段とを備える。
【発明の効果】
【0012】
本発明によれば、制御権を持つ表示装置において映像配信装置の操作に対する映像応答が速くなるように配信木が自動的に変更されるため、制御権を持つ表示装置における操作性が向上する。
【発明を実施するための最良の形態】
【0013】
以下、添付の図面を参照して本発明の好適な実施形態を説明する。
【0014】
[第1実施形態]
図2は、実施形態の映像配信システムにおけるシステム構成例を示すブロック図である。第1実施形態の映像配信装置600は、撮影機能ならびに映像パラメータ調整機能を有する撮影装置100と、これに通信線500で接続された表示機能ならびに映像データ配信機能を有する表示配信装置400を有する。映像配信装置600にはネットワーク300により複数台の表示装置200が接続されている。撮影装置100で撮影された映像は、表示配信装置400からそれぞれの表示装置200にリアルタイムに配信される。
【0015】
撮影装置100は、駆動系や光学系を有する撮影部101と、これを制御する映像パラメータ調整部102を有する。ここで、映像パラメータとは、例えば、
・パン角度、チルト角度、ズーム倍率のような駆動系の制御、
・ホワイトバランス、明るさ、彩度、絞り、ISO感度のような光学系の制御、そして、
・映像サイズ、色深度、符号化方式、圧縮レベルのような映像品質の制御、に関するものである。映像パラメータ調整部102は、これらのパラメータに従って、撮影部101を調整したり、映像データを補正したりする。撮影装置100は外部IF103により、通信線500を通して表示配信装置400に接続されている。この接続方法の例としてはUSB(Universal Serial Bus)があるが、本発明は特定の接続方法に依存しないことは言うまでもない。
【0016】
表示配信装置400には、ユーザインターフェイスであるUIデバイス401が接続されている。UIデバイス401は、装置の状態や処理内容を表示する発光ダイオードや液晶パネル、装置へ動作指示を与えるリモコンや各種ボタンを有する。UIデバイス401はUI制御部402を介してCPU404に接続されており、CPU404の制御下で種々の機能を果たす。例えば、ユーザは、UIデバイス401を用いることで映像パラメータの調整を行うことが可能である。UIデバイス401を介してユーザによって指示された映像パラメータ調整命令は、UI制御部402を介してCPU404に取り込まれ、通信線500を通して撮影装置100に伝達される。
【0017】
表示部403は、通信線500を通して撮影装置100より送られてきた映像データを表示する。また、表示配信装置400は、ネットワークIF408からネットワーク300に接続されている。このネットワーク300には表示装置200が複数台接続されている。CPU404の制御の下、通信線500から送られてきた映像データはネットワーク300を通して表示装置200に送られる。また、表示配信装置400は、表示装置200から送信された映像パラメータ調整命令を、ネットワーク300を通して受信し、これを通信線500を通して撮影装置100に伝達する。
【0018】
更に、表示配信装置400は、プログラム用記憶領域407を有する。具体的には、プログラム用記憶領域は、ハードディスクやフラッシュメモリを用いて実現することが可能であるが、本発明は特定の記憶媒体に依存しないことは言うまでもない。また、表示配信装置400は、CPU404とRAM405を有し、プログラム用記憶領域407からRAM405に読み込んだプログラムをCPU404によって解釈・実行することによって装置内の各種制御や計算、映像データの送受信が実行される。さらにRAM405にはALM配信木の構造を表す配信木データ409が記憶されており、この配信木データ409に従って映像データが各表示装置200へ配信される。すなわち、RAM405には、映像配信装置600(或いは、表示配信装置400)をルートノード、複数の表示装置200をその子孫ノードとする配信木を示す配信木データ409が保持されている。
【0019】
プログラム用記憶領域407に保持されているプログラムをCPU404が実行することにより、映像データ送信部、配信木組み替え部、映像パラメータ調整命令受信部としての機能が実現される。映像データ送信部は、撮影装置100によって得られた映像データ、または不図示の格納部に格納された映像データをネットワークIF408から表示装置へ配信する。配信木組み替え部は、表示装置間の制御権(映像パラメータ調整等の制御を行う権利)の移動に応じて、配信木の組み替えを行う。配信木組み替え処理の詳細は後述する。映像パラメータ調整命令受信部は、制御権を持つ表示装置からの映像パラメータ調整命令をユニキャストにより受信し、受信した映像パラメータを映像パラメータ調整部102に通知する。
【0020】
表示装置200は、ユーザインターフェイスであるUIデバイス201を有する。UIデバイス201は、装置の状態や処理内容を表示する発光ダイオードや液晶パネル、装置へ動作指示を与えるリモコンや各種ボタンを有する。UIデバイス201はUI制御部202を介してCPU204に接続されており、CPU204の制御下で種々の機能を果たす。従って、ユーザはUIデバイス201を用いることで、映像配信装置600における映像パラメータの調整を行うことが可能である。表示装置200で生成された映像パラメータ調整命令は、ネットワークIF206に接続されたネットワーク300を通して映像配信装置600に送信される。
【0021】
表示装置200は、表示部203を有し、ネットワーク300を通して送られてきた映像データを表示する。表示装置200は、プログラム用記憶領域207を有する。プログラム用記憶領域207は、具体的には、ハードディスクやフラッシュメモリを用いて実現可能であるが、本発明は特定の記憶媒体に依存しないことは言うまでもない。また、表示装置200は、CPU204とRAM205を有し、プログラム用記憶領域207からRAM205に読み込んだプログラムをCPU204によって解釈・実行することによって装置内の各種制御や計算、映像データの送受信が可能である。
【0022】
プログラム用記憶領域207に保持されているプログラムをCPU204が実行することにより、映像データ受信・再送信部、映像パラメータ調整命令送信部としての機能が実現される。映像データ受信・再送信部は、映像配信装置600もしくは配信木において自身の上位に接続されている表示装置から映像データを受信し、自身の下位に接続されている表示装置に受信した映像データを再送する。どの装置から映像データを受信し、どの装置へ映像データを送信するかは、ALM配信木の構造を表す配信木データ409に従う。階層映像データ送信部は、撮影装置100によって得られた映像データ、または不図示の格納部に格納された映像データをネットワークIF408から表示装置へ配信する。映像パラメータ調整命令送信部は、自身が制御権を持つ場合に、UIデバイス201を介して入力された映像パラメータ調整指示を映像配信装置600へユニキャストにより送信することが可能である。
【0023】
図5の(a)に第1実施形態の映像配信システムにおいて、配信木データ409に基づいて構築されるALM配信木の例を示す。撮影装置100で生成された映像データは表示配信装置400から、このALM配信木に従って各表示装置200に配送される。図5の(a)に示す例では、まず表示配信装置400から表示装置200(1)と表示装置200(2)へと映像データが送信される。次に表示装置200(1)から表示装置200(3)と表示装置200(4)へ、また、表示装置200(2)から表示装置200(5)へ映像データが送信される。撮影装置100の映像パラメータ調整機能を優先的に制御する権利である制御権を得た制御ノード(表示装置)からの、映像パラメータ調整命令を含む制御データはユニキャストによって送信される。この例では、表示装置200(5)が制御ノードとなっており、映像パラメータ調整命令で構成される制御データがユニキャストによって表示配信装置400に送信される。
【0024】
次に、図6を用いて、制御権の移動に伴い第1実施形態の映像配信システムで行われるALM配信木の組み替え処理を説明する。図6の(a)は制御権の移動前のALM配信木を示しており、表示装置200(5)に制御権がある。図6の(b)は、制御権の移動後のALM配信木を示しており、表示装置200(7)に制御権が移動している。即ち、図6の例では、表示装置200(5)が制御権の移動元の表示装置であり、表示装置200(7)が制御権の移動先の表示装置である。第1実施形態では、制御権の移動に伴い、制御ノードとなった表示装置200(7)とルートノードである映像配信装置600との間の中継ノード数を減らすようにALM配信木を組み替える。そして、組み替えられたALM配信木に従って各表示装置を再接続することで、制御ノードにおける映像配信遅延を減少させる。
【0025】
例えば、図6の(a)における表示装置200(7)と映像配信装置600との間の中継ノード数は2であるが、図6の(b)における表示装置200(7)と映像配信装置600との間の中継ノード数は1である。図6では表示装置200(7)に制御権が移動した例を示しているが、他の表示装置に制御権が移動した場合も同様に、制御権を持つ表示装置と映像配信装置との間の中継ノード数が減少するようにALM配信木の組み替えと再接続が行われる。なお、第1実施形態のシステムでは図2や図5の(a)に示すように表示配信装置400も制御権を取得することが可能である。しかし、この場合はルートノードとの間の映像配信遅延が存在しないためALM配信木の組み替えは行われない。
【0026】
図7を用いて、図6の例における配信木の組み替えシーケンスを示す。ユーザが表示装置200(7)において撮影装置100に対する制御を開始すると、表示装置200(7)は映像配信装置600に制御権の取得を要求する。要求を受け取った映像配信装置600は、表示装置200(7)に制御権を与えるかどうか判断する。映像配信装置600は、制御権を与えると判断すると、表示装置200(7)に制御権を与える旨の通知を行い、さらに配信木の組み替え処理S1を実行する。そして、映像配信装置600は、ALM配信木の組み替え結果を各表示装置200に通知する。配信木の組み替え処理とは、制御権を別の表示装置へ移動する際に、制御権の移動先の表示装置を制御ノードとする。そしてルートノードと制御ノードとの間の映像配信遅延が減少するように配信木データを更新し、映像データの配信のための配信木を変更するものである。更新後の配信木データ409を含むALM配信木の組み替え結果の通知を受け取った表示装置200は、映像データ送受信先の変更処理S2を実行し、変更終了を映像配信装置600に通知する。この変更終了の通知は、例えばユニキャストにより各表示装置から映像配信装置600に通知される。或いは、後述の第10実施形態で説明するように、更新後の配信木を用いて通知されてもよい。全ての表示装置から変更終了の通知を受け取った映像配信装置600は制御権の取得許可を表示装置200(7)に通知し、表示装置200(7)は映像パラメータ調整命令を送信することが可能となる。
【0027】
なお、本発明は蓄積された映像の配信等にも適用可能であり、撮影された映像の配信に限定されるものではない。また、本発明は配信木を用いる配信手段であれば一般に適用可能であり、アプリケーション層マルチキャスト(ALM)に限定されるものではない。また、配信されるデータも映像データに限られるものではなく、例えばストリーム再生の対象となる音響データであってもよい。すなわち、本発明は、データ配信装置と、配信中継装置として機能する複数の再生装置が接続されたデータ配信システムに適用可能であり、制御権を持つ再生装置へのデータ配信遅延を低減するデータ配信システムを実現できる。
【0028】
[第2実施形態]
第1実施形態の表示配信装置400はUIデバイス401と表示部403を有するが、これらの構成は省略されても良い。第2実施形態では、第1実施形態において使用した表示配信装置400からUI(UIデバイス401、UI制御部402)と表示部403を取り除いた配信装置を用いる例を示す。図3は、第2実施形態の映像配信システムにおけるシステム構成例を示すブロック図である。映像配信装置610が備える配信装置410は、上述したように、UI及び表示部を持たない。映像配信装置610におけるその他の構成は、第1実施形態(図2)と同様である。また、表示装置200の詳細は第1実施形態(図2)と同様であるため省略する。図5の(b)に第2実施形態の映像配信システムで構築されるALM配信木の例を示す。
【0029】
第2実施形態は、第1実施形態における表示配信装置400から制御権取得機能と映像データ表示機能を取り除いたものと見なすことができ、表示装置における制御権の移動に伴うALM配信木の組み替え処理は第1実施形態と同様である。
【0030】
[第3実施形態]
第3実施形態では、第2実施形態において使用した配信装置410の機能を内包した撮影装置である、撮影配信装置を用いる。図4は、第3実施形態の映像配信システムにおけるシステム構成例を示すブロック図である。映像配信装置620は、第2実施形態の配信装置410が有する映像配信機能を具備した撮影配信装置110を有する。なお、表示装置200の詳細は第1実施形態(図2)と同様であるため省略する。図5の(c)に、第3実施形態の映像配信システムで構築されるALM配信木の例を示す。
【0031】
第3実施形態は、第2実施形態(図3)の通信線500の機能を図4の撮影配信装置110内部の配線によって置き換えたものと見なすことができる。また、表示装置における制御権の移動に伴うALM配信木の組み替え処理は第1実施形態と同様である。
【0032】
[第4実施形態]
第4実施形態では、第1乃至第3実施形態において示した映像配信装置のいずれかを用いて構築された映像配信システムにおける、ALM配信木の組み替え処理を説明する。但し、以下では映像配信装置600を用いた映像配信システムを例に挙げて説明する。
【0033】
第4実施形態の配信木組み替え部による組み替え処理では、制御ノードがルートノードの子ノードとなるように映像配信装置600はALM配信木を組み替える。図8を用いて、第4実施形態による、制御権の移動に伴って行われる配信木の組み替え方法を説明する。図8の(a)は、制御権の移動前のALM配信木の状態を示しており、表示装置200(2)に制御権がある。図8の(b)は、制御権の移動後のALM配信木の状態であり、表示装置200(4)に制御権が移動している。第4実施形態では、映像配信装置600は制御権の移動に伴いALM配信木を組み替える。そして、映像配信装置600は制御ノードの移動先である表示装置200(4)をルートノードである映像配信装置600の直下の子ノードにする。ALM配信木の組み替えは、配信木組み替え部が配信木データ409を更新し、これを各表示装置へ通知することで実現される。
【0034】
以上のように配信木組み替え処理を実行することで、制御ノードである表示装置200(4)までの中継ノード数を0にしている。これによって制御ノードにおける映像配信遅延を減少させることができる。
【0035】
[第5実施形態]
第5実施形態では、第1乃至第3実施形態において示した映像配信システムにおける、第4実施形態とは別のALM配信木の組み替え処理を説明する。但し、以下では映像配信装置600を用いた映像配信システムを例に挙げて説明する。
【0036】
第4実施形態で示したALM配信木の組み替えでは、制御ノードがルートノードの子ノードとなるように組み替えを行った。しかしながら、この方式では、ルートノードに対する子ノードが増加するため、ルートノードの同時送信セッション数が足りなくなる場合には採用できない。第5実施形態による配信木組み替え部は、ルートノードの同時送信セッション数が足りない場合には、制御ノードがルートノードの直下の子ノードの更に直下の階層の孫ノードとなるようにALM配信木を組み替える。
【0037】
図9を用いて、第5実施形態による、制御権の移動に伴って行われる配信木の組み替え方法を説明する。図9において映像配信装置600の同時送信セッション数は2であり、これ以上子ノードを増やせない状態であるとする。図9の(a)は、制御権の移動前のALM配信木の状態を示しており、表示装置200(2)に制御権がある。図9の(b)は、制御権の移動後のALM配信木の状態を示しており、表示装置200(7)に制御権が移動している。上述のように、映像配信装置600の同時送信セッション数が2であるため、制御権の移動先である表示装置200(7)を子ノードとすることができない。そこで、映像配信装置600は、制御ノードとなった表示装置200(7)がルートノードである映像配信装置600の孫ノードとなるようにALM配信木を組み替える。この組み替えにより、表示装置200(7)までの中継ノード数は2から1に減り、制御ノードにおける映像配信遅延を減少させている。
なお、現在の子ノードを新たな制御ノードと交換することでも本実施形態の目的を達成することが可能である。
【0038】
[第6実施形態]
次に、第6実施形態による配信木組み替え処理を説明する。第6実施形態による配信木組み替え処理も、上記実施形態と同様に、第1乃至第3実施形態で示した映像配信システムに適用可能である。
【0039】
第6実施形態の配信木組み替え部は、制御ノードとルートノードとの間の経路に低遅延回線が使われるようにALM配信木を組み替える。図10を用いて、制御権の移動に伴って行われる、第6実施形態による配信木の組み替え方法を説明する。
【0040】
図10において映像配信装置600と表示装置200(2)との間は低遅延回線で接続されている。図10の(a)は、制御権の移動前のALM配信木を示しており、表示装置200(1)に制御権がある。図10の(b)は、制御権の移動後のALM配信木を示しており、表示装置200(7)に制御権が移動している。第6実施形態では制御権の移動に伴い、制御ノードの移動先である表示装置200(7)とルートノードである映像配信装置600との間に低遅延回線が使用されるようにALM配信木を組み替える。これにより、表示装置200(7)における映像配信遅延が減少するように各表示装置が再接続されることになる。
【0041】
[第7実施形態]
次に、第7実施形態による配信木組み替え処理を説明する。第7実施形態による配信木組み替え処理も、上記実施形態と同様に、第1乃至第3実施形態で示した映像配信システムに適用可能である。
【0042】
第7実施形態の配信木組み替え部は、制御ノードのデータ送受信能力が予め定められた基準よりも低い場合には、制御ノードとルートノードの間の映像配信遅延が減少する範囲内で制御ノードが末端ノードとなるようにALM配信木を組み替える。第7実施形態において、映像配信装置600は、各ノードである表示装置200の能力情報を予め取得するものとする。
【0043】
図11を用いて、制御権の移動に伴い第7実施形態のシステムで行われる配信木の組み替え処理を説明する。図11において、制御権の移動先となる表示装置200(7)は送受信能力が予め定められた基準よりも低い携帯端末等であり、子ノードを接続するには適さないノードであるとする。図11の(a)は制御権の移動前の配信木を示し、表示装置200(2)に制御権がある。図11の(b)は制御権の移動後の配信木を示し、表示装置200(7)に制御権が移動している。第7実施形態では制御権の移動に伴いALM配信木を組み替え、制御ノードとなった表示装置200(7)をルートノードである映像配信装置600の子ノードにする。このような組み替えにより、表示装置200(7)(制御ノード)と映像配信装置との間の中継ノード数を0にすると共に、表示装置200(7)を末端ノードとすることで他の表示装置への影響を少なくしている。
【0044】
[第8実施形態]
次に、第8実施形態による配信木組み替え処理を説明する。第8実施形態による配信木組み替え処理も、上記実施形態と同様に、第1乃至第3実施形態で示した映像配信システムに適用可能である。
【0045】
第8実施形態で用いる配信木組み替え処理では、各ノードにおける同時送信セッション数ならびに最大遅延許容値を制約条件として、制御ノードとルートノードとの間の映像配信遅延を最小化するようにALM配信木を組み替える。ここで、映像配信遅延を最小化するALM配信木が複数存在する場合には、映像配信装置の配信木組み替え部は、各ノードにおける映像配信遅延ならびに映像不安定度をパラメータとする評価関数を用いて、組み替えパターンを決定する。即ち、配信木組み替えパターンの候補が複数個あるときには、配信木組み替え部は配信木組み替え後の評価関数出力値(評価値)が最小となる組み替えパターンを選択する。
【0046】
図12を用いて、制御権の移動に伴って第8実施形態のシステムで行われる配信木の組み替え処理を説明する。図12の(a)は制御権の移動前の配信木を示し、表示装置200(1)に制御権がある。ここで、表示装置200(3)が制御権を取得した場合に、第8実施形態の配信木組み替え部が配信木組み替えパターンをどのように選び出すかを説明する。
【0047】
第8実施形態における配信木の組み合わせ全パターンは図13に示すように(a)から(p)までの16通り存在する。また、各ノードにおける同時送信可能セッション数、最大遅延許容値は図14の(a)に示す通りであり、各ノード間の伝送遅延は図14の(b)に示す通りであるとする。図15の「映像配信遅延」は、ルートノードである映像配信装置600から各表示装置までの伝送遅延を合計した値であり、第8実施形態の配信木組み替え部が、図14の(b)に示される伝送遅延を参照して算出したものである。ここでパターン(i)は表示装置200(3)の同時送信可能セッション数を超えており、パターン(p)は映像配信装置600の同時送信可能セッション数を超えているため探索パターンから外される。次にパターン(e)と(h)は表示装置200(1)の最大遅延許容値を超えているため探索パターンから外される。残ったパターンのうち、制御ノードである表示装置200(3)の映像配信遅延が最小となるパターンは(g)、(k)、(m)、(n)、(o)である。ここで、仮に1つの配信木が特定できた場合には、その特定された配信木を採用する。本例では、5つのパターンが検出されたため、評価関数による選択が実行される。
【0048】
図14の(a)に故障や配信グループからの離脱の頻度(離脱・故障頻度)を示す。また、図14の(b)に各ノード間のフレーム欠落頻度を示す。第8実施形態で用いる評価関数を以下に示す。なお、式中の各装置の各パラメータに対する重み付けの値は、例えば、システムの設計者が試行錯誤で決定することができる。
E=(d1+10f1+20v1)+(d2+40f2+8v2)+(d3+2f3+7v3)
dn:表示装置200(n)の映像配信遅延(n=1, 2, 3)
fn:表示装置200(n)のフレーム欠落頻度(n=1, 2,3)
vn:表示装置200(n)の映像断絶頻度(n=1, 2, 3)
なお、係数は設計者が任意に決定するものとする。
【0049】
図15中の、各表示装置における「フレーム欠落頻度」は、映像配信装置600から各表示装置までのフレーム欠落頻度(図14のフレーム欠落頻度)を合計した値であり、本実施形態の配信木組み替え部によって図14に示す値が算出される。また、図15中の各表示装置における「映像断絶頻度」は、映像配信装置600から各表示装置までの「故障・離脱頻度」を合計した値であり、本実施形態の配信木組み替え部によって図14に示す値が算出される。これらの値を用いて評価関数を計算した結果が図14の「評価関数出力値」に示す値である。先ほどの映像配信遅延が最小となるパターン(g)、(k)、(m)、(n)、(o)のうち、評価関数出力値が最小となるパターンは(o)である。このため、第8実施形態の配信木組み替え部が選び出す制御権移動後の配信木は図12の(b)となる。このように、第8実施形態では、各配信木について、ノード間に生じる伝送遅延及び各ノードにおける映像配信に関する不安定度をパラメータとして各配信木の評価値を算出し、映像配信遅延と評価値とに基づいて変更後の配信木が決定される。ここで、不安定度とは、例えば、親子ノードとして接続される2ノードの組み合わせに応じたフレーム欠落の頻度、及び、各ノードの中継ノードの離脱・故障頻度、の少なくともいずれかを含むものである。
【0050】
なお、第8実施形態において、評価関数出力値の最大許容値を設定し、当該最大許容値以下となる評価関数出力値を有する組み替えパターンが存在しない場合は、ALM配信木の組み替えを行わないようにしてもよい。例えば、評価関数出力値の最大許容値が2000と定められているとする。この場合、上記のような制御権の移動が起きた場合には、最小の評価関数値を有する組み替えパターン(o)の評価関数値が2157であるため、配信木の組み替え自体が行われないことになる。このように、評価値が予め定められた許容範囲となる配信木のパターンが存在しない場合には、配信木の変更を禁止することで、不適切な配信木へ更新されることが防止される。
【0051】
[第9実施形態]
第1〜第8実施形態では、制御権の移動に伴って、ALM配信木の組み替えを行うことを説明した。映像配信システムにおいてこのようなALM配信木の組み替えが行なわれる場合、組み替えを行うタイミングの通知や組み替え時の排他制御、組み替え後の木構造データを各ノードへ通知する技術などが必要である。また、組み替え時に映像断絶が発生するため、これを視聴ユーザへ明示的に知らせて注意を促す技術、もしくは、映像断絶を意識させないように再生する技術が必要である。以下の第9〜第14実施形態では、これらの構成について説明する。
【0052】
第9実施形態では、ALM配信木の組み替え時における排他制御について、図16を用いて説明する。図16は、第1実施形態(図6)の例で用いられた配信木の組み替えシーケンスを示す。ユーザが表示装置200(7)において撮影装置に対する制御を開始すると、表示装置200(7)は映像配信装置600に制御権の取得を要求する。要求を受け取った映像配信装置600は配信木の算出と木構造データの生成処理(S101)を実行し、ALM配信木の組み替え結果を図17に示すような配信木データとして各表示装置200に配信する。配信木データを受け取った表示装置200は、映像データ送受信先の変更処理(S102)を実行し、変更終了を映像配信装置600に、例えばユニキャストを用いて通知する。全ての表示装置から変更完了の通知を受け取った映像配信装置600は制御権の取得許可を表示装置200(7)に通知する。こうして、表示装置200(7)は制御権を獲得し、映像パラメータ調整命令を送信することが可能となる。以上のように、第9実施形態によれば、全ノードの映像データ送受信先変更が終了するまで新たな配信木組み替えが発生しないように排他処理が可能となる。
【0053】
このとき、映像配信装置600が制御権取得要求を受け付けてから、全ての表示装置からの変更終了通知を受領するまでの間、映像配信装置600新たな制御権取得要求の受け付けを禁止する。このような制御により、配信木組み替えの途中で更に新たな配信木組み替えが発生することを抑止している。また、映像配信装置600は、ある一定時間が経過しても全ての変更終了通知を確認できなかった場合には、制御権の取得許可を表示装置200(7)に通知する、タイムアウト処理を行う。即ち、表示装置200(7)によるパラメータ調整等の制御権を与える。このとき、他の表示装置からの制御権取得要求の受付も再開されることになる。
【0054】
[第10実施形態]
第10実施形態では、組み替え後の木構造データを各ノードへ通知する技術を説明する。即ち、第10実施形態では、第1乃至第3実施形態で示した映像配信装置のいずれかを用いた映像配信システムにおいて、ALM配信木を組み替えた際の配信木データの送信、変更終了通知に関する処理を説明する。ALM配信木の組み替え処理は、第4〜第8実施形態で説明したいずれの処理を用いてもよい。第10実施形態では新たに算出された配信木データ409を組み替え前の配信木に従って配信する。また、映像データ送受信先の変更処理に対する終了の通知(変更終了通知)を組み替え後のALM配信木に従って集約する。図18と図19に、第10実施形態による配信木組み替え時のコラボレーション図を示す。
【0055】
図18に示すように、映像配信装置600は制御権取得要求を受領すると新たなALM配信木の算出と配信木データ409の生成を行う。映像配信装置600は、この配信木データ409を組み替え前の配信木(変更前の配信木)に従って表示装置200(1)と200(2)に配信する。さらに表示装置200(1)は組み替え前の配信木に従って表示装置200(3)と200(4)に配信する。以下同様に組み替え前のALM配信木に従った配信により全ての表示装置に新たな配信木データ(木構造データ)が配信される。
【0056】
次に、図19に示すように、新たな配信木データを受信した表示装置200(4)は、当該新たな配信木データに従って映像データ送受信先を変更する。そして、この変更が終了すると、表示装置200(4)は、変更終了通知を組み替え後のALM配信木に従って表示装置200(7)に送信する。また、表示装置200(6)も、新たなALM配信木に従った映像データ送受信先の変更が終了すると、その変更終了通知を組み替え後の配信木(変更後の配信木)に従って表示装置200(7)に送信する。さらに表示装置200(7)は、自身の映像データ送受信先変更が終了しているならば、表示装置200(4)と200(6)の変更終了通知と自身の変更終了通知とを集約して親ノードである表示装置200(1)に送信する。
【0057】
なお、表示装置200(7)は、上記変更通知の受信に関してタイムアウト処理を行うようにしてもよい。即ち、表示装置200(7)は、ある一定時間待っても表示装置200(4)もしくは200(6)からの変更終了通知が来ない場合には、来た方の変更終了通知と自身の変更終了通知とを集約して親ノードである表示装置200(1)に送信する。以下同様に組み替え後の配信木に従った集約と送信を繰り返すことで映像配信装置600に全ての表示装置からの変更終了通知が集約される。
【0058】
[第11実施形態]
第11実施形態では、ALM配信木の組み替え時に発生する映像断絶(映像が不連続となること)を視聴ユーザへ明示的に知らせて注意を促す構成を説明する。第11実施形態においても、第1乃至第3実施形態において示した映像配信システムを用いて説明を行う。ALM配信木の組み替えが行われると、組み替え後の配信タイミングが組み替え前より遅れるノードと早まるノードが発生する。各ノード間の通信速度が一定と仮定すると、ALM配信木の下流へ移動するノードには遅れが発生し、ALM配信木の上流へ移動するノードには進みが発生する。
【0059】
このような配信タイミングのずれを解消するために第11実施形態では、上流へ移動する表示装置では映像フレームをスキップし、下流へ移動する表示装置では映像を一時停止する。そして、このとき、視聴ユーザに図20に示すようなメッセージ表示を行うことで配信タイミングのずれに伴う映像断絶(映像の不連続個所)の発生を明示的に知らせる。なお、映像断絶の通知は、上記のようなメッセージ表示に限られるものではなく、音声を発生させることで通知するようにしてもよい。
【0060】
以上のように、第11実施形態では、更新後の配信木データを受信した場合に、更新前の配信木に従って受信される映像データの遅延と更新後の配信木に従って受信される映像データの遅延との変化が判断される。そして、判断された遅延の変化により発生する映像フレームのスキップまたは遅延に基づく表示を、映像データを表示する表示器に表示するよう表示制御を行う。このような第11実施形態によれば、配信木の組み替え時の映像断絶等を視聴ユーザへ明示的に知らせて注意を促すことができる。
【0061】
[第12実施形態]
第12実施形態では、下流へ移動した表示装置において、映像断絶を視聴ユーザに意識させないように再生する構成を説明する。第12実施形態では、第1乃至第3実施形態で示した映像配信システムにおいて、表示装置がALM配信木の下流へ移動する場合に、当該移動に先立って映像のスロー再生を行うことで配信タイミングのずれに伴う映像断絶を視聴ユーザに意識させないようにする。
【0062】
以下、図21から図24を用いて第12実施形態の動作例を説明する。図21はALM配信木の組み替え前の定常状態を表しており、親ノードとしてのノードUは、子ノードとしてのノードAとノードBに映像データを配信している。なお、ノードUは映像配信装置であってもよいし、配信中継装置としての表示装置であってもよい。図21の(a)において時間軸の上の白ブロックは映像データ送受信バッファ内のフレームデータを表しており、灰色部分が現時点で保持しているフレームデータである。また、時間軸の下の黒ブロックは表示フレームを表しており、灰色部分が現時点で表示中のフレームを表している。
【0063】
ノードBが下流へ移動する場合、図22に示すようにスロー再生を行うことで表示タイミングを少しずつ遅らせ、図23に示すように組み替え直前には組み替え後の配信タイミングでも再生が可能な状態にする。その後、図24に示すように組み替えが発生するとノードBはノードAから映像データの配信を受けるようになり配信タイミングは遅れるが、事前に十分表示タイミングを遅らせてあるためノードBにおいて映像断絶は発生しない。
【0064】
以上のように、第12実施形態では、親ノードとして機能する表示装置が、更新後の配信木データを受信した場合に、下流に接続された表示装置における映像データの遅延時間の変化を判断する。そして、当該表示装置は、この変化に基づいて、配信木の更新において映像フレームの欠落及び/または停滞が生じないように、子ノードに対して映像データを配信制御する。特に、第12実施形態では、配信木の更新によって子ノードが孫ノードへ移動する場合に、孫ノードへ移動した際に配信遅延が一致させるように、当該移動する子ノードにスロー再生を実行させるべく映像データを配信する。これにより、第12実施形態によれば、映像断絶をユーザに意識させないように再生することが可能となる。
【0065】
[第13実施形態]
第13実施形態では、上流へ移動した表示装置において、映像断絶を視聴ユーザに意識させないように再生する構成を説明する。第13実施形態では、第1乃至第3実施形態で示した映像配信システムにおいて、表示装置が配信木の上流へ移動する場合に映像の早送り再生を行うことで、配信タイミングのずれに伴う映像断絶を視聴ユーザに意識させないようにする。
【0066】
図25乃至図28を用いて第13実施形態の動作例を説明する。図25は、ALM配信木の組み替え直前の状態を表しており、ノードUはノードAに、ノードAはノードCに映像データを配信している。なお、ノードUは映像配信装置であってもよいし、配信中継装置としての表示装置であってもよい。
【0067】
ノードCが上流へ移動する場合、まず図26のように組み替えが行われる。するとノードCはノードUから映像データの配信を受けるようになる。このときノードUの映像データ送受信バッファにはノードCが次に再生するフレームの映像データが用意されている必要がある。ここで、各ノードの送受信バッファには各表示装置が再生済の映像データを所定時間保持しておき、組み替えの際にこの映像データを用いるものとする。
【0068】
図27に示すようにノードCは早送り再生を行うことで表示タイミングを少しずつ早める。そして、図28に示すように、ノードCへの配信タイミングが子ノードとしてのタイミング(ノードAと同じタイミング)においつくと、ノードCにおける早送り再生は解除され、再生は定常状態となる。このように早送り再生を行うことでノードCにおける映像断絶を視聴ユーザは意識しなくて済むようになる。
【0069】
以上のように、第13実施形態によれば、配信木の更新によって孫ノードが子ノードへ移動した場合に、表示装置は、まず、当該移動後の子ノードに映像フレームが連続するように遅延した映像フレームから配信を開始する。そして、子ノードとしての配信遅延となるように、当該移動後の子ノードに早送り再生を実行させるように映像データを配信する。このため、第13実施形態によれば、映像断絶をユーザに意識させないように再生することが可能である。
【0070】
[第14実施形態]
第13実施形態では、図27の(b)に示すようにノードCが早送り再生を行っているときには、親ノードUからノードCへの送信速度が増加する。このため、上流へ移動するノードに対する親ノードの送信負荷を軽減する方法が要求される。
【0071】
第14実施形態では、第1乃至第3実施形態で示した映像配信システムが用いられる。第12、第13実施形態で説明したように、階層の異なるノードの入れ替えが行なわれた場合、ALM配信木の上流へ移動するノードで早送り再生が、下流へ移動するノードではスロー再生が行われる。第14実施形態では、上流へ移動するノードが下流へ移動するノードの親ノードから早送り再生に必要な映像データを受け取ることで上流へ移動するノードの親ノードの送信負荷を軽減する。
【0072】
図29から図33を用いて第14実施形態の動作を説明する。図29は組み替え前の定常状態を表しており、ノードUはノードAとノードBに、ノードAはノードCに映像データを配信している。
【0073】
この状態から、ノードBが下流へ移動し、同時にノードCが上流へ移動する場合、図30に示すようにノードBはスロー再生を行うことで表示タイミングを少しずつ遅らせ、同時にノードCは早送り再生を行うことで表示タイミングを少しずつ早める。このとき、ノードCが早送り再生を行うために必要な追加分の映像データはノードBの親ノードUから受け取る。なお、ノードUとノードCとの間の映像データの通信には、例えばユニキャストが用いられる。
【0074】
図29の(b)に示すように定常状態でのノードUからノードBへの送信速度をs[bps]とする。図30の(b)ではノードBはスロー再生しているために送信速度をd[bps]だけ低くしてs−d[bps]とし、d[bps]の分をノードCへの映像データ送信にまわす。このように制御することでノードUのトータル送信速度を定常状態のときと同じs[bps]に抑えることが可能である。
【0075】
こうして、図31に示されるように、ALM配信木の組み替えの実行直前には、子ノードから孫ノードへ移行するノードBの配信タイミングが孫ノードでの配信タイミングと一致する。同様に、孫ノードから子ノードへ移行するノードCの配信タイミングが子ノードでの配信タイミングと一致するようになる。そして、このタイミングで、ALM配信木の組み替えを実行すると、図32のようなタイミングで各ノードが映像の受信/配信を行うことになる。本例では、それぞれの移動後のノードの配信タイミングが、移動先の出の配信遅延と一致しており、そのまま、図33に示すような定常状態へと移行する。但し、例えば、ノードCにおいて更に早送りが必要な状態でALM配信木の組み替えが実行された場合は、図27で説明したような早送り再生が実施されることになる。
【0076】
以上のように、第14実施形態によれば、配信木の更新によって子ノードと孫ノードが入れ替わる場合において、表示装置は、移動前の子ノードに、孫ノードへ移動した際の配信遅延と一致させるようにスロー再生を実行させる。また、移動前の孫ノードには、子ノードへ移動した際の配信遅延と一致するように早送り再生を実行させるべく、例えばユニキャストを用いて映像データを配信する。このため、子ノードと孫ノードが入れ替わる場合において、両ノードにおいて映像断絶をユーザに意識させないように再生することが可能である。
【0077】
更に、第14実施形態によれば、スロー再生のために子ノードへの映像データの配信量を低減させたことによって生じる余剰の帯域を用いて、例えばユニキャストによる孫ノードへの映像のデータの配信が行われる。このため、映像断絶を意識させないように再生する場合に、親ノードに掛かる送信負荷を軽減することが可能である。
【0078】
本発明は蓄積された映像の配信等にも適用可能であり、撮影された映像の配信に限定されるものではない。また、本発明は配信木等の配信順序を規定した配信構造を用いる配信手段であれば一般に適用可能であり、アプリケーション層マルチキャストに限定されるものではない。
【0079】
以上説明したように、上記各実施形態によれば、制御権を持つ表示装置において映像配信装置の操作に対する映像応答が速くなるように配信木が自動的に変更されるため、制御権を持つ表示装置における操作性が向上する。
また、映像配信装置から制御権を持つ表示装置まで映像データを中継する表示装置の段数が減るため、これら中継表示装置の故障や配信グループからの離脱の影響を受けづらくなり、制御権を持つ表示装置における映像が安定する。
また、配信木の木構造データを各表示装置(配信中継装置)に配信する場合や、映像データ送受信先変更終了を映像配信装置に通知する場合には、データは配信木に沿って送受信されるので、映像配信装置の通信負荷を軽減できる。
【0080】
尚、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したコンピュータプログラムである。
【0081】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【0082】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。
【0083】
コンピュータプログラムを供給するためのコンピュータ読み取り可能な記憶媒体としては以下が挙げられる。例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などである。
【0084】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記録媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
【0085】
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布するという形態をとることもできる。この場合、所定の条件をクリアしたユーザに、インターネットを介してホームページから暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたプログラムを実行し、プログラムをコンピュータにインストールさせるようにもできる。
【0086】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどとの協働で実施形態の機能が実現されてもよい。この場合、OSなどが、実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。
【0087】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。この場合、機能拡張ボードや機能拡張ユニットにプログラムが書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行なう。
【図面の簡単な説明】
【0088】
【図1】アプリケーション層マルチキャスト(ALM)によるデータの流れを説明する図である。
【図2】第1実施形態による映像配信システムのシステム構成例を示すブロック図である。
【図3】第2実施形態による映像配信システムのシステム構成例を示すブロック図である。
【図4】第3実施形態による映像配信システムのシステム構成例を示すブロック図である。
【図5】(a)は第1実施形態の、(b)は第2実施形態の、(c)は第3実施形態のALM配信木の例を示す図である。
【図6】第1実施形態の映像配信システムにおける、制御権の移動に伴うALM配信木の組み替え例を示す図である。
【図7】第1実施形態における、制御権の移動に伴う配信木の組み替えシーケンスの例を示す図である。
【図8】第4実施形態の映像配信システムにおける、制御権の移動に伴うALM配信木の組み替え例を示す図であって、制御ノードがルートノードの子ノードとなるように組み替える例を示す図である。
【図9】第5実施形態の映像配信システムにおける、制御権の移動に伴うALM配信木の組み替え例を示す図であって、制御ノードがルートノードの孫ノードとして繋がるように組み替える例を示す図である。
【図10】第6実施形態の映像配信システムにおける、制御権の移動に伴うALM配信木の組み替え例を示す図であって、制御ノードとルートノードの間に低遅延回線が使われるように組み替える例を示す図である。
【図11】第7実施形態の映像配信システムにおける、制御権の移動に伴うALM配信木の組み替え例を示す図であって、制御ノードが末端ノードとして繋がるように組み替える例を示す図である。
【図12】第8実施形態の映像配信システムにおける、制御権の移動に伴うALM配信木の組み替え例を示す図であって、映像配信遅延を最小化するように組み替える例を示す図である。
【図13】配信木の組み替えパターンの候補を示す図である。
【図14】各ノード、ノード間の各種パラメータを示す図である。
【図15】配信木パターンごとの映像配信遅延と映像不安定度ならびに評価関数出力値の算出結果を示す図である。
【図16】第9実施形態における、制御権の移動に伴う配信木の組み替えシーケンスの例を示す図である。
【図17】配信木データの例を示す図である。
【図18】第10実施形態による、配信木組み替え時のコラボレーションの例(木構造データの配信時)を示す図である。
【図19】第10実施形態による、配信木組み替え時のコラボレーションの例(変更終了の通知時)を示す図である。
【図20】第11実施形態における、映像断絶を知らせるメッセージの表示例を示す図である。
【図21】第12実施形態における、組み替えによってノードが下流へ移動する場合のデータの配信状態の例(定常状態)を示す図である。
【図22】第12実施形態における、組み替えによってノードが下流へ移動する場合のデータの配信状態の例(スロー再生)を示す図である。
【図23】第12実施形態における、組み替えによってノードが下流へ移動する場合のデータの配信状態の例(組み替え直前)を示す図である。
【図24】第12実施形態における、組み替えによってノードが下流へ移動する場合のデータの配信状態の例(組み替え直後)を示す図である。
【図25】第13実施形態における、組み替えによってノードが上流へ移動する場合のデータの配信状態の例(組み替え直前)を示す図である。
【図26】第13実施形態における、組み替えによってノードが上流へ移動する場合のデータの配信状態の例(組み替え直後)を示す図である。
【図27】第13実施形態における、組み替えによってノードが上流へ移動する場合のデータの配信状態の例(早送り再生)を示す図である。
【図28】第13実施形態における、組み替えによってノードが上流へ移動する場合のデータの配信状態の例(定常状態)を示す図である。
【図29】第14実施形態における、組み替えによって2つのノードが入れ替わる場合のデータの配信状態の例(定常状態)を示す図である。
【図30】第14実施形態における、組み替えによって2つのノードが入れ替わる場合のデータの配信状態の例(スロー再生と早送り再生)を示す図である。
【図31】第14実施形態における、組み替えによって2つのノードが入れ替わる場合のデータの配信状態の例(組み替え直前)を示す図である。
【図32】第14実施形態における、組み替えによって2つのノードが入れ替わる場合のデータの配信状態の例(組み替え直後)を示す図である。
【図33】第14実施形態における、組み替えによって2つのノードが入れ替わる場合のデータの配信状態の例(定常状態)を示す図である。
【技術分野】
【0001】
本発明は、例えば映像配信装置と配信中継装置としての複数の表示装置がネットワーク接続されたような形態の、データ配信システムに関する。
【背景技術】
【0002】
近年、映像撮影手段のデジタル化とブロードバンド・ネットワークの普及によって、撮影した映像をリアルタイムに複数の表示装置へ配信する要求が高まってきている。ここで、複数の表示装置それぞれに直接ユニキャストで映像データを配信すると、映像配信装置にアクセスが集中してしまい表示装置数に関するスケーラビリティが欠如する。そこで、複数の表示装置に同報配信するマルチキャスト技術が注目されている。
【0003】
マルチキャスト通信を実現する方式としては、IP(Internet Protocol)層において配信データの経路制御や複製処理を行うIPマルチキャストが知られている。しかし、IPマルチキャストを広範囲で利用可能なネットワーク・インフラストラクチャは普及していない。また、IPマルチキャストを利用できたとしてもISP(InternetServiceProvider)内部の閉じたネットワークに限られる場合が多い。
【0004】
このため、アプリケーション層において配信データの経路制御や複製処理を行うアプリケーション層マルチキャスト(Application-layer Multicast:ALM)が注目を集めている。ALMでは、個々の表示装置が配信データの表示処理と同時に配信データの中継処理も行い、バケツリレー式に配信データを転送する。各ノード間の中継処理はユニキャストで行われるため、既存のネットワーク・インフラストラクチャを利用して、ISPを跨ぐ広範囲な映像同報配信が実現可能である。
【0005】
ALMにおいては、図1の(a)に示すような、ルータを介した「物理的なデータの流れ」の上に、図1の(b)に示すような「論理的なデータの流れ」を当てはめる。この論理的なデータの流れ方はルートノードを頂点とした木構造になるためALM配信木と呼ばれる。ALMではこの配信木を組み替えることによって論理的なネットワーク構成をアプリケーションによって自由に変更することが可能である。
【0006】
ALMを用いた映像同報配信技術として、ビデオ会議データの配信にALMを用いた技術が特許文献1に記載されている。
【特許文献1】特開2006−50639号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
ALMを用いた映像配信システムは、配信木の下段に属する表示装置は上段に属する表示装置に比べて映像の配信時刻が遅れるという性質を持っている。下層であればあるほど映像配信装置までに多くの表示装置を中継することが必要となるためである。これは下段の表示装置を使っている操作者が、映像パラメータの調整といったような映像配信装置の制御を行う場合、制御結果の映像をすぐに表示装置で確認できず、操作性が悪いという課題に繋がる。
【0008】
本発明は上記の課題に鑑みてなされたものであり、撮影した映像をリアルタイムに複数の表示装置へ配信木に従って配信する映像配信システムにおいて、映像配信の制御に関わる操作性を向上することを目的とする。
【課題を解決するための手段】
【0009】
上記の目的を達成するための本発明の一態様による映像配信装置は以下の構成を備える。即ち、
配信木データによって示される配信木に従って映像データを複数の表示装置に配信するための映像配信装置であって、
制御権を有する表示装置からネットワークを介して受信した命令に従って映像パラメータを調整する調整手段と、
当該映像配信装置をルートノード、前記複数の表示装置をその子孫ノードとする配信木を示す配信木データを保持する保持手段と、
前記制御権を別の表示装置へ移動する場合に、前記制御権の移動先の表示装置を制御ノードとして、前記ルートノードと前記制御ノードとの間の映像配信遅延が減少するように配信木データを更新することにより、映像データの配信のための配信木を変更する変更手段とを備える。
【0010】
また、上記の目的を達成するための本発明の他の態様による配信中継装置は以下の構成を備える。即ち、
外部より配信木を表す配信木データを受信する受信手段と、
前記配信木データに従って映像データを受信し、配信する配信手段と、
前記受信手段により更新された配信木データを受信した場合に、更新前の配信木に従って受信される映像データの遅延と更新後の配信木に従って受信される映像データの遅延との変化を判断する判断手段と、
前記判断手段で判断された遅延の変化により発生する映像フレームのスキップまたは遅延を、前記映像データを表示する表示器に表示する表示制御手段とを備える。
【0011】
更に、上記の目的を達成するための本発明の他の態様による映像配信装置は以下の構成を備える。即ち、
配信木データが示す配信木に従って映像データを配信する配信手段と、
前記配信木データが更新された場合に、下流に接続された外部装置における映像データの遅延時間の変化を判断する判断手段と、
前記判断手段で判断された遅延時間の変化に基づいて、配信木の更新によって接続が変更された外部装置に映像フレームの欠落または停滞が生じないように映像データの配信を制御する配信制御手段とを備える。
【発明の効果】
【0012】
本発明によれば、制御権を持つ表示装置において映像配信装置の操作に対する映像応答が速くなるように配信木が自動的に変更されるため、制御権を持つ表示装置における操作性が向上する。
【発明を実施するための最良の形態】
【0013】
以下、添付の図面を参照して本発明の好適な実施形態を説明する。
【0014】
[第1実施形態]
図2は、実施形態の映像配信システムにおけるシステム構成例を示すブロック図である。第1実施形態の映像配信装置600は、撮影機能ならびに映像パラメータ調整機能を有する撮影装置100と、これに通信線500で接続された表示機能ならびに映像データ配信機能を有する表示配信装置400を有する。映像配信装置600にはネットワーク300により複数台の表示装置200が接続されている。撮影装置100で撮影された映像は、表示配信装置400からそれぞれの表示装置200にリアルタイムに配信される。
【0015】
撮影装置100は、駆動系や光学系を有する撮影部101と、これを制御する映像パラメータ調整部102を有する。ここで、映像パラメータとは、例えば、
・パン角度、チルト角度、ズーム倍率のような駆動系の制御、
・ホワイトバランス、明るさ、彩度、絞り、ISO感度のような光学系の制御、そして、
・映像サイズ、色深度、符号化方式、圧縮レベルのような映像品質の制御、に関するものである。映像パラメータ調整部102は、これらのパラメータに従って、撮影部101を調整したり、映像データを補正したりする。撮影装置100は外部IF103により、通信線500を通して表示配信装置400に接続されている。この接続方法の例としてはUSB(Universal Serial Bus)があるが、本発明は特定の接続方法に依存しないことは言うまでもない。
【0016】
表示配信装置400には、ユーザインターフェイスであるUIデバイス401が接続されている。UIデバイス401は、装置の状態や処理内容を表示する発光ダイオードや液晶パネル、装置へ動作指示を与えるリモコンや各種ボタンを有する。UIデバイス401はUI制御部402を介してCPU404に接続されており、CPU404の制御下で種々の機能を果たす。例えば、ユーザは、UIデバイス401を用いることで映像パラメータの調整を行うことが可能である。UIデバイス401を介してユーザによって指示された映像パラメータ調整命令は、UI制御部402を介してCPU404に取り込まれ、通信線500を通して撮影装置100に伝達される。
【0017】
表示部403は、通信線500を通して撮影装置100より送られてきた映像データを表示する。また、表示配信装置400は、ネットワークIF408からネットワーク300に接続されている。このネットワーク300には表示装置200が複数台接続されている。CPU404の制御の下、通信線500から送られてきた映像データはネットワーク300を通して表示装置200に送られる。また、表示配信装置400は、表示装置200から送信された映像パラメータ調整命令を、ネットワーク300を通して受信し、これを通信線500を通して撮影装置100に伝達する。
【0018】
更に、表示配信装置400は、プログラム用記憶領域407を有する。具体的には、プログラム用記憶領域は、ハードディスクやフラッシュメモリを用いて実現することが可能であるが、本発明は特定の記憶媒体に依存しないことは言うまでもない。また、表示配信装置400は、CPU404とRAM405を有し、プログラム用記憶領域407からRAM405に読み込んだプログラムをCPU404によって解釈・実行することによって装置内の各種制御や計算、映像データの送受信が実行される。さらにRAM405にはALM配信木の構造を表す配信木データ409が記憶されており、この配信木データ409に従って映像データが各表示装置200へ配信される。すなわち、RAM405には、映像配信装置600(或いは、表示配信装置400)をルートノード、複数の表示装置200をその子孫ノードとする配信木を示す配信木データ409が保持されている。
【0019】
プログラム用記憶領域407に保持されているプログラムをCPU404が実行することにより、映像データ送信部、配信木組み替え部、映像パラメータ調整命令受信部としての機能が実現される。映像データ送信部は、撮影装置100によって得られた映像データ、または不図示の格納部に格納された映像データをネットワークIF408から表示装置へ配信する。配信木組み替え部は、表示装置間の制御権(映像パラメータ調整等の制御を行う権利)の移動に応じて、配信木の組み替えを行う。配信木組み替え処理の詳細は後述する。映像パラメータ調整命令受信部は、制御権を持つ表示装置からの映像パラメータ調整命令をユニキャストにより受信し、受信した映像パラメータを映像パラメータ調整部102に通知する。
【0020】
表示装置200は、ユーザインターフェイスであるUIデバイス201を有する。UIデバイス201は、装置の状態や処理内容を表示する発光ダイオードや液晶パネル、装置へ動作指示を与えるリモコンや各種ボタンを有する。UIデバイス201はUI制御部202を介してCPU204に接続されており、CPU204の制御下で種々の機能を果たす。従って、ユーザはUIデバイス201を用いることで、映像配信装置600における映像パラメータの調整を行うことが可能である。表示装置200で生成された映像パラメータ調整命令は、ネットワークIF206に接続されたネットワーク300を通して映像配信装置600に送信される。
【0021】
表示装置200は、表示部203を有し、ネットワーク300を通して送られてきた映像データを表示する。表示装置200は、プログラム用記憶領域207を有する。プログラム用記憶領域207は、具体的には、ハードディスクやフラッシュメモリを用いて実現可能であるが、本発明は特定の記憶媒体に依存しないことは言うまでもない。また、表示装置200は、CPU204とRAM205を有し、プログラム用記憶領域207からRAM205に読み込んだプログラムをCPU204によって解釈・実行することによって装置内の各種制御や計算、映像データの送受信が可能である。
【0022】
プログラム用記憶領域207に保持されているプログラムをCPU204が実行することにより、映像データ受信・再送信部、映像パラメータ調整命令送信部としての機能が実現される。映像データ受信・再送信部は、映像配信装置600もしくは配信木において自身の上位に接続されている表示装置から映像データを受信し、自身の下位に接続されている表示装置に受信した映像データを再送する。どの装置から映像データを受信し、どの装置へ映像データを送信するかは、ALM配信木の構造を表す配信木データ409に従う。階層映像データ送信部は、撮影装置100によって得られた映像データ、または不図示の格納部に格納された映像データをネットワークIF408から表示装置へ配信する。映像パラメータ調整命令送信部は、自身が制御権を持つ場合に、UIデバイス201を介して入力された映像パラメータ調整指示を映像配信装置600へユニキャストにより送信することが可能である。
【0023】
図5の(a)に第1実施形態の映像配信システムにおいて、配信木データ409に基づいて構築されるALM配信木の例を示す。撮影装置100で生成された映像データは表示配信装置400から、このALM配信木に従って各表示装置200に配送される。図5の(a)に示す例では、まず表示配信装置400から表示装置200(1)と表示装置200(2)へと映像データが送信される。次に表示装置200(1)から表示装置200(3)と表示装置200(4)へ、また、表示装置200(2)から表示装置200(5)へ映像データが送信される。撮影装置100の映像パラメータ調整機能を優先的に制御する権利である制御権を得た制御ノード(表示装置)からの、映像パラメータ調整命令を含む制御データはユニキャストによって送信される。この例では、表示装置200(5)が制御ノードとなっており、映像パラメータ調整命令で構成される制御データがユニキャストによって表示配信装置400に送信される。
【0024】
次に、図6を用いて、制御権の移動に伴い第1実施形態の映像配信システムで行われるALM配信木の組み替え処理を説明する。図6の(a)は制御権の移動前のALM配信木を示しており、表示装置200(5)に制御権がある。図6の(b)は、制御権の移動後のALM配信木を示しており、表示装置200(7)に制御権が移動している。即ち、図6の例では、表示装置200(5)が制御権の移動元の表示装置であり、表示装置200(7)が制御権の移動先の表示装置である。第1実施形態では、制御権の移動に伴い、制御ノードとなった表示装置200(7)とルートノードである映像配信装置600との間の中継ノード数を減らすようにALM配信木を組み替える。そして、組み替えられたALM配信木に従って各表示装置を再接続することで、制御ノードにおける映像配信遅延を減少させる。
【0025】
例えば、図6の(a)における表示装置200(7)と映像配信装置600との間の中継ノード数は2であるが、図6の(b)における表示装置200(7)と映像配信装置600との間の中継ノード数は1である。図6では表示装置200(7)に制御権が移動した例を示しているが、他の表示装置に制御権が移動した場合も同様に、制御権を持つ表示装置と映像配信装置との間の中継ノード数が減少するようにALM配信木の組み替えと再接続が行われる。なお、第1実施形態のシステムでは図2や図5の(a)に示すように表示配信装置400も制御権を取得することが可能である。しかし、この場合はルートノードとの間の映像配信遅延が存在しないためALM配信木の組み替えは行われない。
【0026】
図7を用いて、図6の例における配信木の組み替えシーケンスを示す。ユーザが表示装置200(7)において撮影装置100に対する制御を開始すると、表示装置200(7)は映像配信装置600に制御権の取得を要求する。要求を受け取った映像配信装置600は、表示装置200(7)に制御権を与えるかどうか判断する。映像配信装置600は、制御権を与えると判断すると、表示装置200(7)に制御権を与える旨の通知を行い、さらに配信木の組み替え処理S1を実行する。そして、映像配信装置600は、ALM配信木の組み替え結果を各表示装置200に通知する。配信木の組み替え処理とは、制御権を別の表示装置へ移動する際に、制御権の移動先の表示装置を制御ノードとする。そしてルートノードと制御ノードとの間の映像配信遅延が減少するように配信木データを更新し、映像データの配信のための配信木を変更するものである。更新後の配信木データ409を含むALM配信木の組み替え結果の通知を受け取った表示装置200は、映像データ送受信先の変更処理S2を実行し、変更終了を映像配信装置600に通知する。この変更終了の通知は、例えばユニキャストにより各表示装置から映像配信装置600に通知される。或いは、後述の第10実施形態で説明するように、更新後の配信木を用いて通知されてもよい。全ての表示装置から変更終了の通知を受け取った映像配信装置600は制御権の取得許可を表示装置200(7)に通知し、表示装置200(7)は映像パラメータ調整命令を送信することが可能となる。
【0027】
なお、本発明は蓄積された映像の配信等にも適用可能であり、撮影された映像の配信に限定されるものではない。また、本発明は配信木を用いる配信手段であれば一般に適用可能であり、アプリケーション層マルチキャスト(ALM)に限定されるものではない。また、配信されるデータも映像データに限られるものではなく、例えばストリーム再生の対象となる音響データであってもよい。すなわち、本発明は、データ配信装置と、配信中継装置として機能する複数の再生装置が接続されたデータ配信システムに適用可能であり、制御権を持つ再生装置へのデータ配信遅延を低減するデータ配信システムを実現できる。
【0028】
[第2実施形態]
第1実施形態の表示配信装置400はUIデバイス401と表示部403を有するが、これらの構成は省略されても良い。第2実施形態では、第1実施形態において使用した表示配信装置400からUI(UIデバイス401、UI制御部402)と表示部403を取り除いた配信装置を用いる例を示す。図3は、第2実施形態の映像配信システムにおけるシステム構成例を示すブロック図である。映像配信装置610が備える配信装置410は、上述したように、UI及び表示部を持たない。映像配信装置610におけるその他の構成は、第1実施形態(図2)と同様である。また、表示装置200の詳細は第1実施形態(図2)と同様であるため省略する。図5の(b)に第2実施形態の映像配信システムで構築されるALM配信木の例を示す。
【0029】
第2実施形態は、第1実施形態における表示配信装置400から制御権取得機能と映像データ表示機能を取り除いたものと見なすことができ、表示装置における制御権の移動に伴うALM配信木の組み替え処理は第1実施形態と同様である。
【0030】
[第3実施形態]
第3実施形態では、第2実施形態において使用した配信装置410の機能を内包した撮影装置である、撮影配信装置を用いる。図4は、第3実施形態の映像配信システムにおけるシステム構成例を示すブロック図である。映像配信装置620は、第2実施形態の配信装置410が有する映像配信機能を具備した撮影配信装置110を有する。なお、表示装置200の詳細は第1実施形態(図2)と同様であるため省略する。図5の(c)に、第3実施形態の映像配信システムで構築されるALM配信木の例を示す。
【0031】
第3実施形態は、第2実施形態(図3)の通信線500の機能を図4の撮影配信装置110内部の配線によって置き換えたものと見なすことができる。また、表示装置における制御権の移動に伴うALM配信木の組み替え処理は第1実施形態と同様である。
【0032】
[第4実施形態]
第4実施形態では、第1乃至第3実施形態において示した映像配信装置のいずれかを用いて構築された映像配信システムにおける、ALM配信木の組み替え処理を説明する。但し、以下では映像配信装置600を用いた映像配信システムを例に挙げて説明する。
【0033】
第4実施形態の配信木組み替え部による組み替え処理では、制御ノードがルートノードの子ノードとなるように映像配信装置600はALM配信木を組み替える。図8を用いて、第4実施形態による、制御権の移動に伴って行われる配信木の組み替え方法を説明する。図8の(a)は、制御権の移動前のALM配信木の状態を示しており、表示装置200(2)に制御権がある。図8の(b)は、制御権の移動後のALM配信木の状態であり、表示装置200(4)に制御権が移動している。第4実施形態では、映像配信装置600は制御権の移動に伴いALM配信木を組み替える。そして、映像配信装置600は制御ノードの移動先である表示装置200(4)をルートノードである映像配信装置600の直下の子ノードにする。ALM配信木の組み替えは、配信木組み替え部が配信木データ409を更新し、これを各表示装置へ通知することで実現される。
【0034】
以上のように配信木組み替え処理を実行することで、制御ノードである表示装置200(4)までの中継ノード数を0にしている。これによって制御ノードにおける映像配信遅延を減少させることができる。
【0035】
[第5実施形態]
第5実施形態では、第1乃至第3実施形態において示した映像配信システムにおける、第4実施形態とは別のALM配信木の組み替え処理を説明する。但し、以下では映像配信装置600を用いた映像配信システムを例に挙げて説明する。
【0036】
第4実施形態で示したALM配信木の組み替えでは、制御ノードがルートノードの子ノードとなるように組み替えを行った。しかしながら、この方式では、ルートノードに対する子ノードが増加するため、ルートノードの同時送信セッション数が足りなくなる場合には採用できない。第5実施形態による配信木組み替え部は、ルートノードの同時送信セッション数が足りない場合には、制御ノードがルートノードの直下の子ノードの更に直下の階層の孫ノードとなるようにALM配信木を組み替える。
【0037】
図9を用いて、第5実施形態による、制御権の移動に伴って行われる配信木の組み替え方法を説明する。図9において映像配信装置600の同時送信セッション数は2であり、これ以上子ノードを増やせない状態であるとする。図9の(a)は、制御権の移動前のALM配信木の状態を示しており、表示装置200(2)に制御権がある。図9の(b)は、制御権の移動後のALM配信木の状態を示しており、表示装置200(7)に制御権が移動している。上述のように、映像配信装置600の同時送信セッション数が2であるため、制御権の移動先である表示装置200(7)を子ノードとすることができない。そこで、映像配信装置600は、制御ノードとなった表示装置200(7)がルートノードである映像配信装置600の孫ノードとなるようにALM配信木を組み替える。この組み替えにより、表示装置200(7)までの中継ノード数は2から1に減り、制御ノードにおける映像配信遅延を減少させている。
なお、現在の子ノードを新たな制御ノードと交換することでも本実施形態の目的を達成することが可能である。
【0038】
[第6実施形態]
次に、第6実施形態による配信木組み替え処理を説明する。第6実施形態による配信木組み替え処理も、上記実施形態と同様に、第1乃至第3実施形態で示した映像配信システムに適用可能である。
【0039】
第6実施形態の配信木組み替え部は、制御ノードとルートノードとの間の経路に低遅延回線が使われるようにALM配信木を組み替える。図10を用いて、制御権の移動に伴って行われる、第6実施形態による配信木の組み替え方法を説明する。
【0040】
図10において映像配信装置600と表示装置200(2)との間は低遅延回線で接続されている。図10の(a)は、制御権の移動前のALM配信木を示しており、表示装置200(1)に制御権がある。図10の(b)は、制御権の移動後のALM配信木を示しており、表示装置200(7)に制御権が移動している。第6実施形態では制御権の移動に伴い、制御ノードの移動先である表示装置200(7)とルートノードである映像配信装置600との間に低遅延回線が使用されるようにALM配信木を組み替える。これにより、表示装置200(7)における映像配信遅延が減少するように各表示装置が再接続されることになる。
【0041】
[第7実施形態]
次に、第7実施形態による配信木組み替え処理を説明する。第7実施形態による配信木組み替え処理も、上記実施形態と同様に、第1乃至第3実施形態で示した映像配信システムに適用可能である。
【0042】
第7実施形態の配信木組み替え部は、制御ノードのデータ送受信能力が予め定められた基準よりも低い場合には、制御ノードとルートノードの間の映像配信遅延が減少する範囲内で制御ノードが末端ノードとなるようにALM配信木を組み替える。第7実施形態において、映像配信装置600は、各ノードである表示装置200の能力情報を予め取得するものとする。
【0043】
図11を用いて、制御権の移動に伴い第7実施形態のシステムで行われる配信木の組み替え処理を説明する。図11において、制御権の移動先となる表示装置200(7)は送受信能力が予め定められた基準よりも低い携帯端末等であり、子ノードを接続するには適さないノードであるとする。図11の(a)は制御権の移動前の配信木を示し、表示装置200(2)に制御権がある。図11の(b)は制御権の移動後の配信木を示し、表示装置200(7)に制御権が移動している。第7実施形態では制御権の移動に伴いALM配信木を組み替え、制御ノードとなった表示装置200(7)をルートノードである映像配信装置600の子ノードにする。このような組み替えにより、表示装置200(7)(制御ノード)と映像配信装置との間の中継ノード数を0にすると共に、表示装置200(7)を末端ノードとすることで他の表示装置への影響を少なくしている。
【0044】
[第8実施形態]
次に、第8実施形態による配信木組み替え処理を説明する。第8実施形態による配信木組み替え処理も、上記実施形態と同様に、第1乃至第3実施形態で示した映像配信システムに適用可能である。
【0045】
第8実施形態で用いる配信木組み替え処理では、各ノードにおける同時送信セッション数ならびに最大遅延許容値を制約条件として、制御ノードとルートノードとの間の映像配信遅延を最小化するようにALM配信木を組み替える。ここで、映像配信遅延を最小化するALM配信木が複数存在する場合には、映像配信装置の配信木組み替え部は、各ノードにおける映像配信遅延ならびに映像不安定度をパラメータとする評価関数を用いて、組み替えパターンを決定する。即ち、配信木組み替えパターンの候補が複数個あるときには、配信木組み替え部は配信木組み替え後の評価関数出力値(評価値)が最小となる組み替えパターンを選択する。
【0046】
図12を用いて、制御権の移動に伴って第8実施形態のシステムで行われる配信木の組み替え処理を説明する。図12の(a)は制御権の移動前の配信木を示し、表示装置200(1)に制御権がある。ここで、表示装置200(3)が制御権を取得した場合に、第8実施形態の配信木組み替え部が配信木組み替えパターンをどのように選び出すかを説明する。
【0047】
第8実施形態における配信木の組み合わせ全パターンは図13に示すように(a)から(p)までの16通り存在する。また、各ノードにおける同時送信可能セッション数、最大遅延許容値は図14の(a)に示す通りであり、各ノード間の伝送遅延は図14の(b)に示す通りであるとする。図15の「映像配信遅延」は、ルートノードである映像配信装置600から各表示装置までの伝送遅延を合計した値であり、第8実施形態の配信木組み替え部が、図14の(b)に示される伝送遅延を参照して算出したものである。ここでパターン(i)は表示装置200(3)の同時送信可能セッション数を超えており、パターン(p)は映像配信装置600の同時送信可能セッション数を超えているため探索パターンから外される。次にパターン(e)と(h)は表示装置200(1)の最大遅延許容値を超えているため探索パターンから外される。残ったパターンのうち、制御ノードである表示装置200(3)の映像配信遅延が最小となるパターンは(g)、(k)、(m)、(n)、(o)である。ここで、仮に1つの配信木が特定できた場合には、その特定された配信木を採用する。本例では、5つのパターンが検出されたため、評価関数による選択が実行される。
【0048】
図14の(a)に故障や配信グループからの離脱の頻度(離脱・故障頻度)を示す。また、図14の(b)に各ノード間のフレーム欠落頻度を示す。第8実施形態で用いる評価関数を以下に示す。なお、式中の各装置の各パラメータに対する重み付けの値は、例えば、システムの設計者が試行錯誤で決定することができる。
E=(d1+10f1+20v1)+(d2+40f2+8v2)+(d3+2f3+7v3)
dn:表示装置200(n)の映像配信遅延(n=1, 2, 3)
fn:表示装置200(n)のフレーム欠落頻度(n=1, 2,3)
vn:表示装置200(n)の映像断絶頻度(n=1, 2, 3)
なお、係数は設計者が任意に決定するものとする。
【0049】
図15中の、各表示装置における「フレーム欠落頻度」は、映像配信装置600から各表示装置までのフレーム欠落頻度(図14のフレーム欠落頻度)を合計した値であり、本実施形態の配信木組み替え部によって図14に示す値が算出される。また、図15中の各表示装置における「映像断絶頻度」は、映像配信装置600から各表示装置までの「故障・離脱頻度」を合計した値であり、本実施形態の配信木組み替え部によって図14に示す値が算出される。これらの値を用いて評価関数を計算した結果が図14の「評価関数出力値」に示す値である。先ほどの映像配信遅延が最小となるパターン(g)、(k)、(m)、(n)、(o)のうち、評価関数出力値が最小となるパターンは(o)である。このため、第8実施形態の配信木組み替え部が選び出す制御権移動後の配信木は図12の(b)となる。このように、第8実施形態では、各配信木について、ノード間に生じる伝送遅延及び各ノードにおける映像配信に関する不安定度をパラメータとして各配信木の評価値を算出し、映像配信遅延と評価値とに基づいて変更後の配信木が決定される。ここで、不安定度とは、例えば、親子ノードとして接続される2ノードの組み合わせに応じたフレーム欠落の頻度、及び、各ノードの中継ノードの離脱・故障頻度、の少なくともいずれかを含むものである。
【0050】
なお、第8実施形態において、評価関数出力値の最大許容値を設定し、当該最大許容値以下となる評価関数出力値を有する組み替えパターンが存在しない場合は、ALM配信木の組み替えを行わないようにしてもよい。例えば、評価関数出力値の最大許容値が2000と定められているとする。この場合、上記のような制御権の移動が起きた場合には、最小の評価関数値を有する組み替えパターン(o)の評価関数値が2157であるため、配信木の組み替え自体が行われないことになる。このように、評価値が予め定められた許容範囲となる配信木のパターンが存在しない場合には、配信木の変更を禁止することで、不適切な配信木へ更新されることが防止される。
【0051】
[第9実施形態]
第1〜第8実施形態では、制御権の移動に伴って、ALM配信木の組み替えを行うことを説明した。映像配信システムにおいてこのようなALM配信木の組み替えが行なわれる場合、組み替えを行うタイミングの通知や組み替え時の排他制御、組み替え後の木構造データを各ノードへ通知する技術などが必要である。また、組み替え時に映像断絶が発生するため、これを視聴ユーザへ明示的に知らせて注意を促す技術、もしくは、映像断絶を意識させないように再生する技術が必要である。以下の第9〜第14実施形態では、これらの構成について説明する。
【0052】
第9実施形態では、ALM配信木の組み替え時における排他制御について、図16を用いて説明する。図16は、第1実施形態(図6)の例で用いられた配信木の組み替えシーケンスを示す。ユーザが表示装置200(7)において撮影装置に対する制御を開始すると、表示装置200(7)は映像配信装置600に制御権の取得を要求する。要求を受け取った映像配信装置600は配信木の算出と木構造データの生成処理(S101)を実行し、ALM配信木の組み替え結果を図17に示すような配信木データとして各表示装置200に配信する。配信木データを受け取った表示装置200は、映像データ送受信先の変更処理(S102)を実行し、変更終了を映像配信装置600に、例えばユニキャストを用いて通知する。全ての表示装置から変更完了の通知を受け取った映像配信装置600は制御権の取得許可を表示装置200(7)に通知する。こうして、表示装置200(7)は制御権を獲得し、映像パラメータ調整命令を送信することが可能となる。以上のように、第9実施形態によれば、全ノードの映像データ送受信先変更が終了するまで新たな配信木組み替えが発生しないように排他処理が可能となる。
【0053】
このとき、映像配信装置600が制御権取得要求を受け付けてから、全ての表示装置からの変更終了通知を受領するまでの間、映像配信装置600新たな制御権取得要求の受け付けを禁止する。このような制御により、配信木組み替えの途中で更に新たな配信木組み替えが発生することを抑止している。また、映像配信装置600は、ある一定時間が経過しても全ての変更終了通知を確認できなかった場合には、制御権の取得許可を表示装置200(7)に通知する、タイムアウト処理を行う。即ち、表示装置200(7)によるパラメータ調整等の制御権を与える。このとき、他の表示装置からの制御権取得要求の受付も再開されることになる。
【0054】
[第10実施形態]
第10実施形態では、組み替え後の木構造データを各ノードへ通知する技術を説明する。即ち、第10実施形態では、第1乃至第3実施形態で示した映像配信装置のいずれかを用いた映像配信システムにおいて、ALM配信木を組み替えた際の配信木データの送信、変更終了通知に関する処理を説明する。ALM配信木の組み替え処理は、第4〜第8実施形態で説明したいずれの処理を用いてもよい。第10実施形態では新たに算出された配信木データ409を組み替え前の配信木に従って配信する。また、映像データ送受信先の変更処理に対する終了の通知(変更終了通知)を組み替え後のALM配信木に従って集約する。図18と図19に、第10実施形態による配信木組み替え時のコラボレーション図を示す。
【0055】
図18に示すように、映像配信装置600は制御権取得要求を受領すると新たなALM配信木の算出と配信木データ409の生成を行う。映像配信装置600は、この配信木データ409を組み替え前の配信木(変更前の配信木)に従って表示装置200(1)と200(2)に配信する。さらに表示装置200(1)は組み替え前の配信木に従って表示装置200(3)と200(4)に配信する。以下同様に組み替え前のALM配信木に従った配信により全ての表示装置に新たな配信木データ(木構造データ)が配信される。
【0056】
次に、図19に示すように、新たな配信木データを受信した表示装置200(4)は、当該新たな配信木データに従って映像データ送受信先を変更する。そして、この変更が終了すると、表示装置200(4)は、変更終了通知を組み替え後のALM配信木に従って表示装置200(7)に送信する。また、表示装置200(6)も、新たなALM配信木に従った映像データ送受信先の変更が終了すると、その変更終了通知を組み替え後の配信木(変更後の配信木)に従って表示装置200(7)に送信する。さらに表示装置200(7)は、自身の映像データ送受信先変更が終了しているならば、表示装置200(4)と200(6)の変更終了通知と自身の変更終了通知とを集約して親ノードである表示装置200(1)に送信する。
【0057】
なお、表示装置200(7)は、上記変更通知の受信に関してタイムアウト処理を行うようにしてもよい。即ち、表示装置200(7)は、ある一定時間待っても表示装置200(4)もしくは200(6)からの変更終了通知が来ない場合には、来た方の変更終了通知と自身の変更終了通知とを集約して親ノードである表示装置200(1)に送信する。以下同様に組み替え後の配信木に従った集約と送信を繰り返すことで映像配信装置600に全ての表示装置からの変更終了通知が集約される。
【0058】
[第11実施形態]
第11実施形態では、ALM配信木の組み替え時に発生する映像断絶(映像が不連続となること)を視聴ユーザへ明示的に知らせて注意を促す構成を説明する。第11実施形態においても、第1乃至第3実施形態において示した映像配信システムを用いて説明を行う。ALM配信木の組み替えが行われると、組み替え後の配信タイミングが組み替え前より遅れるノードと早まるノードが発生する。各ノード間の通信速度が一定と仮定すると、ALM配信木の下流へ移動するノードには遅れが発生し、ALM配信木の上流へ移動するノードには進みが発生する。
【0059】
このような配信タイミングのずれを解消するために第11実施形態では、上流へ移動する表示装置では映像フレームをスキップし、下流へ移動する表示装置では映像を一時停止する。そして、このとき、視聴ユーザに図20に示すようなメッセージ表示を行うことで配信タイミングのずれに伴う映像断絶(映像の不連続個所)の発生を明示的に知らせる。なお、映像断絶の通知は、上記のようなメッセージ表示に限られるものではなく、音声を発生させることで通知するようにしてもよい。
【0060】
以上のように、第11実施形態では、更新後の配信木データを受信した場合に、更新前の配信木に従って受信される映像データの遅延と更新後の配信木に従って受信される映像データの遅延との変化が判断される。そして、判断された遅延の変化により発生する映像フレームのスキップまたは遅延に基づく表示を、映像データを表示する表示器に表示するよう表示制御を行う。このような第11実施形態によれば、配信木の組み替え時の映像断絶等を視聴ユーザへ明示的に知らせて注意を促すことができる。
【0061】
[第12実施形態]
第12実施形態では、下流へ移動した表示装置において、映像断絶を視聴ユーザに意識させないように再生する構成を説明する。第12実施形態では、第1乃至第3実施形態で示した映像配信システムにおいて、表示装置がALM配信木の下流へ移動する場合に、当該移動に先立って映像のスロー再生を行うことで配信タイミングのずれに伴う映像断絶を視聴ユーザに意識させないようにする。
【0062】
以下、図21から図24を用いて第12実施形態の動作例を説明する。図21はALM配信木の組み替え前の定常状態を表しており、親ノードとしてのノードUは、子ノードとしてのノードAとノードBに映像データを配信している。なお、ノードUは映像配信装置であってもよいし、配信中継装置としての表示装置であってもよい。図21の(a)において時間軸の上の白ブロックは映像データ送受信バッファ内のフレームデータを表しており、灰色部分が現時点で保持しているフレームデータである。また、時間軸の下の黒ブロックは表示フレームを表しており、灰色部分が現時点で表示中のフレームを表している。
【0063】
ノードBが下流へ移動する場合、図22に示すようにスロー再生を行うことで表示タイミングを少しずつ遅らせ、図23に示すように組み替え直前には組み替え後の配信タイミングでも再生が可能な状態にする。その後、図24に示すように組み替えが発生するとノードBはノードAから映像データの配信を受けるようになり配信タイミングは遅れるが、事前に十分表示タイミングを遅らせてあるためノードBにおいて映像断絶は発生しない。
【0064】
以上のように、第12実施形態では、親ノードとして機能する表示装置が、更新後の配信木データを受信した場合に、下流に接続された表示装置における映像データの遅延時間の変化を判断する。そして、当該表示装置は、この変化に基づいて、配信木の更新において映像フレームの欠落及び/または停滞が生じないように、子ノードに対して映像データを配信制御する。特に、第12実施形態では、配信木の更新によって子ノードが孫ノードへ移動する場合に、孫ノードへ移動した際に配信遅延が一致させるように、当該移動する子ノードにスロー再生を実行させるべく映像データを配信する。これにより、第12実施形態によれば、映像断絶をユーザに意識させないように再生することが可能となる。
【0065】
[第13実施形態]
第13実施形態では、上流へ移動した表示装置において、映像断絶を視聴ユーザに意識させないように再生する構成を説明する。第13実施形態では、第1乃至第3実施形態で示した映像配信システムにおいて、表示装置が配信木の上流へ移動する場合に映像の早送り再生を行うことで、配信タイミングのずれに伴う映像断絶を視聴ユーザに意識させないようにする。
【0066】
図25乃至図28を用いて第13実施形態の動作例を説明する。図25は、ALM配信木の組み替え直前の状態を表しており、ノードUはノードAに、ノードAはノードCに映像データを配信している。なお、ノードUは映像配信装置であってもよいし、配信中継装置としての表示装置であってもよい。
【0067】
ノードCが上流へ移動する場合、まず図26のように組み替えが行われる。するとノードCはノードUから映像データの配信を受けるようになる。このときノードUの映像データ送受信バッファにはノードCが次に再生するフレームの映像データが用意されている必要がある。ここで、各ノードの送受信バッファには各表示装置が再生済の映像データを所定時間保持しておき、組み替えの際にこの映像データを用いるものとする。
【0068】
図27に示すようにノードCは早送り再生を行うことで表示タイミングを少しずつ早める。そして、図28に示すように、ノードCへの配信タイミングが子ノードとしてのタイミング(ノードAと同じタイミング)においつくと、ノードCにおける早送り再生は解除され、再生は定常状態となる。このように早送り再生を行うことでノードCにおける映像断絶を視聴ユーザは意識しなくて済むようになる。
【0069】
以上のように、第13実施形態によれば、配信木の更新によって孫ノードが子ノードへ移動した場合に、表示装置は、まず、当該移動後の子ノードに映像フレームが連続するように遅延した映像フレームから配信を開始する。そして、子ノードとしての配信遅延となるように、当該移動後の子ノードに早送り再生を実行させるように映像データを配信する。このため、第13実施形態によれば、映像断絶をユーザに意識させないように再生することが可能である。
【0070】
[第14実施形態]
第13実施形態では、図27の(b)に示すようにノードCが早送り再生を行っているときには、親ノードUからノードCへの送信速度が増加する。このため、上流へ移動するノードに対する親ノードの送信負荷を軽減する方法が要求される。
【0071】
第14実施形態では、第1乃至第3実施形態で示した映像配信システムが用いられる。第12、第13実施形態で説明したように、階層の異なるノードの入れ替えが行なわれた場合、ALM配信木の上流へ移動するノードで早送り再生が、下流へ移動するノードではスロー再生が行われる。第14実施形態では、上流へ移動するノードが下流へ移動するノードの親ノードから早送り再生に必要な映像データを受け取ることで上流へ移動するノードの親ノードの送信負荷を軽減する。
【0072】
図29から図33を用いて第14実施形態の動作を説明する。図29は組み替え前の定常状態を表しており、ノードUはノードAとノードBに、ノードAはノードCに映像データを配信している。
【0073】
この状態から、ノードBが下流へ移動し、同時にノードCが上流へ移動する場合、図30に示すようにノードBはスロー再生を行うことで表示タイミングを少しずつ遅らせ、同時にノードCは早送り再生を行うことで表示タイミングを少しずつ早める。このとき、ノードCが早送り再生を行うために必要な追加分の映像データはノードBの親ノードUから受け取る。なお、ノードUとノードCとの間の映像データの通信には、例えばユニキャストが用いられる。
【0074】
図29の(b)に示すように定常状態でのノードUからノードBへの送信速度をs[bps]とする。図30の(b)ではノードBはスロー再生しているために送信速度をd[bps]だけ低くしてs−d[bps]とし、d[bps]の分をノードCへの映像データ送信にまわす。このように制御することでノードUのトータル送信速度を定常状態のときと同じs[bps]に抑えることが可能である。
【0075】
こうして、図31に示されるように、ALM配信木の組み替えの実行直前には、子ノードから孫ノードへ移行するノードBの配信タイミングが孫ノードでの配信タイミングと一致する。同様に、孫ノードから子ノードへ移行するノードCの配信タイミングが子ノードでの配信タイミングと一致するようになる。そして、このタイミングで、ALM配信木の組み替えを実行すると、図32のようなタイミングで各ノードが映像の受信/配信を行うことになる。本例では、それぞれの移動後のノードの配信タイミングが、移動先の出の配信遅延と一致しており、そのまま、図33に示すような定常状態へと移行する。但し、例えば、ノードCにおいて更に早送りが必要な状態でALM配信木の組み替えが実行された場合は、図27で説明したような早送り再生が実施されることになる。
【0076】
以上のように、第14実施形態によれば、配信木の更新によって子ノードと孫ノードが入れ替わる場合において、表示装置は、移動前の子ノードに、孫ノードへ移動した際の配信遅延と一致させるようにスロー再生を実行させる。また、移動前の孫ノードには、子ノードへ移動した際の配信遅延と一致するように早送り再生を実行させるべく、例えばユニキャストを用いて映像データを配信する。このため、子ノードと孫ノードが入れ替わる場合において、両ノードにおいて映像断絶をユーザに意識させないように再生することが可能である。
【0077】
更に、第14実施形態によれば、スロー再生のために子ノードへの映像データの配信量を低減させたことによって生じる余剰の帯域を用いて、例えばユニキャストによる孫ノードへの映像のデータの配信が行われる。このため、映像断絶を意識させないように再生する場合に、親ノードに掛かる送信負荷を軽減することが可能である。
【0078】
本発明は蓄積された映像の配信等にも適用可能であり、撮影された映像の配信に限定されるものではない。また、本発明は配信木等の配信順序を規定した配信構造を用いる配信手段であれば一般に適用可能であり、アプリケーション層マルチキャストに限定されるものではない。
【0079】
以上説明したように、上記各実施形態によれば、制御権を持つ表示装置において映像配信装置の操作に対する映像応答が速くなるように配信木が自動的に変更されるため、制御権を持つ表示装置における操作性が向上する。
また、映像配信装置から制御権を持つ表示装置まで映像データを中継する表示装置の段数が減るため、これら中継表示装置の故障や配信グループからの離脱の影響を受けづらくなり、制御権を持つ表示装置における映像が安定する。
また、配信木の木構造データを各表示装置(配信中継装置)に配信する場合や、映像データ送受信先変更終了を映像配信装置に通知する場合には、データは配信木に沿って送受信されるので、映像配信装置の通信負荷を軽減できる。
【0080】
尚、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したコンピュータプログラムである。
【0081】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【0082】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。
【0083】
コンピュータプログラムを供給するためのコンピュータ読み取り可能な記憶媒体としては以下が挙げられる。例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などである。
【0084】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記録媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
【0085】
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布するという形態をとることもできる。この場合、所定の条件をクリアしたユーザに、インターネットを介してホームページから暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたプログラムを実行し、プログラムをコンピュータにインストールさせるようにもできる。
【0086】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどとの協働で実施形態の機能が実現されてもよい。この場合、OSなどが、実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。
【0087】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。この場合、機能拡張ボードや機能拡張ユニットにプログラムが書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行なう。
【図面の簡単な説明】
【0088】
【図1】アプリケーション層マルチキャスト(ALM)によるデータの流れを説明する図である。
【図2】第1実施形態による映像配信システムのシステム構成例を示すブロック図である。
【図3】第2実施形態による映像配信システムのシステム構成例を示すブロック図である。
【図4】第3実施形態による映像配信システムのシステム構成例を示すブロック図である。
【図5】(a)は第1実施形態の、(b)は第2実施形態の、(c)は第3実施形態のALM配信木の例を示す図である。
【図6】第1実施形態の映像配信システムにおける、制御権の移動に伴うALM配信木の組み替え例を示す図である。
【図7】第1実施形態における、制御権の移動に伴う配信木の組み替えシーケンスの例を示す図である。
【図8】第4実施形態の映像配信システムにおける、制御権の移動に伴うALM配信木の組み替え例を示す図であって、制御ノードがルートノードの子ノードとなるように組み替える例を示す図である。
【図9】第5実施形態の映像配信システムにおける、制御権の移動に伴うALM配信木の組み替え例を示す図であって、制御ノードがルートノードの孫ノードとして繋がるように組み替える例を示す図である。
【図10】第6実施形態の映像配信システムにおける、制御権の移動に伴うALM配信木の組み替え例を示す図であって、制御ノードとルートノードの間に低遅延回線が使われるように組み替える例を示す図である。
【図11】第7実施形態の映像配信システムにおける、制御権の移動に伴うALM配信木の組み替え例を示す図であって、制御ノードが末端ノードとして繋がるように組み替える例を示す図である。
【図12】第8実施形態の映像配信システムにおける、制御権の移動に伴うALM配信木の組み替え例を示す図であって、映像配信遅延を最小化するように組み替える例を示す図である。
【図13】配信木の組み替えパターンの候補を示す図である。
【図14】各ノード、ノード間の各種パラメータを示す図である。
【図15】配信木パターンごとの映像配信遅延と映像不安定度ならびに評価関数出力値の算出結果を示す図である。
【図16】第9実施形態における、制御権の移動に伴う配信木の組み替えシーケンスの例を示す図である。
【図17】配信木データの例を示す図である。
【図18】第10実施形態による、配信木組み替え時のコラボレーションの例(木構造データの配信時)を示す図である。
【図19】第10実施形態による、配信木組み替え時のコラボレーションの例(変更終了の通知時)を示す図である。
【図20】第11実施形態における、映像断絶を知らせるメッセージの表示例を示す図である。
【図21】第12実施形態における、組み替えによってノードが下流へ移動する場合のデータの配信状態の例(定常状態)を示す図である。
【図22】第12実施形態における、組み替えによってノードが下流へ移動する場合のデータの配信状態の例(スロー再生)を示す図である。
【図23】第12実施形態における、組み替えによってノードが下流へ移動する場合のデータの配信状態の例(組み替え直前)を示す図である。
【図24】第12実施形態における、組み替えによってノードが下流へ移動する場合のデータの配信状態の例(組み替え直後)を示す図である。
【図25】第13実施形態における、組み替えによってノードが上流へ移動する場合のデータの配信状態の例(組み替え直前)を示す図である。
【図26】第13実施形態における、組み替えによってノードが上流へ移動する場合のデータの配信状態の例(組み替え直後)を示す図である。
【図27】第13実施形態における、組み替えによってノードが上流へ移動する場合のデータの配信状態の例(早送り再生)を示す図である。
【図28】第13実施形態における、組み替えによってノードが上流へ移動する場合のデータの配信状態の例(定常状態)を示す図である。
【図29】第14実施形態における、組み替えによって2つのノードが入れ替わる場合のデータの配信状態の例(定常状態)を示す図である。
【図30】第14実施形態における、組み替えによって2つのノードが入れ替わる場合のデータの配信状態の例(スロー再生と早送り再生)を示す図である。
【図31】第14実施形態における、組み替えによって2つのノードが入れ替わる場合のデータの配信状態の例(組み替え直前)を示す図である。
【図32】第14実施形態における、組み替えによって2つのノードが入れ替わる場合のデータの配信状態の例(組み替え直後)を示す図である。
【図33】第14実施形態における、組み替えによって2つのノードが入れ替わる場合のデータの配信状態の例(定常状態)を示す図である。
【特許請求の範囲】
【請求項1】
配信木データによって示される配信木に従って映像データを複数の表示装置に配信するための映像配信装置であって、
制御権を有する表示装置からネットワークを介して受信した命令に従って映像パラメータを調整する調整手段と、
当該映像配信装置をルートノード、前記複数の表示装置をその子孫ノードとする配信木を示す配信木データを保持する保持手段と、
前記制御権を別の表示装置へ移動する場合に、前記制御権の移動先の表示装置を制御ノードとして、前記ルートノードと前記制御ノードとの間の映像配信遅延が減少するように配信木データを更新することにより、映像データの配信のための配信木を変更する変更手段とを備えることを特徴とする映像配信装置。
【請求項2】
前記変更手段は、前記制御ノードと前記ルートノードとの間に存在する中継ノードの数を減らすように前記配信木を変更することを特徴とする請求項1に記載の映像配信装置。
【請求項3】
前記変更手段は、前記制御ノードが前記ルートノードの直下の子ノードの階層のノードとなるように配信木を変更することを特徴とする請求項2に記載の映像配信装置。
【請求項4】
前記変更手段は、前記ルートノードの同時送信セッション数が足りない場合は、前記制御ノードが前記子ノードの階層の直下の孫ノードの階層のノードとなるように前記配信木を変更することを特徴とする請求項3に記載の映像配信装置。
【請求項5】
前記変更手段は、前記制御ノードと前記ルートノードとの間の経路に低遅延回線が含まれるように前記配信木を変更することを特徴とする請求項1に記載の映像配信装置。
【請求項6】
前記変更手段は、前記制御ノードのデータ送受信能力が予め定められた基準よりも低い場合には、前記ルートノードと前記制御ノードとの間の映像配信遅延を減少せさせ、且つ、前記制御ノードが末端ノードとなるように前記配信木を変更することを特徴とする請求項1乃至5のいずれか1項に記載の映像配信装置。
【請求項7】
前記変更手段は、各ノードにおける同時送信セッション数と、各ノードと前記ルートノードとの間の最大遅延許容値とを制約条件として、前記制御ノードと前記ルートノードとの間の映像配信遅延を最小化するように配信木を変更することを特徴とする請求項1に記載の映像配信装置。
【請求項8】
前記変更手段は、各配信木について、ノード間に生じる伝送遅延及び各ノードにおける映像配信に関する不安定度をパラメータとして各配信木の評価値を算出し、前記映像配信遅延と前記評価値とに基づいて変更後の配信木を決定することを特徴とする請求項1乃至7のいずれか1項に記載の映像配信装置。
【請求項9】
前記評価値が予め定められた許容範囲となる配信木のパターンが存在しない場合には、前記変更手段による配信木の変更を禁止する禁止手段を更に備えることを特徴とする請求項8に記載の映像配信装置。
【請求項10】
前記映像配信に関する不安定度とは、親子ノードとして接続されるノードの組み合わせに応じたフレーム欠落の頻度、及び、各ノードの中継ノードの離脱・故障頻度、の少なくともいずれかを含むことを特徴とする請求項8または9に記載の映像配信装置。
【請求項11】
前記変更手段で更新された配信木データを前記複数のノードへ配信するべく出力する出力手段を更に備えることを特徴とする請求項1乃至10のいずれか1項に記載の映像配信装置。
【請求項12】
前記出力手段により出力された前記更新された配信木データに応じて、前記複数の表示装置のそれぞれが変更後の配信木に対応した接続の変更を完了したことを確認する確認手段を更に備え、
前記確認手段によって前記複数の表示装置が接続の変更を完了したことが確認されるまでは、更なる制御権の取得要求の受け付けを禁止することを特徴とする請求項11に記載の映像配信装置。
【請求項13】
前記出力手段は、変更前の配信木に従って前記更新された配信木データを配信するよう出力し、
前記確認手段は、各表示装置からの変更終了の通知を、前記更新された配信木データによる配信木に従って受信することを特徴とする請求項12に記載の映像配信装置。
【請求項14】
外部より配信木を表す配信木データを受信する受信手段と、
前記配信木データに従って映像データを受信し、配信する配信手段と、
前記受信手段により更新された配信木データを受信した場合に、更新前の配信木に従って受信される映像データの遅延と更新後の配信木に従って受信される映像データの遅延との変化を判断する判断手段と、
前記判断手段で判断された遅延の変化により発生する映像フレームのスキップまたは遅延を、前記映像データを表示する表示器に表示する表示制御手段とを備えることを特徴とする配信中継装置。
【請求項15】
配信木データが示す配信木に従って映像データを配信する配信手段と、
前記配信木データが更新された場合に、下流に接続された外部装置における映像データの遅延時間の変化を判断する判断手段と、
前記判断手段で判断された遅延時間の変化に基づいて、配信木の更新によって接続が変更された外部装置に映像フレームの欠落または停滞が生じないように映像データの配信を制御する配信制御手段とを備えることを特徴とする映像配信装置。
【請求項16】
前記配信制御手段は、配信木の更新によって、当該データ配信装置の直下の子ノードの階層にある外部装置が更に下の孫ノードの階層へ移動する場合に、前記孫ノードの階層における配信遅延と一致させるために、当該移動に先立って、前記孫ノードの階層へ移動すべき外部装置にスロー再生を実行させるように映像データを配信することを特徴とする請求項15に記載の映像配信装置。
【請求項17】
前記配信制御手段は、配信木の更新によって、当該データ配信装置の直下の子ノードの階層の更に直下の孫ノードの階層に接続された外部装置が前記子ノードの階層へ移動した場合に、前記子ノードの階層へ移動した外部装置へ、前記孫ノードの階層における配信遅延から前記子ノードの階層における配信遅延となるまで早送り再生を実行させるように映像データを配信することを特徴とする請求項15に記載の映像配信装置。
【請求項18】
前記配信制御手段は、配信木の更新によって、当該データ配信装置の直下の子ノードの階層にある外部装置と、更にその直下の孫ノードの階層にある外部装置とが入れ替わる場合において、
前記子ノードの階層から前記孫ノードの階層へ移動する外部装置へは、前記孫ノードの階層へ移動した際の配信遅延と一致させるために、スロー再生を実行させるべく映像データを配信し、
前記孫ノードの階層から前記子ノードの階層へ移動する外部装置へは、前記子ノードの階層へ移動した際の配信遅延と一致させるために、早送り再生を実行させるべく映像データをユニキャストを用いて配信することを特徴とする請求項15に記載の映像配信装置。
【請求項19】
前記配信制御手段は、スロー再生のために前記子ノードの階層から前記孫ノードの階層へ移動する外部装置への映像データの配信量を低減させたことによって生じる余剰の帯域を用いて、前記ユニキャストによる映像データの配信を行うことを特徴とする請求項18に記載の映像配信装置。
【請求項20】
配信木データによって表された配信木に従って映像データを複数の表示装置に配信するための映像配信装置の制御方法であって、
制御権を有する表示装置からネットワークを介して受信した命令に従って映像パラメータを調整する調整工程と、
当該映像配信装置をルートノード、前記複数の表示装置をその子孫ノードとする配信木を示す配信木データを保持する保持工程と、
前記制御権を別の表示装置へ移動する場合に、前記制御権の移動先の表示装置を制御ノードとして、前記ルートノードと前記制御ノードとの間の映像配信遅延が減少するように配信木データを更新することにより、映像データの配信のための配信木を変更する変更工程とを備えることを特徴とする映像配信装置の制御方法。
【請求項21】
外部より配信木を表す配信木データを受信する受信工程と、
前記配信木データに従って映像データを受信し、配信する配信工程と、
前記受信工程により更新された配信木データを受信した場合に、更新前の配信木に従って受信される映像データの遅延と更新後の配信木に従って受信される映像データの遅延との変化を判断する判断工程と、
前記判断工程で判断された遅延の変化により発生する映像フレームのスキップまたは遅延を、前記映像データを表示する表示器に表示する表示制御工程とを備えることを特徴とする配信中継装置の制御方法。
【請求項22】
配信木データが示す配信木に従って映像データを配信する配信工程と、
前記配信木データが更新された場合に、下流に接続された外部装置における映像データの遅延時間の変化を判断する判断工程と、
前記判断工程で判断された遅延時間の変化に基づいて、配信木の更新によって接続が変更された外部装置に映像フレームの欠落または停滞が生じないように映像データを配信する配信制御工程とを備えることを特徴とする配信中継装置の制御方法。
【請求項23】
データ配信装置と、配信中継装置として機能する複数の再生装置がネットワークを介して接続されたデータ配信システムであって、
前記データ配信装置は、
配信木データによって示される配信木に従ってデータを複数の再生装置に配信する配信手段と、
当該データ配信装置をルートノード、前記複数の再生装置をその子孫ノードとする配信木を示す配信木データを保持する保持手段と、
前記データ配信装置に対する制御権を有する再生装置から前記ネットワークを介して受信する受信手段と、
前記制御権を別の再生装置へ移動する場合に、前記制御権の移動先の再生装置を制御ノードとして、前記ルートノードと前記制御ノードとの間のデータ配信遅延が減少するように配信木データを更新することにより、データの配信のための配信木を変更する変更手段とを備えることを特徴とするデータ配信システム。
【請求項24】
請求項20乃至22のいずれか1項に記載の制御方法をコンピュータに実行させるためのプログラム。
【請求項25】
請求項20乃至22のいずれか1項に記載の制御方法をコンピュータに実行させるためのプログラムを格納したコンピュータ読み取り可能な記憶媒体。
【請求項1】
配信木データによって示される配信木に従って映像データを複数の表示装置に配信するための映像配信装置であって、
制御権を有する表示装置からネットワークを介して受信した命令に従って映像パラメータを調整する調整手段と、
当該映像配信装置をルートノード、前記複数の表示装置をその子孫ノードとする配信木を示す配信木データを保持する保持手段と、
前記制御権を別の表示装置へ移動する場合に、前記制御権の移動先の表示装置を制御ノードとして、前記ルートノードと前記制御ノードとの間の映像配信遅延が減少するように配信木データを更新することにより、映像データの配信のための配信木を変更する変更手段とを備えることを特徴とする映像配信装置。
【請求項2】
前記変更手段は、前記制御ノードと前記ルートノードとの間に存在する中継ノードの数を減らすように前記配信木を変更することを特徴とする請求項1に記載の映像配信装置。
【請求項3】
前記変更手段は、前記制御ノードが前記ルートノードの直下の子ノードの階層のノードとなるように配信木を変更することを特徴とする請求項2に記載の映像配信装置。
【請求項4】
前記変更手段は、前記ルートノードの同時送信セッション数が足りない場合は、前記制御ノードが前記子ノードの階層の直下の孫ノードの階層のノードとなるように前記配信木を変更することを特徴とする請求項3に記載の映像配信装置。
【請求項5】
前記変更手段は、前記制御ノードと前記ルートノードとの間の経路に低遅延回線が含まれるように前記配信木を変更することを特徴とする請求項1に記載の映像配信装置。
【請求項6】
前記変更手段は、前記制御ノードのデータ送受信能力が予め定められた基準よりも低い場合には、前記ルートノードと前記制御ノードとの間の映像配信遅延を減少せさせ、且つ、前記制御ノードが末端ノードとなるように前記配信木を変更することを特徴とする請求項1乃至5のいずれか1項に記載の映像配信装置。
【請求項7】
前記変更手段は、各ノードにおける同時送信セッション数と、各ノードと前記ルートノードとの間の最大遅延許容値とを制約条件として、前記制御ノードと前記ルートノードとの間の映像配信遅延を最小化するように配信木を変更することを特徴とする請求項1に記載の映像配信装置。
【請求項8】
前記変更手段は、各配信木について、ノード間に生じる伝送遅延及び各ノードにおける映像配信に関する不安定度をパラメータとして各配信木の評価値を算出し、前記映像配信遅延と前記評価値とに基づいて変更後の配信木を決定することを特徴とする請求項1乃至7のいずれか1項に記載の映像配信装置。
【請求項9】
前記評価値が予め定められた許容範囲となる配信木のパターンが存在しない場合には、前記変更手段による配信木の変更を禁止する禁止手段を更に備えることを特徴とする請求項8に記載の映像配信装置。
【請求項10】
前記映像配信に関する不安定度とは、親子ノードとして接続されるノードの組み合わせに応じたフレーム欠落の頻度、及び、各ノードの中継ノードの離脱・故障頻度、の少なくともいずれかを含むことを特徴とする請求項8または9に記載の映像配信装置。
【請求項11】
前記変更手段で更新された配信木データを前記複数のノードへ配信するべく出力する出力手段を更に備えることを特徴とする請求項1乃至10のいずれか1項に記載の映像配信装置。
【請求項12】
前記出力手段により出力された前記更新された配信木データに応じて、前記複数の表示装置のそれぞれが変更後の配信木に対応した接続の変更を完了したことを確認する確認手段を更に備え、
前記確認手段によって前記複数の表示装置が接続の変更を完了したことが確認されるまでは、更なる制御権の取得要求の受け付けを禁止することを特徴とする請求項11に記載の映像配信装置。
【請求項13】
前記出力手段は、変更前の配信木に従って前記更新された配信木データを配信するよう出力し、
前記確認手段は、各表示装置からの変更終了の通知を、前記更新された配信木データによる配信木に従って受信することを特徴とする請求項12に記載の映像配信装置。
【請求項14】
外部より配信木を表す配信木データを受信する受信手段と、
前記配信木データに従って映像データを受信し、配信する配信手段と、
前記受信手段により更新された配信木データを受信した場合に、更新前の配信木に従って受信される映像データの遅延と更新後の配信木に従って受信される映像データの遅延との変化を判断する判断手段と、
前記判断手段で判断された遅延の変化により発生する映像フレームのスキップまたは遅延を、前記映像データを表示する表示器に表示する表示制御手段とを備えることを特徴とする配信中継装置。
【請求項15】
配信木データが示す配信木に従って映像データを配信する配信手段と、
前記配信木データが更新された場合に、下流に接続された外部装置における映像データの遅延時間の変化を判断する判断手段と、
前記判断手段で判断された遅延時間の変化に基づいて、配信木の更新によって接続が変更された外部装置に映像フレームの欠落または停滞が生じないように映像データの配信を制御する配信制御手段とを備えることを特徴とする映像配信装置。
【請求項16】
前記配信制御手段は、配信木の更新によって、当該データ配信装置の直下の子ノードの階層にある外部装置が更に下の孫ノードの階層へ移動する場合に、前記孫ノードの階層における配信遅延と一致させるために、当該移動に先立って、前記孫ノードの階層へ移動すべき外部装置にスロー再生を実行させるように映像データを配信することを特徴とする請求項15に記載の映像配信装置。
【請求項17】
前記配信制御手段は、配信木の更新によって、当該データ配信装置の直下の子ノードの階層の更に直下の孫ノードの階層に接続された外部装置が前記子ノードの階層へ移動した場合に、前記子ノードの階層へ移動した外部装置へ、前記孫ノードの階層における配信遅延から前記子ノードの階層における配信遅延となるまで早送り再生を実行させるように映像データを配信することを特徴とする請求項15に記載の映像配信装置。
【請求項18】
前記配信制御手段は、配信木の更新によって、当該データ配信装置の直下の子ノードの階層にある外部装置と、更にその直下の孫ノードの階層にある外部装置とが入れ替わる場合において、
前記子ノードの階層から前記孫ノードの階層へ移動する外部装置へは、前記孫ノードの階層へ移動した際の配信遅延と一致させるために、スロー再生を実行させるべく映像データを配信し、
前記孫ノードの階層から前記子ノードの階層へ移動する外部装置へは、前記子ノードの階層へ移動した際の配信遅延と一致させるために、早送り再生を実行させるべく映像データをユニキャストを用いて配信することを特徴とする請求項15に記載の映像配信装置。
【請求項19】
前記配信制御手段は、スロー再生のために前記子ノードの階層から前記孫ノードの階層へ移動する外部装置への映像データの配信量を低減させたことによって生じる余剰の帯域を用いて、前記ユニキャストによる映像データの配信を行うことを特徴とする請求項18に記載の映像配信装置。
【請求項20】
配信木データによって表された配信木に従って映像データを複数の表示装置に配信するための映像配信装置の制御方法であって、
制御権を有する表示装置からネットワークを介して受信した命令に従って映像パラメータを調整する調整工程と、
当該映像配信装置をルートノード、前記複数の表示装置をその子孫ノードとする配信木を示す配信木データを保持する保持工程と、
前記制御権を別の表示装置へ移動する場合に、前記制御権の移動先の表示装置を制御ノードとして、前記ルートノードと前記制御ノードとの間の映像配信遅延が減少するように配信木データを更新することにより、映像データの配信のための配信木を変更する変更工程とを備えることを特徴とする映像配信装置の制御方法。
【請求項21】
外部より配信木を表す配信木データを受信する受信工程と、
前記配信木データに従って映像データを受信し、配信する配信工程と、
前記受信工程により更新された配信木データを受信した場合に、更新前の配信木に従って受信される映像データの遅延と更新後の配信木に従って受信される映像データの遅延との変化を判断する判断工程と、
前記判断工程で判断された遅延の変化により発生する映像フレームのスキップまたは遅延を、前記映像データを表示する表示器に表示する表示制御工程とを備えることを特徴とする配信中継装置の制御方法。
【請求項22】
配信木データが示す配信木に従って映像データを配信する配信工程と、
前記配信木データが更新された場合に、下流に接続された外部装置における映像データの遅延時間の変化を判断する判断工程と、
前記判断工程で判断された遅延時間の変化に基づいて、配信木の更新によって接続が変更された外部装置に映像フレームの欠落または停滞が生じないように映像データを配信する配信制御工程とを備えることを特徴とする配信中継装置の制御方法。
【請求項23】
データ配信装置と、配信中継装置として機能する複数の再生装置がネットワークを介して接続されたデータ配信システムであって、
前記データ配信装置は、
配信木データによって示される配信木に従ってデータを複数の再生装置に配信する配信手段と、
当該データ配信装置をルートノード、前記複数の再生装置をその子孫ノードとする配信木を示す配信木データを保持する保持手段と、
前記データ配信装置に対する制御権を有する再生装置から前記ネットワークを介して受信する受信手段と、
前記制御権を別の再生装置へ移動する場合に、前記制御権の移動先の再生装置を制御ノードとして、前記ルートノードと前記制御ノードとの間のデータ配信遅延が減少するように配信木データを更新することにより、データの配信のための配信木を変更する変更手段とを備えることを特徴とするデータ配信システム。
【請求項24】
請求項20乃至22のいずれか1項に記載の制御方法をコンピュータに実行させるためのプログラム。
【請求項25】
請求項20乃至22のいずれか1項に記載の制御方法をコンピュータに実行させるためのプログラムを格納したコンピュータ読み取り可能な記憶媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【公開番号】特開2009−272833(P2009−272833A)
【公開日】平成21年11月19日(2009.11.19)
【国際特許分類】
【出願番号】特願2008−120761(P2008−120761)
【出願日】平成20年5月2日(2008.5.2)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成21年11月19日(2009.11.19)
【国際特許分類】
【出願日】平成20年5月2日(2008.5.2)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]