複数のビデオを評価する方法及び評価サーバー
【課題】複数のビデオ制作者によって取り込まれたイベントの最適なライブビデオ配信を達成するように最適化する。
【解決手段】複数のビデオを評価する評価サーバーであって、複数のビデオの中で、同じイベントを取り込んだビデオを、該ビデオが或る地理的エリアに又は或る地理的エリア内にあるロケーションから撮影されたか否かを判断し、かつ該ビデオが或る時刻に又は或る時間内に撮影されたか否かを判断することによって識別するモジュールと、同じイベントから撮影されたものとして識別されたビデオについて、１つ又は複数のシーンに基づく関連度パラメータを自動的に取得するモジュールであって、該評価サーバーは、複数のビデオをリアルタイムで受信するモジュールと、関連度パラメータを取得してビデオの更新された優先度値を取得するモジュールと、優先度値に基づいて処理の優先度を再構成するモジュールとを備える。
【解決手段】複数のビデオを評価する評価サーバーであって、複数のビデオの中で、同じイベントを取り込んだビデオを、該ビデオが或る地理的エリアに又は或る地理的エリア内にあるロケーションから撮影されたか否かを判断し、かつ該ビデオが或る時刻に又は或る時間内に撮影されたか否かを判断することによって識別するモジュールと、同じイベントから撮影されたものとして識別されたビデオについて、１つ又は複数のシーンに基づく関連度パラメータを自動的に取得するモジュールであって、該評価サーバーは、複数のビデオをリアルタイムで受信するモジュールと、関連度パラメータを取得してビデオの更新された優先度値を取得するモジュールと、優先度値に基づいて処理の優先度を再構成するモジュールとを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のビデオを評価する方法及び評価サーバーに関する。
【０００２】
提案される方法は、例えば、いくつかのビデオ制作者によって同時に取り込まれた１つのイベントのリアルタイムビデオ配信に用いることができ、リソースを、ビデオソースからネットワークを通して受信装置（ビデオサーバー、ポータル等）まで最適化するのに用いることができる。
【背景技術】
【０００３】
より高いビデオ品質解像度をサポートし、向上した機能を提供する移動電話の数が劇的に増大している。近年、ユーザーは、自身の移動電話における進化した特徴を利用し、日常生活のビデオをストリーミングし、それらのビデオをビデオポータルを通じてネットワーク内で共有している。サッカーの試合又はライブコンサートにおいて、そのイベントに参加しているユーザーは、イベントのビデオをリアルタイム（アーカイブなし）で取り込むことによって、自身の生の体験を他の人と共有することができる。
【０００４】
本発明の目的は、ユーザーがイベント参加時に撮影している自身のビデオをアップロードし、他のユーザーと共有することができるライブビデオポータルを実現することを可能にする方法及び装置を提供することである。
【０００５】
そのようなポータルを作成する試みは非常に困難である。原理上は、イベントに参加しているユーザーによってビデオをアップロードすることができ、かつそれらのビデオが他のユーザーが閲覧するために提供されるサーバーを提供することは容易である。しかしながら、そのようなシステムを、実際に実現可能であり、かつユーザーに満足のいく形で実現することは容易でない。例えば、コンサートのようなイベントに参加している多数のユーザーが存在する場合があり、結果として非常に多数のビデオストリームが生じる場合がある。帯域幅制約に起因して、それらのビデオストリームをアップロードするのは困難であり、さらに、それらのビデオストリームを、ユーザーが自身の興味のあるものを見つけることができる妥当な形でダウンロード用に提供することは困難である。そのようなイベントに基づくライブビデオポータルを可能にするのは、実際極めて困難である。
【０００６】
この問題は、関連する問題及び疑問、例えば、リソースをポータルのビデオストリームにどのように配分するかの問題につながる。リソース配分を最適化する手法が存在する。これらの手法は通常、ダウンリンクにおけるＱｏＥに基づくクロスレイヤ最適化に関し、該クロスレイヤ最適化では、ネットワークリソース配分が、様々な層から抽出された情報に基づいて最適化される。例えば、非特許文献１において、アプリケーション層、ネットワーク層、ＭＡＣ層、及び物理層からの情報を考慮に入れる方法が提案されている。最適化問題のために設定された目的関数に基づいてネットワークリソースが様々な形で配分される。例えば、ネットワークは全てのユーザーの最大平均ユーザー知覚品質を達成することを望む場合がある。非特許文献２又は特許文献１は、全てのユーザーが同様のサービス品質を知覚するようにネットワークリソースを配分することについて開示している。
【０００７】
アップリンクパケット送信におけるリソース配分は、例えば非特許文献３において論じられており、非特許文献３では、スケジューリングアルゴリズム及びリソース配分アルゴリズムが共同で実行される。
【０００８】
ビデオ用途のための予測ユーザー知覚品質のモデリングが、非特許文献４又は非特許文献５において論じられている。これらの研究は、ＭＯＳを予測ユーザー知覚品質の基準として用いている。
【０００９】
非特許文献６において、Thang他は、視覚的明瞭性及び動きの平滑性のみを基準として用いるのではなく、ビデオ内の意味的エンティティ（semantic entity）を用いてビデオ品質を評価する解析的フレームワークを提案している。アプリケーションモデリングの目的は、ユーザー知覚品質が、ネットワーク／アプリケーション性能メトリック（例えばデータレート、パケット損失、ＰＳＮＲ）に関してどのように変化するかを知ることである。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】米国特許第５６７５５７６号
【非特許文献】
【００１１】
【非特許文献１】S. Khan、S. Duhovnikov、E. Steinbach、及びW. Kellerer、MOS-based multiuser multiapplication cross-layer optimization for mobile multimedia communication」、Advances in Multimedia, 2007, article ID 94918
【非特許文献２】B. Radunovic及びJ. Y. Le Boudec、A unified framework for maxmin and min-max fairness with applications」、IEEE/ACM Trans. on Networking, vol. 15, no. 5, pp. 1073-1083, Oct. 2007
【非特許文献３】J. Huang、V. G. Subramanian、R. Agrawal、及びR. Berry、「Joint scheduling and resource allocation in uplink OFDM systems for broadband wireless access network」、IEEE journal on selected areas in Communications, Vol. 27, Issue 2, Feb. 2009
【非特許文献４】ＩＴＵ−Ｔ勧告Ｊ.１４４、「Objective perceptual video quality measurement techniques for digital cable television in the presence of a full reference」、March 2004
【非特許文献５】Z. Wang、L. Lu、及びA. C. Bovik「Video Quality Assessment Based on Structural Distortion Measurement」、IEEE Signal Processing: Image Communication, vol. 19, no. 1, pp. 121-132, Feb. 2004
【非特許文献６】T. C. Thang、Y. J. Jung、及びM. M. Ro、「Semantic quality for content-aware video adaptation」、Proc. IEEE Workshop on Multimedia Signal Processing (MMSP), pp. 41-44, Oct. 2005
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、従来技術のいずれも、移動ネットワークリソース配分が、複数のビデオ制作者によって取り込まれたイベントの最適なライブビデオ配信を達成するように最適化される問題に対処していない。
【００１３】
例えば「クラス」又は優先度すなわち「ランク」を割り当てることによって配分されたリソースを有する必要がある可能なチャネルの数及び多様性を考えると、これは容易な作業ではない。
【００１４】
極端な場合には、オペレーターは、最も低いユーザークラスに属するユーザーに対するリソースを拒否し（課金政策）、これによって、「プレミアム」加入者にのみビデオ共有を可能にする場合がある。さらに、より一層厳しいリソース制約の場合、ビデオ品質及び与えられる意味的情報の観点で最もメディアに貢献するもののみがビデオサーバーにプッシュされることになる。
【課題を解決するための手段】
【００１５】
１つの実施の形態によれば、複数のビデオを評価する評価サーバーであって、
複数のビデオ間で、同じイベントを取り込んだビデオを、該ビデオが或る地理的エリアに又は或る地理的エリア内にあるロケーションから撮影されたか否かを判断し、かつ該ビデオが或る時刻に又は或る時間内に撮影されたか否かを判断することによって識別するモジュールと、
前記同じイベントから撮影されたものとして識別された前記ビデオについて、１つ又は複数のシーンに基づく関連度パラメータを自動的に取得するモジュールであって、各シーンに基づく関連度パラメータは、ユーザーに対する前記ビデオの前記意味的内容の前記関連度を、最小関連度パラメータ値から最大関連度パラメータ値の範囲をとる段階で数値によって表す、自動的に取得するモジュールと、
前記同じイベントから撮影されたものとして識別された前記ビデオについて、前記１つ又は複数の関連度パラメータ値に基づいて優先度値を取得するモジュールであって、該優先度値は、前記同じイベントから撮影されたものとして識別された前記ビデオについて、該ビデオのそれぞれについて或る処理が実行される優先度を表し、該処理は、
前記ビデオのそれぞれをサーバーにアップロードするために該ビデオのそれぞれにネットワークリソースを割り当てること
を含む、取得するモジュールと、
を備え、該評価サーバーは、
前記複数のビデオをリアルタイムで受信するモジュールと、
前記シーンに基づく関連度パラメータを繰り返し取得して前記ビデオの更新された優先度値を取得するモジュールと、
前記更新された優先度値に基づいて前記処理の前記優先度を再構成するモジュールと、
を更に備える、複数のビデオを評価する評価サーバーが提供される。
【００１６】
これによって、異なるイベントから撮影された場合がある多数のビデオであるが、それらの複数のビデオのうちのいくつかは同じイベントから撮影され、同じイベントに属するものとして扱われる、多数のビデオを処理することができる、リアルタイムイベントに基づくビデオポータルの実現が可能になる。さらに、更新及び再構成によって、変化する環境への適応が可能になる。
【００１７】
１つの実施の形態によれば、前記ビデオは、ビデオポータルにおいて前記優先度値に従って優先度付けされ、該優先度値は、
ビデオごとに前記関連度パラメータの加重和を計算することであって、それによって前記ビデオのそれぞれについて前記優先度値を取得し、前記関連度パラメータは、移動デバイスのセンサーによって感知された、前記イベントからの距離又は視角等の感知情報に基づく１つ又は複数の関連度パラメータを含み、更に、ＰＳＮＲ、解像度、又は明度のような品質指標等のビデオコンテンツ自体に基づく１つ又は複数のシーンに基づく関連度パラメータを含む、計算することと、
前記計算された優先度値に従って前記ビデオポータル内の前記複数のビデオを優先度付けすることであって、より高い優先度値を有するビデオがより低い優先度値を有するビデオよりも高く優先度付けされるようにする、優先度付けすることと、
に基づいて計算される。
【００１８】
センサーによって関連度パラメータを感知し、それに基づいて優先度値を計算することによって、ビデオの優先度に従った自動処理が可能になる。
【００１９】
１つの実施の形態によれば、前記ビデオは、ネットワークリソースを配分するための前記優先度値に従って優先度付けされ、前記計算された優先度値に基づく前記リソース配分は、
ビデオごとに前記関連度パラメータの加重和を計算することであって、それによって前記ビデオのそれぞれについて前記優先度値を取得し、前記関連度パラメータは、移動デバイスのセンサーによって感知された、前記イベントからの距離又は視角等の感知情報に基づく１つ又は複数の関連度パラメータを含み、更に、ＰＳＮＲ、解像度、又は明度のような品質指標等のビデオコンテンツ自体に基づく１つ又は複数のシーンに基づく関連度パラメータを含む、計算することと、
最大優先度値を有し、かつ帯域幅をまだ割り当てられていない前記ビデオに帯域幅を配分することと、
前記配分することを、配分することができる全ての帯域幅が前記複数のビデオに割り当てられるまで繰り返すことと、
を用いて実行される。
【００２０】
これによって、感知された関連度パラメータ値に基づいて自動的に優先度付けされた処理を行うアルゴリズムが可能になる。
【００２１】
１つの実施の形態によれば、前記１つ又は複数のシーンに基づく関連度パラメータは、
ビデオを記録するのに用いるユーザーの移動デバイスの１つ又は複数の適切なセンサーによって感知されるコンテキスト情報であって、該コンテキスト情報は前記ビデオとともに前記評価サーバーに送信され、該コンテキスト情報は、
前記ビデオが記録された時刻と、
前記ビデオが記録されたロケーション情報と、
前記ビデオを記録する前記移動デバイスの２次元又は３次元のロケーション及び／又は傾きと、
のうちの１つ又は複数を含む、コンテキスト情報、
のうちの１つ又は複数に基づいて取得される。
【００２２】
これらの例は関連度パラメータの有利な例である。
【００２３】
１つの実施の形態によれば、前記評価サーバーは、前記複数のビデオのそれぞれについて取得された前記複数のシーンに基づく関連度パラメータに基づいて、結合されたシーンに基づく関連度パラメータを、前記ビデオのそれぞれの優先度値として計算するモジュールと、
前記結合された優先度値に従って前記処理を実行するモジュールと、
を更に備える。
【００２４】
結合されたシーンに基づく関連度パラメータによって、複数の関連度パラメータを考慮に入れることが可能になる。
【００２５】
１つの実施形態によれば、前記１つ又は複数のシーンに基づく関連度パラメータは、前記ビデオの前記地理的コンテキスト又は意味的コンテキストを表すコンテキスト情報に基づいて取得される。
【００２６】
これによって、関連度、すなわちロケーション及び意味的コンテキストを判定するのに特に有用なパラメータに基づいて優先度値を求めることが可能になる。
【００２７】
１つの実施の形態によれば、前記シーンに基づく関連度パラメータは、
前記シーンの視角と、
前記カメラによって記録された前記シーンからの距離と、
前記ビデオに記録された１つ又は複数の顔の大きさと、
前記ビデオの明度と、
解像度と、
ＰＳＮＲと、
前記ビデオの知名度と、
のうちの１つ又は複数を反映する。
【００２８】
これらは関連度パラメータの例である。
【００２９】
１つの実施の形態によれば、前記複数のビデオは、複数のユーザーの前記移動デバイスにより同じイベント又は同じシーンを記録して生成され、該ビデオは、ビデオポータルを通じて他のユーザーに配信されるために前記ユーザーによって前記評価サーバーにアップロードされる。
【００３０】
これによって、ビデオを用いてビデオポータルを実現することが可能になる。
【００３１】
１つの実施の形態によれば、前記評価サーバーは、前記同じイベント又は前記同じシーンを記録しているビデオを自動的に認識する認識モジュールと、
前記複数のビデオを、該ビデオが記録しているそれぞれのシーン又はイベントに従ってグループ化するモジュールと、
ビデオのグループごとに別個に前記優先度付けされた処理を実行するモジュールと、
を備える。
【００３２】
これによって、ユーザーによってアップロードされたビデオの自動的なカテゴライズ及びグルーピングが可能になる。
【００３３】
１つの実施の形態によれば、前記評価は、分類モジュールであって、或る自動的に取得されたコンテキスト情報又は意味的情報が、或る数値的なシーンに基づく関連度パラメータにどのように変換されるかに関する情報を取得し、前記コンテキスト情報を取得し、前記格納された情報を参照して前記シーンに基づく関連度パラメータを取得する、分類モジュール、
を備える。
【００３４】
これによって、コンテキスト情報の関連度パラメータへの変換が可能になり、関連度パラメータは、その後、いくつかのメカニズムに従って、優先度値に変換することができる。
【００３５】
１つの実施の形態によれば、前記分類モジュールは、
或るロケーションを或るシーンに基づく関連度パラメータにどのように変換するかと、
前記記録されたイベントからの或る距離を或るシーンに基づく関連度パラメータにどのように変換するかと、
前記記録されたイベントの或る視角を或るシーンに基づく関連度パラメータにどのように変換するかと、
前記記録されたイベントの或る明度を或るシーンに基づく関連度パラメータにどのように変換するかと、
のうちの１つ又は複数を格納する。
【００３６】
これによって、コンテキスト情報の関連度パラメータへの変換が可能になり、関連度パラメータは、その後、いくつかのメカニズムに従って、優先度値に変換することができる。
【００３７】
１つの実施の形態によれば、複数のビデオを評価する方法であって、
複数のビデオ間で、同じイベントを取り込んだビデオを、該ビデオが或る地理的エリアに又は或る地理的エリア内にあるロケーションから撮影されたか否かを判断し、かつ該ビデオが或る時刻に又は或る時間内に撮影されたか否かを判断することによって識別することと、
ビデオごとに、１つ又は複数のシーンに基づく関連度パラメータを自動的に取得することであって、各シーンに基づく関連度パラメータは、ユーザーに対する前記ビデオの前記意味的内容の前記関連度を、最小関連度パラメータ値から最大関連度パラメータ値の範囲をとる段階で数値によって表す、自動的に取得することと、
前記複数のビデオのそれぞれについて、前記１つ又は複数の関連度パラメータ値に基づいて優先度値を取得することであって、該優先度値は、前記複数のビデオのそれぞれについて、該ビデオのそれぞれについて或る処理が実行される優先度を表し、該処理は、
前記ビデオのそれぞれをサーバーにアップロードするために該ビデオのそれぞれにネットワークリソースを割り当てること
を含む、取得することと、
を含み、該方法は、
前記複数のビデオをリアルタイムで受信することと、
前記シーンに基づく関連度パラメータを繰り返し取得することであって、前記ビデオの更新された優先度値を取得する、繰り返し取得することと、
前記更新された優先度値に基づいて前記処理の前記優先度を再構成することと、
を更に含む、複数のビデオを評価する方法が提供される。
【００３８】
これによって、本発明の一実施の形態による方法を実施することが可能になる。
【００３９】
１つの実施の形態によれば、コンピューターによって実行されると、該コンピューターが本発明の実施の形態のうちの１つによる方法を実行することを可能にするコンピュータープログラムコードを含むコンピュータープログラムが存在する。
【図面の簡単な説明】
【００４０】
【図１】本発明の一実施形態を概略的に示す図である。
【発明を実施するための形態】
【００４１】
以下において、同じイベントに関する複数のビデオソース（例えばコンサート、フットボールの試合等に参加しているモバイルユーザー）によって生成されたライブビデオコンテンツの配信のための実施形態を説明する。ユーザーは、異なる能力（カメラ解像度、ビデオ品質等）を有するカメラを用いて、異なる角度からイベントを取り込み、該イベントをストリーミングすることができる。
【００４２】
まず始めに、１つの基本実施形態を説明する。この実施形態では、アップロードされたビデオを受信している評価サーバーが（例えばモバイルオペレーターのネットワークにおいて）存在する。コンサート、スポーツイベント、又は任意の他の公的イベントのような様々なイベントに対応することができる、異なる時刻に極めて異なるロケーションからアップロードされたビデオが存在することができる。
【００４３】
１つの実施形態によるサーバーは、アップロードされたビデオ間で、同じイベントを取り込んだビデオを識別するモジュールを備える。これは例えば、アップロードされたビデオとともに送信され、ビデオが撮影された移動電話のＧＰＳセンサーから導出することができる地理的情報を評価することによって達成することができる。加えて、ビデオが撮影された時刻を考慮に入れて、該ビデオが同じイベントを取り込んでいるか否かを判定することができる。
【００４４】
例えば、サッカースタジアムのロケーションの地理的境界のような所定の地理的エリアが存在することができる。このとき、地理的情報がサッカースタジアムの地理的エリアに対応し、取込み時刻がサッカーの試合の時刻に対応する全てのアップロードされたビデオを、同じイベント、すなわちサッカーの試合を示すものと判定することができる。
【００４５】
このようにして、モジュールは同じイベントを示すビデオを識別することができる。
【００４６】
そして、サーバーは１つ又は複数のシーンに基づく関連度パラメータを取得するモジュールを更に備えることができる。各シーンに基づく関連度パラメータは、ユーザーに対するビデオの内容（「意味的内容（semantic content）」）の関連度を、最小関連度パラメータ値（ゼロ又は更には負とすることができる）から最大関連度パラメータ値の範囲をとる段階で数値によって表す。
【００４７】
関連度パラメータは、例えば、「シーンからの距離」若しくは「ステージからの距離」、「視角」、又は、ユーザーに対し、特定のパラメータの観点でビデオの内容の関連度を表す形で該内容を反映する任意の他のパラメータのようなパラメータとすることができる。最大関連度パラメータに対応する「最良視角」及び最小関連度パラメータに対応する「最悪視角」が存在することができる。
【００４８】
視角と関連度パラメータとの間の対応は、サッカースタジアム又はコンサートホール等の或るロケーションについて所定とすることができる。
【００４９】
モジュールによって１つ又は複数の関連度パラメータを取得することができる。
【００５０】
そして、同じイベントを示すビデオについて、関連度パラメータ（複数の場合もあり）に基づく優先度値を取得するモジュールを提供することができる。２つ以上の関連度パラメータが存在する場合、それらのパラメータを何らかの数学的計算方法で結合し、結合関連度パラメータを取得することができ、関連度パラメータが１つしか存在しない場合、該関連度パラメータが優先度値に直接対応することができる。
【００５１】
優先度値は、該優先度値の対応するビデオについて、或る処理が該ビデオのために実行されるべき優先度を表し、それによって、処理はビデオをアップロードするために該ビデオにネットワークリソース（帯域幅等）を割り当てることとすることもできるし、ユーザーによるダウンロード用又は閲覧用にビデオを提供することとすることもできる。
【００５２】
アップロードされたビデオが複数の場合、処理（リソース配分、閲覧又はダウンロードの提供）は、ビデオに割り当てられた優先度値に従って実行される。より高い優先度を付けられたビデオには、アップロード用により多くのネットワークリソースを配分しておくことができ、（例えば、ポータルにおいてダウンロードのために、より大きく示すか、より早く示すか、又はより目立つ場所に示すことによって）ユーザーによるダウンロード又は閲覧を提供するために、より高い優先度を付けることができる。
【００５３】
このようにして、イベントに基づくビデオハンドリング（アップロード及びダウンロード）を実施することができる。イベントに基づくビデオハンドリングは、潜在的に多数のビデオ及び関連事項（implication）の課題と、これによって、リソース配分、並びに閲覧用及びダウンロード用のビデオを提供するユーザーインターフェースについて生じる問題とに対処することができる。
【００５４】
１つの実施形態によれば、ビデオを取り込むのに用いられる移動電話又は移動デバイスは、関連度パラメータを感知するのに用いられる１つ又は複数のセンサーを装備している。距離又は視角は、ＧＰＳセンサー又は向き／回転センサーを用いて感知することができる。例えば、サッカースタジアム又はイベントのロケーションは、複数の領域に分割することができ、それらの領域は、ビデオが該領域から取り込まれたときに割り当てられた対応する関連度パラメータを有する。同様に、或る視角又は範囲に、対応する関連度パラメータを割り当てておくことができる。関連度パラメータは、ＰＳＮＲ、解像度、又は明度のような、シーンに基づく関連度パラメータも含むことができる。１つの実施形態によれば、次に、複数の関連度パラメータが、それらのパラメータの加重和を計算することによって結合されて、ビデオの優先度値が得られ、次に該ビデオの優先度値が、リソース配分又は閲覧若しくはダウンロードの提供等の或る処理に関する優先度付けに用いられる。
【００５５】
１つの実施形態によれば、優先度を付けられた処理は、帯域幅の配分であり、これはこの実施形態において以下のように行われる。
【００５６】
ビデオの優先度値を計算した後、まず、最も高い優先度値を有し、かつまだ帯域幅を一切配分されていないビデオに帯域幅が配分される。次に、メカニズムは、次に高い優先度を有するビデオに帯域幅を配分することへと進み、そして再び、その次に高い優先度を有するビデオへと進み、以下同様である。このとき、このプロセスは配分に利用可能な全ての帯域幅が配分されるまで反復される。
【００５７】
１つの実施形態によれば、シーンに基づく関連度パラメータは、ビデオが取り込まれた移動デバイスの１つ又は複数のセンサーによって取得されるコンテキスト情報に基づく。次に、コンテキスト情報はビデオとともに送信され、シーンに基づく関連度パラメータを取得するのに用いられる。これは例えば、ビデオが記録された時刻とすることができる（例えば、中断は、サッカーの試合の一方のチームの得点時と比較して関連度がより低い）。コンテキスト情報の別の例は、移動デバイスのロケーションであり、また別の例では、視角を求めるのに用いられることができる移動デバイスの向きである。
【００５８】
１つの実施形態によれば、次に、個々のシーンに基づく関連度パラメータ値に基づいて、結合されたシーンに基づく関連度パラメータ値を優先度値として計算することによって、優先度値が得られる。次に、この優先度値を、処理を優先度付けするのに用いる。
【００５９】
１つの実施形態によるシーンに基づく関連度パラメータは、ビデオの地理的コンテキスト又は意味的コンテキストを表すか又は反映する。地理的コンテキストはロケーションとすることができ、意味的コンテキストは視角又はストリームのコンテンツとすることができる。コンテンツの例は、認識することができる顔が存在するか、及びスクリーンに対するそのような顔の大きさとすることができる。大きな顔を示すストリームの場合、関連度は、例えば小さな顔を有するか顔を一切有しないビデオストリームの場合よりも高くすることができる。
【００６０】
既に言及したように、複数のシーンに基づく関連度パラメータを考慮に入れることができ、次にそれらの関連度パラメータを結合して結合値を得ることができる。関連度パラメータの例は、視角、距離、ビデオ上の顔の大きさ、解像度、又はＰＳＮＲである。
【００６１】
１つの実施形態によれば、シーンに基づく関連度パラメータを繰り返し送信し、繰り返し評価して、各ビデオの（新たな）優先度を繰り返し得ることができる。このようにして、利用可能なビデオの「サンプル」における変化を考慮に入れることができ、例えば、ユーザーが自身の以前の場所から、よりステージの方へ移動したことに起因して、このときビデオストリームの関連度がより高くなった場合、このビューの優先度を増大させることができる。結果として、ビデオポータルにおいて、このビューは、より高いランクのより目立つ場所で、例えば利用可能なビデオのリストのより上位において、閲覧用に提供することができる。同様に、リソース配分を新たな優先度値に適応させることができる。
【００６２】
評価の繰返しは、例えば或る所定の頻度で実行することができる。
【００６３】
１つの実施形態による評価サーバーはネットワークの一部とすることができ、アップロードされたビデオの優先度を求めるために該ビデオを受信することができる。１つの他の実施形態によれば、ビデオは或るサーバーにアップロードされ、評価サーバーは別個のエンティティであり、対応するコンテキスト情報の必要な関連度パラメータのみを受信し、次に各ビデオの優先度値を求め、該優先度値をサーバーに返送し、サーバーにおいて、アップロードされたビデオが格納され処理される。このサーバーはビデオポータルの一部とすることができ、該ビデオポータルの一部において、ビデオをアップロードすることができ、次に該ビデオがダウンロード用に提供される。この目的のために、ポータルはユーザーインターフェースを提供することができ、該インターフェースにおいて、ビデオは、それらのビデオが示しているイベントに従ってソートされる。次に、同じイベントのビデオはダウンロード用に提供するために（例えば、該ビデオのアイコンを示すことによって）表示され、その表示及び提供が、例えば、より高い優先度を付けられたビデオを、より低い優先度を付けられたビデオよりも大きくかつ／又はより目立つ位置に示すことによってそれらのビデオの優先度を反映するようにする。
【００６４】
ポータルは異なるイベントに対応するビデオグループを提供することができ、各イベントのビデオについて、該イベントが選択されると、それらのビデオの優先度に従って提供が行われる。グループ化は、ビデオが或るイベント（サッカーの試合等）に属することを認識するモジュールに基づいて完全に自動的に行うことができる。グループ（又はイベント）を特定することができないビデオについて、グループカテゴリ「その他」が存在することができ、このとき、ビデオはそのグループカテゴリにカテゴライズされる。
【００６５】
このようにして、完全に自動化されたイベントに基づくビデオポータルを作成することができ、該ビデオポータルはアップロードされたビデオをカテゴライズし、該ビデオをそれらの優先度に従って、例えばダウンロード用又は閲覧用に提供するために処理する。
【００６６】
１つの実施形態によれば、サーバーは、コンテキスト情報を受信することが可能であり、かつ該コンテキスト情報をシーンに基づく関連度パラメータに変換する分類モジュールを備える。このモジュールは、例えば、或るコンテキスト情報値と対応する関連度パラメータとの間の対応に関する情報を格納することができる。コンテキスト情報が地理的ロケーションである場合、このモジュールは、例えば、スタジアム又はコンサートホール内のいずれのロケーションがいずれの関連度パラメータに対応するかに関する情報を格納することができる。ルックアップを実行することによって、次に関連度パラメータを求めることができる。同様にして、「視角」又は「ＰＳＮＲ」等の他のコンテキスト情報も、或るコンテキスト情報値に対応する関連度パラメータを割り当て、その対応を、ルックアップすることができるように分類モジュールに格納することによって分類することができる。
【００６７】
以下において、更なる実施形態を説明する。
【００６８】
１つの実施形態によれば、アップストリームのためのリソース配分を最適化する方法が提供される。すなわち、同じイベントのビデオストリーム制作者によって同時に提供されたビデオ特性（カメラ解像度、シーンの関連度、すなわち意味的内容等の品質メトリック）の最良の結合を有するビデオが選択され優先度付けされ、ネットワークを通じてビデオポータル又はビデオサーバーに送信される。ここから、ビデオはビデオ消費者にリアルタイムで提供される。このため、オペレーターは、望ましくないプッシュ型ネットワークトラフィックの増大を回避することによってネットワークリソースを制御する一方で、依然として、同じイベントの最良のビデオコンテンツをビデオストリーム消費者に提供することができる。
【００６９】
１つの実施形態による配分手順は、ユーザーに対するビデオコンテンツの「関連度」に基づいてビデオコンテンツを考慮に入れる。コンテンツ、又は場合によって称される「意味的内容」（重要なのはコンテンツがユーザーにとって何を「意味する」かであるため）が、ユーザーに対するその関連度に基づいて考慮に入れられる。１つの実施形態によれば、ビデオストリームの、品質、例えば解像度等の追加の他の特性を考慮に入れることができる。考慮に入れることができる別の特性は、取り込まれているイベントの「重要度」（例えば記録の全体イベント又はサブセットの知名度、これはイベント又は或るストリームに対する「クリック数」に基づいて測定することができる）とすることができる。考慮に入れられる特性の他の例は、例えばビデオ効用関数（例えば動的／静的ビデオ）、及び各ビデオ制作者のチャネル状態とすることができる。
【００７０】
１つの実施形態による方法は、考慮に入れられる特性に基づいて、ライブイベントをリアルタイムで見ているユーザー（ビデオ消費者）が知覚する全体品質を最大にする、ストリームの最適ネットワークリソース配分を求める。
【００７１】
１つの実施形態では、最良のビデオ（複数の場合もあり）、すなわちリアルタイムストリーミングによって与えられるビデオ及びコンテンツ関連度（ユーザーに対するビデオの意味的情報の関連度）の最良の組合せが、ビデオ消費者にストリーミングされる。このため、他のビデオは、例えばアップストリームから排除するか、又は選択されたストリームと比較して最小のリソース消費に低減することができ、これは、最適化アルゴリズムを適用することによって、そのようなライブビデオコンテンツをコミュニティ内でリアルタイムに共有するのに必要とされるアップストリームトラアフィックが低減することを意味する。
【００７２】
１つの実施形態によれば、ポータルにおけるビデオ又はビデオストリームプロセスは、優先度値すなわち「ランク」を割り当てられる。
【００７３】
極端な場合には、オペレーターは、最も低いユーザークラスに属するユーザーに対するリソースを拒否し（課金政策）、これによって、「プレミアム」加入者にのみビデオ共有を可能にする場合がある。さらに、より一層厳しいリソース制約の場合、ビデオ品質及び与えられる意味的情報の観点で最もメディアに貢献するもののみがビデオサーバーにプッシュされることになる。
【００７４】
ビデオストリームのユーザー知覚品質は、或る程度、移動端末及びネットワークの能力に依拠するが、１つの実施形態によれば、優先度値を求めるための基準として、ビデオの内容又はユーザーに対する内容の「関連度」が用いられる。これはビデオの「意味的情報」又は「意味的内容」と呼ぶことができる。「意味的内容」は、ビデオのコンテンツが該コンテンツの関連度の観点でユーザーに対して有する「意味」として理解すべきである。そのような「意味的情報」又は「意味的内容」は、例えばビデオが取り込まれたアングルとすることができる。ビデオストリーム消費者は、アクション（例えばフットボールの試合）に近いか、又は消費者が興味を有する詳細を明確に識別するためにそのようなアクションに関与する主要なプレイヤーの正面のビデオ制作者の視点を好む場合がある。そのようなビデオのコンテンツは、異なる視覚からのコンテンツより、ユーザーに対し高い関連度を有し、これは、視角に対応する「意味的情報」又は「意味的内容」がユーザーに対しより関連性のある「意味」を有することを意味する。
【００７５】
１つの実施形態において、進化型の能力を有する移動電話を用いることによって与えられるビデオ品質と、ショットビデオによって並行して搬送される意味的情報との結合を用いて、同じイベントの全てのビデオストリーム間でビデオをランク付けし、それによってビデオの関連度を考慮に入れる。さらに、同じイベントの生成されたコンテンツを共有する複数のビデオ制作者へのネットワークリソース配分の最適化も、ネットワークオペレーターによって１つの実施形態に従って実行し、ネットワークリソースを効率的に配分することができる。
【００７６】
本発明の実施形態は、複数の有利な効果を達成することができる。
【００７７】
１つの例は、シーン（意味的内容）の関連度を含む、ビデオ品質メトリックの最良の結合を保証しながら、同じイベントから（例えば複数の参加者によって）生成されたライブビデオコンテンツの配信のために、より効率的にリソースを配分することからなる。オペレーターの観点からは、これは、少なくとも消費者満足を保持又は向上しながら、望ましくないネットワークトラフィックの増大を回避することにつながる。
【００７８】
本発明の更なる実施形態は以下を可能にする。
−或るイベントのポータル／サーバーによって提供されるビデオストリームの高速選択（リアルタイム用途に重要である）、
−適応リソース配分（プッシュ型トラフィック）、
−ビデオポータル又はネットワークにおける過負荷バッファリング及び処理の回避。
【００７９】
以下でアップストリームのためのネットワークリソース配分に関する最適化問題を解決する疑似アルゴリズムの一実施形態を検討する前に、本発明の一実施形態が実際にどのように機能するかを更に明らかにするために、図１に関連して、より単純な実施形態の説明を与える。
【００８０】
図１において、左側に複数のビデオ制作者（移動端末に限定されるものとして理解されるべきでなく、ネットワークにリアルタイムでプッシュされるビデオコンテンツを生成する任意のデバイス／ノードとすることができる）、すなわち同じイベント（サッカーの試合のようなスポーツイベント等）の参加者であるがビデオ品質メトリック（関連度パラメータに対応する）の異なる結合を有するビデオストリームを提供する参加者が示されている。簡単にするために、３つの一般的なビデオメトリックＡ、Ｂ、及びＣが仮定され、各メトリックに区間［１，１０］から点数（mark）が与えられる。ここで、所与のメトリック（又は関連度パラメータ）について１が最低点であり、１０が最高点である。
【００８１】
ビデオコンテンツは、明度(brightness)、輝度(luminance)、コントラスト、視角（イベントからの距離も与えるＧＰＳ、顔認識ソフトウェア、又はカメラの見通し線を求めるのに用いることができる向きセンサーからのデータを介して空間カバレッジ情報の組合せから導出することができる）、画像の動き、安定性、カメラ解像度、フレームレート、背景雑音等の１組のパラメータによって表すことができる。単純にするために、この実施形態において、機械処理可能な図／表現に変換することができるパラメータのサブセット、換言すれば、「関連度値」又は「メトリック」を自動的に取得することができるパラメータのみが考慮される。このため、例えば、図１の例では、パラメータＡはシーンからの距離とすることができ、Ｂはビデオの明度とすることができ、Ｃは背景雑音とすることができる。これらのパラメータは、「関連度値」に容易にかつ自動的に変換することができる。これは、（視角のような）他のパラメータについても、例えば向きセンサーを用いることによって可能であり、このとき、これらのパラメータのデータは「視角」に変換され、次に関連度パラメータに変換される。一方、ここでは、距離、明度、及び背景雑音のみがこの例において考慮される。
【００８２】
アップストリーム時の帯域制約の場合、すなわちビデオ制作者の全てが基地局に受け入れられるわけではない場合、これによって、ネットワーク内（例えば評価サーバー内）のモジュール内に、例えば基地局の近くに配置された最適化アルゴリズムが、ビデオ品質メトリックの最良の結合を与えるストリーム（最高の優先度値を有するストリームを意味する）の選択を実行する。
【００８３】
この実施形態では、検討中の各ビデオメトリックが、特定のイベントからのユーザーの期待に基づいて重み付けされる。例えば、背景雑音はコンサートを見ているユーザーの主要な関心事であると予測される一方、サッカーの試合の場合、シーンの関連度（角度、安定性、及び距離）がより重要である。したがって、「コンテキスト情報」の対応する「関連度パラメータ」へのマッピングはイベントに依拠することができる。
【００８４】
図１に与える例では、基地局は帯域幅制約に起因して１つのビデオストリームしか送信することができず、したがってアルゴリズムは最良のビデオ制作者を選択する。最良のビデオ制作者は、１番（上側基地局の場合）及び下側では３番である。最適化アルゴリズムによって選択されたビデオはビデオポータル／サーバーに送信される。これは集中型モジュールであり、該集中型モジュールにおいて、基地局から受信した全てのビデオがビデオ消費者がダウンストリーミングするのに利用可能になる。
【００８５】
この実施形態において、基地局の近くのモジュール内に配置することができる最適化アルゴリズムは、以下を考慮に入れなくてはならない。（ｉ）生成されたビデオコンテンツのアップストリーミングのために用いられる帯域幅、（ｉｉ）同じイベントの各ビデオの特定の品質及び意味的情報、（ｉｉｉ）ビデオ制作者のランクが下がり、より良好な「結合」点数又は優先度値を有する別のビデオ制作者に置き換えられることが発生する場合があるので、メトリックの時間とともに変動する性質、（ｉｖ）各ビデオ制作者の無線チャネル品質の時間とともに変動する性質、（ｖ）異なるイベントの重要度、すなわち、品質及び意味的情報はビデオコンテンツのタイプに依拠し、このため、それに従って検討中の「イベント」ごとにメトリックを重み付けし調整することが好ましい。
【００８６】
この事例において、各メトリック（又は関連度パラメータ）Ａ、Ｂ、及びＣについて同じ重みを仮定すると、メトリック値Ａ＝１０、Ｂ＝１０、及びＣ＝１０を有するストリーム１の優先度値は、メトリック値Ａ＝８、Ｂ＝７、及びＣ＝９を有するビデオストリーム２の優先度値よりも大きいことを見て取ることができる。
【００８７】
１つの実施形態によれば、過剰供給（over-provisioned）リソースの場合、すなわち、同じイベントの全ての制作者が自身のビデオをネットワークにプッシュすることができ、かつこのビデオ制作者数が非常に多い場合、最適化アルゴリズムを更に用いて、ビデオポータル内のビデオ消費者の利用可能な選択群を低減することができ、例えば、「プレミアム」ユーザークラスのみにアップストリーミングを許可し、これによって消費者が高速選択する（リアルタイム用途において重要である）のを支援する。
【００８８】
以下において、１つの実施形態による最適化アルゴリズムの一例を説明する。
【００８９】
ビデオコンテンツは、明度、輝度、コントラスト、アングル（イベントからの距離も与えるＧＰＳ、及び顔認識ソフトウェア又は向きセンサーを介した空間カバレッジ情報の組合せによって与えられる）、画像の動き、安定性、カメラ解像度、フレームレート、及び背景雑音等の１組のパラメータによって表すことができる。単純にするために、ここでもまた、例えば明度及び距離等の、機械処理可能な図／表現に変換することができるパラメータのサブセットのみが考慮される。
【００９０】
或るイベントからのユーザーの期待に基づいて、（関連度）パラメータ（パラメータＡの重みａ、パラメータＢの重みｂ等）のリストの加重和として用途効用関数（application utility function）を書くことができる。端末からポータルに送信されるビデオストリームｉから各パラメータの値を抽出することができると仮定すると、ネットワーク（Ａｉ、Ｂｉ等）における最適化モジュールにおいて、最適化問題を解く以下の一般定式を書くことができる。
ｉＭＡＸ＿Ｕ＝ａｒｇｍａｘｉ＝１．．Ｎ（ａ＊Ａｉ＋ｂ＊Ｂｉ＋ｃ＊Ｃｉ＋…）
所与のビデオストリームの加重和はその優先度値に対応し、最大優先度値はｉＭＡＸ＿Ｕであり、見つかるはずである。
【００９１】
さらに、アップストリームごとに要求される帯域幅を考慮に入れることができ、このため帯域幅節減と品質／量利得との間の可能なトレードオフに対処することができる。
【００９２】
本発明者らの最適化手順を通じて選択されるビデオをアップストリーミングするのに必要とされる帯域幅を考慮に入れる一般的な疑似アルゴリズムは以下である。
【００９３】
疑似アルゴリズム
｛Ａ，Ｂ，Ｃ，Ｄ，Ｅ｝； ％品質及び意味的情報を反映するパラメータのリスト
｛ａ，ｂ，ｃ，ｄ，ｅ｝； ％パラメータＡ、Ｂ．．．の重み
Ｉ＝｛１，２，…，Ｎ｝； ％１組のアップストリーム（又はビデオ制作者）
ＢＷＴＯＴ； ％アップリンクにおける総帯域幅
Ｂ＝０； ％帯域幅利用のカウンター
ｉＭＡＸ＿Ｕ ％総和を最大にするビデオ制作者のインデックス
｛フィードバック又はタイムスタンプ｝に基づいて以下を行う
Ｗｈｉｌｅ（Ｂ＜ＢＷＴＯＴ）＆（Ｉ≠０）
ｉＭＡＸ＿Ｕ＝ａｒｇｍａｘｉ∈Ｉ（ａ＊Ａｉ＋ｂ＊Ｂｉ＋ｃ＊Ｃｉ＋…）； ％総点数を最大にするビデオを見つける
Ｉｆ（Ｂ＋ＢｕＭＡＸ）＜ＢＷＴＯＴ
Ｉ＝Ｉ-｛ｉＭＡＸ＿Ｕ｝；
ｉＭＡＸ＿Ｕを配布する； ％この制作者にアップリンクリソースを配布する
Ｂ＝Ｂ＋ＢｉＭＡＸ＿Ｕ；
Ｅｌｓｅ
Ｉ＝Ｉ-｛ｉＭＡＸ＿Ｕ｝；
Ｅｎｄ
Ｅｎｄ
【００９４】
アルゴリズムは、各反復において、優先度値（メトリック値の重み付けされた結合によって計算されるような「点数」）を最大にするビデオを見つけて、各反復においてこのビデオストリームに帯域幅ＢｕＭＡＸを割り当て、既に配分された帯域幅を示すカウンターＢをＢｕＭＡＸだけ増分する。
【００９５】
次に、この手順を、配分される帯域幅が総利用可能帯域幅ＢＷＴＯＴよりも小さい限り繰り返し、この限界に達すると配分が終了する。
【００９６】
１つの実施形態において、この手順は時間領域において規則的な間隔で繰り返され、関与するメトリック（関連度パラメータ）の時間とともに変動する性質、及びビデオ制作者がイベントを（物理的に、又は例えばカメラのバッテリレベルが低いことに起因して）中止するか又は後でイベントに参加する可能性を考慮に入れる。
【００９７】
当業者には、本発明の実施形態に関連して説明された方法、要素、ユニット、及び装置を、ハードウェアにおいて実施することもできるし、ソフトウェアにおいて実施することもできるし、双方の組合せとして実施することもできることが容易に明らかとなるであろう。特に、本発明の実施形態及びそれに関連して説明されたモジュールの要素を、コンピューター上で実行されている単数又は複数のコンピュータープログラムによって実施することもできるし、マイクロプロセッサによって実行することもできることが理解されよう。本発明を実施する任意の装置は、特に、ネットワーク内で動作するルーター、サーバー、モジュール等のネットワークエンティティ、又は移動電話、スマートフォン、ＰＤＡ、若しくは同様の任意のもの等の移動デバイスの形態をとることができる。
【技術分野】
【０００１】
本発明は、複数のビデオを評価する方法及び評価サーバーに関する。
【０００２】
提案される方法は、例えば、いくつかのビデオ制作者によって同時に取り込まれた１つのイベントのリアルタイムビデオ配信に用いることができ、リソースを、ビデオソースからネットワークを通して受信装置（ビデオサーバー、ポータル等）まで最適化するのに用いることができる。
【背景技術】
【０００３】
より高いビデオ品質解像度をサポートし、向上した機能を提供する移動電話の数が劇的に増大している。近年、ユーザーは、自身の移動電話における進化した特徴を利用し、日常生活のビデオをストリーミングし、それらのビデオをビデオポータルを通じてネットワーク内で共有している。サッカーの試合又はライブコンサートにおいて、そのイベントに参加しているユーザーは、イベントのビデオをリアルタイム（アーカイブなし）で取り込むことによって、自身の生の体験を他の人と共有することができる。
【０００４】
本発明の目的は、ユーザーがイベント参加時に撮影している自身のビデオをアップロードし、他のユーザーと共有することができるライブビデオポータルを実現することを可能にする方法及び装置を提供することである。
【０００５】
そのようなポータルを作成する試みは非常に困難である。原理上は、イベントに参加しているユーザーによってビデオをアップロードすることができ、かつそれらのビデオが他のユーザーが閲覧するために提供されるサーバーを提供することは容易である。しかしながら、そのようなシステムを、実際に実現可能であり、かつユーザーに満足のいく形で実現することは容易でない。例えば、コンサートのようなイベントに参加している多数のユーザーが存在する場合があり、結果として非常に多数のビデオストリームが生じる場合がある。帯域幅制約に起因して、それらのビデオストリームをアップロードするのは困難であり、さらに、それらのビデオストリームを、ユーザーが自身の興味のあるものを見つけることができる妥当な形でダウンロード用に提供することは困難である。そのようなイベントに基づくライブビデオポータルを可能にするのは、実際極めて困難である。
【０００６】
この問題は、関連する問題及び疑問、例えば、リソースをポータルのビデオストリームにどのように配分するかの問題につながる。リソース配分を最適化する手法が存在する。これらの手法は通常、ダウンリンクにおけるＱｏＥに基づくクロスレイヤ最適化に関し、該クロスレイヤ最適化では、ネットワークリソース配分が、様々な層から抽出された情報に基づいて最適化される。例えば、非特許文献１において、アプリケーション層、ネットワーク層、ＭＡＣ層、及び物理層からの情報を考慮に入れる方法が提案されている。最適化問題のために設定された目的関数に基づいてネットワークリソースが様々な形で配分される。例えば、ネットワークは全てのユーザーの最大平均ユーザー知覚品質を達成することを望む場合がある。非特許文献２又は特許文献１は、全てのユーザーが同様のサービス品質を知覚するようにネットワークリソースを配分することについて開示している。
【０００７】
アップリンクパケット送信におけるリソース配分は、例えば非特許文献３において論じられており、非特許文献３では、スケジューリングアルゴリズム及びリソース配分アルゴリズムが共同で実行される。
【０００８】
ビデオ用途のための予測ユーザー知覚品質のモデリングが、非特許文献４又は非特許文献５において論じられている。これらの研究は、ＭＯＳを予測ユーザー知覚品質の基準として用いている。
【０００９】
非特許文献６において、Thang他は、視覚的明瞭性及び動きの平滑性のみを基準として用いるのではなく、ビデオ内の意味的エンティティ（semantic entity）を用いてビデオ品質を評価する解析的フレームワークを提案している。アプリケーションモデリングの目的は、ユーザー知覚品質が、ネットワーク／アプリケーション性能メトリック（例えばデータレート、パケット損失、ＰＳＮＲ）に関してどのように変化するかを知ることである。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】米国特許第５６７５５７６号
【非特許文献】
【００１１】
【非特許文献１】S. Khan、S. Duhovnikov、E. Steinbach、及びW. Kellerer、MOS-based multiuser multiapplication cross-layer optimization for mobile multimedia communication」、Advances in Multimedia, 2007, article ID 94918
【非特許文献２】B. Radunovic及びJ. Y. Le Boudec、A unified framework for maxmin and min-max fairness with applications」、IEEE/ACM Trans. on Networking, vol. 15, no. 5, pp. 1073-1083, Oct. 2007
【非特許文献３】J. Huang、V. G. Subramanian、R. Agrawal、及びR. Berry、「Joint scheduling and resource allocation in uplink OFDM systems for broadband wireless access network」、IEEE journal on selected areas in Communications, Vol. 27, Issue 2, Feb. 2009
【非特許文献４】ＩＴＵ−Ｔ勧告Ｊ.１４４、「Objective perceptual video quality measurement techniques for digital cable television in the presence of a full reference」、March 2004
【非特許文献５】Z. Wang、L. Lu、及びA. C. Bovik「Video Quality Assessment Based on Structural Distortion Measurement」、IEEE Signal Processing: Image Communication, vol. 19, no. 1, pp. 121-132, Feb. 2004
【非特許文献６】T. C. Thang、Y. J. Jung、及びM. M. Ro、「Semantic quality for content-aware video adaptation」、Proc. IEEE Workshop on Multimedia Signal Processing (MMSP), pp. 41-44, Oct. 2005
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、従来技術のいずれも、移動ネットワークリソース配分が、複数のビデオ制作者によって取り込まれたイベントの最適なライブビデオ配信を達成するように最適化される問題に対処していない。
【００１３】
例えば「クラス」又は優先度すなわち「ランク」を割り当てることによって配分されたリソースを有する必要がある可能なチャネルの数及び多様性を考えると、これは容易な作業ではない。
【００１４】
極端な場合には、オペレーターは、最も低いユーザークラスに属するユーザーに対するリソースを拒否し（課金政策）、これによって、「プレミアム」加入者にのみビデオ共有を可能にする場合がある。さらに、より一層厳しいリソース制約の場合、ビデオ品質及び与えられる意味的情報の観点で最もメディアに貢献するもののみがビデオサーバーにプッシュされることになる。
【課題を解決するための手段】
【００１５】
１つの実施の形態によれば、複数のビデオを評価する評価サーバーであって、
複数のビデオ間で、同じイベントを取り込んだビデオを、該ビデオが或る地理的エリアに又は或る地理的エリア内にあるロケーションから撮影されたか否かを判断し、かつ該ビデオが或る時刻に又は或る時間内に撮影されたか否かを判断することによって識別するモジュールと、
前記同じイベントから撮影されたものとして識別された前記ビデオについて、１つ又は複数のシーンに基づく関連度パラメータを自動的に取得するモジュールであって、各シーンに基づく関連度パラメータは、ユーザーに対する前記ビデオの前記意味的内容の前記関連度を、最小関連度パラメータ値から最大関連度パラメータ値の範囲をとる段階で数値によって表す、自動的に取得するモジュールと、
前記同じイベントから撮影されたものとして識別された前記ビデオについて、前記１つ又は複数の関連度パラメータ値に基づいて優先度値を取得するモジュールであって、該優先度値は、前記同じイベントから撮影されたものとして識別された前記ビデオについて、該ビデオのそれぞれについて或る処理が実行される優先度を表し、該処理は、
前記ビデオのそれぞれをサーバーにアップロードするために該ビデオのそれぞれにネットワークリソースを割り当てること
を含む、取得するモジュールと、
を備え、該評価サーバーは、
前記複数のビデオをリアルタイムで受信するモジュールと、
前記シーンに基づく関連度パラメータを繰り返し取得して前記ビデオの更新された優先度値を取得するモジュールと、
前記更新された優先度値に基づいて前記処理の前記優先度を再構成するモジュールと、
を更に備える、複数のビデオを評価する評価サーバーが提供される。
【００１６】
これによって、異なるイベントから撮影された場合がある多数のビデオであるが、それらの複数のビデオのうちのいくつかは同じイベントから撮影され、同じイベントに属するものとして扱われる、多数のビデオを処理することができる、リアルタイムイベントに基づくビデオポータルの実現が可能になる。さらに、更新及び再構成によって、変化する環境への適応が可能になる。
【００１７】
１つの実施の形態によれば、前記ビデオは、ビデオポータルにおいて前記優先度値に従って優先度付けされ、該優先度値は、
ビデオごとに前記関連度パラメータの加重和を計算することであって、それによって前記ビデオのそれぞれについて前記優先度値を取得し、前記関連度パラメータは、移動デバイスのセンサーによって感知された、前記イベントからの距離又は視角等の感知情報に基づく１つ又は複数の関連度パラメータを含み、更に、ＰＳＮＲ、解像度、又は明度のような品質指標等のビデオコンテンツ自体に基づく１つ又は複数のシーンに基づく関連度パラメータを含む、計算することと、
前記計算された優先度値に従って前記ビデオポータル内の前記複数のビデオを優先度付けすることであって、より高い優先度値を有するビデオがより低い優先度値を有するビデオよりも高く優先度付けされるようにする、優先度付けすることと、
に基づいて計算される。
【００１８】
センサーによって関連度パラメータを感知し、それに基づいて優先度値を計算することによって、ビデオの優先度に従った自動処理が可能になる。
【００１９】
１つの実施の形態によれば、前記ビデオは、ネットワークリソースを配分するための前記優先度値に従って優先度付けされ、前記計算された優先度値に基づく前記リソース配分は、
ビデオごとに前記関連度パラメータの加重和を計算することであって、それによって前記ビデオのそれぞれについて前記優先度値を取得し、前記関連度パラメータは、移動デバイスのセンサーによって感知された、前記イベントからの距離又は視角等の感知情報に基づく１つ又は複数の関連度パラメータを含み、更に、ＰＳＮＲ、解像度、又は明度のような品質指標等のビデオコンテンツ自体に基づく１つ又は複数のシーンに基づく関連度パラメータを含む、計算することと、
最大優先度値を有し、かつ帯域幅をまだ割り当てられていない前記ビデオに帯域幅を配分することと、
前記配分することを、配分することができる全ての帯域幅が前記複数のビデオに割り当てられるまで繰り返すことと、
を用いて実行される。
【００２０】
これによって、感知された関連度パラメータ値に基づいて自動的に優先度付けされた処理を行うアルゴリズムが可能になる。
【００２１】
１つの実施の形態によれば、前記１つ又は複数のシーンに基づく関連度パラメータは、
ビデオを記録するのに用いるユーザーの移動デバイスの１つ又は複数の適切なセンサーによって感知されるコンテキスト情報であって、該コンテキスト情報は前記ビデオとともに前記評価サーバーに送信され、該コンテキスト情報は、
前記ビデオが記録された時刻と、
前記ビデオが記録されたロケーション情報と、
前記ビデオを記録する前記移動デバイスの２次元又は３次元のロケーション及び／又は傾きと、
のうちの１つ又は複数を含む、コンテキスト情報、
のうちの１つ又は複数に基づいて取得される。
【００２２】
これらの例は関連度パラメータの有利な例である。
【００２３】
１つの実施の形態によれば、前記評価サーバーは、前記複数のビデオのそれぞれについて取得された前記複数のシーンに基づく関連度パラメータに基づいて、結合されたシーンに基づく関連度パラメータを、前記ビデオのそれぞれの優先度値として計算するモジュールと、
前記結合された優先度値に従って前記処理を実行するモジュールと、
を更に備える。
【００２４】
結合されたシーンに基づく関連度パラメータによって、複数の関連度パラメータを考慮に入れることが可能になる。
【００２５】
１つの実施形態によれば、前記１つ又は複数のシーンに基づく関連度パラメータは、前記ビデオの前記地理的コンテキスト又は意味的コンテキストを表すコンテキスト情報に基づいて取得される。
【００２６】
これによって、関連度、すなわちロケーション及び意味的コンテキストを判定するのに特に有用なパラメータに基づいて優先度値を求めることが可能になる。
【００２７】
１つの実施の形態によれば、前記シーンに基づく関連度パラメータは、
前記シーンの視角と、
前記カメラによって記録された前記シーンからの距離と、
前記ビデオに記録された１つ又は複数の顔の大きさと、
前記ビデオの明度と、
解像度と、
ＰＳＮＲと、
前記ビデオの知名度と、
のうちの１つ又は複数を反映する。
【００２８】
これらは関連度パラメータの例である。
【００２９】
１つの実施の形態によれば、前記複数のビデオは、複数のユーザーの前記移動デバイスにより同じイベント又は同じシーンを記録して生成され、該ビデオは、ビデオポータルを通じて他のユーザーに配信されるために前記ユーザーによって前記評価サーバーにアップロードされる。
【００３０】
これによって、ビデオを用いてビデオポータルを実現することが可能になる。
【００３１】
１つの実施の形態によれば、前記評価サーバーは、前記同じイベント又は前記同じシーンを記録しているビデオを自動的に認識する認識モジュールと、
前記複数のビデオを、該ビデオが記録しているそれぞれのシーン又はイベントに従ってグループ化するモジュールと、
ビデオのグループごとに別個に前記優先度付けされた処理を実行するモジュールと、
を備える。
【００３２】
これによって、ユーザーによってアップロードされたビデオの自動的なカテゴライズ及びグルーピングが可能になる。
【００３３】
１つの実施の形態によれば、前記評価は、分類モジュールであって、或る自動的に取得されたコンテキスト情報又は意味的情報が、或る数値的なシーンに基づく関連度パラメータにどのように変換されるかに関する情報を取得し、前記コンテキスト情報を取得し、前記格納された情報を参照して前記シーンに基づく関連度パラメータを取得する、分類モジュール、
を備える。
【００３４】
これによって、コンテキスト情報の関連度パラメータへの変換が可能になり、関連度パラメータは、その後、いくつかのメカニズムに従って、優先度値に変換することができる。
【００３５】
１つの実施の形態によれば、前記分類モジュールは、
或るロケーションを或るシーンに基づく関連度パラメータにどのように変換するかと、
前記記録されたイベントからの或る距離を或るシーンに基づく関連度パラメータにどのように変換するかと、
前記記録されたイベントの或る視角を或るシーンに基づく関連度パラメータにどのように変換するかと、
前記記録されたイベントの或る明度を或るシーンに基づく関連度パラメータにどのように変換するかと、
のうちの１つ又は複数を格納する。
【００３６】
これによって、コンテキスト情報の関連度パラメータへの変換が可能になり、関連度パラメータは、その後、いくつかのメカニズムに従って、優先度値に変換することができる。
【００３７】
１つの実施の形態によれば、複数のビデオを評価する方法であって、
複数のビデオ間で、同じイベントを取り込んだビデオを、該ビデオが或る地理的エリアに又は或る地理的エリア内にあるロケーションから撮影されたか否かを判断し、かつ該ビデオが或る時刻に又は或る時間内に撮影されたか否かを判断することによって識別することと、
ビデオごとに、１つ又は複数のシーンに基づく関連度パラメータを自動的に取得することであって、各シーンに基づく関連度パラメータは、ユーザーに対する前記ビデオの前記意味的内容の前記関連度を、最小関連度パラメータ値から最大関連度パラメータ値の範囲をとる段階で数値によって表す、自動的に取得することと、
前記複数のビデオのそれぞれについて、前記１つ又は複数の関連度パラメータ値に基づいて優先度値を取得することであって、該優先度値は、前記複数のビデオのそれぞれについて、該ビデオのそれぞれについて或る処理が実行される優先度を表し、該処理は、
前記ビデオのそれぞれをサーバーにアップロードするために該ビデオのそれぞれにネットワークリソースを割り当てること
を含む、取得することと、
を含み、該方法は、
前記複数のビデオをリアルタイムで受信することと、
前記シーンに基づく関連度パラメータを繰り返し取得することであって、前記ビデオの更新された優先度値を取得する、繰り返し取得することと、
前記更新された優先度値に基づいて前記処理の前記優先度を再構成することと、
を更に含む、複数のビデオを評価する方法が提供される。
【００３８】
これによって、本発明の一実施の形態による方法を実施することが可能になる。
【００３９】
１つの実施の形態によれば、コンピューターによって実行されると、該コンピューターが本発明の実施の形態のうちの１つによる方法を実行することを可能にするコンピュータープログラムコードを含むコンピュータープログラムが存在する。
【図面の簡単な説明】
【００４０】
【図１】本発明の一実施形態を概略的に示す図である。
【発明を実施するための形態】
【００４１】
以下において、同じイベントに関する複数のビデオソース（例えばコンサート、フットボールの試合等に参加しているモバイルユーザー）によって生成されたライブビデオコンテンツの配信のための実施形態を説明する。ユーザーは、異なる能力（カメラ解像度、ビデオ品質等）を有するカメラを用いて、異なる角度からイベントを取り込み、該イベントをストリーミングすることができる。
【００４２】
まず始めに、１つの基本実施形態を説明する。この実施形態では、アップロードされたビデオを受信している評価サーバーが（例えばモバイルオペレーターのネットワークにおいて）存在する。コンサート、スポーツイベント、又は任意の他の公的イベントのような様々なイベントに対応することができる、異なる時刻に極めて異なるロケーションからアップロードされたビデオが存在することができる。
【００４３】
１つの実施形態によるサーバーは、アップロードされたビデオ間で、同じイベントを取り込んだビデオを識別するモジュールを備える。これは例えば、アップロードされたビデオとともに送信され、ビデオが撮影された移動電話のＧＰＳセンサーから導出することができる地理的情報を評価することによって達成することができる。加えて、ビデオが撮影された時刻を考慮に入れて、該ビデオが同じイベントを取り込んでいるか否かを判定することができる。
【００４４】
例えば、サッカースタジアムのロケーションの地理的境界のような所定の地理的エリアが存在することができる。このとき、地理的情報がサッカースタジアムの地理的エリアに対応し、取込み時刻がサッカーの試合の時刻に対応する全てのアップロードされたビデオを、同じイベント、すなわちサッカーの試合を示すものと判定することができる。
【００４５】
このようにして、モジュールは同じイベントを示すビデオを識別することができる。
【００４６】
そして、サーバーは１つ又は複数のシーンに基づく関連度パラメータを取得するモジュールを更に備えることができる。各シーンに基づく関連度パラメータは、ユーザーに対するビデオの内容（「意味的内容（semantic content）」）の関連度を、最小関連度パラメータ値（ゼロ又は更には負とすることができる）から最大関連度パラメータ値の範囲をとる段階で数値によって表す。
【００４７】
関連度パラメータは、例えば、「シーンからの距離」若しくは「ステージからの距離」、「視角」、又は、ユーザーに対し、特定のパラメータの観点でビデオの内容の関連度を表す形で該内容を反映する任意の他のパラメータのようなパラメータとすることができる。最大関連度パラメータに対応する「最良視角」及び最小関連度パラメータに対応する「最悪視角」が存在することができる。
【００４８】
視角と関連度パラメータとの間の対応は、サッカースタジアム又はコンサートホール等の或るロケーションについて所定とすることができる。
【００４９】
モジュールによって１つ又は複数の関連度パラメータを取得することができる。
【００５０】
そして、同じイベントを示すビデオについて、関連度パラメータ（複数の場合もあり）に基づく優先度値を取得するモジュールを提供することができる。２つ以上の関連度パラメータが存在する場合、それらのパラメータを何らかの数学的計算方法で結合し、結合関連度パラメータを取得することができ、関連度パラメータが１つしか存在しない場合、該関連度パラメータが優先度値に直接対応することができる。
【００５１】
優先度値は、該優先度値の対応するビデオについて、或る処理が該ビデオのために実行されるべき優先度を表し、それによって、処理はビデオをアップロードするために該ビデオにネットワークリソース（帯域幅等）を割り当てることとすることもできるし、ユーザーによるダウンロード用又は閲覧用にビデオを提供することとすることもできる。
【００５２】
アップロードされたビデオが複数の場合、処理（リソース配分、閲覧又はダウンロードの提供）は、ビデオに割り当てられた優先度値に従って実行される。より高い優先度を付けられたビデオには、アップロード用により多くのネットワークリソースを配分しておくことができ、（例えば、ポータルにおいてダウンロードのために、より大きく示すか、より早く示すか、又はより目立つ場所に示すことによって）ユーザーによるダウンロード又は閲覧を提供するために、より高い優先度を付けることができる。
【００５３】
このようにして、イベントに基づくビデオハンドリング（アップロード及びダウンロード）を実施することができる。イベントに基づくビデオハンドリングは、潜在的に多数のビデオ及び関連事項（implication）の課題と、これによって、リソース配分、並びに閲覧用及びダウンロード用のビデオを提供するユーザーインターフェースについて生じる問題とに対処することができる。
【００５４】
１つの実施形態によれば、ビデオを取り込むのに用いられる移動電話又は移動デバイスは、関連度パラメータを感知するのに用いられる１つ又は複数のセンサーを装備している。距離又は視角は、ＧＰＳセンサー又は向き／回転センサーを用いて感知することができる。例えば、サッカースタジアム又はイベントのロケーションは、複数の領域に分割することができ、それらの領域は、ビデオが該領域から取り込まれたときに割り当てられた対応する関連度パラメータを有する。同様に、或る視角又は範囲に、対応する関連度パラメータを割り当てておくことができる。関連度パラメータは、ＰＳＮＲ、解像度、又は明度のような、シーンに基づく関連度パラメータも含むことができる。１つの実施形態によれば、次に、複数の関連度パラメータが、それらのパラメータの加重和を計算することによって結合されて、ビデオの優先度値が得られ、次に該ビデオの優先度値が、リソース配分又は閲覧若しくはダウンロードの提供等の或る処理に関する優先度付けに用いられる。
【００５５】
１つの実施形態によれば、優先度を付けられた処理は、帯域幅の配分であり、これはこの実施形態において以下のように行われる。
【００５６】
ビデオの優先度値を計算した後、まず、最も高い優先度値を有し、かつまだ帯域幅を一切配分されていないビデオに帯域幅が配分される。次に、メカニズムは、次に高い優先度を有するビデオに帯域幅を配分することへと進み、そして再び、その次に高い優先度を有するビデオへと進み、以下同様である。このとき、このプロセスは配分に利用可能な全ての帯域幅が配分されるまで反復される。
【００５７】
１つの実施形態によれば、シーンに基づく関連度パラメータは、ビデオが取り込まれた移動デバイスの１つ又は複数のセンサーによって取得されるコンテキスト情報に基づく。次に、コンテキスト情報はビデオとともに送信され、シーンに基づく関連度パラメータを取得するのに用いられる。これは例えば、ビデオが記録された時刻とすることができる（例えば、中断は、サッカーの試合の一方のチームの得点時と比較して関連度がより低い）。コンテキスト情報の別の例は、移動デバイスのロケーションであり、また別の例では、視角を求めるのに用いられることができる移動デバイスの向きである。
【００５８】
１つの実施形態によれば、次に、個々のシーンに基づく関連度パラメータ値に基づいて、結合されたシーンに基づく関連度パラメータ値を優先度値として計算することによって、優先度値が得られる。次に、この優先度値を、処理を優先度付けするのに用いる。
【００５９】
１つの実施形態によるシーンに基づく関連度パラメータは、ビデオの地理的コンテキスト又は意味的コンテキストを表すか又は反映する。地理的コンテキストはロケーションとすることができ、意味的コンテキストは視角又はストリームのコンテンツとすることができる。コンテンツの例は、認識することができる顔が存在するか、及びスクリーンに対するそのような顔の大きさとすることができる。大きな顔を示すストリームの場合、関連度は、例えば小さな顔を有するか顔を一切有しないビデオストリームの場合よりも高くすることができる。
【００６０】
既に言及したように、複数のシーンに基づく関連度パラメータを考慮に入れることができ、次にそれらの関連度パラメータを結合して結合値を得ることができる。関連度パラメータの例は、視角、距離、ビデオ上の顔の大きさ、解像度、又はＰＳＮＲである。
【００６１】
１つの実施形態によれば、シーンに基づく関連度パラメータを繰り返し送信し、繰り返し評価して、各ビデオの（新たな）優先度を繰り返し得ることができる。このようにして、利用可能なビデオの「サンプル」における変化を考慮に入れることができ、例えば、ユーザーが自身の以前の場所から、よりステージの方へ移動したことに起因して、このときビデオストリームの関連度がより高くなった場合、このビューの優先度を増大させることができる。結果として、ビデオポータルにおいて、このビューは、より高いランクのより目立つ場所で、例えば利用可能なビデオのリストのより上位において、閲覧用に提供することができる。同様に、リソース配分を新たな優先度値に適応させることができる。
【００６２】
評価の繰返しは、例えば或る所定の頻度で実行することができる。
【００６３】
１つの実施形態による評価サーバーはネットワークの一部とすることができ、アップロードされたビデオの優先度を求めるために該ビデオを受信することができる。１つの他の実施形態によれば、ビデオは或るサーバーにアップロードされ、評価サーバーは別個のエンティティであり、対応するコンテキスト情報の必要な関連度パラメータのみを受信し、次に各ビデオの優先度値を求め、該優先度値をサーバーに返送し、サーバーにおいて、アップロードされたビデオが格納され処理される。このサーバーはビデオポータルの一部とすることができ、該ビデオポータルの一部において、ビデオをアップロードすることができ、次に該ビデオがダウンロード用に提供される。この目的のために、ポータルはユーザーインターフェースを提供することができ、該インターフェースにおいて、ビデオは、それらのビデオが示しているイベントに従ってソートされる。次に、同じイベントのビデオはダウンロード用に提供するために（例えば、該ビデオのアイコンを示すことによって）表示され、その表示及び提供が、例えば、より高い優先度を付けられたビデオを、より低い優先度を付けられたビデオよりも大きくかつ／又はより目立つ位置に示すことによってそれらのビデオの優先度を反映するようにする。
【００６４】
ポータルは異なるイベントに対応するビデオグループを提供することができ、各イベントのビデオについて、該イベントが選択されると、それらのビデオの優先度に従って提供が行われる。グループ化は、ビデオが或るイベント（サッカーの試合等）に属することを認識するモジュールに基づいて完全に自動的に行うことができる。グループ（又はイベント）を特定することができないビデオについて、グループカテゴリ「その他」が存在することができ、このとき、ビデオはそのグループカテゴリにカテゴライズされる。
【００６５】
このようにして、完全に自動化されたイベントに基づくビデオポータルを作成することができ、該ビデオポータルはアップロードされたビデオをカテゴライズし、該ビデオをそれらの優先度に従って、例えばダウンロード用又は閲覧用に提供するために処理する。
【００６６】
１つの実施形態によれば、サーバーは、コンテキスト情報を受信することが可能であり、かつ該コンテキスト情報をシーンに基づく関連度パラメータに変換する分類モジュールを備える。このモジュールは、例えば、或るコンテキスト情報値と対応する関連度パラメータとの間の対応に関する情報を格納することができる。コンテキスト情報が地理的ロケーションである場合、このモジュールは、例えば、スタジアム又はコンサートホール内のいずれのロケーションがいずれの関連度パラメータに対応するかに関する情報を格納することができる。ルックアップを実行することによって、次に関連度パラメータを求めることができる。同様にして、「視角」又は「ＰＳＮＲ」等の他のコンテキスト情報も、或るコンテキスト情報値に対応する関連度パラメータを割り当て、その対応を、ルックアップすることができるように分類モジュールに格納することによって分類することができる。
【００６７】
以下において、更なる実施形態を説明する。
【００６８】
１つの実施形態によれば、アップストリームのためのリソース配分を最適化する方法が提供される。すなわち、同じイベントのビデオストリーム制作者によって同時に提供されたビデオ特性（カメラ解像度、シーンの関連度、すなわち意味的内容等の品質メトリック）の最良の結合を有するビデオが選択され優先度付けされ、ネットワークを通じてビデオポータル又はビデオサーバーに送信される。ここから、ビデオはビデオ消費者にリアルタイムで提供される。このため、オペレーターは、望ましくないプッシュ型ネットワークトラフィックの増大を回避することによってネットワークリソースを制御する一方で、依然として、同じイベントの最良のビデオコンテンツをビデオストリーム消費者に提供することができる。
【００６９】
１つの実施形態による配分手順は、ユーザーに対するビデオコンテンツの「関連度」に基づいてビデオコンテンツを考慮に入れる。コンテンツ、又は場合によって称される「意味的内容」（重要なのはコンテンツがユーザーにとって何を「意味する」かであるため）が、ユーザーに対するその関連度に基づいて考慮に入れられる。１つの実施形態によれば、ビデオストリームの、品質、例えば解像度等の追加の他の特性を考慮に入れることができる。考慮に入れることができる別の特性は、取り込まれているイベントの「重要度」（例えば記録の全体イベント又はサブセットの知名度、これはイベント又は或るストリームに対する「クリック数」に基づいて測定することができる）とすることができる。考慮に入れられる特性の他の例は、例えばビデオ効用関数（例えば動的／静的ビデオ）、及び各ビデオ制作者のチャネル状態とすることができる。
【００７０】
１つの実施形態による方法は、考慮に入れられる特性に基づいて、ライブイベントをリアルタイムで見ているユーザー（ビデオ消費者）が知覚する全体品質を最大にする、ストリームの最適ネットワークリソース配分を求める。
【００７１】
１つの実施形態では、最良のビデオ（複数の場合もあり）、すなわちリアルタイムストリーミングによって与えられるビデオ及びコンテンツ関連度（ユーザーに対するビデオの意味的情報の関連度）の最良の組合せが、ビデオ消費者にストリーミングされる。このため、他のビデオは、例えばアップストリームから排除するか、又は選択されたストリームと比較して最小のリソース消費に低減することができ、これは、最適化アルゴリズムを適用することによって、そのようなライブビデオコンテンツをコミュニティ内でリアルタイムに共有するのに必要とされるアップストリームトラアフィックが低減することを意味する。
【００７２】
１つの実施形態によれば、ポータルにおけるビデオ又はビデオストリームプロセスは、優先度値すなわち「ランク」を割り当てられる。
【００７３】
極端な場合には、オペレーターは、最も低いユーザークラスに属するユーザーに対するリソースを拒否し（課金政策）、これによって、「プレミアム」加入者にのみビデオ共有を可能にする場合がある。さらに、より一層厳しいリソース制約の場合、ビデオ品質及び与えられる意味的情報の観点で最もメディアに貢献するもののみがビデオサーバーにプッシュされることになる。
【００７４】
ビデオストリームのユーザー知覚品質は、或る程度、移動端末及びネットワークの能力に依拠するが、１つの実施形態によれば、優先度値を求めるための基準として、ビデオの内容又はユーザーに対する内容の「関連度」が用いられる。これはビデオの「意味的情報」又は「意味的内容」と呼ぶことができる。「意味的内容」は、ビデオのコンテンツが該コンテンツの関連度の観点でユーザーに対して有する「意味」として理解すべきである。そのような「意味的情報」又は「意味的内容」は、例えばビデオが取り込まれたアングルとすることができる。ビデオストリーム消費者は、アクション（例えばフットボールの試合）に近いか、又は消費者が興味を有する詳細を明確に識別するためにそのようなアクションに関与する主要なプレイヤーの正面のビデオ制作者の視点を好む場合がある。そのようなビデオのコンテンツは、異なる視覚からのコンテンツより、ユーザーに対し高い関連度を有し、これは、視角に対応する「意味的情報」又は「意味的内容」がユーザーに対しより関連性のある「意味」を有することを意味する。
【００７５】
１つの実施形態において、進化型の能力を有する移動電話を用いることによって与えられるビデオ品質と、ショットビデオによって並行して搬送される意味的情報との結合を用いて、同じイベントの全てのビデオストリーム間でビデオをランク付けし、それによってビデオの関連度を考慮に入れる。さらに、同じイベントの生成されたコンテンツを共有する複数のビデオ制作者へのネットワークリソース配分の最適化も、ネットワークオペレーターによって１つの実施形態に従って実行し、ネットワークリソースを効率的に配分することができる。
【００７６】
本発明の実施形態は、複数の有利な効果を達成することができる。
【００７７】
１つの例は、シーン（意味的内容）の関連度を含む、ビデオ品質メトリックの最良の結合を保証しながら、同じイベントから（例えば複数の参加者によって）生成されたライブビデオコンテンツの配信のために、より効率的にリソースを配分することからなる。オペレーターの観点からは、これは、少なくとも消費者満足を保持又は向上しながら、望ましくないネットワークトラフィックの増大を回避することにつながる。
【００７８】
本発明の更なる実施形態は以下を可能にする。
−或るイベントのポータル／サーバーによって提供されるビデオストリームの高速選択（リアルタイム用途に重要である）、
−適応リソース配分（プッシュ型トラフィック）、
−ビデオポータル又はネットワークにおける過負荷バッファリング及び処理の回避。
【００７９】
以下でアップストリームのためのネットワークリソース配分に関する最適化問題を解決する疑似アルゴリズムの一実施形態を検討する前に、本発明の一実施形態が実際にどのように機能するかを更に明らかにするために、図１に関連して、より単純な実施形態の説明を与える。
【００８０】
図１において、左側に複数のビデオ制作者（移動端末に限定されるものとして理解されるべきでなく、ネットワークにリアルタイムでプッシュされるビデオコンテンツを生成する任意のデバイス／ノードとすることができる）、すなわち同じイベント（サッカーの試合のようなスポーツイベント等）の参加者であるがビデオ品質メトリック（関連度パラメータに対応する）の異なる結合を有するビデオストリームを提供する参加者が示されている。簡単にするために、３つの一般的なビデオメトリックＡ、Ｂ、及びＣが仮定され、各メトリックに区間［１，１０］から点数（mark）が与えられる。ここで、所与のメトリック（又は関連度パラメータ）について１が最低点であり、１０が最高点である。
【００８１】
ビデオコンテンツは、明度(brightness)、輝度(luminance)、コントラスト、視角（イベントからの距離も与えるＧＰＳ、顔認識ソフトウェア、又はカメラの見通し線を求めるのに用いることができる向きセンサーからのデータを介して空間カバレッジ情報の組合せから導出することができる）、画像の動き、安定性、カメラ解像度、フレームレート、背景雑音等の１組のパラメータによって表すことができる。単純にするために、この実施形態において、機械処理可能な図／表現に変換することができるパラメータのサブセット、換言すれば、「関連度値」又は「メトリック」を自動的に取得することができるパラメータのみが考慮される。このため、例えば、図１の例では、パラメータＡはシーンからの距離とすることができ、Ｂはビデオの明度とすることができ、Ｃは背景雑音とすることができる。これらのパラメータは、「関連度値」に容易にかつ自動的に変換することができる。これは、（視角のような）他のパラメータについても、例えば向きセンサーを用いることによって可能であり、このとき、これらのパラメータのデータは「視角」に変換され、次に関連度パラメータに変換される。一方、ここでは、距離、明度、及び背景雑音のみがこの例において考慮される。
【００８２】
アップストリーム時の帯域制約の場合、すなわちビデオ制作者の全てが基地局に受け入れられるわけではない場合、これによって、ネットワーク内（例えば評価サーバー内）のモジュール内に、例えば基地局の近くに配置された最適化アルゴリズムが、ビデオ品質メトリックの最良の結合を与えるストリーム（最高の優先度値を有するストリームを意味する）の選択を実行する。
【００８３】
この実施形態では、検討中の各ビデオメトリックが、特定のイベントからのユーザーの期待に基づいて重み付けされる。例えば、背景雑音はコンサートを見ているユーザーの主要な関心事であると予測される一方、サッカーの試合の場合、シーンの関連度（角度、安定性、及び距離）がより重要である。したがって、「コンテキスト情報」の対応する「関連度パラメータ」へのマッピングはイベントに依拠することができる。
【００８４】
図１に与える例では、基地局は帯域幅制約に起因して１つのビデオストリームしか送信することができず、したがってアルゴリズムは最良のビデオ制作者を選択する。最良のビデオ制作者は、１番（上側基地局の場合）及び下側では３番である。最適化アルゴリズムによって選択されたビデオはビデオポータル／サーバーに送信される。これは集中型モジュールであり、該集中型モジュールにおいて、基地局から受信した全てのビデオがビデオ消費者がダウンストリーミングするのに利用可能になる。
【００８５】
この実施形態において、基地局の近くのモジュール内に配置することができる最適化アルゴリズムは、以下を考慮に入れなくてはならない。（ｉ）生成されたビデオコンテンツのアップストリーミングのために用いられる帯域幅、（ｉｉ）同じイベントの各ビデオの特定の品質及び意味的情報、（ｉｉｉ）ビデオ制作者のランクが下がり、より良好な「結合」点数又は優先度値を有する別のビデオ制作者に置き換えられることが発生する場合があるので、メトリックの時間とともに変動する性質、（ｉｖ）各ビデオ制作者の無線チャネル品質の時間とともに変動する性質、（ｖ）異なるイベントの重要度、すなわち、品質及び意味的情報はビデオコンテンツのタイプに依拠し、このため、それに従って検討中の「イベント」ごとにメトリックを重み付けし調整することが好ましい。
【００８６】
この事例において、各メトリック（又は関連度パラメータ）Ａ、Ｂ、及びＣについて同じ重みを仮定すると、メトリック値Ａ＝１０、Ｂ＝１０、及びＣ＝１０を有するストリーム１の優先度値は、メトリック値Ａ＝８、Ｂ＝７、及びＣ＝９を有するビデオストリーム２の優先度値よりも大きいことを見て取ることができる。
【００８７】
１つの実施形態によれば、過剰供給（over-provisioned）リソースの場合、すなわち、同じイベントの全ての制作者が自身のビデオをネットワークにプッシュすることができ、かつこのビデオ制作者数が非常に多い場合、最適化アルゴリズムを更に用いて、ビデオポータル内のビデオ消費者の利用可能な選択群を低減することができ、例えば、「プレミアム」ユーザークラスのみにアップストリーミングを許可し、これによって消費者が高速選択する（リアルタイム用途において重要である）のを支援する。
【００８８】
以下において、１つの実施形態による最適化アルゴリズムの一例を説明する。
【００８９】
ビデオコンテンツは、明度、輝度、コントラスト、アングル（イベントからの距離も与えるＧＰＳ、及び顔認識ソフトウェア又は向きセンサーを介した空間カバレッジ情報の組合せによって与えられる）、画像の動き、安定性、カメラ解像度、フレームレート、及び背景雑音等の１組のパラメータによって表すことができる。単純にするために、ここでもまた、例えば明度及び距離等の、機械処理可能な図／表現に変換することができるパラメータのサブセットのみが考慮される。
【００９０】
或るイベントからのユーザーの期待に基づいて、（関連度）パラメータ（パラメータＡの重みａ、パラメータＢの重みｂ等）のリストの加重和として用途効用関数（application utility function）を書くことができる。端末からポータルに送信されるビデオストリームｉから各パラメータの値を抽出することができると仮定すると、ネットワーク（Ａｉ、Ｂｉ等）における最適化モジュールにおいて、最適化問題を解く以下の一般定式を書くことができる。
ｉＭＡＸ＿Ｕ＝ａｒｇｍａｘｉ＝１．．Ｎ（ａ＊Ａｉ＋ｂ＊Ｂｉ＋ｃ＊Ｃｉ＋…）
所与のビデオストリームの加重和はその優先度値に対応し、最大優先度値はｉＭＡＸ＿Ｕであり、見つかるはずである。
【００９１】
さらに、アップストリームごとに要求される帯域幅を考慮に入れることができ、このため帯域幅節減と品質／量利得との間の可能なトレードオフに対処することができる。
【００９２】
本発明者らの最適化手順を通じて選択されるビデオをアップストリーミングするのに必要とされる帯域幅を考慮に入れる一般的な疑似アルゴリズムは以下である。
【００９３】
疑似アルゴリズム
｛Ａ，Ｂ，Ｃ，Ｄ，Ｅ｝； ％品質及び意味的情報を反映するパラメータのリスト
｛ａ，ｂ，ｃ，ｄ，ｅ｝； ％パラメータＡ、Ｂ．．．の重み
Ｉ＝｛１，２，…，Ｎ｝； ％１組のアップストリーム（又はビデオ制作者）
ＢＷＴＯＴ； ％アップリンクにおける総帯域幅
Ｂ＝０； ％帯域幅利用のカウンター
ｉＭＡＸ＿Ｕ ％総和を最大にするビデオ制作者のインデックス
｛フィードバック又はタイムスタンプ｝に基づいて以下を行う
Ｗｈｉｌｅ（Ｂ＜ＢＷＴＯＴ）＆（Ｉ≠０）
ｉＭＡＸ＿Ｕ＝ａｒｇｍａｘｉ∈Ｉ（ａ＊Ａｉ＋ｂ＊Ｂｉ＋ｃ＊Ｃｉ＋…）； ％総点数を最大にするビデオを見つける
Ｉｆ（Ｂ＋ＢｕＭＡＸ）＜ＢＷＴＯＴ
Ｉ＝Ｉ-｛ｉＭＡＸ＿Ｕ｝；
ｉＭＡＸ＿Ｕを配布する； ％この制作者にアップリンクリソースを配布する
Ｂ＝Ｂ＋ＢｉＭＡＸ＿Ｕ；
Ｅｌｓｅ
Ｉ＝Ｉ-｛ｉＭＡＸ＿Ｕ｝；
Ｅｎｄ
Ｅｎｄ
【００９４】
アルゴリズムは、各反復において、優先度値（メトリック値の重み付けされた結合によって計算されるような「点数」）を最大にするビデオを見つけて、各反復においてこのビデオストリームに帯域幅ＢｕＭＡＸを割り当て、既に配分された帯域幅を示すカウンターＢをＢｕＭＡＸだけ増分する。
【００９５】
次に、この手順を、配分される帯域幅が総利用可能帯域幅ＢＷＴＯＴよりも小さい限り繰り返し、この限界に達すると配分が終了する。
【００９６】
１つの実施形態において、この手順は時間領域において規則的な間隔で繰り返され、関与するメトリック（関連度パラメータ）の時間とともに変動する性質、及びビデオ制作者がイベントを（物理的に、又は例えばカメラのバッテリレベルが低いことに起因して）中止するか又は後でイベントに参加する可能性を考慮に入れる。
【００９７】
当業者には、本発明の実施形態に関連して説明された方法、要素、ユニット、及び装置を、ハードウェアにおいて実施することもできるし、ソフトウェアにおいて実施することもできるし、双方の組合せとして実施することもできることが容易に明らかとなるであろう。特に、本発明の実施形態及びそれに関連して説明されたモジュールの要素を、コンピューター上で実行されている単数又は複数のコンピュータープログラムによって実施することもできるし、マイクロプロセッサによって実行することもできることが理解されよう。本発明を実施する任意の装置は、特に、ネットワーク内で動作するルーター、サーバー、モジュール等のネットワークエンティティ、又は移動電話、スマートフォン、ＰＤＡ、若しくは同様の任意のもの等の移動デバイスの形態をとることができる。
【特許請求の範囲】
【請求項１】
複数のビデオを評価する評価サーバーであって、
複数のビデオの中で、同じイベントを取り込んだビデオを、該ビデオが或る地理的エリアに又は或る地理的エリア内にあるロケーションから撮影されたか否かを判断し、かつ該ビデオが或る時刻に又は或る時間内に撮影されたか否かを判断することによって識別するモジュールと、
前記同じイベントから撮影されたものとして識別された前記ビデオについて、１つ又は複数のシーンに基づく関連度パラメータを自動的に取得するモジュールであって、各シーンに基づく関連度パラメータは、ユーザーに対する前記ビデオの前記意味的内容の前記関連度を、最小関連度パラメータ値から最大関連度パラメータ値の範囲をとる段階で数値によって表す、自動的に取得するモジュールと、
前記同じイベントから撮影されたものとして識別された前記ビデオについて、前記１つ又は複数の関連度パラメータ値に基づいて優先度値を取得するモジュールであって、該優先度値は、前記同じイベントから撮影されたものとして識別された前記ビデオについて、該ビデオのそれぞれについて或る処理が実行される優先度を表し、該処理は、
前記ビデオのそれぞれをサーバーにアップロードするために該ビデオのそれぞれにネットワークリソースを割り当てること
を含む、取得するモジュールと、
を備え、該評価サーバーは、
前記複数のビデオをリアルタイムで受信するモジュールと、
前記シーンに基づく関連度パラメータを繰り返し取得して前記ビデオの更新された優先度値を取得するモジュールと、
前記更新された優先度値に基づいて前記処理の前記優先度を再構成するモジュールと、
を更に備える、複数のビデオを評価する評価サーバー。
【請求項２】
前記ビデオは、ビデオポータルにおいて前記優先度値に従って優先度付けされ、該優先度値は、
ビデオごとに前記関連度パラメータの加重和を計算することであって、それによって前記ビデオのそれぞれについて前記優先度値を取得し、前記関連度パラメータは、移動デバイスのセンサーによって感知された、前記イベントからの距離又は視角等の感知情報に基づく１つ又は複数の関連度パラメータを含み、更に、ＰＳＮＲ、解像度、又は明度のような品質指標等のビデオコンテンツ自体に基づく１つ又は複数のシーンに基づく関連度パラメータを含む、計算することと、
前記計算された優先度値に従って前記ビデオポータル内の前記複数のビデオを優先度付けすることであって、より高い優先度値を有するビデオがより低い優先度値を有するビデオよりも高く優先度付けされるようにする、優先度付けすることと、
に基づいて計算される、請求項１に記載の評価サーバー。
【請求項３】
前記ビデオは、ネットワークリソースを配分するための前記優先度値に従って優先度付けされ、前記計算された優先度値に基づく前記リソース配分は、
ビデオごとに前記関連度パラメータの加重和を計算することであって、それによって前記ビデオのそれぞれについて前記優先度値を取得し、前記関連度パラメータは、移動デバイスのセンサーによって感知された、前記イベントからの距離又は視角等の感知情報に基づく１つ又は複数の関連度パラメータを含み、更に、ＰＳＮＲ、解像度、又は明度のような品質指標等のビデオコンテンツ自体に基づく１つ又は複数のシーンに基づく関連度パラメータを含む、計算することと、
最大優先度値を有し、かつ帯域幅をまだ割り当てられていない前記ビデオに帯域幅を配分することと、
前記配分することを、配分することができる全ての帯域幅が前記複数のビデオに割り当てられるまで繰り返すことと、
を用いて実行される、請求項１又は２に記載の評価サーバー。
【請求項４】
前記１つ又は複数のシーンに基づく関連度パラメータは、
ビデオを記録するのに用いるユーザーの移動デバイスの１つ又は複数の適切なセンサーによって感知されるコンテキスト情報であって、該コンテキスト情報は前記ビデオとともに前記評価サーバーに送信され、該コンテキスト情報は、
前記ビデオが記録された時刻と、
前記ビデオが記録されたロケーション情報と、
前記ビデオを記録する前記移動デバイスの２次元又は３次元のロケーション及び／又は傾きと、
のうちの１つ又は複数を含む、コンテキスト情報、
のうちの１つ又は複数に基づいて取得される、請求項１〜３のいずれか１項に記載の評価サーバー。
【請求項５】
前記複数のビデオのそれぞれについて取得された前記複数のシーンに基づく関連度パラメータに基づいて、結合されたシーンに基づく関連度パラメータを、前記ビデオのそれぞれの優先度値として計算するモジュールと、
前記結合された優先度値に従って前記処理を実行するモジュールと、
を更に備える、請求項１〜４のいずれか１項に記載の評価サーバー。
【請求項６】
前記１つ又は複数のシーンに基づく関連度パラメータは、前記ビデオの前記地理的コンテキスト又は意味的コンテキストを表すコンテキスト情報に基づいて取得される、請求項１〜５のいずれか１項に記載の評価サーバー。
【請求項７】
前記シーンに基づく関連度パラメータは、
前記シーンの視角と、
前記カメラによって記録された前記シーンからの距離と、
前記ビデオに記録された１つ又は複数の顔の大きさと、
前記ビデオの明度と、
解像度と、
ＰＳＮＲと、
前記ビデオの知名度と、
のうちの１つ又は複数を反映する、請求項１〜６のいずれか１項に記載の評価サーバー。
【請求項８】
前記複数のビデオは、複数のユーザーによって前記移動デバイスにより同じイベント又は同じシーンを記録して生成され、該ビデオは、ビデオポータルを通じて他のユーザーに配信されるために前記ユーザーによって前記評価サーバーにアップロードされる、請求項１〜７のいずれか１項に記載の評価サーバー。
【請求項９】
前記同じイベント又は前記同じシーンを記録しているビデオを自動的に認識する認識モジュールと、
前記複数のビデオを、該ビデオが記録しているそれぞれのシーン又はイベントに従ってグループ化するモジュールと、
ビデオのグループごとに別個に前記優先度付けされた処理を実行するモジュールと、
を備える、請求項１〜８のいずれか１項に記載の評価サーバー。
【請求項１０】
分類モジュールであって、或る自動的に取得されたコンテキスト情報又は意味的情報が、或る数値的なシーンに基づく関連度パラメータにどのように変換されるかに関する情報を取得し、前記コンテキスト情報を取得し、前記格納された情報を参照して前記シーンに基づく関連度パラメータを取得する、分類モジュール、
を備える、請求項１〜９のいずれか１項に記載の評価サーバー。
【請求項１１】
前記分類モジュールは、
或るロケーションを或るシーンに基づく関連度パラメータにどのように変換するかと、
前記記録されたイベントからの或る距離を或るシーンに基づく関連度パラメータにどのように変換するかと、
前記記録されたイベントの或る視角を或るシーンに基づく関連度パラメータにどのように変換するかと、
前記記録されたイベントの或る明度を或るシーンに基づく関連度パラメータにどのように変換するかと、
のうちの１つ又は複数を格納する、請求項１〜１０のいずれか１項に記載の評価サーバー。
【請求項１２】
複数のビデオを評価する方法であって、
複数のビデオ間で、同じイベントを取り込んだビデオを、該ビデオが或る地理的エリアに又は或る地理的エリア内にあるロケーションから撮影されたか否かを判断し、かつ該ビデオが或る時刻に又は或る時間内に撮影されたか否かを判断することによって識別するステップと、
ビデオごとに、１つ又は複数のシーンに基づく関連度パラメータを自動的に取得するステップであって、各シーンに基づく関連度パラメータは、ユーザーに対する前記ビデオの前記意味的内容の前記関連度を、最小関連度パラメータ値から最大関連度パラメータ値の範囲をとる段階で数値によって表す、自動的に取得するステップと、
前記複数のビデオのそれぞれについて、前記１つ又は複数の関連度パラメータ値に基づいて優先度値を取得するステップであって、該優先度値は、前記複数のビデオのそれぞれについて、該ビデオのそれぞれについて或る処理が実行される優先度を表し、該処理は、
前記ビデオのそれぞれをサーバーにアップロードするために該ビデオのそれぞれにネットワークリソースを割り当てるステップ
を含む、取得するステップと、
を含み、該方法は、
前記複数のビデオをリアルタイムで受信するステップと、
前記シーンに基づく関連度パラメータを繰り返し取得するステップであって、前記ビデオの更新された優先度値を取得する、繰り返し取得するステップと、
前記更新された優先度値に基づいて前記処理の前記優先度を再構成するステップと、
を更に含む、複数のビデオを評価する方法。
【請求項１３】
前記ビデオはビデオポータルにおいて前記優先度値に従って優先度付けされ、該優先度値は、
ビデオごとに前記関連度パラメータの加重和を計算するステップであって、それによって前記ビデオのそれぞれについて前記優先度値を取得し、前記関連度パラメータは、移動デバイスのセンサーによって感知された、前記イベントからの距離又は視角等の感知情報に基づく１つ又は複数の関連度パラメータを含み、更に、ＰＳＮＲ、解像度、又は明度のような品質指標等の１つ又は複数のシーンに基づく関連度情報を含む、計算するステップと、
前記計算された優先度値に従って前記ビデオポータル内の前記複数のビデオを優先度付けするステップであって、より高い優先度値を有するビデオがより低い優先度値を有するビデオよりも高く優先度付けされるようにする、優先度付けするステップと、
に基づいて計算される、請求項１２に記載の方法。
【請求項１４】
コンピューターによって実行されると、該コンピューターが請求項１２又は１３に記載の方法を実行することを可能にするコンピュータープログラムコードを含むコンピュータープログラム。
【請求項１】
複数のビデオを評価する評価サーバーであって、
複数のビデオの中で、同じイベントを取り込んだビデオを、該ビデオが或る地理的エリアに又は或る地理的エリア内にあるロケーションから撮影されたか否かを判断し、かつ該ビデオが或る時刻に又は或る時間内に撮影されたか否かを判断することによって識別するモジュールと、
前記同じイベントから撮影されたものとして識別された前記ビデオについて、１つ又は複数のシーンに基づく関連度パラメータを自動的に取得するモジュールであって、各シーンに基づく関連度パラメータは、ユーザーに対する前記ビデオの前記意味的内容の前記関連度を、最小関連度パラメータ値から最大関連度パラメータ値の範囲をとる段階で数値によって表す、自動的に取得するモジュールと、
前記同じイベントから撮影されたものとして識別された前記ビデオについて、前記１つ又は複数の関連度パラメータ値に基づいて優先度値を取得するモジュールであって、該優先度値は、前記同じイベントから撮影されたものとして識別された前記ビデオについて、該ビデオのそれぞれについて或る処理が実行される優先度を表し、該処理は、
前記ビデオのそれぞれをサーバーにアップロードするために該ビデオのそれぞれにネットワークリソースを割り当てること
を含む、取得するモジュールと、
を備え、該評価サーバーは、
前記複数のビデオをリアルタイムで受信するモジュールと、
前記シーンに基づく関連度パラメータを繰り返し取得して前記ビデオの更新された優先度値を取得するモジュールと、
前記更新された優先度値に基づいて前記処理の前記優先度を再構成するモジュールと、
を更に備える、複数のビデオを評価する評価サーバー。
【請求項２】
前記ビデオは、ビデオポータルにおいて前記優先度値に従って優先度付けされ、該優先度値は、
ビデオごとに前記関連度パラメータの加重和を計算することであって、それによって前記ビデオのそれぞれについて前記優先度値を取得し、前記関連度パラメータは、移動デバイスのセンサーによって感知された、前記イベントからの距離又は視角等の感知情報に基づく１つ又は複数の関連度パラメータを含み、更に、ＰＳＮＲ、解像度、又は明度のような品質指標等のビデオコンテンツ自体に基づく１つ又は複数のシーンに基づく関連度パラメータを含む、計算することと、
前記計算された優先度値に従って前記ビデオポータル内の前記複数のビデオを優先度付けすることであって、より高い優先度値を有するビデオがより低い優先度値を有するビデオよりも高く優先度付けされるようにする、優先度付けすることと、
に基づいて計算される、請求項１に記載の評価サーバー。
【請求項３】
前記ビデオは、ネットワークリソースを配分するための前記優先度値に従って優先度付けされ、前記計算された優先度値に基づく前記リソース配分は、
ビデオごとに前記関連度パラメータの加重和を計算することであって、それによって前記ビデオのそれぞれについて前記優先度値を取得し、前記関連度パラメータは、移動デバイスのセンサーによって感知された、前記イベントからの距離又は視角等の感知情報に基づく１つ又は複数の関連度パラメータを含み、更に、ＰＳＮＲ、解像度、又は明度のような品質指標等のビデオコンテンツ自体に基づく１つ又は複数のシーンに基づく関連度パラメータを含む、計算することと、
最大優先度値を有し、かつ帯域幅をまだ割り当てられていない前記ビデオに帯域幅を配分することと、
前記配分することを、配分することができる全ての帯域幅が前記複数のビデオに割り当てられるまで繰り返すことと、
を用いて実行される、請求項１又は２に記載の評価サーバー。
【請求項４】
前記１つ又は複数のシーンに基づく関連度パラメータは、
ビデオを記録するのに用いるユーザーの移動デバイスの１つ又は複数の適切なセンサーによって感知されるコンテキスト情報であって、該コンテキスト情報は前記ビデオとともに前記評価サーバーに送信され、該コンテキスト情報は、
前記ビデオが記録された時刻と、
前記ビデオが記録されたロケーション情報と、
前記ビデオを記録する前記移動デバイスの２次元又は３次元のロケーション及び／又は傾きと、
のうちの１つ又は複数を含む、コンテキスト情報、
のうちの１つ又は複数に基づいて取得される、請求項１〜３のいずれか１項に記載の評価サーバー。
【請求項５】
前記複数のビデオのそれぞれについて取得された前記複数のシーンに基づく関連度パラメータに基づいて、結合されたシーンに基づく関連度パラメータを、前記ビデオのそれぞれの優先度値として計算するモジュールと、
前記結合された優先度値に従って前記処理を実行するモジュールと、
を更に備える、請求項１〜４のいずれか１項に記載の評価サーバー。
【請求項６】
前記１つ又は複数のシーンに基づく関連度パラメータは、前記ビデオの前記地理的コンテキスト又は意味的コンテキストを表すコンテキスト情報に基づいて取得される、請求項１〜５のいずれか１項に記載の評価サーバー。
【請求項７】
前記シーンに基づく関連度パラメータは、
前記シーンの視角と、
前記カメラによって記録された前記シーンからの距離と、
前記ビデオに記録された１つ又は複数の顔の大きさと、
前記ビデオの明度と、
解像度と、
ＰＳＮＲと、
前記ビデオの知名度と、
のうちの１つ又は複数を反映する、請求項１〜６のいずれか１項に記載の評価サーバー。
【請求項８】
前記複数のビデオは、複数のユーザーによって前記移動デバイスにより同じイベント又は同じシーンを記録して生成され、該ビデオは、ビデオポータルを通じて他のユーザーに配信されるために前記ユーザーによって前記評価サーバーにアップロードされる、請求項１〜７のいずれか１項に記載の評価サーバー。
【請求項９】
前記同じイベント又は前記同じシーンを記録しているビデオを自動的に認識する認識モジュールと、
前記複数のビデオを、該ビデオが記録しているそれぞれのシーン又はイベントに従ってグループ化するモジュールと、
ビデオのグループごとに別個に前記優先度付けされた処理を実行するモジュールと、
を備える、請求項１〜８のいずれか１項に記載の評価サーバー。
【請求項１０】
分類モジュールであって、或る自動的に取得されたコンテキスト情報又は意味的情報が、或る数値的なシーンに基づく関連度パラメータにどのように変換されるかに関する情報を取得し、前記コンテキスト情報を取得し、前記格納された情報を参照して前記シーンに基づく関連度パラメータを取得する、分類モジュール、
を備える、請求項１〜９のいずれか１項に記載の評価サーバー。
【請求項１１】
前記分類モジュールは、
或るロケーションを或るシーンに基づく関連度パラメータにどのように変換するかと、
前記記録されたイベントからの或る距離を或るシーンに基づく関連度パラメータにどのように変換するかと、
前記記録されたイベントの或る視角を或るシーンに基づく関連度パラメータにどのように変換するかと、
前記記録されたイベントの或る明度を或るシーンに基づく関連度パラメータにどのように変換するかと、
のうちの１つ又は複数を格納する、請求項１〜１０のいずれか１項に記載の評価サーバー。
【請求項１２】
複数のビデオを評価する方法であって、
複数のビデオ間で、同じイベントを取り込んだビデオを、該ビデオが或る地理的エリアに又は或る地理的エリア内にあるロケーションから撮影されたか否かを判断し、かつ該ビデオが或る時刻に又は或る時間内に撮影されたか否かを判断することによって識別するステップと、
ビデオごとに、１つ又は複数のシーンに基づく関連度パラメータを自動的に取得するステップであって、各シーンに基づく関連度パラメータは、ユーザーに対する前記ビデオの前記意味的内容の前記関連度を、最小関連度パラメータ値から最大関連度パラメータ値の範囲をとる段階で数値によって表す、自動的に取得するステップと、
前記複数のビデオのそれぞれについて、前記１つ又は複数の関連度パラメータ値に基づいて優先度値を取得するステップであって、該優先度値は、前記複数のビデオのそれぞれについて、該ビデオのそれぞれについて或る処理が実行される優先度を表し、該処理は、
前記ビデオのそれぞれをサーバーにアップロードするために該ビデオのそれぞれにネットワークリソースを割り当てるステップ
を含む、取得するステップと、
を含み、該方法は、
前記複数のビデオをリアルタイムで受信するステップと、
前記シーンに基づく関連度パラメータを繰り返し取得するステップであって、前記ビデオの更新された優先度値を取得する、繰り返し取得するステップと、
前記更新された優先度値に基づいて前記処理の前記優先度を再構成するステップと、
を更に含む、複数のビデオを評価する方法。
【請求項１３】
前記ビデオはビデオポータルにおいて前記優先度値に従って優先度付けされ、該優先度値は、
ビデオごとに前記関連度パラメータの加重和を計算するステップであって、それによって前記ビデオのそれぞれについて前記優先度値を取得し、前記関連度パラメータは、移動デバイスのセンサーによって感知された、前記イベントからの距離又は視角等の感知情報に基づく１つ又は複数の関連度パラメータを含み、更に、ＰＳＮＲ、解像度、又は明度のような品質指標等の１つ又は複数のシーンに基づく関連度情報を含む、計算するステップと、
前記計算された優先度値に従って前記ビデオポータル内の前記複数のビデオを優先度付けするステップであって、より高い優先度値を有するビデオがより低い優先度値を有するビデオよりも高く優先度付けされるようにする、優先度付けするステップと、
に基づいて計算される、請求項１２に記載の方法。
【請求項１４】
コンピューターによって実行されると、該コンピューターが請求項１２又は１３に記載の方法を実行することを可能にするコンピュータープログラムコードを含むコンピュータープログラム。
【図１】
【公開番号】特開２０１２−１６５３７１（Ｐ２０１２−１６５３７１Ａ）
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１２−１００７１（Ｐ２０１２−１００７１）
【出願日】平成２４年１月２０日（２０１２．１．２０）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願番号】特願２０１２−１００７１（Ｐ２０１２−１００７１）
【出願日】平成２４年１月２０日（２０１２．１．２０）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
[ Back to top ]