説明

ビデオ・データ・ストリーム評価方法及びシステム

【課題】複数の放送チャンネルを含むビデオ・データ・ストリームをほぼリアルタイムで評価する。
【解決手段】この評価方法では、まず、特定チャンネルについて少なくとも2つのビデオ・フレームを選択する。ビデオ・データ・ストリームから選択されたビデオ・フレームを抽出し、デコードする。デコードされたビデオ・フレームの1つを、デコードされた他のビデオ・フレーム又は前もって蓄積されたビデオ・フレームと比較し、この比較に基づいてビデオ・データ・ストリームの評価を生成する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ビデオ・データ・ストリームの送信に関し、特に、複数の放送チャンネルを含むビデオ・データ・ストリームをモニタし、評価することに関する。
【背景技術】
【0002】
ビデオ及び音声データの両方を伝送する技術は、従来の技術からどんどん変化している。例えば、テレビジョン放送施設では、同軸ケーブルを通したシリアル・デジタル・インターフェース(SDI)や非同期シリアル・インターフェース(ASI)などの伝統的な伝送形式よりも、イーサネット(登録商標)接続を通したインターネット・プロトコル(IP)伝送を用いて、放送データを伝送する方を現在では好んでいる。地上波放送、ケーブル・テレビ、衛星放送を介してビデオを送信するのに必要な帯域を減らすために、ビデオ圧縮技術が放送送信に関連して用いられる。
【0003】
イーサネット/IPプロトコルで運ばれる圧縮されたビデオは、通常、「IPビデオ」と呼ばれ、個人宅への送信はもちろんのこと、プロフェッショナルの施設内においても、イーサネット/IPトランスポートが含まれる。IPビデオは、数百チャンネルのビデオ及び音声を多重形式で効率よく運ぶことができる。チャンネルは、標準画質(SD)及び高解像度画質(HD)コンテンツをミックスでき、複数のSDチャンネルと複数のHDチャンネルについて、並行して異なるフォーマットで送信される。典型的なIPビデオ・ストリームは、例えば、地域のサブ・ステーションへ接続する幹線では毎秒10ギガ・ビット(Gbps)の接続で運ばれ、また、例えば、地域サブ・ステーションから個人宅へは1Gbpsイーサネット物理リンクで運ばれる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2001−251650号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ビデオ放送業界が直面する重大な問題は、典型的には1つの放送プロバイダで放送される数百チャンネルのビデオ及び音声の送信品質を効率よく且つ効果的にモニタ(監視)できないことである。ビデオ放送プロバイダは、顧客の視聴状況に大きな影響を与える送信上の問題に、かなり時間が経つまで気づかないことが多々ある。顧客は、瞬間的な「グリッチ」が時々ある分には多くの場合良しとしても、ブラック・ビデオ(放送停止:black video)、フリーズ・ビデオ(映像が固まる:frozen video)、又はブロック・ノイズ・ビデオ(blocky video)の出現のようなビデオ送信に関する頻繁又は長時間の問題については多くの顧客が耐えられない。
【0006】
ブラック・ビデオ(black video)、フリーズ・ビデオ(frozen video)、ブロック・ノイズ・ビデオ(blocky video)などのビデオ送信問題でいらいらした顧客は、他のビデオ・プロバイダに単にスイッチを着換えるだけで、簡単に元顧客になってしまう。また、顧客が結局のところ他のプロバイダに切り替えるとしても、顧客からのサービス・コール(電話)は、顧客サポート及び技術的サポート・リソースの観点から、非常にコストのかかるものとなってしまう。顧客からの電話によって、現場の技術者を顧客の敷地に派遣する必要が生じるので、これはプロバイダにとっては特にコストのかかるものとなってしまう。
【0007】
このように、数百の多重ビデオ及び音声チャンネルについてベースバンド測定を実施できる能力は、発展段階にあるIPビデオ監視領域においてキーとなる問題である。現在のシステムは、典型的には、ベースバンドについて特にチェックすることなく、エラー情報についてトランスポート層を監視するものである。例えば、旧来の製品では、トランスポート層は詳細に監視するとしても、デコードされたベースバンド・ビデオについては、あったとしてもほんの少し監視するだけである。送信問題は、トランスポート層及び伸張されたベースバンド・ビデオの両方に跨がって起こりえるし、頻繁に起こるのであるから、こうしたシステムは、特にIPビデオには不十分である。もっと最近の製品では、デコードされたベースバンド・ビデオの測定を実施しようとするものもあるが、これらは伸張されたベースバンド・データのチャンネルが2〜3チャンネルを超えると監視できず、まして、数百の多重チャンネルを並行してなど無理である。
【課題を解決するための手段】
【0008】
開示技術による実施形態では、数百チャンネルのインターネット・プロトコル(IP)ビデオについて、特に、1Gbpsイーサネット・リンクのフル・ライン・レートについて、いくつかのデコードされたベースバンドをほぼリアル・タイムで測定できる。ある実施形態では、高速IPビデオ・ストリームで運ばれる数百チャンネルのIPビデオまで、高速モニタリング及び詳細モニタリングの両方をサポートでき、これによって、測定についてタイムリーで価値ある品質の体験(QoE:quality of experience)を提供する共に、顧客に提供するビデオ品質に関して警報を出す能力を放送ビデオ・プロバイダに提供できる。
【0009】
本願の第1観点は、マシン制御によるビデオ・データ・ストリーム評価方法であって、複数のビデオ・フレームを夫々含むチャンネルが、夫々複数含まれるビデオ・データ・ストリームをビデオ・データ・ソースから受けるステップと、複数の上記チャンネルの内の1つの特定チャンネルに対応する複数の上記ビデオ・フレームから少なくとも2つのビデオ・フレームを選択するステップと、上記ビデオ・データ・ストリームから選択された上記ビデオ・フレームを抽出するステップと、抽出された上記ビデオ・フレームを夫々デコードするステップと、デコードされた上記ビデオ・フレームの少なくとも1つを、デコードされた他の上記ビデオ・フレーム又は前もって蓄積されたビデオ・フレームの少なくとも1つと比較するステップと、上記比較ステップにおける比較結果に少なくとも一部は基づいて上記ビデオ・データ・ストリームの評価を生成するステップとを具えている。
【0010】
本願の第2観点は、第1観点の方法において、上記ビデオ・データ・ストリームが、インターネット・プロトコル(IP)ビデオ、衛星放送ビデオ、ケーブル・ビデオ、地上波伝播ビデオのうちの1つであることを特徴としている。
【0011】
本願の第3観点の発明は、第1観点の方法の上記選択ステップにおいて、複数の上記チャンネル内の1つに対応する少なくとも2つの独立ビデオ・フレーム(Iフレーム)を選択することを特徴としている。
【0012】
本願の第4観点は、第1観点の方法の上記選択ステップにおいて、少なくとも1つの独立ビデオ・フレーム(Iビデオ・フレーム)と、少なくとも1つのバイ・ディレクショナル・ビデオ・フレーム(Bビデオ・フレーム)又はプリディクティブ(予測:predictive)ビデオ・フレーム(Pビデオ・フレーム)とを選択することを特徴としており、これらビデオ・フレームはいずれも複数の上記チャンネル内の上記特定チャンネルに対応している。
【0013】
本願の第5観点は、第1観点の方法において、複数の上記チャンネルの内の上記特定チャンネル以外の1チャンネルに対応する複数のビデオ・フレーム中の少なくとも2つのビデオ・フレームについて、上述の選択、抽出、デコード、比較及び評価作成のステップを更に実行することを特徴としている。
【0014】
本願の第6観点は、第5観点の方法において、上記複数チャンネルの個数以下の個数のチャンネルからなる優先順位リストに少なくとも一部分は基づいて、複数の上記チャンネルから上記特定チャンネル以外の上記1チャンネルを選択するステップを更に具えていることを特徴としている。
【0015】
本願の第7観点は、第1観点の方法において、更に、上記特定チャンネル以外の複数の上記チャンネルの夫々に対応する複数のビデオ・フレームの少なくとも2つのビデオ・フレームについて、上述の選択、抽出、デコード、比較及び評価作成のステップを実行するのに続いて、複数の上記チャンネル中の上記特定チャンネルについて、上記選択、抽出、デコード、比較及び評価作成のステップを繰り返すことを特徴としている。
【0016】
本願の第8観点は、第1観点の方法における抽出ステップが、選択されたビデオ・フレーム夫々に対応する情報を含む合成データ・ストリームを生成するステップと、上記合成データ・ストリームをフォーマットするステップと、上記合成データ・ストリームに、選択されたビデオ・フレーム夫々に対応するビデオ・フレーム特定情報を付加するステップとを有することを特徴としており、このとき、ビデオ・フレーム特定情報は、チャンネル情報、タイミング情報及びメタデータの少なくとも1つを含んでいる。
【0017】
本願の第9観点は、第1観点の方法におけるデコード・ステップが、抽出したビデオ・フレームを受けるデコーダを用意するステップと、抽出したビデオ・フレームが上記デコーダを通過するステップと、デコーダからの出力データをキャプチャするステップとを有しており、このとき、第1観点の方法が、デコード中のエラーに応じてエラー・メッセージを制御ブロックに送るステップを更に具えていることを特徴としている。
【0018】
本願の第10観点は、第1観点の方法において、最初のデコード・ステップに続く評価生成ステップにおいて、デコーダをリセットするステップを更に有している。
【0019】
本願の第11観点は、第1観点の方法において、上記比較ステップが、デコードしたビデオ・フレームに実質的にブラック・ビデオが現れているか、又は、実質的にフリーズ・ビデオが現れているかもしれないとの判断に応じて、警告(アラート)を生成するステップを有していることを特徴としている。
【0020】
本願の第12観点は、第11観点の方法において、警告が生成された時に、上記ビデオ・データ・ストリーム中の特定数の更なるビデオ・フレームについて、上記選択、抽出、デコード、比較及び評価作成のステップを繰り返すことによって、ビデオ・フレームの第2の評価を生成することを特徴としている。
【0021】
本願の第13観点は、第1観点の方法において、上記比較ステップが、デコードされたビデオ・フレームにブロック・ノイズが現れているかもしれないとの判断に応じて、警告を発生するステップを有していることを特徴としている。
【0022】
本願の第14観点は、第13観点の方法において、警告が生成された時に、上記ビデオ・データ・ストリーム中の特定数の更なるビデオ・フレームについて、上記選択、抽出、デコード、比較及び評価作成のステップを繰り返すことによって、ビデオ・フレームの第2の評価を生成することを特徴としている。
【0023】
本願の第15観点は、第1観点の方法において、選択されたビデオ・フレームを蓄積するステップを更に具えることを特徴としている。
【0024】
本願の第16観点は、マシンで実行された時に、第1観点によるビデオ・データ・ストリームの評価方法をマシンで実行するためのマシンで実行可能な命令を記録しており、有形でマシンで読み込み可能な1つ以上のメディアである。
【0025】
本願の第17観点は、ビデオ・データ・ストリーム評価システムであって、
入力されるビデオ・データ・ストリームを受けるように動作するビデオ・データ・レシーバと、
入力される上記ビデオ・データ・ストリーム内の1つの特定チャンネルに対応する少なくとも2つのビデオ・フレームを選択するよう動作するビデオ・データ選択モジュールと、
上記ビデオ・データ・ストリームから選択された上記ビデオ・フレームを抽出するよう動作するビデオ・データ抽出モジュールと、
上記ビデオ・データ・ストリームから選択され、抽出された上記ビデオ・フレームをデコードするよう動作するビデオ・データ・デコーダと、
デコードされた上記ビデオ・フレームの夫々を少なくとも1つの基準ビデオ・フレームに対して比較するよう動作するビデオ・データ比較モジュールと、
上記ビデオ・データ比較モジュールから受けた出力情報に少なくとも一部は基づいて上記特定チャンネルについてのレポートを生成するよう動作するビデオ・データ評価モジュールと
を具えている。
【0026】
本願の第18観点は、第17観点のビデオ・データ・ストリーム評価システムにおいて、少なくとも1つの上記基準ビデオ・フレームが、デコードされたビデオ・フレームの別のものか、前もって蓄積されたビデオ・フレームを含むか、又は、デコードされたビデオ・フレーム又は前もって蓄積されたビデオ・フレームを含んでいることを特徴としている。
【0027】
本願の第19観点は、第17観点のビデオ・データ・ストリーム評価システムが、選択されたビデオ・フレームを蓄積し、蓄積されたビデオ・フレームをビデオ・データ比較モジュールで続いて行われる比較ステップのために供給するよう動作する蓄積モジュールを更に具えることを特徴としている。
【0028】
本願の第19観点は、第17観点のビデオ・データ・ストリーム評価システムにおいて、上記ビデオ・データ評価モジュールが、指定した受け手に上記特定チャンネルについてのレポートを送るように動作することを特徴としている。
【図面の簡単な説明】
【0029】
【図1】図1は、異なる種類のビデオ・フレームを有するエレメンタリ・ストリームの例を示したブロック図である。
【図2】図2は、用途を変えるために第1の解像度から第2の低解像度へとビデオを変更する例を示したブロック図である。
【図3】図3は、開示技術の実施形態に沿ったビデオ・データ・ストリーム評価システムの例を示したブロック図である。
【図4】図4は、開示技術の実施形態に沿ったビデオ・フレーム下処理モジュールの例を示したブロック図である。
【図5】図5は、開示技術の実施形態に沿ったマルチ・チャンネル用ビデオ・データ・ストリーム評価システムの例を示したブロック図である。
【図6】図6は、開示技術の実施形態に沿った高速スキャン及び詳細スキャン評価モジュールを有するビデオ・データ・ストリーム評価システムの例を示したブロック図である。
【図7】図7は、開示技術の実施形態に沿ったマシン制御によるビデオ・データ・ストリーム評価方法の例を示したフローチャートである。
【図8】図8は、開示技術の実施形態に沿ったマシン制御によるビデオ・データ・ストリーム評価方法の別の例を示したフローチャートである。
【発明を実施するための形態】
【0030】
図1は、エレメンタリ・ビデオ・データ・ストリーム(ESストリーム)100を描いたブロック図である。この例では、ESストリーム100は、インディペンデント(独立:independent)フレーム(Iフレーム)102a及び102d、プリディクティブ(予測:predictive)フレーム(Pフレーム)102b、バイ・ディレクショナル(双方向:bi-directional)フレーム(Bフレーム)102cの4つの個別のフレームを有している。Iフレーム102a及び102dは、静止画像のように、基本的に各自で全体を描画可能な画像である。Pフレーム102b及びBフレーム102cは、それぞれ対応する画像情報の一部分のみを保持しているので、Iフレーム102a及び102dに比べて必要な記憶容量が小さくてすむ。
【0031】
Pフレーム102bは、現在のフレームと前のフレーム(つまり、最初のIフレーム102a)間の変化だけを記憶しており、これがPフレームが一般に「デルタ・フレーム」とも呼ばれる理由である。例えば、もしIフレーム102a及びPフレーム102b間の画像の変化が、画像の前景で動いているキャラクターだけであるなら、変化しない画像の背景の画素はPフレーム102b中には記憶されない。Bフレーム102cは、前のフレーム(つまり、Pフレーム102b)及び後のフレーム(つまり、Iフレーム102d)の両方と、現在のフレームとの差を用いて表示されるコンテンツを特定することで、更に記憶容量を節約する。
【0032】
パケット化エレメンタリ・ストリーム(PES)は、典型的には、複数のPESパケットを含み、それぞれが図1のES100のようなES内のビデオ・データから構成される。PESパケットは、通常、固定サイズのトランスポート・ストリーム(TS)パケットに分割される。トランスポート・ストリームは、一般に複数の188バイトのTSパケットを含み、これらは一度に容易に多重化でき、IPビデオ・ストリームの一部として代表的な放送伝送技術を用いて送信される。
【0033】
図2は、高解像度(HD)ビデオ・データ202の標準解像度(SD)ビデオ・データ204へのデータ減少処理200を描いたブロック図である。例えば、HDビデオ・データ202は、1080iの解像度を持っており、これをSDビデオ・データ204用に転用する、つまり、640×480の解像度に減少させるとしても良い。また、ある状況においては、SDビデオ・データ204をポータブル・ビデオ・データ206へと減少させ、例えば、ハンドヘルド・コンピュータや携帯電話でこれを表示可能にする必要があるかもしれない。転用する際の共通の課題は、各デ―タ減少段階において、ビデオ・データの画質が劣化する可能性があることである。例えば、ある解像度から第2の低解像度へと画像を減少させると、その低解像度で画像を表示させるデバイスでは画像がソフトでぼんやりとすることがある。
【0034】
ビデオ・データ・ストリームについては、各層独自のエラーが生じる可能性があるので、各層についてエラーを監視する必要がある。また、1つの層(例えば、1つのIPパケット)における問題は、他の層(例えば、対応するTSパケット)におけるエラーにつながることが多々ある。実際、1つのビデオ・フレームが壊れていることが原因の1つのエラーは、多数のビデオ・フレームに伝播する。もし結合装置が悪い結合点を捕捉(選択)するようなら、例えば、そのデータ・ストリームを壊すために、1ビットだけオフにする必要がある。現在のシステムのなかには、エラー補正機能を内蔵するものもあるが、それらは非常に限られている。例えば、現在のシステムの中には、与えられたトランスポート・ストリーム又はパケット化エレメンタリ・ストリーム(PES)の限定的な評価をサポートするものもある。
【0035】
問題が複雑なのは、H.264のような新しい規格は、より多くの処理能力を必要とする傾向があり、数百チャンネルはもちろん、1チャンネルの評価でさえ、プロセッサの能力がすぐに不足することである。実際、高性能のパソコンでも、複雑なために、2、3個のH.264ビデオ・ストリームしか処理できない。ハードウェア・デコーダでも、典型的には、多くても4個のH.264ビデオ・ストリームしか処理できず、その場合も、時間をかけてこれらを切り替えて処理するだけである。これは、非常に能力の高いハードウェアを用いても、全てのデータをデコードするには、非常に多くの処理リソースを必要とするためである。
【0036】
ブラック・フレーム、フリーズ・フレームやブロック・ノイズ(Blockiness)の検出と言ったデコードされたベースバンドの重大な局面を、リアルタイムで測定することが好ましい。ブラック・フレームとは、一般に表示映像が実質的又は完全に黒のままで動かなくなってしまうことを指す。フリーズ・フレームとは、一般に表示映像が1つのフレームのままで動かなくなって、そのフレームを基本的には繰り返してしまう状況を指す。ブロック・ノイズ(Blockiness)は、一般にブロック形状又は矩形のエッジを有する視覚的な歪み(artifact)が現れることを指す。当業者であれば、こうした振る舞いが現れている表示映像にノイズが含まれることを理解しているであろう。例えば、ブラック・フレームは、視聴者は表示映像が黒のままで止まっているというかもしれないが、実際にはそこにある程度のノイズがあって、データが実際的には完全には均一ではない。
【0037】
図3は、ビデオ・データ・ストリーム評価システム300の例のブロック図である。ビデオ・ソース(映像源)302が、ビデオ・データ・ストリーム評価システム300にビデオ・データ・ストリームを供給する。ビデオ・データ・ストリームは、多数の別々の放送チャンネルを含んでいるとしても良い。この例では、ビデオ・データ・ストリーム評価システム300は、ビデオ・フレーム下処理モジュール304を有し、これはビデオ・ソース302からビデオ・データ・ストリームを受けて、例えば、図4に示す例に関して以下で説明するビデオ・フレームのフォーマットなどの下処理(前処理)ができる。実施形態によっては、ビデオ・フレーム下処理モジュール304は、図5に示す例に関して詳細に説明するように、HDデータとSDデータなどのビデオ・データ形式毎に、ビデオ・データをグループ化しても良い。
【0038】
1つ又は複数のチャンネルからのビデオ・データを適切にフォーマットし、オプションで他チャンネルの同じ変形をしたデータとまとめられたビデオ・データの1セット(組)が用意できると、ビデオ・フレーム下処理モジュール304は、例えば、ビデオ・データをデコーダのキュー(queue:処理待ちの列)の先頭に配置できるが、これは、結果としてビデオ・データをデコーダのリソース、例えば、ビデオ・フレーム・デコード・モジュール306に送ることができるということになる。ビデオ・フレーム・デコード・モジュール306は、ビデオ・フレーム下処理モジュール304から受けたビデオ・フレームをデコードし、デコードしたビデオ・フレームをビデオ・フレーム評価モジュール308に送る。
【0039】
もし期待した数の適切にデコードされたビデオ・フレームがビデオ・フレーム・デコード・モジュール306から現れなければ、どういう対応をするか判断するために、例えば、エラーを制御ブロックに送るようにしても良い。こうした状況は、ビデオ・データ中に実際にエラー(これは他の処理でもっと詳細に評価する必要がある)があるのが原因ということもあり得るが、そうした状況は、また、例えば、ビデオ・フレーム・デコード・モジュール306を充分にプリセットする時間がない又はデータを設定していない、といったデコーダに関する問題によっても引き起こされることがある。こうしたシナリオにおいては、ビデオ・フレーム・デコード・モジュール306は、リトライ(再挑戦)しても良く、次のサイクルでもっとビデオ・データを送るように要求するか、又は、特定のユーザに注意を促すようにしても良い。
【0040】
ビデオ・フレーム・デコード・モジュール306からデコードされたビデオ・フレームを受けると、ビデオ・フレーム評価モジュール308は、ビデオ・フレーム・デコード・モジュール306から受けたデコードされたビデオ・フレームに基いて、チャンネルを特定した評価を実施する。例えば、ビデオ・フレーム評価モジュール308は、ビデオ(映像)が、ブラック、フリーズ又はブロック・ノイズが現れるなどのような、何らかの望ましくない特性を示しているかどうかを判断できる。
【0041】
ある実施形態においては、ビデオ・フレーム評価モジュール308は、例えば、一般に使用されている多数のビデオ・フレーム比較アルゴリズムのいくつかを用いて、デコードされた複数のビデオ・フレームを、1つずつ個別に、そして互いに比較することによる測定によって、比較することで、複数のビデオ・フレームを評価する。ビデオ・フレーム評価モジュール308は、オプションで、将来あり得る評価のため、例えば、比較のために、各チャンネルにつき、少なくとも1つ前のサイクルの複数のビデオ・フレームのコピーを保存しておいても良い。
【0042】
ある実施形態においては、フリーズ・フレームについて、誤りを示すレートを効果的に減少させるために、例えば、同じチャンネルからの複数のビデオ・フレーム間に分離時間を設けるようにしても良い。もしそれらビデオ・フレームが、数秒の広がりにおいてほぼ同一であるなら、ノイズを除いて、隣接するフレームがほぼ類似しているというよりは、ビデオが本当にフリーズしている可能性がかなり高い。これは、隣接するフレームは通常高い相関があるからである。従って、ブラック又はフリーズ画像を効果的に検出するには、少なくとも2つのフレームを比較するビデオ・フレーム評価モジュール308が必要である。また、装置のエラーは、Iフレーム又はIDRフレームを単に見ているだけでは見逃す可能性があるので、ビデオ・フレーム評価モジュール308は、一般には、Iフレームに加えて、Pフレーム又はBフレームを注意して観察する。
【0043】
実施形態によっては、ビデオ・フレーム評価モジュール308が1つ又は複数のレポート312を発生でき、これは連続的、特定時点、又はある条件への合致に応答して送られる。例えば、ビデオ・フレーム評価モジュール308は、ビデオが特定の特性を示したときだけレポート312を送るように設定できる。レポート312には、警告(アラート)又はトリガ警告(図示せず)を含んでも良い。例えば、もしあるチャンネルが現在フリーズしているなら、ビデオ・フレーム評価モジュール308は、ローカルの技術サポート・チームへの警告(アラート)を含むレポート312又は警告としてのレポート312を発することができ、これによって、問題解決を直ちに開始できる。レポート312には、どのチャンネルが不調か、どのような症状が現在そのチャンネルで現れているか、どれくらい長くその症状が現れているか、というような種々の形式の情報を含めても良い。
【0044】
デコードされたビデオ・フレームの評価の一部として、ビデオ・フレーム評価モジュール308は、内部又は遠隔データベースのようなフレーム収納庫310から、予め蓄積したビデオ・フレームを取り出すことができる。例えば、ビデオ・フレーム評価モジュール308は、最も最近の前のビデオ・フレームのような多数の先のビデオ・フレームのいずれかと、現在のいくつかのビデオ・フレームとを比較できる。また、ビデオ・フレーム評価モジュール308は、今評価したビデオ・フレームをフレーム収納庫310に蓄積できるので、後に続く評価において、ビデオ・フレーム評価モジュール308はそれらを利用できる。
【0045】
開示した技術におけるある実施形態では、費用対効果が高く、ほぼリアルタイムの測定を、IPビデオ・ストリーム中の数百のビデオについて行うことができる。例えば、500チャンネルを有するIPビデオ・ストリームの場合を考えてみよう。2つの60フレーム毎秒ハードウェア・デコーダを含む実施形態では、平均して1チャンネル当たり3フレーム倍でデコードされると仮定すれば、500チャンネル全てを通しての1サイクルを12秒で完了できる。
【0046】
当業者であれば、ビデオ・データ・ストリーム評価システム300は、多数の異なるやり方で実施可能なことを理解できるであろう。例えば、ビデオ・データ・ストリーム評価システム300の個々の構成要素は、ハードウェア要素、ソフトウェア要素、又はこれらの組合せた要素で実現可能である。ハードウェア要素を含む実施形態では、構成要素を互いに別個なもの、1つのハードウェア要素の部分、又は、これらの組合せとしても良い。
【0047】
当業者であれば、開示技術には、ビデオ・データ・ストリーム評価システムに加えて(又はこれに代わる)、音声データ・ストリーム評価システムが含まれることを理解できるであろう。実施形態によっては、図3のビデオ・データ・ストリーム評価システム300のような1つのデータ・ストリーム評価システムが、多数の放送チャンネルの夫々に対応する音声データとビデオ・データの両方を扱うように構成できる。
【0048】
図4は、図3のビデオ・フレーム下処理モジュール304の詳細な例を示すブロック図である。この例では、ビデオ・フレーム下処理モジュール304が、ビデオ・フレーム選択モジュール402を含み、これは、ビデオ・ソース302から受け取ったビデオ・データ・ストリームからの1つの特定チャンネルについて、少なくとも2つのビデオ・フレームを選択する。ビデオ・フレーム選択モジュール402を使用して、入力されるビデオ・ストリーム通して読み、各チャンネルにつきデコード・リソースに最終的に送られる2つのビデオ・フレームだけを選択することによって、データを大幅に減少できる。ビデオ・ストリーム中のビデオ・オブジェクトを見つけるのに、全てをデコードする場合に比較して、大幅に少ない処理リソースで済む。
【0049】
ビデオ・フレーム選択モジュール402は、1つのチャンネルにつき、2つのIフレームを選択しても良い。これに代えて、ビデオ・フレーム選択モジュール402が、1つのIフレームと、Pフレーム又はBフレームの1つを選択しても良い。さらに別の実施形態では、ビデオ・フレーム選択モジュール402が、仮想的にIフレーム、Pフレーム及びBフレームの任意の組合せを選択しても良い。ある実施形態では、ビデオ・フレーム選択モジュール402は、1つのビデオ・ストリーム内で、2つ以上のビデオ・フレームを選択しても良い。
【0050】
ビデオ・フレームが選択された時点で、ビデオ・フレーム選択モジュール402は、選択されたビデオ・フレームのIDをビデオ・フレーム抽出モジュール404を送るようにしても良く、これによってビデオ・データ・ストリームから選択されたビデオ・フレームが抽出される。当業者であれば、ビデオ・フレーム選択モジュール402及びビデオ・フレーム抽出モジュール404がまとめて実装されても良いし、更には1つの部品として実装されても良いことが理解されるであろう。ビデオ・フレーム抽出モジュール404が選択されたビデオ・フレームを抽出した時点で、選択されたビデオ・フレームをビデオ・フレーム・フォーマット・モジュール406に送る。
【0051】
ビデオ・フレーム・フォーマット・モジュール406は、ビデオ・フレーム抽出モジュール404から受けた抽出ビデオ・フレームをフォーマットできる。例えば、選択されたフレームの位置が特定された時点で、ビデオ・フレーム・フォーマット・モジュール406は、データを処理待ち状態にし、ビデオ・フレーム・デコード・モジュール306での使用に適したフォーマットに設定する。実施形態によっては、ビデオ・フレーム・フォーマット・モジュール406が1つ以上の合成データ・ストリームを生成でき、それぞれは対応するビデオ・データをビデオ・フレーム・デコード・モジュール306でデコードするのに適したフォーマットにコピーする。ビデオ・フレーム・フォーマット・モジュール406は、デコード・タイムスタンプ(復号時刻情報)、プレゼンテーション・タイムスタンプ(提示時刻情報)及びメタデ―タのようなMPEGフォーマットの種々の細かい点を考慮でき、これらはビデオ・フレーム・デコード・モジュール306の適切な動作が確実になるように必要に応じて変形されても良い。
【0052】
図5は、複数チャンネル形式を扱うように、図3のビデオ・データ・ストリーム評価システム 300を変形した例を示すブロック図である。この例では、ビデオ・フレーム下処理モジュール304は、デコード処理を通して、データを送る前に同じ形式のビデオ・フレームをまとめて一緒に処理(バッチ処理)することで、デコーダのリセット時間及びセットアップ時間を減らすことができる。ある実施形態では、ビデオ・フレーム下処理モジュール304が、各ビデオ形式について、合成ストリームを生成できる。ここで使われているように、合成ストリームとは、新たに構成されたデータ・ストリームのことを一般に述べていて、これは対応する実際のビデオ・ストリームからコピーされたビデオ・データ(例えば、ある形式の全てのビデオ・データ)を含んでいる。
【0053】
抽出されたビデオ・フレームの比較的小さなセットを、それを受け取るデコーダが期待するフォーマットに再フォーマットすることによって、システムはデコーダをリセットする必要を回避でき、結果として、一般的にこれに係るであろう処理時間のロスを避けることができる。ビデオ・フレームの異なる形式の数は、通常、少ない(例えば、5個の形式)ので、数個の合成チャンネルを使用することによって、数百チャンネルのビデオ・パイプライン処理を含む状況においてさえ、デコード・リソースで非常に効率的な処理が行える。
【0054】
ビデオ・フレームがSDビデオ・チャンネルとHDビデオ・チャンネルが混じったものを含む状況においては、例えば、ビデオ・フレーム下処理モジュール304が複数のSDチャンネルを一度に処理(バッチ処理)して第1合成ストリームとし、第1合成ストリームをビデオ・フレーム・デコード・モジュール306に送ることができる。ビデオ・フレーム下処理モジュール304は、また、複数のHDチャンネルを一度に処理(バッチ処理)して第2合成ストリームとし、第2合成ストリームをもう1つのビデオ・フレーム・デコード・モジュール506に送ることができ、ビデオ・フレーム・デコード・モジュール506はストリームをデコードして、デコードしたフレームをもう1つのビデオ・フレーム評価モジュール508に渡し、これがHDデータに関するレポート510をオプションで生成するようにしても良い。
【0055】
HDチャンネルの変形版が複数ある状況においては、ビデオ・フレーム下処理モジュール304は、各変形版をバッチ処理できる。例えば、図5のビデオ・フレーム下処理モジュール304は、変形版をまとめてバッチ処理し、それを1つのストリームとして更に別のビデオ・フレーム・デコード・モジュール512に送る。モジュール512は、複数のビデオ・フレームをデコードし、それらを第3のビデオ・フレーム評価モジュール514に送る。モジュール514は、オプションでその変形版に関するレポート516を生成しても良い。
【0056】
図5のビデオ・データ・ストリーム評価システム 300では、ビデオ・フレーム・デコード・モジュール306、506及び512と、ビデオ・フレーム評価モジュール308、508及び514の夫々からなる別々の3セットで示している。しかし、当業者であれば、別の実施形態として、複数別々のデコード・リソース及び評価コンポーネントの代わりに、複数ストリームの複数グループを処理する1つのビデオ・フレーム・デコード・モジュール又は1つのビデオ・フレーム評価モジュールを含むものでも良いことが理解できるであろう。
【0057】
図6は、図3のビデオ・データ・ストリーム評価システム300の例を示すブロック図である。これには、高速スキャン・ビデオ評価モジュール602及び詳細(deep:ディープ)スキャン・ビデオ評価モジュール604がある。この例では、高速スキャン・ビデオ評価モジュール602は、ブラック、フリーズ又はブロック・ノイズが現れるといった特定のエラーについて、高速なスキャンを実行できる。ここで用いているように、高速スキャンとは、多数の異なるチャンネルの連続スキャンのことを言っていて、このとき、高速スキャン・ビデオ評価モジュール602は、次に評価するチャンネルに進む前に、1チャンネルにつき最小数のフレーム、例えば、2フレームを選択し、抽出し、評価する。
【0058】
高速スキャン・ビデオ評価モジュール602は、全てのチャンネルに渡って高速スキャンを実行する。ただし、これは詳細さ(deep:深さ)に制限があり、1チャンネルにつき検査するデータ量に制約がある。このように、ある1つのチャンネルについてのベースバンドの限られたセットについて測定を実施し、そのチャンネルについての結果をレポートし、そして、次のチャンネルへと高速に、典型的にはリアルタイムに近いサイクルで進む。もし高速スキャン・ビデオ評価モジュール602がトリガとなり得るもの、例えば、ブラック・ビデオやフリーズ・ビデオの可能性のあるものを検出すると、ビデオ・データ・ストリーム評価システム 300は、詳細スキャン・ビデオ評価モジュール604を起動し、より長い時間をかけてそのチャンネルを調べ、その疑わしい状態が本当に存在するのかを確認する。
【0059】
ここで用いているように、詳細スキャン(deep scan)又は詳細探査(deep dive)とは、一般に、あるチャンネルのより長時間で、より詳細なビデオ分析のことを言っている。詳細スキャンは、高速スキャンでの疑惑のあるものを効率よく検討し、それらを確実性の高い結果へと変換する。例えば、高速スキャン・ビデオ評価モジュール602による高速スキャンによって、ある特定のチャンネルがフリーズして提示されているように見うけられる場合には、詳細スキャン・ビデオ評価モジュール604は、そのチャンネルが本当にフリーズしているか、そのチャンネルを数秒かけて詳細に観測し、信頼性の高い結果を得る。詳細スキャンが起動することのある別の状況としては、ある1つのチャンネルについてGOP(group of pictures:複数画面からなるグループ)の構成が変わった場合がある。こうした状況では、詳細スキャン・ビデオ評価モジュール604が、GOPの変化が原因でベースバンド・ビデオに問題が生じているか、そのチャンネルについて通常よりも多くの注意を払うようにできる。
【0060】
ある実施形態では、評価対象チャンネルのリストによって、詳細スキャン・ビデオ評価モジュール604を駆動するようにもできる。このリストによって、複数チャンネルについての優先順位を示すことができる。例えば、このリストは、例えば、外部の自動ビデオ管理システムから、高速スキャン処理又はユ―ザ要求によって特定されたチャンネルについて、詳細分析の優先順位を高くするようにできる。このリストによって、詳細スキャン・ビデオ評価モジュール604に、ある特定チャンネルについて詳細スキャンを実施するようしたり、例えば、ペイ・パー・ビュー・チャンネルのような優先順位の高いチャンネルについて、より頻繁に詳細スキャンを実施するように管理できる。詳細スキャン・ビデオ評価モジュール604は、例えば、リストによって詳細スキャン処理をしないようになっているときも、全チャンネルについて詳細スキャンを連続して実施するようにも設定できる。
【0061】
ある実施形態においては、観測するチャンネルのリストを設定するのに、スマート・アラーム処理及びエンジン・コントロールを用いても良い。スマート・アラーム処理及びエンジン・コントロールによって、システムが検知し、追跡すべき多数のビデオ特性を指定することもできる。ある実施形態においては、スマート・アラーム処理及びエンジン・コントロールは、例えば、図3のレポート312のような分析結果を受けて、その情報をどのように扱うかを判断できる。その情報に基づいて、スマート・アラーム処理及びエンジン・コントロールは、アラームを生成し、例えば、特定のユーザ又はネットワーク管理システムにアラームを送信するかどうかを決定できる。
【0062】
図7は、マシン制御によるビデオ・データ・ストリーム評価方法700の例を示したフローチャートである。ステップ702では、入力されるビデオ・データ・ストリーム内のある1つの特定チャンネルについて、2以上のビデオ・フレームが選択される。ある実施形態においては、システムがIフレーム又はIDRフレームの最初から開始しても良い。そのチャンネルについて2つ以上のフレームが選択された時点で、それらはステップ704に示されるようにビデオ・データ・ストリームから抽出できる。ある実施形態においては、抽出とは、選択されたビデオ・フレームに対応するビデオ・データを新しく生成した合成ストリームにコピーすることを述べている。
【0063】
ステップ706では、抽出ビデオ・フレームがデコード・リソースに送られる前にフォーマットされる。次にフォーマットされたビデオ・フレームは、ステップ708に示されるようにデコードされる。デコード・リソースが既にいくらかのビデオ・フレームをデコードしている実施形態においては、デコード処理は、デコーダをリセットし、次のデータ・セットを受けるように準備することによって開始しても良い。デコーダの準備ができた時点で、ビデオ・データはデコーダを通して送信され、その出力がキャプチャされるようにできる。そして、得られたフレームには、評価リソースに送られる前に、チャンネル情報、タイミング情報、その他のメタデータ(デコーダ・フラグなど)といったタグが付与される。
【0064】
ステップ710では、デコーダから受けたフォーマット済みビデオ・フレームが評価される。例えば、複数のビデオ・フレームは、ブラック・ビデオ、フリーズ・ビデオ、又は、ブロック・ノイズがあるかといった特定の望ましくない特性が評価対象のビデオ・フレームに現れているかどうか判定するのに、お互いを比較して、又は、前もって蓄積されたビデオ・フレームと比較して評価しても良い。ステップ712に示されるように、評価結果が生成され、更にオプションで、結果に基いて取り得るアクションに合わせて1つ又は複数の受け手に評価結果が送られる。例えば、放送ビデオ・プロバイダは、怒った顧客から電話を受ける前に、あるチャンネルについて検出されたブラック・ビデオ又はフリーズ・ビデオについて、先手先手で注意を払うように技術サポート担当者に勧告できる。
【0065】
図8は、マシン制御によるビデオ・データ・ストリーム評価の別の例による方法800を示したフローチャートである。ステップ802では、ある1つの特定チャンネルについて、ビデオ・データ・ストリームから2つ以上のビデオ・フレームが選択される。ステップ804では、選択されたビデオ・フレームが抽出され、フォーマットされ、デコード・リソースに送られて、デコード・リソースがステップ806に示すようにビデオ・フレームをデコードする。
【0066】
ステップ808では、ステップ806でのデコード中に何らかのエラーが生じたかどうかに関して判断される。もしエラーが検出されると、ステップ810に示すように、エラー処理を起動しても良い。例えば、エラー・メッセージが指定の受け手に送られるようにしても良い。もしエラーが検出されないか、又はあるエラーが検出されたものの害がないと見なせるものか、現在の処理と関係のないものの場合には、ステップ812に示すようにビデオ・フレームが評価される。例えば、現在そのチャンネルに配信されているビデオがブラック、フリーズ又はブロック・ノイズであるかどうかを、システムが判断できる。ステップ812での評価は、チャンネルの高速スキャンを含むとしても良い。
【0067】
ステップ814では、評価対象チャンネルについて詳細スキャンを実行するかに関して判断される。そのチャンネルの高速スキャンの結果、そのチャンネルにブラック・ビデオ又はフリーズ・ビデオが現れている可能性が検出されると、そのチャンネルに本当にその特定の特性が現れているかどうか確認するするため、システムは、そのチャンネルの詳細スキャンを起動できる。もし詳細スキャンを行うことになったら、処理はステップ802に戻る。もしブラック・ビデオ又はフリーズ・ビデオの可能性が確認されたら、システムは、そのチャンネルについてもっと多数のビデオ・フレームをもっと長時間観察し、信頼性の高い判断基準を得る。もし詳細スキャンをしないなら、ステップ816に示すように、現在のチャンネルの処理は停止できる。この時点で、方法800は、次の被評価チャンネルに関して開始できる。
【0068】
開示技術について示した実施形態は、おおよそIPビデオにフォーカスしたものであるが、当業者であれば、衛星、ケーブル又は地上波の伝播メディアにも応用可能であることが理解されるであろう。以下に、開示技術の実施形態を実現するのに適切したマシンの一般的な説明を行う。
【0069】
以下の説明は、開示技術の実施形態を実現可能な適切なマシンについて、簡潔で一般的に記述しようと意図したものである。ここで用いているように、用語「マシン(マシン:機械)」とは、単一のマシンか、一緒に動作する複数のマシン又はデバイスが通信可能に結合したシステムを広く網羅している。典型的なマシンは、パソコン、ワークステーション、サーバ、ポータブル・コンピュータ、ハンドヘルド・デバイス、テブレット・デバイスなどのようなコンピューティング・デバイスを含んでも良い。
【0070】
典型的には、マシンには、システム・バスがあり、これにプロセッサ、メモリ(例えば、ランダム・アクセス・メモリ(RAM)、リード・オンリ・メモリ(ROM)その他のステート保持メディア)、ストレージ・デバイス、ビデオ・インタフェース、そして、入出力インタフェース・ポートが取り付けられる。マシンは、また、プログラマブル又はノン・プログラマブル・ロジック・デバイス又はアレー、ASIC(特定用途向けIC)、エンベッデッド・コンピュータ、スマート・カードのようなエンベッデッド(embedded:埋め込み)コントローラを含んでも良い。マシンは、少なくとも一部は、他のマシンや、仮想現実環境を用いたインターアクション、バイオメトリック・フィードバック、その他の入力信号からの指示によってだけでなく、従来の入力デバイス(例えば、キーボード、マウスなど)からの入力によって制御されても良い。
【0071】
マシンは、ネットワーク・インタフェース、モデムなどの通信手段を通して、1つ以上の遠隔マシンへの1つ以上の接続を利用しても良い。複数のマシンは、イントラネット、インターネット、ローカル・エリア・ネットワーク(LAN)、ワイド・エリア・ネットワーク(WAN)などのような物理的又は論理的なネットワークによって、相互に接続されても良い。当業者であれば、ネットワーク通信は、無線周波数(RF)、衛星、マイクロウェーブ、IEEE545.11、Bluetooth、光、赤外線、ケーブル、レーザを含む種々の有線又は無線の短距離又は長距離キャリア及びプロトコルを用いることができることを理解できるであろう。
【0072】
開示技術の実施形態は、マシンでアクセスされたときに、マシンがタスクを実行したり、概要データ形式又は低レベル・ハードウェア・コンテキストを定義するという結果が得られる機能、処理手順、データ構造、アプリケーション・プログラム、命令などを含む関連データを参照したり、併せて考えることで説明できる。関連データは、例えば、揮発性又は不揮発性メモリ(例えば、RAM及びROM)や他のストレージ・デバイス及び関連するストレージ・メディアに記録できる。このストレージ・メディアには、ハードディスク・ドライブ、フレキシブル・ディスク・ドライブ、光ストレージ・メディア、フラッシュ・メモリ、メモリ・スティック、デジタル・ビデオ・ディスク、バイオロジカル・ストレージ、その他の有形の物理的ストレージ・メディアを含めることができる。
【0073】
関連データは、物理的又は論理的ネットワークを含む伝送環境を通じて、パケット、シリアル・データ、パラレル・データ、伝播された信号などとして配信でき、圧縮又は暗号化されたフォーマットの形で利用できる。関連データは、分布された環境で利用でき、マシンがアクセスに関してローカルに又は遠隔に蓄積される。
【0074】
本発明の原理は、図示した実施形態を参照しつつ、説明及び図示してきたが、図示した実施形態はそうした原理から逸脱することなく、配置や詳細を変形でき、また、望ましい形態に組み合わせることができることが理解できるであろう。そして、上述の説明は特定の複数の実施形態にフォーカスしたものであったが、他の構成も考えられる。特に、「本発明の実施形態によると」などの表現がここでは用いられているが、こうした言い回しは、一般的に参考として実現可能な実施形態であることを意味するもので、本発明が特定の実施形態の構成に限定されることを意味するものではない。ここで用いているように、これら用語は、参考までに同じ又は異なる実施形態であって、他の実施形態に組合せ可能なことを意味する。
【0075】
結果として、ここに記載した実施形態は広く種々の変更が行えるという観点から、本願における詳細な説明及び付随する資料は、説明用に過ぎず、本発明の要旨を限定するものと考えるべきではない。本願発明には、以下の特許請求の範囲の記載とそれに等化なものに基づく要旨と思想の範囲に含まれる全ての変形が含まれる。
【符号の説明】
【0076】
300 ビデオ・データ・ストリーム評価システム
302 ビデオ・ソース
304 ビデオ・フレーム下処理モジュール
306 ビデオ・フレーム・デコード・モジュール
308 ビデオ・フレーム評価モジュール
310 フレーム収納庫
312 レポート
402 ビデオ・フレーム選択モジュール
404 ビデオ・フレーム抽出モジュール
406 ビデオ・フレーム・フォーマット・モジュール
506 ビデオ・フレーム・デコード・モジュール
508 ビデオ・フレーム評価モジュール
510 レポート
512 ビデオ・フレーム・デコード・モジュール
514 ビデオ・フレーム評価モジュール
516 レポート
602 高速スキャン・ビデオ評価モジュール
604 詳細スキャン・ビデオ評価モジュール
606 レポート
608 レポート

【特許請求の範囲】
【請求項1】
マシン制御によるビデオ・データ・ストリームの評価方法であって、
複数のビデオ・フレームを夫々含むチャンネルが、夫々複数含まれるビデオ・データ・ストリームをビデオ・データ・ソースから受けるステップと、
複数の上記チャンネルの内の1つの特定チャンネルに対応する複数の上記ビデオ・フレームから少なくとも2つのビデオ・フレームを選択するステップと、
上記ビデオ・データ・ストリームから選択された上記ビデオ・フレームを抽出するステップと、
抽出された上記ビデオ・フレームを夫々デコードするステップと、
デコードされた上記ビデオ・フレームの少なくとも1つを、デコードされた他の上記ビデオ・フレーム又は前もって蓄積されたビデオ・フレームの少なくとも1つと比較するステップと、
上記比較ステップにおける比較結果に少なくとも一部は基づいて上記ビデオ・データ・ストリームの評価を生成するステップと
を具えるビデオ・データ・ストリーム評価方法。
【請求項2】
入力されるビデオ・データ・ストリームを受けるように動作するビデオ・データ・レシーバと、
入力される上記ビデオ・データ・ストリーム内の1つの特定チャンネルに対応する少なくとも2つのビデオ・フレームを選択するよう動作するビデオ・データ選択モジュールと、
上記ビデオ・データ・ストリームから選択された上記ビデオ・フレームを抽出するよう動作するビデオ・データ抽出モジュールと、
上記ビデオ・データ・ストリームから選択され、抽出された上記ビデオ・フレームをデコードするよう動作するビデオ・データ・デコーダと、
デコードされた上記ビデオ・フレームの夫々を少なくとも1つの基準ビデオ・フレームに対して比較するよう動作するビデオ・データ比較モジュールと、
上記ビデオ・データ比較モジュールから受けた出力情報に少なくとも一部は基づいて上記特定チャンネルについてのレポートを生成するよう動作するビデオ・データ評価モジュールと
を具えるビデオ・データ・ストリーム評価システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2012−204878(P2012−204878A)
【公開日】平成24年10月22日(2012.10.22)
【国際特許分類】
【出願番号】特願2011−64917(P2011−64917)
【出願日】平成23年3月23日(2011.3.23)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.Bluetooth
【出願人】(503050951)テクトロニクス・インターナショナル・セールス・ゲーエムベーハー (35)
【Fターム(参考)】