データストリームにおけるビデオデータ及び関連するメタデータを送信する方法
本願は、ビデオデータストリームにおけるビデオデータと、関連するビデオデータ構造を表すメタデータとを送信する方法に関する。本方法は、ビデオデータの構造を決定するステップと、構造をインクリメンタルな方法によりチャンクに分割するステップと、関連するビデオデータの前の時間インターバルにおいて前記データストリームにおいて前記チャンクを送信するステップとを有する。本願はまた、ビデオデータストリームにおけるビデオデータに係るフィンガープリント情報を送信する方法に関する。本方法は、ビデオデータの少なくとも１つのフレームに係るフィンガープリントを決定するステップと、フィンガープリント情報を有するメッセージをビデオストリームに少なくとも挿入するステップとを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データストリームにおけるビデオデータと関連するビデオデータ構造を表す関連するメタデータとを送信する方法に関する。
【０００２】
本発明はまた、データストリームにおけるビデオデータとビデオデータ構造に係るフィンガープリント情報を表す関連するメタデータとを送信する方法に関する。
【背景技術】
【０００３】
ビデオビットストリームに埋め込まれるビデオアノテーション情報は、潜在的にはかなり多くの用途に役立つかもしれない。
・インターネットビデオ検索
・編集マテリアル検索
・記憶媒体のインデックス化及び抽出
・ＶＯＤにおけるビデオブラウジング、チャネル選択、ＰＶＲなど
・ビデオコピー検出
・検索結果クラスタリング
これらの用途は、
・ビデオドキュメントへのテキストアノテーションの要求
・視覚的類似性検索のための視覚的特徴の要求
・ビデオナビゲーションのためのビデオ構造情報の要求
の３つのカテゴリに結論付けることが可能である。
【０００４】
圧縮されたビデオストリームにおいてより多くの機能をサポートする要求が大きくなるに従って、ＩＴＵ−Ｔ Ｈ．２６４規格とも呼ばれるＨ．２６４／ＡＶＣは、主として復号化に関連する処理に役立ちうるＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージを採用した。現在、上記規格は、各種アプリケーションをサポートするため約２０タイプのＳＥＩシンタックスを規定している。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、ビデオ構造及びフィンガープリントの機能的サポートによるビデオ符号化のフレームワークを提案する。
【課題を解決するための手段】
【０００６】
第１の態様によると、本発明は、ビデオデータストリームにおけるビデオデータに係るフィンガープリント情報を送信する方法に関する。本発明の本態様によると、本方法は、前記ビデオデータの少なくとも１つのフレームに係るフィンガープリントを決定するステップと、前記フィンガープリント情報を有するメッセージを前記ビデオストリームに少なくとも挿入するステップとを有する。
【０００７】
好適な実施例によると、前記ビデオデータは、ＩＴＵ−Ｔ Ｈ．２６４規格に準拠し、前記フィンガープリント情報は、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージにカプセル化される。
【０００８】
好適な実施例によると、前記データ構造は、各ノードが複数のリーフを有する複数のノードを有し、各チャンクは、複数のノードと複数のリーフとを有する。
【０００９】
好適な実施例によると、前記ビデオデータは、符号化され、前記チャンクは、前記符号化されたビデオデータにおけるメッセージにカプセル化され、前記チャンクは、該チャンクにおいて構成されるノードの記述又は該記述が次のチャンクに構成されていることを示す情報を有する。
【００１０】
好適な実施例によると、前記ビデオデータは、ＩＴＵ−Ｔ Ｈ．２６４規格に準拠する符号化されたメタデータであり、前記メタデータは、少なくともＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージにおいて送信される。
【００１１】
好適な実施例によると、前記記述に構成される情報は、ノード識別子、前記ノードが前記情報に記述されているか示す表示、並びに、前記ノードが現在の前記情報に記述されている場合、前記ノードが関連付けされる前記ビデオ情報を表す名前、前記ノードが関連付けされる前記ビデオ情報の時間を表すタイムコード、及びいくつかのサマリセグメント、及び各サマリセグメントについて、該サマリセグメントを表す名前、該サマリセグメントに係るセマンティック情報を表すカテゴリ及びキーフレーム、クリップ又はテキスト記述から選ばれたセグメントのタイプを示すキー記述から又は前記情報の何れかの組み合わせから選ばれる。
【００１２】
第２の態様によると、本発明は、データストリームにおけるビデオデータと関連するビデオデータ構造を表す関連するメタデータとを送信する方法に関する。本発明の本態様によると、本方法は、前記ビデオデータの構造を決定するステップと、前記構造をインクリメンタルな方法によりチャンクに分割するステップと、関連する前記ビデオデータの前の時間インターバルにおいて前記データストリームにおいて前記チャンクを送信するステップとを有する。
【００１３】
第３の態様によると、本発明はまた、ビデオデータの構造を決定する手段と、前記構造をインクリメンタルな方法によりチャンクに分割する手段と、関連する前記ビデオデータの前の時間インターバルにおいて前記チャンクをデータストリームに挿入する手段とを有するビデオ符号化装置に関する。
【００１４】
第４の態様によると、本発明はまた、ビデオデータの少なくとも１つのフレームに係るフィンガープリントを決定する手段と、前記フィンガープリント情報を有するメッセージをビデオストリームに少なくとも挿入する手段とを有するビデオ符号化装置に関する。
【００１５】
好適な実施例によると、第４の態様によるビデオ符号化装置は、ＩＴＵ−Ｔ Ｈ．２６４規格に準拠し、前記構造情報は、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージにカプセル化される。
【００１６】
好適な実施例によると、当該ビデオ符号化装置は、ＩＴＵ−Ｔ Ｈ．２６４規格に準拠し、前記フィンガープリント情報は、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージにカプセル化される。
【００１７】
第５の態様によると、本発明はまた、符号化されたビデオ情報を復号化する手段と、前記符号化されたビデオデータに挿入された関連するビデオデータをインクリメンタルな方法により復号化する手段と、無線受信された前記インクリメンタルなビデオデータ構造により前記ビデオデータ構造を再構成する手段とを有するパーソナルビデオレコーダに関する。
【００１８】
第６の態様によると、本発明はまた、符号化されたビデオ情報を復号化する手段と、前記符号化されたビデオデータに構成されるフィンガープリント情報を復号化する手段と、受信した符号化されたビデオデータを格納する手段と、複数の記録されたビデオデータをそれらのフィンガープリント情報に基づき比較する手段とを有するパーソナルビデオレコーダに関する。
【発明の効果】
【００１９】
本発明の他の特徴及び効果は、付属の図面を用いて説明される本発明の非限定的な実施例の説明を介して明らかになるであろう。
【図面の簡単な説明】
【００２０】
【図１】図１は、本発明の好適な実施例によるビデオの構造情報を表す。
【図２】図２は、本発明の好適な実施例によるビデオのインクリメンタルな分解を表す。
【発明を実施するための形態】
【００２１】
ビデオ構造の説明は、任意のオーディオビジュアルドキュメントのセマティックな構成の説明からなる。本説明は、ドキュメントのトップダウンな分解を提供する階層構造である。
【００２２】
この情報は、ドキュメントのショートサマリを表示するため、又はドキュメントを迅速にナビゲートするため、使用されてもよい。
【００２３】
ビデオ構造は、階層的構成を記述する。ドキュメントのタイプに従って、ドキュメントの構造を取得するのに使用される方法は異なるかもしれない。ビデオがテニスゲームを表す場合、その構造はフットボールのゲームとは異なっており、ビデオがフィルムを表している場合もまた異なっている。ビデオの構造を取得する既知の方法が複数存在する。
【００２４】
図１は、ビデオの取得された構造を表す。この構造は、ノードとリーフとを有するツリーにより表されるビデオの階層的分解として表される。ノードとリーフの個数は、ビデオコンテンツとそれの長さに依存する。ツリーの深さは、典型的には、コンテンツに依存する。ツリーの最も低いレベルは、構造分解の最も高い粒度に対応する。例えば、テニスの試合では、最も低いレベルはポイントに対応しうる。
【００２５】
図１に示されるように、ツリーの最低レベルは、クリップ（小さなビデオ）又はキーフレームに直接対応しうる。より低い粒度によると、最低レベルはテニスに関してはゲームに対応しうると仮定できる。
【００２６】
放送の分野では、デコーダはストリームの任意のポイントにおいてストリームの受信を開始するかもしれない。デコーダがこの構造情報を利用するため、ツリー記述全体がストリームにおいて繰り返される必要がある。この手法による問題は、これは冗長さを表し、過大な帯域幅を使用する可能性があるということである。
【００２７】
このため、本発明は、図２に示されるように、構造情報をチャンクに分割することを提案する。
【００２８】
提案されたシンタックスは、ストリームが流れるときにインクリメンタルな方法によりグラフを送信することを可能にする。
【００２９】
そのアイデアは、連続する時点において送信される複数のチャンクを用いてツリー記述を分割するというものである。
【００３０】
すべてのチャンクは、ビデオコンテンツの対応部分の前に送信されることが想定される。
【００３１】
図２では、ツリーは３つのチャンクに分割される。ノード識別子は、デコーダのメモリにおいてツリー全体を再構成することを可能にする。
【００３２】
時点ｔ１において、次の入力ビデオの構造を示すメッセージがストリームに挿入される。この構造は、チャンク１において示される。
【００３３】
時点ｔ２において、次の入力ビデオの構造を示すメッセージがストリームに挿入される。この構造は、チャンク２において示される。
【００３４】
時点ｔ３において、次の入力ビデオの構造を示すメッセージがストリームに挿入される。この構造は、チャンク３において示される。
【００３５】
ＩＴＵ−Ｔ Ｈ．２６４に従ってデータが符号化されるとき、構造情報はＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）にカプセル化される。
【００３６】
ＳＥＩメッセージの構造は、以下のテーブルに与えられる。
【００３７】
【表１】
「Ｒｅｆｅｒｅｎｃｅ」フィールドは、所与のノードが現在のメッセージに記述されているか、又は以降のメッセージに記述されているかを示す。
【００３８】
本発明の他の実施例によると、すべてのチャンクはまた、放送されるビデオの始めに送信可能である。これは、全体構造がデコーダにおいて放送されたビデオの始めに利用可能になることを可能にする。
【００３９】
好適な実施例では、各チャンクは、ＳＥＩメッセージが適用されるビデオを有するＮＡＬの前にＳＥＩメッセージにおいて１度送信される。
【００４０】
各ＳＥＩメッセージは、スタート情報及びエンド情報として参照されるビデオ情報の絶対値を示すタイムコードを有する。ドキュメントへのナビゲートの際にユーザにとって意味のあるものとなるように、各セグメントは名前により表され、各セグメントはまた、ＳＨＯＴ、ＳＣＥＮＥ、ＥＶＥＮＴ、ＮＥＷＳ＿ＳＴＯＲＹなどの具体的な識別子により識別可能である。これは、セグメントの粒度を与える。各セグメントはまた、ビデオのコンテンツとＧＯＡＬ、ＭＡＴＣＨ、ＧＡＭＥ、ＳＥＴなどを表すセマンティック情報を用いて識別できる。この最後のメタデータは、ビデオインデックス化アプリケーションのための情報を与える。
【００４１】
「Ｋｅｙ Ｄｅｓｃｒｉｐｔｉｏｎ」のフィールドはまた、当該セグメントが各年代に知られた重要人物からの極めて重要な宣言などを含むセグメントのキーフレーム、ビデオクリップ又はテキスト記述である場合、セグメントの粒度を示す。
【００４２】
ＳＥＩメッセージのシンタックスは、ツリー構造が再帰的であるとき、再帰的なものとなる。
【００４３】
チャンクへの埋め込みコンポーネントの個数Ｎがまた与えられる。
【００４４】
このため、順次にチャンクを受信すると、各チャンクはその他のチャンクから独立していないが、テーブル１に記載されるシンタックスとノード識別子により完全にリンクされているため、ビデオデータの全体構造を再構成することができる。
【００４５】
ここで、ビデオと共にフィンガープリント情報を送信する方法を提案する本発明の第２の態様について説明する。
【００４６】
ビデオフィンガープリント処理は、２つのビデオドキュメントがおそらく同一のコンテンツ又はコンテンツの一部を含むことを検出可能にする技術である。それは、（意図的に又はそうでなく）変更されたコンテンツを処理することが可能である。これらの変更は、
・クロッピング（ｃｒｏｐｐｉｎｇ）
・圧縮
・回転
・画像変更（ｂｌｕｒ．．）
を含む。
【００４７】
ビデオフィンガープリント処理の周知な応用は、ドキュメントの不正コピーの検出である。しかしながら、ビデオフィンガープリント処理は２つの類似するドキュメントを識別する信頼できる方法を提供するため、それは、ビデオコレクションへの重複の検出又は編集されたドキュメント全体におけるクリップの抽出を含む他の多数のアプリケーションを有する。
【００４８】
これらのアプリケーションは、典型的には、“コンテンツによるクエリ（ｑｕｅｒｙ ｂｙ ｃｏｎｔｅｎｔ）”をサポートする純粋に視覚的な類似性に基づくアプリケーションとは異なる。それらは、ほとんど正確に一致した２つのコピーを抽出することを目的としている。
【００４９】
フィンガープリント処理技術は、特定の検索アプリケーションにより効率的に処理可能なコンテンツからの記述情報の抽出に依拠する。この記述情報は、ビデオコンテンツを伸張及び解析する必要なく検索するのに即座に利用可能となるように、メタデータに格納可能である。
【００５０】
好適な実施例によると、ビデオデータは、ＩＴＵ−Ｔ Ｈ．２６４規格に従って符号化される。フィンガープリント情報は、次のテーブルに規定されるようなＳＥＩメッセージにカプセル化される。
【００５１】
【表２】
フィンガープリントＳＥＩメッセージは、ストリームの任意の位置に出現しうる。このようなメッセージは任意数存在しうるものであり、フレーム毎に高々１つである。典型的には、ショット毎に１つのフィンガープリントメッセージが存在する。
【００５２】
フィンガープリントメッセージは、関連付けされ、テーブル２においてリファレンスフレームと呼ばれる正確なフレームを指定する（そこから抽出された）。これは、時間的な制約を考慮するのに必要なフィンガープリントチェック機構により要求される。
【００５３】
タイムコードは、埋め込みドキュメントについて時、分、秒、フレーム番号により記述される。３バイトと１ニブル、ｂ（８），ｂ（８），ｂ（８），ｎ（４）により表される。
【００５４】
ドキュメントが編集されている場合、このメタデータは再生成される必要があるであろう。
【００５５】
「フィンガープリントアルゴリズムインデックス（Ｆｉｎｇｅｒｐｒｉｎｔ Ａｌｇｏｒｉｔｈｍ Ｉｎｄｅｘ）」は、このフレームを記述するのに用いられるビデオフィンガープリントアルゴリズムのインデックスである。いくつかの異なるビデオフィンガープリントアルゴリズムが、フレーム、ショットを記述するのに利用可能である。
【００５６】
２つのビデオフィンガープリントが異なる２つのアルゴリズムにより抽出された場合、直接的なフィンガープリントの比較は不可能である。
【００５７】
シンタックスの定義の内部では、ｕ（ｎ）はｎビットを使用した符号のない整数を表し、ｂ（８）は何れかのビット文字列のパターンを有するバイト（８ビット）を表し、ｐａｙｌｏａｄＳｉｚｅは、ｖｉｄｅｏ＿ａｎｎｏｔａｔｉｏｎ＿ＳＥＩペイロード全体のバイトによるサイズである。ここでは、迅速なビットストリームパーシングを促進するため、可変長符号化は使用されない。
【００５８】
フィンガープリントとビデオ構造の双方の情報は、他のビデオアノテーション情報を有するハイレベルなＳＥＩメッセージに組み合わせ可能である。
【００５９】
例えば、次のテーブルは、ビデオアノテーションに関する複数タイプのメタデータを有するＳＥＩメッセージ構造を提案することができる。
【００６０】
【表３】
本発明の範囲から逸脱することなく、本発明はまた、ビデオデータの構造を決定する手段と、前記構造をインクリメンタルな方法によりチャンクに分割する手段と、関連する前記ビデオデータの前の時間インターバルにおいて前記チャンクをデータストリームに挿入する手段とを有するビデオ符号化装置に関する。
【００６１】
好ましくは、このビデオ符号化装置は、ＩＴＵ−Ｔ Ｈ．２６４規格に準拠し、前記構造情報は、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージにカプセル化される。
【００６２】
本発明はまた、ビデオデータの少なくとも１つのフレームに係るフィンガープリントを決定する手段と、前記フィンガープリント情報を有するメッセージをビデオストリームに少なくとも挿入する手段とを有するビデオ符号化装置に関する。
【００６３】
好ましくは、このビデオ符号化装置は、ＩＴＵ−Ｔ Ｈ．２６４規格に準拠し、前記フィンガープリント情報は、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージにカプセル化される。
【００６４】
本発明はまた、符号化されたビデオ情報を復号化する手段と、前記符号化されたビデオデータに挿入された関連するビデオデータをインクリメンタルな方法により復号化する手段と、無線受信された前記インクリメンタルなビデオデータ構造により前記ビデオデータ構造を再構成する手段とを有するパーソナルビデオレコーダに関する。
【００６５】
本発明はまた、符号化されたビデオ情報を復号化する手段と、前記符号化されたビデオデータに構成されるフィンガープリント情報を復号化する手段と、受信した符号化されたビデオデータを格納する手段と、複数の記録されたビデオデータをそれらのフィンガープリント情報に基づき比較する手段とを有するパーソナルビデオレコーダに関する。
【技術分野】
【０００１】
本発明は、データストリームにおけるビデオデータと関連するビデオデータ構造を表す関連するメタデータとを送信する方法に関する。
【０００２】
本発明はまた、データストリームにおけるビデオデータとビデオデータ構造に係るフィンガープリント情報を表す関連するメタデータとを送信する方法に関する。
【背景技術】
【０００３】
ビデオビットストリームに埋め込まれるビデオアノテーション情報は、潜在的にはかなり多くの用途に役立つかもしれない。
・インターネットビデオ検索
・編集マテリアル検索
・記憶媒体のインデックス化及び抽出
・ＶＯＤにおけるビデオブラウジング、チャネル選択、ＰＶＲなど
・ビデオコピー検出
・検索結果クラスタリング
これらの用途は、
・ビデオドキュメントへのテキストアノテーションの要求
・視覚的類似性検索のための視覚的特徴の要求
・ビデオナビゲーションのためのビデオ構造情報の要求
の３つのカテゴリに結論付けることが可能である。
【０００４】
圧縮されたビデオストリームにおいてより多くの機能をサポートする要求が大きくなるに従って、ＩＴＵ−Ｔ Ｈ．２６４規格とも呼ばれるＨ．２６４／ＡＶＣは、主として復号化に関連する処理に役立ちうるＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージを採用した。現在、上記規格は、各種アプリケーションをサポートするため約２０タイプのＳＥＩシンタックスを規定している。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、ビデオ構造及びフィンガープリントの機能的サポートによるビデオ符号化のフレームワークを提案する。
【課題を解決するための手段】
【０００６】
第１の態様によると、本発明は、ビデオデータストリームにおけるビデオデータに係るフィンガープリント情報を送信する方法に関する。本発明の本態様によると、本方法は、前記ビデオデータの少なくとも１つのフレームに係るフィンガープリントを決定するステップと、前記フィンガープリント情報を有するメッセージを前記ビデオストリームに少なくとも挿入するステップとを有する。
【０００７】
好適な実施例によると、前記ビデオデータは、ＩＴＵ−Ｔ Ｈ．２６４規格に準拠し、前記フィンガープリント情報は、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージにカプセル化される。
【０００８】
好適な実施例によると、前記データ構造は、各ノードが複数のリーフを有する複数のノードを有し、各チャンクは、複数のノードと複数のリーフとを有する。
【０００９】
好適な実施例によると、前記ビデオデータは、符号化され、前記チャンクは、前記符号化されたビデオデータにおけるメッセージにカプセル化され、前記チャンクは、該チャンクにおいて構成されるノードの記述又は該記述が次のチャンクに構成されていることを示す情報を有する。
【００１０】
好適な実施例によると、前記ビデオデータは、ＩＴＵ−Ｔ Ｈ．２６４規格に準拠する符号化されたメタデータであり、前記メタデータは、少なくともＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージにおいて送信される。
【００１１】
好適な実施例によると、前記記述に構成される情報は、ノード識別子、前記ノードが前記情報に記述されているか示す表示、並びに、前記ノードが現在の前記情報に記述されている場合、前記ノードが関連付けされる前記ビデオ情報を表す名前、前記ノードが関連付けされる前記ビデオ情報の時間を表すタイムコード、及びいくつかのサマリセグメント、及び各サマリセグメントについて、該サマリセグメントを表す名前、該サマリセグメントに係るセマンティック情報を表すカテゴリ及びキーフレーム、クリップ又はテキスト記述から選ばれたセグメントのタイプを示すキー記述から又は前記情報の何れかの組み合わせから選ばれる。
【００１２】
第２の態様によると、本発明は、データストリームにおけるビデオデータと関連するビデオデータ構造を表す関連するメタデータとを送信する方法に関する。本発明の本態様によると、本方法は、前記ビデオデータの構造を決定するステップと、前記構造をインクリメンタルな方法によりチャンクに分割するステップと、関連する前記ビデオデータの前の時間インターバルにおいて前記データストリームにおいて前記チャンクを送信するステップとを有する。
【００１３】
第３の態様によると、本発明はまた、ビデオデータの構造を決定する手段と、前記構造をインクリメンタルな方法によりチャンクに分割する手段と、関連する前記ビデオデータの前の時間インターバルにおいて前記チャンクをデータストリームに挿入する手段とを有するビデオ符号化装置に関する。
【００１４】
第４の態様によると、本発明はまた、ビデオデータの少なくとも１つのフレームに係るフィンガープリントを決定する手段と、前記フィンガープリント情報を有するメッセージをビデオストリームに少なくとも挿入する手段とを有するビデオ符号化装置に関する。
【００１５】
好適な実施例によると、第４の態様によるビデオ符号化装置は、ＩＴＵ−Ｔ Ｈ．２６４規格に準拠し、前記構造情報は、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージにカプセル化される。
【００１６】
好適な実施例によると、当該ビデオ符号化装置は、ＩＴＵ−Ｔ Ｈ．２６４規格に準拠し、前記フィンガープリント情報は、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージにカプセル化される。
【００１７】
第５の態様によると、本発明はまた、符号化されたビデオ情報を復号化する手段と、前記符号化されたビデオデータに挿入された関連するビデオデータをインクリメンタルな方法により復号化する手段と、無線受信された前記インクリメンタルなビデオデータ構造により前記ビデオデータ構造を再構成する手段とを有するパーソナルビデオレコーダに関する。
【００１８】
第６の態様によると、本発明はまた、符号化されたビデオ情報を復号化する手段と、前記符号化されたビデオデータに構成されるフィンガープリント情報を復号化する手段と、受信した符号化されたビデオデータを格納する手段と、複数の記録されたビデオデータをそれらのフィンガープリント情報に基づき比較する手段とを有するパーソナルビデオレコーダに関する。
【発明の効果】
【００１９】
本発明の他の特徴及び効果は、付属の図面を用いて説明される本発明の非限定的な実施例の説明を介して明らかになるであろう。
【図面の簡単な説明】
【００２０】
【図１】図１は、本発明の好適な実施例によるビデオの構造情報を表す。
【図２】図２は、本発明の好適な実施例によるビデオのインクリメンタルな分解を表す。
【発明を実施するための形態】
【００２１】
ビデオ構造の説明は、任意のオーディオビジュアルドキュメントのセマティックな構成の説明からなる。本説明は、ドキュメントのトップダウンな分解を提供する階層構造である。
【００２２】
この情報は、ドキュメントのショートサマリを表示するため、又はドキュメントを迅速にナビゲートするため、使用されてもよい。
【００２３】
ビデオ構造は、階層的構成を記述する。ドキュメントのタイプに従って、ドキュメントの構造を取得するのに使用される方法は異なるかもしれない。ビデオがテニスゲームを表す場合、その構造はフットボールのゲームとは異なっており、ビデオがフィルムを表している場合もまた異なっている。ビデオの構造を取得する既知の方法が複数存在する。
【００２４】
図１は、ビデオの取得された構造を表す。この構造は、ノードとリーフとを有するツリーにより表されるビデオの階層的分解として表される。ノードとリーフの個数は、ビデオコンテンツとそれの長さに依存する。ツリーの深さは、典型的には、コンテンツに依存する。ツリーの最も低いレベルは、構造分解の最も高い粒度に対応する。例えば、テニスの試合では、最も低いレベルはポイントに対応しうる。
【００２５】
図１に示されるように、ツリーの最低レベルは、クリップ（小さなビデオ）又はキーフレームに直接対応しうる。より低い粒度によると、最低レベルはテニスに関してはゲームに対応しうると仮定できる。
【００２６】
放送の分野では、デコーダはストリームの任意のポイントにおいてストリームの受信を開始するかもしれない。デコーダがこの構造情報を利用するため、ツリー記述全体がストリームにおいて繰り返される必要がある。この手法による問題は、これは冗長さを表し、過大な帯域幅を使用する可能性があるということである。
【００２７】
このため、本発明は、図２に示されるように、構造情報をチャンクに分割することを提案する。
【００２８】
提案されたシンタックスは、ストリームが流れるときにインクリメンタルな方法によりグラフを送信することを可能にする。
【００２９】
そのアイデアは、連続する時点において送信される複数のチャンクを用いてツリー記述を分割するというものである。
【００３０】
すべてのチャンクは、ビデオコンテンツの対応部分の前に送信されることが想定される。
【００３１】
図２では、ツリーは３つのチャンクに分割される。ノード識別子は、デコーダのメモリにおいてツリー全体を再構成することを可能にする。
【００３２】
時点ｔ１において、次の入力ビデオの構造を示すメッセージがストリームに挿入される。この構造は、チャンク１において示される。
【００３３】
時点ｔ２において、次の入力ビデオの構造を示すメッセージがストリームに挿入される。この構造は、チャンク２において示される。
【００３４】
時点ｔ３において、次の入力ビデオの構造を示すメッセージがストリームに挿入される。この構造は、チャンク３において示される。
【００３５】
ＩＴＵ−Ｔ Ｈ．２６４に従ってデータが符号化されるとき、構造情報はＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）にカプセル化される。
【００３６】
ＳＥＩメッセージの構造は、以下のテーブルに与えられる。
【００３７】
【表１】
「Ｒｅｆｅｒｅｎｃｅ」フィールドは、所与のノードが現在のメッセージに記述されているか、又は以降のメッセージに記述されているかを示す。
【００３８】
本発明の他の実施例によると、すべてのチャンクはまた、放送されるビデオの始めに送信可能である。これは、全体構造がデコーダにおいて放送されたビデオの始めに利用可能になることを可能にする。
【００３９】
好適な実施例では、各チャンクは、ＳＥＩメッセージが適用されるビデオを有するＮＡＬの前にＳＥＩメッセージにおいて１度送信される。
【００４０】
各ＳＥＩメッセージは、スタート情報及びエンド情報として参照されるビデオ情報の絶対値を示すタイムコードを有する。ドキュメントへのナビゲートの際にユーザにとって意味のあるものとなるように、各セグメントは名前により表され、各セグメントはまた、ＳＨＯＴ、ＳＣＥＮＥ、ＥＶＥＮＴ、ＮＥＷＳ＿ＳＴＯＲＹなどの具体的な識別子により識別可能である。これは、セグメントの粒度を与える。各セグメントはまた、ビデオのコンテンツとＧＯＡＬ、ＭＡＴＣＨ、ＧＡＭＥ、ＳＥＴなどを表すセマンティック情報を用いて識別できる。この最後のメタデータは、ビデオインデックス化アプリケーションのための情報を与える。
【００４１】
「Ｋｅｙ Ｄｅｓｃｒｉｐｔｉｏｎ」のフィールドはまた、当該セグメントが各年代に知られた重要人物からの極めて重要な宣言などを含むセグメントのキーフレーム、ビデオクリップ又はテキスト記述である場合、セグメントの粒度を示す。
【００４２】
ＳＥＩメッセージのシンタックスは、ツリー構造が再帰的であるとき、再帰的なものとなる。
【００４３】
チャンクへの埋め込みコンポーネントの個数Ｎがまた与えられる。
【００４４】
このため、順次にチャンクを受信すると、各チャンクはその他のチャンクから独立していないが、テーブル１に記載されるシンタックスとノード識別子により完全にリンクされているため、ビデオデータの全体構造を再構成することができる。
【００４５】
ここで、ビデオと共にフィンガープリント情報を送信する方法を提案する本発明の第２の態様について説明する。
【００４６】
ビデオフィンガープリント処理は、２つのビデオドキュメントがおそらく同一のコンテンツ又はコンテンツの一部を含むことを検出可能にする技術である。それは、（意図的に又はそうでなく）変更されたコンテンツを処理することが可能である。これらの変更は、
・クロッピング（ｃｒｏｐｐｉｎｇ）
・圧縮
・回転
・画像変更（ｂｌｕｒ．．）
を含む。
【００４７】
ビデオフィンガープリント処理の周知な応用は、ドキュメントの不正コピーの検出である。しかしながら、ビデオフィンガープリント処理は２つの類似するドキュメントを識別する信頼できる方法を提供するため、それは、ビデオコレクションへの重複の検出又は編集されたドキュメント全体におけるクリップの抽出を含む他の多数のアプリケーションを有する。
【００４８】
これらのアプリケーションは、典型的には、“コンテンツによるクエリ（ｑｕｅｒｙ ｂｙ ｃｏｎｔｅｎｔ）”をサポートする純粋に視覚的な類似性に基づくアプリケーションとは異なる。それらは、ほとんど正確に一致した２つのコピーを抽出することを目的としている。
【００４９】
フィンガープリント処理技術は、特定の検索アプリケーションにより効率的に処理可能なコンテンツからの記述情報の抽出に依拠する。この記述情報は、ビデオコンテンツを伸張及び解析する必要なく検索するのに即座に利用可能となるように、メタデータに格納可能である。
【００５０】
好適な実施例によると、ビデオデータは、ＩＴＵ−Ｔ Ｈ．２６４規格に従って符号化される。フィンガープリント情報は、次のテーブルに規定されるようなＳＥＩメッセージにカプセル化される。
【００５１】
【表２】
フィンガープリントＳＥＩメッセージは、ストリームの任意の位置に出現しうる。このようなメッセージは任意数存在しうるものであり、フレーム毎に高々１つである。典型的には、ショット毎に１つのフィンガープリントメッセージが存在する。
【００５２】
フィンガープリントメッセージは、関連付けされ、テーブル２においてリファレンスフレームと呼ばれる正確なフレームを指定する（そこから抽出された）。これは、時間的な制約を考慮するのに必要なフィンガープリントチェック機構により要求される。
【００５３】
タイムコードは、埋め込みドキュメントについて時、分、秒、フレーム番号により記述される。３バイトと１ニブル、ｂ（８），ｂ（８），ｂ（８），ｎ（４）により表される。
【００５４】
ドキュメントが編集されている場合、このメタデータは再生成される必要があるであろう。
【００５５】
「フィンガープリントアルゴリズムインデックス（Ｆｉｎｇｅｒｐｒｉｎｔ Ａｌｇｏｒｉｔｈｍ Ｉｎｄｅｘ）」は、このフレームを記述するのに用いられるビデオフィンガープリントアルゴリズムのインデックスである。いくつかの異なるビデオフィンガープリントアルゴリズムが、フレーム、ショットを記述するのに利用可能である。
【００５６】
２つのビデオフィンガープリントが異なる２つのアルゴリズムにより抽出された場合、直接的なフィンガープリントの比較は不可能である。
【００５７】
シンタックスの定義の内部では、ｕ（ｎ）はｎビットを使用した符号のない整数を表し、ｂ（８）は何れかのビット文字列のパターンを有するバイト（８ビット）を表し、ｐａｙｌｏａｄＳｉｚｅは、ｖｉｄｅｏ＿ａｎｎｏｔａｔｉｏｎ＿ＳＥＩペイロード全体のバイトによるサイズである。ここでは、迅速なビットストリームパーシングを促進するため、可変長符号化は使用されない。
【００５８】
フィンガープリントとビデオ構造の双方の情報は、他のビデオアノテーション情報を有するハイレベルなＳＥＩメッセージに組み合わせ可能である。
【００５９】
例えば、次のテーブルは、ビデオアノテーションに関する複数タイプのメタデータを有するＳＥＩメッセージ構造を提案することができる。
【００６０】
【表３】
本発明の範囲から逸脱することなく、本発明はまた、ビデオデータの構造を決定する手段と、前記構造をインクリメンタルな方法によりチャンクに分割する手段と、関連する前記ビデオデータの前の時間インターバルにおいて前記チャンクをデータストリームに挿入する手段とを有するビデオ符号化装置に関する。
【００６１】
好ましくは、このビデオ符号化装置は、ＩＴＵ−Ｔ Ｈ．２６４規格に準拠し、前記構造情報は、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージにカプセル化される。
【００６２】
本発明はまた、ビデオデータの少なくとも１つのフレームに係るフィンガープリントを決定する手段と、前記フィンガープリント情報を有するメッセージをビデオストリームに少なくとも挿入する手段とを有するビデオ符号化装置に関する。
【００６３】
好ましくは、このビデオ符号化装置は、ＩＴＵ−Ｔ Ｈ．２６４規格に準拠し、前記フィンガープリント情報は、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージにカプセル化される。
【００６４】
本発明はまた、符号化されたビデオ情報を復号化する手段と、前記符号化されたビデオデータに挿入された関連するビデオデータをインクリメンタルな方法により復号化する手段と、無線受信された前記インクリメンタルなビデオデータ構造により前記ビデオデータ構造を再構成する手段とを有するパーソナルビデオレコーダに関する。
【００６５】
本発明はまた、符号化されたビデオ情報を復号化する手段と、前記符号化されたビデオデータに構成されるフィンガープリント情報を復号化する手段と、受信した符号化されたビデオデータを格納する手段と、複数の記録されたビデオデータをそれらのフィンガープリント情報に基づき比較する手段とを有するパーソナルビデオレコーダに関する。
【特許請求の範囲】
【請求項１】
ビデオデータストリームにおけるビデオデータに係るフィンガープリント情報を送信する方法であって、
前記ビデオデータの少なくとも１つのフレームに係るフィンガープリントを決定するステップと、
前記フィンガープリント情報を有するメッセージを前記ビデオストリームに少なくとも挿入するステップと、
を有する方法。
【請求項２】
前記ビデオデータは、ＩＴＵ−Ｔ Ｈ．２６４規格に準拠し、
前記フィンガープリント情報は、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージにカプセル化される、請求項１記載の方法。
【請求項３】
データストリームにおけるビデオデータと関連するビデオデータ構造を表す関連するメタデータとを送信する方法であって、
前記ビデオデータの構造を決定するステップと、
前記構造をインクリメンタルな方法によりチャンクに分割するステップと、
関連する前記ビデオデータの前の時間インターバルにおいて前記データストリームにおいて前記チャンクを送信するステップと、
を有する方法。
【請求項４】
前記データ構造は、各ノードが複数のリーフを有する複数のノードを有し、
各チャンクは、複数のノードと複数のリーフとを有する、請求項３記載の方法。
【請求項５】
前記ビデオデータは、符号化され、
前記チャンクは、前記符号化されたビデオデータにおけるメッセージにカプセル化され、
前記チャンクは、該チャンクにおいて構成されるノードの記述又は該記述が次のチャンクに構成されていることを示す情報を有する、請求項４記載の方法。
【請求項６】
前記ビデオデータは、ＩＴＵ−Ｔ Ｈ．２６４規格に準拠する符号化されたメタデータであり、
前記メタデータは、少なくともＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージにおいて送信される、請求項３記載の方法。
【請求項７】
前記記述に構成される情報は、ノード識別子、前記ノードが前記情報に記述されているか示す表示、並びに、前記ノードが現在の前記情報に記述されている場合、前記ノードが関連付けされる前記ビデオ情報を表す名前、前記ノードが関連付けされる前記ビデオ情報の時間を表すタイムコード、及びいくつかのサマリセグメント、及び各サマリセグメントについて、該サマリセグメントを表す名前、該サマリセグメントに係るセマンティック情報を表すカテゴリ及びキーフレーム、クリップ又はテキスト記述から選ばれたセグメントのタイプを示すキー記述から又は前記情報の何れかの組み合わせから選ばれる、請求項５記載の方法。
【請求項８】
ビデオデータの構造を決定する手段と、
前記構造をインクリメンタルな方法によりチャンクに分割する手段と、
関連する前記ビデオデータの前の時間インターバルにおいて前記チャンクをデータストリームに挿入する手段と、
を有するビデオ符号化装置。
【請求項９】
ビデオデータの少なくとも１つのフレームに係るフィンガープリントを決定する手段と、
前記フィンガープリント情報を有するメッセージをビデオストリームに少なくとも挿入する手段と、
を有するビデオ符号化装置。
【請求項１０】
当該ビデオ符号化装置は、ＩＴＵ−Ｔ Ｈ．２６４規格に準拠し、
前記構造情報は、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージにカプセル化される、請求項８記載のビデオ符号化装置。
【請求項１１】
当該ビデオ符号化装置は、ＩＴＵ−Ｔ Ｈ．２６４規格に準拠し、
前記フィンガープリント情報は、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージにカプセル化される、請求項９記載のビデオ符号化装置。
【請求項１２】
符号化されたビデオ情報を復号化する手段と、
前記符号化されたビデオデータに挿入された関連するビデオデータをインクリメンタルな方法により復号化する手段と、
無線受信された前記インクリメンタルなビデオデータ構造により前記ビデオデータ構造を再構成する手段と、
を有するパーソナルビデオレコーダ。
【請求項１３】
符号化されたビデオ情報を復号化する手段と、
前記符号化されたビデオデータに構成されるフィンガープリント情報を復号化する手段と、
受信した符号化されたビデオデータを格納する手段と、
複数の記録されたビデオデータをそれらのフィンガープリント情報に基づき比較する手段と、
を有するパーソナルビデオレコーダ。
【請求項１】
ビデオデータストリームにおけるビデオデータに係るフィンガープリント情報を送信する方法であって、
前記ビデオデータの少なくとも１つのフレームに係るフィンガープリントを決定するステップと、
前記フィンガープリント情報を有するメッセージを前記ビデオストリームに少なくとも挿入するステップと、
を有する方法。
【請求項２】
前記ビデオデータは、ＩＴＵ−Ｔ Ｈ．２６４規格に準拠し、
前記フィンガープリント情報は、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージにカプセル化される、請求項１記載の方法。
【請求項３】
データストリームにおけるビデオデータと関連するビデオデータ構造を表す関連するメタデータとを送信する方法であって、
前記ビデオデータの構造を決定するステップと、
前記構造をインクリメンタルな方法によりチャンクに分割するステップと、
関連する前記ビデオデータの前の時間インターバルにおいて前記データストリームにおいて前記チャンクを送信するステップと、
を有する方法。
【請求項４】
前記データ構造は、各ノードが複数のリーフを有する複数のノードを有し、
各チャンクは、複数のノードと複数のリーフとを有する、請求項３記載の方法。
【請求項５】
前記ビデオデータは、符号化され、
前記チャンクは、前記符号化されたビデオデータにおけるメッセージにカプセル化され、
前記チャンクは、該チャンクにおいて構成されるノードの記述又は該記述が次のチャンクに構成されていることを示す情報を有する、請求項４記載の方法。
【請求項６】
前記ビデオデータは、ＩＴＵ−Ｔ Ｈ．２６４規格に準拠する符号化されたメタデータであり、
前記メタデータは、少なくともＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージにおいて送信される、請求項３記載の方法。
【請求項７】
前記記述に構成される情報は、ノード識別子、前記ノードが前記情報に記述されているか示す表示、並びに、前記ノードが現在の前記情報に記述されている場合、前記ノードが関連付けされる前記ビデオ情報を表す名前、前記ノードが関連付けされる前記ビデオ情報の時間を表すタイムコード、及びいくつかのサマリセグメント、及び各サマリセグメントについて、該サマリセグメントを表す名前、該サマリセグメントに係るセマンティック情報を表すカテゴリ及びキーフレーム、クリップ又はテキスト記述から選ばれたセグメントのタイプを示すキー記述から又は前記情報の何れかの組み合わせから選ばれる、請求項５記載の方法。
【請求項８】
ビデオデータの構造を決定する手段と、
前記構造をインクリメンタルな方法によりチャンクに分割する手段と、
関連する前記ビデオデータの前の時間インターバルにおいて前記チャンクをデータストリームに挿入する手段と、
を有するビデオ符号化装置。
【請求項９】
ビデオデータの少なくとも１つのフレームに係るフィンガープリントを決定する手段と、
前記フィンガープリント情報を有するメッセージをビデオストリームに少なくとも挿入する手段と、
を有するビデオ符号化装置。
【請求項１０】
当該ビデオ符号化装置は、ＩＴＵ−Ｔ Ｈ．２６４規格に準拠し、
前記構造情報は、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージにカプセル化される、請求項８記載のビデオ符号化装置。
【請求項１１】
当該ビデオ符号化装置は、ＩＴＵ−Ｔ Ｈ．２６４規格に準拠し、
前記フィンガープリント情報は、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージにカプセル化される、請求項９記載のビデオ符号化装置。
【請求項１２】
符号化されたビデオ情報を復号化する手段と、
前記符号化されたビデオデータに挿入された関連するビデオデータをインクリメンタルな方法により復号化する手段と、
無線受信された前記インクリメンタルなビデオデータ構造により前記ビデオデータ構造を再構成する手段と、
を有するパーソナルビデオレコーダ。
【請求項１３】
符号化されたビデオ情報を復号化する手段と、
前記符号化されたビデオデータに構成されるフィンガープリント情報を復号化する手段と、
受信した符号化されたビデオデータを格納する手段と、
複数の記録されたビデオデータをそれらのフィンガープリント情報に基づき比較する手段と、
を有するパーソナルビデオレコーダ。
【図１】
【図２】
【図２】
【公表番号】特表２０１０−５２５６４２（Ｐ２０１０−５２５６４２Ａ）
【公表日】平成２２年７月２２日（２０１０．７．２２）
【国際特許分類】
【出願番号】特願２０１０−５０３４６７（Ｐ２０１０−５０３４６７）
【出願日】平成２０年４月１０日（２００８．４．１０）
【国際出願番号】ＰＣＴ／ＥＰ２００８／０５４３８４
【国際公開番号】ＷＯ２００８／１２５６０１
【国際公開日】平成２０年１０月２３日（２００８．１０．２３）
【出願人】（５０１２６３８１０）トムソン ライセンシング (2,848)
【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ
【住所又は居所原語表記】１−５， ｒｕｅ Ｊｅａｎｎｅ ｄ’Ａｒｃ， ９２１３０ ＩＳＳＹ ＬＥＳ ＭＯＵＬＩＮＥＡＵＸ， Ｆｒａｎｃｅ
【Ｆターム（参考）】
【公表日】平成２２年７月２２日（２０１０．７．２２）
【国際特許分類】
【出願日】平成２０年４月１０日（２００８．４．１０）
【国際出願番号】ＰＣＴ／ＥＰ２００８／０５４３８４
【国際公開番号】ＷＯ２００８／１２５６０１
【国際公開日】平成２０年１０月２３日（２００８．１０．２３）
【出願人】（５０１２６３８１０）トムソン ライセンシング (2,848)
【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ
【住所又は居所原語表記】１−５， ｒｕｅ Ｊｅａｎｎｅ ｄ’Ａｒｃ， ９２１３０ ＩＳＳＹ ＬＥＳ ＭＯＵＬＩＮＥＡＵＸ， Ｆｒａｎｃｅ
【Ｆターム（参考）】
[ Back to top ]