安全、堅固かつ高忠実度の透かし入れ
【課題】多くのビデオアプリケーションが忠実度、堅固性及びセキュリティの満足なレベルに達するのに使用できる透かしアルゴリズムを提供する。
【解決手段】データストリームに透かしデータをコード化するのに用いられる可能性がある一つ以上の透かしキャリアのセットを識別し、データストリームのコンテンツを分析して、透かしデータをデータストリームにコード化する可能性がある複数のロケーションを識別する。各可能性のあるロケーションは、セットの透かしキャリアのうちの特定の一つを用いて、受け入れ可能な透かしデータの一部のコード化に対応し、可能性があるロケーションのサブセットを選択し、各選択されたロケーションに対して、一部の透かしデータによって対応する透かしキャリアを調整し、選択されたロケーションでデータストリームに結果として生じる被調整透かしキャリアを挿入する。
【解決手段】データストリームに透かしデータをコード化するのに用いられる可能性がある一つ以上の透かしキャリアのセットを識別し、データストリームのコンテンツを分析して、透かしデータをデータストリームにコード化する可能性がある複数のロケーションを識別する。各可能性のあるロケーションは、セットの透かしキャリアのうちの特定の一つを用いて、受け入れ可能な透かしデータの一部のコード化に対応し、可能性があるロケーションのサブセットを選択し、各選択されたロケーションに対して、一部の透かしデータによって対応する透かしキャリアを調整し、選択されたロケーションでデータストリームに結果として生じる被調整透かしキャリアを挿入する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオプロセシングに関しており、特にビデオ著作物への並びにビデオ著作物からの透かしデータの挿入および回復に関している。
【関連出願へのクロスリファレンス】
【０００２】
本出願は弁護士ドケット番号SAR 14473Pの07/30/01に出願済みのアメリカ仮出願60/308,718番の出願日の便益を主張する。
【背景技術】
【０００３】
動画コンテンツ（例えばビデオダウンロード、デジタル映画）の配布チャネルの発達および展開に対する主な障害は、著作権で保護されたマテリアルがコピーされ、次いでその後に適切な認可なしに配布される可能性があるとコンテンツプロバイダが懸念していることである。暗号化は、コンテンツへのアクセスを制御するデジタル権管理（DRM）方法における重要な構成要素である。しかしながら、一旦アクセスが与えられると、解読されたコンテンツはプロテクトされてないままになる。このように、暗号化のみで盗用の全事例を防ぐことができるというわけではない。知的所有権によって保護されているファイルフォーマットおよびそれに対応するデバイスの使用に依存する持続的なアクセス制御方法が提案されているが、最終的には全ビデオがディスプレイの画素輝度および色に変換される必要がある。この点において、ビデオは弱い。
【０００４】
これら潜在的なリークが起こった場合、コンテンツの使用ライセンスを与えられた人物およびコンテンツの更なる配布を防ぐことに対して責任がある人物が無許可コピーを追跡して捕らえることができる法的なツールが、コンテンツ所有者には必要である。マテリアルが盗まれた正確な配布点を識別するコンテンツ所有者の能力は、信頼できる人物を識別するツールとして使用でき、前述の盗用に対して抑止力として作用する。コンテンツにおいてコンテンツのコピーのライセンス取得者を一意的に識別する、デジタルイメージコンテンツ上に重ね合わされたパターンは、この目的を提供できる。このような透かしは、海賊行為に対する強力な法的ツールをコンテンツ所有者に与える。
【０００５】
ダウンロード透かしおよびエキシビション透かし用のSMPTE DC28.4によって定められているものと一致した場合、買い手識別に用いられる法的透かしは、以下のプロパティを有する必要がある：
1.それは、コンテンツ所有者の高忠実度必要条件を満たさなければならない：
2.エキシビション透かしは、エキシビション取込みおよび圧縮の組合せに対して堅固でなければならない：
3.エキシビション透かしは、無許可削除および無許可埋込に対して安全でなければならない：
上にリストした３つのプロパティに関して、既存の透かしアルゴリズムは依然として、忠実度、堅固性およびセキュリティの３つすべてにおいて満足できるパフォーマンスを同時に実証できてはいない。これら３つのプロパティに加えて、法的透かしは、以下の特徴を有することが可能である：
a.透かしの検出は、リファレンスの使用に依存してよい。このリファレンスは対応する透かしのないビデオまたは透かしのないビデオから導出されたデータベクトルであってよい。
b.検出器および検出器のアプリケーションが極めて少ないことから、検出は費用のかかるプロセスであることが認められ、検出の性質はリアルタイムでされる必要はないといった種類のものである。
【発明の開示】
【０００６】
本発明は、多くのビデオアプリケーションが忠実度、堅固性およびセキュリティの満足なレベルに達するのに使用できる透かしアルゴリズムを目的とする。
【０００７】
一実施例によると、本発明は、データストリームに透かしデータをコード化して、透かし入りのデータストリームを結果として生じさせる方法である。本方法は、(a)データストリームに透かしデータをコード化するのに用いられる可能性がある一つ以上の透かしキャリアのセットを識別するステップと；(b)データストリームのコンテンツを分析して、データストリームにおいて、透かしデータをデータストリームにコード化する可能性がある複数のロケーションを識別するステップであって、各可能性のあるロケーションは、セットの透かしキャリアのうちの特定の一つを用いて、受け入れ可能な透かしデータの一部のコード化に対応している、前記ステップと；(c)可能性があるロケーションのサブセットを選択するステップと；(d)各選択されたロケーションに対して、一部の透かしデータによって対応する透かしキャリアを調整し、選択されたロケーションでデータストリームに結果として生じる被調整透かしキャリアを挿入するステップと、を備える。
【０００８】
別の実施例によると、本発明は、データストリームに透かしデータをコード化して、透かし入りのデータストリームを結果として生じさせる方法である。本方法は、(a)一部の透かしデータによって透かしキャリアを調整するステップであって、透かしキャリアが、時空間(spatio-temporal)コントラスト感度関数のピーク以下の周波数を有する時空間周波数パターンに基づいている、前記ステップと；(b)選択されたロケーションで結果として生じる被調整透かしキャリアをデータストリームに挿入するステップと、を備える。
【０００９】
本発明の他の態様、特徴および利点は、以下の詳細な説明、添付の特許請求の範囲および添付図面からより完全に明らかになるであろう。添付図面においては同種または同一のエレメントが参照番号によって識別されている。
【発明を実施するための最良の形態】
【００１０】
以上で示唆したように、望ましい透かし入れアルゴリズムは、十分に高いレベルの堅固性、忠実度およびセキュリティを提供する。ここで、「十分に高い」という句は特定のアプリケーションによって決められる。
【００１１】
図1は、透かし入りのビデオ著作物の海賊版ビデオテープ制作を表すブロック図を示している。図1で示すように、オリジナルのビデオ著作物は透かしエンベダ102によって処理され、透かし入りのビデオ著作物が作成される。透かし入りのビデオ著作物は、オリジナルのビデオ著作物の変更版であり、透かしエンベダ102によって導入された変更は特定の透かしデータを表す。
【００１２】
透かし入れアルゴリズムの忠実度は、透かし埋め込みプロセスによって導入される視覚の質の劣化を指している。アルゴリズムの忠実度は、透かし入りのビデオ著作物の忠実度として、オリジナルのビデオ著作物に関して定義される。多くの透かし入れアプリケーションでは、透かしエンベダ102による劣化が人間の目に完全にまたは少なくとも実質的に見えないことが要求される。
【００１３】
エキシビション106の前に、透かし入りのビデオ著作物がさらされそうな通常処理および伝送劣化104が多数ある。これらは、圧縮、色空間変換およびデジタル／アナログ変換を含んでよい。（例えば、無許可コピーまたは無許可取込みによって）悪用された場合、透かし入りのビデオ著作物は、更に下記のような海賊行為処理による劣化の対象とされる可能性がある。無許可コピーに関連した海賊行為処理による劣化108は、例えば、非常に低いビットレート圧縮を含むことがある。
【００１４】
無許可取込みの典型例は、エキシビション中にビデオキャムコーダーによって映画を録画することである。無許可取込みに関連した海賊行為処理による劣化110は、キャムコーダーによって取り入れられる劣化を含んでおり、該劣化は、幾何学変換（例えば回転、スキュー、透視ひずみ、及び/又は時間あるいは空間のストレッチング）、フィルタリング、トリミング、オクルージョンの導入、及び輝度非線形性のうちの1つ以上を含む可能性がある。
【００１５】
無許可コピーまたは取込みの後に、海賊版ビデオ著作物は、ビデオＣＤに記憶させるかまたはインターネット上で配布するために、比較的低いビットレートで圧縮される傾向がある。このような圧縮は、通常、解像度低減および圧縮アーチファクト（例えばブロッキング）の原因となる。
【００１６】
本願で開示される透かし入れアルゴリズムの堅固性とは、透かしデータを海賊版ビデオ著作物から回復できる可能性を指しており、ここで、海賊版ビデオ著作物とは、通常処理および伝送劣化、海賊行為処理による劣化、又は双方の対象になってきた透かし入りビデオ著作物版であると仮定されたい。
【００１７】
透かしデータが、ビデオコンテンツの盗用に通常関連しているビデオプロセシング中に、この種の劣化の典型的レベルを存続した場合、多くのアプリケーションに対して、透かし入れアルゴリズムは十分に堅固であると考えられる。ここで、存続とは、全てのまたは少なくとも十分な量の透かしデータが海賊版のビデオ著作物から回復可能であることを意味する。
【００１８】
透かし入れアルゴリズムのセキュリティとは、或る人物が明確な認可なしで透かし入れオペレーションを実行することの困難度を指す。本明細書は、無許可の透かし埋込に対するセキュリティおよび無許可の透かし削除に対するセキュリティに関して言及している。
【００１９】
或る人物が秘密についての知識なしに有効な透かしデータをビデオ著作物に埋め込むことが計算上実行不可能な場合、透かしアルゴリズムは、無許可の透かし埋込に対して安全を確保する。この秘密は、しばしば秘密の透かしキー（暗号法で使われる秘密の暗号キーに類似している）のフォームをとる。有効な透かしデータの埋め込みとはビデオ著作物を変更する意味であり、障害を生じさせない透かし検出器が前記データを抜き出して、それを有効であるとみなす。
【００２０】
結果として生じるビデオ著作物の価値がなくなるのに十分な視覚ひずみを取り入れることなしでは透かしデータを確実に回復することができないといった、或る人物が透かし入りのビデオ著作物を変更することが計算上実行不可能な場合、透かしアルゴリズムは無許可の透かし削除に対して安全を確保している。無許可の透かし削除は、透かしデータの消去、検出器の正しい機能を妨げる透かし入りビデオ著作物への変更、および検出器が確実に有効データと無効データを区別することができないといった偽の透かしデータの埋め込みを含む。この最後の方法は、「ジャミング」を指す。
【００２１】
図2は、本発明の一実施例による透かし挿入システム200のブロック図を示す。透かし挿入システム200は、堅固性、忠実度およびセキュリティの満足なレベルを達成する方法で、入力ビデオ著作物のコンテンツ（すなわち実際の画像データ）に、透かしデータをコード化するよう設計されている。
【００２２】
挿入システム200の透かし入れアルゴリズムは、解析プロセス、後続の選択/挿入プロセスという、２部のプロシージャを含む。解析プロセスは、透かしデータをコード化するのに用いられることになっている適当な透かしキャリアが挿入されるよう、ビデオ著作物内において異なる有効時空間ロケーションを識別することを含む。選択/挿入プロセスは、（1）それらの異なる有効ロケーションから特定のロケーションを選択するステップと、（2）対応する透かしキャリアを用いてそれら選択されたロケーションに透かしデータを挿入するステップとを含む。
【００２３】
典型的な実施例において、解析プロセスは各オリジナルの（すなわち、透かしのない）ビデオ著作物に対して一度オフラインで実行され、選択/挿入プロセスは、異なる透かしデータのセットが異なるオリジナルビデオ著作物のコピーに埋め込まれるたびに（例えば、リアルタイムで）実行される。たとえば、異なる映画館の特定の映画のエキシビションの場合、入力ビデオ著作物はオリジナルの（すなわち、透かしのない）映画に対応する。映画が映画館で上映されるたびに、固有の透かしデータのセットはビデオコンテンツにコード化され、ここでその透かしデータは一意的に特定のエキシビションを識別することを意図してもよい。これは、映画館ＩＤ、エキシビションの日付時間、関連づけられた解読、伸長およびエキシビションデバイスのシリアルナンバー、並びに再生装置のグローバルポジショニングシステム（GPS）座標を含んでよい。
【００２４】
図2を参照すると、解析プロセスが、挿入システム200のキャリアジェネレータ202および領域クラシファイヤ204によって実現されている。キャリアジェネレータ202は、入力ビデオ著作物に透かしデータをコード化するのに用いられる一つ以上の適当な透かしキャリアのセットを生成する。本明細書で用いられているように、用語「キャリア」は、透かしデータをコード化する変調を支持可能な堅固で微細なローカライズされたパターンを指す。キャリアジェネレータ202によって生成される1つ以上の異なる透かしキャリアは、異なるタイプの変調（例えば振幅、周波数またはフェーズ）および異なる絶対値に基づいてもよい。
【００２５】
ビデオ著作物は三次元（3D）時空間「ボリューム」のビデオデータとみなされてよい。ここで、三次元のうちの２つは各ビデオピクチャ（例えばフレームまたはフィールド）内の高さおよび幅（ピクセルに関する）に対応し、第３の次元は時間（連続ピクチャの数に関する）に対応している。たとえば、フレームあたり（600x800）ピクセルで１秒につき30フレーム（fps）を有する２時間映画に対応するディジタルビデオビットストリームは、高さ600ピクセル×幅800ピクセル×長さ216,000フレームのビデオボリュームに対応する。
【００２６】
入力ビデオ著作物のビデオボリュームに透かしデータをコード化するのに用いられる透かしキャリアの可能なタイプの１つは、高さ、幅および持続時間を有する比較的小さい3Dボリュームに対応する。ここで、透かしボリュームの各ピクセルは特定の値（正、負、またはゼロであってよい）を有する。たとえば、特定の透かしキャリアの3Dボリュームは、高さ30ピクセル、幅40ピクセル、および長さ150フレーム（例えば、持続時間5秒の30-fpsのビデオストリームに対応する）であってよい。ここで、3D透かしキャリアの各ピクセルは特定の整数値を有する。わずかなコード化透かしデータを入力ビデオ著作物に埋め込むために、透かしキャリアはデータビットの値に基づいて調整され、結果として生じる被調整透かしキャリアは、次いで入力ビデオ著作物のビデオボリュームの対応するピクセルのセットに（ピクセルごとに）適用される。ここで、ビデオボリュームの対応するセットは、例えばセンターピクセルのロケーション（例えばフレームZの中のX,Y座標）によって識別されてもよい。透かしキャリアによって占められる3Dボリュームは、隣接するピクセルのセットである必要はない。それは、いくらかの接合していないピクセルのセットであってもよい。
【００２７】
可能な変調方式の一つによると、コード化された透かしデータのビットがロジカル「1」値を有する場合、3D透かしキャリアのピクセルは3Dビデオストリームの対応するピクセルに（ピクセルごとに）加えられる。透かしデータのビットがロジカル「0」値を有する場合、3D透かしキャリアのピクセルは3Dビデオストリームの対応するピクセルから減じられる。別の可能な変調方式では、ロジカル「1」ビットは前と同様にコード化されるが、ロジカル「0」値は、オリジナルの3Dビデオストリームの対応するピクセルを変化させないでおくことによって「コード化される」。もちろん、これらの基本変調方式の他の置換もまた可能である。
【００２８】
1つの可能な3D透かしキャリアは、ピーク値が3Dパターンの中心に位置する一次元のガウス関数に基づいていて、透かしキャリアに対応する3Dボリュームのピクセル値は、透かしボリュームの第１の「フレーム」のゼロ（またはゼロの近く）で始まり、透かしボリュームの中心に位置するフレームに向かってガウス関数に則って増加し、次いで透かしボリュームの最後のフレームに向かってガウス関数に則って減少する。ここで、3D透かしキャリアの各フレーム内では、ピクセル値の全てが同一であり、ピーク値はガウス関数の振幅に対応する正の値である。前述のガウスの透かしキャリアをビデオ著作物に加えることは、ビデオディスプレイの矩形区域が段階的に明るくなり、続いて段階的に暗くなることに対応する。パターンが十分に長く（すなわち、十分な持続時間の間続き）、ガウス関数の振幅があまり大きくない場合、ディスプレイが段階的に明るくなり、次いで段階的に暗くなることは、おそらく矩形の境界以外ではビュアーに見えない必要がある。透かしキャリアが、空間矩形としてではなく、オリジナルのビデオ著作物の端部に対応する境界を有するように設計された場合、この調整済み透かしキャリアは見えなくなることが可能である。透かしキャリアをビデオ著作物から減ずることによってロジカル「0」がコード化される変調方式において、ガウスの透かしキャリアを減ずることは、区域が段階的に暗くなり、続いて段階的に明るくなることに対応していることに注意されたい。
【００２９】
別の可能な（またより好適な）3D透かしキャリアは、幾つかの指定されたX、Yおよびt位置でピーク値を有する3D時空間ガウス関数であり、その振幅は各方向の時間においてだけでなく空間の外側においても落ちる。
【００３０】
3D透かしキャリアは、ピクセル値が均一なパターンを形成しているかどうかに関係なく、例えばガウス関数または他のあらゆる可能なパターンに基づいたピクセル値といった、ピクセル値のいかなる3Dセットであってもよい。もちろん、すべての可能なピクセル値のセットが、適切な透かしキャリアを形成するというわけでない。一般に、適切な透かしキャリアは、特定のアプリケーションに対して堅固性および忠実度の必要条件を満たすものであり、該用語は以前に定義したものである。
【００３１】
加えて、本発明の好適な実施例において、適切な透かしキャリアは、あらゆるキャリアが目に見えないように挿入されることができるジョイントプロパティを有するものであるが、複数の重なり合った透かしキャリアの挿入は可視アーチファクトを生成し、その強度は重なり合ったキャリアの数に伴い増加する。たとえば、「サブスレッショルド加法」に関する生理学および精神物理学文献は、空間的に近接したキャリア、特に単純な視覚パターン（例えばバーおよびエッジ）に配置されるキャリアのグループ化が、グループ全域の信号エネルギーの和に伴い増加する傾向がある視覚的効果を生じることを示唆している。
【００３２】
キャリアジェネレータ202は、特定のアプリケーションに対して一つ以上の適切な透かしキャリアを生成する。適切な透かしキャリアの特徴は、通常、アプリケーションによって変化する。たとえば、映画館に適する透かしキャリアは、インターネットベースの著作権侵害者を追跡して捕まえるのに適しているものと異なってよい。適切な透かしキャリアはまた、異なるタイプのビデオコンテンツに対して異なってよい。たとえば、フルカラーの動画に適している透かしキャリアは、白黒写真のシーケンスからなるグレースケールビデオスライドショーに適しているものとは異なってよい。
【００３３】
インプリメンテーションに従って、キャリアジェネレータ202は目標基準のみに基づいて適切な透かしキャリアを生成してよく、あるいは、例えば人間サブジェクトからの実際のフィードバックといった主観的なデータに依存してもよい。キャリアジェネレータ202は、別個に（また一般的にオフラインで）実現されてもよい。キャリアジェネレータ202は、比較的大きいセットの可能性があるキャリアを対象として、この大きいセットの中のどのキャリアが、変調（例えば振幅、周波数またはフェーズ）のどのレベルおよび種類で、透かしを意図したアプリケーションドメイン内で堅固であるかについて明らかにする解析（例えば完全な画像処理システムのシミュレーション）を行う。たとえば、低品質のキャムコーダー取込みに堅固性を必要とするアプリケーションは、中位のビットレート圧縮に堅固性を必要とするアプリケーションよりも、低い周波数の透かしキャリアに限定される可能性がある。一実施例において、キャリアジェネレータモジュールは、コンテンツの時空間コンポーネント（例えば時空間周波数）に対する影響に関して可能性のある劣化の解析を実行し、劣化に影響されなさそうなコンポーネント（例えば非常に低い時空間周波数）を決定する。時空間周波数分析以外の解析もまた可能であり、空間、時間、時空間、およびウェーブレット分解が含まれる。一般に、解析は入力信号（例えばオリジナルのビデオ著作物）を複数のコンポーネントに分解することを含んでおり、どの信号成分が、通常処理および/または伝送劣化104に加えて図1の海賊行為処理による劣化108または110を含む可能性がある、予想される単数/複数の劣化に影響されなさそうかを判断する。
【００３４】
前述の解析は、適切な透かしキャリアとして以前に説明した3Dガウスパターンに基づいたパターンを含む、非常に低い時空間周波数の透かしパターンを識別してきた。特定の実施例において、非常に低い時空間周波数の透かしパターンは、１９７９年にJ. Opt. Soc. of Am.から発行されたD.H.ケリーの「運動および視域II安定した時空間しきい値表面(Motion and vision, II. Stabilized Spatio-Temporal ThresholdSurface)」の69(10)第1340-1349頁に記載されている、時空間コントラスト感度関数のピーク以下の周波数を有するものである。この教示は本願に参照として取り入れられている。より詳細には、パターンは、ピークの感度より少なくとも１オーダー小さい大きさの感度を有する必要がある。
【００３５】
領域クラシファイヤ204は、キャリアジェネレータ202によって生成される各透かしキャリアに対して、入力ビデオ著作物に対応する3Dボリュームでの潜在的ロケーションを識別する。ここで、透かしキャリアは「目に見えないように」ビデオ著作物に挿入されることができるが（例えば、その透かしキャリアのロジカル「1」およびロジカル「0」双方の変調を考慮に入れる）、更なるキャリアが挿入されると（例えば、透かし信号を妨害しようとしている誰かによって）、可視アーチファクトが生成される。好適な実施例において、領域クラシファイヤ204は、米国特許第6,137,904号に記載されているJND（丁度可知差異(Just NoticeableDifference)）解析を実行する。この教示は本願に参照として取り入れられている。一般に、他の適切な知覚モデルが領域クラシファイヤ204によって使われることができ、入力ビデオ著作物のコンテンツに基づいた透かしキャリアに対して潜在的ロケーションを識別する。
【００３６】
本発明の一実施例において、領域クラシファイヤ204は入力ビデオストリームを3Dビデオボリュームの複数の3D領域に分割する。ここで、各領域は入力ビデオストリームのサブセットに対応している。たとえば、（30ピクセル×40ピクセル×150フレーム）サイズの3D透かしキャリアを用いたインプリメンテーションにおいて、各領域は、30fps入力ビデオストリームの異なる10秒シーケンスに対応する異なるビデオ「サブボリューム」（例えば600ピクセル×800ピクセル×300フレーム）であってよい。領域クラシファイヤ204は、キャリアジェネレータ202によって生成される各透かしキャリアが、入力ビデオストリームの各領域内の各ロケーションで上記のJND基準を満たすかどうかを判断できる。
【００３７】
図3は、図2の領域クラシファイヤ204によって実現される処理の1つの可能な実施例に関するフローチャートを示す。このインプリメンテーションは３つのネスト化ループを含み、該ネスト化ループは：入力ビデオ著作物のそれぞれ異なる領域を順次選択する外側ループ（ステップ302および316）と、キャリアジェネレータ202によって生成されるそれぞれ異なる透かしキャリアを順次選択する中間ループ（ステップ304および314）と、目下選択された領域内のそれぞれ異なるロケーションを順次選択する内側ループ（ステップ306および312）である。内側ループ内で、JND解析が実行されて、目下選択された透かしキャリアが入力ビデオ著作物の目下選択された領域の目下選択されたロケーションで（ロジカル「1」かロジカル「0」変調に基づいて）挿入された場合にJND基準が満たされるかどうかを判断する（ステップ308）。JND基準が満たされた場合、目下のロケーションおよび目下の透かしキャリアについての情報が後続処理のために記録される（ステップ310）。
【００３８】
任意の透かしキャリアおよび任意の領域に対して、有限の数の、透かしキャリアを領域に挿入可能な異なるロケーションがある。1つのインプリメンテーションにおいて、領域クラシファイヤ204は、それらロケーションのいずれもテストすることができた。あるいは、領域クラシファイヤ204は、それらロケーション（例えば3Dビデオ空間において指定された距離によって互いから離されるロケーション）のサブセットのみがテストされるよう実現できた。
【００３９】
図3の処理は、入力ビデオ著作物の各領域に対して、対応する透かしキャリアを挿入する有効ロケーションのセットを識別する。2つ以上の異なる透かしキャリアを含むインプリメンテーションに対して、領域クラシファイヤ204は、それらロケーションに関連した有効ロケーションおよび特定の透かしキャリア双方を識別する。このようなインプリメンテーションに対して、領域クラシファイヤ204は、単一ロケーションでの挿入に適するように、２つ以上の異なる透かしキャリアを識別できる可能性があることに注意されたい。これは、多重透かしキャリアが目に見えないようにそのロケーションで挿入されることができたことを意味するものではなく、むしろ、２つ以上の異なる透かしキャリアのうちのいずれの一つでもそのロケーションで目に見えないように挿入されることができたことを意味する。
【００４０】
典型的なビデオコンテンツにおいて、透かしキャリアがビデオ著作物の特定のロケーションで（透かしキャリアとビデオ著作物の特定のロケーションの相対的な特徴に基づいて）目に見えないように挿入されることができる場合、確率は、その同じ透かしキャリアが代わりにビデオ著作物の近隣のロケーションに目に見えないように挿入されることができた場合ほど高い。同様に、透かしキャリアが特定のロケーションで目に見えないように挿入されることができない場合、確率は、その同じ透かしキャリアが近隣のロケーションに目に見えないように挿入されることができなかった場合ほど高い。さらに、特定の透かしキャリアが、ビデオ著作物の特定のロケーションに目に見えないように挿入することができる（できない）場合、確率は、同種の透かしキャリアが同じロケーションに目に見えないように挿入された（されなかった）ほど高い。その結果、図3の処理は、有効ロケーションの一様分布とは対照的に、各領域を通して有効ロケーションの高密度および低密度分布を通常生じ、結果に現れる有効ロケーションのクラスタを有する。
【００４１】
図3の処理は、各々の異なる入力ビデオ著作物に対して一度（例えば、オフライン中の非リアルタイム処理）実行される必要があるだけである。結果は後続の選択/挿入プロセス中に使用するために記録され、選択/挿入プロセスは、異なる透かしデータのセットが異なるオリジナル入力ビデオ著作物のコピーに挿入されることになっているときはいつでも実行される。
【００４２】
1つの可能なインプリメンテーションにおいて、選択/挿入プロセス（すなわち挿入システム200によって実行される透かし入れアルゴリズムの第２部）は、図3の処理で分析された入力ビデオ著作物の各領域に、コード化透かしデータのシングルビットのみを埋め込むステップを含む。この場合、各領域に対して、有効ロケーションのうちの1つだけが選択され、コード化透かしデータのシングルビットは、その選択されたロケーションでの挿入のために対応する透かしキャリアを調整するのに用いられる。別の可能なインプリメンテーションは、入力ビデオ著作物の各領域へのコード化透かしデータの複数のビットの埋込を支持してよい。これらのケースにおいて、領域クラシファイヤ204はまた、図3の処理中に生成される情報の「後処理」の幾つかを実行してもよい。
【００４３】
透かし入れアルゴリズムのセキュリティを増強するためには、領域の有効ロケーションの分布における相対密度に基づいて透かしキャリアが挿入されるように、各領域の有効ロケーションのうちの1つ以上を選択することが望ましい場合がある。特定の状況では、高密度ロケーションで透かしキャリアを挿入することによって、セキュリティを増強できる。これの動機付けは、以下の通りである。
【００４４】
透かし入りのビデオ著作物の透かしデータを妨害するために、著作権侵害者が、ビデオ著作物の有効ロケーションの各々に妨害パターンの挿入を試みる可能性がある。高密度ロケーションに透かしキャリアを故意に挿入することによって、著作権侵害者が、妨害されたビデオ著作物に可視のアーチファクトを作成することなく、効果的に透かしデータを妨害することはより難しくなる可能性がある。この場合、領域クラシファイヤ204は、図3を処理中に生成される結果での有効ロケーションのクラスタを特徴づけ且つ識別するクラスタ分析を含むオプションの後処理を実行することができた。異なる透かしキャリアは、次いで各クラスタに挿入されることができた。この後処理フェーズの別パートは、有効ロケーションのクラスタ間に最小距離を課すことができ、異なる透かしキャリアが透かし入りのビデオ著作物において互いに重ならないことを確実にする。
【００４５】
いずれにせよ、領域クラシファイヤ204は、解析フェーズ（すなわち挿入システム200によって実行される透かし入れアルゴリズムの第１の部）を完了する。選択/挿入フェーズは、(a)一つ以上の異なるロケーションと、解析フェーズ中に識別されたビデオ著作物の各領域での有効ロケーションの中からロケーションに対応する透かしキャリアを選択するステップと、(b)コード化透かしデータを生成する透かしデータをコード化するステップと、（c）コード化透かしデータの異なるビットによって各々の選択された透かしキャリアを調整し、調整された透かしキャリアを入力ビデオ著作物に適用することによって、入力ビデオ著作物にコード化透かしデータを埋め込むステップとを含む。
【００４６】
図2で示すように、セキュリティを達成するために、防護乱数ジェネレータ206は、秘密の（すなわち、個人的な）透かしキーを用いて、ロケーションセレクタ208によって入力ビデオ著作物の各領域での有効ロケーションのうちの1つ以上を選択するのに用いられるランダムな（または少なくとも疑似ランダム）シーケンス値を生成する。透かしエンコーダ212は、堅固性を改善するために透かしデータ210をコード化する。このコード化は、冗長コーディング、エラー訂正コーディング（例えば格子コーディング）または暗号化を含んでよい。暗号化の使用によって、無許可の埋込に対する透かし入れアルゴリズムのセキュリティを増強できる。キャリア変調器214は、コード化透かしデータの異なるビットによって選択されたロケーションのそれぞれに関連した透かしキャリアを調整する。結果として生じる被調整透かしキャリアは、次いで透かしアプリケータ216によって入力ビデオ著作物に適用され、透かし入りのビデオ著作物を生成する。好適な実施例では、透かしアプリケータ216は、変調されたキャリアを入力ビデオ著作物に加える。しかしながら、乗算およびミキシングといった他の技術も可能である。たとえば、2000年に発行の画像処理のIEEE国際会議の会議録、第3巻のM.L.ミラー、I.J.コックスおよびJ.A.ブルームによる「情報に基づいた埋込：透かし挿入中における画像および検出器情報の利用(Informed embedding: exploiting image and detector informationduring watermark insertion)」の第1-4頁および米国特許第6,128,736号を参照されたい。双方の教示が本願に参照として含まれる。入力ビデオ著作物の有効ロケーションのわずか何分の一かが透かしデータを表示するのに実際に用いられ、それら選択されたロケーションは秘密であることから（すなわち、ビデオ著作権侵害者に知られていない）、無許可の消去に対する比較的高い安全レベルが達成できる。
【００４７】
異なる透かしデータのセットが入力ビデオ著作物の異なるコピーに挿入されるごとに、異なる秘密の透かしキーが、予め決められた有効ロケーションのセットの中から選択するのに用いられる固有のシーケンス値を生成するのに用いられてよい。各々の異なる透かしデータのセットに異なるキーを使うことは必要ではないが、そうすることによって、透かしデータを入力ビデオ著作物に挿入するロケーションのセットが、各々違う透かし入りの入力ビデオ著作物版に対して異なっていることが確実になり、無許可埋込および無許可削除に対して透かし入れアルゴリズムのセキュリティを増強することができる。
【００４８】
図4は、本発明の一実施例による透かし回復システム400を示す。回復システム400は、透かし入りのビデオ著作物の海賊版から透かしデータをデコードするのに使用できる。図4で示すように、回復システム400は、オプションとして、オリジナルの（すなわち、透かしがない）ビデオ著作物（すなわち、図2の入力ビデオ著作物と同一）のコピーを較正モデル402に渡す。このステップの目的は、歪んだビデオを、空間、時間および濃度レベルにおけるリファレンスビデオにより近づけて調整することであり、その結果、リファレンスと歪んだビデオ間の差画像のシーケンスは挿入された透かしのトレースをできる限りきれいに生成する。較正モデル402によって実現される特定の処理は、海賊版ビデオ著作物を作り出す際に関係する特定のタイプのアクティビティに依存する。たとえば、海賊版ビデオ著作物が低位ビットレートのビデオストリームである場合、較正モデル402は、空間ディメンションと海賊版並びにオリジナルのコンテンツのグレースケール範囲とをアライメントさせるように、グレースケール較正および大きさ変更のみを実行することができる。他方、映画館で上映されている映画を録画するためにビデオカメラを用いて海賊版ビデオ著作物が作り出された場合、幾何学変換も、海賊版コンテンツをアライメントさせるのに必要である可能性がある。較正プロセスは、オートマチックである必要はなく、人間のオペレータの指示の下で実行されてもよい。
【００４９】
一般に、較正プロセスは、空間、時間、周波数、カラー、輝度またはコントラスト較正のどれを含んでもよく、ピクセルごとの引算オペレーションが2つのビデオ著作物の対応するピクセル上で実行されることが確実になることを意図する。ビデオカメラを使った海賊版ビデオ著作物が作り出された場合、これは特に重要である。
【００５０】
透かしエクストラクタ404は、海賊版ビデオ著作物からリファレンスビデオ著作物を減ずることによって透かしパターンを抜き出す。透かしエクストラクタ404によって生成される被抜出透かしは、埋め込まれ調整された透かしキャリア全ての多ノイズマップに対応する。コード化透かしデータは、図2の透かし挿入システム200によって実行される処理についての情報のどれだけが透かし回復システム400で利用できるかに依存する多くの異なる技術を用いて、この多ノイズマップから回復できる。特に、挿入システム200によって実行される処理についての異なる情報のセットは：
・オリジナルの、透かしがないビデオ著作物と；
・キャリアジェネレータ202によって生成される1つ以上の透かしキャリアと；
・領域クラシファイヤ204によって識別される1つ以上の透かしキャリアの有効ロケーションのセットと；
・乱数ジェネレータ206に適用される秘密の透かしキーと；
・乱数ジェネレータ206によって生成される乱数配列と；
・ロケーションセレクタ208によって選択される選択ロケーションと；
・透かしデータ210のセットと；
・透かしエンコーダ212によって出力されるコード化透かしデータのセットと；
・透かしデータを暗号化するのに透かしエンコーダ212によって用いられる秘密の暗号キーと；
・透かしアプリケータ216で生成される透かし入りのビデオ著作物と、を含む：
特定のインプリメンテーションに従って、これらの異なる情報のセットのうちの1つ以上が、海賊版ビデオ著作物から透かしデータを回復する際に回復システム400によって用いられる挿入システム200の処理の間に記録される。
【００５１】
一つの極端な例は、回復システム400が有する挿入システム200の処理からの知識が最小の場合である。たとえば、そういったインプリメンテーションにおいて、回復システム400が利用できる唯一の情報は、オリジナルの透かしがないビデオ著作物およびキャリアジェネレータ202によって生成された1つ以上の透かしキャリアである。この場合、可能な「ブルートフォース(brute force)」技術とは、異なった調整済みの透かしキャリアの各々に対する整合フィルターを透かしエクストラクタ404によって生成された多ノイズマップに適用して、最高の一致を見つけることである。ここで、各一致とは、回復されたコード化透かしデータの異なるビットを示す。この技術は、ロジカル「1」およびロジカル「0」双方が、調整済みの透かしキャリアを適用することによって入力ビットストリームに明示的に埋め込まれる変調方式を必要とする（たとえば、オリジナルのビデオコンテンツを指定されたロケーションで変化させないままでいることによってロジカル「0」を暗黙にコード化するのとは対照的に）。
【００５２】
透かし挿入プロセスからの最大限の情報がある反対の極端なケースは、各ロケーションと、図2のロケーション選択208中に選択される該ロケーションに対応する透かしキャリア、並びに各入力ビデオ著作物の透かし挿入処理中にキャリア変調214にある選択された透かしキャリアを調整するのに用いられる透かしエンコーダ212によって出力されるコード化透かしデータとを記録するステップを含む。次いで、異なる透かしデータのセットが入力ビデオ著作物のコピーにコード化されて、透かしデータのどのセットが多ノイズマップに最も近づいて一致するかを判断するごとに対応する各記録情報のセットを用いて、透かしエクストラクタ404によって生成される多ノイズマップが分析できる。
【００５３】
別の可能な透かし回復アルゴリズムは、図2の透かし挿入処理からあまり情報を必要としない。たとえば、各々の異なる選択されたロケーションに対して2つの異なった対応する調整済みの透かしキャリア（すなわち一つはロジカル「1」用で、もう一つはロジカル「0」用）を生成することによって、選択されたロケーションおよびそれらが対応する透かしキャリアのみを含む（すなわち、コード化透かしデータ自体を必然的に記録することなく）記録情報のセットに基づいて、透かしデータを回復することができる。同様に、図2のキャリア発生202中に生成される透かしキャリアのセットが透かし回復システム400に知られていた場合、選択されたロケーションのみを含む記録情報のセットに基づいてコード化透かしデータを回復することができる。ここで、透かし回復システム400は、各選択されたロケーションに対する各々の異なる透かしキャリアの各調整バージョンをテストして、コード化透かしデータの対応するビットの値を求める。
【００５４】
図4で示される処理は、別の可能な透かし回復アルゴリズムのインプリメンテーションを示す。このインプリメンテーションでは、キャリア発生202中に生成される透かしキャリアのセットに加えて、図2の透かし挿入アルゴリズムは、領域クラシフィケーション204（すなわち有効ロケーションおよびそれらが対応する透かしキャリアのセット）の結果ならびに入力ビデオ著作物の各々の異なる透かし入り版に対する秘密の透かしキーを記録する。図4で示されるように、秘密の透かしキーは図2の乱数ジェネレータ206と同じアルゴリズムを実行する防護乱数ジェネレータ406に適用され、有効ロケーションの記録セットから選択するためにロケーション選択408によって目下使われる同じシーケンス値を復元する。次いで、キャリア復調410は、ロケーション選択408で識別された各選択ロケーションに対応する透かしキャリアの各調整バージョンをテストして、コード化透かしデータを回復するステップを含む。次いで、透かしデコーダ412は、透かしエンコーダ212によって実現される関連コード化プロセスによって、必要に応じてデコードする。たとえば、透かしデコーダ412は、ビットエラーを訂正し、次いで秘密の暗号キーで解読するために、ビタービ(Viterbi)デコーダを適用してもよい。
【００５５】
ここでまた、代替インプリメンテーションにおいて、有効透かしキャリアのセットが知られている場合、透かし挿入処理中に記録されるデータは対応する透かしキャリアの識別を明示的に含む必要はない。このようなケースでは、キャリア復調410は、ロケーション選択408によって識別された各選択ロケーションで各々の異なる透かしキャリアの各調整バージョンをテストし、透かしデータの各ビットを回復することができる。
【００５６】
＜代替実施例＞
本発明の１つのインプリメンテーションにおいて、（透かしがない）入力ビデオ著作物および（透かしがある）出力ビデオ著作物の双方が、ディジタルビデオビットストリームである。代替実施例においては、入力および出力著作物の一方または両方がアナログビデオ信号であってよい。
【００５７】
好適な実施例において、調整された透かしキャリアは輝度（すなわち明るさ）ピクセルデータに加えられ、たとえば、従来のYUVまたはYCrCbカラースペースにおいて、透かしキャリアはYチャネルに加えられる。代替実施例において、調整された透かしキャリアは、輝度コンポーネントに適用される代わりにあるいはそれに加えて、データのカラーコンポーネントに適用可能である。さらに、本発明はまた、特定の輝度データ（例えば従来のRGB色空間）を有しない色空間で実現可能である。ここで、調整された透かしキャリアは、赤、緑および／または青のピクセルデータのいかなる組合せにも加えることができる。
【００５８】
本発明の好適な実施例において、透かしキャリアは、幾つかの指定されたX、Yおよびtのロケーションでピーク値を有する3D時空間ガウス関数であり、振幅は全ての時間および空間方向においてその位置から落ちる。上述した他の実施例において、透かしキャリアは、3Dビデオ空間にレクティリニア形状を有する3D時空間パターンである。他の代替実施例において、レクティリニア以外の形状を有する3D時空間パターンが透かしキャリアとして使われてよく、該形状は円筒形または楕円形（球形を含む）を含む。さらに、透かしキャリアのうちの1つ以上が一次元であってよく、各パターンは3Dビデオ空間で一次元の曲線（直線を含む）に対応する。同様に、透かしキャリアのうちの1つ以上が二次元であってよく、パターンは3Dビデオ空間で3D曲面（平面を含む）に対応する。特定の透かしキャリアに従って、1Dまたは2Dパターンが、あらゆる可能な方法で3Dビデオ空間のX（高さ）、Y（幅）およびZ（持続時間）軸に対して指向される。加えて、透かしキャリアは、セットが一、二または三次元パターンを形成するかどうかに関係なく、ピクセルの隣接するセットまたは隣接しないセットのどちらかに対応できる。
【００５９】
本発明をシングルエンティティとしてビデオフレームのコンテクストで説明してきたが、当業者には、本発明がインタレースビデオ著作物のコンテクストおよびそれに関連したフィールド処理においてもまた適用可能であることが理解されよう。このように、上述の特定のインプリメンテーションに対して明らかに不適当でない場合には、用語「フレーム」（特に特許請求の範囲で用いられているような）は、ビデオフレームおよびビデオフィールド双方のアプリケーションをカバーしていると解釈されるべきである。
【００６０】
本発明をビデオデータに関して説明してきたが、本発明はまた、オーディオデータのコンテクストで実現することもできる。
【００６１】
本発明は、単一集積回路での可能なインプリメンテーションを含む回路ベースのプロセスとして実現されてもよい。当業者には明らかなように、回路素子の様々な機能もまた、ソフトウェアプログラムの処理ステップで実現されてよい。このようなソフトウェアは、例えばデジタルシグナルプロセッサ、マイクロコントローラまたは汎用計算機で使用されてよい。
【００６２】
本発明は、方法および該方法を実行する装置の形で具体化できる。本発明はまた、具体的な媒体（例えばフロッピーディスケット、CD-ROM、ハードディスクまたは他のあらゆる機械可読記憶媒体）で実施されるプログラムコードの形で具体化できる。ここで、プログラムコードが例えばコンピュータといったマシンにロードされて実行された場合、該マシンは本発明を実行する装置となる。本発明はまた、記憶媒体に格納されるか、マシンにロードされるかおよび／またはマシンで実行されるか、または或る伝送媒体またはキャリアを通じて（例えば電気配線またはケーブル接続を通じて、光ファイバーを通して、または電磁放射を介して）伝送されるかどうかに関係なく、例えばプログラムコードの形で具体化できる。ここで、プログラムコードが例えばコンピュータといったマシンにロードされて実行された場合、該マシンは本発明を実行する装置となる。多目的プロセッサで実現される場合には、プログラムコードセグメントはプロセッサと組み合わされ、特定の論理回路に類似して作動する固有のデバイスを提供する。
【００６３】
本発明の性質を説明するために記載され図示されたパーツの詳細、材料および配列における様々な変更が、特許請求の範囲において示される本発明の原理および範囲を逸脱することなく当業者によって成し得ることが更に理解されるであろう。
【図面の簡単な説明】
【００６４】
【図１】透かし入りのビデオ著作物の海賊版ビデオテープ制作を表すブロック図を示す。
【図２】本発明の一実施例による透かし挿入システムのブロック図を示す。
【図３】図２の領域クラシファイヤによって実現される1つの実施可能な処理に関するフローチャートを示す。
【図４】本発明の一実施例による透かし回復システムを示す。
【符号の説明】
【００６５】
200…透かし挿入システム、202…キャリアジェネレータ、204…領域クラシファイヤ、206…乱数ジェネレータ、208…ロケーションセレクタ、210…透かしデータ、212…透かしエンコーダ、214…キャリア変調器、216…透かしアプリケータ。
【技術分野】
【０００１】
本発明はビデオプロセシングに関しており、特にビデオ著作物への並びにビデオ著作物からの透かしデータの挿入および回復に関している。
【関連出願へのクロスリファレンス】
【０００２】
本出願は弁護士ドケット番号SAR 14473Pの07/30/01に出願済みのアメリカ仮出願60/308,718番の出願日の便益を主張する。
【背景技術】
【０００３】
動画コンテンツ（例えばビデオダウンロード、デジタル映画）の配布チャネルの発達および展開に対する主な障害は、著作権で保護されたマテリアルがコピーされ、次いでその後に適切な認可なしに配布される可能性があるとコンテンツプロバイダが懸念していることである。暗号化は、コンテンツへのアクセスを制御するデジタル権管理（DRM）方法における重要な構成要素である。しかしながら、一旦アクセスが与えられると、解読されたコンテンツはプロテクトされてないままになる。このように、暗号化のみで盗用の全事例を防ぐことができるというわけではない。知的所有権によって保護されているファイルフォーマットおよびそれに対応するデバイスの使用に依存する持続的なアクセス制御方法が提案されているが、最終的には全ビデオがディスプレイの画素輝度および色に変換される必要がある。この点において、ビデオは弱い。
【０００４】
これら潜在的なリークが起こった場合、コンテンツの使用ライセンスを与えられた人物およびコンテンツの更なる配布を防ぐことに対して責任がある人物が無許可コピーを追跡して捕らえることができる法的なツールが、コンテンツ所有者には必要である。マテリアルが盗まれた正確な配布点を識別するコンテンツ所有者の能力は、信頼できる人物を識別するツールとして使用でき、前述の盗用に対して抑止力として作用する。コンテンツにおいてコンテンツのコピーのライセンス取得者を一意的に識別する、デジタルイメージコンテンツ上に重ね合わされたパターンは、この目的を提供できる。このような透かしは、海賊行為に対する強力な法的ツールをコンテンツ所有者に与える。
【０００５】
ダウンロード透かしおよびエキシビション透かし用のSMPTE DC28.4によって定められているものと一致した場合、買い手識別に用いられる法的透かしは、以下のプロパティを有する必要がある：
1.それは、コンテンツ所有者の高忠実度必要条件を満たさなければならない：
2.エキシビション透かしは、エキシビション取込みおよび圧縮の組合せに対して堅固でなければならない：
3.エキシビション透かしは、無許可削除および無許可埋込に対して安全でなければならない：
上にリストした３つのプロパティに関して、既存の透かしアルゴリズムは依然として、忠実度、堅固性およびセキュリティの３つすべてにおいて満足できるパフォーマンスを同時に実証できてはいない。これら３つのプロパティに加えて、法的透かしは、以下の特徴を有することが可能である：
a.透かしの検出は、リファレンスの使用に依存してよい。このリファレンスは対応する透かしのないビデオまたは透かしのないビデオから導出されたデータベクトルであってよい。
b.検出器および検出器のアプリケーションが極めて少ないことから、検出は費用のかかるプロセスであることが認められ、検出の性質はリアルタイムでされる必要はないといった種類のものである。
【発明の開示】
【０００６】
本発明は、多くのビデオアプリケーションが忠実度、堅固性およびセキュリティの満足なレベルに達するのに使用できる透かしアルゴリズムを目的とする。
【０００７】
一実施例によると、本発明は、データストリームに透かしデータをコード化して、透かし入りのデータストリームを結果として生じさせる方法である。本方法は、(a)データストリームに透かしデータをコード化するのに用いられる可能性がある一つ以上の透かしキャリアのセットを識別するステップと；(b)データストリームのコンテンツを分析して、データストリームにおいて、透かしデータをデータストリームにコード化する可能性がある複数のロケーションを識別するステップであって、各可能性のあるロケーションは、セットの透かしキャリアのうちの特定の一つを用いて、受け入れ可能な透かしデータの一部のコード化に対応している、前記ステップと；(c)可能性があるロケーションのサブセットを選択するステップと；(d)各選択されたロケーションに対して、一部の透かしデータによって対応する透かしキャリアを調整し、選択されたロケーションでデータストリームに結果として生じる被調整透かしキャリアを挿入するステップと、を備える。
【０００８】
別の実施例によると、本発明は、データストリームに透かしデータをコード化して、透かし入りのデータストリームを結果として生じさせる方法である。本方法は、(a)一部の透かしデータによって透かしキャリアを調整するステップであって、透かしキャリアが、時空間(spatio-temporal)コントラスト感度関数のピーク以下の周波数を有する時空間周波数パターンに基づいている、前記ステップと；(b)選択されたロケーションで結果として生じる被調整透かしキャリアをデータストリームに挿入するステップと、を備える。
【０００９】
本発明の他の態様、特徴および利点は、以下の詳細な説明、添付の特許請求の範囲および添付図面からより完全に明らかになるであろう。添付図面においては同種または同一のエレメントが参照番号によって識別されている。
【発明を実施するための最良の形態】
【００１０】
以上で示唆したように、望ましい透かし入れアルゴリズムは、十分に高いレベルの堅固性、忠実度およびセキュリティを提供する。ここで、「十分に高い」という句は特定のアプリケーションによって決められる。
【００１１】
図1は、透かし入りのビデオ著作物の海賊版ビデオテープ制作を表すブロック図を示している。図1で示すように、オリジナルのビデオ著作物は透かしエンベダ102によって処理され、透かし入りのビデオ著作物が作成される。透かし入りのビデオ著作物は、オリジナルのビデオ著作物の変更版であり、透かしエンベダ102によって導入された変更は特定の透かしデータを表す。
【００１２】
透かし入れアルゴリズムの忠実度は、透かし埋め込みプロセスによって導入される視覚の質の劣化を指している。アルゴリズムの忠実度は、透かし入りのビデオ著作物の忠実度として、オリジナルのビデオ著作物に関して定義される。多くの透かし入れアプリケーションでは、透かしエンベダ102による劣化が人間の目に完全にまたは少なくとも実質的に見えないことが要求される。
【００１３】
エキシビション106の前に、透かし入りのビデオ著作物がさらされそうな通常処理および伝送劣化104が多数ある。これらは、圧縮、色空間変換およびデジタル／アナログ変換を含んでよい。（例えば、無許可コピーまたは無許可取込みによって）悪用された場合、透かし入りのビデオ著作物は、更に下記のような海賊行為処理による劣化の対象とされる可能性がある。無許可コピーに関連した海賊行為処理による劣化108は、例えば、非常に低いビットレート圧縮を含むことがある。
【００１４】
無許可取込みの典型例は、エキシビション中にビデオキャムコーダーによって映画を録画することである。無許可取込みに関連した海賊行為処理による劣化110は、キャムコーダーによって取り入れられる劣化を含んでおり、該劣化は、幾何学変換（例えば回転、スキュー、透視ひずみ、及び/又は時間あるいは空間のストレッチング）、フィルタリング、トリミング、オクルージョンの導入、及び輝度非線形性のうちの1つ以上を含む可能性がある。
【００１５】
無許可コピーまたは取込みの後に、海賊版ビデオ著作物は、ビデオＣＤに記憶させるかまたはインターネット上で配布するために、比較的低いビットレートで圧縮される傾向がある。このような圧縮は、通常、解像度低減および圧縮アーチファクト（例えばブロッキング）の原因となる。
【００１６】
本願で開示される透かし入れアルゴリズムの堅固性とは、透かしデータを海賊版ビデオ著作物から回復できる可能性を指しており、ここで、海賊版ビデオ著作物とは、通常処理および伝送劣化、海賊行為処理による劣化、又は双方の対象になってきた透かし入りビデオ著作物版であると仮定されたい。
【００１７】
透かしデータが、ビデオコンテンツの盗用に通常関連しているビデオプロセシング中に、この種の劣化の典型的レベルを存続した場合、多くのアプリケーションに対して、透かし入れアルゴリズムは十分に堅固であると考えられる。ここで、存続とは、全てのまたは少なくとも十分な量の透かしデータが海賊版のビデオ著作物から回復可能であることを意味する。
【００１８】
透かし入れアルゴリズムのセキュリティとは、或る人物が明確な認可なしで透かし入れオペレーションを実行することの困難度を指す。本明細書は、無許可の透かし埋込に対するセキュリティおよび無許可の透かし削除に対するセキュリティに関して言及している。
【００１９】
或る人物が秘密についての知識なしに有効な透かしデータをビデオ著作物に埋め込むことが計算上実行不可能な場合、透かしアルゴリズムは、無許可の透かし埋込に対して安全を確保する。この秘密は、しばしば秘密の透かしキー（暗号法で使われる秘密の暗号キーに類似している）のフォームをとる。有効な透かしデータの埋め込みとはビデオ著作物を変更する意味であり、障害を生じさせない透かし検出器が前記データを抜き出して、それを有効であるとみなす。
【００２０】
結果として生じるビデオ著作物の価値がなくなるのに十分な視覚ひずみを取り入れることなしでは透かしデータを確実に回復することができないといった、或る人物が透かし入りのビデオ著作物を変更することが計算上実行不可能な場合、透かしアルゴリズムは無許可の透かし削除に対して安全を確保している。無許可の透かし削除は、透かしデータの消去、検出器の正しい機能を妨げる透かし入りビデオ著作物への変更、および検出器が確実に有効データと無効データを区別することができないといった偽の透かしデータの埋め込みを含む。この最後の方法は、「ジャミング」を指す。
【００２１】
図2は、本発明の一実施例による透かし挿入システム200のブロック図を示す。透かし挿入システム200は、堅固性、忠実度およびセキュリティの満足なレベルを達成する方法で、入力ビデオ著作物のコンテンツ（すなわち実際の画像データ）に、透かしデータをコード化するよう設計されている。
【００２２】
挿入システム200の透かし入れアルゴリズムは、解析プロセス、後続の選択/挿入プロセスという、２部のプロシージャを含む。解析プロセスは、透かしデータをコード化するのに用いられることになっている適当な透かしキャリアが挿入されるよう、ビデオ著作物内において異なる有効時空間ロケーションを識別することを含む。選択/挿入プロセスは、（1）それらの異なる有効ロケーションから特定のロケーションを選択するステップと、（2）対応する透かしキャリアを用いてそれら選択されたロケーションに透かしデータを挿入するステップとを含む。
【００２３】
典型的な実施例において、解析プロセスは各オリジナルの（すなわち、透かしのない）ビデオ著作物に対して一度オフラインで実行され、選択/挿入プロセスは、異なる透かしデータのセットが異なるオリジナルビデオ著作物のコピーに埋め込まれるたびに（例えば、リアルタイムで）実行される。たとえば、異なる映画館の特定の映画のエキシビションの場合、入力ビデオ著作物はオリジナルの（すなわち、透かしのない）映画に対応する。映画が映画館で上映されるたびに、固有の透かしデータのセットはビデオコンテンツにコード化され、ここでその透かしデータは一意的に特定のエキシビションを識別することを意図してもよい。これは、映画館ＩＤ、エキシビションの日付時間、関連づけられた解読、伸長およびエキシビションデバイスのシリアルナンバー、並びに再生装置のグローバルポジショニングシステム（GPS）座標を含んでよい。
【００２４】
図2を参照すると、解析プロセスが、挿入システム200のキャリアジェネレータ202および領域クラシファイヤ204によって実現されている。キャリアジェネレータ202は、入力ビデオ著作物に透かしデータをコード化するのに用いられる一つ以上の適当な透かしキャリアのセットを生成する。本明細書で用いられているように、用語「キャリア」は、透かしデータをコード化する変調を支持可能な堅固で微細なローカライズされたパターンを指す。キャリアジェネレータ202によって生成される1つ以上の異なる透かしキャリアは、異なるタイプの変調（例えば振幅、周波数またはフェーズ）および異なる絶対値に基づいてもよい。
【００２５】
ビデオ著作物は三次元（3D）時空間「ボリューム」のビデオデータとみなされてよい。ここで、三次元のうちの２つは各ビデオピクチャ（例えばフレームまたはフィールド）内の高さおよび幅（ピクセルに関する）に対応し、第３の次元は時間（連続ピクチャの数に関する）に対応している。たとえば、フレームあたり（600x800）ピクセルで１秒につき30フレーム（fps）を有する２時間映画に対応するディジタルビデオビットストリームは、高さ600ピクセル×幅800ピクセル×長さ216,000フレームのビデオボリュームに対応する。
【００２６】
入力ビデオ著作物のビデオボリュームに透かしデータをコード化するのに用いられる透かしキャリアの可能なタイプの１つは、高さ、幅および持続時間を有する比較的小さい3Dボリュームに対応する。ここで、透かしボリュームの各ピクセルは特定の値（正、負、またはゼロであってよい）を有する。たとえば、特定の透かしキャリアの3Dボリュームは、高さ30ピクセル、幅40ピクセル、および長さ150フレーム（例えば、持続時間5秒の30-fpsのビデオストリームに対応する）であってよい。ここで、3D透かしキャリアの各ピクセルは特定の整数値を有する。わずかなコード化透かしデータを入力ビデオ著作物に埋め込むために、透かしキャリアはデータビットの値に基づいて調整され、結果として生じる被調整透かしキャリアは、次いで入力ビデオ著作物のビデオボリュームの対応するピクセルのセットに（ピクセルごとに）適用される。ここで、ビデオボリュームの対応するセットは、例えばセンターピクセルのロケーション（例えばフレームZの中のX,Y座標）によって識別されてもよい。透かしキャリアによって占められる3Dボリュームは、隣接するピクセルのセットである必要はない。それは、いくらかの接合していないピクセルのセットであってもよい。
【００２７】
可能な変調方式の一つによると、コード化された透かしデータのビットがロジカル「1」値を有する場合、3D透かしキャリアのピクセルは3Dビデオストリームの対応するピクセルに（ピクセルごとに）加えられる。透かしデータのビットがロジカル「0」値を有する場合、3D透かしキャリアのピクセルは3Dビデオストリームの対応するピクセルから減じられる。別の可能な変調方式では、ロジカル「1」ビットは前と同様にコード化されるが、ロジカル「0」値は、オリジナルの3Dビデオストリームの対応するピクセルを変化させないでおくことによって「コード化される」。もちろん、これらの基本変調方式の他の置換もまた可能である。
【００２８】
1つの可能な3D透かしキャリアは、ピーク値が3Dパターンの中心に位置する一次元のガウス関数に基づいていて、透かしキャリアに対応する3Dボリュームのピクセル値は、透かしボリュームの第１の「フレーム」のゼロ（またはゼロの近く）で始まり、透かしボリュームの中心に位置するフレームに向かってガウス関数に則って増加し、次いで透かしボリュームの最後のフレームに向かってガウス関数に則って減少する。ここで、3D透かしキャリアの各フレーム内では、ピクセル値の全てが同一であり、ピーク値はガウス関数の振幅に対応する正の値である。前述のガウスの透かしキャリアをビデオ著作物に加えることは、ビデオディスプレイの矩形区域が段階的に明るくなり、続いて段階的に暗くなることに対応する。パターンが十分に長く（すなわち、十分な持続時間の間続き）、ガウス関数の振幅があまり大きくない場合、ディスプレイが段階的に明るくなり、次いで段階的に暗くなることは、おそらく矩形の境界以外ではビュアーに見えない必要がある。透かしキャリアが、空間矩形としてではなく、オリジナルのビデオ著作物の端部に対応する境界を有するように設計された場合、この調整済み透かしキャリアは見えなくなることが可能である。透かしキャリアをビデオ著作物から減ずることによってロジカル「0」がコード化される変調方式において、ガウスの透かしキャリアを減ずることは、区域が段階的に暗くなり、続いて段階的に明るくなることに対応していることに注意されたい。
【００２９】
別の可能な（またより好適な）3D透かしキャリアは、幾つかの指定されたX、Yおよびt位置でピーク値を有する3D時空間ガウス関数であり、その振幅は各方向の時間においてだけでなく空間の外側においても落ちる。
【００３０】
3D透かしキャリアは、ピクセル値が均一なパターンを形成しているかどうかに関係なく、例えばガウス関数または他のあらゆる可能なパターンに基づいたピクセル値といった、ピクセル値のいかなる3Dセットであってもよい。もちろん、すべての可能なピクセル値のセットが、適切な透かしキャリアを形成するというわけでない。一般に、適切な透かしキャリアは、特定のアプリケーションに対して堅固性および忠実度の必要条件を満たすものであり、該用語は以前に定義したものである。
【００３１】
加えて、本発明の好適な実施例において、適切な透かしキャリアは、あらゆるキャリアが目に見えないように挿入されることができるジョイントプロパティを有するものであるが、複数の重なり合った透かしキャリアの挿入は可視アーチファクトを生成し、その強度は重なり合ったキャリアの数に伴い増加する。たとえば、「サブスレッショルド加法」に関する生理学および精神物理学文献は、空間的に近接したキャリア、特に単純な視覚パターン（例えばバーおよびエッジ）に配置されるキャリアのグループ化が、グループ全域の信号エネルギーの和に伴い増加する傾向がある視覚的効果を生じることを示唆している。
【００３２】
キャリアジェネレータ202は、特定のアプリケーションに対して一つ以上の適切な透かしキャリアを生成する。適切な透かしキャリアの特徴は、通常、アプリケーションによって変化する。たとえば、映画館に適する透かしキャリアは、インターネットベースの著作権侵害者を追跡して捕まえるのに適しているものと異なってよい。適切な透かしキャリアはまた、異なるタイプのビデオコンテンツに対して異なってよい。たとえば、フルカラーの動画に適している透かしキャリアは、白黒写真のシーケンスからなるグレースケールビデオスライドショーに適しているものとは異なってよい。
【００３３】
インプリメンテーションに従って、キャリアジェネレータ202は目標基準のみに基づいて適切な透かしキャリアを生成してよく、あるいは、例えば人間サブジェクトからの実際のフィードバックといった主観的なデータに依存してもよい。キャリアジェネレータ202は、別個に（また一般的にオフラインで）実現されてもよい。キャリアジェネレータ202は、比較的大きいセットの可能性があるキャリアを対象として、この大きいセットの中のどのキャリアが、変調（例えば振幅、周波数またはフェーズ）のどのレベルおよび種類で、透かしを意図したアプリケーションドメイン内で堅固であるかについて明らかにする解析（例えば完全な画像処理システムのシミュレーション）を行う。たとえば、低品質のキャムコーダー取込みに堅固性を必要とするアプリケーションは、中位のビットレート圧縮に堅固性を必要とするアプリケーションよりも、低い周波数の透かしキャリアに限定される可能性がある。一実施例において、キャリアジェネレータモジュールは、コンテンツの時空間コンポーネント（例えば時空間周波数）に対する影響に関して可能性のある劣化の解析を実行し、劣化に影響されなさそうなコンポーネント（例えば非常に低い時空間周波数）を決定する。時空間周波数分析以外の解析もまた可能であり、空間、時間、時空間、およびウェーブレット分解が含まれる。一般に、解析は入力信号（例えばオリジナルのビデオ著作物）を複数のコンポーネントに分解することを含んでおり、どの信号成分が、通常処理および/または伝送劣化104に加えて図1の海賊行為処理による劣化108または110を含む可能性がある、予想される単数/複数の劣化に影響されなさそうかを判断する。
【００３４】
前述の解析は、適切な透かしキャリアとして以前に説明した3Dガウスパターンに基づいたパターンを含む、非常に低い時空間周波数の透かしパターンを識別してきた。特定の実施例において、非常に低い時空間周波数の透かしパターンは、１９７９年にJ. Opt. Soc. of Am.から発行されたD.H.ケリーの「運動および視域II安定した時空間しきい値表面(Motion and vision, II. Stabilized Spatio-Temporal ThresholdSurface)」の69(10)第1340-1349頁に記載されている、時空間コントラスト感度関数のピーク以下の周波数を有するものである。この教示は本願に参照として取り入れられている。より詳細には、パターンは、ピークの感度より少なくとも１オーダー小さい大きさの感度を有する必要がある。
【００３５】
領域クラシファイヤ204は、キャリアジェネレータ202によって生成される各透かしキャリアに対して、入力ビデオ著作物に対応する3Dボリュームでの潜在的ロケーションを識別する。ここで、透かしキャリアは「目に見えないように」ビデオ著作物に挿入されることができるが（例えば、その透かしキャリアのロジカル「1」およびロジカル「0」双方の変調を考慮に入れる）、更なるキャリアが挿入されると（例えば、透かし信号を妨害しようとしている誰かによって）、可視アーチファクトが生成される。好適な実施例において、領域クラシファイヤ204は、米国特許第6,137,904号に記載されているJND（丁度可知差異(Just NoticeableDifference)）解析を実行する。この教示は本願に参照として取り入れられている。一般に、他の適切な知覚モデルが領域クラシファイヤ204によって使われることができ、入力ビデオ著作物のコンテンツに基づいた透かしキャリアに対して潜在的ロケーションを識別する。
【００３６】
本発明の一実施例において、領域クラシファイヤ204は入力ビデオストリームを3Dビデオボリュームの複数の3D領域に分割する。ここで、各領域は入力ビデオストリームのサブセットに対応している。たとえば、（30ピクセル×40ピクセル×150フレーム）サイズの3D透かしキャリアを用いたインプリメンテーションにおいて、各領域は、30fps入力ビデオストリームの異なる10秒シーケンスに対応する異なるビデオ「サブボリューム」（例えば600ピクセル×800ピクセル×300フレーム）であってよい。領域クラシファイヤ204は、キャリアジェネレータ202によって生成される各透かしキャリアが、入力ビデオストリームの各領域内の各ロケーションで上記のJND基準を満たすかどうかを判断できる。
【００３７】
図3は、図2の領域クラシファイヤ204によって実現される処理の1つの可能な実施例に関するフローチャートを示す。このインプリメンテーションは３つのネスト化ループを含み、該ネスト化ループは：入力ビデオ著作物のそれぞれ異なる領域を順次選択する外側ループ（ステップ302および316）と、キャリアジェネレータ202によって生成されるそれぞれ異なる透かしキャリアを順次選択する中間ループ（ステップ304および314）と、目下選択された領域内のそれぞれ異なるロケーションを順次選択する内側ループ（ステップ306および312）である。内側ループ内で、JND解析が実行されて、目下選択された透かしキャリアが入力ビデオ著作物の目下選択された領域の目下選択されたロケーションで（ロジカル「1」かロジカル「0」変調に基づいて）挿入された場合にJND基準が満たされるかどうかを判断する（ステップ308）。JND基準が満たされた場合、目下のロケーションおよび目下の透かしキャリアについての情報が後続処理のために記録される（ステップ310）。
【００３８】
任意の透かしキャリアおよび任意の領域に対して、有限の数の、透かしキャリアを領域に挿入可能な異なるロケーションがある。1つのインプリメンテーションにおいて、領域クラシファイヤ204は、それらロケーションのいずれもテストすることができた。あるいは、領域クラシファイヤ204は、それらロケーション（例えば3Dビデオ空間において指定された距離によって互いから離されるロケーション）のサブセットのみがテストされるよう実現できた。
【００３９】
図3の処理は、入力ビデオ著作物の各領域に対して、対応する透かしキャリアを挿入する有効ロケーションのセットを識別する。2つ以上の異なる透かしキャリアを含むインプリメンテーションに対して、領域クラシファイヤ204は、それらロケーションに関連した有効ロケーションおよび特定の透かしキャリア双方を識別する。このようなインプリメンテーションに対して、領域クラシファイヤ204は、単一ロケーションでの挿入に適するように、２つ以上の異なる透かしキャリアを識別できる可能性があることに注意されたい。これは、多重透かしキャリアが目に見えないようにそのロケーションで挿入されることができたことを意味するものではなく、むしろ、２つ以上の異なる透かしキャリアのうちのいずれの一つでもそのロケーションで目に見えないように挿入されることができたことを意味する。
【００４０】
典型的なビデオコンテンツにおいて、透かしキャリアがビデオ著作物の特定のロケーションで（透かしキャリアとビデオ著作物の特定のロケーションの相対的な特徴に基づいて）目に見えないように挿入されることができる場合、確率は、その同じ透かしキャリアが代わりにビデオ著作物の近隣のロケーションに目に見えないように挿入されることができた場合ほど高い。同様に、透かしキャリアが特定のロケーションで目に見えないように挿入されることができない場合、確率は、その同じ透かしキャリアが近隣のロケーションに目に見えないように挿入されることができなかった場合ほど高い。さらに、特定の透かしキャリアが、ビデオ著作物の特定のロケーションに目に見えないように挿入することができる（できない）場合、確率は、同種の透かしキャリアが同じロケーションに目に見えないように挿入された（されなかった）ほど高い。その結果、図3の処理は、有効ロケーションの一様分布とは対照的に、各領域を通して有効ロケーションの高密度および低密度分布を通常生じ、結果に現れる有効ロケーションのクラスタを有する。
【００４１】
図3の処理は、各々の異なる入力ビデオ著作物に対して一度（例えば、オフライン中の非リアルタイム処理）実行される必要があるだけである。結果は後続の選択/挿入プロセス中に使用するために記録され、選択/挿入プロセスは、異なる透かしデータのセットが異なるオリジナル入力ビデオ著作物のコピーに挿入されることになっているときはいつでも実行される。
【００４２】
1つの可能なインプリメンテーションにおいて、選択/挿入プロセス（すなわち挿入システム200によって実行される透かし入れアルゴリズムの第２部）は、図3の処理で分析された入力ビデオ著作物の各領域に、コード化透かしデータのシングルビットのみを埋め込むステップを含む。この場合、各領域に対して、有効ロケーションのうちの1つだけが選択され、コード化透かしデータのシングルビットは、その選択されたロケーションでの挿入のために対応する透かしキャリアを調整するのに用いられる。別の可能なインプリメンテーションは、入力ビデオ著作物の各領域へのコード化透かしデータの複数のビットの埋込を支持してよい。これらのケースにおいて、領域クラシファイヤ204はまた、図3の処理中に生成される情報の「後処理」の幾つかを実行してもよい。
【００４３】
透かし入れアルゴリズムのセキュリティを増強するためには、領域の有効ロケーションの分布における相対密度に基づいて透かしキャリアが挿入されるように、各領域の有効ロケーションのうちの1つ以上を選択することが望ましい場合がある。特定の状況では、高密度ロケーションで透かしキャリアを挿入することによって、セキュリティを増強できる。これの動機付けは、以下の通りである。
【００４４】
透かし入りのビデオ著作物の透かしデータを妨害するために、著作権侵害者が、ビデオ著作物の有効ロケーションの各々に妨害パターンの挿入を試みる可能性がある。高密度ロケーションに透かしキャリアを故意に挿入することによって、著作権侵害者が、妨害されたビデオ著作物に可視のアーチファクトを作成することなく、効果的に透かしデータを妨害することはより難しくなる可能性がある。この場合、領域クラシファイヤ204は、図3を処理中に生成される結果での有効ロケーションのクラスタを特徴づけ且つ識別するクラスタ分析を含むオプションの後処理を実行することができた。異なる透かしキャリアは、次いで各クラスタに挿入されることができた。この後処理フェーズの別パートは、有効ロケーションのクラスタ間に最小距離を課すことができ、異なる透かしキャリアが透かし入りのビデオ著作物において互いに重ならないことを確実にする。
【００４５】
いずれにせよ、領域クラシファイヤ204は、解析フェーズ（すなわち挿入システム200によって実行される透かし入れアルゴリズムの第１の部）を完了する。選択/挿入フェーズは、(a)一つ以上の異なるロケーションと、解析フェーズ中に識別されたビデオ著作物の各領域での有効ロケーションの中からロケーションに対応する透かしキャリアを選択するステップと、(b)コード化透かしデータを生成する透かしデータをコード化するステップと、（c）コード化透かしデータの異なるビットによって各々の選択された透かしキャリアを調整し、調整された透かしキャリアを入力ビデオ著作物に適用することによって、入力ビデオ著作物にコード化透かしデータを埋め込むステップとを含む。
【００４６】
図2で示すように、セキュリティを達成するために、防護乱数ジェネレータ206は、秘密の（すなわち、個人的な）透かしキーを用いて、ロケーションセレクタ208によって入力ビデオ著作物の各領域での有効ロケーションのうちの1つ以上を選択するのに用いられるランダムな（または少なくとも疑似ランダム）シーケンス値を生成する。透かしエンコーダ212は、堅固性を改善するために透かしデータ210をコード化する。このコード化は、冗長コーディング、エラー訂正コーディング（例えば格子コーディング）または暗号化を含んでよい。暗号化の使用によって、無許可の埋込に対する透かし入れアルゴリズムのセキュリティを増強できる。キャリア変調器214は、コード化透かしデータの異なるビットによって選択されたロケーションのそれぞれに関連した透かしキャリアを調整する。結果として生じる被調整透かしキャリアは、次いで透かしアプリケータ216によって入力ビデオ著作物に適用され、透かし入りのビデオ著作物を生成する。好適な実施例では、透かしアプリケータ216は、変調されたキャリアを入力ビデオ著作物に加える。しかしながら、乗算およびミキシングといった他の技術も可能である。たとえば、2000年に発行の画像処理のIEEE国際会議の会議録、第3巻のM.L.ミラー、I.J.コックスおよびJ.A.ブルームによる「情報に基づいた埋込：透かし挿入中における画像および検出器情報の利用(Informed embedding: exploiting image and detector informationduring watermark insertion)」の第1-4頁および米国特許第6,128,736号を参照されたい。双方の教示が本願に参照として含まれる。入力ビデオ著作物の有効ロケーションのわずか何分の一かが透かしデータを表示するのに実際に用いられ、それら選択されたロケーションは秘密であることから（すなわち、ビデオ著作権侵害者に知られていない）、無許可の消去に対する比較的高い安全レベルが達成できる。
【００４７】
異なる透かしデータのセットが入力ビデオ著作物の異なるコピーに挿入されるごとに、異なる秘密の透かしキーが、予め決められた有効ロケーションのセットの中から選択するのに用いられる固有のシーケンス値を生成するのに用いられてよい。各々の異なる透かしデータのセットに異なるキーを使うことは必要ではないが、そうすることによって、透かしデータを入力ビデオ著作物に挿入するロケーションのセットが、各々違う透かし入りの入力ビデオ著作物版に対して異なっていることが確実になり、無許可埋込および無許可削除に対して透かし入れアルゴリズムのセキュリティを増強することができる。
【００４８】
図4は、本発明の一実施例による透かし回復システム400を示す。回復システム400は、透かし入りのビデオ著作物の海賊版から透かしデータをデコードするのに使用できる。図4で示すように、回復システム400は、オプションとして、オリジナルの（すなわち、透かしがない）ビデオ著作物（すなわち、図2の入力ビデオ著作物と同一）のコピーを較正モデル402に渡す。このステップの目的は、歪んだビデオを、空間、時間および濃度レベルにおけるリファレンスビデオにより近づけて調整することであり、その結果、リファレンスと歪んだビデオ間の差画像のシーケンスは挿入された透かしのトレースをできる限りきれいに生成する。較正モデル402によって実現される特定の処理は、海賊版ビデオ著作物を作り出す際に関係する特定のタイプのアクティビティに依存する。たとえば、海賊版ビデオ著作物が低位ビットレートのビデオストリームである場合、較正モデル402は、空間ディメンションと海賊版並びにオリジナルのコンテンツのグレースケール範囲とをアライメントさせるように、グレースケール較正および大きさ変更のみを実行することができる。他方、映画館で上映されている映画を録画するためにビデオカメラを用いて海賊版ビデオ著作物が作り出された場合、幾何学変換も、海賊版コンテンツをアライメントさせるのに必要である可能性がある。較正プロセスは、オートマチックである必要はなく、人間のオペレータの指示の下で実行されてもよい。
【００４９】
一般に、較正プロセスは、空間、時間、周波数、カラー、輝度またはコントラスト較正のどれを含んでもよく、ピクセルごとの引算オペレーションが2つのビデオ著作物の対応するピクセル上で実行されることが確実になることを意図する。ビデオカメラを使った海賊版ビデオ著作物が作り出された場合、これは特に重要である。
【００５０】
透かしエクストラクタ404は、海賊版ビデオ著作物からリファレンスビデオ著作物を減ずることによって透かしパターンを抜き出す。透かしエクストラクタ404によって生成される被抜出透かしは、埋め込まれ調整された透かしキャリア全ての多ノイズマップに対応する。コード化透かしデータは、図2の透かし挿入システム200によって実行される処理についての情報のどれだけが透かし回復システム400で利用できるかに依存する多くの異なる技術を用いて、この多ノイズマップから回復できる。特に、挿入システム200によって実行される処理についての異なる情報のセットは：
・オリジナルの、透かしがないビデオ著作物と；
・キャリアジェネレータ202によって生成される1つ以上の透かしキャリアと；
・領域クラシファイヤ204によって識別される1つ以上の透かしキャリアの有効ロケーションのセットと；
・乱数ジェネレータ206に適用される秘密の透かしキーと；
・乱数ジェネレータ206によって生成される乱数配列と；
・ロケーションセレクタ208によって選択される選択ロケーションと；
・透かしデータ210のセットと；
・透かしエンコーダ212によって出力されるコード化透かしデータのセットと；
・透かしデータを暗号化するのに透かしエンコーダ212によって用いられる秘密の暗号キーと；
・透かしアプリケータ216で生成される透かし入りのビデオ著作物と、を含む：
特定のインプリメンテーションに従って、これらの異なる情報のセットのうちの1つ以上が、海賊版ビデオ著作物から透かしデータを回復する際に回復システム400によって用いられる挿入システム200の処理の間に記録される。
【００５１】
一つの極端な例は、回復システム400が有する挿入システム200の処理からの知識が最小の場合である。たとえば、そういったインプリメンテーションにおいて、回復システム400が利用できる唯一の情報は、オリジナルの透かしがないビデオ著作物およびキャリアジェネレータ202によって生成された1つ以上の透かしキャリアである。この場合、可能な「ブルートフォース(brute force)」技術とは、異なった調整済みの透かしキャリアの各々に対する整合フィルターを透かしエクストラクタ404によって生成された多ノイズマップに適用して、最高の一致を見つけることである。ここで、各一致とは、回復されたコード化透かしデータの異なるビットを示す。この技術は、ロジカル「1」およびロジカル「0」双方が、調整済みの透かしキャリアを適用することによって入力ビットストリームに明示的に埋め込まれる変調方式を必要とする（たとえば、オリジナルのビデオコンテンツを指定されたロケーションで変化させないままでいることによってロジカル「0」を暗黙にコード化するのとは対照的に）。
【００５２】
透かし挿入プロセスからの最大限の情報がある反対の極端なケースは、各ロケーションと、図2のロケーション選択208中に選択される該ロケーションに対応する透かしキャリア、並びに各入力ビデオ著作物の透かし挿入処理中にキャリア変調214にある選択された透かしキャリアを調整するのに用いられる透かしエンコーダ212によって出力されるコード化透かしデータとを記録するステップを含む。次いで、異なる透かしデータのセットが入力ビデオ著作物のコピーにコード化されて、透かしデータのどのセットが多ノイズマップに最も近づいて一致するかを判断するごとに対応する各記録情報のセットを用いて、透かしエクストラクタ404によって生成される多ノイズマップが分析できる。
【００５３】
別の可能な透かし回復アルゴリズムは、図2の透かし挿入処理からあまり情報を必要としない。たとえば、各々の異なる選択されたロケーションに対して2つの異なった対応する調整済みの透かしキャリア（すなわち一つはロジカル「1」用で、もう一つはロジカル「0」用）を生成することによって、選択されたロケーションおよびそれらが対応する透かしキャリアのみを含む（すなわち、コード化透かしデータ自体を必然的に記録することなく）記録情報のセットに基づいて、透かしデータを回復することができる。同様に、図2のキャリア発生202中に生成される透かしキャリアのセットが透かし回復システム400に知られていた場合、選択されたロケーションのみを含む記録情報のセットに基づいてコード化透かしデータを回復することができる。ここで、透かし回復システム400は、各選択されたロケーションに対する各々の異なる透かしキャリアの各調整バージョンをテストして、コード化透かしデータの対応するビットの値を求める。
【００５４】
図4で示される処理は、別の可能な透かし回復アルゴリズムのインプリメンテーションを示す。このインプリメンテーションでは、キャリア発生202中に生成される透かしキャリアのセットに加えて、図2の透かし挿入アルゴリズムは、領域クラシフィケーション204（すなわち有効ロケーションおよびそれらが対応する透かしキャリアのセット）の結果ならびに入力ビデオ著作物の各々の異なる透かし入り版に対する秘密の透かしキーを記録する。図4で示されるように、秘密の透かしキーは図2の乱数ジェネレータ206と同じアルゴリズムを実行する防護乱数ジェネレータ406に適用され、有効ロケーションの記録セットから選択するためにロケーション選択408によって目下使われる同じシーケンス値を復元する。次いで、キャリア復調410は、ロケーション選択408で識別された各選択ロケーションに対応する透かしキャリアの各調整バージョンをテストして、コード化透かしデータを回復するステップを含む。次いで、透かしデコーダ412は、透かしエンコーダ212によって実現される関連コード化プロセスによって、必要に応じてデコードする。たとえば、透かしデコーダ412は、ビットエラーを訂正し、次いで秘密の暗号キーで解読するために、ビタービ(Viterbi)デコーダを適用してもよい。
【００５５】
ここでまた、代替インプリメンテーションにおいて、有効透かしキャリアのセットが知られている場合、透かし挿入処理中に記録されるデータは対応する透かしキャリアの識別を明示的に含む必要はない。このようなケースでは、キャリア復調410は、ロケーション選択408によって識別された各選択ロケーションで各々の異なる透かしキャリアの各調整バージョンをテストし、透かしデータの各ビットを回復することができる。
【００５６】
＜代替実施例＞
本発明の１つのインプリメンテーションにおいて、（透かしがない）入力ビデオ著作物および（透かしがある）出力ビデオ著作物の双方が、ディジタルビデオビットストリームである。代替実施例においては、入力および出力著作物の一方または両方がアナログビデオ信号であってよい。
【００５７】
好適な実施例において、調整された透かしキャリアは輝度（すなわち明るさ）ピクセルデータに加えられ、たとえば、従来のYUVまたはYCrCbカラースペースにおいて、透かしキャリアはYチャネルに加えられる。代替実施例において、調整された透かしキャリアは、輝度コンポーネントに適用される代わりにあるいはそれに加えて、データのカラーコンポーネントに適用可能である。さらに、本発明はまた、特定の輝度データ（例えば従来のRGB色空間）を有しない色空間で実現可能である。ここで、調整された透かしキャリアは、赤、緑および／または青のピクセルデータのいかなる組合せにも加えることができる。
【００５８】
本発明の好適な実施例において、透かしキャリアは、幾つかの指定されたX、Yおよびtのロケーションでピーク値を有する3D時空間ガウス関数であり、振幅は全ての時間および空間方向においてその位置から落ちる。上述した他の実施例において、透かしキャリアは、3Dビデオ空間にレクティリニア形状を有する3D時空間パターンである。他の代替実施例において、レクティリニア以外の形状を有する3D時空間パターンが透かしキャリアとして使われてよく、該形状は円筒形または楕円形（球形を含む）を含む。さらに、透かしキャリアのうちの1つ以上が一次元であってよく、各パターンは3Dビデオ空間で一次元の曲線（直線を含む）に対応する。同様に、透かしキャリアのうちの1つ以上が二次元であってよく、パターンは3Dビデオ空間で3D曲面（平面を含む）に対応する。特定の透かしキャリアに従って、1Dまたは2Dパターンが、あらゆる可能な方法で3Dビデオ空間のX（高さ）、Y（幅）およびZ（持続時間）軸に対して指向される。加えて、透かしキャリアは、セットが一、二または三次元パターンを形成するかどうかに関係なく、ピクセルの隣接するセットまたは隣接しないセットのどちらかに対応できる。
【００５９】
本発明をシングルエンティティとしてビデオフレームのコンテクストで説明してきたが、当業者には、本発明がインタレースビデオ著作物のコンテクストおよびそれに関連したフィールド処理においてもまた適用可能であることが理解されよう。このように、上述の特定のインプリメンテーションに対して明らかに不適当でない場合には、用語「フレーム」（特に特許請求の範囲で用いられているような）は、ビデオフレームおよびビデオフィールド双方のアプリケーションをカバーしていると解釈されるべきである。
【００６０】
本発明をビデオデータに関して説明してきたが、本発明はまた、オーディオデータのコンテクストで実現することもできる。
【００６１】
本発明は、単一集積回路での可能なインプリメンテーションを含む回路ベースのプロセスとして実現されてもよい。当業者には明らかなように、回路素子の様々な機能もまた、ソフトウェアプログラムの処理ステップで実現されてよい。このようなソフトウェアは、例えばデジタルシグナルプロセッサ、マイクロコントローラまたは汎用計算機で使用されてよい。
【００６２】
本発明は、方法および該方法を実行する装置の形で具体化できる。本発明はまた、具体的な媒体（例えばフロッピーディスケット、CD-ROM、ハードディスクまたは他のあらゆる機械可読記憶媒体）で実施されるプログラムコードの形で具体化できる。ここで、プログラムコードが例えばコンピュータといったマシンにロードされて実行された場合、該マシンは本発明を実行する装置となる。本発明はまた、記憶媒体に格納されるか、マシンにロードされるかおよび／またはマシンで実行されるか、または或る伝送媒体またはキャリアを通じて（例えば電気配線またはケーブル接続を通じて、光ファイバーを通して、または電磁放射を介して）伝送されるかどうかに関係なく、例えばプログラムコードの形で具体化できる。ここで、プログラムコードが例えばコンピュータといったマシンにロードされて実行された場合、該マシンは本発明を実行する装置となる。多目的プロセッサで実現される場合には、プログラムコードセグメントはプロセッサと組み合わされ、特定の論理回路に類似して作動する固有のデバイスを提供する。
【００６３】
本発明の性質を説明するために記載され図示されたパーツの詳細、材料および配列における様々な変更が、特許請求の範囲において示される本発明の原理および範囲を逸脱することなく当業者によって成し得ることが更に理解されるであろう。
【図面の簡単な説明】
【００６４】
【図１】透かし入りのビデオ著作物の海賊版ビデオテープ制作を表すブロック図を示す。
【図２】本発明の一実施例による透かし挿入システムのブロック図を示す。
【図３】図２の領域クラシファイヤによって実現される1つの実施可能な処理に関するフローチャートを示す。
【図４】本発明の一実施例による透かし回復システムを示す。
【符号の説明】
【００６５】
200…透かし挿入システム、202…キャリアジェネレータ、204…領域クラシファイヤ、206…乱数ジェネレータ、208…ロケーションセレクタ、210…透かしデータ、212…透かしエンコーダ、214…キャリア変調器、216…透かしアプリケータ。
【特許請求の範囲】
【請求項１】
透かしデータをデータストリームにコード化する方法であって、前記方法は、
(a)前記データストリームに前記透かしデータをコード化するのに用いられる可能性がある一つ以上の透かしキャリアを含むセットを特定するステップと、
(b)前記透かしデータを前記データストリームにコード化する可能性がある複数のロケーションを特定するよう前記データストリームのコンテンツを分析するステップであって、各可能性のあるロケーションは、前記セットにおける透かしキャリアのうちの特定の一つを用いて前記透かしデータの一部をコード化することを許容し得る、該ステップと、
(c)前記可能性があるロケーションのサブセットを選択するステップと、
(d)各選択されたロケーションに対して、前記透かしデータの一部によって対応する透かしキャリアを変調し、変調された透かしキャリアを該選択されたロケーションで前記データストリームに挿入するステップと、
を備える方法。
【請求項２】
データストリームがビデオ著作物または音声著作物である、請求項１記載の方法。
【請求項３】
各可能性があるロケーションは、変調された単一の透かしキャリアは感知されずに挿入できるが、該可能性があるロケーション又はその近くで２つ以上の変調された透かしキャリアを挿入すると感知可能なアーチファクトの原因となるロケーションに、対応している、請求項１記載の方法。
【請求項４】
ステップ（b）が、前記複数の可能性があるロケーションを特定するのに知覚的なモデルを使う、請求項１記載の方法。
【請求項５】
ステップ（b）がJND（丁度可知差異）解析を実行して、前記複数の可能性があるロケーションを特定する、請求項４記載の方法。
【請求項６】
ステップ（b）が、クラスタ分析を実行して、前記可能性があるロケーションの分布の特性を求め、
ステップ(c)が、前記クラスタ分析の結果に基づいて、可能性があるロケーションのサブセットを選択する、請求項１記載の方法。
【請求項７】
一つ以上の透かしキャリアを含む前記セットが、時空間コントラスト感度関数のピーク以下の周波数を有する時空間周波数パターンに基づいた少なくとも1つの透かしキャリアを備える、請求項１記載の方法。
【請求項１】
透かしデータをデータストリームにコード化する方法であって、前記方法は、
(a)前記データストリームに前記透かしデータをコード化するのに用いられる可能性がある一つ以上の透かしキャリアを含むセットを特定するステップと、
(b)前記透かしデータを前記データストリームにコード化する可能性がある複数のロケーションを特定するよう前記データストリームのコンテンツを分析するステップであって、各可能性のあるロケーションは、前記セットにおける透かしキャリアのうちの特定の一つを用いて前記透かしデータの一部をコード化することを許容し得る、該ステップと、
(c)前記可能性があるロケーションのサブセットを選択するステップと、
(d)各選択されたロケーションに対して、前記透かしデータの一部によって対応する透かしキャリアを変調し、変調された透かしキャリアを該選択されたロケーションで前記データストリームに挿入するステップと、
を備える方法。
【請求項２】
データストリームがビデオ著作物または音声著作物である、請求項１記載の方法。
【請求項３】
各可能性があるロケーションは、変調された単一の透かしキャリアは感知されずに挿入できるが、該可能性があるロケーション又はその近くで２つ以上の変調された透かしキャリアを挿入すると感知可能なアーチファクトの原因となるロケーションに、対応している、請求項１記載の方法。
【請求項４】
ステップ（b）が、前記複数の可能性があるロケーションを特定するのに知覚的なモデルを使う、請求項１記載の方法。
【請求項５】
ステップ（b）がJND（丁度可知差異）解析を実行して、前記複数の可能性があるロケーションを特定する、請求項４記載の方法。
【請求項６】
ステップ（b）が、クラスタ分析を実行して、前記可能性があるロケーションの分布の特性を求め、
ステップ(c)が、前記クラスタ分析の結果に基づいて、可能性があるロケーションのサブセットを選択する、請求項１記載の方法。
【請求項７】
一つ以上の透かしキャリアを含む前記セットが、時空間コントラスト感度関数のピーク以下の周波数を有する時空間周波数パターンに基づいた少なくとも1つの透かしキャリアを備える、請求項１記載の方法。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２００８−２１９８６７（Ｐ２００８−２１９８６７Ａ）
【公開日】平成２０年９月１８日（２００８．９．１８）
【国際特許分類】
【外国語出願】
【出願番号】特願２００８−３５９７（Ｐ２００８−３５９７）
【出願日】平成２０年１月１０日（２００８．１．１０）
【分割の表示】特願２００２−２２１６７６（Ｐ２００２−２２１６７６）の分割
【原出願日】平成１４年７月３０日（２００２．７．３０）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
【出願人】（３０８００４３５３）トランスパシフィック・インフォメーション，リミテッド・ライアビリティ・カンパニー (1)
【Ｆターム（参考）】
【公開日】平成２０年９月１８日（２００８．９．１８）
【国際特許分類】
【出願番号】特願２００８−３５９７（Ｐ２００８−３５９７）
【出願日】平成２０年１月１０日（２００８．１．１０）
【分割の表示】特願２００２−２２１６７６（Ｐ２００２−２２１６７６）の分割
【原出願日】平成１４年７月３０日（２００２．７．３０）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
【出願人】（３０８００４３５３）トランスパシフィック・インフォメーション，リミテッド・ライアビリティ・カンパニー (1)
【Ｆターム（参考）】
[ Back to top ]