マルチメディアビデオ通信品質を測定する方法
【課題】マルチメディアビデオ通信品質を測定する方法を提供する。
【解決手段】本発明では、マルチメディアのビデオデータで各々のフレームは等しいサイズのブロックに均一に分割される。透かしデータはブロックの各々に埋め込まれ、透かしは均一に分布する。マルチメディアのビデオデータはグループに分割される。透かしの影響を減らすために各々のグループの中にフレームの等しい間隔でフレームの一部に埋め込まれる。透かし情報は、オリジナルのビデオデータの空間領域に、直接埋め込まれる。ビデオデータのＰＳＮＲはオリジナルの透かしと比較して回復された透かしの正確さレートを使って線形に近似される。近似したＰＳＮＲはマルチメディアのビデオ通信品質の測定表示と考えられる。平滑化フィルタリングのような後処理は、マルチメディアのビデオデータ品質の上で透かしの影響を除くために、透かし抽出の後、ビデオフレームで実行される。
【解決手段】本発明では、マルチメディアのビデオデータで各々のフレームは等しいサイズのブロックに均一に分割される。透かしデータはブロックの各々に埋め込まれ、透かしは均一に分布する。マルチメディアのビデオデータはグループに分割される。透かしの影響を減らすために各々のグループの中にフレームの等しい間隔でフレームの一部に埋め込まれる。透かし情報は、オリジナルのビデオデータの空間領域に、直接埋め込まれる。ビデオデータのＰＳＮＲはオリジナルの透かしと比較して回復された透かしの正確さレートを使って線形に近似される。近似したＰＳＮＲはマルチメディアのビデオ通信品質の測定表示と考えられる。平滑化フィルタリングのような後処理は、マルチメディアのビデオデータ品質の上で透かしの影響を除くために、透かし抽出の後、ビデオフレームで実行される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチメディア通信技術に関し、特にマルチメディアビデオ通信品質を測定する方法に関する。
【背景技術】
【０００２】
マルチメディア情報時代の到来により、様々なマルチメディア処理と通信技術、特にビデオ処理とビデオ通信技術が出現する。それに従い、デジタルビデオの品質評価は、ますます重要になっている。デジタルビデオは、昨今のマルチメディアビデオ通信のために最も主要なメディア形態である。例えばネットワーク映画、ネットワークテレビ等のネットワークストリーミングメディアと、ビデオ会議と、ビデオ電話等は、ビデオに基づく全てのマルチメディアアプリケーションである。マルチメディアアプリケーションサービスの顧客満足度は、大いにビデオ品質に依存する。デジタルビデオ信号送信は、例えばサンプリングと、定量化と、圧縮コーディングと、ネットワーク送信と、アナログビデオ信号のデコード及びリストア等のようないくつかの処理を具備し、その処理において、特に保障サービス品質（ＱｏＳ）無しのネットワーク送信（例えばパケット送信ネットワーク）、エラー、及び情報歪は、それぞれの処理において導入される可能性があり、それゆえ低下した顧客満足に至る。マルチメディアビデオ通信品質は、オリジナル信号に関連するデジタルマルチメディア信号の歪を測定するための測定値である。ビデオ品質評価は、ビデオ圧縮と処理とビデオ通信の分野で、非常に重要な役割を演ずる。リアルタイムあるいは非リアルタイムのビデオシステムの実施と様々なビデオ通信送信チャンネルのＱｏＳは、ビデオ品質により最終的に反映され、そしてコーデックあるいはチャンネルのパラメータを調節するためのフィードバックがなされ、このように、許容できる範囲内でビデオ品質を保証する。様々な異なるコーデックの出力ビデオ品質の測定の簡単な理解が示され、その結果コーデックの実施が設計され、評価され、最適化される。人間の視覚モデルと一致しているグラフィックスと画像ディスプレイシステムは、設計されて、最適化される。
【０００３】
無線とインターネットプロトコル（ＩＰ）送信ビデオシステムでビデオ品質に影響を与える２つの要因は、１つはビデオ品質がビデオ圧縮のために低下することであり、もう１つはビデオ品質が比較的劣悪なチャンネル環境のためにチャンネルパケットロスとランダムエラーコードにより影響を受けることであり、特にビデオコンテンツはヘッダ情報とモーションベクトルの様々なエラーによりダメージを受ける。いくつかの耐えられないモザイクブロックはこれらのダメージを受けたビデオコンテンツでしばしば形成され、回復されたビデオの主観的な品質に大いに影響を及ぼす。それゆえ、測定に基づくビデオ品質測定と、フィードバック訂正と、テスト開発とは、無線とＩＰ送信の方向に向かって進化する現在のマルチメディアビデオ通信のために所望される。
【０００４】
ビデオ品質評価は、ビデオ通信機器メーカと電気通信オペレータ演算子のためにも非常に重要である。器材メーカのために、システムの説得力のあるビデオ品質評価結果の提供は、これらの製品の販売を大いに援助する。オペレータのために、ビデオ品質の評価データは、それらのサービスの普及と伝播のために使用される。更に、自動リアルタイムビデオ品質評価方法の開発は、メーカとオペレータの両方がビデオ装置にリアルタイムモニタリングの実施を可能とすることに基づき、トラブルシューティングとエラー解析を容易にする。
【０００５】
ビデオ品質評価は、主観的な品質評価と客観的な品質評価に分類される。主観的な品質評価の結果は信頼できるが、しかしそれは人間の被験者の参加に頼り、特にリアルタイム要求によるアプリケーション環境での評価のための、処理は複雑であり、広く適用されるのが難しいので、人間による評価は難しくなる。客観的な品質評価は、別の視点から定量化する方法を使用してビデオ品質を測定し、高効率で及び人間の参加なしで自動的に実行される。
【０００６】
客観的品質評価は、３つのカテゴリーにさらに分類される。
（１）完全なオリジナルビデオシーケンスを必要とする完全な参照モデル。
（２）オリジナルビデオシーケンスの部分的な統計的特徴を必要とするだけの部分的な参照モデル。
（３）オリジナルビデオシーケンスのいずれの情報も必要としない参照無しのモデル。
【０００７】
必要とされた参照ビデオシーケンスが実用的なアプリケーションで一般に獲得されることができないので、完全な参照と部分的な参照評価法は、広く使用されない、このためいずれかの参照情報も必要とされない新しい客観的リアルタイムビデオ品質評価法が所望される。現時点では、ビデオ品質専門家グループ（ＶＱＥＧ）は、調査方法と参照無しのビデオ品質評価のための基準を構成するために設けられる。
【０００８】
ピーク信号対ノイズ比（ＰＳＮＲ）は、それは計算されるのに簡単であるので、多数の客観的品質評価指示の間で最も広く使用され、見た目の身体的な意味を有し、現実に画像の歪率を反映する。
【０００９】
デジタルメディアはアクセスされ、コピーされ、送られ、編集されるのに簡単である一方で、デジタルメディアは、著作権の侵害及びデジタルメディアコンテンツの挿入ようないくらかの問題が生じる。このように、デジタルメディア著作権を保護するために素早く使用される電子透かし技術が示される。
【００１０】
電子透かし技術は、近年開発されて、広く使用されている。オリジナルメディアデータに埋め込まれる透かし情報は、常に一連の情報をオリジナルメディアデータに埋め込むことによりオリジナルメディアデータと共存し、このためオリジナルメディアデータの著作権とコンテンツの完全性が保護される。技術の開発で、著作権保護の他に、電子透かし技術は、多くの他の分野で使用される。例えば、上記されるマルチメディアビデオ通信は、部分的参照モデル法であり、つまり、オリジナルビデオ画像を知ること無しに、チャンネル送信前の透かし画像とチャンネル送信後に歪が生じた透かし画像とに関してオリジナル画像の状態を間接的に反映する、電子透かしを埋め込み、及び抽出することにより獲得される可能性があり、これにより品質測定、計算、及び評価が実行される。
【００１１】
電子透かしは、オリジナルデータのいずれの部分でも埋め込まれるが、オリジナルデータに対するその効果は、最大限に減少される必要がある。電子透かし技術は、電子透かしを埋め込むアプローチにより、空間領域の電子透かし技術と変換領域の電子透かし技術に分類される。電子透かし技術では、透かし情報は、メディアの空間領域に、直接埋め込まれる。例えば、情報は画像のピクセルに埋め込まれる。変換領域の電子透かし技術では、第１に変換は、例えば離散型フーリエ変換（ＤＦＴ）、離散型コサイン変換（ＤＣＴ）、離散型ウェーブレット変換（ＤＷＴ）等のようなメディアで実行され、次いで透かし情報は変換領域に埋め込まれる。
【００１２】
図１は、電子透かしの原理を図示するブロック図を示す。この図において、マスターメディアＩ０は、一般的に例えばビデオあるいはオーディオ等のようなオリジナルあるいは圧縮されたマルチメディアのデータであり、隠されるデータｂ０は、Ｉ０と比較してより少ないデータを有する。透かしの埋め込まれたメディアＩ１とＩ０との違いは、埋め込まれた透かしに起因する歪である。一般に、そのような歪は、人間に気付かれることを所望されない。メディアＩ２は、例えばデータ圧縮、ノイズ汚染、透かしへの意図された攻撃等のような、ノイズとみなされるＩ１上のいくらかの処理を実行することにより獲得される。それゆえ、Ｉ２から抽出される透かしｂ１は、オリジナル透かしｂ０に比較してある程度歪が生じる。もしＩ２がＩ１と同一であるならば、Ｉ２から抽出される透かしｂ１は、オリジナル透かしｂ０と同一にしなければならない。
【００１３】
透かし埋め込みと透かし抽出のための一般的な数学的モデルは、Ｉ０とＩ１がそれぞれオリジナルデータと透かしが埋め込まれデータを表し、ｂ０がオリジナル透かしを表し、透かしを埋め込む処理は、［Ｉ１＝Ｉ０＋ｆ（Ｉ０，ｂ０）、ここで、ｆ（Ｉ０，ｂ０）は透かし埋め込みアルゴリズムを表す］として表現される。透かし測定処理は、［もしＨ０：ｂ１＝Ｉ２−Ｉ１＝Ｎであるならば、透かしは存在せず、もしＨ１：ｂ１＝Ｉ２−Ｉ１＝ｂ０＋Ｎであるならば、透かしが存在する］として表される。Ｎはノイズを表す。例えば、上記ノイズは、データ圧縮とノイズ汚染と透かしへの意図された攻撃に起因する。そして、透かしが埋め込まれたデータは、処理の後ある程度歪められるので、処理されたデータから測定される透かしは、ある程度オリジナル透かしと異なる。
【００１４】
透かし測定技術は、例えば目的地から反射している信号がレーダーエコー信号に具備されるかどうか、そして目的地信号が存在すれば、統計原理を使用してどのように最適な信号抽出を実行するかのような、目的地信号がノイズに存在するかどうかを決定する方法を調査するために使用される伝統的信号検出技術により一般に実施される。統計的仮説検定／検証は、信号がノイズの中に存在するかどうか決定するために使用される。透かし測定処理は、２つの仮説Ｈ０とＨ１を提示する段階と、検定結果にしたがいどの仮説が真実であるか決定する段階と、従って透かしが存在するかどうかを知る段階とを具備する。
【００１５】
現時点では、電子透かしに基づくマルチメディア（ビデオと画像）の品質評価のための全ての方法は、同じ原理に従う。図２は、電子透かしに基づくビデオ通信品質測定の原理と、以下に記述される基本的な原理とを示すブロック図を示す。
【００１６】
オリジナル画像と比較して非常に小さい透かし画像は、オリジナル画像に埋め込まれ、このように、追加されるさらなるデータ量はオリジナル画像のデータ量と比較すると取るに足らず、マルチメディア品質にほとんど影響を及ぼさない。透かしが埋め込まれたオリジナル画像は、送信チャンネルを通過した後に歪が生じ、従って抽出された透かし画像は歪むことになる。透かしはオリジナル画像のあらゆる場所で埋め込まれるので、透かし画像の品質測定値は、サンプルを分布させた後のオリジナル画像の測定値に等しい。透かし
の分布が十分に均一である限り、歪が生じた画像の品質は透かし画像の品質を測定することにより十分に反映される。オリジナル画像が通信の両側で共有される一方、受信側は通信品質を回復された透かし画像と既知のオリジナルの透かし画像と比較することにより測定し、このように透かしの品質評価は、実際には一種の参照による評価である。
【００１７】
図３は、電子透かしに基づくマルチメディアビデオ通信品質を測定する例を示す。左側は、エラー位置を測定するのが容易な白黒の２値画像であるオリジナル透かし画像である。中央は、透かしが埋め込まれ、送信過程の間にＪＰＥＧ（JointPhotographicExpertsGroup）標準圧縮とネットワーク損失の後の国際標準テストのレナ画像に歪が生じた画像であり、ここでは明白な３ブロックの歪が画像に存在する。右側は、歪が生じたレナ画像から抽出された回復された透かし画像であり、ここで散在して分布する黒の点と白の点は、圧縮による歪であり、一方回復されたリーナ画像の３つの明白な歪に対応する位置の大きな黒と白のブロックは、パケット損失のようなエラーに起因する。
【００１８】
実用的なアプリケーションでは、上記の解決法が使用されるとき、透かし画像埋め込みは必然的にマルチメディアビデオデータとビデオ品質の正当性の劣化に終わる。理論的に、より多くの透かし情報はビデオに埋め込まれ、全ての画像は透かし情報によりよりよくカバーされる可能性があり、より多くのサンプルが提示される。従って抽出された透かし情報はオリジナルビデオを完全に反映する可能性があり、獲得されたビデオ品質評価はより正確である。他方で、より多くの透かし情報がビデオに埋め込まれ、ビデオの品質は、より影響を受ける。このように、ビデオ品質は減少する。すなわち、電子透かしに基づくビデオ品質評価方法に矛盾が存在する。より多くの情報がビデオに埋め込まれるほど、ビデオ品質測定はより正確であるが、より埋め込まれた透かし情報がビデオ品質により多く影響を及ぼす。先行技術はこの矛盾を解決することができないので、ビデオ通信品質は、ビデオ通信品質が影響を受けない前提条件の下で透かしを埋め込み及び抽出することにより正確に測定されずかつ計算されない。
【００１９】
この例の主な原因は、先行技術では、透かし情報が至る所に均一にマルチメディアビデオデータに埋め込まれず、結果としてマルチメディアビデオ通信品質が透かし情報が少ないことにより完全には反映されないことになり、一方であまりに多くの透かし情報はマルチメディアビデオデータに影響を及ぼすことである。
【先行技術文献】
【特許文献】
【００２０】
【特許文献１】国際公開第２００４／１０２４７７号
【非特許文献】
【００２１】
【非特許文献１】小林弘幸ほか著，ハッシュ関数を用いたロスレス電子透かし法と放送監視への応用，映像情報メディア学会技術報告，日本，（社）映像情報メディア学会，２００４年２月３日，第28巻，第7号
【発明の概要】
【発明が解決しようとする課題】
【００２２】
本発明の１態様の目的は、マルチメディアビデオ通信品質を測定する方法を提供することである。上記方法は客観的な品質評価であり、そのため、マルチメディアビデオ通信品質はマルチメディアビデオデータ品質が明白に影響を受けない前提条件の下で、電子透かしを埋め込み、かつ抽出することにより客観的に反映することができる。
【課題を解決するための手段】
【００２３】
本発明の１態様は、マルチメディアのビデオ通信品質を測定する方法は、以下の段階を提供する。
送っている側に均一にオリジナルの透かしデータをマルチメディアのビデオデータに埋めて、マルチメディアのビデオデータを受け入れ側に送る段階。
受け入れ側で回復された透かしを受信マルチメディアのビデオデータから抽出する段階。
オリジナル透かしと比較して回復された透かしの歪率を計算する段階。
【００２４】
好ましくは、本方法はまた、以下の段階を具備してもよい。
均一にオリジナルの透かしをオリジナルのマルチメディアのデータに埋め込んで、送信側で圧縮コーディングまたはデータ包装またはフレーミングを実行して、データを受信側に送ること。
【００２５】
好ましくは、本方法は以下の段階を具備してもよい。
均一にマルチメディアのビデオデータフレームを等しいサイズのブロックに分けて、オリジナルの透かしデータの等しい量をブロックの一部または送っている側のブロックの全てに埋めること。
【００２６】
本方法は更に以下を含んでもよい。
送信側（等しい数のフレームを含む各々のグループ）でマルチメディアのビデオデータをグループに分けて、埋め込みフレームと同じグループで等しい間隔で少なくとも２つのフレームを選択すること。（均一に埋め込みフレームの各々を等しいサイズの複数のブロックに分けて、埋め込まれたブロックとして複数のブロックから等しい数のブロックを選んで、オリジナルの透かしデータと等しい量を埋め込まれたブロックの各々に埋める）。
【００２７】
それぞれのマルチメディアビデオデータフレームは、Ｍ行が０からＭ−１までの番号をふられ、Ｎ列が０からＮ―１までの番号をふられたＭ行×Ｎ列ピクセルを備え、均一にマルチメディアビデオデータフレームを等しいサイズのブロックに分割する段階は、
マルチメディアビデオデータフレームを０からｍ−１まで番号をふられるｍストリップに分割する段階と、
ストリップｉ（ｉ＝０，１，・・・，ｍ−１）をｉ×ｎから（ｉ＋１）×ｎ―１までの番号をふられるｎブロックに分割する段階と、
等量のオリジナル透かしデータを、得られた各々のｍ×ｎブロックに埋め込む段階とを備え、
ストリップｉ（ｉ＝０，１，・・・，ｍ−２）は、行ｉ×ｋνから行（ｉ＋１）×ｋν−１までのピクセルを備え、
ストリップｍ−１は、行（ｍ−１）×ｋνから行Ｍ−１までのピクセルを備え（ｍはＭ／ｋνと同じかそれ以上の最小の整数であり、もしｍ＝Ｍ／ｋνであれば、上記ストリップｍ−１はピクセルの０行を備える）、
上記ブロックｉ×ｎ＋ｊ（０，１，・・・，ｎ−２）は、このストリップの列ｊ×ｋｈから列（ｊ＋１）×ｋｈ−１までのピクセルを備え、
上記ブロックｎ−１は、列（ｎ−１）×ｋｈから列Ｎ―１までのピクセルを備える（ｎはＮ／ｋνと同じかそれ以上の最小の整数であり、もしｎ＝Ｎ／ｋｈであれば、上記ストリップｎ−１はピクセルのゼロ列を備える）。
【００２８】
マルチメディアビデオデータのそれぞれのフレームは、均一に０からＬ−１まで番号をふられたＬブロックに分割され、上記オリジナル透かしを埋め込む段階は、さらに、
連続のフレームをグループに分割する段階と、
埋め込まれたフレームとしてそれぞれのグループのフレームｑ×Ｐ（ｑ＝０，・・・，Ｑ−１）を選択する段階と、
埋め込まれたブロックとして埋め込まれたフレームｑ×Ｐ（ｑ＝０，・・・，Ｑ−１）のブロックｑ＋ｒ×Ｑ（ｒ＝０，・・・，Ｒ−１，とｑ＋ｒ×Ｑ≦Ｌ）を選択し、ここでＲはＬ／Ｑ以下である段階と、
グループの埋め込まれた全てのブロックに等量のオリジナル透かしデータを埋めこむ段階とを備え
それぞれのグループが順番にグループのフレーム０からフレームＰ×Ｑ−１までのＰ×Ｑフレームを備える。
【００２９】
好ましくは、本方法は、上記ブロックの一部あるいは全てのブロックに埋め込まれたオリジナル透かしデータのビット数を上記データブロックのサイズに従い決定する段階を更に備える。
【００３０】
マルチメディアビデオデータブロックのオリジナル透かしの１ビットデータを埋め込む段階は、
ピクセルに従いマルチメディアビデオデータの平均値μを計算する段階と、
ｂ’＝ｂ＋ｃに従いマルチメディアブロックのそれぞれのピクセルの値を修正する(ここで、ｂ’はピクセルの値を修正し、ｂは修正前のピクセル値であり、ｃは修正量である)段階を備え、
修正量は以下の式により計算される。
オリジナル透かしデータビットが１であるとき、
【００３１】
【数１】
【００３２】
であり、オリジナル透かしデータビットが０であるとき、
【００３３】
【数２】
【００３４】
である。ただし、γは２Ａで除算されたμの余である。Ａは、埋め込み強さを表するとともに、２×ＱＰ−１に等しい。ＱＰは、マルチメディアビデオ通信圧縮コーディングの量子化係数を表す。
【００３５】
受信されたマルチメディアビデオデータブロックから回復された透かしのデータビットを抽出する段階と、
ピクセルに従い受信されたマルチメディアビデオデータブロックの平均値μ’を計算する段階と、
以下の式に従い回復された透かしの抽出されたデータｗ’を計算する段階とを備える。
【００３６】
【数３】
【００３７】
ここでγ’は２Ａにより除算されたμ’の余である。Ａは、埋め込み強さを表するとともに、２×ＱＰ−１に等しい。ＱＰは、マルチメディアビデオ通信圧縮コーディングの量子化係数を表す。
【００３８】
本方法は更に以下を含む。
マルチメディアビデオ通信の客観的品質を測定するためにオリジナル透かしと比較して回復された透かしのピクセル回復率を使用してピーク信号ノイズ比を計算する段階を更に備える。
マルチメディアビデオ通信実験の静的データに基づき、マルチメディアビデオ通信の客観的品質を測定する平均２乗誤差に従い、オリジナル透かしに対して回復された透かしのピクセル回復率の一次関数を使用して、ピーク信号ノイズ比の推定値を獲得するために近似する段階を備える。
【００３９】
好ましくは、マルチメディアのビデオ通信の客観的品質を測定するためにオリジナル透かしと比較して回復された透かしの歪率を計算する段階を更に備える。
【００４０】
本方法は以下も含む。
オリジナル透かしと比較して回復された透かしのピクセル回復率を使用し、オリジナル透かしに対して回復された透かしの歪率を計算する段階をさらに備える。
【００４１】
好ましくは、本方法は、回復された透かしを抽出すると同時に、透かし埋め込みの効果を除くために受信されたマルチメディアビデオデータを後処理する段階を有し、ここで後処理は、平滑化フィルタ、メジアンフィルタ、ニューラルネットワークフィルタ、数理形態学フィルタ、及びファジー数学法に基づくフィルタ、のうちの１つを備える。
【００４２】
本方法は、
オリジナル透かしと、関連するパラメータと、計画とを決定する段階を有し、
前記計画は、オリジナル透かしを埋め込むとともに、送信側と受信側との間の通信交渉を介して回復される透かしを抽出し、
オリジナル透かしと、関連するパラメータと、オリジナル透かしを埋め込み、送信側で回復される透かしを抽出し、通信の前に受信側に通知するための計画とを決定する段階を更に備えるものである。
【００４３】
色画像のために、オリジナルの透かしは、オリジナルのマルチメディアのデータの輝度構成要素に埋め込まれる。
【００４４】
カラー画像のための、オリジナル透かしがオリジナルマルチメディアデータの輝度要素に埋め込まれ、
マルチチャンネル画像のために、オリジナル透かしがオリジナルマルチチャンネル画像データの１以上のチャンネルに埋め込まれる。
【００４５】
オリジナルの透かしは、２値の画像である。
【００４６】
先行技術と比較して、本発明の1態様の技術的解決によれば、マルチメディアのビデオデータの各々のフレームは、等しいサイズのブロックに均一に分割される。透かしデータは完全に均一な透かしを分布させるために、各々のブロックに埋められる。このように、透かしによってマルチメディアのビデオ通信品質を反映する正確さは、改善される。
【００４７】
さらに、マルチメディアのビデオデータのフレームは、グループに分割される。透かしは、透かしが完全に均一な分布となるように、各々のグループ中のフレームの一部の中に等しい間隔で均一に埋め込まれる。透かし情報の量は、減少する。マルチメディアのビデオデータの透かし埋め込みの影響は、減らされる。マルチメディアのビデオ通信品質は、確実にされて、正確に測られる。
【００４８】
そのうえ、透かし情報はオリジナルのマルチメディアのデータまたはビデオ空間領域に直接、そして、均一に埋められる。そのため、透かしはマルチメディアまたはビデオの直観的に品質を表すことと完全に等しい。そして、マルチメディアのビデオ通信品質評価の正確さは改善される。
【００４９】
平滑化フィルタリングのような後処理は、マルチメディアのビデオデータ品質の上で透かしの影響を除くために、透かし抽出の後、ビデオ画像の上で実行される。
【００５０】
オリジナルの透かしと比較して回復された透かしの正確さ率を使っているマルチメディアのビデオデータの線形に近似したＰＳＮＲは、マルチメディアのビデオ通信品質のための測定基準と考えられている。そして、それは正確に通信状態を反映することができる。
【００５１】
平滑化フィルタリング、メジアンフィルタリング、ニューラルネットワークフィルタリング、数学的な形態フィルタリングまたはファジー数学法に基づくフィルタリングのような後処理は、マルチメディアのビデオデータ上で透かしまたはビデオ品質の影響を除くために、透かし抽出の後、ビデオ画像の上で実行される。
【００５２】
均一に透かしをマルチメディアのビデオデータに埋め込むために、ブロックとグループに分割する方法を用いた本発明の１態様によると、透かし情報の量は減らすことができる。そして、マルチメディアのビデオデータの品質への透かしのダメージは大いに減少するかもしれない。透かしによってマルチメディアのビデオ通信品質を反映するための正確さは、改善される。
【発明の効果】
【００５３】
本発明の1態様によれば、透かしはコーディングの前のオリジナルのマルチメディアのデータ内に、または、ビデオ空間領域に直接埋め込まれる。そのため、透かしはマルチメディアの直観的な品質を完全に同等に反映する。マルチメディアのビデオ通信品質測定の正確さは改善される。マルチメディアのビデオ通信品質の精度は改善され、マルチメディアのコーディング過程に起因する品質損失程度が反映される。
【００５４】
本発明の1態様によれば、品質測定指示（それは、参照評価方法に近い）としての近似したＰＳＮＲに関して、マルチメディアのビデオ通信のための客観的な品質評価の正確さは、改善される。
【００５５】
本発明の1態様によれば、マルチメディアのビデオデータまたはビデオデータの品質の透かしの影響は、透かし抽出のために平滑化フィルタリング後処理を実行することによって減少し、ビデオ通信品質は確実にされる。
【００５６】
本発明の1態様において提供される上記の測定によると、マルチメディアのビデオ通信の品質は、ビデオ通信品質がダメージを受けない前提条件で、正確に反映される。迅速でリアルタイム通信品質測定は、ネットワー欠陥と他のシステム欠陥の位置の特定を容易にするために、ビデオ通信において提供してもよい。リアルタイムにサービス品質を示して、顧客信頼度を改善することは、オペレーターにとって容易となる。ビデオ通信製品の開発作業中、テストと確認を実行することはメーカにとって容易となる。そのため、ビデオ通信製品の性能は向上するとともに、ビデオ通信サービスは大衆化される。
【図面の簡単な説明】
【００５７】
【図１】電子透かし技術の原理を例示している概略図である。
【図２】電子透かしに基づくビデオ通信品質測定の原理を例示しているブロック図である。
【図３】透かしと透かし回復条件を埋め込んだ画像を例示している概略図である。
【図４】本発明の実施形態によってマルチメディアのビデオ通信品質を測定する方法のフローチャートである。
【図５】本発明の実施形態によってフレームを等しいサイズのブロックに均一に分割することを例示している概略図である。
【図６（ａ）】本発明の第８実施形態による実験の結果を例示している概略図である。
【図６（ｂ）】本発明の第８実施形態による実験の結果を例示している概略図である。
【発明を実施するための形態】
【００５８】
本発明の１態様または他の態様は、様々な目的と、技術的解決法と、利点は、添付の図面と実施形態の詳細な説明を参照してより明確に理解される。
【００５９】
上述したように、本発明の１態様によれば、ダメージを受けたビデオ品質とビデオ通信品質の正確な反映との間の矛盾を考慮して、埋め込まれた透かしのビデオ品質への影響とビデオ品質を反映する正確さと間でバランスをとることを可能とする電子透かしに基づくビデオ通信品質を測定する方法が提供され、その結果ビデオ品質はダメージを受けず、かつビデオ通信品質は正確に測定される。
【００６０】
本方法の原理は、圧縮されたビデオの特性に従い、透かしはブロックとグループに分割することに基づく透かし埋め込みアルゴリズムを使用してビデオ空間領域に完全に、かつ均一に埋め込まれる。ＰＳＮＲは透かし回復正確度を使用して近似される。いわゆる近似は、一連の別々のデータポイントに基づく計算数学のためのデータ処理方法である。カーブはこれらのデータポイントを代表するために獲得され、カーブとこれらの不連続のデータポイントの間の総距離は特定の最適な基準に従い最小限である。ここで、近似はピクセル回復率（ＰＲＲ）データとともにＰＳＮＲカーブに近づくことを意味し、その目的は、これらの両方が非常に近接し、非常に高い相関性と一致性を有し、従って低いコード率で圧縮したビデオに適用可能な品質評価指示を提供することを示すことである。先行技術と比較して、本発明の１態様によれば、埋め込まれた電子透かしのビデオ品質への影響は、非常に減少される。本発明の１態様の方法は、上記の品質評価カテゴリーに従い、部分参照モデル法に属する。オリジナルビデオ画像を知る必要はなく、上記方法はオリジナル透かし画像と、送信チャンネルを通過する歪が生じた透かし画像とを参照して使用し、オリジナル画像の状態を間接的に反映し、従ってビデオ通信品質を測定する。
【００６１】
本発明の態様による電子透かしに基づくマルチメディアビデオ通信のための客観的品質測定法は、３つの基本的な段階を具備する。送信側で均一にマルチメディアビデオデータにオリジナル透かしデータを埋め込み、受信側にマルチメディアビデオデータを送信する段階と、受信側で透かし埋め込み処理と反対の処理を通して受信されたマルチメディアビデオデータから回復された透かしデータを抽出する段階と、オリジナルの透かしと比較して回復された透かしの歪率に従いマルチメディアビデオ通信の客観的品質を測定する段階。
【００６２】
［本発明の第１の実施形態］
図４は、本発明の態様による電子透かしに基づくマルチメディアのビデオ通信の客観的品質測定法のフローチャートである。以下に、各過程の原理と実施の詳細と実質的効果が詳細に記載される
【００６３】
以下の詳細な説明のビデオ通信品質評価の例で、ビデオデータは、連続的なフレームシーケンスを具備する。既存のビデオのために、ブロックベースＤＣＴ（Ｂ−ＤＣＴ）コーディングと例えばＨ．２６３とＨ．２６４とＭＰＥＧ（MovingPictureExpertGroup）などのような動き補償圧縮アルゴリズムが、一般的に使用される。上記方法は異なるコーディングあるいは圧縮解決法による他のビデオ通信および他のマルチメディアビデオ通信の品質評価に適用できることと、そして本発明の目的が本発明の精神と範囲に影響を及ぼすことなく同じように達成されることを当業者は認識する。
【００６４】
ブロック４０１において、ビデオ品質評価のためのオリジナル透かし画像と関連するアルゴリズムあるいは解決法が決定される。それは、電子透かしに基づく通信品質評価のために最初の適切な透かしを選択する必要がある。実際には、ビデオ品質を反映するだけでなくビデオ品質にできるだけ影響を及ぼさない可能性のある電子透かしを選択することは、ビデオ通信品質評価にとって重要である。
【００６５】
［本発明の第２の実施形態］
２値画像は、情報の量を減少することができ、透かしピクセルを隠すことに適切である実施形態において選択される。さらに、例えば図３で示される透かし画像のような白黒のパターンも使用される。黒と白は０と１を意味し、その結果そのような画像により通信される情報の量は大きくないが、画像はエラーコードを発見するのに高感度で強いロバスト性を有する。
【００６６】
［本発明の第３の実施形態］
透かし画像は通信の両側間のネゴシエーションを通して決定される必要があるので、本発明の第３実施形態において、ビデオ通信の送信側と受信側はオリジナル透かしと、透かし埋め込みと透かし抽出の特定の解決法を決定するために通信発信することを通してネゴシエーションする。
【００６７】
オリジナル透かしが決定された後、透かしは本発明の原理に従いビデオ画像に均一に埋め込まれる。Ｂ−ＤＣＴカテゴリーのビデオ圧縮コーディング標準では、量子化とコーディングは、動き予測により実行される。すなわち、フレームの予測と差分コーディングは、前フレームあるいは後フレームを参照して実行される。ＤＣＴ変換はコーディングのために使用されるので、変換されたコーディングストリームデータは元の直観的なビデオ画像と完全には一致しない。
【００６８】
［本発明の第４の実施形態］
この実施形態において、電子透かしはＤＣＴ変換の前にビデオ空間領域に埋め込まれ、すなわちオリジナル透かしは、送信側でオリジナルマルチメディアデータに均一に埋め込まれ、次いで圧縮コーディング、及びパケット切り換えネットワークのためのデータパケッティング、あるいは回路交換ネットワークのためのフレーミングが実行され、最後にデータはネットワークを介して受信側に送信される。
【００６９】
一方で、ビデオ圧縮のビデオ品質に与える影響は、反映され、他方では、かなりの数のゼロマクロブロックが圧縮された予測フレームあるいは逆予測フレームの中に存在する。透かしを変換領域に埋め込むことは、大いにコーディング効率を減少し、コード化されたビデオ品質に影響を及ぼす。それゆえ、透かしを空間領域に埋め込む方法には、透かしを変換領域に埋め込む方法を越える上記の２つの面で利点がある。
【００７０】
［本発明の第５の実施形態］
更に、視覚的心理学の原理に従い、クロミナンス値と比較して、人間の目は画像の輝度値の小さい変化に敏感ではない。透かし埋め込みのためにビデオ品質の損失を減らすために、この実施形態において、カラー画像のために、オリジナル透かしはオリジナルマルチメディアデータの輝度構成要素に埋め込まれ、すなわち透かし信号はビデオ画像シーケンスの輝度構成要素（Ｙ構成要素）に埋め込まれる。
【００７１】
更に、例えば多重チャンネル遠隔検出画像のような多重チャンネル画像のために、オリジナル透かしは、オリジナル多重チャンネル画像データの１以上のチャンネルに埋め込んでもよい。
【００７２】
本発明の第１実施形態のブロック４０２において、画像のそれぞれのフレームが送信側で等しいサイズのブロックに均一に分割され、そして、オリジナル透かしデータの等しい量はブロックの一部またはブロックの全てに埋め込まれる。
【００７３】
それぞれのフレームが、Ｍ行が０からＭ−１まで番号がふられたＮ行が０からＮ−１まで番号がふられるＭ行×Ｎ列ピクセルを具備すると仮定する。それぞれのフレームは、以下の解決法によりブロックに均一に分割される。
それぞれのフレームは、０からｍ−１まで番号がふられあｔｍストリップに分割される。ストリップｉ（ｉ＝０，１，・・・，ｍ−２）は、行ｉ×ｋνから行（ｉ＋１）×ｋν−１までのピクセルを具備し、ストリップｍ−１は行（ｍ−１）×ｋνから行Ｍ−１までを具備し、ここでｍはＭ／ｋν以上の最小整数である。
上記ストリップｉ（ｉ＝０，１，・・・，ｍ−１）は、ｉ×ｎから（ｉ＋１）×ｎ−１まで番号付けされたｎブロックに分割される。ブロックｉ×ｎ＋ｊ（０，１，・・・，ｎ−２）は、このストリップの列ｊ×ｋｈから列（ｊ＋１）×ｋｈ−１のピクセルを具備し、ブロックｎ−１は、列（ｎ−１）×ｋνから列Ｎ−１までのピクセルを具備し、ここでｎはＮ／ｋｈ以上の最小整数である。
オリジナル透かしデータの等しい量は、獲得されたｍ×ｎブロックの各ブロックに埋め込まれる。
【００７４】
詳細は、図５に示される。圧縮されるビデオの画像サイズは、Ｍ×Ｎであり、そして、透かし画像のサイズは、
【００７５】
【数４】
【００７６】
であり、ここで、
【００７７】
【数５】
【００７８】
は上限を表す。
【００７９】
１つの透かしピクセルは、サイズがオリジナル画像のｋν×ｋｈピクセルであるそれぞれのブロックに埋め込まれ、そのため、エラーが発生する可能性があり、透かしの画像品質への影響が減少する。ｋνは本実施形態の垂直方向期間を表し、ｋｈは本実施形態の水平方向期間を表す。
【００８０】
一般に、ＭあるいはＮは、ｋνあるいはｋｈにより割り切れず、それらの余りは、それぞれｒν及びｒｈである。ＭとＮの両方とも多くの複雑な例では割り切れない。すなわち、図５の１，２，３，４でマークされた四つのカテゴリー領域が、画像の左上部、右端部、下端部及び下左角部に存在する。領域１のブロックの寸法は、全てのｋν×ｋｈピクセルである。領域２のブロックの寸法は、全てのｋν×ｒｈピクセルである。領域３のブロックの寸法は、全てのｒν×ｋｈピクセルである。領域４のわずか１ブロックのサイズは、ｒν×ｒｈピクセルである。
【００８１】
分割の条件によって、他の領域が存在する場合と、存在しない場合があるが、領域１が存在することは確かである。列番号Ｍがｋνによって割り切れるならば、領域３も領域４も存在しない。同様に、列Ｎがｋｈによって割り切れるならば、領域２も領域４も存在しない。
【００８２】
ブロックに分割することによって、透かしは分布されて、均一に各々のフレームに埋め込まれる。グループ化して埋め込む方法は、異なるフレームを処理して、透かしを複数のフレームに埋め込むことがさらに必要である。特に若干の例では、たとえば、通信バンド幅が非常に低い、あるいは、選ばれた透かし画像が比較的大きいとき、さらに画像の各々のフレームに埋められる透かしデータの量を減らす必要がある。すなわち、透かしを共有することは複数のフレームを必要とする。
【００８３】
ブロック４０３で、ビデオフレームシーケンスは、送信側でグループに分割される。各々のグループは、等しいフレーム数を有する。同じグループ内の等間隔の少なくとも２つのフレームは、埋め込みフレームとして選択される。そして、各々の埋め込みフレームの中の等しいブロック数が埋め込みブロックとして選択される。オリジナル透かしデータと同じ量が各埋め込みブロックに埋め込まれる。
【００８４】
統合された透かし画像を圧縮コード化画像で各々のフレーム内に埋め込むために、画像のフレームの品質とコードストリーム率に対する重要な影響を避けるために、電子透かし画像は、異なるフレームの中に均一に分布される。透かしの一部は、ビデオシーケンスで画像の各々のフレームに埋め込まれる。あるいは、下位ブロックはその他のフレームごとに埋め込まれる。連続的な画像のグループは、埋め込み期間と考えられている。透かしの全てのピクセル点は均一に、そして、分散して画像の中に異なる位置に埋め込まれる。同じ埋め込み期間以内の異なる画像の透かしを埋め込んでいる位置も異なっている。復号化側で埋め込まれた透かしをうまく抽出するために、各埋め込み期間以内で画像の透かしを埋め込む位置は、特定される。
【００８５】
各々のフレームは、０からＬ−１の番号が付されたＬ個のブロックに、均一に分割される。画像は水平に、または、垂直にＬ本のストリップに均一に分割される。または、他の方法で均一に分割される。たとえば、解決策Ｌ＝Ｍ×Ｎは、ブロック４０３に示される。オリジナルの透かしを埋め込む方法は、以下の段階を含む。
連続のフレームをグループに分割する段階。
埋め込まれたフレームとしてそれぞれのグループのフレームｑ×Ｐ（ｑ＝０，・・・，Ｑ−１）を選択する段階。
埋め込まれたブロックとして埋め込まれたフレームｑ×Ｐ（ｑ＝０，・・・，Ｑ−１）のブロックｑ＋ｒ×Ｑ（ｒ＝０，・・・，Ｒ−１，とｑ＋ｒ×Ｑ≦Ｌ）を選択する段階（ここでＲはＬ／Ｑ以下である）。
グループの埋め込まれた全てのブロックに等量のオリジナル透かしデータを埋めこむ段階。
それぞれのグループは、グループのフレーム０からフレームＰ×Ｑ−１までのＰ×Ｑフレームを備える。
【００８６】
間隔すなわちＰ＝２の間隔で、埋め込んだ場合の例の詳細が以下に記述される。各々のグループは、２Ｑフレームすなわち
【００８７】
【数６】
【００８８】
を含む。透かしは等しいサイズのＱ個のブロックに分割され、各々のブロックは１つの埋め込みフレームと一致する。画像のこのグループのフレーム０、２、４、６、８、…２Ｑ−２は、複数のブロックに分割される。ブロックは、上部から底部及び左から右の順で、０、１、２、３…Ｌ−１と番号が付される。
【００８９】
このグループのフレーム０では、ブロック０，Ｑ，…Ｒ×Ｑは、埋め込まれたブロックと考えられる。
このグループのフレーム２では、ブロック１，Ｑ＋１，…Ｒ×Ｑ＋１、は埋め込まれたブロックと考えられる。そして、残りは類推によって推定される。
【００９０】
このグループのフレーム２Ｑ−２まで、ブロックＱ−１，２Ｑ−１，…（Ｒ＋１）×Ｑ−１は、埋め込まれたブロックと考えられる。
【００９１】
上記のブロック番号が後でＬを上回るかもしれない点に留意される。そこで、それらの数を用いて埋め込まれたブロックはキャンセルされる必要がある。その期間のフレーム１，３，２Ｑ−１は、処理されない。
【００９２】
そして、ブロック４０４において、１ビットの透かし情報は、各々の埋め込まれたブロックに埋められる。透かしピクセルを各々のブロックにどのように埋め込むかは、本発明のアルゴリズムのパフォーマンスに影響を及ぼす重要な要因である。
【００９３】
［本発明の第６の実施形態］
この実施形態において、オリジナルの透かしの１ビットのデータをマルチメディアデータのビデオの１ブロックに埋め込む方法は、
Ａ＝２×Ｑｐ−１として埋め込まれた強度を設定する(ここでＱｐは、マルチメディアビデオ通信圧縮コーディングのための量子化係数を意味する)段階と、
ピクセルに従いマルチメディアビデオデータのブロックの平均輝度値μを計算する段階と、
ｂ’＝ｂ＋ｃに従いデータのブロックのそれぞれのピクセルの輝度値を修正する(ここで、ｂ’はピクセルの修正値であり、ｂは修正前のピクセル値であり、ｃは修正量である)段階を備え、
修正量は以下の式により計算される。
１ビットのオリジナル透かしデータｗが１であるとき、
【００９４】
【数７】
【００９５】
であり、１ビットのオリジナル透かしデータｗが０であるとき、
【００９６】
【数８】
【００９７】
である。ただし、γは２Ａで除算されたμの余である。
【００９８】
ブロック４０５において、回復された透かしは、透かし埋め込みのプロセスとは逆のプロセスによって受信側で受信ビデオデータから抽出される。透かし埋め込みに対応して、透かし抽出は、正確に上記のプロセスの逆の処理である。すなわち、以下の段階である。埋め込みフレームをグループ化して、決定すること。各々の埋め込みフレームで埋め込まれたブロックを決定すること。透かし情報を各々のブロックから抽出すること。埋め込みフレームを決定して、さらに埋め込まれたブロックを決定する方法に関しては、詳細はここで記述されない。埋め込まれたブロックから透かしを抽出する方法が記述される
【００９９】
［本発明の第７の実施形態］
この実施形態では、第６実施形態で記述された透かしを埋め込むアルゴリズムに基づく受信ビデオデータの１ブロックから回復される透かしの１ビットのデータを抽出する方法は、以下の段階を有する。
Ａ＝２×ＱＰ−１として、埋め込み強さを設定する段階（ここで、ＱＰはマルチメディアのビデオ通信圧縮コーディングのために、量子化係数を意味する）。
ピクセルによって受信マルチメディアのビデオデータのブロックの平均値μを計算する段階。
以下の式に従って回復される透かしの抽出データを抽出する。
【０１００】
【数９】
【０１０１】
ここで、γ’は、２Ａで除算されたμ’の余である。
【０１０２】
グループの全ての埋め込みフレームの中の全ての埋め込みブロックのために、一体的な透かし画像のフレームは、透かしビット情報の回復により回復される。
【０１０３】
ブロック４０６で、ＰＳＮＲはマルチメディアのビデオ通信の客観的な品質を測定するために受信側でオリジナルの透かしと比較して回復された透かしのＰＲＲ（ピクセル回復率）を使って評価される。
【０１０４】
透かしのピクセル回復率は、透かしによってビデオ品質を評価するためのＰＲＲとして定義される。ＰＲＲは、透かしピクセルの総数に歪が生じた後、正しい透かしピクセルの数の比率を得るために、歪のある透かしをオリジナルの透かしと比較する。すなわち、
ＰＲＲ＝１００＊（歪のある透かし中の正しいピクセルの数／透かしピクセルの合計数）％
【０１０５】
送信プロセス中、発生したビデオ圧縮とエラーコードは、ＰＲＲ値に影響を及ぼす。実験は、回復された透かしのＰＲＲと評価されるべきビデオ品質のＰＳＮＲが完全に同一でないけれども、両者の間にはほぼ一定の線形関係があることを示す。歪のあるビデオとＰＳＮＲの品質評価結果の非常に強い相関関係があることを示される。したがって、基準ビデオがない場合、そして、ＰＳＮＲが得られないという場合、ＰＲＲとＰＳＮＲの関係を確立することによって、歪のあるビデオのＰＳＮＲはＰＲＲによって評価されるとともに、デコードされて回復されたビデオ品質を評価することの目的は達成される。
【０１０６】
［本発明の第８の実施形態］
第１実施形態に基づいて、マルチメディアのビデオ通信実験の統計データによれば、ＰＳＮＲの評価値は、この実施形態においてマルチメディアのビデオ通信の客観的な品質を測定するためにＭＳＥ（平均２乗誤差を意味する）基準に従ってＰＲＲの線形関数を使用して近似される。
【０１０７】
上述の埋め込みアルゴリズムに基づいて、透かし情報は、標準的なテストシーケンスクレア（ＱＣＩＦフォーマットで）に埋め込まれる。それから、透かしで埋め込まれたビデオシーケンスは、ビデオ圧縮標準Ｈ．２６３によって圧縮される。圧縮したビデオストリームは、ビデオ復号化のためにチャンネル「送信」の後、デコーダーに入力する。最後に、埋め込まれた電子透かしは、デコードされたビデオから抽出され、ＰＲＲが計算される。ＢＳＣ（バイナリシンメトリチャンネル）は、単純化のためにチャンネルをシミュレーションするのに用いられる。ノイズは、均一に分布されたランダムノイズである。チャンネルの平均コードエラーレートは、１０−５である。図６（ａ）は、オリジナルのビデオと透かしのＰＲＲと比較して回復されたビデオのＰＳＮＲを表す。ＰＳＮＲとＰＲＲの間に良い一致性があるのが見られた。
【０１０８】
ＰＳＮＲカーブとＰＲＲカーブの間で類似度を測るために、図中のそれらの標準化された相互関係係数が次のように計算される。
【０１０９】
【数１０】
【０１１０】
この式では、ＸとＹは、それぞれＰＳＮＲとＰＲＲを表す。Ｃｏν（Ｘ，Ｙ）は、ＸとＹの共分散を表す。Ｄ（Ｘ）とＤ（Ｙ）は、それぞれ、ＸとＹの分散を表す。
【０１１１】
実験データに基づくと、ρ＝９８．３％である。非常に強い相関関係がＰＲＲカーブとＰＳＮＲカーブの間にあることは、明らかである。ＰＳＮＲは、ＰＲＲとＰＳＮＲの間で強い相関関係のためにＰＲＲによってマッピングされている。すなわち、一次関数（one-orderfunction）
【０１１２】
【数１１】
【０１１３】
は、実際のＰＳＮＲに近似して用いられる。ＭＳＥによれば、図中のデータを用いて平均２乗誤差
【０１１４】
【数１２】
【０１１５】
は、最小値ａ０＝−１６．９０７９，ａ１＝０．５６３２である。
【０１１６】
図６（ａ）で示すように、ＰＳＮＲの評価ＰＳＮＲ’が、計算される。ＰＳＮＲとＰＳＮＲ’を比較すると、それらのＭＳＥとして０．７３５が得られる。ＰＳＮＲ’は、ＰＳＮＲに極めて近似していることがわかる。
【０１１７】
ＰＳＮＲの評価としてＰＳＮＲ’の正確さをさらに有効にするために、チャンネルのコードエラーレートは、１．５×１０−５に変化する。回復されたビデオから得られたＰＳＮＲとＰＲＲマッピングから得られる評価値ＰＳＮＲ’は、図６（ｂ）に示される。データの２つのグループから得られた相関係数ρは９８．６％である。そして、ＭＳＥはわずか０．６９６である。ＰＳＮＲ’は、非常にＰＳＮＲに近似する。
【０１１８】
［本発明の第９の実施形態］
この実施形態では、さらに、透かし埋め込みに起因するビデオ品質の損失を除くために、回復した透かしが抽出されたあと、受信テレビ画像が後処理される。後処理は、あいまいな計算方法に基づくフィルタリング、メジアンフィルタリング、ニューラルネットワークフィルタリング、数学的な形態学（ｍｏｒｐｈｏｌｏｇｙ）フィルタリングまたは平滑化フィルタリングである。
【０１１９】
透かしは、ブロックに基づいて埋め込まれる。埋め込み強さが強すぎる場合、それは人為的なブロック効果に終わって、画質が劣化する。埋め込み強さが低すぎる場合、ビデオ圧縮によって生じる影響を排除することは困難であり、かつ、回復された透かしのＰＲＲは、非常に低いものとなる。このように本発明の態様では、自己適応型透かしを埋め込む方法が選ばれる。透かしを復元する場合に、平滑フィルタリングは、復号化側で透かしを埋め込んだ画像として実行される。実験は、ビデオ目的品質において透かしの影響がこのように効果的に弱められる可能性を示す。
【０１２０】
［本発明の第１０の実施形態］
この実施形態では、本発明により電子透かしに基づきマルチメディアのビデオ通信品質を測定する方法のパフォーマンスは、実験を通して評価される。結果は、表１と表２に示される。
【０１２１】
表１と表２は、それぞれ、コード化されたビデオ品質に対する影響と、本発明態様の方法を使用して埋め込んだ透かしに起因するビットレートを示す。本発明の方法によって実行されるマルチメディアのビデオデータ品質に対する影響はほとんど見られない。
【０１２２】
表１は、同じビットレートで、透かし埋め込みに起因するコード化されたビデオ品質に対する影響を示す（フレームレートは、３０フレーム／ｓである）。
【０１２３】
【表１】
【０１２４】
表２は、同じ量子化係数を使用し、オリジナルのビデオ品質に対して、透かし埋め込みに起因するビットレートの影響を示す。
【０１２５】
【表２】
【０１２６】
当業者は、本発明態様の技術的な解決策が、品質測定方法に関連して使用してもよく、情報融合等を介してより良い影響を与えることができる。
【０１２７】
本発明が例示され、好ましい実施形態について記載されているが、当業者は添付した特許請求の範囲によって定義されるように、本発明の精神および範囲から逸脱することなく、いろいろなバリエーションと修正が行われる。
【符号の説明】
【０１２８】
１シフター
２ＡＬＵ
３読み込み／書き込み
【技術分野】
【０００１】
本発明は、マルチメディア通信技術に関し、特にマルチメディアビデオ通信品質を測定する方法に関する。
【背景技術】
【０００２】
マルチメディア情報時代の到来により、様々なマルチメディア処理と通信技術、特にビデオ処理とビデオ通信技術が出現する。それに従い、デジタルビデオの品質評価は、ますます重要になっている。デジタルビデオは、昨今のマルチメディアビデオ通信のために最も主要なメディア形態である。例えばネットワーク映画、ネットワークテレビ等のネットワークストリーミングメディアと、ビデオ会議と、ビデオ電話等は、ビデオに基づく全てのマルチメディアアプリケーションである。マルチメディアアプリケーションサービスの顧客満足度は、大いにビデオ品質に依存する。デジタルビデオ信号送信は、例えばサンプリングと、定量化と、圧縮コーディングと、ネットワーク送信と、アナログビデオ信号のデコード及びリストア等のようないくつかの処理を具備し、その処理において、特に保障サービス品質（ＱｏＳ）無しのネットワーク送信（例えばパケット送信ネットワーク）、エラー、及び情報歪は、それぞれの処理において導入される可能性があり、それゆえ低下した顧客満足に至る。マルチメディアビデオ通信品質は、オリジナル信号に関連するデジタルマルチメディア信号の歪を測定するための測定値である。ビデオ品質評価は、ビデオ圧縮と処理とビデオ通信の分野で、非常に重要な役割を演ずる。リアルタイムあるいは非リアルタイムのビデオシステムの実施と様々なビデオ通信送信チャンネルのＱｏＳは、ビデオ品質により最終的に反映され、そしてコーデックあるいはチャンネルのパラメータを調節するためのフィードバックがなされ、このように、許容できる範囲内でビデオ品質を保証する。様々な異なるコーデックの出力ビデオ品質の測定の簡単な理解が示され、その結果コーデックの実施が設計され、評価され、最適化される。人間の視覚モデルと一致しているグラフィックスと画像ディスプレイシステムは、設計されて、最適化される。
【０００３】
無線とインターネットプロトコル（ＩＰ）送信ビデオシステムでビデオ品質に影響を与える２つの要因は、１つはビデオ品質がビデオ圧縮のために低下することであり、もう１つはビデオ品質が比較的劣悪なチャンネル環境のためにチャンネルパケットロスとランダムエラーコードにより影響を受けることであり、特にビデオコンテンツはヘッダ情報とモーションベクトルの様々なエラーによりダメージを受ける。いくつかの耐えられないモザイクブロックはこれらのダメージを受けたビデオコンテンツでしばしば形成され、回復されたビデオの主観的な品質に大いに影響を及ぼす。それゆえ、測定に基づくビデオ品質測定と、フィードバック訂正と、テスト開発とは、無線とＩＰ送信の方向に向かって進化する現在のマルチメディアビデオ通信のために所望される。
【０００４】
ビデオ品質評価は、ビデオ通信機器メーカと電気通信オペレータ演算子のためにも非常に重要である。器材メーカのために、システムの説得力のあるビデオ品質評価結果の提供は、これらの製品の販売を大いに援助する。オペレータのために、ビデオ品質の評価データは、それらのサービスの普及と伝播のために使用される。更に、自動リアルタイムビデオ品質評価方法の開発は、メーカとオペレータの両方がビデオ装置にリアルタイムモニタリングの実施を可能とすることに基づき、トラブルシューティングとエラー解析を容易にする。
【０００５】
ビデオ品質評価は、主観的な品質評価と客観的な品質評価に分類される。主観的な品質評価の結果は信頼できるが、しかしそれは人間の被験者の参加に頼り、特にリアルタイム要求によるアプリケーション環境での評価のための、処理は複雑であり、広く適用されるのが難しいので、人間による評価は難しくなる。客観的な品質評価は、別の視点から定量化する方法を使用してビデオ品質を測定し、高効率で及び人間の参加なしで自動的に実行される。
【０００６】
客観的品質評価は、３つのカテゴリーにさらに分類される。
（１）完全なオリジナルビデオシーケンスを必要とする完全な参照モデル。
（２）オリジナルビデオシーケンスの部分的な統計的特徴を必要とするだけの部分的な参照モデル。
（３）オリジナルビデオシーケンスのいずれの情報も必要としない参照無しのモデル。
【０００７】
必要とされた参照ビデオシーケンスが実用的なアプリケーションで一般に獲得されることができないので、完全な参照と部分的な参照評価法は、広く使用されない、このためいずれかの参照情報も必要とされない新しい客観的リアルタイムビデオ品質評価法が所望される。現時点では、ビデオ品質専門家グループ（ＶＱＥＧ）は、調査方法と参照無しのビデオ品質評価のための基準を構成するために設けられる。
【０００８】
ピーク信号対ノイズ比（ＰＳＮＲ）は、それは計算されるのに簡単であるので、多数の客観的品質評価指示の間で最も広く使用され、見た目の身体的な意味を有し、現実に画像の歪率を反映する。
【０００９】
デジタルメディアはアクセスされ、コピーされ、送られ、編集されるのに簡単である一方で、デジタルメディアは、著作権の侵害及びデジタルメディアコンテンツの挿入ようないくらかの問題が生じる。このように、デジタルメディア著作権を保護するために素早く使用される電子透かし技術が示される。
【００１０】
電子透かし技術は、近年開発されて、広く使用されている。オリジナルメディアデータに埋め込まれる透かし情報は、常に一連の情報をオリジナルメディアデータに埋め込むことによりオリジナルメディアデータと共存し、このためオリジナルメディアデータの著作権とコンテンツの完全性が保護される。技術の開発で、著作権保護の他に、電子透かし技術は、多くの他の分野で使用される。例えば、上記されるマルチメディアビデオ通信は、部分的参照モデル法であり、つまり、オリジナルビデオ画像を知ること無しに、チャンネル送信前の透かし画像とチャンネル送信後に歪が生じた透かし画像とに関してオリジナル画像の状態を間接的に反映する、電子透かしを埋め込み、及び抽出することにより獲得される可能性があり、これにより品質測定、計算、及び評価が実行される。
【００１１】
電子透かしは、オリジナルデータのいずれの部分でも埋め込まれるが、オリジナルデータに対するその効果は、最大限に減少される必要がある。電子透かし技術は、電子透かしを埋め込むアプローチにより、空間領域の電子透かし技術と変換領域の電子透かし技術に分類される。電子透かし技術では、透かし情報は、メディアの空間領域に、直接埋め込まれる。例えば、情報は画像のピクセルに埋め込まれる。変換領域の電子透かし技術では、第１に変換は、例えば離散型フーリエ変換（ＤＦＴ）、離散型コサイン変換（ＤＣＴ）、離散型ウェーブレット変換（ＤＷＴ）等のようなメディアで実行され、次いで透かし情報は変換領域に埋め込まれる。
【００１２】
図１は、電子透かしの原理を図示するブロック図を示す。この図において、マスターメディアＩ０は、一般的に例えばビデオあるいはオーディオ等のようなオリジナルあるいは圧縮されたマルチメディアのデータであり、隠されるデータｂ０は、Ｉ０と比較してより少ないデータを有する。透かしの埋め込まれたメディアＩ１とＩ０との違いは、埋め込まれた透かしに起因する歪である。一般に、そのような歪は、人間に気付かれることを所望されない。メディアＩ２は、例えばデータ圧縮、ノイズ汚染、透かしへの意図された攻撃等のような、ノイズとみなされるＩ１上のいくらかの処理を実行することにより獲得される。それゆえ、Ｉ２から抽出される透かしｂ１は、オリジナル透かしｂ０に比較してある程度歪が生じる。もしＩ２がＩ１と同一であるならば、Ｉ２から抽出される透かしｂ１は、オリジナル透かしｂ０と同一にしなければならない。
【００１３】
透かし埋め込みと透かし抽出のための一般的な数学的モデルは、Ｉ０とＩ１がそれぞれオリジナルデータと透かしが埋め込まれデータを表し、ｂ０がオリジナル透かしを表し、透かしを埋め込む処理は、［Ｉ１＝Ｉ０＋ｆ（Ｉ０，ｂ０）、ここで、ｆ（Ｉ０，ｂ０）は透かし埋め込みアルゴリズムを表す］として表現される。透かし測定処理は、［もしＨ０：ｂ１＝Ｉ２−Ｉ１＝Ｎであるならば、透かしは存在せず、もしＨ１：ｂ１＝Ｉ２−Ｉ１＝ｂ０＋Ｎであるならば、透かしが存在する］として表される。Ｎはノイズを表す。例えば、上記ノイズは、データ圧縮とノイズ汚染と透かしへの意図された攻撃に起因する。そして、透かしが埋め込まれたデータは、処理の後ある程度歪められるので、処理されたデータから測定される透かしは、ある程度オリジナル透かしと異なる。
【００１４】
透かし測定技術は、例えば目的地から反射している信号がレーダーエコー信号に具備されるかどうか、そして目的地信号が存在すれば、統計原理を使用してどのように最適な信号抽出を実行するかのような、目的地信号がノイズに存在するかどうかを決定する方法を調査するために使用される伝統的信号検出技術により一般に実施される。統計的仮説検定／検証は、信号がノイズの中に存在するかどうか決定するために使用される。透かし測定処理は、２つの仮説Ｈ０とＨ１を提示する段階と、検定結果にしたがいどの仮説が真実であるか決定する段階と、従って透かしが存在するかどうかを知る段階とを具備する。
【００１５】
現時点では、電子透かしに基づくマルチメディア（ビデオと画像）の品質評価のための全ての方法は、同じ原理に従う。図２は、電子透かしに基づくビデオ通信品質測定の原理と、以下に記述される基本的な原理とを示すブロック図を示す。
【００１６】
オリジナル画像と比較して非常に小さい透かし画像は、オリジナル画像に埋め込まれ、このように、追加されるさらなるデータ量はオリジナル画像のデータ量と比較すると取るに足らず、マルチメディア品質にほとんど影響を及ぼさない。透かしが埋め込まれたオリジナル画像は、送信チャンネルを通過した後に歪が生じ、従って抽出された透かし画像は歪むことになる。透かしはオリジナル画像のあらゆる場所で埋め込まれるので、透かし画像の品質測定値は、サンプルを分布させた後のオリジナル画像の測定値に等しい。透かし
の分布が十分に均一である限り、歪が生じた画像の品質は透かし画像の品質を測定することにより十分に反映される。オリジナル画像が通信の両側で共有される一方、受信側は通信品質を回復された透かし画像と既知のオリジナルの透かし画像と比較することにより測定し、このように透かしの品質評価は、実際には一種の参照による評価である。
【００１７】
図３は、電子透かしに基づくマルチメディアビデオ通信品質を測定する例を示す。左側は、エラー位置を測定するのが容易な白黒の２値画像であるオリジナル透かし画像である。中央は、透かしが埋め込まれ、送信過程の間にＪＰＥＧ（JointPhotographicExpertsGroup）標準圧縮とネットワーク損失の後の国際標準テストのレナ画像に歪が生じた画像であり、ここでは明白な３ブロックの歪が画像に存在する。右側は、歪が生じたレナ画像から抽出された回復された透かし画像であり、ここで散在して分布する黒の点と白の点は、圧縮による歪であり、一方回復されたリーナ画像の３つの明白な歪に対応する位置の大きな黒と白のブロックは、パケット損失のようなエラーに起因する。
【００１８】
実用的なアプリケーションでは、上記の解決法が使用されるとき、透かし画像埋め込みは必然的にマルチメディアビデオデータとビデオ品質の正当性の劣化に終わる。理論的に、より多くの透かし情報はビデオに埋め込まれ、全ての画像は透かし情報によりよりよくカバーされる可能性があり、より多くのサンプルが提示される。従って抽出された透かし情報はオリジナルビデオを完全に反映する可能性があり、獲得されたビデオ品質評価はより正確である。他方で、より多くの透かし情報がビデオに埋め込まれ、ビデオの品質は、より影響を受ける。このように、ビデオ品質は減少する。すなわち、電子透かしに基づくビデオ品質評価方法に矛盾が存在する。より多くの情報がビデオに埋め込まれるほど、ビデオ品質測定はより正確であるが、より埋め込まれた透かし情報がビデオ品質により多く影響を及ぼす。先行技術はこの矛盾を解決することができないので、ビデオ通信品質は、ビデオ通信品質が影響を受けない前提条件の下で透かしを埋め込み及び抽出することにより正確に測定されずかつ計算されない。
【００１９】
この例の主な原因は、先行技術では、透かし情報が至る所に均一にマルチメディアビデオデータに埋め込まれず、結果としてマルチメディアビデオ通信品質が透かし情報が少ないことにより完全には反映されないことになり、一方であまりに多くの透かし情報はマルチメディアビデオデータに影響を及ぼすことである。
【先行技術文献】
【特許文献】
【００２０】
【特許文献１】国際公開第２００４／１０２４７７号
【非特許文献】
【００２１】
【非特許文献１】小林弘幸ほか著，ハッシュ関数を用いたロスレス電子透かし法と放送監視への応用，映像情報メディア学会技術報告，日本，（社）映像情報メディア学会，２００４年２月３日，第28巻，第7号
【発明の概要】
【発明が解決しようとする課題】
【００２２】
本発明の１態様の目的は、マルチメディアビデオ通信品質を測定する方法を提供することである。上記方法は客観的な品質評価であり、そのため、マルチメディアビデオ通信品質はマルチメディアビデオデータ品質が明白に影響を受けない前提条件の下で、電子透かしを埋め込み、かつ抽出することにより客観的に反映することができる。
【課題を解決するための手段】
【００２３】
本発明の１態様は、マルチメディアのビデオ通信品質を測定する方法は、以下の段階を提供する。
送っている側に均一にオリジナルの透かしデータをマルチメディアのビデオデータに埋めて、マルチメディアのビデオデータを受け入れ側に送る段階。
受け入れ側で回復された透かしを受信マルチメディアのビデオデータから抽出する段階。
オリジナル透かしと比較して回復された透かしの歪率を計算する段階。
【００２４】
好ましくは、本方法はまた、以下の段階を具備してもよい。
均一にオリジナルの透かしをオリジナルのマルチメディアのデータに埋め込んで、送信側で圧縮コーディングまたはデータ包装またはフレーミングを実行して、データを受信側に送ること。
【００２５】
好ましくは、本方法は以下の段階を具備してもよい。
均一にマルチメディアのビデオデータフレームを等しいサイズのブロックに分けて、オリジナルの透かしデータの等しい量をブロックの一部または送っている側のブロックの全てに埋めること。
【００２６】
本方法は更に以下を含んでもよい。
送信側（等しい数のフレームを含む各々のグループ）でマルチメディアのビデオデータをグループに分けて、埋め込みフレームと同じグループで等しい間隔で少なくとも２つのフレームを選択すること。（均一に埋め込みフレームの各々を等しいサイズの複数のブロックに分けて、埋め込まれたブロックとして複数のブロックから等しい数のブロックを選んで、オリジナルの透かしデータと等しい量を埋め込まれたブロックの各々に埋める）。
【００２７】
それぞれのマルチメディアビデオデータフレームは、Ｍ行が０からＭ−１までの番号をふられ、Ｎ列が０からＮ―１までの番号をふられたＭ行×Ｎ列ピクセルを備え、均一にマルチメディアビデオデータフレームを等しいサイズのブロックに分割する段階は、
マルチメディアビデオデータフレームを０からｍ−１まで番号をふられるｍストリップに分割する段階と、
ストリップｉ（ｉ＝０，１，・・・，ｍ−１）をｉ×ｎから（ｉ＋１）×ｎ―１までの番号をふられるｎブロックに分割する段階と、
等量のオリジナル透かしデータを、得られた各々のｍ×ｎブロックに埋め込む段階とを備え、
ストリップｉ（ｉ＝０，１，・・・，ｍ−２）は、行ｉ×ｋνから行（ｉ＋１）×ｋν−１までのピクセルを備え、
ストリップｍ−１は、行（ｍ−１）×ｋνから行Ｍ−１までのピクセルを備え（ｍはＭ／ｋνと同じかそれ以上の最小の整数であり、もしｍ＝Ｍ／ｋνであれば、上記ストリップｍ−１はピクセルの０行を備える）、
上記ブロックｉ×ｎ＋ｊ（０，１，・・・，ｎ−２）は、このストリップの列ｊ×ｋｈから列（ｊ＋１）×ｋｈ−１までのピクセルを備え、
上記ブロックｎ−１は、列（ｎ−１）×ｋｈから列Ｎ―１までのピクセルを備える（ｎはＮ／ｋνと同じかそれ以上の最小の整数であり、もしｎ＝Ｎ／ｋｈであれば、上記ストリップｎ−１はピクセルのゼロ列を備える）。
【００２８】
マルチメディアビデオデータのそれぞれのフレームは、均一に０からＬ−１まで番号をふられたＬブロックに分割され、上記オリジナル透かしを埋め込む段階は、さらに、
連続のフレームをグループに分割する段階と、
埋め込まれたフレームとしてそれぞれのグループのフレームｑ×Ｐ（ｑ＝０，・・・，Ｑ−１）を選択する段階と、
埋め込まれたブロックとして埋め込まれたフレームｑ×Ｐ（ｑ＝０，・・・，Ｑ−１）のブロックｑ＋ｒ×Ｑ（ｒ＝０，・・・，Ｒ−１，とｑ＋ｒ×Ｑ≦Ｌ）を選択し、ここでＲはＬ／Ｑ以下である段階と、
グループの埋め込まれた全てのブロックに等量のオリジナル透かしデータを埋めこむ段階とを備え
それぞれのグループが順番にグループのフレーム０からフレームＰ×Ｑ−１までのＰ×Ｑフレームを備える。
【００２９】
好ましくは、本方法は、上記ブロックの一部あるいは全てのブロックに埋め込まれたオリジナル透かしデータのビット数を上記データブロックのサイズに従い決定する段階を更に備える。
【００３０】
マルチメディアビデオデータブロックのオリジナル透かしの１ビットデータを埋め込む段階は、
ピクセルに従いマルチメディアビデオデータの平均値μを計算する段階と、
ｂ’＝ｂ＋ｃに従いマルチメディアブロックのそれぞれのピクセルの値を修正する(ここで、ｂ’はピクセルの値を修正し、ｂは修正前のピクセル値であり、ｃは修正量である)段階を備え、
修正量は以下の式により計算される。
オリジナル透かしデータビットが１であるとき、
【００３１】
【数１】
【００３２】
であり、オリジナル透かしデータビットが０であるとき、
【００３３】
【数２】
【００３４】
である。ただし、γは２Ａで除算されたμの余である。Ａは、埋め込み強さを表するとともに、２×ＱＰ−１に等しい。ＱＰは、マルチメディアビデオ通信圧縮コーディングの量子化係数を表す。
【００３５】
受信されたマルチメディアビデオデータブロックから回復された透かしのデータビットを抽出する段階と、
ピクセルに従い受信されたマルチメディアビデオデータブロックの平均値μ’を計算する段階と、
以下の式に従い回復された透かしの抽出されたデータｗ’を計算する段階とを備える。
【００３６】
【数３】
【００３７】
ここでγ’は２Ａにより除算されたμ’の余である。Ａは、埋め込み強さを表するとともに、２×ＱＰ−１に等しい。ＱＰは、マルチメディアビデオ通信圧縮コーディングの量子化係数を表す。
【００３８】
本方法は更に以下を含む。
マルチメディアビデオ通信の客観的品質を測定するためにオリジナル透かしと比較して回復された透かしのピクセル回復率を使用してピーク信号ノイズ比を計算する段階を更に備える。
マルチメディアビデオ通信実験の静的データに基づき、マルチメディアビデオ通信の客観的品質を測定する平均２乗誤差に従い、オリジナル透かしに対して回復された透かしのピクセル回復率の一次関数を使用して、ピーク信号ノイズ比の推定値を獲得するために近似する段階を備える。
【００３９】
好ましくは、マルチメディアのビデオ通信の客観的品質を測定するためにオリジナル透かしと比較して回復された透かしの歪率を計算する段階を更に備える。
【００４０】
本方法は以下も含む。
オリジナル透かしと比較して回復された透かしのピクセル回復率を使用し、オリジナル透かしに対して回復された透かしの歪率を計算する段階をさらに備える。
【００４１】
好ましくは、本方法は、回復された透かしを抽出すると同時に、透かし埋め込みの効果を除くために受信されたマルチメディアビデオデータを後処理する段階を有し、ここで後処理は、平滑化フィルタ、メジアンフィルタ、ニューラルネットワークフィルタ、数理形態学フィルタ、及びファジー数学法に基づくフィルタ、のうちの１つを備える。
【００４２】
本方法は、
オリジナル透かしと、関連するパラメータと、計画とを決定する段階を有し、
前記計画は、オリジナル透かしを埋め込むとともに、送信側と受信側との間の通信交渉を介して回復される透かしを抽出し、
オリジナル透かしと、関連するパラメータと、オリジナル透かしを埋め込み、送信側で回復される透かしを抽出し、通信の前に受信側に通知するための計画とを決定する段階を更に備えるものである。
【００４３】
色画像のために、オリジナルの透かしは、オリジナルのマルチメディアのデータの輝度構成要素に埋め込まれる。
【００４４】
カラー画像のための、オリジナル透かしがオリジナルマルチメディアデータの輝度要素に埋め込まれ、
マルチチャンネル画像のために、オリジナル透かしがオリジナルマルチチャンネル画像データの１以上のチャンネルに埋め込まれる。
【００４５】
オリジナルの透かしは、２値の画像である。
【００４６】
先行技術と比較して、本発明の1態様の技術的解決によれば、マルチメディアのビデオデータの各々のフレームは、等しいサイズのブロックに均一に分割される。透かしデータは完全に均一な透かしを分布させるために、各々のブロックに埋められる。このように、透かしによってマルチメディアのビデオ通信品質を反映する正確さは、改善される。
【００４７】
さらに、マルチメディアのビデオデータのフレームは、グループに分割される。透かしは、透かしが完全に均一な分布となるように、各々のグループ中のフレームの一部の中に等しい間隔で均一に埋め込まれる。透かし情報の量は、減少する。マルチメディアのビデオデータの透かし埋め込みの影響は、減らされる。マルチメディアのビデオ通信品質は、確実にされて、正確に測られる。
【００４８】
そのうえ、透かし情報はオリジナルのマルチメディアのデータまたはビデオ空間領域に直接、そして、均一に埋められる。そのため、透かしはマルチメディアまたはビデオの直観的に品質を表すことと完全に等しい。そして、マルチメディアのビデオ通信品質評価の正確さは改善される。
【００４９】
平滑化フィルタリングのような後処理は、マルチメディアのビデオデータ品質の上で透かしの影響を除くために、透かし抽出の後、ビデオ画像の上で実行される。
【００５０】
オリジナルの透かしと比較して回復された透かしの正確さ率を使っているマルチメディアのビデオデータの線形に近似したＰＳＮＲは、マルチメディアのビデオ通信品質のための測定基準と考えられている。そして、それは正確に通信状態を反映することができる。
【００５１】
平滑化フィルタリング、メジアンフィルタリング、ニューラルネットワークフィルタリング、数学的な形態フィルタリングまたはファジー数学法に基づくフィルタリングのような後処理は、マルチメディアのビデオデータ上で透かしまたはビデオ品質の影響を除くために、透かし抽出の後、ビデオ画像の上で実行される。
【００５２】
均一に透かしをマルチメディアのビデオデータに埋め込むために、ブロックとグループに分割する方法を用いた本発明の１態様によると、透かし情報の量は減らすことができる。そして、マルチメディアのビデオデータの品質への透かしのダメージは大いに減少するかもしれない。透かしによってマルチメディアのビデオ通信品質を反映するための正確さは、改善される。
【発明の効果】
【００５３】
本発明の1態様によれば、透かしはコーディングの前のオリジナルのマルチメディアのデータ内に、または、ビデオ空間領域に直接埋め込まれる。そのため、透かしはマルチメディアの直観的な品質を完全に同等に反映する。マルチメディアのビデオ通信品質測定の正確さは改善される。マルチメディアのビデオ通信品質の精度は改善され、マルチメディアのコーディング過程に起因する品質損失程度が反映される。
【００５４】
本発明の1態様によれば、品質測定指示（それは、参照評価方法に近い）としての近似したＰＳＮＲに関して、マルチメディアのビデオ通信のための客観的な品質評価の正確さは、改善される。
【００５５】
本発明の1態様によれば、マルチメディアのビデオデータまたはビデオデータの品質の透かしの影響は、透かし抽出のために平滑化フィルタリング後処理を実行することによって減少し、ビデオ通信品質は確実にされる。
【００５６】
本発明の1態様において提供される上記の測定によると、マルチメディアのビデオ通信の品質は、ビデオ通信品質がダメージを受けない前提条件で、正確に反映される。迅速でリアルタイム通信品質測定は、ネットワー欠陥と他のシステム欠陥の位置の特定を容易にするために、ビデオ通信において提供してもよい。リアルタイムにサービス品質を示して、顧客信頼度を改善することは、オペレーターにとって容易となる。ビデオ通信製品の開発作業中、テストと確認を実行することはメーカにとって容易となる。そのため、ビデオ通信製品の性能は向上するとともに、ビデオ通信サービスは大衆化される。
【図面の簡単な説明】
【００５７】
【図１】電子透かし技術の原理を例示している概略図である。
【図２】電子透かしに基づくビデオ通信品質測定の原理を例示しているブロック図である。
【図３】透かしと透かし回復条件を埋め込んだ画像を例示している概略図である。
【図４】本発明の実施形態によってマルチメディアのビデオ通信品質を測定する方法のフローチャートである。
【図５】本発明の実施形態によってフレームを等しいサイズのブロックに均一に分割することを例示している概略図である。
【図６（ａ）】本発明の第８実施形態による実験の結果を例示している概略図である。
【図６（ｂ）】本発明の第８実施形態による実験の結果を例示している概略図である。
【発明を実施するための形態】
【００５８】
本発明の１態様または他の態様は、様々な目的と、技術的解決法と、利点は、添付の図面と実施形態の詳細な説明を参照してより明確に理解される。
【００５９】
上述したように、本発明の１態様によれば、ダメージを受けたビデオ品質とビデオ通信品質の正確な反映との間の矛盾を考慮して、埋め込まれた透かしのビデオ品質への影響とビデオ品質を反映する正確さと間でバランスをとることを可能とする電子透かしに基づくビデオ通信品質を測定する方法が提供され、その結果ビデオ品質はダメージを受けず、かつビデオ通信品質は正確に測定される。
【００６０】
本方法の原理は、圧縮されたビデオの特性に従い、透かしはブロックとグループに分割することに基づく透かし埋め込みアルゴリズムを使用してビデオ空間領域に完全に、かつ均一に埋め込まれる。ＰＳＮＲは透かし回復正確度を使用して近似される。いわゆる近似は、一連の別々のデータポイントに基づく計算数学のためのデータ処理方法である。カーブはこれらのデータポイントを代表するために獲得され、カーブとこれらの不連続のデータポイントの間の総距離は特定の最適な基準に従い最小限である。ここで、近似はピクセル回復率（ＰＲＲ）データとともにＰＳＮＲカーブに近づくことを意味し、その目的は、これらの両方が非常に近接し、非常に高い相関性と一致性を有し、従って低いコード率で圧縮したビデオに適用可能な品質評価指示を提供することを示すことである。先行技術と比較して、本発明の１態様によれば、埋め込まれた電子透かしのビデオ品質への影響は、非常に減少される。本発明の１態様の方法は、上記の品質評価カテゴリーに従い、部分参照モデル法に属する。オリジナルビデオ画像を知る必要はなく、上記方法はオリジナル透かし画像と、送信チャンネルを通過する歪が生じた透かし画像とを参照して使用し、オリジナル画像の状態を間接的に反映し、従ってビデオ通信品質を測定する。
【００６１】
本発明の態様による電子透かしに基づくマルチメディアビデオ通信のための客観的品質測定法は、３つの基本的な段階を具備する。送信側で均一にマルチメディアビデオデータにオリジナル透かしデータを埋め込み、受信側にマルチメディアビデオデータを送信する段階と、受信側で透かし埋め込み処理と反対の処理を通して受信されたマルチメディアビデオデータから回復された透かしデータを抽出する段階と、オリジナルの透かしと比較して回復された透かしの歪率に従いマルチメディアビデオ通信の客観的品質を測定する段階。
【００６２】
［本発明の第１の実施形態］
図４は、本発明の態様による電子透かしに基づくマルチメディアのビデオ通信の客観的品質測定法のフローチャートである。以下に、各過程の原理と実施の詳細と実質的効果が詳細に記載される
【００６３】
以下の詳細な説明のビデオ通信品質評価の例で、ビデオデータは、連続的なフレームシーケンスを具備する。既存のビデオのために、ブロックベースＤＣＴ（Ｂ−ＤＣＴ）コーディングと例えばＨ．２６３とＨ．２６４とＭＰＥＧ（MovingPictureExpertGroup）などのような動き補償圧縮アルゴリズムが、一般的に使用される。上記方法は異なるコーディングあるいは圧縮解決法による他のビデオ通信および他のマルチメディアビデオ通信の品質評価に適用できることと、そして本発明の目的が本発明の精神と範囲に影響を及ぼすことなく同じように達成されることを当業者は認識する。
【００６４】
ブロック４０１において、ビデオ品質評価のためのオリジナル透かし画像と関連するアルゴリズムあるいは解決法が決定される。それは、電子透かしに基づく通信品質評価のために最初の適切な透かしを選択する必要がある。実際には、ビデオ品質を反映するだけでなくビデオ品質にできるだけ影響を及ぼさない可能性のある電子透かしを選択することは、ビデオ通信品質評価にとって重要である。
【００６５】
［本発明の第２の実施形態］
２値画像は、情報の量を減少することができ、透かしピクセルを隠すことに適切である実施形態において選択される。さらに、例えば図３で示される透かし画像のような白黒のパターンも使用される。黒と白は０と１を意味し、その結果そのような画像により通信される情報の量は大きくないが、画像はエラーコードを発見するのに高感度で強いロバスト性を有する。
【００６６】
［本発明の第３の実施形態］
透かし画像は通信の両側間のネゴシエーションを通して決定される必要があるので、本発明の第３実施形態において、ビデオ通信の送信側と受信側はオリジナル透かしと、透かし埋め込みと透かし抽出の特定の解決法を決定するために通信発信することを通してネゴシエーションする。
【００６７】
オリジナル透かしが決定された後、透かしは本発明の原理に従いビデオ画像に均一に埋め込まれる。Ｂ−ＤＣＴカテゴリーのビデオ圧縮コーディング標準では、量子化とコーディングは、動き予測により実行される。すなわち、フレームの予測と差分コーディングは、前フレームあるいは後フレームを参照して実行される。ＤＣＴ変換はコーディングのために使用されるので、変換されたコーディングストリームデータは元の直観的なビデオ画像と完全には一致しない。
【００６８】
［本発明の第４の実施形態］
この実施形態において、電子透かしはＤＣＴ変換の前にビデオ空間領域に埋め込まれ、すなわちオリジナル透かしは、送信側でオリジナルマルチメディアデータに均一に埋め込まれ、次いで圧縮コーディング、及びパケット切り換えネットワークのためのデータパケッティング、あるいは回路交換ネットワークのためのフレーミングが実行され、最後にデータはネットワークを介して受信側に送信される。
【００６９】
一方で、ビデオ圧縮のビデオ品質に与える影響は、反映され、他方では、かなりの数のゼロマクロブロックが圧縮された予測フレームあるいは逆予測フレームの中に存在する。透かしを変換領域に埋め込むことは、大いにコーディング効率を減少し、コード化されたビデオ品質に影響を及ぼす。それゆえ、透かしを空間領域に埋め込む方法には、透かしを変換領域に埋め込む方法を越える上記の２つの面で利点がある。
【００７０】
［本発明の第５の実施形態］
更に、視覚的心理学の原理に従い、クロミナンス値と比較して、人間の目は画像の輝度値の小さい変化に敏感ではない。透かし埋め込みのためにビデオ品質の損失を減らすために、この実施形態において、カラー画像のために、オリジナル透かしはオリジナルマルチメディアデータの輝度構成要素に埋め込まれ、すなわち透かし信号はビデオ画像シーケンスの輝度構成要素（Ｙ構成要素）に埋め込まれる。
【００７１】
更に、例えば多重チャンネル遠隔検出画像のような多重チャンネル画像のために、オリジナル透かしは、オリジナル多重チャンネル画像データの１以上のチャンネルに埋め込んでもよい。
【００７２】
本発明の第１実施形態のブロック４０２において、画像のそれぞれのフレームが送信側で等しいサイズのブロックに均一に分割され、そして、オリジナル透かしデータの等しい量はブロックの一部またはブロックの全てに埋め込まれる。
【００７３】
それぞれのフレームが、Ｍ行が０からＭ−１まで番号がふられたＮ行が０からＮ−１まで番号がふられるＭ行×Ｎ列ピクセルを具備すると仮定する。それぞれのフレームは、以下の解決法によりブロックに均一に分割される。
それぞれのフレームは、０からｍ−１まで番号がふられあｔｍストリップに分割される。ストリップｉ（ｉ＝０，１，・・・，ｍ−２）は、行ｉ×ｋνから行（ｉ＋１）×ｋν−１までのピクセルを具備し、ストリップｍ−１は行（ｍ−１）×ｋνから行Ｍ−１までを具備し、ここでｍはＭ／ｋν以上の最小整数である。
上記ストリップｉ（ｉ＝０，１，・・・，ｍ−１）は、ｉ×ｎから（ｉ＋１）×ｎ−１まで番号付けされたｎブロックに分割される。ブロックｉ×ｎ＋ｊ（０，１，・・・，ｎ−２）は、このストリップの列ｊ×ｋｈから列（ｊ＋１）×ｋｈ−１のピクセルを具備し、ブロックｎ−１は、列（ｎ−１）×ｋνから列Ｎ−１までのピクセルを具備し、ここでｎはＮ／ｋｈ以上の最小整数である。
オリジナル透かしデータの等しい量は、獲得されたｍ×ｎブロックの各ブロックに埋め込まれる。
【００７４】
詳細は、図５に示される。圧縮されるビデオの画像サイズは、Ｍ×Ｎであり、そして、透かし画像のサイズは、
【００７５】
【数４】
【００７６】
であり、ここで、
【００７７】
【数５】
【００７８】
は上限を表す。
【００７９】
１つの透かしピクセルは、サイズがオリジナル画像のｋν×ｋｈピクセルであるそれぞれのブロックに埋め込まれ、そのため、エラーが発生する可能性があり、透かしの画像品質への影響が減少する。ｋνは本実施形態の垂直方向期間を表し、ｋｈは本実施形態の水平方向期間を表す。
【００８０】
一般に、ＭあるいはＮは、ｋνあるいはｋｈにより割り切れず、それらの余りは、それぞれｒν及びｒｈである。ＭとＮの両方とも多くの複雑な例では割り切れない。すなわち、図５の１，２，３，４でマークされた四つのカテゴリー領域が、画像の左上部、右端部、下端部及び下左角部に存在する。領域１のブロックの寸法は、全てのｋν×ｋｈピクセルである。領域２のブロックの寸法は、全てのｋν×ｒｈピクセルである。領域３のブロックの寸法は、全てのｒν×ｋｈピクセルである。領域４のわずか１ブロックのサイズは、ｒν×ｒｈピクセルである。
【００８１】
分割の条件によって、他の領域が存在する場合と、存在しない場合があるが、領域１が存在することは確かである。列番号Ｍがｋνによって割り切れるならば、領域３も領域４も存在しない。同様に、列Ｎがｋｈによって割り切れるならば、領域２も領域４も存在しない。
【００８２】
ブロックに分割することによって、透かしは分布されて、均一に各々のフレームに埋め込まれる。グループ化して埋め込む方法は、異なるフレームを処理して、透かしを複数のフレームに埋め込むことがさらに必要である。特に若干の例では、たとえば、通信バンド幅が非常に低い、あるいは、選ばれた透かし画像が比較的大きいとき、さらに画像の各々のフレームに埋められる透かしデータの量を減らす必要がある。すなわち、透かしを共有することは複数のフレームを必要とする。
【００８３】
ブロック４０３で、ビデオフレームシーケンスは、送信側でグループに分割される。各々のグループは、等しいフレーム数を有する。同じグループ内の等間隔の少なくとも２つのフレームは、埋め込みフレームとして選択される。そして、各々の埋め込みフレームの中の等しいブロック数が埋め込みブロックとして選択される。オリジナル透かしデータと同じ量が各埋め込みブロックに埋め込まれる。
【００８４】
統合された透かし画像を圧縮コード化画像で各々のフレーム内に埋め込むために、画像のフレームの品質とコードストリーム率に対する重要な影響を避けるために、電子透かし画像は、異なるフレームの中に均一に分布される。透かしの一部は、ビデオシーケンスで画像の各々のフレームに埋め込まれる。あるいは、下位ブロックはその他のフレームごとに埋め込まれる。連続的な画像のグループは、埋め込み期間と考えられている。透かしの全てのピクセル点は均一に、そして、分散して画像の中に異なる位置に埋め込まれる。同じ埋め込み期間以内の異なる画像の透かしを埋め込んでいる位置も異なっている。復号化側で埋め込まれた透かしをうまく抽出するために、各埋め込み期間以内で画像の透かしを埋め込む位置は、特定される。
【００８５】
各々のフレームは、０からＬ−１の番号が付されたＬ個のブロックに、均一に分割される。画像は水平に、または、垂直にＬ本のストリップに均一に分割される。または、他の方法で均一に分割される。たとえば、解決策Ｌ＝Ｍ×Ｎは、ブロック４０３に示される。オリジナルの透かしを埋め込む方法は、以下の段階を含む。
連続のフレームをグループに分割する段階。
埋め込まれたフレームとしてそれぞれのグループのフレームｑ×Ｐ（ｑ＝０，・・・，Ｑ−１）を選択する段階。
埋め込まれたブロックとして埋め込まれたフレームｑ×Ｐ（ｑ＝０，・・・，Ｑ−１）のブロックｑ＋ｒ×Ｑ（ｒ＝０，・・・，Ｒ−１，とｑ＋ｒ×Ｑ≦Ｌ）を選択する段階（ここでＲはＬ／Ｑ以下である）。
グループの埋め込まれた全てのブロックに等量のオリジナル透かしデータを埋めこむ段階。
それぞれのグループは、グループのフレーム０からフレームＰ×Ｑ−１までのＰ×Ｑフレームを備える。
【００８６】
間隔すなわちＰ＝２の間隔で、埋め込んだ場合の例の詳細が以下に記述される。各々のグループは、２Ｑフレームすなわち
【００８７】
【数６】
【００８８】
を含む。透かしは等しいサイズのＱ個のブロックに分割され、各々のブロックは１つの埋め込みフレームと一致する。画像のこのグループのフレーム０、２、４、６、８、…２Ｑ−２は、複数のブロックに分割される。ブロックは、上部から底部及び左から右の順で、０、１、２、３…Ｌ−１と番号が付される。
【００８９】
このグループのフレーム０では、ブロック０，Ｑ，…Ｒ×Ｑは、埋め込まれたブロックと考えられる。
このグループのフレーム２では、ブロック１，Ｑ＋１，…Ｒ×Ｑ＋１、は埋め込まれたブロックと考えられる。そして、残りは類推によって推定される。
【００９０】
このグループのフレーム２Ｑ−２まで、ブロックＱ−１，２Ｑ−１，…（Ｒ＋１）×Ｑ−１は、埋め込まれたブロックと考えられる。
【００９１】
上記のブロック番号が後でＬを上回るかもしれない点に留意される。そこで、それらの数を用いて埋め込まれたブロックはキャンセルされる必要がある。その期間のフレーム１，３，２Ｑ−１は、処理されない。
【００９２】
そして、ブロック４０４において、１ビットの透かし情報は、各々の埋め込まれたブロックに埋められる。透かしピクセルを各々のブロックにどのように埋め込むかは、本発明のアルゴリズムのパフォーマンスに影響を及ぼす重要な要因である。
【００９３】
［本発明の第６の実施形態］
この実施形態において、オリジナルの透かしの１ビットのデータをマルチメディアデータのビデオの１ブロックに埋め込む方法は、
Ａ＝２×Ｑｐ−１として埋め込まれた強度を設定する(ここでＱｐは、マルチメディアビデオ通信圧縮コーディングのための量子化係数を意味する)段階と、
ピクセルに従いマルチメディアビデオデータのブロックの平均輝度値μを計算する段階と、
ｂ’＝ｂ＋ｃに従いデータのブロックのそれぞれのピクセルの輝度値を修正する(ここで、ｂ’はピクセルの修正値であり、ｂは修正前のピクセル値であり、ｃは修正量である)段階を備え、
修正量は以下の式により計算される。
１ビットのオリジナル透かしデータｗが１であるとき、
【００９４】
【数７】
【００９５】
であり、１ビットのオリジナル透かしデータｗが０であるとき、
【００９６】
【数８】
【００９７】
である。ただし、γは２Ａで除算されたμの余である。
【００９８】
ブロック４０５において、回復された透かしは、透かし埋め込みのプロセスとは逆のプロセスによって受信側で受信ビデオデータから抽出される。透かし埋め込みに対応して、透かし抽出は、正確に上記のプロセスの逆の処理である。すなわち、以下の段階である。埋め込みフレームをグループ化して、決定すること。各々の埋め込みフレームで埋め込まれたブロックを決定すること。透かし情報を各々のブロックから抽出すること。埋め込みフレームを決定して、さらに埋め込まれたブロックを決定する方法に関しては、詳細はここで記述されない。埋め込まれたブロックから透かしを抽出する方法が記述される
【００９９】
［本発明の第７の実施形態］
この実施形態では、第６実施形態で記述された透かしを埋め込むアルゴリズムに基づく受信ビデオデータの１ブロックから回復される透かしの１ビットのデータを抽出する方法は、以下の段階を有する。
Ａ＝２×ＱＰ−１として、埋め込み強さを設定する段階（ここで、ＱＰはマルチメディアのビデオ通信圧縮コーディングのために、量子化係数を意味する）。
ピクセルによって受信マルチメディアのビデオデータのブロックの平均値μを計算する段階。
以下の式に従って回復される透かしの抽出データを抽出する。
【０１００】
【数９】
【０１０１】
ここで、γ’は、２Ａで除算されたμ’の余である。
【０１０２】
グループの全ての埋め込みフレームの中の全ての埋め込みブロックのために、一体的な透かし画像のフレームは、透かしビット情報の回復により回復される。
【０１０３】
ブロック４０６で、ＰＳＮＲはマルチメディアのビデオ通信の客観的な品質を測定するために受信側でオリジナルの透かしと比較して回復された透かしのＰＲＲ（ピクセル回復率）を使って評価される。
【０１０４】
透かしのピクセル回復率は、透かしによってビデオ品質を評価するためのＰＲＲとして定義される。ＰＲＲは、透かしピクセルの総数に歪が生じた後、正しい透かしピクセルの数の比率を得るために、歪のある透かしをオリジナルの透かしと比較する。すなわち、
ＰＲＲ＝１００＊（歪のある透かし中の正しいピクセルの数／透かしピクセルの合計数）％
【０１０５】
送信プロセス中、発生したビデオ圧縮とエラーコードは、ＰＲＲ値に影響を及ぼす。実験は、回復された透かしのＰＲＲと評価されるべきビデオ品質のＰＳＮＲが完全に同一でないけれども、両者の間にはほぼ一定の線形関係があることを示す。歪のあるビデオとＰＳＮＲの品質評価結果の非常に強い相関関係があることを示される。したがって、基準ビデオがない場合、そして、ＰＳＮＲが得られないという場合、ＰＲＲとＰＳＮＲの関係を確立することによって、歪のあるビデオのＰＳＮＲはＰＲＲによって評価されるとともに、デコードされて回復されたビデオ品質を評価することの目的は達成される。
【０１０６】
［本発明の第８の実施形態］
第１実施形態に基づいて、マルチメディアのビデオ通信実験の統計データによれば、ＰＳＮＲの評価値は、この実施形態においてマルチメディアのビデオ通信の客観的な品質を測定するためにＭＳＥ（平均２乗誤差を意味する）基準に従ってＰＲＲの線形関数を使用して近似される。
【０１０７】
上述の埋め込みアルゴリズムに基づいて、透かし情報は、標準的なテストシーケンスクレア（ＱＣＩＦフォーマットで）に埋め込まれる。それから、透かしで埋め込まれたビデオシーケンスは、ビデオ圧縮標準Ｈ．２６３によって圧縮される。圧縮したビデオストリームは、ビデオ復号化のためにチャンネル「送信」の後、デコーダーに入力する。最後に、埋め込まれた電子透かしは、デコードされたビデオから抽出され、ＰＲＲが計算される。ＢＳＣ（バイナリシンメトリチャンネル）は、単純化のためにチャンネルをシミュレーションするのに用いられる。ノイズは、均一に分布されたランダムノイズである。チャンネルの平均コードエラーレートは、１０−５である。図６（ａ）は、オリジナルのビデオと透かしのＰＲＲと比較して回復されたビデオのＰＳＮＲを表す。ＰＳＮＲとＰＲＲの間に良い一致性があるのが見られた。
【０１０８】
ＰＳＮＲカーブとＰＲＲカーブの間で類似度を測るために、図中のそれらの標準化された相互関係係数が次のように計算される。
【０１０９】
【数１０】
【０１１０】
この式では、ＸとＹは、それぞれＰＳＮＲとＰＲＲを表す。Ｃｏν（Ｘ，Ｙ）は、ＸとＹの共分散を表す。Ｄ（Ｘ）とＤ（Ｙ）は、それぞれ、ＸとＹの分散を表す。
【０１１１】
実験データに基づくと、ρ＝９８．３％である。非常に強い相関関係がＰＲＲカーブとＰＳＮＲカーブの間にあることは、明らかである。ＰＳＮＲは、ＰＲＲとＰＳＮＲの間で強い相関関係のためにＰＲＲによってマッピングされている。すなわち、一次関数（one-orderfunction）
【０１１２】
【数１１】
【０１１３】
は、実際のＰＳＮＲに近似して用いられる。ＭＳＥによれば、図中のデータを用いて平均２乗誤差
【０１１４】
【数１２】
【０１１５】
は、最小値ａ０＝−１６．９０７９，ａ１＝０．５６３２である。
【０１１６】
図６（ａ）で示すように、ＰＳＮＲの評価ＰＳＮＲ’が、計算される。ＰＳＮＲとＰＳＮＲ’を比較すると、それらのＭＳＥとして０．７３５が得られる。ＰＳＮＲ’は、ＰＳＮＲに極めて近似していることがわかる。
【０１１７】
ＰＳＮＲの評価としてＰＳＮＲ’の正確さをさらに有効にするために、チャンネルのコードエラーレートは、１．５×１０−５に変化する。回復されたビデオから得られたＰＳＮＲとＰＲＲマッピングから得られる評価値ＰＳＮＲ’は、図６（ｂ）に示される。データの２つのグループから得られた相関係数ρは９８．６％である。そして、ＭＳＥはわずか０．６９６である。ＰＳＮＲ’は、非常にＰＳＮＲに近似する。
【０１１８】
［本発明の第９の実施形態］
この実施形態では、さらに、透かし埋め込みに起因するビデオ品質の損失を除くために、回復した透かしが抽出されたあと、受信テレビ画像が後処理される。後処理は、あいまいな計算方法に基づくフィルタリング、メジアンフィルタリング、ニューラルネットワークフィルタリング、数学的な形態学（ｍｏｒｐｈｏｌｏｇｙ）フィルタリングまたは平滑化フィルタリングである。
【０１１９】
透かしは、ブロックに基づいて埋め込まれる。埋め込み強さが強すぎる場合、それは人為的なブロック効果に終わって、画質が劣化する。埋め込み強さが低すぎる場合、ビデオ圧縮によって生じる影響を排除することは困難であり、かつ、回復された透かしのＰＲＲは、非常に低いものとなる。このように本発明の態様では、自己適応型透かしを埋め込む方法が選ばれる。透かしを復元する場合に、平滑フィルタリングは、復号化側で透かしを埋め込んだ画像として実行される。実験は、ビデオ目的品質において透かしの影響がこのように効果的に弱められる可能性を示す。
【０１２０】
［本発明の第１０の実施形態］
この実施形態では、本発明により電子透かしに基づきマルチメディアのビデオ通信品質を測定する方法のパフォーマンスは、実験を通して評価される。結果は、表１と表２に示される。
【０１２１】
表１と表２は、それぞれ、コード化されたビデオ品質に対する影響と、本発明態様の方法を使用して埋め込んだ透かしに起因するビットレートを示す。本発明の方法によって実行されるマルチメディアのビデオデータ品質に対する影響はほとんど見られない。
【０１２２】
表１は、同じビットレートで、透かし埋め込みに起因するコード化されたビデオ品質に対する影響を示す（フレームレートは、３０フレーム／ｓである）。
【０１２３】
【表１】
【０１２４】
表２は、同じ量子化係数を使用し、オリジナルのビデオ品質に対して、透かし埋め込みに起因するビットレートの影響を示す。
【０１２５】
【表２】
【０１２６】
当業者は、本発明態様の技術的な解決策が、品質測定方法に関連して使用してもよく、情報融合等を介してより良い影響を与えることができる。
【０１２７】
本発明が例示され、好ましい実施形態について記載されているが、当業者は添付した特許請求の範囲によって定義されるように、本発明の精神および範囲から逸脱することなく、いろいろなバリエーションと修正が行われる。
【符号の説明】
【０１２８】
１シフター
２ＡＬＵ
３読み込み／書き込み
【特許請求の範囲】
【請求項１】
受信側でマルチメディアビデオデータフレームを受信する段階であって、オリジナル透かしデータがマルチメディアビデオデータに埋め込まれる段階と、
受信側でマルチメディアビデオデータから回復された透かしデータを抽出する段階と、
マルチメディアビデオ通信の客観的品質を測定するためにオリジナル透かしと比較して回復された透かしのピクセル回復率を使用してピーク信号ノイズ比を計算する段階と
を備えることを特徴とするマルチメディアビデオ通信品質を測定する方法。
【請求項２】
上記オリジナル透かしデータが、
マルチメディアビデオデータを等しいサイズのブロックに分割する段階と、
オリジナル透かしデータを等しいサイズのブロックに分割する段階と、
オリジナル透かしデータのブロックをマルチメディアビデオデータに均一に埋め込む段階と
によってマルチメディアビデオデータに埋め込まれることを特徴とする上記請求項１に記載の方法。
【請求項３】
マルチメディアビデオデータはそれぞれが等しい数のフレームを備えるグループに分割され、
埋め込まれるフレームと同じグループの中で等しい間隔を有する少なくとも２つのフレームが選択され、
それぞれの埋め込まれるフレームが等しいサイズの複数のブロックに均一に分割され、
複数のブロックから埋め込まれるブロックと等しい数のブロックが選択され、
埋め込まれるブロックのそれぞれにオリジナル透かしデータの等しい量が埋め込まれる
ことを特徴とする上記請求項２に記載の方法。
【請求項４】
上記マルチメディアビデオデータは、複数のマルチメディアビデオデータフレームを有し、
それぞれのマルチメディアビデオデータフレームは、Ｍ行が０からＭ−１までの番号をふられ、Ｎ列が０からＮ―１までの番号をふられたＭ行×Ｎ列ピクセルを備え、
マルチメディアビデオデータフレームは、
マルチメディアビデオデータフレームを０からｍ−１までの番号がふられたｍストリップに分割する段階と、
ストリップｉ（ｉ＝０，１，・・・，ｍ−１）をｉ×ｎから（ｉ＋１）×ｎ―１までの番号がふられたｎブロックに分割する段階と、
等量のオリジナル透かしデータを、得られた各々のｍ×ｎブロックに埋め込む段階と
によって等しいサイズのブロックに分割され、
ストリップｉ（ｉ＝０，１，・・・，ｍ−２）は、行ｉ×ｋνから行（ｉ＋１）×ｋν−１までのピクセルを備え、
ストリップｍ−１は、行（ｍ−１）×ｋνから行Ｍ−１までのピクセルを備え（ｍはＭ／ｋνと同じかそれ以上の最小の整数であり、もしｍ＝Ｍ／ｋνであれば、上記ストリップｍ−１はピクセルの０行を有する）、
上記ブロックｉ×ｎ＋ｊ（０，１，・・・，ｎ−２）は、このストリップの列ｊ×ｋｈから列（ｊ＋１）×ｋｈ−１までのピクセルを備え、
上記ブロックｎ−１は、列（ｎ−１）×ｋｈから列Ｎ―１までのピクセルを備え（ｎはＮ／ｋνと同じかそれ以上の最小の整数であり、もしｎ＝Ｎ／ｋｈであれば、上記ストリップｎ−１はピクセルのゼロ列を有する）ることを特徴とする上記請求項２又は請求項３に記載の方法。
【請求項５】
マルチメディアビデオデータのそれぞれのフレームは、均一に０からＬ−１まで番号がふられたＬ個のブロックに分割され、
上記オリジナル透かしは、
連続のフレームをグループに分割する段階と、
埋め込まれたフレームとしてそれぞれのグループのフレームｑ×Ｐ（ｑ＝０，・・・，Ｑ−１）を選択する段階と、
埋め込まれたブロックとして埋め込まれたフレームｑ×Ｐ（ｑ＝０，・・・，Ｑ−１）のブロックｑ＋ｒ×Ｑ（ｒ＝０，・・・，Ｒ−１，とｑ＋ｒ×Ｑ≦Ｌ）を選択する（ここでＲはＬ／Ｑ以下である）段階と、
グループの埋め込まれた全てのブロックに等量のオリジナル透かしデータを埋め込む段階と
によってマルチメディアビデオデータに埋め込まれ、
それぞれのグループが順番にグループのフレーム０からフレームＰ×Ｑ−１までのＰ×Ｑフレームを備えることを特徴とする上記請求項３又は請求項４に記載の方法。
【請求項６】
オリジナル透かしデータのブロックをマルチメディアビデオデータに埋め込まれたオリジナル透かしデータのビット数は、上記データブロックのサイズに従い決定されることを特徴とする上記請求項２乃至請求項５のいずれか１項に記載の方法。
【請求項７】
上記オリジナル透かしの１ビットデータは、
ピクセルに従いマルチメディアビデオデータの平均値μを計算する段階と、
ｂ’＝ｂ＋ｃに従いマルチメディアブロックのそれぞれのピクセルの値を修正する(ここで、ｂ’はピクセルの値を修正し、ｂは修正前のピクセル値であり、ｃは修正量である)段階と
によってマルチメディアビデオデータブロックに埋め込まれ、
修正量は以下の式により計算されることを特徴とする上記請求項６に記載の方法。
オリジナル透かしデータビットが１であるとき、
【数１】
であり、オリジナル透かしデータビットが０であるとき、
【数２】
である。ただし、γは２Ａで除算されたμの余である。Ａは、埋め込み強さを表するとともに、２×ＱＰ−１に等しい。ＱＰは、マルチメディアビデオ通信圧縮コーディングの量子化係数を表す。
【請求項８】
上記回復された透かしは、
ピクセルに従い受信されたマルチメディアビデオデータブロックの平均値μ’を計算する段階と、
以下の式に従い回復された透かしの抽出されたデータｗ’を計算する段階と
によってマルチメディアビデオデータから抽出されることを特徴とする上記請求項６又は請求項７に記載の方法。
【数３】
ここでγ’は２Ａで除算されたμ’の余である。Ａは、埋め込み強さを表するとともに、２×ＱＰ−１に等しい。ＱＰは、マルチメディアビデオ通信圧縮コーディングの量子化係数を表す。
【請求項９】
上記方法は、
マルチメディアビデオ通信実験の静的データに基づき、マルチメディアビデオ通信の客観的品質を測定する平均２乗誤差に従い、オリジナル透かしに対して回復された透かしのピクセル回復率の一次関数を使用して、ピーク信号ノイズ比の推定値を獲得するために近似する段階
をさらに備えることを特徴とする上記請求項１乃至請求項８のいずれか１項に記載の方法。
【請求項１０】
上記方法は、
オリジナル透かしと比較して回復された透かしのピクセル回復率を使用し、オリジナル透かしに対して回復された透かしの歪率を計算する段階
をさらに備えることを特徴とする上記請求項１乃至請求項９のいずれか１項に記載の方法。
【請求項１１】
マルチメディアビデオデータフレームを受信するように構成された受信モジュールであって、オリジナル透かしデータがマルチメディアビデオデータに埋め込まれる、受信モジュールと、
マルチメディアビデオデータから回復された透かしデータを抽出するように構成された抽出モジュールと、
マルチメディアビデオ通信の客観的品質を測定するためにオリジナル透かしと比較して回復された透かしのピクセル回復率を使用してピーク信号ノイズ比を計算するように構成された計算モジュールと
を備えることを特徴とするマルチメディアビデオ通信品質を測定するデコーダー。
【請求項１２】
上記オリジナル透かしデータが、
マルチメディアビデオデータを等しいサイズのブロックに分割する段階と、
オリジナル透かしデータを等しいサイズのブロックに分割する段階と、
オリジナル透かしデータのブロックをマルチメディアビデオデータに均一に埋め込む段階と
によってマルチメディアビデオデータに埋め込まれることを特徴とする上記請求項１１に記載のデコーダー。
【請求項１３】
マルチメディアビデオデータはそれぞれが等しい数のフレームを備えるグループに分割され、
埋め込まれるフレームと同じグループの中で等しい間隔を有する少なくとも２つのフレームが選択され、
それぞれの埋め込まれるフレームが等しいサイズの複数のブロックに均一に分割され、
複数のブロックから埋め込まれるブロックと等しい数のブロックが選択され、
埋め込まれるブロックのそれぞれにオリジナル透かしデータの等しい量が埋め込まれる
ことを特徴とする上記請求項１２に記載のデコーダー。
【請求項１４】
上記マルチメディアビデオデータは、複数のマルチメディアビデオデータフレームを有し、
それぞれのマルチメディアビデオデータフレームは、Ｍ行が０からＭ−１までの番号をふられ、Ｎ列が０からＮ―１までの番号をふられたＭ行×Ｎ列ピクセルを備え、
マルチメディアビデオデータフレームは、
マルチメディアビデオデータフレームを０からｍ−１までの番号がふられたｍストリップに分割する段階と、
ストリップｉ（ｉ＝０，１，・・・，ｍ−１）をｉ×ｎから（ｉ＋１）×ｎ―１までの番号がふられたｎブロックに分割する段階と、
等量のオリジナル透かしデータを、得られた各々のｍ×ｎブロックに埋め込む段階と
によって等しいサイズのブロックに分割され、
ストリップｉ（ｉ＝０，１，・・・，ｍ−２）は、行ｉ×ｋνから行（ｉ＋１）×ｋν−１までのピクセルを備え、
ストリップｍ−１は、行（ｍ−１）×ｋνから行Ｍ−１までのピクセルを備え（ｍはＭ／ｋνと同じかそれ以上の最小の整数であり、もしｍ＝Ｍ／ｋνであれば、上記ストリップｍ−１はピクセルの０行を有する）、
上記ブロックｉ×ｎ＋ｊ（０，１，・・・，ｎ−２）は、このストリップの列ｊ×ｋｈから列（ｊ＋１）×ｋｈ−１までのピクセルを備え、
上記ブロックｎ−１は、列（ｎ−１）×ｋｈから列Ｎ―１までのピクセルを備え（ｎはＮ／ｋνと同じかそれ以上の最小の整数であり、もしｎ＝Ｎ／ｋｈであれば、上記ストリップｎ−１はピクセルのゼロ列を有する）ることを特徴とする上記請求項１２又は請求項１３に記載のデコーダー。
【請求項１５】
マルチメディアビデオデータのそれぞれのフレームは、均一に０からＬ−１まで番号がふられたＬ個のブロックに分割され、
上記オリジナル透かしは、
連続のフレームをグループに分割する段階と、
埋め込まれたフレームとしてそれぞれのグループのフレームｑ×Ｐ（ｑ＝０，・・・，Ｑ−１）を選択する段階と、
埋め込まれたブロックとして埋め込まれたフレームｑ×Ｐ（ｑ＝０，・・・，Ｑ−１）のブロックｑ＋ｒ×Ｑ（ｒ＝０，・・・，Ｒ−１，とｑ＋ｒ×Ｑ≦Ｌ）を選択する（ここでＲはＬ／Ｑ以下である）段階と、
グループの埋め込まれた全てのブロックに等量のオリジナル透かしデータを埋め込む段階と
によってマルチメディアビデオデータに埋め込まれ、
それぞれのグループが順番にグループのフレーム０からフレームＰ×Ｑ−１までのＰ×Ｑフレームを備えることを特徴とする上記請求項１３又は請求項１４に記載のデコーダー。
【請求項１６】
オリジナル透かしデータのブロックをマルチメディアビデオデータに埋め込まれたオリジナル透かしデータのビット数は、上記データブロックのサイズに従い決定されることを特徴とする上記請求項１２乃至請求項１５のいずれか１項に記載のデコーダー。
【請求項１７】
上記オリジナル透かしの１ビットデータは、
ピクセルに従いマルチメディアビデオデータの平均値μを計算する段階と、
ｂ’＝ｂ＋ｃに従いマルチメディアブロックのそれぞれのピクセルの値を修正する(ここで、ｂ’はピクセルの値を修正し、ｂは修正前のピクセル値であり、ｃは修正量である)段階と
によってマルチメディアビデオデータブロックに埋め込まれ、
修正量は以下の式により計算されることを特徴とする上記請求項１６に記載のデコーダー。
オリジナル透かしデータビットが１であるとき、
【数４】
であり、オリジナル透かしデータビットが０であるとき、
【数５】
である。ただし、γは２Ａで除算されたμの余である。Ａは、埋め込み強さを表するとともに、２×ＱＰ−１に等しい。ＱＰは、マルチメディアビデオ通信圧縮コーディングの量子化係数を表す。
【請求項１８】
上記回復された透かしは、
ピクセルに従い受信されたマルチメディアビデオデータブロックの平均値μ’を計算する段階と、
以下の式に従い回復された透かしの抽出されたデータｗ’を計算する段階と
によってマルチメディアビデオデータから抽出されることを特徴とする上記請求項１６又は請求項１７に記載のデコーダー。
【数６】
ここでγ’は２Ａで除算されたμ’の余である。Ａは、埋め込み強さを表するとともに、２×ＱＰ−１に等しい。ＱＰは、マルチメディアビデオ通信圧縮コーディングの量子化係数を表す。
【請求項１９】
上記計算モジュールは、
マルチメディアビデオ通信実験の静的データに基づき、マルチメディアビデオ通信の客観的品質を測定する平均２乗誤差に従い、オリジナル透かしに対して回復された透かしのピクセル回復率の一次関数を使用して、ピーク信号ノイズ比の推定値を獲得するために近似する
ようにさらに構成されることを特徴とする上記請求項１１乃至請求項１８のいずれか１項に記載のデコーダー。
【請求項２０】
上記計算モジュールは、
オリジナル透かしと比較して回復された透かしのピクセル回復率を使用し、オリジナル透かしに対して回復された透かしの歪率を計算する
ようにさらに構成されることを特徴とする上記請求項１１乃至請求項１９のいずれか１項に記載のデコーダー。
【請求項１】
受信側でマルチメディアビデオデータフレームを受信する段階であって、オリジナル透かしデータがマルチメディアビデオデータに埋め込まれる段階と、
受信側でマルチメディアビデオデータから回復された透かしデータを抽出する段階と、
マルチメディアビデオ通信の客観的品質を測定するためにオリジナル透かしと比較して回復された透かしのピクセル回復率を使用してピーク信号ノイズ比を計算する段階と
を備えることを特徴とするマルチメディアビデオ通信品質を測定する方法。
【請求項２】
上記オリジナル透かしデータが、
マルチメディアビデオデータを等しいサイズのブロックに分割する段階と、
オリジナル透かしデータを等しいサイズのブロックに分割する段階と、
オリジナル透かしデータのブロックをマルチメディアビデオデータに均一に埋め込む段階と
によってマルチメディアビデオデータに埋め込まれることを特徴とする上記請求項１に記載の方法。
【請求項３】
マルチメディアビデオデータはそれぞれが等しい数のフレームを備えるグループに分割され、
埋め込まれるフレームと同じグループの中で等しい間隔を有する少なくとも２つのフレームが選択され、
それぞれの埋め込まれるフレームが等しいサイズの複数のブロックに均一に分割され、
複数のブロックから埋め込まれるブロックと等しい数のブロックが選択され、
埋め込まれるブロックのそれぞれにオリジナル透かしデータの等しい量が埋め込まれる
ことを特徴とする上記請求項２に記載の方法。
【請求項４】
上記マルチメディアビデオデータは、複数のマルチメディアビデオデータフレームを有し、
それぞれのマルチメディアビデオデータフレームは、Ｍ行が０からＭ−１までの番号をふられ、Ｎ列が０からＮ―１までの番号をふられたＭ行×Ｎ列ピクセルを備え、
マルチメディアビデオデータフレームは、
マルチメディアビデオデータフレームを０からｍ−１までの番号がふられたｍストリップに分割する段階と、
ストリップｉ（ｉ＝０，１，・・・，ｍ−１）をｉ×ｎから（ｉ＋１）×ｎ―１までの番号がふられたｎブロックに分割する段階と、
等量のオリジナル透かしデータを、得られた各々のｍ×ｎブロックに埋め込む段階と
によって等しいサイズのブロックに分割され、
ストリップｉ（ｉ＝０，１，・・・，ｍ−２）は、行ｉ×ｋνから行（ｉ＋１）×ｋν−１までのピクセルを備え、
ストリップｍ−１は、行（ｍ−１）×ｋνから行Ｍ−１までのピクセルを備え（ｍはＭ／ｋνと同じかそれ以上の最小の整数であり、もしｍ＝Ｍ／ｋνであれば、上記ストリップｍ−１はピクセルの０行を有する）、
上記ブロックｉ×ｎ＋ｊ（０，１，・・・，ｎ−２）は、このストリップの列ｊ×ｋｈから列（ｊ＋１）×ｋｈ−１までのピクセルを備え、
上記ブロックｎ−１は、列（ｎ−１）×ｋｈから列Ｎ―１までのピクセルを備え（ｎはＮ／ｋνと同じかそれ以上の最小の整数であり、もしｎ＝Ｎ／ｋｈであれば、上記ストリップｎ−１はピクセルのゼロ列を有する）ることを特徴とする上記請求項２又は請求項３に記載の方法。
【請求項５】
マルチメディアビデオデータのそれぞれのフレームは、均一に０からＬ−１まで番号がふられたＬ個のブロックに分割され、
上記オリジナル透かしは、
連続のフレームをグループに分割する段階と、
埋め込まれたフレームとしてそれぞれのグループのフレームｑ×Ｐ（ｑ＝０，・・・，Ｑ−１）を選択する段階と、
埋め込まれたブロックとして埋め込まれたフレームｑ×Ｐ（ｑ＝０，・・・，Ｑ−１）のブロックｑ＋ｒ×Ｑ（ｒ＝０，・・・，Ｒ−１，とｑ＋ｒ×Ｑ≦Ｌ）を選択する（ここでＲはＬ／Ｑ以下である）段階と、
グループの埋め込まれた全てのブロックに等量のオリジナル透かしデータを埋め込む段階と
によってマルチメディアビデオデータに埋め込まれ、
それぞれのグループが順番にグループのフレーム０からフレームＰ×Ｑ−１までのＰ×Ｑフレームを備えることを特徴とする上記請求項３又は請求項４に記載の方法。
【請求項６】
オリジナル透かしデータのブロックをマルチメディアビデオデータに埋め込まれたオリジナル透かしデータのビット数は、上記データブロックのサイズに従い決定されることを特徴とする上記請求項２乃至請求項５のいずれか１項に記載の方法。
【請求項７】
上記オリジナル透かしの１ビットデータは、
ピクセルに従いマルチメディアビデオデータの平均値μを計算する段階と、
ｂ’＝ｂ＋ｃに従いマルチメディアブロックのそれぞれのピクセルの値を修正する(ここで、ｂ’はピクセルの値を修正し、ｂは修正前のピクセル値であり、ｃは修正量である)段階と
によってマルチメディアビデオデータブロックに埋め込まれ、
修正量は以下の式により計算されることを特徴とする上記請求項６に記載の方法。
オリジナル透かしデータビットが１であるとき、
【数１】
であり、オリジナル透かしデータビットが０であるとき、
【数２】
である。ただし、γは２Ａで除算されたμの余である。Ａは、埋め込み強さを表するとともに、２×ＱＰ−１に等しい。ＱＰは、マルチメディアビデオ通信圧縮コーディングの量子化係数を表す。
【請求項８】
上記回復された透かしは、
ピクセルに従い受信されたマルチメディアビデオデータブロックの平均値μ’を計算する段階と、
以下の式に従い回復された透かしの抽出されたデータｗ’を計算する段階と
によってマルチメディアビデオデータから抽出されることを特徴とする上記請求項６又は請求項７に記載の方法。
【数３】
ここでγ’は２Ａで除算されたμ’の余である。Ａは、埋め込み強さを表するとともに、２×ＱＰ−１に等しい。ＱＰは、マルチメディアビデオ通信圧縮コーディングの量子化係数を表す。
【請求項９】
上記方法は、
マルチメディアビデオ通信実験の静的データに基づき、マルチメディアビデオ通信の客観的品質を測定する平均２乗誤差に従い、オリジナル透かしに対して回復された透かしのピクセル回復率の一次関数を使用して、ピーク信号ノイズ比の推定値を獲得するために近似する段階
をさらに備えることを特徴とする上記請求項１乃至請求項８のいずれか１項に記載の方法。
【請求項１０】
上記方法は、
オリジナル透かしと比較して回復された透かしのピクセル回復率を使用し、オリジナル透かしに対して回復された透かしの歪率を計算する段階
をさらに備えることを特徴とする上記請求項１乃至請求項９のいずれか１項に記載の方法。
【請求項１１】
マルチメディアビデオデータフレームを受信するように構成された受信モジュールであって、オリジナル透かしデータがマルチメディアビデオデータに埋め込まれる、受信モジュールと、
マルチメディアビデオデータから回復された透かしデータを抽出するように構成された抽出モジュールと、
マルチメディアビデオ通信の客観的品質を測定するためにオリジナル透かしと比較して回復された透かしのピクセル回復率を使用してピーク信号ノイズ比を計算するように構成された計算モジュールと
を備えることを特徴とするマルチメディアビデオ通信品質を測定するデコーダー。
【請求項１２】
上記オリジナル透かしデータが、
マルチメディアビデオデータを等しいサイズのブロックに分割する段階と、
オリジナル透かしデータを等しいサイズのブロックに分割する段階と、
オリジナル透かしデータのブロックをマルチメディアビデオデータに均一に埋め込む段階と
によってマルチメディアビデオデータに埋め込まれることを特徴とする上記請求項１１に記載のデコーダー。
【請求項１３】
マルチメディアビデオデータはそれぞれが等しい数のフレームを備えるグループに分割され、
埋め込まれるフレームと同じグループの中で等しい間隔を有する少なくとも２つのフレームが選択され、
それぞれの埋め込まれるフレームが等しいサイズの複数のブロックに均一に分割され、
複数のブロックから埋め込まれるブロックと等しい数のブロックが選択され、
埋め込まれるブロックのそれぞれにオリジナル透かしデータの等しい量が埋め込まれる
ことを特徴とする上記請求項１２に記載のデコーダー。
【請求項１４】
上記マルチメディアビデオデータは、複数のマルチメディアビデオデータフレームを有し、
それぞれのマルチメディアビデオデータフレームは、Ｍ行が０からＭ−１までの番号をふられ、Ｎ列が０からＮ―１までの番号をふられたＭ行×Ｎ列ピクセルを備え、
マルチメディアビデオデータフレームは、
マルチメディアビデオデータフレームを０からｍ−１までの番号がふられたｍストリップに分割する段階と、
ストリップｉ（ｉ＝０，１，・・・，ｍ−１）をｉ×ｎから（ｉ＋１）×ｎ―１までの番号がふられたｎブロックに分割する段階と、
等量のオリジナル透かしデータを、得られた各々のｍ×ｎブロックに埋め込む段階と
によって等しいサイズのブロックに分割され、
ストリップｉ（ｉ＝０，１，・・・，ｍ−２）は、行ｉ×ｋνから行（ｉ＋１）×ｋν−１までのピクセルを備え、
ストリップｍ−１は、行（ｍ−１）×ｋνから行Ｍ−１までのピクセルを備え（ｍはＭ／ｋνと同じかそれ以上の最小の整数であり、もしｍ＝Ｍ／ｋνであれば、上記ストリップｍ−１はピクセルの０行を有する）、
上記ブロックｉ×ｎ＋ｊ（０，１，・・・，ｎ−２）は、このストリップの列ｊ×ｋｈから列（ｊ＋１）×ｋｈ−１までのピクセルを備え、
上記ブロックｎ−１は、列（ｎ−１）×ｋｈから列Ｎ―１までのピクセルを備え（ｎはＮ／ｋνと同じかそれ以上の最小の整数であり、もしｎ＝Ｎ／ｋｈであれば、上記ストリップｎ−１はピクセルのゼロ列を有する）ることを特徴とする上記請求項１２又は請求項１３に記載のデコーダー。
【請求項１５】
マルチメディアビデオデータのそれぞれのフレームは、均一に０からＬ−１まで番号がふられたＬ個のブロックに分割され、
上記オリジナル透かしは、
連続のフレームをグループに分割する段階と、
埋め込まれたフレームとしてそれぞれのグループのフレームｑ×Ｐ（ｑ＝０，・・・，Ｑ−１）を選択する段階と、
埋め込まれたブロックとして埋め込まれたフレームｑ×Ｐ（ｑ＝０，・・・，Ｑ−１）のブロックｑ＋ｒ×Ｑ（ｒ＝０，・・・，Ｒ−１，とｑ＋ｒ×Ｑ≦Ｌ）を選択する（ここでＲはＬ／Ｑ以下である）段階と、
グループの埋め込まれた全てのブロックに等量のオリジナル透かしデータを埋め込む段階と
によってマルチメディアビデオデータに埋め込まれ、
それぞれのグループが順番にグループのフレーム０からフレームＰ×Ｑ−１までのＰ×Ｑフレームを備えることを特徴とする上記請求項１３又は請求項１４に記載のデコーダー。
【請求項１６】
オリジナル透かしデータのブロックをマルチメディアビデオデータに埋め込まれたオリジナル透かしデータのビット数は、上記データブロックのサイズに従い決定されることを特徴とする上記請求項１２乃至請求項１５のいずれか１項に記載のデコーダー。
【請求項１７】
上記オリジナル透かしの１ビットデータは、
ピクセルに従いマルチメディアビデオデータの平均値μを計算する段階と、
ｂ’＝ｂ＋ｃに従いマルチメディアブロックのそれぞれのピクセルの値を修正する(ここで、ｂ’はピクセルの値を修正し、ｂは修正前のピクセル値であり、ｃは修正量である)段階と
によってマルチメディアビデオデータブロックに埋め込まれ、
修正量は以下の式により計算されることを特徴とする上記請求項１６に記載のデコーダー。
オリジナル透かしデータビットが１であるとき、
【数４】
であり、オリジナル透かしデータビットが０であるとき、
【数５】
である。ただし、γは２Ａで除算されたμの余である。Ａは、埋め込み強さを表するとともに、２×ＱＰ−１に等しい。ＱＰは、マルチメディアビデオ通信圧縮コーディングの量子化係数を表す。
【請求項１８】
上記回復された透かしは、
ピクセルに従い受信されたマルチメディアビデオデータブロックの平均値μ’を計算する段階と、
以下の式に従い回復された透かしの抽出されたデータｗ’を計算する段階と
によってマルチメディアビデオデータから抽出されることを特徴とする上記請求項１６又は請求項１７に記載のデコーダー。
【数６】
ここでγ’は２Ａで除算されたμ’の余である。Ａは、埋め込み強さを表するとともに、２×ＱＰ−１に等しい。ＱＰは、マルチメディアビデオ通信圧縮コーディングの量子化係数を表す。
【請求項１９】
上記計算モジュールは、
マルチメディアビデオ通信実験の静的データに基づき、マルチメディアビデオ通信の客観的品質を測定する平均２乗誤差に従い、オリジナル透かしに対して回復された透かしのピクセル回復率の一次関数を使用して、ピーク信号ノイズ比の推定値を獲得するために近似する
ようにさらに構成されることを特徴とする上記請求項１１乃至請求項１８のいずれか１項に記載のデコーダー。
【請求項２０】
上記計算モジュールは、
オリジナル透かしと比較して回復された透かしのピクセル回復率を使用し、オリジナル透かしに対して回復された透かしの歪率を計算する
ようにさらに構成されることを特徴とする上記請求項１１乃至請求項１９のいずれか１項に記載のデコーダー。
【図１】
【図２】
【図４】
【図５】
【図６】
【図３】
【図２】
【図４】
【図５】
【図６】
【図３】
【公開番号】特開２０１１−１８２４２３（Ｐ２０１１−１８２４２３Ａ）
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願番号】特願２０１１−８３４４７（Ｐ２０１１−８３４４７）
【出願日】平成２３年４月５日（２０１１．４．５）
【分割の表示】特願２００７−５４９７８７（Ｐ２００７−５４９７８７）の分割
【原出願日】平成１８年６月２３日（２００６．６．２３）
【出願人】（５０４２７７３８８）▲ホア▼▲ウェイ▼技術有限公司 (220)
【Ｆターム（参考）】
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願日】平成２３年４月５日（２０１１．４．５）
【分割の表示】特願２００７−５４９７８７（Ｐ２００７−５４９７８７）の分割
【原出願日】平成１８年６月２３日（２００６．６．２３）
【出願人】（５０４２７７３８８）▲ホア▼▲ウェイ▼技術有限公司 (220)
【Ｆターム（参考）】
[ Back to top ]