説明

電子透かし埋め込み方法及び装置及びプログラム

【課題】 与えられた入力映像に対して最適となるように電子透かし埋め込み方式を制御する。
【解決手段】 本発明は、画像に対して電子透かしを埋め込む方法において、入力信号の特徴を評価し、この評価結果及びこれにより算出される画質劣化評価結果によって、透かしの埋め込みパターンや埋め込み多重度を決定することで、電子透かしの埋め込みに画質劣化の低減を行う。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子透かし埋め込み方法及び装置及びプログラムに係り、特に、複数のフレーム画像からなる映像信号に対する電子透かしを埋め込む技術において、電子透かし情報から構成された所定のパターンを各フレーム画像に重畳する電子透かし埋め込み方法及び装置及びプログラムに関する。
【背景技術】
【0002】
従来、ディジタルコンテンツに対し、電子透かし埋め込むことで、ディジタルコンテンツの著作権保護を行ったり、ディジタルコンテンツに関する著作権情報を参照したり、あるいは、ディジタルコンテンツを広告としての印刷物などのアナログ媒体を介した上でディジタルカメラなどで撮影し、電子透かしを読み取ることで広告に関連した情報を取得させたりといったサービスが実現されるようになってきた。
【0003】
電子透かし埋め込み方法としては、例えば、電子透かしを埋め込む際に、埋め込み対象成分位置情報に基づいて、複素行列の実数成分と虚数成分を独立に変更するスペクトル拡散を行い、入力画像と独立に透かしパターンを生成し、実際の画像へパターンの加算を行うことで埋め込み済み画像を生成し、電子透かしを検出する際には、検出対象成分位置情報に基づいて検出対象系列を生成し、オフセット情報を抽出し、検出対象系列を修正した後にスペクトル逆拡散を行い、切り出した画素ブロック内に埋め込まれている電子透かしを検出するような電子透かし方式がある(例えば、特許文献1参照)。
【0004】
また、映像信号においても、一般に映像信号は静止画像であるフレーム画像を連続させたものとして記録されるため、静止画像を対象とした電子透かし方式を応用することで電子透かしを埋め込むことが可能である。例えば、特許文献1に記載の電子透かし方法を用いて、映像信号の各フレーム画像に共通の電子透かしを埋め込むことでも映像信号に対する電子透かしを実現できる。
【0005】
電子透かしとして、映像の各フレームに同一の固定パターンを重畳するような電子透かし埋め込み方法では、電子透かし埋め込みの強度が強くなると、埋め込まれた電子透かしパターンが、映像の動きと無関係に張り付いたように見え、いわばすりガラス状に目立って知覚されやすくなってしまい、透かしの埋め込み強度を強くすることができなかった。以下、このような現象をすりガラス効果と呼ぶことにする。
【0006】
例えば、各フレームに埋め込む電子透かしのパターンに含まれるシンボル成分について、1フレーム当たりに含まれるシンボル数を少なくし、さらにフレーム毎に変化させることで、電子透かしのパターンを切替えるようにし、すりガラス効果を抑制する電子透かし方法が考えられる。また、電子透かしの検出時にフレームの同期が取れていない(どのフレームにどのシンボルが埋め込まれているかが判明していない)場合においても検出ができるように、各フレーム画像を予め重畳してから電子透かしの検出を行う方法も考えられる。
【0007】
このように、様々な電子透かし方式が提案されているが、これら複数、あるいは、パラメータの変更の可能な電子透かし方式に対して比較評価する際には、所定のパラメータについて実際のコンテンツに対して電子透かしを埋め込み、変形、ノイズ付加、符号化などの所定の攻撃を加えた後に、電子透かしが検出できるかどうかを調べ、正解率、誤検出率、偽陽性判定率などを用いて評価を行っていた。
【特許文献1】特開2003−219148号公報「電子透かし埋め込み方法及び電子透かし検出方法及び電子透かし埋め込み装置、及び電子透かし検出装置、及び電子透かし埋め込みプログラムを格納した記憶媒体、及び電子透かし検出プログラムを格納した記憶媒体、及び電子透かしシステム」
【発明の開示】
【発明が解決しようとする課題】
【0008】
従来の電子透かし埋め込み方法では、複数、あるいは、パラメータの変更の可能な電子透かし方式がある場合に、個々の入力映像に対してどちらかがどれだけ優れているかを、実際の電子透かし埋め込みを行う前に定量的に評価することができないため、期待する品質を求める中で、与えられた入力映像に対して最適となるように電子透かし埋め込み方式を制御することができないという問題がある。
【0009】
例えば、静止している画像の場合は固定の電子透かしパターンが重畳されてもすりガラス効果は現れないため、パターンの切り替えを行う必要がない。つまり、従来の手法では、与えられた入力映像に対して、適切なすりガラス効果の抑制を図る埋め込み方式を制御することができないという問題がある。
【0010】
本発明は、上記の点に鑑みなされたもので、複数、あるいはパラメータの変更の可能な電子透かし方式を備える電子透かし装置において、与えられた入力映像に対して最適となるように電子透かし埋め込み方式を制御することが可能な電子透かし埋め込み方法及び装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0011】
図1は、本発明の原理を説明するための図である。
【0012】
本発明(請求項1)は、入力信号に対して、入力信号の各区間に、埋め込み情報に基づいて構成された所定のパターンを、人間の知覚に感知されにくいように重畳する電子透かし埋め込み方法であって、
入力信号の特徴を評価し、評価値を算出し、記憶手段に格納する埋め込み前信号評価ステップ(ステップ1)と、
記憶手段から評価値を読み出して、該評価値に従って、電子透かしとして重畳される所定のパターンを生成する方式または、パラメータを選択して埋め込みパターンを生成する埋め込みパターン生成ステップ(ステップ2)と、を行う。
【0013】
また、本発明(請求項2)は、請求項1記載の電子透かし埋め込み方法であって、
入力信号が映像信号であるとき、
埋め込み情報を複数のシンボルに分割する埋め込み情報分割ステップと、
記憶手段から取得した評価値に従って、入力信号の各区間に埋め込むシンボルの多重度を決定する多重度決定ステップと、を行い、
埋め込みパターン生成ステップ(ステップ2)において、
多重度決定ステップで決定された多重度に従って埋め込みパターンを生成する。
【0014】
また、本発明(請求項3)は、請求項2記載の電子透かし埋め込み方法であって、
多重度決定ステップにおいて、
電子透かしによる画質劣化と検出評価値との関係式に従い、与えられた検出性能目標と画質劣化目標を満たすように多重度を決定する。
【0015】
また、本発明(請求項4)は、請求項2または、3記載の電子透かし埋め込み方法であって、予め求められた多重度と画質劣化の関係を用いて、与えられた画質劣化目標を満たすように電子透かしの埋め込み強度を決定する埋め込み強度ステップを更に行う。
【0016】
また、本発明(請求項5)は、請求項1乃至4記載の電子透かし埋め込み方法であって、
埋め込み前信号評価ステップにおいて、
入力信号の透かし検出時ノイズ成分の分散とフレーム間相関とを算出し、記憶手段に格納し、
埋め込みパターン生成ステップにおいて、
記憶手段から取得した分散とフレーム間相関に基づく理論的検出評価値の期待値に従って、所定のパターンを生成する方式またはパラメータを選択する。
【0017】
また、本発明(請求項6)は、請求項1乃至5のいずれか1項記載の電子透かし埋め込み方法であって、入力信号が映像信号であるとき、
埋め込み前信号評価ステップにおいて、
映像信号に対して時間時刻方向の畳み込みフィルタを適用し、フィルタ結果の透かし検出時ノイズ成分の分散とフレーム間相関とを算出する。
【0018】
また、本発明(請求項7)は、請求項1乃至6のいずれか1項記載の電子透かし埋め込み方法であって、入力信号が映像信号であるとき、
埋め込み前信号評価ステップにおいて、
映像信号の動きの大きさを測定し、その大きさまたは分散値を算出する。
【0019】
また、本発明(請求項8)は、請求項7記載の電子透かし埋め込み方法であって、
映像信号の動きの大きさと画質劣化の関係を用いて、与えられた画質劣化目標を満たすように電子透かしの埋め込み強度を決定するステップを行う。
【0020】
また、本発明(請求項9)は、請求項1乃至8記載の電子透かし埋め込み方法であって、
埋め込み前信号評価ステップ(ステップ1)において、
入力信号の区間内の部分領域を単位に評価を行い、
埋め込みパターン生成ステップ(ステップ2)において、
入力信号の区間内の部分領域を単位に所定のパターンを生成する方式または、パラメータを選択する。
【0021】
図2は、本発明の原理構成図である。
【0022】
本発明(請求項10)は、入力信号に対して、入力信号の各区間に、埋め込み情報に基づいて構成された所定のパターンを、人間の知覚に感知されにくいように重畳する電子透かし埋め込み装置であって、
入力信号の特徴を評価し、評価値を算出し、記憶手段120に格納する埋め込み前信号評価手段111と、
記憶手段120から評価値を読み出して、該評価値に従って、電子透かしとして重畳される所定のパターンを生成する方式または、パラメータを選択して埋め込みパターンを生成する埋め込みパターン生成手段102と、を有する。
【0023】
また、本発明(請求項11)は、請求項10記載の電子透かし埋め込み装置であって、
入力信号が映像信号であるとき、
埋め込み情報を複数のシンボルに分割する埋め込み情報分割手段と、
記憶手段から取得した評価値に従って、入力信号の各区間に埋め込むシンボルの多重度を決定する多重度決定手段と、を更に有し、
埋め込みパターン生成手段102は、
多重度決定手段で決定された多重度に従って埋め込みパターンを生成する手段を含む。
【0024】
また、本発明(請求項12)は、請求項11記載の電子透かし埋め込み装置であって、
多重度決定手段は、
電子透かしによる画質劣化と検出評価値との関係式に従い、与えられた検出性能目標と画質劣化目標を満たすように多重度を決定する手段を含む。
【0025】
また、本発明(請求項13)は、請求項11または、12記載の電子透かし埋め込み装置であって、予め求められた多重度と画質劣化の関係を用いて、与えられた画質劣化目標を満たすように電子透かしの埋め込み強度を決定する埋め込み強度決定手段を更に有する。
【0026】
また、本発明(請求項14)は、請求項10乃至13記載の電子透かし埋め込み装置であって、
埋め込み前信号評価手段111は、
入力信号の透かし検出時ノイズ成分の分散とフレーム間相関とを算出し、記憶手段に格納する手段を含み、
埋め込みパターン生成手段102は、
記憶手段から取得した分散とフレーム間相関に基づく理論的検出評価値の期待値に従って、所定のパターンを生成する方式またはパラメータを選択する手段を含む。
【0027】
また、本発明(請求項15)は、請求項10乃至14項記載の電子透かし埋め込み装置であって、入力信号が映像信号であるとき、
埋め込み前信号評価手段111は、
映像信号に対して時間時刻方向の畳み込みフィルタを適用し、フィルタ結果の透かし検出時ノイズ成分の分散とフレーム間相関とを算出する手段を含む。
【0028】
また、本発明(請求項16)は、請求項10乃至15記載の電子透かし埋め込み装置であって、入力信号が映像信号であるとき、
埋め込み前信号評価手段111は、
映像信号の動きの大きさを測定し、その大きさまたは分散値を算出する手段を含む。
【0029】
また、本発明(請求項17)は、請求項16記載の電子透かし埋め込み装置であって、
映像信号の動きの大きさと画質劣化の関係を用いて、与えられた画質劣化目標を満たすように電子透かしの埋め込み強度を決定する手段を更に有する。
【0030】
また、本発明(請求項18)は、請求項10乃至17記載の電子透かし埋め込み装置であって、
埋め込み前信号評価手段111は、
入力信号の区間内の部分領域を単位に評価を行う手段を含み、
埋め込みパターン生成手段102は、
入力信号の区間内の部分領域を単位に所定のパターンを生成する方式または、パラメータを選択する手段を含む。
【0031】
本発明(請求項19)は、コンピュータを、請求項10乃至18記載の電子透かし埋込装置として機能させるプログラムである。
【発明の効果】
【0032】
上記のように本発明によれば、複数あるいは、パラメータの変更の可能な電子透かし方式がある場合に、ここの入力信号に対してどちらがどれだけ優れているかを、実際の電子透かし埋め込みを行う前に定量的に評価することができる。
【0033】
また、得られた評価結果に基づいて、期待する品質を求める中で、与えられた入力信号に対して最適となるように電子透かし埋め込み方式を制御することができる。その結果、電子透かしの検出性の高い電子透かし埋め込みを行うことができる。
【0034】
<入力信号の評価によってパターン生成を切替える電子透かし埋め込み方法>
さらに、請求項1に記載された電子透かし埋め込み方法及び請求項10に記載された電子透かし埋め込み装置によれば、電子透かしの埋め込みの対象となる信号の特性と、所与の電子透かし検出性能目標に応じて、最適な電子透かし方式を選択することができ、透かしによる知覚的な画質劣化を同程度に保ったまま、検出の精度を向上させることができる。
【0035】
<埋め込み多重度を切り替える電子透かし埋め込み方法>
さらに、請求項2に記載された電子透かし埋め込み方法及び請求項11に記載された電子透かし埋め込み装置によれば、電子透かし埋め込みの対象となる信号の特性に応じて、最適なすりガラス効果抑制の効果をもつ電子透かし方式を選択することができ、透かしによる視覚的な画質劣化を抑えることができる。
【0036】
<検出性能目標に応じて埋め込み多重度を切り替える電子透かし埋め込み方法>
さらに、請求項3に記載された電子透かし埋め込み方法及び請求項12に記載された電子透かし埋め込み装置によれば、電子透かしの埋め込みの対象となる信号の特性と、所与の電子透かし検出性能目標に応じて、最適なすりガラス効果抑制の効果を持つ電子透かし方式を自動的に選択することができ、透かしによる視覚的な画質劣化を同程度に保ったまま、容易に検出の精度を向上させることができる。
【0037】
<同期有無を考慮した目標性能>
<埋め込み多重度に応じて埋め込み強度を切り替える電子透かし埋め込み方法>
さらに、請求項4に記載された電子透かし埋め込み方法及び請求項13に記載された電子透かし埋め込み装置によれば、決定した多重度に応じて、目標の画質劣化の程度を満たす最適な電子透かし埋め込みを自動的に行うことができ、透かしによる視覚的な画質劣化を同程度に保ったまま、容易に検出の精度を向上させることができる。
【0038】
<映像信号の検出時のノイズ成分の分散とフレーム間相関を算出する>
さらに、請求項5に記載された電子透かし埋め込み方法及び請求項14に記載された電子透かし埋め込み装置によれば、目標とする埋め込み強度と検出精度に応じ、理論的な検出評価値に従う条件を用いることができ、理論的に最適な電子透かし埋め込みを行うことができる。
【0039】
<時間軸方向畳み込みフィルタを適用する>
さらに、請求項6に記載の電子透かし埋め込み方法及び請求項15に記載された電子透かし埋め込み装置によれば、映像信号のフレーム間の相関による影響を抑え、透かし検出時ノイズ成分の分散を小さくすることによって向上した電子透かし検出性能に従って電子透かし方式の制御ができ、その結果、精度よく最適な電子透かし方式の制御を行うことができる。
【0040】
<動きベクトルを算出する>
さらに、請求項7に記載された電子透かし埋め込み方法及び請求項16に記載された電子透かし埋め込み装置によれば、透かし埋め込みの対象となる信号においてすりガラス効果が引き起こされる程度に応じて、最適な電子透かし埋め込みを行うことができ、その結果、画質劣化を防ぐことができる。
【0041】
<動きベクトル評価に応じて埋め込み強度を切り替える電子透かし埋め込み方法>
さらに、請求項8に記載された電子透かし埋め込み方法及び請求項17に記載された電子透かし埋め込み装置によれば、映像信号の評価結果に応じて、目標の画質劣化の程度を満たす最適な電子透かし埋め込みを自動的に行うことができ、透かしによる視覚的な画質劣化を同程度に保ったまま、容易に検出の精度を向上させることができる。
【0042】
<領域単位で評価を行い制御する>
さらに、請求項9に記載された電子透かし埋め込み方法及び請求項18に記載された電子透かし埋め込み装置によれば、目標とする埋め込み強度と検出精度と品質水準に応じ、入力信号の区間内の部分領域ごとに最適な電子透かし埋め込みを行うことができ、その結果全体としての画質劣化を最小に抑えつつ、検出精度を高めることができる。
【発明を実施するための最良の形態】
【0043】
以下、図面と共に本発明の実施の形態を説明する。
【0044】
本発明の実施の形態の説明を行う前に、本発明の背景となる電子透かしモデルとその理論的特性について説明する。
【0045】
[1]パターン加算型電子透かしのモデル:
電子透かし埋め込みのモデルとして、動画像の各フレーム毎に次式で表される透かし埋め込みを行うモデルを考える。なお、以下の記載において“→”はベクトルを示す。また、例えば、
【0046】
【数1】

のような場合は、Xi→と記載する。
【0047】
W→=αX→+N→ 式(1)
ここで、
W→:透かし埋め込み済み信号;
α:透かし埋め込み強度;
X→:透かし信号;
N→:フレーム原画像信号;
とする。また、X→の各要素は平均0、分散1に正規化されているものとする。
【0048】
なお、
W→={w,w,…,w
X→={x,x,…,x
N→={n,n,…,n
とする。Lは各ベクトルの次元である。
【0049】
ここで、モデル上の各情報は電子透かし埋め込みの具体的な方式によってそれぞれ異なってくることはいうまでもない。例えば、透かし情報を単純に原画像と同サイズの濃淡画像パターンにスペクトル拡散して原画像の輝度に重畳する電子透かし埋め込み方式であれば、Lは原画像の画素数、X→は透かし情報がスペクトル拡散された濃淡画像パターン(埋め込みパターン)の画素値を並べたベクトル、N→は原画像の全ての画素の輝度値を並べたベクトルとなる。
【0050】
また、例えば、特開2003−219148の電子透かし埋め込み方式であれば、Lは透かし埋め込み系列の長さであり、X→は透かし埋め込み系列、N→は原画像の周波数空間における埋め込み対象成分の周波数変換係数の系列となる。
【0051】
また、例えば、画像のDCT係数に透かしを埋め込む電子透かし埋め込み方式であれば、Lは埋め込みを行うDCT係数の個数であり、X→は透かし埋め込み系列、N→は原画像の埋め込み位置のDCT係数の列となる。
【0052】
上記のモデルでは、結果的に原映像信号のフレーム画像に対し、透かし埋め込みパターンを所定の強度で重み付けして加算することで、電子透かしの埋め込みを行っていることから、ここでは、「パターン加算型電子透かしモデル」と呼ぶことにする。
【0053】
[2]検出性能評価指標のモデル:
上記の式(1)の電子透かし埋め込みモデルで埋め込まれた電子透かしの検出を、検出性能評価指標として次の透かし検出評価値を用いて行う電子透かし検出モデルを考える。
【0054】
透かし検出評価値ρを、
【0055】
【数2】

とする。ここでW´→は、
【0056】
【数3】

であり、m、σはそれぞれW→の各要素の平均及び標準偏差、I→は単位ベクトルである。W´はW→の各要素を平均0、分散1に正規化したものになっている。
【0057】
N→とX→が独立であるとき、N→の各要素の平均及び分散がそれぞれm,σであるとすると、上記ρの期待値を求めると、
【0058】
【数4】

となる。
【0059】
ρは、電子透かしが埋め込まれていないとき、即ち、α=0のとき、平均0、分散1の正規分布を持つことが計算で求められる。従って、透かしが埋め込まれていないのに、埋め込まれていると判定してしまう偽陽性判定率(false positive rate)を考え、電子透かしの検出における偽陽性判定率が、予め与えられた偽陽性判定率εとなるときのρの値を、ρの閾値として定めることで、ρの値を電子透かしの検出信頼度指標値とすることができる。これは、例えば、文献「中村高雄、片山淳、山室雅司、曽根原登『カメラ付携帯電話機を用いたアナログ画像から高速電子透かし検出方式』電子情報通信学会論文誌D-II Vol. J87-D-II, No.12, pp.2145-2155(2004年12月)」(以下、文献1と記す)に記載されている。
【0060】
また、変形や符号化などに対する電子透かし信号の劣化の仕方が同様な複数種類の電子透かし方式を比較する場合、電子透かし方式の検出性能の比較として、上記の期待値E[ρ]の大きさを比較指標として用いることができる。
【0061】
[3]パターン加算型電子透かしモデルの変形:
パターン加算型電子透かしモデルの変形として、次のような電子透かし埋め込みを考える。
【0062】
電子透かし情報がk個のシンボルS,S,…,Sに分割され、それぞれ透かし信号X→,X→,…,X→が生成されるとする。ここで、X→は平均0、分散1に正規化されているものとする。
【0063】
原画像の1枚のフレームに、n種の透かし信号を多重化して埋め込む。ここで、多重化はn種の透かし信号を後述する式で示すように加算することで行う。多重化する透かし信号の種類は、全ての透かし信号が等しい頻度で出現するようにk個の透かし信号の中からn種の透かし信号を選択するようにする。その結果、あるシンボルSについてみたとき、平均してk枚のフレーム中n枚のフレームに、対応する透かし信号X→が含まれていることになる。ここで、nを透かしの多重度と呼ぶことにする。
【0064】
但し、ここでは、透かし信号が等しい頻度で出現するようにk個の透かし信号の中からn種の透かし信号を選択するようにしたが、異なる頻度で出現するように選択した場合も、下記と同様の計算により透かし検出評価値の分析を行うことができる。よって、本発明において、この選択の仕方を上記の方法に限定するものではなく、異なる頻度で出現するようにしても構わない。
【0065】
このとき、埋め込みモデルを式で表すと下記のようになる。
【0066】
【数5】

ここで、
【0067】
【数6】

の各要素の平均と標準偏差であり、
【0068】
【数7】

は、フレームiに対して埋め込むシンボルを表す番号であり、1〜kの数の中からn個の数を取り出して小さい順に並べた列である。
【0069】
→の平均が0であることから、
【0070】
【数8】

i→の分散が1であり、各X→は独立であることから、
【0071】
【数9】

である。よって、
【0072】
【数10】

となる。
【0073】
このように埋め込まれた電子透かしに対し、次の2つの方法で透かし信号X→の検出を行う。
・方法1:
k枚のフレーム画像の中から、目的の透かし信号X→が含まれているn枚のフレーム画像を選択して重畳した画像に対して検出を行う。
・方法2:
k枚のフレーム画像全てを重畳した画像に対して検出を行う。
【0074】
ここで、「フレーム画像を重畳する」とは、例えば、各フレーム画像の共通の位置の画素値をそれぞれ合計し、一枚の画像を求めるといった処理を表す。また、例えば、各フレームの画像を予め高域通過フィルタなどの画像フィルタによってフィルタ処理した後に重畳するようにしてもよい。
【0075】
ここで、以下では計算を容易にするためkフレームの検出対象動画像から透かし信号を検出する場合を例に説明しているが、電子透かし検出の対象とする映像がkフレームと異なるフレーム数を持っていても同様の概念で検出を行うことができる。例えば、検出対象動画像が全部でk´フレームからなる場合に方法1を「k´枚のフレーム画像の中から、目的の透かし信号X_iが含まれているフレーム画像(平均nk´/k枚のフレームとなる)を選択して重畳した画像に対して検出を行う」、方法2を「k´枚のフレーム画像全てを重畳した画像に対して検出を行う」のようにしても、若干の式の変更のみで以下と同様の議論が成り立つ。
【0076】
電子透かしの検出時に何らかの手段によってフレームの同期が取られているとき、即ち、どのフレーム画像にどの透かし信号が埋め込まれているかが判明している場合には方法1の検出方法を取ることができる。一方、フレームの同期がとれていない場合には方法2の検出方法をとらなければならない。後者の例としては、透かし埋め込み後にカメラキャプチャ等によるフレーム位置ずれや、攻撃や通信エラーによるフレーム落ちが生じた場合が考えられる。
【0077】
この二つの方法を使い分けることで、カメラキャプチャやフレーム落ちといった攻撃を受けた場合にも電子透かしが検出できるロバストネスを確保しつつ、同期の取れているときには信頼度の高い電子透かし検出ができ、効率的な電子透かし検出が可能となる。例えば、万一攻撃を受けて不正利用された場合に、検出を可能にしつつ、攻撃のないときに関連情報を取得したり、視聴管理を行ったりする際には、高精度で効率的な電子透かし検出ができる。その結果、本発明の電子透かしにより、複数の用途を同時に満たすことができ、電子透かしの適用範囲を拡大することもできる。
【0078】
なお、上記の同期がとれない例は、本発明の適用領域を限定するものではなく、フレームの同期がとれないどのような状況に対して本発明を適用しても構わないことは言うまでもない。また、上記の電子透かしの適用例も本発明の適用領域を限定するものではなく、どのようなサービスに適用しても構わないことは言うまでもない。
【0079】
なお、方法1、方法2では、フレーム画像を重畳した画像に対して検出を行う方法を示しているが、1フレーム画像毎に検出を行うようにする方法もある。即ち、
・方法1´:
k枚のフレーム画像の中から、目的の透かし信号X→が含まれているn枚のフレーム画像を選択し、各フレーム画像に対して検出を行い、n回の検出試行の結果を総合して判定を行う。
・方法2´:
k枚のフレーム画像全てに対し、各々検出を行い、k回の検出試行の結果を総合して判定を行う。
【0080】
複数回の検出試行の結果を総合するのは、例えば、複数回の検出試行で得られた検出評価値の平均値で評価するなどの方法がある。これらの場合にも、各フレームの透かし検出における透かし検出評価値の値に対し、検出評価値ρの期待値を下記と同様の議論により求めることができる。但し、検出試行の回数が増えている分、偽陽性判定率が増加していることを考慮して検出結果の信頼度を評価する必要がある。
【0081】
・方法1による検出:
以下で方法1による検出を行った場合の検出評価値について考察する。
【0082】
ここで、透かし信号X→がフレーム1〜フレームnに含まれている場合として、
【0083】
【数11】

である場合を考え、その場合のX→に対する検出評価値ρを求める。
【0084】
【数12】

フレーム画像を重畳することは各辺を足し合わせることと等しく、
【0085】
【数13】

よって、これから透かし信号X→を検出する場合、式(3)において、
【0086】
【数14】

と変換することと同義である。N→の各要素の平均、分散がそれぞれ、
【0087】
【数15】

であるとするとき、上式よりN→の平均m及び分散σを考えると、
【0088】
【数16】

全てのiについてX→が互いに独立で、全てのi,jについて、X→、N→が独立であるとすると
【0089】
【数17】

ただし、
【0090】
【数18】

は、N→、N→の各要素についてみたときの共分散であり、
【0091】
【数19】

従って、X→の検出評価値ρの期待値は、
【0092】
【数20】

→をX→,X→,…,Xk→と変えても同様の議論が成り立ち、これらは等価であるから、方法1におけるシンボルごとの検出評価値ρの期待値は、式(5)で与えられることがわかる。
【0093】
例えば、n=kのとき、
【0094】
【数21】

{yi2,yi3,…,yik}は、2〜kの数からk−1個選んで並べた列であるから、2〜kの数が全て現れることになり、
【0095】
【数22】

であり、各X→が独立で、
【0096】
【数23】

であることから、
【0097】
【数24】

また、例えば、n=1のとき、式(5)の
【0098】
【数25】

の項は0になり、
【0099】
【数26】

となり、これは式(3)と同一である。
【0100】
・方法2による検出:
以下で方法2による検出を行った場合の検出評価値について考察する。
【0101】
【数27】

フレーム画像を重畳することは各辺を足し合わせることと等しく、
【0102】
【数28】

【0103】
【数29】

の中にX→はそれぞれ平均してn回現れることからW→の平均値は、
【0104】
【数30】

よって、これから透かし信号X→を検出する場合、式(3)において、
【0105】
【数31】

と変換することと同義である。上式よりN→の平均m及び分散σを考えると、
【0106】
【数32】

全てのiについてX→が互いに独立で、全てのi,jについて、X→とN→が独立であるとすると、
【0107】
【数33】

従って、X→の検出評価値ρの期待値は、
【0108】
【数34】

→をX→,X→,…,X→と変えても同様の議論が成り立ち、これらは等価であるから、方法2におけるシンボル毎の検出評価値ρの期待値は、式(8)で与えられることがわかる。
【0109】
例えば、n=1のとき、
【0110】
【数35】

また、n=kのとき、
【0111】
【数36】

であり、これは式(6)と同じである。
【0112】
[4]埋め込み強度と検出評価値の関係:
式(6)(7)(9)の検出評価値について、所定のσ,kに対してαを変化させたときのグラフの概形を図示すると、図3のようになる。
【0113】
また、式(8)において、分母の平方根内の2,3項目はnが大きくなれば単調減少するため、式(8)のE[ρ]は、nが大きくなれば、単調増加する。
【0114】
一方、式(5)において、分母の平方根内の2項目のαに対する係数部分は、X→,…,X→のk−1個からn−1個を選ぶ試行をn回繰り返したときに、各X→のそれぞれが選ばれた合計個数をpとして、
【0115】
【数37】

となる。yijを前述の条件を満たすようにランダムに選んだとき、nに対する式(11)の値を各nに対して1000通りをシミュレーションによって計算した結果をプロットすると、図4のようになる。但し、図4はk=16とした場合で、実線は各nでの1000通りの計算値の平均値を直線で結んだものである。図4より、式(11)は、平均的にはnが大きくなるにつれて単調増加していることがわかる。
【0116】
さらに、式(5)において、分母の平方根内の3項目は、フレーム毎の検出時ノイズ成分の分散の平均値を表しており、平均的にはnの変化に対して影響しない項である。
【0117】
さらに、式(5)において、分母の平方根内の4項目は、nフレームに対するフレーム間の検出時ノイズ成分の共分散の総和をnで割ったものであり、平均的にはnの増加に対して単調増加する項である。
【0118】
以上より、式(5)のE[ρ]は、nが大きくなれば平均的には単調減少するといえる。
【0119】
これは、n<kのとき、方法1は方法2よりも高い検出評価値を得ることができ、nがkに近づくにつれ、方法1での検出評価値が徐々に下がる一方で方法2での検出評価値が上がり、n=kのときに2つの方法が同一になることを示している。
【0120】
即ち、同じkフレームを利用して検出をするという状況を考えたとき、nの大小は次のような電子透かしの検出特性を制御するパラメータとなることを意味している。
・nが小さい場合は、方法1のようにフレームの同期が取れていれば高い検出評価値を得ることができる一方、フレームの同期がとれていなければ低い検出評価値となる。
・nが大きい場合は、方法1のようにフレームの同期がとれていてもnが小さいときほどの検出評価値を得ることはできない一方、フレームの同期が取れていない場合は検出評価値が底上げされる。
【0121】
図5に、上記の電子透かし埋め込みモデルに従って実装した電子透かし埋め込みプログラムを用い、所定の平均、分散値を持つようにランダムに合成された画像に対して電子透かしを埋め込み、埋め込み強度αに対する検出評価値ρを測定したグラフを示す。
【0122】
ここで、各パラメータL=4096,k=8,σ=40,
【0123】
【数38】

となるようにして実験を行った。
【0124】
図5において、実線はそれぞれ上から順に式(7)、(10)、(9)に従う理論値であり、プロットされている点が実測値である。図5から、理論値に沿った実測値が得られていることがわかる。
【0125】
なお、特に式(7)に対応したプロットにおいて、測定値が階段状をなしているのは、電子透かし埋め込み画像として、8bppの量子化を行っているために、画素値の1段階未満の変位となる埋め込み強度変化においては結果として測定値が大きく変化しないことに起因している。これは、1フレームのみから検出を行う式(7)に対応したプロットにおいて顕著である。
【0126】
[5]透かし多重度と画質劣化の関係:
多重度nが大きいとき、所定の数のフレームの中で個々のシンボルの含まれるフレームの割合が大きくなる。その結果、電子透かしのパターンがすりガラスとして見えやすくなり全体として画質劣化が大きくなるといえる。一方、すりガラス効果の程度は、原画像信号の特徴にも依存している。さらに、画質劣化は電子透かしの埋め込み強度によっても変化する。
【0127】
これらより、画質劣化の程度を表す指標値βを仮定すると、βは、埋め込み強度α、多重度n、信号原画像信号N→,N→,…の関数となっていると考えることができる。
【0128】
【数39】

さらに、埋め込み強度の大小と画質劣化の大小には強い相関があると考えられ、Fを、
【0129】
【数40】

で近似できると仮定する。gは、実在のコンテンツについての電子透かし埋め込みと画質の主観評価を行うことで実験的に求めることができる。
【0130】
例えば、仮に
【0131】
【数41】

であることが実験的に求められた場合を考える。但し、aは定数である。
【0132】
上式を用いて埋め込み強度αと画質劣化βの変換を行えば、図3のグラフは図6に示す画質劣化に対する検出評価値のグラフのように書き表すことができる。
【0133】
このとき、検出評価値ρの期待値は次式で表される。
【0134】
【数42】

[6]検出性能目標に応じた埋め込み方式の制御:
今、電子透かしの検出性能目標として、目標とする検出評価値ρ及び画質劣化の程度βが与えられたときに次の条件を満たす電子透かし埋め込み方式を考える。
【0135】
・条件1:同期のとれない状況においても検出評価値ρを越える検出性能を持つ方式の中で、同期のとれた場合の検出評価値が最大となるもの。
【0136】
・条件2:同期がとれた状況において検出評価値ρを越える検出性能を持つ方式の中で、同期のとれない場合の検出評価値が最大となるもの。
【0137】
まず、条件1について考える。
【0138】
図6のグラフ上で、ρ及びβを書くと図7のようになる。但し、図7では、図6より狭い範囲を表示していることに注意されたい。
【0139】
条件1を満たすためには、図7において、ρ>ρ、β<βの領域(図7で網掛けされた、条件に該当する領域601)内を通過する方法2の曲線に相当するnの中で、同じnの方法1での検出性能が最大となるものを選べばよい。
【0140】
式(15)において、前述の式(5)の単調減少性の議論と同様の議論が成り立ち、さらに、式(15)で追加された分母の
【0141】
【数43】

の項についても単調増加であるから、結果としてnが小さいほどρの値が大きくなる。
【0142】
また、式(16)において、
【0143】
【数44】

がnが大きくなれば単調減少することから、結果としてnが小さいほどρの値が小さくなる。
【0144】
従って、条件1を満たすnの値は、(β、ρ)を通る方法2の曲線に対応するnの値となることがわかる。
【0145】
条件2についても同様に考える。
【0146】
図8において、ρ>ρ,β<βの領域(図8で網の掛けられた、条件に該当する領域701)内を通過する方法1の曲線に相当するnの中で、同じnの方法2での検出性能が最大となるものを選べばよい。
【0147】
式(15)において、nが大きいほどρの値が小さくなり、式(16)において、nが大きいほどρの値が大きくなることから、条件2を満たすnの値は(β,ρ)を通る方法1の曲線に対応するnの値となることがわかる。
【0148】
このように、電子透かしによる画質劣化βと検出評価値ρとの関係を明らかにすることで、所与の検出性能目標要件を満たす電子透かし埋め込み方式のパラメータを決定することができる。
【0149】
[7]単純な透かし方式の例:
パターン加算型電子透かしモデルに従う電子透かしとして、例えば次のようなものが挙げられる。なお、本発明は、ここであげる電子透かし方式に限定するものではなく、この他の電子透かし方式であっても構わないことはいうまでもない。
【0150】
・電子透かし埋め込み
(1)電子透かし情報としてkビットの情報を用意する。
【0151】
(2)kビットの電子透かし情報を1ビットずつに分け、ビットjに長さLの2種類の透かし信号系列Z→,Z´→を割り当てる。
【0152】
(3)各ビット値に従い、埋め込みを行う透かし信号X→をZ→,Z´→のいずれかから選択する。
【0153】
【数45】

(4)埋め込みの対象となる映像信号の各フレームi毎に以下を繰り返す。
【0154】
(4−1)多重度nに従い、k種のビットの中からランダムにn個を選択し、式(4)に従って透かし埋め込み系列ξ→を算出する。ランダムに選択する代わりに予め何フレーム目毎にどのビットが埋め込まれるかを決めておいてもよい。
【0155】
(4−2)対象のフレームの画素値をラスタスキャン順にL画素ずつ取り出し、全ての画素に対して処理を済ませるまで以下を繰り返す。
【0156】
(4−2−1)L個の画素値の列を原画像信号系列N→とし、次式で得られる埋め込み済み系列W→で対象フレームの対応する画素の画素値を変更する。
【0157】
【数46】

・電子透かし検出:方法1
以下の手順により、電子透かしの埋め込まれた映像から、j番目のビット値を取り出す。但し、事前にフレームの同期が取れているものとする。
【0158】
(1)埋め込みの対象となる映像信号からXの埋め込まれているフレームをnフレーム取り出し、フレームを通して同座標の画素値を加算し、検出対象画像IMを得る。
【0159】
(2)IMの画素値をラスタスキャン順にL画素ずつに分け、画素列im1→、im2→,…,im→の算術平均を求めたものをW→とする。
【0160】
【数47】

ここで、mはIMの全画素数をLで割った値となる。
【0161】
(3)W→に対してZ→,Z´→について式(3)により検出評価値ρを求める。但し、式(3)のX→はZ→,Z´→と置き換えて2回計算を行い、値の大きい方のビット値が検出されたものと見做す。また、検出評価値ρが所与の偽陽性判定率によって求まる閾値を越えていない場合は電子透かしが埋め込まれていないものとみなす。
【0162】
・電子透かし検出:方法2
以下の手順により、電子透かしの埋め込まれた映像からj番目のビット値を取り出す。
【0163】
(1)埋め込みの対象となる映像信号からkフレーム取り出し、フレームを通して同座標の画素値を加算し、検出対象画像IMを得る。
【0164】
(2)IMの画素値をラスタスキャン順にL画素ずつに分け、画素列im1→、im2→,…,im→の算術平均を求めたものをW→とする。
【0165】
【数48】

ここで、mはIMの全画素数をLで割った値となる。
【0166】
(3)W→に対してZ→,Z´→について式(3)により検出評価値ρを求める。但し、式(3)のX→はZ→,Z´→と置き換えて2回計算を行い、値の大きい方のビット値が検出されたものとみなす。また、検出評価値ρが所与の偽陽性判定率によって求まる閾値を越えていない場合は電子透かしが埋め込まれていないものと見做す。
【0167】
[本発明の前提とする電子透かし装置]
まず、本発明の前提となる基本的な電子透かし埋め込み装置の構成について説明する。
【0168】
図9は、本発明の前提となる基本的な電子透かし埋め込み装置の構成例を示す。以下では、動画像への電子透かし埋め込みを例に説明する。
【0169】
電子透かし埋め込み装置800は、埋め込み情報分割部801と、埋め込みパターン生成部802と、埋め込みパターン重畳部803と、から構成される。
【0170】
電子透かし埋め込み装置800には、電子透かしを埋め込む前の映像信号である埋め込み前信号805と、埋め込みたい情報である埋め込み情報804とが入力され、埋め込み前信号805に対して埋め込み情報804を埋め込んだ結果得られる埋め込み済み信号806を出力する。
【0171】
電子透かし埋め込み装置800による電子透かしの埋め込み処理は以下のような手順で実施される。
【0172】
(1)まず、埋め込み情報分割部801に埋め込み情報804が入力され、埋め込み情報804を複数のシンボルS,S,…,Sに分割する。
【0173】
ここで、シンボルとは、それぞれ埋め込み情報のうちの一部分の情報を表し、実際の電子透かし埋め込みの処理単位となる情報であり、例えば、埋め込み情報804が64bit長の二進数値で与えられたとき、図10に示すように12bitずつの情報に区切って12bitの情報の各々がシンボルとするようにされていてもよい。あるいは1シンボルで1bitの情報を表すようにされていてもよい。図10の例のように埋め込み情報804の長さ(ここでは64bit)が各シンボルの長さ(12bit)で割り切れない場合は、一部のシンボル(ここでは最後のシンボル)の一部のbitを固定の値(ここでは値0)でpaddingするようにしてもよい。
【0174】
(2)次に、埋め込みパターン生成部802において、埋め込み情報分割部801で得られたシンボルに基づき、透かし情報を表す画像パターンである埋め込みパターンを生成する。
【0175】
埋め込みパターンの生成方法の詳細については後述する。
【0176】
(3)埋め込みパターン重畳部803では、入力された埋め込み前信号805の各フレーム画像に対し、埋め込みパターン生成部802で生成された埋め込みパターンを加算することで重畳し、電子透かしの埋め込まれたフレーム画像を生成し、順次出力することで、埋め込み済み信号806を得る。
【0177】
埋め込みパターンの重畳の際、フレーム画像の大きさ(画角)が埋め込みパターンの大きさ(画角)よりも大きい場合は、図11に示すように埋め込みパターンを繰り返し縦横にタイル状に敷き詰めるように加算してもよい。図11では埋め込みパターンが正方形状をなしている例を示しているが、別な形状であっても構わないことはいうまでもない。例えば、埋め込みパターンが平行四辺形であっても構わない。
【0178】
[埋め込みパターン生成方法]
埋め込みパターン生成部802における埋め込みパターン生成は、例えば、次のような手順によって行われる。
【0179】
(1)埋め込み情報分割部801で得られた各シンボルに対してスペクトル拡散処理を行い、各シンボルに対応した拡散パターンP,…,Pを生成する。
【0180】
スペクトル拡散の方法としては、例えば次のような方法がある。
【0181】
例えば、1シンボルが1bitの情報を表現している場合には、各シンボルS,…,Sに対して、それぞれ{1,−1}の値をとる計k通りのPN系列PN=(pn11,pn12,…,),…,PN=(pnk1,pnk2)を生成し、シンボルiに対して、シンボルの値がビット1を表す場合はPNを、シンボルの値がビット0を表す場合は、−PNを拡散パターンPとして用いるようにしてもよい。
【0182】
また、例えば、1シンボルが12bitの情報を表現している場合には、各シンボルに対してそれぞれ4096通りのPN系列PN(1,1),…,PN(1,4096),PN(2,4096),…,PN(k,4096)を用意し、シンボルiに対して、シンボルiの値が12bitで整数値xを表す場合に、PN(i,x)を拡散パターンPとして用いるようにしてもよい。また、PN系列としては例えば、M系列を用いてもよい。このような拡散パターンの生成方法については特許文献1にも述べられている。
【0183】
また、ここでは、拡散パターンとして1次元の数列を生成するようにしたが、同様の方法で得られた数例をもとに2次元の画像パターンとして拡散パターンを生成するようにしてもよい。例えば、1次元の数列を元に複素行列の成分値を増減させて得た透かし係数行列に離散逆フーリエ変換などの直交変換を施し、得られた画像パターンを拡散パターンとして用いても良い。
【0184】
(2)さらに、上記で得られた各拡散パターンを合成し、合成拡散パターンRを生成する。
【0185】
合成拡散パターンの生成は、例えば、k個の拡散パターンのうちの1つ以上のパターンを選択し、選択したパターンを全て足し合わせることで生成する。例えば、
R=P+P+P
のように計算し、このときRはシンボル1,3,4をそれぞれ「含む」と呼ぶことにする。また、選択した拡散パターンの個数nの値が、前述のパターン加算型電子透かしモデルの変形で述べた多重度に相当する。
【0186】
(3)次に、上記の合成拡散パターンを元に、実際に映像信号に対して重畳する画像パターンを生成する。
【0187】
これは例えば、特許文献1に述べられている、次のような方法で行うことができる。即ち、1次元の数列として得られた合成拡散パターンを元に、複素行列の成分値を増減させて得た透かし係数行列に離散逆フーリエ変換などの直交変換を施し、結果得られた画像パターンを埋め込みパターンとして用いればよい。
【0188】
また、拡散パターン生成手段(図示せず)において2次元の画像パターンとして拡散パターンP,…,Pが得られている場合は、その和で表される合成拡散パターンをそのまま埋め込みパターンとしてもよい。
【0189】
以下、本発明の実施の形態を説明する。
【0190】
[第1の実施の形態]
本実施の形態では、多重度と強度を制御する電子透かし埋め込み装置について説明する。
【0191】
図12は、本発明の第1の実施の形態における電子透かし埋め込み装置の構成例を示す。
【0192】
電子透かし埋め込み装置100は、埋め込み情報分割部101、埋め込みパターン生成部102、埋め込みパターン重畳部103、埋め込み前信号評価部111、多重度決定部112、及び埋め込み強度決定部113から構成される。
【0193】
埋め込み情報分割部101及び埋め込みパターン重畳部103については、図9の電子透かし埋め込み装置と同様である。
【0194】
また、入力である埋め込み情報104、埋め込み前信号105、出力である埋め込み済み信号106については、図9の電子透かし埋め込み装置と同様である。
【0195】
さらに、電子透かし埋め込み装置100には、目標とする検出性能を表す検出性能目標114、目標とする電子透かしの画質劣化の程度を表す画質劣化目標115とが入力されるようになされていてもよい。あるいは、検出性能目標114及び画質劣化目標115のいずれか一方もしくは、両方が電子透かし埋め込み装置内の記憶手段に予め設定され、明示的に入力される代わりに当該記憶手段に記憶されている値を使用するようにされていてもよい。
【0196】
画質劣化目標115は、例えば、基準となる電子透かし方式における強度値であって、当該基準となる電子透かし方式で、指定された画質劣化目標値を透かし強度として電子透かしを埋め込んだ際の画質劣化の程度を目標とするようにされていてもよい。なお、この例は、本発明の範囲を限定するものではなく、映像の品質を指定する値であればどのようなパラメータ形式であっても構わない。
【0197】
電子透かし埋め込み装置100による電子埋め込み処理は以下のような手順で実施される。
【0198】
図13は、本発明の第1の実施の形態における動作のフローチャートである。
【0199】
ステップ101) 埋め込み情報分割部101により、埋め込み情報は、図9に示す埋め込み装置と同様の手順で分割される。
【0200】
ステップ102) 埋め込み前信号評価部111において、埋め込み前信号105の特性に対する評価を行い、評価結果をメモリ等の記憶手段(図示せず)に格納する。なお、評価の方法については後述する。
【0201】
ステップ103) 多重度決定部112において、埋め込み前信号評価部111で得られ、メモリ(図示せず)に記憶されている評価結果を取得し、当該評価結果に基づき、埋め込みパターンとしてどれだけの多重度で合成拡散パターンの生成を行うかを表す多重度を決定し、メモリ等の記憶手段(図示せず)に格納する。詳細については後述する。
【0202】
ステップ104) 埋め込み強度決定部113において、多重度決定部112で得られ、メモリ(図示せず)に格納されている多重度を取得し、当該多重度に基づき、埋め込みパターンをどれだけの強度で埋め込み前信号105に重畳するかを表す埋め込み強度を決定し、メモリ等の記憶手段(図示せず)に格納する。決定の方法については後述する。
【0203】
ステップ105) 埋め込みパターン生成部102において、多重度決定部112で決定され、メモリ(図示せず)に格納されている多重度を取得し、当該多重度に従って、拡散パターンの合成を行い、合成拡散パターンを生成し、埋め込みパターンを生成する。多重度に応じた埋め込みパターンの生成方法については後述する。
【0204】
ステップ106) 埋め込みパターン重畳部103において、図9の電子透かし埋め込み装置と同様に、入力された埋め込み前信号105の各フレーム画像に対し、埋め込みパターン生成部102で生成された埋め込みパターンを加算することで重畳し、電子透かしの埋め込まれたフレーム画像を生成し、順次出力することで、埋め込み済み信号106を得る。このとき、埋め込みパターンに対し、埋め込み強度決定部113で決定された埋め込み強度に従い、重み付けをしてから埋め込み前信号105の各フレーム画像に重畳する。
【0205】
次に、上記のステップ102における埋め込み前信号評価部111における評価方法について詳細に説明する。
【0206】
埋め込み前信号評価部111では、埋め込み前信号105を入力し、埋め込み前信号105の透かし検出時ノイズ成分の分散を求める。
【0207】
ここで、透かし検出時ノイズ成分とは、埋め込み前信号105の中で、電子透かしの埋め込みにおいてノイズとして寄与する成分を表し、これは前述のパターン加算型電子透かしのモデルにおけるN→に相当する。
【0208】
また、透かし検出時ノイズ成分の分散値は、前述のパターン加算型電子透かしのモデルにおけるσに相当する。
【0209】
例えば、電子透かしの埋め込み及び検出が、前述の[7]単純な透かし方式の例で例示した電子透かし方式に従って行われるときには、上記透かし検出時ノイズ成分の分散値は埋め込み前信号105の各フレームに対し、フレーム上の各画素の輝度値をラスタスキャン順に系列長Lおきに取り出し、平均化した値を並べた長さLの系列である。この場合、埋め込み前信号評価部111では、上記の長さLの系列に含まれる値の分散値を求める。
【0210】
また、例えば、電子透かしの埋め込み及び検出が、特許文献1に示された電子透かし埋め込み方法及び検出方法に基づいている場合、透かし検出時ノイズ成分とは、埋め込み前信号105の周波数成分のうち、透かし鍵と所定の周波数範囲によって決まる埋め込み対象成分位置の周波数変換係数から得られる検出対象系列であり、特許文献1の電子透かし検出方法を埋め込み前信号105に適用し、検出対象系列を生成することで得られる。この場合、埋め込み前信号評価部111では上記検出対象系列に含まれる値の分散値を求める。
【0211】
また、例えば、電子透かしの検出が、フレーム内から選択されたブロックをDCT変換した結果のDCT係数行列の中の特定の位置のDCT係数から検出を行うようになされている場合には、埋め込み前信号105のブロックをDCT変換した結果のDCT係数行列の中の特定の位置のDCT係数値を取り出し、その分散値を求める。
【0212】
また、例えば、電子透かしの検出が、文献「山本基夫、汐崎陽、岩田基『フレーム間の類似性を利用した動画像用相関型電子透かし』SCIS2004,(2004年1月)」(以下文献2と記す)に示されているような埋め込み済み信号のフレーム間差分を利用するようになされている場合には、埋め込み前信号105のフレーム間差分に対しての評価を行って透かし検出時ノイズ成分の分散値を求める。フレーム間差分を用いるのは、一般に動画像においてはフレーム間の画像の相関が大きく、例えば、式(16)における、
【0213】
【数49】

の項が大きくなるために検出評価値ρが小さくなるが、フレーム間差分をとることで、
【0214】
【数50】

の項の値が小さくなると共に、差分画像の分散も小さくなり、
【0215】
【数51】

の項も小さくなることで、検出評価値ρを大きくでき、その結果電子透かしの検出の信頼度を高くすることができるからである。
【0216】
ここではフレーム間差分を用いる例をあげたが、この他にも、例えばフレーム間差分の差分即ち、微分を用いてもよいし、より一般的には時間軸方向の畳み込み演算を施した信号に対しての分析を行うようにしてもよい。
【0217】
これら検出時ノイズ成分の算出は、個々の電子透かし埋め込み方法及び検出方法によって決まるものであり、上記の例に限定するものではない。
【0218】
さらに、埋め込み前信号評価部111は、透かし検出時ノイズ成分の、埋め込み前信号105の各フレーム間の共分散を求めるようにされていてもよい。これは前述のパターン加算型電子透かしのモデルにおける
【0219】
【数52】

に相当する。
【0220】
また、埋め込み前信号105の評価は、埋め込み前信号105のフレーム全体に対して行わずに、フレームを分割したブロック単位や、映像に映っているオブジェクトを単位とするなど、フレーム内の部分領域を単位に評価を行っても構わない。評価の単位については、本実施の形態に限らず、その他の実施の形態での埋め込み前信号の評価においても同様である。
【0221】
次に、上記のステップ103における多重度決定部112における多重度決定方法の例を説明する。
【0222】
多重度決定部112では、埋め込み前信号評価部111において得られた埋め込み前信号105の透かし検出時ノイズ成分と分散及び共分散値、検出性能目標114、画質劣化目標115とを用いて電子透かし埋め込みに使用するパラメータとしての多重度nを決定する。
【0223】
多重度の決定は、埋め込み前信号105の透かし検出時ノイズ成分と分散及び共分散値によって決まる検出評価値ρの理論的平均値を利用して行われる。
【0224】
例えば、前述の[6]検出性能目標に応じた埋め込み方式の制御で述べた条件1、乃至、条件2を満たすようにnの値が決定される。
【0225】
すなわち、条件1の場合、図7において、入力された検出性能目標114をρ、画質劣化目標115をβとしたときに、(β,ρ)を通る方法2の曲線に対応するnを求める。
【0226】
つまり、同期のとれない状況の透かし検出において、与えられた画質劣化目標βでの検出評価値が、与えられた検出性能目標ρと等しくなるように多重度nを決定する。
【0227】
また、条件2の場合、図8において、入力された検出性能目標114をρ、画質劣化目標115をβとしたときに、(β、ρ)を通る方法1の曲線に対応するnを求める。
【0228】
つまり、同期のとれる状況の透かし検出において、与えられた画質劣化目標βでの検出評価値が、与えられた検出性能目標ρと等しくなるように多重度nを決定する。
【0229】
ここで、上記の条件に従って得られるnの値が整数とならない場合、得られた値に最も近い整数値、得られた値を超えない最大の整数値、得られた値を超える最小の整数値のいずれかを多重度nとしてもよいし、実数値のnをそのまま用いてもよい。
【0230】
図7及び図8の各グラフを表す曲線は、式(15)及び式(16)で表されているものである。
【0231】
また、埋め込み前信号評価部111において、フレーム内の部分領域を単位に評価を行っている場合、各評価結果に基づいて、フレーム内の部分領域毎に多重度nを決定するようにされていてもよい。
【0232】
また、実際の検出の際に、方法2のように完全な同期をとることができず、方法1と方法2の中間的な同期精度を持つような場合には、予め設計条件として電子透かしの検出時に期待できる同期精度を与え、与えられた同期精度に応じて取り得る検出性能値が最大となるような多重度を選択するようにしてもよい。
【0233】
次に、ステップ104における埋め込み強度決定部113による埋め込み強度決定の例について詳細に説明する。
【0234】
埋め込み強度決定部113では、多重度決定部112で得られた多重度及び、画質劣化目標115とを用いて電子透かし埋め込みに使用するパラメータとしての埋め込み強度αを決定する。
【0235】
埋め込み強度の決定は、電子透かしの多重度nと、電子透かしの埋め込み強度α、電子透かしの画質劣化βとの関係を利用して行われる。
【0236】
例えば、前述の[5]透かし多重度と画質劣化の関係に述べられている、式(14)の関係を仮定し、多重度n及び画質劣化目標115から対応する透かし強度αを次のように計算してもよい。
【0237】
【数53】

また、例えば、前述の[5]透かし多重度と画質劣化の関係に述べられている、式(13)、あるいは式(12)の関係を用い、さらに、埋め込み情報評価部111において得られた評価結果を用いて埋め込み強度αを次のように計算してもよい。
【0238】
【数54】

また、多重度決定部112において、フレーム内の部分領域を単位に多重度を決定している場合、部分領域毎に埋め込み強度αを決定するようにされていてもよい。
【0239】
次に、上記のステップ105の埋め込みパターン生成部102における、多重度に応じた埋め込みパターンの生成方法について詳細に説明する。
【0240】
埋め込みパターン生成部102では、多重度決定部112で決定した多重度nに従って、拡散パターンの合成を行い、さらに、埋め込みパターンを生成する。
【0241】
埋め込みパターン生成部102での埋め込みパターンの生成の手順は、前述の本発明の前提とする電子透かし装置800における埋め込みパターン生成部802での埋め込みパターン生成の手順と同様であるが、下記の点が異なっている。
【0242】
・埋め込みパターン生成の際に、k個の拡散パターンの中から選択する拡散パターンの個数を、多重度決定部112で決定した多重度nとする。
【0243】
・埋め込みパターンは、埋め込みパターン重畳部103において重畳される埋め込み前信号105の各フレーム毎に個別に生成される。すなわち、n個の拡散パターンの選択を各フレーム毎に行い、埋め込まれるシンボルがフレーム毎に同一とはならないようにする。
【0244】
また、多重度決定手段112において多重度nが実数値として得られている場合には、フレームに埋め込まれるシンボルの数の期待値が値nと等しくなるような確率分布に従って、埋め込むシンボルを選択するようにしてもよい。以降の実施の形態において、実数値の多重度を取る場合も同様である。
【0245】
また、多重度決定部112において、フレーム内の部分領域を単位に多重度を決定している場合、部分領域毎に埋め込みパターンを生成するようにされていてもよい。
【0246】
本実施の形態の特徴は、前述の[6]検出性能目標に応じた埋め込み方式に述べたように、検出性能目標に応じた埋め込み方式の制御を行う点にある。複数の、あるいは、パラメータの変更の可能な電子透かし方式に対して、与えられた埋め込み前信号105に応じてどの方式がどれだけ優れているかを図6のグラフのように定量的に評価することで、期待する品質、性能を求める中で最適となる電子透かし埋め込み方式を制御することができている。
【0247】
[第2の実施の形態]
本実施の形態では、動きベクトル評価によるすりガラス抑制埋め込み制御について説明する。
【0248】
図14は、本発明の第2の実施の形態における電子透かし埋め込み装置の構成例を示す。
【0249】
電子透かし埋め込み装置1100の構成は、前述の本発明の前提とする電子透かし埋め込み装置の構成例(図9)に埋め込み前信号評価部1111を加えた構成をもつ。
【0250】
電子透かし埋め込み装置1100による電子透かしの埋め込み処理は以下のような手順で実施される。
【0251】
図15は、本発明の第2の実施の形態の動作のフローチャートである。
【0252】
ステップ201) 埋め込み情報分割部1101による埋め込み情報分割は図9の電子透かし埋め込み装置における埋め込み情報分割部801と同様である。
【0253】
ステップ202) 埋め込み前信号評価部1111において、埋め込み前信号の特性に対する評価を行う。評価の方法については後述する。
【0254】
ステップ203) 埋め込みパターン生成部1102において、埋め込み前信号評価部1111による評価結果に基づいて、埋め込みパターンの生成方法を制御して埋め込みパターンを生成する。埋め込みパターンの生成方法については後述する。
【0255】
ステップ204) 埋め込みパターン重畳部1103による埋め込み済み信号の生成は図9の電子透かし埋め込み装置における埋め込みパターン重畳部803と同様である。
【0256】
上記のステップ202における、埋め込み前信号評価部1111による埋め込み前信号評価方法について詳細に説明する。
【0257】
埋め込み前信号評価部1111では、埋め込み前信号1105を入力し、埋め込み前信号1105の動きベクトルを算出する。
【0258】
動きベクトル算出は、MPEG2、MPEG4,H.264/AVCなどの映像符号化技術で用いられているような既存の技術を用いることで容易に求めることができる。例えば、文献「大久保榮監修『H.264/AVC教科書』株式会社インプレス(2004年8月)」(以下文献3と記す)には、H.264/AVC符号化技術で用いられている動きベクトル算出について記載されている。但し、ここでは映像中の部位がどの方向にどの程度の速度で動きを持っているかを求める必要がある。
【0259】
ここで、「動きベクトル」という語を用いたが、映像に映されている事物の動きを表す情報、すなわち、映像に映されている被写体や映像上に表現された物体などの事物が、時間軸の推移に伴い空間上の位置がどのように変化しているかを表す情報であれば、どのような情報であっても構わない。方向と大きさを含む情報であってもよいし、大きさだけを表す情報であっても構わない。これは以降の実施の形態でも同様である。
【0260】
但し、方向を含めた情報を用いれば、後述する動きベクトルのばらけ具合をより的確に表す分散値を得られる。
【0261】
さらに、フレームの部位ごと、例えば、ブロック毎に求められた動きベクトルを集め、動きベクトルの大きさの平均及び、動きベクトルの分散値を求める。
【0262】
例えば、今対象とする埋め込み前信号のフレームの各ブロックの動きベクトルがv→,v→,…,v→で得られたとき、動きベクトルの大きさの平均m、動きベクトルの分散値σを次のように定義してもよい。
【0263】
【数55】

とする。
【0264】
これらの式の形状は本発明の範囲を限定するものではなく、動きベクトルの絶対値としての大きさの程度と動きベクトルがどのくらいばらけているかの程度を評価できる値であれば他の計算式により求められるものであっても構わない。例えば、上記mの代わりに、動きベクトルの大きさの中央値を用いてもよいし、上記σの代わりに、各動きベクトルがX軸となす角θの分散値を用いてもよい。
【0265】
また、ここでは、フレーム全体に対して動きベクトルの大きさの平均及び動きベクトルの分散値を求めた。すなわち埋め込み前信号評価の単位がフレーム単位であったが、これ以外の単位で評価を行うようにしてもよい。例えば、フレーム内のブロック単位や、映像中に存在するオブジェクトの単位などのフレームの部分毎に、動きベクトルの大きさの平均、動きベクトルの分散値を求めてもよいし、あるいは、複数のフレームをまとめた全体に対して動きベクトルの大きさの平均、動きベクトルの分散値を求めてもよい。
【0266】
次に、上記のステップ203の埋め込みパターン生成部1102による動作を詳細に説明する。
【0267】
埋め込みパターン生成部1102は、すりガラス効果の抑制の度合いの異なる複数種類の埋め込みパターンを生成できる手段を備えている。
【0268】
例として、すりガラス効果抑制の度合いの異なる次の2種類の埋め込みパターンの生成手段を持っている場合を示す。
【0269】
1.埋め込み前信号の全てのフレームに対して共通の埋め込みパターンを生成する。
【0270】
2.埋め込み前信号のフレーム毎に異なる埋め込みパターンを生成する。
【0271】
上記の1.としては、例えば、本発明の前提となる電子透かし埋め込み装置800において合成拡散パターンとしてk個すべての拡散パターンを含む合成拡散パターンを生成し、これから生成される埋め込みパターンを全てのフレームに共通に生成するものがある。
【0272】
上記2.としては、例えば、本発明の前提となる電子透かし埋め込み装置800において、合成拡散パターンとして1つの拡散パターンのみを含む合成拡散パターンを生成し、含める拡散パターンを埋め込み信号のフレーム毎に順次切替えるようにされ、kフレームを周期にフレーム毎に異なる埋め込みパターンを生成するものがある。
【0273】
上記2.のその他の例として、合成拡散パターンに複数の拡散パターンが含まれるようにしつつフレーム毎に拡散パターンの含まれ方が異なるようにしてもよい。
【0274】
上記2.のその他の例として、上記1.で生成される埋め込みパターンをフレーム毎に位置をずらして埋め込むようにしておき、検出の際に位置ずれの量を推定して検出するようにされていてもよい。
【0275】
埋め込み前信号評価部1111で得られた動きベクトルの大きさの平均、動きベクトルの分散値に基づき、上記複数種類の埋め込みパターンの生成を次のように制御する。
【0276】
・動きベクトルの大きさの平均が小さいときにはすりガラス効果の抑制の度合いの小さな埋め込みパターン生成方法を用い、大きいときにはすりガラス効果の抑制の度合いの大きな埋め込みパターン生成方法を用いる。
【0277】
・動きベクトルの分散値が大きいときにはすりガラス効果の抑制の度合いの小さな埋め込みパターン生成方法を用い、小さいときにはすりガラス効果の抑制の度合いの大きな埋め込みパターン生成方法を用いる。
【0278】
例えば、埋め込みパターン生成部1102が上記1,2の2種類の埋め込みパターンの生成手段を備えている場合は、動きベクトルの大きさの平均が小さいとき、及び、動きベクトルの分散値が大きいときに上記1.の埋め込みパターン生成手段を用い、動きベクトルの大きさの平均が大きいとき、及び、動きベクトルの分散値が小さいときに上記2.の埋め込みパターン生成手段を用いる。
【0279】
上記のように埋め込みパターン生成方法を制御する理由を以下に示す。
【0280】
動きベクトルの大きさの平均が動きベクトルの大きさの平均が大きいとき、すなわち、映像が全体として動いているときは、固定の埋め込みパターンがすりガラス状に見えやすくなるのに対し、小さいときは、すなわち映像が全体として略静止しているときは、同じ埋め込みパターンが固定していてもすりガラスのようには見えにくくなる。
【0281】
また、動きベクトルの分散値が小さいとき、すなわち、映像が全体として同一の方向に動いているときは、固定の埋め込みパターンがすりガラス状に見えやすくなるのに対し、大きいとき、すなわち、映像が全体として様々な方向に動いているときは、同じ埋め込みパターンが固定していてもすりガラスのようには見えにくくなる。
【0282】
従って、すりガラス効果のおきやすい動きベクトルの大きさの平均が大きい映像や動きベクトルの分散値が小さい映像に対しては、すりガラス効果の抑制の度合いの大きい埋め込みパターン生成方法を用いることで、すりガラス効果を抑制し、画質劣化を防ぐ効果がある。
【0283】
上記の制御は、いずれか一方を単独で用いてもよいし、双方を組み合わせて制御を行ってもよい。例えば、動きベクトルの大きさの平均値m及び動きベクトルの分散値σに対して
p=am+bσ
を求め、pが所定の閾値を越えているかどうかで制御するようにされていてもよい。但し、a,bは予め決められた重み付けパラメータである。
【0284】
なお、ここでは2種類の埋め込みパターンの生成手段を備えていることを仮定したが、3種類以上の埋め込みパターンの生成手段を備えている場合は、上記のような閾値を複数設けて値の範囲によって埋め込みパターンの生成手段を切り替えるようにされていてもよい。
【0285】
本実施の形態の特徴は、埋め込み前信号105の動きベクトルを利用することで複数の電子透かし方式を切り替えており、複数の、あるいはパラメータの変更が可能な電子透かし方式に対して、与えられた埋め込み前信号105に応じてどの方式がどれだけ優れているかを定量的に評価し、期待する品質、性能を求める中で最適となる電子透かし埋め込み方式を制御することができている点にある。
【0286】
[第3の実施の形態]
本実施の形態では動きベクトル評価結果に基づいたシンボル多重度決定について説明する。
【0287】
図16は、本発明の第3の実施の形態における電子透かし埋め込み装置の構成例を示す。
【0288】
電子透かし埋め込み装置1200の構成は、前述の第2の実施の形態の電子透かし埋め込み装置1100の埋め込みパターン生成部1102の代わりに、埋め込みパターン生成部1202及び多重度決定部1212とを備える構成を持つ。
【0289】
電子透かし埋め込み装置1200による電子透かしの埋め込み処理は、前述の第2の実施の形態の電子透かし埋め込み装置1100による電子透かし埋め込み処理における、埋め込みパターン生成部1102での処理を変更したものであり、以下のような手順で実施される。
【0290】
図17は、本発明の第3の実施の形態における動作のフローチャートである。
【0291】
ステップ301) 埋め込み情報分割部1201による埋め込み情報分割は、図9の電子透かし埋め込み装置800と同様である。
【0292】
ステップ302) 埋め込み前信号評価部1211における埋め込み前信号の特性に対する評価は、図14の電子透かし埋め込み装置1100における埋め込み前信号評価部1111と同様である。
【0293】
ステップ303) 多重度決定部1212において、埋め込み前信号評価部1211で得られた評価結果に基づき埋め込みパターンとしてどれだけの多重度で合成拡散パターンの生成を行うかを表す多重度を決定する。決定の方法については後述する。
【0294】
ステップ304) 埋め込みパターン生成部1202において、多重度決定部1212で決定した多重度に従って拡散パターンの合成を行い、合成拡散パターンを生成し、埋め込みパターンを生成する。多重度に応じた埋め込みパターンの生成方法は、第1の実施の形態の埋め込みパターン生成部102におけるものと同様である。
【0295】
ステップ305) 埋め込みパターン重畳部1203による埋め込みパターンの重畳は、図9の電子透かし埋め込み装置800と同様である。
【0296】
次に、上記のステップ303における多重度決定部1212での多重度決定方法の例を説明する。
【0297】
多重度決定部1212では、埋め込み前信号評価部1211で得られた動きベクトルの大きさの平均、動きベクトルの分散値に基づき、次のように多重度を決定する。
【0298】
・動きベクトルの大きさの平均が大きいときには多重度を小さくし、小さいときには多重度を大きくする。
【0299】
・動きベクトルの分散値が大きいときには多重度を大きくし、小さいときには多重度を小さくする。
【0300】
上記のように多重度を決定する理由を以下に示す。
【0301】
まず、多重度の大小とするすりガラス効果の程度の大小との関係について述べる。
【0302】
多重度が大きいときは、あるシンボルについてみたとき、埋め込み済み信号1206の所定の数のフレームの中で、該当するシンボルの含まれる埋め込みパターンが重畳されたフレームの割合が大きくなる。例えば、シンボルの総数がk、多重度がnで、各フレームに重畳される埋め込みパターンに含まれるシンボルを、多重度nで一様にランダムに選択するとした場合、あるシンボルSが含まれる埋め込みパターンが重畳されたフレームの、フレーム全体に対する割合は、ある埋め込みパターンに対してシンボルSが含まれる確率と等しく、
【0303】
【数56】

となり、多重度nが大きければ上記割合が大きくなることがわかる。
【0304】
上記割合が大きいことは、注目しているシンボルに基づいて生成される埋め込みパターン中の画像成分が埋め込み済み信号1206中に現れている時間が相対的に大きくなることを表し、結果として、固定のパターンが見え続けるのと同義となる。よって、多重度の大小は、すりガラス効果の程度の大小との正の相関関係がある。
【0305】
次に、動きベクトルに関する評価値とすりガラス効果の程度の大小との関係について述べる。
【0306】
動きベクトルの大きさの平均が小さいとき、すなわち映像が全体としてほぼ静止しているときは、固定の埋め込みパターンが存在していても、映像自体も固定されているためにすりガラスのように見えにくくなる。
【0307】
一方、動きベクトルの大きさの平均が大きいとき、すなわち映像が全体として動いているときは、固定の埋め込みパターンがすりガラス状に見えやすくなる。
【0308】
また、動きベクトルの分散値が大きいとき、すなわち映像が全体として様々な方向に動いているときと、動きベクトルの分散値が小さいとき、すなわち映像が全体として同一の方向に動いているときとでは、後者の方が、固定の埋め込みパターンがよりすりガラス状に見えやすくなる。
【0309】
従って、上記のように多重度を決定することによって、すりガラス効果のおきやすい動きベクトルの大きさの平均が大きい映像に対しては、多重度を小さくすることですりガラス効果を抑制し、画質劣化を防ぐ効果がある。また、すりガラス効果のおきやすい動きベクトルの分散値が小さいときには多重度を小さくすることですりガラス効果を抑制し、画質劣化を防ぐ効果がある。
【0310】
実際の多重度nの決定においては、例えば、次のような式で多重度nを決定してもよい。
【0311】
【数57】

但し、a,bは予め決められた定数値である。
【0312】
ここで、上記の条件に従って得られるnの値が整数とならない場合、得られた値に最も近い整数値、得られた値を超えない最大の整数値、得られた値を超える最小の整数値のいずれかを多重度nとしてもよいし、実数値のnをそのまま用いてもよい。
【0313】
上記のように動きベクトルに関する評価値と画質劣化の程度の関連性を用いて電子透かしの埋め込みの制御を行うことは、すなわち、式(12)において、Fが動きベクトルに関する評価値で決まるということを利用して制御していることを表す。
【0314】
【数58】

本実施の形態の特徴は、埋め込み前信号105の動きベクトルを利用して電子透かし埋め込みの多重度を求めており、複数の、あるいはパラメータの変更の可能な電子透かし方式に対して、与えられた埋め込み前信号105に応じてどの方式がどれだけ優れているかを定量的に評価し、期待する品質、性能を求める中で最適となる電子透かし埋め込み方式を制御することができている点にある。
【0315】
[第4の実施の形態]
本実施の形態では、検出性能目標に応じて動きベクトルを利用した埋め込みについて説明する。
【0316】
図18は、本発明の第4の実施の形態における電子透かし埋め込み装置の構成例を示す。
【0317】
電子透かし埋め込み装置1300の構成は、前述の第1の実施の形態の電子透かし埋め込み装置100と略同様の構成を持っており、埋め込み前信号評価部1311、多重度決定部1312、埋め込み強度決定部1313とが異なる。
【0318】
電子透かし埋め込み装置1300による電子透かしの埋め込み処理は、前述の第1の実施の形態の電子透かし埋め込み装置100による電子透かし埋め込み処理における、埋め込み前信号評価部1311、多重度決定部1312、埋め込み強度決定部1313が変更されたものであり、前述の第3の実施の形態の電子透かし埋め込み装置1200の埋め込み前信号評価部1211、多重度決定部1212の処理を取り入れたものとなっており、以下のような手順で実施される。
【0319】
図19は、本発明の第3の実施の形態における動作のフローチャートである。
【0320】
ステップ401) 埋め込み情報分割部1301による埋め込み情報分割は、図9の電子透かし埋め込み装置800と同様である。
【0321】
ステップ402) 埋め込み前信号評価部1311では、図12の電子透かし埋め込み装置100における埋め込み前信号評価部111と同様の手順により、埋め込み前信号1305の透かし検出時ノイズ成分の分散と各フレーム間の共分散を求める。また、図14の電子透かし埋め込み装置1100における埋め込み前信号評価部1111と同様に、埋め込み前信号1105の動きベクトルを算出し、ブロック毎に求められた動きベクトルを集め、動きベクトルの大きさの平均及び、動きベクトルの分散値を求める。
【0322】
ステップ403) 多重度決定部1312において、埋め込み前信号評価部1311で得られた評価結果に基づき、埋め込みパターンとしてどれだけの多重度で合成拡散パターンの生成を行うかを表す多重度を決定する。決定の方法については後述する。
【0323】
ステップ404) 埋め込み強度決定部1313において、多重度決定部1312で得られた多重度に基づき、埋め込みパターンをどれだけの強度で埋め込み前信号に重畳するかを表す埋め込み強度を決定する。決定の方法については後述する。
【0324】
ステップ405) 埋め込みパターン生成部1302において、多重度決定部1312で決定した多重度に従って拡散パターンの合成を行い、合成拡散パターンを生成し、埋め込みパターンを生成する。多重度に応じた埋め込みパターンの生成方法は、第1の実施の形態の埋め込みパターン生成部102におけるものと同様である。
【0325】
ステップ406) 埋め込みパターン重畳部1303における埋め込みパターンの重畳は、図12の電子透かし埋め込み装置100における埋め込みパターン重畳部103と同様である。
【0326】
次に、上記のステップ403における多重度決定部1312による多重度決定方法について詳細に説明する。
【0327】
多重度決定部1312では、埋め込み情報評価部1311において得られた埋め込み前信号1305の透かし検出時ノイズ成分と分散及び共分散値、動きベクトルの大きさの平均及び、動きベクトルの分散値、検出性能目標1314、画質劣化目標1315とを用いて電子透かし埋め込みに使用するパラメータとしての多重度nを決定する。
【0328】
多重度決定部1312での多重度決定の手順は、第1の実施の形態の多重度決定部112における多重度決定の手順と同様であるが、下記の点が異なっている。
【0329】
まず、予め動きベクトルに関する評価値を考慮した画質劣化情報βと検出評価値ρとの関係を下記のように求めておく。
【0330】
本発明の第2の実施の形態の多重度決定部1212での多重度決定において説明したように、動きベクトルに関する評価値と画質劣化の程度の間の関連性は次式で表される。
【0331】
【数59】

F´は、実在のコンテンツについての電子透かし埋め込みと画質の主観評価を行うことで実験的に求めることができる。
【0332】
式(5)、式(8)の関係と上記で得られたF´を用い、図7、図8の画質劣化と検出性能の関係を求めることができる。
【0333】
例えば、F´が次式のように近似できたとすれば、
【0334】
【数60】

方法1、方法2での画質劣化βと検出評価値ρの期待値の関係は次のようになる。
【0335】
【数61】

これを、図7及び図8のグラフと置き換えて考え、検出性能目標1314、画像劣化目標1315と上記の検出評価値ρの理論的平均値を利用して最適な重要度nを決定する。
【0336】
例えば、本発明の第1の実施の形態の多重度決定部112と同様に、前述の[6]検出性能目標に応じた埋め込み方式の制御で述べた条件1乃至条件2を満たすようにnの値が決定される。
【0337】
すなわち、条件1の場合、入力された検出性能目標1314をρ、画質劣化目標1315をβとしたときに、(β,ρ)を通る方法2の曲線に対応するnを求める。
【0338】
つまり、同期のとれない状況の透かし検出において、与えられた画質劣化目標情報βでの検出評価値が、与えられた検出性能目標ρと等しくなるように多重度nを決定する。
【0339】
また、条件2の場合、入力された検出性能目標1314をρ、画質劣化目標1315をβとしたときに、(β,ρ)を通る方法1の曲線に対応するnを求める。
【0340】
つまり、同期のとれる状況の透かし検出において、与えられた画質劣化目標βでの検出評価値が、与えられた検出性能目標ρと等しくなるように多重度nを決定する。
【0341】
ここで、上記の条件に従って得られるnの値が整数とならない場合、得られた値に最も近い整数値、得られた値を超えない最大の整数値、得られた値を超える最小の整数値のいずれかを多重度nとしてよいし、実数値のnをそのまま用いてもよい。
【0342】
次に、ステップ404における埋め込み強度決定部1313による埋め込み強度決定の例を説明する。
【0343】
埋め込み強度決定部1313では、多重度決定部1312で得られた多重度及び、画質劣化目標1315とを用いて電子透かし埋め込みに使用するパラメータとしての埋め込み強度αを決定する。
【0344】
前述の式(17)、式(18)を用いて、さらに埋め込み前信号評価部1311において得られた評価結果を用いて透かし強度αを次のように計算する。
【0345】
【数62】

本実施の形態の特徴は、埋め込み前信号1305の動きベクトルの特徴に応じて、すりガラス効果による画質劣化の程度を、画質劣化目標以内に抑えつつ、目標の検出評価値を満たす最適な埋め込み方式の制御を行う点にある。
【0346】
上記の各実施の形態では、埋め込み前信号として動画像を対象として記載していたが、埋め込み前信号が所定の区間毎に区切ることのできる信号であれば、区間毎に電子透かしの埋め込みパターンを重畳する前述のパターン加算型電子透かしのモデルが適用可能であり、動画像固有の概念である動きベクトルを利用しない、第1の実施の形態のような形態であれば、本発明を適用することが可能である。
【0347】
映像以外の信号に適用する場合は、フレームの代わりに信号の所定の区間を単位として処理を行う。例えば、静止画像に対して、静止画像の128×128ピクセルのブロック毎に埋め込みパターンを重畳するようにすれば静止画像に対しての適用が可能であるし、音声に対して音声の64msecの区間毎に埋め込みパターンを重畳するようにすれば、音声に対しての適用も可能である。ここであげた128×128ピクセル、64msecといった数値の例は本発明の範囲を限定するものではなく任意の値であってよいことは言うまでもない。
【0348】
画像、映像以外の信号に適用する場合は、画質劣化の代わりにより一般的に人間の知覚にとってどれだけ信号が劣化しているかという観点での品質劣化に基づいて、品質劣化と埋め込み強度との関係を用いて処理を行う。
【0349】
また、動画像としての埋め込み前信号は、どのようなフォーマットであっても構わない。例えば、非圧縮のデジタル映像データであるD1,D4などのフォーマットであっても構わないし、圧縮符号化されたMPEG1,MPEG2,MPEG4、H.264などのフォーマットであっても構わない。DVDやHDDなどの記録媒体に記録された映像であっても構わない。また、NTSCやVHSビデオ等のようにアナログのフォーマットであっても、本発明の電子透かし埋め込み装置で電子透かしの埋め込みが可能なフォーマットに事前に変換されればどのようなフォーマットであっても構わない。
【0350】
なお、本発明は、図12、図14、図16、図18に示す電子透かし埋め込み装置の各要素の動作をプログラムとして構築し、電子透かし埋め込み装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【0351】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【0352】
本発明のディジタルコンテンツに電子透かしを埋め込む技術に適用可能である。
【図面の簡単な説明】
【0353】
【図1】本発明の原理を説明するための図である。
【図2】本発明の原理構成図である。
【図3】埋め込み強度を変化させたときの検出評価値のグラフである。
【図4】多重度nに対する式(4)の分母第二項のシミュレーション結果のグラフである。
【図5】埋め込み強度を変化させたときの検出評価値の実測値のグラフである。
【図6】画質劣化に対する検出評価値のグラフである。
【図7】画質劣化に対する検出評価値のグラフにおける検出性能目標(条件1)である。
【図8】画質劣化に対する検出評価値のグラフにおける検出性能目標(条件2)である。
【図9】本発明の前提とする電子透かし埋め込み装置の構成例である。
【図10】シンボルの構成例である。
【図11】埋め込みパターンのタイリングの例である。
【図12】本発明の第1の実施の形態における電子透かし埋め込み装置の構成例である。
【図13】本発明の第1の実施の形態における動作のフローチャートである。
【図14】本発明の第2の実施の形態における電子透かし埋め込み装置の構成例である。
【図15】本発明の第2の実施の形態における動作のフローチャートである。
【図16】本発明の第3の実施の形態における電子透かし埋め込み装置の構成例である。
【図17】本発明の第3の実施の形態における動作のフローチャートである。
【図18】本発明の第4の実施の形態における電子透かし埋め込み装置の構成例である。
【図19】本発明の第4の実施の形態における動作のフローチャートである。
【符号の説明】
【0354】
100 電子透かし埋め込み装置
101、801,1101,1201,1301 埋め込み情報分割部
102,802,1102,1202,1302 埋め込みパターン生成手段、埋め込みパターン生成部
103,803,1103、1203,1303 埋め込みパターン重畳部
104、804,1104,1204,1304 埋め込み情報
105,805,1105,1205,1305 埋め込み前信号
106,806,1106,1206,1306 埋め込み済み信号
111,1111,1211,1311 埋め込み前信号評価手段、埋め込み前信号評価部
112、1212,1312 多重度決定部
113,1313 埋め込み強度決定部
114,1314 検出性能目標
115,1315 画質劣化目標
120 記憶手段
601,701 条件に該当する領域
800,1100,1200,1300 電子透かし埋め込み装置
1001 埋め込みパターン

【特許請求の範囲】
【請求項1】
入力信号に対して、入力信号の各区間に、埋め込み情報に基づいて構成された所定のパターンを、人間の知覚に感知されにくいように重畳する電子透かし埋め込み方法であって、
前記入力信号の特徴を評価し、評価値を算出し、記憶手段に格納する埋め込み前信号評価ステップと、
前記記憶手段から前記評価値を読み出して、該評価値に従って、電子透かしとして重畳される前記所定のパターンを生成する方式または、パラメータを選択して埋め込みパターンを生成する埋め込みパターン生成ステップと、
を行うことを特徴とする電子透かし埋め込み方法。
【請求項2】
前記入力信号が映像信号であるとき、
前記埋め込み情報を複数のシンボルに分割する埋め込み情報分割ステップと、
前記記憶手段から取得した前記評価値に従って、前記入力信号の各区間に埋め込むシンボルの多重度を決定する多重度決定ステップと、を行い、
前記埋め込みパターン生成ステップにおいて、
前記多重度決定ステップで決定された前記多重度に従って埋め込みパターンを生成する、
請求項1記載の電子透かし埋め込み方法。
【請求項3】
前記多重度決定ステップにおいて、
電子透かしによる画質劣化と検出評価値との関係式に従い、与えられた検出性能目標と画質劣化目標を満たすように多重度を決定する、
請求項2記載の電子透かし埋め込み方法。
【請求項4】
予め求められた多重度と画質劣化の関係を用いて、与えられた画質劣化目標を満たすように電子透かしの埋め込み強度を決定する埋め込み強度ステップを更に行う請求項2または、3記載の電子透かし埋め込み方法。
【請求項5】
前記埋め込み前信号評価ステップにおいて、
前記入力信号の透かし検出時ノイズ成分の分散とフレーム間相関とを算出し、前記記憶手段に格納し、
前記埋め込みパターン生成ステップにおいて、
前記記憶手段から取得した前記分散と前記フレーム間相関に基づく理論的検出評価値の期待値に従って、前記所定のパターンを生成する方式またはパラメータを選択する、
請求項1乃至4のいずれか1項記載の電子透かし埋め込み方法。
【請求項6】
前記入力信号が映像信号であるとき、
前記埋め込み前信号評価ステップにおいて、
前記映像信号に対して時間時刻方向の畳み込みフィルタを適用し、フィルタ結果の透かし検出時ノイズ成分の分散とフレーム間相関とを算出する、
請求項1乃至5のいずれか1項記載の電子透かし埋め込み方法。
【請求項7】
前記入力信号が映像信号であるとき、
前記埋め込み前信号評価ステップにおいて、
前記映像信号の動きの大きさを測定し、その大きさまたは分散値を算出する、
請求項1乃至6のいずれか1項記載の電子透かし埋め込み方法。
【請求項8】
前記映像信号の動きの大きさと画質劣化の関係を用いて、与えられた画質劣化目標を満たすように電子透かしの埋め込み強度を決定するステップを行う、
請求項7記載の電子透かし埋め込み方法。
【請求項9】
前記埋め込み前信号評価ステップにおいて、
前記入力信号の区間内の部分領域を単位に評価を行い、
前記埋め込みパターン生成ステップにおいて、
前記入力信号の区間内の部分領域を単位に前記所定のパターンを生成する方式または、パラメータを選択する、
請求項1乃至8記載の電子透かし埋め込み方法。
【請求項10】
入力信号に対して、入力信号の各区間に、埋め込み情報に基づいて構成された所定のパターンを、人間の知覚に感知されにくいように重畳する電子透かし埋め込み装置であって、
前記入力信号の特徴を評価し、評価値を算出し、記憶手段に格納する埋め込み前信号評価手段と、
前記記憶手段から前記評価値を読み出して、該評価値に従って、電子透かしとして重畳される前記所定のパターンを生成する方式または、パラメータを選択して埋め込みパターンを生成する埋め込みパターン生成手段と、
を有することを特徴とする電子透かし埋め込み装置。
【請求項11】
前記入力信号が映像信号であるとき、
前記埋め込み情報を複数のシンボルに分割する埋め込み情報分割手段と、
前記記憶手段から取得した前記評価値に従って、前記入力信号の各区間に埋め込むシンボルの多重度を決定する多重度決定手段と、を更に有し、
前記埋め込みパターン生成手段は、
前記多重度決定手段で決定された前記多重度に従って埋め込みパターンを生成する手段を含む、
請求項10記載の電子透かし埋め込み装置。
【請求項12】
前記多重度決定手段は、
電子透かしによる画質劣化と検出評価値との関係式に従い、与えられた検出性能目標と画質劣化目標を満たすように多重度を決定する手段を含む、
請求項11記載の電子透かし埋め込み装置。
【請求項13】
予め求められた多重度と画質劣化の関係を用いて、与えられた画質劣化目標を満たすように電子透かしの埋め込み強度を決定する埋め込み強度決定手段を更に有する請求項11または、12記載の電子透かし埋め込み装置。
【請求項14】
前記埋め込み前信号評価手段は、
前記入力信号の透かし検出時ノイズ成分の分散とフレーム間相関とを算出し、前記記憶手段に格納する手段を含み、
前記埋め込みパターン生成手段は、
前記記憶手段から取得した前記分散と前記フレーム間相関に基づく理論的検出評価値の期待値に従って、前記所定のパターンを生成する方式またはパラメータを選択する手段を含む、
請求項10乃至13のいずれか1項記載の電子透かし埋め込み装置。
【請求項15】
前記入力信号が映像信号であるとき、
前記埋め込み前信号評価手段は、
前記映像信号に対して時間時刻方向の畳み込みフィルタを適用し、フィルタ結果の透かし検出時ノイズ成分の分散とフレーム間相関とを算出する手段を含む、
請求項10乃至14のいずれか1項記載の電子透かし埋め込み装置。
【請求項16】
前記入力信号が映像信号であるとき、
前記埋め込み前信号評価手段は、
前記映像信号の動きの大きさを測定し、その大きさまたは分散値を算出する手段を含む、
請求項10乃至15のいずれか1項記載の電子透かし埋め込み装置。
【請求項17】
前記映像信号の動きの大きさと画質劣化の関係を用いて、与えられた画質劣化目標を満たすように電子透かしの埋め込み強度を決定する手段を更に有する
請求項16記載の電子透かし埋め込み装置。
【請求項18】
前記埋め込み前信号評価手段は、
前記入力信号の区間内の部分領域を単位に評価を行う手段を含み、
前記埋め込みパターン生成手段は、
前記入力信号の区間内の部分領域を単位に前記所定のパターンを生成する方式または、パラメータを選択する手段を含む、
請求項10乃至17記載の電子透かし埋め込み装置。
【請求項19】
コンピュータを、請求項10乃至18記載の電子透かし埋込装置として機能させることを特徴とする電子透かし埋込プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図5】
image rotate

【図11】
image rotate


【公開番号】特開2007−53687(P2007−53687A)
【公開日】平成19年3月1日(2007.3.1)
【国際特許分類】
【出願番号】特願2005−238881(P2005−238881)
【出願日】平成17年8月19日(2005.8.19)
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】