説明

画像位置特定装置及び方法、位置合わせ信号埋込装置及び方法

【課題】切取の編集に伴う位置合わせの高速化を図ることができるようにする。
【解決手段】平行移動量候補選択部8が、処理順序判断部7により決定された順序が先の組み合わせから順番に、当該組み合わせに係るピーク座標と周波数スペクトルを、原画像に対する入力画像の平行移動量によって評価値が変化する評価式に代入して、その評価式が成立するか否かを判別することで、入力画像の平行移動量の全候補の中から、平行移動量の絞り込みを行う。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、電子透かしが埋め込まれているデジタル画像に対して編集処理(例えば、拡大縮小(スケーリング)、回転、反転、切取(トリミング)など)が施されていて、電子透かしを検出する画像の位置を特定できないような場合に、そのデジタル画像に埋め込まれている位置合わせ信号パターンを検出して、その画像の位置を特定する画像位置特定装置及び方法と、位置合わせ信号パターンをデジタル画像に埋め込む位置合わせ信号埋込装置及び方法とに関するものである。
【背景技術】
【0002】
電子透かしが埋め込まれているデジタル画像に対して編集処理(例えば、拡大縮小(スケーリング)、回転、反転、切取(トリミング)など)が施されている場合、そのデジタル画像に埋め込まれている電子透かしの位置を特定することができないことがある。
このような場合に対処するため、電子透かしのデータとは別に、位置合わせ信号パターン(レジストレーション信号)が電子透かしとしてデジタル画像に埋め込まれることがある。
デジタル画像に埋め込まれている電子透かしを検出する際、その位置合わせ信号パターンを検出することで、電子透かしのデータが埋め込まれている画像の位置を特定する画像位置特定装置が以下の特許文献1,2に開示されている。
【0003】
特許文献1,2に開示されている画像位置特定装置では、切取の編集に伴って必要となっている位置合わせについては、相関演算又は2次元離散フーリエ変換を実施することで行っている。
また、拡大縮小、回転又は反転の編集に伴って必要となっている位置合わせについては、2次元離散フーリエ変換を実施することで行っている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平11−355547号公報
【特許文献2】特表2002−504272号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来の画像位置特定装置は以上のように構成されているので、切取の編集に伴う位置合わせを行う場合、相関演算又は2次元離散フーリエ変換を実施するが、相関演算又は2次元離散フーリエ変換を実施する方法では、計算量が膨大であるため、位置合わせが完了するまでに多くの時間を要する課題があった。
【0006】
即ち、特許文献2では、拡大縮小、回転又は反転の編集に伴う位置合わせに2次元離散フーリエ変換を利用し、切取の編集に伴う位置合わせに相関演算を利用している。この場合、例えば、位置合わせ信号パターンの繰り返し周期を横Mピクセル、縦Nピクセルとすると、2次元離散フーリエ変換の計算量がO(MN・log(MN))であるのに対して、相関演算によって相関値のピーク位置を探す計算量がO(M)であるため、切取の編集に伴う位置合わせが計算量上のボトルネックになる。そのため、切取の編集に伴う位置合わせについても、2次元離散フーリエ変換を利用することが望ましい。
特許文献1では、切取の編集に伴う位置合わせに2次元離散フーリエ変換を利用しているが、数学的内容(式(32)を最小化する位置を求めること)が開示されているのみであり、デジタル画像をデジタル計算機で扱う上で、高速に実施する方法については開示されていない。そのため、全ての位置(MN通りの位置)において、同式を評価しなければならないと考えられ、計算量がO(MN)となる。即ち、位置合わせ信号パターンが有する周波数スペクトルの数をsとすると、計算量がO(MNs)となる。相関演算を利用する場合の計算量がO(M)であるため、計算量が多少軽減されてはいるが、特許文献1に開示されている式(32)は三角関数計算を含む複雑な演算が必要である。
【0007】
この発明は上記のような課題を解決するためになされたもので、切取の編集に伴う位置合わせの高速化を図ることができる画像位置特定装置及び画像位置特定方法を得ることを目的とする。
また、この発明は、切取の編集に伴う位置合わせに利用する位置合わせ信号パターンをデジタル画像に埋め込むことができる位置合わせ信号埋込装置及び位置合わせ信号埋込方法を得ることを目的とする。
【課題を解決するための手段】
【0008】
この発明に係る画像位置特定装置は、原画像に対して編集が施されている可能性がある画像を入力し、その入力画像から一部の画像を切り出すことで、原画像に埋め込まれている位置合わせ信号パターンと同じ大きさの部分画像を生成する部分画像生成手段と、部分画像生成手段により生成された部分画像をフーリエ変換し、そのフーリエ変換結果であるフーリエ係数を出力するフーリエ変換手段と、フーリエ変換手段から出力されたフーリエ係数の中で、絶対値が突出しているフーリエ係数の座標であるピーク座標を特定するピーク座標特定手段と、位置合わせ信号パターンにおける周波数スペクトルの周波数平面上での座標であるスペクトル座標の中で、ピーク座標特定手段により特定されたピーク座標と対応関係があるスペクトル座標を特定する対応関係特定手段と、対応関係特定手段により対応関係が特定されたピーク座標と周波数スペクトルの各組み合わせに対する評価処理を実行するに際して、その評価処理を実行する組み合わせの順序を上記ピーク座標におけるフーリエ係数に基づいて決定する評価順序決定手段とを設け、平行移動量特定手段が、評価順序決定手段により決定された順序が先の組み合わせから順番に、当該組み合わせに係るピーク座標と周波数スペクトルを、原画像に対する入力画像の平行移動量によって評価値が変化する評価式に代入して、その評価式が成立するか否かを判別することで、入力画像の平行移動量の全候補の中から、平行移動量の絞り込みを行うようにしたものである。
【発明の効果】
【0009】
この発明によれば、原画像に対して編集が施されている可能性がある画像を入力し、その入力画像から一部の画像を切り出すことで、原画像に埋め込まれている位置合わせ信号パターンと同じ大きさの部分画像を生成する部分画像生成手段と、部分画像生成手段により生成された部分画像をフーリエ変換し、そのフーリエ変換結果であるフーリエ係数を出力するフーリエ変換手段と、フーリエ変換手段から出力されたフーリエ係数の中で、絶対値が突出しているフーリエ係数の座標であるピーク座標を特定するピーク座標特定手段と、位置合わせ信号パターンにおける周波数スペクトルの周波数平面上での座標であるスペクトル座標の中で、ピーク座標特定手段により特定されたピーク座標と対応関係があるスペクトル座標を特定する対応関係特定手段と、対応関係特定手段により対応関係が特定されたピーク座標と周波数スペクトルの各組み合わせに対する評価処理を実行するに際して、その評価処理を実行する組み合わせの順序を上記ピーク座標におけるフーリエ係数に基づいて決定する評価順序決定手段とを設け、平行移動量特定手段が、評価順序決定手段により決定された順序が先の組み合わせから順番に、当該組み合わせに係るピーク座標と周波数スペクトルを、原画像に対する入力画像の平行移動量によって評価値が変化する評価式に代入して、その評価式が成立するか否かを判別することで、入力画像の平行移動量の全候補の中から、平行移動量の絞り込みを行うように構成したので、切取の編集に伴う位置合わせの高速化を図ることができる効果がある。
【図面の簡単な説明】
【0010】
【図1】この発明の実施の形態1による画像位置特定装置を示す構成図である。
【図2】この発明の実施の形態1による画像位置特定装置の処理内容(画像位置特定方法)を示すフローチャートである。
【図3】部分画像の切り出し例を示す説明図である。
【図4】フーリエ係数の絶対値とピーク座標の例を示す説明図である。
【図5】周波数スペクトル及びピークと、スペクトル対応情報の一例を示す説明図である。
【図6】スペクトル情報の座標、ピーク座標、スペクトル対応情報、拡大縮小情報、回転情報及び反転情報の一例を示す説明図である。
【図7】平行移動量候補選択部8による平行移動量等判断処理の概要を示す説明図である。
【図8】位置合わせ信号パターンの繰り返しと電子透かしデータの繰り返しの一例を示す説明図である。
【図9】平行移動量候補選択部8による平行移動量等判断処理の概要を示す説明図である。
【図10】この発明の実施の形態3による位置合わせ信号埋込装置を示す構成図である。
【図11】この発明の実施の形態3による位置合わせ信号埋込装置の処理内容(位置合わせ信号埋込方法)を示すフローチャートである。
【図12】図10の位置合わせ信号埋込装置により埋め込まれる位置合わせ信号パターンの周波数スペクトルの一例を示す説明図である。
【発明を実施するための形態】
【0011】
実施の形態1.
図1はこの発明の実施の形態1による画像位置特定装置を示す構成図である。
図1において、画像切り出し部1はデジタル画像である原画像に対して編集が施されている可能性がある画像を入力し、その入力画像から一部の画像を切り出すことで、その原画像に埋め込まれている位置合わせ信号パターンと同じ大きさの部分画像を生成する処理を実施する。なお、画像切り出し部1は部分画像生成手段を構成している。
【0012】
フーリエ変換部2は画像切り出し部1により生成された部分画像をフーリエ変換し、そのフーリエ変換結果であるフーリエ係数を出力する処理を実施する。なお、フーリエ変換部2はフーリエ変換手段を構成している。
ピーク検出部3はフーリエ変換部2から出力されたフーリエ係数の中で、絶対値が突出しているフーリエ係数の周波数平面上での座標であるピーク座標を特定する処理を実施する。なお、ピーク検出部3はピーク座標特定手段を構成している。
【0013】
スペクトル対応関係算出部4は位置合わせ信号パターンにおける周波数スペクトルの周波数平面上での座標であるスペクトル座標の中で、ピーク検出部3により特定されたピーク座標と対応関係があるスペクトル座標を特定する処理を実施する。なお、スペクトル対応関係算出部4は対応関係特定手段を構成している。
拡大等判断部5はスペクトル対応関係算出部4により対応関係が特定されたピーク座標と周波数スペクトルの組み合わせから、原画像に対する入力画像の拡大縮小、回転及び反転を特定する処理を実施する。なお、拡大等判断部5は拡大等特定手段を構成している。
【0014】
平行移動等判断部6は原画像に対する入力画像の平行移動量と、点対称移動の有無とを特定する処理を実施する。
処理順序判断部7はスペクトル対応関係算出部4により対応関係が特定されたピーク座標と周波数スペクトルの各組み合わせに対する評価処理を実行するに際して、その評価処理を実行する組み合わせの順序をピーク座標におけるフーリエ係数に基づいて決定する処理を実行する。なお、処理順序判断部7は評価順序決定手段を構成している。
【0015】
平行移動量候補選択部8は処理順序判断部7により決定された順序が先の組み合わせから順番に、当該組み合わせに係るピーク座標と周波数スペクトルを、原画像に対する入力画像の平行移動量によって評価値が変化する評価式に代入して、その評価式が成立するか否かを判別することで、入力画像の平行移動量の全候補の中から、平行移動量の絞り込みを行う。
また、平行移動量候補選択部8はスペクトル対応関係算出部4により特定された対応関係と点対称となる組み合わせに係るピーク座標と周波数スペクトルについても評価式に代入して、その評価式が成立するか否かを判別することで、入力画像の平行移動量の全候補の中から、平行移動量の絞り込みを行う。
平行移動量候補選択部8は最終的に絞り込んだ平行移動量に係るピーク座標と周波数スペクトルの組み合わせから点対称移動の有無を判別する処理を実施する。
なお、平行移動量候補選択部8は平行移動量特定手段を構成している。
【0016】
図1の例では、画像位置特定装置の構成要素である画像切り出し部1、フーリエ変換部2、ピーク検出部3、スペクトル対応関係算出部4、拡大等判断部5及び平行移動等判断部6のそれぞれが専用のハードウェア(例えば、CPUを実装している半導体集積回路、あるいは、ワンチップマイコンなど)で構成されているものを想定しているが、画像位置特定装置がコンピュータなどで構成される場合には、画像切り出し部1、フーリエ変換部2、ピーク検出部3、スペクトル対応関係算出部4、拡大等判断部5及び平行移動等判断部6の処理内容を記述しているプログラムの全部又は一部をコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。
図2はこの発明の実施の形態1による画像位置特定装置の処理内容(画像位置特定方法)を示すフローチャートである。
【0017】
次に動作について説明する。
この実施の形態1では、拡大縮小、回転、反転、切取などの編集が施された可能性があるデジタル画像である原画像(非圧縮輝度画像)に対して、電子透かしとして埋め込まれている位置合わせ信号パターンを検出して位置合わせを行う画像位置特定装置について説明する。
【0018】
最初に、前提となる2次元離散フーリエ変換による位置合わせの理論について説明する。
ここでは、位置合わせ信号パターンは、横がMピクセル、縦がMピクセルの正方形のパターンであり、s個の周波数スペクトルSi(i∈[1,s])を含むパターンであるとする。
位置合わせ信号パターンは、一般的には長方形でもよいが、多くの実装において、正方形とされているため、以下の説明では、位置合わせ信号パターンが正方形であるとする。
また、周波数スペクトルSi(Siは複素数)は、周波数平面上で位置(Xi,Yi)(Xi∈[1,M/2−1])にあるとする。Mはパターンサイズである。
画像に足し合わせる位置合わせ信号パターンは実数であるため、必然的に周波数平面上(−Xi,−Yi)に周波数スペクトルSiの共役複素数の周波数スペクトルが配置される。
【0019】
位置合わせ信号パターンがf(x,y)であるとすると、位置合わせ信号パターンf(x,y)のフーリエ変換F(X,Y)は下記のようになる。
f(x,y) (x∈[−M/2,M/2−1],y∈[−M/2,M/2−1])
F(X,Y) (X∈[−M/2,M/2−1],Y∈[−M/2,M/2−1])
F(X,Y)=Si((X,Y)∈{(Xi,Yi)|i∈[1,s]})
Siの共役複素数((X,Y)∈{(−Xi,−Yi)|i∈[1,s]})
0(その他の(X,Y))
【0020】
また、フーリエ変換及び逆フーリエ変換は、下記の通りである。
F(X,Y)
=(1/M)Σ(x,y)f(x,y)exp(−j2πxX/M)exp(−j2πyY/M)
f(x,y)
=(1/M)Σ(X,Y)F(X,Y)exp(j2πxX/M)exp(j2πyY/M)
ただし、jは虚数単位、πは円周率、exp()は底がネイピア数の指数関数である。
【0021】
この実施の形態1では、横Mピクセル、縦Mピクセルの位置合わせ信号パターンf(x,y)を循環的に原画像に加算する。原画像の特性に応じて、検出精度や主観画質を向上させるために画素毎に重みを調整しながら加算するようにしてもよい。
位置合わせは、入力画像(原画像に対して編集が施されている可能性がある画像)の任意の横Mピクセル、縦Mピクセルの正方形部分を対象に行う。
その正方形部分をフーリエ変換し、周波数スペクトルの絶対値(振幅)を調べると、位置合わせ用の周波数スペクトルの位置を検出することができる。この検出は、周波数スペクトルの絶対値マップにおいて、絶対値が突出している座標をピックアップする作業であり、公知の画像処理技術によって十分可能であるため、その方法の詳細についての説明を割愛する。
【0022】
検出した周波数スペクトルの数をt、周波数スペクトルをTk(k∈[1,t])とし、原画像がある角度だけ回転されていれば、周波数スペクトルSiの周波数平面上での位置は原点を中心に同じ角度だけ回転され、原画像がある対称線を軸に反転されていれば、周波数スペクトルSiの周波数平面上での位置は同じ角度で原点を通る対称線を軸に反転される。
また、原画像がある拡大率で拡大されていれば、周波数スペクトルSiの周波数平面上での位置は原点を中心に、その拡大率の逆数の拡大率で拡大される(周波数スペクトルSiの周波数平面上での原点からの距離は画像の拡大率の逆数倍となる)。
この性質を利用し、入力画像が原画像に対して、どのように拡大縮小、回転、反転されたかを判断することができる。これらの判断方法の詳細については、特許文献1,2などに開示されているため説明を割愛する。
【0023】
検出した周波数スペクトルTkの位置から判断した拡大率、回転角、反転軸の角度に基づいて入力画像を補正することで、平行移動の不確定性だけが残された状態まで補正することができる。
以下、平行移動の不確定性だけが残された状態まで補正した画像を「半補正画像」と称する。
半補正画像は、原画像からx軸方向にmピクセル(m∈[−M/2,M/2−1])、y軸方向にnピクセル(n∈[−M/2,M/2−1])だけ平行移動されているとすると、このm,nを求めることが、平行移動に対する位置合わせに相当する。
【0024】
拡大縮小、回転、反転がなされている場合の他、拡大縮小、回転、反転がなされていない場合であっても切取(トリミング)がなされている場合には、この位置合わせが必要となる。
ここで、周波数スペクトルTkに対応する周波数スペクトルをSi(TkとSiの対応関係は、拡大縮小、回転、反転に対する位置合わせの手続で明らかになっている)として、周波数スペクトルSiの位相をPi(Si=|Si|exp(jPi))、周波数スペクトルTkの位相をQk(Tk=|Tk|exp(jQk))とするとき、
E(m,n,k)=mXi/M+nYi/M+(Qk−Pi)/2π≒整数
(対応するSiとTkの任意の組み合わせ)
が成り立つmとnを選択する。
【0025】
あるいは、特許文献1のように表現すれば、
Σk{1−cos(2πmXi/M+2πnYi/M+Qk−Pi)}
(対応するSiとTkの組み合わせでのΣ)
を最小化するmとnを選択する。
これにより、平行移動量が明らかとなり、入力画像と原画像の位置合わせが完了する。
【0026】
次に、図1の画像位置特定装置の処理内容を具体的に説明する。
画像切り出し部1は、入力画像から位置合わせ信号パターンと同じ形状(例えば、横Mピクセル、縦Mピクセルの正方形)の部分画像を切り出す処理を行う(図2のステップST1)。
部分画像を切り出す位置はランダムに選択してもよいし、左上隅を基準にして選択してもよいし、様々な実装が考えられる。
また、パターンサイズMは、任意の値でよいが、通常の実装では、2の累乗に設定される。
その理由は、2の累乗に設定することで、後述するフーリエ変換部2において、高速フーリエ変換(FFT)を実施することが可能になり、処理の高速化が可能となるからである。
なお、入力画像の縦又は横の長さが、切り出す部分画像の縦又は横の長さに満たない場合は、入力画像の右側及び下側に画素値が一定の画像(例えば、0値の画素)を付加し、左上隅に合わせて切り出すことで部分画像とすればよい。図3は部分画像の切り出し例を示している。
【0027】
フーリエ変換部2は、画像切り出し部1が部分画像を生成すると、その部分画像の画素値を2次元離散フーリエ変換し、その2次元離散フーリエ変換結果であるフーリエ係数を出力する(ステップST2)。
フーリエ係数は、M個の複素数であり、拡大等判断部5などの各部で、その絶対値(振幅)と位相に分離して使用される。そのため、フーリエ変換部2がフーリエ係数を出力する際に、そのフーリエ係数を絶対値と位相に分離して出力してもよいし、フーリエ係数を使用する拡大等判断部5などの各部で、フーリエ係数を絶対値と位相に分離するようにしてもよい。
【0028】
ピーク検出部3は、フーリエ変換部2から周波数平面上に配置されているM個のフーリエ係数を受けると、M個のフーリエ係数の絶対値マップを参照して、ピーク(M個のフーリエ係数の中で、絶対値が突出しているフーリエ係数(例えば、絶対値が最大のフーリエ係数))を検出し、そのピークの周波数平面上の座標であるピーク座標を算出する(ステップST3)。
ピークの検出処理は、公知の画像処理技術によって十分可能であるため、詳細な説明を省略する。
図4はフーリエ係数の絶対値とピーク座標の例を示す説明図である。
フーリエ係数の絶対値が、複数のフーリエ係数にまたがって突出している場合には、図4(b)に示すように、必ずしも整数値とならないピーク座標を算出するようにしてもよい。
実数値のピーク座標の計算方法は、ピークを示す座標の単純平均や、フーリエ係数の絶対値を重みとして利用する加重平均(重心計算)などがあり、様々な方法が可能である。
【0029】
スペクトル対応関係算出部4は、ピーク検出部3がピーク座標を算出すると、位置合わせ信号パターンにおける周波数スペクトルの周波数平面上での座標であるスペクトル座標の中で、そのピーク座標と対応関係があるスペクトル座標を特定し、その対応関係を示すスペクトル対応情報を出力する(ステップST4)。
即ち、スペクトル対応関係算出部4は、スペクトル情報を入力して、原画像に埋め込まれているスペクトルと、部分画像から検出したスペクトルの対応関係を特定し、その対応関係を示すスペクトル対応情報を出力する。
ここで、スペクトル情報は、原画像に埋め込まれている位置合わせ信号パターンの周波数スペクトルの周波数平面上での座標(スペクトル座標)と、その周波数スペクトルの位相を意味するものである。
ただし、スペクトル対応関係算出部4が使用するのは、スペクトル情報のうち、スペクトル座標のみである。
【0030】
スペクトル対応関係算出部4は、ピーク検出部3により算出されたピーク座標が、どのスペクトル座標と対応するかを判断して、その対応関係を明らかにするものである。
図5は周波数スペクトル及びピークとスペクトル対応情報の一例を示している。
原画像に埋め込まれた位置合わせ信号パターンの周波数スペクトルの周波数平面上での分布は必ず点対称となる。そのため、点対称(180度回転)の不確定性が残る(例えば、実装によっては、T1←→S1が対応付けられる場合がある)。
この不確定性は、後述する平行移動等判断部6で解消される。
【0031】
スペクトル対応情報は、対応の取れた周波数スペクトルTkと周波数スペクトルSiの組み合わせを識別できる情報であればよい。
図5の例では、対応の取れたスペクトルは4組である。
具体的な点同士の対応付けの方法としては、対数極座標変換を用いる方法が知られている。
即ち、(X,Y)を極座標(r,θ)に変換し、かつ、r軸を対数スケールとする対数極座標(logr,θ)で各点をプロットした際に、(X,Y)平面上での拡大縮小は、(logr,θ)平面ではr軸方向への平行移動に対応し、(X,Y)平面上での回転は、(logr,θ)平面ではθ軸方向への平行移動に対応し、(X,Y)平面上での反転は、(logr,θ)平面ではr軸と平行な対称軸での反転に対応する。
この性質を利用して、公知の技術によって、周波数スペクトルTkと周波数スペクトルSiのマッチングを取ることで、対応付けを行うことができる。
【0032】
ピーク検出の段階で、埋め込まれたスペクトルが検出されなかったり(見逃し)、スペクトルが埋め込まれていないのにピークとして検出されたり(誤検出)することがあるため、マッチングが2通り以上候補に挙がる可能性がある。
このような場合は、周波数スペクトルTkの位置的誤差が小さい方を選択することにより最終的な判断を行う。
また、位置的誤差を利用する方法の他に、フーリエ係数を利用する方法もある。
即ち、ピークの中でも、フーリエ係数の絶対値の大きいピークの方が、信頼性が高いと言えるので、候補に挙がったマッチングのうち、絶対値の大きいピークを含む方を選択することにより最終的な判断を行う。位置的誤差を利用する方法のようにフーリエ係数を利用せずに判断することもできるが、フーリエ係数を利用することで、マッチングの成功率を高める効果が期待される。
【0033】
拡大等判断部5は、スペクトル対応関係算出部4からスペクトル対応情報を受けると、対応関係があるピーク座標と周波数スペクトルの組み合わせから、原画像に対する入力画像の拡大縮小、回転及び反転を特定する(ステップST5)。
即ち、拡大等判断部5は、スペクトル対応情報、ピーク座標及びスペクトル情報を参照して、入力画像が、原画像に対して、どのような拡大縮小、回転、反転が施されている画像であるのかを判断する(例えば、拡大率、回転角、反転角を変えながら、入力画像を拡大縮小、回転、反転させて、どの拡大率、回転角、反転角のときに、入力画像が原画像とマッチするかを判断する)ことで、拡大縮小情報、回転情報及び反転情報を出力する。
図6はスペクトル情報の座標、ピーク座標、スペクトル対応情報、拡大縮小情報、回転情報及び反転情報の一例を示す説明図である。
ここで、拡大縮小情報は、拡大縮小の有無と、拡大縮小が有の場合には拡大率(画像の拡大率はXY平面での拡大率の逆数となる)との組み合わせからなる情報である。
回転情報は、回転の有無と、回転が有の場合には回転角(X軸正の向きからY軸正の向きへの回転とする)との組み合わせからなる情報である。
反転情報は、反転の有無と、反転が有の場合には原点から反転軸に向かう垂線の仰角(X軸正の向きを向く仰角を0とする)との組み合わせからなる情報である。
【0034】
ここでは、拡大等判断部5が、拡大縮小情報、回転情報及び反転情報を出力する例を示しているが、拡大縮小、回転、反転の内容を表すことができれば、他の情報を出力するようにしてもよい。
例えば、回転角や原点から反転軸に向かう垂線の仰角は、弧度でなくても角度でもよいし、反転情報において、原点から反転軸に向かう垂線の仰角は、垂線の仰角としてもよく、様々な表現形態が可能である。
また、拡大率は、拡大縮小無しを同時に意味するので、拡大縮小の有無というパラメータを設けない構成とすることもできる。
同様の理由で、回転有無というパラメータを設けない構成とすることもできる。
また、原点から反転軸に向かう垂線の仰角というパラメータを設けない構成も可能である。これは、例えば、原画像に対して、まず反転有なら反転を行い、その後、拡大縮小及び回転を施すというように、入力画像に至るまでに与えられる編集内容の順序を予め決めておくことによって、反転軸の角度情報は、回転角に吸収され、反転軸の角度に関する情報がなくても、あらゆる拡大縮小、回転、反転を表現することができるからである。
【0035】
ここでも、スペクトル対応関係算出部4と同様に、ピークの位置的誤差に起因して、ピークと対応する周波数スペクトルの組み合わせのうち、どの組み合わせから拡大率、回転角を算出するかによって、結果が異なるのが一般的である。
このときに単純平均により最終的な拡大率や回転角を算出してもよいが、フーリエ係数を活用することができる。
即ち、フーリエ係数の絶対値が大きいピークと対応する周波数スペクトルの組み合わせを優先して評価したり、重みを与えて評価したりする。単純平均を利用する方法のようにフーリエ係数を利用せずに判断することもできるが、フーリエ係数を利用することで、算出される拡大率や回転角の精度を高めることができる。
【0036】
平行移動等判断部6は、原画像に対する入力画像の平行移動量と、点対称移動の有無とを特定して、平行移動情報及び点対称情報を出力する。
平行移動情報は、x軸正の向き(右向き)に何ピクセル、y軸正の向き(下向き)に何ピクセル平行移動するかを表すものである。ただし、平行移動量と移動の向き(角度)で表すなど、他の表し方を使用してもよい。
点対称情報は、スペクトル対応関係算出部4で残存している点対象の不確定性を解消するため、スペクトル対応情報の通りの対応関係でよいか否か(スペクトル対応関係は真の対応関係と点対称であるか)を示す情報である。
以下、平行移動等判断部6の処理内容を具体的に説明する。
【0037】
平行移動等判断部6の処理順序判断部7は、スペクトル対応関係算出部4により対応関係が特定されたピーク座標と周波数スペクトルの各組み合わせに対する評価処理(平行移動量候補選択部8における評価処理)を実行するに際して、その評価処理を実行する組み合わせの順序をピーク座標におけるフーリエ係数に基づいて決定する(ステップST6)。
例えば、ピーク座標点におけるフーリエ係数の絶対値を参照し、その絶対値が大きい組み合わせから順番に、評価処理を実行する順序を決定する。
【0038】
平行移動等判断部6の平行移動量候補選択部8は、処理順序判断部7により決定された順序が先の組み合わせから順番に、当該組み合わせに係るピーク座標と周波数スペクトルを、原画像に対する入力画像の平行移動量によって評価値が変化する評価式(下記の式(1))に代入して、その評価式が成立するか否かを判別することで、入力画像の平行移動量の全候補の中から、平行移動量の絞り込みを行う(ステップST7)。
即ち、平行移動量候補選択部8は、平行移動量の全候補(x軸方向の移動ピクセル数(M通りのピクセル数)と、y軸方向の移動ピクセル数(M通りのピクセル数)の組み合わせ(全M通り))の中から、処理順序判断部7により決定された処理順序の順番に、閾値評価をすることによって、各候補を取捨選択する処理を行う。
また、スペクトル対応情報が示す対応関係と点対称となる対応関係についても同様に、各候補を取捨選択する処理を行う。
【0039】
評価式: D(m,n,k)≦Th(k) (1)
ただし、
D(m,n,k)=|E(m,n,k)−EI(m,n,k)|
E(m,n,k)=mXi/M+nYi/M+(Qk−Pi)/2π
(Tkに対応するスペクトルをSiとする)
EI(m,n,k)=E(m,n,k)の最寄りの整数
Th(k)は、ピークTkについて評価する際に使用する閾値
Piは評価対象となるピークTkと対応する周波数スペクトルSiの位相
QkはTkの位相
【0040】
平行移動量候補選択部8は、上記の評価式を満たすか否かの評価を、一度目の評価では、全てのmとnの組み合わせ(m,n)について行う。
二度目以降は、残された候補の(m,n)についてのみ行う。このようにして候補となる(m,n)を絞り込んでいくようにする。
全てのピークTkについて評価する前に候補が唯一になった場合には処理を終了する。
全てのピークTkについて評価した後で、候補が複数残されていれば、残された全ての(m,n)を可能性のある平行移動量として保持する。
点対称の不確定性の除去については、スペクトル対応情報の場合とスペクトル対応情報と点対称な場合の二通りで、平行移動量候補の絞り込みを行い、平行移動量候補の残存する方を選択することで行う。
【0041】
図7は平行移動量候補選択部8による平行移動量等判断処理の概要を示す説明図である。
閾値Th(k)については、kによらない固定値であっても、図1の画像位置特定装置は動作するが、フーリエ係数の絶対値が大きいなどの理由で、信頼できるピークTkについて評価する場合には、小さな閾値Th(k)を与えるように制御することで、閾値評価による絞込み効率を高めることができる。
最終的に平行移動量候補が残らない場合は、閾値Th(k)の値を大きくし、再度、閾値評価による平行移動量候補の絞り込みを行うことで、正解の平行移動量を拾える可能性がある。それでも、なお候補が残らない場合は、失敗として処理する。
また、全ての閾値評価を終えた後で、多くの候補が残った場合は、それらの残存候補に対して、閾値Th(k)の値を小さくして、再度、閾値評価による絞込みを行うことで絞り込めばよい。また、sを十分大きく設定しておけば(図7の例では、s=3であるが、s=30などに設定する)、1候補に絞り込める確率が一段と高まり、位置特定の信頼性が高まる。
【0042】
このように閾値評価を繰り返し、平行移動量の候補を絞り込んでいく方法では、平均的にO(M)の計算量で平行移動量の判定が可能である。
以下、簡単に、その根拠を説明する。
ただし、説明の簡単化のために、閾値Th(k)をkによらず一定値Thとする。
画像に特に偏った特性がない場合は、その画像のフーリエ変換係数の位相はランダムに分布するので、閾値Thを用いた1回の閾値評価による絞り込みで、残存する平行移動量の候補を約2Th倍にできる。よって、s回絞込みを行うことで、(2Th)倍に絞り込むことができる。
閾値評価の回数は、初回がM回であるが、2回目はM(2Th)回程度、3回目はM(2Th)回程度となり、s回目はM(2Th)s−1回程度となる。
【0043】
即ち、s個全てのスペクトルに対応するピークが検出できた場合、閾値評価回数は全部で、
+M(2Th)+M(2Th)+・・・+M(2Th)s−1
≦M/(1−2Th)=O(M
となり、sの値にかかわらずO(M)に抑えられる。
よって、この方法による平行移動量の特定は平均的にO(M)の計算量となる。このため、O(M)の計算量を必要とする相関演算を利用する平行移動量判定と比べて高速に処理することができる。
また、特許文献1に記載の方式のようにO(M)の計算量で平行移動量判定する方式と比べても、三角関数のような複雑な演算によらず、四則演算と閾値評価で、平行移動量判定ができる点で、幾分か高速に処理することができる。
【0044】
以上によって、拡大縮小情報、回転情報、反転情報、平行移動情報、点対称情報が出揃う。また、回転情報と点対称情報から正しい回転情報が得られる。
そのため、正しい拡大率(拡大縮小が有の場合)、正しい回転角(回転が有の場合)、正しい原点から反転軸に向かう垂線の仰角(反転が有の場合)、正しい平行移動量が得られる。
図1の画像位置特定装置の目的は、電子透かしデータの検出のための位置合わせであるから、通常は、図1の画像位置特定装置が、電子透かしデータ検出装置の一部として実装される。
電子透かしデータは、画像の一部しか残されていない場合であっても検出可能となるよう、通常は規則正しい繰り返しをもつ状態で埋め込まれている(図8を参照)。
【0045】
図8では、位置合わせ信号パターンと同じサイズ(256ピクセル×256ピクセル)の電子透かしデータを、位置合わせ信号パターンの繰り返しに合わせて埋め込む例を示している。
このとき、電子透かしデータは、位置合わせ信号パターンに重ねて、輝度に埋め込まれていても、色差成分など他の成分に埋め込まれていてもよい。電子透かしデータの埋込方式や検出方式については本発明の範囲外であるが、繰り返し周期を合わせておきさえすれば、図1の画像位置特定装置によって得た情報で位置合わせをすることで、検出が可能になる。
【0046】
ここまでの説明では、平行移動等判断部6の平行移動量候補選択部8が、閾値評価で選別したスペクトル対応情報の通りの場合の平行移動量候補と、スペクトル対応情報と点対称な場合の平行移動量候補を比較し、残存している方を選択するとともに、どちらの候補が残存したかで、点対称の不確定性を解消するようにしている。
しかし、スペクトル対応情報の通りの場合と、スペクトル対応情報と点対称な場合で、どちらも平行移動量候補が残存する場合もある。
このような場合に、閾値Th(k)を変動させて残存候補数を調整することにより、片方の場合しか候補が残存しない結果を得るまで繰り返す方法もあるが、スコアを用いる方法もある。
【0047】
例えば、各平行移動量候補が閾値評価をクリアするとともに、評価値D(m,n,k)が閾値Th(k)に対して、どれだけ余裕があったか(例えば、Th(k)−D(m,n,k))を加算していくことでスコアをつける。
このようにスコアをつければ、最終的に残存した平行移動量候補の中で、スコアの高いものほど、閾値評価を余裕を持ってクリアしたことになり、正解の平行移動量である可能性が高いことになる。
最終的に、スペクトル対応情報の通りの場合と、スペクトル対応情報と点対称な場合の双方で残存した候補の中で、スコアの最も高いものを最終的に平行移動量として選択する方法が考えられる。この方法では、複数の平行移動量候補が残存しても閾値を再設定して閾値評価をやり直したりする必要がないため、処理が高速化されるメリットがある。
【0048】
ここまでの説明では、入力画像をデジタル非圧縮輝度画像としているが、YCbCr形式やRGB形式に代表されるカラー画像であってもよい。
このような場合でも、例えば、YやRなど一つの成分を選択し、その1成分からなる画像データを非圧縮輝度画像と見立てることで、図1の画像位置特定装置を適用することができる。ただし、事前に、どの画像成分に位置合わせ信号パターンが埋め込まれているかを知っておかなければならない。
例えば、RGB形式のG成分に位置合わせ信号パターンが埋め込まれている場合には、YCbCr形式の画像の位置合わせをする際に、まず、その画像をRGB形式に変換し、その上で、G成分に対して、図1の画像位置特定装置を適用する(G成分だけからなる画像を入力画像として、図1の画像位置特定装置に与える)ことで、位置合わせが可能になる。
【0049】
また、入力画像がJPEGやGIFなど、何らかの符号化方式(圧縮方式)により符号化(圧縮)されている場合は、復号化(伸張)してから、対象となる非圧縮成分に着目して、図1の画像位置特定装置を適用すればよい。このように、図1の画像位置特定装置は、色の有無や色空間形式、画像の圧縮/非圧縮によらずに適用することができる。
【0050】
ここまでの説明では、パターンサイズ(M)とスペクトル情報(s、Si、Xi、Yi、i∈[1,s])を既定として、その設定方法については特に触れていないが、通常は、方式上、固定にしておき、その固定のパラメータで位置合わせ信号パターンが埋め込まれているという前提の下で入力画像を処理する。
それ以外の実装方法として、例えば、鍵(何ビットかのデータ)を定めておき、その鍵から一意に定まるM、s、Si、Xi、Yi等のパラメータを使用して動作するように、図1の画像位置特定装置を構成することもできる。
このようにすると、位置合わせ信号パターンを埋め込む際に使用した鍵を知っている場合に限り、位置合わせが可能となる方式を実現することができる。
【0051】
入力画像に埋め込まれている位置合わせ信号パターンを生成する鍵と異なる鍵を使用した場合には、正しくないパラメータで位置合わせを試みてしまうため、正しい結果に到達することができない。
鍵からパラメータ群(M、s、Si、Xi、Yi)への写像は、ランダム性を高めるため、ハッシュ関数を介するようにする方がよく、こうすることで、パラメータ群は予測困難となり、偶然のパラメータの一致などが期待される状況の発生を抑え、安全性を高めることができる。位置合わせができなければ、勿論、位置合わせ後の電子透かしデータの検出も失敗する。したがって、このように鍵を使用することにより、電子透かしデータの秘匿性が増すという効果が得られる。
【0052】
ここまでの説明では、画像切り出し部1により切り出された1つの部分画像から位置合わせを行うものを示したが、画像切り出し部1が、異なる複数の部分画像を切り出し、複数の部分画像のそれぞれについて、これまで説明してきた方法によって位置合わせを行い、得られた結果を総合的に判断することで最終的な拡大縮小情報、回転情報、反転情報、平行移動情報、点対称情報を得るようにすることもできる。
このようにすると、一部の部分画像において、位置合わせ信号パターンの劣化が激しく、正確な情報が得られない場合であっても、拡大縮小有無、回転有無、反転有無、点対称情報の多数決を取ったり、拡大率、回転角、原点から反転軸に向かう垂線の仰角の平均を取ったりすることにより、各種情報の精度を高めることができる。
平行移動量については、部分画像の位置によって大きく異なる値となるが、部分画像の位置変動分を補正した上で平均を取ることで、精度を高めることができる。
【0053】
ここまでの説明では、図1の画像位置特定装置が、拡大等判断部5を実装している構成を示したが、画像位置特定装置が、拡大等判断部5を実装していない構成も可能である。
この場合、拡大縮小情報、回転情報、反転情報を得ることができないので、切取と180度回転のみに対応する画像位置特定装置となる。
【0054】
ここまでの説明では、平行移動量候補選択部8が、1ピクセル刻みの粒度(Mピクセルに対して、M通りの粒度)で、平行移動量を判断するものを示したが、0.5ピクセル刻みの粒度(Mピクセルに対して、2M通りの粒度)で、平行移動量を判断したり、もっと細かい粒度で判断したり、あるいは、逆に荒い粒度で判断したりすることもできる。
特に、1ピクセル未満の粒度で判断する際に、整数精度の場合と同じ式を用いた同じアルゴリズムで判断できる点は、図1の画像位置特定装置のメリットである。なぜなら、相関演算によって平行移動量を判定する方式では、画像と位置合わせ信号パターンの小数点ピクセル差での相関演算を直ちに行えず、何らかのフィルタ演算等によって実数座標位置の画素値を算出する計算が余計に必要となるからである。
【0055】
以上で明らかなように、この実施の形態1によれば、処理順序判断部7が、スペクトル対応関係算出部4により対応関係が特定されたピーク座標と周波数スペクトルの各組み合わせに対する評価処理を実行するに際して、その評価処理を実行する組み合わせの順序をピーク座標におけるフーリエ係数に基づいて決定し、平行移動量候補選択部8が、処理順序判断部7により決定された順序が先の組み合わせから順番に、当該組み合わせに係るピーク座標と周波数スペクトルを、原画像に対する入力画像の平行移動量によって評価値が変化する評価式に代入して、その評価式が成立するか否かを判別することで、入力画像の平行移動量の全候補の中から、平行移動量の絞り込みを行うように構成したので、切取の編集に伴う位置合わせの高速化を図ることができる効果を奏する。
【0056】
実施の形態2.
上記実施の形態1では、平行移動量候補選択部8が、X軸及びY軸における平行移動量m,nを同時に絞り込むものを示したが、平行移動量候補選択部8が、X軸における平行移動量mの絞り込みと、Y軸における平行移動量nの絞り込みを別々に行うことで、更なる処理の高速化を図るようにしてもよい。
画像位置特定装置の構成図及びフローチャートは、上記実施の形態1と同じである。
図9は平行移動量候補選択部8による平行移動量等判断処理の概要を示す説明図である。
【0057】
上記実施の形態1と比較して、画像切り出し部1、フーリエ変換部2、ピーク検出部3、スペクトル対応関係算出部4及び拡大等判断部5の処理内容は同様であるが、平行移動等判断部6の処理内容が相違している。
即ち、上記実施の形態1では、ピークTkに対応する周波数スペクトルをSiとし、Siの位相をPi(Si=|Si|exp(jPi))、Tkの位相をQk(Tk=|Tk|exp(jQk))とするとき、
E(m,n,k)=mXi/M+nYi/M+(Qk−Pi)/2π≒整数
(対応するSiとTkの任意の組み合わせ)
が成り立つmとnを選択するようにしている。
【0058】
これに対して、この実施の形態2では、ピークTkに対応する周波数スペクトルをSiとし、Siの位相をPi(Si=|Si|exp(jPi))、Tkの位相をQk(Tk=|Tk|exp(jQk))、Tqに対応する周波数スペクトルをSpとし、Spの位相をPp(Sp=|Sp|exp(jPp))、Tqの位相をQq(Tq=|Tq|exp(jQq))、i,p∈SetX(X)={i|Xi=X,i∈[1,s]}、i≠pとするとき、
Hy(n,k,q)=n(Yi−Yp)/M+(Qk−Pi−Qq+Pp)/2π
≒整数(対応するSiとTk、SpとTqの任意の組み合わせ)
が成り立つnを選択するようにしている。
また、i,p∈SetY(Y)={i|Yi=Y,i∈[1,s]}、i≠pとするとき、
Hx(m,k,q)=m(Xi−Xp)/M+(Qk−Pi−Qq+Pp)/2π
≒整数(対応するSiとTk、SpとTqの任意の組み合わせ)
が成り立つmを選択するようにしている。
これにより、平行移動量が明らかとなり、入力画像と原画像の位置合わせが完了する。
【0059】
以下、この実施の形態2における平行移動等判断部6の処理順序判断部7及び平行移動量候補選択部8の処理内容を具体的に説明する。
処理順序判断部7は、上記実施の形態1と同様に、スペクトル対応関係算出部4により対応関係が特定されたピーク座標と周波数スペクトルの各組み合わせに対する評価処理(平行移動量候補選択部8における評価処理)を実行するに際して、その評価処理を実行する組み合わせの順序をピーク座標におけるフーリエ係数に基づいて決定する。
ただし、処理順序判断部7は、上記実施の形態1と異なり、一度の評価処理に用いるピーク座標と周波数スペクトルの組み合わせが2つずつであるため、2つずつの組み合わせの順序を決定する。
例えば、ピーク点におけるフーリエ係数の絶対値が最大である組み合わせと、その他のピーク点との組み合わせについて、絶対値が最大でない方のピーク点は、フーリエ係数の絶対値が大きいものから順に組み合わせるものとする。
【0060】
x軸方向の位置合わせには、T1(S1に対応)、T2(S2に対応)、T3(S2の共役複素数に対応)、T4(S3に対応)又はT8(S3の共役複素数に対応)を使用することができる。このうち、フーリエ係数の絶対値が最も高いのは、T2である。したがって、T2と他のピークとの組み合わせを使用する。
T1とT4では、フーリエ係数の絶対値が同じである。よって、どの順序でもよい。
例えば、x軸方向の位置合わせは(T2, T1)、(T2, T4)の順で行えばよい。一方、y軸方向の位置合わせには、T1(S1に対応)、T6(S5に対応)、T7(S4に対応)を使用することができる。このうち、フーリエ係数の絶対値が最も高いのは、T7である。したがって、T7と他のピークとの組み合わせを使用する。
T1とT6では、フーリエ係数の絶対値はT6の方が大きい。よって、y軸方向の位置合わせは(T7, T6)、(T7, T1)の順で行う。
【0061】
平行移動量候補選択部8は、x軸方向とy軸方向の平行移動量の全候補、即ち、x軸方向の移動ピクセル数(M通りのピクセル数)と、y軸方向の移動ピクセル数(M通りのピクセル数)の中から、処理順序判断部7により決定された処理順序の順番に、閾値評価をすることによって、x軸方向の各候補の取捨選択と、y軸方向の各候補の取捨選択とを別々に行う。
また、スペクトル対応情報が示す対応関係と点対称となる対応関係についても同様に、x軸方向の各候補の取捨選択と、y軸方向の各候補の取捨選択とを別々に行う。
【0062】
具体的には、平行移動量候補選択部8が、下記の式(2)の評価式が成立するか否かを判別することで、x軸方向の各候補の取捨選択を行い、下記の式(3)の評価式が成立するか否かを判別することで、y軸方向の各候補の取捨選択を行う。
【0063】
評価式: Dx(m,k,q)≦Thx(k,q) (2)
ただし、
Dx(m,k,q)=|Hx(m,k,q)−HxI(m,k,q)|
Hx(m,k,q)=E(m,n,k)−G(m,n,q)
=m(Xi−Xp)/M+(Qk−Pi−Qq+Pp)/2π
(Yi=Yp, i∈SetY(Yi), p∈SetY(Yi))
E(m,n,k)=mXi/M+nYi/M+(Qk−Pi)/2π
(Tkに対応するスペクトルをSiとする)
G(m,n,q)=mXp/M+nYp/M+(Qq−Pp)/2π
(Tqに対応するスペクトルをSpとする)
HxI(m,k,q)=Hx(m,k,q)の最寄りの整数
【0064】
評価式: Dy(n,k,q)≦Thy(k,q) (3)
ただし、
Dy(n,k,q)=|Hy(n,k,q)−HyI(n,k,q)|
Hy(n,k,q)=E(m,n,k)−G(m,n,q)
=n(Yi−Yp)/M+(Qk−Pi−Qq+Pp)/2π
(Xi=Xp, i∈SetX(Xi), p∈SetX(Xi))
HyI(n,k,q)=Hy(n,k,q)の最寄りの整数
【0065】
ここで、Thx(k,q)及びThy(k,q)は、それぞれx軸方向及びy軸方向の平行移動量を絞り込む際に、TkとTqの組み合わせの評価に用いる閾値である。
式(2)の評価式を満たすか否かの評価を、x軸方向の平行移動量について行う場合、一度目の評価では全てのmについて行い、二度目以降は残されたmについてのみ行う。
式(3)の評価式を満たすか否かの評価を、y軸方向の平行移動量について行う場合、一度目の評価では全てのnについて行い、二度目以降は残されたnについてのみ行う。
このようにして候補となるmとnを別々に絞り込んでいくようにする。
全てのTkとTqの組み合わせについて評価する前に候補が唯一になった場合は処理を終了する。
全てのTkについて評価した後で、候補が複数残されていれば、残された全てのmやnを可能性のある平行移動量として保持する。
点対称の不確定性の除去については、スペクトル対応情報の場合とスペクトル対応情報と点対称な場合の二通りで、平行移動量候補の絞り込みを行い、平行移動量候補の残存する方を選択することで行う。
【0066】
このように閾値評価を繰り返し、平行移動量の候補を絞り込んでいく方法では、平均的にO(M)の計算量で平行移動量の判定が可能である。
以下、簡単に、その根拠を説明する。
ただし、説明の簡単化のために、閾値Thx(k,q)や閾値Thy(k,q)をkによらず一定値Thとする。
画像に特に偏った特性がない場合は、その画像のフーリエ変換係数の位相はランダムに分布するので、閾値Thを用いた1回の閾値評価による絞り込みで、残存する平行移動量の候補を約2Th倍にできる。よって、x軸方向でもy軸方向でも、検討すべき平行移動量はMなので、この絞込みを繰り返していくと、この閾値評価回数は全部で、
M+M(2Th)+M(2Th)+・・・≦M/(1−2Th)=O(M)
となり、sの値にかかわらずO(M)に抑えられる。
この実施の形態2では、x軸方向とy軸方向について別々に行うが、単に評価回数は2倍になるだけであり、計算量がO(M)であることに変わりはない。このため、上記実施の形態1よりも、高速に平行移動量の判定を行うことができる。
【0067】
ここまでの説明では、ピーク検出部3が、上記実施の形態1と同様に動作をするものとしているが、図12(b)のように、同一直線上に複数の周波数スペクトル座標が存在するように位置合わせ信号パターンが設定されている入力画像を扱うことが前提である。
よって、上記実施の形態1のピーク検出部3により検出されたピークをそのまま使用するのではなく、検出された複数のピークからの距離が小さくなるような直線(例えば、複数のピークから求まる回帰直線)に向けて引いた、それらピークの垂線と直線の交点(垂点)をピークとするピーク座標を生成する方法もある。このようにすることで、直線上からずれて検出されたピークを直線上へ補正する効果が期待され、ピーク座標の精度を高めることができる。
【0068】
実施の形態3.
図10はこの発明の実施の形態3による位置合わせ信号埋込装置を示す構成図である。
図10において、逆フーリエ変換部11はスペクトル情報を逆フーリエ変換して、入力されたパターンサイズの位置合わせ信号パターンを生成する処理を実施する。
逆フーリエ変換部11により逆フーリエ変換されるスペクトル情報が示すs個の周波数スペクトルSi(i∈[1,s])の中には、図12(b)に示すように、X座標又はY座標を同じくする関係がある複数の周波数スペクトルが含まれていることがある(例えば、周波数スペクトルS1,S2,S3はX座標が同じであり、周波数スペクトルS1,S4,S5はY座標が同じである)。
なお、逆フーリエ変換部11は位置合わせ信号パターン生成手段を構成している。
強度調整部12は原画像の画像的特徴に応じて、逆フーリエ変換部11により生成された位置合わせ信号パターンの強度を調整する処理を実施する。なお、強度調整部12は強度調整手段を構成している。
埋込部13は強度調整部12により強度が調整された位置合わせ信号パターンを原画像に埋め込む処理を実施する。なお、埋込部13は位置合わせ信号パターン埋込手段を構成している。
【0069】
図10の例では、位置合わせ信号埋込装置の構成要素である逆フーリエ変換部11、強度調整部12及び埋込部13のそれぞれが専用のハードウェア(例えば、CPUを実装している半導体集積回路、あるいは、ワンチップマイコンなど)で構成されているものを想定しているが、位置合わせ信号埋込装置がコンピュータなどで構成される場合には、逆フーリエ変換部11、強度調整部12及び埋込部13の処理内容を記述しているプログラムの全部又は一部をコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。
図11はこの発明の実施の形態1による位置合わせ信号埋込装置の処理内容(位置合わせ信号埋込方法)を示すフローチャートである。
【0070】
次に動作について説明する。
この実施の形態3では、図1の画像位置特定装置が位置合わせを行うことができる位置合わせ信号パターン埋め込み済みのデジタル画像を生成する位置合わせ信号埋込装置について説明する。
【0071】
逆フーリエ変換部11は、スペクトル情報とパターンサイズを入力すると、そのスペクトル情報を逆フーリエ変換して、そのパターンサイズの位置合わせ信号パターンを生成する(図11のステップST11)。
ここで、スペクトル情報は、位置合わせ信号パターンにおける周波数スペクトルの周波数平面上での座標と位相である。
逆フーリエ変換部11が逆フーリエ変換を行うには、スペクトル絶対値(振幅)も必要であるが、全てのスペクトルについて固定の絶対値を用いればよいので、特に指定する必要はない。
【0072】
スペクトル情報が、s個の周波数スペクトルSi(i∈[1,s])について、周波数スペクトルSiの周波数平面上での位置が(Xi,Yi)(Xi∈[1,M/2−1])であり、周波数スペクトルSiの位相がPi(Si=|Si|exp(jPi))であることを表しており、パターンサイズがMである場合、位置合わせ信号パターンのフーリエ変換F(X,Y)(X∈[−M/2,M/2−1],Y∈[−M/2,M/2−1])は、下記のようになる。
F(X,Y)=Si=exp(jPi)
((X,Y)∈{(Xi,Yi)|i∈[1,s]})
Siの共役複素数((X,Y)∈{(−Xi,−Yi)|i∈[1,s]})
0(その他の(X,Y))
【0073】
ここでは、周波数スペクトルSiの絶対値を1で統一しているが、他の値でもよい。これをフーリエ逆変換することで、位置合わせ信号パターンが得られるので、位置合わせ信号パターンf(x,y)(x∈[−M/2,M/2−1],y∈[−M/2,M/2−1])は、下記のようになる。
f(x,y)
=(1/M)Σ(X,Y)F(X,Y)exp(j2πxX/M)exp(j2πyY/M)
【0074】
強度調整部12は、逆フーリエ変換部11が位置合わせ信号パターンを生成すると、原画像の画像的特徴に応じて、その位置合わせ信号パターンの強度を調整し、強度調整後の位置合わせ信号パターンを埋込パターンとして出力する(ステップST12)。
原画像をImage(x,y)(x∈[0,W−1],y∈[0,H−1])とし、画素(x,y)に対する埋込強度をintensity(x,y)とすると、埋込パターンemb(x,y)(x∈[0,W−1],y∈[0,H−1])は、下記のようになる。
emb(x,y)
=truncate{intensity(x,y)
×f(((x+M/2)mod M)−M/2,((y+M/2)mod M)−M/2)
/max(x',y')|f(x’,y’)|}
ただし、truncate(z)は、例えば、四捨五入によって、zに最も近い整数を返す関数である。
【0075】
上式では、埋込パターンf(x,y)を埋込パターンの絶対値の最大値が1となるように実数倍することで正規化し、その上で、強度を掛け合わせている。
これにより、画素(x,y)に対して、適切な強度intensity(x,y)に調整された埋込パターンemb(x,y)を生成することができる。
また、位置合わせ信号パターンは、Mピクセル長の正方形であるが、これを循環的に原画像に対して適用することで、任意サイズの原画像image(x,y)に対して、埋込パターンemb(x,y)を生成することができる。
Intensity(x,y)は、通常、x、y及びimageの関数であり、原画像imageの画像的特徴が画質劣化に対して許容度が大きいと判断する場合に大きな値、そうでない場合に小さな値や0となる。このように強度を調整することによって、主観画質の劣化を抑制する効果と、埋込量を増やすことによる位置合わせ時の精度向上の効果の両立を図ることができる。
【0076】
埋込部13は、強度調整部12から埋込パターンを受けると、その埋込パターンを原画像に埋め込む処理を実施する(ステップST13)。
埋込パターンの埋込は、通常、単純な足し算である。ただし、足し算の結果が画素値の範囲を超える場合には、範囲内に切り詰める処理が加わる。
切り詰め処理は、加算の後で行ってもよいし、加算前に、原画像の全画素値に対して、max(x,y)intensity(x,y)の強度で埋め込まれても、切り詰めの必要がないように事前に行っておいてもよい。
【0077】
これまでの説明では、周波数スペクトルSiの座標(Xi,Yi)について、特に規制を課していないが、周波数スペクトルSiの座標(Xi,Yi)の間に、特定の関係が成り立つように、座標(Xi,Yi)を調整することで、位置合わせ時における処理の高速化が可能になる。
ここで、高速処理が可能となる座標(Xi,Yi)の関係とは、集合SetX及びSetYを下記のように定義したときに、maxX|SetX(X)|及びmaxY|SetY(Y)|が大きな値を取るようにすることである。
SetX(X)={i|Xi=X,i∈[1,s]}
SetY(Y)={i|Yi=Y,i∈[1,s]}
【0078】
図12は、このような関係を満たさない場合(a)と、満たす場合(b)の例を示している。
図12(b)のように、スペクトル座標を設定することにより、上記実施の形態2の画像位置特定装置で処理することが可能となる。
上記実施の形態1の画像位置特定装置による位置合わせでは、平行移動等判断部6で平均的にO(M)の計算量が必要となるのに対して、上記実施の形態2の画像位置特定装置による位置合わせでは、平行移動等判断部6で平均的にO(M)の計算量で処理することができる。
【0079】
これまでの説明では、周波数スペクトルを逆フーリエ変換して位置合わせ信号パターンを生成してから、画像上での加算によって原画像に埋込パターンを埋め込むものを示したが、フーリエ変換の線形性から明らかなように、原画像をフーリエ変換し、そこに周波数平面上で周波数スペクトルを加算してから、逆フーリエ変換によって出力画像を得ることもできる。ただし、強度調整を画像位置に応じて行うことができる点で、この実施の形態3の構成が優れている。
【0080】
これまでの説明では、図10の位置合わせ信号埋込装置が、強度調整部12を実装しているものを示したが、強度調整部12を設けない構成とすることもできる。
この場合は、位置合わせ信号パターンが、そのまま埋込パターンとなる。
また、適切な強度を事前に調整しておく必要があるため(例えば、画素値が0から255の値を取る場合、強度を1や2などに事前に調整しておく必要がある)、逆フーリエ変換部11が、位置合わせ信号パターンを出力する段階で、位置合わせ信号パターンの絶対値の最大値や平均値が設定された強度となるように実数倍する処理を加えるなどしておく必要がある。
【0081】
これまでの説明では、同時に埋め込まれる電子透かしデータを検出する際の位置合わせを可能にすることが主目的である。そのため、多くの場合は、図10の位置合わせ信号埋込装置が、電子透かしデータの埋込装置と併せて使用されるか、電子透かしデータ埋込装置の一部に組み込まれる。
その際、画像の一部が切取で失われても電子透かしデータが検出できるように、通常、電子透かしデータは繰り返し同じ埋込を適用する形で埋め込まれる。
図8は位置合わせ信号パターンの繰り返しと電子透かしデータの繰り返しを合わせている例であり、図1の画像位置特定装置によって位置合わせができれば、電子透かしデータを検出することが可能になる。
【0082】
これまでの説明では、位置合わせ信号パターンf(x,y)から埋込パターンemb(x,y)を生成する際に、位置合わせ信号パターンの左上を原画像の左上に合わせて、循環適用しているが、必ずしも左上を合わせる必要はない。ただし、位置合わせ信号パターンと同時に埋め込まれる電子透かしデータを検出できるようにすることが目的であるため、位置合わせ信号パターンと電子透かしデータは位置的に同期していなければならない。
【0083】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【0084】
1 画像切り出し部(部分画像生成手段)、2 フーリエ変換部(フーリエ変換手段)、3 ピーク検出部(ピーク座標特定手段)、4 スペクトル対応関係算出部(対応関係特定手段)、5 拡大等判断部(拡大等特定手段)、6 平行移動等判断部、7 処理順序判断部(評価順序決定手段)、8 平行移動量候補選択部(平行移動量特定手段)、11 逆フーリエ変換部(位置合わせ信号パターン生成手段)、12 強度調整部(強度調整手段)、13 埋込部(位置合わせ信号パターン埋込手段)。

【特許請求の範囲】
【請求項1】
原画像に対して編集が施されている可能性がある画像を入力し、その入力画像から一部の画像を切り出すことで、上記原画像に埋め込まれている位置合わせ信号パターンと同じ大きさの部分画像を生成する部分画像生成手段と、上記部分画像生成手段により生成された部分画像をフーリエ変換し、そのフーリエ変換結果であるフーリエ係数を出力するフーリエ変換手段と、上記フーリエ変換手段から出力されたフーリエ係数の中で、絶対値が突出しているフーリエ係数の座標であるピーク座標を特定するピーク座標特定手段と、上記位置合わせ信号パターンにおける周波数スペクトルの周波数平面上での座標であるスペクトル座標の中で、上記ピーク座標特定手段により特定されたピーク座標と対応関係があるスペクトル座標を特定する対応関係特定手段と、上記対応関係特定手段により対応関係が特定されたピーク座標と周波数スペクトルの各組み合わせに対する評価処理を実行するに際して、その評価処理を実行する組み合わせの順序を上記ピーク座標におけるフーリエ係数に基づいて決定する評価順序決定手段と、上記評価順序決定手段により決定された順序が先の組み合わせから順番に、当該組み合わせに係るピーク座標と周波数スペクトルを、上記原画像に対する上記入力画像の平行移動量によって評価値が変化する評価式に代入して、上記評価式が成立するか否かを判別することで、上記入力画像の平行移動量の全候補の中から、上記平行移動量の絞り込みを行う平行移動量特定手段とを備えた画像位置特定装置。
【請求項2】
平行移動量特定手段は、対応関係特定手段により特定された対応関係と点対称となる組み合わせに係るピーク座標と周波数スペクトルを評価式に代入して、上記評価式が成立するか否かを判別することで、入力画像の平行移動量の全候補の中から、上記平行移動量の絞り込みを行うことを特徴とする請求項1記載の画像位置特定装置。
【請求項3】
平行移動量特定手段は、最終的に絞り込んだ平行移動量に係るピーク座標と周波数スペクトルの組み合わせから点対称移動の有無を判別することを特徴とする請求項2記載の画像位置特定装置。
【請求項4】
対応関係特定手段により対応関係が特定されたピーク座標と周波数スペクトルの組み合わせから、原画像に対する入力画像の拡大縮小、回転及び反転を特定する拡大等特定手段を設けたことを特徴とする請求項1から請求項3のうちのいずれか1項記載の画像位置特定装置。
【請求項5】
平行移動量特定手段は、X軸における平行移動量の絞り込みと、Y軸における平行移動量の絞り込みを別々に行うことを特徴とする請求項1から請求項4のうちのいずれか1項記載の画像位置特定装置。
【請求項6】
複数の周波数スペクトルを逆フーリエ変換して、パターンサイズが指定のサイズの位置合わせ信号パターンを生成する位置合わせ信号パターン生成手段と、上記位置合わせ信号パターン生成手段により生成された位置合わせ信号パターンを原画像に埋め込む位置合わせ信号パターン埋込手段とを備えた位置合わせ信号埋込装置。
【請求項7】
位置合わせ信号パターン生成手段により逆フーリエ変換される複数の周波数スペクトルの中には、X座標又はY座標を同じくする関係がある複数の周波数スペクトルが含まれていることを特徴とする請求項6記載の位置合わせ信号埋込装置。
【請求項8】
原画像の画像的特徴に応じて、位置合わせ信号パターン生成手段により生成された位置合わせ信号パターンの強度を調整する強度調整手段を設け、
位置合わせ信号パターン埋込手段は、上記強度調整手段により強度が調整された位置合わせ信号パターンを原画像に埋め込むことを特徴とする請求項6または請求項7記載の位置合わせ信号埋込装置。
【請求項9】
部分画像生成手段が、原画像に対して編集が施されている可能性がある画像を入力し、その入力画像から一部の画像を切り出すことで、上記原画像に埋め込まれている位置合わせ信号パターンと同じ大きさの部分画像を生成する部分画像生成処理ステップと、フーリエ変換手段が、上記部分画像生成処理ステップで生成された部分画像をフーリエ変換し、そのフーリエ変換結果であるフーリエ係数を出力するフーリエ変換処理ステップと、ピーク座標特定手段が、上記フーリエ変換処理ステップで出力されたフーリエ係数の中で、絶対値が突出しているフーリエ係数の座標であるピーク座標を特定するピーク座標特定処理ステップと、対応関係特定手段が、上記位置合わせ信号パターンにおける周波数スペクトルの周波数平面上での座標であるスペクトル座標の中で、上記ピーク座標特定処理ステップで特定されたピーク座標と対応関係があるスペクトル座標を特定する対応関係特定処理ステップと、評価順序決定手段が、上記対応関係特定処理ステップで対応関係が特定されたピーク座標と周波数スペクトルの各組み合わせに対する評価処理を実行するに際して、その評価処理を実行する組み合わせの順序を上記ピーク座標におけるフーリエ係数に基づいて決定する評価順序決定処理ステップと、平行移動量特定手段が、上記評価順序決定処理ステップで決定された順序が先の組み合わせから順番に、当該組み合わせに係るピーク座標と周波数スペクトルを、上記原画像に対する上記入力画像の平行移動量によって評価値が変化する評価式に代入して、上記評価式が成立するか否かを判別することで、上記入力画像の平行移動量の全候補の中から、上記平行移動量の絞り込みを行う平行移動量特定処理ステップとを備えた画像位置特定方法。
【請求項10】
信号パターン生成手段が、複数の周波数スペクトルを逆フーリエ変換して、パターンサイズが指定のサイズの位置合わせ信号パターンを生成する位置合わせ信号パターン生成処理ステップと、位置合わせ信号パターン埋込手段が、上記位置合わせ信号パターン生成処理ステップで生成された位置合わせ信号パターンを原画像に埋め込む位置合わせ信号パターン埋込処理ステップとを備えた位置合わせ信号埋込方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate


【公開番号】特開2012−147180(P2012−147180A)
【公開日】平成24年8月2日(2012.8.2)
【国際特許分類】
【出願番号】特願2011−3068(P2011−3068)
【出願日】平成23年1月11日(2011.1.11)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】