説明

電子透かし埋込装置及び電子透かし検出装置、並びに電子透かし埋込方法及び電子透かし検出方法

【課題】 高い知覚不可能性、秘匿性、及び頑健性を実現することができる電子透かし埋込装置及び電子透かし検出装置、並びに電子透かし埋込方法及び電子透かし検出方法を提供する。
【解決手段】
電子透かし埋込装置1は、蝸牛遅延特性を模擬した蝸牛遅延フィルタ102a及び102bを用いて、デジタルデータである音響信号に位相変調を施す位相変調手段と、位相変調が施された音響信号に、電子透かしデータを埋め込む電子透かし埋込手段103とを備える。また、電子透かし検出装置2は、原信号である音響信号と透かし入り音響信号の位相スペクトルとの位相差を検出する位相差検出手段202を備え、当該位相差に基づいて、音響信号に埋め込まれた電子透かしデータを検出する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、デジタルデータである音響信号に電子透かしを埋め込む電子透かし埋込装置及びその埋め込まれた電子透かしを検出する電子透かし検出装置、並びに電子透かし埋込方法及び電子透かし検出方法に関する。
【背景技術】
【0002】
近年では、インターネット等の通信ネットワークの普及に伴い、デジタル音楽コンテンツの配信サービス等が提供されるようになっている。しかしながら、デジタル音楽コンテンツの場合、音質をほとんど劣化することなく複製することが可能であるため、違法コピーが横行し、社会問題となっている。そこで、デジタル音楽コンテンツの著作権を保護するための技術として、著作権情報またはシリアルナンバー等の付加情報(電子透かしデータ)を音響信号に埋め込むことにより、違法コピー等の防止及び追跡等を図ることができる電子音響透かし技術が注目されている。
【0003】
電子音響透かし技術としては、例えば、(1)エコーハイディング法(非特許文献1を参照)、(2)周期的位相変調法(非特許文献2及び特許文献1を参照)等が提案されている。これらは何れも、聴覚の特性、特にマスキング特性を利用したものである。より具体的には、(1)エコーハイディング法が、一つの音源信号とその反射音(エコー信号)との時間差に電子透かしデータを埋め込む技術であるのに対し、(2)周期的位相変調法は、人間が緩やかな位相変調に鈍感であるという特性を利用して、周期的な位相変化に電子透かしデータを埋め込む技術である。
【0004】
ところで、人間の聴覚が備える特性の一つに、蝸牛遅延特性と呼ばれるものがある。音信号が蝸牛内(前庭階及び鼓室階にある非圧縮性のリンパ液内)を伝搬するときに、それらの二つの階の間の圧力差によって生じる蝸牛の基底膜の振動には、信号の周波数に依存して、多少の時間差がみられる。この現象が蝸牛遅延であり、音信号の周波数が低いほど遅延が長くなることが知られている。
【0005】
非特許文献3においては、上記の蝸牛遅延と音の同時性判断との間にどのような関係があるのかが検討されている。具体的には、(a)通常(蝸牛遅延操作なし)の調波複合音、(b)蝸牛の基底膜上において蝸牛遅延を打ち消すような群遅延を与えた調波複合音、(c)蝸牛遅延を増長するような群遅延を与えた調波複合音の三つの複合音を用いて聴覚心理物理実験を行い、その実験結果に基づいて、蝸牛遅延が音の同時性判断にどのような影響を与えるのかが検討されている。この非特許文献3では、複合音(b)よりも、複合音(c)を用いた場合の方が、複合音(a)と同等の同時性判断を示すことが明らかにされている。
【非特許文献1】Daniel Gruhl, Anthony Lu Walter Bender, “Echo Hiding,”Proc. Information Hiding 1st Workshop, pp.295-315, Cambridge Univ., 1996
【非特許文献2】西村竜一、鈴木陽一、「周期的位相変調に基づく音響電子透かし」、日本音響学会誌、vol.60、no.5、pp.269-272、2004
【非特許文献3】E. Aiba, S. Tanaka, M. Tsuzaki, and M. Unoki, “Judgment of perceptual synchrony between two pulses and its relation to the cochlear delays,” Proc. Fechner day 2007, 211-214, 2007
【特許文献1】特許第3627022号
【発明の開示】
【発明が解決しようとする課題】
【0006】
一般に、電子音響透かしでは、知覚不可能性(電子透かしデータを埋め込んだ場合でも、音質の劣化がないこと)、秘匿性(許可された者のみが、埋め込んだ電子透かしデータを取り出すことができること)、及び頑健性(信号変形処理をかけても、電子透かしデータを頑健に検出することができること)が要求されている。
【0007】
上記(1)のエコーハイディング法は、エコー時間の選択を適切に行うことにより、比較的高い知覚不可能性及び頑健性を実現することができる。しかしながら、電子透かしデータの検出が非常に容易であるため、秘匿性に問題がある。
【0008】
他方、上記(2)の周期的位相変調法の場合、2次の無限インパルス応答(IIR:Infinite Impulse Response)型全域通過フィルタを利用して周期的な位相変調を行うことにより、比較的高い秘匿性及び頑健性を実現することができる。しかしながら、音響信号(特に打楽器系の楽器音が含まれる音響信号)によっては、高周波数領域における位相変化が検知され得るため、埋め込まれた電子透かしデータが容易に知覚される場合がある。そのため、周期的位相変調法では、知覚不可能性に問題があるといえる。
【0009】
本発明は斯かる事情に鑑みてなされたものであり、その主たる目的は、上記の蝸牛遅延特性に基づいて、知覚不可能性、秘匿性、及び頑健性を満足する電子透かし埋込装置及び電子透かし検出装置、並びに電子透かし埋込方法及び電子透かし検出方法を提供することにある。
【課題を解決するための手段】
【0010】
人間の聴覚系においては、通常の音と蝸牛遅延を増長したような音との区別が困難であることを、非特許文献3の実験結果が示唆している点に、本発明者等は着目した。そして、蝸牛遅延特性にしたがった群遅延(蝸牛遅延)を利用して電子透かしデータを音響信号に埋め込むことにより、埋め込まれた電子透かしデータを知覚されにくくすることが可能であることを知見した。本発明は、このような知見に基づいてなされたものであり、その要旨は以下のとおりである。
【0011】
本発明の一の態様の電子透かし埋込装置は、蝸牛遅延特性を模擬した蝸牛遅延フィルタを用いて、デジタルデータである音響信号に位相変調を施す位相変調手段と、前記位相変調が施された音響信号に、電子透かしデータを埋め込む電子透かし埋込手段とを備える。
【0012】
このように、蝸牛遅延特性を利用して音響信号に電子透かしデータを埋め込むことにより、電子透かしデータを人間に知覚されにくくすることができる。
【0013】
この態様において、前記蝸牛遅延フィルタが、1次の無限インパルス応答型全域通過フィルタにより構成されていてもよい。
【0014】
また、この態様において、前記位相変調手段が、複数の異なる蝸牛遅延フィルタを用いて音響信号に位相変調を施すことにより、複数の異なる位相変調された音響信号を生成するように構成されており、前記電子透かし埋込手段が、電子透かしデータに応じて、前記複数の異なる位相変調された音響信号の中から一の音響信号を選択し、選択した音響信号同士を接合することにより、電子透かしデータを埋め込むように構成されていてもよい。
【0015】
また、この態様において、複数の異なる蝸牛遅延フィルタのそれぞれが、人間の聴覚に生じる蝸牛遅延の0倍乃至1/2倍の群遅延を音響信号に付与するように構成されていてもよい。
【0016】
さらに、この態様において、前記電子透かし埋込手段が、前記選択した音響信号同士を荷重和することにより、当該音響信号同士を接合するように構成されていてもよい。
【0017】
本発明の一の態様の電子透かし検出装置は、デジタルデータである音響信号に対して上記態様の電子透かし埋込装置によって電子透かしデータが埋め込まれた場合に、電子透かしデータが埋め込まれる前の音響信号と埋め込まれた後の音響信号との位相差を検出する位相差検出手段と、当該位相差検出手段によって検出された位相差に基づいて、音響信号に埋め込まれた前記電子透かしデータを検出する電子透かし検出手段とを備える。
【0018】
また、本発明の他の態様の電子透かし検出装置は、デジタルデータである音響信号に対して上記態様の電子透かし埋込装置によって電子透かしデータが埋め込まれた場合に、電子透かしデータが埋め込まれる前の音響信号と埋め込まれた後の音響信号との位相差を検出する位相差検出手段と、当該位相差検出手段によって検出された位相差に基づいて、電子透かしデータが埋め込まれた音響信号が、前記複数の異なる蝸牛遅延フィルタのうちの何れの蝸牛遅延フィルタによって位相変調された音響信号であるのかを判別する判別手段と、前記判別手段による判別結果に基づいて、音響信号に埋め込まれた前記電子透かしデータを検出する電子透かし検出手段とを備える。
【0019】
本発明の一の態様の電子透かし埋込方法は、蝸牛遅延特性を模擬したデジタルフィルタを用いて、デジタルデータである音響信号に位相変調を施すステップと、前記位相変調が施された音響信号に、電子透かしデータを埋め込むステップとを有する。
【0020】
本発明の一の態様の電子透かし検出方法は、デジタルデータである音響信号に対して上記態様の電子透かし埋込方法によって電子透かしデータが埋め込まれた場合に、電子透かしデータが埋め込まれる前の音響信号と埋め込まれた後の音響信号との位相差を検出するステップと、前記検出された位相差に基づいて、音響信号に埋め込まれた前記電子透かしデータを検出するステップとを有する。
【発明の効果】
【0021】
本発明に係る電子透かし埋込装置及び電子透かし検出装置、並びに電子透かし埋込方法及び電子透かし検出方法によれば、高い知覚不可能性、秘匿性、及び頑健性を有する電子音響透かしを実現することができる。
【発明を実施するための最良の形態】
【0022】
以下、本発明の好ましい実施の形態を、図面を参照しながら説明する。
【0023】
(実施の形態1)
実施の形態1に係る電子透かし埋込装置は、音響信号に対して電子透かしデータを1ビット単位で埋め込む電子透かし埋込装置であり、また、実施の形態1に係る電子透かし検出装置は、音響信号から1ビット単位で電子透かしデータを検出する電子透かし検出装置である。
【0024】
[電子透かし埋込装置の構成]
図1は、本発明の実施の形態1に係る電子透かし埋込装置の構成を示すブロック図である。図1に示すように、電子透かし埋込装置1は、CPU11、ROM12、RAM13、信号入力部14、信号出力部15及びハードディスク16を備えており、これらのCPU11、ROM12、RAM13、信号入力部14、信号出力部15及びハードディスク16は、バス17によって接続されている。
【0025】
CPU11は、ROM12及びハードディスク16に記憶されているコンピュータプログラムを実行する。これにより、電子透かし埋込装置1は、後述するような動作を実行し、音響信号に対する電子透かしデータの埋め込みを実現する。
【0026】
ROM12は、マスクROM、PROM、EPROM、又はEEPROM等によって構成されており、CPU11によって実行されるコンピュータプログラム及びこれに用いられるデータ等を記憶している。
【0027】
RAM13は、SRAMまたはDRAM等によって構成されており、ハードディスク16に記憶されているプログラムの読み出しに用いられる。また、RAM13は、CPU11がコンピュータプログラムを実行するときに、CPU11の作業領域としても利用される。
【0028】
信号入力部14は、処理対象となる原信号である音響信号及びその音響信号に埋め込まれる電子透かしデータの入力を、外部の装置から受け付ける。また、信号出力部15は、信号入力部14に入力された原信号である音響信号及び電子透かしデータが埋め込まれた音響信号(以下、「透かし入り音響信号」という)を外部の装置へ出力する。
【0029】
なお、本実施の形態においては、原信号である音響信号はデジタルデータである。しかし、当該音響信号がアナログデータであってもよく、その場合は、A/D変換機能を備えた信号入力部14が、入力された音響信号をA/D変換することによりデジタルデータに変換した上で、その後の処理を行うようにすればよい。
【0030】
ハードディスク16には、オペレーティングシステム及びアプリケーションプログラム等、並びにCPU11に実行させるための種々のコンピュータプログラムおよび当該コンピュータプログラムの実行に用いられるデータ等がインストールされている。このコンピュータプログラムには、電子透かしデータの埋め込みを行うための電子透かし埋込プログラム16Aが含まれる。
【0031】
ハードディスク16にインストールされる電子透かし埋込プログラム16Aは、フレキシブルディスクドライブ、CD−ROMドライブ、またはDVD−ROMドライブ等の外部記憶装置(図示せず)を介して、可搬型記録媒体から読み出される。
【0032】
なお、このように可搬型記録媒体によって提供されるのみならず、電気通信回線(有線、無線を問わない)を介して電子透かし埋込装置1と通信可能に接続された外部の装置から電子透かし埋込プログラム16Aを提供することも可能である。例えば、電子透かし埋込プログラム16Aがインターネット上のサーバコンピュータのハードディスク内に格納されている場合において、このサーバコンピュータに電子透かし埋込装置1がアクセスして、当該コンピュータプログラムをダウンロードし、これをハードディスク16にインストールすることも可能である。
【0033】
ハードディスク16には、例えば米マイクロソフト社が製造販売するWindows(登録商標)等のマルチタスクオペレーティングシステムがインストールされている。以下の説明において、本実施の形態に係る電子透かし埋込プログラム16Aは当該オペレーティングシステム上で動作するものとする。
【0034】
[電子透かし検出装置の構成]
図2は、本発明の実施の形態1に係る電子透かし検出装置の構成を示すブロック図である。図2に示すように、電子透かし検出装置2は、上記の電子透かし埋込装置1と同様に、CPU21、ROM22、RAM23、信号入力部24、及びハードディスク25を備えており、これらのCPU21、ROM22、RAM23、信号入力部24及びハードディスク25は、バス26によって接続されている。
【0035】
CPU21、ROM22及びRAM23のそれぞれについては、電子透かし埋込装置1が備えるCPU11、ROM12及びRAM13と同様であるので、説明を省略する。
【0036】
信号入力部24は、原信号である音響信号及び透かし入り音響信号の入力を外部の装置から受け付ける。これらの音響信号及び透かし入り音響信号は、信号入力部24に対して電子透かし埋込装置1から直接入力されてもよく、他の装置及び/又は通信ネットワーク等を介して入力されてもよい。
【0037】
ハードディスク25には、電子透かし埋込装置1の場合と同様に、オペレーティングシステム及びCPU11に実行させるための種々のコンピュータプログラム等がインストールされている。このコンピュータプログラムには、電子透かしデータの検出を行うための電子透かし検出プログラム25Aが含まれる。
【0038】
電子透かし埋込プログラム16Aの場合と同様に、ハードディスク25にインストールされる電子透かし検出プログラム25Aは、可搬型記録媒体によって提供されてもよく、電気通信回線を介して提供されてもよい。また、この電子透かし検出プログラム25Aは、電子透かし埋込プログラム16Aの場合と同様に、ハードディスク25にインストールされているオペレーティングシステム上で動作するものとする。
【0039】
次に、これらの電子透かし埋込装置1及び電子透かし検出装置2の構成を、図3の機能ブロック図を参照しながら説明する。
図3に示すように、電子透かし埋込装置1は、電子透かしデータを所定の表現のデータに変換する符号化部101と、2つの蝸牛遅延フィルタ102a及び102bと、後述する選択的荷重和処理を実行する選択的荷重和接合部103とを備えている。なお、本実施の形態において、これらの符号化部101、蝸牛遅延フィルタ102a及び102b、並びに選択的荷重和接合部103は、CPU11が電子透かし埋込プログラム16Aを実行することによって実現される。
【0040】
[蝸牛遅延フィルタ]
以下、蝸牛遅延フィルタ102a及び102bの詳細について説明する。これらの蝸牛遅延102a及び102bは、人間の聴覚の蝸牛遅延特性を模擬したデジタルフィルタであり、具体的には、振幅成分にはまったく影響を与えず、位相特性のみを変化させる全域通過フィルタで構成される。
【0041】
本実施の形態において、蝸牛遅延フィルタ102a及び102bは、以下の式1の伝達関数H(z)により定義される1次の無限インパルス応答型全域通過フィルタで構成される。
H(z)=(−b+z−1)/(1−bz−1) … 式1
ここで、bはフィルタ係数を表している。
このように、蝸牛遅延フィルタ102a及び102bを1次の無限インパルス応答型全域通過フィルタで構成することにより、高速な処理が可能になる。
【0042】
なお、無限インパルス応答型全域通過フィルタの群遅延特性が蝸牛遅延特性をより正確に表していれば、フィルタ次数は1次以上であってもよく、また、フィルタのカスケード段数は1段以上であってもよい。
【0043】
図4は、本発明の実施の形態1における電子透かし埋込装置1が備える蝸牛遅延フィルタ102a及び102bの特性を示すグラフである。図4において、縦軸は群遅延を、横軸は音響信号の周波数をそれぞれ示している。
【0044】
図4において、破線は、人間の聴覚における蝸牛遅延を1/10倍に縮小した蝸牛遅延特性を示している。また、実線aは、フィルタ係数b=0.795の場合に上記式1により定義される蝸牛遅延フィルタ102aの特性を示し、実線aは、フィルタ係数b=0.8の場合に同じく定義される蝸牛遅延フィルタ102bの特性を示している。
【0045】
なお、図4において破線で示されている蝸牛遅延特性は、「T. Dau, O. Wegner, V. Mellert, and B. Kollmeier, “Auditory brainstem responses (ABR) with optimized chirp signals compensating basilar membrane dispersion,” J. Acoust. Soc. Am., 107, 1530-1540, 2000」を参考にして定めたものである。
【0046】
以上より、蝸牛遅延フィルタ102a及び102bを音響信号にかけると、実際の蝸牛遅延の1/10倍の蝸牛遅延を当該音響信号に付与することになる。したがって、人間の実際の蝸牛遅延特性を近似するためには、このような蝸牛遅延フィルタを10段カスケード接続する必要がある。しかし、実際と同様の蝸牛遅延量を音響信号に与えることにすると、その音響信号を知覚する際の群遅延量は実際の蝸牛遅延量の2倍になってしまうため、遅延が大きすぎると考えられる。そこで、本実施の形態においては、上記のように実際の蝸牛遅延の1/10倍の蝸牛遅延を音響信号に与えることにしている。
【0047】
[電子透かし埋込装置及び電子透かし検出装置の動作]
次に、上述したように構成された本実施の形態の電子透かし埋込装置1及び電子透かし検出装置2の動作について、図4及び図5に示すフローチャートと図3とを参照しながら説明する。
【0048】
[電子透かし埋込処理]
図5は、本発明の実施の形態1における電子透かし埋込装置1が実行する電子透かし埋込処理の手順を示すフローチャートである。
電子透かし埋込装置1は、符号化部101において、外部から入力された電子透かしデータを、2進数表現のデータに変換する(S101)。ここで、電子透かしデータとしては、例えば著作権者名等の著作権情報またはシリアルナンバー等が挙げられる。
このようにして2進数表現に変換された電子透かしデータは、選択的荷重和接合部103に出力される。
【0049】
次に、電子透かし埋込装置1は、蝸牛遅延フィルタ102a及び102bを用いて、外部から入力された音響信号(原信号)に対して位相変調を施す(S102)。その結果、人工的に蝸牛遅延が付加された二つの音響信号が生成されることになる。
このようにして蝸牛遅延フィルタ102a及び102bを用いて位相変調された二つの音響信号は、選択的荷重和接合部103に出力される。
【0050】
次に、電子透かし埋込装置1は、選択的荷重和接合部103において、以下のような選択的荷重和処理を実行して電子透かしデータを、位相変調された音響信号に埋め込む(S103)。
選択的荷重和処理では、電子透かしデータのビットが0のときは蝸牛遅延フィルタ102aから出力された音響信号が、1のときは蝸牛遅延フィルタ102bから出力された音響信号がそれぞれ選択される。そして、これらの選択された音響信号同士が接合されることにより、電子透かしデータが埋め込まれた透かし入り音響信号が生成される。
【0051】
ここで、その接合した部分において急激な位相変化が起こらないように、音響信号同士を荷重和することにより、音響信号の接合が行われる。この荷重和処理は、例えばramped-cosの荷重を付与する等して行われる。このような荷重和処理を行うことにより、透かし入り音響信号の歪みが軽減される。
【0052】
以上の電子透かし埋込処理を式で表すと次のようになる。図6に示す概念図も参照しながら説明する。なお、以下において、nはサンプリング番号を、kは音響信号のフレーム番号をそれぞれ示している。
まず、ステップS101において、電子透かしデータが2進数表現のデータs(k)へと変換される。
【0053】
次に、原信号である音響信号をx(n)とし、蝸牛遅延フィルタ102a及び蝸牛遅延フィルタ102bそれぞれをH(z)及びH1(z)とすると、上記のステップS102において、位相変調が施された二つの音響信号(w(n)、w(n))が次の式2及び式3により生成される。
(n)=−bx(n)+x(n−1)+b(n−1) … 式2
(n)=−bx(n)+x(n−1)+b(n−1) … 式3
ここで、b及びbはH(z)及びH(z)のフィルタ係数をそれぞれ示している。
【0054】
そして、ステップS103において、電子透かしデータs(k)のビットが0であるか1であるかに応じてw(n)またはw(n)が選択され、次の式4のとおり、透かし入り音響信号y(n)が生成される。
y(n)=w(n),s(k)=0 又は w(n),s(k)=1 … 式4
ただし、(k−1)ΔW<n≦kΔWを満足する。ここで、ΔW(=f/Nbit)はフレーム長であり、fは原信号のサンプリング周波数を、Nbitは1秒あたりの情報埋込ビットレートをそれぞれ表している。
【0055】
[電子透かし検出処理]
次に、上記のようにして電子透かしデータが埋め込まれた透かし入り音響信号から、当該電子透かしデータを検出する電子透かし検出処理について説明する。
上述したように、本実施の形態における電子透かし埋込処理では、二つの蝸牛遅延フィルタによって位相変調された二つの音響信号を、時間毎に切り替えることにより、透かし入り音響信号を生成している。これらの二つの音響信号は、原信号に位相変調をかけたものであるため、原信号と透かし入り音響信号との位相特性の差を用いることにより、透かし入り音響信号が、上記の二つの蝸牛遅延フィルタの何れの蝸牛遅延フィルタによって位相変調された信号であるのかを特定することができる。本実施の形態における電子透かし検出処理は、このような性質を利用して電子透かしデータの検出を行うものである。
【0056】
図7は、本発明の実施の形態1における電子透かし検出装置2が実行する電子透かし検出処理の手順を示すフローチャートである。
電子透かし検出装置2は、位相算出部201a及び201bのそれぞれにおいて、高速フーリエ変換(FFT:Fast Fourier Transform)により、音響信号(原信号)及び透かし入り音響信号の位相スペクトルを求める(S201)。ここでは、電子透かし埋込処理で利用されたビット単位で、各音響信号の位相スペクトルが算出される。
このようにして求められた各音響信号の位相スペクトルは、位相差検出部202に出力される。
【0057】
次に、電子透かし検出装置2は、位相差検出部202において、両音響信号の位相スペクトルの差を算出し(S202)、その算出された位相スペクトルの差と蝸牛遅延フィルタ102aによって与えられる群遅延との差の合計値(第1の合計値)、及び同じく位相スペクトルの差と蝸牛遅延フィルタ102bによって与えられる群遅延との差の合計値(第2の合計値)を算出する(S203)。そして、位相差検出部202において、これら第1の合計値と第2の合計値とを比較し、第1の合計値が第2の合計値より小さければ電子透かしデータとして「0」を検出し、第1の合計値が第2の合計値以上であれば「1」を検出する(S204)。なお、この処理は、蝸牛遅延フィルタ102a及び102bの何れのフィルタを用いて位相変調されたのかを推定することに相当する。
このようにして電子透かしデータのすべてのビットの値が検出された後、それら検出されたビット値が復号部203に出力される。
【0058】
次に、電子透かし検出装置2は、復号部203において、上述したようにして検出されたビット値を用いて、電子透かしデータを復元する(S205)。
以上のようにして、蝸牛遅延フィルタを用いて音響信号に埋め込まれた電子透かしデータを検出することができる。
【0059】
以上の電子透かし検出処理を式で表すと次のようになる。図8に示す概念図も参照しながら説明する。なお、以下において、nはサンプリング番号を、kは音響信号のフレーム番号をそれぞれ示している。
まず、ステップS201において、音響信号x(n)及び透かし入り音響信号y(n)の位相スペクトルがFFTにより求められ、ステップS202において、両音響信号の位相スペクトルの差Φ(ω)が次の式5により算出される。
Φ(ω)=arg(FFT[y(n)])−arg(FFT[x(n)]) … 式5
【0060】
次に、ステップS203において、両音響信号の位相スペクトルの差と蝸牛遅延フィルタ102a(H(z))との差の合計値ΔΦ及び当該位相スペクトルの差と蝸牛遅延フィルタ102b(H(z))との差の合計値ΔΦが、次の式6及び式7によってそれぞれ算出される。ただし、z=eである。
ΔΦ=Σ|Φ(ω)−arg(H(ejω))| … 式6
ΔΦ=Σ|Φ(ω)−arg(H(ejω))| … 式7
【0061】
そして、ステップS204において、上記の合計値ΔΦ及びΔΦの大小関係に基づいて、次の式8にしたがって電子透かしデータのビット値s(k)が検出される。
s(k)=0,ΔΦ<ΔΦ 又は 1,ΔΦ≧ΔΦ … 式8
最後に、ステップS205において、これらの検出されたビット値s(k)を用いて電子透かしデータが復元される。
【0062】
[音響信号に付加する群遅延の最適な範囲]
次に、電子透かしデータを埋め込む場合に原信号である音響信号にどの程度の群遅延を与えるのが適切であるのかについて説明する。
【0063】
本発明者等は、上記の蝸牛遅延フィルタ102aをカスケード接続することにより、群遅延量の増減を制御し、当該蝸牛遅延フィルタ102aの段数が何段になれば、フィルタにより位相変調された音響信号と原信号とを弁別できるかを調べた。
【0064】
この実験は、モノラル音源から出力される音響信号を、防音室内にて実験参加者にヘッドフォンで提示することにより行った。具体的には、A−X−B(A:オリジナル音又は蝸牛遅延を与えた音、B:蝸牛遅延を与えた音又はオリジナル音、X:どちらか不明な音)という組み合わせで音を提示し、実験参加者には、Xに流れた音がAの音と同じだと思うか、Bの音と同じだと思うかを判断させ、A及びBの何れかを強制的に選択させた。
【0065】
オリジナル音としては、方形パルス(周期2ms、デューティ比50%)、女性ヴォーカル曲(RWC-MDB-G-2001 No.39“Julia”)、ピアノ曲(RWC-MDB-G-2001 No.59 “ロンドニ長調K.485”)の3つを用いた。
また、蝸牛遅延フィルタ102aの段数は、[-50, -30, -10, -1,0, 1, 5, 10, 20, 30, 40, 50, 60, 70]の14条件である。なお、ここで、[-50, -30, -10]とは、その絶対値がフィルタの段数を、その符号(マイナス)が原信号を前後逆にして蝸牛遅延フィルタ102aにかけ、フィルタ通過後に元に戻すことをそれぞれ意味している。
【0066】
なお、上記の主観評価実験においては、二肢強制選択を行っているため、無作為にA,Bを選択した場合の正解率のチャンスレベルは50%前後となる。そのため、両音が弁別できたという評価基準を75%以上としている。
【0067】
図9は、上記の主観評価実験の結果を示すグラフである。このグラフから分かるように、実験参加者は、女性ヴォーカル曲の場合では蝸牛遅延フィルタ102aを5段かけた程度でも弁別ができているものの、他の楽曲の場合は30段程度でなければ弁別できていない。
以上より、音響信号の種類によって異なるものの、蝸牛遅延フィルタ102aの段数が5以下であれば弁別が困難となり、当該段数が1であれば弁別は不可能であるといえる。ここで、蝸牛遅延フィルタ102aは、実際の蝸牛遅延の1/10倍の群遅延を与えるように設計されているため、本実験結果からは、人間の聴覚に生じる蝸牛遅延の1/10倍以上1/2倍以下程度の群遅延を与えたとしても、その違いは知覚されにくいといえる。また、段数が0の場合には、蝸牛遅延が人工的に付加されないことであるから、弁別が不可能なことは勿論である。
【0068】
以上より、実際の蝸牛遅延の0倍以上1/2倍以下程度の群遅延を与えて電子透かしデータの埋め込みを行うことにより、埋め込んだ電子透かしデータを知覚されにくくすることができる。
【0069】
ここで、実際の蝸牛遅延の0倍の群遅延を与えるという意味は、群遅延を与えないことに等しい。群遅延を与えないということを実現する態様としては、(A)蝸牛遅延フィルタを設けない、(B)蝸牛遅延フィルタを設けるものの機能させないの2つが考えられる。これを本実施の形態にあてはめると、上記(A)としては、蝸牛遅延フィルタ102a及び102bの何れか一方を設けず、他方のみを設けるということになる。そして、その設けられた蝸牛遅延フィルタは、実際の蝸牛遅延の0倍より大きく1/2倍以下の群遅延を与えるものとなる。また、上記(B)としては、蝸牛遅延フィルタ102a及び102bの両方を設けるものの、何れか一方のフィルタは機能せず、当該フィルタは、原信号が入力されたらそれをそのまま出力するように設計されている等が考えられる。
【0070】
[蝸牛遅延フィルタ間のフィルタ係数の差]
次に、本発明者等は、蝸牛遅延フィルタ102a及び102bのフィルタ係数の差がどの程度であれば、埋め込んだ電子透かしデータを良好に検出することができるのかを調べた。
【0071】
本発明者等は、蝸牛遅延フィルタ102aのフィルタ係数bを0.795に固定し、蝸牛遅延フィルタ102bのフィルタ係数bを[0.795, 0.796, … , 0.805, 0.815, … , 0.895]まで変化させ、透かし入り音響信号に対して何も処理していない場合、当該信号をダウンサンプリング(44.1kHz → 20kHz, 16kHz, 8kHz)、当該信号を振幅伸張・圧縮した場合(16bit → 24bit, 8bit)について、埋め込んだ電子透かしデータを検出できるか否かの実験を行った。
実験で用いた楽曲は、RWC音楽ジャンルデータベースの全102Track(全100曲)である。なお、使用した楽曲はすべて、サンプリング周波数44.1kHz、量子化ビット数16bitのステレオ音源である。
【0072】
図10A乃至図10Fは、上記の実験の結果を示すグラフである。これらのグラフから分かるように、透かし入り音響信号に対して何も処理をしていない場合(図10A)においては、bとbとの差は0.003程度あれば電子透かしデータを検出することができるものの、ダウンサンプリングを施した場合(図10B乃至図10D)または振幅伸張・圧縮を施した場合(図10E及び図10F)においては、当該差が0.006程度なければ正確に電子透かしデータを検出することができない。
【0073】
[透かし入り音響信号の音質]
次に、本発明者等は、原信号である音響信号と透かし入り音響信号とが弁別できるかを確認することで、音質を劣化させずに電子透かし埋込を実現できたか否かを調べた。
【0074】
本発明者等は、ステレオ音源から出力される音響信号を、防音室内にて実験参加者にヘッドフォンで提示することにより実験を行った。実験方法として、日本音楽著作権協会(JASRAC)が2001年に実施した電子透かしの評価テストSTEP2001の評価項目に基づいて、ABX法を採用した。STEP2001におけるABX法では、Aを原信号、Bを透かし入り音響信号とし、実験参加者は、Aを10秒聞いた後、Bを10秒間聞く。さらに、A及びBを10秒ずつ聞いた後に、Xを10秒間聞き、Xに流れた音がAであるかBであるかを判断させる。Xには、AまたはBがランダムに入り、実験参加者は、A及びBの何れかを強制的に選択させられる。
【0075】
オリジナル音としては、女性ヴォーカル曲(RWC-MDB-G-2001 No.39“Julia”)、ピアノ曲(RWC-MDB-G-2001 No.59 “ロンドニ長調K.485”)、ジャズ(RWC-MDB-G-2001 No.29 “Bubble”)、ロック(RWC-MDB-G-2001 No.9 “Waiting for Your Love”)の4つを用いた。オリジナル音の左右両方のチャンネルに、蝸牛遅延フィルタ102a(フィルタ係数b=0.795)及び蝸牛遅延フィルタ102b(フィルタ係数b=0.865)を用いて4bpsで電子透かしを埋め込んだ。
【0076】
なお、上記の主観評価実験においては、二肢強制選択を行っているため、無作為にA,Bを選択した場合の正解率のチャンスレベルは50%前後となる。そのため、両音が弁別できたという評価基準を75%以上としている。
【0077】
図11は、上記の主観評価実験の結果を示すグラフである。このグラフから分かるように、実験参加者は、女性ヴォーカル曲、ピアノ曲、ジャズ及びロックのすべての場合において、評価基準である75%を超えていない。このことから、本実施の形態の電子透かし埋込装置により埋め込まれた電子透かしデータは知覚されにくいということがいえる。
【0078】
[信号変形処理に対する頑健性]
本発明者等は、悪意のあるユーザによる攻撃への耐性を確認するため、リサンプリング・振幅圧縮・データ圧縮(MP3等)処理等の信号変形処理を透かし入り音響信号に施した後に、埋め込んだ電子透かしデータの検出を試みた。具体的には、一つの楽曲に対して楽曲全体に情報を埋め込み、各種信号変形処理を施した後に、楽曲毎に埋め込んだ情報をどれだけ検出できるかを調べた。
【0079】
実験で用いた楽曲は、RWC音楽ジャンルデータベースの全102Track(全100曲)である。なお、使用した楽曲はすべて、サンプリング周波数44.1kHz、量子化ビット数16bitのステレオ音源である。
【0080】
また、信号変形処理としては、ダウンサンプリング(44.1kHz → 20kHz, 16kHz, 8kHz)、振幅伸張・圧縮(16bit → 24bit, 8bit)、及びデータ圧縮(mp3: 128kbps, 96kbps, 64kbps-mono)を採用した。なお、データ圧縮においては、wavファイルをmp3ファイルに変換後、再度wavファイルに変換したもので検出を試みた。
【0081】
なお、STEP2001においては、30秒以内のタイムフレームに72bit(1秒あたり2.4bit)の電子透かしデータの埋め込みを要求しているため、本実施の形態では、当該要求を十分満たす値として、ビットレートを4bpsに設定した。
【0082】
図12は、上記の実験の結果を示すグラフである。このグラフから分かるように、原信号に対して何れの信号変形処理を施した場合であっても、埋め込んだ電子透かしデータの85%以上を検出することができた。このことから、本実施の形態における電子透かしデータの埋め込みは、各種の信号変形処理に対して、高い頑健性を有しているということができる。
【0083】
(実施の形態2)
実施の形態2に係る電子透かし埋込装置は、音響信号に対して電子透かしデータを1バイトまたは任意のビットで構成されるフレーム単位で埋め込む電子透かし埋込装置であり、また、実施の形態2に係る電子透かし検出装置は、音響信号から同じくフレーム単位で電子透かしデータを検出する電子透かし検出装置である。
【0084】
[電子透かし埋込装置及び電子透かし検出装置の構成]
図13は、本発明の実施の形態2に係る電子透かし埋込装置及び電子透かし検出装置の構成を示す機能ブロック図である。
図13に示すように、本実施の形態の電子透かし埋込装置3は、実施の形態1の場合と異なり、3つ以上の異なるフィルタ係数の蝸牛遅延フィルタを備えている。
電子透かし埋込装置3が備える蝸牛遅延フィルタの数は、埋め込まれる電子透かしデータの1フレームあたりの情報量に応じた数となる。具体的には、例えば電子透かしデータの1フレームが8ビットである場合、当該1フレームあたりの情報量は256(=2の8乗)であるため、電子透かし埋込装置3は、256個の蝸牛遅延フィルタを備えることになる。
【0085】
本実施の形態の電子透かし埋込装置3のその他の構成については、実施の形態1の電子透かし埋込装置1の場合と同様であるので、同一符号を付して説明を省略する。
また、本実施の形態の電子透かし検出装置4の構成については、実施の形態1の電子透かし検出装置2の場合と同様であるので、同一符号を付して説明を省略する。
【0086】
[電子透かし埋込装置及び電子透かし検出装置の動作]
本実施の形態における電子透かし埋込装置及び電子透かし検出装置の動作は、実施の形態1の場合と同様である。すなわち、図5のフローチャートに示すとおり、電子透かし埋込装置3は、電子透かしデータを2進数表現のデータに変換するとともに(S101)、蝸牛遅延フィルタ102a、102b、…、102cにて音響信号に対して位相変調を施す(S102)。
【0087】
そして、電子透かし埋込装置3は、位相変調された音響信号に対して選択的荷重和処理を施すことにより、電子透かしデータが埋め込まれた透かし入り音響信号を生成する(S103)。
【0088】
上記の選択的荷重和処理をより具体的に説明すると、次のとおりになる。なお、ここでは、電子透かしデータの1フレームがnビットで構成されているものとする。
電子透かし埋込装置3は、電子透かしデータが0のときは蝸牛遅延フィルタ102aから出力された音響信号を、1のときは蝸牛遅延フィルタ102bから出力された音響信号を、nのときは蝸牛遅延フィルタ102cから出力された音響信号をそれぞれ選択する。そして、電子透かし埋込装置3は、荷重和処理を実行して、選択された音響信号同士を接合することにより、電子透かしデータが埋め込まれた透かし入り音響信号を生成する。
【0089】
また、図7のフローチャートで示すとおり、電子透かし検出装置4は、音響信号(原信号)及び透かし入り音響信号の位相スペクトルを求め(S201)、これらの信号の位相スペクトルの差を算出する(S202)。
【0090】
そして、電子透かし検出装置4は、その算出された位相スペクトルの差と蝸牛遅延フィルタ102aによって与えられる群遅延との差の合計値(第1の合計値)、同じく位相スペクトルの差と蝸牛遅延フィルタ102bによって与えられる群遅延との差の合計値(第2の合計値)、同じく位相スペクトルの差と蝸牛遅延フィルタ102cによって与えられる群遅延との差の合計値(第nの合計値)を算出する(S203)。
【0091】
次に、電子透かし検出装置4は、算出した第1乃至第nのn個の合計値を相互に比較し、最も小さい合計値を特定し、その最小合計値により電子透かしデータを検出する(S204)。ここで、特定された最小の合計値が第1の合計値であれば「0」が、第2の合計値であれば「1」が、第nの合計値であれば「n−1」がそれぞれ検出されることになる。
【0092】
最後に、電子透かし検出装置4は、検出された10進数のデータをビット値に変換し、その変換後のビット値を用いて電子透かしデータを復元する(S205)。
【0093】
以上のようにして、n個の蝸牛遅延フィルタを用いることにより、1バイトまたは任意のビットで構成されるフレーム単位毎に電子透かしデータの埋込/検出を行うことが可能になる。
【0094】
(その他の実施の形態)
上記の各実施の形態においては、電子透かしデータの埋め込み処理及び検出処理がソフトウェアにより実現されているが、本発明はこれに限定されるわけではない。例えば、これらの処理の全部又は一部が、DSP(Digital Signal Processor)等の専用のハードウェア回路によって実現されてもよい。
【0095】
また、上記の各実施の形態においては、原信号である音響信号をモノラル音楽信号に対して電子透かしデータを埋め込んでいるが、本発明はこれに限られるわけではなく、ステレオ音楽信号の両チャンネルに対して電子透かしデータを埋め込むことも可能である。
【0096】
また、上記の各実施の形態の電子透かし埋込装置においては、外部から電子透かしデータの入力を受け、これをリアルタイムに取り出して音響信号に対して埋め込んでいるが、本発明はこのような態様に限定されるわけではなく、例えば、音響信号の各フレームに対して埋め込むべき電子透かしデータを予め外部から得て記憶装置に格納しておき、これらの電子透かしデータをまとめて予め定められたタイミングで音響信号の各フレームに埋め込むようなバッチ処理により、電子透かしデータの埋込処理を行うようにしてもよい。
【0097】
さらに、上記の各実施の形態の電子透かし検出装置においては、外部の装置から音響信号(原信号)及び透かし入り音響信号の入力を受け、これらの両音響信号を比較する処理を行っているが、本発明はこのような態様に限られるわけではない。例えば、電子透かし検出装置が、音響信号(原信号)を予め記憶装置に格納しておき、その音響信号(原信号)と外部の装置から入力された透かし入り音響信号とを比較するような構成であってもよい。
【産業上の利用可能性】
【0098】
本発明の電子透かし埋込装置及び電子透かし検出装置は、種々の音楽ジャンルの音響信号に電子透かしデータを埋め込む電子透かし埋込装置及びその埋め込まれた電子透かしデータを検出する電子透かし検出装置等として有用である。
また、本発明の電子透かし埋込方法及び電子透かし検出方法は、種々の音楽ジャンルの音響信号に電子透かしデータを埋め込む電子透かし埋込方法及びその埋め込まれた電子透かしデータを検出する電子透かし検出方法等として有用である。
【図面の簡単な説明】
【0099】
【図1】本発明の実施の形態1に係る電子透かし埋込装置の構成を示すブロック図。
【図2】本発明の実施の形態1に係る電子透かし検出装置の構成を示すブロック図。
【図3】本発明の実施の形態1に係る電子透かし埋込装置及び電子透かし検出装置の構成を示す機能ブロック図。
【図4】本発明の実施の形態1における電子透かし埋込装置が備える蝸牛遅延フィルタの特性を示すグラフ。
【図5】本発明の実施の形態1における電子透かし埋込装置が実行する電子透かし埋込処理の手順を示すフローチャート。
【図6】本発明の実施の形態1における電子透かし埋込装置が実行する電子透かし埋込処理の手順を示す概念図。
【図7】本発明の実施の形態1における電子透かし検出装置が実行する電子透かし検出処理の手順を示すフローチャート。
【図8】本発明の実施の形態1における電子透かし検出装置が実行する電子透かし検出処理の手順を示す概念図。
【図9】音響信号に付加する群遅延の最適な範囲を調べるための主観評価実験の結果を示すグラフ。
【図10A】透かし入り音響信号に対して何も処理をしていない場合における蝸牛遅延フィルタ間のフィルタ係数の差に関する実験の結果を示すグラフ。
【図10B】ダウンサンプリング処理(44.1kHz→20kHz)を施した場合における蝸牛遅延フィルタ間のフィルタ係数の差に関する実験の結果を示すグラフ。
【図10C】ダウンサンプリング処理(44.1kHz→16kHz)を施した場合における蝸牛遅延フィルタ間のフィルタ係数の差に関する実験の結果を示すグラフ。
【図10D】ダウンサンプリング処理(44.1kHz→8kHz)を施した場合における蝸牛遅延フィルタ間のフィルタ係数の差に関する実験の結果を示すグラフ。
【図10E】振幅伸張処理(16bit→24bit)を施した場合における蝸牛遅延フィルタ間のフィルタ係数の差に関する実験の結果を示すグラフ。
【図10F】振幅圧縮処理(16bit→8bit)を施した場合における蝸牛遅延フィルタ間のフィルタ係数の差に関する実験の結果を示すグラフ。
【図11】透かし入り音響信号の音質に関する主観評価実験の結果を示すグラフ。
【図12】信号変形処理に対する頑健性に関する実験の結果を示すグラフ。
【図13】本発明の実施の形態2に係る電子透かし埋込装置及び電子透かし検出装置の構成を示す機能ブロック図。
【符号の説明】
【0100】
1,3 電子透かし埋込装置
2,4 電子透かし検出装置
11,21 CPU
12,22 ROM
13,23 RAM
14,24 信号入力部
15 信号出力部
16,25 ハードディスク
16A 電子透かし埋込プログラム
17,26 バス
25A 電子透かし検出プログラム
101 符号化部
102a,102b,102c 蝸牛遅延フィルタ
103 選択的荷重和接合部
201a,201b 位相算出部
202 位相差検出部
203 復号部

【特許請求の範囲】
【請求項1】
蝸牛遅延特性を模擬した蝸牛遅延フィルタを用いて、デジタルデータである音響信号に位相変調を施す位相変調手段と、
前記位相変調が施された音響信号に、電子透かしデータを埋め込む電子透かし埋込手段と
を備える、電子透かし埋込装置。
【請求項2】
前記蝸牛遅延フィルタは、1次の無限インパルス応答型全域通過フィルタにより構成されている、請求項1に記載の電子透かし埋込装置。
【請求項3】
前記位相変調手段は、複数の異なる蝸牛遅延フィルタを用いて音響信号に位相変調を施すことにより、複数の異なる位相変調された音響信号を生成するように構成されており、
前記電子透かし埋込手段は、電子透かしデータに応じて、前記複数の異なる位相変調された音響信号の中から一の音響信号を選択し、選択した音響信号同士を接合することにより、電子透かしデータを埋め込むように構成されている、請求項1または請求項2に記載の電子透かし埋込装置。
【請求項4】
前記複数の異なる蝸牛遅延フィルタのそれぞれは、人間の聴覚に生じる蝸牛遅延の0倍乃至1/2倍の群遅延を音響信号に付与するように構成されている、請求項3に記載の電子透かし埋込装置。
【請求項5】
前記電子透かし埋込手段は、前記選択した音響信号同士を荷重和することにより、当該音響信号同士を接合するように構成されている、請求項3または請求項4に記載の電子透かし埋込装置。
【請求項6】
デジタルデータである音響信号に対して請求項1乃至請求項5の何れかに記載の電子透かし埋込装置によって電子透かしデータが埋め込まれた場合に、電子透かしデータが埋め込まれる前の音響信号と埋め込まれた後の音響信号との位相差を検出する位相差検出手段と、
当該位相差検出手段によって検出された位相差に基づいて、音響信号に埋め込まれた前記電子透かしデータを検出する電子透かし検出手段と
を備える、電子透かし検出装置。
【請求項7】
デジタルデータである音響信号に対して請求項3乃至請求項5の何れかに記載の電子透かし埋込装置によって電子透かしデータが埋め込まれた場合に、電子透かしデータが埋め込まれる前の音響信号と埋め込まれた後の音響信号との位相差を検出する位相差検出手段と、
当該位相差検出手段によって検出された位相差に基づいて、電子透かしデータが埋め込まれた音響信号が、前記複数の異なる蝸牛遅延フィルタのうちの何れの蝸牛遅延フィルタによって位相変調された音響信号であるのかを判別する判別手段と、
前記判別手段による判別結果に基づいて、音響信号に埋め込まれた前記電子透かしデータを検出する電子透かし検出手段と
を備える、電子透かし検出装置。
【請求項8】
蝸牛遅延特性を模擬したデジタルフィルタを用いて、デジタルデータである音響信号に位相変調を施すステップと、
前記位相変調が施された音響信号に、電子透かしデータを埋め込むステップと
を有する、電子透かし埋込方法。
【請求項9】
デジタルデータである音響信号に対して請求項8に記載の電子透かし埋込方法によって電子透かしデータが埋め込まれた場合に、電子透かしデータが埋め込まれる前の音響信号と埋め込まれた後の音響信号との位相差を検出するステップと、
前記検出された位相差に基づいて、音響信号に埋め込まれた前記電子透かしデータを検出するステップと
を有する、電子透かし検出方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10A】
image rotate

【図10B】
image rotate

【図10C】
image rotate

【図10D】
image rotate

【図10E】
image rotate

【図10F】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate


【公開番号】特開2009−210828(P2009−210828A)
【公開日】平成21年9月17日(2009.9.17)
【国際特許分類】
【出願番号】特願2008−53918(P2008−53918)
【出願日】平成20年3月4日(2008.3.4)
【新規性喪失の例外の表示】特許法第30条第1項適用申請有り 平成20年2月13日に国立大学法人北陸先端科学技術大学院大学の修士論文審査会で発表
【出願人】(304024430)国立大学法人北陸先端科学技術大学院大学 (169)