音響信号検索装置
【課題】 録音により取得したメロディーとデータベースに登録されているメロディーとの照合処理をより正確に行うことが可能な音響信号検索装置を提供する。
【解決手段】 録音により得られた音響信号に対して、所定の区間単位で、当該区間単位における音響信号の特徴を特徴パターンと重み値で表現した複数の特徴ワードを生成し、この特徴ワードを複数個で１セットとし、１セット内の特徴ワードと、関連情報データベース（ａ）に登録されている登録特徴ワードとを照合する処理を、１セット内の先頭の特徴ワードから行って、非合致度が所定より低い複数の候補レコードを抽出する処理を順次行い（ｂ）、絞り込まれた１つの候補レコードに対応する関連情報を抽出する。非合致度は、特徴パターン同士の不一致ビット数に重みを考慮して算出する。
【解決手段】 録音により得られた音響信号に対して、所定の区間単位で、当該区間単位における音響信号の特徴を特徴パターンと重み値で表現した複数の特徴ワードを生成し、この特徴ワードを複数個で１セットとし、１セット内の特徴ワードと、関連情報データベース（ａ）に登録されている登録特徴ワードとを照合する処理を、１セット内の先頭の特徴ワードから行って、非合致度が所定より低い複数の候補レコードを抽出する処理を順次行い（ｂ）、絞り込まれた１つの候補レコードに対応する関連情報を抽出する。非合致度は、特徴パターン同士の不一致ビット数に重みを考慮して算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＤ・ＤＶＤ等を用いた民生・業務用途における鑑賞用のパッケージ音楽分野、放送事業者等が商業目的で配信する放送・ネットワーク音楽配信分野における音楽著作権の保護（不正コピーの監視）および音楽属性情報の提供（楽曲タイトル検索サービス）分野に関する。
【背景技術】
【０００２】
最近、流れている音楽のタイトル等を知ることができる楽曲属性情報の提供サービスとして、放送された音楽に対して日時と地域を放送局に照会したり、携帯電話で流れている音楽断片を録音してデータベースに登録されているメロディーと照合したりするサービスが実用化されている（例えば、特許文献１、２参照）。
【特許文献１】特表２００４−５３６３４８号公報
【特許文献２】特表２００４−５３７７６０号公報
【特許文献３】特願２００６−４９５０３号
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来の手法では、データベースに登録されているメロディーと、録音したメロディーの照合精度を高めるため、流れているメロディーを長時間録音しなければならず、また、録音により取得したメロディーとデータベースに登録されているメロディーとの照合処理にも負荷がかかるという問題があった。
【０００４】
これを解決するため、本出願人は、上記特許文献３において、音響信号に対してスペクトル分解し、隣接フレーム間におけるスペクトル変位を複数のフレームに渡って累積した３２ビットの特徴ワードを複数生成し、この特徴ワード単位でデータベースと照合し、ビット合致度の高い候補レコードを絞り込んでいくことにより、音響信号を検索する技術を提案した。
【０００５】
しかしながら、上記特許文献３に記載の手法では、音量の絶対的な大小を反映させていないため、音量の小さい部分では、スペクトルが不安定になり、適合レコードと非適合レコードとのビット合致度に顕著な差が生じにくく、誤判定を起こし易いという問題がある。
【０００６】
そこで、本発明は、録音により取得したメロディーとデータベースに登録されているメロディーとの照合処理をより正確に行うことが可能な音響信号検索装置を提供することを課題とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明第１の態様では、録音により得られた音響信号の特徴と、データベースに登録された音響信号の特徴との照合を行って、録音した音響信号に関連する情報を取得する装置であって、各音響信号について、その特徴パターンと重み値を表現した複数の特徴ワードと、当該音響信号の関連情報を登録した関連情報データベースと、音源より発信されている音声を音響信号として獲得する音響信号獲得手段と、前記音響信号に対して、所定の区間単位で、当該区間単位における音響信号の特徴パターンと重み値を表現した所定バイト数の特徴ワードを生成する特徴ワード生成手段と、前記特徴ワードを複数個で１セットとし、当該１セット内の特徴ワードと、前記関連情報データベースに登録されている登録特徴ワードとを照合する処理を、前記１セット内の先頭の特徴ワードから行って、前記生成された特徴ワードと前記登録特徴ワードの非合致度が所定より低い複数の候補レコードを抽出する処理を行い、１つの候補レコードに絞り込むデータベース照合手段と、前記絞り込まれた候補レコードに対応する関連情報を前記関連情報データベースから抽出する関連情報抽出手段を有する音響信号検索装置を提供する。
【０００８】
本発明第２の態様では、本発明第１の態様の音響信号検索装置における特徴ワード変換手段が、前記所定の区間の平均スペクトルに基づいて所定のビット数の特徴パターンを生成し、前記所定の区間の平均音量に基づいて所定のビット数の重み値を生成し、前記特徴パターンと重み値で構成される特徴ワードを生成するものであることを特徴とする。
【０００９】
本発明第３の態様では、本発明第２の態様の音響信号検索装置における特徴ワード変換手段が、前記所定の区間の平均スペクトルを算出し、所定の周波数領域内を周波数方向に８Ｋ個のバンドに分割し、８Ｋ個のバンド全体で０と１の個数が均等になるように、前記各バンドのスペクトル成分に対して、０または１を与えることにより二値化を行い、前記８ＫバンドのスペクトルをＫバイトの特徴ワードに変換するものとしたことを特徴とする。
【００１０】
本発明第４の態様では、本発明第３の態様の音響信号検索装置における特徴ワード変換手段が、８Ｋ個のバンドを複数のグループに分類し、各グループにおいて、０と１の個数が均等になるように、前記各バンドのスペクトル成分に対して、０または１を与えることにより二値化を行うものとしたことを特徴とする。
【００１１】
本発明第５の態様では、本発明第２〜第４の態様の音響信号検索装置において、前記所定の区間はＴ個の音響フレームにより構成されるものであり、前記特徴ワード変換手段は、前記各音響フレームに対してフーリエ変換を行い、隣接音響フレームとの差分値を、前記Ｔ個の音響フレームに渡って加算したものを前記所定の区間の平均スペクトルとして算出するようにしたことを特徴とする。
【００１２】
本発明第６の態様では、本発明第５の態様の音響信号検索装置において、前記特徴ワード変換手段は、前記各音響フレームに対してフーリエ変換を行った後、所定フレーム数単位でずらした各位置において平均スペクトルを算出することにより、複数の特徴ワードを生成し、前記データベース照合手段は、前記複数の特徴ワードを用いて候補レコードを抽出するようにしたことを特徴とする。
【００１３】
本発明第７の態様では、本発明第１の態様の音響信号検索装置において、前記データベース照合手段は、前記特徴ワード生成手段により生成された特徴ワードと、前記関連情報データベースに登録されている特徴パターンである登録特徴ワードとを照合する際に、前記生成された特徴ワードと前記登録特徴ワードに含まれる特徴パターンを比較して不一致ビット数を算出するとともに、前記生成された特徴ワードと前記登録特徴ワードに含まれる重み値を比較して大きい重み値を小さい重み値で除算した補正値を算出し、当該補正値を前記不一致ビット数に乗算した値を利用して非合致度を算出し、当該非合致度に基づいて候補レコードを抽出するものであることを特徴とする。
【００１４】
本発明第８の態様では、本発明第１の態様の音響信号検索装置において、前記データベース照合手段は、前記特徴ワード生成手段により生成された特徴ワードと、前記関連情報データベースに登録されている特徴パターンである登録特徴ワードとを照合する際に、前記生成された特徴ワードと前記登録特徴ワードに含まれる特徴パターンを各ビット単位で比較して、両者のビットが不一致である場合に、成分が大きいことを示す特徴ワードに含まれる重み値を加算する処理を行って非合致度を算出し、当該非合致度に基づいて候補レコードを抽出するものであることを特徴とする。
【００１５】
本発明第９の態様では、本発明第１から第８の態様の音響信号検索装置において、前記関連情報は、ネットワーク上の所定のサイトにアクセスするためのアドレス情報であり、当該アドレス情報を用いてネットワーク上の所定のサイトにアクセスするネットワークアクセス手段をさらに有することを特徴とする。
【００１６】
本発明第１０の態様では、本発明第１から第８の態様の音響信号検索装置において、前記関連情報データベースに登録されている特徴ワードは、付加情報が埋め込まれた音響信号について作成されたものであり、前記録音された音響信号は、付加情報が埋め込まれたものであり、前記音響信号から付加情報を抽出する付加情報抽出手段をさらに有するものであることを特徴とする。
【発明の効果】
【００１７】
本発明第１の態様によれば、音響信号に対して、所定の区間単位における音響信号の特徴パターンと重み値を表現した所定バイト数の特徴ワードに変換し、この特徴ワードを複数個で１セットとし、当該１セット内の特徴ワードと、関連情報データベースに登録されている登録特徴ワードとを照合する処理を、前記１セット内の先頭の特徴ワードから行って、生成された特徴ワードと登録特徴ワードの非合致度が所定より低い複数の候補レコードを抽出する処理を行い、１つの候補レコードに絞り込み、絞り込まれた候補レコードに対応する関連情報を抽出するようにしたので、録音により取得したメロディーとデータベースに登録されているメロディーとの照合処理をより正確に行うことが可能となるという効果を奏する。
【００１８】
本発明第２の態様によれば、音響信号の特徴を表現した特徴ワードを、所定の区間の平均スペクトルに基づいた所定のビット数の特徴パターンと、所定の区間の音量に基づいた所定のビット数の重み値で構成するようにしたので、無音部を照合対象から外す必要がなくなり、安定した照合を行うことが可能となるという効果を奏する。
【００１９】
本発明第３の態様によれば、音響信号の特徴を表現した特徴ワードを、所定の区間の平均スペクトルを算出し、所定の周波数領域内を周波数方向に８Ｋ個のバンドに分割し、８Ｋ個のバンド全体で０と１の個数が均等になるように、前記各バンドのスペクトル成分に対して、０または１を与えることにより二値化を行い、８ＫバンドのスペクトルをＫバイトの特徴ワードとして得るようにしたので、特徴ワードが、コンピュータが処理し易い８ビットの倍数単位、すなわちバイト単位であるため、高速な照合が可能となるという効果を奏する。
【００２０】
本発明第４の態様によれば、特徴ワードの生成において、平均スペクトルを算出して８Ｋ個のバンドに分割した後、８Ｋ個のバンドを複数のグループに分類し、各グループにおいて、０と１の個数が均等になるように、前記各バンドのスペクトル成分に対して、０または１を与えることにより二値化を行うようにしたので、マイクロフォンを通すことによる周波数特性の影響を補正することが可能となるという効果を奏する。
【００２１】
本発明第５の態様によれば、特徴ワードの生成を、複数の音響フレームについてのスペクトルの差分の総和に基づいて行うようにしたので、音響信号の信号レベルが大きく変化するような箇所についても、信号レベルの大小に影響されない特徴ワードの生成が可能となるという効果を奏する。
【００２２】
本発明第６の態様によれば、各音響フレームに対してフーリエ変換を行った後、所定フレーム数単位でずらした各位置において平均スペクトルを算出することにより、複数の特徴ワードを生成し、生成した複数の特徴ワードを用いて候補レコードを抽出するようにしたので、録音した音響信号が位置ずれしていた場合であっても、精度の高い検索が可能となるという効果を奏する。
【００２３】
本発明第７の態様によれば、特徴ワードの照合の際に、生成された特徴ワードと登録特徴ワードに含まれる特徴パターンを比較して不一致ビット数を算出するとともに、生成された特徴ワードと登録特徴ワードに含まれる重み値の比較に基づいた補正値を算出し、この補正値を不一致ビット数に乗算した値を利用して非合致度を算出するようにしたので、特に音楽等の時間的な伸縮が小さい音響データとの照合を行う場合に、精度の高い検索が可能となるという効果を奏する。
【００２４】
本発明第８の態様によれば、特徴ワードの照合の際に、生成された特徴ワードと登録特徴ワードに含まれる特徴パターンをビット単位で比較して、両者のビットが不一致である場合に、成分が大きいことを示す特徴ワードに含まれる重み値を加算する処理を行って非合致度を算出するようにしたので、特に自然音（動物の鳴き声等）等の時間的な伸縮が大きい音響データとの照合を行う場合に、精度の高い検索が可能となるという効果を奏する。
【００２５】
本発明第９の態様によれば、関連情報として、ネットワーク上の所定のサイトにアクセスするためのアドレス情報を登録しておき、当該アドレス情報を用いてネットワーク上の所定のサイトにアクセスするようにしたので、流れている音を録音して取得すると、対応するサイトの情報を得ることが可能となるという効果を奏する。
【００２６】
本発明第１０の態様によれば、関連情報データベースに登録されている特徴ワードを、電子透かしの手法により付加情報を埋め込んだ音響信号から生成しておくとともに、再生する音響信号にも電子透かしの手法により付加情報を埋め込んでおき、再生された音響信号を録音して、埋め込まれた付加情報を抽出するようにしたので、特徴ワードと併せてより精度の高い検索を行うことが可能となるという効果を奏する。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の実施形態について図面を参照して詳細に説明する。
（１．関連情報データベースの準備）
まず、関連情報データベースに登録する特徴ワードの生成を、登録特徴ワード生成装置により行う。図１は、登録特徴ワード生成装置の構成を示す機能ブロック図である。図１において、１０は音響フレーム読込手段、２０は特徴ワード生成手段、３０は特徴ワード登録手段、４０は関連情報データベースである。
【００２８】
音響フレーム読込手段１０は、ある音を素材として記録したデジタルの音響信号から所定数のサンプルを音響フレームとして順次読み込む機能を有している。特徴ワード生成手段２０は、読み込んだ音響フレームを利用して、周波数解析を行い、その素材についての音響信号の特徴を表現した特徴ワードを生成する機能を有している。この特徴ワードは、ある音響信号の特徴を少ないデータ量で表現したものであり、スペクトルの特徴を表した特徴パターンと、音量データにより構成される。特徴ワード登録手段３０は、生成した特徴ワードを、元の音響信号が表す素材に関連する関連情報、および音響信号の素材を特定するためのＩＤと対応付けて登録特徴ワードとして関連情報データベース４０に登録する機能を有している。ここで、素材とは、音響信号に記録されている楽曲や音声を示すものである。図１に示した各構成手段は、現実にはコンピュータおよびその周辺機器等のハードウェアに専用のプログラムを搭載することにより実現される。すなわち、コンピュータが、専用のプログラムに従って各手段の内容を実行することになる。
【００２９】
次に、図１に示した登録特徴ワード生成装置の処理動作について図２のフローチャートに従って説明する。まず、登録特徴ワード生成装置は、音響データファイルからデジタルの音響信号を読み込む。このデジタル音響信号は、アナログ音響信号に対して、ＰＣＭ等の手法によりサンプリングを行うことにより得られたものである。登録特徴ワード生成装置では、音響フレーム読込手段１０が、音響信号ファイルから、所定数のサンプルを１音響フレームとして読み込む。音響フレーム読込手段１０が読み込む１音響フレームのサンプル数は、適宜設定することができるが、サンプリング周波数が４４．１ｋＨｚの場合、４０９６サンプル程度とすることが望ましい。これは、約０．０９２秒に相当する。ただし、後述する周波数変換におけるハニング窓関数の利用により、値が減少するサンプルを考慮して、音響フレームは、所定数分のサンプルを重複させて読み込むことにしている。本実施形態では、音響フレームの区間長のちょうど半分となる２０４８サンプルを重複させている。したがって、先頭の音響フレームはサンプル１〜４０９６、２番目の音響フレームはサンプル２０４９〜６１４４、３番目の音響フレームはサンプル４０９７〜８１９２というように、順次読み込まれていくことになる。
【００３０】
続いて、周波数変換手段２０は、読み込んだ各音響フレームに対して、周波数変換を行って、その音響フレームのスペクトルであるフレームスペクトルを得る（Ｓ１０１）。具体的には、音響フレーム読込手段１０が読み込んだ音響フレームについて、窓関数を利用して周波数変換を行う。周波数変換としては、フーリエ変換、ウェーブレット変換その他公知の種々の手法を用いることができる。本実施形態では、フーリエ変換を用いた場合を例にとって説明する。
【００３１】
ここで、本実施形態においてフーリエ変換に利用する窓関数について説明しておく。一般に、所定の信号に対してフーリエ変換を行う場合、信号を所定の長さに区切って行う必要があるが、この場合、所定長さの信号に対してそのままフーリエ変換を行うと、高域部に擬似成分が発生する。そこで、一般にフーリエ変換を行う場合には、ハニング窓と呼ばれる窓関数を用いて、信号の値を変化させた後、変化後の値に対してフーリエ変換を実行する。
【００３２】
Ｓ１０１においてフーリエ変換を行う場合、具体的には、サンプルｉにおける値Ｘ（ｉ）（ｉ＝０，…，Ｎ−１）に対して、ハニング窓関数Ｗ（ｉ）を用いて、以下の〔数式１〕の第１式、第２式に従った処理を行い、各周波数における実部Ａ（ｊ）、虚部Ｂ（ｊ）を得る。
【００３３】
続いて、スペクトル成分の算出を行う（Ｓ１０２）。具体的には、以下の〔数式１〕第３式に従った処理を行い、各周波数における強度値Ｅ（ｊ）を得る。
【００３４】
〔数式１〕
Ａ（ｊ）＝Σi=0,…,N-1Ｗ（ｉ）・Ｘ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂ（ｊ）＝Σi=0,…,N-1Ｗ（ｉ）・Ｘ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
Ｅ（ｊ）＝Ａ（ｊ）2＋Ｂ（ｊ）2
【００３５】
〔数式１〕において、ｉは、各音響フレーム内のＮ個のサンプルに付した通し番号であり、ｉ＝０，１，２，…Ｎ−１の整数値をとる。また、ｊは周波数の値について、値の小さなものから順に付した通し番号であり、ｊ＝０，１，２，…Ｎ／２−１の整数値をとる。サンプリング周波数が４４．１ｋＨｚ、Ｎ＝４０９６の場合、ｊの値が１つ異なると、周波数が１０．８Ｈｚ異なることになる。
【００３６】
続いて、スペクトル成分の間引き処理を行う（Ｓ１０３）。上記の周波数変換により、２２ｋＨｚ付近までのスペクトル成分が得られるが、本実施形態における特徴ワードの生成には、４ｋＨｚ付近より低いものを用いる。これは、携帯電話の音声録音で対応できるレベルに対応させるためである。したがって、ｊ＝０〜２０４７の周波数成分のうち、４ｋＨｚ付近より高いｊ＝３８５〜２０４７については利用しない。また、音の特徴の抽出が困難なｊ＝０〜３２の低周波成分についても利用しない。すなわち、本実施形態では、ｊ＝３３〜３８４の周波数成分を用いる。具体的には、以下の〔数式２〕に従った処理を実行し、１１周波数成分単位のＰ（ｎ）に間引くことになる。
【００３７】
〔数式２〕
Ｐ（０）＝（Ｅ33＋Ｅ34＋…＋Ｅ43）1/4
Ｐ（１）＝（Ｅ44＋Ｅ45＋…＋Ｅ54）1/4
：
：
Ｐ（３１）＝（Ｅ374＋Ｅ375＋…＋Ｅ384）1/4
【００３８】
上記〔数式２〕により、ｊ＝３３〜３８４の３５２の周波数成分が、ｎ＝０〜３１の３２の周波数成分に間引かれることになる。上記処理は、各音響フレームについて行われ、各音響フレームについて、３２個の周波数成分が得られることになる。
【００３９】
次に、各音響フレームについて、直前の音響フレームのスペクトル成分との差分を算出する（Ｓ１０４）。上記Ｓ１０１〜Ｓ１０３の処理は、各音響フレームに対して順次行われる。このＳ１０４におけるフレーム間の処理は、各音響フレームについてＳ１０３までの処理を行った結果得られたＰ（０）〜Ｐ（３１）を利用するものである。具体的には、以下の〔数式３〕に従った処理を行い、差分Ｄｎ（ｔ）を得る。
【００４０】
〔数式３〕
Ｄｎ（ｔ）＝｜Ｐｎ（ｔ）−Ｐｎ（ｔ−１）｜、ｎ＝０，…，３１
【００４１】
このように、隣接する音響フレーム間の差分を算出するのは、音響信号の信号レベルが大きく変化するような箇所についても、信号レベルの大小に影響されず、音響信号の特徴を反映した特徴ワードを生成するためである。
【００４２】
上記Ｓ１０１〜Ｓ１０４の処理を各音響フレームに対して順次行い、音響フレーム間の差分Ｄｎ（ｔ）がＴ個（本実施形態では１１個）得られたら、そのＴ個分の総和を求める（Ｓ１０６）。すなわち、以下の〔数式４〕に従った処理を行い、差分の総和Ｓｎを得る。
【００４３】
〔数式４〕
Ｓｎ＝Σt=0,…,T-1Ｄｎ（ｔ）
【００４４】
続いて、上記〔数式４〕により得られたＳｎの二値化処理を行う（Ｓ１０７）。具体的には、まず、Ｓｎ配列をｎ≧１４とｎ≦１３の上下帯域で２分割し、ｎ≦１３の１４個中値の大きい７個に１を与え、値の小さい７個に０を与えるとともに、ｎ≧１４の１８個中値の大きい９個に１を与え、値の小さい９個に０を与える。ここで、単純に全３２個のＳｎ中値の大きい１６個と、小さい１６個に１と０を与えるのではなくて、３２バンドを周波数が高い１８バンドのグループと、周波数が高い１４バンドのグループに分けてそれぞれそのグループ内で均等に１と０を与えるようにしたのは、後述する音響信号検索装置において、マイクロフォンを通すことによる周波数特性の影響を補正するためである。上下のバンドを１８バンドと１４バンドの位置で分けたのは、実験の結果、この位置で分けたとき検索精度が最も高かったためである。Ｓ１０７における処理により、各ｎについてのＳｎが１ビットで表現可能となる。そして、ｎ＝０をＬＳＢ、ｎ＝３１をＭＳＢとして３２ビットの特徴パターンを得る。
【００４５】
次に、音量データの算出を行う（Ｓ１０８）。具体的には、以下の〔数式５〕を用いて音量データVolを算出する。
【００４６】
〔数式５〕
Vol＝［Σt=0,…,T-1｛Σn=0,…,31Ｐｎ（ｔ）4｝1/4］・６４／Ｔ
【００４７】
上記〔数式５〕に示すように、間引き処理した全ての成分Ｐｎ（ｔ）の値をＴ個の音響フレームについて加算する。これにより、Ｔ個の音響フレームについての平均音量である音量データVolが得られる。この音量データVolの値が、０〜２５５の範囲に収まらない場合は、この範囲に収まるように正規化する。このため、音量データVolは８ビットで表現されることとなる。音量データVolは、上記〔数式５〕に示す式で算出されるため、Ｔ個の音響フレームに渡る音量の累積であるため、各フレーム単位の音量ではなく、Ｔ個の音響フレームの平均音量を表現していることになる。
【００４８】
上記Ｓ１０７、Ｓ１０８の処理は、順序を入れ替えて行うことも可能である。Ｓ１０７、Ｓ１０８による処理の結果、３２ビットの特徴パターンと８ビットの音量データにより構成される４０ビットの特徴ワードが得られる。
【００４９】
以上の処理を各音響フレームに対して実行することにより、その音響信号についての特徴ワードが多数生成されることになる。例えば、上記の例のように、サンプリング周波数４４．１ｋＨｚ、１音響フレームが４０９６サンプル、音響フレームを２０４８サンプルづつ重複させた場合、１特徴ワードは約０．５０６秒となり、１分の音響信号からは、約１２０個の特徴ワードが生成されることになる。
【００５０】
上記のようにして、各音響信号について特徴ワードを生成したら、各音響信号について、その音響信号の素材についての関連情報、ＩＤと特徴ワードとを対応付けて関連情報データベース４０に登録する。関連情報としては、その素材に関連する情報であれば、どのようなものでも良いが、例えば、その素材が楽曲であれば、曲名や演奏者名、その素材がＣＭ音声であれば、そのスポンサー企業の名前やＵＲＬ等を用いることができる。
【００５１】
ここで、上記特徴ワードの生成処理を、図３の概念図を用いて説明する。図３（ａ）は、特徴ワードの生成対象とする音響信号の波形を示す図である。登録特徴ワード生成装置では、音響信号を音響フレーム単位で読み取っていくが、図３（ｂ）に示すように、読取範囲を重複させて読み取らせる。そして、各音響フレームに対して、図３（ｃ）に示すように３２バンドに分離する。これは、上記Ｓ１０１〜Ｓ１０３に相当する。次に、図３（ｄ）に示すように分離成分の差分処理、分離成分の総和処理を行う。分離成分の差分処理は上記Ｓ１０４に相当し、分離成分の総和処理は上記Ｓ１０８の各周波数成分（ｎ＝０〜３１）の総和処理に相当する。次に、図３（ｅ）に示すように３２バンド差分成分の総和処理、および音量の総和処理を行う。３２バンド差分成分の総和処理は、上記Ｓ１０６に相当し、音量の総和処理は上記Ｓ１０８の各音響フレーム（ｔ＝０〜Ｔ−１）の総和処理に相当する。次に、図３（ｆ）に示すように３２バンド総和成分の二値化処理、および音量の圧縮処理（上記〔数式５〕に基づき２５６段階に音量レベルを圧縮する処理）を行う。３２バンド総和成分の二値化処理は上記Ｓ１０７に相当し、音量の圧縮処理は上記Ｓ１０８に相当する。図３に示すように、音響信号から順次音響フレームを読み込み、Ｔ個の音響フレーム単位で１つの特徴ワードを生成していく処理が行われることになる。
【００５２】
（２．音響信号の検索）
次に、本発明に係る音響信号検索装置について説明する。図４は、本発明に係る音響信号検索装置の構成図である。図４において、５０はマイクロフォン、１１は音響フレーム読込手段、２１は特徴ワード生成手段、６０は特徴ワード照合手段、７０は関連情報出力手段である。
【００５３】
マイクロフォン５０は、携帯電話等で用いられている汎用的なマイクロフォンである。マイクロフォン５０は、低周波成分や高周波成分を取り込む性能を持っている必要はなく、上記のような４００Ｈｚ弱から４ｋＨｚ強（ｊ＝３３〜３８４に対応）に相当する周波数感度を有していれば良い。音響フレーム読込手段１１は、音響フレーム読込手段１０と同様、デジタルの音響信号から所定数のサンプルを音響フレームとして順次読み込む機能を有している。ただし、音響フレーム読込手段１１は、マイクロフォン５０で取り込んだアナログ音響信号をデジタル化する機能も有している。本実施形態では、マイクロフォン５０と音響フレーム読込手段１１で、音源より発信されている音声を音響信号として獲得する音響信号獲得手段としての役割を果たすことになる。
【００５４】
特徴ワード生成手段２１は、特徴ワード生成手段２０と同様、読み込んだ音響フレームを利用して、周波数解析を行い、その素材についての音響信号の特徴を表現した特徴ワードを生成する機能を有している。ただし、後述するように、特徴ワード生成手段２０よりも多くの特徴ワードを生成するようにしている。特徴ワード照合手段６０は、生成した特徴ワードと、関連情報データベース４０に登録されている登録特徴ワードとの照合を行う機能を有している。関連情報出力手段７０は、特徴ワード照合手段６０による照合の結果、録音により得られた音響信号の特徴に最も類似する素材についての関連情報を、関連情報データベース４０から抽出して出力する機能を有している。図４に示した各構成手段は、現実には演算処理装置を備えた機器に専用のプログラムを搭載することにより実現される。好ましい例としては、演算処理機能を備えている携帯電話機が、専用のプログラムに従って各手段の内容を実行する場合が挙げられる。
【００５５】
続いて、図４に示した装置の処理動作について説明する。まず、利用者が流れている音についての関連情報を知りたいと思った場合、音響信号検索装置に対して起動の指示を行う。これは、例えば、音響信号検索装置を携帯電話機等の携帯端末で実現している場合は、所定のボタンを操作することにより実行できる。音響信号検索装置は、指示が入力されると、マイクロフォン５０から流れている音楽を取り込み、録音してデジタル音響信号として入力する。具体的には、マイクロフォン５０から入力される音声を、Ａ／Ｄ変換器によりデジタル化する処理を行うことになる。
【００５６】
次に、音響フレーム読込手段１１が、マイクロフォン５０から取り込んでデジタル化した音響信号から、それぞれ所定数のサンプルを１音響フレームとして読み込む。この処理は、登録特徴ワード生成装置が行ったのと同様に行われる。すなわち、１音響フレームのサンプル数は、サンプリング周波数が４４．１ｋＨｚの場合、４０９６サンプルとする。また、音響フレームは、２０４８サンプルを重複させて読み込むことにしている。
【００５７】
ここから特徴ワードの生成までの処理は、図５のフローチャートに従ったものとなる。図５のフローチャートは、登録特徴ワード生成装置についての図２のフローチャートとほぼ同様のものとなっている。特徴ワード生成手段２１は、読み込んだ各音響フレームに対して、周波数変換を行って、その音響フレームのスペクトルであるフレームスペクトルを得る（Ｓ２０１）。登録特徴ワード生成装置と同様、周波数変換としては、フーリエ変換、ウェーブレット変換その他公知の種々の手法を用いることができるが、特徴ワード生成装置の処理と合わせる必要があるため、本実施形態では、フーリエ変換を用いる。
【００５８】
さらに、Ｓ２０２〜Ｓ２０８において、上記〔数式２〕〜上記〔数式４〕に従った処理を行ってＳｎを得た後、３２ビットの特徴パターンを生成するとともに、上記〔数式５〕に従った処理を行って８ビットの音量データVolを生成して、４０ビットの特徴ワードを得る。ただし、音響信号検索装置では、登録特徴ワード生成装置に比べて５倍の特徴ワードを生成する。音響信号検索装置においては、流れている音声を録音して音響信号を取得するため、録音開始のタイミングにより、位置ずれが生じることがある。登録特徴ワード生成装置において生成した手法でも、１１個の音響フレームを平均化して生成しているため、比較的位置ずれには強い。しかし、リズム変化が激しい音楽素材の場合、特徴ワードの生成単位である１１音響フレームの、ほぼ半分である５音響フレーム程度ずれると、顕著に異なる特徴ワードが生成され、誤った情報が検索されてしまう。そのため、１解析単位である１１音響フレームの範囲内で２フレームずつ遅らせて複数の特徴ワードを生成して、関連情報データベース４０内の登録特徴ワードと照合するようにする。
【００５９】
具体的には、登録特徴ワード生成装置では、フレーム１〜フレーム１１までで１つの特徴ワードを生成するが、音響信号検索装置では、フレーム１〜フレーム１１で特徴ワードを生成するとともに、２フレーム分、４フレーム分、６フレーム分、８フレーム分ずらしたフレーム群からも特徴ワードを生成する。すなわち、フレーム３〜フレーム１３、フレーム５〜フレーム１５、フレーム７〜フレーム１７、フレーム９〜フレーム１９においても特徴ワードを生成する。
【００６０】
本実施形態では、利用者に３秒程度録音を行わせるようにしている。これは、あまり長すぎると、利用者が作業をわずらわしく感じるためであり、短すぎると、照合に必要な特徴ワードが生成できない可能性があるためである。上述のように、本実施形態の場合、１特徴ワードは約０．５０６秒であるため、３秒程度録音することにより、６個の特徴ワードが生成される。この６個の特徴ワードを１セットとする。ただし、上述のように、２、４、６、８フレームずらした特徴ワードを生成するため、全部で３０個の特徴ワードが１セットとして生成されることになる。
【００６１】
続いて、特徴ワード照合手段６０が、特徴ワード生成手段２１により生成された特徴ワードと、関連情報データベース４０に登録された特徴ワードとの照合を行う。本発明では、照合の手法として２つの手法を用いることができる。いずれの手法においても特徴ワードを構成する特徴パターン同士のビットの照合を行い、その結果に対して、音量データを重みとして利用することにより非合致度を算出する。そして、この非合致度を用いて検索対象を絞り込んでいく。まず、第１の照合手法について説明する。
【００６２】
ここで、関連情報データベース４０に登録された情報の一例を図６（ａ）に示す。図６（ａ）に示すように、関連情報データベース４０には、音響素材を特定するＩＤである素材ＩＤと、登録特徴ワードが対応付けて登録されている。実際には、音響素材に対応する関連情報も登録されているが、図６（ａ）においては省略している。各登録特徴ワードは、上述のように、特徴パターンと音量データで構成されている。ここでは、特徴パターンをSd, 音量データをVdで表現することにする。したがって、素材Ａにおいては、登録特徴ワードＡ１は［Sd1,Vd1］、登録特徴ワードＡ２は［Sd2,Vd2］、登録特徴ワードＡ３は［Sd3,Vd3］で表現されることになる。これに対応して、特徴ワード生成手段２１が生成した特徴ワードを構成する特徴パターンをSi, 音量データをViで表現することにする。したがって、先頭からの３個の特徴ワードは、［Si1,Vi1］、［Si2,Vi2］、［Si3,Vi3］で表現されることになる。
【００６３】
第１の照合手法の場合、特徴ワード照合手段６０は、まず、生成された特徴ワードと、登録特徴ワードの音量バランスを合わせるため、両者の先頭の音量データVi1、Vd1を用いて、生成された特徴ワードの２番目、３番目の音量データVi2、Vi3を以下の〔数式６〕により補正する。
【００６４】
〔数式６〕
Vi2´＝Vi2・Vd1／Vi1
Vi3´＝Vi3・Vd1／Vi1
【００６５】
続いて、生成された特徴ワードと、登録特徴ワードの特徴パターンを先頭から順に照合する。生成した特徴ワードの特徴パターンと、関連情報データベース４０内の登録特徴ワードの特徴パターンはともに同様の規則で作成され、低周波成分をＬＳＢ、高周波成分をＭＳＢとした３２ビットの構成であるので、照合はこれらの各ビット値が一致するかどうかにより行うことができる。特にコンピュータが処理し易い８ビットの倍数単位であるため、高速な照合が可能である。ここで、特徴パターンSi1とSd1の不一致ビット数をD1とし、以下同様にD2、D3とする。そして、得られたD1 〜D3を、上記補正後の音量データと登録特徴ワードの音量データの関係を利用して、以下の〔数式７〕により補正する。
【００６６】
〔数式７〕
Vi2´＞Vd2のとき、D2´＝D2・Vi2´／Vd2
Vi2´＜Vd2のとき、D2´＝D2・Vd2 ／Vi2´
Vi2´＝Vd2のとき、D2´＝D2
Vi3´＞Vd3のとき、D3´＝D3・Vi3´／Vd3
Vi3´＜Vd3のとき、D3´＝D3・Vd3 ／Vi3´
Vi3´＝Vd3のとき、D3´＝D3
【００６７】
そして、補正により得られた値を利用して、D1＋D2´＋D3´を非合致度ＭＡ１として算出する。
【００６８】
上記の処理を、まず、ずらし０グループの前半３個の特徴ワード０１〜０３と、関連情報データベース４０に登録された素材Ａについての登録特徴ワードＡ１〜Ａ３について行って非合致度ＭＡ１を得る。次に、登録特徴ワードを１個分ずつ移動させ、特徴ワード０１〜０３と登録特徴ワードＡ２〜Ａ４との照合を行って非合致度ＭＡ１を算出する。同様にして、登録特徴ワードを１個分ずつ移動させて、特徴ワード０１〜０３との照合を行っていき、最小となった非合致度ＭＡ１を、素材Ａについてのずらし０の場合の非合致度ＭＡ１とする。図６（ｂ）の例では、この値は“１５”となる。
【００６９】
続いて、ずらし２グループの３個の特徴ワード２１〜２３と、素材Ａとの照合を行って非合致度ＭＡ１を得る。このようにして、ずらし４グループ、ずらし６グループ、ずらし８グループについても、素材Ａとの非合致度ＭＡ１を得る。この結果、図６（ｂ）の１行目に示すように、各ずらし量に対応した素材Ａとの非合致度ＭＡ１が得られることになる。
【００７０】
同様にして、特徴ワードと、他の素材の登録特徴ワードとの照合を行っていく。その結果、図６（ｂ）の２行目、３行目に示すように、各ずらし量に対応した素材Ｂ、Ｃとの非合致度ＭＡ１が得られることになる。
【００７１】
そして、この非合致度ＭＡ１が、あらかじめ定めた閾値より小さい場合は、その非合致度ＭＡ１が記録された素材のレコードのみを候補レコードとして抽出し、４番目〜６番目の特徴ワードの照合対象とする。
【００７２】
そして、この絞り込まれた素材に対して、後半の特徴ワード０４〜０６との照合を行っていき、非合致度ＭＡ１が最小となるものを適合音響素材として決定する。適合音響素材が決定されたら、関連情報出力手段７０が、その関連情報を抽出し、音響信号検索装置が備える表示装置等に出力する。
【００７３】
次に、第２の照合手法について説明する。第２の照合手法においても、登録特徴ワードの特徴パターンをSd, 音量データをVdで表現し、特徴ワード生成手段２１が生成した特徴ワードの特徴パターンをSi, 音量データをViで表現することにする。第２の照合手法では、特徴パターンSdと特徴パターンSiの比較を行い、不一致ビットの数に応じて、音量データVd、Viによる重み付けを行う。具体的には、非合致度を初期状態として０に設定しておき、Sd側のビットが１で、Si側のビットが０の場合、非合致度ＭＡ２にVdを加算し、Sd側のビットが０で、Si側のビットが１の場合、非合致度ＭＡ２にViを加算する。このようにして、特徴パターンの３２の各ビットについて照合することにより非合致度ＭＡ２が得られることになる。
【００７４】
照合の順番としては、まず、ずらし０グループの６個の特徴ワード０１〜０６のうち、先頭の特徴ワード０１を抽出し、この特徴ワード０１と、関連情報データベース４０に登録された全ての特徴ワードとの照合を行う。
【００７５】
そして、非合致度ＭＡ２が最小となる場合の非合致度ＭＡ２の値を各素材ごとに記録していく、同様にずらし２グループ〜ずらし８グループの先頭の特徴ワード２１〜特徴ワード８１についてもデータベース内の登録特徴ワードとの照合を行い、非合致度ＭＡ２が最小となる場合のビット数を各素材ごとに記録していく。この結果、図６（ｂ）と同様な、ずらしグループ別の非合致度ＭＡ２が得られることになる。
【００７６】
そして、この非合致度ＭＡ２が、あらかじめ定めた閾値より小さい場合は、その非合致度ＭＡ２が記録された素材のレコードのみを候補レコードとして抽出し、２番目の特徴ワードの照合対象とする。
【００７７】
次に、ずらし２グループから、２番目の特徴ワード０２を抽出し、この特徴ワード０２と、先頭の特徴ワードにより絞り込まれた候補レコードについての全ての登録特徴ワードとの照合を行う。そして、非合致度ＭＡ２が最小となる場合の非合致度ＭＡ２を各素材（候補レコード）ごとに記録していく、同様にずらし２グループ〜ずらし８グループの先頭の特徴ワード２２〜特徴ワード８２についても絞り込まれた素材の登録特徴ワードとの照合を行い、非合致度ＭＡ２が最小となる場合の非合致度ＭＡ２を各素材単位で記録していく。そして、この非合致度ＭＡ２が、あらかじめ定めた閾値より小さい場合は、その非合致度ＭＡ２が記録された素材のレコードのみを新たな候補レコードとして抽出し、３番目の特徴ワードの照合対象とする。
【００７８】
上記のようにして、６番目の特徴ワード０６〜特徴ワード８６と、絞り込まれた素材の登録特徴ワードとの照合までを行っていく。ただし、途中で素材が１つに絞り込まれた場合には、その素材を適合音響素材として決定する。適合音響素材が決定されたら、関連情報出力手段７０が、その関連情報を抽出し、音響信号検索装置が備える表示装置等に出力する。
【００７９】
上記第１の照合手法と第２の照合手法について比較すると、第１の照合手法では、位置ずれがあったり、振幅変化に相違があると非合致度ＭＡ１が増大するようになっている。これについて具体的に説明する。音響フレームに位置ずれが生じると、特徴ワード内の特徴パターンと音量データも位置ずれの影響を受けることになる。すると、特徴パターンSi1とSd1、Si2とSd2、およびSi3とSd3の各不一致ビット数D1〜D3の値が大きくなる傾向となり、同時にVd2 とVi2´の比およびVd3 とVi3´の比が大きくなる傾向となり、その結果D2´、D3´も大きくなるためである。また、振幅変化に相違があると、不一致ビット数D1〜D3の値に変化が見られないものの、Vd2 とVi2´の比およびVd3 とVi3´の比が大きくなる傾向となり、D2´、D3´も大きくなる。
【００８０】
一方、第２の照合手法では、位置ずれがあったり、振幅変化に相違があっても非合致度ＭＡ２が増大しないようになっている。上述のように、非合致度ＭＡ２は、特徴パターンSiとSdの不一致ビットが存在した場合に、音量データVd、Viのいずれかを加算していくものであるため、振幅が大きくなければ大きな値にならない。位置ずれが生じ、特徴パターンSiとSdの不一致ビットが増大し、VdとViの差が大きくなっても、加算したVdまたはViの値そのものが小さければ、ＭＡ２は大きくならない。振幅変化に相違が生じ、VdとViの差が大きくなっても、同様に、加算したVdまたはViの値そのものが小さければ、ＭＡ２は大きくならない。逆に、加算したVdまたはViの値そのものが大きければＭＡ２は大きくなるが、その際に特徴パターンSiとSdの不一致ビットが大きい場合、すなわち登録特徴ワードと不整合な場合を除きＭＡ２は大きくならず、登録特徴ワードと整合する場合は、位置ずれがあったり、振幅変化に相違があっても非合致度ＭＡ２の値には比較的影響が少ない。
【００８１】
このため、第１の照合手法は音楽等の時間的な伸縮が小さい音響データとの照合を行うのに適しており、第２の照合手法は、自然音（動物の鳴き声等）等の時間的な伸縮が大きい音響データとの照合を行うのに適している。
【００８２】
以上のようにして、流れている音を録音することにより、流れている音に関連した情報を抽出することができる。検索装置を携帯電話機で実現した場合には、関連情報をその液晶画面に表示させることができる。
【００８３】
また、ネットワーク接続機能を有する携帯電話機では、ＵＲＬを利用して他のコンピュータにアクセスすることが可能であるが、本発明の装置で取得する関連情報として、アドレス情報であるＵＲＬをデータベースに記録しておき、関連情報としてＵＲＬを取得した際に、上記ネットワーク接続機能を利用すれば、流れている音に対応したサイトにアクセスすることが可能となる。ここで、ネットワーク接続機能を有する音響信号検索装置の機能ブロック図を図７に示す。図７において、８０はネットワークアクセス部、１００はネットワーク、２００はサイトである。
【００８４】
ネットワークアクセス部８０は、関連情報抽出手段７０が関連情報として抽出したアドレス情報を用いて、そのアドレス情報に対応するサイト２００に、ネットワーク１００を介してアクセスする機能を有している。ネットワークアクセス部８０は、アドレス情報を取得してネットワーク上のサイトにアクセスするＷｅｂブラウザにより実現される。図７に示した装置によれば、例えば、関連情報データベース４０にライオンの鳴き声から作成した特徴ワードと、ライオンの情報を有するサイトのＵＲＬとを対応付けて記録しておき、利用者が動物園などでライオンの鳴き声を録音するだけで、携帯電話機からライオンの情報を有するサイト２００にアクセスすることになる。
【００８５】
（３．電子透かしによる情報埋め込みとの組み合わせ）
本発明に係る音響信号検索装置は、付加情報を電子透かしとして音響信号に埋め込む手法と組み合わせることにより、関連情報抽出の精度を高めることを可能としている。ここで、電子透かしの埋め込みおよび抽出を組み合わせた場合の音響信号検索装置の機能ブロック図を図８に示す。図８においては、図７に示したものに、さらに音響信号再生装置５００と埋込情報抽出部９０を追加している。音響信号再生装置は、付加情報を埋め込んだ音響信号を再生するためのものである。これは、デジタル音響信号を再生可能な市販の音楽プレーヤを採用することができる。埋込情報抽出部９０は、デジタル音響信号から、埋め込まれている付加情報を抽出する機能を有している。この埋込情報抽出部９０の処理については、後述する。図８に示した装置によれば、埋め込み情報抽出部が付加情報を抽出するので、この付加情報を事前に関連情報データベース４０にも登録しておくことにより、特徴ワードの照合により得られた情報をさらに絞り込んだ検索を行うことが可能となる。以下、音響信号再生装置５００で再生する音響信号に付加情報を埋め込む手法と、埋込情報抽出部９０における付加情報の抽出について説明する。
【００８６】
（３．１．音響信号への付加情報の埋め込み）
次に、音響信号への付加情報の埋め込みについて説明する。この付加情報が埋め込まれた音響信号は、音響信号再生装置５００により再生される。図７は、音響信号に対する情報の埋込装置の構成を示す機能ブロック図である。図７において、３１０は音響フレーム読込手段、３２０は周波数変換手段、３３０は低周波成分変更手段、３４０は周波数逆変換手段、３５０は改変音響フレーム出力手段、３６０は記憶手段、３６１は音響信号記憶部、３６２は付加情報記憶部、３６３は改変音響信号記憶部、３７０は付加情報読込手段である。なお、図７に示す装置は、ステレオ音響信号、モノラル音響信号の両方に対応可能であるが、ここでは、ステレオ音響信号に対して処理を行う場合について説明していく。
【００８７】
音響フレーム読込手段３１０は、付加情報の埋め込み対象とする元のステレオ音響信号の各チャンネルから所定数のサンプルを１フレームとして読み込む機能を有している。周波数変換手段３２０は、音響フレーム読込手段３１０が読み込んだ音響信号のフレームをフーリエ変換等により周波数変換してフレームスペクトルを生成する機能を有している。低周波成分変更手段３３０は、Ａタイプの音響フレームについては、生成されたフレームスペクトルから３つの所定周波数範囲に相当するスペクトル集合を３セット抽出し、付加情報記憶部６２から抽出した付加情報に基づいて、低周波強度データのスペクトル集合間の割合（比率）を変更し、Ｂタイプの音響フレームについては、生成されたフレームスペクトルの所定周波数範囲の低周波強度データを“０”にする機能を有している。周波数逆変換手段３４０は、変更された低周波強度データを含む複数のフレームスペクトルに対して周波数逆変換を行うことにより、改変音響フレームを生成する機能を有している。改変音響フレーム出力手段３５０は、生成された改変音響フレームを順次出力する機能を有している。記憶手段３６０は、付加情報を埋め込む対象とするステレオ音響信号を記憶した音響信号記憶部３６１と、ビット配列として構成され、ステレオ音響信号に埋め込まれる付加情報を記憶した付加情報記憶部６２と、付加情報埋め込み後の改変音響信号を記憶する改変音響信号記憶部３６３を有しており、その他処理に必要な各種情報を記憶するものである。付加情報読込手段３７０は、付加情報記憶部６２から付加情報を抽出する機能を有している。なお、付加情報とは、音響信号に付加するものとして埋め込む音響信号そのもの以外の情報であり、その内容は、ＩＰアドレスやＵＲＬ等の、ネットワーク上のコンピュータにアクセスするためのアドレス情報であるか、またはアドレス情報に変換するためのＩＤである。本実施形態では、ＩＤを用いた場合について説明する。図７に示した各構成手段は、現実にはコンピュータおよびその周辺機器等のハードウェアに専用のプログラムを搭載することにより実現される。すなわち、コンピュータが、専用のプログラムに従って各手段の内容を実行することになる。
【００８８】
次に、図７に示した音響信号に対する情報の埋込装置の処理動作について図１０のフローチャートに従って説明する。ここでは、音響信号として、Ｌ（左）、Ｒ（右）の２チャンネルを有するステレオ音響信号に対して処理を行う場合について説明していく。図１０は、付加情報１ワード分の処理に対応したものとなっている。１ワードとしては、任意のビット数に設定することができるが、通常１バイトに設定する。まず、付加情報読込手段３７０は、付加情報記憶部６２から付加情報を１ワード単位で読み込む（Ｓ３０１）。具体的には、音響信号に対する情報の埋め込み装置として用いられるコンピュータ内のレジスタに１ワード読み込むことになる。続いて、モードを区切りモードに設定する（Ｓ３０２）。モードは区切りモードと、ビットモード、継続識別モードの３種類が存在する。区切りモードは１ワード単位の区切りにおける処理を行うモードを示し、ビットモードは１ワードの各ビットの値に基づいた処理を行うモードを示している。付加情報記憶部６２から１ワード読み込んだ場合には、その直後に必ず区切りモードに設定されることになる。継続識別モードは、低周波成分の信号レベルが小さい音響フレームが出現した場合に、区切り情報が埋め込まれた場合、次のビットが先頭から始まる新規なものか、中断されたために継続されたものであるかを識別するための情報を記録するモードを示している。
【００８９】
続いて、音響フレーム読込手段３１０が、音響信号記憶部３６１に記憶されたステレオ音響信号の左右の各チャンネルから、それぞれ所定数のサンプルを１音響フレームとして読み込む（Ｓ３０４）。音響フレーム読込手段３１０が読み込む１音響フレームのサンプル数は、適宜設定することができるが、サンプリング周波数が４４．１ｋＨｚの場合、４０９６サンプル程度とすることが望ましい。したがって、音響フレーム読込手段３１０は、左チャンネル、右チャンネルについてそれぞれ４０９６サンプルずつ、順次音響フレームとして読み込んでいくことになる。本発明においては、音響フレームとしてＡタイプとＢタイプが存在する。Ａタイプの音響フレーム、Ｂタイプの音響フレームは、それぞれ同タイプの先行する音響フレームの最後のサンプルの次のサンプルを先頭サンプルとして設定される。そして、ＡタイプとＢタイプの音響フレームは互いに所定数（本実施形態では２０４８）のサンプルを重複して設定される。例えば、Ａタイプの音響フレームを先頭からＡ１、Ａ２、Ａ３…とし、Ｂタイプの音響フレームを先頭からＢ１、Ｂ２、Ｂ３…とすると、Ａ１はサンプル１〜４０９６、Ａ２はサンプル４０９７〜８１９２、Ａ３はサンプル８１９３〜１２２８８、Ｂ１はサンプル２０４９〜６１４４、Ｂ２はサンプル６１４５〜１０２４０、Ｂ３はサンプル１０２４１〜１４３３６となる。なお、ＡタイプとＢタイプは相対的なものであるので、どちらが先であっても良い。すなわち、上記とは逆にＡ１がサンプル２０４９〜６１４４、Ａ２がサンプル６１４５〜１０２４０、Ａ３がサンプル１０２４１〜１４３３６、Ｂ１がサンプル１〜４０９６、Ｂ２がサンプル４０９７〜８１９２、Ｂ３がサンプル８１９３〜１２２８８であっても良い。図１０の例では、Ｂタイプ音響フレームを先に設定した場合を示している。
【００９０】
続いて、周波数変換手段３２０は、読み込んだＢタイプの音響フレームに対して、周波数変換を行って、その音響フレームのスペクトルであるフレームスペクトルを得る（Ｓ３０５）。具体的には、Ｓ３０４で読み込んだＢタイプの音響フレームについて、窓関数を利用して周波数変換を行う。周波数変換としては、フーリエ変換、ウェーブレット変換その他公知の種々の手法を用いることができる。本実施形態では、フーリエ変換を用いた場合を例にとって説明する。なお、後述するＳ３０９においては、同様にして、Ｓ３０８で読み込んだＡタイプの音響フレームについて、窓関数を利用して周波数変換を行う。
【００９１】
ここで、本実施形態においてフーリエ変換に利用する窓関数について説明しておく。一般に、所定の信号に対してフーリエ変換を行う場合、信号を所定の長さに区切って行う必要があるが、この場合、所定長さの信号に対してそのままフーリエ変換を行うと、高域部に擬似成分が発生する。そこで、一般にフーリエ変換を行う場合には、ハニング窓と呼ばれる窓関数を用いて、信号の値を変化させた後、変化後の値に対してフーリエ変換を実行する。本実施形態においては、Ａタイプの音響フレームに対しては、ハニング窓関数に代えて図１１（ｂ）〜（ｄ）に示したような窓関数Ｗ（１，ｉ）、Ｗ（２，ｉ）、Ｗ（３，ｉ）を用いてフーリエ変換を行う。これにより、埋め込まれた情報が抽出側でより認識し易くなる。窓関数Ｗ（１，ｉ）は、音響フレームの前部を抽出するためのものであり、図１１（ｂ）に示すように前部の所定のサンプル番号ｉの位置において、最大値１をとり、後部においては、最小値０をとるように設定されている。どのサンプル番号の場合に最大値をとるかについては、窓関数Ｗ（１，ｉ）の設計によって異なってくるが、本実施形態では、後述する〔数式８〕で定義される。窓関数Ｗ（１，ｉ）を乗じることにより、図１１（ａ）に示すような音響フレームの信号波形は、図１１（ｆ）に示すように、前部に信号成分が残り、後部の信号成分が削除されたものとなり、これがフーリエ変換対象となる。
【００９２】
また、窓関数Ｗ（２，ｉ）は、音響フレームの中央部を抽出するためのものであり、図１１（ｃ）に示すように、中央部の所定のサンプル番号ｉの位置において、最大値１をとり、前部、後部においては、最小値０をとるように設定されている。どのサンプル番号の場合に最大値をとるかについては、窓関数Ｗ（２，ｉ）の設計によって異なってくるが、本実施形態では、後述する〔数式９〕で定義される。窓関数Ｗ（２，ｉ）を乗じることにより、図１１（ａ）に示すような音響フレームの信号波形は、図１１（ｇ）に示すように、中央部に信号成分が残り、前部と後部の信号成分が除去されたものとなり、これがフーリエ変換対象となる。
【００９３】
また、窓関数Ｗ（３，ｉ）は、音響フレームの後部を抽出するためのものであり、図１１（ｄ）に示すように、前部においては最小値０をとり、後部の所定のサンプル番号ｉの位置において、最大値１をとるように設定されている。どのサンプル番号の場合に最大値をとるかについては、窓関数Ｗ（３，ｉ）の設計によって異なってくるが、本実施形態では、後述する〔数式１０〕で定義される。窓関数Ｗ（３，ｉ）を乗じることにより、図１１（ａ）に示すような音響フレームの信号波形は、図１１（ｈ）に示すように、前部の信号成分が除去され、後部に信号成分が残ったものとなり、これがフーリエ変換対象となる。このように前部、中央部、後部を抽出した後、フーリエ変換を実行するため、前部、中央部、後部に対応したスペクトルが得られることになる。１つの音響フレームにビット値を埋め込むためには、本来、前部と後部の２つに分けられれば良いのであるが、抽出側においては、必ずしも、信号を同期して読み込むことができるとは限らず、したがって、前部と後部をはっきりと区別するため、本実施形態では、埋め込み時に中央部の信号成分を常に削除し、前部と後部を時間的に分離することとしている（ただし、抽出時は前部と後部だけを解析すればよく、中央部は無視してよい）。本実施形態において用いる窓関数の最大の特徴は、窓関数Ｗ（１，ｉ）と窓関数Ｗ（３，ｉ）が左右非対称である点である。このため、特に、ビット反転が起こりにくくなる。
【００９４】
また、本実施形態では、音響フレームを重複させて読み込み、奇数フレーム（または偶数フレーム）については、窓関数Ｗ（１，ｉ）、Ｗ（２，ｉ）、Ｗ（３，ｉ）を用い、偶数フレーム（または奇数フレーム）については、図１１（ｅ）に示したような窓関数Ｗ（４，ｉ）を用いるようにした。
【００９５】
なお、本実施形態においては、音響フレームは重複して読み込まれる。すなわち、奇数番目の音響フレームと偶数番目の音響フレームは、所定数のサンプルを重複して読み込む。上記のように、奇数フレームと偶数フレームでは、用いられる窓関数が異なるが、奇数フレームと偶数フレームは単に奇数か偶数かの違いだけであるため、どちらに対して処理をどちらの処理を行っても良い。したがって、本明細書では、奇数フレーム、偶数フレームの一方をＡタイプフレーム、他方をＢタイプフレームと呼ぶことにする。図１０の例に従うと、奇数フレームをＢタイプフレーム、偶数フレームをＡタイプフレームとなるが、逆に偶数フレームをＢタイプフレーム、奇数フレームをＡタイプフレームとしても良い。
【００９６】
本実施形態では、窓関数Ｗ（１，ｉ）〜Ｗ（４，ｉ）は、以下の〔数式８〕〜〔数式１１〕で定義される。なお、図１１において、横軸は時間軸（ｉ）である。ｉは、後述するように、各音響フレーム内のＮ個のサンプルに付した通し番号であるため時刻ｔに比例している。また、図１１（ａ）（ｆ）（ｇ）（ｈ）（ｉ）において縦軸は信号の振幅値（レベル）を示す。図１１（ｂ）〜（ｅ）において縦軸は窓関数Ｗ（１，ｉ）、Ｗ（２，ｉ）、Ｗ（３，ｉ）、Ｗ（４，ｉ）の値を示しており、Ｗ（１，ｉ）、Ｗ（２，ｉ）、Ｗ（３，ｉ）、Ｗ（４，ｉ）の最大値はいずれも１である。
【００９７】
〔数式８〕
ｉ≦３Ｎ／８のとき、Ｗ（１，ｉ）＝０．５−０．５ｃｏｓ（８πｉ／（３Ｎ））
３Ｎ／８＜ｉ≦Ｎ／２のとき、Ｗ（１，ｉ）＝０．５−０．５ｃｏｓ（８π（ｉ−Ｎ／４）／Ｎ）
ｉ＞Ｎ／２のとき、Ｗ（１，ｉ）＝０．０
【００９８】
〔数式９〕
ｉ≦３Ｎ／８のとき、Ｗ（２，ｉ）＝０．０
３Ｎ／８＜ｉ≦Ｎ／２のとき、Ｗ（２，ｉ）＝０．５−０．５ｃｏｓ（４π（ｉ−Ｎ／４）／Ｎ）
ｉ＞３Ｎ／４のとき、Ｗ（２，ｉ）＝０．０
【００９９】
〔数式１０〕
ｉ≦Ｎ／２のとき、Ｗ（３，ｉ）＝０．０
ｉ＞Ｎ／２のとき、Ｗ（３，ｉ）＝０．５−０．５ｃｏｓ（４π（ｉ−Ｎ／２）／Ｎ）
【０１００】
〔数式１１〕
ｉ≦Ｎ／４のとき、Ｗ（４，ｉ）＝０．０
Ｎ／４＜ｉ≦Ｎ／２のとき、Ｗ（４，ｉ）＝０．５−０．５ｃｏｓ（４π（ｉ−Ｎ／４）／Ｎ）
Ｎ／２＜ｉ≦７Ｎ／８のとき、Ｗ（４，ｉ）＝０．５−０．５ｃｏｓ（８π（ｉ−Ｎ／８）／（３Ｎ））
ｉ＞７Ｎ／８のとき、Ｗ（４，ｉ）＝０．０
【０１０１】
なお、図１６および上記〔数式８〕〜〔数式１１〕から明らかなように、窓関数Ｗ（１，ｉ）とＷ（３，ｉ）は、互いに非対称な形状である。これは、後述する抽出側において、両者の識別を容易にするためである。また、窓関数Ｗ（１，ｉ）、Ｗ（２，ｉ）、Ｗ（３，ｉ）は、ｉが所定の値のときに最大値１をとり、ｉがその他の値をとる場合には、ｉの値に応じて単調増加、または単調減少する窓関数を分割したものであるため、窓関数Ｗ（１，ｉ）とＷ（３，ｉ）が定まると、窓関数Ｗ（２，ｉ）も必然的に定まる。このため、窓関数Ｗ（２，ｉ）は左右非対称の形状となっている。
【０１０２】
本実施形態においては、奇数フレームと偶数フレームを、所定サンプルずつ重複して読み込むため、情報の埋め込みを行った後、音響信号に復元する際に、窓関数を乗じた奇数フレームと、窓関数を乗じた偶数フレームの重複サンプルを加算した場合に、ほぼ元の値に戻るようにしなければならない。このため、窓関数Ｗ（４，ｉ）の形状は、窓関数Ｗ（１，ｉ）、Ｗ（２，ｉ）、Ｗ（３，ｉ）の値に応じて必然的に定まる。すなわち、奇数フレームと偶数フレームの重複部分において、窓関数Ｗ（１，ｉ）、Ｗ（２，ｉ）、Ｗ（３，ｉ）、Ｗ（４，ｉ）を加算すると、全区間固定値１になるように定義されている。以上が、本実施形態で用いる窓関数の概要である。
【０１０３】
Ｓ３０５に戻って説明する。Ｓ３０５おいてフーリエ変換を行う場合、具体的には、左チャンネル信号Ｘｌ（ｉ）、右チャンネル信号Ｘｒ（ｉ）（ｉ＝０，…，Ｎ−１）に対して、窓関数Ｗ（４，ｉ）を用いて、以下の〔数式１２〕に従った処理を行い、左チャンネルに対応する変換データの実部Ａｌ（４，ｊ）、虚部Ｂｌ（４，ｊ）、右チャンネルに対応する変換データの実部Ａｒ（４，ｊ）、虚部Ｂｒ（４，ｊ）を得る。
【０１０４】
〔数式１２〕
Ａｌ（４，ｊ）＝Σi=0,…,N-1Ｗ（４，ｉ）・Ｘｌ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｌ（４，ｊ）＝Σi=0,…,N-1Ｗ（４，ｉ）・Ｘｌ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
Ａｒ（４，ｊ）＝Σi=0,…,N-1Ｗ（４，ｉ）・Ｘｒ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｒ（４，ｊ）＝Σi=0,…,N-1Ｗ（４，ｉ）・Ｘｒ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
【０１０５】
〔数式１２〕において、ｉは、各音響フレーム内のＮ個のサンプルに付した通し番号であり、ｉ＝０，１，２，…Ｎ−１の整数値をとる。また、ｊは周波数の値について、値の小さなものから順に付した通し番号であり、ｉと同様にｊ＝０，１，２，…Ｎ−１の整数値をとる。サンプリング周波数が４４．１ｋＨｚ、Ｎ＝４０９６の場合、ｊの値が１つ異なると、周波数が１０．８Ｈｚ異なることになる。次に、低周波成分変更手段３３０は、窓４成分（第４窓関数による低周波スペクトルの各成分）の除去を行う（Ｓ３０６）。具体的には、窓４成分に対して、以下の〔数式１３〕に従った処理を実行することになる。
【０１０６】
上記〔数式１２〕に従った処理を実行することにより、各音響フレームの信号成分を周波数に対応した成分であるスペクトルで表現されたフレームスペクトルが得られる。続いて、低周波成分変更手段３３０が、生成されたフレームスペクトルから３つの所定周波数範囲のスペクトル集合を抽出する。人間の聴覚は、２００〜３００Ｈｚ程度までの低周波成分については、方向性を感知しにくくなっていることが知られている（コロナ社１９９０年１０月３０日発行「音響工学講座１．基礎音響工学、日本音響学会編」ｐ２４７図９・２６参照）。したがって、本実施形態では、低周波成分を２００Ｈｚ程度以下としている。周波数２００Ｈｚ付近は、上記ｊが２０に相当するので、上記〔数式１２〕により算出された実部Ａｌ（４，ｊ）、虚部Ｂｌ（４，ｊ）、実部Ａｒ（４，ｊ）、虚部Ｂｒ（４，ｊ）、のうち、ｊ≦２０（＝Ｍ）のものを抽出することになる。
【０１０７】
〔数式１３〕
ｊ＝１〜Ｍの各成分に対して
Ａｌ´（４，ｊ）＝０
Ｂｌ´（４，ｊ）＝０
ステレオの場合、右信号に対応した以下も算出
Ｅ（４，ｊ）＝｛Ａｌ（４，ｊ）2＋Ｂｌ（４，ｊ）2＋Ａｒ（４，ｊ）2＋Ｂｒ（４，ｊ）2｝1/2
Ａｒ´（４，ｊ）＝Ａｒ（４，ｊ）・Ｅ（４，ｊ）／｛Ａｒ（４，ｊ）2＋Ｂｒ（４，ｊ）2｝1/2
Ｂｒ´（４，ｊ）＝Ｂｒ（４，ｊ）・Ｅ（４，ｊ）／｛Ａｒ（４，ｊ）2＋Ｂｒ（４，ｊ）2｝1/2
【０１０８】
次に、周波数逆変換手段３４０が、上記Ｓ３０６の処理により窓４成分が除去されたフレームスペクトルを周波数逆変換して改変音響フレームを得る処理を行う（Ｓ３０７）。この周波数逆変換は、当然のことながら、周波数変換手段３２０がＳ３０５において実行した手法に対応していることが必要となる。本実施形態では、周波数変換手段３２０において、フーリエ変換を施しているため、周波数逆変換手段３４０は、フーリエ逆変換を実行することになる。具体的には、上記〔数式１３〕のいずれかにより得られたスペクトルの左チャンネルの実部Ａｌ´（４，ｊ）、虚部Ｂｌ´（４，ｊ）、右チャンネルの実部Ａｒ´（４，ｊ）、虚部Ｂｒ´（４，ｊ）を用いて、以下の〔数式１４〕に従った処理を行い、Ｘｌ´（ｉ）、Ｘｒ´（ｉ）を算出する。なお、上記〔数式１３〕において改変されていない周波数成分については、以下の〔数式１４〕においてはＡｌ´（４，ｊ）、Ｂｌ´（４，ｊ）、Ａｒ´（４，ｊ）、Ｂｒ´（４，ｊ）として、元の値であるＡｌ（４，ｊ）、Ｂｌ（４，ｊ）、Ａｒ（４，ｊ）、Ｂｒ（４，ｊ）を用いる。
【０１０９】
〔数式１４〕
Ｘｌ´（ｉ）＝１／Ｎ・｛ΣjＡｌ´（４，ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−ΣjＢｌ´（４，ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋Ｘｌｐ（ｉ＋Ｎ／２）
Ｘｒ´（ｉ）＝１／Ｎ・｛ΣjＡｒ´（４，ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−ΣjＢｒ´（４，ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋Ｘｒｐ（ｉ＋Ｎ／２）
【０１１０】
上記〔数式１４〕によりＡタイプの改変音響フレームの左チャンネルの各サンプルＸｌ´（ｉ）、右チャンネルの各サンプルＸｒ´（ｉ）、が得られることになる。改変音響フレーム出力手段３５０は、得られた改変音響フレームを順次出力ファイルに出力する。続いて、音響フレーム読込手段３１０が、音響信号記憶部３６１に記憶されたステレオ音響信号の左右の各チャンネルから、それぞれ所定数のサンプルをＡタイプの音響フレームとして読み込む（Ｓ３０８）。上述のように、Ｂタイプの音響フレームとＡタイプの音響フレームは、２０４８サンプル重複したものとなっている。したがって、音響フレーム読込手段３１０は、Ｓ３０８においては、Ｓ３０４でＢタイプ音響フレームを読み込んだ位置から２０４８サンプル分移動させて、音響フレームを読み込むことになる。
【０１１１】
続いて、周波数変換手段３２０は、読み込んだＡタイプの音響フレームに対して、周波数変換を行って、その音響フレームのスペクトルであるフレームスペクトルを得る（Ｓ３０９）。具体的には、各音響フレームについて、窓関数Ｗ（１，ｉ）、Ｗ（２，ｉ）、Ｗ（３，ｉ）の３つの窓関数を用いて行う。周波数変換としては、フーリエ変換、ウェーブレット変換その他公知の種々の手法を用いることができるが、上記Ｓ３０５の場合と同様、本実施形態では、フーリエ変換を用いる。
【０１１２】
Ｓ３０９においてフーリエ変換を行う場合、具体的には、左チャンネル信号Ｘｌ（ｉ）、右チャンネル信号Ｘｒ（ｉ）（ｉ＝０，…，Ｎ−１）に対して、３つの窓関数Ｗ（１，ｉ）、Ｗ（２，ｉ）、Ｗ（３，ｉ）を用いて、以下の〔数式１５〕に従った処理を行い、左チャンネルに対応する変換データの実部Ａｌ（１，ｊ）、Ａｌ（２，ｊ）、Ａｌ（３，ｊ）、虚部Ｂｌ（１，ｊ）、Ｂｌ（２，ｊ）、Ｂｌ（３，ｊ）、右チャンネルに対応する変換データの実部Ａｒ（１，ｊ）、Ａｒ（２，ｊ）、Ａｒ（３，ｊ）、虚部Ｂｒ（１，ｊ）、Ｂｒ（２，ｊ）、Ｂｒ（３，ｊ）を得る。なお、窓関数Ｗ（１，ｉ）、Ｗ（２，ｉ）、Ｗ（３，ｉ）は、それぞれ音響フレームの前部（先頭）付近、中央付近、後部付近において値が大きくなる関数となっている。
【０１１３】
〔数式１５〕
Ａｌ（１，ｊ）＝Σi=0,…,N-1Ｗ（１，ｉ）・Ｘｌ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｌ（１，ｊ）＝Σi=0,…,N-1Ｗ（１，ｉ）・Ｘｌ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
Ａｌ（２，ｊ）＝Σi=0,…,N-1Ｗ（２，ｉ）・Ｘｌ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｌ（２，ｊ）＝Σi=0,…,N-1Ｗ（２，ｉ）・Ｘｌ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
Ａｌ（３，ｊ）＝Σi=0,…,N-1Ｗ（３，ｉ）・Ｘｌ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｌ（３，ｊ）＝Σi=0,…,N-1Ｗ（３，ｉ）・Ｘｌ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
Ａｒ（１，ｊ）＝Σi=0,…,N-1Ｗ（１，ｉ）・Ｘｒ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｒ（１，ｊ）＝Σi=0,…,N-1Ｗ（１，ｉ）・Ｘｒ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
Ａｒ（２，ｊ）＝Σi=0,…,N-1Ｗ（２，ｉ）・Ｘｒ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｒ（２，ｊ）＝Σi=0,…,N-1Ｗ（２，ｉ）・Ｘｒ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
Ａｒ（３，ｊ）＝Σi=0,…,N-1Ｗ（３，ｉ）・Ｘｒ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｒ（３，ｊ）＝Σi=0,…,N-1Ｗ（３，ｉ）・Ｘｒ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
【０１１４】
上記〔数式１２〕と同様に、〔数式１５〕において、ｉは、各音響フレーム内のＮ個のサンプルに付した通し番号であり、ｉ＝０，１，２，…Ｎ−１の整数値をとる。また、ｊは周波数の値について、値の小さなものから順に付した通し番号であり、ｉと同様にｊ＝０，１，２，…Ｎ−１の整数値をとる。サンプリング周波数が４４．１ｋＨｚ、Ｎ＝４０９６の場合、ｊの値が１つ異なると、周波数が１０．８Ｈｚ異なることになる。
【０１１５】
上記〔数式１５〕に従った処理を実行することにより、各音響フレームの信号成分を周波数に対応した成分であるスペクトルで表現されたフレームスペクトルが得られる。続いて、低周波成分変更手段３３０が、生成されたフレームスペクトルから３つの所定周波数範囲のスペクトル集合を抽出する。上述のように、人間の聴覚は、２００〜３００Ｈｚ程度までの低周波成分については、方向性を感知しにくくなっているため、ここでも、低周波成分を２００Ｈｚ程度以下としている。周波数２００Ｈｚ付近は、上記ｊが２０に相当するので、上記〔数式１５〕により算出された実部Ａｌ（１，ｊ）、Ａｌ（２，ｊ）、Ａｌ（３，ｊ）、虚部Ｂｌ（１，ｊ）、Ｂｌ（２，ｊ）、Ｂｌ（３，ｊ）、実部Ａｒ（１，ｊ）、Ａｒ（２，ｊ）、Ａｒ（３，ｊ）、虚部Ｂｒ（１，ｊ）、Ｂｒ（２，ｊ）、Ｂｒ（３，ｊ）のうち、ｊ≦２０（＝Ｍ）のものを抽出することになる。
【０１１６】
続いて、低周波成分変更手段３３０は、抽出した左チャンネルの実部Ａｌ（１，ｊ）、Ａｌ（３，ｊ）、虚部Ｂｌ（１，ｊ）、Ｂｌ（３，ｊ）、右チャンネルの実部Ａｒ（１，ｊ）、Ａｒ（３，ｊ）、虚部Ｂｒ（１，ｊ）、Ｂｒ（３，ｊ）を利用して、以下の〔数式１６〕により、合算値Ｅ1、合算値Ｅ2を算出する。
【０１１７】
〔数式１６〕
Ｅ1＝Σj=1,…,M-3｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2＋Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝
Ｅ2＝Σj=1,…,M-3｛Ａｌ（３，ｊ）2＋Ｂｌ（３，ｊ）2＋Ａｒ（３，ｊ）2＋Ｂｒ（３，ｊ）2｝
【０１１８】
上記〔数式１６〕により算出されたＥ1は音響フレーム前部付近のスペクトル集合の成分強度の合算値、Ｅ2は音響フレーム後部付近のスペクトル集合の成分強度の合算値を示すことになる。続いて、この合算値Ｅ1、Ｅ2がレベル下限値Ｌｅｖ以上であるかどうかの判定を行う。レベル下限値Ｌｅｖは、音響信号Ｘｌ（ｉ）、Ｘｒ（ｉ）の振幅最大値が１に正規化されており、Ｍ＝２０に設定されている場合、０．５に設定する。このＬｅｖ＝０．５という値は、経験的にアナログ変換への耐性が維持できるレベルであり、低周波成分が少ない場合は適宜下げることになるが、その場合は、アナログ変換により検出精度も低下することになる。
【０１１９】
合算値Ｅ1、Ｅ2がレベル下限値Ｌｅｖ以上であるかどうかを判断するのは、信号の強度が小さいと、信号を変化させても、その変化を抽出側で検出することができないためである。また、本実施形態では、第１の値（例えば“１”）と第２の値（例えば“０”）をとり得るビット値が“１”の場合、窓３成分（第３窓関数による低周波スペクトルの各成分）に、ビット値が“０”の場合、窓１成分（第１窓関数による低周波スペクトルの各成分）に、埋め込むこととしている。したがって、埋め込むビット値が“１”の場合は、合算値Ｅ1が下限値Ｌｅｖ未満であるとき、埋め込むビット値が“０”の場合は、合算値Ｅ2がレベル下限値Ｌｅｖ未満であるとき、アクセス情報のビット値に応じた記録をせず、先頭ビットから再度処理するため、読み込み位置を先頭ビットに戻し、モードを区切りモードに設定する（Ｓ３１０）。一方、埋め込むビット値が“１”で合算値Ｅ1がレベル下限値Ｌｅｖ以上であるか、埋め込むビット値が“０”で合算値Ｅ2がレベル下限値Ｌｅｖ以上であるときには、モードを判断することになる。
【０１２０】
低周波成分変更手段３３０は、モードが区切りモードである場合、左（Ｌ）チャンネル信号において、窓１成分と窓３成分の低周波成分を均等（全て０となる場合も含む）とする処理を行う（Ｓ３１２）。具体的には、以下の〔数式１７〕に従って、Ｌ側の双方を０に設定する処理を実行することになる。この場合、右（Ｒ）チャンネル信号の窓１成分と窓３成分は必ずしも均等ではない。
【０１２１】
〔数式１７〕
ｊ＝１〜Ｍに対して、
Ａｌ´（１，ｊ）＝０
Ｂｌ´（１，ｊ）＝０
Ａｌ´（３，ｊ）＝０
Ｂｌ´（３，ｊ）＝０
ステレオの場合、右信号に対応した以下も算出
Ｅ（１，ｊ）＝｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2＋Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ａｒ´（１，ｊ）＝Ａｒ（１，ｊ）・Ｅ（１，ｊ）／｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ｂｒ´（１，ｊ）＝Ｂｒ（１，ｊ）・Ｅ（１，ｊ）／｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ｅ（３，ｊ）＝｛Ａｌ（３，ｊ）2＋Ｂｌ（３，ｊ）2＋Ａｒ（３，ｊ）2＋Ｂｒ（３，ｊ）2｝1/2
Ａｒ´（３，ｊ）＝Ａｒ（３，ｊ）・Ｅ（３，ｊ）／｛Ａｒ（３，ｊ）2＋Ｂｒ（３，ｊ）2｝1/2
Ｂｒ´（３，ｊ）＝Ｂｒ（３，ｊ）・Ｅ（３，ｊ）／｛Ａｒ（３，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
【０１２２】
上記〔数式１７〕に従った処理を実行することにより、左チャンネルのフレームスペクトルの低周波数成分は、窓１成分と窓３成分共に“０” で同一となる。この窓１成分と窓３成分が均等のパターンは、付加情報の先頭位置（区切り）を示す情報となる。なお、上記〔数式１７〕においては、窓１成分と窓３成分ともにＡｌ´（ｊ）＝Ｂｌ´（ｊ）＝０としているが、抽出側で区切りであることが認識可能とすることを目的としているため、十分小さな値であれば、必ずしも０とする必要はない。また、必ずしも窓１成分と窓３成分において同一である必要はなく、差が小さければ良い。この意味で、ここでは「均等」という言葉を用いている。
【０１２３】
一方、低周波成分変更手段３３０は、モードがビットモード又は継続識別モードである場合、付加情報記憶部６２から抽出した付加情報のビット配列のビット値に応じて、左チャンネル信号の窓１成分と窓３成分のスペクトル強度の割合を窓１成分が優位か、窓３成分が優位かのいずれかの状態に変更する処理を行う（Ｓ３１１）。ここで、「優位」とは、一方の窓成分のスペクトル集合におけるスペクトル強度が、他方の窓成分のスペクトル集合におけるスペクトル強度よりも大きいことを示す。そこで、Ｓ３１１においては、第１の値と第２の値をとり得るビット値に応じて以下の〔数式１８〕、〔数式１９〕のいずれかに従った処理を実行することにより、窓１成分のスペクトル強度と、窓３成分のスペクトル強度の大小関係を変更し、窓１成分が優位か、窓３成分が優位かのいずれかに変更する処理を行う。例えば、第１の値を１、第２の値を０とした場合、ビット値が１のとき、窓１成分に対して、以下の〔数式１８〕に従った処理を実行する。
【０１２４】
〔数式１８〕
ｊ＝１〜Ｍに対して
Ａｌ´（１，ｊ）＝０
Ｂｌ´（１，ｊ）＝０
ステレオの場合、右信号に対応した以下も算出
Ｅ（１，ｊ）＝｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2＋Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ａｒ´（１，ｊ）＝Ａｒ（１，ｊ）・Ｅ（１，ｊ）／｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ｂｒ´（１，ｊ）＝Ｂｒ（１，ｊ）・Ｅ（１，ｊ）／｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
【０１２５】
なお、この場合、窓３成分に対しては、以下の〔数式１９〕に従った処理を実行する。
【０１２６】
〔数式１９〕
ｊ＝Ｍ−２、Ｍ−１、Ｍの３成分に対して
Ａｌ´（３，ｊ）＝０
Ｂｌ´（３，ｊ）＝０
ステレオの場合、右信号に対応した以下も算出
Ｅ（３，ｊ）＝｛Ａｌ（３，ｊ）2＋Ｂｌ（３，ｊ）2＋Ａｒ（３，ｊ）2＋Ｂｒ（３，ｊ）2｝1/2
Ａｒ´（３，ｊ）＝Ａｒ（３，ｊ）・Ｅ（３，ｊ）／｛Ａｒ（３，ｊ）2＋Ｂｒ（３，ｊ）2｝1/2
Ｂｒ´（３，ｊ）＝Ｂｒ（３，ｊ）・Ｅ（３，ｊ）／｛Ａｒ（３，ｊ）2＋Ｂｒ（３，ｊ）2｝1/2
更にステレオの場合、残存成分を強調させるため、次のように右チャンネル成分を左チャンネル成分に移動させる処理を行う。ｊ＝１〜Ｍ−３に対して
Ａｒ´（３，ｊ）＝０
Ｂｒ´（３，ｊ）＝０
Ａｌ´（３，ｊ）＝Ａｌ（３，ｊ）・Ｅ（３，ｊ）／｛Ａｌ（３，ｊ）2＋Ｂｌ（３，ｊ）2｝1/2
Ｂｌ´（３，ｊ）＝Ｂｌ（３，ｊ）・Ｅ（３，ｊ）／｛Ａｌ（３，ｊ）2＋Ｂｌ（３，ｊ）2｝1/2
【０１２７】
上記〔数式１８〕〔数式１９〕による処理を行った結果、窓３成分のｊ＝Ｍ−２、Ｍ−１、Ｍにおいては、値が“０”となるが、他は所定値以上の信号成分が存在することになる。したがって、この場合、窓３成分が優位な状態にスペクトル強度の割合が変更されたことになる。続いて、ビット値が０のとき、窓３成分に対して、以下の〔数式２０〕に従った処理を実行する。
【０１２８】
〔数式２０〕
ｊ＝１〜Ｍの各成分に対して
Ａｌ´（３，ｊ）＝０
Ｂｌ´（３，ｊ）＝０
ステレオの場合、右信号に対応した以下も算出
Ｅ（３，ｊ）＝｛Ａｌ（３，ｊ）2＋Ｂｌ（３，ｊ）2＋Ａｒ（３，ｊ）2＋Ｂｒ（３，ｊ）2｝1/2
Ａｒ´（３，ｊ）＝Ａｒ（３，ｊ）・Ｅ（３，ｊ）／｛Ａｒ（３，ｊ）2＋Ｂｒ（３，ｊ）2｝1/2
Ｂｒ´（３，ｊ）＝Ｂｒ（３，ｊ）・Ｅ（３，ｊ）／｛Ａｒ（３，ｊ）2＋Ｂｒ（３，ｊ）2｝1/2
【０１２９】
なお、この場合、窓１成分に対しては、以下の〔数式２１〕に従った処理を実行する。
【０１３０】
〔数式２１〕
ｊ＝Ｍ−２、Ｍ−１、Ｍの３成分に対して
Ａｌ´（１，ｊ）＝０
Ｂｌ´（１，ｊ）＝０
ステレオの場合、右信号に対応した以下も算出
Ｅ（１，ｊ）＝｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2＋Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ａｒ´（１，ｊ）＝Ａｒ（１，ｊ）・Ｅ（１，ｊ）／｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ｂｒ´（１，ｊ）＝Ｂｒ（１，ｊ）・Ｅ（１，ｊ）／｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
更にステレオの場合、残存成分を強調させるため、次のように右チャンネル成分を左チャンネル成分に移動させる処理を行う。ｊ＝１〜Ｍ−３に対して
Ａｒ´（１，ｊ）＝０
Ｂｒ´（１，ｊ）＝０
Ａｌ´（１，ｊ）＝Ａｌ（１，ｊ）・Ｅ（１，ｊ）／｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2｝1/2
Ｂｌ´（１，ｊ）＝Ｂｌ（１，ｊ）・Ｅ（１，ｊ）／｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2｝1/2
【０１３１】
上記〔数式２０〕〔数式２１〕による処理を行った結果、窓１成分のｊ＝Ｍ−２、Ｍ−１、Ｍにおいては、値が“０”となるが、他は所定値以上の信号成分が存在することになる。したがって、この場合、窓１成分が優位な状態にスペクトル強度の割合が変更されたことになる。
【０１３２】
上記〔数式１８〕および〔数式１９〕、又は〔数式２０〕および〔数式２１〕のいずれかに従った処理を実行することにより、付加情報のビット配列の各ビット値に応じて、左チャンネル信号の窓１成分が優位か、窓３成分が優位かのどちらかのパターンに変更されることになる。なお、Ｓ３１１においては、継続識別モードの場合は、新規であるときは〔数式１８〕に従って低周波成分の窓１成分、窓３成分間の分布を窓３成分が優位な状態に変更し、継続であるときは〔数式１９〕に従って低周波成分の窓１成分、窓３成分間の分布を窓１成分が優位な状態に変更することになる。
【０１３３】
この場合、高周波帯と低周波数帯の間には、必ず信号成分が“０”の部分が存在し、これにより、高周波帯と低周波数帯の信号成分が混在することを防いでいる。結局、低周波成分変更手段３３０は、区切りモードの場合に〔数式１７〕に基づく処理をＳ３１２において行い、ビットモード又は継続識別モードの場合に〔数式１８〕〔数式１９〕又は〔数式２０〕〔数式２１〕に基づく処理をＳ３１１において行うことになる。
【０１３４】
上記Ｓ３１１、Ｓ３１２いずれの場合であっても、次に、低周波成分変更手段３３０は、窓２成分（第２窓関数による低周波スペクトルの各成分）の削除を行う（Ｓ３１３）。具体的には、窓２成分に対して、以下の〔数式２２〕に従った処理を実行することになる。
【０１３５】
〔数式２２〕
ｊ＝１〜Ｍの各成分に対して
Ａｌ´（２，ｊ）＝０
Ｂｌ´（２，ｊ）＝０
ステレオの場合、右信号に対応した以下も算出
Ｅ（２，ｊ）＝｛Ａｌ（２，ｊ）2＋Ｂｌ（２，ｊ）2＋Ａｒ（２，ｊ）2＋Ｂｒ（２，ｊ）2｝1/2
Ａｒ´（２，ｊ）＝Ａｒ（２，ｊ）・Ｅ（２，ｊ）／｛Ａｒ（２，ｊ）2＋Ｂｒ（２，ｊ）2｝1/2
Ｂｒ´（２，ｊ）＝Ｂｒ（２，ｊ）・Ｅ（２，ｊ）／｛Ａｒ（２，ｊ）2＋Ｂｒ（２，ｊ）2｝1/2
【０１３６】
次に、周波数逆変換手段３４０が、上記Ｓ３１１〜Ｓ３１３の処理により各窓成分のスペクトル集合間の割合が変更されたフレームスペクトルを周波数逆変換して改変音響フレームを得る処理を行う（Ｓ３１４）。この周波数逆変換は、当然のことながら、周波数変換手段３２０がＳ３０５において実行した手法に対応していることが必要となる。本実施形態では、周波数変換手段３２０において、フーリエ逆変換を施しているため、周波数逆変換手段３４０は、フーリエ逆変換を実行することになる。具体的には、上記〔数式１７〕〜〔数式２２〕のいずれかにより得られたスペクトルの左チャンネルの実部Ａｌ´（１，ｊ）等、虚部Ｂｌ´（１，ｊ）等、右チャンネルの実部Ａｒ´（１，ｊ）等、虚部Ｂｒ´（１，ｊ）等を用いて、以下の〔数式２３〕に従った処理を行い、Ｘｌ´（ｉ）、Ｘｒ´（ｉ）を算出する。なお、上記〔数式１７〕〜〔数式２２〕において改変されていない周波数成分については、Ａｌ´（１，ｊ）等として、元の周波数成分であるＡｌ（１，ｊ）等を用いる。
【０１３７】
〔数式２３〕
Ｘｌ´（ｉ）＝１／Ｎ・｛ΣjＡｌ´（１，ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−ΣjＢｌ´（１，ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋１／Ｎ・｛ΣjＡｌ´（２，ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−ΣjＢｌ´（２，ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋１／Ｎ・｛ΣjＡｌ´（３，ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−ΣjＢｌ´（３，ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋Ｘｌｐ（ｉ＋Ｎ／２）
Ｘｒ´（ｉ）＝１／Ｎ・｛ΣjＡｒ´（１，ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−ΣjＢｒ´（１，ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋１／Ｎ・｛ΣjＡｒ´（２，ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−ΣjＢｒ´（２，ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋１／Ｎ・｛ΣjＡｒ´（３，ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−ΣjＢｒ´（３，ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋Ｘｒｐ（ｉ＋Ｎ／２）
【０１３８】
上記〔数式２３〕においては、式が繁雑になるのを防ぐため、Σj=0,…,N-1をΣjとして示している。上記〔数式２３〕における第１式の“＋Ｘｌｐ（ｉ＋Ｎ／２）”、第２式の“＋Ｘｒｐ（ｉ＋Ｎ／２）”の項は、直前に改変された改変音響フレームのデータＸｌｐ（ｉ）、Ｘｒｐ（ｉ）が存在する場合に、時間軸上Ｎ／２サンプル分重複することを考慮して加算するためのものである。上記〔数式２３〕によりＡタイプの改変音響フレームの左チャンネルの各サンプルＸｌ´（ｉ）、右チャンネルの各サンプルＸｒ´（ｉ）、が得られることになる。改変音響フレーム出力手段３５０は、得られた改変音響フレームを順次出力ファイルに出力する。こうして１つの音響フレームに対する処理を終えたら、モードの判定を行い（Ｓ３１６）、モードが区切りモードである場合は、モードを継続識別モードに設定した後（Ｓ３１７）、音響フレーム読込手段３１０が、Ｂタイプ音響フレームを読み込む（Ｓ３０４）。一方、モードがビットモード又は継続識別モードである場合は、モードをビットモードに設定した後（Ｓ３１８）、低周波成分変更手段３３０がアクセス情報のビット配列中の次のビットを読み込む（Ｓ３０３）。以上のような処理を音響信号の両チャンネルの全サンプルに渡って実行していく。すなわち、所定数のサンプルを音響フレームとして読み込み、音響信号から読み込むべき音響フレームがなくなったら（Ｓ３０４）、処理を終了する。なお、Ｓ３０１において読み込んだ１ワードのデータの各ビットに対応する処理を終えた場合、Ｓ３０３からＳ３０１に戻り、アクセス情報の次のワードを読み込み処理をすることになる。アクセス情報の全ワードに対して処理が終了した場合は、アクセス情報の先頭ワードに戻って処理を行う。この結果、全ての音響フレームに対して処理を行った全ての改変音響フレームが出力ファイルに記録されて、改変音響信号として得られる。得られた改変音響信号は、記憶手段３６０内の改変音響信号記憶部３６３に出力され、記憶される。
【０１３９】
以上の処理による左チャンネル信号の変化の様子を図１２を用いて説明する。図１２において、図面左右方向は、時間軸であり、サンプル数に比例する。また、図中多数存在する矩形は、改変音響フレームの窓１成分、窓３成分を示している。窓成分を示す矩形の横幅はサンプル数、縦幅は強度を示しているが、図１２においては、横幅、縦幅とも正確に示したものではなく、窓１成分に対応する先頭部分に強い信号成分があるか、窓３成分に対応する後部部分に強い信号成分があるかということを示すものである。図１２（ａ）は、上記〔数式１６〕により算出された合算値Ｅ1、Ｅ2がレベル下限値Ｌｅｖ未満となる音響フレームが存在しない場合、すなわち、付加情報を埋め込むには、良好な信号である場合を示している。図１２（ｂ）は、上記〔数式１６〕により算出された合算値Ｅ1、Ｅ2がレベル下限値Ｌｅｖ未満となる音響フレームが存在する場合、すなわち、付加情報を埋め込むには、良好でない信号である場合を示している。
【０１４０】
例えば、付加情報として、１ワード目が「１１０１１１００」、２ワード目が「１１０００００１」の２ワードのビット配列を埋め込むとする。まず、各ワードの先頭には、区切りを示す情報として、窓１成分、窓３成分が均等な状態に設定されることになる。これは、Ｓ３０２により区切りモードに設定され、Ｓ３１２において、上記〔数式１７〕に従った処理を実行した結果得られる。続いて、付加情報の各ビットに対応した処理を行う前に、新規であるか継続であるかを示す情報を記録することになる。
【０１４１】
本実施形態では、レベル下限値Ｌｅｖ未満となる音響フレームが存在した場合であっても、その時点で処理したビットは有効とし、そこから継続して行うため、そのビットが新規であるか継続であるかの情報を記録しておく必要がある。そこで、区切りを示す情報を記録した後には、新規であるか継続であるかを示す情報を記録する。具体的には、区切りモードの状態で、モード判断を行うことにより（Ｓ３１６）、継続識別モードに設定され（Ｓ３１７）、付加情報のビットを読み込むことなく、Ｂタイプ音響フレームの抽出に戻る（Ｓ３０４）。そして、周波数変換後（Ｓ３０９）、新規である場合には、〔数式１８〕に従った処理により、低周波成分である窓１成分、窓３成分間の分布を窓３成分が優位な状態に変更する（Ｓ３１１）。
【０１４２】
このようにして、新規か継続かを示す情報を記録した後は、継続識別モードの状態でモード判断を行うため（Ｓ３１６）、ビットモードに設定され（Ｓ３１８）、レジスタから先頭のビットを読み込み（Ｓ３０３）、Ｂタイプ音響フレームの抽出を行う（Ｓ３０４）。図１２（ａ）の例では、レベル下限値Ｌｅｖ未満となる音響フレームが存在しないため、１ワードが連続してＳ３１１により処理されることになる。これは、Ｓ３０３からＳ３１８を経由するループが８回（１ワード＝１バイトの場合）連続して繰り返され、その間レベル下限値Ｌｅｖ未満であるとしてＳ３１０およびＳ３１２、Ｓ３１７を経由することがなかったことを示している。図１２に示すように、付加情報のビット値が１の場合は、窓３成分に低周波成分が存在し、付加情報のビット値が０の場合は、窓１成分に低周波成分が存在する。上記〔数式１８〕〜〔数式２１〕からもわかるように、この場合は他方の窓成分の低周波成分は０となる。
【０１４３】
図１２（ｂ）の例では、上記〔数式１６〕に従った処理の結果、レベル下限値Ｌｅｖ未満となる音響フレームが存在するので、この場合Ｓ３１０およびＳ３１２を経由して、上記〔数式１７〕に従った処理を実行した結果、窓１成分と窓３成分が均等な状態に設定される。この場合、Ｓ３１０において、区切りモードに設定されるため、Ｓ３１７を経由して、新規か継続かを示す情報を記録することになる。図１２（ｂ）の例では、１ワード目の「１１０１１１００」を埋め込む場合に、最初は第１ビット目の「１」の１ビット処理した時点でレベル下限値Ｌｅｖ未満の音響フレームが出現しているため、区切りを示す情報を記録した後、継続を示す情報を記録し、継続して第２ビット目の「１」から処理をしている。そして、第２ビット目から第５ビット目の「１０１１」を処理した時点でレベル下限値Ｌｅｖ未満の音響フレームが出現しているため、区切りを示す情報を記録した後、継続を示す情報を記録し、継続して第６ビット目の「１」から処理をしている。
【０１４４】
なお、図１２の例では、付加情報の１ワードを１バイトとした場合について説明したが、新規か継続かを示す情報を記録するため、付加情報の１ワードを任意のビット数単位で記録することが可能である。
【０１４５】
上記のようにして得られた改変音響信号の左チャンネルのうち、付加情報が埋め込まれている部分については、低周波成分は、窓１成分と窓３成分が均等となっているか、あるいは窓１成分が優位か、窓３成分が優位かの３通りの分布しかないことになる。しかし、高周波成分については、元の音響信号のままであるので、制作者の設定に基づいた種々な分布になる。また、上記の例で示したように、ステレオ音響信号を利用した場合には、左チャンネルにおいて変化させられた低周波成分は、上記〔数式１７〕〜〔数式２２〕の処理からも明らかなように、必ず右チャンネルの低周波成分に付加されている。したがって、右チャンネルが左チャンネルにおいて削除された成分を補っているため、両チャンネル全体として見ると、信号の劣化がない。人間の聴覚は、高周波成分については、方向性を感知し易いが、低周波成分については、方向性を感知しにくくなっている。したがって、低周波成分が一方に偏っていても、聴いている人にとっては、通常の音響信号と変わりなく聴こえることになる。
【０１４６】
したがって、上記のようにして付加情報が埋め込まれた音響信号を音響信号再生装置５００において再生して、スピーカから音として発した音は、通常の音響信号と変わりなく聴こえるが、その音を取得した音響信号検索装置においては、付加情報の抽出が可能となる。
【０１４７】
（３．２．埋込情報抽出部９０の詳細）
次に、上記埋込情報抽出部９０の詳細について説明する。図１３は、埋込情報抽出部９０の詳細を示す図である。図１３において、４１０は基準フレーム獲得手段、４２０は位相変更フレーム設定手段、４３０は周波数変換手段、４４０は符号判定パラメータ算出手段、４５０は符号出力手段、４６０は付加情報抽出手段、４７０は音響フレーム保持手段である。
【０１４８】
基準フレーム獲得手段４１０は、入力されたデジタルのモノラル音響信号（あるいはステレオ音響信号の１チャンネル）から所定数のサンプルで構成される音響フレームを基準フレームとして読み込む機能を有している。位相変更フレーム設定手段４２０は、基準フレームと所定サンプルずつ移動させることにより位相を変更した音響フレームを位相変更フレームとして設定する機能を有している。周波数変換手段４３０は、図９に示した周波数変換手段３２０と同様の機能を有している。符号判定パラメータ算出手段４４０は、生成されたフレームスペクトルから所定の周波数以下に相当する各低周波強度データを抽出し、窓１成分、窓３成分ごとに各低周波強度データの合算値ＥC1、ＥC2を以下の〔数式２４〕に基づいて算出し、この合算値ＥC1、ＥC2を符号判定パラメータとし、この符号判定パラメータＥC1、ＥC2の比率に基づいて、所定の状態であると判断する機能を有している。以下の〔数式２４〕は上記〔数式１６〕において右チャンネル成分を削除したもので、抽出時には右チャンネル成分を参照しないためである。
【０１４９】
〔数式２４〕
ＥC1＝Σj=1,…,M-3｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2｝
ＥC2＝Σj=1,…,M-3｛Ａｌ（３，ｊ）2＋Ｂｌ（３，ｊ）2｝
【０１５０】
符号出力手段４５０は、１つの基準フレームに対応する音響フレーム（基準フレームおよび位相変更フレーム）の中から最適な位相であると判断されるものを判断し、その音響フレームの状態に対応する符号を出力する機能を有している。付加情報抽出手段４６０は、符号出力手段４５０により出力された符号の集合である３値配列を、所定の規則により変換して意味のある付加情報として抽出する機能を有している。音響フレーム保持手段４７０は、連続する２個の基準フレームを保持可能なバッファメモリである。
【０１５１】
次に、図１３に示した埋込情報抽出部９０の処理動作について図１４のフローチャートに従って説明する。まず、本装置では、平均符号レベルＨＬ１、ＨＬ２、位相判定テーブルが初期化される。これらについて説明する。平均符号レベルＨＬ１、ＨＬ２は、ビット値に対応する２値が埋め込まれていたと判断される音響フレーム（以下、有効フレームと呼ぶことにする）についての、上記〔数式２４〕で算出される低周波成分の合算値ＥC1、ＥC2の平均値、すなわち、過去の有効フレームにおける合算値ＥC1、ＥC2の平均値で与えられるものであり、初期値は、上記埋め込み装置においても用いられるレベル下限値Ｌｅｖに設定されている。位相判定テーブルＳ（ｐ）は、位相を判定するためのテーブルであり、ｐは０〜５の整数値をとる。初期値はＳ（ｐ）＝０に設定されている。
【０１５２】
このように、初期値が設定されている状態で、基準フレーム獲得手段４１０が、デジタル化された音響信号から、所定数のサンプルで構成される音響フレームを基準フレームとして抽出する（Ｓ４０１）。具体的には、基準フレームを抽出して音響フレーム保持手段４７０に読み込むことになる。基準フレーム獲得手段４１０が基準フレームとして読み込む１音響フレームのサンプル数は、図９に示した音響フレーム読込手段３１０で設定されたものと同一にする必要がある。したがって、本実施形態の場合、基準フレーム獲得手段４１０は、４０９６サンプルずつ、順次基準フレームとして読み込んでいくことになる。音響フレーム保持手段４７０には、上述のように２個の基準フレームが格納可能となっており、新しい基準フレームが読み込まれると、古い基準フレームを破棄するようになっている。したがって、音響フレーム保持手段４７０には、常に基準フレーム２個分（連続する８１９２サンプル）が格納されていることになる。
【０１５３】
埋込情報抽出部９０で処理する音響フレームは、先頭から途切れることなく隣接して設定される基準フレームと、この基準フレームと位相を変更した位相変更フレームとに分けることができる。基準フレームについては、最初の基準フレームをサンプル番号１からサンプル番号４０９６までを設定したら、次の基準フレームは、サンプル番号４０９７からサンプル番号８１９２、さらに次の基準フレームは、サンプル番号８１９３からサンプル番号１２２８８、というように途切れることなく設定される。そして、各基準フレームについて、１／６フレーム（約６８３サンプル）ずつ移動した５個の位相変更フレームを設定する。例えば、最初の基準フレームについては、サンプル番号６８３、１３６６、２０４９、２７３２、３４１３から始まる４０９６のサンプルで構成される５個の位相変更フレームが設定されることになる。
【０１５４】
続いて、周波数変換手段４３０、符号判定パラメータ算出手段４４０が、読み込んだ各音響フレームから、埋め込まれている情報を判定し、対応する符号を出力する（Ｓ４０２）。出力される情報の形式は、埋め込み側のビット値に対応する２値、および区切りとして入力された値の３値の形式となる。
【０１５５】
ここで、ステップＳ４０２の符号判定処理の詳細を図１５のフローチャートに従って説明する。まず、周波数変換手段４３０が、読み込んだ各音響フレームに対して、周波数変換を行ってフレームスペクトルを得る（Ｓ５０１）。この処理は、図９に示した周波数変換手段３２０における処理と同様である。ただし、抽出に用いるのは、左チャンネルだけであるので、上記〔数式１５〕に従った処理を行い、左チャンネルに対応する変換データの実部Ａｌ（１，ｊ）等、虚部Ｂｌ（１，ｊ）等を得る。
【０１５６】
上記周波数変換手段４３０における処理により、周波数に対応した成分であるスペクトルで表現されたフレームスペクトルが得られる。続いて、符号判定パラメータ算出手段４４０は、平均符号レベルＨＬ１、ＨＬ２の算出を行う（Ｓ５０２）。具体的には、過去窓１成分が優位な状態と判断された音響フレームについての合算値ＥC1の積算値であるｖ１を、過去窓１成分が優位な状態と判断された音響フレームの数であるｎ１で除算することによりＨＬ１を算出し、過去窓３成分が優位な状態と判断された音響フレームについての合算値ＥC2の積算値であるｖ２を、過去窓３成分が優位な状態と判断された音響フレームの数であるｎ２で除算することによりＨＬ２を算出する。したがって、平均符号レベルＨＬ１、ＨＬ２は、過去対応する窓成分が優位な状態と判断された音響フレームの低周波強度データの合算値の平均値となる。
【０１５７】
さらに、符号判定パラメータ算出手段４４０は、生成されたフレームスペクトルから所定の周波数範囲の各低周波強度データを抽出する。抽出すべき周波数範囲は、埋め込み装置と対応させる必要がある。したがって、ここでは、周波数が２００Ｈｚ程度以下の低周波強度データを抽出することになり、埋め込み装置の場合と同様、上記〔数式１５〕により算出された左チャンネルの実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）のうち、ｊ≦２０のものを抽出する。そして、符号判定パラメータ算出手段４４０は、上記〔数式２４〕に従った処理を実行することにより、窓１成分の合算値ＥC1、窓３成分の合算値ＥC2を算出する。埋込情報抽出部９０においては、これを符号判定パラメータとして用いる。
【０１５８】
続いて、符号判定パラメータ算出手段４４０は、候補符号テーブルの初期化を行う（Ｓ５０３）。候補符号テーブルは、１つの基準フレームおよび５個の位相変更フレームを特定する０〜５の位相番号および、この６個の音響フレームの状態から得られる３値の符号を記録するものである。
【０１５９】
続いて、符号判定パラメータ算出手段４４０は、窓１成分の合算値ＥC1、窓３成分の合算値ＥC2がそれぞれ所定値以下であるかどうかの判定を行う（Ｓ５０４）。具体的には、所定値としてそれぞれ平均符号レベルＨＬ１、ＨＬ２の２０分の１を設定する。合算値ＥC1が平均符号レベルＨＬ１の２０分の１以下であり、かつ、合算値ＥC2が平均符号レベルＨＬ２の２０分の１以下である場合、符号判定パラメータ算出手段４４０は、区切り情報であると判定する（Ｓ５０８）。
【０１６０】
一方、符号判定パラメータ算出手段４４０は、上記算出された符号判定パラメータＥC1、ＥC2の所定値との比較判定および相互の比較判定を以下の〔数式２５〕に従って行い（Ｓ５０５）、比較結果に対応する符号を出力する。
【０１６１】
〔数式２５〕
ＥC2＞（所定値）かつＥC2／ＥC1＞２の場合、窓３成分が優位な状態
ＥC1＞（所定値）かつＥC1／ＥC2＞２の場合、窓１成分が優位な状態
上記以外の場合、両窓成分が均等
【０１６２】
符号判定パラメータ算出手段４４０は、各音響フレーム単位で、上記判定結果に応じて３値の符号を出力する。すなわち、窓３成分が優位な状態と判定した場合には、第１のビット値（例えば“１”）を出力し（Ｓ５０６）、窓１成分が優位な状態と判定した場合には、第２のビット値（例えば“０”）を出力し（Ｓ５０７）、両窓成分が均等と判定した場合には、区切り情報を示す符号を出力する（Ｓ５０８）。なお、Ｓ５０５において、窓３成分が優位な状態と判定した場合は、ＥC1がＨＬ１以上であるか、また、窓１成分が優位な状態と判定した場合は、ＥC2がＨＬ２以上であるかを判定し、これらの条件を満たしていない場合は、区切り情報を示す符号を出力する（Ｓ５０８）。
【０１６３】
窓３成分が優位な状態と判定して、第１のビット値を出力した場合（Ｓ５０６）、又は窓１成分が優位な状態と判定して、第２のビット値を出力した場合（Ｓ５０７）は、さらに、以下の〔数式２６〕に従って位相判定テーブルＳ（ｐ）の更新を行う（Ｓ５０９）。
【０１６４】
〔数式２６〕
窓３成分が優位な状態の場合、Ｓ（ｐ）←Ｓ（ｐ）＋ＥC1／ＥC2
窓１成分が優位な状態の場合、Ｓ（ｐ）←Ｓ（ｐ）＋ＥC2／ＥC1
【０１６５】
続いて、符号判定パラメータ算出手段４４０は、候補符号テーブルに、最適位相となる候補を保存する（Ｓ４１０）。具体的には、位相判定テーブルに記録されているＳ（ｐ）の値が最大となる位相番号ｐの値、前記Ｓ５０６〜Ｓ５０８により判定された３値のいずれかの符号、その音響フレームについての上記〔数式１６〕に従った処理を実行することにより算出した、低周波数成分に対応する各ＥC1、ＥC2の値を最適位相の候補として候補符号テーブルに保存する。
【０１６６】
続いて、全ての位相番号ｐに対応する処理を終えたかどうかを判定する（Ｓ４１１）。これは、ある基準フレームに対して全ての位相変更フレームの処理を行ったかどうかを判定している。本実施形態では、ｐが０〜５までの値をとるので、６回分処理していない場合は、処理していた音響フレームから所定サンプル数ずらして、位相の異なる音響フレームを設定し、Ｓ５０４に戻って処理を繰り返す。なお、ｐ＝０の場合が基準フレームであり、ｐ＝１〜５の場合が位相変更フレームである。全ての位相番号ｐに対応する処理を終えた場合は、候補保存テーブルに記録されている位相番号ｐに対応する位相が最適位相であると判定し、候補保存テーブルに記録されている符号を出力する（Ｓ４１２）。
【０１６７】
再び図１４のフローチャートに戻って説明する。Ｓ４０２による処理の結果、ビット値に相当する符号が出力された場合には、平均符号レベルのパラメータの更新を行う（Ｓ４０３）。具体的には、平均符号レベルＨＬ１、ＨＬ２算出の際の分子となる積算値ｖ１、ｖ２にそれぞれ合算値ＥC1、ＥC2を加算して積算値ｖ１、ｖ２を更新し、分母となるフレーム数ｎ１、ｎ２にそれぞれ１を加算してフレーム数ｎ１、ｎ２を更新する。続いて、モードの判定を行う（Ｓ４０４）。モードは、区切りモードとビット出力モードの２つが用意されている。ビット出力モードである場合は、そのビット値をバッファに保存する（Ｓ４０９）。続いて、ビットカウンタをカウントアップする（Ｓ４１０）。一方、Ｓ４０４による判定の結果、区切りモードである場合には、さらに抽出された符号が、新規を意味するものか継続を意味するものかを判定する（Ｓ４０５）。この結果、新規である場合には、その直前で１ワードが終了していることを意味するので、バッファに記録された１ワード分のデータを、付加情報抽出手段４６０が出力する（Ｓ４０６）。そして、ビットカウンタを０に初期化する（Ｓ４０７）。さらに、モードをビット出力モードに設定する（Ｓ４０８）。Ｓ４０５において、継続と判定された場合には、バッファ内のビットに値を出力すべきであるので、ビット出力モードに設定する処理のみを行う。また、Ｓ４０２において、区切り情報に相当する符号が抽出された場合には、次の音響フレームから新規か継続かの情報を抽出するため、モードを区切りモードに設定する（Ｓ４１１）。図１４に示す処理を各基準フレームに対して実行することにより、付加情報が抽出されることになる。Ｓ４０１において全ての基準フレームが抽出されたと判断された場合には、処理を終了する。
【０１６８】
上記Ｓ４０６の処理において、付加情報抽出手段４６０は、まず、符号判定パラメータ算出手段４４０により出力された３値の符号のうち、窓３成分と窓１成分が均等であることを示す符号を区切り位置として、その次の符号を先頭とし、窓３成分が優位な状態、窓１成分が優位な状態であることを示す符号をビット値に対応させて、ビット配列を作成する。続いて、このビット配列を、所定の規則により変換して意味のある付加情報として抽出する。所定の規則としては、情報を埋め込む者が意図した情報が受け取った者に認識可能な状態とできるものであれば、さまざまな規則が適用できるが、本実施形態では、文字情報として認識するための規則としている。すなわち、付加情報抽出手段４６０は、符号判定パラメータ算出手段４４０が判定し、符号出力手段４５０から出力される符号を１バイト（８ビット）単位で認識し、これを設定されたコード体系に従って文字情報であるアクセス情報を認識する。本実施形態ではＵＲＬを認識することになる。
【０１６９】
従って、埋め込み装置により音響信号に、その楽曲の曲名やアーチスト等に関連するｗｅｂサイトのＵＲＬを文字情報として埋め込んでおけば、利用者は、その音楽が流れているのを聞いて、その曲名やアーチストに関連する詳細な情報を知りたいと思ったときに、抽出装置として機能する自身の携帯端末に所定の操作を行えば、自身の携帯端末で、その楽曲やアーチストに関連するｗｅｂサイトのＵＲＬが取得できることになる。
【０１７０】
ここで本実施形態に示すような窓関数窓関数Ｗ（１，ｉ）、Ｗ（２，ｉ）、Ｗ（３，ｉ）、Ｗ（４，ｉ）を用いることの利点について説明する。図１６は、本実施形態の特徴を有しない窓関数を利用した場合の埋め込み直前と埋め込み後の低周波成分の状態を示す図であり、図１７は、本発明による埋め込み直前と埋め込み後の低周波成分の状態を示す図である。埋め込み後の低周波成分の状態である図１６（ｂ）と図１７（ｂ）を比較すると、本実施形態では、そうでない場合と比べてＡタイプ音響フレームにおいて広い範囲で値を有していることがわかる。そのため、Ｓ５０２において〔数式２４〕を用いて算出される合算値ＥC1、ＥC2の値が大きくなり、Ｓ５０６、Ｓ５０７においてビット値が抽出される確率が高まる。
【０１７１】
以上の処理においては、埋込情報抽出部９０において正確に付加情報を抽出するために、位相を補正する処理、窓３成分と窓１成分の強度のバランスを補正する処理、無効フレームであることを判断するための下限閾値を補正する処理を行っている。次に、これら３つの補正処理について補足説明を行う。
【０１７２】
上記のように、抽出時には、埋め込み時に埋め込んだ音響フレームに対応して、音響信号を読み込むことができるとは限らない。そこで、音響フレームの位相をずらして複数通り（本実施形態では６通り）で読み込み、その中で最適な位相を決定し、その位相で特定される音響フレームに対応する符号を出力することにしている。例えば、６通りで読み込む場合、先頭の音響フレームは、本来サンプル番号１〜４０９６のサンプルであるが、サンプル番号１、６８３、１３６６、２０４９、２７３２、３４１３から始まる４０９６のサンプルで構成される６個の各音響フレームに対して処理を行い、最適な音響フレームに対応する符号を出力することになる。この位相補正処理は、Ｓ５０３、Ｓ５０９、Ｓ４１０、Ｓ４１１、Ｓ４１２における処理を中心として行われることになる。
【０１７３】
信号レベルが小さい場合には、窓成分の強度の大小が判定できず、抽出側で誤判断することが多くなる。そこで、合算値ＥC1およびＥC2が所定の閾値以下のフレームについては、無効なフレームであると判断するようにしているが、この際の閾値を過去の有効フレームについての低周波強度の積算値を利用して補正する処理を行っている。このように閾値を変動させることにより、信号レベルが変動しても無効なフレームであるか、有効なフレームであるかを正確に判断することが可能となる。この下限閾値補正処理は、Ｓ５０２、Ｓ４０３における処理を中心として行われることになる。
【０１７４】
上記実施形態においては、埋め込み装置、埋込情報抽出部９０のいずれにおいても、左右のチャンネルを有するステレオ音響信号の左チャンネル信号に付加情報を埋め込む場合を例にとって説明したが、逆に右チャンネル信号に付加情報を埋め込むようにしても良い。本発明は、左右の特性には無関係だからである。また、１つのチャンネルしかないモノラル音響信号に対して処理を行う場合は、上記実施形態において、左チャンネル信号に対して行った処理を行うことになる。本発明は、１つのチャンネル信号に対して付加情報を埋め込み、また抽出を行うので、モノラル音響信号であってもステレオ音響信号であっても同様に行うことができる。
【０１７５】
図１８にステレオ音響信号とモノラル音響信号に対して、本発明により付加情報を埋め込む場合の概念図を示す。図１８（ａ）はステレオ音響信号の場合、図１８（ｂ）はモノラル音響信号の場合である。なお、図１８の例では、音響フレーム１つ分の低周波成分を波形で表現しており、ビット値“０”を埋め込む場合を例に示している。
【０１７６】
ステレオ音響信号の場合、埋め込みは左チャンネル（Ｌ−ｃｈ）信号に対して行われる。図１８（ａ）に示すように、周波数変換後、信号分離し、さらに、ビット埋め込み処理を行う。具体的には、〔数式１７〕〜〔数式２２〕の処理の結果、ビット埋め込みがなされることになる。ここで、上述のように、“０”を埋め込む場合は〔数式２０〕および〔数式２１〕を用いる。したがって、ビット埋め込み処理後は、音響フレームの中央付近（窓２に相当）と後部付近（窓３に相当）は、低周波数帯の信号成分は０（図中、波形がないことで表現）となる。この際、〔数式２０〕および〔数式２１〕の内容から明らかなように、左チャンネル信号の削除された信号成分は、右チャンネル（Ｒ−ｃｈ）信号に加算される。したがって、図１８（ａ）の下段に示すように、右チャンネル信号の低周波成分は大きくなる。ビット埋め込み処理後は、高周波成分を含めて信号合成された後、周波数逆変換され、改変音響信号が得られることになる。一方、上記〔数式１８〕の最後の３つの式から明らかなように、左チャンネル信号の残っている信号成分に対応する右チャンネル（Ｒ−ｃｈ）信号の成分は、左チャンネル信号に加算される。したがって、図１８（ａ）の上段に示すように、左チャンネル信号の窓１に相当する低周波成分は大きくなる。
【０１７７】
モノラル音響信号の場合、図１８（ｂ）に示すように処理が行われるが、図１８（ａ）の上段と比較するとわかるように、ステレオ音響信号の左チャンネルと同様の処理が行われることになる。
【０１７８】
ここまで、説明してきた処理においては、窓１成分、窓３成分に所定の大きさ以上の信号成分が存在していることが必要となり、窓１成分、窓３成分が共に所定の大きさ以下の場合には、情報の埋め込みを行うことができない。そこで、以下、窓１成分、窓３成分が共に所定の大きさ以下であっても、信号の埋め込みを可能とする手法について説明する。
【０１７９】
この場合、図９に示した埋め込み装置における情報の埋め込み処理は、図１９のフローチャートに従って行われる。図１９のフローチャートにおいて、図１０のフローチャートと異なる点は、Ｓ７０９における周波数変換処理において低周波成分変更手段３３０がレベルの判定を行わず、さらに、Ｓ３１０に相当する区切りモードへの設定処理が存在しない点である。これは、図１９に従った処理では、信号レベルが小さくても強制的に情報を埋め込むこととしているため、情報の埋め込みが不可能な信号レベルが小さい部分が存在するかどうかを判断し、区切りモードに設定する必要がないからである。
【０１８０】
したがって、Ｓ７１０における窓１成分、窓３成分のいずれかを優位な状態に設定する処理としては、まず、以下の〔数式２７〕に従って算出される固定値Ｖを、低周波成分の強度として、上記合算値Ｅ1、Ｅ2に代えて設定する。
【０１８１】
〔数式２７〕
Ｖ＝｛０．５・Ｌｅｖ／（Ｍ−３）｝1/2
【０１８２】
そして、第１の値を１、第２の値を０とした場合、ビット値が１のとき、上記〔数式１８〕および〔数式１９〕に従った処理を実行した後、以下の〔数式２８〕に従った処理を実行する。
【０１８３】
〔数式２８〕
窓３成分に対して
Ａｌ´（３，ｊ）＝Ａｌ（３，ｊ）・Ｖ／｛Ａｒ（３，ｊ）2＋Ｂｒ（３，ｊ）2｝1/2
Ｂｌ´（３，ｊ）＝Ｂｌ（３，ｊ）・Ｖ／｛Ａｒ（３，ｊ）2＋Ｂｒ（３，ｊ）2｝1/2
【０１８４】
ビット値が０の場合、上記〔数式２０〕および〔数式２１〕に従った処理を実行した後、以下の〔数式２９〕に従った処理を実行する。
【０１８５】
〔数式２９〕
窓１成分に対して
Ａｌ´（１，ｊ）＝Ａｌ（１，ｊ）・Ｖ／｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ｂｌ´（１，ｊ）＝Ｂｌ（１，ｊ）・Ｖ／｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
【０１８６】
Ｓ７１０における上記処理を行った後、窓２成分削除処理（Ｓ７１２）以降の処理は、図１０に示したＳ３１３以降の処理と同様にして行われる。
【０１８７】
上記のように、周波数成分が小さい場合に情報を埋め込んだ場合であっても、抽出側の、音響信号からの情報の抽出装置の構成は図１３と同一であり、処理動作は図１４のフローチャートに従ったものと同一である。
【０１８８】
図２０にステレオ音響信号とモノラル音響信号に対して、信号成分が小さい場合に、付加情報を埋め込む場合の概念図を示す。図２０（ａ）はステレオ音響信号の場合、図２０（ｂ）はモノラル音響信号の場合である。なお、図２０の例では、図１８の場合と同様に、音響フレーム１つ分の低周波成分を波形で表現しており、ビット値“０”を埋め込む場合を例に示している。
【０１８９】
図２０において、図１８の場合と異なるのは、元の信号成分が小さい点である。図２０（ａ）に示す例のように、信号分離後の段階では、窓１成分、窓３成分の値が小さい場合であっても、上記〔数式２７〕〜〔数式２９〕の処理に従ってビット埋め込みを行うことにより、図１８と同様な信号成分を有することとなる。
【０１９０】
モノラル音響信号の場合、図２０（ｂ）に示すように処理が行われるが、図２０（ａ）の上段と比較するとわかるように、ステレオ音響信号の左チャンネルと同様の処理が行われることになる。
【図面の簡単な説明】
【０１９１】
【図１】登録特徴ワード生成装置の構成図である。
【図２】図１に示した装置の処理動作を示すフローチャートである。
【図３】特徴ワードの生成処理の概念図である。
【図４】本発明に係る音響信号検索装置の構成図である。
【図５】図２に示した装置の処理動作を示すフローチャートである。
【図６】関連情報データベース４０に登録された情報および処理過程で生じる情報を示す図である。
【図７】関連情報としてサイトのアドレス情報を登録した場合を示す図である。
【図８】電子透かしによる付加情報の埋め込みおよび抽出との組み合わせの例を示す図である。
【図９】音響信号に対する情報の埋込装置の機能ブロック図である。
【図１０】図９に示した装置の処理概要を示すフローチャートである。
【図１１】本発明で用いる窓関数を示す図である。
【図１２】図１０に従った処理による低周波成分の変化の様子を示すである。
【図１３】埋込情報抽出部９０の詳細を示す機能ブロック図である。
【図１４】図１３に示した装置の処理概要を示すフローチャートである。
【図１５】図１４のＳ４０２の符号判定処理の詳細を示すフローチャートである。
【図１６】本実施形態の窓関数を用いない場合の、埋め込み前後の、音響信号の低周波部分を示す概念図である。
【図１７】本実施形態による埋め込み前後の、音響信号の低周波部分を示す概念図である。
【図１８】本発明による付加情報の埋め込み処理の概念図である。
【図１９】図９に示した装置において、元の信号成分が小さくても情報の埋め込みを可能とする場合の処理概要を示すフローチャートである。
【図２０】元の信号成分が小さい場合の、付加情報の埋め込み処理の概念図である。
【符号の説明】
【０１９２】
１０、１１、３１０、４１０・・・音響フレーム読込手段
２０、２１・・・特徴ワード生成手段
３０・・・特徴ワード登録手段
４０・・・関連情報データベース
５０・・・マイクロフォン
６０・・・特徴ワード照合手段
７０・・・関連情報出力手段
８０・・・ネットワークアクセス部
９０・・・埋込情報抽出部
１００・・・ネットワーク
２００・・・サイト
３２０・・・周波数変換手段
３３０・・・低周波成分変更手段
３４０・・・周波数逆変換手段
３５０・・・改変音響フレーム出力手段
３６０・・・記憶手段
３６１・・・音響信号記憶部
３６２・・・付加情報記憶部
３６３・・・改変音響信号記憶部
３７０・・・付加情報読込手段
４１０・・・基準フレーム獲得手段
４２０・・・位相変更フレーム設定手段
４３０・・・周波数変換手段
４４０・・・符号判定パラメータ算出手段
４５０・・・符号出力手段
４６０・・・付加情報抽出手段
４７０・・・音響フレーム保持手段
５００・・・音響信号再生装置
【技術分野】
【０００１】
本発明は、ＣＤ・ＤＶＤ等を用いた民生・業務用途における鑑賞用のパッケージ音楽分野、放送事業者等が商業目的で配信する放送・ネットワーク音楽配信分野における音楽著作権の保護（不正コピーの監視）および音楽属性情報の提供（楽曲タイトル検索サービス）分野に関する。
【背景技術】
【０００２】
最近、流れている音楽のタイトル等を知ることができる楽曲属性情報の提供サービスとして、放送された音楽に対して日時と地域を放送局に照会したり、携帯電話で流れている音楽断片を録音してデータベースに登録されているメロディーと照合したりするサービスが実用化されている（例えば、特許文献１、２参照）。
【特許文献１】特表２００４−５３６３４８号公報
【特許文献２】特表２００４−５３７７６０号公報
【特許文献３】特願２００６−４９５０３号
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来の手法では、データベースに登録されているメロディーと、録音したメロディーの照合精度を高めるため、流れているメロディーを長時間録音しなければならず、また、録音により取得したメロディーとデータベースに登録されているメロディーとの照合処理にも負荷がかかるという問題があった。
【０００４】
これを解決するため、本出願人は、上記特許文献３において、音響信号に対してスペクトル分解し、隣接フレーム間におけるスペクトル変位を複数のフレームに渡って累積した３２ビットの特徴ワードを複数生成し、この特徴ワード単位でデータベースと照合し、ビット合致度の高い候補レコードを絞り込んでいくことにより、音響信号を検索する技術を提案した。
【０００５】
しかしながら、上記特許文献３に記載の手法では、音量の絶対的な大小を反映させていないため、音量の小さい部分では、スペクトルが不安定になり、適合レコードと非適合レコードとのビット合致度に顕著な差が生じにくく、誤判定を起こし易いという問題がある。
【０００６】
そこで、本発明は、録音により取得したメロディーとデータベースに登録されているメロディーとの照合処理をより正確に行うことが可能な音響信号検索装置を提供することを課題とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明第１の態様では、録音により得られた音響信号の特徴と、データベースに登録された音響信号の特徴との照合を行って、録音した音響信号に関連する情報を取得する装置であって、各音響信号について、その特徴パターンと重み値を表現した複数の特徴ワードと、当該音響信号の関連情報を登録した関連情報データベースと、音源より発信されている音声を音響信号として獲得する音響信号獲得手段と、前記音響信号に対して、所定の区間単位で、当該区間単位における音響信号の特徴パターンと重み値を表現した所定バイト数の特徴ワードを生成する特徴ワード生成手段と、前記特徴ワードを複数個で１セットとし、当該１セット内の特徴ワードと、前記関連情報データベースに登録されている登録特徴ワードとを照合する処理を、前記１セット内の先頭の特徴ワードから行って、前記生成された特徴ワードと前記登録特徴ワードの非合致度が所定より低い複数の候補レコードを抽出する処理を行い、１つの候補レコードに絞り込むデータベース照合手段と、前記絞り込まれた候補レコードに対応する関連情報を前記関連情報データベースから抽出する関連情報抽出手段を有する音響信号検索装置を提供する。
【０００８】
本発明第２の態様では、本発明第１の態様の音響信号検索装置における特徴ワード変換手段が、前記所定の区間の平均スペクトルに基づいて所定のビット数の特徴パターンを生成し、前記所定の区間の平均音量に基づいて所定のビット数の重み値を生成し、前記特徴パターンと重み値で構成される特徴ワードを生成するものであることを特徴とする。
【０００９】
本発明第３の態様では、本発明第２の態様の音響信号検索装置における特徴ワード変換手段が、前記所定の区間の平均スペクトルを算出し、所定の周波数領域内を周波数方向に８Ｋ個のバンドに分割し、８Ｋ個のバンド全体で０と１の個数が均等になるように、前記各バンドのスペクトル成分に対して、０または１を与えることにより二値化を行い、前記８ＫバンドのスペクトルをＫバイトの特徴ワードに変換するものとしたことを特徴とする。
【００１０】
本発明第４の態様では、本発明第３の態様の音響信号検索装置における特徴ワード変換手段が、８Ｋ個のバンドを複数のグループに分類し、各グループにおいて、０と１の個数が均等になるように、前記各バンドのスペクトル成分に対して、０または１を与えることにより二値化を行うものとしたことを特徴とする。
【００１１】
本発明第５の態様では、本発明第２〜第４の態様の音響信号検索装置において、前記所定の区間はＴ個の音響フレームにより構成されるものであり、前記特徴ワード変換手段は、前記各音響フレームに対してフーリエ変換を行い、隣接音響フレームとの差分値を、前記Ｔ個の音響フレームに渡って加算したものを前記所定の区間の平均スペクトルとして算出するようにしたことを特徴とする。
【００１２】
本発明第６の態様では、本発明第５の態様の音響信号検索装置において、前記特徴ワード変換手段は、前記各音響フレームに対してフーリエ変換を行った後、所定フレーム数単位でずらした各位置において平均スペクトルを算出することにより、複数の特徴ワードを生成し、前記データベース照合手段は、前記複数の特徴ワードを用いて候補レコードを抽出するようにしたことを特徴とする。
【００１３】
本発明第７の態様では、本発明第１の態様の音響信号検索装置において、前記データベース照合手段は、前記特徴ワード生成手段により生成された特徴ワードと、前記関連情報データベースに登録されている特徴パターンである登録特徴ワードとを照合する際に、前記生成された特徴ワードと前記登録特徴ワードに含まれる特徴パターンを比較して不一致ビット数を算出するとともに、前記生成された特徴ワードと前記登録特徴ワードに含まれる重み値を比較して大きい重み値を小さい重み値で除算した補正値を算出し、当該補正値を前記不一致ビット数に乗算した値を利用して非合致度を算出し、当該非合致度に基づいて候補レコードを抽出するものであることを特徴とする。
【００１４】
本発明第８の態様では、本発明第１の態様の音響信号検索装置において、前記データベース照合手段は、前記特徴ワード生成手段により生成された特徴ワードと、前記関連情報データベースに登録されている特徴パターンである登録特徴ワードとを照合する際に、前記生成された特徴ワードと前記登録特徴ワードに含まれる特徴パターンを各ビット単位で比較して、両者のビットが不一致である場合に、成分が大きいことを示す特徴ワードに含まれる重み値を加算する処理を行って非合致度を算出し、当該非合致度に基づいて候補レコードを抽出するものであることを特徴とする。
【００１５】
本発明第９の態様では、本発明第１から第８の態様の音響信号検索装置において、前記関連情報は、ネットワーク上の所定のサイトにアクセスするためのアドレス情報であり、当該アドレス情報を用いてネットワーク上の所定のサイトにアクセスするネットワークアクセス手段をさらに有することを特徴とする。
【００１６】
本発明第１０の態様では、本発明第１から第８の態様の音響信号検索装置において、前記関連情報データベースに登録されている特徴ワードは、付加情報が埋め込まれた音響信号について作成されたものであり、前記録音された音響信号は、付加情報が埋め込まれたものであり、前記音響信号から付加情報を抽出する付加情報抽出手段をさらに有するものであることを特徴とする。
【発明の効果】
【００１７】
本発明第１の態様によれば、音響信号に対して、所定の区間単位における音響信号の特徴パターンと重み値を表現した所定バイト数の特徴ワードに変換し、この特徴ワードを複数個で１セットとし、当該１セット内の特徴ワードと、関連情報データベースに登録されている登録特徴ワードとを照合する処理を、前記１セット内の先頭の特徴ワードから行って、生成された特徴ワードと登録特徴ワードの非合致度が所定より低い複数の候補レコードを抽出する処理を行い、１つの候補レコードに絞り込み、絞り込まれた候補レコードに対応する関連情報を抽出するようにしたので、録音により取得したメロディーとデータベースに登録されているメロディーとの照合処理をより正確に行うことが可能となるという効果を奏する。
【００１８】
本発明第２の態様によれば、音響信号の特徴を表現した特徴ワードを、所定の区間の平均スペクトルに基づいた所定のビット数の特徴パターンと、所定の区間の音量に基づいた所定のビット数の重み値で構成するようにしたので、無音部を照合対象から外す必要がなくなり、安定した照合を行うことが可能となるという効果を奏する。
【００１９】
本発明第３の態様によれば、音響信号の特徴を表現した特徴ワードを、所定の区間の平均スペクトルを算出し、所定の周波数領域内を周波数方向に８Ｋ個のバンドに分割し、８Ｋ個のバンド全体で０と１の個数が均等になるように、前記各バンドのスペクトル成分に対して、０または１を与えることにより二値化を行い、８ＫバンドのスペクトルをＫバイトの特徴ワードとして得るようにしたので、特徴ワードが、コンピュータが処理し易い８ビットの倍数単位、すなわちバイト単位であるため、高速な照合が可能となるという効果を奏する。
【００２０】
本発明第４の態様によれば、特徴ワードの生成において、平均スペクトルを算出して８Ｋ個のバンドに分割した後、８Ｋ個のバンドを複数のグループに分類し、各グループにおいて、０と１の個数が均等になるように、前記各バンドのスペクトル成分に対して、０または１を与えることにより二値化を行うようにしたので、マイクロフォンを通すことによる周波数特性の影響を補正することが可能となるという効果を奏する。
【００２１】
本発明第５の態様によれば、特徴ワードの生成を、複数の音響フレームについてのスペクトルの差分の総和に基づいて行うようにしたので、音響信号の信号レベルが大きく変化するような箇所についても、信号レベルの大小に影響されない特徴ワードの生成が可能となるという効果を奏する。
【００２２】
本発明第６の態様によれば、各音響フレームに対してフーリエ変換を行った後、所定フレーム数単位でずらした各位置において平均スペクトルを算出することにより、複数の特徴ワードを生成し、生成した複数の特徴ワードを用いて候補レコードを抽出するようにしたので、録音した音響信号が位置ずれしていた場合であっても、精度の高い検索が可能となるという効果を奏する。
【００２３】
本発明第７の態様によれば、特徴ワードの照合の際に、生成された特徴ワードと登録特徴ワードに含まれる特徴パターンを比較して不一致ビット数を算出するとともに、生成された特徴ワードと登録特徴ワードに含まれる重み値の比較に基づいた補正値を算出し、この補正値を不一致ビット数に乗算した値を利用して非合致度を算出するようにしたので、特に音楽等の時間的な伸縮が小さい音響データとの照合を行う場合に、精度の高い検索が可能となるという効果を奏する。
【００２４】
本発明第８の態様によれば、特徴ワードの照合の際に、生成された特徴ワードと登録特徴ワードに含まれる特徴パターンをビット単位で比較して、両者のビットが不一致である場合に、成分が大きいことを示す特徴ワードに含まれる重み値を加算する処理を行って非合致度を算出するようにしたので、特に自然音（動物の鳴き声等）等の時間的な伸縮が大きい音響データとの照合を行う場合に、精度の高い検索が可能となるという効果を奏する。
【００２５】
本発明第９の態様によれば、関連情報として、ネットワーク上の所定のサイトにアクセスするためのアドレス情報を登録しておき、当該アドレス情報を用いてネットワーク上の所定のサイトにアクセスするようにしたので、流れている音を録音して取得すると、対応するサイトの情報を得ることが可能となるという効果を奏する。
【００２６】
本発明第１０の態様によれば、関連情報データベースに登録されている特徴ワードを、電子透かしの手法により付加情報を埋め込んだ音響信号から生成しておくとともに、再生する音響信号にも電子透かしの手法により付加情報を埋め込んでおき、再生された音響信号を録音して、埋め込まれた付加情報を抽出するようにしたので、特徴ワードと併せてより精度の高い検索を行うことが可能となるという効果を奏する。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の実施形態について図面を参照して詳細に説明する。
（１．関連情報データベースの準備）
まず、関連情報データベースに登録する特徴ワードの生成を、登録特徴ワード生成装置により行う。図１は、登録特徴ワード生成装置の構成を示す機能ブロック図である。図１において、１０は音響フレーム読込手段、２０は特徴ワード生成手段、３０は特徴ワード登録手段、４０は関連情報データベースである。
【００２８】
音響フレーム読込手段１０は、ある音を素材として記録したデジタルの音響信号から所定数のサンプルを音響フレームとして順次読み込む機能を有している。特徴ワード生成手段２０は、読み込んだ音響フレームを利用して、周波数解析を行い、その素材についての音響信号の特徴を表現した特徴ワードを生成する機能を有している。この特徴ワードは、ある音響信号の特徴を少ないデータ量で表現したものであり、スペクトルの特徴を表した特徴パターンと、音量データにより構成される。特徴ワード登録手段３０は、生成した特徴ワードを、元の音響信号が表す素材に関連する関連情報、および音響信号の素材を特定するためのＩＤと対応付けて登録特徴ワードとして関連情報データベース４０に登録する機能を有している。ここで、素材とは、音響信号に記録されている楽曲や音声を示すものである。図１に示した各構成手段は、現実にはコンピュータおよびその周辺機器等のハードウェアに専用のプログラムを搭載することにより実現される。すなわち、コンピュータが、専用のプログラムに従って各手段の内容を実行することになる。
【００２９】
次に、図１に示した登録特徴ワード生成装置の処理動作について図２のフローチャートに従って説明する。まず、登録特徴ワード生成装置は、音響データファイルからデジタルの音響信号を読み込む。このデジタル音響信号は、アナログ音響信号に対して、ＰＣＭ等の手法によりサンプリングを行うことにより得られたものである。登録特徴ワード生成装置では、音響フレーム読込手段１０が、音響信号ファイルから、所定数のサンプルを１音響フレームとして読み込む。音響フレーム読込手段１０が読み込む１音響フレームのサンプル数は、適宜設定することができるが、サンプリング周波数が４４．１ｋＨｚの場合、４０９６サンプル程度とすることが望ましい。これは、約０．０９２秒に相当する。ただし、後述する周波数変換におけるハニング窓関数の利用により、値が減少するサンプルを考慮して、音響フレームは、所定数分のサンプルを重複させて読み込むことにしている。本実施形態では、音響フレームの区間長のちょうど半分となる２０４８サンプルを重複させている。したがって、先頭の音響フレームはサンプル１〜４０９６、２番目の音響フレームはサンプル２０４９〜６１４４、３番目の音響フレームはサンプル４０９７〜８１９２というように、順次読み込まれていくことになる。
【００３０】
続いて、周波数変換手段２０は、読み込んだ各音響フレームに対して、周波数変換を行って、その音響フレームのスペクトルであるフレームスペクトルを得る（Ｓ１０１）。具体的には、音響フレーム読込手段１０が読み込んだ音響フレームについて、窓関数を利用して周波数変換を行う。周波数変換としては、フーリエ変換、ウェーブレット変換その他公知の種々の手法を用いることができる。本実施形態では、フーリエ変換を用いた場合を例にとって説明する。
【００３１】
ここで、本実施形態においてフーリエ変換に利用する窓関数について説明しておく。一般に、所定の信号に対してフーリエ変換を行う場合、信号を所定の長さに区切って行う必要があるが、この場合、所定長さの信号に対してそのままフーリエ変換を行うと、高域部に擬似成分が発生する。そこで、一般にフーリエ変換を行う場合には、ハニング窓と呼ばれる窓関数を用いて、信号の値を変化させた後、変化後の値に対してフーリエ変換を実行する。
【００３２】
Ｓ１０１においてフーリエ変換を行う場合、具体的には、サンプルｉにおける値Ｘ（ｉ）（ｉ＝０，…，Ｎ−１）に対して、ハニング窓関数Ｗ（ｉ）を用いて、以下の〔数式１〕の第１式、第２式に従った処理を行い、各周波数における実部Ａ（ｊ）、虚部Ｂ（ｊ）を得る。
【００３３】
続いて、スペクトル成分の算出を行う（Ｓ１０２）。具体的には、以下の〔数式１〕第３式に従った処理を行い、各周波数における強度値Ｅ（ｊ）を得る。
【００３４】
〔数式１〕
Ａ（ｊ）＝Σi=0,…,N-1Ｗ（ｉ）・Ｘ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂ（ｊ）＝Σi=0,…,N-1Ｗ（ｉ）・Ｘ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
Ｅ（ｊ）＝Ａ（ｊ）2＋Ｂ（ｊ）2
【００３５】
〔数式１〕において、ｉは、各音響フレーム内のＮ個のサンプルに付した通し番号であり、ｉ＝０，１，２，…Ｎ−１の整数値をとる。また、ｊは周波数の値について、値の小さなものから順に付した通し番号であり、ｊ＝０，１，２，…Ｎ／２−１の整数値をとる。サンプリング周波数が４４．１ｋＨｚ、Ｎ＝４０９６の場合、ｊの値が１つ異なると、周波数が１０．８Ｈｚ異なることになる。
【００３６】
続いて、スペクトル成分の間引き処理を行う（Ｓ１０３）。上記の周波数変換により、２２ｋＨｚ付近までのスペクトル成分が得られるが、本実施形態における特徴ワードの生成には、４ｋＨｚ付近より低いものを用いる。これは、携帯電話の音声録音で対応できるレベルに対応させるためである。したがって、ｊ＝０〜２０４７の周波数成分のうち、４ｋＨｚ付近より高いｊ＝３８５〜２０４７については利用しない。また、音の特徴の抽出が困難なｊ＝０〜３２の低周波成分についても利用しない。すなわち、本実施形態では、ｊ＝３３〜３８４の周波数成分を用いる。具体的には、以下の〔数式２〕に従った処理を実行し、１１周波数成分単位のＰ（ｎ）に間引くことになる。
【００３７】
〔数式２〕
Ｐ（０）＝（Ｅ33＋Ｅ34＋…＋Ｅ43）1/4
Ｐ（１）＝（Ｅ44＋Ｅ45＋…＋Ｅ54）1/4
：
：
Ｐ（３１）＝（Ｅ374＋Ｅ375＋…＋Ｅ384）1/4
【００３８】
上記〔数式２〕により、ｊ＝３３〜３８４の３５２の周波数成分が、ｎ＝０〜３１の３２の周波数成分に間引かれることになる。上記処理は、各音響フレームについて行われ、各音響フレームについて、３２個の周波数成分が得られることになる。
【００３９】
次に、各音響フレームについて、直前の音響フレームのスペクトル成分との差分を算出する（Ｓ１０４）。上記Ｓ１０１〜Ｓ１０３の処理は、各音響フレームに対して順次行われる。このＳ１０４におけるフレーム間の処理は、各音響フレームについてＳ１０３までの処理を行った結果得られたＰ（０）〜Ｐ（３１）を利用するものである。具体的には、以下の〔数式３〕に従った処理を行い、差分Ｄｎ（ｔ）を得る。
【００４０】
〔数式３〕
Ｄｎ（ｔ）＝｜Ｐｎ（ｔ）−Ｐｎ（ｔ−１）｜、ｎ＝０，…，３１
【００４１】
このように、隣接する音響フレーム間の差分を算出するのは、音響信号の信号レベルが大きく変化するような箇所についても、信号レベルの大小に影響されず、音響信号の特徴を反映した特徴ワードを生成するためである。
【００４２】
上記Ｓ１０１〜Ｓ１０４の処理を各音響フレームに対して順次行い、音響フレーム間の差分Ｄｎ（ｔ）がＴ個（本実施形態では１１個）得られたら、そのＴ個分の総和を求める（Ｓ１０６）。すなわち、以下の〔数式４〕に従った処理を行い、差分の総和Ｓｎを得る。
【００４３】
〔数式４〕
Ｓｎ＝Σt=0,…,T-1Ｄｎ（ｔ）
【００４４】
続いて、上記〔数式４〕により得られたＳｎの二値化処理を行う（Ｓ１０７）。具体的には、まず、Ｓｎ配列をｎ≧１４とｎ≦１３の上下帯域で２分割し、ｎ≦１３の１４個中値の大きい７個に１を与え、値の小さい７個に０を与えるとともに、ｎ≧１４の１８個中値の大きい９個に１を与え、値の小さい９個に０を与える。ここで、単純に全３２個のＳｎ中値の大きい１６個と、小さい１６個に１と０を与えるのではなくて、３２バンドを周波数が高い１８バンドのグループと、周波数が高い１４バンドのグループに分けてそれぞれそのグループ内で均等に１と０を与えるようにしたのは、後述する音響信号検索装置において、マイクロフォンを通すことによる周波数特性の影響を補正するためである。上下のバンドを１８バンドと１４バンドの位置で分けたのは、実験の結果、この位置で分けたとき検索精度が最も高かったためである。Ｓ１０７における処理により、各ｎについてのＳｎが１ビットで表現可能となる。そして、ｎ＝０をＬＳＢ、ｎ＝３１をＭＳＢとして３２ビットの特徴パターンを得る。
【００４５】
次に、音量データの算出を行う（Ｓ１０８）。具体的には、以下の〔数式５〕を用いて音量データVolを算出する。
【００４６】
〔数式５〕
Vol＝［Σt=0,…,T-1｛Σn=0,…,31Ｐｎ（ｔ）4｝1/4］・６４／Ｔ
【００４７】
上記〔数式５〕に示すように、間引き処理した全ての成分Ｐｎ（ｔ）の値をＴ個の音響フレームについて加算する。これにより、Ｔ個の音響フレームについての平均音量である音量データVolが得られる。この音量データVolの値が、０〜２５５の範囲に収まらない場合は、この範囲に収まるように正規化する。このため、音量データVolは８ビットで表現されることとなる。音量データVolは、上記〔数式５〕に示す式で算出されるため、Ｔ個の音響フレームに渡る音量の累積であるため、各フレーム単位の音量ではなく、Ｔ個の音響フレームの平均音量を表現していることになる。
【００４８】
上記Ｓ１０７、Ｓ１０８の処理は、順序を入れ替えて行うことも可能である。Ｓ１０７、Ｓ１０８による処理の結果、３２ビットの特徴パターンと８ビットの音量データにより構成される４０ビットの特徴ワードが得られる。
【００４９】
以上の処理を各音響フレームに対して実行することにより、その音響信号についての特徴ワードが多数生成されることになる。例えば、上記の例のように、サンプリング周波数４４．１ｋＨｚ、１音響フレームが４０９６サンプル、音響フレームを２０４８サンプルづつ重複させた場合、１特徴ワードは約０．５０６秒となり、１分の音響信号からは、約１２０個の特徴ワードが生成されることになる。
【００５０】
上記のようにして、各音響信号について特徴ワードを生成したら、各音響信号について、その音響信号の素材についての関連情報、ＩＤと特徴ワードとを対応付けて関連情報データベース４０に登録する。関連情報としては、その素材に関連する情報であれば、どのようなものでも良いが、例えば、その素材が楽曲であれば、曲名や演奏者名、その素材がＣＭ音声であれば、そのスポンサー企業の名前やＵＲＬ等を用いることができる。
【００５１】
ここで、上記特徴ワードの生成処理を、図３の概念図を用いて説明する。図３（ａ）は、特徴ワードの生成対象とする音響信号の波形を示す図である。登録特徴ワード生成装置では、音響信号を音響フレーム単位で読み取っていくが、図３（ｂ）に示すように、読取範囲を重複させて読み取らせる。そして、各音響フレームに対して、図３（ｃ）に示すように３２バンドに分離する。これは、上記Ｓ１０１〜Ｓ１０３に相当する。次に、図３（ｄ）に示すように分離成分の差分処理、分離成分の総和処理を行う。分離成分の差分処理は上記Ｓ１０４に相当し、分離成分の総和処理は上記Ｓ１０８の各周波数成分（ｎ＝０〜３１）の総和処理に相当する。次に、図３（ｅ）に示すように３２バンド差分成分の総和処理、および音量の総和処理を行う。３２バンド差分成分の総和処理は、上記Ｓ１０６に相当し、音量の総和処理は上記Ｓ１０８の各音響フレーム（ｔ＝０〜Ｔ−１）の総和処理に相当する。次に、図３（ｆ）に示すように３２バンド総和成分の二値化処理、および音量の圧縮処理（上記〔数式５〕に基づき２５６段階に音量レベルを圧縮する処理）を行う。３２バンド総和成分の二値化処理は上記Ｓ１０７に相当し、音量の圧縮処理は上記Ｓ１０８に相当する。図３に示すように、音響信号から順次音響フレームを読み込み、Ｔ個の音響フレーム単位で１つの特徴ワードを生成していく処理が行われることになる。
【００５２】
（２．音響信号の検索）
次に、本発明に係る音響信号検索装置について説明する。図４は、本発明に係る音響信号検索装置の構成図である。図４において、５０はマイクロフォン、１１は音響フレーム読込手段、２１は特徴ワード生成手段、６０は特徴ワード照合手段、７０は関連情報出力手段である。
【００５３】
マイクロフォン５０は、携帯電話等で用いられている汎用的なマイクロフォンである。マイクロフォン５０は、低周波成分や高周波成分を取り込む性能を持っている必要はなく、上記のような４００Ｈｚ弱から４ｋＨｚ強（ｊ＝３３〜３８４に対応）に相当する周波数感度を有していれば良い。音響フレーム読込手段１１は、音響フレーム読込手段１０と同様、デジタルの音響信号から所定数のサンプルを音響フレームとして順次読み込む機能を有している。ただし、音響フレーム読込手段１１は、マイクロフォン５０で取り込んだアナログ音響信号をデジタル化する機能も有している。本実施形態では、マイクロフォン５０と音響フレーム読込手段１１で、音源より発信されている音声を音響信号として獲得する音響信号獲得手段としての役割を果たすことになる。
【００５４】
特徴ワード生成手段２１は、特徴ワード生成手段２０と同様、読み込んだ音響フレームを利用して、周波数解析を行い、その素材についての音響信号の特徴を表現した特徴ワードを生成する機能を有している。ただし、後述するように、特徴ワード生成手段２０よりも多くの特徴ワードを生成するようにしている。特徴ワード照合手段６０は、生成した特徴ワードと、関連情報データベース４０に登録されている登録特徴ワードとの照合を行う機能を有している。関連情報出力手段７０は、特徴ワード照合手段６０による照合の結果、録音により得られた音響信号の特徴に最も類似する素材についての関連情報を、関連情報データベース４０から抽出して出力する機能を有している。図４に示した各構成手段は、現実には演算処理装置を備えた機器に専用のプログラムを搭載することにより実現される。好ましい例としては、演算処理機能を備えている携帯電話機が、専用のプログラムに従って各手段の内容を実行する場合が挙げられる。
【００５５】
続いて、図４に示した装置の処理動作について説明する。まず、利用者が流れている音についての関連情報を知りたいと思った場合、音響信号検索装置に対して起動の指示を行う。これは、例えば、音響信号検索装置を携帯電話機等の携帯端末で実現している場合は、所定のボタンを操作することにより実行できる。音響信号検索装置は、指示が入力されると、マイクロフォン５０から流れている音楽を取り込み、録音してデジタル音響信号として入力する。具体的には、マイクロフォン５０から入力される音声を、Ａ／Ｄ変換器によりデジタル化する処理を行うことになる。
【００５６】
次に、音響フレーム読込手段１１が、マイクロフォン５０から取り込んでデジタル化した音響信号から、それぞれ所定数のサンプルを１音響フレームとして読み込む。この処理は、登録特徴ワード生成装置が行ったのと同様に行われる。すなわち、１音響フレームのサンプル数は、サンプリング周波数が４４．１ｋＨｚの場合、４０９６サンプルとする。また、音響フレームは、２０４８サンプルを重複させて読み込むことにしている。
【００５７】
ここから特徴ワードの生成までの処理は、図５のフローチャートに従ったものとなる。図５のフローチャートは、登録特徴ワード生成装置についての図２のフローチャートとほぼ同様のものとなっている。特徴ワード生成手段２１は、読み込んだ各音響フレームに対して、周波数変換を行って、その音響フレームのスペクトルであるフレームスペクトルを得る（Ｓ２０１）。登録特徴ワード生成装置と同様、周波数変換としては、フーリエ変換、ウェーブレット変換その他公知の種々の手法を用いることができるが、特徴ワード生成装置の処理と合わせる必要があるため、本実施形態では、フーリエ変換を用いる。
【００５８】
さらに、Ｓ２０２〜Ｓ２０８において、上記〔数式２〕〜上記〔数式４〕に従った処理を行ってＳｎを得た後、３２ビットの特徴パターンを生成するとともに、上記〔数式５〕に従った処理を行って８ビットの音量データVolを生成して、４０ビットの特徴ワードを得る。ただし、音響信号検索装置では、登録特徴ワード生成装置に比べて５倍の特徴ワードを生成する。音響信号検索装置においては、流れている音声を録音して音響信号を取得するため、録音開始のタイミングにより、位置ずれが生じることがある。登録特徴ワード生成装置において生成した手法でも、１１個の音響フレームを平均化して生成しているため、比較的位置ずれには強い。しかし、リズム変化が激しい音楽素材の場合、特徴ワードの生成単位である１１音響フレームの、ほぼ半分である５音響フレーム程度ずれると、顕著に異なる特徴ワードが生成され、誤った情報が検索されてしまう。そのため、１解析単位である１１音響フレームの範囲内で２フレームずつ遅らせて複数の特徴ワードを生成して、関連情報データベース４０内の登録特徴ワードと照合するようにする。
【００５９】
具体的には、登録特徴ワード生成装置では、フレーム１〜フレーム１１までで１つの特徴ワードを生成するが、音響信号検索装置では、フレーム１〜フレーム１１で特徴ワードを生成するとともに、２フレーム分、４フレーム分、６フレーム分、８フレーム分ずらしたフレーム群からも特徴ワードを生成する。すなわち、フレーム３〜フレーム１３、フレーム５〜フレーム１５、フレーム７〜フレーム１７、フレーム９〜フレーム１９においても特徴ワードを生成する。
【００６０】
本実施形態では、利用者に３秒程度録音を行わせるようにしている。これは、あまり長すぎると、利用者が作業をわずらわしく感じるためであり、短すぎると、照合に必要な特徴ワードが生成できない可能性があるためである。上述のように、本実施形態の場合、１特徴ワードは約０．５０６秒であるため、３秒程度録音することにより、６個の特徴ワードが生成される。この６個の特徴ワードを１セットとする。ただし、上述のように、２、４、６、８フレームずらした特徴ワードを生成するため、全部で３０個の特徴ワードが１セットとして生成されることになる。
【００６１】
続いて、特徴ワード照合手段６０が、特徴ワード生成手段２１により生成された特徴ワードと、関連情報データベース４０に登録された特徴ワードとの照合を行う。本発明では、照合の手法として２つの手法を用いることができる。いずれの手法においても特徴ワードを構成する特徴パターン同士のビットの照合を行い、その結果に対して、音量データを重みとして利用することにより非合致度を算出する。そして、この非合致度を用いて検索対象を絞り込んでいく。まず、第１の照合手法について説明する。
【００６２】
ここで、関連情報データベース４０に登録された情報の一例を図６（ａ）に示す。図６（ａ）に示すように、関連情報データベース４０には、音響素材を特定するＩＤである素材ＩＤと、登録特徴ワードが対応付けて登録されている。実際には、音響素材に対応する関連情報も登録されているが、図６（ａ）においては省略している。各登録特徴ワードは、上述のように、特徴パターンと音量データで構成されている。ここでは、特徴パターンをSd, 音量データをVdで表現することにする。したがって、素材Ａにおいては、登録特徴ワードＡ１は［Sd1,Vd1］、登録特徴ワードＡ２は［Sd2,Vd2］、登録特徴ワードＡ３は［Sd3,Vd3］で表現されることになる。これに対応して、特徴ワード生成手段２１が生成した特徴ワードを構成する特徴パターンをSi, 音量データをViで表現することにする。したがって、先頭からの３個の特徴ワードは、［Si1,Vi1］、［Si2,Vi2］、［Si3,Vi3］で表現されることになる。
【００６３】
第１の照合手法の場合、特徴ワード照合手段６０は、まず、生成された特徴ワードと、登録特徴ワードの音量バランスを合わせるため、両者の先頭の音量データVi1、Vd1を用いて、生成された特徴ワードの２番目、３番目の音量データVi2、Vi3を以下の〔数式６〕により補正する。
【００６４】
〔数式６〕
Vi2´＝Vi2・Vd1／Vi1
Vi3´＝Vi3・Vd1／Vi1
【００６５】
続いて、生成された特徴ワードと、登録特徴ワードの特徴パターンを先頭から順に照合する。生成した特徴ワードの特徴パターンと、関連情報データベース４０内の登録特徴ワードの特徴パターンはともに同様の規則で作成され、低周波成分をＬＳＢ、高周波成分をＭＳＢとした３２ビットの構成であるので、照合はこれらの各ビット値が一致するかどうかにより行うことができる。特にコンピュータが処理し易い８ビットの倍数単位であるため、高速な照合が可能である。ここで、特徴パターンSi1とSd1の不一致ビット数をD1とし、以下同様にD2、D3とする。そして、得られたD1 〜D3を、上記補正後の音量データと登録特徴ワードの音量データの関係を利用して、以下の〔数式７〕により補正する。
【００６６】
〔数式７〕
Vi2´＞Vd2のとき、D2´＝D2・Vi2´／Vd2
Vi2´＜Vd2のとき、D2´＝D2・Vd2 ／Vi2´
Vi2´＝Vd2のとき、D2´＝D2
Vi3´＞Vd3のとき、D3´＝D3・Vi3´／Vd3
Vi3´＜Vd3のとき、D3´＝D3・Vd3 ／Vi3´
Vi3´＝Vd3のとき、D3´＝D3
【００６７】
そして、補正により得られた値を利用して、D1＋D2´＋D3´を非合致度ＭＡ１として算出する。
【００６８】
上記の処理を、まず、ずらし０グループの前半３個の特徴ワード０１〜０３と、関連情報データベース４０に登録された素材Ａについての登録特徴ワードＡ１〜Ａ３について行って非合致度ＭＡ１を得る。次に、登録特徴ワードを１個分ずつ移動させ、特徴ワード０１〜０３と登録特徴ワードＡ２〜Ａ４との照合を行って非合致度ＭＡ１を算出する。同様にして、登録特徴ワードを１個分ずつ移動させて、特徴ワード０１〜０３との照合を行っていき、最小となった非合致度ＭＡ１を、素材Ａについてのずらし０の場合の非合致度ＭＡ１とする。図６（ｂ）の例では、この値は“１５”となる。
【００６９】
続いて、ずらし２グループの３個の特徴ワード２１〜２３と、素材Ａとの照合を行って非合致度ＭＡ１を得る。このようにして、ずらし４グループ、ずらし６グループ、ずらし８グループについても、素材Ａとの非合致度ＭＡ１を得る。この結果、図６（ｂ）の１行目に示すように、各ずらし量に対応した素材Ａとの非合致度ＭＡ１が得られることになる。
【００７０】
同様にして、特徴ワードと、他の素材の登録特徴ワードとの照合を行っていく。その結果、図６（ｂ）の２行目、３行目に示すように、各ずらし量に対応した素材Ｂ、Ｃとの非合致度ＭＡ１が得られることになる。
【００７１】
そして、この非合致度ＭＡ１が、あらかじめ定めた閾値より小さい場合は、その非合致度ＭＡ１が記録された素材のレコードのみを候補レコードとして抽出し、４番目〜６番目の特徴ワードの照合対象とする。
【００７２】
そして、この絞り込まれた素材に対して、後半の特徴ワード０４〜０６との照合を行っていき、非合致度ＭＡ１が最小となるものを適合音響素材として決定する。適合音響素材が決定されたら、関連情報出力手段７０が、その関連情報を抽出し、音響信号検索装置が備える表示装置等に出力する。
【００７３】
次に、第２の照合手法について説明する。第２の照合手法においても、登録特徴ワードの特徴パターンをSd, 音量データをVdで表現し、特徴ワード生成手段２１が生成した特徴ワードの特徴パターンをSi, 音量データをViで表現することにする。第２の照合手法では、特徴パターンSdと特徴パターンSiの比較を行い、不一致ビットの数に応じて、音量データVd、Viによる重み付けを行う。具体的には、非合致度を初期状態として０に設定しておき、Sd側のビットが１で、Si側のビットが０の場合、非合致度ＭＡ２にVdを加算し、Sd側のビットが０で、Si側のビットが１の場合、非合致度ＭＡ２にViを加算する。このようにして、特徴パターンの３２の各ビットについて照合することにより非合致度ＭＡ２が得られることになる。
【００７４】
照合の順番としては、まず、ずらし０グループの６個の特徴ワード０１〜０６のうち、先頭の特徴ワード０１を抽出し、この特徴ワード０１と、関連情報データベース４０に登録された全ての特徴ワードとの照合を行う。
【００７５】
そして、非合致度ＭＡ２が最小となる場合の非合致度ＭＡ２の値を各素材ごとに記録していく、同様にずらし２グループ〜ずらし８グループの先頭の特徴ワード２１〜特徴ワード８１についてもデータベース内の登録特徴ワードとの照合を行い、非合致度ＭＡ２が最小となる場合のビット数を各素材ごとに記録していく。この結果、図６（ｂ）と同様な、ずらしグループ別の非合致度ＭＡ２が得られることになる。
【００７６】
そして、この非合致度ＭＡ２が、あらかじめ定めた閾値より小さい場合は、その非合致度ＭＡ２が記録された素材のレコードのみを候補レコードとして抽出し、２番目の特徴ワードの照合対象とする。
【００７７】
次に、ずらし２グループから、２番目の特徴ワード０２を抽出し、この特徴ワード０２と、先頭の特徴ワードにより絞り込まれた候補レコードについての全ての登録特徴ワードとの照合を行う。そして、非合致度ＭＡ２が最小となる場合の非合致度ＭＡ２を各素材（候補レコード）ごとに記録していく、同様にずらし２グループ〜ずらし８グループの先頭の特徴ワード２２〜特徴ワード８２についても絞り込まれた素材の登録特徴ワードとの照合を行い、非合致度ＭＡ２が最小となる場合の非合致度ＭＡ２を各素材単位で記録していく。そして、この非合致度ＭＡ２が、あらかじめ定めた閾値より小さい場合は、その非合致度ＭＡ２が記録された素材のレコードのみを新たな候補レコードとして抽出し、３番目の特徴ワードの照合対象とする。
【００７８】
上記のようにして、６番目の特徴ワード０６〜特徴ワード８６と、絞り込まれた素材の登録特徴ワードとの照合までを行っていく。ただし、途中で素材が１つに絞り込まれた場合には、その素材を適合音響素材として決定する。適合音響素材が決定されたら、関連情報出力手段７０が、その関連情報を抽出し、音響信号検索装置が備える表示装置等に出力する。
【００７９】
上記第１の照合手法と第２の照合手法について比較すると、第１の照合手法では、位置ずれがあったり、振幅変化に相違があると非合致度ＭＡ１が増大するようになっている。これについて具体的に説明する。音響フレームに位置ずれが生じると、特徴ワード内の特徴パターンと音量データも位置ずれの影響を受けることになる。すると、特徴パターンSi1とSd1、Si2とSd2、およびSi3とSd3の各不一致ビット数D1〜D3の値が大きくなる傾向となり、同時にVd2 とVi2´の比およびVd3 とVi3´の比が大きくなる傾向となり、その結果D2´、D3´も大きくなるためである。また、振幅変化に相違があると、不一致ビット数D1〜D3の値に変化が見られないものの、Vd2 とVi2´の比およびVd3 とVi3´の比が大きくなる傾向となり、D2´、D3´も大きくなる。
【００８０】
一方、第２の照合手法では、位置ずれがあったり、振幅変化に相違があっても非合致度ＭＡ２が増大しないようになっている。上述のように、非合致度ＭＡ２は、特徴パターンSiとSdの不一致ビットが存在した場合に、音量データVd、Viのいずれかを加算していくものであるため、振幅が大きくなければ大きな値にならない。位置ずれが生じ、特徴パターンSiとSdの不一致ビットが増大し、VdとViの差が大きくなっても、加算したVdまたはViの値そのものが小さければ、ＭＡ２は大きくならない。振幅変化に相違が生じ、VdとViの差が大きくなっても、同様に、加算したVdまたはViの値そのものが小さければ、ＭＡ２は大きくならない。逆に、加算したVdまたはViの値そのものが大きければＭＡ２は大きくなるが、その際に特徴パターンSiとSdの不一致ビットが大きい場合、すなわち登録特徴ワードと不整合な場合を除きＭＡ２は大きくならず、登録特徴ワードと整合する場合は、位置ずれがあったり、振幅変化に相違があっても非合致度ＭＡ２の値には比較的影響が少ない。
【００８１】
このため、第１の照合手法は音楽等の時間的な伸縮が小さい音響データとの照合を行うのに適しており、第２の照合手法は、自然音（動物の鳴き声等）等の時間的な伸縮が大きい音響データとの照合を行うのに適している。
【００８２】
以上のようにして、流れている音を録音することにより、流れている音に関連した情報を抽出することができる。検索装置を携帯電話機で実現した場合には、関連情報をその液晶画面に表示させることができる。
【００８３】
また、ネットワーク接続機能を有する携帯電話機では、ＵＲＬを利用して他のコンピュータにアクセスすることが可能であるが、本発明の装置で取得する関連情報として、アドレス情報であるＵＲＬをデータベースに記録しておき、関連情報としてＵＲＬを取得した際に、上記ネットワーク接続機能を利用すれば、流れている音に対応したサイトにアクセスすることが可能となる。ここで、ネットワーク接続機能を有する音響信号検索装置の機能ブロック図を図７に示す。図７において、８０はネットワークアクセス部、１００はネットワーク、２００はサイトである。
【００８４】
ネットワークアクセス部８０は、関連情報抽出手段７０が関連情報として抽出したアドレス情報を用いて、そのアドレス情報に対応するサイト２００に、ネットワーク１００を介してアクセスする機能を有している。ネットワークアクセス部８０は、アドレス情報を取得してネットワーク上のサイトにアクセスするＷｅｂブラウザにより実現される。図７に示した装置によれば、例えば、関連情報データベース４０にライオンの鳴き声から作成した特徴ワードと、ライオンの情報を有するサイトのＵＲＬとを対応付けて記録しておき、利用者が動物園などでライオンの鳴き声を録音するだけで、携帯電話機からライオンの情報を有するサイト２００にアクセスすることになる。
【００８５】
（３．電子透かしによる情報埋め込みとの組み合わせ）
本発明に係る音響信号検索装置は、付加情報を電子透かしとして音響信号に埋め込む手法と組み合わせることにより、関連情報抽出の精度を高めることを可能としている。ここで、電子透かしの埋め込みおよび抽出を組み合わせた場合の音響信号検索装置の機能ブロック図を図８に示す。図８においては、図７に示したものに、さらに音響信号再生装置５００と埋込情報抽出部９０を追加している。音響信号再生装置は、付加情報を埋め込んだ音響信号を再生するためのものである。これは、デジタル音響信号を再生可能な市販の音楽プレーヤを採用することができる。埋込情報抽出部９０は、デジタル音響信号から、埋め込まれている付加情報を抽出する機能を有している。この埋込情報抽出部９０の処理については、後述する。図８に示した装置によれば、埋め込み情報抽出部が付加情報を抽出するので、この付加情報を事前に関連情報データベース４０にも登録しておくことにより、特徴ワードの照合により得られた情報をさらに絞り込んだ検索を行うことが可能となる。以下、音響信号再生装置５００で再生する音響信号に付加情報を埋め込む手法と、埋込情報抽出部９０における付加情報の抽出について説明する。
【００８６】
（３．１．音響信号への付加情報の埋め込み）
次に、音響信号への付加情報の埋め込みについて説明する。この付加情報が埋め込まれた音響信号は、音響信号再生装置５００により再生される。図７は、音響信号に対する情報の埋込装置の構成を示す機能ブロック図である。図７において、３１０は音響フレーム読込手段、３２０は周波数変換手段、３３０は低周波成分変更手段、３４０は周波数逆変換手段、３５０は改変音響フレーム出力手段、３６０は記憶手段、３６１は音響信号記憶部、３６２は付加情報記憶部、３６３は改変音響信号記憶部、３７０は付加情報読込手段である。なお、図７に示す装置は、ステレオ音響信号、モノラル音響信号の両方に対応可能であるが、ここでは、ステレオ音響信号に対して処理を行う場合について説明していく。
【００８７】
音響フレーム読込手段３１０は、付加情報の埋め込み対象とする元のステレオ音響信号の各チャンネルから所定数のサンプルを１フレームとして読み込む機能を有している。周波数変換手段３２０は、音響フレーム読込手段３１０が読み込んだ音響信号のフレームをフーリエ変換等により周波数変換してフレームスペクトルを生成する機能を有している。低周波成分変更手段３３０は、Ａタイプの音響フレームについては、生成されたフレームスペクトルから３つの所定周波数範囲に相当するスペクトル集合を３セット抽出し、付加情報記憶部６２から抽出した付加情報に基づいて、低周波強度データのスペクトル集合間の割合（比率）を変更し、Ｂタイプの音響フレームについては、生成されたフレームスペクトルの所定周波数範囲の低周波強度データを“０”にする機能を有している。周波数逆変換手段３４０は、変更された低周波強度データを含む複数のフレームスペクトルに対して周波数逆変換を行うことにより、改変音響フレームを生成する機能を有している。改変音響フレーム出力手段３５０は、生成された改変音響フレームを順次出力する機能を有している。記憶手段３６０は、付加情報を埋め込む対象とするステレオ音響信号を記憶した音響信号記憶部３６１と、ビット配列として構成され、ステレオ音響信号に埋め込まれる付加情報を記憶した付加情報記憶部６２と、付加情報埋め込み後の改変音響信号を記憶する改変音響信号記憶部３６３を有しており、その他処理に必要な各種情報を記憶するものである。付加情報読込手段３７０は、付加情報記憶部６２から付加情報を抽出する機能を有している。なお、付加情報とは、音響信号に付加するものとして埋め込む音響信号そのもの以外の情報であり、その内容は、ＩＰアドレスやＵＲＬ等の、ネットワーク上のコンピュータにアクセスするためのアドレス情報であるか、またはアドレス情報に変換するためのＩＤである。本実施形態では、ＩＤを用いた場合について説明する。図７に示した各構成手段は、現実にはコンピュータおよびその周辺機器等のハードウェアに専用のプログラムを搭載することにより実現される。すなわち、コンピュータが、専用のプログラムに従って各手段の内容を実行することになる。
【００８８】
次に、図７に示した音響信号に対する情報の埋込装置の処理動作について図１０のフローチャートに従って説明する。ここでは、音響信号として、Ｌ（左）、Ｒ（右）の２チャンネルを有するステレオ音響信号に対して処理を行う場合について説明していく。図１０は、付加情報１ワード分の処理に対応したものとなっている。１ワードとしては、任意のビット数に設定することができるが、通常１バイトに設定する。まず、付加情報読込手段３７０は、付加情報記憶部６２から付加情報を１ワード単位で読み込む（Ｓ３０１）。具体的には、音響信号に対する情報の埋め込み装置として用いられるコンピュータ内のレジスタに１ワード読み込むことになる。続いて、モードを区切りモードに設定する（Ｓ３０２）。モードは区切りモードと、ビットモード、継続識別モードの３種類が存在する。区切りモードは１ワード単位の区切りにおける処理を行うモードを示し、ビットモードは１ワードの各ビットの値に基づいた処理を行うモードを示している。付加情報記憶部６２から１ワード読み込んだ場合には、その直後に必ず区切りモードに設定されることになる。継続識別モードは、低周波成分の信号レベルが小さい音響フレームが出現した場合に、区切り情報が埋め込まれた場合、次のビットが先頭から始まる新規なものか、中断されたために継続されたものであるかを識別するための情報を記録するモードを示している。
【００８９】
続いて、音響フレーム読込手段３１０が、音響信号記憶部３６１に記憶されたステレオ音響信号の左右の各チャンネルから、それぞれ所定数のサンプルを１音響フレームとして読み込む（Ｓ３０４）。音響フレーム読込手段３１０が読み込む１音響フレームのサンプル数は、適宜設定することができるが、サンプリング周波数が４４．１ｋＨｚの場合、４０９６サンプル程度とすることが望ましい。したがって、音響フレーム読込手段３１０は、左チャンネル、右チャンネルについてそれぞれ４０９６サンプルずつ、順次音響フレームとして読み込んでいくことになる。本発明においては、音響フレームとしてＡタイプとＢタイプが存在する。Ａタイプの音響フレーム、Ｂタイプの音響フレームは、それぞれ同タイプの先行する音響フレームの最後のサンプルの次のサンプルを先頭サンプルとして設定される。そして、ＡタイプとＢタイプの音響フレームは互いに所定数（本実施形態では２０４８）のサンプルを重複して設定される。例えば、Ａタイプの音響フレームを先頭からＡ１、Ａ２、Ａ３…とし、Ｂタイプの音響フレームを先頭からＢ１、Ｂ２、Ｂ３…とすると、Ａ１はサンプル１〜４０９６、Ａ２はサンプル４０９７〜８１９２、Ａ３はサンプル８１９３〜１２２８８、Ｂ１はサンプル２０４９〜６１４４、Ｂ２はサンプル６１４５〜１０２４０、Ｂ３はサンプル１０２４１〜１４３３６となる。なお、ＡタイプとＢタイプは相対的なものであるので、どちらが先であっても良い。すなわち、上記とは逆にＡ１がサンプル２０４９〜６１４４、Ａ２がサンプル６１４５〜１０２４０、Ａ３がサンプル１０２４１〜１４３３６、Ｂ１がサンプル１〜４０９６、Ｂ２がサンプル４０９７〜８１９２、Ｂ３がサンプル８１９３〜１２２８８であっても良い。図１０の例では、Ｂタイプ音響フレームを先に設定した場合を示している。
【００９０】
続いて、周波数変換手段３２０は、読み込んだＢタイプの音響フレームに対して、周波数変換を行って、その音響フレームのスペクトルであるフレームスペクトルを得る（Ｓ３０５）。具体的には、Ｓ３０４で読み込んだＢタイプの音響フレームについて、窓関数を利用して周波数変換を行う。周波数変換としては、フーリエ変換、ウェーブレット変換その他公知の種々の手法を用いることができる。本実施形態では、フーリエ変換を用いた場合を例にとって説明する。なお、後述するＳ３０９においては、同様にして、Ｓ３０８で読み込んだＡタイプの音響フレームについて、窓関数を利用して周波数変換を行う。
【００９１】
ここで、本実施形態においてフーリエ変換に利用する窓関数について説明しておく。一般に、所定の信号に対してフーリエ変換を行う場合、信号を所定の長さに区切って行う必要があるが、この場合、所定長さの信号に対してそのままフーリエ変換を行うと、高域部に擬似成分が発生する。そこで、一般にフーリエ変換を行う場合には、ハニング窓と呼ばれる窓関数を用いて、信号の値を変化させた後、変化後の値に対してフーリエ変換を実行する。本実施形態においては、Ａタイプの音響フレームに対しては、ハニング窓関数に代えて図１１（ｂ）〜（ｄ）に示したような窓関数Ｗ（１，ｉ）、Ｗ（２，ｉ）、Ｗ（３，ｉ）を用いてフーリエ変換を行う。これにより、埋め込まれた情報が抽出側でより認識し易くなる。窓関数Ｗ（１，ｉ）は、音響フレームの前部を抽出するためのものであり、図１１（ｂ）に示すように前部の所定のサンプル番号ｉの位置において、最大値１をとり、後部においては、最小値０をとるように設定されている。どのサンプル番号の場合に最大値をとるかについては、窓関数Ｗ（１，ｉ）の設計によって異なってくるが、本実施形態では、後述する〔数式８〕で定義される。窓関数Ｗ（１，ｉ）を乗じることにより、図１１（ａ）に示すような音響フレームの信号波形は、図１１（ｆ）に示すように、前部に信号成分が残り、後部の信号成分が削除されたものとなり、これがフーリエ変換対象となる。
【００９２】
また、窓関数Ｗ（２，ｉ）は、音響フレームの中央部を抽出するためのものであり、図１１（ｃ）に示すように、中央部の所定のサンプル番号ｉの位置において、最大値１をとり、前部、後部においては、最小値０をとるように設定されている。どのサンプル番号の場合に最大値をとるかについては、窓関数Ｗ（２，ｉ）の設計によって異なってくるが、本実施形態では、後述する〔数式９〕で定義される。窓関数Ｗ（２，ｉ）を乗じることにより、図１１（ａ）に示すような音響フレームの信号波形は、図１１（ｇ）に示すように、中央部に信号成分が残り、前部と後部の信号成分が除去されたものとなり、これがフーリエ変換対象となる。
【００９３】
また、窓関数Ｗ（３，ｉ）は、音響フレームの後部を抽出するためのものであり、図１１（ｄ）に示すように、前部においては最小値０をとり、後部の所定のサンプル番号ｉの位置において、最大値１をとるように設定されている。どのサンプル番号の場合に最大値をとるかについては、窓関数Ｗ（３，ｉ）の設計によって異なってくるが、本実施形態では、後述する〔数式１０〕で定義される。窓関数Ｗ（３，ｉ）を乗じることにより、図１１（ａ）に示すような音響フレームの信号波形は、図１１（ｈ）に示すように、前部の信号成分が除去され、後部に信号成分が残ったものとなり、これがフーリエ変換対象となる。このように前部、中央部、後部を抽出した後、フーリエ変換を実行するため、前部、中央部、後部に対応したスペクトルが得られることになる。１つの音響フレームにビット値を埋め込むためには、本来、前部と後部の２つに分けられれば良いのであるが、抽出側においては、必ずしも、信号を同期して読み込むことができるとは限らず、したがって、前部と後部をはっきりと区別するため、本実施形態では、埋め込み時に中央部の信号成分を常に削除し、前部と後部を時間的に分離することとしている（ただし、抽出時は前部と後部だけを解析すればよく、中央部は無視してよい）。本実施形態において用いる窓関数の最大の特徴は、窓関数Ｗ（１，ｉ）と窓関数Ｗ（３，ｉ）が左右非対称である点である。このため、特に、ビット反転が起こりにくくなる。
【００９４】
また、本実施形態では、音響フレームを重複させて読み込み、奇数フレーム（または偶数フレーム）については、窓関数Ｗ（１，ｉ）、Ｗ（２，ｉ）、Ｗ（３，ｉ）を用い、偶数フレーム（または奇数フレーム）については、図１１（ｅ）に示したような窓関数Ｗ（４，ｉ）を用いるようにした。
【００９５】
なお、本実施形態においては、音響フレームは重複して読み込まれる。すなわち、奇数番目の音響フレームと偶数番目の音響フレームは、所定数のサンプルを重複して読み込む。上記のように、奇数フレームと偶数フレームでは、用いられる窓関数が異なるが、奇数フレームと偶数フレームは単に奇数か偶数かの違いだけであるため、どちらに対して処理をどちらの処理を行っても良い。したがって、本明細書では、奇数フレーム、偶数フレームの一方をＡタイプフレーム、他方をＢタイプフレームと呼ぶことにする。図１０の例に従うと、奇数フレームをＢタイプフレーム、偶数フレームをＡタイプフレームとなるが、逆に偶数フレームをＢタイプフレーム、奇数フレームをＡタイプフレームとしても良い。
【００９６】
本実施形態では、窓関数Ｗ（１，ｉ）〜Ｗ（４，ｉ）は、以下の〔数式８〕〜〔数式１１〕で定義される。なお、図１１において、横軸は時間軸（ｉ）である。ｉは、後述するように、各音響フレーム内のＮ個のサンプルに付した通し番号であるため時刻ｔに比例している。また、図１１（ａ）（ｆ）（ｇ）（ｈ）（ｉ）において縦軸は信号の振幅値（レベル）を示す。図１１（ｂ）〜（ｅ）において縦軸は窓関数Ｗ（１，ｉ）、Ｗ（２，ｉ）、Ｗ（３，ｉ）、Ｗ（４，ｉ）の値を示しており、Ｗ（１，ｉ）、Ｗ（２，ｉ）、Ｗ（３，ｉ）、Ｗ（４，ｉ）の最大値はいずれも１である。
【００９７】
〔数式８〕
ｉ≦３Ｎ／８のとき、Ｗ（１，ｉ）＝０．５−０．５ｃｏｓ（８πｉ／（３Ｎ））
３Ｎ／８＜ｉ≦Ｎ／２のとき、Ｗ（１，ｉ）＝０．５−０．５ｃｏｓ（８π（ｉ−Ｎ／４）／Ｎ）
ｉ＞Ｎ／２のとき、Ｗ（１，ｉ）＝０．０
【００９８】
〔数式９〕
ｉ≦３Ｎ／８のとき、Ｗ（２，ｉ）＝０．０
３Ｎ／８＜ｉ≦Ｎ／２のとき、Ｗ（２，ｉ）＝０．５−０．５ｃｏｓ（４π（ｉ−Ｎ／４）／Ｎ）
ｉ＞３Ｎ／４のとき、Ｗ（２，ｉ）＝０．０
【００９９】
〔数式１０〕
ｉ≦Ｎ／２のとき、Ｗ（３，ｉ）＝０．０
ｉ＞Ｎ／２のとき、Ｗ（３，ｉ）＝０．５−０．５ｃｏｓ（４π（ｉ−Ｎ／２）／Ｎ）
【０１００】
〔数式１１〕
ｉ≦Ｎ／４のとき、Ｗ（４，ｉ）＝０．０
Ｎ／４＜ｉ≦Ｎ／２のとき、Ｗ（４，ｉ）＝０．５−０．５ｃｏｓ（４π（ｉ−Ｎ／４）／Ｎ）
Ｎ／２＜ｉ≦７Ｎ／８のとき、Ｗ（４，ｉ）＝０．５−０．５ｃｏｓ（８π（ｉ−Ｎ／８）／（３Ｎ））
ｉ＞７Ｎ／８のとき、Ｗ（４，ｉ）＝０．０
【０１０１】
なお、図１６および上記〔数式８〕〜〔数式１１〕から明らかなように、窓関数Ｗ（１，ｉ）とＷ（３，ｉ）は、互いに非対称な形状である。これは、後述する抽出側において、両者の識別を容易にするためである。また、窓関数Ｗ（１，ｉ）、Ｗ（２，ｉ）、Ｗ（３，ｉ）は、ｉが所定の値のときに最大値１をとり、ｉがその他の値をとる場合には、ｉの値に応じて単調増加、または単調減少する窓関数を分割したものであるため、窓関数Ｗ（１，ｉ）とＷ（３，ｉ）が定まると、窓関数Ｗ（２，ｉ）も必然的に定まる。このため、窓関数Ｗ（２，ｉ）は左右非対称の形状となっている。
【０１０２】
本実施形態においては、奇数フレームと偶数フレームを、所定サンプルずつ重複して読み込むため、情報の埋め込みを行った後、音響信号に復元する際に、窓関数を乗じた奇数フレームと、窓関数を乗じた偶数フレームの重複サンプルを加算した場合に、ほぼ元の値に戻るようにしなければならない。このため、窓関数Ｗ（４，ｉ）の形状は、窓関数Ｗ（１，ｉ）、Ｗ（２，ｉ）、Ｗ（３，ｉ）の値に応じて必然的に定まる。すなわち、奇数フレームと偶数フレームの重複部分において、窓関数Ｗ（１，ｉ）、Ｗ（２，ｉ）、Ｗ（３，ｉ）、Ｗ（４，ｉ）を加算すると、全区間固定値１になるように定義されている。以上が、本実施形態で用いる窓関数の概要である。
【０１０３】
Ｓ３０５に戻って説明する。Ｓ３０５おいてフーリエ変換を行う場合、具体的には、左チャンネル信号Ｘｌ（ｉ）、右チャンネル信号Ｘｒ（ｉ）（ｉ＝０，…，Ｎ−１）に対して、窓関数Ｗ（４，ｉ）を用いて、以下の〔数式１２〕に従った処理を行い、左チャンネルに対応する変換データの実部Ａｌ（４，ｊ）、虚部Ｂｌ（４，ｊ）、右チャンネルに対応する変換データの実部Ａｒ（４，ｊ）、虚部Ｂｒ（４，ｊ）を得る。
【０１０４】
〔数式１２〕
Ａｌ（４，ｊ）＝Σi=0,…,N-1Ｗ（４，ｉ）・Ｘｌ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｌ（４，ｊ）＝Σi=0,…,N-1Ｗ（４，ｉ）・Ｘｌ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
Ａｒ（４，ｊ）＝Σi=0,…,N-1Ｗ（４，ｉ）・Ｘｒ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｒ（４，ｊ）＝Σi=0,…,N-1Ｗ（４，ｉ）・Ｘｒ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
【０１０５】
〔数式１２〕において、ｉは、各音響フレーム内のＮ個のサンプルに付した通し番号であり、ｉ＝０，１，２，…Ｎ−１の整数値をとる。また、ｊは周波数の値について、値の小さなものから順に付した通し番号であり、ｉと同様にｊ＝０，１，２，…Ｎ−１の整数値をとる。サンプリング周波数が４４．１ｋＨｚ、Ｎ＝４０９６の場合、ｊの値が１つ異なると、周波数が１０．８Ｈｚ異なることになる。次に、低周波成分変更手段３３０は、窓４成分（第４窓関数による低周波スペクトルの各成分）の除去を行う（Ｓ３０６）。具体的には、窓４成分に対して、以下の〔数式１３〕に従った処理を実行することになる。
【０１０６】
上記〔数式１２〕に従った処理を実行することにより、各音響フレームの信号成分を周波数に対応した成分であるスペクトルで表現されたフレームスペクトルが得られる。続いて、低周波成分変更手段３３０が、生成されたフレームスペクトルから３つの所定周波数範囲のスペクトル集合を抽出する。人間の聴覚は、２００〜３００Ｈｚ程度までの低周波成分については、方向性を感知しにくくなっていることが知られている（コロナ社１９９０年１０月３０日発行「音響工学講座１．基礎音響工学、日本音響学会編」ｐ２４７図９・２６参照）。したがって、本実施形態では、低周波成分を２００Ｈｚ程度以下としている。周波数２００Ｈｚ付近は、上記ｊが２０に相当するので、上記〔数式１２〕により算出された実部Ａｌ（４，ｊ）、虚部Ｂｌ（４，ｊ）、実部Ａｒ（４，ｊ）、虚部Ｂｒ（４，ｊ）、のうち、ｊ≦２０（＝Ｍ）のものを抽出することになる。
【０１０７】
〔数式１３〕
ｊ＝１〜Ｍの各成分に対して
Ａｌ´（４，ｊ）＝０
Ｂｌ´（４，ｊ）＝０
ステレオの場合、右信号に対応した以下も算出
Ｅ（４，ｊ）＝｛Ａｌ（４，ｊ）2＋Ｂｌ（４，ｊ）2＋Ａｒ（４，ｊ）2＋Ｂｒ（４，ｊ）2｝1/2
Ａｒ´（４，ｊ）＝Ａｒ（４，ｊ）・Ｅ（４，ｊ）／｛Ａｒ（４，ｊ）2＋Ｂｒ（４，ｊ）2｝1/2
Ｂｒ´（４，ｊ）＝Ｂｒ（４，ｊ）・Ｅ（４，ｊ）／｛Ａｒ（４，ｊ）2＋Ｂｒ（４，ｊ）2｝1/2
【０１０８】
次に、周波数逆変換手段３４０が、上記Ｓ３０６の処理により窓４成分が除去されたフレームスペクトルを周波数逆変換して改変音響フレームを得る処理を行う（Ｓ３０７）。この周波数逆変換は、当然のことながら、周波数変換手段３２０がＳ３０５において実行した手法に対応していることが必要となる。本実施形態では、周波数変換手段３２０において、フーリエ変換を施しているため、周波数逆変換手段３４０は、フーリエ逆変換を実行することになる。具体的には、上記〔数式１３〕のいずれかにより得られたスペクトルの左チャンネルの実部Ａｌ´（４，ｊ）、虚部Ｂｌ´（４，ｊ）、右チャンネルの実部Ａｒ´（４，ｊ）、虚部Ｂｒ´（４，ｊ）を用いて、以下の〔数式１４〕に従った処理を行い、Ｘｌ´（ｉ）、Ｘｒ´（ｉ）を算出する。なお、上記〔数式１３〕において改変されていない周波数成分については、以下の〔数式１４〕においてはＡｌ´（４，ｊ）、Ｂｌ´（４，ｊ）、Ａｒ´（４，ｊ）、Ｂｒ´（４，ｊ）として、元の値であるＡｌ（４，ｊ）、Ｂｌ（４，ｊ）、Ａｒ（４，ｊ）、Ｂｒ（４，ｊ）を用いる。
【０１０９】
〔数式１４〕
Ｘｌ´（ｉ）＝１／Ｎ・｛ΣjＡｌ´（４，ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−ΣjＢｌ´（４，ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋Ｘｌｐ（ｉ＋Ｎ／２）
Ｘｒ´（ｉ）＝１／Ｎ・｛ΣjＡｒ´（４，ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−ΣjＢｒ´（４，ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋Ｘｒｐ（ｉ＋Ｎ／２）
【０１１０】
上記〔数式１４〕によりＡタイプの改変音響フレームの左チャンネルの各サンプルＸｌ´（ｉ）、右チャンネルの各サンプルＸｒ´（ｉ）、が得られることになる。改変音響フレーム出力手段３５０は、得られた改変音響フレームを順次出力ファイルに出力する。続いて、音響フレーム読込手段３１０が、音響信号記憶部３６１に記憶されたステレオ音響信号の左右の各チャンネルから、それぞれ所定数のサンプルをＡタイプの音響フレームとして読み込む（Ｓ３０８）。上述のように、Ｂタイプの音響フレームとＡタイプの音響フレームは、２０４８サンプル重複したものとなっている。したがって、音響フレーム読込手段３１０は、Ｓ３０８においては、Ｓ３０４でＢタイプ音響フレームを読み込んだ位置から２０４８サンプル分移動させて、音響フレームを読み込むことになる。
【０１１１】
続いて、周波数変換手段３２０は、読み込んだＡタイプの音響フレームに対して、周波数変換を行って、その音響フレームのスペクトルであるフレームスペクトルを得る（Ｓ３０９）。具体的には、各音響フレームについて、窓関数Ｗ（１，ｉ）、Ｗ（２，ｉ）、Ｗ（３，ｉ）の３つの窓関数を用いて行う。周波数変換としては、フーリエ変換、ウェーブレット変換その他公知の種々の手法を用いることができるが、上記Ｓ３０５の場合と同様、本実施形態では、フーリエ変換を用いる。
【０１１２】
Ｓ３０９においてフーリエ変換を行う場合、具体的には、左チャンネル信号Ｘｌ（ｉ）、右チャンネル信号Ｘｒ（ｉ）（ｉ＝０，…，Ｎ−１）に対して、３つの窓関数Ｗ（１，ｉ）、Ｗ（２，ｉ）、Ｗ（３，ｉ）を用いて、以下の〔数式１５〕に従った処理を行い、左チャンネルに対応する変換データの実部Ａｌ（１，ｊ）、Ａｌ（２，ｊ）、Ａｌ（３，ｊ）、虚部Ｂｌ（１，ｊ）、Ｂｌ（２，ｊ）、Ｂｌ（３，ｊ）、右チャンネルに対応する変換データの実部Ａｒ（１，ｊ）、Ａｒ（２，ｊ）、Ａｒ（３，ｊ）、虚部Ｂｒ（１，ｊ）、Ｂｒ（２，ｊ）、Ｂｒ（３，ｊ）を得る。なお、窓関数Ｗ（１，ｉ）、Ｗ（２，ｉ）、Ｗ（３，ｉ）は、それぞれ音響フレームの前部（先頭）付近、中央付近、後部付近において値が大きくなる関数となっている。
【０１１３】
〔数式１５〕
Ａｌ（１，ｊ）＝Σi=0,…,N-1Ｗ（１，ｉ）・Ｘｌ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｌ（１，ｊ）＝Σi=0,…,N-1Ｗ（１，ｉ）・Ｘｌ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
Ａｌ（２，ｊ）＝Σi=0,…,N-1Ｗ（２，ｉ）・Ｘｌ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｌ（２，ｊ）＝Σi=0,…,N-1Ｗ（２，ｉ）・Ｘｌ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
Ａｌ（３，ｊ）＝Σi=0,…,N-1Ｗ（３，ｉ）・Ｘｌ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｌ（３，ｊ）＝Σi=0,…,N-1Ｗ（３，ｉ）・Ｘｌ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
Ａｒ（１，ｊ）＝Σi=0,…,N-1Ｗ（１，ｉ）・Ｘｒ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｒ（１，ｊ）＝Σi=0,…,N-1Ｗ（１，ｉ）・Ｘｒ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
Ａｒ（２，ｊ）＝Σi=0,…,N-1Ｗ（２，ｉ）・Ｘｒ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｒ（２，ｊ）＝Σi=0,…,N-1Ｗ（２，ｉ）・Ｘｒ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
Ａｒ（３，ｊ）＝Σi=0,…,N-1Ｗ（３，ｉ）・Ｘｒ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂｒ（３，ｊ）＝Σi=0,…,N-1Ｗ（３，ｉ）・Ｘｒ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
【０１１４】
上記〔数式１２〕と同様に、〔数式１５〕において、ｉは、各音響フレーム内のＮ個のサンプルに付した通し番号であり、ｉ＝０，１，２，…Ｎ−１の整数値をとる。また、ｊは周波数の値について、値の小さなものから順に付した通し番号であり、ｉと同様にｊ＝０，１，２，…Ｎ−１の整数値をとる。サンプリング周波数が４４．１ｋＨｚ、Ｎ＝４０９６の場合、ｊの値が１つ異なると、周波数が１０．８Ｈｚ異なることになる。
【０１１５】
上記〔数式１５〕に従った処理を実行することにより、各音響フレームの信号成分を周波数に対応した成分であるスペクトルで表現されたフレームスペクトルが得られる。続いて、低周波成分変更手段３３０が、生成されたフレームスペクトルから３つの所定周波数範囲のスペクトル集合を抽出する。上述のように、人間の聴覚は、２００〜３００Ｈｚ程度までの低周波成分については、方向性を感知しにくくなっているため、ここでも、低周波成分を２００Ｈｚ程度以下としている。周波数２００Ｈｚ付近は、上記ｊが２０に相当するので、上記〔数式１５〕により算出された実部Ａｌ（１，ｊ）、Ａｌ（２，ｊ）、Ａｌ（３，ｊ）、虚部Ｂｌ（１，ｊ）、Ｂｌ（２，ｊ）、Ｂｌ（３，ｊ）、実部Ａｒ（１，ｊ）、Ａｒ（２，ｊ）、Ａｒ（３，ｊ）、虚部Ｂｒ（１，ｊ）、Ｂｒ（２，ｊ）、Ｂｒ（３，ｊ）のうち、ｊ≦２０（＝Ｍ）のものを抽出することになる。
【０１１６】
続いて、低周波成分変更手段３３０は、抽出した左チャンネルの実部Ａｌ（１，ｊ）、Ａｌ（３，ｊ）、虚部Ｂｌ（１，ｊ）、Ｂｌ（３，ｊ）、右チャンネルの実部Ａｒ（１，ｊ）、Ａｒ（３，ｊ）、虚部Ｂｒ（１，ｊ）、Ｂｒ（３，ｊ）を利用して、以下の〔数式１６〕により、合算値Ｅ1、合算値Ｅ2を算出する。
【０１１７】
〔数式１６〕
Ｅ1＝Σj=1,…,M-3｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2＋Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝
Ｅ2＝Σj=1,…,M-3｛Ａｌ（３，ｊ）2＋Ｂｌ（３，ｊ）2＋Ａｒ（３，ｊ）2＋Ｂｒ（３，ｊ）2｝
【０１１８】
上記〔数式１６〕により算出されたＥ1は音響フレーム前部付近のスペクトル集合の成分強度の合算値、Ｅ2は音響フレーム後部付近のスペクトル集合の成分強度の合算値を示すことになる。続いて、この合算値Ｅ1、Ｅ2がレベル下限値Ｌｅｖ以上であるかどうかの判定を行う。レベル下限値Ｌｅｖは、音響信号Ｘｌ（ｉ）、Ｘｒ（ｉ）の振幅最大値が１に正規化されており、Ｍ＝２０に設定されている場合、０．５に設定する。このＬｅｖ＝０．５という値は、経験的にアナログ変換への耐性が維持できるレベルであり、低周波成分が少ない場合は適宜下げることになるが、その場合は、アナログ変換により検出精度も低下することになる。
【０１１９】
合算値Ｅ1、Ｅ2がレベル下限値Ｌｅｖ以上であるかどうかを判断するのは、信号の強度が小さいと、信号を変化させても、その変化を抽出側で検出することができないためである。また、本実施形態では、第１の値（例えば“１”）と第２の値（例えば“０”）をとり得るビット値が“１”の場合、窓３成分（第３窓関数による低周波スペクトルの各成分）に、ビット値が“０”の場合、窓１成分（第１窓関数による低周波スペクトルの各成分）に、埋め込むこととしている。したがって、埋め込むビット値が“１”の場合は、合算値Ｅ1が下限値Ｌｅｖ未満であるとき、埋め込むビット値が“０”の場合は、合算値Ｅ2がレベル下限値Ｌｅｖ未満であるとき、アクセス情報のビット値に応じた記録をせず、先頭ビットから再度処理するため、読み込み位置を先頭ビットに戻し、モードを区切りモードに設定する（Ｓ３１０）。一方、埋め込むビット値が“１”で合算値Ｅ1がレベル下限値Ｌｅｖ以上であるか、埋め込むビット値が“０”で合算値Ｅ2がレベル下限値Ｌｅｖ以上であるときには、モードを判断することになる。
【０１２０】
低周波成分変更手段３３０は、モードが区切りモードである場合、左（Ｌ）チャンネル信号において、窓１成分と窓３成分の低周波成分を均等（全て０となる場合も含む）とする処理を行う（Ｓ３１２）。具体的には、以下の〔数式１７〕に従って、Ｌ側の双方を０に設定する処理を実行することになる。この場合、右（Ｒ）チャンネル信号の窓１成分と窓３成分は必ずしも均等ではない。
【０１２１】
〔数式１７〕
ｊ＝１〜Ｍに対して、
Ａｌ´（１，ｊ）＝０
Ｂｌ´（１，ｊ）＝０
Ａｌ´（３，ｊ）＝０
Ｂｌ´（３，ｊ）＝０
ステレオの場合、右信号に対応した以下も算出
Ｅ（１，ｊ）＝｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2＋Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ａｒ´（１，ｊ）＝Ａｒ（１，ｊ）・Ｅ（１，ｊ）／｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ｂｒ´（１，ｊ）＝Ｂｒ（１，ｊ）・Ｅ（１，ｊ）／｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ｅ（３，ｊ）＝｛Ａｌ（３，ｊ）2＋Ｂｌ（３，ｊ）2＋Ａｒ（３，ｊ）2＋Ｂｒ（３，ｊ）2｝1/2
Ａｒ´（３，ｊ）＝Ａｒ（３，ｊ）・Ｅ（３，ｊ）／｛Ａｒ（３，ｊ）2＋Ｂｒ（３，ｊ）2｝1/2
Ｂｒ´（３，ｊ）＝Ｂｒ（３，ｊ）・Ｅ（３，ｊ）／｛Ａｒ（３，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
【０１２２】
上記〔数式１７〕に従った処理を実行することにより、左チャンネルのフレームスペクトルの低周波数成分は、窓１成分と窓３成分共に“０” で同一となる。この窓１成分と窓３成分が均等のパターンは、付加情報の先頭位置（区切り）を示す情報となる。なお、上記〔数式１７〕においては、窓１成分と窓３成分ともにＡｌ´（ｊ）＝Ｂｌ´（ｊ）＝０としているが、抽出側で区切りであることが認識可能とすることを目的としているため、十分小さな値であれば、必ずしも０とする必要はない。また、必ずしも窓１成分と窓３成分において同一である必要はなく、差が小さければ良い。この意味で、ここでは「均等」という言葉を用いている。
【０１２３】
一方、低周波成分変更手段３３０は、モードがビットモード又は継続識別モードである場合、付加情報記憶部６２から抽出した付加情報のビット配列のビット値に応じて、左チャンネル信号の窓１成分と窓３成分のスペクトル強度の割合を窓１成分が優位か、窓３成分が優位かのいずれかの状態に変更する処理を行う（Ｓ３１１）。ここで、「優位」とは、一方の窓成分のスペクトル集合におけるスペクトル強度が、他方の窓成分のスペクトル集合におけるスペクトル強度よりも大きいことを示す。そこで、Ｓ３１１においては、第１の値と第２の値をとり得るビット値に応じて以下の〔数式１８〕、〔数式１９〕のいずれかに従った処理を実行することにより、窓１成分のスペクトル強度と、窓３成分のスペクトル強度の大小関係を変更し、窓１成分が優位か、窓３成分が優位かのいずれかに変更する処理を行う。例えば、第１の値を１、第２の値を０とした場合、ビット値が１のとき、窓１成分に対して、以下の〔数式１８〕に従った処理を実行する。
【０１２４】
〔数式１８〕
ｊ＝１〜Ｍに対して
Ａｌ´（１，ｊ）＝０
Ｂｌ´（１，ｊ）＝０
ステレオの場合、右信号に対応した以下も算出
Ｅ（１，ｊ）＝｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2＋Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ａｒ´（１，ｊ）＝Ａｒ（１，ｊ）・Ｅ（１，ｊ）／｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ｂｒ´（１，ｊ）＝Ｂｒ（１，ｊ）・Ｅ（１，ｊ）／｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
【０１２５】
なお、この場合、窓３成分に対しては、以下の〔数式１９〕に従った処理を実行する。
【０１２６】
〔数式１９〕
ｊ＝Ｍ−２、Ｍ−１、Ｍの３成分に対して
Ａｌ´（３，ｊ）＝０
Ｂｌ´（３，ｊ）＝０
ステレオの場合、右信号に対応した以下も算出
Ｅ（３，ｊ）＝｛Ａｌ（３，ｊ）2＋Ｂｌ（３，ｊ）2＋Ａｒ（３，ｊ）2＋Ｂｒ（３，ｊ）2｝1/2
Ａｒ´（３，ｊ）＝Ａｒ（３，ｊ）・Ｅ（３，ｊ）／｛Ａｒ（３，ｊ）2＋Ｂｒ（３，ｊ）2｝1/2
Ｂｒ´（３，ｊ）＝Ｂｒ（３，ｊ）・Ｅ（３，ｊ）／｛Ａｒ（３，ｊ）2＋Ｂｒ（３，ｊ）2｝1/2
更にステレオの場合、残存成分を強調させるため、次のように右チャンネル成分を左チャンネル成分に移動させる処理を行う。ｊ＝１〜Ｍ−３に対して
Ａｒ´（３，ｊ）＝０
Ｂｒ´（３，ｊ）＝０
Ａｌ´（３，ｊ）＝Ａｌ（３，ｊ）・Ｅ（３，ｊ）／｛Ａｌ（３，ｊ）2＋Ｂｌ（３，ｊ）2｝1/2
Ｂｌ´（３，ｊ）＝Ｂｌ（３，ｊ）・Ｅ（３，ｊ）／｛Ａｌ（３，ｊ）2＋Ｂｌ（３，ｊ）2｝1/2
【０１２７】
上記〔数式１８〕〔数式１９〕による処理を行った結果、窓３成分のｊ＝Ｍ−２、Ｍ−１、Ｍにおいては、値が“０”となるが、他は所定値以上の信号成分が存在することになる。したがって、この場合、窓３成分が優位な状態にスペクトル強度の割合が変更されたことになる。続いて、ビット値が０のとき、窓３成分に対して、以下の〔数式２０〕に従った処理を実行する。
【０１２８】
〔数式２０〕
ｊ＝１〜Ｍの各成分に対して
Ａｌ´（３，ｊ）＝０
Ｂｌ´（３，ｊ）＝０
ステレオの場合、右信号に対応した以下も算出
Ｅ（３，ｊ）＝｛Ａｌ（３，ｊ）2＋Ｂｌ（３，ｊ）2＋Ａｒ（３，ｊ）2＋Ｂｒ（３，ｊ）2｝1/2
Ａｒ´（３，ｊ）＝Ａｒ（３，ｊ）・Ｅ（３，ｊ）／｛Ａｒ（３，ｊ）2＋Ｂｒ（３，ｊ）2｝1/2
Ｂｒ´（３，ｊ）＝Ｂｒ（３，ｊ）・Ｅ（３，ｊ）／｛Ａｒ（３，ｊ）2＋Ｂｒ（３，ｊ）2｝1/2
【０１２９】
なお、この場合、窓１成分に対しては、以下の〔数式２１〕に従った処理を実行する。
【０１３０】
〔数式２１〕
ｊ＝Ｍ−２、Ｍ−１、Ｍの３成分に対して
Ａｌ´（１，ｊ）＝０
Ｂｌ´（１，ｊ）＝０
ステレオの場合、右信号に対応した以下も算出
Ｅ（１，ｊ）＝｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2＋Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ａｒ´（１，ｊ）＝Ａｒ（１，ｊ）・Ｅ（１，ｊ）／｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ｂｒ´（１，ｊ）＝Ｂｒ（１，ｊ）・Ｅ（１，ｊ）／｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
更にステレオの場合、残存成分を強調させるため、次のように右チャンネル成分を左チャンネル成分に移動させる処理を行う。ｊ＝１〜Ｍ−３に対して
Ａｒ´（１，ｊ）＝０
Ｂｒ´（１，ｊ）＝０
Ａｌ´（１，ｊ）＝Ａｌ（１，ｊ）・Ｅ（１，ｊ）／｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2｝1/2
Ｂｌ´（１，ｊ）＝Ｂｌ（１，ｊ）・Ｅ（１，ｊ）／｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2｝1/2
【０１３１】
上記〔数式２０〕〔数式２１〕による処理を行った結果、窓１成分のｊ＝Ｍ−２、Ｍ−１、Ｍにおいては、値が“０”となるが、他は所定値以上の信号成分が存在することになる。したがって、この場合、窓１成分が優位な状態にスペクトル強度の割合が変更されたことになる。
【０１３２】
上記〔数式１８〕および〔数式１９〕、又は〔数式２０〕および〔数式２１〕のいずれかに従った処理を実行することにより、付加情報のビット配列の各ビット値に応じて、左チャンネル信号の窓１成分が優位か、窓３成分が優位かのどちらかのパターンに変更されることになる。なお、Ｓ３１１においては、継続識別モードの場合は、新規であるときは〔数式１８〕に従って低周波成分の窓１成分、窓３成分間の分布を窓３成分が優位な状態に変更し、継続であるときは〔数式１９〕に従って低周波成分の窓１成分、窓３成分間の分布を窓１成分が優位な状態に変更することになる。
【０１３３】
この場合、高周波帯と低周波数帯の間には、必ず信号成分が“０”の部分が存在し、これにより、高周波帯と低周波数帯の信号成分が混在することを防いでいる。結局、低周波成分変更手段３３０は、区切りモードの場合に〔数式１７〕に基づく処理をＳ３１２において行い、ビットモード又は継続識別モードの場合に〔数式１８〕〔数式１９〕又は〔数式２０〕〔数式２１〕に基づく処理をＳ３１１において行うことになる。
【０１３４】
上記Ｓ３１１、Ｓ３１２いずれの場合であっても、次に、低周波成分変更手段３３０は、窓２成分（第２窓関数による低周波スペクトルの各成分）の削除を行う（Ｓ３１３）。具体的には、窓２成分に対して、以下の〔数式２２〕に従った処理を実行することになる。
【０１３５】
〔数式２２〕
ｊ＝１〜Ｍの各成分に対して
Ａｌ´（２，ｊ）＝０
Ｂｌ´（２，ｊ）＝０
ステレオの場合、右信号に対応した以下も算出
Ｅ（２，ｊ）＝｛Ａｌ（２，ｊ）2＋Ｂｌ（２，ｊ）2＋Ａｒ（２，ｊ）2＋Ｂｒ（２，ｊ）2｝1/2
Ａｒ´（２，ｊ）＝Ａｒ（２，ｊ）・Ｅ（２，ｊ）／｛Ａｒ（２，ｊ）2＋Ｂｒ（２，ｊ）2｝1/2
Ｂｒ´（２，ｊ）＝Ｂｒ（２，ｊ）・Ｅ（２，ｊ）／｛Ａｒ（２，ｊ）2＋Ｂｒ（２，ｊ）2｝1/2
【０１３６】
次に、周波数逆変換手段３４０が、上記Ｓ３１１〜Ｓ３１３の処理により各窓成分のスペクトル集合間の割合が変更されたフレームスペクトルを周波数逆変換して改変音響フレームを得る処理を行う（Ｓ３１４）。この周波数逆変換は、当然のことながら、周波数変換手段３２０がＳ３０５において実行した手法に対応していることが必要となる。本実施形態では、周波数変換手段３２０において、フーリエ逆変換を施しているため、周波数逆変換手段３４０は、フーリエ逆変換を実行することになる。具体的には、上記〔数式１７〕〜〔数式２２〕のいずれかにより得られたスペクトルの左チャンネルの実部Ａｌ´（１，ｊ）等、虚部Ｂｌ´（１，ｊ）等、右チャンネルの実部Ａｒ´（１，ｊ）等、虚部Ｂｒ´（１，ｊ）等を用いて、以下の〔数式２３〕に従った処理を行い、Ｘｌ´（ｉ）、Ｘｒ´（ｉ）を算出する。なお、上記〔数式１７〕〜〔数式２２〕において改変されていない周波数成分については、Ａｌ´（１，ｊ）等として、元の周波数成分であるＡｌ（１，ｊ）等を用いる。
【０１３７】
〔数式２３〕
Ｘｌ´（ｉ）＝１／Ｎ・｛ΣjＡｌ´（１，ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−ΣjＢｌ´（１，ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋１／Ｎ・｛ΣjＡｌ´（２，ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−ΣjＢｌ´（２，ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋１／Ｎ・｛ΣjＡｌ´（３，ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−ΣjＢｌ´（３，ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋Ｘｌｐ（ｉ＋Ｎ／２）
Ｘｒ´（ｉ）＝１／Ｎ・｛ΣjＡｒ´（１，ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−ΣjＢｒ´（１，ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋１／Ｎ・｛ΣjＡｒ´（２，ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−ΣjＢｒ´（２，ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋１／Ｎ・｛ΣjＡｒ´（３，ｊ）・ｃｏｓ（２πｉｊ／Ｎ）−ΣjＢｒ´（３，ｊ）・ｓｉｎ（２πｉｊ／Ｎ）｝＋Ｘｒｐ（ｉ＋Ｎ／２）
【０１３８】
上記〔数式２３〕においては、式が繁雑になるのを防ぐため、Σj=0,…,N-1をΣjとして示している。上記〔数式２３〕における第１式の“＋Ｘｌｐ（ｉ＋Ｎ／２）”、第２式の“＋Ｘｒｐ（ｉ＋Ｎ／２）”の項は、直前に改変された改変音響フレームのデータＸｌｐ（ｉ）、Ｘｒｐ（ｉ）が存在する場合に、時間軸上Ｎ／２サンプル分重複することを考慮して加算するためのものである。上記〔数式２３〕によりＡタイプの改変音響フレームの左チャンネルの各サンプルＸｌ´（ｉ）、右チャンネルの各サンプルＸｒ´（ｉ）、が得られることになる。改変音響フレーム出力手段３５０は、得られた改変音響フレームを順次出力ファイルに出力する。こうして１つの音響フレームに対する処理を終えたら、モードの判定を行い（Ｓ３１６）、モードが区切りモードである場合は、モードを継続識別モードに設定した後（Ｓ３１７）、音響フレーム読込手段３１０が、Ｂタイプ音響フレームを読み込む（Ｓ３０４）。一方、モードがビットモード又は継続識別モードである場合は、モードをビットモードに設定した後（Ｓ３１８）、低周波成分変更手段３３０がアクセス情報のビット配列中の次のビットを読み込む（Ｓ３０３）。以上のような処理を音響信号の両チャンネルの全サンプルに渡って実行していく。すなわち、所定数のサンプルを音響フレームとして読み込み、音響信号から読み込むべき音響フレームがなくなったら（Ｓ３０４）、処理を終了する。なお、Ｓ３０１において読み込んだ１ワードのデータの各ビットに対応する処理を終えた場合、Ｓ３０３からＳ３０１に戻り、アクセス情報の次のワードを読み込み処理をすることになる。アクセス情報の全ワードに対して処理が終了した場合は、アクセス情報の先頭ワードに戻って処理を行う。この結果、全ての音響フレームに対して処理を行った全ての改変音響フレームが出力ファイルに記録されて、改変音響信号として得られる。得られた改変音響信号は、記憶手段３６０内の改変音響信号記憶部３６３に出力され、記憶される。
【０１３９】
以上の処理による左チャンネル信号の変化の様子を図１２を用いて説明する。図１２において、図面左右方向は、時間軸であり、サンプル数に比例する。また、図中多数存在する矩形は、改変音響フレームの窓１成分、窓３成分を示している。窓成分を示す矩形の横幅はサンプル数、縦幅は強度を示しているが、図１２においては、横幅、縦幅とも正確に示したものではなく、窓１成分に対応する先頭部分に強い信号成分があるか、窓３成分に対応する後部部分に強い信号成分があるかということを示すものである。図１２（ａ）は、上記〔数式１６〕により算出された合算値Ｅ1、Ｅ2がレベル下限値Ｌｅｖ未満となる音響フレームが存在しない場合、すなわち、付加情報を埋め込むには、良好な信号である場合を示している。図１２（ｂ）は、上記〔数式１６〕により算出された合算値Ｅ1、Ｅ2がレベル下限値Ｌｅｖ未満となる音響フレームが存在する場合、すなわち、付加情報を埋め込むには、良好でない信号である場合を示している。
【０１４０】
例えば、付加情報として、１ワード目が「１１０１１１００」、２ワード目が「１１０００００１」の２ワードのビット配列を埋め込むとする。まず、各ワードの先頭には、区切りを示す情報として、窓１成分、窓３成分が均等な状態に設定されることになる。これは、Ｓ３０２により区切りモードに設定され、Ｓ３１２において、上記〔数式１７〕に従った処理を実行した結果得られる。続いて、付加情報の各ビットに対応した処理を行う前に、新規であるか継続であるかを示す情報を記録することになる。
【０１４１】
本実施形態では、レベル下限値Ｌｅｖ未満となる音響フレームが存在した場合であっても、その時点で処理したビットは有効とし、そこから継続して行うため、そのビットが新規であるか継続であるかの情報を記録しておく必要がある。そこで、区切りを示す情報を記録した後には、新規であるか継続であるかを示す情報を記録する。具体的には、区切りモードの状態で、モード判断を行うことにより（Ｓ３１６）、継続識別モードに設定され（Ｓ３１７）、付加情報のビットを読み込むことなく、Ｂタイプ音響フレームの抽出に戻る（Ｓ３０４）。そして、周波数変換後（Ｓ３０９）、新規である場合には、〔数式１８〕に従った処理により、低周波成分である窓１成分、窓３成分間の分布を窓３成分が優位な状態に変更する（Ｓ３１１）。
【０１４２】
このようにして、新規か継続かを示す情報を記録した後は、継続識別モードの状態でモード判断を行うため（Ｓ３１６）、ビットモードに設定され（Ｓ３１８）、レジスタから先頭のビットを読み込み（Ｓ３０３）、Ｂタイプ音響フレームの抽出を行う（Ｓ３０４）。図１２（ａ）の例では、レベル下限値Ｌｅｖ未満となる音響フレームが存在しないため、１ワードが連続してＳ３１１により処理されることになる。これは、Ｓ３０３からＳ３１８を経由するループが８回（１ワード＝１バイトの場合）連続して繰り返され、その間レベル下限値Ｌｅｖ未満であるとしてＳ３１０およびＳ３１２、Ｓ３１７を経由することがなかったことを示している。図１２に示すように、付加情報のビット値が１の場合は、窓３成分に低周波成分が存在し、付加情報のビット値が０の場合は、窓１成分に低周波成分が存在する。上記〔数式１８〕〜〔数式２１〕からもわかるように、この場合は他方の窓成分の低周波成分は０となる。
【０１４３】
図１２（ｂ）の例では、上記〔数式１６〕に従った処理の結果、レベル下限値Ｌｅｖ未満となる音響フレームが存在するので、この場合Ｓ３１０およびＳ３１２を経由して、上記〔数式１７〕に従った処理を実行した結果、窓１成分と窓３成分が均等な状態に設定される。この場合、Ｓ３１０において、区切りモードに設定されるため、Ｓ３１７を経由して、新規か継続かを示す情報を記録することになる。図１２（ｂ）の例では、１ワード目の「１１０１１１００」を埋め込む場合に、最初は第１ビット目の「１」の１ビット処理した時点でレベル下限値Ｌｅｖ未満の音響フレームが出現しているため、区切りを示す情報を記録した後、継続を示す情報を記録し、継続して第２ビット目の「１」から処理をしている。そして、第２ビット目から第５ビット目の「１０１１」を処理した時点でレベル下限値Ｌｅｖ未満の音響フレームが出現しているため、区切りを示す情報を記録した後、継続を示す情報を記録し、継続して第６ビット目の「１」から処理をしている。
【０１４４】
なお、図１２の例では、付加情報の１ワードを１バイトとした場合について説明したが、新規か継続かを示す情報を記録するため、付加情報の１ワードを任意のビット数単位で記録することが可能である。
【０１４５】
上記のようにして得られた改変音響信号の左チャンネルのうち、付加情報が埋め込まれている部分については、低周波成分は、窓１成分と窓３成分が均等となっているか、あるいは窓１成分が優位か、窓３成分が優位かの３通りの分布しかないことになる。しかし、高周波成分については、元の音響信号のままであるので、制作者の設定に基づいた種々な分布になる。また、上記の例で示したように、ステレオ音響信号を利用した場合には、左チャンネルにおいて変化させられた低周波成分は、上記〔数式１７〕〜〔数式２２〕の処理からも明らかなように、必ず右チャンネルの低周波成分に付加されている。したがって、右チャンネルが左チャンネルにおいて削除された成分を補っているため、両チャンネル全体として見ると、信号の劣化がない。人間の聴覚は、高周波成分については、方向性を感知し易いが、低周波成分については、方向性を感知しにくくなっている。したがって、低周波成分が一方に偏っていても、聴いている人にとっては、通常の音響信号と変わりなく聴こえることになる。
【０１４６】
したがって、上記のようにして付加情報が埋め込まれた音響信号を音響信号再生装置５００において再生して、スピーカから音として発した音は、通常の音響信号と変わりなく聴こえるが、その音を取得した音響信号検索装置においては、付加情報の抽出が可能となる。
【０１４７】
（３．２．埋込情報抽出部９０の詳細）
次に、上記埋込情報抽出部９０の詳細について説明する。図１３は、埋込情報抽出部９０の詳細を示す図である。図１３において、４１０は基準フレーム獲得手段、４２０は位相変更フレーム設定手段、４３０は周波数変換手段、４４０は符号判定パラメータ算出手段、４５０は符号出力手段、４６０は付加情報抽出手段、４７０は音響フレーム保持手段である。
【０１４８】
基準フレーム獲得手段４１０は、入力されたデジタルのモノラル音響信号（あるいはステレオ音響信号の１チャンネル）から所定数のサンプルで構成される音響フレームを基準フレームとして読み込む機能を有している。位相変更フレーム設定手段４２０は、基準フレームと所定サンプルずつ移動させることにより位相を変更した音響フレームを位相変更フレームとして設定する機能を有している。周波数変換手段４３０は、図９に示した周波数変換手段３２０と同様の機能を有している。符号判定パラメータ算出手段４４０は、生成されたフレームスペクトルから所定の周波数以下に相当する各低周波強度データを抽出し、窓１成分、窓３成分ごとに各低周波強度データの合算値ＥC1、ＥC2を以下の〔数式２４〕に基づいて算出し、この合算値ＥC1、ＥC2を符号判定パラメータとし、この符号判定パラメータＥC1、ＥC2の比率に基づいて、所定の状態であると判断する機能を有している。以下の〔数式２４〕は上記〔数式１６〕において右チャンネル成分を削除したもので、抽出時には右チャンネル成分を参照しないためである。
【０１４９】
〔数式２４〕
ＥC1＝Σj=1,…,M-3｛Ａｌ（１，ｊ）2＋Ｂｌ（１，ｊ）2｝
ＥC2＝Σj=1,…,M-3｛Ａｌ（３，ｊ）2＋Ｂｌ（３，ｊ）2｝
【０１５０】
符号出力手段４５０は、１つの基準フレームに対応する音響フレーム（基準フレームおよび位相変更フレーム）の中から最適な位相であると判断されるものを判断し、その音響フレームの状態に対応する符号を出力する機能を有している。付加情報抽出手段４６０は、符号出力手段４５０により出力された符号の集合である３値配列を、所定の規則により変換して意味のある付加情報として抽出する機能を有している。音響フレーム保持手段４７０は、連続する２個の基準フレームを保持可能なバッファメモリである。
【０１５１】
次に、図１３に示した埋込情報抽出部９０の処理動作について図１４のフローチャートに従って説明する。まず、本装置では、平均符号レベルＨＬ１、ＨＬ２、位相判定テーブルが初期化される。これらについて説明する。平均符号レベルＨＬ１、ＨＬ２は、ビット値に対応する２値が埋め込まれていたと判断される音響フレーム（以下、有効フレームと呼ぶことにする）についての、上記〔数式２４〕で算出される低周波成分の合算値ＥC1、ＥC2の平均値、すなわち、過去の有効フレームにおける合算値ＥC1、ＥC2の平均値で与えられるものであり、初期値は、上記埋め込み装置においても用いられるレベル下限値Ｌｅｖに設定されている。位相判定テーブルＳ（ｐ）は、位相を判定するためのテーブルであり、ｐは０〜５の整数値をとる。初期値はＳ（ｐ）＝０に設定されている。
【０１５２】
このように、初期値が設定されている状態で、基準フレーム獲得手段４１０が、デジタル化された音響信号から、所定数のサンプルで構成される音響フレームを基準フレームとして抽出する（Ｓ４０１）。具体的には、基準フレームを抽出して音響フレーム保持手段４７０に読み込むことになる。基準フレーム獲得手段４１０が基準フレームとして読み込む１音響フレームのサンプル数は、図９に示した音響フレーム読込手段３１０で設定されたものと同一にする必要がある。したがって、本実施形態の場合、基準フレーム獲得手段４１０は、４０９６サンプルずつ、順次基準フレームとして読み込んでいくことになる。音響フレーム保持手段４７０には、上述のように２個の基準フレームが格納可能となっており、新しい基準フレームが読み込まれると、古い基準フレームを破棄するようになっている。したがって、音響フレーム保持手段４７０には、常に基準フレーム２個分（連続する８１９２サンプル）が格納されていることになる。
【０１５３】
埋込情報抽出部９０で処理する音響フレームは、先頭から途切れることなく隣接して設定される基準フレームと、この基準フレームと位相を変更した位相変更フレームとに分けることができる。基準フレームについては、最初の基準フレームをサンプル番号１からサンプル番号４０９６までを設定したら、次の基準フレームは、サンプル番号４０９７からサンプル番号８１９２、さらに次の基準フレームは、サンプル番号８１９３からサンプル番号１２２８８、というように途切れることなく設定される。そして、各基準フレームについて、１／６フレーム（約６８３サンプル）ずつ移動した５個の位相変更フレームを設定する。例えば、最初の基準フレームについては、サンプル番号６８３、１３６６、２０４９、２７３２、３４１３から始まる４０９６のサンプルで構成される５個の位相変更フレームが設定されることになる。
【０１５４】
続いて、周波数変換手段４３０、符号判定パラメータ算出手段４４０が、読み込んだ各音響フレームから、埋め込まれている情報を判定し、対応する符号を出力する（Ｓ４０２）。出力される情報の形式は、埋め込み側のビット値に対応する２値、および区切りとして入力された値の３値の形式となる。
【０１５５】
ここで、ステップＳ４０２の符号判定処理の詳細を図１５のフローチャートに従って説明する。まず、周波数変換手段４３０が、読み込んだ各音響フレームに対して、周波数変換を行ってフレームスペクトルを得る（Ｓ５０１）。この処理は、図９に示した周波数変換手段３２０における処理と同様である。ただし、抽出に用いるのは、左チャンネルだけであるので、上記〔数式１５〕に従った処理を行い、左チャンネルに対応する変換データの実部Ａｌ（１，ｊ）等、虚部Ｂｌ（１，ｊ）等を得る。
【０１５６】
上記周波数変換手段４３０における処理により、周波数に対応した成分であるスペクトルで表現されたフレームスペクトルが得られる。続いて、符号判定パラメータ算出手段４４０は、平均符号レベルＨＬ１、ＨＬ２の算出を行う（Ｓ５０２）。具体的には、過去窓１成分が優位な状態と判断された音響フレームについての合算値ＥC1の積算値であるｖ１を、過去窓１成分が優位な状態と判断された音響フレームの数であるｎ１で除算することによりＨＬ１を算出し、過去窓３成分が優位な状態と判断された音響フレームについての合算値ＥC2の積算値であるｖ２を、過去窓３成分が優位な状態と判断された音響フレームの数であるｎ２で除算することによりＨＬ２を算出する。したがって、平均符号レベルＨＬ１、ＨＬ２は、過去対応する窓成分が優位な状態と判断された音響フレームの低周波強度データの合算値の平均値となる。
【０１５７】
さらに、符号判定パラメータ算出手段４４０は、生成されたフレームスペクトルから所定の周波数範囲の各低周波強度データを抽出する。抽出すべき周波数範囲は、埋め込み装置と対応させる必要がある。したがって、ここでは、周波数が２００Ｈｚ程度以下の低周波強度データを抽出することになり、埋め込み装置の場合と同様、上記〔数式１５〕により算出された左チャンネルの実部Ａｌ（ｊ）、虚部Ｂｌ（ｊ）のうち、ｊ≦２０のものを抽出する。そして、符号判定パラメータ算出手段４４０は、上記〔数式２４〕に従った処理を実行することにより、窓１成分の合算値ＥC1、窓３成分の合算値ＥC2を算出する。埋込情報抽出部９０においては、これを符号判定パラメータとして用いる。
【０１５８】
続いて、符号判定パラメータ算出手段４４０は、候補符号テーブルの初期化を行う（Ｓ５０３）。候補符号テーブルは、１つの基準フレームおよび５個の位相変更フレームを特定する０〜５の位相番号および、この６個の音響フレームの状態から得られる３値の符号を記録するものである。
【０１５９】
続いて、符号判定パラメータ算出手段４４０は、窓１成分の合算値ＥC1、窓３成分の合算値ＥC2がそれぞれ所定値以下であるかどうかの判定を行う（Ｓ５０４）。具体的には、所定値としてそれぞれ平均符号レベルＨＬ１、ＨＬ２の２０分の１を設定する。合算値ＥC1が平均符号レベルＨＬ１の２０分の１以下であり、かつ、合算値ＥC2が平均符号レベルＨＬ２の２０分の１以下である場合、符号判定パラメータ算出手段４４０は、区切り情報であると判定する（Ｓ５０８）。
【０１６０】
一方、符号判定パラメータ算出手段４４０は、上記算出された符号判定パラメータＥC1、ＥC2の所定値との比較判定および相互の比較判定を以下の〔数式２５〕に従って行い（Ｓ５０５）、比較結果に対応する符号を出力する。
【０１６１】
〔数式２５〕
ＥC2＞（所定値）かつＥC2／ＥC1＞２の場合、窓３成分が優位な状態
ＥC1＞（所定値）かつＥC1／ＥC2＞２の場合、窓１成分が優位な状態
上記以外の場合、両窓成分が均等
【０１６２】
符号判定パラメータ算出手段４４０は、各音響フレーム単位で、上記判定結果に応じて３値の符号を出力する。すなわち、窓３成分が優位な状態と判定した場合には、第１のビット値（例えば“１”）を出力し（Ｓ５０６）、窓１成分が優位な状態と判定した場合には、第２のビット値（例えば“０”）を出力し（Ｓ５０７）、両窓成分が均等と判定した場合には、区切り情報を示す符号を出力する（Ｓ５０８）。なお、Ｓ５０５において、窓３成分が優位な状態と判定した場合は、ＥC1がＨＬ１以上であるか、また、窓１成分が優位な状態と判定した場合は、ＥC2がＨＬ２以上であるかを判定し、これらの条件を満たしていない場合は、区切り情報を示す符号を出力する（Ｓ５０８）。
【０１６３】
窓３成分が優位な状態と判定して、第１のビット値を出力した場合（Ｓ５０６）、又は窓１成分が優位な状態と判定して、第２のビット値を出力した場合（Ｓ５０７）は、さらに、以下の〔数式２６〕に従って位相判定テーブルＳ（ｐ）の更新を行う（Ｓ５０９）。
【０１６４】
〔数式２６〕
窓３成分が優位な状態の場合、Ｓ（ｐ）←Ｓ（ｐ）＋ＥC1／ＥC2
窓１成分が優位な状態の場合、Ｓ（ｐ）←Ｓ（ｐ）＋ＥC2／ＥC1
【０１６５】
続いて、符号判定パラメータ算出手段４４０は、候補符号テーブルに、最適位相となる候補を保存する（Ｓ４１０）。具体的には、位相判定テーブルに記録されているＳ（ｐ）の値が最大となる位相番号ｐの値、前記Ｓ５０６〜Ｓ５０８により判定された３値のいずれかの符号、その音響フレームについての上記〔数式１６〕に従った処理を実行することにより算出した、低周波数成分に対応する各ＥC1、ＥC2の値を最適位相の候補として候補符号テーブルに保存する。
【０１６６】
続いて、全ての位相番号ｐに対応する処理を終えたかどうかを判定する（Ｓ４１１）。これは、ある基準フレームに対して全ての位相変更フレームの処理を行ったかどうかを判定している。本実施形態では、ｐが０〜５までの値をとるので、６回分処理していない場合は、処理していた音響フレームから所定サンプル数ずらして、位相の異なる音響フレームを設定し、Ｓ５０４に戻って処理を繰り返す。なお、ｐ＝０の場合が基準フレームであり、ｐ＝１〜５の場合が位相変更フレームである。全ての位相番号ｐに対応する処理を終えた場合は、候補保存テーブルに記録されている位相番号ｐに対応する位相が最適位相であると判定し、候補保存テーブルに記録されている符号を出力する（Ｓ４１２）。
【０１６７】
再び図１４のフローチャートに戻って説明する。Ｓ４０２による処理の結果、ビット値に相当する符号が出力された場合には、平均符号レベルのパラメータの更新を行う（Ｓ４０３）。具体的には、平均符号レベルＨＬ１、ＨＬ２算出の際の分子となる積算値ｖ１、ｖ２にそれぞれ合算値ＥC1、ＥC2を加算して積算値ｖ１、ｖ２を更新し、分母となるフレーム数ｎ１、ｎ２にそれぞれ１を加算してフレーム数ｎ１、ｎ２を更新する。続いて、モードの判定を行う（Ｓ４０４）。モードは、区切りモードとビット出力モードの２つが用意されている。ビット出力モードである場合は、そのビット値をバッファに保存する（Ｓ４０９）。続いて、ビットカウンタをカウントアップする（Ｓ４１０）。一方、Ｓ４０４による判定の結果、区切りモードである場合には、さらに抽出された符号が、新規を意味するものか継続を意味するものかを判定する（Ｓ４０５）。この結果、新規である場合には、その直前で１ワードが終了していることを意味するので、バッファに記録された１ワード分のデータを、付加情報抽出手段４６０が出力する（Ｓ４０６）。そして、ビットカウンタを０に初期化する（Ｓ４０７）。さらに、モードをビット出力モードに設定する（Ｓ４０８）。Ｓ４０５において、継続と判定された場合には、バッファ内のビットに値を出力すべきであるので、ビット出力モードに設定する処理のみを行う。また、Ｓ４０２において、区切り情報に相当する符号が抽出された場合には、次の音響フレームから新規か継続かの情報を抽出するため、モードを区切りモードに設定する（Ｓ４１１）。図１４に示す処理を各基準フレームに対して実行することにより、付加情報が抽出されることになる。Ｓ４０１において全ての基準フレームが抽出されたと判断された場合には、処理を終了する。
【０１６８】
上記Ｓ４０６の処理において、付加情報抽出手段４６０は、まず、符号判定パラメータ算出手段４４０により出力された３値の符号のうち、窓３成分と窓１成分が均等であることを示す符号を区切り位置として、その次の符号を先頭とし、窓３成分が優位な状態、窓１成分が優位な状態であることを示す符号をビット値に対応させて、ビット配列を作成する。続いて、このビット配列を、所定の規則により変換して意味のある付加情報として抽出する。所定の規則としては、情報を埋め込む者が意図した情報が受け取った者に認識可能な状態とできるものであれば、さまざまな規則が適用できるが、本実施形態では、文字情報として認識するための規則としている。すなわち、付加情報抽出手段４６０は、符号判定パラメータ算出手段４４０が判定し、符号出力手段４５０から出力される符号を１バイト（８ビット）単位で認識し、これを設定されたコード体系に従って文字情報であるアクセス情報を認識する。本実施形態ではＵＲＬを認識することになる。
【０１６９】
従って、埋め込み装置により音響信号に、その楽曲の曲名やアーチスト等に関連するｗｅｂサイトのＵＲＬを文字情報として埋め込んでおけば、利用者は、その音楽が流れているのを聞いて、その曲名やアーチストに関連する詳細な情報を知りたいと思ったときに、抽出装置として機能する自身の携帯端末に所定の操作を行えば、自身の携帯端末で、その楽曲やアーチストに関連するｗｅｂサイトのＵＲＬが取得できることになる。
【０１７０】
ここで本実施形態に示すような窓関数窓関数Ｗ（１，ｉ）、Ｗ（２，ｉ）、Ｗ（３，ｉ）、Ｗ（４，ｉ）を用いることの利点について説明する。図１６は、本実施形態の特徴を有しない窓関数を利用した場合の埋め込み直前と埋め込み後の低周波成分の状態を示す図であり、図１７は、本発明による埋め込み直前と埋め込み後の低周波成分の状態を示す図である。埋め込み後の低周波成分の状態である図１６（ｂ）と図１７（ｂ）を比較すると、本実施形態では、そうでない場合と比べてＡタイプ音響フレームにおいて広い範囲で値を有していることがわかる。そのため、Ｓ５０２において〔数式２４〕を用いて算出される合算値ＥC1、ＥC2の値が大きくなり、Ｓ５０６、Ｓ５０７においてビット値が抽出される確率が高まる。
【０１７１】
以上の処理においては、埋込情報抽出部９０において正確に付加情報を抽出するために、位相を補正する処理、窓３成分と窓１成分の強度のバランスを補正する処理、無効フレームであることを判断するための下限閾値を補正する処理を行っている。次に、これら３つの補正処理について補足説明を行う。
【０１７２】
上記のように、抽出時には、埋め込み時に埋め込んだ音響フレームに対応して、音響信号を読み込むことができるとは限らない。そこで、音響フレームの位相をずらして複数通り（本実施形態では６通り）で読み込み、その中で最適な位相を決定し、その位相で特定される音響フレームに対応する符号を出力することにしている。例えば、６通りで読み込む場合、先頭の音響フレームは、本来サンプル番号１〜４０９６のサンプルであるが、サンプル番号１、６８３、１３６６、２０４９、２７３２、３４１３から始まる４０９６のサンプルで構成される６個の各音響フレームに対して処理を行い、最適な音響フレームに対応する符号を出力することになる。この位相補正処理は、Ｓ５０３、Ｓ５０９、Ｓ４１０、Ｓ４１１、Ｓ４１２における処理を中心として行われることになる。
【０１７３】
信号レベルが小さい場合には、窓成分の強度の大小が判定できず、抽出側で誤判断することが多くなる。そこで、合算値ＥC1およびＥC2が所定の閾値以下のフレームについては、無効なフレームであると判断するようにしているが、この際の閾値を過去の有効フレームについての低周波強度の積算値を利用して補正する処理を行っている。このように閾値を変動させることにより、信号レベルが変動しても無効なフレームであるか、有効なフレームであるかを正確に判断することが可能となる。この下限閾値補正処理は、Ｓ５０２、Ｓ４０３における処理を中心として行われることになる。
【０１７４】
上記実施形態においては、埋め込み装置、埋込情報抽出部９０のいずれにおいても、左右のチャンネルを有するステレオ音響信号の左チャンネル信号に付加情報を埋め込む場合を例にとって説明したが、逆に右チャンネル信号に付加情報を埋め込むようにしても良い。本発明は、左右の特性には無関係だからである。また、１つのチャンネルしかないモノラル音響信号に対して処理を行う場合は、上記実施形態において、左チャンネル信号に対して行った処理を行うことになる。本発明は、１つのチャンネル信号に対して付加情報を埋め込み、また抽出を行うので、モノラル音響信号であってもステレオ音響信号であっても同様に行うことができる。
【０１７５】
図１８にステレオ音響信号とモノラル音響信号に対して、本発明により付加情報を埋め込む場合の概念図を示す。図１８（ａ）はステレオ音響信号の場合、図１８（ｂ）はモノラル音響信号の場合である。なお、図１８の例では、音響フレーム１つ分の低周波成分を波形で表現しており、ビット値“０”を埋め込む場合を例に示している。
【０１７６】
ステレオ音響信号の場合、埋め込みは左チャンネル（Ｌ−ｃｈ）信号に対して行われる。図１８（ａ）に示すように、周波数変換後、信号分離し、さらに、ビット埋め込み処理を行う。具体的には、〔数式１７〕〜〔数式２２〕の処理の結果、ビット埋め込みがなされることになる。ここで、上述のように、“０”を埋め込む場合は〔数式２０〕および〔数式２１〕を用いる。したがって、ビット埋め込み処理後は、音響フレームの中央付近（窓２に相当）と後部付近（窓３に相当）は、低周波数帯の信号成分は０（図中、波形がないことで表現）となる。この際、〔数式２０〕および〔数式２１〕の内容から明らかなように、左チャンネル信号の削除された信号成分は、右チャンネル（Ｒ−ｃｈ）信号に加算される。したがって、図１８（ａ）の下段に示すように、右チャンネル信号の低周波成分は大きくなる。ビット埋め込み処理後は、高周波成分を含めて信号合成された後、周波数逆変換され、改変音響信号が得られることになる。一方、上記〔数式１８〕の最後の３つの式から明らかなように、左チャンネル信号の残っている信号成分に対応する右チャンネル（Ｒ−ｃｈ）信号の成分は、左チャンネル信号に加算される。したがって、図１８（ａ）の上段に示すように、左チャンネル信号の窓１に相当する低周波成分は大きくなる。
【０１７７】
モノラル音響信号の場合、図１８（ｂ）に示すように処理が行われるが、図１８（ａ）の上段と比較するとわかるように、ステレオ音響信号の左チャンネルと同様の処理が行われることになる。
【０１７８】
ここまで、説明してきた処理においては、窓１成分、窓３成分に所定の大きさ以上の信号成分が存在していることが必要となり、窓１成分、窓３成分が共に所定の大きさ以下の場合には、情報の埋め込みを行うことができない。そこで、以下、窓１成分、窓３成分が共に所定の大きさ以下であっても、信号の埋め込みを可能とする手法について説明する。
【０１７９】
この場合、図９に示した埋め込み装置における情報の埋め込み処理は、図１９のフローチャートに従って行われる。図１９のフローチャートにおいて、図１０のフローチャートと異なる点は、Ｓ７０９における周波数変換処理において低周波成分変更手段３３０がレベルの判定を行わず、さらに、Ｓ３１０に相当する区切りモードへの設定処理が存在しない点である。これは、図１９に従った処理では、信号レベルが小さくても強制的に情報を埋め込むこととしているため、情報の埋め込みが不可能な信号レベルが小さい部分が存在するかどうかを判断し、区切りモードに設定する必要がないからである。
【０１８０】
したがって、Ｓ７１０における窓１成分、窓３成分のいずれかを優位な状態に設定する処理としては、まず、以下の〔数式２７〕に従って算出される固定値Ｖを、低周波成分の強度として、上記合算値Ｅ1、Ｅ2に代えて設定する。
【０１８１】
〔数式２７〕
Ｖ＝｛０．５・Ｌｅｖ／（Ｍ−３）｝1/2
【０１８２】
そして、第１の値を１、第２の値を０とした場合、ビット値が１のとき、上記〔数式１８〕および〔数式１９〕に従った処理を実行した後、以下の〔数式２８〕に従った処理を実行する。
【０１８３】
〔数式２８〕
窓３成分に対して
Ａｌ´（３，ｊ）＝Ａｌ（３，ｊ）・Ｖ／｛Ａｒ（３，ｊ）2＋Ｂｒ（３，ｊ）2｝1/2
Ｂｌ´（３，ｊ）＝Ｂｌ（３，ｊ）・Ｖ／｛Ａｒ（３，ｊ）2＋Ｂｒ（３，ｊ）2｝1/2
【０１８４】
ビット値が０の場合、上記〔数式２０〕および〔数式２１〕に従った処理を実行した後、以下の〔数式２９〕に従った処理を実行する。
【０１８５】
〔数式２９〕
窓１成分に対して
Ａｌ´（１，ｊ）＝Ａｌ（１，ｊ）・Ｖ／｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
Ｂｌ´（１，ｊ）＝Ｂｌ（１，ｊ）・Ｖ／｛Ａｒ（１，ｊ）2＋Ｂｒ（１，ｊ）2｝1/2
【０１８６】
Ｓ７１０における上記処理を行った後、窓２成分削除処理（Ｓ７１２）以降の処理は、図１０に示したＳ３１３以降の処理と同様にして行われる。
【０１８７】
上記のように、周波数成分が小さい場合に情報を埋め込んだ場合であっても、抽出側の、音響信号からの情報の抽出装置の構成は図１３と同一であり、処理動作は図１４のフローチャートに従ったものと同一である。
【０１８８】
図２０にステレオ音響信号とモノラル音響信号に対して、信号成分が小さい場合に、付加情報を埋め込む場合の概念図を示す。図２０（ａ）はステレオ音響信号の場合、図２０（ｂ）はモノラル音響信号の場合である。なお、図２０の例では、図１８の場合と同様に、音響フレーム１つ分の低周波成分を波形で表現しており、ビット値“０”を埋め込む場合を例に示している。
【０１８９】
図２０において、図１８の場合と異なるのは、元の信号成分が小さい点である。図２０（ａ）に示す例のように、信号分離後の段階では、窓１成分、窓３成分の値が小さい場合であっても、上記〔数式２７〕〜〔数式２９〕の処理に従ってビット埋め込みを行うことにより、図１８と同様な信号成分を有することとなる。
【０１９０】
モノラル音響信号の場合、図２０（ｂ）に示すように処理が行われるが、図２０（ａ）の上段と比較するとわかるように、ステレオ音響信号の左チャンネルと同様の処理が行われることになる。
【図面の簡単な説明】
【０１９１】
【図１】登録特徴ワード生成装置の構成図である。
【図２】図１に示した装置の処理動作を示すフローチャートである。
【図３】特徴ワードの生成処理の概念図である。
【図４】本発明に係る音響信号検索装置の構成図である。
【図５】図２に示した装置の処理動作を示すフローチャートである。
【図６】関連情報データベース４０に登録された情報および処理過程で生じる情報を示す図である。
【図７】関連情報としてサイトのアドレス情報を登録した場合を示す図である。
【図８】電子透かしによる付加情報の埋め込みおよび抽出との組み合わせの例を示す図である。
【図９】音響信号に対する情報の埋込装置の機能ブロック図である。
【図１０】図９に示した装置の処理概要を示すフローチャートである。
【図１１】本発明で用いる窓関数を示す図である。
【図１２】図１０に従った処理による低周波成分の変化の様子を示すである。
【図１３】埋込情報抽出部９０の詳細を示す機能ブロック図である。
【図１４】図１３に示した装置の処理概要を示すフローチャートである。
【図１５】図１４のＳ４０２の符号判定処理の詳細を示すフローチャートである。
【図１６】本実施形態の窓関数を用いない場合の、埋め込み前後の、音響信号の低周波部分を示す概念図である。
【図１７】本実施形態による埋め込み前後の、音響信号の低周波部分を示す概念図である。
【図１８】本発明による付加情報の埋め込み処理の概念図である。
【図１９】図９に示した装置において、元の信号成分が小さくても情報の埋め込みを可能とする場合の処理概要を示すフローチャートである。
【図２０】元の信号成分が小さい場合の、付加情報の埋め込み処理の概念図である。
【符号の説明】
【０１９２】
１０、１１、３１０、４１０・・・音響フレーム読込手段
２０、２１・・・特徴ワード生成手段
３０・・・特徴ワード登録手段
４０・・・関連情報データベース
５０・・・マイクロフォン
６０・・・特徴ワード照合手段
７０・・・関連情報出力手段
８０・・・ネットワークアクセス部
９０・・・埋込情報抽出部
１００・・・ネットワーク
２００・・・サイト
３２０・・・周波数変換手段
３３０・・・低周波成分変更手段
３４０・・・周波数逆変換手段
３５０・・・改変音響フレーム出力手段
３６０・・・記憶手段
３６１・・・音響信号記憶部
３６２・・・付加情報記憶部
３６３・・・改変音響信号記憶部
３７０・・・付加情報読込手段
４１０・・・基準フレーム獲得手段
４２０・・・位相変更フレーム設定手段
４３０・・・周波数変換手段
４４０・・・符号判定パラメータ算出手段
４５０・・・符号出力手段
４６０・・・付加情報抽出手段
４７０・・・音響フレーム保持手段
５００・・・音響信号再生装置
【特許請求の範囲】
【請求項１】
録音により得られた音響信号の特徴と、データベースに登録された音響信号の特徴との照合を行って、録音した音響信号に関連する情報を取得する装置であって、
各音響信号について、その特徴パターンと重み値を表現した複数の特徴ワードと、当該音響信号の関連情報を登録した関連情報データベースと、
音源より発信されている音声を音響信号として獲得する音響信号獲得手段と、
前記音響信号に対して、所定の区間単位で、当該区間単位における音響信号の特徴パターンと重み値を表現した所定バイト数の特徴ワードを生成する特徴ワード生成手段と、
前記特徴ワードを複数個で１セットとし、当該１セット内の特徴ワードと、前記関連情報データベースに登録されている登録特徴ワードとを照合する処理を、前記１セット内の先頭の特徴ワードから順次行って、前記生成された特徴ワードと前記登録特徴ワードの非合致度が所定より低い複数の候補レコードを抽出する処理を順次行い、１つの候補レコードに絞り込むデータベース照合手段と、
前記絞り込まれた候補レコードに対応する関連情報を前記関連情報データベースから抽出する関連情報抽出手段と、
を有することを特徴とする音響信号検索装置。
【請求項２】
請求項１において、
前記特徴ワード生成手段は、前記所定の区間の平均スペクトルに基づいて所定のビット数の特徴パターンを生成し、前記所定の区間の音量を所定のビット数の重み値として生成し、前記特徴パターンと重み値で構成される特徴ワードを生成するものであることを特徴とする音響信号検索装置。
【請求項３】
請求項２において、
前記特徴ワード生成手段は、前記特徴パターンとして、前記所定の区間の平均スペクトルを算出し、所定の周波数領域内を周波数方向に８Ｋ個のバンドに分割し、８Ｋ個のバンド全体で０と１の個数が均等になるように、前記各バンドのスペクトル成分に対して、０または１を与えることにより二値化を行い、前記８Ｋバンドのスペクトルに基づいてＫバイトの特徴ワードを生成するものであることを特徴とする音響信号検索装置。
【請求項４】
請求項３において、
前記特徴ワード生成手段は、前記８Ｋ個のバンドを複数のグループに分類し、各グループにおいて、０と１の個数が均等になるように、前記各バンドのスペクトル成分に対して、０または１を与えることにより二値化を行うものであることを特徴とする音響信号検索装置。
【請求項５】
請求項２から請求項４において、
前記所定の区間はＴ個の音響フレームにより構成されるものであり、
前記特徴ワード生成手段は、前記各音響フレームに対してフーリエ変換を行い、隣接音響フレームとの差分値を、前記Ｔ個の音響フレームに渡って加算したものを前記所定の区間の平均スペクトルとして算出するものであることを特徴とする音響信号検索装置。
【請求項６】
請求項５において、
前記特徴ワード変換手段は、前記各音響フレームに対してフーリエ変換を行った後、所定フレーム数単位でずらした各位置において平均スペクトルを算出することにより、複数の特徴ワードを生成し、
前記データベース照合手段は、前記複数の特徴ワードを用いて候補レコードを抽出するものであることを特徴とする音響信号検索装置。
【請求項７】
請求項１において、
前記データベース照合手段は、前記特徴ワード生成手段により生成された特徴ワードと、前記関連情報データベースに登録されている特徴パターンである登録特徴ワードとを照合する際に、前記生成された特徴ワードと前記登録特徴ワードに含まれる特徴パターンを比較して不一致ビット数を算出するとともに、前記生成された特徴ワードと前記登録特徴ワードに含まれる重み値を比較して大きい重み値を小さい重み値で除算した補正値を算出し、当該補正値を前記不一致ビット数に乗算した値を利用して非合致度を算出し、当該非合致度に基づいて候補レコードを抽出するものであることを特徴とする音響信号検索装置。
【請求項８】
請求項１において、
前記データベース照合手段は、前記特徴ワード生成手段により生成された特徴ワードと、前記関連情報データベースに登録されている特徴パターンである登録特徴ワードとを照合する際に、前記生成された特徴ワードと前記登録特徴ワードに含まれる特徴パターンを各ビット単位で比較して、両者のビットが不一致である場合に、成分が大きいことを示す特徴ワードに含まれる重み値を加算する処理を行って非合致度を算出し、当該非合致度に基づいて候補レコードを抽出するものであることを特徴とする音響信号検索装置。
【請求項９】
請求項１から請求項８において、
前記関連情報は、ネットワーク上の所定のサイトにアクセスするためのアドレス情報であり、
当該アドレス情報を用いてネットワーク上の所定のサイトにアクセスするネットワークアクセス手段をさらに有することを特徴とする音響信号検索装置。
【請求項１０】
請求項１から請求項８において、
前記関連情報データベースに登録されている特徴ワードは、付加情報が埋め込まれた音響信号について作成されたものであり、
前記録音された音響信号は、付加情報が埋め込まれたものであり、
前記音響信号から付加情報を抽出する付加情報抽出手段をさらに有するものであることを特徴とする音響信号検索装置。
【請求項１１】
請求項１から請求項８において、
前記音響信号獲得手段、前記特徴ワード生成手段、前記データベース照合手段、前記関連情報抽出手段を、単一の携帯電話機で実現するものであることを特徴とする音響信号検索装置。
【請求項１】
録音により得られた音響信号の特徴と、データベースに登録された音響信号の特徴との照合を行って、録音した音響信号に関連する情報を取得する装置であって、
各音響信号について、その特徴パターンと重み値を表現した複数の特徴ワードと、当該音響信号の関連情報を登録した関連情報データベースと、
音源より発信されている音声を音響信号として獲得する音響信号獲得手段と、
前記音響信号に対して、所定の区間単位で、当該区間単位における音響信号の特徴パターンと重み値を表現した所定バイト数の特徴ワードを生成する特徴ワード生成手段と、
前記特徴ワードを複数個で１セットとし、当該１セット内の特徴ワードと、前記関連情報データベースに登録されている登録特徴ワードとを照合する処理を、前記１セット内の先頭の特徴ワードから順次行って、前記生成された特徴ワードと前記登録特徴ワードの非合致度が所定より低い複数の候補レコードを抽出する処理を順次行い、１つの候補レコードに絞り込むデータベース照合手段と、
前記絞り込まれた候補レコードに対応する関連情報を前記関連情報データベースから抽出する関連情報抽出手段と、
を有することを特徴とする音響信号検索装置。
【請求項２】
請求項１において、
前記特徴ワード生成手段は、前記所定の区間の平均スペクトルに基づいて所定のビット数の特徴パターンを生成し、前記所定の区間の音量を所定のビット数の重み値として生成し、前記特徴パターンと重み値で構成される特徴ワードを生成するものであることを特徴とする音響信号検索装置。
【請求項３】
請求項２において、
前記特徴ワード生成手段は、前記特徴パターンとして、前記所定の区間の平均スペクトルを算出し、所定の周波数領域内を周波数方向に８Ｋ個のバンドに分割し、８Ｋ個のバンド全体で０と１の個数が均等になるように、前記各バンドのスペクトル成分に対して、０または１を与えることにより二値化を行い、前記８Ｋバンドのスペクトルに基づいてＫバイトの特徴ワードを生成するものであることを特徴とする音響信号検索装置。
【請求項４】
請求項３において、
前記特徴ワード生成手段は、前記８Ｋ個のバンドを複数のグループに分類し、各グループにおいて、０と１の個数が均等になるように、前記各バンドのスペクトル成分に対して、０または１を与えることにより二値化を行うものであることを特徴とする音響信号検索装置。
【請求項５】
請求項２から請求項４において、
前記所定の区間はＴ個の音響フレームにより構成されるものであり、
前記特徴ワード生成手段は、前記各音響フレームに対してフーリエ変換を行い、隣接音響フレームとの差分値を、前記Ｔ個の音響フレームに渡って加算したものを前記所定の区間の平均スペクトルとして算出するものであることを特徴とする音響信号検索装置。
【請求項６】
請求項５において、
前記特徴ワード変換手段は、前記各音響フレームに対してフーリエ変換を行った後、所定フレーム数単位でずらした各位置において平均スペクトルを算出することにより、複数の特徴ワードを生成し、
前記データベース照合手段は、前記複数の特徴ワードを用いて候補レコードを抽出するものであることを特徴とする音響信号検索装置。
【請求項７】
請求項１において、
前記データベース照合手段は、前記特徴ワード生成手段により生成された特徴ワードと、前記関連情報データベースに登録されている特徴パターンである登録特徴ワードとを照合する際に、前記生成された特徴ワードと前記登録特徴ワードに含まれる特徴パターンを比較して不一致ビット数を算出するとともに、前記生成された特徴ワードと前記登録特徴ワードに含まれる重み値を比較して大きい重み値を小さい重み値で除算した補正値を算出し、当該補正値を前記不一致ビット数に乗算した値を利用して非合致度を算出し、当該非合致度に基づいて候補レコードを抽出するものであることを特徴とする音響信号検索装置。
【請求項８】
請求項１において、
前記データベース照合手段は、前記特徴ワード生成手段により生成された特徴ワードと、前記関連情報データベースに登録されている特徴パターンである登録特徴ワードとを照合する際に、前記生成された特徴ワードと前記登録特徴ワードに含まれる特徴パターンを各ビット単位で比較して、両者のビットが不一致である場合に、成分が大きいことを示す特徴ワードに含まれる重み値を加算する処理を行って非合致度を算出し、当該非合致度に基づいて候補レコードを抽出するものであることを特徴とする音響信号検索装置。
【請求項９】
請求項１から請求項８において、
前記関連情報は、ネットワーク上の所定のサイトにアクセスするためのアドレス情報であり、
当該アドレス情報を用いてネットワーク上の所定のサイトにアクセスするネットワークアクセス手段をさらに有することを特徴とする音響信号検索装置。
【請求項１０】
請求項１から請求項８において、
前記関連情報データベースに登録されている特徴ワードは、付加情報が埋め込まれた音響信号について作成されたものであり、
前記録音された音響信号は、付加情報が埋め込まれたものであり、
前記音響信号から付加情報を抽出する付加情報抽出手段をさらに有するものであることを特徴とする音響信号検索装置。
【請求項１１】
請求項１から請求項８において、
前記音響信号獲得手段、前記特徴ワード生成手段、前記データベース照合手段、前記関連情報抽出手段を、単一の携帯電話機で実現するものであることを特徴とする音響信号検索装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２００７−２９２８２７（Ｐ２００７−２９２８２７Ａ）
【公開日】平成１９年１１月８日（２００７．１１．８）
【国際特許分類】
【出願番号】特願２００６−１１７４５８（Ｐ２００６−１１７４５８）
【出願日】平成１８年４月２１日（２００６．４．２１）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
【公開日】平成１９年１１月８日（２００７．１１．８）
【国際特許分類】
【出願日】平成１８年４月２１日（２００６．４．２１）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
[ Back to top ]