説明

音データ送受信システム、送信装置、受信装置、音データ送信方法及び受信方法

【課題】音データ送受信時の同期をとる際に、受信側の負荷を低減する。
【解決手段】送信装置10は、元音データに対して複数の異なる遅延量を有する複数のエコー信号を生成し、複数のエコー信号のうち第1の遅延量を有するエコー信号を元音データの何れかのフレームに重ね合わせて同期フレームを生成し、他のエコー信号を付加データとして元音データの他のフレームに重ね合わせてデータフレームを生成し、同期フレームまたはデータフレームを含む音データを出力し、受信装置20は、送信装置10から出力される音データを受信し、受信した音データから複数のエコー信号に対応した複数の異なる遅延量を抽出し、受信した音データに含まれる同期フレームから、予め保持されている第1の遅延量が抽出されると、その同期フレームを送信装置10との音データの送受信の同期点とする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、音データ送受信システム、送信装置、受信装置、音データ送信方法及び受信方法に関する。
【背景技術】
【0002】
画像データや音データに対して、人間に感知しにくい領域に付加データを埋め込む情報ハイディングという技術がある。音データにデータを付加する、いわゆる“音響(音声)透かし”の手段として、エコーハイディングと呼ばれる手法がある。
【0003】
エコーハイディングでは、元の音データに対して人間が感知できない程度の遅延量(遅延時間)を有するエコー信号が人工的に、たとえば、2種類作成される。そして、オーディオフレーム単位で2種類のエコー信号のうち、どちらを元の音データに重ね合わせるかで、情報の埋め込みが行われる。
【0004】
受信装置は受信した音データのケプストラムを求めると、エコー信号による遅延時間のケフレンシーに有意な大きな値が得られる。これにより、予め送信装置側との間で定められた遅延時間とデータの対応表から、受信装置側で付加データを再現することが可能である。
【0005】
なお、ケプストラムとは、あるデータのフーリエ変換結果を対数変換し、さらにフーリエ逆変換をかけたもので、音データのピッチなどを求めるときに使われるデータである。ケプストラムの各要素をケフレンシーと呼び、次元としては時間と同じである。
【0006】
ところで、一般に、データの送受信を考える場合、送信側と受信側でデータの始点を合わせて同期をしなければ、受信側で正しいデータとして解釈することができない。同期を合わせる方法としては、データ列中に通常データ列では発生しない特定のパターン(ユニークコード)を挿入して、受信側でユニークコードを検出することにより、同期点を検出する手法がある。ユニークコードによる同期では、通常データ列中には出現しないパターンとして、たとえば、0xFFFF(16ビットの1の連続)など、ある程度長い符号が用いられる。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2006−259747号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
従来の音データの送受信の際、送信側と受信側で同期をとるために、通常のデータ列のフレームや、比較的長い同期用のユニークコードを含む複数のフレームを常に復号処理(ケプストラム演算など)することになる。しかし、その場合、受信側でユニークコードを取り出してマッチングを行い、音データの同期がとれるまでの処理負荷が大きくなり、消費電力が大きくなる問題があった。
【課題を解決するための手段】
【0009】
発明の一観点によれば、元音データに対して複数の異なる遅延量を有する複数のエコー信号を生成し、前記複数のエコー信号のうち第1の遅延量を有するエコー信号を前記元音データの何れかのフレームに重ね合わせて同期フレームを生成し、他のエコー信号を付加データとして前記元音データの他のフレームに重ね合わせてデータフレームを生成し、前記同期フレームまたは前記データフレームを含む音データを出力する送信装置と、前記送信装置から出力される前記音データを受信し、前記音データから前記複数のエコー信号に対応した前記複数の異なる遅延量を抽出し、前記音データに含まれる前記同期フレームから、予め保持されている前記第1の遅延量が抽出されると、前記同期フレームを前記送信装置との前記音データの送受信の同期点とする受信装置と、を備えた音データ送受信システムが提供される。
【0010】
また、発明の一観点によれば、元音データに対して複数の異なる遅延量を有する複数のエコー信号を生成するエコー信号生成部と、前記複数のエコー信号のうち第1の遅延量を有するエコー信号を前記元音データの何れかのフレームに重ね合わせて同期フレームを生成し、他のエコー信号を付加データとして前記元音データの他のフレームに重ね合わせてデータフレームを生成し、前記同期フレームまたは前記データフレームを出力する重ね合わせ部と、を備えた送信装置が提供される。
【0011】
また、発明の一観点によれば、元音データに対して複数の異なる遅延量を有する複数のエコー信号のうち第1の遅延量を有するエコー信号を前記元音データの何れかのフレームに重ね合わせて生成されている同期フレーム、または、他のエコー信号を付加データとして前記元音データの他のフレームに重ね合わせて生成されているデータフレームを含む音データを受信して、前記音データから前記複数のエコー信号に対応した前記複数の異なる遅延量を抽出する抽出部と、前記音データに含まれる前記同期フレームから、予め保持されている前記第1の遅延量が抽出されると、前記同期フレームを送信側との前記音データの送受信の同期点とする制御を行う同期制御部と、を備えた受信装置が提供される。
【発明の効果】
【0012】
開示の音データ送受信システム、送信装置、受信装置、音データ送信方法及び受信方法によれば、音データ送受信時の同期をとる際に、受信側の負荷を低減でき、消費電力を抑えることができる。
【図面の簡単な説明】
【0013】
【図1】第1の実施の形態の音データ送受信システムの一例を示す図である。
【図2】重ね合わせる元音データとエコー信号の一例を示す図である。
【図3】記憶部に保持される内容の一例を示す図である。
【図4】送信装置の動作の一例の流れを示すフローチャートである。
【図5】受信装置の動作の一例の流れを示すフローチャートである。
【図6】同期用のエコー信号を、遅延量の大きさが最大のものとした例を示す図である。
【図7】第2の実施の形態の音データ送受信システムにおける送信装置の一例を示す図である。
【図8】第2の実施の形態の音データ送受信システムにおける受信装置の一例を示す図である。
【図9】送信装置で生成される音響データのシーケンスの一例を示す図である。
【図10】第1実施例における送信装置の動作の一例の流れを示すフローチャートである。
【図11】送信装置で生成され、受信側で受信する音響データのシーケンスの一例を示す図である。
【図12】第1実施例における受信装置の動作の一例の流れを示すフローチャートである。
【図13】送信装置で生成される音声データのシーケンスの一例を示す図である。
【図14】第2実施例における送信装置の動作の一例の流れを示すフローチャートである。
【図15】第2実施例における受信装置の動作の一例の流れを示すフローチャートである。
【図16】送信装置の機能を実現するコンピュータの一例を示す図である。
【発明を実施するための形態】
【0014】
以下、本実施の形態を、図面を参照しつつ説明する。
(第1の実施の形態)
図1は、第1の実施の形態の音データ送受信システムの一例を示す図である。
【0015】
音データ送受信システムは、送信装置10と受信装置20を有している。
送信装置10は、元音データに対して複数の異なる遅延量(遅延時間)を有する複数のエコー信号を生成し、複数のエコー信号のうち、ある特定の遅延量を有するエコー信号を元音データの何れかのフレームに重ね合わせて同期フレームを生成する。また、送信装置10は、他のエコー信号を付加データとして元音データの他のフレームに重ね合わせてデータフレームを生成し、同期フレームまたはデータフレームを含む音データを出力する。
【0016】
図1には、送信装置10の一例が示されている。送信装置10は、エコー信号生成部11、選択部12、データ及び同期判定部13、重ね合わせ部14を有している。
エコー信号生成部11は、元音データに対して複数の異なる遅延量を有する複数のエコー信号を生成する。図1には、元音データに対して、遅延量d1,d2,d3を有するエコー信号1,2,3の例が示されている。遅延量d1〜d3の大きさの関係は、d1<d2<d3となっている。また、エコー信号1〜3は、元音データと重ね合わせたときに音質を低下させないように、元音データの振幅よりも小さい振幅となっている。
【0017】
選択部12は、データ及び同期判定部13からの選択信号に基づいて、エコー信号生成部11で生成された複数のエコー信号の何れかをフレーム単位で選択して、重ね合わせ部14に供給する。なお、以下の説明では、フレームとは複数サンプル数(たとえば、256サンプルまたは512サンプルなど)の元音データを示すものとする。
【0018】
データ及び同期判定部13は、選択部12に対して同期用のエコー信号を選択させるか、付加データ用のエコー信号を選択させるか指示する指示信号を送出する。以下では、図1に示すように、元音データに対して遅延量d1を有するエコー信号1と遅延量d3を有するエコー信号3が付加データ用のエコー信号であり、元音データに対して遅延量d2を有するエコー信号2が同期用のエコー信号であるとする。
【0019】
たとえば、重ね合わせ部14が、M個の連続するデータフレームとN個の連続する同期フレームを交互に生成するようにしたい場合について説明する。この場合、データ及び同期判定部13は、元音データの初めのN個のフレームに対して重ね合わせる対象として、同期用のエコー信号であるエコー信号2を選択部12に選択させる。
【0020】
その後の元音データのM個のフレームに対して重ね合わせる対象として、データ及び同期判定部13は、受信した付加データに応じてエコー信号1またはエコー信号3を選択部12に選択させる。たとえば、データ及び同期判定部13は、付加データが“0”のときには、選択部12にエコー信号1を選択させ、付加データが“1”のときには選択部12にエコー信号3を選択させる。その後、データ及び同期判定部13は、次のN個のフレームにおいて、再びエコー信号2を選択部12に選択させる。
【0021】
重ね合わせ部14は、複数のエコー信号のうち、ある特定の遅延量を有するエコー信号を元音データの何れかのフレームに重ね合わせて同期フレームを生成する。また、重ね合わせ部14は、他のエコー信号を付加データとして元音データの他のフレームに重ね合わせてデータフレームを生成し、生成した同期フレームまたはデータフレームを出力する。
【0022】
図1に示した例のように、元音データに対して遅延量d2を有するエコー信号2が同期用のエコー信号である場合、重ね合わせ部14は、エコー信号2を元音データの何れかのフレームに重ね合わせる。
【0023】
図2は、重ね合わせる元音データとエコー信号の一例を示す図である。横軸は時間である。
時刻t1〜t2の間でサンプリングされた元音データが1つのフレームであるとする。この時刻t1〜t2の間で、選択部12から同期用のエコー信号2が出力されると、重ね合わせ部14は、出力されたエコー信号2と、時刻t1〜t2における元音データとを重ね合わせることで、同期フレームを生成する。データフレームも同様に生成される。
【0024】
重ね合わせ部14が生成し、出力した同期フレームまたはデータフレームを含む音データは、たとえば、スピーカ10aから出力され、受信装置20側のマイク20aで収音される。
【0025】
なお、図1に示されている例では、スピーカ10aは送信装置10の外部に設けられているが、送信装置10の内部に設けるようにしてもよい。また、図1に示されている例では、マイク20aは受信装置20の外部に設けられているが、受信装置20の内部に設けるようにしてもよい。
【0026】
受信装置20は、送信装置10から出力される音データを、たとえば、マイク20aを介して受信し、受信した音データから複数のエコー信号に対応した複数の異なる遅延量を抽出する。そして、受信装置20は、受信した音データに含まれる同期フレームから、予め保持されている遅延量(同期用のエコー信号2の遅延量)が検出されると、その同期フレームを送信装置10との音データの送受信の同期点とする。
【0027】
図1には、受信装置20の一例が示されている。受信装置20は、抽出部21、同期制御部22、付加データ取得部23、記憶部24を有している。
抽出部21は、前述のような同期フレームまたはデータフレームを含む音データを受信して、受信した音データから複数のエコー信号に対応した複数の異なる遅延量を抽出する。抽出部21は、音データのフレーム単位で後述するケプストラム演算を行い、各フレームから、たとえば、図1に示されているようなエコー信号1〜3の遅延量d1〜d3を抽出する。
【0028】
同期制御部22は、受信した音データに含まれる同期フレームから、予め、たとえば、記憶部24に保持されている同期用のエコー信号の遅延量が抽出されると、その同期フレームを送信装置10との音データの送受信の同期点とする制御を行う。たとえば、同期制御部22は、付加データ取得部23に対して、同期点以降のデータフレームに対するデータ取得指示を行う。
【0029】
付加データ取得部23は、たとえば、記憶部24に記憶された付加データと遅延量との対応表を参照して、同期点以降のデータフレームにおいて抽出された遅延量をもとに、付加データを取得し、出力する。
【0030】
記憶部24は、たとえば、送信側で生成される同期用のエコー信号の遅延量を保持する。また、記憶部24は、送信側で生成される付加データ用のエコー信号の遅延量と付加データの対応表を保持する。
【0031】
図3は、記憶部に保持される内容の一例を示す図である。
たとえば、記憶部24には、図3に示されているような対応表が保持される。この対応表の例では、遅延量d1の場合には付加データが“0”、遅延量d2の場合には、その遅延量d2が抽出されたフレームは同期用のものであること、遅延量d3の場合には付加データが“1”であることが示されている。
【0032】
以下、送信装置10と、受信装置20の動作を簡単にまとめる。
図4は、送信装置の動作の一例の流れを示すフローチャートである。
ステップS1:エコー信号生成部11は、元音データに対して複数の異なる遅延量を有する複数のエコー信号を生成する。
【0033】
ステップS2:重ね合わせ部14は、複数のエコー信号のうち、ある特定の遅延量を有するエコー信号を元音データの何れかのフレームに重ね合わせて同期フレームを生成する。また、重ね合わせ部14は、他のエコー信号を付加データとして元音データの他のフレームに重ね合わせてデータフレームを生成し、生成した同期フレームまたはデータフレームを出力する。
【0034】
ステップS3:出力された同期フレームまたはデータフレームを含む音データは、送信装置10からスピーカ10aを介して出力される。
図5は、受信装置の動作の一例の流れを示すフローチャートである。
【0035】
ステップS10:抽出部21は、前述のような同期フレームまたはデータフレームを含む音データを受信して、受信した音データから複数のエコー信号に対応した複数の異なる遅延量をフレームごとに抽出する。
【0036】
ステップS11:同期制御部22は、抽出された遅延量が同期用のエコー信号の遅延量(図1に示した例の場合は遅延量d2)であるか否かを判定する。抽出された遅延量が同期用のエコー信号の遅延量ではない場合には、ステップS10の処理に戻り、次のフレームの遅延量の抽出が行われる。抽出された遅延量が同期用のエコー信号の遅延量である場合、ステップS12の処理が行われる。
【0037】
ステップS12:同期制御部22は、同期用のエコー信号の遅延量が抽出されたフレーム(同期フレーム)を同期点として、付加データ取得部23に、以降データフレームの遅延量から付加データを取得させる。
【0038】
ステップS13:付加データ取得部23は、取得した付加データを出力する。図1では図示を省略しているが、受信装置20は、たとえば、表示装置に接続されており、付加データを表示する。
【0039】
なお、受信装置20において、複数のデータフレームの受信後には、再び同期フレームが受信される可能性があるが、その場合の詳細な処理については後述する。
また、受信装置20で受信されるデータフレームにはエコー信号が重畳されていないものがあってもよい。
【0040】
また、上記の例では、同期用のエコー信号は、複数のエコー信号1〜3のうち、遅延量の大きさが真ん中のエコー信号2である。これによって、以下のような効果が得られる。
エコーハイディングでは、複数の付加データ用のエコー信号間の元音データに対する遅延量の際が小さいほど、ノイズなどの影響により、データ送受信の際のエラーレートが高くなる傾向にある。送信装置10が、複数のエコー信号のうち、同期用のエコー信号として遅延量の大きさが真ん中のものを用いることで、付加データ用のエコー信号間の遅延量の差を大きくできる。これにより、データ送受信時におけるノイズの影響が低減され、エラーレートが低減する。
【0041】
なお、遅延量の大きさが最大のものを同期用のエコー信号とするようにしてもよい。
図6は、同期用のエコー信号を、遅延量の大きさが最大のものとした例を示す図である。
【0042】
図6では、元音データに対して2ビットの付加データを付加する場合に生成されるエコー信号1,2,3,4,5の例が示されている。それぞれ、元音データに対して遅延量d1,d2,d3,d4,d5だけ遅延されている。各エコー信号1〜5の遅延量の大きさの関係は、d1<d2<d3<d4<d5である。
【0043】
たとえば、データ及び同期判定部13は、図6に示されているような複数のエコー信号1〜5のうち、遅延量の大きさが最大のエコー信号5を同期用とし、その他のエコー信号1〜4を付加データ用として、選択部12に選択させる。
【0044】
遅延量の大きいエコー信号を元音データに重ね合わせると、音質が劣化して人間に認知され易くなるが、同期フレームの出現頻度はデータフレームの出現頻度よりも低いので、遅延量が最大のエコー信号を同期用とすることで、音質の劣化を抑えることができる。
【0045】
このような音データ送受信システムは、たとえば、店舗において、ある商品の情報をアナウンスする音声データに、送信装置がエコー信号を用いて商品情報を付加データとして付加して出力するシステムなどに用いられる。このようなシステムでは、たとえば、図1に示したような受信装置の機能を有する携帯端末装置(スマートフォンなど)が音声データを受信し、同期点が確定後のデータフレームから商品情報を取得し、画面に表示する。
【0046】
以上のような、音データ送受信システムによれば、受信装置20は1つの同期フレームで、送受信間での音データの送受信における同期点を確定することができる。このため、ユニークコードを用いた同期のように複数のフレームの内容を確認する処理を行わなくて済み、受信装置20の負荷は軽いものとなり、消費電力を抑えることができる。
【0047】
(第2の実施の形態)
以下、第2の実施の形態の音データ送受信システムを説明する。
図7は、第2の実施の形態の音データ送受信システムにおける送信装置の一例を示す図である。
【0048】
送信装置50は、音響(音声)透かしを用いて、付加データを元音データ(たとえば、音声データまたは音楽などの音響データ)に付加して出力する機能を有する。
送信装置50は、元音データ取得部51、付加データ生成部52、エコー信号生成部53、選択部54、データ及び同期判定部55、重ね合わせ部56、全体制御部57、指示信号受信部58、音データ出力部59を有している。
【0049】
元音データ取得部51は、元音データを取得する。元音データ取得部51は、ネットワーク上のコンピュータからデジタルの元音データを取得してもよいし、マイクなどに接続し、マイクで収音された元音データを取得してサンプリングしてデジタル信号に変換するようにしてもよい。
【0050】
付加データ生成部52は、たとえば、ユーザからの指示信号に応じて、元音データに付加する付加データを生成する。付加データは、元音データから認識処理によって生成されるようにしてもよいし、元音データに付随する情報として別途取得されるようにしてもよい。付加データは、たとえば、元音データがある商品についてのアナウンス音声である場合には、その商品についての情報などである。また、元音データが音楽である場合には、付加データは、楽曲に関する情報であってもよい。また、付加データ生成部52は、音声認識機能を有していてもよい。その場合、付加データ生成部52は、元音データ取得部51で取得された元音データ(音声データ)の音声認識を行い、付加データとして、たとえば複数ビットの値で示される文字情報を生成する。なお、付加データ生成部52は、送信装置50の外部にあってもよい。
【0051】
エコー信号生成部53は、元音データに対して複数の異なる遅延量を有する複数のエコー信号を生成する。たとえば、重ね合わせ部56が、元音データの1つのフレームにnビットの付加データを重ね合わせる場合には、エコー信号生成部53は、同期用のエコー信号と合わせて2n+1個のエコー信号を生成する。前述の図1に示した例の場合には、3つのエコー信号1〜3が生成されているので、1ビットの付加データを重ね合わせられる。エコー信号生成部53が、図6に示したように5つのエコー信号1〜5を生成する場合には、2ビットの付加データを重ね合わせられる。
【0052】
選択部54は、データ及び同期判定部55からの選択信号に基づいて、エコー信号生成部53で生成された複数のエコー信号の何れかをフレーム単位で選択して、重ね合わせ部56に供給する。
【0053】
データ及び同期判定部55は、選択部54に対して同期用のエコー信号を選択させるか、付加データ用のエコー信号を選択させるか指示する指示信号を送出する。同期フレームの生成は、付加データのサイズごとに行われる。たとえば、0,1の2進数で示される付加データのサイズがMビットの場合には、各データフレームには1ビットの情報が付加されるため、M個のデータフレームが生成されるたびに同期フレームが生成される。
【0054】
重ね合わせ部56は、全体制御部57による制御にて、元音データと、選択部54で選択されたエコー信号とをフレーム単位で重ね合わせ、同期フレームまたはデータフレームを生成する。
【0055】
なお、重ね合わせ部56は、全体制御部57から、重ね合わせ処理をオフする旨の制御信号を受信した場合には、元音データをそのまま出力する。
全体制御部57は、送信装置50の各部を制御する。全体制御部57は、たとえば、データ及び同期判定部55から付加データの有無を検出して、重ね合わせ部56での重ね合わせ処理のオンオフを制御する。また、全体制御部57は、ユーザからの指示信号に応じて、重ね合わせ部56での重ね合わせ処理のオンオフを制御するようにしてもよい。
【0056】
指示信号受信部58は、ユーザから、たとえば、キーボードやマウスなどによって入力される指示信号を受信し、全体制御部57に供給する。
音データ出力部59は、たとえば、同期フレームまたはデータフレームを含む音データをデジタル信号からアナログ信号に変換して出力するD/A(Digital/Analogue)変換回路などを有する出力インタフェースであり、スピーカに接続されている。
【0057】
また、音データ出力部59は通信インタフェースであってもよく、有線または無線によりネットワークに接続し、ネットワーク上のコンピュータ(たとえば、サーバコンピュータ)に音データを供給し、蓄積させるようにしてもよい。
【0058】
図8は、第2の実施の形態の音データ送受信システムにおける受信装置の一例を示す図である。
受信装置60は、音響(音声)透かしが施された音データを受信して、付加データを取得する機能を有する。
【0059】
受信装置60は、音データ取得部61、付加データ抽出処理部62、指示信号受信部63、全体制御部64、休止制御部65、付加データ表示部66を有している。
音データ取得部61は、たとえば、マイクに接続しており、マイクで収音された音データを取得して、デジタル信号に変換するA/D変換回路を有する入力インタフェースである。また、音データ取得部61は、通信インタフェースであってもよく、有線または無線によりネットワークに接続し、ネットワーク上のコンピュータに蓄えられている音データを取得してもよい。
【0060】
付加データ抽出処理部62は、音データに含まれる付加データを抽出する処理を行う。付加データ抽出処理部62は、抽出部70、同期制御部71、付加データ取得部72、記憶部73を有している。
【0061】
抽出部70は、同期フレームまたはデータフレームを含む音データを受信して、受信した音データから複数のエコー信号に対応した複数の異なる遅延量を抽出する。抽出部70は、ケプストラム演算部701、遅延量判定部702を有している。
【0062】
ケプストラム演算部701は、受信した音データに対して、フレーム単位でケプストラム演算を行う。ケプストラム演算は、たとえば、フーリエ変換、絶対値化、対数変換、逆フーリエ変換、の順で行われる。
【0063】
遅延量判定部702は、ケプストラム演算結果から、元音データに重ね合わされたエコー信号の、元音データに対する遅延量(遅延時間)を抽出する。ケプストラム演算で得られた音データのケプストラムでは、元音データに重ね合わされたエコー信号の、元音データに対する遅延時間に相当するケフレンシーに有意な大きな値が得られるので、遅延量判定部702は、これを判定することで遅延量を抽出できる。
【0064】
同期制御部71は、抽出された遅延量と、たとえば、記憶部73に保持されている同期用のエコー信号の遅延量とを比較して、両者が一致した場合には、その遅延量が抽出されたフレーム(同期フレーム)を同期点と認識する。そして、同期制御部71は、付加データ取得部72に対して、同期点以降のデータフレームに対するデータ取得指示を行う。
【0065】
また、同期制御部71は、データ取得状態に関する情報を休止制御部65に送出する。データ取得状態としては、たとえば、以下の状態がある。
(状態A)エコー信号が重ね合わされている同期フレームまたはデータフレームを受信しておらず、付加データの取得を行わない状態
(状態B)付加データ用のエコー信号の遅延量は抽出されているが、同期用のエコー信号の遅延量が抽出されておらず、同期がとれていないため付加データの取得を行わない状態
(状態C)同期用のエコー信号の遅延量が抽出され、付加データの取得が可能、または付加データの取得を行っている状態
付加データ取得部72は、同期制御部71からデータ取得指示を受けると、記憶部73に記憶された、付加データと遅延量との対応表(図3参照)を参照して、同期点以降のデータフレームにおいて抽出された遅延量をもとに、付加データを取得して出力する。
【0066】
記憶部73は、たとえば、送信側で生成される同期用のエコー信号の遅延量を保持している。また、記憶部73は、送信側で生成される付加データ用のエコー信号の遅延量と付加データの対応表(図3参照)を保持している。
【0067】
指示信号受信部63は、ユーザから、たとえば、キーボードやマウスなどによって入力される指示信号を受信し、全体制御部64に供給する。
全体制御部64は、受信装置60の各部を制御する。全体制御部64は、たとえば、ユーザからの指示信号に応じて、休止制御部65に対して付加データ抽出処理部62の処理を休止させるか否かを指示する。
【0068】
休止制御部65は、同期制御部71におけるデータ取得状態に応じて、付加データ抽出処理部62の動作を休止させるか否かを制御する。たとえば、データ取得状態が、上記の状態Aの場合には、休止制御部65は、付加データ抽出処理部62の動作を規定時間、休止させる。また、データ取得状態が、上記の状態Bの場合にも、休止制御部65は、付加データ抽出処理部62の動作を規定時間、休止させる。
【0069】
これにより、同期がとれていない状態A,Bのときには、ケプストラム演算などの処理が休止され、受信装置60の負荷が低減され、受信装置60の消費電力が削減される。
なお、状態Bの場合の規定時間は、送信装置50から連続して出力される同期フレームのフレーム数をNとすると、N−1フレーム期間となる。すなわち、休止制御部65は、Nフレームに1回の頻度で、付加データ抽出処理部62の動作を行う。これにより、抽出部70は、連続するN個の同期フレームの少なくとも1つに対して、遅延量の抽出を行うことができ、同期制御部71はその遅延量から同期点を決定することができる。
【0070】
付加データ表示部66は、付加データ取得部72で取得された付加データを表示画面に表示する。なお、付加データ表示部66は、付加データが2進数の場合には、10進数に変換したり、付加データが文字情報を表すものである場合には文字に変換する、などの処理を行うようにしてもよい。
【0071】
以下、第2の実施の形態の音データ送受信システムの動作例を2つの実施例に基づいて説明する。
(第1実施例)
まず、付加データを音響透かしにより元音データ(音響データ)に付加して送受信する場合の、音データ送受信システムの動作を説明する。
【0072】
なお、本実施例においては、上記の元音データまたは音データを音響データと表記し、同期用のエコー信号を同期用シンボル、付加データ用のエコー信号をデータ用シンボルと表記する。
【0073】
第1実施例において、送信装置50は、たとえば、以下のようなシーケンスの音響データを生成する。
図9は、送信装置で生成される音響データのシーケンスの一例を示す図である。横軸は時間である。
【0074】
図9では、送信装置50が、エコーハイディングでMビットの付加データを3回繰り返し送信する場合の例が示されている。“S”と表記されている4フレームの同期フレームを同期部として、その後に、“0”から“M−1”と表記されているMフレームのデータフレームを有するデータ部をつなげたものが1シーケンスであり、このシーケンスが3回繰り返されている。この場合、3シーケンス分の期間が、データ付加期間となる。
【0075】
図10は、第1実施例における送信装置の動作の一例の流れを示すフローチャートである。
まず、全体制御部57は、たとえば、指示信号受信部58を介して、ユーザから送信繰り返し回数Lと連続同期フレーム数Nを取得する(ステップS20)。図9に示したようなシーケンスの例では、L=3、N=4である。
【0076】
次に、全体制御部57は、ループ変数k,iを“0”に設定する(ステップS21,S22)。その後、同期フレームを生成する処理が行われる。同期フレームの生成処理では、重ね合わせ部56は、元音データ取得部51で取得された音響データの1フレームを取得し(ステップS23)、同期用シンボルを埋め込む(ステップS24)。同期用シンボルの埋め込みは、エコーハイディングにより、同期用シンボルに対応するエコー信号を音響データに重ね合わせる処理である。たとえば、図1に示したようなエコー信号1〜3の例では、同期用シンボルは、エコー信号2となる。以上の処理により、1フレームの同期フレームが生成される。
【0077】
その後、全体制御部57は、ループ変数iをインクリメントし(ステップS25)、ループ変数iが、連続同期フレーム数N以上であるか否かを判定する(ステップS26)。ループ変数iが連続同期フレーム数Nに達していない場合には、ステップS23からの処理が繰り返される。
【0078】
ループ変数iが連続同期フレーム数Nに達し、Nフレームの同期フレームが生成された場合、全体制御部57は、たとえば、データ及び同期判定部55(または付加データ生成部52)から、付加データのサイズ(Mビット)を取得する(ステップS27)。
【0079】
そして、全体制御部57が、ループ変数jを“0”に設定すると(ステップS28)、重ね合わせ部56は、音響データを1フレーム取得する(ステップS29)。また、データ及び同期判定部55は、付加データを1ビット取得し、その内容(たとえば、“0”か“1”か)に応じたデータシンボルを選択部54に選択させる選択信号を送出する(ステップS30)。そして、重ね合わせ部56は、選択部54で選択されたデータシンボルを音響データに埋め込む(ステップS31)。データシンボルの埋め込みも、エコーハイディングにより、付加データの内容に対応するエコー信号を音響データに重ね合わせる処理である。以上の処理により、1フレームのデータフレームが生成される。
【0080】
その後、全体制御部57は、ループ変数jをインクリメントし(ステップS32)、ループ変数jが、付加データのサイズであるM(ビット)以上であるか否かを判定する(ステップS33)。ループ変数jがMに達していない場合には、ステップS29からの処理が繰り返される。
【0081】
ループ変数jがMに達し、Mビットの付加データが全てデータシンボルとして埋め込まれた場合、全体制御部57は、ループ変数kをインクリメントした後(ステップS34)、ループ変数kが送信繰り返し回数L以上であるか否かを判定する(ステップS35)。ループ変数kが送信繰り返し回数Lに達していない場合には、ステップS22からの処理が繰り返される。
【0082】
ループ変数kが送信繰り返し回数Lに達した場合、全体制御部57は、ループ変数iを“0”に設定し(ステップS36)、ステップS23〜S26と同様の処理を行い、同期フレームをNフレーム生成する(ステップS37,S38,S39,S40)。このNフレームの同期フレームは、送信完了を意味するものである。このような同期フレームを生成することで、送信装置50におけるデータ出力シーケンスが完了する。
【0083】
次に、受信装置60の動作を説明する。
図11は、送信装置で生成され、受信側で受信する音響データのシーケンスの一例を示す図である。横軸は時間である。
【0084】
図11では、送信装置50が、エコーハイディングで16ビットのデータを送信する場合の例が示されている。“S”と表記されている4フレームの同期フレーム後に、“0”から“15”、“16”から“31”と表記されている16フレームのデータフレームをつなげたものが1シーケンスとして、これが繰り返されている。
【0085】
送信側で上記のシーケンスが繰り返されている状態で、受信装置60の休止制御部65が、付加データ抽出処理部62による音響データのフレームの取得を開始させたとする。取得開始時刻により、抽出部70にて取得されるフレームの位置は異なるが、図11の例では、“2”と表記されたデータフレームが取得された場合が示されている。抽出部70では、このデータフレームに埋め込まれたデータシンボルの遅延量を抽出するが、同期シンボルの遅延量でないため、たとえば、同期制御部71の制御のもと、その遅延量の情報は付加データ取得部72にて破棄され、付加データに再現されない。そして、休止制御部65は、連続同期フレーム数N−1、つまり、図11の例では、3フレームの期間、付加データ抽出処理部62の処理を休止する。
【0086】
3フレーム期間のフレーム取得休止後、“6”と表記されたデータフレームが取得される。これも同期シンボルが埋め込まれた同期フレームではないため、再び3フレーム期間のフレーム取得が休止される。同様に、“10”,“14”と表記されたデータフレームについても、抽出された遅延量は破棄され、3フレーム期間、フレーム取得が休止される。
【0087】
その後、同期フレームが取得されると、ここから同期制御部71では、その同期フレームを同期点と設定し、抽出部70が次にデータフレームを取得した時点で、同期完了となる。すなわち、受信装置60は、“16”と表記されたデータフレームが、データの先頭ビットであることを認識することができ、以後データ解釈が可能となる。ここから、抽出部70が次の同期フレームを取得するまで、同期制御部71は付加データ取得部72に、抽出された遅延量に対応した付加データを出力させ、1シーケンスの付加データ(図11の例では16ビットデータ)が得られる。
【0088】
図11のように、休止制御部65は、同期制御部71が同期待ちの期間では、抽出部70にフレームを間引いて取得させることで、ケプストラム演算などの処理の頻度を下げることができ、受信装置60の負荷が低減され、受信装置60の消費電力が低減される。
【0089】
図12は、第1実施例における受信装置の動作の一例の流れを示すフローチャートである。
まず、全体制御部64は、たとえば、指示信号受信部63を介して、ユーザから連続同期フレーム数Nを取得する(ステップS50)。図9、図11に示したようなシーケンスの例では、N=4である。なお、連続同期フレーム数Nは、記憶部73などに記憶されていて、全体制御部64がそれを取得するようにしてもよい。
【0090】
休止制御部65が、付加データ抽出処理部62に動作を開始させると、抽出部70は、音データ取得部61で取得された音響データを1フレーム取得し(ステップS51)、埋め込みシンボルの抽出処理を実行する(ステップS52)。同期制御部71は抽出部70の抽出結果から、埋め込みシンボルがあったか否かを判定する(ステップS53)。埋め込みシンボルがない場合には、休止制御部65は、規定時間、付加データ抽出処理部62に動作を休止させる(ステップS54)。その後、ステップS51からの処理が繰り返される。
【0091】
埋め込みシンボルがある場合、同期制御部71は、埋め込みシンボルが同期シンボルであるか否かを判定する(ステップS55)。同期制御部71は、たとえば、記憶部73に記憶されている同期シンボルの遅延量を参照し、この遅延量と一致する遅延量が抽出部70にて抽出された場合に、ステップS52の処理で抽出された埋め込みシンボルを同期シンボルとして判定する。
【0092】
同期制御部71にて、埋め込みシンボルが同期シンボルではないと判定された場合、すなわち、埋め込みシンボルがデータシンボルである場合、同期点が不明でデータの解釈ができない。そのため、同期制御部71は、データシンボルから抽出された遅延量を付加データ取得部72にて廃棄させ、休止制御部65は付加データ抽出処理部62に動作を休止させ、音響データの取得を(N−1)フレームスキップさせる(ステップS56)。たとえば、図11に示した例では、音響データのフレームの取得が3フレームスキップされている。その後、ステップS51からの処理が繰り返される。
【0093】
埋め込みシンボルが同期シンボルであると判定された場合、抽出部70は、音響データを再び1フレーム取得する(ステップS57)。そして、ステップS52,S53と同様の処理が行われる(ステップS58,S59)。ただし、ステップS59の処理において、取得されたフレームにおいて、埋め込みシンボルがないと判定された場合には、ステップS51からの処理が行われる。
【0094】
埋め込みシンボルがあったと判定された場合、たとえば、同期制御部71は埋め込みシンボルがデータシンボルであるか否か判定する(ステップS60)。同期フレームはNフレーム連続するため、ステップS55の処理で同期シンボルが埋め込まれていると判定されたフレームの次のフレームが、データフレームとは限らない。
【0095】
ステップS60の処理で、埋め込みシンボルがデータシンボルではなく同期シンボルであると判定された場合には、ステップS57からの処理が繰り返される。
ステップS60の処理で、埋め込みシンボルがデータシンボルであると判定された場合、付加データ取得部72は、記憶部73に保持されている図3に示したような遅延量と付加データの対応表を参照する。そして、付加データ取得部72は、抽出部70で抽出された遅延量に対応した付加データを1ビット取得する(ステップS61)。ステップS62,S63,S64の処理は、ステップS57〜S59の処理と同様である。
【0096】
次に、同期制御部71は埋め込みシンボルが同期シンボルであるか否か判定する(ステップS65)。埋め込みシンボルが同期シンボルではない場合には、その埋め込みシンボルはデータシンボルであるので、ステップS61からの処理が繰り返され、データフレームに埋め込まれたデータシンボルの遅延量に対応した付加データが1ビットずつ取得されていく。
【0097】
ステップS65の処理で、埋め込みシンボルが同期シンボルと判定されると、付加データの抽出処理が終了する。
なお、図12に示した受信装置60の処理では、埋め込みシンボル抽出処理後は毎回、同期制御部71が、ステップS53,S59,S64にて埋め込みシンボルがあるか否かを判定している。これはノイズなどによるエラー対策のためである。
【0098】
エラーが発生しない環境では、たとえば、図11に示したようなシーケンスであれば、一旦、埋め込みシンボルがありと判定された場合、少なくとも同期フレームが現れるまでは、埋め込みシンボルがないフレームは現れないはずである。しかし、エラーなどで埋め込みシンボルがないと判定された場合、ステップS51の初期状態の処理に戻って、同期点の検出のための処理が再開される。
【0099】
以上のような動作を行う音データ送受信システムによれば、受信装置60は、1つの同期フレームを受信することで、同期点を確定することができる。すなわち、1つの同期フレームを受信しただけで同期を完了させることができる。このため、ユニークコードを用いた同期のように複数のフレームの内容を確認する処理を行わなくて済み、受信装置60の負荷は軽いものとなり、消費電力を抑えることができる。また、同期待ちの期間では、抽出部70がフレームを間引いて取得するようにしたことで、ケプストラム演算などの処理の頻度を下げることができ、受信装置60の負荷がさらに低減され、受信装置60の消費電力をさらに抑制できる。
【0100】
(第2実施例)
次に、音声認識によって得られる文字情報(音声テキスト)を付加データとして、音声透かしにより元音データ(音声データ)に付加して送受信する場合の、音データ送受信システムの動作を説明する。
【0101】
第2実施例では、送信装置50の付加データ生成部52は、音声認識機能を実行し、音声テキストを生成する。なお、音声テキストの各文字は、たとえば、2進数の複数ビット情報として表される。受信装置60は、その複数ビット情報を付加データとして取得すると、たとえば、その複数ビット情報と文字との対応関係が示された対応表(たとえば、記憶部73に記憶されている)を参照して、文字に変換して表示画面に表示する。
【0102】
なお、本実施例においては、上記の元音データまたは音データを音声データと表記し、同期用のエコー信号を同期用シンボル、付加データ用のエコー信号をデータシンボルと表記する。
【0103】
第2実施例において、送信装置50は、たとえば、以下のようなシーケンスの音声データを生成する。
図13は、送信装置で生成される音声データのシーケンスの一例を示す図である。横軸は時間である。
【0104】
図13では、“S”と表記されている4フレームの同期フレームを同期部として、その後に、“0”から“M0−1”と表記されているM0個のデータフレームを有するデータ部D0をつなげたものが1シーケンスである。1シーケンスの付加データの単位は、たとえば、単語、文節、文章などである。第1実施例と異なり、同じ付加データを繰り返し送信するわけではないので、1シーケンスごとに付加データのサイズは異なり、それに対応してデータ部D0,D1,D2の長さ(データフレームの数)もシーケンスごとに変わっている。
【0105】
図14は、第2実施例における送信装置の動作の一例の流れを示すフローチャートである。
まず、全体制御部57は、たとえば、指示信号受信部58を介して、ユーザから連続同期フレーム数Nを取得する(ステップS70)。図13に示したようなシーケンスの例では、N=4である。
【0106】
次に、全体制御部57は、ループ変数iを“0”に設定する(ステップS71)。その後、同期フレームを生成する処理が行われる。同期フレームの生成処理では、重ね合わせ部56は、元音データ取得部51で取得された音声データの1フレームを取得し(ステップS72)、同期用シンボルを埋め込む(ステップS73)。埋め込みかたについては、実施例1の動作と同様である。
【0107】
その後、全体制御部57は、ループ変数iをインクリメントし(ステップS74)、ループ変数iが、連続同期フレーム数N以上であるか否かを判定する(ステップS75)。ループ変数iが連続同期フレーム数Nに達していない場合には、ステップS72からの処理が繰り返される。
【0108】
ループ変数iが連続同期フレーム数Nに達し、Nフレームの同期フレームが生成された場合、全体制御部57は、たとえば、データ及び同期判定部55(または付加データ生成部52)から、付加データのサイズ(Mビット)を取得する(ステップS76)。付加データのサイズは、図13に示したようにシーケンスごとに異なる。
【0109】
そして、全体制御部57が、ループ変数jを“0”に設定すると(ステップS77)、重ね合わせ部56は、音声データを1フレーム取得する(ステップS78)。また、データ及び同期判定部55は、付加データを1ビット取得し、その内容(たとえば、“0”か“1”か)に応じたデータシンボルを選択部54に選択させる選択信号を送出する(ステップS79)。そして、重ね合わせ部56は、選択部54で選択されたデータシンボルを音声データに埋め込む(ステップS80)。データシンボルの埋め込みも、エコーハイディングにより、付加データの内容に対応するエコー信号を音響データに重ね合わせる処理である。以上の処理により、1フレームのデータフレームが生成される。
【0110】
その後、全体制御部57は、ループ変数jをインクリメントし(ステップS81)、ループ変数jが、付加データのサイズであるM(ビット)以上であるか否かを判定する(ステップS82)。ループ変数jがMに達していない場合には、ステップS76からの処理が繰り返される。
【0111】
ループ変数jがMに達し、Mビットの付加データが全てデータシンボルとして埋め込まれた場合、全体制御部57は、全てのシーケンスの処理が完了したか否か判定する(ステップS83)。全てのシーケンスの処理が完了していない場合には、ステップS71からの処理が繰り返される。
【0112】
全てのシーケンスの処理が完了した場合、全体制御部57は、ループ変数iを“0”に設定し(ステップS84)、ステップS72〜S75と同様の処理を行い、同期フレームをNフレーム生成する(ステップS85,S86,S87,S88)。このNフレームの同期フレームは、送信完了を意味するものである。このような同期フレームを生成することで、送信装置50におけるデータ出力シーケンスが完了する。
【0113】
次に、第2実施例における受信装置60の動作を説明する。
図15は、第2実施例における受信装置の動作の一例の流れを示すフローチャートである。
【0114】
まず、全体制御部64は、たとえば、指示信号受信部63を介して、ユーザから連続同期フレーム数Nを取得する(ステップS90)。
その後、全体制御部64は、指示信号受信部63で受信されるユーザからの指示信号に基づいて、データ取得処理を継続(開始)するか否か判定する(ステップS91)。データ取得処理を開始しないと判定された場合には、全体制御部64は付加データのデータ取得処理を終了する。データ取得処理を開始すると判定された場合、全体制御部64は、休止制御部65に対して、付加データ抽出処理部62の動作を開始させる。
【0115】
休止制御部65が、付加データ抽出処理部62の動作を開始すると、抽出部70は、音データ取得部61で取得された音声データを1フレーム取得し(ステップS92)。埋め込みシンボルの抽出処理を実行する(ステップS93)。同期制御部71は抽出部70の抽出結果から、埋め込みシンボルがあったか否かを判定する(ステップS94)。埋め込みシンボルがない場合には、休止制御部65は、規定時間、付加データ抽出処理部62に動作を休止させる(ステップS95)。その後、ステップS91からの処理が繰り返される。
【0116】
埋め込みシンボルがある場合、同期制御部71は、埋め込みシンボルが同期シンボルであるか否かを判定する(ステップS96)。
同期制御部71にて、埋め込みシンボルが同期シンボルではないと判定された場合、第1実施例と同様、休止制御部65は付加データ抽出処理部62に動作を休止させ、音声データの取得を(N−1)フレームスキップさせる(ステップS97)。その後、ステップS91からの処理が繰り返される。
【0117】
埋め込みシンボルが同期シンボルであると判定された場合、全体制御部64は、ステップS91の処理と同様に、データ取得処理を継続するか否か判定する(ステップS98)。データ取得処理を継続しないと判定された場合には、全体制御部64は付加データのデータ取得処理を終了する。
【0118】
データ取得処理を継続すると判定された場合、全体制御部64は、休止制御部65に対して、付加データ抽出処理部62の動作を継続させ、抽出部70は、音声データを再び1フレーム取得する(ステップS99)。そして、ステップS93,S94と同様の処理が行われる(ステップS100,S101)。ただし、ステップS101の処理において、取得されたフレームにおいて、埋め込みシンボルがないと判定された場合には、ステップS91からの処理が行われる。
【0119】
埋め込みシンボルがあったと判定された場合、たとえば、同期制御部71は埋め込みシンボルがデータシンボルであるか否か判定する(ステップS102)。ステップS102の処理で、埋め込みシンボルがデータシンボルではなく同期シンボルであると判定された場合には、ステップS98からの処理が繰り返される。
【0120】
ステップS102の処理で、埋め込みシンボルがデータシンボルであると判定された場合、付加データ取得部72は、第1実施例と同様にして、抽出部70で抽出された遅延量に対応した付加データを1ビット取得する(ステップS103)。その後、全体制御部64は、ステップS91,S98の処理と同様に、データ取得処理を継続するか否か判定する(ステップS104)。データ取得処理を継続しないと判定された場合には、全体制御部64は付加データのデータ取得処理を終了する。ステップS104の処理にて、データ取得処理を継続すると判定された場合、全体制御部64は、休止制御部65に対して、付加データ抽出処理部62の動作を継続させる。
【0121】
ステップS105,S106,S107の処理は、ステップS99〜S101の処理と同様である。
次に、同期制御部71は埋め込みシンボルが同期シンボルであるか否か判定する(ステップS108)。埋め込みシンボルが同期シンボルではない場合には、その埋め込みシンボルはデータシンボルであるので、ステップS103からの処理が繰り返され、データフレームに埋め込まれたデータシンボルの遅延量に対応した付加データが1ビットずつ取得されていく。
【0122】
ステップS108の処理で、埋め込みシンボルが同期シンボルと判定されると、ステップS98からの処理が繰り返される。
以上のような第2実施例の動作を行う音データ送受信システムにおいても、第1実施例と同様の効果が得られる。
【0123】
上記のような、送信装置10,50及び受信装置20,60は、たとえば、コンピュータによっても実現できる。
図16は、送信装置の機能を実現するコンピュータの一例を示す図である。
【0124】
コンピュータ100は、CPU(Central Processing Unit)101によって装置全体が制御されている。CPU101には、バス109を介してRAM(Random Access Memory)102と複数の周辺機器が接続されている。CPU101は、RAM102や周辺機器と連携して、図1や図7に示した送信装置10,50の機能を実現する。
【0125】
RAM102は、コンピュータ100の主記憶装置として使用される。RAM102には、CPU101に実行させるOS(Operating System)のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、RAM102には、CPU101による処理に用いる各種データが格納される。
【0126】
バス109に接続されている周辺機器としては、ハードディスクドライブ(HDD:Hard Disk Drive)103、グラフィック処理装置104、入力インタフェース105、光学ドライブ装置106、通信インタフェース107、出力インタフェース108がある。
【0127】
HDD103は、内蔵したディスクに対して、磁気的にデータの書き込み及び読み出しを行う。HDD103は、コンピュータ100の二次記憶装置として使用される。HDD103には、OSのプログラム、アプリケーションプログラム、及び各種データが格納される。なお、二次記憶装置としては、フラッシュメモリなどの半導体記憶装置を使用することもできる。
【0128】
グラフィック処理装置104には、モニタ104aが接続されている。グラフィック処理装置104は、CPU101からの命令にしたがって、画像をモニタ104aの画面に表示させる。モニタ104aとしては、CRT(Cathode Ray Tube)を用いた表示装置や液晶表示装置などがある。
【0129】
入力インタフェース105には、キーボード105a、マウス105b、マイク105cが接続されている。入力インタフェース105は、キーボード105aやマウス105bから送られてくる信号をCPU101に送信する。なお、マウス105bは、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。
【0130】
また、入力インタフェース105は、マイク105cにより収音された元音データをデジタル信号に変換する機能などを有している。
光学ドライブ装置106は、レーザ光などを利用して、光ディスク106aに記録されたデータの読み取りを行う。光ディスク106aは、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク106aには、DVD(Digital Versatile Disc)、DVD−RAM、CD−ROM(Compact Disc Read Only Memory)、CD−R(Recordable)/RW(ReWritable)などがある。
【0131】
通信インタフェース107は、有線または無線により、ネットワーク107aに接続されている。通信インタフェース107は、ネットワーク107aを介して、他のコンピュータまたは通信機器との間でデータの送受信を行う。
【0132】
出力インタフェース108は、スピーカ108aに接続されており、同期フレームまたはデータフレームを含む音データをアナログ信号に変換し、スピーカ108aを介して出力する。
【0133】
図1または図8に示した受信装置20,60も同様のハードウェアで実現可能である。また、受信装置20,60は、たとえば、上記のコンピュータ100と同様のハードウェアを有するスマートフォンなどの携帯端末装置であってもよい。
【0134】
以上のように、上記の送信装置10,50または受信装置20,60の処理機能は、コンピュータによって実現することができる。その場合、送信装置10,50または受信装置20,60が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記憶装置には、HDD、フレキシブルディスク(FD)、磁気テープなどがある。光ディスクには、DVD、DVD−RAM、CD−ROM/RWなどがある。光磁気記録媒体には、MO(Magneto-Optical disk)などがある。
【0135】
プログラムを流通させる場合には、たとえば、そのプログラムが記録されたDVD、CD−ROMなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【0136】
プログラムを実行するコンピュータは、たとえば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムにしたがった処理を実行することもできる。
【0137】
また、上記の処理機能の少なくとも一部を、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)などの電子回路で実現することもできる。
【0138】
以上、実施の形態に基づき、本発明の音データ送受信システム、送信装置、受信装置、音データ送信方法及び受信方法の一観点について説明してきたが、これらは一例にすぎず、上記の記載に限定されるものではない。
【0139】
以上説明した複数の実施の形態に関し、さらに以下の付記を開示する。
(付記1) 元音データに対して複数の異なる遅延量を有する複数のエコー信号を生成し、前記複数のエコー信号のうち第1の遅延量を有するエコー信号を前記元音データの何れかのフレームに重ね合わせて同期フレームを生成し、他のエコー信号を付加データとして前記元音データの他のフレームに重ね合わせてデータフレームを生成し、前記同期フレームまたは前記データフレームを含む音データを出力する送信装置と、
前記送信装置から出力される前記音データを受信し、前記音データから前記複数のエコー信号に対応した前記複数の異なる遅延量を抽出し、前記音データに含まれる前記同期フレームから、予め保持されている前記第1の遅延量が抽出されると、前記同期フレームを前記送信装置との前記音データの送受信の同期点とする受信装置と、
を有することを特徴とする音データ送受信システム。
【0140】
(付記2) 前記受信装置は、前記同期フレームを受信するまでは、前記複数の異なる遅延量を抽出する処理を、所定のフレーム間隔で行うことを特徴とする付記1に記載の音データ送受信システム。
【0141】
(付記3) 前記送信装置は、前記同期フレームをN回連続して出力し、
前記受信装置は、前記同期フレームを受信するまでは、前記音データのフレームから、前記複数の異なる遅延量を抽出する処理を、Nフレームに一回の頻度で行うことを特徴とする付記1または2に記載の音データ送受信システム。
【0142】
(付記4) 前記第1の遅延量は、前記複数の異なる遅延量のうち、最大値の遅延量であることを特徴とする付記1乃至3の何れか一つに記載の音データ送受信システム。
(付記5) 前記第1の遅延量は、前記複数の異なる遅延量のうち、真ん中の遅延量であることを特徴とする付記1乃至3の何れか一つに記載の音データ送受信システム。
【0143】
(付記6) 元音データに対して複数の異なる遅延量を有する複数のエコー信号を生成するエコー信号生成部と、
前記複数のエコー信号のうち第1の遅延量を有するエコー信号を前記元音データの何れかのフレームに重ね合わせて同期フレームを生成し、他のエコー信号を付加データとして前記元音データの他のフレームに重ね合わせてデータフレームを生成し、前記同期フレームまたは前記データフレームを出力する重ね合わせ部と、
を有することを特徴とする送信装置。
【0144】
(付記7) 前記同期フレームをN回連続して出力することを特徴とする付記6に記載の送信装置。
(付記8) 元音データに対して複数の異なる遅延量を有する複数のエコー信号のうち第1の遅延量を有するエコー信号を前記元音データの何れかのフレームに重ね合わせて生成されている同期フレーム、または、他のエコー信号を付加データとして前記元音データの他のフレームに重ね合わせて生成されているデータフレームを含む音データを受信して、前記音データから前記複数のエコー信号に対応した前記複数の異なる遅延量を抽出する抽出部と、
前記音データに含まれる前記同期フレームから、予め保持されている前記第1の遅延量が抽出されると、前記同期フレームを送信側との前記音データの送受信の同期点とする制御を行う同期制御部と、
を有することを特徴とする受信装置。
【0145】
(付記9) 前記抽出部は、前記同期フレームを受信するまでは、前記複数の異なる遅延量を抽出する処理を、所定のフレーム間隔で行うことを特徴とする付記8に記載の受信装置。
【0146】
(付記10) 前記同期フレームはN回連続して送信側から出力されるものであり、
前記抽出部は、前記同期フレームを受信するまでは、前記音データのフレームから、前記複数の異なる遅延量を抽出する処理を、Nフレームに一回の頻度で行うことを特徴とする付記8または9に記載の受信装置。
【0147】
(付記11) 元音データに対して複数の異なる遅延量を有する複数のエコー信号を生成し、
前記複数のエコー信号のうち第1の遅延量を有するエコー信号を前記元音データの何れかのフレームに重ね合わせて同期フレームを生成し、他のエコー信号を付加データとして前記元音データの他のフレームに重ね合わせてデータフレームを生成し、
前記同期フレームまたは前記データフレームを出力する、
ことを特徴とする音データ送信方法。
【0148】
(付記12) 元音データに対して複数の異なる遅延量を有する複数のエコー信号のうち第1の遅延量を有するエコー信号を前記元音データの何れかのフレームに重ね合わせて生成されている同期フレーム、または、他のエコー信号を付加データとして前記元音データの他のフレームに重ね合わせて生成されているデータフレームを含む音データを受信し、
前記音データから前記複数のエコー信号に対応した前記複数の異なる遅延量を抽出し、
前記音データに含まれる前記同期フレームから、予め保持されている前記第1の遅延量が抽出されると、前記同期フレームを送信側との前記音データの送受信の同期点とする制御を行う、
ことを特徴とする音データ受信方法。
【0149】
(付記13) 元音データに対して複数の異なる遅延量を有する複数のエコー信号を生成し、
前記複数のエコー信号のうち第1の遅延量を有するエコー信号を前記元音データの何れかのフレームに重ね合わせて同期フレームを生成し、他のエコー信号を付加データとして前記元音データの他のフレームに重ね合わせてデータフレームを生成し、前記同期フレームまたは前記データフレームを出力する、
処理をコンピュータに実行させるプログラム。
【0150】
(付記14) 元音データに対して複数の異なる遅延量を有する複数のエコー信号のうち第1の遅延量を有するエコー信号を前記元音データの何れかのフレームに重ね合わせて生成されている同期フレーム、または、他のエコー信号を付加データとして前記元音データの他のフレームに重ね合わせて生成されているデータフレームを含む音データを受信し、
前記音データから前記複数のエコー信号に対応した前記複数の異なる遅延量を抽出し、
前記音データに含まれる前記同期フレームから、予め保持されている前記第1の遅延量が抽出されると、前記同期フレームを送信側との前記音データの送受信の同期点とする制御を行う、
処理をコンピュータに実行させるプログラム。
【符号の説明】
【0151】
10 送信装置
10a スピーカ
11 エコー信号生成部
12 選択部
13 データ及び同期判定部
14 重ね合わせ部
20 受信装置
20a マイク
21 抽出部
22 同期制御部
23 付加データ取得部
24 記憶部

【特許請求の範囲】
【請求項1】
元音データに対して複数の異なる遅延量を有する複数のエコー信号を生成し、前記複数のエコー信号のうち第1の遅延量を有するエコー信号を前記元音データの何れかのフレームに重ね合わせて同期フレームを生成し、他のエコー信号を付加データとして前記元音データの他のフレームに重ね合わせてデータフレームを生成し、前記同期フレームまたは前記データフレームを含む音データを出力する送信装置と、
前記送信装置から出力される前記音データを受信し、前記音データから前記複数のエコー信号に対応した前記複数の異なる遅延量を抽出し、前記音データに含まれる前記同期フレームから、予め保持されている前記第1の遅延量が抽出されると、前記同期フレームを前記送信装置との前記音データの送受信の同期点とする受信装置と、
を有することを特徴とする音データ送受信システム。
【請求項2】
前記受信装置は、前記同期フレームを受信するまでは、前記複数の異なる遅延量を抽出する処理を、所定のフレーム間隔で行うことを特徴とする請求項1に記載の音データ送受信システム。
【請求項3】
前記送信装置は、前記同期フレームをN回連続して出力し、
前記受信装置は、前記同期フレームを受信するまでは、前記音データのフレームから、前記複数の異なる遅延量を抽出する処理を、Nフレームに一回の頻度で行うことを特徴とする請求項1または2に記載の音データ送受信システム。
【請求項4】
前記第1の遅延量は、前記複数の異なる遅延量のうち、最大値の遅延量であることを特徴とする請求項1乃至3の何れか一項に記載の音データ送受信システム。
【請求項5】
前記第1の遅延量は、前記複数の異なる遅延量のうち、真ん中の遅延量であることを特徴とする請求項1乃至3の何れか一項に記載の音データ送受信システム。
【請求項6】
元音データに対して複数の異なる遅延量を有する複数のエコー信号を生成するエコー信号生成部と、
前記複数のエコー信号のうち第1の遅延量を有するエコー信号を前記元音データの何れかのフレームに重ね合わせて同期フレームを生成し、他のエコー信号を付加データとして前記元音データの他のフレームに重ね合わせてデータフレームを生成し、前記同期フレームまたは前記データフレームを出力する重ね合わせ部と、
を有することを特徴とする送信装置。
【請求項7】
元音データに対して複数の異なる遅延量を有する複数のエコー信号のうち第1の遅延量を有するエコー信号を前記元音データの何れかのフレームに重ね合わせて生成されている同期フレーム、または、他のエコー信号を付加データとして前記元音データの他のフレームに重ね合わせて生成されているデータフレームを含む音データを受信して、前記音データから前記複数のエコー信号に対応した前記複数の異なる遅延量を抽出する抽出部と、
前記音データに含まれる前記同期フレームから、予め保持されている前記第1の遅延量が抽出されると、前記同期フレームを送信側との前記音データの送受信の同期点とする制御を行う同期制御部と、
を有することを特徴とする受信装置。
【請求項8】
前記抽出部は、前記同期フレームを受信するまでは、前記複数の異なる遅延量を抽出する処理を、所定のフレーム間隔で行うことを特徴とする請求項7に記載の受信装置。
【請求項9】
元音データに対して複数の異なる遅延量を有する複数のエコー信号を生成し、
前記複数のエコー信号のうち第1の遅延量を有するエコー信号を前記元音データの何れかのフレームに重ね合わせて同期フレームを生成し、他のエコー信号を付加データとして前記元音データの他のフレームに重ね合わせてデータフレームを生成し、
前記同期フレームまたは前記データフレームを出力する、
ことを特徴とする音データ送信方法。
【請求項10】
元音データに対して複数の異なる遅延量を有する複数のエコー信号のうち第1の遅延量を有するエコー信号を前記元音データの何れかのフレームに重ね合わせて生成されている同期フレーム、または、他のエコー信号を付加データとして前記元音データの他のフレームに重ね合わせて生成されているデータフレームを含む音データを受信し、
前記音データから前記複数のエコー信号に対応した前記複数の異なる遅延量を抽出し、
前記音データに含まれる前記同期フレームから、予め保持されている前記第1の遅延量が抽出されると、前記同期フレームを送信側との前記音データの送受信の同期点とする制御を行う、
ことを特徴とする音データ受信方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate


【公開番号】特開2013−101284(P2013−101284A)
【公開日】平成25年5月23日(2013.5.23)
【国際特許分類】
【出願番号】特願2011−246040(P2011−246040)
【出願日】平成23年11月10日(2011.11.10)
【出願人】(000005223)富士通株式会社 (25,993)