音声多重化装置、音声聴取装置、および音声多重化方法
【課題】処理負荷を抑えた状態で注目音を聞き取り易くすることができる音声多重化装置を提供すること。
【解決手段】第１の音声信号および第２の音声信号を入力する音声入力部１１０と、第１の音声信号と第２の音声信号とを第１の多重化位置関係で多重化して得られる、第１の多重音声信号を生成する第１の音声多重化部１２０と、第１の音声信号と第２の音声信号とを第１の多重化位置関係とは異なる第２の多重化位置関係で多重化して得られる、第２の多重音声信号を生成する第２の音声多重化部１３０と、第１の多重音声信号および第２の多重音声信号を出力する音声出力部１４０とを有する。
【解決手段】第１の音声信号および第２の音声信号を入力する音声入力部１１０と、第１の音声信号と第２の音声信号とを第１の多重化位置関係で多重化して得られる、第１の多重音声信号を生成する第１の音声多重化部１２０と、第１の音声信号と第２の音声信号とを第１の多重化位置関係とは異なる第２の多重化位置関係で多重化して得られる、第２の多重音声信号を生成する第２の音声多重化部１３０と、第１の多重音声信号および第２の多重音声信号を出力する音声出力部１４０とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の音声信号を多重化して出力する音声多重化装置、音声聴取装置、および音声多重化方法に関する。
【背景技術】
【０００２】
音声チャットや電話会議などの音声コミュニケーション、および、複数の音声データを多重化して配信するラジオ放送など、複数の音が同時に出力されるケースが増えている。
【０００３】
ところが、聴取者にとっては、複数の音の中から所望の音（以下「注目音」という）を選択して聴取しようとするとき、当該注目音以外の音は、ノイズ（雑音）に感じられる。
【０００４】
そこで、例えば、特許文献１には、各音声信号の、注目音がないときの状態に基づいてフィルタを作成し、作成したフィルタを用いて注目音のみを抽出する技術が記載されている。また、例えば、特許文献２には、注目音以外の音（以下「非注目音」）の音声信号に対して、環境音として聞こえるように音声処理を行う技術が記載されている。これらの従来技術では、注目音のみを聞き取り易く再生しつつ、複数の音を再生することができる。また、公知の技術としては、音声を個別に符号化するオブジェクト符号化によって、複数の音声を多重化して送受信し、ユーザが音声を個別にコントロールする技術が知られている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平５−８７６１９号公報
【特許文献２】特開平８−１８６６４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来技術は、複数の音声信号を多重化して送受信し、重畳して再生するシステムによって、処理負荷が高くなるという課題を有する。すなわち、特許文献１記載の技術は、非注目音が発話音声などの非連続音の場合、非注目音の変化に応じて、フィルタを何度も繰り返し作成する必要が生じ、処理負荷が高くなる。また、特許文献１および特許文献２記載の技術は、音声チャットなどにおいて、不特定多数人から音声信号が送られてくる場合、その数に応じて処理負荷が高くなる。また、オブジェクト符号化技術では、個別にデータ圧縮した音声信号を多重化して送受信するが、音声を個別にコントロールする際の処理負荷は、音声の数に応じて高くなる。
【０００７】
複数の音声を重畳して出力する技術は、様々な分野への適用が期待されるが、処理負荷が高いと、携帯電話機などの小型携帯端末への適用が困難となる。したがって、かかる技術は、処理負荷を抑えた状態で注目音を聞き取り易くすることが可能であることが望まれる。
【０００８】
本発明の目的は、処理負荷を抑えた状態で注目音を聞き取り易くすることができる音声多重化装置、音声聴取装置、および音声多重化方法を提供することである。
【課題を解決するための手段】
【０００９】
本発明の音声多重化装置は、第１の音声信号および第２の音声信号を入力する音声入力部と、前記第１の音声信号と前記第２の音声信号とを第１の多重化位置関係で多重化して得られる、第１の多重音声信号を生成する第１の音声多重化部と、前記第１の音声信号と前記第２の音声信号とを前記第１の多重化位置関係とは異なる第２の多重化位置関係で多重化して得られる、第２の多重音声信号を生成する第２の音声多重化部と、前記第１の多重音声信号および前記第２の多重音声信号を出力する音声出力部とを有する。
【００１０】
本発明の音声聴取装置は、上記音声多重化装置から、前記第１の多重音声信号および前記第２の多重音声信号を取得する多重音声受信部と、前記第１の多重音声信号と前記第２の多重音声信号とを調整可能な所定の重畳位置関係で重畳して得られる、重畳音声信号を生成する時間調整部と、ユーザ操作に基づいて、前記第１の多重音声信号と前記第２の多重音声信号のそれぞれに含まれる前記第１の音声信号の任意の位置が一致する第１の重畳位置関係と、前記第１の多重音声信号と前記第２の多重音声信号のそれぞれに含まれる前記第２の音声信号の任意の位置が一致する第２の重畳位置関係との間で、前記所定の重畳位置関係を切り替える操作部と、前記重畳音声信号を音声出力装置へ出力する音声出力部とを有する。
【００１１】
本発明の音声多重化方法は、第１の音声信号および第２の音声信号を入力するステップと、前記第１の音声信号と前記第２の音声信号とを第１の多重化位置関係で多重化して、第１の多重音声信号を生成するステップと、前記第１の音声信号と前記第２の音声信号とを前記第１の多重化位置関係とは異なる第２の多重化位置関係で多重化して、第２の多重音声信号を生成するステップと、前記第１の多重音声信号および前記第２の多重音声信号を出力するステップとを有する。
【発明の効果】
【００１２】
本発明は、処理負荷を抑えた状態で注目音を聞き取り易くすることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態１に係る音声多重化装置の構成の一例を示すブロック図
【図２】本発明の実施の形態２に係る音声多重化装置および音声聴取装置ならびに音声多重化システムの構成の一例を示すブロック図
【図３】本発明の実施の形態２における入力音声信号の構成の一例を模式的に示す図
【図４】本発明の実施の形態２における第１および第２の多重音声信号の構成の一例を模式的に示す図
【図５】本発明の実施の形態２における重畳音声信号の構成の例を模式的に示す図
【図６】本発明の実施の形態２に係る音声多重化装置の動作の一例を示すフローチャート
【図７】本発明の実施の形態２に係る音声聴取装置の動作の一例を示すフローチャート
【図８】本発明の実施の形態３に係る音声多重化装置および音声聴取装置ならびに音声多重化システムの構成の一例を示すブロック図
【図９】本発明の実施の形態３における第１および第２の多重音声信号の構成の一例を模式的に示す図
【図１０】本発明の実施の形態３における重畳音声信号の構成の例を模式的に示す図
【図１１】本発明の実施の形態４に係る音声多重化装置および音声聴取装置ならびに音声多重化システムの構成の一例を示すブロック図
【図１２】本発明の実施の形態４に係る音声多重化装置の動作の一例を示すフローチャート
【発明を実施するための形態】
【００１４】
以下、本発明の各実施の形態について、図面を参照して詳細に説明する。
【００１５】
なお、各実施の形態において、複数の音声信号の多重化、および、複数の多重化音声信号の重畳は、各音声信号の時間軸上の位置（以下単に「位置」という）の相対的な関係を設定することを、少なくとも含むものとする。また、多重化において設定される相対的な関係は、「多重化位置関係」といい、重畳において設定される相対的な関係は、「重畳位置関係」というものとする。
【００１６】
（実施の形態１）
本発明の実施の形態１は、本発明に係る音声多重化装置の基本的態様の一例である。
【００１７】
図１は、本実施の形態に係る音声多重化装置の構成の一例を示すブロック図である。
【００１８】
図１において、音声多重化装置１００は、音声入力部１１０、第１の音声多重化部１２０、第２の音声多重化部１３０、および音声出力部１４０を有する。
【００１９】
音声入力部１１０は、第１の音声信号および第２の音声信号を入力する。
【００２０】
第１の音声多重化部１２０は、第１の音声信号と第２の音声信号とを第１の多重化位置関係で多重化して得られる、第１の多重音声信号を生成する。
【００２１】
第２の音声多重化部１３０は、第１の音声信号と第２の音声信号とを第１の多重化位置関係とは異なる第２の多重化位置関係で多重化して得られる、第２の多重音声信号を生成する。
【００２２】
音声出力部１４０は、第１の多重音声信号および第２の多重音声信号を出力する。
【００２３】
音声多重化装置１００は、例えば、ＣＰＵ（central processing unit）、およびＲＡＭ（random access memory）等の記憶媒体などを有する。この場合、上述の各機能部は、ＣＰＵにより制御プログラムが実行することにより実現される。
【００２４】
このような音声多重化装置１００は、第１の音声信号に対する第２の音声信号の多重化位置が異なる、二種類の多重音声信号を出力することができる。
【００２５】
このような二種類の多重音声信号は、第１の音声信号のみ、あるいは、第２の音声信号のみを、選択的に一致させた状態で、重畳することができる。一致した音声信号の音声は、一致していない音声信号の音声に比べて、より明瞭となり、より聞き取り易くなる。すなわち、このような二種類の多重音声信号は、重畳する際の相対位置関係を調整するだけで、第１の音声信号および第２の音声信号を、選択的に聞き取り易くすることができる。
【００２６】
したがって、音声多重化装置１００は、処理負荷を抑えた状態で、注目音を聞き取り易くすることができる。
【００２７】
（実施の形態２）
本発明の実施の形態２は、本発明を、不特定多数の話者が同時に複数の話題について会話する、音声チャットシステムに適用した場合の、具体的態様の一例である。
【００２８】
まず、本実施の形態に係る各装置およびシステムの構成について説明する。
【００２９】
図２は、本実施の形態に係る音声多重化装置および音声聴取装置の構成ならびに音声多重化システムの構成の一例を示すブロック図である。
【００３０】
図２において、音声多重化システム２００は、第１〜第４の音声提供装置３００−１〜３００−４、音声多重化装置１００、音声聴取装置４００、および音声出力装置５００を有する。
【００３１】
なお、複数の音声提供装置３００と音声多重化装置１００、音声多重化装置１００と音声聴取装置４００、および音声聴取装置４００と音声出力装置５００は、それぞれ無線または有線により通信可能に接続されているものとする。そして、音声多重化装置１００から音声聴取装置４００への送信帯域は、２つの多重音声信号を分離可能な第１のチャンネルと第２のチャンネルを含むものとする。２つの多重音声信号の伝送方法は、個別の回線を有しても良いし、時分割多重方式、周波数分割多重方式であってもよい。
【００３２】
また、第１〜第４の音声提供装置３００−１〜３００−４は、同一の構成を有するものとし、以下、適宜「音声提供装置３００」としてまとめて説明する。
【００３３】
更に、第１〜第４の音声提供装置３００−１〜３００−４および音声聴取装置４００は、同一の構成とすることができるが、ここでは、音声の供給側か聴取側かの区別に従い、これらを区別して説明する。
【００３４】
音声提供装置３００は、例えば、音声チャットを行うユーザが携帯する情報通信端末である。音声提供装置３００は、マイクロフォンを有し、ユーザの発話音声を含む音声を入力して電気信号である音声信号に変換し、音声多重化装置１００へ送信する。本実施の形態では、音声信号はデジタルとする。
【００３５】
音声多重化装置１００は、例えば、音声チャットサーバである。音声多重化装置１００は、第１〜第４の音声提供装置３００−１〜３００−４から送られてくる４種類の音声信号（以下、順に「第１〜第４の音声信号」という）を受信する。そして、音声多重化装置１００は、受信した第１〜第４の音声信号を、多重化方法の異なる２チャンネルの（２種類の）多重音声信号に多重化して、音声聴取装置４００へ送信する。以下、受信時の第１〜第４の音声信号の一まとまりは、以下「入力音声信号」という。
【００３６】
図３は、本実施の形態において想定する、入力音声信号の構成の一例を模式的に示す図である。
【００３７】
図３に示すように、入力音声信号６１０は、ここでは、第１〜第４の音声信号６１１〜６１４から構成されるものとする。入力音声信号６１０上の任意の時間ｔ０における第１〜第４の音声信号６１１〜６１４のそれぞれの位置は、順に、Ｖｔａ、Ｖｔｂ、Ｖｔｃ、Ｖｔｄであるものとする。
【００３８】
図２の音声多重化装置１００は、音声入力部１１０、第１の音声多重化部１２０、第２の音声多重化部１３０、および多重音声送信部１４１を有する。
【００３９】
音声入力部１１０は、第１〜第４の音声信号を入力する。
【００４０】
具体的には、音声入力部１１０は、第１〜第４の音声提供装置３００−１〜３００−４から送信された第１〜第４の音声信号を受信し、音声圧縮部１１１により、第１〜第４の音声信号の振幅をそれぞれ圧縮する。そして、音声入力部１１０は、圧縮した第１〜第４の音声信号（以下単に「第１〜第４の音声信号」という）を、第１の音声多重化部１２０および第２の音声多重化部１３０へそれぞれ出力する。
【００４１】
この際、音声入力部１１０は、第１の音声信号の任意の位置に対して、当該位置と同一のタイミングで受信した第２〜第４の音声信号のそれぞれの位置が一致するように、第１〜第４の音声信号を出力する。
【００４２】
なお、本実施の形態における圧縮とは、音声信号を同時に送信している音声提供装置３００の数（本実施の形態では４、以下「音声信号の数」という）に応じて、各音声信号の振幅（音圧レベル）を小さくすることを含む。例えば、圧縮は、各音声信号の振幅を、音声信号の数で除算することにより行う。
【００４３】
また、圧縮は、各音声信号の振幅の最大値が、予め定めた上限値に一致するように、音量の小さい音声信号の振幅を低減あるいは増大させることを含んでもよい。
【００４４】
第１の音声多重化部１２０は、第１〜第４の音声信号を第１の多重化位置関係で多重化して得られる、第１の多重音声信号を生成する。
【００４５】
具体的には、第１の音声多重化部１２０は、入力された第１〜第４の音声信号を、その入力タイミングに沿って、第１のチャンネルでの送信の対象として、そのまま多重音声送信部１４１へ出力する。
【００４６】
すなわち、上述の第１の多重化位置関係では、受信（入力）された第１〜第４の音声信号の相対的な位置が変化せず、送信（出力）は受信（入力）と同一のタイミングとなる。
【００４７】
第２の音声多重化部１３０は、第１〜第４の音声信号を第１の多重化位置関係とは異なる第２の多重化位置関係で多重化して得られる、第２の多重音声信号を生成する。
【００４８】
すなわち、上述の第２の多重化位置関係では、受信（入力）された第１〜題の音声信号の相対的な位置が変化し、送信（出力）は受信（入力）とはタイミングが異なる。
【００４９】
具体的には、第２の音声多重化部１３０は、遅延処理部１３１により、第２〜第４の音声信号を、それぞれ異なる所定時間で遅延させる。遅延処理部１３１は、例えば、任意の時間だけ音声信号を保存した後に出力する、デジタルディレイである。そして、第２の音声多重化部１３０は、第１の音声信号と、遅延した第２〜第４の音声信号とを、その遅延されたタイミングに沿って、第２のチャンネルでの送信の対象として、多重音声送信部１４１へ出力する。
【００５０】
すなわち、上述の第２の多重化位置関係は、第１の音声信号の任意の位置に対して、当該位置と同一のタイミングで受信（入力）された第２〜第４の音声信号の位置がそれぞれに対応する所定時間遅延する関係となる。
【００５１】
図４は、本実施の形態における第１および第２の多重音声信号の構成の一例を模式的に示す図であり、図３に対応するものである。図４（Ａ）は、第１の多重音声信号の構成を示す。図４（Ｂ）は、第２の多重音声信号の構成を示す。
【００５２】
図４（Ａ）に示すように、第１の多重音声信号６２０における第１〜第４の音声信号６１１〜６１４の相対的な位置関係（第１の多重化位置関係）は、図３に示す入力音声信号６１０における相対的な位置関係とほぼ同一となる。
【００５３】
すなわち、第２〜第４の音声信号６１２〜６１４の上述の各位置Ｖｔｂ、Ｖｔｃ、Ｖｔｄは、第１の音声信号３１１の位置Ｖｔａに対応する時刻ｔ１に対して、一致している。
【００５４】
一方、図４（Ｂ）に示すように、第２の多重音声信号６３０における第１〜第４の音声信号６１１〜６１４の相対的な位置関係（第２の多重化位置関係）は、図３に示す入力音声信号６１０における相対的な位置関係と異なる。
【００５５】
すなわち、第２〜第４の音声信号６１２〜６１４の上述の各位置Ｖｔｂ、Ｖｔｃ、Ｖｔｄは、第１の音声信号３１１の位置Ｖｔａに対応する時刻ｔ１に対して、それぞれ遅延している。
【００５６】
なお、第２〜第４の音声信号６１２〜６１４の遅延時間ｄ１〜ｄ３は、それぞれ異なるものとする。そして、遅延時間ｄ３は遅延時間ｄ２よりも長く、遅延時間ｄ２は遅延時間ｄ１よりも長いものとする。また、遅延時間ｄ１〜ｄ３を示す情報は、第２の多重音声信号に付加されるなどして、音声多重化装置１００が取得可能であるものとする。
【００５７】
図２の多重音声送信部１４１は、第１の多重音声信号および第２の多重音声信号を出力する。
【００５８】
具体的には、多重音声送信部１４１は、入力された第１の多重音声信号および第２の多重音声信号を、それぞれ第１のチャンネルと第２のチャンネルを用いて、音声聴取装置４００へ送信する。
【００５９】
音声聴取装置４００は、例えば、音声チャットを行うユーザが使用するパーソナルコンピュータ（音声チャットクライアント）である。
【００６０】
音声聴取装置４００は、多重音声受信部４１０、時間調整部４２０、操作部４３０、および音声出力部４４０を有する。
【００６１】
多重音声受信部４１０は、音声多重化装置１００から、第１の多重音声信号および第２の多重音声信号を取得する。
【００６２】
具体的には、多重音声受信部４１０は、音声多重化装置１００から上述の２チャンネルを用いて送信された第１の多重音声信号および第２の多重音声信号を受信する。そして、多重音声受信部４１０は、受信した第１の多重音声信号および第２の多重音声信号を、時間調整部４２０へ出力する。
【００６３】
時間調整部４２０は、第１の多重音声信号と第２の多重音声信号とを調整可能な所定の重畳位置関係で重畳して得られる、重畳音声信号を生成する。
【００６４】
具体的には、時間調整部４２０は、操作部４３０による制御を受けて、第１の多重音声信号および第２の多重音声信号の一方を遅延させる。これにより、時間調整部４２０は、第１の多重音声信号と第２の多重音声信号との相対位置関係を調整する。そして、時間調整部４２０は、調整された相対位置関係で第１の多重音声信号と第２の多重音声信号とを重畳して重畳音声信号を生成し、音声出力部４４０へ出力する。
【００６５】
操作部４３０は、ユーザ操作に基づいて、少なくとも、第１の重畳位置関係、第２の重畳位置関係、第３の重畳位置関係、および第４の重畳位置関係の間で、上述の所定の重畳位置関係を切り替える。
【００６６】
具体的には、操作部４３０は、例えば、ダイヤルやスライダーなど、プラス方向とマイナス方向の入力値を得ることができる操作インタフェースを有する。そして、操作部４３０は、入力値に応じて音を聞き取り易くする対象として指定された音声信号の任意の位置が、第１の多重音声信号と第２の多重音声信号との間で一致するように、所定の重畳位置関係を切り替える。
【００６７】
第１の重畳位置関係は、第１の多重音声信号と第２の多重音声信号とに含まれる第１の音声信号の任意の位置が一致する重畳位置関係である。
【００６８】
第２の重畳位置関係は、第１の多重音声信号と第２の多重音声信号とに含まれる第２の音声信号の任意の位置が一致する重畳位置関係である。
【００６９】
第３の重畳位置関係は、第１の多重音声信号と第２の多重音声信号とに含まれる第３の音声信号の任意の位置が一致する重畳位置関係である。
【００７０】
第４の重畳位置関係は、第１の多重音声信号と第２の多重音声信号とに含まれる第４の音声信号の任意の位置が一致する重畳位置関係である。
【００７１】
なお、第１〜第４の音声信号には、順に、１〜４の音声番号が割り当てられているものとする。そして、操作部４３０は、入力値にしたがって、あたかも音声番号を指定するポインタを移動させるように、第１の多重音声信号と第２の多重音声信号との重畳位置関係を切り替える。
【００７２】
また、第１〜第４の重畳位置関係は、例えば、時間調整部４２０が、音声多重化装置１００から遅延時間ｄ１〜ｄ３を示す情報を取得して保持しておき、遅延時間ｄ１〜ｄ３に基づいて設定するものとする。
【００７３】
図５は、本実施の形態における重畳音声信号の構成の例を模式的に示す図であり、図４に対応するものである。図５（Ａ）は、音声番号１が指定されたとき（つまり第１の重畳位置関係で重畳が行われたとき）の重畳音声信号の構成を示す。図５（Ｂ）は、音声番号２が指定されたとき（つまり第２の重畳位置関係で重畳が行われたとき）の重畳音声信号の構成を示す。
【００７４】
図５（Ａ）に示すように、音声番号１が指定されたときの重畳音声信号６４０では、第１の音声信号６１１の位置Ｖｔａは、第１の多重音声信号６２０と第２の多重音声信号６３０との間で一致する。そして、他の第２〜第４の音声信号６１２〜６１４の各位置Ｖｔｂ、Ｖｔｃ、Ｖｔｄは、第１の多重音声信号６２０と第２の多重音声信号６３０との間で、いずれも一致しない。
【００７５】
位置が一致した状態で同一の２つの音声信号が重畳された重畳音声信号６４０は、振幅は倍になり、音量が増すことになる。一方、位置が一致していない状態で同一の２つの音声信号が重畳された重畳音声信号６４０は、振幅は倍にはならず、その音声は、残響あるいは反響を伴っているように聴こえ、輪郭がぼやけた音となる。
【００７６】
したがって、図５（Ａ）に示すような重畳音声信号６４０の音声（以下「重畳音声」という）では、第１の音声信号６１１の音声のみが明瞭に聞こえ、第２〜第４の音声信号６１２〜６１４の各音声は、不明瞭に聞こえることになる。
【００７７】
図５（Ｂ）に示すように、音声番号２が指定されたときの重畳音声信号６５０では、第２の音声信号６１２の位置Ｖｔｂのみが、第１の多重音声信号６２０と第２の多重音声信号６３０との間で一致する。このような重畳音声では、第２の音声信号６１２の音声のみが明瞭に聞こえることになる。
【００７８】
したがって、音声聴取装置４００は、多重化位置関係を切り替えることにより、明瞭に聞こえる音声を切り替え、任意の音声信号を選択的に聞こえ易くすることができる。
【００７９】
なお、多重化位置関係は、非注目音声の遅延時間が短過ぎると、注目音声と非注目音声との聞こえ方の差が小さくなる。多重化位置関係は、逆に、非注目音声の遅延時間が長すぎると、第１の多重音声信号６２０における当該非注目音声と第２の多重音声信号６３０における当該非注目音声とが独立して、同じ音声が２度出力されたように聞こえてしまう。そこで、０以外の全ての遅延時間（図４（Ｂ）の遅延時間ｄ１〜ｄ３）は、数十ミリ秒から数百ミリ秒など、実験などによって予め定められた数値範囲に収まることが望ましい。
【００８０】
更にいえば、第１〜第４の音声信号は、所定の時間ずつずれていることが望ましい。すなわち、遅延時間ｄ２は、遅延時間ｄ１の２倍であり、遅延時間ｄ３は遅延時間ｄ１の３倍であることが望ましい。これにより、時間調整部４２０は、重畳位置関係の調整を、遅延時間ｄ１を単位として行うことができ、その処理が容易となる。
【００８１】
図２の音声出力部４４０は、重畳音声信号を音声出力装置５００へ出力する。
【００８２】
具体的には、音声出力部４４０は、入力された重畳音声信号を、音声出力装置５００へ送信する。
【００８３】
音声出力装置５００は、例えば、ユーザがパーソナルコンピュータに接続して使用するヘッドフォンである。音声出力装置５００は、音声聴取装置４００から送信された重畳音声信号を受信し、音声に変換して出力する。
【００８４】
音声提供装置３００、音声多重化装置１００、および音声聴取装置４００は、例えば、ＣＰＵ、およびＲＡＭ（random access memory）などの記憶媒体等を有する。この場合、上述の各機能部は、ＣＰＵにより制御プログラムが実行することにより実現される。
【００８５】
このような音声多重化システム２００は、複数の音声信号の多重化位置が異なる、二種類の多重音声信号を出力することができる。
【００８６】
このような二種類の多重音声信号は、複数の音声信号のうちの任意の１つのみを選択的に一致させた状態で、重畳することができる。一致した音声信号の音声は、一致していない音声信号の音声に比べて、より明瞭となり、より聞き取り易くなる。すなわち、このような二種類の多重音声信号は、重畳の際の相対位置関係を調整するだけで、任意の音声信号を、選択的に聞き取り易くすることができる。
【００８７】
音声多重化システム２００は、特許文献１記載の技術のようにフィルタを何度も作成したり、特許文献２記載の技術のように音声信号ごとの音声処理を行ったりする必要がない。したがって、音声多重化システム２００は、従来技術に比べて、処理負荷を抑えた状態で、注目音を聞き取り易くすることができる。
【００８８】
また、音声多重化システム２００は、ユーザが指定した音声番号の音声信号が一致するように、二種類の多重音声信号の重畳位置を調整することができる。これにより、音声多重化システム２００は、ユーザの所望の音声（注目音）のみを聞き取り易くすることができる。
【００８９】
また、音声多重化システム２００は、複数のユーザから発話音声を取得し、これを多重化して再生することができる。これにより、音声多重化システム２００は、多数人での音声チャットを、注目音のみを聞き取り易くした状態で実現することができる。
【００９０】
また、音声多重化システム２００は、音声信号の多重化の際に、音声の振幅の圧縮を行うので、多重化された音声信号の振幅が大きくなり過ぎて再生音が歪むのを防ぐことができる。
【００９１】
以上で、本実施の形態に係る各装置およびシステムの構成についての説明を終える。
【００９２】
次に、本実施の形態に係る各装置の動作について説明する。
【００９３】
図６は、音声多重化装置１００の動作の一例を示すフローチャートである。
【００９４】
まず、ステップＳ１０１０において、音声入力部１１０は、第１〜第４の音声提供装置３００−１〜３００−４から送信された各音声信号（第１〜第４の音声信号）を、受信する。例えば、音声入力部１１０は、予め定められた周期毎に、音声信号の受信を行い、次のステップ１０２０へ進む。
【００９５】
そして、ステップＳ１０２０において、音声圧縮部１１１は、受信した受信した各音声信号（第１〜第４の音声信号）の振幅を、それぞれ圧縮する。
【００９６】
そして、ステップＳ１０３０において、第１の音声多重化部１２０は、第１の多重音声信号を生成し、第１のチャンネルでの送信の対象として出力する。すなわち、第１のチャンネルは、全ての音声が遅延なく多重化されたチャンネルなる。
【００９７】
そして、ステップＳ１０４０において、遅延処理部１３１は、音声信号ごとに定めた遅延を、各音声信号に設定する。すなわち、遅延処理部１３１は、各音声信号を、適宜、それぞれ異なる遅延時間で遅延させる処理（以下「遅延処理」という）を行う。
【００９８】
そして、ステップＳ１０５０において、第２の音声多重化部１３０は、遅延処理後の音声信号（第１〜第４の音声信号）から第２の多重音声信号を生成し、第２のチャンネルでの送信の対象として出力する。すなわち、第２のチャンネルは、各音声が他の全ての音声とずれた状態で多重化されたチャンネルなる。
【００９９】
そして、ステップＳ１０６０において、多重音声送信部１４１は、第１および第２の多重音声信号を、音声聴取装置４００へと送信する。
【０１００】
そして、ステップＳ１０７０において、音声入力部１１０は、ユーザ操作などにより、音声の多重化の処理の終了要求があったか否かを判断する。
【０１０１】
音声入力部１１０は、終了要求がない場合（Ｓ１０７０：ＮＯ）、ステップＳ１０１０へ戻る。また、音声入力部１１０は、終了要求があった場合（Ｓ１０７０：ＹＥＳ）、一連の処理を終了する。
【０１０２】
このような動作により、音声多重化装置１００は、音声提供装置３００から複数の音声信号を受信し、複数の音声信号の多重化位置関係が異なる二種類の多重音声信号を、音声聴取装置４００へ連続的に送信することができる。
【０１０３】
図７は、音声聴取装置４００の動作の一例を示すフローチャートである。なお、時間調整部４２０は、例えば、第１の重畳位置関係を、所定の重畳位置関係の初期状態とする。
【０１０４】
まず、ステップＳ２０１０において、多重音声受信部４１０は、音声多重化装置１００から送信された第１の多重音声信号および第２の多重音声信号を受信する。例えば、多重音声受信部４１０は、予め定められた周期毎に、第１の多重音声信号および第２の多重音声信号の受信を行い、次のステップＳ２０２０へ進む。
【０１０５】
そして、ステップＳ２０２０において、時間調整部４２０は、第１の多重音声信号および第２の多重音声信号から重畳音声信号を生成する。そして、音声出力部４４０は、この重畳音声信号を、音声出力装置５００へ送信する。重畳音声信号は、上述の通り、第１の多重音声信号および第２の多重音声信号を、現在の所定の重畳位置関係で重畳したものである。
【０１０６】
そして、ステップＳ２０３０において、多重音声受信部４１０は、ユーザ操作などにより、音声の多重化の処理の終了要求があったか否かを判断する。
【０１０７】
多重音声受信部４１０は、終了要求がない場合（Ｓ２０３０：ＮＯ）、ステップＳ２０４０へ進む。また、多重音声受信部４１０は、終了要求があった場合（Ｓ２０３０：ＹＥＳ）、一連の処理を終了する。
【０１０８】
ステップＳ２０４０において、操作部４３０は、プラス方向またはマイナス方向の入力値があったか、つまり、音声番号を指定するポインタ移動の操作の入力があったか否かを判断する。
【０１０９】
操作部４３０は、移動操作があった場合（Ｓ２０４０：ＹＥＳ）、ステップＳ２０５０へ進む。また、操作部４３０は、移動操作がない場合（Ｓ２０４０：ＮＯ）、ステップＳ２０１０へ戻る。
【０１１０】
ステップＳ２０５０において、操作部４３０は、ポインタ移動がプラス方向であるか否かを判断する。
【０１１１】
すなわち、操作部４３０は、音声番号１から音声番号２へというように、音声番号が増大する方向にポインタが移動されたか否かを判断する。
【０１１２】
操作部４３０は、ポインタ移動がプラス方向である場合（Ｓ２０５０：ＹＥＳ）、ステップＳ２０６０へ進む。また、操作部４３０は、ポインタ移動がマイナス方向である場合（Ｓ２０５０：ＮＯ）、ステップＳ２０７０へ進む。
【０１１３】
ステップＳ２０６０において、操作部４３０は、現状よりも第１の多重音声信号（つまり第１のチャンネルの信号）を相対的に遅延させるように、時間調整部４２０の所定の重畳位置関係を切り替えて、ステップＳ２０１０へ戻る。
【０１１４】
すなわち、操作部４３０は、第１の音声信号から第２の音声信号へというように、１つ大きい音声番号に対応する音声信号の任意の位置を、第１の多重音声信号と第２の多重音声信号との間で一致させる。これは、重畳音声信号を、図５（Ａ）に示す状態から、図５（Ｂ）に示す状態へと切り替えることに相当する。
【０１１５】
ステップＳ２０７０において、操作部４３０は、現状よりも第２の多重音声信号（つまり第２のチャンネルの信号）を相対的に遅延させるように、時間調整部４２０の所定の重畳位置関係を切り替えて、ステップＳ２０１０へ戻る。
【０１１６】
すなわち、操作部４３０は、第２の音声信号から第１の音声信号へというように、１つ小さい音声番号に対応する音声信号の任意の位置を、第１の多重音声信号と第２の多重音声信号との間で一致させる。これは、重畳音声信号を、図５（Ｂ）に示す状態から、図５（Ａ）に示す状態へと切り替えることに相当する。
【０１１７】
このような動作により、音声聴取装置４００は、複数の音声信号の多重化位置関係が異なる二種類の多重音声信号を重畳した重畳音声信号を、音声出力装置５００へ連続的に送信することができる。また、音声聴取装置４００は、ユーザが所望する音声信号が聞こえ易くなるように、重畳位置関係を調整することができる。
【０１１８】
なお、操作部４３０は、入力値の累積値の上限および下限の判定を行うことが望ましいが、ここでは省略している。入力値の累積値の上限は、音声信号の数から１引いた数（本実施の形態では４−１＝３）となる。また、入力値の累積値の下限は、０となる。
【０１１９】
また、操作部４３０は、入力値の累積値に上限および下限を設けず、累積値が上限を超えたとき累積値を下限（０）にし、累積値が下限を下回ったとき累積値を上限（３）にするようにしてもよい。また、この場合、操作部４３０は、プラス方向の入力値、および、マイナス方向の入力値の一方のみを受け付けるようにすることができる。
【０１２０】
また、操作部４３０は、１方向の入力値のみを受け付ける場合、累積値が上限に達したとき、入力値をマイナス方向の値として扱い、累積値が下限に達したとき、入力値をプラス方向の値として扱うようにしてもよい。
【０１２１】
以上で、本実施の形態に係る各装置の動作についての説明を終える。
【０１２２】
以上のように、本実施の形態に係る音声多重化システム２００は、複数の音声信号の多重化位置が異なる二種類の多重音声信号を生成し、これらの重畳音声信号を、その重畳位置関係を調整して出力することができる。これにより、音声多重化システム２００は、従来技術に比べて、処理負荷を抑えた状態で、複数の音声を同時に出力しつつ、注目音を聞き取り易くすることができる。
【０１２３】
なお、音声多重化システム２００は、３種類以上の多重音声信号を生成し、これらを、それぞれの重畳位置関係を調整して出力するようにしてもよい。この場合、時間調整部４２０は、聞き取り易くする対象として指定された音声信号のみが全ての多重音声信号間で一致するように、重畳位置関係を調整すればよい。
【０１２４】
また、音声多重化システム２００は、音声信号がデジタルの場合、多重音声信号単位（チャンネル単位）で、サンプリング周波数を下げてもよい。例えば、音声多重化装置１００は、第１の多重音声信号については、高品質の音声信号のままで送信し、第２の多重音声信号については、そのサンプリング周波数を下げてから、送信する。これにより、音声多重化システム２００は、重畳音声信号の音声の音質を劣化させずに、扱うデータ量を低減し、処理負荷を低減することが可能となる。
【０１２５】
また、音声多重化システム２００は、多重音声信号の数（チャンネル数）が２である場合、それぞれの多重音声信号を、従来のステレオ音声の左右チャンネルに割り当ててもよい。これにより、音声多重化システム２００は、多重音声信号の通信処理を従来のステレオ音声のシステムと共通化することができる。
【０１２６】
また、音声多重化システム２００は、各音声信号を、ステレオ音声の左右チャンネルに割り当ててもよく、また、ステレオ音声により実現される仮想音響空間に立体的に配置してもよい。これにより、音声多重化システム２００は、注目音声を更に聞き分け易くすることができる。
【０１２７】
また、音声多重化システム２００は、遅延時間が上述の定められた数値範囲に収まるように、遅延時間の上限値を遅延時間の下限値で除算した数以下に、出力対象とする音声信号の数を制限しても良い。これにより、音声多重化システム２００は、音声が聞き取り辛くなるのを防ぐことができる。
【０１２８】
なお、音声多重化システム２００は、複数の音声信号のうち、互いに聞き分け易い複数の音声信号が存在するとき、それらの音声信号の遅延時間をずらさないようにしてもよい。
【０１２９】
例えば、音声多重化システム２００ａは、複数の音声信号を、仮想音源空間に円弧状に配置して出力する場合、位置が離れている音声信号については、遅延時間を一致させる。また、例えば、音声多重化システム２００ａは、音程が大きく異なる発話音声の音声信号については、遅延時間を一致させる。
【０１３０】
これにより、音声多重化システム２００は、音声が聞き取り辛くなるのを防ぎつつ、同時に出力する音声信号の数を増やすことができる。
【０１３１】
（実施の形態３）
本発明の実施の形態３は、第２の多重音声信号の位相を反転させることにより、非注目音声の打ち消しを行う例である。
【０１３２】
図８は、本実施の形態に係る音声多重化装置および音声聴取装置ならびに音声多重化システムの構成の一例を示すブロック図であり、実施の形態２の図２に対応するものである。図２と同一部分には同一符号を付し、これについての説明を省略する。
【０１３３】
図８において、音声多重化システム２００ａは、図１の音声多重化装置１００に代えて、音声多重化装置１００ａを有する。音声多重化装置１００ａの第２の音声多重化部１３０ａは、遅延処理部１３１に加えて、位相反転部１３２ａを有する。
【０１３４】
位相反転部１３２ａは、第１の多重音声信号および第２の多重音声信号の一方に含まれる、第１の音声信号および第２の音声信号の位相を、それぞれ反転させる。本実施の形態において、位相反転部１３２ａは、第２の多重音声信号の第１〜第４の音声信号の位相を、全て反転させるものとする。位相反転部１３２ａは、位相反転を、遅延処理の前に行ってもよいし、遅延処理の後に行ってもよい。
【０１３５】
なお、本実施の形態において、遅延処理部１３１は、第２の多重音声信号に含まれる音声信号を２グループに分け、そのうちの１つのグループの音声信号を、全て同一の遅延時間で遅延させるものとする。
【０１３６】
具体的には、遅延処理部１３１は、第１および第３の音声信号を非遅延グループとし、第２および第４の音声信号を遅延グループとして、第２および第４の音声信号を、第１の遅延時間で遅延させるものとする。
【０１３７】
図９は、本実施の形態における第１および第２の多重音声信号の構成の一例を模式的に示す図であり、実施の形態２の図４に対応するものである。
【０１３８】
図９（Ａ）に示す、第１の多重音声信号６２０における第１〜第４の音声信号６１１〜６１４の相対的な位置関係（第１の多重化位置関係）は、実施の形態２と同様、図３に示す入力音声信号６１０における相対的な位置関係と同一となる。
【０１３９】
一方、図９（Ｂ）に示す、本実施の形態の第２の多重音声信号６３０は、第１〜第４の音声信号６１１〜６１４をそれぞれ位相反転した、第１〜第４の反転音声信号６１１'〜６１４'により構成される。そして、第１〜第４の反転音声信号６１１'〜６１４'の相対的な位置関係（第２の多重化位置関係）は、実施の形態２と異なり、遅延グループである第２と第４の反転音声信号６１２'、６１４'のみが、第１の遅延時間ｄ１で遅延している。
【０１４０】
すなわち、第３の反転音声信号６１３'の上述の位置Ｖｔｃは、第１の反転音声信号６１１'の位置Ｖｔａと一致している。そして、第２および第４の反転音声信号６１２'、６１４'の上述の各位置Ｖｔｂ、Ｖｔｄは、位置Ｖｔａに対応する時刻ｔ１に対して、それぞれ第１の遅延時間ｄ１だけ遅延している。
【０１４１】
音声聴取装置４００は、このような第１の多重音声信号および第２の多重音声信号を受信し、これらを重畳して、重畳音声信号を生成する。この際、音声聴取装置４００の時間調整部４２０は、操作部４３０からの制御を受けて、上述の第１の重畳位置関係と第２の重畳位置関係との間で、上述の所定の重畳位置関係を切り替える。
【０１４２】
なお、本実施の形態において、遅延グループ（第２および第４音声信号）には音声番号１が割り当てられ、非遅延グループ（第１および第３の音声信号）には音声番号２が割り当てられているものとする。
【０１４３】
図１０は、本実施の形態における重畳音声信号の構成の例を模式的に示す図であり、図５に対応するものである。
【０１４４】
図１０（Ａ）に示すように、音声番号１（遅延グループ）が指定されたときの重畳音声信号６６０において、第１の音声信号６１１の位置Ｖｔａと、これを位相反転した第１の反転音声信号６１１'の位置Ｖｔａとは、一致する。また、同様に、第３の音声信号６１３の位置Ｖｔｃと、第３の反転音声信号６１３'の位置Ｖｔａとは、一致する。
【０１４５】
音声信号に、その位相が反転した関係にある音声信号が重畳されると、音声信号は、相殺される。したがって、音声番号１が指定されたときの重畳音声信号６６０の重畳音声では、第１の音声信号６１１の音声および第３の音声信号６１３の音声（非遅延グループの音声）は聞こえなくなる。
【０１４６】
また、音声番号１が指定されたときの重畳音声信号６６０において、第２の音声信号６１２の位置Ｖｔｂと、第２の反転音声信号６１２'の位置Ｖｔｂとは、第１の遅延時間ｄ１だけずれる。また、同様に、第４の音声信号６１４の位置Ｖｔｄと、第４の反転音声信号６１４'の位置Ｖｔｄとは、第１の遅延時間ｄ１だけずれる。したがって、第２の音声信号６１２の音声および第４の音声信号６１４の音声（遅延グループの音声）は、多少輪郭がぼやけるものの、聞こえることになる。
【０１４７】
一方、図１０（Ｂ）に示すように、音声番号２（非遅延グループ）が指定されたときの重畳音声信号６７０における各位置Ｖｔａ、Ｖｔｂ，Ｖｔｃ，Ｖｔｄの一致不一致は、図１０（Ａ）に示す重畳音声信号６６０の場合と逆のパターンとなる。したがって、音声番号２が指定されたときの重畳音声信号６７０の重畳音声では、遅延グループの音声はほとんど聞こえなくなり、非遅延グループの音声のみが聞こえることになる。
【０１４８】
したがって、音声聴取装置４００は、多重化位置関係を切り替えることにより、音声の間引き方を切り替えることができ、２つのグループのうちの任意のグループの音声信号のみを、選択的に聞こえるようにすることができる。
【０１４９】
このような音声多重化システム２００ａは、複数の音声信号の多重化位置が異なる二種類の多重音声信号のうち、一方を位相反転させておき、その重畳位置関係を調整して出力することができる。これにより、音声多重化システム２００ａは、非注目音を聞こえないようにし、相対的に注目音を聞き取り易くすることができる。
【０１５０】
なお、音声多重化システム２００ａは、特に聞き分け辛い２つの音声信号が存在するとき、それらの音声信号が異なるグループに属するように、グループ分けを行うことが望ましい。
【０１５１】
例えば、音声多重化システム２００ａは、複数の音声信号を、仮想音源空間に円弧状に配置して出力する場合、各音声信号が属するグループが、その並びの順序において交互に異なるように、グループ分けを行う。また、例えば、音声多重化システム２００ａは、音程が近い発話音声を異なるグループに属するように、グループ分けを行う。
【０１５２】
これにより、音声多重化システム２００ａは、音声が聞き取り辛くなるのを防ぎつつ、同時に出力する音声信号の数を増やすことができる。
【０１５３】
（実施の形態４）
本発明の実施の形態４は、本発明を、多数の音声信号（音声データ）を格納して再生するポータブルプレイヤーに適用した場合の、具体的態様の一例である。
【０１５４】
まず、本実施の形態に係る各装置およびシステムの構成について説明する。
【０１５５】
図１１は、本実施の形態に係る音声多重化装置および音声聴取装置ならびに音声多重化システムの構成の一例を示すブロック図であり、実施の形態２の図２に対応するものである。図２と同一部分には、同一符号を付し、これについての説明を省略する。
【０１５６】
図１１において、音声多重化システム２００ｂは、音声多重化装置１００ｂおよび音声出力装置５００を有する。
【０１５７】
音声多重化装置１００ｂは、実施の形態２の音声入力部１１０に代えて、音声入力部１１０ｂを有し、更に、時間調整部４２０、操作部４３０、および音声出力部４４０を有する。本実施の形態において、音声多重化装置１００ｂは、例えば、ポータブルプレイヤーである。
【０１５８】
音声入力部１１０ｂは、多数の音声信号を格納するデータベースを保持し、かかるデータベースから複数の音声信号を取得する。音声入力部１１０ｂは、音声圧縮部１１１、音声保持部１１２ｂ、および音声検索部１１３ｂを有する。
【０１５９】
音声保持部１１２ｂは、上述のデータベースである。音声保持部１１２ｂが格納する各音声信号には、音声信号のメタ情報が付加されている。
【０１６０】
メタ情報としては、各種の情報を適用することができる。
【０１６１】
データベースが多数の楽曲の音声データを集めたものである場合、メタ情報は、例えば、アーティスト名、およびジャンルを含むことができる。また、データベースが多数の講演の音声データを集めたものである場合、メタ情報は、例えば、日付、講演者名、および講演テーマを含むことができる。更に、メタ情報は、講演テーマが分類されるジャンルを含んでもよい。
【０１６２】
なお、音声入力部１１０ｂ自体が、例えば、各音声データに対して音声認識処理を行い、その認識結果を、メタ情報として、各音声信号に付与してもよい。
【０１６３】
音声検索部１１３ｂは、例えば、ユーザから音声信号の条件を入力し、当該入力条件を満たすメタ情報が付加された音声信号を、音声保持部１１２ｂにて検索する。そして、音声検索部１１３ｂは、検索された音声信号を、音声圧縮部１１１へ出力する。
【０１６４】
なお、以下の説明においては、複数の音声信号が常に検索されるものとする。１つの音声信号のみが検索された場合、例えば、後段の音声圧縮部１１１は、当該音声信号を、直接に音声出力部４４０へ出力すればよい。
【０１６５】
本実施の形態において、第１の音声多重化部１２０は、音声出力部４４０へ、第１の多重音声信号を出力する。また、第２の音声多重化部１３０は、時間調整部４２０へ、第２の多重音声信号を出力する。
【０１６６】
なお、本実施の形態において、第１の音声多重化部１２０は、例えば、全ての音声信号の開始位置を揃えて再生する。
【０１６７】
この場合、上述の第１の多重化位置関係は、第１の音声信号の開始位置に対して、他の全ての音声信号（第２の音声信号）の開始位置が一致する関係となる。そして、上述の第２の多重化位置関係は、第１の音声信号の開始位置に対して、他の全ての音声信号（第２の音声信号）の開始位置が所定時間遅延する関係となる。
【０１６８】
このような音声多重化システム２００ｂは、保持する多数の音声信号の中から複数の音声信号を選択し、選択した音声信号の音声を、同時に出力することができる。また、音声多重化システム２００ｂは、複数の音声信号の多重化位置が異なる二種類の多重音声信号を生成し、これら二種類の多重音声信号の重畳位置関係を調整して出力する。したがって、音声多重化システム２００ｂは、任意の音声信号を聞き取り易くすることができる。
【０１６９】
以上で、本実施の形態に係る各装置およびシステムの構成についての説明を終える。
【０１７０】
次に、本実施の形態に係る音声多重化装置１００ｂの動作について説明する。
【０１７１】
図１２は、音声多重化装置１００ｂの動作の一例を示すフローチャートであり、実施の形態２の図６および図７に対応するものである。図６および図７と同一部分には同一ステップ番号を付し、これについての説明を省略する。なお、音声多重化装置１００ｂは、たとえば、音声信号の検索の開始が指示されるごとに、以下の図１２に示す処理を実行する。
【０１７２】
まず、ステップＳ１０１１ｂにおいて、音声検索部１１３ｂは、音声保持部１１２ｂにおいて音声信号を検索する。
【０１７３】
そして、ステップＳ１０１２ｂにおいて、音声検索部１１３ｂは、検索された複数の音声信号を取得する。
【０１７４】
そして、ステップＳ１０２０〜Ｓ１０５０において、音声多重化装置１００ｂは、実施の形態２と同様に、複数の音声信号から、第１の多重音声信号と、これとは多重化位置関係が異なる第２の多重音声信号とを生成する。
【０１７５】
そして、ステップＳ２０２０〜２０７０において、音声多重化装置１００ｂは、実施の形態２の音声聴取装置４００と同様に、ユーザ操作に応じてその重畳位置関係を調整しつつ、重畳音声信号を生成して、音声出力装置５００へ出力する。
【０１７６】
例えば、時間調整部４２０は、予め定められた周期毎に、第２の多重音声信号に対する処理を行う。この周期が非常に短い場合、音声多重化装置１００ｂは、音声信号の再生の途中で、音を聞き取り易くする対象を切り替えることができる。
【０１７７】
このような動作により、音声多重化装置１００ｂは、複数の音声信号の音声を、特定の音声を聞き取り易くした状態で出力し、その出力の最中に、聞き取り易くする対象を切り替えることができる。
【０１７８】
以上で、本実施の形態に係る音声多重化装置１００ｂの動作についての説明を終える。
【０１７９】
このように、本実施の形態に係る音声多重化システム２００ｂは、検索結果が多い場合など、音声信号の数が多い場合であっても、ユーザに対して、複数の音声を同時に確認させることができ、所望の音声を探し出し易くすることができる。
【０１８０】
また、音声多重化システム２００ｂは、実施の形態１の音声多重化装置１００と音声聴取装置４００とを一体化したので、これらの間の通信回路や個別の筐体などを不要とすることができる。すなわち、音声多重化システム２００ｂは、システム全体を簡素化することができる。
【０１８１】
なお、音声多重化装置１００ｂは、実施の形態２のように、位相反転部１３２ａを有してもよい。この場合、実施の形態２と同様の効果を得ることができる。
【０１８２】
なお、以上説明した各実施の形態のうち、実施の形態２および実施の形態３では、音声信号を入力する装置として音声提供装置３００を備えた例について説明した。また、実施の形態４では、重畳音声信号を音声化する装置として音声出力装置５００を備えた例について説明した。しかし、本発明の適用は、これらに限定されない。
【０１８３】
例えば、本発明にかかる音声多重化装置は、マイクロフォンなどの音声入力機能と、音声聴取装置の機能と、スピーカなどの音声出力機能とを備えた、ヘッドセットとすることができる。
【０１８４】
また、第１の多重音声号と第２の多重音声号との重畳位置関係の切り替えの手法は、上記各実施の形態において、指定する音声番号をその番号の順番に従って切り替える手法としたが、これに限定されない。
【０１８５】
本発明にかかる音声聴取装置は、例えば、数値入力やキースイッチの押下などにより音声番号の指定を受け付け、指定された音声番号の音声信号が聞き取り易くなるように、上記重畳位置関係を切り替えてもよい。
【０１８６】
また、音声聴取装置は、例えば、各音声番号を配置した仮想軸上のポインタを移動させ、ポインタ位置がいずれかの音声番号の位置に一致したとき、その音声番号の音声信号が聞き取り易くなるように、上記重畳位置関係を切り替えてもよい。
【０１８７】
また、音声聴取装置は、例えば、第１の多重音声号の時間軸に対して第２の多重音声号の時間軸をスライドさせる操作を、ユーザから受け付けることにより、上記重畳位置関係を切り替えてもよい。
【０１８８】
また、本発明は、上述の音声チャットシステムやポータブルプレイヤー以外の各種システムおよび装置に適用することができる。例えば、本発明は、同時に複数のラジオ放送を受けて、所望のラジオ放送の音声を選択することができるラジオ受信機に適用してもよい。
【産業上の利用可能性】
【０１８９】
本発明に係る音声多重化装置、音声聴取装置、および音声多重化方法は、処理負荷を抑えた状態で注目音を聞き取り易くすることができる音声多重化装置、音声聴取装置、および音声多重化方法として有用である。
【符号の説明】
【０１９０】
１００、１００ａ、１００ｂ 音声多重化装置
１１０、１１０ｂ 音声入力部
１１１ 音声圧縮部
１１２ｂ 音声保持部
１１３ｂ 音声検索部
１２０ 第１の音声多重化部
１３０、１３０ａ 第２の音声多重化部
１３１ 遅延処理部
１３２ａ 位相反転部
１４０、４４０ 音声出力部
１４１ 多重音声送信部
２００、２００ａ、２００ｂ 音声多重化システム
３００ 音声提供装置
４００ 音声聴取装置
４１０ 多重音声受信部
４２０ 時間調整部
４３０ 操作部
５００ 音声出力装置
【技術分野】
【０００１】
本発明は、複数の音声信号を多重化して出力する音声多重化装置、音声聴取装置、および音声多重化方法に関する。
【背景技術】
【０００２】
音声チャットや電話会議などの音声コミュニケーション、および、複数の音声データを多重化して配信するラジオ放送など、複数の音が同時に出力されるケースが増えている。
【０００３】
ところが、聴取者にとっては、複数の音の中から所望の音（以下「注目音」という）を選択して聴取しようとするとき、当該注目音以外の音は、ノイズ（雑音）に感じられる。
【０００４】
そこで、例えば、特許文献１には、各音声信号の、注目音がないときの状態に基づいてフィルタを作成し、作成したフィルタを用いて注目音のみを抽出する技術が記載されている。また、例えば、特許文献２には、注目音以外の音（以下「非注目音」）の音声信号に対して、環境音として聞こえるように音声処理を行う技術が記載されている。これらの従来技術では、注目音のみを聞き取り易く再生しつつ、複数の音を再生することができる。また、公知の技術としては、音声を個別に符号化するオブジェクト符号化によって、複数の音声を多重化して送受信し、ユーザが音声を個別にコントロールする技術が知られている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平５−８７６１９号公報
【特許文献２】特開平８−１８６６４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来技術は、複数の音声信号を多重化して送受信し、重畳して再生するシステムによって、処理負荷が高くなるという課題を有する。すなわち、特許文献１記載の技術は、非注目音が発話音声などの非連続音の場合、非注目音の変化に応じて、フィルタを何度も繰り返し作成する必要が生じ、処理負荷が高くなる。また、特許文献１および特許文献２記載の技術は、音声チャットなどにおいて、不特定多数人から音声信号が送られてくる場合、その数に応じて処理負荷が高くなる。また、オブジェクト符号化技術では、個別にデータ圧縮した音声信号を多重化して送受信するが、音声を個別にコントロールする際の処理負荷は、音声の数に応じて高くなる。
【０００７】
複数の音声を重畳して出力する技術は、様々な分野への適用が期待されるが、処理負荷が高いと、携帯電話機などの小型携帯端末への適用が困難となる。したがって、かかる技術は、処理負荷を抑えた状態で注目音を聞き取り易くすることが可能であることが望まれる。
【０００８】
本発明の目的は、処理負荷を抑えた状態で注目音を聞き取り易くすることができる音声多重化装置、音声聴取装置、および音声多重化方法を提供することである。
【課題を解決するための手段】
【０００９】
本発明の音声多重化装置は、第１の音声信号および第２の音声信号を入力する音声入力部と、前記第１の音声信号と前記第２の音声信号とを第１の多重化位置関係で多重化して得られる、第１の多重音声信号を生成する第１の音声多重化部と、前記第１の音声信号と前記第２の音声信号とを前記第１の多重化位置関係とは異なる第２の多重化位置関係で多重化して得られる、第２の多重音声信号を生成する第２の音声多重化部と、前記第１の多重音声信号および前記第２の多重音声信号を出力する音声出力部とを有する。
【００１０】
本発明の音声聴取装置は、上記音声多重化装置から、前記第１の多重音声信号および前記第２の多重音声信号を取得する多重音声受信部と、前記第１の多重音声信号と前記第２の多重音声信号とを調整可能な所定の重畳位置関係で重畳して得られる、重畳音声信号を生成する時間調整部と、ユーザ操作に基づいて、前記第１の多重音声信号と前記第２の多重音声信号のそれぞれに含まれる前記第１の音声信号の任意の位置が一致する第１の重畳位置関係と、前記第１の多重音声信号と前記第２の多重音声信号のそれぞれに含まれる前記第２の音声信号の任意の位置が一致する第２の重畳位置関係との間で、前記所定の重畳位置関係を切り替える操作部と、前記重畳音声信号を音声出力装置へ出力する音声出力部とを有する。
【００１１】
本発明の音声多重化方法は、第１の音声信号および第２の音声信号を入力するステップと、前記第１の音声信号と前記第２の音声信号とを第１の多重化位置関係で多重化して、第１の多重音声信号を生成するステップと、前記第１の音声信号と前記第２の音声信号とを前記第１の多重化位置関係とは異なる第２の多重化位置関係で多重化して、第２の多重音声信号を生成するステップと、前記第１の多重音声信号および前記第２の多重音声信号を出力するステップとを有する。
【発明の効果】
【００１２】
本発明は、処理負荷を抑えた状態で注目音を聞き取り易くすることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態１に係る音声多重化装置の構成の一例を示すブロック図
【図２】本発明の実施の形態２に係る音声多重化装置および音声聴取装置ならびに音声多重化システムの構成の一例を示すブロック図
【図３】本発明の実施の形態２における入力音声信号の構成の一例を模式的に示す図
【図４】本発明の実施の形態２における第１および第２の多重音声信号の構成の一例を模式的に示す図
【図５】本発明の実施の形態２における重畳音声信号の構成の例を模式的に示す図
【図６】本発明の実施の形態２に係る音声多重化装置の動作の一例を示すフローチャート
【図７】本発明の実施の形態２に係る音声聴取装置の動作の一例を示すフローチャート
【図８】本発明の実施の形態３に係る音声多重化装置および音声聴取装置ならびに音声多重化システムの構成の一例を示すブロック図
【図９】本発明の実施の形態３における第１および第２の多重音声信号の構成の一例を模式的に示す図
【図１０】本発明の実施の形態３における重畳音声信号の構成の例を模式的に示す図
【図１１】本発明の実施の形態４に係る音声多重化装置および音声聴取装置ならびに音声多重化システムの構成の一例を示すブロック図
【図１２】本発明の実施の形態４に係る音声多重化装置の動作の一例を示すフローチャート
【発明を実施するための形態】
【００１４】
以下、本発明の各実施の形態について、図面を参照して詳細に説明する。
【００１５】
なお、各実施の形態において、複数の音声信号の多重化、および、複数の多重化音声信号の重畳は、各音声信号の時間軸上の位置（以下単に「位置」という）の相対的な関係を設定することを、少なくとも含むものとする。また、多重化において設定される相対的な関係は、「多重化位置関係」といい、重畳において設定される相対的な関係は、「重畳位置関係」というものとする。
【００１６】
（実施の形態１）
本発明の実施の形態１は、本発明に係る音声多重化装置の基本的態様の一例である。
【００１７】
図１は、本実施の形態に係る音声多重化装置の構成の一例を示すブロック図である。
【００１８】
図１において、音声多重化装置１００は、音声入力部１１０、第１の音声多重化部１２０、第２の音声多重化部１３０、および音声出力部１４０を有する。
【００１９】
音声入力部１１０は、第１の音声信号および第２の音声信号を入力する。
【００２０】
第１の音声多重化部１２０は、第１の音声信号と第２の音声信号とを第１の多重化位置関係で多重化して得られる、第１の多重音声信号を生成する。
【００２１】
第２の音声多重化部１３０は、第１の音声信号と第２の音声信号とを第１の多重化位置関係とは異なる第２の多重化位置関係で多重化して得られる、第２の多重音声信号を生成する。
【００２２】
音声出力部１４０は、第１の多重音声信号および第２の多重音声信号を出力する。
【００２３】
音声多重化装置１００は、例えば、ＣＰＵ（central processing unit）、およびＲＡＭ（random access memory）等の記憶媒体などを有する。この場合、上述の各機能部は、ＣＰＵにより制御プログラムが実行することにより実現される。
【００２４】
このような音声多重化装置１００は、第１の音声信号に対する第２の音声信号の多重化位置が異なる、二種類の多重音声信号を出力することができる。
【００２５】
このような二種類の多重音声信号は、第１の音声信号のみ、あるいは、第２の音声信号のみを、選択的に一致させた状態で、重畳することができる。一致した音声信号の音声は、一致していない音声信号の音声に比べて、より明瞭となり、より聞き取り易くなる。すなわち、このような二種類の多重音声信号は、重畳する際の相対位置関係を調整するだけで、第１の音声信号および第２の音声信号を、選択的に聞き取り易くすることができる。
【００２６】
したがって、音声多重化装置１００は、処理負荷を抑えた状態で、注目音を聞き取り易くすることができる。
【００２７】
（実施の形態２）
本発明の実施の形態２は、本発明を、不特定多数の話者が同時に複数の話題について会話する、音声チャットシステムに適用した場合の、具体的態様の一例である。
【００２８】
まず、本実施の形態に係る各装置およびシステムの構成について説明する。
【００２９】
図２は、本実施の形態に係る音声多重化装置および音声聴取装置の構成ならびに音声多重化システムの構成の一例を示すブロック図である。
【００３０】
図２において、音声多重化システム２００は、第１〜第４の音声提供装置３００−１〜３００−４、音声多重化装置１００、音声聴取装置４００、および音声出力装置５００を有する。
【００３１】
なお、複数の音声提供装置３００と音声多重化装置１００、音声多重化装置１００と音声聴取装置４００、および音声聴取装置４００と音声出力装置５００は、それぞれ無線または有線により通信可能に接続されているものとする。そして、音声多重化装置１００から音声聴取装置４００への送信帯域は、２つの多重音声信号を分離可能な第１のチャンネルと第２のチャンネルを含むものとする。２つの多重音声信号の伝送方法は、個別の回線を有しても良いし、時分割多重方式、周波数分割多重方式であってもよい。
【００３２】
また、第１〜第４の音声提供装置３００−１〜３００−４は、同一の構成を有するものとし、以下、適宜「音声提供装置３００」としてまとめて説明する。
【００３３】
更に、第１〜第４の音声提供装置３００−１〜３００−４および音声聴取装置４００は、同一の構成とすることができるが、ここでは、音声の供給側か聴取側かの区別に従い、これらを区別して説明する。
【００３４】
音声提供装置３００は、例えば、音声チャットを行うユーザが携帯する情報通信端末である。音声提供装置３００は、マイクロフォンを有し、ユーザの発話音声を含む音声を入力して電気信号である音声信号に変換し、音声多重化装置１００へ送信する。本実施の形態では、音声信号はデジタルとする。
【００３５】
音声多重化装置１００は、例えば、音声チャットサーバである。音声多重化装置１００は、第１〜第４の音声提供装置３００−１〜３００−４から送られてくる４種類の音声信号（以下、順に「第１〜第４の音声信号」という）を受信する。そして、音声多重化装置１００は、受信した第１〜第４の音声信号を、多重化方法の異なる２チャンネルの（２種類の）多重音声信号に多重化して、音声聴取装置４００へ送信する。以下、受信時の第１〜第４の音声信号の一まとまりは、以下「入力音声信号」という。
【００３６】
図３は、本実施の形態において想定する、入力音声信号の構成の一例を模式的に示す図である。
【００３７】
図３に示すように、入力音声信号６１０は、ここでは、第１〜第４の音声信号６１１〜６１４から構成されるものとする。入力音声信号６１０上の任意の時間ｔ０における第１〜第４の音声信号６１１〜６１４のそれぞれの位置は、順に、Ｖｔａ、Ｖｔｂ、Ｖｔｃ、Ｖｔｄであるものとする。
【００３８】
図２の音声多重化装置１００は、音声入力部１１０、第１の音声多重化部１２０、第２の音声多重化部１３０、および多重音声送信部１４１を有する。
【００３９】
音声入力部１１０は、第１〜第４の音声信号を入力する。
【００４０】
具体的には、音声入力部１１０は、第１〜第４の音声提供装置３００−１〜３００−４から送信された第１〜第４の音声信号を受信し、音声圧縮部１１１により、第１〜第４の音声信号の振幅をそれぞれ圧縮する。そして、音声入力部１１０は、圧縮した第１〜第４の音声信号（以下単に「第１〜第４の音声信号」という）を、第１の音声多重化部１２０および第２の音声多重化部１３０へそれぞれ出力する。
【００４１】
この際、音声入力部１１０は、第１の音声信号の任意の位置に対して、当該位置と同一のタイミングで受信した第２〜第４の音声信号のそれぞれの位置が一致するように、第１〜第４の音声信号を出力する。
【００４２】
なお、本実施の形態における圧縮とは、音声信号を同時に送信している音声提供装置３００の数（本実施の形態では４、以下「音声信号の数」という）に応じて、各音声信号の振幅（音圧レベル）を小さくすることを含む。例えば、圧縮は、各音声信号の振幅を、音声信号の数で除算することにより行う。
【００４３】
また、圧縮は、各音声信号の振幅の最大値が、予め定めた上限値に一致するように、音量の小さい音声信号の振幅を低減あるいは増大させることを含んでもよい。
【００４４】
第１の音声多重化部１２０は、第１〜第４の音声信号を第１の多重化位置関係で多重化して得られる、第１の多重音声信号を生成する。
【００４５】
具体的には、第１の音声多重化部１２０は、入力された第１〜第４の音声信号を、その入力タイミングに沿って、第１のチャンネルでの送信の対象として、そのまま多重音声送信部１４１へ出力する。
【００４６】
すなわち、上述の第１の多重化位置関係では、受信（入力）された第１〜第４の音声信号の相対的な位置が変化せず、送信（出力）は受信（入力）と同一のタイミングとなる。
【００４７】
第２の音声多重化部１３０は、第１〜第４の音声信号を第１の多重化位置関係とは異なる第２の多重化位置関係で多重化して得られる、第２の多重音声信号を生成する。
【００４８】
すなわち、上述の第２の多重化位置関係では、受信（入力）された第１〜題の音声信号の相対的な位置が変化し、送信（出力）は受信（入力）とはタイミングが異なる。
【００４９】
具体的には、第２の音声多重化部１３０は、遅延処理部１３１により、第２〜第４の音声信号を、それぞれ異なる所定時間で遅延させる。遅延処理部１３１は、例えば、任意の時間だけ音声信号を保存した後に出力する、デジタルディレイである。そして、第２の音声多重化部１３０は、第１の音声信号と、遅延した第２〜第４の音声信号とを、その遅延されたタイミングに沿って、第２のチャンネルでの送信の対象として、多重音声送信部１４１へ出力する。
【００５０】
すなわち、上述の第２の多重化位置関係は、第１の音声信号の任意の位置に対して、当該位置と同一のタイミングで受信（入力）された第２〜第４の音声信号の位置がそれぞれに対応する所定時間遅延する関係となる。
【００５１】
図４は、本実施の形態における第１および第２の多重音声信号の構成の一例を模式的に示す図であり、図３に対応するものである。図４（Ａ）は、第１の多重音声信号の構成を示す。図４（Ｂ）は、第２の多重音声信号の構成を示す。
【００５２】
図４（Ａ）に示すように、第１の多重音声信号６２０における第１〜第４の音声信号６１１〜６１４の相対的な位置関係（第１の多重化位置関係）は、図３に示す入力音声信号６１０における相対的な位置関係とほぼ同一となる。
【００５３】
すなわち、第２〜第４の音声信号６１２〜６１４の上述の各位置Ｖｔｂ、Ｖｔｃ、Ｖｔｄは、第１の音声信号３１１の位置Ｖｔａに対応する時刻ｔ１に対して、一致している。
【００５４】
一方、図４（Ｂ）に示すように、第２の多重音声信号６３０における第１〜第４の音声信号６１１〜６１４の相対的な位置関係（第２の多重化位置関係）は、図３に示す入力音声信号６１０における相対的な位置関係と異なる。
【００５５】
すなわち、第２〜第４の音声信号６１２〜６１４の上述の各位置Ｖｔｂ、Ｖｔｃ、Ｖｔｄは、第１の音声信号３１１の位置Ｖｔａに対応する時刻ｔ１に対して、それぞれ遅延している。
【００５６】
なお、第２〜第４の音声信号６１２〜６１４の遅延時間ｄ１〜ｄ３は、それぞれ異なるものとする。そして、遅延時間ｄ３は遅延時間ｄ２よりも長く、遅延時間ｄ２は遅延時間ｄ１よりも長いものとする。また、遅延時間ｄ１〜ｄ３を示す情報は、第２の多重音声信号に付加されるなどして、音声多重化装置１００が取得可能であるものとする。
【００５７】
図２の多重音声送信部１４１は、第１の多重音声信号および第２の多重音声信号を出力する。
【００５８】
具体的には、多重音声送信部１４１は、入力された第１の多重音声信号および第２の多重音声信号を、それぞれ第１のチャンネルと第２のチャンネルを用いて、音声聴取装置４００へ送信する。
【００５９】
音声聴取装置４００は、例えば、音声チャットを行うユーザが使用するパーソナルコンピュータ（音声チャットクライアント）である。
【００６０】
音声聴取装置４００は、多重音声受信部４１０、時間調整部４２０、操作部４３０、および音声出力部４４０を有する。
【００６１】
多重音声受信部４１０は、音声多重化装置１００から、第１の多重音声信号および第２の多重音声信号を取得する。
【００６２】
具体的には、多重音声受信部４１０は、音声多重化装置１００から上述の２チャンネルを用いて送信された第１の多重音声信号および第２の多重音声信号を受信する。そして、多重音声受信部４１０は、受信した第１の多重音声信号および第２の多重音声信号を、時間調整部４２０へ出力する。
【００６３】
時間調整部４２０は、第１の多重音声信号と第２の多重音声信号とを調整可能な所定の重畳位置関係で重畳して得られる、重畳音声信号を生成する。
【００６４】
具体的には、時間調整部４２０は、操作部４３０による制御を受けて、第１の多重音声信号および第２の多重音声信号の一方を遅延させる。これにより、時間調整部４２０は、第１の多重音声信号と第２の多重音声信号との相対位置関係を調整する。そして、時間調整部４２０は、調整された相対位置関係で第１の多重音声信号と第２の多重音声信号とを重畳して重畳音声信号を生成し、音声出力部４４０へ出力する。
【００６５】
操作部４３０は、ユーザ操作に基づいて、少なくとも、第１の重畳位置関係、第２の重畳位置関係、第３の重畳位置関係、および第４の重畳位置関係の間で、上述の所定の重畳位置関係を切り替える。
【００６６】
具体的には、操作部４３０は、例えば、ダイヤルやスライダーなど、プラス方向とマイナス方向の入力値を得ることができる操作インタフェースを有する。そして、操作部４３０は、入力値に応じて音を聞き取り易くする対象として指定された音声信号の任意の位置が、第１の多重音声信号と第２の多重音声信号との間で一致するように、所定の重畳位置関係を切り替える。
【００６７】
第１の重畳位置関係は、第１の多重音声信号と第２の多重音声信号とに含まれる第１の音声信号の任意の位置が一致する重畳位置関係である。
【００６８】
第２の重畳位置関係は、第１の多重音声信号と第２の多重音声信号とに含まれる第２の音声信号の任意の位置が一致する重畳位置関係である。
【００６９】
第３の重畳位置関係は、第１の多重音声信号と第２の多重音声信号とに含まれる第３の音声信号の任意の位置が一致する重畳位置関係である。
【００７０】
第４の重畳位置関係は、第１の多重音声信号と第２の多重音声信号とに含まれる第４の音声信号の任意の位置が一致する重畳位置関係である。
【００７１】
なお、第１〜第４の音声信号には、順に、１〜４の音声番号が割り当てられているものとする。そして、操作部４３０は、入力値にしたがって、あたかも音声番号を指定するポインタを移動させるように、第１の多重音声信号と第２の多重音声信号との重畳位置関係を切り替える。
【００７２】
また、第１〜第４の重畳位置関係は、例えば、時間調整部４２０が、音声多重化装置１００から遅延時間ｄ１〜ｄ３を示す情報を取得して保持しておき、遅延時間ｄ１〜ｄ３に基づいて設定するものとする。
【００７３】
図５は、本実施の形態における重畳音声信号の構成の例を模式的に示す図であり、図４に対応するものである。図５（Ａ）は、音声番号１が指定されたとき（つまり第１の重畳位置関係で重畳が行われたとき）の重畳音声信号の構成を示す。図５（Ｂ）は、音声番号２が指定されたとき（つまり第２の重畳位置関係で重畳が行われたとき）の重畳音声信号の構成を示す。
【００７４】
図５（Ａ）に示すように、音声番号１が指定されたときの重畳音声信号６４０では、第１の音声信号６１１の位置Ｖｔａは、第１の多重音声信号６２０と第２の多重音声信号６３０との間で一致する。そして、他の第２〜第４の音声信号６１２〜６１４の各位置Ｖｔｂ、Ｖｔｃ、Ｖｔｄは、第１の多重音声信号６２０と第２の多重音声信号６３０との間で、いずれも一致しない。
【００７５】
位置が一致した状態で同一の２つの音声信号が重畳された重畳音声信号６４０は、振幅は倍になり、音量が増すことになる。一方、位置が一致していない状態で同一の２つの音声信号が重畳された重畳音声信号６４０は、振幅は倍にはならず、その音声は、残響あるいは反響を伴っているように聴こえ、輪郭がぼやけた音となる。
【００７６】
したがって、図５（Ａ）に示すような重畳音声信号６４０の音声（以下「重畳音声」という）では、第１の音声信号６１１の音声のみが明瞭に聞こえ、第２〜第４の音声信号６１２〜６１４の各音声は、不明瞭に聞こえることになる。
【００７７】
図５（Ｂ）に示すように、音声番号２が指定されたときの重畳音声信号６５０では、第２の音声信号６１２の位置Ｖｔｂのみが、第１の多重音声信号６２０と第２の多重音声信号６３０との間で一致する。このような重畳音声では、第２の音声信号６１２の音声のみが明瞭に聞こえることになる。
【００７８】
したがって、音声聴取装置４００は、多重化位置関係を切り替えることにより、明瞭に聞こえる音声を切り替え、任意の音声信号を選択的に聞こえ易くすることができる。
【００７９】
なお、多重化位置関係は、非注目音声の遅延時間が短過ぎると、注目音声と非注目音声との聞こえ方の差が小さくなる。多重化位置関係は、逆に、非注目音声の遅延時間が長すぎると、第１の多重音声信号６２０における当該非注目音声と第２の多重音声信号６３０における当該非注目音声とが独立して、同じ音声が２度出力されたように聞こえてしまう。そこで、０以外の全ての遅延時間（図４（Ｂ）の遅延時間ｄ１〜ｄ３）は、数十ミリ秒から数百ミリ秒など、実験などによって予め定められた数値範囲に収まることが望ましい。
【００８０】
更にいえば、第１〜第４の音声信号は、所定の時間ずつずれていることが望ましい。すなわち、遅延時間ｄ２は、遅延時間ｄ１の２倍であり、遅延時間ｄ３は遅延時間ｄ１の３倍であることが望ましい。これにより、時間調整部４２０は、重畳位置関係の調整を、遅延時間ｄ１を単位として行うことができ、その処理が容易となる。
【００８１】
図２の音声出力部４４０は、重畳音声信号を音声出力装置５００へ出力する。
【００８２】
具体的には、音声出力部４４０は、入力された重畳音声信号を、音声出力装置５００へ送信する。
【００８３】
音声出力装置５００は、例えば、ユーザがパーソナルコンピュータに接続して使用するヘッドフォンである。音声出力装置５００は、音声聴取装置４００から送信された重畳音声信号を受信し、音声に変換して出力する。
【００８４】
音声提供装置３００、音声多重化装置１００、および音声聴取装置４００は、例えば、ＣＰＵ、およびＲＡＭ（random access memory）などの記憶媒体等を有する。この場合、上述の各機能部は、ＣＰＵにより制御プログラムが実行することにより実現される。
【００８５】
このような音声多重化システム２００は、複数の音声信号の多重化位置が異なる、二種類の多重音声信号を出力することができる。
【００８６】
このような二種類の多重音声信号は、複数の音声信号のうちの任意の１つのみを選択的に一致させた状態で、重畳することができる。一致した音声信号の音声は、一致していない音声信号の音声に比べて、より明瞭となり、より聞き取り易くなる。すなわち、このような二種類の多重音声信号は、重畳の際の相対位置関係を調整するだけで、任意の音声信号を、選択的に聞き取り易くすることができる。
【００８７】
音声多重化システム２００は、特許文献１記載の技術のようにフィルタを何度も作成したり、特許文献２記載の技術のように音声信号ごとの音声処理を行ったりする必要がない。したがって、音声多重化システム２００は、従来技術に比べて、処理負荷を抑えた状態で、注目音を聞き取り易くすることができる。
【００８８】
また、音声多重化システム２００は、ユーザが指定した音声番号の音声信号が一致するように、二種類の多重音声信号の重畳位置を調整することができる。これにより、音声多重化システム２００は、ユーザの所望の音声（注目音）のみを聞き取り易くすることができる。
【００８９】
また、音声多重化システム２００は、複数のユーザから発話音声を取得し、これを多重化して再生することができる。これにより、音声多重化システム２００は、多数人での音声チャットを、注目音のみを聞き取り易くした状態で実現することができる。
【００９０】
また、音声多重化システム２００は、音声信号の多重化の際に、音声の振幅の圧縮を行うので、多重化された音声信号の振幅が大きくなり過ぎて再生音が歪むのを防ぐことができる。
【００９１】
以上で、本実施の形態に係る各装置およびシステムの構成についての説明を終える。
【００９２】
次に、本実施の形態に係る各装置の動作について説明する。
【００９３】
図６は、音声多重化装置１００の動作の一例を示すフローチャートである。
【００９４】
まず、ステップＳ１０１０において、音声入力部１１０は、第１〜第４の音声提供装置３００−１〜３００−４から送信された各音声信号（第１〜第４の音声信号）を、受信する。例えば、音声入力部１１０は、予め定められた周期毎に、音声信号の受信を行い、次のステップ１０２０へ進む。
【００９５】
そして、ステップＳ１０２０において、音声圧縮部１１１は、受信した受信した各音声信号（第１〜第４の音声信号）の振幅を、それぞれ圧縮する。
【００９６】
そして、ステップＳ１０３０において、第１の音声多重化部１２０は、第１の多重音声信号を生成し、第１のチャンネルでの送信の対象として出力する。すなわち、第１のチャンネルは、全ての音声が遅延なく多重化されたチャンネルなる。
【００９７】
そして、ステップＳ１０４０において、遅延処理部１３１は、音声信号ごとに定めた遅延を、各音声信号に設定する。すなわち、遅延処理部１３１は、各音声信号を、適宜、それぞれ異なる遅延時間で遅延させる処理（以下「遅延処理」という）を行う。
【００９８】
そして、ステップＳ１０５０において、第２の音声多重化部１３０は、遅延処理後の音声信号（第１〜第４の音声信号）から第２の多重音声信号を生成し、第２のチャンネルでの送信の対象として出力する。すなわち、第２のチャンネルは、各音声が他の全ての音声とずれた状態で多重化されたチャンネルなる。
【００９９】
そして、ステップＳ１０６０において、多重音声送信部１４１は、第１および第２の多重音声信号を、音声聴取装置４００へと送信する。
【０１００】
そして、ステップＳ１０７０において、音声入力部１１０は、ユーザ操作などにより、音声の多重化の処理の終了要求があったか否かを判断する。
【０１０１】
音声入力部１１０は、終了要求がない場合（Ｓ１０７０：ＮＯ）、ステップＳ１０１０へ戻る。また、音声入力部１１０は、終了要求があった場合（Ｓ１０７０：ＹＥＳ）、一連の処理を終了する。
【０１０２】
このような動作により、音声多重化装置１００は、音声提供装置３００から複数の音声信号を受信し、複数の音声信号の多重化位置関係が異なる二種類の多重音声信号を、音声聴取装置４００へ連続的に送信することができる。
【０１０３】
図７は、音声聴取装置４００の動作の一例を示すフローチャートである。なお、時間調整部４２０は、例えば、第１の重畳位置関係を、所定の重畳位置関係の初期状態とする。
【０１０４】
まず、ステップＳ２０１０において、多重音声受信部４１０は、音声多重化装置１００から送信された第１の多重音声信号および第２の多重音声信号を受信する。例えば、多重音声受信部４１０は、予め定められた周期毎に、第１の多重音声信号および第２の多重音声信号の受信を行い、次のステップＳ２０２０へ進む。
【０１０５】
そして、ステップＳ２０２０において、時間調整部４２０は、第１の多重音声信号および第２の多重音声信号から重畳音声信号を生成する。そして、音声出力部４４０は、この重畳音声信号を、音声出力装置５００へ送信する。重畳音声信号は、上述の通り、第１の多重音声信号および第２の多重音声信号を、現在の所定の重畳位置関係で重畳したものである。
【０１０６】
そして、ステップＳ２０３０において、多重音声受信部４１０は、ユーザ操作などにより、音声の多重化の処理の終了要求があったか否かを判断する。
【０１０７】
多重音声受信部４１０は、終了要求がない場合（Ｓ２０３０：ＮＯ）、ステップＳ２０４０へ進む。また、多重音声受信部４１０は、終了要求があった場合（Ｓ２０３０：ＹＥＳ）、一連の処理を終了する。
【０１０８】
ステップＳ２０４０において、操作部４３０は、プラス方向またはマイナス方向の入力値があったか、つまり、音声番号を指定するポインタ移動の操作の入力があったか否かを判断する。
【０１０９】
操作部４３０は、移動操作があった場合（Ｓ２０４０：ＹＥＳ）、ステップＳ２０５０へ進む。また、操作部４３０は、移動操作がない場合（Ｓ２０４０：ＮＯ）、ステップＳ２０１０へ戻る。
【０１１０】
ステップＳ２０５０において、操作部４３０は、ポインタ移動がプラス方向であるか否かを判断する。
【０１１１】
すなわち、操作部４３０は、音声番号１から音声番号２へというように、音声番号が増大する方向にポインタが移動されたか否かを判断する。
【０１１２】
操作部４３０は、ポインタ移動がプラス方向である場合（Ｓ２０５０：ＹＥＳ）、ステップＳ２０６０へ進む。また、操作部４３０は、ポインタ移動がマイナス方向である場合（Ｓ２０５０：ＮＯ）、ステップＳ２０７０へ進む。
【０１１３】
ステップＳ２０６０において、操作部４３０は、現状よりも第１の多重音声信号（つまり第１のチャンネルの信号）を相対的に遅延させるように、時間調整部４２０の所定の重畳位置関係を切り替えて、ステップＳ２０１０へ戻る。
【０１１４】
すなわち、操作部４３０は、第１の音声信号から第２の音声信号へというように、１つ大きい音声番号に対応する音声信号の任意の位置を、第１の多重音声信号と第２の多重音声信号との間で一致させる。これは、重畳音声信号を、図５（Ａ）に示す状態から、図５（Ｂ）に示す状態へと切り替えることに相当する。
【０１１５】
ステップＳ２０７０において、操作部４３０は、現状よりも第２の多重音声信号（つまり第２のチャンネルの信号）を相対的に遅延させるように、時間調整部４２０の所定の重畳位置関係を切り替えて、ステップＳ２０１０へ戻る。
【０１１６】
すなわち、操作部４３０は、第２の音声信号から第１の音声信号へというように、１つ小さい音声番号に対応する音声信号の任意の位置を、第１の多重音声信号と第２の多重音声信号との間で一致させる。これは、重畳音声信号を、図５（Ｂ）に示す状態から、図５（Ａ）に示す状態へと切り替えることに相当する。
【０１１７】
このような動作により、音声聴取装置４００は、複数の音声信号の多重化位置関係が異なる二種類の多重音声信号を重畳した重畳音声信号を、音声出力装置５００へ連続的に送信することができる。また、音声聴取装置４００は、ユーザが所望する音声信号が聞こえ易くなるように、重畳位置関係を調整することができる。
【０１１８】
なお、操作部４３０は、入力値の累積値の上限および下限の判定を行うことが望ましいが、ここでは省略している。入力値の累積値の上限は、音声信号の数から１引いた数（本実施の形態では４−１＝３）となる。また、入力値の累積値の下限は、０となる。
【０１１９】
また、操作部４３０は、入力値の累積値に上限および下限を設けず、累積値が上限を超えたとき累積値を下限（０）にし、累積値が下限を下回ったとき累積値を上限（３）にするようにしてもよい。また、この場合、操作部４３０は、プラス方向の入力値、および、マイナス方向の入力値の一方のみを受け付けるようにすることができる。
【０１２０】
また、操作部４３０は、１方向の入力値のみを受け付ける場合、累積値が上限に達したとき、入力値をマイナス方向の値として扱い、累積値が下限に達したとき、入力値をプラス方向の値として扱うようにしてもよい。
【０１２１】
以上で、本実施の形態に係る各装置の動作についての説明を終える。
【０１２２】
以上のように、本実施の形態に係る音声多重化システム２００は、複数の音声信号の多重化位置が異なる二種類の多重音声信号を生成し、これらの重畳音声信号を、その重畳位置関係を調整して出力することができる。これにより、音声多重化システム２００は、従来技術に比べて、処理負荷を抑えた状態で、複数の音声を同時に出力しつつ、注目音を聞き取り易くすることができる。
【０１２３】
なお、音声多重化システム２００は、３種類以上の多重音声信号を生成し、これらを、それぞれの重畳位置関係を調整して出力するようにしてもよい。この場合、時間調整部４２０は、聞き取り易くする対象として指定された音声信号のみが全ての多重音声信号間で一致するように、重畳位置関係を調整すればよい。
【０１２４】
また、音声多重化システム２００は、音声信号がデジタルの場合、多重音声信号単位（チャンネル単位）で、サンプリング周波数を下げてもよい。例えば、音声多重化装置１００は、第１の多重音声信号については、高品質の音声信号のままで送信し、第２の多重音声信号については、そのサンプリング周波数を下げてから、送信する。これにより、音声多重化システム２００は、重畳音声信号の音声の音質を劣化させずに、扱うデータ量を低減し、処理負荷を低減することが可能となる。
【０１２５】
また、音声多重化システム２００は、多重音声信号の数（チャンネル数）が２である場合、それぞれの多重音声信号を、従来のステレオ音声の左右チャンネルに割り当ててもよい。これにより、音声多重化システム２００は、多重音声信号の通信処理を従来のステレオ音声のシステムと共通化することができる。
【０１２６】
また、音声多重化システム２００は、各音声信号を、ステレオ音声の左右チャンネルに割り当ててもよく、また、ステレオ音声により実現される仮想音響空間に立体的に配置してもよい。これにより、音声多重化システム２００は、注目音声を更に聞き分け易くすることができる。
【０１２７】
また、音声多重化システム２００は、遅延時間が上述の定められた数値範囲に収まるように、遅延時間の上限値を遅延時間の下限値で除算した数以下に、出力対象とする音声信号の数を制限しても良い。これにより、音声多重化システム２００は、音声が聞き取り辛くなるのを防ぐことができる。
【０１２８】
なお、音声多重化システム２００は、複数の音声信号のうち、互いに聞き分け易い複数の音声信号が存在するとき、それらの音声信号の遅延時間をずらさないようにしてもよい。
【０１２９】
例えば、音声多重化システム２００ａは、複数の音声信号を、仮想音源空間に円弧状に配置して出力する場合、位置が離れている音声信号については、遅延時間を一致させる。また、例えば、音声多重化システム２００ａは、音程が大きく異なる発話音声の音声信号については、遅延時間を一致させる。
【０１３０】
これにより、音声多重化システム２００は、音声が聞き取り辛くなるのを防ぎつつ、同時に出力する音声信号の数を増やすことができる。
【０１３１】
（実施の形態３）
本発明の実施の形態３は、第２の多重音声信号の位相を反転させることにより、非注目音声の打ち消しを行う例である。
【０１３２】
図８は、本実施の形態に係る音声多重化装置および音声聴取装置ならびに音声多重化システムの構成の一例を示すブロック図であり、実施の形態２の図２に対応するものである。図２と同一部分には同一符号を付し、これについての説明を省略する。
【０１３３】
図８において、音声多重化システム２００ａは、図１の音声多重化装置１００に代えて、音声多重化装置１００ａを有する。音声多重化装置１００ａの第２の音声多重化部１３０ａは、遅延処理部１３１に加えて、位相反転部１３２ａを有する。
【０１３４】
位相反転部１３２ａは、第１の多重音声信号および第２の多重音声信号の一方に含まれる、第１の音声信号および第２の音声信号の位相を、それぞれ反転させる。本実施の形態において、位相反転部１３２ａは、第２の多重音声信号の第１〜第４の音声信号の位相を、全て反転させるものとする。位相反転部１３２ａは、位相反転を、遅延処理の前に行ってもよいし、遅延処理の後に行ってもよい。
【０１３５】
なお、本実施の形態において、遅延処理部１３１は、第２の多重音声信号に含まれる音声信号を２グループに分け、そのうちの１つのグループの音声信号を、全て同一の遅延時間で遅延させるものとする。
【０１３６】
具体的には、遅延処理部１３１は、第１および第３の音声信号を非遅延グループとし、第２および第４の音声信号を遅延グループとして、第２および第４の音声信号を、第１の遅延時間で遅延させるものとする。
【０１３７】
図９は、本実施の形態における第１および第２の多重音声信号の構成の一例を模式的に示す図であり、実施の形態２の図４に対応するものである。
【０１３８】
図９（Ａ）に示す、第１の多重音声信号６２０における第１〜第４の音声信号６１１〜６１４の相対的な位置関係（第１の多重化位置関係）は、実施の形態２と同様、図３に示す入力音声信号６１０における相対的な位置関係と同一となる。
【０１３９】
一方、図９（Ｂ）に示す、本実施の形態の第２の多重音声信号６３０は、第１〜第４の音声信号６１１〜６１４をそれぞれ位相反転した、第１〜第４の反転音声信号６１１'〜６１４'により構成される。そして、第１〜第４の反転音声信号６１１'〜６１４'の相対的な位置関係（第２の多重化位置関係）は、実施の形態２と異なり、遅延グループである第２と第４の反転音声信号６１２'、６１４'のみが、第１の遅延時間ｄ１で遅延している。
【０１４０】
すなわち、第３の反転音声信号６１３'の上述の位置Ｖｔｃは、第１の反転音声信号６１１'の位置Ｖｔａと一致している。そして、第２および第４の反転音声信号６１２'、６１４'の上述の各位置Ｖｔｂ、Ｖｔｄは、位置Ｖｔａに対応する時刻ｔ１に対して、それぞれ第１の遅延時間ｄ１だけ遅延している。
【０１４１】
音声聴取装置４００は、このような第１の多重音声信号および第２の多重音声信号を受信し、これらを重畳して、重畳音声信号を生成する。この際、音声聴取装置４００の時間調整部４２０は、操作部４３０からの制御を受けて、上述の第１の重畳位置関係と第２の重畳位置関係との間で、上述の所定の重畳位置関係を切り替える。
【０１４２】
なお、本実施の形態において、遅延グループ（第２および第４音声信号）には音声番号１が割り当てられ、非遅延グループ（第１および第３の音声信号）には音声番号２が割り当てられているものとする。
【０１４３】
図１０は、本実施の形態における重畳音声信号の構成の例を模式的に示す図であり、図５に対応するものである。
【０１４４】
図１０（Ａ）に示すように、音声番号１（遅延グループ）が指定されたときの重畳音声信号６６０において、第１の音声信号６１１の位置Ｖｔａと、これを位相反転した第１の反転音声信号６１１'の位置Ｖｔａとは、一致する。また、同様に、第３の音声信号６１３の位置Ｖｔｃと、第３の反転音声信号６１３'の位置Ｖｔａとは、一致する。
【０１４５】
音声信号に、その位相が反転した関係にある音声信号が重畳されると、音声信号は、相殺される。したがって、音声番号１が指定されたときの重畳音声信号６６０の重畳音声では、第１の音声信号６１１の音声および第３の音声信号６１３の音声（非遅延グループの音声）は聞こえなくなる。
【０１４６】
また、音声番号１が指定されたときの重畳音声信号６６０において、第２の音声信号６１２の位置Ｖｔｂと、第２の反転音声信号６１２'の位置Ｖｔｂとは、第１の遅延時間ｄ１だけずれる。また、同様に、第４の音声信号６１４の位置Ｖｔｄと、第４の反転音声信号６１４'の位置Ｖｔｄとは、第１の遅延時間ｄ１だけずれる。したがって、第２の音声信号６１２の音声および第４の音声信号６１４の音声（遅延グループの音声）は、多少輪郭がぼやけるものの、聞こえることになる。
【０１４７】
一方、図１０（Ｂ）に示すように、音声番号２（非遅延グループ）が指定されたときの重畳音声信号６７０における各位置Ｖｔａ、Ｖｔｂ，Ｖｔｃ，Ｖｔｄの一致不一致は、図１０（Ａ）に示す重畳音声信号６６０の場合と逆のパターンとなる。したがって、音声番号２が指定されたときの重畳音声信号６７０の重畳音声では、遅延グループの音声はほとんど聞こえなくなり、非遅延グループの音声のみが聞こえることになる。
【０１４８】
したがって、音声聴取装置４００は、多重化位置関係を切り替えることにより、音声の間引き方を切り替えることができ、２つのグループのうちの任意のグループの音声信号のみを、選択的に聞こえるようにすることができる。
【０１４９】
このような音声多重化システム２００ａは、複数の音声信号の多重化位置が異なる二種類の多重音声信号のうち、一方を位相反転させておき、その重畳位置関係を調整して出力することができる。これにより、音声多重化システム２００ａは、非注目音を聞こえないようにし、相対的に注目音を聞き取り易くすることができる。
【０１５０】
なお、音声多重化システム２００ａは、特に聞き分け辛い２つの音声信号が存在するとき、それらの音声信号が異なるグループに属するように、グループ分けを行うことが望ましい。
【０１５１】
例えば、音声多重化システム２００ａは、複数の音声信号を、仮想音源空間に円弧状に配置して出力する場合、各音声信号が属するグループが、その並びの順序において交互に異なるように、グループ分けを行う。また、例えば、音声多重化システム２００ａは、音程が近い発話音声を異なるグループに属するように、グループ分けを行う。
【０１５２】
これにより、音声多重化システム２００ａは、音声が聞き取り辛くなるのを防ぎつつ、同時に出力する音声信号の数を増やすことができる。
【０１５３】
（実施の形態４）
本発明の実施の形態４は、本発明を、多数の音声信号（音声データ）を格納して再生するポータブルプレイヤーに適用した場合の、具体的態様の一例である。
【０１５４】
まず、本実施の形態に係る各装置およびシステムの構成について説明する。
【０１５５】
図１１は、本実施の形態に係る音声多重化装置および音声聴取装置ならびに音声多重化システムの構成の一例を示すブロック図であり、実施の形態２の図２に対応するものである。図２と同一部分には、同一符号を付し、これについての説明を省略する。
【０１５６】
図１１において、音声多重化システム２００ｂは、音声多重化装置１００ｂおよび音声出力装置５００を有する。
【０１５７】
音声多重化装置１００ｂは、実施の形態２の音声入力部１１０に代えて、音声入力部１１０ｂを有し、更に、時間調整部４２０、操作部４３０、および音声出力部４４０を有する。本実施の形態において、音声多重化装置１００ｂは、例えば、ポータブルプレイヤーである。
【０１５８】
音声入力部１１０ｂは、多数の音声信号を格納するデータベースを保持し、かかるデータベースから複数の音声信号を取得する。音声入力部１１０ｂは、音声圧縮部１１１、音声保持部１１２ｂ、および音声検索部１１３ｂを有する。
【０１５９】
音声保持部１１２ｂは、上述のデータベースである。音声保持部１１２ｂが格納する各音声信号には、音声信号のメタ情報が付加されている。
【０１６０】
メタ情報としては、各種の情報を適用することができる。
【０１６１】
データベースが多数の楽曲の音声データを集めたものである場合、メタ情報は、例えば、アーティスト名、およびジャンルを含むことができる。また、データベースが多数の講演の音声データを集めたものである場合、メタ情報は、例えば、日付、講演者名、および講演テーマを含むことができる。更に、メタ情報は、講演テーマが分類されるジャンルを含んでもよい。
【０１６２】
なお、音声入力部１１０ｂ自体が、例えば、各音声データに対して音声認識処理を行い、その認識結果を、メタ情報として、各音声信号に付与してもよい。
【０１６３】
音声検索部１１３ｂは、例えば、ユーザから音声信号の条件を入力し、当該入力条件を満たすメタ情報が付加された音声信号を、音声保持部１１２ｂにて検索する。そして、音声検索部１１３ｂは、検索された音声信号を、音声圧縮部１１１へ出力する。
【０１６４】
なお、以下の説明においては、複数の音声信号が常に検索されるものとする。１つの音声信号のみが検索された場合、例えば、後段の音声圧縮部１１１は、当該音声信号を、直接に音声出力部４４０へ出力すればよい。
【０１６５】
本実施の形態において、第１の音声多重化部１２０は、音声出力部４４０へ、第１の多重音声信号を出力する。また、第２の音声多重化部１３０は、時間調整部４２０へ、第２の多重音声信号を出力する。
【０１６６】
なお、本実施の形態において、第１の音声多重化部１２０は、例えば、全ての音声信号の開始位置を揃えて再生する。
【０１６７】
この場合、上述の第１の多重化位置関係は、第１の音声信号の開始位置に対して、他の全ての音声信号（第２の音声信号）の開始位置が一致する関係となる。そして、上述の第２の多重化位置関係は、第１の音声信号の開始位置に対して、他の全ての音声信号（第２の音声信号）の開始位置が所定時間遅延する関係となる。
【０１６８】
このような音声多重化システム２００ｂは、保持する多数の音声信号の中から複数の音声信号を選択し、選択した音声信号の音声を、同時に出力することができる。また、音声多重化システム２００ｂは、複数の音声信号の多重化位置が異なる二種類の多重音声信号を生成し、これら二種類の多重音声信号の重畳位置関係を調整して出力する。したがって、音声多重化システム２００ｂは、任意の音声信号を聞き取り易くすることができる。
【０１６９】
以上で、本実施の形態に係る各装置およびシステムの構成についての説明を終える。
【０１７０】
次に、本実施の形態に係る音声多重化装置１００ｂの動作について説明する。
【０１７１】
図１２は、音声多重化装置１００ｂの動作の一例を示すフローチャートであり、実施の形態２の図６および図７に対応するものである。図６および図７と同一部分には同一ステップ番号を付し、これについての説明を省略する。なお、音声多重化装置１００ｂは、たとえば、音声信号の検索の開始が指示されるごとに、以下の図１２に示す処理を実行する。
【０１７２】
まず、ステップＳ１０１１ｂにおいて、音声検索部１１３ｂは、音声保持部１１２ｂにおいて音声信号を検索する。
【０１７３】
そして、ステップＳ１０１２ｂにおいて、音声検索部１１３ｂは、検索された複数の音声信号を取得する。
【０１７４】
そして、ステップＳ１０２０〜Ｓ１０５０において、音声多重化装置１００ｂは、実施の形態２と同様に、複数の音声信号から、第１の多重音声信号と、これとは多重化位置関係が異なる第２の多重音声信号とを生成する。
【０１７５】
そして、ステップＳ２０２０〜２０７０において、音声多重化装置１００ｂは、実施の形態２の音声聴取装置４００と同様に、ユーザ操作に応じてその重畳位置関係を調整しつつ、重畳音声信号を生成して、音声出力装置５００へ出力する。
【０１７６】
例えば、時間調整部４２０は、予め定められた周期毎に、第２の多重音声信号に対する処理を行う。この周期が非常に短い場合、音声多重化装置１００ｂは、音声信号の再生の途中で、音を聞き取り易くする対象を切り替えることができる。
【０１７７】
このような動作により、音声多重化装置１００ｂは、複数の音声信号の音声を、特定の音声を聞き取り易くした状態で出力し、その出力の最中に、聞き取り易くする対象を切り替えることができる。
【０１７８】
以上で、本実施の形態に係る音声多重化装置１００ｂの動作についての説明を終える。
【０１７９】
このように、本実施の形態に係る音声多重化システム２００ｂは、検索結果が多い場合など、音声信号の数が多い場合であっても、ユーザに対して、複数の音声を同時に確認させることができ、所望の音声を探し出し易くすることができる。
【０１８０】
また、音声多重化システム２００ｂは、実施の形態１の音声多重化装置１００と音声聴取装置４００とを一体化したので、これらの間の通信回路や個別の筐体などを不要とすることができる。すなわち、音声多重化システム２００ｂは、システム全体を簡素化することができる。
【０１８１】
なお、音声多重化装置１００ｂは、実施の形態２のように、位相反転部１３２ａを有してもよい。この場合、実施の形態２と同様の効果を得ることができる。
【０１８２】
なお、以上説明した各実施の形態のうち、実施の形態２および実施の形態３では、音声信号を入力する装置として音声提供装置３００を備えた例について説明した。また、実施の形態４では、重畳音声信号を音声化する装置として音声出力装置５００を備えた例について説明した。しかし、本発明の適用は、これらに限定されない。
【０１８３】
例えば、本発明にかかる音声多重化装置は、マイクロフォンなどの音声入力機能と、音声聴取装置の機能と、スピーカなどの音声出力機能とを備えた、ヘッドセットとすることができる。
【０１８４】
また、第１の多重音声号と第２の多重音声号との重畳位置関係の切り替えの手法は、上記各実施の形態において、指定する音声番号をその番号の順番に従って切り替える手法としたが、これに限定されない。
【０１８５】
本発明にかかる音声聴取装置は、例えば、数値入力やキースイッチの押下などにより音声番号の指定を受け付け、指定された音声番号の音声信号が聞き取り易くなるように、上記重畳位置関係を切り替えてもよい。
【０１８６】
また、音声聴取装置は、例えば、各音声番号を配置した仮想軸上のポインタを移動させ、ポインタ位置がいずれかの音声番号の位置に一致したとき、その音声番号の音声信号が聞き取り易くなるように、上記重畳位置関係を切り替えてもよい。
【０１８７】
また、音声聴取装置は、例えば、第１の多重音声号の時間軸に対して第２の多重音声号の時間軸をスライドさせる操作を、ユーザから受け付けることにより、上記重畳位置関係を切り替えてもよい。
【０１８８】
また、本発明は、上述の音声チャットシステムやポータブルプレイヤー以外の各種システムおよび装置に適用することができる。例えば、本発明は、同時に複数のラジオ放送を受けて、所望のラジオ放送の音声を選択することができるラジオ受信機に適用してもよい。
【産業上の利用可能性】
【０１８９】
本発明に係る音声多重化装置、音声聴取装置、および音声多重化方法は、処理負荷を抑えた状態で注目音を聞き取り易くすることができる音声多重化装置、音声聴取装置、および音声多重化方法として有用である。
【符号の説明】
【０１９０】
１００、１００ａ、１００ｂ 音声多重化装置
１１０、１１０ｂ 音声入力部
１１１ 音声圧縮部
１１２ｂ 音声保持部
１１３ｂ 音声検索部
１２０ 第１の音声多重化部
１３０、１３０ａ 第２の音声多重化部
１３１ 遅延処理部
１３２ａ 位相反転部
１４０、４４０ 音声出力部
１４１ 多重音声送信部
２００、２００ａ、２００ｂ 音声多重化システム
３００ 音声提供装置
４００ 音声聴取装置
４１０ 多重音声受信部
４２０ 時間調整部
４３０ 操作部
５００ 音声出力装置
【特許請求の範囲】
【請求項１】
第１の音声信号および第２の音声信号を入力する音声入力部と、
前記第１の音声信号と前記第２の音声信号とを第１の多重化位置関係で多重化して得られる、第１の多重音声信号を生成する第１の音声多重化部と、
前記第１の音声信号と前記第２の音声信号とを前記第１の多重化位置関係とは異なる第２の多重化位置関係で多重化して得られる、第２の多重音声信号を生成する第２の音声多重化部と、
前記第１の多重音声信号および前記第２の多重音声信号を出力する音声出力部と、を有する、
音声多重化装置。
【請求項２】
前記第２の音声多重化部は、
前記第２の音声信号を遅延させる遅延処理部、を有する、
請求項１記載の音声多重化装置。
【請求項３】
前記第１の多重化位置関係は、前記第１の音声信号の任意の位置と、当該位置と同一のタイミングで入力された前記第２の音声信号の位置とが一致する関係であり、
前記第２の多重化位置関係は、前記第１の音声信号の任意の位置に対して、当該位置と同一のタイミングで入力された前記第２の音声信号の位置が所定時間遅延する関係である、
請求項１記載の音声多重化装置。
【請求項４】
前記第１の多重化位置関係は、前記第１の音声信号の開始位置と、前記第２の音声信号の開始位置が一致する関係であり、
前記第２の多重化位置関係は、前記第１の音声信号の開始位置に対して、前記第２の音声信号の開始位置が所定時間遅延する関係である、
請求項１記載の音声多重化装置。
【請求項５】
前記第１の多重音声信号および前記第２の多重音声信号の一方に含まれる、前記第１の音声信号および前記第２の音声信号の位相を、それぞれ反転させる位相反転部、を更に有する、
請求項１記載の音声多重化装置。
【請求項６】
前記音声出力部は、
前記第１の多重音声信号と前記第２の多重音声信号とを調整可能な所定の重畳位置関係で重畳して出力する音声聴取装置へ、前記第１の多重音声信号および前記第２の多重音声信号を送信する、
請求項１記載の音声多重化装置。
【請求項７】
前記第１の多重音声信号と前記第２の多重音声信号とを調整可能な所定の重畳位置関係で重畳して得られる、重畳音声信号を生成する時間調整部と、
ユーザ操作に基づいて、少なくとも、前記第１の音声信号の任意の位置が前記第１の多重音声信号と前記第２の多重音声信号との間で一致する第１の重畳位置関係と、前記第２の音声信号の任意の位置が前記第１の多重音声信号と前記第２の多重音声信号との間で一致する第２の重畳位置関係との間で、前記所定の重畳位置関係を切り替える操作部と、を更に有し、
前記音声出力部は、
前記重畳音声信号を、音声出力装置へ出力する、
請求項１記載の音声多重化装置。
【請求項８】
請求項１記載の音声多重化装置から、前記第１の多重音声信号および前記第２の多重音声信号を取得する多重音声受信部と、
前記第１の多重音声信号と前記第２の多重音声信号とを調整可能な所定の重畳位置関係で重畳して得られる、重畳音声信号を生成する時間調整部と、
ユーザ操作に基づいて、前記第１の多重音声信号と前記第２の多重音声信号のそれぞれに含まれる前記第１の音声信号の任意の位置が一致する第１の重畳位置関係と、前記第１の多重音声信号と前記第２の多重音声信号のそれぞれに含まれる前記第２の音声信号の任意の位置が一致する第２の重畳位置関係との間で、前記所定の重畳位置関係を切り替える操作部と、
前記重畳音声信号を音声出力装置へ出力する音声出力部と、を有する、
音声聴取装置。
【請求項９】
第１の音声信号および第２の音声信号を入力するステップと、
前記第１の音声信号と前記第２の音声信号とを第１の多重化位置関係で多重化して、第１の多重音声信号を生成するステップと、
前記第１の音声信号と前記第２の音声信号とを前記第１の多重化位置関係とは異なる第２の多重化位置関係で多重化して、第２の多重音声信号を生成するステップと、
前記第１の多重音声信号および前記第２の多重音声信号を出力するステップと、を有する、
音声多重化方法。
【請求項１】
第１の音声信号および第２の音声信号を入力する音声入力部と、
前記第１の音声信号と前記第２の音声信号とを第１の多重化位置関係で多重化して得られる、第１の多重音声信号を生成する第１の音声多重化部と、
前記第１の音声信号と前記第２の音声信号とを前記第１の多重化位置関係とは異なる第２の多重化位置関係で多重化して得られる、第２の多重音声信号を生成する第２の音声多重化部と、
前記第１の多重音声信号および前記第２の多重音声信号を出力する音声出力部と、を有する、
音声多重化装置。
【請求項２】
前記第２の音声多重化部は、
前記第２の音声信号を遅延させる遅延処理部、を有する、
請求項１記載の音声多重化装置。
【請求項３】
前記第１の多重化位置関係は、前記第１の音声信号の任意の位置と、当該位置と同一のタイミングで入力された前記第２の音声信号の位置とが一致する関係であり、
前記第２の多重化位置関係は、前記第１の音声信号の任意の位置に対して、当該位置と同一のタイミングで入力された前記第２の音声信号の位置が所定時間遅延する関係である、
請求項１記載の音声多重化装置。
【請求項４】
前記第１の多重化位置関係は、前記第１の音声信号の開始位置と、前記第２の音声信号の開始位置が一致する関係であり、
前記第２の多重化位置関係は、前記第１の音声信号の開始位置に対して、前記第２の音声信号の開始位置が所定時間遅延する関係である、
請求項１記載の音声多重化装置。
【請求項５】
前記第１の多重音声信号および前記第２の多重音声信号の一方に含まれる、前記第１の音声信号および前記第２の音声信号の位相を、それぞれ反転させる位相反転部、を更に有する、
請求項１記載の音声多重化装置。
【請求項６】
前記音声出力部は、
前記第１の多重音声信号と前記第２の多重音声信号とを調整可能な所定の重畳位置関係で重畳して出力する音声聴取装置へ、前記第１の多重音声信号および前記第２の多重音声信号を送信する、
請求項１記載の音声多重化装置。
【請求項７】
前記第１の多重音声信号と前記第２の多重音声信号とを調整可能な所定の重畳位置関係で重畳して得られる、重畳音声信号を生成する時間調整部と、
ユーザ操作に基づいて、少なくとも、前記第１の音声信号の任意の位置が前記第１の多重音声信号と前記第２の多重音声信号との間で一致する第１の重畳位置関係と、前記第２の音声信号の任意の位置が前記第１の多重音声信号と前記第２の多重音声信号との間で一致する第２の重畳位置関係との間で、前記所定の重畳位置関係を切り替える操作部と、を更に有し、
前記音声出力部は、
前記重畳音声信号を、音声出力装置へ出力する、
請求項１記載の音声多重化装置。
【請求項８】
請求項１記載の音声多重化装置から、前記第１の多重音声信号および前記第２の多重音声信号を取得する多重音声受信部と、
前記第１の多重音声信号と前記第２の多重音声信号とを調整可能な所定の重畳位置関係で重畳して得られる、重畳音声信号を生成する時間調整部と、
ユーザ操作に基づいて、前記第１の多重音声信号と前記第２の多重音声信号のそれぞれに含まれる前記第１の音声信号の任意の位置が一致する第１の重畳位置関係と、前記第１の多重音声信号と前記第２の多重音声信号のそれぞれに含まれる前記第２の音声信号の任意の位置が一致する第２の重畳位置関係との間で、前記所定の重畳位置関係を切り替える操作部と、
前記重畳音声信号を音声出力装置へ出力する音声出力部と、を有する、
音声聴取装置。
【請求項９】
第１の音声信号および第２の音声信号を入力するステップと、
前記第１の音声信号と前記第２の音声信号とを第１の多重化位置関係で多重化して、第１の多重音声信号を生成するステップと、
前記第１の音声信号と前記第２の音声信号とを前記第１の多重化位置関係とは異なる第２の多重化位置関係で多重化して、第２の多重音声信号を生成するステップと、
前記第１の多重音声信号および前記第２の多重音声信号を出力するステップと、を有する、
音声多重化方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−２３５３７９（Ｐ２０１２−２３５３７９Ａ）
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願番号】特願２０１１−１０３５３９（Ｐ２０１１−１０３５３９）
【出願日】平成２３年５月６日（２０１１．５．６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願日】平成２３年５月６日（２０１１．５．６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]