通信装置、プログラムおよび受信音声出力方法
【課題】発信元の異なる会話音声とコンテンツ音声を、同時性を保持しつつ、聞き分けることが可能なように出力する
【解決手段】通信相手から会話音声を受信する会話音声受信手段と、会話音声受信手段が受信した会話音声の有音部分を抽出する有音部分抽出手段と、通信相手と共通するコンテンツを受信するコンテンツ受信手段と、コンテンツ受信手段が受信したコンテンツに含まれる音声の音量に基づき、有音部分抽出手段が抽出した有音部分の再生時刻を決定する会話音声再生時刻決定手段と、有音部分抽出手段が抽出した有音部分を、会話音声再生時刻決定手段により決定された再生時刻に再生する会話音声再生時刻制御手段とを備えることを特徴とする通信装置。
【解決手段】通信相手から会話音声を受信する会話音声受信手段と、会話音声受信手段が受信した会話音声の有音部分を抽出する有音部分抽出手段と、通信相手と共通するコンテンツを受信するコンテンツ受信手段と、コンテンツ受信手段が受信したコンテンツに含まれる音声の音量に基づき、有音部分抽出手段が抽出した有音部分の再生時刻を決定する会話音声再生時刻決定手段と、有音部分抽出手段が抽出した有音部分を、会話音声再生時刻決定手段により決定された再生時刻に再生する会話音声再生時刻制御手段とを備えることを特徴とする通信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信装置、プログラムおよび受信音声出力方法、特に発信元が異なる複数の音声を適切に出力する通信装置、プログラムおよび受信音声出力方法に関する。
【背景技術】
【０００２】
近年、通信技術の発達に伴い、それぞれが遠隔地にいる複数のユーザが同時に会話することができる通話システムが提案されている。このようなシステムで、複数のユーザの発言のタイミングが重なった場合に、それぞれの発言を聞きやすくするための技術が提案されている。
例えば、特許文献１では、発言毎に優先順位を設定し、その優先順位に基づいて発言を時間的にずらして出力する従来の方法が開示されている。
【特許文献１】特開２００２−２３２５７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の方法にあっては、複数の音声が頻繁に流れている場合は、ずらす時間が累積され、遅延が増加していくため同時性（リアルタイム性）が損なわれるという問題がある。
特に、通常の音声通話で扱っている話者の声や周りの音を意味する会話音声と、ネットワーク上にある動画ファイルの音声やビデオデッキに録画された番組などのコンテンツの音を意味するコンテンツ音声といった発信元の異なる複数の音声を同時に出力しながら音声通話（コミュニケーション）を行う状況下においては、以下のような問題点が生じる蓋然性が高い。
コンテンツ音声は音が絶えず流れているため、従来の方法では、会話音声を出力するタイミングが少ないために、会話音声は大幅に時間的にずらして出力することになり、会話音声の同時性が著しく損なわれる。つまり、従来の技術は、複数の音声が重なった場合の各音声の聞き取りとりという問題点は解決されるが、通話で扱う音声の性質によっては、同時性が著しく損なわれてしまうという問題点がある。
【０００４】
本発明は、このような事情に鑑みてなされたもので、その目的は、発信元の異なる会話音声とコンテンツ音声を、同時性を保持しつつ、聞き分けることが可能なように出力する通信装置を提供することにある。
【課題を解決するための手段】
【０００５】
この発明は上述した課題を解決するためになされたもので、本発明は、通信相手から会話音声を受信する会話音声受信手段と、前記会話音声受信手段が受信した会話音声の有音部分を抽出する有音部分抽出手段と、音声を含んだコンテンツを受信するコンテンツ受信手段と、前記コンテンツ受信手段が受信したコンテンツに含まれる音声の音量に基づき、前記有音部分抽出手段が抽出した有音部分の再生時刻を決定する会話音声再生時刻決定手段と、前記有音部分抽出手段が抽出した有音部分を、前記会話音声再生時刻決定手段により決定された再生時刻に再生する会話音声再生時刻制御手段とを備えることを特徴とする通信装置である。
【０００６】
また、本発明は、コンピュータを、通信相手から会話音声を受信する会話音声受信手段、前記会話音声受信手段が受信した会話音声の有音部分を抽出する有音部分抽出手段、音声を含んだコンテンツを受信するコンテンツ受信手段、前記コンテンツ受信手段が受信したコンテンツに含まれる音声の音量に基づき、前記有音部分抽出手段が抽出した有音部分の再生時刻を決定する会話音声再生時刻決定手段、前記有音部分抽出手段が抽出した有音部分を、前記会話音声再生時刻決定手段により決定された再生時刻に再生する会話音声再生時刻制御手段として機能させるためのプログラムである。
【０００７】
また、本発明は、通信相手から会話音声を受信する第１の過程と、前記第１の過程にて受信した会話音声の有音部分を抽出する第２の過程と、音声を含んだコンテンツを受信する第３の過程と、前記第３の過程にて受信したコンテンツに含まれる音声の音量に基づき、前記第２の過程にて抽出した有音部分の再生時刻を決定する第４の過程と、前記第２の過程にて抽出した有音部分の再生時刻を決定する第５の過程と、前記第２の過程にて抽出した有音部分を、前記第５の過程にて決定された再生時刻に再生する第６の過程とを備えることを特徴とする受信音声出力方法である。
【０００８】
これにより、本発明の通信装置（プログラム、受信音声出力方法）は、コンテンツの音声の音量が小さいときに会話音声を出力することで、発信元の異なる会話音声とコンテンツの音声を、同時性を保持しつつ、聞き分けることが可能なように出力することができる。
【０００９】
また、本発明は、上述の通信装置であって、前記会話音声再生時刻決定手段は、前記コンテンツに含まれる音声の音量が所定の閾値より小さいときを再生時刻とすることを特徴とする。
【００１０】
これにより、本発明の通信装置は、閾値を適当な値とすることで、コンテンツの音声の音量が充分に小さいときに会話音声を出力するので、発信元の異なる会話音声とコンテンツの音声を、同時性を保持しつつ、聞き分けることが可能なように出力することができる。
【００１１】
また、本発明は、上述の通信装置であって、前記有音部分抽出手段が検出した有音部分の始端時刻から所定の長さの時間を調査範囲として決める調査範囲決定手段を備え、前記会話音声再生時刻決定手段は、前記調査範囲決定手段が決めた調査範囲内で、前記コンテンツに含まれる音声の音量が所定の閾値より小さいときを再生時刻とすることを特徴とする。
【００１２】
これにより、本発明の通信装置は、閾値を適当な値とすることで、所定の時間内でコンテンツの音声が充分に小さいときに会話音声を出力するので、発信元の異なる会話音声とコンテンツの音声を、同時性を保持しつつ、聞き分けることが可能なように出力することができる。
【００１３】
また、本発明は、上述の通信装置であって、前記有音部分抽出手段は、有音部分の終端時刻を検出し、前記会話音声再生時刻決定手段は、前記有音部分抽出手段が抽出した有音部分の再生を開始する時刻から前記有音部分抽出手段が検出した始端時刻を引いて遅延時間を算出し、前記有音部分抽出手段が前の有音部分について検出した終端時刻に、前記会話音声再生時刻決定手段が前の有音部分について算出した遅延時間を足した再生終了時刻を算出する再生終了時刻計算手段を備え、前記調査範囲決定手段は、前記有音部分抽出手段が検出した始端時刻と前記再生終了時刻計算手段が算出した再生終了時刻とのうち、遅い方の時刻を調査範囲の開始時刻とすることを特徴とする。
【００１４】
これにより、本発明の通信装置は、有音部分の再生時刻を、前の有音部分の再生終了時間より後にするので、会話音声の有音部分同士が重ならないように出力することができる。
【００１５】
また、本発明は、上述のいずれかの通信装置であって、前記会話音声再生時刻決定手段は、前記調査範囲決定手段が決めた調査範囲内に前記コンテンツに含まれる音声の音量が所定の閾値より小さくならないときは、前記調査範囲の終端時刻を再生時刻とすることを特徴とする。
【００１６】
これにより、本発明の通信装置は、所定の時間内のコンテンツの音声が充分に小さいときがなくても、所定の時間内に会話音声を出力することができる。
【００１７】
また、本発明は、上述のいずれかの通信装置であって、コンテンツに含まれる音声を記憶するコンテンツ音声記憶手段と、前記コンテンツ音声記憶手段に格納された音声を、前記コンテンツ音声記憶手段から読み出して再生するコンテンツ音声再生手段とを備え、コンテンツ受信手段は、コンテンツを受信し、該コンテンツに含まれる音声を抽出して前記コンテンツ音声記憶手段に格納し、前記会話音声再生時刻決定手段は、前記コンテンツ音声記憶手段に格納されている音声を参照し、前記調査範囲決定手段が決めた調査範囲内に再生される前記参照した音声の音量が所定の閾値より小さくならないときは、前記調査範囲決定手段が決めた調査範囲内に再生される前記参照した音声の音量が最も小さいときを再生時刻とすることを特徴とする。
【００１８】
これにより、本発明の通信装置は、会話音声の出力を、遅延時間を所定の時間内としつつ、会話音声が最も聞き取りやすいときとすることができる。
【００１９】
また、本発明は、上述の通信装置であって、前記会話音声再生時刻決定手段は、前記コンテンツ音声記憶手段に格納されている音声を参照し、前記調査範囲決定手段が決めた調査範囲内に再生される前記参照した音声の音量が所定の閾値より小さい時間帯のうち、最も長いあるいは最も早い時間帯の開始時刻を再生時刻とすることを特徴とする。
【００２０】
これにより、本発明の通信装置は、会話音声の出力を、遅延時間を所定の時間内としつつ、会話音声が最も聞き取りやすいとき、あるいは、遅延時間がなるべく短くなるときとすることができる。
【００２１】
また、本発明は、上述のいずれかの通信装置であって、前記調査範囲決定手段が決めた調査範囲内に前記コンテンツに含まれる音声の音量が所定の閾値より小さくならないときは、会話音声を出力する際は、コンテンツに含まれる音声の出力音量を小さく、会話音声の出力音量を大きくするように通知する音量決定手段と、前記音量決定手段の通知に基づき、コンテンツに含まれる音声の出力音量および会話音声の出力音量を制御する出音音声制御手段とを備えることを特徴とする。
【００２２】
これにより、本発明の通信装置は、閾値を適当な値としても、コンテンツの音声の音量が充分に小さいときが無い場合は、会話音声の出力時に、コンテンツの音声の音量を小さく、会話音声の音量を大きくして、会話音声が聞き取り易いようにすることができる。
【００２３】
また、本発明は、上述の通信装置であって、会話音声を出力する際は、コンテンツに含まれる音声の出力音量を小さく、または、会話音声の出力音量を大きくするように通知する音量決定手段と、前記音量決定手段の通知に基づき、コンテンツに含まれる音声の出力音量、または、会話音声の出力音量を制御する出音音声制御手段とを備えることを特徴とする。
【００２４】
これにより、本発明の通信装置は、会話音声の出力時に、コンテンツの音声の音量を小さく、または、会話音声の音量を大きくして、会話音声が聞き取り易いようにすることができる。
【００２５】
また、本発明は、上述の通信装置であって、前記有音部分抽出手段が抽出した有音部分の音量に応じて、前記閾値を決定する閾値適応制御手段を備えることを特徴とする。
【００２６】
これにより、本発明の通信装置は、会話音声の音量が大きいときは、会話音声の音量が小さいときに比べて閾値が大きくなるようにすることで、閾値を固定値としたときよりも、会話音声の遅延時間を短くすることができる。
【発明の効果】
【００２７】
この発明によれば、コンテンツ音声の音量に基づき、会話音声の有音部分の再生時刻を決定するので、コンテンツ音声の音量が小さいときを会話音声の有音部分の再生時刻とすることで、発信元の異なる会話音声とコンテンツ音声を、同時性を保持しつつ、聞き分けることが可能なように出力することができる。
【発明を実施するための最良の形態】
【００２８】
［第１の実施形態］
以下、図面を参照して、本発明の第１の実施の形態について説明する。図１に、この発明の第１の実施形態による通信装置を用いて、会話音声とコンテンツ音声といった複数の音声を同時に出力しながら音声コミュニケーションを行なうシステムの概略構成図を示す。図中、１０１ａはＡさん宅の通信装置である情報処理端末、１０１ｂはＢさん宅の通信装置である情報処理端末である。例えばマイク、スピーカ、表示画面を備えたテレビ電話機を想定している。また、１０２はコンテンツを提供可能なコンテンツサーバであり、例えばコンテンツを保持するＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）サーバを想定している。最後に、１０３はネットワークであり、ネットワーク１０３を介して、情報処理端末１０１ａと情報処理端末１０１ｂは通話し、また、コンテンツサーバ１０２は、指定されたコンテンツをストリームデータとして情報処理端末１０１ａと情報処理端末１０１ｂとに同時に配信する。
【００２９】
本実施形態の情報処理（通話）システムでは、コンテンツサーバ１０２上に格納されている運動会の動画ファイルなど、ネットワーク１０３上にあるコンテンツを、Ａさん宅の情報処理端末１０１ａとＢさん宅の情報処理端末１０１ｂの両方で同期出力し、同時にＡさんとＢさんの間で会話も楽しむことができる。つまり、本実施形態の情報処理端末からなる情報処理システムは、コンテンツを共有しながら会話できるため、今まで以上につながり感のあるコミュニケーションが実現できるように構成されている。ここでいう同期出力とは、Ａさん宅（情報処理端末１０１ａ）とＢさん宅（情報処理端末１０１ｂ）において同じタイミングでコンテンツが再生されることを示しており、同じタイミングとは、完全にタイミングが一致したものである必要はなく、通信網の遅延などによる多少のタイミングの不一致を許容するものとする。
【００３０】
図２は、本実施形態の情報処理端末１０１ａおよび情報処理端末１０１ｂの概略構成を示すブロック図である。情報処理端末１０１ａは、通信部１１０、会話音声入力部１１１、音声出力部１１２、会話音声送信部１１３、会話音声受信部１１４、コンテンツ音声受信部１１５、出音音声混合部１１６、コンテンツ音声再生部１１７、オンオフ判定部１２０、調査範囲決定部１２１、会話音声再生時刻決定部１２２、会話音声再生時刻制御部１２３、再生終了時刻計算部１２４、コンテンツ音声バッファ１５０、会話音声バッファ１５１、遅延時間保持部１６０によって構成される。
なお、情報処理端末１０１ａと情報処理端末１０１ｂは同じ構成とし、以下、情報処理端末１０１ａあるいは情報処理端末１０１ｂをしばしば情報処理端末１０１という。
また、図中の実線の矢印は音声信号を表わし、破線の矢印は制御信号を表わしている。
なお、ネットワーク１０３を介してコンテンツサーバ１０２からコンテンツ映像を受信し、表示するコンテンツ映像受信部および、コンテンツ映像表示部については、図示を省略している。
【００３１】
通信部１１０は、ネットワーク１０３を介して通信相手の情報処理端末（情報処理端末１０１ｂ）やコンテンツサーバ１０２と有線通信または無線通信を行なう手段であり、例えばネットワークカードやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）接続端子などで構成される。
【００３２】
会話音声入力部１１１は、ユーザ（Ａさん）の発する音声や周囲の音を電気信号に変換して会話音声を生成する。具体的にはマイクなどの音声入力装置である。音声出力部１１２は、通信相手のユーザであるＢさんの会話音声とコンテンツ音声とを混合した電気信号である混合音声を出音する。具体的にはスピーカなどの音声出力装置である。会話音声送信部１１３は、会話音声入力部１１１から伝えられた会話音声を、通信部１１０を介してネットワーク１０３へ送信する。
【００３３】
会話音声受信部（会話音声受信手段）１１４は、ネットワーク１０３を介して情報処理端末１０１ｂから会話音声を受信する。
また、コンテンツ音声受信部（コンテンツ受信手段）１１５は、ネットワーク１０３を介してコンテンツサーバ１０２からコンテンツ音声を受信し、コンテンツ音声バッファ１５０に格納する。
コンテンツ音声再生部（コンテンツ音声再生手段）１１７は、コンテンツ音声バッファ１５０からコンテンツ音声を読み出して再生し、出音音声混合部１１６に入力する。なお、コンテンツ音声再生部１１７は、コンテンツ音声バッファ１５０に後述する調査範囲の時間以上の未再生のコンテンツ音声が蓄積されているように、コンテンツ音声受信部１１５によるコンテンツ音声バッファ１５０への書き込みから遅延させたタイミングで読み出しを行う。
【００３４】
出音音声混合部１１６は、定められた混合音量情報に基づき、会話音声再生時刻制御部１２３から入力した会話音声と、コンテンツ音声再生部１１７から入力したコンテンツ音声との音量をそれぞれ設定し、混合して混合音声を生成する。
【００３５】
コンテンツ音声バッファ（コンテンツ音声記憶手段）１５０は、コンテンツ音声受信部１１５から入力されたコンテンツ音声を蓄積するバッファである。
会話音声バッファ１５１は、オンオフ判定部１２０から入力された会話音声を蓄積するバッファである。
【００３６】
図３はオンオフ判定部１２０の動作を示すフローチャートである。
オンオフ判定部（有音部分抽出手段）１２０は、会話音声受信部１１４から会話音声を入力し、後で説明するアルゴリズムに基づいて、会話音声の有効部分（有音部分）を選択する。手順としては、まず、受信した会話音声が、Ｂさんの発した音声や周囲の音など、再生して意味のある音であればオン、Ｂさんが黙っていて静かな場合など、再生しても意味のない音であればオフと判定する（Ｓ１００）。オンと判定した部分はそのまま会話音声として扱い、一方、オフと判定した部分は完全に無音として扱う。つまり、オンと判定した部分だけが会話音声の有効部分となり、この部分の会話音声だけが再生されることになる。
なお、後述するように、再生して意味のある音であるか否かの判定は、一例として、会話音声の音量が予め設定した閾値より大であるか否かによって行う。
【００３７】
また、オンオフ判定部１２０では、直前の判定がオンであったかオフであったかを記録しておき、今の判定と比較して（Ｓ１０１）、その結果によって異なった動作をする。判定がオフのまま（Ｓ１５０）であれば、何も動作しない。判定がオンからオフに変化（Ｓ１５１）すれば、その時の時刻を会話音声の終端時刻として扱い、再生終了時刻計算部１２４にその時刻を通知する（Ｓ１０２）。判定がオフからオンに変化（Ｓ１５２）すれば、その時の時刻を会話音声の始端時刻として扱い、調査範囲決定部１２１と会話音声再生時刻制御部１２３にその時刻を通知する（Ｓ１０３、Ｓ１０４）。さらに、会話音声バッファ１５１に会話音声を出力する（Ｓ１０５）。また、判定がオンのまま（Ｓ１５３）である場合も、会話音声バッファ１５１に会話音声を出力する（Ｓ１０５）。
【００３８】
調査範囲決定部（調査範囲決定手段）１２１は、コンテンツ音声の音量を調査する範囲を決定し、会話音声再生時刻決定部１２２に調査範囲を通知する。調査範囲を決定する際は、再生終了時刻計算部１２４から通知された再生終了時刻と、オンオフ判定部１２０から通知された会話音声の始端時刻と、あらかじめ定められた最大遅延時間を参照する。調査範囲を決定する方法は後述する。
【００３９】
会話音声再生時刻決定部（会話音声再生時刻決定手段）１２２は、調査範囲決定部１２１から通知された調査範囲内で、後で説明するアルゴリズムに基づいて、コンテンツ音声バッファ１５０から入力したコンテンツ音声の音量を調査して、会話音声の再生時刻を決定する。そして、決定した時刻を会話音声再生時刻制御部１２３に通知する。
【００４０】
図４は会話音声再生時刻制御部１２３の動作を示すフローチャートである。
会話音声再生時刻制御部（会話音声再生時刻制御手段）１２３は、会話音声再生時刻決定部１２２から再生時刻の情報を受け取り（Ｓ２００）、その時刻に基づいて会話音声バッファ１５１から入力した会話音声を出音音声混合部１１６に出力する。なお、システムの処理遅延のため、通知された再生時刻がこのときの時刻より遡る場合がある。したがって、会話音声再生時刻制御部１２３では、通知された再生時刻と現在の時刻と比較して（Ｓ２０１）、再生時刻が現在の時刻よりも前である場合（Ｓ２５０）は、ただちに出音音声混合部１１６に会話音声を出力し（Ｓ２０２）、このときの時刻を改めて再生時刻とする（Ｓ２０３）。一方、再生時刻が現在の時刻よりも後である場合（Ｓ２５１）は、通知された再生時刻に合わせて会話音声を出力する（Ｓ２０４）。そして、どちらの場合でも、オンオフ判定部１２０から入力した会話音声の始端時刻と再生時刻を比較して、実際に会話音声の再生を遅延させている時間を算出して遅延時間保持部１６０に書き込む（Ｓ２０５）。
【００４１】
再生終了時刻計算部（再生終了時刻計算手段）１２４は、オンオフ判定部１２０から会話音声の終端時刻を入力し、その時刻と遅延時間保持部１６０から読み出した遅延時間を足し合わせて、会話音声の再生が終了する時刻を算出する。また、算出した時刻は調査範囲決定部１２１へ通知する。
遅延時間保持部１６０は、会話音声再生時刻制御部１２３が会話音声の再生を遅延させている時間を記憶する。
【００４２】
図５は本実施形態における会話音声の再生時刻を制御した例を示すものである。矢印のついた横軸は時間を表しており、上は再生時刻を制御する前の会話音声、下は再生時刻を制御した後の会話音声の様子を表している。なお、添え字のｎはｎ番目であることを表しており、これは前後のタイミングの同じものと区別するためにある。
２００ｎはオンと判定された区間の会話音声である。
２１０ｎはオンと判定された区間の始端時刻であり、一方、２１１ｎはオンと判定された区間の終端時刻である。
２１２ｎはコンテンツの音量を調査する範囲の始端時刻であり、一方、２１３ｎはコンテンツの音量を調査する範囲の終端時刻である。つまり２１２ｎと２１３ｎの範囲内でコンテンツの音量を調査して会話音声２００ｎの再生時刻を決定する。
２１４ｎは会話音声２００ｎの再生時刻であり、一方２１５ｎは再生終了時刻である
２１６ｎは会話音声２００ｎの再生を遅延させている時間である。
２１７はあらかじめ定められた会話音声を再生する際の最大遅延時間である。
【００４３】
会話音声に対するオンオフ判定部１２０の判定がオフからオンに変化したとき、つまり２１０ｎの時刻では、会話音声再生時刻決定部１２２が会話音声の再生時刻２１４ｎを決定するために、まず、調査範囲決定部１２１がコンテンツの音量を調査する範囲を決める。調査範囲決定部１２１は、その始端時刻２１２ｎとして、再生終了時刻計算部１２４が算出した前の会話音声の再生終了時刻２１５ｎ−１とオンオフ判定部１２０が検出した今の会話音声の始端時刻２１０ｎとを比較して、遅いほうの時刻を選択する。図５では、前の会話音声の再生終了時刻２１５ｎ−１が選択されている。また、調査範囲決定部１２１は、終端時刻２１３ｎを、今の会話音声の始端時刻２１０ｎに最大遅延時間２１７を足し合わせた時刻とする。
続いて、決定した調査範囲内で会話音声を再生する時刻２１４ｎを、会話音声再生時刻決定部１２２が決定し、この時刻を会話音声再生時刻制御部１２３へ送る。この時刻から会話音声再生時刻制御部１２３が会話音声２００ｎを再生する。また、再生時刻２１４ｎと会話音声の始端時刻２１０ｎの差を算出して、その時間を再生遅延の時間２１６ｎとして保持する。
【００４４】
オンオフ判定部１２０において、会話音声の判定がオンからオフに変化したとき、つまり終端時刻を検出する２１１ｎの時刻では、再生終了時刻計算部１２４は、オンオフ判定部１２０が検出した会話音声の終端時刻２１１ｎに遅延時間保持部１６０に記憶された遅延時間２１６ｎを足し合わせて、再生終了時刻２１５ｎを算出して保持する。
なお、前の会話音声の再生終了時刻２１５ｎ−１と今の会話音声の再生時刻２１４ｎの間に数１０ｍ秒程度の短時間を設けて、音声の不連続を無くすよう制御してもよい。
【００４５】
図６は本実施形態におけるオンオフ判定部１２０による会話音声のオンオフ判定（図３のステップＳ１００）の動作を示すフローチャートである。
本実施形態では、あらかじめ閾値を設定しておき、会話音声の音量が閾値を越えているか否か判定する（Ｓ３００）。閾値を越えている場合（Ｓ３５０）は、オンと判定する（Ｓ３５４）。閾値を越えていない場合（Ｓ３５１）は、さらに閾値を越えていない時間が所定時間続くかどうかを判定する（Ｓ３０１）。その結果、所定時間続いていなかった場合（Ｓ３５２）は、オンと判定（Ｓ３５４）し、所定時間続いていた場合（Ｓ３５３）は、オフと判定する（Ｓ３５５）。
【００４６】
図７は本実施形態におけるオンオフ判定部１２０による会話音声のオンオフ判定の例である。矢印のついた横軸は時間を、縦軸は会話音声の音量を表しており、波形は会話音声の音量の時間変化を表している。
【００４７】
図７（ａ）において、３００は判定のための閾値であり、予め所望の値に設定される。３０１は上述の判定のための所定時間である。
３１０の時刻では、会話音声の音量が閾値３００を上回るため（Ｓ３５０）、オンオフ判定部１２０は、オンと判定している（Ｓ３５４）。３１１の時刻では、会話音声の音量が閾値３００を下回る状態が音量が閾値と交差する時刻から所定時間３０１続いているため（Ｓ３５３）、オンオフ判定部１２０は、オフと判定している（Ｓ３５５）。
【００４８】
図７（ｂ）において、３２０の時刻では、会話音声の音量が閾値３００を上回るため（Ｓ３５０）、オンオフ判定部１２０は、オンと判定している（Ｓ３５４）。３２１の時刻では、会話音声の音量が閾値３００を下回る状態が所定時間３０１続いているためオフと判定している。３２２の間は、会話音声の音量が閾値３００を下回っている（Ｓ３５１）が所定時間３０１続かなかったため（Ｓ３５２）、オンオフ判定部１２０が、オンと判定した状態が継続している（Ｓ３５４）。
なお、オンオフの判定として、単に、閾値３００を上回るとオンと判定し閾値３００を下回るとオフと判定するような仕組みでもよい。
【００４９】
図８は本実施形態における会話音声再生時刻決定部１２２が、コンテンツ音声の音量を調査して会話音声再生時刻を決定する方法の仕組みを示すフローチャートである。
本実施形態では、会話音声再生時刻決定部１２２は、あらかじめ閾値を設定しておき、調査範囲内でコンテンツ音声の音量が閾値を下回っているか否か判定する（Ｓ４００）。閾値を下回っている箇所がある場合（Ｓ４５０）は、なるべく遅延が小さくなるように、会話音声再生時刻決定部１２２は、調査範囲内で初めて小さいと判定された時刻を選択（Ｓ４０１）する。一方、閾値を下回っている箇所がない場合（Ｓ４５１）は、会話音声再生時刻決定部１２２は、調査範囲内でコンテンツ音声の音量が最も小さくなる時刻を選択する（Ｓ４０３）。
【００５０】
なお、上記において、会話音声再生時刻決定部１２２は、ステップＳ４０１にて、調査範囲内で初めて小さいと判定された時刻を再生時刻として選択するとして説明したが、図９に示す変形例のように、会話音声の再生時刻からなるべく長い間コンテンツ音量が小さくなるように、小さいと判定される時間が一番長くなる箇所の始端時刻を選択（Ｓ４０２）してもよい。
【００５１】
図１０は、本実施形態における会話音声再生時刻決定部１２２による会話音声再生時刻の決定の例である。矢印のついた横軸は時間を、縦軸はコンテンツ音声の音量を表しており、波形はコンテンツ音声の音量の時間変化を表している。
図１０（ａ）において、４００は判定のための閾値である。例えば、コンテンツ音声の音量を調査する範囲が４１０である場合、調査範囲内で初めて小さいと判定される時刻である４１１の時刻が、会話音声再生時刻決定部１２２により、会話音声の再生時刻として決定される（Ｓ４０１）。
図１０（ｂ）において、例えば、コンテンツ音声の音量を調査する範囲が４２０である場合、コンテンツ音声の音量が小さいと判定される時刻が全く無いため（Ｓ４５１）、調査範囲内でコンテンツ音声の音量が最も小さい時刻である４２１の時刻が、会話音声再生時刻決定部１２２により、会話音声の再生時刻として決定される（Ｓ４０３）。
【００５２】
会話音声再生時刻決定部１２２は、音量が小さいと判定される時間が一番長くなる箇所の始端時刻を選択する場合には、図１０（ｃ）において、例えば、コンテンツ音声の音量を調査する範囲が４３０である場合、４３２の箇所と４３３の箇所でコンテンツ音声の音量が小さいと判定されている（Ｓ４５０）。このとき、小さいと判定される時間が一番長くなる箇所は４３３の箇所であるため、その始端時刻である４３１が、会話音声再生時刻決定部１２２により、会話音声の再生時刻として決定される（Ｓ４０２）。
【００５３】
このように、本実施形態の情報処理端末１０１ａは、コンテンツ音声の音量が大きくない箇所を調べ、その箇所から会話音声を再生することにより、会話音声の始めの部分を聞き取りやすくする。会話全体の内容を把握できるかどうかは、話し始めの部分が聞けるかどうかに大きく依存するため、本発明を用いると、通話者は会話全体の内容を把握しやすくなる。その結果、会話音声とコンテンツ音声を同時に出力するような状況でも両者を区別して聞きやすくなる。
【００５４】
［第２の実施形態］
本発明の第２の実施形態の通信装置である情報処理端末１０１ａは、図２に示す本発明の第１の実施形態の変形例である。図１１は、本発明の第２の実施形態の情報処理端末１０１ａの概略構成を示すブロック図である。情報処理端末１０１ａは、通信部１１０、会話音声入力部１１１、音声出力部１１２、会話音声送信部１１３、会話音声受信部１１４、コンテンツ音声受信部２１１５、出音音声混合部２１１６、オンオフ判定部１２０、調査範囲決定部１２１、会話音声再生時刻決定部２１２２、会話音声再生時刻制御部２１２３、再生終了時刻計算部１２４、混合音量決定部２１２５、会話音声バッファ１５１、遅延時間保持部１６０によって構成される。なお、情報処理端末１０１ａと情報処理端末１０１ｂは同じ構成とする。以下、情報処理端末１０１ａあるいは情報処理端末１０１ｂをしばしば情報処理端末１０１という。
図１１において図２の各部に対応する同一の部分には同一の符号を付け、その説明を省略する。
【００５５】
コンテンツ音声受信部（コンテンツ受信手段）２１１５は、ネットワーク１０３を介してコンテンツサーバ１０２（図１）からコンテンツ音声を受信し、出音音声混合部２１１６に出力するとともに、会話音声再生時刻決定部２１２２に出力する。
出音音声混合部（出音音声制御手段）２１１６は、混合音量決定部２１２５の指示に基づき、会話音声再生時刻制御部２１２３から入力した会話音声と、コンテンツ音声受信部２１１５から入力したコンテンツ音声との音量をそれぞれ設定し、混合して混合音声を生成する。
【００５６】
会話音声再生時刻決定部（会話音声再生時刻決定手段）２１２２では、調査範囲決定部１２１から通知された調査範囲内で、後で説明するアルゴリズムに基づいて、コンテンツ音声受信部２１１５から入力したコンテンツ音声の音量をリアルタイムで調査して、会話音声の再生時刻を決定する。第１の実施形態の場合と比べると、コンテンツ音声のバッファが無いため、リアルタイムでコンテンツ音声の音量を調査している点が異なる。リアルタイムでコンテンツ音声の音量を調査するため、決定するときの時刻がそのまま会話音声の再生時刻となる。したがって、会話音声の再生時刻を決定すると、すぐに会話音声再生時刻制御部２１２３に会話音声を再生するよう命令する。
【００５７】
会話音声再生時刻制御部（会話音声再生時刻制御手段）２１２３では、会話音声再生時刻決定部２１２２から命令を受け取り、その命令に基づいて会話音声バッファ２１５１から入力した会話音声を出音音声混合部２１１６に出力する。まず、会話音声を再生するよう命令を受け取ると、すぐに会話音声を出音音声混合部２１１６へ出力し、このときの時刻を再生時刻とする。そして、オンオフ判定部１２０から入力した会話音声の始端時刻と再生時刻を比較して、実際に会話音声の再生を遅延させている時間を算出して遅延時間保持部１６０に書き込む。
また、算出した遅延時間が最大遅延時間、もしくはシステムの処理遅延により最大遅延時間を越えている場合は、会話音声の再生時刻に合わせて混合音量決定部２１２５へ制御信号を通知する。
【００５８】
混合音量決定部（音量決定手段）２１２５は、会話音声再生時刻制御部２１２３から制御信号を受けると、所定時間の間、会話音声の音量を大きくし、コンテンツ音声の音量を小さくするよう混合音量情報を設定して、その混合音量情報を出音音声混合部２１１６へ通知する。
【００５９】
図１２は本実施形態における会話音声再生時刻決定部２１２２が、コンテンツ音声の音量を調査して会話音声再生時刻を決定する方法の仕組みを示すフローチャートである。
本実施形態では、会話音声再生時刻決定部２１２２は、あらかじめ閾値を設定しておき、コンテンツ音声の音量が閾値を下回っているか否か判定する（Ｓ２４００）。閾値を下回っている箇所がある場合（Ｓ２４５０）は、会話音声再生時刻決定部２１２２は、小さいと判定したそのときの時刻を会話音声の再生時刻として決定する（Ｓ２４０１）。一方、あらかじめ定められた所定時間を経過しても閾値を下回っている箇所がない場合（Ｓ２４５１）は、会話音声再生時刻決定部２１２２は、調査を開始してから所定時間経過しているそのときの時刻を会話音声の再生時刻として決定する（Ｓ２４０２）。このように決定した会話音声の再生時刻は、リアルタイム性を維持するためにやむを得ず決定した時刻であり、所定時間は最大遅延時間に相当する。
【００６０】
このように決定した会話音声の再生時刻でも、会話音声を聞き取りやすくするため、本実施形態では、会話音声再生時刻制御部２１２３から指示を受けた混合音量決定部２１２５が、出音音声混合部２１１６へ混合音量情報を通知して、会話音声の再生時刻から数秒程度の間、会話音声の音量を上げて、コンテンツ音声の音量を下げるといった音量制御を加えている。
【００６１】
図１３は本実施形態における会話音声再生時刻決定部２１２２による会話音声再生時刻の決定の例である。矢印のついた横軸は時間を、縦軸はコンテンツ音声の音量を表しており、波形はコンテンツ音声の音量の時間変化を表している。
【００６２】
図１３（ａ）において、２４００は判定のための閾値である。ここで、例えば、コンテンツ音声の音量を２４１２の時刻からリアルタイムで調査する場合、２４１０の時間経過して２４１１の時刻になったときに、会話音声再生時刻決定部２１２２により、コンテンツ音声の音量が小さいと判断されるため、２４１１の時刻が会話音声の再生時刻として決定される。
【００６３】
図１３（ｂ）において、図１３（ａ）と同様に２４００は判定のための閾値である。ここで、例えば、コンテンツ音声の音量を２４２２の時刻から調査する場合、定められた所定時間２４２０の時間経過しても、コンテンツ音声の音量が小さいと判定される時刻が無いため、会話音声再生時刻決定部２１２２により、そのときの時刻２４２１が会話音声の再生時刻として決定される。
【００６４】
これにより、第１の実施形態においてコンテンツ音声バッファ１５１にて生じていたコンテンツ音声の遅延を発生させることなく、会話音声の再生時刻を決定することができる。また、所定時間内にコンテンツ音声の音量が充分に小さくなるタイミングがなく会話音声とコンテンツ音声を同時に出力するようなときでも、話し始めの部分でコンテンツ音声の音量を下げ、会話音声の音量を上げることで、通話者は会話全体の内容を把握しやすくなる。その結果、会話音声とコンテンツ音声を同時に出力するような状況でも両者を区別して聞きやすくなる。
【００６５】
［第３の実施形態］
本発明の第３の実施形態の通信装置である情報処理端末１０１ａは、図２に示す本発明の第１の実施形態のさらなる変形例である。図１４は、本発明の第３の実施形態の情報処理端末１０１ａの概略構成を示すブロック図である。情報処理端末１０１ａは、通信部１１０、会話音声入力部１１１、音声出力部１１２、会話音声送信部１１３、会話音声受信部１１４、コンテンツ音声受信部１１５、出音音声混合部１１６、オンオフ判定部３１２０、調査範囲決定部１２１、会話音声再生時刻決定部３１２２、会話音声再生時刻制御部１２３、再生終了時刻計算部１２４、閾値適応制御部３１２６、コンテンツ音声バッファ１５０、会話音声バッファ１５１、遅延時間保持部１６０によって構成される。なお、情報処理端末１０１ａと情報処理端末１０１ｂは同じ構成とする。以下、情報処理端末１０１ａあるいは情報処理端末１０１ｂをしばしば情報処理端末１０１という。
図１４において図２の各部に対応する同一の部分には同一の符号を付け、その説明を省略する。
【００６６】
オンオフ判定部（有音部分抽出手段）３１２０は、第１の実施形態（図２）におけるオンオフ判定部１２０の機能に加えて、会話音声がオンの場合の平均音量を算出して、閾値適応制御部３１２６に通知する。
閾値適応制御部（閾値適応制御手段）３１２６は、オンオフ判定部３１２０から通知された会話音声の平均音量をもとに、コンテンツ音声の音量を調査する際の閾値を決定して、会話音声再生時刻決定部３１２２に通知する。
【００６７】
会話音声再生時刻決定部（会話音声再生時刻決定手段）３１２２は、第１の実施形態（図２）における会話音声再生時刻決定部１２２においてあらかじめ設定された閾値に替えて、閾値適応制御部３１２６から受けた閾値を用いて、再生時刻を決める。予め設定された閾値ではなく閾値適応制御部３１２６から受けた閾値を用いることを除いて、その動作は、図８に示す本発明の第１の実施形態における会話音声再生時刻決定部１２２と同一である。
【００６８】
図１５は本実施形態においてコンテンツ音声の音量を調査する際、閾値適応制御部３１２６により閾値を制御する例を示す図である。矢印のついた横軸は時間を、縦軸はコンテンツ音声の音量を表しており、波形はコンテンツ音声の音量の時間変化を表している。
図１５（ａ）において、３５００は判定のための閾値である。会話音声再生時刻決定部３１２２は、コンテンツ音声の音量が閾値３５００を上回ると音量が大きいと判定し、閾値３５００を下回ると音量が小さいと判定する。例えば、コンテンツ音声の音量を調査する範囲が３５１０である場合、会話音声再生時刻決定部３１２２により、３５１１の時刻が、会話音声の再生時刻として決定される。
図１５（ｂ）において、３５０１は判定のための閾値である。例えば、コンテンツ音声の音量を調査する範囲が３５２０である場合、会話音声再生時刻決定部３１２２により、３５２１の時刻が、会話音声の再生時刻として決定される。
【００６９】
本実施形態では、会話音声の再生時刻を決定するときには、そのときの会話音声の音量は不明であるため、閾値適応制御部３１２６は、過去の会話音声の平均音量を参照して閾値を制御する。図１５（ａ）と図１５（ｂ）では、同じコンテンツ音声であり、波形は同じであるが、図１５（ａ）では閾値３５００の値が小さく、図１５（ｂ）では閾値３５０１の値が大きいため、コンテンツ会話音声の再生時刻が異なる。
【００７０】
会話音声が小さい場合は、図１５（ａ）のように、閾値３５００の値を小さくしておくことで、多少遅延時間が長くなってもコンテンツ音声の音量が十分小さくなる時刻を選択することができる。一方、会話音声が大きい場合は、コンテンツ音声の音量が多少大きくても会話音声が聞き取れるため、図１５（ｂ）のように、閾値３５０１の値を大きくしておくことで、遅延時間を短くすることができる。
このように会話音声の音量に応じて閾値を制御することによって、より効果的な会話音声の再生時刻を決定することができる。
【００７１】
以上、これまで説明したように、本発明によれば、会話音声とコンテンツ音声といった複数の音声を同時に出力しながら音声コミュニケーションを行なう状況において、会話音声とコンテンツ音声を区別して聞き取りやすくする。
具体的には、コンテンツ音声の音量が大きくない箇所を調べ、その箇所から会話音声を再生することにより、会話音声の始めの部分を聞き取りやすくする。会話全体の内容を把握できるかどうかは、話し始めの部分が聞けるかどうかに大きく依存するため、本発明を用いると、通話者は会話全体の内容を把握しやすくなる。その結果、会話音声とコンテンツ音声を同時に出力するような状況でも両者を区別して聞きやすくなる。
【００７２】
なお、第２の実施形態における混合音量決定部２１２５を、第３の実施形態の情報処理端末１０１が備えてもよい。この場合、会話音声時刻制御部１２３は、会話音声時刻制御部２１２３と同様に、必要に応じて混合音量決定部２１２５に制御信号を通知し、混合音量決定部２１２５では、会話音声の音量を上げ、コンテンツの音声の音量を下げるように混合音量制御情報を設定する。
また、第３の実施形態における閾値適応制御部３１２６を、第２の実施形態の情報処理端末１０１が備えてもよい。この場合、オンオフ判定部１２０は、会話音声がオンの場合の平均音量を算出して、閾値適応制御部３１２６に通知する。
【００７３】
また、第１から第３の実施形態において、コンテンツサーバ１０２は、指定されたコンテンツをストリームデータとして情報処理端末１０１ａと情報処理端末１０１ｂとに同時に配信するとして説明したが、情報処理端末１０１ａと情報処理端末１０１ｂとが受信するコンテンツは同一である必要はない。例えば、コンテンツがゲームであれば、各情報処理端末１０１ａ、１０１ｂに、それぞれのプレイヤーの視点からの映像を配信する。
【００７４】
また、図２における通信部１１０、会話音声入力部１１１、音声出力部１１２、会話音声送信部１１３、会話音声受信部１１４、コンテンツ音声受信部１１５、出音音声混合部１１６、コンテンツ音声再生部１１７、オンオフ判定部１２０、調査範囲決定部１２１、会話音声再生時刻決定部１２２、会話音声再生時刻制御部１２３、再生終了時刻計算部１２４の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。
【００７５】
また、図１１における通信部１１０、会話音声入力部１１１、音声出力部１１２、会話音声送信部１１３、会話音声受信部１１４、コンテンツ音声受信部２１１５、出音音声混合部２１１６、オンオフ判定部１２０、調査範囲決定部１２１、会話音声再生時刻決定部２１２２、会話音声再生時刻制御部２１２３、再生終了時刻計算部１２４、混合音量決定部２１２５、または、図１４における通信部１１０、会話音声入力部１１１、音声出力部１１２、会話音声送信部１１３、会話音声受信部１１４、コンテンツ音声受信部１１５、出音音声混合部１１６、オンオフ判定部３１２０、調査範囲決定部１２１、会話音声再生時刻決定部３１２２、会話音声再生時刻制御部１２３、再生終了時刻計算部１２４、閾値適応制御部３１２６についても、同様に、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００７６】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００７７】
以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【産業上の利用可能性】
【００７８】
本発明は、通常の音声通話で扱っている話者の声や周りの音を意味する会話音声と、ネットワーク上にある動画ファイルやゲーム、ビデオデッキに録画された番組などのコンテンツの音を意味するコンテンツ音声といった発信元の異なる複数の音声を同時に出力しながら音声通話（コミュニケーション）を行うテレビ電話などの通信装置に用いて好適であるが、これに限られるものではない。
【図面の簡単な説明】
【００７９】
【図１】この発明の第１の実施形態による情報処理端末１０１を用いた通信システムの概略構成を示すブロック図である。
【図２】同実施形態における情報処理端末１０１ａの概略構成を示すブロック図である。
【図３】同実施形態におけるオンオフ判定部１２０の動作を説明するフローチャートである。
【図４】同実施形態における会話音声再生時刻制御部１２３の動作を説明するフローチャートである。
【図５】同実施形態における会話音声の再生時刻制御の例を説明する図である。
【図６】同実施形態におけるオンオフ判定部１２０による会話音声のオンオフ判定（図３のステップＳ１００）の動作を説明するフローチャートである。
【図７】同実施形態におけるオンオフ判定部１２０による会話音声のオンオフ判定の例を説明する図である。
【図８】同実施形態における会話音声再生時刻決定部１２２の動作を説明するフローチャートである。
【図９】同実施形態における会話音声再生時刻決定部１２２の動作を説明するフローチャートの変形例である。
【図１０】同実施形態における会話音声再生時刻決定部１２２による再生時刻決定の例を説明する図である。
【図１１】この発明の第２の実施形態による情報処理端末１０１ａの概略構成を示すブロック図である。
【図１２】同実施形態における会話音声再生時刻決定部２１２２の動作を説明するフローチャートである。
【図１３】同実施形態における会話音声再生時刻決定部２１２２による再生時刻決定の例を説明する図である。
【図１４】この発明の第３の実施形態による情報処理端末１０１ａの概略構成を示すブロック図である。
【図１５】同実施形態における閾値適応制御部３１２６により閾値を制御する例を示す図である。
【符号の説明】
【００８０】
１０１ａ、１０１ｂ…情報処理端末
１０２…コンテンツサーバ
１０３…ネットワーク
１１０…通信部
１１１…会話音声入力部
１１２…音声出力部
１１３…会話音声送信部
１１４…会話音声受信部（会話音声受信手段）
１１５、２１１５…コンテンツ音声受信部（コンテンツ受信手段）
１１６、２１１６…出音音声混合部（出音音声制御手段）
１１７…コンテンツ音声再生部（コンテンツ音声再生手段）
１２０、３１２０…オンオフ判定部（有音部分抽出手段）
１２１…調査範囲決定部（調査範囲決定手段）
１２２、２１２２、３１２２…会話音声再生時刻決定部（会話音声再生時刻決定手段）
１２３、２１２３…会話音声再生時刻制御部（会話音声再生時刻制御手段）
１２４…再生終了時刻計算部（再生終了時刻計算手段）
１５０…コンテンツ音声バッファ（コンテンツ音声記憶手段）
１５１…会話音声バッファ
１６０…遅延時間保持部
２１２５…混合音量決定部（音量決定手段）
３１２６…閾値適応制御部（閾値適応制御手段）
【技術分野】
【０００１】
本発明は、通信装置、プログラムおよび受信音声出力方法、特に発信元が異なる複数の音声を適切に出力する通信装置、プログラムおよび受信音声出力方法に関する。
【背景技術】
【０００２】
近年、通信技術の発達に伴い、それぞれが遠隔地にいる複数のユーザが同時に会話することができる通話システムが提案されている。このようなシステムで、複数のユーザの発言のタイミングが重なった場合に、それぞれの発言を聞きやすくするための技術が提案されている。
例えば、特許文献１では、発言毎に優先順位を設定し、その優先順位に基づいて発言を時間的にずらして出力する従来の方法が開示されている。
【特許文献１】特開２００２−２３２５７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の方法にあっては、複数の音声が頻繁に流れている場合は、ずらす時間が累積され、遅延が増加していくため同時性（リアルタイム性）が損なわれるという問題がある。
特に、通常の音声通話で扱っている話者の声や周りの音を意味する会話音声と、ネットワーク上にある動画ファイルの音声やビデオデッキに録画された番組などのコンテンツの音を意味するコンテンツ音声といった発信元の異なる複数の音声を同時に出力しながら音声通話（コミュニケーション）を行う状況下においては、以下のような問題点が生じる蓋然性が高い。
コンテンツ音声は音が絶えず流れているため、従来の方法では、会話音声を出力するタイミングが少ないために、会話音声は大幅に時間的にずらして出力することになり、会話音声の同時性が著しく損なわれる。つまり、従来の技術は、複数の音声が重なった場合の各音声の聞き取りとりという問題点は解決されるが、通話で扱う音声の性質によっては、同時性が著しく損なわれてしまうという問題点がある。
【０００４】
本発明は、このような事情に鑑みてなされたもので、その目的は、発信元の異なる会話音声とコンテンツ音声を、同時性を保持しつつ、聞き分けることが可能なように出力する通信装置を提供することにある。
【課題を解決するための手段】
【０００５】
この発明は上述した課題を解決するためになされたもので、本発明は、通信相手から会話音声を受信する会話音声受信手段と、前記会話音声受信手段が受信した会話音声の有音部分を抽出する有音部分抽出手段と、音声を含んだコンテンツを受信するコンテンツ受信手段と、前記コンテンツ受信手段が受信したコンテンツに含まれる音声の音量に基づき、前記有音部分抽出手段が抽出した有音部分の再生時刻を決定する会話音声再生時刻決定手段と、前記有音部分抽出手段が抽出した有音部分を、前記会話音声再生時刻決定手段により決定された再生時刻に再生する会話音声再生時刻制御手段とを備えることを特徴とする通信装置である。
【０００６】
また、本発明は、コンピュータを、通信相手から会話音声を受信する会話音声受信手段、前記会話音声受信手段が受信した会話音声の有音部分を抽出する有音部分抽出手段、音声を含んだコンテンツを受信するコンテンツ受信手段、前記コンテンツ受信手段が受信したコンテンツに含まれる音声の音量に基づき、前記有音部分抽出手段が抽出した有音部分の再生時刻を決定する会話音声再生時刻決定手段、前記有音部分抽出手段が抽出した有音部分を、前記会話音声再生時刻決定手段により決定された再生時刻に再生する会話音声再生時刻制御手段として機能させるためのプログラムである。
【０００７】
また、本発明は、通信相手から会話音声を受信する第１の過程と、前記第１の過程にて受信した会話音声の有音部分を抽出する第２の過程と、音声を含んだコンテンツを受信する第３の過程と、前記第３の過程にて受信したコンテンツに含まれる音声の音量に基づき、前記第２の過程にて抽出した有音部分の再生時刻を決定する第４の過程と、前記第２の過程にて抽出した有音部分の再生時刻を決定する第５の過程と、前記第２の過程にて抽出した有音部分を、前記第５の過程にて決定された再生時刻に再生する第６の過程とを備えることを特徴とする受信音声出力方法である。
【０００８】
これにより、本発明の通信装置（プログラム、受信音声出力方法）は、コンテンツの音声の音量が小さいときに会話音声を出力することで、発信元の異なる会話音声とコンテンツの音声を、同時性を保持しつつ、聞き分けることが可能なように出力することができる。
【０００９】
また、本発明は、上述の通信装置であって、前記会話音声再生時刻決定手段は、前記コンテンツに含まれる音声の音量が所定の閾値より小さいときを再生時刻とすることを特徴とする。
【００１０】
これにより、本発明の通信装置は、閾値を適当な値とすることで、コンテンツの音声の音量が充分に小さいときに会話音声を出力するので、発信元の異なる会話音声とコンテンツの音声を、同時性を保持しつつ、聞き分けることが可能なように出力することができる。
【００１１】
また、本発明は、上述の通信装置であって、前記有音部分抽出手段が検出した有音部分の始端時刻から所定の長さの時間を調査範囲として決める調査範囲決定手段を備え、前記会話音声再生時刻決定手段は、前記調査範囲決定手段が決めた調査範囲内で、前記コンテンツに含まれる音声の音量が所定の閾値より小さいときを再生時刻とすることを特徴とする。
【００１２】
これにより、本発明の通信装置は、閾値を適当な値とすることで、所定の時間内でコンテンツの音声が充分に小さいときに会話音声を出力するので、発信元の異なる会話音声とコンテンツの音声を、同時性を保持しつつ、聞き分けることが可能なように出力することができる。
【００１３】
また、本発明は、上述の通信装置であって、前記有音部分抽出手段は、有音部分の終端時刻を検出し、前記会話音声再生時刻決定手段は、前記有音部分抽出手段が抽出した有音部分の再生を開始する時刻から前記有音部分抽出手段が検出した始端時刻を引いて遅延時間を算出し、前記有音部分抽出手段が前の有音部分について検出した終端時刻に、前記会話音声再生時刻決定手段が前の有音部分について算出した遅延時間を足した再生終了時刻を算出する再生終了時刻計算手段を備え、前記調査範囲決定手段は、前記有音部分抽出手段が検出した始端時刻と前記再生終了時刻計算手段が算出した再生終了時刻とのうち、遅い方の時刻を調査範囲の開始時刻とすることを特徴とする。
【００１４】
これにより、本発明の通信装置は、有音部分の再生時刻を、前の有音部分の再生終了時間より後にするので、会話音声の有音部分同士が重ならないように出力することができる。
【００１５】
また、本発明は、上述のいずれかの通信装置であって、前記会話音声再生時刻決定手段は、前記調査範囲決定手段が決めた調査範囲内に前記コンテンツに含まれる音声の音量が所定の閾値より小さくならないときは、前記調査範囲の終端時刻を再生時刻とすることを特徴とする。
【００１６】
これにより、本発明の通信装置は、所定の時間内のコンテンツの音声が充分に小さいときがなくても、所定の時間内に会話音声を出力することができる。
【００１７】
また、本発明は、上述のいずれかの通信装置であって、コンテンツに含まれる音声を記憶するコンテンツ音声記憶手段と、前記コンテンツ音声記憶手段に格納された音声を、前記コンテンツ音声記憶手段から読み出して再生するコンテンツ音声再生手段とを備え、コンテンツ受信手段は、コンテンツを受信し、該コンテンツに含まれる音声を抽出して前記コンテンツ音声記憶手段に格納し、前記会話音声再生時刻決定手段は、前記コンテンツ音声記憶手段に格納されている音声を参照し、前記調査範囲決定手段が決めた調査範囲内に再生される前記参照した音声の音量が所定の閾値より小さくならないときは、前記調査範囲決定手段が決めた調査範囲内に再生される前記参照した音声の音量が最も小さいときを再生時刻とすることを特徴とする。
【００１８】
これにより、本発明の通信装置は、会話音声の出力を、遅延時間を所定の時間内としつつ、会話音声が最も聞き取りやすいときとすることができる。
【００１９】
また、本発明は、上述の通信装置であって、前記会話音声再生時刻決定手段は、前記コンテンツ音声記憶手段に格納されている音声を参照し、前記調査範囲決定手段が決めた調査範囲内に再生される前記参照した音声の音量が所定の閾値より小さい時間帯のうち、最も長いあるいは最も早い時間帯の開始時刻を再生時刻とすることを特徴とする。
【００２０】
これにより、本発明の通信装置は、会話音声の出力を、遅延時間を所定の時間内としつつ、会話音声が最も聞き取りやすいとき、あるいは、遅延時間がなるべく短くなるときとすることができる。
【００２１】
また、本発明は、上述のいずれかの通信装置であって、前記調査範囲決定手段が決めた調査範囲内に前記コンテンツに含まれる音声の音量が所定の閾値より小さくならないときは、会話音声を出力する際は、コンテンツに含まれる音声の出力音量を小さく、会話音声の出力音量を大きくするように通知する音量決定手段と、前記音量決定手段の通知に基づき、コンテンツに含まれる音声の出力音量および会話音声の出力音量を制御する出音音声制御手段とを備えることを特徴とする。
【００２２】
これにより、本発明の通信装置は、閾値を適当な値としても、コンテンツの音声の音量が充分に小さいときが無い場合は、会話音声の出力時に、コンテンツの音声の音量を小さく、会話音声の音量を大きくして、会話音声が聞き取り易いようにすることができる。
【００２３】
また、本発明は、上述の通信装置であって、会話音声を出力する際は、コンテンツに含まれる音声の出力音量を小さく、または、会話音声の出力音量を大きくするように通知する音量決定手段と、前記音量決定手段の通知に基づき、コンテンツに含まれる音声の出力音量、または、会話音声の出力音量を制御する出音音声制御手段とを備えることを特徴とする。
【００２４】
これにより、本発明の通信装置は、会話音声の出力時に、コンテンツの音声の音量を小さく、または、会話音声の音量を大きくして、会話音声が聞き取り易いようにすることができる。
【００２５】
また、本発明は、上述の通信装置であって、前記有音部分抽出手段が抽出した有音部分の音量に応じて、前記閾値を決定する閾値適応制御手段を備えることを特徴とする。
【００２６】
これにより、本発明の通信装置は、会話音声の音量が大きいときは、会話音声の音量が小さいときに比べて閾値が大きくなるようにすることで、閾値を固定値としたときよりも、会話音声の遅延時間を短くすることができる。
【発明の効果】
【００２７】
この発明によれば、コンテンツ音声の音量に基づき、会話音声の有音部分の再生時刻を決定するので、コンテンツ音声の音量が小さいときを会話音声の有音部分の再生時刻とすることで、発信元の異なる会話音声とコンテンツ音声を、同時性を保持しつつ、聞き分けることが可能なように出力することができる。
【発明を実施するための最良の形態】
【００２８】
［第１の実施形態］
以下、図面を参照して、本発明の第１の実施の形態について説明する。図１に、この発明の第１の実施形態による通信装置を用いて、会話音声とコンテンツ音声といった複数の音声を同時に出力しながら音声コミュニケーションを行なうシステムの概略構成図を示す。図中、１０１ａはＡさん宅の通信装置である情報処理端末、１０１ｂはＢさん宅の通信装置である情報処理端末である。例えばマイク、スピーカ、表示画面を備えたテレビ電話機を想定している。また、１０２はコンテンツを提供可能なコンテンツサーバであり、例えばコンテンツを保持するＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）サーバを想定している。最後に、１０３はネットワークであり、ネットワーク１０３を介して、情報処理端末１０１ａと情報処理端末１０１ｂは通話し、また、コンテンツサーバ１０２は、指定されたコンテンツをストリームデータとして情報処理端末１０１ａと情報処理端末１０１ｂとに同時に配信する。
【００２９】
本実施形態の情報処理（通話）システムでは、コンテンツサーバ１０２上に格納されている運動会の動画ファイルなど、ネットワーク１０３上にあるコンテンツを、Ａさん宅の情報処理端末１０１ａとＢさん宅の情報処理端末１０１ｂの両方で同期出力し、同時にＡさんとＢさんの間で会話も楽しむことができる。つまり、本実施形態の情報処理端末からなる情報処理システムは、コンテンツを共有しながら会話できるため、今まで以上につながり感のあるコミュニケーションが実現できるように構成されている。ここでいう同期出力とは、Ａさん宅（情報処理端末１０１ａ）とＢさん宅（情報処理端末１０１ｂ）において同じタイミングでコンテンツが再生されることを示しており、同じタイミングとは、完全にタイミングが一致したものである必要はなく、通信網の遅延などによる多少のタイミングの不一致を許容するものとする。
【００３０】
図２は、本実施形態の情報処理端末１０１ａおよび情報処理端末１０１ｂの概略構成を示すブロック図である。情報処理端末１０１ａは、通信部１１０、会話音声入力部１１１、音声出力部１１２、会話音声送信部１１３、会話音声受信部１１４、コンテンツ音声受信部１１５、出音音声混合部１１６、コンテンツ音声再生部１１７、オンオフ判定部１２０、調査範囲決定部１２１、会話音声再生時刻決定部１２２、会話音声再生時刻制御部１２３、再生終了時刻計算部１２４、コンテンツ音声バッファ１５０、会話音声バッファ１５１、遅延時間保持部１６０によって構成される。
なお、情報処理端末１０１ａと情報処理端末１０１ｂは同じ構成とし、以下、情報処理端末１０１ａあるいは情報処理端末１０１ｂをしばしば情報処理端末１０１という。
また、図中の実線の矢印は音声信号を表わし、破線の矢印は制御信号を表わしている。
なお、ネットワーク１０３を介してコンテンツサーバ１０２からコンテンツ映像を受信し、表示するコンテンツ映像受信部および、コンテンツ映像表示部については、図示を省略している。
【００３１】
通信部１１０は、ネットワーク１０３を介して通信相手の情報処理端末（情報処理端末１０１ｂ）やコンテンツサーバ１０２と有線通信または無線通信を行なう手段であり、例えばネットワークカードやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）接続端子などで構成される。
【００３２】
会話音声入力部１１１は、ユーザ（Ａさん）の発する音声や周囲の音を電気信号に変換して会話音声を生成する。具体的にはマイクなどの音声入力装置である。音声出力部１１２は、通信相手のユーザであるＢさんの会話音声とコンテンツ音声とを混合した電気信号である混合音声を出音する。具体的にはスピーカなどの音声出力装置である。会話音声送信部１１３は、会話音声入力部１１１から伝えられた会話音声を、通信部１１０を介してネットワーク１０３へ送信する。
【００３３】
会話音声受信部（会話音声受信手段）１１４は、ネットワーク１０３を介して情報処理端末１０１ｂから会話音声を受信する。
また、コンテンツ音声受信部（コンテンツ受信手段）１１５は、ネットワーク１０３を介してコンテンツサーバ１０２からコンテンツ音声を受信し、コンテンツ音声バッファ１５０に格納する。
コンテンツ音声再生部（コンテンツ音声再生手段）１１７は、コンテンツ音声バッファ１５０からコンテンツ音声を読み出して再生し、出音音声混合部１１６に入力する。なお、コンテンツ音声再生部１１７は、コンテンツ音声バッファ１５０に後述する調査範囲の時間以上の未再生のコンテンツ音声が蓄積されているように、コンテンツ音声受信部１１５によるコンテンツ音声バッファ１５０への書き込みから遅延させたタイミングで読み出しを行う。
【００３４】
出音音声混合部１１６は、定められた混合音量情報に基づき、会話音声再生時刻制御部１２３から入力した会話音声と、コンテンツ音声再生部１１７から入力したコンテンツ音声との音量をそれぞれ設定し、混合して混合音声を生成する。
【００３５】
コンテンツ音声バッファ（コンテンツ音声記憶手段）１５０は、コンテンツ音声受信部１１５から入力されたコンテンツ音声を蓄積するバッファである。
会話音声バッファ１５１は、オンオフ判定部１２０から入力された会話音声を蓄積するバッファである。
【００３６】
図３はオンオフ判定部１２０の動作を示すフローチャートである。
オンオフ判定部（有音部分抽出手段）１２０は、会話音声受信部１１４から会話音声を入力し、後で説明するアルゴリズムに基づいて、会話音声の有効部分（有音部分）を選択する。手順としては、まず、受信した会話音声が、Ｂさんの発した音声や周囲の音など、再生して意味のある音であればオン、Ｂさんが黙っていて静かな場合など、再生しても意味のない音であればオフと判定する（Ｓ１００）。オンと判定した部分はそのまま会話音声として扱い、一方、オフと判定した部分は完全に無音として扱う。つまり、オンと判定した部分だけが会話音声の有効部分となり、この部分の会話音声だけが再生されることになる。
なお、後述するように、再生して意味のある音であるか否かの判定は、一例として、会話音声の音量が予め設定した閾値より大であるか否かによって行う。
【００３７】
また、オンオフ判定部１２０では、直前の判定がオンであったかオフであったかを記録しておき、今の判定と比較して（Ｓ１０１）、その結果によって異なった動作をする。判定がオフのまま（Ｓ１５０）であれば、何も動作しない。判定がオンからオフに変化（Ｓ１５１）すれば、その時の時刻を会話音声の終端時刻として扱い、再生終了時刻計算部１２４にその時刻を通知する（Ｓ１０２）。判定がオフからオンに変化（Ｓ１５２）すれば、その時の時刻を会話音声の始端時刻として扱い、調査範囲決定部１２１と会話音声再生時刻制御部１２３にその時刻を通知する（Ｓ１０３、Ｓ１０４）。さらに、会話音声バッファ１５１に会話音声を出力する（Ｓ１０５）。また、判定がオンのまま（Ｓ１５３）である場合も、会話音声バッファ１５１に会話音声を出力する（Ｓ１０５）。
【００３８】
調査範囲決定部（調査範囲決定手段）１２１は、コンテンツ音声の音量を調査する範囲を決定し、会話音声再生時刻決定部１２２に調査範囲を通知する。調査範囲を決定する際は、再生終了時刻計算部１２４から通知された再生終了時刻と、オンオフ判定部１２０から通知された会話音声の始端時刻と、あらかじめ定められた最大遅延時間を参照する。調査範囲を決定する方法は後述する。
【００３９】
会話音声再生時刻決定部（会話音声再生時刻決定手段）１２２は、調査範囲決定部１２１から通知された調査範囲内で、後で説明するアルゴリズムに基づいて、コンテンツ音声バッファ１５０から入力したコンテンツ音声の音量を調査して、会話音声の再生時刻を決定する。そして、決定した時刻を会話音声再生時刻制御部１２３に通知する。
【００４０】
図４は会話音声再生時刻制御部１２３の動作を示すフローチャートである。
会話音声再生時刻制御部（会話音声再生時刻制御手段）１２３は、会話音声再生時刻決定部１２２から再生時刻の情報を受け取り（Ｓ２００）、その時刻に基づいて会話音声バッファ１５１から入力した会話音声を出音音声混合部１１６に出力する。なお、システムの処理遅延のため、通知された再生時刻がこのときの時刻より遡る場合がある。したがって、会話音声再生時刻制御部１２３では、通知された再生時刻と現在の時刻と比較して（Ｓ２０１）、再生時刻が現在の時刻よりも前である場合（Ｓ２５０）は、ただちに出音音声混合部１１６に会話音声を出力し（Ｓ２０２）、このときの時刻を改めて再生時刻とする（Ｓ２０３）。一方、再生時刻が現在の時刻よりも後である場合（Ｓ２５１）は、通知された再生時刻に合わせて会話音声を出力する（Ｓ２０４）。そして、どちらの場合でも、オンオフ判定部１２０から入力した会話音声の始端時刻と再生時刻を比較して、実際に会話音声の再生を遅延させている時間を算出して遅延時間保持部１６０に書き込む（Ｓ２０５）。
【００４１】
再生終了時刻計算部（再生終了時刻計算手段）１２４は、オンオフ判定部１２０から会話音声の終端時刻を入力し、その時刻と遅延時間保持部１６０から読み出した遅延時間を足し合わせて、会話音声の再生が終了する時刻を算出する。また、算出した時刻は調査範囲決定部１２１へ通知する。
遅延時間保持部１６０は、会話音声再生時刻制御部１２３が会話音声の再生を遅延させている時間を記憶する。
【００４２】
図５は本実施形態における会話音声の再生時刻を制御した例を示すものである。矢印のついた横軸は時間を表しており、上は再生時刻を制御する前の会話音声、下は再生時刻を制御した後の会話音声の様子を表している。なお、添え字のｎはｎ番目であることを表しており、これは前後のタイミングの同じものと区別するためにある。
２００ｎはオンと判定された区間の会話音声である。
２１０ｎはオンと判定された区間の始端時刻であり、一方、２１１ｎはオンと判定された区間の終端時刻である。
２１２ｎはコンテンツの音量を調査する範囲の始端時刻であり、一方、２１３ｎはコンテンツの音量を調査する範囲の終端時刻である。つまり２１２ｎと２１３ｎの範囲内でコンテンツの音量を調査して会話音声２００ｎの再生時刻を決定する。
２１４ｎは会話音声２００ｎの再生時刻であり、一方２１５ｎは再生終了時刻である
２１６ｎは会話音声２００ｎの再生を遅延させている時間である。
２１７はあらかじめ定められた会話音声を再生する際の最大遅延時間である。
【００４３】
会話音声に対するオンオフ判定部１２０の判定がオフからオンに変化したとき、つまり２１０ｎの時刻では、会話音声再生時刻決定部１２２が会話音声の再生時刻２１４ｎを決定するために、まず、調査範囲決定部１２１がコンテンツの音量を調査する範囲を決める。調査範囲決定部１２１は、その始端時刻２１２ｎとして、再生終了時刻計算部１２４が算出した前の会話音声の再生終了時刻２１５ｎ−１とオンオフ判定部１２０が検出した今の会話音声の始端時刻２１０ｎとを比較して、遅いほうの時刻を選択する。図５では、前の会話音声の再生終了時刻２１５ｎ−１が選択されている。また、調査範囲決定部１２１は、終端時刻２１３ｎを、今の会話音声の始端時刻２１０ｎに最大遅延時間２１７を足し合わせた時刻とする。
続いて、決定した調査範囲内で会話音声を再生する時刻２１４ｎを、会話音声再生時刻決定部１２２が決定し、この時刻を会話音声再生時刻制御部１２３へ送る。この時刻から会話音声再生時刻制御部１２３が会話音声２００ｎを再生する。また、再生時刻２１４ｎと会話音声の始端時刻２１０ｎの差を算出して、その時間を再生遅延の時間２１６ｎとして保持する。
【００４４】
オンオフ判定部１２０において、会話音声の判定がオンからオフに変化したとき、つまり終端時刻を検出する２１１ｎの時刻では、再生終了時刻計算部１２４は、オンオフ判定部１２０が検出した会話音声の終端時刻２１１ｎに遅延時間保持部１６０に記憶された遅延時間２１６ｎを足し合わせて、再生終了時刻２１５ｎを算出して保持する。
なお、前の会話音声の再生終了時刻２１５ｎ−１と今の会話音声の再生時刻２１４ｎの間に数１０ｍ秒程度の短時間を設けて、音声の不連続を無くすよう制御してもよい。
【００４５】
図６は本実施形態におけるオンオフ判定部１２０による会話音声のオンオフ判定（図３のステップＳ１００）の動作を示すフローチャートである。
本実施形態では、あらかじめ閾値を設定しておき、会話音声の音量が閾値を越えているか否か判定する（Ｓ３００）。閾値を越えている場合（Ｓ３５０）は、オンと判定する（Ｓ３５４）。閾値を越えていない場合（Ｓ３５１）は、さらに閾値を越えていない時間が所定時間続くかどうかを判定する（Ｓ３０１）。その結果、所定時間続いていなかった場合（Ｓ３５２）は、オンと判定（Ｓ３５４）し、所定時間続いていた場合（Ｓ３５３）は、オフと判定する（Ｓ３５５）。
【００４６】
図７は本実施形態におけるオンオフ判定部１２０による会話音声のオンオフ判定の例である。矢印のついた横軸は時間を、縦軸は会話音声の音量を表しており、波形は会話音声の音量の時間変化を表している。
【００４７】
図７（ａ）において、３００は判定のための閾値であり、予め所望の値に設定される。３０１は上述の判定のための所定時間である。
３１０の時刻では、会話音声の音量が閾値３００を上回るため（Ｓ３５０）、オンオフ判定部１２０は、オンと判定している（Ｓ３５４）。３１１の時刻では、会話音声の音量が閾値３００を下回る状態が音量が閾値と交差する時刻から所定時間３０１続いているため（Ｓ３５３）、オンオフ判定部１２０は、オフと判定している（Ｓ３５５）。
【００４８】
図７（ｂ）において、３２０の時刻では、会話音声の音量が閾値３００を上回るため（Ｓ３５０）、オンオフ判定部１２０は、オンと判定している（Ｓ３５４）。３２１の時刻では、会話音声の音量が閾値３００を下回る状態が所定時間３０１続いているためオフと判定している。３２２の間は、会話音声の音量が閾値３００を下回っている（Ｓ３５１）が所定時間３０１続かなかったため（Ｓ３５２）、オンオフ判定部１２０が、オンと判定した状態が継続している（Ｓ３５４）。
なお、オンオフの判定として、単に、閾値３００を上回るとオンと判定し閾値３００を下回るとオフと判定するような仕組みでもよい。
【００４９】
図８は本実施形態における会話音声再生時刻決定部１２２が、コンテンツ音声の音量を調査して会話音声再生時刻を決定する方法の仕組みを示すフローチャートである。
本実施形態では、会話音声再生時刻決定部１２２は、あらかじめ閾値を設定しておき、調査範囲内でコンテンツ音声の音量が閾値を下回っているか否か判定する（Ｓ４００）。閾値を下回っている箇所がある場合（Ｓ４５０）は、なるべく遅延が小さくなるように、会話音声再生時刻決定部１２２は、調査範囲内で初めて小さいと判定された時刻を選択（Ｓ４０１）する。一方、閾値を下回っている箇所がない場合（Ｓ４５１）は、会話音声再生時刻決定部１２２は、調査範囲内でコンテンツ音声の音量が最も小さくなる時刻を選択する（Ｓ４０３）。
【００５０】
なお、上記において、会話音声再生時刻決定部１２２は、ステップＳ４０１にて、調査範囲内で初めて小さいと判定された時刻を再生時刻として選択するとして説明したが、図９に示す変形例のように、会話音声の再生時刻からなるべく長い間コンテンツ音量が小さくなるように、小さいと判定される時間が一番長くなる箇所の始端時刻を選択（Ｓ４０２）してもよい。
【００５１】
図１０は、本実施形態における会話音声再生時刻決定部１２２による会話音声再生時刻の決定の例である。矢印のついた横軸は時間を、縦軸はコンテンツ音声の音量を表しており、波形はコンテンツ音声の音量の時間変化を表している。
図１０（ａ）において、４００は判定のための閾値である。例えば、コンテンツ音声の音量を調査する範囲が４１０である場合、調査範囲内で初めて小さいと判定される時刻である４１１の時刻が、会話音声再生時刻決定部１２２により、会話音声の再生時刻として決定される（Ｓ４０１）。
図１０（ｂ）において、例えば、コンテンツ音声の音量を調査する範囲が４２０である場合、コンテンツ音声の音量が小さいと判定される時刻が全く無いため（Ｓ４５１）、調査範囲内でコンテンツ音声の音量が最も小さい時刻である４２１の時刻が、会話音声再生時刻決定部１２２により、会話音声の再生時刻として決定される（Ｓ４０３）。
【００５２】
会話音声再生時刻決定部１２２は、音量が小さいと判定される時間が一番長くなる箇所の始端時刻を選択する場合には、図１０（ｃ）において、例えば、コンテンツ音声の音量を調査する範囲が４３０である場合、４３２の箇所と４３３の箇所でコンテンツ音声の音量が小さいと判定されている（Ｓ４５０）。このとき、小さいと判定される時間が一番長くなる箇所は４３３の箇所であるため、その始端時刻である４３１が、会話音声再生時刻決定部１２２により、会話音声の再生時刻として決定される（Ｓ４０２）。
【００５３】
このように、本実施形態の情報処理端末１０１ａは、コンテンツ音声の音量が大きくない箇所を調べ、その箇所から会話音声を再生することにより、会話音声の始めの部分を聞き取りやすくする。会話全体の内容を把握できるかどうかは、話し始めの部分が聞けるかどうかに大きく依存するため、本発明を用いると、通話者は会話全体の内容を把握しやすくなる。その結果、会話音声とコンテンツ音声を同時に出力するような状況でも両者を区別して聞きやすくなる。
【００５４】
［第２の実施形態］
本発明の第２の実施形態の通信装置である情報処理端末１０１ａは、図２に示す本発明の第１の実施形態の変形例である。図１１は、本発明の第２の実施形態の情報処理端末１０１ａの概略構成を示すブロック図である。情報処理端末１０１ａは、通信部１１０、会話音声入力部１１１、音声出力部１１２、会話音声送信部１１３、会話音声受信部１１４、コンテンツ音声受信部２１１５、出音音声混合部２１１６、オンオフ判定部１２０、調査範囲決定部１２１、会話音声再生時刻決定部２１２２、会話音声再生時刻制御部２１２３、再生終了時刻計算部１２４、混合音量決定部２１２５、会話音声バッファ１５１、遅延時間保持部１６０によって構成される。なお、情報処理端末１０１ａと情報処理端末１０１ｂは同じ構成とする。以下、情報処理端末１０１ａあるいは情報処理端末１０１ｂをしばしば情報処理端末１０１という。
図１１において図２の各部に対応する同一の部分には同一の符号を付け、その説明を省略する。
【００５５】
コンテンツ音声受信部（コンテンツ受信手段）２１１５は、ネットワーク１０３を介してコンテンツサーバ１０２（図１）からコンテンツ音声を受信し、出音音声混合部２１１６に出力するとともに、会話音声再生時刻決定部２１２２に出力する。
出音音声混合部（出音音声制御手段）２１１６は、混合音量決定部２１２５の指示に基づき、会話音声再生時刻制御部２１２３から入力した会話音声と、コンテンツ音声受信部２１１５から入力したコンテンツ音声との音量をそれぞれ設定し、混合して混合音声を生成する。
【００５６】
会話音声再生時刻決定部（会話音声再生時刻決定手段）２１２２では、調査範囲決定部１２１から通知された調査範囲内で、後で説明するアルゴリズムに基づいて、コンテンツ音声受信部２１１５から入力したコンテンツ音声の音量をリアルタイムで調査して、会話音声の再生時刻を決定する。第１の実施形態の場合と比べると、コンテンツ音声のバッファが無いため、リアルタイムでコンテンツ音声の音量を調査している点が異なる。リアルタイムでコンテンツ音声の音量を調査するため、決定するときの時刻がそのまま会話音声の再生時刻となる。したがって、会話音声の再生時刻を決定すると、すぐに会話音声再生時刻制御部２１２３に会話音声を再生するよう命令する。
【００５７】
会話音声再生時刻制御部（会話音声再生時刻制御手段）２１２３では、会話音声再生時刻決定部２１２２から命令を受け取り、その命令に基づいて会話音声バッファ２１５１から入力した会話音声を出音音声混合部２１１６に出力する。まず、会話音声を再生するよう命令を受け取ると、すぐに会話音声を出音音声混合部２１１６へ出力し、このときの時刻を再生時刻とする。そして、オンオフ判定部１２０から入力した会話音声の始端時刻と再生時刻を比較して、実際に会話音声の再生を遅延させている時間を算出して遅延時間保持部１６０に書き込む。
また、算出した遅延時間が最大遅延時間、もしくはシステムの処理遅延により最大遅延時間を越えている場合は、会話音声の再生時刻に合わせて混合音量決定部２１２５へ制御信号を通知する。
【００５８】
混合音量決定部（音量決定手段）２１２５は、会話音声再生時刻制御部２１２３から制御信号を受けると、所定時間の間、会話音声の音量を大きくし、コンテンツ音声の音量を小さくするよう混合音量情報を設定して、その混合音量情報を出音音声混合部２１１６へ通知する。
【００５９】
図１２は本実施形態における会話音声再生時刻決定部２１２２が、コンテンツ音声の音量を調査して会話音声再生時刻を決定する方法の仕組みを示すフローチャートである。
本実施形態では、会話音声再生時刻決定部２１２２は、あらかじめ閾値を設定しておき、コンテンツ音声の音量が閾値を下回っているか否か判定する（Ｓ２４００）。閾値を下回っている箇所がある場合（Ｓ２４５０）は、会話音声再生時刻決定部２１２２は、小さいと判定したそのときの時刻を会話音声の再生時刻として決定する（Ｓ２４０１）。一方、あらかじめ定められた所定時間を経過しても閾値を下回っている箇所がない場合（Ｓ２４５１）は、会話音声再生時刻決定部２１２２は、調査を開始してから所定時間経過しているそのときの時刻を会話音声の再生時刻として決定する（Ｓ２４０２）。このように決定した会話音声の再生時刻は、リアルタイム性を維持するためにやむを得ず決定した時刻であり、所定時間は最大遅延時間に相当する。
【００６０】
このように決定した会話音声の再生時刻でも、会話音声を聞き取りやすくするため、本実施形態では、会話音声再生時刻制御部２１２３から指示を受けた混合音量決定部２１２５が、出音音声混合部２１１６へ混合音量情報を通知して、会話音声の再生時刻から数秒程度の間、会話音声の音量を上げて、コンテンツ音声の音量を下げるといった音量制御を加えている。
【００６１】
図１３は本実施形態における会話音声再生時刻決定部２１２２による会話音声再生時刻の決定の例である。矢印のついた横軸は時間を、縦軸はコンテンツ音声の音量を表しており、波形はコンテンツ音声の音量の時間変化を表している。
【００６２】
図１３（ａ）において、２４００は判定のための閾値である。ここで、例えば、コンテンツ音声の音量を２４１２の時刻からリアルタイムで調査する場合、２４１０の時間経過して２４１１の時刻になったときに、会話音声再生時刻決定部２１２２により、コンテンツ音声の音量が小さいと判断されるため、２４１１の時刻が会話音声の再生時刻として決定される。
【００６３】
図１３（ｂ）において、図１３（ａ）と同様に２４００は判定のための閾値である。ここで、例えば、コンテンツ音声の音量を２４２２の時刻から調査する場合、定められた所定時間２４２０の時間経過しても、コンテンツ音声の音量が小さいと判定される時刻が無いため、会話音声再生時刻決定部２１２２により、そのときの時刻２４２１が会話音声の再生時刻として決定される。
【００６４】
これにより、第１の実施形態においてコンテンツ音声バッファ１５１にて生じていたコンテンツ音声の遅延を発生させることなく、会話音声の再生時刻を決定することができる。また、所定時間内にコンテンツ音声の音量が充分に小さくなるタイミングがなく会話音声とコンテンツ音声を同時に出力するようなときでも、話し始めの部分でコンテンツ音声の音量を下げ、会話音声の音量を上げることで、通話者は会話全体の内容を把握しやすくなる。その結果、会話音声とコンテンツ音声を同時に出力するような状況でも両者を区別して聞きやすくなる。
【００６５】
［第３の実施形態］
本発明の第３の実施形態の通信装置である情報処理端末１０１ａは、図２に示す本発明の第１の実施形態のさらなる変形例である。図１４は、本発明の第３の実施形態の情報処理端末１０１ａの概略構成を示すブロック図である。情報処理端末１０１ａは、通信部１１０、会話音声入力部１１１、音声出力部１１２、会話音声送信部１１３、会話音声受信部１１４、コンテンツ音声受信部１１５、出音音声混合部１１６、オンオフ判定部３１２０、調査範囲決定部１２１、会話音声再生時刻決定部３１２２、会話音声再生時刻制御部１２３、再生終了時刻計算部１２４、閾値適応制御部３１２６、コンテンツ音声バッファ１５０、会話音声バッファ１５１、遅延時間保持部１６０によって構成される。なお、情報処理端末１０１ａと情報処理端末１０１ｂは同じ構成とする。以下、情報処理端末１０１ａあるいは情報処理端末１０１ｂをしばしば情報処理端末１０１という。
図１４において図２の各部に対応する同一の部分には同一の符号を付け、その説明を省略する。
【００６６】
オンオフ判定部（有音部分抽出手段）３１２０は、第１の実施形態（図２）におけるオンオフ判定部１２０の機能に加えて、会話音声がオンの場合の平均音量を算出して、閾値適応制御部３１２６に通知する。
閾値適応制御部（閾値適応制御手段）３１２６は、オンオフ判定部３１２０から通知された会話音声の平均音量をもとに、コンテンツ音声の音量を調査する際の閾値を決定して、会話音声再生時刻決定部３１２２に通知する。
【００６７】
会話音声再生時刻決定部（会話音声再生時刻決定手段）３１２２は、第１の実施形態（図２）における会話音声再生時刻決定部１２２においてあらかじめ設定された閾値に替えて、閾値適応制御部３１２６から受けた閾値を用いて、再生時刻を決める。予め設定された閾値ではなく閾値適応制御部３１２６から受けた閾値を用いることを除いて、その動作は、図８に示す本発明の第１の実施形態における会話音声再生時刻決定部１２２と同一である。
【００６８】
図１５は本実施形態においてコンテンツ音声の音量を調査する際、閾値適応制御部３１２６により閾値を制御する例を示す図である。矢印のついた横軸は時間を、縦軸はコンテンツ音声の音量を表しており、波形はコンテンツ音声の音量の時間変化を表している。
図１５（ａ）において、３５００は判定のための閾値である。会話音声再生時刻決定部３１２２は、コンテンツ音声の音量が閾値３５００を上回ると音量が大きいと判定し、閾値３５００を下回ると音量が小さいと判定する。例えば、コンテンツ音声の音量を調査する範囲が３５１０である場合、会話音声再生時刻決定部３１２２により、３５１１の時刻が、会話音声の再生時刻として決定される。
図１５（ｂ）において、３５０１は判定のための閾値である。例えば、コンテンツ音声の音量を調査する範囲が３５２０である場合、会話音声再生時刻決定部３１２２により、３５２１の時刻が、会話音声の再生時刻として決定される。
【００６９】
本実施形態では、会話音声の再生時刻を決定するときには、そのときの会話音声の音量は不明であるため、閾値適応制御部３１２６は、過去の会話音声の平均音量を参照して閾値を制御する。図１５（ａ）と図１５（ｂ）では、同じコンテンツ音声であり、波形は同じであるが、図１５（ａ）では閾値３５００の値が小さく、図１５（ｂ）では閾値３５０１の値が大きいため、コンテンツ会話音声の再生時刻が異なる。
【００７０】
会話音声が小さい場合は、図１５（ａ）のように、閾値３５００の値を小さくしておくことで、多少遅延時間が長くなってもコンテンツ音声の音量が十分小さくなる時刻を選択することができる。一方、会話音声が大きい場合は、コンテンツ音声の音量が多少大きくても会話音声が聞き取れるため、図１５（ｂ）のように、閾値３５０１の値を大きくしておくことで、遅延時間を短くすることができる。
このように会話音声の音量に応じて閾値を制御することによって、より効果的な会話音声の再生時刻を決定することができる。
【００７１】
以上、これまで説明したように、本発明によれば、会話音声とコンテンツ音声といった複数の音声を同時に出力しながら音声コミュニケーションを行なう状況において、会話音声とコンテンツ音声を区別して聞き取りやすくする。
具体的には、コンテンツ音声の音量が大きくない箇所を調べ、その箇所から会話音声を再生することにより、会話音声の始めの部分を聞き取りやすくする。会話全体の内容を把握できるかどうかは、話し始めの部分が聞けるかどうかに大きく依存するため、本発明を用いると、通話者は会話全体の内容を把握しやすくなる。その結果、会話音声とコンテンツ音声を同時に出力するような状況でも両者を区別して聞きやすくなる。
【００７２】
なお、第２の実施形態における混合音量決定部２１２５を、第３の実施形態の情報処理端末１０１が備えてもよい。この場合、会話音声時刻制御部１２３は、会話音声時刻制御部２１２３と同様に、必要に応じて混合音量決定部２１２５に制御信号を通知し、混合音量決定部２１２５では、会話音声の音量を上げ、コンテンツの音声の音量を下げるように混合音量制御情報を設定する。
また、第３の実施形態における閾値適応制御部３１２６を、第２の実施形態の情報処理端末１０１が備えてもよい。この場合、オンオフ判定部１２０は、会話音声がオンの場合の平均音量を算出して、閾値適応制御部３１２６に通知する。
【００７３】
また、第１から第３の実施形態において、コンテンツサーバ１０２は、指定されたコンテンツをストリームデータとして情報処理端末１０１ａと情報処理端末１０１ｂとに同時に配信するとして説明したが、情報処理端末１０１ａと情報処理端末１０１ｂとが受信するコンテンツは同一である必要はない。例えば、コンテンツがゲームであれば、各情報処理端末１０１ａ、１０１ｂに、それぞれのプレイヤーの視点からの映像を配信する。
【００７４】
また、図２における通信部１１０、会話音声入力部１１１、音声出力部１１２、会話音声送信部１１３、会話音声受信部１１４、コンテンツ音声受信部１１５、出音音声混合部１１６、コンテンツ音声再生部１１７、オンオフ判定部１２０、調査範囲決定部１２１、会話音声再生時刻決定部１２２、会話音声再生時刻制御部１２３、再生終了時刻計算部１２４の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。
【００７５】
また、図１１における通信部１１０、会話音声入力部１１１、音声出力部１１２、会話音声送信部１１３、会話音声受信部１１４、コンテンツ音声受信部２１１５、出音音声混合部２１１６、オンオフ判定部１２０、調査範囲決定部１２１、会話音声再生時刻決定部２１２２、会話音声再生時刻制御部２１２３、再生終了時刻計算部１２４、混合音量決定部２１２５、または、図１４における通信部１１０、会話音声入力部１１１、音声出力部１１２、会話音声送信部１１３、会話音声受信部１１４、コンテンツ音声受信部１１５、出音音声混合部１１６、オンオフ判定部３１２０、調査範囲決定部１２１、会話音声再生時刻決定部３１２２、会話音声再生時刻制御部１２３、再生終了時刻計算部１２４、閾値適応制御部３１２６についても、同様に、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００７６】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００７７】
以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【産業上の利用可能性】
【００７８】
本発明は、通常の音声通話で扱っている話者の声や周りの音を意味する会話音声と、ネットワーク上にある動画ファイルやゲーム、ビデオデッキに録画された番組などのコンテンツの音を意味するコンテンツ音声といった発信元の異なる複数の音声を同時に出力しながら音声通話（コミュニケーション）を行うテレビ電話などの通信装置に用いて好適であるが、これに限られるものではない。
【図面の簡単な説明】
【００７９】
【図１】この発明の第１の実施形態による情報処理端末１０１を用いた通信システムの概略構成を示すブロック図である。
【図２】同実施形態における情報処理端末１０１ａの概略構成を示すブロック図である。
【図３】同実施形態におけるオンオフ判定部１２０の動作を説明するフローチャートである。
【図４】同実施形態における会話音声再生時刻制御部１２３の動作を説明するフローチャートである。
【図５】同実施形態における会話音声の再生時刻制御の例を説明する図である。
【図６】同実施形態におけるオンオフ判定部１２０による会話音声のオンオフ判定（図３のステップＳ１００）の動作を説明するフローチャートである。
【図７】同実施形態におけるオンオフ判定部１２０による会話音声のオンオフ判定の例を説明する図である。
【図８】同実施形態における会話音声再生時刻決定部１２２の動作を説明するフローチャートである。
【図９】同実施形態における会話音声再生時刻決定部１２２の動作を説明するフローチャートの変形例である。
【図１０】同実施形態における会話音声再生時刻決定部１２２による再生時刻決定の例を説明する図である。
【図１１】この発明の第２の実施形態による情報処理端末１０１ａの概略構成を示すブロック図である。
【図１２】同実施形態における会話音声再生時刻決定部２１２２の動作を説明するフローチャートである。
【図１３】同実施形態における会話音声再生時刻決定部２１２２による再生時刻決定の例を説明する図である。
【図１４】この発明の第３の実施形態による情報処理端末１０１ａの概略構成を示すブロック図である。
【図１５】同実施形態における閾値適応制御部３１２６により閾値を制御する例を示す図である。
【符号の説明】
【００８０】
１０１ａ、１０１ｂ…情報処理端末
１０２…コンテンツサーバ
１０３…ネットワーク
１１０…通信部
１１１…会話音声入力部
１１２…音声出力部
１１３…会話音声送信部
１１４…会話音声受信部（会話音声受信手段）
１１５、２１１５…コンテンツ音声受信部（コンテンツ受信手段）
１１６、２１１６…出音音声混合部（出音音声制御手段）
１１７…コンテンツ音声再生部（コンテンツ音声再生手段）
１２０、３１２０…オンオフ判定部（有音部分抽出手段）
１２１…調査範囲決定部（調査範囲決定手段）
１２２、２１２２、３１２２…会話音声再生時刻決定部（会話音声再生時刻決定手段）
１２３、２１２３…会話音声再生時刻制御部（会話音声再生時刻制御手段）
１２４…再生終了時刻計算部（再生終了時刻計算手段）
１５０…コンテンツ音声バッファ（コンテンツ音声記憶手段）
１５１…会話音声バッファ
１６０…遅延時間保持部
２１２５…混合音量決定部（音量決定手段）
３１２６…閾値適応制御部（閾値適応制御手段）
【特許請求の範囲】
【請求項１】
通信相手から会話音声を受信する会話音声受信手段と、
前記会話音声受信手段が受信した会話音声の有音部分を抽出する有音部分抽出手段と、
音声を含んだコンテンツを受信するコンテンツ受信手段と、
前記コンテンツ受信手段が受信したコンテンツに含まれる音声の音量に基づき、前記有音部分抽出手段が抽出した有音部分の再生時刻を決定する会話音声再生時刻決定手段と、
前記有音部分抽出手段が抽出した有音部分を、前記会話音声再生時刻決定手段により決定された再生時刻に再生する会話音声再生時刻制御手段と
を備えることを特徴とする通信装置。
【請求項２】
前記会話音声再生時刻決定手段は、前記コンテンツに含まれる音声の音量が所定の閾値より小さいときを再生時刻とすることを特徴とする請求項１に記載の通信装置。
【請求項３】
前記有音部分抽出手段が検出した有音部分の始端時刻から所定の長さの時間を調査範囲として決める調査範囲決定手段を備え、
前記会話音声再生時刻決定手段は、前記調査範囲決定手段が決めた調査範囲内で、前記コンテンツに含まれる音声の音量が所定の閾値より小さいときを再生時刻とすること
を特徴とする請求項２に記載の通信装置。
【請求項４】
前記有音部分抽出手段は、有音部分の終端時刻を検出し、
前記会話音声再生時刻決定手段は、前記有音部分抽出手段が抽出した有音部分の再生を開始する時刻から前記有音部分抽出手段が検出した始端時刻を引いて遅延時間を算出し、
前記有音部分抽出手段が前の有音部分について検出した終端時刻に、前記会話音声再生時刻決定手段が前の有音部分について算出した遅延時間を足した再生終了時刻を算出する再生終了時刻計算手段を備え、
前記調査範囲決定手段は、前記有音部分抽出手段が検出した始端時刻と前記再生終了時刻計算手段が算出した再生終了時刻とのうち、遅い方の時刻を調査範囲の開始時刻とすること
を特徴とする請求項３に記載の通信装置。
【請求項５】
前記会話音声再生時刻決定手段は、前記調査範囲決定手段が決めた調査範囲内に前記コンテンツに含まれる音声の音量が所定の閾値より小さくならないときは、前記調査範囲の終端時刻を再生時刻とすること
を特徴とする請求項３または請求項４に記載の通信装置。
【請求項６】
コンテンツに含まれる音声を記憶するコンテンツ音声記憶手段と、
前記コンテンツ音声記憶手段に格納された音声を、前記コンテンツ音声記憶手段から読み出して再生するコンテンツ音声再生手段と
を備え、
コンテンツ受信手段は、コンテンツを受信し、該コンテンツに含まれる音声を抽出して前記コンテンツ音声記憶手段に格納し、
前記会話音声再生時刻決定手段は、前記コンテンツ音声記憶手段に格納されている音声を参照し、前記調査範囲決定手段が決めた調査範囲内に再生される前記参照した音声の音量が所定の閾値より小さくならないときは、前記調査範囲決定手段が決めた調査範囲内に再生される前記参照した音声の音量が最も小さいときを再生時刻とすること
を特徴とする請求項３または請求項４に記載の通信装置。
【請求項７】
前記会話音声再生時刻決定手段は、前記コンテンツ音声記憶手段に格納されている音声を参照し、前記調査範囲決定手段が決めた調査範囲内に再生される前記参照した音声の音量が所定の閾値より小さい時間帯のうち、最も長いあるいは最も早い時間帯の開始時刻を再生時刻とすること
を特徴とする請求項６に記載の通信装置。
【請求項８】
前記調査範囲決定手段が決めた調査範囲内に前記コンテンツに含まれる音声の音量が所定の閾値より小さくならないときは、会話音声を出力する際は、コンテンツに含まれる音声の出力音量を小さく、または、会話音声の出力音量を大きくするように通知する音量決定手段と、
前記音量決定手段の通知に基づき、コンテンツに含まれる音声の出力音量および会話音声の出力音量を制御する出音音声制御手段と
を備えることを特徴とする請求項３から請求項７のいずれかの項に記載の通信装置。
【請求項９】
会話音声を出力する際は、コンテンツに含まれる音声の出力音量を小さく、または、会話音声の出力音量を大きくするように通知する音量決定手段と、
前記音量決定手段の通知に基づき、コンテンツに含まれる音声の出力音量、または、会話音声の出力音量を制御する出音音声制御手段と
を備えることを特徴とする請求項１に記載の通信装置。
【請求項１０】
前記有音部分抽出手段が抽出した有音部分の音量に応じて、前記閾値を決定する閾値適応制御手段を備えることを特徴とする請求項２に記載の通信装置。
【請求項１１】
コンピュータを、
通信相手から会話音声を受信する会話音声受信手段、
前記会話音声受信手段が受信した会話音声の有音部分を抽出する有音部分抽出手段、
音声を含んだコンテンツを受信するコンテンツ受信手段、
前記コンテンツ受信手段が受信したコンテンツに含まれる音声の音量に基づき、前記有音部分抽出手段が抽出した有音部分の再生時刻を決定する会話音声再生時刻決定手段、
前記有音部分抽出手段が抽出した有音部分を、前記会話音声再生時刻決定手段により決定された再生時刻に再生する会話音声再生時刻制御手段
として機能させるためのプログラム。
【請求項１２】
通信相手から会話音声を受信する第１の過程と、
前記第１の過程にて受信した会話音声の有音部分を抽出する第２の過程と、
音声を含んだコンテンツを受信する第３の過程と、
前記第３の過程にて受信したコンテンツに含まれる音声の音量に基づき、前記第２の過程にて抽出した有音部分の再生時刻を決定する第４の過程と、
前記第２の過程にて抽出した有音部分の再生時刻を決定する第５の過程と、
前記第２の過程にて抽出した有音部分を、前記第５の過程にて決定された再生時刻に再生する第６の過程と
を備えることを特徴とする受信音声出力方法。
【請求項１】
通信相手から会話音声を受信する会話音声受信手段と、
前記会話音声受信手段が受信した会話音声の有音部分を抽出する有音部分抽出手段と、
音声を含んだコンテンツを受信するコンテンツ受信手段と、
前記コンテンツ受信手段が受信したコンテンツに含まれる音声の音量に基づき、前記有音部分抽出手段が抽出した有音部分の再生時刻を決定する会話音声再生時刻決定手段と、
前記有音部分抽出手段が抽出した有音部分を、前記会話音声再生時刻決定手段により決定された再生時刻に再生する会話音声再生時刻制御手段と
を備えることを特徴とする通信装置。
【請求項２】
前記会話音声再生時刻決定手段は、前記コンテンツに含まれる音声の音量が所定の閾値より小さいときを再生時刻とすることを特徴とする請求項１に記載の通信装置。
【請求項３】
前記有音部分抽出手段が検出した有音部分の始端時刻から所定の長さの時間を調査範囲として決める調査範囲決定手段を備え、
前記会話音声再生時刻決定手段は、前記調査範囲決定手段が決めた調査範囲内で、前記コンテンツに含まれる音声の音量が所定の閾値より小さいときを再生時刻とすること
を特徴とする請求項２に記載の通信装置。
【請求項４】
前記有音部分抽出手段は、有音部分の終端時刻を検出し、
前記会話音声再生時刻決定手段は、前記有音部分抽出手段が抽出した有音部分の再生を開始する時刻から前記有音部分抽出手段が検出した始端時刻を引いて遅延時間を算出し、
前記有音部分抽出手段が前の有音部分について検出した終端時刻に、前記会話音声再生時刻決定手段が前の有音部分について算出した遅延時間を足した再生終了時刻を算出する再生終了時刻計算手段を備え、
前記調査範囲決定手段は、前記有音部分抽出手段が検出した始端時刻と前記再生終了時刻計算手段が算出した再生終了時刻とのうち、遅い方の時刻を調査範囲の開始時刻とすること
を特徴とする請求項３に記載の通信装置。
【請求項５】
前記会話音声再生時刻決定手段は、前記調査範囲決定手段が決めた調査範囲内に前記コンテンツに含まれる音声の音量が所定の閾値より小さくならないときは、前記調査範囲の終端時刻を再生時刻とすること
を特徴とする請求項３または請求項４に記載の通信装置。
【請求項６】
コンテンツに含まれる音声を記憶するコンテンツ音声記憶手段と、
前記コンテンツ音声記憶手段に格納された音声を、前記コンテンツ音声記憶手段から読み出して再生するコンテンツ音声再生手段と
を備え、
コンテンツ受信手段は、コンテンツを受信し、該コンテンツに含まれる音声を抽出して前記コンテンツ音声記憶手段に格納し、
前記会話音声再生時刻決定手段は、前記コンテンツ音声記憶手段に格納されている音声を参照し、前記調査範囲決定手段が決めた調査範囲内に再生される前記参照した音声の音量が所定の閾値より小さくならないときは、前記調査範囲決定手段が決めた調査範囲内に再生される前記参照した音声の音量が最も小さいときを再生時刻とすること
を特徴とする請求項３または請求項４に記載の通信装置。
【請求項７】
前記会話音声再生時刻決定手段は、前記コンテンツ音声記憶手段に格納されている音声を参照し、前記調査範囲決定手段が決めた調査範囲内に再生される前記参照した音声の音量が所定の閾値より小さい時間帯のうち、最も長いあるいは最も早い時間帯の開始時刻を再生時刻とすること
を特徴とする請求項６に記載の通信装置。
【請求項８】
前記調査範囲決定手段が決めた調査範囲内に前記コンテンツに含まれる音声の音量が所定の閾値より小さくならないときは、会話音声を出力する際は、コンテンツに含まれる音声の出力音量を小さく、または、会話音声の出力音量を大きくするように通知する音量決定手段と、
前記音量決定手段の通知に基づき、コンテンツに含まれる音声の出力音量および会話音声の出力音量を制御する出音音声制御手段と
を備えることを特徴とする請求項３から請求項７のいずれかの項に記載の通信装置。
【請求項９】
会話音声を出力する際は、コンテンツに含まれる音声の出力音量を小さく、または、会話音声の出力音量を大きくするように通知する音量決定手段と、
前記音量決定手段の通知に基づき、コンテンツに含まれる音声の出力音量、または、会話音声の出力音量を制御する出音音声制御手段と
を備えることを特徴とする請求項１に記載の通信装置。
【請求項１０】
前記有音部分抽出手段が抽出した有音部分の音量に応じて、前記閾値を決定する閾値適応制御手段を備えることを特徴とする請求項２に記載の通信装置。
【請求項１１】
コンピュータを、
通信相手から会話音声を受信する会話音声受信手段、
前記会話音声受信手段が受信した会話音声の有音部分を抽出する有音部分抽出手段、
音声を含んだコンテンツを受信するコンテンツ受信手段、
前記コンテンツ受信手段が受信したコンテンツに含まれる音声の音量に基づき、前記有音部分抽出手段が抽出した有音部分の再生時刻を決定する会話音声再生時刻決定手段、
前記有音部分抽出手段が抽出した有音部分を、前記会話音声再生時刻決定手段により決定された再生時刻に再生する会話音声再生時刻制御手段
として機能させるためのプログラム。
【請求項１２】
通信相手から会話音声を受信する第１の過程と、
前記第１の過程にて受信した会話音声の有音部分を抽出する第２の過程と、
音声を含んだコンテンツを受信する第３の過程と、
前記第３の過程にて受信したコンテンツに含まれる音声の音量に基づき、前記第２の過程にて抽出した有音部分の再生時刻を決定する第４の過程と、
前記第２の過程にて抽出した有音部分の再生時刻を決定する第５の過程と、
前記第２の過程にて抽出した有音部分を、前記第５の過程にて決定された再生時刻に再生する第６の過程と
を備えることを特徴とする受信音声出力方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００７−３００３０１（Ｐ２００７−３００３０１Ａ）
【公開日】平成１９年１１月１５日（２００７．１１．１５）
【国際特許分類】
【出願番号】特願２００６−１２５３７４（Ｐ２００６−１２５３７４）
【出願日】平成１８年４月２８日（２００６．４．２８）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成１９年１１月１５日（２００７．１１．１５）
【国際特許分類】
【出願日】平成１８年４月２８日（２００６．４．２８）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]