端末装置および音声処理プログラム
【課題】片方の耳を用いて通話するユーザに通話の相手の方向を的確に知覚させることを課題とする。
【解決手段】端末装置２００は、片方の耳での通話状態を検出すると、右耳通話時および左耳通話時について予め設定された補正値を用いて、通話の相手側の端末装置１００に向かう方向と、端末装置２００の端末方向とのなす相対角度を補正する。そして、端末装置２００は、補正した相対角度が小さくなるほど音量が大きくなる特徴音を生成し、生成した特徴音を通話音声にミキシングする。
【解決手段】端末装置２００は、片方の耳での通話状態を検出すると、右耳通話時および左耳通話時について予め設定された補正値を用いて、通話の相手側の端末装置１００に向かう方向と、端末装置２００の端末方向とのなす相対角度を補正する。そして、端末装置２００は、補正した相対角度が小さくなるほど音量が大きくなる特徴音を生成し、生成した特徴音を通話音声にミキシングする。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、端末装置および音声処理プログラムに関する。
【背景技術】
【０００２】
従来、例えば、携帯電話やスマートフォンなどの端末装置を用いた通話を行う場合に、通話の相手の方向を求め、この方向に応じて通話音声を加工することにより、通話の相手の方向をユーザに知らせる従来技術がある。以下、図１６および図１７を参照しつつ従来技術を説明する。図１６および図１７は、従来技術の説明に用いる図である。例えば、図１６に示すＵ１およびＵ２は通話を行っている当事者を示すものとする。
【０００３】
この従来技術は、まず、Ｕ２が使用している端末装置の位置情報を取得し、Ｕ１が使用している端末装置とＵ２が使用している端末装置との位置関係を求める。なお、位置情報は、例えば、ＧＰＳ（Global Positioning System）などを用いて取得される。
【０００４】
続いて、この従来技術は、図１６に示すように、Ｕ１が使用する端末装置の位置からＵ２が使用する端末装置の位置へ向かう方向と北方向とがなす角度θ１を求める。続いて、この従来技術は、図１６に示すように、Ｕ１の正面方向であるＦＤとＵ１が使用する端末装置の端末方向とが一致していることを前提として、Ｕ１が使用する端末装置の端末方向と北方向とがなす角度θ２を求める。端末方向は、例えば、端末装置の長手方向に相当する。角度θ２は、端末装置に搭載された電子コンパスなどにより求められる。
【０００５】
続いて、この従来技術は、図１６に示すように、角度θ１および角度θ２に基づいて、Ｕ１の使用する端末装置の端末方向に対する、Ｕ１が使用する端末装置の位置からＵ２が使用する端末装置の位置へ向かう方向の相対角度θを求める。続いて、この従来技術は、相対角度θに応じて出力音声を生成する。例えば、この従来技術は、図１７に示すように、相対角度θに応じて、左耳用の音声および右耳用の音声にそれぞれ生成し、左耳用の音声および右耳用の音声を左右別系統で出力する。例えば、端末装置に搭載されたスピーカ、あるいは端末装置に接続されたヘッドホンやイヤホンなどを介して左右別系統で出力する。このように、この従来技術は、出力する左耳用の音声および右耳用の音声の違いで通話の相手の方向を表現することで、通話の相手の端末装置の方向から音声が聞こえてくるようにユーザに知覚させる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１８４６２１号公報
【特許文献２】特開２００５−３４１０９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述した従来技術は、図１７にも示すように、左耳用の音声および右耳用の音声の違いで通話の相手の方向を表現し、通話の相手の方向をユーザに知覚させる。このため、片方の耳を用いて通話する場合には、左耳用の音声および右耳用の音声の違いで通話の相手の方向を表現するという方法が利用できないので、通話の相手の方向をユーザに知覚させることができないという問題がある。
【０００８】
また、上述した従来技術では、ユーザの正面方向と端末方向とが一致しているという前提で上述した相対角度θを求め、この相対角度θに応じて出力音声を生成する。このため、ユーザの正面方向と端末方向とが一致していない状況では、通話の相手の方向をユーザに対して的確に知覚させることができない。なお、片方の耳を用いて通話する場合には、ユーザの正面方向と端末方向とが一致しない場合がほとんどである。このため、ユーザの正面方向と端末方向とが一致していない状況下で、上述した相対角度θを精度よく導出することができなければ、片方の耳を用いて通話するユーザに対して通話の相手の方向を的確に知覚させることができない。
【０００９】
そこで、本発明は、１側面において、片方の耳を用いて通話するユーザに通話の相手の方向を的確に知覚させることが可能な端末装置および音声処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本願の開示する端末装置は、１つの態様において、他端末位置取得部と、自端末位置取得部と、第１方向取得部と、第２方向取得部と、傾斜方向取得部と、補正部と、決定部とを有する。他端末位置取得部は相手装置の位置を示す位置情報を取得する。自端末位置取得部は自端末装置の位置を示す位置情報を取得する。第１方向取得部は前記取得した自端末装置の位置を基点として算出される前記取得した相手装置の位置へ向かう方向である第１の方向を取得する。第２方向取得部は自端末装置が向く方向である第２の方向を取得する。傾斜方向取得部は自端末装置の傾き方向を検出するセンサーから自端末装置が右方向に傾いているか左方向に傾いているかを示す傾斜情報を取得する。補正部は前記取得した傾斜情報が右方向を示すか左方向を示すかに応じて、前記第１の方向と前記第２の方向とのなす相対角度に対する補正量を切り替える。決定部は前記補正量により補正された相対角度に応じて、音出力部から出力される出力音の属性を決定する。
【発明の効果】
【００１１】
本発明の１つの態様によれば、片方の耳を用いて通話するユーザに通話の相手の方向を的確に知覚させることができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、実施例１に係る端末装置の構成を示す機能ブロック図である。
【図２】図２は、実施例１に係る方向取得部の説明に用いる図である。
【図３】図３は、実施例１に係る算出部の説明に用いる図である。
【図４Ａ】図４Ａは、実施例１に係る判定部の説明に用いる図である。
【図４Ｂ】図４Ｂは、実施例１に係る判定部の説明に用いる図である。
【図５Ａ】図５Ａは、実施例１に係る補正部の説明に用いる図である。
【図５Ｂ】図５Ｂは、実施例１に係る補正部の説明に用いる図である。
【図６】図６は、実施例１に係る補正部の説明に用いる図である。
【図７】図７は、実施例１に係る生成部の説明に用いる図である。
【図８】図８は、実施例１に係る生成部の説明に用いる図である。
【図９】図９は、実施例１に係るミキシング部の説明に用いる図である。
【図１０】図１０は、実施例１に係る生成部の説明に用いる図である。
【図１１】図１１は、実施例１に係る端末装置の全体的な処理の流れを示す図である。
【図１２】図１２は、実施例１に係る通話状態検出処理の流れを示す図である。
【図１３】図１３は、実施例１に係る持ち方判定処理の流れを示す図である。
【図１４】図１４は、実施例１に係る方角補正処理の流れを示す図である。
【図１５】図１５は、端末装置のハードウェア構成の一例を示す図である。
【図１６】図１６は、従来技術の説明に用いる図である。
【図１７】図１７は、従来技術の説明に用いる図である。
【発明を実施するための形態】
【００１３】
以下に、図面を参照しつつ、本願の開示する端末装置および音声処理プログラムの一実施形態について詳細に説明する。なお、本願の開示する端末装置および音声処理プログラムの一実施形態として後述する実施例により、本願が開示する技術が限定されるものではない。
【実施例１】
【００１４】
［端末装置の構成（実施例１）］
図１は、実施例１に係る端末装置の構成を示す機能ブロック図である。図１には、端末装置１００は通話の相手が使用する装置であり、端末装置２００は自分が使用する装置である例を図示する。端末装置１００および端末装置２００は、例えば、携帯電話やスマートフォン、ＰＨＳ（Personal Handy-phone System）など通話可能で、位置情報を取得可能な携帯端末である。なお、図１に示す端末装置１００および端末装置２００は同一の構成を有する装置であるが、以下の実施例１では、端末装置１００から送信された音声を端末装置２００が受信する場合の一実施形態の説明に必要な処理機能部のみを図示する。
【００１５】
図１に示すように、端末装置１００は、マイク１０１と、符号化部１１０と、位置取得部１２０と、位置送信部１３０とを有する。マイク１０１は、端末装置１００のユーザの発話音声を入力する。符号化部１１０は、マイク１０１が入力するユーザの発話音声を符号化する。なお、符号化部１１０により符号化された音声は、端末装置２００に送信される。
【００１６】
位置取得部１２０は、端末装置１００の位置情報を取得する。例えば、位置情報取得部１２０は、例えば、ＧＰＳ（Global Positioning System）などを用いて得られる緯度および経度から、平面直角座標上における端末装置１００の位置を求める。以下では、端末装置の位置を、例えば、「ｓｅｎｄｅｒ＿ｐｏｓ（ｘ＿ｓｅｎｄｅｒ，ｙ＿ｓｅｎｄｅｒ）」と表記する。なお、既存技術を利用することにより、緯度および経度から平面直角座標上における端末装置１００の位置を求めることができる。この既存技術の一例としては、例えば、「TOTAL INVERSE SOLUTIONS FOR THE GEODESIC AND GREAT ELLIPTIC」 B.R.Bowring Survey Review33，261（July，1996）461-476，ＵＲＬ「http://vldb.gsi.go.jp/sokuchi/surveycalc/algorithm/（2010年9月1日検索）」がある。また、この既存技術の他の一例としては、ＵＲＬ「http://vldb.gsi.go.jp/sokuchi/surveycalc/algorithm/bl2xy/bl2xy.htm（2010年9月1日検索）」もある。位置送信部１３０は、位置取得部１２０により取得された端末装置１００の位置情報を端末装置２００に送信する。
【００１７】
図１に示すように、端末装置２００は、マイク２０１と、スピーカ２０２と、符号化部２１０と、位置取得部２２０と、位置送信部２３０と、位置受信部２４０と、方向取得部２５０と、算出部２６０と、復号化部２７０とを有する。さらに、端末装置２００は、検出部２８０Ａと、判定部２８０Ｂと、補正部２８０Ｃと、生成部２８０Ｄと、ミキシング部２８０Ｅと、加工部２９０とを有する。
【００１８】
図１に示すマイク２０１、符号化部２１０、位置取得部２２０および位置送信部２３０は、上述した端末装置１００のマイク１０１、符号化部１１０、位置取得部１２０および位置送信部１３０とそれぞれ同様の処理を行う。例えば、位置取得部２２０は、ＧＰＳ（Global Positioning System）などを用いて得られる緯度および経度から、平面直角座標上における端末装置２００の位置を求める。位置情報取得部２２０は自端末位置取得部の一例である。以下では、端末装置の位置を、例えば、「ｒｅｃｅｉｖｅｒ＿ｐｏｓ（ｘ＿ｒｅｃｅｉｖｅｒ，ｙ＿ｒｅｃｅｉｖｅｒ）」と表記する。位置送信部２３０は、位置取得部２２０により取得された端末装置２００の位置情報を端末装置１００に送信する。なお、マイク２０１、符号化部２１０の説明は省略する。
【００１９】
図１に示す位置受信部２４０は、端末装置１００から送信された位置情報を受信する。位置受信部２４０は他端末位置取得部の一例である。
【００２０】
図１に示す方向取得部２５０は、電子コンパスを用いて、端末装置２００の端末方向の情報を取得する。図２を参照しつつ、方向取得部２５０について説明する。図２は、実施例１に係る方向取得部の説明に用いる図である。
【００２１】
図２に示すように、方向取得部２５０は、電子コンパスを用いて、端末装置２００の中心縦軸２Ａの方向に対応する端末方向Ｄ３と、北方向（０°）とがなす角度「ａｎｇ１（ｒｅｃｅｉｖｅｒ＿ａｎｇｌｅ）」を取得する。
【００２２】
図１に示す算出部２６０は、端末装置２００の端末方向に対する、端末装置２００の位置から端末装置１００の位置へ向かう方向の相対角度を求める。以下では、算出部２６０により算出される相対角度を、例えば「ａｎｇ３（ｒｅｌａｔｉｖｅ ａｎｇｌｅ１）」と表記する。図３を参照しつつ、算出部２６０について説明する。図３は、実施例１に係る算出部の説明に用いる図である。図３に記載のＵ１は端末装置２００を使用しているユーザを示し、図３に記載のＵ２は端末装置１００を使用しているユーザを示す。また、図３に記載のＤ１は、端末装置２００から端末装置１００へ向かう方向を示す。また、図３に記載のＤ２は端末装置２００を使用するユーザ方向、つまりユーザの正面の方向を示す。また、図３に記載のＤ３は端末装置２００の端末方向を示す。なお、図３に記載のＤ３は、図２に記載のＤ３に対応する。
【００２３】
まず、算出部２６０は、位置取得部２２０から端末装置２００の位置情報（ｘ＿ｒｅｃｅｉｖｅｒ，ｙ＿ｒｅｃｅｉｖｅｒ）を取得し、位置受信部２４０から端末装置１００の位置情報（ｘ＿ｓｅｎｄｅｒ，ｙ＿ｓｅｎｄｅｒ）を取得する。続いて、算出部２６０は、図３に示すように、端末装置２００および端末装置１００の位置情報に基づいて、端末装置２００から端末装置１００へ向かう方向Ｄ１を求める。そして、算出部２６０は、図３に示すように、方向Ｄ１と北方向（０°）とがなす角度「ａｎｇ２（ｓｅｎｄｅｒ＿ａｎｇｌｅ）」を求める。例えば、算出部２６０は、以下の式（１）により、「ａｎｇ２（ｓｅｎｄｅｒ＿ａｎｇｌｅ）」を求めることができる。
【数１】
【００２４】
続いて、算出部２６０は、端末方向Ｄ３と北方向とがなす角度「ａｎｇ１（ｒｅｃｅｉｖｅｒ＿ａｎｇｌｅ）」を方向取得部２５０から取得する。そして、算出部２６０は、図３に示すように、「ａｎｇ１（ｒｅｃｅｉｖｅｒ＿ａｎｇｌｅ）」と、「ａｎｇ２（ｓｅｎｄｅｒ＿ａｎｇｌｅ）」とに基づいて、上述した相対角度「ｒｅｌａｔｉｖｅ ａｎｇｌｅ１」を求める。例えば、算出部２６０は、以下の式（２）により、相対角度「ａｎｇ３（ｒｅｌａｔｉｖｅ ａｎｇｌｅ１）」を求めることができる。なお、算出部２６０は第１方向取得部、第２方向取得部の一例である。
【数２】
【００２５】
図１に示す復号化部２７０は、符号化された音声を端末装置１００から受信し、受信した音声を復号する。
【００２６】
図１に示す検出部２８０Ａは、ユーザの通話状態を検出する。例えば、検出部２８０Ａは、音声出力パスのチャネル数、つまり音声の出力信号の数を監視し、チャネル数が１ｃｈである場合には、片方の耳を用いた通話状態にあると判定する。検出部２８０Ａは、片方の耳を用いた通話状態にあると判定した場合、片方の耳を用いた通話状態であることを示す所定値を所定のフラグにセットする（ｒｅｃｅｉｖｅｒ＿ｆｌａｇ＝１）。
【００２７】
また、検出部２８０Ａは、チャネル数が２ｃｈである場合には、片方の耳を用いた通話状態以外、例えば、ヘッドホンやイヤホンなどを用いた通話状態にあると判定する。検出部２８０Ａは、例えば、ヘッドホンやイヤホンなどを用いた通話状態にあると判定した場合、ヘッドホンやイヤホンなどを用いた通話状態であることを示す所定値を所定のフラグにセットする（ｒｅｃｅｉｖｅｒ＿ｆｌａｇ＝２）。なお、検出部２８０Ａは通話状態判定部の一例である。
【００２８】
なお、検出部２８０Ａは、例えば、音声の出力信号数や、モノラルやステレオなどの音声の出力状態を示す情報が記憶されているレジスタを参照して、通話を開始するユーザが片方の耳を用いた通話状態にあるか否かを判定するようにもできる。
【００２９】
図１に示す判定部２８０Ｂは、ユーザの通話状態が片方の耳を用いた通話状態にある場合には、ユーザが右耳または左耳のどちらの耳を用いて通話を行っているかを判定する。図４Ａおよび図４Ｂを参照しつつ、判定部２８０Ｂについて説明する。図４Ａおよび図４Ｂは、実施例１に係る判定部の説明に用いる図である。図４Ａおよび図４Ｂに記載のＵ１は端末装置２００のユーザを示し、図３に記載のＵ１と対応する。図４Ａに記載のａｃｃｅ１は端末装置２００のＸ軸方向の負の加速度を示す。図４Ｂに記載のａｃｃｅ２は端末装置２００のＸ軸方向の正の加速度を示す。
【００３０】
例えば、判定部２８０Ｂは、検出部２８０Ａによりセットされたフラグの値を取得し、取得したフラグの値が、片方の耳を用いた通話状態にあることを示す値（ｒｅｃｅｉｖｅｒ＿ｆｌａｇ＝１）であるか否かを判定する。判定の結果、片方の耳を用いた通話状態にあることを示す値である場合には、判定部２８０Ｂは、加速度センサーから端末装置２００の加速度を取得する。
【００３１】
続いて、判定部２８０Ｂは、取得した加速度に基づいて、ユーザが右耳または左耳のどちらの耳を用いて通話を行っているかを判定する。例えば、図４Ａに示すように、判定部２８０Ｂは、加速度センサーから取得したＸ軸方向の加速度ａｃｃｅ１が負の値である場合には、右耳を用いて通話を行っていると判定する。判定部２８０Ｂは、右耳を用いて通話を行っていると判定した場合、右耳での通話であることを示す所定値を所定のフラグにセットする（ｈｏｌｄ＿ｆｌａｇ＝０）。
【００３２】
一方、図４Ｂに示すように、判定部２８０Ｂは、加速度センサーから取得したＸ軸方向の加速度ａｃｃｅ２が正の値である場合には、左耳を用いて通話を行っていると判定する。判定部２８０Ｂは、左耳を用いて通話を行っていると判定した場合、左耳での通話であることを示す所定値を所定のフラグにセットする（ｈｏｌｄ＿ｆｌａｇ＝１）。判定部２８０Ｂは傾斜方向取得部の一例である。
【００３３】
図１に示す補正部２８０Ｃは、右耳通話時および左耳通話時のそれぞれについて予め設定された補正値を用いて、算出部２６０により算出された相対角度「ａｎｇ３（ｒｅｌａｔｉｖｅ ａｎｇｌｅ１）」を補正した補正相対角度を求める。以下では、補正部２８０Ｃにより補正された補正相対角度を「ａｎｇ６（ｒｅｌａｔｉｖｅ ａｎｇｌｅ２）」と表記する。図５Ａ、図５Ｂおよび図６を参照しつつ、補正部２８０Ｃについて説明する。
【００３４】
図５Ａ、図５Ｂおよび図６は、実施例１に係る補正部の説明に用いる図である。図５Ａは、端末装置２００を用いてユーザが通話している状態を左側面から見た様子を示す。また、図５Ｂは、端末装置２００を用いてユーザが通話している状態を上方から見た様子を示す。また、図５Ａおよび図５Ｂに記載のＤ２はユーザ方向を示し、図３に記載のＤ２に対応する。また、図５Ａおよび図５Ｂに記載のＤ３は端末装置２００の端末方向を示し、図２および図３に記載のＤ３に対応する。
【００３５】
例えば、補正部２８０Ｃは、検出部２８０Ａによりセットされたフラグの値を取得し、取得したフラグの値が、片方の耳を用いた通話状態にあることを示す値（ｒｅｃｅｉｖｅｒ＿ｆｌａｇ＝１）であるか否かを判定する。
【００３６】
判定の結果、片方の耳を用いた通話状態にあることを示す値である場合には、補正部２８０Ｃは、判定部２８０Ｂによりセットされたフラグの値を取得し、取得したフラグの値が、右耳による通話または左耳による通話のどちらを示す値であるか否かを判定する。判定の結果、補正部２８０Ｃは、左耳での通話であることを示す値（ｈｏｌｄ＿ｆｌａｇ＝１）である場合には、図５Ｂに示すように、左耳通話時の補正値「ａｎｇ４（ｄｅｌｔａ＿ａｎｇｌｅ＿Ｌ）」を取得する。続いて、補正部２８０Ｃは、算出部２６０により算出された相対角度「ｒｅｌａｔｉｖｅ ａｎｇｌｅ１」を取得する。そして、補正部２８０Ｃは、図６に示すように、補正値「ａｎｇ４（ｄｅｌｔａ＿ａｎｇｌｅ＿Ｌ）」を用いて、相対角度「ｒｅｌａｔｉｖｅ ａｎｇｌｅ１」を補正し、補正相対角度「ａｎｇ６（ｒｅｌａｔｉｖｅ ａｎｇｌｅ２）」を求める。このようにして、補正部２８０Ｃは、左耳通話時の補正相対角度を求める。
【００３７】
なお、右耳通話時についても同様にして補正相対角度を求めることができる。例えば、補正部２８０Ｃは、判定部２８０Ｂによりセットされたフラグの値が、右耳での通話であることを示す値（ｈｏｌｄ＿ｆｌａｇ＝０）である場合には、図５Ｂに示すように、右耳通話時の補正値「ａｎｇ５（ｄｅｌｔａ＿ａｎｇｌｅ＿Ｒ）」を取得する。続いて、補正部２８０Ｃは、算出部２６０により算出された相対角度「ｒｅｌａｔｉｖｅ ａｎｇｌｅ１」を取得する。そして、補正部２８０Ｃは、補正値「ａｎｇ５（ｄｅｌｔａ＿ａｎｇｌｅ＿Ｒ）」を用いて、相対角度「ｒｅｌａｔｉｖｅ ａｎｇｌｅ１」を補正し、補正相対角度「ａｎｇ６（ｒｅｌａｔｉｖｅ ａｎｇｌｅ２）」を求める。補正部２８０Ｃは補正部の一例である。
【００３８】
図１に示す生成部２８０Ｄは、端末装置１００から受信した音声に重畳する特徴音を、補正部２８０Ｃから取得した補正相対角度に応じて生成する。図７および図８を参照しつつ、生成部２８０Ｄについて説明する。図７および図８は、実施例１に係る生成部の説明に用いる図である。図７に記載のＤ２はユーザ方向を示し、図３、図５Ａおよび図５Ｂに記載のＤ２に対応する。また、図７に記載のＤ１は端末装置１００の方角を示し、図３および図６に記載のＤ１に対応する。図８は、特徴音を生成する時に用いるゲインを示す。
【００３９】
図７に示すように、生成部２８０Ｄは、補正部２８０Ｃから取得した補正相対角度に応じて、ユーザ方向Ｄ２が、端末装置２００から端末装置１００へ向かう方向Ｄ１に近いほど音が大きくなるような特徴音を生成する。例えば、生成部２８０Ｄは、以下の式（３）に基づいて特徴音を生成する。
【数３】
【００４０】
例えば、図８に示すように、生成部２８０Ｄが特徴音の生成に用いるゲインには、補正相対角度「ａｎｇ６(ｒｅｌａｔｉｖｅ ａｎｇｌｅ２）」が１８０°、または−１８０°であるときに音量が最も小さく調整されるように最小値の「１」が設定されている。また、図８に示すように、補正相対角度「ａｎｇ６（ｒｅｌａｔｉｖｅ ａｎｇｌｅ２）」が０°であるときに特徴音の音量が最も大きく調整されるように最大値の「２」が設定されている。また、図８に示すように、生成部２８０Ｄは、補正相対角度「ａｎｇ６（ｒｅｌａｔｉｖｅ ａｎｇｌｅ２）」が０°に近づくほど音量が大きく調整されるようにゲインが設定されている。つまり、生成部２８０Ｄは、図８に示すゲインを用いて、端末装置２００のユーザが端末装置１００の方向を向くほど音量の大きい特徴音を生成することとなる。
【００４１】
ミキシング部２８０Ｅは、ユーザが片方の耳を用いた通話状態にある場合には、後述する加工部２９０から入力される音声に、生成部２８０により生成された特徴音を重畳する。図９を用いて、ミキシング部２８０Ｅについて説明する。図９は、実施例１に係るミキシング部の説明に用いる図である。図９に記載のＳｐＯｕｔ（ｎ）は加工部２９０からの入力音声を示し、図９に記載のＳｉｇＯｕｔ（ｎ）はミキシング部２８０Ｅにより音声に特徴音が重畳された出力音声を示す。また、図９に記載のａｒｔＳｉｇ（ｎ）は生成部２８０Ｄにより生成された特徴音を示し、図９に記載のｒｅｃｅｉｖｅｒ＿ｆｌａｇは上述した検出部２８０Ａから入力されるフラグである。また、図９に記載のＳＷは上述した検出部２８０Ａから入力されるフラグに応じて切り替えられるスイッチを示す。
【００４２】
例えば、ミキシング部２８０Ｅは、検出部２８０Ａによりセットされたフラグの値を取得し、取得したフラグの値が、片方の耳を用いた通話状態にあることを示す値（ｒｅｃｅｉｖｅｒ＿ｆｌａｇ＝１）であるか否かを判定する。判定の結果、片方の耳を用いた通話状態にあることを示す値である場合（ｒｅｃｅｉｖｅｒ＿ｆｌａｇ＝１の場合）には、ミキシング部２８０Ｅは、スイッチＳＷをオンにする。続いて、ミキシング部２８０Ｅは、加工部２９０からの入力音声「ＳｐＯｕｔ（ｎ）」に、生成部２８０により生成された特徴音「ａｒｔＳｉｇ（ｎ）」を重畳して「ＳｉｇＯｕｔ（ｎ）」を生成する。そして、ミキシング部２８０Ｅは、「ＳｉｇＯｕｔ（ｎ）」を再生し、出力系統が１系統であるモノラル出力でスピーカ２０２から出力する。
【００４３】
また、ミキシング部２８０Ｅは、上述した検出部２８０Ａから入力されるフラグに、ヘッドホンやイヤホンなどを用いた通話状態であることを示す所定値がセットされている場合（ｒｅｃｅｉｖｅｒ＿ｆｌａｇ＝２の場合）には、スイッチＳＷをオフにする。この場合、ミキシング部２８０Ｅは、加工部２９０からの入力音声「ＳｐＯｕｔ（ｎ）」を再生し、出力系統が左右別の２系統であるステレオ出力でスピーカ２０２から出力する。なお、生成部２８０Ｄ、ミキシング部２８０Ｅは決定部の一例である。
【００４４】
加工部２９０は、ユーザの通話状態について検出部２８０Ａによりセットされたフラグの内容に応じて、復号化部２７０から復号された音声を加工する。図１０を用いて加工部２９０について説明する。図１０は、実施例１に係る生成部の説明に用いる図である。図１０に記載のＵ１は端末装置２００を使用するユーザを示す。また、図１０に記載の「ＨＲ（θ）」は音源１からユーザＵ１の右耳に音声が入力される場合の頭部伝達関数（インパルス応答）を示す。また、図１０に記載の「ＨＬ（θ）」は音源１からユーザＵ１の左耳に音声が入力される場合の頭部伝達関数（インパルス応答）を示す。また、図１０に記載の「ｉｎ＿Ｒ」は音源１から右耳に入力される音声を示す。また、図１０に記載の「ｉｎ＿Ｌ」は音源１から左耳に入力される音声を示す。
【００４５】
例えば、加工部２９０は、上述した検出部２８０Ａから入力されるフラグに、片方の耳を用いた通話状態であることを示す所定値がセットされている場合（ｒｅｃｅｉｖｅｒ＿ｆｌａｇ＝１の場合）には、次にように処理する。すなわち、加工部２９０は、復号化部２７０から復号された音声をそのままミキシング部２８０Ｅに送り出す。
【００４６】
一方、加工部２９０は、上述した検出部２８０Ａから入力されるフラグに、ヘッドホンやイヤホンなどを用いた通話状態であることを示す所定値がセットされている場合（ｒｅｃｅｉｖｅｒ＿ｆｌａｇ＝２の場合）には、次のように処理する。すなわち、加工部２９０は、算出部２６０により算出された相対角度を「θ」に代入し、以下の式（４−１）および（４−２）を用いて、右耳用および左耳用の音声をそれぞれ生成する。なお、式（４−１）および（４−２）は、頭部伝達関数（インパルス応答）と音源Ｓの音声信号との畳み込み演算を示し、例えば、ＦＩＲフィルタ（Finite impulse response）を用いる。
【数４】
【００４７】
そして、加工部２９０は、上述した式（４）を用いて生成した右耳用および左耳用の音声をミキシング部２８０Ｅに送り出す。なお、上述したように、ヘッドホンやイヤホンなどを用いた通話状態である場合には、ミキシング部２８０Ｅにて音声への特徴音の重畳が行われることはなく、右耳用および左耳用の音声がミキシング部２８０Ｅからそのまま出力されることとなる。
【００４８】
上述した端末装置１００および端末装置２００は、例えば、ＲＡＭ（Random Access Memory）やフラッシュメモリ(flash memory)などの半導体メモリ素子を有し、各種処理に利用する。また、上述した端末装置１００および端末装置２００は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などの電子回路を有し、ＲＡＭやフラッシュメモリを用いて各種処理を実行する。なお、上述した端末装置１００および端末装置２００は、ＣＰＵやＭＰＵの代わりに、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ(Field Programmable Gate Array)などの集積回路を有してもよい。
【００４９】
［端末装置による処理（実施例１）］
図１１〜１４を用いて、上述した端末装置２００による処理の流れを説明する。図１１は、実施例１に係る端末装置の全体的な処理の流れを示す図である。図１２は、実施例１に係る通話状態検出処理の流れを示す図である。図１３は、実施例１に係る持ち方判定処理の流れを示す図である。図１４は、実施例１に係る方角補正処理の流れを示す図である。
【００５０】
まず、図１１を用いて、端末装置２００の全体的な処理の流れを説明する。図１１に示すように、例えば、端末装置２００は、通話ボタンの操作の有無を監視し、通話開始の検出を行う。そして、通話開始が検出されると（ステップＳ１０１，Ｙｅｓ）、位置取得部２２０は、端末装置２００の位置情報を取得する（ステップＳ１０２）。なお、通話開始を検出していない場合に（ステップＳ１０１，Ｎｏ）、端末装置２００は、通話開始を検出するまで、通話ボタンの操作の有無について監視を継続する。
【００５１】
続いて、方向取得部２５０は、端末装置２００の端末方向の情報を取得する（ステップＳ１０３）。続いて、算出部２６０は、相手方角、つまり、端末装置２００の端末方向に対する、端末装置２００の位置から端末装置１００の位置へ向かう方向の相対角度を算出する（ステップＳ１０４）。
【００５２】
続いて、検出部２８０Ａは、通話状態検出処理を実行する（ステップＳ１０５）。続いて、検出部２８０Ａは、ステップＳ１０５の通話状態検出処理の結果、ユーザの通話状態が片方の耳を用いた通話状態にあるか否かを判定する（ステップＳ１０６）。例えば、片方の耳を用いた通話状態にあると検出部２８０Ａにより判定された場合には（ステップＳ１０６，Ｙｅｓ）、判定部２８０Ｂは、右耳または左耳のどちらの耳を用いて通話を行っているかを判定する持ち方判定処理を実行する（ステップＳ１０７）。
【００５３】
続いて、補正部２８０Ｃは、右耳による通話時および左耳による通話時について予め設定された補正値を用いて、ステップＳ１０４にて算出された相手方角、つまり相対角度を補正する方角補正処理を実行する（ステップＳ１０８）。続いて、生成部２８０Ｄは、端末装置１００から受信した音声にミキシングする特徴音を、ステップＳ１０８により補正された相手方角に応じて生成する（ステップＳ１０９）。
【００５４】
続いて、ミキシング部２８０Ｅは、ユーザが片方の耳を用いた通話状態にある場合には、端末装置１００から受信した音声に、ステップＳ１０９にて生成された特徴音をミキシングする（ステップＳ１１０）。そして、ミキシング部２８０Ｅは、ステップＳ１１０でミキシングした音声を１系統のモノラルで出力し（ステップＳ１１１）、上述したステップＳ１０２の処理に戻る。
【００５５】
ここで、ステップＳ１０６の説明に戻る。片方の耳を用いた通話状態以外、例えば、ヘッドホンやイヤホンなどを用いた通話状態にあると検出部２８０Ａにより判定された場合には（ステップＳ１０６，Ｎｏ）、加工部２９０は次の処理を実行する。すなわち、加工部２９０は、ステップＳ１０４にて算出された相対角度に基づいて、端末装置１００から受信した音声から右耳用および左耳用の音声をそれぞれ生成する（ステップＳ１１２）。そして、ミキシング部２８０Ｅは、ステップＳ１１２にて生成された右耳用および左耳用の音声を左右別の出力系統であるステレオでそのまま出力し（ステップＳ１１３）、上述したステップＳ１０２の処理に戻る。
【００５６】
なお、端末装置２００を用いた通話が、必ず片方の耳を用いて行なわれることを前提とする場合には、必ずしも上述した図１１に示す流れで処理を実行しなくてもよい。例えば、上述したステップＳ１０１〜ステップＳ１０４、ステップＳ１０７〜ステップＳ１１１の順に処理を実行してもよい。
【００５７】
次に、図１２を用いて、通話状態検出処理の流れを説明する。図１２に示すように、検出部２８０Ａは、音声出力パスのチャネル数を取得し（ステップＳ２０１）、チャネル数が１ｃｈであるか否かを判定する（ステップＳ２０２）。判定の結果、チャネル数が１ｃｈである場合には（ステップＳ２０２，Ｙｅｓ）、検出部２８０Ａは、片方の耳を用いた通話状態にあると判定する。そして、検出部２８０Ａは、片方の耳を用いた通話状態であることを示す所定値を所定のフラグにセットする（ｒｅｃｅｉｖｅｒ＿ｆｌａｇ＝１，ステップＳ２０３）。
【００５８】
ステップＳ２０２の説明に戻り、判定の結果、チャネル数が１ｃｈではない場合には（ステップＳ２０２，Ｎｏ）、検出部２８０Ａは、片方の耳を用いた通話状態以外、例えば、ヘッドホンやイヤホンなどを用いた通話状態にあると判定する。そして、検出部２８０Ａは、例えば、ヘッドホンやイヤホンなどを用いた通話状態であることを示す所定値を所定のフラグにセットする（ｒｅｃｅｉｖｅｒ＿ｆｌａｇ＝２，ステップＳ２０４）。
【００５９】
次に、図１３を用いて、持ち方判定処理の流れを説明する。なお、持ち方判定処理とは、ユーザが右耳または左耳のどちらの耳を用いて通話を行っているかを判定する処理に該当する。
【００６０】
図１３に示すように、判定部２８０Ｂは、加速度センサーから取得したＸ軸方向の加速度を取得する（ステップＳ３０１）。続いて、判定部２８０Ｂは、取得したＸ軸方向の加速度が正の値であるか否かを判定する（ステップＳ３０２）。
【００６１】
判定の結果、Ｘ軸方向の加速度が正の値である場合には（ステップＳ３０２，Ｙｅｓ）、判定部２８０Ｂは、左耳を用いて通話を行っていると判定する。そして、判定部２８０Ｂは、左耳での通話であることを示す所定値を所定のフラグにセットする（ｈｏｌｄ＿ｆｌａｇ＝１，ステップＳ３０３）。
【００６２】
ステップＳ３０２の説明に戻り、判定の結果、Ｘ軸方向の加速度が正の値ではない、つまり負の値ある場合には（ステップＳ３０２，Ｎｏ）、判定部２８０Ｂは、右耳を用いて通話を行っていると判定する。そして、判定部２８０Ｂは、右耳での通話であることを示す所定値を所定のフラグにセットする（ｈｏｌｄ＿ｆｌａｇ＝０，ステップＳ３０４）。
【００６３】
次に、図１４を用いて、方角補正処理の流れを説明する。なお、方角補正処理とは、右耳通話時および左耳通話時について予め設定された補正値を用いて、算出部２６０により算出された相対角度を補正した補正相対角度「ａｎｇ６（ｒｅｌａｔｉｖｅ ａｎｇｌｅ２）」を求める処理に該当する。
【００６４】
図１４に示すように、補正部２８０Ｃは、図１２を用いて上述した通話状態検出処理の結果、検出部２８０Ａによりセットされたフラグの値を取得する（ステップＳ４０１）。続いて、補正部２８０Ｃは、取得したフラグの値が、片方の耳を用いた通話状態にあることを示す値（ｒｅｃｅｉｖｅｒ＿ｆｌａｇ＝１）であるか否かを判定する（ステップＳ４０２）。
【００６５】
判定の結果、片方の耳を用いた通話状態にあることを示す値である場合には（ステップＳ４０２，Ｙｅｓ）、補正部２８０Ｃは、判定部２８０Ｂによりセットされたフラグの値を取得する。そして、補正部２８０Ｃは、取得したフラグの値が左耳による通話を示す値（ｈｏｌｄ＿ｆｌａｇ＝１）であるか否かを判定する（ステップＳ４０３）。判定の結果、左耳での通話であることを示す値である場合には（ステップＳ４０３，Ｙｅｓ）、補正部２８０Ｃは、左耳通話時の補正値「ａｎｇ４（ｄｅｌｔａ＿ａｎｇｌｅ＿Ｌ）」を取得する。そして、補正部４８０Ｃは、左耳通話時の補正値を用いて、算出部２６０により算出された相対角度「ｒｅｌａｔｉｖｅ ａｎｇｌｅ１」について左耳での通話に応じた補正を行う（ステップＳ４０４）。この補正により、例えば、図６に示すような補正相対角度「ａｎｇ６（ｒｅｌａｔｉｖｅ ａｎｇｌｅ２）」が算出される。
【００６６】
ここで、ステップＳ４０３の説明に戻る。判定の結果、左耳での通話であることを示す値ではない、つまり右耳での通話であることを示す値（ｈｏｌｄ＿ｆｌａｇ＝０）である場合には（ステップＳ４０３，Ｎｏ）、補正部２８０Ｃは、次のように処理する。すなわち、補正部２８０Ｃは、右耳通話時の補正値「ａｎｇ５（ｄｅｌｔａ＿ａｎｇｌｅ＿Ｒ）」を取得する。そして、補正部２８０Ｃは、右耳通話時の補正値を用いて、算出部２６０により算出された相対角度「ｒｅｌａｔｉｖｅ ａｎｇｌｅ１」について右耳での通話に応じた補正を行う（ステップＳ４０５）。この補正により、例えば、図６に示すような補正相対角度「ａｎｇ６（ｒｅｌａｔｉｖｅ ａｎｇｌｅ２）」が算出される。
【００６７】
ここで、ステップＳ４０２の説明に戻る。判定の結果、検出部２８０Ａによりセットされたフラグの値が片方の耳を用いた通話状態にあることを示す値ではない場合には（ステップＳ４０２，Ｎｏ）、補正部２８０Ｃは、そのまま方角補正処理を終了する。
【００６８】
［実施例１による効果］
上述してきたように、実施例１に係る端末装置２００は、片方の耳での通話状態を検出すると、通話の相手側の端末装置１００に向かう方向と、端末装置２００の端末方向とのなす相対角度を所定角度分補正する。そして、端末装置２００は、補正した相対角度に応じて出力音声の属性を決定する。このようなことから、実施例１によれば、片方の耳を用いて通話するユーザに通話の相手の方向を的確に知覚させることができる。
【００６９】
また、実施例１によれば、右耳通話時および左耳通話時について予め設定された補正値を用いて、通話の相手側の端末装置１００に向かう方向と、端末装置２００の端末方向とのなす相対角度を補正する。このようなことから、片方の耳での通話であっても、右耳通話時および左耳通話時のそれぞれについて、端末装置２００の端末方向とユーザの正面方向と一致させたときの相対角度を精度よく導出できる。この結果、ユーザに知覚させる通話の相手の方向の精度を向上できる。なお、右耳通話時および左耳通話時について予め設定された補正値を用いて、通話の相手側の端末装置１００に向かう方向と、端末装置２００の端末方向とのなす相対角度を補正する場合に限られない。例えば、端末方向とユーザの正面方向とのなす角度がおおよそ１８０°となる場合を多いことに鑑み、例えば、通話の相手側の端末装置１００に向かう方向と、端末装置２００の端末方向とのなす相対角度を１８０°補正するようにしてもよい。
【００７０】
また、実施例１によれば、補正した相対角度が小さくなるほど音量が大きくなる特徴音を生成し、生成した特徴音を通話音声にミキシングする。このようなことから、左耳用の音声および右耳用の音声の違いで通話の相手の方向を表現することなく、片方の耳を用いて通話するユーザに通話の相手の方向を的確に知覚させることができる。なお、端末装置１００からの受信する無言の通話音声に特徴音をミキシングすることにより、通話の相手が無言の状態であっても、通話の相手の方向を知覚させることができる。
【００７１】
なお、上記の実施例１において、例えば、ミキシング部２８０Ｅは、加工部２９０から入力される音声に、生成部２８０Ｄにより生成された特徴音をミキシングする場合に、頭部伝達関数を用いた音響加工を行ってもよい。例えば、ミキシング部２８０Ｅは、加工部２９０から入力される音声、および生成部２８０Ｄにより生成された特徴音が、異なる位置を仮想的な音源として伝達されるように音響加工した後、重畳して出力する。このようにすれば、相手の音声（出力音声）と特徴音を異なる方向（例えば、上下方向）から再生可能となり、音声と特徴音を聞き分けやすくすることができる。つまり、片耳を用いて通話状態において、相手の音声に特徴音を重畳させる結果、それぞれの音が聞きわけにくくなるのを抑制する。
【実施例２】
【００７２】
以下、本願の開示する端末装置および音声処理プログラムの他の実施形態を説明する。
【００７３】
（１）装置構成等
例えば、上述した図１に示す端末装置２００の構成は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、図１に示す検出部２８０Ａと、判定部２８０Ｂと、補正部２８０Ｃと、生成部２８０Ｄと、ミキシング部２８０Ｅとを機能的または物理的に統合した一つのユニットとしてもよい。このように、端末装置２００が有する処理機能部の全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【００７４】
（２）端末装置のハードウェア構成
次に、図１５を用いて、実施例１に係る端末装置のハードウェアの構成例について説明する。図１５は、端末装置のハードウェア構成の一例を示す図である。図１５に示すように、端末装置３００は、無線通信部３１０と、アンテナ３１１と、表示部３２０と、音声入出力部３３０と、マイク３３１と、スピーカ３３２と、入力部３４０と、記憶部３５０と、プロセッサ３６０とを有する。
【００７５】
無線通信部３１０、表示部３２０、音声入出力部３３０、入力部３４０、記憶部３５０は、プロセッサ３６０と接続される。また、アンテナ３１１は、無線通信部３１０と接続される。また、マイク３３１及びスピーカ３３２は、音声入出力部３３０と接続される。
【００７６】
無線通信部３１０は、図１には示していないが、例えば、端末装置２００が有する通信制御部に対応する。また、表示部３２０は、図１には示していないが、例えば、端末装置２００が有するディスプレイに対応する。音声入出力部３３０、マイク３３１及びスピーカ３３２は、例えば、図１に示したマイク２０１及びスピーカ２０２、図１には示していないが、例えば、端末装置２００が有する入出力制御部に対応する。また、入力部３４０は、図１には示していないが、例えば、端末装置２００が有するキー制御部に対応する。
【００７７】
記憶部３５０及びプロセッサ３６０は、例えば、図１に示した検出部２８０Ａと、判定部２８０Ｂと、補正部２８０Ｃと、生成部２８０Ｄと、ミキシング部２８０Ｅ等の機能を実現する。具体的には、記憶部３５０のプログラム記憶部３５１は、例えば、図１１〜図１４等に示す処理を実現する音声処理プログラム等の各種プログラムを記憶している。そして、プロセッサ３６０は、プログラム記憶部３５１に記憶されている各プログラムを読み出して実行することで、上述の各機能を実現するプロセスを生成する。また、データ記憶部３５２は、例えば、図１１〜図１４等に示す処理に用いる各種データを保持する。また、ＲＡＭ（Random Access Memory）３５３は、例えば、図１１〜図１４等に示す処理を実行する場合に、プロセッサ３６０により生成されたプロセスに使用される記憶領域を有する。
【符号の説明】
【００７８】
１ 音源
１００ 端末装置
１０１ マイク
１１０ 符号化部
１２０ 位置取得部
１３０ 位置送信部
２００ 端末装置
２０１ マイク
２０２ スピーカ
２１０ 符号化部
２２０ 位置取得部
２３０ 位置送信部
２４０ 位置受信部
２５０ 方向取得部
２６０ 算出部
２７０ 復号化部
２８０Ａ 検出部
２８０Ｂ 判定部
２８０Ｃ 補正部
２８０Ｄ 生成部
２８０Ｅ ミキシング部
２９０ 加工部
３００ 端末装置
３１０ 無線通信部
３１１ アンテナ
３２０ 表示部
３３０ 音声入出力部
３３１ マイク
３３２ スピーカ
３４０ 入力部
３５０ 記憶部
３６０ プロセッサ
【技術分野】
【０００１】
この発明は、端末装置および音声処理プログラムに関する。
【背景技術】
【０００２】
従来、例えば、携帯電話やスマートフォンなどの端末装置を用いた通話を行う場合に、通話の相手の方向を求め、この方向に応じて通話音声を加工することにより、通話の相手の方向をユーザに知らせる従来技術がある。以下、図１６および図１７を参照しつつ従来技術を説明する。図１６および図１７は、従来技術の説明に用いる図である。例えば、図１６に示すＵ１およびＵ２は通話を行っている当事者を示すものとする。
【０００３】
この従来技術は、まず、Ｕ２が使用している端末装置の位置情報を取得し、Ｕ１が使用している端末装置とＵ２が使用している端末装置との位置関係を求める。なお、位置情報は、例えば、ＧＰＳ（Global Positioning System）などを用いて取得される。
【０００４】
続いて、この従来技術は、図１６に示すように、Ｕ１が使用する端末装置の位置からＵ２が使用する端末装置の位置へ向かう方向と北方向とがなす角度θ１を求める。続いて、この従来技術は、図１６に示すように、Ｕ１の正面方向であるＦＤとＵ１が使用する端末装置の端末方向とが一致していることを前提として、Ｕ１が使用する端末装置の端末方向と北方向とがなす角度θ２を求める。端末方向は、例えば、端末装置の長手方向に相当する。角度θ２は、端末装置に搭載された電子コンパスなどにより求められる。
【０００５】
続いて、この従来技術は、図１６に示すように、角度θ１および角度θ２に基づいて、Ｕ１の使用する端末装置の端末方向に対する、Ｕ１が使用する端末装置の位置からＵ２が使用する端末装置の位置へ向かう方向の相対角度θを求める。続いて、この従来技術は、相対角度θに応じて出力音声を生成する。例えば、この従来技術は、図１７に示すように、相対角度θに応じて、左耳用の音声および右耳用の音声にそれぞれ生成し、左耳用の音声および右耳用の音声を左右別系統で出力する。例えば、端末装置に搭載されたスピーカ、あるいは端末装置に接続されたヘッドホンやイヤホンなどを介して左右別系統で出力する。このように、この従来技術は、出力する左耳用の音声および右耳用の音声の違いで通話の相手の方向を表現することで、通話の相手の端末装置の方向から音声が聞こえてくるようにユーザに知覚させる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１８４６２１号公報
【特許文献２】特開２００５−３４１０９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述した従来技術は、図１７にも示すように、左耳用の音声および右耳用の音声の違いで通話の相手の方向を表現し、通話の相手の方向をユーザに知覚させる。このため、片方の耳を用いて通話する場合には、左耳用の音声および右耳用の音声の違いで通話の相手の方向を表現するという方法が利用できないので、通話の相手の方向をユーザに知覚させることができないという問題がある。
【０００８】
また、上述した従来技術では、ユーザの正面方向と端末方向とが一致しているという前提で上述した相対角度θを求め、この相対角度θに応じて出力音声を生成する。このため、ユーザの正面方向と端末方向とが一致していない状況では、通話の相手の方向をユーザに対して的確に知覚させることができない。なお、片方の耳を用いて通話する場合には、ユーザの正面方向と端末方向とが一致しない場合がほとんどである。このため、ユーザの正面方向と端末方向とが一致していない状況下で、上述した相対角度θを精度よく導出することができなければ、片方の耳を用いて通話するユーザに対して通話の相手の方向を的確に知覚させることができない。
【０００９】
そこで、本発明は、１側面において、片方の耳を用いて通話するユーザに通話の相手の方向を的確に知覚させることが可能な端末装置および音声処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本願の開示する端末装置は、１つの態様において、他端末位置取得部と、自端末位置取得部と、第１方向取得部と、第２方向取得部と、傾斜方向取得部と、補正部と、決定部とを有する。他端末位置取得部は相手装置の位置を示す位置情報を取得する。自端末位置取得部は自端末装置の位置を示す位置情報を取得する。第１方向取得部は前記取得した自端末装置の位置を基点として算出される前記取得した相手装置の位置へ向かう方向である第１の方向を取得する。第２方向取得部は自端末装置が向く方向である第２の方向を取得する。傾斜方向取得部は自端末装置の傾き方向を検出するセンサーから自端末装置が右方向に傾いているか左方向に傾いているかを示す傾斜情報を取得する。補正部は前記取得した傾斜情報が右方向を示すか左方向を示すかに応じて、前記第１の方向と前記第２の方向とのなす相対角度に対する補正量を切り替える。決定部は前記補正量により補正された相対角度に応じて、音出力部から出力される出力音の属性を決定する。
【発明の効果】
【００１１】
本発明の１つの態様によれば、片方の耳を用いて通話するユーザに通話の相手の方向を的確に知覚させることができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、実施例１に係る端末装置の構成を示す機能ブロック図である。
【図２】図２は、実施例１に係る方向取得部の説明に用いる図である。
【図３】図３は、実施例１に係る算出部の説明に用いる図である。
【図４Ａ】図４Ａは、実施例１に係る判定部の説明に用いる図である。
【図４Ｂ】図４Ｂは、実施例１に係る判定部の説明に用いる図である。
【図５Ａ】図５Ａは、実施例１に係る補正部の説明に用いる図である。
【図５Ｂ】図５Ｂは、実施例１に係る補正部の説明に用いる図である。
【図６】図６は、実施例１に係る補正部の説明に用いる図である。
【図７】図７は、実施例１に係る生成部の説明に用いる図である。
【図８】図８は、実施例１に係る生成部の説明に用いる図である。
【図９】図９は、実施例１に係るミキシング部の説明に用いる図である。
【図１０】図１０は、実施例１に係る生成部の説明に用いる図である。
【図１１】図１１は、実施例１に係る端末装置の全体的な処理の流れを示す図である。
【図１２】図１２は、実施例１に係る通話状態検出処理の流れを示す図である。
【図１３】図１３は、実施例１に係る持ち方判定処理の流れを示す図である。
【図１４】図１４は、実施例１に係る方角補正処理の流れを示す図である。
【図１５】図１５は、端末装置のハードウェア構成の一例を示す図である。
【図１６】図１６は、従来技術の説明に用いる図である。
【図１７】図１７は、従来技術の説明に用いる図である。
【発明を実施するための形態】
【００１３】
以下に、図面を参照しつつ、本願の開示する端末装置および音声処理プログラムの一実施形態について詳細に説明する。なお、本願の開示する端末装置および音声処理プログラムの一実施形態として後述する実施例により、本願が開示する技術が限定されるものではない。
【実施例１】
【００１４】
［端末装置の構成（実施例１）］
図１は、実施例１に係る端末装置の構成を示す機能ブロック図である。図１には、端末装置１００は通話の相手が使用する装置であり、端末装置２００は自分が使用する装置である例を図示する。端末装置１００および端末装置２００は、例えば、携帯電話やスマートフォン、ＰＨＳ（Personal Handy-phone System）など通話可能で、位置情報を取得可能な携帯端末である。なお、図１に示す端末装置１００および端末装置２００は同一の構成を有する装置であるが、以下の実施例１では、端末装置１００から送信された音声を端末装置２００が受信する場合の一実施形態の説明に必要な処理機能部のみを図示する。
【００１５】
図１に示すように、端末装置１００は、マイク１０１と、符号化部１１０と、位置取得部１２０と、位置送信部１３０とを有する。マイク１０１は、端末装置１００のユーザの発話音声を入力する。符号化部１１０は、マイク１０１が入力するユーザの発話音声を符号化する。なお、符号化部１１０により符号化された音声は、端末装置２００に送信される。
【００１６】
位置取得部１２０は、端末装置１００の位置情報を取得する。例えば、位置情報取得部１２０は、例えば、ＧＰＳ（Global Positioning System）などを用いて得られる緯度および経度から、平面直角座標上における端末装置１００の位置を求める。以下では、端末装置の位置を、例えば、「ｓｅｎｄｅｒ＿ｐｏｓ（ｘ＿ｓｅｎｄｅｒ，ｙ＿ｓｅｎｄｅｒ）」と表記する。なお、既存技術を利用することにより、緯度および経度から平面直角座標上における端末装置１００の位置を求めることができる。この既存技術の一例としては、例えば、「TOTAL INVERSE SOLUTIONS FOR THE GEODESIC AND GREAT ELLIPTIC」 B.R.Bowring Survey Review33，261（July，1996）461-476，ＵＲＬ「http://vldb.gsi.go.jp/sokuchi/surveycalc/algorithm/（2010年9月1日検索）」がある。また、この既存技術の他の一例としては、ＵＲＬ「http://vldb.gsi.go.jp/sokuchi/surveycalc/algorithm/bl2xy/bl2xy.htm（2010年9月1日検索）」もある。位置送信部１３０は、位置取得部１２０により取得された端末装置１００の位置情報を端末装置２００に送信する。
【００１７】
図１に示すように、端末装置２００は、マイク２０１と、スピーカ２０２と、符号化部２１０と、位置取得部２２０と、位置送信部２３０と、位置受信部２４０と、方向取得部２５０と、算出部２６０と、復号化部２７０とを有する。さらに、端末装置２００は、検出部２８０Ａと、判定部２８０Ｂと、補正部２８０Ｃと、生成部２８０Ｄと、ミキシング部２８０Ｅと、加工部２９０とを有する。
【００１８】
図１に示すマイク２０１、符号化部２１０、位置取得部２２０および位置送信部２３０は、上述した端末装置１００のマイク１０１、符号化部１１０、位置取得部１２０および位置送信部１３０とそれぞれ同様の処理を行う。例えば、位置取得部２２０は、ＧＰＳ（Global Positioning System）などを用いて得られる緯度および経度から、平面直角座標上における端末装置２００の位置を求める。位置情報取得部２２０は自端末位置取得部の一例である。以下では、端末装置の位置を、例えば、「ｒｅｃｅｉｖｅｒ＿ｐｏｓ（ｘ＿ｒｅｃｅｉｖｅｒ，ｙ＿ｒｅｃｅｉｖｅｒ）」と表記する。位置送信部２３０は、位置取得部２２０により取得された端末装置２００の位置情報を端末装置１００に送信する。なお、マイク２０１、符号化部２１０の説明は省略する。
【００１９】
図１に示す位置受信部２４０は、端末装置１００から送信された位置情報を受信する。位置受信部２４０は他端末位置取得部の一例である。
【００２０】
図１に示す方向取得部２５０は、電子コンパスを用いて、端末装置２００の端末方向の情報を取得する。図２を参照しつつ、方向取得部２５０について説明する。図２は、実施例１に係る方向取得部の説明に用いる図である。
【００２１】
図２に示すように、方向取得部２５０は、電子コンパスを用いて、端末装置２００の中心縦軸２Ａの方向に対応する端末方向Ｄ３と、北方向（０°）とがなす角度「ａｎｇ１（ｒｅｃｅｉｖｅｒ＿ａｎｇｌｅ）」を取得する。
【００２２】
図１に示す算出部２６０は、端末装置２００の端末方向に対する、端末装置２００の位置から端末装置１００の位置へ向かう方向の相対角度を求める。以下では、算出部２６０により算出される相対角度を、例えば「ａｎｇ３（ｒｅｌａｔｉｖｅ ａｎｇｌｅ１）」と表記する。図３を参照しつつ、算出部２６０について説明する。図３は、実施例１に係る算出部の説明に用いる図である。図３に記載のＵ１は端末装置２００を使用しているユーザを示し、図３に記載のＵ２は端末装置１００を使用しているユーザを示す。また、図３に記載のＤ１は、端末装置２００から端末装置１００へ向かう方向を示す。また、図３に記載のＤ２は端末装置２００を使用するユーザ方向、つまりユーザの正面の方向を示す。また、図３に記載のＤ３は端末装置２００の端末方向を示す。なお、図３に記載のＤ３は、図２に記載のＤ３に対応する。
【００２３】
まず、算出部２６０は、位置取得部２２０から端末装置２００の位置情報（ｘ＿ｒｅｃｅｉｖｅｒ，ｙ＿ｒｅｃｅｉｖｅｒ）を取得し、位置受信部２４０から端末装置１００の位置情報（ｘ＿ｓｅｎｄｅｒ，ｙ＿ｓｅｎｄｅｒ）を取得する。続いて、算出部２６０は、図３に示すように、端末装置２００および端末装置１００の位置情報に基づいて、端末装置２００から端末装置１００へ向かう方向Ｄ１を求める。そして、算出部２６０は、図３に示すように、方向Ｄ１と北方向（０°）とがなす角度「ａｎｇ２（ｓｅｎｄｅｒ＿ａｎｇｌｅ）」を求める。例えば、算出部２６０は、以下の式（１）により、「ａｎｇ２（ｓｅｎｄｅｒ＿ａｎｇｌｅ）」を求めることができる。
【数１】
【００２４】
続いて、算出部２６０は、端末方向Ｄ３と北方向とがなす角度「ａｎｇ１（ｒｅｃｅｉｖｅｒ＿ａｎｇｌｅ）」を方向取得部２５０から取得する。そして、算出部２６０は、図３に示すように、「ａｎｇ１（ｒｅｃｅｉｖｅｒ＿ａｎｇｌｅ）」と、「ａｎｇ２（ｓｅｎｄｅｒ＿ａｎｇｌｅ）」とに基づいて、上述した相対角度「ｒｅｌａｔｉｖｅ ａｎｇｌｅ１」を求める。例えば、算出部２６０は、以下の式（２）により、相対角度「ａｎｇ３（ｒｅｌａｔｉｖｅ ａｎｇｌｅ１）」を求めることができる。なお、算出部２６０は第１方向取得部、第２方向取得部の一例である。
【数２】
【００２５】
図１に示す復号化部２７０は、符号化された音声を端末装置１００から受信し、受信した音声を復号する。
【００２６】
図１に示す検出部２８０Ａは、ユーザの通話状態を検出する。例えば、検出部２８０Ａは、音声出力パスのチャネル数、つまり音声の出力信号の数を監視し、チャネル数が１ｃｈである場合には、片方の耳を用いた通話状態にあると判定する。検出部２８０Ａは、片方の耳を用いた通話状態にあると判定した場合、片方の耳を用いた通話状態であることを示す所定値を所定のフラグにセットする（ｒｅｃｅｉｖｅｒ＿ｆｌａｇ＝１）。
【００２７】
また、検出部２８０Ａは、チャネル数が２ｃｈである場合には、片方の耳を用いた通話状態以外、例えば、ヘッドホンやイヤホンなどを用いた通話状態にあると判定する。検出部２８０Ａは、例えば、ヘッドホンやイヤホンなどを用いた通話状態にあると判定した場合、ヘッドホンやイヤホンなどを用いた通話状態であることを示す所定値を所定のフラグにセットする（ｒｅｃｅｉｖｅｒ＿ｆｌａｇ＝２）。なお、検出部２８０Ａは通話状態判定部の一例である。
【００２８】
なお、検出部２８０Ａは、例えば、音声の出力信号数や、モノラルやステレオなどの音声の出力状態を示す情報が記憶されているレジスタを参照して、通話を開始するユーザが片方の耳を用いた通話状態にあるか否かを判定するようにもできる。
【００２９】
図１に示す判定部２８０Ｂは、ユーザの通話状態が片方の耳を用いた通話状態にある場合には、ユーザが右耳または左耳のどちらの耳を用いて通話を行っているかを判定する。図４Ａおよび図４Ｂを参照しつつ、判定部２８０Ｂについて説明する。図４Ａおよび図４Ｂは、実施例１に係る判定部の説明に用いる図である。図４Ａおよび図４Ｂに記載のＵ１は端末装置２００のユーザを示し、図３に記載のＵ１と対応する。図４Ａに記載のａｃｃｅ１は端末装置２００のＸ軸方向の負の加速度を示す。図４Ｂに記載のａｃｃｅ２は端末装置２００のＸ軸方向の正の加速度を示す。
【００３０】
例えば、判定部２８０Ｂは、検出部２８０Ａによりセットされたフラグの値を取得し、取得したフラグの値が、片方の耳を用いた通話状態にあることを示す値（ｒｅｃｅｉｖｅｒ＿ｆｌａｇ＝１）であるか否かを判定する。判定の結果、片方の耳を用いた通話状態にあることを示す値である場合には、判定部２８０Ｂは、加速度センサーから端末装置２００の加速度を取得する。
【００３１】
続いて、判定部２８０Ｂは、取得した加速度に基づいて、ユーザが右耳または左耳のどちらの耳を用いて通話を行っているかを判定する。例えば、図４Ａに示すように、判定部２８０Ｂは、加速度センサーから取得したＸ軸方向の加速度ａｃｃｅ１が負の値である場合には、右耳を用いて通話を行っていると判定する。判定部２８０Ｂは、右耳を用いて通話を行っていると判定した場合、右耳での通話であることを示す所定値を所定のフラグにセットする（ｈｏｌｄ＿ｆｌａｇ＝０）。
【００３２】
一方、図４Ｂに示すように、判定部２８０Ｂは、加速度センサーから取得したＸ軸方向の加速度ａｃｃｅ２が正の値である場合には、左耳を用いて通話を行っていると判定する。判定部２８０Ｂは、左耳を用いて通話を行っていると判定した場合、左耳での通話であることを示す所定値を所定のフラグにセットする（ｈｏｌｄ＿ｆｌａｇ＝１）。判定部２８０Ｂは傾斜方向取得部の一例である。
【００３３】
図１に示す補正部２８０Ｃは、右耳通話時および左耳通話時のそれぞれについて予め設定された補正値を用いて、算出部２６０により算出された相対角度「ａｎｇ３（ｒｅｌａｔｉｖｅ ａｎｇｌｅ１）」を補正した補正相対角度を求める。以下では、補正部２８０Ｃにより補正された補正相対角度を「ａｎｇ６（ｒｅｌａｔｉｖｅ ａｎｇｌｅ２）」と表記する。図５Ａ、図５Ｂおよび図６を参照しつつ、補正部２８０Ｃについて説明する。
【００３４】
図５Ａ、図５Ｂおよび図６は、実施例１に係る補正部の説明に用いる図である。図５Ａは、端末装置２００を用いてユーザが通話している状態を左側面から見た様子を示す。また、図５Ｂは、端末装置２００を用いてユーザが通話している状態を上方から見た様子を示す。また、図５Ａおよび図５Ｂに記載のＤ２はユーザ方向を示し、図３に記載のＤ２に対応する。また、図５Ａおよび図５Ｂに記載のＤ３は端末装置２００の端末方向を示し、図２および図３に記載のＤ３に対応する。
【００３５】
例えば、補正部２８０Ｃは、検出部２８０Ａによりセットされたフラグの値を取得し、取得したフラグの値が、片方の耳を用いた通話状態にあることを示す値（ｒｅｃｅｉｖｅｒ＿ｆｌａｇ＝１）であるか否かを判定する。
【００３６】
判定の結果、片方の耳を用いた通話状態にあることを示す値である場合には、補正部２８０Ｃは、判定部２８０Ｂによりセットされたフラグの値を取得し、取得したフラグの値が、右耳による通話または左耳による通話のどちらを示す値であるか否かを判定する。判定の結果、補正部２８０Ｃは、左耳での通話であることを示す値（ｈｏｌｄ＿ｆｌａｇ＝１）である場合には、図５Ｂに示すように、左耳通話時の補正値「ａｎｇ４（ｄｅｌｔａ＿ａｎｇｌｅ＿Ｌ）」を取得する。続いて、補正部２８０Ｃは、算出部２６０により算出された相対角度「ｒｅｌａｔｉｖｅ ａｎｇｌｅ１」を取得する。そして、補正部２８０Ｃは、図６に示すように、補正値「ａｎｇ４（ｄｅｌｔａ＿ａｎｇｌｅ＿Ｌ）」を用いて、相対角度「ｒｅｌａｔｉｖｅ ａｎｇｌｅ１」を補正し、補正相対角度「ａｎｇ６（ｒｅｌａｔｉｖｅ ａｎｇｌｅ２）」を求める。このようにして、補正部２８０Ｃは、左耳通話時の補正相対角度を求める。
【００３７】
なお、右耳通話時についても同様にして補正相対角度を求めることができる。例えば、補正部２８０Ｃは、判定部２８０Ｂによりセットされたフラグの値が、右耳での通話であることを示す値（ｈｏｌｄ＿ｆｌａｇ＝０）である場合には、図５Ｂに示すように、右耳通話時の補正値「ａｎｇ５（ｄｅｌｔａ＿ａｎｇｌｅ＿Ｒ）」を取得する。続いて、補正部２８０Ｃは、算出部２６０により算出された相対角度「ｒｅｌａｔｉｖｅ ａｎｇｌｅ１」を取得する。そして、補正部２８０Ｃは、補正値「ａｎｇ５（ｄｅｌｔａ＿ａｎｇｌｅ＿Ｒ）」を用いて、相対角度「ｒｅｌａｔｉｖｅ ａｎｇｌｅ１」を補正し、補正相対角度「ａｎｇ６（ｒｅｌａｔｉｖｅ ａｎｇｌｅ２）」を求める。補正部２８０Ｃは補正部の一例である。
【００３８】
図１に示す生成部２８０Ｄは、端末装置１００から受信した音声に重畳する特徴音を、補正部２８０Ｃから取得した補正相対角度に応じて生成する。図７および図８を参照しつつ、生成部２８０Ｄについて説明する。図７および図８は、実施例１に係る生成部の説明に用いる図である。図７に記載のＤ２はユーザ方向を示し、図３、図５Ａおよび図５Ｂに記載のＤ２に対応する。また、図７に記載のＤ１は端末装置１００の方角を示し、図３および図６に記載のＤ１に対応する。図８は、特徴音を生成する時に用いるゲインを示す。
【００３９】
図７に示すように、生成部２８０Ｄは、補正部２８０Ｃから取得した補正相対角度に応じて、ユーザ方向Ｄ２が、端末装置２００から端末装置１００へ向かう方向Ｄ１に近いほど音が大きくなるような特徴音を生成する。例えば、生成部２８０Ｄは、以下の式（３）に基づいて特徴音を生成する。
【数３】
【００４０】
例えば、図８に示すように、生成部２８０Ｄが特徴音の生成に用いるゲインには、補正相対角度「ａｎｇ６(ｒｅｌａｔｉｖｅ ａｎｇｌｅ２）」が１８０°、または−１８０°であるときに音量が最も小さく調整されるように最小値の「１」が設定されている。また、図８に示すように、補正相対角度「ａｎｇ６（ｒｅｌａｔｉｖｅ ａｎｇｌｅ２）」が０°であるときに特徴音の音量が最も大きく調整されるように最大値の「２」が設定されている。また、図８に示すように、生成部２８０Ｄは、補正相対角度「ａｎｇ６（ｒｅｌａｔｉｖｅ ａｎｇｌｅ２）」が０°に近づくほど音量が大きく調整されるようにゲインが設定されている。つまり、生成部２８０Ｄは、図８に示すゲインを用いて、端末装置２００のユーザが端末装置１００の方向を向くほど音量の大きい特徴音を生成することとなる。
【００４１】
ミキシング部２８０Ｅは、ユーザが片方の耳を用いた通話状態にある場合には、後述する加工部２９０から入力される音声に、生成部２８０により生成された特徴音を重畳する。図９を用いて、ミキシング部２８０Ｅについて説明する。図９は、実施例１に係るミキシング部の説明に用いる図である。図９に記載のＳｐＯｕｔ（ｎ）は加工部２９０からの入力音声を示し、図９に記載のＳｉｇＯｕｔ（ｎ）はミキシング部２８０Ｅにより音声に特徴音が重畳された出力音声を示す。また、図９に記載のａｒｔＳｉｇ（ｎ）は生成部２８０Ｄにより生成された特徴音を示し、図９に記載のｒｅｃｅｉｖｅｒ＿ｆｌａｇは上述した検出部２８０Ａから入力されるフラグである。また、図９に記載のＳＷは上述した検出部２８０Ａから入力されるフラグに応じて切り替えられるスイッチを示す。
【００４２】
例えば、ミキシング部２８０Ｅは、検出部２８０Ａによりセットされたフラグの値を取得し、取得したフラグの値が、片方の耳を用いた通話状態にあることを示す値（ｒｅｃｅｉｖｅｒ＿ｆｌａｇ＝１）であるか否かを判定する。判定の結果、片方の耳を用いた通話状態にあることを示す値である場合（ｒｅｃｅｉｖｅｒ＿ｆｌａｇ＝１の場合）には、ミキシング部２８０Ｅは、スイッチＳＷをオンにする。続いて、ミキシング部２８０Ｅは、加工部２９０からの入力音声「ＳｐＯｕｔ（ｎ）」に、生成部２８０により生成された特徴音「ａｒｔＳｉｇ（ｎ）」を重畳して「ＳｉｇＯｕｔ（ｎ）」を生成する。そして、ミキシング部２８０Ｅは、「ＳｉｇＯｕｔ（ｎ）」を再生し、出力系統が１系統であるモノラル出力でスピーカ２０２から出力する。
【００４３】
また、ミキシング部２８０Ｅは、上述した検出部２８０Ａから入力されるフラグに、ヘッドホンやイヤホンなどを用いた通話状態であることを示す所定値がセットされている場合（ｒｅｃｅｉｖｅｒ＿ｆｌａｇ＝２の場合）には、スイッチＳＷをオフにする。この場合、ミキシング部２８０Ｅは、加工部２９０からの入力音声「ＳｐＯｕｔ（ｎ）」を再生し、出力系統が左右別の２系統であるステレオ出力でスピーカ２０２から出力する。なお、生成部２８０Ｄ、ミキシング部２８０Ｅは決定部の一例である。
【００４４】
加工部２９０は、ユーザの通話状態について検出部２８０Ａによりセットされたフラグの内容に応じて、復号化部２７０から復号された音声を加工する。図１０を用いて加工部２９０について説明する。図１０は、実施例１に係る生成部の説明に用いる図である。図１０に記載のＵ１は端末装置２００を使用するユーザを示す。また、図１０に記載の「ＨＲ（θ）」は音源１からユーザＵ１の右耳に音声が入力される場合の頭部伝達関数（インパルス応答）を示す。また、図１０に記載の「ＨＬ（θ）」は音源１からユーザＵ１の左耳に音声が入力される場合の頭部伝達関数（インパルス応答）を示す。また、図１０に記載の「ｉｎ＿Ｒ」は音源１から右耳に入力される音声を示す。また、図１０に記載の「ｉｎ＿Ｌ」は音源１から左耳に入力される音声を示す。
【００４５】
例えば、加工部２９０は、上述した検出部２８０Ａから入力されるフラグに、片方の耳を用いた通話状態であることを示す所定値がセットされている場合（ｒｅｃｅｉｖｅｒ＿ｆｌａｇ＝１の場合）には、次にように処理する。すなわち、加工部２９０は、復号化部２７０から復号された音声をそのままミキシング部２８０Ｅに送り出す。
【００４６】
一方、加工部２９０は、上述した検出部２８０Ａから入力されるフラグに、ヘッドホンやイヤホンなどを用いた通話状態であることを示す所定値がセットされている場合（ｒｅｃｅｉｖｅｒ＿ｆｌａｇ＝２の場合）には、次のように処理する。すなわち、加工部２９０は、算出部２６０により算出された相対角度を「θ」に代入し、以下の式（４−１）および（４−２）を用いて、右耳用および左耳用の音声をそれぞれ生成する。なお、式（４−１）および（４−２）は、頭部伝達関数（インパルス応答）と音源Ｓの音声信号との畳み込み演算を示し、例えば、ＦＩＲフィルタ（Finite impulse response）を用いる。
【数４】
【００４７】
そして、加工部２９０は、上述した式（４）を用いて生成した右耳用および左耳用の音声をミキシング部２８０Ｅに送り出す。なお、上述したように、ヘッドホンやイヤホンなどを用いた通話状態である場合には、ミキシング部２８０Ｅにて音声への特徴音の重畳が行われることはなく、右耳用および左耳用の音声がミキシング部２８０Ｅからそのまま出力されることとなる。
【００４８】
上述した端末装置１００および端末装置２００は、例えば、ＲＡＭ（Random Access Memory）やフラッシュメモリ(flash memory)などの半導体メモリ素子を有し、各種処理に利用する。また、上述した端末装置１００および端末装置２００は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などの電子回路を有し、ＲＡＭやフラッシュメモリを用いて各種処理を実行する。なお、上述した端末装置１００および端末装置２００は、ＣＰＵやＭＰＵの代わりに、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ(Field Programmable Gate Array)などの集積回路を有してもよい。
【００４９】
［端末装置による処理（実施例１）］
図１１〜１４を用いて、上述した端末装置２００による処理の流れを説明する。図１１は、実施例１に係る端末装置の全体的な処理の流れを示す図である。図１２は、実施例１に係る通話状態検出処理の流れを示す図である。図１３は、実施例１に係る持ち方判定処理の流れを示す図である。図１４は、実施例１に係る方角補正処理の流れを示す図である。
【００５０】
まず、図１１を用いて、端末装置２００の全体的な処理の流れを説明する。図１１に示すように、例えば、端末装置２００は、通話ボタンの操作の有無を監視し、通話開始の検出を行う。そして、通話開始が検出されると（ステップＳ１０１，Ｙｅｓ）、位置取得部２２０は、端末装置２００の位置情報を取得する（ステップＳ１０２）。なお、通話開始を検出していない場合に（ステップＳ１０１，Ｎｏ）、端末装置２００は、通話開始を検出するまで、通話ボタンの操作の有無について監視を継続する。
【００５１】
続いて、方向取得部２５０は、端末装置２００の端末方向の情報を取得する（ステップＳ１０３）。続いて、算出部２６０は、相手方角、つまり、端末装置２００の端末方向に対する、端末装置２００の位置から端末装置１００の位置へ向かう方向の相対角度を算出する（ステップＳ１０４）。
【００５２】
続いて、検出部２８０Ａは、通話状態検出処理を実行する（ステップＳ１０５）。続いて、検出部２８０Ａは、ステップＳ１０５の通話状態検出処理の結果、ユーザの通話状態が片方の耳を用いた通話状態にあるか否かを判定する（ステップＳ１０６）。例えば、片方の耳を用いた通話状態にあると検出部２８０Ａにより判定された場合には（ステップＳ１０６，Ｙｅｓ）、判定部２８０Ｂは、右耳または左耳のどちらの耳を用いて通話を行っているかを判定する持ち方判定処理を実行する（ステップＳ１０７）。
【００５３】
続いて、補正部２８０Ｃは、右耳による通話時および左耳による通話時について予め設定された補正値を用いて、ステップＳ１０４にて算出された相手方角、つまり相対角度を補正する方角補正処理を実行する（ステップＳ１０８）。続いて、生成部２８０Ｄは、端末装置１００から受信した音声にミキシングする特徴音を、ステップＳ１０８により補正された相手方角に応じて生成する（ステップＳ１０９）。
【００５４】
続いて、ミキシング部２８０Ｅは、ユーザが片方の耳を用いた通話状態にある場合には、端末装置１００から受信した音声に、ステップＳ１０９にて生成された特徴音をミキシングする（ステップＳ１１０）。そして、ミキシング部２８０Ｅは、ステップＳ１１０でミキシングした音声を１系統のモノラルで出力し（ステップＳ１１１）、上述したステップＳ１０２の処理に戻る。
【００５５】
ここで、ステップＳ１０６の説明に戻る。片方の耳を用いた通話状態以外、例えば、ヘッドホンやイヤホンなどを用いた通話状態にあると検出部２８０Ａにより判定された場合には（ステップＳ１０６，Ｎｏ）、加工部２９０は次の処理を実行する。すなわち、加工部２９０は、ステップＳ１０４にて算出された相対角度に基づいて、端末装置１００から受信した音声から右耳用および左耳用の音声をそれぞれ生成する（ステップＳ１１２）。そして、ミキシング部２８０Ｅは、ステップＳ１１２にて生成された右耳用および左耳用の音声を左右別の出力系統であるステレオでそのまま出力し（ステップＳ１１３）、上述したステップＳ１０２の処理に戻る。
【００５６】
なお、端末装置２００を用いた通話が、必ず片方の耳を用いて行なわれることを前提とする場合には、必ずしも上述した図１１に示す流れで処理を実行しなくてもよい。例えば、上述したステップＳ１０１〜ステップＳ１０４、ステップＳ１０７〜ステップＳ１１１の順に処理を実行してもよい。
【００５７】
次に、図１２を用いて、通話状態検出処理の流れを説明する。図１２に示すように、検出部２８０Ａは、音声出力パスのチャネル数を取得し（ステップＳ２０１）、チャネル数が１ｃｈであるか否かを判定する（ステップＳ２０２）。判定の結果、チャネル数が１ｃｈである場合には（ステップＳ２０２，Ｙｅｓ）、検出部２８０Ａは、片方の耳を用いた通話状態にあると判定する。そして、検出部２８０Ａは、片方の耳を用いた通話状態であることを示す所定値を所定のフラグにセットする（ｒｅｃｅｉｖｅｒ＿ｆｌａｇ＝１，ステップＳ２０３）。
【００５８】
ステップＳ２０２の説明に戻り、判定の結果、チャネル数が１ｃｈではない場合には（ステップＳ２０２，Ｎｏ）、検出部２８０Ａは、片方の耳を用いた通話状態以外、例えば、ヘッドホンやイヤホンなどを用いた通話状態にあると判定する。そして、検出部２８０Ａは、例えば、ヘッドホンやイヤホンなどを用いた通話状態であることを示す所定値を所定のフラグにセットする（ｒｅｃｅｉｖｅｒ＿ｆｌａｇ＝２，ステップＳ２０４）。
【００５９】
次に、図１３を用いて、持ち方判定処理の流れを説明する。なお、持ち方判定処理とは、ユーザが右耳または左耳のどちらの耳を用いて通話を行っているかを判定する処理に該当する。
【００６０】
図１３に示すように、判定部２８０Ｂは、加速度センサーから取得したＸ軸方向の加速度を取得する（ステップＳ３０１）。続いて、判定部２８０Ｂは、取得したＸ軸方向の加速度が正の値であるか否かを判定する（ステップＳ３０２）。
【００６１】
判定の結果、Ｘ軸方向の加速度が正の値である場合には（ステップＳ３０２，Ｙｅｓ）、判定部２８０Ｂは、左耳を用いて通話を行っていると判定する。そして、判定部２８０Ｂは、左耳での通話であることを示す所定値を所定のフラグにセットする（ｈｏｌｄ＿ｆｌａｇ＝１，ステップＳ３０３）。
【００６２】
ステップＳ３０２の説明に戻り、判定の結果、Ｘ軸方向の加速度が正の値ではない、つまり負の値ある場合には（ステップＳ３０２，Ｎｏ）、判定部２８０Ｂは、右耳を用いて通話を行っていると判定する。そして、判定部２８０Ｂは、右耳での通話であることを示す所定値を所定のフラグにセットする（ｈｏｌｄ＿ｆｌａｇ＝０，ステップＳ３０４）。
【００６３】
次に、図１４を用いて、方角補正処理の流れを説明する。なお、方角補正処理とは、右耳通話時および左耳通話時について予め設定された補正値を用いて、算出部２６０により算出された相対角度を補正した補正相対角度「ａｎｇ６（ｒｅｌａｔｉｖｅ ａｎｇｌｅ２）」を求める処理に該当する。
【００６４】
図１４に示すように、補正部２８０Ｃは、図１２を用いて上述した通話状態検出処理の結果、検出部２８０Ａによりセットされたフラグの値を取得する（ステップＳ４０１）。続いて、補正部２８０Ｃは、取得したフラグの値が、片方の耳を用いた通話状態にあることを示す値（ｒｅｃｅｉｖｅｒ＿ｆｌａｇ＝１）であるか否かを判定する（ステップＳ４０２）。
【００６５】
判定の結果、片方の耳を用いた通話状態にあることを示す値である場合には（ステップＳ４０２，Ｙｅｓ）、補正部２８０Ｃは、判定部２８０Ｂによりセットされたフラグの値を取得する。そして、補正部２８０Ｃは、取得したフラグの値が左耳による通話を示す値（ｈｏｌｄ＿ｆｌａｇ＝１）であるか否かを判定する（ステップＳ４０３）。判定の結果、左耳での通話であることを示す値である場合には（ステップＳ４０３，Ｙｅｓ）、補正部２８０Ｃは、左耳通話時の補正値「ａｎｇ４（ｄｅｌｔａ＿ａｎｇｌｅ＿Ｌ）」を取得する。そして、補正部４８０Ｃは、左耳通話時の補正値を用いて、算出部２６０により算出された相対角度「ｒｅｌａｔｉｖｅ ａｎｇｌｅ１」について左耳での通話に応じた補正を行う（ステップＳ４０４）。この補正により、例えば、図６に示すような補正相対角度「ａｎｇ６（ｒｅｌａｔｉｖｅ ａｎｇｌｅ２）」が算出される。
【００６６】
ここで、ステップＳ４０３の説明に戻る。判定の結果、左耳での通話であることを示す値ではない、つまり右耳での通話であることを示す値（ｈｏｌｄ＿ｆｌａｇ＝０）である場合には（ステップＳ４０３，Ｎｏ）、補正部２８０Ｃは、次のように処理する。すなわち、補正部２８０Ｃは、右耳通話時の補正値「ａｎｇ５（ｄｅｌｔａ＿ａｎｇｌｅ＿Ｒ）」を取得する。そして、補正部２８０Ｃは、右耳通話時の補正値を用いて、算出部２６０により算出された相対角度「ｒｅｌａｔｉｖｅ ａｎｇｌｅ１」について右耳での通話に応じた補正を行う（ステップＳ４０５）。この補正により、例えば、図６に示すような補正相対角度「ａｎｇ６（ｒｅｌａｔｉｖｅ ａｎｇｌｅ２）」が算出される。
【００６７】
ここで、ステップＳ４０２の説明に戻る。判定の結果、検出部２８０Ａによりセットされたフラグの値が片方の耳を用いた通話状態にあることを示す値ではない場合には（ステップＳ４０２，Ｎｏ）、補正部２８０Ｃは、そのまま方角補正処理を終了する。
【００６８】
［実施例１による効果］
上述してきたように、実施例１に係る端末装置２００は、片方の耳での通話状態を検出すると、通話の相手側の端末装置１００に向かう方向と、端末装置２００の端末方向とのなす相対角度を所定角度分補正する。そして、端末装置２００は、補正した相対角度に応じて出力音声の属性を決定する。このようなことから、実施例１によれば、片方の耳を用いて通話するユーザに通話の相手の方向を的確に知覚させることができる。
【００６９】
また、実施例１によれば、右耳通話時および左耳通話時について予め設定された補正値を用いて、通話の相手側の端末装置１００に向かう方向と、端末装置２００の端末方向とのなす相対角度を補正する。このようなことから、片方の耳での通話であっても、右耳通話時および左耳通話時のそれぞれについて、端末装置２００の端末方向とユーザの正面方向と一致させたときの相対角度を精度よく導出できる。この結果、ユーザに知覚させる通話の相手の方向の精度を向上できる。なお、右耳通話時および左耳通話時について予め設定された補正値を用いて、通話の相手側の端末装置１００に向かう方向と、端末装置２００の端末方向とのなす相対角度を補正する場合に限られない。例えば、端末方向とユーザの正面方向とのなす角度がおおよそ１８０°となる場合を多いことに鑑み、例えば、通話の相手側の端末装置１００に向かう方向と、端末装置２００の端末方向とのなす相対角度を１８０°補正するようにしてもよい。
【００７０】
また、実施例１によれば、補正した相対角度が小さくなるほど音量が大きくなる特徴音を生成し、生成した特徴音を通話音声にミキシングする。このようなことから、左耳用の音声および右耳用の音声の違いで通話の相手の方向を表現することなく、片方の耳を用いて通話するユーザに通話の相手の方向を的確に知覚させることができる。なお、端末装置１００からの受信する無言の通話音声に特徴音をミキシングすることにより、通話の相手が無言の状態であっても、通話の相手の方向を知覚させることができる。
【００７１】
なお、上記の実施例１において、例えば、ミキシング部２８０Ｅは、加工部２９０から入力される音声に、生成部２８０Ｄにより生成された特徴音をミキシングする場合に、頭部伝達関数を用いた音響加工を行ってもよい。例えば、ミキシング部２８０Ｅは、加工部２９０から入力される音声、および生成部２８０Ｄにより生成された特徴音が、異なる位置を仮想的な音源として伝達されるように音響加工した後、重畳して出力する。このようにすれば、相手の音声（出力音声）と特徴音を異なる方向（例えば、上下方向）から再生可能となり、音声と特徴音を聞き分けやすくすることができる。つまり、片耳を用いて通話状態において、相手の音声に特徴音を重畳させる結果、それぞれの音が聞きわけにくくなるのを抑制する。
【実施例２】
【００７２】
以下、本願の開示する端末装置および音声処理プログラムの他の実施形態を説明する。
【００７３】
（１）装置構成等
例えば、上述した図１に示す端末装置２００の構成は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、図１に示す検出部２８０Ａと、判定部２８０Ｂと、補正部２８０Ｃと、生成部２８０Ｄと、ミキシング部２８０Ｅとを機能的または物理的に統合した一つのユニットとしてもよい。このように、端末装置２００が有する処理機能部の全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【００７４】
（２）端末装置のハードウェア構成
次に、図１５を用いて、実施例１に係る端末装置のハードウェアの構成例について説明する。図１５は、端末装置のハードウェア構成の一例を示す図である。図１５に示すように、端末装置３００は、無線通信部３１０と、アンテナ３１１と、表示部３２０と、音声入出力部３３０と、マイク３３１と、スピーカ３３２と、入力部３４０と、記憶部３５０と、プロセッサ３６０とを有する。
【００７５】
無線通信部３１０、表示部３２０、音声入出力部３３０、入力部３４０、記憶部３５０は、プロセッサ３６０と接続される。また、アンテナ３１１は、無線通信部３１０と接続される。また、マイク３３１及びスピーカ３３２は、音声入出力部３３０と接続される。
【００７６】
無線通信部３１０は、図１には示していないが、例えば、端末装置２００が有する通信制御部に対応する。また、表示部３２０は、図１には示していないが、例えば、端末装置２００が有するディスプレイに対応する。音声入出力部３３０、マイク３３１及びスピーカ３３２は、例えば、図１に示したマイク２０１及びスピーカ２０２、図１には示していないが、例えば、端末装置２００が有する入出力制御部に対応する。また、入力部３４０は、図１には示していないが、例えば、端末装置２００が有するキー制御部に対応する。
【００７７】
記憶部３５０及びプロセッサ３６０は、例えば、図１に示した検出部２８０Ａと、判定部２８０Ｂと、補正部２８０Ｃと、生成部２８０Ｄと、ミキシング部２８０Ｅ等の機能を実現する。具体的には、記憶部３５０のプログラム記憶部３５１は、例えば、図１１〜図１４等に示す処理を実現する音声処理プログラム等の各種プログラムを記憶している。そして、プロセッサ３６０は、プログラム記憶部３５１に記憶されている各プログラムを読み出して実行することで、上述の各機能を実現するプロセスを生成する。また、データ記憶部３５２は、例えば、図１１〜図１４等に示す処理に用いる各種データを保持する。また、ＲＡＭ（Random Access Memory）３５３は、例えば、図１１〜図１４等に示す処理を実行する場合に、プロセッサ３６０により生成されたプロセスに使用される記憶領域を有する。
【符号の説明】
【００７８】
１ 音源
１００ 端末装置
１０１ マイク
１１０ 符号化部
１２０ 位置取得部
１３０ 位置送信部
２００ 端末装置
２０１ マイク
２０２ スピーカ
２１０ 符号化部
２２０ 位置取得部
２３０ 位置送信部
２４０ 位置受信部
２５０ 方向取得部
２６０ 算出部
２７０ 復号化部
２８０Ａ 検出部
２８０Ｂ 判定部
２８０Ｃ 補正部
２８０Ｄ 生成部
２８０Ｅ ミキシング部
２９０ 加工部
３００ 端末装置
３１０ 無線通信部
３１１ アンテナ
３２０ 表示部
３３０ 音声入出力部
３３１ マイク
３３２ スピーカ
３４０ 入力部
３５０ 記憶部
３６０ プロセッサ
【特許請求の範囲】
【請求項１】
相手装置の位置を示す位置情報を取得する他端末位置取得部と、
自端末装置の位置を示す位置情報を取得する自端末位置取得部と、
前記取得した自端末装置の位置を基点として算出される前記取得した相手装置の位置へ向かう方向である第１の方向を取得する、第１方向取得部と、
自端末装置が向く方向である第２の方向を取得する、第２方向取得部と、
自端末装置の傾き方向を検出するセンサーから自端末装置が右方向に傾いているか左方向に傾いているかを示す傾斜情報を取得する、傾斜方向取得部と、
前記取得した傾斜情報が右方向を示すか左方向を示すかに応じて、前記第１の方向と前記第２の方向とのなす相対角度に対する補正量を切り替える補正部と、
前記補正量により補正された相対角度に応じて、音出力部から出力される出力音の属性を決定する決定部と
を有することを特徴とする端末装置。
【請求項２】
通話の音出力時の信号数が単数であるか否かを判定する信号数判定部を備え、
前記補正部は、前記信号数判定部により前記信号数が複数であると判定された場合、前記補正量により前記相対角度を補正する処理を実行しない、
ことを特徴とする請求項１に記載の端末装置。
【請求項３】
前記補正部により補正された相対角度に応じた特徴音を生成する生成部をさらに有し、
前記決定部は、前記通話の音に対して前記特徴音の重畳した音を前記出力音の属性として決定することを特徴とする請求項２に記載の端末装置。
【請求項４】
前記決定部は、頭部伝達関数を用いて、前記通話の音と前記特徴音とが異なる位置を仮想的な音源として伝達されるように加工し、加工した音を重畳したものを前記出力音の属性として決定することを特徴とする請求項３に記載の端末装置。
【請求項５】
コンピュータに、
相手装置の位置を示す位置情報を取得する他端末位置取得部と、
自端末装置の位置を示す位置情報を取得する自端末位置取得部と、
前記取得した自端末装置の位置を基点として算出される前記取得した相手装置の位置へ向かう方向である第１の方向を取得する、第１方向取得部と、
自端末装置が向く方向である第２の方向を取得する、第２方向取得部と、
自端末装置の傾き方向を検出するセンサーから自端末装置が右方向に傾いているか左方向に傾いているかを示す傾斜情報を取得する、傾斜方向取得部と、
前記取得した傾斜情報が右方向を示すか左方向を示すかに応じて、前記第１の方向と前記第２の方向とのなす相対角度に対する補正量を切り替える補正部と、
前記補正量により補正された相対角度に応じて、音出力部から出力される出力音の属性を決定する決定部、
として動作させることを特徴とする音声処理プログラム。
【請求項１】
相手装置の位置を示す位置情報を取得する他端末位置取得部と、
自端末装置の位置を示す位置情報を取得する自端末位置取得部と、
前記取得した自端末装置の位置を基点として算出される前記取得した相手装置の位置へ向かう方向である第１の方向を取得する、第１方向取得部と、
自端末装置が向く方向である第２の方向を取得する、第２方向取得部と、
自端末装置の傾き方向を検出するセンサーから自端末装置が右方向に傾いているか左方向に傾いているかを示す傾斜情報を取得する、傾斜方向取得部と、
前記取得した傾斜情報が右方向を示すか左方向を示すかに応じて、前記第１の方向と前記第２の方向とのなす相対角度に対する補正量を切り替える補正部と、
前記補正量により補正された相対角度に応じて、音出力部から出力される出力音の属性を決定する決定部と
を有することを特徴とする端末装置。
【請求項２】
通話の音出力時の信号数が単数であるか否かを判定する信号数判定部を備え、
前記補正部は、前記信号数判定部により前記信号数が複数であると判定された場合、前記補正量により前記相対角度を補正する処理を実行しない、
ことを特徴とする請求項１に記載の端末装置。
【請求項３】
前記補正部により補正された相対角度に応じた特徴音を生成する生成部をさらに有し、
前記決定部は、前記通話の音に対して前記特徴音の重畳した音を前記出力音の属性として決定することを特徴とする請求項２に記載の端末装置。
【請求項４】
前記決定部は、頭部伝達関数を用いて、前記通話の音と前記特徴音とが異なる位置を仮想的な音源として伝達されるように加工し、加工した音を重畳したものを前記出力音の属性として決定することを特徴とする請求項３に記載の端末装置。
【請求項５】
コンピュータに、
相手装置の位置を示す位置情報を取得する他端末位置取得部と、
自端末装置の位置を示す位置情報を取得する自端末位置取得部と、
前記取得した自端末装置の位置を基点として算出される前記取得した相手装置の位置へ向かう方向である第１の方向を取得する、第１方向取得部と、
自端末装置が向く方向である第２の方向を取得する、第２方向取得部と、
自端末装置の傾き方向を検出するセンサーから自端末装置が右方向に傾いているか左方向に傾いているかを示す傾斜情報を取得する、傾斜方向取得部と、
前記取得した傾斜情報が右方向を示すか左方向を示すかに応じて、前記第１の方向と前記第２の方向とのなす相対角度に対する補正量を切り替える補正部と、
前記補正量により補正された相対角度に応じて、音出力部から出力される出力音の属性を決定する決定部、
として動作させることを特徴とする音声処理プログラム。
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１２−６５２７９（Ｐ２０１２−６５２７９Ａ）
【公開日】平成２４年３月２９日（２０１２．３．２９）
【国際特許分類】
【出願番号】特願２０１０−２０９９３６（Ｐ２０１０−２０９９３６）
【出願日】平成２２年９月１７日（２０１０．９．１７）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２４年３月２９日（２０１２．３．２９）
【国際特許分類】
【出願日】平成２２年９月１７日（２０１０．９．１７）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]