音声通話装置および音声通話システム
【課題】通話の際に通話相手が実際にいる方向または方向および距離を聴者が把握可能とする。
【解決手段】携帯電話端末１０は、自端末の位置情報および方位情報、ならびに通話相手である他端末の位置情報に基づいて、自端末から見た他端末の方向または方向と距離を方向・距離算出部１０４により算出し、この算出結果に応じて、他端末からの通話音声を立体音響処理部１０５を用いて音像定位させる。
【解決手段】携帯電話端末１０は、自端末の位置情報および方位情報、ならびに通話相手である他端末の位置情報に基づいて、自端末から見た他端末の方向または方向と距離を方向・距離算出部１０４により算出し、この算出結果に応じて、他端末からの通話音声を立体音響処理部１０５を用いて音像定位させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は音声通話装置および音声通話システムに係り、特に相手の通話音声を音像定位させて通話を行う音声通話装置および音声通話システムに関する。
【背景技術】
【０００２】
電話（固定電話、携帯電話、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）電話などを含む）や、遠隔地を通信回線で結んで多人数で会議を行える電話会議システムにおいて、通話相手からの音声を音像定位させることにより、通話相手の声が聞こえてくる位置を聴者の周囲で移動できるようにすることが提案されている。そのような技術に関するものとして、例えば特許文献１や特許文献２に開示された技術がある。
【０００３】
特許文献１では、例えば通話者が３人の場合に、各通話者をそれぞれ三角形の頂点に配置させるように音像を定位させている。また、特許文献２では、通話相手の電話番号によって通話相手の位置する方向を検出し、その方向に音像を定位させるようにしている。
【特許文献１】特開２００４−２７４１４７号公報
【特許文献２】特開２０００−１８４０１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の方法には、次に示すような問題があった。
すなわち、特許文献１の場合、各通話者の音像を定位させる場所は、通話者が実際に存在している位置（聴者から見た方向）とは無関係に固定的に決めているため、聴者は通話相手がいる方向や距離を把握することが不可能であり、そのため通話の際の臨場感やリアリティに欠けることとなる。
【０００５】
また、特許文献２においては、電話番号によって示される方向に通話者の音像を定位しているので、ある程度、実際の通話者間の位置関係が音像の定位位置に反映されることになるが、電話番号は通話者毎に一つで固定であるため、通話者が移動した場合には音像の定位方向と実際の通話相手がいる方向とが異なってきてしまう。したがって、特に携帯電話には適用することが不可能である。さらに、音像の定位は通話者の方向にのみ基づいて行っているため、聴者は通話相手との距離感を感じることができなかった。
【０００６】
本発明は上記の点に鑑みてなされたものであり、その目的は、通話の際に通話相手が実際にいる方向を聴者が把握可能な音声通話装置および音声通話システムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明は上記の課題を解決するためになされたものであり、他の音声通話装置と通話を行う音声通話装置であって、自装置の存在する位置を示す絶対位置情報を取得する位置情報取得手段と、自装置の向いている方位を検出し、検出した方位を示す方位情報を取得する方位情報取得手段と、他の音声通話装置から送信される当該他の音声通話装置の絶対位置情報を受信する通信手段と、前記位置情報取得手段によって取得された自装置の絶対位置情報と、前記方位情報取得手段によって取得された方位情報と、前記通信手段によって受信された前記他の音声通話装置の絶対位置情報とに基づいて、自装置に対する前記他の音声通話装置の方向を算出する算出手段と、前記算出手段によって算出された方向に応じ、前記他の音声通話装置からの通話音声を音像定位させ発音する音像定位手段とを具備することを特徴とする音声通話装置を提供する。
また、上記音声通話装置において、前記算出手段は、前記位置情報取得手段によって取得された自装置の絶対位置情報と前記通信手段によって受信された前記他の音声通話装置の絶対位置情報とに基づいて、自装置に対する前記他の音声通話装置の距離をも算出し、前記音像定位手段は、前記算出手段によって算出された方向および距離に応じ、前記他の音声通話装置からの通話音声を音像定位させ発音することを特徴とする。
【０００８】
この発明において、音声通話装置は、自装置の絶対位置情報および方位情報、ならびに通話を行う他装置の絶対位置情報に基づいて自装置から見た当該他装置の方向または方向と距離を算出し、その算出した方向または方向と距離に応じて当該他装置からの通話音声を音像定位させるように構成されている。これにより、他装置との通話の際、通話相手である他装置からの音声に、通話相手が実際に存在している方向から聴こえてくる音響効果を与え、また、通話相手との実際の距離を反映させた音響効果（例えば、実際の距離が遠い通話相手からの音声は遠くから聴こえ、実際の距離が近い通話相手からの音声は近くから聴こえる音響効果）をも与えることが可能である。したがって、聴者（自装置のユーザ）は、通話の際に通話相手が実際にいる方向または方向および距離を把握することができる。また、他装置との方向・距離の算出には自装置や他装置の存在する位置を示す絶対位置情報（例えば、緯度経度情報）を用いているので、各装置が位置を移動した場合でも、通話音声の音像定位において各装置の実際の移動後の位置が正しく反映される。これにより、聴者は通話相手の方向および距離の把握を常に正しく行うことが可能である。
【０００９】
また、上記音声通話装置において、前記他の音声通話装置が複数であってこれら複数の音声通話装置と同時に通話する手段を有し、前記音像定位手段は、前記複数の音声通話装置のそれぞれに対して前記算出手段により算出された方向または方向および距離に応じ、通話音声を音声通話装置毎に音像定位させることを特徴とする。
【００１０】
この発明によれば、多者間で同時通話を行う場合にも、各通話相手からの音声を、当該通話相手の方向または方向および距離に応じて個別に音像定位させることができる。これにより、聴者は複数の通話相手それぞれの位置を把握しながら通話をすることが可能である。例えば、複数の通話相手が同じ方向にいる場合でも距離によって音像が異なるので区別が可能である。
【００１１】
また、上記音声通話装置において、前記他の音声通話装置から所定時間間隔で送信される絶対位置情報を前記通信手段によって受信し、この受信した絶対位置情報を用いて前記音像定位手段による音像定位を通話中に更新することを特徴とする。
【００１２】
この発明によれば、所定の時間間隔で通話相手の最新の絶対位置情報を取得することにより音像定位の更新を行うので、通話中に各装置が移動しても、直ちに（せいぜい所定時間間隔程度の遅れで）移動の影響を音像定位に反映させることができる。これにより、聴者は通話相手の方向および距離の把握を常に正しく行うことが可能である。
【００１３】
また、本発明は、２以上の音声通話装置間で通話を行う音声通話システムであって、各音声通話装置が、自装置の存在する位置を示す絶対位置情報を取得する位置情報取得手段と、自装置の向いている方位を検出し、検出した方位を示す方位情報を取得する方位情報取得手段と、他の音声通話装置から送信される当該他の音声通話装置の絶対位置情報を受信する通信手段と、前記位置情報取得手段によって取得された自装置の絶対位置情報と、前記方位情報取得手段によって取得された方位情報と、前記通信手段によって受信された前記他の音声通話装置の絶対位置情報とに基づいて、自装置に対する前記他の音声通話装置の方向を算出する算出手段と、前記算出手段によって算出された方向に応じ、前記他の音声通話装置からの通話音声を音声通話装置毎に音像定位させ発音する音像定位手段とを具備することを特徴とする音声通話システムを提供する。
また、上記音声通話システムにおいて、前記算出手段は、前記位置情報取得手段によって取得された自装置の絶対位置情報と前記通信手段によって受信された前記他の音声通話装置の絶対位置情報とに基づいて、自装置に対する前記他の音声通話装置の距離をも算出し、前記音像定位手段は、前記算出手段によって算出された方向および距離に応じ、前記他の音声通話装置からの通話音声を音像定位させ発音することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、通話の際に通話相手が実際にいる方向を聴者が把握可能である。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図１は、本発明の一実施形態による携帯電話端末１０（音声通話装置）が通話を行っている際のネットワークの接続状態を示した図である。なお、本実施形態では、音声通話装置が携帯電話端末１０の場合を例にとって説明を行うが、音声通話装置は携帯電話端末だけに限られず、固定電話端末やＩＰ電話端末、電話会議システムの通話端末などであってもよい。
【００１６】
図１において、５台の携帯電話端末１０（端末Ａ、端末Ｂ、端末Ｃ、端末Ｄ、端末Ｅ）が携帯電話通信網３０に接続して、相互に通話を行っている。このような複数人による同時通話のサービスは、プッシュ・トゥ・トーク（Ｐｕｓｈ Ｔｏ Ｔａｌｋ）と呼ばれるものであり、既に実際のサービスが開始されている。例えば図１では、端末Ａのユーザが話す音声は、携帯電話通信網３０を通って他の端末Ｂ、Ｃ、Ｄ、Ｅへ送信され、これら端末でその音声を聴くことができる。また、端末Ａでは、他の端末Ｂ、Ｃ、Ｄ、Ｅからの音声を聴くことができる。
【００１７】
図２は、図１に示した各携帯電話端末１０の実際の位置関係を表した図である。同図において、端末Ａから見て、端末Ｂは北東方向１０ｋｍ、端末Ｃは東方向２ｋｍ、端末Ｄは南東方向３０ｋｍ、端末Ｅは南西方向２００ｍにそれぞれ存在している。また、端末Ａのユーザは北を向き、端末Ａの表示ディスプレイの面を南に向けている（ユーザの顔と表示ディスプレイとが相対している）。以下、図２を用い、携帯電話端末１０が他の端末からの音声をどのように音像定位させるかを、端末Ａを例にとりながら説明する。
【００１８】
端末Ａ〜端末Ｅの各携帯電話端末１０は、それぞれ、自端末の存在する位置を示す位置情報と、自端末の向いている方位を示す方位情報とを取得する。具体的には、各携帯電話端末１０はＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）機能を搭載しており、このＧＰＳ機能により自端末の絶対位置である緯度と経度を取得する。この緯度と経度が、上記位置情報である。また、各携帯電話端末１０は地磁気センサを搭載し、端末の所定軸が向いている方位を検出可能とされている。この検出された方位が、上記方位情報である。ここでは、上記所定軸を、表示ディスプレイの面の法線方向にとる。この場合、図２の端末Ａの方位情報は「南」となる。
【００１９】
そして各携帯電話端末１０は、携帯電話通信網３０を介して、互いの位置情報をやりとりする。これにより、各携帯電話端末１０は、他の携帯電話端末の位置情報を取得してその所在位置、すなわち緯度および経度を把握可能とされる。そして、各携帯電話端末１０は、自端末において取得した自端末の位置情報（緯度および経度）と、携帯電話通信網３０を介して取得した他の各携帯電話端末の位置情報（緯度および経度）とから、自端末に対する他端末の相対的な位置、すなわち方位（東西南北で表される）を算出し、さらに必要に応じて距離も算出する。この相対的な位置算出の結果、例えば端末Ａでは、図２に示すような他の各端末Ｂ、Ｃ、Ｄ、Ｅの方位と距離を把握することとなる。なお、図２では距離も示しているが、距離を算出しない場合は各端末の方位のみが示される。
【００２０】
さらに各携帯電話端末１０は、上記算出した他端末の方位に上記地磁気センサで検出した自端末の向いている方位（上記方位情報により示される方位）を加味することによって、自端末から見た他端末の存在する方向、すなわち自端末から見て他端末は左右何度の方向に存在するか、を算出する。図２の端末Ａの場合、方位情報は「南」であるので、端末Ａから見た端末Ｂ（方位は北東）の方向は、右４５度（表示ディスプレイの裏面の法線方向を左右±０度とする）と算出される。同様に、端末Ｃ（方位は東）の方向は右９０度、端末Ｄ（方位は南東）の方向は右１３５度、端末Ｅ（方位は南西）の方向は左１３５度と算出される。
【００２１】
こうして、各携帯電話端末１０において、自端末から見た他端末の存在する方向、または方向と距離が算出されることになる。各携帯電話端末１０は、算出した他の各端末の方向または方向と距離に応じて、それら他の各端末からの音声を端末毎にそれぞれ音像定位させ、発音する。一つの具体例として、各携帯電話端末１０は、算出した他の各端末の方向と同じ方向に当該端末からの音声を音像定位させる。この場合、例えば端末Ａでは、端末Ｂからの音声を右４５度方向に音像定位させ、端末Ｃからの音声を右９０度方向に音像定位させ、端末Ｄからの音声を右１３５度方向に音像定位させ、端末Ｅからの音声を左１３５度方向に音像定位させる。これにより、携帯電話端末１０のユーザは、通話相手の音声を、当該通話相手が実際に存在している方向から発せられているように聴くことができる。
【００２２】
また、各携帯電話端末１０は、上記算出した距離にも応じて音像定位させる場合の具体例として、算出した距離が遠い端末については音声を遠くに音像定位させ、算出した距離が近い端末については音声を近くに音像定位させる。これにより、通話相手の音声が聴こえてくる位置に当該通話相手までの実際の距離が反映されることになり、携帯電話端末１０のユーザが通話の際に通話相手との距離感を感じることができ、通話の臨場感やリアリティをさらに向上させることができる。
【００２３】
図３は、上記算出された他の端末までの距離（算出距離；横軸）と、当該端末からの音声を音像定位させる距離（音像定位距離；縦軸）との設定例を示したグラフである。
【００２４】
図３には４つの曲線Ｓ１、Ｓ２、Ｓ３、Ｓ４が描かれている。ここでは、各携帯電話端末１０は、通話相手の端末が複数ある場合、それら複数の端末の最大の算出距離に応じて、４つの曲線のうち１つを選択して適用する。各曲線は、曲線Ｓ１が最大算出距離１００ｍ未満に対応し、曲線Ｓ２が最大算出距離１００ｍ以上１ｋｍ未満に対応し、曲線Ｓ３が最大算出距離１ｋｍ以上１０ｋｍ未満に対応し、曲線Ｓ４が最大算出距離１０ｋｍ以上３００ｋｍ未満に対応している。
【００２５】
具体的に図２の例に即して説明すると、端末Ａにおいて算出距離の最大値は端末Ｄの３０ｋｍであるので、端末Ａでは曲線Ｓ４が選択される。その結果、端末Ａでは、端末Ｂ（算出距離は１０ｋｍ）に対して音像定位距離が１０ｍ、端末Ｃ（算出距離は２ｋｍ）に対して音像定位距離が９ｍ、端末Ｄ（算出距離は３０ｋｍ）に対して音像定位距離が１１ｍ、端末Ｅ（算出距離は２００ｍ）に対して音像定位距離が６．５ｍ、にそれぞれ設定されることになる。
【００２６】
また、図２において端末Ａが端末Ｃおよび端末Ｅとのみ通話をする場合には、算出距離の最大値は端末Ｃの２ｋｍであるので、端末Ａでは曲線Ｓ３が選択される。そしてこの場合、端末Ａにおいて、端末Ｃに対して音像定位距離が１０ｍ、端末Ｅに対して音像定位距離が７．５ｍ、にそれぞれ設定される。
【００２７】
図３に示したような、最大の算出距離に応じて音像定位距離の設定を異ならせるという方式を用いることにより、複数の端末で通話を行う場合に、各端末までの距離の違いを明瞭に表現した音像定位を実現することができるので、通話の臨場感向上に好適である。
なお、図３に示した各曲線においては、実際の距離が大きくなる程、距離差による音像定位距離の差が小さくなるような曲線となっており、相手端末が非常に離れている場合でも音声が遠くなり過ぎないようにしているが、曲線の形状はこれに限らず、いかなる形状でもよい。
【００２８】
次に、以上の動作を行う携帯電話端末１０の具体的構成を、図４および図５を用いて説明する。
図４は、携帯電話端末１０のハードウェア構成図を示したものである。
【００２９】
図４において、ＣＰＵ１１は、携帯電話端末１０の各部を制御する中央処理装置であり、ＲＯＭ１２から所定のプログラムを読み込んで実行する。
ＲＯＭ１２は、読み出し専用メモリであり、ＣＰＵ１１が実行するプログラムを格納している。
ＲＡＭ１３は、随時読み出し書き込みメモリであり、上記図３の音像定位距離の設定を記憶するとともに、ＣＰＵ１１によってプログラム実行時に一時データの記憶に使用される。
【００３０】
ＤＳＰ１４は、デジタル信号処理装置であり、通話先の携帯電話端末から受信した音声に対して所定の音像定位を施すための処理を実行する。この音像定位処理については後述する。
【００３１】
マイク１５は、ユーザの音声を入力としてアナログの音声信号を生成し、生成したアナログ音声信号を図示しないＡＤコンバータによってデジタル音声信号に変換して出力する。
スピーカ１６は、通話先の携帯電話端末から受信されＤＳＰ１４により音像定位が施されたデジタル音声信号を図示しないＤＡコンバータによってアナログ音声信号に変換し、音声を発音する。このスピーカ１６は、音像定位された音声を立体音響として発音するために、右用スピーカ１６ａと左用スピーカ１６ｂの２つのスピーカから構成される（図５参照）。
【００３２】
ＧＰＳモジュール１８は、ＧＰＳ衛星から受信した所定のＧＰＳ信号に基づいて携帯電話端末１０（自端末）の位置する場所の緯度と経度を算出し、位置情報として出力する。
地磁気センサ１９は、携帯電話端末１０の表示ディスプレイ（図示せず）が向いている方位を検出し、方位情報として出力する。
【００３３】
通信インタフェース２０は、通信データを変調して通話先の携帯電話端末へ送信するとともに、通話先の携帯電話端末からの変調された通信データを受信して復調する。送受信される通信データには、音声信号とＧＰＳモジュール１８により得られる位置情報とが含まれる。
バス２１は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、ＤＳＰ１４、マイク１５、スピーカ１６、ＧＰＳモジュール１８、地磁気センサ１９、通信インタフェース２０を接続しており、これら各部の間でやりとりされるデータを伝送する。
【００３４】
図５は、携帯電話端末１０の機能ブロック図を示したものである。同図において、送信側の携帯電話端末１０と受信側の携帯電話端末１０とを分け、それぞれ送信と受信に関連する機能のみを示したが、これは説明の便宜上のためであり、両者の実際の構成は同一である。また、以下では送信側、受信側の携帯電話端末１０を、それぞれ図２の端末Ｂ、端末Ａであるとして説明する。なお、通話者間で話をする側を送信側、その話を聴いている側を受信側とする。
【００３５】
図５において、送信側の携帯電話端末１０（端末Ｂ）では、マイク１５から端末Ｂのユーザの通話音声による音声信号がデータコントローラ１０１に入力される。また、位置情報取得手段１０２によって端末Ｂの位置情報が取得されて、この位置情報もデータコントローラ１０１へ入力される。ここで、位置情報取得手段１０２は、図４のＧＰＳモジュール１８により実現されるものである。
【００３６】
データコントローラ１０１は、端末Ｂから送信する通信データを制御する。具体的には、マイク１５からの音声信号と位置情報取得手段１０２からの位置情報とを通信インタフェース２０へ供給し、通信インタフェース２０にそれらのデータ（通信データ）を送信させる。この時、音声信号は常時送信するが、位置情報はある所定の時間間隔毎に送信する、という制御を行うようにすることもできる。所定の時間間隔の一例として、例えば５００ミリ秒程度の値に設定すればよい。こうすることで、端末Ｂが位置を移動した場合でも、移動後の位置情報が所定の時間間隔毎に送信されるので、受信側の携帯電話端末１０における後述する音像定位処理に端末Ｂが移動した結果を直ちに反映させることができる。なお、データコントローラ１０１は、図４のＣＰＵ１１が所定のプログラムをＲＯＭ１２から読み込んで実行する機能によって実現されるものである。
【００３７】
一方、図５の受信側の携帯電話端末１０（端末Ａ）では、端末Ｂから送信された通信データが通信インタフェース２０により受信され、受信された通信データがデータコントローラ１０１へ入力される。データコントローラ１０１は、入力された通信データからそれに含まれる音声信号と位置情報とをそれぞれ取得し、取得した音声信号を立体音響処理部１０５へ供給するとともに、取得した位置情報を方向・距離算出部１０４へ供給する。
【００３８】
また、端末Ａの位置情報取得手段１０２によって端末Ａの位置情報が取得されて、その位置情報が方向・距離算出部１０４へ入力され、方位情報取得手段１０３によって端末Ａの方位情報が取得されて、その方位情報も方向・距離算出部１０４へ入力される。ここで、方位情報取得手段１０３は、図４の地磁気センサ１９により実現されるものである。
【００３９】
方向・距離算出部１０４は、データコントローラ１０１から供給される、通話相手である端末Ｂ（他端末）の位置情報と、位置情報取得手段１０２から入力される端末Ａ（自端末）の位置情報と、方位情報取得手段１０３から入力される端末Ａの方位情報とに基づいて、端末Ａから見た端末Ｂの方向と距離とを算出して、算出した方向と距離を示すデータを方向・距離データとして立体音響処理部１０５へ供給する。この方向および距離の算出方法については、図２を用いて既に説明したとおりである。なお、方向・距離算出部１０４は、図４のＣＰＵ１１が所定のプログラムを読み込んで実行する機能によって実現されるものである。
【００４０】
立体音響処理部１０５は、データコントローラ１０１から供給される端末Ｂからの音声信号に対して、方向・距離算出部１０４から供給される上記の方向・距離データに従って音像定位処理を施す。そして、音像定位処理を施した音声信号を左右それぞれのスピーカ（右用スピーカ１６ａ、左用スピーカ１６ｂ）から発音させる。ここで、立体音響処理部１０５による音像定位の具体例は前述したとおりであり、例えば、上記方向・距離データが示す方向と同じ方向であって、且つ上記方向・距離データが示す距離に対応する図３の音像定位距離に、端末Ｂの音像を定位させる。ここで、図３の音像定位距離の設定は、上記したようにＲＡＭ１３に記憶されており、立体音響処理部１０５はＲＡＭ１３からこの設定を読み出して、音像定位距離を決定する。こうして、端末Ｂからの通話音声が、端末Ａから見た端末Ｂの方向と距離に応じた場所から聴こえるように、端末Ａのスピーカ１６から発音されることになる。なお、方向データのみに従って音像定位処理を施してもよく、その場合は、端末Ｂからの通話音声が端末Ａから見た端末Ｂの方向から聴こえるように、端末Ａのスピーカ１６から発音されることになる。
【００４１】
図６は、立体音響処理部１０５の内部構成を示す機能ブロック図である。立体音響処理部１０５は図４のＤＳＰ１４が実行するプログラムによって実現され、通話相手となる端末の数に応じて、同じものが複数構成される。例えば、端末Ｂからの音声信号は図６の音声信号１として、また端末Ｃからの音声信号は図６の音声信号２として、それぞれ立体音響処理部１０５−１、１０５−２に入力され、音像定位処理を施された後の各立体音響処理部１０５の出力である音声信号は、合成された上でスピーカ１６から発音される。
【００４２】
各立体音響処理部１０５は、２つのフィルタ部１０５２ａ、１０５２ｂを備えており、データコントローラ１０１からの音声信号は、２つのチャンネルの音声信号としてこれら２つのフィルタ部へ入力される。各フィルタ部１０５２は、頭部伝達関数（Ｈｅａｄ Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ；ＨＲＴＦ）に基づくフィルタ処理を入力された音声信号に施すものである。この頭部伝達関数は、音像を定位させる位置から聴者の鼓膜までの音の伝達特性を表す伝達関数であり、予め測定等によって求められた所定の頭部伝達関数が各フィルタ部１０５２に設定されている。
【００４３】
また、図６では、フィルタ部１０５２ａ、１０５２ｂの前段にそれぞれ遅延付与部１０５１ａ、１０５１ｂが設けられるとともに、フィルタ部１０５２ａ、１０５２ｂの後段にはクロストークキャンセル部１０５３が設けられている。これら遅延付与部１０５１とクロストークキャンセル部１０５３は、音像定位させる音により立体的な音響効果を付与するために利用されるものである。
【００４４】
次に、本実施形態による複数の携帯電話端末１０が通話をする際に、送信側と受信側の各携帯電話端末１０で実行される処理の手順を説明する。
【００４５】
図７は、送信側の携帯電話端末１０の処理手順を示したフローチャートである。
図７において、携帯電話端末１０が複数端末による通話を開始（ステップＳ１１）すると、位置情報取得手段１０２（ＧＰＳモジュール１８）において自端末の位置情報が取得される（ステップＳ１２）。携帯電話端末１０のデータコントローラ１０１は、通信インタフェース２０に、この取得した位置情報を通信データとして所定の時間間隔で通話相手の全端末へ送信させる（ステップＳ１３）。
【００４６】
図８は、受信側の携帯電話端末１０の処理手順を示したフローチャートである。
図８において、携帯電話端末１０が複数端末による通話を開始（ステップＳ２１）し、送信側の携帯電話端末から送信された通信データに含まれる位置情報が通信インタフェース２０により受信される（ステップＳ２２）。また、位置情報取得手段１０２（ＧＰＳモジュール１８）において自端末の位置情報が取得され（ステップＳ２３）、方位情報取得手段１０３（地磁気センサ１９）において自端末の方位情報が取得される（ステップＳ２４）。
【００４７】
そして、方向・距離算出部１０４が通話相手の各端末について自端末（受信側の携帯電話端末１０）から見た各端末の方向または方向と距離を算出し、方向・距離データを立体音響処理部１０５へ出力する（ステップＳ２５）。立体音響処理部１０５は通話相手の各端末からの音声信号に対して、方向・距離算出部１０４から入力された各端末の方向データまたは方向・距離データに従い音像定位処理を施す（ステップＳ２６）。この結果、音像定位処理が施された各端末からの音声信号が合成されて、スピーカ１６から発音される（ステップＳ２７）。ステップＳ２２からステップＳ２７の処理は通話が終わるまで繰り返され、所定の時間間隔で送信側の携帯電話端末から送信される位置情報を受信すると、その都度、方向・距離算出部１０４において方向データまたは方向・距離データが更新され、通話相手の端末からの音声に対する音像定位が更新されていく。
【００４８】
以上説明したように、本実施形態によれば、携帯電話端末１０は、自端末の位置情報および方位情報、ならびに通話相手である他端末の位置情報に基づいて、自端末から見た他端末の方向または方向と距離を方向・距離算出部１０４により算出し、この算出結果に応じて、他端末からの通話音声を立体音響処理部１０５を用いて音像定位させている。これにより、他端末との通話の際に、通話相手が実際に存在している方向または方向と距離に応じた場所からその通話相手の音声が聴こえてくる音響効果が得られる。
【００４９】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【図面の簡単な説明】
【００５０】
【図１】本発明の一実施形態による携帯電話端末（音声通話装置）が通話を行っている際のネットワークの接続状態を示した図である。
【図２】図１に示した各携帯電話端末の実際の位置関係を表した図である。
【図３】他の端末までの距離と当該他の端末からの音声を音像定位させる距離との設定例を示したグラフである。
【図４】携帯電話端末のハードウェア構成図である。
【図５】携帯電話端末の機能ブロック図である。
【図６】立体音響処理部の内部構成を示す機能ブロック図である。
【図７】送信側の携帯電話端末の処理手順を示したフローチャートである。
【図８】受信側の携帯電話端末の処理手順を示したフローチャートである。
【符号の説明】
【００５１】
１０…携帯電話端末 １１…ＣＰＵ １２…ＲＯＭ １３…ＲＡＭ １４…ＤＳＰ １５…マイク １６…スピーカ １８…ＧＰＳモジュール １９…地磁気センサ ２０…通信インタフェース ２１…バス ３０…携帯電話通信網 １０１…データコントローラ １０２…位置情報取得手段 １０３…方位情報取得手段 １０４…方向・距離算出部 １０５…立体音響処理部
【技術分野】
【０００１】
本発明は音声通話装置および音声通話システムに係り、特に相手の通話音声を音像定位させて通話を行う音声通話装置および音声通話システムに関する。
【背景技術】
【０００２】
電話（固定電話、携帯電話、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）電話などを含む）や、遠隔地を通信回線で結んで多人数で会議を行える電話会議システムにおいて、通話相手からの音声を音像定位させることにより、通話相手の声が聞こえてくる位置を聴者の周囲で移動できるようにすることが提案されている。そのような技術に関するものとして、例えば特許文献１や特許文献２に開示された技術がある。
【０００３】
特許文献１では、例えば通話者が３人の場合に、各通話者をそれぞれ三角形の頂点に配置させるように音像を定位させている。また、特許文献２では、通話相手の電話番号によって通話相手の位置する方向を検出し、その方向に音像を定位させるようにしている。
【特許文献１】特開２００４−２７４１４７号公報
【特許文献２】特開２０００−１８４０１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の方法には、次に示すような問題があった。
すなわち、特許文献１の場合、各通話者の音像を定位させる場所は、通話者が実際に存在している位置（聴者から見た方向）とは無関係に固定的に決めているため、聴者は通話相手がいる方向や距離を把握することが不可能であり、そのため通話の際の臨場感やリアリティに欠けることとなる。
【０００５】
また、特許文献２においては、電話番号によって示される方向に通話者の音像を定位しているので、ある程度、実際の通話者間の位置関係が音像の定位位置に反映されることになるが、電話番号は通話者毎に一つで固定であるため、通話者が移動した場合には音像の定位方向と実際の通話相手がいる方向とが異なってきてしまう。したがって、特に携帯電話には適用することが不可能である。さらに、音像の定位は通話者の方向にのみ基づいて行っているため、聴者は通話相手との距離感を感じることができなかった。
【０００６】
本発明は上記の点に鑑みてなされたものであり、その目的は、通話の際に通話相手が実際にいる方向を聴者が把握可能な音声通話装置および音声通話システムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明は上記の課題を解決するためになされたものであり、他の音声通話装置と通話を行う音声通話装置であって、自装置の存在する位置を示す絶対位置情報を取得する位置情報取得手段と、自装置の向いている方位を検出し、検出した方位を示す方位情報を取得する方位情報取得手段と、他の音声通話装置から送信される当該他の音声通話装置の絶対位置情報を受信する通信手段と、前記位置情報取得手段によって取得された自装置の絶対位置情報と、前記方位情報取得手段によって取得された方位情報と、前記通信手段によって受信された前記他の音声通話装置の絶対位置情報とに基づいて、自装置に対する前記他の音声通話装置の方向を算出する算出手段と、前記算出手段によって算出された方向に応じ、前記他の音声通話装置からの通話音声を音像定位させ発音する音像定位手段とを具備することを特徴とする音声通話装置を提供する。
また、上記音声通話装置において、前記算出手段は、前記位置情報取得手段によって取得された自装置の絶対位置情報と前記通信手段によって受信された前記他の音声通話装置の絶対位置情報とに基づいて、自装置に対する前記他の音声通話装置の距離をも算出し、前記音像定位手段は、前記算出手段によって算出された方向および距離に応じ、前記他の音声通話装置からの通話音声を音像定位させ発音することを特徴とする。
【０００８】
この発明において、音声通話装置は、自装置の絶対位置情報および方位情報、ならびに通話を行う他装置の絶対位置情報に基づいて自装置から見た当該他装置の方向または方向と距離を算出し、その算出した方向または方向と距離に応じて当該他装置からの通話音声を音像定位させるように構成されている。これにより、他装置との通話の際、通話相手である他装置からの音声に、通話相手が実際に存在している方向から聴こえてくる音響効果を与え、また、通話相手との実際の距離を反映させた音響効果（例えば、実際の距離が遠い通話相手からの音声は遠くから聴こえ、実際の距離が近い通話相手からの音声は近くから聴こえる音響効果）をも与えることが可能である。したがって、聴者（自装置のユーザ）は、通話の際に通話相手が実際にいる方向または方向および距離を把握することができる。また、他装置との方向・距離の算出には自装置や他装置の存在する位置を示す絶対位置情報（例えば、緯度経度情報）を用いているので、各装置が位置を移動した場合でも、通話音声の音像定位において各装置の実際の移動後の位置が正しく反映される。これにより、聴者は通話相手の方向および距離の把握を常に正しく行うことが可能である。
【０００９】
また、上記音声通話装置において、前記他の音声通話装置が複数であってこれら複数の音声通話装置と同時に通話する手段を有し、前記音像定位手段は、前記複数の音声通話装置のそれぞれに対して前記算出手段により算出された方向または方向および距離に応じ、通話音声を音声通話装置毎に音像定位させることを特徴とする。
【００１０】
この発明によれば、多者間で同時通話を行う場合にも、各通話相手からの音声を、当該通話相手の方向または方向および距離に応じて個別に音像定位させることができる。これにより、聴者は複数の通話相手それぞれの位置を把握しながら通話をすることが可能である。例えば、複数の通話相手が同じ方向にいる場合でも距離によって音像が異なるので区別が可能である。
【００１１】
また、上記音声通話装置において、前記他の音声通話装置から所定時間間隔で送信される絶対位置情報を前記通信手段によって受信し、この受信した絶対位置情報を用いて前記音像定位手段による音像定位を通話中に更新することを特徴とする。
【００１２】
この発明によれば、所定の時間間隔で通話相手の最新の絶対位置情報を取得することにより音像定位の更新を行うので、通話中に各装置が移動しても、直ちに（せいぜい所定時間間隔程度の遅れで）移動の影響を音像定位に反映させることができる。これにより、聴者は通話相手の方向および距離の把握を常に正しく行うことが可能である。
【００１３】
また、本発明は、２以上の音声通話装置間で通話を行う音声通話システムであって、各音声通話装置が、自装置の存在する位置を示す絶対位置情報を取得する位置情報取得手段と、自装置の向いている方位を検出し、検出した方位を示す方位情報を取得する方位情報取得手段と、他の音声通話装置から送信される当該他の音声通話装置の絶対位置情報を受信する通信手段と、前記位置情報取得手段によって取得された自装置の絶対位置情報と、前記方位情報取得手段によって取得された方位情報と、前記通信手段によって受信された前記他の音声通話装置の絶対位置情報とに基づいて、自装置に対する前記他の音声通話装置の方向を算出する算出手段と、前記算出手段によって算出された方向に応じ、前記他の音声通話装置からの通話音声を音声通話装置毎に音像定位させ発音する音像定位手段とを具備することを特徴とする音声通話システムを提供する。
また、上記音声通話システムにおいて、前記算出手段は、前記位置情報取得手段によって取得された自装置の絶対位置情報と前記通信手段によって受信された前記他の音声通話装置の絶対位置情報とに基づいて、自装置に対する前記他の音声通話装置の距離をも算出し、前記音像定位手段は、前記算出手段によって算出された方向および距離に応じ、前記他の音声通話装置からの通話音声を音像定位させ発音することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、通話の際に通話相手が実際にいる方向を聴者が把握可能である。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図１は、本発明の一実施形態による携帯電話端末１０（音声通話装置）が通話を行っている際のネットワークの接続状態を示した図である。なお、本実施形態では、音声通話装置が携帯電話端末１０の場合を例にとって説明を行うが、音声通話装置は携帯電話端末だけに限られず、固定電話端末やＩＰ電話端末、電話会議システムの通話端末などであってもよい。
【００１６】
図１において、５台の携帯電話端末１０（端末Ａ、端末Ｂ、端末Ｃ、端末Ｄ、端末Ｅ）が携帯電話通信網３０に接続して、相互に通話を行っている。このような複数人による同時通話のサービスは、プッシュ・トゥ・トーク（Ｐｕｓｈ Ｔｏ Ｔａｌｋ）と呼ばれるものであり、既に実際のサービスが開始されている。例えば図１では、端末Ａのユーザが話す音声は、携帯電話通信網３０を通って他の端末Ｂ、Ｃ、Ｄ、Ｅへ送信され、これら端末でその音声を聴くことができる。また、端末Ａでは、他の端末Ｂ、Ｃ、Ｄ、Ｅからの音声を聴くことができる。
【００１７】
図２は、図１に示した各携帯電話端末１０の実際の位置関係を表した図である。同図において、端末Ａから見て、端末Ｂは北東方向１０ｋｍ、端末Ｃは東方向２ｋｍ、端末Ｄは南東方向３０ｋｍ、端末Ｅは南西方向２００ｍにそれぞれ存在している。また、端末Ａのユーザは北を向き、端末Ａの表示ディスプレイの面を南に向けている（ユーザの顔と表示ディスプレイとが相対している）。以下、図２を用い、携帯電話端末１０が他の端末からの音声をどのように音像定位させるかを、端末Ａを例にとりながら説明する。
【００１８】
端末Ａ〜端末Ｅの各携帯電話端末１０は、それぞれ、自端末の存在する位置を示す位置情報と、自端末の向いている方位を示す方位情報とを取得する。具体的には、各携帯電話端末１０はＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）機能を搭載しており、このＧＰＳ機能により自端末の絶対位置である緯度と経度を取得する。この緯度と経度が、上記位置情報である。また、各携帯電話端末１０は地磁気センサを搭載し、端末の所定軸が向いている方位を検出可能とされている。この検出された方位が、上記方位情報である。ここでは、上記所定軸を、表示ディスプレイの面の法線方向にとる。この場合、図２の端末Ａの方位情報は「南」となる。
【００１９】
そして各携帯電話端末１０は、携帯電話通信網３０を介して、互いの位置情報をやりとりする。これにより、各携帯電話端末１０は、他の携帯電話端末の位置情報を取得してその所在位置、すなわち緯度および経度を把握可能とされる。そして、各携帯電話端末１０は、自端末において取得した自端末の位置情報（緯度および経度）と、携帯電話通信網３０を介して取得した他の各携帯電話端末の位置情報（緯度および経度）とから、自端末に対する他端末の相対的な位置、すなわち方位（東西南北で表される）を算出し、さらに必要に応じて距離も算出する。この相対的な位置算出の結果、例えば端末Ａでは、図２に示すような他の各端末Ｂ、Ｃ、Ｄ、Ｅの方位と距離を把握することとなる。なお、図２では距離も示しているが、距離を算出しない場合は各端末の方位のみが示される。
【００２０】
さらに各携帯電話端末１０は、上記算出した他端末の方位に上記地磁気センサで検出した自端末の向いている方位（上記方位情報により示される方位）を加味することによって、自端末から見た他端末の存在する方向、すなわち自端末から見て他端末は左右何度の方向に存在するか、を算出する。図２の端末Ａの場合、方位情報は「南」であるので、端末Ａから見た端末Ｂ（方位は北東）の方向は、右４５度（表示ディスプレイの裏面の法線方向を左右±０度とする）と算出される。同様に、端末Ｃ（方位は東）の方向は右９０度、端末Ｄ（方位は南東）の方向は右１３５度、端末Ｅ（方位は南西）の方向は左１３５度と算出される。
【００２１】
こうして、各携帯電話端末１０において、自端末から見た他端末の存在する方向、または方向と距離が算出されることになる。各携帯電話端末１０は、算出した他の各端末の方向または方向と距離に応じて、それら他の各端末からの音声を端末毎にそれぞれ音像定位させ、発音する。一つの具体例として、各携帯電話端末１０は、算出した他の各端末の方向と同じ方向に当該端末からの音声を音像定位させる。この場合、例えば端末Ａでは、端末Ｂからの音声を右４５度方向に音像定位させ、端末Ｃからの音声を右９０度方向に音像定位させ、端末Ｄからの音声を右１３５度方向に音像定位させ、端末Ｅからの音声を左１３５度方向に音像定位させる。これにより、携帯電話端末１０のユーザは、通話相手の音声を、当該通話相手が実際に存在している方向から発せられているように聴くことができる。
【００２２】
また、各携帯電話端末１０は、上記算出した距離にも応じて音像定位させる場合の具体例として、算出した距離が遠い端末については音声を遠くに音像定位させ、算出した距離が近い端末については音声を近くに音像定位させる。これにより、通話相手の音声が聴こえてくる位置に当該通話相手までの実際の距離が反映されることになり、携帯電話端末１０のユーザが通話の際に通話相手との距離感を感じることができ、通話の臨場感やリアリティをさらに向上させることができる。
【００２３】
図３は、上記算出された他の端末までの距離（算出距離；横軸）と、当該端末からの音声を音像定位させる距離（音像定位距離；縦軸）との設定例を示したグラフである。
【００２４】
図３には４つの曲線Ｓ１、Ｓ２、Ｓ３、Ｓ４が描かれている。ここでは、各携帯電話端末１０は、通話相手の端末が複数ある場合、それら複数の端末の最大の算出距離に応じて、４つの曲線のうち１つを選択して適用する。各曲線は、曲線Ｓ１が最大算出距離１００ｍ未満に対応し、曲線Ｓ２が最大算出距離１００ｍ以上１ｋｍ未満に対応し、曲線Ｓ３が最大算出距離１ｋｍ以上１０ｋｍ未満に対応し、曲線Ｓ４が最大算出距離１０ｋｍ以上３００ｋｍ未満に対応している。
【００２５】
具体的に図２の例に即して説明すると、端末Ａにおいて算出距離の最大値は端末Ｄの３０ｋｍであるので、端末Ａでは曲線Ｓ４が選択される。その結果、端末Ａでは、端末Ｂ（算出距離は１０ｋｍ）に対して音像定位距離が１０ｍ、端末Ｃ（算出距離は２ｋｍ）に対して音像定位距離が９ｍ、端末Ｄ（算出距離は３０ｋｍ）に対して音像定位距離が１１ｍ、端末Ｅ（算出距離は２００ｍ）に対して音像定位距離が６．５ｍ、にそれぞれ設定されることになる。
【００２６】
また、図２において端末Ａが端末Ｃおよび端末Ｅとのみ通話をする場合には、算出距離の最大値は端末Ｃの２ｋｍであるので、端末Ａでは曲線Ｓ３が選択される。そしてこの場合、端末Ａにおいて、端末Ｃに対して音像定位距離が１０ｍ、端末Ｅに対して音像定位距離が７．５ｍ、にそれぞれ設定される。
【００２７】
図３に示したような、最大の算出距離に応じて音像定位距離の設定を異ならせるという方式を用いることにより、複数の端末で通話を行う場合に、各端末までの距離の違いを明瞭に表現した音像定位を実現することができるので、通話の臨場感向上に好適である。
なお、図３に示した各曲線においては、実際の距離が大きくなる程、距離差による音像定位距離の差が小さくなるような曲線となっており、相手端末が非常に離れている場合でも音声が遠くなり過ぎないようにしているが、曲線の形状はこれに限らず、いかなる形状でもよい。
【００２８】
次に、以上の動作を行う携帯電話端末１０の具体的構成を、図４および図５を用いて説明する。
図４は、携帯電話端末１０のハードウェア構成図を示したものである。
【００２９】
図４において、ＣＰＵ１１は、携帯電話端末１０の各部を制御する中央処理装置であり、ＲＯＭ１２から所定のプログラムを読み込んで実行する。
ＲＯＭ１２は、読み出し専用メモリであり、ＣＰＵ１１が実行するプログラムを格納している。
ＲＡＭ１３は、随時読み出し書き込みメモリであり、上記図３の音像定位距離の設定を記憶するとともに、ＣＰＵ１１によってプログラム実行時に一時データの記憶に使用される。
【００３０】
ＤＳＰ１４は、デジタル信号処理装置であり、通話先の携帯電話端末から受信した音声に対して所定の音像定位を施すための処理を実行する。この音像定位処理については後述する。
【００３１】
マイク１５は、ユーザの音声を入力としてアナログの音声信号を生成し、生成したアナログ音声信号を図示しないＡＤコンバータによってデジタル音声信号に変換して出力する。
スピーカ１６は、通話先の携帯電話端末から受信されＤＳＰ１４により音像定位が施されたデジタル音声信号を図示しないＤＡコンバータによってアナログ音声信号に変換し、音声を発音する。このスピーカ１６は、音像定位された音声を立体音響として発音するために、右用スピーカ１６ａと左用スピーカ１６ｂの２つのスピーカから構成される（図５参照）。
【００３２】
ＧＰＳモジュール１８は、ＧＰＳ衛星から受信した所定のＧＰＳ信号に基づいて携帯電話端末１０（自端末）の位置する場所の緯度と経度を算出し、位置情報として出力する。
地磁気センサ１９は、携帯電話端末１０の表示ディスプレイ（図示せず）が向いている方位を検出し、方位情報として出力する。
【００３３】
通信インタフェース２０は、通信データを変調して通話先の携帯電話端末へ送信するとともに、通話先の携帯電話端末からの変調された通信データを受信して復調する。送受信される通信データには、音声信号とＧＰＳモジュール１８により得られる位置情報とが含まれる。
バス２１は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、ＤＳＰ１４、マイク１５、スピーカ１６、ＧＰＳモジュール１８、地磁気センサ１９、通信インタフェース２０を接続しており、これら各部の間でやりとりされるデータを伝送する。
【００３４】
図５は、携帯電話端末１０の機能ブロック図を示したものである。同図において、送信側の携帯電話端末１０と受信側の携帯電話端末１０とを分け、それぞれ送信と受信に関連する機能のみを示したが、これは説明の便宜上のためであり、両者の実際の構成は同一である。また、以下では送信側、受信側の携帯電話端末１０を、それぞれ図２の端末Ｂ、端末Ａであるとして説明する。なお、通話者間で話をする側を送信側、その話を聴いている側を受信側とする。
【００３５】
図５において、送信側の携帯電話端末１０（端末Ｂ）では、マイク１５から端末Ｂのユーザの通話音声による音声信号がデータコントローラ１０１に入力される。また、位置情報取得手段１０２によって端末Ｂの位置情報が取得されて、この位置情報もデータコントローラ１０１へ入力される。ここで、位置情報取得手段１０２は、図４のＧＰＳモジュール１８により実現されるものである。
【００３６】
データコントローラ１０１は、端末Ｂから送信する通信データを制御する。具体的には、マイク１５からの音声信号と位置情報取得手段１０２からの位置情報とを通信インタフェース２０へ供給し、通信インタフェース２０にそれらのデータ（通信データ）を送信させる。この時、音声信号は常時送信するが、位置情報はある所定の時間間隔毎に送信する、という制御を行うようにすることもできる。所定の時間間隔の一例として、例えば５００ミリ秒程度の値に設定すればよい。こうすることで、端末Ｂが位置を移動した場合でも、移動後の位置情報が所定の時間間隔毎に送信されるので、受信側の携帯電話端末１０における後述する音像定位処理に端末Ｂが移動した結果を直ちに反映させることができる。なお、データコントローラ１０１は、図４のＣＰＵ１１が所定のプログラムをＲＯＭ１２から読み込んで実行する機能によって実現されるものである。
【００３７】
一方、図５の受信側の携帯電話端末１０（端末Ａ）では、端末Ｂから送信された通信データが通信インタフェース２０により受信され、受信された通信データがデータコントローラ１０１へ入力される。データコントローラ１０１は、入力された通信データからそれに含まれる音声信号と位置情報とをそれぞれ取得し、取得した音声信号を立体音響処理部１０５へ供給するとともに、取得した位置情報を方向・距離算出部１０４へ供給する。
【００３８】
また、端末Ａの位置情報取得手段１０２によって端末Ａの位置情報が取得されて、その位置情報が方向・距離算出部１０４へ入力され、方位情報取得手段１０３によって端末Ａの方位情報が取得されて、その方位情報も方向・距離算出部１０４へ入力される。ここで、方位情報取得手段１０３は、図４の地磁気センサ１９により実現されるものである。
【００３９】
方向・距離算出部１０４は、データコントローラ１０１から供給される、通話相手である端末Ｂ（他端末）の位置情報と、位置情報取得手段１０２から入力される端末Ａ（自端末）の位置情報と、方位情報取得手段１０３から入力される端末Ａの方位情報とに基づいて、端末Ａから見た端末Ｂの方向と距離とを算出して、算出した方向と距離を示すデータを方向・距離データとして立体音響処理部１０５へ供給する。この方向および距離の算出方法については、図２を用いて既に説明したとおりである。なお、方向・距離算出部１０４は、図４のＣＰＵ１１が所定のプログラムを読み込んで実行する機能によって実現されるものである。
【００４０】
立体音響処理部１０５は、データコントローラ１０１から供給される端末Ｂからの音声信号に対して、方向・距離算出部１０４から供給される上記の方向・距離データに従って音像定位処理を施す。そして、音像定位処理を施した音声信号を左右それぞれのスピーカ（右用スピーカ１６ａ、左用スピーカ１６ｂ）から発音させる。ここで、立体音響処理部１０５による音像定位の具体例は前述したとおりであり、例えば、上記方向・距離データが示す方向と同じ方向であって、且つ上記方向・距離データが示す距離に対応する図３の音像定位距離に、端末Ｂの音像を定位させる。ここで、図３の音像定位距離の設定は、上記したようにＲＡＭ１３に記憶されており、立体音響処理部１０５はＲＡＭ１３からこの設定を読み出して、音像定位距離を決定する。こうして、端末Ｂからの通話音声が、端末Ａから見た端末Ｂの方向と距離に応じた場所から聴こえるように、端末Ａのスピーカ１６から発音されることになる。なお、方向データのみに従って音像定位処理を施してもよく、その場合は、端末Ｂからの通話音声が端末Ａから見た端末Ｂの方向から聴こえるように、端末Ａのスピーカ１６から発音されることになる。
【００４１】
図６は、立体音響処理部１０５の内部構成を示す機能ブロック図である。立体音響処理部１０５は図４のＤＳＰ１４が実行するプログラムによって実現され、通話相手となる端末の数に応じて、同じものが複数構成される。例えば、端末Ｂからの音声信号は図６の音声信号１として、また端末Ｃからの音声信号は図６の音声信号２として、それぞれ立体音響処理部１０５−１、１０５−２に入力され、音像定位処理を施された後の各立体音響処理部１０５の出力である音声信号は、合成された上でスピーカ１６から発音される。
【００４２】
各立体音響処理部１０５は、２つのフィルタ部１０５２ａ、１０５２ｂを備えており、データコントローラ１０１からの音声信号は、２つのチャンネルの音声信号としてこれら２つのフィルタ部へ入力される。各フィルタ部１０５２は、頭部伝達関数（Ｈｅａｄ Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ；ＨＲＴＦ）に基づくフィルタ処理を入力された音声信号に施すものである。この頭部伝達関数は、音像を定位させる位置から聴者の鼓膜までの音の伝達特性を表す伝達関数であり、予め測定等によって求められた所定の頭部伝達関数が各フィルタ部１０５２に設定されている。
【００４３】
また、図６では、フィルタ部１０５２ａ、１０５２ｂの前段にそれぞれ遅延付与部１０５１ａ、１０５１ｂが設けられるとともに、フィルタ部１０５２ａ、１０５２ｂの後段にはクロストークキャンセル部１０５３が設けられている。これら遅延付与部１０５１とクロストークキャンセル部１０５３は、音像定位させる音により立体的な音響効果を付与するために利用されるものである。
【００４４】
次に、本実施形態による複数の携帯電話端末１０が通話をする際に、送信側と受信側の各携帯電話端末１０で実行される処理の手順を説明する。
【００４５】
図７は、送信側の携帯電話端末１０の処理手順を示したフローチャートである。
図７において、携帯電話端末１０が複数端末による通話を開始（ステップＳ１１）すると、位置情報取得手段１０２（ＧＰＳモジュール１８）において自端末の位置情報が取得される（ステップＳ１２）。携帯電話端末１０のデータコントローラ１０１は、通信インタフェース２０に、この取得した位置情報を通信データとして所定の時間間隔で通話相手の全端末へ送信させる（ステップＳ１３）。
【００４６】
図８は、受信側の携帯電話端末１０の処理手順を示したフローチャートである。
図８において、携帯電話端末１０が複数端末による通話を開始（ステップＳ２１）し、送信側の携帯電話端末から送信された通信データに含まれる位置情報が通信インタフェース２０により受信される（ステップＳ２２）。また、位置情報取得手段１０２（ＧＰＳモジュール１８）において自端末の位置情報が取得され（ステップＳ２３）、方位情報取得手段１０３（地磁気センサ１９）において自端末の方位情報が取得される（ステップＳ２４）。
【００４７】
そして、方向・距離算出部１０４が通話相手の各端末について自端末（受信側の携帯電話端末１０）から見た各端末の方向または方向と距離を算出し、方向・距離データを立体音響処理部１０５へ出力する（ステップＳ２５）。立体音響処理部１０５は通話相手の各端末からの音声信号に対して、方向・距離算出部１０４から入力された各端末の方向データまたは方向・距離データに従い音像定位処理を施す（ステップＳ２６）。この結果、音像定位処理が施された各端末からの音声信号が合成されて、スピーカ１６から発音される（ステップＳ２７）。ステップＳ２２からステップＳ２７の処理は通話が終わるまで繰り返され、所定の時間間隔で送信側の携帯電話端末から送信される位置情報を受信すると、その都度、方向・距離算出部１０４において方向データまたは方向・距離データが更新され、通話相手の端末からの音声に対する音像定位が更新されていく。
【００４８】
以上説明したように、本実施形態によれば、携帯電話端末１０は、自端末の位置情報および方位情報、ならびに通話相手である他端末の位置情報に基づいて、自端末から見た他端末の方向または方向と距離を方向・距離算出部１０４により算出し、この算出結果に応じて、他端末からの通話音声を立体音響処理部１０５を用いて音像定位させている。これにより、他端末との通話の際に、通話相手が実際に存在している方向または方向と距離に応じた場所からその通話相手の音声が聴こえてくる音響効果が得られる。
【００４９】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【図面の簡単な説明】
【００５０】
【図１】本発明の一実施形態による携帯電話端末（音声通話装置）が通話を行っている際のネットワークの接続状態を示した図である。
【図２】図１に示した各携帯電話端末の実際の位置関係を表した図である。
【図３】他の端末までの距離と当該他の端末からの音声を音像定位させる距離との設定例を示したグラフである。
【図４】携帯電話端末のハードウェア構成図である。
【図５】携帯電話端末の機能ブロック図である。
【図６】立体音響処理部の内部構成を示す機能ブロック図である。
【図７】送信側の携帯電話端末の処理手順を示したフローチャートである。
【図８】受信側の携帯電話端末の処理手順を示したフローチャートである。
【符号の説明】
【００５１】
１０…携帯電話端末 １１…ＣＰＵ １２…ＲＯＭ １３…ＲＡＭ １４…ＤＳＰ １５…マイク １６…スピーカ １８…ＧＰＳモジュール １９…地磁気センサ ２０…通信インタフェース ２１…バス ３０…携帯電話通信網 １０１…データコントローラ １０２…位置情報取得手段 １０３…方位情報取得手段 １０４…方向・距離算出部 １０５…立体音響処理部
【特許請求の範囲】
【請求項１】
他の音声通話装置と通話を行う音声通話装置であって、
自装置の存在する位置を示す絶対位置情報を取得する位置情報取得手段と、
自装置の向いている方位を検出し、検出した方位を示す方位情報を取得する方位情報取得手段と、
他の音声通話装置から送信される当該他の音声通話装置の絶対位置情報を受信する通信手段と、
前記位置情報取得手段によって取得された自装置の絶対位置情報と、前記方位情報取得手段によって取得された方位情報と、前記通信手段によって受信された前記他の音声通話装置の絶対位置情報とに基づいて、自装置に対する前記他の音声通話装置の方向を算出する算出手段と、
前記算出手段によって算出された方向に応じ、前記他の音声通話装置からの通話音声を音像定位させ発音する音像定位手段と
を具備することを特徴とする音声通話装置。
【請求項２】
前記算出手段は、前記位置情報取得手段によって取得された自装置の絶対位置情報と前記通信手段によって受信された前記他の音声通話装置の絶対位置情報とに基づいて、自装置に対する前記他の音声通話装置の距離をも算出し、
前記音像定位手段は、前記算出手段によって算出された方向および距離に応じ、前記他の音声通話装置からの通話音声を音像定位させ発音する
ことを特徴とする請求項１に記載の音声通話装置。
【請求項３】
前記他の音声通話装置が複数であってこれら複数の音声通話装置と同時に通話する手段を有し、
前記音像定位手段は、前記複数の音声通話装置のそれぞれに対して前記算出手段により算出された方向または方向および距離に応じ、通話音声を音声通話装置毎に音像定位させる
ことを特徴とする請求項１または請求項２に記載の音声通話装置。
【請求項４】
前記他の音声通話装置から所定時間間隔で送信される絶対位置情報を前記通信手段によって受信し、この受信した絶対位置情報を用いて前記音像定位手段による音像定位を通話中に更新する
ことを特徴とする請求項１から請求項３のいずれかの項に記載の音声通話装置。
【請求項５】
２以上の音声通話装置間で通話を行う音声通話システムであって、
各音声通話装置が、
自装置の存在する位置を示す絶対位置情報を取得する位置情報取得手段と、
自装置の向いている方位を検出し、検出した方位を示す方位情報を取得する方位情報取得手段と、
他の音声通話装置から送信される当該他の音声通話装置の絶対位置情報を受信する通信手段と、
前記位置情報取得手段によって取得された自装置の絶対位置情報と、前記方位情報取得手段によって取得された方位情報と、前記通信手段によって受信された前記他の音声通話装置の絶対位置情報とに基づいて、自装置に対する前記他の音声通話装置の方向を算出する算出手段と、
前記算出手段によって算出された方向に応じ、前記他の音声通話装置からの通話音声を音声通話装置毎に音像定位させ発音する音像定位手段と
を具備することを特徴とする音声通話システム。
【請求項６】
前記算出手段は、前記位置情報取得手段によって取得された自装置の絶対位置情報と前記通信手段によって受信された前記他の音声通話装置の絶対位置情報とに基づいて、自装置に対する前記他の音声通話装置の距離をも算出し、
前記音像定位手段は、前記算出手段によって算出された方向および距離に応じ、前記他の音声通話装置からの通話音声を音像定位させ発音する
ことを特徴とする請求項５に記載の音声通話システム。
【請求項１】
他の音声通話装置と通話を行う音声通話装置であって、
自装置の存在する位置を示す絶対位置情報を取得する位置情報取得手段と、
自装置の向いている方位を検出し、検出した方位を示す方位情報を取得する方位情報取得手段と、
他の音声通話装置から送信される当該他の音声通話装置の絶対位置情報を受信する通信手段と、
前記位置情報取得手段によって取得された自装置の絶対位置情報と、前記方位情報取得手段によって取得された方位情報と、前記通信手段によって受信された前記他の音声通話装置の絶対位置情報とに基づいて、自装置に対する前記他の音声通話装置の方向を算出する算出手段と、
前記算出手段によって算出された方向に応じ、前記他の音声通話装置からの通話音声を音像定位させ発音する音像定位手段と
を具備することを特徴とする音声通話装置。
【請求項２】
前記算出手段は、前記位置情報取得手段によって取得された自装置の絶対位置情報と前記通信手段によって受信された前記他の音声通話装置の絶対位置情報とに基づいて、自装置に対する前記他の音声通話装置の距離をも算出し、
前記音像定位手段は、前記算出手段によって算出された方向および距離に応じ、前記他の音声通話装置からの通話音声を音像定位させ発音する
ことを特徴とする請求項１に記載の音声通話装置。
【請求項３】
前記他の音声通話装置が複数であってこれら複数の音声通話装置と同時に通話する手段を有し、
前記音像定位手段は、前記複数の音声通話装置のそれぞれに対して前記算出手段により算出された方向または方向および距離に応じ、通話音声を音声通話装置毎に音像定位させる
ことを特徴とする請求項１または請求項２に記載の音声通話装置。
【請求項４】
前記他の音声通話装置から所定時間間隔で送信される絶対位置情報を前記通信手段によって受信し、この受信した絶対位置情報を用いて前記音像定位手段による音像定位を通話中に更新する
ことを特徴とする請求項１から請求項３のいずれかの項に記載の音声通話装置。
【請求項５】
２以上の音声通話装置間で通話を行う音声通話システムであって、
各音声通話装置が、
自装置の存在する位置を示す絶対位置情報を取得する位置情報取得手段と、
自装置の向いている方位を検出し、検出した方位を示す方位情報を取得する方位情報取得手段と、
他の音声通話装置から送信される当該他の音声通話装置の絶対位置情報を受信する通信手段と、
前記位置情報取得手段によって取得された自装置の絶対位置情報と、前記方位情報取得手段によって取得された方位情報と、前記通信手段によって受信された前記他の音声通話装置の絶対位置情報とに基づいて、自装置に対する前記他の音声通話装置の方向を算出する算出手段と、
前記算出手段によって算出された方向に応じ、前記他の音声通話装置からの通話音声を音声通話装置毎に音像定位させ発音する音像定位手段と
を具備することを特徴とする音声通話システム。
【請求項６】
前記算出手段は、前記位置情報取得手段によって取得された自装置の絶対位置情報と前記通信手段によって受信された前記他の音声通話装置の絶対位置情報とに基づいて、自装置に対する前記他の音声通話装置の距離をも算出し、
前記音像定位手段は、前記算出手段によって算出された方向および距離に応じ、前記他の音声通話装置からの通話音声を音像定位させ発音する
ことを特徴とする請求項５に記載の音声通話システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００８−１６０３９７（Ｐ２００８−１６０３９７Ａ）
【公開日】平成２０年７月１０日（２００８．７．１０）
【国際特許分類】
【出願番号】特願２００６−３４６００２（Ｐ２００６−３４６００２）
【出願日】平成１８年１２月２２日（２００６．１２．２２）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成２０年７月１０日（２００８．７．１０）
【国際特許分類】
【出願日】平成１８年１２月２２日（２００６．１２．２２）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]