携帯電子機器及び音出力システム
【課題】音がどの方向から聞こえてくるのか判別することができる携帯電子機器及び音出力システムを提供する。
【解決手段】携帯電子機器は、複数のマイク４１と、複数のマイク４１に入力された音に基づいて、音の入力方向を特定する入力方向特定部４３と、音の入力方向に応じてそれぞれ設定され、音に対してサラウンド効果を加えるためのテーブルを複数記憶する記憶部４４と、記憶部４４に記憶される複数のテーブルの中から、特定された音の入力方向に応じたテーブルを選択し、選択されたテーブルに基づいて、音データに基づく音に対してサラウンド効果を加える処理部４６と、処理部４６によってサラウンド効果が加えられた音を出力するイヤホン４８と、を備える。
【解決手段】携帯電子機器は、複数のマイク４１と、複数のマイク４１に入力された音に基づいて、音の入力方向を特定する入力方向特定部４３と、音の入力方向に応じてそれぞれ設定され、音に対してサラウンド効果を加えるためのテーブルを複数記憶する記憶部４４と、記憶部４４に記憶される複数のテーブルの中から、特定された音の入力方向に応じたテーブルを選択し、選択されたテーブルに基づいて、音データに基づく音に対してサラウンド効果を加える処理部４６と、処理部４６によってサラウンド効果が加えられた音を出力するイヤホン４８と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マイクに入力された音を出力することが可能な補聴器機能を備える携帯電子機器及び音出力システムに関する。
【背景技術】
【０００２】
従来の補聴器は、マイクによって音を集音し、そのマイクによって集音された音に基づく音信号を増幅器によって電気的に増幅し、増幅器によって増幅された音信号に基づく音をイヤホンによって外部に出力する、というものであった。
【０００３】
ここで、補聴器は、マイクによって集音した音をイヤホンから出力するという簡単な構成の場合である為、音源の位置把握ができなかった。このため、補聴器には、特定の周波数を強調することにより、特定の方向の指向性特性を高めたものがある（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２００５／００４５３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載された発明は、周波数を補正することにより、特定の方向の指向性特定を高めたものであるため、実際の耳で音を聞く場合とは音源の位置把握が同じにならないおそれがある。また、特許文献１に記載された発明は、音をイヤホンから出力するものであるため、特定の方向の指向性特性を高めた場合でも、音がどの方向から聞こえてくるのかわからないおそれがある。
【０００６】
本発明は、音がどの方向から聞こえてくるのか判別することができる携帯電子機器及び音出力システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の携帯電子機器は、複数のマイクと、前記複数のマイクに入力された音に基づいて、音の入力方向を特定する入力方向特定部と、音の入力方向に応じてそれぞれ設定され、音に対してサラウンド効果を加えるためのテーブルを複数記憶する記憶部と、前記記憶部に記憶される複数のテーブルの中から、特定された音の入力方向に応じたテーブルを選択し、選択されたテーブルに基づいて、音データに基づく音に対してサラウンド効果を加える処理部と、前記処理部によってサラウンド効果が加えられた音を出力する音出力部と、を備えることを特徴とする。
【０００８】
携帯電子機器は、筐体を備え、前記マイクは、前記筐体の前面における左右両端部にそれぞれ配置されると共に、前記筐体の後面における左右両端部にそれぞれ配置されることが好ましい。
【０００９】
また、前記入力方向特定部は、音が前記マイクに入力される時間と、前記マイクから出力される音データに基づく音の周波数特性とに基づいて、音の入力方向を特定することが好ましい。
【００１０】
携帯電子機器は、前記筐体に配置される撮像部を備え、前記撮像部によりユーザの顔が撮像されると、前記筐体と前記ユーザとの位置関係を特定することが好ましい。
【００１１】
本発明は、携帯電子機器と、前記携帯電子機器と通信ネットワークを介して接続する外部装置とを備える音出力システムであって、前記携帯電子機器は、音を入力し、入力した音を第１音データに変換して出力する、複数のマイクと、前記マイクのそれぞれから出力された第１音データを前記外部装置に送信すると共に、第２音データを前記外部装置から受信する第１通信部と、前記第１通信部によって受信された第２音データに基づく音を出力する音出力部と、を備え、前記外部装置は、前記携帯電子機器から第１音データを受信すると共に、前記携帯電子機器に第２音データを送信する第２通信部と、前記第２通信部によって受信された第１音データに基づいて、音の入力方向を特定する入力方向特定部と、音の入力方向に応じてそれぞれ設定され、音に対してサラウンド効果を加えるためのテーブルを複数記憶する記憶部と、前記記憶部に記憶される複数のテーブルの中から、前記入力方向特定部によって特定された音の入力方向に応じたテーブルを選択し、選択されたテーブルに基づいて、第１音データに基づく音に対してサラウンド効果を加えて、第２音データとして前記第２通信部に出力する処理部と、を備えることを特徴とする。
【００１２】
前記携帯電子機器は、筐体と、前記筐体に配置される撮像部と、を備え、前記撮像部によりユーザの顔が撮像されると、前記筐体と前記ユーザとの位置関係を特定することが好ましい。
【発明の効果】
【００１３】
本発明によれば、音がどの方向から聞こえてくるのか判別することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の携帯電子機器の一実施形態に係る携帯電話機の正面図である。
【図２】携帯電話機の背面図である。
【図３】携帯電話機が上記機能を発揮するための構成の一例を示す機能ブロック図である。
【図４】携帯電話機及び音源の配置位置を説明するための図である。
【図５】本発明の一実施形態に係る音出力システムの機能ブロック図である。
【発明を実施するための形態】
【００１５】
以下、本発明の一実施形態について説明する。
まず、本発明の携帯電子機器の一実施形態に係る携帯電話機について説明する。図１は、本発明の携帯電子機器の一実施形態に係る携帯電話機１の正面図である。なお、図１は、ストレートタイプの携帯電話機の形態を示しているが、本発明に係る携帯電話機の形態としては特にこれに限られない。例えば、携帯電話機は、２つの筐体をヒンジによって結合した折畳み式や、２つの筐体を重ね合わせた状態から一方の筐体を一方向にスライドさせるようにしたスライド式や、重ね合せ方向に沿う軸線を中心に一方の筐体を回転させるようにした回転式（ターンタイプ）でもよい。
【００１６】
携帯電話機１は、筐体２を備える。携帯電話機１は、その筐体２の前面１０に、操作部１１と、携帯電話機１の使用者が通話時に発した音声を入力する第１マイク１２と、各種情報を表示する表示部２１と、通話の相手側の音声を出力するスピーカ２２とを備える。操作部１１は、各種設定や電話帳機能やメール機能等の各種機能を作動させるための機能設定操作キー１３と、電話番号の数字やメール等の文字等を入力するための入力操作キー１４と、各種操作における決定やスクロール等を行う決定操作キー１５とから構成されている。なお、これらのキーは、表示部２１と一体に形成されたタッチパネルに配置（表示）するようにしてもよい。
【００１７】
このような携帯電話機１は、音がどの方向から聞こえてくるのか判別させる機能を有する。
以下に、携帯電話機１に係る上記機能を発揮するための構成と動作について詳述する。まず、本実施形態に係る携帯電話機１の上記機能を発揮するための構成の一例について、図１から図３を参照しながら説明する。図２は、携帯電話機１の背面図である。図３は、携帯電話機１が上記機能を発揮するための構成の一例を示す機能ブロック図である。
【００１８】
図３に示すように、携帯電話機１は、第２マイク４１（第２マイク４１は、本発明の「マイク」に対応する。）と、アナログ／ディジタル（Ａ／Ｄ）変換部４２と、入力方向特定部４３と、記憶部４４と、決定部４５と、処理部４６と、ディジタル／アナログ（Ｄ／Ａ）変換部４７と、音出力部としてのイヤホン４８とを備える。
【００１９】
第２マイク４１（４１Ａ，４１Ｂ，４１Ｃ，４１Ｄ）は、音を入力し、入力した音を音データに変換して出力する。第２マイク４１は、携帯電話機１の筐体２に複数配置される。具体的には、第２マイク４１は、筐体２の前面１０における左右両端部にそれぞれ配置される（図１参照）と共に、筐体２の後面３０における左右両端部にそれぞれ配置される（図２参照）。前面１０及び後面３０のそれぞれに配置される第２マイク４１は、左右対称に配置されることが好ましい。
なお、本実施形態では、４つの第２マイク４１が筐体２に配置される例について説明している。しかしながら、本発明は、この例に限定されることはなく、２つ以上の第２マイク４１が筐体２に配置されればよい。
【００２０】
Ａ／Ｄ変換部４２は、各第２マイク４１の後段に接続される。Ａ／Ｄ変換部４２は、第２マイク４１から出力されたアナログの音データをディジタルの音データに変換して出力する。
【００２１】
入力方向特定部４３は、後述する第１テーブルを参照することにより、第２マイク４１（Ａ／Ｄ変換部４２）のそれぞれから出力された音データに基づいて、音の入力方向（音源の位置）を特定する。すなわち、入力方向特定部４３は、音が第２マイク４１に入力される時間と、第２マイク４１（Ａ／Ｄ変換部４２）から出力される音データに基づく音の周波数特性とに基づいて、音の入力方向を特定する。
【００２２】
入力方向特定部４３は、ディジタルシグナルプロセッサ（ＤＳＰ）等により構成される。入力方向特定部４３は、周波数特性を得るために、第２マイク４１から出力された音データに基づく音についての周波数スペクトルを解析する。また、入力方向特定部４３は、音の入力方向を特定した場合、特定した音の入力方向についての情報（入力方向データ）を処理部４６に出力する。さらに、入力方向特定部４３は、第２マイク４１から入力された音データを処理部４６に出力する。なお、音の入力方向を特定する処理の詳細については、後述する。
【００２３】
記憶部４４は、音の入力方向に応じてそれぞれ設定され、音に対してサラウンド効果を加えるための第２テーブル（第２テーブルは、本発明の「テーブル」に対応する。）を複数記憶する。ここで、音に対してサラウンド効果を加えるとは、各第２マイク４１から出力される音データ基づく音の大きさを音データ毎に変える処理や、各音データの位相を変える処理を行うことである。サラウンド効果が加えられた音を人が聞いた場合には、人は、直接、音を耳で聞くのと同様に、どの方向で音がしたのかを判別する（音源の位置を特定する）ことが可能になる。なお、第２テーブルの詳細については、後述する。
【００２４】
決定部４５は、携帯電話機１の向きを決定する。例えば、決定部４５は、携帯電話機１の後面に配置される撮像部としてのカメラ２３（図２参照）によって、携帯電話機１のユーザの顔が撮影されているか否かを判断する。決定部４５は、カメラ２３によってユーザの正面の顔が撮影されていると判断した場合、携帯電話機１における前面１０の方向と、ユーザが向いている正面の方向とが一致していると決定する。決定部によって決定された結果は、決定データとして処理部４６に出力される。
【００２５】
処理部４６は、記憶部４４に記憶される複数の第２テーブルの中から、入力方向特定部４３によって特定された音の入力方向に応じた第２テーブルを選択し、選択されたテーブルに基づいて、音データに基づく音に対してサラウンド効果を加える。すなわち、処理部４６は、入力方向データ及び決定データに基づいて、第２テーブルを選択し、選択されたテーブルに基づいて、音データに基づく音に対してサラウンド効果を加える。なお、携帯電話機１のユーザに対するその携帯電話機１の向きが予め決められている場合には、処理部４６は、入力方向データのみに基づいて第２テーブルを選択し、選択されたテーブルに基づいて、音データに基づく音に対してサラウンド効果を加えることが可能である。
【００２６】
また、処理部４６は、入力方向データ及び決定データに基づいて、例えば、携帯電話機１における前面１０の方向と、ユーザが向いている正面の方向とが一致する場合に、筐体２の前面１０における左側に配置された第２マイク４１Ａと、筐体２の後面３０における左側に配置された第２マイク４１Ｃとに対応する各音データ（サラウンド効果が加えられた音データ）を、１つの音データに合成して出力する。さらに、処理部４６は、筐体２の前面１０における右側に配置された第２マイク４１Ｂと、筐体２の後面３０における右側に配置された第２マイク４１Ｄとに対応する各音データ（サラウンド効果が加えられた音データ）を、１つの音データに合成して出力する。
【００２７】
Ｄ／Ａ変換部４７は、処理部４６から出力されたディジタルの音データをアナログの音データに変換して出力する。
【００２８】
イヤホン４８は、処理部４６によってサラウンド効果が加えられた音を出力する。例えば、携帯電話機１における前面１０の方向と、ユーザが向いている正面の方向とが一致する場合に、筐体２の前面１０及び後面３０それぞれにおける左側に配置された第２マイク４１Ａ，４１Ｃによって集音された音は、人の左耳に装着されるスピーカ４８Ｌから出力される。一方、筐体２の前面１０及び後面３０それぞれにおける右側に配置された第２マイク４１Ｂ，４１Ｄによって集音された音は、人の右耳に装着されるスピーカ４８Ｒから出力される。
【００２９】
次に、音の入力方向を特定する処理について説明する。音の入力方向を特定するために利用される第１テーブルは、入力方向特定部４３に保持される。その第１テーブルは、次のようにして作成される。図４は、携帯電話機１及び音源５１の配置位置を説明するための図である。
【００３０】
まず、携帯電話機１と、スイープ音（周波数変化音）を出力する音源５１とを無響室に配置する。音源５１は、図４に示すように、携帯電話機１に対して、正面（パターン１）、右前（パターン２）、右（パターン３）、右後（パターン４）、背面（パターン５）、左後（パターン６）、左（パターン７）、又は左前（パターン８）に配置される。そして、携帯電話機１は、複数の音源５１のうちのいずれか１つから出力されるスイープ音を各第２マイク４１によって集音する。
【００３１】
入力方向特定部４３は、第２マイク４１それぞれによって集音された音に対応する音データを入力して、その音の到達時間を判定する。例えば、携帯電話機１の正面に音源５１が配置されている場合（パターン１）には、筐体２の正面に配置される第２マイク４１Ａ及び第２マイク４１Ｂのそれぞれには略同時にスイープ音が到達する（通常の場合）。一方、筐体２の後面３０に配置される第２マイク４１Ｃ及び第２マイク４１Ｄのそれぞれには、第２マイク４１Ａ及び第２マイク４１Ｂにスイープ音が入力された時よりも遅れてスイープ音が到達する（遅い場合）。
【００３２】
さらに、入力方向特定部４３は、入力された音データに基づく音について周波数スペクトルの解析を行う。音源５１から出力された音が第２マイク４１に直接に入力される場合には、周波数スペクトルの解析結果である周波数特性には、変化が生じない（フラットになる）。一方、音源５１から出力された音が第２マイク４１に直接に入力されない場合には、周波数スペクトルの解析結果である周波数特性には、変化が生じる。すなわち、音源５１から出力されるスイープ音の周波数が低域の場合、周波数特性は、より低い周波数となる。また、音源５１から出力されるスイープ音の周波数が中・高域の場合には、周波数特性は、より高い周波数となる。
【００３３】
例えば、携帯電話機１の正面に音源５１が配置されている場合（パターン１）には、第２マイク４１Ａ及び第２マイク４１Ｂにより集音された音に基づく周波数特性は、フラットになる。一方、第２マイク４１Ｃ及び第２マイク４１Ｄにより集音された音に基づく周波数特性は、低域が低くなり、中・高域が高くなる。
なお、上記の例示をまとめた第１テーブル（パターン１に対応する第１テーブル）は、表１のようになる。
【００３４】
【表１】
【００３５】
また、パターン２からパターン８の場合についても、パターン１の場合と同様にして、到達時間と、周波数特性を求める。そして、パターン２からパターン８に対応する第１テーブルは、それぞれ表２から表８のようになる。
【００３６】
【表２】
【００３７】
【表３】
【００３８】
【表４】
【００３９】
【表５】
【００４０】
【表６】
【００４１】
【表７】
【００４２】
【表８】
【００４３】
上記の第１テーブルを参照することにより、音の入力方向を特定する処理は、次のようになる。まず、入力方向特定部４３は、各第２マイク４１から出力された音データに基づいて、各第２マイク４１に音が到達した時間を判別する。さらに、入力方向特定部４３は、各第２マイク４１から出力された音データに基づく音について周波数スペクトルの解析を行うことにより、周波数特性を調べる。そして、入力方向特定部４３は、判別した到達時間と周波数特性とが、複数の第１テーブルのうちいずれのものと一致する又は略一致するのか判定し、判定結果（特定の第１テーブル）に対応するパターンを特定する。例えば、入力方向特定部４３は、判別した到達時間と周波数特性とが表１の第１テーブルに一致するという判定結果を得た場合には、判定結果に対応するパターン１を特定する。すなわち、入力方向特定部４３は、音の入力方向が筐体２の正面であると特定する。
【００４４】
次に、記憶部４４に記憶される第２テーブルについて説明する。表９から表１６は、携帯電話機１のユーザに対する音の入力方向がそれぞれ、正面、右前、右、右後、背面、左後、左、及び左前の場合の第２テーブルを示す。
【００４５】
例えば、携帯電話機１のユーザに対する音の入力方向が正面であると特定された場合には、音が人の正面から聞こえるようにするための設定が第２テーブルになされている。具体的には、第２テーブルは、携帯電話機１のユーザの正面に対して、左前に配置される第２マイク４１から出力される音データに基づく音、及び右前に配置される第２マイク４１から出力される音データに基づく音を、左後に配置される第２マイク４１及び右後に配置される第２マイク４１それぞれに基づく音よりも大きくするための設定（出力：大）がなされている。また、第２テーブルは、左後に配置される第２マイク４１から出力される音データに基づく音、及び右後に配置される第２マイク４１から出力される音データに基づく音を通常の大きさで出力するための設定（出力：通常）がなされている。
【００４６】
また、第２テーブルは、左前に配置される第２マイク４１から出力される音データＥ（信号）、及び右前に配置される第２マイク４１から出力される音データＦ（信号）の位相をそのままにしてイヤホン４８から出力させるための設定（位相：通常）がなされている。また、第２テーブルは、左後に配置される第２マイク４１から出力される音データＧ（信号）、及び右後に配置される第２マイク４１から出力される音データＨ（信号）の位相を、音データＥ及び音データＦの位相よりも遅くしてイヤホン４８から出力させるための設定（位相：遅い）がなされている。
【００４７】
【表９】
【００４８】
また、携帯電話機１のユーザに対する音の入力方向が、右前、右、右後、背面、左後、左及び左前と特定される場合には、イヤホン４８から出力される音がその特定された方向から聞こえるようにするための設定が第２テーブルになされている。音の入力方向が、右前、右、右後、背面、左後、左及び左前の場合に対応する第２テーブルは、それぞれ、表１０、表１１、表１２、表１３、表１４、表１５及び表１６のようになる。
【００４９】
【表１０】
【００５０】
【表１１】
【００５１】
【表１２】
【００５２】
【表１３】
【００５３】
【表１４】
【００５４】
【表１５】
【００５５】
【表１６】
【００５６】
次に、携帯電話機１の動作について説明する。なお、この動作説明においては、携帯電話機１の右側で音が発生している場合を例示する。
まず、各第２マイク４１は、音を入力して、入力した音を音データに変換して出力する。Ａ／Ｄ変換部４２は、各第２マイク４１から出力されたアナログの音データをディジタルの音データに変換して出力する。
【００５７】
入力方向特定部４３は、Ａ／Ｄ変換部４２から音データが入力された場合に、音が各第２マイク４１に入力された時間を特定する。ここでは、入力方向特定部４３は、第２マイク４１Ａ及び第２マイク４１Ｃに音が入力されたそれぞれの時間（到達時間）が第２マイク４１Ｂ及び第２マイク４１Ｄに音が入力された時間（到達時間）よりも遅いと特定する。
【００５８】
また、入力方向特定部４３は、Ａ／Ｄ変換部４２から入力された音データに基づく音についての周波数スペクトルを解析する。ここでは、入力方向特定部４３は、第２マイク４１Ａ及び第２マイク４１Ｃそれぞれに入力された音の周波数特性は、第２マイク４１Ｂ及び第２マイク４１Ｄそれぞれに入力された音の周波数特性よりも低域が低く、中・高域が高い、という解析結果を得る。
【００５９】
さらに、入力方向特定部４３は、取得した到達時間及び周波数特性と、各第１テーブルに記載される特性とを比較することにより、取得した到達時間及び周波数特性がいずれの第１テーブルに記載される特性と一致する又は略一致するのか判定し、判定された第１テーブルに対応する音の入力方向を特定する。ここでは、入力方向特定部４３は、取得した到達時間及び周波数特性と表３に記載される特性とが一致すると判定するため、音の入力方向が携帯電話機１の右側であると特定する。
【００６０】
決定部４５は、カメラ２３によって撮像される画像に携帯電話機１のユーザの顔が写っているか否か判断する。決定部４５は、画像にユーザの正面の顔が写っていると判断した場合には、ユーザの正面と、携帯電話機１の正面とが同じ方向を向いていると決定する。また、決定部４５は、画像にユーザの顔が右向きに写っていると判断した場合には、ユーザの正面と、携帯電話機１の左側面とが同じ方向を向いていると決定する。さらに、決定部４５は、画像にユーザの顔が左向きに写っていると判断した場合には、ユーザの正面と、携帯電話機１の右側面とが同じ方向を向いていると決定する。
【００６１】
処理部４６は、入力方向特定部４３による特定結果と、決定部４５による決定結果とに基づいて、記憶部４４に記憶されるいずれかの第２テーブルを選択する。ここで、決定部４５によって、ユーザの正面と、携帯電話機１の正面とが同じ方向を向いていると決定されている場合には、処理部４６は、入力方向特定部の特定結果に基づいて、ユーザの右側から音が入力されていると判断して、表１１に示す第２テーブルを選択する。
【００６２】
また、決定部４５によって、ユーザの正面と、携帯電話機１の左側面とが同じ方向を向いていると決定されている場合には、処理部４６は、入力方向特定部の特定結果に基づいて、ユーザの後ろ側から音が入力されていると判断して、表１３に示す第２テーブルを選択する。
【００６３】
さらに、決定部４５によって、ユーザの正面と、携帯電話機１の右側面とが同じ方向を向いていると決定されている場合には、処理部４６は、入力方向特定部の特定結果に基づいて、ユーザの正面から音が入力されていると判断して、表９に示す第２テーブルを選択する。
【００６４】
そして、処理部４６は、選択された第２テーブルに基づいて、音にサラウンド効果を加える。例えば、ユーザの正面と、携帯電話機１の左側面とが同じ方向を向いていると決定されている場合には、処理部４６は、表９に示す第２テーブルに基づいて、第２マイク４１Ｂ及び第２マイク４１Ｄから出力されたそれぞれの音データＢ及び音データＤに基づく音が、第２マイク４１Ａ及び第２マイク４１Ｃから出力されたそれぞれの音データＡ及び音データＣに基づく音よりも大きくなるように、音データＢ及び音データＤを調整する。また、処理部４６は、表９に示す第２テーブルに基づいて、第２マイク４１Ａ及び第２マイク４１Ｃから出力されたそれぞれの音データＡ及び音データＣに基づく音の位相が、第２マイク４１Ｂ及び第２マイク４１Ｄから出力されたそれぞれの音データＢ及び音データＤに基づく音の位相よりも遅くなるように、音データＡ及び音データＣを調整する。
【００６５】
さらに、ユーザの正面と、携帯電話機１の左側面とが同じ方向を向いていると決定されている場合には、処理部４６は、調整後の音データＡと調整後の音データＣとが１つの音データＡＣになるよう合成すると共に、調整後の音データＢと調整後の音データＤとが１つの音データＢＤになるよう合成する。
【００６６】
ユーザの正面と、携帯電話機１の左側面とが同じ方向を向いていると決定されている場合には、Ｄ／Ａ変換部４７は、処理部４６から出力されたディジタルの音データＡＣと音データＢＤとをそれぞれアナログの音データＡＣと音データＢＤとに変換して出力する。
【００６７】
ユーザの正面と、携帯電話機１の左側面とが同じ方向を向いていると決定されている場合には、イヤホン４８は、音データＡＣと音データＢＤとのそれぞれに基づく音を出力する。ここでは、人の左耳に装着されるスピーカ４８Ｌからは音データＡＣに基づく音が出力され、人の右耳に装着されるスピーカ４８Ｒからは音データＢＤに基づく音が出力される。人は、音データＡＣ及び音データＢＤそれぞれに基づく音を聞くことにより、音が聞こえてくる方向が右側からであると特定することが可能になる。
【００６８】
このような携帯電話機１によれば、音を聞く人に対して、その音が聞こえてくる方向を特定させることができる。すなわち、携帯電話機１は、音がどの方向から聞こえてくるのか判別させることができる。
【００６９】
次に、本発明の音出力システムの一実施形態について説明する。図５は、本発明の一実施形態に係る音出力システム１００の機能ブロック図である。
音出力システム１００は、携帯電子機器の一例としての携帯電話機１１０と、携帯電話機１１０と通信ネットワークＮを介して接続する外部装置１２０とを備える。
【００７０】
携帯電話機１１０の外観は、図１及び図２に示す携帯電話機１と同様の構成である。また、携帯電話機１１０は、複数の第２マイク１１１（１１１Ａ，１１１Ｂ，１１１Ｃ，１１１Ｄ）（第２マイク１１１は、本発明の「マイク」に対応する。）と、Ａ／Ｄ変換部１１２と、第１通信部１１３と、Ｄ／Ａ変換部１１４と、音出力部としてのイヤホン１１５と、を備える。
【００７１】
第２マイク１１１は、音を入力し、入力した音を第１音データに変換して出力する。第２マイク１１１は、携帯電話機１に配置される第２マイク４１と同様の構成である。
Ａ／Ｄ変換部１１２は、各第２マイク１１１の後段に接続される。Ａ／Ｄ変換部１１２は、携帯電話機１に配置されるＡ／Ｄ変換部４２と同様の構成である。
【００７２】
第１通信部１１３は、第２マイク１１１（Ａ／Ｄ変換部１１２）のそれぞれから出力された第１音データを、通信ネットワークＮを介して外部装置１２０に送信すると共に、第２音データを、通信ネットワークＮを介して外部装置１２０から受信する。
Ｄ／Ａ変換部１１４は、第１通信部１１３によって受信されたディジタルの第２音データをアナログの第２音データに変換してイヤホン１１５に出力する。
【００７３】
イヤホン１１５は、第１通信部１１３によって受信された第２音データ（Ｄ／Ａ変換部１１４から出力された第２音データ）に基づく音を出力する。なお、イヤホン１１５は、携帯電話機１に配置されるイヤホン４８と同様の構成である。
【００７４】
外部装置１２０は、例えば、サーバである。その外部装置１２０は、第２通信部１２１と、入力方向特定部１２２と、記憶部１２３と、決定部１２４と、処理部１２５とを備える。
第２通信部１２１は、通信ネットワークＮを介して携帯電話機１１０から第１音データを受信すると共に、通信ネットワークＮを介して携帯電話機１１０に第２音データを送信する。
【００７５】
入力方向特定部１２２は、第２通信部１２１によって受信された第１音データに基づいて、音の入力方向を特定する。入力方向特定部１２２は、携帯電話機１に配置される入力方向特定部４３と同様の構成である。
記憶部１２３は、音の入力方向に応じてそれぞれ設定され、音に対してサラウンド効果を加えるための第２テーブル（第２テーブルは、本発明の「テーブル」に対応する。）を複数記憶する。第２テーブルは、携帯電話機１の記憶部４４に記憶される第２テーブルと同様の構成である。
【００７６】
決定部１２４は、携帯電話機１に配置される決定部４５と同様の構成である。
処理部１２５は、記憶部１２３に記憶される複数の第２テーブルの中から、入力方向特定部１２２によって特定された音の入力方向に応じた第２テーブルを選択し、選択された第２テーブルに基づいて、第１音データに基づく音に対してサラウンド効果を加えて、第２音データとして第２通信部１２１に出力する。処理部１２５は、携帯電話機１に配置される処理部４６と同様の構成である。
【００７７】
このような音出力システム１００によれば、音を聞く人に対して、その音が聞こえてくる方向を特定させることができる。すなわち、音出力システム１００は、音がどの方向から聞こえてくるのか判別させることができる。
【００７８】
なお、上述した実施形態では、携帯電子機器の一例として携帯電話機１，１１０を挙げた。しかしながら、携帯電子機器は、携帯電話機１，１１０に限定されることはなく、例えば、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ ｐｈｏｎｅ Ｓｙｓｔｅｍ）であってもよい。
【符号の説明】
【００７９】
１ 携帯電話機（携帯電子機器）
２ 筐体
４１ 第２マイク（マイク）
４３ 入力方向特定部
４４ 記憶部
４５ 決定部
４６ 処理部
４８ イヤホン（音出力部）
１００ 音出力システム
１１０ 携帯電話機（携帯電子機器）
１２０ 外部装置
【技術分野】
【０００１】
本発明は、マイクに入力された音を出力することが可能な補聴器機能を備える携帯電子機器及び音出力システムに関する。
【背景技術】
【０００２】
従来の補聴器は、マイクによって音を集音し、そのマイクによって集音された音に基づく音信号を増幅器によって電気的に増幅し、増幅器によって増幅された音信号に基づく音をイヤホンによって外部に出力する、というものであった。
【０００３】
ここで、補聴器は、マイクによって集音した音をイヤホンから出力するという簡単な構成の場合である為、音源の位置把握ができなかった。このため、補聴器には、特定の周波数を強調することにより、特定の方向の指向性特性を高めたものがある（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２００５／００４５３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載された発明は、周波数を補正することにより、特定の方向の指向性特定を高めたものであるため、実際の耳で音を聞く場合とは音源の位置把握が同じにならないおそれがある。また、特許文献１に記載された発明は、音をイヤホンから出力するものであるため、特定の方向の指向性特性を高めた場合でも、音がどの方向から聞こえてくるのかわからないおそれがある。
【０００６】
本発明は、音がどの方向から聞こえてくるのか判別することができる携帯電子機器及び音出力システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の携帯電子機器は、複数のマイクと、前記複数のマイクに入力された音に基づいて、音の入力方向を特定する入力方向特定部と、音の入力方向に応じてそれぞれ設定され、音に対してサラウンド効果を加えるためのテーブルを複数記憶する記憶部と、前記記憶部に記憶される複数のテーブルの中から、特定された音の入力方向に応じたテーブルを選択し、選択されたテーブルに基づいて、音データに基づく音に対してサラウンド効果を加える処理部と、前記処理部によってサラウンド効果が加えられた音を出力する音出力部と、を備えることを特徴とする。
【０００８】
携帯電子機器は、筐体を備え、前記マイクは、前記筐体の前面における左右両端部にそれぞれ配置されると共に、前記筐体の後面における左右両端部にそれぞれ配置されることが好ましい。
【０００９】
また、前記入力方向特定部は、音が前記マイクに入力される時間と、前記マイクから出力される音データに基づく音の周波数特性とに基づいて、音の入力方向を特定することが好ましい。
【００１０】
携帯電子機器は、前記筐体に配置される撮像部を備え、前記撮像部によりユーザの顔が撮像されると、前記筐体と前記ユーザとの位置関係を特定することが好ましい。
【００１１】
本発明は、携帯電子機器と、前記携帯電子機器と通信ネットワークを介して接続する外部装置とを備える音出力システムであって、前記携帯電子機器は、音を入力し、入力した音を第１音データに変換して出力する、複数のマイクと、前記マイクのそれぞれから出力された第１音データを前記外部装置に送信すると共に、第２音データを前記外部装置から受信する第１通信部と、前記第１通信部によって受信された第２音データに基づく音を出力する音出力部と、を備え、前記外部装置は、前記携帯電子機器から第１音データを受信すると共に、前記携帯電子機器に第２音データを送信する第２通信部と、前記第２通信部によって受信された第１音データに基づいて、音の入力方向を特定する入力方向特定部と、音の入力方向に応じてそれぞれ設定され、音に対してサラウンド効果を加えるためのテーブルを複数記憶する記憶部と、前記記憶部に記憶される複数のテーブルの中から、前記入力方向特定部によって特定された音の入力方向に応じたテーブルを選択し、選択されたテーブルに基づいて、第１音データに基づく音に対してサラウンド効果を加えて、第２音データとして前記第２通信部に出力する処理部と、を備えることを特徴とする。
【００１２】
前記携帯電子機器は、筐体と、前記筐体に配置される撮像部と、を備え、前記撮像部によりユーザの顔が撮像されると、前記筐体と前記ユーザとの位置関係を特定することが好ましい。
【発明の効果】
【００１３】
本発明によれば、音がどの方向から聞こえてくるのか判別することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の携帯電子機器の一実施形態に係る携帯電話機の正面図である。
【図２】携帯電話機の背面図である。
【図３】携帯電話機が上記機能を発揮するための構成の一例を示す機能ブロック図である。
【図４】携帯電話機及び音源の配置位置を説明するための図である。
【図５】本発明の一実施形態に係る音出力システムの機能ブロック図である。
【発明を実施するための形態】
【００１５】
以下、本発明の一実施形態について説明する。
まず、本発明の携帯電子機器の一実施形態に係る携帯電話機について説明する。図１は、本発明の携帯電子機器の一実施形態に係る携帯電話機１の正面図である。なお、図１は、ストレートタイプの携帯電話機の形態を示しているが、本発明に係る携帯電話機の形態としては特にこれに限られない。例えば、携帯電話機は、２つの筐体をヒンジによって結合した折畳み式や、２つの筐体を重ね合わせた状態から一方の筐体を一方向にスライドさせるようにしたスライド式や、重ね合せ方向に沿う軸線を中心に一方の筐体を回転させるようにした回転式（ターンタイプ）でもよい。
【００１６】
携帯電話機１は、筐体２を備える。携帯電話機１は、その筐体２の前面１０に、操作部１１と、携帯電話機１の使用者が通話時に発した音声を入力する第１マイク１２と、各種情報を表示する表示部２１と、通話の相手側の音声を出力するスピーカ２２とを備える。操作部１１は、各種設定や電話帳機能やメール機能等の各種機能を作動させるための機能設定操作キー１３と、電話番号の数字やメール等の文字等を入力するための入力操作キー１４と、各種操作における決定やスクロール等を行う決定操作キー１５とから構成されている。なお、これらのキーは、表示部２１と一体に形成されたタッチパネルに配置（表示）するようにしてもよい。
【００１７】
このような携帯電話機１は、音がどの方向から聞こえてくるのか判別させる機能を有する。
以下に、携帯電話機１に係る上記機能を発揮するための構成と動作について詳述する。まず、本実施形態に係る携帯電話機１の上記機能を発揮するための構成の一例について、図１から図３を参照しながら説明する。図２は、携帯電話機１の背面図である。図３は、携帯電話機１が上記機能を発揮するための構成の一例を示す機能ブロック図である。
【００１８】
図３に示すように、携帯電話機１は、第２マイク４１（第２マイク４１は、本発明の「マイク」に対応する。）と、アナログ／ディジタル（Ａ／Ｄ）変換部４２と、入力方向特定部４３と、記憶部４４と、決定部４５と、処理部４６と、ディジタル／アナログ（Ｄ／Ａ）変換部４７と、音出力部としてのイヤホン４８とを備える。
【００１９】
第２マイク４１（４１Ａ，４１Ｂ，４１Ｃ，４１Ｄ）は、音を入力し、入力した音を音データに変換して出力する。第２マイク４１は、携帯電話機１の筐体２に複数配置される。具体的には、第２マイク４１は、筐体２の前面１０における左右両端部にそれぞれ配置される（図１参照）と共に、筐体２の後面３０における左右両端部にそれぞれ配置される（図２参照）。前面１０及び後面３０のそれぞれに配置される第２マイク４１は、左右対称に配置されることが好ましい。
なお、本実施形態では、４つの第２マイク４１が筐体２に配置される例について説明している。しかしながら、本発明は、この例に限定されることはなく、２つ以上の第２マイク４１が筐体２に配置されればよい。
【００２０】
Ａ／Ｄ変換部４２は、各第２マイク４１の後段に接続される。Ａ／Ｄ変換部４２は、第２マイク４１から出力されたアナログの音データをディジタルの音データに変換して出力する。
【００２１】
入力方向特定部４３は、後述する第１テーブルを参照することにより、第２マイク４１（Ａ／Ｄ変換部４２）のそれぞれから出力された音データに基づいて、音の入力方向（音源の位置）を特定する。すなわち、入力方向特定部４３は、音が第２マイク４１に入力される時間と、第２マイク４１（Ａ／Ｄ変換部４２）から出力される音データに基づく音の周波数特性とに基づいて、音の入力方向を特定する。
【００２２】
入力方向特定部４３は、ディジタルシグナルプロセッサ（ＤＳＰ）等により構成される。入力方向特定部４３は、周波数特性を得るために、第２マイク４１から出力された音データに基づく音についての周波数スペクトルを解析する。また、入力方向特定部４３は、音の入力方向を特定した場合、特定した音の入力方向についての情報（入力方向データ）を処理部４６に出力する。さらに、入力方向特定部４３は、第２マイク４１から入力された音データを処理部４６に出力する。なお、音の入力方向を特定する処理の詳細については、後述する。
【００２３】
記憶部４４は、音の入力方向に応じてそれぞれ設定され、音に対してサラウンド効果を加えるための第２テーブル（第２テーブルは、本発明の「テーブル」に対応する。）を複数記憶する。ここで、音に対してサラウンド効果を加えるとは、各第２マイク４１から出力される音データ基づく音の大きさを音データ毎に変える処理や、各音データの位相を変える処理を行うことである。サラウンド効果が加えられた音を人が聞いた場合には、人は、直接、音を耳で聞くのと同様に、どの方向で音がしたのかを判別する（音源の位置を特定する）ことが可能になる。なお、第２テーブルの詳細については、後述する。
【００２４】
決定部４５は、携帯電話機１の向きを決定する。例えば、決定部４５は、携帯電話機１の後面に配置される撮像部としてのカメラ２３（図２参照）によって、携帯電話機１のユーザの顔が撮影されているか否かを判断する。決定部４５は、カメラ２３によってユーザの正面の顔が撮影されていると判断した場合、携帯電話機１における前面１０の方向と、ユーザが向いている正面の方向とが一致していると決定する。決定部によって決定された結果は、決定データとして処理部４６に出力される。
【００２５】
処理部４６は、記憶部４４に記憶される複数の第２テーブルの中から、入力方向特定部４３によって特定された音の入力方向に応じた第２テーブルを選択し、選択されたテーブルに基づいて、音データに基づく音に対してサラウンド効果を加える。すなわち、処理部４６は、入力方向データ及び決定データに基づいて、第２テーブルを選択し、選択されたテーブルに基づいて、音データに基づく音に対してサラウンド効果を加える。なお、携帯電話機１のユーザに対するその携帯電話機１の向きが予め決められている場合には、処理部４６は、入力方向データのみに基づいて第２テーブルを選択し、選択されたテーブルに基づいて、音データに基づく音に対してサラウンド効果を加えることが可能である。
【００２６】
また、処理部４６は、入力方向データ及び決定データに基づいて、例えば、携帯電話機１における前面１０の方向と、ユーザが向いている正面の方向とが一致する場合に、筐体２の前面１０における左側に配置された第２マイク４１Ａと、筐体２の後面３０における左側に配置された第２マイク４１Ｃとに対応する各音データ（サラウンド効果が加えられた音データ）を、１つの音データに合成して出力する。さらに、処理部４６は、筐体２の前面１０における右側に配置された第２マイク４１Ｂと、筐体２の後面３０における右側に配置された第２マイク４１Ｄとに対応する各音データ（サラウンド効果が加えられた音データ）を、１つの音データに合成して出力する。
【００２７】
Ｄ／Ａ変換部４７は、処理部４６から出力されたディジタルの音データをアナログの音データに変換して出力する。
【００２８】
イヤホン４８は、処理部４６によってサラウンド効果が加えられた音を出力する。例えば、携帯電話機１における前面１０の方向と、ユーザが向いている正面の方向とが一致する場合に、筐体２の前面１０及び後面３０それぞれにおける左側に配置された第２マイク４１Ａ，４１Ｃによって集音された音は、人の左耳に装着されるスピーカ４８Ｌから出力される。一方、筐体２の前面１０及び後面３０それぞれにおける右側に配置された第２マイク４１Ｂ，４１Ｄによって集音された音は、人の右耳に装着されるスピーカ４８Ｒから出力される。
【００２９】
次に、音の入力方向を特定する処理について説明する。音の入力方向を特定するために利用される第１テーブルは、入力方向特定部４３に保持される。その第１テーブルは、次のようにして作成される。図４は、携帯電話機１及び音源５１の配置位置を説明するための図である。
【００３０】
まず、携帯電話機１と、スイープ音（周波数変化音）を出力する音源５１とを無響室に配置する。音源５１は、図４に示すように、携帯電話機１に対して、正面（パターン１）、右前（パターン２）、右（パターン３）、右後（パターン４）、背面（パターン５）、左後（パターン６）、左（パターン７）、又は左前（パターン８）に配置される。そして、携帯電話機１は、複数の音源５１のうちのいずれか１つから出力されるスイープ音を各第２マイク４１によって集音する。
【００３１】
入力方向特定部４３は、第２マイク４１それぞれによって集音された音に対応する音データを入力して、その音の到達時間を判定する。例えば、携帯電話機１の正面に音源５１が配置されている場合（パターン１）には、筐体２の正面に配置される第２マイク４１Ａ及び第２マイク４１Ｂのそれぞれには略同時にスイープ音が到達する（通常の場合）。一方、筐体２の後面３０に配置される第２マイク４１Ｃ及び第２マイク４１Ｄのそれぞれには、第２マイク４１Ａ及び第２マイク４１Ｂにスイープ音が入力された時よりも遅れてスイープ音が到達する（遅い場合）。
【００３２】
さらに、入力方向特定部４３は、入力された音データに基づく音について周波数スペクトルの解析を行う。音源５１から出力された音が第２マイク４１に直接に入力される場合には、周波数スペクトルの解析結果である周波数特性には、変化が生じない（フラットになる）。一方、音源５１から出力された音が第２マイク４１に直接に入力されない場合には、周波数スペクトルの解析結果である周波数特性には、変化が生じる。すなわち、音源５１から出力されるスイープ音の周波数が低域の場合、周波数特性は、より低い周波数となる。また、音源５１から出力されるスイープ音の周波数が中・高域の場合には、周波数特性は、より高い周波数となる。
【００３３】
例えば、携帯電話機１の正面に音源５１が配置されている場合（パターン１）には、第２マイク４１Ａ及び第２マイク４１Ｂにより集音された音に基づく周波数特性は、フラットになる。一方、第２マイク４１Ｃ及び第２マイク４１Ｄにより集音された音に基づく周波数特性は、低域が低くなり、中・高域が高くなる。
なお、上記の例示をまとめた第１テーブル（パターン１に対応する第１テーブル）は、表１のようになる。
【００３４】
【表１】
【００３５】
また、パターン２からパターン８の場合についても、パターン１の場合と同様にして、到達時間と、周波数特性を求める。そして、パターン２からパターン８に対応する第１テーブルは、それぞれ表２から表８のようになる。
【００３６】
【表２】
【００３７】
【表３】
【００３８】
【表４】
【００３９】
【表５】
【００４０】
【表６】
【００４１】
【表７】
【００４２】
【表８】
【００４３】
上記の第１テーブルを参照することにより、音の入力方向を特定する処理は、次のようになる。まず、入力方向特定部４３は、各第２マイク４１から出力された音データに基づいて、各第２マイク４１に音が到達した時間を判別する。さらに、入力方向特定部４３は、各第２マイク４１から出力された音データに基づく音について周波数スペクトルの解析を行うことにより、周波数特性を調べる。そして、入力方向特定部４３は、判別した到達時間と周波数特性とが、複数の第１テーブルのうちいずれのものと一致する又は略一致するのか判定し、判定結果（特定の第１テーブル）に対応するパターンを特定する。例えば、入力方向特定部４３は、判別した到達時間と周波数特性とが表１の第１テーブルに一致するという判定結果を得た場合には、判定結果に対応するパターン１を特定する。すなわち、入力方向特定部４３は、音の入力方向が筐体２の正面であると特定する。
【００４４】
次に、記憶部４４に記憶される第２テーブルについて説明する。表９から表１６は、携帯電話機１のユーザに対する音の入力方向がそれぞれ、正面、右前、右、右後、背面、左後、左、及び左前の場合の第２テーブルを示す。
【００４５】
例えば、携帯電話機１のユーザに対する音の入力方向が正面であると特定された場合には、音が人の正面から聞こえるようにするための設定が第２テーブルになされている。具体的には、第２テーブルは、携帯電話機１のユーザの正面に対して、左前に配置される第２マイク４１から出力される音データに基づく音、及び右前に配置される第２マイク４１から出力される音データに基づく音を、左後に配置される第２マイク４１及び右後に配置される第２マイク４１それぞれに基づく音よりも大きくするための設定（出力：大）がなされている。また、第２テーブルは、左後に配置される第２マイク４１から出力される音データに基づく音、及び右後に配置される第２マイク４１から出力される音データに基づく音を通常の大きさで出力するための設定（出力：通常）がなされている。
【００４６】
また、第２テーブルは、左前に配置される第２マイク４１から出力される音データＥ（信号）、及び右前に配置される第２マイク４１から出力される音データＦ（信号）の位相をそのままにしてイヤホン４８から出力させるための設定（位相：通常）がなされている。また、第２テーブルは、左後に配置される第２マイク４１から出力される音データＧ（信号）、及び右後に配置される第２マイク４１から出力される音データＨ（信号）の位相を、音データＥ及び音データＦの位相よりも遅くしてイヤホン４８から出力させるための設定（位相：遅い）がなされている。
【００４７】
【表９】
【００４８】
また、携帯電話機１のユーザに対する音の入力方向が、右前、右、右後、背面、左後、左及び左前と特定される場合には、イヤホン４８から出力される音がその特定された方向から聞こえるようにするための設定が第２テーブルになされている。音の入力方向が、右前、右、右後、背面、左後、左及び左前の場合に対応する第２テーブルは、それぞれ、表１０、表１１、表１２、表１３、表１４、表１５及び表１６のようになる。
【００４９】
【表１０】
【００５０】
【表１１】
【００５１】
【表１２】
【００５２】
【表１３】
【００５３】
【表１４】
【００５４】
【表１５】
【００５５】
【表１６】
【００５６】
次に、携帯電話機１の動作について説明する。なお、この動作説明においては、携帯電話機１の右側で音が発生している場合を例示する。
まず、各第２マイク４１は、音を入力して、入力した音を音データに変換して出力する。Ａ／Ｄ変換部４２は、各第２マイク４１から出力されたアナログの音データをディジタルの音データに変換して出力する。
【００５７】
入力方向特定部４３は、Ａ／Ｄ変換部４２から音データが入力された場合に、音が各第２マイク４１に入力された時間を特定する。ここでは、入力方向特定部４３は、第２マイク４１Ａ及び第２マイク４１Ｃに音が入力されたそれぞれの時間（到達時間）が第２マイク４１Ｂ及び第２マイク４１Ｄに音が入力された時間（到達時間）よりも遅いと特定する。
【００５８】
また、入力方向特定部４３は、Ａ／Ｄ変換部４２から入力された音データに基づく音についての周波数スペクトルを解析する。ここでは、入力方向特定部４３は、第２マイク４１Ａ及び第２マイク４１Ｃそれぞれに入力された音の周波数特性は、第２マイク４１Ｂ及び第２マイク４１Ｄそれぞれに入力された音の周波数特性よりも低域が低く、中・高域が高い、という解析結果を得る。
【００５９】
さらに、入力方向特定部４３は、取得した到達時間及び周波数特性と、各第１テーブルに記載される特性とを比較することにより、取得した到達時間及び周波数特性がいずれの第１テーブルに記載される特性と一致する又は略一致するのか判定し、判定された第１テーブルに対応する音の入力方向を特定する。ここでは、入力方向特定部４３は、取得した到達時間及び周波数特性と表３に記載される特性とが一致すると判定するため、音の入力方向が携帯電話機１の右側であると特定する。
【００６０】
決定部４５は、カメラ２３によって撮像される画像に携帯電話機１のユーザの顔が写っているか否か判断する。決定部４５は、画像にユーザの正面の顔が写っていると判断した場合には、ユーザの正面と、携帯電話機１の正面とが同じ方向を向いていると決定する。また、決定部４５は、画像にユーザの顔が右向きに写っていると判断した場合には、ユーザの正面と、携帯電話機１の左側面とが同じ方向を向いていると決定する。さらに、決定部４５は、画像にユーザの顔が左向きに写っていると判断した場合には、ユーザの正面と、携帯電話機１の右側面とが同じ方向を向いていると決定する。
【００６１】
処理部４６は、入力方向特定部４３による特定結果と、決定部４５による決定結果とに基づいて、記憶部４４に記憶されるいずれかの第２テーブルを選択する。ここで、決定部４５によって、ユーザの正面と、携帯電話機１の正面とが同じ方向を向いていると決定されている場合には、処理部４６は、入力方向特定部の特定結果に基づいて、ユーザの右側から音が入力されていると判断して、表１１に示す第２テーブルを選択する。
【００６２】
また、決定部４５によって、ユーザの正面と、携帯電話機１の左側面とが同じ方向を向いていると決定されている場合には、処理部４６は、入力方向特定部の特定結果に基づいて、ユーザの後ろ側から音が入力されていると判断して、表１３に示す第２テーブルを選択する。
【００６３】
さらに、決定部４５によって、ユーザの正面と、携帯電話機１の右側面とが同じ方向を向いていると決定されている場合には、処理部４６は、入力方向特定部の特定結果に基づいて、ユーザの正面から音が入力されていると判断して、表９に示す第２テーブルを選択する。
【００６４】
そして、処理部４６は、選択された第２テーブルに基づいて、音にサラウンド効果を加える。例えば、ユーザの正面と、携帯電話機１の左側面とが同じ方向を向いていると決定されている場合には、処理部４６は、表９に示す第２テーブルに基づいて、第２マイク４１Ｂ及び第２マイク４１Ｄから出力されたそれぞれの音データＢ及び音データＤに基づく音が、第２マイク４１Ａ及び第２マイク４１Ｃから出力されたそれぞれの音データＡ及び音データＣに基づく音よりも大きくなるように、音データＢ及び音データＤを調整する。また、処理部４６は、表９に示す第２テーブルに基づいて、第２マイク４１Ａ及び第２マイク４１Ｃから出力されたそれぞれの音データＡ及び音データＣに基づく音の位相が、第２マイク４１Ｂ及び第２マイク４１Ｄから出力されたそれぞれの音データＢ及び音データＤに基づく音の位相よりも遅くなるように、音データＡ及び音データＣを調整する。
【００６５】
さらに、ユーザの正面と、携帯電話機１の左側面とが同じ方向を向いていると決定されている場合には、処理部４６は、調整後の音データＡと調整後の音データＣとが１つの音データＡＣになるよう合成すると共に、調整後の音データＢと調整後の音データＤとが１つの音データＢＤになるよう合成する。
【００６６】
ユーザの正面と、携帯電話機１の左側面とが同じ方向を向いていると決定されている場合には、Ｄ／Ａ変換部４７は、処理部４６から出力されたディジタルの音データＡＣと音データＢＤとをそれぞれアナログの音データＡＣと音データＢＤとに変換して出力する。
【００６７】
ユーザの正面と、携帯電話機１の左側面とが同じ方向を向いていると決定されている場合には、イヤホン４８は、音データＡＣと音データＢＤとのそれぞれに基づく音を出力する。ここでは、人の左耳に装着されるスピーカ４８Ｌからは音データＡＣに基づく音が出力され、人の右耳に装着されるスピーカ４８Ｒからは音データＢＤに基づく音が出力される。人は、音データＡＣ及び音データＢＤそれぞれに基づく音を聞くことにより、音が聞こえてくる方向が右側からであると特定することが可能になる。
【００６８】
このような携帯電話機１によれば、音を聞く人に対して、その音が聞こえてくる方向を特定させることができる。すなわち、携帯電話機１は、音がどの方向から聞こえてくるのか判別させることができる。
【００６９】
次に、本発明の音出力システムの一実施形態について説明する。図５は、本発明の一実施形態に係る音出力システム１００の機能ブロック図である。
音出力システム１００は、携帯電子機器の一例としての携帯電話機１１０と、携帯電話機１１０と通信ネットワークＮを介して接続する外部装置１２０とを備える。
【００７０】
携帯電話機１１０の外観は、図１及び図２に示す携帯電話機１と同様の構成である。また、携帯電話機１１０は、複数の第２マイク１１１（１１１Ａ，１１１Ｂ，１１１Ｃ，１１１Ｄ）（第２マイク１１１は、本発明の「マイク」に対応する。）と、Ａ／Ｄ変換部１１２と、第１通信部１１３と、Ｄ／Ａ変換部１１４と、音出力部としてのイヤホン１１５と、を備える。
【００７１】
第２マイク１１１は、音を入力し、入力した音を第１音データに変換して出力する。第２マイク１１１は、携帯電話機１に配置される第２マイク４１と同様の構成である。
Ａ／Ｄ変換部１１２は、各第２マイク１１１の後段に接続される。Ａ／Ｄ変換部１１２は、携帯電話機１に配置されるＡ／Ｄ変換部４２と同様の構成である。
【００７２】
第１通信部１１３は、第２マイク１１１（Ａ／Ｄ変換部１１２）のそれぞれから出力された第１音データを、通信ネットワークＮを介して外部装置１２０に送信すると共に、第２音データを、通信ネットワークＮを介して外部装置１２０から受信する。
Ｄ／Ａ変換部１１４は、第１通信部１１３によって受信されたディジタルの第２音データをアナログの第２音データに変換してイヤホン１１５に出力する。
【００７３】
イヤホン１１５は、第１通信部１１３によって受信された第２音データ（Ｄ／Ａ変換部１１４から出力された第２音データ）に基づく音を出力する。なお、イヤホン１１５は、携帯電話機１に配置されるイヤホン４８と同様の構成である。
【００７４】
外部装置１２０は、例えば、サーバである。その外部装置１２０は、第２通信部１２１と、入力方向特定部１２２と、記憶部１２３と、決定部１２４と、処理部１２５とを備える。
第２通信部１２１は、通信ネットワークＮを介して携帯電話機１１０から第１音データを受信すると共に、通信ネットワークＮを介して携帯電話機１１０に第２音データを送信する。
【００７５】
入力方向特定部１２２は、第２通信部１２１によって受信された第１音データに基づいて、音の入力方向を特定する。入力方向特定部１２２は、携帯電話機１に配置される入力方向特定部４３と同様の構成である。
記憶部１２３は、音の入力方向に応じてそれぞれ設定され、音に対してサラウンド効果を加えるための第２テーブル（第２テーブルは、本発明の「テーブル」に対応する。）を複数記憶する。第２テーブルは、携帯電話機１の記憶部４４に記憶される第２テーブルと同様の構成である。
【００７６】
決定部１２４は、携帯電話機１に配置される決定部４５と同様の構成である。
処理部１２５は、記憶部１２３に記憶される複数の第２テーブルの中から、入力方向特定部１２２によって特定された音の入力方向に応じた第２テーブルを選択し、選択された第２テーブルに基づいて、第１音データに基づく音に対してサラウンド効果を加えて、第２音データとして第２通信部１２１に出力する。処理部１２５は、携帯電話機１に配置される処理部４６と同様の構成である。
【００７７】
このような音出力システム１００によれば、音を聞く人に対して、その音が聞こえてくる方向を特定させることができる。すなわち、音出力システム１００は、音がどの方向から聞こえてくるのか判別させることができる。
【００７８】
なお、上述した実施形態では、携帯電子機器の一例として携帯電話機１，１１０を挙げた。しかしながら、携帯電子機器は、携帯電話機１，１１０に限定されることはなく、例えば、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ ｐｈｏｎｅ Ｓｙｓｔｅｍ）であってもよい。
【符号の説明】
【００７９】
１ 携帯電話機（携帯電子機器）
２ 筐体
４１ 第２マイク（マイク）
４３ 入力方向特定部
４４ 記憶部
４５ 決定部
４６ 処理部
４８ イヤホン（音出力部）
１００ 音出力システム
１１０ 携帯電話機（携帯電子機器）
１２０ 外部装置
【特許請求の範囲】
【請求項１】
複数のマイクと、
前記複数のマイクに入力された音に基づいて、音の入力方向を特定する入力方向特定部と、
音の入力方向に応じてそれぞれ設定され、音に対してサラウンド効果を加えるためのテーブルを複数記憶する記憶部と、
前記記憶部に記憶される複数のテーブルの中から、特定された音の入力方向に応じたテーブルを選択し、選択されたテーブルに基づいて、音データに基づく音に対してサラウンド効果を加える処理部と、
前記処理部によってサラウンド効果が加えられた音を出力する音出力部と、
を備える携帯電子機器。
【請求項２】
筐体を備え、
前記マイクは、前記筐体の前面における左右両端部にそれぞれ配置されると共に、前記筐体の後面における左右両端部にそれぞれ配置される
請求項１に記載の携帯電子機器。
【請求項３】
前記入力方向特定部は、音が前記マイクに入力される時間と、前記マイクから出力される音データに基づく音の周波数特性とに基づいて、音の入力方向を特定する
請求項１又は２に記載の携帯電子機器。
【請求項４】
前記筐体に配置される撮像部を備え、
前記撮像部によりユーザの顔が撮像されると、前記筐体と前記ユーザとの位置関係を特定する
請求項２に記載の携帯電子機器。
【請求項５】
携帯電子機器と、前記携帯電子機器と通信ネットワークを介して接続する外部装置とを備える音出力システムであって、
前記携帯電子機器は、
音を入力し、入力した音を第１音データに変換して出力する、複数のマイクと、
前記マイクのそれぞれから出力された第１音データを前記外部装置に送信すると共に、第２音データを前記外部装置から受信する第１通信部と、
前記第１通信部によって受信された第２音データに基づく音を出力する音出力部と、を備え、
前記外部装置は、
前記携帯電子機器から第１音データを受信すると共に、前記携帯電子機器に第２音データを送信する第２通信部と、
前記第２通信部によって受信された第１音データに基づいて、音の入力方向を特定する入力方向特定部と、
音の入力方向に応じてそれぞれ設定され、音に対してサラウンド効果を加えるためのテーブルを複数記憶する記憶部と、
前記記憶部に記憶される複数のテーブルの中から、前記入力方向特定部によって特定された音の入力方向に応じたテーブルを選択し、選択されたテーブルに基づいて、第１音データに基づく音に対してサラウンド効果を加えて、第２音データとして前記第２通信部に出力する処理部と、を備える
音出力システム。
【請求項６】
前記携帯電子機器は、
筐体と、
前記筐体に配置される撮像部と、を備え、
前記撮像部によりユーザの顔が撮像されると、前記筐体と前記ユーザとの位置関係を特定する
請求項５に記載の音出力システム。
【請求項１】
複数のマイクと、
前記複数のマイクに入力された音に基づいて、音の入力方向を特定する入力方向特定部と、
音の入力方向に応じてそれぞれ設定され、音に対してサラウンド効果を加えるためのテーブルを複数記憶する記憶部と、
前記記憶部に記憶される複数のテーブルの中から、特定された音の入力方向に応じたテーブルを選択し、選択されたテーブルに基づいて、音データに基づく音に対してサラウンド効果を加える処理部と、
前記処理部によってサラウンド効果が加えられた音を出力する音出力部と、
を備える携帯電子機器。
【請求項２】
筐体を備え、
前記マイクは、前記筐体の前面における左右両端部にそれぞれ配置されると共に、前記筐体の後面における左右両端部にそれぞれ配置される
請求項１に記載の携帯電子機器。
【請求項３】
前記入力方向特定部は、音が前記マイクに入力される時間と、前記マイクから出力される音データに基づく音の周波数特性とに基づいて、音の入力方向を特定する
請求項１又は２に記載の携帯電子機器。
【請求項４】
前記筐体に配置される撮像部を備え、
前記撮像部によりユーザの顔が撮像されると、前記筐体と前記ユーザとの位置関係を特定する
請求項２に記載の携帯電子機器。
【請求項５】
携帯電子機器と、前記携帯電子機器と通信ネットワークを介して接続する外部装置とを備える音出力システムであって、
前記携帯電子機器は、
音を入力し、入力した音を第１音データに変換して出力する、複数のマイクと、
前記マイクのそれぞれから出力された第１音データを前記外部装置に送信すると共に、第２音データを前記外部装置から受信する第１通信部と、
前記第１通信部によって受信された第２音データに基づく音を出力する音出力部と、を備え、
前記外部装置は、
前記携帯電子機器から第１音データを受信すると共に、前記携帯電子機器に第２音データを送信する第２通信部と、
前記第２通信部によって受信された第１音データに基づいて、音の入力方向を特定する入力方向特定部と、
音の入力方向に応じてそれぞれ設定され、音に対してサラウンド効果を加えるためのテーブルを複数記憶する記憶部と、
前記記憶部に記憶される複数のテーブルの中から、前記入力方向特定部によって特定された音の入力方向に応じたテーブルを選択し、選択されたテーブルに基づいて、第１音データに基づく音に対してサラウンド効果を加えて、第２音データとして前記第２通信部に出力する処理部と、を備える
音出力システム。
【請求項６】
前記携帯電子機器は、
筐体と、
前記筐体に配置される撮像部と、を備え、
前記撮像部によりユーザの顔が撮像されると、前記筐体と前記ユーザとの位置関係を特定する
請求項５に記載の音出力システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−１７５５８０（Ｐ２０１２−１７５５８０Ａ）
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願番号】特願２０１１−３７６４３（Ｐ２０１１−３７６４３）
【出願日】平成２３年２月２３日（２０１１．２．２３）
【出願人】（０００００６６３３）京セラ株式会社 (13,660)
【Ｆターム（参考）】
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願日】平成２３年２月２３日（２０１１．２．２３）
【出願人】（０００００６６３３）京セラ株式会社 (13,660)
【Ｆターム（参考）】
[ Back to top ]