音伝達装置
【課題】聴取者の音定位の精度を向上させることができる音伝達装置を提供する。
【解決手段】スピーカＰｎから出力音を出力させて車両３の運転者へ伝達する音伝達装置であって、運転者の顔位置に基づいて出力音の音圧を調整する音圧制御部１３と、運転者の顔方向に存在するスピーカＰｎの位置を示す視覚情報を出力する発行素子Ｌｎとを備えることで、運転者の音定位の範囲を狭めることができ、音定位方向をより明確とすることが可能となるため、運転者の音定位の精度を向上させることができる。
【解決手段】スピーカＰｎから出力音を出力させて車両３の運転者へ伝達する音伝達装置であって、運転者の顔位置に基づいて出力音の音圧を調整する音圧制御部１３と、運転者の顔方向に存在するスピーカＰｎの位置を示す視覚情報を出力する発行素子Ｌｎとを備えることで、運転者の音定位の範囲を狭めることができ、音定位方向をより明確とすることが可能となるため、運転者の音定位の精度を向上させることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音を伝達する装置に関するものである。
【背景技術】
【０００２】
従来、音を伝達する装置として、車両内に出力される音声を調整する装置が知られている（例えば、特許文献１参照）。特許文献１に記載の装置は、車両内の人物を赤外線カメラで撮影して顔位置を演算し、顔位置に応じてスピーカから出力される音声の音響調整を行うものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２３６３９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の装置にあっては、例えば、車両内装形状により音の反射や吸収が異なったり、聴取者の能力に個人差があったりするため、聴取者が音源の位置を正確に知覚することができないおそれがある。
【０００５】
そこで、本発明はこのような技術課題を解決するためになされたものであって、聴取者の音定位の精度を向上させることができる音伝達装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
すなわち、本発明に係る音伝達装置は、音源から出力音を出力させて車両内の聴取者へ伝達する音伝達装置であって、前記聴取者の顔位置に基づいて前記出力音の音圧を調整する音圧調整手段と、前記聴取者の顔方向に存在する前記音源の位置を示す視覚情報を出力する視覚情報出力手段とを備えることを特徴として構成される。
【０００７】
本発明に係る音伝達装置では、音圧調整手段により聴取者の顔位置に基づいて音源からの出力音の音圧が調整され、視覚情報出力手段により聴取者の顔方向に存在する音源の位置を示す視覚情報が出力される。このため、聴取者の顔位置に基づいて聴取者にとって最適な音響を聴取者へ提供することができるとともに、聴取者が音定位しようとする位置を誘導させることが可能となる。よって、聴取者の音定位の精度を向上させることが可能となる。
【０００８】
ここで、前記視覚情報出力手段は、前記聴取者の顔方向と前記聴取者を基準とする前記音源の方向との差が、最も小さい前記音源の位置を示す視覚情報を出力することが好適である。このように構成することで、聴取者の音定位の精度を一層向上させることができる。
【０００９】
また、前記視覚情報出力手段は、赤外線カメラによる前記聴取者の画像に基づいて前記聴取者の顔方向を取得してもよい。
【００１０】
また、前記視覚情報出力手段は、前記音源付近に配置された発光素子を発光させることが好適である。このように構成することで、音源の方向を視覚誘導させることができるので、聴取者が音源の位置を正確に知覚することができる。
【００１１】
さらに、前記音圧調整手段は、顔位置に応じた音圧が記録された音圧マップを用いて前記出力音の音圧を調整することが好適である。このように構成することで、聴取者の顔位置に依存することなく比較的均一な音を提供することができる。
【００１２】
また、本発明に係る音伝達装置は、聴取者の顔位置に応じて車両内に配置された各音源の出力音圧を調整し、かつ、前記聴取者の顔位置に近い音源を示す視覚的刺激を発生させることを特徴として構成される。このように構成することで、聴取者が音定位しようとする位置を誘導させることが可能となるので、聴取者の音定位の精度を向上させることができる。
【発明の効果】
【００１３】
本発明によれば、聴取者の音定位の精度を向上させることができる。
【図面の簡単な説明】
【００１４】
【図１】実施形態に係る音伝達装置を備える車両の構成概要を示すブロック図である。
【図２】実施形態に係る音伝達装置が有する音圧マップである。
【図３】実施形態に係る音伝達装置の動作を説明するためのフローチャートである。
【図４】実施形態に係る音伝達装置の動作を説明するためのフローチャートである。
【図５】実施形態に係る音伝達装置の動作を説明するための概要図である。
【発明を実施するための形態】
【００１５】
以下、添付図面を参照して本発明の実施形態について説明する。なお、各図において同一又は相当部分には同一の符号を付し、重複する説明を省略する。
【００１６】
本実施形態に係る音伝達装置は、例えば車両の乗員（聴取者）に対して音声や音を用いて情報を提供する場合に好適に採用されるものである。
【００１７】
最初に、本実施形態に係る音伝達装置を備える車両の概要から説明する。図１は、本実施形態に係る音伝達装置１を備える車両の構成概要を示すブロック図である。図１に示す車両３は、撮像カメラ２０、集音マイク２１、ＥＣＵ（Electronic Control Unit）１０及びスピーカ群Ｇを備えている。ＥＣＵは、電子制御する自動車デバイスのコンピュータであり、ＣＰＵ（Central ProcessingUnit）、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等のメモリ、及び入出力インターフェイスなどを備えて構成されている。
【００１８】
撮像カメラ２０は、運転者（聴取者）の顔を撮像する機能を有している。また、撮像カメラ２０は、運転者の距離情報（位置情報）を取得する機能を有している。撮像カメラ２０として、例えば距離計測機能を有するステレオカメラや赤外線カメラが用いられる。また、撮像カメラ２０は、ＥＣＵ１０に接続されており、取得した映像及び位置情報をＥＣＵ１０へ出力する機能を有している。
【００１９】
集音マイク２１は、車両３室内に出力される出力音の音圧を取得する機能を有している。例えば、集音マイク２１は、運転者の耳近傍に設けられ、運転者が聞き取る音の音圧を取得する機能を有している。また、集音マイク２１は、ＥＣＵ１０に接続されており、取得した音圧に関する情報をＥＣＵ１０へ出力する機能を有している。
【００２０】
ＥＣＵ１０は、顔位置・顔方向計測部１１、個人認証部１２、音圧制御部１３、音圧マップ作成部１４及び音圧マップＤＢ１５を備えている。
【００２１】
顔位置・顔方向計測部１１は、運転者の顔位置や顔方向を計測する機能を有している。例えば、顔位置・顔方向計測部１１は、撮像カメラ２０により取得された映像に基づいて、運転者の顔の特徴点を取得し、特徴点の変動量を算出することで顔位置の変位や顔の向き（顔方向）を取得する機能を有している。特徴量の取得には、例えばテンプレートマッチングが用いられる。さらに、顔位置・顔方向計測部１１は、取得した顔位置の変位や顔の向きに関する情報を音圧制御部１３へ出力する機能を有している。
【００２２】
個人認証部１２は、運転者の認証を行う機能を有している。例えば、個人認証部１２は、撮像カメラ２０により取得された映像に基づいて、運転者の顔の特徴点を取得し、取得された運転者の顔の特徴点と、ＥＣＵ１０のメモリ等に格納された登録済みの運転者の顔の特徴点とをマッチング処理し、運転者が登録済みの運転者であるか否かを認証する機能を有している。また、個人認証部１２は、認証結果を音圧制御部１３へ出力する機能を有している。
【００２３】
音圧マップＤＢ１５は、運転者のアイポイントを基準とした顔の横変位、顔の縦変位、耳の高さ変位に依存した音圧を示す音圧マップが格納されたデータベースである。図２を用いて、音圧マップＤＢ１５及び音圧マップの詳細について説明する。図２に示すように、音圧マップＤＢ１５には、複数の運転者に係る音圧マップが、個人ＩＤ（Ａ、Ｂ…）に関連付けされて格納されている。また、音圧マップＤＢ１５には、１人の運転者に係る音圧マップが、例えば顔方向θ（−π≦θ≦π、正面θ＝０）に関連付けされて格納されている。図２では、個人ＩＤがＡの運転者であり、顔方向θがａの場合の音圧マップを示している。音圧マップは、例えば、運転者に係るアイポイントを原点Ｏとし、原点Ｏからの顔の横変位ｘ、顔の縦変位ｙ、耳の高さ変位ｚを定めると１つの座標点Ｋ（ｘＫ、ｙＫ、ｚＫ）を特定できるように構成されている。座標点Ｋには、運転者の顔位置が、原点Ｏから横変位ｘＫ、縦変位ｙＫ、耳の高さ変位ｚＫとなる場合に、運転者にとって聞き取り易い最適な音圧が関連付けされている。例えば、後述するスピーカ群Ｇに備わるスピーカＰｎ（ｎ：整数）それぞれにより出力される音圧が関連付けされている。音圧マップＤＢ１５に格納された音圧マップを参照することで、運転者の顔位置及び顔方向に基づいて最適な音圧を設定することができる。
【００２４】
音圧マップ作成部１４は、音圧マップＤＢ１５に格納された音圧マップを作成する機能を有している。音圧マップ作成部１４は、音圧マップを用いた音圧制御前に、例えば個人認証部１２の認証対象者として登録する際に、認証対象者の音圧マップを作成する機能を有している。音圧マップ作成部１４は、例えば、集音マイク２１が出力した運転者の可動範囲の全ての位置における音の音圧を入力し、運転者の体勢や姿勢に関らず音圧が均一になるように音圧マップを作成する機能を有している。
【００２５】
音圧制御部１３は、スピーカ群Ｇから出力される出力音の音圧を調整する機能を有している。音圧制御部１３は、例えば、上述した顔位置・顔方向計測部１１及び個人認証部１２に接続されており、音圧マップＤＢ１５を参照可能に構成されている。そして、音圧制御部１３は、例えば、個人認証部１２の認証結果に基づいて運転者の個人ＩＤを取得し、顔位置・顔方向計測部１１により出力された顔方向及び取得した個人ＩＤに基づいて音圧マップＤＢ１５から処理に用いる音圧マップを動的に選択し、顔位置・顔方向計測部１１により出力された運転者の顔位置に基づいて最適な音圧を動的に取得する機能を有している。そして、音圧制御部１３は、最適な音圧を用いてスピーカ群Ｇを動作させる機能を有している。また、音圧制御部１３は、運転者の顔方向に存在するスピーカＰｎの位置を示す視覚情報を、スピーカ群Ｇに出力させる機能を有している。
【００２６】
スピーカ群Ｇは、少なくとも１対のスピーカＰｎ及び発光素子Ｌｎ（ｎ：整数）を備えており、運転者に対して必要な情報を音により伝達する機能を有している。スピーカＰｎは、音圧制御部１３によって音出力可能に構成されている。また、発光素子Ｌｎは、スピーカＰｎの本体又はその近傍に設けられており、音圧制御部１３によって点灯、点滅可能に構成されている。発光素子Ｌｎの点灯又は点滅は、スピーカＰｎの位置を示す視覚情報となる。発光素子Ｌｎとして、例えばＬＥＤ（Light Emitting Diode）が用いられる。
【００２７】
上述した、撮像カメラ２０、顔位置・顔方向計測部１１、個人認証部１２、音圧制御部１３、音圧マップＤＢ１５及びスピーカ群Ｇを備えて音伝達装置１が構成されている。
【００２８】
次に、本実施形態に係る音伝達装置１の動作について説明する。最初に、音伝達装置１の音圧マップ生成動作を説明する。図３は、本実施形態に係る音伝達装置１の音圧マップ生成動作を示すフローチャートである。図３に示す制御処理は、例えば、後述する図４の処理前に実行される。
【００２９】
図３に示すように、音伝達装置１は、撮像処理から開始する（Ｓ１０）。Ｓ１０の処理は、撮像カメラ２０が実行し、運転者の顔を撮像する処理である。Ｓ１０の処理が終了すると、個人認証処理へ移行する（Ｓ１２）。
【００３０】
Ｓ１２の処理は、個人認証部１２が実行し、運転者の認証を行う処理である。個人認証部１２は、Ｓ１０の処理で取得した映像に基づいて、運転者の顔の特徴点を抽出し、個人認証を行う。既に登録されている運転者である場合には、個人認証部１２は、登録されている個人ＩＤを入力する。一方、未だ登録されていない運転者である場合には、個人認証部１２は、新たな個人ＩＤを割り当てる。Ｓ１２の処理が終了すると、登録処理へ移行する（Ｓ１４）。
【００３１】
Ｓ１４の処理は、音圧マップ作成部１４が実行し、音圧マップＤＢ１５を構築する処理である。音圧マップ作成部１４は、Ｓ１２の処理で割り当てた個人ＩＤを音圧マップＤＢ１５に登録する。また、Ｓ１２の処理で既に登録されている運転者であるとされた場合には、前回以前の処理において個人ＩＤが既に登録されている。このため、音圧マップ作成部１４は、個人ＩＤが重複する場合には、登録処理を行わない。Ｓ１４の処理が終了すると、マップ作成処理へ移行する（Ｓ１６）。
【００３２】
Ｓ１６の処理は、音圧マップ作成部１４及び集音マイク２１が実行し、当該運転者の音圧マップを作成する処理である。集音マイク２１は、例えば、運転者の顔の横位置、縦位置、耳の高さ、顔の向きを変化させた場合における運転者が聞き取る音を、運転者の可動範囲内において取得する。そして、音圧マップ作成部１４は、集音マイク２１が取得した音の音圧に基づいて、運転者の可動範囲内において音圧が一定となるように音圧マップを作成する。そして、音圧マップ作成部１４は、作成した音圧マップを個人ＩＤに関連付けて音圧マップＤＢ１５へ格納する。Ｓ１６の処理が終了すると、図３に示す制御処理を終了する。
【００３３】
以上、図３に示す制御処理を実行することで、個々の運転者にとって最適な音圧マップが作成される。
【００３４】
次に、音伝達装置１の音伝達動作を説明する。図４は、本実施形態に係る音伝達装置１の音伝達動作を示すフローチャートである。図４に示す制御処理は、例えば、図３に示す制御処理の実行後であって、イグニッションＯＮされたタイミングから所定の間隔で繰り返し実行される。
【００３５】
図４に示すように、音伝達装置１は、撮像処理から開始する（Ｓ２０）。Ｓ２０の処理は、撮像カメラ２０が実行し、運転者の顔の監視を開始する処理である。例えば、撮像カメラ２０は、所定の間隔で運転者の顔の画像を取得する処理を開始したり、運転者の映像の取得を開始する。Ｓ２０の処理が終了すると、個人認証処理へ移行する（Ｓ２２）。
【００３６】
Ｓ２２の処理は、個人認証部１２が実行し、運転者の認証を行う処理である。個人認証部１２は、Ｓ２０の処理で取得した映像に基づいて、運転者の顔の特徴点を抽出し、個人認証を行い、当該運転者の個人ＩＤを入力する。Ｓ２２の処理が終了すると、音圧マップ取得処理へ移行する（Ｓ２４）。
【００３７】
Ｓ２４の処理は、音圧制御部１３が実行し、運転者の音圧マップを取得する処理である。音圧制御部１３は、Ｓ２４の処理で入力した個人ＩＤに基づいて、音圧マップＤＢ１５を参照し、当該運転者の音圧マップを取得する。Ｓ２４の処理が終了すると、出力判定処理へ移行する（Ｓ２６）。
【００３８】
Ｓ２４の処理は、音圧制御部１３が実行し、運転者へ音による情報伝達を実行する必要が有るか否かを判定する処理である。音圧制御部１３は、例えば、接続される他のシステムからの出力要求信号が入力されたか否かに基づいて、音（音声）を出力する事象が発生したか否かを判定する。Ｓ２４の処理において、音を出力する事象が発生していないと判定した場合には、図４に示す制御処理を終了する。一方、Ｓ２４の処理において、音を出力する事象が発生していると判定した場合には、顔位置計測処理へ移行する（Ｓ２８）。
【００３９】
Ｓ２８の処理は、顔位置・顔方向計測部１１が実行し、運転者の顔位置、顔方向を計測する処理である。顔位置・顔方向計測部１１は、例えば、Ｓ２０の処理で撮像カメラ２０により取得された画像や映像を入力し、運転者の顔の特徴点を抽出し、特徴点の変動量に基づいて運転者の顔位置、顔方向を計測する。Ｓ２８の処理が終了すると、音圧取得処理へ移行する（Ｓ３０）。
【００４０】
Ｓ３０の処理は、音圧制御部１３が実行し、スピーカ群Ｇの出力音の音圧を取得する処理である。音圧制御部１３は、例えば、Ｓ２８の処理で計測された顔位置や顔方向に基づいて、Ｓ２４の処理で取得した音圧マップからスピーカ群Ｇの出力音の音圧を取得する。例えば、音圧制御部１３は、顔の向き、アイポイントからの顔の横変位ｘ、顔の縦変位ｙ、耳の高さ変位ｚの計測結果に基づいて、図２に示す音圧マップから１つの座標点を特定する。そして、特定した座標点に関連付けされた各スピーカＰｎの音圧を取得する。なお、計測した顔の向きにおける音圧マップが存在しない場合や、特定した座標点に各スピーカＰｎの音圧が関連付けされていない場合もある。この場合には、音圧を取得せずにＳ３０の処理を終了する。Ｓ３０の処理が終了すると、判定処理へ移行する（Ｓ３２）。
【００４１】
Ｓ３２の処理は、音圧制御部１３が実行し、Ｓ３０の処理でスピーカ群Ｇの出力音の音圧を取得したか否かを判定する処理である。Ｓ３２の処理において、Ｓ３０の処理で各スピーカＰｎにより出力されるべき音の音圧を取得していないと判定した場合には、図４に示す制御処理を終了する。一方、Ｓ３２の処理において、Ｓ３０の処理で各スピーカＰｎにより出力されるべき音の音圧を取得したと判定した場合には、ＬＥＤ点灯処理へ移行する（Ｓ３４）。
【００４２】
Ｓ３４の処理は、音圧制御部１３が実行し、発光素子Ｌｎを点灯（点滅）させる処理である。音圧制御部１３は、例えば、Ｓ２８の処理で取得した運転者の顔向きに基づいて、複数のスピーカＰｎのうち、運転者の顔方向に存在するスピーカＰｍ（ｍ⊆ｎ）を決定し、スピーカＰｍ近傍の発光素子Ｌｍを点灯させる。ここで、顔方向に存在するスピーカＰｍが複数ある場合には、それぞれの発光素子Ｌｍを点灯させてもよいし、複数のスピーカＰｍのうち、運転者の顔方向と運転者を基準とするスピーカＰｍの方向との差が最も小さいスピーカＰｍを決定し、決定したスピーカＰｍのみを点灯させてもよい。Ｓ３４の処理が終了すると、出力処理へ移行する（Ｓ３６）。
【００４３】
Ｓ３６の処理は、音圧制御部１３が実行し、スピーカ群Ｇの出力音の音圧を制御する処理である。音圧制御部１３は、例えば、各スピーカＰｎの出力音がＳ３０の処理で取得した各スピーカＰｎの出力音の音圧となるように、各スピーカＰｎの音の強弱を調整する。Ｓ３６の処理が終了すると、図４に示す制御処理を終了する。
【００４４】
以上で図４に示す制御処理を終了する。図４に示す制御処理を実行することにより、運転者の顔の位置（前後左右高さ）に関らず、比較的均一な音が運転者に提供される。ところで、運転者の顔向きに関らず均一な音が運転者に提供されると、運転者は顔向き方向から音が到来していると感じるが正確な音定位を行うことが困難となる。例えば、図５（ａ）に示すように、運転者の顔が左側を向いている場合には、運転者は左方向（顔を向けた正面）から音が聞こえるが正確な出力位置を認識することが困難となる。これに対して、図４に示す制御処理を実行することによって、顔向き方向のスピーカＰｎ近傍に設けられた発光素子Ｌｎが点灯するため、運転者が音定位を行っている付近のスピーカＰｎへ、運転者が視覚誘導される。すなわち、運転者は、図５（ｂ）に示すように、点灯した発光素子Ｌｎ付近のスピーカＰｎから音が出ているかのような先入観をもって当該スピーカＰｎに意識を集中させる。このため、なんとなくこっちから音が聞こえるという意識を、絶対にここから音が聞こえるという意識に変えることができる。よって、当該スピーカＰｎから音が出ているかのような錯覚を引き起こすことが可能となり、運転者の音定位の精度を向上させることができる。運転者の音定位の精度を向上させることで、情報の伝達確度を向上させることができる。
【００４５】
上述したように、本実施形態に係る音伝達装置１によれば、音圧制御部１３により運転者の顔位置に基づいてスピーカＰｎからの出力音の音圧が調整され、音圧制御部１３及び発光素子Ｌｎにより運転者の顔方向に存在するスピーカＰｎの位置を示す視覚情報が出力される。このため、運転者の顔位置に基づいて運転者にとって最適な音響を運転者へ提供することができるとともに、運転者が音定位しようとする位置をスピーカＰｎの位置へ誘導させることが可能となる。すなわち、運転者の音定位の範囲を狭めることができ、音定位方向をより明確とすることが可能となる。よって、運転者の音定位の精度を向上させることができる。
【００４６】
また、本実施形態に係る音伝達装置１によれば、音圧制御部１３及び発光素子Ｌｎが、運転者の顔方向と運転者を基準とするスピーカＰｎの方向との差が最も小さいスピーカＰｎの位置を示す視覚情報を出力することができる。このため、顔向きに配置された１つのスピーカＰｎに運転者の意識を集中させることが可能となるので、運転者の音定位の精度を一層向上させることができる。
【００４７】
さらに、本実施形態に係る音伝達装置１によれば、個人ごとに音圧マップを作成し、作成した音圧マップを用いて制御するため、運転者にとって最適な音響を提供することができる。
【００４８】
なお、上述した実施形態は本発明に係る音伝達装置の一例を示すものである。本発明に係る音伝達装置は、実施形態に係る音伝達装置１に限られるものではなく、各請求項に記載した要旨を変更しない範囲で、実施形態に係る音伝達装置を変形し、又は他のものに適用したものであってもよい。
【００４９】
例えば、上述した実施形態では、音伝達装置１が個人認証部１２を備える例を説明したが、個人認証部１２は音伝達の精度を向上させるべく設けられたものであるので、要求される性能に応じて個人認証部１２は設けなくてもよい。同様に、図３に示す制御処理を必ずしも実行する必要はなく、あらかじめ用意された共通の音圧マップを用いてもよい。
【００５０】
また、例えば、上述した実施形態では、運転者の顔位置に基づいて音圧を調整する例を説明したが、ドライバの意識レベルに応じて音の強弱を変更してもよい。
【符号の説明】
【００５１】
１…音伝達装置、３…車両、１０…ＥＣＵ、１３…音圧制御部（音圧調整手段）、Ｐｎ…スピーカ、Ｌｎ…発光素子（視覚情報出力手段）、Ｇ…スピーカ群。
【技術分野】
【０００１】
本発明は、音を伝達する装置に関するものである。
【背景技術】
【０００２】
従来、音を伝達する装置として、車両内に出力される音声を調整する装置が知られている（例えば、特許文献１参照）。特許文献１に記載の装置は、車両内の人物を赤外線カメラで撮影して顔位置を演算し、顔位置に応じてスピーカから出力される音声の音響調整を行うものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２３６３９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の装置にあっては、例えば、車両内装形状により音の反射や吸収が異なったり、聴取者の能力に個人差があったりするため、聴取者が音源の位置を正確に知覚することができないおそれがある。
【０００５】
そこで、本発明はこのような技術課題を解決するためになされたものであって、聴取者の音定位の精度を向上させることができる音伝達装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
すなわち、本発明に係る音伝達装置は、音源から出力音を出力させて車両内の聴取者へ伝達する音伝達装置であって、前記聴取者の顔位置に基づいて前記出力音の音圧を調整する音圧調整手段と、前記聴取者の顔方向に存在する前記音源の位置を示す視覚情報を出力する視覚情報出力手段とを備えることを特徴として構成される。
【０００７】
本発明に係る音伝達装置では、音圧調整手段により聴取者の顔位置に基づいて音源からの出力音の音圧が調整され、視覚情報出力手段により聴取者の顔方向に存在する音源の位置を示す視覚情報が出力される。このため、聴取者の顔位置に基づいて聴取者にとって最適な音響を聴取者へ提供することができるとともに、聴取者が音定位しようとする位置を誘導させることが可能となる。よって、聴取者の音定位の精度を向上させることが可能となる。
【０００８】
ここで、前記視覚情報出力手段は、前記聴取者の顔方向と前記聴取者を基準とする前記音源の方向との差が、最も小さい前記音源の位置を示す視覚情報を出力することが好適である。このように構成することで、聴取者の音定位の精度を一層向上させることができる。
【０００９】
また、前記視覚情報出力手段は、赤外線カメラによる前記聴取者の画像に基づいて前記聴取者の顔方向を取得してもよい。
【００１０】
また、前記視覚情報出力手段は、前記音源付近に配置された発光素子を発光させることが好適である。このように構成することで、音源の方向を視覚誘導させることができるので、聴取者が音源の位置を正確に知覚することができる。
【００１１】
さらに、前記音圧調整手段は、顔位置に応じた音圧が記録された音圧マップを用いて前記出力音の音圧を調整することが好適である。このように構成することで、聴取者の顔位置に依存することなく比較的均一な音を提供することができる。
【００１２】
また、本発明に係る音伝達装置は、聴取者の顔位置に応じて車両内に配置された各音源の出力音圧を調整し、かつ、前記聴取者の顔位置に近い音源を示す視覚的刺激を発生させることを特徴として構成される。このように構成することで、聴取者が音定位しようとする位置を誘導させることが可能となるので、聴取者の音定位の精度を向上させることができる。
【発明の効果】
【００１３】
本発明によれば、聴取者の音定位の精度を向上させることができる。
【図面の簡単な説明】
【００１４】
【図１】実施形態に係る音伝達装置を備える車両の構成概要を示すブロック図である。
【図２】実施形態に係る音伝達装置が有する音圧マップである。
【図３】実施形態に係る音伝達装置の動作を説明するためのフローチャートである。
【図４】実施形態に係る音伝達装置の動作を説明するためのフローチャートである。
【図５】実施形態に係る音伝達装置の動作を説明するための概要図である。
【発明を実施するための形態】
【００１５】
以下、添付図面を参照して本発明の実施形態について説明する。なお、各図において同一又は相当部分には同一の符号を付し、重複する説明を省略する。
【００１６】
本実施形態に係る音伝達装置は、例えば車両の乗員（聴取者）に対して音声や音を用いて情報を提供する場合に好適に採用されるものである。
【００１７】
最初に、本実施形態に係る音伝達装置を備える車両の概要から説明する。図１は、本実施形態に係る音伝達装置１を備える車両の構成概要を示すブロック図である。図１に示す車両３は、撮像カメラ２０、集音マイク２１、ＥＣＵ（Electronic Control Unit）１０及びスピーカ群Ｇを備えている。ＥＣＵは、電子制御する自動車デバイスのコンピュータであり、ＣＰＵ（Central ProcessingUnit）、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等のメモリ、及び入出力インターフェイスなどを備えて構成されている。
【００１８】
撮像カメラ２０は、運転者（聴取者）の顔を撮像する機能を有している。また、撮像カメラ２０は、運転者の距離情報（位置情報）を取得する機能を有している。撮像カメラ２０として、例えば距離計測機能を有するステレオカメラや赤外線カメラが用いられる。また、撮像カメラ２０は、ＥＣＵ１０に接続されており、取得した映像及び位置情報をＥＣＵ１０へ出力する機能を有している。
【００１９】
集音マイク２１は、車両３室内に出力される出力音の音圧を取得する機能を有している。例えば、集音マイク２１は、運転者の耳近傍に設けられ、運転者が聞き取る音の音圧を取得する機能を有している。また、集音マイク２１は、ＥＣＵ１０に接続されており、取得した音圧に関する情報をＥＣＵ１０へ出力する機能を有している。
【００２０】
ＥＣＵ１０は、顔位置・顔方向計測部１１、個人認証部１２、音圧制御部１３、音圧マップ作成部１４及び音圧マップＤＢ１５を備えている。
【００２１】
顔位置・顔方向計測部１１は、運転者の顔位置や顔方向を計測する機能を有している。例えば、顔位置・顔方向計測部１１は、撮像カメラ２０により取得された映像に基づいて、運転者の顔の特徴点を取得し、特徴点の変動量を算出することで顔位置の変位や顔の向き（顔方向）を取得する機能を有している。特徴量の取得には、例えばテンプレートマッチングが用いられる。さらに、顔位置・顔方向計測部１１は、取得した顔位置の変位や顔の向きに関する情報を音圧制御部１３へ出力する機能を有している。
【００２２】
個人認証部１２は、運転者の認証を行う機能を有している。例えば、個人認証部１２は、撮像カメラ２０により取得された映像に基づいて、運転者の顔の特徴点を取得し、取得された運転者の顔の特徴点と、ＥＣＵ１０のメモリ等に格納された登録済みの運転者の顔の特徴点とをマッチング処理し、運転者が登録済みの運転者であるか否かを認証する機能を有している。また、個人認証部１２は、認証結果を音圧制御部１３へ出力する機能を有している。
【００２３】
音圧マップＤＢ１５は、運転者のアイポイントを基準とした顔の横変位、顔の縦変位、耳の高さ変位に依存した音圧を示す音圧マップが格納されたデータベースである。図２を用いて、音圧マップＤＢ１５及び音圧マップの詳細について説明する。図２に示すように、音圧マップＤＢ１５には、複数の運転者に係る音圧マップが、個人ＩＤ（Ａ、Ｂ…）に関連付けされて格納されている。また、音圧マップＤＢ１５には、１人の運転者に係る音圧マップが、例えば顔方向θ（−π≦θ≦π、正面θ＝０）に関連付けされて格納されている。図２では、個人ＩＤがＡの運転者であり、顔方向θがａの場合の音圧マップを示している。音圧マップは、例えば、運転者に係るアイポイントを原点Ｏとし、原点Ｏからの顔の横変位ｘ、顔の縦変位ｙ、耳の高さ変位ｚを定めると１つの座標点Ｋ（ｘＫ、ｙＫ、ｚＫ）を特定できるように構成されている。座標点Ｋには、運転者の顔位置が、原点Ｏから横変位ｘＫ、縦変位ｙＫ、耳の高さ変位ｚＫとなる場合に、運転者にとって聞き取り易い最適な音圧が関連付けされている。例えば、後述するスピーカ群Ｇに備わるスピーカＰｎ（ｎ：整数）それぞれにより出力される音圧が関連付けされている。音圧マップＤＢ１５に格納された音圧マップを参照することで、運転者の顔位置及び顔方向に基づいて最適な音圧を設定することができる。
【００２４】
音圧マップ作成部１４は、音圧マップＤＢ１５に格納された音圧マップを作成する機能を有している。音圧マップ作成部１４は、音圧マップを用いた音圧制御前に、例えば個人認証部１２の認証対象者として登録する際に、認証対象者の音圧マップを作成する機能を有している。音圧マップ作成部１４は、例えば、集音マイク２１が出力した運転者の可動範囲の全ての位置における音の音圧を入力し、運転者の体勢や姿勢に関らず音圧が均一になるように音圧マップを作成する機能を有している。
【００２５】
音圧制御部１３は、スピーカ群Ｇから出力される出力音の音圧を調整する機能を有している。音圧制御部１３は、例えば、上述した顔位置・顔方向計測部１１及び個人認証部１２に接続されており、音圧マップＤＢ１５を参照可能に構成されている。そして、音圧制御部１３は、例えば、個人認証部１２の認証結果に基づいて運転者の個人ＩＤを取得し、顔位置・顔方向計測部１１により出力された顔方向及び取得した個人ＩＤに基づいて音圧マップＤＢ１５から処理に用いる音圧マップを動的に選択し、顔位置・顔方向計測部１１により出力された運転者の顔位置に基づいて最適な音圧を動的に取得する機能を有している。そして、音圧制御部１３は、最適な音圧を用いてスピーカ群Ｇを動作させる機能を有している。また、音圧制御部１３は、運転者の顔方向に存在するスピーカＰｎの位置を示す視覚情報を、スピーカ群Ｇに出力させる機能を有している。
【００２６】
スピーカ群Ｇは、少なくとも１対のスピーカＰｎ及び発光素子Ｌｎ（ｎ：整数）を備えており、運転者に対して必要な情報を音により伝達する機能を有している。スピーカＰｎは、音圧制御部１３によって音出力可能に構成されている。また、発光素子Ｌｎは、スピーカＰｎの本体又はその近傍に設けられており、音圧制御部１３によって点灯、点滅可能に構成されている。発光素子Ｌｎの点灯又は点滅は、スピーカＰｎの位置を示す視覚情報となる。発光素子Ｌｎとして、例えばＬＥＤ（Light Emitting Diode）が用いられる。
【００２７】
上述した、撮像カメラ２０、顔位置・顔方向計測部１１、個人認証部１２、音圧制御部１３、音圧マップＤＢ１５及びスピーカ群Ｇを備えて音伝達装置１が構成されている。
【００２８】
次に、本実施形態に係る音伝達装置１の動作について説明する。最初に、音伝達装置１の音圧マップ生成動作を説明する。図３は、本実施形態に係る音伝達装置１の音圧マップ生成動作を示すフローチャートである。図３に示す制御処理は、例えば、後述する図４の処理前に実行される。
【００２９】
図３に示すように、音伝達装置１は、撮像処理から開始する（Ｓ１０）。Ｓ１０の処理は、撮像カメラ２０が実行し、運転者の顔を撮像する処理である。Ｓ１０の処理が終了すると、個人認証処理へ移行する（Ｓ１２）。
【００３０】
Ｓ１２の処理は、個人認証部１２が実行し、運転者の認証を行う処理である。個人認証部１２は、Ｓ１０の処理で取得した映像に基づいて、運転者の顔の特徴点を抽出し、個人認証を行う。既に登録されている運転者である場合には、個人認証部１２は、登録されている個人ＩＤを入力する。一方、未だ登録されていない運転者である場合には、個人認証部１２は、新たな個人ＩＤを割り当てる。Ｓ１２の処理が終了すると、登録処理へ移行する（Ｓ１４）。
【００３１】
Ｓ１４の処理は、音圧マップ作成部１４が実行し、音圧マップＤＢ１５を構築する処理である。音圧マップ作成部１４は、Ｓ１２の処理で割り当てた個人ＩＤを音圧マップＤＢ１５に登録する。また、Ｓ１２の処理で既に登録されている運転者であるとされた場合には、前回以前の処理において個人ＩＤが既に登録されている。このため、音圧マップ作成部１４は、個人ＩＤが重複する場合には、登録処理を行わない。Ｓ１４の処理が終了すると、マップ作成処理へ移行する（Ｓ１６）。
【００３２】
Ｓ１６の処理は、音圧マップ作成部１４及び集音マイク２１が実行し、当該運転者の音圧マップを作成する処理である。集音マイク２１は、例えば、運転者の顔の横位置、縦位置、耳の高さ、顔の向きを変化させた場合における運転者が聞き取る音を、運転者の可動範囲内において取得する。そして、音圧マップ作成部１４は、集音マイク２１が取得した音の音圧に基づいて、運転者の可動範囲内において音圧が一定となるように音圧マップを作成する。そして、音圧マップ作成部１４は、作成した音圧マップを個人ＩＤに関連付けて音圧マップＤＢ１５へ格納する。Ｓ１６の処理が終了すると、図３に示す制御処理を終了する。
【００３３】
以上、図３に示す制御処理を実行することで、個々の運転者にとって最適な音圧マップが作成される。
【００３４】
次に、音伝達装置１の音伝達動作を説明する。図４は、本実施形態に係る音伝達装置１の音伝達動作を示すフローチャートである。図４に示す制御処理は、例えば、図３に示す制御処理の実行後であって、イグニッションＯＮされたタイミングから所定の間隔で繰り返し実行される。
【００３５】
図４に示すように、音伝達装置１は、撮像処理から開始する（Ｓ２０）。Ｓ２０の処理は、撮像カメラ２０が実行し、運転者の顔の監視を開始する処理である。例えば、撮像カメラ２０は、所定の間隔で運転者の顔の画像を取得する処理を開始したり、運転者の映像の取得を開始する。Ｓ２０の処理が終了すると、個人認証処理へ移行する（Ｓ２２）。
【００３６】
Ｓ２２の処理は、個人認証部１２が実行し、運転者の認証を行う処理である。個人認証部１２は、Ｓ２０の処理で取得した映像に基づいて、運転者の顔の特徴点を抽出し、個人認証を行い、当該運転者の個人ＩＤを入力する。Ｓ２２の処理が終了すると、音圧マップ取得処理へ移行する（Ｓ２４）。
【００３７】
Ｓ２４の処理は、音圧制御部１３が実行し、運転者の音圧マップを取得する処理である。音圧制御部１３は、Ｓ２４の処理で入力した個人ＩＤに基づいて、音圧マップＤＢ１５を参照し、当該運転者の音圧マップを取得する。Ｓ２４の処理が終了すると、出力判定処理へ移行する（Ｓ２６）。
【００３８】
Ｓ２４の処理は、音圧制御部１３が実行し、運転者へ音による情報伝達を実行する必要が有るか否かを判定する処理である。音圧制御部１３は、例えば、接続される他のシステムからの出力要求信号が入力されたか否かに基づいて、音（音声）を出力する事象が発生したか否かを判定する。Ｓ２４の処理において、音を出力する事象が発生していないと判定した場合には、図４に示す制御処理を終了する。一方、Ｓ２４の処理において、音を出力する事象が発生していると判定した場合には、顔位置計測処理へ移行する（Ｓ２８）。
【００３９】
Ｓ２８の処理は、顔位置・顔方向計測部１１が実行し、運転者の顔位置、顔方向を計測する処理である。顔位置・顔方向計測部１１は、例えば、Ｓ２０の処理で撮像カメラ２０により取得された画像や映像を入力し、運転者の顔の特徴点を抽出し、特徴点の変動量に基づいて運転者の顔位置、顔方向を計測する。Ｓ２８の処理が終了すると、音圧取得処理へ移行する（Ｓ３０）。
【００４０】
Ｓ３０の処理は、音圧制御部１３が実行し、スピーカ群Ｇの出力音の音圧を取得する処理である。音圧制御部１３は、例えば、Ｓ２８の処理で計測された顔位置や顔方向に基づいて、Ｓ２４の処理で取得した音圧マップからスピーカ群Ｇの出力音の音圧を取得する。例えば、音圧制御部１３は、顔の向き、アイポイントからの顔の横変位ｘ、顔の縦変位ｙ、耳の高さ変位ｚの計測結果に基づいて、図２に示す音圧マップから１つの座標点を特定する。そして、特定した座標点に関連付けされた各スピーカＰｎの音圧を取得する。なお、計測した顔の向きにおける音圧マップが存在しない場合や、特定した座標点に各スピーカＰｎの音圧が関連付けされていない場合もある。この場合には、音圧を取得せずにＳ３０の処理を終了する。Ｓ３０の処理が終了すると、判定処理へ移行する（Ｓ３２）。
【００４１】
Ｓ３２の処理は、音圧制御部１３が実行し、Ｓ３０の処理でスピーカ群Ｇの出力音の音圧を取得したか否かを判定する処理である。Ｓ３２の処理において、Ｓ３０の処理で各スピーカＰｎにより出力されるべき音の音圧を取得していないと判定した場合には、図４に示す制御処理を終了する。一方、Ｓ３２の処理において、Ｓ３０の処理で各スピーカＰｎにより出力されるべき音の音圧を取得したと判定した場合には、ＬＥＤ点灯処理へ移行する（Ｓ３４）。
【００４２】
Ｓ３４の処理は、音圧制御部１３が実行し、発光素子Ｌｎを点灯（点滅）させる処理である。音圧制御部１３は、例えば、Ｓ２８の処理で取得した運転者の顔向きに基づいて、複数のスピーカＰｎのうち、運転者の顔方向に存在するスピーカＰｍ（ｍ⊆ｎ）を決定し、スピーカＰｍ近傍の発光素子Ｌｍを点灯させる。ここで、顔方向に存在するスピーカＰｍが複数ある場合には、それぞれの発光素子Ｌｍを点灯させてもよいし、複数のスピーカＰｍのうち、運転者の顔方向と運転者を基準とするスピーカＰｍの方向との差が最も小さいスピーカＰｍを決定し、決定したスピーカＰｍのみを点灯させてもよい。Ｓ３４の処理が終了すると、出力処理へ移行する（Ｓ３６）。
【００４３】
Ｓ３６の処理は、音圧制御部１３が実行し、スピーカ群Ｇの出力音の音圧を制御する処理である。音圧制御部１３は、例えば、各スピーカＰｎの出力音がＳ３０の処理で取得した各スピーカＰｎの出力音の音圧となるように、各スピーカＰｎの音の強弱を調整する。Ｓ３６の処理が終了すると、図４に示す制御処理を終了する。
【００４４】
以上で図４に示す制御処理を終了する。図４に示す制御処理を実行することにより、運転者の顔の位置（前後左右高さ）に関らず、比較的均一な音が運転者に提供される。ところで、運転者の顔向きに関らず均一な音が運転者に提供されると、運転者は顔向き方向から音が到来していると感じるが正確な音定位を行うことが困難となる。例えば、図５（ａ）に示すように、運転者の顔が左側を向いている場合には、運転者は左方向（顔を向けた正面）から音が聞こえるが正確な出力位置を認識することが困難となる。これに対して、図４に示す制御処理を実行することによって、顔向き方向のスピーカＰｎ近傍に設けられた発光素子Ｌｎが点灯するため、運転者が音定位を行っている付近のスピーカＰｎへ、運転者が視覚誘導される。すなわち、運転者は、図５（ｂ）に示すように、点灯した発光素子Ｌｎ付近のスピーカＰｎから音が出ているかのような先入観をもって当該スピーカＰｎに意識を集中させる。このため、なんとなくこっちから音が聞こえるという意識を、絶対にここから音が聞こえるという意識に変えることができる。よって、当該スピーカＰｎから音が出ているかのような錯覚を引き起こすことが可能となり、運転者の音定位の精度を向上させることができる。運転者の音定位の精度を向上させることで、情報の伝達確度を向上させることができる。
【００４５】
上述したように、本実施形態に係る音伝達装置１によれば、音圧制御部１３により運転者の顔位置に基づいてスピーカＰｎからの出力音の音圧が調整され、音圧制御部１３及び発光素子Ｌｎにより運転者の顔方向に存在するスピーカＰｎの位置を示す視覚情報が出力される。このため、運転者の顔位置に基づいて運転者にとって最適な音響を運転者へ提供することができるとともに、運転者が音定位しようとする位置をスピーカＰｎの位置へ誘導させることが可能となる。すなわち、運転者の音定位の範囲を狭めることができ、音定位方向をより明確とすることが可能となる。よって、運転者の音定位の精度を向上させることができる。
【００４６】
また、本実施形態に係る音伝達装置１によれば、音圧制御部１３及び発光素子Ｌｎが、運転者の顔方向と運転者を基準とするスピーカＰｎの方向との差が最も小さいスピーカＰｎの位置を示す視覚情報を出力することができる。このため、顔向きに配置された１つのスピーカＰｎに運転者の意識を集中させることが可能となるので、運転者の音定位の精度を一層向上させることができる。
【００４７】
さらに、本実施形態に係る音伝達装置１によれば、個人ごとに音圧マップを作成し、作成した音圧マップを用いて制御するため、運転者にとって最適な音響を提供することができる。
【００４８】
なお、上述した実施形態は本発明に係る音伝達装置の一例を示すものである。本発明に係る音伝達装置は、実施形態に係る音伝達装置１に限られるものではなく、各請求項に記載した要旨を変更しない範囲で、実施形態に係る音伝達装置を変形し、又は他のものに適用したものであってもよい。
【００４９】
例えば、上述した実施形態では、音伝達装置１が個人認証部１２を備える例を説明したが、個人認証部１２は音伝達の精度を向上させるべく設けられたものであるので、要求される性能に応じて個人認証部１２は設けなくてもよい。同様に、図３に示す制御処理を必ずしも実行する必要はなく、あらかじめ用意された共通の音圧マップを用いてもよい。
【００５０】
また、例えば、上述した実施形態では、運転者の顔位置に基づいて音圧を調整する例を説明したが、ドライバの意識レベルに応じて音の強弱を変更してもよい。
【符号の説明】
【００５１】
１…音伝達装置、３…車両、１０…ＥＣＵ、１３…音圧制御部（音圧調整手段）、Ｐｎ…スピーカ、Ｌｎ…発光素子（視覚情報出力手段）、Ｇ…スピーカ群。
【特許請求の範囲】
【請求項１】
音源から出力音を出力させて車両内の聴取者へ伝達する音伝達装置であって、
前記聴取者の顔位置に基づいて前記出力音の音圧を調整する音圧調整手段と、
前記聴取者の顔方向に存在する前記音源の位置を示す視覚情報を出力する視覚情報出力手段と、
を備えることを特徴とする音伝達装置。
【請求項２】
前記視覚情報出力手段は、前記聴取者の顔方向と前記聴取者を基準とする前記音源の方向との差が、最も小さい前記音源の位置を示す視覚情報を出力する請求項１に記載の音伝達装置。
【請求項３】
前記視覚情報出力手段は、赤外線カメラによる前記聴取者の画像に基づいて前記聴取者の顔方向を取得する請求項１又は２に記載の音伝達装置。
【請求項４】
前記視覚情報出力手段は、前記音源付近に配置された発光素子を発光させる請求項１〜３の何れか一項に記載の音伝達装置。
【請求項５】
前記音圧調整手段は、顔位置に応じた音圧が記録された音圧マップを用いて前記出力音の音圧を調整する請求項１〜４の何れか一項に記載の音伝達装置。
【請求項６】
聴取者の顔位置に応じて車両内に配置された各音源の出力音圧を調整し、かつ、前記聴取者の顔位置に近い音源を示す視覚的刺激を発生させることを特徴とする音伝達装置。
【請求項１】
音源から出力音を出力させて車両内の聴取者へ伝達する音伝達装置であって、
前記聴取者の顔位置に基づいて前記出力音の音圧を調整する音圧調整手段と、
前記聴取者の顔方向に存在する前記音源の位置を示す視覚情報を出力する視覚情報出力手段と、
を備えることを特徴とする音伝達装置。
【請求項２】
前記視覚情報出力手段は、前記聴取者の顔方向と前記聴取者を基準とする前記音源の方向との差が、最も小さい前記音源の位置を示す視覚情報を出力する請求項１に記載の音伝達装置。
【請求項３】
前記視覚情報出力手段は、赤外線カメラによる前記聴取者の画像に基づいて前記聴取者の顔方向を取得する請求項１又は２に記載の音伝達装置。
【請求項４】
前記視覚情報出力手段は、前記音源付近に配置された発光素子を発光させる請求項１〜３の何れか一項に記載の音伝達装置。
【請求項５】
前記音圧調整手段は、顔位置に応じた音圧が記録された音圧マップを用いて前記出力音の音圧を調整する請求項１〜４の何れか一項に記載の音伝達装置。
【請求項６】
聴取者の顔位置に応じて車両内に配置された各音源の出力音圧を調整し、かつ、前記聴取者の顔位置に近い音源を示す視覚的刺激を発生させることを特徴とする音伝達装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１０−２４５９４６（Ｐ２０１０−２４５９４６Ａ）
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願番号】特願２００９−９３９８８（Ｐ２００９−９３９８８）
【出願日】平成２１年４月８日（２００９．４．８）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２２年１０月２８日（２０１０．１０．２８）
【国際特許分類】
【出願日】平成２１年４月８日（２００９．４．８）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]