音情報表示装置、音情報表示方法およびプログラム
【課題】使用者が音源の位置とその音源から出る音の情報を直観的に判断可能とする。
【解決手段】集音情報（音信号）を得るためのマイクロホン１０１を透過型ヘッドマウントディスプレイの前面に配設する。信号処理部１０４は、マイクロホン１０１の集音情報に基づき、表示データを生成する。表示部１０５は、表示データに基づいて、音情報を、位置情報に対応した視覚映像内の位置に、この視覚映像に重ねて表示する。例えば、音源から出る音のレベル情報を、円の大きさで表示する。また、音源から出る音の周波数情報を、円に付される色で表示する。音源位置が視覚映像内にある場合、その音源位置あるいはその近傍に、音情報を表示する。一方、音源位置が表示面内から外れる場合、その音源位置に近い視覚映像の端部に、音情報を表示する。
【解決手段】集音情報（音信号）を得るためのマイクロホン１０１を透過型ヘッドマウントディスプレイの前面に配設する。信号処理部１０４は、マイクロホン１０１の集音情報に基づき、表示データを生成する。表示部１０５は、表示データに基づいて、音情報を、位置情報に対応した視覚映像内の位置に、この視覚映像に重ねて表示する。例えば、音源から出る音のレベル情報を、円の大きさで表示する。また、音源から出る音の周波数情報を、円に付される色で表示する。音源位置が視覚映像内にある場合、その音源位置あるいはその近傍に、音情報を表示する。一方、音源位置が表示面内から外れる場合、その音源位置に近い視覚映像の端部に、音情報を表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音情報表示装置、音情報表示方法およびプログラムに関し、特に、頭部装着型のディスプレイ（ヘッドマウントディスプレイ）に視覚映像に重ねて音源の音情報を表示する音情報表示装置などに関する。
【背景技術】
【０００２】
特許文献１には、複数のマイクロホンにより音源位置や、音の強さを推定する技術が記載されている。また、特許文献２には、複数のマイクロホンにより音源の到来方向を認識し、認識結果に対応する言葉や擬音語を文字情報として出力する聴覚障害者用ヘッドマウントディスプレイが記載されている。また、特許文献３には、入力された映像から音情報を抽出し、その音が何であるかを分類、識別し、映像内の画像に対応づけていく可視化装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】再表２００４−０２１０３１号公報
【特許文献２】特開２００７−３３４１４９号公報
【特許文献３】特開平０８−１７９７９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
音源方向を推定する技術やそこから音の強さを求める技術（特許文献１参照）は、既に確立されており、主に計測用に用いられている。しかしながら、計測用の分野では精密さが求められることから、装置が大規模になっているのが現状である。一方で、このような音源方向推定技術は一般人向けの発音体探索や聴覚障害者向けの聴力支援ツールともなり得る。
【０００５】
上述の特許文献２に記載される技術は、メガネ型のヘッドマウントディスプレイということで、一般の歩行者を意識している。しかし、音源の到来方向は文字で表示され、直観的にわかりにくい。さらに、認識結果が擬態語を用いて表現されるが、発音体の音表現に個人差がある可能性がある。
【０００６】
また、上述の特許文献３に記載される技術は、膨大なデータベースが必要となり、また映像内に隠れている発音体や映像外から到来してくる発音体の識別が難しい。
【０００７】
この発明の目的は、使用者が音源の位置とその音源から出る音の情報を直観的に判断可能とすることにある。
【課題を解決するための手段】
【０００８】
この発明の概念は、
複数の集音部と、
上記複数の集音部の集音情報に基づいて、音源の位置情報および音情報を取得する情報取得部と、
上記情報取得部で取得された音情報を、該情報取得部で取得された位置情報に対応した視覚映像内の位置に、該視覚映像に重ねて表示するための表示データを生成する表示データ生成部と、
上記表示データ生成部で生成された表示データに基づいて、上記視覚映像内の音源に対応した位置に、該音源の音情報を該視覚映像に重ねて表示する、頭部装着型の画像表示部と
を備える音情報表示装置にある。
【０００９】
この発明において、複数の集音部、例えば複数のマイクロホンが備えられている。情報取得部により、複数の集音部の集音情報に基づいて、音源の位置情報および音情報が取得される。例えば、音情報は、音源から出る音のレベル情報、あるいは音源から出る音の周波数情報などとされる。
【００１０】
表示データ生成部により、情報取得部で取得された音情報を表示するための表示データが生成される。この表示データは、音情報を、情報取得部で取得された位置情報に対応した視覚映像内の位置に、この視覚映像に重ねて表示する、ように生成される。
【００１１】
例えば、この表示データは、音源から出る音のレベル情報を円などの所定の形状の大きさで表示するように、生成される。この場合、遠近感を判断することが可能となる。例えば、少しずつ大きくなる円から音源が近づいていると判断できる。また、例えば、この表示データは、音源から出る音の周波数情報を円などの所定の形状に付される色で表示するように、生成される。この場合、特定の音源を色に基づいて探すことができる。
【００１２】
表示データ生成部で生成された表示データに基づいて、頭部装着型の画像表示部に、音源の音情報が表示される。この場合、この音情報は、視覚映像内の音源に対応した位置に、この視覚映像に重ねて表示される。例えば、音源位置が視覚映像内にある場合には、その音源位置あるいはその近傍に音情報が表示される。また、例えば、音源位置が視覚映像内から外れる場合には、その音源位置に近い視覚映像の端部に音情報が表示される。例えば、頭部装着型の画像表示部は、透過型の画像表示部とされる。この場合、視覚映像は、例えば、使用者がこの画像表示部を通して観察し得る実映像とされる。
【００１３】
また、例えば、頭部装着型の画像表示部は、非透過型の画像表示部とされる。この場合、視覚映像の映像データを得るための撮像部が画像表示部に配設され、この撮像部で得られた映像データに、表示データ生成部で生成された表示データが重畳される。そして、この重畳データに基づいて、画像表示部に、視覚映像が表示されると共に、この視覚映像内の音源に対応した位置に、この音源の音情報が重ねて表示される。すなわち、この場合の視覚映像は、画像表示部に表示された表示映像とされる。
【００１４】
このように、この発明においては、視覚映像内の音源に対応した位置に、この音源の音情報が重ねて表示されるため、使用者が音源の位置とその音源から出る音の情報を直観的に判断することが可能となる。また、この発明においては、複数の集音部の集音情報に基づいて音源の位置情報および音情報が取得されるものであり、視覚映像内の所定のオブジェクトに隠れている音源に関しても、視覚映像内の音源に対応した位置に、この音源の音情報を重ねて表示することが可能となる。
【００１５】
この発明において、例えば、複数の集音部は、画像表示部に配設され、この複数の集音部の配設位置で構成される面は、画像表示部の表示面に対して直交しない、ようにされる。この場合、画像表示部の表示面上、つまり２次元平面上において、音源位置の取得を簡単に行うことができる。例えば、複数の集音部の配設位置で構成される面は、画像表示部の表示面に平行とされる。この場合、画像表示部の表示面上の音源位置を取得するための演算が簡単となる。
【００１６】
また、この発明において、例えば、複数の集音部は、複数の全指向集音部および複数の指向性集音部とからなり、情報取得部は、複数の全指向集音部の集音情報に基づいて音源の第１の方向情報を取得し、この第１の方向情報に基づいて複数の指向性集音部の指向方向を制御してこの複数の指向性集音部の配設位置における音源の第２の方向情報を取得し、この第２の方向情報に基づいて音源の位置情報を取得する、ようにされる。この場合、集音部の数を多くすることなく、音源の位置情報の取得精度を高めることが可能となる。
【００１７】
また、この発明において、例えば、情報取得部が位置情報および音情報を取得する対象としての音源を特定する音源特定部をさらに備える、ようにされる。例えば、音源特定部では、周波数により音情報を取得する対象としての音源が特定される。この場合、視覚映像内に特定の音源の音情報のみを表示させることができ、特定の音源の探索が容易となる。
【発明の効果】
【００１８】
この発明によれば、視覚映像内の音源に対応した位置に、この音源の音情報が重ねて表示されるため、使用者が音源の位置とその音源から出る音の情報を直観的に判断することが可能となり、例えば、難聴者等の視覚を利用した聴力支援が可能となる。
【図面の簡単な説明】
【００１９】
【図１】この発明の第１の実施の形態としての透過型ヘッドマウントディスプレイ（透過型ＨＭＤ）の外観を示す図である。
【図２】４個のマイクロホンの配設位置で構成される面と表示面との関係を説明するための図である。
【図３】この発明の第１の実施の形態としての透過型ＨＭＤシステムの構成例を示すブロック図である。
【図４】透過型ＨＭＤシステムを構成する信号処理部の構成例を示すブロック図である。
【図５】音源位置検出のために必要な到来角度の算出方法の一例を説明するための図である。
【図６】透過型ＨＭＤシステムを構成する信号処理部の処理手順を示すフローチャートである。
【図７】視覚映像内の音源に対応した位置に音情報が重ねて表示された表示例を示す図である。
【図８】透過型ＨＭＤへの他のマイクロホン配設例を説明するための図である。
【図９】この発明の第２の実施の形態としての透過型ヘッドマウントディスプレイ（透過型ＨＭＤ）の外観を示す図である。
【図１０】この発明の第２の実施の形態としての透過型ＨＭＤシステムの構成例を示すブロック図である。
【図１１】透過型ＨＭＤシステムを構成する信号処理部の構成例を示すブロック図である。
【図１２】透過型ＨＭＤシステムを構成する信号処理部の処理手順を示すフローチャートである。
【図１３】この発明の第３の実施の形態としての非透過型ヘッドマウントディスプレイ（非透過型ＨＭＤ）の外観を示す図である。
【図１４】この発明の第３の実施の形態としての非透過型ＨＭＤシステムの構成例を示すブロック図である。
【図１５】非透過型ＨＭＤへの撮像素子（カメラ）の他の配設例を説明するための図である。
【図１６】この発明の第４の実施の形態としての透過型ＨＭＤシステムの構成例を示すブロック図である。
【発明を実施するための形態】
【００２０】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
５．変形例
【００２１】
＜１．第１の実施の形態＞
［透過型ヘッドマウントディスプレイの構成例］
図１は、第１の実施の形態としての透過型ヘッドマウントディスプレイ（透過型ＨＭＤ）１０の外観を示している。この透過型ＨＭＤ１０の前面に、４個の全指向のマイクロホン１０１が配設されている。音源位置検出の精度を向上させるために、マイクロホン同士は、一定の間隔をあけて配設されている。ここで、マイクロホン１０１は、集音部を構成している。
【００２２】
この場合、４個のマイクロホン１０１の配設位置で構成される面は、透過型ＨＭＤ１０の表示面に対して直交しないようにされている。この場合、４個のマイクロホン１０１には、表示面の水平方向に配設位置が異なるものが含まれると共に、表示面の垂直方向に配設位置が異なるものが含まれることを意味する。
【００２３】
図２（ａ）は、その状態を示している。この図２（ａ）において、実線の四角形は表示面ＳＦａを概略的に示し、破線の四角形は４個のマイクロホン１０１の配設位置で構成される面ＳＦｂを示している。この場合、面ＳＦｂを表示面ＳＦａに投影した場合に面となる。そのため、後述する４個のマイクロホン１０１の集音情報（音信号）に基づいて、表示面ＳＦａ上、つまり２次元平面上における音源位置を取得することが、容易となる。
【００２４】
なお、図２（ｂ）に示すように、面ＳＦｂが表示面ＳＦａに平行となるように、４個のマイクロホン１０１が透過型ＨＭＤ１０に配設されてもよい。この場合、後述する４個のマイクロホン１０１の集音情報に基づいて、表示面ＳＦａ上、つまり２次元平面上における音源位置を取得する際の演算が簡単となる。
【００２５】
図３は、第１の実施の形態としての透過型ＨＭＤ１０のシステム構成を示している。この透過型ＨＭＤ１０は、４個のマイクロホン１０１と、アンプ１０２と、Ａ／Ｄ変換器１０３と、信号処理部１０４と、表示部１０５を有している。アンプ１０２は、４個のマイクロホン１０１の集音情報（音信号）を増幅する。Ａ／Ｄ変換器１０３は、アンプ１０２で増幅された４個のマイクロホン１０１の集音情報（音信号）を、アナログ信号からデジタル信号に変換する。
【００２６】
信号処理部１０４は、Ａ／Ｄ変換器１０３で得られた４個のマイクロホン１０１の集音情報（音信号）に基づいて、音源の位置情報および音情報を取得し、音情報を表示するための表示データを生成する。この表示データは、音情報を、位置情報に対応した視覚映像内の位置に、この視覚映像に重ねて表示するためのものとされる。ここで、位置情報に対応した視覚映像内の位置とは、位置情報が示す位置の他に、位置情報が示す位置の近傍位置を含むことを意味している。近傍位置を含むことで、例えば、使用者は、視覚映像内の音源映像を音情報の表示で邪魔されずに見ることが可能となる。信号処理部１０４は、情報取得部および表示データ生成部を構成している。
【００２７】
音情報は、この実施の形態において、音源から出る音のレベル情報および周波数情報とされる。信号処理部１０４は、音源から出る音のレベル情報を、所定の形状、この実施の形態においては円（楕円も含む）の大きさで表示するように、表示データを生成する。また、信号処理部１０４は、音源から出る音の周波数情報を、上述した円に付される色で表示するように、表示データを生成する。
【００２８】
表示部１０５は、信号処理部１０４で生成された表示データに基づいて、視覚映像内の音源に対応した位置に、音源の音情報を、この視覚映像に重ねて表示する。この場合、音源位置が視覚映像内にある場合には、その音源位置あるいはその近傍に、音情報が表示される。また、この場合、音源位置が視覚映像内から外れる場合には、その音源位置に近い視覚映像の端部に、音情報が表示される。この表示部１０５は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）からバックライトユニットを取りはずした透過型構造のディスプレイにより構成される。
【００２９】
図４は、信号処理部１０４の詳細構成を示している。この信号処理部１０４は、デジタルフィルタ１１１と、ゲイン調整部１１２と、音源位置検出部１１３と、レベル解析部１１４と、周波数解析部１１５と、表示データ発生部１１６を有している。デジタルフィルタ１１１は、４個のマイクロホン１０１の集音情報（音信号）Ｓ１〜Ｓ４に含まれる風切り音や衣擦れ音などの周波数成分を除去、あるいは低減するためのフィルタ処理を行う。この周波数成分は音源位置検出処理等に悪影響を及ぼすからである。
【００３０】
このデジタルフィルタ１１１は、例えば、ＦＩＲ（Finite-duration Impulse Response）フィルタ、あるいはＩＩＲ（Infinite -duration Impulse Response）フィルタで構成される。例えば、このデジタルフィルタ１１１は、ハイパスフィルタ、あるいはバンドパスフィルタを構成する。また、例えば、このデジタルフィルタ１１１は、検出したくない特定周波数の雑音がある場合、一部帯域を阻止するノッチフィルタを構成する。
【００３１】
ゲイン調整部１１２は、４個のマイクロホン１０１の集音情報（音信号）Ｓ１〜Ｓ４から、反射音、あるいは定常雑音などの低レベル信号をカットする。この低レベル信号は音源位置検出処理等に悪影響を及ぼすからである。このゲイン調整部１１２は、例えば、入力信号レベルに応じてゲイン制御するオートマティックゲインコントロール回路により構成される。
【００３２】
音源位置検出部１１３は、４個のマイクロホン１０１の集音情報（音信号）Ｓ１〜Ｓ４に基づいて、音源の位置情報を検出する。この音源位置検出部１１３は、透過型ＨＭＤ１０の表示面、つまり表示部１０５の表示面（２次元平面）をＸ−Ｙ座標とした位置情報を検出する。音源位置検出部１１３における音源位置検出処理は、（１）各マイクロホン１０１への音源からの音の到達時間差を求める、（２）音源からの音の到来角度を算出する、（３）音源位置を推定する、という３段階の処理に分かれる。以下に、各段階の処理を説明する。
【００３３】
（１）到達時間差を求める処理について説明する。この処理は、詳細説明は省略するが、従来周知の方法により行われる。例えば、相互相関関数を利用して求める方法や、フーリエ変換を利用したＣＳＰ法（Cross-power Spectrum Phase analysis）などが一般的である。
【００３４】
（２）到来角度を算出する処理について説明する。音源位置検出部１１３は、４個のマイクロホン１０１から抽出される各一対のマイクロホンに対してそれぞれ到来角度の算出処理を行う。図５（ａ）は、到来角度算出方法の一例を示している。一対のマイクロホンＭ１，Ｍ２の到達時間差は、図５（ｂ）に示すように、τであるとする。マイクロホンＭ１，Ｍ２の距離をｄ、音速をｃとするとき、音源からの音の到来角度θは、以下の（１）式で算出される。
【００３５】
【数１】
【００３６】
（３）音源位置を推定する処理について説明する。音源位置検出部１１３は、各一対のマイクロホンに対してそれぞれ算出された到来角度を組み合わせて、音源の位置、つまり音源の表示面を含む２次元平面上の位置を推定する。このように推定される音源位置としては、表示面内（視覚映像内）の位置、あるいは表示面内（視覚映像内）から外れた位置の２通りが考えられる。
【００３７】
なお、上述の音源位置検出部１１３における音源位置検出処理は、音源からの音の到達時間差を利用した処理である。しかし、音源位置検出部１１３における音源位置検出処理は、その他の処理、例えば、振幅特性と位相特性を利用した処理（特許文献１参照）などであってもよい。
【００３８】
図４に戻って、レベル解析部１１４は、音源位置検出部１１３で音源位置が検出された各音源について、その音源からの音のレベル（音の大きさ）を解析し、音源の音情報としてのレベル情報を得る。上述したように各マイクロホン１０１への音源からの音には到達時間差が発生する。レベル解析部１１４は、到達時間差を考慮して、４個のマイクロホン１０１の集音情報（音信号）Ｓ１〜Ｓ４を加算し、その加算信号に基づいて音源のレベル情報を得る。
【００３９】
周波数解析部１１５は、音源位置検出部１１３で音源位置が検出された各音源について、その音源からの音の周波数を解析し、音源の音情報としての周波数情報を得る。例えば、周波数解析部１１５は、周波数解析を、音源の種類毎の周波数成分を抽出する複数のデジタルフィルタを用いて行うことができる。また、例えば、周波数解析部１１５は、周波数解析を、音源からの音に対してＦＦＴ（Fast Fourie Transform）処理により行うことができる。
【００４０】
表示データ発生部１１６は、音情報を、位置情報に対応した視覚映像内の位置に、この視覚映像に重ねて表示するための表示データＤdsを生成する。表示データ発生部１１６は、音源位置検出部１１３で検出される音源の位置情報、レベル解析部１１４で得られる音源からの音のレベル情報および周波数解析部１１５で得られる音源からの音の周波数情報に基づいて、表示データＤdsを生成する。
【００４１】
表示データ生成部１１６は、音源から出る音のレベル情報を、円の大きさで表示するように、表示データＤdsを生成する。この場合、レベルが大きくなるほど、円は大きくされる。また、表示データ生成部１１６は、音源から出る音の周波数情報を、円に付される色で表示するように、表示データＤdsを生成する。これにより、音源の種類毎に音の周波数成分が異なる場合、各種類の音源は、円に付される色で識別可能となる。
【００４２】
上述したように、音源位置検出部１１３で検出される音源の位置情報は、表示面内（視覚映像内）の位置を示す場合と、表示面内（視覚映像内）から外れた位置を示す場合の２通りがある。表示データ生成部１１６は、音源位置が表示面内（視覚映像内）にある場合には、その音源位置あるいはその近傍に、音情報を表示するように、表示データＤdsを生成する。また、表示データ生成部１１６は、音源位置が表示面内（視覚映像内）から外れる場合には、その音源位置に近い表示面（視覚映像）の端部に、音情報を表示するように、表示データＤdsを生成する。
【００４３】
図４に示す信号処理部１０４の各部の処理は、例えば、コンピュータ（ＣＰＵ）によるソフトウェア処理で実行される。この場合、コンピュータは、処理プログラムに基づいて、図４に示す信号処理部１０４の各部として機能するようにされる。勿論、図４に示す信号処理部１０４の各部の一部または全部をハードウェアで構成することも可能である。
【００４４】
図６のフローチャートは、図４に示す信号処理部１０４の処理手順を示している。信号処理部１０４は、この処理手順を周期的に繰り返し、表示データＤdsを、順次更新していく。信号処理部１０４は、ステップＳＴ１において、処理を開始し、その後に、ステップＳＴ２の処理に移る。
【００４５】
このステップＳＴ２において、信号処理部１０４は、４個のマイクロホン１０１の集音情報（音信号）Ｓ１〜Ｓ４に含まれる風切り音や衣擦れ音などの周波数成分を除去、あるいは低減するためのフィルタ処理を行う。そして、信号処理部１０４は、ステップＳＴ３において、４個のマイクロホン１０１の集音情報（音信号）Ｓ１〜Ｓ４から、反射音、あるいは定常雑音などの低レベル信号をカットするゲイン調整処理を行う。
【００４６】
次に、信号処理部１０４は、ステップＳＴ４において、４個のマイクロホン１０１の集音情報（音信号）Ｓ１〜Ｓ４に基づいて、音源の位置情報を検出する。また、信号処理部１０４は、ステップＳＴ５において、音源位置が検出された各音源について、その音源からの音のレベル（音の大きさ）を解析し、音源の音情報としてのレベル情報を得る。さらに、信号処理部１０４は、ステップＳＴ６において、音源位置が検出された各音源について、その音源からの音の周波数を解析し、音源の音情報としての周波数情報を得る。
【００４７】
次に、信号処理部１０４は、ステップＳＴ７において、ステップＳＴ４で得られる音源の位置情報、ステップＳＴ５で得られる音源からの音のレベル情報およびステップＳＴ６で得られる音源からの音の周波数情報に基づいて、表示データを生成する。すなわち、信号処理部１０４は、ステップＳＴ７において、音情報を、位置情報に対応した視覚映像内の位置に、この視覚映像に重ねて表示するための表示データを生成する。信号処理部１０４は、ステップＳＴ７の処理の後、ステップＳＴ８において、処理を終了する。
【００４８】
図１、図３に示す透過型ＨＭＤ１０の動作を説明する。４個のマイクロホン１０１の集音情報（音信号）は、アンプ１０２で増幅され、さらに、Ａ／Ｄ変換器１０３でアナログ信号からデジタル信号に変換された後に、信号処理部１０４に供給される。この信号処理部１０４では、４個のマイクロホン１０１の集音情報（音信号）に基づいて、音源の位置情報および音情報（レベル情報、周波数情報）が取得される。
【００４９】
また、信号処理部１０４では、取得された音源の位置情報および音情報に基づいて、音情報を表示するための表示データが生成される。この表示データは、音情報を、位置情報に対応した視覚映像内の位置に、この視覚映像に重ねて表示するためのものとされる。この場合、音源から出る音のレベル情報は、円の大きさで表示されるように、表示データが生成される。また、この場合、音源から出る音の周波数情報は、円に付される色で表されるように、表示データが生成される。
【００５０】
信号処理部１０４で生成される表示データは、表示部１０５に供給される。この表示部１０５では、表示データに基づいて、視覚映像内の音源に対応した位置に、音源の音情報が、この視覚映像に重ねて表示される。この場合、音源位置が表示面内（視覚映像内）にある場合には、その音源位置あるいはその近傍に、音情報が表示される。また、この場合、音源位置が表示面内（視覚映像内）から外れる場合には、その音源位置に近い表示面（視覚映像）の端部に、音情報が表示される。
【００５１】
図７（ａ）は、使用者が、透過型ＨＭＤ１０を通して観察する視覚映像（実映像）の一例を示している。また、図７（ｂ）は、表示部１０５に表示される音情報（レベル情報、周波数情報）の一例を示している。なお、図７（ｂ）においては、音源の音の周波数情報を色で示す代わりに、模様で示している。使用者は、図７（ａ）に示す視覚映像に、図７（ｂ）に示す音情報表示が重畳した状態の、図７（ｃ）に示すような映像を観察する。この映像は、視覚映像内の音源に対応した位置に、この音源の音情報が重ねて表示されたものとなる。
【００５２】
図１、図３に示す透過型ＨＭＤ１０において、視覚映像内の音源に対応した位置に、この音源の音情報が重ねて表示される。そのため、使用者が音源の位置とその音源から出る音の情報を直観的に判断することが可能となる。
【００５３】
また、図１、図３に示す透過型ＨＭＤ１０において、４個のマイクロホン１０１の集音情報（音信号）に基づいて、音源の位置情報および音情報が取得される。そのため、視覚映像内の所定のオブジェクトに隠れている音源に関しても、視覚映像内の音源に対応した位置に、この音源の音情報を重ねて表示することが可能となる。
【００５４】
また、図１、図３に示すに示す透過型ＨＭＤ１０において、音源の音のレベル情報は、円の大きさで表示されるため、遠近感を判断することが可能となる。例えば、例えば、少しずつ大きくなる円から音源が近づいていると判断できる。また、図１、図３に示すに示す透過型ＨＭＤ１０において、音源の音の周波数情報は、円に付される色で表示されるため、特定の音源を色に基づいて探すことができる。
【００５５】
また、図１、図３に示す透過型ＨＭＤ１０において、音源位置が視覚映像内から外れる場合には、その音源位置に近い視覚映像の端部に音情報が表示される。そのため、視覚映像内から外れる位置にある音源に関してもその音情報を表示でき、しかも、使用者は視覚映像に対してどの方向に音源があるかを直観的に知ることができる。
【００５６】
また、図１、図３に示す透過型ＨＭＤ１０において、この透過型ＨＭＤ１０に配設される４個のマイクロホン１０１で構成される面ＳＦｂは、この透過型ＨＭＤ１０の表示面ＳＦａに対して直交しないように構成されている。この場合、面ＳＦｂを表示面ＳＦａに投影した場合に面となるため、表示面ＳＦａ上、つまり２次元平面上における音源位置の取得を簡単に行うことができる。
【００５７】
なお、図１、図３に示す透過型ＨＭＤ１０においては、アナログマイクロホン１０１が使用されている。しかし、ＭＥＭＳのようなデジタルマイクロホンを使用し、アンプやＡ／Ｄ変換器を不要とする構成も可能である。
【００５８】
また、図１、図３に示す透過型ＨＭＤ１０においては、４個のマイクロホン１０１が使用されているが、マイクロホン１０１の個数は４個に限定されない。例えば、図８（ａ）は、透過型ＨＭＤ１０の前面に２個のマイクロホン１０１が配設された例を示している。また、図８（ｂ）は、透過型ＨＭＤ１０の前面に３個のマイクロホン１０１が配設された例を示している。
【００５９】
音源位置検出の精度を上げるためにはマイクロホン同士が一定の間隔をもって配設される必要がある。そのため、透過型ＨＭＤ１０の前面に２個のマイクロホン１０１を配設する場合には、例えば、図８（ａ）に示すように、左右両端に配設される。また、透過型ＨＭＤ１０の前面に３個のマイクロホン１０１を配設する場合には、例えば、図８（ｂ）に示すように、３角形を作るように配設される。
【００６０】
また、図１、図３に示す透過型ＨＭＤ１０においては、透過型ＨＭＤ１０の前面にマイクロホン１０１が一体的に配設されている。しかし、マイクロホン１０１は、透過型ＨＭＤ１０とは独立していてもよい。その場合には、マイクロホン１０１と透過型ＨＭＤ１０の距離の情報、およびマイクロホン１０１間の距離の情報を、信号処理部１０４に受け渡す仕組みが必要となる。
【００６１】
この場合、マイクロホン１０１の位置は透過型ＨＭＤ１０に近く、固定している方が望ましい。透過型ＨＭＤ１０と、他の集音を目的とした機器が一体となっている構成でもよい。また、２つのマイクロホンを使用する場合、耳介付近にマイクロホンを設置すれば、両耳間の相関を用いる方法、あるいは両耳間の位相差を用いる方法（特開２００４−３２５２８４号公報参照）などにより音源位置を推定することも可能である。
【００６２】
以上の各変形例については、後述する他の実施の形態についても、同様のことが言える。
【００６３】
＜２．第２の実施の形態＞
［透過型ヘッドマウントディスプレイの構成例］
図９は、第２の実施の形態としての透過型ヘッドマウントディスプレイ（透過型ＨＭＤ）１０Ａの外観を示している。この透過型ＨＭＤ１０Ａの前面に、図１に示す透過型ＨＭＤ１０と同様に、４個の全指向マイクロホン１０１が配設されている。また、この透過型ＨＭＤ１０Ａの前面に、３個の指向性マイクロホン１０１ａが配設されている。ここで、マイクロホン１０１，１０１ａは、集音部を構成している。
【００６４】
４個のマイクロホン１０１の配設位置で構成される面は、図１に示す透過型ＨＭＤ１０と同様であり、透過型ＨＭＤ１０の表示面に対して直交しないようにされている。３個のマイクロホン１０１ａの配設位置で構成される面も、同様に、透過型ＨＭＤ１０の表示面に対して直交しないようにされている。つまり、この場合、３個のマイクロホン１０１ａには、表示面の水平方向に配設位置が異なるものが含まれると共に、表示面の垂直方向に配設位置が異なるものが含まれる。
【００６５】
図１０は、第２の実施の形態としての透過型ＨＭＤ１０Ａのシステム構成を示している。この図１０において、図３と対応する部分には同一符号を付し、適宜、その詳細説明を省略する。この透過型ＨＭＤ１０Ａは、４個の全指向マイクロホン１０１と、３個の指向性マイクロホン１０１ａと、アンプ１０２，１０６と、Ａ／Ｄ変換器１０３，１０７と、信号処理部１０４Ａと、表示部１０５を有している。例えば、指向性マイクロホン１０１ａは、複数個のマイクロホンアレイからなり、指向方向をダイナミックにスキャン可能とされている。
【００６６】
アンプ１０２は、４個のマイクロホン１０１の集音情報（音信号）を増幅する。Ａ／Ｄ変換器１０３は、アンプ１０２で増幅された４個のマイクロホン１０１の集音情報（音信号）を、アナログ信号からデジタル信号に変換する。アンプ１０６は、３個のマイクロホン１０１ａの集音情報（音信号）を増幅する。Ａ／Ｄ変換器１０７は、アンプ１０６で増幅された３個のマイクロホン１０１ａの集音情報（音信号）を、アナログ信号からデジタル信号に変換する。
【００６７】
信号処理部１０４Ａは、Ａ／Ｄ変換器１０３からの４個の全指向マイクロホン１０１の集音情報（音信号）およびＡ／Ｄ変換器１０７からの３個の指向性マイクロホン１０１ａの集音情報（音信号）に基づいて、音源の位置情報および音情報を取得する。また、信号処理部１０４Ａは、この音源の位置情報および音情報に基づいて、音情報を表示するための表示データを生成する。この表示データは、音情報を、位置情報に対応した視覚映像内の位置に、この視覚映像に重ねて表示するためのものとされる。信号処理部１０４Ａは、情報取得部および表示データ生成部を構成している。
【００６８】
この信号処理部１０４Ａは、音源の位置情報を、以下の処理手順で取得する。すなわち、信号処理部１０４Ａは、４個の全指向マイクロホン１０１の集音情報（音信号）に基づいて、音源の第１の方向情報を取得する。この第１の方向情報は、音源の方向をおおまかに示す情報である。次に、信号処理部１０４Ａは、この第１の方向情報に基づいて、３個の指向性マイクロホン１０１ａの指向方向を制御して、この３個の指向性マイクロホン１０１ａの配設位置における音源の第２の方向情報を取得する。
【００６９】
この場合、図１０には、信号処理部１０４Ａから指向性マイクロホン１０１ａへの制御ラインを示していないが、信号処理部１０４Ａにより、指向性マイクロホン１０１ａの指向方向が第１の方向情報で示される一定範囲をスキャンするように制御される。信号処理部１０４Ａは、指向性マイクロホン１０１ａの集音情報（音信号）のレベルが最大となる指向方向を、その指向性マイクロホン１０１ａの配設位置における音源の第２の方向情報とする。この第２の方向情報は、音源の方向を精度よく示す情報となる。そして、信号処理部１０４Ａは、この３個の指向性マイクロホン１０１ａの配設位置における音源の第２の方向情報に基づいて、音源の位置情報を取得する。
【００７０】
表示部１０５は、信号処理部１０４Ａで生成された表示データに基づいて、視覚映像内の音源に対応した位置に、音源の音情報を、この視覚映像に重ねて表示する。この場合、音源位置が視覚映像内にある場合には、その音源位置あるいはその近傍に、音情報が表示される。また、この場合、音源位置が視覚映像内から外れる場合には、その音源位置に近い視覚映像の端部に、音情報が表示される。
【００７１】
図１１は、信号処理部１０４Ａの詳細構成を示している。この図１１において、図４と対応する部分には、同一符号を付し、適宜、その詳細説明は省略する。この信号処理部１０４Ａは、デジタルフィルタ１１１，１１８と、ゲイン調整部１１２，１１９と、音源方向推定部１１７と、音源位置検出部１１３Ａと、レベル解析部１１４と、周波数解析部１１５と、表示データ発生部１１６を有している。
【００７２】
デジタルフィルタ１１１は、４個のマイクロホン１０１の集音情報（音信号）Ｓ１〜Ｓ４に含まれる風切り音や衣擦れ音などの周波数成分を除去、あるいは低減するための、フィルタ処理を行う。この周波数成分は音源方向推定出処理等に悪影響を及ぼすからである。ゲイン調整部１１２は、４個の全指向マイクロホン１０１の集音情報（音信号）Ｓ１〜Ｓ４から、反射音、あるいは定常雑音などの低レベル信号をカットする。この低レベル信号は音源方向推定出処理等に悪影響を及ぼすからである。
【００７３】
音源方向推定部１１７は、フィルタ処理およびゲイン調整処理が行われた４個のマイクロホン１０１の集音情報（音信号）Ｓ１〜Ｓ４に基づいて、音源方向を概略的に推定する。この音源方向推定部１１７は、上述した図４に示す透過型ＨＭＤ１０における信号処理部１０４の３段階の処理のうち、（１）各マイクロホンへの音源からの音の到達時間差を求める、（２）音源からの音の到来角度を算出する、の２段階の処理を行う。
【００７４】
音源位置検出部１１３Ａは、音源方向推定部１１７で得られる複数の到来角度情報と、３個の指向性マイクロホン１０１の集音情報（音信号）Ｓa1〜Ｓa4とに基づいて、音源の位置情報を検出する。この音源位置検出部１１３Ａは、透過型ＨＭＤ１０Ａの表示面、つまり表示部１０５の表示面（２次元平面）をＸ−Ｙ座標とした位置情報を検出する。
【００７５】
音源位置検出部１１３Ａは、まず、３個の指向性マイクロホン１０１ａのそれぞれにつき、その配設位置における音源方向を取得する。この場合、音源位置検出部１１３Ａは、指向性マイクロホン１０１ａの指向方向が音源方向推定部１１７で得られる複数の到来角度情報（音源の第１の方向情報）で示される一定範囲をスキャンするように制御する。そして、音源位置検出部１１３Ａは、その指向性マイクロホン１０１ａの集音情報（音信号）のレベルが最大となる指向方向を、その指向性マイクロホン１０１ａの配設位置における音源方向とする。
【００７６】
音源位置検出部１１３Ａは、次に、３個の指向性マイクロホン１０１ａの配設位置における音源方向情報（音源の第２の方向情報）に基づいて、音源の位置情報を取得する。すなわち、音源位置検出部１１３Ａは、３個の指向性マイクロホン１０１ａの配設位置における音源方向を組み合わせて、音源の位置、つまり音源の表示面を含む２次元平面上の位置を推定する。このように推定される音源位置としては、表示面内（視覚映像内）の位置、あるいは表示面内（視覚映像内）から外れた位置の２通りが考えられる。
【００７７】
レベル解析部１１４は、音源位置検出部１１３Ａで音源位置が検出された各音源について、例えば４個の指向性マイクロホン１０１で集音されるその音源の音のレベル（音の大きさ）を解析し、音源の音情報としてのレベル情報を得る。上述したように各マイクロホン１０１への音源からの音には到達時間差が発生する。
【００７８】
レベル解析部１１４は、到達時間差を考慮して、４個のマイクロホン１０１の集音情報（音信号）Ｓ１〜Ｓ４を加算し、その加算信号に基づいて音源のレベル情報を得る。周波数解析部１１５は、音源位置検出部１１３Ａで音源位置が検出された各音源について、例えば４個の指向性マイクロホン１０１ａで集音されるその音源の音の周波数を解析し、音源の音情報としての周波数情報を得る。
【００７９】
表示データ発生部１１６は、音情報を、位置情報に対応した視覚映像内の位置に、この視覚映像に重ねて表示するための表示データＤdsを生成する。表示データ発生部１１６は、音源位置検出部１１３Ａで検出される音源の位置情報、レベル解析部１１４で得られる音源からの音のレベル情報および周波数解析部１１５で得られる音源からの音の周波数情報に基づいて、表示データＤdsを生成する。
【００８０】
表示データ生成部１１６は、音源から出る音のレベル情報を、円の大きさで表示するように、表示データＤdsを生成する。この場合、レベルが大きくなるほど、円は大きくされる。また、表示データ生成部１１６は、音源から出る音の周波数情報を、円に付される色で表示するように、表示データＤdsを生成する。これにより、音源の種類毎に音の周波数成分が異なる場合、各種類の音源は、円に付される色で識別可能となる。
【００８１】
上述したように、音源位置検出部１１３Ａで検出される音源の位置情報は、表示面内（視覚映像内）の位置を示す場合と、表示面内（視覚映像内）から外れた位置を示す場合の２通りがある。表示データ生成部１１６は、音源位置が表示面内（視覚映像内）にある場合には、その音源位置あるいはその近傍に、音情報を表示するように、表示データＤdsを生成する。また、示データ生成部１１６は、音源位置が表示面内（視覚映像内）から外れる場合には、その音源位置に近い表示面（視覚映像）の端部に、音情報を表示するように、表示データＤdsを生成する。
【００８２】
図１１に示す信号処理部１０４Ａの各部の処理は、例えば、コンピュータ（ＣＰＵ）によるソフトウェア処理で実行される。この場合、コンピュータは、処理プログラムに基づいて、図１１に示す信号処理部１０４Ａの各部として機能するようにされる。勿論、図１１に示す信号処理部１０４Ａの各部の一部または全部をハードウェアで構成することも可能である。
【００８３】
図１２のフローチャートは、図１１に示す信号処理部１０４Ａの処理手順を示している。信号処理部１０４Ａは、この処理手順を周期的に繰り返し、表示データＤdsを、順次更新していく。信号処理部１０４Ａは、ステップＳＴ１０において、処理を開始し、その後に、ステップＳＴ１１の処理に移る。
【００８４】
このステップＳＴ１１において、信号処理部１０４Ａは、４個の全指向マイクロホン１０１の集音情報（音信号）Ｓ１〜Ｓ４に含まれる風切り音や衣擦れ音などの周波数成分を除去、あるいは低減するためのフィルタ処理を行う。そして、信号処理部１０４Ａは、ステップＳＴ１２において、４個の全指向マイクロホン１０１の集音情報（音信号）Ｓ１〜Ｓ４から、反射音、あるいは定常雑音などの低レベル信号をカットするゲイン調整処理を行う。
【００８５】
次に、ステップＳＴ１３において、信号処理部１０４Ａは、フィルタ処理およびゲイン調整処理が行われた４個のマイクロホン１０１の集音情報（音信号）Ｓ１〜Ｓ４に基づいて、音源方向を概略的に推定する。この場合、信号処理部１０４Ａは、（１）各マイクロホンへの音源からの音の到達時間差を求める、（２）音源からの音の到来角度を算出する、の２段階の処理を行う。
【００８６】
次に、信号処理部１０４Ａは、ステップＳＴ１４において、３個の指向性マイクロホン１０１ａの集音情報（音信号）Ｓa1〜Ｓa3に含まれる風切り音や衣擦れ音などの周波数成分を除去、あるいは低減するためのフィルタ処理を行う。そして、信号処理部１０４Ａは、ステップＳＴ１５において、３個の指向性マイクロホン１０１ａの集音情報（音信号）Ｓa1〜Ｓa3から、反射音、あるいは定常雑音などの低レベル信号をカットするゲイン調整処理を行う。
【００８７】
次に、信号処理部１０４Ａは、ステップＳＴ１６において、音源の位置情報を検出する。この場合、信号処理部１０４Ａは、ステップＳＴ１３で得られた複数の到来角度情報と、フィルタ処理およびゲイン調整処理が行われた３個の指向性マイクロホン１０１ａの集音情報（音信号）Ｓa1〜Ｓa3に基づいて、音源の位置情報を検出する。
【００８８】
次に、信号処理部１０４Ａは、ステップＳＴ１７において、音源位置が検出された各音源について、その音源からの音のレベル（音の大きさ）を解析し、音源の音情報としてのレベル情報を得る。さらに、信号処理部１０４Ａは、ステップＳＴ１８において、音源位置が検出された各音源について、その音源からの音の周波数を解析し、音源の音情報としての周波数情報を得る。
【００８９】
次に、信号処理部１０４Ａは、ステップＳＴ１９において、ステップＳＴ１６で得られる音源の位置情報、ステップＳＴ１７で得られる音源からの音のレベル情報およびステップＳＴ１８で得られる音源からの音の周波数情報に基づいて、表示データを生成する。すなわち、信号処理部１０４Ａは、ステップＳＴ１９において、音情報を、位置情報に対応した視覚映像内の位置に、この視覚映像に重ねて表示するための表示データを生成する。信号処理部１０４Ａは、ステップＳＴ１９の処理の後、ステップＳＴ２０において、処理を終了する。
【００９０】
図９、図１０に示す透過型ＨＭＤ１０Ａの動作を説明する。４個の全指向マイクロホン１０１の集音情報（音信号）は、アンプ１０２で増幅され、さらに、Ａ／Ｄ変換器１０３でアナログ信号からデジタル信号に変換された後に、信号処理部１０４Ａに供給される。また、３個の指向性マイクロホン１０１ａの集音情報（音信号）は、アンプ１０６で増幅され、さらに、Ａ／Ｄ変換器１０７でアナログ信号からデジタル信号に変換された後に、信号処理部１０４Ａに供給される。
【００９１】
信号処理部１０４Ａでは、４個の全指向マイクロホン１０１の集音情報（音信号）および３個の指向性マイクロホン１０１ａの集音情報（音信号）に基づいて、音源の位置情報および音情報が取得され、音情報を表示するための表示データが生成される。この表示データは、音情報を、位置情報に対応した視覚映像内の位置に、この視覚映像に重ねて表示するためのものとされる。
【００９２】
この場合、まず、信号処理部１０４Ａでは、４個の全指向マイクロホン１０１の集音情報（音信号）Ｓ１〜Ｓ４に基づいて、音源の第１の方向情報（音源の方向をおおまかに示す情報）が取得される。次に、信号処理部１０４Ａでは、この第１の方向情報に基づいて、３個の指向性マイクロホン１０１ａの指向方向が制御される。そして、３個の指向性マイクロホン１０１ａの集音情報（音信号）Ｓa1〜Ｓa3に基づいて、この３個の指向性マイクロホン１０１ａの配設位置における音源の第２の方向情報（音源の方向を精度よく示す情報）が取得される。さらに、信号処理部１０４Ａでは、この３個の指向性マイクロホン１０１ａの配設位置における音源の第２の方向情報に基づいて、音源の位置情報が取得される。
【００９３】
信号処理部１０４Ａで生成される表示データは、表示部１０５に供給される。この表示部１０５では、表示データに基づいて、視覚映像内の音源に対応した位置に、音源の音情報が、この視覚映像に重ねて表示される（図７（ｃ）参照）。この場合、音源位置が表示面内（視覚映像内）にある場合には、その音源位置あるいはその近傍に、音情報が表示される。また、この場合、音源位置が表示面内（視覚映像内）から外れる場合には、その音源位置に近い表示面（視覚映像）の端部に、音情報が表示される。
【００９４】
図９、図１０に示す透過型ＨＭＤ１０Ａにおいては、上述の図１、図３に示す透過型ＨＭＤ１０と同様に構成されているので、同様の効果を得ることができる。また、図９、図１０に示す透過型ＨＭＤ１０Ａにおいて、信号処理部１０４Ａでは、４個の全指向マイクロホン１０１の集音情報に基づいた処理と、３個の指向性マイクロホン１０１ａの集音情報に基づいた処理の２段階の処理で音源の方向情報が取得される。そのため、マイクロホン数をそれほど多くすることなく、音源の位置情報の取得精度を高めることが可能となる。
【００９５】
＜３．第３の実施の形態＞
［非透過型ヘッドマウントディスプレイの構成例］
図１３は、第３の実施の形態としての非透過型ヘッドマウントディスプレイ（ＨＭＤ）１０Ｂの外観を示している。この非透過型ＨＭＤ１０Ｂの前面に、図１に示す透過型ＨＭＤ１０と同様に、４個の全指向マイクロホン１０１が配設されている。また、この非透過型ＨＭＤ１０Ｂの前面中央に、視覚映像の映像データを得るための撮像素子（カメラ）１３１が配設されている。ここで、マイクロホン１０１は、集音部を構成している。４個のマイクロホン１０１の配設位置で構成される面は、図１に示す透過型ＨＭＤ１０と同様であり、非透過型ＨＭＤ１０Ｂの表示面に対して直交しないようにされている。
【００９６】
図１４は、第３の実施の形態としての非透過型ＨＭＤ１０Ｂのシステム構成を示している。この図１４において、図３と対応する部分には同一符号を付し、適宜、その詳細説明を省略する。この非透過型ＨＭＤ１０Ｂは、４個の全指向マイクロホン１０１と、アンプ１０２と、Ａ／Ｄ変換器１０３と、信号処理部１０４と、撮像素子（カメラ）１３１と、撮像信号処理部１３２と、重畳部１３４と、表示部１０５Ｂを有している。
【００９７】
アンプ１０２は、４個のマイクロホン１０１の集音情報（音信号）を増幅する。Ａ／Ｄ変換器１０３は、アンプ１０２で増幅された４個のマイクロホン１０１の集音情報（音信号）を、アナログ信号からデジタル信号に変換する。信号処理部１０４Ｃは、Ａ／Ｄ変換器１０３で得られた４個のマイクロホン１０１の集音情報（音信号）に基づいて、音源の位置情報および音情報を取得し、音情報を表示するための表示データを生成する。
【００９８】
撮像素子（カメラ）１３１は、使用者の視界に対応した被写体を撮像する。撮像信号処理部１３２は、撮像素子１３１で得られる撮像信号を処理して、視覚映像の映像データを出力する。この場合、撮像信号処理部１３２では、撮像素子１３１の配設位置に応じて発生する撮像映像と実際の使用者の視界とのずれを補正する処理も行われる。ここで、撮像素子１３１および撮像信号処理部１３２は、撮像部を構成している。
【００９９】
重畳部１３４は、撮像信号処理部１３２で得られた視覚映像の映像データに、信号処理部１０４で生成された表示データを重畳する。表示部１０５Ｂは、重畳部１３４の出力データに基づいて、視覚映像を表示すると共に、この視覚映像内の音源に対応した位置に、音源の音情報を、この視覚映像に重ねて表示する。この表示部１０５Ｂは、図３に示す透過型ＨＭＤ１０の表示部１０５とは異なり、例えば、バックライトユニットを取りはずしていない通常の液晶ディスプレイ（ＬＣＤ）により構成される。
【０１００】
図１３、図１４に示す非透過型ＨＭＤ１０Ｂの動作を説明する。４個のマイクロホン１０１の集音情報（音信号）は、アンプ１０２で増幅され、さらに、Ａ／Ｄ変換器１０３でアナログ信号からデジタル信号に変換された後に、信号処理部１０４に供給される。信号処理部１０４では、４個のマイクロホン１０１の集音情報（音信号）に基づいて、音源の位置情報および音情報が取得され、音情報を表示するための表示データが生成される。この表示データは、音情報を、位置情報に対応した視覚映像内の位置に、この視覚映像に重ねて表示するためのものとされる。
【０１０１】
また、撮像素子１３１では、使用者の視界に対応した被写体が撮像される。この撮像素子１３１から出力される撮像信号は、撮像信号処理部１３２に供給される。撮像信号処理部１３２では、撮像信号が処理されて、視覚映像の映像データが生成される。この撮像信号処理部１３２では、撮像素子１３１の配設位置に応じて発生する撮像映像と実際の使用者の視界とのずれを補正する処理も行われる。
【０１０２】
撮像信号処理部１３２で得られる視覚映像の映像データは、重畳部１３４に供給される。また、この重畳部１３４には、信号処理部１０４で生成された表示データが供給される。この重畳部１３４では、視覚映像の映像データに表示データが重畳される。この重畳データは、表示部１０５Ｂに供給される。
【０１０３】
表示部１０５Ｂでは、重畳部１３４の出力データ（重畳データ）に基づいて、視覚映像が表示されると共に、この視覚映像内の音源に対応した位置に、音源の音情報が、この視覚映像に重ねて表示される（図７（ｃ）参照）。この場合、音源位置が表示面内（視覚映像内）にある場合には、その音源位置あるいはその近傍に、音情報が表示される。また、この場合、音源位置が表示面内（視覚映像内）から外れる場合には、その音源位置に近い表示面（視覚映像）の端部に、音情報が表示される。
【０１０４】
図１３、図１４に示す非透過型ＨＭＤ１０Ｂにおいては、表示部１０５Ｂに音源の音情報の他に視覚映像も表示されることを除き、上述の図１、図３に示す透過型ＨＭＤ１０と同様に構成されているので、同様の効果を得ることができる。また、図１３、図１４に示す非透過型ＨＭＤ１０Ｂにおいて、撮像信号処理部１３２では、撮像素子１３１の配設位置に応じて発生する撮像映像と実際の使用者の視界とのずれが補正されるので、表示部１０５Ｂに実施の視界に対応した良好な視覚映像を表示できる。
【０１０５】
なお、図１３、図１４に示す非透過型ＨＭＤ１０Ｂにおいては、非透過型ＨＭＤ１０Ｂの前面中央に撮像素子（カメラ）１３１が一体的に配設されているが、撮像素子１３１の配設位置はこれに限定されない。例えば、図１５に示すように、非透過型ＨＭＤ１０Ｂの前面の側端に、あるいは非透過型ＨＭＤ１０Ｂとは独立した位置に配設することも考えられる。このような場合にあっても、上述したように、撮像信号処理部１３２で撮像素子１３１の配設位置に応じて発生する撮像映像と実際の使用者の視界とのずれが補正されることで、表示部１０５Ｂには実施の視界に対応した良好な視覚映像を表示可能となる。
【０１０６】
＜４．第４の実施の形態＞
［透過型ヘッドマウントディスプレイの構成例］
図１６は、第４の実施の形態としての透過型ヘッドマウントディスプレイ（ＨＭＤ）１０Ｃの構成を示している。図示は省略するが、この透過型ＨＭＤ１０Ｃの外観は、図１に示す透過型ＨＭＤ１０と同様である。この図１６において、図３と対応する部分には、同一符号を付し、適宜、その詳細説明は省略する。この透過型ＨＭＤ１０Ｃは、４個の全指向マイクロホン１０１と、アンプ１０２と、Ａ／Ｄ変換器１０３と、信号処理部１０４Ｃと、表示部１０５と、音源特定部１３５を有している。
【０１０７】
アンプ１０２は、４個のマイクロホン１０１の集音情報（音信号）を増幅する。Ａ／Ｄ変換器１０３は、アンプ１０２で増幅された４個のマイクロホン１０１の集音情報（音信号）を、アナログ信号からデジタル信号に変換する。信号処理部１０４Ｃは、Ａ／Ｄ変換器１０３で得られた４個のマイクロホン１０１の集音情報（音信号）に基づいて、音源の位置情報および音情報を取得し、音情報を表示するための表示データを生成する。
【０１０８】
音源特定部１３５は、信号処理部１０４Ｃで位置情報および音情報を取得する対象としての音源を特定する。この音源特定部１３５は、図示しない音源選択ボタンなどを備えており、使用者が音源特定操作を行い得るようにされている。対象音源の特定は、例えば、音の周波数、レベル等により行うことができるが、この実施の形態においては、周波数により行う。
【０１０９】
表示部１０５は、信号処理部１０４Ｃで生成された表示データに基づいて、視覚映像内の音源に対応した位置に、音源の音情報を、この視覚映像に重ねて表示する。この表示部１０５は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）からバックライトユニットを取りはずした透過型構造のディスプレイにより構成される。
【０１１０】
図１６に示す透過型ＨＭＤ１０Ｃの動作を説明する。４個のマイクロホン１０１の集音情報（音信号）は、アンプ１０２で増幅され、さらに、Ａ／Ｄ変換器１０３でアナログ信号からデジタル信号に変換された後に、信号処理部１０４Ｃに供給される。この信号処理部１０４Ｃでは、４個のマイクロホン１０１の集音情報（音信号）に基づいて、音源の位置情報および音情報（レベル情報、周波数情報）が取得される。この場合、信号処理部１０４Ｃでは、音源特定部１３５で特定された音源のみが対象とされて、位置情報および音情報が取得される。
【０１１１】
また、信号処理部１０４Ｃでは、取得された音源の位置情報および音情報に基づいて、音情報を表示するための表示データが生成される。この表示データは、音情報を、位置情報に対応した視覚映像内の位置に、この視覚映像に重ねて表示するためのものとされる。この場合、音源から出る音のレベル情報は、円の大きさで表示されるように、表示データが生成される。また、この場合、音源から出る音の周波数情報は、円に付される色で表されるように、表示データが生成される。
【０１１２】
信号処理部１０４Ｃで生成される表示データは、表示部１０５に供給される。この表示部１０５では、表示データに基づいて、視覚映像内の音源に対応した位置に、音源の音情報が、この視覚映像に重ねて表示される（図７（ｃ）参照）。この場合、音源位置が表示面内（視覚映像内）にある場合には、その音源位置あるいはその近傍に、音情報が表示される。また、この場合、音源位置が表示面内（視覚映像内）から外れる場合には、その音源位置に近い表示面（視覚映像）の端部に、音情報が表示される。
【０１１３】
図１６に示す透過型ＨＭＤ１０Ｃにおいては、上述の図１、図３に示す透過型ＨＭＤ１０と同様に構成されているので、同様の効果を得ることができる。また、図１６に示す透過型ＨＭＤ１０Ｃにおいて、信号処理部１０４Ｃでは、音源特定部１３５で特定された音源のみが対象とされて、位置情報および音情報が取得される。そのため、視覚映像内に特定の音源の音情報のみを表示させることができ、特定の音源の探索が容易となる。
【０１１４】
＜５．変形例＞
なお、上述実施の形態においては、音源の音情報がレベル情報および周波数である例を示した。しかし、この音情報としては、その他の情報も考えられる。例えば、（１）音声認識によって判断した言葉を表す文字情報、（２）環境音から得られた物体の発音を示す擬態語（電車：ガタンゴトンなど）、（３）生物の発音を示す擬音語、（４）音信号の時間軸波形、パワースペクトル、周波数スペクトル、などである。
【０１１５】
また、上述実施の形態においては、音源の音のレベル情報が円の大きさで表示される例を示した。しかし、円以外の表示形状であってもよい。例えば、（１）多角形、（２）矢印、（３）吹き出し、（４）人の音声、その他生物、環境音といった発音体の種類によるフォント、等であってもよい。
【０１１６】
また、上述実施の形態においては、音源の音の周波数情報が円に付される色で表示される例を示した。しかし、（１）人の性別、（２）人の音声、（３）その他生物、環境音といった発音体の種類を色分けして表示し、さらに、音の大きさを色の濃淡で表示すること等も考えられる。
【産業上の利用可能性】
【０１１７】
この発明は、例えば、ヘッドマウントディスプレイを用いた聴力支援装置等に適用できる。
【符号の説明】
【０１１８】
１０，１０Ａ，１０Ｃ・・・透過型ヘッドマウントディスプレイ（透過型ＨＭＤ）
１０Ｂ・・・非透過型ヘッドマウントディスプレイ（非透過型ＨＭＤ）
１０１・・・マイクロホン（全指向マイクロホン）
１０１ａ・・・指向性マイクロホン
１０２・・・アンプ
１０３・・・Ａ／Ｄ変換器
１０４，１０４Ａ，１０４Ｃ・・・信号処理部
１０５，１０５Ｂ・・・表示部
１０６・・・アンプ
１０７・・・Ａ／Ｄ変換器
１１１・・・デジタルフィルタ
１１２・・・ゲイン調整部
１１３，１１３Ａ・・・音源位置検出部
１１４・・・レベル解析部
１１５・・・周波数解析部
１１６・・・表示データ発生部
１１７・・・音源方向推定部
１１８・・・デジタルフィルタ
１１９・・・ゲイン調整部
１３１・・・撮像素子（カメラ）
１３２・・・撮像信号処理部
１３４・・・重畳部
１３５・・・音源特定部
【技術分野】
【０００１】
この発明は、音情報表示装置、音情報表示方法およびプログラムに関し、特に、頭部装着型のディスプレイ（ヘッドマウントディスプレイ）に視覚映像に重ねて音源の音情報を表示する音情報表示装置などに関する。
【背景技術】
【０００２】
特許文献１には、複数のマイクロホンにより音源位置や、音の強さを推定する技術が記載されている。また、特許文献２には、複数のマイクロホンにより音源の到来方向を認識し、認識結果に対応する言葉や擬音語を文字情報として出力する聴覚障害者用ヘッドマウントディスプレイが記載されている。また、特許文献３には、入力された映像から音情報を抽出し、その音が何であるかを分類、識別し、映像内の画像に対応づけていく可視化装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】再表２００４−０２１０３１号公報
【特許文献２】特開２００７−３３４１４９号公報
【特許文献３】特開平０８−１７９７９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
音源方向を推定する技術やそこから音の強さを求める技術（特許文献１参照）は、既に確立されており、主に計測用に用いられている。しかしながら、計測用の分野では精密さが求められることから、装置が大規模になっているのが現状である。一方で、このような音源方向推定技術は一般人向けの発音体探索や聴覚障害者向けの聴力支援ツールともなり得る。
【０００５】
上述の特許文献２に記載される技術は、メガネ型のヘッドマウントディスプレイということで、一般の歩行者を意識している。しかし、音源の到来方向は文字で表示され、直観的にわかりにくい。さらに、認識結果が擬態語を用いて表現されるが、発音体の音表現に個人差がある可能性がある。
【０００６】
また、上述の特許文献３に記載される技術は、膨大なデータベースが必要となり、また映像内に隠れている発音体や映像外から到来してくる発音体の識別が難しい。
【０００７】
この発明の目的は、使用者が音源の位置とその音源から出る音の情報を直観的に判断可能とすることにある。
【課題を解決するための手段】
【０００８】
この発明の概念は、
複数の集音部と、
上記複数の集音部の集音情報に基づいて、音源の位置情報および音情報を取得する情報取得部と、
上記情報取得部で取得された音情報を、該情報取得部で取得された位置情報に対応した視覚映像内の位置に、該視覚映像に重ねて表示するための表示データを生成する表示データ生成部と、
上記表示データ生成部で生成された表示データに基づいて、上記視覚映像内の音源に対応した位置に、該音源の音情報を該視覚映像に重ねて表示する、頭部装着型の画像表示部と
を備える音情報表示装置にある。
【０００９】
この発明において、複数の集音部、例えば複数のマイクロホンが備えられている。情報取得部により、複数の集音部の集音情報に基づいて、音源の位置情報および音情報が取得される。例えば、音情報は、音源から出る音のレベル情報、あるいは音源から出る音の周波数情報などとされる。
【００１０】
表示データ生成部により、情報取得部で取得された音情報を表示するための表示データが生成される。この表示データは、音情報を、情報取得部で取得された位置情報に対応した視覚映像内の位置に、この視覚映像に重ねて表示する、ように生成される。
【００１１】
例えば、この表示データは、音源から出る音のレベル情報を円などの所定の形状の大きさで表示するように、生成される。この場合、遠近感を判断することが可能となる。例えば、少しずつ大きくなる円から音源が近づいていると判断できる。また、例えば、この表示データは、音源から出る音の周波数情報を円などの所定の形状に付される色で表示するように、生成される。この場合、特定の音源を色に基づいて探すことができる。
【００１２】
表示データ生成部で生成された表示データに基づいて、頭部装着型の画像表示部に、音源の音情報が表示される。この場合、この音情報は、視覚映像内の音源に対応した位置に、この視覚映像に重ねて表示される。例えば、音源位置が視覚映像内にある場合には、その音源位置あるいはその近傍に音情報が表示される。また、例えば、音源位置が視覚映像内から外れる場合には、その音源位置に近い視覚映像の端部に音情報が表示される。例えば、頭部装着型の画像表示部は、透過型の画像表示部とされる。この場合、視覚映像は、例えば、使用者がこの画像表示部を通して観察し得る実映像とされる。
【００１３】
また、例えば、頭部装着型の画像表示部は、非透過型の画像表示部とされる。この場合、視覚映像の映像データを得るための撮像部が画像表示部に配設され、この撮像部で得られた映像データに、表示データ生成部で生成された表示データが重畳される。そして、この重畳データに基づいて、画像表示部に、視覚映像が表示されると共に、この視覚映像内の音源に対応した位置に、この音源の音情報が重ねて表示される。すなわち、この場合の視覚映像は、画像表示部に表示された表示映像とされる。
【００１４】
このように、この発明においては、視覚映像内の音源に対応した位置に、この音源の音情報が重ねて表示されるため、使用者が音源の位置とその音源から出る音の情報を直観的に判断することが可能となる。また、この発明においては、複数の集音部の集音情報に基づいて音源の位置情報および音情報が取得されるものであり、視覚映像内の所定のオブジェクトに隠れている音源に関しても、視覚映像内の音源に対応した位置に、この音源の音情報を重ねて表示することが可能となる。
【００１５】
この発明において、例えば、複数の集音部は、画像表示部に配設され、この複数の集音部の配設位置で構成される面は、画像表示部の表示面に対して直交しない、ようにされる。この場合、画像表示部の表示面上、つまり２次元平面上において、音源位置の取得を簡単に行うことができる。例えば、複数の集音部の配設位置で構成される面は、画像表示部の表示面に平行とされる。この場合、画像表示部の表示面上の音源位置を取得するための演算が簡単となる。
【００１６】
また、この発明において、例えば、複数の集音部は、複数の全指向集音部および複数の指向性集音部とからなり、情報取得部は、複数の全指向集音部の集音情報に基づいて音源の第１の方向情報を取得し、この第１の方向情報に基づいて複数の指向性集音部の指向方向を制御してこの複数の指向性集音部の配設位置における音源の第２の方向情報を取得し、この第２の方向情報に基づいて音源の位置情報を取得する、ようにされる。この場合、集音部の数を多くすることなく、音源の位置情報の取得精度を高めることが可能となる。
【００１７】
また、この発明において、例えば、情報取得部が位置情報および音情報を取得する対象としての音源を特定する音源特定部をさらに備える、ようにされる。例えば、音源特定部では、周波数により音情報を取得する対象としての音源が特定される。この場合、視覚映像内に特定の音源の音情報のみを表示させることができ、特定の音源の探索が容易となる。
【発明の効果】
【００１８】
この発明によれば、視覚映像内の音源に対応した位置に、この音源の音情報が重ねて表示されるため、使用者が音源の位置とその音源から出る音の情報を直観的に判断することが可能となり、例えば、難聴者等の視覚を利用した聴力支援が可能となる。
【図面の簡単な説明】
【００１９】
【図１】この発明の第１の実施の形態としての透過型ヘッドマウントディスプレイ（透過型ＨＭＤ）の外観を示す図である。
【図２】４個のマイクロホンの配設位置で構成される面と表示面との関係を説明するための図である。
【図３】この発明の第１の実施の形態としての透過型ＨＭＤシステムの構成例を示すブロック図である。
【図４】透過型ＨＭＤシステムを構成する信号処理部の構成例を示すブロック図である。
【図５】音源位置検出のために必要な到来角度の算出方法の一例を説明するための図である。
【図６】透過型ＨＭＤシステムを構成する信号処理部の処理手順を示すフローチャートである。
【図７】視覚映像内の音源に対応した位置に音情報が重ねて表示された表示例を示す図である。
【図８】透過型ＨＭＤへの他のマイクロホン配設例を説明するための図である。
【図９】この発明の第２の実施の形態としての透過型ヘッドマウントディスプレイ（透過型ＨＭＤ）の外観を示す図である。
【図１０】この発明の第２の実施の形態としての透過型ＨＭＤシステムの構成例を示すブロック図である。
【図１１】透過型ＨＭＤシステムを構成する信号処理部の構成例を示すブロック図である。
【図１２】透過型ＨＭＤシステムを構成する信号処理部の処理手順を示すフローチャートである。
【図１３】この発明の第３の実施の形態としての非透過型ヘッドマウントディスプレイ（非透過型ＨＭＤ）の外観を示す図である。
【図１４】この発明の第３の実施の形態としての非透過型ＨＭＤシステムの構成例を示すブロック図である。
【図１５】非透過型ＨＭＤへの撮像素子（カメラ）の他の配設例を説明するための図である。
【図１６】この発明の第４の実施の形態としての透過型ＨＭＤシステムの構成例を示すブロック図である。
【発明を実施するための形態】
【００２０】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
５．変形例
【００２１】
＜１．第１の実施の形態＞
［透過型ヘッドマウントディスプレイの構成例］
図１は、第１の実施の形態としての透過型ヘッドマウントディスプレイ（透過型ＨＭＤ）１０の外観を示している。この透過型ＨＭＤ１０の前面に、４個の全指向のマイクロホン１０１が配設されている。音源位置検出の精度を向上させるために、マイクロホン同士は、一定の間隔をあけて配設されている。ここで、マイクロホン１０１は、集音部を構成している。
【００２２】
この場合、４個のマイクロホン１０１の配設位置で構成される面は、透過型ＨＭＤ１０の表示面に対して直交しないようにされている。この場合、４個のマイクロホン１０１には、表示面の水平方向に配設位置が異なるものが含まれると共に、表示面の垂直方向に配設位置が異なるものが含まれることを意味する。
【００２３】
図２（ａ）は、その状態を示している。この図２（ａ）において、実線の四角形は表示面ＳＦａを概略的に示し、破線の四角形は４個のマイクロホン１０１の配設位置で構成される面ＳＦｂを示している。この場合、面ＳＦｂを表示面ＳＦａに投影した場合に面となる。そのため、後述する４個のマイクロホン１０１の集音情報（音信号）に基づいて、表示面ＳＦａ上、つまり２次元平面上における音源位置を取得することが、容易となる。
【００２４】
なお、図２（ｂ）に示すように、面ＳＦｂが表示面ＳＦａに平行となるように、４個のマイクロホン１０１が透過型ＨＭＤ１０に配設されてもよい。この場合、後述する４個のマイクロホン１０１の集音情報に基づいて、表示面ＳＦａ上、つまり２次元平面上における音源位置を取得する際の演算が簡単となる。
【００２５】
図３は、第１の実施の形態としての透過型ＨＭＤ１０のシステム構成を示している。この透過型ＨＭＤ１０は、４個のマイクロホン１０１と、アンプ１０２と、Ａ／Ｄ変換器１０３と、信号処理部１０４と、表示部１０５を有している。アンプ１０２は、４個のマイクロホン１０１の集音情報（音信号）を増幅する。Ａ／Ｄ変換器１０３は、アンプ１０２で増幅された４個のマイクロホン１０１の集音情報（音信号）を、アナログ信号からデジタル信号に変換する。
【００２６】
信号処理部１０４は、Ａ／Ｄ変換器１０３で得られた４個のマイクロホン１０１の集音情報（音信号）に基づいて、音源の位置情報および音情報を取得し、音情報を表示するための表示データを生成する。この表示データは、音情報を、位置情報に対応した視覚映像内の位置に、この視覚映像に重ねて表示するためのものとされる。ここで、位置情報に対応した視覚映像内の位置とは、位置情報が示す位置の他に、位置情報が示す位置の近傍位置を含むことを意味している。近傍位置を含むことで、例えば、使用者は、視覚映像内の音源映像を音情報の表示で邪魔されずに見ることが可能となる。信号処理部１０４は、情報取得部および表示データ生成部を構成している。
【００２７】
音情報は、この実施の形態において、音源から出る音のレベル情報および周波数情報とされる。信号処理部１０４は、音源から出る音のレベル情報を、所定の形状、この実施の形態においては円（楕円も含む）の大きさで表示するように、表示データを生成する。また、信号処理部１０４は、音源から出る音の周波数情報を、上述した円に付される色で表示するように、表示データを生成する。
【００２８】
表示部１０５は、信号処理部１０４で生成された表示データに基づいて、視覚映像内の音源に対応した位置に、音源の音情報を、この視覚映像に重ねて表示する。この場合、音源位置が視覚映像内にある場合には、その音源位置あるいはその近傍に、音情報が表示される。また、この場合、音源位置が視覚映像内から外れる場合には、その音源位置に近い視覚映像の端部に、音情報が表示される。この表示部１０５は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）からバックライトユニットを取りはずした透過型構造のディスプレイにより構成される。
【００２９】
図４は、信号処理部１０４の詳細構成を示している。この信号処理部１０４は、デジタルフィルタ１１１と、ゲイン調整部１１２と、音源位置検出部１１３と、レベル解析部１１４と、周波数解析部１１５と、表示データ発生部１１６を有している。デジタルフィルタ１１１は、４個のマイクロホン１０１の集音情報（音信号）Ｓ１〜Ｓ４に含まれる風切り音や衣擦れ音などの周波数成分を除去、あるいは低減するためのフィルタ処理を行う。この周波数成分は音源位置検出処理等に悪影響を及ぼすからである。
【００３０】
このデジタルフィルタ１１１は、例えば、ＦＩＲ（Finite-duration Impulse Response）フィルタ、あるいはＩＩＲ（Infinite -duration Impulse Response）フィルタで構成される。例えば、このデジタルフィルタ１１１は、ハイパスフィルタ、あるいはバンドパスフィルタを構成する。また、例えば、このデジタルフィルタ１１１は、検出したくない特定周波数の雑音がある場合、一部帯域を阻止するノッチフィルタを構成する。
【００３１】
ゲイン調整部１１２は、４個のマイクロホン１０１の集音情報（音信号）Ｓ１〜Ｓ４から、反射音、あるいは定常雑音などの低レベル信号をカットする。この低レベル信号は音源位置検出処理等に悪影響を及ぼすからである。このゲイン調整部１１２は、例えば、入力信号レベルに応じてゲイン制御するオートマティックゲインコントロール回路により構成される。
【００３２】
音源位置検出部１１３は、４個のマイクロホン１０１の集音情報（音信号）Ｓ１〜Ｓ４に基づいて、音源の位置情報を検出する。この音源位置検出部１１３は、透過型ＨＭＤ１０の表示面、つまり表示部１０５の表示面（２次元平面）をＸ−Ｙ座標とした位置情報を検出する。音源位置検出部１１３における音源位置検出処理は、（１）各マイクロホン１０１への音源からの音の到達時間差を求める、（２）音源からの音の到来角度を算出する、（３）音源位置を推定する、という３段階の処理に分かれる。以下に、各段階の処理を説明する。
【００３３】
（１）到達時間差を求める処理について説明する。この処理は、詳細説明は省略するが、従来周知の方法により行われる。例えば、相互相関関数を利用して求める方法や、フーリエ変換を利用したＣＳＰ法（Cross-power Spectrum Phase analysis）などが一般的である。
【００３４】
（２）到来角度を算出する処理について説明する。音源位置検出部１１３は、４個のマイクロホン１０１から抽出される各一対のマイクロホンに対してそれぞれ到来角度の算出処理を行う。図５（ａ）は、到来角度算出方法の一例を示している。一対のマイクロホンＭ１，Ｍ２の到達時間差は、図５（ｂ）に示すように、τであるとする。マイクロホンＭ１，Ｍ２の距離をｄ、音速をｃとするとき、音源からの音の到来角度θは、以下の（１）式で算出される。
【００３５】
【数１】
【００３６】
（３）音源位置を推定する処理について説明する。音源位置検出部１１３は、各一対のマイクロホンに対してそれぞれ算出された到来角度を組み合わせて、音源の位置、つまり音源の表示面を含む２次元平面上の位置を推定する。このように推定される音源位置としては、表示面内（視覚映像内）の位置、あるいは表示面内（視覚映像内）から外れた位置の２通りが考えられる。
【００３７】
なお、上述の音源位置検出部１１３における音源位置検出処理は、音源からの音の到達時間差を利用した処理である。しかし、音源位置検出部１１３における音源位置検出処理は、その他の処理、例えば、振幅特性と位相特性を利用した処理（特許文献１参照）などであってもよい。
【００３８】
図４に戻って、レベル解析部１１４は、音源位置検出部１１３で音源位置が検出された各音源について、その音源からの音のレベル（音の大きさ）を解析し、音源の音情報としてのレベル情報を得る。上述したように各マイクロホン１０１への音源からの音には到達時間差が発生する。レベル解析部１１４は、到達時間差を考慮して、４個のマイクロホン１０１の集音情報（音信号）Ｓ１〜Ｓ４を加算し、その加算信号に基づいて音源のレベル情報を得る。
【００３９】
周波数解析部１１５は、音源位置検出部１１３で音源位置が検出された各音源について、その音源からの音の周波数を解析し、音源の音情報としての周波数情報を得る。例えば、周波数解析部１１５は、周波数解析を、音源の種類毎の周波数成分を抽出する複数のデジタルフィルタを用いて行うことができる。また、例えば、周波数解析部１１５は、周波数解析を、音源からの音に対してＦＦＴ（Fast Fourie Transform）処理により行うことができる。
【００４０】
表示データ発生部１１６は、音情報を、位置情報に対応した視覚映像内の位置に、この視覚映像に重ねて表示するための表示データＤdsを生成する。表示データ発生部１１６は、音源位置検出部１１３で検出される音源の位置情報、レベル解析部１１４で得られる音源からの音のレベル情報および周波数解析部１１５で得られる音源からの音の周波数情報に基づいて、表示データＤdsを生成する。
【００４１】
表示データ生成部１１６は、音源から出る音のレベル情報を、円の大きさで表示するように、表示データＤdsを生成する。この場合、レベルが大きくなるほど、円は大きくされる。また、表示データ生成部１１６は、音源から出る音の周波数情報を、円に付される色で表示するように、表示データＤdsを生成する。これにより、音源の種類毎に音の周波数成分が異なる場合、各種類の音源は、円に付される色で識別可能となる。
【００４２】
上述したように、音源位置検出部１１３で検出される音源の位置情報は、表示面内（視覚映像内）の位置を示す場合と、表示面内（視覚映像内）から外れた位置を示す場合の２通りがある。表示データ生成部１１６は、音源位置が表示面内（視覚映像内）にある場合には、その音源位置あるいはその近傍に、音情報を表示するように、表示データＤdsを生成する。また、表示データ生成部１１６は、音源位置が表示面内（視覚映像内）から外れる場合には、その音源位置に近い表示面（視覚映像）の端部に、音情報を表示するように、表示データＤdsを生成する。
【００４３】
図４に示す信号処理部１０４の各部の処理は、例えば、コンピュータ（ＣＰＵ）によるソフトウェア処理で実行される。この場合、コンピュータは、処理プログラムに基づいて、図４に示す信号処理部１０４の各部として機能するようにされる。勿論、図４に示す信号処理部１０４の各部の一部または全部をハードウェアで構成することも可能である。
【００４４】
図６のフローチャートは、図４に示す信号処理部１０４の処理手順を示している。信号処理部１０４は、この処理手順を周期的に繰り返し、表示データＤdsを、順次更新していく。信号処理部１０４は、ステップＳＴ１において、処理を開始し、その後に、ステップＳＴ２の処理に移る。
【００４５】
このステップＳＴ２において、信号処理部１０４は、４個のマイクロホン１０１の集音情報（音信号）Ｓ１〜Ｓ４に含まれる風切り音や衣擦れ音などの周波数成分を除去、あるいは低減するためのフィルタ処理を行う。そして、信号処理部１０４は、ステップＳＴ３において、４個のマイクロホン１０１の集音情報（音信号）Ｓ１〜Ｓ４から、反射音、あるいは定常雑音などの低レベル信号をカットするゲイン調整処理を行う。
【００４６】
次に、信号処理部１０４は、ステップＳＴ４において、４個のマイクロホン１０１の集音情報（音信号）Ｓ１〜Ｓ４に基づいて、音源の位置情報を検出する。また、信号処理部１０４は、ステップＳＴ５において、音源位置が検出された各音源について、その音源からの音のレベル（音の大きさ）を解析し、音源の音情報としてのレベル情報を得る。さらに、信号処理部１０４は、ステップＳＴ６において、音源位置が検出された各音源について、その音源からの音の周波数を解析し、音源の音情報としての周波数情報を得る。
【００４７】
次に、信号処理部１０４は、ステップＳＴ７において、ステップＳＴ４で得られる音源の位置情報、ステップＳＴ５で得られる音源からの音のレベル情報およびステップＳＴ６で得られる音源からの音の周波数情報に基づいて、表示データを生成する。すなわち、信号処理部１０４は、ステップＳＴ７において、音情報を、位置情報に対応した視覚映像内の位置に、この視覚映像に重ねて表示するための表示データを生成する。信号処理部１０４は、ステップＳＴ７の処理の後、ステップＳＴ８において、処理を終了する。
【００４８】
図１、図３に示す透過型ＨＭＤ１０の動作を説明する。４個のマイクロホン１０１の集音情報（音信号）は、アンプ１０２で増幅され、さらに、Ａ／Ｄ変換器１０３でアナログ信号からデジタル信号に変換された後に、信号処理部１０４に供給される。この信号処理部１０４では、４個のマイクロホン１０１の集音情報（音信号）に基づいて、音源の位置情報および音情報（レベル情報、周波数情報）が取得される。
【００４９】
また、信号処理部１０４では、取得された音源の位置情報および音情報に基づいて、音情報を表示するための表示データが生成される。この表示データは、音情報を、位置情報に対応した視覚映像内の位置に、この視覚映像に重ねて表示するためのものとされる。この場合、音源から出る音のレベル情報は、円の大きさで表示されるように、表示データが生成される。また、この場合、音源から出る音の周波数情報は、円に付される色で表されるように、表示データが生成される。
【００５０】
信号処理部１０４で生成される表示データは、表示部１０５に供給される。この表示部１０５では、表示データに基づいて、視覚映像内の音源に対応した位置に、音源の音情報が、この視覚映像に重ねて表示される。この場合、音源位置が表示面内（視覚映像内）にある場合には、その音源位置あるいはその近傍に、音情報が表示される。また、この場合、音源位置が表示面内（視覚映像内）から外れる場合には、その音源位置に近い表示面（視覚映像）の端部に、音情報が表示される。
【００５１】
図７（ａ）は、使用者が、透過型ＨＭＤ１０を通して観察する視覚映像（実映像）の一例を示している。また、図７（ｂ）は、表示部１０５に表示される音情報（レベル情報、周波数情報）の一例を示している。なお、図７（ｂ）においては、音源の音の周波数情報を色で示す代わりに、模様で示している。使用者は、図７（ａ）に示す視覚映像に、図７（ｂ）に示す音情報表示が重畳した状態の、図７（ｃ）に示すような映像を観察する。この映像は、視覚映像内の音源に対応した位置に、この音源の音情報が重ねて表示されたものとなる。
【００５２】
図１、図３に示す透過型ＨＭＤ１０において、視覚映像内の音源に対応した位置に、この音源の音情報が重ねて表示される。そのため、使用者が音源の位置とその音源から出る音の情報を直観的に判断することが可能となる。
【００５３】
また、図１、図３に示す透過型ＨＭＤ１０において、４個のマイクロホン１０１の集音情報（音信号）に基づいて、音源の位置情報および音情報が取得される。そのため、視覚映像内の所定のオブジェクトに隠れている音源に関しても、視覚映像内の音源に対応した位置に、この音源の音情報を重ねて表示することが可能となる。
【００５４】
また、図１、図３に示すに示す透過型ＨＭＤ１０において、音源の音のレベル情報は、円の大きさで表示されるため、遠近感を判断することが可能となる。例えば、例えば、少しずつ大きくなる円から音源が近づいていると判断できる。また、図１、図３に示すに示す透過型ＨＭＤ１０において、音源の音の周波数情報は、円に付される色で表示されるため、特定の音源を色に基づいて探すことができる。
【００５５】
また、図１、図３に示す透過型ＨＭＤ１０において、音源位置が視覚映像内から外れる場合には、その音源位置に近い視覚映像の端部に音情報が表示される。そのため、視覚映像内から外れる位置にある音源に関してもその音情報を表示でき、しかも、使用者は視覚映像に対してどの方向に音源があるかを直観的に知ることができる。
【００５６】
また、図１、図３に示す透過型ＨＭＤ１０において、この透過型ＨＭＤ１０に配設される４個のマイクロホン１０１で構成される面ＳＦｂは、この透過型ＨＭＤ１０の表示面ＳＦａに対して直交しないように構成されている。この場合、面ＳＦｂを表示面ＳＦａに投影した場合に面となるため、表示面ＳＦａ上、つまり２次元平面上における音源位置の取得を簡単に行うことができる。
【００５７】
なお、図１、図３に示す透過型ＨＭＤ１０においては、アナログマイクロホン１０１が使用されている。しかし、ＭＥＭＳのようなデジタルマイクロホンを使用し、アンプやＡ／Ｄ変換器を不要とする構成も可能である。
【００５８】
また、図１、図３に示す透過型ＨＭＤ１０においては、４個のマイクロホン１０１が使用されているが、マイクロホン１０１の個数は４個に限定されない。例えば、図８（ａ）は、透過型ＨＭＤ１０の前面に２個のマイクロホン１０１が配設された例を示している。また、図８（ｂ）は、透過型ＨＭＤ１０の前面に３個のマイクロホン１０１が配設された例を示している。
【００５９】
音源位置検出の精度を上げるためにはマイクロホン同士が一定の間隔をもって配設される必要がある。そのため、透過型ＨＭＤ１０の前面に２個のマイクロホン１０１を配設する場合には、例えば、図８（ａ）に示すように、左右両端に配設される。また、透過型ＨＭＤ１０の前面に３個のマイクロホン１０１を配設する場合には、例えば、図８（ｂ）に示すように、３角形を作るように配設される。
【００６０】
また、図１、図３に示す透過型ＨＭＤ１０においては、透過型ＨＭＤ１０の前面にマイクロホン１０１が一体的に配設されている。しかし、マイクロホン１０１は、透過型ＨＭＤ１０とは独立していてもよい。その場合には、マイクロホン１０１と透過型ＨＭＤ１０の距離の情報、およびマイクロホン１０１間の距離の情報を、信号処理部１０４に受け渡す仕組みが必要となる。
【００６１】
この場合、マイクロホン１０１の位置は透過型ＨＭＤ１０に近く、固定している方が望ましい。透過型ＨＭＤ１０と、他の集音を目的とした機器が一体となっている構成でもよい。また、２つのマイクロホンを使用する場合、耳介付近にマイクロホンを設置すれば、両耳間の相関を用いる方法、あるいは両耳間の位相差を用いる方法（特開２００４−３２５２８４号公報参照）などにより音源位置を推定することも可能である。
【００６２】
以上の各変形例については、後述する他の実施の形態についても、同様のことが言える。
【００６３】
＜２．第２の実施の形態＞
［透過型ヘッドマウントディスプレイの構成例］
図９は、第２の実施の形態としての透過型ヘッドマウントディスプレイ（透過型ＨＭＤ）１０Ａの外観を示している。この透過型ＨＭＤ１０Ａの前面に、図１に示す透過型ＨＭＤ１０と同様に、４個の全指向マイクロホン１０１が配設されている。また、この透過型ＨＭＤ１０Ａの前面に、３個の指向性マイクロホン１０１ａが配設されている。ここで、マイクロホン１０１，１０１ａは、集音部を構成している。
【００６４】
４個のマイクロホン１０１の配設位置で構成される面は、図１に示す透過型ＨＭＤ１０と同様であり、透過型ＨＭＤ１０の表示面に対して直交しないようにされている。３個のマイクロホン１０１ａの配設位置で構成される面も、同様に、透過型ＨＭＤ１０の表示面に対して直交しないようにされている。つまり、この場合、３個のマイクロホン１０１ａには、表示面の水平方向に配設位置が異なるものが含まれると共に、表示面の垂直方向に配設位置が異なるものが含まれる。
【００６５】
図１０は、第２の実施の形態としての透過型ＨＭＤ１０Ａのシステム構成を示している。この図１０において、図３と対応する部分には同一符号を付し、適宜、その詳細説明を省略する。この透過型ＨＭＤ１０Ａは、４個の全指向マイクロホン１０１と、３個の指向性マイクロホン１０１ａと、アンプ１０２，１０６と、Ａ／Ｄ変換器１０３，１０７と、信号処理部１０４Ａと、表示部１０５を有している。例えば、指向性マイクロホン１０１ａは、複数個のマイクロホンアレイからなり、指向方向をダイナミックにスキャン可能とされている。
【００６６】
アンプ１０２は、４個のマイクロホン１０１の集音情報（音信号）を増幅する。Ａ／Ｄ変換器１０３は、アンプ１０２で増幅された４個のマイクロホン１０１の集音情報（音信号）を、アナログ信号からデジタル信号に変換する。アンプ１０６は、３個のマイクロホン１０１ａの集音情報（音信号）を増幅する。Ａ／Ｄ変換器１０７は、アンプ１０６で増幅された３個のマイクロホン１０１ａの集音情報（音信号）を、アナログ信号からデジタル信号に変換する。
【００６７】
信号処理部１０４Ａは、Ａ／Ｄ変換器１０３からの４個の全指向マイクロホン１０１の集音情報（音信号）およびＡ／Ｄ変換器１０７からの３個の指向性マイクロホン１０１ａの集音情報（音信号）に基づいて、音源の位置情報および音情報を取得する。また、信号処理部１０４Ａは、この音源の位置情報および音情報に基づいて、音情報を表示するための表示データを生成する。この表示データは、音情報を、位置情報に対応した視覚映像内の位置に、この視覚映像に重ねて表示するためのものとされる。信号処理部１０４Ａは、情報取得部および表示データ生成部を構成している。
【００６８】
この信号処理部１０４Ａは、音源の位置情報を、以下の処理手順で取得する。すなわち、信号処理部１０４Ａは、４個の全指向マイクロホン１０１の集音情報（音信号）に基づいて、音源の第１の方向情報を取得する。この第１の方向情報は、音源の方向をおおまかに示す情報である。次に、信号処理部１０４Ａは、この第１の方向情報に基づいて、３個の指向性マイクロホン１０１ａの指向方向を制御して、この３個の指向性マイクロホン１０１ａの配設位置における音源の第２の方向情報を取得する。
【００６９】
この場合、図１０には、信号処理部１０４Ａから指向性マイクロホン１０１ａへの制御ラインを示していないが、信号処理部１０４Ａにより、指向性マイクロホン１０１ａの指向方向が第１の方向情報で示される一定範囲をスキャンするように制御される。信号処理部１０４Ａは、指向性マイクロホン１０１ａの集音情報（音信号）のレベルが最大となる指向方向を、その指向性マイクロホン１０１ａの配設位置における音源の第２の方向情報とする。この第２の方向情報は、音源の方向を精度よく示す情報となる。そして、信号処理部１０４Ａは、この３個の指向性マイクロホン１０１ａの配設位置における音源の第２の方向情報に基づいて、音源の位置情報を取得する。
【００７０】
表示部１０５は、信号処理部１０４Ａで生成された表示データに基づいて、視覚映像内の音源に対応した位置に、音源の音情報を、この視覚映像に重ねて表示する。この場合、音源位置が視覚映像内にある場合には、その音源位置あるいはその近傍に、音情報が表示される。また、この場合、音源位置が視覚映像内から外れる場合には、その音源位置に近い視覚映像の端部に、音情報が表示される。
【００７１】
図１１は、信号処理部１０４Ａの詳細構成を示している。この図１１において、図４と対応する部分には、同一符号を付し、適宜、その詳細説明は省略する。この信号処理部１０４Ａは、デジタルフィルタ１１１，１１８と、ゲイン調整部１１２，１１９と、音源方向推定部１１７と、音源位置検出部１１３Ａと、レベル解析部１１４と、周波数解析部１１５と、表示データ発生部１１６を有している。
【００７２】
デジタルフィルタ１１１は、４個のマイクロホン１０１の集音情報（音信号）Ｓ１〜Ｓ４に含まれる風切り音や衣擦れ音などの周波数成分を除去、あるいは低減するための、フィルタ処理を行う。この周波数成分は音源方向推定出処理等に悪影響を及ぼすからである。ゲイン調整部１１２は、４個の全指向マイクロホン１０１の集音情報（音信号）Ｓ１〜Ｓ４から、反射音、あるいは定常雑音などの低レベル信号をカットする。この低レベル信号は音源方向推定出処理等に悪影響を及ぼすからである。
【００７３】
音源方向推定部１１７は、フィルタ処理およびゲイン調整処理が行われた４個のマイクロホン１０１の集音情報（音信号）Ｓ１〜Ｓ４に基づいて、音源方向を概略的に推定する。この音源方向推定部１１７は、上述した図４に示す透過型ＨＭＤ１０における信号処理部１０４の３段階の処理のうち、（１）各マイクロホンへの音源からの音の到達時間差を求める、（２）音源からの音の到来角度を算出する、の２段階の処理を行う。
【００７４】
音源位置検出部１１３Ａは、音源方向推定部１１７で得られる複数の到来角度情報と、３個の指向性マイクロホン１０１の集音情報（音信号）Ｓa1〜Ｓa4とに基づいて、音源の位置情報を検出する。この音源位置検出部１１３Ａは、透過型ＨＭＤ１０Ａの表示面、つまり表示部１０５の表示面（２次元平面）をＸ−Ｙ座標とした位置情報を検出する。
【００７５】
音源位置検出部１１３Ａは、まず、３個の指向性マイクロホン１０１ａのそれぞれにつき、その配設位置における音源方向を取得する。この場合、音源位置検出部１１３Ａは、指向性マイクロホン１０１ａの指向方向が音源方向推定部１１７で得られる複数の到来角度情報（音源の第１の方向情報）で示される一定範囲をスキャンするように制御する。そして、音源位置検出部１１３Ａは、その指向性マイクロホン１０１ａの集音情報（音信号）のレベルが最大となる指向方向を、その指向性マイクロホン１０１ａの配設位置における音源方向とする。
【００７６】
音源位置検出部１１３Ａは、次に、３個の指向性マイクロホン１０１ａの配設位置における音源方向情報（音源の第２の方向情報）に基づいて、音源の位置情報を取得する。すなわち、音源位置検出部１１３Ａは、３個の指向性マイクロホン１０１ａの配設位置における音源方向を組み合わせて、音源の位置、つまり音源の表示面を含む２次元平面上の位置を推定する。このように推定される音源位置としては、表示面内（視覚映像内）の位置、あるいは表示面内（視覚映像内）から外れた位置の２通りが考えられる。
【００７７】
レベル解析部１１４は、音源位置検出部１１３Ａで音源位置が検出された各音源について、例えば４個の指向性マイクロホン１０１で集音されるその音源の音のレベル（音の大きさ）を解析し、音源の音情報としてのレベル情報を得る。上述したように各マイクロホン１０１への音源からの音には到達時間差が発生する。
【００７８】
レベル解析部１１４は、到達時間差を考慮して、４個のマイクロホン１０１の集音情報（音信号）Ｓ１〜Ｓ４を加算し、その加算信号に基づいて音源のレベル情報を得る。周波数解析部１１５は、音源位置検出部１１３Ａで音源位置が検出された各音源について、例えば４個の指向性マイクロホン１０１ａで集音されるその音源の音の周波数を解析し、音源の音情報としての周波数情報を得る。
【００７９】
表示データ発生部１１６は、音情報を、位置情報に対応した視覚映像内の位置に、この視覚映像に重ねて表示するための表示データＤdsを生成する。表示データ発生部１１６は、音源位置検出部１１３Ａで検出される音源の位置情報、レベル解析部１１４で得られる音源からの音のレベル情報および周波数解析部１１５で得られる音源からの音の周波数情報に基づいて、表示データＤdsを生成する。
【００８０】
表示データ生成部１１６は、音源から出る音のレベル情報を、円の大きさで表示するように、表示データＤdsを生成する。この場合、レベルが大きくなるほど、円は大きくされる。また、表示データ生成部１１６は、音源から出る音の周波数情報を、円に付される色で表示するように、表示データＤdsを生成する。これにより、音源の種類毎に音の周波数成分が異なる場合、各種類の音源は、円に付される色で識別可能となる。
【００８１】
上述したように、音源位置検出部１１３Ａで検出される音源の位置情報は、表示面内（視覚映像内）の位置を示す場合と、表示面内（視覚映像内）から外れた位置を示す場合の２通りがある。表示データ生成部１１６は、音源位置が表示面内（視覚映像内）にある場合には、その音源位置あるいはその近傍に、音情報を表示するように、表示データＤdsを生成する。また、示データ生成部１１６は、音源位置が表示面内（視覚映像内）から外れる場合には、その音源位置に近い表示面（視覚映像）の端部に、音情報を表示するように、表示データＤdsを生成する。
【００８２】
図１１に示す信号処理部１０４Ａの各部の処理は、例えば、コンピュータ（ＣＰＵ）によるソフトウェア処理で実行される。この場合、コンピュータは、処理プログラムに基づいて、図１１に示す信号処理部１０４Ａの各部として機能するようにされる。勿論、図１１に示す信号処理部１０４Ａの各部の一部または全部をハードウェアで構成することも可能である。
【００８３】
図１２のフローチャートは、図１１に示す信号処理部１０４Ａの処理手順を示している。信号処理部１０４Ａは、この処理手順を周期的に繰り返し、表示データＤdsを、順次更新していく。信号処理部１０４Ａは、ステップＳＴ１０において、処理を開始し、その後に、ステップＳＴ１１の処理に移る。
【００８４】
このステップＳＴ１１において、信号処理部１０４Ａは、４個の全指向マイクロホン１０１の集音情報（音信号）Ｓ１〜Ｓ４に含まれる風切り音や衣擦れ音などの周波数成分を除去、あるいは低減するためのフィルタ処理を行う。そして、信号処理部１０４Ａは、ステップＳＴ１２において、４個の全指向マイクロホン１０１の集音情報（音信号）Ｓ１〜Ｓ４から、反射音、あるいは定常雑音などの低レベル信号をカットするゲイン調整処理を行う。
【００８５】
次に、ステップＳＴ１３において、信号処理部１０４Ａは、フィルタ処理およびゲイン調整処理が行われた４個のマイクロホン１０１の集音情報（音信号）Ｓ１〜Ｓ４に基づいて、音源方向を概略的に推定する。この場合、信号処理部１０４Ａは、（１）各マイクロホンへの音源からの音の到達時間差を求める、（２）音源からの音の到来角度を算出する、の２段階の処理を行う。
【００８６】
次に、信号処理部１０４Ａは、ステップＳＴ１４において、３個の指向性マイクロホン１０１ａの集音情報（音信号）Ｓa1〜Ｓa3に含まれる風切り音や衣擦れ音などの周波数成分を除去、あるいは低減するためのフィルタ処理を行う。そして、信号処理部１０４Ａは、ステップＳＴ１５において、３個の指向性マイクロホン１０１ａの集音情報（音信号）Ｓa1〜Ｓa3から、反射音、あるいは定常雑音などの低レベル信号をカットするゲイン調整処理を行う。
【００８７】
次に、信号処理部１０４Ａは、ステップＳＴ１６において、音源の位置情報を検出する。この場合、信号処理部１０４Ａは、ステップＳＴ１３で得られた複数の到来角度情報と、フィルタ処理およびゲイン調整処理が行われた３個の指向性マイクロホン１０１ａの集音情報（音信号）Ｓa1〜Ｓa3に基づいて、音源の位置情報を検出する。
【００８８】
次に、信号処理部１０４Ａは、ステップＳＴ１７において、音源位置が検出された各音源について、その音源からの音のレベル（音の大きさ）を解析し、音源の音情報としてのレベル情報を得る。さらに、信号処理部１０４Ａは、ステップＳＴ１８において、音源位置が検出された各音源について、その音源からの音の周波数を解析し、音源の音情報としての周波数情報を得る。
【００８９】
次に、信号処理部１０４Ａは、ステップＳＴ１９において、ステップＳＴ１６で得られる音源の位置情報、ステップＳＴ１７で得られる音源からの音のレベル情報およびステップＳＴ１８で得られる音源からの音の周波数情報に基づいて、表示データを生成する。すなわち、信号処理部１０４Ａは、ステップＳＴ１９において、音情報を、位置情報に対応した視覚映像内の位置に、この視覚映像に重ねて表示するための表示データを生成する。信号処理部１０４Ａは、ステップＳＴ１９の処理の後、ステップＳＴ２０において、処理を終了する。
【００９０】
図９、図１０に示す透過型ＨＭＤ１０Ａの動作を説明する。４個の全指向マイクロホン１０１の集音情報（音信号）は、アンプ１０２で増幅され、さらに、Ａ／Ｄ変換器１０３でアナログ信号からデジタル信号に変換された後に、信号処理部１０４Ａに供給される。また、３個の指向性マイクロホン１０１ａの集音情報（音信号）は、アンプ１０６で増幅され、さらに、Ａ／Ｄ変換器１０７でアナログ信号からデジタル信号に変換された後に、信号処理部１０４Ａに供給される。
【００９１】
信号処理部１０４Ａでは、４個の全指向マイクロホン１０１の集音情報（音信号）および３個の指向性マイクロホン１０１ａの集音情報（音信号）に基づいて、音源の位置情報および音情報が取得され、音情報を表示するための表示データが生成される。この表示データは、音情報を、位置情報に対応した視覚映像内の位置に、この視覚映像に重ねて表示するためのものとされる。
【００９２】
この場合、まず、信号処理部１０４Ａでは、４個の全指向マイクロホン１０１の集音情報（音信号）Ｓ１〜Ｓ４に基づいて、音源の第１の方向情報（音源の方向をおおまかに示す情報）が取得される。次に、信号処理部１０４Ａでは、この第１の方向情報に基づいて、３個の指向性マイクロホン１０１ａの指向方向が制御される。そして、３個の指向性マイクロホン１０１ａの集音情報（音信号）Ｓa1〜Ｓa3に基づいて、この３個の指向性マイクロホン１０１ａの配設位置における音源の第２の方向情報（音源の方向を精度よく示す情報）が取得される。さらに、信号処理部１０４Ａでは、この３個の指向性マイクロホン１０１ａの配設位置における音源の第２の方向情報に基づいて、音源の位置情報が取得される。
【００９３】
信号処理部１０４Ａで生成される表示データは、表示部１０５に供給される。この表示部１０５では、表示データに基づいて、視覚映像内の音源に対応した位置に、音源の音情報が、この視覚映像に重ねて表示される（図７（ｃ）参照）。この場合、音源位置が表示面内（視覚映像内）にある場合には、その音源位置あるいはその近傍に、音情報が表示される。また、この場合、音源位置が表示面内（視覚映像内）から外れる場合には、その音源位置に近い表示面（視覚映像）の端部に、音情報が表示される。
【００９４】
図９、図１０に示す透過型ＨＭＤ１０Ａにおいては、上述の図１、図３に示す透過型ＨＭＤ１０と同様に構成されているので、同様の効果を得ることができる。また、図９、図１０に示す透過型ＨＭＤ１０Ａにおいて、信号処理部１０４Ａでは、４個の全指向マイクロホン１０１の集音情報に基づいた処理と、３個の指向性マイクロホン１０１ａの集音情報に基づいた処理の２段階の処理で音源の方向情報が取得される。そのため、マイクロホン数をそれほど多くすることなく、音源の位置情報の取得精度を高めることが可能となる。
【００９５】
＜３．第３の実施の形態＞
［非透過型ヘッドマウントディスプレイの構成例］
図１３は、第３の実施の形態としての非透過型ヘッドマウントディスプレイ（ＨＭＤ）１０Ｂの外観を示している。この非透過型ＨＭＤ１０Ｂの前面に、図１に示す透過型ＨＭＤ１０と同様に、４個の全指向マイクロホン１０１が配設されている。また、この非透過型ＨＭＤ１０Ｂの前面中央に、視覚映像の映像データを得るための撮像素子（カメラ）１３１が配設されている。ここで、マイクロホン１０１は、集音部を構成している。４個のマイクロホン１０１の配設位置で構成される面は、図１に示す透過型ＨＭＤ１０と同様であり、非透過型ＨＭＤ１０Ｂの表示面に対して直交しないようにされている。
【００９６】
図１４は、第３の実施の形態としての非透過型ＨＭＤ１０Ｂのシステム構成を示している。この図１４において、図３と対応する部分には同一符号を付し、適宜、その詳細説明を省略する。この非透過型ＨＭＤ１０Ｂは、４個の全指向マイクロホン１０１と、アンプ１０２と、Ａ／Ｄ変換器１０３と、信号処理部１０４と、撮像素子（カメラ）１３１と、撮像信号処理部１３２と、重畳部１３４と、表示部１０５Ｂを有している。
【００９７】
アンプ１０２は、４個のマイクロホン１０１の集音情報（音信号）を増幅する。Ａ／Ｄ変換器１０３は、アンプ１０２で増幅された４個のマイクロホン１０１の集音情報（音信号）を、アナログ信号からデジタル信号に変換する。信号処理部１０４Ｃは、Ａ／Ｄ変換器１０３で得られた４個のマイクロホン１０１の集音情報（音信号）に基づいて、音源の位置情報および音情報を取得し、音情報を表示するための表示データを生成する。
【００９８】
撮像素子（カメラ）１３１は、使用者の視界に対応した被写体を撮像する。撮像信号処理部１３２は、撮像素子１３１で得られる撮像信号を処理して、視覚映像の映像データを出力する。この場合、撮像信号処理部１３２では、撮像素子１３１の配設位置に応じて発生する撮像映像と実際の使用者の視界とのずれを補正する処理も行われる。ここで、撮像素子１３１および撮像信号処理部１３２は、撮像部を構成している。
【００９９】
重畳部１３４は、撮像信号処理部１３２で得られた視覚映像の映像データに、信号処理部１０４で生成された表示データを重畳する。表示部１０５Ｂは、重畳部１３４の出力データに基づいて、視覚映像を表示すると共に、この視覚映像内の音源に対応した位置に、音源の音情報を、この視覚映像に重ねて表示する。この表示部１０５Ｂは、図３に示す透過型ＨＭＤ１０の表示部１０５とは異なり、例えば、バックライトユニットを取りはずしていない通常の液晶ディスプレイ（ＬＣＤ）により構成される。
【０１００】
図１３、図１４に示す非透過型ＨＭＤ１０Ｂの動作を説明する。４個のマイクロホン１０１の集音情報（音信号）は、アンプ１０２で増幅され、さらに、Ａ／Ｄ変換器１０３でアナログ信号からデジタル信号に変換された後に、信号処理部１０４に供給される。信号処理部１０４では、４個のマイクロホン１０１の集音情報（音信号）に基づいて、音源の位置情報および音情報が取得され、音情報を表示するための表示データが生成される。この表示データは、音情報を、位置情報に対応した視覚映像内の位置に、この視覚映像に重ねて表示するためのものとされる。
【０１０１】
また、撮像素子１３１では、使用者の視界に対応した被写体が撮像される。この撮像素子１３１から出力される撮像信号は、撮像信号処理部１３２に供給される。撮像信号処理部１３２では、撮像信号が処理されて、視覚映像の映像データが生成される。この撮像信号処理部１３２では、撮像素子１３１の配設位置に応じて発生する撮像映像と実際の使用者の視界とのずれを補正する処理も行われる。
【０１０２】
撮像信号処理部１３２で得られる視覚映像の映像データは、重畳部１３４に供給される。また、この重畳部１３４には、信号処理部１０４で生成された表示データが供給される。この重畳部１３４では、視覚映像の映像データに表示データが重畳される。この重畳データは、表示部１０５Ｂに供給される。
【０１０３】
表示部１０５Ｂでは、重畳部１３４の出力データ（重畳データ）に基づいて、視覚映像が表示されると共に、この視覚映像内の音源に対応した位置に、音源の音情報が、この視覚映像に重ねて表示される（図７（ｃ）参照）。この場合、音源位置が表示面内（視覚映像内）にある場合には、その音源位置あるいはその近傍に、音情報が表示される。また、この場合、音源位置が表示面内（視覚映像内）から外れる場合には、その音源位置に近い表示面（視覚映像）の端部に、音情報が表示される。
【０１０４】
図１３、図１４に示す非透過型ＨＭＤ１０Ｂにおいては、表示部１０５Ｂに音源の音情報の他に視覚映像も表示されることを除き、上述の図１、図３に示す透過型ＨＭＤ１０と同様に構成されているので、同様の効果を得ることができる。また、図１３、図１４に示す非透過型ＨＭＤ１０Ｂにおいて、撮像信号処理部１３２では、撮像素子１３１の配設位置に応じて発生する撮像映像と実際の使用者の視界とのずれが補正されるので、表示部１０５Ｂに実施の視界に対応した良好な視覚映像を表示できる。
【０１０５】
なお、図１３、図１４に示す非透過型ＨＭＤ１０Ｂにおいては、非透過型ＨＭＤ１０Ｂの前面中央に撮像素子（カメラ）１３１が一体的に配設されているが、撮像素子１３１の配設位置はこれに限定されない。例えば、図１５に示すように、非透過型ＨＭＤ１０Ｂの前面の側端に、あるいは非透過型ＨＭＤ１０Ｂとは独立した位置に配設することも考えられる。このような場合にあっても、上述したように、撮像信号処理部１３２で撮像素子１３１の配設位置に応じて発生する撮像映像と実際の使用者の視界とのずれが補正されることで、表示部１０５Ｂには実施の視界に対応した良好な視覚映像を表示可能となる。
【０１０６】
＜４．第４の実施の形態＞
［透過型ヘッドマウントディスプレイの構成例］
図１６は、第４の実施の形態としての透過型ヘッドマウントディスプレイ（ＨＭＤ）１０Ｃの構成を示している。図示は省略するが、この透過型ＨＭＤ１０Ｃの外観は、図１に示す透過型ＨＭＤ１０と同様である。この図１６において、図３と対応する部分には、同一符号を付し、適宜、その詳細説明は省略する。この透過型ＨＭＤ１０Ｃは、４個の全指向マイクロホン１０１と、アンプ１０２と、Ａ／Ｄ変換器１０３と、信号処理部１０４Ｃと、表示部１０５と、音源特定部１３５を有している。
【０１０７】
アンプ１０２は、４個のマイクロホン１０１の集音情報（音信号）を増幅する。Ａ／Ｄ変換器１０３は、アンプ１０２で増幅された４個のマイクロホン１０１の集音情報（音信号）を、アナログ信号からデジタル信号に変換する。信号処理部１０４Ｃは、Ａ／Ｄ変換器１０３で得られた４個のマイクロホン１０１の集音情報（音信号）に基づいて、音源の位置情報および音情報を取得し、音情報を表示するための表示データを生成する。
【０１０８】
音源特定部１３５は、信号処理部１０４Ｃで位置情報および音情報を取得する対象としての音源を特定する。この音源特定部１３５は、図示しない音源選択ボタンなどを備えており、使用者が音源特定操作を行い得るようにされている。対象音源の特定は、例えば、音の周波数、レベル等により行うことができるが、この実施の形態においては、周波数により行う。
【０１０９】
表示部１０５は、信号処理部１０４Ｃで生成された表示データに基づいて、視覚映像内の音源に対応した位置に、音源の音情報を、この視覚映像に重ねて表示する。この表示部１０５は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）からバックライトユニットを取りはずした透過型構造のディスプレイにより構成される。
【０１１０】
図１６に示す透過型ＨＭＤ１０Ｃの動作を説明する。４個のマイクロホン１０１の集音情報（音信号）は、アンプ１０２で増幅され、さらに、Ａ／Ｄ変換器１０３でアナログ信号からデジタル信号に変換された後に、信号処理部１０４Ｃに供給される。この信号処理部１０４Ｃでは、４個のマイクロホン１０１の集音情報（音信号）に基づいて、音源の位置情報および音情報（レベル情報、周波数情報）が取得される。この場合、信号処理部１０４Ｃでは、音源特定部１３５で特定された音源のみが対象とされて、位置情報および音情報が取得される。
【０１１１】
また、信号処理部１０４Ｃでは、取得された音源の位置情報および音情報に基づいて、音情報を表示するための表示データが生成される。この表示データは、音情報を、位置情報に対応した視覚映像内の位置に、この視覚映像に重ねて表示するためのものとされる。この場合、音源から出る音のレベル情報は、円の大きさで表示されるように、表示データが生成される。また、この場合、音源から出る音の周波数情報は、円に付される色で表されるように、表示データが生成される。
【０１１２】
信号処理部１０４Ｃで生成される表示データは、表示部１０５に供給される。この表示部１０５では、表示データに基づいて、視覚映像内の音源に対応した位置に、音源の音情報が、この視覚映像に重ねて表示される（図７（ｃ）参照）。この場合、音源位置が表示面内（視覚映像内）にある場合には、その音源位置あるいはその近傍に、音情報が表示される。また、この場合、音源位置が表示面内（視覚映像内）から外れる場合には、その音源位置に近い表示面（視覚映像）の端部に、音情報が表示される。
【０１１３】
図１６に示す透過型ＨＭＤ１０Ｃにおいては、上述の図１、図３に示す透過型ＨＭＤ１０と同様に構成されているので、同様の効果を得ることができる。また、図１６に示す透過型ＨＭＤ１０Ｃにおいて、信号処理部１０４Ｃでは、音源特定部１３５で特定された音源のみが対象とされて、位置情報および音情報が取得される。そのため、視覚映像内に特定の音源の音情報のみを表示させることができ、特定の音源の探索が容易となる。
【０１１４】
＜５．変形例＞
なお、上述実施の形態においては、音源の音情報がレベル情報および周波数である例を示した。しかし、この音情報としては、その他の情報も考えられる。例えば、（１）音声認識によって判断した言葉を表す文字情報、（２）環境音から得られた物体の発音を示す擬態語（電車：ガタンゴトンなど）、（３）生物の発音を示す擬音語、（４）音信号の時間軸波形、パワースペクトル、周波数スペクトル、などである。
【０１１５】
また、上述実施の形態においては、音源の音のレベル情報が円の大きさで表示される例を示した。しかし、円以外の表示形状であってもよい。例えば、（１）多角形、（２）矢印、（３）吹き出し、（４）人の音声、その他生物、環境音といった発音体の種類によるフォント、等であってもよい。
【０１１６】
また、上述実施の形態においては、音源の音の周波数情報が円に付される色で表示される例を示した。しかし、（１）人の性別、（２）人の音声、（３）その他生物、環境音といった発音体の種類を色分けして表示し、さらに、音の大きさを色の濃淡で表示すること等も考えられる。
【産業上の利用可能性】
【０１１７】
この発明は、例えば、ヘッドマウントディスプレイを用いた聴力支援装置等に適用できる。
【符号の説明】
【０１１８】
１０，１０Ａ，１０Ｃ・・・透過型ヘッドマウントディスプレイ（透過型ＨＭＤ）
１０Ｂ・・・非透過型ヘッドマウントディスプレイ（非透過型ＨＭＤ）
１０１・・・マイクロホン（全指向マイクロホン）
１０１ａ・・・指向性マイクロホン
１０２・・・アンプ
１０３・・・Ａ／Ｄ変換器
１０４，１０４Ａ，１０４Ｃ・・・信号処理部
１０５，１０５Ｂ・・・表示部
１０６・・・アンプ
１０７・・・Ａ／Ｄ変換器
１１１・・・デジタルフィルタ
１１２・・・ゲイン調整部
１１３，１１３Ａ・・・音源位置検出部
１１４・・・レベル解析部
１１５・・・周波数解析部
１１６・・・表示データ発生部
１１７・・・音源方向推定部
１１８・・・デジタルフィルタ
１１９・・・ゲイン調整部
１３１・・・撮像素子（カメラ）
１３２・・・撮像信号処理部
１３４・・・重畳部
１３５・・・音源特定部
【特許請求の範囲】
【請求項１】
複数の集音部と、
上記複数の集音部の集音情報に基づいて、音源の位置情報および音情報を取得する情報取得部と、
上記情報取得部で取得された音情報を、該情報取得部で取得された位置情報に対応した視覚映像内の位置に、該視覚映像に重ねて表示するための表示データを生成する表示データ生成部と、
上記表示データ生成部で生成された表示データに基づいて、上記視覚映像内の音源に対応した位置に、該音源の音情報を該視覚映像に重ねて表示する、頭部装着型の画像表示部と
を備える音情報表示装置。
【請求項２】
上記複数の集音部は、上記画像表示部に配設され、
上記複数の集音部の配設位置で構成される面は、上記画像表示部の表示面に対して直交しない
請求項１に記載の音情報表示装置。
【請求項３】
上記複数の集音部の配設位置で構成される面は、上記画像表示部の表示面に平行である
請求項２に記載の音情報表示装置。
【請求項４】
上記音情報は、上記音源から出る音のレベル情報である
請求項１に記載の音情報表示装置。
【請求項５】
上記表示データ生成部は、上記レベル情報を所定の形状の大きさで表示する表示データを生成する
請求項４に記載の音情報表示装置。
【請求項６】
上記音情報は、上記音源から出る音の周波数情報である
請求項１に記載の音情報表示装置。
【請求項７】
上記表示データ生成部は、上記周波数情報を、所定の形状に付される色で表示する表示データを生成する
請求項６に記載の音情報表示装置。
【請求項８】
上記複数の集音部は、複数の全指向集音部および複数の指向性集音部とからなり、
上記情報取得部は、
上記複数の全指向集音部の集音情報に基づいて音源の第１の方向情報を取得し、該第１の方向情報に基づいて上記複数の指向性集音部の指向方向を制御して該複数の指向性集音部の配設位置における音源の第２の方向情報を取得し、該第２の方向情報に基づいて上記音源の位置情報を取得する
請求項１に記載の音情報表示装置。
【請求項９】
上記情報取得部が上記位置情報および上記音情報を取得する対象としての音源を特定する音源特定部をさらに備える
請求項１に記載の音情報表示装置。
【請求項１０】
上記音源特定部は、周波数により上記音情報を取得する対象としての音源を特定する
請求項９に記載の音情報表示装置。
【請求項１１】
上記画像表示部は、透過型の画像表示部である
請求項１に記載の音情報表示装置。
【請求項１２】
上記画像表示部は、非透過型の画像表示部であり、
上記画像表示部に配設され、上記視覚映像の映像データを得るための撮像部と、
上記撮像部で得られた映像データに、上記表示データ生成部で生成された表示データを重畳する重畳部とをさらに備え、
上記画像表示部は、上記重畳部の出力データに基づいて、上記視覚映像を表示すると共に、該視覚映像内の音源に対応した位置に、該音源の音情報を該視覚映像に重ねて表示する
請求項１に記載の音情報表示装置。
【請求項１３】
複数の集音部の集音情報に基づいて、音源の位置情報および音情報を取得する情報取得ステップと、
上記情報取得ステップで取得された音情報を、該情報取得ステップで取得された位置情報に対応した視覚映像内の位置に、該視覚映像に重ねて表示するための表示データを生成する表示データ生成ステップと、
上記表示データ生成ステップで生成された表示データに基づいて、上記視覚映像内の音源に対応した位置に、該音源の音情報を該視覚映像に重ねて表示する音情報表示ステップと
を備える音情報表示方法。
【請求項１４】
コンピュータを、
複数の集音部の集音情報に基づいて、音源の位置情報および音情報を取得する情報取得手段と、
上記情報取得手段で取得された音情報を、該情報取得手段で取得された位置情報に対応した視覚映像内の位置に、該視覚映像に重ねて表示するための表示データを生成する表示データ生成手段と
として機能させるためのプログラム。
【請求項１】
複数の集音部と、
上記複数の集音部の集音情報に基づいて、音源の位置情報および音情報を取得する情報取得部と、
上記情報取得部で取得された音情報を、該情報取得部で取得された位置情報に対応した視覚映像内の位置に、該視覚映像に重ねて表示するための表示データを生成する表示データ生成部と、
上記表示データ生成部で生成された表示データに基づいて、上記視覚映像内の音源に対応した位置に、該音源の音情報を該視覚映像に重ねて表示する、頭部装着型の画像表示部と
を備える音情報表示装置。
【請求項２】
上記複数の集音部は、上記画像表示部に配設され、
上記複数の集音部の配設位置で構成される面は、上記画像表示部の表示面に対して直交しない
請求項１に記載の音情報表示装置。
【請求項３】
上記複数の集音部の配設位置で構成される面は、上記画像表示部の表示面に平行である
請求項２に記載の音情報表示装置。
【請求項４】
上記音情報は、上記音源から出る音のレベル情報である
請求項１に記載の音情報表示装置。
【請求項５】
上記表示データ生成部は、上記レベル情報を所定の形状の大きさで表示する表示データを生成する
請求項４に記載の音情報表示装置。
【請求項６】
上記音情報は、上記音源から出る音の周波数情報である
請求項１に記載の音情報表示装置。
【請求項７】
上記表示データ生成部は、上記周波数情報を、所定の形状に付される色で表示する表示データを生成する
請求項６に記載の音情報表示装置。
【請求項８】
上記複数の集音部は、複数の全指向集音部および複数の指向性集音部とからなり、
上記情報取得部は、
上記複数の全指向集音部の集音情報に基づいて音源の第１の方向情報を取得し、該第１の方向情報に基づいて上記複数の指向性集音部の指向方向を制御して該複数の指向性集音部の配設位置における音源の第２の方向情報を取得し、該第２の方向情報に基づいて上記音源の位置情報を取得する
請求項１に記載の音情報表示装置。
【請求項９】
上記情報取得部が上記位置情報および上記音情報を取得する対象としての音源を特定する音源特定部をさらに備える
請求項１に記載の音情報表示装置。
【請求項１０】
上記音源特定部は、周波数により上記音情報を取得する対象としての音源を特定する
請求項９に記載の音情報表示装置。
【請求項１１】
上記画像表示部は、透過型の画像表示部である
請求項１に記載の音情報表示装置。
【請求項１２】
上記画像表示部は、非透過型の画像表示部であり、
上記画像表示部に配設され、上記視覚映像の映像データを得るための撮像部と、
上記撮像部で得られた映像データに、上記表示データ生成部で生成された表示データを重畳する重畳部とをさらに備え、
上記画像表示部は、上記重畳部の出力データに基づいて、上記視覚映像を表示すると共に、該視覚映像内の音源に対応した位置に、該音源の音情報を該視覚映像に重ねて表示する
請求項１に記載の音情報表示装置。
【請求項１３】
複数の集音部の集音情報に基づいて、音源の位置情報および音情報を取得する情報取得ステップと、
上記情報取得ステップで取得された音情報を、該情報取得ステップで取得された位置情報に対応した視覚映像内の位置に、該視覚映像に重ねて表示するための表示データを生成する表示データ生成ステップと、
上記表示データ生成ステップで生成された表示データに基づいて、上記視覚映像内の音源に対応した位置に、該音源の音情報を該視覚映像に重ねて表示する音情報表示ステップと
を備える音情報表示方法。
【請求項１４】
コンピュータを、
複数の集音部の集音情報に基づいて、音源の位置情報および音情報を取得する情報取得手段と、
上記情報取得手段で取得された音情報を、該情報取得手段で取得された位置情報に対応した視覚映像内の位置に、該視覚映像に重ねて表示するための表示データを生成する表示データ生成手段と
として機能させるためのプログラム。
【図１】
【図３】
【図４】
【図５】
【図６】
【図１０】
【図１１】
【図１２】
【図１４】
【図１６】
【図２】
【図７】
【図８】
【図９】
【図１３】
【図１５】
【図３】
【図４】
【図５】
【図６】
【図１０】
【図１１】
【図１２】
【図１４】
【図１６】
【図２】
【図７】
【図８】
【図９】
【図１３】
【図１５】
【公開番号】特開２０１２−１３３２５０（Ｐ２０１２−１３３２５０Ａ）
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願番号】特願２０１０−２８６９３４（Ｐ２０１０−２８６９３４）
【出願日】平成２２年１２月２４日（２０１０．１２．２４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願日】平成２２年１２月２４日（２０１０．１２．２４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]