映像音響装置
【課題】少ない数のスピーカで、音声と映像との一体感を実現可能な映像音響装置を得る。
【解決手段】映像を表示する表示部６０と、映像に対応した音声を発生するスピーカ２０と、所定の処理により、スピーカ２０に供給する音声信号を生成する音声処理部１５とを備え、音声処理部１５は、音声の音像の定位位置を表示部６０の画面上の任意の位置に設定するような音声信号を生成する音像定位処理部３０を含んで構成する。
【解決手段】映像を表示する表示部６０と、映像に対応した音声を発生するスピーカ２０と、所定の処理により、スピーカ２０に供給する音声信号を生成する音声処理部１５とを備え、音声処理部１５は、音声の音像の定位位置を表示部６０の画面上の任意の位置に設定するような音声信号を生成する音像定位処理部３０を含んで構成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像を表示し音声を発生する映像音響装置に関する。
【背景技術】
【０００２】
ホームシアターセットなどの映像音響装置には、左チャンネル用スピーカと右チャンネル用スピーカに加えて、サラウンド用スピーカなどを設けるものがある。このような映像音響装置では、多くのスピーカを設けることにより、音像の定位位置を制御することができるようになり、臨場感が大きく向上する。ここで、音像の定位位置とは、視聴者が感じる仮想的な音源の位置である。例えば、特許文献１には、多くのスピーカを設け、音像の定位位置の制御を行うことにより、臨場感の向上を図る映像音響装置が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０２−５９０００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、映像音響装置の臨場感を向上するために、部屋に多くのスピーカを設けた場合、しばしば部屋の概観が損なわれる。また、例えば、テレビセットに複数のスピーカを内蔵する場合においても、近年のテレビセットの薄型デザインや狭額縁デザインの傾向にあっては、十分な効果が得られるようなスピーカ配置が難しくなってきている。
【０００５】
一方、単に左チャンネル用スピーカと右チャンネル用スピーカの２つのスピーカを有するような映像音響装置においても、スピーカ配置への制約は存在する。一般に、映像音響装置では、音像の定位位置を画面の中央付近に配置するために、画面をはさんで左右対称の位置にスピーカを配置するのが望ましいが、例えばスピーカ内蔵のテレビセットにはデザイン上の制約があり、また、例えばホームシアターシステムには部屋の広さや部屋への配置に関する制約があり、いずれの場合においてもスピーカ配置の自由度が低くなってしまう。これにより、スピーカは、例えばディスプレイの下部など、上記した音響の観点からの望ましい配置とは異なるようにしばしば配置されることとなる。このような映像音響装置を用いて音声や映像を視聴した場合、スピーカから出力される音声の音像の定位位置と、映像が表示されるディスプレイの位置が一致しないため、音声と映像との一体感が損なわれ、視聴者に違和感を与えることとなる。
【０００６】
本発明はかかる問題点に鑑みてなされたもので、その目的は、スピーカの数をできるだけ少なくすることにより、装置デザインやスピーカ配置の自由度を確保しつつ、音声と映像との一体感を確保できる映像音響装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の映像音響装置は、映像を表示する表示部と、映像に対応した音声を発生するスピーカと、所定の処理によりスピーカに供給する音声信号を生成する音声処理部とを備えている。上記音声処理部は、音声の音像の定位位置を表示部の画面上の任意の位置に設定するような音声信号を生成する音像定位処理部を含んでいる。
【０００８】
本発明の映像音響装置では、映像が表示部に表示され、その映像に対応した音声がスピーカから発生する。その際、音像定位処理部は、音声の音像の定位位置を表示部の画面上の任意の位置に設定する。これにより、音像の定位位置と映像の表示位置を一致させることもできる。
【０００９】
スピーカは、表示部の上部または下部に複数配置されていてもよい。その際、音像定位処理部は、表示部の上部または下部のうち、一方に低い周波数の音声成分の音像を定位し、他方に高い周波数の音声成分の音像を定位する。この場合でも、上記音像定位処理部は、音像の定位位置を表示部の画面上の任意の位置、例えば中央部に設定することができる。
【００１０】
本発明の映像音響装置では、表示部と視聴者との相対的な位置関係を測定する位置関係測定手段をさらに有し、音像定位処理部が、その測定された位置関係に基づいて音像の定位位置を制御するようにしてもよい。また、音像定位処理部は、映像の内容に基づいて音像の定位位置を制御するようにしてもよい。
【００１１】
音像定位処理部は、音声のうち、所定の周波数よりも高い周波数の音声成分の音像の定位位置を制御することが望ましい。その場合、この所定の周波数は、音声の周波数帯域に基づいてあらかじめ設定されてもよいし、音声の周波数帯域を測定する周波数帯域測定手段を設け、その周波数帯域に基づいて求めるものでもよい。さらに、その所定の周波数よりも高い周波数の音声成分の左右の音声信号の間に位相差を生じさせるようにしてもよい。また、その所定の周波数よりも低い周波数の音声成分を遅延させるようにしてもよい。
【発明の効果】
【００１２】
本発明の映像音響装置によれば、音声の音像の定位位置を表示部の画面上の任意の位置に設定できるようにしたので、音声と映像との一体感を改善でき、視聴者に違和感を与えないようにすることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明に係る音像定位の概念の一例を表す概念図である。
【図２】本発明の第１の実施の形態に係る映像音響装置の一構成例を表すブロック図である。
【図３】図２に示した音像定位処理部の一構成例を表すブロック図である。
【図４】図３に示した位相シフト部の一構成例を表すブロック図と、その特性例を表す特性図である。
【図５】図３に示した仮想音像処理部の一構成例を表すブロック図である。
【図６】図２に示した映像音響装置において、音響伝達関数を説明するための模式図である。
【図７】図２に示した映像音響装置において、視聴者と表示部との位置関係を表す模式図である。
【図８】図２に示した映像音響装置において、音像の定位位置を表す模式図である。
【図９】図２に示した映像音響装置において、音像の定位位置の変更を表す模式図である。
【図１０】図２に示した映像音響装置において、ユーザーインターフェースの一例を表す図である。
【図１１】本発明の第１の実施の形態の第１の変形例に係る音像定位処理部の一構成例を表すブロック図である。
【図１２】本発明の第１の実施の形態の第２の変形例に係る音像定位処理部の一構成例を表すブロック図である。
【図１３】本発明の第１の実施の形態の第３の変形例に係る音像定位処理部の一構成例を表すブロック図である。
【図１４】本発明の第２の実施の形態に係る映像音響装置の一構成例を表すブロック図である。
【図１５】図１４に示した視聴者検出部の一動作例を表す流れ図である。
【図１６】図１４に示した視聴者検出部の一動作例を表す模式図である。
【図１７】本発明の第３の実施の形態に係る映像音響装置の一構成例を表すブロック図である。
【図１８】本発明の第４の実施の形態に係る映像音響装置の一構成例を表すブロック図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
１．音像定位の概念
２．第１の実施の形態
３．第２の実施の形態
４．第３の実施の形態
５．第４の実施の形態
【００１５】
＜１．音像定位の概念＞
図１は、本発明に係る音像定位の概念を表すものである。この例では、表示部６０の下方に配置されたスピーカ２０Ｌ，２０Ｒから出力される音声が、視聴者にとってどのように聞こえるかを示している。
【００１６】
通常、スピーカ２０Ｌ，２０Ｒから発生した音声は、スピーカ２０Ｌ，２０Ｒの方向から聞こえる。この例では、音声は表示部６０の下方から聞こえることになる。つまり、視聴者にとっては、映像が表示される表示部６０の方向と、音声が発生するスピーカ２０Ｌ，２０Ｒの方向が異なっている。よって、例えば、表示部６０に映像として表示されている話し手の音声が、話し手が存在しえない表示部６０の下方から聞こえることにより、視聴者は違和感を覚えることとなる。
【００１７】
本発明の映像音響装置は、後述するように、低い周波数成分の音声をスピーカ２０Ｌ，２０Ｒから出力するとともに、高い周波数成分の音声に対しては、あたかもツイータ（仮想ツイータ２１Ｌ，２１Ｒ）が画面の上方に配置されているように音声信号処理することにより、視聴者が感じる音源（音像７Ｌ，７Ｒ）の位置（音像の定位位置）を表示部６０の画面上に設定するものである。なお、以下では、スピーカ２０Ｌ，２０Ｒの総称としてスピーカ２０を適宜用い、仮想ツイータ２１Ｌ，２１Ｒの総称として仮想ツイータ２１を適宜用い、音像７Ｌ，７Ｒの総称として音像７を適宜用いるものとする。
【００１８】
＜２．第１の実施の形態＞
［構成例］
（全体構成例）
図２は、本発明の第１の実施の形態に係る映像音響装置の一構成例を表すものである。映像音響装置１は、音声処理部１５と、スピーカ２０と、映像処理部１７と、表示部６０とを備えている。
【００１９】
音声処理部１５は、所定の音声信号処理を行う回路であり、後述する音像の定位位置を設定する音像定位処理部３０を含み、例えばオーディオＤＳＰにより構成される。音声処理部１５には、音源／映像源１１より、信号Ｌin（左チャンネル用信号）、信号Ｒin（右チャンネル用信号）、信号ＳＬin（サラウンド左チャンネル用信号）、信号ＳＲin（サラウンド右チャンネル用信号）、信号Ｃin（センターチャンネル用信号）、信号Ｗin（低音用信号）を含む、最大５．１チャンネルのＰＣＭ（Pulse Code Modulation）音声信号（デジタル信号）が供給される。音源／映像源１１は、例えば、テレビのチューナや、ＤＶＤなどのプレーヤに対応する。音源／映像源１１から出力される音声信号がアナログ信号の場合には、その音声信号は、Ａ／Ｄ変換回路１２によりデジタル信号に変換し、ＳＷ１４等を介して音声処理部１５に供給される。一方、音源／映像源１１から出力される音声信号がデジタル信号の場合には、その音声信号は、例えばデコーダ１３によりデコードされ、ＳＷ１４等を介して音声処理部１５に供給される。ＳＷ１４は、音声信号の供給元（Ａ／Ｄ変換回路１２およびデコーダ１３）を選択するためのスイッチである。音声処理部１５は、入力信号に対して所定の音声信号処理を行い、信号Ｌout（左チャンネル用信号）および信号Ｒout（右チャンネル用信号）からなる２チャンネルのＰＣＭ音声信号を出力する。
【００２０】
スピーカ２０（スピーカ２０Ｌ，２０Ｒ）は、音声処理部１５において音声信号処理された音声信号に基づき、音声を出力するものである。スピーカ２０には、音声処理部１５の出力信号Ｌout，Ｒoutが、Ｄ／Ａ変換回路１６によりアナログ信号に変換され、図示しないアンプにより増幅された後に供給される。スピーカ２０Ｌは、音声処理部１５の出力信号Ｌoutに基づいて音声を出力し、スピーカ２０Ｒは、音声処理部１５の出力信号Ｒoutに基づいて音声を出力する。このスピーカ２０は、図１において、表示部６０の下部に配置されている。つまり、この例では、スピーカ２０は、表示部６０の画面をはさんで配置されていない。
【００２１】
映像処理部１７は、音源／映像源１１から供給された映像信号に対して、所定の映像信号処理を行う回路である。
【００２２】
表示部６０は、映像処理部１７において映像信号処理された映像信号に基づき、表示を行うデバイスである。表示部６０は、表示ドライバ１８により駆動される。
【００２３】
上述した、デコーダ１３、音声処理部１５、Ｄ／Ａ変換回路１６、映像処理部１７、および表示ドライバ１８は、コントローラ１９により制御されている。
【００２４】
（音像定位処理部３０）
図３は、音像定位処理部３０の一構成例を表すものである。音像定位処理部３０は、入力信号Ｌin，Ｒinを低い周波数成分と高い周波数成分とに分離し、それぞれに対して別々の処理を行った後に再度足し合わせることにより、音像の定位位置が上昇した音声信号を生成し、出力信号Ｌout，Ｒoutとして出力する回路である。
【００２５】
音像定位処理部３０は、低域通過フィルタ（ＬＰＦ；Low Pass Filter）３１Ｌ，３１Ｒと、遅延部３２Ｌ，３２Ｒと、高域通過フィルタ（ＨＰＦ；High Pass Filter）３４Ｌ，３４Ｒと、位相シフト部３５と、位相反転部３６と、仮想音像処理部４０と、アンプ３７Ｌ，３７Ｒと、加算器３３Ｌ，３３Ｒとを備えている。低域通過フィルタ３１Ｌ，３１Ｒ、および遅延部３２Ｌ，３２Ｒは、入力信号Ｌin，Ｒinのうち低い周波数成分に対して処理を行い、高域通過フィルタ３４Ｌ，３４Ｒ、位相シフト部３５、位相反転部３６、仮想音像処理部４０、アンプ３７Ｌ，３７Ｒは、入力信号Ｌin，Ｒinのうち高い周波数成分に対して処理を行うようになっている。
【００２６】
低域通過フィルタ３１Ｌは、供給された入力信号Ｌinのうちの低い周波数成分を通過させるフィルタであり、低域通過フィルタ３１Ｒは、供給された入力信号Ｒinのうちの低い周波数成分を通過させるフィルタである。低域通過フィルタ３１Ｌ，３１Ｒのカットオフ周波数は、例えば６〜１０［ｋＨｚ］程度に設定される。低域通過フィルタ３１Ｌ，３１Ｒの次数は４次以上が望ましい。
【００２７】
遅延部３２Ｌは、低域通過フィルタ３１Ｌから供給された信号を遅延させて出力し、遅延部３２Ｒは、低域通過フィルタ３１Ｒから供給された信号を遅延させて出力するものである。遅延部３２Ｌ，３２Ｒの遅延量は、例えば１〜３［ｍｓｅｃ］程度に設定される。これにより、遅延部３２Ｌ，３２Ｒは、後述するように、低い周波数成分の信号を高い周波数成分の信号よりも遅れさせるように機能する。
【００２８】
高域通過フィルタ３４Ｌは、供給された入力信号Ｌinのうちの高い周波数成分を通過させるフィルタであり、高域通過フィルタ３４Ｒは、供給された入力信号Ｒinのうちの高い周波数成分を通過させるフィルタである。高域通過フィルタ３４Ｌ，３４Ｒのカットオフ周波数は、低域通過フィルタ３１Ｌ，３１Ｒと同様に、例えば６〜１０ｋＨｚ程度に設定される。高域通過フィルタ３４Ｌ，３４Ｒの次数は４次以上が望ましい。
【００２９】
位相シフト回路３５は、高域通過フィルタ３４Ｌ，３４Ｒから供給される信号に対して、それぞれ異なる量の位相シフトを行う機能を有する。
【００３０】
図４（Ａ）は、位相シフト回路３５の一構成例を表すものであり、図４（Ｂ）は、位相シフト回路３５の位相特性の一例を表すものである。位相シフト回路３５は、ＡＰＦ（All Pass Filter）３５Ｌ，３５Ｒを有する。ＡＰＦ３５Ｌは、高域通過フィルタ３４Ｌから供給された信号に対して、振幅を一定に保ったまま位相のみを変化させて出力するフィルタであり、ＡＰＦ３５Ｒは、高域通過フィルタ３４Ｒから供給された信号に対して、振幅を一定に保ったまま位相のみを変化させて出力するフィルタである。ＡＰＦ３５Ｌ，３５Ｒは、例えば、図４（Ｂ）に示したような特性Ｌ１，Ｌ２を有し、ＡＰＦ３５ＬとＡＰＦ３５Ｒとで異なる特性をもっている。具体的には、例えば、ＡＰＦ３５Ｌが特性Ｌ１のような位相特性を有するとともに、ＡＰＦ３５Ｒが特性Ｌ２のような位相特性を有することにより、ＡＰＦ３５Ｌの出力信号の位相がＡＰＦ３５Ｒの出力信号の位相よりも進むようになっている。もしくは、ＡＰＦ３５Ｌが特性Ｌ２のような位相特性を有するとともに、ＡＰＦ３５Ｒが特性Ｌ１のような位相特性を設定し、ＡＰＦ３５Ｌの出力信号の位相がＡＰＦ３５Ｒの出力信号の位相よりも遅れるようにしてもよい。これにより、視聴者は、最終的にスピーカ２０Ｌ，２０Ｒから出力される音声に対して、左右方向の広がりを感じるようになる。ＡＰＦ３５Ｌ，３５Ｒの次数はどのようなものでもよく、例えば１次や２次が利用可能である。
【００３１】
位相反転部３６は、位相シフト部３５から供給される信号に対して、そのまま出力するか、もしくは位相を１８０度ずらして（位相反転して）出力するかを選択する機能を有する。これにより、位相反転部３６は、最終的にスピーカ２０Ｌ，２０Ｒから出力される音声に対して、視聴者がより広がりを感じるような条件を選択する機能を有する。
【００３２】
位相シフト回路３５における遅延量の調整や、位相反転部３６における位相反転動作の選択は、図示しない制御線により、外部より設定することができるようになっている。
【００３３】
仮想音源処理部４０は、位相反転部３６から供給される信号ＬＶin，ＲＶinに対して、仮想音像処理を行い、それぞれ仮想ツイータ２１Ｌ，２１Ｒに対応する位置に音像の定位位置が設定された音声信号を生成し、出力信号ＬＶout、ＲＶoutとして出力する機能を有している。
【００３４】
アンプ３７Ｌは、仮想音源処理部４０から供給される信号ＬＶoutを増幅する利得Ｋvtlのアンプであり、アンプ３７Ｒは、仮想音源処理部４０から供給される信号ＲＶoutを増幅する利得Ｋvtrのアンプである。これらのアンプの利得Ｋvtl，Ｋvtrを設定することにより、音像定位処理部３０は、後述するように、最終的にスピーカ２０Ｌ，２０Ｒから出力される音声の音像の定位位置を、スピーカ２０Ｌ，２０Ｒの位置から上昇させ、例えば表示部６０の画面の中央付近など、任意の位置に設定することができる。なお、以下では、アンプ３７Ｌ，３７Ｒの総称としてアンプ３７を適宜用い、利得Ｋvtl，Ｋvtrの総称として利得Ｋvtを適宜用いるものとする。
【００３５】
加算器３３Ｌは、遅延部３２Ｌの出力信号とアンプ３７Ｌの出力信号とを加算する回路であり、加算器３３Ｒは、遅延部３２Ｒの出力信号とアンプ３７Ｒの出力信号とを加算する回路である。
【００３６】
（仮想音像処理部４０）
図５は、仮想音像処理部４０の一構成例を表すものである。仮想音像処理部４０は、フィルタ４０１〜４０４，４０７〜４１０と、加算器４０５，４０６，４１１，４１２とを備えている。
【００３７】
フィルタ４０１〜４０４は、それぞれ音響伝達関数Ｈφ１Ｌ、Ｈφ１Ｒ、Ｈφ２Ｌ、Ｈφ２Ｒ（後述）をもつフィルタであり、いわゆるバイノーラル化処理に用いられるものである。具体的には、フィルタ４０１は、入力信号ＬＶinに対して音響伝達関数Ｈφ１Ｌを用いてフィルタ処理し、フィルタ４０２は、入力信号ＬＶinに対して音響伝達関数Ｈφ１Ｒを用いてフィルタ処理し、フィルタ４０３は、入力信号ＲＶinに対して音響伝達関数Ｈφ２Ｒを用いてフィルタ処理し、フィルタ４０４は、入力信号ＲＶinに対して音響伝達関数Ｈφ２Ｌを用いてフィルタ処理するようになっている。音響伝達関数Ｈφ１Ｌ、Ｈφ１Ｒ、Ｈφ２Ｌ、Ｈφ２Ｒは、例えば、図示しないメモリに記憶されている。
【００３８】
加算器４０５，４０６は、フィルタ４０１〜４０４の出力を加算する回路である。具体的には、加算器４０５は、フィルタ４０１の出力信号とフィルタ４０４の出力信号とを加算し、フィルタ４０６は、フィルタ４０２の出力信号とフィルタ４０３の出力信号とを加算するようになっている。
【００３９】
フィルタ４０７〜４１０は、音響伝達関数Ｈθ１Ｌ、Ｈθ１Ｒ、Ｈθ２Ｌ、Ｈθ２Ｒ（後述）に基づいて求められる伝達関数Ｇ１〜Ｇ４（後述）をもつフィルタであり、スピーカ２０Ｌ，２０Ｒからの音声の出力時に生じる空間的クロストークを補償するためのいわゆるクロストーク補償処理に用いられるものである。具体的には、フィルタ４０７は、加算器４０５の出力信号に対して伝達関数Ｇ１を用いてフィルタ処理し、フィルタ４０８は、加算器４０５の出力信号に対して伝達関数Ｇ２を用いてフィルタ処理し、フィルタ４０９は、加算器４０６の出力信号に対して伝達関数Ｇ３を用いてフィルタ処理し、フィルタ４１０は、加算器４０６の出力信号に対して伝達関数Ｇ４を用いてフィルタ処理するようになっている。伝達関数Ｇ１〜Ｇ４は、例えば、図示しないメモリに記憶されている。
【００４０】
加算器４１１，４１２は、フィルタ４０７〜４１０の出力を加算する回路である。具体的には、加算器４１１は、フィルタ４０７の出力信号とフィルタ４１０の出力信号とを加算し、出力信号ＬＶoutとして出力するものであり、フィルタ４１２は、フィルタ４０８の出力信号とフィルタ４０９の出力信号とを加算し、出力信号ＲＶoutとして出力するものである。
【００４１】
（音響伝達関数）
次に、音響伝達関数とその求め方について、説明する。
【００４２】
図６は、音響伝達関数を説明するための模式図である。図６において、（Ａ）は、仮想ツイータ２１Ｌ，２１Ｒの位置に配置されたスピーカ２２Ｌ，２２Ｒから音声を出力した状態を示し、（Ｂ）は、スピーカ２０Ｌ，２０Ｒから音声を出力した状態を示す。
【００４３】
表示部６０の前の視聴者９は、図６（Ａ）に示したように、スピーカ２２Ｌから出力された音声を、左の耳で感じるとともに、右の耳でも感じる。つまり、スピーカ２２Ｌに係る音響伝達関数には、視聴者９から位置ベクトルφ１の位置に配置されたスピーカ２２Ｌから出力された音声が視聴者９の左の耳に伝わるまでの伝達関数Ｈφ１Ｌと、スピーカ２０Ｌから出力された音声が視聴者９の右の耳に伝わるまでの伝達関数Ｈφ１Ｒの２つが存在する。
【００４４】
同様に、視聴者９は、スピーカ２２Ｒから出力された音声を、右の耳で感じるとともに、左の耳でも感じる。つまり、スピーカ２２Ｒに係る音響伝達関数には、視聴者９から位置ベクトルφ２の位置に配置されたスピーカ２２Ｒから出力された音声が視聴者９の右の耳に伝わるまでの伝達関数Ｈφ２Ｒと、スピーカ２２Ｒから出力された音声が視聴者９の左の耳に伝わるまでの伝達関数Ｈφ２Ｌの２つが存在する。
【００４５】
これらは、スピーカ２０Ｌ，２０Ｒから音声が出力された場合においても、全く同じである。すなわち、図６（Ｂ）に示したように、スピーカ２０Ｌに係る音響伝達関数には、視聴者９から位置ベクトルθ１の位置に配置されたスピーカ２０Ｌから出力された音声が視聴者９の左の耳に伝わるまでの伝達関数Ｈθ１Ｌと、スピーカ２０Ｌから出力された音声が視聴者９の右の耳に伝わるまでの伝達関数Ｈθ１Ｒの２つが存在する。そして、スピーカ２０Ｒに係る音響伝達関数には、視聴者９から位置ベクトルθ２の位置に配置されたスピーカ２０Ｒから出力された音声が視聴者９の右の耳に伝わるまでの伝達関数Ｈθ２Ｒと、スピーカ２０Ｒから出力された音声が視聴者９の左の耳に伝わるまでの伝達関数Ｈθ２Ｌの２つが存在する。
【００４６】
これらの音響伝達関数は、スピーカ２０Ｌ，２０Ｒ，２２Ｌ，２２Ｒからそれぞれ出力されたインパルス音を、視聴者９の左右の耳元でインパルス応答として測定することにより求めることができる。例えば、音響伝達関数Ｈφ１Ｌは、スピーカ２２Ｌから出力されたインパルス音を、視聴者９の左の耳元でインパルス応答として測定することにより求められる。また、音響伝達関数Ｈθ２Ｒは、スピーカ２０Ｒから出力されたインパルス音を、視聴者９の右の耳元でインパルス応答として測定することにより求められる。すなわち、視聴者９の耳元で測定したインパルス応答が、インパルス音を出力したスピーカ２０Ｌ，２０Ｒ，２２Ｌ，２２Ｒの位置から視聴者９の耳元までの音響伝達関数に相当することとなる。
【００４７】
図５に示したフィルタ４０１〜４０４の音響伝達関数Ｈφ１Ｌ，Ｈφ１Ｒ，Ｈφ２Ｌ，Ｈφ２Ｒは、以上のようにして求めた音響伝達関数を用いることができる。また、図５に示したフィルタ４０７〜４１０の伝達関数Ｇ１〜Ｇ４は、以上のようにして求めた音響伝達関数Ｈθ１Ｌ，Ｈθ１Ｒ，Ｈθ２Ｌ，Ｈθ２Ｒを次式に代入して得られたものを用いることができる。
【数１】
【００４８】
仮想音像処理部４０は、以上のようにして求めた伝達関数が設定されたフィルタ４０１〜４０４，４０７〜４１０を用いることにより、高い周波数成分の音声に関して、仮想ツイータ２１の位置に音像の定位位置を設定することができる。これにより、音像定位処理部３０は、低い周波数成分の音声についてはスピーカ２０の位置に音像の定位位置を設定し、高い周波数成分の音声に関しては、仮想ツイータ２１の位置に音像の定位位置を設定し、結果として、音声全体の音像の定位位置をスピーカ２０の位置から表示部６０の中央付近に上昇させるようになっている。
【００４９】
［動作および作用］
続いて、本実施の形態の映像音響装置１の動作および作用について説明する。
【００５０】
（全体動作概要）
音源／映像源１１は、音声信号および映像信号を出力する。映像処理部１７は、音源／映像源１１から供給された映像信号に基づいて、所定の映像処理を行う。表示ドライバ１８は、映像処理部１７から供給された映像信号に基づいて、表示部６０を駆動するための駆動信号を生成する。表示部６０は、表示ドライバ１８から供給された駆動信号に基づき表示を行う。
【００５１】
Ａ／Ｄ変換回路１２は、音源／映像源１１からアナログ信号の音声信号が供給された場合に、その信号をデジタル信号に変換する。デコーダ１３は、音源／映像源１１からデジタル信号の音声信号が供給された場合に、その信号をデコードする。ＳＷ１４は、Ａ／Ｄ変換回路１２から出力される音声信号とデコーダ１３から出力される音声信号とを選択し、音声処理部１５に供給する。音声処理部１５は、入力された音声信号に対して、所定の音声信号処理を行う。特に、音声処理部１５の音像定位処理部３０は、入力された音声信号を低い周波数成分と高い周波数成分とに分離し、低い周波数成分に対しては遅延処理を行い、高い周波数成分に対しては仮想音像処理を行った後に、それぞれを再度足し合わせることにより、音像の定位位置をスピーカ２０の位置から表示部６０の中央付近に上昇させるような音声信号を生成し出力する。Ｄ／Ａ変換回路１６は、音声処理部１５から出力されたデジタル形式の音声信号をアナログ信号に変換する。スピーカ２０は、Ｄ／Ａ変換回路１６から供給されたアナログ信号に基づいて、音声を出力する。
【００５２】
（音像の定位位置の設定）
次に、音像の定位位置の設定について説明する。
【００５３】
図７は、視聴者と表示部との位置関係を表す模式図である。図７において、（Ａ）は、視聴者が表示部の正面から映像を見る状態を示し、（Ｂ）は、視聴者が表示部を見上げて映像を見る状態を示し、（Ｃ）は、視聴者が表示部を見下ろして映像を見る状態を示す。
【００５４】
一般に、視聴者は、必ずしも表示部の映像を正面から見るとは限らない。すなわち、視聴者９は、表示部６０の正面から映像を見る場合（図７（Ａ））のほか、表示部６０を見上げて映像を見る場合（図７（Ｂ））や、表示部６０を見下ろして映像を見る場合（図７（Ｃ））がありえる。これらのケースは、例えば、視聴者が床に座って映像を見る場合や、椅子に座って映像を見る場合などに対応する。よって、例えば、視聴者９が表示部６０の正面から映像を見る場合を想定して、音像の定位位置が表示部６０の中央付近になるように音像上昇量Ｓを設定しても、表示部６０を見上げて映像を見る場合や、表示部６０を見下ろして映像を見る場合には、音像の定位位置が表示部６０の中央付近からずれてしまう。つまり、図７に示したように、視聴者９と表示部６０との相対的な位置関係によって、音像の定位位置を画面の中央に設定するための最適な音像上昇量Ｓは異なる。特に、図７に示したように、視聴者が表示部６０を見上げて映像を見る場合の音像上昇量Ｓｂ（図７（Ｂ））や、表示部６０を見下ろして映像を見る場合の音像上昇量Ｓｃ（図７（Ｃ））は、視聴者が表示部６０を正面から映像を見る場合の音像上昇量Ｓａ（図７（Ａ））よりも少ないものとなる。
【００５５】
映像音響装置１は、このように、視聴者９と表示部６０との相対的な位置関係が異なる場合でも、音像の定位位置を表示部６０の画面の中央に設定できるようにするため、音像上昇量Ｓを調整することができる。
【００５６】
以下に、音像上昇量Ｓの調整方法を説明する。
【００５７】
図８は、視聴者がスピーカの正面にいる場合の音像の定位位置を表す模式図である。図８において、（Ａ）は、音像の定位位置が表示部６０の中央付近にある状態を示し、（Ｂ）は、音像の定位位置が表示部６０の中央付近よりも低い状態を示す。
【００５８】
音像上昇量Ｓは、仮想ツイータ２１が擬似的に出力する音量とスピーカ２０が出力する音量との音量バランスに応じて変化する。具体的には、スピーカ２０の音量をある値に固定して、音像定位処理部３０のアンプ３７の利得Ｋvtを変化させると、利得Ｋvtがαより大きい場合には（Ｋvt＞α）、音像の定位位置が画面の中央よりも高いところに設定され、利得Ｋvtがαより小さい場合には（Ｋvt＜α）、音像の定位位置が画面の中央よりも低いところに設定される。ここで、αは、音像の定位位置が表示部６０の画面の中央付近になるようなアンプ３７の利得である。
【００５９】
次に、アンプ３７の利得Ｋvtの具体的な設定方法について説明する。
【００６０】
まず、図８（Ａ）に示したように、音像の定位位置が表示部６０の画面の中央付近になるようなアンプ３７の利得αを求め、そのときの、音像の定位位置Ａ、視聴者９の位置Ｂ、およびスピーカ２０の位置Ｃが成す角ＡＢＣの角度γ０を求める。この利得αおよび角度γ０を用いると、図８（Ｂ）に示したような任意の角度γの方向に音像の定位位置を設定するために必要なアンプ３７の利得Ｋvtは、次式で表される。
【数２】
【００６１】
映像音響装置１では、表示部との相対的な位置関係（例えば、図７（Ａ）〜（Ｃ））に応じて、式（２）に基づいて角度γに対するアンプ３７の利得Ｋvtを設定することにより、音像の定位位置を表示部６０の画面の中央付近に設定することが可能となる。以下に、その具体例を示す。
【００６２】
図９は、視聴者が表示部を見上げて映像を見る状態における、アンプ３７の利得Ｋvtの設定方法を説明するための模式図である。この例では、表示部が表示部６０Ｄの位置から表示部６０の位置に移動した場合において、音像の定位位置を表示部６０の中央付近に設定するための方法を示している。
【００６３】
まず、表示部が表示部６０Ｄの位置に配置され、さらに音像の定位位置が表示部６０Ｄの画面の中央付近に設定されたときの、アンプ３７の利得αおよび角度γ０を求める。ここで、視聴者９とスピーカ２０Ｄを結ぶ線をｘ軸とする。
【００６４】
次に、表示部が表示部６０の位置に配置され、さらに音像の定位位置が表示部６０の画面の中央付近に設定されたときの角度γを求める。ここで、視聴者９とスピーカ２０Ｒを結ぶ線をｘ２軸とする。
【００６５】
次に、仮想的に配置された表示部６０Ｒを導入する。表示部６０Ｒは、図９に示したように、表示部６０Ｄを、ｘ軸がｘ２軸と一致するように、視聴者９を中心に角度δだけ回転させて配置されたものである。ｘ２軸に係る表示部６０Ｒでは、ｘ２軸から角度γ０の方向が、表示部６０Ｒの画面の中央付近となる。一方、ｘ２軸に係る表示部６０では、ｘ２軸から角度γの方向が、表示部６０の画面の中央付近となる。このｘ２軸から角度γの方向は、表示部６０Ｒにおいては、その画面の中央付近よりやや低い部分に対応する。つまり、仮想的に配置された表示部６０Ｒにおいて、音像の定位位置を画面の中央付近（角度γ０に対応）より低いところ（角度γに対応）に設定することにより、音像の定位位置が表示部６０の画面の中央付近に設定されるようになる。
【００６６】
式（２）に示した、任意の角度γの方向に音像の定位位置を設定できる利得Ｋvtを求める方法は、この場合にも適用することができる。すなわち、図９において、表示部が表示部６０の位置に配置されたとき、音像の定位位置が表示部６０の画面の中央付近に設定するために必要なアンプ３７の利得Ｋvtは、上記利得α、および角度γ，γ０を式（２）に代入することにより求めることができる。なお、図９では、表示部が、視聴者が見上げる方向に移動した場合を示したが、視聴者が見下ろす方向に移動した場合でも全く同様である。
【００６７】
このようにして、映像音響装置１は、角度γに対するアンプ３７の利得Ｋvtを設定することができる。よって、視聴者が、表示部との相対的な位置関係（例えば、図７（Ａ）〜（Ｃ））に関する情報を映像音響装置１に入力することにより、映像音響装置１は、その情報に基づいてアンプ３７の利得Ｋvtを設定し、音像の定位位置を表示部６０の画面の中央付近に設定することが可能となる。この場合、視聴者は、例えば角度γを入力するようにしてもよいし、音像上昇量Ｓが角度γに応じて決まることを利用して、例えば音像上昇量Ｓを用いるようにしても良い。
【００６８】
図１０は、視聴者と表示部との相対的な位置関係を入力するためのユーザーインターフェースの一例を表すものである。映像音響装置１は、例えば、このような情報を表示部６０に表示し、視聴者と表示部との相対的な位置関係に関する情報を入力することができる。その情報の入力は、例えば、連続的に条件を設定できるスライダを用いて入力するようにしてもよいし、大・中・小など、離散的な条件の中から選択することにより入力するようにしてもよい。
【００６９】
（遅延部３２Ｌ，３２Ｒの作用）
一般に、人間は、いわゆる先行音効果として知られているように、最初に両耳に到達した一部の音声によって、その音声全体が発生した方向を認識する。よって、図１において、例えば、視聴者が感じる音声のうち、音像の定位位置が表示部６０の中央付近にある一部の音声が、視聴者に最初に到達するようにすれば、視聴者は、その音声全体が表示部６０の中央付近から発生したと感じるようになる。
【００７０】
映像音響装置１の音声定位処理部３０は、上述したように、供給された音声信号を低い周波数成分と高い周波数成分とに分け、高い周波数成分に対してのみ、仮想音源処理部４０により仮想音源処理を行い、その音像の定位位置を上昇するように設定している。一方、低い周波数成分に対しては、音声定位処理部３０は、遅延部３２Ｌ，３２Ｒにより遅延処理を行っている。つまり、映像音響装置１は、この高い周波数成分の音声を最初にスピーカ２０から出力させ、やや遅れて低い周波数成分の音声をスピーカ２０から出力させている。これにより、視聴者は、音像の定位位置が上昇した、高い周波数成分の音声を最初に感じることとなり、その位置から音声が発生したと感じるようになる。
【００７１】
以上のように、遅延部３２Ｌ，３２Ｒは、仮想音源処理部４０による音像の定位位置の上昇を際立たせ、その効果を最大限に引き出すように機能する。
【００７２】
［効果］
以上のように本実施の形態では、表示部の下部に配置されたスピーカから出力された音声の音像の定位位置を上昇させて、表示部の画面の中央付近に設定するようにしたので、音像の定位位置と映像の表示位置が一致することにより、視聴者に違和感を与えないようにすることができる。
【００７３】
特に、本実施の形態では、仮想音源処理部４０が音像の定位位置を上昇させるようにしたので、音像の定位位置を上昇させるためのスピーカを装置に追加する必要がなくなり、装置の小型化を実現することができる。
【００７４】
また、本実施の形態では、音像上昇量Ｓを調整できるようにしたので、視聴者と表示部との相対的な位置関係に応じて、音像の定位位置が表示部の画面の中央付近となるような最適な設定にすることができる。
【００７５】
また、本実施の形態では、音像上昇量Ｓをアンプ３７Ｌ，３７Ｒの利得Ｋvtl，Ｋvtrにより設定するようにしたので、例えば、複数の音響伝達関数のセットを準備し切り替えることにより音像上昇量Ｓを調整する方法に比べて、音響伝達関数をするためのメモリ量を削減することができる。
【００７６】
さらに、本実施の形態では、音声信号の低い周波数成分を遅延させるようにしたので、先行音効果により、仮想音源処理部４０の音像の定位位置の上昇の効果を最大限に引き出すことができる。
【００７７】
［変形例１−１］
上記実施の形態では、音像定位処理部３０は、図３に示したように、位相シフト部３５および位相反転部３６を設けたが、これに限定されるものではなく、例えば位相シフト部３５のみ、もしくは位相反転部３６のみを設けてもよいし、図１１に示したように、位相シフト部３５と位相反転部３６の両方を設けなくてもよい。音像定位処理部３０Ａは、位相シフト部３５と位相反転部３６の両方を有しておらず、高域通過フィルタ３４Ｌ，３４Ｒの出力信号は仮想音源処理部４０に直接供給されている。
【００７８】
［変形例１−２］
上記実施の形態では、音像定位処理部３０では、図３に示したように、位相シフト部３５を位相反転部３６の前段に配置したが、これに限定されるものではなく、例えば、位相シフト部３５と位相反転部３６とを入れ替えて、位相シフト部３５を位相反転部３６の後段に配置してもよい。また、位相シフト部３５および位相反転部３６は、仮想音源処理部４０の前段に配置したが、これに限定されるものではなく、例えば、仮想音源処理部４０の後段に配置してもよい。
【００７９】
［変形例１−３］
上記実施の形態では、音像定位処理部３０では、図３に示したように、信号Ｌin，Ｒinからなる２チャンネルの音声信号を入力としたが、これに限定されるものではない。例えば、図１２に示したように、５チャンネルの音声信号を入力とし、２チャンネルにダウンミックスした後に、音像定位処理を行うようにしてもよい。音像定位処理部３０Ｂは、信号Ｌin、信号Ｒin、信号ＳＬin、信号ＳＲin、信号Ｃinを入力とし、それぞれをアンプ５１Ｌ，５１Ｒ，５１ＳＬ，５１ＳＲ，５１Ｃにより増幅した後、加算器５２Ｌ，５２Ｒ供給して２チャンネルの音声信号にダウンミックスし、音像定位処理を行っている。
【００８０】
また、例えば、図１３に示したように、５チャンネルの音声信号を入力とし、信号Ｌin、信号Ｒin、信号ＳＬinを２チャンネルの音声信号に変更して音像定位処理を行うとともに、信号ＳＬin、信号ＳＲinに対しては通常のバーチャルサラウンド処理を行うようにしてもよい。音像定位処理部３０Ｃは、信号Ｌin、信号Ｒin、信号Ｃinをアンプ５１Ｌ，５１Ｒ，５１Ｃによりそれぞれ増幅した後、加算器５２Ｌ，５２Ｒに供給して２チャンネルの音声信号に変更し、音像定位処理を行っている。また、音像定位処理部３０Ｃは、信号ＳＬin、信号ＳＲinをアンプ５１ＳＬ，５１ＳＲによりそれぞれ増幅した後、遅延部５３ＳＬ，５３ＳＲを介して３次元処理部５４に供給する。音像定位処理部３０Ｃは、３次元処理部５４においてバーチャルサラウンド処理が行った後、その出力信号をアンプ５５ＳＬ，５５ＳＲで増幅し、加算器５６Ｌ，５６Ｒにより音像定位処理結果と合成している。
【００８１】
［その他の変形例］
上記実施の形態では、スピーカ２０を表示部６０の下部に配置したが、これに限定されるものではなく、例えば、表示部の上部に配置してもよい。この場合でも、この配置に対応した音響伝達関数を用いることにより、仮想音源処理部４０は、音像の定位位置を設定することができる。
【００８２】
上記実施の形態では、音像定位処理部３０の低域通過フィルタ３１Ｌ，３１Ｒおよび高域通過フィルタ３４Ｌ，３４Ｒのカットオフ周波数を所定の周波数に設定したが、例えば、視聴者がこのカットオフ周波数を変更できるようにしてもよい。これにより、例えば、可聴音域の異なる様々な年齢の視聴者に対しても、それぞれに対して最適なカットオフ周波数を設定でき、音声と映像との一体感を改善できる。
【００８３】
＜３．第２の実施の形態＞
次に、本発明の第２の実施の形態に係る映像音響装置について説明する。本実施の形態は、視聴者と表示部との相対的な位置関係を測定する手段を新たに設け、これに基づいて音像の定位位置を制御するようにしたものである。なお、上記第１の実施の形態に係る映像音響装置と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
【００８４】
［構成例］
図１４は、本発明の第２の実施の形態に係る映像音響装置の一構成例を表すものである。映像音響装置２は、カメラ７１と、視聴者検出部７２とを備えている。その他の構成は、上記第１の実施の形態（図２）と同様である。
【００８５】
カメラ７１は、視聴者と表示部６０との相対的な位置関係を測定するために設けられたものであり、例えば表示部６０の画面の下部の中央に、視聴者を視野に捕らえるように配置されている。
【００８６】
視聴者検出部７２は、カメラ７１から供給される情報を基に、視聴者と表示部６０との相対的な位置関係を求め、その結果を音声処理部１５の音像定位処理部３０に供給する。これにより、音像定位処理部３０は、第１の実施の形態と同様に、その位置関係に基づいて音像の定位位置が表示部６０の画面の中央付近になるように設定する。
【００８７】
ここで、カメラ７１および視聴者検出部７２は、本発明における「位置関係測定手段」の一具体例に対応する。
【００８８】
［動作および作用］
（視聴者検出部７２の動作）
次に、図１５、図１６を参照して、視聴者検出部７２の動作を説明する。
【００８９】
図１５は、視聴者検出部７２における視聴者検出動作の流れ図を表すものである。図１６は、最近接視聴者と表示部６０との相対的な位置関係を表すものであり、（Ａ）は正面から見た場合を示し、（Ｂ）は側面から見た場合を示す。なお、図１５に示した流れ図の開始時点において、変数ｎはｎ＝１に初期化されているものとする。また、表示部６０は、図１６（Ａ）に示したように、幅ｗと高さｈをもつものとする。
【００９０】
まず、視聴者検出部７２は、図１５に示したように、カメラ７１から供給された情報に基づいて、表示部６０の前の視聴者の数Ｎを検出する（Ｓ１）。
【００９１】
次に、Ｓ２，Ｓ３，Ｓ３１において、視聴者検出部７２は、カメラ７１の位置を原点Ｏとして、Ｓ１で検出された全視聴者の位置座標を検出する。具体的には、まず、Ｓ１で検出された視聴者のうちのある視聴者に対して、その位置座標Ｐｎ（ｘｎ，ｙｎ，ｚｎ）を求める（Ｓ２）。次に、変数ｎと視聴者数Ｎとを比較する（Ｓ３）。比較結果が一致しなかった場合には、ｎをインクリメントし（Ｓ３１）、再度Ｓ２を実施する。Ｓ３において比較結果が一致した場合にはＳ４に進む。
【００９２】
次に、Ｓ４において、視聴者検出部７２は、Ｓ１で検出された視聴者のうち、一番表示部６０に近い視聴者（最近接視聴者）を、Ｓ２で得られた各視聴者の位置座標に基づいて判定する。
【００９３】
次に、視聴者検出部７２は、Ｓ４で判定された最近接視聴者の位置座標Ｐ（ｘ，ｙ，ｚ）を基に、角度γを求める。この角度γは、以下のように表される（Ｓ５）。
【数３】
【００９４】
次に、視聴者検出部７２は、Ｓ５で求められた角度γを基に、音像定位処理部３０のアンプ３７の利得Ｋvtを求める（Ｓ６）。アンプ３７の利得Ｋvtは、第１の実施の形態で説明した式（２）を用いて求めることができる。
【００９５】
以上で、視聴者検出動作は終了する。その後、音像定位処理部３０のアンプ３７は、Ｓ６で求められた利得Ｋvtに設定される。この一連の動作が所定の期間ごとに繰り返し行われることにより、映像音響装置２は、常に音像の定位位置が表示部６０の中央付近になるように制御することができる。
【００９６】
［効果］
以上のように本実施の形態では、視聴者と表示部との相対的な位置関係を測定し、それに応じて音像の定位位置を制御するようにしたので、視聴者による設定を必要とすることなく、音声と映像との一体感を改善できる。
【００９７】
本実施の形態では、音声と映像との不一致を最も感じやすい、一番表示部６０に近い視聴者の位置座標に基づいて音像の定位位置を制御するようにしたので、全ての視聴者に対して、音声と映像との一体感を改善できる。
【００９８】
上記実施の形態では、カメラ７１を表示部６０の下部の中央に配置したが、これに限定されるものではなく、例えば、表示部６０の上部の中央などに配置してもよい。
【００９９】
＜４．第３の実施の形態＞
次に、本発明の第３の実施の形態に係る映像音響装置について説明する。本実施の形態は、映像および音声を解析し、表示部６０の画面内において音声が発生している座標を判定する手段を新たに設け、これに基づいて、音像の定位位置を制御するようにしたものである。なお、上記第１および第２の実施の形態に係る映像音響装置と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
【０１００】
図１７は、本発明の第３の実施の形態に係る映像音響装置の一構成例を表すものである。映像音響装置３は、映像解析部８１を備えている。その他の構成は、上記第１および第２の実施の形態と同様である。
【０１０１】
映像解析部８１は、映像処理部１７から供給される映像信号、および音声信号Ｌin，Ｒinに基づいて、その映像上における音声を発している人物などの音声発生源を特定し、表示部６０の画面内におけるその音声発生源の座標を求める機能を有している。その結果に基づいて、音像定位処理部３０のアンプ３７の利得Ｋvtが設定され、音像の定位位置が、表示部６０の画面内におけるその音声を発している箇所に設定される。
【０１０２】
以上のように本実施の形態では、映像上の音声発生源の位置に音像の定位位置を設定するようにしたので、音声と映像との一体感を改善でき、視聴者に臨場感を与えることができる。
【０１０３】
上記実施の形態では、映像解析部８１は、映像信号および音声信号Ｌin，Ｒinに基づいて、その映像上の音声発生源を特定するようにしたが、これに限定されるものではなく、例えば、さらに音声信号ＳＬin，ＳＲin，Ｃin，Ｗinを用いてもよい。
【０１０４】
上記実施の形態では、映像および音声を解析して、その映像上の音声発生源を特定するようにしたが、これに限定されるものではなく、例えば、映像のみにより、その映像上の音声発生源を特定するようにしてもよい。
【０１０５】
＜５．第４の実施の形態＞
次に、本発明の第４の実施の形態に係る映像音響装置について説明する。本実施の形態は、音声の周波数帯域を求める手段を新たに設け、これに基づいて、音像定位処理部３０の低域通過フィルタ３１Ｌ，３１Ｒおよび高域通過フィルタ３４Ｌ，３４Ｒのカットオフ周波数を動的に設定するようにしたものである。なお、上記第１〜第３の実施の形態に係る映像音響装置と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
【０１０６】
図１８は、本発明の第４の実施の形態に係る映像音響装置の一構成例を表すものである。映像音響装置４は、周波数帯域解析部９１を備えている。その他の構成は、上記第１〜第３の実施の形態と同様である。ここで、周波数帯域解析部９１は、本発明における「周波数帯域測定手段」の一具体例に対応する。
【０１０７】
周波数帯域解析部９１は、音声信号Ｌin，Ｒinに基づいて、その音声信号の周波数帯域を求める。その結果に基づいて、音像定位処理部３０の低域通過フィルタ３１Ｌ，３１Ｒおよび高域通過フィルタ３４Ｌ，３４Ｒのカットオフ周波数が、例えばその周波数帯域の中心周波数になるように、動的に設定される。
【０１０８】
低域通過フィルタ３１Ｌ，３１Ｒおよび高域通過フィルタ３４Ｌ，３４Ｒのカットオフ周波数が固定の場合には、例えば、主に低めの音で構成される音声に対応する音声信号が音像定位処理部３０に供給されたときと、主に高めの音で構成される音声に対応する音声信号が音像定位処理部３０に供給されたときとで、カットオフ周波数より低い周波数成分の音量と高い周波数成分の音量とのバランスが異なるため、音像の定位位置が変化することになる。
【０１０９】
つまり、主に低めの音で構成される音声に対応する音声信号が音像定位処理部３０に供給されたときは、例えばその音声の周波数帯域の中心周波数がカットオフ周波数より低い場合において、低域通過フィルタ３１Ｌ，３１Ｒから出力される低い周波数成分の音量が高域通過フィルタ３４Ｌ，３４Ｒから出力される高い周波数成分の音量よりも多くなる。よって、高い周波数成分の信号に対して仮想音源処理部４０で行われる仮想音源処理の効果が相対的に弱くなるため、音像の定位位置は表示部６０の中央付近よりも低めとなる。
【０１１０】
また、主に高めの音で構成される音声に対応する音声信号が音像定位処理部３０に供給されたときは、例えばその音声の周波数帯域の中心周波数がカットオフ周波数より高い場合において、低域通過フィルタ３１Ｌ，３１Ｒから出力される低い周波数成分の音量が高域通過フィルタ３４Ｌ，３４Ｒから出力される高い周波数成分の音量よりも多くなる。よって、高い周波数成分の信号に対して仮想音源処理部４０で行われる仮想音源処理の効果が相対的に強くなるため、音像の定位位置は表示部６０の中央付近よりも高めとなる。
【０１１１】
一方、音像定位処理部３０の低域通過フィルタ３１Ｌ，３１Ｒおよび高域通過フィルタ３４Ｌ，３４Ｒのカットオフ周波数が、音声の周波数帯域に基づいて動的に設定される場合には、様々な音域を持つ音源に対しても、適切なカットオフ周波数が設定されるため、表示部６０の画面における音像の定位位置をほぼ一定に保つことができる。
【０１１２】
以上のように本実施の形態では、供給される音声信号に応じて、低域通過フィルタおよび高域通過フィルタのカットオフ周波数を動的に設定するようにしたので、様々な音域を持つ音源に対しても、音像の定位位置をほぼ一定に保つことができる。
【０１１３】
上記実施の形態では、周波数帯域解析部９１は、音声信号Ｌin，Ｒinに基づいて周波数帯域を求めるようにしたが、これに限定されるものではなく、例えば、音声信号Ｌin，Ｒinのほか、音声信号ＳＬin，ＳＲin，Ｃin，Ｗinも用いて周波数帯域を求めるようにしてもよい。
【０１１４】
以上、いくつかの実施の形態を挙げて本発明を説明したが、本発明はこれらの実施の形態には限定されず、種々の変形が可能である。
【０１１５】
例えば、第２〜第４の各実施の形態では、第１の実施の形態と同様に、音像定位処理部３０の位相シフト部３５および位相反転部３６のどちらか一方、もしくは両方を省いてもよい。
【０１１６】
例えば、第２〜第４の各実施の形態では、第１の実施の形態と同様に、音像定位処理部３０の位相シフト部３５および位相反転部３６を入れ替えてもよい。また、音像定位処理部３０の位相シフト部３５および位相反転部３６を、仮想音源処理部４０の後段に配置してもよい。
【０１１７】
例えば、第２〜第４の各実施の形態では、第１の実施の形態と同様に、音像定位処理部３０への入力信号を、５チャンネルの音声信号を入力としてもよい。
【０１１８】
例えば、第２〜第４の各実施の形態では、第１の実施の形態と同様に、スピーカ２０を表示部の上部に配置してもよい。
【０１１９】
例えば、第２および第３の実施の形態では、第１の実施の形態と同様に、音像定位処理部３０の低域通過フィルタ３１Ｌ，３１Ｒおよび高域通過フィルタ３４Ｌ，３４Ｒのカットオフ周波数を、視聴者が設定できるようにしてもよい。
【符号の説明】
【０１２０】
１〜４…映像音響装置、７，７Ｌ，７Ｒ…音像、９…視聴者、１１…音源／映像源、１２…ＡＤ変換回路、１３…デコーダ、１４…ＳＷ、１５…音声処理部、１６…ＤＡコンバータ、１７…映像処理部、１８…表示ドライバ、１９…コントローラ、２０，２０Ｌ，２０Ｒ、２２Ｌ，２２Ｒ…スピーカ、２１，２１Ｌ，２１Ｒ…仮想ツイータ、３０，３０Ａ，３０Ｂ，３０Ｃ…音像定位処理部、３１Ｌ，３１Ｒ…低域通過フィルタ（ＬＰＦ）、３２Ｌ，３２Ｒ，５３ＳＬ，５３ＳＲ…遅延部、３３Ｌ，３３Ｒ，４０５，４０６，４１１，４１２，５２Ｌ，５２Ｒ，５６Ｌ，５６Ｒ…加算器、３４Ｌ，３４Ｒ…高域通過フィルタ（ＨＰＦ）、３５…位相シフト部、３５Ｌ，３５Ｒ…ＡＰＦ，３６…位相反転部、３７，３７Ｌ，３７Ｒ，５１Ｌ，５１Ｒ，５１ＳＬ，５１ＳＲ，５１Ｃ，５５ＳＬ，５５ＳＲ…アンプ、４０…仮想音源処理部、５４…３次元処理部、６０…表示部、７１…カメラ、７２…視聴者検出部、８１…映像解析部、９１…周波数帯域解析部、４０１〜４０４，４０７〜４１０…フィルタ、Ｈφ１Ｌ，Ｈφ１Ｒ，Ｈφ２Ｌ，Ｈφ２Ｒ，Ｈθ１Ｌ，Ｈθ１Ｒ，Ｈθ２Ｌ，Ｈθ２Ｒ…音響伝達関数、Ｇ１〜Ｇ４…伝達関数、Ｌin，Ｒin，ＳＬin，ＳＲin，Ｃin，Ｗin，Ｌout，Ｒout，ＬＶin，ＲＶin，ＬＶout，ＲＶout…信号、Ｓ，Ｓ０，Ｓａ，Ｓｂ，Ｓｃ…音像上昇量、γ，γ０…角度
【技術分野】
【０００１】
本発明は、映像を表示し音声を発生する映像音響装置に関する。
【背景技術】
【０００２】
ホームシアターセットなどの映像音響装置には、左チャンネル用スピーカと右チャンネル用スピーカに加えて、サラウンド用スピーカなどを設けるものがある。このような映像音響装置では、多くのスピーカを設けることにより、音像の定位位置を制御することができるようになり、臨場感が大きく向上する。ここで、音像の定位位置とは、視聴者が感じる仮想的な音源の位置である。例えば、特許文献１には、多くのスピーカを設け、音像の定位位置の制御を行うことにより、臨場感の向上を図る映像音響装置が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０２−５９０００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、映像音響装置の臨場感を向上するために、部屋に多くのスピーカを設けた場合、しばしば部屋の概観が損なわれる。また、例えば、テレビセットに複数のスピーカを内蔵する場合においても、近年のテレビセットの薄型デザインや狭額縁デザインの傾向にあっては、十分な効果が得られるようなスピーカ配置が難しくなってきている。
【０００５】
一方、単に左チャンネル用スピーカと右チャンネル用スピーカの２つのスピーカを有するような映像音響装置においても、スピーカ配置への制約は存在する。一般に、映像音響装置では、音像の定位位置を画面の中央付近に配置するために、画面をはさんで左右対称の位置にスピーカを配置するのが望ましいが、例えばスピーカ内蔵のテレビセットにはデザイン上の制約があり、また、例えばホームシアターシステムには部屋の広さや部屋への配置に関する制約があり、いずれの場合においてもスピーカ配置の自由度が低くなってしまう。これにより、スピーカは、例えばディスプレイの下部など、上記した音響の観点からの望ましい配置とは異なるようにしばしば配置されることとなる。このような映像音響装置を用いて音声や映像を視聴した場合、スピーカから出力される音声の音像の定位位置と、映像が表示されるディスプレイの位置が一致しないため、音声と映像との一体感が損なわれ、視聴者に違和感を与えることとなる。
【０００６】
本発明はかかる問題点に鑑みてなされたもので、その目的は、スピーカの数をできるだけ少なくすることにより、装置デザインやスピーカ配置の自由度を確保しつつ、音声と映像との一体感を確保できる映像音響装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の映像音響装置は、映像を表示する表示部と、映像に対応した音声を発生するスピーカと、所定の処理によりスピーカに供給する音声信号を生成する音声処理部とを備えている。上記音声処理部は、音声の音像の定位位置を表示部の画面上の任意の位置に設定するような音声信号を生成する音像定位処理部を含んでいる。
【０００８】
本発明の映像音響装置では、映像が表示部に表示され、その映像に対応した音声がスピーカから発生する。その際、音像定位処理部は、音声の音像の定位位置を表示部の画面上の任意の位置に設定する。これにより、音像の定位位置と映像の表示位置を一致させることもできる。
【０００９】
スピーカは、表示部の上部または下部に複数配置されていてもよい。その際、音像定位処理部は、表示部の上部または下部のうち、一方に低い周波数の音声成分の音像を定位し、他方に高い周波数の音声成分の音像を定位する。この場合でも、上記音像定位処理部は、音像の定位位置を表示部の画面上の任意の位置、例えば中央部に設定することができる。
【００１０】
本発明の映像音響装置では、表示部と視聴者との相対的な位置関係を測定する位置関係測定手段をさらに有し、音像定位処理部が、その測定された位置関係に基づいて音像の定位位置を制御するようにしてもよい。また、音像定位処理部は、映像の内容に基づいて音像の定位位置を制御するようにしてもよい。
【００１１】
音像定位処理部は、音声のうち、所定の周波数よりも高い周波数の音声成分の音像の定位位置を制御することが望ましい。その場合、この所定の周波数は、音声の周波数帯域に基づいてあらかじめ設定されてもよいし、音声の周波数帯域を測定する周波数帯域測定手段を設け、その周波数帯域に基づいて求めるものでもよい。さらに、その所定の周波数よりも高い周波数の音声成分の左右の音声信号の間に位相差を生じさせるようにしてもよい。また、その所定の周波数よりも低い周波数の音声成分を遅延させるようにしてもよい。
【発明の効果】
【００１２】
本発明の映像音響装置によれば、音声の音像の定位位置を表示部の画面上の任意の位置に設定できるようにしたので、音声と映像との一体感を改善でき、視聴者に違和感を与えないようにすることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明に係る音像定位の概念の一例を表す概念図である。
【図２】本発明の第１の実施の形態に係る映像音響装置の一構成例を表すブロック図である。
【図３】図２に示した音像定位処理部の一構成例を表すブロック図である。
【図４】図３に示した位相シフト部の一構成例を表すブロック図と、その特性例を表す特性図である。
【図５】図３に示した仮想音像処理部の一構成例を表すブロック図である。
【図６】図２に示した映像音響装置において、音響伝達関数を説明するための模式図である。
【図７】図２に示した映像音響装置において、視聴者と表示部との位置関係を表す模式図である。
【図８】図２に示した映像音響装置において、音像の定位位置を表す模式図である。
【図９】図２に示した映像音響装置において、音像の定位位置の変更を表す模式図である。
【図１０】図２に示した映像音響装置において、ユーザーインターフェースの一例を表す図である。
【図１１】本発明の第１の実施の形態の第１の変形例に係る音像定位処理部の一構成例を表すブロック図である。
【図１２】本発明の第１の実施の形態の第２の変形例に係る音像定位処理部の一構成例を表すブロック図である。
【図１３】本発明の第１の実施の形態の第３の変形例に係る音像定位処理部の一構成例を表すブロック図である。
【図１４】本発明の第２の実施の形態に係る映像音響装置の一構成例を表すブロック図である。
【図１５】図１４に示した視聴者検出部の一動作例を表す流れ図である。
【図１６】図１４に示した視聴者検出部の一動作例を表す模式図である。
【図１７】本発明の第３の実施の形態に係る映像音響装置の一構成例を表すブロック図である。
【図１８】本発明の第４の実施の形態に係る映像音響装置の一構成例を表すブロック図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
１．音像定位の概念
２．第１の実施の形態
３．第２の実施の形態
４．第３の実施の形態
５．第４の実施の形態
【００１５】
＜１．音像定位の概念＞
図１は、本発明に係る音像定位の概念を表すものである。この例では、表示部６０の下方に配置されたスピーカ２０Ｌ，２０Ｒから出力される音声が、視聴者にとってどのように聞こえるかを示している。
【００１６】
通常、スピーカ２０Ｌ，２０Ｒから発生した音声は、スピーカ２０Ｌ，２０Ｒの方向から聞こえる。この例では、音声は表示部６０の下方から聞こえることになる。つまり、視聴者にとっては、映像が表示される表示部６０の方向と、音声が発生するスピーカ２０Ｌ，２０Ｒの方向が異なっている。よって、例えば、表示部６０に映像として表示されている話し手の音声が、話し手が存在しえない表示部６０の下方から聞こえることにより、視聴者は違和感を覚えることとなる。
【００１７】
本発明の映像音響装置は、後述するように、低い周波数成分の音声をスピーカ２０Ｌ，２０Ｒから出力するとともに、高い周波数成分の音声に対しては、あたかもツイータ（仮想ツイータ２１Ｌ，２１Ｒ）が画面の上方に配置されているように音声信号処理することにより、視聴者が感じる音源（音像７Ｌ，７Ｒ）の位置（音像の定位位置）を表示部６０の画面上に設定するものである。なお、以下では、スピーカ２０Ｌ，２０Ｒの総称としてスピーカ２０を適宜用い、仮想ツイータ２１Ｌ，２１Ｒの総称として仮想ツイータ２１を適宜用い、音像７Ｌ，７Ｒの総称として音像７を適宜用いるものとする。
【００１８】
＜２．第１の実施の形態＞
［構成例］
（全体構成例）
図２は、本発明の第１の実施の形態に係る映像音響装置の一構成例を表すものである。映像音響装置１は、音声処理部１５と、スピーカ２０と、映像処理部１７と、表示部６０とを備えている。
【００１９】
音声処理部１５は、所定の音声信号処理を行う回路であり、後述する音像の定位位置を設定する音像定位処理部３０を含み、例えばオーディオＤＳＰにより構成される。音声処理部１５には、音源／映像源１１より、信号Ｌin（左チャンネル用信号）、信号Ｒin（右チャンネル用信号）、信号ＳＬin（サラウンド左チャンネル用信号）、信号ＳＲin（サラウンド右チャンネル用信号）、信号Ｃin（センターチャンネル用信号）、信号Ｗin（低音用信号）を含む、最大５．１チャンネルのＰＣＭ（Pulse Code Modulation）音声信号（デジタル信号）が供給される。音源／映像源１１は、例えば、テレビのチューナや、ＤＶＤなどのプレーヤに対応する。音源／映像源１１から出力される音声信号がアナログ信号の場合には、その音声信号は、Ａ／Ｄ変換回路１２によりデジタル信号に変換し、ＳＷ１４等を介して音声処理部１５に供給される。一方、音源／映像源１１から出力される音声信号がデジタル信号の場合には、その音声信号は、例えばデコーダ１３によりデコードされ、ＳＷ１４等を介して音声処理部１５に供給される。ＳＷ１４は、音声信号の供給元（Ａ／Ｄ変換回路１２およびデコーダ１３）を選択するためのスイッチである。音声処理部１５は、入力信号に対して所定の音声信号処理を行い、信号Ｌout（左チャンネル用信号）および信号Ｒout（右チャンネル用信号）からなる２チャンネルのＰＣＭ音声信号を出力する。
【００２０】
スピーカ２０（スピーカ２０Ｌ，２０Ｒ）は、音声処理部１５において音声信号処理された音声信号に基づき、音声を出力するものである。スピーカ２０には、音声処理部１５の出力信号Ｌout，Ｒoutが、Ｄ／Ａ変換回路１６によりアナログ信号に変換され、図示しないアンプにより増幅された後に供給される。スピーカ２０Ｌは、音声処理部１５の出力信号Ｌoutに基づいて音声を出力し、スピーカ２０Ｒは、音声処理部１５の出力信号Ｒoutに基づいて音声を出力する。このスピーカ２０は、図１において、表示部６０の下部に配置されている。つまり、この例では、スピーカ２０は、表示部６０の画面をはさんで配置されていない。
【００２１】
映像処理部１７は、音源／映像源１１から供給された映像信号に対して、所定の映像信号処理を行う回路である。
【００２２】
表示部６０は、映像処理部１７において映像信号処理された映像信号に基づき、表示を行うデバイスである。表示部６０は、表示ドライバ１８により駆動される。
【００２３】
上述した、デコーダ１３、音声処理部１５、Ｄ／Ａ変換回路１６、映像処理部１７、および表示ドライバ１８は、コントローラ１９により制御されている。
【００２４】
（音像定位処理部３０）
図３は、音像定位処理部３０の一構成例を表すものである。音像定位処理部３０は、入力信号Ｌin，Ｒinを低い周波数成分と高い周波数成分とに分離し、それぞれに対して別々の処理を行った後に再度足し合わせることにより、音像の定位位置が上昇した音声信号を生成し、出力信号Ｌout，Ｒoutとして出力する回路である。
【００２５】
音像定位処理部３０は、低域通過フィルタ（ＬＰＦ；Low Pass Filter）３１Ｌ，３１Ｒと、遅延部３２Ｌ，３２Ｒと、高域通過フィルタ（ＨＰＦ；High Pass Filter）３４Ｌ，３４Ｒと、位相シフト部３５と、位相反転部３６と、仮想音像処理部４０と、アンプ３７Ｌ，３７Ｒと、加算器３３Ｌ，３３Ｒとを備えている。低域通過フィルタ３１Ｌ，３１Ｒ、および遅延部３２Ｌ，３２Ｒは、入力信号Ｌin，Ｒinのうち低い周波数成分に対して処理を行い、高域通過フィルタ３４Ｌ，３４Ｒ、位相シフト部３５、位相反転部３６、仮想音像処理部４０、アンプ３７Ｌ，３７Ｒは、入力信号Ｌin，Ｒinのうち高い周波数成分に対して処理を行うようになっている。
【００２６】
低域通過フィルタ３１Ｌは、供給された入力信号Ｌinのうちの低い周波数成分を通過させるフィルタであり、低域通過フィルタ３１Ｒは、供給された入力信号Ｒinのうちの低い周波数成分を通過させるフィルタである。低域通過フィルタ３１Ｌ，３１Ｒのカットオフ周波数は、例えば６〜１０［ｋＨｚ］程度に設定される。低域通過フィルタ３１Ｌ，３１Ｒの次数は４次以上が望ましい。
【００２７】
遅延部３２Ｌは、低域通過フィルタ３１Ｌから供給された信号を遅延させて出力し、遅延部３２Ｒは、低域通過フィルタ３１Ｒから供給された信号を遅延させて出力するものである。遅延部３２Ｌ，３２Ｒの遅延量は、例えば１〜３［ｍｓｅｃ］程度に設定される。これにより、遅延部３２Ｌ，３２Ｒは、後述するように、低い周波数成分の信号を高い周波数成分の信号よりも遅れさせるように機能する。
【００２８】
高域通過フィルタ３４Ｌは、供給された入力信号Ｌinのうちの高い周波数成分を通過させるフィルタであり、高域通過フィルタ３４Ｒは、供給された入力信号Ｒinのうちの高い周波数成分を通過させるフィルタである。高域通過フィルタ３４Ｌ，３４Ｒのカットオフ周波数は、低域通過フィルタ３１Ｌ，３１Ｒと同様に、例えば６〜１０ｋＨｚ程度に設定される。高域通過フィルタ３４Ｌ，３４Ｒの次数は４次以上が望ましい。
【００２９】
位相シフト回路３５は、高域通過フィルタ３４Ｌ，３４Ｒから供給される信号に対して、それぞれ異なる量の位相シフトを行う機能を有する。
【００３０】
図４（Ａ）は、位相シフト回路３５の一構成例を表すものであり、図４（Ｂ）は、位相シフト回路３５の位相特性の一例を表すものである。位相シフト回路３５は、ＡＰＦ（All Pass Filter）３５Ｌ，３５Ｒを有する。ＡＰＦ３５Ｌは、高域通過フィルタ３４Ｌから供給された信号に対して、振幅を一定に保ったまま位相のみを変化させて出力するフィルタであり、ＡＰＦ３５Ｒは、高域通過フィルタ３４Ｒから供給された信号に対して、振幅を一定に保ったまま位相のみを変化させて出力するフィルタである。ＡＰＦ３５Ｌ，３５Ｒは、例えば、図４（Ｂ）に示したような特性Ｌ１，Ｌ２を有し、ＡＰＦ３５ＬとＡＰＦ３５Ｒとで異なる特性をもっている。具体的には、例えば、ＡＰＦ３５Ｌが特性Ｌ１のような位相特性を有するとともに、ＡＰＦ３５Ｒが特性Ｌ２のような位相特性を有することにより、ＡＰＦ３５Ｌの出力信号の位相がＡＰＦ３５Ｒの出力信号の位相よりも進むようになっている。もしくは、ＡＰＦ３５Ｌが特性Ｌ２のような位相特性を有するとともに、ＡＰＦ３５Ｒが特性Ｌ１のような位相特性を設定し、ＡＰＦ３５Ｌの出力信号の位相がＡＰＦ３５Ｒの出力信号の位相よりも遅れるようにしてもよい。これにより、視聴者は、最終的にスピーカ２０Ｌ，２０Ｒから出力される音声に対して、左右方向の広がりを感じるようになる。ＡＰＦ３５Ｌ，３５Ｒの次数はどのようなものでもよく、例えば１次や２次が利用可能である。
【００３１】
位相反転部３６は、位相シフト部３５から供給される信号に対して、そのまま出力するか、もしくは位相を１８０度ずらして（位相反転して）出力するかを選択する機能を有する。これにより、位相反転部３６は、最終的にスピーカ２０Ｌ，２０Ｒから出力される音声に対して、視聴者がより広がりを感じるような条件を選択する機能を有する。
【００３２】
位相シフト回路３５における遅延量の調整や、位相反転部３６における位相反転動作の選択は、図示しない制御線により、外部より設定することができるようになっている。
【００３３】
仮想音源処理部４０は、位相反転部３６から供給される信号ＬＶin，ＲＶinに対して、仮想音像処理を行い、それぞれ仮想ツイータ２１Ｌ，２１Ｒに対応する位置に音像の定位位置が設定された音声信号を生成し、出力信号ＬＶout、ＲＶoutとして出力する機能を有している。
【００３４】
アンプ３７Ｌは、仮想音源処理部４０から供給される信号ＬＶoutを増幅する利得Ｋvtlのアンプであり、アンプ３７Ｒは、仮想音源処理部４０から供給される信号ＲＶoutを増幅する利得Ｋvtrのアンプである。これらのアンプの利得Ｋvtl，Ｋvtrを設定することにより、音像定位処理部３０は、後述するように、最終的にスピーカ２０Ｌ，２０Ｒから出力される音声の音像の定位位置を、スピーカ２０Ｌ，２０Ｒの位置から上昇させ、例えば表示部６０の画面の中央付近など、任意の位置に設定することができる。なお、以下では、アンプ３７Ｌ，３７Ｒの総称としてアンプ３７を適宜用い、利得Ｋvtl，Ｋvtrの総称として利得Ｋvtを適宜用いるものとする。
【００３５】
加算器３３Ｌは、遅延部３２Ｌの出力信号とアンプ３７Ｌの出力信号とを加算する回路であり、加算器３３Ｒは、遅延部３２Ｒの出力信号とアンプ３７Ｒの出力信号とを加算する回路である。
【００３６】
（仮想音像処理部４０）
図５は、仮想音像処理部４０の一構成例を表すものである。仮想音像処理部４０は、フィルタ４０１〜４０４，４０７〜４１０と、加算器４０５，４０６，４１１，４１２とを備えている。
【００３７】
フィルタ４０１〜４０４は、それぞれ音響伝達関数Ｈφ１Ｌ、Ｈφ１Ｒ、Ｈφ２Ｌ、Ｈφ２Ｒ（後述）をもつフィルタであり、いわゆるバイノーラル化処理に用いられるものである。具体的には、フィルタ４０１は、入力信号ＬＶinに対して音響伝達関数Ｈφ１Ｌを用いてフィルタ処理し、フィルタ４０２は、入力信号ＬＶinに対して音響伝達関数Ｈφ１Ｒを用いてフィルタ処理し、フィルタ４０３は、入力信号ＲＶinに対して音響伝達関数Ｈφ２Ｒを用いてフィルタ処理し、フィルタ４０４は、入力信号ＲＶinに対して音響伝達関数Ｈφ２Ｌを用いてフィルタ処理するようになっている。音響伝達関数Ｈφ１Ｌ、Ｈφ１Ｒ、Ｈφ２Ｌ、Ｈφ２Ｒは、例えば、図示しないメモリに記憶されている。
【００３８】
加算器４０５，４０６は、フィルタ４０１〜４０４の出力を加算する回路である。具体的には、加算器４０５は、フィルタ４０１の出力信号とフィルタ４０４の出力信号とを加算し、フィルタ４０６は、フィルタ４０２の出力信号とフィルタ４０３の出力信号とを加算するようになっている。
【００３９】
フィルタ４０７〜４１０は、音響伝達関数Ｈθ１Ｌ、Ｈθ１Ｒ、Ｈθ２Ｌ、Ｈθ２Ｒ（後述）に基づいて求められる伝達関数Ｇ１〜Ｇ４（後述）をもつフィルタであり、スピーカ２０Ｌ，２０Ｒからの音声の出力時に生じる空間的クロストークを補償するためのいわゆるクロストーク補償処理に用いられるものである。具体的には、フィルタ４０７は、加算器４０５の出力信号に対して伝達関数Ｇ１を用いてフィルタ処理し、フィルタ４０８は、加算器４０５の出力信号に対して伝達関数Ｇ２を用いてフィルタ処理し、フィルタ４０９は、加算器４０６の出力信号に対して伝達関数Ｇ３を用いてフィルタ処理し、フィルタ４１０は、加算器４０６の出力信号に対して伝達関数Ｇ４を用いてフィルタ処理するようになっている。伝達関数Ｇ１〜Ｇ４は、例えば、図示しないメモリに記憶されている。
【００４０】
加算器４１１，４１２は、フィルタ４０７〜４１０の出力を加算する回路である。具体的には、加算器４１１は、フィルタ４０７の出力信号とフィルタ４１０の出力信号とを加算し、出力信号ＬＶoutとして出力するものであり、フィルタ４１２は、フィルタ４０８の出力信号とフィルタ４０９の出力信号とを加算し、出力信号ＲＶoutとして出力するものである。
【００４１】
（音響伝達関数）
次に、音響伝達関数とその求め方について、説明する。
【００４２】
図６は、音響伝達関数を説明するための模式図である。図６において、（Ａ）は、仮想ツイータ２１Ｌ，２１Ｒの位置に配置されたスピーカ２２Ｌ，２２Ｒから音声を出力した状態を示し、（Ｂ）は、スピーカ２０Ｌ，２０Ｒから音声を出力した状態を示す。
【００４３】
表示部６０の前の視聴者９は、図６（Ａ）に示したように、スピーカ２２Ｌから出力された音声を、左の耳で感じるとともに、右の耳でも感じる。つまり、スピーカ２２Ｌに係る音響伝達関数には、視聴者９から位置ベクトルφ１の位置に配置されたスピーカ２２Ｌから出力された音声が視聴者９の左の耳に伝わるまでの伝達関数Ｈφ１Ｌと、スピーカ２０Ｌから出力された音声が視聴者９の右の耳に伝わるまでの伝達関数Ｈφ１Ｒの２つが存在する。
【００４４】
同様に、視聴者９は、スピーカ２２Ｒから出力された音声を、右の耳で感じるとともに、左の耳でも感じる。つまり、スピーカ２２Ｒに係る音響伝達関数には、視聴者９から位置ベクトルφ２の位置に配置されたスピーカ２２Ｒから出力された音声が視聴者９の右の耳に伝わるまでの伝達関数Ｈφ２Ｒと、スピーカ２２Ｒから出力された音声が視聴者９の左の耳に伝わるまでの伝達関数Ｈφ２Ｌの２つが存在する。
【００４５】
これらは、スピーカ２０Ｌ，２０Ｒから音声が出力された場合においても、全く同じである。すなわち、図６（Ｂ）に示したように、スピーカ２０Ｌに係る音響伝達関数には、視聴者９から位置ベクトルθ１の位置に配置されたスピーカ２０Ｌから出力された音声が視聴者９の左の耳に伝わるまでの伝達関数Ｈθ１Ｌと、スピーカ２０Ｌから出力された音声が視聴者９の右の耳に伝わるまでの伝達関数Ｈθ１Ｒの２つが存在する。そして、スピーカ２０Ｒに係る音響伝達関数には、視聴者９から位置ベクトルθ２の位置に配置されたスピーカ２０Ｒから出力された音声が視聴者９の右の耳に伝わるまでの伝達関数Ｈθ２Ｒと、スピーカ２０Ｒから出力された音声が視聴者９の左の耳に伝わるまでの伝達関数Ｈθ２Ｌの２つが存在する。
【００４６】
これらの音響伝達関数は、スピーカ２０Ｌ，２０Ｒ，２２Ｌ，２２Ｒからそれぞれ出力されたインパルス音を、視聴者９の左右の耳元でインパルス応答として測定することにより求めることができる。例えば、音響伝達関数Ｈφ１Ｌは、スピーカ２２Ｌから出力されたインパルス音を、視聴者９の左の耳元でインパルス応答として測定することにより求められる。また、音響伝達関数Ｈθ２Ｒは、スピーカ２０Ｒから出力されたインパルス音を、視聴者９の右の耳元でインパルス応答として測定することにより求められる。すなわち、視聴者９の耳元で測定したインパルス応答が、インパルス音を出力したスピーカ２０Ｌ，２０Ｒ，２２Ｌ，２２Ｒの位置から視聴者９の耳元までの音響伝達関数に相当することとなる。
【００４７】
図５に示したフィルタ４０１〜４０４の音響伝達関数Ｈφ１Ｌ，Ｈφ１Ｒ，Ｈφ２Ｌ，Ｈφ２Ｒは、以上のようにして求めた音響伝達関数を用いることができる。また、図５に示したフィルタ４０７〜４１０の伝達関数Ｇ１〜Ｇ４は、以上のようにして求めた音響伝達関数Ｈθ１Ｌ，Ｈθ１Ｒ，Ｈθ２Ｌ，Ｈθ２Ｒを次式に代入して得られたものを用いることができる。
【数１】
【００４８】
仮想音像処理部４０は、以上のようにして求めた伝達関数が設定されたフィルタ４０１〜４０４，４０７〜４１０を用いることにより、高い周波数成分の音声に関して、仮想ツイータ２１の位置に音像の定位位置を設定することができる。これにより、音像定位処理部３０は、低い周波数成分の音声についてはスピーカ２０の位置に音像の定位位置を設定し、高い周波数成分の音声に関しては、仮想ツイータ２１の位置に音像の定位位置を設定し、結果として、音声全体の音像の定位位置をスピーカ２０の位置から表示部６０の中央付近に上昇させるようになっている。
【００４９】
［動作および作用］
続いて、本実施の形態の映像音響装置１の動作および作用について説明する。
【００５０】
（全体動作概要）
音源／映像源１１は、音声信号および映像信号を出力する。映像処理部１７は、音源／映像源１１から供給された映像信号に基づいて、所定の映像処理を行う。表示ドライバ１８は、映像処理部１７から供給された映像信号に基づいて、表示部６０を駆動するための駆動信号を生成する。表示部６０は、表示ドライバ１８から供給された駆動信号に基づき表示を行う。
【００５１】
Ａ／Ｄ変換回路１２は、音源／映像源１１からアナログ信号の音声信号が供給された場合に、その信号をデジタル信号に変換する。デコーダ１３は、音源／映像源１１からデジタル信号の音声信号が供給された場合に、その信号をデコードする。ＳＷ１４は、Ａ／Ｄ変換回路１２から出力される音声信号とデコーダ１３から出力される音声信号とを選択し、音声処理部１５に供給する。音声処理部１５は、入力された音声信号に対して、所定の音声信号処理を行う。特に、音声処理部１５の音像定位処理部３０は、入力された音声信号を低い周波数成分と高い周波数成分とに分離し、低い周波数成分に対しては遅延処理を行い、高い周波数成分に対しては仮想音像処理を行った後に、それぞれを再度足し合わせることにより、音像の定位位置をスピーカ２０の位置から表示部６０の中央付近に上昇させるような音声信号を生成し出力する。Ｄ／Ａ変換回路１６は、音声処理部１５から出力されたデジタル形式の音声信号をアナログ信号に変換する。スピーカ２０は、Ｄ／Ａ変換回路１６から供給されたアナログ信号に基づいて、音声を出力する。
【００５２】
（音像の定位位置の設定）
次に、音像の定位位置の設定について説明する。
【００５３】
図７は、視聴者と表示部との位置関係を表す模式図である。図７において、（Ａ）は、視聴者が表示部の正面から映像を見る状態を示し、（Ｂ）は、視聴者が表示部を見上げて映像を見る状態を示し、（Ｃ）は、視聴者が表示部を見下ろして映像を見る状態を示す。
【００５４】
一般に、視聴者は、必ずしも表示部の映像を正面から見るとは限らない。すなわち、視聴者９は、表示部６０の正面から映像を見る場合（図７（Ａ））のほか、表示部６０を見上げて映像を見る場合（図７（Ｂ））や、表示部６０を見下ろして映像を見る場合（図７（Ｃ））がありえる。これらのケースは、例えば、視聴者が床に座って映像を見る場合や、椅子に座って映像を見る場合などに対応する。よって、例えば、視聴者９が表示部６０の正面から映像を見る場合を想定して、音像の定位位置が表示部６０の中央付近になるように音像上昇量Ｓを設定しても、表示部６０を見上げて映像を見る場合や、表示部６０を見下ろして映像を見る場合には、音像の定位位置が表示部６０の中央付近からずれてしまう。つまり、図７に示したように、視聴者９と表示部６０との相対的な位置関係によって、音像の定位位置を画面の中央に設定するための最適な音像上昇量Ｓは異なる。特に、図７に示したように、視聴者が表示部６０を見上げて映像を見る場合の音像上昇量Ｓｂ（図７（Ｂ））や、表示部６０を見下ろして映像を見る場合の音像上昇量Ｓｃ（図７（Ｃ））は、視聴者が表示部６０を正面から映像を見る場合の音像上昇量Ｓａ（図７（Ａ））よりも少ないものとなる。
【００５５】
映像音響装置１は、このように、視聴者９と表示部６０との相対的な位置関係が異なる場合でも、音像の定位位置を表示部６０の画面の中央に設定できるようにするため、音像上昇量Ｓを調整することができる。
【００５６】
以下に、音像上昇量Ｓの調整方法を説明する。
【００５７】
図８は、視聴者がスピーカの正面にいる場合の音像の定位位置を表す模式図である。図８において、（Ａ）は、音像の定位位置が表示部６０の中央付近にある状態を示し、（Ｂ）は、音像の定位位置が表示部６０の中央付近よりも低い状態を示す。
【００５８】
音像上昇量Ｓは、仮想ツイータ２１が擬似的に出力する音量とスピーカ２０が出力する音量との音量バランスに応じて変化する。具体的には、スピーカ２０の音量をある値に固定して、音像定位処理部３０のアンプ３７の利得Ｋvtを変化させると、利得Ｋvtがαより大きい場合には（Ｋvt＞α）、音像の定位位置が画面の中央よりも高いところに設定され、利得Ｋvtがαより小さい場合には（Ｋvt＜α）、音像の定位位置が画面の中央よりも低いところに設定される。ここで、αは、音像の定位位置が表示部６０の画面の中央付近になるようなアンプ３７の利得である。
【００５９】
次に、アンプ３７の利得Ｋvtの具体的な設定方法について説明する。
【００６０】
まず、図８（Ａ）に示したように、音像の定位位置が表示部６０の画面の中央付近になるようなアンプ３７の利得αを求め、そのときの、音像の定位位置Ａ、視聴者９の位置Ｂ、およびスピーカ２０の位置Ｃが成す角ＡＢＣの角度γ０を求める。この利得αおよび角度γ０を用いると、図８（Ｂ）に示したような任意の角度γの方向に音像の定位位置を設定するために必要なアンプ３７の利得Ｋvtは、次式で表される。
【数２】
【００６１】
映像音響装置１では、表示部との相対的な位置関係（例えば、図７（Ａ）〜（Ｃ））に応じて、式（２）に基づいて角度γに対するアンプ３７の利得Ｋvtを設定することにより、音像の定位位置を表示部６０の画面の中央付近に設定することが可能となる。以下に、その具体例を示す。
【００６２】
図９は、視聴者が表示部を見上げて映像を見る状態における、アンプ３７の利得Ｋvtの設定方法を説明するための模式図である。この例では、表示部が表示部６０Ｄの位置から表示部６０の位置に移動した場合において、音像の定位位置を表示部６０の中央付近に設定するための方法を示している。
【００６３】
まず、表示部が表示部６０Ｄの位置に配置され、さらに音像の定位位置が表示部６０Ｄの画面の中央付近に設定されたときの、アンプ３７の利得αおよび角度γ０を求める。ここで、視聴者９とスピーカ２０Ｄを結ぶ線をｘ軸とする。
【００６４】
次に、表示部が表示部６０の位置に配置され、さらに音像の定位位置が表示部６０の画面の中央付近に設定されたときの角度γを求める。ここで、視聴者９とスピーカ２０Ｒを結ぶ線をｘ２軸とする。
【００６５】
次に、仮想的に配置された表示部６０Ｒを導入する。表示部６０Ｒは、図９に示したように、表示部６０Ｄを、ｘ軸がｘ２軸と一致するように、視聴者９を中心に角度δだけ回転させて配置されたものである。ｘ２軸に係る表示部６０Ｒでは、ｘ２軸から角度γ０の方向が、表示部６０Ｒの画面の中央付近となる。一方、ｘ２軸に係る表示部６０では、ｘ２軸から角度γの方向が、表示部６０の画面の中央付近となる。このｘ２軸から角度γの方向は、表示部６０Ｒにおいては、その画面の中央付近よりやや低い部分に対応する。つまり、仮想的に配置された表示部６０Ｒにおいて、音像の定位位置を画面の中央付近（角度γ０に対応）より低いところ（角度γに対応）に設定することにより、音像の定位位置が表示部６０の画面の中央付近に設定されるようになる。
【００６６】
式（２）に示した、任意の角度γの方向に音像の定位位置を設定できる利得Ｋvtを求める方法は、この場合にも適用することができる。すなわち、図９において、表示部が表示部６０の位置に配置されたとき、音像の定位位置が表示部６０の画面の中央付近に設定するために必要なアンプ３７の利得Ｋvtは、上記利得α、および角度γ，γ０を式（２）に代入することにより求めることができる。なお、図９では、表示部が、視聴者が見上げる方向に移動した場合を示したが、視聴者が見下ろす方向に移動した場合でも全く同様である。
【００６７】
このようにして、映像音響装置１は、角度γに対するアンプ３７の利得Ｋvtを設定することができる。よって、視聴者が、表示部との相対的な位置関係（例えば、図７（Ａ）〜（Ｃ））に関する情報を映像音響装置１に入力することにより、映像音響装置１は、その情報に基づいてアンプ３７の利得Ｋvtを設定し、音像の定位位置を表示部６０の画面の中央付近に設定することが可能となる。この場合、視聴者は、例えば角度γを入力するようにしてもよいし、音像上昇量Ｓが角度γに応じて決まることを利用して、例えば音像上昇量Ｓを用いるようにしても良い。
【００６８】
図１０は、視聴者と表示部との相対的な位置関係を入力するためのユーザーインターフェースの一例を表すものである。映像音響装置１は、例えば、このような情報を表示部６０に表示し、視聴者と表示部との相対的な位置関係に関する情報を入力することができる。その情報の入力は、例えば、連続的に条件を設定できるスライダを用いて入力するようにしてもよいし、大・中・小など、離散的な条件の中から選択することにより入力するようにしてもよい。
【００６９】
（遅延部３２Ｌ，３２Ｒの作用）
一般に、人間は、いわゆる先行音効果として知られているように、最初に両耳に到達した一部の音声によって、その音声全体が発生した方向を認識する。よって、図１において、例えば、視聴者が感じる音声のうち、音像の定位位置が表示部６０の中央付近にある一部の音声が、視聴者に最初に到達するようにすれば、視聴者は、その音声全体が表示部６０の中央付近から発生したと感じるようになる。
【００７０】
映像音響装置１の音声定位処理部３０は、上述したように、供給された音声信号を低い周波数成分と高い周波数成分とに分け、高い周波数成分に対してのみ、仮想音源処理部４０により仮想音源処理を行い、その音像の定位位置を上昇するように設定している。一方、低い周波数成分に対しては、音声定位処理部３０は、遅延部３２Ｌ，３２Ｒにより遅延処理を行っている。つまり、映像音響装置１は、この高い周波数成分の音声を最初にスピーカ２０から出力させ、やや遅れて低い周波数成分の音声をスピーカ２０から出力させている。これにより、視聴者は、音像の定位位置が上昇した、高い周波数成分の音声を最初に感じることとなり、その位置から音声が発生したと感じるようになる。
【００７１】
以上のように、遅延部３２Ｌ，３２Ｒは、仮想音源処理部４０による音像の定位位置の上昇を際立たせ、その効果を最大限に引き出すように機能する。
【００７２】
［効果］
以上のように本実施の形態では、表示部の下部に配置されたスピーカから出力された音声の音像の定位位置を上昇させて、表示部の画面の中央付近に設定するようにしたので、音像の定位位置と映像の表示位置が一致することにより、視聴者に違和感を与えないようにすることができる。
【００７３】
特に、本実施の形態では、仮想音源処理部４０が音像の定位位置を上昇させるようにしたので、音像の定位位置を上昇させるためのスピーカを装置に追加する必要がなくなり、装置の小型化を実現することができる。
【００７４】
また、本実施の形態では、音像上昇量Ｓを調整できるようにしたので、視聴者と表示部との相対的な位置関係に応じて、音像の定位位置が表示部の画面の中央付近となるような最適な設定にすることができる。
【００７５】
また、本実施の形態では、音像上昇量Ｓをアンプ３７Ｌ，３７Ｒの利得Ｋvtl，Ｋvtrにより設定するようにしたので、例えば、複数の音響伝達関数のセットを準備し切り替えることにより音像上昇量Ｓを調整する方法に比べて、音響伝達関数をするためのメモリ量を削減することができる。
【００７６】
さらに、本実施の形態では、音声信号の低い周波数成分を遅延させるようにしたので、先行音効果により、仮想音源処理部４０の音像の定位位置の上昇の効果を最大限に引き出すことができる。
【００７７】
［変形例１−１］
上記実施の形態では、音像定位処理部３０は、図３に示したように、位相シフト部３５および位相反転部３６を設けたが、これに限定されるものではなく、例えば位相シフト部３５のみ、もしくは位相反転部３６のみを設けてもよいし、図１１に示したように、位相シフト部３５と位相反転部３６の両方を設けなくてもよい。音像定位処理部３０Ａは、位相シフト部３５と位相反転部３６の両方を有しておらず、高域通過フィルタ３４Ｌ，３４Ｒの出力信号は仮想音源処理部４０に直接供給されている。
【００７８】
［変形例１−２］
上記実施の形態では、音像定位処理部３０では、図３に示したように、位相シフト部３５を位相反転部３６の前段に配置したが、これに限定されるものではなく、例えば、位相シフト部３５と位相反転部３６とを入れ替えて、位相シフト部３５を位相反転部３６の後段に配置してもよい。また、位相シフト部３５および位相反転部３６は、仮想音源処理部４０の前段に配置したが、これに限定されるものではなく、例えば、仮想音源処理部４０の後段に配置してもよい。
【００７９】
［変形例１−３］
上記実施の形態では、音像定位処理部３０では、図３に示したように、信号Ｌin，Ｒinからなる２チャンネルの音声信号を入力としたが、これに限定されるものではない。例えば、図１２に示したように、５チャンネルの音声信号を入力とし、２チャンネルにダウンミックスした後に、音像定位処理を行うようにしてもよい。音像定位処理部３０Ｂは、信号Ｌin、信号Ｒin、信号ＳＬin、信号ＳＲin、信号Ｃinを入力とし、それぞれをアンプ５１Ｌ，５１Ｒ，５１ＳＬ，５１ＳＲ，５１Ｃにより増幅した後、加算器５２Ｌ，５２Ｒ供給して２チャンネルの音声信号にダウンミックスし、音像定位処理を行っている。
【００８０】
また、例えば、図１３に示したように、５チャンネルの音声信号を入力とし、信号Ｌin、信号Ｒin、信号ＳＬinを２チャンネルの音声信号に変更して音像定位処理を行うとともに、信号ＳＬin、信号ＳＲinに対しては通常のバーチャルサラウンド処理を行うようにしてもよい。音像定位処理部３０Ｃは、信号Ｌin、信号Ｒin、信号Ｃinをアンプ５１Ｌ，５１Ｒ，５１Ｃによりそれぞれ増幅した後、加算器５２Ｌ，５２Ｒに供給して２チャンネルの音声信号に変更し、音像定位処理を行っている。また、音像定位処理部３０Ｃは、信号ＳＬin、信号ＳＲinをアンプ５１ＳＬ，５１ＳＲによりそれぞれ増幅した後、遅延部５３ＳＬ，５３ＳＲを介して３次元処理部５４に供給する。音像定位処理部３０Ｃは、３次元処理部５４においてバーチャルサラウンド処理が行った後、その出力信号をアンプ５５ＳＬ，５５ＳＲで増幅し、加算器５６Ｌ，５６Ｒにより音像定位処理結果と合成している。
【００８１】
［その他の変形例］
上記実施の形態では、スピーカ２０を表示部６０の下部に配置したが、これに限定されるものではなく、例えば、表示部の上部に配置してもよい。この場合でも、この配置に対応した音響伝達関数を用いることにより、仮想音源処理部４０は、音像の定位位置を設定することができる。
【００８２】
上記実施の形態では、音像定位処理部３０の低域通過フィルタ３１Ｌ，３１Ｒおよび高域通過フィルタ３４Ｌ，３４Ｒのカットオフ周波数を所定の周波数に設定したが、例えば、視聴者がこのカットオフ周波数を変更できるようにしてもよい。これにより、例えば、可聴音域の異なる様々な年齢の視聴者に対しても、それぞれに対して最適なカットオフ周波数を設定でき、音声と映像との一体感を改善できる。
【００８３】
＜３．第２の実施の形態＞
次に、本発明の第２の実施の形態に係る映像音響装置について説明する。本実施の形態は、視聴者と表示部との相対的な位置関係を測定する手段を新たに設け、これに基づいて音像の定位位置を制御するようにしたものである。なお、上記第１の実施の形態に係る映像音響装置と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
【００８４】
［構成例］
図１４は、本発明の第２の実施の形態に係る映像音響装置の一構成例を表すものである。映像音響装置２は、カメラ７１と、視聴者検出部７２とを備えている。その他の構成は、上記第１の実施の形態（図２）と同様である。
【００８５】
カメラ７１は、視聴者と表示部６０との相対的な位置関係を測定するために設けられたものであり、例えば表示部６０の画面の下部の中央に、視聴者を視野に捕らえるように配置されている。
【００８６】
視聴者検出部７２は、カメラ７１から供給される情報を基に、視聴者と表示部６０との相対的な位置関係を求め、その結果を音声処理部１５の音像定位処理部３０に供給する。これにより、音像定位処理部３０は、第１の実施の形態と同様に、その位置関係に基づいて音像の定位位置が表示部６０の画面の中央付近になるように設定する。
【００８７】
ここで、カメラ７１および視聴者検出部７２は、本発明における「位置関係測定手段」の一具体例に対応する。
【００８８】
［動作および作用］
（視聴者検出部７２の動作）
次に、図１５、図１６を参照して、視聴者検出部７２の動作を説明する。
【００８９】
図１５は、視聴者検出部７２における視聴者検出動作の流れ図を表すものである。図１６は、最近接視聴者と表示部６０との相対的な位置関係を表すものであり、（Ａ）は正面から見た場合を示し、（Ｂ）は側面から見た場合を示す。なお、図１５に示した流れ図の開始時点において、変数ｎはｎ＝１に初期化されているものとする。また、表示部６０は、図１６（Ａ）に示したように、幅ｗと高さｈをもつものとする。
【００９０】
まず、視聴者検出部７２は、図１５に示したように、カメラ７１から供給された情報に基づいて、表示部６０の前の視聴者の数Ｎを検出する（Ｓ１）。
【００９１】
次に、Ｓ２，Ｓ３，Ｓ３１において、視聴者検出部７２は、カメラ７１の位置を原点Ｏとして、Ｓ１で検出された全視聴者の位置座標を検出する。具体的には、まず、Ｓ１で検出された視聴者のうちのある視聴者に対して、その位置座標Ｐｎ（ｘｎ，ｙｎ，ｚｎ）を求める（Ｓ２）。次に、変数ｎと視聴者数Ｎとを比較する（Ｓ３）。比較結果が一致しなかった場合には、ｎをインクリメントし（Ｓ３１）、再度Ｓ２を実施する。Ｓ３において比較結果が一致した場合にはＳ４に進む。
【００９２】
次に、Ｓ４において、視聴者検出部７２は、Ｓ１で検出された視聴者のうち、一番表示部６０に近い視聴者（最近接視聴者）を、Ｓ２で得られた各視聴者の位置座標に基づいて判定する。
【００９３】
次に、視聴者検出部７２は、Ｓ４で判定された最近接視聴者の位置座標Ｐ（ｘ，ｙ，ｚ）を基に、角度γを求める。この角度γは、以下のように表される（Ｓ５）。
【数３】
【００９４】
次に、視聴者検出部７２は、Ｓ５で求められた角度γを基に、音像定位処理部３０のアンプ３７の利得Ｋvtを求める（Ｓ６）。アンプ３７の利得Ｋvtは、第１の実施の形態で説明した式（２）を用いて求めることができる。
【００９５】
以上で、視聴者検出動作は終了する。その後、音像定位処理部３０のアンプ３７は、Ｓ６で求められた利得Ｋvtに設定される。この一連の動作が所定の期間ごとに繰り返し行われることにより、映像音響装置２は、常に音像の定位位置が表示部６０の中央付近になるように制御することができる。
【００９６】
［効果］
以上のように本実施の形態では、視聴者と表示部との相対的な位置関係を測定し、それに応じて音像の定位位置を制御するようにしたので、視聴者による設定を必要とすることなく、音声と映像との一体感を改善できる。
【００９７】
本実施の形態では、音声と映像との不一致を最も感じやすい、一番表示部６０に近い視聴者の位置座標に基づいて音像の定位位置を制御するようにしたので、全ての視聴者に対して、音声と映像との一体感を改善できる。
【００９８】
上記実施の形態では、カメラ７１を表示部６０の下部の中央に配置したが、これに限定されるものではなく、例えば、表示部６０の上部の中央などに配置してもよい。
【００９９】
＜４．第３の実施の形態＞
次に、本発明の第３の実施の形態に係る映像音響装置について説明する。本実施の形態は、映像および音声を解析し、表示部６０の画面内において音声が発生している座標を判定する手段を新たに設け、これに基づいて、音像の定位位置を制御するようにしたものである。なお、上記第１および第２の実施の形態に係る映像音響装置と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
【０１００】
図１７は、本発明の第３の実施の形態に係る映像音響装置の一構成例を表すものである。映像音響装置３は、映像解析部８１を備えている。その他の構成は、上記第１および第２の実施の形態と同様である。
【０１０１】
映像解析部８１は、映像処理部１７から供給される映像信号、および音声信号Ｌin，Ｒinに基づいて、その映像上における音声を発している人物などの音声発生源を特定し、表示部６０の画面内におけるその音声発生源の座標を求める機能を有している。その結果に基づいて、音像定位処理部３０のアンプ３７の利得Ｋvtが設定され、音像の定位位置が、表示部６０の画面内におけるその音声を発している箇所に設定される。
【０１０２】
以上のように本実施の形態では、映像上の音声発生源の位置に音像の定位位置を設定するようにしたので、音声と映像との一体感を改善でき、視聴者に臨場感を与えることができる。
【０１０３】
上記実施の形態では、映像解析部８１は、映像信号および音声信号Ｌin，Ｒinに基づいて、その映像上の音声発生源を特定するようにしたが、これに限定されるものではなく、例えば、さらに音声信号ＳＬin，ＳＲin，Ｃin，Ｗinを用いてもよい。
【０１０４】
上記実施の形態では、映像および音声を解析して、その映像上の音声発生源を特定するようにしたが、これに限定されるものではなく、例えば、映像のみにより、その映像上の音声発生源を特定するようにしてもよい。
【０１０５】
＜５．第４の実施の形態＞
次に、本発明の第４の実施の形態に係る映像音響装置について説明する。本実施の形態は、音声の周波数帯域を求める手段を新たに設け、これに基づいて、音像定位処理部３０の低域通過フィルタ３１Ｌ，３１Ｒおよび高域通過フィルタ３４Ｌ，３４Ｒのカットオフ周波数を動的に設定するようにしたものである。なお、上記第１〜第３の実施の形態に係る映像音響装置と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
【０１０６】
図１８は、本発明の第４の実施の形態に係る映像音響装置の一構成例を表すものである。映像音響装置４は、周波数帯域解析部９１を備えている。その他の構成は、上記第１〜第３の実施の形態と同様である。ここで、周波数帯域解析部９１は、本発明における「周波数帯域測定手段」の一具体例に対応する。
【０１０７】
周波数帯域解析部９１は、音声信号Ｌin，Ｒinに基づいて、その音声信号の周波数帯域を求める。その結果に基づいて、音像定位処理部３０の低域通過フィルタ３１Ｌ，３１Ｒおよび高域通過フィルタ３４Ｌ，３４Ｒのカットオフ周波数が、例えばその周波数帯域の中心周波数になるように、動的に設定される。
【０１０８】
低域通過フィルタ３１Ｌ，３１Ｒおよび高域通過フィルタ３４Ｌ，３４Ｒのカットオフ周波数が固定の場合には、例えば、主に低めの音で構成される音声に対応する音声信号が音像定位処理部３０に供給されたときと、主に高めの音で構成される音声に対応する音声信号が音像定位処理部３０に供給されたときとで、カットオフ周波数より低い周波数成分の音量と高い周波数成分の音量とのバランスが異なるため、音像の定位位置が変化することになる。
【０１０９】
つまり、主に低めの音で構成される音声に対応する音声信号が音像定位処理部３０に供給されたときは、例えばその音声の周波数帯域の中心周波数がカットオフ周波数より低い場合において、低域通過フィルタ３１Ｌ，３１Ｒから出力される低い周波数成分の音量が高域通過フィルタ３４Ｌ，３４Ｒから出力される高い周波数成分の音量よりも多くなる。よって、高い周波数成分の信号に対して仮想音源処理部４０で行われる仮想音源処理の効果が相対的に弱くなるため、音像の定位位置は表示部６０の中央付近よりも低めとなる。
【０１１０】
また、主に高めの音で構成される音声に対応する音声信号が音像定位処理部３０に供給されたときは、例えばその音声の周波数帯域の中心周波数がカットオフ周波数より高い場合において、低域通過フィルタ３１Ｌ，３１Ｒから出力される低い周波数成分の音量が高域通過フィルタ３４Ｌ，３４Ｒから出力される高い周波数成分の音量よりも多くなる。よって、高い周波数成分の信号に対して仮想音源処理部４０で行われる仮想音源処理の効果が相対的に強くなるため、音像の定位位置は表示部６０の中央付近よりも高めとなる。
【０１１１】
一方、音像定位処理部３０の低域通過フィルタ３１Ｌ，３１Ｒおよび高域通過フィルタ３４Ｌ，３４Ｒのカットオフ周波数が、音声の周波数帯域に基づいて動的に設定される場合には、様々な音域を持つ音源に対しても、適切なカットオフ周波数が設定されるため、表示部６０の画面における音像の定位位置をほぼ一定に保つことができる。
【０１１２】
以上のように本実施の形態では、供給される音声信号に応じて、低域通過フィルタおよび高域通過フィルタのカットオフ周波数を動的に設定するようにしたので、様々な音域を持つ音源に対しても、音像の定位位置をほぼ一定に保つことができる。
【０１１３】
上記実施の形態では、周波数帯域解析部９１は、音声信号Ｌin，Ｒinに基づいて周波数帯域を求めるようにしたが、これに限定されるものではなく、例えば、音声信号Ｌin，Ｒinのほか、音声信号ＳＬin，ＳＲin，Ｃin，Ｗinも用いて周波数帯域を求めるようにしてもよい。
【０１１４】
以上、いくつかの実施の形態を挙げて本発明を説明したが、本発明はこれらの実施の形態には限定されず、種々の変形が可能である。
【０１１５】
例えば、第２〜第４の各実施の形態では、第１の実施の形態と同様に、音像定位処理部３０の位相シフト部３５および位相反転部３６のどちらか一方、もしくは両方を省いてもよい。
【０１１６】
例えば、第２〜第４の各実施の形態では、第１の実施の形態と同様に、音像定位処理部３０の位相シフト部３５および位相反転部３６を入れ替えてもよい。また、音像定位処理部３０の位相シフト部３５および位相反転部３６を、仮想音源処理部４０の後段に配置してもよい。
【０１１７】
例えば、第２〜第４の各実施の形態では、第１の実施の形態と同様に、音像定位処理部３０への入力信号を、５チャンネルの音声信号を入力としてもよい。
【０１１８】
例えば、第２〜第４の各実施の形態では、第１の実施の形態と同様に、スピーカ２０を表示部の上部に配置してもよい。
【０１１９】
例えば、第２および第３の実施の形態では、第１の実施の形態と同様に、音像定位処理部３０の低域通過フィルタ３１Ｌ，３１Ｒおよび高域通過フィルタ３４Ｌ，３４Ｒのカットオフ周波数を、視聴者が設定できるようにしてもよい。
【符号の説明】
【０１２０】
１〜４…映像音響装置、７，７Ｌ，７Ｒ…音像、９…視聴者、１１…音源／映像源、１２…ＡＤ変換回路、１３…デコーダ、１４…ＳＷ、１５…音声処理部、１６…ＤＡコンバータ、１７…映像処理部、１８…表示ドライバ、１９…コントローラ、２０，２０Ｌ，２０Ｒ、２２Ｌ，２２Ｒ…スピーカ、２１，２１Ｌ，２１Ｒ…仮想ツイータ、３０，３０Ａ，３０Ｂ，３０Ｃ…音像定位処理部、３１Ｌ，３１Ｒ…低域通過フィルタ（ＬＰＦ）、３２Ｌ，３２Ｒ，５３ＳＬ，５３ＳＲ…遅延部、３３Ｌ，３３Ｒ，４０５，４０６，４１１，４１２，５２Ｌ，５２Ｒ，５６Ｌ，５６Ｒ…加算器、３４Ｌ，３４Ｒ…高域通過フィルタ（ＨＰＦ）、３５…位相シフト部、３５Ｌ，３５Ｒ…ＡＰＦ，３６…位相反転部、３７，３７Ｌ，３７Ｒ，５１Ｌ，５１Ｒ，５１ＳＬ，５１ＳＲ，５１Ｃ，５５ＳＬ，５５ＳＲ…アンプ、４０…仮想音源処理部、５４…３次元処理部、６０…表示部、７１…カメラ、７２…視聴者検出部、８１…映像解析部、９１…周波数帯域解析部、４０１〜４０４，４０７〜４１０…フィルタ、Ｈφ１Ｌ，Ｈφ１Ｒ，Ｈφ２Ｌ，Ｈφ２Ｒ，Ｈθ１Ｌ，Ｈθ１Ｒ，Ｈθ２Ｌ，Ｈθ２Ｒ…音響伝達関数、Ｇ１〜Ｇ４…伝達関数、Ｌin，Ｒin，ＳＬin，ＳＲin，Ｃin，Ｗin，Ｌout，Ｒout，ＬＶin，ＲＶin，ＬＶout，ＲＶout…信号、Ｓ，Ｓ０，Ｓａ，Ｓｂ，Ｓｃ…音像上昇量、γ，γ０…角度
【特許請求の範囲】
【請求項１】
映像を表示する表示部と、
前記映像に対応した音声を発生するスピーカと、
所定の処理により、前記スピーカに供給する音声信号を生成する音声処理部と
を備え、
前記音声処理部は、前記音声の音像の定位位置を前記表示部の画面上の任意の位置に設定するような音声信号を生成する音像定位処理部を含む
映像音響装置。
【請求項２】
前記スピーカが前記表示部の上部または下部に複数配置されている
請求項１に記載の映像音響装置。
【請求項３】
前記音像定位処理部は、前記表示部の上部または下部のうち、一方に低い周波数の音声成分の音像を定位し、他方に高い周波数の音声成分の音像を定位する
請求項２に記載の映像音響装置。
【請求項４】
前記表示部と視聴者との相対的な位置関係を測定する位置関係測定手段をさらに有し、
前記音像定位処理部は、その測定された位置関係に基づいて前記音像の定位位置を制御する
請求項１に記載の映像音響装置。
【請求項５】
前記音像定位処理部は、前記映像の内容に基づいて前記音像の定位位置を制御する
請求項１に記載の映像音響装置。
【請求項６】
前記音像定位処理部は、前記音声のうち、所定の周波数よりも高い周波数の音声成分の音像の定位位置を制御する
請求項１に記載の映像音響装置。
【請求項７】
前記所定の周波数は、音声の周波数帯域に基づいてあらかじめ設定される
請求項６に記載の映像音響装置。
【請求項８】
音声の周波数帯域を測定する周波数帯域測定手段をさらに有し、
前記所定の周波数は、前記周波数帯域に基づいて求められる
請求項６に記載の映像音響装置。
【請求項９】
前記音像定位処理部は、さらに、前記所定の周波数よりも高い周波数の音声成分の左右の音声信号の間に位相差を生じさせる
請求項６に記載の映像音響装置。
【請求項１０】
前記音像定位処理部は、さらに、前記所定の周波数よりも低い周波数の音声成分を遅延させる
請求項６に記載の映像音響装置。
【請求項１】
映像を表示する表示部と、
前記映像に対応した音声を発生するスピーカと、
所定の処理により、前記スピーカに供給する音声信号を生成する音声処理部と
を備え、
前記音声処理部は、前記音声の音像の定位位置を前記表示部の画面上の任意の位置に設定するような音声信号を生成する音像定位処理部を含む
映像音響装置。
【請求項２】
前記スピーカが前記表示部の上部または下部に複数配置されている
請求項１に記載の映像音響装置。
【請求項３】
前記音像定位処理部は、前記表示部の上部または下部のうち、一方に低い周波数の音声成分の音像を定位し、他方に高い周波数の音声成分の音像を定位する
請求項２に記載の映像音響装置。
【請求項４】
前記表示部と視聴者との相対的な位置関係を測定する位置関係測定手段をさらに有し、
前記音像定位処理部は、その測定された位置関係に基づいて前記音像の定位位置を制御する
請求項１に記載の映像音響装置。
【請求項５】
前記音像定位処理部は、前記映像の内容に基づいて前記音像の定位位置を制御する
請求項１に記載の映像音響装置。
【請求項６】
前記音像定位処理部は、前記音声のうち、所定の周波数よりも高い周波数の音声成分の音像の定位位置を制御する
請求項１に記載の映像音響装置。
【請求項７】
前記所定の周波数は、音声の周波数帯域に基づいてあらかじめ設定される
請求項６に記載の映像音響装置。
【請求項８】
音声の周波数帯域を測定する周波数帯域測定手段をさらに有し、
前記所定の周波数は、前記周波数帯域に基づいて求められる
請求項６に記載の映像音響装置。
【請求項９】
前記音像定位処理部は、さらに、前記所定の周波数よりも高い周波数の音声成分の左右の音声信号の間に位相差を生じさせる
請求項６に記載の映像音響装置。
【請求項１０】
前記音像定位処理部は、さらに、前記所定の周波数よりも低い周波数の音声成分を遅延させる
請求項６に記載の映像音響装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１１−１１９８６７（Ｐ２０１１−１１９８６７Ａ）
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願番号】特願２００９−２７３８００（Ｐ２００９−２７３８００）
【出願日】平成２１年１２月１日（２００９．１２．１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願日】平成２１年１２月１日（２００９．１２．１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]