音響再生装置
【課題】直接音と間接音の比率を調整して、映像に応じた位置に音像を定位させることができる音響再生装置を提供する。
【解決手段】音響再生装置３は、モニタ３８が映像を表示した際に、この映像の座標情報を取得する。音響再生装置３は、視聴者の視聴位置９０の直近に配置したアタッチスピーカ４７と、視聴位置の周囲（視聴位置から離れた位置）に配置した複数のサラウンドスピーカ４０と、を備えており、映像の座標に応じて、アタッチスピーカ４７及びサラウンドスピーカ４０に出力する音声信号のゲインや位相を調整して、映像の位置に映像の音像を定位させる。人は、間接音の比率が高い音を遠くからの音と知覚し、直接音の比率が高い音を近くからの音と知覚するが、視聴位置の直近と視聴位置から離れた位置にスピーカを設置することで、アタッチスピーカ４７とサラウンドスピーカ４０の間に音像を定位させることができる。
【解決手段】音響再生装置３は、モニタ３８が映像を表示した際に、この映像の座標情報を取得する。音響再生装置３は、視聴者の視聴位置９０の直近に配置したアタッチスピーカ４７と、視聴位置の周囲（視聴位置から離れた位置）に配置した複数のサラウンドスピーカ４０と、を備えており、映像の座標に応じて、アタッチスピーカ４７及びサラウンドスピーカ４０に出力する音声信号のゲインや位相を調整して、映像の位置に映像の音像を定位させる。人は、間接音の比率が高い音を遠くからの音と知覚し、直接音の比率が高い音を近くからの音と知覚するが、視聴位置の直近と視聴位置から離れた位置にスピーカを設置することで、アタッチスピーカ４７とサラウンドスピーカ４０の間に音像を定位させることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、任意の位置に音像を定位させる音響再生装置に関する。
【背景技術】
【０００２】
従来、図１（Ａ）に示すように、視聴者Ｕの周囲に設置した５つのスピーカＬ，Ｃ，Ｒ，ＳＬ，ＳＲからオーディオ信号に基づく音声を放音することで、聴取者の周囲に音像を定位させる立体音像制御装置があった（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−４４７９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
図１（Ｂ）に示すように、視聴者Ｕは通常、オーディオ用アンプに接続した５つのスピーカＬ，Ｃ，Ｒ，ＳＬ，ＳＲを部屋Ｒの壁Ｋの近くに設置することが多い。そして、視聴者Ｕは一般的にスピーカから一定距離離れた場所で視聴するため、視聴者Ｕはスピーカからの直接音だけでなく部屋の天井、床、壁面からの反射音（間接音）も同時に聞いている。一般に人間は音源までの距離を、直接音と間接音の音量比を主な手がかりとして判断しているから、各スピーカから音声を放音したときは、視聴者Ｕは音源までの距離としてスピーカまでの実距離を感じている。
【０００５】
そのため、図１（Ｂ）に示したように、５つのスピーカＬ，Ｃ，Ｒ，ＳＬ，ＳＲにより囲まれた領域Ｔの内側（例えば、視聴者Ｕの左前方）に音源が定位するように、従来のオーディオ用アンプで音源Ｓを模擬しようとしても、視聴者Ｕには実際にその位置に音源が置かれた時の直接音と間接音の比率を再現することができない。そのため、視聴者Ｕにあたかもその場所に音源があるような距離感に知覚させることは困難であった。
【０００６】
そこで、本発明は、視聴者の周囲における任意の位置に音像を定位することができる音響再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
この発明の音響再生装置は、座標情報取得手段と、放音手段と、供給手段と、音像制御手段と、を備えている。座標情報取得手段は、表示装置が表示する映像の視聴環境における座標情報を取得する。放音手段は、視聴位置の周囲に第１音源を配置し、第２音源を第１音源よりも視聴位置の近くに配置する。供給手段は、映像に対応する音声信号を第１音源と第２音源に供給し、これにより、第１音源と第２音源から同じ音声を放音させる。音像制御手段は、座標情報に応じて第１音源と第２音源に供給する音声信号のゲイン比率を調整する。
【０００８】
音響再生装置を、例えば立方体型の室内に設置して視聴者の視聴位置を部屋の中央に設定した場合、第２音源は第１音源よりも視聴位置の近傍に設置する。直接音の音圧が距離の逆二乗に反比例して急激に減衰するのに対し、間接音の音圧は音源からの距離が変わってもそれほど音量が変化しない。したがって、視聴者は、これを手がかりに第１音源が放音した音を間接音の比率が高い音、すなわち遠くから聞こえる音と知覚する。一方、第２音源から視聴者までの距離は、第１音源から視聴者までの距離より小さいので、聴こえる音量のうち直接音の占める比率が第１音源からの場合より大きくなる。そこで、視聴位置にいる視聴者は、第２音源が放音した音を、直接音の比率が高い音、すなわち近くから聞こえる音と知覚する。したがって、第１音源と第２音源から同じ音声を放音させ、両音声信号のゲインを調整することで、視聴位置において視聴者に聞こえる直接音と間接音の比率を調整でき、第１音源と第２音源の間における任意の距離の位置に音像を定位させることができる。例えば、第２音源を視聴位置の直近とすれば、第２音源から放音される音は視聴者にはほとんど直接音として聞こえるので、視聴者の視聴位置の直近にも音源を定位させることができる。
【０００９】
第１音源と第２音源は、具体的には以下のようにして実現することができる。例えば、第１スピーカと第２スピーカを放音手段が備える構成とし、第１スピーカに第１音源の音声信号を放音させ、第２スピーカを第１スピーカよりも視聴位置の近くに設置して第２音源の音声信号を放音させることで実現できる。
【００１０】
本発明の構成は、実際には、例えば５．１サラウンドシステムのような形態において、従来の５．１チャンネルに相当する６個のスピーカを上記第１スピーカとし、この構成にあらたに追加するスピーカを視聴者近傍設置用として上記第２スピーカとすることで実現できる。この第２スピーカの形態として１個または複数個のスピーカを視聴者正面に設置する、または視聴者の背後、例えばソファのヘッドレスト部に設置したり、立体映像を見る際に使用するメガネを構成するフレームに設置するなどが考えられる。このような構成により視聴者の実際に耳の近傍に音源を設置することができ、第１スピーカとの間で直接音と間接音との比率を制御することができる。
【００１１】
また、第１音源と第２音源は、以下のようにして実現することもできる。例えば、放音手段が、スピーカアレイと信号処理手段を組み合わせた指向性制御スピーカと、前記信号処理や、特殊構造による指向性制御をしない通常のスピーカを備える構成とする。
【００１２】
この構成においては、第２音源の音声信号をスピーカアレイにより音声ビーム化して放音させるので、指向性制御をしないスピーカと比較して、視聴位置での直接音比率を上げることができる。このため実際に視聴位置の近くにスピーカを設置することなく第２音源を視聴位置近傍に定位させることができる。これにより、第１音源スピーカと同じ位置に第２音源スピーカを設置できたり、第１音源スピーカと第２音源スピーカを一体化したりするなど、設置位置や構成の自由度を高めることができる。また、前記構成において、指向性制御スピーカとしてスピーカアレイではなく、例えば平面スピーカなど構造的に指向性を制御しているようなスピーカを使用しても良い。
【００１３】
また、前記構成のスピーカを設置する環境の中には、スタジオなど部屋自体の音響が意図的にコントロールされている場合がある。このような環境の場合、吸音壁などにより通常の部屋より残響が少ないため、第１音源から視聴位置に到達する音の直接音比率が高く、その結果、第２音源との間で直接、間接音比率による距離感制御が困難な場合がある。本発明ではこのような特殊な環境においても、充分な効果を再現するために、第１音源が放音する音声信号に残響成分を付加し、その付加量を映像の座標情報に従って増減することができる。
【００１４】
この構成においては、第１音源が放音する音声信号に残響成分を付加することで、たとえ残響が少ない環境においても視聴者に第１音源からの間接音の比率が高くなったように聴かせることができる。視聴者は、第１音源から間接音の比率が高い（ような）音が聞こえると、残響を付加しない場合より遠くから音が放音されたように感じるため、第２音源との間に距離感の差を再現することができる。ここで付加される残響成分の量は次のように決定すればよい。予め部屋の残響時間を測定しておき、その残響時間が予め決定された時間に対して少ない場合は、残響付加量を増やし、残響時間が大きい場合は残響付加量を減らすようにする。このように残響測定値に従って第１音源に付加する残響量を決定すると、異なる環境においても一定の効果を再現することができる。また、残響付加量を測定値等により決定される適性量より多く付加することで、第１音源の距離感を意図的に大きくして、立体映像の座標がＴＶ画面の奥行き方向にある場合にも、その距離感を立体映像に応じて再現し、音源定位位置制御をより効果的にすることもできる。立体映像が同時に奥行き効果と飛び出し効果を伴っている場合は、奥行き方向を第１音源に残響を付加することで表現しつつ、同時に飛び出し方向の定位を第２音源で表現する。この場合は残響付加により視聴者に聞こえる第１音源の直接音と間接音の比率が変わるため、残響付加量に応じて第１音源と第２音源の間のゲイン比率を変動させる（残響付加量が多くなると、同じ定位位置での第２音源のゲイン比率を大きくする。残響付加量が少なくなると、同じ定位位置での第１音源のゲイン比率を大きくする。）ことで立体映像の座標位置に正しく定位を保つことができる。
【００１５】
すなわち、立体映像によっては、背景は奥行き方向に拡がり、人物など強調したい映像部分は逆に飛び出しているような表現があるが、このような場合は、奥行きを表現するために第１音源に残響を付加し、かつ飛び出しを表現するために第２音源へのゲインを上げる必要がある。このとき、固定の距離−音源間ゲイン比率を使用していると、残響付加により、第１音源の直接−間接音比率が変わり、算出された映像の位置に正しく定位させることができなくなる。そのため、音像制御手段は残響成分量に応じて距離−音源間ゲイン比率を可変させることで、常時正しい音声定位位置を保つように動作させることができる。具体的には、残響付加量が多くなるにつれて、同じ定位位置における第２音源のゲイン比率を上げ、逆に残響付加量が少なくなるにつれて、同じ定位位置における第２音源のゲイン比率を下げるとよい。
【００１６】
また、この発明の音響再生装置では、音像制御手段は、映像に対応する音声信号における所定帯域の周波数特性の変化を抑制するように、第１音源と第２音源の音声信号の周波数特性を調整することもできる。
【００１７】
音響効果の手法の１つに、音像が遠くから近づいてくる状態を表現するために、音像の音声の高域成分を徐々に増加させ、音像が遠くに離れてゆく状態を表現するために、音像の音声の高域成分を徐々に減少させる手法がある。一方、この発明の音響再生装置は、視聴位置の周囲に第１音源を配置し、該第１音源よりも視聴位置の近くに第２音源を配置させ、座標情報に応じて、第１音源と第２音源の音声信号のゲインを調整することにより、音像を実際に移動させる。そのため、３Ｄコンテンツの音声信号自体に上記の音響効果が付加されていると、実際に視聴位置近傍で再生する第２音源からの音声にとっては高域成分が過剰となり、視聴に適さない音質となる可能性がある。そこで、本発明では、映像の前後座標に応じて、前記音響効果を抑制することで、第２音源から再生される音声の品質を確保する。つまり、映像が視聴位置に近づくにつれて第１音源と第２音源の音声信号における所定帯域の周波数成分、例えば高域成分を減少させ、また、映像が視聴位置から遠ざかるにつれて第１音源と第２音源の音声信号における所定帯域の周波数成分、例えば高域成分を回復させる。これにより、映像が視聴位置方向に飛び出す効果を強調する音響効果がコンテンツ側に施されていても第２音源から再生される音声の品質を適正にすることができる。
【発明の効果】
【００１８】
この発明によれば、従来のサラウンドシステムに対して、視聴位置直近傍に追加した音源から、映像の視聴環境における座標情報に応じた音声を出力することによって、より臨場感の高い音場を再現することができる。
【図面の簡単な説明】
【００１９】
【図１】図１（Ａ）は、従来のオーディオ用アンプに接続するスピーカの配置図であり、図１（Ｂ）は、従来のオーディオ用アンプに接続するスピーカを室内に設置し、視聴者の近くに音源を定位させる場合を説明するための図である。
【図２】本発明の第１実施形態に係る音響再生装置を備えた３Ｄシステムの概略構成を示すブロック図である。
【図３】図３は、モニタの画面に表示する映像と視聴者が知覚する立体映像の関係を示す図である。図３（Ａ）は、立体映像をモニタの画面より奥に知覚する場合、図３（Ｂ）は立体映像をモニタの画面上に知覚する場合、図３（Ｃ）は、立体映像をモニタの画面よりも手前に知覚する場合である。
【図４】図４は、視聴者とモニタの映像と立体映像の距離関係を示すＸＹ平面図である。図４（Ａ）は、立体映像がモニタの画面より奥に位置する場合、図３（Ｂ）は立体映像がモニタの画面上に位置する場合、図３（Ｃ）は、立体映像がモニタの画面よりも手前に位置する場合である。
【図５】図５は、音像の定位位置を説明するための図である。図５（Ａ）は視聴位置に音像が定位する場合、図５（Ｂ）はアタッチスピーカとサラウンドスピーカの間に音像が定位する場合、図５（Ｃ）は、サラウンドスピーカ（Ｃｃｈ）の位置に音像が定位する場合、図５（Ｄ）は、サラウンドスピーカ（Ｃｃｈ）の背後に音像が定位する場合、図５（Ｅ）は、複数のスピーカにより音像を定位する場合である。
【図６】プレゼンススピーカを室内に設置した状態を示す図である。
【図７】音源の距離に応じた周波数特性を示すグラフである。
【図８】第２実施形態に係る音響再生装置を備えた３Ｄシステムの概略構成を示すブロック図である。
【図９】スピーカアレイの音声ビームの放音状態を示す図である。
【発明を実施するための形態】
【００２０】
以下、音響再生装置の詳細について説明する。
【００２１】
［第１実施形態］
図２は、本発明の第１実施形態に係る音響再生装置を備えた３Ｄシステムの概略構成を示すブロック図である。図２に示すように、３Ｄシステム１は、映像再生装置２と音響再生装置３を備えている。映像再生装置２は、コンテンツ信号受信部２１、コンテンツ再生部２２、映像処理部２３、映像信号出力部２５、及び音声信号出力部２６を備えている。
【００２２】
音響再生装置３は、映像信号入力部３１、映像処理部３２（座標情報取得手段に相当）、音声信号入力部３３、音像処理部３４、第１音源信号出力部３５、第２音源信号出力部３６、及び映像信号出力部３７を備えている。音像処理部３４は、ミックスレベル算出部（音像制御手段に相当）３４１、波形調整部（供給手段に相当）３４３、波形調整部（供給手段に相当）３４５、残響付加部３４７、及び監視部３４８を備えている。映像信号出力部３７には、モニタ（表示装置に相当）３８が接続されている。第１音源信号出力部３５には一例として、５つのスピーカ４１〜４５が接続されている。各スピーカ４１〜４５は、放音手段（第１スピーカ）に相当し、以下の説明では、Ｌ（前方左）ｃｈスピーカ４１、Ｃ（前方中）ｃｈスピーカ４２、Ｒ（前方右）ｃｈスピーカ４３、ＳＬ（後方左）ｃｈスピーカ４４、及びＳＲ（後方右）ｃｈスピーカ４５と称する。また、以下の説明では、Ｌｃｈスピーカ４１、Ｃｃｈスピーカ４２、Ｒｃｈスピーカ４３、ＳＬｃｈスピーカ４４、及びＳＲｃｈスピーカ４５をまとめてサラウンドスピーカ４０と称する。図２には、サラウンドスピーカ４０を、ＩＴＵ−Ｒ ＢＳ．７７５−１に基づいて配置し、Ｌｃｈスピーカ４１、Ｃｃｈスピーカ４２、Ｒｃｈスピーカ４３の付近にモニタ３８を配置した例を示している。なお、５．１ｃｈサラウンドシステムにおいては、サブウーファを設置するが、以下の説明ではサブウーファの音声信号の処理については説明を省略する。
【００２３】
第２音源信号出力部３６にはアタッチスピーカ４７が接続されている。アタッチスピーカ４７は、放音手段（第２スピーカ）に相当し、第２音源信号出力部３６が出力した音声を放音する。
【００２４】
第１実施形態では、視聴者Ｕの近傍に本発明の第２音源を定位するために、視聴者Ｕの直近にアタッチスピーカ４７を設置（配置）している。また、視聴者Ｕの周囲に第１音源を定位させるために、サラウンドスピーカ４０を設置（配置）し、サラウンドスピーカ４０とアタッチスピーカ４７の間の任意の位置に立体映像に対応する音像を定位させる。音響再生装置３の音像処理部３４は、映像処理部３２が出力した立体映像の３次元座標情報に基づいて、サラウンドスピーカ４０とアタッチスピーカ４７に出力する音声信号の比率（ミックスレベル）を算出し、このミックスレベルに基づいて、サラウンドスピーカ４０とアタッチスピーカ４７に出力する音声信号の振幅（ゲイン）を調整する。そして、音像処理部３４は、第１音源信号出力部３５と第２音源信号出力部３６に音声信号を出力し、サラウンドスピーカ４０とアタッチスピーカ４７から放音させる。
【００２５】
映像再生装置２は、３Ｄコンテンツの映像信号と音声信号を音響再生装置３に出力する。この例においては、映像再生装置２のコンテンツ信号受信部２１は、放送波を受信して、３Ｄコンテンツの映像信号を映像処理部２３に出力し、３Ｄコンテンツの音声信号を音声信号出力部２６に出力する。
【００２６】
コンテンツ再生部２２は、不図示の記憶メディアを再生して３Ｄコンテンツの映像信号を映像処理部２３に出力し、３Ｄコンテンツの音声信号を音声信号出力部２６に出力する。
【００２７】
映像処理部２３は、コンテンツ信号受信部２１またはコンテンツ再生部２２から入力された３Ｄコンテンツの映像信号を、映像信号出力部２５に出力する。映像信号出力部２５は、３Ｄコンテンツの映像信号を音響再生装置３に出力し、音声信号出力部２６は３Ｄコンテンツの複数チャンネルの音声信号を音響再生装置３に出力する。
【００２８】
音響再生装置３の映像信号入力部３１は、入力された３Ｄコンテンツの映像信号を、映像処理部３２と映像信号出力部３７に出力する。映像処理部３２は、入力された映像信号を解析して、視聴位置９０に対する立体映像の３次元座標を取得して音像処理部３４に出力する。映像信号出力部３７は、映像信号入力部３１から入力された映像信号をモニタ３８に出力する。モニタ３８は、３Ｄコンテンツの立体映像を表示する。
【００２９】
映像再生装置２は、例えば、視差（左右の映像のずれ）を設けた２つの映像を特殊なメガネにより視聴者の左目と右目で別々に見えるように作成された３Ｄコンテンツの映像を再生することで、この映像を視聴者に立体的な映像と知覚させている。
【００３０】
音響再生装置３の映像処理部３２は、立体映像に対応する位置に音像を定位させるために、３Ｄコンテンツの左目用の映像（以下、左映像と称する。）と右目用の映像（以下、右映像と称する。）とのずれを解析して、立体映像がどれくらい画面から飛び出しているか（引っ込んでいるか）、またその立体映像が画面上の左右上下のどこに位置するかを示す座標を算出する。
【００３１】
図３は、モニタの画面に表示する映像と視聴者が知覚する立体映像の関係を示す図である。図３（Ａ）は、立体映像をモニタの画面よりも奥に知覚する場合、図３（Ｂ）は立体映像をモニタの画面上に知覚する場合、図３（Ｃ）は、立体映像をモニタの画面よりも手前に知覚する場合である。
【００３２】
人間の目には左右の視差（両眼視差）があり、左目と右目とでは物体を見る位置が異なるため見え方が異なっており、人間の脳は、視線が交差したところに立体的な物体が存在していると知覚する。また、人間は視差が大きいほど物体が近くに存在し、視差が小さいほど物体が遠くに存在していると知覚する。３Ｄコンテンツは、このような人間の特性を応用したものであり、視差（左右の映像のずれ）を設けた２つの映像を、例えば特殊なメガネにより左目と右目で別々に見えるようにすることで、この映像を視聴者に立体的な映像として知覚させる。また、３Ｄコンテンツでは、左映像と右映像との違い（視差）を変えることで、画面から立体映像が飛び出したり引っ込んだりしていると知覚させる。
【００３３】
図３（Ａ）に示すように、左映像１３１Ｌをモニタ３８の左側にずらして表示し、右映像１３１Ｒをモニタ３８の右側にずらして表示すると、視線が交差する場所が画面よりも奥になるので、視聴者Ｕは立体映像１３１が画面の奥に引っ込んだように知覚する。また、図３（Ｂ）に示すように、左映像１３２Ｌと右映像１３２Ｒとをモニタ３８の同じ位置にずれなしに表示すると、視線が交差する場所が画面上になるので、視聴者Ｕは立体映像１３２が画面と同じ位置にあるように知覚する。また、図３（Ｃ）に示すように、左映像１３３Ｌをモニタ３８の右側にずらして表示し、右映像１３３Ｒをモニタ３８の左側にずらして表示すると、視線が交差する場所が画面よりも手前になるので、視聴者Ｕは立体映像１３３が画面の手前に飛び出したように知覚する。
【００３４】
このように、視聴者Ｕは、左映像と右映像との違い（視差）によって立体映像の位置を異なって知覚するので、モニタ３８の画面に垂直な方向において、視差と立体映像の位置には比例関係が成り立つ。そこで、映像処理部３２は、３Ｄコンテンツの左映像と右映像とにおける立体映像のずれ（視差）と、そのずれが発生している画面上の位置を解析して、画面に対する立体映像の位置、すなわち立体映像の視聴位置９０に対する３次元座標を算出して、音像処理部３４に出力する。立体映像の座標は、例えば以下のようにして算出する。
【００３５】
図４は、視聴者とモニタの映像と立体映像の距離関係を示すＸＹ平面図である。図４（Ａ）は、立体映像がモニタの画面より奥に位置する場合、図４（Ｂ）は立体映像がモニタの画面上に位置する場合、図４（Ｃ）は、立体映像がモニタの画面よりも手前に位置する場合である。図４において、視聴者Ｕの視聴位置９０（両目の中点）を原点Ｏ（０，０）とし、視聴者Ｕの視聴位置９０（原点Ｏ）からモニタ３８の画面までのＹ軸方向の距離をＬｓ、視聴者Ｕの視聴位置９０（原点Ｏ）から立体映像１３１までのＹ軸方向の距離をＬｄとする。
【００３６】
例えば、左映像１３１Ｌと右映像１３１Ｒの一致点の座標の差を算出することで視差の値がわかる。図４（Ａ）に示すように、立体映像（同図では一例として立方体）１３１がモニタ３８の画面よりも奥の点Ｐ（０，Ｌｄ）に位置する場合、この点Ｐは、左映像１３１Ｌでは一致点ＰＬ（ｘＬ，Ｌｓ）、右映像１３１Ｒでは一致点ＰＲ（ｘＲ，Ｌｓ）である。この場合、映像処理部３２は、例えば左映像１３１Ｌと右映像１３１Ｒに対してテンプレートマッチングを行って、２つの映像における物体の一致点を求める。例えば、左映像を任意の数のブロックに区切り、このブロックをテンプレートとみなして、テンプレートに類似したブロックを右映像から１画素ずつずらしながら探し出す。左映像と右映像には視差があるので、まったく同一にはならず、実際にはテンプレートと最も類似したブロックを探し出すことになる。映像処理部３２は、右映像において、左映像のテンプレートとの相関値が最大となるブロックを一致点と判定する。
【００３７】
なお、上記のように相関を求める場合、図４（Ａ）と図４（Ｃ）に示すように、左映像に対する右映像の一致点のずれがプラスの値の場合には、立体映像はモニタの画面より奥に位置し、ずれがマイナスの値の場合には、立体映像はモニタの画面よりも手前に位置する。
【００３８】
映像処理部３２は、左映像１３１Ｌの点ＰＬと右映像１３１Ｒの点ＰＲを一致点と判定すると、点ＰＬと点ＰＲのずれ、すなわち視差を用いて、立体映像１３１の座標、すなわち、視聴位置９０から立体映像１３１までの距離を、そして一致点のブロックの位置から、立体映像の画面平面上での位置座標を算出する。
【００３９】
映像処理部３２は、例えば、視聴位置９０から立体映像１３１までの距離（Ｙ軸方向の座標）を以下のようにして算出する。図４（Ａ）に示すように、視聴者の左目ＵＬと右目ＵＲの距離をＥ、モニタ３８の画面上に表示される左映像１３１Ｌと右映像１３１Ｒとのずれ（視差）をＤ（＝ｘＲ−ｘＬ）とすると、以下の比例関係が成り立つので式１が得られる。
【００４０】
Ｌｄ：（Ｌｄ−Ｌｓ）＝Ｅ：Ｄ
Ｌｄ＝Ｙｐ＝（Ｅ／Ｅ−Ｄ）Ｌｓ …（式１）
同様に、図４（Ｂ）、図４（Ｃ）に示す立体映像１３２，１３３についても比例関係が成り立つので、式１により立体映像１３１までの距離を算出できる。
【００４１】
なお、式１の定数Ｅは、人の一般的な両目の距離を予め音響再生装置３に入力しておくとよい。また、式１の定数Ｌｓは、視聴位置９０に応じて予め音響再生装置３に入力しておくとよい。
【００４２】
また、定数（Ｅ、Ｌｓ）を用いた式１の計算を行わなくても、左映像３８Ｌと右映像３８Ｒの視差Ｄ（＝ｘＲ−ｘＬ）から立体映像の定位位置を推定して、視差Ｄをそのまま座標に対応させてもよい。例えば、Ｄ＝３（ｃｍ）でＬｄ＝１（ｍ）等としておく。
【００４３】
なお、上記の説明では、モニタ３８の画面に対して前後方向（Ｙ軸方向：奥向き方向及び飛び出し方向）について、立体映像の座標を算出する場合について説明したが、モニタ３８の画面に対して上下方向（Ｚ軸方向）や左右方向（Ｘ軸方向）についても同様に立体映像の座標を算出できる。
【００４４】
図２に示した音響再生装置３のミックスレベル算出部３４１は、映像処理部３２が出力した立体映像の視聴位置９０に対する３次元位置情報に基づいて、サラウンドスピーカ４０とアタッチスピーカ４７に出力する音声信号の配分（ミックスレベル情報）を算出する。そして、ミックスレベル算出部３４１は、波形調整部３４３と波形調整部３４５にミックスレベル情報を出力する。ミックスレベル情報は、立体映像に対応する位置に音像を定位させるために、サラウンドスピーカ４０とアタッチスピーカ４７とに分配する同じソースの音声信号のゲイン比率に関する情報と、ソースがどのチャンネルの音声信号であるかを示す情報を含む。立体映像の座標Ｐが、例えば画面真正面のＣｃｈスピーカ４２とアタッチスピーカ４７の中間にある場合には、この立体映像に対応する音声信号（この場合Ｃｃｈの音声信号）がＣｃｈスピーカ４２とアタッチスピーカ４７から座標位置に応じたゲイン配分で再生される。また、立体映像の座標Ｐが画面上の左側で画面と視聴位置の間にある場合には、例えばＬｃｈスピーカ４１とＣｃｈスピーカ４２とアタッチスピーカ４７から座標位置に応じたゲイン配分で再生される。
【００４５】
なお、上記のゲイン配分方法は、立体映像の座標Ｐがサラウンドスピーカ４０とアタッチスピーカ４７の間にあることを前提としているが、アタッチスピーカの位置によっては、算出した座標がアタッチスピーカより、視聴位置に近い場合も考えられる。この場合はアタッチスピーカの位置を限度としてアタッチスピーカを最大音量とてしてもよい。また、実際の座標をアタッチスピーカとサラウンドスピーカの距離で表現できるようにスケーリングしてもよい。つまり、座標位置を必ずアタッチスピーカとサラウンドスピーカの間にくるようにスケーリング（変換）する。例えば、算出された座標位置が画面と視聴者の中間にある場合は、サラウンドスピーカとアタッチスピーカの中間に定位するようにする。
【００４６】
波形調整部３４３は、入力されたミックスレベル情報に基づいて、音声信号入力部３３から入力されたＬｃｈ、Ｃｃｈ、Ｒｃｈ、ＳＬｃｈ、及びＳＲｃｈの音声信号から立体映像に対応する音声信号を選択し、選択した音声信号のゲインを調整して第１音源信号出力部３５に出力する。
【００４７】
波形調整部３４５も、波形調整部３４３と同様に、入力されたミックスレベル情報に基づいて、立体映像に対応する音声信号（波形調整部３４３が選択したのと同じ音声信号）を選択し、選択した音声信号のゲインを調整して第２音源信号出力部３６に出力する。
【００４８】
また、波形調整部３４３と波形調整部３４５は、サラウンドスピーカ４０から放音する音声とアタッチスピーカ４７から放音する音声とが同じタイミングで視聴位置９０に到達するように位相調整（遅延量の調整）を行う。
【００４９】
例えば、Ｃｃｈスピーカ４２とアタッチスピーカ４７の間に音像を定位する場合、波形調整部３４３と波形調整部３４５は以下の処理を行う。図２に示したように、アタッチスピーカ４７は視聴者Ｕの直近に設置され、Ｃｃｈスピーカ４２はモニタ３８の近傍に設置されているので、波形調整部３４５は、例えば、アタッチスピーカ４７の放音タイミングを、Ｃｃｈスピーカ４２の放音タイミングに対して、モニタ３８から視聴位置までの距離（例えば、１〜２ｍ）を音声が伝搬する時間だけ遅延させる。これにより、視聴位置９０にほぼ同時に音声が伝搬するように調整できる。なお、視聴位置９０に対するＣｃｈスピーカ４２とアタッチスピーカ４７の距離を予め測定しておき、波形調整部３４３と波形調整部３４５は、この距離に応じて両スピーカの放音タイミングを調整することで、より正確に視聴位置９０に同時に音声を伝搬させることができる。これにより、サラウンドスピーカ４０とアタッチスピーカ４７から放音した音声信号が、視聴位置９０において打ち消し合うのを防止できる。
【００５０】
残響付加部３４７は、算出された立体映像の座標が画面の奥行き方向に位置している場合に、その距離Ｌｄに応じた量の残響成分をサラウンドスピーカ４０に付加し、奥行き方向を表現する。これは、人は音声に残響（リバーブ）が付加されると、音声の間接音比率が高くなるため、実際のスピーカの位置よりも遠くから聞こえる音と知覚する現象を利用している。また、残響付加部３４７は、スピーカを設置した部屋の残響が著しく少なかったり、アタッチスピーカとサラウンドスピーカの設置位置が近接していたりするような、スピーカ間の直接音−間接音比率の差が少なく奥行き方向の定位の表現が困難である場合にも、設置環境に拠らず一定の効果が出せるように、直接音、間接音比率の差をつけるための残響付加も行う。この場合の残響付加量は予め設置した部屋の残響特性を測定した結果により決定される。
【００５１】
立体映像によっては、背景は奥行き方向に拡がり、人物など強調したい映像部分は逆に飛び出しているような表現があるが、このような場合は、奥行きを表現するためにサラウンドスピーカ４０に残響を付加し、かつ飛び出しを表現するためにアタッチスピーカへのゲインを上げなくてはいけない。このとき、固定の距離−音源間ゲイン比率を使用していると、残響付加により、サラウンドスピーカ４０の直接−間接音比率が変わり、算出された立体映像の位置に正しく定位させることができなくなるので、ミックスレベル算出部３４１は音声信号に付加する残響成分量に応じて前記距離−音源間ゲイン比率を変動させることで常時正しい音声定位位置を保つように動作する。具体的には付加する残響成分量が多くなるにつれて、同じ定位位置におけるアタッチスピーカのゲイン比率を上げ、逆に付加する残響成分量が少なくなるにつれて、同じ定位位置におけるアタッチスピーカのゲイン比率を下げる。
【００５２】
図５は、音像の定位位置を説明するための図である。図５（Ａ）は視聴位置に音像が定位する場合、図５（Ｂ）はアタッチスピーカとサラウンドスピーカの間に音像が定位する場合、図５（Ｃ）は、サラウンドスピーカ（Ｃｃｈ）の位置に音像が定位する場合、図５（Ｄ）は、サラウンドスピーカ（Ｃｃｈ）の背後に音像が定位する場合、図５（Ｅ）は、複数のスピーカにより音像を定位する場合である。図６は、プレゼンススピーカを室内に設置した状態を示す図である。以下の説明では、図４（Ａ）と同様に視聴位置を原点Ｏとする。
【００５３】
（１）図５（Ａ）に示すように、立体映像の座標Ｐが原点Ｏ（Ｌｄ＝０）の場合、波形調整部３４３と波形調整部３４５は立体映像に対応する音声信号のゲインを調整して、アタッチスピーカ４７からのみ放音し、Ｃｃｈスピーカ４２から音声を放音しないように設定する。この時アタッチスピーカは視聴者直近に設置されているため、アタッチスピーカから知覚される音声は主に直接音となり、当然ながらその結果、視聴者直近から聞こえるものと知覚される。
【００５４】
（２）図５（Ｂ）に示すように、立体映像の座標Ｐが原点ＯとＣｃｈスピーカ４２との間（０＜Ｌｄ＜Ｌｓ）の場合、波形調整部３４３と波形調整部３４５は立体映像に対応する音声信号のゲインを調整して、アタッチスピーカ４７とＣｃｈスピーカ４２から放音する音声の音量を調整することで、視聴者が中点５５の位置に音声定位を知覚する直接音−間接音比率を持つ音声を再生することができる。
【００５５】
（３）図５（Ｃ）に示すように、立体映像の座標ＰがＣｃｈスピーカ４２の放音面（Ｌｄ＝Ｌｓ）の場合、波形調整部３４３と波形調整部３４５は立体映像に対応する音声信号のゲインを調整して、アタッチスピーカ４７から音声を放音しないように設定し、Ｃｃｈスピーカ４からのみ音声を再生する。したがって、視聴者Ｕは、Ｃｃｈスピーカ４２からの音声が持つ直接音−間接音比率で決まる距離感を知覚することになる。
【００５６】
（４）図５（Ｄ）に示すように、立体映像の座標ＰがＣｃｈスピーカ４２の背後にある（Ｌｄ＞Ｌｓ）場合、（３）と同様にＣｃｈスピーカ４単独、またはＣｃｈを含む複数個のサラウンドスピーカを使用して再生し、同時に画面から座標Ｐまでの距離に応じた残響成分を残響付加部３４７によりサラウンドスピーカ音声に付加する。また、画面から座標Ｐまでの距離（立体映像の座標情報）に応じて、残響付加部３４７によりサラウンドスピーカ音声に付加する残響成分を増減する。これにより、視聴者Ｕは画面の奥行きに拡がった音場を知覚する。
【００５７】
このように、アタッチスピーカ４７の音量の変化と、サラウンドスピーカ４０に付加する残響量を変化させることで、アタッチスピーカ４７とサラウンドスピーカ４０との音声のバランスが変化し、視聴者Ｕに聞こえる音の直接音と間接音の比率が変わる。人は、直接音と間接音の比率や周波数特性や位相差などにより音像の定位感を感じるが、本発明では、直接音と間接音の比率を制御して主に音像の距離感を調整している。これにより、モニタ３８の画面から飛び出したり、引っ込んだりして移動する立体映像に追従して音像を移動させることができる。
【００５８】
以上の説明では、主にＣｃｈスピーカ４２とアタッチスピーカ４７のみを使い音像を定位させた場合について説明したが、実際のコンテンツではＣｃｈと相関性が高い音声が他のチャンネル（例えばＬ／Ｒｃｈ）にも含まれていることが多いため、Ｃｃｈだけを取り出して本発明の効果を適用すると音質的に違和感を生じる可能性がある。このため、実際にはＣｃｈを含む複数チャンネルを選択して再生することもできる。さらに、本発明では立体映像の画面上での左右の位置によってサラウンドスピーカ４０とアタッチスピーカ４７の各チャンネルの音声ゲインを調整することによって、真正面以外の位置に音像を定位させることもできる。
【００５９】
例えば、立体映像の画面上での左右の位置に応じて、Ｌｃｈスピーカ４１とＳＬｃｈスピーカ４４とアタッチスピーカ４７の音声ゲインを調整して放音することで、図５（Ｅ）に示すように、Ｌｃｈスピーカ４１とＳＬｃｈスピーカ４４とアタッチスピーカ４７を結ぶ線により形成された三角形の領域に音像５７を定位させることができる。
【００６０】
また、図６に示すように、視聴位置９０の前左右上方にプレゼンス左チャンネル（ＰＬｃｈ）用のスピーカ５１と、プレゼンス右チャンネル（ＰＲｃｈ）用のスピーカ５２を設置する。そして、立体映像の画面上での上下の位置に応じて、例えば、Ｒｃｈスピーカ４３とＰＲｃｈスピーカ５２とアタッチスピーカ４７の音声ゲインを調整して放音することで、部屋９１の上下方向にも音像を定位させることができる。すなわち、図６に示すように、Ｒｃｈスピーカ４３とＰＲｃｈスピーカ５２とアタッチスピーカ４７を結ぶ線により形成された三角形の領域に音像５８を定位させることができる。
【００６１】
また、音像処理部３４では、監視部３４８により、映像処理部３２による立体映像の視聴位置９０に対する座標の移動を監視する。監視部３４８は、波形調整部３４３，３４５に制御信号を出力させて、立体映像の座標情報と、アタッチスピーカの設置位置に応じて、アタッチスピーカ４７の音声信号の周波数特性を調整する。
【００６２】
図７は、音源の距離に応じた周波数特性を示すグラフである。音響効果の手法の１つに、音像が遠くから近づいてくる状態を表現するために、音像の音声の高域成分を徐々に増加させ、音像が近くから遠くに離れていく状態を表現するために、音像の音声の高域成分を徐々に減少させる手法がある。この手法は、図７に示すように、例えば低域から高域まで一定レベルの音を放音すると、音源が視聴位置の近くにある場合には、音の高域成分に減衰なく到達するが、音源視聴位置から遠くへ離れていくにつれて、音の高域成分が減衰していく現象を模擬したものである。この手法を以下、接離効果と称する。一般的な音響再生装置では、上記のような接離効果が付加された音声信号を再生することで、視聴者に音像の接離を体感させることができる。
【００６３】
一方、本発明の音響再生装置３は、音像を実際に接離させることができる。そのため、３Ｄコンテンツの音声信号に接離効果が予め付加されていると、アタッチスピーカからそのまま再生すると、視聴者にとって音質的に高域成分が過剰になり、快適な視聴を阻害したり、音響再生装置３が意図する立体映像の定位位置に音像を正確に定位させることができなかったりする可能性がある。そこで、本発明では、監視部３４８により映像処理部３２による立体映像の視聴位置９０に対する座標の移動を監視し、座標の移動とアタッチスピーカの設置位置（視聴者からの距離）に応じて周波数特性を調整して、高域成分の過剰さや接離効果を抑制する。つまり、立体映像が画面から手前に移動する場合には視聴位置に近づくほど音声信号の高域成分の減少量を増加させ、立体映像が手前から画面方向に移動する場合には遠くなるにつれて音声信号の高域成分を増加させ、Ｃｃｈスピーカの位置で完全に元の周波数特性に回復させるようにする。また、立体映像が画面より奥にある場合は、上記周波数特性の調整は行わない。
【００６４】
ここまで言及してきたアタッチスピーカ４７は、必ずしも全周波数帯域が再生できるスピーカでなくても良い。視聴者Ｕが音像の定位や音像の移動を知覚できる周波数帯域の音声を放音できるもの、例えば、最低共振周波数ｆ０が５００Ｈｚ以上の小型のアタッチスピーカを用いても良い。このような小型のアタッチスピーカであれば設置位置や方法の自由度が高く、例えば３Ｄ映像を見るために使用するメガネに取り付けるといったことが可能となり、視聴者Ｕの耳の近傍にスピーカを配置できるので、直接音の比率が非常に高い音声を視聴者に聞かせることができ本発明の効果を最大化することができる。
【００６５】
［第２実施形態］
次に、本発明の第２実施形態に係る音響再生装置について説明する。図８は、第２実施形態に係る音響再生装置を備えた３Ｄシステムの概略構成を示すブロック図である。図９は、スピーカアレイの音声ビームの放音状態を示す図である。以下の説明では、第１実施形態と同様の構成には同じ符号を付して説明を省略する。
【００６６】
図８に示す３Ｄシステム６は、映像再生装置２と、音響再生装置８を備えている。３Ｄシステム６では、図１に示した３Ｄシステム１と異なり、音響再生装置３のアタッチスピーカ４７を視聴位置９０の直近に設置せずに、スピーカアレイ４９により視聴位置９０の直近の点５０で焦点を結ぶ音声ビーム（第２音源の音声信号）を放音させている。他の構成は３Ｄシステム１と同様であり、サラウンドスピーカ４０から第１音源の音声信号を放音させて、視聴位置９０の任意の位置に音像を定位（配置）させる。スピーカアレイ４９は、一例として部屋９１のモニタ３８の近傍（部屋９１の前側）に設置している。スピーカアレイ４９は、複数のスピーカユニット４９−１〜４９−Ｎが所定の配列で配置されている。
【００６７】
音響再生装置８は、音響再生装置３の構成を一部変更しており、音像処理部３４Ｂにおいて、波形調整部３４５の後段に位相調整部３４９を備えている。位相調整部３４９は、信号処理手段に相当し、図９に示すように、スピーカアレイ４９の各スピーカユニット４９−１〜４９−Ｎに出力する音声信号（第２音源の音声信号）の遅延量を調整して、スピーカアレイ４９により視聴位置９０の直近（例えば前方）の点５０で焦点を結ぶ音声ビームを放音させる。視聴者Ｕは、スピーカアレイ４９から上記のような音声ビームが放音されると、音源（第２音源）が点５０付近に定位していると知覚する。これは、スピーカアレイと同じ位置にある信号処理や、特殊な構造による指向性制御を行わないスピーカからの音声と比較して、音声ビームはその鋭い指向性によって直接音の比率が高くなるからである。そのため、視聴者Ｕはスピーカアレイが設置されている場所より近くに音源があるかのような印象を受ける。これにより、アタッチスピーカを視聴位置９０の直近に設置しなくてもよくなり、構成、配置の自由度や、利便性を高めることができる。また前記と同様な効果をスピーカアレイ以外の方法で実現しても良い。アタッチスピーカは指向性制御を行わない通常のスピーカより、直接音比率が高い音声が出力できればよいので、例えば、超音波を使用するパラメトリックアレイスピーカや、直進性が高い音を再生できる平面バッフルスピーカなどを使用しても良い。
【００６８】
以上のように、本発明では、視聴位置９０の周囲（視聴位置９０から離れた位置）に複数のスピーカ（サラウンドスピーカ４０）を配置することで、これらのスピーカが放音した音は視聴位置では間接音の比率が高くなるので、視聴者に遠くから聞こえる音と知覚させることができる。また、視聴者Ｕの視聴位置９０の直近にアタッチスピーカ４７を配置することで、このスピーカが放音した音は、視聴位置では直接音の比率が高くなるので、視聴者に近くから聞こえる音と知覚させることができる。また、第２音源を視聴位置の直近に配置させれば、第２音源から放音される音は視聴者にはほとんど直接音として聞こえるので、視聴者の視聴位置に音源を定位させることができる。したがって、サラウンドスピーカとアタッチスピーカのミックスレベルを調整することで、任意の位置に音像を定位することができる。
【００６９】
なお、第１実施形態においては、視聴者Ｕの視聴位置９０の周囲に５つのサラウンドスピーカ４０を配置している例を示したが、これに限るものではなく、他の方式を用いることも可能である。例えば、サラウンドスピーカに代えてスピーカアレイを設置し、スピーカアレイに５チャンネルの音声信号を入力し、各スピーカユニットの放音タイミングを制御して、５つの音声ビームを生成し、部屋の壁に音声ビームを反射させることで、視聴位置９０の周囲に、５つのスピーカを配置したのと同様の音場を生成することができる。したがって、アタッチスピーカを視聴位置９０の直近に設置し、スピーカアレイによりサラウンドスピーカ４０を模擬した音声を放音する構成とすることも可能である。
【００７０】
また、２つのスピーカアレイを視聴位置９０の周囲に設置し、一方のスピーカアレイに、視聴位置９０の直近に焦点を結ぶ音声ビームを放音させて、アタッチスピーカを模擬し、他方のスピーカアレイに、サラウンドスピーカ４０を模擬した音声を放音する構成とすることも可能である。
【００７１】
なお、図２には視聴者Ｕの前方（直近）に１つのアタッチスピーカを配置した例を示したが、本発明はこれに限るものではない。例えば視聴者Ｕの前方または側方に２つのアタッチスピーカを配置し、ステレオ音声を放音するように設定してもよいし、正中面方向の音声に対して定位の前後を誤判定し易い人間の聴覚の特性を利用して、視聴者の頭部直近後方のソファや、映画館の座席のヘッドレストにアタッチスピーカを設置しても良い。
【００７２】
いずれの場合も、アタッチスピーカとサラウンドスピーカの音量バランスを調整することで、視聴者の周囲の任意の位置に音像を定位させることができる。
【００７３】
また、図８には、視聴者Ｕの前方（直近）に１つの音声ビームが焦点を結ぶ例を示したが、本発明はこれに限るものではなく、例えばスピーカアレイが２つの音声ビーム（ステレオ音声ビーム）を出力（放音）し、視聴者Ｕの前方の左右でそれぞれ焦点を結ぶように設定してもよい。このようにすることで、２つのアタッチスピーカを配置した場合と同様の効果が得られる。
【００７４】
なお、以上の説明では、音響再生装置３は、映像再生装置が出力した映像信号を解析して、映像の座標を算出する構成を説明したが、例えばコンテンツの信号ストリームに予め書き込まれた映像の座標情報を用いるなど音響再生装置３の外部から映像の座標情報を与えても良い。その場合は映像信号を解析することなく、この座標情報に基づいてミックスレベルを算出するように構成するとよい。これにより、音響再生装置３の構成を簡略化できる。また、座標情報は、必ずしも３Ｄコンテンツから取得しなくてもよい。例えば、２Ｄコンテンツを再生装置によって３Ｄ映像に変換した後の映像データを使ってもよいし、２Ｄ映像の画像の時系列相関の解析や、画像と音声／音量変化の連動の解析から３次元座標を予想して作成された座標情報を使用してもよい。
【００７５】
具体的には、２Ｄ画像から動きのある物体の座標を取得するためには、以下のような方法が考えられる。時系列相関の解析により、時間軸上の連続したフレーム中からある物体像を抽出し、次フレームで（相似図形で）像が大きくなっている物体は近づいていると推測する。また、背景と注目物体の大きさの関連（遠近法）から座標情報（の変化）を取得したり、霧の中から近づいてくるときに輪郭が次第にはっきりすることを利用したりするなどすればよい。前述の例では、抽出したある物体が近づく／遠ざかる、の相対関係が主に抽出される。絶対的な距離は、その映像が室内シーンなのか屋外なのか、などシーン判別の手法を用いて算出できる絶対的な距離を概算すると、上記遠近移動を組み合わせて判断することも可能である。また、上記映像上で大きくなる物体が、近づいてくるのか、風船を膨らませているときのように物体自体が膨張しているのか、判別がつきにくい場合も考えられる。そのような場合は音声信号を援用してもよい。例えば物体の見かけ（画角）上の寸法が大きくなるに従い音量が大きくなるような音声信号成分があれば、その物体は近づいていると判断する。あるいは後述のようにマルチチャンネル信号の音像のパンニング状況も勘案して判断することも可能である。また、近年デジタルカメラなどで頻用されている顔検出を利用して、顔の部位間の距離（例えば目の間隔）の変化などで前後移動を推定するなどの方法も考えられる。
【００７６】
また、必ずしも画像処理を用いないでもソースの音源から音像の座標情報を抽出することにより本発明を実施することも可能である。コンテンツの音声トラック内でも音像移動を意図して５．１ｃｈや７．１ｃｈなど複数の音声チャンネルを用いてミキシングされたものがある。例えば頭上（真上）を通過するヘリコプタなどの音源が前後に移動する場合を考える。このとき、最初は音像の持つ信号（モノラル）をセンタスピーカのみから放音し、次にセンタ＋Ｌ・Ｒ同音量に振り分け、次にＬ・Ｒ同音量＋ＳＲ・ＳＬ同音量（このとき前後の音量比で前後の音像移動をする）、次にＳＲ＋ＳＬ同音量、（バックスピーカがあればさらにこの後バックに音量を振り分ける）のようにして前方から後方に向けての音像の移動を感じさせる。このようなソースの場合、音響再生装置では、逆にミキシングされた音声トラックを解析して、同相（モノラル）成分がどのようにチャンネルに振り分けられているか解析することで製作者の意図する音像の移動を推測することができる。さらに、［発明が解決しようとする課題］で述べたような距離感と音に関する人間の知覚の習性を利用して、コンテンツ製作者が距離感を感じさせるための表現として、直接音と間接音の比率を変えることが通常行われている。前記と同様、音声トラックから直接音と間接音の比率を算出し、算出値から製作者の意図する音像の座標を推測することができる。これらを用いて音像の位置情報を得て本発明の音像移動に利用することができる。
【００７７】
以上のように、音像の座標情報は種々の方法によって取得することができ、いずれの方法をとってもよいし、複数の方法を組み合わせて座標情報取得精度を向上することも考えられる。
【符号の説明】
【００７８】
１，６…３Ｄシステム ２…映像再生装置 ３，８…音響再生装置 ２１…コンテンツ信号受信部 ２２…コンテンツ再生部 ２３…映像処理部 ２５…映像信号出力部 ２６…音声信号出力部 ３１…映像信号入力部 ３２…映像処理部 ３３…音声信号入力部 ３４…音像処理部 ３５…第１音源信号出力部 ３６…第２音源信号出力部 ３７…映像信号出力部 ３７…映像信号出力部 ３８…モニタ ４１…Ｌｃｈスピーカ ４２…Ｃｃｈスピーカ ４３…Ｒｃｈスピーカ ４４…ＳＬｃｈスピーカ ４５…ＳＲｃｈスピーカ ４７…アタッチスピーカ
【技術分野】
【０００１】
この発明は、任意の位置に音像を定位させる音響再生装置に関する。
【背景技術】
【０００２】
従来、図１（Ａ）に示すように、視聴者Ｕの周囲に設置した５つのスピーカＬ，Ｃ，Ｒ，ＳＬ，ＳＲからオーディオ信号に基づく音声を放音することで、聴取者の周囲に音像を定位させる立体音像制御装置があった（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−４４７９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
図１（Ｂ）に示すように、視聴者Ｕは通常、オーディオ用アンプに接続した５つのスピーカＬ，Ｃ，Ｒ，ＳＬ，ＳＲを部屋Ｒの壁Ｋの近くに設置することが多い。そして、視聴者Ｕは一般的にスピーカから一定距離離れた場所で視聴するため、視聴者Ｕはスピーカからの直接音だけでなく部屋の天井、床、壁面からの反射音（間接音）も同時に聞いている。一般に人間は音源までの距離を、直接音と間接音の音量比を主な手がかりとして判断しているから、各スピーカから音声を放音したときは、視聴者Ｕは音源までの距離としてスピーカまでの実距離を感じている。
【０００５】
そのため、図１（Ｂ）に示したように、５つのスピーカＬ，Ｃ，Ｒ，ＳＬ，ＳＲにより囲まれた領域Ｔの内側（例えば、視聴者Ｕの左前方）に音源が定位するように、従来のオーディオ用アンプで音源Ｓを模擬しようとしても、視聴者Ｕには実際にその位置に音源が置かれた時の直接音と間接音の比率を再現することができない。そのため、視聴者Ｕにあたかもその場所に音源があるような距離感に知覚させることは困難であった。
【０００６】
そこで、本発明は、視聴者の周囲における任意の位置に音像を定位することができる音響再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
この発明の音響再生装置は、座標情報取得手段と、放音手段と、供給手段と、音像制御手段と、を備えている。座標情報取得手段は、表示装置が表示する映像の視聴環境における座標情報を取得する。放音手段は、視聴位置の周囲に第１音源を配置し、第２音源を第１音源よりも視聴位置の近くに配置する。供給手段は、映像に対応する音声信号を第１音源と第２音源に供給し、これにより、第１音源と第２音源から同じ音声を放音させる。音像制御手段は、座標情報に応じて第１音源と第２音源に供給する音声信号のゲイン比率を調整する。
【０００８】
音響再生装置を、例えば立方体型の室内に設置して視聴者の視聴位置を部屋の中央に設定した場合、第２音源は第１音源よりも視聴位置の近傍に設置する。直接音の音圧が距離の逆二乗に反比例して急激に減衰するのに対し、間接音の音圧は音源からの距離が変わってもそれほど音量が変化しない。したがって、視聴者は、これを手がかりに第１音源が放音した音を間接音の比率が高い音、すなわち遠くから聞こえる音と知覚する。一方、第２音源から視聴者までの距離は、第１音源から視聴者までの距離より小さいので、聴こえる音量のうち直接音の占める比率が第１音源からの場合より大きくなる。そこで、視聴位置にいる視聴者は、第２音源が放音した音を、直接音の比率が高い音、すなわち近くから聞こえる音と知覚する。したがって、第１音源と第２音源から同じ音声を放音させ、両音声信号のゲインを調整することで、視聴位置において視聴者に聞こえる直接音と間接音の比率を調整でき、第１音源と第２音源の間における任意の距離の位置に音像を定位させることができる。例えば、第２音源を視聴位置の直近とすれば、第２音源から放音される音は視聴者にはほとんど直接音として聞こえるので、視聴者の視聴位置の直近にも音源を定位させることができる。
【０００９】
第１音源と第２音源は、具体的には以下のようにして実現することができる。例えば、第１スピーカと第２スピーカを放音手段が備える構成とし、第１スピーカに第１音源の音声信号を放音させ、第２スピーカを第１スピーカよりも視聴位置の近くに設置して第２音源の音声信号を放音させることで実現できる。
【００１０】
本発明の構成は、実際には、例えば５．１サラウンドシステムのような形態において、従来の５．１チャンネルに相当する６個のスピーカを上記第１スピーカとし、この構成にあらたに追加するスピーカを視聴者近傍設置用として上記第２スピーカとすることで実現できる。この第２スピーカの形態として１個または複数個のスピーカを視聴者正面に設置する、または視聴者の背後、例えばソファのヘッドレスト部に設置したり、立体映像を見る際に使用するメガネを構成するフレームに設置するなどが考えられる。このような構成により視聴者の実際に耳の近傍に音源を設置することができ、第１スピーカとの間で直接音と間接音との比率を制御することができる。
【００１１】
また、第１音源と第２音源は、以下のようにして実現することもできる。例えば、放音手段が、スピーカアレイと信号処理手段を組み合わせた指向性制御スピーカと、前記信号処理や、特殊構造による指向性制御をしない通常のスピーカを備える構成とする。
【００１２】
この構成においては、第２音源の音声信号をスピーカアレイにより音声ビーム化して放音させるので、指向性制御をしないスピーカと比較して、視聴位置での直接音比率を上げることができる。このため実際に視聴位置の近くにスピーカを設置することなく第２音源を視聴位置近傍に定位させることができる。これにより、第１音源スピーカと同じ位置に第２音源スピーカを設置できたり、第１音源スピーカと第２音源スピーカを一体化したりするなど、設置位置や構成の自由度を高めることができる。また、前記構成において、指向性制御スピーカとしてスピーカアレイではなく、例えば平面スピーカなど構造的に指向性を制御しているようなスピーカを使用しても良い。
【００１３】
また、前記構成のスピーカを設置する環境の中には、スタジオなど部屋自体の音響が意図的にコントロールされている場合がある。このような環境の場合、吸音壁などにより通常の部屋より残響が少ないため、第１音源から視聴位置に到達する音の直接音比率が高く、その結果、第２音源との間で直接、間接音比率による距離感制御が困難な場合がある。本発明ではこのような特殊な環境においても、充分な効果を再現するために、第１音源が放音する音声信号に残響成分を付加し、その付加量を映像の座標情報に従って増減することができる。
【００１４】
この構成においては、第１音源が放音する音声信号に残響成分を付加することで、たとえ残響が少ない環境においても視聴者に第１音源からの間接音の比率が高くなったように聴かせることができる。視聴者は、第１音源から間接音の比率が高い（ような）音が聞こえると、残響を付加しない場合より遠くから音が放音されたように感じるため、第２音源との間に距離感の差を再現することができる。ここで付加される残響成分の量は次のように決定すればよい。予め部屋の残響時間を測定しておき、その残響時間が予め決定された時間に対して少ない場合は、残響付加量を増やし、残響時間が大きい場合は残響付加量を減らすようにする。このように残響測定値に従って第１音源に付加する残響量を決定すると、異なる環境においても一定の効果を再現することができる。また、残響付加量を測定値等により決定される適性量より多く付加することで、第１音源の距離感を意図的に大きくして、立体映像の座標がＴＶ画面の奥行き方向にある場合にも、その距離感を立体映像に応じて再現し、音源定位位置制御をより効果的にすることもできる。立体映像が同時に奥行き効果と飛び出し効果を伴っている場合は、奥行き方向を第１音源に残響を付加することで表現しつつ、同時に飛び出し方向の定位を第２音源で表現する。この場合は残響付加により視聴者に聞こえる第１音源の直接音と間接音の比率が変わるため、残響付加量に応じて第１音源と第２音源の間のゲイン比率を変動させる（残響付加量が多くなると、同じ定位位置での第２音源のゲイン比率を大きくする。残響付加量が少なくなると、同じ定位位置での第１音源のゲイン比率を大きくする。）ことで立体映像の座標位置に正しく定位を保つことができる。
【００１５】
すなわち、立体映像によっては、背景は奥行き方向に拡がり、人物など強調したい映像部分は逆に飛び出しているような表現があるが、このような場合は、奥行きを表現するために第１音源に残響を付加し、かつ飛び出しを表現するために第２音源へのゲインを上げる必要がある。このとき、固定の距離−音源間ゲイン比率を使用していると、残響付加により、第１音源の直接−間接音比率が変わり、算出された映像の位置に正しく定位させることができなくなる。そのため、音像制御手段は残響成分量に応じて距離−音源間ゲイン比率を可変させることで、常時正しい音声定位位置を保つように動作させることができる。具体的には、残響付加量が多くなるにつれて、同じ定位位置における第２音源のゲイン比率を上げ、逆に残響付加量が少なくなるにつれて、同じ定位位置における第２音源のゲイン比率を下げるとよい。
【００１６】
また、この発明の音響再生装置では、音像制御手段は、映像に対応する音声信号における所定帯域の周波数特性の変化を抑制するように、第１音源と第２音源の音声信号の周波数特性を調整することもできる。
【００１７】
音響効果の手法の１つに、音像が遠くから近づいてくる状態を表現するために、音像の音声の高域成分を徐々に増加させ、音像が遠くに離れてゆく状態を表現するために、音像の音声の高域成分を徐々に減少させる手法がある。一方、この発明の音響再生装置は、視聴位置の周囲に第１音源を配置し、該第１音源よりも視聴位置の近くに第２音源を配置させ、座標情報に応じて、第１音源と第２音源の音声信号のゲインを調整することにより、音像を実際に移動させる。そのため、３Ｄコンテンツの音声信号自体に上記の音響効果が付加されていると、実際に視聴位置近傍で再生する第２音源からの音声にとっては高域成分が過剰となり、視聴に適さない音質となる可能性がある。そこで、本発明では、映像の前後座標に応じて、前記音響効果を抑制することで、第２音源から再生される音声の品質を確保する。つまり、映像が視聴位置に近づくにつれて第１音源と第２音源の音声信号における所定帯域の周波数成分、例えば高域成分を減少させ、また、映像が視聴位置から遠ざかるにつれて第１音源と第２音源の音声信号における所定帯域の周波数成分、例えば高域成分を回復させる。これにより、映像が視聴位置方向に飛び出す効果を強調する音響効果がコンテンツ側に施されていても第２音源から再生される音声の品質を適正にすることができる。
【発明の効果】
【００１８】
この発明によれば、従来のサラウンドシステムに対して、視聴位置直近傍に追加した音源から、映像の視聴環境における座標情報に応じた音声を出力することによって、より臨場感の高い音場を再現することができる。
【図面の簡単な説明】
【００１９】
【図１】図１（Ａ）は、従来のオーディオ用アンプに接続するスピーカの配置図であり、図１（Ｂ）は、従来のオーディオ用アンプに接続するスピーカを室内に設置し、視聴者の近くに音源を定位させる場合を説明するための図である。
【図２】本発明の第１実施形態に係る音響再生装置を備えた３Ｄシステムの概略構成を示すブロック図である。
【図３】図３は、モニタの画面に表示する映像と視聴者が知覚する立体映像の関係を示す図である。図３（Ａ）は、立体映像をモニタの画面より奥に知覚する場合、図３（Ｂ）は立体映像をモニタの画面上に知覚する場合、図３（Ｃ）は、立体映像をモニタの画面よりも手前に知覚する場合である。
【図４】図４は、視聴者とモニタの映像と立体映像の距離関係を示すＸＹ平面図である。図４（Ａ）は、立体映像がモニタの画面より奥に位置する場合、図３（Ｂ）は立体映像がモニタの画面上に位置する場合、図３（Ｃ）は、立体映像がモニタの画面よりも手前に位置する場合である。
【図５】図５は、音像の定位位置を説明するための図である。図５（Ａ）は視聴位置に音像が定位する場合、図５（Ｂ）はアタッチスピーカとサラウンドスピーカの間に音像が定位する場合、図５（Ｃ）は、サラウンドスピーカ（Ｃｃｈ）の位置に音像が定位する場合、図５（Ｄ）は、サラウンドスピーカ（Ｃｃｈ）の背後に音像が定位する場合、図５（Ｅ）は、複数のスピーカにより音像を定位する場合である。
【図６】プレゼンススピーカを室内に設置した状態を示す図である。
【図７】音源の距離に応じた周波数特性を示すグラフである。
【図８】第２実施形態に係る音響再生装置を備えた３Ｄシステムの概略構成を示すブロック図である。
【図９】スピーカアレイの音声ビームの放音状態を示す図である。
【発明を実施するための形態】
【００２０】
以下、音響再生装置の詳細について説明する。
【００２１】
［第１実施形態］
図２は、本発明の第１実施形態に係る音響再生装置を備えた３Ｄシステムの概略構成を示すブロック図である。図２に示すように、３Ｄシステム１は、映像再生装置２と音響再生装置３を備えている。映像再生装置２は、コンテンツ信号受信部２１、コンテンツ再生部２２、映像処理部２３、映像信号出力部２５、及び音声信号出力部２６を備えている。
【００２２】
音響再生装置３は、映像信号入力部３１、映像処理部３２（座標情報取得手段に相当）、音声信号入力部３３、音像処理部３４、第１音源信号出力部３５、第２音源信号出力部３６、及び映像信号出力部３７を備えている。音像処理部３４は、ミックスレベル算出部（音像制御手段に相当）３４１、波形調整部（供給手段に相当）３４３、波形調整部（供給手段に相当）３４５、残響付加部３４７、及び監視部３４８を備えている。映像信号出力部３７には、モニタ（表示装置に相当）３８が接続されている。第１音源信号出力部３５には一例として、５つのスピーカ４１〜４５が接続されている。各スピーカ４１〜４５は、放音手段（第１スピーカ）に相当し、以下の説明では、Ｌ（前方左）ｃｈスピーカ４１、Ｃ（前方中）ｃｈスピーカ４２、Ｒ（前方右）ｃｈスピーカ４３、ＳＬ（後方左）ｃｈスピーカ４４、及びＳＲ（後方右）ｃｈスピーカ４５と称する。また、以下の説明では、Ｌｃｈスピーカ４１、Ｃｃｈスピーカ４２、Ｒｃｈスピーカ４３、ＳＬｃｈスピーカ４４、及びＳＲｃｈスピーカ４５をまとめてサラウンドスピーカ４０と称する。図２には、サラウンドスピーカ４０を、ＩＴＵ−Ｒ ＢＳ．７７５−１に基づいて配置し、Ｌｃｈスピーカ４１、Ｃｃｈスピーカ４２、Ｒｃｈスピーカ４３の付近にモニタ３８を配置した例を示している。なお、５．１ｃｈサラウンドシステムにおいては、サブウーファを設置するが、以下の説明ではサブウーファの音声信号の処理については説明を省略する。
【００２３】
第２音源信号出力部３６にはアタッチスピーカ４７が接続されている。アタッチスピーカ４７は、放音手段（第２スピーカ）に相当し、第２音源信号出力部３６が出力した音声を放音する。
【００２４】
第１実施形態では、視聴者Ｕの近傍に本発明の第２音源を定位するために、視聴者Ｕの直近にアタッチスピーカ４７を設置（配置）している。また、視聴者Ｕの周囲に第１音源を定位させるために、サラウンドスピーカ４０を設置（配置）し、サラウンドスピーカ４０とアタッチスピーカ４７の間の任意の位置に立体映像に対応する音像を定位させる。音響再生装置３の音像処理部３４は、映像処理部３２が出力した立体映像の３次元座標情報に基づいて、サラウンドスピーカ４０とアタッチスピーカ４７に出力する音声信号の比率（ミックスレベル）を算出し、このミックスレベルに基づいて、サラウンドスピーカ４０とアタッチスピーカ４７に出力する音声信号の振幅（ゲイン）を調整する。そして、音像処理部３４は、第１音源信号出力部３５と第２音源信号出力部３６に音声信号を出力し、サラウンドスピーカ４０とアタッチスピーカ４７から放音させる。
【００２５】
映像再生装置２は、３Ｄコンテンツの映像信号と音声信号を音響再生装置３に出力する。この例においては、映像再生装置２のコンテンツ信号受信部２１は、放送波を受信して、３Ｄコンテンツの映像信号を映像処理部２３に出力し、３Ｄコンテンツの音声信号を音声信号出力部２６に出力する。
【００２６】
コンテンツ再生部２２は、不図示の記憶メディアを再生して３Ｄコンテンツの映像信号を映像処理部２３に出力し、３Ｄコンテンツの音声信号を音声信号出力部２６に出力する。
【００２７】
映像処理部２３は、コンテンツ信号受信部２１またはコンテンツ再生部２２から入力された３Ｄコンテンツの映像信号を、映像信号出力部２５に出力する。映像信号出力部２５は、３Ｄコンテンツの映像信号を音響再生装置３に出力し、音声信号出力部２６は３Ｄコンテンツの複数チャンネルの音声信号を音響再生装置３に出力する。
【００２８】
音響再生装置３の映像信号入力部３１は、入力された３Ｄコンテンツの映像信号を、映像処理部３２と映像信号出力部３７に出力する。映像処理部３２は、入力された映像信号を解析して、視聴位置９０に対する立体映像の３次元座標を取得して音像処理部３４に出力する。映像信号出力部３７は、映像信号入力部３１から入力された映像信号をモニタ３８に出力する。モニタ３８は、３Ｄコンテンツの立体映像を表示する。
【００２９】
映像再生装置２は、例えば、視差（左右の映像のずれ）を設けた２つの映像を特殊なメガネにより視聴者の左目と右目で別々に見えるように作成された３Ｄコンテンツの映像を再生することで、この映像を視聴者に立体的な映像と知覚させている。
【００３０】
音響再生装置３の映像処理部３２は、立体映像に対応する位置に音像を定位させるために、３Ｄコンテンツの左目用の映像（以下、左映像と称する。）と右目用の映像（以下、右映像と称する。）とのずれを解析して、立体映像がどれくらい画面から飛び出しているか（引っ込んでいるか）、またその立体映像が画面上の左右上下のどこに位置するかを示す座標を算出する。
【００３１】
図３は、モニタの画面に表示する映像と視聴者が知覚する立体映像の関係を示す図である。図３（Ａ）は、立体映像をモニタの画面よりも奥に知覚する場合、図３（Ｂ）は立体映像をモニタの画面上に知覚する場合、図３（Ｃ）は、立体映像をモニタの画面よりも手前に知覚する場合である。
【００３２】
人間の目には左右の視差（両眼視差）があり、左目と右目とでは物体を見る位置が異なるため見え方が異なっており、人間の脳は、視線が交差したところに立体的な物体が存在していると知覚する。また、人間は視差が大きいほど物体が近くに存在し、視差が小さいほど物体が遠くに存在していると知覚する。３Ｄコンテンツは、このような人間の特性を応用したものであり、視差（左右の映像のずれ）を設けた２つの映像を、例えば特殊なメガネにより左目と右目で別々に見えるようにすることで、この映像を視聴者に立体的な映像として知覚させる。また、３Ｄコンテンツでは、左映像と右映像との違い（視差）を変えることで、画面から立体映像が飛び出したり引っ込んだりしていると知覚させる。
【００３３】
図３（Ａ）に示すように、左映像１３１Ｌをモニタ３８の左側にずらして表示し、右映像１３１Ｒをモニタ３８の右側にずらして表示すると、視線が交差する場所が画面よりも奥になるので、視聴者Ｕは立体映像１３１が画面の奥に引っ込んだように知覚する。また、図３（Ｂ）に示すように、左映像１３２Ｌと右映像１３２Ｒとをモニタ３８の同じ位置にずれなしに表示すると、視線が交差する場所が画面上になるので、視聴者Ｕは立体映像１３２が画面と同じ位置にあるように知覚する。また、図３（Ｃ）に示すように、左映像１３３Ｌをモニタ３８の右側にずらして表示し、右映像１３３Ｒをモニタ３８の左側にずらして表示すると、視線が交差する場所が画面よりも手前になるので、視聴者Ｕは立体映像１３３が画面の手前に飛び出したように知覚する。
【００３４】
このように、視聴者Ｕは、左映像と右映像との違い（視差）によって立体映像の位置を異なって知覚するので、モニタ３８の画面に垂直な方向において、視差と立体映像の位置には比例関係が成り立つ。そこで、映像処理部３２は、３Ｄコンテンツの左映像と右映像とにおける立体映像のずれ（視差）と、そのずれが発生している画面上の位置を解析して、画面に対する立体映像の位置、すなわち立体映像の視聴位置９０に対する３次元座標を算出して、音像処理部３４に出力する。立体映像の座標は、例えば以下のようにして算出する。
【００３５】
図４は、視聴者とモニタの映像と立体映像の距離関係を示すＸＹ平面図である。図４（Ａ）は、立体映像がモニタの画面より奥に位置する場合、図４（Ｂ）は立体映像がモニタの画面上に位置する場合、図４（Ｃ）は、立体映像がモニタの画面よりも手前に位置する場合である。図４において、視聴者Ｕの視聴位置９０（両目の中点）を原点Ｏ（０，０）とし、視聴者Ｕの視聴位置９０（原点Ｏ）からモニタ３８の画面までのＹ軸方向の距離をＬｓ、視聴者Ｕの視聴位置９０（原点Ｏ）から立体映像１３１までのＹ軸方向の距離をＬｄとする。
【００３６】
例えば、左映像１３１Ｌと右映像１３１Ｒの一致点の座標の差を算出することで視差の値がわかる。図４（Ａ）に示すように、立体映像（同図では一例として立方体）１３１がモニタ３８の画面よりも奥の点Ｐ（０，Ｌｄ）に位置する場合、この点Ｐは、左映像１３１Ｌでは一致点ＰＬ（ｘＬ，Ｌｓ）、右映像１３１Ｒでは一致点ＰＲ（ｘＲ，Ｌｓ）である。この場合、映像処理部３２は、例えば左映像１３１Ｌと右映像１３１Ｒに対してテンプレートマッチングを行って、２つの映像における物体の一致点を求める。例えば、左映像を任意の数のブロックに区切り、このブロックをテンプレートとみなして、テンプレートに類似したブロックを右映像から１画素ずつずらしながら探し出す。左映像と右映像には視差があるので、まったく同一にはならず、実際にはテンプレートと最も類似したブロックを探し出すことになる。映像処理部３２は、右映像において、左映像のテンプレートとの相関値が最大となるブロックを一致点と判定する。
【００３７】
なお、上記のように相関を求める場合、図４（Ａ）と図４（Ｃ）に示すように、左映像に対する右映像の一致点のずれがプラスの値の場合には、立体映像はモニタの画面より奥に位置し、ずれがマイナスの値の場合には、立体映像はモニタの画面よりも手前に位置する。
【００３８】
映像処理部３２は、左映像１３１Ｌの点ＰＬと右映像１３１Ｒの点ＰＲを一致点と判定すると、点ＰＬと点ＰＲのずれ、すなわち視差を用いて、立体映像１３１の座標、すなわち、視聴位置９０から立体映像１３１までの距離を、そして一致点のブロックの位置から、立体映像の画面平面上での位置座標を算出する。
【００３９】
映像処理部３２は、例えば、視聴位置９０から立体映像１３１までの距離（Ｙ軸方向の座標）を以下のようにして算出する。図４（Ａ）に示すように、視聴者の左目ＵＬと右目ＵＲの距離をＥ、モニタ３８の画面上に表示される左映像１３１Ｌと右映像１３１Ｒとのずれ（視差）をＤ（＝ｘＲ−ｘＬ）とすると、以下の比例関係が成り立つので式１が得られる。
【００４０】
Ｌｄ：（Ｌｄ−Ｌｓ）＝Ｅ：Ｄ
Ｌｄ＝Ｙｐ＝（Ｅ／Ｅ−Ｄ）Ｌｓ …（式１）
同様に、図４（Ｂ）、図４（Ｃ）に示す立体映像１３２，１３３についても比例関係が成り立つので、式１により立体映像１３１までの距離を算出できる。
【００４１】
なお、式１の定数Ｅは、人の一般的な両目の距離を予め音響再生装置３に入力しておくとよい。また、式１の定数Ｌｓは、視聴位置９０に応じて予め音響再生装置３に入力しておくとよい。
【００４２】
また、定数（Ｅ、Ｌｓ）を用いた式１の計算を行わなくても、左映像３８Ｌと右映像３８Ｒの視差Ｄ（＝ｘＲ−ｘＬ）から立体映像の定位位置を推定して、視差Ｄをそのまま座標に対応させてもよい。例えば、Ｄ＝３（ｃｍ）でＬｄ＝１（ｍ）等としておく。
【００４３】
なお、上記の説明では、モニタ３８の画面に対して前後方向（Ｙ軸方向：奥向き方向及び飛び出し方向）について、立体映像の座標を算出する場合について説明したが、モニタ３８の画面に対して上下方向（Ｚ軸方向）や左右方向（Ｘ軸方向）についても同様に立体映像の座標を算出できる。
【００４４】
図２に示した音響再生装置３のミックスレベル算出部３４１は、映像処理部３２が出力した立体映像の視聴位置９０に対する３次元位置情報に基づいて、サラウンドスピーカ４０とアタッチスピーカ４７に出力する音声信号の配分（ミックスレベル情報）を算出する。そして、ミックスレベル算出部３４１は、波形調整部３４３と波形調整部３４５にミックスレベル情報を出力する。ミックスレベル情報は、立体映像に対応する位置に音像を定位させるために、サラウンドスピーカ４０とアタッチスピーカ４７とに分配する同じソースの音声信号のゲイン比率に関する情報と、ソースがどのチャンネルの音声信号であるかを示す情報を含む。立体映像の座標Ｐが、例えば画面真正面のＣｃｈスピーカ４２とアタッチスピーカ４７の中間にある場合には、この立体映像に対応する音声信号（この場合Ｃｃｈの音声信号）がＣｃｈスピーカ４２とアタッチスピーカ４７から座標位置に応じたゲイン配分で再生される。また、立体映像の座標Ｐが画面上の左側で画面と視聴位置の間にある場合には、例えばＬｃｈスピーカ４１とＣｃｈスピーカ４２とアタッチスピーカ４７から座標位置に応じたゲイン配分で再生される。
【００４５】
なお、上記のゲイン配分方法は、立体映像の座標Ｐがサラウンドスピーカ４０とアタッチスピーカ４７の間にあることを前提としているが、アタッチスピーカの位置によっては、算出した座標がアタッチスピーカより、視聴位置に近い場合も考えられる。この場合はアタッチスピーカの位置を限度としてアタッチスピーカを最大音量とてしてもよい。また、実際の座標をアタッチスピーカとサラウンドスピーカの距離で表現できるようにスケーリングしてもよい。つまり、座標位置を必ずアタッチスピーカとサラウンドスピーカの間にくるようにスケーリング（変換）する。例えば、算出された座標位置が画面と視聴者の中間にある場合は、サラウンドスピーカとアタッチスピーカの中間に定位するようにする。
【００４６】
波形調整部３４３は、入力されたミックスレベル情報に基づいて、音声信号入力部３３から入力されたＬｃｈ、Ｃｃｈ、Ｒｃｈ、ＳＬｃｈ、及びＳＲｃｈの音声信号から立体映像に対応する音声信号を選択し、選択した音声信号のゲインを調整して第１音源信号出力部３５に出力する。
【００４７】
波形調整部３４５も、波形調整部３４３と同様に、入力されたミックスレベル情報に基づいて、立体映像に対応する音声信号（波形調整部３４３が選択したのと同じ音声信号）を選択し、選択した音声信号のゲインを調整して第２音源信号出力部３６に出力する。
【００４８】
また、波形調整部３４３と波形調整部３４５は、サラウンドスピーカ４０から放音する音声とアタッチスピーカ４７から放音する音声とが同じタイミングで視聴位置９０に到達するように位相調整（遅延量の調整）を行う。
【００４９】
例えば、Ｃｃｈスピーカ４２とアタッチスピーカ４７の間に音像を定位する場合、波形調整部３４３と波形調整部３４５は以下の処理を行う。図２に示したように、アタッチスピーカ４７は視聴者Ｕの直近に設置され、Ｃｃｈスピーカ４２はモニタ３８の近傍に設置されているので、波形調整部３４５は、例えば、アタッチスピーカ４７の放音タイミングを、Ｃｃｈスピーカ４２の放音タイミングに対して、モニタ３８から視聴位置までの距離（例えば、１〜２ｍ）を音声が伝搬する時間だけ遅延させる。これにより、視聴位置９０にほぼ同時に音声が伝搬するように調整できる。なお、視聴位置９０に対するＣｃｈスピーカ４２とアタッチスピーカ４７の距離を予め測定しておき、波形調整部３４３と波形調整部３４５は、この距離に応じて両スピーカの放音タイミングを調整することで、より正確に視聴位置９０に同時に音声を伝搬させることができる。これにより、サラウンドスピーカ４０とアタッチスピーカ４７から放音した音声信号が、視聴位置９０において打ち消し合うのを防止できる。
【００５０】
残響付加部３４７は、算出された立体映像の座標が画面の奥行き方向に位置している場合に、その距離Ｌｄに応じた量の残響成分をサラウンドスピーカ４０に付加し、奥行き方向を表現する。これは、人は音声に残響（リバーブ）が付加されると、音声の間接音比率が高くなるため、実際のスピーカの位置よりも遠くから聞こえる音と知覚する現象を利用している。また、残響付加部３４７は、スピーカを設置した部屋の残響が著しく少なかったり、アタッチスピーカとサラウンドスピーカの設置位置が近接していたりするような、スピーカ間の直接音−間接音比率の差が少なく奥行き方向の定位の表現が困難である場合にも、設置環境に拠らず一定の効果が出せるように、直接音、間接音比率の差をつけるための残響付加も行う。この場合の残響付加量は予め設置した部屋の残響特性を測定した結果により決定される。
【００５１】
立体映像によっては、背景は奥行き方向に拡がり、人物など強調したい映像部分は逆に飛び出しているような表現があるが、このような場合は、奥行きを表現するためにサラウンドスピーカ４０に残響を付加し、かつ飛び出しを表現するためにアタッチスピーカへのゲインを上げなくてはいけない。このとき、固定の距離−音源間ゲイン比率を使用していると、残響付加により、サラウンドスピーカ４０の直接−間接音比率が変わり、算出された立体映像の位置に正しく定位させることができなくなるので、ミックスレベル算出部３４１は音声信号に付加する残響成分量に応じて前記距離−音源間ゲイン比率を変動させることで常時正しい音声定位位置を保つように動作する。具体的には付加する残響成分量が多くなるにつれて、同じ定位位置におけるアタッチスピーカのゲイン比率を上げ、逆に付加する残響成分量が少なくなるにつれて、同じ定位位置におけるアタッチスピーカのゲイン比率を下げる。
【００５２】
図５は、音像の定位位置を説明するための図である。図５（Ａ）は視聴位置に音像が定位する場合、図５（Ｂ）はアタッチスピーカとサラウンドスピーカの間に音像が定位する場合、図５（Ｃ）は、サラウンドスピーカ（Ｃｃｈ）の位置に音像が定位する場合、図５（Ｄ）は、サラウンドスピーカ（Ｃｃｈ）の背後に音像が定位する場合、図５（Ｅ）は、複数のスピーカにより音像を定位する場合である。図６は、プレゼンススピーカを室内に設置した状態を示す図である。以下の説明では、図４（Ａ）と同様に視聴位置を原点Ｏとする。
【００５３】
（１）図５（Ａ）に示すように、立体映像の座標Ｐが原点Ｏ（Ｌｄ＝０）の場合、波形調整部３４３と波形調整部３４５は立体映像に対応する音声信号のゲインを調整して、アタッチスピーカ４７からのみ放音し、Ｃｃｈスピーカ４２から音声を放音しないように設定する。この時アタッチスピーカは視聴者直近に設置されているため、アタッチスピーカから知覚される音声は主に直接音となり、当然ながらその結果、視聴者直近から聞こえるものと知覚される。
【００５４】
（２）図５（Ｂ）に示すように、立体映像の座標Ｐが原点ＯとＣｃｈスピーカ４２との間（０＜Ｌｄ＜Ｌｓ）の場合、波形調整部３４３と波形調整部３４５は立体映像に対応する音声信号のゲインを調整して、アタッチスピーカ４７とＣｃｈスピーカ４２から放音する音声の音量を調整することで、視聴者が中点５５の位置に音声定位を知覚する直接音−間接音比率を持つ音声を再生することができる。
【００５５】
（３）図５（Ｃ）に示すように、立体映像の座標ＰがＣｃｈスピーカ４２の放音面（Ｌｄ＝Ｌｓ）の場合、波形調整部３４３と波形調整部３４５は立体映像に対応する音声信号のゲインを調整して、アタッチスピーカ４７から音声を放音しないように設定し、Ｃｃｈスピーカ４からのみ音声を再生する。したがって、視聴者Ｕは、Ｃｃｈスピーカ４２からの音声が持つ直接音−間接音比率で決まる距離感を知覚することになる。
【００５６】
（４）図５（Ｄ）に示すように、立体映像の座標ＰがＣｃｈスピーカ４２の背後にある（Ｌｄ＞Ｌｓ）場合、（３）と同様にＣｃｈスピーカ４単独、またはＣｃｈを含む複数個のサラウンドスピーカを使用して再生し、同時に画面から座標Ｐまでの距離に応じた残響成分を残響付加部３４７によりサラウンドスピーカ音声に付加する。また、画面から座標Ｐまでの距離（立体映像の座標情報）に応じて、残響付加部３４７によりサラウンドスピーカ音声に付加する残響成分を増減する。これにより、視聴者Ｕは画面の奥行きに拡がった音場を知覚する。
【００５７】
このように、アタッチスピーカ４７の音量の変化と、サラウンドスピーカ４０に付加する残響量を変化させることで、アタッチスピーカ４７とサラウンドスピーカ４０との音声のバランスが変化し、視聴者Ｕに聞こえる音の直接音と間接音の比率が変わる。人は、直接音と間接音の比率や周波数特性や位相差などにより音像の定位感を感じるが、本発明では、直接音と間接音の比率を制御して主に音像の距離感を調整している。これにより、モニタ３８の画面から飛び出したり、引っ込んだりして移動する立体映像に追従して音像を移動させることができる。
【００５８】
以上の説明では、主にＣｃｈスピーカ４２とアタッチスピーカ４７のみを使い音像を定位させた場合について説明したが、実際のコンテンツではＣｃｈと相関性が高い音声が他のチャンネル（例えばＬ／Ｒｃｈ）にも含まれていることが多いため、Ｃｃｈだけを取り出して本発明の効果を適用すると音質的に違和感を生じる可能性がある。このため、実際にはＣｃｈを含む複数チャンネルを選択して再生することもできる。さらに、本発明では立体映像の画面上での左右の位置によってサラウンドスピーカ４０とアタッチスピーカ４７の各チャンネルの音声ゲインを調整することによって、真正面以外の位置に音像を定位させることもできる。
【００５９】
例えば、立体映像の画面上での左右の位置に応じて、Ｌｃｈスピーカ４１とＳＬｃｈスピーカ４４とアタッチスピーカ４７の音声ゲインを調整して放音することで、図５（Ｅ）に示すように、Ｌｃｈスピーカ４１とＳＬｃｈスピーカ４４とアタッチスピーカ４７を結ぶ線により形成された三角形の領域に音像５７を定位させることができる。
【００６０】
また、図６に示すように、視聴位置９０の前左右上方にプレゼンス左チャンネル（ＰＬｃｈ）用のスピーカ５１と、プレゼンス右チャンネル（ＰＲｃｈ）用のスピーカ５２を設置する。そして、立体映像の画面上での上下の位置に応じて、例えば、Ｒｃｈスピーカ４３とＰＲｃｈスピーカ５２とアタッチスピーカ４７の音声ゲインを調整して放音することで、部屋９１の上下方向にも音像を定位させることができる。すなわち、図６に示すように、Ｒｃｈスピーカ４３とＰＲｃｈスピーカ５２とアタッチスピーカ４７を結ぶ線により形成された三角形の領域に音像５８を定位させることができる。
【００６１】
また、音像処理部３４では、監視部３４８により、映像処理部３２による立体映像の視聴位置９０に対する座標の移動を監視する。監視部３４８は、波形調整部３４３，３４５に制御信号を出力させて、立体映像の座標情報と、アタッチスピーカの設置位置に応じて、アタッチスピーカ４７の音声信号の周波数特性を調整する。
【００６２】
図７は、音源の距離に応じた周波数特性を示すグラフである。音響効果の手法の１つに、音像が遠くから近づいてくる状態を表現するために、音像の音声の高域成分を徐々に増加させ、音像が近くから遠くに離れていく状態を表現するために、音像の音声の高域成分を徐々に減少させる手法がある。この手法は、図７に示すように、例えば低域から高域まで一定レベルの音を放音すると、音源が視聴位置の近くにある場合には、音の高域成分に減衰なく到達するが、音源視聴位置から遠くへ離れていくにつれて、音の高域成分が減衰していく現象を模擬したものである。この手法を以下、接離効果と称する。一般的な音響再生装置では、上記のような接離効果が付加された音声信号を再生することで、視聴者に音像の接離を体感させることができる。
【００６３】
一方、本発明の音響再生装置３は、音像を実際に接離させることができる。そのため、３Ｄコンテンツの音声信号に接離効果が予め付加されていると、アタッチスピーカからそのまま再生すると、視聴者にとって音質的に高域成分が過剰になり、快適な視聴を阻害したり、音響再生装置３が意図する立体映像の定位位置に音像を正確に定位させることができなかったりする可能性がある。そこで、本発明では、監視部３４８により映像処理部３２による立体映像の視聴位置９０に対する座標の移動を監視し、座標の移動とアタッチスピーカの設置位置（視聴者からの距離）に応じて周波数特性を調整して、高域成分の過剰さや接離効果を抑制する。つまり、立体映像が画面から手前に移動する場合には視聴位置に近づくほど音声信号の高域成分の減少量を増加させ、立体映像が手前から画面方向に移動する場合には遠くなるにつれて音声信号の高域成分を増加させ、Ｃｃｈスピーカの位置で完全に元の周波数特性に回復させるようにする。また、立体映像が画面より奥にある場合は、上記周波数特性の調整は行わない。
【００６４】
ここまで言及してきたアタッチスピーカ４７は、必ずしも全周波数帯域が再生できるスピーカでなくても良い。視聴者Ｕが音像の定位や音像の移動を知覚できる周波数帯域の音声を放音できるもの、例えば、最低共振周波数ｆ０が５００Ｈｚ以上の小型のアタッチスピーカを用いても良い。このような小型のアタッチスピーカであれば設置位置や方法の自由度が高く、例えば３Ｄ映像を見るために使用するメガネに取り付けるといったことが可能となり、視聴者Ｕの耳の近傍にスピーカを配置できるので、直接音の比率が非常に高い音声を視聴者に聞かせることができ本発明の効果を最大化することができる。
【００６５】
［第２実施形態］
次に、本発明の第２実施形態に係る音響再生装置について説明する。図８は、第２実施形態に係る音響再生装置を備えた３Ｄシステムの概略構成を示すブロック図である。図９は、スピーカアレイの音声ビームの放音状態を示す図である。以下の説明では、第１実施形態と同様の構成には同じ符号を付して説明を省略する。
【００６６】
図８に示す３Ｄシステム６は、映像再生装置２と、音響再生装置８を備えている。３Ｄシステム６では、図１に示した３Ｄシステム１と異なり、音響再生装置３のアタッチスピーカ４７を視聴位置９０の直近に設置せずに、スピーカアレイ４９により視聴位置９０の直近の点５０で焦点を結ぶ音声ビーム（第２音源の音声信号）を放音させている。他の構成は３Ｄシステム１と同様であり、サラウンドスピーカ４０から第１音源の音声信号を放音させて、視聴位置９０の任意の位置に音像を定位（配置）させる。スピーカアレイ４９は、一例として部屋９１のモニタ３８の近傍（部屋９１の前側）に設置している。スピーカアレイ４９は、複数のスピーカユニット４９−１〜４９−Ｎが所定の配列で配置されている。
【００６７】
音響再生装置８は、音響再生装置３の構成を一部変更しており、音像処理部３４Ｂにおいて、波形調整部３４５の後段に位相調整部３４９を備えている。位相調整部３４９は、信号処理手段に相当し、図９に示すように、スピーカアレイ４９の各スピーカユニット４９−１〜４９−Ｎに出力する音声信号（第２音源の音声信号）の遅延量を調整して、スピーカアレイ４９により視聴位置９０の直近（例えば前方）の点５０で焦点を結ぶ音声ビームを放音させる。視聴者Ｕは、スピーカアレイ４９から上記のような音声ビームが放音されると、音源（第２音源）が点５０付近に定位していると知覚する。これは、スピーカアレイと同じ位置にある信号処理や、特殊な構造による指向性制御を行わないスピーカからの音声と比較して、音声ビームはその鋭い指向性によって直接音の比率が高くなるからである。そのため、視聴者Ｕはスピーカアレイが設置されている場所より近くに音源があるかのような印象を受ける。これにより、アタッチスピーカを視聴位置９０の直近に設置しなくてもよくなり、構成、配置の自由度や、利便性を高めることができる。また前記と同様な効果をスピーカアレイ以外の方法で実現しても良い。アタッチスピーカは指向性制御を行わない通常のスピーカより、直接音比率が高い音声が出力できればよいので、例えば、超音波を使用するパラメトリックアレイスピーカや、直進性が高い音を再生できる平面バッフルスピーカなどを使用しても良い。
【００６８】
以上のように、本発明では、視聴位置９０の周囲（視聴位置９０から離れた位置）に複数のスピーカ（サラウンドスピーカ４０）を配置することで、これらのスピーカが放音した音は視聴位置では間接音の比率が高くなるので、視聴者に遠くから聞こえる音と知覚させることができる。また、視聴者Ｕの視聴位置９０の直近にアタッチスピーカ４７を配置することで、このスピーカが放音した音は、視聴位置では直接音の比率が高くなるので、視聴者に近くから聞こえる音と知覚させることができる。また、第２音源を視聴位置の直近に配置させれば、第２音源から放音される音は視聴者にはほとんど直接音として聞こえるので、視聴者の視聴位置に音源を定位させることができる。したがって、サラウンドスピーカとアタッチスピーカのミックスレベルを調整することで、任意の位置に音像を定位することができる。
【００６９】
なお、第１実施形態においては、視聴者Ｕの視聴位置９０の周囲に５つのサラウンドスピーカ４０を配置している例を示したが、これに限るものではなく、他の方式を用いることも可能である。例えば、サラウンドスピーカに代えてスピーカアレイを設置し、スピーカアレイに５チャンネルの音声信号を入力し、各スピーカユニットの放音タイミングを制御して、５つの音声ビームを生成し、部屋の壁に音声ビームを反射させることで、視聴位置９０の周囲に、５つのスピーカを配置したのと同様の音場を生成することができる。したがって、アタッチスピーカを視聴位置９０の直近に設置し、スピーカアレイによりサラウンドスピーカ４０を模擬した音声を放音する構成とすることも可能である。
【００７０】
また、２つのスピーカアレイを視聴位置９０の周囲に設置し、一方のスピーカアレイに、視聴位置９０の直近に焦点を結ぶ音声ビームを放音させて、アタッチスピーカを模擬し、他方のスピーカアレイに、サラウンドスピーカ４０を模擬した音声を放音する構成とすることも可能である。
【００７１】
なお、図２には視聴者Ｕの前方（直近）に１つのアタッチスピーカを配置した例を示したが、本発明はこれに限るものではない。例えば視聴者Ｕの前方または側方に２つのアタッチスピーカを配置し、ステレオ音声を放音するように設定してもよいし、正中面方向の音声に対して定位の前後を誤判定し易い人間の聴覚の特性を利用して、視聴者の頭部直近後方のソファや、映画館の座席のヘッドレストにアタッチスピーカを設置しても良い。
【００７２】
いずれの場合も、アタッチスピーカとサラウンドスピーカの音量バランスを調整することで、視聴者の周囲の任意の位置に音像を定位させることができる。
【００７３】
また、図８には、視聴者Ｕの前方（直近）に１つの音声ビームが焦点を結ぶ例を示したが、本発明はこれに限るものではなく、例えばスピーカアレイが２つの音声ビーム（ステレオ音声ビーム）を出力（放音）し、視聴者Ｕの前方の左右でそれぞれ焦点を結ぶように設定してもよい。このようにすることで、２つのアタッチスピーカを配置した場合と同様の効果が得られる。
【００７４】
なお、以上の説明では、音響再生装置３は、映像再生装置が出力した映像信号を解析して、映像の座標を算出する構成を説明したが、例えばコンテンツの信号ストリームに予め書き込まれた映像の座標情報を用いるなど音響再生装置３の外部から映像の座標情報を与えても良い。その場合は映像信号を解析することなく、この座標情報に基づいてミックスレベルを算出するように構成するとよい。これにより、音響再生装置３の構成を簡略化できる。また、座標情報は、必ずしも３Ｄコンテンツから取得しなくてもよい。例えば、２Ｄコンテンツを再生装置によって３Ｄ映像に変換した後の映像データを使ってもよいし、２Ｄ映像の画像の時系列相関の解析や、画像と音声／音量変化の連動の解析から３次元座標を予想して作成された座標情報を使用してもよい。
【００７５】
具体的には、２Ｄ画像から動きのある物体の座標を取得するためには、以下のような方法が考えられる。時系列相関の解析により、時間軸上の連続したフレーム中からある物体像を抽出し、次フレームで（相似図形で）像が大きくなっている物体は近づいていると推測する。また、背景と注目物体の大きさの関連（遠近法）から座標情報（の変化）を取得したり、霧の中から近づいてくるときに輪郭が次第にはっきりすることを利用したりするなどすればよい。前述の例では、抽出したある物体が近づく／遠ざかる、の相対関係が主に抽出される。絶対的な距離は、その映像が室内シーンなのか屋外なのか、などシーン判別の手法を用いて算出できる絶対的な距離を概算すると、上記遠近移動を組み合わせて判断することも可能である。また、上記映像上で大きくなる物体が、近づいてくるのか、風船を膨らませているときのように物体自体が膨張しているのか、判別がつきにくい場合も考えられる。そのような場合は音声信号を援用してもよい。例えば物体の見かけ（画角）上の寸法が大きくなるに従い音量が大きくなるような音声信号成分があれば、その物体は近づいていると判断する。あるいは後述のようにマルチチャンネル信号の音像のパンニング状況も勘案して判断することも可能である。また、近年デジタルカメラなどで頻用されている顔検出を利用して、顔の部位間の距離（例えば目の間隔）の変化などで前後移動を推定するなどの方法も考えられる。
【００７６】
また、必ずしも画像処理を用いないでもソースの音源から音像の座標情報を抽出することにより本発明を実施することも可能である。コンテンツの音声トラック内でも音像移動を意図して５．１ｃｈや７．１ｃｈなど複数の音声チャンネルを用いてミキシングされたものがある。例えば頭上（真上）を通過するヘリコプタなどの音源が前後に移動する場合を考える。このとき、最初は音像の持つ信号（モノラル）をセンタスピーカのみから放音し、次にセンタ＋Ｌ・Ｒ同音量に振り分け、次にＬ・Ｒ同音量＋ＳＲ・ＳＬ同音量（このとき前後の音量比で前後の音像移動をする）、次にＳＲ＋ＳＬ同音量、（バックスピーカがあればさらにこの後バックに音量を振り分ける）のようにして前方から後方に向けての音像の移動を感じさせる。このようなソースの場合、音響再生装置では、逆にミキシングされた音声トラックを解析して、同相（モノラル）成分がどのようにチャンネルに振り分けられているか解析することで製作者の意図する音像の移動を推測することができる。さらに、［発明が解決しようとする課題］で述べたような距離感と音に関する人間の知覚の習性を利用して、コンテンツ製作者が距離感を感じさせるための表現として、直接音と間接音の比率を変えることが通常行われている。前記と同様、音声トラックから直接音と間接音の比率を算出し、算出値から製作者の意図する音像の座標を推測することができる。これらを用いて音像の位置情報を得て本発明の音像移動に利用することができる。
【００７７】
以上のように、音像の座標情報は種々の方法によって取得することができ、いずれの方法をとってもよいし、複数の方法を組み合わせて座標情報取得精度を向上することも考えられる。
【符号の説明】
【００７８】
１，６…３Ｄシステム ２…映像再生装置 ３，８…音響再生装置 ２１…コンテンツ信号受信部 ２２…コンテンツ再生部 ２３…映像処理部 ２５…映像信号出力部 ２６…音声信号出力部 ３１…映像信号入力部 ３２…映像処理部 ３３…音声信号入力部 ３４…音像処理部 ３５…第１音源信号出力部 ３６…第２音源信号出力部 ３７…映像信号出力部 ３７…映像信号出力部 ３８…モニタ ４１…Ｌｃｈスピーカ ４２…Ｃｃｈスピーカ ４３…Ｒｃｈスピーカ ４４…ＳＬｃｈスピーカ ４５…ＳＲｃｈスピーカ ４７…アタッチスピーカ
【特許請求の範囲】
【請求項１】
表示装置が表示する映像の視聴環境における座標情報を取得する座標情報取得手段と、
視聴位置の周囲に第１音源を配置し、該第１音源よりも前記視聴位置の近くに第２音源を配置させる放音手段と、
前記映像に対応する音声信号を前記第１音源と前記第２音源に供給する供給手段と、
前記座標情報に応じて、前記第１音源と前記第２音源に供給する音声信号のゲイン比率を調整する音像制御手段と、
を備えた音響再生装置。
【請求項２】
前記放音手段は、前記第１音源の音声信号を放音する第１スピーカと、該第１スピーカよりも前記視聴位置の近くに設置され、前記第２音源の音声信号を放音する第２スピーカと、を備えた請求項１に記載の音響再生装置。
【請求項３】
前記放音手段は、
複数のスピーカユニットが配列されたスピーカアレイと、
前記第２音源の音声信号を遅延させて前記複数のスピーカユニットに分配し、前記第２音源を定位させる位置で焦点を結ぶ音声ビームを前記スピーカアレイに放音させる信号処理手段と、
前記第１音源の音声信号を放音するスピーカと、
を備えた請求項１または２に記載の音響再生装置。
【請求項４】
前記音像制御手段は、前記第１音源が放音する音声信号に残響成分を付加し、その付加量を前記映像の座標情報に従って増減する請求項１乃至３のいずれかに記載の音響再生装置。
【請求項５】
前記音像制御手段は、前記第１音源が放音する音声信号に付加する残響成分量に応じて、第１音源と第２音源に供給する音声信号のゲイン比率を変動させる請求項４に記載の音響再生装置。
【請求項６】
前記音像制御手段は、前記映像の座標情報に応じて音声信号における所定帯域の周波数の変化を抑制するように、前記第２音源の音声信号の周波数特性を調整する請求項１乃至５のいずれかに記載の音響再生装置。
【請求項１】
表示装置が表示する映像の視聴環境における座標情報を取得する座標情報取得手段と、
視聴位置の周囲に第１音源を配置し、該第１音源よりも前記視聴位置の近くに第２音源を配置させる放音手段と、
前記映像に対応する音声信号を前記第１音源と前記第２音源に供給する供給手段と、
前記座標情報に応じて、前記第１音源と前記第２音源に供給する音声信号のゲイン比率を調整する音像制御手段と、
を備えた音響再生装置。
【請求項２】
前記放音手段は、前記第１音源の音声信号を放音する第１スピーカと、該第１スピーカよりも前記視聴位置の近くに設置され、前記第２音源の音声信号を放音する第２スピーカと、を備えた請求項１に記載の音響再生装置。
【請求項３】
前記放音手段は、
複数のスピーカユニットが配列されたスピーカアレイと、
前記第２音源の音声信号を遅延させて前記複数のスピーカユニットに分配し、前記第２音源を定位させる位置で焦点を結ぶ音声ビームを前記スピーカアレイに放音させる信号処理手段と、
前記第１音源の音声信号を放音するスピーカと、
を備えた請求項１または２に記載の音響再生装置。
【請求項４】
前記音像制御手段は、前記第１音源が放音する音声信号に残響成分を付加し、その付加量を前記映像の座標情報に従って増減する請求項１乃至３のいずれかに記載の音響再生装置。
【請求項５】
前記音像制御手段は、前記第１音源が放音する音声信号に付加する残響成分量に応じて、第１音源と第２音源に供給する音声信号のゲイン比率を変動させる請求項４に記載の音響再生装置。
【請求項６】
前記音像制御手段は、前記映像の座標情報に応じて音声信号における所定帯域の周波数の変化を抑制するように、前記第２音源の音声信号の周波数特性を調整する請求項１乃至５のいずれかに記載の音響再生装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−２５４３５９（Ｐ２０１１−２５４３５９Ａ）
【公開日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願番号】特願２０１０−１２７７４１（Ｐ２０１０−１２７７４１）
【出願日】平成２２年６月３日（２０１０．６．３）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願日】平成２２年６月３日（２０１０．６．３）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]