信号再生装置及び信号再生方法
【課題】再現音場内の最適位置に鮮明な虚音像を定位する。
【解決手段】信号再生装置１は、音像情報抽出処理部２４においてオーディオデータに含まれる音源毎の楽音を分離し、音源信号算出処理部２６において聴取点に近い音源を聴取者の距離知覚が敏感な位置に変更するための制御パラメータを算出し遠くに定位される音像をより遠くに再配置するための制御パラメータを算出し、仮想音源位置算出処理部２５において算出された仮想音源位置に特定の音源信号を再合成することにより、仮想音場の臨場感を顕著にすることができる。
【解決手段】信号再生装置１は、音像情報抽出処理部２４においてオーディオデータに含まれる音源毎の楽音を分離し、音源信号算出処理部２６において聴取点に近い音源を聴取者の距離知覚が敏感な位置に変更するための制御パラメータを算出し遠くに定位される音像をより遠くに再配置するための制御パラメータを算出し、仮想音源位置算出処理部２５において算出された仮想音源位置に特定の音源信号を再合成することにより、仮想音場の臨場感を顕著にすることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号再生装置及び信号再生方法に関し、特にマルチチャンネル方式と音場合成技術により音像を仮想音源位置に定位させる信号再生装置及び信号再生方法に関する。
【背景技術】
【０００２】
大容量記憶媒体、ネットワークを介したダウンロード又はストリームによるコンテンツ配信等をはじめとする情報伝達形態の発達と再生機器性能の進化により、家庭でも高画質、高音質で映像コンテンツ及び音楽コンテンツが楽しめるようになった。
【０００３】
ビデオデータ、音楽データ等の再生装置において臨場感や音質は、ユーザにとって善し悪しが比較的判断しやすい。例えば、ユーザがオーケストラ曲を聴くとき、仮想音場のなかで個々の楽器の位置が鮮明に感じられ、本物のオーケストラが眼前で演奏しているかのようなイメージが想起されることが好ましい。ユーザは、より現実味のある音声再生を望む傾向にあり、音を再生したときに音声或いは音楽を録音したときの音場が如何に忠実に再現できているかがユーザに機器特性の印象を与えてしまうことにもなるため、重要になっている。
【０００４】
例えば、２チャンネルステレオでは、再生音場の音像が虚音像として最適な場所に定位するようにＬ信号とＲ信号からなる２チャンネルステレオ信号の各信号チャンネルのバランスを調整し２つのスピーカから出力している。しかし、２チャンネルステレオの場合、虚音像は、音像が鮮明でなく、受聴位置が左右スピーカの中央からずれると音像の定位位置が変化してしまうという欠点があった。そこで、少なくとも左右に設置した２つのスピーカの中央位置、すなわち受聴者の正面位置にはより鮮明な音像が定位し且つ受聴位置が左右にずれても音像が中央に留まっているようにするために、左右の２チャンネルスピーカの中央にセンタスピーカを加えた３チャンネルステレオ方式、更に背面スピーカを加えた５．１チャンネルステレオ方式が存在する。
【０００５】
一方、従来一般的な２チャンネルステレオ信号は、３チャンネル、５．１チャンネルのような多チャンネルステレオ装置によっても再生できなければならない。そのために、２チャンネルステレオ信号からセンターチャンネルの信号や背面のＬチャンネルと背面のＲチャンネルの信号を生成することによって、２チャンネルステレオ信号を多チャンネル信号に変換できるようにした技術も公開されている（特許文献１参照）。
【０００６】
また、より現実味のある音場を再現するための技術としては、このほかにも、音場合成技術を用いて点音源や平面波を合成することにより５．１チャンネルステレオ信号を再生する技術（非特許文献１参照）、音場合成技術の仮想音源の位置制御技術を利用して音像位置を任意に動かす技術が開示されている（非特許文献２参照）。更に、混合された音響信号から特定の信号を抽出する一般調和信号解析技術があげられる（非特許文献３参照）。
【０００７】
【特許文献１】特表２００３−５１６０６９号公報
【非特許文献１】Spatial Sound in the Age of Fast Convolution Technologies,ICA2004, P.I-515〜P.I-518）
【非特許文献２】MONITORING DISTANCE EFFECT WITH WAVE FIELD SYNTHESIS, Proc. of the 6th Int. Conference on Digital Audio Effects(DAFX-03), London, UK, September 8-11,2003）
【非特許文献３】一般調和解析による音響信号の分離 日本音響学会講演論文集 Ｐ６０７−６０８ 平成８年９月
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところが、２チャンネルステレオ信号からセンターチャンネルの信号を合成する方法は、簡便ではあるが鮮明な音像を得られない。また、非特許文献３に説明されている一般調和信号解析技術により、従来の２チャンネルステレオ信号に含まれる音源の信号を抽出し、音源毎に独立した信号のチャンネルを作り出すには多くの信号処理が必要である。また生成されたチャンネルの信号処理の結果を検証し、処理条件を変えて再度信号処理をやり直すという繰り返し処理が必要になることもあるため、２チャンネルステレオ信号に対してリアルタイムで一般調和信号解析処理を実行し、検出結果を再合成して多チャンネルステレオ信号を生成しこれをリアルタイム再生することは困難であった。
【０００９】
そこで、本発明は、上述した従来の実情に鑑みて提案されたものであり、再現音場内の最適位置に鮮明な虚音像を定位することができる信号再生装置及びその方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した目的を達成するために、本発明に係る信号再生装置は、オーディオ信号が多重化された多チャンネルデータを再生する信号再生装置において、多チャンネルデータを取得する多チャンネルデータ取得手段と、多チャンネルデータから特定音像の音源情報と音像位置情報とを抽出する信号解析手段と、音源情報から音源信号を算出する音源信号算出手段と、抽出された特定音像の音像情報を変更し変更後の特定音像の音源信号を任意の仮想音源位置に配置する音場合成を行う音場合成手段とを備え、再現音場内の最適位置に鮮明な虚音像を定位する。
【００１１】
ここで、本発明に係る信号再生装置は、抽出された特定音像の音源情報と音像位置情報とにしたがって特定音像の仮想音源位置を算出する仮想音源位置算出手段を備え、この場合、音場合成手段は、音源信号算出手段において算出された音源信号を仮想音源算出手段で算出された仮想音源位置に配置する。
【００１２】
また、上述した目的を達成するために、本発明に係る信号再生方法は、オーディオ信号が多重化された多チャンネルデータを再生する信号再生方法において、多チャンネルデータを取得する多チャンネルデータ取得工程と、多チャンネルデータから特定音像の音源情報と音像位置情報を抽出する信号解析工程と、音源情報から音源信号を算出する音源信号算出工程と、抽出された特定音像の音像情報を変更し変更後の特定音像の音源信号を任意の仮想音源位置に配置する音場合成を行う音場合成工程とを有する。
【発明の効果】
【００１３】
本発明に係る信号再生装置及び信号再生方法によれば、再現音場内の最適位置に鮮明な虚音像を定位させた音場合成が可能になる。また、オーディオ信号が多重化された多チャンネルデータから特定音像の音源情報及び音像位置情報を分離して用意することで、音場解析と音場合成処理に係る処理負荷が軽減できる。
【発明を実施するための最良の形態】
【００１４】
本発明の具体例として示す信号再生装置は、マルチチャンネル方式で作成され、複数の音源情報を含む音楽データに対して、一般調和信号解析技術をはじめとする音源信号抽出と音場合成技術とを用いて、オーディオ信号から特定の音源信号を抽出し、この音源信号の音像を最適な仮想音源位置に定位させる信号処理を行う再生装置である。
【００１５】
なお、本発明では、オーディオ信号が多重化されたデータとは、例えば、複数の楽器で演奏された音楽データ、“演奏”と“歌声”とが含まれる音楽データのように複数の音源が含まれるオーディオデータであって、リニアＰＣＭ（Linear Pulse Code Modulation）、ドルビーデジタル、ＤＴＳ（Digital Theater Systems）、ＤＶＤ−Ａｕｄｉｏフォーマット、ＤＶＤ−Ｖｉｄｅｏフォーマットに決められたオーディオデータを含むが、いわゆるＭＩＤＩ（Musical Instrument Digital Interface）規格に準拠するデータのように、予めチャンネル毎（音源毎）に作成された複数パートのデータを合成（多重化）してできるオーディオデータは、本発明及び本発明の具体例では含まれない。
【００１６】
以下、本発明の第１の具体例として示す信号再生装置１について、図面を参照して詳細に説明する。信号再生装置１は、記録媒体から入力したオーディオデータを含むコンテンツデータを再生する再生装置である。
【００１７】
図１に示す信号再生装置１は、光ディスクを回転駆動し記録されたデータを読み出す光ディスク再生部１１と、読み出したデータを圧縮されたオーディオデータ、ビデオデータ、字幕データ、その他のデータ等に分離する信号分離回路１２とを備える。また、圧縮されたオーディオデータを復号するオーディオデコーダ１３と、復号されたオーディオデータを再生するとともに仮想音源の位置情報に応じて音場合成するオーディオ信号処理回路１４と、圧縮された字幕データを復号する字幕デコーダ１５と、復号された字幕を再生する字幕再生回路１６とを備えている。また、圧縮されたビデオデータを復号するビデオデコーダ１７と、復号されたビデオデータを再生するビデオ信号再生回路１８と、ビデオ信号に同期して字幕を合成する字幕合成回路１９と、字幕が合成されたビデオ信号を外部に出力するビデオ信号出力回路２０とを備える。
【００１８】
なお、オーディオデコーダ１３からの出力とこれに対応する音源信号算出処理部２６及びオーディオ信号再生処理部２３への入力、並びに音が合成処理部２７からの出力とこれに対応する多チャンネルアンプ２１への入力、オーディオ信号出力回路２２への入力及び出力は、チャンネル数に併せた信号線が用意されている。
【００１９】
オーディオデータ及びビデオデータとしては、ＭＰＥＧ１、ＭＰＥＧ２、ＡＶＩ、ＷＭＶ、ＷＭＡ等の各フォーマットが適用可能であるが、以下に説明する例では、光ディスクとしてＤＶＤ（Digital Versatile Disc）を使用する。この場合、ビデオデータはＭＰＥＧ（Moving Picture Experts Group）によって標準化されたＭＰＥＧ２であり、オーディオデータは、リニアＰＣＭ、ドルビーデジタル、ＤＴＳ、ＳＤＤＳ等が適用される。
【００２０】
オーディオ信号処理回路１４は、オーディオデコーダ１３で復号されたオーディオデータを再生するオーディオ信号再生処理部２３と、光ディスク再生部１１で再生された再生信号から音像情報を抽出する処理を行う音像情報抽出処理部２４と、仮想音源位置を算出する仮想音源位置算出処理部２５と、音像情報から音源信号を算出する音源信号算出処理部２６と、音源信号と仮想音源位置に基づいて音場を合成する音場合成処理部２７とを備える。
【００２１】
オーディオ信号再生処理部２３は、オーディオデコーダ１３で復号されたオーディオデータを再生し多チャンネルアンプ２１に送る。
【００２２】
音像情報抽出処理部２４は、光ディスク再生部１１が読み出したデータから音像情報と音像位置情報とを抽出し、抽出した音像情報及び音像位置情報を仮想音源位置算出処理部２５と音源信号算出処理部２６に送る。音源情報としては、オーディオデータを構成する楽器、音声等があげられる。また、音像情報抽出処理部２４は、一般調和信号解析により数種類の音源からの音が混在した音声波形から主要音源の時間変動に相関がある周波数成分を抽出する。例えば、音像情報抽出処理部２４は、一般調和信号解析によって、目的の女声ボーカル信号を構成する周波数成分を分離することができる。また、例えば中央位置に定位させる音源信号の周波数成分を分離することができる。
【００２３】
仮想音源位置算出処理部２５は、音像情報抽出処理部２４で抽出された音像位置情報にしたがって音場を合成すべき音源位置を算出する。ここで、音場合成すべき音源位置とは、後段の音場合成処理部２７の精度やスピーカ配置に応じた仮想音源の位置である。仮想音源位置算出処理部２５は、例えば中央位置に音像定位する音源信号であれば、聴取点からこの音仮想源信号までの仮想音源距離を、後段の音場合成処理部２７の精度やスピーカ配置に応じて計算して算出又は変更する。
【００２４】
音源信号算出処理部２６は、音像情報抽出処理部２４で一般調和信号解析によって音源毎に分離されたオーディオデータに仮想音源位置算出処理部２５で算出した音源位置に所定の音源を音像定位させるための制御パラメータを与える。図２〜図５には、オーディオデータから分離された周波数波形を示す。
【００２５】
音源信号算出処理部２６は、２チャンネルオーディオデータ、多チャンネルオーディオデータ等のオーディオデータから音像情報抽出処理部２４及び仮想音源位置算出処理部２５における解析結果に基づいて特定位置に音像定位する音源信号、パート毎に異なる音源信号を分離している。例えば、音源信号算出処理部２６は、音像情報抽出処理部２４で一般調和信号解析によって分離された目的の女声ボーカル信号を構成する周波数成分から女声ボーカルの音源信号を算出する。また、例えば中央位置に定位させる音源信号の周波数成分を分離することができる。音源信号算出処理部２６は、算出した音源信号を音場合成処理部２７に送る。
【００２６】
また、音源信号算出処理部２６は、分離した所定の周波数成分を広がり方向（水平方向）、又は奥行き方向に定位位置変更する制御パラメータを算出する。
【００２７】
音源音像を広がり方向（水平方向）に定位位置変更するための制御パラメータの変更例として、音源信号算出処理部２６は、例えば、観測点と仮想音源との方向に関して、後述する音場合成処理部２７の精度が１０°刻み程度の精度でしか音場合成できない場合には、音像方向８°刻みの音像位置変化を生じさせるパラメータを１０°に再変換する。また、スピーカ配置上の制約で横方向に４０°の範囲内にしか音像配置できない場合には、音像位置５０°という音像位置変化を生じさせるパラメータは４０°に再変換する。
【００２８】
また、観測点と仮想音源との距離である音像位置距離データについても同様である。一般的に、３メートル以上の遠方の音源に対しては人間の距離知覚の精度が低下することが知られている。そこで音源信号算出処理部２６は、音源音像を奥行き方向に定位位置変更するための制御パラメータの変更例として、例えば、音像距離５メートル程度の距離変化を生じさせるパラメータを音源位置３メートル程度に音像定位させるパラメータに変換し、音像距離８メートル程度の距離変化を生じさせるパラメータを音源距離１０メートルに再変換する。
【００２９】
また、音源信号算出処理部２６は、分離された音源に基づいて新たな音源信号を作成することもできる。例えば、音像情報抽出処理部２４によって分離された特定音源の音源信号を別の位置に定位させるパラメータを算出したり、特定音源と周波数が若干異なる音源信号を生じるための制御パラメータを算出したりする。これにより、ある音源に対していわゆるユニゾンする別の音源、或いはある音源とハーモニーを生じる別の音源の周波数成分を生成することができる。
【００３０】
音場合成処理部２７は、音源信号算出処理部２６によって算出された音源信号を仮想音源位置算出処理部２５で算出された仮想音源位置に配置する音場合成を行う。このとき、音場合成処理部２７は、ピッチ変更、タイミング変更、エンベロープジェネレータのうち１又は組合せにより、抽出された音源信号を仮想音源位置に再配置する音場合成を行う。また、音場合成処理部２７は、中央位置に音像定位する音源信号が取り除かれたインテンシティステレオ信号を通常のインテンシティステレオ再生し、分離した音源信号を中央位置に再配置する音場合成を行う。
【００３１】
オーディオ信号出力回路２２にオーディオ信号の出力手段の一例として平面アレイスピーカが使用される場合、音場合成処理部２７は、中央位置から同心円状に広がる音波を出力するためのアレイスピーカ駆動用のデジタルフィルタ係数を算出し、目的のボーカル信号に畳み込み演算を行う。
【００３２】
図２〜図５は、音像情報抽出処理部２４によって分離された周波数成分を示している。図２〜図５において横軸は時間であり、縦軸は信号レベルを表している。図２に示す周波数成分ｆ１の信号レベルと図３に示す周波数成分ｆ２の信号レベルは、互いに時間変動に強い相関があるため、音場合成処理部２７は、ｆ１とｆ２を同じ音源として音像定位する。また、音場合成処理部２７は、同様に、図４に示す周波数成分ｆ３と図５に示す周波数成分ｆ４とを同じ音源として音像定位する。
【００３３】
音源信号算出処理部２６は、元のオーディオ信号から一般調和信号解析によって分離された図２〜図５に示す周波数成分ｆ１〜ｆ４に対して、互いに時間変動に強い相関があるものを同じ音源とし、再生空間内における同一位置に定位させるための制御パラメータを与える。音場合成処理部２７は、与えられた制御パラメータを抽出した周波数成分に、例えばｆ１とｆ２に重畳して再合成する。そして、この抽出した音源の周波数成分に所定の音源に、同じ音源として音像定位させるためのパラメータが与えられ、所定の楽器の周波数成分として再合成する。
【００３４】
続く多チャンネルアンプ２１は、アレイスピーカ用の多チャンネル信号を増幅するとともに、オーディオ信号のうち再合成されなかった音源信号を２チャンネル又は５．１チャンネルで再生するための増幅を行う。例えば、多チャンネルアンプ２１は、上述のようにボーカル信号が音場の再合成をするために分離された場合、ボーカル信号をアレイスピーカ用に多チャンネルで増幅し、ボーカル信号成分が分離された後のオーディオ信号をＬチャンネル信号、Ｒチャンネル信号の２チャンネルで増幅する。
【００３５】
上述した構成を有する信号再生装置１が光ディスクから読み出したコンテンツデータを再生する動作について説明する。
【００３６】
光ディスク再生部１１は、光ディスクを回転駆動しＤＶＤに記録されたデータを読み出す。光ディスク再生部１１によって読み出されたデータは、信号分離回路１２において、圧縮されたオーディオデータ、圧縮されたビデオデータ、字幕データ、その他のデータ等に分離される。圧縮されたオーディオデータは、オーディオデコーダ１３で復号された後、オーディオ信号処理回路１４のオーディオ信号再生処理部２３に送られる。オーディオ信号再生処理部２３は、復号されたオーディオデータを再生し多チャンネルアンプ２１に送る。
【００３７】
光ディスク再生部１１によって読み出されたデータは、オーディオ信号処理回路１４の音像情報抽出処理部２４にも送られる。音像情報抽出処理部２４は、一般調和信号解析によって、再生信号から音源毎の音像情報と音像位置情報とを抽出し、抽出した音像情報及び音像位置情報を仮想音源位置算出処理部２５と音源信号算出処理部２６に送る。仮想音源位置算出処理部２５では、音像情報抽出処理部２４で抽出された音像位置情報にしたがって音場を合成すべき音源位置が算出される。また、音源信号算出処理部２６では、音像情報抽出処理部２４で一般調和信号解析によって音源毎に分離されたオーディオデータに仮想音源位置算出処理部２５で算出した音源位置に所定の音源を音像定位させるための制御パラメータが与えられる。
【００３８】
音場合成処理部２７は、音源信号算出処理部２６によって算出された音源信号と制御パラメータに基づいて、仮想音源位置算出処理部２５で算出された仮想音源位置に配置する音場合成を行う。このとき、音場合成処理部２７は、ピッチ変更、タイミング変更、エンベロープジェネレータのうち１又は組合せにより、抽出された音源信号を仮想音源位置に再配置する音場合成を行う。音場合成処理部２７において音場が再合成されたオーディオ信号は、多チャンネルアンプ２１に送られる。多チャンネルアンプ２１では、特定の音声信号、例えばボーカル信号成分が分離された場合、分離されたボーカル信号を多チャンネルで増幅し、ボーカル信号成分が分離された後のオーディオ信号をＬチャンネル信号、Ｒチャンネル信号の２チャンネルで増幅する。
【００３９】
一方、ビデオデータと字幕データは、ビデオデコーダ１７、字幕デコーダ１５に送られ、続く字幕再生回路１６或いはビデオ信号再生回路１８で再生される。字幕信号とビデオ信号は、字幕合成回路１９においてビデオ信号に同期して映像に字幕が合成される。音場が再合成されたオーディオ信号はオーディオ信号出力回路２２から、字幕が合成されたビデオ信号はビデオ信号出力回路２０から互いに同期され外部のスピーカシステム、表示装置等に出力される。
【００４０】
したがって、信号再生装置１は、音像情報抽出処理部２４においてオーディオデータに含まれる音源毎の楽音を分離算出し、音源信号算出処理部２６において聴取点に近い音源を聴取者の距離知覚が敏感な位置に変更し、遠くに定位される音像をより遠くに再配置するパラメータを算出し、仮想音源位置算出処理部２５において算出された仮想音源位置に特定の音源信号を再合成し、再生される仮想音場を再構築することにより、視聴者の臨場感を高めることができる。上述した信号再生装置１は、本発明の基本的な構成を実現したものである。
【００４１】
以下では、本発明のほかの応用例について説明する。本発明の第２の具体例として信号再生装置２を図６に示す。図２に示す信号再生装置２は、音像毎の音源情報及び音像位置情報が多チャンネルのオーディオデータから独立して、例えば、楽曲、映画等といったコンテンツ毎にメタデータとして用意されていることが特徴である。そして、このメタデータは、コンテンツと対応づけるためにコンテンツを識別するための識別コードに対応して予め所定の領域に格納されている。ここで識別コードとは、所定のルールを用いてオーディオデータ等のコンテンツデータの一部から生成されたコンテンツ毎に固有な情報である。
【００４２】
そのため、信号再生装置２は、オーディオデータから切り離されてコンテンツ毎に所定領域に格納された音源情報及び音像位置情報を読み出すために必要な識別コードを、この識別コードを光ディスクに格納したと同じ手順で生成する識別コード生成部２８と、ここで生成された識別コードに対応するメタデータを光ディスクから検索する検索処理部２９とを備えることを特徴としている。なお、図６に示す信号再生装置２において、図１に示した信号再生装置１と同様の機能を有する構成は、同一の番号を付けて詳細な説明を省略する。
【００４３】
識別コード生成部２８は、オーディオデータから切り離されてメタデータとして所定領域に格納された音源情報及び音像位置情報を読み出すために必要な識別コードを、多チャンネルデータの一部から生成する。識別コードとしては、ＴＯＣに記録されているトラック数、各トラックの演奏時間等のデータ、またこれらを組み合わせたデータのほか、多チャンネルデータそのものに対して所定の符号化を施して得られるデータ等があげられる。
【００４４】
検索処理部２９は、識別コード生成部２８で生成されたコンテンツを特定するための識別コードに応じて演奏対象となっている楽曲の識別コードを多重化されたデータから検索する。
【００４５】
上述した構成を有する信号再生装置２が光ディスクから読み出したコンテンツデータを再生する動作について説明する。
【００４６】
光ディスク再生部１１によって読み出されたデータは、信号分離回路１２において、圧縮されたオーディオデータ、圧縮されたビデオデータ、字幕データ、その他のデータ等に分離される。圧縮されたオーディオデータは、オーディオデコーダ１３で復号された後、オーディオ信号処理回路１４のオーディオ信号再生処理部２３に送られる。オーディオ信号再生処理部２３は、復号されたオーディオデータを再生し多チャンネルアンプ２１に送る。
【００４７】
オーディオ信号処理回路１４の識別コード生成部２８は、光ディスク再生部１１で読み出されたデータから作成時と同様のルールで識別コードを生成する。そして、検索処理部２９は、生成された識別コードに応じて、演奏対象の楽曲の音源情報及び音像位置情報のデータを多重化されたデータから検索する。
【００４８】
信号再生装置２では、音像情報抽出処理部２４は、検索処理部２９が検索して得たメタデータから音源毎の音像情報と音像位置情報とを抽出し、抽出した音像情報及び音像位置情報を仮想音源位置算出処理部２５と音源信号算出処理部２６に送る。仮想音源位置算出処理部２５では、音像情報抽出処理部２４で抽出された音像位置情報にしたがって音場を合成すべき音源位置が算出される。また、音源信号算出処理部２６では、音像情報抽出処理部２４で音源毎に分離されたオーディオデータに仮想音源位置算出処理部２５で算出した音源位置に所定の音源を音像定位させるための制御パラメータが与えられる。
【００４９】
音場合成処理部２７は、音源信号算出処理部２６によって算出された音源信号と制御パラメータに基づいて、仮想音源位置算出処理部２５で算出された仮想音源位置に配置する音場合成を行う。このとき、音場合成処理部２７は、ピッチ変更、タイミング変更、エンベロープジェネレータのうち１又は組合せにより、抽出された音源信号を仮想音源位置に再配置する音場合成を行う。音場合成処理部２７において音場が再合成されたオーディオ信号は、多チャンネルアンプ２１に送られ、分離された特定の音源信号を多チャンネルで増幅され、特定の音源信号成分が分離された後のオーディオ信号を２チャンネルで増幅される。字幕信号とビデオ信号は、字幕合成回路１９においてビデオ信号に同期して映像に字幕が合成され、音場が再合成されたオーディオ信号はオーディオ信号出力回路２２から、また字幕が合成されたビデオ信号はビデオ信号出力回路２０から、互いに同期されて外部のスピーカシステム、表示装置等に出力される。
【００５０】
上述したように信号再生装置２は、音像毎の音源情報及び音像位置情報を多チャンネルのオーディオデータから独立してメタデータとして用意し、更にメタデータを識別コードに対応して予め所定の領域に格納したことにより、一般調和信号解析等による音源抽出処理にかかる演算量を低減することができる。また、音像情報抽出処理部２４において音源毎の信号を分離し、音源信号算出処理部２６において聴取点に近い音源を聴取者の距離知覚が敏感な位置に変更し、遠くに定位される音像をより遠くに再配置するパラメータを算出し、仮想音源位置算出処理部２５において算出された仮想音源位置に特定の音源信号を再合成し、再生される仮想音場を再構築することにより、視聴者の臨場感を高めることができる。
【００５１】
続いて、本発明の第３の具体例として信号再生装置３を図７に示す。図７では、図１及び図６に示す信号再生装置と同様の機能を有する構成に関しては同一の番号を付けて詳細な説明を省略する。図７に示す信号再生装置３は、上述した多チャンネルのオーディオデータが光ディスクのようないわゆるパッケージングメディアとして提供される場合でなく、ネットワークを介して送られる場合である。そして更に、信号再生装置３では、音像毎の音源情報及び音像位置情報が多チャンネルのオーディオデータから独立して、メタデータとして用意されており、多チャンネルデータとメタデータが混合されてネットワークを介して提供されることが特徴である。
【００５２】
そのため、信号再生装置３は、光ディスク再生部１１の代わりに、無線又は有線接続されるローカルエリアネットワーク、オリジナルネットワーク、いわゆるインターネット等のネットワークに接続するネットワークインターフェイス（以下、ネットワークＩ／Ｆという。）３１と、ネットワークを介して送られたオーディオデータ等のコンテンツデータを一時的に記憶する受信バッファ３２を備えている。ネットワークの通信プロトコルとしては、ＴＣＰ／ＩＰをはじめとする汎用プロトコルがあげられる。
【００５３】
また、信号再生装置３は、コンテンツ毎に作成された音源情報及び音像位置情報のメタデータを読み出すために必要な識別コードをこのコンテンツの識別コードを送信するときと同じ手順で生成する識別コード生成部３３と、ここで生成された識別コードに対応するメタデータをネットワークから受け取ったデータ中から検索する検索処理部３４とを備えている。
【００５４】
なお、図７に示す信号再生装置３において、ネットワークを介して伝送されるオーディオデータは、リアルタイム再生を可能とするストリームデータであってもよいし、いわゆるダウンロードのような一括伝送データであってもよい。また、信号再生装置３は、識別コード入力部３５を備え、ユーザによって、識別コードが直接入力できてもよい。
【００５５】
上述した構成を有する信号再生装置３がネットワークを介して受信したコンテンツデータを再生する動作について説明する。
【００５６】
ネットワークＩ／Ｆ３１で受け取ったデータは、受信バッファ３２に一時的に記憶され、信号分離回路１２において、圧縮されたオーディオデータ、圧縮されたビデオデータ、字幕データ、その他のデータ等に分離される。圧縮されたオーディオデータは、オーディオデコーダ１３で復号された後、オーディオ信号処理回路１４のオーディオ信号再生処理部２３に送られる。オーディオ信号再生処理部２３は、復号されたオーディオデータを再生し多チャンネルアンプ２１に送る。
【００５７】
オーディオ信号処理回路１４の識別コード生成部３３は、ネットワークＩ／Ｆ３１で受け取ったデータから作成時と同様のルールで識別コードを生成する。そして、検索処理部３４は、生成された識別コードに応じて、演奏対象の楽曲のメタデータを多重化されたデータから検索する。
【００５８】
信号再生装置３では、音像情報抽出処理部２４は、検索処理部２９が検索して得たメタデータから音源毎の音像情報と音像位置情報とを抽出し、抽出した音像情報及び音像位置情報を仮想音源位置算出処理部２５と音源信号算出処理部２６に送る。仮想音源位置算出処理部２５では、音像情報抽出処理部２４で抽出された音像位置情報にしたがって音場を合成すべき音源位置が算出される。また、音源信号算出処理部２６では、音像情報抽出処理部２４で音源毎に分離されたオーディオデータに仮想音源位置算出処理部２５で算出した音源位置に所定の音源を音像定位させるための制御パラメータが与えられる。
【００５９】
音場合成処理部２７は、音源信号算出処理部２６によって算出された音源信号と制御パラメータに基づいて抽出された音源信号を仮想音源位置に再配置する音場合成を行う。音場合成処理部２７において音場が再合成されたオーディオ信号は、多チャンネルアンプ２１に送られ、分離された特定の音源信号を多チャンネルで増幅され、特定の音源信号成分が分離された後のオーディオ信号を２チャンネルで増幅される。字幕信号とビデオ信号は、字幕合成回路１９においてビデオ信号に同期して映像に字幕が合成され、音場が再合成されたオーディオ信号はオーディオ信号出力回路２２から、また字幕が合成されたビデオ信号はビデオ信号出力回路２０から、互いに同期されて外部のスピーカシステム、表示装置等に出力される。
【００６０】
上述したように信号再生装置３は、音像毎の音源情報及び音像位置情報を多チャンネルのオーディオデータから独立してメタデータとして用意し、更にメタデータを識別コードに対応して予め所定の領域に格納したことにより、一般調和信号解析等による音源抽出処理にかかる演算量を低減することができる。したがって、信号再生装置３は、音源毎の信号を分離し、聴取点に近い音源を聴取者の距離知覚が敏感な位置に変更し、遠くに定位される音像をより遠くに再配置するパラメータを算出し、仮想音源位置に特定の音源信号を再合成し、再生される仮想音場を再構築するという信号処理がネットワークを介して送信されるオーディオデータ等のコンテンツデータに対してもリアルタイムに可能になる。
【００６１】
次に、本発明の第４の具体例として信号再生装置４を図８に示す。図８に示す信号再生装置４は、多チャンネルのオーディオデータから独立して音像毎の音源情報及び音像位置情報がメタデータとして用意されているのは同一であるが、オーディオデータは光ディスクから、また音源情報及び音像位置情報はネットワークを介して信号再生装置４に送られることを特徴としている。
【００６２】
そのため、信号再生装置４は、コンテンツ毎に作成された音源情報及び音像位置情報のメタデータを読み出すために必要な識別コードをこのコンテンツの識別コードを送信するときと同じ手順で生成する識別コード生成部３６と、無線又は有線接続されるローカルエリアネットワーク又はオリジナルネットワーク、いわゆるインターネット等のネットワークに接続するネットワークインターフェイス（以下、ネットワークＩ／Ｆという。）３６と、識別コード生成部３６で生成された識別コードに対応するメタデータをネットワークから受け取ったデータ中から検索する検索処理部３８とを備えている。信号再生装置４は、図８には図示していないがネットワークを介して送られたオーディオデータ等のコンテンツデータを一時的に記憶する受信バッファを備えている。ネットワークの通信プロトコルとしては、ＴＣＰ／ＩＰをはじめとする汎用プロトコルがあげられる。なお、図８に示すに示す信号再生装置４において、図１、図６及び図７に示す信号再生装置と同様の機能を有する構成に関しては同一の番号を付けて詳細な説明を省略する。
【００６３】
上述した構成を有する信号再生装置４が光ディスクから読み出したコンテンツデータを再生する動作について説明する。
【００６４】
光ディスク再生部１１で読み出されたデータは、信号分離回路１２において、圧縮されたオーディオデータ、圧縮されたビデオデータ、字幕データ、その他のデータ等に分離される。圧縮されたオーディオデータは、オーディオデコーダ１３で復号された後、オーディオ信号処理回路１４のオーディオ信号再生処理部２３に送られる。オーディオ信号再生処理部２３は、復号されたオーディオデータを再生し多チャンネルアンプ２１に送る。
【００６５】
オーディオ信号処理回路１４の識別コード生成部３６は、ネットワークＩ／Ｆ３７で受け取った識別コードを検索処理部３８に送る。検索処理部３８は、生成された識別コードに応じて、演奏対象の楽曲のメタデータを多重化されたデータから検索する。
【００６６】
光ディスク再生部１１から読み出されたデータは、信号分離回路１２において、圧縮されたオーディオデータ、圧縮されたビデオデータ、字幕データ、その他のデータ等に分離される。圧縮されたオーディオデータは、オーディオデコーダ１３で復号された後、オーディオ信号処理回路１４のオーディオ信号再生処理部２３に送られる。オーディオ信号再生処理部２３は、復号されたオーディオデータを再生し多チャンネルアンプ２１に送る。
【００６７】
信号再生装置４では、音像情報抽出処理部２４は、検索処理部２９が検索して得たメタデータから音源毎の音像情報と音像位置情報とを抽出し、抽出した音像情報及び音像位置情報を仮想音源位置算出処理部２５と音源信号算出処理部２６に送る。仮想音源位置算出処理部２５では、音像情報抽出処理部２４で抽出された音像位置情報にしたがって音場を合成すべき音源位置が算出される。また、音源信号算出処理部２６では、音像情報抽出処理部２４で音源毎に分離されたオーディオデータに仮想音源位置算出処理部２５で算出した音源位置に所定の音源を音像定位させるための制御パラメータが与えられる。
【００６８】
音場合成処理部２７は、音源信号算出処理部２６によって算出された音源信号と制御パラメータに基づいて抽出された音源信号を仮想音源位置に再配置する音場合成を行う。音場合成処理部２７において音場が再合成されたオーディオ信号は、多チャンネルアンプ２１に送られ、分離された特定の音源信号を多チャンネルで増幅され、特定の音源信号成分が分離された後のオーディオ信号を２チャンネルで増幅される。字幕信号とビデオ信号は、字幕合成回路１９においてビデオ信号に同期して映像に字幕が合成され、音場が再合成されたオーディオ信号はオーディオ信号出力回路２２から、また字幕が合成されたビデオ信号はビデオ信号出力回路２０から、互いに同期されて外部のスピーカシステム、表示装置等に出力される。
【００６９】
上述したように信号再生装置４は、音像毎の音源情報及び音像位置情報を多チャンネルのオーディオデータから独立してメタデータとして用意して、これをネットワークから受け取る。そして、オーディオデータは光ディスクで提供されることにより、一般調和信号解析等による音源抽出処理にかかる演算量を低減することができる。したがって、信号再生装置４は、音源毎の信号を分離し、聴取点に近い音源を聴取者の距離知覚が敏感な位置に変更し、遠くに定位される音像をより遠くに再配置するパラメータを算出し、仮想音源位置に特定の音源信号を再合成し、再生される仮想音場を再構築するという信号処理がネットワークを介して送信されるオーディオデータ等のコンテンツデータに対してもリアルタイムに可能になる。
【００７０】
また例えば、信号再生装置４では、オーディオデータ等のコンテンツデータを提供する提供業者が過去に発売されたＣＤ、ＤＶＤ等のコンテンツについての音源情報及び音像位置情報が記述されたメタデータをＷｅｂページ上で提供するなどして旧来資産であるコンテンツに対しても仮想音場を再構築する信号処理を実行することにより視聴者の臨場感を高めることができる。
【００７１】
図１、図６、図７、図８に示した信号再生装置の多チャンネルアンプ２１及びオーディオ信号出力回路２２の出力先として適用可能なスピーカシステムの具体例について説明する。
【００７２】
図９に示すスピーカシステム５０は、音波面再生用多チャンネル音響増幅回路５１と、５．１チャンネル用多チャンネル音響増幅回路５２と、音波面再生用スピーカ５３１、５３２、・・・、５３ｎと、聴取者の正面スピーカ５４１、右前方スピーカ５４２、左前方スピーカ５４３、右後方スピーカ５４４、左後方スピーカ５４５、低音出力用サブウーファースピーカ５４６の６つのスピーカからなる５．１チャンネル用スピーカシステムとを備えている。
【００７３】
スピーカシステム５０は、図１、図６、図７、図８に示した信号再生装置における多チャンネルアンプ２１及びオーディオ信号出力回路２２を含んで構成されており、多チャンネルアンプ２１は、音波面用多チャンネル音響増幅回路５１及び５．１チャンネル用音響増幅回路５２に相当する。したがって、音波面用多チャンネル音響増幅回路５１、５．１チャンネル用音響増幅回路５２には、音源信号算出処理部２６によって算出された音源信号と制御パラメータに基づいて仮想音源位置算出処理部２５で算出された仮想音源位置に再配置するための音場合成が行われたオーディオ信号が音場合成処理部２７から送られるようになっている。
【００７４】
オーディオデータは、音波面用多チャンネル音響増幅回路５１、５．１チャンネル用音響増幅回路５２によってチャンネル毎に増幅され、音声出力デバイスとしてのスピーカから出力される。５．１チャンネルサラウンド方式の場合には、聴取者の正面、右前方、左前方、右後方、左後方、低音出力用サブウーファースピーカの６つのスピーカから出力される。また、音波面再生用スピーカ５３１〜５３ｎからは、それぞれ異なる波面をもつ音が出力され、任意の位置に音像定位する波面合成が行われる。
【００７５】
この平面アレイスピーカ５０は、例えば、投写型プロジェクタ６０と組み合わせて使用することにより、ユーザはより臨場感のある音場を得ることができる。投写型プロジェクタ６０から出射された映像光は、音波面再生用スピーカ５３前面聴者側に置かれたスクリーン６１に投写される。スクリーン６１の背後に配置されたスピーカシステムから音場合成処理部２７で合成された合成音響信号が各スピーカから出力されると、上述した信号再生装置によって再合成された音場が構築される
【図面の簡単な説明】
【００７６】
【図１】本発明の第１の具体例として示す信号再生装置を説明する構成図である。
【図２】上記信号再生装置の音像情報抽出回路によって分離される周波数成分ｆ１の時間に対する強度を示す波形図である。
【図３】上記信号再生装置の音像情報抽出回路によって分離される周波数成分ｆ２の時間に対する強度を示す波形図である。
【図４】上記信号再生装置の音像情報抽出回路によって分離される周波数成分ｆ３の時間に対する強度を示す波形図である。
【図５】上記信号再生装置の音像情報抽出回路によって分離される周波数成分ｆ４の時間に対する強度を示す波形図である。
【図６】本発明の第２の具体例として示す信号再生装置を説明する構成図である。
【図７】本発明の第３の具体例として示す信号再生装置を説明する構成図である。
【図８】本発明の第４の具体例として示す信号再生装置を説明する構成図である。
【図９】本発明の具体例として示す信号再生装置で合成された音響信号を再生することのできるスピーカシステムの一例を説明する構成図である。
【符号の説明】
【００７７】
１，２，３，４ 信号再生装置、 １１ 光ディスク再生部、 １２ 信号分離回路、 １３ オーディオデコーダ、 １４ オーディオ信号処理回路、 １５ 字幕デコーダ、 １６ 字幕再生回路、 １７ ビデオデコーダ、 １８ ビデオ信号再生回路、 １９ 字幕合成回路、 ２０ ビデオ信号出力回路、 ２１ 多チャンネルアンプ、 ２２ オーディオ信号出力回路、 ２３ オーディオ信号再生処理部、 ２４ 音像情報抽出処理部、 ２５ 仮想音源位置算出処理部、 ２６ 音源信号算出処理部、 ２７ 音場合成処理部、 ２８，３３，３６ 識別コード生成部、 ２９，３４，３８ 検索処理部、 ３１，３７ ネットワークＩ／Ｆ、 ３２ 受信バッファ、 ３５ 識別コード入力部
【技術分野】
【０００１】
本発明は、信号再生装置及び信号再生方法に関し、特にマルチチャンネル方式と音場合成技術により音像を仮想音源位置に定位させる信号再生装置及び信号再生方法に関する。
【背景技術】
【０００２】
大容量記憶媒体、ネットワークを介したダウンロード又はストリームによるコンテンツ配信等をはじめとする情報伝達形態の発達と再生機器性能の進化により、家庭でも高画質、高音質で映像コンテンツ及び音楽コンテンツが楽しめるようになった。
【０００３】
ビデオデータ、音楽データ等の再生装置において臨場感や音質は、ユーザにとって善し悪しが比較的判断しやすい。例えば、ユーザがオーケストラ曲を聴くとき、仮想音場のなかで個々の楽器の位置が鮮明に感じられ、本物のオーケストラが眼前で演奏しているかのようなイメージが想起されることが好ましい。ユーザは、より現実味のある音声再生を望む傾向にあり、音を再生したときに音声或いは音楽を録音したときの音場が如何に忠実に再現できているかがユーザに機器特性の印象を与えてしまうことにもなるため、重要になっている。
【０００４】
例えば、２チャンネルステレオでは、再生音場の音像が虚音像として最適な場所に定位するようにＬ信号とＲ信号からなる２チャンネルステレオ信号の各信号チャンネルのバランスを調整し２つのスピーカから出力している。しかし、２チャンネルステレオの場合、虚音像は、音像が鮮明でなく、受聴位置が左右スピーカの中央からずれると音像の定位位置が変化してしまうという欠点があった。そこで、少なくとも左右に設置した２つのスピーカの中央位置、すなわち受聴者の正面位置にはより鮮明な音像が定位し且つ受聴位置が左右にずれても音像が中央に留まっているようにするために、左右の２チャンネルスピーカの中央にセンタスピーカを加えた３チャンネルステレオ方式、更に背面スピーカを加えた５．１チャンネルステレオ方式が存在する。
【０００５】
一方、従来一般的な２チャンネルステレオ信号は、３チャンネル、５．１チャンネルのような多チャンネルステレオ装置によっても再生できなければならない。そのために、２チャンネルステレオ信号からセンターチャンネルの信号や背面のＬチャンネルと背面のＲチャンネルの信号を生成することによって、２チャンネルステレオ信号を多チャンネル信号に変換できるようにした技術も公開されている（特許文献１参照）。
【０００６】
また、より現実味のある音場を再現するための技術としては、このほかにも、音場合成技術を用いて点音源や平面波を合成することにより５．１チャンネルステレオ信号を再生する技術（非特許文献１参照）、音場合成技術の仮想音源の位置制御技術を利用して音像位置を任意に動かす技術が開示されている（非特許文献２参照）。更に、混合された音響信号から特定の信号を抽出する一般調和信号解析技術があげられる（非特許文献３参照）。
【０００７】
【特許文献１】特表２００３−５１６０６９号公報
【非特許文献１】Spatial Sound in the Age of Fast Convolution Technologies,ICA2004, P.I-515〜P.I-518）
【非特許文献２】MONITORING DISTANCE EFFECT WITH WAVE FIELD SYNTHESIS, Proc. of the 6th Int. Conference on Digital Audio Effects(DAFX-03), London, UK, September 8-11,2003）
【非特許文献３】一般調和解析による音響信号の分離 日本音響学会講演論文集 Ｐ６０７−６０８ 平成８年９月
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところが、２チャンネルステレオ信号からセンターチャンネルの信号を合成する方法は、簡便ではあるが鮮明な音像を得られない。また、非特許文献３に説明されている一般調和信号解析技術により、従来の２チャンネルステレオ信号に含まれる音源の信号を抽出し、音源毎に独立した信号のチャンネルを作り出すには多くの信号処理が必要である。また生成されたチャンネルの信号処理の結果を検証し、処理条件を変えて再度信号処理をやり直すという繰り返し処理が必要になることもあるため、２チャンネルステレオ信号に対してリアルタイムで一般調和信号解析処理を実行し、検出結果を再合成して多チャンネルステレオ信号を生成しこれをリアルタイム再生することは困難であった。
【０００９】
そこで、本発明は、上述した従来の実情に鑑みて提案されたものであり、再現音場内の最適位置に鮮明な虚音像を定位することができる信号再生装置及びその方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した目的を達成するために、本発明に係る信号再生装置は、オーディオ信号が多重化された多チャンネルデータを再生する信号再生装置において、多チャンネルデータを取得する多チャンネルデータ取得手段と、多チャンネルデータから特定音像の音源情報と音像位置情報とを抽出する信号解析手段と、音源情報から音源信号を算出する音源信号算出手段と、抽出された特定音像の音像情報を変更し変更後の特定音像の音源信号を任意の仮想音源位置に配置する音場合成を行う音場合成手段とを備え、再現音場内の最適位置に鮮明な虚音像を定位する。
【００１１】
ここで、本発明に係る信号再生装置は、抽出された特定音像の音源情報と音像位置情報とにしたがって特定音像の仮想音源位置を算出する仮想音源位置算出手段を備え、この場合、音場合成手段は、音源信号算出手段において算出された音源信号を仮想音源算出手段で算出された仮想音源位置に配置する。
【００１２】
また、上述した目的を達成するために、本発明に係る信号再生方法は、オーディオ信号が多重化された多チャンネルデータを再生する信号再生方法において、多チャンネルデータを取得する多チャンネルデータ取得工程と、多チャンネルデータから特定音像の音源情報と音像位置情報を抽出する信号解析工程と、音源情報から音源信号を算出する音源信号算出工程と、抽出された特定音像の音像情報を変更し変更後の特定音像の音源信号を任意の仮想音源位置に配置する音場合成を行う音場合成工程とを有する。
【発明の効果】
【００１３】
本発明に係る信号再生装置及び信号再生方法によれば、再現音場内の最適位置に鮮明な虚音像を定位させた音場合成が可能になる。また、オーディオ信号が多重化された多チャンネルデータから特定音像の音源情報及び音像位置情報を分離して用意することで、音場解析と音場合成処理に係る処理負荷が軽減できる。
【発明を実施するための最良の形態】
【００１４】
本発明の具体例として示す信号再生装置は、マルチチャンネル方式で作成され、複数の音源情報を含む音楽データに対して、一般調和信号解析技術をはじめとする音源信号抽出と音場合成技術とを用いて、オーディオ信号から特定の音源信号を抽出し、この音源信号の音像を最適な仮想音源位置に定位させる信号処理を行う再生装置である。
【００１５】
なお、本発明では、オーディオ信号が多重化されたデータとは、例えば、複数の楽器で演奏された音楽データ、“演奏”と“歌声”とが含まれる音楽データのように複数の音源が含まれるオーディオデータであって、リニアＰＣＭ（Linear Pulse Code Modulation）、ドルビーデジタル、ＤＴＳ（Digital Theater Systems）、ＤＶＤ−Ａｕｄｉｏフォーマット、ＤＶＤ−Ｖｉｄｅｏフォーマットに決められたオーディオデータを含むが、いわゆるＭＩＤＩ（Musical Instrument Digital Interface）規格に準拠するデータのように、予めチャンネル毎（音源毎）に作成された複数パートのデータを合成（多重化）してできるオーディオデータは、本発明及び本発明の具体例では含まれない。
【００１６】
以下、本発明の第１の具体例として示す信号再生装置１について、図面を参照して詳細に説明する。信号再生装置１は、記録媒体から入力したオーディオデータを含むコンテンツデータを再生する再生装置である。
【００１７】
図１に示す信号再生装置１は、光ディスクを回転駆動し記録されたデータを読み出す光ディスク再生部１１と、読み出したデータを圧縮されたオーディオデータ、ビデオデータ、字幕データ、その他のデータ等に分離する信号分離回路１２とを備える。また、圧縮されたオーディオデータを復号するオーディオデコーダ１３と、復号されたオーディオデータを再生するとともに仮想音源の位置情報に応じて音場合成するオーディオ信号処理回路１４と、圧縮された字幕データを復号する字幕デコーダ１５と、復号された字幕を再生する字幕再生回路１６とを備えている。また、圧縮されたビデオデータを復号するビデオデコーダ１７と、復号されたビデオデータを再生するビデオ信号再生回路１８と、ビデオ信号に同期して字幕を合成する字幕合成回路１９と、字幕が合成されたビデオ信号を外部に出力するビデオ信号出力回路２０とを備える。
【００１８】
なお、オーディオデコーダ１３からの出力とこれに対応する音源信号算出処理部２６及びオーディオ信号再生処理部２３への入力、並びに音が合成処理部２７からの出力とこれに対応する多チャンネルアンプ２１への入力、オーディオ信号出力回路２２への入力及び出力は、チャンネル数に併せた信号線が用意されている。
【００１９】
オーディオデータ及びビデオデータとしては、ＭＰＥＧ１、ＭＰＥＧ２、ＡＶＩ、ＷＭＶ、ＷＭＡ等の各フォーマットが適用可能であるが、以下に説明する例では、光ディスクとしてＤＶＤ（Digital Versatile Disc）を使用する。この場合、ビデオデータはＭＰＥＧ（Moving Picture Experts Group）によって標準化されたＭＰＥＧ２であり、オーディオデータは、リニアＰＣＭ、ドルビーデジタル、ＤＴＳ、ＳＤＤＳ等が適用される。
【００２０】
オーディオ信号処理回路１４は、オーディオデコーダ１３で復号されたオーディオデータを再生するオーディオ信号再生処理部２３と、光ディスク再生部１１で再生された再生信号から音像情報を抽出する処理を行う音像情報抽出処理部２４と、仮想音源位置を算出する仮想音源位置算出処理部２５と、音像情報から音源信号を算出する音源信号算出処理部２６と、音源信号と仮想音源位置に基づいて音場を合成する音場合成処理部２７とを備える。
【００２１】
オーディオ信号再生処理部２３は、オーディオデコーダ１３で復号されたオーディオデータを再生し多チャンネルアンプ２１に送る。
【００２２】
音像情報抽出処理部２４は、光ディスク再生部１１が読み出したデータから音像情報と音像位置情報とを抽出し、抽出した音像情報及び音像位置情報を仮想音源位置算出処理部２５と音源信号算出処理部２６に送る。音源情報としては、オーディオデータを構成する楽器、音声等があげられる。また、音像情報抽出処理部２４は、一般調和信号解析により数種類の音源からの音が混在した音声波形から主要音源の時間変動に相関がある周波数成分を抽出する。例えば、音像情報抽出処理部２４は、一般調和信号解析によって、目的の女声ボーカル信号を構成する周波数成分を分離することができる。また、例えば中央位置に定位させる音源信号の周波数成分を分離することができる。
【００２３】
仮想音源位置算出処理部２５は、音像情報抽出処理部２４で抽出された音像位置情報にしたがって音場を合成すべき音源位置を算出する。ここで、音場合成すべき音源位置とは、後段の音場合成処理部２７の精度やスピーカ配置に応じた仮想音源の位置である。仮想音源位置算出処理部２５は、例えば中央位置に音像定位する音源信号であれば、聴取点からこの音仮想源信号までの仮想音源距離を、後段の音場合成処理部２７の精度やスピーカ配置に応じて計算して算出又は変更する。
【００２４】
音源信号算出処理部２６は、音像情報抽出処理部２４で一般調和信号解析によって音源毎に分離されたオーディオデータに仮想音源位置算出処理部２５で算出した音源位置に所定の音源を音像定位させるための制御パラメータを与える。図２〜図５には、オーディオデータから分離された周波数波形を示す。
【００２５】
音源信号算出処理部２６は、２チャンネルオーディオデータ、多チャンネルオーディオデータ等のオーディオデータから音像情報抽出処理部２４及び仮想音源位置算出処理部２５における解析結果に基づいて特定位置に音像定位する音源信号、パート毎に異なる音源信号を分離している。例えば、音源信号算出処理部２６は、音像情報抽出処理部２４で一般調和信号解析によって分離された目的の女声ボーカル信号を構成する周波数成分から女声ボーカルの音源信号を算出する。また、例えば中央位置に定位させる音源信号の周波数成分を分離することができる。音源信号算出処理部２６は、算出した音源信号を音場合成処理部２７に送る。
【００２６】
また、音源信号算出処理部２６は、分離した所定の周波数成分を広がり方向（水平方向）、又は奥行き方向に定位位置変更する制御パラメータを算出する。
【００２７】
音源音像を広がり方向（水平方向）に定位位置変更するための制御パラメータの変更例として、音源信号算出処理部２６は、例えば、観測点と仮想音源との方向に関して、後述する音場合成処理部２７の精度が１０°刻み程度の精度でしか音場合成できない場合には、音像方向８°刻みの音像位置変化を生じさせるパラメータを１０°に再変換する。また、スピーカ配置上の制約で横方向に４０°の範囲内にしか音像配置できない場合には、音像位置５０°という音像位置変化を生じさせるパラメータは４０°に再変換する。
【００２８】
また、観測点と仮想音源との距離である音像位置距離データについても同様である。一般的に、３メートル以上の遠方の音源に対しては人間の距離知覚の精度が低下することが知られている。そこで音源信号算出処理部２６は、音源音像を奥行き方向に定位位置変更するための制御パラメータの変更例として、例えば、音像距離５メートル程度の距離変化を生じさせるパラメータを音源位置３メートル程度に音像定位させるパラメータに変換し、音像距離８メートル程度の距離変化を生じさせるパラメータを音源距離１０メートルに再変換する。
【００２９】
また、音源信号算出処理部２６は、分離された音源に基づいて新たな音源信号を作成することもできる。例えば、音像情報抽出処理部２４によって分離された特定音源の音源信号を別の位置に定位させるパラメータを算出したり、特定音源と周波数が若干異なる音源信号を生じるための制御パラメータを算出したりする。これにより、ある音源に対していわゆるユニゾンする別の音源、或いはある音源とハーモニーを生じる別の音源の周波数成分を生成することができる。
【００３０】
音場合成処理部２７は、音源信号算出処理部２６によって算出された音源信号を仮想音源位置算出処理部２５で算出された仮想音源位置に配置する音場合成を行う。このとき、音場合成処理部２７は、ピッチ変更、タイミング変更、エンベロープジェネレータのうち１又は組合せにより、抽出された音源信号を仮想音源位置に再配置する音場合成を行う。また、音場合成処理部２７は、中央位置に音像定位する音源信号が取り除かれたインテンシティステレオ信号を通常のインテンシティステレオ再生し、分離した音源信号を中央位置に再配置する音場合成を行う。
【００３１】
オーディオ信号出力回路２２にオーディオ信号の出力手段の一例として平面アレイスピーカが使用される場合、音場合成処理部２７は、中央位置から同心円状に広がる音波を出力するためのアレイスピーカ駆動用のデジタルフィルタ係数を算出し、目的のボーカル信号に畳み込み演算を行う。
【００３２】
図２〜図５は、音像情報抽出処理部２４によって分離された周波数成分を示している。図２〜図５において横軸は時間であり、縦軸は信号レベルを表している。図２に示す周波数成分ｆ１の信号レベルと図３に示す周波数成分ｆ２の信号レベルは、互いに時間変動に強い相関があるため、音場合成処理部２７は、ｆ１とｆ２を同じ音源として音像定位する。また、音場合成処理部２７は、同様に、図４に示す周波数成分ｆ３と図５に示す周波数成分ｆ４とを同じ音源として音像定位する。
【００３３】
音源信号算出処理部２６は、元のオーディオ信号から一般調和信号解析によって分離された図２〜図５に示す周波数成分ｆ１〜ｆ４に対して、互いに時間変動に強い相関があるものを同じ音源とし、再生空間内における同一位置に定位させるための制御パラメータを与える。音場合成処理部２７は、与えられた制御パラメータを抽出した周波数成分に、例えばｆ１とｆ２に重畳して再合成する。そして、この抽出した音源の周波数成分に所定の音源に、同じ音源として音像定位させるためのパラメータが与えられ、所定の楽器の周波数成分として再合成する。
【００３４】
続く多チャンネルアンプ２１は、アレイスピーカ用の多チャンネル信号を増幅するとともに、オーディオ信号のうち再合成されなかった音源信号を２チャンネル又は５．１チャンネルで再生するための増幅を行う。例えば、多チャンネルアンプ２１は、上述のようにボーカル信号が音場の再合成をするために分離された場合、ボーカル信号をアレイスピーカ用に多チャンネルで増幅し、ボーカル信号成分が分離された後のオーディオ信号をＬチャンネル信号、Ｒチャンネル信号の２チャンネルで増幅する。
【００３５】
上述した構成を有する信号再生装置１が光ディスクから読み出したコンテンツデータを再生する動作について説明する。
【００３６】
光ディスク再生部１１は、光ディスクを回転駆動しＤＶＤに記録されたデータを読み出す。光ディスク再生部１１によって読み出されたデータは、信号分離回路１２において、圧縮されたオーディオデータ、圧縮されたビデオデータ、字幕データ、その他のデータ等に分離される。圧縮されたオーディオデータは、オーディオデコーダ１３で復号された後、オーディオ信号処理回路１４のオーディオ信号再生処理部２３に送られる。オーディオ信号再生処理部２３は、復号されたオーディオデータを再生し多チャンネルアンプ２１に送る。
【００３７】
光ディスク再生部１１によって読み出されたデータは、オーディオ信号処理回路１４の音像情報抽出処理部２４にも送られる。音像情報抽出処理部２４は、一般調和信号解析によって、再生信号から音源毎の音像情報と音像位置情報とを抽出し、抽出した音像情報及び音像位置情報を仮想音源位置算出処理部２５と音源信号算出処理部２６に送る。仮想音源位置算出処理部２５では、音像情報抽出処理部２４で抽出された音像位置情報にしたがって音場を合成すべき音源位置が算出される。また、音源信号算出処理部２６では、音像情報抽出処理部２４で一般調和信号解析によって音源毎に分離されたオーディオデータに仮想音源位置算出処理部２５で算出した音源位置に所定の音源を音像定位させるための制御パラメータが与えられる。
【００３８】
音場合成処理部２７は、音源信号算出処理部２６によって算出された音源信号と制御パラメータに基づいて、仮想音源位置算出処理部２５で算出された仮想音源位置に配置する音場合成を行う。このとき、音場合成処理部２７は、ピッチ変更、タイミング変更、エンベロープジェネレータのうち１又は組合せにより、抽出された音源信号を仮想音源位置に再配置する音場合成を行う。音場合成処理部２７において音場が再合成されたオーディオ信号は、多チャンネルアンプ２１に送られる。多チャンネルアンプ２１では、特定の音声信号、例えばボーカル信号成分が分離された場合、分離されたボーカル信号を多チャンネルで増幅し、ボーカル信号成分が分離された後のオーディオ信号をＬチャンネル信号、Ｒチャンネル信号の２チャンネルで増幅する。
【００３９】
一方、ビデオデータと字幕データは、ビデオデコーダ１７、字幕デコーダ１５に送られ、続く字幕再生回路１６或いはビデオ信号再生回路１８で再生される。字幕信号とビデオ信号は、字幕合成回路１９においてビデオ信号に同期して映像に字幕が合成される。音場が再合成されたオーディオ信号はオーディオ信号出力回路２２から、字幕が合成されたビデオ信号はビデオ信号出力回路２０から互いに同期され外部のスピーカシステム、表示装置等に出力される。
【００４０】
したがって、信号再生装置１は、音像情報抽出処理部２４においてオーディオデータに含まれる音源毎の楽音を分離算出し、音源信号算出処理部２６において聴取点に近い音源を聴取者の距離知覚が敏感な位置に変更し、遠くに定位される音像をより遠くに再配置するパラメータを算出し、仮想音源位置算出処理部２５において算出された仮想音源位置に特定の音源信号を再合成し、再生される仮想音場を再構築することにより、視聴者の臨場感を高めることができる。上述した信号再生装置１は、本発明の基本的な構成を実現したものである。
【００４１】
以下では、本発明のほかの応用例について説明する。本発明の第２の具体例として信号再生装置２を図６に示す。図２に示す信号再生装置２は、音像毎の音源情報及び音像位置情報が多チャンネルのオーディオデータから独立して、例えば、楽曲、映画等といったコンテンツ毎にメタデータとして用意されていることが特徴である。そして、このメタデータは、コンテンツと対応づけるためにコンテンツを識別するための識別コードに対応して予め所定の領域に格納されている。ここで識別コードとは、所定のルールを用いてオーディオデータ等のコンテンツデータの一部から生成されたコンテンツ毎に固有な情報である。
【００４２】
そのため、信号再生装置２は、オーディオデータから切り離されてコンテンツ毎に所定領域に格納された音源情報及び音像位置情報を読み出すために必要な識別コードを、この識別コードを光ディスクに格納したと同じ手順で生成する識別コード生成部２８と、ここで生成された識別コードに対応するメタデータを光ディスクから検索する検索処理部２９とを備えることを特徴としている。なお、図６に示す信号再生装置２において、図１に示した信号再生装置１と同様の機能を有する構成は、同一の番号を付けて詳細な説明を省略する。
【００４３】
識別コード生成部２８は、オーディオデータから切り離されてメタデータとして所定領域に格納された音源情報及び音像位置情報を読み出すために必要な識別コードを、多チャンネルデータの一部から生成する。識別コードとしては、ＴＯＣに記録されているトラック数、各トラックの演奏時間等のデータ、またこれらを組み合わせたデータのほか、多チャンネルデータそのものに対して所定の符号化を施して得られるデータ等があげられる。
【００４４】
検索処理部２９は、識別コード生成部２８で生成されたコンテンツを特定するための識別コードに応じて演奏対象となっている楽曲の識別コードを多重化されたデータから検索する。
【００４５】
上述した構成を有する信号再生装置２が光ディスクから読み出したコンテンツデータを再生する動作について説明する。
【００４６】
光ディスク再生部１１によって読み出されたデータは、信号分離回路１２において、圧縮されたオーディオデータ、圧縮されたビデオデータ、字幕データ、その他のデータ等に分離される。圧縮されたオーディオデータは、オーディオデコーダ１３で復号された後、オーディオ信号処理回路１４のオーディオ信号再生処理部２３に送られる。オーディオ信号再生処理部２３は、復号されたオーディオデータを再生し多チャンネルアンプ２１に送る。
【００４７】
オーディオ信号処理回路１４の識別コード生成部２８は、光ディスク再生部１１で読み出されたデータから作成時と同様のルールで識別コードを生成する。そして、検索処理部２９は、生成された識別コードに応じて、演奏対象の楽曲の音源情報及び音像位置情報のデータを多重化されたデータから検索する。
【００４８】
信号再生装置２では、音像情報抽出処理部２４は、検索処理部２９が検索して得たメタデータから音源毎の音像情報と音像位置情報とを抽出し、抽出した音像情報及び音像位置情報を仮想音源位置算出処理部２５と音源信号算出処理部２６に送る。仮想音源位置算出処理部２５では、音像情報抽出処理部２４で抽出された音像位置情報にしたがって音場を合成すべき音源位置が算出される。また、音源信号算出処理部２６では、音像情報抽出処理部２４で音源毎に分離されたオーディオデータに仮想音源位置算出処理部２５で算出した音源位置に所定の音源を音像定位させるための制御パラメータが与えられる。
【００４９】
音場合成処理部２７は、音源信号算出処理部２６によって算出された音源信号と制御パラメータに基づいて、仮想音源位置算出処理部２５で算出された仮想音源位置に配置する音場合成を行う。このとき、音場合成処理部２７は、ピッチ変更、タイミング変更、エンベロープジェネレータのうち１又は組合せにより、抽出された音源信号を仮想音源位置に再配置する音場合成を行う。音場合成処理部２７において音場が再合成されたオーディオ信号は、多チャンネルアンプ２１に送られ、分離された特定の音源信号を多チャンネルで増幅され、特定の音源信号成分が分離された後のオーディオ信号を２チャンネルで増幅される。字幕信号とビデオ信号は、字幕合成回路１９においてビデオ信号に同期して映像に字幕が合成され、音場が再合成されたオーディオ信号はオーディオ信号出力回路２２から、また字幕が合成されたビデオ信号はビデオ信号出力回路２０から、互いに同期されて外部のスピーカシステム、表示装置等に出力される。
【００５０】
上述したように信号再生装置２は、音像毎の音源情報及び音像位置情報を多チャンネルのオーディオデータから独立してメタデータとして用意し、更にメタデータを識別コードに対応して予め所定の領域に格納したことにより、一般調和信号解析等による音源抽出処理にかかる演算量を低減することができる。また、音像情報抽出処理部２４において音源毎の信号を分離し、音源信号算出処理部２６において聴取点に近い音源を聴取者の距離知覚が敏感な位置に変更し、遠くに定位される音像をより遠くに再配置するパラメータを算出し、仮想音源位置算出処理部２５において算出された仮想音源位置に特定の音源信号を再合成し、再生される仮想音場を再構築することにより、視聴者の臨場感を高めることができる。
【００５１】
続いて、本発明の第３の具体例として信号再生装置３を図７に示す。図７では、図１及び図６に示す信号再生装置と同様の機能を有する構成に関しては同一の番号を付けて詳細な説明を省略する。図７に示す信号再生装置３は、上述した多チャンネルのオーディオデータが光ディスクのようないわゆるパッケージングメディアとして提供される場合でなく、ネットワークを介して送られる場合である。そして更に、信号再生装置３では、音像毎の音源情報及び音像位置情報が多チャンネルのオーディオデータから独立して、メタデータとして用意されており、多チャンネルデータとメタデータが混合されてネットワークを介して提供されることが特徴である。
【００５２】
そのため、信号再生装置３は、光ディスク再生部１１の代わりに、無線又は有線接続されるローカルエリアネットワーク、オリジナルネットワーク、いわゆるインターネット等のネットワークに接続するネットワークインターフェイス（以下、ネットワークＩ／Ｆという。）３１と、ネットワークを介して送られたオーディオデータ等のコンテンツデータを一時的に記憶する受信バッファ３２を備えている。ネットワークの通信プロトコルとしては、ＴＣＰ／ＩＰをはじめとする汎用プロトコルがあげられる。
【００５３】
また、信号再生装置３は、コンテンツ毎に作成された音源情報及び音像位置情報のメタデータを読み出すために必要な識別コードをこのコンテンツの識別コードを送信するときと同じ手順で生成する識別コード生成部３３と、ここで生成された識別コードに対応するメタデータをネットワークから受け取ったデータ中から検索する検索処理部３４とを備えている。
【００５４】
なお、図７に示す信号再生装置３において、ネットワークを介して伝送されるオーディオデータは、リアルタイム再生を可能とするストリームデータであってもよいし、いわゆるダウンロードのような一括伝送データであってもよい。また、信号再生装置３は、識別コード入力部３５を備え、ユーザによって、識別コードが直接入力できてもよい。
【００５５】
上述した構成を有する信号再生装置３がネットワークを介して受信したコンテンツデータを再生する動作について説明する。
【００５６】
ネットワークＩ／Ｆ３１で受け取ったデータは、受信バッファ３２に一時的に記憶され、信号分離回路１２において、圧縮されたオーディオデータ、圧縮されたビデオデータ、字幕データ、その他のデータ等に分離される。圧縮されたオーディオデータは、オーディオデコーダ１３で復号された後、オーディオ信号処理回路１４のオーディオ信号再生処理部２３に送られる。オーディオ信号再生処理部２３は、復号されたオーディオデータを再生し多チャンネルアンプ２１に送る。
【００５７】
オーディオ信号処理回路１４の識別コード生成部３３は、ネットワークＩ／Ｆ３１で受け取ったデータから作成時と同様のルールで識別コードを生成する。そして、検索処理部３４は、生成された識別コードに応じて、演奏対象の楽曲のメタデータを多重化されたデータから検索する。
【００５８】
信号再生装置３では、音像情報抽出処理部２４は、検索処理部２９が検索して得たメタデータから音源毎の音像情報と音像位置情報とを抽出し、抽出した音像情報及び音像位置情報を仮想音源位置算出処理部２５と音源信号算出処理部２６に送る。仮想音源位置算出処理部２５では、音像情報抽出処理部２４で抽出された音像位置情報にしたがって音場を合成すべき音源位置が算出される。また、音源信号算出処理部２６では、音像情報抽出処理部２４で音源毎に分離されたオーディオデータに仮想音源位置算出処理部２５で算出した音源位置に所定の音源を音像定位させるための制御パラメータが与えられる。
【００５９】
音場合成処理部２７は、音源信号算出処理部２６によって算出された音源信号と制御パラメータに基づいて抽出された音源信号を仮想音源位置に再配置する音場合成を行う。音場合成処理部２７において音場が再合成されたオーディオ信号は、多チャンネルアンプ２１に送られ、分離された特定の音源信号を多チャンネルで増幅され、特定の音源信号成分が分離された後のオーディオ信号を２チャンネルで増幅される。字幕信号とビデオ信号は、字幕合成回路１９においてビデオ信号に同期して映像に字幕が合成され、音場が再合成されたオーディオ信号はオーディオ信号出力回路２２から、また字幕が合成されたビデオ信号はビデオ信号出力回路２０から、互いに同期されて外部のスピーカシステム、表示装置等に出力される。
【００６０】
上述したように信号再生装置３は、音像毎の音源情報及び音像位置情報を多チャンネルのオーディオデータから独立してメタデータとして用意し、更にメタデータを識別コードに対応して予め所定の領域に格納したことにより、一般調和信号解析等による音源抽出処理にかかる演算量を低減することができる。したがって、信号再生装置３は、音源毎の信号を分離し、聴取点に近い音源を聴取者の距離知覚が敏感な位置に変更し、遠くに定位される音像をより遠くに再配置するパラメータを算出し、仮想音源位置に特定の音源信号を再合成し、再生される仮想音場を再構築するという信号処理がネットワークを介して送信されるオーディオデータ等のコンテンツデータに対してもリアルタイムに可能になる。
【００６１】
次に、本発明の第４の具体例として信号再生装置４を図８に示す。図８に示す信号再生装置４は、多チャンネルのオーディオデータから独立して音像毎の音源情報及び音像位置情報がメタデータとして用意されているのは同一であるが、オーディオデータは光ディスクから、また音源情報及び音像位置情報はネットワークを介して信号再生装置４に送られることを特徴としている。
【００６２】
そのため、信号再生装置４は、コンテンツ毎に作成された音源情報及び音像位置情報のメタデータを読み出すために必要な識別コードをこのコンテンツの識別コードを送信するときと同じ手順で生成する識別コード生成部３６と、無線又は有線接続されるローカルエリアネットワーク又はオリジナルネットワーク、いわゆるインターネット等のネットワークに接続するネットワークインターフェイス（以下、ネットワークＩ／Ｆという。）３６と、識別コード生成部３６で生成された識別コードに対応するメタデータをネットワークから受け取ったデータ中から検索する検索処理部３８とを備えている。信号再生装置４は、図８には図示していないがネットワークを介して送られたオーディオデータ等のコンテンツデータを一時的に記憶する受信バッファを備えている。ネットワークの通信プロトコルとしては、ＴＣＰ／ＩＰをはじめとする汎用プロトコルがあげられる。なお、図８に示すに示す信号再生装置４において、図１、図６及び図７に示す信号再生装置と同様の機能を有する構成に関しては同一の番号を付けて詳細な説明を省略する。
【００６３】
上述した構成を有する信号再生装置４が光ディスクから読み出したコンテンツデータを再生する動作について説明する。
【００６４】
光ディスク再生部１１で読み出されたデータは、信号分離回路１２において、圧縮されたオーディオデータ、圧縮されたビデオデータ、字幕データ、その他のデータ等に分離される。圧縮されたオーディオデータは、オーディオデコーダ１３で復号された後、オーディオ信号処理回路１４のオーディオ信号再生処理部２３に送られる。オーディオ信号再生処理部２３は、復号されたオーディオデータを再生し多チャンネルアンプ２１に送る。
【００６５】
オーディオ信号処理回路１４の識別コード生成部３６は、ネットワークＩ／Ｆ３７で受け取った識別コードを検索処理部３８に送る。検索処理部３８は、生成された識別コードに応じて、演奏対象の楽曲のメタデータを多重化されたデータから検索する。
【００６６】
光ディスク再生部１１から読み出されたデータは、信号分離回路１２において、圧縮されたオーディオデータ、圧縮されたビデオデータ、字幕データ、その他のデータ等に分離される。圧縮されたオーディオデータは、オーディオデコーダ１３で復号された後、オーディオ信号処理回路１４のオーディオ信号再生処理部２３に送られる。オーディオ信号再生処理部２３は、復号されたオーディオデータを再生し多チャンネルアンプ２１に送る。
【００６７】
信号再生装置４では、音像情報抽出処理部２４は、検索処理部２９が検索して得たメタデータから音源毎の音像情報と音像位置情報とを抽出し、抽出した音像情報及び音像位置情報を仮想音源位置算出処理部２５と音源信号算出処理部２６に送る。仮想音源位置算出処理部２５では、音像情報抽出処理部２４で抽出された音像位置情報にしたがって音場を合成すべき音源位置が算出される。また、音源信号算出処理部２６では、音像情報抽出処理部２４で音源毎に分離されたオーディオデータに仮想音源位置算出処理部２５で算出した音源位置に所定の音源を音像定位させるための制御パラメータが与えられる。
【００６８】
音場合成処理部２７は、音源信号算出処理部２６によって算出された音源信号と制御パラメータに基づいて抽出された音源信号を仮想音源位置に再配置する音場合成を行う。音場合成処理部２７において音場が再合成されたオーディオ信号は、多チャンネルアンプ２１に送られ、分離された特定の音源信号を多チャンネルで増幅され、特定の音源信号成分が分離された後のオーディオ信号を２チャンネルで増幅される。字幕信号とビデオ信号は、字幕合成回路１９においてビデオ信号に同期して映像に字幕が合成され、音場が再合成されたオーディオ信号はオーディオ信号出力回路２２から、また字幕が合成されたビデオ信号はビデオ信号出力回路２０から、互いに同期されて外部のスピーカシステム、表示装置等に出力される。
【００６９】
上述したように信号再生装置４は、音像毎の音源情報及び音像位置情報を多チャンネルのオーディオデータから独立してメタデータとして用意して、これをネットワークから受け取る。そして、オーディオデータは光ディスクで提供されることにより、一般調和信号解析等による音源抽出処理にかかる演算量を低減することができる。したがって、信号再生装置４は、音源毎の信号を分離し、聴取点に近い音源を聴取者の距離知覚が敏感な位置に変更し、遠くに定位される音像をより遠くに再配置するパラメータを算出し、仮想音源位置に特定の音源信号を再合成し、再生される仮想音場を再構築するという信号処理がネットワークを介して送信されるオーディオデータ等のコンテンツデータに対してもリアルタイムに可能になる。
【００７０】
また例えば、信号再生装置４では、オーディオデータ等のコンテンツデータを提供する提供業者が過去に発売されたＣＤ、ＤＶＤ等のコンテンツについての音源情報及び音像位置情報が記述されたメタデータをＷｅｂページ上で提供するなどして旧来資産であるコンテンツに対しても仮想音場を再構築する信号処理を実行することにより視聴者の臨場感を高めることができる。
【００７１】
図１、図６、図７、図８に示した信号再生装置の多チャンネルアンプ２１及びオーディオ信号出力回路２２の出力先として適用可能なスピーカシステムの具体例について説明する。
【００７２】
図９に示すスピーカシステム５０は、音波面再生用多チャンネル音響増幅回路５１と、５．１チャンネル用多チャンネル音響増幅回路５２と、音波面再生用スピーカ５３１、５３２、・・・、５３ｎと、聴取者の正面スピーカ５４１、右前方スピーカ５４２、左前方スピーカ５４３、右後方スピーカ５４４、左後方スピーカ５４５、低音出力用サブウーファースピーカ５４６の６つのスピーカからなる５．１チャンネル用スピーカシステムとを備えている。
【００７３】
スピーカシステム５０は、図１、図６、図７、図８に示した信号再生装置における多チャンネルアンプ２１及びオーディオ信号出力回路２２を含んで構成されており、多チャンネルアンプ２１は、音波面用多チャンネル音響増幅回路５１及び５．１チャンネル用音響増幅回路５２に相当する。したがって、音波面用多チャンネル音響増幅回路５１、５．１チャンネル用音響増幅回路５２には、音源信号算出処理部２６によって算出された音源信号と制御パラメータに基づいて仮想音源位置算出処理部２５で算出された仮想音源位置に再配置するための音場合成が行われたオーディオ信号が音場合成処理部２７から送られるようになっている。
【００７４】
オーディオデータは、音波面用多チャンネル音響増幅回路５１、５．１チャンネル用音響増幅回路５２によってチャンネル毎に増幅され、音声出力デバイスとしてのスピーカから出力される。５．１チャンネルサラウンド方式の場合には、聴取者の正面、右前方、左前方、右後方、左後方、低音出力用サブウーファースピーカの６つのスピーカから出力される。また、音波面再生用スピーカ５３１〜５３ｎからは、それぞれ異なる波面をもつ音が出力され、任意の位置に音像定位する波面合成が行われる。
【００７５】
この平面アレイスピーカ５０は、例えば、投写型プロジェクタ６０と組み合わせて使用することにより、ユーザはより臨場感のある音場を得ることができる。投写型プロジェクタ６０から出射された映像光は、音波面再生用スピーカ５３前面聴者側に置かれたスクリーン６１に投写される。スクリーン６１の背後に配置されたスピーカシステムから音場合成処理部２７で合成された合成音響信号が各スピーカから出力されると、上述した信号再生装置によって再合成された音場が構築される
【図面の簡単な説明】
【００７６】
【図１】本発明の第１の具体例として示す信号再生装置を説明する構成図である。
【図２】上記信号再生装置の音像情報抽出回路によって分離される周波数成分ｆ１の時間に対する強度を示す波形図である。
【図３】上記信号再生装置の音像情報抽出回路によって分離される周波数成分ｆ２の時間に対する強度を示す波形図である。
【図４】上記信号再生装置の音像情報抽出回路によって分離される周波数成分ｆ３の時間に対する強度を示す波形図である。
【図５】上記信号再生装置の音像情報抽出回路によって分離される周波数成分ｆ４の時間に対する強度を示す波形図である。
【図６】本発明の第２の具体例として示す信号再生装置を説明する構成図である。
【図７】本発明の第３の具体例として示す信号再生装置を説明する構成図である。
【図８】本発明の第４の具体例として示す信号再生装置を説明する構成図である。
【図９】本発明の具体例として示す信号再生装置で合成された音響信号を再生することのできるスピーカシステムの一例を説明する構成図である。
【符号の説明】
【００７７】
１，２，３，４ 信号再生装置、 １１ 光ディスク再生部、 １２ 信号分離回路、 １３ オーディオデコーダ、 １４ オーディオ信号処理回路、 １５ 字幕デコーダ、 １６ 字幕再生回路、 １７ ビデオデコーダ、 １８ ビデオ信号再生回路、 １９ 字幕合成回路、 ２０ ビデオ信号出力回路、 ２１ 多チャンネルアンプ、 ２２ オーディオ信号出力回路、 ２３ オーディオ信号再生処理部、 ２４ 音像情報抽出処理部、 ２５ 仮想音源位置算出処理部、 ２６ 音源信号算出処理部、 ２７ 音場合成処理部、 ２８，３３，３６ 識別コード生成部、 ２９，３４，３８ 検索処理部、 ３１，３７ ネットワークＩ／Ｆ、 ３２ 受信バッファ、 ３５ 識別コード入力部
【特許請求の範囲】
【請求項１】
オーディオ信号が多重化された多チャンネルデータを再生する信号再生装置において、
上記多チャンネルデータを取得する多チャンネルデータ取得手段と、
上記多チャンネルデータから特定音像の音源情報と音像位置情報とを抽出する信号解析手段と、
上記音源情報から音源信号を算出する音源信号算出手段と、
上記抽出された特定音像の音源情報を変更し変更後の特定音像の音源信号を任意の仮想音源位置に配置する音場合成を行う音場合成手段と
を備えることを特徴とする信号再生装置。
【請求項２】
上記抽出された特定音像の音源情報と上記音像位置情報とにしたがって上記特定音像の仮想音源位置を算出する仮想音源位置算出手段を備え、上記音場合成手段は、上記音源信号算出手段において算出された音源信号を上記仮想音源位置に配置することを特徴とする請求項１記載の信号再生装置。
【請求項３】
上記音源信号算出手段は上記音源情報に基づいて新たな音源信号を算出し、上記音場合成手段は上記新たな音源信号を任意の仮想音源位置に配置することを特徴とする請求項２記載の信号再生装置。
【請求項４】
上記音源信号算出手段は、上記特定音像の音源信号を奥行き方向に配置変更した音源信号を算出することを特徴とする請求項１記載の信号再生装置。
【請求項５】
上記多チャンネルデータは、インテンシティステレオ信号であって、上記音源信号算出手段は上記信号解析手段における解析結果に基づいて上記インテンシティステレオ信号から中央位置に音像定位する音源信号のみを分離し、上記音場合成手段は上記中央位置に音像定位する音源信号が取り除かれたインテンシティステレオ信号を通常のインテンシティステレオ再生するとともに上記分離した音源信号を中央位置に再配置することを特徴とする請求項１記載の信号再生装置。
【請求項６】
音像毎の音源情報及び音像位置情報が上記多チャンネルデータから独立して用意されていることを特徴とする請求項１記載の信号再生装置。
【請求項７】
上記記録媒体には、上記音源情報及び音像位置情報が多チャンネルデータの一部から生成された各コンテンツ固有のデータ識別情報に対応づけて所定領域に格納され、上記多チャンネルデータを特定するデータ識別情報を該多チャンネルデータの一部から生成するデータ識別情報生成手段と、上記生成されたデータ識別情報に対応する上記音源情報及び音像位置情報を上記領域から検索する検索手段とを備えることを特徴とする請求項６記載の信号再生装置。
【請求項８】
上記多チャンネルデータと、該多チャンネルデータから独立して用意された上記音像毎の音源情報及び音像位置情報は、ネットワークを介して提供されることを特徴とする請求項６記載の信号再生装置。
【請求項９】
上記多チャンネルデータは記録媒体に格納されて提供され、上記音像毎の音源情報及び音像位置情報はネットワークを介して提供されることを特徴とする請求項６記載の信号再生装置。
【請求項１０】
オーディオ信号が多重化された多チャンネルデータを再生する信号再生方法において、
上記多チャンネルデータを取得する多チャンネルデータ取得工程と、
上記多チャンネルデータから特定音像の音源情報と音像位置情報を抽出する信号解析工程と、
上記音源情報から音源信号を算出する音源信号算出工程と、
上記抽出された特定音像の音像情報を変更し変更後の特定音像の音源信号を任意の仮想音源位置に配置する音場合成を行う音場合成工程と
を有することを特徴とする信号再生方法。
【請求項１１】
上記抽出された特定音像の音像情報と上記音像位置情報とにしたがって上記特定音像の仮想音源位置を算出する仮想音源位置算出工程を有し、
上記音場合成工程では、上記音源信号算出工程で算出された音源信号を上記仮想音源位置に配置することを特徴とする請求項１０記載の信号再生方法。
【請求項１】
オーディオ信号が多重化された多チャンネルデータを再生する信号再生装置において、
上記多チャンネルデータを取得する多チャンネルデータ取得手段と、
上記多チャンネルデータから特定音像の音源情報と音像位置情報とを抽出する信号解析手段と、
上記音源情報から音源信号を算出する音源信号算出手段と、
上記抽出された特定音像の音源情報を変更し変更後の特定音像の音源信号を任意の仮想音源位置に配置する音場合成を行う音場合成手段と
を備えることを特徴とする信号再生装置。
【請求項２】
上記抽出された特定音像の音源情報と上記音像位置情報とにしたがって上記特定音像の仮想音源位置を算出する仮想音源位置算出手段を備え、上記音場合成手段は、上記音源信号算出手段において算出された音源信号を上記仮想音源位置に配置することを特徴とする請求項１記載の信号再生装置。
【請求項３】
上記音源信号算出手段は上記音源情報に基づいて新たな音源信号を算出し、上記音場合成手段は上記新たな音源信号を任意の仮想音源位置に配置することを特徴とする請求項２記載の信号再生装置。
【請求項４】
上記音源信号算出手段は、上記特定音像の音源信号を奥行き方向に配置変更した音源信号を算出することを特徴とする請求項１記載の信号再生装置。
【請求項５】
上記多チャンネルデータは、インテンシティステレオ信号であって、上記音源信号算出手段は上記信号解析手段における解析結果に基づいて上記インテンシティステレオ信号から中央位置に音像定位する音源信号のみを分離し、上記音場合成手段は上記中央位置に音像定位する音源信号が取り除かれたインテンシティステレオ信号を通常のインテンシティステレオ再生するとともに上記分離した音源信号を中央位置に再配置することを特徴とする請求項１記載の信号再生装置。
【請求項６】
音像毎の音源情報及び音像位置情報が上記多チャンネルデータから独立して用意されていることを特徴とする請求項１記載の信号再生装置。
【請求項７】
上記記録媒体には、上記音源情報及び音像位置情報が多チャンネルデータの一部から生成された各コンテンツ固有のデータ識別情報に対応づけて所定領域に格納され、上記多チャンネルデータを特定するデータ識別情報を該多チャンネルデータの一部から生成するデータ識別情報生成手段と、上記生成されたデータ識別情報に対応する上記音源情報及び音像位置情報を上記領域から検索する検索手段とを備えることを特徴とする請求項６記載の信号再生装置。
【請求項８】
上記多チャンネルデータと、該多チャンネルデータから独立して用意された上記音像毎の音源情報及び音像位置情報は、ネットワークを介して提供されることを特徴とする請求項６記載の信号再生装置。
【請求項９】
上記多チャンネルデータは記録媒体に格納されて提供され、上記音像毎の音源情報及び音像位置情報はネットワークを介して提供されることを特徴とする請求項６記載の信号再生装置。
【請求項１０】
オーディオ信号が多重化された多チャンネルデータを再生する信号再生方法において、
上記多チャンネルデータを取得する多チャンネルデータ取得工程と、
上記多チャンネルデータから特定音像の音源情報と音像位置情報を抽出する信号解析工程と、
上記音源情報から音源信号を算出する音源信号算出工程と、
上記抽出された特定音像の音像情報を変更し変更後の特定音像の音源信号を任意の仮想音源位置に配置する音場合成を行う音場合成工程と
を有することを特徴とする信号再生方法。
【請求項１１】
上記抽出された特定音像の音像情報と上記音像位置情報とにしたがって上記特定音像の仮想音源位置を算出する仮想音源位置算出工程を有し、
上記音場合成工程では、上記音源信号算出工程で算出された音源信号を上記仮想音源位置に配置することを特徴とする請求項１０記載の信号再生方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００６−２７９５５５（Ｐ２００６−２７９５５５Ａ）
【公開日】平成１８年１０月１２日（２００６．１０．１２）
【国際特許分類】
【出願番号】特願２００５−９５７１３（Ｐ２００５−９５７１３）
【出願日】平成１７年３月２９日（２００５．３．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１８年１０月１２日（２００６．１０．１２）
【国際特許分類】
【出願日】平成１７年３月２９日（２００５．３．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]