マルチチャンネル音響信号のダウンミックス装置及びプログラム
【課題】マルチチャンネル音響信号をダウンミックスして再生チャンネル数分のダウンミックス音響信号を生成するダウンミックス装置及びプログラムを提供する。
【解決手段】ダウンミックス装置1は、マルチチャンネル音響信号と関連付けて多重される音響チャンネル関連メタデータの多重信号を受信して、該音響チャンネル関連メタデータ内の音響方式に関するパラメータを分離して抽出する音響チャンネル関連メタデータ分離部11と、前記音響方式に関するパラメータと、当該ダウンミックス装置に予め設定される再生チャンネル数に基づいて、各再生チャンネルのマルチチャンネル音響信号のうちベース音響チャンネル信号と付随音響チャンネル信号を選択して決定。
【解決手段】ダウンミックス装置1は、マルチチャンネル音響信号と関連付けて多重される音響チャンネル関連メタデータの多重信号を受信して、該音響チャンネル関連メタデータ内の音響方式に関するパラメータを分離して抽出する音響チャンネル関連メタデータ分離部11と、前記音響方式に関するパラメータと、当該ダウンミックス装置に予め設定される再生チャンネル数に基づいて、各再生チャンネルのマルチチャンネル音響信号のうちベース音響チャンネル信号と付随音響チャンネル信号を選択して決定。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、多数の音響チャンネルを持つ番組コンテンツの音響信号を受信し、2チャンネル音響信号や5.1チャンネルサラウンド音響信号へダウンミックスする技術に関する。
【背景技術】
【0002】
大画面・高精細の映像システムに対応した2次元音響方式として、2チャンネル音響方式や5.1チャンネルサラウンド音響方式よりもさらに臨場感の高い音響再生が実現できる「前方5チャンネル+側方・後方5チャンネル音響方式」がある。
【0003】
また、更に高さ方向にもチャンネルを階層的に拡張し、高さ方向の音像定位を可能にした「3次元(立体)音響方式」がある。この3次元音響方式の例を図8に示す。3次元音響方式は、例えば図8に示す多数の音響チャンネル(メインチャンネル22ch、低域強調(LFE)チャンネル2ch)から構成されている。この3次元音響方式の番組制作は、大画面映像ディスプレイ(TVディスプレイ)と多数のスピーカーを配置した図8の標準制作配置で行われる。
【0004】
3次元音響方式などのマルチチャンネル音響の形式で制作された番組コンテンツの音響信号は、音響符号化ストリーム信号として多重され電波等により家庭に伝送される。この音響符号化ストリーム信号には、マルチチャンネル音響信号のほかに、音響方式に関するパラメータや番組コンテンツに適切なダウンミックス係数のパラメータなどの音響チャンネル関連メタデータが多重されている。
【0005】
家庭においては、標準制作配置に則った音響用スピーカーを設置しない場合が多く、従来の2チャンネル音響信号や5.1チャンネルサラウンド音響信号の再生装置で再生されることも多いと想定される。この場合、家庭等においては、音響符号化ストリーム信号を受信し、これをマルチチャンネル音響信号の形式に復号し、また音響チャンネル関連メタデータを分離し、マルチチャンネル音響信号を、音響チャンネル関連メタデータと再生装置側で設定される再生チャンネル数に従って分配し、2チャンネル音響信号や5.1チャンネルサラウンド音響信号にダウンミックスした後、音響再生される。
【0006】
例えば、DVDやハイビジョン放送の音響システムとして、「国際電気通信連合 無線通信部門(ITU−R)で勧告されている、5.1チャンネルサラウンド音響技術方式が普及している(例えば、非特許文献1参照)。電波産業会(ARIB)では、5.1チャンネルサラウンド音響信号を受信したときに2チャンネルステレオ音響信号にダウンミックスする機能を、「ARIB STD−B21 デジタル放送用受信装置(望ましい仕様)」として規定している(例えば、非特許文献2参照)。この規定においては具体的なダウンミックスの計算式及びメタデータとして送出される後方チャンネルパラメータが規定されている。
【0007】
また、2次元音響方式よりもさらに臨場感の高い音響を再生できる「3次元(立体)音響方式」の番組制作に基づくマルチチャンネル音響信号についても、多数のスピーカーを標準配置とは異なる従来からの2チャンネル音響信号の再生装置や5.1チャンネルサラウンド音響信号の再生装置で再生されることも多い。この3次元音響方式などの多数の音響チャンネル信号を2チャンネル音響信号や5.1チャンネルサラウンド音響信号にダウンミックスするための具体的な計算式及びメタデータ、メタデータ受信時の計算式の例はARIB STD−B32「デジタル放送における映像符号化、音声符号化及び多重化方式」に記載されている(例えば、非特許文献3参照)。
【先行技術文献】
【非特許文献】
【0008】
【非特許文献1】ITU−R勧告BS.775、“Multichannel stereophonic sound system with and without accompanying picture”
【非特許文献2】ARIB STD−B21 「デジタル放送用受信装置(望ましい仕様)」
【非特許文献3】ARIB STD−B32「デジタル放送における映像符号化、音声符号化及び多重化方式」
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかしながら、ARIB STD−B32に記載されている規定のダウンミックスの計算式に則りつつ単純にダウンミックスを行うと、「オーバーフローに伴う音質劣化又は番組(5.1チャンネルサラウンド音響信号や2チャンネル音響信号も混在する)間の音の大きなレベル差、及び音声バランスの劣化」が頻繁に発生する。
【0010】
そこで、ダウンミックスの計算式に則りつつ頻繁に発生するオーバーフローに伴う音質劣化、又は番組間の音の大きなレベル差及び音声バランスの劣化を少なくする技術が必要とされていた。
【0011】
本発明の目的は、規定のダウンミックスの計算式に則りつつ頻繁に発生するオーバーフローに伴う音質劣化又は番組間に発生する音の大きなレベル差、及び音声バランスの劣化を低減する、マルチチャンネル音響信号のダウンミックス装置及びプログラムを提供することにある。
【課題を解決するための手段】
【0012】
本発明は、3次元(立体)音響方式のように多数のチャンネルから構成されるマルチチャンネル音響信号に対してダウンミックスする際に、規定のダウンミックスの計算式に則りつつ頻繁に発生するオーバーフローに伴う音質劣化又は番組間に発生する音の大きなレベル差、及び音声バランスの劣化を少なくするため、主に、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」及び再生装置側で設定される「再生チャンネル数」に従って各再生チャンネルのマルチチャンネル音響信号を選択して分配する音響チャンネル選択・分配部と、各再生チャンネル用に分配されたマルチチャンネル音響信号を入力して、音響チャンネル関連メタデータ内で指示される規定のダウンミックスの計算式のダウンミックス係数に従ってダウンミックスを行う各再生チャンネル用のダウンミックス音響チャンネルブロックとを備える。
【0013】
各再生チャンネル用のダウンミックス音響チャンネルブロック(第iダウンミックス音響チャンネルブロック)は、ダウンミックスに際し、位相シフトダウンミックス音響信号及び単純ダウンミックス音響信号を生成するとともに、第iダウンミックス音響チャンネルのベース音響チャンネル信号と付随音響チャンネル信号の相互相関値及び音響信号レベルに従って、位相シフトダウンミックス音響信号又は単純ダウンミックス音響信号に対してフェードイン/フェードアウト処理を用いて切替を行い、第iダウンミックス音響信号を出力する。ダウンミックスされた第iダウンミックス音響信号は、対応するスピーカーを通して音響再生される。
【0014】
即ち、本発明のダウンミックス装置は、マルチチャンネル音響信号をダウンミックスして再生チャンネル数分のダウンミックス音響信号を生成するダウンミックス装置であって、マルチチャンネル音響信号と関連付けて多重される音響チャンネル関連メタデータの多重信号を受信して、該音響チャンネル関連メタデータ内の音響方式に関するパラメータを分離して抽出する音響チャンネル関連メタデータ分離手段と、前記音響方式に関するパラメータと、当該ダウンミックス装置に予め設定される再生チャンネル数に基づいて、各再生チャンネルのマルチチャンネル音響信号のうちベース音響チャンネル信号と前記ベース音響チャンネルを除く他の音響信号である付随音響チャンネル信号を選択して決定し、各再生チャンネル用に分配する音響チャンネル選択・分配手段と、再生チャンネルごとに、位相シフトによってダウンミックスを行う位相シフトダウンミックス音響信号と、遅延処理のみによってダウンミックスを行う単純ダウンミックス音響信号を生成するとともに、各再生チャンネルにおける前記ベース音響チャンネル信号と前記付随音響チャンネル信号の相互相関値及び音響信号レベルに従って前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを判定し、各再生チャンネル用のダウンミックス音響信号を出力するダウンミックス音響信号生成手段と、を備えることを特徴とする。
【0015】
また、本発明のダウンミックス装置において、前記ダウンミックス音響信号生成手段は、前記位相シフトによってダウンミックスを行う位相シフトダウンミックス音響信号を生成する位相シフトダウンミックス生成手段と、前記遅延処理のみによってダウンミックスを行う単純ダウンミックス音響信号を生成する単純ダウンミックス生成手段と、各再生チャンネルにおける前記ベース音響チャンネル信号と前記付随音響チャンネル信号の相互相関値及び音響信号レベルに従って前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを判定し、各再生チャンネル用のダウンミックス音響信号を出力するダウンミックス切替手段と、を備えることを特徴とする。
【0016】
また、本発明のダウンミックス装置において、前記ダウンミックス音響信号生成手段は、前記ベース音響チャンネル信号と付随音響チャンネル信号の相互相関値及び音響信号レベルに基づいて、前記位相シフトダウンミックス音響信号と、前記単純ダウンミックス音響信号のいずれかを判別する旨を示すダウンミックス切替信号を生成する位相シフトブロック切替判定手段をさらに備えることを特徴とする。
【0017】
また、本発明のダウンミックス装置において、前記位相シフトブロック切替判定手段は、前記音響方式に関するパラメータ及び前記再生チャンネル数に基づいて決定されたベース音響チャンネル信号と付随音響チャンネル信号との間の相互相関値を算出する相互相関演算手段と、前記ベース音響チャンネル信号及び前記付随音響チャンネル信号のそれぞれの音響信号レベルを算出する音響信号レベル算出手段と、前記相互相関演算手段から得られる相互相関値と、前記音響信号レベル算出手段から得られる付随音響チャンネル信号の音響信号レベルから、前記位相シフトダウンミックス音響信号と、前記単純ダウンミックス音響信号のいずれがダウンミックス処理(音質劣化等の抑制)に適しているかを、予め定められた切替判定基準に従って判定し、判定した結果に基づくダウンミックス切替信号を生成する切替判定手段と、を備えることを特徴とする。
【0018】
また、本発明のダウンミックス装置において、前記切替判定手段は、前記切替判定基準として、前記相互相関値が所定値以上、且つ前記ベース音響チャンネル信号の音響信号レベルの少なくとも1つがフルスケール換算で所定レベル以上、且つ前記付随音響チャンネルの音響信号レベルの少なくとも1つがフルスケール換算で所定レベル以上とし、全てが満たされた場合に前記位相シフトダウンミックス音響信号へと切り替え、それ以外は前記単純ダウンミックス音響信号に切り替えるように判定し、判定した結果に基づくダウンミックス切替信号を生成する手段を有することを特徴とする。
【0019】
また、本発明のダウンミックス装置において、前記音響チャンネル関連メタデータ分離手段は、前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを行うよう指示するダウンミックス切替信号用のメタデータが、前記音響チャンネル関連メタデータ内に存在するか否かを判定し、前記音響チャンネル関連メタデータ内に前記ダウンミックス切替信号用のメタデータが存在すると判定した場合に、該メタデータからダウンミックス切替信号を生成する手段を有し、前記ダウンミックス音響信号生成手段は、該ダウンミックス切替信号に基づいて前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを判定し、各再生チャンネル用のダウンミックス音響信号を出力する手段を有することを特徴とする。
【0020】
また、本発明のダウンミックス装置において、前記ダウンミックス音響信号生成手段は、前記ダウンミックス切替信号に従う切替を行う際にフェードイン/フェードアウト処理を施すフェードイン/フェードアウト処理手段を有することを特徴とする。
【0021】
さらに、本発明は、マルチチャンネル音響信号をダウンミックスして再生チャンネル数分のダウンミックス音響信号を生成するダウンミックス装置として構成するコンピュータに、マルチチャンネル音響信号と関連付けて多重される音響チャンネル関連メタデータの多重信号を受信して、該音響チャンネル関連メタデータ内の音響方式に関するパラメータを分離して抽出するステップと、前記音響方式に関するパラメータと、当該ダウンミックス装置に予め設定される再生チャンネル数に基づいて、各再生チャンネルのマルチチャンネル音響信号のうちベース音響チャンネル信号と前記ベース音響チャンネルを除く他の音響信号である付随音響チャンネル信号を選択して決定し、各再生チャンネル用に分配するステップと、再生チャンネルごとに、位相シフトによってダウンミックスを行う位相シフトダウンミックス音響信号と、遅延処理のみによってダウンミックスを行う単純ダウンミックス音響信号を生成するとともに、各再生チャンネルにおける前記ベース音響チャンネル信号と前記付随音響チャンネル信号の相互相関値及び音響信号レベルに従って前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを判定し、各再生チャンネル用のダウンミックス音響信号を出力するステップと、を実行させるためのプログラムとして特徴を有する。
【発明の効果】
【0022】
本発明によれば、3次元音響方式などの多数の音響チャンネル信号のダウンミックスを行うにあたり、2チャンネル音響や5.1チャンネルサラウンド音響信号などの番組間での音響信号レベル等の差異がある場合でも、規定のダウンミックスの計算式に則りつつ頻繁に発生するオーバーフローに伴う音質劣化又は番組間に発生する音の大きなレベル差、及び音声バランスの劣化を低減させることができるようになる。
【図面の簡単な説明】
【0023】
【図1】本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置を示す図である。
【図2】本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置における位相シフトブロック切替判定部のブロック図である。
【図3】本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置における位相シフトダウンミックス部のブロック図である。
【図4】本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置における単純ダウンミックス部のブロック図である。
【図5】本発明による一実施例のダウンミックス装置の動作フロー図である。
【図6】本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置の変形例を示す図である。
【図7】(a)は、規定のダウンミックスの計算式に単純に則り、ダウンミックスを行った場合に生じうるオーバーフローやレベル変動の様子を示す図であり、(b)は、本発明による一実施例のダウンミックス装置による、ダウンミックスを行った場合に生じうるオーバーフローやレベル変動を好適に抑制する様子を示す図である。
【図8】3次元音響方式の標準制作配置の例を示す図である。
【図9】メインチャンネル22chの音響チャンネル信号をメインチャンネル5chの音響チャンネル信号にダウンミックスする場合の計算式の一例を示す図である。
【図10】メインチャンネル22chの音響チャンネル信号をメインチャンネル2chの音響チャンネル信号にダウンミックスする場合の計算式の一例を示す図である。
【図11】メインチャンネル22chの音響チャンネル信号をメインチャンネル5chの音響チャンネル信号にダウンミックスする場合の計算式の一例を示す図である。
【図12】メインチャンネル22chの音響チャンネル信号をメインチャンネル2chの音響チャンネル信号にダウンミックスする場合の計算式の一例を示す図である。
【発明を実施するための形態】
【0024】
以下、本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置を説明する。
【0025】
図1は、本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置を示す図であり、3次元音響方式などの多数の音響チャンネル信号を2チャンネル音響や5.1チャンネルサラウンド音響信号にダウンミックスする装置である。本実施例のダウンミックス装置1は、音響符号化ストリームとして伝送される図8に示す標準制作配置に従ったマルチチャンネル音響信号と音響チャンネル関連メタデータ多重信号を受信して、マルチチャンネル音響信号を、音響チャンネル関連メタデータと再生装置(ダウンミックス装置1)側で設定される再生チャンネル数に従って分配し、2チャンネル音響や5.1チャンネルサラウンド音響信号へとダウンミックスを行う装置である。尚、図8は、前述したように、大画面・高精細の映像システムに適した音響方式として、臨場感の高い音響を再生できる「3次元(立体)音響方式」のスピーカー配置例であり、メインチャンネル22ch、低域強調(LFE)チャンネル2chの場合である。
【0026】
本実施例のダウンミックス装置1は、音響チャンネル関連メタデータ分離部11と、音響チャンネル選択・分配部12と、位相シフトブロック切替判定部13、位相シフトダウンミックス部14、単純ダウンミックス部15、及びダウンミックス切替部16からなる第nダウンミックス音響チャンネルブロックとを備える。第nダウンミックス音響チャンネルブロックは、再生チャンネル数(n)に対応した数で構成される。
【0027】
音響チャンネル関連メタデータ分離部11は、音響符号化ストリームにてmチャンネルマルチチャンネル音響信号と関連付けて多重される音響チャンネル関連メタデータの多重信号を受信して、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」を分離して抽出し、抽出した「音響方式に関するパラメータ」を、音響チャンネル選択・分配部12、位相シフトブロック切替判定部13、位相シフトダウンミックス部14、及び単純ダウンミックス部15に送出する。
【0028】
ここで、「音響方式に関するパラメータ」は、マルチチャンネル音響信号におけるベース音響チャンネル信号を指定するパラメータを含み、好適には、位相シフトダウンミックスの計算式のダウンミックス係数のパラメータと、単純ダウンミックスの計算式のダウンミックス係数のパラメータとを含めることもできる。「音響方式に関するパラメータ」に位相シフトダウンミックスの計算式のダウンミックス係数のパラメータと、単純ダウンミックスの計算式のダウンミックス係数のパラメータとを含んでいない場合には、再生装置側(ダウンミックス装置1側)で予め定めたダウンミックス係数を用いるようにする。
【0029】
音響チャンネル選択・分配部12は、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」と再生装置(ダウンミックス装置1)側で設定される「再生チャンネル数」に基づいて、第iダウンミックス音響チャンネルブロックに入力される各再生チャンネルのマルチチャンネル音響信号のうちベース音響チャンネル信号とベース音響チャンネルを除く他の音響信号(付随音響チャンネル信号)を選択して決定し、第nダウンミックス音響チャンネルブロックの各々(第iダウンミックス音響チャンネルブロック)に分配する。
【0030】
位相シフトブロック切替判定部13は、第iダウンミックス音響チャンネルのベース音響チャンネル信号と付随音響チャンネル信号の相互相関値及び音響信号レベルに従って、位相シフトダウンミックス部14で生成された位相シフトダウンミックス音響信号と、単純ダウンミックス部15で生成された単純ダウンミックス音響信号のいずれがダウンミックス処理(音質劣化等の抑制)に適しているかを、後述する予め定められた切替判定基準に従って音響ブロック単位で判定し、判定した結果に基づくダウンミックス切替信号を生成してダウンミックス切替部16に送出する。
【0031】
位相シフトダウンミックス部14は、各再生チャンネル用に分配されたマルチチャンネル音響信号を入力して、音響チャンネル関連メタデータ内で指示される規定の位相シフトダウンミックスの計算式のダウンミックス係数に従って位相シフトダウンミックス音響信号を生成する。
【0032】
単純ダウンミックス部15は、各再生チャンネル用に分配されたマルチチャンネル音響信号を入力して、音響チャンネル関連メタデータ内で指示される規定の単純ダウンミックスの計算式のダウンミックス係数に従って単純ダウンミックス音響信号を生成する。
【0033】
ダウンミックス切替部16は、位相シフトダウンミックス部14で生成された位相シフトダウンミックス音響信号と、単純ダウンミックス部15で生成された単純ダウンミックス音響信号とを、位相シフトブロック切替判定部13からのダウンミックス切替信号にしたがって切替を行い、第iダウンミックス音響信号を出力する。尚、ダウンミックス切替部16は、位相シフトブロック切替判定部13からのダウンミックス切替信号に従う切替を行う際にフェードイン/フェードアウト処理を施すフェードイン/フェードアウト処理部161を有する。このフェードイン/フェードアウト処理を行うことにより、音質劣化等の抑制に伴う信号切替時に生じうる雑音(歪み)を低下させることができる。ダウンミックスされた第iダウンミックス音響信号は、対応するスピーカー17−1〜17−nを通して音響再生される。
【0034】
このように、各再生チャンネル用のダウンミックス音響チャンネルブロック(第iダウンミックス音響チャンネルブロック)は、再生チャンネルごとに、位相シフトによってダウンミックスを行う位相シフトダウンミックス音響信号と、遅延処理のみによってダウンミックスを行う単純ダウンミックス音響信号を生成するとともに、各再生チャンネルにおけるベース音響チャンネル信号と付随音響チャンネル信号の相互相関値及び音響信号レベルを算出し、算出した相互相関値及び音響信号レベルに従って、位相シフトダウンミックス音響信号又は単純ダウンミックス音響信号の切り替えを行い、各再生チャンネル用のダウンミックス音響信号を出力する。
【0035】
尚、音響チャンネル関連メタデータ分離部11は、位相シフトブロック切替判定部13によって再生装置側(ダウンミックス装置1側)で「位相シフトブロック切替判定処理」を行う代わりに、送信側で予め位相シフトブロック切替判定部13の「位相シフトブロック切替判定処理」を行っておき、「ダウンミックス切替信号用のメタデータ」として音響チャンネル関連メタデータに含めて伝送することも可能である。この場合、音響チャンネル関連メタデータ分離部11は、位相シフトダウンミックス音響信号又は単純ダウンミックス音響信号の切り替えを行うよう指示する「ダウンミックス切替信号用のメタデータ」が、音響チャンネル関連メタデータ内に存在するか否かを判定し、音響チャンネル関連メタデータ内に「ダウンミックス切替信号用のメタデータ」が存在すると判定した場合に、該メタデータからダウンミックス切替信号を生成する(図6参照)。したがって、図6に示す例では、再生装置側(ダウンミックス装置1側)で位相シフトブロック切替判定部13を備える必要がなくなる。
【0036】
以下、より詳細に、位相シフトブロック切替判定部13、位相シフトダウンミックス部14、及び単純ダウンミックス部15についてそれぞれ説明する。
【0037】
(位相シフトブロック切替判定部)
図2は、本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置における位相シフトブロック切替判定部のブロック図である。位相シフトブロック切替判定部13は、相互相関演算部131と、音響信号レベル算出部132と、切替判定部133とを備える。
【0038】
相互相関演算部131は、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」及び再生装置(ダウンミックス装置1)側で設定される「再生チャンネル数」に基づいて決定されたベース音響チャンネル信号と付随音響チャンネル信号との間の相互相関値を算出し、切替判定部133に送出する。
【0039】
音響信号レベル算出部132は、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」及び再生装置(ダウンミックス装置1)側で設定される「再生チャンネル数」に基づいて決定されたベース音響チャンネル信号及び付随音響チャンネル信号のそれぞれの音響信号レベルを算出し、切替判定部133に送出する。
【0040】
切替判定部133は、相互相関演算部131から得られる相互相関値と、音響信号レベル算出部132から得られる付随音響チャンネル信号の音響信号レベルから、位相シフトダウンミックス部14で生成される位相シフトダウンミックス音響信号と、単純ダウンミックス部15で生成される単純ダウンミックス音響信号のいずれがダウンミックス(音質劣化等の抑制)に適しているかを、予め定められた切替判定基準に従って音響ブロック単位で判定し、判定した結果に基づくダウンミックス切替信号を生成する。
【0041】
切替判定部133は、「位相シフトダウンミックス」と「単純ダウンミックス」の切替判定基準として、相互相関値がa(例えば、0.7)以上、且つベース音響チャンネル信号の音響信号レベルの少なくとも1つがフルスケール換算で所定レベルLe_base(例えば−6dB)以上、且つ付随音響チャンネルの音響信号レベルの少なくとも1つがフルスケール換算で所定レベルLe_aux(例えば−6dB)以上とし、全てが満たされた場合に位相シフトダウンミックス音響信号へと切り替え、それ以外は単純ダウンミックス音響信号に切り替えるように判定する。
【0042】
メインチャンネル22chの音響チャンネル信号をメインチャンネル5chの音響チャンネル信号にダウンミックスする場合、図9及び図11の2種類が規定のダウンミックスの計算式としてARIB等で規定されているものを用いる。
【0043】
メインチャンネル22chの音響チャンネル信号をメインチャンネル2chの音響チャンネル信号にダウンミックスする場合、図10及び図12の2種類が規定のダウンミックスの計算式としてARIB等で規定されているものを用いる。
【0044】
つまり、チャンネル22.2chの音響チャンネル信号をチャンネル5.1chへダウンミックスする場合、図8に示す22.2chの音響チャンネル信号のうち、FL,FR,FC,BL,BR(図9及び図11)が「ベース音響チャンネル信号」であり、「付随音響チャンネル信号」は、その他の音響信号となり、この情報が、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」として多重されている。
【0045】
また、チャンネル22.2chの音響チャンネル信号をチャンネル2chへダウンミックスする場合、図8に示す22.2chの音響チャンネル信号のうち、FL,FR(図10及び図12)が「ベース音響チャンネル信号」であり、「付随音響チャンネル信号」は、その他の音響信号となり、この情報が、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」として多重されている。
【0046】
このように、位相シフトブロック切替判定部13は、第iダウンミックス音響チャンネルのベース音響チャンネル信号と付随音響チャンネル信号の相互相関値及び音響信号レベルに従って、位相シフトダウンミックス部14で生成される位相シフトダウンミックス音響信号と、単純ダウンミックス部15で生成される単純ダウンミックス音響信号のいずれがダウンミックス(音質劣化等の抑制)に適しているかを、予め定められた切替判定基準に従って音響ブロック単位で判定し、判定した結果に基づくダウンミックス切替信号を生成する。
【0047】
(位相シフトダウンミックス部)
図3は、本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置における位相シフトダウンミックス部のブロック図である。位相シフトダウンミックス部14は、遅延部141と、位相シフト部142−kと、加算部143とを備える。
【0048】
遅延部141は、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」及び再生装置(ダウンミックス装置1)側で設定される「再生チャンネル数」に基づいて決定されたベース音響チャンネルの音響信号に対して、付随音響チャンネル信号の位相シフトに伴う遅延時間に相当する遅延を施し、加算部143に出力する。
【0049】
位相シフト部142−kは、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」及び再生装置(ダウンミックス装置1)側で設定される「再生チャンネル数」に基づいて決定された付随音響チャンネル信号の各々(k個)に対して付随音響チャンネルごとに予め定めた位相シフトを行い、加算部143に出力する。ただし、映像信号と音響信号との間の大きなズレを防止するために、付随音響チャンネルの位相シフトに伴う遅延時間を所定の範囲内、例えば1音響ブロック内となるよう制限するものとし、各付随音響チャンネルにおける遅延時間をほぼ同一になるよう制限して位相シフトを行うのが望ましい。
【0050】
加算部143は、遅延を施したベース音響チャンネル信号及び位相シフトを施した付随音響チャンネル信号を音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」で指示される規定のダウンミックスの計算式のダウンミックス係数(図9乃至図12)に従ってダウンミックスを行い、位相シフトダウンミックス音響信号として生成する。
【0051】
ここで、位相シフトダウンミックス部14における付随音響チャンネルの音響信号の位相シフト及び加算処理の順は、加算を行った後、位相シフトを行うように構成することも可能である。位相シフトは、信号の周波数特性は変化させずに信号の位相特性のみを変える処理であり、全域通過フィルタ(All Pass Filter:APF)を用いて行う。位相シフトを行うフィルタの設計は、例えば、「ディジタル信号処理ハンドブック」(オーム社、pp92−101、pp381−384)や、「コンピュータ音楽」(東京電機大学出版局、pp159−161,pp315−339,pp388−400)や、「ディジタルフィルタデザイン」(昭晃堂)などで詳述されている。
【0052】
各付随音響チャンネル信号の位相シフトは異なる特性を持つAPFを使用することもできるが、同一の特性を持つAPFを使用しても効果が得られる。同一の特性を持つAPFを使用する場合、付随音響チャンネル信号の加算を行った後、位相シフトを行うことも可能である。
【0053】
このように、位相シフトダウンミックス部14は、付随音響チャンネル信号の各々(k個)に対して付随音響チャンネルごとに予め定めた位相シフトを行うとともに、ベース音響チャンネル信号に対して、付随音響チャンネル信号の位相シフトに伴う遅延時間に相当する遅延を施して、規定のダウンミックスの計算式のダウンミックス係数(図9乃至図12)に従ってダウンミックスを行い、位相シフトダウンミックス音響信号として生成する。
【0054】
(単純ダウンミックス部)
図4は、本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置における単純ダウンミックス部のブロック図である。単純ダウンミックス部15は、ベース音響チャンネル信号用の遅延部151と、付随音響チャンネル信号用の遅延部152−1〜遅延部152−kと、加算部153とを備える。
【0055】
遅延部151は、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」及び再生装置(ダウンミックス装置1)側で設定される「再生チャンネル数」に基づいて決定されたベース音響チャンネルの音響信号に対して、付随音響チャンネル信号の位相シフトに伴う遅延時間に相当する遅延を施し、加算部153に出力する。
【0056】
遅延部152−kは、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」及び再生装置(ダウンミックス装置1)側で設定される「再生チャンネル数」に基づいて決定された付随音響チャンネル信号の各々(k個)に対して付随音響チャンネルごとに予め定めた遅延処理を行い、加算部153に出力する。ただし、映像信号と音響信号との間の大きなズレを防止するために、付随音響チャンネルの遅延時間を所定の範囲内、例えば1音響ブロック内となるよう制限するものとし、各付随音響チャンネルにおける遅延時間をほぼ同一になるよう制限するのが望ましい。
【0057】
加算部153は、遅延を施したベース音響チャンネル信号及び付随音響チャンネル信号を音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」で指示される規定のダウンミックスの計算式のダウンミックス係数(図9乃至図12)に従ってダウンミックスを行い、単純ダウンミックス音響信号として生成する。ここで、音響チャンネル信号の遅延処理は、ダウンミックス加算を行った後、遅延処理を行うことも可能である。
【0058】
このように、単純ダウンミックス部15は、付随音響チャンネル信号の各々(k個)に対して付随音響チャンネルごとに予め定めた遅延処理を行うとともに、ベース音響チャンネル信号に対して、付随音響チャンネル信号に伴う遅延時間に相当する遅延を施して、規定のダウンミックスの計算式のダウンミックス係数(図9乃至図12)に従ってダウンミックスを行い、単純ダウンミックス音響信号として生成する。
【0059】
(ダウンミックス切替部)
図1に示すように、ダウンミックス切替部16は、位相シフトダウンミックス部14で生成された位相シフトダウンミックス音響信号と、単純ダウンミックス部15で生成された単純ダウンミックス音響信号とを、位相シフトブロック切替判定部13からのダウンミックス切替信号にしたがって、切替時の雑音を抑制すべく「位相シフトダウンミックス音響信号」と「単純ダウンミックス音響信号」の切替の際にフェードイン/フェードアウト処理を施しながら切替を行い、第iダウンミックス音響信号を出力する。
【0060】
次に、本発明による一実施例のダウンミックス装置1の動作について説明する。
【0061】
図5は、本発明による一実施例のダウンミックス装置1の動作フロー図である。
【0062】
ステップS1にて、ダウンミックス装置1は、音響チャンネル関連メタデータ分離部11によって、音響チャンネル関連メタデータ多重信号を受信する。
【0063】
ステップS2にて、ダウンミックス装置1は、音響チャンネル関連メタデータ分離部11によって、音響チャンネル関連メタデータの分離を行い、「音響方式に関するパラメータ」を抽出する。
【0064】
ステップS3にて、ダウンミックス装置1は、音響チャンネル選択・分配部12によって、再生チャンネル数に対応するチャンネルパラメータを設定する。
【0065】
ステップS4にて、ダウンミックス装置1は、音響チャンネル選択・分配部12によって、マルチチャンネル音響信号を受信する。
【0066】
ステップS5にて、ダウンミックス装置1は、音響チャンネル関連メタデータ分離部11によって、「音響チャンネル関連メタデータ」内に、送信側から「ダウンミックス切替信号用のメタデータ」が存在するか否かを確認する。「ダウンミックス切替信号用のメタデータ」が「音響チャンネル関連メタデータ」内に存在する場合には、音響チャンネル関連メタデータ分離部11は、「ダウンミックス切替信号用のメタデータ」からダウンミックス切替信号を生成して、ステップS10に進む。「ダウンミックス切替信号用のメタデータ」が「音響チャンネル関連メタデータ」内に存在しない場合、ステップS6に進む。
【0067】
ステップS6にて、ダウンミックス装置1は、音響チャンネル選択・分配部12によって、ダウンミックス切替信号用のメタデータ」内の「音響方式に関するパラメータ」に基づいて、マルチチャンネル音響信号をベース音響チャンネル信号と付随音響チャンネル信号に分離する。
【0068】
ステップS7にて、ダウンミックス装置1は、位相シフトブロック切替判定部13によって、音響ブロック単位でベース音響チャンネル信号と各付随音響チャンネル信号との相互相関値をそれぞれ算出する。
【0069】
ステップS8にて、ダウンミックス装置1は、位相シフトブロック切替判定部13によって、音響ブロック単位でベース音響チャンネル信号と各付随音響チャンネル信号との音響信号レベルをそれぞれ算出する。
【0070】
ステップS9にて、ダウンミックス装置1は、位相シフトブロック切替判定部13によって、再生チャンネルごとに、音響ブロック単位のダウンミックス切替信号(位相シフトダウンミックス/単純ダウンミックス)を生成する。
【0071】
ステップS10にて、ダウンミックス装置1は、位相シフトダウンミックス部14及び単純ダウンミックス部15によって、「位相シフトダウンミックス音響信号」と「単純ダウンミックス音響信号」をそれぞれ生成する。
【0072】
ステップS11にて、ダウンミックス装置1は、ダウンミックス切替部16によって、ダウンミックス切替信号にしたがって、切り替え時の雑音を抑制すべく「位相シフトダウンミックス音響信号」と「単純ダウンミックス音響信号」の切り替えの際にフェードイン/フェードアウト処理を施しながら切り替えを行い、第iダウンミックス音響信号を出力する。これにより、再生チャンネル数(n)分のダウンミックス音響信号を生成して、音質や音圧の劣化を抑制しつつ各対応するスピーカー17−1〜17−nに送出して再生することが可能となる。
【0073】
図7は、この音質や音圧の劣化を抑制する様子の説明図である。図7(a)は、規定のダウンミックスの計算式に単純に則り、ダウンミックスを行った場合に生じうるオーバーフローやレベル変動を示す図である。ベース音響チャンネル信号と付随音響チャンネル信号との間で相互相関値及びレベル差を判別することなくダウンミックスを実行した場合、再生装置側で許容されるダイナミックレンジ(Dレンジ)を超える可能性がある。一方、図7(b)に示すように、本実施例のダウンミックス装置1によれば、ベース音響チャンネル信号と付随音響チャンネル信号との間で相互相関値及びレベル差を判定し、更にリアルタイム性を保持するべく「位相シフトダウンミックス音響信号」と「単純ダウンミックス音響信号」の切り替えを行うため、ダウンミックスを行った場合に生じうるオーバーフローやレベル変動を好適に抑制することができるようになる。
【0074】
本発明に係るダウンミックス装置1をコンピュータで構成した場合、各機能を実現する処理内容を記述したプログラムを、当該コンピュータの内部又は外部の記憶部に格納しておき、当該コンピュータの中央演算処理装置(CPU)によってこのプログラムを読み出して実行させることで実現することができる。また、このようなプログラムは、例えばDVD又はCD−ROMなどの可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。従って、本発明は、前述した実施例に限定されるものではなく、その主旨を逸脱しない範囲において種々変更可能である。
【産業上の利用可能性】
【0075】
本発明によれば、ベース音響チャンネル信号と付随音響チャンネル信号との間で相互相関値及びレベル差を判定し、更にリアルタイム性を保持するべく「位相シフトダウンミックス音響信号」と「単純ダウンミックス音響信号」の切り替えを行うため、ダウンミックスを行った場合に生じうるオーバーフローやレベル変動を好適に抑制することができるので、マルチチャンネル信号をダウンミックスする用途に有用である。
【符号の説明】
【0076】
1 ダウンミックス装置
11 音響チャンネル関連メタデータ分離部
12 音響チャンネル選択・分配部
13 位相シフトブロック切替判定部
14 位相シフトダウンミックス部
15 単純ダウンミックス部
16 ダウンミックス切替部
17−1〜17−n スピーカー
131 相互相関演算部
132 音響信号レベル算出部
133 切替判定部
141 遅延部
142−k 位相シフト部
143 加算部
151 遅延部
152−k 遅延部
153 加算部
161 フェードイン・フェードアウト処理部
【技術分野】
【0001】
本発明は、多数の音響チャンネルを持つ番組コンテンツの音響信号を受信し、2チャンネル音響信号や5.1チャンネルサラウンド音響信号へダウンミックスする技術に関する。
【背景技術】
【0002】
大画面・高精細の映像システムに対応した2次元音響方式として、2チャンネル音響方式や5.1チャンネルサラウンド音響方式よりもさらに臨場感の高い音響再生が実現できる「前方5チャンネル+側方・後方5チャンネル音響方式」がある。
【0003】
また、更に高さ方向にもチャンネルを階層的に拡張し、高さ方向の音像定位を可能にした「3次元(立体)音響方式」がある。この3次元音響方式の例を図8に示す。3次元音響方式は、例えば図8に示す多数の音響チャンネル(メインチャンネル22ch、低域強調(LFE)チャンネル2ch)から構成されている。この3次元音響方式の番組制作は、大画面映像ディスプレイ(TVディスプレイ)と多数のスピーカーを配置した図8の標準制作配置で行われる。
【0004】
3次元音響方式などのマルチチャンネル音響の形式で制作された番組コンテンツの音響信号は、音響符号化ストリーム信号として多重され電波等により家庭に伝送される。この音響符号化ストリーム信号には、マルチチャンネル音響信号のほかに、音響方式に関するパラメータや番組コンテンツに適切なダウンミックス係数のパラメータなどの音響チャンネル関連メタデータが多重されている。
【0005】
家庭においては、標準制作配置に則った音響用スピーカーを設置しない場合が多く、従来の2チャンネル音響信号や5.1チャンネルサラウンド音響信号の再生装置で再生されることも多いと想定される。この場合、家庭等においては、音響符号化ストリーム信号を受信し、これをマルチチャンネル音響信号の形式に復号し、また音響チャンネル関連メタデータを分離し、マルチチャンネル音響信号を、音響チャンネル関連メタデータと再生装置側で設定される再生チャンネル数に従って分配し、2チャンネル音響信号や5.1チャンネルサラウンド音響信号にダウンミックスした後、音響再生される。
【0006】
例えば、DVDやハイビジョン放送の音響システムとして、「国際電気通信連合 無線通信部門(ITU−R)で勧告されている、5.1チャンネルサラウンド音響技術方式が普及している(例えば、非特許文献1参照)。電波産業会(ARIB)では、5.1チャンネルサラウンド音響信号を受信したときに2チャンネルステレオ音響信号にダウンミックスする機能を、「ARIB STD−B21 デジタル放送用受信装置(望ましい仕様)」として規定している(例えば、非特許文献2参照)。この規定においては具体的なダウンミックスの計算式及びメタデータとして送出される後方チャンネルパラメータが規定されている。
【0007】
また、2次元音響方式よりもさらに臨場感の高い音響を再生できる「3次元(立体)音響方式」の番組制作に基づくマルチチャンネル音響信号についても、多数のスピーカーを標準配置とは異なる従来からの2チャンネル音響信号の再生装置や5.1チャンネルサラウンド音響信号の再生装置で再生されることも多い。この3次元音響方式などの多数の音響チャンネル信号を2チャンネル音響信号や5.1チャンネルサラウンド音響信号にダウンミックスするための具体的な計算式及びメタデータ、メタデータ受信時の計算式の例はARIB STD−B32「デジタル放送における映像符号化、音声符号化及び多重化方式」に記載されている(例えば、非特許文献3参照)。
【先行技術文献】
【非特許文献】
【0008】
【非特許文献1】ITU−R勧告BS.775、“Multichannel stereophonic sound system with and without accompanying picture”
【非特許文献2】ARIB STD−B21 「デジタル放送用受信装置(望ましい仕様)」
【非特許文献3】ARIB STD−B32「デジタル放送における映像符号化、音声符号化及び多重化方式」
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかしながら、ARIB STD−B32に記載されている規定のダウンミックスの計算式に則りつつ単純にダウンミックスを行うと、「オーバーフローに伴う音質劣化又は番組(5.1チャンネルサラウンド音響信号や2チャンネル音響信号も混在する)間の音の大きなレベル差、及び音声バランスの劣化」が頻繁に発生する。
【0010】
そこで、ダウンミックスの計算式に則りつつ頻繁に発生するオーバーフローに伴う音質劣化、又は番組間の音の大きなレベル差及び音声バランスの劣化を少なくする技術が必要とされていた。
【0011】
本発明の目的は、規定のダウンミックスの計算式に則りつつ頻繁に発生するオーバーフローに伴う音質劣化又は番組間に発生する音の大きなレベル差、及び音声バランスの劣化を低減する、マルチチャンネル音響信号のダウンミックス装置及びプログラムを提供することにある。
【課題を解決するための手段】
【0012】
本発明は、3次元(立体)音響方式のように多数のチャンネルから構成されるマルチチャンネル音響信号に対してダウンミックスする際に、規定のダウンミックスの計算式に則りつつ頻繁に発生するオーバーフローに伴う音質劣化又は番組間に発生する音の大きなレベル差、及び音声バランスの劣化を少なくするため、主に、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」及び再生装置側で設定される「再生チャンネル数」に従って各再生チャンネルのマルチチャンネル音響信号を選択して分配する音響チャンネル選択・分配部と、各再生チャンネル用に分配されたマルチチャンネル音響信号を入力して、音響チャンネル関連メタデータ内で指示される規定のダウンミックスの計算式のダウンミックス係数に従ってダウンミックスを行う各再生チャンネル用のダウンミックス音響チャンネルブロックとを備える。
【0013】
各再生チャンネル用のダウンミックス音響チャンネルブロック(第iダウンミックス音響チャンネルブロック)は、ダウンミックスに際し、位相シフトダウンミックス音響信号及び単純ダウンミックス音響信号を生成するとともに、第iダウンミックス音響チャンネルのベース音響チャンネル信号と付随音響チャンネル信号の相互相関値及び音響信号レベルに従って、位相シフトダウンミックス音響信号又は単純ダウンミックス音響信号に対してフェードイン/フェードアウト処理を用いて切替を行い、第iダウンミックス音響信号を出力する。ダウンミックスされた第iダウンミックス音響信号は、対応するスピーカーを通して音響再生される。
【0014】
即ち、本発明のダウンミックス装置は、マルチチャンネル音響信号をダウンミックスして再生チャンネル数分のダウンミックス音響信号を生成するダウンミックス装置であって、マルチチャンネル音響信号と関連付けて多重される音響チャンネル関連メタデータの多重信号を受信して、該音響チャンネル関連メタデータ内の音響方式に関するパラメータを分離して抽出する音響チャンネル関連メタデータ分離手段と、前記音響方式に関するパラメータと、当該ダウンミックス装置に予め設定される再生チャンネル数に基づいて、各再生チャンネルのマルチチャンネル音響信号のうちベース音響チャンネル信号と前記ベース音響チャンネルを除く他の音響信号である付随音響チャンネル信号を選択して決定し、各再生チャンネル用に分配する音響チャンネル選択・分配手段と、再生チャンネルごとに、位相シフトによってダウンミックスを行う位相シフトダウンミックス音響信号と、遅延処理のみによってダウンミックスを行う単純ダウンミックス音響信号を生成するとともに、各再生チャンネルにおける前記ベース音響チャンネル信号と前記付随音響チャンネル信号の相互相関値及び音響信号レベルに従って前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを判定し、各再生チャンネル用のダウンミックス音響信号を出力するダウンミックス音響信号生成手段と、を備えることを特徴とする。
【0015】
また、本発明のダウンミックス装置において、前記ダウンミックス音響信号生成手段は、前記位相シフトによってダウンミックスを行う位相シフトダウンミックス音響信号を生成する位相シフトダウンミックス生成手段と、前記遅延処理のみによってダウンミックスを行う単純ダウンミックス音響信号を生成する単純ダウンミックス生成手段と、各再生チャンネルにおける前記ベース音響チャンネル信号と前記付随音響チャンネル信号の相互相関値及び音響信号レベルに従って前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを判定し、各再生チャンネル用のダウンミックス音響信号を出力するダウンミックス切替手段と、を備えることを特徴とする。
【0016】
また、本発明のダウンミックス装置において、前記ダウンミックス音響信号生成手段は、前記ベース音響チャンネル信号と付随音響チャンネル信号の相互相関値及び音響信号レベルに基づいて、前記位相シフトダウンミックス音響信号と、前記単純ダウンミックス音響信号のいずれかを判別する旨を示すダウンミックス切替信号を生成する位相シフトブロック切替判定手段をさらに備えることを特徴とする。
【0017】
また、本発明のダウンミックス装置において、前記位相シフトブロック切替判定手段は、前記音響方式に関するパラメータ及び前記再生チャンネル数に基づいて決定されたベース音響チャンネル信号と付随音響チャンネル信号との間の相互相関値を算出する相互相関演算手段と、前記ベース音響チャンネル信号及び前記付随音響チャンネル信号のそれぞれの音響信号レベルを算出する音響信号レベル算出手段と、前記相互相関演算手段から得られる相互相関値と、前記音響信号レベル算出手段から得られる付随音響チャンネル信号の音響信号レベルから、前記位相シフトダウンミックス音響信号と、前記単純ダウンミックス音響信号のいずれがダウンミックス処理(音質劣化等の抑制)に適しているかを、予め定められた切替判定基準に従って判定し、判定した結果に基づくダウンミックス切替信号を生成する切替判定手段と、を備えることを特徴とする。
【0018】
また、本発明のダウンミックス装置において、前記切替判定手段は、前記切替判定基準として、前記相互相関値が所定値以上、且つ前記ベース音響チャンネル信号の音響信号レベルの少なくとも1つがフルスケール換算で所定レベル以上、且つ前記付随音響チャンネルの音響信号レベルの少なくとも1つがフルスケール換算で所定レベル以上とし、全てが満たされた場合に前記位相シフトダウンミックス音響信号へと切り替え、それ以外は前記単純ダウンミックス音響信号に切り替えるように判定し、判定した結果に基づくダウンミックス切替信号を生成する手段を有することを特徴とする。
【0019】
また、本発明のダウンミックス装置において、前記音響チャンネル関連メタデータ分離手段は、前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを行うよう指示するダウンミックス切替信号用のメタデータが、前記音響チャンネル関連メタデータ内に存在するか否かを判定し、前記音響チャンネル関連メタデータ内に前記ダウンミックス切替信号用のメタデータが存在すると判定した場合に、該メタデータからダウンミックス切替信号を生成する手段を有し、前記ダウンミックス音響信号生成手段は、該ダウンミックス切替信号に基づいて前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを判定し、各再生チャンネル用のダウンミックス音響信号を出力する手段を有することを特徴とする。
【0020】
また、本発明のダウンミックス装置において、前記ダウンミックス音響信号生成手段は、前記ダウンミックス切替信号に従う切替を行う際にフェードイン/フェードアウト処理を施すフェードイン/フェードアウト処理手段を有することを特徴とする。
【0021】
さらに、本発明は、マルチチャンネル音響信号をダウンミックスして再生チャンネル数分のダウンミックス音響信号を生成するダウンミックス装置として構成するコンピュータに、マルチチャンネル音響信号と関連付けて多重される音響チャンネル関連メタデータの多重信号を受信して、該音響チャンネル関連メタデータ内の音響方式に関するパラメータを分離して抽出するステップと、前記音響方式に関するパラメータと、当該ダウンミックス装置に予め設定される再生チャンネル数に基づいて、各再生チャンネルのマルチチャンネル音響信号のうちベース音響チャンネル信号と前記ベース音響チャンネルを除く他の音響信号である付随音響チャンネル信号を選択して決定し、各再生チャンネル用に分配するステップと、再生チャンネルごとに、位相シフトによってダウンミックスを行う位相シフトダウンミックス音響信号と、遅延処理のみによってダウンミックスを行う単純ダウンミックス音響信号を生成するとともに、各再生チャンネルにおける前記ベース音響チャンネル信号と前記付随音響チャンネル信号の相互相関値及び音響信号レベルに従って前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを判定し、各再生チャンネル用のダウンミックス音響信号を出力するステップと、を実行させるためのプログラムとして特徴を有する。
【発明の効果】
【0022】
本発明によれば、3次元音響方式などの多数の音響チャンネル信号のダウンミックスを行うにあたり、2チャンネル音響や5.1チャンネルサラウンド音響信号などの番組間での音響信号レベル等の差異がある場合でも、規定のダウンミックスの計算式に則りつつ頻繁に発生するオーバーフローに伴う音質劣化又は番組間に発生する音の大きなレベル差、及び音声バランスの劣化を低減させることができるようになる。
【図面の簡単な説明】
【0023】
【図1】本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置を示す図である。
【図2】本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置における位相シフトブロック切替判定部のブロック図である。
【図3】本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置における位相シフトダウンミックス部のブロック図である。
【図4】本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置における単純ダウンミックス部のブロック図である。
【図5】本発明による一実施例のダウンミックス装置の動作フロー図である。
【図6】本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置の変形例を示す図である。
【図7】(a)は、規定のダウンミックスの計算式に単純に則り、ダウンミックスを行った場合に生じうるオーバーフローやレベル変動の様子を示す図であり、(b)は、本発明による一実施例のダウンミックス装置による、ダウンミックスを行った場合に生じうるオーバーフローやレベル変動を好適に抑制する様子を示す図である。
【図8】3次元音響方式の標準制作配置の例を示す図である。
【図9】メインチャンネル22chの音響チャンネル信号をメインチャンネル5chの音響チャンネル信号にダウンミックスする場合の計算式の一例を示す図である。
【図10】メインチャンネル22chの音響チャンネル信号をメインチャンネル2chの音響チャンネル信号にダウンミックスする場合の計算式の一例を示す図である。
【図11】メインチャンネル22chの音響チャンネル信号をメインチャンネル5chの音響チャンネル信号にダウンミックスする場合の計算式の一例を示す図である。
【図12】メインチャンネル22chの音響チャンネル信号をメインチャンネル2chの音響チャンネル信号にダウンミックスする場合の計算式の一例を示す図である。
【発明を実施するための形態】
【0024】
以下、本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置を説明する。
【0025】
図1は、本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置を示す図であり、3次元音響方式などの多数の音響チャンネル信号を2チャンネル音響や5.1チャンネルサラウンド音響信号にダウンミックスする装置である。本実施例のダウンミックス装置1は、音響符号化ストリームとして伝送される図8に示す標準制作配置に従ったマルチチャンネル音響信号と音響チャンネル関連メタデータ多重信号を受信して、マルチチャンネル音響信号を、音響チャンネル関連メタデータと再生装置(ダウンミックス装置1)側で設定される再生チャンネル数に従って分配し、2チャンネル音響や5.1チャンネルサラウンド音響信号へとダウンミックスを行う装置である。尚、図8は、前述したように、大画面・高精細の映像システムに適した音響方式として、臨場感の高い音響を再生できる「3次元(立体)音響方式」のスピーカー配置例であり、メインチャンネル22ch、低域強調(LFE)チャンネル2chの場合である。
【0026】
本実施例のダウンミックス装置1は、音響チャンネル関連メタデータ分離部11と、音響チャンネル選択・分配部12と、位相シフトブロック切替判定部13、位相シフトダウンミックス部14、単純ダウンミックス部15、及びダウンミックス切替部16からなる第nダウンミックス音響チャンネルブロックとを備える。第nダウンミックス音響チャンネルブロックは、再生チャンネル数(n)に対応した数で構成される。
【0027】
音響チャンネル関連メタデータ分離部11は、音響符号化ストリームにてmチャンネルマルチチャンネル音響信号と関連付けて多重される音響チャンネル関連メタデータの多重信号を受信して、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」を分離して抽出し、抽出した「音響方式に関するパラメータ」を、音響チャンネル選択・分配部12、位相シフトブロック切替判定部13、位相シフトダウンミックス部14、及び単純ダウンミックス部15に送出する。
【0028】
ここで、「音響方式に関するパラメータ」は、マルチチャンネル音響信号におけるベース音響チャンネル信号を指定するパラメータを含み、好適には、位相シフトダウンミックスの計算式のダウンミックス係数のパラメータと、単純ダウンミックスの計算式のダウンミックス係数のパラメータとを含めることもできる。「音響方式に関するパラメータ」に位相シフトダウンミックスの計算式のダウンミックス係数のパラメータと、単純ダウンミックスの計算式のダウンミックス係数のパラメータとを含んでいない場合には、再生装置側(ダウンミックス装置1側)で予め定めたダウンミックス係数を用いるようにする。
【0029】
音響チャンネル選択・分配部12は、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」と再生装置(ダウンミックス装置1)側で設定される「再生チャンネル数」に基づいて、第iダウンミックス音響チャンネルブロックに入力される各再生チャンネルのマルチチャンネル音響信号のうちベース音響チャンネル信号とベース音響チャンネルを除く他の音響信号(付随音響チャンネル信号)を選択して決定し、第nダウンミックス音響チャンネルブロックの各々(第iダウンミックス音響チャンネルブロック)に分配する。
【0030】
位相シフトブロック切替判定部13は、第iダウンミックス音響チャンネルのベース音響チャンネル信号と付随音響チャンネル信号の相互相関値及び音響信号レベルに従って、位相シフトダウンミックス部14で生成された位相シフトダウンミックス音響信号と、単純ダウンミックス部15で生成された単純ダウンミックス音響信号のいずれがダウンミックス処理(音質劣化等の抑制)に適しているかを、後述する予め定められた切替判定基準に従って音響ブロック単位で判定し、判定した結果に基づくダウンミックス切替信号を生成してダウンミックス切替部16に送出する。
【0031】
位相シフトダウンミックス部14は、各再生チャンネル用に分配されたマルチチャンネル音響信号を入力して、音響チャンネル関連メタデータ内で指示される規定の位相シフトダウンミックスの計算式のダウンミックス係数に従って位相シフトダウンミックス音響信号を生成する。
【0032】
単純ダウンミックス部15は、各再生チャンネル用に分配されたマルチチャンネル音響信号を入力して、音響チャンネル関連メタデータ内で指示される規定の単純ダウンミックスの計算式のダウンミックス係数に従って単純ダウンミックス音響信号を生成する。
【0033】
ダウンミックス切替部16は、位相シフトダウンミックス部14で生成された位相シフトダウンミックス音響信号と、単純ダウンミックス部15で生成された単純ダウンミックス音響信号とを、位相シフトブロック切替判定部13からのダウンミックス切替信号にしたがって切替を行い、第iダウンミックス音響信号を出力する。尚、ダウンミックス切替部16は、位相シフトブロック切替判定部13からのダウンミックス切替信号に従う切替を行う際にフェードイン/フェードアウト処理を施すフェードイン/フェードアウト処理部161を有する。このフェードイン/フェードアウト処理を行うことにより、音質劣化等の抑制に伴う信号切替時に生じうる雑音(歪み)を低下させることができる。ダウンミックスされた第iダウンミックス音響信号は、対応するスピーカー17−1〜17−nを通して音響再生される。
【0034】
このように、各再生チャンネル用のダウンミックス音響チャンネルブロック(第iダウンミックス音響チャンネルブロック)は、再生チャンネルごとに、位相シフトによってダウンミックスを行う位相シフトダウンミックス音響信号と、遅延処理のみによってダウンミックスを行う単純ダウンミックス音響信号を生成するとともに、各再生チャンネルにおけるベース音響チャンネル信号と付随音響チャンネル信号の相互相関値及び音響信号レベルを算出し、算出した相互相関値及び音響信号レベルに従って、位相シフトダウンミックス音響信号又は単純ダウンミックス音響信号の切り替えを行い、各再生チャンネル用のダウンミックス音響信号を出力する。
【0035】
尚、音響チャンネル関連メタデータ分離部11は、位相シフトブロック切替判定部13によって再生装置側(ダウンミックス装置1側)で「位相シフトブロック切替判定処理」を行う代わりに、送信側で予め位相シフトブロック切替判定部13の「位相シフトブロック切替判定処理」を行っておき、「ダウンミックス切替信号用のメタデータ」として音響チャンネル関連メタデータに含めて伝送することも可能である。この場合、音響チャンネル関連メタデータ分離部11は、位相シフトダウンミックス音響信号又は単純ダウンミックス音響信号の切り替えを行うよう指示する「ダウンミックス切替信号用のメタデータ」が、音響チャンネル関連メタデータ内に存在するか否かを判定し、音響チャンネル関連メタデータ内に「ダウンミックス切替信号用のメタデータ」が存在すると判定した場合に、該メタデータからダウンミックス切替信号を生成する(図6参照)。したがって、図6に示す例では、再生装置側(ダウンミックス装置1側)で位相シフトブロック切替判定部13を備える必要がなくなる。
【0036】
以下、より詳細に、位相シフトブロック切替判定部13、位相シフトダウンミックス部14、及び単純ダウンミックス部15についてそれぞれ説明する。
【0037】
(位相シフトブロック切替判定部)
図2は、本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置における位相シフトブロック切替判定部のブロック図である。位相シフトブロック切替判定部13は、相互相関演算部131と、音響信号レベル算出部132と、切替判定部133とを備える。
【0038】
相互相関演算部131は、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」及び再生装置(ダウンミックス装置1)側で設定される「再生チャンネル数」に基づいて決定されたベース音響チャンネル信号と付随音響チャンネル信号との間の相互相関値を算出し、切替判定部133に送出する。
【0039】
音響信号レベル算出部132は、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」及び再生装置(ダウンミックス装置1)側で設定される「再生チャンネル数」に基づいて決定されたベース音響チャンネル信号及び付随音響チャンネル信号のそれぞれの音響信号レベルを算出し、切替判定部133に送出する。
【0040】
切替判定部133は、相互相関演算部131から得られる相互相関値と、音響信号レベル算出部132から得られる付随音響チャンネル信号の音響信号レベルから、位相シフトダウンミックス部14で生成される位相シフトダウンミックス音響信号と、単純ダウンミックス部15で生成される単純ダウンミックス音響信号のいずれがダウンミックス(音質劣化等の抑制)に適しているかを、予め定められた切替判定基準に従って音響ブロック単位で判定し、判定した結果に基づくダウンミックス切替信号を生成する。
【0041】
切替判定部133は、「位相シフトダウンミックス」と「単純ダウンミックス」の切替判定基準として、相互相関値がa(例えば、0.7)以上、且つベース音響チャンネル信号の音響信号レベルの少なくとも1つがフルスケール換算で所定レベルLe_base(例えば−6dB)以上、且つ付随音響チャンネルの音響信号レベルの少なくとも1つがフルスケール換算で所定レベルLe_aux(例えば−6dB)以上とし、全てが満たされた場合に位相シフトダウンミックス音響信号へと切り替え、それ以外は単純ダウンミックス音響信号に切り替えるように判定する。
【0042】
メインチャンネル22chの音響チャンネル信号をメインチャンネル5chの音響チャンネル信号にダウンミックスする場合、図9及び図11の2種類が規定のダウンミックスの計算式としてARIB等で規定されているものを用いる。
【0043】
メインチャンネル22chの音響チャンネル信号をメインチャンネル2chの音響チャンネル信号にダウンミックスする場合、図10及び図12の2種類が規定のダウンミックスの計算式としてARIB等で規定されているものを用いる。
【0044】
つまり、チャンネル22.2chの音響チャンネル信号をチャンネル5.1chへダウンミックスする場合、図8に示す22.2chの音響チャンネル信号のうち、FL,FR,FC,BL,BR(図9及び図11)が「ベース音響チャンネル信号」であり、「付随音響チャンネル信号」は、その他の音響信号となり、この情報が、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」として多重されている。
【0045】
また、チャンネル22.2chの音響チャンネル信号をチャンネル2chへダウンミックスする場合、図8に示す22.2chの音響チャンネル信号のうち、FL,FR(図10及び図12)が「ベース音響チャンネル信号」であり、「付随音響チャンネル信号」は、その他の音響信号となり、この情報が、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」として多重されている。
【0046】
このように、位相シフトブロック切替判定部13は、第iダウンミックス音響チャンネルのベース音響チャンネル信号と付随音響チャンネル信号の相互相関値及び音響信号レベルに従って、位相シフトダウンミックス部14で生成される位相シフトダウンミックス音響信号と、単純ダウンミックス部15で生成される単純ダウンミックス音響信号のいずれがダウンミックス(音質劣化等の抑制)に適しているかを、予め定められた切替判定基準に従って音響ブロック単位で判定し、判定した結果に基づくダウンミックス切替信号を生成する。
【0047】
(位相シフトダウンミックス部)
図3は、本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置における位相シフトダウンミックス部のブロック図である。位相シフトダウンミックス部14は、遅延部141と、位相シフト部142−kと、加算部143とを備える。
【0048】
遅延部141は、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」及び再生装置(ダウンミックス装置1)側で設定される「再生チャンネル数」に基づいて決定されたベース音響チャンネルの音響信号に対して、付随音響チャンネル信号の位相シフトに伴う遅延時間に相当する遅延を施し、加算部143に出力する。
【0049】
位相シフト部142−kは、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」及び再生装置(ダウンミックス装置1)側で設定される「再生チャンネル数」に基づいて決定された付随音響チャンネル信号の各々(k個)に対して付随音響チャンネルごとに予め定めた位相シフトを行い、加算部143に出力する。ただし、映像信号と音響信号との間の大きなズレを防止するために、付随音響チャンネルの位相シフトに伴う遅延時間を所定の範囲内、例えば1音響ブロック内となるよう制限するものとし、各付随音響チャンネルにおける遅延時間をほぼ同一になるよう制限して位相シフトを行うのが望ましい。
【0050】
加算部143は、遅延を施したベース音響チャンネル信号及び位相シフトを施した付随音響チャンネル信号を音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」で指示される規定のダウンミックスの計算式のダウンミックス係数(図9乃至図12)に従ってダウンミックスを行い、位相シフトダウンミックス音響信号として生成する。
【0051】
ここで、位相シフトダウンミックス部14における付随音響チャンネルの音響信号の位相シフト及び加算処理の順は、加算を行った後、位相シフトを行うように構成することも可能である。位相シフトは、信号の周波数特性は変化させずに信号の位相特性のみを変える処理であり、全域通過フィルタ(All Pass Filter:APF)を用いて行う。位相シフトを行うフィルタの設計は、例えば、「ディジタル信号処理ハンドブック」(オーム社、pp92−101、pp381−384)や、「コンピュータ音楽」(東京電機大学出版局、pp159−161,pp315−339,pp388−400)や、「ディジタルフィルタデザイン」(昭晃堂)などで詳述されている。
【0052】
各付随音響チャンネル信号の位相シフトは異なる特性を持つAPFを使用することもできるが、同一の特性を持つAPFを使用しても効果が得られる。同一の特性を持つAPFを使用する場合、付随音響チャンネル信号の加算を行った後、位相シフトを行うことも可能である。
【0053】
このように、位相シフトダウンミックス部14は、付随音響チャンネル信号の各々(k個)に対して付随音響チャンネルごとに予め定めた位相シフトを行うとともに、ベース音響チャンネル信号に対して、付随音響チャンネル信号の位相シフトに伴う遅延時間に相当する遅延を施して、規定のダウンミックスの計算式のダウンミックス係数(図9乃至図12)に従ってダウンミックスを行い、位相シフトダウンミックス音響信号として生成する。
【0054】
(単純ダウンミックス部)
図4は、本発明による一実施例のマルチチャンネル音響信号のダウンミックス装置における単純ダウンミックス部のブロック図である。単純ダウンミックス部15は、ベース音響チャンネル信号用の遅延部151と、付随音響チャンネル信号用の遅延部152−1〜遅延部152−kと、加算部153とを備える。
【0055】
遅延部151は、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」及び再生装置(ダウンミックス装置1)側で設定される「再生チャンネル数」に基づいて決定されたベース音響チャンネルの音響信号に対して、付随音響チャンネル信号の位相シフトに伴う遅延時間に相当する遅延を施し、加算部153に出力する。
【0056】
遅延部152−kは、音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」及び再生装置(ダウンミックス装置1)側で設定される「再生チャンネル数」に基づいて決定された付随音響チャンネル信号の各々(k個)に対して付随音響チャンネルごとに予め定めた遅延処理を行い、加算部153に出力する。ただし、映像信号と音響信号との間の大きなズレを防止するために、付随音響チャンネルの遅延時間を所定の範囲内、例えば1音響ブロック内となるよう制限するものとし、各付随音響チャンネルにおける遅延時間をほぼ同一になるよう制限するのが望ましい。
【0057】
加算部153は、遅延を施したベース音響チャンネル信号及び付随音響チャンネル信号を音響チャンネル関連メタデータ内の「音響方式に関するパラメータ」で指示される規定のダウンミックスの計算式のダウンミックス係数(図9乃至図12)に従ってダウンミックスを行い、単純ダウンミックス音響信号として生成する。ここで、音響チャンネル信号の遅延処理は、ダウンミックス加算を行った後、遅延処理を行うことも可能である。
【0058】
このように、単純ダウンミックス部15は、付随音響チャンネル信号の各々(k個)に対して付随音響チャンネルごとに予め定めた遅延処理を行うとともに、ベース音響チャンネル信号に対して、付随音響チャンネル信号に伴う遅延時間に相当する遅延を施して、規定のダウンミックスの計算式のダウンミックス係数(図9乃至図12)に従ってダウンミックスを行い、単純ダウンミックス音響信号として生成する。
【0059】
(ダウンミックス切替部)
図1に示すように、ダウンミックス切替部16は、位相シフトダウンミックス部14で生成された位相シフトダウンミックス音響信号と、単純ダウンミックス部15で生成された単純ダウンミックス音響信号とを、位相シフトブロック切替判定部13からのダウンミックス切替信号にしたがって、切替時の雑音を抑制すべく「位相シフトダウンミックス音響信号」と「単純ダウンミックス音響信号」の切替の際にフェードイン/フェードアウト処理を施しながら切替を行い、第iダウンミックス音響信号を出力する。
【0060】
次に、本発明による一実施例のダウンミックス装置1の動作について説明する。
【0061】
図5は、本発明による一実施例のダウンミックス装置1の動作フロー図である。
【0062】
ステップS1にて、ダウンミックス装置1は、音響チャンネル関連メタデータ分離部11によって、音響チャンネル関連メタデータ多重信号を受信する。
【0063】
ステップS2にて、ダウンミックス装置1は、音響チャンネル関連メタデータ分離部11によって、音響チャンネル関連メタデータの分離を行い、「音響方式に関するパラメータ」を抽出する。
【0064】
ステップS3にて、ダウンミックス装置1は、音響チャンネル選択・分配部12によって、再生チャンネル数に対応するチャンネルパラメータを設定する。
【0065】
ステップS4にて、ダウンミックス装置1は、音響チャンネル選択・分配部12によって、マルチチャンネル音響信号を受信する。
【0066】
ステップS5にて、ダウンミックス装置1は、音響チャンネル関連メタデータ分離部11によって、「音響チャンネル関連メタデータ」内に、送信側から「ダウンミックス切替信号用のメタデータ」が存在するか否かを確認する。「ダウンミックス切替信号用のメタデータ」が「音響チャンネル関連メタデータ」内に存在する場合には、音響チャンネル関連メタデータ分離部11は、「ダウンミックス切替信号用のメタデータ」からダウンミックス切替信号を生成して、ステップS10に進む。「ダウンミックス切替信号用のメタデータ」が「音響チャンネル関連メタデータ」内に存在しない場合、ステップS6に進む。
【0067】
ステップS6にて、ダウンミックス装置1は、音響チャンネル選択・分配部12によって、ダウンミックス切替信号用のメタデータ」内の「音響方式に関するパラメータ」に基づいて、マルチチャンネル音響信号をベース音響チャンネル信号と付随音響チャンネル信号に分離する。
【0068】
ステップS7にて、ダウンミックス装置1は、位相シフトブロック切替判定部13によって、音響ブロック単位でベース音響チャンネル信号と各付随音響チャンネル信号との相互相関値をそれぞれ算出する。
【0069】
ステップS8にて、ダウンミックス装置1は、位相シフトブロック切替判定部13によって、音響ブロック単位でベース音響チャンネル信号と各付随音響チャンネル信号との音響信号レベルをそれぞれ算出する。
【0070】
ステップS9にて、ダウンミックス装置1は、位相シフトブロック切替判定部13によって、再生チャンネルごとに、音響ブロック単位のダウンミックス切替信号(位相シフトダウンミックス/単純ダウンミックス)を生成する。
【0071】
ステップS10にて、ダウンミックス装置1は、位相シフトダウンミックス部14及び単純ダウンミックス部15によって、「位相シフトダウンミックス音響信号」と「単純ダウンミックス音響信号」をそれぞれ生成する。
【0072】
ステップS11にて、ダウンミックス装置1は、ダウンミックス切替部16によって、ダウンミックス切替信号にしたがって、切り替え時の雑音を抑制すべく「位相シフトダウンミックス音響信号」と「単純ダウンミックス音響信号」の切り替えの際にフェードイン/フェードアウト処理を施しながら切り替えを行い、第iダウンミックス音響信号を出力する。これにより、再生チャンネル数(n)分のダウンミックス音響信号を生成して、音質や音圧の劣化を抑制しつつ各対応するスピーカー17−1〜17−nに送出して再生することが可能となる。
【0073】
図7は、この音質や音圧の劣化を抑制する様子の説明図である。図7(a)は、規定のダウンミックスの計算式に単純に則り、ダウンミックスを行った場合に生じうるオーバーフローやレベル変動を示す図である。ベース音響チャンネル信号と付随音響チャンネル信号との間で相互相関値及びレベル差を判別することなくダウンミックスを実行した場合、再生装置側で許容されるダイナミックレンジ(Dレンジ)を超える可能性がある。一方、図7(b)に示すように、本実施例のダウンミックス装置1によれば、ベース音響チャンネル信号と付随音響チャンネル信号との間で相互相関値及びレベル差を判定し、更にリアルタイム性を保持するべく「位相シフトダウンミックス音響信号」と「単純ダウンミックス音響信号」の切り替えを行うため、ダウンミックスを行った場合に生じうるオーバーフローやレベル変動を好適に抑制することができるようになる。
【0074】
本発明に係るダウンミックス装置1をコンピュータで構成した場合、各機能を実現する処理内容を記述したプログラムを、当該コンピュータの内部又は外部の記憶部に格納しておき、当該コンピュータの中央演算処理装置(CPU)によってこのプログラムを読み出して実行させることで実現することができる。また、このようなプログラムは、例えばDVD又はCD−ROMなどの可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。従って、本発明は、前述した実施例に限定されるものではなく、その主旨を逸脱しない範囲において種々変更可能である。
【産業上の利用可能性】
【0075】
本発明によれば、ベース音響チャンネル信号と付随音響チャンネル信号との間で相互相関値及びレベル差を判定し、更にリアルタイム性を保持するべく「位相シフトダウンミックス音響信号」と「単純ダウンミックス音響信号」の切り替えを行うため、ダウンミックスを行った場合に生じうるオーバーフローやレベル変動を好適に抑制することができるので、マルチチャンネル信号をダウンミックスする用途に有用である。
【符号の説明】
【0076】
1 ダウンミックス装置
11 音響チャンネル関連メタデータ分離部
12 音響チャンネル選択・分配部
13 位相シフトブロック切替判定部
14 位相シフトダウンミックス部
15 単純ダウンミックス部
16 ダウンミックス切替部
17−1〜17−n スピーカー
131 相互相関演算部
132 音響信号レベル算出部
133 切替判定部
141 遅延部
142−k 位相シフト部
143 加算部
151 遅延部
152−k 遅延部
153 加算部
161 フェードイン・フェードアウト処理部
【特許請求の範囲】
【請求項1】
マルチチャンネル音響信号をダウンミックスして再生チャンネル数分のダウンミックス音響信号を生成するダウンミックス装置であって、
マルチチャンネル音響信号と関連付けて多重される音響チャンネル関連メタデータの多重信号を受信して、該音響チャンネル関連メタデータ内の音響方式に関するパラメータを分離して抽出する音響チャンネル関連メタデータ分離手段と、
前記音響方式に関するパラメータと、当該ダウンミックス装置に予め設定される再生チャンネル数に基づいて、各再生チャンネルのマルチチャンネル音響信号のうちベース音響チャンネル信号と前記ベース音響チャンネルを除く他の音響信号である付随音響チャンネル信号を選択して決定し、各再生チャンネル用に分配する音響チャンネル選択・分配手段と、
再生チャンネルごとに、位相シフトによってダウンミックスを行う位相シフトダウンミックス音響信号と、遅延処理のみによってダウンミックスを行う単純ダウンミックス音響信号を生成するとともに、各再生チャンネルにおける前記ベース音響チャンネル信号と前記付随音響チャンネル信号の相互相関値及び音響信号レベルに従って前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを判定し、各再生チャンネル用のダウンミックス音響信号を出力するダウンミックス音響信号生成手段と、
を備えることを特徴とするダウンミックス装置。
【請求項2】
前記ダウンミックス音響信号生成手段は、
前記位相シフトによってダウンミックスを行う位相シフトダウンミックス音響信号を生成する位相シフトダウンミックス生成手段と、
前記遅延処理のみによってダウンミックスを行う単純ダウンミックス音響信号を生成する単純ダウンミックス生成手段と、
各再生チャンネルにおける前記ベース音響チャンネル信号と前記付随音響チャンネル信号の相互相関値及び音響信号レベルに従って前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを判定し、各再生チャンネル用のダウンミックス音響信号を出力するダウンミックス切替手段と、
を備えることを特徴とする、請求項1に記載のダウンミックス装置。
【請求項3】
前記ダウンミックス音響信号生成手段は、
前記ベース音響チャンネル信号と付随音響チャンネル信号の相互相関値及び音響信号レベルに基づいて、前記位相シフトダウンミックス音響信号と、前記単純ダウンミックス音響信号のいずれかを判別する旨を示すダウンミックス切替信号を生成する位相シフトブロック切替判定手段をさらに備えることを特徴とする、請求項2に記載のダウンミックス装置。
【請求項4】
前記位相シフトブロック切替判定手段は、
前記音響方式に関するパラメータ及び前記再生チャンネル数に基づいて決定されたベース音響チャンネル信号と付随音響チャンネル信号との間の相互相関値を算出する相互相関演算手段と、
前記ベース音響チャンネル信号及び前記付随音響チャンネル信号のそれぞれの音響信号レベルを算出する音響信号レベル算出手段と、
前記相互相関演算手段から得られる相互相関値と、前記音響信号レベル算出手段から得られる付随音響チャンネル信号の音響信号レベルから、前記位相シフトダウンミックス音響信号と、前記単純ダウンミックス音響信号のいずれがダウンミックス処理に適しているかを、予め定められた切替判定基準に従って判定し、判定した結果に基づくダウンミックス切替信号を生成する切替判定手段と、
を備えることを特徴とする、請求項3に記載のダウンミックス装置。
【請求項5】
前記切替判定手段は、前記切替判定基準として、
前記相互相関値が所定値以上、且つ前記ベース音響チャンネル信号の音響信号レベルの少なくとも1つがフルスケール換算で所定レベル以上、且つ前記付随音響チャンネルの音響信号レベルの少なくとも1つがフルスケール換算で所定レベル以上とし、全てが満たされた場合に前記位相シフトダウンミックス音響信号へと切り替え、それ以外は前記単純ダウンミックス音響信号に切り替えるように判定し、判定した結果に基づくダウンミックス切替信号を生成する手段を有することを特徴とする、請求項4に記載のダウンミックス装置。
【請求項6】
前記音響チャンネル関連メタデータ分離手段は、
前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを行うよう指示するダウンミックス切替信号用のメタデータが、前記音響チャンネル関連メタデータ内に存在するか否かを判定し、前記音響チャンネル関連メタデータ内に前記ダウンミックス切替信号用のメタデータが存在すると判定した場合に、該メタデータからダウンミックス切替信号を生成する手段を有し、
前記ダウンミックス音響信号生成手段は、
該ダウンミックス切替信号に基づいて前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを判定し、各再生チャンネル用のダウンミックス音響信号を出力する手段を有することを特徴とする、請求項1に記載のダウンミックス装置。
【請求項7】
前記ダウンミックス音響信号生成手段は、
前記ダウンミックス切替信号に従う切替を行う際にフェードイン/フェードアウト処理を施すフェードイン/フェードアウト処理手段を有することを特徴とする、請求項1〜6のいずれか一項に記載のダウンミックス装置。
【請求項8】
マルチチャンネル音響信号をダウンミックスして再生チャンネル数分のダウンミックス音響信号を生成するダウンミックス装置として構成するコンピュータに、
マルチチャンネル音響信号と関連付けて多重される音響チャンネル関連メタデータの多重信号を受信して、該音響チャンネル関連メタデータ内の音響方式に関するパラメータを分離して抽出するステップと、
前記音響方式に関するパラメータと、当該ダウンミックス装置に予め設定される再生チャンネル数に基づいて、各再生チャンネルのマルチチャンネル音響信号のうちベース音響チャンネル信号と前記ベース音響チャンネルを除く他の音響信号である付随音響チャンネル信号を選択して決定し、各再生チャンネル用に分配するステップと、
再生チャンネルごとに、位相シフトによってダウンミックスを行う位相シフトダウンミックス音響信号と、遅延処理のみによってダウンミックスを行う単純ダウンミックス音響信号を生成するとともに、各再生チャンネルにおける前記ベース音響チャンネル信号と前記付随音響チャンネル信号の相互相関値及び音響信号レベルに従って前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを判定し、各再生チャンネル用のダウンミックス音響信号を出力するステップと、
を実行させるためのプログラム。
【請求項1】
マルチチャンネル音響信号をダウンミックスして再生チャンネル数分のダウンミックス音響信号を生成するダウンミックス装置であって、
マルチチャンネル音響信号と関連付けて多重される音響チャンネル関連メタデータの多重信号を受信して、該音響チャンネル関連メタデータ内の音響方式に関するパラメータを分離して抽出する音響チャンネル関連メタデータ分離手段と、
前記音響方式に関するパラメータと、当該ダウンミックス装置に予め設定される再生チャンネル数に基づいて、各再生チャンネルのマルチチャンネル音響信号のうちベース音響チャンネル信号と前記ベース音響チャンネルを除く他の音響信号である付随音響チャンネル信号を選択して決定し、各再生チャンネル用に分配する音響チャンネル選択・分配手段と、
再生チャンネルごとに、位相シフトによってダウンミックスを行う位相シフトダウンミックス音響信号と、遅延処理のみによってダウンミックスを行う単純ダウンミックス音響信号を生成するとともに、各再生チャンネルにおける前記ベース音響チャンネル信号と前記付随音響チャンネル信号の相互相関値及び音響信号レベルに従って前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを判定し、各再生チャンネル用のダウンミックス音響信号を出力するダウンミックス音響信号生成手段と、
を備えることを特徴とするダウンミックス装置。
【請求項2】
前記ダウンミックス音響信号生成手段は、
前記位相シフトによってダウンミックスを行う位相シフトダウンミックス音響信号を生成する位相シフトダウンミックス生成手段と、
前記遅延処理のみによってダウンミックスを行う単純ダウンミックス音響信号を生成する単純ダウンミックス生成手段と、
各再生チャンネルにおける前記ベース音響チャンネル信号と前記付随音響チャンネル信号の相互相関値及び音響信号レベルに従って前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを判定し、各再生チャンネル用のダウンミックス音響信号を出力するダウンミックス切替手段と、
を備えることを特徴とする、請求項1に記載のダウンミックス装置。
【請求項3】
前記ダウンミックス音響信号生成手段は、
前記ベース音響チャンネル信号と付随音響チャンネル信号の相互相関値及び音響信号レベルに基づいて、前記位相シフトダウンミックス音響信号と、前記単純ダウンミックス音響信号のいずれかを判別する旨を示すダウンミックス切替信号を生成する位相シフトブロック切替判定手段をさらに備えることを特徴とする、請求項2に記載のダウンミックス装置。
【請求項4】
前記位相シフトブロック切替判定手段は、
前記音響方式に関するパラメータ及び前記再生チャンネル数に基づいて決定されたベース音響チャンネル信号と付随音響チャンネル信号との間の相互相関値を算出する相互相関演算手段と、
前記ベース音響チャンネル信号及び前記付随音響チャンネル信号のそれぞれの音響信号レベルを算出する音響信号レベル算出手段と、
前記相互相関演算手段から得られる相互相関値と、前記音響信号レベル算出手段から得られる付随音響チャンネル信号の音響信号レベルから、前記位相シフトダウンミックス音響信号と、前記単純ダウンミックス音響信号のいずれがダウンミックス処理に適しているかを、予め定められた切替判定基準に従って判定し、判定した結果に基づくダウンミックス切替信号を生成する切替判定手段と、
を備えることを特徴とする、請求項3に記載のダウンミックス装置。
【請求項5】
前記切替判定手段は、前記切替判定基準として、
前記相互相関値が所定値以上、且つ前記ベース音響チャンネル信号の音響信号レベルの少なくとも1つがフルスケール換算で所定レベル以上、且つ前記付随音響チャンネルの音響信号レベルの少なくとも1つがフルスケール換算で所定レベル以上とし、全てが満たされた場合に前記位相シフトダウンミックス音響信号へと切り替え、それ以外は前記単純ダウンミックス音響信号に切り替えるように判定し、判定した結果に基づくダウンミックス切替信号を生成する手段を有することを特徴とする、請求項4に記載のダウンミックス装置。
【請求項6】
前記音響チャンネル関連メタデータ分離手段は、
前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを行うよう指示するダウンミックス切替信号用のメタデータが、前記音響チャンネル関連メタデータ内に存在するか否かを判定し、前記音響チャンネル関連メタデータ内に前記ダウンミックス切替信号用のメタデータが存在すると判定した場合に、該メタデータからダウンミックス切替信号を生成する手段を有し、
前記ダウンミックス音響信号生成手段は、
該ダウンミックス切替信号に基づいて前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを判定し、各再生チャンネル用のダウンミックス音響信号を出力する手段を有することを特徴とする、請求項1に記載のダウンミックス装置。
【請求項7】
前記ダウンミックス音響信号生成手段は、
前記ダウンミックス切替信号に従う切替を行う際にフェードイン/フェードアウト処理を施すフェードイン/フェードアウト処理手段を有することを特徴とする、請求項1〜6のいずれか一項に記載のダウンミックス装置。
【請求項8】
マルチチャンネル音響信号をダウンミックスして再生チャンネル数分のダウンミックス音響信号を生成するダウンミックス装置として構成するコンピュータに、
マルチチャンネル音響信号と関連付けて多重される音響チャンネル関連メタデータの多重信号を受信して、該音響チャンネル関連メタデータ内の音響方式に関するパラメータを分離して抽出するステップと、
前記音響方式に関するパラメータと、当該ダウンミックス装置に予め設定される再生チャンネル数に基づいて、各再生チャンネルのマルチチャンネル音響信号のうちベース音響チャンネル信号と前記ベース音響チャンネルを除く他の音響信号である付随音響チャンネル信号を選択して決定し、各再生チャンネル用に分配するステップと、
再生チャンネルごとに、位相シフトによってダウンミックスを行う位相シフトダウンミックス音響信号と、遅延処理のみによってダウンミックスを行う単純ダウンミックス音響信号を生成するとともに、各再生チャンネルにおける前記ベース音響チャンネル信号と前記付随音響チャンネル信号の相互相関値及び音響信号レベルに従って前記位相シフトダウンミックス音響信号又は前記単純ダウンミックス音響信号の切り替えを判定し、各再生チャンネル用のダウンミックス音響信号を出力するステップと、
を実行させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2011−193164(P2011−193164A)
【公開日】平成23年9月29日(2011.9.29)
【国際特許分類】
【出願番号】特願2010−56681(P2010−56681)
【出願日】平成22年3月12日(2010.3.12)
【出願人】(000004352)日本放送協会 (2,206)
【Fターム(参考)】
【公開日】平成23年9月29日(2011.9.29)
【国際特許分類】
【出願日】平成22年3月12日(2010.3.12)
【出願人】(000004352)日本放送協会 (2,206)
【Fターム(参考)】
[ Back to top ]