信号再生装置及び信号再生プログラム
【課題】マルチチャンネル信号に対して信号処理を施すことにより、迫力、臨場感のある音声再生を実現する。
【解決手段】音声信号処理装置は、フロントチャンネル信号とサラウンドチャンネル信号とを受け取り、フロントチャンネル信号のレベルを検出する。フロントチャンネル信号のレベルが所定の割合以上に変化するレベル増加が検出されると、一定時間にわたり、フロントチャンネル信号がサラウンドチャンネル信号に加算される。これにより、例えば効果音などに起因するフロントチャンネル信号の急峻な変化をサラウンドチャンネルに反映することができ、迫力や臨場感を向上させることができる。
【解決手段】音声信号処理装置は、フロントチャンネル信号とサラウンドチャンネル信号とを受け取り、フロントチャンネル信号のレベルを検出する。フロントチャンネル信号のレベルが所定の割合以上に変化するレベル増加が検出されると、一定時間にわたり、フロントチャンネル信号がサラウンドチャンネル信号に加算される。これにより、例えば効果音などに起因するフロントチャンネル信号の急峻な変化をサラウンドチャンネルに反映することができ、迫力や臨場感を向上させることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチチャンネル音声信号の処理に関する。
【背景技術】
【０００２】
映像ソースとともに再生される音声信号として、５．１チャンネルなどのマルチチャンネル音声信号を用いて立体感のある音声再生を行う手法が知られている。また、近年注目されている３Ｄ映像の再生システムにおいても、臨場感のある音声再生が求められている。
【０００３】
このような観点から、信号ソースから得られるマルチチャンネル音声信号に対して各種の信号処理を施す手法が提案されている。例えば、特許文献１では、２チャンネル信号から定位情報を抽出して、４チャンネル化する手法が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−０２８６９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題としては、上記のものが例として挙げられる。本発明は、マルチチャンネル信号に対して信号処理を施すことにより、迫力、臨場感のある音声再生を実現することを目的とする。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明は、映像及び音声からなるコンテンツの信号再生装置であって、フロントチャンネル信号及びサラウンドチャンネル信号を含む入力信号を受け取る入力部と、前記フロントチャンネル信号のレベル増加を検出するレベル検出手段と、前記フロントチャンネル信号の所定割合以上のレベル増加が検出されたときに、一定時間にわたり、サラウンドチャンネル信号にフロントチャンネル信号を加算するフロントチャンネル信号混合手段と、を備え、前記フロントチャンネル信号混合手段は、サラウンドチャンネル信号に加算されるフロントチャンネル信号に含まれるセリフの影響を除去するセリフ影響除去手段を有することを特徴とする。
【０００７】
請求項４に記載の発明は、コンピュータを備える装置において実行される、映像及び音声からなるコンテンツの信号再生プログラムであって、フロントチャンネル信号及びサラウンドチャンネル信号を含む入力信号を受け取る入力手段、前記フロントチャンネル信号のレベル増加を検出するレベル検出手段、前記フロントチャンネル信号の所定割合以上のレベル増加が検出されたときに、一定時間にわたり、サラウンドチャンネル信号にフロントチャンネル信号を加算するフロントチャンネル信号混合手段、として前記コンピュータを機能させ、前記フロントチャンネル信号混合手段は、サラウンドチャンネル信号に加算されるフロントチャンネル信号に含まれるセリフの影響を除去するセリフ影響除去手段を有することを特徴とする。
【０００８】
請求項５に記載の発明は、映像及び音声からなるコンテンツを再生するＴＶシステムであって、２チャンネルのスピーカと、フロントチャンネル信号及びサラウンドチャンネル信号を含む入力信号を受け取る入力部と、前記フロントチャンネル信号のレベル増加を検出するレベル検出手段と、前記フロントチャンネル信号の所定割合以上のレベル増加が検出されたときに、一定時間にわたり、サラウンドチャンネル信号にフロントチャンネル信号を加算するフロントチャンネル信号混合手段と、前記フロントチャンネル信号を前記２チャンネルのスピーカから再生させるとともに、前記サラウンドチャンネル信号に基づいて疑似サラウンドチャンネル信号を生成して前記２チャンネルのスピーカから再生させる再生手段と、を備え、前記フロントチャンネル信号混合手段は、サラウンドチャンネル信号に加算されるフロントチャンネル信号に含まれるセリフの影響を除去するセリフ影響除去手段を有することを特徴とする。
【図面の簡単な説明】
【０００９】
【図１】本発明の音声信号処理装置を適用した音声信号再生装置の構成を示すブロック図である。
【図２】信号処理部の基本実施例の構成を示すブロック図である。
【図３】レベル比と加算係数との関係の一例を示す。
【図４】フロントチャンネル信号、及び、サラウンドチャンネル信号に混合される信号の波形の例を示す。
【図５】フロントチャンネル信号混合処理のフローチャートを示す。
【図６】セリフの影響を除去する第１の例に係る信号処理部の構成を示すブロック図である。
【図７】セリフの影響を除去する第２の例に係る信号処理部の構成を示すブロック図である。
【図８】セリフの影響を除去する第３の例に係る信号処理部の構成を示すブロック図である。
【符号の説明】
【００１０】
１ 音声再生装置
２ デコーダ
３ ＤＶ変換器
１０ レベル検出部
２０ レベル制御部
１００、１００ａ〜１００ｃ 信号処理部
【発明を実施するための最良の形態】
【００１１】
本発明の好適な実施形態では、音声信号処理装置は、フロントチャンネル信号及びサラウンドチャンネル信号を含む入力信号を受け取る入力部と、前記フロントチャンネル信号の所定割合以上のレベル増加を検出するレベル検出手段と、前記所定割合以上のレベル増加が検出されたときに、一定時間にわたり、サラウンドチャンネル信号にフロントチャンネル信号を加算する加算手段と、を備える。
【００１２】
上記の音声信号処理装置は、フロントチャンネル信号とサラウンドチャンネル信号とを受け取り、フロントチャンネル信号のレベルを検出する。フロントチャンネル信号のレベルが所定の割合以上に変化するレベル増加が検出されると、一定時間にわたり、フロントチャンネル信号がサラウンドチャンネル信号に加算される。これにより、例えば効果音などに起因するフロントチャンネル信号の急峻な変化をサラウンドチャンネルに反映することができ、迫力や臨場感を向上させることができる。
【００１３】
上記の音声信号処理装置の一態様は、前記レベル増加の割合に基づいて、前記サラウンドチャンネル信号に加算されるフロントチャンネル信号のレベルである加算レベルを制御するレベル制御手段を備える。好適な例では、前記レベル制御手段は、前記レベル増加の割合が大きいほど、前記加算レベルを大きくする。この態様では、レベル増加の割合が大きいほど、その変化がサラウンドチャンネル大きく反映されるので、フロントチャンネルの変化の大きさに応じて適切なレベルでサラウンドチャンネルに変化が与えられる。
【００１４】
上記の音声信号処理装置の他の一態様では、前記レベル制御手段は、前記一定時間の経過時に前記加算レベルがゼロとなるように、前記一定時間中に前記加算レベルを減少させる。この態様では、フロントチャンネルの変化をサラウンドチャンネルに反映する処理を一定の時間で終了させることにより、そのような変化が発生するたびに、効果を確保することが可能となる。また、徐々にレベルを減少させることにより違和感をなくすことができる。
【００１５】
上記の音声信号処理装置の他の一態様では、前記レベル検出手段は、前記フロントチャンネル信号の現在のレベルと直前の所定期間におけるレベルとの比が所定値以上となったことを、前記所定割合以上のレベル増加として検出する。これにより、フロントチャンネルにおけるレベルの急峻な変化を的確に検出することができる。
【００１６】
上記の音声信号処理装置の他の一態様では、前記フロントチャンネル信号は左右のフロントチャンネル信号を含み、前記レベル検出手段は、左右のフロントチャンネル信号の差信号について、前記レベル増加を検出する。この態様では、左右のフロントチャンネル信号の差信号を利用することにより、フロントチャンネル信号の通常左右同相に含まれるセリフの成分がサラウンドチャンネルに混合されることが防止される。
【００１７】
また、上記の音声信号処理装置の他の一態様では、前記フロントチャンネル信号は左右のフロントチャンネル信号を含み、前記レベル検出手段は、前記左右のフロントチャンネル信号の和信号の低域成分と、前記左右のフロントチャンネル信号の差信号の高域成分との加算信号について、前記レベル増加を検出する。この態様では、フロントチャンネル信号の和信号については、低域成分のみを利用することにより、フロントチャンネル信号に含まれる中高域のセリフの成分がサラウンドチャンネルに混合されることが防止される。
【００１８】
また、上記の音声信号処理装置の他の一態様では、前記フロントチャンネル信号は左右のフロントチャンネル信号を含み、前記レベル検出手段は、前記左右のフロントチャンネル信号の和信号の低域成分について、前記レベル増加を検出する。この態様では、左右のフロントチャンネル信号の和信号の低域成分のみを利用することにより、フロントチャンネル信号に含まれる中高域のセリフの成分がサラウンドチャンネルに混合されることが防止される。
【００１９】
上記の音声信号処理装置の他の一態様では、前記フロントチャンネル信号は左右のフロントチャンネル信号を含み、前記サラウンドチャンネル信号は左右のサラウンドチャンネル信号を含み、前記加算手段は、前記左右のフロントチャンネル信号の和信号を、前記左右のサラウンド信号の一方に正相で加算するとともに前記左右のサラウンド信号の他方に逆相で加算する。この態様では、フロントチャンネル信号の和信号を、左右のサラウンドチャンネル信号にそれぞれ正相と逆相で混合することにより、迫力や臨場感をより一層向上させることができる。
【００２０】
本発明の他の好適な実施形態では、コンピュータを備える装置において実行される音声信号処理プログラムは、フロントチャンネル信号及びサラウンドチャンネル信号を含む入力信号を受け取る入力手段、前記フロントチャンネル信号の所定割合以上のレベル増加を検出するレベル検出手段、前記所定割合以上のレベル増加が検出されたときに、一定時間にわたり、サラウンドチャンネル信号にフロントチャンネル信号を加算する加算手段、として前記コンピュータを機能させる。上記のプログラムをコンピュータにより実行することによって、音声信号再生装置を実現することができる。
【実施例】
【００２１】
以下、図面を参照して本発明の好適な実施例について説明する。
【００２２】
[全体構成]
図１は、本発明の音声信号処理装置を適用した音声信号再生装置の構成を示すブロック図である。音声信号再生装置１は、デコーダ２と、本発明に係る音声信号処理装置の実施例である信号処理部１００と、Ｄ／Ａ変換器３とを備える。
【００２３】
デコーダ２は、信号ソースから圧縮ストリームＳＴを受け取る。信号ソースとしては、例えばＤＶＤ、ＢＤ、ハードディスクレコーダなどが挙げられる。これらの記録媒体には映像信号と音声信号とが記録されるが、デコーダ２は映像信号と音声信号とを含む圧縮ストリームを受け取ってもよいし、音声信号のみの圧縮ストリームを受け取ってもよい。
【００２４】
デコーダ２は、受け取った圧縮ストリームＳＴを復号化し、ディジタルの音声信号を生成する。具体的には、デコーダ２は、左フロントチャンネル信号ＦＬ、右フロントチャンネル信号ＦＲ、左サラウンドチャンネル信号ＳＬ、右サラウンドチャンネル信号ＳＲ、センターチャンネル信号Ｃ及びＬＦＥ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ Ｅｆｆｅｃｔ）信号ＬＦＥを生成し、信号処理部１００へ供給する。以下、「チャンネル」を「ｃｈ」とも表記する。
【００２５】
信号処理部１００は、入力された信号に基づいて、サラウンドｃｈ信号に対する信号処理を行い、処理後の信号をＤ／Ａ変換器３へ供給する。具体的には、信号処理部１００は、フロントｃｈ信号ＦＬ及びＦＲ、センターｃｈ信号Ｃ及びＬＦＥ信号ＬＦＥをそのままＤ／Ａ変換器３へ出力するとともに、信号処理により得られたサラウンドｃｈ信号ＳＬｘ及びＳＲｘをＤ／Ａ変換器３へ出力する。なお、この信号処理については後に詳しく説明する。
【００２６】
Ｄ／Ａ変換器３は、受け取った信号ＦＬ、ＦＲ、ＳＬｘ、ＳＲｘ、Ｃ及びＬＦＥをそれぞれＤ／Ａ変換し、アナログ信号ＡＦＬ、ＡＦＲ、ＡＳＬｘ、ＡＳＲｘ、ＡＣ及びＡＬＦＥを各チャンネルのスピーカへ出力する。
【００２７】
[フロントチャンネル信号混合処理]
次に、信号処理部１００が実行する信号処理について詳しく説明する。信号処理部１００は、フロントｃｈ信号の急峻な立ち上がり、具体的には所定割合以上のレベル増加を検出し、急峻な立ち上がりが検出されたときに、フロントｃｈ信号をサラウンドｃｈ信号に混合（加算）する。この処理を、以下、「フロントｃｈ信号混合処理」とも呼ぶ。フロントｃｈ信号混合処理は、入力信号レベルの急峻な変化を音場の後方に広げることにより、迫力、臨場感などを向上させる。以下、詳しく説明する。
【００２８】
図２は、信号処理部１００の基本実施例の構成を示すブロック図である。なお、前述のように、信号処理部１００は、フロントｃｈ信号をサラウンドｃｈ信号に加える処理を行うものであり、フロントｃｈ信号ＦＬ及びＦＲ、センターｃｈ信号Ｃ並びにＬＦＥ信号については入力された信号をそのまま出力するので、その部分の構成は図示を省略している。
【００２９】
図２に示すように、信号処理部１００は、レベル検出部１０と、レベル制御部２０と、加算器３１、３２、３３と、増幅器４０とを備える。サラウンドｃｈ信号ＳＬは加算器３２に入力され、サラウンドｃｈ信号ＳＲは加算器３３に入力される。
【００３０】
フロントｃｈ信号ＦＬ及びＦＲは加算器３１により加算され、得られたフロントｃｈ信号Ｆ（＝ＦＬ＋ＦＲ）はレベル検出部１０及び増幅器４０へ供給される。増幅器４０は、レベル制御部２０から供給される加算係数αに基づいてフロントｃｈ信号Ｆを増幅して信号α（ＦＬ＋ＦＲ）を生成し、加算器３２、３３へ供給する。加算係数αは、サラウンドｃｈ信号に加算されるフロントｃｈ信号のレベル（「加算レベル」という。）を示すものである。加算係数αが大きいほど、サラウンドｃｈ信号に加算されるフロントｃｈ信号のレベルが大きくなる。
【００３１】
加算器３２はフロントｃｈ信号ＳＬに信号α（ＦＬ＋ＦＲ）を加算し、サラウンドｃｈ信号ＳＬｘとして出力する。同様に、加算器３３は、フロントｃｈ信号ＳＲに信号α（ＦＬ＋ＦＲ）を加算し、サラウンドｃｈ信号ＳＲｘとして出力する。
【００３２】
レベル検出部１０及びレベル制御部２０は、フロントｃｈ信号Ｆのレベルに基づいて、加算係数αを制御する役割を有する。レベル検出部１０は、過去レベル保持部１１と、現在レベル検出部１２と、レベル比算出部１３とを備える。レベル制御部２０は、加算係数決定部２１と、係数減少部２２とを備える。
【００３３】
現在レベル検出部１２は、フロントｃｈ信号Ｆのレベルを検出し、現在レベルＬｃとして保持する。過去レベル保持部１１は、現在を基準とした直前の所定期間における、フロントｃｈ信号Ｆのレベルを保持する。即ち、過去レベル保持部１１は、現在レベル検出部１２が検出したフロントｃｈ信号Ｆのレベルを、常に所定期間分保持する。ここで、「所定期間」は、数秒（例えば５〜８秒程度）とする。そして、過去レベル保持部１１は、所定期間のフロントｃｈ信号Ｆのレベルを代表する過去レベルＬｐを決定する。過去レベルＬｐは、例えば所定期間におけるフロントｃｈ信号Ｆの平均値、もしくは、各時点におけるフロントｃｈ信号の絶対値の平均値又は絶対値のうちの最大値などとすることができる。
【００３４】
レベル比算出部１３は、現在レベルＬｃと過去レベルＬｐとの比であるレベル比Ｒ（＝Ｌｃ／Ｌｐ）を算出し、レベル制御部２０へ出力する。レベル比Ｒは、フロントｃｈ信号Ｆのレベル変化を示し、レベル比Ｒの値が大きいほど、フロントｃｈ信号Ｆのレベル増加は大きい。
【００３５】
レベル制御部２０の加算係数決定部２１は、レベル検出部１０から供給されたレベル比Ｒに基づいて、加算係数αを決定する。図３は、レベル比Ｒと加算係数αとの関係の一例を示す。
【００３６】
図３に示すように、レベル比Ｒの閾値Ｒｔｈが用意される。本実施例は、フロントｃｈ信号のレベル増加が急峻であるときに、サラウンドｃｈ信号にフロントｃｈ信号Ｆを加算することを意図している。閾値Ｒｔｈは、フロントｃｈ信号Ｆのレベル変化が急峻であると判定される所定割合を示す。レベル比Ｒが閾値Ｒｔｈより小さい場合、加算係数決定部２１は、フロントｃｈ信号Ｆのレベル増加は急峻ではないと判定し、加算係数αを「０」とする。これにより、フロントｃｈ信号Ｆはサラウンド信号に加算されない。一方、レベル比Ｒが閾値Ｒｔｈ以上である場合、加算係数決定部２１はフロントｃｈ信号Ｆのレベル増加が急峻であると判定し、加算係数αを「０」より大きい値に設定する。これにより、フロントｃｈ信号Ｆは、加算係数αに応じた割合でサラウンドｃｈ信号に加算される。
【００３７】
閾値Ｒｔｈは、各種の音声信号ソースを用いた実験などにより決定することができ、例えば「２〜３」程度に設定することができる。閾値Ｒｔｈが「２」に設定された場合、フロントｃｈ信号Ｆのレベルが２倍となったときに、レベル増加が急峻であると判断される。
【００３８】
図３に示すように、レベル比Ｒが閾値Ｒｔｈ以上となった場合、加算係数αはレベル比Ｒに比例して増加する。つまり、フロントｃｈ信号Ｆのレベル変化が急峻であるほど、サラウンドｃｈ信号に加算されるフロントｃｈ信号Ｆのレベル、即ち加算レベルが増加する。こうして、レベル制御部２０は、フロントｃｈ信号Ｆのレベル変化が大きいときにはその変化をサラウンドｃｈにも大きく伝え、レベル変化が小さいときにはサラウンドｃｈの変化もそれなりのレベルに設定する。これにより、連続的かつダイナミックレンジの広い効果を得ることができる。
【００３９】
また、図３に示すように、加算係数αには最大値αｍａｘが設定される。例えば、加算係数の最大値αｍａｘが「０．５」に設定されている場合、フロントチャンネル信号の１／２以上がサラウンドｃｈに混合されることはない。つまり、フロントｃｈ信号Ｆのレベル変化が大きい場合でも、無制限にフロントｃｈ信号Ｆがサラウンドｃｈ信号に混合されることはない。こうして、過剰な混合処理がなされて音場に違和感が生じることを防止している。
【００４０】
係数減少部２２は、フロントｃｈ信号Ｆをサラウンドｃｈ信号に混合する時間を一定時間に制限する役割を有する。具体的には、係数減少部２２は予め決められた一定時間「τ」を有する。レベル比Ｒが閾値Ｒｔｈ以上となったとして加算係数決定部２１が加算係数αを「０」より大きい値に設定し、増幅器４０によりフロントｃｈ信号Ｆがサラウンドｃｈ信号に加算されると、係数減少部２２はフロントｃｈ信号Ｆがサラウンドｃｈ信号に加算され始めた時点から一定時間τ内に加算係数αを直線的に「０」まで減少させる。よって、フロントｃｈ信号Ｆに急峻なレベル増加があると、加算係数αに応じた割合でフロントｃｈ信号Ｆがサラウンドｃｈ信号に加算されるが、その後は徐々に加算されるフロントｃｈ信号Ｆのレベルが減少する。そして、フロントｃｈ信号Ｆがサラウンドｃｈ信号に加算され始めてから一定時間τが経過したときには、フロントｃｈ信号Ｆはサラウンドｃｈ信号に加算されなくなる。これにより、次にフロントｃｈ信号Ｆの急峻なレベル増加が発生したときに、フロントｃｈ信号を加算することによる効果を確保する。また、フロントｃｈ信号Ｆを加算する割合をある程度の時間をかけて徐々に減少させることにより、違和感なく、効果を減少させていくことができる。
【００４１】
なお、この一定時間「τ」は、例えば１〜１．５秒程度に設定される。また、この一定時間τは、レベル検出部１０の過去レベル保持部１１が過去レベルを保持する所定時間（上記の例では７〜８秒）より小さく、例えば過去レベル保持部１１の時間は一定時間τの５〜６倍程度が好ましい。
【００４２】
図４は、フロントｃｈ信号、及び、上記の処理によりサラウンドｃｈ信号に混合される信号の波形の例を示す。図４に示すように、ある時刻ｔ１でフロントｃｈ信号のレベルが急峻に増加すると、フロントｃｈ信号が加算係数αに応じた割合でサラウンドｃｈ信号へ混合される。その後、加算係数αは徐々に減少していき、サラウンドｃｈ信号に混合される信号は徐々にフェードアウトする。一定時間τが経過する時刻ｔ２において加算係数αは「０」となり、フロントｃｈ信号のサラウンドｃｈ信号への混合が停止される。
【００４３】
なお、図４において、時刻ｔ１〜ｔ２の間に再度フロントｃｈ信号の急峻なレベル増加が検出された場合には、信号処理部１００は同じ処理を行う。つまり、レベル制御部２０はそのときのレベル比Ｒに基づいて加算係数αを決定し、一定時間τにわたりフロントｃｈ信号をサラウンドｃｈ信号に混合する。
【００４４】
図５は、フロントｃｈ信号混合処理のフローチャートを示す。この処理は、信号処理部１００を構成するコンピュータが、予め用意されたプログラムを実行し、図２に示す各構成要素として動作することにより実現される。
【００４５】
まず、レベル検出部１０は、フロントｃｈ信号のレベルを検出し（ステップＳ１１）、急峻なレベル増加があったか否かを判定する（ステップＳ１２）。急峻なレベル増加が無い場合（ステップＳ１２；Ｎｏ）、処理はステップＳ１１へ戻る。急峻なレベル増加があった場合（ステップＳ１２；Ｙｅｓ）、レベル制御部２０はそのときのレベル比Ｒに基づいて加算係数αを決定する（ステップＳ１３）。そして、レベル制御部２０は増幅器４０へ加算係数αを供給することにより、サラウンドｃｈ信号にフロントｃｈ信号を混合する（ステップＳ１４）。
【００４６】
次に、レベル制御部２０は、フロントｃｈ信号の混合を開始してから一定期間τが経過したか否かを判定する（ステップＳ１５）。一定時間τが経過していない場合（ステップＳ１５；Ｎｏ）、レベル制御部２０は加算係数αを徐々に減少させ（ステップＳ１６）、フロントｃｈ信号の混合を継続する（ステップＳ１４）。一方、一定時間τが経過した場合（ステップＳ１５；Ｙｅｓ）、処理は終了する。
【００４７】
以上説明したように、本実施例によれば、リスニングルームのフロント側の音場で起きている音量のダイナミックな変化をリスニングルーム全体の前後音場のダイナミックな変化に変換でき、音場の前後の動きをよりダイナミックにすることができる。例えば、映画などのコンテンツにおいて、フロントｃｈ信号に爆発音などの効果音が含まれている場合には、それをサラウンドスピーカからも出力することができる。こうして、迫力、臨場感を向上させ、音の移動感、音のつながりを良くし、音場全体を一体化させることができる。また、本処理は、前後の音場のつながり、移動感という意味で３Ｄ映像と非常に整合がよく、視聴者により高いレベルの臨場感を与えることが可能となる。
【００４８】
上記の実施例では、増幅器４０により出力されたフロントｃｈ信号Ｆが加算器３２、３３によりサラウンドｃｈ信号ＳＬ、ＳＲに加算される。この際、フロントｃｈ信号Ｆをサラウンドｃｈ信号ＳＬ、ＳＲに対して正相で加算するのが通常である。その代わりに、左右のサラウンドｃｈ信号ＳＬ、ＳＲの一方に対してフロントｃｈ信号Ｆを正相で加算し、他方に対してはフロントｃｈ信号Ｆを逆相で加算することとしてもよい。これにより、上記の迫力、臨場感の向上などの効果をより強調し、広い空間表現が可能となる。
【００４９】
[セリフを考慮した処理]
次に、上記のフロントｃｈ信号混合処理における、セリフを考慮した処理について説明する。映像及び音声からなるコンテンツにおいては、フロントｃｈ信号にはセリフ、つまり人間の声が含まれていることがある。通常、セリフの有無によってフロントｃｈ信号の振幅は大きく変化するため、上記のフロントｃｈ信号混合処理によってセリフによる急峻なレベル増加が検出されると、セリフがサラウンドｃｈ信号に混合されてしまうという問題がある。そこで、上記のフロントｃｈ信号混合処理をベースとしつつ、フロントｃｈ信号に含まれるセリフの影響を除去する手法の例を以下に説明する。
【００５０】
（第１の例）
第１の例では、上記のフロントｃｈ信号混合処理において使用するフロントｃｈ信号Ｆを、左右のフロントｃｈ信号の差信号とする。通常、セリフの成分は左右のフロントｃｈ信号に同相かつ同レベルで含まれているため、左右のフロントｃｈ信号の差信号においてはセリフの成分はキャンセルされる。よって、セリフの成分は、サラウンドｃｈ信号に混合されるフロントｃｈ信号から除去される。
【００５１】
図６は、第１の例に係る信号処理部１００ａの構成を示すブロック図である。図２に示す基本実施例の構成と比較するとわかるように、信号処理部１００ａは、信号処理部１００における加算器３１の代わりに加算器３５が設けられている以外は、信号処理部１００と同一の構成を有する。加算器３５は、フロントｃｈ信号ＦＬとＦＲの差信号Ｆ（＝ＦＬ−ＦＲ）を生成し、これをフロントｃｈ信号Ｆとしてレベル検出部１０及び増幅器４０へ供給する。よって、フロントｃｈ信号Ｆからはセリフの成分が除去されており、セリフの成分がサラウンドｃｈ信号へ混合されることが防止される。なお、図６においては、差信号Ｆ（＝ＦＬ−ＦＲ）を生成しているが、その代わりに、差信号Ｆ（＝ＦＲ−ＦＬ）を生成し、使用することとしてもよい。
【００５２】
（第２の例）
通常、セリフの成分は周波数帯域がある程度決まっており、セリフの成分を除去する必要があるのはセリフが存在する周波数帯域のみである。よって、第２の例では、クロスオーバーネットワークフィルタを設け、フロントｃｈ信号の帯域を２分割する。そして、高域側信号のみについて差信号を生成する。
【００５３】
図７は、第２の例に係る信号処理部１００ｂの構成を示すブロック図である。図２に示す基本実施例の構成と比較するとわかるように、信号処理部１００ｂは、信号処理部１００の加算器３１の代わりに、クロスオーバーネットワーク回路５０を備える。具体的には、クロスオーバーネットワーク回路５０は、加算器４１、４２、４３と、ローパスフィルタ（ＬＰＦ）４４と、ハイパスフィルタ（ＨＰＦ）４５とを備える。なお、セリフの成分の帯域は５００Ｈｚ以上であるとし、ＬＰＦ４４及びＨＰＦ４５のカットオフ周波数ｆｃは５００Ｈｚ程度とする。
【００５４】
加算器４１は、フロントｃｈ信号ＦＬとＦＲの和信号を生成し、ＬＰＦ４４はこの和信号の低域成分を加算器４３へ供給する。一方、加算器４２はフロントｃｈ信号ＦＬとＦＲの差信号を生成し、ＨＰＦ４５はこの差信号の高域成分を加算器４３へ供給する。加算器４３は、フロントｃｈ信号ＦＬ、ＦＲの和信号の低域成分と、差信号の高域成分とを含む下記のフロントｃｈ信号Ｆ：
Ｆ＝ＬＰＦ[ＦＬ＋ＦＲ]＋ＨＰＦ[ＦＬ−ＦＲ] （[ ]はフィルタ処理を示す）
をレベル検出部１０及び増幅器４０へ供給する。これにより、第１の例と比較して、セリフを含まない低域の同相成分がキャンセルされてしまうことを防止することができる。
【００５５】
（第３の例）
第２の例では、クロスオーバーネットワーク回路を付加する分、回路構成が複雑化する。第３の例では、単純にフロントｃｈ信号ＦＬ、ＦＲの和信号の低域成分のみを用いてフロントｃｈ信号混合処理を行う。これにより、回路構成を単純化することができる。
【００５６】
図８は、第３の例に係る信号処理部１００ｃの構成を示すブロック図である。図２に示す基本実施例の構成と比較するとわかるように、信号処理部１００ｃでは、加算器３１の後段にＬＰＦ４８が挿入される。ＬＰＦ４８は、加算器３１から出力されるフロントｃｈ信号ＳＬ、ＳＲの和信号の低域成分のみをレベル検出部１０及び増幅器４０へ供給する。なお、ＬＰＦ４８のカットオフ周波数ｆｃは５００Ｈｚ程度とする。この方法によっても、単純な構成でセリフの影響を除去することができる。なお、この方法では、フロントｃｈ信号の高域成分はサラウンドｃｈ信号に混合されないこととなるが、通常、本システムが狙いとしている効果音は低域成分を多く含むので、基本実施例と比較してフロントｃｈ信号を混合することによる効果が大きく減退することはない。
【００５７】
（第４の例）
第１〜第３の例のように差信号を生成したり、フィルタリングしたりする手法の代わりに、例えばドルビープロロジック（登録商標）などにおいて採用されているステアリング処理（方向性強調処理）を施すことにより、フロントｃｈ信号からセリフの成分を除去した信号を生成し、これを用いてフロントｃｈ信号混合処理を行うこととしてもよい。
【００５８】
[変形例]
上記の実施例は、５．１ｃｈの環境を前提に説明しているが、本発明のシステムは、疑似サラウンドチャンネルを生成可能なフロント２ｃｈ又は３ｃｈのシステムにも適用することができる。疑似サラウンドチャンネルとは、サラウンドｃｈ信号を、実際はフロントスピーカから出力されるが、疑似的にサラウンドスピーカの位置（即ち後方）から聞こえるように信号処理して出力されるチャンネルをいう。この手法を用いれば、ＴＶなどのフロント２ｃｈのシステムや、ＴＶラックなどのフロント３ｃｈのシステムに対しても本発明を適用することができる。
【産業上の利用可能性】
【００５９】
本発明は、ＡＶレシーバー、一般のＴＶ、ＤＶＤ／ＢＤプレイヤーなど、映像とともにマルチチャンネルの音声信号を再生する装置に利用することができる。
【技術分野】
【０００１】
本発明は、マルチチャンネル音声信号の処理に関する。
【背景技術】
【０００２】
映像ソースとともに再生される音声信号として、５．１チャンネルなどのマルチチャンネル音声信号を用いて立体感のある音声再生を行う手法が知られている。また、近年注目されている３Ｄ映像の再生システムにおいても、臨場感のある音声再生が求められている。
【０００３】
このような観点から、信号ソースから得られるマルチチャンネル音声信号に対して各種の信号処理を施す手法が提案されている。例えば、特許文献１では、２チャンネル信号から定位情報を抽出して、４チャンネル化する手法が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−０２８６９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題としては、上記のものが例として挙げられる。本発明は、マルチチャンネル信号に対して信号処理を施すことにより、迫力、臨場感のある音声再生を実現することを目的とする。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明は、映像及び音声からなるコンテンツの信号再生装置であって、フロントチャンネル信号及びサラウンドチャンネル信号を含む入力信号を受け取る入力部と、前記フロントチャンネル信号のレベル増加を検出するレベル検出手段と、前記フロントチャンネル信号の所定割合以上のレベル増加が検出されたときに、一定時間にわたり、サラウンドチャンネル信号にフロントチャンネル信号を加算するフロントチャンネル信号混合手段と、を備え、前記フロントチャンネル信号混合手段は、サラウンドチャンネル信号に加算されるフロントチャンネル信号に含まれるセリフの影響を除去するセリフ影響除去手段を有することを特徴とする。
【０００７】
請求項４に記載の発明は、コンピュータを備える装置において実行される、映像及び音声からなるコンテンツの信号再生プログラムであって、フロントチャンネル信号及びサラウンドチャンネル信号を含む入力信号を受け取る入力手段、前記フロントチャンネル信号のレベル増加を検出するレベル検出手段、前記フロントチャンネル信号の所定割合以上のレベル増加が検出されたときに、一定時間にわたり、サラウンドチャンネル信号にフロントチャンネル信号を加算するフロントチャンネル信号混合手段、として前記コンピュータを機能させ、前記フロントチャンネル信号混合手段は、サラウンドチャンネル信号に加算されるフロントチャンネル信号に含まれるセリフの影響を除去するセリフ影響除去手段を有することを特徴とする。
【０００８】
請求項５に記載の発明は、映像及び音声からなるコンテンツを再生するＴＶシステムであって、２チャンネルのスピーカと、フロントチャンネル信号及びサラウンドチャンネル信号を含む入力信号を受け取る入力部と、前記フロントチャンネル信号のレベル増加を検出するレベル検出手段と、前記フロントチャンネル信号の所定割合以上のレベル増加が検出されたときに、一定時間にわたり、サラウンドチャンネル信号にフロントチャンネル信号を加算するフロントチャンネル信号混合手段と、前記フロントチャンネル信号を前記２チャンネルのスピーカから再生させるとともに、前記サラウンドチャンネル信号に基づいて疑似サラウンドチャンネル信号を生成して前記２チャンネルのスピーカから再生させる再生手段と、を備え、前記フロントチャンネル信号混合手段は、サラウンドチャンネル信号に加算されるフロントチャンネル信号に含まれるセリフの影響を除去するセリフ影響除去手段を有することを特徴とする。
【図面の簡単な説明】
【０００９】
【図１】本発明の音声信号処理装置を適用した音声信号再生装置の構成を示すブロック図である。
【図２】信号処理部の基本実施例の構成を示すブロック図である。
【図３】レベル比と加算係数との関係の一例を示す。
【図４】フロントチャンネル信号、及び、サラウンドチャンネル信号に混合される信号の波形の例を示す。
【図５】フロントチャンネル信号混合処理のフローチャートを示す。
【図６】セリフの影響を除去する第１の例に係る信号処理部の構成を示すブロック図である。
【図７】セリフの影響を除去する第２の例に係る信号処理部の構成を示すブロック図である。
【図８】セリフの影響を除去する第３の例に係る信号処理部の構成を示すブロック図である。
【符号の説明】
【００１０】
１ 音声再生装置
２ デコーダ
３ ＤＶ変換器
１０ レベル検出部
２０ レベル制御部
１００、１００ａ〜１００ｃ 信号処理部
【発明を実施するための最良の形態】
【００１１】
本発明の好適な実施形態では、音声信号処理装置は、フロントチャンネル信号及びサラウンドチャンネル信号を含む入力信号を受け取る入力部と、前記フロントチャンネル信号の所定割合以上のレベル増加を検出するレベル検出手段と、前記所定割合以上のレベル増加が検出されたときに、一定時間にわたり、サラウンドチャンネル信号にフロントチャンネル信号を加算する加算手段と、を備える。
【００１２】
上記の音声信号処理装置は、フロントチャンネル信号とサラウンドチャンネル信号とを受け取り、フロントチャンネル信号のレベルを検出する。フロントチャンネル信号のレベルが所定の割合以上に変化するレベル増加が検出されると、一定時間にわたり、フロントチャンネル信号がサラウンドチャンネル信号に加算される。これにより、例えば効果音などに起因するフロントチャンネル信号の急峻な変化をサラウンドチャンネルに反映することができ、迫力や臨場感を向上させることができる。
【００１３】
上記の音声信号処理装置の一態様は、前記レベル増加の割合に基づいて、前記サラウンドチャンネル信号に加算されるフロントチャンネル信号のレベルである加算レベルを制御するレベル制御手段を備える。好適な例では、前記レベル制御手段は、前記レベル増加の割合が大きいほど、前記加算レベルを大きくする。この態様では、レベル増加の割合が大きいほど、その変化がサラウンドチャンネル大きく反映されるので、フロントチャンネルの変化の大きさに応じて適切なレベルでサラウンドチャンネルに変化が与えられる。
【００１４】
上記の音声信号処理装置の他の一態様では、前記レベル制御手段は、前記一定時間の経過時に前記加算レベルがゼロとなるように、前記一定時間中に前記加算レベルを減少させる。この態様では、フロントチャンネルの変化をサラウンドチャンネルに反映する処理を一定の時間で終了させることにより、そのような変化が発生するたびに、効果を確保することが可能となる。また、徐々にレベルを減少させることにより違和感をなくすことができる。
【００１５】
上記の音声信号処理装置の他の一態様では、前記レベル検出手段は、前記フロントチャンネル信号の現在のレベルと直前の所定期間におけるレベルとの比が所定値以上となったことを、前記所定割合以上のレベル増加として検出する。これにより、フロントチャンネルにおけるレベルの急峻な変化を的確に検出することができる。
【００１６】
上記の音声信号処理装置の他の一態様では、前記フロントチャンネル信号は左右のフロントチャンネル信号を含み、前記レベル検出手段は、左右のフロントチャンネル信号の差信号について、前記レベル増加を検出する。この態様では、左右のフロントチャンネル信号の差信号を利用することにより、フロントチャンネル信号の通常左右同相に含まれるセリフの成分がサラウンドチャンネルに混合されることが防止される。
【００１７】
また、上記の音声信号処理装置の他の一態様では、前記フロントチャンネル信号は左右のフロントチャンネル信号を含み、前記レベル検出手段は、前記左右のフロントチャンネル信号の和信号の低域成分と、前記左右のフロントチャンネル信号の差信号の高域成分との加算信号について、前記レベル増加を検出する。この態様では、フロントチャンネル信号の和信号については、低域成分のみを利用することにより、フロントチャンネル信号に含まれる中高域のセリフの成分がサラウンドチャンネルに混合されることが防止される。
【００１８】
また、上記の音声信号処理装置の他の一態様では、前記フロントチャンネル信号は左右のフロントチャンネル信号を含み、前記レベル検出手段は、前記左右のフロントチャンネル信号の和信号の低域成分について、前記レベル増加を検出する。この態様では、左右のフロントチャンネル信号の和信号の低域成分のみを利用することにより、フロントチャンネル信号に含まれる中高域のセリフの成分がサラウンドチャンネルに混合されることが防止される。
【００１９】
上記の音声信号処理装置の他の一態様では、前記フロントチャンネル信号は左右のフロントチャンネル信号を含み、前記サラウンドチャンネル信号は左右のサラウンドチャンネル信号を含み、前記加算手段は、前記左右のフロントチャンネル信号の和信号を、前記左右のサラウンド信号の一方に正相で加算するとともに前記左右のサラウンド信号の他方に逆相で加算する。この態様では、フロントチャンネル信号の和信号を、左右のサラウンドチャンネル信号にそれぞれ正相と逆相で混合することにより、迫力や臨場感をより一層向上させることができる。
【００２０】
本発明の他の好適な実施形態では、コンピュータを備える装置において実行される音声信号処理プログラムは、フロントチャンネル信号及びサラウンドチャンネル信号を含む入力信号を受け取る入力手段、前記フロントチャンネル信号の所定割合以上のレベル増加を検出するレベル検出手段、前記所定割合以上のレベル増加が検出されたときに、一定時間にわたり、サラウンドチャンネル信号にフロントチャンネル信号を加算する加算手段、として前記コンピュータを機能させる。上記のプログラムをコンピュータにより実行することによって、音声信号再生装置を実現することができる。
【実施例】
【００２１】
以下、図面を参照して本発明の好適な実施例について説明する。
【００２２】
[全体構成]
図１は、本発明の音声信号処理装置を適用した音声信号再生装置の構成を示すブロック図である。音声信号再生装置１は、デコーダ２と、本発明に係る音声信号処理装置の実施例である信号処理部１００と、Ｄ／Ａ変換器３とを備える。
【００２３】
デコーダ２は、信号ソースから圧縮ストリームＳＴを受け取る。信号ソースとしては、例えばＤＶＤ、ＢＤ、ハードディスクレコーダなどが挙げられる。これらの記録媒体には映像信号と音声信号とが記録されるが、デコーダ２は映像信号と音声信号とを含む圧縮ストリームを受け取ってもよいし、音声信号のみの圧縮ストリームを受け取ってもよい。
【００２４】
デコーダ２は、受け取った圧縮ストリームＳＴを復号化し、ディジタルの音声信号を生成する。具体的には、デコーダ２は、左フロントチャンネル信号ＦＬ、右フロントチャンネル信号ＦＲ、左サラウンドチャンネル信号ＳＬ、右サラウンドチャンネル信号ＳＲ、センターチャンネル信号Ｃ及びＬＦＥ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ Ｅｆｆｅｃｔ）信号ＬＦＥを生成し、信号処理部１００へ供給する。以下、「チャンネル」を「ｃｈ」とも表記する。
【００２５】
信号処理部１００は、入力された信号に基づいて、サラウンドｃｈ信号に対する信号処理を行い、処理後の信号をＤ／Ａ変換器３へ供給する。具体的には、信号処理部１００は、フロントｃｈ信号ＦＬ及びＦＲ、センターｃｈ信号Ｃ及びＬＦＥ信号ＬＦＥをそのままＤ／Ａ変換器３へ出力するとともに、信号処理により得られたサラウンドｃｈ信号ＳＬｘ及びＳＲｘをＤ／Ａ変換器３へ出力する。なお、この信号処理については後に詳しく説明する。
【００２６】
Ｄ／Ａ変換器３は、受け取った信号ＦＬ、ＦＲ、ＳＬｘ、ＳＲｘ、Ｃ及びＬＦＥをそれぞれＤ／Ａ変換し、アナログ信号ＡＦＬ、ＡＦＲ、ＡＳＬｘ、ＡＳＲｘ、ＡＣ及びＡＬＦＥを各チャンネルのスピーカへ出力する。
【００２７】
[フロントチャンネル信号混合処理]
次に、信号処理部１００が実行する信号処理について詳しく説明する。信号処理部１００は、フロントｃｈ信号の急峻な立ち上がり、具体的には所定割合以上のレベル増加を検出し、急峻な立ち上がりが検出されたときに、フロントｃｈ信号をサラウンドｃｈ信号に混合（加算）する。この処理を、以下、「フロントｃｈ信号混合処理」とも呼ぶ。フロントｃｈ信号混合処理は、入力信号レベルの急峻な変化を音場の後方に広げることにより、迫力、臨場感などを向上させる。以下、詳しく説明する。
【００２８】
図２は、信号処理部１００の基本実施例の構成を示すブロック図である。なお、前述のように、信号処理部１００は、フロントｃｈ信号をサラウンドｃｈ信号に加える処理を行うものであり、フロントｃｈ信号ＦＬ及びＦＲ、センターｃｈ信号Ｃ並びにＬＦＥ信号については入力された信号をそのまま出力するので、その部分の構成は図示を省略している。
【００２９】
図２に示すように、信号処理部１００は、レベル検出部１０と、レベル制御部２０と、加算器３１、３２、３３と、増幅器４０とを備える。サラウンドｃｈ信号ＳＬは加算器３２に入力され、サラウンドｃｈ信号ＳＲは加算器３３に入力される。
【００３０】
フロントｃｈ信号ＦＬ及びＦＲは加算器３１により加算され、得られたフロントｃｈ信号Ｆ（＝ＦＬ＋ＦＲ）はレベル検出部１０及び増幅器４０へ供給される。増幅器４０は、レベル制御部２０から供給される加算係数αに基づいてフロントｃｈ信号Ｆを増幅して信号α（ＦＬ＋ＦＲ）を生成し、加算器３２、３３へ供給する。加算係数αは、サラウンドｃｈ信号に加算されるフロントｃｈ信号のレベル（「加算レベル」という。）を示すものである。加算係数αが大きいほど、サラウンドｃｈ信号に加算されるフロントｃｈ信号のレベルが大きくなる。
【００３１】
加算器３２はフロントｃｈ信号ＳＬに信号α（ＦＬ＋ＦＲ）を加算し、サラウンドｃｈ信号ＳＬｘとして出力する。同様に、加算器３３は、フロントｃｈ信号ＳＲに信号α（ＦＬ＋ＦＲ）を加算し、サラウンドｃｈ信号ＳＲｘとして出力する。
【００３２】
レベル検出部１０及びレベル制御部２０は、フロントｃｈ信号Ｆのレベルに基づいて、加算係数αを制御する役割を有する。レベル検出部１０は、過去レベル保持部１１と、現在レベル検出部１２と、レベル比算出部１３とを備える。レベル制御部２０は、加算係数決定部２１と、係数減少部２２とを備える。
【００３３】
現在レベル検出部１２は、フロントｃｈ信号Ｆのレベルを検出し、現在レベルＬｃとして保持する。過去レベル保持部１１は、現在を基準とした直前の所定期間における、フロントｃｈ信号Ｆのレベルを保持する。即ち、過去レベル保持部１１は、現在レベル検出部１２が検出したフロントｃｈ信号Ｆのレベルを、常に所定期間分保持する。ここで、「所定期間」は、数秒（例えば５〜８秒程度）とする。そして、過去レベル保持部１１は、所定期間のフロントｃｈ信号Ｆのレベルを代表する過去レベルＬｐを決定する。過去レベルＬｐは、例えば所定期間におけるフロントｃｈ信号Ｆの平均値、もしくは、各時点におけるフロントｃｈ信号の絶対値の平均値又は絶対値のうちの最大値などとすることができる。
【００３４】
レベル比算出部１３は、現在レベルＬｃと過去レベルＬｐとの比であるレベル比Ｒ（＝Ｌｃ／Ｌｐ）を算出し、レベル制御部２０へ出力する。レベル比Ｒは、フロントｃｈ信号Ｆのレベル変化を示し、レベル比Ｒの値が大きいほど、フロントｃｈ信号Ｆのレベル増加は大きい。
【００３５】
レベル制御部２０の加算係数決定部２１は、レベル検出部１０から供給されたレベル比Ｒに基づいて、加算係数αを決定する。図３は、レベル比Ｒと加算係数αとの関係の一例を示す。
【００３６】
図３に示すように、レベル比Ｒの閾値Ｒｔｈが用意される。本実施例は、フロントｃｈ信号のレベル増加が急峻であるときに、サラウンドｃｈ信号にフロントｃｈ信号Ｆを加算することを意図している。閾値Ｒｔｈは、フロントｃｈ信号Ｆのレベル変化が急峻であると判定される所定割合を示す。レベル比Ｒが閾値Ｒｔｈより小さい場合、加算係数決定部２１は、フロントｃｈ信号Ｆのレベル増加は急峻ではないと判定し、加算係数αを「０」とする。これにより、フロントｃｈ信号Ｆはサラウンド信号に加算されない。一方、レベル比Ｒが閾値Ｒｔｈ以上である場合、加算係数決定部２１はフロントｃｈ信号Ｆのレベル増加が急峻であると判定し、加算係数αを「０」より大きい値に設定する。これにより、フロントｃｈ信号Ｆは、加算係数αに応じた割合でサラウンドｃｈ信号に加算される。
【００３７】
閾値Ｒｔｈは、各種の音声信号ソースを用いた実験などにより決定することができ、例えば「２〜３」程度に設定することができる。閾値Ｒｔｈが「２」に設定された場合、フロントｃｈ信号Ｆのレベルが２倍となったときに、レベル増加が急峻であると判断される。
【００３８】
図３に示すように、レベル比Ｒが閾値Ｒｔｈ以上となった場合、加算係数αはレベル比Ｒに比例して増加する。つまり、フロントｃｈ信号Ｆのレベル変化が急峻であるほど、サラウンドｃｈ信号に加算されるフロントｃｈ信号Ｆのレベル、即ち加算レベルが増加する。こうして、レベル制御部２０は、フロントｃｈ信号Ｆのレベル変化が大きいときにはその変化をサラウンドｃｈにも大きく伝え、レベル変化が小さいときにはサラウンドｃｈの変化もそれなりのレベルに設定する。これにより、連続的かつダイナミックレンジの広い効果を得ることができる。
【００３９】
また、図３に示すように、加算係数αには最大値αｍａｘが設定される。例えば、加算係数の最大値αｍａｘが「０．５」に設定されている場合、フロントチャンネル信号の１／２以上がサラウンドｃｈに混合されることはない。つまり、フロントｃｈ信号Ｆのレベル変化が大きい場合でも、無制限にフロントｃｈ信号Ｆがサラウンドｃｈ信号に混合されることはない。こうして、過剰な混合処理がなされて音場に違和感が生じることを防止している。
【００４０】
係数減少部２２は、フロントｃｈ信号Ｆをサラウンドｃｈ信号に混合する時間を一定時間に制限する役割を有する。具体的には、係数減少部２２は予め決められた一定時間「τ」を有する。レベル比Ｒが閾値Ｒｔｈ以上となったとして加算係数決定部２１が加算係数αを「０」より大きい値に設定し、増幅器４０によりフロントｃｈ信号Ｆがサラウンドｃｈ信号に加算されると、係数減少部２２はフロントｃｈ信号Ｆがサラウンドｃｈ信号に加算され始めた時点から一定時間τ内に加算係数αを直線的に「０」まで減少させる。よって、フロントｃｈ信号Ｆに急峻なレベル増加があると、加算係数αに応じた割合でフロントｃｈ信号Ｆがサラウンドｃｈ信号に加算されるが、その後は徐々に加算されるフロントｃｈ信号Ｆのレベルが減少する。そして、フロントｃｈ信号Ｆがサラウンドｃｈ信号に加算され始めてから一定時間τが経過したときには、フロントｃｈ信号Ｆはサラウンドｃｈ信号に加算されなくなる。これにより、次にフロントｃｈ信号Ｆの急峻なレベル増加が発生したときに、フロントｃｈ信号を加算することによる効果を確保する。また、フロントｃｈ信号Ｆを加算する割合をある程度の時間をかけて徐々に減少させることにより、違和感なく、効果を減少させていくことができる。
【００４１】
なお、この一定時間「τ」は、例えば１〜１．５秒程度に設定される。また、この一定時間τは、レベル検出部１０の過去レベル保持部１１が過去レベルを保持する所定時間（上記の例では７〜８秒）より小さく、例えば過去レベル保持部１１の時間は一定時間τの５〜６倍程度が好ましい。
【００４２】
図４は、フロントｃｈ信号、及び、上記の処理によりサラウンドｃｈ信号に混合される信号の波形の例を示す。図４に示すように、ある時刻ｔ１でフロントｃｈ信号のレベルが急峻に増加すると、フロントｃｈ信号が加算係数αに応じた割合でサラウンドｃｈ信号へ混合される。その後、加算係数αは徐々に減少していき、サラウンドｃｈ信号に混合される信号は徐々にフェードアウトする。一定時間τが経過する時刻ｔ２において加算係数αは「０」となり、フロントｃｈ信号のサラウンドｃｈ信号への混合が停止される。
【００４３】
なお、図４において、時刻ｔ１〜ｔ２の間に再度フロントｃｈ信号の急峻なレベル増加が検出された場合には、信号処理部１００は同じ処理を行う。つまり、レベル制御部２０はそのときのレベル比Ｒに基づいて加算係数αを決定し、一定時間τにわたりフロントｃｈ信号をサラウンドｃｈ信号に混合する。
【００４４】
図５は、フロントｃｈ信号混合処理のフローチャートを示す。この処理は、信号処理部１００を構成するコンピュータが、予め用意されたプログラムを実行し、図２に示す各構成要素として動作することにより実現される。
【００４５】
まず、レベル検出部１０は、フロントｃｈ信号のレベルを検出し（ステップＳ１１）、急峻なレベル増加があったか否かを判定する（ステップＳ１２）。急峻なレベル増加が無い場合（ステップＳ１２；Ｎｏ）、処理はステップＳ１１へ戻る。急峻なレベル増加があった場合（ステップＳ１２；Ｙｅｓ）、レベル制御部２０はそのときのレベル比Ｒに基づいて加算係数αを決定する（ステップＳ１３）。そして、レベル制御部２０は増幅器４０へ加算係数αを供給することにより、サラウンドｃｈ信号にフロントｃｈ信号を混合する（ステップＳ１４）。
【００４６】
次に、レベル制御部２０は、フロントｃｈ信号の混合を開始してから一定期間τが経過したか否かを判定する（ステップＳ１５）。一定時間τが経過していない場合（ステップＳ１５；Ｎｏ）、レベル制御部２０は加算係数αを徐々に減少させ（ステップＳ１６）、フロントｃｈ信号の混合を継続する（ステップＳ１４）。一方、一定時間τが経過した場合（ステップＳ１５；Ｙｅｓ）、処理は終了する。
【００４７】
以上説明したように、本実施例によれば、リスニングルームのフロント側の音場で起きている音量のダイナミックな変化をリスニングルーム全体の前後音場のダイナミックな変化に変換でき、音場の前後の動きをよりダイナミックにすることができる。例えば、映画などのコンテンツにおいて、フロントｃｈ信号に爆発音などの効果音が含まれている場合には、それをサラウンドスピーカからも出力することができる。こうして、迫力、臨場感を向上させ、音の移動感、音のつながりを良くし、音場全体を一体化させることができる。また、本処理は、前後の音場のつながり、移動感という意味で３Ｄ映像と非常に整合がよく、視聴者により高いレベルの臨場感を与えることが可能となる。
【００４８】
上記の実施例では、増幅器４０により出力されたフロントｃｈ信号Ｆが加算器３２、３３によりサラウンドｃｈ信号ＳＬ、ＳＲに加算される。この際、フロントｃｈ信号Ｆをサラウンドｃｈ信号ＳＬ、ＳＲに対して正相で加算するのが通常である。その代わりに、左右のサラウンドｃｈ信号ＳＬ、ＳＲの一方に対してフロントｃｈ信号Ｆを正相で加算し、他方に対してはフロントｃｈ信号Ｆを逆相で加算することとしてもよい。これにより、上記の迫力、臨場感の向上などの効果をより強調し、広い空間表現が可能となる。
【００４９】
[セリフを考慮した処理]
次に、上記のフロントｃｈ信号混合処理における、セリフを考慮した処理について説明する。映像及び音声からなるコンテンツにおいては、フロントｃｈ信号にはセリフ、つまり人間の声が含まれていることがある。通常、セリフの有無によってフロントｃｈ信号の振幅は大きく変化するため、上記のフロントｃｈ信号混合処理によってセリフによる急峻なレベル増加が検出されると、セリフがサラウンドｃｈ信号に混合されてしまうという問題がある。そこで、上記のフロントｃｈ信号混合処理をベースとしつつ、フロントｃｈ信号に含まれるセリフの影響を除去する手法の例を以下に説明する。
【００５０】
（第１の例）
第１の例では、上記のフロントｃｈ信号混合処理において使用するフロントｃｈ信号Ｆを、左右のフロントｃｈ信号の差信号とする。通常、セリフの成分は左右のフロントｃｈ信号に同相かつ同レベルで含まれているため、左右のフロントｃｈ信号の差信号においてはセリフの成分はキャンセルされる。よって、セリフの成分は、サラウンドｃｈ信号に混合されるフロントｃｈ信号から除去される。
【００５１】
図６は、第１の例に係る信号処理部１００ａの構成を示すブロック図である。図２に示す基本実施例の構成と比較するとわかるように、信号処理部１００ａは、信号処理部１００における加算器３１の代わりに加算器３５が設けられている以外は、信号処理部１００と同一の構成を有する。加算器３５は、フロントｃｈ信号ＦＬとＦＲの差信号Ｆ（＝ＦＬ−ＦＲ）を生成し、これをフロントｃｈ信号Ｆとしてレベル検出部１０及び増幅器４０へ供給する。よって、フロントｃｈ信号Ｆからはセリフの成分が除去されており、セリフの成分がサラウンドｃｈ信号へ混合されることが防止される。なお、図６においては、差信号Ｆ（＝ＦＬ−ＦＲ）を生成しているが、その代わりに、差信号Ｆ（＝ＦＲ−ＦＬ）を生成し、使用することとしてもよい。
【００５２】
（第２の例）
通常、セリフの成分は周波数帯域がある程度決まっており、セリフの成分を除去する必要があるのはセリフが存在する周波数帯域のみである。よって、第２の例では、クロスオーバーネットワークフィルタを設け、フロントｃｈ信号の帯域を２分割する。そして、高域側信号のみについて差信号を生成する。
【００５３】
図７は、第２の例に係る信号処理部１００ｂの構成を示すブロック図である。図２に示す基本実施例の構成と比較するとわかるように、信号処理部１００ｂは、信号処理部１００の加算器３１の代わりに、クロスオーバーネットワーク回路５０を備える。具体的には、クロスオーバーネットワーク回路５０は、加算器４１、４２、４３と、ローパスフィルタ（ＬＰＦ）４４と、ハイパスフィルタ（ＨＰＦ）４５とを備える。なお、セリフの成分の帯域は５００Ｈｚ以上であるとし、ＬＰＦ４４及びＨＰＦ４５のカットオフ周波数ｆｃは５００Ｈｚ程度とする。
【００５４】
加算器４１は、フロントｃｈ信号ＦＬとＦＲの和信号を生成し、ＬＰＦ４４はこの和信号の低域成分を加算器４３へ供給する。一方、加算器４２はフロントｃｈ信号ＦＬとＦＲの差信号を生成し、ＨＰＦ４５はこの差信号の高域成分を加算器４３へ供給する。加算器４３は、フロントｃｈ信号ＦＬ、ＦＲの和信号の低域成分と、差信号の高域成分とを含む下記のフロントｃｈ信号Ｆ：
Ｆ＝ＬＰＦ[ＦＬ＋ＦＲ]＋ＨＰＦ[ＦＬ−ＦＲ] （[ ]はフィルタ処理を示す）
をレベル検出部１０及び増幅器４０へ供給する。これにより、第１の例と比較して、セリフを含まない低域の同相成分がキャンセルされてしまうことを防止することができる。
【００５５】
（第３の例）
第２の例では、クロスオーバーネットワーク回路を付加する分、回路構成が複雑化する。第３の例では、単純にフロントｃｈ信号ＦＬ、ＦＲの和信号の低域成分のみを用いてフロントｃｈ信号混合処理を行う。これにより、回路構成を単純化することができる。
【００５６】
図８は、第３の例に係る信号処理部１００ｃの構成を示すブロック図である。図２に示す基本実施例の構成と比較するとわかるように、信号処理部１００ｃでは、加算器３１の後段にＬＰＦ４８が挿入される。ＬＰＦ４８は、加算器３１から出力されるフロントｃｈ信号ＳＬ、ＳＲの和信号の低域成分のみをレベル検出部１０及び増幅器４０へ供給する。なお、ＬＰＦ４８のカットオフ周波数ｆｃは５００Ｈｚ程度とする。この方法によっても、単純な構成でセリフの影響を除去することができる。なお、この方法では、フロントｃｈ信号の高域成分はサラウンドｃｈ信号に混合されないこととなるが、通常、本システムが狙いとしている効果音は低域成分を多く含むので、基本実施例と比較してフロントｃｈ信号を混合することによる効果が大きく減退することはない。
【００５７】
（第４の例）
第１〜第３の例のように差信号を生成したり、フィルタリングしたりする手法の代わりに、例えばドルビープロロジック（登録商標）などにおいて採用されているステアリング処理（方向性強調処理）を施すことにより、フロントｃｈ信号からセリフの成分を除去した信号を生成し、これを用いてフロントｃｈ信号混合処理を行うこととしてもよい。
【００５８】
[変形例]
上記の実施例は、５．１ｃｈの環境を前提に説明しているが、本発明のシステムは、疑似サラウンドチャンネルを生成可能なフロント２ｃｈ又は３ｃｈのシステムにも適用することができる。疑似サラウンドチャンネルとは、サラウンドｃｈ信号を、実際はフロントスピーカから出力されるが、疑似的にサラウンドスピーカの位置（即ち後方）から聞こえるように信号処理して出力されるチャンネルをいう。この手法を用いれば、ＴＶなどのフロント２ｃｈのシステムや、ＴＶラックなどのフロント３ｃｈのシステムに対しても本発明を適用することができる。
【産業上の利用可能性】
【００５９】
本発明は、ＡＶレシーバー、一般のＴＶ、ＤＶＤ／ＢＤプレイヤーなど、映像とともにマルチチャンネルの音声信号を再生する装置に利用することができる。
【特許請求の範囲】
【請求項１】
映像及び音声からなるコンテンツの信号再生装置であって、
フロントチャンネル信号及びサラウンドチャンネル信号を含む入力信号を受け取る入力部と、
前記フロントチャンネル信号のレベル増加を検出するレベル検出手段と、
前記フロントチャンネル信号の所定割合以上のレベル増加が検出されたときに、一定時間にわたり、サラウンドチャンネル信号にフロントチャンネル信号を加算するフロントチャンネル信号混合手段と、を備え、
前記フロントチャンネル信号混合手段は、サラウンドチャンネル信号に加算されるフロントチャンネル信号に含まれるセリフの影響を除去するセリフ影響除去手段を有することを特徴とする信号再生装置。
【請求項２】
前記セリフ影響除去手段は、フロントチャンネル信号の差信号をサラウンドチャンネル信号に加算する手法、フロントチャンネル信号からセリフの周波数成分をフィルタリングにより除去する手法、または、フロントチャンネル信号に方向性強調処理を施す手法により、セリフの成分を除去する請求項１に記載の信号再生装置。
【請求項３】
疑似サラウンドチャンネルを生成し、サラウンドチャンネル信号を擬似的にサラウンドスピーカから聞こえるように信号処理する手段を備える請求項１または２に記載の信号再生装置。
【請求項４】
コンピュータを備える装置において実行される、映像及び音声からなるコンテンツの信号再生プログラムであって、
フロントチャンネル信号及びサラウンドチャンネル信号を含む入力信号を受け取る入力手段、
前記フロントチャンネル信号のレベル増加を検出するレベル検出手段、
前記フロントチャンネル信号の所定割合以上のレベル増加が検出されたときに、一定時間にわたり、サラウンドチャンネル信号にフロントチャンネル信号を加算するフロントチャンネル信号混合手段、として前記コンピュータを機能させ、
前記フロントチャンネル信号混合手段は、サラウンドチャンネル信号に加算されるフロントチャンネル信号に含まれるセリフの影響を除去するセリフ影響除去手段を有することを特徴とする信号再生プログラム。
【請求項５】
映像及び音声からなるコンテンツを再生するＴＶシステムであって、
２チャンネルのスピーカと、
フロントチャンネル信号及びサラウンドチャンネル信号を含む入力信号を受け取る入力部と、
前記フロントチャンネル信号のレベル増加を検出するレベル検出手段と、
前記フロントチャンネル信号の所定割合以上のレベル増加が検出されたときに、一定時間にわたり、サラウンドチャンネル信号にフロントチャンネル信号を加算するフロントチャンネル信号混合手段と、
前記フロントチャンネル信号を前記２チャンネルのスピーカから再生させるとともに、前記サラウンドチャンネル信号に基づいて疑似サラウンドチャンネル信号を生成して前記２チャンネルのスピーカから再生させる再生手段と、を備え、
前記フロントチャンネル信号混合手段は、サラウンドチャンネル信号に加算されるフロントチャンネル信号に含まれるセリフの影響を除去するセリフ影響除去手段を有することを特徴とするＴＶシステム。
【請求項１】
映像及び音声からなるコンテンツの信号再生装置であって、
フロントチャンネル信号及びサラウンドチャンネル信号を含む入力信号を受け取る入力部と、
前記フロントチャンネル信号のレベル増加を検出するレベル検出手段と、
前記フロントチャンネル信号の所定割合以上のレベル増加が検出されたときに、一定時間にわたり、サラウンドチャンネル信号にフロントチャンネル信号を加算するフロントチャンネル信号混合手段と、を備え、
前記フロントチャンネル信号混合手段は、サラウンドチャンネル信号に加算されるフロントチャンネル信号に含まれるセリフの影響を除去するセリフ影響除去手段を有することを特徴とする信号再生装置。
【請求項２】
前記セリフ影響除去手段は、フロントチャンネル信号の差信号をサラウンドチャンネル信号に加算する手法、フロントチャンネル信号からセリフの周波数成分をフィルタリングにより除去する手法、または、フロントチャンネル信号に方向性強調処理を施す手法により、セリフの成分を除去する請求項１に記載の信号再生装置。
【請求項３】
疑似サラウンドチャンネルを生成し、サラウンドチャンネル信号を擬似的にサラウンドスピーカから聞こえるように信号処理する手段を備える請求項１または２に記載の信号再生装置。
【請求項４】
コンピュータを備える装置において実行される、映像及び音声からなるコンテンツの信号再生プログラムであって、
フロントチャンネル信号及びサラウンドチャンネル信号を含む入力信号を受け取る入力手段、
前記フロントチャンネル信号のレベル増加を検出するレベル検出手段、
前記フロントチャンネル信号の所定割合以上のレベル増加が検出されたときに、一定時間にわたり、サラウンドチャンネル信号にフロントチャンネル信号を加算するフロントチャンネル信号混合手段、として前記コンピュータを機能させ、
前記フロントチャンネル信号混合手段は、サラウンドチャンネル信号に加算されるフロントチャンネル信号に含まれるセリフの影響を除去するセリフ影響除去手段を有することを特徴とする信号再生プログラム。
【請求項５】
映像及び音声からなるコンテンツを再生するＴＶシステムであって、
２チャンネルのスピーカと、
フロントチャンネル信号及びサラウンドチャンネル信号を含む入力信号を受け取る入力部と、
前記フロントチャンネル信号のレベル増加を検出するレベル検出手段と、
前記フロントチャンネル信号の所定割合以上のレベル増加が検出されたときに、一定時間にわたり、サラウンドチャンネル信号にフロントチャンネル信号を加算するフロントチャンネル信号混合手段と、
前記フロントチャンネル信号を前記２チャンネルのスピーカから再生させるとともに、前記サラウンドチャンネル信号に基づいて疑似サラウンドチャンネル信号を生成して前記２チャンネルのスピーカから再生させる再生手段と、を備え、
前記フロントチャンネル信号混合手段は、サラウンドチャンネル信号に加算されるフロントチャンネル信号に含まれるセリフの影響を除去するセリフ影響除去手段を有することを特徴とするＴＶシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−２１３１２７（Ｐ２０１２−２１３１２７Ａ）
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願番号】特願２０１１−１７３８１０（Ｐ２０１１−１７３８１０）
【出願日】平成２３年８月９日（２０１１．８．９）
【分割の表示】特願２０１１−５２４０４５（Ｐ２０１１−５２４０４５）の分割
【原出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（０００００５０１６）パイオニア株式会社 (3,620)
【Ｆターム（参考）】
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願日】平成２３年８月９日（２０１１．８．９）
【分割の表示】特願２０１１−５２４０４５（Ｐ２０１１−５２４０４５）の分割
【原出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（０００００５０１６）パイオニア株式会社 (3,620)
【Ｆターム（参考）】
[ Back to top ]