オーディオ信号補正装置及びオーディオ信号補正方法
【課題】入力オーディオ信号の高音質化に優れたオーディオ信号補正装置を提供する。
【解決手段】オーディオ信号補正装置は、入力オーディオ信号から特徴パラメータを算出する特徴パラメータ算出手段と、前記特徴パラメータと複数の参照モデルとを照合し、前記特徴パラメータが前記複数の参照モデルの中の所定の参照モデルに属する尤度を算出する照合手段と、前記尤度が閾値条件を満たす場合に、前記所定の参照モデルが示すオーディオ信号の種類を前記特徴パラメータが示すオーディオ信号の種類と判定する第１判定手段と、前記尤度が前記閾値条件を満たさない場合に、前記特徴パラメータから音声成分と非音声成分の混合度合いを判定する第２判定手段と、前記第1判定手段により判定された前記オーディオ信号の種類に応じて前記入力オーディオ信号を補正し、また前記混合度合いに応じて前記入力オーディオ信号を補正する補正手段と、を備えている。
【解決手段】オーディオ信号補正装置は、入力オーディオ信号から特徴パラメータを算出する特徴パラメータ算出手段と、前記特徴パラメータと複数の参照モデルとを照合し、前記特徴パラメータが前記複数の参照モデルの中の所定の参照モデルに属する尤度を算出する照合手段と、前記尤度が閾値条件を満たす場合に、前記所定の参照モデルが示すオーディオ信号の種類を前記特徴パラメータが示すオーディオ信号の種類と判定する第１判定手段と、前記尤度が前記閾値条件を満たさない場合に、前記特徴パラメータから音声成分と非音声成分の混合度合いを判定する第２判定手段と、前記第1判定手段により判定された前記オーディオ信号の種類に応じて前記入力オーディオ信号を補正し、また前記混合度合いに応じて前記入力オーディオ信号を補正する補正手段と、を備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ信号を補正し高音質化するオーディオ信号補正装置及びオーディオ信号補正方法に関する。
【背景技術】
【０００２】
近年、高画質、高音質のＡＶ機器に注目が集まり、このようなＡＶ機器の研究開発が盛んになっている。例えば、入力オーディオ信号から特定信号を抽出して、抽出した特定信号に対して信号処理を施して距離感または広がり感を変化させる技術が開示されている（特許文献１参照）。具体的には、入力オーディオ信号に含まれる人の声の特定信号を抽出し、抽出した特定信号の周波数特性や音量を変化させる処理によって距離感を変化させる。また、入力オーディオ信号に含まれる歓声や拍手などの特定信号を抽出し、抽出した特定信号に対して例えばサラウンド処理を施し、広がり感を変化させる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−６７８５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１に開示された入力オーディオ信号処理技術では、入力オーディオ信号から特定信号を抽出し、抽出した特定信号に応じて補正手法を決定し、高音質化を図っている。
【０００５】
しかしながら、入力オーディオ信号には様々な音源の信号成分が混在しているため、入力オーディオ信号の高音質化は容易ではない。単に、抽出した特定信号に応じて補正手法を決定するだけでは、適切な補正手法が選択できないこともあり、高音質化は難しい。
【０００６】
本発明の目的は、入力オーディオ信号の高音質化に優れたオーディオ信号補正装置及びオーディオ信号補正方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一実施形態に係るオーディオ信号補正装置は、入力オーディオ信号を所定時間単位の複数フレームに分割し、各分割フレームに含まれたＬチャネル成分信号とＲチャネル成分信号との差分信号を算出する差分信号算出手段と、各分割フレームから算出された各差分信号から１以上の特徴パラメータを算出する特徴パラメータ算出手段と、前記特徴パラメータと複数の参照モデルとを照合し、前記特徴パラメータが前記複数の参照モデルの中の所定の参照モデルに属する尤度を算出する照合手段と、前記尤度が閾値条件を満たす場合に、前記所定の参照モデルが示すオーディオ信号の種類を前記特徴パラメータが示すオーディオ信号の種類と判定する第１判定手段と、前記尤度が前記閾値条件を満たさない場合に、前記特徴パラメータから音声成分と非音声成分の混合度合いを判定する第２判定手段と、前記第1判定手段により判定された前記オーディオ信号の種類に応じて前記入力オーディオ信号を補正し、また前記混合度合いに応じて前記入力オーディオ信号を補正する補正手段と、を備えている。
【０００８】
本発明の一実施形態に係るオーディオ信号補正方法は、入力オーディオ信号を所定時間単位の複数フレームに分割し、各分割フレームに含まれたＬチャネル成分信号とＲチャネル成分信号との差分信号を算出し、各分割フレームから算出された各差分信号から１以上の特徴パラメータを算出し、前記特徴パラメータと複数の参照モデルとを照合し、前記特徴パラメータが前記複数の参照モデルの中の所定の参照モデルに属する尤度を算出し、前記尤度が閾値条件を満たす場合に、前記所定の参照モデルが示すオーディオ信号の種類を前記特徴パラメータが示すオーディオ信号の種類と判定し、この判定されたオーディオ信号の種類に応じて前記入力オーディオ信号を補正し、前記尤度が前記閾値条件を満たさない場合に、前記特徴パラメータから音声成分と非音声成分の混合度合いを判定し、前記混合度合いに応じて前記入力オーディオ信号を補正する。
【発明の効果】
【０００９】
本発明によれば、入力オーディオ信号の高音質化に優れたオーディオ信号補正装置及びオーディオ信号補正方法を提供できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係るオーディオ信号補正装置の概略構成を示すブロック図である。
【図２】リアルタイム特性解析モジュールの概略構成を示すブロック図である。
【図３】特徴パラメータの分布の一例を示す図である。
【図４】特徴パラメータ生成の一例を示すフローチャートである。
【図５】信号音種別の判定の一例を示すフローチャートである。
【図６】音声参照モデル補正の一例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、図面を参照し、本発明の実施形態について説明する。
【００１２】
図１は、本発明の一実施形態に係るオーディオ信号補正装置の概略構成を示すブロック図である。図１に示すように、オーディオ信号補正装置は、リアルタイム特性解析モジュール１、選択モジュール２、音声補正モジュール３を備えている。さらに、音声補正モジュール３は、歓声シーン入力モジュール３１、実況解説シーン入力モジュール３２、その他シーン入力モジュール３３、第１音質補正モジュール３４、第２音質補正モジュール３５、第３音質補正モジュール３６を備えている。
【００１３】
なお、本実施形態では、音声補正モジュール３は、スポーツ中継等のコンテンツのオーディオ信号の特性に応じてこのオーディオ信号を適切に補正するように構成されているが、本発明はこの構成に限定されるものではない。例えば、他のコンテンツのオーディオ信号を補正する場合、音声補正モジュール３は、他のコンテンツのオーディオ信号の特性に応じてこのオーディオ信号を適切に補正するように構成される。
【００１４】
リアルタイム特性解析モジュール１は、入力オーディオ信号から特徴パラメータを抽出し、抽出した特徴パラメータからリアルタイムにオーディオ信号（シーン）の種類を解析する。例えば、スポーツ中継等のコンテンツの場合、リアルタイム特性解析モジュール１は、入力オーディオ信号の特徴パラメータから、リアルタイムに、歓声シーンのオーディオ信号、実況解説シーンのオーディオ信号、その他シーンのオーディオ信号（例えば通常プレイシーンのオーディオ信号）を分類する。
【００１５】
選択モジュール２は、リアルタイムに変化する解析結果に応じて入力オーディオ信号の出力先を選択する。例えば、選択モジュール２は、歓声シーンに対応したオーディオ信号の検出に基づき、歓声シーン入力モジュール３１への入力を選択し、入力オーディオ信号を歓声シーン入力モジュール３１へ入力する。また、選択モジュール２は、実況解説シーンに対応したオーディオ信号の検出に基づき、実況解説シーン入力モジュール３２への入力を選択し、入力オーディオ信号を実況解説シーン入力モジュール３２へ入力する。また、選択モジュール２は、その他シーンに対応したオーディオ信号（例えば通常プレイシーンに対応したオーディオ信号）の検出に基づき、その他シーン入力モジュール３３への入力を選択し、入力オーディオ信号をその他シーン入力モジュール３３へ入力する。なお、選択モジュール２は、リアルタイムに変化する解析結果に応じて、歓声シーン入力モジュール３１への入力を選択したり、実況解説シーン入力モジュール３２への入力を選択したり、その他シーン入力モジュール３３への入力を選択したりする。
【００１６】
第１音質補正モジュール３４は、歓声シーン入力モジュール３１からの入力オーディオ信号を、歓声シーンに対応した補正手法で補正する。例えば、歓声シーン（応援、ブーイングなど含む）で、実況解説音声が聞き取り難くなるほど実況音より環境音が非常に大きい場合、第１音質補正モジュール３４は、入力オーディオ信号に含まれた音声成分を大幅に強調し、実況を聞き取り易くする。
【００１７】
また、第２音質補正モジュール３５は、実況解説シーン入力モジュール３２からの入力オーディオ信号を、実況解説シーンに対応した補正手法で補正する。例えば、実況解説シーンでは、環境音より実況音が大きくなる傾向にあるが、より実況を聞き取り易くするために、第２音質補正モジュール３５は、入力オーディオ信号に含まれた音声成分をやや強調し、実況をより聞き取り易くする。
【００１８】
また、第３音質補正モジュール３６は、その他シーン入力モジュール３３からの入力オーディオ信号を、その他シーン（例えば通常プレイシーン）に対応した補正手法で補正する。例えば、通常プレイシーンではフィールド内の音がメインとなり、臨場感を高めるために、第３音質補正モジュール３６は、入力オーディオ信号をワイドステレオ用に補正する。
【００１９】
次に、図２を参照して、上記したリアルタイム特性解析モジュール１について説明する。図２は、リアルタイム特性解析モジュール１の概略構成を示すブロック図である。図２に示すように、リアルタイム特性解析モジュール１は、ＬＲ差分信号算出モジュール１１、特徴パラメータ算出モジュール１２、参照モデル照合モジュール１３、閾値判定モジュール１４、音声・非音声混合度合い判定モジュール１５を備えている。さらに、特徴パラメータ算出モジュール１２は、パワー変動算出モジュール１２１、零交差周波数算出モジュール１２２、スペクトル変動算出モジュール１２３などを備えている。
【００２０】
ＬＲ差分信号算出モジュール１１は、入力オーディオ信号を所定時間単位の複数フレームに分割し、各分割フレームに含まれたＬ（Left）チャネル成分信号とＲ（Right）チャネル成分信号との差分信号を算出する。例えば、ＬＲ差分信号算出モジュール１１は、入力オーディオ信号を数百msec程度の単位で複数のフレームとして分割し、さらに各フレームを数十msec程度の単位でサブフレームに分割し、各サブフレームからＬＲ差分信号を算出する。
【００２１】
特徴パラメータ算出モジュール１２は、各サブフレームから算出されたＬＲ差分信号から複数の特徴パラメータを算出する。例えば、パワー変動算出モジュール１２１は、サブフレームの単位でパワーを算出する。零交差周波数算出モジュール１２２は、サブフレームの単位で零交差周波数（時間波形が振幅方向に零を横切る回数）を算出する。スペクトル変動算出モジュール１２３は、サブフレームの単位でスペクトル変動（所定サブフレームと直前サブフレームとのＦＦＴパワースペクトル成分変動）を算出する。本実施形態では、特徴パラメータ算出モジュール１２が、パワー、零交差周波数、スペクトル変動の３つのパラメータを算出するケースについて説明するが、本発明はこれに限定されるものではない。例えば、特徴パラメータ算出モジュール１２は、ｎ個のパラメータを算出することができる。つまり、特徴パラメータ算出モジュール１２は、第１パラメータ算出モジュールからn-thパラメータ値算出モジュールまでのｎ個のパラメータ値算出モジュールにより構成することができる。特徴パラメータ算出モジュール１２は、フレームの単位で、パワー、零交差周波数、及びスペクトル変動の平均、分散等の統計量を求め、統計量に基づき特徴パラメータを算出する。
【００２２】
参照モデル照合モジュール１３は、所定の特徴パラメータと複数の参照モデルとを照合する。例えば、参照モデル照合モジュール１３は、あらかじめ学習により構築した音種別（シーン別）ごとの参照モデル（分布データ）を保持し、所定の特徴パラメータと各参照モデルとを比較し、所定の特徴パラメータが所定の参照モデルに属する確からしさ、すなわち尤度を算出する。
【００２３】
閾値判定モジュール１４は、算出尤度が閾値条件を満たす場合に、所定の参照モデルが示すオーディオ信号（シーン）の種類を所定の特徴パラメータが示すオーディオ信号（シーン）の種類と判定する。つまり、閾値判定モジュール１４は、算出尤度が閾値条件を満たす場合に、オーディオ信号（シーン）の種類を確定することができる。
【００２４】
音声・非音声混合度合い判定モジュール１５は、算出尤度が閾値条件を満たさない場合に、音声成分と非音声成分の混合度合いを判定し、音声補正モジュール３は、混合度合いに基づき入力オーディオ信号を補正する。例えば、第３音質補正モジュール３６が、混合度合いに基づき入力オーディオ信号の補正を制御する。
【００２５】
ここで、閾値判定モジュール１４と音声・非音声混合度合い判定モジュール１５の連携について説明する。例えば、参照モデル照合モジュール１３が、特徴パラメータと各参照モデルとを照合し、特徴パラメータが各参照モデルに属する各尤度を算出し、算出された各尤度の中から最大尤度を選択する。このケースで、閾値判定モジュール１４は、最大尤度が閾値条件を満たす場合に、最大尤度の算出に使用された参照モデルが示すオーディオ信号（シーン）の種類を特徴パラメータが示すオーディオ信号（シーン）の種類と判定する。つまり、特徴パラメータが示すオーディオ信号（シーン）の種類が確定する。ところが、最大尤度が閾値条件を満たさない場合には、閾値判定モジュール１４は、特徴パラメータが示すオーディオ信号（シーン）の種類を確定することができない。そこで、音声・非音声混合度合い判定モジュール１５が機能し、閾値判定モジュール１４で確定できなかったオーディオ信号（シーン）の種類を確定する。つまり、音声・非音声混合度合い判定モジュール１５が、最大尤度に基づき音声成分と非音声成分の混合度合いを判定（推定）し、音声補正モジュール３が、混合度合いに基づき入力オーディオ信号の補正度合いを制御する。
【００２６】
上記したようにリアルタイムに判定されたオーディオ信号（シーン）の種類に応じて、選択モジュール２及び音声補正モジュール３が、入力オーディオ信号を補正したり、リアルタイムに判定された混合度合いに応じて、音声補正モジュール３が、入力オーディオ信号の補正度合いを制御したりする。これにより、オーディオ信号補正装置は、オーディオ信号（シーン）の種類に応じてリアルタイムに補正されたオーディオ信号を出力することができる。
【００２７】
次に、図４〜図６に示すフローチャートを参照し、上記した各処理についてさらに詳しく説明する。図４は、特徴パラメータ生成の一例を示すフローチャートである。図５は、信号音種別の判定の一例を示すフローチャートである。図６は、音声参照モデル補正の一例を示すフローチャートである。
【００２８】
図４に示すように、ＬＲ差分信号算出モジュール１１は、入力オーディオ信号を数百msec程度の単位で複数のフレームとして分割し、さらに各フレームを数十msec程度の単位でサブフレームに分割し（Ｓ１０１）、各サブフレームからＬＲ差分信号を生成する（Ｓ１０２）。一般に、人の音声はセンター寄りに定位する性質があるため、ＬＲ差分信号を生成すると音声成分が抑制される。これにより、歓声など特定の音種の識別を容易にすることができる。
【００２９】
続いて、パワー変動算出モジュール１２１が、サブフレームの単位でパワーを算出し（Ｓ１０３）、零交差周波数算出モジュール１２２が、サブフレームの単位で零交差周波数を算出し（Ｓ１０４）、スペクトル変動算出モジュール１２３が、サブフレームの単位でスペクトル変動を算出し（Ｓ１０５）、さらに必要に応じて他の判別情報が算出される（Ｓ１０６）。特徴パラメータ算出モジュール１２は、フレームの単位で、パワー、零交差周波数、及びスペクトル変動の平均、分散等の統計量を求め、統計量に基づき特徴パラメータを算出する（Ｓ１０７、Ｓ１０８）。
【００３０】
続いて、信号音種（シーンの種類）が判定される（Ｓ２００）。図５に示すように、参照モデル照合モジュール１３は、特徴パラメータと各音種の参照モデルとを照合する（Ｓ２０１）。参照モデル構築の例としては、ＧＭＭ（Gaussian Mixture Model）が挙げられる。ＧＭＭを利用した参照モデルは、特徴パラメータ数の次元を有する正規分布の混合和で表現される。
【００３１】
すなわち下記（式１）に示すように、xを特徴パラメータのＤ次元ベクトルx={x1,x2,…,xD}、μを特徴パラメータの期待値（平均値）、Σを特徴パラメータの共分散行列、αkを複数の正規分布を重みづけ線形和で表したときの各分布の重みとする。
【数１】
【００３２】
これらにより計算されたNは尤度を表し、Ｄ次元の特徴パラメータ正規分布の混合和となる。あるフレームにおける特徴パラメータが参照モデルである混合ガウス分布から生成されたとすると、当該信号の尤度は上記（式１）で求められ、通常はこの尤度値を対数化する。特徴パラメータと各参照モデルとを照合し、特徴パラメータが各参照モデルに属する各尤度を算出し、算出された各尤度の中から最大尤度を選択し、この最大尤度の算出に使用された参照モデルを判定の候補とする。
【００３３】
ここで、参照モデルの音種又は参照モデルを得るための学習データの量によって、参照モデルの信頼性に差が出ることがある。大きな歓声や楽曲のようにスペクトル構造等に定常的性質が出やすい音種の参照モデルは、正規分布の偏差が小さく収束性の高い理想的なものになる。例えば、図３に示すように、歓声は、定常的性質が出やすい音種であり、歓声に対応した特徴パラメータの分布から構築される参照モデルの信頼性は比較的高くなる。
【００３４】
一方、プレイシーンのようにコンテンツごとに特有な環境音を含む音種の参照モデル及び人の音声などの音種の参照モデルは、定常的性質があまり現れず、分布の広がりが大きくなりやすい。それだけではなく、コンテンツごとに特有な環境音を含む音種の参照モデルの構築のための十分な学習データの収集は難しい。音声などの音種の参照モデルは、収録環境に依存する各種の雑音成分、また発話に含まれる微小な沈黙（無音）区間の影響等もあり、理想的に構築することが比較的難しい。例えば、図３に示すように、プレイシーン及び音声は、定常的性質があまり現れず、分布の広がりが大きくなりやすく、プレイシーンに対応した特徴パラメータの分布から構築される参照モデル、及び音声に対応した特徴パラメータの分布から構築される参照モデルの信頼性は比較的低くなる。
【００３５】
このため、閾値判定モジュール１４によるオーディオ信号（シーン）の種類判定、及び音声・非音声混合度合い判定モジュール１５による混合度合い判定が重要となる。歓声（応援の鳴り物やブーイングなども含む）のような、定常的性質の現れやすい音種の参照モデルの分布偏差は小さい。このため、歓声の特徴パラメータと歓声の参照モデルとを照合した場合、照合結果は期待値（平均値）に近く、尤度が大きくなる傾向が高い。よって、歓声のような音種については比較的容易に判定が可能となる。特徴パラメータと参照モデルとの照合の後、算出された尤度と閾値αと比較し、閾値αを上回る尤度を有するフレームが連続でβ回以上続けば（Ｓ２０２、ＹＥＳ）（Ｓ２０３、ＹＥＳ）、この時点で入力オーディオ信号の属する音種を歓声と確定する（Ｓ２０４）。
【００３６】
この際、歓声と確定した際のフレーム尤度、または過去β回以上続いた複数フレームで平滑化した尤度情報を出力すれば、歓声である情報の信頼性をより正確に伝えることができ、後段の音質補正にてきめ細かい補正制御が可能になる。
【００３７】
閾値αを上回る尤度が得られない（Ｓ２０２、ＮＯ）、又は閾値αを上回る尤度を有するフレームが連続でβ回以上続かない（Ｓ２０３、ＮＯ）場合は、閾値判定モジュール１４によるオーディオ信号（シーン）の正確な種類判定は難しい。つまり、閾値判定モジュール１４において歓声と確定した以外の入力オーディオ信号に対しては、音声・非音声混合度合い判定モジュール１５による混合度合い判定が適用される（Ｓ３００）。
【００３８】
図６に示すように、実際のコンテンツ（入力オーディオ信号）では、音声の信号成分とプレイシーンの信号成分とが明確に分離されていない場合が多く、単純に、入力オーディオ信号は音声である、又は入力オーディオ信号はプレイシーンであるという判定は適切ではない。そこで、音声成分である確からしさに対する非音声成分である確からしさの度合い（混合度合い）をパラメータとして出力し、この混合度合いに応じてワイドステレオ等の音質補正を制御する。
【００３９】
音声・非音声混合度合い判定モジュール１５は、特徴パラメータと音声の参照モデルとの照合により得られた第１の尤度と特徴パラメータと非音声の参照モデルとの照合により得られた第２の尤度との差、又はこれら第１の尤度と第２の尤度との比から、上記した混合度合いを算出する。
【００４０】
ただし、特徴パラメータがＬＲ差分信号から抽出されているため、混合度合いを正確に算出できない可能性がある。すなわち、ＬＲ差分信号ではセンターに定位しやすい音声成分が抑制されている。このため、特徴パラメータの分布に音声より背景音がより反映され易く、音声とプレイシーンの混合度合いを正確に算出し難い。一方、ＬＲ差分信号を生成する前のＰＣＭ信号よりＤ次元特徴パラメータを抽出すると、処理負荷が２倍となってしまう。
【００４１】
そこで、音声・非音声混合度合い判定モジュール１５は、単純な特徴パラメータに着目し、音声・非音声混合度合いを検出する。例えば、音声・非音声混合度合い判定モジュール１５は、ピッチ推定により、音声・非音声混合度合いを検出する。ピッチは人の（有声音の）発声において声帯の振動に起因して現れる基本周波数である。一般に男性で100Hz前後、女性で200Hz付近という値となる。ピッチ推定は様々あるが、簡単な抽出としては時間域での自己相関性がある。
【００４２】
下記（式２）のように、あるフレームの信号s(n)と時間τだけずらした信号s(n+τ)の振幅の差分をＮフレーム分蓄積する。このε(τ)を最小化するようなτを基本周期とし、その逆数を推定ピッチ値とみなす（Ｓ３０１）。
【数２】
【００４３】
各サブフレームにおけるこの推定ピッチ値が一般的な人の音声ピッチ範囲{lowPitch,uppPitch}に存在するかどうかを見て、フレームに占める存在割合c1を算出する（Ｓ３０２)。
【００４４】
また、ピッチ推定自体の信頼性は必ずしも高いとはいえない。このため、音声・非音声混合度合い判定モジュール１５は、他の音声的性質に着目してこのパラメータの信頼性を強化することもできる。例えば、音声・非音声混合度合い判定モジュール１５は、信号の零交差数等により、音声・非音声混合度合いを検出する。音声のように、子音と母音の切替りが頻繁であると零交差数の変動が大きくなる。したがって、零交差数変動性が大きく、かつ推定ピッチ値が標準的な人の音声ピッチ範囲に収まっていれば、当該信号が音声である確度は高くなる。ここで零交差数変動性であるが、フレームにおける平均零交差数の値をmeanZCとしたとき、計算値がmeanZCを超えるサブフレームの割合ｃ２を算出する（Ｓ３０３）。
【００４５】
以上の割合c1,c2を用いて音声の尤度を補正する。ＧＭＭモデルとの照合で得られた尤度は(式３)で表され、通常この尤度は対数化される。
【００４６】
N’=ln(N) …（式３）
このとき、音声モデルより出力される対数化尤度Nsp’については、対数化前の尤度に対して以下（式４）に示す補正項を導入する（Ｓ３０４）。
【００４７】
Nsp’=ln(Nsp + c1 * c2) …（式４）
このNsp’と非音声モデルより出力される対数化尤度Nnsp’（式３，４と同様に、GMM非音声モデルとの照合で得られた尤度Nnspをc1,c2で補正した値）より、音声の確からしさに対する非音声の確からしさの混合度合いを以下（式５）に示すように決定し、出力する（Ｓ３０５）。
【００４８】
Ratio=Nnsp’ − Nsp’ …（式５）
以上のように、参照モデルとの照合が容易でない音声と非音声のような音種については、音声と非音声成分の確からしさの混合度合いを数値化した情報を出力し、後段の音質補正処理ではこの情報を元に補正の度合いを制御する。
【００４９】
ここで、上記したオーディオ信号補正装置の作用効果についてまとめる。
【００５０】
（１）オーディオ信号補正装置は、リアルタイムでオーディオ信号（シーン）の種類に応じた音質補正をきめ細かく制御することができる。
【００５１】
（２）オーディオ信号補正装置は、ＬＲ差分信号より特徴パラメータを抽出し、特徴パラメータと参照モデルとの照合結果に基づき、参照モデルの信頼性が高い歓声などの音種を判定し、音種判定結果に基づき音質補正を制御する。ＬＲ差分信号から抽出した特徴パラメータを使用することにより、歓声等の音種の判定精度の向上を図ることができる。
【００５２】
（３）オーディオ信号補正装置は、参照モデルの信頼性が低い音声・非音声成分の混合度合いを求め、混合度合いに応じて音質補正を制御する。
【００５３】
（４）オーディオ信号補正装置は、ピッチ推定及び信号の零交差数など簡易な特徴量から、音声・非音声混合度合いを検出する。これにより、オーディオ信号補正装置は、音声・非音声混合度合いを少ない処理量で推定することができ、またＬＲ差分信号から特徴パラメータが抽出されていても（音声成分が抑制されていても）、音声・非音声混合度合いを高精度に検出することができる。
【００５４】
以上により、オーディオ信号補正装置は、スポーツをはじめとする各種コンテンツでリアルタイムに多分類シーンに応じた音質補正をきめ細かく行うことが可能となる。また、オーディオ信号補正装置は、記録済みコンテンツの再生時に、上記した音質補正を適用することもできる。
【００５５】
さらに、オーディオ信号補正装置は、例えばＴＶ、ＤＶＤプレイヤー、ＤＶＤレコーダ、及びＨＤＤレコーダに適用することができる。これにより、ユーザは、シーンに応じた高音質で番組放送又はＤＶＤコンテンツを楽しむことができる。
【００５６】
なお、上記したモジュールとは、ハードウェアで実現するものであっても良いし、ＣＰＵ等を使ってソフトウェアで実現するものであってもよい。
【００５７】
なお、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【符号の説明】
【００５８】
１…リアルタイム特性解析モジュール、１１…ＬＲ差分信号算出モジュール、１２…特徴パラメータ算出モジュール、１２１…パワー変動算出モジュール、１２２…零交差周波数算出モジュール、１２３…スペクトル変動算出モジュール、１３…参照モデル照合モジュール、１４…閾値判定モジュール、１５…音声・非音声混合度合い判定モジュール、２…選択モジュール、３…音声補正モジュール、３１…歓声シーン入力モジュール、３２…実況解説シーン入力モジュール、３３…その他シーン入力モジュール、３４…第１音質補正モジュール、３５…第２音質補正モジュール、３６…第３音質補正モジュール
【技術分野】
【０００１】
本発明は、オーディオ信号を補正し高音質化するオーディオ信号補正装置及びオーディオ信号補正方法に関する。
【背景技術】
【０００２】
近年、高画質、高音質のＡＶ機器に注目が集まり、このようなＡＶ機器の研究開発が盛んになっている。例えば、入力オーディオ信号から特定信号を抽出して、抽出した特定信号に対して信号処理を施して距離感または広がり感を変化させる技術が開示されている（特許文献１参照）。具体的には、入力オーディオ信号に含まれる人の声の特定信号を抽出し、抽出した特定信号の周波数特性や音量を変化させる処理によって距離感を変化させる。また、入力オーディオ信号に含まれる歓声や拍手などの特定信号を抽出し、抽出した特定信号に対して例えばサラウンド処理を施し、広がり感を変化させる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−６７８５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１に開示された入力オーディオ信号処理技術では、入力オーディオ信号から特定信号を抽出し、抽出した特定信号に応じて補正手法を決定し、高音質化を図っている。
【０００５】
しかしながら、入力オーディオ信号には様々な音源の信号成分が混在しているため、入力オーディオ信号の高音質化は容易ではない。単に、抽出した特定信号に応じて補正手法を決定するだけでは、適切な補正手法が選択できないこともあり、高音質化は難しい。
【０００６】
本発明の目的は、入力オーディオ信号の高音質化に優れたオーディオ信号補正装置及びオーディオ信号補正方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一実施形態に係るオーディオ信号補正装置は、入力オーディオ信号を所定時間単位の複数フレームに分割し、各分割フレームに含まれたＬチャネル成分信号とＲチャネル成分信号との差分信号を算出する差分信号算出手段と、各分割フレームから算出された各差分信号から１以上の特徴パラメータを算出する特徴パラメータ算出手段と、前記特徴パラメータと複数の参照モデルとを照合し、前記特徴パラメータが前記複数の参照モデルの中の所定の参照モデルに属する尤度を算出する照合手段と、前記尤度が閾値条件を満たす場合に、前記所定の参照モデルが示すオーディオ信号の種類を前記特徴パラメータが示すオーディオ信号の種類と判定する第１判定手段と、前記尤度が前記閾値条件を満たさない場合に、前記特徴パラメータから音声成分と非音声成分の混合度合いを判定する第２判定手段と、前記第1判定手段により判定された前記オーディオ信号の種類に応じて前記入力オーディオ信号を補正し、また前記混合度合いに応じて前記入力オーディオ信号を補正する補正手段と、を備えている。
【０００８】
本発明の一実施形態に係るオーディオ信号補正方法は、入力オーディオ信号を所定時間単位の複数フレームに分割し、各分割フレームに含まれたＬチャネル成分信号とＲチャネル成分信号との差分信号を算出し、各分割フレームから算出された各差分信号から１以上の特徴パラメータを算出し、前記特徴パラメータと複数の参照モデルとを照合し、前記特徴パラメータが前記複数の参照モデルの中の所定の参照モデルに属する尤度を算出し、前記尤度が閾値条件を満たす場合に、前記所定の参照モデルが示すオーディオ信号の種類を前記特徴パラメータが示すオーディオ信号の種類と判定し、この判定されたオーディオ信号の種類に応じて前記入力オーディオ信号を補正し、前記尤度が前記閾値条件を満たさない場合に、前記特徴パラメータから音声成分と非音声成分の混合度合いを判定し、前記混合度合いに応じて前記入力オーディオ信号を補正する。
【発明の効果】
【０００９】
本発明によれば、入力オーディオ信号の高音質化に優れたオーディオ信号補正装置及びオーディオ信号補正方法を提供できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係るオーディオ信号補正装置の概略構成を示すブロック図である。
【図２】リアルタイム特性解析モジュールの概略構成を示すブロック図である。
【図３】特徴パラメータの分布の一例を示す図である。
【図４】特徴パラメータ生成の一例を示すフローチャートである。
【図５】信号音種別の判定の一例を示すフローチャートである。
【図６】音声参照モデル補正の一例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、図面を参照し、本発明の実施形態について説明する。
【００１２】
図１は、本発明の一実施形態に係るオーディオ信号補正装置の概略構成を示すブロック図である。図１に示すように、オーディオ信号補正装置は、リアルタイム特性解析モジュール１、選択モジュール２、音声補正モジュール３を備えている。さらに、音声補正モジュール３は、歓声シーン入力モジュール３１、実況解説シーン入力モジュール３２、その他シーン入力モジュール３３、第１音質補正モジュール３４、第２音質補正モジュール３５、第３音質補正モジュール３６を備えている。
【００１３】
なお、本実施形態では、音声補正モジュール３は、スポーツ中継等のコンテンツのオーディオ信号の特性に応じてこのオーディオ信号を適切に補正するように構成されているが、本発明はこの構成に限定されるものではない。例えば、他のコンテンツのオーディオ信号を補正する場合、音声補正モジュール３は、他のコンテンツのオーディオ信号の特性に応じてこのオーディオ信号を適切に補正するように構成される。
【００１４】
リアルタイム特性解析モジュール１は、入力オーディオ信号から特徴パラメータを抽出し、抽出した特徴パラメータからリアルタイムにオーディオ信号（シーン）の種類を解析する。例えば、スポーツ中継等のコンテンツの場合、リアルタイム特性解析モジュール１は、入力オーディオ信号の特徴パラメータから、リアルタイムに、歓声シーンのオーディオ信号、実況解説シーンのオーディオ信号、その他シーンのオーディオ信号（例えば通常プレイシーンのオーディオ信号）を分類する。
【００１５】
選択モジュール２は、リアルタイムに変化する解析結果に応じて入力オーディオ信号の出力先を選択する。例えば、選択モジュール２は、歓声シーンに対応したオーディオ信号の検出に基づき、歓声シーン入力モジュール３１への入力を選択し、入力オーディオ信号を歓声シーン入力モジュール３１へ入力する。また、選択モジュール２は、実況解説シーンに対応したオーディオ信号の検出に基づき、実況解説シーン入力モジュール３２への入力を選択し、入力オーディオ信号を実況解説シーン入力モジュール３２へ入力する。また、選択モジュール２は、その他シーンに対応したオーディオ信号（例えば通常プレイシーンに対応したオーディオ信号）の検出に基づき、その他シーン入力モジュール３３への入力を選択し、入力オーディオ信号をその他シーン入力モジュール３３へ入力する。なお、選択モジュール２は、リアルタイムに変化する解析結果に応じて、歓声シーン入力モジュール３１への入力を選択したり、実況解説シーン入力モジュール３２への入力を選択したり、その他シーン入力モジュール３３への入力を選択したりする。
【００１６】
第１音質補正モジュール３４は、歓声シーン入力モジュール３１からの入力オーディオ信号を、歓声シーンに対応した補正手法で補正する。例えば、歓声シーン（応援、ブーイングなど含む）で、実況解説音声が聞き取り難くなるほど実況音より環境音が非常に大きい場合、第１音質補正モジュール３４は、入力オーディオ信号に含まれた音声成分を大幅に強調し、実況を聞き取り易くする。
【００１７】
また、第２音質補正モジュール３５は、実況解説シーン入力モジュール３２からの入力オーディオ信号を、実況解説シーンに対応した補正手法で補正する。例えば、実況解説シーンでは、環境音より実況音が大きくなる傾向にあるが、より実況を聞き取り易くするために、第２音質補正モジュール３５は、入力オーディオ信号に含まれた音声成分をやや強調し、実況をより聞き取り易くする。
【００１８】
また、第３音質補正モジュール３６は、その他シーン入力モジュール３３からの入力オーディオ信号を、その他シーン（例えば通常プレイシーン）に対応した補正手法で補正する。例えば、通常プレイシーンではフィールド内の音がメインとなり、臨場感を高めるために、第３音質補正モジュール３６は、入力オーディオ信号をワイドステレオ用に補正する。
【００１９】
次に、図２を参照して、上記したリアルタイム特性解析モジュール１について説明する。図２は、リアルタイム特性解析モジュール１の概略構成を示すブロック図である。図２に示すように、リアルタイム特性解析モジュール１は、ＬＲ差分信号算出モジュール１１、特徴パラメータ算出モジュール１２、参照モデル照合モジュール１３、閾値判定モジュール１４、音声・非音声混合度合い判定モジュール１５を備えている。さらに、特徴パラメータ算出モジュール１２は、パワー変動算出モジュール１２１、零交差周波数算出モジュール１２２、スペクトル変動算出モジュール１２３などを備えている。
【００２０】
ＬＲ差分信号算出モジュール１１は、入力オーディオ信号を所定時間単位の複数フレームに分割し、各分割フレームに含まれたＬ（Left）チャネル成分信号とＲ（Right）チャネル成分信号との差分信号を算出する。例えば、ＬＲ差分信号算出モジュール１１は、入力オーディオ信号を数百msec程度の単位で複数のフレームとして分割し、さらに各フレームを数十msec程度の単位でサブフレームに分割し、各サブフレームからＬＲ差分信号を算出する。
【００２１】
特徴パラメータ算出モジュール１２は、各サブフレームから算出されたＬＲ差分信号から複数の特徴パラメータを算出する。例えば、パワー変動算出モジュール１２１は、サブフレームの単位でパワーを算出する。零交差周波数算出モジュール１２２は、サブフレームの単位で零交差周波数（時間波形が振幅方向に零を横切る回数）を算出する。スペクトル変動算出モジュール１２３は、サブフレームの単位でスペクトル変動（所定サブフレームと直前サブフレームとのＦＦＴパワースペクトル成分変動）を算出する。本実施形態では、特徴パラメータ算出モジュール１２が、パワー、零交差周波数、スペクトル変動の３つのパラメータを算出するケースについて説明するが、本発明はこれに限定されるものではない。例えば、特徴パラメータ算出モジュール１２は、ｎ個のパラメータを算出することができる。つまり、特徴パラメータ算出モジュール１２は、第１パラメータ算出モジュールからn-thパラメータ値算出モジュールまでのｎ個のパラメータ値算出モジュールにより構成することができる。特徴パラメータ算出モジュール１２は、フレームの単位で、パワー、零交差周波数、及びスペクトル変動の平均、分散等の統計量を求め、統計量に基づき特徴パラメータを算出する。
【００２２】
参照モデル照合モジュール１３は、所定の特徴パラメータと複数の参照モデルとを照合する。例えば、参照モデル照合モジュール１３は、あらかじめ学習により構築した音種別（シーン別）ごとの参照モデル（分布データ）を保持し、所定の特徴パラメータと各参照モデルとを比較し、所定の特徴パラメータが所定の参照モデルに属する確からしさ、すなわち尤度を算出する。
【００２３】
閾値判定モジュール１４は、算出尤度が閾値条件を満たす場合に、所定の参照モデルが示すオーディオ信号（シーン）の種類を所定の特徴パラメータが示すオーディオ信号（シーン）の種類と判定する。つまり、閾値判定モジュール１４は、算出尤度が閾値条件を満たす場合に、オーディオ信号（シーン）の種類を確定することができる。
【００２４】
音声・非音声混合度合い判定モジュール１５は、算出尤度が閾値条件を満たさない場合に、音声成分と非音声成分の混合度合いを判定し、音声補正モジュール３は、混合度合いに基づき入力オーディオ信号を補正する。例えば、第３音質補正モジュール３６が、混合度合いに基づき入力オーディオ信号の補正を制御する。
【００２５】
ここで、閾値判定モジュール１４と音声・非音声混合度合い判定モジュール１５の連携について説明する。例えば、参照モデル照合モジュール１３が、特徴パラメータと各参照モデルとを照合し、特徴パラメータが各参照モデルに属する各尤度を算出し、算出された各尤度の中から最大尤度を選択する。このケースで、閾値判定モジュール１４は、最大尤度が閾値条件を満たす場合に、最大尤度の算出に使用された参照モデルが示すオーディオ信号（シーン）の種類を特徴パラメータが示すオーディオ信号（シーン）の種類と判定する。つまり、特徴パラメータが示すオーディオ信号（シーン）の種類が確定する。ところが、最大尤度が閾値条件を満たさない場合には、閾値判定モジュール１４は、特徴パラメータが示すオーディオ信号（シーン）の種類を確定することができない。そこで、音声・非音声混合度合い判定モジュール１５が機能し、閾値判定モジュール１４で確定できなかったオーディオ信号（シーン）の種類を確定する。つまり、音声・非音声混合度合い判定モジュール１５が、最大尤度に基づき音声成分と非音声成分の混合度合いを判定（推定）し、音声補正モジュール３が、混合度合いに基づき入力オーディオ信号の補正度合いを制御する。
【００２６】
上記したようにリアルタイムに判定されたオーディオ信号（シーン）の種類に応じて、選択モジュール２及び音声補正モジュール３が、入力オーディオ信号を補正したり、リアルタイムに判定された混合度合いに応じて、音声補正モジュール３が、入力オーディオ信号の補正度合いを制御したりする。これにより、オーディオ信号補正装置は、オーディオ信号（シーン）の種類に応じてリアルタイムに補正されたオーディオ信号を出力することができる。
【００２７】
次に、図４〜図６に示すフローチャートを参照し、上記した各処理についてさらに詳しく説明する。図４は、特徴パラメータ生成の一例を示すフローチャートである。図５は、信号音種別の判定の一例を示すフローチャートである。図６は、音声参照モデル補正の一例を示すフローチャートである。
【００２８】
図４に示すように、ＬＲ差分信号算出モジュール１１は、入力オーディオ信号を数百msec程度の単位で複数のフレームとして分割し、さらに各フレームを数十msec程度の単位でサブフレームに分割し（Ｓ１０１）、各サブフレームからＬＲ差分信号を生成する（Ｓ１０２）。一般に、人の音声はセンター寄りに定位する性質があるため、ＬＲ差分信号を生成すると音声成分が抑制される。これにより、歓声など特定の音種の識別を容易にすることができる。
【００２９】
続いて、パワー変動算出モジュール１２１が、サブフレームの単位でパワーを算出し（Ｓ１０３）、零交差周波数算出モジュール１２２が、サブフレームの単位で零交差周波数を算出し（Ｓ１０４）、スペクトル変動算出モジュール１２３が、サブフレームの単位でスペクトル変動を算出し（Ｓ１０５）、さらに必要に応じて他の判別情報が算出される（Ｓ１０６）。特徴パラメータ算出モジュール１２は、フレームの単位で、パワー、零交差周波数、及びスペクトル変動の平均、分散等の統計量を求め、統計量に基づき特徴パラメータを算出する（Ｓ１０７、Ｓ１０８）。
【００３０】
続いて、信号音種（シーンの種類）が判定される（Ｓ２００）。図５に示すように、参照モデル照合モジュール１３は、特徴パラメータと各音種の参照モデルとを照合する（Ｓ２０１）。参照モデル構築の例としては、ＧＭＭ（Gaussian Mixture Model）が挙げられる。ＧＭＭを利用した参照モデルは、特徴パラメータ数の次元を有する正規分布の混合和で表現される。
【００３１】
すなわち下記（式１）に示すように、xを特徴パラメータのＤ次元ベクトルx={x1,x2,…,xD}、μを特徴パラメータの期待値（平均値）、Σを特徴パラメータの共分散行列、αkを複数の正規分布を重みづけ線形和で表したときの各分布の重みとする。
【数１】
【００３２】
これらにより計算されたNは尤度を表し、Ｄ次元の特徴パラメータ正規分布の混合和となる。あるフレームにおける特徴パラメータが参照モデルである混合ガウス分布から生成されたとすると、当該信号の尤度は上記（式１）で求められ、通常はこの尤度値を対数化する。特徴パラメータと各参照モデルとを照合し、特徴パラメータが各参照モデルに属する各尤度を算出し、算出された各尤度の中から最大尤度を選択し、この最大尤度の算出に使用された参照モデルを判定の候補とする。
【００３３】
ここで、参照モデルの音種又は参照モデルを得るための学習データの量によって、参照モデルの信頼性に差が出ることがある。大きな歓声や楽曲のようにスペクトル構造等に定常的性質が出やすい音種の参照モデルは、正規分布の偏差が小さく収束性の高い理想的なものになる。例えば、図３に示すように、歓声は、定常的性質が出やすい音種であり、歓声に対応した特徴パラメータの分布から構築される参照モデルの信頼性は比較的高くなる。
【００３４】
一方、プレイシーンのようにコンテンツごとに特有な環境音を含む音種の参照モデル及び人の音声などの音種の参照モデルは、定常的性質があまり現れず、分布の広がりが大きくなりやすい。それだけではなく、コンテンツごとに特有な環境音を含む音種の参照モデルの構築のための十分な学習データの収集は難しい。音声などの音種の参照モデルは、収録環境に依存する各種の雑音成分、また発話に含まれる微小な沈黙（無音）区間の影響等もあり、理想的に構築することが比較的難しい。例えば、図３に示すように、プレイシーン及び音声は、定常的性質があまり現れず、分布の広がりが大きくなりやすく、プレイシーンに対応した特徴パラメータの分布から構築される参照モデル、及び音声に対応した特徴パラメータの分布から構築される参照モデルの信頼性は比較的低くなる。
【００３５】
このため、閾値判定モジュール１４によるオーディオ信号（シーン）の種類判定、及び音声・非音声混合度合い判定モジュール１５による混合度合い判定が重要となる。歓声（応援の鳴り物やブーイングなども含む）のような、定常的性質の現れやすい音種の参照モデルの分布偏差は小さい。このため、歓声の特徴パラメータと歓声の参照モデルとを照合した場合、照合結果は期待値（平均値）に近く、尤度が大きくなる傾向が高い。よって、歓声のような音種については比較的容易に判定が可能となる。特徴パラメータと参照モデルとの照合の後、算出された尤度と閾値αと比較し、閾値αを上回る尤度を有するフレームが連続でβ回以上続けば（Ｓ２０２、ＹＥＳ）（Ｓ２０３、ＹＥＳ）、この時点で入力オーディオ信号の属する音種を歓声と確定する（Ｓ２０４）。
【００３６】
この際、歓声と確定した際のフレーム尤度、または過去β回以上続いた複数フレームで平滑化した尤度情報を出力すれば、歓声である情報の信頼性をより正確に伝えることができ、後段の音質補正にてきめ細かい補正制御が可能になる。
【００３７】
閾値αを上回る尤度が得られない（Ｓ２０２、ＮＯ）、又は閾値αを上回る尤度を有するフレームが連続でβ回以上続かない（Ｓ２０３、ＮＯ）場合は、閾値判定モジュール１４によるオーディオ信号（シーン）の正確な種類判定は難しい。つまり、閾値判定モジュール１４において歓声と確定した以外の入力オーディオ信号に対しては、音声・非音声混合度合い判定モジュール１５による混合度合い判定が適用される（Ｓ３００）。
【００３８】
図６に示すように、実際のコンテンツ（入力オーディオ信号）では、音声の信号成分とプレイシーンの信号成分とが明確に分離されていない場合が多く、単純に、入力オーディオ信号は音声である、又は入力オーディオ信号はプレイシーンであるという判定は適切ではない。そこで、音声成分である確からしさに対する非音声成分である確からしさの度合い（混合度合い）をパラメータとして出力し、この混合度合いに応じてワイドステレオ等の音質補正を制御する。
【００３９】
音声・非音声混合度合い判定モジュール１５は、特徴パラメータと音声の参照モデルとの照合により得られた第１の尤度と特徴パラメータと非音声の参照モデルとの照合により得られた第２の尤度との差、又はこれら第１の尤度と第２の尤度との比から、上記した混合度合いを算出する。
【００４０】
ただし、特徴パラメータがＬＲ差分信号から抽出されているため、混合度合いを正確に算出できない可能性がある。すなわち、ＬＲ差分信号ではセンターに定位しやすい音声成分が抑制されている。このため、特徴パラメータの分布に音声より背景音がより反映され易く、音声とプレイシーンの混合度合いを正確に算出し難い。一方、ＬＲ差分信号を生成する前のＰＣＭ信号よりＤ次元特徴パラメータを抽出すると、処理負荷が２倍となってしまう。
【００４１】
そこで、音声・非音声混合度合い判定モジュール１５は、単純な特徴パラメータに着目し、音声・非音声混合度合いを検出する。例えば、音声・非音声混合度合い判定モジュール１５は、ピッチ推定により、音声・非音声混合度合いを検出する。ピッチは人の（有声音の）発声において声帯の振動に起因して現れる基本周波数である。一般に男性で100Hz前後、女性で200Hz付近という値となる。ピッチ推定は様々あるが、簡単な抽出としては時間域での自己相関性がある。
【００４２】
下記（式２）のように、あるフレームの信号s(n)と時間τだけずらした信号s(n+τ)の振幅の差分をＮフレーム分蓄積する。このε(τ)を最小化するようなτを基本周期とし、その逆数を推定ピッチ値とみなす（Ｓ３０１）。
【数２】
【００４３】
各サブフレームにおけるこの推定ピッチ値が一般的な人の音声ピッチ範囲{lowPitch,uppPitch}に存在するかどうかを見て、フレームに占める存在割合c1を算出する（Ｓ３０２)。
【００４４】
また、ピッチ推定自体の信頼性は必ずしも高いとはいえない。このため、音声・非音声混合度合い判定モジュール１５は、他の音声的性質に着目してこのパラメータの信頼性を強化することもできる。例えば、音声・非音声混合度合い判定モジュール１５は、信号の零交差数等により、音声・非音声混合度合いを検出する。音声のように、子音と母音の切替りが頻繁であると零交差数の変動が大きくなる。したがって、零交差数変動性が大きく、かつ推定ピッチ値が標準的な人の音声ピッチ範囲に収まっていれば、当該信号が音声である確度は高くなる。ここで零交差数変動性であるが、フレームにおける平均零交差数の値をmeanZCとしたとき、計算値がmeanZCを超えるサブフレームの割合ｃ２を算出する（Ｓ３０３）。
【００４５】
以上の割合c1,c2を用いて音声の尤度を補正する。ＧＭＭモデルとの照合で得られた尤度は(式３)で表され、通常この尤度は対数化される。
【００４６】
N’=ln(N) …（式３）
このとき、音声モデルより出力される対数化尤度Nsp’については、対数化前の尤度に対して以下（式４）に示す補正項を導入する（Ｓ３０４）。
【００４７】
Nsp’=ln(Nsp + c1 * c2) …（式４）
このNsp’と非音声モデルより出力される対数化尤度Nnsp’（式３，４と同様に、GMM非音声モデルとの照合で得られた尤度Nnspをc1,c2で補正した値）より、音声の確からしさに対する非音声の確からしさの混合度合いを以下（式５）に示すように決定し、出力する（Ｓ３０５）。
【００４８】
Ratio=Nnsp’ − Nsp’ …（式５）
以上のように、参照モデルとの照合が容易でない音声と非音声のような音種については、音声と非音声成分の確からしさの混合度合いを数値化した情報を出力し、後段の音質補正処理ではこの情報を元に補正の度合いを制御する。
【００４９】
ここで、上記したオーディオ信号補正装置の作用効果についてまとめる。
【００５０】
（１）オーディオ信号補正装置は、リアルタイムでオーディオ信号（シーン）の種類に応じた音質補正をきめ細かく制御することができる。
【００５１】
（２）オーディオ信号補正装置は、ＬＲ差分信号より特徴パラメータを抽出し、特徴パラメータと参照モデルとの照合結果に基づき、参照モデルの信頼性が高い歓声などの音種を判定し、音種判定結果に基づき音質補正を制御する。ＬＲ差分信号から抽出した特徴パラメータを使用することにより、歓声等の音種の判定精度の向上を図ることができる。
【００５２】
（３）オーディオ信号補正装置は、参照モデルの信頼性が低い音声・非音声成分の混合度合いを求め、混合度合いに応じて音質補正を制御する。
【００５３】
（４）オーディオ信号補正装置は、ピッチ推定及び信号の零交差数など簡易な特徴量から、音声・非音声混合度合いを検出する。これにより、オーディオ信号補正装置は、音声・非音声混合度合いを少ない処理量で推定することができ、またＬＲ差分信号から特徴パラメータが抽出されていても（音声成分が抑制されていても）、音声・非音声混合度合いを高精度に検出することができる。
【００５４】
以上により、オーディオ信号補正装置は、スポーツをはじめとする各種コンテンツでリアルタイムに多分類シーンに応じた音質補正をきめ細かく行うことが可能となる。また、オーディオ信号補正装置は、記録済みコンテンツの再生時に、上記した音質補正を適用することもできる。
【００５５】
さらに、オーディオ信号補正装置は、例えばＴＶ、ＤＶＤプレイヤー、ＤＶＤレコーダ、及びＨＤＤレコーダに適用することができる。これにより、ユーザは、シーンに応じた高音質で番組放送又はＤＶＤコンテンツを楽しむことができる。
【００５６】
なお、上記したモジュールとは、ハードウェアで実現するものであっても良いし、ＣＰＵ等を使ってソフトウェアで実現するものであってもよい。
【００５７】
なお、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【符号の説明】
【００５８】
１…リアルタイム特性解析モジュール、１１…ＬＲ差分信号算出モジュール、１２…特徴パラメータ算出モジュール、１２１…パワー変動算出モジュール、１２２…零交差周波数算出モジュール、１２３…スペクトル変動算出モジュール、１３…参照モデル照合モジュール、１４…閾値判定モジュール、１５…音声・非音声混合度合い判定モジュール、２…選択モジュール、３…音声補正モジュール、３１…歓声シーン入力モジュール、３２…実況解説シーン入力モジュール、３３…その他シーン入力モジュール、３４…第１音質補正モジュール、３５…第２音質補正モジュール、３６…第３音質補正モジュール
【特許請求の範囲】
【請求項１】
入力オーディオ信号を所定時間単位の複数フレームに分割し、各分割フレームに含まれたＬチャネル成分信号とＲチャネル成分信号との差分信号を算出する差分信号算出手段と、
各分割フレームから算出された各差分信号から１以上の特徴パラメータを算出する特徴パラメータ算出手段と、
前記特徴パラメータと複数の参照モデルとを照合し、前記特徴パラメータが前記複数の参照モデルの中の所定の参照モデルに属する尤度を算出する照合手段と、
前記尤度が閾値条件を満たす場合に、前記所定の参照モデルが示すオーディオ信号の種類を前記特徴パラメータが示すオーディオ信号の種類と判定する第１判定手段と、
前記尤度が前記閾値条件を満たさない場合に、前記特徴パラメータから音声成分と非音声成分の混合度合いを判定する第２判定手段と、
前記第1判定手段により判定された前記オーディオ信号の種類に応じて前記入力オーディオ信号を補正し、また前記混合度合いに応じて前記入力オーディオ信号を補正する補正手段と、
を備えたことを特徴とするオーディオ信号補正装置。
【請求項２】
前記照合手段は、前記特徴パラメータと各参照モデルとを照合し、前記特徴パラメータが各参照モデルに属する各尤度を算出し、算出された各尤度の中から最大尤度を選択し、
前記第１判定手段は、前記最大尤度が閾値条件を満たす場合に、前記最大尤度の算出に使用された参照モデルが示すオーディオ信号の種類を前記特徴パラメータが示す前記オーディオ信号の種類と判定し、
前記第２判定手段は、前記最大尤度が閾値条件を満たさない場合に、前記最大尤度に基づき前記特徴パラメータの音声成分と非音声成分の混合度合いを判定する、
ことを特徴とする請求項１に記載のオーディオ信号補正装置。
【請求項３】
前記第２判定手段は、人の声帯の振動に起因して現れる基本周波数に基づき、前記特徴パラメータの音声成分と非音声成分の混合度合いを判定することを特徴とする請求項１に記載のオーディオ信号補正装置。
【請求項４】
前記第２判定手段は、子音と母音の切り替わりに応じて発生する零交差数の変動性に基づき、前記特徴パラメータの音声成分と非音声成分の混合度合いを判定することを特徴とする請求項１に記載のオーディオ信号補正装置。
【請求項５】
入力オーディオ信号を所定時間単位の複数フレームに分割し、各分割フレームに含まれたＬチャネル成分信号とＲチャネル成分信号との差分信号を算出し、
各分割フレームから算出された各差分信号から１以上の特徴パラメータを算出し、
前記特徴パラメータと複数の参照モデルとを照合し、前記特徴パラメータが前記複数の参照モデルの中の所定の参照モデルに属する尤度を算出し、
前記尤度が閾値条件を満たす場合に、前記所定の参照モデルが示すオーディオ信号の種類を前記特徴パラメータが示すオーディオ信号の種類と判定し、この判定されたオーディオ信号の種類に応じて前記入力オーディオ信号を補正し、
前記尤度が前記閾値条件を満たさない場合に、前記特徴パラメータから音声成分と非音声成分の混合度合いを判定し、
前記混合度合いに応じて前記入力オーディオ信号を補正する、
ことを特徴とするオーディオ信号補正方法。
【請求項１】
入力オーディオ信号を所定時間単位の複数フレームに分割し、各分割フレームに含まれたＬチャネル成分信号とＲチャネル成分信号との差分信号を算出する差分信号算出手段と、
各分割フレームから算出された各差分信号から１以上の特徴パラメータを算出する特徴パラメータ算出手段と、
前記特徴パラメータと複数の参照モデルとを照合し、前記特徴パラメータが前記複数の参照モデルの中の所定の参照モデルに属する尤度を算出する照合手段と、
前記尤度が閾値条件を満たす場合に、前記所定の参照モデルが示すオーディオ信号の種類を前記特徴パラメータが示すオーディオ信号の種類と判定する第１判定手段と、
前記尤度が前記閾値条件を満たさない場合に、前記特徴パラメータから音声成分と非音声成分の混合度合いを判定する第２判定手段と、
前記第1判定手段により判定された前記オーディオ信号の種類に応じて前記入力オーディオ信号を補正し、また前記混合度合いに応じて前記入力オーディオ信号を補正する補正手段と、
を備えたことを特徴とするオーディオ信号補正装置。
【請求項２】
前記照合手段は、前記特徴パラメータと各参照モデルとを照合し、前記特徴パラメータが各参照モデルに属する各尤度を算出し、算出された各尤度の中から最大尤度を選択し、
前記第１判定手段は、前記最大尤度が閾値条件を満たす場合に、前記最大尤度の算出に使用された参照モデルが示すオーディオ信号の種類を前記特徴パラメータが示す前記オーディオ信号の種類と判定し、
前記第２判定手段は、前記最大尤度が閾値条件を満たさない場合に、前記最大尤度に基づき前記特徴パラメータの音声成分と非音声成分の混合度合いを判定する、
ことを特徴とする請求項１に記載のオーディオ信号補正装置。
【請求項３】
前記第２判定手段は、人の声帯の振動に起因して現れる基本周波数に基づき、前記特徴パラメータの音声成分と非音声成分の混合度合いを判定することを特徴とする請求項１に記載のオーディオ信号補正装置。
【請求項４】
前記第２判定手段は、子音と母音の切り替わりに応じて発生する零交差数の変動性に基づき、前記特徴パラメータの音声成分と非音声成分の混合度合いを判定することを特徴とする請求項１に記載のオーディオ信号補正装置。
【請求項５】
入力オーディオ信号を所定時間単位の複数フレームに分割し、各分割フレームに含まれたＬチャネル成分信号とＲチャネル成分信号との差分信号を算出し、
各分割フレームから算出された各差分信号から１以上の特徴パラメータを算出し、
前記特徴パラメータと複数の参照モデルとを照合し、前記特徴パラメータが前記複数の参照モデルの中の所定の参照モデルに属する尤度を算出し、
前記尤度が閾値条件を満たす場合に、前記所定の参照モデルが示すオーディオ信号の種類を前記特徴パラメータが示すオーディオ信号の種類と判定し、この判定されたオーディオ信号の種類に応じて前記入力オーディオ信号を補正し、
前記尤度が前記閾値条件を満たさない場合に、前記特徴パラメータから音声成分と非音声成分の混合度合いを判定し、
前記混合度合いに応じて前記入力オーディオ信号を補正する、
ことを特徴とするオーディオ信号補正方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−１３３８３（Ｐ２０１１−１３３８３Ａ）
【公開日】平成２３年１月２０日（２０１１．１．２０）
【国際特許分類】
【出願番号】特願２００９−１５６２７１（Ｐ２００９−１５６２７１）
【出願日】平成２１年６月３０日（２００９．６．３０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２３年１月２０日（２０１１．１．２０）
【国際特許分類】
【出願日】平成２１年６月３０日（２００９．６．３０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]