疑似ステレオ化装置
【課題】
本発明は、格段に違和感の少ない疑似ステレオ音声をリスナに聴取させるようにする。
【解決手段】
外部からのアナログのモノラル入力信号Ｓ０をディジタル化し、所定時間でなる１フレーム毎に区分した入力信号ｘ０（ｔ）を音源分離部２へ入力し、当該音源分離部２によって一般調和解析に基づく音源分離処理を行うことにより、当該入力信号ｘ０（ｔ）を音源信号ＤＳと残差信号ＤＴとに分離した後、出力処理部３によって、当該音源信号ＤＳ及び当該残差信号ＤＴをそれぞれアナログ化して増幅した出力信号Ｓ１Ｌ及びＳ１Ｒの音声を、ヘッドホン６を介して疑似ステレオ音声としてリスナに聴取させる。
本発明は、格段に違和感の少ない疑似ステレオ音声をリスナに聴取させるようにする。
【解決手段】
外部からのアナログのモノラル入力信号Ｓ０をディジタル化し、所定時間でなる１フレーム毎に区分した入力信号ｘ０（ｔ）を音源分離部２へ入力し、当該音源分離部２によって一般調和解析に基づく音源分離処理を行うことにより、当該入力信号ｘ０（ｔ）を音源信号ＤＳと残差信号ＤＴとに分離した後、出力処理部３によって、当該音源信号ＤＳ及び当該残差信号ＤＴをそれぞれアナログ化して増幅した出力信号Ｓ１Ｌ及びＳ１Ｒの音声を、ヘッドホン６を介して疑似ステレオ音声としてリスナに聴取させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は疑似ステレオ化装置に関し、例えばヘッドホンを介してリスナに擬似的なステレオ音声信号を聴取させる疑似ステレオ化装置に適用して好適なものである。
【背景技術】
【０００２】
従来、疑似ステレオ化装置においては、入力されたモノラル音声信号を基に、互いに無相関な複数チャンネルの音声信号を生成し、左右への音の広がり感を得られるような疑似ステレオ音声をリスナに聴取させるようになされたものが提案されている。
【０００３】
このような疑似ステレオ化装置のなかには、例えば図１１に示すように、無相関化フィルタを出力チャンネル毎に用いることにより、図１２に示すように、当該無相関化フィルタ毎にそれぞれ異なる周波数帯域の音声信号の位相を変化させることによって、モノラルの音声信号から、互いに無相関な複数の音声信号を生成するようになされたものがある。
【０００４】
また疑似ステレオ化装置のなかには、図１１における無相関化フィルタに代えてバンドパスフィルタを用いることにより、図１３に示すように、モノラル音声信号を複数の周波数帯域に分割し、出力チャンネル毎に異なる周波数帯域の音声信号を削除することにより、各周波数帯域の信号成分を異なる出力チャンネルに振り分けるようになされたものがある（例えば、文献１参照）。
【特許文献１】特開平８−２０５２９５号公報（第３頁、第１図）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、一般的に、音声を発生する音源は当該音声の基音と高調波音とを発生しており、リスナは、日常生活においてこのような音声の基本波成分と高調波成分とを同じ方向から聴取することに慣れている。このためリスナは、ある音声の基本波成分と高調波成分とを同じ方向から聞き取った場合に、無意識のうちにその音声を自然な音声であると感じる。
【０００６】
しかし、上述した疑似ステレオ化装置では、予め定められた周波数帯域毎に音声信号を分割し、それぞれ異なる出力チャンネルに振り分けるため、ある音声の基本波成分と高調波成分とを異なる出力チャンネルに振り分けてしまう可能性がある。
【０００７】
このような場合、疑似ステレオ化装置は、ある音声の基本波成分と高調波成分とを異なる方向からリスナに聴取させることになるため、当該リスナに音声の左右への広がり感を与えることはできるものの、音像定位が不自然になってしまい、当該ユーザに違和感を感じさせてしまうという問題があった。
【０００８】
本発明は以上の点を考慮してなされたもので、格段に違和感の少ない疑似ステレオ音声をリスナに聴取させ得る疑似ステレオ化装置を提案しようとするものである。
【課題を解決するための手段】
【０００９】
かかる課題を解決するため本発明の疑似ステレオ化装置においては、モノラル音声を擬似的にステレオ化する疑似ステレオ化装置において、所定分析区間に区分けされたモノラル音声でなる入力信号を取得し、当該入力信号から抽出可能な周期波のうち、入力信号から周期波を差し引いた残差成分のエネルギーが最小となる基本周期波を選択し、入力信号から基本周期波成分及びその高調波成分を抽出し合成して音源信号を生成すると共に、入力信号から音源信号の成分を差し引いた残差信号を生成する音源分離手段と、音源信号に基づき一方のチャンネルに相当する第１出力信号を生成すると共に、残差信号に基づき他方のチャンネルに相当する第２出力信号を生成する出力信号生成手段とを設けるようにした。
【００１０】
これにより、入力音声信号を基に、周期波成分及びその高調波成分でなる音源信号と、その残差成分でなる残差信号とに分離することができ、当該音源信号と当該残差信号とを互いに異なる出力チャンネルに振り分けた出力音声信号を生成し、疑似ステレオ音声として出力することができる。
【００１１】
また本発明の疑似ステレオ化方法においては、モノラル音声を擬似的にステレオ化する疑似ステレオ化方法において、所定分析区間に区分けされたモノラル音声でなる入力信号を取得し、当該入力信号のから抽出可能な周期波のうち、入力信号から周期波を差し引いた残差成分のエネルギーが最小となる基本周期波を選択し、入力信号から基本周期波成分及びその高調波成分を抽出し合成して音源信号を生成すると共に、入力信号から音源信号の成分を差し引いた残差信号を生成する音源分離ステップと、音源信号に基づき一方のチャンネルに相当する第１出力信号を生成すると共に、残差信号に基づき他方のチャンネルに相当する第２出力信号を生成する出力信号生成ステップとを設けるようにした。
【００１２】
これにより、入力音声信号を基に、周期波成分及びその高調波成分でなる音源信号と、その残差成分でなる残差信号とに分離することができ、当該音源信号と当該残差信号とを互いに異なる出力チャンネルに振り分けた出力音声信号を生成し、疑似ステレオ音声として出力することができる。
【００１３】
また本発明の疑似ステレオ化プログラムにおいては、情報処理装置に対して、モノラル音声を擬似的にステレオ化する処理を実行させるための疑似ステレオ化プログラムにおいて、所定分析区間に区分けされたモノラル音声でなる入力信号を取得し、当該入力信号のから抽出可能な周期波のうち、入力信号から周期波を差し引いた残差成分のエネルギーが最小となる基本周期波を選択し、入力信号から基本周期波成分及びその高調波成分を抽出し合成して音源信号を生成すると共に、入力信号から音源信号の成分を差し引いた残差信号を生成する音源分離ステップと、音源信号に基づき一方のチャンネルに相当する第１出力信号を生成すると共に、残差信号に基づき他方のチャンネルに相当する第２出力信号を生成する出力信号生成ステップとを設けるようにした。
【００１４】
これにより、入力音声信号を基に、周期波成分及びその高調波成分でなる音源信号と、その残差成分でなる残差信号とに分離することができ、当該音源信号と当該残差信号とを互いに異なる出力チャンネルに振り分けた出力音声信号を生成し、疑似ステレオ音声として出力することができる。
【発明の効果】
【００１５】
本発明によれば、入力音声信号を基に、周期波成分及びその高調波成分でなる音源信号と、その残差成分でなる残差信号とに分離して、当該音源信号と当該残差信号とを互いに異なる出力チャンネルに振り分けた出力音声信号を生成して疑似ステレオ音声として出力することができ、かくして格段に違和感の少ない疑似ステレオ音声をリスナに聴取させ得る疑似ステレオ化装置を実現することができる。
【発明を実施するための最良の形態】
【００１６】
以下、図面について、本発明の一実施の形態を詳述する。
【００１７】
（１）第１の実施の形態
（１−１）疑似ステレオ化装置の構成
図１において、１は全体として本発明の第１の実施の形態による疑似ステレオ化装置の全体構成を示しており、外部から入力されるモノラル音声を擬似的にステレオ化し、この疑似ステレオ音声をヘッドホン６を介してリスナに聴取させるようになされている。
【００１８】
疑似ステレオ化装置１は、入力端子１１を介して外部から入力されたアナログのモノラル音声信号Ｓ０を、アナログ／ディジタル変換器１２によってディジタル化してディジタル入力信号Ｄ０に変換し、これを信号区分処理回路１３へ供給する。
【００１９】
信号区分処理回路１３は、ディジタル入力信号Ｄ０を所定時間Ｌ毎に区分し、これを１フレームの入力信号ｘ０（ｔ）（ただし０≦ｔ≦Ｌ）として音源分離部２へ供給する。
【００２０】
音源分離部２は、一般調和解析と呼ばれる手法を用いて入力信号ｘ０（ｔ）を音源信号と残差信号とに分離するようになされており、まず信号区分処理回路１３から供給された当該入力信号ｘ０（ｔ）を周波数スペクトル解析処理回路１４及び基本周期波抽出処理回路１５へ供給する。
【００２１】
周波数スペクトル解析処理回路１４は、詳しくは後述するが、任意の周波数ｆを様々に変化させながら、入力信号ｘ０（ｔ）のフーリエ係数Ｓ（ｆ）及びＣ（ｆ）を順次算出すると共に、当該フーリエ係数Ｓ（ｆ）及びＣ（ｆ）を用いて周波数ｆに基づいた周期波ｐ（ｔ，ｆ）を算出し、さらに入力信号ｘ０（ｔ）から当該周期波ｐ（ｔ，ｆ）を差し引いた残差ｅ（ｔ，ｆ）のエネルギーＥ（ｆ）を算出する。
【００２２】
さらに周波数スペクトル解析処理回路１４は、様々に変化させた周波数ｆのなかから、残差のエネルギーＥ（ｆ）が最も小さくなる周波数ｆ（以下、これを基本周波数ｆ１と呼ぶ）及び当該残差のエネルギーＥ（ｆ）が２番目乃至８番目に小さくなる周波数ｆ（以下、これらを副周波数ｆ２乃至ｆ８と呼ぶ）を選択して、当該基本周波数ｆ１及び当該副周波数ｆ２乃至ｆ８と、各周波数に応じたフーリエ係数Ｓ（ｆ２）乃至Ｓ（ｆ８）と、フーリエ係数Ｃ（ｆ２）乃至Ｃ（ｆ８）とを、基本周期波抽出処理回路１５及び高調波抽出処理回路１６へ供給する。
【００２３】
基本周期波抽出処理回路１５は、基本周波数ｆ１に基づく基本周期波ｐ（ｔ，ｆ１）を算出してその成分を波形合成処理回路１７へ供給すると共に、入力信号ｘ０（ｔ）から当該基本周期波ｐ（ｔ，ｆ１）の成分を差し引いた残差ｅ（ｔ，ｆ１）（以下、これを中間残差と呼ぶ）の成分を高調波抽出処理回路１６へ供給する。
【００２４】
高調波抽出処理回路１６は、副周波数ｆ２乃至ｆ８のうち、基本周波数ｆ１の高調波に相当する、すなわち基本周波数ｆ１のほぼ整数倍となる副周波数ｆｍ（２≦ｍ≦８、ｍは整数）を選択し、その周期波ｐ（ｔ，ｆｍ）の成分を全て高調波として波形合成処理回路１７へ供給すると共に、中間残差ｅ（ｔ，ｆ１）の成分から、当該高調波の全ての周期波ｐ（ｔ，ｆｍ）の成分を差し引いた残差成分を残差信号ＤＴとして出力処理部３のディジタル／アナログ変換器１８Ｒへ供給する。
【００２５】
波形合成処理回路１７は、基本周期波ｐ（ｔ，ｆ１）の成分とその高調波の全ての周期波ｐ（ｔ，ｆｍ）の成分とを合成して音源信号ＤＳを生成し、これを出力処理部３のディジタル／アナログ変換器１８Ｌへ供給する。
【００２６】
このように音源分離部２は、１フレーム分の入力信号ｘ０（ｔ）を基に音源信号ＤＳと残差信号ＤＴとに分離して、それぞれ出力処理部３へ供給するようになされている。
【００２７】
疑似ステレオ化装置１は、出力処理部３のディジタル／アナログ変換器１８Ｌ及び１８Ｒによって音源信号ＤＳ及び残差信号ＤＴをそれぞれアナログ信号に変換し、これを増幅器１９Ｌ及び１９Ｒによってそれぞれ増幅することにより第１出力信号としての出力信号Ｓ１Ｌ及び第２出力信号としての出力信号Ｓ１Ｒを生成して、出力端子２０Ｌ及び２０Ｒを介して当該出力信号Ｓ１Ｌ及びＳ１Ｒをそれぞれヘッドホン６の左右の音響ユニット６Ｌ及び６Ｒへ送出する。
【００２８】
かくして疑似ステレオ化装置１は、モノラル入力信号Ｓ０を基に、入力信号ｘ０（ｔ）を音源分離部２によって音源信号ＤＳと残差信号ＤＴとに分離し、当該音源信号ＤＳ及び残差信号ＤＴを基に生成した出力信号Ｓ１Ｌ及びＳ１Ｒの音声をリスナに聴取させるようになされている。
【００２９】
（１−２）疑似ステレオ化処理手順
ところで疑似ステレオ化装置１は、上述したように、一般調和解析による音源分離処理を行うことにより、モノラルの音声を疑似ステレオ化した疑似ステレオ音声を生成するようになされており、このときの疑似ステレオ化処理手順について、図２のフローチャートを用いて説明する。
【００３０】
疑似ステレオ化装置１は、外部から入力端子１１を介してアナログのモノラル入力信号Ｓ０が入力されると、ルーチンＲＴ１の開始ステップから入ってステップＳＰ１へ移る。ステップＳＰ１において疑似ステレオ化装置１は、アナログ／ディジタル変換器１２によってアナログのモノラル入力信号Ｓ０をディジタル化し、さらに信号区分処理回路１３によって所定時間（０≦ｔ≦Ｌ）でなる１フレーム分に区切った入力信号ｘ０（ｔ）を音源分離部２へ供給し、次のステップＳＰ２へ移る。
【００３１】
ステップＳＰ２において疑似ステレオ化装置１は、図３に示す音源分離サブルーチンＳＲＴ１へ移り、開始ステップから入ってステップＳＰ１１へ移る。ステップＳＰ１１において疑似ステレオ化装置１の音源分離部２は、周波数スペクトル解析処理回路１４によって、フーリエ係数を算出する際に用いる周波数ｆを２０［Ｈｚ］に初期化して次のステップＳＰ１２へ移る。ちなみに周波数スペクトル解析処理回路１４は、周波数ｆを２０［Ｈｚ］から２０［ｋＨｚ］までの範囲内で１０［Ｈｚ］ずつ変化させるようになされている。
【００３２】
ステップＳＰ１２において音源分離部２は、周波数スペクトル解析処理回路１４により、入力信号ｘ０（ｔ）及び周波数ｆに基づいて次式
【００３３】
【数１】
【００３４】
【数２】
【００３５】
に従ってフーリエ係数Ｓ（ｆ）及びＣ（ｆ）を算出し、次のステップＳＰ１３へ移る。ここで、周期Ｔは周波数ｆの逆数であり、ｎはｎＴ≦Ｌを満たす整数である。
【００３６】
ステップＳＰ１３において音源分離部２は、周波数スペクトル解析処理回路１４により、フーリエ係数Ｓ（ｆ）及びＣ（ｆ）を用いて次式
【００３７】
【数３】
【００３８】
に従って周期波ｐ（ｔ，ｆ）を算出し、続いて次式
【００３９】
【数４】
【００４０】
に従って入力信号ｘ０（ｔ）からこの周期波ｐ（ｔ，ｆ）の成分を差し引いた残差ｅ（ｔ，ｆ）を算出し、さらに次式
【００４１】
【数５】
【００４２】
に従い残差エネルギーＥ（ｆ）を算出して、次のステップＳＰ１４へ移る。
【００４３】
ステップＳＰ１４において音源分離部２は、周波数スペクトル解析処理回路１４により２０［Ｈｚ］から２０［ｋＨｚ］までの全ての周波数ｆについて残差エネルギーＥ（ｆ）を算出したか否かを判定する。ここで否定結果が得られると、このことは他の周波数ｆについてまだ残差エネルギーＥ（ｆ）を算出する必要があることを表しており、このとき音源分離部２は、次のステップＳＰ１５へ移る。
【００４４】
ステップＳＰ１５において音源分離部２は、周波数スペクトル解析処理回路１４により周波数ｆを１０［Ｈｚ］増加させてから、ステップＳＰ１２に戻って再度ステップＳＰ１３−ＳＰ１４の処理を繰り返す。
【００４５】
これに対してステップＳＰ１４において肯定結果が得られると、このことは２０［Ｈｚ］から２０［ｋＨｚ］までの範囲内の全ての周波数ｆについて残差エネルギーＥ（ｆ）を算出し終えたことを表しており、このとき音源分離部２は次のステップＳＰ１６へ移る。
【００４６】
ステップＳＰ１６において音源分離部２は、周波数スペクトル解析処理回路１４により、各周波数ｆについて算出した残差エネルギーＥ（ｆ）のなかから、当該残差エネルギーＥ（ｆ）を最も小さくするときの周波数ｆを基本周波数ｆ１として選択し、さらにこのときのフーリエ係数Ｓ（ｆ１）及びＣ（ｆ１）を算出した後、次のステップＳＰ１７へ移る。
【００４７】
ここで基本周波数ｆ１は、残差エネルギーＥ（ｆ）を最も小さくする周波数ｆであるため、同時に周期波ｐ（ｔ、ｆ）のエネルギーを最も大きくすることになる。
【００４８】
ステップＳＰ１７において音源分離部２は、周波数スペクトル解析処理回路１４により、残差エネルギーＥ（ｆ）が２番目乃至８番目に小さくなる周波数ｆを副周波数ｆ２乃至ｆ８として選択し、さらにそれぞれのフーリエ係数Ｓ（ｆ２）乃至Ｓ（ｆ８）及びＣ（ｆ２）乃至Ｃ（ｆ８）を算出して、基本周波数ｆ１と、副周波数ｆ２乃至ｆ８と、フーリエ係数Ｓ（ｆ１）乃至Ｓ（ｆ８）と、フーリエ係数Ｃ（ｆ１）乃至Ｃ（ｆ８）とを基本周期波抽出処理回路１５及び高調波抽出処理回路１６へ供給した後、次のステップＳＰ１８へ移る。
【００４９】
ステップＳＰ１８において音源分離部２は、基本周期波抽出処理回路１５によって、上述した（３）式に基本周波数ｆ１、フーリエ係数Ｓ（ｆ１）及びＣ（ｆ１）を適用することにより、基本周波数ｆ１に基づく基本周期波ｐ（ｔ，ｆ１）の成分を算出し、これを波形合成処理回路１７へ供給する。
【００５０】
さらに音源分離部２は、基本周期波抽出処理回路１５によって、入力信号ｘ０（ｔ）から基本周期波ｐ（ｔ，ｆ１）の成分を差し引くことにより中間残差ｅ（ｔ，ｆ１）の成分を算出し、これを高調波抽出処理回路１６へ供給して、次のステップＳＰ１９へ移る。
【００５１】
ステップＳＰ１９において音源分離部２は、高調波抽出処理回路１６によって、副周波数ｆ２乃至ｆ８のうち、基本周波数ｆ１のほぼ整数倍となる副周波数ｆｍを全て選択し、その周期波ｐ（ｔ，ｆｍ）の成分を全て高調波として波形合成処理回路１７へ供給して、次のステップＳＰ２０へ移る。
【００５２】
ステップＳＰ２０において音源分離部２は、高調波抽出処理回路１６によって、中間残差ｅ（ｔ，ｆ１）の成分から高調波の全ての周期波ｐ（ｔ，ｆｍ）の成分を差し引くことにより残差信号ＤＴを生成し、これを出力処理部３のディジタル／アナログ処理回路１８Ｒへ供給して、次のステップＳＰ２１へ移る。
【００５３】
ステップＳＰ２１において音源分離部２は、波形合成処理回路１７によって、基本周期波ｐ（ｔ，ｆ１）の成分と高調波の全ての周期波ｐ（ｔ，ｆｍ）の成分とを合成して音源信号ＤＳを生成し、これを出力処理部３のディジタル／アナログ処理回路１８Ｌへ供給した後、次のステップＳＰ２２へ移ってこのサブルーチンＳＲＴ１を終了し、元のルーチンＲＴ１のステップＳＰ３へ移る。
【００５４】
このように疑似ステレオ化装置１は、音源分離部２によって一般調和解析を用いた音源分離処理を行うことにより、モノラルの入力信号ｘ０（ｔ）を基に、残差エネルギーＥ（ｆ）を最も小さくして周期波ｐ（ｔ，ｆ）のエネルギーを最も大きくする基本周波数ｆ１を選択し、当該基本周波数ｆ１及びその高調波の周期波成分によって音源信号ＤＳを生成すると共に、その残差成分でなる残差信号ＤＴを生成するようになされている。
【００５５】
例えば疑似ステレオ化装置１は、オーケストラの演奏を収録したモノラルの音声信号のうちチェロの音声成分の信号強度が最も強い場合に、このチェロの音声成分を高調波と共に抽出して音源信号ＤＳとすることにより、他の楽器の音声成分でなる残差信号ＤＴと分離することができる。
【００５６】
ステップＳＰ３において疑似ステレオ化装置１は、出力処理部３によって音源信号ＤＳ及び残差信号ＤＴをそれぞれアナログ化して増幅し、これらを出力信号Ｓ１Ｌ及びＳ１Ｒとして出力端子２０Ｌ及び２０Ｒからそれぞれ出力して、次のステップＳＰ１３に移ってこのルーチンＲＴ１を終了する。
【００５７】
ここで出力信号Ｓ１Ｌ及びＳ１Ｒは、それぞれ互いに無相関な音源信号ＤＳ及び残差信号ＤＴを基に生成されるため、当該出力信号Ｓ１Ｌ及びＳ１Ｒは、ある音源の音声とその残差の音声とを異なる出力チャンネルに振り分けた疑似ステレオ音声となっている。
【００５８】
そして疑似ステレオ化装置１は、出力信号Ｓ１Ｌ及びＳ１Ｒをヘッドホン６の音響ユニット６Ｌ及び６Ｒへ出力することにより、当該出力信号Ｓ１Ｌ及びＳ１Ｒの音声を疑似ステレオ音声としてリスナに聴取させることができる。
【００５９】
例えば疑似ステレオ化装置１は、上述したチェロの音声を左チャンネルから、他の楽器の音声を右チャンネルから、それぞれリスナに聴取させることができる。
【００６０】
（１−３）動作及び効果
以上の構成において、疑似ステレオ化装置１は、アナログのモノラル入力信号Ｓ０をディジタル化して所定時間でなる１フレームに区分した入力信号ｘ０（ｔ）を音源分離部２へ供給すると、当該音源分離部２により一般調和解析を用いて、入力信号ｘ０（ｔ）から周期波ｐ（ｔ，ｆ）を差し引いた残差ｅ（ｔ，ｆ）の残差エネルギーＥ（ｆ）が最も小さくなるものから８種類の周波数ｆを基本周波数ｆ１及び副周波数ｆ２乃至ｆ８として選択してから、入力信号ｘ０（ｔ）から基本周波数ｆ１に基づく基本周期波ｐ（ｔ，ｆ１）の成分と、基本周波数ｆ１のほぼ整数倍となる副周波数ｆ２乃至ｆ８に基づく高調波の周期波ｐ（ｔ，ｆｍ）の成分とを抽出し、当該基本周期波ｐ（ｔ，ｆ１）の成分と高調波の周期波ｐ（ｔ，ｆｍ）の成分とを合成して音源信号ＤＳを生成すると共に、入力信号ｘ０（ｔ）から音源信号ＤＳの成分を除いた残差信号ＤＴを生成した後、出力処理部３によって、当該音源信号ＤＳ及び当該残差信号ＤＴをそれぞれアナログ化して増幅した出力信号Ｓ１Ｌ及びＳ１Ｒの音声を、ヘッドホン６を介してリスナに聴取させる。
【００６１】
従って疑似ステレオ化装置１は、音源分離部２において一般調和解析による音源分離処理を行うことにより、入力信号ｘ０（ｔ）を音源信号ＤＳと残差信号ＤＴとに分離することができ、さらに出力処理部３によって当該音源信号ＤＳと残差信号ＤＴとをそれぞれアナログ化して左右のチャンネルに振り分けてリスナに聴取させることにより、疑似ステレオ化された音声としてリスナに聴取させることができる。
【００６２】
このとき疑似ステレオ化装置１は、例えばオーケストラの演奏を収録した音声信号のうち、チェロの音声成分の信号強度が最も強い場合に、このチェロの音声成分を高調波と共に抽出して音源信号ＤＳとし、他の楽器の音声でなる残差信号ＤＴと分離することができるので、チェロの音声成分と他の楽器による音声成分とをそれぞれヘッドホン６の左右の音響ユニット６Ｌ及び６Ｒに振り分けて出力することができ、ユーザに明確な音像定位を与えることができる。
【００６３】
以上の構成によれば、疑似ステレオ化装置１は、音源分離部２によって、一般調和解析を用いて入力信号ｘ０（ｔ）を基に基本周波数ｆ１を選択し、当該基本周波数ｆ１に基づく基本周期波ｐ（ｔ，ｆ１）と当該基本周波数ｆ１の高調波の周期波ｐ（ｔ，ｆｍ）とを合成して音源信号ＤＳを生成すると共に、入力信号ｘ０（ｔ）から音源信号ＤＳの成分を除いた残差信号ＤＴを生成した後、出力処理部３によって、当該音源信号ＤＳ及び当該残差信号ＤＴをそれぞれアナログ化して増幅した出力信号Ｓ１Ｌ及びＳ１Ｒを、ヘッドホン６を介してリスナに聴取させることにより、入力信号ｘ０（ｔ）を音源信号ＤＳと残差信号ＤＴとに分離して、それぞれを異なる出力チャンネルに振り分けた音像定位の明確な疑似ステレオ音声をリスナに聴取させることができ、かくして格段に違和感の少ない疑似ステレオ音声をリスナに聴取させ得る疑似ステレオ化装置を実現することができる。
【００６４】
（２）第２の実施の形態
（２−１）疑似ステレオ化装置の構成
図１との対応部分に同一符号を付した図４において、３０は第２の実施の形態における疑似ステレオ化装置を示しており、音源分離部２（図１）と同様の構成でなる音源分離部２Ａ及び２Ｂを有し、また出力処理部３（図１）に代えて出力処理部３２を有している以外は、第１の実施の形態と同様の構成を有している。
【００６５】
疑似ステレオ化装置３０は、疑似ステレオ化装置１と同様に、アナログ／ディジタル変換器１２によってアナログのモノラル入力信号Ｓ０をディジタル化してディジタル入力信号Ｄ０を生成し、これを信号区分処理回路１３によって１フレーム毎に区分した入力信号ｘ０（ｔ）を音源分離部２Ａへ供給する。
【００６６】
音源分離部２Ａは、信号区分処理回路１３から取得した１フレームの入力信号ｘ０（ｔ）に対して、音源分離部２と同様の処理を施すことにより第１音源信号ＤＳ１と第１残差信号ＤＴ１とに分離し、それぞれ出力処理部３２及び音源分離部２Ｂへ供給する。
【００６７】
音源分離部２Ｂは、第１残差信号ＤＴ１に対して音源分離部２と同様の処理を行うことにより、第２音源信号ＤＳ２と第２残差信号ＤＴ２とに分離して、共に出力処理部３２へ供給する。
【００６８】
出力処理部３２は、加算器３５Ｌによって第１音源信号ＤＳ１と第２残差信号ＤＴ２とを加算してディジタル出力信号Ｄ２Ｌを生成し、また加算器３５Ｒによって第２音源信号ＤＳ２と第２残差信号ＤＴ２とを加算してディジタル出力信号Ｄ２Ｒを生成する。
【００６９】
そして出力処理部３２は、ディジタル出力信号Ｄ２Ｌ及びディジタル出力信号Ｄ２Ｒを、ディジタル／アナログ処理回路１８Ｌ及び１８Ｒによりそれぞれアナログ信号に変換し、これを増幅器１９Ｌ及び１９Ｒによって増幅することにより第１出力信号としての出力信号Ｓ２Ｌ及び第２出力信号としての出力信号Ｓ２Ｒを生成して、出力端子２０Ｌ及び２０Ｒを介して当該出力信号Ｓ２Ｌ及びＳ２Ｒをそれぞれヘッドホン６の左右の音響ユニット６Ｌ及び６Ｒへ送出する。
【００７０】
このように疑似ステレオ化装置３０は、モノラル入力信号Ｓ０を基に、入力信号ｘ０（ｔ）を音源分離部２Ａ及び２Ｂによって第１音源信号ＤＳ１、第２音源信号ＤＳ２、及び第２残差信号ＤＴ２に分離し、当該第１音源信号ＤＳ１及び当該第２音源信号ＤＳ２にそれぞれ当該第２残差信号ＤＴ２を加算した出力信号Ｓ２Ｌ及びＳ２Ｒの音声をリスナに聴取させるようになされている。
【００７１】
（２−２）疑似ステレオ化処理手順
そして疑似ステレオ化装置３０は、上述した第１の実施の形態における疑似ステレオ化装置１とは異なる手順によって、モノラルの音声信号を疑似ステレオ化した疑似ステレオ音声を出力するようになされており、このときの疑似ステレオ化処理手順について、図５のフローチャートを用いて説明する。
【００７２】
疑似ステレオ化装置３０は、外部から入力端子１１を介してアナログのモノラル入力信号Ｓ０が入力されると、ルーチンＲＴ２の開始ステップから入ってステップＳＰ３１へ移る。ステップＳＰ３１において疑似ステレオ化装置３０は、ステップＳＰ１１（図３）と同様に、モノラル入力信号Ｓ０をディジタル化して１フレーム毎に区分した入力信号ｘ０（ｔ）を信号区分処理回路１３から音源分離部２Ａへ供給した後、ステップＳＰ３２へ移る。
【００７３】
ステップＳＰ３２において疑似ステレオ化装置３０は、音源分離部２Ａによって音源分離サブルーチンＳＲＴ１（図３）の一連の処理を行うことにより、入力信号ｘ０（ｔ）を基に一般調和解析を用いて第１音源信号ＤＳ１と第１残差信号ＤＴ１とに分離した後、再びルーチンＲＴ２に戻り、次のステップＳＰ３３へ移る。
【００７４】
ステップＳＰ３３において疑似ステレオ化装置３０は、音源分離部２Ａによって生成した第１残差信号ＤＴ１を音源分離部２Ｂに入力して、次のステップＳＰ３４へ移る。
【００７５】
ステップＳＰ３４において疑似ステレオ化装置３０は、音源分離部２Ｂによって音源分離サブルーチンＳＲＴ１（図３）の一連の処理を行い、入力信号ｘ０（ｔ）の代わりに第１残差信号ＤＴ１を基に一般調和解析を用いて第２音源信号ＤＳ２と第２残差信号ＤＴ２とに分離した後、再びルーチンＲＴ２に戻り、次のステップＳＰ３５へ移る。
【００７６】
ステップＳＰ３５において疑似ステレオ化装置３０は、出力処理部３２の加算器３５Ａ及び３５Ｂによって、第１音源信号ＤＳ１及び第２音源信号ＤＳ２にそれぞれ第２残差信号ＤＴ２を加算することにより、それぞれディジタル出力信号Ｄ２Ｌ及びディジタル出力信号Ｄ２Ｒを生成して、次のステップＳＰ３６へ移る。
【００７７】
ステップＳＰ３６において疑似ステレオ化装置３０は、出力処理部３２のディジタル／アナログ処理回路１８Ｌ及び１８Ｒ、並びに増幅器１９Ｌ及び１９Ｒによって、ディジタル出力信号Ｄ２Ｌ及びディジタル出力信号Ｄ２Ｒをそれぞれアナログ化して増幅することにより出力信号Ｓ２Ｌ及び出力信号Ｓ２Ｒを生成し、これらを出力端子２０Ｌ及び２０Ｒからそれぞれ出力した後、次のステップＳＰ３７へ移ってこのルーチンＲＴ２を終了する。
【００７８】
この結果、疑似ステレオ化装置３０は、一般調和解析を用いて入力信号ｘ０（ｔ）を第１音源信号ＤＳ１と第１残差信号ＤＴ１とに分離し、再度一般調和解析を用いて当該第１残差信号ＤＴ１を第２音源信号ＤＳ２と第２残差信号ＤＴ２とに分離することができる。
【００７９】
これにより疑似ステレオ化装置３０は、例えばオーケストラの演奏を収録した音声信号のうち、チェロの音声成分のエネルギーが最も強くバイオリンの音声成分のエネルギーが２番目に強い場合に、このチェロの音声成分を第１音源信号ＤＳ１とし、またバイオリンの音声成分を第２音源信号ＤＳ２として、その他の楽器の音声でなる第２残差信号ＤＴ２からそれぞれ分離することができる。
【００８０】
さらに疑似ステレオ化装置３０は、出力処理部３２において、第１音源信号ＤＳ１に第２残差信号ＤＴ２を加算することにより、例えばチェロと、バイオリンを除いた他の楽器の音声とが含まれる出力信号Ｓ２Ｌを生成することができ、また第２音源信号ＤＳ２に第２残差信号ＤＴ２を加算することにより、例えばバイオリンと、チェロを除いた他の楽器の音声とが含まれる出力信号Ｓ２Ｒを生成することができる。
【００８１】
そして疑似ステレオ化装置３０は、出力信号Ｓ２Ｌ及びＳ２Ｒをそれぞれヘッドホン６の音響ユニット６Ｌ及び６Ｒへ送出することにより、例えばチェロの音声を左チャンネルのみから、バイオリンの音声を右チャンネルのみから、他の楽器を左右両方のチャンネルからそれぞれ聴取させるといった具合に、第１の実施の形態とは異なる疑似ステレオ音声をリスナに聴取させることができる。
【００８２】
（２−３）動作及び効果
以上の構成において、疑似ステレオ化装置３０は、アナログのモノラル入力信号Ｓ０をディジタル化して所定時間でなる１フレームに区分した入力信号ｘ０（ｔ）を音源分離部２Ａへ供給すると、第１の実施の形態における音源分離部２と同様に当該音源分離部２Ａによって一般調和解析を用いて第１音源信号ＤＳ１と第１残差信号ＤＴ１とに分離し、さらに当該第１残差信号ＤＴ１を音源分離部２Ｂへ供給して、当該音源分離部２Ｂによって一般調和解析を用いて第２音源信号ＤＳ２と第２残差信号ＤＴ２とに分離した後、出力処理部３２によって、第１音源信号ＤＳ１に第２残差信号ＤＴ２を加算して出力信号Ｓ２Ｌを生成すると共に第２音源信号ＤＳ２に第２残差信号ＤＴ２を加算して出力信号Ｓ２Ｒを生成して、当該出力信号Ｓ２Ｌ及びＳ２Ｒをヘッドホン６の音響ユニット６Ｌ及び６Ｒへ送出する。
【００８３】
従って疑似ステレオ化装置３０は、音源分離部２Ａ及び２Ｂにおいて、第１の実施の形態と同様の一般調和解析による音源分離処理を２段階で行うことにより、入力信号ｘ０（ｔ）を第１音源信号ＤＳ１、第２音源信号ＤＳ２、及び第２残差信号ＤＴ２に分離することができる。
【００８４】
このとき疑似ステレオ化装置３０は、入力信号ｘ０（ｔ）に含まれる音声成分のうち、最もエネルギーの大きい周期波及び２番目にエネルギーの大きい周期波に基づいて第１音源信号ＤＳ１及び第２音源信号ＤＳ２をそれぞれ生成することができると共に、その残差に相当する第２残差信号ＤＴ２も生成することができる。
【００８５】
そして疑似ステレオ化装置３０は、出力処理部３２によって、第１音源信号ＤＳ１に第２残差信号ＤＴ２を加算し、また第２音源信号ＤＳ２に第２残差信号ＤＴ２を加算することにより、互いに無相関な出力信号Ｓ２Ｌ及びＳ２Ｒを生成することができ、当該第１出力信号Ｓ２Ｌ及び第２出力信号Ｓ２Ｒをヘッドホン６の左右の音響ユニット６Ｌ及び６Ｒにそれぞれ送出することにより、リスナに疑似ステレオ音声を聴取させることができる。
【００８６】
このとき疑似ステレオ化装置３０は、例えばモノラルのオーケストラの演奏を収録した音声を基に、第１音源信号ＤＳ１のチェロの音声を左チャンネルのみから、第２音源信号ＤＳ２のバイオリンの音声を右チャンネルのみから、さらに第２残差信号ＤＴ２の他の楽器を左右両方のチャンネルから、それぞれリスナに聴取させることができるので、チェロとバイオリンの音像をそれぞれ左右に定位させ、さらに他の楽器の音像を中央に定位させることができ、音像の偏りが無く、音源が良く分離した疑似ステレオ音声を当該リスナに聴取させることができる。
【００８７】
以上の構成によれば、疑似ステレオ化装置３０は、音源分離部２Ａによって入力信号ｘ０（ｔ）を基に一般調和解析を用いて第１音源信号ＤＳ１と第１残差信号ＤＴ１とに分離し、さらに音源分離部２Ｂによって当該第１残差信号ＤＴ１を基に一般調和解析を用いて第２音源信号ＤＳ２と第２残差信号ＤＴ２とに分離してから、出力処理部３２によって第１音源信号ＤＳ１に第２残差信号ＤＴ２を加算して出力信号Ｓ２Ｌを生成すると共に第２音源信号ＤＳ２に第２残差信号ＤＴ２を加算して出力信号Ｓ２Ｒを生成して、ヘッドホン６を介して当該出力信号Ｓ２Ｌ及び出力信号Ｓ２Ｒの音声をリスナに聴取させることにより、モノラル入力信号Ｓ０を基にした、第１音源信号ＤＳ１及び第２音源信号ＤＳ２の音声をそれぞれ左右に振り分けると共に第２残差信号ＤＴ２の音声を左右の中央に定位させた疑似ステレオ音声をリスナに聴取させることができ、かくして格段に違和感の少ない疑似ステレオ音声をリスナに聴取させ得る疑似ステレオ化装置を実現することができる。
【００８８】
（３）第３の実施の形態
（３−１）疑似ステレオ化装置の構成
図１との対応部分に同一符号を付した図６において、５０は第３の実施の形態における疑似ステレオ化装置を示しており、疑似ステレオ化装置１（図１）の音源分離部２と同様の構成でなる音源分離部２を有し、出力処理部３に代えて出力処理部５２を有している以外は、第１の実施の形態と同様の構成を有している。
【００８９】
音源分離部２は、第１の実施の形態と同様に、信号区分処理回路１３から取得した１フレームの入力信号ｘ０（ｔ）を基に、音源信号ＤＳと残差信号ＤＴとを分離して出力処理部５２へ供給する。
【００９０】
出力処理部５２は、音源分離部２から供給された音源信号ＤＳと残差信号ＤＴとを、それぞれ音像定位処理回路５３Ｌ及び５３Ｒと、音像定位処理回路５４Ｌ及び５４Ｒとへ供給する。
【００９１】
ここで、音像定位処理回路５３Ｌ、５３Ｒ、５４Ｌ及び５４Ｒについて説明する。例えば図７に示すように、リスナの前方の位置Ｐに音源Ｇがあると仮定すると、当該音源Ｇからリスナの左右の耳までの距離や角度が互いに異なるため、当該リスナは、左右の耳によって互いに微妙に異なる音声を聴取することにより、この左右の耳で聴取した音声の違いを基に、音源Ｇが位置Ｐにあることを認識することができる。このとき、当該音源Ｇから出力された音声は、伝達関数ＨＬ及びＨＲを有する経路を介してリスナの右耳及び左耳に到達すると見なすことができ、このような伝達関数ＨＬ及びＨＲを時間軸に変換した左チャンネル及び右チャンネルのインパルス応答を予め測定あるいは計算しておく。
【００９２】
次に、リスナがヘッドホンを介して音声を聴取する場合を仮定する。リスナは、ヘッドホンを介して左右の耳から全く同じ音声（すなわちモノラル音声）を聴取した場合、その音像がリスナの左右方向における中央に定位しているように感じる。ここで、信号処理装置１００によって、モノラル音声信号Ｓｍｏｎｏを左右の音声信号に分配し、上述した左チャンネル及び右チャンネルのインパルス応答を左右の音声信号に対してそれぞれ畳み込んだ場合（以下、このような処理を音像定位処理と呼ぶ）、リスナは、ヘッドホンを介してこの左右の音声信号に基づく音声を聴取した際に、その音像が位置Ｐに定位しているように認識することができる。
【００９３】
そこで疑似ステレオ化装置５０（図６）の出力処理部５２は、音像定位処理回路５３Ｌ、５３Ｒ、５４Ｌ及び５４Ｒによって音像定位処理を行うことにより、音源信号ＤＳ及び残差信号ＤＴの音像をそれぞれ異なる位置に定位させるようになされている。
【００９４】
すなわち出力処理部５２の音像定位処理回路５３Ｌ及び５３Ｒは、図８に示すような、リスナの前方左側の位置ＰＬに音像が定位するような伝達関数ＨＳＬ及びＨＳＲに基づき、音像定位処理として、音源信号ＤＳに対して当該伝達関数ＨＳＬ及びＨＳＲを時間軸に変換した右チャンネル及び左チャンネルのインパルス応答をそれぞれ畳み込むことにより定位音源信号ＤＳＬ及びＤＳＲを生成し、それぞれ加算器５５Ｌ及び５５Ｒへ供給する。
【００９５】
また出力処理部５２の音像定位処理回路５４Ｌ及び５４Ｒは、図８におけるリスナの前方中央よりやや右寄りの位置ＰＲに音像が定位するような伝達関数ＨＴＬ及びＨＴＲに基づき、音像定位処理として、残差信号ＤＴに対して当該伝達関数ＨＴＬ及びＨＴＲを時間軸に変換した右チャンネル及び左チャンネルのインパルス応答をそれぞれ畳み込むことにより定位残差信号ＤＴＬ及びＤＴＲを生成し、それぞれ加算器５５Ｌ及び５５Ｒへ供給する。
【００９６】
そして出力処理部５２（図６）は、加算器５５Ｌによって定位音源信号ＤＳＬと定位残差信号ＤＴＬとを加算してディジタル出力信号Ｄ３Ｌを生成し、また加算器５５Ｒによって定位音源信号ＤＳＲと定位残差信号ＤＴＲとを加算してディジタル出力信号Ｄ３Ｒを生成する。
【００９７】
さらに出力処理部５２は、ディジタル出力信号Ｄ３Ｌ及びディジタル出力信号Ｄ３Ｒをディジタル／アナログ処理回路１８Ｌ及び１８Ｒによりそれぞれアナログ信号に変換し、これを増幅器１９Ｌ及び１９Ｒによって増幅することにより第１出力信号としての出力信号Ｓ３Ｌ及び第２出力信号としての出力信号Ｓ３Ｒを生成して、出力端子２０Ｌ及び２０Ｒを介してそれぞれヘッドホン６の左右の音響ユニット６Ｌ及び６Ｒへ送出する。
【００９８】
このように疑似ステレオ化装置５０は、モノラル入力信号Ｓ０をディジタル化した入力信号ｘ０（ｔ）を、音源分離部２によって音源信号ＤＳ及び残差信号ＤＴに分離し、さらに出力処理部５２によって、当該音源信号ＤＳを前方左側の位置に定位させると共に当該残差信号ＤＴを前方中央よりやや右寄りの位置に定位させるような出力信号Ｓ３Ｌ及びＳ３Ｒを生成して、当該出力信号Ｓ３Ｌ及びＳ３Ｒの音声をリスナに聴取させるようになされている。
【００９９】
（３−２）疑似ステレオ化処理手順
次に、疑似ステレオ化装置５０がモノラルの音声信号を疑似ステレオ化した疑似ステレオ音声を出力する際の疑似ステレオ化処理手順について、図９のフローチャートを用いて説明する。
【０１００】
疑似ステレオ化装置５０は、外部から入力端子１１を介してアナログのモノラル入力信号Ｓ０が入力されると、ルーチンＲＴ３の開始ステップから入ってステップＳＰ４１へ移る。ステップＳＰ４１において疑似ステレオ化装置５０は、ステップＳＰ１（図２）と同様に、モノラル入力信号Ｓ０をディジタル化して１フレーム分（０≦ｔ≦Ｌ）に区切った入力信号ｘ０（ｔ）を信号区分処理回路１３から音源分離部２へ供給した後、ステップＳＰ４２へ移る。
【０１０１】
ステップＳＰ４２において疑似ステレオ化装置５０は、音源分離部２によって音源分離サブルーチンＳＲＴ１（図３）の一連の処理を行い、入力信号ｘ０（ｔ）を基に音源信号ＤＳと残差信号ＤＴとに分離した後、音源信号ＤＳを出力処理部５２の音像定位処理５３Ｌ及び５３Ｒへ供給すると共に音源信号ＤＴを出力処理部５２の音像定位処理５４Ｌ及び５４Ｒへ供給して、再びルーチンＲＴ３に戻り、次のステップＳＰ４３へ移る。
【０１０２】
ステップＳＰ４３において疑似ステレオ化装置５０は、音像定位処理回路５３Ｌ及び５３Ｒにより音源信号ＤＳに音像定位処理を施して定位音源信号ＤＳＬ及びＤＳＲを生成し、それぞれ加算器５５Ｌ及び５５Ｒへ供給すると共に、音像定位処理回路５４Ｌ及び５４Ｒにより音源信号ＤＴに音像定位処理を施して定位残差信号ＤＴＬ及びＤＴＲを生成し、それぞれ加算器５５Ｌ及び５５Ｒへ供給して、次のステップＳＰ４４へ移る。
【０１０３】
ステップＳＰ４４において疑似ステレオ化装置５０は、加算器５５Ｌにより定位音源信号ＤＳＬと定位残差信号ＤＴＬとを加算してディジタル出力信号Ｄ３Ｌを生成すると共に、加算器５５Ｒにより定位音源信号ＤＳＲと定位残差信号ＤＴＲとを加算してディジタル出力信号Ｄ３Ｒを生成し、次のステップＳＰ４５へ移る。
【０１０４】
ステップＳＰ４５において疑似ステレオ化装置５０は、出力処理部５２のディジタル／アナログ処理回路１８Ｌ及び１８Ｒ、並びに増幅器１９Ｌ及び１９Ｒによって、ディジタル出力信号Ｄ３Ｌ及びディジタル出力信号Ｄ３Ｒをアナログ化して増幅することにより出力信号Ｓ３Ｌ及び出力信号Ｓ３Ｒを生成し、これらをそれぞれ出力端子２０Ｌ及び２０Ｒから出力した後、次のステップＳＰ４６へ移ってこのルーチンＲＴ３を終了する。
【０１０５】
この結果、疑似ステレオ化装置５０は、第１の実施の形態と同様に、音源分離部２により一般調和解析を用いて入力信号ｘ０（ｔ）を音源信号ＤＳと残差信号ＤＴとに分離することができ、例えばオーケストラの演奏を収録した音声信号のうちチェロの音声成分の信号強度が最も強い場合に、このチェロの音声成分を音源信号ＤＳとし、他の楽器の音声成分でなる残差信号ＤＴから分離することができる。
【０１０６】
さらに疑似ステレオ化装置５０は、出力処理部５２の音像定位処理回路５３Ｌ、５３Ｒ、５４Ｌ、及び５４Ｒにより音像定位処理を施して加算した出力信号Ｓ３Ｌ及びＳ３Ｒをそれぞれヘッドホン６の音響ユニット６Ｌ及び６Ｒへ出力することにより、例えばチェロの音声成分でなる音源信号ＤＳの音像を前方左側に定位させ、他の楽器の音声成分でなる残差信号ＤＴを前方中央よりやや右寄りに定位させた疑似ステレオ音声をリスナに聴取させることができる（図８）。
【０１０７】
（３−３）動作及び効果
以上の構成において、疑似ステレオ化装置５０は、アナログのモノラル入力信号Ｓ０をディジタル化して所定時間でなる１フレームに区分した入力信号ｘ０（ｔ）を音源分離部２へ供給すると、第１の実施の形態と同様に当該音源分離部２によって音源信号ＤＳと残差信号ＤＴとに分離した後、出力処理部５２の音像定位処理回路５３Ｌ、５３Ｒ、５４Ｌ、及び５４Ｒにより当該音源信号ＤＳ及び当該残差信号ＤＴにそれぞれ音像定位処理を施して定位音源信号ＤＳＬ及びＤＳＲと定位残差信号ＤＴＬ及びＤＴＲとを生成し、定位音源信号ＤＳＬと定位残差信号ＤＴＬとを加算して出力信号Ｓ３Ｌを生成すると共に、定位音源信号ＤＳＲと定位残差信号ＤＴＲとを加算して出力信号Ｓ３Ｒを生成して、ヘッドホン６を介して当該出力信号Ｓ３Ｌ及びＳ３Ｒをリスナに聴取させる。
【０１０８】
従って疑似ステレオ化装置５０は、音源分離部２において、第１の実施の形態と同様に一般調和解析を用いた音源分離処理を行うことにより、入力信号ｘ０（ｔ）を基に音源信号ＤＳと残差信号ＤＴとを分離することができ、例えばオーケストラの演奏を収録した音声信号からチェロの音声成分と他の楽器の音声成分とを分離することができる。
【０１０９】
そして疑似ステレオ化装置５０は、出力処理部５２の音像定位処理回路５３Ｌ、５３Ｒ、５４Ｌ、及び５４Ｒにより音源信号ＤＳ及び残差信号ＤＴに音像定位処理を施し、それぞれ加算した出力信号Ｄ３Ｌ及びＤ３Ｒをヘッドホン６の音響ユニット６Ｌ及び６Ｒへ出力することにより、リスナに疑似ステレオ音声を聴取させることができる。
【０１１０】
このとき疑似ステレオ化装置５０は、出力処理部５２の音像定位処理によって、例えばチェロの音声成分でなる音源信号ＤＳの音像を前方左側に定位させ、他の楽器の音声成分でなる残差信号ＤＴを前方中央よりやや右寄りに定位させた疑似ステレオ音声をリスナに聴取させることができ（図８）、当該リスナに広がり感のある音場を与えることができる。
【０１１１】
以上の構成によれば、疑似ステレオ化装置５０は、音源分離部２によって入力信号ｘ０（ｔ）を基に一般調和解析を用いて音源信号ＤＳと残差信号ＤＴとに分離した後、出力処理部５２により当該音源信号ＤＳ及び残差信号ＤＴに音像定位処理を施して加算した出力信号Ｓ３Ｌ及びＳ３Ｒを生成し、ヘッドホン６を介して当該出力信号Ｓ３Ｌ及びＳ３Ｒの音声をリスナに聴取させることにより、当該音源信号ＤＳ及び残差信号ＤＴによる音像を、左右の間の所望の位置に定位させた広がり感のある音場をリスナに与えることができ、かくして格段に違和感の少ない疑似ステレオ音声をリスナに聴取させ得る疑似ステレオ化装置を実現することができる。
【０１１２】
（４）他の実施の形態
なお上述した第１乃至第３の実施の形態においては、出力信号Ｓ１乃至Ｓ３をヘッドホン６へ送出するようにした場合について述べたが、本発明はこれに限らず、例えば図１との対応部分に同一符号を付した図１０に示すように、疑似ステレオ化装置７０がヘッドホン６に代えてスピーカ７６に出力信号を送出してリスナに疑似ステレオ音声を聴取させるようにしても良い。
【０１１３】
この場合、疑似ステレオ化装置７０は、出力処理部７２から２つのスピーカ７６Ｌ及び７６Ｒへ出力信号を出力する以外にも、当該出力処理部７２において３種類以上の出力信号を生成して３つ以上のスピーカ７６へ送出することによって、音声を再生するようにしてもよい。
【０１１４】
ちなみに出力処理部７２は、出力処理部３（図１）とほぼ同様の回路構成を有しているが、ヘッドホン６ではなく、スピーカ７６Ｌ及び７６Ｒを駆動可能な信号レベルに増幅した出力信号を送出するようになされている。
【０１１５】
また上述した第２の実施の形態においては、音源分離部２（音源分離部２Ａ及び２Ｂ）を２段階に用いて２つの音源信号ＤＳ（音源信号ＤＳ１及びＤＳ２）を分離するようにした場合について述べたが、本発明はこれに限らず、当該音源分離部２を３段階以上用いて３つ以上の音源信号ＤＳを分離するようにしても良い。
【０１１６】
この場合、各音源信号ＤＳ及び残差信号ＤＴを左右いずれかに適宜振り分ける以外にも、第３の実施の形態のように音像定位処理を施すことによって、各音源信号ＤＳ及び残差信号ＤＴの音像をそれぞれ所望の位置に定位させるようにしても良い。
【０１１７】
さらに上述した第２の実施の形態においては、第１音源信号ＤＳ１と第２残差信号ＤＴ２とを加算した出力信号Ｓ２Ｌを左側に、第２音源信号ＤＳ２と第２残差信号ＤＴ２とを加算して出力信号Ｓ２Ｒを右側にそれぞれ振り分けてリスナに聴取させるようにした場合について述べたが、本発明はこれに限らず、例えば第１音源信号ＤＳ１と第２音源信号ＤＳ２とを加算した出力信号を左側に、第２残差信号ＤＴ２を右側に振り分ける等、他の振り分け方としても良い。
【０１１８】
さらに上述した第３の実施の形態においては、出力処理部５２の音像定位処理回路５３Ｌ、５３Ｒ、５４Ｌ、及び５４Ｒによって、音源信号ＤＳを前方左側の位置に定位させると共に残差信号ＤＴを前方中央よりやや右寄りの位置に定位させるような出力信号Ｓ３Ｌ及びＳ３Ｒをそれぞれ生成するようにした場合について述べたが、本発明はこれに限らず、当該音源信号ＤＳ及び当該残差信号ＤＴをそれぞれ他の位置に定位させるような出力信号Ｓ３Ｌ及びＳ３Ｒをそれぞれ生成するようにしてもよい。
【０１１９】
さらに上述した第１乃至第３の実施の形態においては、モノラル入力信号Ｓ０を基に２チャンネルの出力信号Ｓ１Ｌ及びＳ１Ｒ等を生成するようにした場合について述べたが、本発明はこれに限らず、例えばステレオの入力信号に対して入力チャンネル毎に音源分離処理を行うことによって４チャンネルの出力信号を生成する等、任意の複数チャンネルの入力信号に対してそれぞれ音源分離処理を行うことにより任意の複数チャンネルの出力信号を生成するようにしても良い。
【０１２０】
さらに上述した第１乃至第３の実施の形態においては、音源分離部２、２Ａ及び２Ｂの周波数スペクトル解析処理回路１４、１４Ａ及び１４Ｂにおいて、２０［Ｈｚ］から２０［ｋＨｚ］の範囲を１０［Ｈｚ］ずつ周波数ｆを変化させるようにした場合について述べたが（ステップＳＰ１１乃至ＳＰ１５）、本発明はこれに限らず、任意の開始周波数から任意の終了周波数まで、当該周波数ｆを適宜変化させるようにしても良い。
【０１２１】
さらに上述した第１乃至第３実施の形態においては、音源分離部２、２Ａ及び２Ｂの周波数スペクトル解析処理回路１４、１４Ａ及び１４Ｂにおいて、残差エネルギーＥ（ｆ）が最も小さくなるものから８種類の周波数、すなわち基本周波数ｆ１及び副周波数ｆ２乃至ｆ８を選択するようにした場合について述べたが、本発明はこれに限らず、任意数の副周波数を選択するようにしても良い。
【０１２２】
さらに上述した第１乃至第３の実施の形態においては、音源分離部２、２Ａ及び２Ｂの高調波抽出処理回路１６、１６Ａ及び１６Ｂにより基本周波数ｆ１のほぼ整数倍となる副周波数ｆ２乃至ｆ８を高調波として選択するようにした場合について述べたが、本発明はこれに限らず、基本周波数ｆ１の時間的変化と、副周波数ｆ２乃至ｆ８の時間的変化との相関性を用いて高調波を選択するようにしても良い。
【０１２３】
さらに上述した第１乃至第３の実施の形態においては、疑似ステレオ化装置１、３０及び５０の音源分離部２、あるいは音源分離部２Ａ及び音源分離部２Ｂによって音源分離した後の音源信号ＤＳ及び残差信号ＤＴ、あるいは第１音源信号ＤＳ１、第２音源信号ＤＳ２及び第２残差信号ＤＴ２を、出力処理部３、３２及び５２によってアナログ音声信号に変換してリスナに聴取させるようにした場合について述べたが、本発明はこれに限らず、例えば疑似ステレオ化装置１、３０及び５０によって音源分離した後の音源信号ＤＳや残差信号ＤＴ等を、ディジタルデータとしてネットワークを介してリスナのネットワーク端末装置に送信するようにし、当該ネットワーク端末装置において出力処理部３、３２及び５２と同様の処理を行うことにより、当該リスナに疑似ステレオ音声を聴取させるようにしても良い。
【０１２４】
さらに上述した第１乃至第３の実施の形態においては、モノラル入力信号Ｓ０をリアルタイムで疑似ステレオ化してリスナに聴取させるようにした場合について述べたが、本発明はこれに限らず、モノラル入力信号Ｓ０を基に、音源分離部２（あるいは音源分離部２Ａ及び音源分離部２Ｂ）によって音源分離した後の音源信号ＤＳ及び残差信号ＤＴ、またはディジタル出力信号Ｄ２Ｌ及びＤ２Ｒ、Ｄ３Ｌ及びＤ３Ｒをディジタル音声データとして所定の記憶媒体に保存しておき、後から当該ディジタル音声データをアナログ音声信号に変換してリスナに聴取させるようにしても良い。
【０１２５】
例えば疑似ステレオ化装置１は、生成したディジタル音声データを予めＣＤ−Ｒ（Compact Disc-Recordable）等に保存しておくことにより、当該ＣＤ−ＲをＣＤプレーヤ等で再生したリスナに疑似ステレオ音声を聴取させることができる。また疑似ステレオ化装置１は、例えばネットワークを介して外部から入力信号ｘ０（ｔ）を受信し、上述した音源分離処理によって分離した音源信号ＤＳ及び残差信号ＤＴを、ディジタル音声データとしてハードディスクドライブ等の記憶手段に記憶しておき、後から再度ネットワークを介して当該ディジタル音声データをリスナのネットワーク端末装置に送信することにより、当該ネットワーク端末装置から当該リスナに疑似ステレオ音声を聴取させるようにしても良い。
【０１２６】
さらに上述した第１乃至第３の実施の形態においては、ハードウェア構成によってディジタル入力信号Ｄ０から音源信号ＤＳ及び残差信号ＤＴに分離する疑似ステレオ化装置１、３０及び５０に本発明を適用するようにした場合について述べたが、本発明はこれに限らず、上述した信号区分処理、周波数スペクトル解析処理、基本周期波抽出処理、高調波抽出処理及び波形合成処理を行う疑似ステレオ化プログラムを、例えばパーソナルコンピュータ等の情報処理装置にインストールし、当該情報処理装置によって音源分離処理を行うようにしても良い。
【０１２７】
この場合、疑似ステレオ化プログラムを情報処理装置にインストールして実行可能な状態にするためのプログラム格納媒体としては、例えばフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）、ＤＶＤ（Digital Versatile Disc）等のパッケージメディアのみならず、これらのプログラムが一時的もしくは永続的に格納される半導体メモリや磁気ディスクなどで実現しても良い。
【０１２８】
また、プログラム格納媒体にこれらのプログラムを格納する手段として、ローカルエリアネットワークやインターネット、ディジタル衛星放送等の有線及び無線通信媒体を利用してもよく、ルータやモデムなどの各種通信インターフェースを介して格納するようにしても良い。
【０１２９】
さらに上述した第３の実施の形態においては、ハードウェア構成でなる出力処理部５２の音源定位処理回路５３Ｌ及び５３Ｒ、５４Ｌ及び５４Ｒによって、音像を定位させる音像定位処理を行うようにした場合について述べたが、本発明はこれに限らず、例えば音像定位処理を行う音像定位プログラムを予め出力処理部５２の記憶手段（図示せず）に格納しておき、当該出力処理部５２内の制御部（図示せず）が当該音像定位プログラムを実行することにより音像を定位させるようにしても良い。
【０１３０】
さらに上述した第１の実施の形態においては、音源分離手段としての音源分離部２と、出力信号生成手段としての出力処理部３とによって疑似ステレオ化装置としての疑似ステレオ化装置１を構成する場合について述べたが、本発明はこれに限らず、その他種々の回路構成でなる音源分離手段と、出力信号生成手段とによって疑似ステレオ化装置を構成するようにしても良い。
【産業上の利用可能性】
【０１３１】
本発明は、ヘッドホンを介してリスナに疑似ステレオ音声を聴取させる疑似ステレオ化装置以外に、スピーカを介してリスナに疑似ステレオ音声を聴取させる疑似ステレオ化装置等でも利用できる。
【図面の簡単な説明】
【０１３２】
【図１】第１の実施の形態による疑似ステレオ化装置の構成を示すブロック図である。
【図２】第１の実施の形態による疑似ステレオ化処理手順を示すフローチャートである。
【図３】音源分離サブルーチンを示すフローチャートである。
【図４】第２の実施の形態による疑似ステレオ化装置の構成を示すブロック図である。
【図５】第２の実施の形態による疑似ステレオ化処理手順を示すフローチャートである。
【図６】第３の実施の形態による疑似ステレオ化装置の構成を示すブロック図である。
【図７】音像定位の例を示す略線図である。
【図８】第３の実施の形態による音像定位の説明に供する略線図である。
【図９】第３の実施の形態による疑似ステレオ化処理手順を示すフローチャートである。
【図１０】他の実施の形態による疑似ステレオ化装置の構成を示すブロック図である。
【図１１】従来の疑似ステレオ化装置の構成例を示すブロック図である。
【図１２】無相関化処理の例（１）を示す略線図である。
【図１３】無相関化処理の例（２）を示す略線図である。
【符号の説明】
【０１３３】
１、３０、５０、７０……疑似ステレオ化装置、２、２Ａ、２Ｂ……音源分離部、３、３２、５２、７２……出力処理部、６……ヘッドホン、６Ｌ、６Ｒ……音響ユニット、１３……信号区分処理回路、１４……周波数スペクトル解析処理回路、１５……基本周期波抽出処理回路、１６……高調波抽出処理回路、１７……波形合成処理回路、３５Ｌ、３５Ｒ、５５Ｌ、５５Ｒ……加算器、５３Ｌ、５３Ｒ、５４Ｌ、５４Ｒ……音像定位処理回路、７６Ｌ、７６Ｒ……スピーカ。
【技術分野】
【０００１】
本発明は疑似ステレオ化装置に関し、例えばヘッドホンを介してリスナに擬似的なステレオ音声信号を聴取させる疑似ステレオ化装置に適用して好適なものである。
【背景技術】
【０００２】
従来、疑似ステレオ化装置においては、入力されたモノラル音声信号を基に、互いに無相関な複数チャンネルの音声信号を生成し、左右への音の広がり感を得られるような疑似ステレオ音声をリスナに聴取させるようになされたものが提案されている。
【０００３】
このような疑似ステレオ化装置のなかには、例えば図１１に示すように、無相関化フィルタを出力チャンネル毎に用いることにより、図１２に示すように、当該無相関化フィルタ毎にそれぞれ異なる周波数帯域の音声信号の位相を変化させることによって、モノラルの音声信号から、互いに無相関な複数の音声信号を生成するようになされたものがある。
【０００４】
また疑似ステレオ化装置のなかには、図１１における無相関化フィルタに代えてバンドパスフィルタを用いることにより、図１３に示すように、モノラル音声信号を複数の周波数帯域に分割し、出力チャンネル毎に異なる周波数帯域の音声信号を削除することにより、各周波数帯域の信号成分を異なる出力チャンネルに振り分けるようになされたものがある（例えば、文献１参照）。
【特許文献１】特開平８−２０５２９５号公報（第３頁、第１図）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、一般的に、音声を発生する音源は当該音声の基音と高調波音とを発生しており、リスナは、日常生活においてこのような音声の基本波成分と高調波成分とを同じ方向から聴取することに慣れている。このためリスナは、ある音声の基本波成分と高調波成分とを同じ方向から聞き取った場合に、無意識のうちにその音声を自然な音声であると感じる。
【０００６】
しかし、上述した疑似ステレオ化装置では、予め定められた周波数帯域毎に音声信号を分割し、それぞれ異なる出力チャンネルに振り分けるため、ある音声の基本波成分と高調波成分とを異なる出力チャンネルに振り分けてしまう可能性がある。
【０００７】
このような場合、疑似ステレオ化装置は、ある音声の基本波成分と高調波成分とを異なる方向からリスナに聴取させることになるため、当該リスナに音声の左右への広がり感を与えることはできるものの、音像定位が不自然になってしまい、当該ユーザに違和感を感じさせてしまうという問題があった。
【０００８】
本発明は以上の点を考慮してなされたもので、格段に違和感の少ない疑似ステレオ音声をリスナに聴取させ得る疑似ステレオ化装置を提案しようとするものである。
【課題を解決するための手段】
【０００９】
かかる課題を解決するため本発明の疑似ステレオ化装置においては、モノラル音声を擬似的にステレオ化する疑似ステレオ化装置において、所定分析区間に区分けされたモノラル音声でなる入力信号を取得し、当該入力信号から抽出可能な周期波のうち、入力信号から周期波を差し引いた残差成分のエネルギーが最小となる基本周期波を選択し、入力信号から基本周期波成分及びその高調波成分を抽出し合成して音源信号を生成すると共に、入力信号から音源信号の成分を差し引いた残差信号を生成する音源分離手段と、音源信号に基づき一方のチャンネルに相当する第１出力信号を生成すると共に、残差信号に基づき他方のチャンネルに相当する第２出力信号を生成する出力信号生成手段とを設けるようにした。
【００１０】
これにより、入力音声信号を基に、周期波成分及びその高調波成分でなる音源信号と、その残差成分でなる残差信号とに分離することができ、当該音源信号と当該残差信号とを互いに異なる出力チャンネルに振り分けた出力音声信号を生成し、疑似ステレオ音声として出力することができる。
【００１１】
また本発明の疑似ステレオ化方法においては、モノラル音声を擬似的にステレオ化する疑似ステレオ化方法において、所定分析区間に区分けされたモノラル音声でなる入力信号を取得し、当該入力信号のから抽出可能な周期波のうち、入力信号から周期波を差し引いた残差成分のエネルギーが最小となる基本周期波を選択し、入力信号から基本周期波成分及びその高調波成分を抽出し合成して音源信号を生成すると共に、入力信号から音源信号の成分を差し引いた残差信号を生成する音源分離ステップと、音源信号に基づき一方のチャンネルに相当する第１出力信号を生成すると共に、残差信号に基づき他方のチャンネルに相当する第２出力信号を生成する出力信号生成ステップとを設けるようにした。
【００１２】
これにより、入力音声信号を基に、周期波成分及びその高調波成分でなる音源信号と、その残差成分でなる残差信号とに分離することができ、当該音源信号と当該残差信号とを互いに異なる出力チャンネルに振り分けた出力音声信号を生成し、疑似ステレオ音声として出力することができる。
【００１３】
また本発明の疑似ステレオ化プログラムにおいては、情報処理装置に対して、モノラル音声を擬似的にステレオ化する処理を実行させるための疑似ステレオ化プログラムにおいて、所定分析区間に区分けされたモノラル音声でなる入力信号を取得し、当該入力信号のから抽出可能な周期波のうち、入力信号から周期波を差し引いた残差成分のエネルギーが最小となる基本周期波を選択し、入力信号から基本周期波成分及びその高調波成分を抽出し合成して音源信号を生成すると共に、入力信号から音源信号の成分を差し引いた残差信号を生成する音源分離ステップと、音源信号に基づき一方のチャンネルに相当する第１出力信号を生成すると共に、残差信号に基づき他方のチャンネルに相当する第２出力信号を生成する出力信号生成ステップとを設けるようにした。
【００１４】
これにより、入力音声信号を基に、周期波成分及びその高調波成分でなる音源信号と、その残差成分でなる残差信号とに分離することができ、当該音源信号と当該残差信号とを互いに異なる出力チャンネルに振り分けた出力音声信号を生成し、疑似ステレオ音声として出力することができる。
【発明の効果】
【００１５】
本発明によれば、入力音声信号を基に、周期波成分及びその高調波成分でなる音源信号と、その残差成分でなる残差信号とに分離して、当該音源信号と当該残差信号とを互いに異なる出力チャンネルに振り分けた出力音声信号を生成して疑似ステレオ音声として出力することができ、かくして格段に違和感の少ない疑似ステレオ音声をリスナに聴取させ得る疑似ステレオ化装置を実現することができる。
【発明を実施するための最良の形態】
【００１６】
以下、図面について、本発明の一実施の形態を詳述する。
【００１７】
（１）第１の実施の形態
（１−１）疑似ステレオ化装置の構成
図１において、１は全体として本発明の第１の実施の形態による疑似ステレオ化装置の全体構成を示しており、外部から入力されるモノラル音声を擬似的にステレオ化し、この疑似ステレオ音声をヘッドホン６を介してリスナに聴取させるようになされている。
【００１８】
疑似ステレオ化装置１は、入力端子１１を介して外部から入力されたアナログのモノラル音声信号Ｓ０を、アナログ／ディジタル変換器１２によってディジタル化してディジタル入力信号Ｄ０に変換し、これを信号区分処理回路１３へ供給する。
【００１９】
信号区分処理回路１３は、ディジタル入力信号Ｄ０を所定時間Ｌ毎に区分し、これを１フレームの入力信号ｘ０（ｔ）（ただし０≦ｔ≦Ｌ）として音源分離部２へ供給する。
【００２０】
音源分離部２は、一般調和解析と呼ばれる手法を用いて入力信号ｘ０（ｔ）を音源信号と残差信号とに分離するようになされており、まず信号区分処理回路１３から供給された当該入力信号ｘ０（ｔ）を周波数スペクトル解析処理回路１４及び基本周期波抽出処理回路１５へ供給する。
【００２１】
周波数スペクトル解析処理回路１４は、詳しくは後述するが、任意の周波数ｆを様々に変化させながら、入力信号ｘ０（ｔ）のフーリエ係数Ｓ（ｆ）及びＣ（ｆ）を順次算出すると共に、当該フーリエ係数Ｓ（ｆ）及びＣ（ｆ）を用いて周波数ｆに基づいた周期波ｐ（ｔ，ｆ）を算出し、さらに入力信号ｘ０（ｔ）から当該周期波ｐ（ｔ，ｆ）を差し引いた残差ｅ（ｔ，ｆ）のエネルギーＥ（ｆ）を算出する。
【００２２】
さらに周波数スペクトル解析処理回路１４は、様々に変化させた周波数ｆのなかから、残差のエネルギーＥ（ｆ）が最も小さくなる周波数ｆ（以下、これを基本周波数ｆ１と呼ぶ）及び当該残差のエネルギーＥ（ｆ）が２番目乃至８番目に小さくなる周波数ｆ（以下、これらを副周波数ｆ２乃至ｆ８と呼ぶ）を選択して、当該基本周波数ｆ１及び当該副周波数ｆ２乃至ｆ８と、各周波数に応じたフーリエ係数Ｓ（ｆ２）乃至Ｓ（ｆ８）と、フーリエ係数Ｃ（ｆ２）乃至Ｃ（ｆ８）とを、基本周期波抽出処理回路１５及び高調波抽出処理回路１６へ供給する。
【００２３】
基本周期波抽出処理回路１５は、基本周波数ｆ１に基づく基本周期波ｐ（ｔ，ｆ１）を算出してその成分を波形合成処理回路１７へ供給すると共に、入力信号ｘ０（ｔ）から当該基本周期波ｐ（ｔ，ｆ１）の成分を差し引いた残差ｅ（ｔ，ｆ１）（以下、これを中間残差と呼ぶ）の成分を高調波抽出処理回路１６へ供給する。
【００２４】
高調波抽出処理回路１６は、副周波数ｆ２乃至ｆ８のうち、基本周波数ｆ１の高調波に相当する、すなわち基本周波数ｆ１のほぼ整数倍となる副周波数ｆｍ（２≦ｍ≦８、ｍは整数）を選択し、その周期波ｐ（ｔ，ｆｍ）の成分を全て高調波として波形合成処理回路１７へ供給すると共に、中間残差ｅ（ｔ，ｆ１）の成分から、当該高調波の全ての周期波ｐ（ｔ，ｆｍ）の成分を差し引いた残差成分を残差信号ＤＴとして出力処理部３のディジタル／アナログ変換器１８Ｒへ供給する。
【００２５】
波形合成処理回路１７は、基本周期波ｐ（ｔ，ｆ１）の成分とその高調波の全ての周期波ｐ（ｔ，ｆｍ）の成分とを合成して音源信号ＤＳを生成し、これを出力処理部３のディジタル／アナログ変換器１８Ｌへ供給する。
【００２６】
このように音源分離部２は、１フレーム分の入力信号ｘ０（ｔ）を基に音源信号ＤＳと残差信号ＤＴとに分離して、それぞれ出力処理部３へ供給するようになされている。
【００２７】
疑似ステレオ化装置１は、出力処理部３のディジタル／アナログ変換器１８Ｌ及び１８Ｒによって音源信号ＤＳ及び残差信号ＤＴをそれぞれアナログ信号に変換し、これを増幅器１９Ｌ及び１９Ｒによってそれぞれ増幅することにより第１出力信号としての出力信号Ｓ１Ｌ及び第２出力信号としての出力信号Ｓ１Ｒを生成して、出力端子２０Ｌ及び２０Ｒを介して当該出力信号Ｓ１Ｌ及びＳ１Ｒをそれぞれヘッドホン６の左右の音響ユニット６Ｌ及び６Ｒへ送出する。
【００２８】
かくして疑似ステレオ化装置１は、モノラル入力信号Ｓ０を基に、入力信号ｘ０（ｔ）を音源分離部２によって音源信号ＤＳと残差信号ＤＴとに分離し、当該音源信号ＤＳ及び残差信号ＤＴを基に生成した出力信号Ｓ１Ｌ及びＳ１Ｒの音声をリスナに聴取させるようになされている。
【００２９】
（１−２）疑似ステレオ化処理手順
ところで疑似ステレオ化装置１は、上述したように、一般調和解析による音源分離処理を行うことにより、モノラルの音声を疑似ステレオ化した疑似ステレオ音声を生成するようになされており、このときの疑似ステレオ化処理手順について、図２のフローチャートを用いて説明する。
【００３０】
疑似ステレオ化装置１は、外部から入力端子１１を介してアナログのモノラル入力信号Ｓ０が入力されると、ルーチンＲＴ１の開始ステップから入ってステップＳＰ１へ移る。ステップＳＰ１において疑似ステレオ化装置１は、アナログ／ディジタル変換器１２によってアナログのモノラル入力信号Ｓ０をディジタル化し、さらに信号区分処理回路１３によって所定時間（０≦ｔ≦Ｌ）でなる１フレーム分に区切った入力信号ｘ０（ｔ）を音源分離部２へ供給し、次のステップＳＰ２へ移る。
【００３１】
ステップＳＰ２において疑似ステレオ化装置１は、図３に示す音源分離サブルーチンＳＲＴ１へ移り、開始ステップから入ってステップＳＰ１１へ移る。ステップＳＰ１１において疑似ステレオ化装置１の音源分離部２は、周波数スペクトル解析処理回路１４によって、フーリエ係数を算出する際に用いる周波数ｆを２０［Ｈｚ］に初期化して次のステップＳＰ１２へ移る。ちなみに周波数スペクトル解析処理回路１４は、周波数ｆを２０［Ｈｚ］から２０［ｋＨｚ］までの範囲内で１０［Ｈｚ］ずつ変化させるようになされている。
【００３２】
ステップＳＰ１２において音源分離部２は、周波数スペクトル解析処理回路１４により、入力信号ｘ０（ｔ）及び周波数ｆに基づいて次式
【００３３】
【数１】
【００３４】
【数２】
【００３５】
に従ってフーリエ係数Ｓ（ｆ）及びＣ（ｆ）を算出し、次のステップＳＰ１３へ移る。ここで、周期Ｔは周波数ｆの逆数であり、ｎはｎＴ≦Ｌを満たす整数である。
【００３６】
ステップＳＰ１３において音源分離部２は、周波数スペクトル解析処理回路１４により、フーリエ係数Ｓ（ｆ）及びＣ（ｆ）を用いて次式
【００３７】
【数３】
【００３８】
に従って周期波ｐ（ｔ，ｆ）を算出し、続いて次式
【００３９】
【数４】
【００４０】
に従って入力信号ｘ０（ｔ）からこの周期波ｐ（ｔ，ｆ）の成分を差し引いた残差ｅ（ｔ，ｆ）を算出し、さらに次式
【００４１】
【数５】
【００４２】
に従い残差エネルギーＥ（ｆ）を算出して、次のステップＳＰ１４へ移る。
【００４３】
ステップＳＰ１４において音源分離部２は、周波数スペクトル解析処理回路１４により２０［Ｈｚ］から２０［ｋＨｚ］までの全ての周波数ｆについて残差エネルギーＥ（ｆ）を算出したか否かを判定する。ここで否定結果が得られると、このことは他の周波数ｆについてまだ残差エネルギーＥ（ｆ）を算出する必要があることを表しており、このとき音源分離部２は、次のステップＳＰ１５へ移る。
【００４４】
ステップＳＰ１５において音源分離部２は、周波数スペクトル解析処理回路１４により周波数ｆを１０［Ｈｚ］増加させてから、ステップＳＰ１２に戻って再度ステップＳＰ１３−ＳＰ１４の処理を繰り返す。
【００４５】
これに対してステップＳＰ１４において肯定結果が得られると、このことは２０［Ｈｚ］から２０［ｋＨｚ］までの範囲内の全ての周波数ｆについて残差エネルギーＥ（ｆ）を算出し終えたことを表しており、このとき音源分離部２は次のステップＳＰ１６へ移る。
【００４６】
ステップＳＰ１６において音源分離部２は、周波数スペクトル解析処理回路１４により、各周波数ｆについて算出した残差エネルギーＥ（ｆ）のなかから、当該残差エネルギーＥ（ｆ）を最も小さくするときの周波数ｆを基本周波数ｆ１として選択し、さらにこのときのフーリエ係数Ｓ（ｆ１）及びＣ（ｆ１）を算出した後、次のステップＳＰ１７へ移る。
【００４７】
ここで基本周波数ｆ１は、残差エネルギーＥ（ｆ）を最も小さくする周波数ｆであるため、同時に周期波ｐ（ｔ、ｆ）のエネルギーを最も大きくすることになる。
【００４８】
ステップＳＰ１７において音源分離部２は、周波数スペクトル解析処理回路１４により、残差エネルギーＥ（ｆ）が２番目乃至８番目に小さくなる周波数ｆを副周波数ｆ２乃至ｆ８として選択し、さらにそれぞれのフーリエ係数Ｓ（ｆ２）乃至Ｓ（ｆ８）及びＣ（ｆ２）乃至Ｃ（ｆ８）を算出して、基本周波数ｆ１と、副周波数ｆ２乃至ｆ８と、フーリエ係数Ｓ（ｆ１）乃至Ｓ（ｆ８）と、フーリエ係数Ｃ（ｆ１）乃至Ｃ（ｆ８）とを基本周期波抽出処理回路１５及び高調波抽出処理回路１６へ供給した後、次のステップＳＰ１８へ移る。
【００４９】
ステップＳＰ１８において音源分離部２は、基本周期波抽出処理回路１５によって、上述した（３）式に基本周波数ｆ１、フーリエ係数Ｓ（ｆ１）及びＣ（ｆ１）を適用することにより、基本周波数ｆ１に基づく基本周期波ｐ（ｔ，ｆ１）の成分を算出し、これを波形合成処理回路１７へ供給する。
【００５０】
さらに音源分離部２は、基本周期波抽出処理回路１５によって、入力信号ｘ０（ｔ）から基本周期波ｐ（ｔ，ｆ１）の成分を差し引くことにより中間残差ｅ（ｔ，ｆ１）の成分を算出し、これを高調波抽出処理回路１６へ供給して、次のステップＳＰ１９へ移る。
【００５１】
ステップＳＰ１９において音源分離部２は、高調波抽出処理回路１６によって、副周波数ｆ２乃至ｆ８のうち、基本周波数ｆ１のほぼ整数倍となる副周波数ｆｍを全て選択し、その周期波ｐ（ｔ，ｆｍ）の成分を全て高調波として波形合成処理回路１７へ供給して、次のステップＳＰ２０へ移る。
【００５２】
ステップＳＰ２０において音源分離部２は、高調波抽出処理回路１６によって、中間残差ｅ（ｔ，ｆ１）の成分から高調波の全ての周期波ｐ（ｔ，ｆｍ）の成分を差し引くことにより残差信号ＤＴを生成し、これを出力処理部３のディジタル／アナログ処理回路１８Ｒへ供給して、次のステップＳＰ２１へ移る。
【００５３】
ステップＳＰ２１において音源分離部２は、波形合成処理回路１７によって、基本周期波ｐ（ｔ，ｆ１）の成分と高調波の全ての周期波ｐ（ｔ，ｆｍ）の成分とを合成して音源信号ＤＳを生成し、これを出力処理部３のディジタル／アナログ処理回路１８Ｌへ供給した後、次のステップＳＰ２２へ移ってこのサブルーチンＳＲＴ１を終了し、元のルーチンＲＴ１のステップＳＰ３へ移る。
【００５４】
このように疑似ステレオ化装置１は、音源分離部２によって一般調和解析を用いた音源分離処理を行うことにより、モノラルの入力信号ｘ０（ｔ）を基に、残差エネルギーＥ（ｆ）を最も小さくして周期波ｐ（ｔ，ｆ）のエネルギーを最も大きくする基本周波数ｆ１を選択し、当該基本周波数ｆ１及びその高調波の周期波成分によって音源信号ＤＳを生成すると共に、その残差成分でなる残差信号ＤＴを生成するようになされている。
【００５５】
例えば疑似ステレオ化装置１は、オーケストラの演奏を収録したモノラルの音声信号のうちチェロの音声成分の信号強度が最も強い場合に、このチェロの音声成分を高調波と共に抽出して音源信号ＤＳとすることにより、他の楽器の音声成分でなる残差信号ＤＴと分離することができる。
【００５６】
ステップＳＰ３において疑似ステレオ化装置１は、出力処理部３によって音源信号ＤＳ及び残差信号ＤＴをそれぞれアナログ化して増幅し、これらを出力信号Ｓ１Ｌ及びＳ１Ｒとして出力端子２０Ｌ及び２０Ｒからそれぞれ出力して、次のステップＳＰ１３に移ってこのルーチンＲＴ１を終了する。
【００５７】
ここで出力信号Ｓ１Ｌ及びＳ１Ｒは、それぞれ互いに無相関な音源信号ＤＳ及び残差信号ＤＴを基に生成されるため、当該出力信号Ｓ１Ｌ及びＳ１Ｒは、ある音源の音声とその残差の音声とを異なる出力チャンネルに振り分けた疑似ステレオ音声となっている。
【００５８】
そして疑似ステレオ化装置１は、出力信号Ｓ１Ｌ及びＳ１Ｒをヘッドホン６の音響ユニット６Ｌ及び６Ｒへ出力することにより、当該出力信号Ｓ１Ｌ及びＳ１Ｒの音声を疑似ステレオ音声としてリスナに聴取させることができる。
【００５９】
例えば疑似ステレオ化装置１は、上述したチェロの音声を左チャンネルから、他の楽器の音声を右チャンネルから、それぞれリスナに聴取させることができる。
【００６０】
（１−３）動作及び効果
以上の構成において、疑似ステレオ化装置１は、アナログのモノラル入力信号Ｓ０をディジタル化して所定時間でなる１フレームに区分した入力信号ｘ０（ｔ）を音源分離部２へ供給すると、当該音源分離部２により一般調和解析を用いて、入力信号ｘ０（ｔ）から周期波ｐ（ｔ，ｆ）を差し引いた残差ｅ（ｔ，ｆ）の残差エネルギーＥ（ｆ）が最も小さくなるものから８種類の周波数ｆを基本周波数ｆ１及び副周波数ｆ２乃至ｆ８として選択してから、入力信号ｘ０（ｔ）から基本周波数ｆ１に基づく基本周期波ｐ（ｔ，ｆ１）の成分と、基本周波数ｆ１のほぼ整数倍となる副周波数ｆ２乃至ｆ８に基づく高調波の周期波ｐ（ｔ，ｆｍ）の成分とを抽出し、当該基本周期波ｐ（ｔ，ｆ１）の成分と高調波の周期波ｐ（ｔ，ｆｍ）の成分とを合成して音源信号ＤＳを生成すると共に、入力信号ｘ０（ｔ）から音源信号ＤＳの成分を除いた残差信号ＤＴを生成した後、出力処理部３によって、当該音源信号ＤＳ及び当該残差信号ＤＴをそれぞれアナログ化して増幅した出力信号Ｓ１Ｌ及びＳ１Ｒの音声を、ヘッドホン６を介してリスナに聴取させる。
【００６１】
従って疑似ステレオ化装置１は、音源分離部２において一般調和解析による音源分離処理を行うことにより、入力信号ｘ０（ｔ）を音源信号ＤＳと残差信号ＤＴとに分離することができ、さらに出力処理部３によって当該音源信号ＤＳと残差信号ＤＴとをそれぞれアナログ化して左右のチャンネルに振り分けてリスナに聴取させることにより、疑似ステレオ化された音声としてリスナに聴取させることができる。
【００６２】
このとき疑似ステレオ化装置１は、例えばオーケストラの演奏を収録した音声信号のうち、チェロの音声成分の信号強度が最も強い場合に、このチェロの音声成分を高調波と共に抽出して音源信号ＤＳとし、他の楽器の音声でなる残差信号ＤＴと分離することができるので、チェロの音声成分と他の楽器による音声成分とをそれぞれヘッドホン６の左右の音響ユニット６Ｌ及び６Ｒに振り分けて出力することができ、ユーザに明確な音像定位を与えることができる。
【００６３】
以上の構成によれば、疑似ステレオ化装置１は、音源分離部２によって、一般調和解析を用いて入力信号ｘ０（ｔ）を基に基本周波数ｆ１を選択し、当該基本周波数ｆ１に基づく基本周期波ｐ（ｔ，ｆ１）と当該基本周波数ｆ１の高調波の周期波ｐ（ｔ，ｆｍ）とを合成して音源信号ＤＳを生成すると共に、入力信号ｘ０（ｔ）から音源信号ＤＳの成分を除いた残差信号ＤＴを生成した後、出力処理部３によって、当該音源信号ＤＳ及び当該残差信号ＤＴをそれぞれアナログ化して増幅した出力信号Ｓ１Ｌ及びＳ１Ｒを、ヘッドホン６を介してリスナに聴取させることにより、入力信号ｘ０（ｔ）を音源信号ＤＳと残差信号ＤＴとに分離して、それぞれを異なる出力チャンネルに振り分けた音像定位の明確な疑似ステレオ音声をリスナに聴取させることができ、かくして格段に違和感の少ない疑似ステレオ音声をリスナに聴取させ得る疑似ステレオ化装置を実現することができる。
【００６４】
（２）第２の実施の形態
（２−１）疑似ステレオ化装置の構成
図１との対応部分に同一符号を付した図４において、３０は第２の実施の形態における疑似ステレオ化装置を示しており、音源分離部２（図１）と同様の構成でなる音源分離部２Ａ及び２Ｂを有し、また出力処理部３（図１）に代えて出力処理部３２を有している以外は、第１の実施の形態と同様の構成を有している。
【００６５】
疑似ステレオ化装置３０は、疑似ステレオ化装置１と同様に、アナログ／ディジタル変換器１２によってアナログのモノラル入力信号Ｓ０をディジタル化してディジタル入力信号Ｄ０を生成し、これを信号区分処理回路１３によって１フレーム毎に区分した入力信号ｘ０（ｔ）を音源分離部２Ａへ供給する。
【００６６】
音源分離部２Ａは、信号区分処理回路１３から取得した１フレームの入力信号ｘ０（ｔ）に対して、音源分離部２と同様の処理を施すことにより第１音源信号ＤＳ１と第１残差信号ＤＴ１とに分離し、それぞれ出力処理部３２及び音源分離部２Ｂへ供給する。
【００６７】
音源分離部２Ｂは、第１残差信号ＤＴ１に対して音源分離部２と同様の処理を行うことにより、第２音源信号ＤＳ２と第２残差信号ＤＴ２とに分離して、共に出力処理部３２へ供給する。
【００６８】
出力処理部３２は、加算器３５Ｌによって第１音源信号ＤＳ１と第２残差信号ＤＴ２とを加算してディジタル出力信号Ｄ２Ｌを生成し、また加算器３５Ｒによって第２音源信号ＤＳ２と第２残差信号ＤＴ２とを加算してディジタル出力信号Ｄ２Ｒを生成する。
【００６９】
そして出力処理部３２は、ディジタル出力信号Ｄ２Ｌ及びディジタル出力信号Ｄ２Ｒを、ディジタル／アナログ処理回路１８Ｌ及び１８Ｒによりそれぞれアナログ信号に変換し、これを増幅器１９Ｌ及び１９Ｒによって増幅することにより第１出力信号としての出力信号Ｓ２Ｌ及び第２出力信号としての出力信号Ｓ２Ｒを生成して、出力端子２０Ｌ及び２０Ｒを介して当該出力信号Ｓ２Ｌ及びＳ２Ｒをそれぞれヘッドホン６の左右の音響ユニット６Ｌ及び６Ｒへ送出する。
【００７０】
このように疑似ステレオ化装置３０は、モノラル入力信号Ｓ０を基に、入力信号ｘ０（ｔ）を音源分離部２Ａ及び２Ｂによって第１音源信号ＤＳ１、第２音源信号ＤＳ２、及び第２残差信号ＤＴ２に分離し、当該第１音源信号ＤＳ１及び当該第２音源信号ＤＳ２にそれぞれ当該第２残差信号ＤＴ２を加算した出力信号Ｓ２Ｌ及びＳ２Ｒの音声をリスナに聴取させるようになされている。
【００７１】
（２−２）疑似ステレオ化処理手順
そして疑似ステレオ化装置３０は、上述した第１の実施の形態における疑似ステレオ化装置１とは異なる手順によって、モノラルの音声信号を疑似ステレオ化した疑似ステレオ音声を出力するようになされており、このときの疑似ステレオ化処理手順について、図５のフローチャートを用いて説明する。
【００７２】
疑似ステレオ化装置３０は、外部から入力端子１１を介してアナログのモノラル入力信号Ｓ０が入力されると、ルーチンＲＴ２の開始ステップから入ってステップＳＰ３１へ移る。ステップＳＰ３１において疑似ステレオ化装置３０は、ステップＳＰ１１（図３）と同様に、モノラル入力信号Ｓ０をディジタル化して１フレーム毎に区分した入力信号ｘ０（ｔ）を信号区分処理回路１３から音源分離部２Ａへ供給した後、ステップＳＰ３２へ移る。
【００７３】
ステップＳＰ３２において疑似ステレオ化装置３０は、音源分離部２Ａによって音源分離サブルーチンＳＲＴ１（図３）の一連の処理を行うことにより、入力信号ｘ０（ｔ）を基に一般調和解析を用いて第１音源信号ＤＳ１と第１残差信号ＤＴ１とに分離した後、再びルーチンＲＴ２に戻り、次のステップＳＰ３３へ移る。
【００７４】
ステップＳＰ３３において疑似ステレオ化装置３０は、音源分離部２Ａによって生成した第１残差信号ＤＴ１を音源分離部２Ｂに入力して、次のステップＳＰ３４へ移る。
【００７５】
ステップＳＰ３４において疑似ステレオ化装置３０は、音源分離部２Ｂによって音源分離サブルーチンＳＲＴ１（図３）の一連の処理を行い、入力信号ｘ０（ｔ）の代わりに第１残差信号ＤＴ１を基に一般調和解析を用いて第２音源信号ＤＳ２と第２残差信号ＤＴ２とに分離した後、再びルーチンＲＴ２に戻り、次のステップＳＰ３５へ移る。
【００７６】
ステップＳＰ３５において疑似ステレオ化装置３０は、出力処理部３２の加算器３５Ａ及び３５Ｂによって、第１音源信号ＤＳ１及び第２音源信号ＤＳ２にそれぞれ第２残差信号ＤＴ２を加算することにより、それぞれディジタル出力信号Ｄ２Ｌ及びディジタル出力信号Ｄ２Ｒを生成して、次のステップＳＰ３６へ移る。
【００７７】
ステップＳＰ３６において疑似ステレオ化装置３０は、出力処理部３２のディジタル／アナログ処理回路１８Ｌ及び１８Ｒ、並びに増幅器１９Ｌ及び１９Ｒによって、ディジタル出力信号Ｄ２Ｌ及びディジタル出力信号Ｄ２Ｒをそれぞれアナログ化して増幅することにより出力信号Ｓ２Ｌ及び出力信号Ｓ２Ｒを生成し、これらを出力端子２０Ｌ及び２０Ｒからそれぞれ出力した後、次のステップＳＰ３７へ移ってこのルーチンＲＴ２を終了する。
【００７８】
この結果、疑似ステレオ化装置３０は、一般調和解析を用いて入力信号ｘ０（ｔ）を第１音源信号ＤＳ１と第１残差信号ＤＴ１とに分離し、再度一般調和解析を用いて当該第１残差信号ＤＴ１を第２音源信号ＤＳ２と第２残差信号ＤＴ２とに分離することができる。
【００７９】
これにより疑似ステレオ化装置３０は、例えばオーケストラの演奏を収録した音声信号のうち、チェロの音声成分のエネルギーが最も強くバイオリンの音声成分のエネルギーが２番目に強い場合に、このチェロの音声成分を第１音源信号ＤＳ１とし、またバイオリンの音声成分を第２音源信号ＤＳ２として、その他の楽器の音声でなる第２残差信号ＤＴ２からそれぞれ分離することができる。
【００８０】
さらに疑似ステレオ化装置３０は、出力処理部３２において、第１音源信号ＤＳ１に第２残差信号ＤＴ２を加算することにより、例えばチェロと、バイオリンを除いた他の楽器の音声とが含まれる出力信号Ｓ２Ｌを生成することができ、また第２音源信号ＤＳ２に第２残差信号ＤＴ２を加算することにより、例えばバイオリンと、チェロを除いた他の楽器の音声とが含まれる出力信号Ｓ２Ｒを生成することができる。
【００８１】
そして疑似ステレオ化装置３０は、出力信号Ｓ２Ｌ及びＳ２Ｒをそれぞれヘッドホン６の音響ユニット６Ｌ及び６Ｒへ送出することにより、例えばチェロの音声を左チャンネルのみから、バイオリンの音声を右チャンネルのみから、他の楽器を左右両方のチャンネルからそれぞれ聴取させるといった具合に、第１の実施の形態とは異なる疑似ステレオ音声をリスナに聴取させることができる。
【００８２】
（２−３）動作及び効果
以上の構成において、疑似ステレオ化装置３０は、アナログのモノラル入力信号Ｓ０をディジタル化して所定時間でなる１フレームに区分した入力信号ｘ０（ｔ）を音源分離部２Ａへ供給すると、第１の実施の形態における音源分離部２と同様に当該音源分離部２Ａによって一般調和解析を用いて第１音源信号ＤＳ１と第１残差信号ＤＴ１とに分離し、さらに当該第１残差信号ＤＴ１を音源分離部２Ｂへ供給して、当該音源分離部２Ｂによって一般調和解析を用いて第２音源信号ＤＳ２と第２残差信号ＤＴ２とに分離した後、出力処理部３２によって、第１音源信号ＤＳ１に第２残差信号ＤＴ２を加算して出力信号Ｓ２Ｌを生成すると共に第２音源信号ＤＳ２に第２残差信号ＤＴ２を加算して出力信号Ｓ２Ｒを生成して、当該出力信号Ｓ２Ｌ及びＳ２Ｒをヘッドホン６の音響ユニット６Ｌ及び６Ｒへ送出する。
【００８３】
従って疑似ステレオ化装置３０は、音源分離部２Ａ及び２Ｂにおいて、第１の実施の形態と同様の一般調和解析による音源分離処理を２段階で行うことにより、入力信号ｘ０（ｔ）を第１音源信号ＤＳ１、第２音源信号ＤＳ２、及び第２残差信号ＤＴ２に分離することができる。
【００８４】
このとき疑似ステレオ化装置３０は、入力信号ｘ０（ｔ）に含まれる音声成分のうち、最もエネルギーの大きい周期波及び２番目にエネルギーの大きい周期波に基づいて第１音源信号ＤＳ１及び第２音源信号ＤＳ２をそれぞれ生成することができると共に、その残差に相当する第２残差信号ＤＴ２も生成することができる。
【００８５】
そして疑似ステレオ化装置３０は、出力処理部３２によって、第１音源信号ＤＳ１に第２残差信号ＤＴ２を加算し、また第２音源信号ＤＳ２に第２残差信号ＤＴ２を加算することにより、互いに無相関な出力信号Ｓ２Ｌ及びＳ２Ｒを生成することができ、当該第１出力信号Ｓ２Ｌ及び第２出力信号Ｓ２Ｒをヘッドホン６の左右の音響ユニット６Ｌ及び６Ｒにそれぞれ送出することにより、リスナに疑似ステレオ音声を聴取させることができる。
【００８６】
このとき疑似ステレオ化装置３０は、例えばモノラルのオーケストラの演奏を収録した音声を基に、第１音源信号ＤＳ１のチェロの音声を左チャンネルのみから、第２音源信号ＤＳ２のバイオリンの音声を右チャンネルのみから、さらに第２残差信号ＤＴ２の他の楽器を左右両方のチャンネルから、それぞれリスナに聴取させることができるので、チェロとバイオリンの音像をそれぞれ左右に定位させ、さらに他の楽器の音像を中央に定位させることができ、音像の偏りが無く、音源が良く分離した疑似ステレオ音声を当該リスナに聴取させることができる。
【００８７】
以上の構成によれば、疑似ステレオ化装置３０は、音源分離部２Ａによって入力信号ｘ０（ｔ）を基に一般調和解析を用いて第１音源信号ＤＳ１と第１残差信号ＤＴ１とに分離し、さらに音源分離部２Ｂによって当該第１残差信号ＤＴ１を基に一般調和解析を用いて第２音源信号ＤＳ２と第２残差信号ＤＴ２とに分離してから、出力処理部３２によって第１音源信号ＤＳ１に第２残差信号ＤＴ２を加算して出力信号Ｓ２Ｌを生成すると共に第２音源信号ＤＳ２に第２残差信号ＤＴ２を加算して出力信号Ｓ２Ｒを生成して、ヘッドホン６を介して当該出力信号Ｓ２Ｌ及び出力信号Ｓ２Ｒの音声をリスナに聴取させることにより、モノラル入力信号Ｓ０を基にした、第１音源信号ＤＳ１及び第２音源信号ＤＳ２の音声をそれぞれ左右に振り分けると共に第２残差信号ＤＴ２の音声を左右の中央に定位させた疑似ステレオ音声をリスナに聴取させることができ、かくして格段に違和感の少ない疑似ステレオ音声をリスナに聴取させ得る疑似ステレオ化装置を実現することができる。
【００８８】
（３）第３の実施の形態
（３−１）疑似ステレオ化装置の構成
図１との対応部分に同一符号を付した図６において、５０は第３の実施の形態における疑似ステレオ化装置を示しており、疑似ステレオ化装置１（図１）の音源分離部２と同様の構成でなる音源分離部２を有し、出力処理部３に代えて出力処理部５２を有している以外は、第１の実施の形態と同様の構成を有している。
【００８９】
音源分離部２は、第１の実施の形態と同様に、信号区分処理回路１３から取得した１フレームの入力信号ｘ０（ｔ）を基に、音源信号ＤＳと残差信号ＤＴとを分離して出力処理部５２へ供給する。
【００９０】
出力処理部５２は、音源分離部２から供給された音源信号ＤＳと残差信号ＤＴとを、それぞれ音像定位処理回路５３Ｌ及び５３Ｒと、音像定位処理回路５４Ｌ及び５４Ｒとへ供給する。
【００９１】
ここで、音像定位処理回路５３Ｌ、５３Ｒ、５４Ｌ及び５４Ｒについて説明する。例えば図７に示すように、リスナの前方の位置Ｐに音源Ｇがあると仮定すると、当該音源Ｇからリスナの左右の耳までの距離や角度が互いに異なるため、当該リスナは、左右の耳によって互いに微妙に異なる音声を聴取することにより、この左右の耳で聴取した音声の違いを基に、音源Ｇが位置Ｐにあることを認識することができる。このとき、当該音源Ｇから出力された音声は、伝達関数ＨＬ及びＨＲを有する経路を介してリスナの右耳及び左耳に到達すると見なすことができ、このような伝達関数ＨＬ及びＨＲを時間軸に変換した左チャンネル及び右チャンネルのインパルス応答を予め測定あるいは計算しておく。
【００９２】
次に、リスナがヘッドホンを介して音声を聴取する場合を仮定する。リスナは、ヘッドホンを介して左右の耳から全く同じ音声（すなわちモノラル音声）を聴取した場合、その音像がリスナの左右方向における中央に定位しているように感じる。ここで、信号処理装置１００によって、モノラル音声信号Ｓｍｏｎｏを左右の音声信号に分配し、上述した左チャンネル及び右チャンネルのインパルス応答を左右の音声信号に対してそれぞれ畳み込んだ場合（以下、このような処理を音像定位処理と呼ぶ）、リスナは、ヘッドホンを介してこの左右の音声信号に基づく音声を聴取した際に、その音像が位置Ｐに定位しているように認識することができる。
【００９３】
そこで疑似ステレオ化装置５０（図６）の出力処理部５２は、音像定位処理回路５３Ｌ、５３Ｒ、５４Ｌ及び５４Ｒによって音像定位処理を行うことにより、音源信号ＤＳ及び残差信号ＤＴの音像をそれぞれ異なる位置に定位させるようになされている。
【００９４】
すなわち出力処理部５２の音像定位処理回路５３Ｌ及び５３Ｒは、図８に示すような、リスナの前方左側の位置ＰＬに音像が定位するような伝達関数ＨＳＬ及びＨＳＲに基づき、音像定位処理として、音源信号ＤＳに対して当該伝達関数ＨＳＬ及びＨＳＲを時間軸に変換した右チャンネル及び左チャンネルのインパルス応答をそれぞれ畳み込むことにより定位音源信号ＤＳＬ及びＤＳＲを生成し、それぞれ加算器５５Ｌ及び５５Ｒへ供給する。
【００９５】
また出力処理部５２の音像定位処理回路５４Ｌ及び５４Ｒは、図８におけるリスナの前方中央よりやや右寄りの位置ＰＲに音像が定位するような伝達関数ＨＴＬ及びＨＴＲに基づき、音像定位処理として、残差信号ＤＴに対して当該伝達関数ＨＴＬ及びＨＴＲを時間軸に変換した右チャンネル及び左チャンネルのインパルス応答をそれぞれ畳み込むことにより定位残差信号ＤＴＬ及びＤＴＲを生成し、それぞれ加算器５５Ｌ及び５５Ｒへ供給する。
【００９６】
そして出力処理部５２（図６）は、加算器５５Ｌによって定位音源信号ＤＳＬと定位残差信号ＤＴＬとを加算してディジタル出力信号Ｄ３Ｌを生成し、また加算器５５Ｒによって定位音源信号ＤＳＲと定位残差信号ＤＴＲとを加算してディジタル出力信号Ｄ３Ｒを生成する。
【００９７】
さらに出力処理部５２は、ディジタル出力信号Ｄ３Ｌ及びディジタル出力信号Ｄ３Ｒをディジタル／アナログ処理回路１８Ｌ及び１８Ｒによりそれぞれアナログ信号に変換し、これを増幅器１９Ｌ及び１９Ｒによって増幅することにより第１出力信号としての出力信号Ｓ３Ｌ及び第２出力信号としての出力信号Ｓ３Ｒを生成して、出力端子２０Ｌ及び２０Ｒを介してそれぞれヘッドホン６の左右の音響ユニット６Ｌ及び６Ｒへ送出する。
【００９８】
このように疑似ステレオ化装置５０は、モノラル入力信号Ｓ０をディジタル化した入力信号ｘ０（ｔ）を、音源分離部２によって音源信号ＤＳ及び残差信号ＤＴに分離し、さらに出力処理部５２によって、当該音源信号ＤＳを前方左側の位置に定位させると共に当該残差信号ＤＴを前方中央よりやや右寄りの位置に定位させるような出力信号Ｓ３Ｌ及びＳ３Ｒを生成して、当該出力信号Ｓ３Ｌ及びＳ３Ｒの音声をリスナに聴取させるようになされている。
【００９９】
（３−２）疑似ステレオ化処理手順
次に、疑似ステレオ化装置５０がモノラルの音声信号を疑似ステレオ化した疑似ステレオ音声を出力する際の疑似ステレオ化処理手順について、図９のフローチャートを用いて説明する。
【０１００】
疑似ステレオ化装置５０は、外部から入力端子１１を介してアナログのモノラル入力信号Ｓ０が入力されると、ルーチンＲＴ３の開始ステップから入ってステップＳＰ４１へ移る。ステップＳＰ４１において疑似ステレオ化装置５０は、ステップＳＰ１（図２）と同様に、モノラル入力信号Ｓ０をディジタル化して１フレーム分（０≦ｔ≦Ｌ）に区切った入力信号ｘ０（ｔ）を信号区分処理回路１３から音源分離部２へ供給した後、ステップＳＰ４２へ移る。
【０１０１】
ステップＳＰ４２において疑似ステレオ化装置５０は、音源分離部２によって音源分離サブルーチンＳＲＴ１（図３）の一連の処理を行い、入力信号ｘ０（ｔ）を基に音源信号ＤＳと残差信号ＤＴとに分離した後、音源信号ＤＳを出力処理部５２の音像定位処理５３Ｌ及び５３Ｒへ供給すると共に音源信号ＤＴを出力処理部５２の音像定位処理５４Ｌ及び５４Ｒへ供給して、再びルーチンＲＴ３に戻り、次のステップＳＰ４３へ移る。
【０１０２】
ステップＳＰ４３において疑似ステレオ化装置５０は、音像定位処理回路５３Ｌ及び５３Ｒにより音源信号ＤＳに音像定位処理を施して定位音源信号ＤＳＬ及びＤＳＲを生成し、それぞれ加算器５５Ｌ及び５５Ｒへ供給すると共に、音像定位処理回路５４Ｌ及び５４Ｒにより音源信号ＤＴに音像定位処理を施して定位残差信号ＤＴＬ及びＤＴＲを生成し、それぞれ加算器５５Ｌ及び５５Ｒへ供給して、次のステップＳＰ４４へ移る。
【０１０３】
ステップＳＰ４４において疑似ステレオ化装置５０は、加算器５５Ｌにより定位音源信号ＤＳＬと定位残差信号ＤＴＬとを加算してディジタル出力信号Ｄ３Ｌを生成すると共に、加算器５５Ｒにより定位音源信号ＤＳＲと定位残差信号ＤＴＲとを加算してディジタル出力信号Ｄ３Ｒを生成し、次のステップＳＰ４５へ移る。
【０１０４】
ステップＳＰ４５において疑似ステレオ化装置５０は、出力処理部５２のディジタル／アナログ処理回路１８Ｌ及び１８Ｒ、並びに増幅器１９Ｌ及び１９Ｒによって、ディジタル出力信号Ｄ３Ｌ及びディジタル出力信号Ｄ３Ｒをアナログ化して増幅することにより出力信号Ｓ３Ｌ及び出力信号Ｓ３Ｒを生成し、これらをそれぞれ出力端子２０Ｌ及び２０Ｒから出力した後、次のステップＳＰ４６へ移ってこのルーチンＲＴ３を終了する。
【０１０５】
この結果、疑似ステレオ化装置５０は、第１の実施の形態と同様に、音源分離部２により一般調和解析を用いて入力信号ｘ０（ｔ）を音源信号ＤＳと残差信号ＤＴとに分離することができ、例えばオーケストラの演奏を収録した音声信号のうちチェロの音声成分の信号強度が最も強い場合に、このチェロの音声成分を音源信号ＤＳとし、他の楽器の音声成分でなる残差信号ＤＴから分離することができる。
【０１０６】
さらに疑似ステレオ化装置５０は、出力処理部５２の音像定位処理回路５３Ｌ、５３Ｒ、５４Ｌ、及び５４Ｒにより音像定位処理を施して加算した出力信号Ｓ３Ｌ及びＳ３Ｒをそれぞれヘッドホン６の音響ユニット６Ｌ及び６Ｒへ出力することにより、例えばチェロの音声成分でなる音源信号ＤＳの音像を前方左側に定位させ、他の楽器の音声成分でなる残差信号ＤＴを前方中央よりやや右寄りに定位させた疑似ステレオ音声をリスナに聴取させることができる（図８）。
【０１０７】
（３−３）動作及び効果
以上の構成において、疑似ステレオ化装置５０は、アナログのモノラル入力信号Ｓ０をディジタル化して所定時間でなる１フレームに区分した入力信号ｘ０（ｔ）を音源分離部２へ供給すると、第１の実施の形態と同様に当該音源分離部２によって音源信号ＤＳと残差信号ＤＴとに分離した後、出力処理部５２の音像定位処理回路５３Ｌ、５３Ｒ、５４Ｌ、及び５４Ｒにより当該音源信号ＤＳ及び当該残差信号ＤＴにそれぞれ音像定位処理を施して定位音源信号ＤＳＬ及びＤＳＲと定位残差信号ＤＴＬ及びＤＴＲとを生成し、定位音源信号ＤＳＬと定位残差信号ＤＴＬとを加算して出力信号Ｓ３Ｌを生成すると共に、定位音源信号ＤＳＲと定位残差信号ＤＴＲとを加算して出力信号Ｓ３Ｒを生成して、ヘッドホン６を介して当該出力信号Ｓ３Ｌ及びＳ３Ｒをリスナに聴取させる。
【０１０８】
従って疑似ステレオ化装置５０は、音源分離部２において、第１の実施の形態と同様に一般調和解析を用いた音源分離処理を行うことにより、入力信号ｘ０（ｔ）を基に音源信号ＤＳと残差信号ＤＴとを分離することができ、例えばオーケストラの演奏を収録した音声信号からチェロの音声成分と他の楽器の音声成分とを分離することができる。
【０１０９】
そして疑似ステレオ化装置５０は、出力処理部５２の音像定位処理回路５３Ｌ、５３Ｒ、５４Ｌ、及び５４Ｒにより音源信号ＤＳ及び残差信号ＤＴに音像定位処理を施し、それぞれ加算した出力信号Ｄ３Ｌ及びＤ３Ｒをヘッドホン６の音響ユニット６Ｌ及び６Ｒへ出力することにより、リスナに疑似ステレオ音声を聴取させることができる。
【０１１０】
このとき疑似ステレオ化装置５０は、出力処理部５２の音像定位処理によって、例えばチェロの音声成分でなる音源信号ＤＳの音像を前方左側に定位させ、他の楽器の音声成分でなる残差信号ＤＴを前方中央よりやや右寄りに定位させた疑似ステレオ音声をリスナに聴取させることができ（図８）、当該リスナに広がり感のある音場を与えることができる。
【０１１１】
以上の構成によれば、疑似ステレオ化装置５０は、音源分離部２によって入力信号ｘ０（ｔ）を基に一般調和解析を用いて音源信号ＤＳと残差信号ＤＴとに分離した後、出力処理部５２により当該音源信号ＤＳ及び残差信号ＤＴに音像定位処理を施して加算した出力信号Ｓ３Ｌ及びＳ３Ｒを生成し、ヘッドホン６を介して当該出力信号Ｓ３Ｌ及びＳ３Ｒの音声をリスナに聴取させることにより、当該音源信号ＤＳ及び残差信号ＤＴによる音像を、左右の間の所望の位置に定位させた広がり感のある音場をリスナに与えることができ、かくして格段に違和感の少ない疑似ステレオ音声をリスナに聴取させ得る疑似ステレオ化装置を実現することができる。
【０１１２】
（４）他の実施の形態
なお上述した第１乃至第３の実施の形態においては、出力信号Ｓ１乃至Ｓ３をヘッドホン６へ送出するようにした場合について述べたが、本発明はこれに限らず、例えば図１との対応部分に同一符号を付した図１０に示すように、疑似ステレオ化装置７０がヘッドホン６に代えてスピーカ７６に出力信号を送出してリスナに疑似ステレオ音声を聴取させるようにしても良い。
【０１１３】
この場合、疑似ステレオ化装置７０は、出力処理部７２から２つのスピーカ７６Ｌ及び７６Ｒへ出力信号を出力する以外にも、当該出力処理部７２において３種類以上の出力信号を生成して３つ以上のスピーカ７６へ送出することによって、音声を再生するようにしてもよい。
【０１１４】
ちなみに出力処理部７２は、出力処理部３（図１）とほぼ同様の回路構成を有しているが、ヘッドホン６ではなく、スピーカ７６Ｌ及び７６Ｒを駆動可能な信号レベルに増幅した出力信号を送出するようになされている。
【０１１５】
また上述した第２の実施の形態においては、音源分離部２（音源分離部２Ａ及び２Ｂ）を２段階に用いて２つの音源信号ＤＳ（音源信号ＤＳ１及びＤＳ２）を分離するようにした場合について述べたが、本発明はこれに限らず、当該音源分離部２を３段階以上用いて３つ以上の音源信号ＤＳを分離するようにしても良い。
【０１１６】
この場合、各音源信号ＤＳ及び残差信号ＤＴを左右いずれかに適宜振り分ける以外にも、第３の実施の形態のように音像定位処理を施すことによって、各音源信号ＤＳ及び残差信号ＤＴの音像をそれぞれ所望の位置に定位させるようにしても良い。
【０１１７】
さらに上述した第２の実施の形態においては、第１音源信号ＤＳ１と第２残差信号ＤＴ２とを加算した出力信号Ｓ２Ｌを左側に、第２音源信号ＤＳ２と第２残差信号ＤＴ２とを加算して出力信号Ｓ２Ｒを右側にそれぞれ振り分けてリスナに聴取させるようにした場合について述べたが、本発明はこれに限らず、例えば第１音源信号ＤＳ１と第２音源信号ＤＳ２とを加算した出力信号を左側に、第２残差信号ＤＴ２を右側に振り分ける等、他の振り分け方としても良い。
【０１１８】
さらに上述した第３の実施の形態においては、出力処理部５２の音像定位処理回路５３Ｌ、５３Ｒ、５４Ｌ、及び５４Ｒによって、音源信号ＤＳを前方左側の位置に定位させると共に残差信号ＤＴを前方中央よりやや右寄りの位置に定位させるような出力信号Ｓ３Ｌ及びＳ３Ｒをそれぞれ生成するようにした場合について述べたが、本発明はこれに限らず、当該音源信号ＤＳ及び当該残差信号ＤＴをそれぞれ他の位置に定位させるような出力信号Ｓ３Ｌ及びＳ３Ｒをそれぞれ生成するようにしてもよい。
【０１１９】
さらに上述した第１乃至第３の実施の形態においては、モノラル入力信号Ｓ０を基に２チャンネルの出力信号Ｓ１Ｌ及びＳ１Ｒ等を生成するようにした場合について述べたが、本発明はこれに限らず、例えばステレオの入力信号に対して入力チャンネル毎に音源分離処理を行うことによって４チャンネルの出力信号を生成する等、任意の複数チャンネルの入力信号に対してそれぞれ音源分離処理を行うことにより任意の複数チャンネルの出力信号を生成するようにしても良い。
【０１２０】
さらに上述した第１乃至第３の実施の形態においては、音源分離部２、２Ａ及び２Ｂの周波数スペクトル解析処理回路１４、１４Ａ及び１４Ｂにおいて、２０［Ｈｚ］から２０［ｋＨｚ］の範囲を１０［Ｈｚ］ずつ周波数ｆを変化させるようにした場合について述べたが（ステップＳＰ１１乃至ＳＰ１５）、本発明はこれに限らず、任意の開始周波数から任意の終了周波数まで、当該周波数ｆを適宜変化させるようにしても良い。
【０１２１】
さらに上述した第１乃至第３実施の形態においては、音源分離部２、２Ａ及び２Ｂの周波数スペクトル解析処理回路１４、１４Ａ及び１４Ｂにおいて、残差エネルギーＥ（ｆ）が最も小さくなるものから８種類の周波数、すなわち基本周波数ｆ１及び副周波数ｆ２乃至ｆ８を選択するようにした場合について述べたが、本発明はこれに限らず、任意数の副周波数を選択するようにしても良い。
【０１２２】
さらに上述した第１乃至第３の実施の形態においては、音源分離部２、２Ａ及び２Ｂの高調波抽出処理回路１６、１６Ａ及び１６Ｂにより基本周波数ｆ１のほぼ整数倍となる副周波数ｆ２乃至ｆ８を高調波として選択するようにした場合について述べたが、本発明はこれに限らず、基本周波数ｆ１の時間的変化と、副周波数ｆ２乃至ｆ８の時間的変化との相関性を用いて高調波を選択するようにしても良い。
【０１２３】
さらに上述した第１乃至第３の実施の形態においては、疑似ステレオ化装置１、３０及び５０の音源分離部２、あるいは音源分離部２Ａ及び音源分離部２Ｂによって音源分離した後の音源信号ＤＳ及び残差信号ＤＴ、あるいは第１音源信号ＤＳ１、第２音源信号ＤＳ２及び第２残差信号ＤＴ２を、出力処理部３、３２及び５２によってアナログ音声信号に変換してリスナに聴取させるようにした場合について述べたが、本発明はこれに限らず、例えば疑似ステレオ化装置１、３０及び５０によって音源分離した後の音源信号ＤＳや残差信号ＤＴ等を、ディジタルデータとしてネットワークを介してリスナのネットワーク端末装置に送信するようにし、当該ネットワーク端末装置において出力処理部３、３２及び５２と同様の処理を行うことにより、当該リスナに疑似ステレオ音声を聴取させるようにしても良い。
【０１２４】
さらに上述した第１乃至第３の実施の形態においては、モノラル入力信号Ｓ０をリアルタイムで疑似ステレオ化してリスナに聴取させるようにした場合について述べたが、本発明はこれに限らず、モノラル入力信号Ｓ０を基に、音源分離部２（あるいは音源分離部２Ａ及び音源分離部２Ｂ）によって音源分離した後の音源信号ＤＳ及び残差信号ＤＴ、またはディジタル出力信号Ｄ２Ｌ及びＤ２Ｒ、Ｄ３Ｌ及びＤ３Ｒをディジタル音声データとして所定の記憶媒体に保存しておき、後から当該ディジタル音声データをアナログ音声信号に変換してリスナに聴取させるようにしても良い。
【０１２５】
例えば疑似ステレオ化装置１は、生成したディジタル音声データを予めＣＤ−Ｒ（Compact Disc-Recordable）等に保存しておくことにより、当該ＣＤ−ＲをＣＤプレーヤ等で再生したリスナに疑似ステレオ音声を聴取させることができる。また疑似ステレオ化装置１は、例えばネットワークを介して外部から入力信号ｘ０（ｔ）を受信し、上述した音源分離処理によって分離した音源信号ＤＳ及び残差信号ＤＴを、ディジタル音声データとしてハードディスクドライブ等の記憶手段に記憶しておき、後から再度ネットワークを介して当該ディジタル音声データをリスナのネットワーク端末装置に送信することにより、当該ネットワーク端末装置から当該リスナに疑似ステレオ音声を聴取させるようにしても良い。
【０１２６】
さらに上述した第１乃至第３の実施の形態においては、ハードウェア構成によってディジタル入力信号Ｄ０から音源信号ＤＳ及び残差信号ＤＴに分離する疑似ステレオ化装置１、３０及び５０に本発明を適用するようにした場合について述べたが、本発明はこれに限らず、上述した信号区分処理、周波数スペクトル解析処理、基本周期波抽出処理、高調波抽出処理及び波形合成処理を行う疑似ステレオ化プログラムを、例えばパーソナルコンピュータ等の情報処理装置にインストールし、当該情報処理装置によって音源分離処理を行うようにしても良い。
【０１２７】
この場合、疑似ステレオ化プログラムを情報処理装置にインストールして実行可能な状態にするためのプログラム格納媒体としては、例えばフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）、ＤＶＤ（Digital Versatile Disc）等のパッケージメディアのみならず、これらのプログラムが一時的もしくは永続的に格納される半導体メモリや磁気ディスクなどで実現しても良い。
【０１２８】
また、プログラム格納媒体にこれらのプログラムを格納する手段として、ローカルエリアネットワークやインターネット、ディジタル衛星放送等の有線及び無線通信媒体を利用してもよく、ルータやモデムなどの各種通信インターフェースを介して格納するようにしても良い。
【０１２９】
さらに上述した第３の実施の形態においては、ハードウェア構成でなる出力処理部５２の音源定位処理回路５３Ｌ及び５３Ｒ、５４Ｌ及び５４Ｒによって、音像を定位させる音像定位処理を行うようにした場合について述べたが、本発明はこれに限らず、例えば音像定位処理を行う音像定位プログラムを予め出力処理部５２の記憶手段（図示せず）に格納しておき、当該出力処理部５２内の制御部（図示せず）が当該音像定位プログラムを実行することにより音像を定位させるようにしても良い。
【０１３０】
さらに上述した第１の実施の形態においては、音源分離手段としての音源分離部２と、出力信号生成手段としての出力処理部３とによって疑似ステレオ化装置としての疑似ステレオ化装置１を構成する場合について述べたが、本発明はこれに限らず、その他種々の回路構成でなる音源分離手段と、出力信号生成手段とによって疑似ステレオ化装置を構成するようにしても良い。
【産業上の利用可能性】
【０１３１】
本発明は、ヘッドホンを介してリスナに疑似ステレオ音声を聴取させる疑似ステレオ化装置以外に、スピーカを介してリスナに疑似ステレオ音声を聴取させる疑似ステレオ化装置等でも利用できる。
【図面の簡単な説明】
【０１３２】
【図１】第１の実施の形態による疑似ステレオ化装置の構成を示すブロック図である。
【図２】第１の実施の形態による疑似ステレオ化処理手順を示すフローチャートである。
【図３】音源分離サブルーチンを示すフローチャートである。
【図４】第２の実施の形態による疑似ステレオ化装置の構成を示すブロック図である。
【図５】第２の実施の形態による疑似ステレオ化処理手順を示すフローチャートである。
【図６】第３の実施の形態による疑似ステレオ化装置の構成を示すブロック図である。
【図７】音像定位の例を示す略線図である。
【図８】第３の実施の形態による音像定位の説明に供する略線図である。
【図９】第３の実施の形態による疑似ステレオ化処理手順を示すフローチャートである。
【図１０】他の実施の形態による疑似ステレオ化装置の構成を示すブロック図である。
【図１１】従来の疑似ステレオ化装置の構成例を示すブロック図である。
【図１２】無相関化処理の例（１）を示す略線図である。
【図１３】無相関化処理の例（２）を示す略線図である。
【符号の説明】
【０１３３】
１、３０、５０、７０……疑似ステレオ化装置、２、２Ａ、２Ｂ……音源分離部、３、３２、５２、７２……出力処理部、６……ヘッドホン、６Ｌ、６Ｒ……音響ユニット、１３……信号区分処理回路、１４……周波数スペクトル解析処理回路、１５……基本周期波抽出処理回路、１６……高調波抽出処理回路、１７……波形合成処理回路、３５Ｌ、３５Ｒ、５５Ｌ、５５Ｒ……加算器、５３Ｌ、５３Ｒ、５４Ｌ、５４Ｒ……音像定位処理回路、７６Ｌ、７６Ｒ……スピーカ。
【特許請求の範囲】
【請求項１】
モノラル音声を擬似的にステレオ化する疑似ステレオ化装置において、
所定分析区間に区分けされたモノラル音声でなる入力信号を取得し、当該入力信号から抽出可能な周期波のうち、上記入力信号から上記周期波を差し引いた残差成分のエネルギーが最小となる基本周期波を選択し、上記入力信号から上記基本周期波成分及びその高調波成分を抽出し合成して音源信号を生成すると共に、上記入力信号から上記音源信号の成分を差し引いた残差信号を生成する音源分離手段と、
上記音源信号に基づき一方のチャンネルに相当する第１出力信号を生成すると共に、上記残差信号に基づき他方のチャンネルに相当する第２出力信号を生成する出力信号生成手段と
を具えることを特徴とする疑似ステレオ化装置。
【請求項２】
上記出力信号生成手段は、
上記音源信号と上記残差信号とを合成することにより上記第１出力信号を生成すると共に、上記残差信号に基づき上記第２出力信号を生成する
ことを特徴とする請求項１に記載の疑似ステレオ化装置。
【請求項３】
上記出力信号生成手段は、
上記音源信号に基づく音声の音像及び上記残差信号に基づく音声の音像がそれぞれ所定位置に定位するよう、上記音源信号及び上記残差信号に対してそれぞれ音像定位処理を施して上記第１出力信号及び上記第２出力信号を生成する
ことを特徴とする請求項１に記載の疑似ステレオ化装置。
【請求項４】
上記音源分離手段により生成された上記残差信号を新たな入力信号として、上記残差信号から抽出可能な周期波のうち、上記残差信号から上記周期波を差し引いた残差成分のエネルギーが最小となる第２基本周期波を選択し、上記残差信号から上記第２基本周期波成分及びその高調波成分を抽出し合成して第２音源信号を生成すると共に、上記残差信号から上記第２音源信号の成分を差し引いた第２残差信号を生成する第２音源分離手段
を具え、
上記出力信号生成手段は、
上記音源信号と上記第２残差信号とを合成することにより上記第１出力信号を生成すると共に、上記第２音源信号と上記第２残差信号とを合成することにより上記第２出力信号を生成する
ことを特徴とする請求項１に記載の疑似ステレオ化装置。
【請求項５】
上記出力信号生成手段は、
上記音源信号に基づく音声の音像、上記第２音源信号に基づく音声の音像及び上記第２残差信号による音像がそれぞれ所定位置に定位するよう、上記音源信号、上記第２音源信号及び上記第２残差信号に対してそれぞれ音像定位処理を施して上記第１出力信号及び上記第２出力信号を生成する
ことを特徴とする請求項４に記載の疑似ステレオ化装置。
【請求項６】
上記音源分離手段は、
上記分析区間が、以前に取得した上記入力信号の上記分析区間とオーバーラップした上記入力信号を取得する
ことを特徴とする請求項１に記載の疑似ステレオ化装置。
【請求項７】
モノラル音声を擬似的にステレオ化する疑似ステレオ化方法において、
所定分析区間に区分けされたモノラル音声でなる入力信号を取得し、当該入力信号のから抽出可能な周期波のうち、上記入力信号から上記周期波を差し引いた残差成分のエネルギーが最小となる基本周期波を選択し、上記入力信号から上記基本周期波成分及びその高調波成分を抽出し合成して音源信号を生成すると共に、上記入力信号から上記音源信号の成分を差し引いた残差信号を生成する音源分離ステップと、
上記音源信号に基づき一方のチャンネルに相当する第１出力信号を生成すると共に、上記残差信号に基づき他方のチャンネルに相当する第２出力信号を生成する出力信号生成ステップと
を具えることを特徴とする疑似ステレオ化方法。
【請求項８】
情報処理装置に対して、モノラル音声を擬似的にステレオ化する処理を実行させるための疑似ステレオ化プログラムにおいて、
所定分析区間に区分けされたモノラル音声でなる入力信号を取得し、当該入力信号のから抽出可能な周期波のうち、上記入力信号から上記周期波を差し引いた残差成分のエネルギーが最小となる基本周期波を選択し、上記入力信号から上記基本周期波成分及びその高調波成分を抽出し合成して音源信号を生成すると共に、上記入力信号から上記音源信号の成分を差し引いた残差信号を生成する音源分離ステップと、
上記音源信号に基づき一方のチャンネルに相当する第１出力信号を生成すると共に、上記残差信号に基づき他方のチャンネルに相当する第２出力信号を生成する出力信号生成ステップと
を実行させることを特徴とする疑似ステレオ化プログラム。
【請求項１】
モノラル音声を擬似的にステレオ化する疑似ステレオ化装置において、
所定分析区間に区分けされたモノラル音声でなる入力信号を取得し、当該入力信号から抽出可能な周期波のうち、上記入力信号から上記周期波を差し引いた残差成分のエネルギーが最小となる基本周期波を選択し、上記入力信号から上記基本周期波成分及びその高調波成分を抽出し合成して音源信号を生成すると共に、上記入力信号から上記音源信号の成分を差し引いた残差信号を生成する音源分離手段と、
上記音源信号に基づき一方のチャンネルに相当する第１出力信号を生成すると共に、上記残差信号に基づき他方のチャンネルに相当する第２出力信号を生成する出力信号生成手段と
を具えることを特徴とする疑似ステレオ化装置。
【請求項２】
上記出力信号生成手段は、
上記音源信号と上記残差信号とを合成することにより上記第１出力信号を生成すると共に、上記残差信号に基づき上記第２出力信号を生成する
ことを特徴とする請求項１に記載の疑似ステレオ化装置。
【請求項３】
上記出力信号生成手段は、
上記音源信号に基づく音声の音像及び上記残差信号に基づく音声の音像がそれぞれ所定位置に定位するよう、上記音源信号及び上記残差信号に対してそれぞれ音像定位処理を施して上記第１出力信号及び上記第２出力信号を生成する
ことを特徴とする請求項１に記載の疑似ステレオ化装置。
【請求項４】
上記音源分離手段により生成された上記残差信号を新たな入力信号として、上記残差信号から抽出可能な周期波のうち、上記残差信号から上記周期波を差し引いた残差成分のエネルギーが最小となる第２基本周期波を選択し、上記残差信号から上記第２基本周期波成分及びその高調波成分を抽出し合成して第２音源信号を生成すると共に、上記残差信号から上記第２音源信号の成分を差し引いた第２残差信号を生成する第２音源分離手段
を具え、
上記出力信号生成手段は、
上記音源信号と上記第２残差信号とを合成することにより上記第１出力信号を生成すると共に、上記第２音源信号と上記第２残差信号とを合成することにより上記第２出力信号を生成する
ことを特徴とする請求項１に記載の疑似ステレオ化装置。
【請求項５】
上記出力信号生成手段は、
上記音源信号に基づく音声の音像、上記第２音源信号に基づく音声の音像及び上記第２残差信号による音像がそれぞれ所定位置に定位するよう、上記音源信号、上記第２音源信号及び上記第２残差信号に対してそれぞれ音像定位処理を施して上記第１出力信号及び上記第２出力信号を生成する
ことを特徴とする請求項４に記載の疑似ステレオ化装置。
【請求項６】
上記音源分離手段は、
上記分析区間が、以前に取得した上記入力信号の上記分析区間とオーバーラップした上記入力信号を取得する
ことを特徴とする請求項１に記載の疑似ステレオ化装置。
【請求項７】
モノラル音声を擬似的にステレオ化する疑似ステレオ化方法において、
所定分析区間に区分けされたモノラル音声でなる入力信号を取得し、当該入力信号のから抽出可能な周期波のうち、上記入力信号から上記周期波を差し引いた残差成分のエネルギーが最小となる基本周期波を選択し、上記入力信号から上記基本周期波成分及びその高調波成分を抽出し合成して音源信号を生成すると共に、上記入力信号から上記音源信号の成分を差し引いた残差信号を生成する音源分離ステップと、
上記音源信号に基づき一方のチャンネルに相当する第１出力信号を生成すると共に、上記残差信号に基づき他方のチャンネルに相当する第２出力信号を生成する出力信号生成ステップと
を具えることを特徴とする疑似ステレオ化方法。
【請求項８】
情報処理装置に対して、モノラル音声を擬似的にステレオ化する処理を実行させるための疑似ステレオ化プログラムにおいて、
所定分析区間に区分けされたモノラル音声でなる入力信号を取得し、当該入力信号のから抽出可能な周期波のうち、上記入力信号から上記周期波を差し引いた残差成分のエネルギーが最小となる基本周期波を選択し、上記入力信号から上記基本周期波成分及びその高調波成分を抽出し合成して音源信号を生成すると共に、上記入力信号から上記音源信号の成分を差し引いた残差信号を生成する音源分離ステップと、
上記音源信号に基づき一方のチャンネルに相当する第１出力信号を生成すると共に、上記残差信号に基づき他方のチャンネルに相当する第２出力信号を生成する出力信号生成ステップと
を実行させることを特徴とする疑似ステレオ化プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００６−１４２２０（Ｐ２００６−１４２２０Ａ）
【公開日】平成１８年１月１２日（２００６．１．１２）
【国際特許分類】
【出願番号】特願２００４−１９１９５４（Ｐ２００４−１９１９５４）
【出願日】平成１６年６月２９日（２００４．６．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１８年１月１２日（２００６．１．１２）
【国際特許分類】
【出願日】平成１６年６月２９日（２００４．６．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]