ピッチ変換装置
【課題】声音を伴う楽曲の放音において、いわゆるフォルマントシフトの発生を抑えつつピッチを変換する。
【解決手段】記憶部１３には、声音の音波形を表すガイドボーカルデータ１３２及びコーラスデータ１３３と、楽曲の音波形を表す楽曲データ１３１とが記憶されている。制御部１１がこれらの波形データに基づいてスピーカ１５に放音させるときに、ピッチシフト操作子１２が操作されてピッチ変換処理を施すことが指示されると、第１ピッチ変換部１４３は、その操作内容に応じて、ガイドボーカルデータ１３２及びコーラスデータ１３３が表す音波形から音素波形を切り出して、ピッチ変換比に応じた周期で繰り返し出力する。一方、楽曲を表す楽曲データ１３１については、第２ピッチ変換部１４４は、音波形をピッチシフト操作子１２の操作内容に応じた比率で、時間軸上で伸縮させてピッチを変換する。
【解決手段】記憶部１３には、声音の音波形を表すガイドボーカルデータ１３２及びコーラスデータ１３３と、楽曲の音波形を表す楽曲データ１３１とが記憶されている。制御部１１がこれらの波形データに基づいてスピーカ１５に放音させるときに、ピッチシフト操作子１２が操作されてピッチ変換処理を施すことが指示されると、第１ピッチ変換部１４３は、その操作内容に応じて、ガイドボーカルデータ１３２及びコーラスデータ１３３が表す音波形から音素波形を切り出して、ピッチ変換比に応じた周期で繰り返し出力する。一方、楽曲を表す楽曲データ１３１については、第２ピッチ変換部１４４は、音波形をピッチシフト操作子１２の操作内容に応じた比率で、時間軸上で伸縮させてピッチを変換する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、波形データのピッチを変換する技術に関する。
【背景技術】
【０００２】
例えばカラオケ装置には、歌唱者自身が歌いやすいキー（調）で歌唱することを可能にするために演奏音のキーをシフトさせる、いわゆるキーコントロールと呼ばれる機能を有するものが多い。特許文献１には、波形データのバッファへの書込速度と読出速度とを異ならせることにより、波形データのピッチを変換する技術が開示されている。特許文献２には、クロスフェード方式によるピッチ変換処理が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３４５１９００号公報
【特許文献２】特開２００４−１５７４８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、ガイドボーカルやコーラスなどの声音を表す波形データに特許文献１，２に開示されたようなピッチ変換処理を施すと、声道特性が変化する、いわゆるフォルマントシフトが発生し、声質が変化したように歌唱者には聴こえてしまい、歌唱者に違和感を与えることがある。
本発明は上述した課題に鑑みてなされたものであり、その目的は、声音を伴う楽曲の放音において、いわゆるフォルマントシフトの発生を抑えつつピッチを変換することである。
【課題を解決するための手段】
【０００５】
上述した目的を達成するために、本発明に係るピッチ変換装置は、声の音波形を表す第１波形データと、楽曲の音波形を表す第２波形データとを取得する取得手段と、操作子と、前記取得手段が取得した第１波形データが示す音波形から音素を表す音素波形を切り出して、前記操作子に対する操作の内容に応じた周期で繰り返し出力する第１方式に従って、前記第１波形データのピッチを変換する第１ピッチ変換手段と、前記第１方式とは異なる第２方式に従って、前記取得手段が取得した第２波形データのピッチを前記操作の内容に応じて変換する第２ピッチ変換手段と、前記第１ピッチ変換手段によりピッチが変換された第１波形データと、前記第２ピッチ変換手段によりピッチが変換された第２波形データとを合成して放音手段に出力する出力手段とを備えることを特徴とする。
【０００６】
好ましい態様において、前記取得手段が取得したデータが前記第１波形データ又は前記第２波形データのいずれであるかを判定する判定手段を備え、前記第１ピッチ変換手段は、前記判定手段により前記第１波形データであると判定された波形データのピッチを変換し、前記第２ピッチ変換手段は、前記判定手段により前記第２波形データであると判定された波形データのピッチを変換する。
【０００７】
別の好ましい態様において、前記第２ピッチ変換手段は、前記第２波形データが表す音波形を前記操作の内容に応じた比率で時間軸上で伸縮する前記第２方式に従って、前記第２波形データのピッチを変換する。
【発明の効果】
【０００８】
本発明によれば、声音を伴う楽曲の放音において、いわゆるフォルマントシフトの発生を抑えつつピッチを変換することができる。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態に係る音処理装置の構成を示すブロック図
【図２】信号処理部の構成を示すブロック図
【図３】第２実施形態に係る音処理装置の構成を示すブロック図
【発明を実施するための形態】
【００１０】
以下、図面を参照しつつ本発明の実施形態について説明する。
［第１実施形態］
まず、本発明の第１実施形態について説明する。
図１は、この実施形態の音処理装置１のハードウェア構成を示すブロック図である。
音処理装置１は、ここではカラオケ装置である。図１に示すように、音処理装置１は、本発明のピッチ変換装置の一例であり、制御部１１と、ピッチシフト操作子１２と、記憶部１３と、信号処理部１４とを備える。図１に示すスピーカ１５は、信号処理部１４の図示せぬ接続端子に対して着脱可能な放音手段である。
【００１１】
制御部１１は、ＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備える。ＣＰＵは、ＲＡＭをワークエリアとして用いてＲＯＭや記憶部１３に記憶されたプログラムを実行して、音処理装置１の各部を制御する。ピッチシフト操作子１２は、軸を中心として回転するダイヤル型の操作子であり、どの程度ピッチを変更するかを歌唱者が指定するために操作されるものである。ピッチシフト操作子１２は、歌唱者によって操作されると、その操作の内容に応じた操作信号を制御部１１に出力する。記憶部１３は、例えばハードディスク装置を備えた記憶手段であり、制御部１１が動作するためのプログラムや、カラオケ伴奏に関する各種のデータを記憶する。信号処理部１４は、例えばＤＳＰ（Digital Signal Processor）であり、制御部１１の制御に応じて、各種の信号処理を行うものである。
音処理装置１は、上記以外にも、例えばリモコンや装置本体の操作子を含む操作部や、カラオケ演奏に関するイメージ画像や歌詞テロップを含む各種の情報を表示するための表示部、通信回線を介して接続された外部装置から楽曲データを取得するための通信部など、カラオケ装置が通常有している構成を備えるものである。
【００１２】
次に、記憶部１３の構成についてより詳細に説明する。
記憶部１３は、楽曲データ１３１Ａ、１３１Ｂ、・・・と、ガイドボーカルデータ１３２Ａ、１３２Ｂ、・・・と、コーラスデータ１３３Ａ、１３３Ｂ、・・・とを記憶する。これらのうち符号の末尾のアルファベットが同じデータどうしは、同一の楽曲に対応するデータである。
なお、楽曲データ１３１Ａ、１３１Ｂ、・・・の各々を特に区別する必要のないときは、これらを「楽曲データ１３１」と総称する。ガイドボーカルデータ１３２Ａ、１３２Ｂ、・・・の各々を特に区別する必要のないときは、これらを「ガイドボーカルデータ１３２」と総称する。コーラスデータ１３３Ａ、１３３Ｂ、・・・の各々を特に区別する必要のないときは、これらを「コーラスデータ１３３」と総称する。
【００１３】
楽曲データ１３１は、本発明の第２波形データの一例に相当し、楽曲のメロディの音波形を表す波形データである。楽曲データ１３１が表す楽曲には、特に断りのない限り声音（つまり、声を意味する音）は含まれていないものとする。以下の説明において、単に「楽曲」という場合は、楽曲データ１３１が表す楽曲である。
ガイドボーカルデータ１３２は、本発明の第１波形データの一例に相当し、楽曲に合わせて放音され得るガイドボーカルの音波形を表す波形データである。ガイドボーカルは、見本となる歌唱を表し、声に相当する音である。
コーラスデータ１３３は、本発明の第１波形データの一例に相当し、楽曲に合わせて放音され得るバックコーラスの音波形を表す波形データである。バックコーラスは、主旋律（ここでは、歌唱者の歌唱音）に付け加えられる合唱であり、ガイドボーカルと同様、声に相当する音である。
このように、カラオケ伴奏に関する波形データとして、声音に相当するバックコーラス及びガイドボーカルを表す波形データと、声音を含まない楽曲を表す波形データという、２種類に大別される波形データが記憶部１３には記憶されている。
【００１４】
また、楽曲データ１３１には、識別子「ＩＤ１」が割り当てられており、ガイドボーカルデータ１３２には、識別子「ＩＤ２」が割り当てられており、コーラスデータ１３３には、識別子「ＩＤ３」があらかじめ割り当てられている。制御部１１は、波形データの種類ごとに異なる識別子を参照することにより、記憶部１３から読み出した波形データが、楽曲データ１３１か、ガイドボーカルデータ１３２か、又はコーラスデータ１３３のいずれであるかを一意に特定することができる。
なお、この識別子は、例えば記憶部１３における記憶領域を識別するアドレス情報であってもよく、各波形データの種類を一意に特定できるものであればよい。さらに言うと、各波形データが、声に相当する音波形を表すものであるかを識別できればよく、例えばガイドボーカルデータ１３２及びコーラスデータ１３３に割り当てられる識別子が互いに同一であってもよい。また、この識別子は、例えば、音処理装置１が通信部を介してダウンロードする楽曲（つまり、波形データ）にもあらかじめ割り当てられている。
【００１５】
続いて、信号処理部１４の構成についてより詳細に説明する。
信号処理部１４は、デコーダ１４１，１４２と、第１ピッチ変換部１４３と、第２ピッチ変換部１４４と、ミキサ１４５と、Ｄ(Digital)／Ａ(Analog)変換部１４６とを備える。
デコーダ１４１，１４２は、制御部１１によって出力される波形データを取得する取得手段の一例に相当し、取得した波形データをデコードして出力するものである。より具体的には、デコーダ１４１は、制御部１１から取得したガイドボーカルデータ１３２、又はコーラスデータ１３３をデコードして、音波形を表すサンプルデータ（つまり、デコード後の波形データ）を時系列的に生成する。デコーダ１４１は、生成したサンプルデータ列を順次第１ピッチ変換部１４３に出力する。デコーダ１４２は、制御部１１から取得した楽曲データ１３１をデコードして、音波形を示すサンプルデータ列を生成する。デコーダ１４２は、生成したサンプルデータ列を順次第２ピッチ変換部１４４に出力する。このように、声の音波形を表すサンプルデータと、それ以外の音波形を表すサンプルデータとは、それぞれ異なるピッチ変換部に供給されるようになっている。その理由については後述する。
【００１６】
第１ピッチ変換部１４３は、本発明の第１方式の一例である音素再合成方式に従って、サンプルデータに対してピッチ変換処理を施すものである。
第２ピッチ変換部１４４は、本発明の第２方式の一例である時間伸縮方式に従って、サンプルデータに対してピッチ変換処理を施すものである。
第１ピッチ変換部１４３と第２ピッチ変換部１４４とは、同時に放音される声音及び楽曲の音波形を表すそれぞれの波形データに対し、並行してピッチ変換処理を施すものである。
このように、声音の音波形を表すサンプルデータに対しては音素再合成方式に従ってピッチ変換処理が施され、それ以外の音波形を表すサンプルデータに対しては時間伸縮方式に従ってピッチ変換処理が施される。
【００１７】
ミキサ１４５は、本発明の出力手段の一例に相当し、第１ピッチ変換部１４３によってピッチが変換されたサンプルデータと、第２ピッチ変換部１４４によってピッチが変換されたサンプルデータとを合成して出力するものである。
なお、ピッチ変換された楽曲データ１３１、ガイドボーカルデータ１３２及びコーラスデータ１３３が同期してミキサ１４５によってミキシングされるように、図示せぬバッファが、第１ピッチ変換部１４３とミキサ１４５との間、第２ピッチ変換部１４４とミキサ１４５との間にそれぞれ設けられる。このバッファにサンプルデータが一時的に蓄えられることによって、楽曲、バックコーラス及びガイドボーカルの放音タイミングが同期するように、制御部１１により同期制御が行われる。
【００１８】
Ｄ／Ａ変換部１４６は、ミキサ１４５からサンプルデータが供給されると、これをアナログ形式の音信号に変換して出力する。Ｄ／Ａ変換部１４６が出力する音信号は、スピーカ１５に供給される。
なお、Ｄ／Ａ変換部１４６とスピーカ１５との間には、実際にはプリアンプやパワーアンプが設けられるが、ここではその説明を省略する。
【００１９】
次に、第１ピッチ変換部１４３並びに第２ピッチ変換部１４４の構成、及びそれらによるピッチ変換に関する処理の内容について説明する。図２は、第１ピッチ変換部１４３及び第２ピッチ変換部１４４の構成をそれぞれより詳細に表した図である。
図２に示すように、第１ピッチ変換部１４３は、波形切り出し部１４３１と、再合成部１４３２とを備える。
波形切り出し部１４３１は、デコーダ１４１からサンプルデータ列を取得し、音素波形のサンプルデータ列を切り出して再合成部１４３２に出力するものである。音素波形は、音素を表す音波形であるが、例えば音素波形を表すサンプルデータのパターンが波形切り出し部１４３１にあらかじめ記憶されている。音素波形の切り出しにあっては、波形切り出し部１４３１は、例えばサンプルデータ列が表す音波形のピッチを検出し、その２ピッチ周期分の長さのハニングウィンドウをサンプルデータ列に乗じる処理を行う。時間的に連続している音素波形が所定の長さずつ切り出されるから、このハニングウィンドウを用いたウィンドウ処理は、その切り出し部分における信号の不連続性を緩和するために行われるものである。
【００２０】
再合成部１４３２は、波形切り出し部１４３１により切り出された音素波形のサンプルデータ列を所定の周期（つまり、ピッチ周期）で繰り返し出力する。再合成部１４３２は、元の音波形のピッチに対し、制御部１１により指示されたピッチ変換比（つまり、変換前の音波形のピッチに対する変換後の音波形のピッチの比）の逆数を乗じたピッチ周期でサンプルデータ列を出力する。これにより、第１ピッチ変換部１４３によりピッチ変換が施された波形データ（つまり、サンプルデータ列）が得られる。このピッチ周期は、変換後のピッチが高いほど短い周期となり、反対に、変換後のピッチが低いほど長い周期となる。
【００２１】
第２ピッチ変換部１４４は、メモリ１４４１と、第１乗算器１４４２と、第２乗算器１４４３と、加算器１４４４とを備える。
メモリ１４４１は、例えばリングバッファであり、デコーダ１４２から処理対象であるサンプルデータ列が供給されると、そのサンプルデータ列が順次書き込まれる。そして、このサンプルデータ列の書き込みと並行し、既に記憶されたサンプルデータの読み出しが制御部１１の制御の下で行われる。ここで、サンプルデータの読み出しは、その書込速度に対し、所望のピッチ変換比を乗じた読出速度で行われる。具体的には、変換後のピッチが高いほどこの読出速度は大きくなり、反対に、変換後のピッチが低いほど読出速度は小さくなる。このように、ピッチ変換後の音波形が、ピッチ変換比に従って時間軸方向に圧縮又は伸張した音波形となるように、サンプルデータがメモリ１４４１から読み出される。
【００２２】
また、第２ピッチ変換部１４４においては、或るサンプルデータの読み出しと並行して、サンプルデータの読み出しがそれとは別に行われる。後者の読み出しにあっては、前者の読出しに対して、半周期相当ずれたタイミングで行われる。このようにして相互に半周期ずれたタイミングで不連続点が現れる音波形の各サンプルデータがメモリ１４４１から並行して読み出され、一方の読み出しによるサンプルデータは第１乗算器１４４２に供給され、他方の読み出しによるサンプルデータは第２乗算器１４４３に供給される。第１乗算器１４４２及び第２乗算器１４４３は、各サンプルデータに乗算係数を乗じて、乗算結果を加算器１４４４に出力する。
【００２３】
加算器１４４４は、第１乗算器１４４２及び第２乗算器１４４３から供給される乗算結果を加算し、最終的なサンプルデータを出力する。なお、この際、不連続点の近傍のサンプルデータに対しては０が乗算されるように、第１乗算器１４４２及び第２乗算器１４４３の各乗算係数を連続的且つ滑らかに変化させる制御が行われる。
このように第２ピッチ変換部１４４は、いわゆるクロスフェード方式に従ってピッチ変換処理を施すものである。
音処理装置１の構成の説明は以上である。
【００２４】
続いて、音処理装置１の動作について図１を参照しつつ説明する。
以下の動作に説明においては、音処理装置１が、楽曲データ１３１、ガイドボーカルデータ１３２及びコーラスデータ１３３に基づいて放音する場合について説明する。
制御部１１は、或る楽曲を伴奏することを指示する操作が図示せぬ操作部に対して行われると、その操作の内容に応じて楽曲データ１３１、コーラスデータ１３３及びガイドボーカルデータ１３２をそれぞれ読み出す。このとき、制御部１１は、各波形データとともに、それらに対応付けられた識別子を読み出すことで、読み出した波形データがどの種類のものであるかを一意に識別し得る。また、制御部１１は、各波形データに基づく放音を並行して行わせるために、時分割処理によって各波形データを信号処理部１４に出力する。このとき、制御部１１は、楽曲データ１３１をデコーダ１４１に出力し、ガイドボーカルデータ１３２及びコーラスデータ１３３をデコーダ１４２に出力する。そして、制御部１１は、まずはデフォルトのピッチでそれらに基づく放音をさせるように、第１ピッチ変換部１４３を音素再合成方式に従ってピッチ変換処理を施すよう制御し、第２ピッチ変換部１４４を時間伸縮方式に従ってピッチ変換処理を施すよう制御する。
【００２５】
そして、制御部１１は、ピッチシフト操作子１２が歌唱者によって操作されて、波形データのピッチを変更する（つまり、ピッチ変換比を異ならせる）ことが指示されると、その操作の内容に応じたピッチ変換処理を施すよう第１ピッチ変換部１４３、及び第２ピッチ変換部１４４のそれぞれを制御する。具体的には、ピッチシフト操作子１２に対する操作がピッチを上げることを指示するものであった場合には、制御部１１は、再合成部１４３２が音素波形のサンプルデータ列を出力する周期を短くするよう第１ピッチ変換部１４３を制御するとともに、メモリ１４４１からのサンプルデータの読出速度が時間軸方向に圧縮されるものとなるように、第２ピッチ変換部１４４を制御する。反対に、ピッチシフト操作子１２に対する操作がピッチを下げることを指示するものであった場合には、制御部１１は、再合成部１４３２が音素波形のサンプルデータ列を出力する周期を長くするよう第１ピッチ変換部１４３を制御するとともに、メモリ１４４１からのサンプルデータの読出速度が時間軸方向に伸張されるものとなるように、第２ピッチ変換部１４４を制御する。
このピッチ変換処理において、制御部１１は、第１ピッチ変換部１４３及び第２ピッチ変換部１４４におけるピッチ変換比が同じとなるように制御する。
【００２６】
制御部１１にあっては、或る楽曲についてカラオケ伴奏する期間中においては、ピッチ変換に係る上記制御を繰り返し行う。なお、バックコーラスやガイドボーカルを伴わないカラオケ伴奏にあっては、制御部１１はその波形データについてのピッチ変換処理を省略する。
【００２７】
次に、バックコーラスやガイドボーカルのように、声音の音波形を表す波形データと、楽曲のように声音でない音波形を表す波形データとで、ピッチ変換の方式を異ならせている理由について説明する。
上記時間伸縮方式に従う第２ピッチ変換部１４４は、サンプルデータ列を時間軸方向に伸縮してピッチ変換を行うものであるから、音波形のフォルマント周波数がピッチと同じ比率で増減されてしまう。よって、ピッチ変換処理によって音波形によって表される声質まで変更されることとなる。これにより、例えば男性の声を表すガイドボーカルやコーラスがあった場合に、これをピッチを上げる方向にピッチ変換したとすると、あたかも女性の声のように聞こえてしまうことがある。この声道特性の変化が、いわゆるフォルマントシフトである。声音を伴う楽曲の伴奏においてフォルマントシフトが発生すると、歌唱者やその他の聴取者に違和感を与え、音の不具合であると認識させてしまう虞がある。
【００２８】
一方、音素再合成方式に従う第１ピッチ変換部１４３は、切り出した音素波形のサンプルデータの出力の周期を変化させるものであり、音波形のフォルマントを変化させることがない。これにより、デコードされた波形データであるサンプルデータ列にあっては、フォルマントシフトの発生を抑えつつピッチのみが変更される。一方、声を表すものでない波形データについては、声道特性について考慮する必要がないので、時間伸縮方式を採用して差し支えない。また、時間伸縮方式によれば、高速フーリエ変換（ＦＦＴ；Fast Fourier Transform）などを用いる周波数変換方式などと比べて、音質劣化を抑えることができる。また、上述したようなクロスフェード方式を採用することで、第２ピッチ変換部１４４は処理負荷を抑えつつピッチ変換処理を施すことができる。
【００２９】
以上説明した第１実施形態によれば、音処理装置１は、声音の音波形を表す波形データに対し、フォルマントシフトの発生を抑えられるように、音素再合成方式に従ってピッチ変換する。一方、音処理装置１は、楽曲の音波形を表す波形データに対し、音質劣化を抑え、処理負荷を軽減することが可能な時間伸縮方式に従ってピッチ変換する。このように、音処理装置１は、それぞれの音の種類に適したピッチ変換処理をその種類ごとに独立して施すから、声音を伴う楽曲の放音におけるピッチ変換処理において、フォルマントシフトの発生を抑えることができる。
【００３０】
［第２実施形態］
次に、本発明の第２実施形態について説明する。
この実施形態の音処理装置の全体的なハードウェア構成は、上述した第１実施形態と同じである。上述した第１実施形態では、記憶部１３において、あらかじめ声の音波形を表す波形データと、それ以外の波形データとが識別子に対応付けて管理され、その識別子によって各波形データがどの種類であるかを制御部１１が判別可能であった。これに対し、例えば音処理装置が外部装置から波形データを取得した場合など、各波形データの種類を識別子の参照によって特定できない場合も考えられる。この第２実施形態の音処理装置は、波形データを解析して、その波形データが表す音波形が声音に相当するものであるか否かを判定する機能を有する点で、第１実施形態の構成と異なる。
なお、以下の説明において、この実施形態の音処理装置が備える構成のうち、第１実施形態の音処理装置１が備える構成と共通するものは同一の符号を付して表し、それらの構成の説明を省略する。
【００３１】
図３は、この実施形態の音処理装置１ａの構成を示すブロック図である。
記憶部１３は、第１実施形態と同じで、楽曲データ１３１、ガイドボーカルデータ１３２、及びコーラスデータ１３３を記憶する。各波形データは上述した第１実施形態と同じものであるが、各波形データの種類を識別する識別子は対応付けられていないものとする。
また、図３に示すように、信号処理部１４ａは、デコーダ１４７と、判定部１４８と、第１ピッチ変換部１４３と、第２ピッチ変換部１４４と、ミキサ１４５と、Ｄ／Ａ変換部１４６とを備える。第１ピッチ変換部１４３、第２ピッチ変換部１４４、ミキサ１４５、及びＤ／Ａ変換部１４６の構成は第１実施形態と同じであるから、その説明を省略する。
【００３２】
デコーダ１４７は、制御部１１によって出力される波形データを取得する取得手段の一例に相当し、取得した波形データをデコードして出力するものである。つまり、デコーダ１４７は、上述した第１実施形態のデコーダ１４１，１４２と同等の機能を有する。ただし、デコーダ１４７は、制御部１１から取得した楽曲データ１３１、ガイドボーカルデータ１３２、又はコーラスデータ１３３をデコードして、音波形を示すサンプルデータ列を判定部１４８に出力する。
【００３３】
判定部１４８は、本発明の判定手段の一例であり、デコーダ１４７から取得したサンプルデータ列を解析して、そのサンプルデータ列が表す音波形が声音の音波形である否かを判定する。判定部１４８は、声音に相当すると判定したサンプルデータを第１ピッチ変換部１４３に出力し、それ以外のサンプルデータを第２ピッチ変換部１４４に出力する。
【００３４】
具体的には、判定部１４８は、例えば波形データに対して高速フーリエ変換を施すことによって周波数解析を行う。判定部１４８は、音圧レベルの周波数分布を解析し、声音の成分が含まれる周波数帯（以下、「声音帯域」という。）の音圧レベルに基づいて、音波形が声音に相当するものか否かを判定する。この声音帯域は、例えば１００Ｈｚ〜４００Ｈｚであるが、あらかじめ決められた周波数帯域であればよい。判定部１４８は、声音帯域の音圧レベルが、それ以外の可聴域（例えば、２０Ｈｚ〜２０ｋＨｚ）の音圧レベルの平均を基準として閾値以上であるか否かを判断する。そして、判定部１４８は、閾値以上であると判定したサンプルデータ列については第１ピッチ変換部１４３に出力する。一方、判定部１４８は、閾値未満であると判定したサンプルデータ列については第２ピッチ変換部１４４に出力する。
第１ピッチ変換部１４３及び第２ピッチ変換部１４４が実行する処理など、この実施形態で説明しなかった処理は、上述した第１実施形態と同じである。
【００３５】
なお、判定部１４８における声音であるか否かの判定は、上記以外にも種々の公知の構成を適用可能である。例えば、声音の音波形を表す波形パターンを記憶部１３に記憶しておき、判定部１４８は波形パターンとの一致度が閾値以上であると判定したサンプルデータ列については声音であると判定してもよい。
【００３６】
以上説明した第２実施形態によれば、音処理装置１ａは、声音であるか否かを特定するための識別子を波形データに対応付けて記憶していなくても、上述の第１実施形態と同等のピッチ変換処理を行うことが可能である。この構成により、例えば音処理装置１ａが外部装置からどのような種の波形データを取得した場合であっても、その波形データに適したピッチ変換処理を施すことができる。
【００３７】
［変形例］
本発明は、上述した実施形態と異なる形態で実施することが可能である。また、以下に示す変形例は、各々を適宜に組み合わせてもよい。
（変形例１）
上述した各実施形態では、本発明の信号処理装置をカラオケ装置である音処理装置１に適用した場合について説明した。これ以外にも、本発明の信号処理装置は、汎用のコンピュータ装置や電子楽器など、音に関する処理を行う種々の装置に適用可能である。
この場合において、声音の音波形を表す波形データが上述した各実施形態の種類のものでなくてもよい。
【００３８】
（変形例２）
上述した各実施形態では、第２ピッチ変換部１４４は、時間伸縮方式に従ってピッチ変換処理を施していたが、これ以外の方式に従ってピッチ変換処理を施してもよい。例えば、第２ピッチ変換部１４４が周波数変換方式に従ってピッチ変換処理を施してもよく、フォルマントシフトの有無に関係しない種々の方式を採用することができる。
また、第２ピッチ変換部１４４がピッチ変換処理を施す波形データは、声に相当する成分を全く含まない音波形を表すものに限定されない。要するに、第１ピッチ変換部１４３が所定の声の音波形の波形データをピッチ変換し、第２ピッチ変換部１４４がそれ以外の波形データをピッチ変換する構成であればよい。
【００３９】
（変形例３）
上述した第２実施形態において、第１ピッチ変換部１４３の波形切り出し部１４３１に相当する機能を判定部１４８が実現してもよい。この場合、第１ピッチ変換部１４３は、再合成部１４３２に相当する機能のみを実現する。
要するに、判定部１４８はデコーダ１４７から供給されるサンプルデータ列について音素波形の切り出しを試み、切り出した音素波形を表すサンプルデータ列を第１ピッチ変換部１４３に出力し、音素波形を表すものとして切り出せなかったサンプルデータ列を第２ピッチ変換部１４４に出力する。このように、判定部１４８は、音素波形の切り出しの可否に基づいて、声の音波形を表すサンプルデータ列（波形データ）であるか否かを判定してもよい。
【００４０】
（変形例４）
上述した各実施形態において、信号処理部１４，１４ａは、３系統の波形データに基づいてピッチ変換処理を施していたが、例えば２系統又は４系統以上であってもよい。
【００４１】
（変形例５）
上述した各実施形態における音処理装置１の制御部１１や信号処理部１４，１４ａによって実行されるプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどの、コンピュータが読取可能な記録媒体に記録した状態で提供し得る。また、インターネットのようなネットワーク経由で音処理装置１にダウンロードさせることも可能である。
【符号の説明】
【００４２】
１…音処理装置、１１…制御部、１２…ピッチシフト操作子、１３…記憶部、１３１…楽曲データ、１３２…コーラスデータ、１３３…ガイドボーカルデータ、１４，１４ａ…信号処理部、１４１，１４２，１４７…デコーダ、１４３…第１ピッチ変換部、１４３１…波形切り出し部、１４３２…再合成部、１４４…第２ピッチ変換部、１４４１…メモリ、１４４２…第１乗算器、１４４３…第２乗算器、１４４４…加算器、１４５…ミキサ、１４６…Ｄ／Ａ変換器、１４８…判定部。
【技術分野】
【０００１】
本発明は、波形データのピッチを変換する技術に関する。
【背景技術】
【０００２】
例えばカラオケ装置には、歌唱者自身が歌いやすいキー（調）で歌唱することを可能にするために演奏音のキーをシフトさせる、いわゆるキーコントロールと呼ばれる機能を有するものが多い。特許文献１には、波形データのバッファへの書込速度と読出速度とを異ならせることにより、波形データのピッチを変換する技術が開示されている。特許文献２には、クロスフェード方式によるピッチ変換処理が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３４５１９００号公報
【特許文献２】特開２００４−１５７４８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、ガイドボーカルやコーラスなどの声音を表す波形データに特許文献１，２に開示されたようなピッチ変換処理を施すと、声道特性が変化する、いわゆるフォルマントシフトが発生し、声質が変化したように歌唱者には聴こえてしまい、歌唱者に違和感を与えることがある。
本発明は上述した課題に鑑みてなされたものであり、その目的は、声音を伴う楽曲の放音において、いわゆるフォルマントシフトの発生を抑えつつピッチを変換することである。
【課題を解決するための手段】
【０００５】
上述した目的を達成するために、本発明に係るピッチ変換装置は、声の音波形を表す第１波形データと、楽曲の音波形を表す第２波形データとを取得する取得手段と、操作子と、前記取得手段が取得した第１波形データが示す音波形から音素を表す音素波形を切り出して、前記操作子に対する操作の内容に応じた周期で繰り返し出力する第１方式に従って、前記第１波形データのピッチを変換する第１ピッチ変換手段と、前記第１方式とは異なる第２方式に従って、前記取得手段が取得した第２波形データのピッチを前記操作の内容に応じて変換する第２ピッチ変換手段と、前記第１ピッチ変換手段によりピッチが変換された第１波形データと、前記第２ピッチ変換手段によりピッチが変換された第２波形データとを合成して放音手段に出力する出力手段とを備えることを特徴とする。
【０００６】
好ましい態様において、前記取得手段が取得したデータが前記第１波形データ又は前記第２波形データのいずれであるかを判定する判定手段を備え、前記第１ピッチ変換手段は、前記判定手段により前記第１波形データであると判定された波形データのピッチを変換し、前記第２ピッチ変換手段は、前記判定手段により前記第２波形データであると判定された波形データのピッチを変換する。
【０００７】
別の好ましい態様において、前記第２ピッチ変換手段は、前記第２波形データが表す音波形を前記操作の内容に応じた比率で時間軸上で伸縮する前記第２方式に従って、前記第２波形データのピッチを変換する。
【発明の効果】
【０００８】
本発明によれば、声音を伴う楽曲の放音において、いわゆるフォルマントシフトの発生を抑えつつピッチを変換することができる。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態に係る音処理装置の構成を示すブロック図
【図２】信号処理部の構成を示すブロック図
【図３】第２実施形態に係る音処理装置の構成を示すブロック図
【発明を実施するための形態】
【００１０】
以下、図面を参照しつつ本発明の実施形態について説明する。
［第１実施形態］
まず、本発明の第１実施形態について説明する。
図１は、この実施形態の音処理装置１のハードウェア構成を示すブロック図である。
音処理装置１は、ここではカラオケ装置である。図１に示すように、音処理装置１は、本発明のピッチ変換装置の一例であり、制御部１１と、ピッチシフト操作子１２と、記憶部１３と、信号処理部１４とを備える。図１に示すスピーカ１５は、信号処理部１４の図示せぬ接続端子に対して着脱可能な放音手段である。
【００１１】
制御部１１は、ＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備える。ＣＰＵは、ＲＡＭをワークエリアとして用いてＲＯＭや記憶部１３に記憶されたプログラムを実行して、音処理装置１の各部を制御する。ピッチシフト操作子１２は、軸を中心として回転するダイヤル型の操作子であり、どの程度ピッチを変更するかを歌唱者が指定するために操作されるものである。ピッチシフト操作子１２は、歌唱者によって操作されると、その操作の内容に応じた操作信号を制御部１１に出力する。記憶部１３は、例えばハードディスク装置を備えた記憶手段であり、制御部１１が動作するためのプログラムや、カラオケ伴奏に関する各種のデータを記憶する。信号処理部１４は、例えばＤＳＰ（Digital Signal Processor）であり、制御部１１の制御に応じて、各種の信号処理を行うものである。
音処理装置１は、上記以外にも、例えばリモコンや装置本体の操作子を含む操作部や、カラオケ演奏に関するイメージ画像や歌詞テロップを含む各種の情報を表示するための表示部、通信回線を介して接続された外部装置から楽曲データを取得するための通信部など、カラオケ装置が通常有している構成を備えるものである。
【００１２】
次に、記憶部１３の構成についてより詳細に説明する。
記憶部１３は、楽曲データ１３１Ａ、１３１Ｂ、・・・と、ガイドボーカルデータ１３２Ａ、１３２Ｂ、・・・と、コーラスデータ１３３Ａ、１３３Ｂ、・・・とを記憶する。これらのうち符号の末尾のアルファベットが同じデータどうしは、同一の楽曲に対応するデータである。
なお、楽曲データ１３１Ａ、１３１Ｂ、・・・の各々を特に区別する必要のないときは、これらを「楽曲データ１３１」と総称する。ガイドボーカルデータ１３２Ａ、１３２Ｂ、・・・の各々を特に区別する必要のないときは、これらを「ガイドボーカルデータ１３２」と総称する。コーラスデータ１３３Ａ、１３３Ｂ、・・・の各々を特に区別する必要のないときは、これらを「コーラスデータ１３３」と総称する。
【００１３】
楽曲データ１３１は、本発明の第２波形データの一例に相当し、楽曲のメロディの音波形を表す波形データである。楽曲データ１３１が表す楽曲には、特に断りのない限り声音（つまり、声を意味する音）は含まれていないものとする。以下の説明において、単に「楽曲」という場合は、楽曲データ１３１が表す楽曲である。
ガイドボーカルデータ１３２は、本発明の第１波形データの一例に相当し、楽曲に合わせて放音され得るガイドボーカルの音波形を表す波形データである。ガイドボーカルは、見本となる歌唱を表し、声に相当する音である。
コーラスデータ１３３は、本発明の第１波形データの一例に相当し、楽曲に合わせて放音され得るバックコーラスの音波形を表す波形データである。バックコーラスは、主旋律（ここでは、歌唱者の歌唱音）に付け加えられる合唱であり、ガイドボーカルと同様、声に相当する音である。
このように、カラオケ伴奏に関する波形データとして、声音に相当するバックコーラス及びガイドボーカルを表す波形データと、声音を含まない楽曲を表す波形データという、２種類に大別される波形データが記憶部１３には記憶されている。
【００１４】
また、楽曲データ１３１には、識別子「ＩＤ１」が割り当てられており、ガイドボーカルデータ１３２には、識別子「ＩＤ２」が割り当てられており、コーラスデータ１３３には、識別子「ＩＤ３」があらかじめ割り当てられている。制御部１１は、波形データの種類ごとに異なる識別子を参照することにより、記憶部１３から読み出した波形データが、楽曲データ１３１か、ガイドボーカルデータ１３２か、又はコーラスデータ１３３のいずれであるかを一意に特定することができる。
なお、この識別子は、例えば記憶部１３における記憶領域を識別するアドレス情報であってもよく、各波形データの種類を一意に特定できるものであればよい。さらに言うと、各波形データが、声に相当する音波形を表すものであるかを識別できればよく、例えばガイドボーカルデータ１３２及びコーラスデータ１３３に割り当てられる識別子が互いに同一であってもよい。また、この識別子は、例えば、音処理装置１が通信部を介してダウンロードする楽曲（つまり、波形データ）にもあらかじめ割り当てられている。
【００１５】
続いて、信号処理部１４の構成についてより詳細に説明する。
信号処理部１４は、デコーダ１４１，１４２と、第１ピッチ変換部１４３と、第２ピッチ変換部１４４と、ミキサ１４５と、Ｄ(Digital)／Ａ(Analog)変換部１４６とを備える。
デコーダ１４１，１４２は、制御部１１によって出力される波形データを取得する取得手段の一例に相当し、取得した波形データをデコードして出力するものである。より具体的には、デコーダ１４１は、制御部１１から取得したガイドボーカルデータ１３２、又はコーラスデータ１３３をデコードして、音波形を表すサンプルデータ（つまり、デコード後の波形データ）を時系列的に生成する。デコーダ１４１は、生成したサンプルデータ列を順次第１ピッチ変換部１４３に出力する。デコーダ１４２は、制御部１１から取得した楽曲データ１３１をデコードして、音波形を示すサンプルデータ列を生成する。デコーダ１４２は、生成したサンプルデータ列を順次第２ピッチ変換部１４４に出力する。このように、声の音波形を表すサンプルデータと、それ以外の音波形を表すサンプルデータとは、それぞれ異なるピッチ変換部に供給されるようになっている。その理由については後述する。
【００１６】
第１ピッチ変換部１４３は、本発明の第１方式の一例である音素再合成方式に従って、サンプルデータに対してピッチ変換処理を施すものである。
第２ピッチ変換部１４４は、本発明の第２方式の一例である時間伸縮方式に従って、サンプルデータに対してピッチ変換処理を施すものである。
第１ピッチ変換部１４３と第２ピッチ変換部１４４とは、同時に放音される声音及び楽曲の音波形を表すそれぞれの波形データに対し、並行してピッチ変換処理を施すものである。
このように、声音の音波形を表すサンプルデータに対しては音素再合成方式に従ってピッチ変換処理が施され、それ以外の音波形を表すサンプルデータに対しては時間伸縮方式に従ってピッチ変換処理が施される。
【００１７】
ミキサ１４５は、本発明の出力手段の一例に相当し、第１ピッチ変換部１４３によってピッチが変換されたサンプルデータと、第２ピッチ変換部１４４によってピッチが変換されたサンプルデータとを合成して出力するものである。
なお、ピッチ変換された楽曲データ１３１、ガイドボーカルデータ１３２及びコーラスデータ１３３が同期してミキサ１４５によってミキシングされるように、図示せぬバッファが、第１ピッチ変換部１４３とミキサ１４５との間、第２ピッチ変換部１４４とミキサ１４５との間にそれぞれ設けられる。このバッファにサンプルデータが一時的に蓄えられることによって、楽曲、バックコーラス及びガイドボーカルの放音タイミングが同期するように、制御部１１により同期制御が行われる。
【００１８】
Ｄ／Ａ変換部１４６は、ミキサ１４５からサンプルデータが供給されると、これをアナログ形式の音信号に変換して出力する。Ｄ／Ａ変換部１４６が出力する音信号は、スピーカ１５に供給される。
なお、Ｄ／Ａ変換部１４６とスピーカ１５との間には、実際にはプリアンプやパワーアンプが設けられるが、ここではその説明を省略する。
【００１９】
次に、第１ピッチ変換部１４３並びに第２ピッチ変換部１４４の構成、及びそれらによるピッチ変換に関する処理の内容について説明する。図２は、第１ピッチ変換部１４３及び第２ピッチ変換部１４４の構成をそれぞれより詳細に表した図である。
図２に示すように、第１ピッチ変換部１４３は、波形切り出し部１４３１と、再合成部１４３２とを備える。
波形切り出し部１４３１は、デコーダ１４１からサンプルデータ列を取得し、音素波形のサンプルデータ列を切り出して再合成部１４３２に出力するものである。音素波形は、音素を表す音波形であるが、例えば音素波形を表すサンプルデータのパターンが波形切り出し部１４３１にあらかじめ記憶されている。音素波形の切り出しにあっては、波形切り出し部１４３１は、例えばサンプルデータ列が表す音波形のピッチを検出し、その２ピッチ周期分の長さのハニングウィンドウをサンプルデータ列に乗じる処理を行う。時間的に連続している音素波形が所定の長さずつ切り出されるから、このハニングウィンドウを用いたウィンドウ処理は、その切り出し部分における信号の不連続性を緩和するために行われるものである。
【００２０】
再合成部１４３２は、波形切り出し部１４３１により切り出された音素波形のサンプルデータ列を所定の周期（つまり、ピッチ周期）で繰り返し出力する。再合成部１４３２は、元の音波形のピッチに対し、制御部１１により指示されたピッチ変換比（つまり、変換前の音波形のピッチに対する変換後の音波形のピッチの比）の逆数を乗じたピッチ周期でサンプルデータ列を出力する。これにより、第１ピッチ変換部１４３によりピッチ変換が施された波形データ（つまり、サンプルデータ列）が得られる。このピッチ周期は、変換後のピッチが高いほど短い周期となり、反対に、変換後のピッチが低いほど長い周期となる。
【００２１】
第２ピッチ変換部１４４は、メモリ１４４１と、第１乗算器１４４２と、第２乗算器１４４３と、加算器１４４４とを備える。
メモリ１４４１は、例えばリングバッファであり、デコーダ１４２から処理対象であるサンプルデータ列が供給されると、そのサンプルデータ列が順次書き込まれる。そして、このサンプルデータ列の書き込みと並行し、既に記憶されたサンプルデータの読み出しが制御部１１の制御の下で行われる。ここで、サンプルデータの読み出しは、その書込速度に対し、所望のピッチ変換比を乗じた読出速度で行われる。具体的には、変換後のピッチが高いほどこの読出速度は大きくなり、反対に、変換後のピッチが低いほど読出速度は小さくなる。このように、ピッチ変換後の音波形が、ピッチ変換比に従って時間軸方向に圧縮又は伸張した音波形となるように、サンプルデータがメモリ１４４１から読み出される。
【００２２】
また、第２ピッチ変換部１４４においては、或るサンプルデータの読み出しと並行して、サンプルデータの読み出しがそれとは別に行われる。後者の読み出しにあっては、前者の読出しに対して、半周期相当ずれたタイミングで行われる。このようにして相互に半周期ずれたタイミングで不連続点が現れる音波形の各サンプルデータがメモリ１４４１から並行して読み出され、一方の読み出しによるサンプルデータは第１乗算器１４４２に供給され、他方の読み出しによるサンプルデータは第２乗算器１４４３に供給される。第１乗算器１４４２及び第２乗算器１４４３は、各サンプルデータに乗算係数を乗じて、乗算結果を加算器１４４４に出力する。
【００２３】
加算器１４４４は、第１乗算器１４４２及び第２乗算器１４４３から供給される乗算結果を加算し、最終的なサンプルデータを出力する。なお、この際、不連続点の近傍のサンプルデータに対しては０が乗算されるように、第１乗算器１４４２及び第２乗算器１４４３の各乗算係数を連続的且つ滑らかに変化させる制御が行われる。
このように第２ピッチ変換部１４４は、いわゆるクロスフェード方式に従ってピッチ変換処理を施すものである。
音処理装置１の構成の説明は以上である。
【００２４】
続いて、音処理装置１の動作について図１を参照しつつ説明する。
以下の動作に説明においては、音処理装置１が、楽曲データ１３１、ガイドボーカルデータ１３２及びコーラスデータ１３３に基づいて放音する場合について説明する。
制御部１１は、或る楽曲を伴奏することを指示する操作が図示せぬ操作部に対して行われると、その操作の内容に応じて楽曲データ１３１、コーラスデータ１３３及びガイドボーカルデータ１３２をそれぞれ読み出す。このとき、制御部１１は、各波形データとともに、それらに対応付けられた識別子を読み出すことで、読み出した波形データがどの種類のものであるかを一意に識別し得る。また、制御部１１は、各波形データに基づく放音を並行して行わせるために、時分割処理によって各波形データを信号処理部１４に出力する。このとき、制御部１１は、楽曲データ１３１をデコーダ１４１に出力し、ガイドボーカルデータ１３２及びコーラスデータ１３３をデコーダ１４２に出力する。そして、制御部１１は、まずはデフォルトのピッチでそれらに基づく放音をさせるように、第１ピッチ変換部１４３を音素再合成方式に従ってピッチ変換処理を施すよう制御し、第２ピッチ変換部１４４を時間伸縮方式に従ってピッチ変換処理を施すよう制御する。
【００２５】
そして、制御部１１は、ピッチシフト操作子１２が歌唱者によって操作されて、波形データのピッチを変更する（つまり、ピッチ変換比を異ならせる）ことが指示されると、その操作の内容に応じたピッチ変換処理を施すよう第１ピッチ変換部１４３、及び第２ピッチ変換部１４４のそれぞれを制御する。具体的には、ピッチシフト操作子１２に対する操作がピッチを上げることを指示するものであった場合には、制御部１１は、再合成部１４３２が音素波形のサンプルデータ列を出力する周期を短くするよう第１ピッチ変換部１４３を制御するとともに、メモリ１４４１からのサンプルデータの読出速度が時間軸方向に圧縮されるものとなるように、第２ピッチ変換部１４４を制御する。反対に、ピッチシフト操作子１２に対する操作がピッチを下げることを指示するものであった場合には、制御部１１は、再合成部１４３２が音素波形のサンプルデータ列を出力する周期を長くするよう第１ピッチ変換部１４３を制御するとともに、メモリ１４４１からのサンプルデータの読出速度が時間軸方向に伸張されるものとなるように、第２ピッチ変換部１４４を制御する。
このピッチ変換処理において、制御部１１は、第１ピッチ変換部１４３及び第２ピッチ変換部１４４におけるピッチ変換比が同じとなるように制御する。
【００２６】
制御部１１にあっては、或る楽曲についてカラオケ伴奏する期間中においては、ピッチ変換に係る上記制御を繰り返し行う。なお、バックコーラスやガイドボーカルを伴わないカラオケ伴奏にあっては、制御部１１はその波形データについてのピッチ変換処理を省略する。
【００２７】
次に、バックコーラスやガイドボーカルのように、声音の音波形を表す波形データと、楽曲のように声音でない音波形を表す波形データとで、ピッチ変換の方式を異ならせている理由について説明する。
上記時間伸縮方式に従う第２ピッチ変換部１４４は、サンプルデータ列を時間軸方向に伸縮してピッチ変換を行うものであるから、音波形のフォルマント周波数がピッチと同じ比率で増減されてしまう。よって、ピッチ変換処理によって音波形によって表される声質まで変更されることとなる。これにより、例えば男性の声を表すガイドボーカルやコーラスがあった場合に、これをピッチを上げる方向にピッチ変換したとすると、あたかも女性の声のように聞こえてしまうことがある。この声道特性の変化が、いわゆるフォルマントシフトである。声音を伴う楽曲の伴奏においてフォルマントシフトが発生すると、歌唱者やその他の聴取者に違和感を与え、音の不具合であると認識させてしまう虞がある。
【００２８】
一方、音素再合成方式に従う第１ピッチ変換部１４３は、切り出した音素波形のサンプルデータの出力の周期を変化させるものであり、音波形のフォルマントを変化させることがない。これにより、デコードされた波形データであるサンプルデータ列にあっては、フォルマントシフトの発生を抑えつつピッチのみが変更される。一方、声を表すものでない波形データについては、声道特性について考慮する必要がないので、時間伸縮方式を採用して差し支えない。また、時間伸縮方式によれば、高速フーリエ変換（ＦＦＴ；Fast Fourier Transform）などを用いる周波数変換方式などと比べて、音質劣化を抑えることができる。また、上述したようなクロスフェード方式を採用することで、第２ピッチ変換部１４４は処理負荷を抑えつつピッチ変換処理を施すことができる。
【００２９】
以上説明した第１実施形態によれば、音処理装置１は、声音の音波形を表す波形データに対し、フォルマントシフトの発生を抑えられるように、音素再合成方式に従ってピッチ変換する。一方、音処理装置１は、楽曲の音波形を表す波形データに対し、音質劣化を抑え、処理負荷を軽減することが可能な時間伸縮方式に従ってピッチ変換する。このように、音処理装置１は、それぞれの音の種類に適したピッチ変換処理をその種類ごとに独立して施すから、声音を伴う楽曲の放音におけるピッチ変換処理において、フォルマントシフトの発生を抑えることができる。
【００３０】
［第２実施形態］
次に、本発明の第２実施形態について説明する。
この実施形態の音処理装置の全体的なハードウェア構成は、上述した第１実施形態と同じである。上述した第１実施形態では、記憶部１３において、あらかじめ声の音波形を表す波形データと、それ以外の波形データとが識別子に対応付けて管理され、その識別子によって各波形データがどの種類であるかを制御部１１が判別可能であった。これに対し、例えば音処理装置が外部装置から波形データを取得した場合など、各波形データの種類を識別子の参照によって特定できない場合も考えられる。この第２実施形態の音処理装置は、波形データを解析して、その波形データが表す音波形が声音に相当するものであるか否かを判定する機能を有する点で、第１実施形態の構成と異なる。
なお、以下の説明において、この実施形態の音処理装置が備える構成のうち、第１実施形態の音処理装置１が備える構成と共通するものは同一の符号を付して表し、それらの構成の説明を省略する。
【００３１】
図３は、この実施形態の音処理装置１ａの構成を示すブロック図である。
記憶部１３は、第１実施形態と同じで、楽曲データ１３１、ガイドボーカルデータ１３２、及びコーラスデータ１３３を記憶する。各波形データは上述した第１実施形態と同じものであるが、各波形データの種類を識別する識別子は対応付けられていないものとする。
また、図３に示すように、信号処理部１４ａは、デコーダ１４７と、判定部１４８と、第１ピッチ変換部１４３と、第２ピッチ変換部１４４と、ミキサ１４５と、Ｄ／Ａ変換部１４６とを備える。第１ピッチ変換部１４３、第２ピッチ変換部１４４、ミキサ１４５、及びＤ／Ａ変換部１４６の構成は第１実施形態と同じであるから、その説明を省略する。
【００３２】
デコーダ１４７は、制御部１１によって出力される波形データを取得する取得手段の一例に相当し、取得した波形データをデコードして出力するものである。つまり、デコーダ１４７は、上述した第１実施形態のデコーダ１４１，１４２と同等の機能を有する。ただし、デコーダ１４７は、制御部１１から取得した楽曲データ１３１、ガイドボーカルデータ１３２、又はコーラスデータ１３３をデコードして、音波形を示すサンプルデータ列を判定部１４８に出力する。
【００３３】
判定部１４８は、本発明の判定手段の一例であり、デコーダ１４７から取得したサンプルデータ列を解析して、そのサンプルデータ列が表す音波形が声音の音波形である否かを判定する。判定部１４８は、声音に相当すると判定したサンプルデータを第１ピッチ変換部１４３に出力し、それ以外のサンプルデータを第２ピッチ変換部１４４に出力する。
【００３４】
具体的には、判定部１４８は、例えば波形データに対して高速フーリエ変換を施すことによって周波数解析を行う。判定部１４８は、音圧レベルの周波数分布を解析し、声音の成分が含まれる周波数帯（以下、「声音帯域」という。）の音圧レベルに基づいて、音波形が声音に相当するものか否かを判定する。この声音帯域は、例えば１００Ｈｚ〜４００Ｈｚであるが、あらかじめ決められた周波数帯域であればよい。判定部１４８は、声音帯域の音圧レベルが、それ以外の可聴域（例えば、２０Ｈｚ〜２０ｋＨｚ）の音圧レベルの平均を基準として閾値以上であるか否かを判断する。そして、判定部１４８は、閾値以上であると判定したサンプルデータ列については第１ピッチ変換部１４３に出力する。一方、判定部１４８は、閾値未満であると判定したサンプルデータ列については第２ピッチ変換部１４４に出力する。
第１ピッチ変換部１４３及び第２ピッチ変換部１４４が実行する処理など、この実施形態で説明しなかった処理は、上述した第１実施形態と同じである。
【００３５】
なお、判定部１４８における声音であるか否かの判定は、上記以外にも種々の公知の構成を適用可能である。例えば、声音の音波形を表す波形パターンを記憶部１３に記憶しておき、判定部１４８は波形パターンとの一致度が閾値以上であると判定したサンプルデータ列については声音であると判定してもよい。
【００３６】
以上説明した第２実施形態によれば、音処理装置１ａは、声音であるか否かを特定するための識別子を波形データに対応付けて記憶していなくても、上述の第１実施形態と同等のピッチ変換処理を行うことが可能である。この構成により、例えば音処理装置１ａが外部装置からどのような種の波形データを取得した場合であっても、その波形データに適したピッチ変換処理を施すことができる。
【００３７】
［変形例］
本発明は、上述した実施形態と異なる形態で実施することが可能である。また、以下に示す変形例は、各々を適宜に組み合わせてもよい。
（変形例１）
上述した各実施形態では、本発明の信号処理装置をカラオケ装置である音処理装置１に適用した場合について説明した。これ以外にも、本発明の信号処理装置は、汎用のコンピュータ装置や電子楽器など、音に関する処理を行う種々の装置に適用可能である。
この場合において、声音の音波形を表す波形データが上述した各実施形態の種類のものでなくてもよい。
【００３８】
（変形例２）
上述した各実施形態では、第２ピッチ変換部１４４は、時間伸縮方式に従ってピッチ変換処理を施していたが、これ以外の方式に従ってピッチ変換処理を施してもよい。例えば、第２ピッチ変換部１４４が周波数変換方式に従ってピッチ変換処理を施してもよく、フォルマントシフトの有無に関係しない種々の方式を採用することができる。
また、第２ピッチ変換部１４４がピッチ変換処理を施す波形データは、声に相当する成分を全く含まない音波形を表すものに限定されない。要するに、第１ピッチ変換部１４３が所定の声の音波形の波形データをピッチ変換し、第２ピッチ変換部１４４がそれ以外の波形データをピッチ変換する構成であればよい。
【００３９】
（変形例３）
上述した第２実施形態において、第１ピッチ変換部１４３の波形切り出し部１４３１に相当する機能を判定部１４８が実現してもよい。この場合、第１ピッチ変換部１４３は、再合成部１４３２に相当する機能のみを実現する。
要するに、判定部１４８はデコーダ１４７から供給されるサンプルデータ列について音素波形の切り出しを試み、切り出した音素波形を表すサンプルデータ列を第１ピッチ変換部１４３に出力し、音素波形を表すものとして切り出せなかったサンプルデータ列を第２ピッチ変換部１４４に出力する。このように、判定部１４８は、音素波形の切り出しの可否に基づいて、声の音波形を表すサンプルデータ列（波形データ）であるか否かを判定してもよい。
【００４０】
（変形例４）
上述した各実施形態において、信号処理部１４，１４ａは、３系統の波形データに基づいてピッチ変換処理を施していたが、例えば２系統又は４系統以上であってもよい。
【００４１】
（変形例５）
上述した各実施形態における音処理装置１の制御部１１や信号処理部１４，１４ａによって実行されるプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどの、コンピュータが読取可能な記録媒体に記録した状態で提供し得る。また、インターネットのようなネットワーク経由で音処理装置１にダウンロードさせることも可能である。
【符号の説明】
【００４２】
１…音処理装置、１１…制御部、１２…ピッチシフト操作子、１３…記憶部、１３１…楽曲データ、１３２…コーラスデータ、１３３…ガイドボーカルデータ、１４，１４ａ…信号処理部、１４１，１４２，１４７…デコーダ、１４３…第１ピッチ変換部、１４３１…波形切り出し部、１４３２…再合成部、１４４…第２ピッチ変換部、１４４１…メモリ、１４４２…第１乗算器、１４４３…第２乗算器、１４４４…加算器、１４５…ミキサ、１４６…Ｄ／Ａ変換器、１４８…判定部。
【特許請求の範囲】
【請求項１】
声の音波形を表す第１波形データと、楽曲の音波形を表す第２波形データとを取得する取得手段と、
操作子と、
前記取得手段が取得した第１波形データが示す音波形から音素を表す音素波形を切り出して、前記操作子に対する操作の内容に応じた周期で繰り返し出力する第１方式に従って、前記第１波形データのピッチを変換する第１ピッチ変換手段と、
前記第１方式とは異なる第２方式に従って、前記取得手段が取得した第２波形データのピッチを前記操作の内容に応じて変換する第２ピッチ変換手段と、
前記第１ピッチ変換手段によりピッチが変換された第１波形データと、前記第２ピッチ変換手段によりピッチが変換された第２波形データとを合成して放音手段に出力する出力手段と
を備えることを特徴とするピッチ変換装置。
【請求項２】
前記取得手段が取得したデータが前記第１波形データ又は前記第２波形データのいずれであるかを判定する判定手段を備え、
前記第１ピッチ変換手段は、前記判定手段により前記第１波形データであると判定された波形データのピッチを変換し、
前記第２ピッチ変換手段は、前記判定手段により前記第２波形データであると判定された波形データのピッチを変換する
ことを特徴とする請求項１に記載のピッチ変換装置。
【請求項３】
前記第２ピッチ変換手段は、
前記第２波形データが表す音波形を前記操作の内容に応じた比率で時間軸上で伸縮する前記第２方式に従って、前記第２波形データのピッチを変換する
ことを特徴とする請求項１又は２に記載のピッチ変換装置。
【請求項１】
声の音波形を表す第１波形データと、楽曲の音波形を表す第２波形データとを取得する取得手段と、
操作子と、
前記取得手段が取得した第１波形データが示す音波形から音素を表す音素波形を切り出して、前記操作子に対する操作の内容に応じた周期で繰り返し出力する第１方式に従って、前記第１波形データのピッチを変換する第１ピッチ変換手段と、
前記第１方式とは異なる第２方式に従って、前記取得手段が取得した第２波形データのピッチを前記操作の内容に応じて変換する第２ピッチ変換手段と、
前記第１ピッチ変換手段によりピッチが変換された第１波形データと、前記第２ピッチ変換手段によりピッチが変換された第２波形データとを合成して放音手段に出力する出力手段と
を備えることを特徴とするピッチ変換装置。
【請求項２】
前記取得手段が取得したデータが前記第１波形データ又は前記第２波形データのいずれであるかを判定する判定手段を備え、
前記第１ピッチ変換手段は、前記判定手段により前記第１波形データであると判定された波形データのピッチを変換し、
前記第２ピッチ変換手段は、前記判定手段により前記第２波形データであると判定された波形データのピッチを変換する
ことを特徴とする請求項１に記載のピッチ変換装置。
【請求項３】
前記第２ピッチ変換手段は、
前記第２波形データが表す音波形を前記操作の内容に応じた比率で時間軸上で伸縮する前記第２方式に従って、前記第２波形データのピッチを変換する
ことを特徴とする請求項１又は２に記載のピッチ変換装置。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１１−２１５２２８（Ｐ２０１１−２１５２２８Ａ）
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願番号】特願２０１０−８１２０５（Ｐ２０１０−８１２０５）
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]