カラオケ装置、歌唱評価方法およびプログラム
【課題】フォール歌唱を検出して評価するカラオケ装置、評価方法およびプログラムを提供すること。
【解決手段】本発明のカラオケ装置は、歌唱のフレーズの最後など所定時間無音になることによりピッチが抽出できない場合に、最後にピッチ抽出部１０１が抽出したピッチＰｉｔｃｈ（β）と、さらにフレーム数ｎだけ前のピッチＰｉｔｃｈ（α）を認識することができる。そして、Ｐｉｔｃｈ（α）−Ｐｉｔｃｈ（β）が設定値ｋより大きい場合には、フレーム数ｎに対応する時間内に設定値ｋより大きくピッチが下がったことになり、フォール歌唱の状態になったといえるから、歌唱者の歌唱の評価による採点結果にフォール歌唱の影響を加えることができる。
【解決手段】本発明のカラオケ装置は、歌唱のフレーズの最後など所定時間無音になることによりピッチが抽出できない場合に、最後にピッチ抽出部１０１が抽出したピッチＰｉｔｃｈ（β）と、さらにフレーム数ｎだけ前のピッチＰｉｔｃｈ（α）を認識することができる。そして、Ｐｉｔｃｈ（α）−Ｐｉｔｃｈ（β）が設定値ｋより大きい場合には、フレーム数ｎに対応する時間内に設定値ｋより大きくピッチが下がったことになり、フォール歌唱の状態になったといえるから、歌唱者の歌唱の評価による採点結果にフォール歌唱の影響を加えることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歌唱を採点するカラオケ装置において、特殊な歌唱技法を評価する技術に関する。
【背景技術】
【０００２】
カラオケ装置において、歌唱者の歌唱の巧拙を点数で表示する採点機能を備えたものがある。このような採点機能のうち、できるだけ実際の歌唱の巧拙と採点の結果が対応するように、歌唱者の歌唱音声信号から抽出された音程データや音量データなどのデータと、カラオケ曲の歌唱旋律（ガイドメロディ）と対応するデータとの比較機能を持たせたものがある（例えば、特許文献１）。
【特許文献１】特開平１０−６９２１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
このような採点機能を備えたカラオケ装置によって、１音を単位としてノートごとの音程変化などを比較して採点することが可能になったが、この採点機能は、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）形式でデータ化されたガイドメロディを基準にして、歌唱者の歌唱と比較していたため、楽譜上の音符を基準にした採点に止まっていた。そのため、このような採点を行った場合、実際の巧拙の印象とは異なった採点結果となることがあった。例えば、歌唱の途中のある音において、その音の最後の部分で音程を下げるようにして歌う歌唱（以下、フォール歌唱という）を行った場合、巧く聞こえることがあるにもかかわらず、本来歌唱すべきピッチからずれていくことになるために、採点結果が低くなることもあった。
【０００４】
本発明は、上述の事情に鑑みてなされたものであり、フォール歌唱を検出して評価するカラオケ装置、歌唱評価方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述の課題を解決するため、本発明は、楽曲を再生する再生手段と、前記楽曲の再生の間に入力された歌唱者の歌唱に基づいて歌唱者音声データを生成する音声入力手段と、前記歌唱者音声データに基づいて、前記歌唱者の歌唱のピッチを抽出するピッチ抽出手段と、前記ピッチ抽出手段が所定時間以上連続してピッチを抽出できない期間がある場合には、当該期間前の所定のタイミングにおいて前記ピッチ抽出手段によって抽出されたピッチを第１のピッチとして特定する第１の特定手段と、前記ピッチ抽出手段によって前記第１のピッチが抽出されたタイミングから、予め設定された設定時間前のタイミングにおいて前記ピッチ抽出手段によって抽出されたピッチを第２のピッチとして特定する第２の特定手段と、前記第２のピッチが前記第１のピッチに対して所定ピッチ以上大きい場合には、識別信号を出力する識別手段と、前記識別手段から出力された識別信号に基づいて、予め定められた処理を行う評価手段とを具備することを特徴とするカラオケ装置を提供する。
【０００６】
また、本発明は、楽曲の進行に対応して歌唱者が歌唱すべきメロディを示すガイドメロディデータを記憶する記憶手段と、前記楽曲の進行に対応して入力された歌唱者の歌唱に基づいて歌唱者音声データを生成する音声入力手段と、前記歌唱者音声データに基づいて、前記歌唱者の歌唱のピッチを前記楽曲の進行に対応して抽出するピッチ抽出手段と、前記ピッチ抽出手段が前記楽曲の進行に対して所定時間以上連続してピッチを抽出できない期間がある場合には、当該期間前の所定のタイミングにおいて前記ピッチ抽出手段によって抽出されたピッチを第１のピッチとして特定する第１の特定手段と、前記ガイドメロディデータが示すメロディを構成する各音のうち、前記ピッチ抽出手段が前記第１のピッチを抽出した前記楽曲の進行に対するタイミングに対応する音のピッチを算出し、当該算出したピッチより所定量低いピッチを第２のピッチとして算出するピッチ算出手段と、前記ピッチ抽出手段が前記第１のピッチを抽出した前記楽曲の進行に対するタイミングより前の予め設定された設定時間内に前記ピッチ抽出手段が抽出したピッチのうち、前記第２のピッチより大きいピッチが含まれている場合、かつ、前記第２のピッチが前記第１のピッチに対して所定ピッチ以上大きい場合には、識別信号を出力する識別手段と、前記識別手段から出力された識別信号に基づいて、予め定められた処理を行う評価手段とを具備することを特徴とするカラオケ装置を提供する。
【０００７】
また、別の好ましい態様において、前記識別手段は、さらに、前記ピッチ算出手段によって算出した第２のピッチが前記ピッチ抽出手段によって抽出された楽曲の進行に対応したタイミングより前の一定時間における前記ピッチ抽出手段が抽出したピッチが、前記ピッチ算出手段が算出したピッチに対して所定幅のピッチ範囲に含まれている場合には、識別信号を出力してもよい。
【０００８】
また、別の好ましい態様において、前記識別手段は、さらに、前記第２のピッチが前記ピッチ抽出手段によって抽出された楽曲の進行に対応したタイミングから前記第１のピッチが前記ピッチ抽出手段によって抽出された楽曲の進行に対応したタイミングまでの、前記ピッチ抽出手段が抽出したピッチの変動が楽曲の進行に対して単調減少になっている場合には、識別信号を出力してもよい。
【０００９】
また、別の好ましい態様において、前記評価手段における予め定められた処理は、前記識別手段から識別信号が出力された回数を計測し、当該計測した回数に基づいて、前記歌唱者の歌唱についての評価を行う処理であってもよい。
【００１０】
また、別の好ましい態様において、楽曲の進行に対応して楽曲の特定の範囲を示す範囲特定情報を記憶する範囲記憶手段と、前記識別手段は、さらに、前記第１のピッチまたは前記第２のピッチを前記ピッチ抽出手段が抽出した楽曲の進行に対応したタイミングが、前記範囲特定情報が示す特定の範囲に含まれている場合には、識別信号を出力してもよい。
【００１１】
また、別の好ましい態様において、前記所定時間、前記所定のタイミング、前記設定時間または前記所定ピッチの設定値を示す設定情報を記憶する設定記憶手段と、前記設定情報に基づいて、前記所定時間、前記所定のタイミング、前記設定時間または前記所定ピッチの値を設定する設定手段とをさらに具備してもよい。
【００１２】
また、本発明は、楽曲を再生する再生過程と、前記楽曲の再生の間に入力された歌唱者の歌唱に基づいて歌唱者音声データを生成する音声入力過程と、前記歌唱者音声データに基づいて、前記歌唱者の歌唱のピッチを抽出するピッチ抽出過程と、前記ピッチ抽出過程において所定時間以上連続してピッチを抽出できない期間がある場合には、当該期間前の所定のタイミングにおいて前記ピッチ抽出手段によって抽出されたピッチを第１のピッチとして特定する第１の特定過程と、前記ピッチ抽出過程において前記第１のピッチが抽出されたタイミングから、予め設定された設定時間前のタイミングにおいて前記ピッチ抽出手段によって抽出されたピッチを第２のピッチとして特定する第２の特定過程と、前記第２のピッチが前記第１のピッチに対して所定ピッチ以上大きい場合には、識別信号を出力する識別過程と、前記識別過程によって出力された識別信号に基づいて、予め定められた処理を行う評価過程とを備えることを特徴とする歌唱評価方法を提供する。
【００１３】
また、本発明は、楽曲の進行に対応して入力された歌唱者の歌唱に基づいて歌唱者音声データを生成する音声入力過程と、前記歌唱者音声データに基づいて、前記歌唱者の歌唱のピッチを前記楽曲の進行に対応して抽出するピッチ抽出過程と、前記ピッチ抽出過程において前記楽曲の進行に対して所定時間以上連続してピッチを抽出できない期間がある場合には、当該期間前の所定のタイミングにおいて前記ピッチ抽出手段によって抽出されたピッチを第１のピッチとして特定する第１の特定過程と、記憶手段に記憶された前記楽曲の進行に対応して歌唱者が歌唱すべきメロディを示すガイドメロディデータが示すメロディを構成する各音のうち、前記ピッチ抽出過程において前記第１のピッチを抽出した前記楽曲の進行に対するタイミングに対応する音のピッチを算出し、当該算出したピッチより所定量低いピッチを第２のピッチとして算出するピッチ算出過程と、前記ピッチ抽出過程において前記第１のピッチを抽出した前記楽曲の進行に対するタイミングより前の予め設定された設定時間内に前記ピッチ抽出過程において抽出したピッチのうち、前記第２のピッチより大きいピッチが含まれている場合、かつ、前記第２のピッチが前記第１のピッチに対して所定ピッチ以上大きい場合には、識別信号を出力する識別過程と、前記識別過程によって出力された識別信号に基づいて、予め定められた処理を行う評価過程とを備えることを特徴とする歌唱評価方法を提供する。
【００１４】
また、本発明は、コンピュータに、楽曲を再生する再生機能と、前記楽曲の再生の間に入力された歌唱者の歌唱に基づいて歌唱者音声データを生成する音声入力機能と、前記歌唱者音声データに基づいて、前記歌唱者の歌唱のピッチを抽出するピッチ抽出機能と、前記ピッチ抽出機能において所定時間以上連続してピッチを抽出できない期間がある場合には、当該期間前の所定のタイミングにおいて前記ピッチ抽出機能において抽出されたピッチを第１のピッチとして特定する第１の特定機能と、前記ピッチ抽出機能において前記第１のピッチが抽出されたタイミングから、予め設定された設定時間前のタイミングにおいて前記ピッチ抽出機能において抽出されたピッチを第２のピッチとして特定する第２の特定機能と、前記第２のピッチが前記第１のピッチに対して所定ピッチ以上大きい場合には、識別信号を出力する識別機能と前記識別機能によって出力された識別信号に基づいて、予め定められた処理を行う評価機能とを実現させるためのコンピュータ読み取り可能なプログラムを提供する。
【００１５】
また、本発明は、コンピュータに、楽曲の進行に対応して歌唱者が歌唱すべきメロディを示すガイドメロディデータを記憶する記憶機能と、楽曲の進行に対応して入力された歌唱者の歌唱に基づいて歌唱者音声データを生成する音声入力機能と、前記歌唱者音声データに基づいて、前記歌唱者の歌唱のピッチを前記楽曲の進行に対応して抽出するピッチ抽出機能と、前記ピッチ抽出機能において前記楽曲の進行に対して所定時間以上連続してピッチを抽出できない期間がある場合には、当該期間前の所定のタイミングにおいて前記ピッチ抽出機能において抽出されたピッチを第１のピッチとして特定する第１の特定機能と、前記ガイドメロディデータが示すメロディを構成する各音のうち、前記ピッチ抽出機能において前記第１のピッチを抽出した前記楽曲の進行に対するタイミングに対応する音のピッチを算出し、当該算出したピッチより所定量低いピッチを第２のピッチとして算出するピッチ算出機能と、前記ピッチ抽出機能において前記第１のピッチを抽出した前記楽曲の進行に対するタイミングより前の予め設定された設定時間内に前記ピッチ抽出において抽出したピッチのうち、前記第２のピッチより大きいピッチが含まれている場合、かつ、前記第２のピッチが前記第１のピッチに対して所定ピッチ以上大きい場合には、識別信号を出力する識別機能と前記識別機能によって出力された識別信号に基づいて、予め定められた処理を行う評価機能とを実現させるためのコンピュータ読み取り可能なプログラムを提供する。
【発明の効果】
【００１６】
本発明によれば、フォール歌唱を検出して評価するカラオケ装置、歌唱評価方法およびプログラムを提供することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の一実施形態について説明する。
【００１８】
＜実施形態＞
本実施形態においては、フォール歌唱の評価を行なうことができるカラオケ装置１について説明する。まず、カラオケ装置１のハードウエアの構成について図１を用いて説明する。図１は、本発明の第１実施形態に係るカラオケ装置１のハードウエアの構成を示すブロック図である。
【００１９】
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２に記憶されているプログラムを読み出して、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３にロードして実行することにより、カラオケ装置１の各部について、バス１０を介して制御する。また、ＲＡＭ１３は、ＣＰＵ１１がデータ処理などを行う際のワークエリアとして機能する。
【００２０】
記憶部１４は、例えば、ハードディスクなどの大容量記憶手段であって、楽曲データ記憶領域１４ａおよび歌唱者音声データ記憶領域１４ｂを有する。楽曲データ記憶領域１４ａには、カラオケ曲の楽曲データが複数記憶され、各楽曲データは、ガイドメロディトラック、伴奏データトラック、歌詞データトラックを有している。
【００２１】
ガイドメロディトラックは、楽曲のボーカルパートのメロディを示すデータであり、発音の指令を示すノートオン、消音の指令を示すノートオフ、コントロールチェンジなどのイベントデータと、次のイベントデータを読み込んで実行するまでの時間を示すデルタタイムデータとを有している。このデルタタイムにより、実行すべきイベントデータの時刻と楽曲の進行が開始されてからの時間経過とを対応付けることができる。また、ノートオン、ノートオフは、それぞれ発音、消音の対象となる音の音程を示すノートナンバを有している。これにより、楽曲のボーカルパートのメロディを構成する各音は、ノートオン、ノートオフ、デルタタイムによって規定することができる。伴奏データトラックは、各伴奏楽器の複数のトラックから構成されており、各楽器のトラックは上述したガイドメロディトラックと同様のデータ構造を有している。なお、本実施形態の場合、ＭＩＤＩ形式のデータが記憶されている。
【００２２】
歌詞データトラックは、楽曲の歌詞を示すテキストデータと、楽曲の進行に応じて後述する表示部１５に歌詞テロップを表示するタイミングを示す表示タイミングデータと、表示される歌詞テロップを色替え（以下、ワイプという）するためのタイミングを示すワイプタイミングデータとを有する。そして、ＣＰＵ１１は、楽曲データ記憶領域１４ａに記憶される楽曲データを再生し、当該楽曲データの伴奏データトラックに基づいて生成した音声データを後述する音声処理部１８に出力するとともに、歌詞データトラックに基づいて表示部１５に歌詞テロップを表示させる。
【００２３】
歌唱者音声データ記憶領域１４ｂには、後述するマイクロフォン１７から音声処理部１８を経てＡ／Ｄ変換された音声データ（以下、歌唱者音声データという）が、例えばＷＡＶＥ形式やＭＰ３形式などで時系列に記憶される。このように時系列に記憶されることにより、歌唱者音声データの所定時間長の各フレームに対して、楽曲の進行が開始されてから経過した時間を対応付けることができる。
【００２４】
表示部１５は、液晶ディスプレイなどの表示デバイスであって、ＣＰＵ１１に制御されて、記憶部１４の楽曲データ記憶領域１４ａに記憶された歌詞データトラックに基づいて、楽曲の進行に応じて背景画像などとともに歌詞テロップを表示する。また、カラオケ装置１を操作するためのメニュー画面、歌唱の評価結果画面などの各種画面を表示する。操作部１６は、例えばキーボード、マウス、リモコンなどであり、カラオケ装置１の利用者が操作部１６を操作すると、その操作内容を表すデータがＣＰＵ１１へ出力される。
【００２５】
マイクロフォン１７は、歌唱者の歌唱を収音する。音声処理部１８は、マイクロフォン１７によって収音された音声をＡ／Ｄ変換して歌唱者音声データを生成する。歌唱者音声データは、上述したように記憶部１４の歌唱者音声データ記憶領域１４ｂに記憶される。また、音声処理部１８は、ＣＰＵ１１によって入力された音声データをＤ／Ａ変換し、スピーカ１９から放音する。
【００２６】
次に、ＣＰＵ１１が、ＲＯＭ１２に記憶されたプログラムを実行することによって実現する機能について説明する。図２は、ＣＰＵ１１が実現する機能を示したソフトウエアの構成を示すブロック図である。
【００２７】
ピッチ抽出部１０１は、歌唱者音声データ記憶領域１４ｂに記憶される歌唱者音声データを読み出し、所定時間長のフレーム単位で当該歌唱者音声データに係る歌唱のピッチを抽出する。そして、フレーム単位で抽出した歌唱のピッチを示す歌唱ピッチデータを通常評価部１０３とフォール歌唱評価部１０５に出力する。なお、ピッチの抽出にはＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）により生成されたスペクトルから抽出してもよいし、その他公知の方法により抽出すればよい。ここで、ピッチ抽出部１０１が抽出したフレーム単位のピッチをＰｉｔｃｈ（ｆ）と表記し、ｆは最初のフレームから数えたフレーム数とする。例えば、最初のフレームから抽出されたピッチをＰｉｔｃｈ（１）とし、フレーム順にＰｉｔｃｈ（２）、Ｐｉｔｃｈ（３）、・・・とする。そして、歌唱者音声データに係る歌唱が無い場合などピッチが抽出できない場合には、Ｐｉｔｃｈ（ｆ）＝０とする。
【００２８】
ピッチ算出部１０２は、楽曲データ記憶領域１４ａから評価対象となる楽曲のガイドメロディトラックを読み出し、読み出したガイドメロディトラックから楽曲のメロディを認識する。また、認識したメロディを構成する各音について、所定時間長のフレーム単位でピッチを算出する。そして、フレーム単位で算出したガイドメロディのピッチを示すメロディピッチデータを通常評価部１０３に出力する。なお、メロディを構成する各音の音程は、ノートナンバによって規定されているから、ノートナンバに対応してピッチが決定することになる。例えば、ノートナンバが６９（Ａ４）である場合には、ピッチは４４０Ｈｚとなる。この際、ノートナンバとピッチを対応させるテーブルを記憶部１４に記憶しておけば、ピッチ算出部１０２は当該テーブルを参照してピッチを算出してもよい。
【００２９】
通常評価部１０３は、ピッチ抽出部１０１から出力された歌唱ピッチデータとピッチ算出部１０２から出力されたメロディピッチデータとをフレーム単位で比較し、ピッチの一致の程度を示す通常評価データを生成し、採点部１０４へ出力する。ここで、一致の程度は、各フレームにおけるメロディを構成する音のピッチと歌唱のピッチとの差分から算出してもよいし、メロディを構成する音のピッチと歌唱のピッチとが実質的に一致、すなわちメロディを構成する音のピッチに対して所定のピッチの範囲に入った時間的な割合から算出してもよい。なお、通常評価部１０３においては、歌唱のピッチを評価するだけでなく、音量、その他の特徴量を用いて評価してもよい。この場合には、歌唱からそれぞれ必要な特徴量を抽出する抽出手段を設けるとともに、記憶部１４に評価の基準となる特徴量を記憶させておけばよい。
【００３０】
フォール歌唱評価部１０５は、検出部１０５１、計測部１０５２、累算部１０５３、評価部１０５４を有し、ピッチ抽出部１０１から出力された歌唱ピッチデータに基づいて、フォール歌唱の評価結果を示すフォール歌唱評価データを生成し、採点部１０４へ出力する。以下、フォール歌唱評価部１０５を構成する各部について説明する。
【００３１】
検出部１０５１は、ピッチ抽出部１０１から出力された歌唱ピッチデータを所定量バッファするとともに、フレーム単位で解析し、各フレームについて歌唱のピッチが抽出されているか否かの検出結果を示す判断情報を計測部１０５２に出力する。また、全てのフレームについて比較が終了した場合には、終了したことを示す終了情報および比較した全フレーム数Ｔａｌｌを示す情報を評価部１０５４に出力する。
【００３２】
計測部１０５２は、検出部１０５１から出力される判断情報に基づいて、歌唱ピッチデータに係るピッチが連続して抽出されなかった、すなわちＰｉｔｃｈ（ｆ）が連続して０となったフレーム数であるＴｃｏｕｎｔの数を計測するとともに、所定の条件を満たした場合には、当該条件を満たしたことを示す識別信号を累算部１０５３に出力する。ここで、所定の条件とは、以下の２条件である。第１に、Ｔｃｏｕｎｔが所定数ｍに達した場合、すなわち、検出部１０５１において歌唱ピッチデータに係るピッチが連続して抽出されなかったフレーム数が所定数ｍに達することである。第２に、Ｐｉｔｃｈ（α）−Ｐｉｔｃｈ（β）が予め設定された設定値ｋ（例えば、３００ｃｅｎｔ）より大きいことである。ここで、βは、検出部１０５１が最後にＰｉｔｃｈ（ｆ）≠０と判断したフレームを示すものである。また、αは、βからさらに予め設定されたフレーム数ｎだけ前のフレームを示すものである。なお、計測部１０５２は、Ｐｉｔｃｈ（α）とＰｉｔｃｈ（β）を検出部１０５１がバッファした歌唱ピッチデータから取得する。一方、検出部１０５１から歌唱ピッチデータに係るピッチが抽出されたことを示す判断情報が出力された場合には、Ｔｃｏｕｎｔのカウントをリセットして「０」とする。なお、所定数ｍは、フレーム数を示すものであり、１フレームの時間が決まっていることから時間に換算することもできる。また、所定数ｍは、操作部１６を操作することにより変更できるようにしてもよい。同様に、フレーム数ｎ、設定値ｋについても操作部１６を操作することにより変更できるようにしてもよい。
【００３３】
累算部１０５３は、計測部１０５２から出力される識別信号の回数を計測する。計測した値をＴｔｏｔａｌという。評価部１０５４は、検出部１０５１から終了情報と全フレーム数Ｔａｌｌを示す情報が出力された場合には、累算部１０５３から、累算部１０５３が累算した値であるＴｔｏｔａｌを読み出し、当該Ｔｔｏｔａｌの全フレーム数Ｔａｌｌに対する割合を示すフォール歌唱評価データを採点部１０４に出力する。なお、フォール歌唱評価データは、Ｔｔｏｔａｌに基づいて生成されていれば、Ｔｔｏｔａｌ／Ｔａｌｌを示すものに限られない。例えばＴｔｏｔａｌそのものを示すものであってもよい。
【００３４】
採点部１０４は、通常評価部１０３から出力された通常評価データと、フォール歌唱評価部１０５から出力されたフォール歌唱評価データとに基づいて歌唱者の歌唱の評価点を算出する。そして、算出した評価点はＣＰＵ１１によって表示部１５に表示される。
【００３５】
次に、カラオケ装置１の動作について説明する。まず、歌唱者は操作部１６を操作して、歌唱する楽曲を選択する。ＣＰＵ１１は、歌唱者が選択した楽曲に対応する楽曲データを楽曲データ記憶領域１４ａから読み出し、楽曲の進行に応じて、読み出した楽曲データの伴奏データトラックに基づいて楽曲の伴奏などをスピーカ１９から放音させるとともに、読み出した楽曲データの歌詞データトラックに基づいて表示部１５に歌詞をワイプ表示させる。歌唱者は、楽曲の進行にあわせて歌唱すると、当該歌唱がマイクロフォン１７に収音され、歌唱者音声データとして歌唱者音声データ記憶領域１４ｂに記憶される。
【００３６】
楽曲が最後まで進むことにより終了すると、ＣＰＵ１１によって歌唱者の歌唱の評価が開始される。ピッチ抽出部１０１は、歌唱者音声データ記憶領域１４ｂに記憶された歌唱者音声データを読み出し、歌唱ピッチデータを通常評価部１０３およびフォール歌唱評価部１０５の検出部１０５１に出力する。ピッチ算出部１０２は、楽曲データ記憶領域１４ａから評価基準となる楽曲のガイドメロディトラックを読み出し、メロディピッチデータを通常評価部１０３に出力する。
【００３７】
通常評価部１０３は、ピッチ抽出部１０１から出力された歌唱ピッチデータとピッチ算出部１０２から出力されたメロディピッチデータとをフレーム単位で比較し、ピッチの一致の程度を示す通常評価データを生成し、採点部１０４へ出力する。フォール歌唱評価部１０５は、ピッチ抽出部１０１から出力された歌唱ピッチデータに基づいて、その評価結果を示すフォール歌唱評価データを生成し、採点部１０４へ出力する。
【００３８】
ここで、フォール歌唱評価部１０５の評価の流れについて図３を用いて、詳細に説明する。図３は、フォール歌唱評価部１０５の評価の流れを示すフローチャートである。
【００３９】
まず、フォール歌唱評価部１０５における評価を開始すると、フォール歌唱評価部１０５において用いられるパラメータであるＴａｌｌ、Ｔｔｏｔａｌ、Ｔｃｏｕｎｔを初期化して全て「０」とする（ステップＳ１）。
【００４０】
次に、検出部１０５１は、比較したフレーム数を示すＴａｌｌの数値を「１」増加させてカウントアップし（ステップＳ２）、ピッチ抽出部１０１から出力された歌唱ピッチデータに係るピッチのうち最初のフレームのピッチが抽出されているかどうか、すなわちＰｉｔｃｈ（Ｔａｌｌ）≠０（この時点においてはＴａｌｌ＝１）であるかどうかを検出することにより判断する（ステップＳ３）。
【００４１】
歌唱ピッチデータに係るピッチのうち最初のフレームのピッチが抽出されている（Ｐｉｔｃｈ（１）≠０）と判断した場合（ステップＳ３；Ｙｅｓ）には、検出部１０５１は、ピッチが抽出されていることを示す判断情報を計測部１０５２に出力する。そして、計測部１０５２は、Ｔｃｏｕｎｔのカウントをリセットして「０」とする（ステップＳ４）。そして、後述するステップＳ９へ進む。
【００４２】
一方、歌唱ピッチデータに係るピッチが抽出されていない（Ｐｉｔｃｈ（１）＝０）と判断した場合（ステップＳ３；Ｎｏ）には、検出部１０５１は、ピッチが抽出されていないと判断したことを示す判断情報を計測部１０５２に出力する。そして、計測部１０５２は、Ｔｃｏｕｎｔを「１」増加させてカウントアップし（ステップＳ５）、Ｔｃｏｕｎｔが所定数ｍになったかどうかを判断する（ステップＳ６）。以下、最初のフレーム（Ｔａｌｌ＝１）に限らずに説明を続ける。
【００４３】
Ｔｃｏｕｎｔ＝ｍでない場合、すなわちＴｃｏｕｎｔが所定数ｍより小さい場合および大きい場合（ステップＳ６；Ｎｏ）は、後述するステップＳ９へ進む。一方、Ｔｃｏｕｎｔ＝ｍである場合（ステップＳ６；Ｙｅｓ）は、Ｐｉｔｃｈ（α）−Ｐｉｔｃｈ（β）が予め設定された設定値ｋより大きいかどうかを判断する（ステップＳ７）。ここで、α＝Ｔａｌｌ−ｍ、β＝Ｔａｌｌ−ｍ−ｎである。
【００４４】
Ｐｉｔｃｈ（α）−Ｐｉｔｃｈ（β）が設定値ｋ以下である場合（ステップＳ７；Ｎｏ）は、後述するステップＳ９へ進む。一方、Ｐｉｔｃｈ（α）−Ｐｉｔｃｈ（β）が設定値ｋより大きい場合（ステップＳ７；Ｙｅｓ）は、計測部１０５２は、識別信号を累算部１０５３に出力する。そして累算部１０５３は、Ｔｔｏｔａｌを「１」増加させてカウントアップする（ステップＳ８）。そして後述するステップＳ９へ進む。
【００４５】
ステップＳ４、Ｓ６、Ｓ７、Ｓ８における処理が終了すると、検出部１０５１は、ピッチ抽出部１０１から出力される歌唱ピッチデータに基づいて、楽曲が終了したかどうかを判断する（ステップＳ９）。楽曲が終了していないと判断した場合（ステップＳ９；Ｎｏ）には、ステップＳ２から繰り返し上述した処理を行う。一方、楽曲が終了したと判断した場合（ステップＳ９；Ｙｅｓ）には、検出部１０５１は、評価部１０５４に終了情報およびＴａｌｌを示す情報を出力する。評価部１０５４は、検出部１０５１から終了情報が出力されると、累算部１０５３において識別信号が出力される度に累算した結果であるＴｔｏｔａｌを読み出す。そして、評価部１０５４は、Ｔｔｏｔａｌ／Ｔａｌｌを示すフォール歌唱評価データを採点部１０４に出力する（ステップＳ１０）。なお、上述したように、フォール歌唱評価データは、Ｔｔｏｔａｌに基づいて生成されていれば、Ｔｔｏｔａｌ／Ｔａｌｌを示すものに限られない。例えばＴｔｏｔａｌそのものを示すものであってもよい。
【００４６】
ここで、フォール歌唱評価部１０５における処理の具体例として、図４に示すような、楽曲の進行のある一部分の場合について説明する。図４は、歌唱ピッチデータ、α、βを説明する説明図である。ここで、縦軸はピッチの高さを示し、横軸は時刻を示し、実線は歌唱ピッチデータが示すピッチである。また、図中に記載のｋは、予め設定された設定値ｋを示すものである。そしてｍ、ｎは、それぞれ所定数ｍ、予め設定されたフレーム数ｎであって、フレーム数を時間に換算して表記したものである。なお、上述したフレームに関する内容は、以下の説明においては、時間に換算したものとして説明する。また、当該部分を評価する前におけるＴｔｏｔａｌはγであるものとする。
【００４７】
まず、時刻ｔ１を過ぎると、歌唱ピッチデータが示すピッチが０となり、計測部１０５２は、Ｔｃｏｕｎｔをカウントアップしていく。Ｔｃｏｕｎｔ＝ｍ、すなわち時刻がｔ１＋ｍになると、計測部１０５２は、上述したβに相当するｔ１におけるピッチＰｉｔｃｈ（ｔ１）および、αに相当するｔ１−ｎにおけるピッチＰｉｔｃｈ（ｔ１−ｎ）を取得する。ここで、Ｐ１＝Ｐｉｔｃｈ（ｔ１−ｎ）−Ｐｉｔｃｈ（ｔ１）は設定値ｋより小さいため、計測部１０５２は識別信号を出力しない。そして時刻ｔ２になると、歌唱ピッチデータが示すピッチが０でなくなるため、Ｔｃｏｕｎｔのカウントがリセットされ、Ｔｃｏｕｎｔ＝０となる。
【００４８】
次に、時刻ｔ３を過ぎると、再び歌唱ピッチデータが示すピッチが０となり、計測部１０５２は、Ｔｃｏｕｎｔをカウントアップしていく。ここで、Ｔｃｏｕｎｔ＝ｍになる前である時刻ｔ４において歌唱ピッチデータが示すピッチが０でなくなり、再びＴｃｏｕｎｔ＝０となる。そして、時刻ｔ５を過ぎると、再び歌唱ピッチデータが示すピッチが０となり、計測部１０５２は、Ｔｃｏｕｎｔをカウントアップし、時刻ｔ５＋ｍになると、上述したβに相当するｔ５におけるピッチＰｉｔｃｈ（ｔ５）および、αに相当するｔ５−ｎにおけるピッチＰｉｔｃｈ（ｔ５−ｎ）を取得する。ここで、Ｐ５＝Ｐｉｔｃｈ（ｔ５−ｎ）−Ｐｉｔｃｈ（ｔ５）は設定値ｋより大きいため、計測部１０５２は識別信号を累算部１０５３に出力する。これにより、累算部１０５３はＴｔｏｔａｌをカウントアップし、Ｔｔｏｔａｌ＝γ＋１となる。そして、時刻ｔ６になると、歌唱ピッチデータが示すピッチが０でなくなるため、Ｔｃｏｕｎｔのカウントがリセットされ、Ｔｃｏｕｎｔ＝０となる。このように、例としてあげた部分におけるフォール歌唱評価部１０５においては、Ｔｔｏｔａｌがγからγ＋１に増加することになる。
【００４９】
このようにして、全てのフレームについてフォール歌唱評価部１０５における処理が行われる。そして、評価部１０５４はＴｔｏｔａｌ／Ｔａｌｌを示すフォール歌唱評価データを採点部１０４に出力する。
【００５０】
そして、採点部１０４は、通常評価部１０３から出力された通常評価データと、フォール歌唱評価部１０５から出力されたフォール歌唱評価データとに基づいて、所定のアルゴリズムによって歌唱者の歌唱の評価点を算出する。そして、その算出結果が表示部１５に表示されることになる。
【００５１】
以上のように、本実施形態におけるカラオケ装置１は、歌唱のフレーズの最後など所定時間無音になることによりピッチが抽出できない場合に、最後にピッチ抽出部１０１が抽出したピッチＰｉｔｃｈ（β）と、さらにフレーム数ｎだけ前のピッチＰｉｔｃｈ（α）を認識することができる。そして、Ｐｉｔｃｈ（α）−Ｐｉｔｃｈ（β）が設定値ｋより大きい場合には、フレーム数ｎに対応する時間内に設定値ｋより大きくピッチが下がったことになり、フォール歌唱の状態になったといえるから、歌唱者の歌唱の評価による採点結果にフォール歌唱の影響を加えることができる。
【００５２】
以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。
【００５３】
＜変形例１＞
実施形態におけるフォール歌唱評価部１０５におけるフォール歌唱の評価は、ピッチ抽出部１０１から出力された歌唱ピッチデータを用いて行ったが、ピッチ算出部１０２から出力されるメロディピッチデータをさらに用いて、フォール歌唱の評価を行なってもよい。この場合には、以下のようにすればよい。図５に示すように、ピッチ算出部１０２は、メロディピッチデータを通常評価部１０３に出力するとともに、フォール歌唱評価部１０５の計測部１０５２に出力する。そして、フォール歌唱評価部１０５は、図６に示すような処理を行う。図６に示すフローチャートは、図３に示すフローチャートにおけるステップＳ７の処理に替えて、ステップＳ７１、Ｓ７２の処理としたものである。以下、計測部１０５２におけるステップＳ７１、Ｓ７２の処理について説明する。
【００５４】
Ｔｃｏｕｎｔ＝ｍである場合（ステップＳ６；Ｙｅｓ）は、Ｐｉｔｃｈ２（α）−Ｐｉｔｃｈ（β）が予め設定された設定値ｋより大きいかどうかを判断する（ステップＳ７１）。ここで、Ｐｉｔｃｈ２（ｆ）は、フレーム数ｆにおけるメロディピッチデータが示すピッチに相当するピッチである。ここで、Ｐｉｔｃｈ２（ｆ）に相当とは、フレーム数ｆにおけるメロディピッチデータが示すピッチより少し低いピッチ（例えば−１０ｃｅｎｔ）であることをいう。なお、メロディピッチデータが示すピッチは、ガイドメロディトラックが示す各音のピッチを算出したものであって同じ音内ではピッチは変わらないから、必ずしもフレーム数αにおけるピッチである必要は無く、前後に若干ずれたフレームにおけるピッチであっても問題ない。すなわち、フレーム数αに対応する音が認識できれば、どのような方法であってもよく、当該音のピッチをＰｉｔｃｈ２（α）とみなせばよい。
【００５５】
Ｐｉｔｃｈ２（α）−Ｐｉｔｃｈ（β）が予め設定された設定値ｋより小さい場合（ステップＳ７１；Ｎｏ）は、ステップＳ９へ進む。一方、Ｐｉｔｃｈ２（α）−Ｐｉｔｃｈ（β）が予め設定された設定値ｋより大きい場合（ステップＳ７１；Ｙｅｓ）は、歌唱ピッチデータに係るピッチのうち、フレーム数がαからβの間にＰｉｔｃｈ２（α）に該当するピッチ（Ｐｉｔｃｈ（ｈ）＝Ｐｉｔｃｈ２（α）、但しα＜ｈ＜β）があるかどうかを判断する（ステップＳ７２）。ここで、Ｐｉｔｃｈ２（α）は、フレーム数αにおけるメロディピッチデータが示すピッチより少し低いピッチであるから、ガイドメロディトラックが示す音のピッチより少し低いピッチで歌唱が行なわれていた場合に、フォール歌唱の状態であっても上記条件を満たさなくなることを防止することができる。
【００５６】
上記条件を満たさない場合（ステップＳ７２；Ｎｏ）は、ステップＳ９に進む。一方、上記条件を満たす場合（ステップＳ７２；Ｙｅｓ）は、ステップＳ８に進む。ここで、図７に楽曲の進行の一部におけるメロディピッチデータに係るピッチと歌唱ピッチデータに係るピッチについて、ステップＳ７２における条件を満たす場合を図７（ａ）、満たさない場合を図７（ｂ）として示す。図７（ａ）においては、ｈがαとβの間に位置しているが、図７（ｂ）においては、歌唱のピッチの下降が緩やかなため、ｈがαよりも前に位置してしまい、フォール歌唱としては認識されない。以上のような構成においても、実施形態と同様にしてフォール歌唱を評価することができる。
【００５７】
＜変形例２＞
実施形態においては、フレーム数ｎに対応する時間内に設定値ｋだけピッチが下がったことを判断することによりフォール歌唱の状態になったことを認識して評価していたが、さらに楽曲の進行に対して、特定の期間においてフォール歌唱が認識されるようにしてもよい。この場合には、フォール歌唱を認識すべきことを示す情報のイベントデータを特定の期間を示すデータ位置に設けるようにして、楽曲データに含まれるようにすればよい。そして、ＣＰＵ１１が楽曲データを再生する際に上記情報を識別したときに、その情報を計測部１０５２などにそれぞれ出力して、当該イベントデータが示す特定の期間を計測部１０５２が認識するようにすれば、当該特定の期間以外においては、識別信号を出力しないようにすることができるから、フォール歌唱として認識されなくなる。なお、特定の期間を示すデータを記憶部１４に別途記憶させ、これをＣＰＵ１１が読み出すことにより認識するようにしてもよい。
【００５８】
また、別の方法として、ガイドメロディトラックを解析して、メロディを構成する各音において隣接する音程の関係、音長、無音時間などに基づいて特定の期間を決定する解析手段を設けて、計測部１０５２に認識させるようにしてもよい。例えば、メロディを構成するある音の音程とその次の音の音程を比較した場合に、次の音の音程の方が一定量以上離れている場合には、当該ある音の最後の部分を特定の期間とすればよい。また、ある音の音長が一定以上長い場合や次の音まで無音時間が一定時間以上ある場合などにも、同様にして当該ある音の最後の部分を特定の期間とすればよい。このようにすれば、特定の期間においてフォール歌唱が認識されるようになるため、フォール歌唱が不要な部分では、評価の対象としないこともできる。
【００５９】
＜変形例３＞
実施形態においては、フレーム数ｎに対応する時間内に設定値ｋだけピッチが下がったことを判断することによりフォール歌唱の状態になったことを認識して評価していたが、さらに条件を加え、計測部１０５２が検出部１０５１によってバッファされた歌唱ピッチデータを解析し条件を満たしていると判断した場合に、計測部１０５２は識別信号を出力するようにすればよい。ここで、条件には以下のような条件を設ければよい。例えば、条件として、フレーム数αの前の部分にあたる一定数のフレーム数のピッチが一定のピッチ範囲に収まっていることとすると、安定した音程の状態からフォール歌唱の状態になった場合に限定してフォール歌唱を評価することができる。この際、変形例１のようにしてメロディピッチデータを参照して、当該一定のピッチ範囲を決めてもよく、Ｐｉｔｃｈ２（α）を中心として例えば上下に２０ｃｅｎｔの範囲をピッチ範囲とすればよい。また、他の条件としては、上記Ｐｉｔｃｈ２（α）に対応するメロディを構成するある音の次の音についてのピッチに対して、一定の範囲のピッチにＰｉｔｃｈ（β）が含まれないこととする。このようにすると、次の音のピッチに連続して変化するようにした歌唱（ポルタメント）とフォール歌唱を区別することができる。
【００６０】
また、歌唱ピッチデータから音程を震わせる歌唱（ビブラート）を検出するビブラート検出手段を設け、ビブラート検出手段がビブラートを検出しないことを条件としてもよい。すなわちビブラートを検出した場合には、計測部１０５２は識別信号を出力しないようにすればよい。ビブラートはピッチが上下に変動することから、ピッチが下に変動したときにフォール歌唱と認識する可能性があるが、これを防ぐことができる。このように、計測部１０５２は、設定された各条件を満たした場合に、識別信号を出力するようにすると、より精度の高いフォール歌唱の評価を行うことができる。
【００６１】
＜変形例４＞
実施形態においては、設定値ｋ、カウント数ｍ、フレーム数ｎなどのパラメータは、予め設定されていたが、これらは、楽曲の進行の途中で変更されるようにしてもよい。この場合は、パラメータの値を示す情報をイベントデータなどにより楽曲データに含まれるようにすればよい。そして、ＣＰＵ１１が楽曲データを再生する際に上記情報を識別したときに、その情報を検出部１０５１、計測部１０５２などにそれぞれ出力して、それぞれ設定する設定手段を設ければよい。このようにすれば、楽曲の進行に対して異なる態様でフォール歌唱の評価をすることができる。また、楽曲中においてフォール歌唱の状態になっても評価の対象としない部分については、この設定の態様（例えば、設定値ｋ、カウント数ｍを大きくするなど）によって制御することも可能であり、変形例２で述べたような効果を得ることもできる。なお、パラメータの値を示すデータを記憶部１４に別途記憶させ、これをＣＰＵ１１が読み出すことにより認識し、各パラメータに対して値を設定する設定手段を設ければよい。なお、実施形態のように予め設定された各パラメータで固定して使用するモード、または本変形例のように楽曲データに基づいて設定された各パラメータで使用するモードのうち、どのモードを用いるかについては、利用者が操作部１６を操作することによって、選択できるようにしてもよい。また、利用者が操作部１６を操作することによって入力した歌唱者のレベルに応じて、各パラメータが変更されるようにしてもよい。
【００６２】
＜変形例５＞
実施形態においては、β＝Ｔａｌｌ−ｍとしていたために、Ｐｉｔｃｈ（β）はピッチ抽出部１０１において歌唱者音声データからピッチが抽出できなくなる直前フレームのピッチを示していたが、さらに少し前のフレームにおけるピッチであってもよい。この場合は、β＝Ｔａｌｌ−ｍ−１０として一定のフレーム数前（この場合は１０フレーム前）のフレームのピッチＰｉｔｃｈ（β）としてもよいし、Ｔａｌｌ−ｍ−１０からＴａｌｌ−ｍまでのフレームにおけるピッチに基づいて決定したピッチ、例えば平均値などをＰｉｔｃｈ（β）とみなしてもよい。このようにすると、Ｐｉｔｃｈ（β）は、抽出できた最後のピッチとする場合よりも実際の聞こえ方にあったピッチとなるから、より正確なフォール歌唱の評価ができる。なお、一定のフレーム数は、予め設定されたフレーム数ｎよりは少ない数としておくことが望ましい。また、一定のフレーム数を大きくするとαとβの間隔が少なくなるから、計測部１０５２は、設定値ｋの値を当該間隔に応じて少なくなるように設定してもよいし、設定値ｋは変化させずにαとβの間隔が変化しないようにフレーム数ｎを設定してもよい。
【００６３】
＜変形例６＞
実施形態においては、Ｐｉｔｃｈ（α）がＰｉｔｃｈ（β）に対して設定値ｋより大きければフォール歌唱の状態になっていると判断したが、その途中のフレーム（αからβの間）におけるピッチの変化の態様について条件を設け、これを満たした場合に計測部１０５２は識別信号を出力するようにしてもよい。この場合、計測部１０５２は、検出部１０５１によってバッファされた歌唱ピッチデータに係るフレーム数αからβの間のピッチの変化を認識する。そして、その変化の態様が所定の条件を満たしているかを判断すればよい。ここで、所定の条件とは、例えば、ピッチがフレーム数αからβにかけて単調減少している（例えば、１次微分が負）とすればよい。このようにすれば、途中でピッチが上がってから下がるという歌唱の状態を除くことができ、より精度の高いフォール歌唱の評価ができる。
【００６４】
＜変形例７＞
実施形態においては、フォール歌唱評価部１０５による処理は、歌唱者が歌唱する楽曲が終了した後に行なわれていたが、歌唱途中で順次処理が行なわれるようにしてもよい。この場合には、ピッチ抽出部１０１は、楽曲の進行に応じて、すでに歌唱された部分のデータである歌唱者音声データから歌唱のピッチを順次抽出し、歌唱ピッチデータをフォール歌唱評価部１０５に出力していくようにすればよい。そして、フォール歌唱評価部１０５は、ピッチ抽出部１０１から順次出力される歌唱ピッチデータにあわせて、順次処理を行っていけばよい。このようにすれば、楽曲が終了した後わずかな時間で処理が終了するため、早く評価結果を表示部１５に表示させることができる。また、計測部１０５２がＴｃｏｕｎｔを出力するタイミング、すなわちフォール歌唱が検出されたときに、ＣＰＵ１１は、表示部１５に当該検出が行われたことを示す表示を行なうこともできる。
【図面の簡単な説明】
【００６５】
【図１】実施形態に係るカラオケ装置のハードウエアの構成を示すブロック図である。
【図２】実施形態に係るカラオケ装置のソフトウエアの構成を示すブロック図である。
【図３】実施形態に係るフォール歌唱評価部におけるフォール歌唱の評価の流れを示すフローチャートである。
【図４】実施形態に係るフォール歌唱評価部におけるフォール歌唱の評価の一部を示す説明図である。
【図５】変形例１に係るカラオケ装置のソフトウエアの構成を示すブロック図である。
【図６】変形例１に係るフォール歌唱評価部におけるフォール歌唱の評価の流れを示すフローチャートである。
【図７】変形例１に係るフォール歌唱評価部におけるフォール歌唱の評価の一部を示す説明図である。
【符号の説明】
【００６６】
１…カラオケ装置、１０…バス、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…記憶部、１４ａ…楽曲データ記憶領域、１４ｂ…歌唱者音声データ記憶領域、１５…表示部、１６…操作部、１７…マイクロフォン、１８…音声処理部、１９…スピーカ、１０１…ピッチ抽出部、１０２…ピッチ算出部、１０３…通常評価部、１０４…採点部、１０５…フォール歌唱評価部、１０５１…検出部、１０５２…計測部、１０５３…累算部、１０５４…評価部
【技術分野】
【０００１】
本発明は、歌唱を採点するカラオケ装置において、特殊な歌唱技法を評価する技術に関する。
【背景技術】
【０００２】
カラオケ装置において、歌唱者の歌唱の巧拙を点数で表示する採点機能を備えたものがある。このような採点機能のうち、できるだけ実際の歌唱の巧拙と採点の結果が対応するように、歌唱者の歌唱音声信号から抽出された音程データや音量データなどのデータと、カラオケ曲の歌唱旋律（ガイドメロディ）と対応するデータとの比較機能を持たせたものがある（例えば、特許文献１）。
【特許文献１】特開平１０−６９２１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
このような採点機能を備えたカラオケ装置によって、１音を単位としてノートごとの音程変化などを比較して採点することが可能になったが、この採点機能は、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）形式でデータ化されたガイドメロディを基準にして、歌唱者の歌唱と比較していたため、楽譜上の音符を基準にした採点に止まっていた。そのため、このような採点を行った場合、実際の巧拙の印象とは異なった採点結果となることがあった。例えば、歌唱の途中のある音において、その音の最後の部分で音程を下げるようにして歌う歌唱（以下、フォール歌唱という）を行った場合、巧く聞こえることがあるにもかかわらず、本来歌唱すべきピッチからずれていくことになるために、採点結果が低くなることもあった。
【０００４】
本発明は、上述の事情に鑑みてなされたものであり、フォール歌唱を検出して評価するカラオケ装置、歌唱評価方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述の課題を解決するため、本発明は、楽曲を再生する再生手段と、前記楽曲の再生の間に入力された歌唱者の歌唱に基づいて歌唱者音声データを生成する音声入力手段と、前記歌唱者音声データに基づいて、前記歌唱者の歌唱のピッチを抽出するピッチ抽出手段と、前記ピッチ抽出手段が所定時間以上連続してピッチを抽出できない期間がある場合には、当該期間前の所定のタイミングにおいて前記ピッチ抽出手段によって抽出されたピッチを第１のピッチとして特定する第１の特定手段と、前記ピッチ抽出手段によって前記第１のピッチが抽出されたタイミングから、予め設定された設定時間前のタイミングにおいて前記ピッチ抽出手段によって抽出されたピッチを第２のピッチとして特定する第２の特定手段と、前記第２のピッチが前記第１のピッチに対して所定ピッチ以上大きい場合には、識別信号を出力する識別手段と、前記識別手段から出力された識別信号に基づいて、予め定められた処理を行う評価手段とを具備することを特徴とするカラオケ装置を提供する。
【０００６】
また、本発明は、楽曲の進行に対応して歌唱者が歌唱すべきメロディを示すガイドメロディデータを記憶する記憶手段と、前記楽曲の進行に対応して入力された歌唱者の歌唱に基づいて歌唱者音声データを生成する音声入力手段と、前記歌唱者音声データに基づいて、前記歌唱者の歌唱のピッチを前記楽曲の進行に対応して抽出するピッチ抽出手段と、前記ピッチ抽出手段が前記楽曲の進行に対して所定時間以上連続してピッチを抽出できない期間がある場合には、当該期間前の所定のタイミングにおいて前記ピッチ抽出手段によって抽出されたピッチを第１のピッチとして特定する第１の特定手段と、前記ガイドメロディデータが示すメロディを構成する各音のうち、前記ピッチ抽出手段が前記第１のピッチを抽出した前記楽曲の進行に対するタイミングに対応する音のピッチを算出し、当該算出したピッチより所定量低いピッチを第２のピッチとして算出するピッチ算出手段と、前記ピッチ抽出手段が前記第１のピッチを抽出した前記楽曲の進行に対するタイミングより前の予め設定された設定時間内に前記ピッチ抽出手段が抽出したピッチのうち、前記第２のピッチより大きいピッチが含まれている場合、かつ、前記第２のピッチが前記第１のピッチに対して所定ピッチ以上大きい場合には、識別信号を出力する識別手段と、前記識別手段から出力された識別信号に基づいて、予め定められた処理を行う評価手段とを具備することを特徴とするカラオケ装置を提供する。
【０００７】
また、別の好ましい態様において、前記識別手段は、さらに、前記ピッチ算出手段によって算出した第２のピッチが前記ピッチ抽出手段によって抽出された楽曲の進行に対応したタイミングより前の一定時間における前記ピッチ抽出手段が抽出したピッチが、前記ピッチ算出手段が算出したピッチに対して所定幅のピッチ範囲に含まれている場合には、識別信号を出力してもよい。
【０００８】
また、別の好ましい態様において、前記識別手段は、さらに、前記第２のピッチが前記ピッチ抽出手段によって抽出された楽曲の進行に対応したタイミングから前記第１のピッチが前記ピッチ抽出手段によって抽出された楽曲の進行に対応したタイミングまでの、前記ピッチ抽出手段が抽出したピッチの変動が楽曲の進行に対して単調減少になっている場合には、識別信号を出力してもよい。
【０００９】
また、別の好ましい態様において、前記評価手段における予め定められた処理は、前記識別手段から識別信号が出力された回数を計測し、当該計測した回数に基づいて、前記歌唱者の歌唱についての評価を行う処理であってもよい。
【００１０】
また、別の好ましい態様において、楽曲の進行に対応して楽曲の特定の範囲を示す範囲特定情報を記憶する範囲記憶手段と、前記識別手段は、さらに、前記第１のピッチまたは前記第２のピッチを前記ピッチ抽出手段が抽出した楽曲の進行に対応したタイミングが、前記範囲特定情報が示す特定の範囲に含まれている場合には、識別信号を出力してもよい。
【００１１】
また、別の好ましい態様において、前記所定時間、前記所定のタイミング、前記設定時間または前記所定ピッチの設定値を示す設定情報を記憶する設定記憶手段と、前記設定情報に基づいて、前記所定時間、前記所定のタイミング、前記設定時間または前記所定ピッチの値を設定する設定手段とをさらに具備してもよい。
【００１２】
また、本発明は、楽曲を再生する再生過程と、前記楽曲の再生の間に入力された歌唱者の歌唱に基づいて歌唱者音声データを生成する音声入力過程と、前記歌唱者音声データに基づいて、前記歌唱者の歌唱のピッチを抽出するピッチ抽出過程と、前記ピッチ抽出過程において所定時間以上連続してピッチを抽出できない期間がある場合には、当該期間前の所定のタイミングにおいて前記ピッチ抽出手段によって抽出されたピッチを第１のピッチとして特定する第１の特定過程と、前記ピッチ抽出過程において前記第１のピッチが抽出されたタイミングから、予め設定された設定時間前のタイミングにおいて前記ピッチ抽出手段によって抽出されたピッチを第２のピッチとして特定する第２の特定過程と、前記第２のピッチが前記第１のピッチに対して所定ピッチ以上大きい場合には、識別信号を出力する識別過程と、前記識別過程によって出力された識別信号に基づいて、予め定められた処理を行う評価過程とを備えることを特徴とする歌唱評価方法を提供する。
【００１３】
また、本発明は、楽曲の進行に対応して入力された歌唱者の歌唱に基づいて歌唱者音声データを生成する音声入力過程と、前記歌唱者音声データに基づいて、前記歌唱者の歌唱のピッチを前記楽曲の進行に対応して抽出するピッチ抽出過程と、前記ピッチ抽出過程において前記楽曲の進行に対して所定時間以上連続してピッチを抽出できない期間がある場合には、当該期間前の所定のタイミングにおいて前記ピッチ抽出手段によって抽出されたピッチを第１のピッチとして特定する第１の特定過程と、記憶手段に記憶された前記楽曲の進行に対応して歌唱者が歌唱すべきメロディを示すガイドメロディデータが示すメロディを構成する各音のうち、前記ピッチ抽出過程において前記第１のピッチを抽出した前記楽曲の進行に対するタイミングに対応する音のピッチを算出し、当該算出したピッチより所定量低いピッチを第２のピッチとして算出するピッチ算出過程と、前記ピッチ抽出過程において前記第１のピッチを抽出した前記楽曲の進行に対するタイミングより前の予め設定された設定時間内に前記ピッチ抽出過程において抽出したピッチのうち、前記第２のピッチより大きいピッチが含まれている場合、かつ、前記第２のピッチが前記第１のピッチに対して所定ピッチ以上大きい場合には、識別信号を出力する識別過程と、前記識別過程によって出力された識別信号に基づいて、予め定められた処理を行う評価過程とを備えることを特徴とする歌唱評価方法を提供する。
【００１４】
また、本発明は、コンピュータに、楽曲を再生する再生機能と、前記楽曲の再生の間に入力された歌唱者の歌唱に基づいて歌唱者音声データを生成する音声入力機能と、前記歌唱者音声データに基づいて、前記歌唱者の歌唱のピッチを抽出するピッチ抽出機能と、前記ピッチ抽出機能において所定時間以上連続してピッチを抽出できない期間がある場合には、当該期間前の所定のタイミングにおいて前記ピッチ抽出機能において抽出されたピッチを第１のピッチとして特定する第１の特定機能と、前記ピッチ抽出機能において前記第１のピッチが抽出されたタイミングから、予め設定された設定時間前のタイミングにおいて前記ピッチ抽出機能において抽出されたピッチを第２のピッチとして特定する第２の特定機能と、前記第２のピッチが前記第１のピッチに対して所定ピッチ以上大きい場合には、識別信号を出力する識別機能と前記識別機能によって出力された識別信号に基づいて、予め定められた処理を行う評価機能とを実現させるためのコンピュータ読み取り可能なプログラムを提供する。
【００１５】
また、本発明は、コンピュータに、楽曲の進行に対応して歌唱者が歌唱すべきメロディを示すガイドメロディデータを記憶する記憶機能と、楽曲の進行に対応して入力された歌唱者の歌唱に基づいて歌唱者音声データを生成する音声入力機能と、前記歌唱者音声データに基づいて、前記歌唱者の歌唱のピッチを前記楽曲の進行に対応して抽出するピッチ抽出機能と、前記ピッチ抽出機能において前記楽曲の進行に対して所定時間以上連続してピッチを抽出できない期間がある場合には、当該期間前の所定のタイミングにおいて前記ピッチ抽出機能において抽出されたピッチを第１のピッチとして特定する第１の特定機能と、前記ガイドメロディデータが示すメロディを構成する各音のうち、前記ピッチ抽出機能において前記第１のピッチを抽出した前記楽曲の進行に対するタイミングに対応する音のピッチを算出し、当該算出したピッチより所定量低いピッチを第２のピッチとして算出するピッチ算出機能と、前記ピッチ抽出機能において前記第１のピッチを抽出した前記楽曲の進行に対するタイミングより前の予め設定された設定時間内に前記ピッチ抽出において抽出したピッチのうち、前記第２のピッチより大きいピッチが含まれている場合、かつ、前記第２のピッチが前記第１のピッチに対して所定ピッチ以上大きい場合には、識別信号を出力する識別機能と前記識別機能によって出力された識別信号に基づいて、予め定められた処理を行う評価機能とを実現させるためのコンピュータ読み取り可能なプログラムを提供する。
【発明の効果】
【００１６】
本発明によれば、フォール歌唱を検出して評価するカラオケ装置、歌唱評価方法およびプログラムを提供することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の一実施形態について説明する。
【００１８】
＜実施形態＞
本実施形態においては、フォール歌唱の評価を行なうことができるカラオケ装置１について説明する。まず、カラオケ装置１のハードウエアの構成について図１を用いて説明する。図１は、本発明の第１実施形態に係るカラオケ装置１のハードウエアの構成を示すブロック図である。
【００１９】
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２に記憶されているプログラムを読み出して、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３にロードして実行することにより、カラオケ装置１の各部について、バス１０を介して制御する。また、ＲＡＭ１３は、ＣＰＵ１１がデータ処理などを行う際のワークエリアとして機能する。
【００２０】
記憶部１４は、例えば、ハードディスクなどの大容量記憶手段であって、楽曲データ記憶領域１４ａおよび歌唱者音声データ記憶領域１４ｂを有する。楽曲データ記憶領域１４ａには、カラオケ曲の楽曲データが複数記憶され、各楽曲データは、ガイドメロディトラック、伴奏データトラック、歌詞データトラックを有している。
【００２１】
ガイドメロディトラックは、楽曲のボーカルパートのメロディを示すデータであり、発音の指令を示すノートオン、消音の指令を示すノートオフ、コントロールチェンジなどのイベントデータと、次のイベントデータを読み込んで実行するまでの時間を示すデルタタイムデータとを有している。このデルタタイムにより、実行すべきイベントデータの時刻と楽曲の進行が開始されてからの時間経過とを対応付けることができる。また、ノートオン、ノートオフは、それぞれ発音、消音の対象となる音の音程を示すノートナンバを有している。これにより、楽曲のボーカルパートのメロディを構成する各音は、ノートオン、ノートオフ、デルタタイムによって規定することができる。伴奏データトラックは、各伴奏楽器の複数のトラックから構成されており、各楽器のトラックは上述したガイドメロディトラックと同様のデータ構造を有している。なお、本実施形態の場合、ＭＩＤＩ形式のデータが記憶されている。
【００２２】
歌詞データトラックは、楽曲の歌詞を示すテキストデータと、楽曲の進行に応じて後述する表示部１５に歌詞テロップを表示するタイミングを示す表示タイミングデータと、表示される歌詞テロップを色替え（以下、ワイプという）するためのタイミングを示すワイプタイミングデータとを有する。そして、ＣＰＵ１１は、楽曲データ記憶領域１４ａに記憶される楽曲データを再生し、当該楽曲データの伴奏データトラックに基づいて生成した音声データを後述する音声処理部１８に出力するとともに、歌詞データトラックに基づいて表示部１５に歌詞テロップを表示させる。
【００２３】
歌唱者音声データ記憶領域１４ｂには、後述するマイクロフォン１７から音声処理部１８を経てＡ／Ｄ変換された音声データ（以下、歌唱者音声データという）が、例えばＷＡＶＥ形式やＭＰ３形式などで時系列に記憶される。このように時系列に記憶されることにより、歌唱者音声データの所定時間長の各フレームに対して、楽曲の進行が開始されてから経過した時間を対応付けることができる。
【００２４】
表示部１５は、液晶ディスプレイなどの表示デバイスであって、ＣＰＵ１１に制御されて、記憶部１４の楽曲データ記憶領域１４ａに記憶された歌詞データトラックに基づいて、楽曲の進行に応じて背景画像などとともに歌詞テロップを表示する。また、カラオケ装置１を操作するためのメニュー画面、歌唱の評価結果画面などの各種画面を表示する。操作部１６は、例えばキーボード、マウス、リモコンなどであり、カラオケ装置１の利用者が操作部１６を操作すると、その操作内容を表すデータがＣＰＵ１１へ出力される。
【００２５】
マイクロフォン１７は、歌唱者の歌唱を収音する。音声処理部１８は、マイクロフォン１７によって収音された音声をＡ／Ｄ変換して歌唱者音声データを生成する。歌唱者音声データは、上述したように記憶部１４の歌唱者音声データ記憶領域１４ｂに記憶される。また、音声処理部１８は、ＣＰＵ１１によって入力された音声データをＤ／Ａ変換し、スピーカ１９から放音する。
【００２６】
次に、ＣＰＵ１１が、ＲＯＭ１２に記憶されたプログラムを実行することによって実現する機能について説明する。図２は、ＣＰＵ１１が実現する機能を示したソフトウエアの構成を示すブロック図である。
【００２７】
ピッチ抽出部１０１は、歌唱者音声データ記憶領域１４ｂに記憶される歌唱者音声データを読み出し、所定時間長のフレーム単位で当該歌唱者音声データに係る歌唱のピッチを抽出する。そして、フレーム単位で抽出した歌唱のピッチを示す歌唱ピッチデータを通常評価部１０３とフォール歌唱評価部１０５に出力する。なお、ピッチの抽出にはＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）により生成されたスペクトルから抽出してもよいし、その他公知の方法により抽出すればよい。ここで、ピッチ抽出部１０１が抽出したフレーム単位のピッチをＰｉｔｃｈ（ｆ）と表記し、ｆは最初のフレームから数えたフレーム数とする。例えば、最初のフレームから抽出されたピッチをＰｉｔｃｈ（１）とし、フレーム順にＰｉｔｃｈ（２）、Ｐｉｔｃｈ（３）、・・・とする。そして、歌唱者音声データに係る歌唱が無い場合などピッチが抽出できない場合には、Ｐｉｔｃｈ（ｆ）＝０とする。
【００２８】
ピッチ算出部１０２は、楽曲データ記憶領域１４ａから評価対象となる楽曲のガイドメロディトラックを読み出し、読み出したガイドメロディトラックから楽曲のメロディを認識する。また、認識したメロディを構成する各音について、所定時間長のフレーム単位でピッチを算出する。そして、フレーム単位で算出したガイドメロディのピッチを示すメロディピッチデータを通常評価部１０３に出力する。なお、メロディを構成する各音の音程は、ノートナンバによって規定されているから、ノートナンバに対応してピッチが決定することになる。例えば、ノートナンバが６９（Ａ４）である場合には、ピッチは４４０Ｈｚとなる。この際、ノートナンバとピッチを対応させるテーブルを記憶部１４に記憶しておけば、ピッチ算出部１０２は当該テーブルを参照してピッチを算出してもよい。
【００２９】
通常評価部１０３は、ピッチ抽出部１０１から出力された歌唱ピッチデータとピッチ算出部１０２から出力されたメロディピッチデータとをフレーム単位で比較し、ピッチの一致の程度を示す通常評価データを生成し、採点部１０４へ出力する。ここで、一致の程度は、各フレームにおけるメロディを構成する音のピッチと歌唱のピッチとの差分から算出してもよいし、メロディを構成する音のピッチと歌唱のピッチとが実質的に一致、すなわちメロディを構成する音のピッチに対して所定のピッチの範囲に入った時間的な割合から算出してもよい。なお、通常評価部１０３においては、歌唱のピッチを評価するだけでなく、音量、その他の特徴量を用いて評価してもよい。この場合には、歌唱からそれぞれ必要な特徴量を抽出する抽出手段を設けるとともに、記憶部１４に評価の基準となる特徴量を記憶させておけばよい。
【００３０】
フォール歌唱評価部１０５は、検出部１０５１、計測部１０５２、累算部１０５３、評価部１０５４を有し、ピッチ抽出部１０１から出力された歌唱ピッチデータに基づいて、フォール歌唱の評価結果を示すフォール歌唱評価データを生成し、採点部１０４へ出力する。以下、フォール歌唱評価部１０５を構成する各部について説明する。
【００３１】
検出部１０５１は、ピッチ抽出部１０１から出力された歌唱ピッチデータを所定量バッファするとともに、フレーム単位で解析し、各フレームについて歌唱のピッチが抽出されているか否かの検出結果を示す判断情報を計測部１０５２に出力する。また、全てのフレームについて比較が終了した場合には、終了したことを示す終了情報および比較した全フレーム数Ｔａｌｌを示す情報を評価部１０５４に出力する。
【００３２】
計測部１０５２は、検出部１０５１から出力される判断情報に基づいて、歌唱ピッチデータに係るピッチが連続して抽出されなかった、すなわちＰｉｔｃｈ（ｆ）が連続して０となったフレーム数であるＴｃｏｕｎｔの数を計測するとともに、所定の条件を満たした場合には、当該条件を満たしたことを示す識別信号を累算部１０５３に出力する。ここで、所定の条件とは、以下の２条件である。第１に、Ｔｃｏｕｎｔが所定数ｍに達した場合、すなわち、検出部１０５１において歌唱ピッチデータに係るピッチが連続して抽出されなかったフレーム数が所定数ｍに達することである。第２に、Ｐｉｔｃｈ（α）−Ｐｉｔｃｈ（β）が予め設定された設定値ｋ（例えば、３００ｃｅｎｔ）より大きいことである。ここで、βは、検出部１０５１が最後にＰｉｔｃｈ（ｆ）≠０と判断したフレームを示すものである。また、αは、βからさらに予め設定されたフレーム数ｎだけ前のフレームを示すものである。なお、計測部１０５２は、Ｐｉｔｃｈ（α）とＰｉｔｃｈ（β）を検出部１０５１がバッファした歌唱ピッチデータから取得する。一方、検出部１０５１から歌唱ピッチデータに係るピッチが抽出されたことを示す判断情報が出力された場合には、Ｔｃｏｕｎｔのカウントをリセットして「０」とする。なお、所定数ｍは、フレーム数を示すものであり、１フレームの時間が決まっていることから時間に換算することもできる。また、所定数ｍは、操作部１６を操作することにより変更できるようにしてもよい。同様に、フレーム数ｎ、設定値ｋについても操作部１６を操作することにより変更できるようにしてもよい。
【００３３】
累算部１０５３は、計測部１０５２から出力される識別信号の回数を計測する。計測した値をＴｔｏｔａｌという。評価部１０５４は、検出部１０５１から終了情報と全フレーム数Ｔａｌｌを示す情報が出力された場合には、累算部１０５３から、累算部１０５３が累算した値であるＴｔｏｔａｌを読み出し、当該Ｔｔｏｔａｌの全フレーム数Ｔａｌｌに対する割合を示すフォール歌唱評価データを採点部１０４に出力する。なお、フォール歌唱評価データは、Ｔｔｏｔａｌに基づいて生成されていれば、Ｔｔｏｔａｌ／Ｔａｌｌを示すものに限られない。例えばＴｔｏｔａｌそのものを示すものであってもよい。
【００３４】
採点部１０４は、通常評価部１０３から出力された通常評価データと、フォール歌唱評価部１０５から出力されたフォール歌唱評価データとに基づいて歌唱者の歌唱の評価点を算出する。そして、算出した評価点はＣＰＵ１１によって表示部１５に表示される。
【００３５】
次に、カラオケ装置１の動作について説明する。まず、歌唱者は操作部１６を操作して、歌唱する楽曲を選択する。ＣＰＵ１１は、歌唱者が選択した楽曲に対応する楽曲データを楽曲データ記憶領域１４ａから読み出し、楽曲の進行に応じて、読み出した楽曲データの伴奏データトラックに基づいて楽曲の伴奏などをスピーカ１９から放音させるとともに、読み出した楽曲データの歌詞データトラックに基づいて表示部１５に歌詞をワイプ表示させる。歌唱者は、楽曲の進行にあわせて歌唱すると、当該歌唱がマイクロフォン１７に収音され、歌唱者音声データとして歌唱者音声データ記憶領域１４ｂに記憶される。
【００３６】
楽曲が最後まで進むことにより終了すると、ＣＰＵ１１によって歌唱者の歌唱の評価が開始される。ピッチ抽出部１０１は、歌唱者音声データ記憶領域１４ｂに記憶された歌唱者音声データを読み出し、歌唱ピッチデータを通常評価部１０３およびフォール歌唱評価部１０５の検出部１０５１に出力する。ピッチ算出部１０２は、楽曲データ記憶領域１４ａから評価基準となる楽曲のガイドメロディトラックを読み出し、メロディピッチデータを通常評価部１０３に出力する。
【００３７】
通常評価部１０３は、ピッチ抽出部１０１から出力された歌唱ピッチデータとピッチ算出部１０２から出力されたメロディピッチデータとをフレーム単位で比較し、ピッチの一致の程度を示す通常評価データを生成し、採点部１０４へ出力する。フォール歌唱評価部１０５は、ピッチ抽出部１０１から出力された歌唱ピッチデータに基づいて、その評価結果を示すフォール歌唱評価データを生成し、採点部１０４へ出力する。
【００３８】
ここで、フォール歌唱評価部１０５の評価の流れについて図３を用いて、詳細に説明する。図３は、フォール歌唱評価部１０５の評価の流れを示すフローチャートである。
【００３９】
まず、フォール歌唱評価部１０５における評価を開始すると、フォール歌唱評価部１０５において用いられるパラメータであるＴａｌｌ、Ｔｔｏｔａｌ、Ｔｃｏｕｎｔを初期化して全て「０」とする（ステップＳ１）。
【００４０】
次に、検出部１０５１は、比較したフレーム数を示すＴａｌｌの数値を「１」増加させてカウントアップし（ステップＳ２）、ピッチ抽出部１０１から出力された歌唱ピッチデータに係るピッチのうち最初のフレームのピッチが抽出されているかどうか、すなわちＰｉｔｃｈ（Ｔａｌｌ）≠０（この時点においてはＴａｌｌ＝１）であるかどうかを検出することにより判断する（ステップＳ３）。
【００４１】
歌唱ピッチデータに係るピッチのうち最初のフレームのピッチが抽出されている（Ｐｉｔｃｈ（１）≠０）と判断した場合（ステップＳ３；Ｙｅｓ）には、検出部１０５１は、ピッチが抽出されていることを示す判断情報を計測部１０５２に出力する。そして、計測部１０５２は、Ｔｃｏｕｎｔのカウントをリセットして「０」とする（ステップＳ４）。そして、後述するステップＳ９へ進む。
【００４２】
一方、歌唱ピッチデータに係るピッチが抽出されていない（Ｐｉｔｃｈ（１）＝０）と判断した場合（ステップＳ３；Ｎｏ）には、検出部１０５１は、ピッチが抽出されていないと判断したことを示す判断情報を計測部１０５２に出力する。そして、計測部１０５２は、Ｔｃｏｕｎｔを「１」増加させてカウントアップし（ステップＳ５）、Ｔｃｏｕｎｔが所定数ｍになったかどうかを判断する（ステップＳ６）。以下、最初のフレーム（Ｔａｌｌ＝１）に限らずに説明を続ける。
【００４３】
Ｔｃｏｕｎｔ＝ｍでない場合、すなわちＴｃｏｕｎｔが所定数ｍより小さい場合および大きい場合（ステップＳ６；Ｎｏ）は、後述するステップＳ９へ進む。一方、Ｔｃｏｕｎｔ＝ｍである場合（ステップＳ６；Ｙｅｓ）は、Ｐｉｔｃｈ（α）−Ｐｉｔｃｈ（β）が予め設定された設定値ｋより大きいかどうかを判断する（ステップＳ７）。ここで、α＝Ｔａｌｌ−ｍ、β＝Ｔａｌｌ−ｍ−ｎである。
【００４４】
Ｐｉｔｃｈ（α）−Ｐｉｔｃｈ（β）が設定値ｋ以下である場合（ステップＳ７；Ｎｏ）は、後述するステップＳ９へ進む。一方、Ｐｉｔｃｈ（α）−Ｐｉｔｃｈ（β）が設定値ｋより大きい場合（ステップＳ７；Ｙｅｓ）は、計測部１０５２は、識別信号を累算部１０５３に出力する。そして累算部１０５３は、Ｔｔｏｔａｌを「１」増加させてカウントアップする（ステップＳ８）。そして後述するステップＳ９へ進む。
【００４５】
ステップＳ４、Ｓ６、Ｓ７、Ｓ８における処理が終了すると、検出部１０５１は、ピッチ抽出部１０１から出力される歌唱ピッチデータに基づいて、楽曲が終了したかどうかを判断する（ステップＳ９）。楽曲が終了していないと判断した場合（ステップＳ９；Ｎｏ）には、ステップＳ２から繰り返し上述した処理を行う。一方、楽曲が終了したと判断した場合（ステップＳ９；Ｙｅｓ）には、検出部１０５１は、評価部１０５４に終了情報およびＴａｌｌを示す情報を出力する。評価部１０５４は、検出部１０５１から終了情報が出力されると、累算部１０５３において識別信号が出力される度に累算した結果であるＴｔｏｔａｌを読み出す。そして、評価部１０５４は、Ｔｔｏｔａｌ／Ｔａｌｌを示すフォール歌唱評価データを採点部１０４に出力する（ステップＳ１０）。なお、上述したように、フォール歌唱評価データは、Ｔｔｏｔａｌに基づいて生成されていれば、Ｔｔｏｔａｌ／Ｔａｌｌを示すものに限られない。例えばＴｔｏｔａｌそのものを示すものであってもよい。
【００４６】
ここで、フォール歌唱評価部１０５における処理の具体例として、図４に示すような、楽曲の進行のある一部分の場合について説明する。図４は、歌唱ピッチデータ、α、βを説明する説明図である。ここで、縦軸はピッチの高さを示し、横軸は時刻を示し、実線は歌唱ピッチデータが示すピッチである。また、図中に記載のｋは、予め設定された設定値ｋを示すものである。そしてｍ、ｎは、それぞれ所定数ｍ、予め設定されたフレーム数ｎであって、フレーム数を時間に換算して表記したものである。なお、上述したフレームに関する内容は、以下の説明においては、時間に換算したものとして説明する。また、当該部分を評価する前におけるＴｔｏｔａｌはγであるものとする。
【００４７】
まず、時刻ｔ１を過ぎると、歌唱ピッチデータが示すピッチが０となり、計測部１０５２は、Ｔｃｏｕｎｔをカウントアップしていく。Ｔｃｏｕｎｔ＝ｍ、すなわち時刻がｔ１＋ｍになると、計測部１０５２は、上述したβに相当するｔ１におけるピッチＰｉｔｃｈ（ｔ１）および、αに相当するｔ１−ｎにおけるピッチＰｉｔｃｈ（ｔ１−ｎ）を取得する。ここで、Ｐ１＝Ｐｉｔｃｈ（ｔ１−ｎ）−Ｐｉｔｃｈ（ｔ１）は設定値ｋより小さいため、計測部１０５２は識別信号を出力しない。そして時刻ｔ２になると、歌唱ピッチデータが示すピッチが０でなくなるため、Ｔｃｏｕｎｔのカウントがリセットされ、Ｔｃｏｕｎｔ＝０となる。
【００４８】
次に、時刻ｔ３を過ぎると、再び歌唱ピッチデータが示すピッチが０となり、計測部１０５２は、Ｔｃｏｕｎｔをカウントアップしていく。ここで、Ｔｃｏｕｎｔ＝ｍになる前である時刻ｔ４において歌唱ピッチデータが示すピッチが０でなくなり、再びＴｃｏｕｎｔ＝０となる。そして、時刻ｔ５を過ぎると、再び歌唱ピッチデータが示すピッチが０となり、計測部１０５２は、Ｔｃｏｕｎｔをカウントアップし、時刻ｔ５＋ｍになると、上述したβに相当するｔ５におけるピッチＰｉｔｃｈ（ｔ５）および、αに相当するｔ５−ｎにおけるピッチＰｉｔｃｈ（ｔ５−ｎ）を取得する。ここで、Ｐ５＝Ｐｉｔｃｈ（ｔ５−ｎ）−Ｐｉｔｃｈ（ｔ５）は設定値ｋより大きいため、計測部１０５２は識別信号を累算部１０５３に出力する。これにより、累算部１０５３はＴｔｏｔａｌをカウントアップし、Ｔｔｏｔａｌ＝γ＋１となる。そして、時刻ｔ６になると、歌唱ピッチデータが示すピッチが０でなくなるため、Ｔｃｏｕｎｔのカウントがリセットされ、Ｔｃｏｕｎｔ＝０となる。このように、例としてあげた部分におけるフォール歌唱評価部１０５においては、Ｔｔｏｔａｌがγからγ＋１に増加することになる。
【００４９】
このようにして、全てのフレームについてフォール歌唱評価部１０５における処理が行われる。そして、評価部１０５４はＴｔｏｔａｌ／Ｔａｌｌを示すフォール歌唱評価データを採点部１０４に出力する。
【００５０】
そして、採点部１０４は、通常評価部１０３から出力された通常評価データと、フォール歌唱評価部１０５から出力されたフォール歌唱評価データとに基づいて、所定のアルゴリズムによって歌唱者の歌唱の評価点を算出する。そして、その算出結果が表示部１５に表示されることになる。
【００５１】
以上のように、本実施形態におけるカラオケ装置１は、歌唱のフレーズの最後など所定時間無音になることによりピッチが抽出できない場合に、最後にピッチ抽出部１０１が抽出したピッチＰｉｔｃｈ（β）と、さらにフレーム数ｎだけ前のピッチＰｉｔｃｈ（α）を認識することができる。そして、Ｐｉｔｃｈ（α）−Ｐｉｔｃｈ（β）が設定値ｋより大きい場合には、フレーム数ｎに対応する時間内に設定値ｋより大きくピッチが下がったことになり、フォール歌唱の状態になったといえるから、歌唱者の歌唱の評価による採点結果にフォール歌唱の影響を加えることができる。
【００５２】
以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。
【００５３】
＜変形例１＞
実施形態におけるフォール歌唱評価部１０５におけるフォール歌唱の評価は、ピッチ抽出部１０１から出力された歌唱ピッチデータを用いて行ったが、ピッチ算出部１０２から出力されるメロディピッチデータをさらに用いて、フォール歌唱の評価を行なってもよい。この場合には、以下のようにすればよい。図５に示すように、ピッチ算出部１０２は、メロディピッチデータを通常評価部１０３に出力するとともに、フォール歌唱評価部１０５の計測部１０５２に出力する。そして、フォール歌唱評価部１０５は、図６に示すような処理を行う。図６に示すフローチャートは、図３に示すフローチャートにおけるステップＳ７の処理に替えて、ステップＳ７１、Ｓ７２の処理としたものである。以下、計測部１０５２におけるステップＳ７１、Ｓ７２の処理について説明する。
【００５４】
Ｔｃｏｕｎｔ＝ｍである場合（ステップＳ６；Ｙｅｓ）は、Ｐｉｔｃｈ２（α）−Ｐｉｔｃｈ（β）が予め設定された設定値ｋより大きいかどうかを判断する（ステップＳ７１）。ここで、Ｐｉｔｃｈ２（ｆ）は、フレーム数ｆにおけるメロディピッチデータが示すピッチに相当するピッチである。ここで、Ｐｉｔｃｈ２（ｆ）に相当とは、フレーム数ｆにおけるメロディピッチデータが示すピッチより少し低いピッチ（例えば−１０ｃｅｎｔ）であることをいう。なお、メロディピッチデータが示すピッチは、ガイドメロディトラックが示す各音のピッチを算出したものであって同じ音内ではピッチは変わらないから、必ずしもフレーム数αにおけるピッチである必要は無く、前後に若干ずれたフレームにおけるピッチであっても問題ない。すなわち、フレーム数αに対応する音が認識できれば、どのような方法であってもよく、当該音のピッチをＰｉｔｃｈ２（α）とみなせばよい。
【００５５】
Ｐｉｔｃｈ２（α）−Ｐｉｔｃｈ（β）が予め設定された設定値ｋより小さい場合（ステップＳ７１；Ｎｏ）は、ステップＳ９へ進む。一方、Ｐｉｔｃｈ２（α）−Ｐｉｔｃｈ（β）が予め設定された設定値ｋより大きい場合（ステップＳ７１；Ｙｅｓ）は、歌唱ピッチデータに係るピッチのうち、フレーム数がαからβの間にＰｉｔｃｈ２（α）に該当するピッチ（Ｐｉｔｃｈ（ｈ）＝Ｐｉｔｃｈ２（α）、但しα＜ｈ＜β）があるかどうかを判断する（ステップＳ７２）。ここで、Ｐｉｔｃｈ２（α）は、フレーム数αにおけるメロディピッチデータが示すピッチより少し低いピッチであるから、ガイドメロディトラックが示す音のピッチより少し低いピッチで歌唱が行なわれていた場合に、フォール歌唱の状態であっても上記条件を満たさなくなることを防止することができる。
【００５６】
上記条件を満たさない場合（ステップＳ７２；Ｎｏ）は、ステップＳ９に進む。一方、上記条件を満たす場合（ステップＳ７２；Ｙｅｓ）は、ステップＳ８に進む。ここで、図７に楽曲の進行の一部におけるメロディピッチデータに係るピッチと歌唱ピッチデータに係るピッチについて、ステップＳ７２における条件を満たす場合を図７（ａ）、満たさない場合を図７（ｂ）として示す。図７（ａ）においては、ｈがαとβの間に位置しているが、図７（ｂ）においては、歌唱のピッチの下降が緩やかなため、ｈがαよりも前に位置してしまい、フォール歌唱としては認識されない。以上のような構成においても、実施形態と同様にしてフォール歌唱を評価することができる。
【００５７】
＜変形例２＞
実施形態においては、フレーム数ｎに対応する時間内に設定値ｋだけピッチが下がったことを判断することによりフォール歌唱の状態になったことを認識して評価していたが、さらに楽曲の進行に対して、特定の期間においてフォール歌唱が認識されるようにしてもよい。この場合には、フォール歌唱を認識すべきことを示す情報のイベントデータを特定の期間を示すデータ位置に設けるようにして、楽曲データに含まれるようにすればよい。そして、ＣＰＵ１１が楽曲データを再生する際に上記情報を識別したときに、その情報を計測部１０５２などにそれぞれ出力して、当該イベントデータが示す特定の期間を計測部１０５２が認識するようにすれば、当該特定の期間以外においては、識別信号を出力しないようにすることができるから、フォール歌唱として認識されなくなる。なお、特定の期間を示すデータを記憶部１４に別途記憶させ、これをＣＰＵ１１が読み出すことにより認識するようにしてもよい。
【００５８】
また、別の方法として、ガイドメロディトラックを解析して、メロディを構成する各音において隣接する音程の関係、音長、無音時間などに基づいて特定の期間を決定する解析手段を設けて、計測部１０５２に認識させるようにしてもよい。例えば、メロディを構成するある音の音程とその次の音の音程を比較した場合に、次の音の音程の方が一定量以上離れている場合には、当該ある音の最後の部分を特定の期間とすればよい。また、ある音の音長が一定以上長い場合や次の音まで無音時間が一定時間以上ある場合などにも、同様にして当該ある音の最後の部分を特定の期間とすればよい。このようにすれば、特定の期間においてフォール歌唱が認識されるようになるため、フォール歌唱が不要な部分では、評価の対象としないこともできる。
【００５９】
＜変形例３＞
実施形態においては、フレーム数ｎに対応する時間内に設定値ｋだけピッチが下がったことを判断することによりフォール歌唱の状態になったことを認識して評価していたが、さらに条件を加え、計測部１０５２が検出部１０５１によってバッファされた歌唱ピッチデータを解析し条件を満たしていると判断した場合に、計測部１０５２は識別信号を出力するようにすればよい。ここで、条件には以下のような条件を設ければよい。例えば、条件として、フレーム数αの前の部分にあたる一定数のフレーム数のピッチが一定のピッチ範囲に収まっていることとすると、安定した音程の状態からフォール歌唱の状態になった場合に限定してフォール歌唱を評価することができる。この際、変形例１のようにしてメロディピッチデータを参照して、当該一定のピッチ範囲を決めてもよく、Ｐｉｔｃｈ２（α）を中心として例えば上下に２０ｃｅｎｔの範囲をピッチ範囲とすればよい。また、他の条件としては、上記Ｐｉｔｃｈ２（α）に対応するメロディを構成するある音の次の音についてのピッチに対して、一定の範囲のピッチにＰｉｔｃｈ（β）が含まれないこととする。このようにすると、次の音のピッチに連続して変化するようにした歌唱（ポルタメント）とフォール歌唱を区別することができる。
【００６０】
また、歌唱ピッチデータから音程を震わせる歌唱（ビブラート）を検出するビブラート検出手段を設け、ビブラート検出手段がビブラートを検出しないことを条件としてもよい。すなわちビブラートを検出した場合には、計測部１０５２は識別信号を出力しないようにすればよい。ビブラートはピッチが上下に変動することから、ピッチが下に変動したときにフォール歌唱と認識する可能性があるが、これを防ぐことができる。このように、計測部１０５２は、設定された各条件を満たした場合に、識別信号を出力するようにすると、より精度の高いフォール歌唱の評価を行うことができる。
【００６１】
＜変形例４＞
実施形態においては、設定値ｋ、カウント数ｍ、フレーム数ｎなどのパラメータは、予め設定されていたが、これらは、楽曲の進行の途中で変更されるようにしてもよい。この場合は、パラメータの値を示す情報をイベントデータなどにより楽曲データに含まれるようにすればよい。そして、ＣＰＵ１１が楽曲データを再生する際に上記情報を識別したときに、その情報を検出部１０５１、計測部１０５２などにそれぞれ出力して、それぞれ設定する設定手段を設ければよい。このようにすれば、楽曲の進行に対して異なる態様でフォール歌唱の評価をすることができる。また、楽曲中においてフォール歌唱の状態になっても評価の対象としない部分については、この設定の態様（例えば、設定値ｋ、カウント数ｍを大きくするなど）によって制御することも可能であり、変形例２で述べたような効果を得ることもできる。なお、パラメータの値を示すデータを記憶部１４に別途記憶させ、これをＣＰＵ１１が読み出すことにより認識し、各パラメータに対して値を設定する設定手段を設ければよい。なお、実施形態のように予め設定された各パラメータで固定して使用するモード、または本変形例のように楽曲データに基づいて設定された各パラメータで使用するモードのうち、どのモードを用いるかについては、利用者が操作部１６を操作することによって、選択できるようにしてもよい。また、利用者が操作部１６を操作することによって入力した歌唱者のレベルに応じて、各パラメータが変更されるようにしてもよい。
【００６２】
＜変形例５＞
実施形態においては、β＝Ｔａｌｌ−ｍとしていたために、Ｐｉｔｃｈ（β）はピッチ抽出部１０１において歌唱者音声データからピッチが抽出できなくなる直前フレームのピッチを示していたが、さらに少し前のフレームにおけるピッチであってもよい。この場合は、β＝Ｔａｌｌ−ｍ−１０として一定のフレーム数前（この場合は１０フレーム前）のフレームのピッチＰｉｔｃｈ（β）としてもよいし、Ｔａｌｌ−ｍ−１０からＴａｌｌ−ｍまでのフレームにおけるピッチに基づいて決定したピッチ、例えば平均値などをＰｉｔｃｈ（β）とみなしてもよい。このようにすると、Ｐｉｔｃｈ（β）は、抽出できた最後のピッチとする場合よりも実際の聞こえ方にあったピッチとなるから、より正確なフォール歌唱の評価ができる。なお、一定のフレーム数は、予め設定されたフレーム数ｎよりは少ない数としておくことが望ましい。また、一定のフレーム数を大きくするとαとβの間隔が少なくなるから、計測部１０５２は、設定値ｋの値を当該間隔に応じて少なくなるように設定してもよいし、設定値ｋは変化させずにαとβの間隔が変化しないようにフレーム数ｎを設定してもよい。
【００６３】
＜変形例６＞
実施形態においては、Ｐｉｔｃｈ（α）がＰｉｔｃｈ（β）に対して設定値ｋより大きければフォール歌唱の状態になっていると判断したが、その途中のフレーム（αからβの間）におけるピッチの変化の態様について条件を設け、これを満たした場合に計測部１０５２は識別信号を出力するようにしてもよい。この場合、計測部１０５２は、検出部１０５１によってバッファされた歌唱ピッチデータに係るフレーム数αからβの間のピッチの変化を認識する。そして、その変化の態様が所定の条件を満たしているかを判断すればよい。ここで、所定の条件とは、例えば、ピッチがフレーム数αからβにかけて単調減少している（例えば、１次微分が負）とすればよい。このようにすれば、途中でピッチが上がってから下がるという歌唱の状態を除くことができ、より精度の高いフォール歌唱の評価ができる。
【００６４】
＜変形例７＞
実施形態においては、フォール歌唱評価部１０５による処理は、歌唱者が歌唱する楽曲が終了した後に行なわれていたが、歌唱途中で順次処理が行なわれるようにしてもよい。この場合には、ピッチ抽出部１０１は、楽曲の進行に応じて、すでに歌唱された部分のデータである歌唱者音声データから歌唱のピッチを順次抽出し、歌唱ピッチデータをフォール歌唱評価部１０５に出力していくようにすればよい。そして、フォール歌唱評価部１０５は、ピッチ抽出部１０１から順次出力される歌唱ピッチデータにあわせて、順次処理を行っていけばよい。このようにすれば、楽曲が終了した後わずかな時間で処理が終了するため、早く評価結果を表示部１５に表示させることができる。また、計測部１０５２がＴｃｏｕｎｔを出力するタイミング、すなわちフォール歌唱が検出されたときに、ＣＰＵ１１は、表示部１５に当該検出が行われたことを示す表示を行なうこともできる。
【図面の簡単な説明】
【００６５】
【図１】実施形態に係るカラオケ装置のハードウエアの構成を示すブロック図である。
【図２】実施形態に係るカラオケ装置のソフトウエアの構成を示すブロック図である。
【図３】実施形態に係るフォール歌唱評価部におけるフォール歌唱の評価の流れを示すフローチャートである。
【図４】実施形態に係るフォール歌唱評価部におけるフォール歌唱の評価の一部を示す説明図である。
【図５】変形例１に係るカラオケ装置のソフトウエアの構成を示すブロック図である。
【図６】変形例１に係るフォール歌唱評価部におけるフォール歌唱の評価の流れを示すフローチャートである。
【図７】変形例１に係るフォール歌唱評価部におけるフォール歌唱の評価の一部を示す説明図である。
【符号の説明】
【００６６】
１…カラオケ装置、１０…バス、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…記憶部、１４ａ…楽曲データ記憶領域、１４ｂ…歌唱者音声データ記憶領域、１５…表示部、１６…操作部、１７…マイクロフォン、１８…音声処理部、１９…スピーカ、１０１…ピッチ抽出部、１０２…ピッチ算出部、１０３…通常評価部、１０４…採点部、１０５…フォール歌唱評価部、１０５１…検出部、１０５２…計測部、１０５３…累算部、１０５４…評価部
【特許請求の範囲】
【請求項１】
楽曲を再生する再生手段と、
前記楽曲の再生の間に入力された歌唱者の歌唱に基づいて歌唱者音声データを生成する音声入力手段と、
前記歌唱者音声データに基づいて、前記歌唱者の歌唱のピッチを抽出するピッチ抽出手段と、
前記ピッチ抽出手段が所定時間以上連続してピッチを抽出できない期間がある場合には、当該期間前の所定のタイミングにおいて前記ピッチ抽出手段によって抽出されたピッチを第１のピッチとして特定する第１の特定手段と、
前記ピッチ抽出手段によって前記第１のピッチが抽出されたタイミングから、予め設定された設定時間前のタイミングにおいて前記ピッチ抽出手段によって抽出されたピッチを第２のピッチとして特定する第２の特定手段と、
前記第２のピッチが前記第１のピッチに対して所定ピッチ以上大きい場合には、識別信号を出力する識別手段と、
前記識別手段から出力された識別信号に基づいて、予め定められた処理を行う評価手段と
を具備することを特徴とするカラオケ装置。
【請求項２】
楽曲の進行に対応して歌唱者が歌唱すべきメロディを示すガイドメロディデータを記憶する記憶手段と、
前記楽曲の進行に対応して入力された歌唱者の歌唱に基づいて歌唱者音声データを生成する音声入力手段と、
前記歌唱者音声データに基づいて、前記歌唱者の歌唱のピッチを前記楽曲の進行に対応して抽出するピッチ抽出手段と、
前記ピッチ抽出手段が前記楽曲の進行に対して所定時間以上連続してピッチを抽出できない期間がある場合には、当該期間前の所定のタイミングにおいて前記ピッチ抽出手段によって抽出されたピッチを第１のピッチとして特定する第１の特定手段と、
前記ガイドメロディデータが示すメロディを構成する各音のうち、前記ピッチ抽出手段が前記第１のピッチを抽出した前記楽曲の進行に対するタイミングに対応する音のピッチを算出し、当該算出したピッチより所定量低いピッチを第２のピッチとして算出するピッチ算出手段と、
前記ピッチ抽出手段が前記第１のピッチを抽出した前記楽曲の進行に対するタイミングより前の予め設定された設定時間内に前記ピッチ抽出手段が抽出したピッチのうち、前記第２のピッチより大きいピッチが含まれている場合、かつ、前記第２のピッチが前記第１のピッチに対して所定ピッチ以上大きい場合には、識別信号を出力する識別手段と、
前記識別手段から出力された識別信号に基づいて、予め定められた処理を行う評価手段と
を具備することを特徴とするカラオケ装置。
【請求項３】
前記識別手段は、さらに、前記第２のピッチが前記ピッチ抽出手段によって抽出された楽曲の進行に対応したタイミングより前の一定時間における前記ピッチ抽出手段が抽出したピッチが、前記ピッチ算出手段が算出したピッチに対して所定幅のピッチ範囲に含まれている場合には、識別信号を出力する
ことを特徴とする請求項２に記載のカラオケ装置。
【請求項４】
前記識別手段は、さらに、前記第２のピッチが前記ピッチ抽出手段によって抽出された楽曲の進行に対応したタイミングから前記第１のピッチが前記ピッチ抽出手段によって抽出された楽曲の進行に対応したタイミングまでの、前記ピッチ抽出手段が抽出したピッチの変動が楽曲の進行に対して単調減少になっている場合には、識別信号を出力する
ことを特徴とする請求項２または請求項３に記載のカラオケ装置。
【請求項５】
前記評価手段における予め定められた処理は、前記識別手段から識別信号が出力された回数を計測し、当該計測した回数に基づいて、前記歌唱者の歌唱についての評価を行う処理である
ことを特徴とする請求項１乃至請求項４のいずれかに記載のカラオケ装置。
【請求項６】
楽曲の進行に対応して楽曲の特定の範囲を示す範囲特定情報を記憶する範囲記憶手段と、
前記識別手段は、さらに、前記第１のピッチまたは前記第２のピッチを前記ピッチ抽出手段が抽出した楽曲の進行に対応したタイミングが、前記範囲特定情報が示す特定の範囲に含まれている場合には、識別信号を出力する
ことを特徴とする請求項１乃至請求項５のいずれかに記載のカラオケ装置。
【請求項７】
前記所定時間、前記所定のタイミング、前記設定時間または前記所定ピッチの設定値を示す設定情報を記憶する設定記憶手段と、
前記設定情報に基づいて、前記所定時間、前記所定のタイミング、前記設定時間または前記所定ピッチの値を設定する設定手段と
をさらに具備することを特徴とする請求項１乃至請求項６のいずれかに記載のカラオケ装置。
【請求項８】
楽曲を再生する再生過程と、
前記楽曲の再生の間に入力された歌唱者の歌唱に基づいて歌唱者音声データを生成する音声入力過程と、
前記歌唱者音声データに基づいて、前記歌唱者の歌唱のピッチを抽出するピッチ抽出過程と、
前記ピッチ抽出過程において所定時間以上連続してピッチを抽出できない期間がある場合には、当該期間前の所定のタイミングにおいて前記ピッチ抽出手段によって抽出されたピッチを第１のピッチとして特定する第１の特定過程と、
前記ピッチ抽出過程において前記第１のピッチが抽出されたタイミングから、予め設定された設定時間前のタイミングにおいて前記ピッチ抽出手段によって抽出されたピッチを第２のピッチとして特定する第２の特定過程と、
前記第２のピッチが前記第１のピッチに対して所定ピッチ以上大きい場合には、識別信号を出力する識別過程と、
前記識別過程によって出力された識別信号に基づいて、予め定められた処理を行う評価過程と
を備えることを特徴とする歌唱評価方法。
【請求項９】
楽曲の進行に対応して入力された歌唱者の歌唱に基づいて歌唱者音声データを生成する音声入力過程と、
前記歌唱者音声データに基づいて、前記歌唱者の歌唱のピッチを前記楽曲の進行に対応して抽出するピッチ抽出過程と、
前記ピッチ抽出過程において前記楽曲の進行に対して所定時間以上連続してピッチを抽出できない期間がある場合には、当該期間前の所定のタイミングにおいて前記ピッチ抽出手段によって抽出されたピッチを第１のピッチとして特定する第１の特定過程と、
記憶手段に記憶された前記楽曲の進行に対応して歌唱者が歌唱すべきメロディを示すガイドメロディデータが示すメロディを構成する各音のうち、前記ピッチ抽出過程において前記第１のピッチを抽出した前記楽曲の進行に対するタイミングに対応する音のピッチを算出し、当該算出したピッチより所定量低いピッチを第２のピッチとして算出するピッチ算出過程と、
前記ピッチ抽出過程において前記第１のピッチを抽出した前記楽曲の進行に対するタイミングより前の予め設定された設定時間内に前記ピッチ抽出過程において抽出したピッチのうち、前記第２のピッチより大きいピッチが含まれている場合、かつ、前記第２のピッチが前記第１のピッチに対して所定ピッチ以上大きい場合には、識別信号を出力する識別過程と、
前記識別過程によって出力された識別信号に基づいて、予め定められた処理を行う評価過程と
を備えることを特徴とする歌唱評価方法。
【請求項１０】
コンピュータに、
楽曲を再生する再生機能と、
前記楽曲の再生の間に入力された歌唱者の歌唱に基づいて歌唱者音声データを生成する音声入力機能と、
前記歌唱者音声データに基づいて、前記歌唱者の歌唱のピッチを抽出するピッチ抽出機能と、
前記ピッチ抽出機能において所定時間以上連続してピッチを抽出できない期間がある場合には、当該期間前の所定のタイミングにおいて前記ピッチ抽出機能において抽出されたピッチを第１のピッチとして特定する第１の特定機能と、
前記ピッチ抽出機能において前記第１のピッチが抽出されたタイミングから、予め設定された設定時間前のタイミングにおいて前記ピッチ抽出機能において抽出されたピッチを第２のピッチとして特定する第２の特定機能と、
前記第２のピッチが前記第１のピッチに対して所定ピッチ以上大きい場合には、識別信号を出力する識別機能と
前記識別機能によって出力された識別信号に基づいて、予め定められた処理を行う評価機能と
を実現させるためのコンピュータ読み取り可能なプログラム。
【請求項１１】
コンピュータに、
楽曲の進行に対応して歌唱者が歌唱すべきメロディを示すガイドメロディデータを記憶する記憶機能と、
楽曲の進行に対応して入力された歌唱者の歌唱に基づいて歌唱者音声データを生成する音声入力機能と、
前記歌唱者音声データに基づいて、前記歌唱者の歌唱のピッチを前記楽曲の進行に対応して抽出するピッチ抽出機能と、
前記ピッチ抽出機能において前記楽曲の進行に対して所定時間以上連続してピッチを抽出できない期間がある場合には、当該期間前の所定のタイミングにおいて前記ピッチ抽出機能において抽出されたピッチを第１のピッチとして特定する第１の特定機能と、
前記ガイドメロディデータが示すメロディを構成する各音のうち、前記ピッチ抽出機能において前記第１のピッチを抽出した前記楽曲の進行に対するタイミングに対応する音のピッチを算出し、当該算出したピッチより所定量低いピッチを第２のピッチとして算出するピッチ算出機能と、
前記ピッチ抽出機能において前記第１のピッチを抽出した前記楽曲の進行に対するタイミングより前の予め設定された設定時間内に前記ピッチ抽出において抽出したピッチのうち、前記第２のピッチより大きいピッチが含まれている場合、かつ、前記第２のピッチが前記第１のピッチに対して所定ピッチ以上大きい場合には、識別信号を出力する識別機能と
前記識別機能によって出力された識別信号に基づいて、予め定められた処理を行う評価機能と
を実現させるためのコンピュータ読み取り可能なプログラム。
【請求項１】
楽曲を再生する再生手段と、
前記楽曲の再生の間に入力された歌唱者の歌唱に基づいて歌唱者音声データを生成する音声入力手段と、
前記歌唱者音声データに基づいて、前記歌唱者の歌唱のピッチを抽出するピッチ抽出手段と、
前記ピッチ抽出手段が所定時間以上連続してピッチを抽出できない期間がある場合には、当該期間前の所定のタイミングにおいて前記ピッチ抽出手段によって抽出されたピッチを第１のピッチとして特定する第１の特定手段と、
前記ピッチ抽出手段によって前記第１のピッチが抽出されたタイミングから、予め設定された設定時間前のタイミングにおいて前記ピッチ抽出手段によって抽出されたピッチを第２のピッチとして特定する第２の特定手段と、
前記第２のピッチが前記第１のピッチに対して所定ピッチ以上大きい場合には、識別信号を出力する識別手段と、
前記識別手段から出力された識別信号に基づいて、予め定められた処理を行う評価手段と
を具備することを特徴とするカラオケ装置。
【請求項２】
楽曲の進行に対応して歌唱者が歌唱すべきメロディを示すガイドメロディデータを記憶する記憶手段と、
前記楽曲の進行に対応して入力された歌唱者の歌唱に基づいて歌唱者音声データを生成する音声入力手段と、
前記歌唱者音声データに基づいて、前記歌唱者の歌唱のピッチを前記楽曲の進行に対応して抽出するピッチ抽出手段と、
前記ピッチ抽出手段が前記楽曲の進行に対して所定時間以上連続してピッチを抽出できない期間がある場合には、当該期間前の所定のタイミングにおいて前記ピッチ抽出手段によって抽出されたピッチを第１のピッチとして特定する第１の特定手段と、
前記ガイドメロディデータが示すメロディを構成する各音のうち、前記ピッチ抽出手段が前記第１のピッチを抽出した前記楽曲の進行に対するタイミングに対応する音のピッチを算出し、当該算出したピッチより所定量低いピッチを第２のピッチとして算出するピッチ算出手段と、
前記ピッチ抽出手段が前記第１のピッチを抽出した前記楽曲の進行に対するタイミングより前の予め設定された設定時間内に前記ピッチ抽出手段が抽出したピッチのうち、前記第２のピッチより大きいピッチが含まれている場合、かつ、前記第２のピッチが前記第１のピッチに対して所定ピッチ以上大きい場合には、識別信号を出力する識別手段と、
前記識別手段から出力された識別信号に基づいて、予め定められた処理を行う評価手段と
を具備することを特徴とするカラオケ装置。
【請求項３】
前記識別手段は、さらに、前記第２のピッチが前記ピッチ抽出手段によって抽出された楽曲の進行に対応したタイミングより前の一定時間における前記ピッチ抽出手段が抽出したピッチが、前記ピッチ算出手段が算出したピッチに対して所定幅のピッチ範囲に含まれている場合には、識別信号を出力する
ことを特徴とする請求項２に記載のカラオケ装置。
【請求項４】
前記識別手段は、さらに、前記第２のピッチが前記ピッチ抽出手段によって抽出された楽曲の進行に対応したタイミングから前記第１のピッチが前記ピッチ抽出手段によって抽出された楽曲の進行に対応したタイミングまでの、前記ピッチ抽出手段が抽出したピッチの変動が楽曲の進行に対して単調減少になっている場合には、識別信号を出力する
ことを特徴とする請求項２または請求項３に記載のカラオケ装置。
【請求項５】
前記評価手段における予め定められた処理は、前記識別手段から識別信号が出力された回数を計測し、当該計測した回数に基づいて、前記歌唱者の歌唱についての評価を行う処理である
ことを特徴とする請求項１乃至請求項４のいずれかに記載のカラオケ装置。
【請求項６】
楽曲の進行に対応して楽曲の特定の範囲を示す範囲特定情報を記憶する範囲記憶手段と、
前記識別手段は、さらに、前記第１のピッチまたは前記第２のピッチを前記ピッチ抽出手段が抽出した楽曲の進行に対応したタイミングが、前記範囲特定情報が示す特定の範囲に含まれている場合には、識別信号を出力する
ことを特徴とする請求項１乃至請求項５のいずれかに記載のカラオケ装置。
【請求項７】
前記所定時間、前記所定のタイミング、前記設定時間または前記所定ピッチの設定値を示す設定情報を記憶する設定記憶手段と、
前記設定情報に基づいて、前記所定時間、前記所定のタイミング、前記設定時間または前記所定ピッチの値を設定する設定手段と
をさらに具備することを特徴とする請求項１乃至請求項６のいずれかに記載のカラオケ装置。
【請求項８】
楽曲を再生する再生過程と、
前記楽曲の再生の間に入力された歌唱者の歌唱に基づいて歌唱者音声データを生成する音声入力過程と、
前記歌唱者音声データに基づいて、前記歌唱者の歌唱のピッチを抽出するピッチ抽出過程と、
前記ピッチ抽出過程において所定時間以上連続してピッチを抽出できない期間がある場合には、当該期間前の所定のタイミングにおいて前記ピッチ抽出手段によって抽出されたピッチを第１のピッチとして特定する第１の特定過程と、
前記ピッチ抽出過程において前記第１のピッチが抽出されたタイミングから、予め設定された設定時間前のタイミングにおいて前記ピッチ抽出手段によって抽出されたピッチを第２のピッチとして特定する第２の特定過程と、
前記第２のピッチが前記第１のピッチに対して所定ピッチ以上大きい場合には、識別信号を出力する識別過程と、
前記識別過程によって出力された識別信号に基づいて、予め定められた処理を行う評価過程と
を備えることを特徴とする歌唱評価方法。
【請求項９】
楽曲の進行に対応して入力された歌唱者の歌唱に基づいて歌唱者音声データを生成する音声入力過程と、
前記歌唱者音声データに基づいて、前記歌唱者の歌唱のピッチを前記楽曲の進行に対応して抽出するピッチ抽出過程と、
前記ピッチ抽出過程において前記楽曲の進行に対して所定時間以上連続してピッチを抽出できない期間がある場合には、当該期間前の所定のタイミングにおいて前記ピッチ抽出手段によって抽出されたピッチを第１のピッチとして特定する第１の特定過程と、
記憶手段に記憶された前記楽曲の進行に対応して歌唱者が歌唱すべきメロディを示すガイドメロディデータが示すメロディを構成する各音のうち、前記ピッチ抽出過程において前記第１のピッチを抽出した前記楽曲の進行に対するタイミングに対応する音のピッチを算出し、当該算出したピッチより所定量低いピッチを第２のピッチとして算出するピッチ算出過程と、
前記ピッチ抽出過程において前記第１のピッチを抽出した前記楽曲の進行に対するタイミングより前の予め設定された設定時間内に前記ピッチ抽出過程において抽出したピッチのうち、前記第２のピッチより大きいピッチが含まれている場合、かつ、前記第２のピッチが前記第１のピッチに対して所定ピッチ以上大きい場合には、識別信号を出力する識別過程と、
前記識別過程によって出力された識別信号に基づいて、予め定められた処理を行う評価過程と
を備えることを特徴とする歌唱評価方法。
【請求項１０】
コンピュータに、
楽曲を再生する再生機能と、
前記楽曲の再生の間に入力された歌唱者の歌唱に基づいて歌唱者音声データを生成する音声入力機能と、
前記歌唱者音声データに基づいて、前記歌唱者の歌唱のピッチを抽出するピッチ抽出機能と、
前記ピッチ抽出機能において所定時間以上連続してピッチを抽出できない期間がある場合には、当該期間前の所定のタイミングにおいて前記ピッチ抽出機能において抽出されたピッチを第１のピッチとして特定する第１の特定機能と、
前記ピッチ抽出機能において前記第１のピッチが抽出されたタイミングから、予め設定された設定時間前のタイミングにおいて前記ピッチ抽出機能において抽出されたピッチを第２のピッチとして特定する第２の特定機能と、
前記第２のピッチが前記第１のピッチに対して所定ピッチ以上大きい場合には、識別信号を出力する識別機能と
前記識別機能によって出力された識別信号に基づいて、予め定められた処理を行う評価機能と
を実現させるためのコンピュータ読み取り可能なプログラム。
【請求項１１】
コンピュータに、
楽曲の進行に対応して歌唱者が歌唱すべきメロディを示すガイドメロディデータを記憶する記憶機能と、
楽曲の進行に対応して入力された歌唱者の歌唱に基づいて歌唱者音声データを生成する音声入力機能と、
前記歌唱者音声データに基づいて、前記歌唱者の歌唱のピッチを前記楽曲の進行に対応して抽出するピッチ抽出機能と、
前記ピッチ抽出機能において前記楽曲の進行に対して所定時間以上連続してピッチを抽出できない期間がある場合には、当該期間前の所定のタイミングにおいて前記ピッチ抽出機能において抽出されたピッチを第１のピッチとして特定する第１の特定機能と、
前記ガイドメロディデータが示すメロディを構成する各音のうち、前記ピッチ抽出機能において前記第１のピッチを抽出した前記楽曲の進行に対するタイミングに対応する音のピッチを算出し、当該算出したピッチより所定量低いピッチを第２のピッチとして算出するピッチ算出機能と、
前記ピッチ抽出機能において前記第１のピッチを抽出した前記楽曲の進行に対するタイミングより前の予め設定された設定時間内に前記ピッチ抽出において抽出したピッチのうち、前記第２のピッチより大きいピッチが含まれている場合、かつ、前記第２のピッチが前記第１のピッチに対して所定ピッチ以上大きい場合には、識別信号を出力する識別機能と
前記識別機能によって出力された識別信号に基づいて、予め定められた処理を行う評価機能と
を実現させるためのコンピュータ読み取り可能なプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００８−２２５１１５（Ｐ２００８−２２５１１５Ａ）
【公開日】平成２０年９月２５日（２００８．９．２５）
【国際特許分類】
【出願番号】特願２００７−６４１０８（Ｐ２００７−６４１０８）
【出願日】平成１９年３月１３日（２００７．３．１３）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【出願人】（３９０００４７１０）株式会社第一興商 (537)
【Ｆターム（参考）】
【公開日】平成２０年９月２５日（２００８．９．２５）
【国際特許分類】
【出願日】平成１９年３月１３日（２００７．３．１３）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【出願人】（３９０００４７１０）株式会社第一興商 (537)
【Ｆターム（参考）】
[ Back to top ]