歌唱音声評価装置
【課題】歌唱者によるハモリの歌唱が様々なアレンジで行われたとしても、そのハモリの歌唱についての評価をすること。
【解決手段】本発明の実施形態におけるカラオケ装置は、楽曲データの再生中に入力された歌唱音声を取得する取得手段と、歌唱音声の歌唱音高を特定する音高特定手段と、歌唱すべき各構成音について、指定音高と歌唱音高との一致度を算出する算出手段と、一致度が予め決められたしきい値以上である構成音に対応する歌唱音声についての第１評価値を、当該構成音の指定音高に対応した第１評価基準に従って算出する第１評価手段と、一致度が予め決められたしきい値未満である構成音に対応する歌唱音声についての第２評価値を、歌唱すべき各構成音の指定音高に対応した第２評価基準に従って算出する第２評価手段と、第１評価値および第２評価値に応じて、歌唱音声についての評価値を算出する全体評価手段と具備する。
【解決手段】本発明の実施形態におけるカラオケ装置は、楽曲データの再生中に入力された歌唱音声を取得する取得手段と、歌唱音声の歌唱音高を特定する音高特定手段と、歌唱すべき各構成音について、指定音高と歌唱音高との一致度を算出する算出手段と、一致度が予め決められたしきい値以上である構成音に対応する歌唱音声についての第１評価値を、当該構成音の指定音高に対応した第１評価基準に従って算出する第１評価手段と、一致度が予め決められたしきい値未満である構成音に対応する歌唱音声についての第２評価値を、歌唱すべき各構成音の指定音高に対応した第２評価基準に従って算出する第２評価手段と、第１評価値および第２評価値に応じて、歌唱音声についての評価値を算出する全体評価手段と具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歌唱音声を評価した結果を出力する技術に関する。
【背景技術】
【０００２】
カラオケ装置において、歌唱音声を解析して評価点を出力する技術が開発されている。このような歌唱音声の評価は、歌唱すべき構成音であるメロディの音高と比較するものが主である。一方、歌唱者は、メロディとは異なる音高でハーモニーを楽しむ歌唱、いわゆるハモリの歌唱（以下、このような歌唱をハモリの歌唱という）をすることがある。このようなハモリの歌唱については、メロディとは異なる音高であるため、たとえ上手いハモリの歌唱が実現できていたとしても評価点が少なくなりがちであった。そのため、特許文献１に開示されたカラオケ装置では、ハーモニーが行われる区間を特定し、その区間においてメロディパートとは別にハモリの歌唱を評価するためのハーモニーパートを用意しておき、ハモリの歌唱についても評価対象とすることができるようになっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２７９７８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された技術においては、評価の基準となるハーモニーパートを予め決めておく必要があるため、歌唱者による自由なアレンジによるハモリの歌唱、ハーモニーパート以外でのハモリの歌唱には対応できない場合があった。すなわち、歌唱者によるハーモニーが違和感のないものとして歌唱されたとしても、ハーモニーパートの製作者が意図しないような歌唱であった場合には、評価点が低くなってしまっていた。
本発明は、歌唱者によるハモリの歌唱が様々なアレンジで行われたとしても、そのハモリの歌唱についての評価をすることを目的とする。
【課題を解決するための手段】
【０００５】
上述の課題を解決するため、本発明は、楽曲データの再生中に入力された歌唱音声を取得する取得手段と、前記取得された歌唱音声の歌唱音高を特定する音高特定手段と、前記楽曲データにより指定される歌唱すべき各構成音について、前記楽曲データにより指定される指定音高と前記歌唱音高とを比較して、音高の一致度を算出する算出手段と、前記算出された一致度が予め決められたしきい値以上である構成音に対応する歌唱音声の第１評価値を、当該構成音の指定音高に対応した第１評価基準に従って算出する第１評価手段と、前記算出された一致度が予め決められたしきい値未満である構成音に対応する歌唱音声の第２評価値を、前記歌唱すべき各構成音の指定音高に対応した第２評価基準に従って算出する第２評価手段と、前記第１評価値および前記第２評価値に応じて、前記取得された歌唱音声についての評価値を算出する全体評価手段とを具備することを特徴とする歌唱音声評価装置を提供する。
【０００６】
また、別の好ましい態様において、前記第２評価手段は、前記算出された一致度が予め決められたしきい値未満である構成音に対応する歌唱音声の第２評価値を、前記歌唱すべき各構成音の指定音高のうち、当該構成音より前の期間における各構成音の指定音高に対応した第２評価基準に従って算出することを特徴とする。
【０００７】
また、別の好ましい態様において、前記第２評価手段は、前記期間において同じ指定音高となる構成音の数に応じて、当該指定音高に対応する第２評価基準を変更して、前記第２評価値を算出することを特徴とする。
【０００８】
また、別の好ましい態様において、前記第２評価手段は、前記算出された一致度が予め決められたしきい値未満である構成音に対応する歌唱音声の第２評価値を、前記歌唱すべき各構成音の指定音高から、当該構成音の直前における構成音の指定音高を除いた指定音高に対応した第２評価基準に従って算出することを特徴とする。
【０００９】
また、別の好ましい態様において、前記第２評価手段は、前記算出された一致度が予め決められたしきい値未満である構成音に対応する歌唱音声の第２評価値を、前記歌唱すべき各構成音の指定音高から、当該構成音の指定音高に対して第１の度数だけずれた指定音高を除くとともに当該一の構成音の指定音高に対して第２の度数だけずれた指定音高を加えた指定音高に対応した第２評価基準に従って算出することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、歌唱者によるハモリの歌唱が様々なアレンジで行われたとしても、そのハモリの歌唱についての評価をすることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態におけるカラオケ装置の構成を説明するブロック図である。
【図２】本発明の実施形態における歌唱音声評価機能の構成を説明する機能ブロック図である。
【図３】本発明の実施形態における算出部における一致度算出の具体例を説明する図である。
【図４】本発明の実施形態における音高履歴情報の内容を説明する図である。
【図５】本発明の実施形態における第２評価部における評価値算出の具体例を説明する図である。
【図６】本発明の実施形態における評価結果の表示内容の一例を説明する図である。
【発明を実施するための形態】
【００１２】
＜実施形態＞
[ハードウエア構成]
図１は、本発明の実施形態におけるカラオケ装置１の構成を説明するブロック図である。カラオケ装置１は、本発明の歌唱音声評価装置の一例であり、入力された歌唱音声の評価を行う装置である。カラオケ装置１は、歌唱者の歌唱音声が入力され、その歌唱音声の音域の評価を行う。まず、カラオケ装置１のハードウエア構成について説明する。
【００１３】
カラオケ装置１は、制御部１０、操作部２０、表示部３０、通信部４０、記憶部５０、音響処理部６０を有する。これらの各構成は、バスを介して接続されている。また、カラオケ装置１は、音響処理部６０に接続されたスピーカ６１およびマイクロフォン６２を有する。
【００１４】
制御部１０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などを有する。制御部１０は、ＲＯＭまたは記憶部５０に記憶された制御プログラムを実行することにより、バスを介してカラオケ装置１の各部を制御する。この例においては、制御部１０は、制御プログラムを実行することにより、入力された歌唱音声の評価を行うための歌唱音声評価機能を実現する。
【００１５】
操作部２０は、操作パネルなどに設けられた操作ボタン、リモコンに設けられた操作ボタン、キーボード、マウスなどの操作デバイスであって、歌唱者の操作を受け付けて、その内容を示す操作信号を制御部１０に出力する。
表示部３０は、液晶ディスプレイなどの表示デバイスであり、制御部１０の制御に応じた内容の表示を行う。この表示の内容は、カラオケの楽曲の進行に応じた背景画像、歌詞テロップ、メニュー画面、歌唱音声の評価結果などである。
通信部４０は、制御部１０の制御に応じて、インターネットなどの通信回線と接続して、サーバ装置などの通信装置と情報のやり取りを行う。制御部１０は、通信部４０を介して取得した情報を用いて、記憶部５０に記憶される情報を更新するようにしてもよい。
【００１６】
記憶部５０は、ハードディスク、不揮発性メモリなどの記憶手段であり、楽曲データ、歌唱音声データ、および評価基準情報をそれぞれ記憶する記憶領域を有する。
楽曲データは、カラオケの歌唱対象となる楽曲に関連するデータが含まれ、例えば、ガイドメロディデータ（以下、ＧＭデータという）、伴奏データ、歌詞データなどが含まれている。ＧＭデータは、楽曲のボーカルパートのメロディを示すデータ、すなわち、歌唱すべき構成音の内容が指定されたデータであり、例えば、ＭＩＤＩ（Musical Instrument Digital Interface）形式により記述されている。伴奏データは、楽曲の伴奏の内容を示すデータであり、例えば、ＭＩＤＩ形式により記述されている。歌詞データは、楽曲の歌詞の内容を示すデータ、および表示部３０に表示させた歌詞テロップを色替えするためのタイミングを示すデータを有する。また、楽曲データには、楽曲のサビ部分の位置、メロディの出だし部分の位置など、楽曲の各構成部分の位置を規定する情報も含まれていてもよい。
【００１７】
楽曲データは、歌唱者によって操作部２０の操作により指定された楽曲に対応するものが制御部１０によって読み出され、カラオケの伴奏音のスピーカ６１からの出力、歌詞テロップの表示部３０への表示に用いられる。
歌唱音声データは、カラオケの対象となった楽曲を歌唱する歌唱者によって、マイクロフォン６２から入力された歌唱音声を示すデータであり、例えば、ＷＡＶＥ形式などで記憶される。このようにして記憶される歌唱音声データは、制御部１０によって、カラオケの対象となった楽曲を示す楽曲データに対応付けられる。
【００１８】
評価基準情報は、歌唱音声評価機能において用いられる情報であり、歌唱音声の評価にあたり評価の基準となる各種パラメータなどが定められた情報である。この評価基準は、各音高に対応して定められている。例えば、音高Ｃに対応して定められた評価基準は、ＧＭデータが指定する構成音の音高（以下、指定音高という）が音高Ｃであるときに、歌唱音声の評価をするための基準となる情報である。
なお、この例においては、オクターブ単位でずれている指定音高は同じ音高であるものとし、例えば、指定音高がＣ３であってもＣ４であっても、その指定音高の構成音に対応する歌唱音声の評価には、音高Ｃに対応した評価基準が用いられる。
【００１９】
マイクロフォン６２は、歌唱者の歌唱音声が入力され、歌唱音声を示すオーディオ信号を音響処理部６０に出力する。スピーカ６１は、音響処理部６０から出力されるオーディオ信号を放音する。音響処理部６０は、ＤＳＰ（Digital Signal Processor）などの信号処理回路、ＭＩＤＩ形式の信号からオーディオ信号を生成する音源などを有する。音響処理部６０は、マイクロフォン６２から入力されるオーディオ信号をＡ／Ｄ変換して制御部１０に出力する。音響処理部６０は、制御部１０から楽曲データに基づくＭＩＤＩ形式の信号が入力され、その信号に基づいてオーディオ信号を生成する。音響処理部６０は、このように生成したオーディオ信号、制御部１０から出力されたオーディオ信号、マイクロフォン６２から入力されたオーディオ信号などを、エフェクト処理、増幅処理などの信号処理を施してからスピーカ６１に出力する。
【００２０】
ここで、制御部１０は、楽曲データを読み出して再生し、その楽曲の伴奏音をスピーカ６１から出力させている期間において、音響処理部６０から出力されるオーディオ信号を取得し、歌唱音声データを生成し、その楽曲データに対応付けて記憶部５０へ記憶する。
以上が、カラオケ装置１のハードウエア構成についての説明である。
【００２１】
[歌唱音声評価機能]
次に、カラオケ装置１の制御部１０が制御プログラムを実行することによって実現される歌唱音声評価機能について説明する。なお、以下に説明する歌唱音声評価機能を実現する歌唱音声評価部１００における各構成の一部または全部については、ハードウエアによって実現してもよい。
【００２２】
図２は、本発明の実施形態における歌唱音声評価部１００の構成を説明する機能ブロック図である。歌唱音声評価部１００は、取得部１１０、音高特定部１２０、算出部１３０、音高記憶部１４０、第１評価部１５０、第２評価部１６０、全体評価部１７０および出力部１８０を有する。
取得部１１０は、記憶部５０に記憶された歌唱音声データのうち、予め決められた評価期間の歌唱音声に対応する部分（この例においては、楽曲全体）の歌唱音声データを取得して、音高特定部１２０に出力する。この例においては、取得部１１０は、楽曲データの再生中に順次生成される歌唱音声データを、順次取得して出力する。なお、取得部１１０は、楽曲データの再生が終了し、歌唱音声データが記憶部５０へ全て記憶された後に、取得して出力するようにしてもよい。
【００２３】
音高特定部１２０は、取得部１１０から取得した歌唱音声データから、歌唱すべき各構成音について、歌唱音声の音高（以下、歌唱音高という）を特定する。具体的には、音高特定部１２０は、各フレームについて歌唱音声データが示す音声信号の波形が負から正に変化する際のゼロクロスを検出し、そのゼロクロスの時間間隔を測定することによってフレーム毎の歌唱音高（周波数）を特定する。このとき、この音声信号から、ローパスフィルタによりノイズ成分となる高域成分をカットしたり、ハイパスフィルタにより直流成分をカットしたりしておいてもよい。なお、歌唱音高は、歌唱音声データにＦＦＴ（Fast Fourier Transform）を施して得られるスペクトルから特定してもよい。
音高特定部１２０は、このようにして特定した歌唱音高を示す情報を時系列に算出部１３０、第１評価部１５０および第２評価部１６０に出力する。
【００２４】
算出部１３０は、音高特定部１２０から出力された情報と記憶部５０に記憶されたＧＭデータとを取得する。算出部１３０は、取得したＧＭデータに時系列に指定される歌唱すべき各構成音について、その構成音の指定音高と、音高特定部１２０において特定された歌唱音高とを比較して、音高の一致の程度を示す一致度を算出する。
算出部１３０は、歌唱音高を時系列に取得するから、ＧＭデータに指定される各構成音と歌唱音高との時系列の対応関係を識別できる。なお、算出部１３０は、制御部１０による楽曲データの再生において読み出された部分に対応するＧＭデータを取得するようにしてもよい。
【００２５】
また、この例においては、算出部１３０は、この一致度の算出において、オクターブ単位でずれているものについては、同じ音高であるものとして算出する。算出部１３０は、例えば、歌唱音高が４４０Ｈｚ（「Ａ３」に相当）であれば、指定音高が「Ａ３」以外の「Ａ２」、「Ａ４」であっても、音高が一致しているものとして算出する。
そして、算出部１３０は、各構成音について、一致度が予め決められたしきい値以上であるか否かを示す合否情報を第１評価部１５０および第２評価部１６０に出力する。以下の説明においては、合否情報は、一致度がしきい値以上であれば合格を示すものであり、しきい値未満であれば不合格を示すものとし、構成音と対応付けられて算出部１３０から出力される。
【００２６】
図３は、本発明の実施形態における算出部１３０における一致度算出の具体例を説明する図である。図３において、横軸は時刻、縦軸は音高を示している。ＧＭデータによって指定される歌唱すべき各構成音は、ＧＭで示した斜線のある四角部分に対応し、「Ｃ」、「Ｅ」などの記載は各構成音の指定音高（オクターブ単位については省略）を示している。四角の範囲は、時刻方向については構成音の長さを示している。また、音高方向については、その指定音高とみなされる周波数の範囲を示し、指定音高の周波数を中心に、±５０ｃｅｎｔの範囲である。
音高特定部１２０において特定された歌唱音高は、Ｐで示した曲線に対応している。
横軸に記載したＮ１、Ｎ２、・・・は、各構成音の期間に対応した部分として時系列で表され、以下、Ｎ１部分の構成音を構成音Ｎ１などというものとする。例えば、構成音Ｎ２は、指定音高が「Ｅ」である。
【００２７】
算出部１３０は、構成音Ｎ１について、指定音高は「Ｃ」と歌唱音高と比較する。そして、算出部１３０は、この例においては、構成音Ｎ１に対応する期間に対して、歌唱音高が「Ｃ」の周波数±５０ｃｅｎｔに含まれている期間の割合を、構成音Ｎ１についての一致度（この例においては、８０％）として算出し、この一致度がしきい値（この例においては、３０％）以上であるか否かを判定して、判定結果を示す合否情報を出力する。この例においては、算出部１３０は、構成音Ｎ１について、合格を示す合否情報を出力する。算出部１３０は、他の各構成音についても構成音Ｎ１と同様に処理を行い、構成音Ｎ２、Ｎ３について、合格を示す合否情報を出力し、構成音Ｎ４、Ｎ５、Ｎ６について、不合格を示す合否情報を出力する。
【００２８】
図２に戻って説明を続ける。音高記憶部１４０は、記憶部５０に記憶されたＧＭデータを取得し、各構成音についての指定音高の履歴を音高履歴情報として記憶する。音高記憶部１４０が取得するＧＭデータについては、この例においては、算出部１３０において取得されるＧＭデータと同じであり、例えば、図３に示す構成音Ｎ３についてまで算出部１３０における処理が進んでいる場合には、音高記憶部１４０も構成音Ｎ３に対応する構成音までのＧＭデータを取得するようになっている。音高記憶部１４０が記憶する音高履歴情報について図４を用いて説明する。
【００２９】
図４は、本発明の実施形態における音高履歴情報の内容を説明する図である。音高履歴情報は、音高記憶部１４０が取得したＧＭデータに示される構成音の指定音高が記録された情報である。すなわち、音高履歴情報は、音高記憶部１４０が取得した部分までのＧＭデータによって示されるメロディの音高が履歴として記録されている。履歴として記録されると、その指定音高に対応したフラグが「０」から「１」として変更される。図４に示す例は、音高記憶部１４０が図３に示す場合における構成音Ｎ３の部分までのＧＭデータを取得した場合の例であり、構成音Ｎ１、Ｎ２、Ｎ３にそれぞれ対応する指定音高「Ｃ」、「Ｅ」、「Ｇ」について履歴として記録され、これらの指定音高に対応するフラグが「１」となっている。
このように、音高履歴情報には、これまで評価対象となった構成音の指定音高の履歴が記録されている。なお、音高記憶部１４０は、構成音の期間（音長）が予め決められた長さ（例えば、１６分音符相当の長さ）より短い場合には、記録すべき指定音高として扱わずに、履歴として記録しないようにしてもよい。
【００３０】
図２に戻って説明を続ける。第１評価部１５０は、算出部１３０から取得した合否情報に基づいて、合格とされた構成音について、歌唱音声の評価を行って評価値を算出し、不合格とされた構成音については、評価値を「０」として算出する。すなわち、第１評価部１５０は、通常の歌唱についての評価を行う。そして、第１評価部１５０は、全体評価部１７０に評価値の算出結果を出力する。
【００３１】
ここで、第１評価部１５０における評価値の算出は以下のように行う。まず、第１評価部１５０は、ＧＭデータを取得し、評価対象となる構成音の指定音高を特定し、特定した指定音高に対応する評価基準情報を記憶部５０から取得する。第１評価部１５０は、評価対象となる構成音について、取得した評価基準情報に従って、音高特定部１２０において特定された歌唱音高から評価値を算出する。この評価基準情報に基づいて評価される内容は、例えば、指定音高と歌唱音高との一致の程度、歌唱音高の周波数変化、音量変化などから得られる歌唱技法の判定結果などである。
図３に示す具体例の場合であれば、第１評価部１５０は、構成音Ｎ１、Ｎ２、Ｎ３について、上記評価値の算出結果を出力し、構成音Ｎ４、Ｎ５、Ｎ６については、評価値「０」を出力する。
【００３２】
第２評価部１６０は、算出部１３０から取得した合否情報に基づいて、不合格とされた構成音について、歌唱音声の評価を行って評価値を算出し、合格とされた構成音については、評価値を「０」として算出する。すなわち、第２評価部１６０は、ハモリの歌唱についての評価を行う。そして、第２評価部１６０は、全体評価部１７０に評価値の算出結果を出力する。
【００３３】
ここで、第２評価部１６０における評価値の算出は以下のように行う。第２評価部１６０における評価値の算出においては、第１評価部１５０における評価値の算出と比べて、評価に用いる評価基準情報が異なっている。第１評価部１５０における評価値の算出においては、構成音の指定音高に対応した評価基準情報を用いていたのに対し、第２評価部１６０における評価値の算出においては、すでに評価対象となった構成音、すなわち、その構成音より前の構成音における指定音高のうち、いずれかの指定音高に対応する評価基準情報を用いるようになっている。すなわち、第２評価部１６０においては、音高記憶部１４０に記憶された音高履歴情報においてフラグが「１」となっている指定音高（以下、指定音高候補という）のいずれかに対応する評価基準を用いる。
【００３４】
第２評価部１６０は、評価対象となる構成音について、音高特定部１２０において特定された歌唱音高が、指定音高候補のいずれかに対応するかを検出し、対応する指定音高が検出された場合には、検出された指定音高を評価対象となる構成音の指定音高として特定する。具体的には、第２評価部１６０は、指定音高候補のそれぞれの指定音高について、歌唱音高がその指定音高の周波数±５０ｃｅｎｔに含まれている期間が、評価対象となる構成音に対応する期間に対して予め決められた割合（この例においては、７０％以上）以上となるものがあるかを検出する。そして、第２評価部１６０は、検出された指定音高がある場合には、その指定音高を評価対象となる構成音の指定音高として特定する。
【００３５】
第２評価部１６０は、その後の処理を第１評価部１５０における処理と同様に行う。すなわち、第２評価部１６０は、特定した指定音高に対応する評価基準情報を記憶部５０から取得して、評価対象となる構成音について、取得した評価基準情報に従って、音高特定部１２０において特定された歌唱音高から評価値を算出し、全体評価部１７０に出力する。なお、第２評価部１６０における評価値の算出は、第１評価部１５０における評価値の算出よりとは異なる評価基準としてもよい。この場合には、第２評価部１６０において取得した評価基準情報における評価基準を評価値が低くなりやすくなるように厳しい基準に変更してもよいし、評価値が高くなるように緩やかな基準に変更してもよい。また、記憶部５０に記憶されている評価基準情報が第１評価部１５０において用いられるものと第２評価部１６０で用いられるものとで別々に構成され、それぞれ評価基準が異なっているものとしてもよい。
続いて、図３に示す具体例の場合において、第２評価部１６０における評価値算出の具体例について、図５を用いて説明する。
【００３６】
図５は、本発明の実施形態における第２評価部１６０における評価値算出の具体例を説明する図である。図５は、図３に加えて指定音高候補（図５に示すＡＭに対応）を示した図である。すなわち、構成音Ｎ１は指定音高「Ｃ」であるから、音高履歴情報については、「Ｃ」のフラグが「１」となり、以降の時刻においては、「Ｃ」は指定音高候補として扱われる。そして、この例においては、構成音Ｎ３を過ぎた後においては、音高履歴情報は、図４に示す内容となり、指定音高候補は、「Ｃ」、「Ｅ」、「Ｇ」となる。
【００３７】
第２評価部１６０は、構成音Ｎ１、Ｎ２、Ｎ３については、取得した合否情報が合格を示すため、評価値は「０」とする。第２評価部１６０は、構成音Ｎ４については、取得した合否情報が不合格を示すため、歌唱音高が、指定音高候補のうちいずれの指定音高に対応するか検出する。この場合には、第２評価部１６０は、指定音高「Ｅ」を評価対象となる構成音の指定音高として特定する。そして、第２評価部１６０は、指定音高「Ｅ」に対応する評価基準情報を記憶部５０から取得して、取得した評価基準情報に従って、評価対象となる構成音についての評価値を算出する。続く、構成音Ｎ５についても指定音高「Ｇ」として特定され、同様に評価値の算出が行われる。
そして、第２評価部１６０は、構成音Ｎ６について、取得した合否情報が不合格を示すことになる一方、歌唱音声が指定音高候補のうちいずれの指定音高にも対応しないため、評価値「０」として算出する。
【００３８】
図２に戻って説明を続ける。全体評価部１７０は、第１評価部１５０および第２評価部１６０における各構成音についての評価値の算出結果を取得する。そして、全体評価部１７０は、各構成音についての評価値に基づいて、楽曲全体としての歌唱音声の評価値を算出する。この例においては、全体評価部１７０は、第１評価部１５０において算出された評価値に基づいて、通常の歌唱に対応した楽曲全体の評価値と、第２評価部１６０において算出された評価値に基づいて、ハモリの歌唱に対応した楽曲全体の評価値とをそれぞれ算出する。全体評価部１７０は、このようにして算出した楽曲全体の評価値を示す情報を出力部１８０に出力する。
【００３９】
出力部１８０は、全体評価部１７０から出力された情報に基づいて、表示結果として表示部３０に表示させる内容を決定して、その内容を表示部３０に表示させるための制御情報を出力する。表示部３０において表示させる内容とは、楽曲全体の評価値を示すものであればよい。この表示内容は様々なものとすることができるが、一例として図６に示すような表示内容としてもよい。
【００４０】
図６は、本発明の実施形態における評価結果の表示内容の一例を説明する図である。この例においては、最後に歌唱した歌唱者である「Ａさん」および「Ａさん」の前に歌唱した歌唱者の「Ｂさん」について、通常の歌唱に対応した評価値（第１評価部１５０において算出した評価値）に応じた点数、ハモリの歌唱に対応した評価値（第２評価部１６０において算出した評価値）に応じた点数およびその点数の合計について示す表示内容である。この例においては、「Ａさん」の点数は、通常の歌唱については７０点、ハモリの歌唱については２０点が与えられ合計で９０点であり、「Ｂさん」の点数は、通常の歌唱については８０点、ハモリの歌唱については５点が与えられ合計で８５点となっている。
【００４１】
このとき、出力部１８０は、それぞれの点数について、表示部３０に表示されるタイミングがずれたものとなるように、制御情報を出力してもよい。例えば、通常の歌唱についての点数が表示された後に、ハモリの歌唱についての点数が表示されるようにすれば、通常の歌唱だけでは「Ｂさん」が「Ａさん」より高得点だった状態を、ハモリの歌唱の点数を加算されることで逆転した状態となる。このように、タイミングをずらして各点数を表示させることで、単に点数を表示するよりも演出効果が得られるようにすることもできる。
【００４２】
このように、本発明の実施形態におけるカラオケ装置１は、歌唱者の歌唱音声について、メロディに沿った通常の歌唱以外にも、ハモリの歌唱についても評価値を算出することができる。このハモリの歌唱についての評価値の算出は、ＧＭデータに示される構成音の指定音高に基づいて行われる。ここで、ＧＭデータに示される構成音の指定音高は、楽曲のメロディを構成するものであり、基本的には、楽曲の調性に基づいて決められている。歌唱者によるハモリの歌唱が上手く聴こえない場合には、目標とする音高に比べて半音ずれる場合が多い。一方、楽曲の構成音の指定音高（指定音高候補）には、このように目標とする音高に比べて半音ずれるような音高は含まれることが少ないため、第２評価部１６０の処理においても、ハモリの歌唱について評価値の算出をすることができる。
【００４３】
＜変形例＞
以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。
[変形例１]
上述した実施形態において、カラオケ装置１は、楽曲が終了した後、楽曲全体を１つの評価期間としてハモリの歌唱の評価をしていたが、１つの楽曲を複数の評価期間に分割して、各期間において評価をしてもよい。例えば、複数の評価期間とは、楽曲の構成単位、例えば、歌詞の１番に相当する期間と２番に相当する期間であってもよいし、一定時間単位で区切られた期間であってもよい。
この場合には、全体評価部１７０は、楽曲データを参照したり、計時したりして複数の評価期間を認識し、各評価期間に対応する評価値を算出すればよい。このとき、各評価期間の評価値に応じて表示部３０にコメントが表示されるようにしてもよい。例えば、楽曲のサビに対応する評価期間において、ハモリの歌唱の点数が相対的に高くなる場合には、「サビのハモリがいいですね」などのコメントが表示部３０に表示されるようにすればよい。
【００４４】
[変形例２]
上述した実施形態において、音高記憶部１４０は、ＧＭデータが示す構成音の指定音高が一度でも出現すれば、フラグを「１」として音高履歴情報に記録していたが、同じ指定音高となる構成音の数（以下、出現回数という）についても記録するようにしてもよい。
この場合には、第２評価部１６０において、出現回数に応じて評価基準を変更するようにしてもよい。第２評価部１６０は、例えば、評価対象となる構成音の指定音高と特定された指定音高の出現回数が多いほど、その評価基準を緩やかな基準に変更し、評価値が高くなるようにすればよい。また、第２評価部１６０は、出現回数が予め決められた回数以上の指定音高について、指定音高候補として取り扱うようにしてもよい。
【００４５】
[変形例３]
上述した実施形態において、第２評価部１６０は、音高履歴情報においてフラグが「１」である指定音高を指定音高候補として、評価対象となる構成音の指定音高として特定していたが、指定音高候補を予め決められたアルゴリズムによって変更するようにしてもよい。以下、アルゴリズムの複数の例について説明する。第２評価部１６０は、指定音高候補の決定にあたって、これらのアルゴリズムは単体としてのみ適用するのではなく、複数のアルゴリズムが重複して適用してもよい。
【００４６】
まず、アルゴリズムの第１の例は、評価対象である構成音の直前における構成音の指定音高を指定音高候補から除くものである。すなわち、図５に示す例において、評価対象である構成音が構成音Ｎ５である場合には、直前の構成音Ｎ４の指定音高「Ｃ」については、指定音高候補から除かれる。このようにすると、第２評価部１６０は、歌唱者による歌唱のタイミングがメロディに対して遅れているだけである場合に、ハモリの歌唱と認識しないようにすることができる。
【００４７】
アルゴリズムの第２の例は、評価対象である構成音の指定音高に対して、予め決められた度数（例えば、＋４度（完全４度））だけずれている音高については、指定音高候補から除くものである。すなわち、評価対象である構成音の指定音高が「Ｃ」である場合には、「Ｆ」が、指定音高候補から除かれる。このように、ハモリの歌唱としてはあまり使用されない特定の音程関係となる音高が、指定音高候補から除かれるようにしてもよい。
なお、予め決められた度数は、＋４度に限られるものではなく、半音（短２度）などであってもよい。
【００４８】
アルゴリズムの第３の例は、評価対象である構成音の指定音高に対して、予め決められた度数（例えば、＋５度（完全５度））だけずれている音高については、指定音高候補に加えるものである。すなわち、評価対象である構成音の指定音高が「Ｃ」である場合には、「Ｇ」が、指定音高候補に加えられる。このように、ハモリの歌唱としてよく使用される特定の音程関係となる音高が、指定音高候補に加えられるようにしてもよい。
なお、予め決められた度数は、＋５度に限られるものではなく、＋３度（長３度）などであってもよい。
【００４９】
[変形例４]
上述した実施形態においては、音高記憶部１４０は、評価対象となる構成音の前の構成音までの指定音高についての履歴を音高履歴情報に記録していたが、ＧＭデータに示される全ての構成音の指定音高を全て取得しておき、音高履歴情報に記録しておいてもよい。
この場合には、第２評価部１６０は、評価対象となる構成音の前の構成音までの指定音高の履歴に基づいて評価を行うのではなく、歌唱すべき全ての構成音の指定音高に基づいて評価を行うことになる。
【００５０】
[変形例５]
上述した実施形態においては、音高記憶部１４０は、評価対象となる構成音の前の構成音までの指定音高についての履歴を音高履歴情報に記録していたが、古い履歴については消去するようにしてもよい。すなわち、音高履歴情報には、最新の構成音から一定量遡った構成音までの指定音高が記録されるようにしてもよい。遡る一定量とは、例えば、予め決められた時間、構成音の数、小節数、楽曲を構成する区間の１つ分など様々に設定することができる。このようにすると、楽曲内で頻繁に転調が行われる場合であっても、ハモリの歌唱についての評価精度を向上させることができる。
【００５１】
[変形例６]
上述した実施形態において、歌唱者が操作部２０を操作して、楽曲の音高を全体的に変更するいわゆるキーコントロールが可能になっている場合には、音高記憶部１４０は、音高履歴情報をキーコントロールの操作に応じて変更するようにしてもよい。例えば、１度上昇させるキーコントロールが操作部２０の操作によって指示された場合には、音高記憶部１４０は、音高履歴情報の指定音高をすべて１度ずつ上昇させればよい。
【００５２】
[変形例７]
上述した実施形態においては、出力部１８０から出力される情報は、楽曲全体の評価値を示す情報であったが、それ以外の内容を示す情報であってもよい。出力部１８０から出力される情報は、歌唱者にその評価値を報知するためのものであればよいから、例えば、評価結果の内容を声で表した音声データであってもよい。また、出力部１８０から出力される情報は、音響処理部６０における音源を用いて発音させるためのＭＩＤＩ形式のシーケンスデータであってもよい
【００５３】
なお、歌唱者にハモリの歌唱の評価結果を報知するものとしては、発光、香り、動きなどを用いたものであってもよい。この場合には、様々な発光態様で発光するＬＥＤ（Light Emitting Diode）などを用いた発光装置、様々な香りの成分をもつガスを放出可能な香り放出装置、様々な動作を行うことが可能なロボットなどを外部装置として接続する。そして、その外部装置を時系列に沿って制御するための制御情報を出力部１８０から出力される情報とすればよい。
【００５４】
[変形例８]
上述した実施形態における制御プログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供し得る。また、カラオケ装置１は、制御プログラムをネットワーク経由でダウンロードしてもよい。
【符号の説明】
【００５５】
１…カラオケ装置、１０…制御部、２０…操作部、３０…表示部、４０…通信部、５０…記憶部、６０…音響処理部、６１…スピーカ、６２…マイクロフォン、１００…歌唱音声評価部、１１０…取得部、１２０…音高特定部、１３０…算出部、１４０…音高記憶部、１５０…第１評価部、１６０…第２評価部、１７０…全体評価部、１８０…出力部
【技術分野】
【０００１】
本発明は、歌唱音声を評価した結果を出力する技術に関する。
【背景技術】
【０００２】
カラオケ装置において、歌唱音声を解析して評価点を出力する技術が開発されている。このような歌唱音声の評価は、歌唱すべき構成音であるメロディの音高と比較するものが主である。一方、歌唱者は、メロディとは異なる音高でハーモニーを楽しむ歌唱、いわゆるハモリの歌唱（以下、このような歌唱をハモリの歌唱という）をすることがある。このようなハモリの歌唱については、メロディとは異なる音高であるため、たとえ上手いハモリの歌唱が実現できていたとしても評価点が少なくなりがちであった。そのため、特許文献１に開示されたカラオケ装置では、ハーモニーが行われる区間を特定し、その区間においてメロディパートとは別にハモリの歌唱を評価するためのハーモニーパートを用意しておき、ハモリの歌唱についても評価対象とすることができるようになっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２７９７８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された技術においては、評価の基準となるハーモニーパートを予め決めておく必要があるため、歌唱者による自由なアレンジによるハモリの歌唱、ハーモニーパート以外でのハモリの歌唱には対応できない場合があった。すなわち、歌唱者によるハーモニーが違和感のないものとして歌唱されたとしても、ハーモニーパートの製作者が意図しないような歌唱であった場合には、評価点が低くなってしまっていた。
本発明は、歌唱者によるハモリの歌唱が様々なアレンジで行われたとしても、そのハモリの歌唱についての評価をすることを目的とする。
【課題を解決するための手段】
【０００５】
上述の課題を解決するため、本発明は、楽曲データの再生中に入力された歌唱音声を取得する取得手段と、前記取得された歌唱音声の歌唱音高を特定する音高特定手段と、前記楽曲データにより指定される歌唱すべき各構成音について、前記楽曲データにより指定される指定音高と前記歌唱音高とを比較して、音高の一致度を算出する算出手段と、前記算出された一致度が予め決められたしきい値以上である構成音に対応する歌唱音声の第１評価値を、当該構成音の指定音高に対応した第１評価基準に従って算出する第１評価手段と、前記算出された一致度が予め決められたしきい値未満である構成音に対応する歌唱音声の第２評価値を、前記歌唱すべき各構成音の指定音高に対応した第２評価基準に従って算出する第２評価手段と、前記第１評価値および前記第２評価値に応じて、前記取得された歌唱音声についての評価値を算出する全体評価手段とを具備することを特徴とする歌唱音声評価装置を提供する。
【０００６】
また、別の好ましい態様において、前記第２評価手段は、前記算出された一致度が予め決められたしきい値未満である構成音に対応する歌唱音声の第２評価値を、前記歌唱すべき各構成音の指定音高のうち、当該構成音より前の期間における各構成音の指定音高に対応した第２評価基準に従って算出することを特徴とする。
【０００７】
また、別の好ましい態様において、前記第２評価手段は、前記期間において同じ指定音高となる構成音の数に応じて、当該指定音高に対応する第２評価基準を変更して、前記第２評価値を算出することを特徴とする。
【０００８】
また、別の好ましい態様において、前記第２評価手段は、前記算出された一致度が予め決められたしきい値未満である構成音に対応する歌唱音声の第２評価値を、前記歌唱すべき各構成音の指定音高から、当該構成音の直前における構成音の指定音高を除いた指定音高に対応した第２評価基準に従って算出することを特徴とする。
【０００９】
また、別の好ましい態様において、前記第２評価手段は、前記算出された一致度が予め決められたしきい値未満である構成音に対応する歌唱音声の第２評価値を、前記歌唱すべき各構成音の指定音高から、当該構成音の指定音高に対して第１の度数だけずれた指定音高を除くとともに当該一の構成音の指定音高に対して第２の度数だけずれた指定音高を加えた指定音高に対応した第２評価基準に従って算出することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、歌唱者によるハモリの歌唱が様々なアレンジで行われたとしても、そのハモリの歌唱についての評価をすることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態におけるカラオケ装置の構成を説明するブロック図である。
【図２】本発明の実施形態における歌唱音声評価機能の構成を説明する機能ブロック図である。
【図３】本発明の実施形態における算出部における一致度算出の具体例を説明する図である。
【図４】本発明の実施形態における音高履歴情報の内容を説明する図である。
【図５】本発明の実施形態における第２評価部における評価値算出の具体例を説明する図である。
【図６】本発明の実施形態における評価結果の表示内容の一例を説明する図である。
【発明を実施するための形態】
【００１２】
＜実施形態＞
[ハードウエア構成]
図１は、本発明の実施形態におけるカラオケ装置１の構成を説明するブロック図である。カラオケ装置１は、本発明の歌唱音声評価装置の一例であり、入力された歌唱音声の評価を行う装置である。カラオケ装置１は、歌唱者の歌唱音声が入力され、その歌唱音声の音域の評価を行う。まず、カラオケ装置１のハードウエア構成について説明する。
【００１３】
カラオケ装置１は、制御部１０、操作部２０、表示部３０、通信部４０、記憶部５０、音響処理部６０を有する。これらの各構成は、バスを介して接続されている。また、カラオケ装置１は、音響処理部６０に接続されたスピーカ６１およびマイクロフォン６２を有する。
【００１４】
制御部１０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などを有する。制御部１０は、ＲＯＭまたは記憶部５０に記憶された制御プログラムを実行することにより、バスを介してカラオケ装置１の各部を制御する。この例においては、制御部１０は、制御プログラムを実行することにより、入力された歌唱音声の評価を行うための歌唱音声評価機能を実現する。
【００１５】
操作部２０は、操作パネルなどに設けられた操作ボタン、リモコンに設けられた操作ボタン、キーボード、マウスなどの操作デバイスであって、歌唱者の操作を受け付けて、その内容を示す操作信号を制御部１０に出力する。
表示部３０は、液晶ディスプレイなどの表示デバイスであり、制御部１０の制御に応じた内容の表示を行う。この表示の内容は、カラオケの楽曲の進行に応じた背景画像、歌詞テロップ、メニュー画面、歌唱音声の評価結果などである。
通信部４０は、制御部１０の制御に応じて、インターネットなどの通信回線と接続して、サーバ装置などの通信装置と情報のやり取りを行う。制御部１０は、通信部４０を介して取得した情報を用いて、記憶部５０に記憶される情報を更新するようにしてもよい。
【００１６】
記憶部５０は、ハードディスク、不揮発性メモリなどの記憶手段であり、楽曲データ、歌唱音声データ、および評価基準情報をそれぞれ記憶する記憶領域を有する。
楽曲データは、カラオケの歌唱対象となる楽曲に関連するデータが含まれ、例えば、ガイドメロディデータ（以下、ＧＭデータという）、伴奏データ、歌詞データなどが含まれている。ＧＭデータは、楽曲のボーカルパートのメロディを示すデータ、すなわち、歌唱すべき構成音の内容が指定されたデータであり、例えば、ＭＩＤＩ（Musical Instrument Digital Interface）形式により記述されている。伴奏データは、楽曲の伴奏の内容を示すデータであり、例えば、ＭＩＤＩ形式により記述されている。歌詞データは、楽曲の歌詞の内容を示すデータ、および表示部３０に表示させた歌詞テロップを色替えするためのタイミングを示すデータを有する。また、楽曲データには、楽曲のサビ部分の位置、メロディの出だし部分の位置など、楽曲の各構成部分の位置を規定する情報も含まれていてもよい。
【００１７】
楽曲データは、歌唱者によって操作部２０の操作により指定された楽曲に対応するものが制御部１０によって読み出され、カラオケの伴奏音のスピーカ６１からの出力、歌詞テロップの表示部３０への表示に用いられる。
歌唱音声データは、カラオケの対象となった楽曲を歌唱する歌唱者によって、マイクロフォン６２から入力された歌唱音声を示すデータであり、例えば、ＷＡＶＥ形式などで記憶される。このようにして記憶される歌唱音声データは、制御部１０によって、カラオケの対象となった楽曲を示す楽曲データに対応付けられる。
【００１８】
評価基準情報は、歌唱音声評価機能において用いられる情報であり、歌唱音声の評価にあたり評価の基準となる各種パラメータなどが定められた情報である。この評価基準は、各音高に対応して定められている。例えば、音高Ｃに対応して定められた評価基準は、ＧＭデータが指定する構成音の音高（以下、指定音高という）が音高Ｃであるときに、歌唱音声の評価をするための基準となる情報である。
なお、この例においては、オクターブ単位でずれている指定音高は同じ音高であるものとし、例えば、指定音高がＣ３であってもＣ４であっても、その指定音高の構成音に対応する歌唱音声の評価には、音高Ｃに対応した評価基準が用いられる。
【００１９】
マイクロフォン６２は、歌唱者の歌唱音声が入力され、歌唱音声を示すオーディオ信号を音響処理部６０に出力する。スピーカ６１は、音響処理部６０から出力されるオーディオ信号を放音する。音響処理部６０は、ＤＳＰ（Digital Signal Processor）などの信号処理回路、ＭＩＤＩ形式の信号からオーディオ信号を生成する音源などを有する。音響処理部６０は、マイクロフォン６２から入力されるオーディオ信号をＡ／Ｄ変換して制御部１０に出力する。音響処理部６０は、制御部１０から楽曲データに基づくＭＩＤＩ形式の信号が入力され、その信号に基づいてオーディオ信号を生成する。音響処理部６０は、このように生成したオーディオ信号、制御部１０から出力されたオーディオ信号、マイクロフォン６２から入力されたオーディオ信号などを、エフェクト処理、増幅処理などの信号処理を施してからスピーカ６１に出力する。
【００２０】
ここで、制御部１０は、楽曲データを読み出して再生し、その楽曲の伴奏音をスピーカ６１から出力させている期間において、音響処理部６０から出力されるオーディオ信号を取得し、歌唱音声データを生成し、その楽曲データに対応付けて記憶部５０へ記憶する。
以上が、カラオケ装置１のハードウエア構成についての説明である。
【００２１】
[歌唱音声評価機能]
次に、カラオケ装置１の制御部１０が制御プログラムを実行することによって実現される歌唱音声評価機能について説明する。なお、以下に説明する歌唱音声評価機能を実現する歌唱音声評価部１００における各構成の一部または全部については、ハードウエアによって実現してもよい。
【００２２】
図２は、本発明の実施形態における歌唱音声評価部１００の構成を説明する機能ブロック図である。歌唱音声評価部１００は、取得部１１０、音高特定部１２０、算出部１３０、音高記憶部１４０、第１評価部１５０、第２評価部１６０、全体評価部１７０および出力部１８０を有する。
取得部１１０は、記憶部５０に記憶された歌唱音声データのうち、予め決められた評価期間の歌唱音声に対応する部分（この例においては、楽曲全体）の歌唱音声データを取得して、音高特定部１２０に出力する。この例においては、取得部１１０は、楽曲データの再生中に順次生成される歌唱音声データを、順次取得して出力する。なお、取得部１１０は、楽曲データの再生が終了し、歌唱音声データが記憶部５０へ全て記憶された後に、取得して出力するようにしてもよい。
【００２３】
音高特定部１２０は、取得部１１０から取得した歌唱音声データから、歌唱すべき各構成音について、歌唱音声の音高（以下、歌唱音高という）を特定する。具体的には、音高特定部１２０は、各フレームについて歌唱音声データが示す音声信号の波形が負から正に変化する際のゼロクロスを検出し、そのゼロクロスの時間間隔を測定することによってフレーム毎の歌唱音高（周波数）を特定する。このとき、この音声信号から、ローパスフィルタによりノイズ成分となる高域成分をカットしたり、ハイパスフィルタにより直流成分をカットしたりしておいてもよい。なお、歌唱音高は、歌唱音声データにＦＦＴ（Fast Fourier Transform）を施して得られるスペクトルから特定してもよい。
音高特定部１２０は、このようにして特定した歌唱音高を示す情報を時系列に算出部１３０、第１評価部１５０および第２評価部１６０に出力する。
【００２４】
算出部１３０は、音高特定部１２０から出力された情報と記憶部５０に記憶されたＧＭデータとを取得する。算出部１３０は、取得したＧＭデータに時系列に指定される歌唱すべき各構成音について、その構成音の指定音高と、音高特定部１２０において特定された歌唱音高とを比較して、音高の一致の程度を示す一致度を算出する。
算出部１３０は、歌唱音高を時系列に取得するから、ＧＭデータに指定される各構成音と歌唱音高との時系列の対応関係を識別できる。なお、算出部１３０は、制御部１０による楽曲データの再生において読み出された部分に対応するＧＭデータを取得するようにしてもよい。
【００２５】
また、この例においては、算出部１３０は、この一致度の算出において、オクターブ単位でずれているものについては、同じ音高であるものとして算出する。算出部１３０は、例えば、歌唱音高が４４０Ｈｚ（「Ａ３」に相当）であれば、指定音高が「Ａ３」以外の「Ａ２」、「Ａ４」であっても、音高が一致しているものとして算出する。
そして、算出部１３０は、各構成音について、一致度が予め決められたしきい値以上であるか否かを示す合否情報を第１評価部１５０および第２評価部１６０に出力する。以下の説明においては、合否情報は、一致度がしきい値以上であれば合格を示すものであり、しきい値未満であれば不合格を示すものとし、構成音と対応付けられて算出部１３０から出力される。
【００２６】
図３は、本発明の実施形態における算出部１３０における一致度算出の具体例を説明する図である。図３において、横軸は時刻、縦軸は音高を示している。ＧＭデータによって指定される歌唱すべき各構成音は、ＧＭで示した斜線のある四角部分に対応し、「Ｃ」、「Ｅ」などの記載は各構成音の指定音高（オクターブ単位については省略）を示している。四角の範囲は、時刻方向については構成音の長さを示している。また、音高方向については、その指定音高とみなされる周波数の範囲を示し、指定音高の周波数を中心に、±５０ｃｅｎｔの範囲である。
音高特定部１２０において特定された歌唱音高は、Ｐで示した曲線に対応している。
横軸に記載したＮ１、Ｎ２、・・・は、各構成音の期間に対応した部分として時系列で表され、以下、Ｎ１部分の構成音を構成音Ｎ１などというものとする。例えば、構成音Ｎ２は、指定音高が「Ｅ」である。
【００２７】
算出部１３０は、構成音Ｎ１について、指定音高は「Ｃ」と歌唱音高と比較する。そして、算出部１３０は、この例においては、構成音Ｎ１に対応する期間に対して、歌唱音高が「Ｃ」の周波数±５０ｃｅｎｔに含まれている期間の割合を、構成音Ｎ１についての一致度（この例においては、８０％）として算出し、この一致度がしきい値（この例においては、３０％）以上であるか否かを判定して、判定結果を示す合否情報を出力する。この例においては、算出部１３０は、構成音Ｎ１について、合格を示す合否情報を出力する。算出部１３０は、他の各構成音についても構成音Ｎ１と同様に処理を行い、構成音Ｎ２、Ｎ３について、合格を示す合否情報を出力し、構成音Ｎ４、Ｎ５、Ｎ６について、不合格を示す合否情報を出力する。
【００２８】
図２に戻って説明を続ける。音高記憶部１４０は、記憶部５０に記憶されたＧＭデータを取得し、各構成音についての指定音高の履歴を音高履歴情報として記憶する。音高記憶部１４０が取得するＧＭデータについては、この例においては、算出部１３０において取得されるＧＭデータと同じであり、例えば、図３に示す構成音Ｎ３についてまで算出部１３０における処理が進んでいる場合には、音高記憶部１４０も構成音Ｎ３に対応する構成音までのＧＭデータを取得するようになっている。音高記憶部１４０が記憶する音高履歴情報について図４を用いて説明する。
【００２９】
図４は、本発明の実施形態における音高履歴情報の内容を説明する図である。音高履歴情報は、音高記憶部１４０が取得したＧＭデータに示される構成音の指定音高が記録された情報である。すなわち、音高履歴情報は、音高記憶部１４０が取得した部分までのＧＭデータによって示されるメロディの音高が履歴として記録されている。履歴として記録されると、その指定音高に対応したフラグが「０」から「１」として変更される。図４に示す例は、音高記憶部１４０が図３に示す場合における構成音Ｎ３の部分までのＧＭデータを取得した場合の例であり、構成音Ｎ１、Ｎ２、Ｎ３にそれぞれ対応する指定音高「Ｃ」、「Ｅ」、「Ｇ」について履歴として記録され、これらの指定音高に対応するフラグが「１」となっている。
このように、音高履歴情報には、これまで評価対象となった構成音の指定音高の履歴が記録されている。なお、音高記憶部１４０は、構成音の期間（音長）が予め決められた長さ（例えば、１６分音符相当の長さ）より短い場合には、記録すべき指定音高として扱わずに、履歴として記録しないようにしてもよい。
【００３０】
図２に戻って説明を続ける。第１評価部１５０は、算出部１３０から取得した合否情報に基づいて、合格とされた構成音について、歌唱音声の評価を行って評価値を算出し、不合格とされた構成音については、評価値を「０」として算出する。すなわち、第１評価部１５０は、通常の歌唱についての評価を行う。そして、第１評価部１５０は、全体評価部１７０に評価値の算出結果を出力する。
【００３１】
ここで、第１評価部１５０における評価値の算出は以下のように行う。まず、第１評価部１５０は、ＧＭデータを取得し、評価対象となる構成音の指定音高を特定し、特定した指定音高に対応する評価基準情報を記憶部５０から取得する。第１評価部１５０は、評価対象となる構成音について、取得した評価基準情報に従って、音高特定部１２０において特定された歌唱音高から評価値を算出する。この評価基準情報に基づいて評価される内容は、例えば、指定音高と歌唱音高との一致の程度、歌唱音高の周波数変化、音量変化などから得られる歌唱技法の判定結果などである。
図３に示す具体例の場合であれば、第１評価部１５０は、構成音Ｎ１、Ｎ２、Ｎ３について、上記評価値の算出結果を出力し、構成音Ｎ４、Ｎ５、Ｎ６については、評価値「０」を出力する。
【００３２】
第２評価部１６０は、算出部１３０から取得した合否情報に基づいて、不合格とされた構成音について、歌唱音声の評価を行って評価値を算出し、合格とされた構成音については、評価値を「０」として算出する。すなわち、第２評価部１６０は、ハモリの歌唱についての評価を行う。そして、第２評価部１６０は、全体評価部１７０に評価値の算出結果を出力する。
【００３３】
ここで、第２評価部１６０における評価値の算出は以下のように行う。第２評価部１６０における評価値の算出においては、第１評価部１５０における評価値の算出と比べて、評価に用いる評価基準情報が異なっている。第１評価部１５０における評価値の算出においては、構成音の指定音高に対応した評価基準情報を用いていたのに対し、第２評価部１６０における評価値の算出においては、すでに評価対象となった構成音、すなわち、その構成音より前の構成音における指定音高のうち、いずれかの指定音高に対応する評価基準情報を用いるようになっている。すなわち、第２評価部１６０においては、音高記憶部１４０に記憶された音高履歴情報においてフラグが「１」となっている指定音高（以下、指定音高候補という）のいずれかに対応する評価基準を用いる。
【００３４】
第２評価部１６０は、評価対象となる構成音について、音高特定部１２０において特定された歌唱音高が、指定音高候補のいずれかに対応するかを検出し、対応する指定音高が検出された場合には、検出された指定音高を評価対象となる構成音の指定音高として特定する。具体的には、第２評価部１６０は、指定音高候補のそれぞれの指定音高について、歌唱音高がその指定音高の周波数±５０ｃｅｎｔに含まれている期間が、評価対象となる構成音に対応する期間に対して予め決められた割合（この例においては、７０％以上）以上となるものがあるかを検出する。そして、第２評価部１６０は、検出された指定音高がある場合には、その指定音高を評価対象となる構成音の指定音高として特定する。
【００３５】
第２評価部１６０は、その後の処理を第１評価部１５０における処理と同様に行う。すなわち、第２評価部１６０は、特定した指定音高に対応する評価基準情報を記憶部５０から取得して、評価対象となる構成音について、取得した評価基準情報に従って、音高特定部１２０において特定された歌唱音高から評価値を算出し、全体評価部１７０に出力する。なお、第２評価部１６０における評価値の算出は、第１評価部１５０における評価値の算出よりとは異なる評価基準としてもよい。この場合には、第２評価部１６０において取得した評価基準情報における評価基準を評価値が低くなりやすくなるように厳しい基準に変更してもよいし、評価値が高くなるように緩やかな基準に変更してもよい。また、記憶部５０に記憶されている評価基準情報が第１評価部１５０において用いられるものと第２評価部１６０で用いられるものとで別々に構成され、それぞれ評価基準が異なっているものとしてもよい。
続いて、図３に示す具体例の場合において、第２評価部１６０における評価値算出の具体例について、図５を用いて説明する。
【００３６】
図５は、本発明の実施形態における第２評価部１６０における評価値算出の具体例を説明する図である。図５は、図３に加えて指定音高候補（図５に示すＡＭに対応）を示した図である。すなわち、構成音Ｎ１は指定音高「Ｃ」であるから、音高履歴情報については、「Ｃ」のフラグが「１」となり、以降の時刻においては、「Ｃ」は指定音高候補として扱われる。そして、この例においては、構成音Ｎ３を過ぎた後においては、音高履歴情報は、図４に示す内容となり、指定音高候補は、「Ｃ」、「Ｅ」、「Ｇ」となる。
【００３７】
第２評価部１６０は、構成音Ｎ１、Ｎ２、Ｎ３については、取得した合否情報が合格を示すため、評価値は「０」とする。第２評価部１６０は、構成音Ｎ４については、取得した合否情報が不合格を示すため、歌唱音高が、指定音高候補のうちいずれの指定音高に対応するか検出する。この場合には、第２評価部１６０は、指定音高「Ｅ」を評価対象となる構成音の指定音高として特定する。そして、第２評価部１６０は、指定音高「Ｅ」に対応する評価基準情報を記憶部５０から取得して、取得した評価基準情報に従って、評価対象となる構成音についての評価値を算出する。続く、構成音Ｎ５についても指定音高「Ｇ」として特定され、同様に評価値の算出が行われる。
そして、第２評価部１６０は、構成音Ｎ６について、取得した合否情報が不合格を示すことになる一方、歌唱音声が指定音高候補のうちいずれの指定音高にも対応しないため、評価値「０」として算出する。
【００３８】
図２に戻って説明を続ける。全体評価部１７０は、第１評価部１５０および第２評価部１６０における各構成音についての評価値の算出結果を取得する。そして、全体評価部１７０は、各構成音についての評価値に基づいて、楽曲全体としての歌唱音声の評価値を算出する。この例においては、全体評価部１７０は、第１評価部１５０において算出された評価値に基づいて、通常の歌唱に対応した楽曲全体の評価値と、第２評価部１６０において算出された評価値に基づいて、ハモリの歌唱に対応した楽曲全体の評価値とをそれぞれ算出する。全体評価部１７０は、このようにして算出した楽曲全体の評価値を示す情報を出力部１８０に出力する。
【００３９】
出力部１８０は、全体評価部１７０から出力された情報に基づいて、表示結果として表示部３０に表示させる内容を決定して、その内容を表示部３０に表示させるための制御情報を出力する。表示部３０において表示させる内容とは、楽曲全体の評価値を示すものであればよい。この表示内容は様々なものとすることができるが、一例として図６に示すような表示内容としてもよい。
【００４０】
図６は、本発明の実施形態における評価結果の表示内容の一例を説明する図である。この例においては、最後に歌唱した歌唱者である「Ａさん」および「Ａさん」の前に歌唱した歌唱者の「Ｂさん」について、通常の歌唱に対応した評価値（第１評価部１５０において算出した評価値）に応じた点数、ハモリの歌唱に対応した評価値（第２評価部１６０において算出した評価値）に応じた点数およびその点数の合計について示す表示内容である。この例においては、「Ａさん」の点数は、通常の歌唱については７０点、ハモリの歌唱については２０点が与えられ合計で９０点であり、「Ｂさん」の点数は、通常の歌唱については８０点、ハモリの歌唱については５点が与えられ合計で８５点となっている。
【００４１】
このとき、出力部１８０は、それぞれの点数について、表示部３０に表示されるタイミングがずれたものとなるように、制御情報を出力してもよい。例えば、通常の歌唱についての点数が表示された後に、ハモリの歌唱についての点数が表示されるようにすれば、通常の歌唱だけでは「Ｂさん」が「Ａさん」より高得点だった状態を、ハモリの歌唱の点数を加算されることで逆転した状態となる。このように、タイミングをずらして各点数を表示させることで、単に点数を表示するよりも演出効果が得られるようにすることもできる。
【００４２】
このように、本発明の実施形態におけるカラオケ装置１は、歌唱者の歌唱音声について、メロディに沿った通常の歌唱以外にも、ハモリの歌唱についても評価値を算出することができる。このハモリの歌唱についての評価値の算出は、ＧＭデータに示される構成音の指定音高に基づいて行われる。ここで、ＧＭデータに示される構成音の指定音高は、楽曲のメロディを構成するものであり、基本的には、楽曲の調性に基づいて決められている。歌唱者によるハモリの歌唱が上手く聴こえない場合には、目標とする音高に比べて半音ずれる場合が多い。一方、楽曲の構成音の指定音高（指定音高候補）には、このように目標とする音高に比べて半音ずれるような音高は含まれることが少ないため、第２評価部１６０の処理においても、ハモリの歌唱について評価値の算出をすることができる。
【００４３】
＜変形例＞
以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。
[変形例１]
上述した実施形態において、カラオケ装置１は、楽曲が終了した後、楽曲全体を１つの評価期間としてハモリの歌唱の評価をしていたが、１つの楽曲を複数の評価期間に分割して、各期間において評価をしてもよい。例えば、複数の評価期間とは、楽曲の構成単位、例えば、歌詞の１番に相当する期間と２番に相当する期間であってもよいし、一定時間単位で区切られた期間であってもよい。
この場合には、全体評価部１７０は、楽曲データを参照したり、計時したりして複数の評価期間を認識し、各評価期間に対応する評価値を算出すればよい。このとき、各評価期間の評価値に応じて表示部３０にコメントが表示されるようにしてもよい。例えば、楽曲のサビに対応する評価期間において、ハモリの歌唱の点数が相対的に高くなる場合には、「サビのハモリがいいですね」などのコメントが表示部３０に表示されるようにすればよい。
【００４４】
[変形例２]
上述した実施形態において、音高記憶部１４０は、ＧＭデータが示す構成音の指定音高が一度でも出現すれば、フラグを「１」として音高履歴情報に記録していたが、同じ指定音高となる構成音の数（以下、出現回数という）についても記録するようにしてもよい。
この場合には、第２評価部１６０において、出現回数に応じて評価基準を変更するようにしてもよい。第２評価部１６０は、例えば、評価対象となる構成音の指定音高と特定された指定音高の出現回数が多いほど、その評価基準を緩やかな基準に変更し、評価値が高くなるようにすればよい。また、第２評価部１６０は、出現回数が予め決められた回数以上の指定音高について、指定音高候補として取り扱うようにしてもよい。
【００４５】
[変形例３]
上述した実施形態において、第２評価部１６０は、音高履歴情報においてフラグが「１」である指定音高を指定音高候補として、評価対象となる構成音の指定音高として特定していたが、指定音高候補を予め決められたアルゴリズムによって変更するようにしてもよい。以下、アルゴリズムの複数の例について説明する。第２評価部１６０は、指定音高候補の決定にあたって、これらのアルゴリズムは単体としてのみ適用するのではなく、複数のアルゴリズムが重複して適用してもよい。
【００４６】
まず、アルゴリズムの第１の例は、評価対象である構成音の直前における構成音の指定音高を指定音高候補から除くものである。すなわち、図５に示す例において、評価対象である構成音が構成音Ｎ５である場合には、直前の構成音Ｎ４の指定音高「Ｃ」については、指定音高候補から除かれる。このようにすると、第２評価部１６０は、歌唱者による歌唱のタイミングがメロディに対して遅れているだけである場合に、ハモリの歌唱と認識しないようにすることができる。
【００４７】
アルゴリズムの第２の例は、評価対象である構成音の指定音高に対して、予め決められた度数（例えば、＋４度（完全４度））だけずれている音高については、指定音高候補から除くものである。すなわち、評価対象である構成音の指定音高が「Ｃ」である場合には、「Ｆ」が、指定音高候補から除かれる。このように、ハモリの歌唱としてはあまり使用されない特定の音程関係となる音高が、指定音高候補から除かれるようにしてもよい。
なお、予め決められた度数は、＋４度に限られるものではなく、半音（短２度）などであってもよい。
【００４８】
アルゴリズムの第３の例は、評価対象である構成音の指定音高に対して、予め決められた度数（例えば、＋５度（完全５度））だけずれている音高については、指定音高候補に加えるものである。すなわち、評価対象である構成音の指定音高が「Ｃ」である場合には、「Ｇ」が、指定音高候補に加えられる。このように、ハモリの歌唱としてよく使用される特定の音程関係となる音高が、指定音高候補に加えられるようにしてもよい。
なお、予め決められた度数は、＋５度に限られるものではなく、＋３度（長３度）などであってもよい。
【００４９】
[変形例４]
上述した実施形態においては、音高記憶部１４０は、評価対象となる構成音の前の構成音までの指定音高についての履歴を音高履歴情報に記録していたが、ＧＭデータに示される全ての構成音の指定音高を全て取得しておき、音高履歴情報に記録しておいてもよい。
この場合には、第２評価部１６０は、評価対象となる構成音の前の構成音までの指定音高の履歴に基づいて評価を行うのではなく、歌唱すべき全ての構成音の指定音高に基づいて評価を行うことになる。
【００５０】
[変形例５]
上述した実施形態においては、音高記憶部１４０は、評価対象となる構成音の前の構成音までの指定音高についての履歴を音高履歴情報に記録していたが、古い履歴については消去するようにしてもよい。すなわち、音高履歴情報には、最新の構成音から一定量遡った構成音までの指定音高が記録されるようにしてもよい。遡る一定量とは、例えば、予め決められた時間、構成音の数、小節数、楽曲を構成する区間の１つ分など様々に設定することができる。このようにすると、楽曲内で頻繁に転調が行われる場合であっても、ハモリの歌唱についての評価精度を向上させることができる。
【００５１】
[変形例６]
上述した実施形態において、歌唱者が操作部２０を操作して、楽曲の音高を全体的に変更するいわゆるキーコントロールが可能になっている場合には、音高記憶部１４０は、音高履歴情報をキーコントロールの操作に応じて変更するようにしてもよい。例えば、１度上昇させるキーコントロールが操作部２０の操作によって指示された場合には、音高記憶部１４０は、音高履歴情報の指定音高をすべて１度ずつ上昇させればよい。
【００５２】
[変形例７]
上述した実施形態においては、出力部１８０から出力される情報は、楽曲全体の評価値を示す情報であったが、それ以外の内容を示す情報であってもよい。出力部１８０から出力される情報は、歌唱者にその評価値を報知するためのものであればよいから、例えば、評価結果の内容を声で表した音声データであってもよい。また、出力部１８０から出力される情報は、音響処理部６０における音源を用いて発音させるためのＭＩＤＩ形式のシーケンスデータであってもよい
【００５３】
なお、歌唱者にハモリの歌唱の評価結果を報知するものとしては、発光、香り、動きなどを用いたものであってもよい。この場合には、様々な発光態様で発光するＬＥＤ（Light Emitting Diode）などを用いた発光装置、様々な香りの成分をもつガスを放出可能な香り放出装置、様々な動作を行うことが可能なロボットなどを外部装置として接続する。そして、その外部装置を時系列に沿って制御するための制御情報を出力部１８０から出力される情報とすればよい。
【００５４】
[変形例８]
上述した実施形態における制御プログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供し得る。また、カラオケ装置１は、制御プログラムをネットワーク経由でダウンロードしてもよい。
【符号の説明】
【００５５】
１…カラオケ装置、１０…制御部、２０…操作部、３０…表示部、４０…通信部、５０…記憶部、６０…音響処理部、６１…スピーカ、６２…マイクロフォン、１００…歌唱音声評価部、１１０…取得部、１２０…音高特定部、１３０…算出部、１４０…音高記憶部、１５０…第１評価部、１６０…第２評価部、１７０…全体評価部、１８０…出力部
【特許請求の範囲】
【請求項１】
楽曲データの再生中に入力された歌唱音声を取得する取得手段と、
前記取得された歌唱音声の歌唱音高を特定する音高特定手段と、
前記楽曲データにより指定される歌唱すべき各構成音について、前記楽曲データにより指定される指定音高と前記歌唱音高とを比較して、音高の一致度を算出する算出手段と、
前記算出された一致度が予め決められたしきい値以上である構成音に対応する歌唱音声の第１評価値を、当該構成音の指定音高に対応した第１評価基準に従って算出する第１評価手段と、
前記算出された一致度が予め決められたしきい値未満である構成音に対応する歌唱音声の第２評価値を、前記歌唱すべき各構成音の指定音高に対応した第２評価基準に従って算出する第２評価手段と、
前記第１評価値および前記第２評価値に応じて、前記取得された歌唱音声についての評価値を算出する全体評価手段と
を具備することを特徴とする歌唱音声評価装置。
【請求項２】
前記第２評価手段は、前記算出された一致度が予め決められたしきい値未満である構成音に対応する歌唱音声の第２評価値を、前記歌唱すべき各構成音の指定音高のうち、当該構成音より前の期間における各構成音の指定音高に対応した第２評価基準に従って算出する
ことを特徴とする請求項１に記載の歌唱音声評価装置。
【請求項３】
前記第２評価手段は、前記期間において同じ指定音高となる構成音の数に応じて、当該指定音高に対応する第２評価基準を変更して、前記第２評価値を算出する
ことを特徴とする請求項２に記載の歌唱音声評価装置。
【請求項４】
前記第２評価手段は、前記算出された一致度が予め決められたしきい値未満である構成音に対応する歌唱音声の第２評価値を、前記歌唱すべき各構成音の指定音高から、当該構成音の直前における構成音の指定音高を除いた指定音高に対応した第２評価基準に従って算出する
ことを特徴とする請求項１乃至請求項３のいずれかに記載の歌唱音声評価装置。
【請求項５】
前記第２評価手段は、前記算出された一致度が予め決められたしきい値未満である構成音に対応する歌唱音声の第２評価値を、前記歌唱すべき各構成音の指定音高から、当該構成音の指定音高に対して第１の度数だけずれた指定音高を除くとともに当該一の構成音の指定音高に対して第２の度数だけずれた指定音高を加えた指定音高に対応した第２評価基準に従って算出する
ことを特徴とする請求項１乃至請求項４のいずれかに記載の歌唱音声評価装置。
【請求項１】
楽曲データの再生中に入力された歌唱音声を取得する取得手段と、
前記取得された歌唱音声の歌唱音高を特定する音高特定手段と、
前記楽曲データにより指定される歌唱すべき各構成音について、前記楽曲データにより指定される指定音高と前記歌唱音高とを比較して、音高の一致度を算出する算出手段と、
前記算出された一致度が予め決められたしきい値以上である構成音に対応する歌唱音声の第１評価値を、当該構成音の指定音高に対応した第１評価基準に従って算出する第１評価手段と、
前記算出された一致度が予め決められたしきい値未満である構成音に対応する歌唱音声の第２評価値を、前記歌唱すべき各構成音の指定音高に対応した第２評価基準に従って算出する第２評価手段と、
前記第１評価値および前記第２評価値に応じて、前記取得された歌唱音声についての評価値を算出する全体評価手段と
を具備することを特徴とする歌唱音声評価装置。
【請求項２】
前記第２評価手段は、前記算出された一致度が予め決められたしきい値未満である構成音に対応する歌唱音声の第２評価値を、前記歌唱すべき各構成音の指定音高のうち、当該構成音より前の期間における各構成音の指定音高に対応した第２評価基準に従って算出する
ことを特徴とする請求項１に記載の歌唱音声評価装置。
【請求項３】
前記第２評価手段は、前記期間において同じ指定音高となる構成音の数に応じて、当該指定音高に対応する第２評価基準を変更して、前記第２評価値を算出する
ことを特徴とする請求項２に記載の歌唱音声評価装置。
【請求項４】
前記第２評価手段は、前記算出された一致度が予め決められたしきい値未満である構成音に対応する歌唱音声の第２評価値を、前記歌唱すべき各構成音の指定音高から、当該構成音の直前における構成音の指定音高を除いた指定音高に対応した第２評価基準に従って算出する
ことを特徴とする請求項１乃至請求項３のいずれかに記載の歌唱音声評価装置。
【請求項５】
前記第２評価手段は、前記算出された一致度が予め決められたしきい値未満である構成音に対応する歌唱音声の第２評価値を、前記歌唱すべき各構成音の指定音高から、当該構成音の指定音高に対して第１の度数だけずれた指定音高を除くとともに当該一の構成音の指定音高に対して第２の度数だけずれた指定音高を加えた指定音高に対応した第２評価基準に従って算出する
ことを特徴とする請求項１乃至請求項４のいずれかに記載の歌唱音声評価装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−７８７００（Ｐ２０１２−７８７００Ａ）
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願番号】特願２０１０−２２５７２４（Ｐ２０１０−２２５７２４）
【出願日】平成２２年１０月５日（２０１０．１０．５）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【出願人】（３９０００４７１０）株式会社第一興商 (537)
【Ｆターム（参考）】
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願日】平成２２年１０月５日（２０１０．１０．５）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【出願人】（３９０００４７１０）株式会社第一興商 (537)
【Ｆターム（参考）】
[ Back to top ]