歌唱音声評価装置
【課題】歌唱音声を解析してシャウト技法での歌唱がされている部分を検出すること。
【解決手段】本発明の実施形態におけるカラオケ装置は、歌唱音声を取得する取得手段と、歌唱ピッチを検出するピッチ検出手段と、歌唱音量を検出する音量検出手段と、無歌唱期間を特定する無歌唱期間特定手段と、無歌唱期間に前後を挟まれ、かつ楽曲データによって示される歌唱すべき構成音が２つ以上含まれない判定期間を特定する判定期間特定手段と、判定期間における歌唱音量の最大値が、判定期間以外における歌唱音量より大きいかを判定する音量判定手段と、判定期間における歌唱ピッチの変化が、ピッチが上昇した後に下降する変化パターンに対応するかを判定する変化判定手段と、音量判定手段および変化判定手段における判定結果により、判定期間における歌唱音声が特定の技法により歌唱されていると判定する技法判定手段とを有する。
【解決手段】本発明の実施形態におけるカラオケ装置は、歌唱音声を取得する取得手段と、歌唱ピッチを検出するピッチ検出手段と、歌唱音量を検出する音量検出手段と、無歌唱期間を特定する無歌唱期間特定手段と、無歌唱期間に前後を挟まれ、かつ楽曲データによって示される歌唱すべき構成音が２つ以上含まれない判定期間を特定する判定期間特定手段と、判定期間における歌唱音量の最大値が、判定期間以外における歌唱音量より大きいかを判定する音量判定手段と、判定期間における歌唱ピッチの変化が、ピッチが上昇した後に下降する変化パターンに対応するかを判定する変化判定手段と、音量判定手段および変化判定手段における判定結果により、判定期間における歌唱音声が特定の技法により歌唱されていると判定する技法判定手段とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歌唱音声における特定の歌唱技法を判定する技術に関する。
【背景技術】
【０００２】
カラオケ装置において、歌唱音声を解析して評価する技術がある。この評価においては、特定の期間においてビブラート、こぶしなどの歌唱技法を用いた歌唱がされているかの判定なども行われることがある。歌唱技法としては、その他にも様々なものが存在するが、判定が難しいことなどから、評価対象とされていないものも数多くある。例えば、歌唱の合間などで発せられる「ワォ」、「イェーイ」などの叫び声（以下、シャウト技法という）については、歌唱者の盛り上がりにより発せられることも多いが、歌唱技法としては評価されなかった。したがって、シャウト技法を用いると、歌唱音声の評価においては、本来歌唱すべき内容を歌唱していないと判定されて低い評価となることもあった。
【０００３】
歌唱音声の評価とは異なる分野においては、叫び声を検出する技術は既に開発されている。例えば、特許文献１においては、叫び声を検出してロボットを緊急停止させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−０４９４６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示された技術においては、叫び声として、緊急事態を知らせる場合によく使われる「止まれー！」などの音を検出するものであり、叫び声という分類としては同じものであっても、歌唱中におけるシャウト技法とは異なっている。そのため、特許文献１に開示された叫び声の検出方法を用いても、歌唱音声からシャウト技法での歌唱がされている部分の検出はできなかった。
本発明は、歌唱音声を解析してシャウト技法での歌唱がされている部分を検出することを目的とする。
【課題を解決するための手段】
【０００６】
上述の課題を解決するため、本発明は、楽曲データの再生期間の少なくとも一部を含む期間に入力された歌唱音声を取得する取得手段と、前記取得した歌唱音声のピッチを検出するピッチ検出手段と、前記取得した歌唱音声の音量を検出する音量検出手段と、前記検出された音量が予め決められたしきい値未満となる期間のうち、予め決められた時間以上継続する期間を無歌唱期間として特定する無歌唱期間特定手段と、前記検出された音量が前記しきい値以上となる歌唱期間のうち、前記無歌唱期間に前後を挟まれ、かつ前記楽曲データによって示される歌唱すべき構成音が２つ以上含まれない歌唱期間を判定期間として特定する判定期間特定手段と、前記判定期間において前記検出された音量の最大値が、前記歌唱期間のうち当該判定期間以外において前記検出された音量より大きいか否かを判定する音量判定手段と、前記判定期間において前記検出されたピッチの変化が、ピッチが上昇した後に下降する予め決められた変化パターンに対応するか否かを判定する変化判定手段と、前記音量判定手段において大きいと判定され、かつ、前記変化判定手段において対応すると判定された場合には、前記判定期間における前記歌唱音声が特定の技法により歌唱されていると判定する技法判定手段と、前記技法判定手段による判定結果に応じた情報を出力する出力手段とを具備することを特徴とする歌唱音声評価装置を提供する。
【０００７】
また、別の好ましい態様において、前記判定期間特定手段が特定する判定期間は、前記検出された音量が前記しきい値以上となる歌唱期間のうち、前記無歌唱期間に前後を挟まれ、かつ前記楽曲データによって示される歌唱すべき構成音が含まれない歌唱期間である
ことを特徴とする。
【０００８】
また、別の好ましい態様において、前記変化パターンは、ピッチが上昇する時間よりピッチが下降する時間が長く、当該下降の時間が所定の時間以上になるように決められていることを特徴とする。
【０００９】
また、別の好ましい態様において、前記判定期間において前記検出された音量の変化を示す曲線に、２つ以上のピークが存在するか否かを判定するピーク判定手段をさらに具備し、前記判定期間特定手段が特定する判定する判定期間は、予め決められた時間未満となる歌唱期間であり、前記変化パターンは、ピッチの上昇前から上昇後への変化の割合が予め決められた値以上となるように決められ、前記技法判定手段は、前記音量判定手段において大きいと判定され、かつ、前記変化判定手段において対応すると判定され、かつ、前記ピーク判定手段において２つ以上のピークが存在しないと判定された場合には、前記判定期間における前記歌唱音声が前記特定の技法により歌唱されていると判定することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、歌唱音声を解析してシャウト技法での歌唱がされている部分を検出することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態におけるカラオケ装置の構成を説明するブロック図である。
【図２】本発明の実施形態におけるシャウト技法検出機能の構成を説明する機能ブロック図である。
【図３】本発明の実施形態における判定期間と無歌唱期間とを説明する図である。
【図４】本発明の実施形態における評価基準情報に規定された変化パターンを説明する図である。
【図５】本発明の実施形態における評価基準情報に規定された判定基準を説明する図である。
【発明を実施するための形態】
【００１２】
＜実施形態＞
[ハードウエア構成]
図１は、本発明の実施形態におけるカラオケ装置１の構成を説明するブロック図である。カラオケ装置１は、本発明の歌唱音声評価装置の一例であり、入力された歌唱音声の評価を行う装置である。カラオケ装置１は、歌唱者の歌唱音声が入力され、その歌唱音声においてシャウト技法での歌唱が行われているかの評価を行う。まず、カラオケ装置１のハードウエア構成について説明する。
【００１３】
カラオケ装置１は、制御部１０、操作部２０、表示部３０、通信部４０、記憶部５０、音響処理部６０を有する。これらの各構成は、バスを介して接続されている。また、カラオケ装置１は、音響処理部６０に接続されたスピーカ６１およびマイクロフォン６２を有する。
【００１４】
制御部１０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などを有する。制御部１０は、ＲＯＭまたは記憶部５０に記憶された制御プログラムを実行することにより、バスを介してカラオケ装置１の各部を制御する。この例においては、制御部１０は、制御プログラムを実行することにより、入力された歌唱音声を解析してシャウト技法の検出を行うためのシャウト技法検出機能を実現する。
【００１５】
操作部２０は、操作パネルなどに設けられた操作ボタン、リモコンに設けられた操作ボタン、キーボード、マウスなどの操作デバイスであって、歌唱者の操作を受け付けて、その内容を示す操作信号を制御部１０に出力する。
表示部３０は、液晶ディスプレイなどの表示デバイスであり、制御部１０の制御に応じた内容の表示を行う。この表示の内容は、カラオケの楽曲の進行に応じた背景画像、歌詞テロップ、メニュー画面、歌唱音声の評価結果、シャウト技法の検出結果などである。
通信部４０は、制御部１０の制御に応じて、インターネットなどの通信回線と接続して、サーバ装置などの通信装置と情報のやり取りを行う。制御部１０は、通信部４０を介して取得した情報を用いて、記憶部５０に記憶される情報を更新するようにしてもよい。
記憶部５０は、ハードディスク、不揮発性メモリなどの記憶手段であり、楽曲データ、歌唱音声データ、および評価基準情報をそれぞれ記憶する記憶領域を有する。
【００１６】
楽曲データは、カラオケの歌唱対象となる楽曲に関連するデータが含まれ、例えば、ガイドメロディデータ（以下、ＧＭデータという）、伴奏データ、歌詞データなどが含まれている。ＧＭデータは、楽曲のボーカルパートのメロディを示すデータ、すなわち、歌唱すべき構成音の内容が指定されたデータであり、例えば、ＭＩＤＩ（Musical Instrument Digital Interface）形式により記述されている。伴奏データは、楽曲の伴奏の内容を示すデータであり、例えば、ＭＩＤＩ形式により記述されている。歌詞データは、楽曲の歌詞の内容を示すデータ、および表示部３０に表示させた歌詞テロップを色替えするためのタイミングを示すデータを有する。また、楽曲データには、楽曲のサビ部分の位置、メロディの出だし部分の位置など、楽曲の各構成部分の位置を規定する情報も含まれていてもよい。
楽曲データは、歌唱者によって操作部２０の操作により指定された楽曲に対応するものが制御部１０によって読み出され、カラオケの伴奏音のスピーカ６１からの出力、歌詞テロップの表示部３０への表示に用いられる。
【００１７】
歌唱音声データは、カラオケの対象となった楽曲を歌唱する歌唱者によって、マイクロフォン６２から入力された歌唱音声を示すデータであり、例えば、ＷＡＶＥ形式などで記憶される。このようにして記憶される歌唱音声データは、制御部１０によって、カラオケの対象となった楽曲を示す楽曲データに対応付けられる。
評価基準情報は、シャウト技法検出機能において用いられ、シャウト技法として判定する基準を示す情報である（図４、図５参照）。評価基準情報の具体的な内容については、後述するシャウト技法検出機能の説明において示すため、ここでは省略する。
【００１８】
マイクロフォン６２は、歌唱者の歌唱音声が入力され、歌唱音声を示すオーディオ信号を音響処理部６０に出力する。スピーカ６１は、音響処理部６０から出力されるオーディオ信号を放音する。音響処理部６０は、ＤＳＰ（Digital Signal Processor）などの信号処理回路、ＭＩＤＩ形式の信号からオーディオ信号を生成する音源などを有する。音響処理部６０は、マイクロフォン６２から入力されるオーディオ信号をＡ／Ｄ変換して制御部１０に出力する。音響処理部６０は、制御部１０から楽曲データに基づくＭＩＤＩ形式の信号が入力され、その信号に基づいてオーディオ信号を生成する。音響処理部６０は、このように生成したオーディオ信号、制御部１０から出力されたオーディオ信号、マイクロフォン６２から入力されたオーディオ信号などを、エフェクト処理、増幅処理などの信号処理を施してからスピーカ６１に出力する。
【００１９】
ここで、制御部１０は、楽曲データを読み出して再生し、その楽曲の伴奏音をスピーカ６１から出力させている再生期間において、音響処理部６０から出力されるオーディオ信号を取得し、歌唱音声データを生成し、その楽曲データに対応付けて記憶部５０へ記憶する。なお、歌唱音声データは、この再生期間以外の期間においても生成、記憶されるようにしてもよい。
以上が、カラオケ装置１のハードウエア構成についての説明である。
【００２０】
[シャウト技法検出機能]
次に、カラオケ装置１の制御部１０が制御プログラムを実行することによって実現されるシャウト技法検出機能について説明する。なお、以下に説明するシャウト技法検出機能を実現するシャウト技法検出部１００における各構成の一部または全部については、ハードウエアによって実現してもよい。
【００２１】
図２は、本発明の実施形態におけるシャウト技法検出部１００の構成を説明する機能ブロック図である。シャウト技法検出部１００は、取得部１０１、音量検出部１０２、ピッチ検出部１０３、無歌唱期間特定部１０４、判定期間特定部１０５、音量判定部１０６、ピーク判定部１０７、変化判定部１０８、技法判定部１０９および出力部１１０を有する。
【００２２】
取得部１０１は、記憶部５０に記憶された歌唱音声データのうち、予め決められた評価期間の歌唱音声に対応する部分（この例においては、楽曲全体）の歌唱音声データを取得して、音量検出部１０２およびピッチ検出部１０３に出力する。この例においては、取得部１０１は、楽曲データの再生中に順次生成される歌唱音声データを、順次取得して出力する。なお、取得部１０１は、楽曲データの再生が終了し、歌唱音声データが記憶部５０へ全て記憶された後に、取得して出力するようにしてもよい。
【００２３】
音量検出部１０２は、取得部１０１から取得した歌唱音声データから、歌唱音声の音量（以下、歌唱音量という）を検出する。この例においては、音量検出部１０２は、各フレームについて歌唱音声データが示す音声信号の振幅に基づいて検出する。音量検出部１０２は、検出した歌唱音量を示す情報を、無歌唱期間特定部１０４、判定期間特定部１０５、音量判定部１０６およびピーク判定部１０７に対して時系列に出力する。
【００２４】
ピッチ検出部１０３は、取得部１０１から取得した歌唱音声データから、歌唱音声のピッチ（以下、歌唱ピッチという）を検出する。この例においては、ピッチ検出部１０３は、各フレームについて歌唱音声データが示す音声信号の波形が負から正に変化する際のゼロクロスを検出し、そのゼロクロスの時間間隔を測定することによってフレーム毎の歌唱ピッチ（周波数）を特定する。このとき、この音声信号から、ローパスフィルタによりノイズ成分となる高域成分をカットしたり、ハイパスフィルタにより直流成分をカットしたりしておいてもよい。なお、歌唱ピッチは、歌唱音声データにＦＦＴ（Fast Fourier Transform）を施して得られるスペクトルから特定してもよい。
ピッチ検出部１０３は、このようにして検出した歌唱ピッチを示す情報を、変化判定部１０８に対して時系列に出力する。
【００２５】
無歌唱期間特定部１０４は、歌唱音量が予め決められたしきい値Ｖｔｈ未満となる無音期間のうち、予め決められた時間（この例においては、５００ｍｓｅｃ．）以上継続する無音期間を無歌唱期間Ｓｏｆｆとして特定する。なお、この予め決められた時間は、再生される楽曲データのテンポに応じて変化するものであってもよく、この場合には、例えば１拍分（４分音符１個分の時間）としてもよい。
無歌唱期間特定部１０４は、このようにして特定した無歌唱期間を示す情報を判定期間特定部１０５に出力する。
【００２６】
判定期間特定部１０５は、歌唱音量がしきい値Ｖｔｈ以上となる歌唱期間のうち、無歌唱期間に前後を挟まれ、かつ楽曲データによって示される歌唱すべき構成音が２つ以上含まれない歌唱期間を、判定期間Ｓｏｎとして特定する。すなわち、判定期間Ｓｏｎの直前と直後には、５００ｍｓｅｃ．以上の無音期間である無歌唱期間Ｓｏｆｆが存在することになる。
ここで、判定期間特定部１０５は、無歌唱期間特定部１０４からの情報により無歌唱期間を特定し、記憶部５０に記憶されたＧＭデータから、各歌唱期間において歌唱すべき構成音を特定する。判定期間特定部１０５は、特定した判定期間Ｓｏｎを示す情報を、音量判定部１０６、ピーク判定部１０７、変化判定部１０８および技法判定部１０９に出力する。判定期間特定部１０５は、技法判定部１０９には、さらに特定した判定期間Ｓｏｎに含まれる構成音が「０」であるか「１」であるかを示す構成音数情報についても出力する。なお、判定期間特定部１０５は、構成音が１つ含まれる歌唱期間については、判定期間Ｓｏｎとして特定しないようにしてもよい。この場合には構成音数情報を出力しなくてもよい。
【００２７】
図３は、本発明の実施形態における判定期間Ｓｏｎと無歌唱期間Ｓｏｆｆとを説明する図である。図３は、縦軸に音量、横軸に時刻を示し、歌唱音量の時系列変化を曲線ＶＬにより示した図である。図３に示す歌唱音量であった場合には、無歌唱期間特定部１０４は、無音期間をｔ１からｔ２の期間、ｔ３からｔ４の期間、ｔ５からｔ６の期間とし、５００ｍｓｅｃ．以上継続する無音期間であるｔ３からｔ４の期間、ｔ５からｔ６の期間を無歌唱期間Ｓｏｆｆとして特定する。判定期間特定部１０５は、歌唱期間をｔ０からｔ１の期間、ｔ２からｔ３の期間、ｔ４からｔ５の期間とし、無歌唱期間Ｓｏｆｆに前後を挟まれた期間であるｔ４からｔ５の期間を判定期間Ｓｏｎとして特定する。
【００２８】
図２に戻って説明を続ける。音量判定部１０６は、判定期間Ｓｏｎにおける歌唱音量の最大値が、判定期間Ｓｏｎ以外の歌唱期間における歌唱音量よりも大きいか否かを判定する。判定期間Ｓｏｎ以外の歌唱期間における歌唱音量とは、この例においては、判定期間Ｓｏｎより一定時間前までに存在する歌唱期間における歌唱音量の平均値であるものとするが、判定期間Ｓｏｎより前の全ての歌唱期間における歌唱音量の平均値であってもよい。また、歌唱音量の平均値でなくてもよく、歌唱音量に対して予め決められた演算処理が行われて得られた値でもよい。すなわち、音量判定部１０６は、判定期間Ｓｏｎにおける歌唱音量の最大値が、判定期間Ｓｏｎ以外の歌唱期間における歌唱音量より大きいとみなせるか否かを、予め決められた演算処理により判定すればよい。
【００２９】
音量判定部１０６は、このようにして判定した結果を示す音量判定情報を技法判定部１０９に出力する。この例においては、音量判定部１０６は、判定期間Ｓｏｎにおける歌唱音量の最大値が、判定期間Ｓｏｎ以外の歌唱期間における歌唱音量よりも大きい場合には「ＯＫ」、小さい場合には「ＮＧ」を示す音量判定情報を出力する。
【００３０】
ピーク判定部１０７は、判定期間Ｓｏｎにおける歌唱音量の変化を示す曲線に、２つ以上のピークが存在するか否かを判定し、判定結果を示すピーク数情報を技法判定部１０９に出力する。この例においては、２つ以上のピークが存在する場合には「ピーク数２以上」、存在しない場合には「ピーク数１以下」を示すピーク数情報を出力する。なお、２以上のピークの検出においては、ピーク間の谷となる部分の音量が予め決められた値以下になっていることを条件としてもよい。
【００３１】
変化判定部１０８は、判定期間Ｓｏｎにおける歌唱ピッチの変化が、予め決められた変化パターンに対応するか否かを判定する。予め決められた変化パターンは、ピッチが上昇した後に下降するパターンであり、評価基準情報に規定されている。このようなピッチの変化は、シャウト技法に特徴的な変化である。
【００３２】
図４は、本発明の実施形態における評価基準情報に規定された変化パターンを説明する図である。評価基準情報に規定されている変化パターンとしては、第１変化パターンと第２変化パターンとがある。図４（ａ）は、第１変化パターンにより例示されるピッチ変化の波形（以下、波形１という）であり、図４（ｂ）は、第２変化パターンにより例示されるピッチ変化の波形（以下、波形２という）である。
【００３３】
波形１は、時刻０からピッチが急激に上昇し、時刻ｔｐ１においてピーク値ＰＬ１となり、その後、時刻ｔｅ１まで急激に下降する波形である。この例においては、ピーク値ＰＬ１は、９００ｃｅｎｔ以上として決められている。ピーク値ＰＬ１は、ピッチ初期値Ｐ０からの上昇分を絶対的な周波数の値として表しているのではなく、変化の割合として表している。
このように、波形１のように例示される第１変化パターンについての規定は、評価基準情報において、予め決められた時間内でピッチが上昇して下降すること、そのピーク値の初期値に対しての変化の割合が予め決められた値以上であること（この例においては、初期値に対して＋９００ｃｅｎｔ以上であること）、として決められている。なお、この予め決められた値は、この値に限らず、様々な値とすることができる。また、例示した波形１においては、時刻０におけるピッチと時刻ｔｅ１におけるピッチとがほぼ一致しているが、必ずしも一致している必要は無く、時刻ｔｅ１におけるピッチがピッチ初期値Ｐ０より大きくても小さくてもよい。
【００３４】
波形２は、時刻０からピッチが急激に上昇し、時刻ｔｐ２においてピーク値ＰＬ２となり、時刻ｔｅ２まで緩やかに下降して予め決められた下降値ＰＤ２となる。以下、時刻０から時刻ｔｐ２までを上昇期間Ｔ１、時刻ｔｐ２から時刻ｔｅ２までを下降期間Ｔ２という。
このように、波形２のように例示される第２変化パターンについての規定は、評価基準情報において、予め決められた時間内でピッチが上昇して下降すること、上昇期間Ｔ１より下降期間Ｔ２が長いこと、下降期間Ｔ２が規定の時間以上であることとして決められている。なお、この条件を満たしていれば、例示した波形２のように下降値ＰＤ２がピーク初期値Ｐ０より大きい値となっている条件は必ずしも必要ではなく、同じ値であってもよいし、小さい値であってもよい。また、上昇期間Ｔ１における単位時間当たりのピッチ上昇量よりも、下降期間Ｔ２における単位時間当たりのピッチ下降量が少なくなる条件をさらに加えてもよい。
【００３５】
変化判定部１０８は、判定期間Ｓｏｎにおける歌唱ピッチの変化と評価基準情報が規定する２種類の変化パターンとを比較して、歌唱ピッチの変化が第１変化パターンの規定内容を満たす場合には第１変化パターンと対応し、第２変化パターンの規定内容を満たす場合には第２変化パターンと対応し、いずれも満たさない場合にはいずれにも対応しないと判定する。
変化判定部１０８は、このようにして判定した結果を示す変化判定情報を、技法判定部１０９に出力する。この例においては、変化判定部１０８は、第１変化パターンと対応する場合には「波形１」、第２変化パターンと対応する場合には「波形２」、いずれにも対応しない場合には「ＮＧ」を示す変化判定情報を出力する。
【００３６】
図２に戻って説明を続ける。技法判定部１０９は、判定期間Ｓｏｎに対応した構成音数情報、音量判定情報、ピーク数情報、変化判定情報を取得する。技法判定部１０９は、評価基準情報に規定されたシャウト技法を判定するための判定基準を取得し、評価期間Ｓｏｎにおける歌唱音声がシャウト技法で歌唱されているか否かを判定する。評価基準情報に規定された判定基準について、図５を用いて説明する。
【００３７】
図５は、本発明の実施形態における評価基準情報に規定された判定基準を説明する図である。この例においては、技法判定部１０９によって判定されるシャウト技法には、短いシャウト技法および長いシャウト技法の２種類がある。短いシャウト技法とは、歌唱間における「ワォ」といったような短い叫び声であり、長いシャウト技法とは、歌唱間における「イェーイ」といったような長い叫び声である。図５に示すように、判定基準は、短いシャウト技法と判定するための条件と、長いシャウト技法と判定するための条件とが、技法判定部１０９において取得される各種情報と対応付けて表されている。
【００３８】
短いシャウト技法と判定される条件は、判定期間Ｓｏｎの時間（判定期間長）が予め決められた時間（この例においては８００ｍｓｅｃ．）未満であること、音量判定情報が「ＯＫ」であること、変化判定情報が「波形１」であること、ピーク数情報が「ピーク数１以下」であることの全てを満たすことである。構成音数情報の内容は問わない（構成音数が１以下である）。なお、この予め決められた時間は、再生される楽曲データのテンポに応じて変化するものであってもよく、この場合には、例えば１．５拍分（４分音符１．５個分の時間））としてもよい。
【００３９】
長いシャウト技法と判定される条件は、音量判定情報が「ＯＫ」であること、変化判定情報が「波形２」であること、構成音数情報が「０」であることの全てを満たすことである。ピーク数情報の内容、判定期間長は問わない。なお、構成音数情報の内容を問わないものとしてもよいが、長いシャウト技法は、判定期間長に制限が無いため、構成音が判定期間Ｓｏｎに存在しないものとする条件、すなわち構成音数情報が「０」であるものとすることにより、歌唱すべき構成音がない期間での歌唱音声について判定することになるから、通常の歌唱との違いをより明確に区別するようにできる。
【００４０】
技法判定部１０９は、上記の判定基準を用いて、判定期間Ｓｏｎにおける歌唱音声が、短いシャウト技法で歌唱されているか、長いシャウト技法で歌唱されているか、またはいずれでもない歌唱であるかを判定する。これにより、短いシャウト技法または長いシャウト技法の歌唱がされた期間が検出されることになる。技法判定部１０９は、その判定結果を示す情報を出力部１１０に出力する。このようにして、取得部１０１において取得した歌唱音声データが示す歌唱音声から、長いシャウト技法または短いシャウト技法が用いられている期間を検出することができる。
【００４１】
出力部１１０は、技法判定部１０９から出力された情報に基づいて、表示部３０に表示させる内容を決定して、その内容を表示部３０に表示させるための制御情報を出力する。表示部３０において表示させる内容とは、例えば、長いシャウト技法または短いシャウト技法が検出された期間を示す内容であってもよいし、楽曲データの再生中であれば、長いシャウト技法または短いシャウト技法が検出されたことを示す内容であってもよい。このように出力部１１０は、シャウト技法の判定結果に応じた情報を出力するものであればよい。
【００４２】
このように、本発明の実施形態におけるカラオケ装置１は、歌唱者の歌唱音声を解析して、歌唱音量および歌唱ピッチの変化の態様から、その歌唱音声においてシャウト技法が用いられた期間を検出することができる。
【００４３】
＜変形例＞
以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。
[変形例１]
上述した実施形態において、無歌唱期間特定部１０４および判定期間特定部１０５は、予め決められたしきい値Ｖｔｈを用いて、歌唱期間、無音期間を検出していたが、検出以前の歌唱音量に応じて変化するしきい値Ｖｔｈを用いて、歌唱期間、無音期間を検出してもよい。例えば、歌唱音量のピーク値を結んだ包絡線（以下、最大包絡線という）によって示される音量の一定割合または一定量減少させた値などをしきい値Ｖｔｈとしてもよい。また、歌唱音量のディップ値を結んだ包絡線（以下、最小包絡線という）によって示される音量の一定割合または一定量増加させた値などをしきい値Ｖｔｈとしてもよい。また、最大包絡線と最小包絡線とに基づいて決められる値、例えば、最大包絡線によって示される音量と最小包絡線によって示される音量との中央値をしきい値Ｖｔｈとしてもよい。
【００４４】
[変形例２]
上述した実施形態においては、シャウト技法の検出結果は表示部３０における表示に用いられていたが、別の用途に用いられてもよい。例えば、制御部１０が、歌唱音声について、歌唱のうまさを示す評価点を算出する算出部を構成する場合には、出力部１１０は、技法判定部１０９から出力された情報を、その算出部に出力すればよい。そして、算出部は、シャウト技法の検出結果を用いて、算出する評価点に反映させればよい。反映の方法としては、例えば、以下の方法がある。
【００４５】
算出部における評価点の算出に、例えば、歌唱すべき構成音のピッチと歌唱ピッチとを比較して一致度に応じて加点または減点する方法が含まれる場合を想定する。ある比較期間において短いシャウト技法が検出された場合には、その検出された期間においては、構成音のピッチと歌唱ピッチとが大きくずれていることになるが、シャウト技法を用いたことによるものであるから、評価点の減点対象としないようにする方法である。
また、算出部における評価点の算出に、歌い始めのタイミングと歌唱すべき最初の構成音のタイミングとを比較して一致度に応じて加点または減点する方法が含まれる場合には、シャウト技法による歌唱は歌い始めの歌唱ではないものとして扱う方法である。
このように、シャウト技法の歌唱を通常の歌唱と区別することで、シャウト技法の歌唱を用いたことによる評価点への悪影響を抑えることができる。
なお、評価点の算出は算出部ではなく、出力部１１０において行うようにしてもよい。その場合には、出力部１１０は、シャウト技法の検出結果を用いた評価点の算出結果に応じた情報を示す内容を表示部３０に表示させるようにする制御信号を出力すればよい。
【００４６】
[変形例３]
上述した実施形態においては、シャウト技法の検出として、短いシャウト技法と長いシャウト技法とを検出していたが、いずれか一方のみ検出するようにしてもよい。長いシャウト技法のみを検出する場合には、技法判定部１０９において長いシャウト技法のみ判定すればよいから、例えば、ピーク数情報については判定基準にはないから不要であるから、ピーク判定部１０７が存在しなくてもよい。
【００４７】
[変形例４]
上述した実施形態においては、出力部１１０から出力される情報は、シャウト技法の判定結果に応じた内容を表示部３０に表示させるための情報であったが、それ以外の内容を示す情報であってもよい。出力部１１０から出力される情報は、歌唱者にシャウト技法が検出されたことを報知するためのものであればよいから、例えば、検出結果の内容を声で表した音声データであってもよい。また、出力部１１０から出力される情報は、音響処理部６０における音源を用いて発音させるためのＭＩＤＩ形式のシーケンスデータであってもよい
【００４８】
なお、歌唱者にシャウト技法の検出を報知するものとしては、発光、香り、動きなどを用いたものであってもよい。この場合には、様々な発光態様で発光するＬＥＤ（Light Emitting Diode）などを用いた発光装置、様々な香りの成分をもつガスを放出可能な香り放出装置、様々な動作を行うことが可能なロボットなどを外部装置として接続する。そして、その外部装置を時系列に沿って制御するための制御情報を出力部１１０から出力される情報とすればよい。
【００４９】
[変形例５]
上述した実施形態において、シャウト技法検出機能は、楽曲の途中におけるシャウト技法について検出するように構成されていたが、楽曲の最初または最後において、シャウト技法が検出されるようにしてもよい。楽曲の最初においてシャウト技法での歌唱がなされた場合には、その直前において無歌唱期間特定部１０４は無歌唱期間Ｓｏｆｆを特定する構成ではなく、また、楽曲の最後においてシャウト技法での歌唱がなされた場合には、その直後において無歌唱期間特定部１０４は無歌唱期間Ｓｏｆｆを特定する構成ではない。そのため、判定期間Ｓｏｎは、実施形態における処理においては、楽曲の最初または最後に存在しない構成であった。そのため、この例においては、判定期間特定部１０５は、楽曲の最初または最後、すなわち、歌唱音声データの開始直前または終了直後には、無歌唱期間Ｓｏｆｆが存在する前提で処理をしてもよいし、無歌唱期間特定部１０４において、歌唱音声データの開始直前または終了直後において、無歌唱期間Ｓｏｆｆを特定するようにしてもよい。
また、歌唱音声データが楽曲データの再生中以外でも生成されるように構成して、取得部１０１は、楽曲データ再生開始の一定時間前に対応する部分の歌唱音声データから取得し、楽曲データ再生終了後の一定時間後に対応する部分の歌唱音声データまで取得するようにしてもよい。
【００５０】
[変形例６]
上述した実施形態における制御プログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供し得る。また、カラオケ装置１は、制御プログラムをネットワーク経由でダウンロードしてもよい。
【符号の説明】
【００５１】
１…カラオケ装置、１０…制御部、２０…操作部、３０…表示部、４０…通信部、５０…記憶部、６０…音響処理部、６１…スピーカ、６２…マイクロフォン、１００…シャウト技法検出部、１０１…取得部、１０２…音量検出部、１０３…ピッチ検出部、１０４…無歌唱期間特定部、１０５…判定期間特定部、１０６…音量判定部、１０７…ピーク判定部、１０８…変化判定部、１０９…技法判定部、１１０…出力部
【技術分野】
【０００１】
本発明は、歌唱音声における特定の歌唱技法を判定する技術に関する。
【背景技術】
【０００２】
カラオケ装置において、歌唱音声を解析して評価する技術がある。この評価においては、特定の期間においてビブラート、こぶしなどの歌唱技法を用いた歌唱がされているかの判定なども行われることがある。歌唱技法としては、その他にも様々なものが存在するが、判定が難しいことなどから、評価対象とされていないものも数多くある。例えば、歌唱の合間などで発せられる「ワォ」、「イェーイ」などの叫び声（以下、シャウト技法という）については、歌唱者の盛り上がりにより発せられることも多いが、歌唱技法としては評価されなかった。したがって、シャウト技法を用いると、歌唱音声の評価においては、本来歌唱すべき内容を歌唱していないと判定されて低い評価となることもあった。
【０００３】
歌唱音声の評価とは異なる分野においては、叫び声を検出する技術は既に開発されている。例えば、特許文献１においては、叫び声を検出してロボットを緊急停止させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−０４９４６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示された技術においては、叫び声として、緊急事態を知らせる場合によく使われる「止まれー！」などの音を検出するものであり、叫び声という分類としては同じものであっても、歌唱中におけるシャウト技法とは異なっている。そのため、特許文献１に開示された叫び声の検出方法を用いても、歌唱音声からシャウト技法での歌唱がされている部分の検出はできなかった。
本発明は、歌唱音声を解析してシャウト技法での歌唱がされている部分を検出することを目的とする。
【課題を解決するための手段】
【０００６】
上述の課題を解決するため、本発明は、楽曲データの再生期間の少なくとも一部を含む期間に入力された歌唱音声を取得する取得手段と、前記取得した歌唱音声のピッチを検出するピッチ検出手段と、前記取得した歌唱音声の音量を検出する音量検出手段と、前記検出された音量が予め決められたしきい値未満となる期間のうち、予め決められた時間以上継続する期間を無歌唱期間として特定する無歌唱期間特定手段と、前記検出された音量が前記しきい値以上となる歌唱期間のうち、前記無歌唱期間に前後を挟まれ、かつ前記楽曲データによって示される歌唱すべき構成音が２つ以上含まれない歌唱期間を判定期間として特定する判定期間特定手段と、前記判定期間において前記検出された音量の最大値が、前記歌唱期間のうち当該判定期間以外において前記検出された音量より大きいか否かを判定する音量判定手段と、前記判定期間において前記検出されたピッチの変化が、ピッチが上昇した後に下降する予め決められた変化パターンに対応するか否かを判定する変化判定手段と、前記音量判定手段において大きいと判定され、かつ、前記変化判定手段において対応すると判定された場合には、前記判定期間における前記歌唱音声が特定の技法により歌唱されていると判定する技法判定手段と、前記技法判定手段による判定結果に応じた情報を出力する出力手段とを具備することを特徴とする歌唱音声評価装置を提供する。
【０００７】
また、別の好ましい態様において、前記判定期間特定手段が特定する判定期間は、前記検出された音量が前記しきい値以上となる歌唱期間のうち、前記無歌唱期間に前後を挟まれ、かつ前記楽曲データによって示される歌唱すべき構成音が含まれない歌唱期間である
ことを特徴とする。
【０００８】
また、別の好ましい態様において、前記変化パターンは、ピッチが上昇する時間よりピッチが下降する時間が長く、当該下降の時間が所定の時間以上になるように決められていることを特徴とする。
【０００９】
また、別の好ましい態様において、前記判定期間において前記検出された音量の変化を示す曲線に、２つ以上のピークが存在するか否かを判定するピーク判定手段をさらに具備し、前記判定期間特定手段が特定する判定する判定期間は、予め決められた時間未満となる歌唱期間であり、前記変化パターンは、ピッチの上昇前から上昇後への変化の割合が予め決められた値以上となるように決められ、前記技法判定手段は、前記音量判定手段において大きいと判定され、かつ、前記変化判定手段において対応すると判定され、かつ、前記ピーク判定手段において２つ以上のピークが存在しないと判定された場合には、前記判定期間における前記歌唱音声が前記特定の技法により歌唱されていると判定することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、歌唱音声を解析してシャウト技法での歌唱がされている部分を検出することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態におけるカラオケ装置の構成を説明するブロック図である。
【図２】本発明の実施形態におけるシャウト技法検出機能の構成を説明する機能ブロック図である。
【図３】本発明の実施形態における判定期間と無歌唱期間とを説明する図である。
【図４】本発明の実施形態における評価基準情報に規定された変化パターンを説明する図である。
【図５】本発明の実施形態における評価基準情報に規定された判定基準を説明する図である。
【発明を実施するための形態】
【００１２】
＜実施形態＞
[ハードウエア構成]
図１は、本発明の実施形態におけるカラオケ装置１の構成を説明するブロック図である。カラオケ装置１は、本発明の歌唱音声評価装置の一例であり、入力された歌唱音声の評価を行う装置である。カラオケ装置１は、歌唱者の歌唱音声が入力され、その歌唱音声においてシャウト技法での歌唱が行われているかの評価を行う。まず、カラオケ装置１のハードウエア構成について説明する。
【００１３】
カラオケ装置１は、制御部１０、操作部２０、表示部３０、通信部４０、記憶部５０、音響処理部６０を有する。これらの各構成は、バスを介して接続されている。また、カラオケ装置１は、音響処理部６０に接続されたスピーカ６１およびマイクロフォン６２を有する。
【００１４】
制御部１０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などを有する。制御部１０は、ＲＯＭまたは記憶部５０に記憶された制御プログラムを実行することにより、バスを介してカラオケ装置１の各部を制御する。この例においては、制御部１０は、制御プログラムを実行することにより、入力された歌唱音声を解析してシャウト技法の検出を行うためのシャウト技法検出機能を実現する。
【００１５】
操作部２０は、操作パネルなどに設けられた操作ボタン、リモコンに設けられた操作ボタン、キーボード、マウスなどの操作デバイスであって、歌唱者の操作を受け付けて、その内容を示す操作信号を制御部１０に出力する。
表示部３０は、液晶ディスプレイなどの表示デバイスであり、制御部１０の制御に応じた内容の表示を行う。この表示の内容は、カラオケの楽曲の進行に応じた背景画像、歌詞テロップ、メニュー画面、歌唱音声の評価結果、シャウト技法の検出結果などである。
通信部４０は、制御部１０の制御に応じて、インターネットなどの通信回線と接続して、サーバ装置などの通信装置と情報のやり取りを行う。制御部１０は、通信部４０を介して取得した情報を用いて、記憶部５０に記憶される情報を更新するようにしてもよい。
記憶部５０は、ハードディスク、不揮発性メモリなどの記憶手段であり、楽曲データ、歌唱音声データ、および評価基準情報をそれぞれ記憶する記憶領域を有する。
【００１６】
楽曲データは、カラオケの歌唱対象となる楽曲に関連するデータが含まれ、例えば、ガイドメロディデータ（以下、ＧＭデータという）、伴奏データ、歌詞データなどが含まれている。ＧＭデータは、楽曲のボーカルパートのメロディを示すデータ、すなわち、歌唱すべき構成音の内容が指定されたデータであり、例えば、ＭＩＤＩ（Musical Instrument Digital Interface）形式により記述されている。伴奏データは、楽曲の伴奏の内容を示すデータであり、例えば、ＭＩＤＩ形式により記述されている。歌詞データは、楽曲の歌詞の内容を示すデータ、および表示部３０に表示させた歌詞テロップを色替えするためのタイミングを示すデータを有する。また、楽曲データには、楽曲のサビ部分の位置、メロディの出だし部分の位置など、楽曲の各構成部分の位置を規定する情報も含まれていてもよい。
楽曲データは、歌唱者によって操作部２０の操作により指定された楽曲に対応するものが制御部１０によって読み出され、カラオケの伴奏音のスピーカ６１からの出力、歌詞テロップの表示部３０への表示に用いられる。
【００１７】
歌唱音声データは、カラオケの対象となった楽曲を歌唱する歌唱者によって、マイクロフォン６２から入力された歌唱音声を示すデータであり、例えば、ＷＡＶＥ形式などで記憶される。このようにして記憶される歌唱音声データは、制御部１０によって、カラオケの対象となった楽曲を示す楽曲データに対応付けられる。
評価基準情報は、シャウト技法検出機能において用いられ、シャウト技法として判定する基準を示す情報である（図４、図５参照）。評価基準情報の具体的な内容については、後述するシャウト技法検出機能の説明において示すため、ここでは省略する。
【００１８】
マイクロフォン６２は、歌唱者の歌唱音声が入力され、歌唱音声を示すオーディオ信号を音響処理部６０に出力する。スピーカ６１は、音響処理部６０から出力されるオーディオ信号を放音する。音響処理部６０は、ＤＳＰ（Digital Signal Processor）などの信号処理回路、ＭＩＤＩ形式の信号からオーディオ信号を生成する音源などを有する。音響処理部６０は、マイクロフォン６２から入力されるオーディオ信号をＡ／Ｄ変換して制御部１０に出力する。音響処理部６０は、制御部１０から楽曲データに基づくＭＩＤＩ形式の信号が入力され、その信号に基づいてオーディオ信号を生成する。音響処理部６０は、このように生成したオーディオ信号、制御部１０から出力されたオーディオ信号、マイクロフォン６２から入力されたオーディオ信号などを、エフェクト処理、増幅処理などの信号処理を施してからスピーカ６１に出力する。
【００１９】
ここで、制御部１０は、楽曲データを読み出して再生し、その楽曲の伴奏音をスピーカ６１から出力させている再生期間において、音響処理部６０から出力されるオーディオ信号を取得し、歌唱音声データを生成し、その楽曲データに対応付けて記憶部５０へ記憶する。なお、歌唱音声データは、この再生期間以外の期間においても生成、記憶されるようにしてもよい。
以上が、カラオケ装置１のハードウエア構成についての説明である。
【００２０】
[シャウト技法検出機能]
次に、カラオケ装置１の制御部１０が制御プログラムを実行することによって実現されるシャウト技法検出機能について説明する。なお、以下に説明するシャウト技法検出機能を実現するシャウト技法検出部１００における各構成の一部または全部については、ハードウエアによって実現してもよい。
【００２１】
図２は、本発明の実施形態におけるシャウト技法検出部１００の構成を説明する機能ブロック図である。シャウト技法検出部１００は、取得部１０１、音量検出部１０２、ピッチ検出部１０３、無歌唱期間特定部１０４、判定期間特定部１０５、音量判定部１０６、ピーク判定部１０７、変化判定部１０８、技法判定部１０９および出力部１１０を有する。
【００２２】
取得部１０１は、記憶部５０に記憶された歌唱音声データのうち、予め決められた評価期間の歌唱音声に対応する部分（この例においては、楽曲全体）の歌唱音声データを取得して、音量検出部１０２およびピッチ検出部１０３に出力する。この例においては、取得部１０１は、楽曲データの再生中に順次生成される歌唱音声データを、順次取得して出力する。なお、取得部１０１は、楽曲データの再生が終了し、歌唱音声データが記憶部５０へ全て記憶された後に、取得して出力するようにしてもよい。
【００２３】
音量検出部１０２は、取得部１０１から取得した歌唱音声データから、歌唱音声の音量（以下、歌唱音量という）を検出する。この例においては、音量検出部１０２は、各フレームについて歌唱音声データが示す音声信号の振幅に基づいて検出する。音量検出部１０２は、検出した歌唱音量を示す情報を、無歌唱期間特定部１０４、判定期間特定部１０５、音量判定部１０６およびピーク判定部１０７に対して時系列に出力する。
【００２４】
ピッチ検出部１０３は、取得部１０１から取得した歌唱音声データから、歌唱音声のピッチ（以下、歌唱ピッチという）を検出する。この例においては、ピッチ検出部１０３は、各フレームについて歌唱音声データが示す音声信号の波形が負から正に変化する際のゼロクロスを検出し、そのゼロクロスの時間間隔を測定することによってフレーム毎の歌唱ピッチ（周波数）を特定する。このとき、この音声信号から、ローパスフィルタによりノイズ成分となる高域成分をカットしたり、ハイパスフィルタにより直流成分をカットしたりしておいてもよい。なお、歌唱ピッチは、歌唱音声データにＦＦＴ（Fast Fourier Transform）を施して得られるスペクトルから特定してもよい。
ピッチ検出部１０３は、このようにして検出した歌唱ピッチを示す情報を、変化判定部１０８に対して時系列に出力する。
【００２５】
無歌唱期間特定部１０４は、歌唱音量が予め決められたしきい値Ｖｔｈ未満となる無音期間のうち、予め決められた時間（この例においては、５００ｍｓｅｃ．）以上継続する無音期間を無歌唱期間Ｓｏｆｆとして特定する。なお、この予め決められた時間は、再生される楽曲データのテンポに応じて変化するものであってもよく、この場合には、例えば１拍分（４分音符１個分の時間）としてもよい。
無歌唱期間特定部１０４は、このようにして特定した無歌唱期間を示す情報を判定期間特定部１０５に出力する。
【００２６】
判定期間特定部１０５は、歌唱音量がしきい値Ｖｔｈ以上となる歌唱期間のうち、無歌唱期間に前後を挟まれ、かつ楽曲データによって示される歌唱すべき構成音が２つ以上含まれない歌唱期間を、判定期間Ｓｏｎとして特定する。すなわち、判定期間Ｓｏｎの直前と直後には、５００ｍｓｅｃ．以上の無音期間である無歌唱期間Ｓｏｆｆが存在することになる。
ここで、判定期間特定部１０５は、無歌唱期間特定部１０４からの情報により無歌唱期間を特定し、記憶部５０に記憶されたＧＭデータから、各歌唱期間において歌唱すべき構成音を特定する。判定期間特定部１０５は、特定した判定期間Ｓｏｎを示す情報を、音量判定部１０６、ピーク判定部１０７、変化判定部１０８および技法判定部１０９に出力する。判定期間特定部１０５は、技法判定部１０９には、さらに特定した判定期間Ｓｏｎに含まれる構成音が「０」であるか「１」であるかを示す構成音数情報についても出力する。なお、判定期間特定部１０５は、構成音が１つ含まれる歌唱期間については、判定期間Ｓｏｎとして特定しないようにしてもよい。この場合には構成音数情報を出力しなくてもよい。
【００２７】
図３は、本発明の実施形態における判定期間Ｓｏｎと無歌唱期間Ｓｏｆｆとを説明する図である。図３は、縦軸に音量、横軸に時刻を示し、歌唱音量の時系列変化を曲線ＶＬにより示した図である。図３に示す歌唱音量であった場合には、無歌唱期間特定部１０４は、無音期間をｔ１からｔ２の期間、ｔ３からｔ４の期間、ｔ５からｔ６の期間とし、５００ｍｓｅｃ．以上継続する無音期間であるｔ３からｔ４の期間、ｔ５からｔ６の期間を無歌唱期間Ｓｏｆｆとして特定する。判定期間特定部１０５は、歌唱期間をｔ０からｔ１の期間、ｔ２からｔ３の期間、ｔ４からｔ５の期間とし、無歌唱期間Ｓｏｆｆに前後を挟まれた期間であるｔ４からｔ５の期間を判定期間Ｓｏｎとして特定する。
【００２８】
図２に戻って説明を続ける。音量判定部１０６は、判定期間Ｓｏｎにおける歌唱音量の最大値が、判定期間Ｓｏｎ以外の歌唱期間における歌唱音量よりも大きいか否かを判定する。判定期間Ｓｏｎ以外の歌唱期間における歌唱音量とは、この例においては、判定期間Ｓｏｎより一定時間前までに存在する歌唱期間における歌唱音量の平均値であるものとするが、判定期間Ｓｏｎより前の全ての歌唱期間における歌唱音量の平均値であってもよい。また、歌唱音量の平均値でなくてもよく、歌唱音量に対して予め決められた演算処理が行われて得られた値でもよい。すなわち、音量判定部１０６は、判定期間Ｓｏｎにおける歌唱音量の最大値が、判定期間Ｓｏｎ以外の歌唱期間における歌唱音量より大きいとみなせるか否かを、予め決められた演算処理により判定すればよい。
【００２９】
音量判定部１０６は、このようにして判定した結果を示す音量判定情報を技法判定部１０９に出力する。この例においては、音量判定部１０６は、判定期間Ｓｏｎにおける歌唱音量の最大値が、判定期間Ｓｏｎ以外の歌唱期間における歌唱音量よりも大きい場合には「ＯＫ」、小さい場合には「ＮＧ」を示す音量判定情報を出力する。
【００３０】
ピーク判定部１０７は、判定期間Ｓｏｎにおける歌唱音量の変化を示す曲線に、２つ以上のピークが存在するか否かを判定し、判定結果を示すピーク数情報を技法判定部１０９に出力する。この例においては、２つ以上のピークが存在する場合には「ピーク数２以上」、存在しない場合には「ピーク数１以下」を示すピーク数情報を出力する。なお、２以上のピークの検出においては、ピーク間の谷となる部分の音量が予め決められた値以下になっていることを条件としてもよい。
【００３１】
変化判定部１０８は、判定期間Ｓｏｎにおける歌唱ピッチの変化が、予め決められた変化パターンに対応するか否かを判定する。予め決められた変化パターンは、ピッチが上昇した後に下降するパターンであり、評価基準情報に規定されている。このようなピッチの変化は、シャウト技法に特徴的な変化である。
【００３２】
図４は、本発明の実施形態における評価基準情報に規定された変化パターンを説明する図である。評価基準情報に規定されている変化パターンとしては、第１変化パターンと第２変化パターンとがある。図４（ａ）は、第１変化パターンにより例示されるピッチ変化の波形（以下、波形１という）であり、図４（ｂ）は、第２変化パターンにより例示されるピッチ変化の波形（以下、波形２という）である。
【００３３】
波形１は、時刻０からピッチが急激に上昇し、時刻ｔｐ１においてピーク値ＰＬ１となり、その後、時刻ｔｅ１まで急激に下降する波形である。この例においては、ピーク値ＰＬ１は、９００ｃｅｎｔ以上として決められている。ピーク値ＰＬ１は、ピッチ初期値Ｐ０からの上昇分を絶対的な周波数の値として表しているのではなく、変化の割合として表している。
このように、波形１のように例示される第１変化パターンについての規定は、評価基準情報において、予め決められた時間内でピッチが上昇して下降すること、そのピーク値の初期値に対しての変化の割合が予め決められた値以上であること（この例においては、初期値に対して＋９００ｃｅｎｔ以上であること）、として決められている。なお、この予め決められた値は、この値に限らず、様々な値とすることができる。また、例示した波形１においては、時刻０におけるピッチと時刻ｔｅ１におけるピッチとがほぼ一致しているが、必ずしも一致している必要は無く、時刻ｔｅ１におけるピッチがピッチ初期値Ｐ０より大きくても小さくてもよい。
【００３４】
波形２は、時刻０からピッチが急激に上昇し、時刻ｔｐ２においてピーク値ＰＬ２となり、時刻ｔｅ２まで緩やかに下降して予め決められた下降値ＰＤ２となる。以下、時刻０から時刻ｔｐ２までを上昇期間Ｔ１、時刻ｔｐ２から時刻ｔｅ２までを下降期間Ｔ２という。
このように、波形２のように例示される第２変化パターンについての規定は、評価基準情報において、予め決められた時間内でピッチが上昇して下降すること、上昇期間Ｔ１より下降期間Ｔ２が長いこと、下降期間Ｔ２が規定の時間以上であることとして決められている。なお、この条件を満たしていれば、例示した波形２のように下降値ＰＤ２がピーク初期値Ｐ０より大きい値となっている条件は必ずしも必要ではなく、同じ値であってもよいし、小さい値であってもよい。また、上昇期間Ｔ１における単位時間当たりのピッチ上昇量よりも、下降期間Ｔ２における単位時間当たりのピッチ下降量が少なくなる条件をさらに加えてもよい。
【００３５】
変化判定部１０８は、判定期間Ｓｏｎにおける歌唱ピッチの変化と評価基準情報が規定する２種類の変化パターンとを比較して、歌唱ピッチの変化が第１変化パターンの規定内容を満たす場合には第１変化パターンと対応し、第２変化パターンの規定内容を満たす場合には第２変化パターンと対応し、いずれも満たさない場合にはいずれにも対応しないと判定する。
変化判定部１０８は、このようにして判定した結果を示す変化判定情報を、技法判定部１０９に出力する。この例においては、変化判定部１０８は、第１変化パターンと対応する場合には「波形１」、第２変化パターンと対応する場合には「波形２」、いずれにも対応しない場合には「ＮＧ」を示す変化判定情報を出力する。
【００３６】
図２に戻って説明を続ける。技法判定部１０９は、判定期間Ｓｏｎに対応した構成音数情報、音量判定情報、ピーク数情報、変化判定情報を取得する。技法判定部１０９は、評価基準情報に規定されたシャウト技法を判定するための判定基準を取得し、評価期間Ｓｏｎにおける歌唱音声がシャウト技法で歌唱されているか否かを判定する。評価基準情報に規定された判定基準について、図５を用いて説明する。
【００３７】
図５は、本発明の実施形態における評価基準情報に規定された判定基準を説明する図である。この例においては、技法判定部１０９によって判定されるシャウト技法には、短いシャウト技法および長いシャウト技法の２種類がある。短いシャウト技法とは、歌唱間における「ワォ」といったような短い叫び声であり、長いシャウト技法とは、歌唱間における「イェーイ」といったような長い叫び声である。図５に示すように、判定基準は、短いシャウト技法と判定するための条件と、長いシャウト技法と判定するための条件とが、技法判定部１０９において取得される各種情報と対応付けて表されている。
【００３８】
短いシャウト技法と判定される条件は、判定期間Ｓｏｎの時間（判定期間長）が予め決められた時間（この例においては８００ｍｓｅｃ．）未満であること、音量判定情報が「ＯＫ」であること、変化判定情報が「波形１」であること、ピーク数情報が「ピーク数１以下」であることの全てを満たすことである。構成音数情報の内容は問わない（構成音数が１以下である）。なお、この予め決められた時間は、再生される楽曲データのテンポに応じて変化するものであってもよく、この場合には、例えば１．５拍分（４分音符１．５個分の時間））としてもよい。
【００３９】
長いシャウト技法と判定される条件は、音量判定情報が「ＯＫ」であること、変化判定情報が「波形２」であること、構成音数情報が「０」であることの全てを満たすことである。ピーク数情報の内容、判定期間長は問わない。なお、構成音数情報の内容を問わないものとしてもよいが、長いシャウト技法は、判定期間長に制限が無いため、構成音が判定期間Ｓｏｎに存在しないものとする条件、すなわち構成音数情報が「０」であるものとすることにより、歌唱すべき構成音がない期間での歌唱音声について判定することになるから、通常の歌唱との違いをより明確に区別するようにできる。
【００４０】
技法判定部１０９は、上記の判定基準を用いて、判定期間Ｓｏｎにおける歌唱音声が、短いシャウト技法で歌唱されているか、長いシャウト技法で歌唱されているか、またはいずれでもない歌唱であるかを判定する。これにより、短いシャウト技法または長いシャウト技法の歌唱がされた期間が検出されることになる。技法判定部１０９は、その判定結果を示す情報を出力部１１０に出力する。このようにして、取得部１０１において取得した歌唱音声データが示す歌唱音声から、長いシャウト技法または短いシャウト技法が用いられている期間を検出することができる。
【００４１】
出力部１１０は、技法判定部１０９から出力された情報に基づいて、表示部３０に表示させる内容を決定して、その内容を表示部３０に表示させるための制御情報を出力する。表示部３０において表示させる内容とは、例えば、長いシャウト技法または短いシャウト技法が検出された期間を示す内容であってもよいし、楽曲データの再生中であれば、長いシャウト技法または短いシャウト技法が検出されたことを示す内容であってもよい。このように出力部１１０は、シャウト技法の判定結果に応じた情報を出力するものであればよい。
【００４２】
このように、本発明の実施形態におけるカラオケ装置１は、歌唱者の歌唱音声を解析して、歌唱音量および歌唱ピッチの変化の態様から、その歌唱音声においてシャウト技法が用いられた期間を検出することができる。
【００４３】
＜変形例＞
以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。
[変形例１]
上述した実施形態において、無歌唱期間特定部１０４および判定期間特定部１０５は、予め決められたしきい値Ｖｔｈを用いて、歌唱期間、無音期間を検出していたが、検出以前の歌唱音量に応じて変化するしきい値Ｖｔｈを用いて、歌唱期間、無音期間を検出してもよい。例えば、歌唱音量のピーク値を結んだ包絡線（以下、最大包絡線という）によって示される音量の一定割合または一定量減少させた値などをしきい値Ｖｔｈとしてもよい。また、歌唱音量のディップ値を結んだ包絡線（以下、最小包絡線という）によって示される音量の一定割合または一定量増加させた値などをしきい値Ｖｔｈとしてもよい。また、最大包絡線と最小包絡線とに基づいて決められる値、例えば、最大包絡線によって示される音量と最小包絡線によって示される音量との中央値をしきい値Ｖｔｈとしてもよい。
【００４４】
[変形例２]
上述した実施形態においては、シャウト技法の検出結果は表示部３０における表示に用いられていたが、別の用途に用いられてもよい。例えば、制御部１０が、歌唱音声について、歌唱のうまさを示す評価点を算出する算出部を構成する場合には、出力部１１０は、技法判定部１０９から出力された情報を、その算出部に出力すればよい。そして、算出部は、シャウト技法の検出結果を用いて、算出する評価点に反映させればよい。反映の方法としては、例えば、以下の方法がある。
【００４５】
算出部における評価点の算出に、例えば、歌唱すべき構成音のピッチと歌唱ピッチとを比較して一致度に応じて加点または減点する方法が含まれる場合を想定する。ある比較期間において短いシャウト技法が検出された場合には、その検出された期間においては、構成音のピッチと歌唱ピッチとが大きくずれていることになるが、シャウト技法を用いたことによるものであるから、評価点の減点対象としないようにする方法である。
また、算出部における評価点の算出に、歌い始めのタイミングと歌唱すべき最初の構成音のタイミングとを比較して一致度に応じて加点または減点する方法が含まれる場合には、シャウト技法による歌唱は歌い始めの歌唱ではないものとして扱う方法である。
このように、シャウト技法の歌唱を通常の歌唱と区別することで、シャウト技法の歌唱を用いたことによる評価点への悪影響を抑えることができる。
なお、評価点の算出は算出部ではなく、出力部１１０において行うようにしてもよい。その場合には、出力部１１０は、シャウト技法の検出結果を用いた評価点の算出結果に応じた情報を示す内容を表示部３０に表示させるようにする制御信号を出力すればよい。
【００４６】
[変形例３]
上述した実施形態においては、シャウト技法の検出として、短いシャウト技法と長いシャウト技法とを検出していたが、いずれか一方のみ検出するようにしてもよい。長いシャウト技法のみを検出する場合には、技法判定部１０９において長いシャウト技法のみ判定すればよいから、例えば、ピーク数情報については判定基準にはないから不要であるから、ピーク判定部１０７が存在しなくてもよい。
【００４７】
[変形例４]
上述した実施形態においては、出力部１１０から出力される情報は、シャウト技法の判定結果に応じた内容を表示部３０に表示させるための情報であったが、それ以外の内容を示す情報であってもよい。出力部１１０から出力される情報は、歌唱者にシャウト技法が検出されたことを報知するためのものであればよいから、例えば、検出結果の内容を声で表した音声データであってもよい。また、出力部１１０から出力される情報は、音響処理部６０における音源を用いて発音させるためのＭＩＤＩ形式のシーケンスデータであってもよい
【００４８】
なお、歌唱者にシャウト技法の検出を報知するものとしては、発光、香り、動きなどを用いたものであってもよい。この場合には、様々な発光態様で発光するＬＥＤ（Light Emitting Diode）などを用いた発光装置、様々な香りの成分をもつガスを放出可能な香り放出装置、様々な動作を行うことが可能なロボットなどを外部装置として接続する。そして、その外部装置を時系列に沿って制御するための制御情報を出力部１１０から出力される情報とすればよい。
【００４９】
[変形例５]
上述した実施形態において、シャウト技法検出機能は、楽曲の途中におけるシャウト技法について検出するように構成されていたが、楽曲の最初または最後において、シャウト技法が検出されるようにしてもよい。楽曲の最初においてシャウト技法での歌唱がなされた場合には、その直前において無歌唱期間特定部１０４は無歌唱期間Ｓｏｆｆを特定する構成ではなく、また、楽曲の最後においてシャウト技法での歌唱がなされた場合には、その直後において無歌唱期間特定部１０４は無歌唱期間Ｓｏｆｆを特定する構成ではない。そのため、判定期間Ｓｏｎは、実施形態における処理においては、楽曲の最初または最後に存在しない構成であった。そのため、この例においては、判定期間特定部１０５は、楽曲の最初または最後、すなわち、歌唱音声データの開始直前または終了直後には、無歌唱期間Ｓｏｆｆが存在する前提で処理をしてもよいし、無歌唱期間特定部１０４において、歌唱音声データの開始直前または終了直後において、無歌唱期間Ｓｏｆｆを特定するようにしてもよい。
また、歌唱音声データが楽曲データの再生中以外でも生成されるように構成して、取得部１０１は、楽曲データ再生開始の一定時間前に対応する部分の歌唱音声データから取得し、楽曲データ再生終了後の一定時間後に対応する部分の歌唱音声データまで取得するようにしてもよい。
【００５０】
[変形例６]
上述した実施形態における制御プログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供し得る。また、カラオケ装置１は、制御プログラムをネットワーク経由でダウンロードしてもよい。
【符号の説明】
【００５１】
１…カラオケ装置、１０…制御部、２０…操作部、３０…表示部、４０…通信部、５０…記憶部、６０…音響処理部、６１…スピーカ、６２…マイクロフォン、１００…シャウト技法検出部、１０１…取得部、１０２…音量検出部、１０３…ピッチ検出部、１０４…無歌唱期間特定部、１０５…判定期間特定部、１０６…音量判定部、１０７…ピーク判定部、１０８…変化判定部、１０９…技法判定部、１１０…出力部
【特許請求の範囲】
【請求項１】
楽曲データの再生期間の少なくとも一部を含む期間に入力された歌唱音声を取得する取得手段と、
前記取得した歌唱音声のピッチを検出するピッチ検出手段と、
前記取得した歌唱音声の音量を検出する音量検出手段と、
前記検出された音量が予め決められたしきい値未満となる期間のうち、予め決められた時間以上継続する期間を無歌唱期間として特定する無歌唱期間特定手段と、
前記検出された音量が前記しきい値以上となる歌唱期間のうち、前記無歌唱期間に前後を挟まれ、かつ前記楽曲データによって示される歌唱すべき構成音が２つ以上含まれない歌唱期間を判定期間として特定する判定期間特定手段と、
前記判定期間において前記検出された音量の最大値が、前記歌唱期間のうち当該判定期間以外において前記検出された音量より大きいか否かを判定する音量判定手段と、
前記判定期間において前記検出されたピッチの変化が、ピッチが上昇した後に下降する予め決められた変化パターンに対応するか否かを判定する変化判定手段と、
前記音量判定手段において大きいと判定され、かつ、前記変化判定手段において対応すると判定された場合には、前記判定期間における前記歌唱音声が特定の技法により歌唱されていると判定する技法判定手段と、
前記技法判定手段による判定結果に応じた情報を出力する出力手段と
を具備することを特徴とする歌唱音声評価装置。
【請求項２】
前記判定期間特定手段が特定する判定期間は、前記検出された音量が前記しきい値以上となる歌唱期間のうち、前記無歌唱期間に前後を挟まれ、かつ前記楽曲データによって示される歌唱すべき構成音が含まれない歌唱期間である
ことを特徴とする請求項１に記載の歌唱音声評価装置。
【請求項３】
前記変化パターンは、ピッチが上昇する時間よりピッチが下降する時間が長く、当該下降の時間が所定の時間以上になるように決められている
ことを特徴とする請求項１または請求項２に記載の歌唱音声評価装置。
【請求項４】
前記判定期間において前記検出された音量の変化を示す曲線に、２つ以上のピークが存在するか否かを判定するピーク判定手段をさらに具備し、
前記判定期間特定手段が特定する判定する判定期間は、予め決められた時間未満となる歌唱期間であり、
前記変化パターンは、ピッチの上昇前から上昇後への変化の割合が予め決められた値以上となるように決められ、
前記技法判定手段は、前記音量判定手段において大きいと判定され、かつ、前記変化判定手段において対応すると判定され、かつ、前記ピーク判定手段において２つ以上のピークが存在しないと判定された場合には、前記判定期間における前記歌唱音声が前記特定の技法により歌唱されていると判定する
ことを特徴とする請求項１または請求項２に記載の歌唱音声評価装置。
【請求項１】
楽曲データの再生期間の少なくとも一部を含む期間に入力された歌唱音声を取得する取得手段と、
前記取得した歌唱音声のピッチを検出するピッチ検出手段と、
前記取得した歌唱音声の音量を検出する音量検出手段と、
前記検出された音量が予め決められたしきい値未満となる期間のうち、予め決められた時間以上継続する期間を無歌唱期間として特定する無歌唱期間特定手段と、
前記検出された音量が前記しきい値以上となる歌唱期間のうち、前記無歌唱期間に前後を挟まれ、かつ前記楽曲データによって示される歌唱すべき構成音が２つ以上含まれない歌唱期間を判定期間として特定する判定期間特定手段と、
前記判定期間において前記検出された音量の最大値が、前記歌唱期間のうち当該判定期間以外において前記検出された音量より大きいか否かを判定する音量判定手段と、
前記判定期間において前記検出されたピッチの変化が、ピッチが上昇した後に下降する予め決められた変化パターンに対応するか否かを判定する変化判定手段と、
前記音量判定手段において大きいと判定され、かつ、前記変化判定手段において対応すると判定された場合には、前記判定期間における前記歌唱音声が特定の技法により歌唱されていると判定する技法判定手段と、
前記技法判定手段による判定結果に応じた情報を出力する出力手段と
を具備することを特徴とする歌唱音声評価装置。
【請求項２】
前記判定期間特定手段が特定する判定期間は、前記検出された音量が前記しきい値以上となる歌唱期間のうち、前記無歌唱期間に前後を挟まれ、かつ前記楽曲データによって示される歌唱すべき構成音が含まれない歌唱期間である
ことを特徴とする請求項１に記載の歌唱音声評価装置。
【請求項３】
前記変化パターンは、ピッチが上昇する時間よりピッチが下降する時間が長く、当該下降の時間が所定の時間以上になるように決められている
ことを特徴とする請求項１または請求項２に記載の歌唱音声評価装置。
【請求項４】
前記判定期間において前記検出された音量の変化を示す曲線に、２つ以上のピークが存在するか否かを判定するピーク判定手段をさらに具備し、
前記判定期間特定手段が特定する判定する判定期間は、予め決められた時間未満となる歌唱期間であり、
前記変化パターンは、ピッチの上昇前から上昇後への変化の割合が予め決められた値以上となるように決められ、
前記技法判定手段は、前記音量判定手段において大きいと判定され、かつ、前記変化判定手段において対応すると判定され、かつ、前記ピーク判定手段において２つ以上のピークが存在しないと判定された場合には、前記判定期間における前記歌唱音声が前記特定の技法により歌唱されていると判定する
ことを特徴とする請求項１または請求項２に記載の歌唱音声評価装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−７８７０１（Ｐ２０１２−７８７０１Ａ）
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願番号】特願２０１０−２２５７２５（Ｐ２０１０−２２５７２５）
【出願日】平成２２年１０月５日（２０１０．１０．５）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【出願人】（３９０００４７１０）株式会社第一興商 (537)
【Ｆターム（参考）】
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願日】平成２２年１０月５日（２０１０．１０．５）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【出願人】（３９０００４７１０）株式会社第一興商 (537)
【Ｆターム（参考）】
[ Back to top ]