歌唱評価装置及び歌唱評価プログラム
【課題】 採点などカラオケにおいて歌唱評価を行う場合、オクターブ補正を適切に実行することで、より正確な歌唱評価を可能とする。
【解決手段】 本発明の歌唱評価装置は、楽曲情報の再生に同期した模範音程情報と、入力音声信号から検出した歌唱音程情報との差である差分音程情報を抽出し、抽出した差分音程情報に基づいて歌唱オクターブを判定するオクターブ判定処理と、歌唱オクターブ分シフトさせた歌唱音程情報と模範音程情報とを比較する、もしくは、歌唱オクターブ分シフトさせた模範音程情報と歌唱音程情報とを比較する比較処理を行うことを特徴としている。
【解決手段】 本発明の歌唱評価装置は、楽曲情報の再生に同期した模範音程情報と、入力音声信号から検出した歌唱音程情報との差である差分音程情報を抽出し、抽出した差分音程情報に基づいて歌唱オクターブを判定するオクターブ判定処理と、歌唱オクターブ分シフトさせた歌唱音程情報と模範音程情報とを比較する、もしくは、歌唱オクターブ分シフトさせた模範音程情報と歌唱音程情報とを比較する比較処理を行うことを特徴としている。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カラオケなどにおいて採点など歌唱の優劣を評価する歌唱評価装置及び歌唱評価プログラムに関するものである。
【背景技術】
【0002】
従来、カラオケシステムにおいては、歌唱の優劣を判定するため採点機能が装備されているものが知られている。このような採点機能は、演奏のための楽曲情報に含まれる模範音程情報と、マイクロホンから入力された歌唱音声の音程を比較し、その差分などを利用して得点が算出される。
【0003】
このようなカラオケ装置の採点について、特許文献1には、ガイドボーカルなど、カラオケ用ソフトに記録された基準音声信号と、マイクロホンから入力される比較音声信号とを、バンドパスフィルタを用いて評価する音程評価装置が記載されている。この音程評価装置では、基準音声信号の音程と、比較音声信号の音程とが周波数的に一致しているか否かに基づいて評価される。
【0004】
一方、特許文献2には、歌い手の歌う主旋律データと再生手段からの主旋律データとを比較し、比較結果に基づいて歌い手の歌う主旋律データを補正するカラオケ装置が開示されている。この主旋律データの補正は音楽的特性を考慮したものとなっており、1オクターブを超える補正は行わず、特許文献2の図12に示されるように、再生手段からの主旋律データとオクターブ分離れた音名となるように補正を行うこととしている。
【0005】
特許文献2に開示される音楽的特性の考え方は、歌唱評価においても用いられることが知られている。すなわち、マイクロホンから入力される歌唱者の音程が、模範音程と1オクターブ離れていた場合であっても同じ音名であれば、正しく歌えていると評価する方法である。
【0006】
これら従来の歌唱評価の形式を説明するための図を本願の図1に示している。図1(a)は、模式的に五線譜上に音符で示した、模範音程と歌唱音程が示されている。歌唱音程の例として、(あ)に示した低いE(ミ)と、(い)に示した1オクターブ高いE(ミ)が示されている。
【0007】
音楽的特性を考慮せずに評価を行う特許文献1のような評価形式(以下、評価形式A)では、(あ)の場合、模範音程と一致していると判定されるが、(い)の場合は、模範音程と一致していないものとして判定される。一方、音楽的特性を考慮して評価を行う特許文献2のような評価形式(以下、評価形式B)では、(あ)、(い)どちらもE(ミ)の音名であるため、両者とも一致していると判定されることとなる。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開平8−286684号公報
【特許文献2】特開平4−81880号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
図2は、演奏の進行にともなう模範音程と歌唱音程の進行状況を示す図である。図に示されるような演奏途中におけるサビ区間では、それまでの音程よりも急激に音程が高くな
ることがある。楽曲演奏に合わせて歌唱が行われるが、不慣れな歌唱者は、このサビ区間では音高の変化に追従することができず、1オクターブ下げて歌唱することがある。このとき、サビ区間が終了した後、再び元の音程に上げて歌唱を行っているが、サビ区間で変更した音程のまま歌唱を続ける場合も考えられる。
【0010】
図1で説明した従来の評価形式Aでは、サビ区間にて1オクターブ下げた音程は、正しい歌唱とは評価されず、特に、サビ区間で変更した音程のまま歌唱を続けた場合には、以後の歌唱は全て誤ったものと評価されてしまう。一方、従来の評価形式Bでは、サビ区間で1オクターブ下げた音程についても、音名が同じであれば正しい歌唱と評価され、聴感上、違和感がある歌唱に対して高い評価を与えてしまうこととなる。また、このような場合のみに限らず、例えば、歌唱開始直後においては、模範音程に対して、どのようなオクターブ関係で歌うのか迷う場合もある。
【0011】
本発明は、このような歌唱時におけるオクターブ異ならせて歌った場合を考慮した新たな歌唱評価方法を実現することを目的としている。
【課題を解決するための手段】
【0012】
そのため、本発明に係る歌唱評価装置は、楽曲情報を再生する楽曲再生手段と、歌唱を評価する歌唱評価処理を実行する制御手段と、を備える歌唱評価装置において、前記歌唱評価処理は、オクターブ判定処理と、比較処理を含み、前記オクターブ判定処理は、前記楽曲情報の再生に同期した模範音程情報と、入力音声情報から検出した歌唱音程情報との差である差分音程情報を抽出し、抽出した前記差分音程情報に基づいて歌唱オクターブを判定し、前記比較処理は、前記歌唱オクターブ分シフトさせた前記歌唱音程情報と前記模範音程情報とを比較する、もしくは、前記歌唱オクターブ分シフトさせた前記模範音程情報と前記歌唱音程情報とを比較することを特徴としている。
【0013】
さらに、本発明に係る歌唱評価装置において、前記オクターブ判定処理は、楽曲情報の再生期間中、特定の区間において実行することを特徴としている。
【0014】
さらに、本発明に係る歌唱評価装置において、前記オクターブ判定処理は、楽曲情報の再生期間中、複数の区間において実行することを特徴としている。
【0015】
さらに、本発明に係る歌唱評価装置において、前記複数の区間は、少なくとも1つの区間長が異なることを特徴としている。
【0016】
さらに、本発明に係る歌唱評価装置において、前記複数の区間において、前記楽曲情報の再生進行にしたがって、最初に出現する区間長が、後に出現する区間よりも短くなるように変化することを特徴としている。
【0017】
また、本発明に係る歌唱評価プログラムは、歌唱を評価する歌唱評価処理をコンピュータに実行させる歌唱評価プログラムにおいて、前記歌唱評価処理は、オクターブ判定処理と、比較処理を含み、前記オクターブ判定処理は、楽曲情報の再生に同期した模範音程情報と、入力音声情報から検出した歌唱音程情報との差である差分音程情報を抽出し、抽出した前記差分音程情報に基づいて歌唱オクターブを判定し、前記比較処理は、前記歌唱オクターブ分シフトさせた前記歌唱音程情報と前記模範音程情報とを比較する、もしくは、前記歌唱オクターブ分シフトさせた前記模範音程情報と前記歌唱音程情報とを比較することを特徴としている。
【発明の効果】
【0018】
本発明によれば、模範音程情報と歌唱音程情報の差にて歌唱オクターブを判定し、当該
、歌唱オクターブを比較処理に利用することで、新たな歌唱評価を実現することが可能となる。
【0019】
さらに、オクターブ判定処理は、楽曲再生中における特定区間にて実行されるものであってもよい。例えば、楽曲の盛り上がりであるサビ区間において、本発明の歌唱評価処理を実施することで、より精度の高い歌唱評価を実現することが可能となる。
【0020】
さらに、オクターブ判定処理は、楽曲再生中における複数区間にて実行されるものであってもよい。複数区間にてオクターブ判定処理を実行することで、さらに精度の高い歌唱評価を実現することが可能となる。
【0021】
さらに、オクターブ判定処理において、複数の区間は、少なくとも1つの区間長が異なることとしてもよい。複数の区間長を異ならせることで、楽曲の進行に適した歌唱評価を実行することが可能となる。
【0022】
さらに、複数の区間では、楽曲再生の進行に伴い、区間長の長さが長くなるように変化させることとしてもよい。歌唱開始直後における評価基準と、歌唱からある程度時間が経ったときの評価基準を異ならせた歌唱評価を実現できる。
【0023】
また、本発明の歌唱評価プログラムは、前述の歌唱評価装置の機能をプログラムにて提供することで、コンピュータ装置や、既存の音響機器に対しても歌唱評価機能を付加することが可能となる。
【図面の簡単な説明】
【0024】
【図1】従来の歌唱評価方法を説明するための図。
【図2】従来の模範音程と歌唱音程の比較を説明するための図。
【図3】本発明の実施形態に係るカラオケシステムの構成を示す図。
【図4】本発明の実施形態に係る歌唱評価処理を示すフロー図。
【図5】本発明の実施形態に係るオクターブ判定処理を示すフロー図。
【図6】本発明の実施形態に係る歌唱オクターブ判定テーブルを示す図。
【図7】本発明の実施形態に係る歌唱評価の行程を示す図。
【図8】本発明の実施形態に係る歌唱評価の行程を示す図。
【図9】本発明の実施形態に係る歌唱評価の行程を示す図。
【図10】本発明の実施形態に係るオクターブ判定区間と比較区間を示す図。
【図11】本発明の他の実施形態に係る歌唱評価処理を示すフロー図。
【図12】本発明の他の実施形態に係るオクターブ判定区間と比較区間を示す図。
【図13】本発明の他の実施形態に係るオクターブ判定区間と比較区間の形態を示す図。
【発明を実施するための形態】
【0025】
本発明に係る歌唱評価装置をカラオケシステムに実装した場合について説明する。図1は、実施形態に係るカラオケシステムの基本構成を示した図である。なお、歌唱評価機能をカラオケシステムにて機能させるプログラムとして提供することとしてもよい。
【0026】
メイン制御部104は、カラオケシステムの中核をなすコマンダ100を統括制御する。その主な機能としては、外部の通信網と通信を行う通信制御部102の制御、外部に配置されたディスプレイにカラオケの背景映像などの映像信号を出力する映像制御部103の制御、そして、音声制御部107に対する制御を実行する。
【0027】
音声制御部107は、音源部108と音声信号処理部200に対する制御を行う。音声
制御部107は、メイン制御部104からの指令に基づき、楽曲再生処理、並びに、本発明の特徴となる歌唱評価処理等を実行する。本発明でいう制御手段は、メイン制御部104、音声制御部107、音声信号処理部200などを含んで構成される。
【0028】
楽曲再生処理は、音源部108にて楽曲情報を再生させる処理である。入力部101にてユーザから指定された楽曲に対応する楽曲情報をハードディスク105、106から読み出して音源部108に再生させる。楽曲情報は、MIDIデータ、MPEG音声データ、歌詞データなどを含んで構成されている。また、楽曲情報には、再生進行に同期した模範音程情報が含まれており歌唱評価処理のために用いられる。なお、この模範音程情報は、歌唱を支援するためのガイドメロディとして音源部108にて再生されるものであってもよい。
【0029】
歌唱評価処理は、マイクロホン404から入力された歌唱者の入力音声信号を評価する処理であって、評価方法としては、得点の算出、ランク付け、視覚的に音程差を提示することなどが挙げられる。この歌唱評価処理は、マイクロホン404から入力される入力音声信号から歌唱音程情報を検出し、楽曲情報の再生進行に同期して読み出される模範音程情報と比較することで実行される。
【0030】
ミキシング部111では、音源部108にて再生された楽曲音信号と、音声信号処理部200から出力された入力音声信号を加算して加算信号を出力する。加算信号は、DA変換器112、プリアンプ113を経て外部に出力され、外部のアンプ401にてスピーカー402から放音される。
【0031】
本発明の歌唱評価処理について図4〜図10を用いて説明する。本実施形態の歌唱評価処理では、オクターブ判定処理と比較処理を主要な処理としている。歌唱評価処理には、この他にも音量評価など他の評価処理が含まれることとしてもよい。オクターブ判定処理は、楽曲再生中の所定の区間で実行され、当該区間における歌唱オクターブを判定する。なお、歌唱オクターブとは、模範音程情報に対するオクターブ差を示す情報である。
【0032】
比較処理では、この所定区間で判定された歌唱オクターブを利用して模範音程情報と、入力音声信号から検出した歌唱音程情報の比較が実行される。具体的には、歌唱オクターブ分シフトさせた歌唱音程情報と模範音程情報を比較した上で実行される。歌唱音程情報をシフトさせるのではなく、模範音程情報を歌唱オクターブ分シフトして比較することとしてもよい。なお、比較の手法としては、両者の差分をとって差分に基づいて得点を算出することであってもよいし、当該差分に基づいて歌唱ランクを決定することとしてもよい。また、両者をディスプレイ上でグラフ上に表示し、歌唱者に対しどの程度ずれているか認識させるなど各種の比較手法を採用することなども考えられる。
【0033】
図4は、歌唱評価処理の一連の処理を示すフロー図である。歌唱評価処理は、楽曲再生処理に同期して開始される。まず、音声制御部107のメモリなどに一時的に記憶していた模範音程情報、歌唱音程情報をクリアさせ、新たな情報の入力に備える(S102a)。次に、入力音声信号から歌唱音程情報が検出される。本実施形態では10msec分の入力音声信号に基づいて歌唱音程情報を検出している。歌唱音程情報の検出にあわせて楽曲再生に同期した模範音程情報とをメモリに一時記憶させる(S103a)。
【0034】
S104aでは、前回のオクターブ判定処理(S200a)から所定期間(A秒)経過下か否かが判定される。本実施形態では、この所定期間がオクターブ判定処理のための1区間となっている。さらにこの所定期間は、比較処理の区間と一致したものとなっている。なお、後ほど説明するが、オクターブ判定のための区間と比較処理のための区間とは必ずしも一致させる必要はない。
【0035】
オクターブ判定処理(S200a)について、図5のフロー図を用いて説明する。オクターブ判定処理が開始されると、まず、オクターブ判定区間(A秒間)における模範音程情報と歌唱音程情報の差分(差分音程情報)が算出される。図7には、歌唱時における模範音程情報と歌唱音程情報の一例が示されており、図8には、図7における差分音程情報算出の様子が模式的に示されている。
【0036】
算出された差分音程情報に基づいて、歌唱オクターブが判定される。まず、差分音程情報の平均値が算出され、歌唱オクターブ判定テーブルを参照することで、歌唱オクターブを判定している。図8の例では、差分音程情報の平均値は約−10音階となっている。図6に記載された歌唱オクターブ判定テーブルを参照すると、この場合、歌唱オクターブは−12音階と判定される。ここでは歌唱オクターブは音階数で示しているが、オクターブ数(この場合であれば−1オクターブ)で示されるものであってもよい。
【0037】
このように、本実施形態では、差分音程情報の平均値に基づいて歌唱オクターブを判定することとしている。歌唱オクターブの判定方法については、例えば、オクターブ判定区間での所定位置(先頭、末尾など)に基づいて判定することなど、適宜手法を採用することができる。
【0038】
判定された歌唱オクターブは、以後の比較処理に使用される。図4において、比較処理は、S105aとS106aの処理で構成されている。本実施形態では、歌唱音程情報をS200aで判定した歌唱オクターブ分シフトさせた上(S105a)で、シフトさせた歌唱音程情報と模範音程情報との比較(S106a)を実行することとしている。図9には、その様子が模式的に示されている。模範音程情報と破線で示されるシフト後の歌唱音程情報との間で比較が行われる。なお、ここでいうシフトとは、歌唱音程情報と模範音程情報が近づくように移動させることをいう。また、前述したように、模範音程情報をシフトさせることとしてもよい。
【0039】
S102a〜S106aの一連の処理は、楽曲再生が終了するまで継続し、楽曲再生終了時、あるいは、歌唱区間終了時に歌唱評価処理を終了する。以上の歌唱評価処理の流れについて図10を用いて説明する。図10は、歌唱評価処理におけるオクターブ判定区間と比較区間の関係を演奏の進行に沿って模式図である。歌唱評価処理は、歌唱区間が開始される時点、すなわち、最初に模範音程情報が登場した時点から開始されることとしている。図4のフロー図でも説明したように、オクターブ判定区間と比較区間は1対1、すなわち、判定された歌唱オクターブは、オクターブ判定区間と同じ区間である比較区間に対して利用される。このように、本実施形態では、オクターブ判定区間と比較区間を一致させることで、精度の高い比較処理を実現することが可能となっている。
【0040】
次に、他の実施形態について図11、図12を用いて説明を行う。図11は、本発明の他の実施形態に係る歌唱評価処理を示すフロー図である。また、図12は、本実施形態におけるオクターブ判定区間と比較区間の関係を演奏の進行に沿って模式図となっている。
【0041】
前述の実施形態では、オクターブ判定区間、並びに、比較区間の長さが所定長であったのに対し、本実施形態では、演奏の進行に伴って変化するものとなっている。このような形態を採用することで、例えば、歌唱の開始直後において、歌唱者が音程に迷う箇所では、短い区間でオクターブ判定を実行し、ある程度、演奏が経過した時点でオクターブ判定を長く取り、曲のサビなど、音程が高くなったときに歌えない状況を厳しく評価することが可能となる。
【0042】
そのため、本実施形態のフロー図は、S104b〜S106bの時間管理の点において
、図4のものと異なっている。ここでは、異なる処理について説明を行う。S104bでは、最初の模範音程登場、すなわち、歌唱区間の開始からT秒経過しているか否かが判定される。T秒経過していない場合には、S105bにて前回オクターブ判定からA秒経過したか否かが判定されることとなり、オクターブ判定区間長はA秒となる。一方、T秒経過したと判定された場合には、S106bにて前回オクターブ判定からB秒経過したかが判定されることとなり、オクターブ区間長はB秒となる。
【0043】
図12に示されるように、歌唱区間が開始されてからT秒経過する前後にて、オクターブ区間長は変化したものとなっている。なお、前実施形態と同様、オクターブ判定区間と比較区間は一致したものとなっている。本実施形態ではA秒、B秒、2つの時間長としたが、時間長はさらに複数種類設けることとしてもよい。また、区間長は、時間で設定するのみならず、小節数等、演奏の進行に同期した情報で設定されるものであってもよい。演奏の進行に同期した情報を採用することで、演奏速度を変更したときにも対応することが可能となる。こ区間長の設定の態様については、前述の実施形態を含む他の実施形態についても同様である。
【0044】
この実施形態以外にもオクターブ判定区間、比較区間は様々な形態を採用することができる。図13は、本発明の他の実施形態に係るオクターブ判定区間と比較区間を演奏の進行に沿って示した模式図である。
【0045】
図13(a)の実施形態では、オクターブ判定区間に対し比較区間がスライドした関係となっている。例えば、オクターブ判定区間a1で判定された歌唱オクターブは、次の区間a2にて利用される。このように、比較区間をスライドさせることで、歌唱オクターブの判定を待たずに、リアルタイムに比較を実行させることが可能となる。
【0046】
図13(b)は、演奏進行において特定の区間のみをオクターブ判定区間の対象としたものとなっている。例えば、図に示されるようにサビの区間c1、c2だけを対象とすることが考えられ、高い音高となりがちなサビ区間において、歌唱オクターブを固定することで、精度の高い評価を行うことが可能となる。このような実施形態は、楽曲情報に特定区間を示す情報を埋め込んでおくことで、各楽曲情報毎に異なる位置に対応することが可能である。なお、この図では、サビ区間以外の箇所において比較が実行されていないようにも見えるが、実際には、他の区間においても比較は実行される。この比較としては、図1にて説明した評価形式Aや評価形式Bのような従来のものなどを利用することが考えられる。
【0047】
図13(c)は、歌唱区間が開始されてから所定期間dのみがオクターブ判定区間となっている。このオクターブ判定区間にて判定された歌唱オクターブは、全歌唱区間にて利用される。この実施形態において、オクターブ判定区間と比較区間とを一致させたのが図13(d)の実施形態である。本実施形態では、全歌唱区間eをオクターブ判定区間の対象となっている。
【0048】
以上、詳細に説明した2つの実施形態、並びに、図13(a)〜(d)の実施形態は、可能な範囲において適宜組み合わせて利用することが可能である。
【0049】
なお、本発明はこれらの実施形態のみに限られるものではなく、それぞれの実施形態の構成を適宜組み合わせて構成した実施形態も本発明の範疇となるものである。
【符号の説明】
【0050】
100…コマンダ(カラオケ装置)、101…入力部、102…通信制御部、103…映像制御部、104…メイン制御部、105、106…ハードディスク、107…音声制御
部、108…音源部、109…マイクアンプ、110…AD変換器、111…ミキシング部、112…DA変換器、113…プリアンプ、200…音声信号処理部、401…アンプ、402…スピーカー、403…ディスプレイ装置、404…マイクロホン
【技術分野】
【0001】
本発明は、カラオケなどにおいて採点など歌唱の優劣を評価する歌唱評価装置及び歌唱評価プログラムに関するものである。
【背景技術】
【0002】
従来、カラオケシステムにおいては、歌唱の優劣を判定するため採点機能が装備されているものが知られている。このような採点機能は、演奏のための楽曲情報に含まれる模範音程情報と、マイクロホンから入力された歌唱音声の音程を比較し、その差分などを利用して得点が算出される。
【0003】
このようなカラオケ装置の採点について、特許文献1には、ガイドボーカルなど、カラオケ用ソフトに記録された基準音声信号と、マイクロホンから入力される比較音声信号とを、バンドパスフィルタを用いて評価する音程評価装置が記載されている。この音程評価装置では、基準音声信号の音程と、比較音声信号の音程とが周波数的に一致しているか否かに基づいて評価される。
【0004】
一方、特許文献2には、歌い手の歌う主旋律データと再生手段からの主旋律データとを比較し、比較結果に基づいて歌い手の歌う主旋律データを補正するカラオケ装置が開示されている。この主旋律データの補正は音楽的特性を考慮したものとなっており、1オクターブを超える補正は行わず、特許文献2の図12に示されるように、再生手段からの主旋律データとオクターブ分離れた音名となるように補正を行うこととしている。
【0005】
特許文献2に開示される音楽的特性の考え方は、歌唱評価においても用いられることが知られている。すなわち、マイクロホンから入力される歌唱者の音程が、模範音程と1オクターブ離れていた場合であっても同じ音名であれば、正しく歌えていると評価する方法である。
【0006】
これら従来の歌唱評価の形式を説明するための図を本願の図1に示している。図1(a)は、模式的に五線譜上に音符で示した、模範音程と歌唱音程が示されている。歌唱音程の例として、(あ)に示した低いE(ミ)と、(い)に示した1オクターブ高いE(ミ)が示されている。
【0007】
音楽的特性を考慮せずに評価を行う特許文献1のような評価形式(以下、評価形式A)では、(あ)の場合、模範音程と一致していると判定されるが、(い)の場合は、模範音程と一致していないものとして判定される。一方、音楽的特性を考慮して評価を行う特許文献2のような評価形式(以下、評価形式B)では、(あ)、(い)どちらもE(ミ)の音名であるため、両者とも一致していると判定されることとなる。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開平8−286684号公報
【特許文献2】特開平4−81880号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
図2は、演奏の進行にともなう模範音程と歌唱音程の進行状況を示す図である。図に示されるような演奏途中におけるサビ区間では、それまでの音程よりも急激に音程が高くな
ることがある。楽曲演奏に合わせて歌唱が行われるが、不慣れな歌唱者は、このサビ区間では音高の変化に追従することができず、1オクターブ下げて歌唱することがある。このとき、サビ区間が終了した後、再び元の音程に上げて歌唱を行っているが、サビ区間で変更した音程のまま歌唱を続ける場合も考えられる。
【0010】
図1で説明した従来の評価形式Aでは、サビ区間にて1オクターブ下げた音程は、正しい歌唱とは評価されず、特に、サビ区間で変更した音程のまま歌唱を続けた場合には、以後の歌唱は全て誤ったものと評価されてしまう。一方、従来の評価形式Bでは、サビ区間で1オクターブ下げた音程についても、音名が同じであれば正しい歌唱と評価され、聴感上、違和感がある歌唱に対して高い評価を与えてしまうこととなる。また、このような場合のみに限らず、例えば、歌唱開始直後においては、模範音程に対して、どのようなオクターブ関係で歌うのか迷う場合もある。
【0011】
本発明は、このような歌唱時におけるオクターブ異ならせて歌った場合を考慮した新たな歌唱評価方法を実現することを目的としている。
【課題を解決するための手段】
【0012】
そのため、本発明に係る歌唱評価装置は、楽曲情報を再生する楽曲再生手段と、歌唱を評価する歌唱評価処理を実行する制御手段と、を備える歌唱評価装置において、前記歌唱評価処理は、オクターブ判定処理と、比較処理を含み、前記オクターブ判定処理は、前記楽曲情報の再生に同期した模範音程情報と、入力音声情報から検出した歌唱音程情報との差である差分音程情報を抽出し、抽出した前記差分音程情報に基づいて歌唱オクターブを判定し、前記比較処理は、前記歌唱オクターブ分シフトさせた前記歌唱音程情報と前記模範音程情報とを比較する、もしくは、前記歌唱オクターブ分シフトさせた前記模範音程情報と前記歌唱音程情報とを比較することを特徴としている。
【0013】
さらに、本発明に係る歌唱評価装置において、前記オクターブ判定処理は、楽曲情報の再生期間中、特定の区間において実行することを特徴としている。
【0014】
さらに、本発明に係る歌唱評価装置において、前記オクターブ判定処理は、楽曲情報の再生期間中、複数の区間において実行することを特徴としている。
【0015】
さらに、本発明に係る歌唱評価装置において、前記複数の区間は、少なくとも1つの区間長が異なることを特徴としている。
【0016】
さらに、本発明に係る歌唱評価装置において、前記複数の区間において、前記楽曲情報の再生進行にしたがって、最初に出現する区間長が、後に出現する区間よりも短くなるように変化することを特徴としている。
【0017】
また、本発明に係る歌唱評価プログラムは、歌唱を評価する歌唱評価処理をコンピュータに実行させる歌唱評価プログラムにおいて、前記歌唱評価処理は、オクターブ判定処理と、比較処理を含み、前記オクターブ判定処理は、楽曲情報の再生に同期した模範音程情報と、入力音声情報から検出した歌唱音程情報との差である差分音程情報を抽出し、抽出した前記差分音程情報に基づいて歌唱オクターブを判定し、前記比較処理は、前記歌唱オクターブ分シフトさせた前記歌唱音程情報と前記模範音程情報とを比較する、もしくは、前記歌唱オクターブ分シフトさせた前記模範音程情報と前記歌唱音程情報とを比較することを特徴としている。
【発明の効果】
【0018】
本発明によれば、模範音程情報と歌唱音程情報の差にて歌唱オクターブを判定し、当該
、歌唱オクターブを比較処理に利用することで、新たな歌唱評価を実現することが可能となる。
【0019】
さらに、オクターブ判定処理は、楽曲再生中における特定区間にて実行されるものであってもよい。例えば、楽曲の盛り上がりであるサビ区間において、本発明の歌唱評価処理を実施することで、より精度の高い歌唱評価を実現することが可能となる。
【0020】
さらに、オクターブ判定処理は、楽曲再生中における複数区間にて実行されるものであってもよい。複数区間にてオクターブ判定処理を実行することで、さらに精度の高い歌唱評価を実現することが可能となる。
【0021】
さらに、オクターブ判定処理において、複数の区間は、少なくとも1つの区間長が異なることとしてもよい。複数の区間長を異ならせることで、楽曲の進行に適した歌唱評価を実行することが可能となる。
【0022】
さらに、複数の区間では、楽曲再生の進行に伴い、区間長の長さが長くなるように変化させることとしてもよい。歌唱開始直後における評価基準と、歌唱からある程度時間が経ったときの評価基準を異ならせた歌唱評価を実現できる。
【0023】
また、本発明の歌唱評価プログラムは、前述の歌唱評価装置の機能をプログラムにて提供することで、コンピュータ装置や、既存の音響機器に対しても歌唱評価機能を付加することが可能となる。
【図面の簡単な説明】
【0024】
【図1】従来の歌唱評価方法を説明するための図。
【図2】従来の模範音程と歌唱音程の比較を説明するための図。
【図3】本発明の実施形態に係るカラオケシステムの構成を示す図。
【図4】本発明の実施形態に係る歌唱評価処理を示すフロー図。
【図5】本発明の実施形態に係るオクターブ判定処理を示すフロー図。
【図6】本発明の実施形態に係る歌唱オクターブ判定テーブルを示す図。
【図7】本発明の実施形態に係る歌唱評価の行程を示す図。
【図8】本発明の実施形態に係る歌唱評価の行程を示す図。
【図9】本発明の実施形態に係る歌唱評価の行程を示す図。
【図10】本発明の実施形態に係るオクターブ判定区間と比較区間を示す図。
【図11】本発明の他の実施形態に係る歌唱評価処理を示すフロー図。
【図12】本発明の他の実施形態に係るオクターブ判定区間と比較区間を示す図。
【図13】本発明の他の実施形態に係るオクターブ判定区間と比較区間の形態を示す図。
【発明を実施するための形態】
【0025】
本発明に係る歌唱評価装置をカラオケシステムに実装した場合について説明する。図1は、実施形態に係るカラオケシステムの基本構成を示した図である。なお、歌唱評価機能をカラオケシステムにて機能させるプログラムとして提供することとしてもよい。
【0026】
メイン制御部104は、カラオケシステムの中核をなすコマンダ100を統括制御する。その主な機能としては、外部の通信網と通信を行う通信制御部102の制御、外部に配置されたディスプレイにカラオケの背景映像などの映像信号を出力する映像制御部103の制御、そして、音声制御部107に対する制御を実行する。
【0027】
音声制御部107は、音源部108と音声信号処理部200に対する制御を行う。音声
制御部107は、メイン制御部104からの指令に基づき、楽曲再生処理、並びに、本発明の特徴となる歌唱評価処理等を実行する。本発明でいう制御手段は、メイン制御部104、音声制御部107、音声信号処理部200などを含んで構成される。
【0028】
楽曲再生処理は、音源部108にて楽曲情報を再生させる処理である。入力部101にてユーザから指定された楽曲に対応する楽曲情報をハードディスク105、106から読み出して音源部108に再生させる。楽曲情報は、MIDIデータ、MPEG音声データ、歌詞データなどを含んで構成されている。また、楽曲情報には、再生進行に同期した模範音程情報が含まれており歌唱評価処理のために用いられる。なお、この模範音程情報は、歌唱を支援するためのガイドメロディとして音源部108にて再生されるものであってもよい。
【0029】
歌唱評価処理は、マイクロホン404から入力された歌唱者の入力音声信号を評価する処理であって、評価方法としては、得点の算出、ランク付け、視覚的に音程差を提示することなどが挙げられる。この歌唱評価処理は、マイクロホン404から入力される入力音声信号から歌唱音程情報を検出し、楽曲情報の再生進行に同期して読み出される模範音程情報と比較することで実行される。
【0030】
ミキシング部111では、音源部108にて再生された楽曲音信号と、音声信号処理部200から出力された入力音声信号を加算して加算信号を出力する。加算信号は、DA変換器112、プリアンプ113を経て外部に出力され、外部のアンプ401にてスピーカー402から放音される。
【0031】
本発明の歌唱評価処理について図4〜図10を用いて説明する。本実施形態の歌唱評価処理では、オクターブ判定処理と比較処理を主要な処理としている。歌唱評価処理には、この他にも音量評価など他の評価処理が含まれることとしてもよい。オクターブ判定処理は、楽曲再生中の所定の区間で実行され、当該区間における歌唱オクターブを判定する。なお、歌唱オクターブとは、模範音程情報に対するオクターブ差を示す情報である。
【0032】
比較処理では、この所定区間で判定された歌唱オクターブを利用して模範音程情報と、入力音声信号から検出した歌唱音程情報の比較が実行される。具体的には、歌唱オクターブ分シフトさせた歌唱音程情報と模範音程情報を比較した上で実行される。歌唱音程情報をシフトさせるのではなく、模範音程情報を歌唱オクターブ分シフトして比較することとしてもよい。なお、比較の手法としては、両者の差分をとって差分に基づいて得点を算出することであってもよいし、当該差分に基づいて歌唱ランクを決定することとしてもよい。また、両者をディスプレイ上でグラフ上に表示し、歌唱者に対しどの程度ずれているか認識させるなど各種の比較手法を採用することなども考えられる。
【0033】
図4は、歌唱評価処理の一連の処理を示すフロー図である。歌唱評価処理は、楽曲再生処理に同期して開始される。まず、音声制御部107のメモリなどに一時的に記憶していた模範音程情報、歌唱音程情報をクリアさせ、新たな情報の入力に備える(S102a)。次に、入力音声信号から歌唱音程情報が検出される。本実施形態では10msec分の入力音声信号に基づいて歌唱音程情報を検出している。歌唱音程情報の検出にあわせて楽曲再生に同期した模範音程情報とをメモリに一時記憶させる(S103a)。
【0034】
S104aでは、前回のオクターブ判定処理(S200a)から所定期間(A秒)経過下か否かが判定される。本実施形態では、この所定期間がオクターブ判定処理のための1区間となっている。さらにこの所定期間は、比較処理の区間と一致したものとなっている。なお、後ほど説明するが、オクターブ判定のための区間と比較処理のための区間とは必ずしも一致させる必要はない。
【0035】
オクターブ判定処理(S200a)について、図5のフロー図を用いて説明する。オクターブ判定処理が開始されると、まず、オクターブ判定区間(A秒間)における模範音程情報と歌唱音程情報の差分(差分音程情報)が算出される。図7には、歌唱時における模範音程情報と歌唱音程情報の一例が示されており、図8には、図7における差分音程情報算出の様子が模式的に示されている。
【0036】
算出された差分音程情報に基づいて、歌唱オクターブが判定される。まず、差分音程情報の平均値が算出され、歌唱オクターブ判定テーブルを参照することで、歌唱オクターブを判定している。図8の例では、差分音程情報の平均値は約−10音階となっている。図6に記載された歌唱オクターブ判定テーブルを参照すると、この場合、歌唱オクターブは−12音階と判定される。ここでは歌唱オクターブは音階数で示しているが、オクターブ数(この場合であれば−1オクターブ)で示されるものであってもよい。
【0037】
このように、本実施形態では、差分音程情報の平均値に基づいて歌唱オクターブを判定することとしている。歌唱オクターブの判定方法については、例えば、オクターブ判定区間での所定位置(先頭、末尾など)に基づいて判定することなど、適宜手法を採用することができる。
【0038】
判定された歌唱オクターブは、以後の比較処理に使用される。図4において、比較処理は、S105aとS106aの処理で構成されている。本実施形態では、歌唱音程情報をS200aで判定した歌唱オクターブ分シフトさせた上(S105a)で、シフトさせた歌唱音程情報と模範音程情報との比較(S106a)を実行することとしている。図9には、その様子が模式的に示されている。模範音程情報と破線で示されるシフト後の歌唱音程情報との間で比較が行われる。なお、ここでいうシフトとは、歌唱音程情報と模範音程情報が近づくように移動させることをいう。また、前述したように、模範音程情報をシフトさせることとしてもよい。
【0039】
S102a〜S106aの一連の処理は、楽曲再生が終了するまで継続し、楽曲再生終了時、あるいは、歌唱区間終了時に歌唱評価処理を終了する。以上の歌唱評価処理の流れについて図10を用いて説明する。図10は、歌唱評価処理におけるオクターブ判定区間と比較区間の関係を演奏の進行に沿って模式図である。歌唱評価処理は、歌唱区間が開始される時点、すなわち、最初に模範音程情報が登場した時点から開始されることとしている。図4のフロー図でも説明したように、オクターブ判定区間と比較区間は1対1、すなわち、判定された歌唱オクターブは、オクターブ判定区間と同じ区間である比較区間に対して利用される。このように、本実施形態では、オクターブ判定区間と比較区間を一致させることで、精度の高い比較処理を実現することが可能となっている。
【0040】
次に、他の実施形態について図11、図12を用いて説明を行う。図11は、本発明の他の実施形態に係る歌唱評価処理を示すフロー図である。また、図12は、本実施形態におけるオクターブ判定区間と比較区間の関係を演奏の進行に沿って模式図となっている。
【0041】
前述の実施形態では、オクターブ判定区間、並びに、比較区間の長さが所定長であったのに対し、本実施形態では、演奏の進行に伴って変化するものとなっている。このような形態を採用することで、例えば、歌唱の開始直後において、歌唱者が音程に迷う箇所では、短い区間でオクターブ判定を実行し、ある程度、演奏が経過した時点でオクターブ判定を長く取り、曲のサビなど、音程が高くなったときに歌えない状況を厳しく評価することが可能となる。
【0042】
そのため、本実施形態のフロー図は、S104b〜S106bの時間管理の点において
、図4のものと異なっている。ここでは、異なる処理について説明を行う。S104bでは、最初の模範音程登場、すなわち、歌唱区間の開始からT秒経過しているか否かが判定される。T秒経過していない場合には、S105bにて前回オクターブ判定からA秒経過したか否かが判定されることとなり、オクターブ判定区間長はA秒となる。一方、T秒経過したと判定された場合には、S106bにて前回オクターブ判定からB秒経過したかが判定されることとなり、オクターブ区間長はB秒となる。
【0043】
図12に示されるように、歌唱区間が開始されてからT秒経過する前後にて、オクターブ区間長は変化したものとなっている。なお、前実施形態と同様、オクターブ判定区間と比較区間は一致したものとなっている。本実施形態ではA秒、B秒、2つの時間長としたが、時間長はさらに複数種類設けることとしてもよい。また、区間長は、時間で設定するのみならず、小節数等、演奏の進行に同期した情報で設定されるものであってもよい。演奏の進行に同期した情報を採用することで、演奏速度を変更したときにも対応することが可能となる。こ区間長の設定の態様については、前述の実施形態を含む他の実施形態についても同様である。
【0044】
この実施形態以外にもオクターブ判定区間、比較区間は様々な形態を採用することができる。図13は、本発明の他の実施形態に係るオクターブ判定区間と比較区間を演奏の進行に沿って示した模式図である。
【0045】
図13(a)の実施形態では、オクターブ判定区間に対し比較区間がスライドした関係となっている。例えば、オクターブ判定区間a1で判定された歌唱オクターブは、次の区間a2にて利用される。このように、比較区間をスライドさせることで、歌唱オクターブの判定を待たずに、リアルタイムに比較を実行させることが可能となる。
【0046】
図13(b)は、演奏進行において特定の区間のみをオクターブ判定区間の対象としたものとなっている。例えば、図に示されるようにサビの区間c1、c2だけを対象とすることが考えられ、高い音高となりがちなサビ区間において、歌唱オクターブを固定することで、精度の高い評価を行うことが可能となる。このような実施形態は、楽曲情報に特定区間を示す情報を埋め込んでおくことで、各楽曲情報毎に異なる位置に対応することが可能である。なお、この図では、サビ区間以外の箇所において比較が実行されていないようにも見えるが、実際には、他の区間においても比較は実行される。この比較としては、図1にて説明した評価形式Aや評価形式Bのような従来のものなどを利用することが考えられる。
【0047】
図13(c)は、歌唱区間が開始されてから所定期間dのみがオクターブ判定区間となっている。このオクターブ判定区間にて判定された歌唱オクターブは、全歌唱区間にて利用される。この実施形態において、オクターブ判定区間と比較区間とを一致させたのが図13(d)の実施形態である。本実施形態では、全歌唱区間eをオクターブ判定区間の対象となっている。
【0048】
以上、詳細に説明した2つの実施形態、並びに、図13(a)〜(d)の実施形態は、可能な範囲において適宜組み合わせて利用することが可能である。
【0049】
なお、本発明はこれらの実施形態のみに限られるものではなく、それぞれの実施形態の構成を適宜組み合わせて構成した実施形態も本発明の範疇となるものである。
【符号の説明】
【0050】
100…コマンダ(カラオケ装置)、101…入力部、102…通信制御部、103…映像制御部、104…メイン制御部、105、106…ハードディスク、107…音声制御
部、108…音源部、109…マイクアンプ、110…AD変換器、111…ミキシング部、112…DA変換器、113…プリアンプ、200…音声信号処理部、401…アンプ、402…スピーカー、403…ディスプレイ装置、404…マイクロホン
【特許請求の範囲】
【請求項1】
楽曲情報を再生する楽曲再生手段と、
歌唱を評価する歌唱評価処理を実行する制御手段と、を備える歌唱評価装置において、
前記歌唱評価処理は、オクターブ判定処理と、比較処理を含み、
前記オクターブ判定処理は、前記楽曲情報の再生に同期した模範音程情報と、入力音声信号から検出した歌唱音程情報との差である差分音程情報を抽出し、抽出した前記差分音程情報に基づいて歌唱オクターブを判定し、
前記比較処理は、前記歌唱オクターブ分シフトさせた前記歌唱音程情報と前記模範音程情報とを比較する、もしくは、前記歌唱オクターブ分シフトさせた前記模範音程情報と前記歌唱音程情報とを比較することを特徴とする
歌唱評価装置。
【請求項2】
前記オクターブ判定処理は、楽曲情報の再生期間中、特定の区間において実行することを特徴とする
請求項1に記載の歌唱評価装置。
【請求項3】
前記オクターブ判定処理は、楽曲情報の再生期間中、複数の区間において実行することを特徴とする
請求項1に記載の歌唱評価装置。
【請求項4】
前記複数の区間は、少なくとも1つの区間長が異なることを特徴とする
請求項3に記載の歌唱評価装置。
【請求項5】
前記複数の区間において、前記楽曲情報の再生進行にしたがって、最初に出現する区間長が、後に出現する区間よりも短くなるように変化することを特徴とする
請求項4に記載の歌唱評価装置。
【請求項6】
歌唱を評価する歌唱評価処理をコンピュータに実行させる歌唱評価プログラムにおいて、
前記歌唱評価処理は、オクターブ判定処理と、比較処理を含み、
前記オクターブ判定処理は、楽曲情報の再生に同期した模範音程情報と、入力音声信号から検出した歌唱音程情報との差である差分音程情報を抽出し、抽出した前記差分音程情報に基づいて歌唱オクターブを判定し、
前記比較処理は、前記歌唱オクターブ分シフトさせた前記歌唱音程情報と前記模範音程情報とを比較する、もしくは、前記歌唱オクターブ分シフトさせた前記模範音程情報と前記歌唱音程情報とを比較することを特徴とする
歌唱評価プログラム。
【請求項1】
楽曲情報を再生する楽曲再生手段と、
歌唱を評価する歌唱評価処理を実行する制御手段と、を備える歌唱評価装置において、
前記歌唱評価処理は、オクターブ判定処理と、比較処理を含み、
前記オクターブ判定処理は、前記楽曲情報の再生に同期した模範音程情報と、入力音声信号から検出した歌唱音程情報との差である差分音程情報を抽出し、抽出した前記差分音程情報に基づいて歌唱オクターブを判定し、
前記比較処理は、前記歌唱オクターブ分シフトさせた前記歌唱音程情報と前記模範音程情報とを比較する、もしくは、前記歌唱オクターブ分シフトさせた前記模範音程情報と前記歌唱音程情報とを比較することを特徴とする
歌唱評価装置。
【請求項2】
前記オクターブ判定処理は、楽曲情報の再生期間中、特定の区間において実行することを特徴とする
請求項1に記載の歌唱評価装置。
【請求項3】
前記オクターブ判定処理は、楽曲情報の再生期間中、複数の区間において実行することを特徴とする
請求項1に記載の歌唱評価装置。
【請求項4】
前記複数の区間は、少なくとも1つの区間長が異なることを特徴とする
請求項3に記載の歌唱評価装置。
【請求項5】
前記複数の区間において、前記楽曲情報の再生進行にしたがって、最初に出現する区間長が、後に出現する区間よりも短くなるように変化することを特徴とする
請求項4に記載の歌唱評価装置。
【請求項6】
歌唱を評価する歌唱評価処理をコンピュータに実行させる歌唱評価プログラムにおいて、
前記歌唱評価処理は、オクターブ判定処理と、比較処理を含み、
前記オクターブ判定処理は、楽曲情報の再生に同期した模範音程情報と、入力音声信号から検出した歌唱音程情報との差である差分音程情報を抽出し、抽出した前記差分音程情報に基づいて歌唱オクターブを判定し、
前記比較処理は、前記歌唱オクターブ分シフトさせた前記歌唱音程情報と前記模範音程情報とを比較する、もしくは、前記歌唱オクターブ分シフトさせた前記模範音程情報と前記歌唱音程情報とを比較することを特徴とする
歌唱評価プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2012−37565(P2012−37565A)
【公開日】平成24年2月23日(2012.2.23)
【国際特許分類】
【出願番号】特願2010−174580(P2010−174580)
【出願日】平成22年8月3日(2010.8.3)
【出願人】(000005267)ブラザー工業株式会社 (13,856)
【Fターム(参考)】
【公開日】平成24年2月23日(2012.2.23)
【国際特許分類】
【出願日】平成22年8月3日(2010.8.3)
【出願人】(000005267)ブラザー工業株式会社 (13,856)
【Fターム(参考)】
[ Back to top ]