歌唱支援装置
【課題】歌唱者が特定の評価を受けた音と同じ特徴を持つ音が再出するタイミングを事前に歌唱者に伝えること。
【解決手段】画像e1は、特定された評価期間が開始する時刻t0から時間T1前の時刻t1となったときに、進行方向r1において時刻t1が規定された位置に表示される。画像e1は、過去の歌唱音声において音高がずれていた音がもうすぐ現れることを歌唱者に伝えるための画像である。画像e2は、「半音高めに」という文字列を示し、進行方向r1において評価期間x18が規定されている位置に表示されている。画像e2は、歌唱者にとって苦手な音が登場するタイミングと、その際歌唱者が実行すべき歌い方とを伝えるための画像である。カラオケ装置は、これらの画像を複数表示させる場合に、強調すべき画像ほど立体的に飛び出させて表示させることで、どの画像に注意すればよいかを歌唱者に分かりやすく伝えることができる。
【解決手段】画像e1は、特定された評価期間が開始する時刻t0から時間T1前の時刻t1となったときに、進行方向r1において時刻t1が規定された位置に表示される。画像e1は、過去の歌唱音声において音高がずれていた音がもうすぐ現れることを歌唱者に伝えるための画像である。画像e2は、「半音高めに」という文字列を示し、進行方向r1において評価期間x18が規定されている位置に表示されている。画像e2は、歌唱者にとって苦手な音が登場するタイミングと、その際歌唱者が実行すべき歌い方とを伝えるための画像である。カラオケ装置は、これらの画像を複数表示させる場合に、強調すべき画像ほど立体的に飛び出させて表示させることで、どの画像に注意すればよいかを歌唱者に分かりやすく伝えることができる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、歌唱者の歌唱を支援する技術に関する。
【背景技術】
【0002】
従来より、カラオケなどで歌唱者が歌唱した音声(歌唱音声)を歌唱すべき基準と比較して評価し、その結果を画像で表示させる技術が知られている。特許文献1には、立体画像を、歌唱音声の音高が歌唱すべき音高よりも高いほど大きく飛び出させて表示し、低いほど大きく引っ込ませて表示させることで、その楽曲で歌唱すべき音高に対して自分の歌唱音声の音高がどのくらいずれているかを歌唱者に認識させる技術が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平10−011080号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、歌唱者にとって、歌唱音声の評価が低いこと、例えば、歌唱音声の音高が歌唱すべき基準の音高とずれたことを認識しても、同じ音高の音の歌唱を曲中に改善することは難しい。それは、音高がずれたときに歌唱すべきであった基準の音高と同じ音高の音が次にいつ登場するのか知らなかったり、知っていたとしても歌いながらそのタイミングを図るのが難しかったりするからである。
本発明は、このような事情に鑑みてなされたもので、その目的の1つは、歌唱者が特定の評価を受けた音と同じ特徴を持つ音が再出するタイミングを事前に歌唱者に伝えることである。
【課題を解決するための手段】
【0005】
上述の課題を解決するため、本発明は、楽曲を示す楽曲データと、前記楽曲の歌唱すべき位置を指定する位置指定データと、前記楽曲における各音に対応する期間のそれぞれに対応付けられた基準を示すリファレンスデータとを記憶する記憶手段と、前記楽曲の進行に従って前記楽曲データ、前記位置指定データおよび前記リファレンスデータを読み出す読出手段と、収音手段から供給されるオーディオ信号が示す歌唱音声と、読み出された前記リファレンスデータが示す基準とを比較した結果に応じた評価値を算出する第1算出手段と、前記第1算出手段により算出された評価値が予め定められた条件を満たす期間である場合に、当該期間に後続する期間であって、当該期間と共通する特徴を持つ期間を特定する特定手段と、前記特定手段により特定された期間を当該期間が開始するより前に報知する報知手段とを備えることを特徴とする歌唱支援装置を提供する。
【0006】
また、別の好ましい態様において、前記第1算出手段が算出した評価値に応じて評価点を算出する第2算出手段と、前記特定手段により特定された期間において前記第1算出手段が算出した評価値と、前記特定手段が当該期間を特定する際用いた前記評価値との差に応じて、前記第2算出手段により算出された評価点を変更する変更手段とを備えることを特徴とする。
【0007】
また、別の好ましい態様において、前記報知手段は、表示手段と前記表示手段を制御する表示制御手段を有し、前記表示制御手段は、前記第1算出手段により算出された評価値をパラメータとし、当該パラメータに応じた画像を、前記特定手段により当該評価値を用いて特定された期間が開始するより前に前記表示手段に表示させることを特徴とする。
【0008】
また、別の好ましい態様において、前記報知手段は、表示手段と前記表示手段を制御する表示制御手段を有し、前記表示制御手段は、前記特定手段により特定された期間において前記第1算出手段が算出した評価値と、前記特定手段が当該期間を特定する際用いた前記評価値との差をパラメータとし、当該パラメータに応じた画像を表示させることを特徴とする。
【0009】
また、別の好ましい態様において、前記第1算出手段は、前記歌唱音声と、互いに種類が異なる複数の前記基準のそれぞれとを比較した結果に応じた評価値を算出し、
前記特定手段は、複数の当該基準のそれぞれについて前記期間を特定し、
前記報知手段は、表示手段と前記表示手段を制御する表示制御手段を有し、前記特定手段により特定された期間に対応付けられた基準と種類が共通する基準と比較して前記第1算出手段により算出された評価値をパラメータとし、当該パラメータに応じた画像を表示させることを特徴とする。
【0010】
また、別の好ましい態様において、前記表示手段は、画像を立体的な立体画像として表示することが可能であり、前記表示制御手段は、前記画像を前記表示手段に立体的に表示させることを特徴とする。
【0011】
また、別の好ましい態様において、前記表示制御手段は、前記画像を、前記パラメータに応じて前記立体画像の態様を変えて前記表示手段に表示させることを特徴とする。
【発明の効果】
【0012】
本発明によれば、歌唱者が特定の評価を受けた音と同じ特徴を持つ音が再出するタイミングを事前に歌唱者に伝えることが可能になる。
【図面の簡単な説明】
【0013】
【図1】実施形態に係るカラオケ装置の全体構成を示すブロック図である。
【図2】カラオケ装置の制御部の機能的構成を示すブロック図である。
【図3】ディスプレイに表示される画面の一例を示す図である。
【図4】歌唱音声から算出された評価値又は平均値を音高毎に示す表である。
【図5A】評価値に応じて表示される画像の一例を示す図である。
【図5B】評価値に応じて表示される画像の一例を示す図である。
【図5C】評価値に応じて表示される画像の一例を示す図である。
【図6】評価値に応じて表示される画像の例を示す図である。
【図7】評価点を加点する処理で動作する機能の機能ブロック図を示す図である。
【図8】変形例に係る評価値に応じて表示される画像の例を示す図である。
【発明を実施するための形態】
【0014】
[実施形態]
以下、本発明の実施形態について図面を参照して説明する。
図1は、カラオケ装置1の全体構成を示すブロック図である。カラオケ装置1は、例えばカラオケ店などに設置され、いわゆるカラオケの機能を利用者に提供すると共に、利用者(歌唱者)が歌唱した音声(歌唱音声)を評価し、その評価に基づいて歌唱を支援する装置であり、本発明に係る「歌唱支援装置」の一例に相当する。カラオケ装置1は、制御部10と、操作部21と、音響処理部22と、収音部23と、放音部24と、立体画像表示部25と、記憶部30とを備えている。
制御部10は、CPU(Central Processing Unit)とメモリとを備えている。CPUは、メモリに記憶されているプログラムを実行することにより、カラオケ装置1の各部を制御する。メモリは、ROM(Read Only Memory)とRAM(Random Access Memory)とを備えており、CPUによって用いられるプログラムやデータを記憶する。
操作部21は、複数の操作ボタンを備えており、利用者が操作した内容を示す操作データを制御部10に供給する。
収音部23は、マイクロホン等の収音手段であり、歌唱者が発した歌唱音声が入力され、歌唱音声を示すオーディオ信号を音響処理部22に出力する。
放音部24は、スピーカー等の放音手段であり、音響処理部22から出力されるオーディオ信号を放音する。
音響処理部22は、DSP(Digital Signal Processor)などの信号処理回路、MIDI(Musical Instrument Digital Interface)形式の信号からオーディオ信号を生成する音源などを有する。音響処理部22は、収音部23から入力されるオーディオ信号をA/D変換して制御部10に出力する。音響処理部22は、制御部10からMIDI形式のデータが入力され、そのデータに基づいてオーディオ信号を生成する。音響処理部22は、このように生成したオーディオ信号、制御部10から出力されたオーディオ信号、収音部23から入力されたオーディオ信号などを、エフェクト処理、増幅処理などの信号処理を施してから放音部24に出力する。
立体画像表示部25は、画像を立体的に表した立体画像として表示することが可能なディスプレイを備えており、制御部10から供給される立体画像を示す画像データに応じた立体画像を表示する。なお、ここでいう画像は、画像を動かして表現された映像(動画)を含む概念である。立体画像表示部25は、本発明に係る「表示手段」の一例に相当する。
【0015】
記憶部30は、ハードディスクを備えており、楽曲データベース310と画像素材データベース320とを記憶している。楽曲データベース310には、カラオケで再生される楽曲に関するデータが記録されており、詳細には、伴奏データ311とリファレンスデータ312と歌詞データ313とが記録されている。
伴奏データ311は、楽曲を示すデータであり、楽曲の伴奏パートを示している。伴奏データ311は、例えば、MIDI形式により記述されている。伴奏データ311には、その伴奏が再生されたときに時間的な再生位置を示す再生時刻データが付随する。再生時刻データは、その時間的な位置を、伴奏データ311の再生が開始された時刻を起点とした経過時間(以下「再生経過時間」という。)で示す。伴奏データ311は、本発明に係る「楽曲データ」の一例に相当する。
リファレンスデータ312は、歌唱すべき基準を示すデータであり、例えば、MIDI形式により記述されている。詳細には、リファレンスデータ312は、楽曲における各音の期間のそれぞれに対応付けられた基準となる音高(以下「基準音高」という。)を示す。これら各音の期間は、上記再生経過時間に対応付けて示され、詳細には、その開始と終了とが、再生経過時間で示される。これらの期間は、歌唱音声を評価するために用いられる期間(以下「評価期間」という。)である。
歌詞データ313は、楽曲の歌詞の内容を示すデータ、および立体画像表示部25に表示させた歌詞テロップを色替えするためのタイミングを示すデータを有する。
画像素材データベース320には、歌唱中に立体画像表示部25により表示される画像の素材を表す画像データが記録されており、詳細には、文字、符号、マーク又は図形等の画像を表す画像データが記録されている。
【0016】
次に、このようなハードウェア構成において、制御部10が機能プログラムを実行したときに構築される機能ブロックについて、図2を参照して説明する。
図2は、制御部10の機能的構成を示すブロック図である。制御部10は、再生部111と、第1算出部112と、第2算出部113と、特定部114と、試算部115と、画像生成部116と、表示制御部117とを有する。
再生部111は、操作部21から楽曲の再生を指示する操作データが供給されると、その楽曲の伴奏データ311を再生するとともに、楽曲の進行に従って再生経過時間に対応する伴奏データ311及びリファレンスデータ312を読み出す。そして、再生部111は、伴奏データ311を音響処理部22に供給して伴奏音を放音させ、歌詞データ313を表示制御部117に供給して歌詞を表示させる。再生部111は、伴奏音の放音と歌詞の表示とが同期するようにこれらのデータを供給する。また、再生部111は、伴奏データ311を再生している間、読み出した伴奏データ311に付随する再生時刻データ及びリファレンスデータ312を、周期的に第1算出部112、第2算出部113、画像生成部116及び表示制御部117に供給する。再生部111は、本発明に係る「読出手段」の一例に相当する。
【0017】
第1算出部112は、歌唱者の歌唱音声を、基準音高と比較した結果に応じた評価値を算出する手段であり、詳細には、以下のとおり動作する。第1算出部112は、図1に示した収音部23から音響処理部22を介して供給されたオーディオ信号が表す歌唱音声の音高と、再生部111により読み出されて供給されたリファレンスデータ312が示す基準音高とを比較し、その差の値を例えばセント値で算出する。第1算出部112は、この差の値を、歌唱音声の音高が基準音高よりも低ければ正の値、高ければ負の値で算出する。第1算出部112は、この差の値を、リファレンスデータ312が再生部111から供給される度に算出する。そして、第1算出部112は、評価期間に算出された差の値を平均したものを評価値として算出する。第1算出部112は、算出した評価値を示すデータを、第2算出部113に供給する。また、第1算出部112は、算出した評価値を示すデータと、この評価値を算出する際歌唱音声と比較した基準音高を示すデータとを特定部114及び試算部115に供給する。
【0018】
第2算出部113は、供給されたデータが示す評価値が第1閾値以上である場合に、評価点の基礎となる点数から減じる(減点する)処理を実行する。第2算出部113は、伴奏データ311の再生が終了するまでこの処理を行い、その結果の点数を最終的な評価点として算出する。このように、評価点は、評価値の値が大きいほど、すなわち、音高が基準音高から離れるほど、また、減点される評価期間が多いほど、すなわち、評価値が第1閾値以上となる回数が多いほど、低くなる。なお、第1閾値は、歌唱音声と構成音の音声との音高のずれを許容する程度を示す値であり、例えば、歌唱を厳しく評価する場合に小さくし、優しく評価する場合に大きくすれば良い。第2算出部113は、伴奏の再生が終わると、すなわち、再生時刻データが供給されなくなると、算出した評価点を示すデータを、画像生成部116に供給する。
【0019】
特定部114は、第1算出部112により今後評価値が算出された結果評価点を低くしそうな評価期間を特定する手段である。詳細には、特定部114は、次のように動作する。まず、特定部114は、供給されたデータが示す評価値が、第2閾値以上であるか否かを判断する。この際、特定部114は、この評価値が算出される際に歌唱音声と比較された基準音高と音高が共通する基準音高とについて算出された評価値が過去にあれば、それらを含めた平均値が第2閾値以上であるか否かを判断する。この第2閾値は、第1閾値よりも大きい値であり、歌唱音声の音高が基準音高に対して大きくずれていた音、すなわち、歌唱者が基準音高に沿って上手に歌えなかった音を判定するための値である。第2閾値も、第1閾値同様、歌唱を厳しく評価する場合に小さくし、優しく評価する場合に大きくすれば良い。特定部114は、上記いずれかの値が第2閾値以上であると判断した場合、リファレンスデータ312が示す評価期間のうち、評価値を示すデータと共に供給されたデータが示す基準音高に対応付けられた評価期間に後続する評価期間であって、この評価期間と共通する基準音高を持つ評価期間を特定する。特定部114は、特定した評価期間を示すデータ(例えば、評価期間が開始する再生経過時間及び終了する再生経過時間を示すデータ)を試算部115及び画像生成部116に供給する。
【0020】
試算部115は、特定部114が特定した評価期間における歌唱音声を第1閾値未満とするために必要な音声の出し方を試算する。詳細には、試算部115は、第1算出部112により算出された評価値が正の値であれば、すなわち、基準音高よりも歌唱音声の音高が低かったのであれば、例えばこの歌唱音声を“半音高く”したと仮定し、この仮定の下評価値を試算する。この仮定は、歌唱音声の音高を高低のいずれにするかということと、その程度(半音又は1音等)とで表される。そして、試算部115は、試算した評価値が第1閾値未満となっていれば、この試算で仮定した内容(「半音高く」)を示すデータを画像生成部116に供給する。また、試算部115は、試算した評価値が第1閾値以上であれば、歌唱音声を“1音高く”したと仮定して試算し、これを第1閾値未満の評価値が試算されるまで繰り返す。試算部115は、第1閾値未満の評価値が試算されたときに仮定した内容を示すデータを、画像生成部116に供給する。この仮定した内容は、歌唱音声と基準音高とが相違する程度を表し、評価値に応じて定められる。
【0021】
画像生成部116は、特定部114からデータが供給された場合、このデータが示す評価期間に応じた画像を示す画像データを画像素材データベース320から読み出し、試算部115からデータが供給された場合、このデータが示す仮定の内容に応じた画像を示す画像データを画像素材データベース320から読み出す。ここでいう仮定の内容に応じた画像とは、評価値に応じた画像でもある。つまり、評価値は、画像を生成するためのパラメータとして用いられ、本発明に係る「パラメータ」の一例に相当する。そして、それぞれの場合において、画像生成部116は、供給される再生時刻データが示す再生経過時間に応じてこれらの画像を編集又は合成等した画像データを生成し、生成した画像データを表示制御部117に供給する。ここで生成される画像の具体例は、後述する。
表示制御部117は、立体画像表示部25を制御して、画像生成部116から供給された画像データが表す画像を、供給される再生時刻データが示す再生経過時間に応じて上述したディスプレイに表示させる。例えば、表示制御部117は、上述した評価期間に応じた画像であれば、その評価期間が開始するより前に表示させる。各画像が表示されるタイミングについては、後述する。
なお、画像生成部116は、第2算出部113からデータが供給された場合、このデータが示す評価点に応じた画像を示す画像データを生成し、表示制御部117は、この画像データが示す画像をディスプレイに表示させる。これにより、算出された評価点が歌唱者に伝えられる。
【0022】
以上の各部の動作により図1に示す立体画像表示部25のディスプレイに表示される画像について説明する。
図3は、ディスプレイに表示される画面の一例を示す図である。歌詞テロップaは、歌詞を表す文字列を示した画像である。歌詞テロップaは、図1に示した伴奏データ311のうち現時点までに再生された部分に対応する歌詞を表す文字列が白抜きの文字から黒い文字に変化する(色替えする)ことで、現在歌唱すべき位置が分かるように表示されている。この例では、文字列「ABCDE」が色替えされ、文字列「F」の色替えが途中まで進んだ画像が表示され、現在「F」という部分を歌唱すべきであることが示されている。
基準画像bは、上述した歌唱音声の基準音高を示す画像であり、詳細には、各構成音の基準音高とその評価期間を表す棒状の画像である。基準画像bは、五線譜に重ねて表示されており、この五線譜は、各線に沿った矢印r1が示す方向に時刻が規定されている。この方向は、五線譜に規定された時刻が進行する方向であり、以下では、「進行方向r1」という。基準画像bは、この五線譜のどこに表示されているかによって基準音高を表し、進行方向r1の長さによって評価期間を表す。基準画像bは、図1に示したリファレンスデータ312が示す基準音高とこれに対応付けられた評価期間とに基づき表示される。図3では、b1からb10まで10個の基準画像bが表示されており、それぞれx1からx10までの評価期間を表している。
歌唱結果線cは、歌唱音声の音高の軌跡を示す線が、基準画像bと共に表示された五線譜に重ねて示されたものであり、以下の図において、二点鎖線で示されている。詳細には、歌唱結果線cは、図1に示した収音部23から出力されたオーディオ信号により表される音声の音高と、それが供給されたときの時刻とが上記五線譜において示す点を順番に結んだ線である。
【0023】
図4は、図3の歌唱結果線cで示される歌唱音声から算出された評価値又は平均値を音高毎に示す表である。図4については、図3も参照しながら説明する。この表では、音高が「C」から「G」まで表されている。また、本実施形態では、第1閾値を20、第2閾値を80とし、この表では、各音高における評価値と各閾値との関係が表されている。
音高「C」は、基準画像b1が示す基準音高であり、この基準音高と評価期間x1における歌唱結果線cが示す音高とが比較された結果、評価値が「35」と算出されている。この場合、評価値が第1閾値以上であるため、評価点は減点される一方、評価値が第2閾値未満であるため、評価期間は特定されない。音高「D」は、基準画像b2及びb4が示す基準音高である。この場合、この基準音高と評価期間x2、x4における歌唱結果線cが示す音高とが比較された結果、評価値がそれぞれ「5」、「25」と算出され、その平均値が「15」と算出されている。この場合、平均値が第1閾値未満であるため、評価点の減点も評価期間の特定もされない。また、音高「E」は、基準画像b3が示す基準音高であり、この基準音高と評価期間x3における歌唱結果線cが示す音高とが比較された結果、評価値が「95」と算出されている。この場合、評価値が第2閾値以上であるため、評価点が減点され、評価期間も特定される。音高「F」は、図3においてまだ評価値が算出されていない基準音高である。音高「G」は、基準画像b5が示す基準音高であり、この基準音高と評価期間x5における歌唱結果線cが示す音高とが比較された結果、評価値が「0」と算出されている。この場合、評価値が第1閾値未満であるため、評価点の減点も評価期間の特定もされない。
以上のとおり算出された評価値に応じて表示される画像について、図5A、図5B、図5Cを参照しながら説明する。
【0024】
図5A、図5B、図5Cは、それぞれ、算出された評価値に応じて表示される画像の一例を示す図である。これらの画像が表示された画面では、図3、図4において算出された評価値が第2閾値以上であった評価期間x3における基準音高と音高が共通する基準音高(つまり、音高が「E」の基準音高)が、基準画像b18により示されている。基準画像b18は、この基準音高に対応付けられた評価期間x18を示している。評価期間x18は、時刻t0に開始する。
図5Aでは、評価期間x18の開始(時刻t0)から時間T1前の時刻t1に表示される画面が示されている。この画面では、歌詞を示す文字列のうち、「KL」が色替えされて表示されている。
画像e1は、「注意!」という文字列を枠で囲った画像であり、上述した特定部114から供給されたデータが示す評価期間に応じて表示される画像である。詳細には、画像e1は、この評価期間が開始する時刻t0から時間T1前の時刻t1となったときに、進行方向r1において時刻t1が規定された位置に表示される。画像e1は、過去の歌唱音声において音高がずれていた音、すなわち、注意して歌唱しなければならない音(注意すべき音)がもうすぐ現れることを歌唱者に伝えるための画像である。
【0025】
画像e2は、上述した試算部115から供給されたデータが示す仮定の内容に応じて表示される画像であり、この例では、「半音高く」という仮定の内容に応じた「半音高めに」という文字列を示す画像である。つまり、画像e2は、歌唱音声の音高と基準音高とが相違する程度に応じて表示される画像である。また、画像e2は、上述した特定部114から供給されたデータが示す評価期間に応じて表示される画像であり、この例では、進行方向r1において評価期間x18が規定されている位置に表示されている。画像e2は、歌唱者にとって基準音高どおりに歌唱するのが苦手な音が登場するタイミング、すなわち、歌唱音声が低く評価されそうなタイミング(評価期間x18が開始する時刻t0)と、その際歌唱者が実行すべき歌い方(半音高くして歌うこと)とを伝えるための画像である。画像e1、e2が表示されることで、今までよりも半音高めに歌うべき音(注意すべき音)がもうすぐ現れることを歌唱者が気づき易くすることができる。
なお、時間T1は、歌唱者が音高がずれていた音を歌唱するための準備をするための時間であり、どのタイミングでどのように歌唱すれば良いかを歌唱者が理解して、歌いながらそのタイミングを計るだけの長さであることが望ましい。
【0026】
図5Bでは、時刻t0の前の時刻t2に表示された画面が示されている。時刻t2は、評価期間x18の前の評価期間x17が開始する時刻である。この画面では、歌詞を示す文字列のうち、「KLMNOP」が色替えされて表示されている。画像e3は、注意すべき音が次の音であることを伝えるための画像であり、時刻t2に表示される「次です!」という文字列を示す画像である。画像e3が表示されることで、歌唱者は、注意すべき音を発するタイミングをその音の直前に掴むことができる。
図5Cでは、時刻t0に表示された画面が示されている。この画面では、歌詞を示す文字列のうち、「KLMNOPQ」が色替えされて表示されている。画像e4は、今が注意すべき音であることを伝えるための画像であり、時刻t0に表示される「今です!」という文字列を示す画像である。つまり、画像e4は、注意すべき音を発するべきタイミングに表示されるため、歌唱者は、このタイミングを目で見て確かめることができる。以上のとおり、カラオケ装置1は、画像e1、e2、e3、e4を表示させることで、図2に示す特定部114により特定された評価期間をこの評価期間が開始するより前に歌唱者に報知する。これらの画像は、図2に示す画像生成部116、表示制御部117及び立体画像表示部25が協働することで表示され、これらの各部は、本発明に係る「報知手段」として機能する。
【0027】
図6は、評価値が算出された結果に応じた画像の例を示す図である。図6(a)では、「!」という記号を示す画像f1が示されている。画像f1のような記号を表示することで、文字列を表示するよりもより短い時間で歌唱者に注意を喚起することができる。
図6(b)では、ブロック矢印の白抜きされた部分に「半音」という文字列を示した画像f2と、同じく「1音」という文字列を示した画像f3とが示されている。画像f2は、矢印の指す方向が鉛直方向上方に向くように表示されることで、「半音高く」という仮定の内容を示す。画像f3は、矢印の指す方向が鉛直方向下方に向くように表示されることで、「半音低く」という仮定の内容を示す。
図6(c)では、「ビブラートがんばれ!」という文字列を、波線と共に示した画像f4と、画像f4の波線の間隔を密にした画像f5とが示されている。これらの波線は、ビブラートで震えさせた音の振動を表したものであり、ビブラートさせる音の振幅及び波長をそれぞれ表している。なお、振幅及び波長は、厳密に表されていなくとも良く、“多いか少ないか”といった程度で伝えられれば良い。図6(b)、(c)に示すように、図形又は絵柄で伝えたい内容を示すことで、文字列で示すよりも、短時間でその内容を歌唱者に伝えることができる。
図6(d)では、図5A、図5B、図5Cに示す画像e2を、立体的に飛び出して見えるように表示した画像f6、f7、f8を示している。図6(d)では、直交するx軸、y軸、z軸で方向を示し、ディスプレイの左右方向をx軸方向、上下方向をy軸方向、ディスプレイの表示面に対する垂直方向をz軸方向として示した。また、図6(d)では、各画像が立体的に飛び出して見える程度を、立体でない画像との矢印zが示す方向のずれz6、z7、z8(z6<z7<z8)によって示し、このずれが大きいほど立体的に飛び出して見えているものとした。これらの画像は、注意すべき音を発するタイミングが近づくに連れて、画像f6、f7、f8の順番に表示される。これにより、歌唱者は、図5A、図5B、図5Cに示す画像e1、e3、e4が表示されなくとも、時刻t0が近づいてくるタイミングを知ることができる。なお、図6(d)では、画像全体が飛び出して見えるように表示されているが、文字列の部分だけを飛び出させてもよいし、また、時間の経過と共に1文字ずつ順番に飛び出させてもよい。
図6に示したこれらの画像は、本発明に係る「パラメータに応じた画像」の一例にそれぞれ相当する。また、図6(d)に示した各画像は、「パラメータに応じて立体画像の態様を変えて」表示された本発明に係る「画像」の一例にそれぞれ相当する。
【0028】
[変形例]
上述した実施形態は、本発明の実施の一例に過ぎず、次のように種々の応用・変形が可能であり、また、必要に応じて組み合わせることも可能である。
【0029】
(変形例1)
本発明に係るカラオケ装置の制御部は、開始のタイミングが表示された評価期間において算出された評価値が、この評価期間を特定する際用いた評価値(又はそれらの平均値)よりも小さくなっている場合、この歌唱音声の評価をさらに高めても良い。例えば、制御部は、この場合に、評価点に予め定められた点数を加点しても良い。
図7は、本変形例に係る制御部10aが評価点を加点する処理において動作する機能の機能ブロック図を示す図である。以下では、上述した実施形態と異なる点を中心に説明する。制御部10aは、第1算出部112aと、第2算出部113aと、特定部114aと、画像生成部116と、変更部118とを有する。第1算出部112aは、算出した評価値を示すデータと、この評価値を算出した際歌唱音声と比較した基準音高を示すデータとを変更部118に供給する。第2算出部113aは、算出した評価点を変更部118に供給する。特定部114aは、特定した評価期間を示すデータを変更部118に供給する。
変更部118は、特定部114aにより特定された評価期間において第1算出部112aが算出した評価値と、特定部114aがこの評価期間を特定する際用いた評価値との差に応じて、評価点を変更する。例えば、第1算出部112aが図3に示す評価期間x3において評価値を算出し、特定部114aは、評価期間x3の基準音高と音高が共通する基準音高に対応付けられた評価期間x18を特定する。変更部118は、評価期間x3において算出された評価値(説明の便宜上、「第1評価値」という。)に比べて、特定された評価期間x18において第1算出部112aにより算出された評価値(同様に、「第2評価値」という。)が小さい場合、評価点に予め定められた値を加算する(加点する)。変更部118は、こうして変更した評価点を示すデータを、画像生成部116に供給する。そして、画像生成部116以降の各部が動作して、このデータが示す評価点を表す画像がディスプレイに表示される。
【0030】
これにより、歌唱者は、表示された評価期間において上手く歌唱することで、効率よく評価点を向上させることができ、また、過去の歌唱音声による減点を取り返すことができる。そして、カラオケ装置は、表示する画像が評価点を向上させる効果を高めることで、上記評価点の変更をしない場合に比べて、この画像に対してより多く注意を歌唱者に払わせることができる。なお、本変形例において、評価値が反対に大きくなっている場合は、歌唱音声の評価をさらに低くしても良く、例えば、評価点から予め定められた点数を減じても良い。これにより、カラオケ装置は、表示する画像に注意していないと余計に減点することで、この画像に対する歌唱者の注意をより引きつけることができる。なお、上述した実施形態では、評価点が大きいほど上手に歌えたことを示したが、評価点が小さいほど上手に歌えたことを示しても良く、その場合、変更部118は、評価点に加点する代わりに減点すれば良い。いずれの場合も、変更部118は、上記第1評価値及び第2評価値の差に応じて、評価点を変更すればよい。
【0031】
(変形例2)
上述した変形例1に示す場合おいて、第2評価値が第1評価値よりも小さい場合、つまり、歌唱音声の音高のずれが改善された場合に、そのことを伝えるための画像を表示させても良い。例えば、カラオケ装置は、この場合に、図5Cに示す画像e2、e4を縮小させたり、反対に拡大させたりしても良い。また、カラオケ装置は、この場合に、これらの画像とは別に、音高のずれが改善されたことを伝えるための画像(例えば、「上手く歌えました」という文字列など)を表示させても良い。これにより、歌唱者は、例えば画像e2に示される内容(「半音高めに」)に従って歌うことで、評価点が向上したことを確認することができる。なお、上述した実施形態では、評価値が小さいほど上手に歌えたことを示したが、評価値が大きいほど上手に歌えたことを示しても良く、その場合、カラオケ装置は、第2評価値が第1評価値よりも大きい場合に、そのことを伝えるための画像を表示させれば良い。いずれの場合も、カラオケ装置は、上記第1評価値及び第2評価値の差に応じた画像を表示させれば良い。つまり、ここでいう「差」は、画像を生成するためのパラメータとして用いられ、本発明に係る「パラメータ」の一例に相当する。
【0032】
(変形例3)
本発明に係るカラオケ装置の制御部は、音高に限らず、様々な種類の基準を用いても良い。例えば、制御部は、音量又は音長等を基準として用いても良いし、「ビブラート」又は「フォール」等の歌唱技法を基準として用いても良い。
「ビブラート」を基準として用いる場合であれば、制御部は、予め定められた時間よりも長い評価期間(以下「ビブラート期間」という。)において、そのビブラート期間に対応付けられた基準音高よりも高い音高と低い音高とを歌唱音声が繰り返した場合に、ビブラートがされたものとして評価値を算出する。詳細には、制御部は、この繰り返しの周期及び振幅が、各々に対して予め定められた値と近いほど、評価値を小さく算出する。そして、制御部は、ビブラート期間にビブラートがない(つまり、繰り返しがない)、又はビブラートが下手であった(つまり、算出した評価値が第2閾値以上であった)場合、次に現れるビブラート期間の直前において「ビブラートに注意」などの表示をすると良い。なお、制御部は、ビブラートを評価する処理に、例えば、特開2008−268369号公報に記載されている技術など周知の技術を用いてもよい。
また、「フォール」を基準として用いる場合であれば、制御部は、予め定められたフォールすべき評価期間(以下「フォール期間」という。)において、そのフォール期間に対応付けられた基準音高よりも予め定められたセント値以上高い音高から基準音高まで歌唱音声の音高が変化した場合に、フォールがされたものとして評価値を算出する。この場合、制御部は、音高の変化が大きいほど、評価値を小さく算出すればよい。そして、制御部は、次に現れるフォール期間の直前において「フォールさせましょう」などの表示をすると良い。なお、制御部は、フォールを評価する処理に、例えば、特開2008−225115号公報に記載されている技術など周知の技術を用いてもよい。
【0033】
(変形例4)
本発明に係るカラオケ装置の制御部は、ある評価期間において算出した評価値が第2閾値以上である場合に、その評価値を算出する際比較された基準(上述した実施形態では音高)とは異なる種類の基準を用いて評価期間を特定しても良い。また、制御部は、評価期間の長さ、又は評価期間に対応する基準とその直前の評価期間に対応する基準との差、等を用いて評価期間を特定しても良い。ここで用いられる基準、長さ及び差等は、いずれも、評価期間に対応して決められているものであり、評価期間の特徴を表すという点で共通している。つまり、制御部は、評価値が第2閾値以上である場合に、この評価値を算出した評価期間と共通する特徴を持つ評価期間を特定する。
例えば、評価期間の長さがある長さ未満であるか、その長さ以上であるかがその評価期間の特徴であるものとする。つまり、評価期間は、この特徴により、短いものと長いものとに分けられる。この場合、制御部は、算出した評価値が第2閾値以上である場合、例えばこの評価値を算出した評価期間が長いものであれば、この評価期間に後続する期間であって、上述したある長さ以上の評価期間、すなわち、評価値を算出した評価期間と共通する特徴を持つ評価期間を特定する。これにより、制御部は、例えば評価期間が長い、つまり、音長が長い音だと基準音高どおり上手く歌唱できない歌唱者に対して、「音長が長い」音が現れることをその音に対応する期間が開始するより前に伝えることができる。
【0034】
(変形例5)
本発明に係るカラオケ装置の制御部は、同じ特徴を持つ評価期間の評価値が複数算出された場合、上述した実施形態においては、それらの平均値が第2閾値以上である場合に評価期間を特定したが、算出した評価値が第2閾値以上であればその度に評価期間を特定しても良い。また、制御部は、算出した評価値のうち最も値が大きいものが第2閾値以上であれば常に評価期間を特定しても良いし、この場合に、さらに、算出した評価値が第1閾値未満であった場合には、その後は評価期間を常に特定するという動作を止めても良い。いずれの場合も、制御部は、算出した評価値が予め定められた条件を満たす場合に評価期間を特定する。
【0035】
(変形例6)
本発明に係るカラオケ装置の制御部は、歌唱音声に対して、これらの互いに種類が異なる複数の基準を並行してそれぞれ比較して複数の評価点を算出しても良い。なお、複数の評価値が算出された結果、異なる種類の基準毎に異なる評価期間が特定された場合は、制御部は、それぞれの評価期間に応じた画像をディスプレイに表示させれば良い。その際、制御部は、算出された評価値が小さい種類の基準により特定された評価期間ほど強調して表示させても良く、例えば、立体的に大きく飛び出して見えるように表示させても良い。これにより、歌唱者は、より評価値が低かった基準の種類を知ることができ、評価点を向上させるために効果的な種類の基準を改善することに注力することができる。なお、制御部は、上記の例で立体的に大きく飛び出して見えるように表示させる代わりに、立体的に大きく引っ込んで見えるように表示させても良く、いずれの場合も、算出されたそれぞれの評価値に応じて立体画像の態様を変えて表示させれば良い。これらの評価値は、本発明に係る「パラメータ」の一例にそれぞれ相当する。なお、ここでいう立体画像の態様は、ディスプレイの表示面の垂直方向における画像全体の位置を異ならせて表されても良いし、画像が表す立体物のその方向における起伏の大きさを異ならせて表されても良い。
【0036】
(変形例7)
本発明に係るカラオケ装置においては、立体画像の態様を、様々に変えて表示させても良い。例えば、カラオケ装置は、立体的に飛び出して見えるように表示した画像を、さらに、ディスプレイの左右方向(x軸方向)又は上下方向(y軸方向)に大きさ又は位置をずらしてディスプレイに表示させてもよい。以下、図6(d)に示した画像f6を例にとって説明する。
図8は、本変形例に係る評価値に応じて表示される画像の例を示す図である。図8(a)では、立体でない画像とのz軸方向の距離がz6、z9、z10(z6<z9<z10)と変化するのに伴い、x軸方向の長さ及びy軸方向の長さが変化する画像f6、f9、f10を示している。画像f6、f9、f10は、x軸方向の長さがそれぞれx6、x9、x10(x6<x9<x10)であり、y軸方向の長さがそれぞれy6、y9、y10(y6<y9<y10である。これらの画像は、時間の経過と共に飛び出して見えると共に、文字が大きく表示される。これにより、カラオケ装置は、歌唱者がこれらの画像に気付きやすくし、かつ、文字列を大きく表示しない場合に比べて、これらの画像が伝えている内容(つまり文字列)を認識しやすくすることができる。
図8(b)では、立体でない画像とのz軸方向の距離がz6、z11、z12(z6<z11<z12)と変化するのに伴い、x軸方向の位置及びy軸方向の位置が変化する画像f6、f11、f12を示している。画像f11は、立体でない画像に対してz軸方向に距離z11ずれると共に、x軸方向の正の方向に距離x11ずれ、かつ、y軸方向の負の方向に距離y11ずれた画像である。また、画像f12は、立体でない画像に対してz軸方向に距離z12ずれると共に、x軸方向の負の方向に距離y12ずれ、かつ、y軸方向の正の方向に距離y12ずれた画像である。これらの画像は、時間の経過と共に飛び出して見えると共に、ディスプレイの斜めの方向に揺れているように表示される。これにより、カラオケ装置は、x軸方向及びy軸方向の位置を変化させない場合に比べて、歌唱者がこれらの画像に気付きやすくすることができる。
【0037】
(変形例8)
本発明においては、評価値を、様々な方法で算出しても良い。第1算出部112は、上述した実施形態では、評価期間に算出された上述した差の値を平均したものを評価値として算出したが、例えば、これらの値を合計して算出しても良いし、これらの値のうち、第1閾値以上であったものの割合を評価値として算出しても良い。いずれの場合も、第1算出部112は、上述した実施形態において比較した歌唱音声の音高と、基準音高とを比較した結果に応じた評価値を算出すれば良い。
【0038】
(変形例9)
本発明においては、評価値を算出する際比較される歌唱音声の基準の種類を、利用者が選択できるようにしても良い。例えば、カラオケ装置は、比較可能な歌唱音声の基準の種類をディスプレイに表示させ、操作部の操作により選択された種類について、リファレンスデータが示す基準と歌唱音声とを比較して評価値を算出すれば良い。これにより、歌唱者は、自分が練習したい基準の種類を選択して、その基準どおりに歌唱するのが苦手な音が登場するタイミングを確認しながら練習することができる。
【0039】
(変形例10)
本発明に係るカラオケ装置は、歌唱者が歌唱すべき時刻又は歌唱すべき位置を、伴奏音に限らず、画像等で指定しても良い。例えば、上述した実施形態においては、図3に示したように、歌詞テロップaの色を変化させて色が変化する境目を現在歌唱すべき位置として指定しているので、歌唱者は、伴奏音がなくとも歌唱すべき位置を知ることができる。また、これに限らず、図3に示した五線譜に、現在再生されているところを示すマークを表示させ、矢印r1の方向に移動させて歌唱すべき位置を指定しても良い。上述した実施形態に係る「再生時刻データ」、「歌詞データ313」及び本変形例に係るマークを表示させるデータは、いずれも、再生されると楽曲の歌唱すべき位置を指定するデータであり、本発明に係る「位置指定データ」の一例に相当する。
【0040】
(変形例11)
本発明に係る制御部は、上述した実施形態において説明した方法に限らず、様々な方法で評価点を算出しても良い。例えば、制御部が算出した評価値が第1閾値以下である場合に2点、第2閾値以下である場合に1点加点し、その合計を評価点とするというように、加点式で算出しても良い。また、評価期間を、各構成音の長さとしたが、これとは異なる期間としても良く、例えば、1秒や2秒といった一定の時間、1拍、2拍といった期間、あるいは1小節、1フレーズといった期間を評価期間としても良いし、評価期間の長さをユーザが操作部21の操作などにより設定できるようにしても良い。
【0041】
(変形例12)
本発明に係る制御部は、上述した実施形態において説明した方法に限らず、様々な方法で評価期間を特定しても良い。例えば、制御部は、上述した実施形態では、評価値が、第2閾値以上である場合に評価期間を特定したが、第1閾値以上である場合、それ以外の値以上である場合、又は第1閾値以上第2閾値未満の場合等、様々な範囲にある場合としても良い。また、制御部は、第2閾値又は第1閾値よりも小さい場合に特定しても良い。この場合、特定された評価期間は、歌唱音声の音高が基準音高に近かった音、すなわち、歌唱者が基準音高に沿って上手に歌えた音と同じ音高の音を歌唱する期間である。よって、制御部は、歌唱者が上手に歌えたことを示す画像(例えば「この音はバッチリでした」又は「あなたの十八番ですね」等の文字列や似顔絵などの画像)を表示させればよい。これにより、歌唱者は、自分が上手く歌えた音を歌唱するタイミングを知ることができ、今までと同じように歌唱することを意識して準備することができる。上述したいずれの場合においても、制御部は、評価値が予め定められた条件を満たす場合に、評価期間を特定すれば良い。これにより、カラオケ装置は、歌唱音声が評価された結果を参考にして歌唱することができるタイミングを歌唱者に歌唱中に伝えることができる。
【0042】
(変形例13)
本発明に係るカラオケ装置は、上述した実施形態においては、立体画像を表示する手段(立体画像表示部25)を備えていたが、これに限らず、2次元の画像を表示する手段、例えば、2次元画像を表示可能なディスプレイを有する画像表示部を備えていても良い。この画像表示部は、本発明に係る「表示手段」の一例に相当する。この場合、画像生成部は、図6(d)に示すような立体的に飛び出して見える画像を、遠近法を用いて2次元の画像で生成すれば良い。また、本発明においては、立体的に見える画像は表示せずに、平面的に表現された画像だけを表示させても良く、この場合、大きさ、色又は形状を変化させることで、その画像の歌唱者への気付かせやすさを調整すれば良い。例えば、上述した注意すべき音が現れるタイミングが近づくに連れて、小さい画像から大きい画像に変化させたり、画像の色を無彩色から有彩色に変化させたりすれば良い。
【0043】
(変形例14)
本発明に係るプログラムは、光ディスク等の記録媒体に記録した形態で提供されたり、インターネット等のネットワークを介して、コンピュータにダウンロードさせ、これをインストールして利用可能にするなどの形態で提供されたりすることも可能である。
【0044】
(変形例15)
上述した実施形態においては、歌唱者に注意を喚起する表示を注意すべき音の1音前にしたが、これに代えて、2音前や1拍というようにしてもよい。要するに歌唱者が注意すべき音のタイミングを掴みやすいように適宜設定すればよい。また、次の小節やフレーズに注意すべき音が含まれている場合に、その小節の開始時や、その小節の一つ前の小節の終了時において注意喚起の表示をしてもよい。さらに、「何小節名の何番目の音が注意すべき音です。」や「サビの最初の音が注意すべき音です」などの旨を示す文字や画像などを表示してもよい。
【0045】
(変形例16)
上述した実施形態においては、表示装置に注意喚起の表示をしたが、これに代えて、注意喚起すべきタイミングで、音響処理部22を制御して放音部24から音を発したり、さらに、図1に破線で示すように振動部40を設け、注意喚起すべきタイミングで振動部40を振動させて歌唱者に報知するようにしたりしてもよい。なお、振動部40は収音部23の筐体に内蔵させてもよい。また、画像と音とを組み合わせて、これらを同時に歌唱者に報知するようにしてもよい。この場合、カラオケ装置1は、立体画像表示部25及び振動部40等の複数の装置を同時に、又は連続的に動作させて、歌唱者に報知すればよい。
【符号の説明】
【0046】
1…カラオケ装置、10、10a…制御部、21…操作部、22…音響処理部、23…収音部、24…放音部、25…立体画像表示部、30…記憶部、40…振動部、111…再生部、112、112a…第1算出部、113、113a…第2算出部、114、114a…特定部、115…試算部、116…画像生成部、117…表示制御部、118…変更部、310…楽曲データベース、311…伴奏データ、312…リファレンスデータ、313…歌詞データ、320…画像素材データベース
【技術分野】
【0001】
本発明は、歌唱者の歌唱を支援する技術に関する。
【背景技術】
【0002】
従来より、カラオケなどで歌唱者が歌唱した音声(歌唱音声)を歌唱すべき基準と比較して評価し、その結果を画像で表示させる技術が知られている。特許文献1には、立体画像を、歌唱音声の音高が歌唱すべき音高よりも高いほど大きく飛び出させて表示し、低いほど大きく引っ込ませて表示させることで、その楽曲で歌唱すべき音高に対して自分の歌唱音声の音高がどのくらいずれているかを歌唱者に認識させる技術が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平10−011080号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、歌唱者にとって、歌唱音声の評価が低いこと、例えば、歌唱音声の音高が歌唱すべき基準の音高とずれたことを認識しても、同じ音高の音の歌唱を曲中に改善することは難しい。それは、音高がずれたときに歌唱すべきであった基準の音高と同じ音高の音が次にいつ登場するのか知らなかったり、知っていたとしても歌いながらそのタイミングを図るのが難しかったりするからである。
本発明は、このような事情に鑑みてなされたもので、その目的の1つは、歌唱者が特定の評価を受けた音と同じ特徴を持つ音が再出するタイミングを事前に歌唱者に伝えることである。
【課題を解決するための手段】
【0005】
上述の課題を解決するため、本発明は、楽曲を示す楽曲データと、前記楽曲の歌唱すべき位置を指定する位置指定データと、前記楽曲における各音に対応する期間のそれぞれに対応付けられた基準を示すリファレンスデータとを記憶する記憶手段と、前記楽曲の進行に従って前記楽曲データ、前記位置指定データおよび前記リファレンスデータを読み出す読出手段と、収音手段から供給されるオーディオ信号が示す歌唱音声と、読み出された前記リファレンスデータが示す基準とを比較した結果に応じた評価値を算出する第1算出手段と、前記第1算出手段により算出された評価値が予め定められた条件を満たす期間である場合に、当該期間に後続する期間であって、当該期間と共通する特徴を持つ期間を特定する特定手段と、前記特定手段により特定された期間を当該期間が開始するより前に報知する報知手段とを備えることを特徴とする歌唱支援装置を提供する。
【0006】
また、別の好ましい態様において、前記第1算出手段が算出した評価値に応じて評価点を算出する第2算出手段と、前記特定手段により特定された期間において前記第1算出手段が算出した評価値と、前記特定手段が当該期間を特定する際用いた前記評価値との差に応じて、前記第2算出手段により算出された評価点を変更する変更手段とを備えることを特徴とする。
【0007】
また、別の好ましい態様において、前記報知手段は、表示手段と前記表示手段を制御する表示制御手段を有し、前記表示制御手段は、前記第1算出手段により算出された評価値をパラメータとし、当該パラメータに応じた画像を、前記特定手段により当該評価値を用いて特定された期間が開始するより前に前記表示手段に表示させることを特徴とする。
【0008】
また、別の好ましい態様において、前記報知手段は、表示手段と前記表示手段を制御する表示制御手段を有し、前記表示制御手段は、前記特定手段により特定された期間において前記第1算出手段が算出した評価値と、前記特定手段が当該期間を特定する際用いた前記評価値との差をパラメータとし、当該パラメータに応じた画像を表示させることを特徴とする。
【0009】
また、別の好ましい態様において、前記第1算出手段は、前記歌唱音声と、互いに種類が異なる複数の前記基準のそれぞれとを比較した結果に応じた評価値を算出し、
前記特定手段は、複数の当該基準のそれぞれについて前記期間を特定し、
前記報知手段は、表示手段と前記表示手段を制御する表示制御手段を有し、前記特定手段により特定された期間に対応付けられた基準と種類が共通する基準と比較して前記第1算出手段により算出された評価値をパラメータとし、当該パラメータに応じた画像を表示させることを特徴とする。
【0010】
また、別の好ましい態様において、前記表示手段は、画像を立体的な立体画像として表示することが可能であり、前記表示制御手段は、前記画像を前記表示手段に立体的に表示させることを特徴とする。
【0011】
また、別の好ましい態様において、前記表示制御手段は、前記画像を、前記パラメータに応じて前記立体画像の態様を変えて前記表示手段に表示させることを特徴とする。
【発明の効果】
【0012】
本発明によれば、歌唱者が特定の評価を受けた音と同じ特徴を持つ音が再出するタイミングを事前に歌唱者に伝えることが可能になる。
【図面の簡単な説明】
【0013】
【図1】実施形態に係るカラオケ装置の全体構成を示すブロック図である。
【図2】カラオケ装置の制御部の機能的構成を示すブロック図である。
【図3】ディスプレイに表示される画面の一例を示す図である。
【図4】歌唱音声から算出された評価値又は平均値を音高毎に示す表である。
【図5A】評価値に応じて表示される画像の一例を示す図である。
【図5B】評価値に応じて表示される画像の一例を示す図である。
【図5C】評価値に応じて表示される画像の一例を示す図である。
【図6】評価値に応じて表示される画像の例を示す図である。
【図7】評価点を加点する処理で動作する機能の機能ブロック図を示す図である。
【図8】変形例に係る評価値に応じて表示される画像の例を示す図である。
【発明を実施するための形態】
【0014】
[実施形態]
以下、本発明の実施形態について図面を参照して説明する。
図1は、カラオケ装置1の全体構成を示すブロック図である。カラオケ装置1は、例えばカラオケ店などに設置され、いわゆるカラオケの機能を利用者に提供すると共に、利用者(歌唱者)が歌唱した音声(歌唱音声)を評価し、その評価に基づいて歌唱を支援する装置であり、本発明に係る「歌唱支援装置」の一例に相当する。カラオケ装置1は、制御部10と、操作部21と、音響処理部22と、収音部23と、放音部24と、立体画像表示部25と、記憶部30とを備えている。
制御部10は、CPU(Central Processing Unit)とメモリとを備えている。CPUは、メモリに記憶されているプログラムを実行することにより、カラオケ装置1の各部を制御する。メモリは、ROM(Read Only Memory)とRAM(Random Access Memory)とを備えており、CPUによって用いられるプログラムやデータを記憶する。
操作部21は、複数の操作ボタンを備えており、利用者が操作した内容を示す操作データを制御部10に供給する。
収音部23は、マイクロホン等の収音手段であり、歌唱者が発した歌唱音声が入力され、歌唱音声を示すオーディオ信号を音響処理部22に出力する。
放音部24は、スピーカー等の放音手段であり、音響処理部22から出力されるオーディオ信号を放音する。
音響処理部22は、DSP(Digital Signal Processor)などの信号処理回路、MIDI(Musical Instrument Digital Interface)形式の信号からオーディオ信号を生成する音源などを有する。音響処理部22は、収音部23から入力されるオーディオ信号をA/D変換して制御部10に出力する。音響処理部22は、制御部10からMIDI形式のデータが入力され、そのデータに基づいてオーディオ信号を生成する。音響処理部22は、このように生成したオーディオ信号、制御部10から出力されたオーディオ信号、収音部23から入力されたオーディオ信号などを、エフェクト処理、増幅処理などの信号処理を施してから放音部24に出力する。
立体画像表示部25は、画像を立体的に表した立体画像として表示することが可能なディスプレイを備えており、制御部10から供給される立体画像を示す画像データに応じた立体画像を表示する。なお、ここでいう画像は、画像を動かして表現された映像(動画)を含む概念である。立体画像表示部25は、本発明に係る「表示手段」の一例に相当する。
【0015】
記憶部30は、ハードディスクを備えており、楽曲データベース310と画像素材データベース320とを記憶している。楽曲データベース310には、カラオケで再生される楽曲に関するデータが記録されており、詳細には、伴奏データ311とリファレンスデータ312と歌詞データ313とが記録されている。
伴奏データ311は、楽曲を示すデータであり、楽曲の伴奏パートを示している。伴奏データ311は、例えば、MIDI形式により記述されている。伴奏データ311には、その伴奏が再生されたときに時間的な再生位置を示す再生時刻データが付随する。再生時刻データは、その時間的な位置を、伴奏データ311の再生が開始された時刻を起点とした経過時間(以下「再生経過時間」という。)で示す。伴奏データ311は、本発明に係る「楽曲データ」の一例に相当する。
リファレンスデータ312は、歌唱すべき基準を示すデータであり、例えば、MIDI形式により記述されている。詳細には、リファレンスデータ312は、楽曲における各音の期間のそれぞれに対応付けられた基準となる音高(以下「基準音高」という。)を示す。これら各音の期間は、上記再生経過時間に対応付けて示され、詳細には、その開始と終了とが、再生経過時間で示される。これらの期間は、歌唱音声を評価するために用いられる期間(以下「評価期間」という。)である。
歌詞データ313は、楽曲の歌詞の内容を示すデータ、および立体画像表示部25に表示させた歌詞テロップを色替えするためのタイミングを示すデータを有する。
画像素材データベース320には、歌唱中に立体画像表示部25により表示される画像の素材を表す画像データが記録されており、詳細には、文字、符号、マーク又は図形等の画像を表す画像データが記録されている。
【0016】
次に、このようなハードウェア構成において、制御部10が機能プログラムを実行したときに構築される機能ブロックについて、図2を参照して説明する。
図2は、制御部10の機能的構成を示すブロック図である。制御部10は、再生部111と、第1算出部112と、第2算出部113と、特定部114と、試算部115と、画像生成部116と、表示制御部117とを有する。
再生部111は、操作部21から楽曲の再生を指示する操作データが供給されると、その楽曲の伴奏データ311を再生するとともに、楽曲の進行に従って再生経過時間に対応する伴奏データ311及びリファレンスデータ312を読み出す。そして、再生部111は、伴奏データ311を音響処理部22に供給して伴奏音を放音させ、歌詞データ313を表示制御部117に供給して歌詞を表示させる。再生部111は、伴奏音の放音と歌詞の表示とが同期するようにこれらのデータを供給する。また、再生部111は、伴奏データ311を再生している間、読み出した伴奏データ311に付随する再生時刻データ及びリファレンスデータ312を、周期的に第1算出部112、第2算出部113、画像生成部116及び表示制御部117に供給する。再生部111は、本発明に係る「読出手段」の一例に相当する。
【0017】
第1算出部112は、歌唱者の歌唱音声を、基準音高と比較した結果に応じた評価値を算出する手段であり、詳細には、以下のとおり動作する。第1算出部112は、図1に示した収音部23から音響処理部22を介して供給されたオーディオ信号が表す歌唱音声の音高と、再生部111により読み出されて供給されたリファレンスデータ312が示す基準音高とを比較し、その差の値を例えばセント値で算出する。第1算出部112は、この差の値を、歌唱音声の音高が基準音高よりも低ければ正の値、高ければ負の値で算出する。第1算出部112は、この差の値を、リファレンスデータ312が再生部111から供給される度に算出する。そして、第1算出部112は、評価期間に算出された差の値を平均したものを評価値として算出する。第1算出部112は、算出した評価値を示すデータを、第2算出部113に供給する。また、第1算出部112は、算出した評価値を示すデータと、この評価値を算出する際歌唱音声と比較した基準音高を示すデータとを特定部114及び試算部115に供給する。
【0018】
第2算出部113は、供給されたデータが示す評価値が第1閾値以上である場合に、評価点の基礎となる点数から減じる(減点する)処理を実行する。第2算出部113は、伴奏データ311の再生が終了するまでこの処理を行い、その結果の点数を最終的な評価点として算出する。このように、評価点は、評価値の値が大きいほど、すなわち、音高が基準音高から離れるほど、また、減点される評価期間が多いほど、すなわち、評価値が第1閾値以上となる回数が多いほど、低くなる。なお、第1閾値は、歌唱音声と構成音の音声との音高のずれを許容する程度を示す値であり、例えば、歌唱を厳しく評価する場合に小さくし、優しく評価する場合に大きくすれば良い。第2算出部113は、伴奏の再生が終わると、すなわち、再生時刻データが供給されなくなると、算出した評価点を示すデータを、画像生成部116に供給する。
【0019】
特定部114は、第1算出部112により今後評価値が算出された結果評価点を低くしそうな評価期間を特定する手段である。詳細には、特定部114は、次のように動作する。まず、特定部114は、供給されたデータが示す評価値が、第2閾値以上であるか否かを判断する。この際、特定部114は、この評価値が算出される際に歌唱音声と比較された基準音高と音高が共通する基準音高とについて算出された評価値が過去にあれば、それらを含めた平均値が第2閾値以上であるか否かを判断する。この第2閾値は、第1閾値よりも大きい値であり、歌唱音声の音高が基準音高に対して大きくずれていた音、すなわち、歌唱者が基準音高に沿って上手に歌えなかった音を判定するための値である。第2閾値も、第1閾値同様、歌唱を厳しく評価する場合に小さくし、優しく評価する場合に大きくすれば良い。特定部114は、上記いずれかの値が第2閾値以上であると判断した場合、リファレンスデータ312が示す評価期間のうち、評価値を示すデータと共に供給されたデータが示す基準音高に対応付けられた評価期間に後続する評価期間であって、この評価期間と共通する基準音高を持つ評価期間を特定する。特定部114は、特定した評価期間を示すデータ(例えば、評価期間が開始する再生経過時間及び終了する再生経過時間を示すデータ)を試算部115及び画像生成部116に供給する。
【0020】
試算部115は、特定部114が特定した評価期間における歌唱音声を第1閾値未満とするために必要な音声の出し方を試算する。詳細には、試算部115は、第1算出部112により算出された評価値が正の値であれば、すなわち、基準音高よりも歌唱音声の音高が低かったのであれば、例えばこの歌唱音声を“半音高く”したと仮定し、この仮定の下評価値を試算する。この仮定は、歌唱音声の音高を高低のいずれにするかということと、その程度(半音又は1音等)とで表される。そして、試算部115は、試算した評価値が第1閾値未満となっていれば、この試算で仮定した内容(「半音高く」)を示すデータを画像生成部116に供給する。また、試算部115は、試算した評価値が第1閾値以上であれば、歌唱音声を“1音高く”したと仮定して試算し、これを第1閾値未満の評価値が試算されるまで繰り返す。試算部115は、第1閾値未満の評価値が試算されたときに仮定した内容を示すデータを、画像生成部116に供給する。この仮定した内容は、歌唱音声と基準音高とが相違する程度を表し、評価値に応じて定められる。
【0021】
画像生成部116は、特定部114からデータが供給された場合、このデータが示す評価期間に応じた画像を示す画像データを画像素材データベース320から読み出し、試算部115からデータが供給された場合、このデータが示す仮定の内容に応じた画像を示す画像データを画像素材データベース320から読み出す。ここでいう仮定の内容に応じた画像とは、評価値に応じた画像でもある。つまり、評価値は、画像を生成するためのパラメータとして用いられ、本発明に係る「パラメータ」の一例に相当する。そして、それぞれの場合において、画像生成部116は、供給される再生時刻データが示す再生経過時間に応じてこれらの画像を編集又は合成等した画像データを生成し、生成した画像データを表示制御部117に供給する。ここで生成される画像の具体例は、後述する。
表示制御部117は、立体画像表示部25を制御して、画像生成部116から供給された画像データが表す画像を、供給される再生時刻データが示す再生経過時間に応じて上述したディスプレイに表示させる。例えば、表示制御部117は、上述した評価期間に応じた画像であれば、その評価期間が開始するより前に表示させる。各画像が表示されるタイミングについては、後述する。
なお、画像生成部116は、第2算出部113からデータが供給された場合、このデータが示す評価点に応じた画像を示す画像データを生成し、表示制御部117は、この画像データが示す画像をディスプレイに表示させる。これにより、算出された評価点が歌唱者に伝えられる。
【0022】
以上の各部の動作により図1に示す立体画像表示部25のディスプレイに表示される画像について説明する。
図3は、ディスプレイに表示される画面の一例を示す図である。歌詞テロップaは、歌詞を表す文字列を示した画像である。歌詞テロップaは、図1に示した伴奏データ311のうち現時点までに再生された部分に対応する歌詞を表す文字列が白抜きの文字から黒い文字に変化する(色替えする)ことで、現在歌唱すべき位置が分かるように表示されている。この例では、文字列「ABCDE」が色替えされ、文字列「F」の色替えが途中まで進んだ画像が表示され、現在「F」という部分を歌唱すべきであることが示されている。
基準画像bは、上述した歌唱音声の基準音高を示す画像であり、詳細には、各構成音の基準音高とその評価期間を表す棒状の画像である。基準画像bは、五線譜に重ねて表示されており、この五線譜は、各線に沿った矢印r1が示す方向に時刻が規定されている。この方向は、五線譜に規定された時刻が進行する方向であり、以下では、「進行方向r1」という。基準画像bは、この五線譜のどこに表示されているかによって基準音高を表し、進行方向r1の長さによって評価期間を表す。基準画像bは、図1に示したリファレンスデータ312が示す基準音高とこれに対応付けられた評価期間とに基づき表示される。図3では、b1からb10まで10個の基準画像bが表示されており、それぞれx1からx10までの評価期間を表している。
歌唱結果線cは、歌唱音声の音高の軌跡を示す線が、基準画像bと共に表示された五線譜に重ねて示されたものであり、以下の図において、二点鎖線で示されている。詳細には、歌唱結果線cは、図1に示した収音部23から出力されたオーディオ信号により表される音声の音高と、それが供給されたときの時刻とが上記五線譜において示す点を順番に結んだ線である。
【0023】
図4は、図3の歌唱結果線cで示される歌唱音声から算出された評価値又は平均値を音高毎に示す表である。図4については、図3も参照しながら説明する。この表では、音高が「C」から「G」まで表されている。また、本実施形態では、第1閾値を20、第2閾値を80とし、この表では、各音高における評価値と各閾値との関係が表されている。
音高「C」は、基準画像b1が示す基準音高であり、この基準音高と評価期間x1における歌唱結果線cが示す音高とが比較された結果、評価値が「35」と算出されている。この場合、評価値が第1閾値以上であるため、評価点は減点される一方、評価値が第2閾値未満であるため、評価期間は特定されない。音高「D」は、基準画像b2及びb4が示す基準音高である。この場合、この基準音高と評価期間x2、x4における歌唱結果線cが示す音高とが比較された結果、評価値がそれぞれ「5」、「25」と算出され、その平均値が「15」と算出されている。この場合、平均値が第1閾値未満であるため、評価点の減点も評価期間の特定もされない。また、音高「E」は、基準画像b3が示す基準音高であり、この基準音高と評価期間x3における歌唱結果線cが示す音高とが比較された結果、評価値が「95」と算出されている。この場合、評価値が第2閾値以上であるため、評価点が減点され、評価期間も特定される。音高「F」は、図3においてまだ評価値が算出されていない基準音高である。音高「G」は、基準画像b5が示す基準音高であり、この基準音高と評価期間x5における歌唱結果線cが示す音高とが比較された結果、評価値が「0」と算出されている。この場合、評価値が第1閾値未満であるため、評価点の減点も評価期間の特定もされない。
以上のとおり算出された評価値に応じて表示される画像について、図5A、図5B、図5Cを参照しながら説明する。
【0024】
図5A、図5B、図5Cは、それぞれ、算出された評価値に応じて表示される画像の一例を示す図である。これらの画像が表示された画面では、図3、図4において算出された評価値が第2閾値以上であった評価期間x3における基準音高と音高が共通する基準音高(つまり、音高が「E」の基準音高)が、基準画像b18により示されている。基準画像b18は、この基準音高に対応付けられた評価期間x18を示している。評価期間x18は、時刻t0に開始する。
図5Aでは、評価期間x18の開始(時刻t0)から時間T1前の時刻t1に表示される画面が示されている。この画面では、歌詞を示す文字列のうち、「KL」が色替えされて表示されている。
画像e1は、「注意!」という文字列を枠で囲った画像であり、上述した特定部114から供給されたデータが示す評価期間に応じて表示される画像である。詳細には、画像e1は、この評価期間が開始する時刻t0から時間T1前の時刻t1となったときに、進行方向r1において時刻t1が規定された位置に表示される。画像e1は、過去の歌唱音声において音高がずれていた音、すなわち、注意して歌唱しなければならない音(注意すべき音)がもうすぐ現れることを歌唱者に伝えるための画像である。
【0025】
画像e2は、上述した試算部115から供給されたデータが示す仮定の内容に応じて表示される画像であり、この例では、「半音高く」という仮定の内容に応じた「半音高めに」という文字列を示す画像である。つまり、画像e2は、歌唱音声の音高と基準音高とが相違する程度に応じて表示される画像である。また、画像e2は、上述した特定部114から供給されたデータが示す評価期間に応じて表示される画像であり、この例では、進行方向r1において評価期間x18が規定されている位置に表示されている。画像e2は、歌唱者にとって基準音高どおりに歌唱するのが苦手な音が登場するタイミング、すなわち、歌唱音声が低く評価されそうなタイミング(評価期間x18が開始する時刻t0)と、その際歌唱者が実行すべき歌い方(半音高くして歌うこと)とを伝えるための画像である。画像e1、e2が表示されることで、今までよりも半音高めに歌うべき音(注意すべき音)がもうすぐ現れることを歌唱者が気づき易くすることができる。
なお、時間T1は、歌唱者が音高がずれていた音を歌唱するための準備をするための時間であり、どのタイミングでどのように歌唱すれば良いかを歌唱者が理解して、歌いながらそのタイミングを計るだけの長さであることが望ましい。
【0026】
図5Bでは、時刻t0の前の時刻t2に表示された画面が示されている。時刻t2は、評価期間x18の前の評価期間x17が開始する時刻である。この画面では、歌詞を示す文字列のうち、「KLMNOP」が色替えされて表示されている。画像e3は、注意すべき音が次の音であることを伝えるための画像であり、時刻t2に表示される「次です!」という文字列を示す画像である。画像e3が表示されることで、歌唱者は、注意すべき音を発するタイミングをその音の直前に掴むことができる。
図5Cでは、時刻t0に表示された画面が示されている。この画面では、歌詞を示す文字列のうち、「KLMNOPQ」が色替えされて表示されている。画像e4は、今が注意すべき音であることを伝えるための画像であり、時刻t0に表示される「今です!」という文字列を示す画像である。つまり、画像e4は、注意すべき音を発するべきタイミングに表示されるため、歌唱者は、このタイミングを目で見て確かめることができる。以上のとおり、カラオケ装置1は、画像e1、e2、e3、e4を表示させることで、図2に示す特定部114により特定された評価期間をこの評価期間が開始するより前に歌唱者に報知する。これらの画像は、図2に示す画像生成部116、表示制御部117及び立体画像表示部25が協働することで表示され、これらの各部は、本発明に係る「報知手段」として機能する。
【0027】
図6は、評価値が算出された結果に応じた画像の例を示す図である。図6(a)では、「!」という記号を示す画像f1が示されている。画像f1のような記号を表示することで、文字列を表示するよりもより短い時間で歌唱者に注意を喚起することができる。
図6(b)では、ブロック矢印の白抜きされた部分に「半音」という文字列を示した画像f2と、同じく「1音」という文字列を示した画像f3とが示されている。画像f2は、矢印の指す方向が鉛直方向上方に向くように表示されることで、「半音高く」という仮定の内容を示す。画像f3は、矢印の指す方向が鉛直方向下方に向くように表示されることで、「半音低く」という仮定の内容を示す。
図6(c)では、「ビブラートがんばれ!」という文字列を、波線と共に示した画像f4と、画像f4の波線の間隔を密にした画像f5とが示されている。これらの波線は、ビブラートで震えさせた音の振動を表したものであり、ビブラートさせる音の振幅及び波長をそれぞれ表している。なお、振幅及び波長は、厳密に表されていなくとも良く、“多いか少ないか”といった程度で伝えられれば良い。図6(b)、(c)に示すように、図形又は絵柄で伝えたい内容を示すことで、文字列で示すよりも、短時間でその内容を歌唱者に伝えることができる。
図6(d)では、図5A、図5B、図5Cに示す画像e2を、立体的に飛び出して見えるように表示した画像f6、f7、f8を示している。図6(d)では、直交するx軸、y軸、z軸で方向を示し、ディスプレイの左右方向をx軸方向、上下方向をy軸方向、ディスプレイの表示面に対する垂直方向をz軸方向として示した。また、図6(d)では、各画像が立体的に飛び出して見える程度を、立体でない画像との矢印zが示す方向のずれz6、z7、z8(z6<z7<z8)によって示し、このずれが大きいほど立体的に飛び出して見えているものとした。これらの画像は、注意すべき音を発するタイミングが近づくに連れて、画像f6、f7、f8の順番に表示される。これにより、歌唱者は、図5A、図5B、図5Cに示す画像e1、e3、e4が表示されなくとも、時刻t0が近づいてくるタイミングを知ることができる。なお、図6(d)では、画像全体が飛び出して見えるように表示されているが、文字列の部分だけを飛び出させてもよいし、また、時間の経過と共に1文字ずつ順番に飛び出させてもよい。
図6に示したこれらの画像は、本発明に係る「パラメータに応じた画像」の一例にそれぞれ相当する。また、図6(d)に示した各画像は、「パラメータに応じて立体画像の態様を変えて」表示された本発明に係る「画像」の一例にそれぞれ相当する。
【0028】
[変形例]
上述した実施形態は、本発明の実施の一例に過ぎず、次のように種々の応用・変形が可能であり、また、必要に応じて組み合わせることも可能である。
【0029】
(変形例1)
本発明に係るカラオケ装置の制御部は、開始のタイミングが表示された評価期間において算出された評価値が、この評価期間を特定する際用いた評価値(又はそれらの平均値)よりも小さくなっている場合、この歌唱音声の評価をさらに高めても良い。例えば、制御部は、この場合に、評価点に予め定められた点数を加点しても良い。
図7は、本変形例に係る制御部10aが評価点を加点する処理において動作する機能の機能ブロック図を示す図である。以下では、上述した実施形態と異なる点を中心に説明する。制御部10aは、第1算出部112aと、第2算出部113aと、特定部114aと、画像生成部116と、変更部118とを有する。第1算出部112aは、算出した評価値を示すデータと、この評価値を算出した際歌唱音声と比較した基準音高を示すデータとを変更部118に供給する。第2算出部113aは、算出した評価点を変更部118に供給する。特定部114aは、特定した評価期間を示すデータを変更部118に供給する。
変更部118は、特定部114aにより特定された評価期間において第1算出部112aが算出した評価値と、特定部114aがこの評価期間を特定する際用いた評価値との差に応じて、評価点を変更する。例えば、第1算出部112aが図3に示す評価期間x3において評価値を算出し、特定部114aは、評価期間x3の基準音高と音高が共通する基準音高に対応付けられた評価期間x18を特定する。変更部118は、評価期間x3において算出された評価値(説明の便宜上、「第1評価値」という。)に比べて、特定された評価期間x18において第1算出部112aにより算出された評価値(同様に、「第2評価値」という。)が小さい場合、評価点に予め定められた値を加算する(加点する)。変更部118は、こうして変更した評価点を示すデータを、画像生成部116に供給する。そして、画像生成部116以降の各部が動作して、このデータが示す評価点を表す画像がディスプレイに表示される。
【0030】
これにより、歌唱者は、表示された評価期間において上手く歌唱することで、効率よく評価点を向上させることができ、また、過去の歌唱音声による減点を取り返すことができる。そして、カラオケ装置は、表示する画像が評価点を向上させる効果を高めることで、上記評価点の変更をしない場合に比べて、この画像に対してより多く注意を歌唱者に払わせることができる。なお、本変形例において、評価値が反対に大きくなっている場合は、歌唱音声の評価をさらに低くしても良く、例えば、評価点から予め定められた点数を減じても良い。これにより、カラオケ装置は、表示する画像に注意していないと余計に減点することで、この画像に対する歌唱者の注意をより引きつけることができる。なお、上述した実施形態では、評価点が大きいほど上手に歌えたことを示したが、評価点が小さいほど上手に歌えたことを示しても良く、その場合、変更部118は、評価点に加点する代わりに減点すれば良い。いずれの場合も、変更部118は、上記第1評価値及び第2評価値の差に応じて、評価点を変更すればよい。
【0031】
(変形例2)
上述した変形例1に示す場合おいて、第2評価値が第1評価値よりも小さい場合、つまり、歌唱音声の音高のずれが改善された場合に、そのことを伝えるための画像を表示させても良い。例えば、カラオケ装置は、この場合に、図5Cに示す画像e2、e4を縮小させたり、反対に拡大させたりしても良い。また、カラオケ装置は、この場合に、これらの画像とは別に、音高のずれが改善されたことを伝えるための画像(例えば、「上手く歌えました」という文字列など)を表示させても良い。これにより、歌唱者は、例えば画像e2に示される内容(「半音高めに」)に従って歌うことで、評価点が向上したことを確認することができる。なお、上述した実施形態では、評価値が小さいほど上手に歌えたことを示したが、評価値が大きいほど上手に歌えたことを示しても良く、その場合、カラオケ装置は、第2評価値が第1評価値よりも大きい場合に、そのことを伝えるための画像を表示させれば良い。いずれの場合も、カラオケ装置は、上記第1評価値及び第2評価値の差に応じた画像を表示させれば良い。つまり、ここでいう「差」は、画像を生成するためのパラメータとして用いられ、本発明に係る「パラメータ」の一例に相当する。
【0032】
(変形例3)
本発明に係るカラオケ装置の制御部は、音高に限らず、様々な種類の基準を用いても良い。例えば、制御部は、音量又は音長等を基準として用いても良いし、「ビブラート」又は「フォール」等の歌唱技法を基準として用いても良い。
「ビブラート」を基準として用いる場合であれば、制御部は、予め定められた時間よりも長い評価期間(以下「ビブラート期間」という。)において、そのビブラート期間に対応付けられた基準音高よりも高い音高と低い音高とを歌唱音声が繰り返した場合に、ビブラートがされたものとして評価値を算出する。詳細には、制御部は、この繰り返しの周期及び振幅が、各々に対して予め定められた値と近いほど、評価値を小さく算出する。そして、制御部は、ビブラート期間にビブラートがない(つまり、繰り返しがない)、又はビブラートが下手であった(つまり、算出した評価値が第2閾値以上であった)場合、次に現れるビブラート期間の直前において「ビブラートに注意」などの表示をすると良い。なお、制御部は、ビブラートを評価する処理に、例えば、特開2008−268369号公報に記載されている技術など周知の技術を用いてもよい。
また、「フォール」を基準として用いる場合であれば、制御部は、予め定められたフォールすべき評価期間(以下「フォール期間」という。)において、そのフォール期間に対応付けられた基準音高よりも予め定められたセント値以上高い音高から基準音高まで歌唱音声の音高が変化した場合に、フォールがされたものとして評価値を算出する。この場合、制御部は、音高の変化が大きいほど、評価値を小さく算出すればよい。そして、制御部は、次に現れるフォール期間の直前において「フォールさせましょう」などの表示をすると良い。なお、制御部は、フォールを評価する処理に、例えば、特開2008−225115号公報に記載されている技術など周知の技術を用いてもよい。
【0033】
(変形例4)
本発明に係るカラオケ装置の制御部は、ある評価期間において算出した評価値が第2閾値以上である場合に、その評価値を算出する際比較された基準(上述した実施形態では音高)とは異なる種類の基準を用いて評価期間を特定しても良い。また、制御部は、評価期間の長さ、又は評価期間に対応する基準とその直前の評価期間に対応する基準との差、等を用いて評価期間を特定しても良い。ここで用いられる基準、長さ及び差等は、いずれも、評価期間に対応して決められているものであり、評価期間の特徴を表すという点で共通している。つまり、制御部は、評価値が第2閾値以上である場合に、この評価値を算出した評価期間と共通する特徴を持つ評価期間を特定する。
例えば、評価期間の長さがある長さ未満であるか、その長さ以上であるかがその評価期間の特徴であるものとする。つまり、評価期間は、この特徴により、短いものと長いものとに分けられる。この場合、制御部は、算出した評価値が第2閾値以上である場合、例えばこの評価値を算出した評価期間が長いものであれば、この評価期間に後続する期間であって、上述したある長さ以上の評価期間、すなわち、評価値を算出した評価期間と共通する特徴を持つ評価期間を特定する。これにより、制御部は、例えば評価期間が長い、つまり、音長が長い音だと基準音高どおり上手く歌唱できない歌唱者に対して、「音長が長い」音が現れることをその音に対応する期間が開始するより前に伝えることができる。
【0034】
(変形例5)
本発明に係るカラオケ装置の制御部は、同じ特徴を持つ評価期間の評価値が複数算出された場合、上述した実施形態においては、それらの平均値が第2閾値以上である場合に評価期間を特定したが、算出した評価値が第2閾値以上であればその度に評価期間を特定しても良い。また、制御部は、算出した評価値のうち最も値が大きいものが第2閾値以上であれば常に評価期間を特定しても良いし、この場合に、さらに、算出した評価値が第1閾値未満であった場合には、その後は評価期間を常に特定するという動作を止めても良い。いずれの場合も、制御部は、算出した評価値が予め定められた条件を満たす場合に評価期間を特定する。
【0035】
(変形例6)
本発明に係るカラオケ装置の制御部は、歌唱音声に対して、これらの互いに種類が異なる複数の基準を並行してそれぞれ比較して複数の評価点を算出しても良い。なお、複数の評価値が算出された結果、異なる種類の基準毎に異なる評価期間が特定された場合は、制御部は、それぞれの評価期間に応じた画像をディスプレイに表示させれば良い。その際、制御部は、算出された評価値が小さい種類の基準により特定された評価期間ほど強調して表示させても良く、例えば、立体的に大きく飛び出して見えるように表示させても良い。これにより、歌唱者は、より評価値が低かった基準の種類を知ることができ、評価点を向上させるために効果的な種類の基準を改善することに注力することができる。なお、制御部は、上記の例で立体的に大きく飛び出して見えるように表示させる代わりに、立体的に大きく引っ込んで見えるように表示させても良く、いずれの場合も、算出されたそれぞれの評価値に応じて立体画像の態様を変えて表示させれば良い。これらの評価値は、本発明に係る「パラメータ」の一例にそれぞれ相当する。なお、ここでいう立体画像の態様は、ディスプレイの表示面の垂直方向における画像全体の位置を異ならせて表されても良いし、画像が表す立体物のその方向における起伏の大きさを異ならせて表されても良い。
【0036】
(変形例7)
本発明に係るカラオケ装置においては、立体画像の態様を、様々に変えて表示させても良い。例えば、カラオケ装置は、立体的に飛び出して見えるように表示した画像を、さらに、ディスプレイの左右方向(x軸方向)又は上下方向(y軸方向)に大きさ又は位置をずらしてディスプレイに表示させてもよい。以下、図6(d)に示した画像f6を例にとって説明する。
図8は、本変形例に係る評価値に応じて表示される画像の例を示す図である。図8(a)では、立体でない画像とのz軸方向の距離がz6、z9、z10(z6<z9<z10)と変化するのに伴い、x軸方向の長さ及びy軸方向の長さが変化する画像f6、f9、f10を示している。画像f6、f9、f10は、x軸方向の長さがそれぞれx6、x9、x10(x6<x9<x10)であり、y軸方向の長さがそれぞれy6、y9、y10(y6<y9<y10である。これらの画像は、時間の経過と共に飛び出して見えると共に、文字が大きく表示される。これにより、カラオケ装置は、歌唱者がこれらの画像に気付きやすくし、かつ、文字列を大きく表示しない場合に比べて、これらの画像が伝えている内容(つまり文字列)を認識しやすくすることができる。
図8(b)では、立体でない画像とのz軸方向の距離がz6、z11、z12(z6<z11<z12)と変化するのに伴い、x軸方向の位置及びy軸方向の位置が変化する画像f6、f11、f12を示している。画像f11は、立体でない画像に対してz軸方向に距離z11ずれると共に、x軸方向の正の方向に距離x11ずれ、かつ、y軸方向の負の方向に距離y11ずれた画像である。また、画像f12は、立体でない画像に対してz軸方向に距離z12ずれると共に、x軸方向の負の方向に距離y12ずれ、かつ、y軸方向の正の方向に距離y12ずれた画像である。これらの画像は、時間の経過と共に飛び出して見えると共に、ディスプレイの斜めの方向に揺れているように表示される。これにより、カラオケ装置は、x軸方向及びy軸方向の位置を変化させない場合に比べて、歌唱者がこれらの画像に気付きやすくすることができる。
【0037】
(変形例8)
本発明においては、評価値を、様々な方法で算出しても良い。第1算出部112は、上述した実施形態では、評価期間に算出された上述した差の値を平均したものを評価値として算出したが、例えば、これらの値を合計して算出しても良いし、これらの値のうち、第1閾値以上であったものの割合を評価値として算出しても良い。いずれの場合も、第1算出部112は、上述した実施形態において比較した歌唱音声の音高と、基準音高とを比較した結果に応じた評価値を算出すれば良い。
【0038】
(変形例9)
本発明においては、評価値を算出する際比較される歌唱音声の基準の種類を、利用者が選択できるようにしても良い。例えば、カラオケ装置は、比較可能な歌唱音声の基準の種類をディスプレイに表示させ、操作部の操作により選択された種類について、リファレンスデータが示す基準と歌唱音声とを比較して評価値を算出すれば良い。これにより、歌唱者は、自分が練習したい基準の種類を選択して、その基準どおりに歌唱するのが苦手な音が登場するタイミングを確認しながら練習することができる。
【0039】
(変形例10)
本発明に係るカラオケ装置は、歌唱者が歌唱すべき時刻又は歌唱すべき位置を、伴奏音に限らず、画像等で指定しても良い。例えば、上述した実施形態においては、図3に示したように、歌詞テロップaの色を変化させて色が変化する境目を現在歌唱すべき位置として指定しているので、歌唱者は、伴奏音がなくとも歌唱すべき位置を知ることができる。また、これに限らず、図3に示した五線譜に、現在再生されているところを示すマークを表示させ、矢印r1の方向に移動させて歌唱すべき位置を指定しても良い。上述した実施形態に係る「再生時刻データ」、「歌詞データ313」及び本変形例に係るマークを表示させるデータは、いずれも、再生されると楽曲の歌唱すべき位置を指定するデータであり、本発明に係る「位置指定データ」の一例に相当する。
【0040】
(変形例11)
本発明に係る制御部は、上述した実施形態において説明した方法に限らず、様々な方法で評価点を算出しても良い。例えば、制御部が算出した評価値が第1閾値以下である場合に2点、第2閾値以下である場合に1点加点し、その合計を評価点とするというように、加点式で算出しても良い。また、評価期間を、各構成音の長さとしたが、これとは異なる期間としても良く、例えば、1秒や2秒といった一定の時間、1拍、2拍といった期間、あるいは1小節、1フレーズといった期間を評価期間としても良いし、評価期間の長さをユーザが操作部21の操作などにより設定できるようにしても良い。
【0041】
(変形例12)
本発明に係る制御部は、上述した実施形態において説明した方法に限らず、様々な方法で評価期間を特定しても良い。例えば、制御部は、上述した実施形態では、評価値が、第2閾値以上である場合に評価期間を特定したが、第1閾値以上である場合、それ以外の値以上である場合、又は第1閾値以上第2閾値未満の場合等、様々な範囲にある場合としても良い。また、制御部は、第2閾値又は第1閾値よりも小さい場合に特定しても良い。この場合、特定された評価期間は、歌唱音声の音高が基準音高に近かった音、すなわち、歌唱者が基準音高に沿って上手に歌えた音と同じ音高の音を歌唱する期間である。よって、制御部は、歌唱者が上手に歌えたことを示す画像(例えば「この音はバッチリでした」又は「あなたの十八番ですね」等の文字列や似顔絵などの画像)を表示させればよい。これにより、歌唱者は、自分が上手く歌えた音を歌唱するタイミングを知ることができ、今までと同じように歌唱することを意識して準備することができる。上述したいずれの場合においても、制御部は、評価値が予め定められた条件を満たす場合に、評価期間を特定すれば良い。これにより、カラオケ装置は、歌唱音声が評価された結果を参考にして歌唱することができるタイミングを歌唱者に歌唱中に伝えることができる。
【0042】
(変形例13)
本発明に係るカラオケ装置は、上述した実施形態においては、立体画像を表示する手段(立体画像表示部25)を備えていたが、これに限らず、2次元の画像を表示する手段、例えば、2次元画像を表示可能なディスプレイを有する画像表示部を備えていても良い。この画像表示部は、本発明に係る「表示手段」の一例に相当する。この場合、画像生成部は、図6(d)に示すような立体的に飛び出して見える画像を、遠近法を用いて2次元の画像で生成すれば良い。また、本発明においては、立体的に見える画像は表示せずに、平面的に表現された画像だけを表示させても良く、この場合、大きさ、色又は形状を変化させることで、その画像の歌唱者への気付かせやすさを調整すれば良い。例えば、上述した注意すべき音が現れるタイミングが近づくに連れて、小さい画像から大きい画像に変化させたり、画像の色を無彩色から有彩色に変化させたりすれば良い。
【0043】
(変形例14)
本発明に係るプログラムは、光ディスク等の記録媒体に記録した形態で提供されたり、インターネット等のネットワークを介して、コンピュータにダウンロードさせ、これをインストールして利用可能にするなどの形態で提供されたりすることも可能である。
【0044】
(変形例15)
上述した実施形態においては、歌唱者に注意を喚起する表示を注意すべき音の1音前にしたが、これに代えて、2音前や1拍というようにしてもよい。要するに歌唱者が注意すべき音のタイミングを掴みやすいように適宜設定すればよい。また、次の小節やフレーズに注意すべき音が含まれている場合に、その小節の開始時や、その小節の一つ前の小節の終了時において注意喚起の表示をしてもよい。さらに、「何小節名の何番目の音が注意すべき音です。」や「サビの最初の音が注意すべき音です」などの旨を示す文字や画像などを表示してもよい。
【0045】
(変形例16)
上述した実施形態においては、表示装置に注意喚起の表示をしたが、これに代えて、注意喚起すべきタイミングで、音響処理部22を制御して放音部24から音を発したり、さらに、図1に破線で示すように振動部40を設け、注意喚起すべきタイミングで振動部40を振動させて歌唱者に報知するようにしたりしてもよい。なお、振動部40は収音部23の筐体に内蔵させてもよい。また、画像と音とを組み合わせて、これらを同時に歌唱者に報知するようにしてもよい。この場合、カラオケ装置1は、立体画像表示部25及び振動部40等の複数の装置を同時に、又は連続的に動作させて、歌唱者に報知すればよい。
【符号の説明】
【0046】
1…カラオケ装置、10、10a…制御部、21…操作部、22…音響処理部、23…収音部、24…放音部、25…立体画像表示部、30…記憶部、40…振動部、111…再生部、112、112a…第1算出部、113、113a…第2算出部、114、114a…特定部、115…試算部、116…画像生成部、117…表示制御部、118…変更部、310…楽曲データベース、311…伴奏データ、312…リファレンスデータ、313…歌詞データ、320…画像素材データベース
【特許請求の範囲】
【請求項1】
楽曲を示す楽曲データと、前記楽曲の歌唱すべき位置を指定する位置指定データと、前記楽曲における各音に対応する期間のそれぞれに対応付けられた基準を示すリファレンスデータとを記憶する記憶手段と、
前記楽曲の進行に従って前記楽曲データ、前記位置指定データおよび前記リファレンスデータを読み出す読出手段と、
収音手段から供給されるオーディオ信号が示す歌唱音声と、読み出された前記リファレンスデータが示す基準とを比較した結果に応じた評価値を算出する第1算出手段と、
前記第1算出手段により算出された評価値が予め定められた条件を満たす期間である場合に、当該期間に後続する期間であって、当該期間と共通する特徴を持つ期間を特定する特定手段と、
前記特定手段により特定された期間を当該期間が開始するより前に報知する報知手段と
を備えることを特徴とする歌唱支援装置。
【請求項2】
前記第1算出手段が算出した評価値に応じて評価点を算出する第2算出手段と、
前記特定手段により特定された期間において前記第1算出手段が算出した評価値と、前記特定手段が当該期間を特定する際用いた前記評価値との差に応じて、前記第2算出手段により算出された評価点を変更する変更手段とを備える
ことを特徴とする請求項1に記載の歌唱支援装置。
【請求項3】
前記報知手段は、表示手段と前記表示手段を制御する表示制御手段を有し、前記表示制御手段は、前記第1算出手段により算出された評価値をパラメータとし、当該パラメータに応じた画像を、前記特定手段により当該評価値を用いて特定された期間が開始するより前に前記表示手段に表示させる
ことを特徴とする請求項1又は2に記載の歌唱支援装置。
【請求項4】
前記報知手段は、表示手段と前記表示手段を制御する表示制御手段を有し、前記表示制御手段は、前記特定手段により特定された期間において前記第1算出手段が算出した評価値と、前記特定手段が当該期間を特定する際用いた前記評価値との差をパラメータとし、当該パラメータに応じた画像を表示させる
ことを特徴とする請求項1ないし3のいずれかに記載の歌唱支援装置。
【請求項5】
前記第1算出手段は、前記歌唱音声と、互いに種類が異なる複数の前記基準のそれぞれとを比較した結果に応じた評価値を算出し、
前記特定手段は、複数の当該基準のそれぞれについて前記期間を特定し、
前記報知手段は、表示手段と前記表示手段を制御する表示制御手段を有し、前記特定手段により特定された期間に対応付けられた基準と種類が共通する基準と比較して前記第1算出手段により算出された評価値をパラメータとし、当該パラメータに応じた画像を表示させる
ことを特徴とする請求項1ないし4のいずれかに記載の歌唱支援装置。
【請求項6】
前記表示手段は、画像を立体的な立体画像として表示することが可能であり、
前記表示制御手段は、前記画像を前記表示手段に立体的に表示させる
ことを特徴とする請求項3ないし5のいずれかに記載の歌唱支援装置。
【請求項7】
前記表示制御手段は、前記画像を、前記パラメータに応じて前記立体画像の態様を変えて前記表示手段に表示させる
ことを特徴とする請求項6に記載の歌唱支援装置。
【請求項1】
楽曲を示す楽曲データと、前記楽曲の歌唱すべき位置を指定する位置指定データと、前記楽曲における各音に対応する期間のそれぞれに対応付けられた基準を示すリファレンスデータとを記憶する記憶手段と、
前記楽曲の進行に従って前記楽曲データ、前記位置指定データおよび前記リファレンスデータを読み出す読出手段と、
収音手段から供給されるオーディオ信号が示す歌唱音声と、読み出された前記リファレンスデータが示す基準とを比較した結果に応じた評価値を算出する第1算出手段と、
前記第1算出手段により算出された評価値が予め定められた条件を満たす期間である場合に、当該期間に後続する期間であって、当該期間と共通する特徴を持つ期間を特定する特定手段と、
前記特定手段により特定された期間を当該期間が開始するより前に報知する報知手段と
を備えることを特徴とする歌唱支援装置。
【請求項2】
前記第1算出手段が算出した評価値に応じて評価点を算出する第2算出手段と、
前記特定手段により特定された期間において前記第1算出手段が算出した評価値と、前記特定手段が当該期間を特定する際用いた前記評価値との差に応じて、前記第2算出手段により算出された評価点を変更する変更手段とを備える
ことを特徴とする請求項1に記載の歌唱支援装置。
【請求項3】
前記報知手段は、表示手段と前記表示手段を制御する表示制御手段を有し、前記表示制御手段は、前記第1算出手段により算出された評価値をパラメータとし、当該パラメータに応じた画像を、前記特定手段により当該評価値を用いて特定された期間が開始するより前に前記表示手段に表示させる
ことを特徴とする請求項1又は2に記載の歌唱支援装置。
【請求項4】
前記報知手段は、表示手段と前記表示手段を制御する表示制御手段を有し、前記表示制御手段は、前記特定手段により特定された期間において前記第1算出手段が算出した評価値と、前記特定手段が当該期間を特定する際用いた前記評価値との差をパラメータとし、当該パラメータに応じた画像を表示させる
ことを特徴とする請求項1ないし3のいずれかに記載の歌唱支援装置。
【請求項5】
前記第1算出手段は、前記歌唱音声と、互いに種類が異なる複数の前記基準のそれぞれとを比較した結果に応じた評価値を算出し、
前記特定手段は、複数の当該基準のそれぞれについて前記期間を特定し、
前記報知手段は、表示手段と前記表示手段を制御する表示制御手段を有し、前記特定手段により特定された期間に対応付けられた基準と種類が共通する基準と比較して前記第1算出手段により算出された評価値をパラメータとし、当該パラメータに応じた画像を表示させる
ことを特徴とする請求項1ないし4のいずれかに記載の歌唱支援装置。
【請求項6】
前記表示手段は、画像を立体的な立体画像として表示することが可能であり、
前記表示制御手段は、前記画像を前記表示手段に立体的に表示させる
ことを特徴とする請求項3ないし5のいずれかに記載の歌唱支援装置。
【請求項7】
前記表示制御手段は、前記画像を、前記パラメータに応じて前記立体画像の態様を変えて前記表示手段に表示させる
ことを特徴とする請求項6に記載の歌唱支援装置。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図6】
【図7】
【図8】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図6】
【図7】
【図8】
【公開番号】特開2012−203343(P2012−203343A)
【公開日】平成24年10月22日(2012.10.22)
【国際特許分類】
【出願番号】特願2011−70368(P2011−70368)
【出願日】平成23年3月28日(2011.3.28)
【出願人】(000004075)ヤマハ株式会社 (5,930)
【Fターム(参考)】
【公開日】平成24年10月22日(2012.10.22)
【国際特許分類】
【出願日】平成23年3月28日(2011.3.28)
【出願人】(000004075)ヤマハ株式会社 (5,930)
【Fターム(参考)】
[ Back to top ]