音声評価装置及びカラオケ装置
【課題】歌唱又は楽器の演奏について、従来と比較してより人為的な採点に近い採点を行うことのできる技術を提供する。
【解決手段】歌唱者によって楽曲が選択されると、カラオケ装置１０は、選択された楽曲のカラオケ伴奏を開始する。歌唱者がカラオケ伴奏にあわせて歌唱を行うと、歌唱者の歌唱音声がマイクロホン１５によって収音され、音声データに変換される。カラオケ装置１０の制御部１１は、マイクロホン１５から出力される音声データとガイドメロディデータとを比較し、該比較結果に基づいて歌唱音声を採点する。また、このとき、制御部１１は、撮影部１８から供給される映像信号を解析して視聴者の挙動を検出する。制御部１１は、検出した視聴者の挙動に基づいて採点結果を修正する。
【解決手段】歌唱者によって楽曲が選択されると、カラオケ装置１０は、選択された楽曲のカラオケ伴奏を開始する。歌唱者がカラオケ伴奏にあわせて歌唱を行うと、歌唱者の歌唱音声がマイクロホン１５によって収音され、音声データに変換される。カラオケ装置１０の制御部１１は、マイクロホン１５から出力される音声データとガイドメロディデータとを比較し、該比較結果に基づいて歌唱音声を採点する。また、このとき、制御部１１は、撮影部１８から供給される映像信号を解析して視聴者の挙動を検出する。制御部１１は、検出した視聴者の挙動に基づいて採点結果を修正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声を評価する技術に関する。
【背景技術】
【０００２】
カラオケ装置においては、歌唱者の歌唱の巧拙を採点するための方法が種々提案されている。例えば、歌唱者の歌唱音声の音量やピッチを検出し、ガイドメロディと比較することによって歌唱を採点する方法が提案されている（特許文献１乃至６参照）。
【特許文献１】特開平１０−７８７４９号公報
【特許文献２】特開平１０−７８７５０号公報
【特許文献３】特開平１０−４９１８３号公報
【特許文献４】特開平１０−６９２１６号公報
【特許文献５】特開平１０−９１１７２号公報
【特許文献６】特開平１０−２８２９７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、歌唱する者は、楽譜に沿って機械的に歌唱せずに、ビブラートやこぶし等の歌唱技法を用いて歌唱を行うものも多い。しかしながら、従来の装置においては、ガイドメロディ等の基準データとの差分に基づいて歌唱の採点を行うことが一般的であるから、歌唱者が機械的にリファレンス通りに歌唱するほど高得点となり、様々な歌唱技法を用いたりアレンジを利かせたりして自己流で歌唱した場合には、採点結果が悪くなることが多い。これは楽器の演奏についても同様である。
本発明は、このような事情に鑑みてなされたものであり、歌唱又は楽器の演奏について、従来と比較して、より人為的な採点に近い採点を行うことのできる技術を提供する。
【課題を解決するための手段】
【０００４】
本発明の好適な態様である音声評価装置は、音声を採点する際に参照される参照データを記憶する参照データ記憶手段と、音声を表す音声信号と前記参照データ記憶手段に記憶された参照データとの比較に基づいて、当該音声の採点を行う採点手段と、前記音声を発する者を視聴する視聴者の挙動を検出する視聴者挙動検出手段と、前記視聴者挙動検出手段が検出した挙動を解析し、解析結果に基づいて前記採点手段の採点結果を修正する修正手段と、前記修正手段により修正された採点結果を示すデータを出力する出力手段とを具備することを特徴とする。
上述の態様において、前記視聴者挙動検出手段は、前記視聴者を撮影する撮影手段により撮影された映像を画像解析することによって、当該視聴者の挙動を検出してもよい。
また、前記視聴者挙動検出手段は、前記視聴者の音声を収音する収音手段から出力される音声信号を音声解析することによって、当該視聴者の挙動を検出してもよい。
また、前記視聴者挙動検出手段は、操作された内容に応じた操作信号を出力する操作手段から出力される操作信号に基づいて前記視聴者の挙動を検出してもよい。
【０００５】
また、上述の態様において、楽曲の種別と前記視聴者の挙動との組み合わせと、採点の修正の態様を示す修正態様データとの対応関係を記憶する対応関係記憶手段と、前記音声の楽曲の種別を判定する楽曲種別判定手段とを備え、前記修正手段は、前記楽曲種別判定手段により判定された楽曲の種別と前記視聴者挙動検出手段が検出した挙動との組み合わせに対応する採点の修正の態様を、前記対応関係記憶手段を参照して特定し、特定した採点の修正の態様で、前記採点手段の採点結果を修正してもよい。
【０００６】
また、本発明の好適な態様であるカラオケ装置は、上述の音声評価装置と、前記楽曲を表す楽曲データを記憶する楽曲データ記憶手段と、前記楽曲データ記憶手段に記憶された楽曲データを再生する再生手段とを備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、歌唱又は楽器の演奏について、従来と比較して、より人為的な採点に近い採点を行うことができる。
【発明を実施するための最良の形態】
【０００８】
次に、この発明を実施するための最良の形態を説明する。
＜Ａ：構成＞
図１は、この発明の一実施形態であるカラオケ装置１０のハードウェア構成を示すブロック図である。このカラオケ装置１０は、カラオケ伴奏を行う機能や、歌唱者の歌唱を採点する機能を備えた装置である。図において、制御部１１は、ＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備え、ＲＯＭ又は記憶部１２に記憶されているコンピュータプログラムを読み出して実行することにより、バスＢＵＳを介してカラオケ装置１０の各部を制御する。記憶部１２は、制御部１１によって実行されるプログラムやその実行時に使用されるデータを記憶するための記憶手段であり、例えばハードディスク装置である。表示部１３は、液晶パネルなどを備え、制御部１１の制御の下で、カラオケ装置１０を操作するためのメニュー画面や、背景画像に歌詞テロップを重ねたカラオケ画面等の各種画面を表示する。操作部１４は、利用者による操作に応じた操作信号を制御部１１に出力する。マイクロホン１５は、利用者が発する音声（以下「入力音声」という）を収音する収音機器である。マイクロホン１５は、入力音声の時間軸上における波形を表すアナログの電気信号を出力する。音声処理部１６は、マイクロホン１５から入力される電気信号をデジタルデータに変換する。また、音声処理部１６は、デジタルデータをアナログ信号に変換してスピーカ１７に出力する。スピーカ１７は、音声処理部１６でデジタルデータからアナログ信号に変換され出力される音声信号に応じた強度で放音する放音手段である。撮影部１８は、歌唱者の歌唱を視聴する者（以下「視聴者」という）を撮影する撮影手段であり、撮影した映像を表す映像信号を制御部１１に出力する。撮影部１８は、例えばカラオケボックス内に設置された監視カメラであってもよく、また、視聴者の撮影用に設けられた専用の映像撮影機器であってもよい。
【０００９】
なお、この実施形態では、マイクロホン１５とスピーカ１７とがカラオケ装置１０に含まれている場合について説明するが、音声処理部１６に入力端子及び出力端子を設け、オーディオケーブルを介してその入力端子に外部マイクロホンを接続する構成としても良く、同様に、オーディオケーブルを介してその出力端子に外部スピーカを接続するとしても良い。また、この実施形態では、マイクロホン１５から音声処理部１６へ入力される音声信号及び音声処理部１６からスピーカ１７へ出力される音声信号がアナログ音声信号である場合について説明するが、デジタル音声データを入出力するようにしても良い。このような場合には、音声処理部１６にてＡ／Ｄ変換やＤ／Ａ変換を行う必要はない。
【００１０】
記憶部１２は、図示のように、楽曲データ記憶領域１２１と、対応関係記憶領域１２２とを有している。楽曲データ記憶領域１２１には、カラオケ演奏時に再生される楽曲を表す楽曲データが多数記憶されている。楽曲データは、ＭＩＤＩ（Musical Instruments Digital Interface）形式などのデータ形式の、各楽曲の伴奏楽音を構成する伴奏データと、カラオケ伴奏の際に歌詞テロップとして表示される楽曲の歌詞を表す歌詞データと、ＭＩＤＩ形式などのデータ形式の、楽曲のガイドメロディを表すガイドメロディデータとを含んでいる。この実施形態では、このガイドメロディデータは、歌唱者の音声を採点する際に参照される参照データとして用いられる。
【００１１】
対応関係記憶領域１２２には、視聴者の挙動と採点の修正の態様を示す修正態様データとの対応関係を示すテーブルが記憶されている。図２は、対応関係記憶領域１２２に記憶されたテーブルの内容の一例を示す図である。図示のように、このテーブルは、「視聴者の挙動」と「修正の態様」との各項目が互いに関連付けて記憶されている。これらの項目のうち、「視聴者の挙動」の項目には、「拍手」、「肩組み」、「笑顔」、「うつむいている」、といったような、視聴者の挙動の種別を表す挙動種別情報が記憶されている。「修正の態様」の項目には、「＋１５」、「＋２０」、「−１０」など、採点の修正の態様を示す修正態様データが記憶されている。カラオケ装置１０の制御部１１は、このテーブルを参照して、歌唱の採点結果を修正する。
【００１２】
次に、カラオケ装置１０の機能的構成について、図３を参照しつつ説明する。図３は、カラオケ装置１０の機能的構成を示すブロック図である。図において、採点部１１１，挙動検出部１１２は、カラオケ装置１０の制御部１１がＲＯＭ又は記憶部１２に記憶されたコンピュータプログラムを実行することによって実現される。なお、図中の矢印はデータの流れを概略的に示すものである。なお、採点部１１１や挙動検出部１１２等は、音声処理に専用されるＤＳＰ(Digital Signal Processor)などのハードウェアによって実現される構成としてもよい。
【００１３】
図３において、採点部１１１は、音声処理部１６を介して供給される歌唱者音声データと楽曲データ記憶領域１２１に記憶されたガイドメロディデータとを比較し、該比較結果に基づいて歌唱者の音声（以下「歌唱者音声」という）の採点を行う機能を有する。この採点は、例えば、歌唱者音声データとガイドメロディデータとのピッチ、パワー等の音声の特徴を比較し、差分が小さいほど採点結果がよくなるように採点を行ってもよい。なお、採点部１１１が行う採点処理の内容は、従来の装置で行われている採点処理と同様であり、ここではその詳細な説明を省略する。
なお、この実施形態では音声を採点する際に参照される参照データとしてガイドメロディデータを用いる構成としたが、参照データはガイドメロディデータに限らず、そのデータを用いて採点を行うことのできるデータであればどのようなものであってもよい。
【００１４】
次に、図３に示す挙動検出部１１２は、撮影部１８から出力される映像信号を解析して、視聴者の挙動を検出する機能を有する。ここで、挙動検出部１１２が行う視聴者の挙動検出処理の一例について以下に説明する。この実施形態では、挙動検出部１１２は、撮影部１８から出力される映像信号を解析し、人物（個体）検出処理を行うとともに、顔検出処理を行い、検出結果に基づいて視聴者の挙動を検出する。
【００１５】
挙動検出部１１２は、所定時間のストリーム映像から、個体物と動体物とを区別し、人物検出を行う。挙動検出部１１２は、検出した人物の動作パターンを予め定められたパターンと照合することにより、視聴者の挙動を検出する。具体的には、例えば、拍手をしている動作パターンを示すデータを予め記憶部１２に記憶させておき、このデータと検出した人物の動作パターンとを比較し、その一致度が所定量以上である場合に、その視聴者（人物）が拍手をしていると判定する。同様にして、挙動検出部１１２は、視聴者が肩を組んでいるか否か、また、ウェーブを行っているか否か、スクラムを組んでいるか、といったことも判定する。挙動検出部１１２は、判定結果を示すパラメータを採点部１１１に出力する。なお、視聴者が複数いる場合には、全体の視聴者の数に対するその動作（拍手、肩組み等）を行っている視聴者の割合を示すデータをパラメータとして用いてもよい。なお、視聴者の挙動の検出方法はこれに限定されるものではなく、視聴者の挙動を好適に検出するものであればどのようなものであってもよい。
【００１６】
また、挙動検出部１１２は、肌色検出を行うとともに撮影された映像を予め定められたパターンの画像と照合し、その一致度に基づいて、映像から顔部分を検出する。挙動検出部１１２は、検出した顔部分の画像に基づいて、視聴者の顔の向きを判定し、判定結果（下を向いている、等）を示すパラメータを採点部１１１に出力する。
【００１７】
また、挙動検出部１１２は、検出した顔部分の画像と予め定められたパターンとを照合して、顔の表情を検出する。具体的には、例えば、笑っている顔を示すデータを予め記憶部１２に記憶させておき、このデータと検出した顔部分のデータとを比較し、その一致度が所定量以上である場合に、その視聴者が笑っていると判定する。挙動検出部１１２は、顔判定結果を示すパラメータを採点部１１１に出力する。なお、視聴者が複数いる場合には、全体の人数に対するその表情（笑顔等）の視聴者の割合を示すデータをパラメータとして用いてもよい。なお、視聴者の顔の向きや表情を検出する方法はこれに限定されるものではなく、視聴者の顔の向きや表情を好適に検出するものであればどのようなものであってもよい。
この実施形態では、挙動検出部１１２は、検出結果を示すパラメータを、採点部１１１に定期的（例えば１０秒毎、等）に出力する。
【００１８】
採点部１１１は、挙動検出部１１２から供給されるパラメータに基づいて、検出された挙動を解析し、解析結果に基づいて採点結果を修正する。具体的には、採点部１１１は、供給されるパラメータに対応する修正の態様を、対応関係記憶領域１２２に記憶されたテーブルを参照して特定し、特定した修正の態様で採点結果を修正する。具体的には、図２に示す例においては、視聴者が「笑顔」である旨のパラメータを受信した場合には、採点部１１１は、採点結果に「２０」を加算する。
【００１９】
このように採点部１１１が視聴者の挙動に応じて採点結果を修正することにより、例えば、歌唱中にうつむいている人が多い場合には、視聴者は「つまらない」と感じていると判定される。一方、歌唱中ににこやかな表情の人が多い場合には、「場が楽しい雰囲気になっている」と判定される。また、顔の表情が「笑っている」と認識される場合、場が盛り上がっていると判断され、加点される。
【００２０】
＜Ｂ：動作＞
次に、この実施形態の動作について説明する。まず、歌唱者は、カラオケ装置１０の操作部１４を操作して、歌唱したい楽曲を選択する操作を行う。操作部１４は、操作された内容に応じた操作信号を制御部１１へ出力する。制御部１１は、操作部１４から出力される操作信号に応じて楽曲を選択する。制御部１１は、選択した楽曲のカラオケ伴奏を開始する。すなわち、音声処理部１６は、制御部１１の制御の下、楽曲データ記憶領域１２１から伴奏データを読み出してアナログ信号に変換し、スピーカ１７に供給する。スピーカ１７は、供給されるアナログ信号に応じて、伴奏音を放音する。歌唱者は、スピーカ１７から放音される伴奏音にあわせて歌唱を行う。このとき、歌唱者の音声はマイクロホン１５によって収音されて音声信号に変換され、音声処理部１６へと出力される。音声処理部１６は、マイクロホン１５から出力される音声信号をデジタルデータ（以下「歌唱者音声データ」という）に変換する。
【００２１】
制御部１１は、上述した採点部１１１の処理を行う。すなわち、制御部１１は、歌唱者音声データとガイドメロディデータとを比較し、該比較結果に基づいて歌唱者の音声（以下「歌唱者音声」という）の採点を行う。また、制御部１１は、上述した挙動検出部１１２の処理を行う。すなわち、制御部１１は、撮影部１８からの映像信号に基づいて視聴者の挙動を検出し、検出した挙動に対応する修正の態様で、採点結果を修正する。
【００２２】
次いで、制御部１１は、修正した採点結果を示すデータを表示部１３に出力する。表示部１３は、制御部１１から供給されるデータに基づいて採点結果を表示する。歌唱者は、表示部１３に表示された画面を確認することで、自身の歌唱に対する採点結果を把握することができる。
【００２３】
このように、この実施形態では、制御部１１が、視聴者の挙動を検出し、検出結果を加味した採点を行うから、視聴者の挙動を採点に反映させることができる。このように、視聴者の反応を評価基準に盛り込むことで、より人間的な評価ポイントを加味することができる。視聴者の挙動は、視聴者の視聴中の心情が表れることが多く、これにより、従来の装置と比較して、より人為的な採点に近い採点を行うことができる。具体的には、例えば、視聴者が拍手をしている場合には、場が盛り上がっていることが多く、この場合には採点結果が高くなる。一方、うつむいている視聴者が多い場合には、場が盛り下がっていることが多く、このような場合には採点結果は悪くなる。
このように、この実施形態では、視聴者の人間的に反応するしぐさや音で、その場の楽しさを解析し、それを採点結果に盛り込むことができる。これにより、従来のパラメータ主体の評価アルゴリズムではキャッチできなかった要素（人間的反応）を反映させることが可能となり、採点にリアリズムを加味することができる。
【００２４】
＜Ｃ：変形例＞
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。なお、以下の各態様を適宜に組み合わせてもよい。
（１）上述した実施形態では、マイクロホン１５で収音された歌唱者の音声を採点したが、入力される音声は、マイクロホン１５で収音される音声でも、また、記憶部１２に予め記憶された音声データであってもよい。また、カラオケ装置１０に通信部を設ける構成とし、該通信部を介して受信される音声データを採点してもよい。要するに、制御部１１に入力される音声データであればどのようなものであってもよい。
【００２５】
（２）上述した実施形態では、カラオケ装置を本発明に係る音声評価装置として適用したが、音声評価装置として適用される装置はカラオケ装置に限らず、例えばパーソナルコンピュータや移動体通信端末、携帯型ゲーム機、ポータブルミュージックプレーヤなど、様々な装置が本発明に係る音声評価装置として適用可能である。
【００２６】
（３）上述した実施形態では、視聴者の挙動の検出と音声の採点とをリアルタイムで行ったが、これに限らず、歌唱が終了した時点で採点を行うようにしてもよく、採点のタイミングは任意である。
【００２７】
（４）上述した実施形態では、採点結果を、表示部１３に表示することによって歌唱者に報知したが、報知の態様はこれに限らず、例えば、音声メッセージを出力することによって報知してもよく、また、採点結果を示す音声メッセージを出力するような形態であってもよい。また、採点結果を示す情報を電子メール形式で歌唱者のメール端末に送信するという形態であってもよい。また、採点結果を示す情報を記憶端末に出力して記憶させるようにしてもよく、この場合、歌唱者はコンピュータを用いてこの記憶媒体から情報を読み出させることで、それを参照することができる。また、採点結果を所定の用紙に印刷出力してもよい。要は、歌唱者に対して何らかの手段でメッセージ乃至情報を伝えられるように、採点結果を示す情報を出力するものであればよい。
また、採点結果は、歌唱中にリアルタイムに報知してもよく、また、歌唱が終了した後で採点結果を報知してもよく、採点結果を報知するタイミングは任意である。
【００２８】
（５）上述した実施形態では、視聴者を撮影する撮影部として、カラオケボックスに設置された監視カメラを用いた。撮影部はこれに限らず、例えば、専用カメラの映像を用いてもよく、また、携帯通信端末等に設けられているカメラの映像を用いるようにしてもよい。
また、上述した実施形態では、撮影部は動画を撮影したが、これに限らず、静止画を撮影し、撮影した静止画に基づいて視聴者の挙動を検出してもよい。この場合は、例えば、所定単位時間（例えば、１分）毎に視聴者を撮影し、撮影した画像から視聴者の顔認識等を行い、視聴者が笑っているか否か等を判定すればよい。なお、笑い以外の表情認識を行ってもよい。
要するに、撮影部は、視聴者を撮影するものであればどのようなものであってもよい。
【００２９】
また、視聴者の挙動を検出する方法は上述した実施形態で示したものに限らず、例えば、視聴者の声を収音し、収音した音声を解析して、視聴者の挙動を検出してもよい。この場合は、視聴者の音声を収音して収音した音声を表す音声信号を出力する収音手段（マイクロホン等）を設ける構成とし、収音手段が出力する音声信号を解析して、視聴者の挙動を検出する。具体的には、例えば、収音手段が出力した音声信号と、予め定められた音声パターンとを照合し、その一致度が予め定められた範囲内である場合に、その音声パターンに対応する挙動を、視聴者の挙動として特定してもよい。
この場合、収音手段としては、カラオケボックス内に設置されたマイクロホンを用いてもよく、また、視聴者の音声を収音する専用のマイクロホンを設ける構成としてもよい。
この場合、音声パターンとしては、具体的には、例えば、ブーイングを表す音声や、ヤジを表す音声、拍手を表す音声、等の各種の挙動において発せられる音声の特徴（ピッチ、スペクトル等）を音声パターンとして予め記憶しておき、この記憶された音声パターンと、収音された音声のパターンとを照合すればよい。
そして、制御部１１は、例えば、視聴者の挙動としてブーイングやヤジが検出された場合には、マイナスポイントを付加する一方、視聴者の挙動として拍手が検出された場合には、加点処理を行ってもよい。
この場合、例えば、マイクを通して収録される環境音が静かであれば、『歌に聞き入っている』と判断し点数をアップ、間奏に入るところで大きな拍手音がなれば『上手かった』と判断して点数をアップする、といったように、視聴者の挙動に表れる場の雰囲気を採点に加味することができる。
なお、視聴者の音声の解析と視聴者の映像の解析とを両方行って、視聴者の挙動を検出してもよい。
【００３０】
また、聴取者の挙動を検出する他の構成として、例えば、視聴者によって操作される操作手段を設ける構成とし、操作手段の操作内容に応じて視聴者の挙動を検出してもよい。この場合は、具体的には、例えば、歌唱者の歌唱の巧拙を評価するための各種ボタンを設けた操作手段を設け、視聴者によって操作されると、操作手段は、操作された内容に応じた操作信号を制御部１１に出力する。制御部１１は、操作手段から供給される操作信号に応じて、視聴者の挙動を検出する。
【００３１】
このように、視聴者の挙動を検出する方法は、視聴者を撮影して撮影された画像を解析することによって視聴者の挙動を検出してもよく、また、視聴者の音声を収音して収音した音声を解析することによって視聴者の挙動を検出してもよく、また、操作された内容に応じて視聴者の挙動を検出してもよい。また、例えば、振動を検出するセンサ等を視聴者に装着させ、そのセンサからの出力信号に応じて視聴者の挙動を検出してもよい。この場合は、例えば、振動回数が大きいほど場が盛り上がっていると判定してもよい。
要するに、視聴者の挙動を検出するものであればどのようなものであってもよい。
【００３２】
（６）上述した実施形態では、視聴者の挙動（反応）に応じて採点結果を修正する構成としたが、これに限らず、視聴者の挙動のみから採点を行う構成としてもよい。この場合であっても、視聴者の挙動を検出することによって、場の盛り上がりの程度を判定することができる。具体的には、例えば、歌唱に限らず、落語や漫才等において視聴者の挙動を検出して採点を行うことで、特に評価される者が複数いる場合に、視聴者の反応に基づいた相対的な採点を行うことができる。
【００３３】
（７）上述した実施形態では、歌唱者音声データとガイドメロディデータとを比較し、該比較結果に基づいて歌唱者音声を採点したが、採点の方法はこれに限定されるものではなく、歌唱者音声を採点するものであればどのようなものであってもよい。具体的には、例えば、模範となる歌唱音声を表す模範音声データと、歌唱者音声データとを比較し、その比較結果に基づいて歌唱者音声を採点してもよい。この場合は、具体的には、例えば、模範音声データと歌唱者音声データとのピッチ、パワー、スペクトル等を比較し、その一致度が高いほど採点結果が高くなるように採点してもよい。また、例えば、歌唱者音声データと模範音声データとのそれぞれで用いられている歌唱技法（ビブラート、こぶし等）を比較し、その一致度に基づいて歌唱者音声を採点してもよい。要するに、歌唱者音声を採点するものであれば、採点の方法はどのようなものであってもよい。
【００３４】
（８）上述した実施形態では、挙動検出部１１２は、検出結果を示すパラメータを、採点部１１１に定期的に出力する構成としたが、採点部１１１がパラメータを取得する構成はこれに限定されるものではない。具体的には、例えば、挙動検出部１１２が、検出結果を示すデータを、記憶部１２の予め定められた記憶領域に定期的に記憶する構成とし、採点部１１１が、該予め定められた記憶領域から、定期的にデータを取得する構成としてもよい。また、例えば、挙動検出部１１２が、タイムスタンプ付きでデータを記憶部１２の予め定められた記憶領域に記憶する構成とし、採点部１１１は、記憶されたデータのタイムスタンプを参照して、任意の時刻（例えば１０分前等）のパラメータを取得できる構成としてもよい。要するに、採点部１１１が、パラメータを取得できる態様であれば、その取得方法はどのようなものであってもよい。
【００３５】
（９）上述した実施形態において、楽曲の種別と視聴者の挙動との組み合わせと、採点の修正の態様を示す修正態様データとの対応関係を記憶する対応関係記憶手段を備える構成とし、制御部１１が、楽曲の種別を判定し、判定された楽曲の種別と検出した視聴者の挙動との組み合わせに対応する採点の修正の対応を、対応関係記憶手段を参照して特定し、特定した採点の修正の態様で、採点結果を修正する構成としてもよい。
図４は、この場合に用いられるテーブルの内容の一例を示す図である。図示のように、このテーブルは、「楽曲種別」と「視聴者の挙動」と「修正の態様」との各項目が互いに関連付けて記憶されている。これらの項目のうち、「楽曲種別」の項目には、例えば、「バラード」、「ラップ」、「任意」など、楽曲の種別を表す楽曲種別情報が記憶されている。なお、「楽曲種別」が「任意」の項目は、すべての楽曲種別において参照される項目である。「視聴者の挙動」の項目には、「笑顔」、「拍手」といったような、視聴者の挙動の種別を表す挙動種別情報が記憶されている。「修正の態様」の項目には、「−１０」、「＋２０」、「＋１５」など、採点の修正の態様を示す修正態様データが記憶されている。
この態様では、カラオケ装置１０の制御部１１は、まず、楽曲の種別を判定する。この判定は、例えば、楽曲データに含まれる曲コードから判定してもよく、また、楽曲データにジャンルを示すジャンルデータを含める構成とし、制御部１１がこのジャンルデータを参照して種別を判定してもよい。また、制御部１１が、楽曲のリズムやテンポ、メロディ等を解析し、解析結果に基づいて楽曲の種別を判定してもよい。制御部１１は、楽曲の種別を判定すると、判定した楽曲の種別と検出した視聴者の挙動との組み合わせをキーとしてこのテーブルを検索し、検索された修正の態様で採点結果を修正する。
この態様によれば、視聴者の挙動が同じ場合であっても、楽曲の種別（例えば、バラード、ラップ等）に応じて異なる採点修正を行うことができる。
【００３６】
（１０）上述した実施形態では、１曲の楽曲において一意的な採点を行ったが、これに代えて、楽曲の部分部分に応じて採点方法を変更する構成としてもよい。例えば、楽曲のサビの部分でのみ採点処理及び採点の修正処理を行うようにしてもよい。また、例えば、上述の図４に示したテーブルを参照し、楽曲の前半の部分は、「バラード」に対応する修正の態様で採点を修正する一方、楽曲の後半の部分では、「ラップ」に対応する修正の態様で採点を修正するようにしてもよい。
【００３７】
また、映像だけでなく、マイク入力などからも、掛け声や歓声音、拍手音、等の解析を行い、楽曲シーケンスと比較して重み付けを行ってもよい。具体的には、例えば、１コーラス直後、間奏に入ったときの拍手音声の大きさで、場の盛り上がりを評価してもよい。評価する場合は、１つの楽曲内で比較／検証するのでは無く、直前の曲、同一カラオケボックス／ユーザ内の変化も考慮の範囲としてもよい。つまり相対結果を導入することで、より「場の雰囲気」がつかみ易くなる。
【００３８】
（１１）上述した実施形態では、歌唱者の歌唱を採点する場合を例に挙げて説明したが、これに限らず、楽器を演奏する者の演奏を採点してもよい。このように、本発明にいう「音声」には、人間が発生した音声や楽器の演奏音といった種々の音響が含まれる。
【００３９】
（１２）上述した実施形態では、制御部１１は、図２に示したような修正の態様で採点結果を修正したが、採点の修正の態様はこれに限定されるものではなく、例えば、「笑っている」場合には、点数を「１２０％」にしたり、「うつむいている」場合には点数を「８０％」にする等してもよく、採点の修正の態様はどのようなものであってもよい。要するに、視聴者の挙動が採点結果に反映される態様であればどのようなものであってもよい。
【００４０】
（１３）上述した実施形態では対応関係記憶領域１２２に記憶されたテーブルを参照して修正の態様を特定したが、修正の態様の特定方法はこれに限定されるものではない。例えば、所定のアルゴリズムを用いて視聴者の挙動を採点結果に加味するようにしてもよく、視聴者の挙動を採点結果に加味するものであればどのようなものであってもよい。
【００４１】
（１４）上述した実施形態では、カラオケ装置１０が、同実施形態に係る機能の総てを実現するようになっていた。これに対し、ネットワークで接続された２以上の装置が上記機能を分担するようにし、それら複数の装置を備えるシステムが同実施形態のカラオケ装置１０を実現してもよい。例えば、マイクロホンやスピーカ、カメラを備える端末装置と、採点機能を備える専用のコンピュータ装置とがネットワークで接続されたシステムとして構成されていてもよい。
【００４２】
（１５）上述したカラオケ装置１０の制御部１１によって実現されるプログラムは、磁気テープ、磁気ディスク、フレキシブルディスク、光記録媒体、光磁気記録媒体、ＲＡＭ、ＲＯＭなどの記録媒体に記録した状態で提供し得る。また、インターネットのようなネットワーク経由でカラオケ装置１０にダウンロードさせることも可能である。
【図面の簡単な説明】
【００４３】
【図１】カラオケ装置の構成の一例を示すブロック図である。
【図２】対応関係記憶領域に記憶されたテーブルの内容の一例を示す図である。
【図３】カラオケ装置の機能的構成の一例を示すブロック図である。
【図４】対応関係記憶領域に記憶されたテーブルの内容の一例を示す図である。
【符号の説明】
【００４４】
１０…カラオケ装置、１１…制御部、１２…記憶部、１３…表示部、１４…操作部、１５…マイクロホン、１６…音声処理部、１７…スピーカ、１８…撮影部、１１１…採点部、１１２…挙動検出部、１２１…楽曲データ記憶領域、１２２…対応関係記憶領域。
【技術分野】
【０００１】
本発明は、音声を評価する技術に関する。
【背景技術】
【０００２】
カラオケ装置においては、歌唱者の歌唱の巧拙を採点するための方法が種々提案されている。例えば、歌唱者の歌唱音声の音量やピッチを検出し、ガイドメロディと比較することによって歌唱を採点する方法が提案されている（特許文献１乃至６参照）。
【特許文献１】特開平１０−７８７４９号公報
【特許文献２】特開平１０−７８７５０号公報
【特許文献３】特開平１０−４９１８３号公報
【特許文献４】特開平１０−６９２１６号公報
【特許文献５】特開平１０−９１１７２号公報
【特許文献６】特開平１０−２８２９７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、歌唱する者は、楽譜に沿って機械的に歌唱せずに、ビブラートやこぶし等の歌唱技法を用いて歌唱を行うものも多い。しかしながら、従来の装置においては、ガイドメロディ等の基準データとの差分に基づいて歌唱の採点を行うことが一般的であるから、歌唱者が機械的にリファレンス通りに歌唱するほど高得点となり、様々な歌唱技法を用いたりアレンジを利かせたりして自己流で歌唱した場合には、採点結果が悪くなることが多い。これは楽器の演奏についても同様である。
本発明は、このような事情に鑑みてなされたものであり、歌唱又は楽器の演奏について、従来と比較して、より人為的な採点に近い採点を行うことのできる技術を提供する。
【課題を解決するための手段】
【０００４】
本発明の好適な態様である音声評価装置は、音声を採点する際に参照される参照データを記憶する参照データ記憶手段と、音声を表す音声信号と前記参照データ記憶手段に記憶された参照データとの比較に基づいて、当該音声の採点を行う採点手段と、前記音声を発する者を視聴する視聴者の挙動を検出する視聴者挙動検出手段と、前記視聴者挙動検出手段が検出した挙動を解析し、解析結果に基づいて前記採点手段の採点結果を修正する修正手段と、前記修正手段により修正された採点結果を示すデータを出力する出力手段とを具備することを特徴とする。
上述の態様において、前記視聴者挙動検出手段は、前記視聴者を撮影する撮影手段により撮影された映像を画像解析することによって、当該視聴者の挙動を検出してもよい。
また、前記視聴者挙動検出手段は、前記視聴者の音声を収音する収音手段から出力される音声信号を音声解析することによって、当該視聴者の挙動を検出してもよい。
また、前記視聴者挙動検出手段は、操作された内容に応じた操作信号を出力する操作手段から出力される操作信号に基づいて前記視聴者の挙動を検出してもよい。
【０００５】
また、上述の態様において、楽曲の種別と前記視聴者の挙動との組み合わせと、採点の修正の態様を示す修正態様データとの対応関係を記憶する対応関係記憶手段と、前記音声の楽曲の種別を判定する楽曲種別判定手段とを備え、前記修正手段は、前記楽曲種別判定手段により判定された楽曲の種別と前記視聴者挙動検出手段が検出した挙動との組み合わせに対応する採点の修正の態様を、前記対応関係記憶手段を参照して特定し、特定した採点の修正の態様で、前記採点手段の採点結果を修正してもよい。
【０００６】
また、本発明の好適な態様であるカラオケ装置は、上述の音声評価装置と、前記楽曲を表す楽曲データを記憶する楽曲データ記憶手段と、前記楽曲データ記憶手段に記憶された楽曲データを再生する再生手段とを備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、歌唱又は楽器の演奏について、従来と比較して、より人為的な採点に近い採点を行うことができる。
【発明を実施するための最良の形態】
【０００８】
次に、この発明を実施するための最良の形態を説明する。
＜Ａ：構成＞
図１は、この発明の一実施形態であるカラオケ装置１０のハードウェア構成を示すブロック図である。このカラオケ装置１０は、カラオケ伴奏を行う機能や、歌唱者の歌唱を採点する機能を備えた装置である。図において、制御部１１は、ＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備え、ＲＯＭ又は記憶部１２に記憶されているコンピュータプログラムを読み出して実行することにより、バスＢＵＳを介してカラオケ装置１０の各部を制御する。記憶部１２は、制御部１１によって実行されるプログラムやその実行時に使用されるデータを記憶するための記憶手段であり、例えばハードディスク装置である。表示部１３は、液晶パネルなどを備え、制御部１１の制御の下で、カラオケ装置１０を操作するためのメニュー画面や、背景画像に歌詞テロップを重ねたカラオケ画面等の各種画面を表示する。操作部１４は、利用者による操作に応じた操作信号を制御部１１に出力する。マイクロホン１５は、利用者が発する音声（以下「入力音声」という）を収音する収音機器である。マイクロホン１５は、入力音声の時間軸上における波形を表すアナログの電気信号を出力する。音声処理部１６は、マイクロホン１５から入力される電気信号をデジタルデータに変換する。また、音声処理部１６は、デジタルデータをアナログ信号に変換してスピーカ１７に出力する。スピーカ１７は、音声処理部１６でデジタルデータからアナログ信号に変換され出力される音声信号に応じた強度で放音する放音手段である。撮影部１８は、歌唱者の歌唱を視聴する者（以下「視聴者」という）を撮影する撮影手段であり、撮影した映像を表す映像信号を制御部１１に出力する。撮影部１８は、例えばカラオケボックス内に設置された監視カメラであってもよく、また、視聴者の撮影用に設けられた専用の映像撮影機器であってもよい。
【０００９】
なお、この実施形態では、マイクロホン１５とスピーカ１７とがカラオケ装置１０に含まれている場合について説明するが、音声処理部１６に入力端子及び出力端子を設け、オーディオケーブルを介してその入力端子に外部マイクロホンを接続する構成としても良く、同様に、オーディオケーブルを介してその出力端子に外部スピーカを接続するとしても良い。また、この実施形態では、マイクロホン１５から音声処理部１６へ入力される音声信号及び音声処理部１６からスピーカ１７へ出力される音声信号がアナログ音声信号である場合について説明するが、デジタル音声データを入出力するようにしても良い。このような場合には、音声処理部１６にてＡ／Ｄ変換やＤ／Ａ変換を行う必要はない。
【００１０】
記憶部１２は、図示のように、楽曲データ記憶領域１２１と、対応関係記憶領域１２２とを有している。楽曲データ記憶領域１２１には、カラオケ演奏時に再生される楽曲を表す楽曲データが多数記憶されている。楽曲データは、ＭＩＤＩ（Musical Instruments Digital Interface）形式などのデータ形式の、各楽曲の伴奏楽音を構成する伴奏データと、カラオケ伴奏の際に歌詞テロップとして表示される楽曲の歌詞を表す歌詞データと、ＭＩＤＩ形式などのデータ形式の、楽曲のガイドメロディを表すガイドメロディデータとを含んでいる。この実施形態では、このガイドメロディデータは、歌唱者の音声を採点する際に参照される参照データとして用いられる。
【００１１】
対応関係記憶領域１２２には、視聴者の挙動と採点の修正の態様を示す修正態様データとの対応関係を示すテーブルが記憶されている。図２は、対応関係記憶領域１２２に記憶されたテーブルの内容の一例を示す図である。図示のように、このテーブルは、「視聴者の挙動」と「修正の態様」との各項目が互いに関連付けて記憶されている。これらの項目のうち、「視聴者の挙動」の項目には、「拍手」、「肩組み」、「笑顔」、「うつむいている」、といったような、視聴者の挙動の種別を表す挙動種別情報が記憶されている。「修正の態様」の項目には、「＋１５」、「＋２０」、「−１０」など、採点の修正の態様を示す修正態様データが記憶されている。カラオケ装置１０の制御部１１は、このテーブルを参照して、歌唱の採点結果を修正する。
【００１２】
次に、カラオケ装置１０の機能的構成について、図３を参照しつつ説明する。図３は、カラオケ装置１０の機能的構成を示すブロック図である。図において、採点部１１１，挙動検出部１１２は、カラオケ装置１０の制御部１１がＲＯＭ又は記憶部１２に記憶されたコンピュータプログラムを実行することによって実現される。なお、図中の矢印はデータの流れを概略的に示すものである。なお、採点部１１１や挙動検出部１１２等は、音声処理に専用されるＤＳＰ(Digital Signal Processor)などのハードウェアによって実現される構成としてもよい。
【００１３】
図３において、採点部１１１は、音声処理部１６を介して供給される歌唱者音声データと楽曲データ記憶領域１２１に記憶されたガイドメロディデータとを比較し、該比較結果に基づいて歌唱者の音声（以下「歌唱者音声」という）の採点を行う機能を有する。この採点は、例えば、歌唱者音声データとガイドメロディデータとのピッチ、パワー等の音声の特徴を比較し、差分が小さいほど採点結果がよくなるように採点を行ってもよい。なお、採点部１１１が行う採点処理の内容は、従来の装置で行われている採点処理と同様であり、ここではその詳細な説明を省略する。
なお、この実施形態では音声を採点する際に参照される参照データとしてガイドメロディデータを用いる構成としたが、参照データはガイドメロディデータに限らず、そのデータを用いて採点を行うことのできるデータであればどのようなものであってもよい。
【００１４】
次に、図３に示す挙動検出部１１２は、撮影部１８から出力される映像信号を解析して、視聴者の挙動を検出する機能を有する。ここで、挙動検出部１１２が行う視聴者の挙動検出処理の一例について以下に説明する。この実施形態では、挙動検出部１１２は、撮影部１８から出力される映像信号を解析し、人物（個体）検出処理を行うとともに、顔検出処理を行い、検出結果に基づいて視聴者の挙動を検出する。
【００１５】
挙動検出部１１２は、所定時間のストリーム映像から、個体物と動体物とを区別し、人物検出を行う。挙動検出部１１２は、検出した人物の動作パターンを予め定められたパターンと照合することにより、視聴者の挙動を検出する。具体的には、例えば、拍手をしている動作パターンを示すデータを予め記憶部１２に記憶させておき、このデータと検出した人物の動作パターンとを比較し、その一致度が所定量以上である場合に、その視聴者（人物）が拍手をしていると判定する。同様にして、挙動検出部１１２は、視聴者が肩を組んでいるか否か、また、ウェーブを行っているか否か、スクラムを組んでいるか、といったことも判定する。挙動検出部１１２は、判定結果を示すパラメータを採点部１１１に出力する。なお、視聴者が複数いる場合には、全体の視聴者の数に対するその動作（拍手、肩組み等）を行っている視聴者の割合を示すデータをパラメータとして用いてもよい。なお、視聴者の挙動の検出方法はこれに限定されるものではなく、視聴者の挙動を好適に検出するものであればどのようなものであってもよい。
【００１６】
また、挙動検出部１１２は、肌色検出を行うとともに撮影された映像を予め定められたパターンの画像と照合し、その一致度に基づいて、映像から顔部分を検出する。挙動検出部１１２は、検出した顔部分の画像に基づいて、視聴者の顔の向きを判定し、判定結果（下を向いている、等）を示すパラメータを採点部１１１に出力する。
【００１７】
また、挙動検出部１１２は、検出した顔部分の画像と予め定められたパターンとを照合して、顔の表情を検出する。具体的には、例えば、笑っている顔を示すデータを予め記憶部１２に記憶させておき、このデータと検出した顔部分のデータとを比較し、その一致度が所定量以上である場合に、その視聴者が笑っていると判定する。挙動検出部１１２は、顔判定結果を示すパラメータを採点部１１１に出力する。なお、視聴者が複数いる場合には、全体の人数に対するその表情（笑顔等）の視聴者の割合を示すデータをパラメータとして用いてもよい。なお、視聴者の顔の向きや表情を検出する方法はこれに限定されるものではなく、視聴者の顔の向きや表情を好適に検出するものであればどのようなものであってもよい。
この実施形態では、挙動検出部１１２は、検出結果を示すパラメータを、採点部１１１に定期的（例えば１０秒毎、等）に出力する。
【００１８】
採点部１１１は、挙動検出部１１２から供給されるパラメータに基づいて、検出された挙動を解析し、解析結果に基づいて採点結果を修正する。具体的には、採点部１１１は、供給されるパラメータに対応する修正の態様を、対応関係記憶領域１２２に記憶されたテーブルを参照して特定し、特定した修正の態様で採点結果を修正する。具体的には、図２に示す例においては、視聴者が「笑顔」である旨のパラメータを受信した場合には、採点部１１１は、採点結果に「２０」を加算する。
【００１９】
このように採点部１１１が視聴者の挙動に応じて採点結果を修正することにより、例えば、歌唱中にうつむいている人が多い場合には、視聴者は「つまらない」と感じていると判定される。一方、歌唱中ににこやかな表情の人が多い場合には、「場が楽しい雰囲気になっている」と判定される。また、顔の表情が「笑っている」と認識される場合、場が盛り上がっていると判断され、加点される。
【００２０】
＜Ｂ：動作＞
次に、この実施形態の動作について説明する。まず、歌唱者は、カラオケ装置１０の操作部１４を操作して、歌唱したい楽曲を選択する操作を行う。操作部１４は、操作された内容に応じた操作信号を制御部１１へ出力する。制御部１１は、操作部１４から出力される操作信号に応じて楽曲を選択する。制御部１１は、選択した楽曲のカラオケ伴奏を開始する。すなわち、音声処理部１６は、制御部１１の制御の下、楽曲データ記憶領域１２１から伴奏データを読み出してアナログ信号に変換し、スピーカ１７に供給する。スピーカ１７は、供給されるアナログ信号に応じて、伴奏音を放音する。歌唱者は、スピーカ１７から放音される伴奏音にあわせて歌唱を行う。このとき、歌唱者の音声はマイクロホン１５によって収音されて音声信号に変換され、音声処理部１６へと出力される。音声処理部１６は、マイクロホン１５から出力される音声信号をデジタルデータ（以下「歌唱者音声データ」という）に変換する。
【００２１】
制御部１１は、上述した採点部１１１の処理を行う。すなわち、制御部１１は、歌唱者音声データとガイドメロディデータとを比較し、該比較結果に基づいて歌唱者の音声（以下「歌唱者音声」という）の採点を行う。また、制御部１１は、上述した挙動検出部１１２の処理を行う。すなわち、制御部１１は、撮影部１８からの映像信号に基づいて視聴者の挙動を検出し、検出した挙動に対応する修正の態様で、採点結果を修正する。
【００２２】
次いで、制御部１１は、修正した採点結果を示すデータを表示部１３に出力する。表示部１３は、制御部１１から供給されるデータに基づいて採点結果を表示する。歌唱者は、表示部１３に表示された画面を確認することで、自身の歌唱に対する採点結果を把握することができる。
【００２３】
このように、この実施形態では、制御部１１が、視聴者の挙動を検出し、検出結果を加味した採点を行うから、視聴者の挙動を採点に反映させることができる。このように、視聴者の反応を評価基準に盛り込むことで、より人間的な評価ポイントを加味することができる。視聴者の挙動は、視聴者の視聴中の心情が表れることが多く、これにより、従来の装置と比較して、より人為的な採点に近い採点を行うことができる。具体的には、例えば、視聴者が拍手をしている場合には、場が盛り上がっていることが多く、この場合には採点結果が高くなる。一方、うつむいている視聴者が多い場合には、場が盛り下がっていることが多く、このような場合には採点結果は悪くなる。
このように、この実施形態では、視聴者の人間的に反応するしぐさや音で、その場の楽しさを解析し、それを採点結果に盛り込むことができる。これにより、従来のパラメータ主体の評価アルゴリズムではキャッチできなかった要素（人間的反応）を反映させることが可能となり、採点にリアリズムを加味することができる。
【００２４】
＜Ｃ：変形例＞
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。なお、以下の各態様を適宜に組み合わせてもよい。
（１）上述した実施形態では、マイクロホン１５で収音された歌唱者の音声を採点したが、入力される音声は、マイクロホン１５で収音される音声でも、また、記憶部１２に予め記憶された音声データであってもよい。また、カラオケ装置１０に通信部を設ける構成とし、該通信部を介して受信される音声データを採点してもよい。要するに、制御部１１に入力される音声データであればどのようなものであってもよい。
【００２５】
（２）上述した実施形態では、カラオケ装置を本発明に係る音声評価装置として適用したが、音声評価装置として適用される装置はカラオケ装置に限らず、例えばパーソナルコンピュータや移動体通信端末、携帯型ゲーム機、ポータブルミュージックプレーヤなど、様々な装置が本発明に係る音声評価装置として適用可能である。
【００２６】
（３）上述した実施形態では、視聴者の挙動の検出と音声の採点とをリアルタイムで行ったが、これに限らず、歌唱が終了した時点で採点を行うようにしてもよく、採点のタイミングは任意である。
【００２７】
（４）上述した実施形態では、採点結果を、表示部１３に表示することによって歌唱者に報知したが、報知の態様はこれに限らず、例えば、音声メッセージを出力することによって報知してもよく、また、採点結果を示す音声メッセージを出力するような形態であってもよい。また、採点結果を示す情報を電子メール形式で歌唱者のメール端末に送信するという形態であってもよい。また、採点結果を示す情報を記憶端末に出力して記憶させるようにしてもよく、この場合、歌唱者はコンピュータを用いてこの記憶媒体から情報を読み出させることで、それを参照することができる。また、採点結果を所定の用紙に印刷出力してもよい。要は、歌唱者に対して何らかの手段でメッセージ乃至情報を伝えられるように、採点結果を示す情報を出力するものであればよい。
また、採点結果は、歌唱中にリアルタイムに報知してもよく、また、歌唱が終了した後で採点結果を報知してもよく、採点結果を報知するタイミングは任意である。
【００２８】
（５）上述した実施形態では、視聴者を撮影する撮影部として、カラオケボックスに設置された監視カメラを用いた。撮影部はこれに限らず、例えば、専用カメラの映像を用いてもよく、また、携帯通信端末等に設けられているカメラの映像を用いるようにしてもよい。
また、上述した実施形態では、撮影部は動画を撮影したが、これに限らず、静止画を撮影し、撮影した静止画に基づいて視聴者の挙動を検出してもよい。この場合は、例えば、所定単位時間（例えば、１分）毎に視聴者を撮影し、撮影した画像から視聴者の顔認識等を行い、視聴者が笑っているか否か等を判定すればよい。なお、笑い以外の表情認識を行ってもよい。
要するに、撮影部は、視聴者を撮影するものであればどのようなものであってもよい。
【００２９】
また、視聴者の挙動を検出する方法は上述した実施形態で示したものに限らず、例えば、視聴者の声を収音し、収音した音声を解析して、視聴者の挙動を検出してもよい。この場合は、視聴者の音声を収音して収音した音声を表す音声信号を出力する収音手段（マイクロホン等）を設ける構成とし、収音手段が出力する音声信号を解析して、視聴者の挙動を検出する。具体的には、例えば、収音手段が出力した音声信号と、予め定められた音声パターンとを照合し、その一致度が予め定められた範囲内である場合に、その音声パターンに対応する挙動を、視聴者の挙動として特定してもよい。
この場合、収音手段としては、カラオケボックス内に設置されたマイクロホンを用いてもよく、また、視聴者の音声を収音する専用のマイクロホンを設ける構成としてもよい。
この場合、音声パターンとしては、具体的には、例えば、ブーイングを表す音声や、ヤジを表す音声、拍手を表す音声、等の各種の挙動において発せられる音声の特徴（ピッチ、スペクトル等）を音声パターンとして予め記憶しておき、この記憶された音声パターンと、収音された音声のパターンとを照合すればよい。
そして、制御部１１は、例えば、視聴者の挙動としてブーイングやヤジが検出された場合には、マイナスポイントを付加する一方、視聴者の挙動として拍手が検出された場合には、加点処理を行ってもよい。
この場合、例えば、マイクを通して収録される環境音が静かであれば、『歌に聞き入っている』と判断し点数をアップ、間奏に入るところで大きな拍手音がなれば『上手かった』と判断して点数をアップする、といったように、視聴者の挙動に表れる場の雰囲気を採点に加味することができる。
なお、視聴者の音声の解析と視聴者の映像の解析とを両方行って、視聴者の挙動を検出してもよい。
【００３０】
また、聴取者の挙動を検出する他の構成として、例えば、視聴者によって操作される操作手段を設ける構成とし、操作手段の操作内容に応じて視聴者の挙動を検出してもよい。この場合は、具体的には、例えば、歌唱者の歌唱の巧拙を評価するための各種ボタンを設けた操作手段を設け、視聴者によって操作されると、操作手段は、操作された内容に応じた操作信号を制御部１１に出力する。制御部１１は、操作手段から供給される操作信号に応じて、視聴者の挙動を検出する。
【００３１】
このように、視聴者の挙動を検出する方法は、視聴者を撮影して撮影された画像を解析することによって視聴者の挙動を検出してもよく、また、視聴者の音声を収音して収音した音声を解析することによって視聴者の挙動を検出してもよく、また、操作された内容に応じて視聴者の挙動を検出してもよい。また、例えば、振動を検出するセンサ等を視聴者に装着させ、そのセンサからの出力信号に応じて視聴者の挙動を検出してもよい。この場合は、例えば、振動回数が大きいほど場が盛り上がっていると判定してもよい。
要するに、視聴者の挙動を検出するものであればどのようなものであってもよい。
【００３２】
（６）上述した実施形態では、視聴者の挙動（反応）に応じて採点結果を修正する構成としたが、これに限らず、視聴者の挙動のみから採点を行う構成としてもよい。この場合であっても、視聴者の挙動を検出することによって、場の盛り上がりの程度を判定することができる。具体的には、例えば、歌唱に限らず、落語や漫才等において視聴者の挙動を検出して採点を行うことで、特に評価される者が複数いる場合に、視聴者の反応に基づいた相対的な採点を行うことができる。
【００３３】
（７）上述した実施形態では、歌唱者音声データとガイドメロディデータとを比較し、該比較結果に基づいて歌唱者音声を採点したが、採点の方法はこれに限定されるものではなく、歌唱者音声を採点するものであればどのようなものであってもよい。具体的には、例えば、模範となる歌唱音声を表す模範音声データと、歌唱者音声データとを比較し、その比較結果に基づいて歌唱者音声を採点してもよい。この場合は、具体的には、例えば、模範音声データと歌唱者音声データとのピッチ、パワー、スペクトル等を比較し、その一致度が高いほど採点結果が高くなるように採点してもよい。また、例えば、歌唱者音声データと模範音声データとのそれぞれで用いられている歌唱技法（ビブラート、こぶし等）を比較し、その一致度に基づいて歌唱者音声を採点してもよい。要するに、歌唱者音声を採点するものであれば、採点の方法はどのようなものであってもよい。
【００３４】
（８）上述した実施形態では、挙動検出部１１２は、検出結果を示すパラメータを、採点部１１１に定期的に出力する構成としたが、採点部１１１がパラメータを取得する構成はこれに限定されるものではない。具体的には、例えば、挙動検出部１１２が、検出結果を示すデータを、記憶部１２の予め定められた記憶領域に定期的に記憶する構成とし、採点部１１１が、該予め定められた記憶領域から、定期的にデータを取得する構成としてもよい。また、例えば、挙動検出部１１２が、タイムスタンプ付きでデータを記憶部１２の予め定められた記憶領域に記憶する構成とし、採点部１１１は、記憶されたデータのタイムスタンプを参照して、任意の時刻（例えば１０分前等）のパラメータを取得できる構成としてもよい。要するに、採点部１１１が、パラメータを取得できる態様であれば、その取得方法はどのようなものであってもよい。
【００３５】
（９）上述した実施形態において、楽曲の種別と視聴者の挙動との組み合わせと、採点の修正の態様を示す修正態様データとの対応関係を記憶する対応関係記憶手段を備える構成とし、制御部１１が、楽曲の種別を判定し、判定された楽曲の種別と検出した視聴者の挙動との組み合わせに対応する採点の修正の対応を、対応関係記憶手段を参照して特定し、特定した採点の修正の態様で、採点結果を修正する構成としてもよい。
図４は、この場合に用いられるテーブルの内容の一例を示す図である。図示のように、このテーブルは、「楽曲種別」と「視聴者の挙動」と「修正の態様」との各項目が互いに関連付けて記憶されている。これらの項目のうち、「楽曲種別」の項目には、例えば、「バラード」、「ラップ」、「任意」など、楽曲の種別を表す楽曲種別情報が記憶されている。なお、「楽曲種別」が「任意」の項目は、すべての楽曲種別において参照される項目である。「視聴者の挙動」の項目には、「笑顔」、「拍手」といったような、視聴者の挙動の種別を表す挙動種別情報が記憶されている。「修正の態様」の項目には、「−１０」、「＋２０」、「＋１５」など、採点の修正の態様を示す修正態様データが記憶されている。
この態様では、カラオケ装置１０の制御部１１は、まず、楽曲の種別を判定する。この判定は、例えば、楽曲データに含まれる曲コードから判定してもよく、また、楽曲データにジャンルを示すジャンルデータを含める構成とし、制御部１１がこのジャンルデータを参照して種別を判定してもよい。また、制御部１１が、楽曲のリズムやテンポ、メロディ等を解析し、解析結果に基づいて楽曲の種別を判定してもよい。制御部１１は、楽曲の種別を判定すると、判定した楽曲の種別と検出した視聴者の挙動との組み合わせをキーとしてこのテーブルを検索し、検索された修正の態様で採点結果を修正する。
この態様によれば、視聴者の挙動が同じ場合であっても、楽曲の種別（例えば、バラード、ラップ等）に応じて異なる採点修正を行うことができる。
【００３６】
（１０）上述した実施形態では、１曲の楽曲において一意的な採点を行ったが、これに代えて、楽曲の部分部分に応じて採点方法を変更する構成としてもよい。例えば、楽曲のサビの部分でのみ採点処理及び採点の修正処理を行うようにしてもよい。また、例えば、上述の図４に示したテーブルを参照し、楽曲の前半の部分は、「バラード」に対応する修正の態様で採点を修正する一方、楽曲の後半の部分では、「ラップ」に対応する修正の態様で採点を修正するようにしてもよい。
【００３７】
また、映像だけでなく、マイク入力などからも、掛け声や歓声音、拍手音、等の解析を行い、楽曲シーケンスと比較して重み付けを行ってもよい。具体的には、例えば、１コーラス直後、間奏に入ったときの拍手音声の大きさで、場の盛り上がりを評価してもよい。評価する場合は、１つの楽曲内で比較／検証するのでは無く、直前の曲、同一カラオケボックス／ユーザ内の変化も考慮の範囲としてもよい。つまり相対結果を導入することで、より「場の雰囲気」がつかみ易くなる。
【００３８】
（１１）上述した実施形態では、歌唱者の歌唱を採点する場合を例に挙げて説明したが、これに限らず、楽器を演奏する者の演奏を採点してもよい。このように、本発明にいう「音声」には、人間が発生した音声や楽器の演奏音といった種々の音響が含まれる。
【００３９】
（１２）上述した実施形態では、制御部１１は、図２に示したような修正の態様で採点結果を修正したが、採点の修正の態様はこれに限定されるものではなく、例えば、「笑っている」場合には、点数を「１２０％」にしたり、「うつむいている」場合には点数を「８０％」にする等してもよく、採点の修正の態様はどのようなものであってもよい。要するに、視聴者の挙動が採点結果に反映される態様であればどのようなものであってもよい。
【００４０】
（１３）上述した実施形態では対応関係記憶領域１２２に記憶されたテーブルを参照して修正の態様を特定したが、修正の態様の特定方法はこれに限定されるものではない。例えば、所定のアルゴリズムを用いて視聴者の挙動を採点結果に加味するようにしてもよく、視聴者の挙動を採点結果に加味するものであればどのようなものであってもよい。
【００４１】
（１４）上述した実施形態では、カラオケ装置１０が、同実施形態に係る機能の総てを実現するようになっていた。これに対し、ネットワークで接続された２以上の装置が上記機能を分担するようにし、それら複数の装置を備えるシステムが同実施形態のカラオケ装置１０を実現してもよい。例えば、マイクロホンやスピーカ、カメラを備える端末装置と、採点機能を備える専用のコンピュータ装置とがネットワークで接続されたシステムとして構成されていてもよい。
【００４２】
（１５）上述したカラオケ装置１０の制御部１１によって実現されるプログラムは、磁気テープ、磁気ディスク、フレキシブルディスク、光記録媒体、光磁気記録媒体、ＲＡＭ、ＲＯＭなどの記録媒体に記録した状態で提供し得る。また、インターネットのようなネットワーク経由でカラオケ装置１０にダウンロードさせることも可能である。
【図面の簡単な説明】
【００４３】
【図１】カラオケ装置の構成の一例を示すブロック図である。
【図２】対応関係記憶領域に記憶されたテーブルの内容の一例を示す図である。
【図３】カラオケ装置の機能的構成の一例を示すブロック図である。
【図４】対応関係記憶領域に記憶されたテーブルの内容の一例を示す図である。
【符号の説明】
【００４４】
１０…カラオケ装置、１１…制御部、１２…記憶部、１３…表示部、１４…操作部、１５…マイクロホン、１６…音声処理部、１７…スピーカ、１８…撮影部、１１１…採点部、１１２…挙動検出部、１２１…楽曲データ記憶領域、１２２…対応関係記憶領域。
【特許請求の範囲】
【請求項１】
音声を採点する際に参照される参照データを記憶する参照データ記憶手段と、
音声を表す音声信号と前記参照データ記憶手段に記憶された参照データとの比較に基づいて、当該音声の採点を行う採点手段と、
前記音声を発する者を視聴する視聴者の挙動を検出する視聴者挙動検出手段と、
前記視聴者挙動検出手段が検出した挙動を解析し、解析結果に基づいて前記採点手段の採点結果を修正する修正手段と、
前記修正手段により修正された採点結果を示すデータを出力する出力手段と
を具備することを特徴とする音声評価装置。
【請求項２】
請求項１に記載の音声評価装置において、
前記視聴者挙動検出手段は、前記視聴者を撮影する撮影手段により撮影された映像を画像解析することによって、当該視聴者の挙動を検出する
ことを特徴とする音声評価装置。
【請求項３】
請求項１に記載の音声評価装置において、
前記視聴者挙動検出手段は、前記視聴者の音声を収音する収音手段から出力される音声信号を音声解析することによって、当該視聴者の挙動を検出する
ことを特徴とする音声評価装置。
【請求項４】
請求項１に記載の音声評価装置において、
前記視聴者挙動検出手段は、操作された内容に応じた操作信号を出力する操作手段から出力される操作信号に基づいて前記視聴者の挙動を検出する
ことを特徴とする音声評価装置。
【請求項５】
請求項１乃至４のいずれかに記載の音声評価装置において、
楽曲の種別と前記視聴者の挙動との組み合わせと、採点の修正の態様を示す修正態様データとの対応関係を記憶する対応関係記憶手段と、
前記音声の楽曲の種別を判定する楽曲種別判定手段とを備え、
前記修正手段は、前記楽曲種別判定手段により判定された楽曲の種別と前記視聴者挙動検出手段が検出した挙動との組み合わせに対応する採点の修正の態様を、前記対応関係記憶手段を参照して特定し、特定した採点の修正の態様で、前記採点手段の採点結果を修正する
ことを特徴とする音声評価装置。
【請求項６】
請求項１乃至５のいずれかに記載の音声評価装置と、
前記楽曲を表す楽曲データを記憶する楽曲データ記憶手段と、
前記楽曲データ記憶手段に記憶された楽曲データを再生する再生手段と
を備えることを特徴とするカラオケ装置。
【請求項１】
音声を採点する際に参照される参照データを記憶する参照データ記憶手段と、
音声を表す音声信号と前記参照データ記憶手段に記憶された参照データとの比較に基づいて、当該音声の採点を行う採点手段と、
前記音声を発する者を視聴する視聴者の挙動を検出する視聴者挙動検出手段と、
前記視聴者挙動検出手段が検出した挙動を解析し、解析結果に基づいて前記採点手段の採点結果を修正する修正手段と、
前記修正手段により修正された採点結果を示すデータを出力する出力手段と
を具備することを特徴とする音声評価装置。
【請求項２】
請求項１に記載の音声評価装置において、
前記視聴者挙動検出手段は、前記視聴者を撮影する撮影手段により撮影された映像を画像解析することによって、当該視聴者の挙動を検出する
ことを特徴とする音声評価装置。
【請求項３】
請求項１に記載の音声評価装置において、
前記視聴者挙動検出手段は、前記視聴者の音声を収音する収音手段から出力される音声信号を音声解析することによって、当該視聴者の挙動を検出する
ことを特徴とする音声評価装置。
【請求項４】
請求項１に記載の音声評価装置において、
前記視聴者挙動検出手段は、操作された内容に応じた操作信号を出力する操作手段から出力される操作信号に基づいて前記視聴者の挙動を検出する
ことを特徴とする音声評価装置。
【請求項５】
請求項１乃至４のいずれかに記載の音声評価装置において、
楽曲の種別と前記視聴者の挙動との組み合わせと、採点の修正の態様を示す修正態様データとの対応関係を記憶する対応関係記憶手段と、
前記音声の楽曲の種別を判定する楽曲種別判定手段とを備え、
前記修正手段は、前記楽曲種別判定手段により判定された楽曲の種別と前記視聴者挙動検出手段が検出した挙動との組み合わせに対応する採点の修正の態様を、前記対応関係記憶手段を参照して特定し、特定した採点の修正の態様で、前記採点手段の採点結果を修正する
ことを特徴とする音声評価装置。
【請求項６】
請求項１乃至５のいずれかに記載の音声評価装置と、
前記楽曲を表す楽曲データを記憶する楽曲データ記憶手段と、
前記楽曲データ記憶手段に記憶された楽曲データを再生する再生手段と
を備えることを特徴とするカラオケ装置。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２００８−１７０６８５（Ｐ２００８−１７０６８５Ａ）
【公開日】平成２０年７月２４日（２００８．７．２４）
【国際特許分類】
【出願番号】特願２００７−３３９５（Ｐ２００７−３３９５）
【出願日】平成１９年１月１１日（２００７．１．１１）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成２０年７月２４日（２００８．７．２４）
【国際特許分類】
【出願日】平成１９年１月１１日（２００７．１．１１）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]