カラオケシステム
【課題】利用者が実際に感じる印象に近い演奏評価を実現するカラオケシステムを提供する。
【解決手段】マイクロフォン４０により入力される音声情報に関して単位時間毎の音高及び音量を検出する音高・音量検出手段８６と、複数の利用者それぞれの音声情報を対象として、前記音高・音量検出手段８６によりＮ回連続的に検出される単位時間毎の音高及び音量に対応する２Ｎ種類のデータに関して多変量解析を行う多変量解析手段と、評価の基準データにおける音高の切り替わり部分において、前記複数の利用者の音声情報に対応する前記多変量解析手段９０による解析結果に基づいて、対象となる利用者の音声情報に係る演奏評価を行う演奏評価手段１００とを、備えたものであることから、高低差のある音高の繋ぎに相当する演奏部分を好適に評価することができる。
【解決手段】マイクロフォン４０により入力される音声情報に関して単位時間毎の音高及び音量を検出する音高・音量検出手段８６と、複数の利用者それぞれの音声情報を対象として、前記音高・音量検出手段８６によりＮ回連続的に検出される単位時間毎の音高及び音量に対応する２Ｎ種類のデータに関して多変量解析を行う多変量解析手段と、評価の基準データにおける音高の切り替わり部分において、前記複数の利用者の音声情報に対応する前記多変量解析手段９０による解析結果に基づいて、対象となる利用者の音声情報に係る演奏評価を行う演奏評価手段１００とを、備えたものであることから、高低差のある音高の繋ぎに相当する演奏部分を好適に評価することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多数の演奏曲のうちから選択される演奏曲を出力させるカラオケ装置を用いたカラオケシステムに関し、特に、利用者が実際に感じる印象に近い演奏評価を実現するための改良に関する。
【背景技術】
【０００２】
多数の演奏曲のうちから選択される演奏曲を出力させる音楽再生装置が知られている。例えば、カラオケボックス等で使用されるカラオケ装置がそれである。斯かるカラオケ装置によれば、予め記憶装置に記憶された多数のカラオケ演奏曲から選択されたカラオケ演奏曲の音楽情報を出力させると共に、そのカラオケ演奏曲の歌詞情報を含む映像をその出力に同期して画面に表示させることで、所望の歌のカラオケ演奏を楽しむことができる。
【０００３】
ところで、近年普及しているカラオケ装置には、上述のような音楽再生装置としての機能のみならず、音声入力装置（マイクロフォン）から入力される音声情報に基づいて歌唱力等を評価（採点）する演奏評価機能を備えたものがある。例えば、特許文献１に記載されたカラオケ装置がそれである。斯かるカラオケ装置によれば、音程、テンポ、音量等を基準として音声入力装置から入力される音声情報とカラオケ演奏曲の演奏情報とを比較することで、その入力される音声情報に応じて歌唱の評価を採点することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−１０１７９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上述した従来技術のような演奏評価は、通常、予め定められたアルゴリズムに従い、ＭＩＤＩ（Musical Instrument Digital Interface）データ等の演奏情報を基準データとして機械的に行われるものであったことから、利用者が実際に上手いと感じる演奏に正当な評価が与えられなかったり、逆に歌い方によっては下手な演奏に高い評価が与えられるというように、利用者の感じ方と演奏評価とか必ずしも一致しないという不具合があった。
【０００６】
本発明者は、利用者が実際に感じる印象に近い演奏評価を実現するカラオケシステムを開発すべく鋭意研究を継続する過程において、特に基準データにおいて音高が切り替わる演奏部分に関して利用者の印象と演奏評価結果とが乖離する傾向が強いことに着目した。そして、斯かる演奏部分について利用者の印象と演奏評価結果とが乖離するのは、基準データにおける音高の切り替わりが段階的であるのに対して利用者の歌唱音声の時間変化は連続的であり、たとえ高低差のある音高の繋ぎを上手く歌ったとしてもそれを正しく評価することができないためであると考えた。換言すれば、利用者が実際に感じる印象において、高低差のある音高の繋ぎに相当する演奏部分をどのように歌うかということに関する評価は無視できない重要な要素であるが、斯かる演奏部分を好適に評価し得るカラオケシステムは、未だ開発されていないのが現状である。
【０００７】
本発明は、以上の事情を背景として為されたものであり、その目的とするところは、利用者が実際に感じる印象に近い演奏評価を実現するカラオケシステムを提供することにある。
【課題を解決するための手段】
【０００８】
斯かる目的を達成するために、本発明の要旨とするところは、多数の演奏曲のうちから選択される演奏曲を出力させると共に音声入力装置により入力される音声を増幅して出力させるカラオケ装置を用いたカラオケシステムであって、前記音声入力装置により入力される音声情報に関して単位時間毎の音高及び音量を検出する音高・音量検出手段と、複数の利用者それぞれの音声情報を対象として、前記音高・音量検出手段によりＮ回連続的に検出される単位時間毎の音高及び音量に対応する２Ｎ種類のデータに関して多変量解析を行う多変量解析手段と、評価の基準データにおける音高の切り替わり部分において、前記複数の利用者の音声情報に対応する前記多変量解析手段による解析結果に基づいて、対象となる利用者の音声情報に係る演奏評価を行う演奏評価手段とを、備えたことを特徴とするものである。
【発明の効果】
【０００９】
このようにすれば、前記音声入力装置により入力される音声情報に関して単位時間毎の音高及び音量を検出する音高・音量検出手段と、複数の利用者それぞれの音声情報を対象として、前記音高・音量検出手段によりＮ回連続的に検出される単位時間毎の音高及び音量に対応する２Ｎ種類のデータに関して多変量解析を行う多変量解析手段と、評価の基準データにおける音高の切り替わり部分において、前記複数の利用者の音声情報に対応する前記多変量解析手段による解析結果に基づいて、対象となる利用者の音声情報に係る演奏評価を行う演奏評価手段とを、備えたものであることから、高低差のある音高の繋ぎに相当する演奏部分を好適に評価することができる。すなわち、利用者が実際に感じる印象に近い演奏評価を実現するカラオケシステムを提供することができる。
【００１０】
ここで、好適には、前記多変量解析手段は、前記音高・音量検出手段により検出される音高の変化の起点をｎ＝０とする、ｎ＝１からｎ＝Ｎまでの前記２Ｎ種類のデータに関して主成分分析を行う主成分分析手段と、その主成分分析手段による分析結果に対応して、２Ｎ組の固有値・固有ベクトルを算出する固有値・固有ベクトル算出手段と、その固有値・固有ベクトル算出手段により算出される２Ｎ組の固有値・固有ベクトルに関して、各固有ベクトルを軸とする固有値の分散を算出する分散算出手段と、その分散算出手段により算出される分散が大きいものから順に前記２Ｎ組の固有値・固有ベクトルの順位を決定する順位付け手段とを、含むものであり、前記演奏評価手段は、その順位付け手段により決定された順位の高い固有値・固有ベクトルから優先的に前記演奏評価のパラメータとして用いるものである。このようにすれば、高低差のある音高の繋ぎに相当する演奏部分を実用的な態様で好適に評価することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明が好適に適用されるカラオケシステムを説明する概略図である。
【図２】図１のカラオケシステムに備えられたカラオケ装置の構成を例示するブロック線図である。
【図３】図１のカラオケシステムに備えられたサーバ装置の構成を例示するブロック線図である。
【図４】図２のカラオケ装置のＣＰＵ及び図３のサーバ装置のＣＰＵに備えられた制御機能の要部を説明する機能ブロック線図である。
【図５】本実施例を含む一般的なカラオケ演奏評価制御に用いられる基準データについて説明する図であり、入力音声情報の実測値を実線で、評価の基準となる基準データを破線で囲繞した領域でそれぞれ示している。
【図６】図５に示すような基準データに基づく演奏評価制御の問題点を説明する図である。
【図７】図２に示す本実施例のカラオケ装置による、基準データにおける音高の切り替わり部分においての音高及び音量の検出について説明する図である。
【図８】図２に示す本実施例のカラオケ装置により算出される２Ｎ組の固有値・固有ベクトルのうち２本の固有ベクトルを示すパターン空間を例示しており、各サンプルの値を複数の点で示している。
【図９】図１に示す本実施例のカラオケシステムによる演奏評価制御の効果を検証するために、複数の利用者それぞれに対応する音声情報に係るｎ＝１〜８の音高データ及び音量データについて多変量解析制御乃至演奏評価制御を行った結果を比較して示すグラフである。
【図１０】図９の比較例としてベロシティを考慮しない結果、すなわち複数の利用者それぞれに対応する音声情報に係るｎ＝１〜８に対応する音高データのみについて多変量解析制御乃至演奏評価制御を行った結果を比較して示すグラフである。
【図１１】図２のカラオケ装置のＣＰＵによる本実施例のカラオケ演奏評価制御の要部を説明するフローチャートである。
【図１２】図３のサーバ装置のＣＰＵによる本実施例のカラオケ演奏評価制御に係る多変量解析制御の要部を説明するフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の好適な実施例を図面に基づいて詳細に説明する。
【実施例】
【００１３】
図１は、本発明が好適に適用されるカラオケシステム１０を説明する概略図である。この図１に示すように、本実施例のカラオケシステム１０では、カラオケボックス、スナック、旅館等の店舗１２における複数の個室１４ａ、１４ｂ、１４ｃ、・・・（以下、特に区別しない場合には単に個室１４と称する）にそれぞれ１台乃至は複数台ずつ（図１では１台ずつ）のカラオケ装置１６ａ、１６ｂ、１６ｃ、・・・（以下、特に区別しない場合には単にカラオケ装置１６と称する）が設置されている。これら複数のカラオケ装置１６は、ルータ２８を介して公衆電話回線等による通信回線１８に接続されており、同じくその通信回線１８に接続されたカラオケサービス提供会社のサーバ装置（センタ装置）２０との相互間でその通信回線１８を介して情報の通信が可能とされている。
【００１４】
上記サーバ装置２０は、カラオケ情報（楽曲データ）、背景映像情報、曲間情報等のデジタルコンテンツ（Digital Contents）の保管や入出力管理等の基本的な制御に加えて、後述する多変量解析制御等を行うサーバであり、上記通信回線１８を介して上記カラオケ装置１６に定期的にコンテンツの配信を行うと共に、そのカラオケ装置１６からの要求に応じて所定の機能制御プログラムを送信する等の制御を行うものである。また、上記カラオケシステム１０は、複数の電子早見本装置２２ａ、２２ｂ、２２ｃ、・・・（以下、特に区別しない場合には単に電子早見本装置２２と称する）を備えており、上記カラオケ装置１６の利用に際して、各利用者（グループ）毎に１台ずつの電子早見本装置２２が貸与され、各個室１４において後述するように上記カラオケ装置１６の遠隔操作装置として用いられるようになっている。上記店舗１２内には上記複数のカラオケ装置１６を相互に接続するＬＡＮ２４が敷設されており、上記電子早見本装置２２からのカラオケ装置１６への入力は、所定のアクセスポイント２６及びＬＡＮ２４を介したＬＡＮ通信等により行われる。
【００１５】
図２は、前記カラオケ装置１６の構成を例示するブロック線図である。この図２に示すように、前記カラオケ装置１６は、ＴＦＴ（Thin Film Transistor Liquid Crystal）等の映像表示装置３０と、映像出力制御部３２と、映像情報デコーダ３４と、ビデオミキサ３６と、音源であるシンセサイザ３８と、音声入力装置であるマイクロフォン４０と、Ａ／Ｄコンバータ４１と、アンプミキサ４２と、スピーカ４４と、操作パネル４６と、その操作パネル４６等からの入力信号を処理する入出力インターフェイス４８と、中央演算処理装置であるＣＰＵ５０と、読出専用メモリであるＲＯＭ５２と、随時書込読出メモリであるＲＡＭ５４と、記憶装置であるハードディスク５６と、モデム５８と、ＬＡＮポート６０と、上記電子早見本装置２２やリモコン装置６４等の入力装置からのリモコン信号を受信するためのリモコン受信部６２とを、備えて構成されている。
【００１６】
前記映像出力制御部３２は、前記ＣＰＵ５０において生成された歌詞文字映像等の文字映像（テロップ）を出力する文字映像出力装置として機能する他、前記映像表示装置３０による種々の映像表示を制御する表示制御装置である。また、前記映像情報デコーダ３４は、利用者が歌詞を参照しながら歌を歌う際に前記ハードディスク５６に記憶された背景映像情報に基づいて所定の背景映像を再生（デコード）する背景映像再生装置である。この背景映像情報は、例えば、ＭＰＥＧ（Moving Picture Experts Group）形式のデータであり、そのＭＰＥＧデータに基づいて前記映像情報デコーダ３４により再生された背景映像は、前記ビデオミキサへ送られる。また、前記ビデオミキサ３６は、前記ＣＰＵ５０において生成され且つ前記映像出力制御部３２から出力される文字映像と、前記映像情報デコーダ３４により再生される背景映像とを合成して前記映像表示装置３０に表示させる映像合成装置である。
【００１７】
前記シンセサイザ３８は、前記ハードディスク５６から読み出されて送られて来るカラオケ演奏曲の演奏情報に基づいて楽器の演奏信号等の音楽信号を生成する音源である。この演奏情報は、例えば、ＭＩＤＩ（Musical Instrument Digital Interface）形式のデータであり、そのＭＩＤＩデータに基づいて前記シンセサイザ３８により生成された音楽信号は、アナログ信号に変換されて前記アンプミキサ４２へ送られる。そのアンプミキサ４２では、送られてきた音楽信号と前記マイクロフォン４０を介して入力される利用者の歌声とがミキシングされ、それらの信号が電気的に増幅されて前記スピーカ４４から出力される。また、前記Ａ／Ｄコンバータ４１は、音声入力装置である前記マイクロフォン４０から入力されるアナログ信号としての音声情報をディジタル信号に変換して前記ＣＰＵ５０等へ供給する。
【００１８】
前記操作パネル４６は、前記カラオケ装置１６の利用者が歌いたいカラオケ演奏曲を選択したり、演奏曲の音程を調整したり、演奏と歌との音量バランスを調整したり、その他、エコー、音量、トーン等の各種調整を行うための操作ボタン（スイッチ）或いはつまみを備えた入力装置である。また、前記カラオケ装置１６には、前記操作パネル４６の一部機能を遠隔で実行するための入力装置として機能するリモコン装置６４が備えられており、前記リモコン受信部６２は、そのリモコン装置６４から送信されるリモコン信号を受信して前記ＣＰＵ５０へ供給する。また、前記カラオケ装置１６と電子早見本装置２２との対応付け（くくりつけ）処理も前記リモコン受信部６２を介して行われ、そのようにして前記カラオケ装置１６に対応付けられた電子早見本装置２２も同様に入力装置として機能する。
【００１９】
上記ＣＰＵ５０は、上記ＲＡＭ５４の一時記憶機能を利用しつつ上記ＲＯＭ５２に予め記憶された所定のプログラムに基づいて電子情報を処理・制御する所謂マイクロコンピュータであり、上記電子早見本装置２２やリモコン装置６４等により所定のカラオケ演奏曲が選曲された場合、その選曲されたカラオケ演奏曲を上記ＲＡＭ５４に設けられた予約曲テーブルに登録したり、その予約曲テーブルの演奏順に従って上記ハードディスク５６から上記ＲＡＭ５４に選曲されたカラオケ演奏曲の演奏情報及び歌詞情報等を読み出したり、カラオケ演奏曲の演奏が進行するのに応じてそのＲＡＭ５４から上記シンセサイザ３８へ演奏情報を送信したり、歌詞情報に基づいて歌詞文字映像を生成して上記映像出力制御部３２へ送ったり、選曲時には曲名文字映像を生成して上記映像出力制御部３２へ送ったり、上記映像情報デコーダ３４を制御して所定の背景映像を再生させたり、カラオケ演奏が行われていない間すなわち曲間において、新譜情報、選曲ランキング、店舗広告等の曲間情報を出力させたり、前記通信回線１８を介した前記サーバ装置２０との間の情報通信制御等の基本的な制御に加えて、後述する演奏評価制御に係る各種制御を実行する。
【００２０】
前記モデム５８は、前記カラオケ装置１６を公衆電話回線等による通信回線１８に接続するための装置であり、前記ＣＰＵ５０から出力されるディジタル信号をアナログ信号に変換して前記通信回線１８に送り出すと共に、その通信回線１８を介して伝送されるアナログ信号をディジタル信号に変換して前記ＣＰＵ５０に供給する処理を行う。なお、前記店舗１２に備えられた複数のカラオケ装置１６のうち何れかのカラオケ装置１６が前記ルータ２８の機能を備えてマスターコマンダとして前記通信回線１８に接続される態様も考えられ、その場合、前記モデム５８はそのマスターコマンダとして機能するカラオケ装置１６には必要とされるが、そのマスターコマンダを介して前記サーバ装置２０との間で情報の通信を行う他のカラオケ装置１６には必ずしも設けられなくともよい。
【００２１】
前記ＬＡＮポート６０は、前記カラオケ装置１６をＬＡＮ２４を介して他のカラオケ装置１６や電子早見本装置２２等の他の機器に接続するための接続器であり、前記カラオケ装置１６は、そのようにＬＡＮ２４を介して接続されることで、他のカラオケ装置１６や電子早見本装置２２等の他の機器との間で情報の送受信が可能とされる。例えば、前記アクセスポイント２６を介して受信される前記電子早見本装置２２からの選曲入力を受け付けて前記ＲＡＭ５４に設けられた予約曲テーブルに記憶したり、そのアクセスポイント２６を介して前記カラオケ装置１６から電子早見本装置２２へ所定の情報を送信したりというように、電波を介して前記カラオケ装置１６と電子早見本装置２２との間における相互の情報のやりとりが実行される。
【００２２】
前記ハードディスク５６には、カラオケ演奏曲を出力させるための多数のカラオケ情報（楽曲データ）を記憶するカラオケデータベースをはじめとする各種データベースが設けられている。カラオケボックス等の店舗にそれぞれ備えられた複数のカラオケ装置１６のうち所定のカラオケ装置１６例えば前記カラオケ装置１６ａは、前記モデム５８を介して前記通信回線１８に接続されており、前記複数のカラオケ装置１６によって常に新しい曲が演奏可能とされるように、随時新たな楽曲データ等が前記サーバ装置２０から前記通信回線１８を介して配信され、前記ハードディスク５６のカラオケデータベース等に記憶される。また、そのようにして前記サーバ装置２０から情報を取得したカラオケ装置１６ａとその他のカラオケ装置１６との間で前記ＬＡＮ２４を介した通信が行われることにより、各カラオケ装置１６のハードディスク５６に記憶される情報が共有され、上記カラオケデータベース等の内容が等価なものとされる。
【００２３】
上記カラオケデータベースに記憶されるカラオケ情報（カラオケデータ）は、演奏音を生成するための演奏情報及び歌詞文字映像（歌詞テロップ）を生成するための歌詞情報から成るものであり、コンテンツＩＤである各演奏曲に固有の選曲番号により識別される。このカラオケ情報に含まれる演奏情報は、例えば前記シンセサイザ３８により所定の演奏音を出力させるためのＭＩＤＩデータであり、出力に係る演奏音（楽器）の種類と、各演奏音に対応する楽譜情報とを、含んでいる。また、上記歌詞情報は、前記映像出力制御部３２等を介して演奏曲の歌詞文字映像を出力させるためのデータであり、前記歌詞文字映像に対応する歌詞のテキスト情報と、演奏出力に併行してその歌詞文字映像の表示を切り替えるための切替タイミング情報と、演奏出力に併行してその歌詞文字映像を順次色替えするための色替タイミング情報とを、含んでいる。また、後述する演奏評価制御の基準となる図５に示すような基準データが定められている。なお、この基準データは、上記カラオケデータベースに記憶されるカラオケ情報とは別に、各演奏曲の選曲番号と関連付けられて記憶されたものであってもよい。
【００２４】
図３は、前記サーバ装置２０の構成を説明するブロック線図である。この図３に示すように、前記サーバ装置２０は、中央演算処理装置であるＣＰＵ６６によりＲＡＭ７０の一時記憶機能を利用しつつＲＯＭ６８に予め記憶されたプログラムに従って信号処理を行う所謂マイクロコンピュータシステムを備えており、前記カラオケ装置１６へのカラオケ情報等のコンテンツ配信制御をはじめとする基本的な制御に加えて、後述する多変量解析制御等の各種制御を実行する。また、ビデオボード７２により制御されるＴＦＴ等の映像表示装置７４と、インターフェイス７８を介して接続されるキーボード等の入力装置７６と、上記ＣＰＵ６６を前記通信回線１８に接続するための装置であるモデム８０とを、備えて構成されている。また、それぞれハードディスク等の大容量記憶装置に、前記カラオケ装置１６に配信するための多数のカラオケ情報を記憶するカラオケデータベース８２や後述する多変量解析制御に関する各種情報を記憶する多変量解析データベース８４等の各種データベースが設けられている。
【００２５】
図４は、前記カラオケ装置１６のＣＰＵ５０及び前記サーバ装置３０のＣＰＵ６６に備えられた制御機能の要部を説明する機能ブロック線図である。この図４に示す各種制御手段に関して、好適には、音高・音量検出手段８６及び検出結果送信手段８８が前記カラオケ装置１６のＣＰＵ５０に、多変量解析手段９０、演奏評価手段１００、及び評価結果送信手段１０２が前記サーバ装置３０のＣＰＵ６６に備えられたものであるが、上記音高・音量検出手段８６、多変量解析手段９０、及び演奏評価手段１００が一元的に前記カラオケ装置１６に備えられた態様も考えられる。
【００２６】
上記音高・音量検出手段８６は、前記マイクロフォン４０により入力される音声情報に関して単位時間毎の音高及び音量を検出する。例えば、前記マイクロフォン４０により入力されて前記Ａ／Ｄコンバータ４１によりディジタル信号に変換された音声情報に関して、例えば０．０２５秒程度の極めて短い単位時間毎にその音声情報の要素としての音高（ピッチ）及び音量（ベロシティ）を検出する。具体的には、前記Ａ／Ｄコンバータ４１を介して入力される音声情報に対応する波形を前記ＲＡＭ５４等に記憶しておき、その波形を適宜読み出して解析することで、対象となる単位時間に相当する音高及び音量を数値的に算出する。
【００２７】
前記音高・音量検出手段８６は、本実施例の演奏評価制御に関して、その演奏評価の基準データにおける音高の切り替わり部分において上記検出を行う。図５は、本実施例を含む一般的なカラオケ演奏評価制御に用いられる基準データについて説明する図であり、前記マイクロフォン４０により入力された音声情報の実測値を実線で、評価の基準となる基準データ（お手本データ）を破線で囲繞した領域でそれぞれ示している。この図５に示すように、前記カラオケ装置１６によるカラオケ演奏の評価に用いられる基準データは、対象となる演奏曲の進行（時間経過）に対応して所定の音高帯域（例えば、ガイドメロディを中心とする一定の音程幅）が段階的に定められたものである。換言すれば、高低差のある音高の切り替わり部分においては、低音側の音高帯域から高音側の音高帯域へ、或いは高音側の音高帯域から低音側の音高帯域へ、繋ぎを考慮せず即時的に移行するように基準データが定められている。
【００２８】
図５に示すように定められた基準データに基づく演奏評価制御では、例えば、前記マイクロフォン４０により入力された音声情報の実測値がその基準データの範囲に入るか否かが判定される。すなわち、対象となる音声情報の実測値が基準データの範囲に入る場合には正しい音高で歌っているものと評価される一方、基準データの範囲から逸脱する場合には正しい音高で歌えていないものと評価される。そして、図５に示すように対象となる演奏曲の進行に伴って段階的に定められた基準データに関して、前記マイクロフォン４０により入力される音声情報に関して検出される所定時間毎の音高がその基準データに入るか否かの判定が連続的に実行されることで、その演奏曲全体としての演奏評価（総合評価）が行われる。
【００２９】
図６は、図５に示すような基準データに基づく演奏評価制御の問題点を説明する図である。前述のように、評価の基準データが演奏曲の進行に伴って段階的に定められたものである場合には、高低差のある音高の切り替わり部分における評価が問題となる。すなわち、斯かる音高の切り替わり部分において、低音側の音高帯域から高音側の音高帯域へ、或いは高音側の音高帯域から低音側の音高帯域へ、繋ぎを考慮せず即時的に移行するように基準データが定められていることから、立ち上がりにおける音声情報の実測値が切り替わり前乃至切り替わり後の何れの基準データにも入らず、その部分を上手く歌ったとしても正しい評価が行われなかった。これは、基準データにおける音高の切り替わりが段階的であるのに対して前記マイクロフォン４０により検出される利用者の歌唱音声の時間変化は連続的であり、高低差のある音高の切り替わり部分においてはその音高（音程）が漸増乃至漸減することで滑らかで自然な歌い方となるからである。
【００３０】
図７は、基準データにおける音高の切り替わり部分においての前記音高・音量検出手段８６による音高及び音量の検出について説明する図である。この図７に示すように、前記音高・音量検出手段８６は、好適には、評価の基準データにおける音高の切り替わり部分において、前記マイクロフォン４０により検出される音声情報における音高の変化の起点をｎ＝０とする、ｎ＝１からｎ＝Ｎまでの音高及び音量を検出する。ここで、ｎは前記音高・音量検出手段８６の検出単位である前記単位時間それぞれの検出結果に対して付される符号であり、Ｎは好適には６〜１０の整数、最適には８である。すなわち、前記音高・音量検出手段８６は、好適には、前記マイクロフォン４０により検出される音声情報における音高の変化の起点をｎ＝０とする、ｎ＝１からｎ＝８までの０．２秒間（単位時間０．０２５×８）における８単位分の音高及び音量を検出する。なお、上記音高の変化の起点としては、図７に示すように、対象となる基準データの切り替わり直後において音高が変化（低音側から高音側への切り替わり部分においては上昇、高音側から低音側への切り替わり部分においては下降）し始めた瞬間をｎ＝１（変化の直前としての起点をｎ＝０）とするのが好ましいが、例えば基準データの切り替わりの瞬間をｎ＝０とするように基準データに基づいて予め定められたものであってもよい。
【００３１】
前記検出結果送信手段８８は、前記通信回線１８を介して前記音高・音量検出手段８６による検出結果を前記サーバ装置２０における多変量解析データベース８４へ送信乃至蓄積する。すなわち、前記音高・音量検出手段８６により検出されたｎ＝１からｎ＝Ｎまでの音高データ及び音量データを、対象となる演奏曲の識別情報（選曲番号）及びｎ＝１〜Ｎの検出時点（例えば曲の演奏開始からの経過時点）、更には演奏者（音声情報の入力主体）である利用者の識別情報と関連付けて前記多変量解析データベース８４に記憶する。そのようにして、斯かる多変量解析データベース８４には、それぞれの演奏曲に係る基準データにおける各音高の切り替わり部分毎に、前記複数のカラオケ装置１６において検出されたｎ＝１〜Ｎの音高データ及び音量データが蓄積される。すなわち、各基準データにおける音高の切り替わり部分毎に、複数の利用者それぞれの音声情報を対象として、前記音高・音量検出手段８６によりＮ回連続的に検出された単位時間毎の音高及び音量に対応する２Ｎ種類のデータ（音高データＮ個＋音量データＮ個＝２Ｎ個のデータ）がサンプルとして蓄積されるようになっている。
【００３２】
前記多変量解析手段９０は、上述のように多変量解析データベース８４に蓄積されたデータ、すなわち複数の利用者それぞれの音声情報を対象として、前記音高・音量検出手段８６によりＮ回連続的に検出された単位時間毎の音高及び音量に対応する２Ｎ種類のデータに関して多変量解析を行う。斯かる制御を行うために、前記多変量解析手段９０は、図４に示すように主成分分析手段９２、固有値・固有ベクトル算出手段９４、分散算出手段９６、及び順位付け手段９８を含んでいる。以下、これらの制御手段それぞれの制御について分説する。
【００３３】
上記主成分分析手段９２は、各基準データにおける音高の切り替わり部分に対応して前記多変量解析データベース８４に蓄積された２Ｎ種類のデータに関して、よく知られた主成分分析法（Principal Component Analysis）による主成分分析を行う。すなわち、各利用者それぞれの音声情報（対応する切り替わり部分に係るｎ＝１〜８、１６種類のデータ）に関して、次の数式１に示すような特徴ベクトルｘを算出する。なお、この数式１におけるＰ(n)は、ｎ番目の音高（入力ピッチ）をＰi(n)、ｎ番目のお手本ピッチをＰm(n)としてＰi(n)−Ｐm(n)で表される値であり、Ｖ(n)は、ｎ番目の音量（ベロシティ）をＶe(n)としてＶe(n)−Ｖe(n-1)で表される値である。また、前述のように好適にはＮ＝８である。また、前記主成分分析手段９２は、上述のように算出された複数の利用者の音声情報に対応する特徴ベクトルｘを標準化する。例えば、それら複数の特徴ベクトルｘを分散１、平均１となるように標準化する。そして、そのようにして標準化された複数の特徴ベクトルｘに基づいて分散・共分散行列を求めることにより主成分分析を行う。
【００３４】
［数式１］
ｘ＝｛Ｐ(n)，Ｐ(n+1)，・・・，Ｐ(n+N)，Ｖ(n)，Ｖ(n+1)，・・・，Ｖ(n+N)｝
【００３５】
前記固有値・固有ベクトル算出手段９４は、前記主成分分析手段９２による分析結果に対応して、２Ｎ組の固有値・固有ベクトルを算出する。前述のようにＮ＝８である場合には、前記主成分分析手段９２による分析結果に対応して１６組の固有値・固有ベクトルを算出する。この固有値・固有ベクトル算出手段９４により算出された固有値・固有ベクトルは以下の制御におけるパラメータとして用いられ、その固有ベクトルがパターン空間の軸として使用されると共に、対応する固有値がその軸の単位として使用される。
【００３６】
前記分散算出手段９６は、前記固有値・固有ベクトル算出手段９４により算出される２Ｎ組の固有値・固有ベクトルに関して、各固有ベクトルを軸とする固有値の分散を算出する。また、前記順位付け手段９８は、前記分散算出手段９６により算出される分散が大きいものから順に前記２Ｎ組の固有値・固有ベクトルの順位を決定する。図８は、前記固有値・固有ベクトル算出手段９４により算出される２Ｎ組の固有値・固有ベクトルのうち２本の固有ベクトルｖ１、ｖ２を示すパターン空間を例示しており、各サンプルの値を複数の点（ドット）で示している。この図８に示す例では、固有ベクトルｖ１を軸とするものの方が、固有ベクトルｖ２を軸とするものよりも分散が大きいことがわかる。前記順位付け手段９８は、前記固有値・固有ベクトル算出手段９４により算出される２Ｎ組の固有値・固有ベクトルそれぞれについて前記分散算出手段９６により算出される分散について斯かる比較を行うことにより、それらの固有値・固有ベクトルを分散が大きいものから順に第１位から第２Ｎ位まで順位付けする。
【００３７】
前記演奏評価手段１００は、評価の基準データにおける音高の切り替わり部分において、前記複数の利用者の音声情報に対応する前記多変量解析手段９０による解析結果に基づいて、対象となる利用者の音声情報に係る演奏評価を行う。すなわち、前記固有値・固有ベクトル算出手段９４により算出された固有ベクトルをパターン空間の軸として使用すると共に、対応する固有値をその軸の単位として使用することにより、基準値（例えば、対象となる固有ベクトルに係る平均値）からの各利用者に対応する値の偏差を求め、その偏差に対応する評価結果を算出する。好適には、斯かる基準値からの偏差が小さいほど高い評価となるように（偏差が大きいほど低い評価となるように）予め定められた関係から、各基準データにおける音高の切り替わり部分毎に算出される固有値・固有ベクトルをパラメータとして、それぞれの利用者の音声情報に対応する２Ｎ種類のデータに基づいて斯かる演奏評価を行う。
【００３８】
前記演奏評価手段１００は、好適には、順位付け手段により決定された順位の高い固有値・固有ベクトルから優先的に前記演奏評価のパラメータとして用いる。例えば、各基準データにおける音高の切り替わり部分に対応して前記固有値・固有ベクトル算出手段９４により算出される２Ｎ種類の固有値・固有ベクトルのうち、前記順位付け手段９８により最も高い順位（第１位）に順位付けされた固有ベクトルをパターン空間の軸として使用すると共に、対応する固有値をその軸の単位として前記評価を行う。すなわち、斯かる第１位の固有値・固有ベクトルに対応する基準値からの偏差が小さいほど高い評価となるように（偏差が大きいほど低い評価となるように）予め定められた関係から、それぞれの利用者の音声情報に対応する２Ｎ種類のデータに基づいて斯かる演奏評価を行う。
【００３９】
図９は、本実施例の演奏評価制御の効果を検証するために、複数の利用者それぞれに対応する音声情報に係るｎ＝１〜８の音高データ及び音量データについて前述の多変量解析制御乃至演奏評価制御を行った結果を比較して示すグラフである。この図９においては、利用者が実際に感じる印象において最も歌唱が上手い第１の歌い手（ガイド）の音声情報に対応する値を実線で、比較的歌唱が下手な第２の歌い手の音声情報に対応する値を一点鎖線で、比較的歌唱が上手い第３の歌い手の音声情報に対応する値を二点鎖線で、歌唱が上手くも下手でもない第４の歌い手の音声情報に対応する値を破線でそれぞれ示している。また、各値（サンプル番号）の基準値からの距離値（ユークリッド距離）を縦軸に示している。図９に示す例では、最も歌唱が上手い第１の歌い手に係る距離値の平均値が３．３７、比較的歌唱が上手い第３の歌い手に係る距離値の平均値が４．０７、歌唱が上手くも下手でもない第４の歌い手に係る距離値の平均値が４．３４、比較的歌唱が下手な第２の歌い手に係る距離値の平均値が４．４０という結果が得られている。すなわち、図９に示す距離値が小さいほど歌唱が上手いという関係が成立しており、利用者が実際に感じる印象に近い演奏評価を実現できることがわかる。
【００４０】
一方、図１０は、比較例としてベロシティを考慮しない結果、すなわち複数の利用者それぞれに対応する音声情報に係るｎ＝１〜８に対応する音高データのみについて前述の多変量解析制御乃至演奏評価制御を行った結果を比較して示すグラフである。この図１０においては、利用者が実際に感じる印象において最も歌唱が上手い第１の歌い手（ガイド）の音声情報に対応する値を実線で、比較的歌唱が下手な第２の歌い手の音声情報に対応する値を一点鎖線で、比較的歌唱が上手い第３の歌い手の音声情報に対応する値を破線でそれぞれ示している。また、各値（サンプル番号）の基準値からの距離値（ユークリッド距離）を縦軸に示している。図１０に示す例では、最も歌唱が上手い第１の歌い手に係る距離値の平均値が２．６９、比較的歌唱が上手い第３の歌い手に係る距離値の平均値が２．８０、比較的歌唱が下手な第２の歌い手に係る距離値の平均値が２．０６というように、最も上手い歌い手の評価と比較的上手い歌い手の評価が逆転していることに加え、比較的歌唱が下手な歌い手の評価に対する相対関係も上記図９の例に比べて狭まっており、評価がしづらい結果となっている。多変量解析においては、一般に解析対象となる対象の種類（何を解析するか）が重要になるが、図９及び図１０に比較して示すように、本実施例のように基準データにおける音高の切り替わり部分の演奏評価に関しては、前記音高・音量検出手段８６によりＮ回連続的に検出される単位時間毎の音高及び音量に対応する２Ｎ種類のデータを解析することで、利用者が実際に感じる印象に近い演奏評価を実現できるのである。
【００４１】
前記評価結果送信手段１０２は、前記演奏評価手段１００による評価結果を前記通信回線１８を介して対応する各カラオケ装置１６へ送信する。すなわち、評価の対象となった２Ｎ種類のデータの送信元であるカラオケ装置１６へ、そのデータに係る前記演奏評価手段１００による評価結果を送信（返信）する。ここで、好適には、前記カラオケ装置１６には、前記演奏評価手段１００とは別に、評価の基準データにおける音高の切り替わり部分以外の部分について演奏評価を行うための第２の演奏評価手段が備えられている。この第２の演奏評価手段は、演奏曲の出力に伴って前記マイクロフォン４０から入力される音声に応じて演奏の内容を評価する。例えば、前記マイクロフォン４０により入力されて前記Ａ／Ｄコンバータ４１によりディジタル信号に変換された音声情報と、図５に示すように定められた基準データとを比較し、メロディなどの基本音程と入力される音声情報から抽出される音高（音程）との相対的なずれやその音声の絶対的な音量（声量）などを基準として評価を行う。そして、好適には、対象となる演奏曲の演奏が終了した時点で、各音高の切り替わり部分に対応して前記評価結果送信手段１０２から受信された評価結果（演奏評価手段１００による評価結果）と、それ以外の部分について第２の演奏評価手段により算出された評価結果とに基づいて、その演奏曲の演奏を通しての総合評価が算出される。
【００４２】
図１１は、前記カラオケ装置１６のＣＰＵ５０による本実施例のカラオケ演奏評価制御の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。
【００４３】
先ず、ステップ（以下、ステップを省略する）ＳＡ１において、所定の演奏曲のカラオケ演奏が開始されたか否かが判断される。このＳＡ１の判断が否定される場合には、それをもって本ルーチンが終了させられるが、ＳＡ１の判断が肯定される場合には、ＳＡ２において、対象となる演奏曲のカラオケデータが前記ハードディスク５６のカラオケデータベースから読み出され、対応する演奏情報及び歌詞情報等が前記ＲＡＭ５４に展開される。次に、ＳＡ３において、対象となるカラオケ演奏制御すなわち前記シンセサイザ３８による演奏音の出力制御及びその演奏の進行に伴う歌詞文字映像の表示制御が開始される。次に、ＳＡ４において、基準データにおいて音高が切り替わるタイミングであるか否かが判断される。このＳＡ４の判断が否定される場合には、ＳＡ７以下の処理が実行されるが、ＳＡ４の判断が肯定される場合には、前記音高・音量検出手段８６の動作に対応するＳＡ５において、前記マイクロフォン４０により入力される音声情報に関して単位時間毎の音高及び音量がＮ回連続して検出される。次に、前記検出結果送信手段８８の動作に対応するＳＡ６において、ＳＡ５にて検出されたＮ回分の音高データ及び音量データが演奏曲の選曲番号及び該当箇所の時間情報と共に前記通信回線１８を介して前記サーバ装置２０へ送信される。次に、ＳＡ７において、ＳＡ６の送信に対応して前記サーバ装置２０からの評価結果の受信（返信）があったか否かが判断される。このＳＡ７の判断が否定される場合には、ＳＡ９以下の処理が実行されるが、ＳＡ７の判断が肯定される場合には、ＳＡ８において、受信された評価結果が前記ＲＡＭ５４に記憶されて以降の演奏評価に反映された後、ＳＡ９において、カラオケ演奏終了であるか否かが判断される。このＳＡ９の判断が否定される場合には、ＳＡ４以下の処理が再び実行されるが、ＳＡ９の判断が肯定される場合には、ＳＡ１０において、ＳＡ８にて前記ＲＡＭ５４等に記憶された音高の切り替わり部分に係る演奏評価と、他のプロセスにより算出されたそれ以外の部分に係る演奏評価とに基づいて、対象となるカラオケ演奏全体を通しての総合評価が算出された後、本ルーチンが終了させられる。
【００４４】
図１２は、前記サーバ装置２０のＣＰＵ６６による本実施例の演奏評価制御に係る多変量解析制御の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。
【００４５】
先ず、ＳＢ１において、前記カラオケ装置１６からＮ回分の音高データ及び音量データが演奏曲の選曲番号及び該当箇所の時間情報と共に前記通信回線１８を介して受信されたか否かが判断される。このＳＢ１の判断が否定される場合には、それをもって本ルーチンが終了させられるが、ＳＢ１の判断が肯定される場合には、ＳＢ２において、受信されたＮ回分の音高データ及び音量データが演奏曲の選曲番号及び該当箇所の時間情報と対応付けられて前記多変量解析データベース８４に記憶（蓄積）される。次に、ＳＢ３において、受信されたＮ回分の音高データ及び音量データに対応して前述した数式１に示すような特徴ベクトルｘが算出される。次に、ＳＢ４において、ＳＢ３にて算出された特徴ベクトルが分散１、平均１となるように標準化される。次に、前記主成分分析手段９２の動作に対応するＳＢ５において、ＳＢ４にて標準化された特徴ベクトルに基づいて分散・共分散行列が算出されて主成分分析が行われる。次に、前記固有値・固有ベクトル算出手段９４の動作に対応するＳＢ６において、ＳＢ５における分析結果に対応して、２Ｎ組の固有値・固有ベクトルが算出される。次に、前記分散算出手段９６の動作に対応するＳＢ７において、ＳＢ６にて算出された固有値・固有ベクトルそれぞれに対応する分散が算出される。次に、前記順位付け手段９８の動作に対応するＳＢ８において、ＳＢ７にて算出された分散が大きいものから順にＳＢ６にて算出された固有値・固有ベクトルが第１位から第２Ｎ位まで順位付けされる。次に、前記演奏評価手段１００の動作に対応するＳＢ９において、ＳＢ８にて第１位とされた固有ベクトルをパターン空間の軸として使用すると共に、対応する固有値をその軸の単位として使用することにより、受信されたＮ回分の音高データ及び音量データに係る演奏評価が行われる。次に、前記評価結果送信手段１０２の動作に対応するＳＢ１０において、ＳＢ９における評価結果がデータの送信元である前記カラオケ装置１６に送信（返信）された後、本ルーチンが終了させられる。以上の制御において、ＳＢ３〜ＳＢ８が前記多変量解析手段９０の動作に対応する。
【００４６】
このように、本実施例によれば、音声入力装置であるマイクロフォン４０により入力される音声情報に関して単位時間毎の音高及び音量を検出する音高・音量検出手段８６（ＳＡ５）と、複数の利用者それぞれの音声情報を対象として、前記音高・音量検出手段８６によりＮ回連続的に検出される単位時間毎の音高及び音量に対応する２Ｎ種類のデータに関して多変量解析を行う多変量解析手段（ＳＢ３〜ＳＢ８）と、評価の基準データにおける音高の切り替わり部分において、前記複数の利用者の音声情報に対応する前記多変量解析手段９０による解析結果に基づいて、対象となる利用者の音声情報に係る演奏評価を行う演奏評価手段１００（ＳＢ９）とを、備えたものであることから、高低差のある音高の繋ぎに相当する演奏部分を好適に評価することができる。すなわち、利用者が実際に感じる印象に近い演奏評価を実現するカラオケシステム１０を提供することができる。
【００４７】
また、前記多変量解析手段９０は、前記音高・音量検出手段８６により検出される音高の変化の起点をｎ＝０とする、ｎ＝１からｎ＝Ｎまでの前記２Ｎ種類のデータに関して主成分分析を行う主成分分析手段９２（ＳＢ５）と、その主成分分析手段９６による分析結果に対応して、２Ｎ組の固有値・固有ベクトルを算出する固有値・固有ベクトル算出手段９４（ＳＢ６）と、その固有値・固有ベクトル算出手段９４により算出される２Ｎ組の固有値・固有ベクトルに関して、各固有ベクトルを軸とする固有値の分散を算出する分散算出手段９６（ＳＢ７）と、その分散算出手段９６により算出される分散が大きいものから順に前記２Ｎ組の固有値・固有ベクトルの順位を決定する順位付け手段９８（ＳＢ８）とを、含むものであり、前記演奏評価手段１００は、その順位付け手段９８により決定された順位の高い固有値・固有ベクトルから優先的に前記演奏評価のパラメータとして用いるものであるため、高低差のある音高の繋ぎに相当する演奏部分を実用的な態様で好適に評価することができる。
【００４８】
以上、本発明の好適な実施例を図面に基づいて詳細に説明したが、本発明はこれに限定されるものではなく、更に別の態様においても実施される。
【００４９】
例えば、前述の実施例において、前記音高・音量検出手段８６及び検出結果送信手段８８が前記カラオケ装置１６のＣＰＵ５０に、前記多変量解析手段９０、演奏評価手段１００、及び評価結果送信手段１０２が前記サーバ装置３０のＣＰＵ６６に備えられたものであったが、本発明はこれに限定されるものではなく、例えば、前記音高・音量検出手段８６、多変量解析手段９０、及び演奏評価手段１００が一元的に前記カラオケ装置１６に備えられ、それらの制御手段による処理を前記カラオケ装置１６側で実行するものであってもよい。この場合、前記サーバ装置２０に備えられていた多変量解析データベース８４に相当する情報が前記カラオケ装置１６のハードディスク５６等に蓄積されるのが好ましいが、前記サーバ装置２０の多変量解析データベース８４に記憶された情報を前記カラオケ装置１６により逐一読み出すことによっても前記実施例と同等の制御が可能である。なお、斯かる態様においては、前記検出結果送信手段８８及び評価結果送信手段１０２は必ずしも設けられなくともよい。
【００５０】
また、前述の実施例では、前記音高・音量検出手段８６により各利用者の音声情報に対応するデータが検出される毎にそのデータが前記多変量解析データベース８４に蓄積されるものであったが、サンプルとなるデータが十分に多変量解析データベース８４に蓄積されている場合には、必ずしも毎回の検出結果が新たに蓄積されるものでなくともよい。
【００５１】
その他、一々例示はしないが、本発明はその趣旨を逸脱しない範囲内において種々の変更が加えられて実施されるものである。
【符号の説明】
【００５２】
１０：カラオケシステム
１６：カラオケ装置
４０：マイクロフォン（音声入力装置）
８６：音高・音量検出手段
９０：多変量解析手段
９２：主成分分析手段
９４：固有値・固有ベクトル算出手段
９６：分散算出手段
９８：順位付け手段
１００：演奏評価手段
【技術分野】
【０００１】
本発明は、多数の演奏曲のうちから選択される演奏曲を出力させるカラオケ装置を用いたカラオケシステムに関し、特に、利用者が実際に感じる印象に近い演奏評価を実現するための改良に関する。
【背景技術】
【０００２】
多数の演奏曲のうちから選択される演奏曲を出力させる音楽再生装置が知られている。例えば、カラオケボックス等で使用されるカラオケ装置がそれである。斯かるカラオケ装置によれば、予め記憶装置に記憶された多数のカラオケ演奏曲から選択されたカラオケ演奏曲の音楽情報を出力させると共に、そのカラオケ演奏曲の歌詞情報を含む映像をその出力に同期して画面に表示させることで、所望の歌のカラオケ演奏を楽しむことができる。
【０００３】
ところで、近年普及しているカラオケ装置には、上述のような音楽再生装置としての機能のみならず、音声入力装置（マイクロフォン）から入力される音声情報に基づいて歌唱力等を評価（採点）する演奏評価機能を備えたものがある。例えば、特許文献１に記載されたカラオケ装置がそれである。斯かるカラオケ装置によれば、音程、テンポ、音量等を基準として音声入力装置から入力される音声情報とカラオケ演奏曲の演奏情報とを比較することで、その入力される音声情報に応じて歌唱の評価を採点することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−１０１７９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上述した従来技術のような演奏評価は、通常、予め定められたアルゴリズムに従い、ＭＩＤＩ（Musical Instrument Digital Interface）データ等の演奏情報を基準データとして機械的に行われるものであったことから、利用者が実際に上手いと感じる演奏に正当な評価が与えられなかったり、逆に歌い方によっては下手な演奏に高い評価が与えられるというように、利用者の感じ方と演奏評価とか必ずしも一致しないという不具合があった。
【０００６】
本発明者は、利用者が実際に感じる印象に近い演奏評価を実現するカラオケシステムを開発すべく鋭意研究を継続する過程において、特に基準データにおいて音高が切り替わる演奏部分に関して利用者の印象と演奏評価結果とが乖離する傾向が強いことに着目した。そして、斯かる演奏部分について利用者の印象と演奏評価結果とが乖離するのは、基準データにおける音高の切り替わりが段階的であるのに対して利用者の歌唱音声の時間変化は連続的であり、たとえ高低差のある音高の繋ぎを上手く歌ったとしてもそれを正しく評価することができないためであると考えた。換言すれば、利用者が実際に感じる印象において、高低差のある音高の繋ぎに相当する演奏部分をどのように歌うかということに関する評価は無視できない重要な要素であるが、斯かる演奏部分を好適に評価し得るカラオケシステムは、未だ開発されていないのが現状である。
【０００７】
本発明は、以上の事情を背景として為されたものであり、その目的とするところは、利用者が実際に感じる印象に近い演奏評価を実現するカラオケシステムを提供することにある。
【課題を解決するための手段】
【０００８】
斯かる目的を達成するために、本発明の要旨とするところは、多数の演奏曲のうちから選択される演奏曲を出力させると共に音声入力装置により入力される音声を増幅して出力させるカラオケ装置を用いたカラオケシステムであって、前記音声入力装置により入力される音声情報に関して単位時間毎の音高及び音量を検出する音高・音量検出手段と、複数の利用者それぞれの音声情報を対象として、前記音高・音量検出手段によりＮ回連続的に検出される単位時間毎の音高及び音量に対応する２Ｎ種類のデータに関して多変量解析を行う多変量解析手段と、評価の基準データにおける音高の切り替わり部分において、前記複数の利用者の音声情報に対応する前記多変量解析手段による解析結果に基づいて、対象となる利用者の音声情報に係る演奏評価を行う演奏評価手段とを、備えたことを特徴とするものである。
【発明の効果】
【０００９】
このようにすれば、前記音声入力装置により入力される音声情報に関して単位時間毎の音高及び音量を検出する音高・音量検出手段と、複数の利用者それぞれの音声情報を対象として、前記音高・音量検出手段によりＮ回連続的に検出される単位時間毎の音高及び音量に対応する２Ｎ種類のデータに関して多変量解析を行う多変量解析手段と、評価の基準データにおける音高の切り替わり部分において、前記複数の利用者の音声情報に対応する前記多変量解析手段による解析結果に基づいて、対象となる利用者の音声情報に係る演奏評価を行う演奏評価手段とを、備えたものであることから、高低差のある音高の繋ぎに相当する演奏部分を好適に評価することができる。すなわち、利用者が実際に感じる印象に近い演奏評価を実現するカラオケシステムを提供することができる。
【００１０】
ここで、好適には、前記多変量解析手段は、前記音高・音量検出手段により検出される音高の変化の起点をｎ＝０とする、ｎ＝１からｎ＝Ｎまでの前記２Ｎ種類のデータに関して主成分分析を行う主成分分析手段と、その主成分分析手段による分析結果に対応して、２Ｎ組の固有値・固有ベクトルを算出する固有値・固有ベクトル算出手段と、その固有値・固有ベクトル算出手段により算出される２Ｎ組の固有値・固有ベクトルに関して、各固有ベクトルを軸とする固有値の分散を算出する分散算出手段と、その分散算出手段により算出される分散が大きいものから順に前記２Ｎ組の固有値・固有ベクトルの順位を決定する順位付け手段とを、含むものであり、前記演奏評価手段は、その順位付け手段により決定された順位の高い固有値・固有ベクトルから優先的に前記演奏評価のパラメータとして用いるものである。このようにすれば、高低差のある音高の繋ぎに相当する演奏部分を実用的な態様で好適に評価することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明が好適に適用されるカラオケシステムを説明する概略図である。
【図２】図１のカラオケシステムに備えられたカラオケ装置の構成を例示するブロック線図である。
【図３】図１のカラオケシステムに備えられたサーバ装置の構成を例示するブロック線図である。
【図４】図２のカラオケ装置のＣＰＵ及び図３のサーバ装置のＣＰＵに備えられた制御機能の要部を説明する機能ブロック線図である。
【図５】本実施例を含む一般的なカラオケ演奏評価制御に用いられる基準データについて説明する図であり、入力音声情報の実測値を実線で、評価の基準となる基準データを破線で囲繞した領域でそれぞれ示している。
【図６】図５に示すような基準データに基づく演奏評価制御の問題点を説明する図である。
【図７】図２に示す本実施例のカラオケ装置による、基準データにおける音高の切り替わり部分においての音高及び音量の検出について説明する図である。
【図８】図２に示す本実施例のカラオケ装置により算出される２Ｎ組の固有値・固有ベクトルのうち２本の固有ベクトルを示すパターン空間を例示しており、各サンプルの値を複数の点で示している。
【図９】図１に示す本実施例のカラオケシステムによる演奏評価制御の効果を検証するために、複数の利用者それぞれに対応する音声情報に係るｎ＝１〜８の音高データ及び音量データについて多変量解析制御乃至演奏評価制御を行った結果を比較して示すグラフである。
【図１０】図９の比較例としてベロシティを考慮しない結果、すなわち複数の利用者それぞれに対応する音声情報に係るｎ＝１〜８に対応する音高データのみについて多変量解析制御乃至演奏評価制御を行った結果を比較して示すグラフである。
【図１１】図２のカラオケ装置のＣＰＵによる本実施例のカラオケ演奏評価制御の要部を説明するフローチャートである。
【図１２】図３のサーバ装置のＣＰＵによる本実施例のカラオケ演奏評価制御に係る多変量解析制御の要部を説明するフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の好適な実施例を図面に基づいて詳細に説明する。
【実施例】
【００１３】
図１は、本発明が好適に適用されるカラオケシステム１０を説明する概略図である。この図１に示すように、本実施例のカラオケシステム１０では、カラオケボックス、スナック、旅館等の店舗１２における複数の個室１４ａ、１４ｂ、１４ｃ、・・・（以下、特に区別しない場合には単に個室１４と称する）にそれぞれ１台乃至は複数台ずつ（図１では１台ずつ）のカラオケ装置１６ａ、１６ｂ、１６ｃ、・・・（以下、特に区別しない場合には単にカラオケ装置１６と称する）が設置されている。これら複数のカラオケ装置１６は、ルータ２８を介して公衆電話回線等による通信回線１８に接続されており、同じくその通信回線１８に接続されたカラオケサービス提供会社のサーバ装置（センタ装置）２０との相互間でその通信回線１８を介して情報の通信が可能とされている。
【００１４】
上記サーバ装置２０は、カラオケ情報（楽曲データ）、背景映像情報、曲間情報等のデジタルコンテンツ（Digital Contents）の保管や入出力管理等の基本的な制御に加えて、後述する多変量解析制御等を行うサーバであり、上記通信回線１８を介して上記カラオケ装置１６に定期的にコンテンツの配信を行うと共に、そのカラオケ装置１６からの要求に応じて所定の機能制御プログラムを送信する等の制御を行うものである。また、上記カラオケシステム１０は、複数の電子早見本装置２２ａ、２２ｂ、２２ｃ、・・・（以下、特に区別しない場合には単に電子早見本装置２２と称する）を備えており、上記カラオケ装置１６の利用に際して、各利用者（グループ）毎に１台ずつの電子早見本装置２２が貸与され、各個室１４において後述するように上記カラオケ装置１６の遠隔操作装置として用いられるようになっている。上記店舗１２内には上記複数のカラオケ装置１６を相互に接続するＬＡＮ２４が敷設されており、上記電子早見本装置２２からのカラオケ装置１６への入力は、所定のアクセスポイント２６及びＬＡＮ２４を介したＬＡＮ通信等により行われる。
【００１５】
図２は、前記カラオケ装置１６の構成を例示するブロック線図である。この図２に示すように、前記カラオケ装置１６は、ＴＦＴ（Thin Film Transistor Liquid Crystal）等の映像表示装置３０と、映像出力制御部３２と、映像情報デコーダ３４と、ビデオミキサ３６と、音源であるシンセサイザ３８と、音声入力装置であるマイクロフォン４０と、Ａ／Ｄコンバータ４１と、アンプミキサ４２と、スピーカ４４と、操作パネル４６と、その操作パネル４６等からの入力信号を処理する入出力インターフェイス４８と、中央演算処理装置であるＣＰＵ５０と、読出専用メモリであるＲＯＭ５２と、随時書込読出メモリであるＲＡＭ５４と、記憶装置であるハードディスク５６と、モデム５８と、ＬＡＮポート６０と、上記電子早見本装置２２やリモコン装置６４等の入力装置からのリモコン信号を受信するためのリモコン受信部６２とを、備えて構成されている。
【００１６】
前記映像出力制御部３２は、前記ＣＰＵ５０において生成された歌詞文字映像等の文字映像（テロップ）を出力する文字映像出力装置として機能する他、前記映像表示装置３０による種々の映像表示を制御する表示制御装置である。また、前記映像情報デコーダ３４は、利用者が歌詞を参照しながら歌を歌う際に前記ハードディスク５６に記憶された背景映像情報に基づいて所定の背景映像を再生（デコード）する背景映像再生装置である。この背景映像情報は、例えば、ＭＰＥＧ（Moving Picture Experts Group）形式のデータであり、そのＭＰＥＧデータに基づいて前記映像情報デコーダ３４により再生された背景映像は、前記ビデオミキサへ送られる。また、前記ビデオミキサ３６は、前記ＣＰＵ５０において生成され且つ前記映像出力制御部３２から出力される文字映像と、前記映像情報デコーダ３４により再生される背景映像とを合成して前記映像表示装置３０に表示させる映像合成装置である。
【００１７】
前記シンセサイザ３８は、前記ハードディスク５６から読み出されて送られて来るカラオケ演奏曲の演奏情報に基づいて楽器の演奏信号等の音楽信号を生成する音源である。この演奏情報は、例えば、ＭＩＤＩ（Musical Instrument Digital Interface）形式のデータであり、そのＭＩＤＩデータに基づいて前記シンセサイザ３８により生成された音楽信号は、アナログ信号に変換されて前記アンプミキサ４２へ送られる。そのアンプミキサ４２では、送られてきた音楽信号と前記マイクロフォン４０を介して入力される利用者の歌声とがミキシングされ、それらの信号が電気的に増幅されて前記スピーカ４４から出力される。また、前記Ａ／Ｄコンバータ４１は、音声入力装置である前記マイクロフォン４０から入力されるアナログ信号としての音声情報をディジタル信号に変換して前記ＣＰＵ５０等へ供給する。
【００１８】
前記操作パネル４６は、前記カラオケ装置１６の利用者が歌いたいカラオケ演奏曲を選択したり、演奏曲の音程を調整したり、演奏と歌との音量バランスを調整したり、その他、エコー、音量、トーン等の各種調整を行うための操作ボタン（スイッチ）或いはつまみを備えた入力装置である。また、前記カラオケ装置１６には、前記操作パネル４６の一部機能を遠隔で実行するための入力装置として機能するリモコン装置６４が備えられており、前記リモコン受信部６２は、そのリモコン装置６４から送信されるリモコン信号を受信して前記ＣＰＵ５０へ供給する。また、前記カラオケ装置１６と電子早見本装置２２との対応付け（くくりつけ）処理も前記リモコン受信部６２を介して行われ、そのようにして前記カラオケ装置１６に対応付けられた電子早見本装置２２も同様に入力装置として機能する。
【００１９】
上記ＣＰＵ５０は、上記ＲＡＭ５４の一時記憶機能を利用しつつ上記ＲＯＭ５２に予め記憶された所定のプログラムに基づいて電子情報を処理・制御する所謂マイクロコンピュータであり、上記電子早見本装置２２やリモコン装置６４等により所定のカラオケ演奏曲が選曲された場合、その選曲されたカラオケ演奏曲を上記ＲＡＭ５４に設けられた予約曲テーブルに登録したり、その予約曲テーブルの演奏順に従って上記ハードディスク５６から上記ＲＡＭ５４に選曲されたカラオケ演奏曲の演奏情報及び歌詞情報等を読み出したり、カラオケ演奏曲の演奏が進行するのに応じてそのＲＡＭ５４から上記シンセサイザ３８へ演奏情報を送信したり、歌詞情報に基づいて歌詞文字映像を生成して上記映像出力制御部３２へ送ったり、選曲時には曲名文字映像を生成して上記映像出力制御部３２へ送ったり、上記映像情報デコーダ３４を制御して所定の背景映像を再生させたり、カラオケ演奏が行われていない間すなわち曲間において、新譜情報、選曲ランキング、店舗広告等の曲間情報を出力させたり、前記通信回線１８を介した前記サーバ装置２０との間の情報通信制御等の基本的な制御に加えて、後述する演奏評価制御に係る各種制御を実行する。
【００２０】
前記モデム５８は、前記カラオケ装置１６を公衆電話回線等による通信回線１８に接続するための装置であり、前記ＣＰＵ５０から出力されるディジタル信号をアナログ信号に変換して前記通信回線１８に送り出すと共に、その通信回線１８を介して伝送されるアナログ信号をディジタル信号に変換して前記ＣＰＵ５０に供給する処理を行う。なお、前記店舗１２に備えられた複数のカラオケ装置１６のうち何れかのカラオケ装置１６が前記ルータ２８の機能を備えてマスターコマンダとして前記通信回線１８に接続される態様も考えられ、その場合、前記モデム５８はそのマスターコマンダとして機能するカラオケ装置１６には必要とされるが、そのマスターコマンダを介して前記サーバ装置２０との間で情報の通信を行う他のカラオケ装置１６には必ずしも設けられなくともよい。
【００２１】
前記ＬＡＮポート６０は、前記カラオケ装置１６をＬＡＮ２４を介して他のカラオケ装置１６や電子早見本装置２２等の他の機器に接続するための接続器であり、前記カラオケ装置１６は、そのようにＬＡＮ２４を介して接続されることで、他のカラオケ装置１６や電子早見本装置２２等の他の機器との間で情報の送受信が可能とされる。例えば、前記アクセスポイント２６を介して受信される前記電子早見本装置２２からの選曲入力を受け付けて前記ＲＡＭ５４に設けられた予約曲テーブルに記憶したり、そのアクセスポイント２６を介して前記カラオケ装置１６から電子早見本装置２２へ所定の情報を送信したりというように、電波を介して前記カラオケ装置１６と電子早見本装置２２との間における相互の情報のやりとりが実行される。
【００２２】
前記ハードディスク５６には、カラオケ演奏曲を出力させるための多数のカラオケ情報（楽曲データ）を記憶するカラオケデータベースをはじめとする各種データベースが設けられている。カラオケボックス等の店舗にそれぞれ備えられた複数のカラオケ装置１６のうち所定のカラオケ装置１６例えば前記カラオケ装置１６ａは、前記モデム５８を介して前記通信回線１８に接続されており、前記複数のカラオケ装置１６によって常に新しい曲が演奏可能とされるように、随時新たな楽曲データ等が前記サーバ装置２０から前記通信回線１８を介して配信され、前記ハードディスク５６のカラオケデータベース等に記憶される。また、そのようにして前記サーバ装置２０から情報を取得したカラオケ装置１６ａとその他のカラオケ装置１６との間で前記ＬＡＮ２４を介した通信が行われることにより、各カラオケ装置１６のハードディスク５６に記憶される情報が共有され、上記カラオケデータベース等の内容が等価なものとされる。
【００２３】
上記カラオケデータベースに記憶されるカラオケ情報（カラオケデータ）は、演奏音を生成するための演奏情報及び歌詞文字映像（歌詞テロップ）を生成するための歌詞情報から成るものであり、コンテンツＩＤである各演奏曲に固有の選曲番号により識別される。このカラオケ情報に含まれる演奏情報は、例えば前記シンセサイザ３８により所定の演奏音を出力させるためのＭＩＤＩデータであり、出力に係る演奏音（楽器）の種類と、各演奏音に対応する楽譜情報とを、含んでいる。また、上記歌詞情報は、前記映像出力制御部３２等を介して演奏曲の歌詞文字映像を出力させるためのデータであり、前記歌詞文字映像に対応する歌詞のテキスト情報と、演奏出力に併行してその歌詞文字映像の表示を切り替えるための切替タイミング情報と、演奏出力に併行してその歌詞文字映像を順次色替えするための色替タイミング情報とを、含んでいる。また、後述する演奏評価制御の基準となる図５に示すような基準データが定められている。なお、この基準データは、上記カラオケデータベースに記憶されるカラオケ情報とは別に、各演奏曲の選曲番号と関連付けられて記憶されたものであってもよい。
【００２４】
図３は、前記サーバ装置２０の構成を説明するブロック線図である。この図３に示すように、前記サーバ装置２０は、中央演算処理装置であるＣＰＵ６６によりＲＡＭ７０の一時記憶機能を利用しつつＲＯＭ６８に予め記憶されたプログラムに従って信号処理を行う所謂マイクロコンピュータシステムを備えており、前記カラオケ装置１６へのカラオケ情報等のコンテンツ配信制御をはじめとする基本的な制御に加えて、後述する多変量解析制御等の各種制御を実行する。また、ビデオボード７２により制御されるＴＦＴ等の映像表示装置７４と、インターフェイス７８を介して接続されるキーボード等の入力装置７６と、上記ＣＰＵ６６を前記通信回線１８に接続するための装置であるモデム８０とを、備えて構成されている。また、それぞれハードディスク等の大容量記憶装置に、前記カラオケ装置１６に配信するための多数のカラオケ情報を記憶するカラオケデータベース８２や後述する多変量解析制御に関する各種情報を記憶する多変量解析データベース８４等の各種データベースが設けられている。
【００２５】
図４は、前記カラオケ装置１６のＣＰＵ５０及び前記サーバ装置３０のＣＰＵ６６に備えられた制御機能の要部を説明する機能ブロック線図である。この図４に示す各種制御手段に関して、好適には、音高・音量検出手段８６及び検出結果送信手段８８が前記カラオケ装置１６のＣＰＵ５０に、多変量解析手段９０、演奏評価手段１００、及び評価結果送信手段１０２が前記サーバ装置３０のＣＰＵ６６に備えられたものであるが、上記音高・音量検出手段８６、多変量解析手段９０、及び演奏評価手段１００が一元的に前記カラオケ装置１６に備えられた態様も考えられる。
【００２６】
上記音高・音量検出手段８６は、前記マイクロフォン４０により入力される音声情報に関して単位時間毎の音高及び音量を検出する。例えば、前記マイクロフォン４０により入力されて前記Ａ／Ｄコンバータ４１によりディジタル信号に変換された音声情報に関して、例えば０．０２５秒程度の極めて短い単位時間毎にその音声情報の要素としての音高（ピッチ）及び音量（ベロシティ）を検出する。具体的には、前記Ａ／Ｄコンバータ４１を介して入力される音声情報に対応する波形を前記ＲＡＭ５４等に記憶しておき、その波形を適宜読み出して解析することで、対象となる単位時間に相当する音高及び音量を数値的に算出する。
【００２７】
前記音高・音量検出手段８６は、本実施例の演奏評価制御に関して、その演奏評価の基準データにおける音高の切り替わり部分において上記検出を行う。図５は、本実施例を含む一般的なカラオケ演奏評価制御に用いられる基準データについて説明する図であり、前記マイクロフォン４０により入力された音声情報の実測値を実線で、評価の基準となる基準データ（お手本データ）を破線で囲繞した領域でそれぞれ示している。この図５に示すように、前記カラオケ装置１６によるカラオケ演奏の評価に用いられる基準データは、対象となる演奏曲の進行（時間経過）に対応して所定の音高帯域（例えば、ガイドメロディを中心とする一定の音程幅）が段階的に定められたものである。換言すれば、高低差のある音高の切り替わり部分においては、低音側の音高帯域から高音側の音高帯域へ、或いは高音側の音高帯域から低音側の音高帯域へ、繋ぎを考慮せず即時的に移行するように基準データが定められている。
【００２８】
図５に示すように定められた基準データに基づく演奏評価制御では、例えば、前記マイクロフォン４０により入力された音声情報の実測値がその基準データの範囲に入るか否かが判定される。すなわち、対象となる音声情報の実測値が基準データの範囲に入る場合には正しい音高で歌っているものと評価される一方、基準データの範囲から逸脱する場合には正しい音高で歌えていないものと評価される。そして、図５に示すように対象となる演奏曲の進行に伴って段階的に定められた基準データに関して、前記マイクロフォン４０により入力される音声情報に関して検出される所定時間毎の音高がその基準データに入るか否かの判定が連続的に実行されることで、その演奏曲全体としての演奏評価（総合評価）が行われる。
【００２９】
図６は、図５に示すような基準データに基づく演奏評価制御の問題点を説明する図である。前述のように、評価の基準データが演奏曲の進行に伴って段階的に定められたものである場合には、高低差のある音高の切り替わり部分における評価が問題となる。すなわち、斯かる音高の切り替わり部分において、低音側の音高帯域から高音側の音高帯域へ、或いは高音側の音高帯域から低音側の音高帯域へ、繋ぎを考慮せず即時的に移行するように基準データが定められていることから、立ち上がりにおける音声情報の実測値が切り替わり前乃至切り替わり後の何れの基準データにも入らず、その部分を上手く歌ったとしても正しい評価が行われなかった。これは、基準データにおける音高の切り替わりが段階的であるのに対して前記マイクロフォン４０により検出される利用者の歌唱音声の時間変化は連続的であり、高低差のある音高の切り替わり部分においてはその音高（音程）が漸増乃至漸減することで滑らかで自然な歌い方となるからである。
【００３０】
図７は、基準データにおける音高の切り替わり部分においての前記音高・音量検出手段８６による音高及び音量の検出について説明する図である。この図７に示すように、前記音高・音量検出手段８６は、好適には、評価の基準データにおける音高の切り替わり部分において、前記マイクロフォン４０により検出される音声情報における音高の変化の起点をｎ＝０とする、ｎ＝１からｎ＝Ｎまでの音高及び音量を検出する。ここで、ｎは前記音高・音量検出手段８６の検出単位である前記単位時間それぞれの検出結果に対して付される符号であり、Ｎは好適には６〜１０の整数、最適には８である。すなわち、前記音高・音量検出手段８６は、好適には、前記マイクロフォン４０により検出される音声情報における音高の変化の起点をｎ＝０とする、ｎ＝１からｎ＝８までの０．２秒間（単位時間０．０２５×８）における８単位分の音高及び音量を検出する。なお、上記音高の変化の起点としては、図７に示すように、対象となる基準データの切り替わり直後において音高が変化（低音側から高音側への切り替わり部分においては上昇、高音側から低音側への切り替わり部分においては下降）し始めた瞬間をｎ＝１（変化の直前としての起点をｎ＝０）とするのが好ましいが、例えば基準データの切り替わりの瞬間をｎ＝０とするように基準データに基づいて予め定められたものであってもよい。
【００３１】
前記検出結果送信手段８８は、前記通信回線１８を介して前記音高・音量検出手段８６による検出結果を前記サーバ装置２０における多変量解析データベース８４へ送信乃至蓄積する。すなわち、前記音高・音量検出手段８６により検出されたｎ＝１からｎ＝Ｎまでの音高データ及び音量データを、対象となる演奏曲の識別情報（選曲番号）及びｎ＝１〜Ｎの検出時点（例えば曲の演奏開始からの経過時点）、更には演奏者（音声情報の入力主体）である利用者の識別情報と関連付けて前記多変量解析データベース８４に記憶する。そのようにして、斯かる多変量解析データベース８４には、それぞれの演奏曲に係る基準データにおける各音高の切り替わり部分毎に、前記複数のカラオケ装置１６において検出されたｎ＝１〜Ｎの音高データ及び音量データが蓄積される。すなわち、各基準データにおける音高の切り替わり部分毎に、複数の利用者それぞれの音声情報を対象として、前記音高・音量検出手段８６によりＮ回連続的に検出された単位時間毎の音高及び音量に対応する２Ｎ種類のデータ（音高データＮ個＋音量データＮ個＝２Ｎ個のデータ）がサンプルとして蓄積されるようになっている。
【００３２】
前記多変量解析手段９０は、上述のように多変量解析データベース８４に蓄積されたデータ、すなわち複数の利用者それぞれの音声情報を対象として、前記音高・音量検出手段８６によりＮ回連続的に検出された単位時間毎の音高及び音量に対応する２Ｎ種類のデータに関して多変量解析を行う。斯かる制御を行うために、前記多変量解析手段９０は、図４に示すように主成分分析手段９２、固有値・固有ベクトル算出手段９４、分散算出手段９６、及び順位付け手段９８を含んでいる。以下、これらの制御手段それぞれの制御について分説する。
【００３３】
上記主成分分析手段９２は、各基準データにおける音高の切り替わり部分に対応して前記多変量解析データベース８４に蓄積された２Ｎ種類のデータに関して、よく知られた主成分分析法（Principal Component Analysis）による主成分分析を行う。すなわち、各利用者それぞれの音声情報（対応する切り替わり部分に係るｎ＝１〜８、１６種類のデータ）に関して、次の数式１に示すような特徴ベクトルｘを算出する。なお、この数式１におけるＰ(n)は、ｎ番目の音高（入力ピッチ）をＰi(n)、ｎ番目のお手本ピッチをＰm(n)としてＰi(n)−Ｐm(n)で表される値であり、Ｖ(n)は、ｎ番目の音量（ベロシティ）をＶe(n)としてＶe(n)−Ｖe(n-1)で表される値である。また、前述のように好適にはＮ＝８である。また、前記主成分分析手段９２は、上述のように算出された複数の利用者の音声情報に対応する特徴ベクトルｘを標準化する。例えば、それら複数の特徴ベクトルｘを分散１、平均１となるように標準化する。そして、そのようにして標準化された複数の特徴ベクトルｘに基づいて分散・共分散行列を求めることにより主成分分析を行う。
【００３４】
［数式１］
ｘ＝｛Ｐ(n)，Ｐ(n+1)，・・・，Ｐ(n+N)，Ｖ(n)，Ｖ(n+1)，・・・，Ｖ(n+N)｝
【００３５】
前記固有値・固有ベクトル算出手段９４は、前記主成分分析手段９２による分析結果に対応して、２Ｎ組の固有値・固有ベクトルを算出する。前述のようにＮ＝８である場合には、前記主成分分析手段９２による分析結果に対応して１６組の固有値・固有ベクトルを算出する。この固有値・固有ベクトル算出手段９４により算出された固有値・固有ベクトルは以下の制御におけるパラメータとして用いられ、その固有ベクトルがパターン空間の軸として使用されると共に、対応する固有値がその軸の単位として使用される。
【００３６】
前記分散算出手段９６は、前記固有値・固有ベクトル算出手段９４により算出される２Ｎ組の固有値・固有ベクトルに関して、各固有ベクトルを軸とする固有値の分散を算出する。また、前記順位付け手段９８は、前記分散算出手段９６により算出される分散が大きいものから順に前記２Ｎ組の固有値・固有ベクトルの順位を決定する。図８は、前記固有値・固有ベクトル算出手段９４により算出される２Ｎ組の固有値・固有ベクトルのうち２本の固有ベクトルｖ１、ｖ２を示すパターン空間を例示しており、各サンプルの値を複数の点（ドット）で示している。この図８に示す例では、固有ベクトルｖ１を軸とするものの方が、固有ベクトルｖ２を軸とするものよりも分散が大きいことがわかる。前記順位付け手段９８は、前記固有値・固有ベクトル算出手段９４により算出される２Ｎ組の固有値・固有ベクトルそれぞれについて前記分散算出手段９６により算出される分散について斯かる比較を行うことにより、それらの固有値・固有ベクトルを分散が大きいものから順に第１位から第２Ｎ位まで順位付けする。
【００３７】
前記演奏評価手段１００は、評価の基準データにおける音高の切り替わり部分において、前記複数の利用者の音声情報に対応する前記多変量解析手段９０による解析結果に基づいて、対象となる利用者の音声情報に係る演奏評価を行う。すなわち、前記固有値・固有ベクトル算出手段９４により算出された固有ベクトルをパターン空間の軸として使用すると共に、対応する固有値をその軸の単位として使用することにより、基準値（例えば、対象となる固有ベクトルに係る平均値）からの各利用者に対応する値の偏差を求め、その偏差に対応する評価結果を算出する。好適には、斯かる基準値からの偏差が小さいほど高い評価となるように（偏差が大きいほど低い評価となるように）予め定められた関係から、各基準データにおける音高の切り替わり部分毎に算出される固有値・固有ベクトルをパラメータとして、それぞれの利用者の音声情報に対応する２Ｎ種類のデータに基づいて斯かる演奏評価を行う。
【００３８】
前記演奏評価手段１００は、好適には、順位付け手段により決定された順位の高い固有値・固有ベクトルから優先的に前記演奏評価のパラメータとして用いる。例えば、各基準データにおける音高の切り替わり部分に対応して前記固有値・固有ベクトル算出手段９４により算出される２Ｎ種類の固有値・固有ベクトルのうち、前記順位付け手段９８により最も高い順位（第１位）に順位付けされた固有ベクトルをパターン空間の軸として使用すると共に、対応する固有値をその軸の単位として前記評価を行う。すなわち、斯かる第１位の固有値・固有ベクトルに対応する基準値からの偏差が小さいほど高い評価となるように（偏差が大きいほど低い評価となるように）予め定められた関係から、それぞれの利用者の音声情報に対応する２Ｎ種類のデータに基づいて斯かる演奏評価を行う。
【００３９】
図９は、本実施例の演奏評価制御の効果を検証するために、複数の利用者それぞれに対応する音声情報に係るｎ＝１〜８の音高データ及び音量データについて前述の多変量解析制御乃至演奏評価制御を行った結果を比較して示すグラフである。この図９においては、利用者が実際に感じる印象において最も歌唱が上手い第１の歌い手（ガイド）の音声情報に対応する値を実線で、比較的歌唱が下手な第２の歌い手の音声情報に対応する値を一点鎖線で、比較的歌唱が上手い第３の歌い手の音声情報に対応する値を二点鎖線で、歌唱が上手くも下手でもない第４の歌い手の音声情報に対応する値を破線でそれぞれ示している。また、各値（サンプル番号）の基準値からの距離値（ユークリッド距離）を縦軸に示している。図９に示す例では、最も歌唱が上手い第１の歌い手に係る距離値の平均値が３．３７、比較的歌唱が上手い第３の歌い手に係る距離値の平均値が４．０７、歌唱が上手くも下手でもない第４の歌い手に係る距離値の平均値が４．３４、比較的歌唱が下手な第２の歌い手に係る距離値の平均値が４．４０という結果が得られている。すなわち、図９に示す距離値が小さいほど歌唱が上手いという関係が成立しており、利用者が実際に感じる印象に近い演奏評価を実現できることがわかる。
【００４０】
一方、図１０は、比較例としてベロシティを考慮しない結果、すなわち複数の利用者それぞれに対応する音声情報に係るｎ＝１〜８に対応する音高データのみについて前述の多変量解析制御乃至演奏評価制御を行った結果を比較して示すグラフである。この図１０においては、利用者が実際に感じる印象において最も歌唱が上手い第１の歌い手（ガイド）の音声情報に対応する値を実線で、比較的歌唱が下手な第２の歌い手の音声情報に対応する値を一点鎖線で、比較的歌唱が上手い第３の歌い手の音声情報に対応する値を破線でそれぞれ示している。また、各値（サンプル番号）の基準値からの距離値（ユークリッド距離）を縦軸に示している。図１０に示す例では、最も歌唱が上手い第１の歌い手に係る距離値の平均値が２．６９、比較的歌唱が上手い第３の歌い手に係る距離値の平均値が２．８０、比較的歌唱が下手な第２の歌い手に係る距離値の平均値が２．０６というように、最も上手い歌い手の評価と比較的上手い歌い手の評価が逆転していることに加え、比較的歌唱が下手な歌い手の評価に対する相対関係も上記図９の例に比べて狭まっており、評価がしづらい結果となっている。多変量解析においては、一般に解析対象となる対象の種類（何を解析するか）が重要になるが、図９及び図１０に比較して示すように、本実施例のように基準データにおける音高の切り替わり部分の演奏評価に関しては、前記音高・音量検出手段８６によりＮ回連続的に検出される単位時間毎の音高及び音量に対応する２Ｎ種類のデータを解析することで、利用者が実際に感じる印象に近い演奏評価を実現できるのである。
【００４１】
前記評価結果送信手段１０２は、前記演奏評価手段１００による評価結果を前記通信回線１８を介して対応する各カラオケ装置１６へ送信する。すなわち、評価の対象となった２Ｎ種類のデータの送信元であるカラオケ装置１６へ、そのデータに係る前記演奏評価手段１００による評価結果を送信（返信）する。ここで、好適には、前記カラオケ装置１６には、前記演奏評価手段１００とは別に、評価の基準データにおける音高の切り替わり部分以外の部分について演奏評価を行うための第２の演奏評価手段が備えられている。この第２の演奏評価手段は、演奏曲の出力に伴って前記マイクロフォン４０から入力される音声に応じて演奏の内容を評価する。例えば、前記マイクロフォン４０により入力されて前記Ａ／Ｄコンバータ４１によりディジタル信号に変換された音声情報と、図５に示すように定められた基準データとを比較し、メロディなどの基本音程と入力される音声情報から抽出される音高（音程）との相対的なずれやその音声の絶対的な音量（声量）などを基準として評価を行う。そして、好適には、対象となる演奏曲の演奏が終了した時点で、各音高の切り替わり部分に対応して前記評価結果送信手段１０２から受信された評価結果（演奏評価手段１００による評価結果）と、それ以外の部分について第２の演奏評価手段により算出された評価結果とに基づいて、その演奏曲の演奏を通しての総合評価が算出される。
【００４２】
図１１は、前記カラオケ装置１６のＣＰＵ５０による本実施例のカラオケ演奏評価制御の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。
【００４３】
先ず、ステップ（以下、ステップを省略する）ＳＡ１において、所定の演奏曲のカラオケ演奏が開始されたか否かが判断される。このＳＡ１の判断が否定される場合には、それをもって本ルーチンが終了させられるが、ＳＡ１の判断が肯定される場合には、ＳＡ２において、対象となる演奏曲のカラオケデータが前記ハードディスク５６のカラオケデータベースから読み出され、対応する演奏情報及び歌詞情報等が前記ＲＡＭ５４に展開される。次に、ＳＡ３において、対象となるカラオケ演奏制御すなわち前記シンセサイザ３８による演奏音の出力制御及びその演奏の進行に伴う歌詞文字映像の表示制御が開始される。次に、ＳＡ４において、基準データにおいて音高が切り替わるタイミングであるか否かが判断される。このＳＡ４の判断が否定される場合には、ＳＡ７以下の処理が実行されるが、ＳＡ４の判断が肯定される場合には、前記音高・音量検出手段８６の動作に対応するＳＡ５において、前記マイクロフォン４０により入力される音声情報に関して単位時間毎の音高及び音量がＮ回連続して検出される。次に、前記検出結果送信手段８８の動作に対応するＳＡ６において、ＳＡ５にて検出されたＮ回分の音高データ及び音量データが演奏曲の選曲番号及び該当箇所の時間情報と共に前記通信回線１８を介して前記サーバ装置２０へ送信される。次に、ＳＡ７において、ＳＡ６の送信に対応して前記サーバ装置２０からの評価結果の受信（返信）があったか否かが判断される。このＳＡ７の判断が否定される場合には、ＳＡ９以下の処理が実行されるが、ＳＡ７の判断が肯定される場合には、ＳＡ８において、受信された評価結果が前記ＲＡＭ５４に記憶されて以降の演奏評価に反映された後、ＳＡ９において、カラオケ演奏終了であるか否かが判断される。このＳＡ９の判断が否定される場合には、ＳＡ４以下の処理が再び実行されるが、ＳＡ９の判断が肯定される場合には、ＳＡ１０において、ＳＡ８にて前記ＲＡＭ５４等に記憶された音高の切り替わり部分に係る演奏評価と、他のプロセスにより算出されたそれ以外の部分に係る演奏評価とに基づいて、対象となるカラオケ演奏全体を通しての総合評価が算出された後、本ルーチンが終了させられる。
【００４４】
図１２は、前記サーバ装置２０のＣＰＵ６６による本実施例の演奏評価制御に係る多変量解析制御の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。
【００４５】
先ず、ＳＢ１において、前記カラオケ装置１６からＮ回分の音高データ及び音量データが演奏曲の選曲番号及び該当箇所の時間情報と共に前記通信回線１８を介して受信されたか否かが判断される。このＳＢ１の判断が否定される場合には、それをもって本ルーチンが終了させられるが、ＳＢ１の判断が肯定される場合には、ＳＢ２において、受信されたＮ回分の音高データ及び音量データが演奏曲の選曲番号及び該当箇所の時間情報と対応付けられて前記多変量解析データベース８４に記憶（蓄積）される。次に、ＳＢ３において、受信されたＮ回分の音高データ及び音量データに対応して前述した数式１に示すような特徴ベクトルｘが算出される。次に、ＳＢ４において、ＳＢ３にて算出された特徴ベクトルが分散１、平均１となるように標準化される。次に、前記主成分分析手段９２の動作に対応するＳＢ５において、ＳＢ４にて標準化された特徴ベクトルに基づいて分散・共分散行列が算出されて主成分分析が行われる。次に、前記固有値・固有ベクトル算出手段９４の動作に対応するＳＢ６において、ＳＢ５における分析結果に対応して、２Ｎ組の固有値・固有ベクトルが算出される。次に、前記分散算出手段９６の動作に対応するＳＢ７において、ＳＢ６にて算出された固有値・固有ベクトルそれぞれに対応する分散が算出される。次に、前記順位付け手段９８の動作に対応するＳＢ８において、ＳＢ７にて算出された分散が大きいものから順にＳＢ６にて算出された固有値・固有ベクトルが第１位から第２Ｎ位まで順位付けされる。次に、前記演奏評価手段１００の動作に対応するＳＢ９において、ＳＢ８にて第１位とされた固有ベクトルをパターン空間の軸として使用すると共に、対応する固有値をその軸の単位として使用することにより、受信されたＮ回分の音高データ及び音量データに係る演奏評価が行われる。次に、前記評価結果送信手段１０２の動作に対応するＳＢ１０において、ＳＢ９における評価結果がデータの送信元である前記カラオケ装置１６に送信（返信）された後、本ルーチンが終了させられる。以上の制御において、ＳＢ３〜ＳＢ８が前記多変量解析手段９０の動作に対応する。
【００４６】
このように、本実施例によれば、音声入力装置であるマイクロフォン４０により入力される音声情報に関して単位時間毎の音高及び音量を検出する音高・音量検出手段８６（ＳＡ５）と、複数の利用者それぞれの音声情報を対象として、前記音高・音量検出手段８６によりＮ回連続的に検出される単位時間毎の音高及び音量に対応する２Ｎ種類のデータに関して多変量解析を行う多変量解析手段（ＳＢ３〜ＳＢ８）と、評価の基準データにおける音高の切り替わり部分において、前記複数の利用者の音声情報に対応する前記多変量解析手段９０による解析結果に基づいて、対象となる利用者の音声情報に係る演奏評価を行う演奏評価手段１００（ＳＢ９）とを、備えたものであることから、高低差のある音高の繋ぎに相当する演奏部分を好適に評価することができる。すなわち、利用者が実際に感じる印象に近い演奏評価を実現するカラオケシステム１０を提供することができる。
【００４７】
また、前記多変量解析手段９０は、前記音高・音量検出手段８６により検出される音高の変化の起点をｎ＝０とする、ｎ＝１からｎ＝Ｎまでの前記２Ｎ種類のデータに関して主成分分析を行う主成分分析手段９２（ＳＢ５）と、その主成分分析手段９６による分析結果に対応して、２Ｎ組の固有値・固有ベクトルを算出する固有値・固有ベクトル算出手段９４（ＳＢ６）と、その固有値・固有ベクトル算出手段９４により算出される２Ｎ組の固有値・固有ベクトルに関して、各固有ベクトルを軸とする固有値の分散を算出する分散算出手段９６（ＳＢ７）と、その分散算出手段９６により算出される分散が大きいものから順に前記２Ｎ組の固有値・固有ベクトルの順位を決定する順位付け手段９８（ＳＢ８）とを、含むものであり、前記演奏評価手段１００は、その順位付け手段９８により決定された順位の高い固有値・固有ベクトルから優先的に前記演奏評価のパラメータとして用いるものであるため、高低差のある音高の繋ぎに相当する演奏部分を実用的な態様で好適に評価することができる。
【００４８】
以上、本発明の好適な実施例を図面に基づいて詳細に説明したが、本発明はこれに限定されるものではなく、更に別の態様においても実施される。
【００４９】
例えば、前述の実施例において、前記音高・音量検出手段８６及び検出結果送信手段８８が前記カラオケ装置１６のＣＰＵ５０に、前記多変量解析手段９０、演奏評価手段１００、及び評価結果送信手段１０２が前記サーバ装置３０のＣＰＵ６６に備えられたものであったが、本発明はこれに限定されるものではなく、例えば、前記音高・音量検出手段８６、多変量解析手段９０、及び演奏評価手段１００が一元的に前記カラオケ装置１６に備えられ、それらの制御手段による処理を前記カラオケ装置１６側で実行するものであってもよい。この場合、前記サーバ装置２０に備えられていた多変量解析データベース８４に相当する情報が前記カラオケ装置１６のハードディスク５６等に蓄積されるのが好ましいが、前記サーバ装置２０の多変量解析データベース８４に記憶された情報を前記カラオケ装置１６により逐一読み出すことによっても前記実施例と同等の制御が可能である。なお、斯かる態様においては、前記検出結果送信手段８８及び評価結果送信手段１０２は必ずしも設けられなくともよい。
【００５０】
また、前述の実施例では、前記音高・音量検出手段８６により各利用者の音声情報に対応するデータが検出される毎にそのデータが前記多変量解析データベース８４に蓄積されるものであったが、サンプルとなるデータが十分に多変量解析データベース８４に蓄積されている場合には、必ずしも毎回の検出結果が新たに蓄積されるものでなくともよい。
【００５１】
その他、一々例示はしないが、本発明はその趣旨を逸脱しない範囲内において種々の変更が加えられて実施されるものである。
【符号の説明】
【００５２】
１０：カラオケシステム
１６：カラオケ装置
４０：マイクロフォン（音声入力装置）
８６：音高・音量検出手段
９０：多変量解析手段
９２：主成分分析手段
９４：固有値・固有ベクトル算出手段
９６：分散算出手段
９８：順位付け手段
１００：演奏評価手段
【特許請求の範囲】
【請求項１】
多数の演奏曲のうちから選択される演奏曲を出力させると共に音声入力装置により入力される音声を増幅して出力させるカラオケ装置を用いたカラオケシステムであって、
前記音声入力装置により入力される音声情報に関して単位時間毎の音高及び音量を検出する音高・音量検出手段と、
複数の利用者それぞれの音声情報を対象として、前記音高・音量検出手段によりＮ回連続的に検出される単位時間毎の音高及び音量に対応する２Ｎ種類のデータに関して多変量解析を行う多変量解析手段と、
評価の基準データにおける音高の切り替わり部分において、前記複数の利用者の音声情報に対応する前記多変量解析手段による解析結果に基づいて、対象となる利用者の音声情報に係る演奏評価を行う演奏評価手段と
を、備えたものであることを特徴とするカラオケシステム。
【請求項２】
前記多変量解析手段は、
前記音高・音量検出手段により検出される音高の変化の起点をｎ＝０とする、ｎ＝１からｎ＝Ｎまでの前記２Ｎ種類のデータに関して主成分分析を行う主成分分析手段と、
該主成分分析手段による分析結果に対応して、２Ｎ組の固有値・固有ベクトルを算出する固有値・固有ベクトル算出手段と、
該固有値・固有ベクトル算出手段により算出される２Ｎ組の固有値・固有ベクトルに関して、各固有ベクトルを軸とする固有値の分散を算出する分散算出手段と、
該分散算出手段により算出される分散が大きいものから順に前記２Ｎ組の固有値・固有ベクトルの順位を決定する順位付け手段と
を、含むものであり、
前記演奏評価手段は、該順位付け手段により決定された順位の高い固有値・固有ベクトルから優先的に前記演奏評価のパラメータとして用いるものである
請求項１に記載のカラオケシステム。
【請求項１】
多数の演奏曲のうちから選択される演奏曲を出力させると共に音声入力装置により入力される音声を増幅して出力させるカラオケ装置を用いたカラオケシステムであって、
前記音声入力装置により入力される音声情報に関して単位時間毎の音高及び音量を検出する音高・音量検出手段と、
複数の利用者それぞれの音声情報を対象として、前記音高・音量検出手段によりＮ回連続的に検出される単位時間毎の音高及び音量に対応する２Ｎ種類のデータに関して多変量解析を行う多変量解析手段と、
評価の基準データにおける音高の切り替わり部分において、前記複数の利用者の音声情報に対応する前記多変量解析手段による解析結果に基づいて、対象となる利用者の音声情報に係る演奏評価を行う演奏評価手段と
を、備えたものであることを特徴とするカラオケシステム。
【請求項２】
前記多変量解析手段は、
前記音高・音量検出手段により検出される音高の変化の起点をｎ＝０とする、ｎ＝１からｎ＝Ｎまでの前記２Ｎ種類のデータに関して主成分分析を行う主成分分析手段と、
該主成分分析手段による分析結果に対応して、２Ｎ組の固有値・固有ベクトルを算出する固有値・固有ベクトル算出手段と、
該固有値・固有ベクトル算出手段により算出される２Ｎ組の固有値・固有ベクトルに関して、各固有ベクトルを軸とする固有値の分散を算出する分散算出手段と、
該分散算出手段により算出される分散が大きいものから順に前記２Ｎ組の固有値・固有ベクトルの順位を決定する順位付け手段と
を、含むものであり、
前記演奏評価手段は、該順位付け手段により決定された順位の高い固有値・固有ベクトルから優先的に前記演奏評価のパラメータとして用いるものである
請求項１に記載のカラオケシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−２０３３８３（Ｐ２０１１−２０３３８３Ａ）
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願番号】特願２０１０−６８８１５（Ｐ２０１０−６８８１５）
【出願日】平成２２年３月２４日（２０１０．３．２４）
【出願人】（３９６００４８３３）株式会社エクシング (394)
【Ｆターム（参考）】
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願日】平成２２年３月２４日（２０１０．３．２４）
【出願人】（３９６００４８３３）株式会社エクシング (394)
【Ｆターム（参考）】
[ Back to top ]