説明

撥弦楽器演奏評価装置

【課題】簡単な構成で正確な演奏評価を実現する撥弦楽器演奏評価装置を提供する。
【解決手段】入力された音声を電気信号に変換するマイクロフォン40と、そのマイクロフォン40により電気信号に変換された前記撥弦楽器の演奏音と、予め定められた評価基準を比較することにより、前記複数本の弦を1ストローク掻き鳴らす単位弾奏毎に所定の時間間隔で複数回の離散評価を行う離散評価手段84と、その離散評価手段84による複数回の離散評価に基づいて、その離散評価に対応する単位弾奏を評価する演奏評価手段86とを、備えたものであることから、一般的なマイクロフォン40で楽器の演奏音を集音するといった簡単な構成により、1ストローク分の演奏動作に対応して複数点の離散評価を行うことで、その1ストロークの演奏において複数の演奏音が混じり合って奏でられる撥弦楽器の演奏を好適に評価することができる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ギターをはじめとする撥弦楽器の演奏を評価する撥弦楽器演奏評価装置に関し、特に、簡単な構成で正確な演奏評価を実現するための改良に関する。
【背景技術】
【0002】
一般に、楽器の演奏を修得するためには多大な年月と努力が必要であり、更にその修得にあたり音楽学校等の機関を利用する場合、相応の費用がかかるものであった。一方、インターネットの普及等による昨今の流通の進歩及び情報化により、演奏を修得したい楽器の教本やビデオ教材等を入手することが容易となったが、教本等を参照しながら楽器の演奏を独習する場合、自分の演奏を客観的に評価することが困難である。そこで、電子制御装置により楽器の演奏を評価する技術が提案されている。例えば、特許文献1に記載された音楽教習システムがそれである。
【0003】
【特許文献1】特開平10−187022号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかし、前述したような従来の技術は、電子制御装置に接続可能な電子楽器の演奏評価に限られることに加え、その電子楽器を接続するためのインターフェイスを有する専用の装置が必要であり、構成が複雑なものになるという弊害があった。また、楽器等の演奏を評価する従来の手法としては、マイクロフォンから入力される演奏音と予め定められた評価基準とを比較することによりその演奏音を評価する技術があるが、特に撥弦楽器のように1回の演奏動作に対応して複数の演奏音が混じり合って奏でられる楽器に関しては、従来の方法ではその演奏評価を実現することが困難であった。このため、簡単な構成で正確な演奏評価を実現する撥弦楽器演奏評価装置の開発が求められていた。
【0005】
本発明は、以上の事情を背景として為されたものであり、その目的とするところは、簡単な構成で正確な演奏評価を実現する撥弦楽器演奏評価装置を提供することにある。
【課題を解決するための手段】
【0006】
斯かる目的を達成するために、本発明の要旨とするところは、複数本の弦を連続的に掻き鳴らすことにより演奏音を奏でる撥弦楽器の演奏を評価する撥弦楽器演奏評価装置であって、入力された音声を電気信号に変換するマイクロフォンと、そのマイクロフォンにより電気信号に変換された前記撥弦楽器の演奏音と、予め定められた評価基準とを比較することにより、前記複数本の弦を1ストローク掻き鳴らす単位弾奏毎に所定の時間間隔で複数回の離散評価を行う離散評価手段と、その離散評価手段による複数回の離散評価に基づいて、その離散評価に対応する単位弾奏を評価する演奏評価手段とを、備えたことを特徴とするものである。
【発明の効果】
【0007】
このようにすれば、入力された音声を電気信号に変換するマイクロフォンと、そのマイクロフォンにより電気信号に変換された前記撥弦楽器の演奏音と、予め定められた評価基準とを比較することにより、前記複数本の弦を1ストローク掻き鳴らす単位弾奏毎に所定の時間間隔で複数回の離散評価を行う離散評価手段と、その離散評価手段による複数回の離散評価に基づいて、その離散評価に対応する単位弾奏を評価する演奏評価手段とを、備えたものであることから、一般的なマイクロフォンで楽器の演奏音を集音するといった簡単な構成により、1ストローク分の演奏動作に対応して複数点の離散評価を行うことで、その1ストロークの演奏において複数の演奏音が混じり合って奏でられる撥弦楽器の演奏を好適に評価することができる。すなわち、簡単な構成で正確な演奏評価を実現する撥弦楽器演奏評価装置を提供することができる。
【0008】
ここで、好適には、予め定められた関係から、前記複数本の弦を1ストローク掻き鳴らす単位弾奏に対応する演奏音に基づいて、その単位弾奏に相当する時間を判定する単位時間判定手段を備え、前記離散評価手段は、その単位時間判定手段により判定される前記単位弾奏に相当する時間に基づいて、その単位弾奏に対応する離散評価に係る時間間隔及び/又は評価回数を決定するものである。このようにすれば、1ストローク分の演奏動作に対応するストローク時間を考慮して複数点の離散評価を行うことで、その1ストローク分の演奏を更に正確に評価することができる。
【0009】
また、好適には、予め定められた関係から、前記複数本の弦を1ストローク掻き鳴らす単位弾奏に対応する演奏音に基づいて、その単位弾奏に係る前記複数本の弦の弾奏方向を判定する弾奏方向判定手段を備え、前記離散評価手段及び演奏評価手段は、その弾奏方向判定手段により判定される前記複数本の弦の弾奏方向に基づいて前記離散評価及び演奏評価を行うものである。このようにすれば、1ストローク分の演奏動作に対応するストローク方向を考慮して離散評価及び演奏評価を行うことで、対象となる撥弦楽器の演奏を更に正確に評価することができる。
【0010】
また、好適には、予め定められた関係から、前記複数本の弦を1ストローク掻き鳴らす単位弾奏に対応する演奏音に基づいて、その演奏音が安定した時点を検出する安定時点検出手段を備え、前記演奏評価手段は、前記離散評価手段による複数回の離散評価のうち前記安定時点検出手段により検出された前記演奏音が安定した時点付近における離散評価を前記単位弾奏に係る評価として採用するものである。このようにすれば、1ストローク分の演奏動作に対応する演奏音がある程度安定した時点における離散評価を採用することで、対象となる撥弦楽器の演奏を更に正確に評価することができる。
【0011】
また、好適には、前記撥弦楽器として6本の弦を備えたギターの演奏を評価するものである。このようにすれば、人気の高い撥弦楽器であるギターの演奏を簡単な構成で正確に評価する撥弦楽器演奏評価装置を提供することができる。
【0012】
また、好適には、前記撥弦楽器として4本の弦を備えたベースギターの演奏を評価するものである。このようにすれば、人気の高い撥弦楽器であるベースギターの演奏を簡単な構成で正確に評価する撥弦楽器演奏評価装置を提供することができる。
【0013】
また、好適には、前記撥弦楽器演奏評価装置は、多数の演奏曲のうちから選択される所定の演奏曲を出力させると共に、その演奏曲の出力と併行してその演奏曲の歌詞文字映像を含む演奏映像を表示させるカラオケ装置に備えられたものである。このようにすれば、一般に防音設備が調ったカラオケボックス等に設置されたカラオケ装置を用いて、撥弦楽器の演奏を簡便且つ実用的な態様で練習することができる。
【図面の簡単な説明】
【0014】
【図1】本発明の撥弦楽器演奏評価装置が好適に適用されるカラオケ装置を備えたカラオケシステムを説明する概略図である。
【図2】図1のカラオケシステムに備えられたカラオケ装置の構成を例示するブロック線図である。
【図3】本発明の一実施例である撥弦楽器演奏評価装置としての図2のカラオケ装置のCPUに備えられた制御機能の要部を説明する機能ブロック線図である。
【図4】図3の撥弦楽器演奏評価装置によるストロークタイミングの判定について説明する図である。
【図5】図3の撥弦楽器演奏評価装置によるストローク時間の判定について説明する図であり、窓長0.15秒である場合に3つの時点で音が発生した状態を示している。
【図6】図3の撥弦楽器演奏評価装置による演奏音が安定した時点の判定について説明する図であり、演奏音に対応するスペクトルが消える様子を示す図である。
【図7】図3の撥弦楽器演奏評価装置による評価結果に対応して映像表示装置に表示される演奏評価結果解説映像を例示する図である。
【図8】図3の撥弦楽器演奏評価装置による評価結果に対応して映像表示装置に表示される演奏曲推薦映像を例示する図である。
【図9】本発明の一実施例である撥弦楽器演奏評価装置としての図2のカラオケ装置のCPUによるギター演奏評価制御の要部を説明するフローチャートである。
【発明を実施するための形態】
【0015】
以下、本発明の好適な実施例を図面に基づいて詳細に説明する。
【実施例】
【0016】
図1は、本発明の撥弦楽器演奏評価装置が好適に適用されるカラオケ装置16を備えたカラオケシステム10を説明する概略図である。この図1に示すように、上記カラオケシステム10では、カラオケボックス、スナック、旅館等の店舗12における複数の個室14a、14b、14c、・・・(以下、特に区別しない場合には単に個室14と称する)にそれぞれ1台乃至は複数台ずつ(図1では1台ずつ)のカラオケ装置16a、16b、16c、・・・(以下、特に区別しない場合には単にカラオケ装置16と称する)が設置されている。これら複数のカラオケ装置16は、ルータ28を介して公衆電話回線等による通信回線18に接続されており、同じくその通信回線18に接続されたカラオケサービス提供会社のサーバ装置(センタ装置)20との相互間でその通信回線18を介して情報の通信が可能とされている。このサーバ装置20は、カラオケ情報(楽曲データ)、背景映像情報、曲間情報等のデジタルコンテンツ(Digital Contents)の保管や入出力管理の基本的な制御を行うサーバであり、上記通信回線18を介して上記カラオケ装置16に定期的にコンテンツの配信を行うと共に、そのカラオケ装置16からの要求に応じて所定の機能制御プログラムを送信するものである。また、上記カラオケシステム10は、複数の電子早見本装置22a、22b、22c、・・・(以下、特に区別しない場合には単に電子早見本装置22と称する)を備えており、上記カラオケ装置16の利用に際して、各利用者(グループ)毎に1台乃至数台ずつの電子早見本装置22が貸与され、各個室14において後述するように上記カラオケ装置16の遠隔操作装置として用いられるようになっている。上記店舗12内には上記複数のカラオケ装置16を相互に接続するLAN24が敷設されており、上記電子早見本装置22からのカラオケ装置16への入力は、所定のアクセスポイント26及びLAN24を介したLAN通信等により行われる。
【0017】
図2は、上記カラオケ装置16の構成を例示するブロック線図である。この図2に示すように、上記カラオケ装置16は、CRT(Cathode-ray Tube)やTFT(Thin Film Transistor Liquid Crystal)等の映像表示装置30と、CRTコントローラ等の映像出力制御部32と、映像情報デコーダ34と、ビデオミキサ36と、音源であるシンセサイザ38と、音声入力装置であるマイクロフォン40と、そのマイクロフォン40から入力される音声をディジタル信号に変換するためのA/Dコンバータ41と、アンプミキサ42と、スピーカ44と、操作パネル46と、その操作パネル46等からの入力信号を処理する入出力インターフェイス48と、中央演算処理装置であるCPU50と、読出専用メモリであるROM52と、随時書込読出メモリであるRAM54と、記憶装置であるハードディスク56と、モデム58と、LANポート60と、上記電子早見本装置22やリモコン装置64等の入力装置からのリモコン信号を受信するためのリモコン受信部62とを、備えて構成されている。また、上記カラオケ装置16は、図3を用いて後述する各種制御機能を前記CPU50に機能的に備えることにより、例えばギター66等の撥弦楽器の演奏を評価する本発明の撥弦楽器演奏評価装置の一実施例として機能する。
【0018】
前記映像出力制御部32は、前記CPU50において生成された歌詞文字映像等の文字映像(テロップ)を出力する文字映像出力装置として機能する他、前記映像表示装置30による種々の映像表示を制御する表示制御装置である。また、前記映像情報デコーダ34は、利用者が歌詞を参照しながら歌を歌う際に前記ハードディスク56に記憶された背景映像情報に基づいて所定の背景映像を再生(デコード)する背景映像再生装置である。この背景映像情報は、例えば、MPEG(Moving Picture Experts Group)形式のデータであり、そのMPEGデータに基づいて前記映像情報デコーダ34により再生された背景映像は、前記ビデオミキサへ送られる。また、前記ビデオミキサ36は、前記CPU50において生成され且つ前記映像出力制御部32から出力される文字映像と、前記映像情報デコーダ34により再生される背景映像とを合成して前記映像表示装置30に表示させる映像合成装置である。
【0019】
前記シンセサイザ38は、前記ハードディスク56から読み出されて送られて来るカラオケ演奏曲の演奏情報に基づいて楽器の演奏信号等の音楽信号を生成する音源である。この演奏情報は、例えば、MIDI(Musical Instrument Digital Interface)形式のデータであり、そのMIDIデータに基づいて前記シンセサイザ38により生成された音楽信号は、アナログ信号に変換されて前記アンプミキサ42へ送られる。また、前記マイクロフォン40は、入力された音声を電気信号に変換する電気音響変換器であり、前記アンプミキサ42では、送られてきた音楽信号と前記マイクロフォン40を介して入力される利用者の歌声とがミキシングされ、それらの信号が電気的に増幅されて前記スピーカ44から出力される。また、前記マイクロフォン40を介して入力されると共に電気信号に変換された音声(音声情報)は、前記A/Dコンバータ41を介してディジタル信号に変換され、後述する演奏評価制御等のために前記CPU50やRAM54等へ供給されるようになっている。なお、前記ギター66の演奏評価制御に際して、前記マイクロフォン40から入力されると共に前記A/Dコンバータ41を介してディジタル信号に変換されたそのギター66の演奏音は前記RAM54等に記憶され、後述する演奏評価制御に係る各種制御のために適宜読み出されて用いられる。
【0020】
前記操作パネル46は、前記カラオケ装置16の利用者が歌いたいカラオケ演奏曲を選択したり、演奏曲の音程を調整したり、演奏と歌との音量バランスを調整したり、その他、エコー、音量、トーン等の各種調整を行うための操作ボタン(スイッチ)或いはつまみを備えた入力装置である。また、前記カラオケ装置16には、前記操作パネル46の一部機能を遠隔で実行するための入力装置として機能するリモコン装置64が備えられており、前記リモコン受信部62は、そのリモコン装置64から送信されるリモコン信号を受信して前記CPU50へ供給する。また、前記カラオケ装置16と電子早見本装置22との対応付け(くくりつけ)処理も前記リモコン受信部62を介して行われ、そのようにして前記カラオケ装置16に対応付けられた電子早見本装置22も同様に入力装置として機能する。
【0021】
前記CPU50は、前記RAM54の一時記憶機能を利用しつつ前記ROM52に予め記憶された所定のプログラムに基づいて電子情報を処理・制御する所謂マイクロコンピュータであり、前記電子早見本装置22やリモコン装置64等により所定のカラオケ演奏曲が選曲された場合、その選曲されたカラオケ演奏曲を前記RAM54に設けられた予約曲テーブルに登録したり、その予約曲テーブルの演奏順に従って前記ハードディスク56から前記RAM54に選曲されたカラオケ演奏曲の演奏情報及び歌詞情報等を読み出したり、カラオケ演奏曲の演奏が進行するのに応じてそのRAM54から前記シンセサイザ38へ演奏情報を送信したり、歌詞情報に基づいて歌詞文字映像を生成して前記映像出力制御部32へ送ったり、選曲時には曲名文字映像を生成して前記映像出力制御部32へ送ったり、前記映像情報デコーダ34を制御して所定の背景映像を再生させたり、カラオケ演奏が行われていない間すなわち曲間において、新譜情報、選曲ランキング、店舗広告等の曲間情報を出力させたり、前記通信回線18を介した前記サーバ装置20との間の情報通信制御等の基本的な制御に加えて、後述する演奏評価制御乃至その制御に関する各種制御を実行する。
【0022】
前記モデム58は、前記カラオケ装置16を公衆電話回線等による通信回線18に接続するための装置であり、前記CPU50から出力されるディジタル信号をアナログ信号に変換して前記通信回線18に送り出すと共に、その通信回線18を介して伝送されるアナログ信号をディジタル信号に変換して前記CPU50に供給する処理を行う。なお、前記店舗12に備えられた複数のカラオケ装置16のうち何れかのカラオケ装置16が前記ルータ28の機能を備えてマスターコマンダとして前記通信回線18に接続される態様も考えられ、その場合、前記モデム58はそのマスターコマンダとして機能するカラオケ装置16には必要とされるが、そのマスターコマンダを介して前記サーバ装置20との間で情報の通信を行う他のカラオケ装置16には必ずしも設けられなくともよい。
【0023】
前記LANポート60は、前記カラオケ装置16をLAN24を介して他のカラオケ装置16や電子早見本装置22等の他の機器に接続するための接続器であり、前記カラオケ装置16は、そのようにLAN24を介して接続されることで、他のカラオケ装置16や電子早見本装置22等の他の機器との間で情報の送受信が可能とされる。例えば、前記アクセスポイント26を介して受信される前記電子早見本装置22からの選曲入力を受け付けて前記RAM54に設けられた予約曲テーブルに記憶したり、そのアクセスポイント26を介して前記カラオケ装置16から電子早見本装置22へ所定の情報を送信したりというように、電波を介して前記カラオケ装置16と電子早見本装置22との間における相互の情報のやりとりが実行される。
【0024】
前記ハードディスク56には、図3に示すように、カラオケ演奏曲を出力させるための多数のカラオケデータ(楽曲データ)を記憶するカラオケデータベース68及び撥弦楽器のコードに関する各種情報を記憶するコードデータベース70をはじめとする各種データベースが設けられている。カラオケボックス等の店舗にそれぞれ備えられた複数のカラオケ装置16のうち所定のカラオケ装置16例えば前記カラオケ装置16aは、前記モデム58を介して前記通信回線18に接続されており、前記複数のカラオケ装置16によって常に新しい曲が演奏可能とされるように、随時新たな楽曲データやコードに関する情報等が前記サーバ装置20から前記通信回線18を介して配信され、前記ハードディスク56のカラオケデータベース68乃至コードデータベース70等に記憶される。また、そのようにして前記サーバ装置20から情報を取得したカラオケ装置16aとその他のカラオケ装置16との間で前記LAN24を介した通信が行われることにより、各カラオケ装置16のハードディスク56に記憶される情報が共有され、上記カラオケデータベース68乃至コードデータベース70等の内容が等価なものとされる。
【0025】
上記カラオケデータベース68には、コンテンツIDである各演奏曲に固有の選曲番号により識別されるカラオケ情報が各演奏曲毎に記憶されている。このカラオケ情報は、曲名、歌手名、発表時期、及びジャンル等のヘッダ情報、演奏音を生成するための演奏情報、及び歌詞文字映像(歌詞テロップ)を生成するための歌詞情報を含んでいる。上記演奏情報は、例えば前記シンセサイザ38により所定の演奏音を出力させるためのMIDIデータであり、出力に係る演奏音(楽器)の種類と、各演奏音に対応する楽譜情報とを、含んでいる。すなわち、撥弦楽器であるギター66の演奏音を含む演奏曲(カラオケデータ)に関しては、そのギター66の演奏音に対応するギターコードとその出力タイミング(演奏曲の演奏進行に伴いどのタイミングで各コードが出力されるべきか)が定められている。また、上記歌詞情報は、前記映像出力制御部32等を介して演奏曲の歌詞文字映像を出力させるためのデータであり、前記歌詞文字映像に対応する歌詞のテキスト情報と、演奏出力に併行してその歌詞文字映像の表示を切り替えるための切替タイミング情報と、演奏出力に併行してその歌詞文字映像を順次色替えするための色替タイミング情報とを、含んでいる。
【0026】
前記コードデータベース70には、例えば前記ギター66のコード(ギターコード)に関する各種情報が記憶されている。このコードとは、例えば前記ギター66を演奏する際にそのギター66に備えられた6本の弦それぞれが弾かれて奏でられた音が重なった演奏音(和音)であり、それら6本の弦の押さえ方(弦を掻き鳴らす方とは逆側の手の指での弦の押さえ方)によって定まる。すなわち、前記ギター66において、演奏者は一方の手の指で6本の弦(必ずしも6本全部を押さえるものではない)を押さえつつ、もう一方の手でそれら6本の弦を所定の方向に連続的に(一挙に)掻き鳴らすことで、1ストローク分の演奏音として所定のコードに相当する和音が奏でられる。換言すれば、前記ギター66において同様の演奏の仕方をすれば同じ演奏音(コード)が奏でられる。前記コードデータベース70には、好適には、前記ギター66において各コード(ギターコード)に相当する演奏を行った際に奏でられる演奏音に対応する音声情報について、以下に詳述するように一般的な高速フーリエ変換乃至クロマベクトル(Chroma Vector)の算出等を行うことにより得られる(予め実験的に得られた)周波数解析結果が、各コード毎に記憶されている。
【0027】
図3は、本実施例の撥弦楽器演奏評価装置としての前記カラオケ装置16のCPU50に備えられた制御機能の要部を説明する機能ブロック線図である。この図3に示す演奏音解析手段72は、前記マイクロフォン40により電気信号に変換されると共に前記A/Dコンバータ41によりディジタル信号に変換された前記ギター66の演奏音(音声情報)を解析する。例えば、(a)そのA/Dコンバータ41から供給される音声情報を高速フーリエ変換(FFT:Fast Fourier Transformation)により周波数成分に展開し、(b)その展開された周波数成分を次の(1)式に示すような所定の櫛形フィルタ(各音階の中心の周波数が通るようにしたフィルタ)にかけてある程度音階毎に分離し、(c)各音階毎を数オクターブに渡り足すことで次の(2)式に示すような周波数解析結果としてのクロマベクトル(Chroma Vector)を求める。なお、上記櫛形フィルタに係るPc,oは、音階がcでオクターブがoの時のパワーを示しており、各音それぞれについて斯かる櫛形フィルタがかけられる。このようなギター演奏音の周波数解析及びコード推定に係る技術は、「此木康至,江村伯夫,三浦雅展,"クロマ情報とコード進行データベースを用いたコード名推定システムの構築(Chord estimation system using chromatic profiles and chord progression databese)" 情報処理学会研究報告.[音楽情報科学] IPSJ SIG Notes 2008(89) pp.53-58 20080915 社団法人情報処理学会」に詳しい。
【0028】
【数1】

【0029】
【数2】

【0030】
ストローク解析手段74は、前記ギター66に備えられた6本の弦を1ストローク掻き鳴らす単位弾奏に対応する演奏音を解析する。斯かる解析を行うために、タイミング判定手段76、単位時間判定手段78、及び弾奏方向判定手段80を含んでいる。前記ギター66のように、複数本の弦を連続的に掻き鳴らすことにより演奏を行う撥弦楽器では、1ストローク掻き鳴らす単位弾奏が行われた場合に、それら複数本の弦それぞれが弾かれるタイミングが厳密には異なることに加え、以前に弾かれた弦の音が残ることから、音声入力の有無によってはそのストロークタイミング、ストローク時間、及びストローク方向等を判定することが困難である。このため、上記ストローク解析手段74は、上記タイミング判定手段76、単位時間判定手段78、及び弾奏方向判定手段80により前記ギター66に備えられた6本の弦を1ストローク掻き鳴らす単位弾奏に対応する演奏音に対応するストロークタイミング、ストローク時間、及びストローク方向を判定する。以下、各制御手段による制御について分説する。
【0031】
タイミング判定手段76は、予め定められた関係から、前記ギター66に備えられた6本の弦を1ストローク掻き鳴らす単位弾奏に対応する演奏音に基づいて、その単位弾奏に相当する出力タイミング(ストロークタイミング)すなわち何時奏でられたかを判定する。図4は、上記タイミング判定手段76によるストロークタイミングの判定について説明する図であり、縦軸は音圧を16ビットの整数で表したものである。この図4に示すように、前記ギター66に備えられた6本の弦を1ストローク掻き鳴らす単位弾奏の結果として得られる波形では、鳴り始めである時点t1が瞬間的に強くなり、その後は速やかにある程度の強さに減衰する(例えば、図4に示すようにexp(−ct)に近似する曲線を描く)。この関係を利用して、上記タイミング判定手段76は、好適には、前記ギター66に備えられた6本の弦を1ストローク掻き鳴らす単位弾奏に対応する演奏音に関して、入力音声に対応する波形が図4に示すように瞬間的に増大した時点t1を、その単位弾奏の出力タイミング(ストロークタイミング)として判定する。
【0032】
単位時間判定手段78は、予め定められた関係から、前記ギター66に備えられた6本の弦を1ストローク掻き鳴らす単位弾奏(必ずしも全ての弦を掻き鳴らすものではなく弾かない弦があってもよい)に対応する演奏音に基づいて、その単位弾奏に相当する時間(ストローク時間)を判定する。図5は、前記単位時間判定手段78によるストローク時間の判定について説明する図であり、窓長0.15秒である場合に3つの時点で音が発生した状態を示している。高速フーリエ変換により音声情報を周波数成分に展開した場合、不確定性原理の問題からその時間変化や音階等の情報を必ずしも正確に得ることができず、特に前記ギター66に備えられた6本の弦それぞれに対応する音の出力タイミングを得るのは困難であるが、前記単位弾奏に対応して前述したクロマベクトルを求めること等により2つ以上の音階の発生が検出できれば、それら2つ以上の音階の発生時点の間隔からその単位弾奏に相当するストローク時間すなわち前記ギター66に備えられた6本の弦を1ストローク掻き鳴らすのに要した時間を大まかに判定することができる。本実施例において、好適には、単位弾奏に含まれる2つ以上の音階の発生時点の間隔とその単位弾奏に係るストローク時間との対応関係が前記ハードディスク56等に記憶されており、この関係を利用して、前記単位時間判定手段78は、前記ギター66に備えられた6本の弦を1ストローク掻き鳴らす単位弾奏に対応する演奏音に関して、その演奏音に含まれる2つ以上の音階の発生時点の間隔(時間間隔)に基づいて前記ストローク時間を判定する。すなわち、その音階の発生時点の間隔が小さければ比較的速いストローク、間隔が大きければ比較的遅いストロークであるというように、斯かる2つ以上の音階の発生時点の間隔に比例する値としての前記ストローク時間を算出する。
【0033】
弾奏方向判定手段80は、予め定められた関係から、前記ギター66に備えられた6本の弦を1ストローク掻き鳴らす単位弾奏に対応する演奏音に基づいて、その単位弾奏に係る前記6本の弦の弾奏方向を判定する。図5を用いて上述したように、前記単位弾奏に対応して2つ以上の音階の発生が検出できた場合、それらの音階及び各音階の発生順からその単位弾奏に対応する演奏がダウンストローク(演奏者が手を振り下ろす方向に弦を掻き鳴らす演奏)によるものであるか、或いはアップストローク(演奏者が手を振り上げる方向に弦を掻き鳴らす演奏)によるものであるかを判定することができる。本実施例において、好適には、単位弾奏に含まれる2つ以上の音階乃至その発生順とその単位弾奏に係るストローク方向との対応関係が前記ハードディスク56等に記憶されており、この関係を利用して、前記弾奏方向判定手段80は、前記ギター66に備えられた6本の弦を1ストローク掻き鳴らす単位弾奏に対応する演奏音に関して、その演奏音に含まれる2つ以上の音階及びその発生順に基づいて、その単位弾奏に係る弾奏方向を判定する。
【0034】
図3に戻って、安定時点検出手段82は、予め定められた関係から、前記ギター66に備えられた6本の弦を1ストローク掻き鳴らす単位弾奏に対応する演奏音に基づいて、その演奏音が安定した時点を検出する。図6は、上記安定時点検出手段82による演奏音が安定した時点の判定について説明する図であり、演奏音に対応するスペクトルが消える様子を示す図である。この図6に示すように、演奏音がほぼ安定した状態においても音は静かに消えてゆくことがわかり、そのように音が安定した状態では比較的シャープなスペクトルが得られることが一般に知られている。本実施例において、好適には、単位弾奏に相当する演奏音に係るスペクトルが所定の安定状態に達したか否かを判定するための情報が記憶されており、この情報を利用して、上記安定時点検出手段82は、前記ギター66に備えられた6本の弦を1ストローク掻き鳴らす単位弾奏に対応する演奏音の周波数解析結果が、所定の先鋭な(各成分が明確に分離した)状態となった時点をその演奏音が安定した時点として検出する。
【0035】
図3に戻って、離散評価手段84は、前記マイクロフォン40により電気信号に変換されると共に前記A/Dコンバータ41によりディジタル信号に変換された前記ギター66の演奏音と、予め定められた評価基準とを比較することにより、前記ギター66における6本の弦を1ストローク掻き鳴らす単位弾奏毎に所定の時間間隔で複数回の離散評価を行う。ここで、本実施例の離散評価手段84は、前記コードデータベース70に記憶された情報を上記評価基準として斯かる離散評価を行う。すなわち、前記ギター66における6本の弦を1ストローク掻き鳴らす単位弾奏に対応する演奏音に関して、前記演奏音解析手段72により所定の時間間隔(例えば0.1秒毎)で複数回(例えば10回)の周波数解析を行い、それぞれの点における周波数解析結果と、前記コードデータベース70に記憶された各コードと周波数解析結果との対応関係とを比較することにより、それぞれの点における周波数解析結果に対応するコードを判定する。換言すれば、前記タイミング判定手段76により判定される前記ギター66における6本の弦を1ストローク掻き鳴らす単位弾奏に対応する演奏音の出力タイミングを始点として、その演奏音が継続する時間を等分割した複数の時点でそれぞれ上記周波数解析及びその周波数解析結果に対応するコードの判定を行う。
【0036】
前述のように、前記ギター66等の撥弦楽器による演奏では、複数本の弦を連続的に掻き鳴らすことにより演奏音を奏でるものであることから、1ストロークに相当する単位弾奏に関して最初の弦を弾く時点から最後の弦を弾く時点までの間に必然的に所定の時間間隔が生じる。このため、最初の弦を弾いた瞬間には最後の弦に対応する音は出力されておらず、最後の弦を弾いた瞬間には最初の弦に対応する音の減衰が始まっているという現象が起こり、その単位弾奏に関して1点のみの判定を行うことによっては正確なコードが判定できないことが考えられる。そこで、本実施例の撥弦楽器演奏評価装置では、上記離散評価手段84により前記ギター66における6本の弦を1ストローク掻き鳴らす単位弾奏毎に所定の時間間隔で複数回の離散評価を行うことで、その単位弾奏に対応するコードの判定を可及的に正確なものとすることができる。
【0037】
演奏評価手段86は、前記離散評価手段84による複数回の離散評価に基づいて、その離散評価に対応する単位弾奏を評価する。例えば、前記カラオケデータベース68に記憶された所定のカラオケデータに係るカラオケ演奏の出力に際して、前記離散評価手段84による複数回の離散評価の結果として得られるコードのうち最も判定回数の多かったコードをその離散評価に係る単位弾奏に対応するコードとして判定し、そのようにして判定された前記単位弾奏に対応するコード及び前記タイミング判定手段76により判定されたその単位弾奏の出力タイミングと、出力に係るカラオケ演奏のカラオケデータ(MIDIデータ)に定められたギターコード及びその出力タイミングとを比較することで、そのカラオケ演奏に伴う前記ギター66の演奏に係る単位弾奏を評価する。すなわち、そのギター66による単位弾奏が、出力に係るカラオケ演奏曲のMIDIデータに定められたギターコードと一致するか否か、及びその出力タイミングのずれ等に基づいて前記ギター66の演奏の巧拙を評価する。
【0038】
ここで、好適には、前記離散評価手段84は、前記単位時間判定手段78により判定される前記単位弾奏に相当する時間(ストローク時間)に基づいて、その単位弾奏に対応する離散評価に係る時間間隔及び/又は評価回数を決定する。例えば、前記単位時間判定手段78により判定される前記単位弾奏に相当する時間が比較的長い場合には、その単位弾奏に対応する離散評価に係る時間間隔を長くする及び/又は評価回数を多くする一方、前記単位弾奏に相当する時間が比較的短い場合には、その単位弾奏に対応する離散評価に係る時間間隔を短くする及び/又は評価回数を少なくするというように、前記単位時間判定手段78により判定される前記単位弾奏に相当する時間に応じて前記離散評価に係る時間間隔及び/又は評価回数を変更する。本実施例において、好適には、単位弾奏に相当する時間と離散評価に係る時間間隔及び/又は評価回数との対応関係が前記ハードディスク56等に記憶されており、前記離散評価手段84は、その関係から前記単位時間判定手段78により判定される前記単位弾奏に相当する時間に基づいて斯かる制御を行う。
【0039】
また、好適には、前記離散評価手段84及び演奏評価手段86は、前記弾奏方向判定手段80により判定される前記6本の弦の弾奏方向に基づいて前記離散評価及び演奏評価を行う。例えば、前記離散評価手段84は、前記ギター66における6本の弦を1ストローク掻き鳴らす単位弾奏に対応する演奏音に係る離散評価において、その単位弾奏に関して前記弾奏方向判定手段80により判定される前記6本の弦の弾奏方向に基づいて各離散評価に係るコード判定を行う。また、前記演奏評価手段86は、前記単位弾奏に係る前記離散評価手段84による複数回の離散評価結果と、前記弾奏方向判定手段80により判定される前記6本の弦の弾奏方向とを比較し、その離散評価結果に対応するコードが評価結果として適切であるか否かを判定する。
【0040】
また、好適には、前記演奏評価手段86は、前記離散評価手段84による複数回の離散評価のうち前記安定時点検出手段82により検出された前記演奏音が安定した時点付近における離散評価を前記単位弾奏に係る評価として採用する。すなわち、前記単位弾奏に対応して前記離散評価手段84により複数回の離散評価が行われ、その離散評価結果として複数のコードが判定された場合、その単位弾奏に対応して前記安定時点検出手段82により検出された前記演奏音が安定した時点付近(例えば安定した時点を中心として前後所定時間内)における離散評価を前記単位弾奏に係る評価(コード)として採用し、その単位弾奏に係る演奏評価を行う。
【0041】
図3に戻って、評価結果表示手段88は、前記演奏評価手段86による評価結果に係る映像を前記映像出力制御部32等を介して前記映像表示装置30に表示させる。図7は、前記演奏評価手段86による評価結果に対応して前記映像表示装置30に表示される演奏評価結果解説映像90を例示する図である。この図7に示すように、上記評価結果表示手段88は、前記演奏評価手段86による評価結果に係る映像として、例えば前記単位弾奏に係る正解のコードと、その単位弾奏において演奏者が間違って弾いたコードとを比較して表示させる。更に、正解である和音の音階成分と実際に演奏(マイクロフォン40を介して入力)された和音の音階成分とを比較し、足りなかった成分を示すことでどの音が上手く演奏できていないかを演奏者に教示(解説)する。例えば、図7の演奏評価結果解説映像90に示された例では、正解のコードはCであるが実際に演奏されたコードはCmであり、この場合正解はCEGだが演奏はCD♯Gであるため、Eを弾いたつもりがD♯を弾いてしまっていたことが考えられる。このように、前記演奏評価手段86による評価結果として得られるそのような情報を上記評価結果表示手段88により視覚的に示すことにより、演奏者の苦手な部分を的確に教示することができるのである。なお、図7に示すような演奏評価結果解説映像90は、評価の対象となるカラオケ演奏に同期して表示されるものであってもよいし、そのカラオケ演奏が終了した時点で評価結果に係るタイミング乃至歌詞等と対応付けて表示させるものであってもよい。
【0042】
図8は、前記演奏評価手段86による評価結果に対応して前記映像表示装置30に表示される演奏曲推薦映像92を例示する図である。この図8に示すように、上記評価結果表示手段88は、前記演奏評価手段86による評価結果に係る映像として、例えば演奏者が間違いやすいコードを比較的多く含むカラオケ演奏曲をお勧め演奏曲として表示させる。更に、図8に示すように、そのお勧め演奏曲を選曲入力するためのダイレクト選曲入力ボタン94を表示させる。このダイレクト選曲入力ボタン94は、例えば前記リモコン装置64等によりその部分にカーソルが合わせられた状態で所定の操作が行われることにより、そのお勧め演奏曲の選曲入力を可能とするものである。例えば、図8の演奏曲推薦映像92に示された例では、評価結果として演奏者が間違い易いものと判定されたコードとしてC、D、A♯が挙げられており、更にそれらのコードを多く含むお勧め演奏曲として「黄昏カーテンコール」が推薦されている。このように、前記演奏評価手段86による評価結果として得られる情報に基づくお勧め演奏曲を上記評価結果表示手段88により示すことにより、演奏者の苦手な部分を特訓するために好適な演奏曲を的確に教示することができるのである。
【0043】
図9は、本実施例の撥弦楽器演奏評価装置としての前記カラオケ装置16のCPU50によるギター演奏評価制御の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。
【0044】
先ず、ステップ(以下、ステップを省略する)S1において、所定のカラオケ演奏曲を対象とする前記ギター66の演奏評価制御が開始されるか否かが判断される。このS1の判断が否定される場合には、それをもって本ルーチンが終了させられるが、S1の判断が肯定される場合には、S2において、対象となるカラオケ演奏曲に対応するカラオケデータが前記カラオケデータベース68から読み出され、そのカラオケデータに相当するカラオケ演奏の出力が開始される。次に、S3において、前記マイクロフォン40から前記ギター66の演奏音に対応する音声情報の入力があったか否かが判断される。このS3の判断が否定される場合には、S10以下の処理が実行されるが、S3の判断が肯定される場合には、前記タイミング判定手段76の動作に対応するS4において、前記マイクロフォン40から入力された単位弾奏に対応する演奏音に基づいて、その単位弾奏に相当するストロークタイミングが判定される。次に、前記弾奏方向判定手段80の動作に対応するS5において、前記マイクロフォン40から入力された単位弾奏に対応する演奏音に基づいて、その単位弾奏に係るストローク方向が判定される。次に、前記単位時間判定手段78の動作に対応するS6において、前記マイクロフォン40から入力された単位弾奏に対応する演奏音に基づいて、その単位弾奏に係るストローク時間が判定される。次に、前記安定時点検出手段82の動作に対応するS7において、前記マイクロフォン40から入力された単位弾奏に対応する演奏音に基づいて、その演奏音が安定した時点が検出(判定)される。次に、前記離散評価手段84の動作に対応するS8において、S4により判定されたストロークタイミング、S5にて判定されたストローク方向、及びS6にて判定されたストローク時間等に基づいて、前記マイクロフォン40から入力された単位弾奏に対応する演奏音に関して所定の時間間隔で複数回の離散評価が行われる。次に、前記演奏評価手段86の動作に対応するS9において、S4により判定されたストロークタイミング、S5にて判定されたストローク方向、及びS7にて検出された演奏音が安定した時点等に基づいて、S8による複数回の離散評価に対応する単位弾奏に係るコードが判定され、その単位弾奏が出力に係るカラオケ演奏曲(MIDIデータ)との比較において評価される。次に、S10において、対象となるカラオケ演奏曲の演奏が終了したか否かが判断される。このS10の判断が否定される場合には、S3以下の処理が再び実行されるが、S10の判断が肯定される場合には、S11において、対象となるカラオケ演奏曲全体を通しての総合評価が行われる。次に、前記評価結果表示手段88の動作に対応するS12において、S9乃至S11による評価結果に係る映像として、図7に示す演奏評価結果解説映像90や図8に示す演奏曲推薦映像92等が前記映像表示装置30に表示された後、本ルーチンが終了させられる。
【0045】
このように、本実施例によれば、入力された音声を電気信号に変換するマイクロフォン40と、そのマイクロフォン40により電気信号に変換された前記撥弦楽器の演奏音と、予め定められた評価基準を比較することにより、前記複数本の弦を1ストローク掻き鳴らす単位弾奏毎に所定の時間間隔で複数回の離散評価を行う離散評価手段84(S8)と、その離散評価手段84による複数回の離散評価に基づいて、その離散評価に対応する単位弾奏を評価する演奏評価手段86(S9)とを、備えたものであることから、一般的なマイクロフォン40で楽器の演奏音を集音するといった簡単な構成により、1ストローク分の演奏動作に対応して複数点の離散評価を行うことで、その1ストロークの演奏において複数の演奏音が混じり合って奏でられる撥弦楽器の演奏を好適に評価することができる。すなわち、簡単な構成で正確な演奏評価を実現する撥弦楽器演奏評価装置を提供することができる。
【0046】
また、予め定められた関係から、前記複数本の弦を1ストローク掻き鳴らす単位弾奏に対応する演奏音に基づいて、その単位弾奏に相当する時間を判定する単位時間判定手段78(S6)を備え、前記離散評価手段84は、その単位時間判定手段78により判定される前記単位弾奏に相当する時間に基づいて、その単位弾奏に対応する離散評価に係る時間間隔及び/又は評価回数を決定するものであるため、1ストローク分の演奏動作に対応するストローク時間を考慮して複数点の離散評価を行うことで、その1ストローク分の演奏を更に正確に評価することができる。
【0047】
また、予め定められた関係から、前記複数本の弦を1ストローク掻き鳴らす単位弾奏に対応する演奏音に基づいて、その単位弾奏に係る前記複数本の弦の弾奏方向を判定する弾奏方向判定手段80(S5)を備え、前記離散評価手段84及び演奏評価手段86は、その弾奏方向判定手段80により判定される前記複数本の弦の弾奏方向に基づいて前記離散評価及び演奏評価を行うものであるため、1ストローク分の演奏動作に対応するストローク方向を考慮して離散評価及び演奏評価を行うことで、対象となる撥弦楽器の演奏を更に正確に評価することができる。
【0048】
また、予め定められた関係から、前記複数本の弦を1ストローク掻き鳴らす単位弾奏に対応する演奏音に基づいて、その演奏音が安定した時点を検出する安定時点検出手段82(S7)を備え、前記演奏評価手段86は、前記離散評価手段84による複数回の離散評価のうち前記安定時点検出手段82により検出された前記演奏音が安定した時点付近における離散評価を前記単位弾奏に係る評価として採用するものであるため、1ストローク分の演奏動作に対応する演奏音がある程度安定した時点における離散評価を採用することで、対象となる撥弦楽器の演奏を更に正確に評価することができる。
【0049】
また、前記撥弦楽器として6本の弦を備えたギター66の演奏を評価するものであるため、人気の高い撥弦楽器であるギター66の演奏を簡単な構成で正確に評価する撥弦楽器演奏評価装置を提供することができる。
【0050】
また、前記撥弦楽器演奏評価装置は、多数の演奏曲のうちから選択される所定の演奏曲を出力させると共に、その演奏曲の出力と併行してその演奏曲の歌詞文字映像を含む演奏映像を表示させるカラオケ装置16に機能的に備えられたものであるため、一般に防音設備が調ったカラオケボックス等に設置されたカラオケ装置16を用いて、撥弦楽器の演奏を簡便且つ実用的な態様で練習することができる。
【0051】
以上、本発明の好適な実施例を図面に基づいて詳細に説明したが、本発明はこれに限定されるものではなく、更に別の態様においても実施される。
【0052】
例えば、前述の実施例において、撥弦楽器演奏評価装置としての前記カラオケ装置16は、前記撥弦楽器として6本の弦を備えたギター66の演奏を評価するものであったが、本発明はこれに限定されるものではなく、例えば、前記撥弦楽器として4本の弦を備えたベースギターの演奏等も好適に評価し得るものである。この場合、前記コードデータベース70には、ベースギターのコードに関する各種情報が記憶される。その他、本発明は、ウクレレ、マンドリン、バラライカ、三味線、琵琶、三線等、複数本の弦を連続的に掻き鳴らすことにより演奏音を奏でる撥弦楽器の演奏評価に広く適用され得るものである。
【0053】
また、前述の実施例では、本発明の一実施例である撥弦楽器演奏評価装置が前記カラオケ装置16に機能的に備えられた例を説明したが、本発明が必ずしもカラオケ装置16に適用されなくともよいことは言うまでもなく、単体の撥弦楽器演奏評価装置としても当然に成立し得るものである。この場合、前述した実施例におけるカラオケデータ(MIDIデータ)に相当するデータとして、演奏曲の演奏進行に伴いどのタイミングで各コードが出力されるべきかを定める情報が前記演奏評価手段86に係る評価基準としてその撥弦楽器演奏評価装置に設けられた所定の記憶装置に記憶される。
【0054】
また、前述の実施例において、前記評価結果表示手段88は、前記演奏評価手段86による評価結果に係る図7乃至図8に示すような映像を前記映像出力制御部32等を介して前記映像表示装置30に表示させるものであったが、同様の映像を前記電子早見本装置22のタッチパネルディスプレイに表示させるものであってもよい。
【0055】
また、前述の実施例では特に言及していないが、例えばエレキギターの演奏評価に際しては、そのエレキギターを前記カラオケ装置16のアンプミキサ42に繋いで演奏する等、実施形態に関しては種々の工夫が為されるべきことは言うまでもない。
【0056】
その他、一々例示はしないが、本発明はその趣旨を逸脱しない範囲内において種々の変更が加えられて実施されるものである。
【符号の説明】
【0057】
16:カラオケ装置(撥弦楽器演奏評価装置)
40:マイクロフォン
66:ギター(撥弦楽器)
78:単位時間判定手段
80:弾奏方向判定手段
82:安定時点検出手段
84:離散評価手段
86:演奏評価手段

【特許請求の範囲】
【請求項1】
複数本の弦を連続的に掻き鳴らすことにより演奏音を奏でる撥弦楽器の演奏を評価する撥弦楽器演奏評価装置であって、
入力された音声を電気信号に変換するマイクロフォンと、
該マイクロフォンにより電気信号に変換された前記撥弦楽器の演奏音と、予め定められた評価基準とを比較することにより、前記複数本の弦を1ストローク掻き鳴らす単位弾奏毎に所定の時間間隔で複数回の離散評価を行う離散評価手段と、
該離散評価手段による複数回の離散評価に基づいて、該離散評価に対応する単位弾奏を評価する演奏評価手段と
を、備えたものであることを特徴とする撥弦楽器演奏評価装置。
【請求項2】
予め定められた関係から、前記複数本の弦を1ストローク掻き鳴らす単位弾奏に対応する演奏音に基づいて、該単位弾奏に相当する時間を判定する単位時間判定手段を備え、
前記離散評価手段は、該単位時間判定手段により判定される前記単位弾奏に相当する時間に基づいて、該単位弾奏に対応する離散評価に係る時間間隔及び/又は評価回数を決定するものである請求項1に記載の撥弦楽器演奏評価装置。
【請求項3】
予め定められた関係から、前記複数本の弦を1ストローク掻き鳴らす単位弾奏に対応する演奏音に基づいて、該単位弾奏に係る前記複数本の弦の弾奏方向を判定する弾奏方向判定手段を備え、
前記離散評価手段及び演奏評価手段は、該弾奏方向判定手段により判定される前記複数本の弦の弾奏方向に基づいて前記離散評価及び演奏評価を行うものである請求項1又は2に記載の撥弦楽器演奏評価装置。
【請求項4】
予め定められた関係から、前記複数本の弦を1ストローク掻き鳴らす単位弾奏に対応する演奏音に基づいて、該演奏音が安定した時点を検出する安定時点検出手段を備え、
前記演奏評価手段は、前記離散評価手段による複数回の離散評価のうち前記安定時点検出手段により検出された前記演奏音が安定した時点付近における離散評価を前記単位弾奏に係る評価として採用するものである請求項1から3の何れか1項に記載の撥弦楽器演奏評価装置。
【請求項5】
前記撥弦楽器として6本の弦を備えたギターの演奏を評価するものである請求項1から4の何れか1項に記載の撥弦楽器演奏評価装置。
【請求項6】
前記撥弦楽器として4本の弦を備えたベースギターの演奏を評価するものである請求項1から4の何れか1項に記載の撥弦楽器演奏評価装置。
【請求項7】
多数の演奏曲のうちから選択される所定の演奏曲を出力させると共に、該演奏曲の出力と併行して該演奏曲の歌詞文字映像を含む演奏映像を表示させるカラオケ装置に備えられたものである請求項1から6の何れか1項に記載の撥弦楽器演奏評価装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2011−69900(P2011−69900A)
【公開日】平成23年4月7日(2011.4.7)
【国際特許分類】
【出願番号】特願2009−219425(P2009−219425)
【出願日】平成21年9月24日(2009.9.24)
【出願人】(396004833)株式会社エクシング (394)
【Fターム(参考)】