表示装置、表示装置の制御方法およびプログラム
【課題】ユーザーに対し楽曲の音情報を適切に提示することのできる表示装置、表示装置の制御方法およびプログラムを提供する。
【解決手段】表示部と、楽曲の音声信号を解析した解析結果である音候補を示す音情報であり、楽曲の現在再生位置における音候補を示す現在再生音情報(現在コード情報41)、および現在再生位置に後続する後続再生位置における音候補を示す後続再生音情報(後続コード情報42)を、表示部に表示させる表示制御部と、を備えた表示装置であって、表示制御部は、現在再生音情報として、現在再生位置における第1音候補から第N音候補(但し、NはN≧2となる整数)までを、各音候補の信頼度に応じた異なる表示形態で表示させる。
【解決手段】表示部と、楽曲の音声信号を解析した解析結果である音候補を示す音情報であり、楽曲の現在再生位置における音候補を示す現在再生音情報(現在コード情報41)、および現在再生位置に後続する後続再生位置における音候補を示す後続再生音情報(後続コード情報42)を、表示部に表示させる表示制御部と、を備えた表示装置であって、表示制御部は、現在再生音情報として、現在再生位置における第1音候補から第N音候補(但し、NはN≧2となる整数)までを、各音候補の信頼度に応じた異なる表示形態で表示させる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、楽曲の解析結果である音情報を表示する表示装置、表示装置の制御方法およびプログラムに関するものである。
【背景技術】
【0002】
従来、楽曲を楽器演奏する際の演奏タイミングおよび演奏方法を、楽曲の再生にあわせて表示する演奏支援装置が提案されている(特許文献1参照)。この演奏支援装置は、モニタに、楽曲のビートを表す複数のビート記号、当該ビートの位置におけるコードのコード名、および当該コードをギターで演奏するための演奏方法を示すタブ譜を表示する。そして、静止表示する基準位置(現在再生位置)に対し、各ビート記号、コード名およびタブ譜を移動表示させて、演奏タイミングをユーザーに提示する。一方、モニタに表示されるコードは、演奏支援装置が楽曲を解析した解析結果である。演奏支援装置は、任意のビート位置におけるコードの複数候補とその信頼度を算出し、最も信頼度の高いコードのコード名をモニタに表示する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2009−047860号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、上記の演奏支援装置のように楽曲を解析して提示するコードを決定する場合、必ずしも正しい(適切な)コードを提示できるとは限らない。つまり、最も信頼度の高いコードを提示したとしても、次に信頼度の高いコードがより適切なコードである可能性がある。この場合、演奏支援装置は、ユーザーに対して誤ったコードを提示してしまうという問題がある。
一方、楽曲をユーザーなりにアレンジして演奏したいという要望がある。しかし、ユーザーが楽器演奏の初心者であったり、音楽理論に詳しくない場合、提示されているコード以外にどのようなコードが楽曲に適当であるかがわからず、楽曲をアレンジすることは難しい。
【0005】
本発明は、上記の点に鑑み、ユーザーに対し楽曲の音情報を適切に提示することのできる表示装置、表示装置の制御方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の表示装置は、表示部と、楽曲の音声信号を解析した結果である音候補を示す音情報であり、楽曲の現在再生位置における音候補を示す現在再生音情報、および現在再生位置に後続する後続再生位置における音候補を示す後続再生音情報を、表示部に表示させる表示制御部と、を備えた表示装置であって、表示制御部は、現在再生音情報として、現在再生位置における第1音候補から第N音候補(但し、NはN≧2となる整数)までを、各音候補の信頼度に応じて異なる表示形態で表示させることを特徴とする。
【0007】
本発明の表示装置の制御方法は、楽曲の音声信号を解析した結果である音候補を示す音情報であり、楽曲の現在再生位置における音候補を示す現在再生音情報、および現在再生位置に後続する後続再生位置における音候補を示す後続再生音情報を、表示部に表示する表示装置の制御方法であって、表示装置が、現在再生音情報として、現在再生位置における第1音候補から第N音候補(但し、NはN≧2となる整数)までを、各音候補の信頼度に応じて異なる表示形態で表示させることを特徴とする。
【0008】
本発明のプログラムは、コンピューターに、上記の表示装置の制御方法を実行させることを特徴とする。
【0009】
これらの構成によれば、現在再生位置における音候補を複数表示するため、例えば、表示される音候補に基づいて楽器を演奏するユーザーは、表示された複数の音候補の中から所望の音候補を選択して楽器を演奏することができる。これにより、ユーザーは、複数の音候補の中から楽曲に合った適切なコードを選択することができる。また、ユーザーは、複数の音候補の中からあえて楽曲と異なるコードを選択することによって、ユーザーなりに楽曲をアレンジして演奏することができる。また、各音候補は、信頼度に応じて異なる表示形態で表示されるため、ユーザーは、各音候補の信頼度を考慮して音候補を選択することができる。なお、「異なる表示形態で表示させる」とは、信頼度に応じて音候補を示す文字や画像の大きさ、形、色、および表示動作(点滅や動揺など)などを変化させることを意味する。なお、「異なる表示形態で表示させる」とは、音候補を示す文字や画像と共に信頼度を示す記号や文字を付加して表示することも含むものとする。
【0010】
上記の表示装置において、表示制御部は、後続再生音情報として、後続再生位置における第1候補から第N候補(但し、NはN≧2となる整数)までを、各音候補の信頼度に応じて異なる表示形態で表示させることが好ましい。
【0011】
この構成によれば、現在再生位置に加えて後続再生位置における音候補を複数表示するため、ユーザーは、後続再生位置における所望の音候補を選択することができる。よって、例えば、表示される音候補に基づいて楽器を演奏する場合、ユーザーは、現在再生位置の音候補を演奏している間に、次の音候補を選択することができるため、演奏を中断することなく所望の音候補で演奏することができる。
【0012】
上記の表示装置において、現在再生音情報の第1音候補および後続再生音情報の第1音候補は、異なる音候補を示し、表示制御部は、楽曲の現在再生位置における第1音候補が変化するタイミングで後続再生音情報を現在再生音情報として表示させることが好ましい。
【0013】
この構成によれば、第1音候補が変化する際に音情報の表示が変化するため、ユーザーは、表示が変化するタイミングのみを注視すればいいので、表示される音候補に基づいて楽器を演奏する場合、利便性が良い。
【0014】
この場合、表示制御部は、現在再生位置における第1音候補ないし第N音候補を列記した現在再生音情報、および後続再生位置における第1音候補ないし第N音候補を列記した後続再生音情報が2列となるように並列表示すると共に、後続再生音情報を楽曲の再生速度に応じて現在再生音情報に対して近づくように相対移動表示させることが好ましい。
【0015】
この構成によれば、後続再生音情報が現在再生音情報に近づくため、ユーザーは、現在位置における音情報の切り替えタイミングを予め予測することができる。よって、表示される音候補に基づいて楽器を演奏する場合、ユーザーは、音情報が切り替わるまでに次の演奏準備を行うことができる。なお、後続再生情報の第1音候補ないし第N音候補は、各音候補の信頼度に応じて、現在再生音情報に近づく際の表示形態(表示動作)を変化させて表示することが望ましい。
【0016】
上記の表示装置において、現在再生音情報および後続再生音情報は、楽曲の各再生位置における和音を示す和音情報であることが好ましい。
【0017】
この構成によれば、楽曲の各再生位置における和音をユーザーに提示することができる。なお、和音情報は、楽曲のコードを示すコードネーム(例えば、「C」や「Cm7」など)、楽曲の調名および和音記号の併記(例えば、○○調の「1」「2」など(実際には、ローマ数字で表記する))、和音を示す音譜のいずれかであることが望ましい。
【0018】
上記の表示装置において、現在再生音情報および後続再生音情報は、楽曲の各再生位置におけるベース音を示すベース音情報であることが好ましい。
【0019】
この構成によれば、楽曲の各再生位置におけるベース音をユーザーに提示することができる。なお、ベース音情報は、ベース音を示すアルファベット(例えば、「C」や「G♯」など)、音譜のいずれかであることが望ましい。
【0020】
上記の表示装置において、表示制御部は、楽曲の所定再生区間における解析結果であり、音候補を決定するための平均律の各音に対応する周波数成分の出力レベルを示す出力レベル情報をさらに表示することが好ましい。
【0021】
この構成によれば、音候補の根拠となる平均律の各音の出力レベルをユーザーに提示することができる。これにより、ユーザーは、出力レベル情報を参考にして、他の音候補を自身で抽出することができる。なお、出力レベル情報が生成される楽曲の所定再生区間は、ユーザーの操作によって指定可能であることが望ましい。
【0022】
上記の表示装置において、楽曲の音情報を、当該楽曲の楽曲特徴量に関連付けて記憶する音情報記憶部をさらに備え、表示制御部は、再生する楽曲の楽曲特徴量に応じて、音情報記憶部に記憶されている音情報を表示することが好ましい。
【0023】
この場合、楽曲の音情報を編集するための編集手段をさらに備え、音情報記憶部は、編集手段の編集結果を、音情報として記憶することが好ましい。
【0024】
この構成によれば、楽曲の音候補をユーザーの所望の音候補に編集することができる。また、編集結果を楽曲の楽曲特徴量に関連付けて音情報記憶部に記憶しておくため、再生する楽曲と記憶した楽曲特徴量に共通点があった場合、記憶した編集結果を反映した音候補を表示することができる。楽曲特徴量は、楽曲の曲名、ジャンル、アーティストなどのメタデータであってもよいし、楽曲のテンポや音量レベルを示す音声データであってもよい。
【0025】
上記の表示装置において、楽曲を解析する解析処理部をさらに備え、表示制御部は、解析処理部の解析結果に応じて、表示制御を行うことが好ましい。
【0026】
この構成によれば、解析処理を行うための他の装置を必要とすることなく、楽曲の音情報を表示することができる。
【0027】
上記の表示装置において、楽曲を再生する再生処理部をさらに備え、表示制御部は、再生処理部の再生速度に応じて、表示部の表示制御を行うことが好ましい。
【0028】
この構成によれば、再生処理を行うための他の装置を必要とすることなく、楽曲の再生と共に、楽曲の音情報を表示することができる。
【図面の簡単な説明】
【0029】
【図1】本発明の第1実施形態に係る演奏支援装置の制御構成を示すブロック図である。
【図2】音声データの各音の出力レベルを示した図である。
【図3】音声データの0.2秒ごとのコード候補を示した図である。
【図4】音声データのコード候補、コード候補の切り替えタイミングおよび信頼度を示した図である。
【図5】演奏支援画面の一例を示した図である。
【図6】演奏支援画面におけるコード候補表示領域の画面遷移を示した図である。
【図7】小節ごとのコード候補およびベース音候補を示した図である。
【図8】演奏支援画面におけるコード候補およびベース音候補の画面遷移を示した図である。
【図9】演奏支援画面におけるコード候補およびベース音候補の画面遷移を示した図である。
【図10】第2実施形態に係る演奏支援装置の制御構成を示すブロック図である。
【図11】編集画面の一例を示した図である。
【図12】解析結果表示画面の一例を示した図である。
【図13】ベース音候補の他の表示例を示した図である。
【発明を実施するための形態】
【0030】
[第1実施形態]
以下、添付の図面を参照して、本発明の各実施形態に係る表示装置、表示装置の制御方法およびプログラムについて説明する。なお、本実施形態では、本発明の表示装置として、接続された音楽プレーヤーから入力された音声データ(音声信号)を解析し、音声データの再生にあわせて表示部に楽曲のコード候補を表示して、ユーザーに対して演奏支援を行う演奏支援装置を例示する。
【0031】
図1に示すように、演奏支援装置1Aは、音声データ入力部11、A/Dコンバータ12、バッファ13、D/Aコンバータ14、スピーカー15、解析処理部16、一時記憶部17、表示制御部18、表示部19、操作部20を備えている。
【0032】
音声データ入力部11は、音楽プレーヤーから音声データを入力する。A/Dコンバータ12は、音声データをアナログ/デジタル変換(PCM(Pulse Code Modultion)化)する。バッファ13は、アナログ/デジタル変換された音声データを一時的に格納する。なお、本実施形態において、バッファ13は、5秒間分の音声データを格納する。D/Aコンバータ14は、バッファ13に格納された5秒間分の音声データをデジタル/アナログ変換する。スピーカー15は、デジタル/アナログ変換された音声データを外部に出力する。すなわち、音楽プレーヤー2から入力された音声データは、入力の5秒後に演奏支援装置1Aのスピーカー15から出力されることになる。なお、請求項における「再生処理部」とは、D/Aコンバータ14およびスピーカー15をさす。
【0033】
解析処理部16は、バッファ13に格納された5秒間分の音声データについて解析し、コード候補、ベース音候補、コード候補およびベース音候補の切り替えタイミングを抽出する(音解析については、後に詳述する)。一時記憶部17は、解析処理部16の解析結果であるコード候補、ベース音候補、コード候補およびベース音候補の切り替えタイミングを一時的に記憶する。なお、請求項における「音候補」とは、コード候補を示す。
【0034】
表示制御部18は、後述の表示部19の表示制御を行う。具体的には、一時記憶部17に記憶されたコード候補、ベース音候補、コード候補およびベース音候補の切り替えタイミングに基づいて、演奏支援画面3(図5参照)におけるコード候補およびベース音候補の表示制御を行う。
【0035】
表示部19は、音声データの再生にあわせて楽曲のコード候補およびベース音候補を表示する演奏支援画面3(図5参照)を表示する。
【0036】
操作部20は、演奏支援装置1Aの各種操作を行うために用いられる。なお、操作部20は、装置に備えられた操作子、リモートコントローラー、表示部19に重畳されたタッチパネルなどで構成可能である。
【0037】
次に、図2ないし図4を参照し、解析処理部16の音解析について説明する。なお、以下の説明では、主に、楽曲のコード候補を決定するための音解析について説明する。
【0038】
先ず、解析処理部16は、バッファ13に格納されているPCM化された5秒間分の音声データを0.2秒毎に分割する。そして、分割した0.2秒間分の各音声データについて、12平均律の各音(ド,ド♯,・・・,ラ♯,シ)に対応する周波数成分を抽出し、各周波数成分の出力レベルを解析する。図2は、音声データの0.2秒ごとの解析結果を示している。なお、同図において「時間(秒)」の欄に「0」と記載されている部分は、音声データの楽曲開始〜0.2秒後の区間の出力レベルを示し、「0.2」と記載されている部分は、楽曲開始0.2秒後〜0.4秒後の区間の出力レベルを示している。また、本実施形態において、12平均律の各音に対応する周波数成分の出力レベルとは、音声データに含まれる複数のオクターブにおいて同音(例えば、高音の「ド」および低音の「ド」)の各周波数成分の出力レベルを合算したものとする。
【0039】
続いて、解析処理部16は、図2に示す各0.2秒区間における各周波数成分の出力レベルの分布に基づいて、各0.2秒区間における楽曲のコード候補を、信頼度の高い順に第1候補から第3候補まで決定する。図3は、音声データの各0.2秒区間におけるコード候補を示している。図示のように、0〜0.2秒の区間における楽曲のコード候補は、第1候補として「C」、第2候補として「Em」、および第3候補として「Am」が決定されている。そして、解析処理部16は、図3に示す各0.2秒区間におけるコード候補の分布に基づいて、コード候補(第1候補〜第3候補)の切り替えタイミングを決定する。すなわち、同一のコードを連続してコード候補とする楽曲の区間を決定する。そして、解析処理部16は、各区間における第1候補〜第3候補の信頼度の絶対値を算出する。図4は、決定されたコード候補の切り替えタイミングおよび信頼度を示している。図示のように、楽曲開始〜1.2秒の区間において、コード候補の第1候補は「C」であり、その信頼度は「60」である。同様に、第2候補は「Em」であり、その信頼度は「50」、第3候補は「Am」であり、その信頼度は「20」である。
【0040】
なお、上記のコード候補の種類、切り替えタイミング、信頼度の決定は、雑音成分や前後関係の考慮、音楽理論を踏まえた公知の解析手法を用いて、決定することが望ましい。
【0041】
また、解析処理部16は、バッファ13に格納された音声データから所定の低周波数帯域を抽出し、当該低周波数帯域における12平均律の各音に対応する各周波数成分の出力レベルを解析して、ベース音候補を決定する。その他、公知の解析手法を用いても良い。
【0042】
次に、図5ないし図9を参照し、表示部19に表示される演奏支援画面3について説明する。図5に示すように、演奏支援画面3は、解析処理部16が解析したコード候補(和音情報)を表示するコード候補表示領域31、およびベース音候補(ベース音情報)を表示するベース音候補表示領域32を有し、さらに、各音の出力レベルを示す出力レベル情報33および表示キー情報34を表示する。
【0043】
コード候補表示領域31は、現在再生中のコード候補を示す現在コード情報41(現在再生音情報)と、現在コード情報41に後続するコード候補を示す後続コード情報42(後続再生音情報)と、を表示する。現在コード情報41は、現在コード表示位置43に表示され、後続コード情報42は、後続コード表示位置44に表示される。現在コード情報41および後続コード情報42は、楽曲の各再生区間における第1コード候補(1st)、第2コード候補(2nd)および第3コード候補(3rd)を、候補の順序にしたがって縦方向に列記表示して構成され、各コード情報における同順位のコード候補が横方向に並ぶように並列配置される。なお、後続コード情報42は、現在コード表示位置43に固定表示される現在コード情報41に対して、楽曲の再生速度にあわせて後続コード表示位置44から現在コード表示位置43に近づくように移動する。また、現在コード情報41の第1コード候補は、枠画像に囲まれて表示される。ユーザーは、枠画像に囲まれた第1コード候補およびその他の第2コード候補、第3コード候補を参考にして、演奏するコードを決定する。
【0044】
各コード情報における第1コード候補、第2コード候補および第3コード候補は、各コード名を示すアルファベットと、各コード候補の信頼度の絶対値を示す数値と、で構成されている。そして、各コード名を示すアルファベットは、各コード候補の信頼度に応じたフォントサイズで表示される。すなわち、各コード候補は、第1コード候補、第2コード候補、第3コード候補の順に大きいフォントサイズで表示されるが、例えば、2つの第1コード候補同士、第2コード同士、第3コード同士が同一のフォントサイズで表示されるのではなく、その信頼度の絶対値に応じた絶対的なフォントサイズの違いで表示される。これにより、ユーザーは、直感的に各コード候補の信頼度を把握することができる。例えば、図5に示すように、現在コード情報41において第1コード候補と第2コード候補は、信頼度に大差がないのに対し、後続コード情報42において第1コード候補の信頼度が突出していることが、各コード候補のフォントサイズで直感的に把握することができる。
【0045】
なお、請求項における「信頼度に応じた異なる表示形態」とは、各コード候補を信頼度に応じたフォントサイズで表示すること、および信頼度を示す数値を併記することを指す。なお、他の表示方法として、信頼度に応じてコード候補の表示色を変化させたり、表示動作(点滅や移動軌跡など)などを変化させてもよい。
【0046】
このように、現在再生中のコード候補および後続するコード候補として、複数のコード候補(第1コード候補、第2コード候補および第3コード候補)を表示することによって、ユーザーは、表示される複数のコード候補の中から演奏するコードを選択することができる。さらに、コードの種類に加えて信頼度を表示するため、ユーザーは、各コード候補の信頼度の差を参考にして演奏するコードを適切に選択することができる。
【0047】
ベース音候補表示領域32は、現在再生中のベース音候補を示す現在ベース音情報51、および後続するベース音候補を示す後続ベース音情報52を表示する。これらの現在ベース音情報51および後続ベース音情報52は、各音名を示すアルファベットで表示される。現在ベース音情報51は、現在ベース音表示位置53に表示され、後続ベース音情報52は、後続ベース音表示位置54に表示される。そして、現在ベース音表示位置53に固定表示される現在ベース音情報51に対し、後続ベース音情報52は、楽曲の再生速度にあわせて後続ベース音表示位置54から現在ベース音表示位置53に近づくように移動する。なお、現在ベース音情報51は、枠画像に囲まれて表示される。このように、コード候補にあわせてベース音候補を表示することにより、ユーザーは、本演奏支援装置1Aをベース音の演奏に活用することができる。また、本実施形態によれば、楽曲の音声データの解析結果に基づいたベース音候補を表示するため、コードから導き出すことが困難な楽曲特有のベース音をユーザーに提示することができる。なお、ベース音候補は、アルファベット表示の他、ベース音およびベース音の切り替わりタイミングを示す簡易音譜で表示しても良い(図13参照)。
【0048】
出力レベル情報33は、音声データの各音の出力レベルを表示する。なお、出力レベル情報33は、音声データの再生中の0.2秒区間における出力レベルを表示する。すなわち、出力レベル情報33は、図2に示す解析結果を棒グラフ化したものである。よって、出力レベル情報33は、楽曲の再生にあわせて0.2秒ごとに示す数値が変化する。なお、同一のコードがコード候補である再生区間における出力レベルを表示する構成としてもよい。
【0049】
例えば、ギターでカポタストを利用する場合、実際の再生されている音声データのコードと演奏者の抑えるコードが異なる。こういったケースでも適用できるように、実際の音声データのコードからシフトさせたコードを表示させる。表示キー情報34は、表示されているコード候補のコードと、実際に再生されている音声データのコードと、の差を表示する。例えば、実際の音声データのコードが「D」の場合に、現在コード情報41の第1候補に「C」と表示するよう設定されている場合は、表示キー情報34に「−2」と表示する。
【0050】
次に、図6を参照して、コード候補の表示動作について説明する。同図は、楽曲再生中における演奏支援画面3の画面遷移図である。なお、説明のため、演奏支援画面3におけるコード候補表示領域31のみを図示している。また、同図は、図4に示すコード候補の切り替わりタイミングに基づいた画面遷移を示す。
【0051】
図6に示すように、楽曲再生開始時は、現在コード情報41が現在コード表示位置43に、後続コード情報42aが後続コード情報表示位置44に、固定表示される。そして、楽曲開始から0.2秒後に、後続コード情報42aが、後続コード情報表示位置44から現在コード表示位置43に向かって移動を開始する。そして、後続コード情報42aの移動開始と共に、後続コード情報表示位置44には、後続コード情報42aに後続する後続コード情報42bが新たに表示される。そして、楽曲開始から1.2秒後に後続コード情報42aが現在コード表示位置43に到達し、現在コード情報41として、固定表示される。すなわち、後続コード情報42は、現在再生中のコード候補が切り替わるタイミング(図6に示す例では楽曲開始から1.2秒後)の1秒前に移動を開始し、当該タイミングと同時に、現在コード情報41に置き換わる。
【0052】
なお、請求項における「現在再生位置」とは、楽曲における現在再生中の位置を示し、「後続再生位置」とは、現在再生位置における第1コード候補が異なるコードに切り替わるタイミングをさす。
【0053】
次に、図7ないし図9を参照し、コード候補およびベース音候補の表示動作について説明する。図7は、楽曲の任意の再生区間における小節ごとのコード候補およびベース音候補を示している。図8および図9は、図7に示すコード候補およびベース音候補に基づいた演奏支援画面3の画面遷移を示している。なお、説明のため、両図において、コード候補表示領域31およびベース音候補表示領域32のみを図示し、各コード候補の信頼度の表示を省略している。
【0054】
図8に示すように、1小節目開始時は、現在コード情報41が現在コード表示位置43に、後続コード情報42aが後続コード表示位置44に、固定表示される。同様に、現在ベース音情報51が現在ベース音表示位置53に、後続ベース音情報52aが後続ベース音表示位置54に表示される。そして、2小節目開始1秒前に、後続ベース音情報52aが、後続ベース音表示位置54から現在ベース音表示位置53に向かって移動を開始する。このとき、後続ベース音表示位置54には、後続ベース音情報52aに後続する後続ベース音情報52bが新たに表示される。そして、2小節目開始時に後続ベース音情報52aが現在ベース音表示位置53に到達し、現在ベース音情報51として、固定表示される。一方、1小節目および2小節目におけるコード候補が同一であるため、現在コード情報41および後続コード情報42の表示は変化しない。
【0055】
続いて、図9に示すように、3小節目開始1秒前に、後続コード情報42aは、後続コード表示位置44から現在コード表示位置43に向かって移動を開始する。このとき、後続コード表示位置44には、後続コード情報42aに後続する後続コード情報42bが新たに表示される。そして、3小節目開始時に後続コード情報42aが現在コード表示位置43に到達し、現在コード情報41として、固定表示される。一方、2小節目および3小節目におけるベース音候補が同一であるため、現在ベース音情報51および後続ベース音情報52の表示は変化しない。
【0056】
このように、現在コード表示位置43に表示されるコード候補は、現在再生中の第1コード候補が異なるコードに切り替わるタイミングで変化する。すなわち、再生中の第1コード候補が異なるコードに変化しない限り、現在コード表示位置43に表示されるコード候補は変化せず、後続コード情報42も移動しない。ベース音候補についても同様である。これにより、楽器の演奏をしているユーザーは、後続コード情報42または後続ベース音情報52が現在コード表示位置43または現在ベース音表示位置53に向かって移動し、現在コード情報41および現在ベース音情報51に置き換わるタイミングのみを注視するだけでも演奏をすることができる。
【0057】
[第2実施形態]
以下、図10ないし図12を参照し、本発明の第2実施形態に係る演奏支援装置1Bついて説明する。ただし、上記の実施形態と同様の構成については、同様の符号を付し、詳細な説明を省略する。第1実施形態では、外部からの楽曲の入力と同時にリアルタイムで楽曲の音声データを解析し、当該解析結果に基づくコード候補やベース音候補を表示する場合を例示したが、本実施形態に係る演奏支援装置1Bは、装置内に楽曲DBを有し、任意の楽曲の再生に伴ってコード候補やベース音候補を表示する点で異なっている。なお、演奏支援装置1Bは、楽曲のコード候補を編集可能な編集機能、および編集結果を学習する学習機能を備えている。特に図示しないが、本実施形態の演奏支援装置は、音楽DBを有するPCまたは携帯機器などにより構成される。
【0058】
図10は、本実施形態にかかる演奏支援装置1Bの制御構成を示したブロック図である。図示のように、演奏支援装置1Bは、楽曲DB101、スピーカー15、表示部19、操作部20、音情報DB102(音情報記憶部)およびこれらを統括制御する制御部103を備えている。
【0059】
楽曲DB101は、各楽曲の楽曲データを記憶している。楽曲データは、楽曲の音声データ、および楽曲の曲名、アーティスト名、ジャンル名を含むメタデータにより構成されている。なお、メタデータを音声データと関連付けて別々に格納してもよい。また、演奏支援装置1Bの外部から音声入力されたものを録音および格納してもよく、PCやUSBメモリといった外部記憶装置などに存在するファイル化された音声データを格納しても良い。
【0060】
表示部19は、上記の実施形態と同様の演奏支援画面3に加え、楽曲のコード候補をユーザーが編集するための編集画面4(図11参照)と、解析結果を表示する解析結果表示画面5(図12参照)と、を表示する。なお、本演奏支援装置1Bは、演奏支援画面3に、音情報DB102に記憶されている編集結果を考慮したコード候補を表示する。すなわち、本演奏支援装置1Bは、過去にコード候補を編集した編集内容を学習する学習機能を備えている。
【0061】
操作部20は、表示部19に表示する画面の切り替えや、編集画面4におけるコード候補の編集を行うために用いられる。なお、操作部20は、装置に備えられた操作子やタッチパネルでもよいし、パーソナルコンピューター等の外部装置を用いて、これらの各種操作を行い、その操作結果を演奏支援装置1Bに入力する構成としてもよい。
【0062】
音情報DB102は、楽曲DB101に存在する楽曲の音情報(コード進行/ベース音情報など)を、メタデータ(曲名、アーティスト名、ジャンル名)と関連付けて格納する。なお、音情報DB102は、楽曲DB101に存在している楽曲の音声データを不図示の解析処理部により解析し、その解析結果である音情報を格納してもよい。また、音情報DB102は、外部機器から入力される音声を不図示の解析処理部により第1実施形態の方法でリアルタイムに解析し、この解析結果である音情報を格納してもよい。また、音情報DB102は、PCやUSBメモリといった外部記憶装置などに存在するファイル化された音情報データを格納してもよい。
【0063】
制御部103は、主に、楽曲の再生処理、表示部19の表示制御を行う。ユーザーが楽曲DB101内に存在する任意の楽曲を選択すると、スピーカー15からその楽曲が再生される。制御部103は、再生中の楽曲に関連付けられた音情報を音情報DB102から取得し、表示部19に現在再生されている楽曲の音情報を表示する。
【0064】
次に、図11および図12を参照し、本演奏支援装置1Bのコード候補の編集機能について説明する。図11は、表示部19に表示される編集画面4の一例である。同図(a)に示すように、編集画面4には、楽曲の拍位置を示す複数の拍位置画像61、各拍位置におけるコード候補情報62、コード候補情報62を編集するための編集用カーソル63、が表示される。拍位置画像61は、各拍位置を示す縦方向の線画像である。コード候補情報62は、各拍位置画像61上に配置された第1コード候補(1st)、第2コード候補(2nd)および第3コード候補(3rd)で構成されている。また、コード候補情報62は、上記した演奏支援画面3におけるコード情報と異なり、すべての拍位置における第1コード候補、第2コード候補および第3コード候補を表示する。編集用カーソル63は、第1コード候補を選択および変更するために用いられ、ユーザーの操作に基づいて、任意の拍位置における第1コード候補上を移動する。なお、本実施形態では、編集用カーソル63を左右に移動させることで、編集画面4における楽曲の表示区間をスクロールさせることができる。
【0065】
ユーザーは、操作部20を用いて編集用カーソル63を操作し、各拍位置における第2コード候補および第3コード候補を参考に、第1コード候補を所望のコード名に変更する。同図(b)は、編集後の編集画面4を示したものである。図示のように、第1コード候補の編集が終了すると、第2コード候補および第3コード候補は、消去される。
【0066】
図12は、表示部19に表示される解析結果表示画面5の一例である。解析結果表示画面5には、解析対象区間を指定するための区間指定ボックス64と、指定された解析対象区間における音声データの解析結果を示す解析結果画像65と、が表示される。ユーザーは、区間指定ボックス64に、所望の区間の始点および終点を入力する。なお、始点および終点は、拍位置を示す拍番号でも良いし、小節を示す小節番号でもよい。また、楽曲の任意の基準点を入力すると、当該基準点から前後所定の長さを含む区間を解析対象区間とする構成でも良い。解析結果画像65は、指定された解析対象区間における音声データの各周波数成分の出力レベルがグラフ化されたものである。すなわち、図2に示す解析結果のうち、解析対象区間に含まれる出力結果を合算してグラフ化したものである。図12に示す解析結果によれば、12音のうち出力レベルの高い音に基づいて、当該解析対象区間におけるコード候補は、「Cm7(♭5)」であると推測することができる。
【0067】
このように、ユーザーは、コード候補の編集中に、表示部19の画面を編集画面4から解析結果表示画面5に切り替え、所望の解析対象区間を指定することにより、実際の解析結果を参照して、適切にコード候補を編集することができる。なお、編集画面4において、各コード候補の信頼度を示す数値をコード名に併記しても良い。また、編集時は、音情報DB102に格納されている音情報を表示部19(編集画面4)に表示し、編集後に、音情報DB102に格納されている音情報が編集結果に書き換えられる(上書き保存される)。これにより、次回編集済みの楽曲を再生した際に、自動的に編集した内容が反映された音情報が通常画面3に表示される。
【0068】
なお、曲名、アーティスト名およびジャンル名(メタデータ)は、音情報(編集結果)がどの楽曲のものであるかを一意に特定するために用いられる。よって、楽曲を一意に特定できるデータであれは、楽曲のIDなどその他のデータを用いても良い。なお、再生する楽曲のメタデータ(楽曲特徴量)と記憶した音情報に紐付けられたメタデータ(楽曲特徴量)に共通点があった場合、記憶した編集結果を反映した音候補を表示してもよい。また、再生する楽曲および記憶した音情報を紐付けるための楽曲特徴量は、楽曲のジャンル、アーティストなどのメタデータであってもよいし、楽曲のテンポや音量レベルを示す音声データであってもよい。
【0069】
これまで説明した演奏支援装置1A,Bによれば、複数のコード候補をその信頼度に応じた表示形態で表示することにより、ユーザーは、各再生区間におけるコード候補の信頼度を直感的に把握することができる。よって、ユーザーは、解析結果に基づいて決定された第1コード候補が、実際の楽曲にマッチしない場合、すなわち実際の楽曲のコードとは異なるコードであった場合や、第1コード候補以外のコードで演奏したい場合などにおいて、ユーザーに対して、確からしいコードの選択を促すことができる。
【0070】
なお、本実施形態において、解析処理部16は、音声データに含まれる複数のオクターブにおける同音の出力レベルを合算して音解析を行ったが、所定の1オクターブにおける周波数成分の出力レベルを解析しても良い。また、複数のオクターブにおける各音の個別の出力レベルを解析してもよい。
【0071】
また、演奏支援画面3におけるコード候補は、コード名を示すアルファベットの他、ギリシャ文字表示、楽曲の調名および和音記号の併記(例えば、○○調の「1」「2」など(実際には、ローマ数字で表記する))、コードを構成する和音を示す音譜、コードの演奏方法を示す画像(タブ譜や鍵盤画像など)で表示しても良い。また、コード候補に加えて、楽曲の拍位置を示す拍位置画像61を共に表示しても良い。また、ギター等の運指情報を表示しても良い。
【0072】
また、本実施形態において、演奏支援画面3の後続コード情報42は、第1コード候補、第2コード候補および第3コード候補が同時に移動する構成としたが、コード候補ごとに移動タイミングを異ならせても良い。例えば、第1コード候補が同一であっても、第2コード候補および第3コード候補が変化する場合は、第2コード候補および第3コード候補のみを移動させても良い。また、現在コード情報41および後続コード情報42が相対的に近づく表示であればよく、現在コード情報41を後続コード情報42側に向かって移動表示させても良い。
【0073】
また、コード候補に加えて、ベース音候補を編集可能としても良い。また、ベース音候補として複数の候補を表示しても良い。つまり、請求項における「音情報」としてベース音と表示しても良い。
【0074】
また、マイクから入力された音声データを解析可能としても良い。また、その他、演奏支援装置1Bに、所定区間のリピート再生、テンポチェンジ、キー変更などの機能を備えても良い。
【0075】
また、演奏支援装置1A,Bに再生処理部(D/Aコンバータ14およびスピーカー15)を設けず、表示部19の表示のみで演奏支援を行う構成としてもよい。
【0076】
また、クラウドコンピューティングとして本発明を利用する実施形態で、Web上のサーバーや、LANネットワーク上のサーバーに楽曲DB101および/もしくは音情報DB102を有している変形例でも良い。
【0077】
なお、上記の各実施形態に示した、演奏支援装置1A,Bの各構成要素をプログラムとして提供することも可能である。また、そのプログラムを記憶媒体(図示省略)に格納して提供することも可能である。記録媒体としては、CD−ROM、フラッシュROM、メモリカード(コンパクトフラッシュ(登録商標)、スマートメディア、メモリースティック等)、コンパクトディスク、光磁気ディスク、デジタルバーサタイルディスクおよびフレキシブルディスク等を利用することができる。
【0078】
また、上述した実施例によらず、演奏支援装置1A,Bの装置構成や処理工程等について、本発明の要旨を逸脱しない範囲で、適宜変更も可能である。
【符号の説明】
【0079】
1A,B:演奏支援装置 2:音楽プレーヤー 3:演奏支援画面 4:編集画面 5:解析結果表示画面 16:解析処理部 18:表示制御部 19:表示部 33:出力レベル情報 41:現在コード情報 42:後続コード情報 51:現在ベース音情報 52:後続ベース音情報 102:音情報DB
【技術分野】
【0001】
本発明は、楽曲の解析結果である音情報を表示する表示装置、表示装置の制御方法およびプログラムに関するものである。
【背景技術】
【0002】
従来、楽曲を楽器演奏する際の演奏タイミングおよび演奏方法を、楽曲の再生にあわせて表示する演奏支援装置が提案されている(特許文献1参照)。この演奏支援装置は、モニタに、楽曲のビートを表す複数のビート記号、当該ビートの位置におけるコードのコード名、および当該コードをギターで演奏するための演奏方法を示すタブ譜を表示する。そして、静止表示する基準位置(現在再生位置)に対し、各ビート記号、コード名およびタブ譜を移動表示させて、演奏タイミングをユーザーに提示する。一方、モニタに表示されるコードは、演奏支援装置が楽曲を解析した解析結果である。演奏支援装置は、任意のビート位置におけるコードの複数候補とその信頼度を算出し、最も信頼度の高いコードのコード名をモニタに表示する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2009−047860号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、上記の演奏支援装置のように楽曲を解析して提示するコードを決定する場合、必ずしも正しい(適切な)コードを提示できるとは限らない。つまり、最も信頼度の高いコードを提示したとしても、次に信頼度の高いコードがより適切なコードである可能性がある。この場合、演奏支援装置は、ユーザーに対して誤ったコードを提示してしまうという問題がある。
一方、楽曲をユーザーなりにアレンジして演奏したいという要望がある。しかし、ユーザーが楽器演奏の初心者であったり、音楽理論に詳しくない場合、提示されているコード以外にどのようなコードが楽曲に適当であるかがわからず、楽曲をアレンジすることは難しい。
【0005】
本発明は、上記の点に鑑み、ユーザーに対し楽曲の音情報を適切に提示することのできる表示装置、表示装置の制御方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の表示装置は、表示部と、楽曲の音声信号を解析した結果である音候補を示す音情報であり、楽曲の現在再生位置における音候補を示す現在再生音情報、および現在再生位置に後続する後続再生位置における音候補を示す後続再生音情報を、表示部に表示させる表示制御部と、を備えた表示装置であって、表示制御部は、現在再生音情報として、現在再生位置における第1音候補から第N音候補(但し、NはN≧2となる整数)までを、各音候補の信頼度に応じて異なる表示形態で表示させることを特徴とする。
【0007】
本発明の表示装置の制御方法は、楽曲の音声信号を解析した結果である音候補を示す音情報であり、楽曲の現在再生位置における音候補を示す現在再生音情報、および現在再生位置に後続する後続再生位置における音候補を示す後続再生音情報を、表示部に表示する表示装置の制御方法であって、表示装置が、現在再生音情報として、現在再生位置における第1音候補から第N音候補(但し、NはN≧2となる整数)までを、各音候補の信頼度に応じて異なる表示形態で表示させることを特徴とする。
【0008】
本発明のプログラムは、コンピューターに、上記の表示装置の制御方法を実行させることを特徴とする。
【0009】
これらの構成によれば、現在再生位置における音候補を複数表示するため、例えば、表示される音候補に基づいて楽器を演奏するユーザーは、表示された複数の音候補の中から所望の音候補を選択して楽器を演奏することができる。これにより、ユーザーは、複数の音候補の中から楽曲に合った適切なコードを選択することができる。また、ユーザーは、複数の音候補の中からあえて楽曲と異なるコードを選択することによって、ユーザーなりに楽曲をアレンジして演奏することができる。また、各音候補は、信頼度に応じて異なる表示形態で表示されるため、ユーザーは、各音候補の信頼度を考慮して音候補を選択することができる。なお、「異なる表示形態で表示させる」とは、信頼度に応じて音候補を示す文字や画像の大きさ、形、色、および表示動作(点滅や動揺など)などを変化させることを意味する。なお、「異なる表示形態で表示させる」とは、音候補を示す文字や画像と共に信頼度を示す記号や文字を付加して表示することも含むものとする。
【0010】
上記の表示装置において、表示制御部は、後続再生音情報として、後続再生位置における第1候補から第N候補(但し、NはN≧2となる整数)までを、各音候補の信頼度に応じて異なる表示形態で表示させることが好ましい。
【0011】
この構成によれば、現在再生位置に加えて後続再生位置における音候補を複数表示するため、ユーザーは、後続再生位置における所望の音候補を選択することができる。よって、例えば、表示される音候補に基づいて楽器を演奏する場合、ユーザーは、現在再生位置の音候補を演奏している間に、次の音候補を選択することができるため、演奏を中断することなく所望の音候補で演奏することができる。
【0012】
上記の表示装置において、現在再生音情報の第1音候補および後続再生音情報の第1音候補は、異なる音候補を示し、表示制御部は、楽曲の現在再生位置における第1音候補が変化するタイミングで後続再生音情報を現在再生音情報として表示させることが好ましい。
【0013】
この構成によれば、第1音候補が変化する際に音情報の表示が変化するため、ユーザーは、表示が変化するタイミングのみを注視すればいいので、表示される音候補に基づいて楽器を演奏する場合、利便性が良い。
【0014】
この場合、表示制御部は、現在再生位置における第1音候補ないし第N音候補を列記した現在再生音情報、および後続再生位置における第1音候補ないし第N音候補を列記した後続再生音情報が2列となるように並列表示すると共に、後続再生音情報を楽曲の再生速度に応じて現在再生音情報に対して近づくように相対移動表示させることが好ましい。
【0015】
この構成によれば、後続再生音情報が現在再生音情報に近づくため、ユーザーは、現在位置における音情報の切り替えタイミングを予め予測することができる。よって、表示される音候補に基づいて楽器を演奏する場合、ユーザーは、音情報が切り替わるまでに次の演奏準備を行うことができる。なお、後続再生情報の第1音候補ないし第N音候補は、各音候補の信頼度に応じて、現在再生音情報に近づく際の表示形態(表示動作)を変化させて表示することが望ましい。
【0016】
上記の表示装置において、現在再生音情報および後続再生音情報は、楽曲の各再生位置における和音を示す和音情報であることが好ましい。
【0017】
この構成によれば、楽曲の各再生位置における和音をユーザーに提示することができる。なお、和音情報は、楽曲のコードを示すコードネーム(例えば、「C」や「Cm7」など)、楽曲の調名および和音記号の併記(例えば、○○調の「1」「2」など(実際には、ローマ数字で表記する))、和音を示す音譜のいずれかであることが望ましい。
【0018】
上記の表示装置において、現在再生音情報および後続再生音情報は、楽曲の各再生位置におけるベース音を示すベース音情報であることが好ましい。
【0019】
この構成によれば、楽曲の各再生位置におけるベース音をユーザーに提示することができる。なお、ベース音情報は、ベース音を示すアルファベット(例えば、「C」や「G♯」など)、音譜のいずれかであることが望ましい。
【0020】
上記の表示装置において、表示制御部は、楽曲の所定再生区間における解析結果であり、音候補を決定するための平均律の各音に対応する周波数成分の出力レベルを示す出力レベル情報をさらに表示することが好ましい。
【0021】
この構成によれば、音候補の根拠となる平均律の各音の出力レベルをユーザーに提示することができる。これにより、ユーザーは、出力レベル情報を参考にして、他の音候補を自身で抽出することができる。なお、出力レベル情報が生成される楽曲の所定再生区間は、ユーザーの操作によって指定可能であることが望ましい。
【0022】
上記の表示装置において、楽曲の音情報を、当該楽曲の楽曲特徴量に関連付けて記憶する音情報記憶部をさらに備え、表示制御部は、再生する楽曲の楽曲特徴量に応じて、音情報記憶部に記憶されている音情報を表示することが好ましい。
【0023】
この場合、楽曲の音情報を編集するための編集手段をさらに備え、音情報記憶部は、編集手段の編集結果を、音情報として記憶することが好ましい。
【0024】
この構成によれば、楽曲の音候補をユーザーの所望の音候補に編集することができる。また、編集結果を楽曲の楽曲特徴量に関連付けて音情報記憶部に記憶しておくため、再生する楽曲と記憶した楽曲特徴量に共通点があった場合、記憶した編集結果を反映した音候補を表示することができる。楽曲特徴量は、楽曲の曲名、ジャンル、アーティストなどのメタデータであってもよいし、楽曲のテンポや音量レベルを示す音声データであってもよい。
【0025】
上記の表示装置において、楽曲を解析する解析処理部をさらに備え、表示制御部は、解析処理部の解析結果に応じて、表示制御を行うことが好ましい。
【0026】
この構成によれば、解析処理を行うための他の装置を必要とすることなく、楽曲の音情報を表示することができる。
【0027】
上記の表示装置において、楽曲を再生する再生処理部をさらに備え、表示制御部は、再生処理部の再生速度に応じて、表示部の表示制御を行うことが好ましい。
【0028】
この構成によれば、再生処理を行うための他の装置を必要とすることなく、楽曲の再生と共に、楽曲の音情報を表示することができる。
【図面の簡単な説明】
【0029】
【図1】本発明の第1実施形態に係る演奏支援装置の制御構成を示すブロック図である。
【図2】音声データの各音の出力レベルを示した図である。
【図3】音声データの0.2秒ごとのコード候補を示した図である。
【図4】音声データのコード候補、コード候補の切り替えタイミングおよび信頼度を示した図である。
【図5】演奏支援画面の一例を示した図である。
【図6】演奏支援画面におけるコード候補表示領域の画面遷移を示した図である。
【図7】小節ごとのコード候補およびベース音候補を示した図である。
【図8】演奏支援画面におけるコード候補およびベース音候補の画面遷移を示した図である。
【図9】演奏支援画面におけるコード候補およびベース音候補の画面遷移を示した図である。
【図10】第2実施形態に係る演奏支援装置の制御構成を示すブロック図である。
【図11】編集画面の一例を示した図である。
【図12】解析結果表示画面の一例を示した図である。
【図13】ベース音候補の他の表示例を示した図である。
【発明を実施するための形態】
【0030】
[第1実施形態]
以下、添付の図面を参照して、本発明の各実施形態に係る表示装置、表示装置の制御方法およびプログラムについて説明する。なお、本実施形態では、本発明の表示装置として、接続された音楽プレーヤーから入力された音声データ(音声信号)を解析し、音声データの再生にあわせて表示部に楽曲のコード候補を表示して、ユーザーに対して演奏支援を行う演奏支援装置を例示する。
【0031】
図1に示すように、演奏支援装置1Aは、音声データ入力部11、A/Dコンバータ12、バッファ13、D/Aコンバータ14、スピーカー15、解析処理部16、一時記憶部17、表示制御部18、表示部19、操作部20を備えている。
【0032】
音声データ入力部11は、音楽プレーヤーから音声データを入力する。A/Dコンバータ12は、音声データをアナログ/デジタル変換(PCM(Pulse Code Modultion)化)する。バッファ13は、アナログ/デジタル変換された音声データを一時的に格納する。なお、本実施形態において、バッファ13は、5秒間分の音声データを格納する。D/Aコンバータ14は、バッファ13に格納された5秒間分の音声データをデジタル/アナログ変換する。スピーカー15は、デジタル/アナログ変換された音声データを外部に出力する。すなわち、音楽プレーヤー2から入力された音声データは、入力の5秒後に演奏支援装置1Aのスピーカー15から出力されることになる。なお、請求項における「再生処理部」とは、D/Aコンバータ14およびスピーカー15をさす。
【0033】
解析処理部16は、バッファ13に格納された5秒間分の音声データについて解析し、コード候補、ベース音候補、コード候補およびベース音候補の切り替えタイミングを抽出する(音解析については、後に詳述する)。一時記憶部17は、解析処理部16の解析結果であるコード候補、ベース音候補、コード候補およびベース音候補の切り替えタイミングを一時的に記憶する。なお、請求項における「音候補」とは、コード候補を示す。
【0034】
表示制御部18は、後述の表示部19の表示制御を行う。具体的には、一時記憶部17に記憶されたコード候補、ベース音候補、コード候補およびベース音候補の切り替えタイミングに基づいて、演奏支援画面3(図5参照)におけるコード候補およびベース音候補の表示制御を行う。
【0035】
表示部19は、音声データの再生にあわせて楽曲のコード候補およびベース音候補を表示する演奏支援画面3(図5参照)を表示する。
【0036】
操作部20は、演奏支援装置1Aの各種操作を行うために用いられる。なお、操作部20は、装置に備えられた操作子、リモートコントローラー、表示部19に重畳されたタッチパネルなどで構成可能である。
【0037】
次に、図2ないし図4を参照し、解析処理部16の音解析について説明する。なお、以下の説明では、主に、楽曲のコード候補を決定するための音解析について説明する。
【0038】
先ず、解析処理部16は、バッファ13に格納されているPCM化された5秒間分の音声データを0.2秒毎に分割する。そして、分割した0.2秒間分の各音声データについて、12平均律の各音(ド,ド♯,・・・,ラ♯,シ)に対応する周波数成分を抽出し、各周波数成分の出力レベルを解析する。図2は、音声データの0.2秒ごとの解析結果を示している。なお、同図において「時間(秒)」の欄に「0」と記載されている部分は、音声データの楽曲開始〜0.2秒後の区間の出力レベルを示し、「0.2」と記載されている部分は、楽曲開始0.2秒後〜0.4秒後の区間の出力レベルを示している。また、本実施形態において、12平均律の各音に対応する周波数成分の出力レベルとは、音声データに含まれる複数のオクターブにおいて同音(例えば、高音の「ド」および低音の「ド」)の各周波数成分の出力レベルを合算したものとする。
【0039】
続いて、解析処理部16は、図2に示す各0.2秒区間における各周波数成分の出力レベルの分布に基づいて、各0.2秒区間における楽曲のコード候補を、信頼度の高い順に第1候補から第3候補まで決定する。図3は、音声データの各0.2秒区間におけるコード候補を示している。図示のように、0〜0.2秒の区間における楽曲のコード候補は、第1候補として「C」、第2候補として「Em」、および第3候補として「Am」が決定されている。そして、解析処理部16は、図3に示す各0.2秒区間におけるコード候補の分布に基づいて、コード候補(第1候補〜第3候補)の切り替えタイミングを決定する。すなわち、同一のコードを連続してコード候補とする楽曲の区間を決定する。そして、解析処理部16は、各区間における第1候補〜第3候補の信頼度の絶対値を算出する。図4は、決定されたコード候補の切り替えタイミングおよび信頼度を示している。図示のように、楽曲開始〜1.2秒の区間において、コード候補の第1候補は「C」であり、その信頼度は「60」である。同様に、第2候補は「Em」であり、その信頼度は「50」、第3候補は「Am」であり、その信頼度は「20」である。
【0040】
なお、上記のコード候補の種類、切り替えタイミング、信頼度の決定は、雑音成分や前後関係の考慮、音楽理論を踏まえた公知の解析手法を用いて、決定することが望ましい。
【0041】
また、解析処理部16は、バッファ13に格納された音声データから所定の低周波数帯域を抽出し、当該低周波数帯域における12平均律の各音に対応する各周波数成分の出力レベルを解析して、ベース音候補を決定する。その他、公知の解析手法を用いても良い。
【0042】
次に、図5ないし図9を参照し、表示部19に表示される演奏支援画面3について説明する。図5に示すように、演奏支援画面3は、解析処理部16が解析したコード候補(和音情報)を表示するコード候補表示領域31、およびベース音候補(ベース音情報)を表示するベース音候補表示領域32を有し、さらに、各音の出力レベルを示す出力レベル情報33および表示キー情報34を表示する。
【0043】
コード候補表示領域31は、現在再生中のコード候補を示す現在コード情報41(現在再生音情報)と、現在コード情報41に後続するコード候補を示す後続コード情報42(後続再生音情報)と、を表示する。現在コード情報41は、現在コード表示位置43に表示され、後続コード情報42は、後続コード表示位置44に表示される。現在コード情報41および後続コード情報42は、楽曲の各再生区間における第1コード候補(1st)、第2コード候補(2nd)および第3コード候補(3rd)を、候補の順序にしたがって縦方向に列記表示して構成され、各コード情報における同順位のコード候補が横方向に並ぶように並列配置される。なお、後続コード情報42は、現在コード表示位置43に固定表示される現在コード情報41に対して、楽曲の再生速度にあわせて後続コード表示位置44から現在コード表示位置43に近づくように移動する。また、現在コード情報41の第1コード候補は、枠画像に囲まれて表示される。ユーザーは、枠画像に囲まれた第1コード候補およびその他の第2コード候補、第3コード候補を参考にして、演奏するコードを決定する。
【0044】
各コード情報における第1コード候補、第2コード候補および第3コード候補は、各コード名を示すアルファベットと、各コード候補の信頼度の絶対値を示す数値と、で構成されている。そして、各コード名を示すアルファベットは、各コード候補の信頼度に応じたフォントサイズで表示される。すなわち、各コード候補は、第1コード候補、第2コード候補、第3コード候補の順に大きいフォントサイズで表示されるが、例えば、2つの第1コード候補同士、第2コード同士、第3コード同士が同一のフォントサイズで表示されるのではなく、その信頼度の絶対値に応じた絶対的なフォントサイズの違いで表示される。これにより、ユーザーは、直感的に各コード候補の信頼度を把握することができる。例えば、図5に示すように、現在コード情報41において第1コード候補と第2コード候補は、信頼度に大差がないのに対し、後続コード情報42において第1コード候補の信頼度が突出していることが、各コード候補のフォントサイズで直感的に把握することができる。
【0045】
なお、請求項における「信頼度に応じた異なる表示形態」とは、各コード候補を信頼度に応じたフォントサイズで表示すること、および信頼度を示す数値を併記することを指す。なお、他の表示方法として、信頼度に応じてコード候補の表示色を変化させたり、表示動作(点滅や移動軌跡など)などを変化させてもよい。
【0046】
このように、現在再生中のコード候補および後続するコード候補として、複数のコード候補(第1コード候補、第2コード候補および第3コード候補)を表示することによって、ユーザーは、表示される複数のコード候補の中から演奏するコードを選択することができる。さらに、コードの種類に加えて信頼度を表示するため、ユーザーは、各コード候補の信頼度の差を参考にして演奏するコードを適切に選択することができる。
【0047】
ベース音候補表示領域32は、現在再生中のベース音候補を示す現在ベース音情報51、および後続するベース音候補を示す後続ベース音情報52を表示する。これらの現在ベース音情報51および後続ベース音情報52は、各音名を示すアルファベットで表示される。現在ベース音情報51は、現在ベース音表示位置53に表示され、後続ベース音情報52は、後続ベース音表示位置54に表示される。そして、現在ベース音表示位置53に固定表示される現在ベース音情報51に対し、後続ベース音情報52は、楽曲の再生速度にあわせて後続ベース音表示位置54から現在ベース音表示位置53に近づくように移動する。なお、現在ベース音情報51は、枠画像に囲まれて表示される。このように、コード候補にあわせてベース音候補を表示することにより、ユーザーは、本演奏支援装置1Aをベース音の演奏に活用することができる。また、本実施形態によれば、楽曲の音声データの解析結果に基づいたベース音候補を表示するため、コードから導き出すことが困難な楽曲特有のベース音をユーザーに提示することができる。なお、ベース音候補は、アルファベット表示の他、ベース音およびベース音の切り替わりタイミングを示す簡易音譜で表示しても良い(図13参照)。
【0048】
出力レベル情報33は、音声データの各音の出力レベルを表示する。なお、出力レベル情報33は、音声データの再生中の0.2秒区間における出力レベルを表示する。すなわち、出力レベル情報33は、図2に示す解析結果を棒グラフ化したものである。よって、出力レベル情報33は、楽曲の再生にあわせて0.2秒ごとに示す数値が変化する。なお、同一のコードがコード候補である再生区間における出力レベルを表示する構成としてもよい。
【0049】
例えば、ギターでカポタストを利用する場合、実際の再生されている音声データのコードと演奏者の抑えるコードが異なる。こういったケースでも適用できるように、実際の音声データのコードからシフトさせたコードを表示させる。表示キー情報34は、表示されているコード候補のコードと、実際に再生されている音声データのコードと、の差を表示する。例えば、実際の音声データのコードが「D」の場合に、現在コード情報41の第1候補に「C」と表示するよう設定されている場合は、表示キー情報34に「−2」と表示する。
【0050】
次に、図6を参照して、コード候補の表示動作について説明する。同図は、楽曲再生中における演奏支援画面3の画面遷移図である。なお、説明のため、演奏支援画面3におけるコード候補表示領域31のみを図示している。また、同図は、図4に示すコード候補の切り替わりタイミングに基づいた画面遷移を示す。
【0051】
図6に示すように、楽曲再生開始時は、現在コード情報41が現在コード表示位置43に、後続コード情報42aが後続コード情報表示位置44に、固定表示される。そして、楽曲開始から0.2秒後に、後続コード情報42aが、後続コード情報表示位置44から現在コード表示位置43に向かって移動を開始する。そして、後続コード情報42aの移動開始と共に、後続コード情報表示位置44には、後続コード情報42aに後続する後続コード情報42bが新たに表示される。そして、楽曲開始から1.2秒後に後続コード情報42aが現在コード表示位置43に到達し、現在コード情報41として、固定表示される。すなわち、後続コード情報42は、現在再生中のコード候補が切り替わるタイミング(図6に示す例では楽曲開始から1.2秒後)の1秒前に移動を開始し、当該タイミングと同時に、現在コード情報41に置き換わる。
【0052】
なお、請求項における「現在再生位置」とは、楽曲における現在再生中の位置を示し、「後続再生位置」とは、現在再生位置における第1コード候補が異なるコードに切り替わるタイミングをさす。
【0053】
次に、図7ないし図9を参照し、コード候補およびベース音候補の表示動作について説明する。図7は、楽曲の任意の再生区間における小節ごとのコード候補およびベース音候補を示している。図8および図9は、図7に示すコード候補およびベース音候補に基づいた演奏支援画面3の画面遷移を示している。なお、説明のため、両図において、コード候補表示領域31およびベース音候補表示領域32のみを図示し、各コード候補の信頼度の表示を省略している。
【0054】
図8に示すように、1小節目開始時は、現在コード情報41が現在コード表示位置43に、後続コード情報42aが後続コード表示位置44に、固定表示される。同様に、現在ベース音情報51が現在ベース音表示位置53に、後続ベース音情報52aが後続ベース音表示位置54に表示される。そして、2小節目開始1秒前に、後続ベース音情報52aが、後続ベース音表示位置54から現在ベース音表示位置53に向かって移動を開始する。このとき、後続ベース音表示位置54には、後続ベース音情報52aに後続する後続ベース音情報52bが新たに表示される。そして、2小節目開始時に後続ベース音情報52aが現在ベース音表示位置53に到達し、現在ベース音情報51として、固定表示される。一方、1小節目および2小節目におけるコード候補が同一であるため、現在コード情報41および後続コード情報42の表示は変化しない。
【0055】
続いて、図9に示すように、3小節目開始1秒前に、後続コード情報42aは、後続コード表示位置44から現在コード表示位置43に向かって移動を開始する。このとき、後続コード表示位置44には、後続コード情報42aに後続する後続コード情報42bが新たに表示される。そして、3小節目開始時に後続コード情報42aが現在コード表示位置43に到達し、現在コード情報41として、固定表示される。一方、2小節目および3小節目におけるベース音候補が同一であるため、現在ベース音情報51および後続ベース音情報52の表示は変化しない。
【0056】
このように、現在コード表示位置43に表示されるコード候補は、現在再生中の第1コード候補が異なるコードに切り替わるタイミングで変化する。すなわち、再生中の第1コード候補が異なるコードに変化しない限り、現在コード表示位置43に表示されるコード候補は変化せず、後続コード情報42も移動しない。ベース音候補についても同様である。これにより、楽器の演奏をしているユーザーは、後続コード情報42または後続ベース音情報52が現在コード表示位置43または現在ベース音表示位置53に向かって移動し、現在コード情報41および現在ベース音情報51に置き換わるタイミングのみを注視するだけでも演奏をすることができる。
【0057】
[第2実施形態]
以下、図10ないし図12を参照し、本発明の第2実施形態に係る演奏支援装置1Bついて説明する。ただし、上記の実施形態と同様の構成については、同様の符号を付し、詳細な説明を省略する。第1実施形態では、外部からの楽曲の入力と同時にリアルタイムで楽曲の音声データを解析し、当該解析結果に基づくコード候補やベース音候補を表示する場合を例示したが、本実施形態に係る演奏支援装置1Bは、装置内に楽曲DBを有し、任意の楽曲の再生に伴ってコード候補やベース音候補を表示する点で異なっている。なお、演奏支援装置1Bは、楽曲のコード候補を編集可能な編集機能、および編集結果を学習する学習機能を備えている。特に図示しないが、本実施形態の演奏支援装置は、音楽DBを有するPCまたは携帯機器などにより構成される。
【0058】
図10は、本実施形態にかかる演奏支援装置1Bの制御構成を示したブロック図である。図示のように、演奏支援装置1Bは、楽曲DB101、スピーカー15、表示部19、操作部20、音情報DB102(音情報記憶部)およびこれらを統括制御する制御部103を備えている。
【0059】
楽曲DB101は、各楽曲の楽曲データを記憶している。楽曲データは、楽曲の音声データ、および楽曲の曲名、アーティスト名、ジャンル名を含むメタデータにより構成されている。なお、メタデータを音声データと関連付けて別々に格納してもよい。また、演奏支援装置1Bの外部から音声入力されたものを録音および格納してもよく、PCやUSBメモリといった外部記憶装置などに存在するファイル化された音声データを格納しても良い。
【0060】
表示部19は、上記の実施形態と同様の演奏支援画面3に加え、楽曲のコード候補をユーザーが編集するための編集画面4(図11参照)と、解析結果を表示する解析結果表示画面5(図12参照)と、を表示する。なお、本演奏支援装置1Bは、演奏支援画面3に、音情報DB102に記憶されている編集結果を考慮したコード候補を表示する。すなわち、本演奏支援装置1Bは、過去にコード候補を編集した編集内容を学習する学習機能を備えている。
【0061】
操作部20は、表示部19に表示する画面の切り替えや、編集画面4におけるコード候補の編集を行うために用いられる。なお、操作部20は、装置に備えられた操作子やタッチパネルでもよいし、パーソナルコンピューター等の外部装置を用いて、これらの各種操作を行い、その操作結果を演奏支援装置1Bに入力する構成としてもよい。
【0062】
音情報DB102は、楽曲DB101に存在する楽曲の音情報(コード進行/ベース音情報など)を、メタデータ(曲名、アーティスト名、ジャンル名)と関連付けて格納する。なお、音情報DB102は、楽曲DB101に存在している楽曲の音声データを不図示の解析処理部により解析し、その解析結果である音情報を格納してもよい。また、音情報DB102は、外部機器から入力される音声を不図示の解析処理部により第1実施形態の方法でリアルタイムに解析し、この解析結果である音情報を格納してもよい。また、音情報DB102は、PCやUSBメモリといった外部記憶装置などに存在するファイル化された音情報データを格納してもよい。
【0063】
制御部103は、主に、楽曲の再生処理、表示部19の表示制御を行う。ユーザーが楽曲DB101内に存在する任意の楽曲を選択すると、スピーカー15からその楽曲が再生される。制御部103は、再生中の楽曲に関連付けられた音情報を音情報DB102から取得し、表示部19に現在再生されている楽曲の音情報を表示する。
【0064】
次に、図11および図12を参照し、本演奏支援装置1Bのコード候補の編集機能について説明する。図11は、表示部19に表示される編集画面4の一例である。同図(a)に示すように、編集画面4には、楽曲の拍位置を示す複数の拍位置画像61、各拍位置におけるコード候補情報62、コード候補情報62を編集するための編集用カーソル63、が表示される。拍位置画像61は、各拍位置を示す縦方向の線画像である。コード候補情報62は、各拍位置画像61上に配置された第1コード候補(1st)、第2コード候補(2nd)および第3コード候補(3rd)で構成されている。また、コード候補情報62は、上記した演奏支援画面3におけるコード情報と異なり、すべての拍位置における第1コード候補、第2コード候補および第3コード候補を表示する。編集用カーソル63は、第1コード候補を選択および変更するために用いられ、ユーザーの操作に基づいて、任意の拍位置における第1コード候補上を移動する。なお、本実施形態では、編集用カーソル63を左右に移動させることで、編集画面4における楽曲の表示区間をスクロールさせることができる。
【0065】
ユーザーは、操作部20を用いて編集用カーソル63を操作し、各拍位置における第2コード候補および第3コード候補を参考に、第1コード候補を所望のコード名に変更する。同図(b)は、編集後の編集画面4を示したものである。図示のように、第1コード候補の編集が終了すると、第2コード候補および第3コード候補は、消去される。
【0066】
図12は、表示部19に表示される解析結果表示画面5の一例である。解析結果表示画面5には、解析対象区間を指定するための区間指定ボックス64と、指定された解析対象区間における音声データの解析結果を示す解析結果画像65と、が表示される。ユーザーは、区間指定ボックス64に、所望の区間の始点および終点を入力する。なお、始点および終点は、拍位置を示す拍番号でも良いし、小節を示す小節番号でもよい。また、楽曲の任意の基準点を入力すると、当該基準点から前後所定の長さを含む区間を解析対象区間とする構成でも良い。解析結果画像65は、指定された解析対象区間における音声データの各周波数成分の出力レベルがグラフ化されたものである。すなわち、図2に示す解析結果のうち、解析対象区間に含まれる出力結果を合算してグラフ化したものである。図12に示す解析結果によれば、12音のうち出力レベルの高い音に基づいて、当該解析対象区間におけるコード候補は、「Cm7(♭5)」であると推測することができる。
【0067】
このように、ユーザーは、コード候補の編集中に、表示部19の画面を編集画面4から解析結果表示画面5に切り替え、所望の解析対象区間を指定することにより、実際の解析結果を参照して、適切にコード候補を編集することができる。なお、編集画面4において、各コード候補の信頼度を示す数値をコード名に併記しても良い。また、編集時は、音情報DB102に格納されている音情報を表示部19(編集画面4)に表示し、編集後に、音情報DB102に格納されている音情報が編集結果に書き換えられる(上書き保存される)。これにより、次回編集済みの楽曲を再生した際に、自動的に編集した内容が反映された音情報が通常画面3に表示される。
【0068】
なお、曲名、アーティスト名およびジャンル名(メタデータ)は、音情報(編集結果)がどの楽曲のものであるかを一意に特定するために用いられる。よって、楽曲を一意に特定できるデータであれは、楽曲のIDなどその他のデータを用いても良い。なお、再生する楽曲のメタデータ(楽曲特徴量)と記憶した音情報に紐付けられたメタデータ(楽曲特徴量)に共通点があった場合、記憶した編集結果を反映した音候補を表示してもよい。また、再生する楽曲および記憶した音情報を紐付けるための楽曲特徴量は、楽曲のジャンル、アーティストなどのメタデータであってもよいし、楽曲のテンポや音量レベルを示す音声データであってもよい。
【0069】
これまで説明した演奏支援装置1A,Bによれば、複数のコード候補をその信頼度に応じた表示形態で表示することにより、ユーザーは、各再生区間におけるコード候補の信頼度を直感的に把握することができる。よって、ユーザーは、解析結果に基づいて決定された第1コード候補が、実際の楽曲にマッチしない場合、すなわち実際の楽曲のコードとは異なるコードであった場合や、第1コード候補以外のコードで演奏したい場合などにおいて、ユーザーに対して、確からしいコードの選択を促すことができる。
【0070】
なお、本実施形態において、解析処理部16は、音声データに含まれる複数のオクターブにおける同音の出力レベルを合算して音解析を行ったが、所定の1オクターブにおける周波数成分の出力レベルを解析しても良い。また、複数のオクターブにおける各音の個別の出力レベルを解析してもよい。
【0071】
また、演奏支援画面3におけるコード候補は、コード名を示すアルファベットの他、ギリシャ文字表示、楽曲の調名および和音記号の併記(例えば、○○調の「1」「2」など(実際には、ローマ数字で表記する))、コードを構成する和音を示す音譜、コードの演奏方法を示す画像(タブ譜や鍵盤画像など)で表示しても良い。また、コード候補に加えて、楽曲の拍位置を示す拍位置画像61を共に表示しても良い。また、ギター等の運指情報を表示しても良い。
【0072】
また、本実施形態において、演奏支援画面3の後続コード情報42は、第1コード候補、第2コード候補および第3コード候補が同時に移動する構成としたが、コード候補ごとに移動タイミングを異ならせても良い。例えば、第1コード候補が同一であっても、第2コード候補および第3コード候補が変化する場合は、第2コード候補および第3コード候補のみを移動させても良い。また、現在コード情報41および後続コード情報42が相対的に近づく表示であればよく、現在コード情報41を後続コード情報42側に向かって移動表示させても良い。
【0073】
また、コード候補に加えて、ベース音候補を編集可能としても良い。また、ベース音候補として複数の候補を表示しても良い。つまり、請求項における「音情報」としてベース音と表示しても良い。
【0074】
また、マイクから入力された音声データを解析可能としても良い。また、その他、演奏支援装置1Bに、所定区間のリピート再生、テンポチェンジ、キー変更などの機能を備えても良い。
【0075】
また、演奏支援装置1A,Bに再生処理部(D/Aコンバータ14およびスピーカー15)を設けず、表示部19の表示のみで演奏支援を行う構成としてもよい。
【0076】
また、クラウドコンピューティングとして本発明を利用する実施形態で、Web上のサーバーや、LANネットワーク上のサーバーに楽曲DB101および/もしくは音情報DB102を有している変形例でも良い。
【0077】
なお、上記の各実施形態に示した、演奏支援装置1A,Bの各構成要素をプログラムとして提供することも可能である。また、そのプログラムを記憶媒体(図示省略)に格納して提供することも可能である。記録媒体としては、CD−ROM、フラッシュROM、メモリカード(コンパクトフラッシュ(登録商標)、スマートメディア、メモリースティック等)、コンパクトディスク、光磁気ディスク、デジタルバーサタイルディスクおよびフレキシブルディスク等を利用することができる。
【0078】
また、上述した実施例によらず、演奏支援装置1A,Bの装置構成や処理工程等について、本発明の要旨を逸脱しない範囲で、適宜変更も可能である。
【符号の説明】
【0079】
1A,B:演奏支援装置 2:音楽プレーヤー 3:演奏支援画面 4:編集画面 5:解析結果表示画面 16:解析処理部 18:表示制御部 19:表示部 33:出力レベル情報 41:現在コード情報 42:後続コード情報 51:現在ベース音情報 52:後続ベース音情報 102:音情報DB
【特許請求の範囲】
【請求項1】
表示部と、
楽曲の音声信号を解析した結果である音候補を示す音情報であり、前記楽曲の現在再生位置における音候補を示す現在再生音情報、および前記現在再生位置に後続する後続再生位置における音候補を示す後続再生音情報を、前記表示部に表示させる表示制御部と、を備えた表示装置であって、
前記表示制御部は、前記現在再生音情報として、前記現在再生位置における第1音候補から第N音候補(但し、NはN≧2となる整数)までを、各音候補の信頼度に応じて異なる表示形態で表示させることを特徴とする表示装置。
【請求項2】
前記表示制御部は、前記後続再生音情報として、前記後続再生位置における第1音候補から第N音候補(但し、NはN≧2となる整数)までを、各音候補の信頼度に応じて異なる表示形態で表示させることを特徴とする請求項1に記載の表示装置。
【請求項3】
前記現在再生音情報の第1音候補および前記後続再生音情報の第1音候補は、異なる音候補を示し、
前記表示制御部は、前記楽曲の現在再生位置における第1音候補が変化するタイミングで前記後続再生音情報を前記現在再生音情報として表示させることを特徴とする請求項2に記載の表示装置。
【請求項4】
前記表示制御部は、前記現在再生位置における前記第1音候補ないし前記第N音候補を列記した前記現在再生音情報、および前記後続再生位置における前記第1音候補ないし前記第N音候補を列記した前記後続再生音情報が2列となるように並列表示すると共に、前記後続再生音情報を前記楽曲の再生速度に応じて前記現在再生音情報に対して近づくように相対移動表示させることを特徴とする請求項2に記載の表示装置。
【請求項5】
前記現在再生音情報および前記後続再生音情報は、前記楽曲の各再生位置における和音を示す和音情報であることを特徴とする請求項1に記載の表示装置。
【請求項6】
前記現在再生音情報および前記後続再生音情報は、前記楽曲の各再生位置におけるベース音を示すベース音情報であることを特徴とする請求項1に記載の表示装置。
【請求項7】
前記表示制御部は、前記楽曲の所定再生区間における解析結果であり、前記音候補を決定するための平均律の各音に対応する周波数成分の出力レベルを示す出力レベル情報をさらに表示することを特徴とする請求項1に記載の表示装置。
【請求項8】
前記楽曲の音情報を、当該楽曲の楽曲特徴量に関連付けて記憶する音情報記憶部をさらに備え、
前記表示制御部は、再生する楽曲の楽曲特徴量に応じて、前記音情報記憶部に記憶されている前記音情報を表示することを特徴とする請求項1に記載の表示装置。
【請求項9】
前記楽曲の前記音情報を編集するための編集手段をさらに備え、
前記音情報記憶部は、前記編集手段の編集結果を、前記音情報として記憶することを特徴とする請求項8に記載の表示装置。
【請求項10】
前記楽曲を解析する解析処理部をさらに備え、
前記表示制御部は、前記解析処理部の解析結果に応じて、表示制御を行うことを特徴とする請求項1に記載の表示装置。
【請求項11】
前記楽曲を再生する再生処理部をさらに備え、
前記表示制御部は、前記再生処理部の再生速度に応じて、前記表示部の表示制御を行うことを特徴とする請求項1に記載の表示装置。
【請求項12】
楽曲の音声信号を解析した結果である音候補を示す音情報であり、前記楽曲の現在再生位置における音候補を示す現在再生音情報、および前記現在再生位置に後続する後続再生位置における音候補を示す後続再生音情報を表示する表示装置の制御方法であって、
前記表示装置が、
前記現在再生音情報として、前記現在再生位置における第1音候補から第N音候補(但し、NはN≧2となる整数)までを、各音候補の信頼度に応じて異なる表示形態で表示させることを特徴とする表示装置の制御方法。
【請求項13】
コンピューターに、請求項12に記載の表示装置の制御方法を実行させるためのプログラム。
【請求項1】
表示部と、
楽曲の音声信号を解析した結果である音候補を示す音情報であり、前記楽曲の現在再生位置における音候補を示す現在再生音情報、および前記現在再生位置に後続する後続再生位置における音候補を示す後続再生音情報を、前記表示部に表示させる表示制御部と、を備えた表示装置であって、
前記表示制御部は、前記現在再生音情報として、前記現在再生位置における第1音候補から第N音候補(但し、NはN≧2となる整数)までを、各音候補の信頼度に応じて異なる表示形態で表示させることを特徴とする表示装置。
【請求項2】
前記表示制御部は、前記後続再生音情報として、前記後続再生位置における第1音候補から第N音候補(但し、NはN≧2となる整数)までを、各音候補の信頼度に応じて異なる表示形態で表示させることを特徴とする請求項1に記載の表示装置。
【請求項3】
前記現在再生音情報の第1音候補および前記後続再生音情報の第1音候補は、異なる音候補を示し、
前記表示制御部は、前記楽曲の現在再生位置における第1音候補が変化するタイミングで前記後続再生音情報を前記現在再生音情報として表示させることを特徴とする請求項2に記載の表示装置。
【請求項4】
前記表示制御部は、前記現在再生位置における前記第1音候補ないし前記第N音候補を列記した前記現在再生音情報、および前記後続再生位置における前記第1音候補ないし前記第N音候補を列記した前記後続再生音情報が2列となるように並列表示すると共に、前記後続再生音情報を前記楽曲の再生速度に応じて前記現在再生音情報に対して近づくように相対移動表示させることを特徴とする請求項2に記載の表示装置。
【請求項5】
前記現在再生音情報および前記後続再生音情報は、前記楽曲の各再生位置における和音を示す和音情報であることを特徴とする請求項1に記載の表示装置。
【請求項6】
前記現在再生音情報および前記後続再生音情報は、前記楽曲の各再生位置におけるベース音を示すベース音情報であることを特徴とする請求項1に記載の表示装置。
【請求項7】
前記表示制御部は、前記楽曲の所定再生区間における解析結果であり、前記音候補を決定するための平均律の各音に対応する周波数成分の出力レベルを示す出力レベル情報をさらに表示することを特徴とする請求項1に記載の表示装置。
【請求項8】
前記楽曲の音情報を、当該楽曲の楽曲特徴量に関連付けて記憶する音情報記憶部をさらに備え、
前記表示制御部は、再生する楽曲の楽曲特徴量に応じて、前記音情報記憶部に記憶されている前記音情報を表示することを特徴とする請求項1に記載の表示装置。
【請求項9】
前記楽曲の前記音情報を編集するための編集手段をさらに備え、
前記音情報記憶部は、前記編集手段の編集結果を、前記音情報として記憶することを特徴とする請求項8に記載の表示装置。
【請求項10】
前記楽曲を解析する解析処理部をさらに備え、
前記表示制御部は、前記解析処理部の解析結果に応じて、表示制御を行うことを特徴とする請求項1に記載の表示装置。
【請求項11】
前記楽曲を再生する再生処理部をさらに備え、
前記表示制御部は、前記再生処理部の再生速度に応じて、前記表示部の表示制御を行うことを特徴とする請求項1に記載の表示装置。
【請求項12】
楽曲の音声信号を解析した結果である音候補を示す音情報であり、前記楽曲の現在再生位置における音候補を示す現在再生音情報、および前記現在再生位置に後続する後続再生位置における音候補を示す後続再生音情報を表示する表示装置の制御方法であって、
前記表示装置が、
前記現在再生音情報として、前記現在再生位置における第1音候補から第N音候補(但し、NはN≧2となる整数)までを、各音候補の信頼度に応じて異なる表示形態で表示させることを特徴とする表示装置の制御方法。
【請求項13】
コンピューターに、請求項12に記載の表示装置の制御方法を実行させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2013−24967(P2013−24967A)
【公開日】平成25年2月4日(2013.2.4)
【国際特許分類】
【出願番号】特願2011−157708(P2011−157708)
【出願日】平成23年7月19日(2011.7.19)
【出願人】(000005016)パイオニア株式会社 (3,620)
【Fターム(参考)】
【公開日】平成25年2月4日(2013.2.4)
【国際特許分類】
【出願日】平成23年7月19日(2011.7.19)
【出願人】(000005016)パイオニア株式会社 (3,620)
【Fターム(参考)】
[ Back to top ]