説明

ゲーム用インタフェース装置、入力インタフェース装置、情報処理装置、コンピュータプログラム、コンピュータプログラムが記録された記録媒体及び情報生成方法

【課題】楽器を演奏してゲーム装置に所要の情報を入力することができるゲーム用インタフェース装置、入力インタフェース装置、情報処理装置、コンピュータプログラム、記録媒体及び情報生成方法を提供する。
【解決手段】リズムパターン抽出部231は、MIDIデータから所定のリズムパターンを抽出する。フィルインパターン抽出部232は、MIDIデータから所定のフィルインパターンを抽出する。文字情報生成部251は、抽出されたリズムパターンやフィルインパターンの組み合わせに基づいて、ひらがな、英字又は数字などの文字を特定するための文字情報を生成する。また、操作情報生成部252は、抽出されたリズムパターンやフィルインパターンの組み合わせに基づいて、カーソルの移動操作、マウス操作、特殊コマンド、入力モードの切り替えなどの操作を特定するための操作情報を生成する。

【発明の詳細な説明】
【技術分野】
【0001】
技術分野は、楽器を演奏してゲーム装置に所要の情報を入力するためのゲーム用インタフェース装置、文字を含む情報を入力することができる入力インタフェース装置、該入力インタフェース装置を備える情報処理装置、前記入力インタフェース装置を実現するためのコンピュータプログラム、該コンピュータプログラムが記録された記録媒体及び情報生成方法に関する。
【背景技術】
【0002】
電子鍵盤楽器に備えられた鍵盤を利用して文字情報の入力を行うことは、従来から知られている。しかし、各鍵に割り当てられた文字の配列を憶えることが困難であることから、各黒鍵にアルファベットの母音文字を割り当て、各白鍵にアルファベットの子音文字を割り当てることにより、文字の入力操作を効率的に行うことができる楽器鍵盤を使用する文字入力装置が開示されている(特許文献1参照)。
【特許文献1】特開2004−118425号公報
【発明を実施するための最良の形態】
【0003】
図1はインタフェース装置20の構成の一例を示すブロック図である。インタフェース装置20には、楽器(図1の例では、電子ドラム10)を接続してある。電子ドラム10は、クラッシュシンバル11、ライドシンバル12、ハイハット13、ハイタム14、ロータム15、スネア16、バスドラム17、フロアタム18、ハイハットペダル19などを備えている。また、電子ドラム10は、利用者の演奏に応じて演奏情報(例えば、MIDIデータ)を出力する機能を備えている。なお、ハイタム14及びロータム15を合わせてタムタムと称するが、本実施の形態では、タムはタムタムとフロアタム18を含めたものの少なくとも1つをいう。
【0004】
インタフェース装置20は、装置全体を制御する制御部21、電子ドラム10から出力されるMIDIデータを取得するMIDIデータ入力部22、取得したMIDIデータを解析するMIDIデータ解析部23、所定の情報を記憶するための記憶部24、MIDIデータ解析部23での解析結果に応じて文字情報又は操作情報を生成する情報生成部25、電子ドラム10の演奏を支援する入力支援情報を生成する入力支援情報生成部26、文字情報、操作情報又は入力支援情報などを出力する出力部27などを備えている。
【0005】
インタフェース装置20は、利用者が電子ドラム10を演奏することにより、電子ドラム10から出力されたMIDIデータを取得し、取得したMIDIデータを解析することにより、文字情報又は操作情報などを生成し、生成した文字情報又は操作情報を出力する。文字情報は、例えば、ひらがな、英字又は数字などの文字を特定するための情報である。また、操作情報は、例えば、カーソルの移動操作、マウス操作、特殊コマンド(エンター、スペース、バックスペース等)、入力モードの切り替えなどの操作を特定するための情報である。
【0006】
インタフェース装置20が生成した情報は、例えば、パーソナルコンピュータ等の情報処理装置、ゲーム装置などの入力情報として用いることができる。なお、インタフェース装置20は、情報処理装置又はゲーム装置に内蔵する構成でもよく、あるいは、別個の外部装置として構成することもできる。
【0007】
MIDIデータ入力部22は、電子ドラム10から出力されたMIDIデータを取得し、取得したMIDIデータをMIDIデータ解析部23へ出力する。MIDIデータは、楽器を演奏した場合のフレーズの各音符の位置や音の高さなどを記録したデータである。電子ドラム10の場合、MIDIデータは、電子ドラム10を構成する各構成要素(例えば、ハイハット13、スネア16等)を示す音符の位置を記録している。
【0008】
図2は電子ドラム10の音符の例を示す説明図である。電子ドラム10の場合、音の高さがない。そして、電子ドラム10の各構成要素は五線譜上の決った位置に表わすことができる。図2の音符は、電子ドラム10から出力されるMIDIデータを視覚的に表現したものといえる。
【0009】
MIDIデータ解析部23は、リズムパターン抽出部231、フィルインパターン抽出部232などを備えている。MIDIデータ解析部23は、MIDIデータから音符、リズムパターンやフィルインパターンなどを解析する。
【0010】
リズムパターン抽出部231は、MIDIデータから所定のリズムパターンを抽出する。電子ドラム10(ドラム)は、ビートを刻んでリズムを作り出す楽器であり、ドラムの叩き方には、例えば、4ビート、8ビート、16ビートのリズムを刻む叩き方がある。このため、電子ドラム10は、コードを使って演奏するギターなどとは違って、リズム重視の演奏情報を得ることができる。リズムパターンは、このリズムを刻むドラムの叩き方のパターンを示すものである。
【0011】
フィルインパターン抽出部232は、MIDIデータから所定のフィルインパターンを抽出する。フィルインは、演奏が単調になるのを防ぐために場面転換や演奏の雰囲気を変えるために、ある一定のリズムの間に挿入されるフレーズである。
【0012】
情報生成部25は、文字情報生成部251、操作情報生成部252などを備えている。文字情報生成部251は、MIDIデータ解析部23の解析結果に基づいて、ひらがな、英字又は数字などの文字を特定するための文字情報を生成する。
【0013】
操作情報生成部252は、MIDIデータ解析部23の解析結果に基づいて、カーソルの移動操作、マウス操作、特殊コマンド(エンター、スペース、バックスペース等)、入力モードの切り替えなどの操作を特定するための操作情報を生成する。
【0014】
以下、文字情報を生成する方法について説明する。まず、文字情報として、ひらがなを生成する場合について説明する。ひらがなの生成は、所定の5つのリズムパターン及び5つのフィルインパターンの組み合わせと、リズムパターンからフィルインパターンに移る時点の小節数とにより行う。
【0015】
より具体的には、5つのリズムパターンを1.5小節演奏してからフィルインに移るパターンと、3.5小節演奏してからフィルインに移るパターンの合計10パターンでひらがなの子音の選択を行う。次に、5つのフィルインパターンにより母音の選択を行う。
【0016】
図3はリズムパターンの一例を示す説明図である。図3に示すリズムパターンR1〜R5は、例えば、ひらがなの子音選択用として用いることができる。図3に示すように、リズムパターンは、R1〜R5の5つを使用する。これは演奏者がリズムパターンを憶えるのに要する労力を少なくするためである。なお、リズムパターンR1〜R5は、一例であって、これに限定されるものではない。
【0017】
図4はフィルインパターンの一例を示す説明図である。図4に示すように、フィルインパターンは、P1〜P5の5つを使用する。なお、フィルインパターンP1〜P5は、一例であって、これに限定されるものではない。
【0018】
図5はひらがなの文字対応表の一例を示す説明図であり、図6はひらがなの「あ」の生成方法を示す説明図である。図5及び図6に示すように、リズムパターンR1を1.5小節演奏してからフィルインパターンP1を演奏することにより、ひらがなの「あ」を生成することができる。他のひらがなの文字も同様に生成することができる。
【0019】
上述の例では、リズムパターンを1.5小節演奏してからフィルインに移るパターンと、3.5小節演奏してからフィルインに移るパターンとの合計10パターンでひらがなの子音の選択を行うものであったが、これに限定されるものではない。例えば、リズムパターンを0.5小節演奏してからフィルインに移るパターンと、1.5小節演奏してからフィルインに移るパターンとの合計10パターンでひらがなの子音を選択してもよい。
【0020】
図7はフィルインパターンの他の例を示す説明図である。図7のフィルインパターンは、それぞれ小文字、濁点、半濁点を生成するためのフィルインパターンである。小文字、濁点、半濁点用のフィルインは、ひらがなを生成するためのリズムパターンの前に挿入してもよく、あるいは、ひらがなを生成するためのフィルインの後に挿入してもよい。
【0021】
次に英字を生成する場合について説明する。英字の生成は、所定の3つのリズムパターン及び5つのフィルインパターンの組み合わせと、リズムパターンからフィルインパターンに移る時点の小節数とにより行う。より具体的には、3つのリズムパターンを1.5小節演奏してからフィルインに移るパターンと、3.5小節演奏してからフィルインに移るパターンとの合計6パターン及び5つのフィルインパターンにより合計30パターンが得られる。30パターンのうちの26パターンを用いて26文字の英字を生成する。
【0022】
図8はリズムパターンの他の例を示す説明図である。図8に示すリズムパターンR6〜R8は、英字用として用いることができる。図8に示すように、リズムパターンは、R6〜R8の3つを使用する。これは演奏者がリズムパターンを憶えるのに要する労力を少なくするためである。なお、リズムパターンR6〜R8は、一例であって、これに限定されるものではない。
【0023】
図9は英字の文字対応表の一例を示す説明図であり、図10は英字の「W」の生成方法を示す説明図である。図9及び図10に示すように、リズムパターンR7を3.5小節演奏してからフィルインパターンP3を演奏することにより、英字の「W」を生成することができる。他の英字も同様に生成することができる。なお、フィルインパターンP1〜P5は、ひらがなの文字生成用に用いたものと同じものである。また、英字の小文字を生成する方法は、ひらがなの場合と同様である。
【0024】
上述の例では、リズムパターンを1.5小節演奏してからフィルインに移るパターンと、3.5小節演奏してからフィルインに移るパターンとを用いる構成であったが、これに限定されるものではない。例えば、リズムパターンを0.5小節演奏してからフィルインに移るパターンと、1.5小節演奏してからフィルインに移るパターンとを用いることもできる。
【0025】
次に数字を生成する場合について説明する。数字の生成は、ひらがな、英字とは異なり、リズムパターンとフィルインパターンとの組み合せを用いる代わりに、リズムパターンと電子ドラム10の所定の構成要素との組み合せにより生成する。これは、数字の種類が0〜9の10個で、ひらがな又は英字と違った方法を用いることで楽器の演奏に楽しさが増すからである。
【0026】
数字の生成は、例えば、所定の5つのリズムパターン及びクラッシュシンバルの組み合わせと、クラッシュシンバルを叩く時点の小節数とにより行う。より具体的には、5つのリズムパターンを0.5小節演奏してからクラッシュシンバルを叩くパターンにすることにより、数字の「0」〜「4」を生成し、1.5小節演奏してからクラッシュシンバルを叩くことにより、数字の「5」〜「9」を生成する。
【0027】
図11はリズムパターンの他の例を示す説明図であり、図12は数字の「9」の生成方法を示す説明図である。図11及び図12に示すように、リズムパターンR14を1.5小節演奏してからクラッシュシンバルを叩く(演奏する)ことにより、数字の「9」を生成することができる。他の数字も同様に生成することができる。リズムパターンR10〜R14は、パッドを交互に叩くといった簡単なものになっており、素早く数字の生成(入力)を行うことができる。なお、リズムパターンR10〜R14は、一例であって、これに限定されるものではない。
【0028】
次に、操作情報を生成する方法について説明する。まず、操作情報として特殊コマンドの生成方法について説明する。特殊コマンドは、例えば、エンター(Enter)、スペース(Space)、バックスペース(Back Space)等である。特殊コマンドの生成も、それぞれに対応したフィルインパターンを用いることができる。
【0029】
図13は特殊コマンド用のフィルインパターンの一例を示す説明図である。特殊コマンド用のフィルインは、文字生成用のフィルインの後に挿入することができる。生成した特殊コマンド(例えば、スペースコマンド)を、かな漢字変換プログラム等へ出力することにより、パーソナルコンピュータ等の入力装置としてのキーボードと同様に、電子ドラム10を演奏するだけで入力したひらがなを漢字又はカタカナへ変換することができる。
【0030】
また、ゲーム装置の操作ボタンや操作キーに割り当てられたコマンド(操作情報)に対応させてフィルインパターンを予め設定しておくことで、電子ドラム10を演奏することでゲーム装置へのコマンド入力を行うゲーム用インタフェース装置として使用することができる。
【0031】
次に、カーソル移動操作のための操作情報を生成する方法について説明する。図14はカーソル移動操作用のリズムパターンの一例を示す説明図である。図14に示すように、カーソルの移動(上、下、左、右)は、4つのリズムパターンにより決定する。カーソルを移動させる操作は、連続して入力されることが多いので、連続して演奏できるように所定のリズムパターンだけを用いて(フィルインパターンを使用しない)カーソル移動操作のための操作情報を生成する。演奏者が図14に示すリズムパターンを演奏し続けると、それに伴ってカーソルが移動し続ける。
【0032】
次に、マウス操作のための操作情報を生成する方法について説明する。図15はマウス操作用の音符の一例を示す説明図である。マウスの操作は,移動量が多く、また連続して入力するため、リズムパターンやフィルインパターンを用いる代わりに電子ドラム10のどの構成要素を演奏した(叩いた)かに応じて決定することができる。例えば、図15に示すように、上移動はハイタム、下移動はロータム、左移動はハイハット、右移動はフロアタムとすることができる。この場合、1回叩くと所定の距離(例えば、20ピクセル)移動するように設定することができる。また、左クリックはクラッシュシンバル、右クリックはライドシンバル、ドラッグのオン/オフはバスドラムとすることができる。この場合、ダブルクリックはクラッシュシンバルを連続して2回叩くことで生成することができ、バスドラムを1回叩くとドラッグし、もう1回叩くとドロップさせることができる。
【0033】
次に入力モードの切り替え操作のための操作情報を生成する方法について説明する。図16は入力モード切り替え用のフィルインパターンの一例を示す説明図である。入力モードは、例えば、ひらがな入力、英字入力、数字入力、カーソル操作入力、マウス操作入力の各モードである。初期設定された入力モードは、ひらがな入力であり、図16に示すフィルインパターンを演奏することで、各入力モードへ切り替わる。ひらがな入力に切り替える場合、現在の入力モードに対応するフィルインパターンを演奏することにより、ひらがな入力に切り替わる。
【0034】
入力支援情報生成部26は、電子ドラム10の演奏を支援する入力支援ツールとしての機能を備え、ひらがな、英字又は数字などの文字、あるいは、カーソルの移動操作、マウス操作、特殊コマンド、入力モードの切り替えなどの操作を行うために、電子ドラム10をどのように演奏すればよいかを示す入力支援情報を生成する。生成された入力支援情報は、パーソナルコンピュータに備えられた液晶ディスプレイ等の表示装置でGUIとして表示させることができる。
【0035】
図17は入力支援情報を表示する画面表示の一例を示す説明図である。入力支援情報として表示される情報は、表示部31〜36のように画面を分割して表示することができる。表示部31は、電子ドラム10を演奏することで生成(入力)された文字、コマンド又は操作を表示する。表示部32は、小文字、濁点及び半濁点及び特殊コマンドを生成(入力)するためのフィルインパターンを表示する。表示部33は、入力モードの切り替え用のフィルインパターンを表示する。表示部34、35、36は、ひらがな、英字又は数字などの各文字に対応するリズムパターンとフィルインパターンとの組み合わせ、あるいは、リズムパターンとクラッシュシンバルとの組み合わせなどを表示する。また、演奏された部分の色を反転表示させることで、演奏者はどの部分を演奏しているかの判断を容易に行うことができる。
【0036】
入力支援情報を生成することにより、演奏者は画面に表示されたリズムパターンやフィルインパターンなどの楽譜を見ることで容易に所要の文字又は所要の操作を行うための情報を生成することができる。生成された情報は、ゲーム装置やパーソナルコンピュータなどに入力することができるので、キーボードやマウスを使用する代わりに、電子ドラム10のような楽器を演奏することで文字入力、コマンド入力、カーソル移動、マウス操作、入力モードの切り替えなどの所要の操作を行うことができる。
【0037】
また、現在演奏しているフレーズを表示し、文字とパターンとの対応表を覚える必要性を軽減することができ、楽しく文字等の入力を行うことができる。
【0038】
インタフェース装置20は、専用のハードウエア回路で構成することもでき、あるいは、MIDIデータ解析部23、情報生成部25、入力支援情報生成部26、制御部21などが行う処理手順を定めたコンピュータプログラムをRAMにロードし、該コンピュータプログラムをCPUで実行することにより、インタフェース装置20の動作を実現することもできる。また、上述のコンピュータプログラムを記録した記録媒体としても実現することができる。
【0039】
次に、インタフェース装置20の動作について説明する。図18、図19、図20、図21及び図22は情報生成の処理手順を示すフローチャートである。演奏者又は利用者が電子ドラム10を演奏し、電子ドラム10からMIDIデータが出力された場合、制御部21は、MIDIデータを取得し(S11)、取得したMIDIデータを解析する(S12)。なお、MIDIデータの解析は、リズムパターン、フィルインパターン、電子ドラム10の構成要素の音符などを抽出することにより行われる。
【0040】
制御部21は、入力モード切替のフィルインパターンの有無を判定し(S13)、フィルインパターンがある場合(S13でYES)、入力モードを切り替える(S14)。入力モード切替のフィルインパターンがない場合(S13でNO)、制御部21は、ステップS14の処理を行わずに、後述のステップS15の処理を行う。
【0041】
制御部21は、入力モードがひらがな入力であるか否かを判定し(S15)、ひらがな入力でない場合(S15でNO)、入力モードが英字入力であるか否かを判定する(S16)。英字入力でない場合(S16でNO)、制御部21は、入力モードが数字入力であるか否かを判定する(S17)。
【0042】
入力モードが数字入力でない場合(S17でNO)、制御部21は、入力モードがカーソル操作であるか否かを判定し(S18)、カーソル操作でない場合(S18でNO)、入力モードがマウス操作であるか否かを判定する(S19)。
【0043】
入力モードがマウス操作でない場合(S19でNO)、制御部21は、特殊コマンドのフィルインパターンの有無を判定する(S20)。フィルインパターンがある場合(S20でYES)、制御部21は、コマンドの操作情報を生成する(S21)。フィルインパターンがない場合(S20でNO)、制御部21は、ステップS21の処理を行わずに、後述のステップS22の処理を行う。
【0044】
制御部21は、入力操作を継続するか否かを判定し(S22)、継続する場合(S22でYES)、ステップS11以降の処理を続け、継続しない場合(S22でNO)、処理を終了する。
【0045】
入力モードがひらがな入力である場合(S15でYES)、又は入力モードが英字入力である場合(S16でYES)、制御部21は、リズムパターンを抽出し(S23)、フィルインパターンを抽出する(S24)。制御部21は、リズムパターンの小節数、すなわち、リズムパターンからフィルインパターンに移る時点の小節数を特定し(S25)、パターンの組み合わせに応じた文字情報(ひらがな又は英字)を生成する(S26)。
【0046】
制御部21は、リズムパターンが継続するか否かを判定し(S27)、継続する場合(S27でYES)、ステップS23以降の処理を続け、継続しない場合(S27でNO)、ステップS20の処理を行う。
【0047】
入力モードが数字入力である場合(S17でYES)、制御部21は、リズムパターンを抽出し(S28)、リズムパターンの後にクラッシュシンバルがあるか否かを判定する(S29)。クラッシュシンバルがある場合(S29でYES)、制御部21は、リズムパターンの小節数を特定し(S30)、パターンに応じた文字情報(数字)を生成する(S31)。
【0048】
制御部21は、リズムパターンが継続するか否かを判定し(S32)、継続する場合(S32でYES)、ステップS28以降の処理を続け、継続しない場合(S32でNO)、ステップS20の処理を行う。クラッシュシンバルがない場合(S29でNO)、制御部21は、ステップS20の処理を行う。
【0049】
入力モードがカーソル操作である場合(S18でYES)、制御部21は、リズムパターンを抽出し(S33)、抽出したリズムパターンに応じたカーソル移動の操作情報を生成する(S34)。制御部21は、リズムパターンが継続するか否かを判定し(S35)、継続する場合(S35でYES)、ステップS33以降の処理を続け、継続しない場合(S35でNO)、ステップS20の処理を行う。
【0050】
入力モードがマウス操作である場合(S19でYES)、制御部21は、音符を抽出し(S36)、抽出した音符に応じたマウスの操作情報を生成する(S37)。制御部21は、音符が継続するか否かを判定し(S38)、継続する場合(S38でYES)、ステップS36以降の処理を続け、継続しない場合(S38でNO)、ステップS20の処理を行う。
【0051】
次に、インタフェース装置20を用いた評価試験について説明する。評価試験用の機器は以下のとおりである。すなわち、電子ドラムとして、ヤマハのDTXPLORERを使用し、USB−MIDIケーブルを介して電子ドラムのMIDIデータをパーソナルコンピュータへ出力する。パーソナルコンピュータには、インタフェース装置20を実現するためのコンピュータプログラムをインストールした。また、被験者としては、ドラム演奏経験者8名を対象とし、電子ドラムを演奏して、ひらがな、英字、数字などの文字入力、カーソル移動、マウス操作、コマンド入力などの操作を自由に行った後、アンケート調査を行った。
【0052】
図23及び図24はアンケート調査の結果を示す説明図である。図23(a)に示すように、「楽しく操作することができたか?」という質問に対しては、すべての被験者が「ドラムでのパソコンの操作に楽しさを感じた」という結果が得られた。すなわち、従来、パーソナルコンピュータの入力インタフェース装置としては、キーボードやマウスが一般的である。しかし、電子ドラムのような楽器を演奏することで、キーボードやマウスの代わりとして文字入力や所要の操作を行うことができるインタフェース装置は、「面白さ」や「楽しさ」といった点で高い評価を得ることができた。
【0053】
図23(b)に示すように、「操作方法を理解することができたか?」という質問に対しては、「理解できた」と答えた人は7人で、「どちらとも言えない」と答えた人は1人という結果が得られた。すなわち、電子ドラムのような楽器を演奏することで、キーボードやマウスの代わりとして文字入力や所要の操作を行うことができるインタフェース装置は、入力方法が簡単で理解し易いものであるといえる。
【0054】
図23(c)に示すように、「演奏している感覚で操作できたか?」という質問に対して、「操作できた」と答えた人が3人で、「どちらとも言えない」と答えた人が5人という結果が得られた。否定的な回答をした人がいなかったことから、単に楽器を叩くという単純なものではなく、音楽性を損なわずに電子ドラムを演奏しながら文字入力や所要の操作を行うことができたといえる。これにより、楽器を演奏する楽しさや面白さを損なうことなく文字入力や所要の操作を行うことができる。
【0055】
図24(a)に示すように、「入力支援ツールは活用できたか?」という質問に対して、「活用できた」と答えた人は5人で、「どちらとも言えない」と答えた人が3人という結果が得られた。また、「活用できた」という人の意見の中で、「入力支援ツールがないと演奏が困難」という意見があった。これにより、例えば、文字とパターンとの対応表を覚える必要性を軽減することができ、入力支援ツールの必要性が証明される結果が得られた。また、入力支援ツールを使用することで、一層楽しく文字等の入力を行うことができる。
【0056】
図24(b)に示すように、「自分の思った通りに操作することができたか?」という質問に対して、「できた」と答えた人はいなかったが、「まぁまぁできた」と全員が答えた。これにより、ドラム演奏の経験者にとっては、演奏しながら文字入力や所要の操作を比較的容易に行うことができ、簡単な入力方法を提供することができるといえる。
【0057】
図24(c)に示すように、「今後このインタフェースを使用したいか?」という質問に対して、「使用したい」と答えた人は5人という結果が得られた。また、「ドラム自体の練習にも生かせるのではないかと考える」という意見があり、ドラムをうまく叩けない人でも、インタフェース装置20を使用することでドラム演奏の勉強になると考えられる。
【0058】
インタフェース装置20は、パーソナルコンピュータ等の情報処理装置の入力装置として使用されているキーボードやマウスの代わりの入力インタフェースとして使用することができる。また、インタフェース装置20は、ゲーム装置に備えられたコントローラ(操作用の端末)の代わりの入力インタフェースとしても使用することができる。ゲーム用の入力インタフェース装置として用いる場合には、ゲーム装置で受け付ける各種操作にリズムパターンとフィルインパターンとの組み合わせやドラムの音符との組み合わせなどを対応付ければよい。これにより、ドラムを演奏しながらゲームを行うことができ、楽しさが倍増するといえる。また、キーボード入力やタイピングなどを楽しむゲームにも適用することができる。
【0059】
以上説明したように、上述の実施の形態によれば、音楽を演奏しながら文字入力や所要の操作(カーソル移動、マウス操作、コマンド入力、入力モードの切替など)を行うことができるとともに、例えば、音楽性を損なうことなく演奏しつつ所要の入力操作を行うことができる。また、例えば、電子ドラムを演奏する際のフレーズのパターンなどに注目し、リズムパターンとフィルインパターンなどの組み合わせの違いに応じて文字情報や操作情報を生成することで、単に異なる音に異なる文字を割り当てて文字入力するような従来の方法と異なり、ドラム演奏が有する音楽性を維持したままで入力操作も同時に行うことができ、従来に比べて面白さや楽しさが格段に優れた入力インタフェース機能を提供することができる。
【0060】
上述の実施の形態では、電子ドラムを例として説明したが、演奏する楽器は電子ドラムに限定されるものではなく、他の打楽器でもよい。また、ピアノなどを使用することもできる。
【0061】
上述の実施の形態では、リズムパターンやフィルインパターンの種類が多くならないようにして利用者がパターンを覚え易くするため、フィルインに移る小節数を変えたパターンを用いるものであったが、例えば、生成する文字情報がある程度制限されるような場合、あるいは、利用者がパターンを覚えるのに慣れたような場合には、フィルインに移る小節数を固定したリズムパターンを用いることもできる。
【0062】
上述の実施の形態では、電子ドラムからMIDIデータを取得する構成であったが、取得するデータはMIDIデータに限定するものではなく、リズムパターンやフィルインパターンを抽出することができるものであれば、どのような形式のデータでもよい。また、楽器を演奏した音をマイクロホン等で録音したオーディオデータを用いることもできる。
【0063】
上述の実施の形態で、リズムパターンとフィルインパターンとの組み合わせにより、ひらがな又は英字を生成する構成であったが、ひらがなの他にカタカナを生成するように構成することもできる。
【図面の簡単な説明】
【0064】
【図1】インタフェース装置の構成の一例を示すブロック図である。
【図2】電子ドラムの音符の例を示す説明図である。
【図3】リズムパターンの一例を示す説明図である。
【図4】フィルインパターンの一例を示す説明図である。
【図5】ひらがなの文字対応表の一例を示す説明図である。
【図6】ひらがなの「あ」の生成方法を示す説明図である。
【図7】フィルインパターンの他の例を示す説明図である。
【図8】リズムパターンの他の例を示す説明図である。
【図9】英字の文字対応表の一例を示す説明図である。
【図10】英字の「W」の生成方法を示す説明図である。
【図11】リズムパターンの他の例を示す説明図である。
【図12】数字の「9」の生成方法を示す説明図である。
【図13】特殊コマンド用のフィルインパターンの一例を示す説明図である。
【図14】カーソル移動操作用のリズムパターンの一例を示す説明図である。
【図15】マウス操作用の音符の一例を示す説明図である。
【図16】入力モード切り替え用のフィルインパターンの一例を示す説明図である。
【図17】入力支援情報を表示する画面表示の一例を示す説明図である。
【図18】情報生成の処理手順を示すフローチャートである。
【図19】情報生成の処理手順を示すフローチャートである。
【図20】情報生成の処理手順を示すフローチャートである。
【図21】情報生成の処理手順を示すフローチャートである。
【図22】情報生成の処理手順を示すフローチャートである。
【図23】アンケート調査の結果を示す説明図である。
【図24】アンケート調査の結果を示す説明図である。
【符号の説明】
【0065】
10 電子ドラム
20 インタフェース装置
21 制御部
22 MIDIデータ入力部
23 MIDIデータ解析部
231 リズムパターン抽出部
232 フィルインパターン抽出部
24 記憶部
25 情報生成部
251 文字情報生成部
252 操作情報生成部
26 入力支援情報生成部
27 出力部

【特許請求の範囲】
【請求項1】
楽器を演奏してゲーム装置に所要の情報を入力するためのゲーム用インタフェース装置であって、
楽器の演奏情報を取得する取得手段と、
該取得手段で取得した演奏情報からリズムパターンを抽出する第1抽出手段と、
前記演奏情報からフィルインパターンを抽出する第2抽出手段と、
前記第1抽出手段で抽出したリズムパターン及び前記第2抽出手段で抽出したフィルインパターンの組み合わせに応じて、前記ゲーム装置へ入力する文字を特定するための文字情報及び/又は前記ゲーム装置へ入力する操作を特定するための操作情報を生成する情報生成手段と、
該情報生成手段で生成した文字情報及び/又は操作情報をゲーム装置へ出力する出力手段と
を備えることを特徴とするゲーム用インタフェース装置。
【請求項2】
楽器を演奏することで文字を含む情報を入力することができる入力インタフェース装置において、
楽器の演奏情報を取得する取得手段と、
該取得手段で取得した演奏情報からリズムパターンを抽出する第1抽出手段と、
前記演奏情報からフィルインパターンを抽出する第2抽出手段と、
前記第1抽出手段で抽出したリズムパターン及び前記第2抽出手段で抽出したフィルインパターンの組み合わせに応じて、文字を特定するための文字情報を生成する文字情報生成手段と、
該文字情報生成手段で生成した文字情報を出力する出力手段と
を備えることを特徴とする入力インタフェース装置。
【請求項3】
リズムパターンからフィルインパターンに移る時点の小節数を特定する特定手段を備え、
前記文字情報生成手段は、
前記特定手段で特定した小節数に応じて、文字を特定するための文字情報を生成するように構成してあることを特徴とする請求項2に記載の入力インタフェース装置。
【請求項4】
前記取得手段は、
ドラムの演奏情報を取得するように構成してあり、
前記第1抽出手段は、
少なくともスネアドラム及びハイハットの音符で構成されるリズムパターンを抽出するように構成してあることを特徴とする請求項2又は請求項3に記載の入力インタフェース装置。
【請求項5】
前記第2抽出手段は、
スネアドラム、バスドラム、ハイハット又はタムの音符の少なくとも1つで構成されるフィルインパターンを抽出するように構成してあることを特徴とする請求項4に記載の入力インタフェース装置。
【請求項6】
前記文字情報生成手段は、
前記第1抽出手段で抽出したリズムパターンの違いに応じて、文字を特定するための文字情報を生成するように構成してあることを特徴とする請求項2乃至請求項5のいずれか1つに記載の入力インタフェース装置。
【請求項7】
前記取得手段で取得した演奏情報からドラムの構成要素のうちの所定の構成要素の音符を抽出する第3抽出手段を備え、
前記文字情報生成手段は、
前記第1抽出手段で抽出したリズムパターン及び前記第3抽出手段で抽出した音符の組み合わせに応じて、数字を特定するための文字情報を生成するように構成してあることを特徴とする請求項2乃至請求項6のいずれか1つに記載の入力インタフェース装置。
【請求項8】
前記出力手段は、
画面上のカーソル操作のための操作情報を出力するように構成してあり、
前記第1抽出手段で抽出したリズムパターンに応じて、カーソル操作のための操作情報を生成するカーソル操作情報生成手段を備えることを特徴とする請求項2乃至請求項7のいずれか1つに記載の入力インタフェース装置。
【請求項9】
前記出力手段は、
画面上のマウス操作のための操作情報を出力するように構成してあり、
前記第3抽出手段で抽出した音符に応じて、マウス操作のための操作情報を生成するマウス操作情報生成手段を備えることを特徴とする請求項2乃至請求項8のいずれか1つに記載の入力インタフェース装置。
【請求項10】
前記第2抽出手段で抽出したフィルインパターンに応じて、ひらがな入力、英字入力、数字入力、カーソル操作又はマウス操作のいずれかに切り替える切替手段を備えることを特徴とする請求項2乃至請求項9のいずれか1つに記載の入力インタフェース装置。
【請求項11】
前記操作情報生成手段は、
前記第2抽出手段で抽出したフィルインパターンに応じて、実行キー、スペースキー又はバックスペースキーのうち少なくとも1つと同等の操作のための操作情報を生成するように構成してあることを特徴とする請求項2乃至請求項10のいずれか1つに記載の入力インタフェース装置。
【請求項12】
リズムパターン及びフィルインパターンの組み合わせと該組み合わせに関連付けた文字とを表示するための表示情報を生成する表示情報生成手段を備えることを特徴とする請求項1乃至請求項11のいずれか1つに記載の入力インタフェース装置。
【請求項13】
請求項2乃至請求項12のいずれか1つのインタフェース装置と、該インタフェース装置で出力した文字情報又は操作情報を用いて所要の情報処理を行う情報処理部とを備えることを特徴とする情報処理装置。
【請求項14】
コンピュータを、楽器の演奏情報から文字を含む情報を生成する手段として機能させるためのコンピュータプログラムにおいて、
コンピュータを、
楽器の演奏情報からリズムパターンを抽出する第1抽出手段と、
前記演奏情報からフィルインパターンを抽出する第2抽出手段と、
抽出したリズムパターン及びフィルインパターンの組み合わせに応じて、文字を特定するための文字情報を生成する文字情報生成手段として機能させることを特徴とするコンピュータプログラム。
【請求項15】
コンピュータを、楽器の演奏情報から文字を含む情報を生成する手段として機能させるためのコンピュータプログラムが記録された記録媒体において、
前記コンピュータプログラムは、
コンピュータを、
楽器の演奏情報からリズムパターンを抽出する第1抽出手段と、
前記演奏情報からフィルインパターンを抽出する第2抽出手段と、
抽出したリズムパターン及びフィルインパターンの組み合わせに応じて、文字を特定するための文字情報を生成する文字情報生成手段として機能させることを特徴とする記録媒体。
【請求項16】
楽器を演奏することで文字を含む情報を入力インタフェース装置で生成する情報生成方法において、
前記入力インタフェース装置は、
楽器の演奏情報を取得し、
取得した演奏情報からリズムパターンを抽出し、
前記演奏情報からフィルインパターンを抽出し、
抽出したリズムパターン及びフィルインパターンの組み合わせに応じて、文字を特定するための文字情報を生成することを特徴とする情報生成方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate


【公開番号】特開2009−294457(P2009−294457A)
【公開日】平成21年12月17日(2009.12.17)
【国際特許分類】
【出願番号】特願2008−148285(P2008−148285)
【出願日】平成20年6月5日(2008.6.5)
【新規性喪失の例外の表示】特許法第30条第1項適用申請有り 平成19年12月5日〜12月7日に、日本ソフトウェア科学会インタラクティブシステムとソフトウェア研究会主催の「第15回インタラクティブシステムとソフトウェアに関するワークショップ(WISS2007)」にてデモ・ポスター(PDF)をもって発表
【出願人】(503355269)学校法人 大阪電気通信大学 (4)
【Fターム(参考)】