携帯型音出力装置、コンピュータプログラムおよび記録媒体
【課題】簡単な操作で音を出力できる携帯型音出力装置を提供する。
【解決手段】携帯サイズの筐体１０に、４種類のコードを指定可能な操作スイッチ１２１と、タッチセンサパネル兼用のディスプレイ１１とを形成する。メモリカード２０には、実楽器が奏でる音特性を有する音を出力させるための音データファイル及び音の組み合わせであるコードを表すコードデータファイルが記録されている。ディスプレイ１１には、タッチセンサとして機能する６本の弦画像が表示される。操作スイッチ１２１によりコードが指定されて各弦画像に当該コードによる音が設定される。音出力装置は、操作スイッチ１２１でコードが指定され、弦画像がタッチ操作されると、当該コードで当該弦画像に設定される音を、音出力機構から出力させる。
【解決手段】携帯サイズの筐体１０に、４種類のコードを指定可能な操作スイッチ１２１と、タッチセンサパネル兼用のディスプレイ１１とを形成する。メモリカード２０には、実楽器が奏でる音特性を有する音を出力させるための音データファイル及び音の組み合わせであるコードを表すコードデータファイルが記録されている。ディスプレイ１１には、タッチセンサとして機能する６本の弦画像が表示される。操作スイッチ１２１によりコードが指定されて各弦画像に当該コードによる音が設定される。音出力装置は、操作スイッチ１２１でコードが指定され、弦画像がタッチ操作されると、当該コードで当該弦画像に設定される音を、音出力機構から出力させる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えばギター、ピアノ等のような実楽器（アコースティック楽器）を、操作者主導で操作することでシミュレートする携帯型音出力装置、および、その関連品に関する。
【背景技術】
【０００２】
音処理その他の情報処理技術の発達により、実楽器で奏でられる音を電子的手段により出力する電子楽器装置が実現されている。この種の電子楽器装置は、例えば、実楽器を模した形状の筐体に、複数のセンサ、音出力ユニットおよび制御ユニットを設けて構成される。センサは、操作者が操作する部位に設けられ、操作者がある操作を行ったことを検知したときに所定のデータを出力する。制御ユニットには、楽音出力用のプログラムおよびデータが格納されており、センサ出力に応じた音源データを生成し、これをスピーカを含む音出力ユニットから出力させる。
【０００３】
電子楽器装置の中には、発光素子又はディスプレイ等の表示ユニットを備えたものもある。このような電子楽器装置では、表示ユニットに操作の手順を逐次表示し、操作者がその手順に従う操作入力を行うことにより、実楽器と同様の楽音を出力させる。電子楽器装置の中には、さらに、いわゆる「カラオケ」のように、歌詞の表示を伴うものもある。すなわち、装置内のメモリに、操作者が操作すべき操作内容を表す操作指示データとリンクした歌詞データを保存しておき、歌詞データを表示ユニットに表示させる際に操作指示データを併せて表示することにより、歌詞表示と操作指示内容とを連動させている。
上記例に示されるとおり、従来の電子楽器装置は、高価な実楽器ないしカラオケに代わって、楽音を低廉に出力できるという利点がある。また、これらの電子楽器装置は、装置固有の操作手順さえ覚えてしまえば、実楽器を弾けない者でも、簡単に演奏操作できるようになるという利点もある。
【０００４】
本願発明者は、電子楽器装置の一例として、特許文献１に示すような携帯型音出力装置を提案した。特許文献１の携帯型音出力装置では、熟練の程度に関わらず、操作者が、任意の場所で、自分のペースで自由かつ簡単な操作によりギター、ピアノ等のような実楽器で奏でられる和音を出力する。これにより、実楽器の操作が未熟であっても、弾き語りを可能にしたり、あるいは、大勢の仲間が集まって合唱するときの伴奏を、操作者主導で行うことができる。
特許文献２には、実楽器の一部を模した画像を表示画面に表示しておき、表示画面に表示された実楽器の一部の画像を操作者が演奏しているように操作することで、操作者による実楽器のシミュレートを行うサウンド処理装置が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開番号ＷＯ２００８／００４６９０
【特許文献２】特願２００７−２０６５５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１は、和音を出力するものなので、例えばギターの弦毎の操作、ピアノの各鍵の操作といった、一音を出力することには向いていない。
特許文献２は、ギターの６本弦を模した画像により各弦の音を出力可能としており、一音の出力を可能にしている。和音については、操作者が複数の弦を一度の動作で操作することにより実現している。特許文献２のサウンド処理装置は、ボタン操作でコードを決め、スタイラスペンにより弦の画像をタッチ操作することで、当該弦に対応する音が出力される点で、実際のギターと操作が同じである。このようなサウンド処理装置では、熟練者であれば弦を１本毎に弾き分けることも容易であるが、コードに無関係の弦を弾くこともあり初心者には困難である。
【０００７】
本発明は、熟練度にかかわらず、実楽器と同様の音の出力を容易に行える携帯型音出力装置を提供することを課題とする。
【課題を解決するための手段】
【０００８】
本発明の音出力装置は、操作者が片手で把持可能な携帯サイズの筐体を有し、該筐体には、それぞれ前記操作者が一方の片手指で選択可能な複数の操作子と、それぞれ実楽器を構成する楽器要素と対応付けられ、前記操作者が他方の片手指で直接又は間接にタッチ操作可能な複数のタッチセンサが形成されたディスプレイと、音を出力するための音出力機構と、所定のデータメモリへのアクセスが可能な制御機構とが設けられている。前記データメモリには、前記楽器要素が奏でる音特性を有する音を前記音出力機構から出力させるための音データファイルが当該音を識別するための音データＩＤと関連付けられて複数記録され、さらに、前記音データＩＤにより識別される１又は複数の音を組み合わせたコードを表現するためのコードデータファイルが当該コードを識別するためのコードＩＤと関連付けられて複数記録されており、前記複数の操作子の各々には、いずれかの前記コードＩＤが割り当てられている。
【０００９】
前記制御機構は、具体的には、操作者がどの操作子を選択し、その選択をいつ解除したかを検出する操作子選択状況検出手段と、前記複数のタッチセンサの各々へのタッチ開始時期及びタッチ操作速度を含む前記操作者による操作内容を検出する操作内容検出手段と、前記操作子選択状況検出手段で検出された操作子に割り当てられている前記コードＩＤをもとに前記コードファイルを特定し、特定されたコードファイルに関連付けられている音データＩＤから１以上の音データファイルを特定して、特定された音データファイルを当該操作子が選択されている間だけ前記データメモリから読み出して前記音出力機構に供給するとともに、前記特定された音データファイルに関連付けられている音データＩＤを前記複数のタッチセンサの少なくとも１つに割り当て、割り当てられた音データＩＤにより識別される音を、前記操作内容検出手段が検出したタッチセンサの操作内容と連動する表現態様で、前記音出力機構から出力させるための制御を行う音出力制御手段と、を備えるものである。
【００１０】
このような本発明の音出力装置では、複数のタッチセンサの各々に、操作子で選択されたコードに応じて、適宜、音データＩＤが割り当てられる。選択されるコードによっては、音の組み合わせがタッチセンサの数よりも少なく、複数のタッチセンサのすべてを用いることが無い。このような場合には、コードに応じて必要なタッチセンサにしか音データＩＤが割り当てられず、不要なタッチセンサには音データＩＤが割り当てられない。不要なタッチセンサは、音データＩＤが割り当てられないために、誤って操作しても特許文献２に開示されるサウンド処理装置のように音が出力されることはない。そのために、熟練度にかかわらず、実楽器と同様の音の出力を容易に行うことができるようになる。
【００１１】
この音出力装置において、前記音出力制御手段は、例えば、前記操作内容検出手段が所定時間内に２以上のタッチセンサへの操作内容を検出した場合に、後に操作内容が検出されたタッチセンサに割り当てられた音データＩＤで識別される音ほど、その前に識別された音よりも減衰したレベルで前記音出力機構から出力させる。このような構成では、タッチセンサ毎の音の出力を可能にしつつ、和音の出力を現実のギターで和音を出力する際と同様の音の態様で出力することができる。
【００１２】
ある実施の態様では、前記制御機構は、例えば前記データメモリに、個々の前記楽器要素の状態を表す状態画像を表現するための楽器要素画像ファイルが記録されている場合に、前記ディスプレイの所定領域に状態画像領域を形成するとともに、前記楽器要素画像ファイルを読み出して、前記音出力機構から出力させる音の音データＩＤが割り当てられたすべてのタッチセンサに対応する状態画像を前記ディスプレイの前記状態画像領域に同時に表示させ、表示中の状態画像を、前記音出力機構から出力される音の表現態様に応じて変化させる状態画像表示制御手段をさらに備える。このような構成では、タッチセンサの操作が行われていることを視覚的に確認できる。
また、前記制御機構は、例えば前記データメモリに、前記複数のタッチセンサのうち、どのタッチセンサをどのタイミングでどのように操作すべきかを指示する指示画像を表現するための指示画像ファイルが記録されている場合に、前記ディスプレイの所定領域に指示画像領域を形成するとともに、前記指示画像ファイルを読み出して前記指示画像を表示させ、表示中の指示画像が表すタッチセンサへの操作内容が正しく操作されたかどうかを前記操作子選択状況検出手段および前記操作内容検出手段による検出結果に基づいて判定し、正しく検出されたときは前記指示画像の内容を変化させる指示画像表示制御手段をさらに備える。このような構成では、初心者であっても音出力装置を、より簡単に、正しく操作することが可能である。
前記状態画像は、例えば弦楽器を構成する複数の弦の各々について、静止している初期状態及び弾かれたときの振動状態を表す画像であり、前記指示画像は、例えば弦毎に表現されるものである。
【００１３】
本発明は、操作者が片手で把持可能な携帯サイズの筐体に搭載されたコンピュータを携帯型音出力装置として動作させるためのコンピュータプログラムを提供する。前記筐体には、それぞれ前記操作者が一方の片手指で選択可能な複数の操作子と、それぞれ実楽器を構成する楽器要素と対応付けられ、前記操作者が他方の片手指で直接又は間接にタッチ操作可能な複数のタッチセンサが形成されたディスプレイと、音を出力するための音出力機構と、所定のデータメモリへのアクセスが可能な制御機構とが設けられており、前記データメモリには、前記楽器要素が奏でる音特性の音を前記音出力機構から出力させるための音データファイルが当該音を識別するための音データＩＤと関連付けられて複数記録され、さらに、前記音データＩＤにより識別される１又は複数の音を組み合わせたコードを表現するためのコードデータファイルが当該コードを識別するためのコードＩＤと関連付けられて複数記録されている。
このようなものにおいて、本発明のコンピュータプログラムは、前記コンピュータを、前記複数の操作子の各々に、いずれかの前記コードＩＤを割り当てる割当手段、操作者がどの操作子を選択し、その選択を何時解除したかを検出する操作子選択状況検出手段、いずれかの前記タッチセンサへのタッチ開始時期及びタッチ操作速度を含む操作内容を検出する操作内容検出手段、選択されたことが検出された操作子に割り当てられている前記コードＩＤをもとにコードファイルを特定し、特定したコードファイルに関連付けられた音データＩＤから１以上の音データファイルを特定し、特定した音データファイルを当該操作子が選択されている間だけ前記データメモリから読み出して前記音出力機構に供給すると共に、特定した音データファイルに関連付けられた音データＩＤを前記複数のタッチセンサの各々に割り当て、割り当てた音データＩＤで識別される音を、検出された操作内容と連動する態様で、前記音出力機構から出力させる音出力制御手段、として機能させるものである。このようなコンピュータプログラムは、コンピュータ読み取り可能な記録媒体に記録される。
【図面の簡単な説明】
【００１４】
【図１】本発明の音出力装置の実施形態例を示す構造説明図であり、（ａ）は正面図、（ｂ）は上底面図、（ｃ）は下底面図である。
【図２】筐体の内部構成図と各種部品の接続状態図。
【図３】（ａ）は初期振動画像、（ｂ）、（ｃ）は振動画像の例。
【図４】コード画像の一例を示す表示画面。
【図５】コード選択時の振動画像の一例を示す表示画面。
【図６】コードＩＤとコードデータファイルの関係を示すテーブルの例示図。
【図７】コード選択画面の一例を示す表示画面。
【図８】コード選択画面の一例を示す表示画面。
【図９】楽曲画像の一例を示す表示画面。
【図１０】楽曲画面表示時の振動画像の一例を示す表示画面。
【図１１】楽曲画面表示時の振動画像の一例を示す表示画面。
【図１２】初期表示画像の一例を示す表示画面。
【図１３】自由演奏モードでの手順説明図。
【図１４】楽曲演奏モードでの手順説明図。
【発明を実施するための最良の形態】
【００１５】
以下、本発明を、ギターの音を出力する音出力装置に適用した場合の実施形態例を説明する。
＜全体構造＞
図１は、この実施形態による音出力装置の構造説明図である。（ａ）は正面図、（ｂ）は上底面図、（ｃ）は下底面図である。この音出力装置は、片手で把持可能なサイズの筐体１０を有し、この筐体１０内にメモリカード２０を離脱自在に収容できるように構成される。
【００１６】
筐体１０のほぼ中央部には、タッチセンサパネルを兼ねるディスプレイ１１が設けられている。ディスプレイ１１（タッチセンサパネル）は、例えばＬＣＤ (Liquid Crystal Display) あるいはＥＬ（Electronic Luminescence）から成る表示パネルの表面をタッチセンサで覆ったものである。
ディスプレイ１１の外縁部は筐体１０の表面に対して多少窪んでおり、後述するスタイラスペンが、その外縁部に沿ってなぞれるようになっている。タッチセンサとしては、抵抗膜方式、光学式(赤外線方式)および静電容量結合式のいずれかの種類のものを用いることができる。ディスプレイ１１は、タッチパネルの上面をスタイラスペンのペン先あるいは指（以下、「スタイラスペン等」という場合がある。）で、押圧したり、撫でたりしてタッチ操作することにより、スタイラスペン等によるタッチ開始時期、タッチ座標位置およびその変化を含む操作内容を後述する制御ユニットへ伝達する。
【００１７】
筐体１０の表面には、また、短辺方向の中心軸に対してほぼ左右対称となる部位に、操作スイッチ１２１，１２２が設けられており、さらに、音出力孔１４１，１４２が形成されている。操作スイッチ１２１は、ディジタルジョイスティックとして機能するもので、４つの操作子を有しており、操作者がこれらの操作子の１つを押圧操作することによって、押圧操作している間だけ最大４種類のデータを選択的に入力できるようになっている。すなわち、操作者がどの操作子を選択し始めてその選択を何時解除したかを、後述する制御ユニット４０において検出できるようになっている。
操作スイッチ１２２は、ディジタルスイッチとして機能するもので、４つの操作接点を有しており、これらの４つの操作接点の１つを押圧操作することによって、最大４種類のデータの入力を許容する。
【００１８】
本実施形態では、紙面に向かって左側の操作スイッチ１２１は、左手の親指で傾き押圧操作、すなわち中心部を起点として０度、９０度、１８０度、２７０度の４つの方向のいずれかに傾けた状態で押圧操作する方向指示スイッチとして用い、他方、右側の操作スイッチ１２２は、右手親指で操作する動作モード、オプション機能その他の動作選択用スイッチとして用いる。右ききと左ききの操作者が存在することを考慮して、両スイッチ１２１，１２２は、それぞれ相互交換が可能になっている。
【００１９】
なお、操作スイッチ１２１，１２２として、共にデジタルジョイスティックとして機能するものを用い、どちらの操作スイッチを方向指示スイッチにするか、あるいは動作選択スイッチにするかを任意に設定できるようにしても良い。また、操作スイッチ１２２は、必ずしも４つの操作接点を持たなくとも良く、２、８個等の接点を共用しても良い。
【００２０】
音出力孔１４１の上方には電源スイッチ１５が設けられており、音出力孔１４２の上方にはスタートスイッチ１６１とファンクションスイッチ１６２が設けられている。これらのスイッチ１５，１６１，１６２には、例えばプッシュボタンを用いることができる。スタートスイッチ１６１は、動作開始（再開）したり、一時停止（Pause）したりするときに、操作者が押圧操作するものである。ファンクションスイッチ１６２は、各種設定画面、音出力のための操作画面等の表示内容選択等を行うときに押圧操作するものである。
【００２１】
筐体１０の上側面部には、短辺方向の中心軸に対してほぼ左右対称の部位に一対の拡張操作スイッチ１３１、１３２が設けられている。さらに、ほぼ中央部に、スタイラスペン３０の収容空間とスタイラスペン３０の係止部１７が形成されている。拡張操作スイッチ１３１は、操作スイッチ１２１で指示可能な４つの方向のグループを、予め設定された他のグループに切り替えるためのものであり、操作者が左手で筐体１０を把持したときに、左手の人差指又は中指で操作できる部位に配置されている。操作者が拡張操作スイッチ１３１を押したり、押さなかったりすることにより、左手だけの操作で最大で８の方向を指示入力することができる。拡張操作スイッチ１３２と操作スイッチ１２２も、上記と同じとなる。すなわち、拡張操作スイッチ１３２は、操作スイッチ１２２で選択可能な最大で４種類の選択内容のグループを別のグループに切り替えることができる。
【００２２】
筐体１０の下側面部には、メモリカード２０の収容空間１８と、音出力装置から出力する音データをスピーカが接続された外部増幅器に導くための外部出力端子１９とが形成されている。
【００２３】
＜制御ユニット等＞
本実施形態の音出力装置は、筐体１０の内部に、コンピュータの一種である制御ユニット及びその周辺電子部品を備えている。
【００２４】
図２は、筐体１０の内部構成図と各種部品の接続状態を示している。
図２に示される制御ユニット４０は、メモリカード２０を離脱自在に収容するためのコネクタ４１、メインプロセッサを含んで成るＣＰＵ（Central Processing Unit）コア４２、キャッシュメモリとして機能するＲＡＭ（Random Access Memory）４３、音処理を実行するＳＰＵ（Sound Processing Unit) ４４、画像処理を行う２つのＧＰＵ（Graphic Processor Unit）４５１，４５２、第１，第２画像領域１１ａ，１１ｂへの画像表示を可能にする表示コントローラ４７、及び、Ｉ／Ｏ（Input／Output）インタフェース４８が、内部バスＢ１を介して接続されている。
【００２５】
ＳＰＵ４４およびＧＰＵ４５１，４５２は、例えばシングルチップＡＳＩＣで構成される。ＳＰＵ４４は、ＣＰＵコア４２からのサウンドコマンドを受け取り、このサウンドコマンドに従って音処理を行う。「音処理」は、具体的には、２つの音出力ユニット２４１，２４２の各々で再生可能なステレオ音を出力するための情報処理である。ＧＰＵ４５１，４５２は、ＣＰＵコア４２からの描画コマンドを受け、その描画コマンドに従って画像データを生成する。ＣＰＵコア４２は、描画コマンドに加えて、画像データの生成に必要な画像生成指示をＧＰＵ４５１，４５２のそれぞれに与える。ＣＰＵコア４２から各ＧＰＵ４５１，４５２への描画コマンドの内容は、場面によって様々に変化するので、これについては後述する。
【００２６】
２つのＧＰＵ４５１，４５２には、それぞれ画像データを描画するためのＶＲＡＭ（Video Random Access Memory）４６１，４６２が接続されている。ＶＲＡＭ４６１には、ＧＰＵ４５１により、ディスプレイ１１の第１表示領域１１ａに表示させる画像データが描画される。他方、ＶＲＡＭ４６２には、ＧＰＵ４５２により、ディスプレイ１１の第２表示領域１１ａに表示させる画像データが描画される。画像データの内容については、後述する。表示コントローラ４７は、これらのＶＲＡＭ４６１，４６２に描画されている画像データを読み出して所要の表示制御処理を行う。
【００２７】
メモリカード２０は、ＲＯＭ（Read Only Memory）２１およびＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）２２を搭載している。ＥＥＰＲＯＭに代えて、フラッシュメモリその他の不揮発性メモリを用いることもできる。ＲＯＭ２１およびＥＥＰＲＯＭＲＡＭ２２は、互いにバス（図示省略）で接続されており、さらに、このバスが、制御ユニット４０の内部バスＢ１とコネクタ４１を介して接合される。これにより、ＣＰＵコア４２、ＳＰＵ４４、ＧＰＵ４５１、４５２は、メモリカード２０のＲＯＭ２１およびＥＥＰＲＯＭ２２に直接アクセスすることができる。
ＲＯＭ２１に記録される音データは、電子的に作成されたものではなく、いわゆる名手といわれる弾き手が実楽器であるギター等の弦を用いた楽器で実際に奏でた音を録音して成るデータファイルである。
【００２８】
Ｉ／Ｏインタフェース４８には、上述した各種スイッチ１２１，１２２，１３１，１３２，１５，１６１，１６２からの押圧操作データと、ディスプレイ１１からのタッチ操作データとが入力される。押圧操作データは、操作者がどのスイッチを押したかを表すデータであり、タッチ操作データは、操作者によるタッチ操作内容を表すデータである。各スイッチ１２１，１２２，１３１，１３２，１５，１６１，１６２が操作されると、対応するデータがＩ／Ｏインタフェース４８を介してＣＰＵコア４２に入力される。Ｉ／Ｏインタフェース４８からは、音出力ユニット２４１，２４２へ音データが出力される。音データは、ＣＰＵコア４２とＳＰＵ４４との協働により生成される。音出力ユニット２４１，２４２は、この音データをアンプで増幅し、スピーカで再生する。
【００２９】
メモリカード２０のＲＯＭ２１には、各種画像データ、１以上の音からなるコード毎の各弦の音データおよび音出力用プログラムが記録されている。音出力用プログラムは、制御ユニット４０を、音出力装置として動作させるための各種機能、例えば、操作者による操作子選択状況を検出する機能、タッチセンサへのタッチ開始時期及びタッチ操作速度を含む操作内容を検出する機能、各弦に割り当てられている音をタッチセンサの操作内容と連動する態様で出力させる機能等を構築するものであり、ＣＰＵコア４２により実行される。
【００３０】
画像データは、大別して、楽器の状態を表す状態画像、例えば弦が振動している画像を表現するための振動画像データ、コード指示及び操作する弦を指示するためのコード画像データ、楽曲の演奏を補助するための楽曲画像データ、初期画像を表現するための初期表示画像データ並びに各種設定用画像データである。これらのデータについて説明する。
【００３１】
振動画像データは、制御ユニット４０により音出力ユニット２４１，２４２から音が出力されるときの弦の振動画像を表現するためのデータである。本例では、弦画像が６本用意されており、各弦画像が独立して振動する画像を表現する。図３（ａ）は弦画像が静止している初期状態を表す初期振動画像５０である。この例では、左から第１〜第６弦が図示され、各弦画像は振動していない。図３（ｂ）の振動画像５１は、弦画像の振動状態を表しており、この例では、第２〜第４弦が振動し、他の弦が振動していない。振動しているときとしていないときとで弦画像の色が変化する。なお、出力される音の強度に合わせて「弱」、「中」、「強」の３種類の振幅値の振動画像を表現するようにしてもよい。
【００３２】
弦の振動画像は、スタイラスペン３０が所定の速度以上で弦画像をまたぐことにより弦画像のタッチ操作が検出されることで初期振動画像５０から振動画像５１に変化される。また、この他に、図３（ｃ）に示すように弦画像が表示される表示領域をスタイラスペン３０が、１回のタッチ操作で所定の速度（弦をまたぐ場合よりも速い速度）以上で所定の距離以上移動した場合も、弦画像のタッチ操作が行われたとして、弦の振動画像が変化する。
図３（ｃ）の振動画像５２の例では、弦画像の両側の点線で囲まれた領域内（以下、「弦画像の表示領域」という。）で、スタイラスペン３０が移動することでタッチ操作が検出される。弦画像の表示領域内では、弦画像から遠くなるにつれてスタイラスペン３０を速く移動させなければ弦画像のタッチ操作が検出されない。また弦画像の表示領域内では、例えば１回のタッチ操作で３ｍｍ以上スタイラスペン３０が移動しなければタッチ操作として検出されない。
このように弦画像およびその表示領域が本発明のタッチセンサに相当する。
弦画像をまたぐことなく弦画像の表示領域をスタイラスペン３０が移動するだけで弦の振動画像が表示されることで、弦画像をタッチ操作したつもりでも音が鳴らないといった操作者のストレスを回避することができる。また、スタイラスペン３０が１回のタッチ操作で所定の距離以上移動しなければタッチ操作として検出されないので、不用意に弦画像の表示領域をスタイラスペン３０で触れた場合に音が出力されることを防止できる。
【００３３】
弦画像のタッチ操作は、ＣＰＵコア４２がタッチ操作データからスタイラスペン３０の移動した座標を検知して解析することで検出される。スタイラスペン３０の移動速度は、１フレーム当たりのスタイラスペン３０の移動距離から測定可能である。所定のフレームでスタイラスペン３０がタッチするディスプレイ１１上の座標と次のフレームでスタイラスペンがタッチするディスプレイ１１上の座標とから１フレーム当たりのスタイラスペン３０の移動距離が測定される。また、この移動距離をスタイラスペン３０のタッチ開始時からタッチ終了時までを積算することで、１回のタッチ操作によるスタイラスペン３０の移動距離を測定可能である。
【００３４】
初期振動画像５０および振動画像５１、５２は、後述する自由演奏モード、楽曲演奏モード、および録音モードが選択されたときに、ディスプレイ１１に表示される。図３（ｂ）、（ｃ）において、矢印の方向は、ディスプレイ１１をスタイラスペン３０等でタッチ操作した方向を表している。なお、実際には、矢印は表示されない。
振動画像は、例えばＧＰＵ４５１によりＶＲＡＭ４６１に選択的に描画され、表示コントローラ４７を通じて第１表示領域１１ａに表示される。
【００３５】
コード画像データは、基本的なコードの組み合わせ毎或いは楽曲毎に用意される。ディスプレイ１１の表示画面例を示した図４を参照すると、コード画像データによるコード指示画像は、操作スイッチ１２１の各操作子に割り当てられるコードを表している。この例では、操作スイッチ１２１の上部操作子から時計回りにＡｍ、Ｆ、Ｇ、Ｃの各コードが割り当てられる。また、拡張操作スイッチ１３１または拡張操作スイッチ１３２を押下することで、操作スイッチ１２１の上部操作子から時計回りにＣ７ｍ、Ｃｍ７、Ｅｍ７、ＣＭ７の各コードに割り当てが変更される。操作子を押下することで、当該操作子に割り当てられたコードのコードＩＤがＣＰＵコア４２に入力される。
コード指示画像は、例えばＧＰＵ４５２によりＶＲＡＭ４６２に選択的に描画され、表示コントローラ４７を通じて第２表示領域１１ｂに表示される。
【００３６】
操作子が押下されると、図５の例で示す振動画像のように、当該操作子に割り当てられたコードにより操作可能な弦画像が指示される。図５の例では、左の操作子が押下されてＣコードのコードＩＤがＣＰＵコア４２に入力され、第２〜第６弦が操作可能な弦として、当該弦画像の表示領域が色付けされて指示される。ＣＰＵコア４２では、操作可能とされた弦画像およびその表示領域へのタッチ操作のみを検出する。
図５の画像は、例えばＧＰＵ４５１によりＶＲＡＭ４６１に選択的に描画され、表示コントローラ４７を通じて第１表示領域１１ａに表示される。
【００３７】
各弦画像には、コードに応じて音が割り当てられる。コードＩＤがＣＰＵコア２４に送られると、ＣＰＵコア４２は、当該コードＩＤに対応したコードデータファイルを読み出す。図６は、コードＩＤとコードデータファイルの関係を示すテーブルの例示図である。コードデータファイルは、コード毎に各弦画像の音を出力するための音データＩＤを含んでいる。音データＩＤは、所定の音を出力するための音データに関連付けられている。そのためにＣＰＵコア４２は、コードＩＤから各弦画像に音を割り当てることができる。各弦画像に割り当てられた音データは、ＳＰＵ４４に送られる。各弦画像に音が割り当てられた状態でスタイラスペン３０によるタッチ操作が行われることで、ＣＰＵコア４２がタッチ操作を解析し、タッチ操作が行われた弦画像に割り当てられた音の音データを音処理するようにＳＰＵ４４にサウンドコマンドを送信する。ＳＰＵ４４は、サウンドコマンドに従って音データを音処理することで、タッチ操作が行われた弦画像に割り当てられた音を音出力ユニット２４１，２４２から出力させる。
【００３８】
図７、８に示すコード選択画面により各操作子に割り当てられるコードが変更可能である。コード選択画面には、基本的なコードの組み合わせを表示するための「Basic」タグ、楽曲毎のコードの組み合わせ表示するための「Song」タグ、操作者が自身で表示するコードを編集可能な「Custom」タグがあり、これらのタグを選択して、コードの選択が行われる。この選択により操作スイッチ１２１の各操作子に割り当てられるコードを変更する。各種スイッチ１２１，１２２，１６１，１６２の押下またはスタイラスペン３０によるタッチ操作を検知したＣＰＵコア４２が、操作子に割り当てられるコードを変更し、ＧＰＵ４５１，４５２によりコード選択画面を表示させる。
【００３９】
楽曲画像データは、楽曲毎に用意される。ディスプレイ１１の表示画面例を示した図９を参照すると、楽曲画像データによる楽曲画像には、例えば、曲の進行グラフ５３上に音ガイダンス用の操作子及び操作対象となる弦画像を指示する指示画像５４が表示されている。指示画像５４の矢印が操作子を指示しており、楕円部分が操作対象の弦画像を指示している。指示画像５４は、図９の上方から下方に一定のリズムで流れ、弦画像の操作タイミングを表すタイミング画像５５内に指示画像５４が表示される。図９の例では、左の操作子が最初に指示され、次に上の操作子が指示される。
楽曲画像は、例えばＧＰＵ４５２によりＶＲＡＭ４６２に選択的に描画され、表示コントローラ４７を通じて第２表示領域１１ｂに表示される。
【００４０】
楽曲画像データにより楽曲画像が表示されると、操作可能な弦画像の表示が曲の進行に応じて逐次変化する。例えば、図９の楽曲画像では、最初に左の操作子が指示されており、これに応じて操作者が左の操作子を押下することで、図１０に示すように第２〜第４弦が操作可能になる。次いで、上の操作子が指示され、これに応じて操作者が上の操作子を押下することで、図１１に示すように第１、第２弦が操作可能になる。
操作者はタイミング画像５５内に指示画像５４が表示されるタイミングで、指示画像５４で指示される操作子を押下して操作可能な弦画像にタッチ操作を行うことで、正しいコードでタイミングによる楽曲の演奏が可能になる。
図１０，１１の画像は、例えばＧＰＵ４５１によりＶＲＡＭ４６１に選択的に描画され、表示コントローラ４７を通じて第１表示領域１１ａに表示される。
【００４１】
初期表示画像データは、電源オン時にディスプレイ１１上に初期表示画面を表示するためのデータである。図１２は、本例の初期表示画面であるメニュー画像の例示図である。操作者は、メニュー画像により自由演奏モード、楽曲演奏モード、録音モード、設定モードの各モードが選択可能である。各モードの選択は、操作スイッチ１２１，１２２やスタイラスペン３０によるタッチパネル操作により可能である。ＣＰＵコア４２は、操作スイッチ１２１，１２２やタッチパネル操作により入力される押圧操作データやタッチ操作データに応じていずれかのモードによる処理を実行する。
【００４２】
＜音出力装置の動作＞
次に、上記のように構成される音出力装置の動作について説明する。
音出力装置は、例えば、操作者が、左手で筐体１０を把持し、左手指で操作スイッチ１２１等を操作（押す／離す）するとともに、右手でスタイラスペン３０を持ち、あるいは、指を使って、ペン先又は指先でディスプレイ１１へのタッチ操作することにより動作可能になる。
メモリカード２０を筐体１０に装着した状態で、操作者が電源スイッチ１５をオンにすると、制御ユニット４０（ＣＰＵコア４２）は、メモリカード２０のＲＯＭ２１にアクセスして音出力用プログラムの実行を開始する。制御ユニット４０は、また、メモリカード２０のＲＯＭ２１およびＥＥＰＲＯＭ２２に記録されているデータ並びにテーブルの一部又は全部をＲＡＭ４３にロードする。これにより、操作者が本装置を楽器として操作するための動作環境が構築される。
【００４３】
電源オン直後、制御ユニット４０は、ディスプレイ１１に図１２の初期表示画面を第１表示領域１１ａまたは第２表示領域１１ｂに表示させる。初期表示画面から、自由演奏モード、楽曲演奏モード、録音モード、設定モードのいずれかを操作者がスタイラスペン３０で選択すると、制御ユニット４０は、初期表示画面を選択された動作モードの動作画面に切り替えて、各動作モード下での処理を行う。
【００４４】
録音モードが選択された場合には、自由演奏モードまたは楽曲演奏モードで演奏された内容をメモリカード２０のＥＥＰＲＯＭ２２に録音することが可能になる。設定モードでは、ディスプレイ１１の明るさの調整や、各種スイッチ、特に操作スイッチ１２１，１２２の機能を入れ替えるなどの、設定が可能である。操作スイッチ１２１，１２２の機能の入れ替えにより、右利き用、左利き用のどちらにも対応できる。
自由演奏モード、楽曲演奏モードにおける動作手順を説明する。
【００４５】
＜自由演奏モード＞
自由演奏モードが選択された場合には、図１３に示すような処理手順で操作者による自由演奏が行われる。
初期表示画面から操作者がスタイラスペン３０により自由演奏モードを選択すると、制御ユニット４０は、図４に示すコード指示画像を第２表示領域１１ｂに表示させ、図３（ａ）の初期振動画像５０を第１表示領域１１ａに表示させる（ステップＳ１００）。この処理は、ＣＰＵコア４２が自由演奏モードを選択するタッチ操作データをタッチパネルから入力されることで行われる。タッチ操作データが入力された後、ＣＰＵコア４２からＧＰＵ４５１に描画コマンドと画像データとを送出することで各画像が表示される。コード指示画像で表示される操作子の各コードは、初期設定されたものであり、図７，８に示すコード選択画面により操作者が自由に変更することができる。各コードは、この例では操作スイッチ１２１の各操作子に割り当てられる。
【００４６】
図７または図８のコード選択画面は、使用するコードの変更が指示された場合に、第１表示領域１１ａに表示される（ステップＳ１１０：Y、ステップＳ１２０）。コード変更の指示は、例えばコードが割り当てられていない操作スイッチ１２２の押下や、ディスプレイ１１上にコード変更を指示するための領域を設け、当該領域をスタイラスペン３０でタッチすることにより行われる。ＣＰＵコア４２は、コードの変更を指示するタッチ操作データや押圧操作データにより、コード選択画面をＧＰＵ４５１を介して表示領域１１ａに表示させる。表示されたコード選択画面からスタイラスペン３０等により操作者の所望のコードが選択される（ステップＳ１３０）。
【００４７】
変更されたコード或いは初期設定のコードを指示するコード指示画像が表示されると、音出力装置は操作者による操作子の押下の検出待ち状態になる（ステップＳ１４０）。操作子が押下されると、当該操作子に割り当てられたコードのコードＩＤがＣＰＵコア４２に入力される。これによりＣＰＵコア４２は、操作子の押下を検出する。ＣＰＵコア４２は、入力されたコードＩＤにより図６のテーブルを参照してコードデータファイルを読み出し、各弦画像に音データを割り当てる。ＳＰＵ４４は、これにより各弦画像の音データについて音処理可能になる。また、操作子が押下されると、当該操作子に割り当てられたコードに応じて、ＣＰＵコア４２からＧＰＵ４５１に対して、操作可能な弦画像の色の変更が指示される。これにより、コード毎に操作可能な弦画像を視認できる（ステップＳ１４０：Y、ステップＳ１５０、ステップＳ１６０）。
【００４８】
音出力装置は、音処理が可能な状態になると、操作者による弦画像に対するタッチ操作の検出待ち状態になる（ステップＳ１７０）。弦画像へのタッチ操作が検出されると、タッチ操作の内容に応じて音処理、音出力が行われる（ステップＳ１７０：Y、ステップＳ１８０）。タッチ操作は、弦画像の１本１本に対して行われる。ＣＰＵコア４２は、タッチ操作された座標の遷移からスタイラスペン３０の動きを検出して、どの弦画像に対してタッチ操作が行われたかを確認する。タッチ操作が行われた弦画像の情報を含むサウンドコマンドは、ＣＰＵコア４２からＳＰＵ４４に送られる。ＳＰＵ４４は、サウンドコマンドにより音処理する音データを決める。タッチ操作は、上記の通り、スタイラスペン３０が、所定の速度以上で弦画像をまたぐ場合あるいは弦画像が表示される領域で弦画像をまたぐ際の速度以上の速度で移動した場合に、タッチ操作であると認識される。スタイラスペン３０の移動速度により出力音の大きさが決まる。移動速度が速いほど音量を大きくして、実楽器としての自然なニュアンスを表現している。ＣＰＵコア４２は、タッチ操作の内容からスタイラスペン３０の移動速度を検出して、その結果に応じてＳＰＵ４４に出力音の大きさの指示を行う。この指示もサウンドコマンドに含まれる。
【００４９】
ＣＰＵコア４２は、１回のタッチ操作で複数の弦画像が操作される場合、つまり連続してタッチ操作された弦画像を連続して確認した場合には、一連の操作（コードストローク）と見なして、後にタッチ操作された弦画像による出力音ほど減衰したレベルで出力するようにＳＰＵ４４に指示する。例えば、ＣＰＵコア４２は、ＳＰＵ４４に、最初にタッチ操作が行われた弦画像はスタイラスペン３０のスピードに応じた音量で音出力させ、２番目の弦画像はスタイラスペン３０のスピードに応じた音量よりも小さな音（例えば９０％の音量）で音出力させ、３番目の弦画像はスタイラスペン３０のスピードに応じた音量よりも更に小さな音（例えば８０％）で音出力させるように指示する。なお、一連の操作とは、スタイラスペン３０が一度もタッチパネルから離れることなく且つスタイラスペン３０が同じ弦画像を所定時間内に２度以上タッチせずに、複数の弦画像をタッチ操作する場合を言う。
音出力後或いは音出力と同時に、タッチ操作された弦画像が振動する振動画像が表示される。複数の弦画像がタッチ操作される場合には、操作されたすべての弦画像の振動画像が表示される（ステップＳ１９０）。ＣＰＵコア４２は、ＧＰＵ４５１に対してタッチ操作が行われた弦画像の振動画像を表示するように指示する。
【００５０】
ＣＰＵコア４２は、音出力及びタッチ操作された弦画像の振動画像が表示された後に、操作子の押下の終了を検出すると、次に操作子が押下されるまで待機状態になる（ステップＳ２００：Y）。操作子の押下が続く場合には、音出力のレベルがゼロになると、次に操作子が押下されるまで待機状態になる（ステップＳ２００：N、ステップＳ２１０：Y）。次に操作子が押下されると、ステップＳ１４０に戻って処理が実行される。
このように自由演奏モードでは、操作者が自由にコードを選択して、自分のリズムで演奏することが可能である。コードを選択するとタッチ操作可能な弦画像も限定されるために、間違った弦画像を弾く可能性が低くなる。そのために、既存の曲の弾き語りが行えたり、また作曲の際の楽器として用いることができる。
【００５１】
＜楽曲演奏モード＞
楽曲演奏モードが選択された場合には、図１４に示すような処理手順で操作者による楽曲演奏が行われる。
初期表示画面から操作者がスタイラスペン３０により楽曲演奏モードを選択すると、制御ユニット４０は、まず、楽曲の選択画面をディスプレイ１１に表示する（ステップＳ３００）。
操作者は楽曲の選択画面により所望の楽曲の選択を行うことができる。選択画面により難易度が異なる複数の楽曲が選択可能になっている。また同じ曲であっても、演奏速度やタッチ操作の必要回数等により、難易度が設定されている。楽曲が選択されると、当該楽曲に対する楽曲画像が第２表示領域１１ｂに表示され、図３（ａ）に示すような初期振動画像が第１表示領域１１ａに表示される（ステップＳ３１０）。ＣＰＵコア４２は、選択された楽曲の楽曲画像及び初期振動画像の表示を指示する描画コマンドをＧＰＵ４５１，４５２に送る。ＧＰＵ４５１，４５２は描画コマンドに応じて楽曲画像及び初期振動画像を表示する。
【００５２】
楽曲画像では、指示画像５４が曲の進行に合わせて進行グラフ５３上を流れ、この流れる指示画像５４にあわせて操作者が操作子を押下する。図１０では、まず操作者が左の操作子を押下する（ステップＳ３２０：Y）。操作子が押下されると、当該押下された操作子に割り当てられたコードのコードＩＤがＣＰＵコア４２に入力される。これによりＣＰＵコア４２は操作子の押下を検出する。ＣＰＵコア４２は、入力されたコードＩＤにより図６のテーブルを参照してコードデータファイルを読み出し、各弦画像に音データを割り当てる。ＳＰＵ４４は、これにより各弦画像の音データについて音処理可能になる。（ステップＳ３３０）。また、操作子が押下されると、当該操作子に割り当てられたコードに応じて、当該操作子に割り当てられたコードに応じて、ＣＰＵコア４２からＧＰＵ４５１に対して、操作可能な弦画像の色の変更が指示される。これにより、コード毎に操作可能な弦画像を視認できる（ステップＳ３４０）。
【００５３】
音出力装置は、音処理可能な状態になると、操作者によるタッチ操作の有無の検出待ち状態になる。タッチ操作は、タイミング画像５５内に指示画像５４が表示されるタイミングで、操作可能なすべての弦画像に対して行われた場合にのみ有効である（ステップＳ３５０）。タッチ操作が無かった場合には、次の操作子の押下を待機する状態になる（ステップＳ３５０：N、ステップＳ３２０）。タッチ操作が適切なタイミングで操作可能なすべての弦画像に行われた場合、楽曲に対して正確な音処理、音出力が行われる。また、弦画像が振動する画像が表示される（ステップＳ３５０：Y、ステップＳ３６０）。ＣＰＵコア４２は、タッチ操作された座標の遷移からスタイラスペン３０の動きを検出して、どの弦画像に対してタッチ操作が行われたかを確認する。その結果操作可能なすべての弦画像に対して適切なタイミングでタッチ操作が行われた場合に、ＳＰＵ４４に音出力を指示するサウンドコマンドを送る。ＳＰＵ４４は、サウンドコマンドにより音処理を行う。また、ＣＰＵコア４２は、ＧＰＵ４５１に対してタッチ操作が行われた弦画像の振動画像を表示するように指示する（ステップＳ３７０）。
【００５４】
楽曲が終了しなければ（ステップＳ３８０：N）、ＣＰＵコア４２は、音出力及びタッチ操作された弦画像が振動する画像が表示された後に、操作子の押下の終了を検出すると、次に操作子が押下されるまで待機状態になる（ステップＳ３９０：Y）。操作子の押下が続く場合には、音出力のレベルがゼロになると（ステップＳ３９０：N、ステップＳ４００：Y）、次に操作子が押下されるまで待機状態になる。次に操作子が押下されると、ステップＳ３２０に戻って処理が実行される。
このように楽曲演奏モードでは、楽曲を正確に演奏することが可能である。特に、指示画像により指示されるコード以外は音が出ないために、リズムさえとれれば楽曲の演奏を間違えることはない。難易度を操作者が決めることが可能であるために、どのようなレベルの操作者であっても楽曲の演奏を楽しむことができる。また、正確なタッチ操作を競うゲーム装置として用いることも可能である。
なお、ステップＳ３２０、Ｓ３５０において、指示されたコード、タイミングで操作がなされない場合には、音出力をしなくてもよいが、敢えて、その間違ったコード、タイミングで間違った音を出力するようにしてもよい。
【００５５】
本発明は、ギターのみならず、他の楽器、例えばピアノで弾かれる音色の音を出力する場合にも適用が可能である。
【符号の説明】
【００５６】
１０…筐体、１１…タッチセンサパネルを兼ねるディスプレイ、１１ａ，１１ｂ…表示領域、１２１，１２２…操作スイッチ、１３１，１３２…拡張スイッチ、１４１，１４２…音出力孔、１５…電源スイッチ、１６１…スタートスイッチ、１６２…ファンクションスイッチ、１７…スタイラスペンの係止部、１８…メモリカードの収容空間、１９…外部出力端子、２０…メモリカード、２１…ＲＯＭ、２２…ＥＥＰＲＯＭ、２４１，２４２…音出力ユニット、３０…スタイラスペン、４０…制御ユニット、４１…コネクタ、４２…ＣＰＵコア、４３…ＲＡＭ、４４…ＳＰＵ、４５１，４５２…ＧＰＵ、４６１，４６２…ＶＲＡＭ、４７…表示コントローラ、５０〜５２…振動画像、５３…進行グラフ、５４…指示画像、５５…タイミング画像
【技術分野】
【０００１】
この発明は、例えばギター、ピアノ等のような実楽器（アコースティック楽器）を、操作者主導で操作することでシミュレートする携帯型音出力装置、および、その関連品に関する。
【背景技術】
【０００２】
音処理その他の情報処理技術の発達により、実楽器で奏でられる音を電子的手段により出力する電子楽器装置が実現されている。この種の電子楽器装置は、例えば、実楽器を模した形状の筐体に、複数のセンサ、音出力ユニットおよび制御ユニットを設けて構成される。センサは、操作者が操作する部位に設けられ、操作者がある操作を行ったことを検知したときに所定のデータを出力する。制御ユニットには、楽音出力用のプログラムおよびデータが格納されており、センサ出力に応じた音源データを生成し、これをスピーカを含む音出力ユニットから出力させる。
【０００３】
電子楽器装置の中には、発光素子又はディスプレイ等の表示ユニットを備えたものもある。このような電子楽器装置では、表示ユニットに操作の手順を逐次表示し、操作者がその手順に従う操作入力を行うことにより、実楽器と同様の楽音を出力させる。電子楽器装置の中には、さらに、いわゆる「カラオケ」のように、歌詞の表示を伴うものもある。すなわち、装置内のメモリに、操作者が操作すべき操作内容を表す操作指示データとリンクした歌詞データを保存しておき、歌詞データを表示ユニットに表示させる際に操作指示データを併せて表示することにより、歌詞表示と操作指示内容とを連動させている。
上記例に示されるとおり、従来の電子楽器装置は、高価な実楽器ないしカラオケに代わって、楽音を低廉に出力できるという利点がある。また、これらの電子楽器装置は、装置固有の操作手順さえ覚えてしまえば、実楽器を弾けない者でも、簡単に演奏操作できるようになるという利点もある。
【０００４】
本願発明者は、電子楽器装置の一例として、特許文献１に示すような携帯型音出力装置を提案した。特許文献１の携帯型音出力装置では、熟練の程度に関わらず、操作者が、任意の場所で、自分のペースで自由かつ簡単な操作によりギター、ピアノ等のような実楽器で奏でられる和音を出力する。これにより、実楽器の操作が未熟であっても、弾き語りを可能にしたり、あるいは、大勢の仲間が集まって合唱するときの伴奏を、操作者主導で行うことができる。
特許文献２には、実楽器の一部を模した画像を表示画面に表示しておき、表示画面に表示された実楽器の一部の画像を操作者が演奏しているように操作することで、操作者による実楽器のシミュレートを行うサウンド処理装置が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開番号ＷＯ２００８／００４６９０
【特許文献２】特願２００７−２０６５５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１は、和音を出力するものなので、例えばギターの弦毎の操作、ピアノの各鍵の操作といった、一音を出力することには向いていない。
特許文献２は、ギターの６本弦を模した画像により各弦の音を出力可能としており、一音の出力を可能にしている。和音については、操作者が複数の弦を一度の動作で操作することにより実現している。特許文献２のサウンド処理装置は、ボタン操作でコードを決め、スタイラスペンにより弦の画像をタッチ操作することで、当該弦に対応する音が出力される点で、実際のギターと操作が同じである。このようなサウンド処理装置では、熟練者であれば弦を１本毎に弾き分けることも容易であるが、コードに無関係の弦を弾くこともあり初心者には困難である。
【０００７】
本発明は、熟練度にかかわらず、実楽器と同様の音の出力を容易に行える携帯型音出力装置を提供することを課題とする。
【課題を解決するための手段】
【０００８】
本発明の音出力装置は、操作者が片手で把持可能な携帯サイズの筐体を有し、該筐体には、それぞれ前記操作者が一方の片手指で選択可能な複数の操作子と、それぞれ実楽器を構成する楽器要素と対応付けられ、前記操作者が他方の片手指で直接又は間接にタッチ操作可能な複数のタッチセンサが形成されたディスプレイと、音を出力するための音出力機構と、所定のデータメモリへのアクセスが可能な制御機構とが設けられている。前記データメモリには、前記楽器要素が奏でる音特性を有する音を前記音出力機構から出力させるための音データファイルが当該音を識別するための音データＩＤと関連付けられて複数記録され、さらに、前記音データＩＤにより識別される１又は複数の音を組み合わせたコードを表現するためのコードデータファイルが当該コードを識別するためのコードＩＤと関連付けられて複数記録されており、前記複数の操作子の各々には、いずれかの前記コードＩＤが割り当てられている。
【０００９】
前記制御機構は、具体的には、操作者がどの操作子を選択し、その選択をいつ解除したかを検出する操作子選択状況検出手段と、前記複数のタッチセンサの各々へのタッチ開始時期及びタッチ操作速度を含む前記操作者による操作内容を検出する操作内容検出手段と、前記操作子選択状況検出手段で検出された操作子に割り当てられている前記コードＩＤをもとに前記コードファイルを特定し、特定されたコードファイルに関連付けられている音データＩＤから１以上の音データファイルを特定して、特定された音データファイルを当該操作子が選択されている間だけ前記データメモリから読み出して前記音出力機構に供給するとともに、前記特定された音データファイルに関連付けられている音データＩＤを前記複数のタッチセンサの少なくとも１つに割り当て、割り当てられた音データＩＤにより識別される音を、前記操作内容検出手段が検出したタッチセンサの操作内容と連動する表現態様で、前記音出力機構から出力させるための制御を行う音出力制御手段と、を備えるものである。
【００１０】
このような本発明の音出力装置では、複数のタッチセンサの各々に、操作子で選択されたコードに応じて、適宜、音データＩＤが割り当てられる。選択されるコードによっては、音の組み合わせがタッチセンサの数よりも少なく、複数のタッチセンサのすべてを用いることが無い。このような場合には、コードに応じて必要なタッチセンサにしか音データＩＤが割り当てられず、不要なタッチセンサには音データＩＤが割り当てられない。不要なタッチセンサは、音データＩＤが割り当てられないために、誤って操作しても特許文献２に開示されるサウンド処理装置のように音が出力されることはない。そのために、熟練度にかかわらず、実楽器と同様の音の出力を容易に行うことができるようになる。
【００１１】
この音出力装置において、前記音出力制御手段は、例えば、前記操作内容検出手段が所定時間内に２以上のタッチセンサへの操作内容を検出した場合に、後に操作内容が検出されたタッチセンサに割り当てられた音データＩＤで識別される音ほど、その前に識別された音よりも減衰したレベルで前記音出力機構から出力させる。このような構成では、タッチセンサ毎の音の出力を可能にしつつ、和音の出力を現実のギターで和音を出力する際と同様の音の態様で出力することができる。
【００１２】
ある実施の態様では、前記制御機構は、例えば前記データメモリに、個々の前記楽器要素の状態を表す状態画像を表現するための楽器要素画像ファイルが記録されている場合に、前記ディスプレイの所定領域に状態画像領域を形成するとともに、前記楽器要素画像ファイルを読み出して、前記音出力機構から出力させる音の音データＩＤが割り当てられたすべてのタッチセンサに対応する状態画像を前記ディスプレイの前記状態画像領域に同時に表示させ、表示中の状態画像を、前記音出力機構から出力される音の表現態様に応じて変化させる状態画像表示制御手段をさらに備える。このような構成では、タッチセンサの操作が行われていることを視覚的に確認できる。
また、前記制御機構は、例えば前記データメモリに、前記複数のタッチセンサのうち、どのタッチセンサをどのタイミングでどのように操作すべきかを指示する指示画像を表現するための指示画像ファイルが記録されている場合に、前記ディスプレイの所定領域に指示画像領域を形成するとともに、前記指示画像ファイルを読み出して前記指示画像を表示させ、表示中の指示画像が表すタッチセンサへの操作内容が正しく操作されたかどうかを前記操作子選択状況検出手段および前記操作内容検出手段による検出結果に基づいて判定し、正しく検出されたときは前記指示画像の内容を変化させる指示画像表示制御手段をさらに備える。このような構成では、初心者であっても音出力装置を、より簡単に、正しく操作することが可能である。
前記状態画像は、例えば弦楽器を構成する複数の弦の各々について、静止している初期状態及び弾かれたときの振動状態を表す画像であり、前記指示画像は、例えば弦毎に表現されるものである。
【００１３】
本発明は、操作者が片手で把持可能な携帯サイズの筐体に搭載されたコンピュータを携帯型音出力装置として動作させるためのコンピュータプログラムを提供する。前記筐体には、それぞれ前記操作者が一方の片手指で選択可能な複数の操作子と、それぞれ実楽器を構成する楽器要素と対応付けられ、前記操作者が他方の片手指で直接又は間接にタッチ操作可能な複数のタッチセンサが形成されたディスプレイと、音を出力するための音出力機構と、所定のデータメモリへのアクセスが可能な制御機構とが設けられており、前記データメモリには、前記楽器要素が奏でる音特性の音を前記音出力機構から出力させるための音データファイルが当該音を識別するための音データＩＤと関連付けられて複数記録され、さらに、前記音データＩＤにより識別される１又は複数の音を組み合わせたコードを表現するためのコードデータファイルが当該コードを識別するためのコードＩＤと関連付けられて複数記録されている。
このようなものにおいて、本発明のコンピュータプログラムは、前記コンピュータを、前記複数の操作子の各々に、いずれかの前記コードＩＤを割り当てる割当手段、操作者がどの操作子を選択し、その選択を何時解除したかを検出する操作子選択状況検出手段、いずれかの前記タッチセンサへのタッチ開始時期及びタッチ操作速度を含む操作内容を検出する操作内容検出手段、選択されたことが検出された操作子に割り当てられている前記コードＩＤをもとにコードファイルを特定し、特定したコードファイルに関連付けられた音データＩＤから１以上の音データファイルを特定し、特定した音データファイルを当該操作子が選択されている間だけ前記データメモリから読み出して前記音出力機構に供給すると共に、特定した音データファイルに関連付けられた音データＩＤを前記複数のタッチセンサの各々に割り当て、割り当てた音データＩＤで識別される音を、検出された操作内容と連動する態様で、前記音出力機構から出力させる音出力制御手段、として機能させるものである。このようなコンピュータプログラムは、コンピュータ読み取り可能な記録媒体に記録される。
【図面の簡単な説明】
【００１４】
【図１】本発明の音出力装置の実施形態例を示す構造説明図であり、（ａ）は正面図、（ｂ）は上底面図、（ｃ）は下底面図である。
【図２】筐体の内部構成図と各種部品の接続状態図。
【図３】（ａ）は初期振動画像、（ｂ）、（ｃ）は振動画像の例。
【図４】コード画像の一例を示す表示画面。
【図５】コード選択時の振動画像の一例を示す表示画面。
【図６】コードＩＤとコードデータファイルの関係を示すテーブルの例示図。
【図７】コード選択画面の一例を示す表示画面。
【図８】コード選択画面の一例を示す表示画面。
【図９】楽曲画像の一例を示す表示画面。
【図１０】楽曲画面表示時の振動画像の一例を示す表示画面。
【図１１】楽曲画面表示時の振動画像の一例を示す表示画面。
【図１２】初期表示画像の一例を示す表示画面。
【図１３】自由演奏モードでの手順説明図。
【図１４】楽曲演奏モードでの手順説明図。
【発明を実施するための最良の形態】
【００１５】
以下、本発明を、ギターの音を出力する音出力装置に適用した場合の実施形態例を説明する。
＜全体構造＞
図１は、この実施形態による音出力装置の構造説明図である。（ａ）は正面図、（ｂ）は上底面図、（ｃ）は下底面図である。この音出力装置は、片手で把持可能なサイズの筐体１０を有し、この筐体１０内にメモリカード２０を離脱自在に収容できるように構成される。
【００１６】
筐体１０のほぼ中央部には、タッチセンサパネルを兼ねるディスプレイ１１が設けられている。ディスプレイ１１（タッチセンサパネル）は、例えばＬＣＤ (Liquid Crystal Display) あるいはＥＬ（Electronic Luminescence）から成る表示パネルの表面をタッチセンサで覆ったものである。
ディスプレイ１１の外縁部は筐体１０の表面に対して多少窪んでおり、後述するスタイラスペンが、その外縁部に沿ってなぞれるようになっている。タッチセンサとしては、抵抗膜方式、光学式(赤外線方式)および静電容量結合式のいずれかの種類のものを用いることができる。ディスプレイ１１は、タッチパネルの上面をスタイラスペンのペン先あるいは指（以下、「スタイラスペン等」という場合がある。）で、押圧したり、撫でたりしてタッチ操作することにより、スタイラスペン等によるタッチ開始時期、タッチ座標位置およびその変化を含む操作内容を後述する制御ユニットへ伝達する。
【００１７】
筐体１０の表面には、また、短辺方向の中心軸に対してほぼ左右対称となる部位に、操作スイッチ１２１，１２２が設けられており、さらに、音出力孔１４１，１４２が形成されている。操作スイッチ１２１は、ディジタルジョイスティックとして機能するもので、４つの操作子を有しており、操作者がこれらの操作子の１つを押圧操作することによって、押圧操作している間だけ最大４種類のデータを選択的に入力できるようになっている。すなわち、操作者がどの操作子を選択し始めてその選択を何時解除したかを、後述する制御ユニット４０において検出できるようになっている。
操作スイッチ１２２は、ディジタルスイッチとして機能するもので、４つの操作接点を有しており、これらの４つの操作接点の１つを押圧操作することによって、最大４種類のデータの入力を許容する。
【００１８】
本実施形態では、紙面に向かって左側の操作スイッチ１２１は、左手の親指で傾き押圧操作、すなわち中心部を起点として０度、９０度、１８０度、２７０度の４つの方向のいずれかに傾けた状態で押圧操作する方向指示スイッチとして用い、他方、右側の操作スイッチ１２２は、右手親指で操作する動作モード、オプション機能その他の動作選択用スイッチとして用いる。右ききと左ききの操作者が存在することを考慮して、両スイッチ１２１，１２２は、それぞれ相互交換が可能になっている。
【００１９】
なお、操作スイッチ１２１，１２２として、共にデジタルジョイスティックとして機能するものを用い、どちらの操作スイッチを方向指示スイッチにするか、あるいは動作選択スイッチにするかを任意に設定できるようにしても良い。また、操作スイッチ１２２は、必ずしも４つの操作接点を持たなくとも良く、２、８個等の接点を共用しても良い。
【００２０】
音出力孔１４１の上方には電源スイッチ１５が設けられており、音出力孔１４２の上方にはスタートスイッチ１６１とファンクションスイッチ１６２が設けられている。これらのスイッチ１５，１６１，１６２には、例えばプッシュボタンを用いることができる。スタートスイッチ１６１は、動作開始（再開）したり、一時停止（Pause）したりするときに、操作者が押圧操作するものである。ファンクションスイッチ１６２は、各種設定画面、音出力のための操作画面等の表示内容選択等を行うときに押圧操作するものである。
【００２１】
筐体１０の上側面部には、短辺方向の中心軸に対してほぼ左右対称の部位に一対の拡張操作スイッチ１３１、１３２が設けられている。さらに、ほぼ中央部に、スタイラスペン３０の収容空間とスタイラスペン３０の係止部１７が形成されている。拡張操作スイッチ１３１は、操作スイッチ１２１で指示可能な４つの方向のグループを、予め設定された他のグループに切り替えるためのものであり、操作者が左手で筐体１０を把持したときに、左手の人差指又は中指で操作できる部位に配置されている。操作者が拡張操作スイッチ１３１を押したり、押さなかったりすることにより、左手だけの操作で最大で８の方向を指示入力することができる。拡張操作スイッチ１３２と操作スイッチ１２２も、上記と同じとなる。すなわち、拡張操作スイッチ１３２は、操作スイッチ１２２で選択可能な最大で４種類の選択内容のグループを別のグループに切り替えることができる。
【００２２】
筐体１０の下側面部には、メモリカード２０の収容空間１８と、音出力装置から出力する音データをスピーカが接続された外部増幅器に導くための外部出力端子１９とが形成されている。
【００２３】
＜制御ユニット等＞
本実施形態の音出力装置は、筐体１０の内部に、コンピュータの一種である制御ユニット及びその周辺電子部品を備えている。
【００２４】
図２は、筐体１０の内部構成図と各種部品の接続状態を示している。
図２に示される制御ユニット４０は、メモリカード２０を離脱自在に収容するためのコネクタ４１、メインプロセッサを含んで成るＣＰＵ（Central Processing Unit）コア４２、キャッシュメモリとして機能するＲＡＭ（Random Access Memory）４３、音処理を実行するＳＰＵ（Sound Processing Unit) ４４、画像処理を行う２つのＧＰＵ（Graphic Processor Unit）４５１，４５２、第１，第２画像領域１１ａ，１１ｂへの画像表示を可能にする表示コントローラ４７、及び、Ｉ／Ｏ（Input／Output）インタフェース４８が、内部バスＢ１を介して接続されている。
【００２５】
ＳＰＵ４４およびＧＰＵ４５１，４５２は、例えばシングルチップＡＳＩＣで構成される。ＳＰＵ４４は、ＣＰＵコア４２からのサウンドコマンドを受け取り、このサウンドコマンドに従って音処理を行う。「音処理」は、具体的には、２つの音出力ユニット２４１，２４２の各々で再生可能なステレオ音を出力するための情報処理である。ＧＰＵ４５１，４５２は、ＣＰＵコア４２からの描画コマンドを受け、その描画コマンドに従って画像データを生成する。ＣＰＵコア４２は、描画コマンドに加えて、画像データの生成に必要な画像生成指示をＧＰＵ４５１，４５２のそれぞれに与える。ＣＰＵコア４２から各ＧＰＵ４５１，４５２への描画コマンドの内容は、場面によって様々に変化するので、これについては後述する。
【００２６】
２つのＧＰＵ４５１，４５２には、それぞれ画像データを描画するためのＶＲＡＭ（Video Random Access Memory）４６１，４６２が接続されている。ＶＲＡＭ４６１には、ＧＰＵ４５１により、ディスプレイ１１の第１表示領域１１ａに表示させる画像データが描画される。他方、ＶＲＡＭ４６２には、ＧＰＵ４５２により、ディスプレイ１１の第２表示領域１１ａに表示させる画像データが描画される。画像データの内容については、後述する。表示コントローラ４７は、これらのＶＲＡＭ４６１，４６２に描画されている画像データを読み出して所要の表示制御処理を行う。
【００２７】
メモリカード２０は、ＲＯＭ（Read Only Memory）２１およびＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）２２を搭載している。ＥＥＰＲＯＭに代えて、フラッシュメモリその他の不揮発性メモリを用いることもできる。ＲＯＭ２１およびＥＥＰＲＯＭＲＡＭ２２は、互いにバス（図示省略）で接続されており、さらに、このバスが、制御ユニット４０の内部バスＢ１とコネクタ４１を介して接合される。これにより、ＣＰＵコア４２、ＳＰＵ４４、ＧＰＵ４５１、４５２は、メモリカード２０のＲＯＭ２１およびＥＥＰＲＯＭ２２に直接アクセスすることができる。
ＲＯＭ２１に記録される音データは、電子的に作成されたものではなく、いわゆる名手といわれる弾き手が実楽器であるギター等の弦を用いた楽器で実際に奏でた音を録音して成るデータファイルである。
【００２８】
Ｉ／Ｏインタフェース４８には、上述した各種スイッチ１２１，１２２，１３１，１３２，１５，１６１，１６２からの押圧操作データと、ディスプレイ１１からのタッチ操作データとが入力される。押圧操作データは、操作者がどのスイッチを押したかを表すデータであり、タッチ操作データは、操作者によるタッチ操作内容を表すデータである。各スイッチ１２１，１２２，１３１，１３２，１５，１６１，１６２が操作されると、対応するデータがＩ／Ｏインタフェース４８を介してＣＰＵコア４２に入力される。Ｉ／Ｏインタフェース４８からは、音出力ユニット２４１，２４２へ音データが出力される。音データは、ＣＰＵコア４２とＳＰＵ４４との協働により生成される。音出力ユニット２４１，２４２は、この音データをアンプで増幅し、スピーカで再生する。
【００２９】
メモリカード２０のＲＯＭ２１には、各種画像データ、１以上の音からなるコード毎の各弦の音データおよび音出力用プログラムが記録されている。音出力用プログラムは、制御ユニット４０を、音出力装置として動作させるための各種機能、例えば、操作者による操作子選択状況を検出する機能、タッチセンサへのタッチ開始時期及びタッチ操作速度を含む操作内容を検出する機能、各弦に割り当てられている音をタッチセンサの操作内容と連動する態様で出力させる機能等を構築するものであり、ＣＰＵコア４２により実行される。
【００３０】
画像データは、大別して、楽器の状態を表す状態画像、例えば弦が振動している画像を表現するための振動画像データ、コード指示及び操作する弦を指示するためのコード画像データ、楽曲の演奏を補助するための楽曲画像データ、初期画像を表現するための初期表示画像データ並びに各種設定用画像データである。これらのデータについて説明する。
【００３１】
振動画像データは、制御ユニット４０により音出力ユニット２４１，２４２から音が出力されるときの弦の振動画像を表現するためのデータである。本例では、弦画像が６本用意されており、各弦画像が独立して振動する画像を表現する。図３（ａ）は弦画像が静止している初期状態を表す初期振動画像５０である。この例では、左から第１〜第６弦が図示され、各弦画像は振動していない。図３（ｂ）の振動画像５１は、弦画像の振動状態を表しており、この例では、第２〜第４弦が振動し、他の弦が振動していない。振動しているときとしていないときとで弦画像の色が変化する。なお、出力される音の強度に合わせて「弱」、「中」、「強」の３種類の振幅値の振動画像を表現するようにしてもよい。
【００３２】
弦の振動画像は、スタイラスペン３０が所定の速度以上で弦画像をまたぐことにより弦画像のタッチ操作が検出されることで初期振動画像５０から振動画像５１に変化される。また、この他に、図３（ｃ）に示すように弦画像が表示される表示領域をスタイラスペン３０が、１回のタッチ操作で所定の速度（弦をまたぐ場合よりも速い速度）以上で所定の距離以上移動した場合も、弦画像のタッチ操作が行われたとして、弦の振動画像が変化する。
図３（ｃ）の振動画像５２の例では、弦画像の両側の点線で囲まれた領域内（以下、「弦画像の表示領域」という。）で、スタイラスペン３０が移動することでタッチ操作が検出される。弦画像の表示領域内では、弦画像から遠くなるにつれてスタイラスペン３０を速く移動させなければ弦画像のタッチ操作が検出されない。また弦画像の表示領域内では、例えば１回のタッチ操作で３ｍｍ以上スタイラスペン３０が移動しなければタッチ操作として検出されない。
このように弦画像およびその表示領域が本発明のタッチセンサに相当する。
弦画像をまたぐことなく弦画像の表示領域をスタイラスペン３０が移動するだけで弦の振動画像が表示されることで、弦画像をタッチ操作したつもりでも音が鳴らないといった操作者のストレスを回避することができる。また、スタイラスペン３０が１回のタッチ操作で所定の距離以上移動しなければタッチ操作として検出されないので、不用意に弦画像の表示領域をスタイラスペン３０で触れた場合に音が出力されることを防止できる。
【００３３】
弦画像のタッチ操作は、ＣＰＵコア４２がタッチ操作データからスタイラスペン３０の移動した座標を検知して解析することで検出される。スタイラスペン３０の移動速度は、１フレーム当たりのスタイラスペン３０の移動距離から測定可能である。所定のフレームでスタイラスペン３０がタッチするディスプレイ１１上の座標と次のフレームでスタイラスペンがタッチするディスプレイ１１上の座標とから１フレーム当たりのスタイラスペン３０の移動距離が測定される。また、この移動距離をスタイラスペン３０のタッチ開始時からタッチ終了時までを積算することで、１回のタッチ操作によるスタイラスペン３０の移動距離を測定可能である。
【００３４】
初期振動画像５０および振動画像５１、５２は、後述する自由演奏モード、楽曲演奏モード、および録音モードが選択されたときに、ディスプレイ１１に表示される。図３（ｂ）、（ｃ）において、矢印の方向は、ディスプレイ１１をスタイラスペン３０等でタッチ操作した方向を表している。なお、実際には、矢印は表示されない。
振動画像は、例えばＧＰＵ４５１によりＶＲＡＭ４６１に選択的に描画され、表示コントローラ４７を通じて第１表示領域１１ａに表示される。
【００３５】
コード画像データは、基本的なコードの組み合わせ毎或いは楽曲毎に用意される。ディスプレイ１１の表示画面例を示した図４を参照すると、コード画像データによるコード指示画像は、操作スイッチ１２１の各操作子に割り当てられるコードを表している。この例では、操作スイッチ１２１の上部操作子から時計回りにＡｍ、Ｆ、Ｇ、Ｃの各コードが割り当てられる。また、拡張操作スイッチ１３１または拡張操作スイッチ１３２を押下することで、操作スイッチ１２１の上部操作子から時計回りにＣ７ｍ、Ｃｍ７、Ｅｍ７、ＣＭ７の各コードに割り当てが変更される。操作子を押下することで、当該操作子に割り当てられたコードのコードＩＤがＣＰＵコア４２に入力される。
コード指示画像は、例えばＧＰＵ４５２によりＶＲＡＭ４６２に選択的に描画され、表示コントローラ４７を通じて第２表示領域１１ｂに表示される。
【００３６】
操作子が押下されると、図５の例で示す振動画像のように、当該操作子に割り当てられたコードにより操作可能な弦画像が指示される。図５の例では、左の操作子が押下されてＣコードのコードＩＤがＣＰＵコア４２に入力され、第２〜第６弦が操作可能な弦として、当該弦画像の表示領域が色付けされて指示される。ＣＰＵコア４２では、操作可能とされた弦画像およびその表示領域へのタッチ操作のみを検出する。
図５の画像は、例えばＧＰＵ４５１によりＶＲＡＭ４６１に選択的に描画され、表示コントローラ４７を通じて第１表示領域１１ａに表示される。
【００３７】
各弦画像には、コードに応じて音が割り当てられる。コードＩＤがＣＰＵコア２４に送られると、ＣＰＵコア４２は、当該コードＩＤに対応したコードデータファイルを読み出す。図６は、コードＩＤとコードデータファイルの関係を示すテーブルの例示図である。コードデータファイルは、コード毎に各弦画像の音を出力するための音データＩＤを含んでいる。音データＩＤは、所定の音を出力するための音データに関連付けられている。そのためにＣＰＵコア４２は、コードＩＤから各弦画像に音を割り当てることができる。各弦画像に割り当てられた音データは、ＳＰＵ４４に送られる。各弦画像に音が割り当てられた状態でスタイラスペン３０によるタッチ操作が行われることで、ＣＰＵコア４２がタッチ操作を解析し、タッチ操作が行われた弦画像に割り当てられた音の音データを音処理するようにＳＰＵ４４にサウンドコマンドを送信する。ＳＰＵ４４は、サウンドコマンドに従って音データを音処理することで、タッチ操作が行われた弦画像に割り当てられた音を音出力ユニット２４１，２４２から出力させる。
【００３８】
図７、８に示すコード選択画面により各操作子に割り当てられるコードが変更可能である。コード選択画面には、基本的なコードの組み合わせを表示するための「Basic」タグ、楽曲毎のコードの組み合わせ表示するための「Song」タグ、操作者が自身で表示するコードを編集可能な「Custom」タグがあり、これらのタグを選択して、コードの選択が行われる。この選択により操作スイッチ１２１の各操作子に割り当てられるコードを変更する。各種スイッチ１２１，１２２，１６１，１６２の押下またはスタイラスペン３０によるタッチ操作を検知したＣＰＵコア４２が、操作子に割り当てられるコードを変更し、ＧＰＵ４５１，４５２によりコード選択画面を表示させる。
【００３９】
楽曲画像データは、楽曲毎に用意される。ディスプレイ１１の表示画面例を示した図９を参照すると、楽曲画像データによる楽曲画像には、例えば、曲の進行グラフ５３上に音ガイダンス用の操作子及び操作対象となる弦画像を指示する指示画像５４が表示されている。指示画像５４の矢印が操作子を指示しており、楕円部分が操作対象の弦画像を指示している。指示画像５４は、図９の上方から下方に一定のリズムで流れ、弦画像の操作タイミングを表すタイミング画像５５内に指示画像５４が表示される。図９の例では、左の操作子が最初に指示され、次に上の操作子が指示される。
楽曲画像は、例えばＧＰＵ４５２によりＶＲＡＭ４６２に選択的に描画され、表示コントローラ４７を通じて第２表示領域１１ｂに表示される。
【００４０】
楽曲画像データにより楽曲画像が表示されると、操作可能な弦画像の表示が曲の進行に応じて逐次変化する。例えば、図９の楽曲画像では、最初に左の操作子が指示されており、これに応じて操作者が左の操作子を押下することで、図１０に示すように第２〜第４弦が操作可能になる。次いで、上の操作子が指示され、これに応じて操作者が上の操作子を押下することで、図１１に示すように第１、第２弦が操作可能になる。
操作者はタイミング画像５５内に指示画像５４が表示されるタイミングで、指示画像５４で指示される操作子を押下して操作可能な弦画像にタッチ操作を行うことで、正しいコードでタイミングによる楽曲の演奏が可能になる。
図１０，１１の画像は、例えばＧＰＵ４５１によりＶＲＡＭ４６１に選択的に描画され、表示コントローラ４７を通じて第１表示領域１１ａに表示される。
【００４１】
初期表示画像データは、電源オン時にディスプレイ１１上に初期表示画面を表示するためのデータである。図１２は、本例の初期表示画面であるメニュー画像の例示図である。操作者は、メニュー画像により自由演奏モード、楽曲演奏モード、録音モード、設定モードの各モードが選択可能である。各モードの選択は、操作スイッチ１２１，１２２やスタイラスペン３０によるタッチパネル操作により可能である。ＣＰＵコア４２は、操作スイッチ１２１，１２２やタッチパネル操作により入力される押圧操作データやタッチ操作データに応じていずれかのモードによる処理を実行する。
【００４２】
＜音出力装置の動作＞
次に、上記のように構成される音出力装置の動作について説明する。
音出力装置は、例えば、操作者が、左手で筐体１０を把持し、左手指で操作スイッチ１２１等を操作（押す／離す）するとともに、右手でスタイラスペン３０を持ち、あるいは、指を使って、ペン先又は指先でディスプレイ１１へのタッチ操作することにより動作可能になる。
メモリカード２０を筐体１０に装着した状態で、操作者が電源スイッチ１５をオンにすると、制御ユニット４０（ＣＰＵコア４２）は、メモリカード２０のＲＯＭ２１にアクセスして音出力用プログラムの実行を開始する。制御ユニット４０は、また、メモリカード２０のＲＯＭ２１およびＥＥＰＲＯＭ２２に記録されているデータ並びにテーブルの一部又は全部をＲＡＭ４３にロードする。これにより、操作者が本装置を楽器として操作するための動作環境が構築される。
【００４３】
電源オン直後、制御ユニット４０は、ディスプレイ１１に図１２の初期表示画面を第１表示領域１１ａまたは第２表示領域１１ｂに表示させる。初期表示画面から、自由演奏モード、楽曲演奏モード、録音モード、設定モードのいずれかを操作者がスタイラスペン３０で選択すると、制御ユニット４０は、初期表示画面を選択された動作モードの動作画面に切り替えて、各動作モード下での処理を行う。
【００４４】
録音モードが選択された場合には、自由演奏モードまたは楽曲演奏モードで演奏された内容をメモリカード２０のＥＥＰＲＯＭ２２に録音することが可能になる。設定モードでは、ディスプレイ１１の明るさの調整や、各種スイッチ、特に操作スイッチ１２１，１２２の機能を入れ替えるなどの、設定が可能である。操作スイッチ１２１，１２２の機能の入れ替えにより、右利き用、左利き用のどちらにも対応できる。
自由演奏モード、楽曲演奏モードにおける動作手順を説明する。
【００４５】
＜自由演奏モード＞
自由演奏モードが選択された場合には、図１３に示すような処理手順で操作者による自由演奏が行われる。
初期表示画面から操作者がスタイラスペン３０により自由演奏モードを選択すると、制御ユニット４０は、図４に示すコード指示画像を第２表示領域１１ｂに表示させ、図３（ａ）の初期振動画像５０を第１表示領域１１ａに表示させる（ステップＳ１００）。この処理は、ＣＰＵコア４２が自由演奏モードを選択するタッチ操作データをタッチパネルから入力されることで行われる。タッチ操作データが入力された後、ＣＰＵコア４２からＧＰＵ４５１に描画コマンドと画像データとを送出することで各画像が表示される。コード指示画像で表示される操作子の各コードは、初期設定されたものであり、図７，８に示すコード選択画面により操作者が自由に変更することができる。各コードは、この例では操作スイッチ１２１の各操作子に割り当てられる。
【００４６】
図７または図８のコード選択画面は、使用するコードの変更が指示された場合に、第１表示領域１１ａに表示される（ステップＳ１１０：Y、ステップＳ１２０）。コード変更の指示は、例えばコードが割り当てられていない操作スイッチ１２２の押下や、ディスプレイ１１上にコード変更を指示するための領域を設け、当該領域をスタイラスペン３０でタッチすることにより行われる。ＣＰＵコア４２は、コードの変更を指示するタッチ操作データや押圧操作データにより、コード選択画面をＧＰＵ４５１を介して表示領域１１ａに表示させる。表示されたコード選択画面からスタイラスペン３０等により操作者の所望のコードが選択される（ステップＳ１３０）。
【００４７】
変更されたコード或いは初期設定のコードを指示するコード指示画像が表示されると、音出力装置は操作者による操作子の押下の検出待ち状態になる（ステップＳ１４０）。操作子が押下されると、当該操作子に割り当てられたコードのコードＩＤがＣＰＵコア４２に入力される。これによりＣＰＵコア４２は、操作子の押下を検出する。ＣＰＵコア４２は、入力されたコードＩＤにより図６のテーブルを参照してコードデータファイルを読み出し、各弦画像に音データを割り当てる。ＳＰＵ４４は、これにより各弦画像の音データについて音処理可能になる。また、操作子が押下されると、当該操作子に割り当てられたコードに応じて、ＣＰＵコア４２からＧＰＵ４５１に対して、操作可能な弦画像の色の変更が指示される。これにより、コード毎に操作可能な弦画像を視認できる（ステップＳ１４０：Y、ステップＳ１５０、ステップＳ１６０）。
【００４８】
音出力装置は、音処理が可能な状態になると、操作者による弦画像に対するタッチ操作の検出待ち状態になる（ステップＳ１７０）。弦画像へのタッチ操作が検出されると、タッチ操作の内容に応じて音処理、音出力が行われる（ステップＳ１７０：Y、ステップＳ１８０）。タッチ操作は、弦画像の１本１本に対して行われる。ＣＰＵコア４２は、タッチ操作された座標の遷移からスタイラスペン３０の動きを検出して、どの弦画像に対してタッチ操作が行われたかを確認する。タッチ操作が行われた弦画像の情報を含むサウンドコマンドは、ＣＰＵコア４２からＳＰＵ４４に送られる。ＳＰＵ４４は、サウンドコマンドにより音処理する音データを決める。タッチ操作は、上記の通り、スタイラスペン３０が、所定の速度以上で弦画像をまたぐ場合あるいは弦画像が表示される領域で弦画像をまたぐ際の速度以上の速度で移動した場合に、タッチ操作であると認識される。スタイラスペン３０の移動速度により出力音の大きさが決まる。移動速度が速いほど音量を大きくして、実楽器としての自然なニュアンスを表現している。ＣＰＵコア４２は、タッチ操作の内容からスタイラスペン３０の移動速度を検出して、その結果に応じてＳＰＵ４４に出力音の大きさの指示を行う。この指示もサウンドコマンドに含まれる。
【００４９】
ＣＰＵコア４２は、１回のタッチ操作で複数の弦画像が操作される場合、つまり連続してタッチ操作された弦画像を連続して確認した場合には、一連の操作（コードストローク）と見なして、後にタッチ操作された弦画像による出力音ほど減衰したレベルで出力するようにＳＰＵ４４に指示する。例えば、ＣＰＵコア４２は、ＳＰＵ４４に、最初にタッチ操作が行われた弦画像はスタイラスペン３０のスピードに応じた音量で音出力させ、２番目の弦画像はスタイラスペン３０のスピードに応じた音量よりも小さな音（例えば９０％の音量）で音出力させ、３番目の弦画像はスタイラスペン３０のスピードに応じた音量よりも更に小さな音（例えば８０％）で音出力させるように指示する。なお、一連の操作とは、スタイラスペン３０が一度もタッチパネルから離れることなく且つスタイラスペン３０が同じ弦画像を所定時間内に２度以上タッチせずに、複数の弦画像をタッチ操作する場合を言う。
音出力後或いは音出力と同時に、タッチ操作された弦画像が振動する振動画像が表示される。複数の弦画像がタッチ操作される場合には、操作されたすべての弦画像の振動画像が表示される（ステップＳ１９０）。ＣＰＵコア４２は、ＧＰＵ４５１に対してタッチ操作が行われた弦画像の振動画像を表示するように指示する。
【００５０】
ＣＰＵコア４２は、音出力及びタッチ操作された弦画像の振動画像が表示された後に、操作子の押下の終了を検出すると、次に操作子が押下されるまで待機状態になる（ステップＳ２００：Y）。操作子の押下が続く場合には、音出力のレベルがゼロになると、次に操作子が押下されるまで待機状態になる（ステップＳ２００：N、ステップＳ２１０：Y）。次に操作子が押下されると、ステップＳ１４０に戻って処理が実行される。
このように自由演奏モードでは、操作者が自由にコードを選択して、自分のリズムで演奏することが可能である。コードを選択するとタッチ操作可能な弦画像も限定されるために、間違った弦画像を弾く可能性が低くなる。そのために、既存の曲の弾き語りが行えたり、また作曲の際の楽器として用いることができる。
【００５１】
＜楽曲演奏モード＞
楽曲演奏モードが選択された場合には、図１４に示すような処理手順で操作者による楽曲演奏が行われる。
初期表示画面から操作者がスタイラスペン３０により楽曲演奏モードを選択すると、制御ユニット４０は、まず、楽曲の選択画面をディスプレイ１１に表示する（ステップＳ３００）。
操作者は楽曲の選択画面により所望の楽曲の選択を行うことができる。選択画面により難易度が異なる複数の楽曲が選択可能になっている。また同じ曲であっても、演奏速度やタッチ操作の必要回数等により、難易度が設定されている。楽曲が選択されると、当該楽曲に対する楽曲画像が第２表示領域１１ｂに表示され、図３（ａ）に示すような初期振動画像が第１表示領域１１ａに表示される（ステップＳ３１０）。ＣＰＵコア４２は、選択された楽曲の楽曲画像及び初期振動画像の表示を指示する描画コマンドをＧＰＵ４５１，４５２に送る。ＧＰＵ４５１，４５２は描画コマンドに応じて楽曲画像及び初期振動画像を表示する。
【００５２】
楽曲画像では、指示画像５４が曲の進行に合わせて進行グラフ５３上を流れ、この流れる指示画像５４にあわせて操作者が操作子を押下する。図１０では、まず操作者が左の操作子を押下する（ステップＳ３２０：Y）。操作子が押下されると、当該押下された操作子に割り当てられたコードのコードＩＤがＣＰＵコア４２に入力される。これによりＣＰＵコア４２は操作子の押下を検出する。ＣＰＵコア４２は、入力されたコードＩＤにより図６のテーブルを参照してコードデータファイルを読み出し、各弦画像に音データを割り当てる。ＳＰＵ４４は、これにより各弦画像の音データについて音処理可能になる。（ステップＳ３３０）。また、操作子が押下されると、当該操作子に割り当てられたコードに応じて、当該操作子に割り当てられたコードに応じて、ＣＰＵコア４２からＧＰＵ４５１に対して、操作可能な弦画像の色の変更が指示される。これにより、コード毎に操作可能な弦画像を視認できる（ステップＳ３４０）。
【００５３】
音出力装置は、音処理可能な状態になると、操作者によるタッチ操作の有無の検出待ち状態になる。タッチ操作は、タイミング画像５５内に指示画像５４が表示されるタイミングで、操作可能なすべての弦画像に対して行われた場合にのみ有効である（ステップＳ３５０）。タッチ操作が無かった場合には、次の操作子の押下を待機する状態になる（ステップＳ３５０：N、ステップＳ３２０）。タッチ操作が適切なタイミングで操作可能なすべての弦画像に行われた場合、楽曲に対して正確な音処理、音出力が行われる。また、弦画像が振動する画像が表示される（ステップＳ３５０：Y、ステップＳ３６０）。ＣＰＵコア４２は、タッチ操作された座標の遷移からスタイラスペン３０の動きを検出して、どの弦画像に対してタッチ操作が行われたかを確認する。その結果操作可能なすべての弦画像に対して適切なタイミングでタッチ操作が行われた場合に、ＳＰＵ４４に音出力を指示するサウンドコマンドを送る。ＳＰＵ４４は、サウンドコマンドにより音処理を行う。また、ＣＰＵコア４２は、ＧＰＵ４５１に対してタッチ操作が行われた弦画像の振動画像を表示するように指示する（ステップＳ３７０）。
【００５４】
楽曲が終了しなければ（ステップＳ３８０：N）、ＣＰＵコア４２は、音出力及びタッチ操作された弦画像が振動する画像が表示された後に、操作子の押下の終了を検出すると、次に操作子が押下されるまで待機状態になる（ステップＳ３９０：Y）。操作子の押下が続く場合には、音出力のレベルがゼロになると（ステップＳ３９０：N、ステップＳ４００：Y）、次に操作子が押下されるまで待機状態になる。次に操作子が押下されると、ステップＳ３２０に戻って処理が実行される。
このように楽曲演奏モードでは、楽曲を正確に演奏することが可能である。特に、指示画像により指示されるコード以外は音が出ないために、リズムさえとれれば楽曲の演奏を間違えることはない。難易度を操作者が決めることが可能であるために、どのようなレベルの操作者であっても楽曲の演奏を楽しむことができる。また、正確なタッチ操作を競うゲーム装置として用いることも可能である。
なお、ステップＳ３２０、Ｓ３５０において、指示されたコード、タイミングで操作がなされない場合には、音出力をしなくてもよいが、敢えて、その間違ったコード、タイミングで間違った音を出力するようにしてもよい。
【００５５】
本発明は、ギターのみならず、他の楽器、例えばピアノで弾かれる音色の音を出力する場合にも適用が可能である。
【符号の説明】
【００５６】
１０…筐体、１１…タッチセンサパネルを兼ねるディスプレイ、１１ａ，１１ｂ…表示領域、１２１，１２２…操作スイッチ、１３１，１３２…拡張スイッチ、１４１，１４２…音出力孔、１５…電源スイッチ、１６１…スタートスイッチ、１６２…ファンクションスイッチ、１７…スタイラスペンの係止部、１８…メモリカードの収容空間、１９…外部出力端子、２０…メモリカード、２１…ＲＯＭ、２２…ＥＥＰＲＯＭ、２４１，２４２…音出力ユニット、３０…スタイラスペン、４０…制御ユニット、４１…コネクタ、４２…ＣＰＵコア、４３…ＲＡＭ、４４…ＳＰＵ、４５１，４５２…ＧＰＵ、４６１，４６２…ＶＲＡＭ、４７…表示コントローラ、５０〜５２…振動画像、５３…進行グラフ、５４…指示画像、５５…タイミング画像
【特許請求の範囲】
【請求項１】
操作者が片手で把持可能な携帯サイズの筐体を有し、
該筐体には、それぞれ前記操作者が一方の片手指で選択可能な複数の操作子と、それぞれ実楽器を構成する楽器要素と対応付けられ、前記操作者が他方の片手指で直接又は間接にタッチ操作可能な複数のタッチセンサが形成されたディスプレイと、音を出力するための音出力機構と、所定のデータメモリへのアクセスが可能な制御機構とが設けられており、
前記データメモリには、前記楽器要素が奏でる音特性を有する音を前記音出力機構から出力させるための音データファイルが当該音を識別するための音データＩＤと関連付けられて複数記録され、さらに、前記音データＩＤにより識別される１又は複数の音を組み合わせたコードを表現するためのコードデータファイルが当該コードを識別するためのコードＩＤと関連付けられて複数記録されており、
前記複数の操作子の各々には、いずれかの前記コードＩＤが割り当てられており、
前記制御機構は、
操作者がどの操作子を選択し、その選択をいつ解除したかを検出する操作子選択状況検出手段と、
前記複数のタッチセンサの各々へのタッチ開始時期及びタッチ操作速度を含む前記操作者による操作内容を検出する操作内容検出手段と、
前記操作子選択状況検出手段で検出された操作子に割り当てられている前記コードＩＤをもとに前記コードファイルを特定し、特定されたコードファイルに関連付けられている音データＩＤから１以上の音データファイルを特定して、特定された音データファイルを当該操作子が選択されている間だけ前記データメモリから読み出して前記音出力機構に供給するとともに、前記特定された音データファイルに関連付けられている音データＩＤを前記複数のタッチセンサの少なくとも１つに割り当て、割り当てられた音データＩＤにより識別される音を、前記操作内容検出手段が検出したタッチセンサの操作内容と連動する表現態様で、前記音出力機構から出力させるための制御を行う音出力制御手段と、を備えるものである、
携帯型音出力装置。
【請求項２】
前記音出力制御手段は、前記操作内容検出手段が所定時間内に２以上のタッチセンサへの操作内容を検出した場合に、後に操作内容が検出されたタッチセンサに割り当てられた音データＩＤで識別される音ほど、その前に識別された音よりも減衰したレベルで前記音出力機構から出力させる、
請求項１記載の携帯型音出力装置。
【請求項３】
前記データメモリには、個々の前記楽器要素の状態を表す状態画像を表現するための楽器要素画像ファイルが記録されており、
前記制御機構は、
前記ディスプレイの所定領域に状態画像領域を形成するとともに、前記楽器要素画像ファイルを読み出して、前記音出力機構から出力させる音の音データＩＤが割り当てられたすべてのタッチセンサに対応する状態画像を前記ディスプレイの前記状態画像領域に同時に表示させ、表示中の状態画像を、前記音出力機構から出力される音の表現態様に応じて変化させる状態画像表示制御手段を備える、
請求項２記載の携帯型音出力装置。
【請求項４】
前記データメモリには、前記複数のタッチセンサのうち、どのタッチセンサをどのタイミングでどのように操作すべきかを指示する指示画像を表現するための指示画像ファイルが記録されており、
前記制御機構は、
前記ディスプレイの所定領域に指示画像領域を形成するとともに、前記指示画像ファイルを読み出して前記指示画像を表示させ、表示中の指示画像が表すタッチセンサへの操作内容が正しく操作されたかどうかを前記操作子選択状況検出手段および前記操作内容検出手段による検出結果に基づいて判定し、正しく検出されたときは前記指示画像の内容を変化させる指示画像表示制御手段を備える、
請求項３記載の携帯型音出力装置。
【請求項５】
前記状態画像は、弦楽器を構成する複数の弦の各々について、静止している初期状態及び弾かれたときの振動状態を表す画像であり、
前記指示画像は、弦毎に表現されるものである、
請求項４記載の携帯型音出力装置。
【請求項６】
操作者が片手で把持可能な携帯サイズの筐体に搭載されたコンピュータを携帯型音出力装置として動作させるためのコンピュータプログラムであって、
前記筐体には、それぞれ前記操作者が一方の片手指で選択可能な複数の操作子と、それぞれ実楽器を構成する楽器要素と対応付けられ、前記操作者が他方の片手指で直接又は間接にタッチ操作可能な複数のタッチセンサが形成されたディスプレイと、音を出力するための音出力機構と、所定のデータメモリへのアクセスが可能な制御機構とが設けられており、前記データメモリには、前記楽器要素が奏でる音特性の音を前記音出力機構から出力させるための音データファイルが当該音を識別するための音データＩＤと関連付けられて複数記録され、さらに、前記音データＩＤにより識別される１又は複数の音を組み合わせたコードを表現するためのコードデータファイルが当該コードを識別するためのコードＩＤと関連付けられて複数記録されているものにおいて、
前記コンピュータを、
前記複数の操作子の各々に、いずれかの前記コードＩＤを割り当てる割当手段、
操作者がどの操作子を選択し、その選択を何時解除したかを検出する操作子選択状況検出手段、
いずれかの前記タッチセンサへのタッチ開始時期及びタッチ操作速度を含む操作内容を検出する操作内容検出手段、
選択されたことが検出された操作子に割り当てられている前記コードＩＤをもとにコードファイルを特定し、特定したコードファイルに関連付けられた音データＩＤから１以上の音データファイルを特定し、特定した音データファイルを当該操作子が選択されている間だけ前記データメモリから読み出して前記音出力機構に供給すると共に、特定した音データファイルに関連付けられた音データＩＤを前記複数のタッチセンサの各々に割り当て、割り当てた音データＩＤで識別される音を、検出された操作内容と連動する態様で、前記音出力機構から出力させる音出力制御手段、として機能させる、
コンピュータプログラム。
【請求項７】
請求項６に記載されたコンピュータプログラムを記録して成る、
コンピュータ読み取り可能な記録媒体。
【請求項１】
操作者が片手で把持可能な携帯サイズの筐体を有し、
該筐体には、それぞれ前記操作者が一方の片手指で選択可能な複数の操作子と、それぞれ実楽器を構成する楽器要素と対応付けられ、前記操作者が他方の片手指で直接又は間接にタッチ操作可能な複数のタッチセンサが形成されたディスプレイと、音を出力するための音出力機構と、所定のデータメモリへのアクセスが可能な制御機構とが設けられており、
前記データメモリには、前記楽器要素が奏でる音特性を有する音を前記音出力機構から出力させるための音データファイルが当該音を識別するための音データＩＤと関連付けられて複数記録され、さらに、前記音データＩＤにより識別される１又は複数の音を組み合わせたコードを表現するためのコードデータファイルが当該コードを識別するためのコードＩＤと関連付けられて複数記録されており、
前記複数の操作子の各々には、いずれかの前記コードＩＤが割り当てられており、
前記制御機構は、
操作者がどの操作子を選択し、その選択をいつ解除したかを検出する操作子選択状況検出手段と、
前記複数のタッチセンサの各々へのタッチ開始時期及びタッチ操作速度を含む前記操作者による操作内容を検出する操作内容検出手段と、
前記操作子選択状況検出手段で検出された操作子に割り当てられている前記コードＩＤをもとに前記コードファイルを特定し、特定されたコードファイルに関連付けられている音データＩＤから１以上の音データファイルを特定して、特定された音データファイルを当該操作子が選択されている間だけ前記データメモリから読み出して前記音出力機構に供給するとともに、前記特定された音データファイルに関連付けられている音データＩＤを前記複数のタッチセンサの少なくとも１つに割り当て、割り当てられた音データＩＤにより識別される音を、前記操作内容検出手段が検出したタッチセンサの操作内容と連動する表現態様で、前記音出力機構から出力させるための制御を行う音出力制御手段と、を備えるものである、
携帯型音出力装置。
【請求項２】
前記音出力制御手段は、前記操作内容検出手段が所定時間内に２以上のタッチセンサへの操作内容を検出した場合に、後に操作内容が検出されたタッチセンサに割り当てられた音データＩＤで識別される音ほど、その前に識別された音よりも減衰したレベルで前記音出力機構から出力させる、
請求項１記載の携帯型音出力装置。
【請求項３】
前記データメモリには、個々の前記楽器要素の状態を表す状態画像を表現するための楽器要素画像ファイルが記録されており、
前記制御機構は、
前記ディスプレイの所定領域に状態画像領域を形成するとともに、前記楽器要素画像ファイルを読み出して、前記音出力機構から出力させる音の音データＩＤが割り当てられたすべてのタッチセンサに対応する状態画像を前記ディスプレイの前記状態画像領域に同時に表示させ、表示中の状態画像を、前記音出力機構から出力される音の表現態様に応じて変化させる状態画像表示制御手段を備える、
請求項２記載の携帯型音出力装置。
【請求項４】
前記データメモリには、前記複数のタッチセンサのうち、どのタッチセンサをどのタイミングでどのように操作すべきかを指示する指示画像を表現するための指示画像ファイルが記録されており、
前記制御機構は、
前記ディスプレイの所定領域に指示画像領域を形成するとともに、前記指示画像ファイルを読み出して前記指示画像を表示させ、表示中の指示画像が表すタッチセンサへの操作内容が正しく操作されたかどうかを前記操作子選択状況検出手段および前記操作内容検出手段による検出結果に基づいて判定し、正しく検出されたときは前記指示画像の内容を変化させる指示画像表示制御手段を備える、
請求項３記載の携帯型音出力装置。
【請求項５】
前記状態画像は、弦楽器を構成する複数の弦の各々について、静止している初期状態及び弾かれたときの振動状態を表す画像であり、
前記指示画像は、弦毎に表現されるものである、
請求項４記載の携帯型音出力装置。
【請求項６】
操作者が片手で把持可能な携帯サイズの筐体に搭載されたコンピュータを携帯型音出力装置として動作させるためのコンピュータプログラムであって、
前記筐体には、それぞれ前記操作者が一方の片手指で選択可能な複数の操作子と、それぞれ実楽器を構成する楽器要素と対応付けられ、前記操作者が他方の片手指で直接又は間接にタッチ操作可能な複数のタッチセンサが形成されたディスプレイと、音を出力するための音出力機構と、所定のデータメモリへのアクセスが可能な制御機構とが設けられており、前記データメモリには、前記楽器要素が奏でる音特性の音を前記音出力機構から出力させるための音データファイルが当該音を識別するための音データＩＤと関連付けられて複数記録され、さらに、前記音データＩＤにより識別される１又は複数の音を組み合わせたコードを表現するためのコードデータファイルが当該コードを識別するためのコードＩＤと関連付けられて複数記録されているものにおいて、
前記コンピュータを、
前記複数の操作子の各々に、いずれかの前記コードＩＤを割り当てる割当手段、
操作者がどの操作子を選択し、その選択を何時解除したかを検出する操作子選択状況検出手段、
いずれかの前記タッチセンサへのタッチ開始時期及びタッチ操作速度を含む操作内容を検出する操作内容検出手段、
選択されたことが検出された操作子に割り当てられている前記コードＩＤをもとにコードファイルを特定し、特定したコードファイルに関連付けられた音データＩＤから１以上の音データファイルを特定し、特定した音データファイルを当該操作子が選択されている間だけ前記データメモリから読み出して前記音出力機構に供給すると共に、特定した音データファイルに関連付けられた音データＩＤを前記複数のタッチセンサの各々に割り当て、割り当てた音データＩＤで識別される音を、検出された操作内容と連動する態様で、前記音出力機構から出力させる音出力制御手段、として機能させる、
コンピュータプログラム。
【請求項７】
請求項６に記載されたコンピュータプログラムを記録して成る、
コンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１１−３９２４８（Ｐ２０１１−３９２４８Ａ）
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願番号】特願２００９−１８６０３８（Ｐ２００９−１８６０３８）
【出願日】平成２１年８月１０日（２００９．８．１０）
【出願人】（３９８００２１２３）プラト株式会社 (1)
【Ｆターム（参考）】
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願日】平成２１年８月１０日（２００９．８．１０）
【出願人】（３９８００２１２３）プラト株式会社 (1)
【Ｆターム（参考）】
[ Back to top ]