楽音制御装置およびプログラム

【課題】絵画風に変換された絵画調画像の特徴に調和するようにＢＧＭとして再生される曲を編曲する楽音制御装置を実現する。
【解決手段】変換種類および変換された絵画調画像の特徴を表すアート変換特徴パラメータと、ＢＧＭとして再生される曲の各音を表す曲データの特徴を表す曲再生特徴パラメータとをＲＡＭ１２に設けておき、ＣＰＵ１０はアート変換特徴パラメータに含まれる変換種類に従って表示画像を絵画調画像にアート変換する一方、アート変換特徴パラメータ中の「地域」と曲再生特徴パラメータ中の「地域」との比較に基づきアート変換された絵画調画像の特徴に対してＢＧＭとして再生される曲の調和・非調和を判別する。非調和ならば、絵画調画像の特徴に対してＢＧＭとして再生される曲が調和するよう当該曲の各音を表す曲データの音色を変更する。これにより、絵画風に変換された絵画調画像の特徴に調和する曲に編曲できる。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、絵画風に変換された画像（以下、絵画調画像と称す）の特徴に調和するようにＢＧＭとして再生される曲を編曲する楽音制御装置およびプログラムに関する。
【背景技術】
【０００２】
画面に表示される画像又は映像に対してＢＧＭとなる音楽を付加する装置が知られている。例えば特許文献１には、映像に付与されるフェードイン／フェードアウト、モザイクなどの所定の映像効果に応じて、その映像に合わせて再生する音楽（曲）の音色やエフェクトあるいは演奏パート数などを表す音楽パラメータを制御することによって映像効果にマッチした音楽を得るようにした装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２４００７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記特許文献１に開示の装置では、映像に付与される効果の種類に応じて、その映像に合わせて再生される音楽に関するパラメータ（音色やエフェクトあるいは演奏パート数など）を変更するだけなので、絵画風に変換された絵画調画像の特徴に調和するようにＢＧＭとして再生される曲を編曲することが出来ないという問題がある。
【０００５】
本発明は、このような事情に鑑みてなされたもので、絵画風に変換された絵画調画像の特徴に調和するようにＢＧＭとして再生される曲を編曲することができる楽音制御装置およびプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、請求項１に記載の発明では、変換種類および変換された絵画調画像の特徴を表すアート変換特徴パラメータと、ＢＧＭとして再生される曲の各音を表す曲データの特徴を表す曲再生特徴パラメータとを記憶するパラメータ記憶手段と、前記パラメータ記憶手段に記憶されるアート変換特徴パラメータ中の変換種類に従って表示画像を絵画調画像にアート変換するアート変換手段と、前記アート変換手段によりアート変換された絵画調画像の特徴を表すアート変換特徴パラメータと、ＢＧＭとして再生される曲の各音を表す曲データの特徴を表す曲再生特徴パラメータとを前記パラメータ記憶手段から読み出し、読み出した両パラメータの比較に基づきアート変換された絵画調画像の特徴に対してＢＧＭとして再生される曲の調和・非調和を判別する判別手段と、前記判別手段により非調和と判別された場合に、アート変換された絵画調画像の特徴に対してＢＧＭとして再生される曲が調和するよう当該曲を編曲する編曲手段とを具備することを特徴とする。
【０００７】
上記請求項１に従属する請求項２に記載の発明では、前記判別手段は、アート変換特徴パラメータおよび曲再生特徴パラメータがそれぞれ有する複数の共通項目の内、地域を表す項目の内容が双方で異なる場合に、アート変換された絵画調画像の特徴に対してＢＧＭとして再生される曲が非調和と判別することを特徴とする。
【０００８】
上記請求項１に従属する請求項３に記載の発明では、前記編曲手段は、地域別の楽器音が登録される変更テーブルを備え、曲再生特徴パラメータ中の「地域」と、アート変換特徴パラメータ中の「地域」とが異なって前記判別手段により非調和と判別された場合に、当該変更テーブルを参照してアート変換特徴パラメータ中の「地域」に該当する楽器音となるように曲の音色を変更することを特徴とする。
【０００９】
請求項４に記載の発明では、コンピュータに、変換種類および変換された絵画調画像の特徴を表すアート変換特徴パラメータを備え、当該アート変換特徴パラメータ中の変換種類に従って表示画像を絵画調画像にアート変換するアート変換ステップと、前記アート変換ステップにてアート変換された絵画調画像の特徴を表すアート変換特徴パラメータと、ＢＧＭとして再生される曲の各音を表す曲データの特徴を表す曲再生特徴パラメータとの比較に基づきアート変換された絵画調画像の特徴に対してＢＧＭとして再生される曲の調和・非調和を判別する判別ステップと、前記判別ステップにて非調和と判別された場合に、アート変換された絵画調画像の特徴に対してＢＧＭとして再生される曲が調和するよう当該曲を編曲する編曲ステップとを実行させることを特徴とする。
【発明の効果】
【００１０】
本発明では、絵画風に変換された絵画調画像の特徴に調和するようにＢＧＭとして再生される曲を編曲することができる。
【図面の簡単な説明】
【００１１】
【図１】実施の一形態による楽音制御装置１００の構成を示すブロック図である。
【図２】ＲＡＭ１２のメモリ内容を示すメモリマップである。
【図３】アート変換特徴パラメータの一例を示す図である。
【図４】曲再生特徴パラメータの一例を示す図である。
【図５】変更テーブルＣＴの一例を示す図である。
【図６】データメモリ１３のメモリ内容を示すメモリマップである。
【図７】メインルーチンの動作を示すフローチャートである。
【図８】スイッチ処理の動作を示すフローチャートである。
【図９】表示選択スイッチ処理の動作を示すフローチャートである。
【図１０】曲選択スイッチ処理の動作を示すフローチャートである。
【図１１】アート変換スイッチ処理の動作を示すフローチャートである。
【図１２】スタート／ストップスイッチ処理の動作を示すフローチャートである。
【図１３】表示処理の動作を示すフローチャートである。
【図１４】アート変換処理の動作を示すフローチャートである。
【図１５】編曲処理の動作を示すフローチャートである。
【図１６】ＢＧＭ処理の動作を示すフローチャートである。
【図１７】ＢＧＭ処理の動作を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明の実施形態について説明する。
Ａ．構成
図１は実施の一形態による楽音制御装置１００の構成を示すブロック図である。この図において、ＣＰＵ１０は、操作部１４が発生する各種スイッチイベントに応じて装置各部を制御する。本発明の要旨に係わるＣＰＵ１０の処理動作については追って詳述する。ＲＯＭ１１には、ＣＰＵ１０にロードされる各種の制御プログラムが記憶される。各種の制御プログラムとは、後述するメインルーチン、スイッチ処理、表示処理、アート変換処理、編曲処理およびＢＧＭ処理を含む。なお、スイッチ処理は、表示選択スイッチ処理、曲選択スイッチ処理、アート変換スイッチ処理およびスタート／ストップスイッチ処理から構成される。
【００１３】
ＲＡＭ１２は、図２に図示するように、ワークエリアＷＥ、アート変換特徴パラメータエリアＡＥ、曲再生特徴パラメータエリアＭＥおよび変更テーブルエリアＣＥから構成される。ＲＡＭ１２のワークエリアＷＥには、ＣＰＵ１０の処理に用いられる各種レジスタ・フラグデータが一時記憶される。
【００１４】
ＲＡＭ１２のアート変換特徴パラメータエリアＡＥには、複数種のアート変換特徴パラメータが記憶される。ここで、図３を参照してＲＡＭ１２のアート変換特徴パラメータエリアＡＥに格納されるアート変換特徴パラメータの一例について説明する。アート変換特徴パラメータは、絵画調画像の特徴を表すデータであり、アート変換番号に対応付けられた「変換種類」、「流派」、「時代」および「地域」の各内容から構成される。
【００１５】
アート変換番号は、操作部１４に配設されるアート変換スイッチの操作に応じて指定される。例えばアート変換スイッチの操作に応じてアート変換番号１を選択した場合には、「点描画」（変換種類）、「印象派」（流派）、「１９世紀」（時代）および「欧州」（地域）からなるアート変換特徴パラメータが指定される。このアート変換特徴パラメータが意図するところについては追って述べる。
【００１６】
ＲＡＭ１２の曲再生特徴パラメータエリアＭＥには、曲番号に対応付けられた曲再生特徴パラメータが記憶される。ここで、図４を参照してＲＡＭ１２の曲再生特徴パラメータエリアＭＥに格納される曲再生特徴パラメータの一例について説明する。曲再生特徴パラメータは、ＢＧＭとして再生される曲データ（後述する）の特徴を表すデータであり、曲番号に対応付けられた「曲名」、「流派」、「時代」および「地域」の各内容から構成される。
【００１７】
曲番号は、操作部１４に配設される曲選択スイッチの操作に応じて選択される。例えば曲選択スイッチの操作に応じて曲番号１を選択した場合には、「月の光」（曲名）、「印象派」（流派）、「１９世紀」（時代）および「欧州」（地域）からなる曲再生特徴パラメータが指定される。この曲再生特徴パラメータが意図するところについては追って述べる。
【００１８】
ＲＡＭ１２の変更テーブルエリアＣＥには、図５に図示する一例の変更テーブルＣＴが格納される。変更テーブルＣＴには、地域別の音色（楽器音）およびリズム音が登録される。曲再生特徴パラメータ中の「地域」と、アート変換特徴パラメータ中の「地域」とが異なり、アート変換された絵画調画像の特徴に対してＢＧＭとして再生される曲が調和しない場合には、変更テーブルＣＴを参照し、アート変換特徴パラメータ中の「地域」に該当する音色となるように当該曲の音色イベントの内容を変更する。つまり、絵画風に変換された絵画調画像の特徴に調和するようにＢＧＭとして再生される曲を編曲する。
【００１９】
データメモリ１３は、図６に図示するように、画像データエリアＩＥおよび曲データエリアＫＥを備える。画像データエリアＩＥには、インデックスとして画像番号が付加された画像データが格納される。画像番号で指定される画像データは、後述するように、アート変換特徴パラメータに基づき絵画風に変換される元画像として扱われる。
【００２０】
曲データエリアＫＥには、インデックスとして曲番号が付加された曲データが格納される。曲データは、タイムＴおよびイベントＥＶＴが対となって曲進行に対応した時系列のアドレス順に記憶される、いわゆる相対時間方式と呼ばれるデータ形式で表現される。タイムＴは、前イベントからの経過時間で現イベントのタイミングを表す。
【００２１】
イベントＥＶＴは、発音音高（又は消音音高）を表すノートナンバを含み、発音（又は消音）を指示するノートオン／ノートオフイベントからなる。曲データの先頭アドレスに設けられる音色イベントは、発生楽音の音色を指定する。上述したように、ＢＧＭとして再生される曲の特徴が絵画風に変換された絵画調画像の特徴と非調和となる場合、この音色イベントの内容を変更することによって曲を絵画調画像の特徴に調和させる。
【００２２】
操作部１４は、装置パネルに配設される各種操作スイッチを有し、ユーザ操作されるスイッチ種に対応したスイッチイベントを発生する。このスイッチイベントは、ＣＰＵ１０に取り込まれる。本発明の要旨に係わるスイッチとして、この操作部１４には、装置電源をパワーオンオフする電源スイッチの他、絵画風に変換される元画像を選択する表示選択スイッチ、ＢＧＭとして再生される曲を選択する曲選択スイッチ、アート変換特徴パラメータを選択するアート変換スイッチ、曲再生の開始／停止を指示するスタート／ストップスイッチ等が設けられる。
【００２３】
表示部１５は、カラー液晶パネル等から構成され、ＣＰＵ１０から供給される表示制御信号に応じて、元画像を絵画風に変換した絵画調画像を画面表示する他、本装置の設定状態や動作状態などを画面表示する。音源１６は、周知の波形メモリ読み出し方式により構成され、ＣＰＵ１０から供給されるイベントに応じた楽音データを発生する。サウンドシステム１７は、音源１６から出力される楽音データをアナログ形式の楽音信号に変換した後に信号増幅してスピーカから放音する。
【００２４】
Ｂ．動作
次に、図７〜図１７を参照して上記構成による実施形態の動作について説明する。以下では、楽音制御装置１００のＣＰＵ１０が実行するメインルーチン、当該メインルーチンからコールされるスイッチ処理、表示処理、アート変換処理、編曲処理およびＢＧＭ処理の各動作について述べる。
【００２５】
（１）メインルーチンの動作
装置電源がパワーオンされると、ＣＰＵ１０は図７に図示するメインルーチンのステップＳＡ１に処理を進め、ＲＡＭ１２のワークエリアＷＥ（図２参照）に設けられる各種レジスタ・フラグデータをゼロリセットもしくは初期値セットする他、音源１６に対して初期化を指示するイニシャライズを実行する。イニシャライズが完了すると、ステップＳＡ２を介してスイッチ処理を実行する。
【００２６】
後述するように、スイッチ処理では、表示選択スイッチ操作により絵画風に変換される元画像を選択したり、曲選択スイッチ操作によりＢＧＭとして再生される曲（曲番号）を選択したり、アート変換スイッチ操作により絵画変換する変換種類などを表すアート変換特徴パラメータ（アート変換番号）を選択したりする他、スタート／ストップスイッチの操作に応じて曲再生の開始／停止を指示する。
【００２７】
続いて、ステップＳＡ３では、表示選択スイッチ操作によって、絵画風に変換される元画像として画像番号Ｇの画像データが選択済みならば、その選択された画像番号Ｇの画像データをデータメモリ１３の画像データエリアＩＥから読み出して表示部１５に画面表示する表示処理を実行する。次いで、ステップＳＡ４では、アート変換スイッチ操作によってアート変換番号Ａが選択済みならば、そのアート変換番号Ａで指定されるアート変換特徴パラメータの「変換種類」に従って表示画像（画像番号Ｇの元画像）をアート変換するアート変換処理を実行する。
【００２８】
そして、ステップＳＡ５では、編曲処理を実行する。後述するように、編曲処理では曲選択スイッチ操作により曲番号Ｍを選択する曲選択や、表示画像（画像番号Ｇの元画像）のアート変換が行われた場合に、曲番号Ｍで指定される曲再生特徴パラメータの「地域」と、アート変換番号Ａで指定されるアート変換特徴パラメータの「地域」とが異なるかどうかを判断し、双方の「地域」が異なれば、音色変更フラグを「１」にセットする。
【００２９】
続いて、ステップＳＡ６では、スタートフラグＳＴＦが「１」（曲再生の開始）ならば、最小単位時間（ティック）が経過する度にレジスタＴの値（タイムＴ）をデクリメントし、デクリメントされたレジスタＴの値が「０」以下のイベントタイミングに達する毎に、歩進された読み出しアドレスＡＤに応じて曲番号Ｍの曲データ（Ｍ）を順次読み出して再生し、アート変換された絵画調画像の特徴に対してＢＧＭとして再生される曲が非調和になると、再生中の曲を編曲（音色変更）して当該絵画調画像に調和させるＢＧＭ処理を実行する。ステップＳＡ７では、例えば装置の動作状態などを表示部１５に表示する等の、その他の処理を実行した後、上述のステップＳＡ２に処理を戻す。以後、装置電源がオフされるまで上述したステップＳＡ２〜ＳＡ７の各処理を繰り返し実行する。
【００３０】
（２）スイッチ処理の動作
次に、図８〜図１２を参照してスイッチ処理の動作を説明する。上述したメインルーチンのステップＳＡ２（図７参照）を介してスイッチ処理が実行されると、ＣＰＵ１０は図８に図示するステップＳＢ１に進み、表示選択スイッチの操作により絵画風に変換される元画像を選択する表示選択スイッチ処理を実行する。続いて、ステップＳＢ２では、曲選択スイッチの操作によりＢＧＭとして再生される曲（曲番号）を選択する曲選択スイッチ処理を実行する。
【００３１】
次に、ステップＳＢ３に進むと、アート変換スイッチの操作によりアート変換特徴パラメータ（アート変換番号）を選択するアート変換スイッチ処理を実行する。次いで、ステップＳＢ４では、スタート／ストップスイッチの操作に応じて曲再生の開始／停止を指示するスタート／ストップスイッチ処理を実行する。そして、ステップＳＢ５では、例えば所定のスイッチ操作に応じて、データメモリ１３の画像データエリアＩＥに登録される複数の画像データをサムネイル画像表示させる等の、その他のスイッチ処理を実行して本処理を終える。
【００３２】
以下では、ステップＳＢ１の表示選択スイッチ処理、ステップＳＢ２の曲選択スイッチ処理、ステップＳＢ３のアート変換スイッチ処理およびステップＳＢ４のスタート／ストップスイッチ処理の各動作の詳細について述べる。
【００３３】
ａ．表示選択スイッチ処理の動作
図９を参照して表示選択スイッチ処理の動作を説明する。ステップＳＢ１（図８参照）を介して表示選択スイッチ処理が実行されると、ＣＰＵ１０は図９に図示するステップＳＣ１に進み、表示選択スイッチの操作の有無を判断する。スイッチ操作が行われなければ、判断結果は「ＮＯ」になり、本処理を終えるが、スイッチ操作が為されると、判断結果は「ＹＥＳ」となり、ステップＳＣ２に進む。ステップＳＣ２では、表示選択スイッチの操作により選択された画像番号をレジスタＧにストアする。以下、レジスタＧの内容を画像番号Ｇと称す。そして、ステップＳＣ３では、表示フラグを「１」にセットして本処理を終える。
【００３４】
ｂ．曲選択スイッチ処理の動作
図１０を参照して曲選択スイッチ処理の動作を説明する。ステップＳＢ２（図８参照）を介して曲選択スイッチ処理が実行されると、ＣＰＵ１０は図１０に図示するステップＳＤ１に進み、曲選択スイッチの操作の有無を判断する。スイッチ操作が行われなければ、判断結果は「ＮＯ」になり、本処理を終えるが、スイッチ操作が為されると、判断結果は「ＹＥＳ」となり、ステップＳＤ２に進む。ステップＳＤ２では、曲選択スイッチの操作により選択された曲番号をレジスタＭにストアする。以下、レジスタＭの内容を曲番号Ｍと称す。そして、ステップＳＤ３では、編曲フラグを「１」にセットして本処理を終える。
【００３５】
ｃ．アート変換スイッチ処理の動作
図１１を参照してアート変換スイッチ処理の動作を説明する。ステップＳＢ３（図８参照）を介してアート変換スイッチ処理が実行されると、ＣＰＵ１０は図１１に図示するステップＳＥ１に進み、アート変換スイッチの操作の有無を判断する。スイッチ操作が行われなければ、判断結果は「ＮＯ」になり、本処理を終えるが、スイッチ操作が為されると、判断結果は「ＹＥＳ」となり、ステップＳＥ２に進む。ステップＳＥ２では、アート変換スイッチの操作により選択されたアート変換番号をレジスタＡにストアする。以下、レジスタＡの内容をアート変換番号Ａと称す。そして、ステップＳＥ３では、アート変換フラグを「１」にセットして本処理を終える。
【００３６】
ｄ．スタート／ストップスイッチ処理の動作
図１２を参照してスタート／ストップスイッチ処理の動作を説明する。ステップＳＢ４（図８参照）を介してスタート／ストップスイッチ処理が実行されると、ＣＰＵ１０は図１２に図示するステップＳＦ１に進み、スタート／ストップスイッチのオン操作の有無を判断する。スタート／ストップスイッチがオン操作されなければ、判断結果は「ＮＯ」になり、本処理を終えるが、オン操作されると、判断結果が「ＹＥＳ」となり、ステップＳＦ２に進む。
【００３７】
ステップＳＦ２では、スタートフラグＳＴＦを反転する。スタートフラグＳＴＦとは、フラグ値「１」の場合に曲再生の開始を表し、フラグ値「０」の場合に曲再生の停止を表すフラグである。また、スタート／ストップスイッチは所謂トグル動作するスイッチであり、オン操作される毎に曲再生の開始／停止を交互に指示するようになっている。なお、ここで言う曲再生とは後述のＢＧＭ処理を指す。
【００３８】
次いで、ステップＳＦ３では、スタート／ストップスイッチのオン操作に応じて反転されたスタートフラグＳＴＦが「１」、つまり曲再生の開始であるか否かを判断する。以下、スタート／ストップスイッチのオン操作に応じて反転されたスタートフラグＳＴＦが「１」（曲再生の開始）の場合と、当該スタートフラグＳＴＦが「０」（曲再生の停止）の場合とに分けて動作説明を進める。
【００３９】
＜スタートフラグＳＴＦが「１」（曲再生の開始）の場合＞
反転されたスタートフラグＳＴＦが「１」となり、曲再生の開始を表す場合には、上記ステップＳＦ３の判断結果が「ＹＥＳ」になり、ステップＳＦ４に進む。ステップＳＦ４では、曲選択スイッチの操作により選択された曲番号Ｍの曲データ（Ｍ）のスタートアドレス（先頭アドレス）をレジスタＡＤにストアする。以下、レジスタＡＤの内容を読み出しアドレスＡＤと称す。
【００４０】
続いて、ステップＳＦ５では、読み出しアドレスＡＤに応じて、曲番号Ｍの曲データ（Ｍ）を読み出す。そして、ステップＳＦ６では、読み出された曲データ、すなわちスタートアドレス（先頭アドレス）で指定される曲データが「音色イベント」又は「タイムＴ」の何れであるかを判別する。曲データの先頭が「音色イベント」ならば、ステップＳＦ７に進み、音色変更フラグが「１」であるか否かを判断する。
【００４１】
音色変更フラグは、アート変換された絵画調画像の特徴に対してＢＧＭとして再生される曲が調和する場合に「０」、非調和の場合に「１」となるフラグである。調和又は非調和の判定は、後述する編曲処理（図１５参照）において行われる。具体的には、曲再生特徴パラメータ中の「地域」と、アート変換特徴パラメータ中の「地域」とが異なる場合に“非調和”であるとして音色変更フラグに「１」がセットされ、一方、双方の「地域」が合致する場合に“調和”するとして音色変更フラグに「０」がセットされる。
【００４２】
したがって、ステップＳＦ７では、アート変換された絵画調画像の特徴に対してＢＧＭとして再生される曲が非調和であるかどうかを判断する。非調和であると、このステップＳＦ７の判断結果は「ＹＥＳ」となり、ステップＳＦ８に進む。ステップＳＦ８では、前述した変更テーブルＣＴ（図５参照）を参照し、アート変換番号Ａで指定されるアート変換特徴パラメータ中の「地域」に該当する音色となるように音色イベントの内容を変更する。
【００４３】
例えばアート変換特徴パラメータ中の「地域」が“日本”で、曲再生特徴パラメータ中の「地域」が“欧州”であったとすると、絵画調画像の特徴に対してＢＧＭ（音楽）が非調和になる。そこで、絵画調画像の特徴に対してＢＧＭ（音楽）を調和させる為、音色イベントで定義される発生楽音の音色について、変更テーブルＣＴを参照して変更する。具体的には、曲再生特徴パラメータ中の「地域」が“欧州”でメロディー音の音色が「フルート」、伴奏音の音色が「ピアノ」の曲ならば、アート変換特徴パラメータ中の「地域」が“日本”である為、メロディー音を「尺八」の音色に、伴奏音を「琴」の音色となるように音色イベントの内容を変更する。
【００４４】
このようにして、アート変換された絵画調画像の特徴に対してＢＧＭとして再生される曲が調和するよう編曲（音色変更）し終えると、ステップＳＦ９に進む。また、アート変換された絵画調画像の特徴に対してＢＧＭとして再生される曲が調和していれば、上記ステップＳＦ７の判断結果は「ＮＯ」となり、この場合もステップＳＦ９に進み、読み出しアドレスＡＤを歩進させた後、上述のステップＳＦ５に処理を戻す。
【００４５】
そして、歩進された読み出しアドレスＡＤに応じて読み出される曲データが「タイムＴ」になると、上記ステップＳＦ６を介してステップＳＦ１０に進み、レジスタＴにタイムＴをストアする。この後、ステップＳＦ１１に進み、タイマインタラプト禁止を解除して本処理を終える。なお、ＣＰＵ１０では、タイマインタラプト禁止が解除されると、曲進行時間を計時するタイマインタラプト（不図示）をスタートさせるようになっている。
【００４６】
＜スタートフラグＳＴＦが「０」（曲再生の停止）の場合＞
反転されたスタートフラグＳＴＦが「０」となり、曲再生の停止を表す場合には、前述したステップＳＦ３の判断結果が「ＹＥＳ」になり、ステップＳＦ１２に進む。ステップＳＦ１２では、音源１６に対して発音中の全ての楽音を消音するよう指示するオールノートオフ処理を実行する。そして、ステップＳＦ１３では、曲進行時間を計時するタイマインタラプトを禁止して本処理を終える。
【００４７】
このように、スタート／ストップスイッチ処理では、スタート／ストップスイッチのオン操作に応じて曲再生の開始が指示されると、曲選択スイッチの操作により選択された曲番号Ｍの曲データ（Ｍ）から先頭データを読み出し、読み出した先頭データが音色イベントであって、かつ音色変更フラグが「１」ならば、変更テーブルＣＴ（図５参照）を参照し、アート変換番号Ａで指定されるアート変換特徴パラメータ中の「地域」に該当する音色となるように音色イベントの内容を変更する。この後、歩進された読み出しアドレスＡＤに応じて曲データ（Ｍ）からタイムＴが読み出されると、レジスタＴにタイムＴをストアすると共に、タイマインタラプト禁止を解除して曲再生をスタートさせる。一方、スタート／ストップスイッチのオン操作に応じて曲再生の停止が指示されると、音源１６に対して発音中の全ての楽音を消音するよう指示した後、タイマインタラプトを禁止する。
【００４８】
（３）表示処理の動作
次に、図１３を参照して表示処理の動作を説明する。前述したメインルーチンのステップＳＡ３（図７参照）を介して本処理が実行されると、ＣＰＵ１０は図１３に図示するステップＳＧ１に進み、表示フラグが「１」であるか否か、すなわち表示選択スイッチ操作によって、絵画風に変換される元画像として画像番号Ｇの画像データが選択済みであるかどうかを判断する。絵画風に変換される元画像が未選択ならば、表示フラグは「０」なので、ここでの判断結果は「ＮＯ」となり、本処理を終える。
【００４９】
一方、絵画風に変換される元画像として画像番号Ｇの画像データが選択済みであると、表示フラグは「１」にセットされる為、上記ステップＳＧ１の判断結果は「ＹＥＳ」となり、ステップＳＧ２に進む。ステップＳＧ２では、画像番号Ｇの画像データをデータメモリ１３の画像データエリアＩＥから読み出して表示部１５に画面表示する。そして、ステップＳＧ３に進み、表示フラグをゼロリセットして本処理を終える。
【００５０】
（４）アート変換処理の動作
次に、図１４を参照してアート変換処理の動作を説明する。前述したメインルーチンのステップＳＡ４（図７参照）を介して本処理が実行されると、ＣＰＵ１０は図１４に図示するステップＳＨ１に進み、アート変換フラグが「１」であるか否か、すなわちアート変換スイッチ操作によってアート変換番号Ａが選択済みであるかどうかを判断する。アート変換番号Ａが選択されていなければ、アート変換フラグは「０」なので、ここでの判断結果は「ＮＯ」となり、本処理を終える。
【００５１】
一方、アート変換番号Ａを選択済みであると、アート変換フラグは「１」にセットされる為、上記ステップＳＨ１の判断結果は「ＹＥＳ」となり、ステップＳＨ２に進む。ステップＳＨ２では、アート変換番号Ａで指定されるアート変換特徴パラメータの「変換種類」に従って表示画像（画像番号Ｇの元画像）をアート変換する。例えば選択されたアート変換番号が「１」であると、表示画像を点描画に変換する。そして、ステップＳＨ３〜ＳＨ４では、アート変換が行われたことに対応してアート変換フラグをゼロリセットすると共に、編曲フラグを「１」にセットして本処理を終える。
【００５２】
（５）編曲処理の動作
次に、図１５を参照して編曲処理の動作を説明する。前述したメインルーチンのステップＳＡ５（図７参照）を介して本処理が実行されると、ＣＰＵ１０は図１５に図示するステップＳＪ１に進み、編曲フラグが「１」であるか否かを判断する。編曲フラグが「０」ならば、判断結果は「ＮＯ」になり、本処理を終えるが、曲選択スイッチ操作により曲番号Ｍを選択する曲選択が為されたり、表示画像（画像番号Ｇの元画像）のアート変換が行われたりすると、編曲フラグが「１」にセットされ、これにより上記ステップＳＪ１の判断結果は「ＹＥＳ」となり、ステップＳＪ２に進む。
【００５３】
ステップＳＪ２では、ＲＡＭ１２の曲再生特徴パラメータエリアＭＥから曲番号Ｍで指定される曲再生特徴パラメータの「地域」を読み出し、続くステップＳＪ３では、ＲＡＭ１２のアート変換特徴パラメータエリアＡＥからアート変換番号Ａで指定されるアート変換特徴パラメータの「地域」を読み出す。そして、ステップＳＪ４では、曲再生特徴パラメータの「地域」と、アート変換特徴パラメータ中の「地域」とが異なるか否かを判別する。
【００５４】
曲再生特徴パラメータの「地域」と、アート変換特徴パラメータ中の「地域」とが合致すると、上記ステップＳＪ４の判断結果は「ＮＯ」になり、ステップＳＪ５に進み、音色変更フラグをゼロリセットした後、ステップＳＪ７に進む。これに対し、曲再生特徴パラメータの「地域」と、アート変換特徴パラメータ中の「地域」とが異なると、上記ステップＳＪ４の判断結果は「ＹＥＳ」になり、ステップＳＪ６に進み、音色変更フラグを「１」にセットした後、ステップＳＪ７に進む。そして、ステップＳＪ７では、編曲フラグをゼロリセットして本処理を終える。
【００５５】
このように、編曲処理では、曲選択スイッチ操作により曲番号Ｍを選択する曲選択や、表示画像（画像番号Ｇの元画像）のアート変換が行われた場合に、曲番号Ｍで指定される曲再生特徴パラメータの「地域」と、アート変換番号Ａで指定されるアート変換特徴パラメータの「地域」とが異なるかどうかを判断し、双方の「地域」が異なれば、音色変更フラグを「１」にセットする。音色変更フラグを「１」にセットすることによって、アート変換された絵画調画像の特徴に対してＢＧＭとして再生される曲が非調和である旨を表す。
【００５６】
（６）ＢＧＭ処理の動作
次に、図１６〜図１７を参照してＢＧＭ処理の動作を説明する。前述したメインルーチンのステップＳＡ６（図７参照）を介して本処理が実行されると、ＣＰＵ１０は図１６に図示するステップＳＫ１に進み、スタートフラグＳＴＦが「１」（曲再生の開始）であるかどうかを判断する。スタートフラグＳＴＦが「０」（曲再生の停止）ならば、判断結果は「ＮＯ」になり、本処理を終えるが、スタートフラグＳＴＦが「１」（曲再生の開始）であると、判断結果は「ＹＥＳ」になり、次のステップＳＫ２に進む。ステップＳＫ２では、タイマインタラプトが曲の再生テンポに対応した最小単位時間（ティック）をカウントしたか否か、すなわち最小単位時間が経過したかどうかを判断する。最小単位時間が経過していなければ、判断結果は「ＮＯ」となり、本処理を終える。
【００５７】
これに対し、最小単位時間が経過していると、上記ステップＳＫ２の判断結果は「ＹＥＳ」になり、ステップＳＫ３に進み、レジスタＴの値（タイムＴ）をデクリメントする。そして、ステップＳＫ４では、デクリメントされたレジスタＴの値が「０」以下、つまりイベントタイミングに達したかどうかを判断する。イベントタイミングに達していなければ、判断結果は「ＮＯ」になり、処理を終える。
【００５８】
一方、デクリメントされたレジスタＴの値が「０」以下となり、イベントタイミングに達すると、上記ステップＳＫ４の判断結果は「ＹＥＳ」になり、ステップＳＫ５に進み、読み出しアドレスＡＤを歩進させる。次いで、ステップＳＫ６では、歩進された読み出しアドレスＡＤが曲終端の最終アドレスに到達していないかどうかを判断する。歩進された読み出しアドレスＡＤが最終アドレスに達していなければ、判断結果は「ＹＥＳ」となり、ステップＳＫ７に進む。ステップＳＫ７では、歩進された読み出しアドレスＡＤに応じて読み出した曲番号Ｍの曲データ（Ｍ）がイベントＥＶＴであるか否かを判断する。
【００５９】
読み出した曲番号Ｍの曲データ（Ｍ）がイベントＥＶＴならば、判断結果は「ＹＥＳ」となり、ステップＳＫ８に進み、当該イベントＥＶＴがノートイベント（ノートオン／ノートオフイベント）であるか否かを判断する。そして、読み出したイベントＥＶＴがノートイベント（ノートオン／ノートオフイベント）であると、判断結果は「ＹＥＳ」になり、ステップＳＫ９に進み、そのノートイベント（ノートオン／ノートオフイベント）を音源１６に供給した後、上述のステップＳＫ５に処理を戻す。これにより、音源１６では、ノートイベント（ノートオン／ノートオフイベント）で指定される音高の楽音を発音（又は消音）する。
【００６０】
これに対し、読み出したイベントＥＶＴがノートイベント以外のイベントであると、上記ステップＳＫ８の判断結果は「ＮＯ」になり、図１７に図示するステップＳＫ１０に進み、音色イベントであるか否かを判断する。読み出したイベントＥＶＴが音色イベントでない場合には、判断結果が「ＮＯ」になり、ステップＳＫ１３に進み、読み出したイベントＥＶＴを音源１６に供給した後、前述のステップＳＫ５に処理を戻し、読み出しアドレスＡＤを歩進させる。
【００６１】
一方、読み出したイベントＥＶＴが音色イベントの場合には、上記ステップＳＫ１０の判断結果が「ＹＥＳ」になり、ステップＳＫ１１に進む。ステップＳＫ１１では、音色変更フラグが「１」であるか否か、すなわちアート変換された絵画調画像の特徴に対してＢＧＭとして再生される曲が非調和であるかどうかを判断する。アート変換された絵画調画像の特徴に対してＢＧＭとして再生される曲が調和していれば、音色変更フラグは「０」なので、判断結果は「ＮＯ」になり、ステップＳＫ１３に進み、読み出したイベントＥＶＴを音源１６に供給した後、図１６に図示するステップＳＫ５に処理を戻し、読み出しアドレスＡＤを歩進させる。
【００６２】
アート変換された絵画調画像の特徴に対してＢＧＭとして再生される曲が非調和であると、音色変更フラグは「１」なので、上記ステップＳＫ１１の判断結果が「ＹＥＳ」になり、ステップＳＫ１２に進む。ステップＳＫ１２では、前述の変更テーブルＣＴ（図５参照）を参照し、アート変換番号Ａで指定されるアート変換特徴パラメータ中の「地域」に該当する音色となるように音色イベントの内容を変更する。
【００６３】
例えばアート変換特徴パラメータ中の「地域」が“日本”で、曲再生特徴パラメータ中の「地域」が“欧州”であったとすると、絵画調画像の特徴に対してＢＧＭ（音楽）が非調和になる。そこで、絵画調画像の特徴に対してＢＧＭ（音楽）を調和させる為、音色イベントで定義される発生楽音の音色について、変更テーブルＣＴを参照して変更する。具体的には、曲再生特徴パラメータ中の「地域」が“欧州”でメロディー音の音色が「フルート」、伴奏音の音色が「ピアノ」の曲ならば、アート変換特徴パラメータ中の「地域」が“日本”である為、メロディー音を「尺八」の音色に、伴奏音を「琴」の音色にするように音色イベントの内容を変更する。
【００６４】
このようにして、アート変換された絵画調画像の特徴に対してＢＧＭとして再生される曲が調和するよう編曲（音色変更）し終えると、ステップＳＫ１３に進み、内容を変更した音色イベントを音源１６に供給した後、前述のステップＳＫ５に処理を戻し、読み出しアドレスＡＤを歩進させる。そして、歩進された読み出しアドレスＡＤに応じて読み出した曲番号Ｍの曲データ（Ｍ）がタイムＴであると、上述したステップＳＫ７の判断結果が「ＮＯ」になり、ステップＳＫ１４に進み、次のイベントタイミングとなるタイムＴをレジスタＴにストアして本処理を終える。
【００６５】
以後、スタートフラグＳＴＦが「１」（曲再生の開始）を維持している間は、上述したステップＳＫ１〜ＳＫ１４を繰り返すことによって、アート変換された絵画調画像の特徴に調和するよう編曲（音色変更）された曲番号Ｍの曲データ（Ｍ）が順次再生される。そして、その再生の過程で読み出しアドレスＡＤが曲終端の最終アドレスに達すると、図１６に図示するステップＳＫ６の判断結果が「ＮＯ」になり、ステップＳＫ１５に進み、スタートフラグＳＴＦをゼロリセットして曲再生の停止を表し、続くステップＳＫ１６〜ＳＫ１７では、音源１６に対して発音中の全ての楽音を消音するよう指示するオールノートオフ処理を実行した後、曲進行時間を計時するタイマインタラプトを禁止して本処理を終える。
【００６６】
以上のように、ＢＧＭ処理では、スタートフラグＳＴＦが「１」（曲再生の開始）ならば、最小単位時間（ティック）が経過する度にレジスタＴの値（タイムＴ）をデクリメントし、デクリメントされたレジスタＴの値が「０」以下のイベントタイミングに達する毎に、歩進された読み出しアドレスＡＤに応じて曲番号Ｍの曲データ（Ｍ）を順次読み出して曲再生し、アート変換された絵画調画像の特徴に対してＢＧＭとして再生される曲が非調和になると、再生中の曲の音色を変更して当該絵画調画像の特徴に調和させるようになっている。
【００６７】
以上説明したように、本実施形態では、変換種類および変換された絵画調画像の特徴を表すアート変換特徴パラメータと、ＢＧＭとして再生される曲の各音を表す曲データの特徴を表す曲再生特徴パラメータとを備え、アート変換特徴パラメータに含まれる変換種類に従って表示画像を絵画調画像にアート変換する一方、アート変換特徴パラメータと曲再生特徴パラメータとの比較に基づきアート変換された絵画調画像の特徴に対してＢＧＭとして再生される曲の調和・非調和を判別し、非調和ならば、絵画調画像の特徴に対してＢＧＭとして再生される曲が調和するよう当該曲の各音を表す曲データの音色を変更するので、絵画風に変換された絵画調画像の特徴に調和するようにＢＧＭとして再生される曲を編曲することができる。
【００６８】
なお、上述した実施形態では、説明の簡略化を図る為、アート変換特徴パラメータおよび曲再生特徴パラメータの双方の「地域」が異なる場合に、アート変換された絵画調画像の特徴に対してＢＧＭとして再生される曲が非調和と判定する一例について言及したが、これに限らず、「流派」、「時代」および「地域」の全てが一致しなければ非調和と判定する態様や、「流派」、「時代」および「地域」の何れかが一致すれば調和と判定する態様としても構わない。
【００６９】
また、本実施形態では、説明の簡略化を図る為、絵画調画像の特徴に対してＢＧＭとして再生される曲が非調和となった場合、曲データの音色を変更して調和させるようにしたが、これに限らず、例えば音階や和音の構成を変えたり、リズムパターンを変えるなど様々な編曲手法を用いる態様としてもよい。このようにすれば、各様にアート変換された絵画調画像に調和する曲をＢＧＭとして再生することが可能になる。
【符号の説明】
【００７０】
１０ＣＰＵ
１１ＲＯＭ
１２ＲＡＭ
１３データメモリ
１４操作部
１５表示部
１６音源
１７サウンドシステム
１００楽音制御装置

【特許請求の範囲】
【請求項１】
変換種類および変換された絵画調画像の特徴を表すアート変換特徴パラメータと、ＢＧＭとして再生される曲の各音を表す曲データの特徴を表す曲再生特徴パラメータとを記憶するパラメータ記憶手段と、
前記パラメータ記憶手段に記憶されるアート変換特徴パラメータ中の変換種類に従って表示画像を絵画調画像にアート変換するアート変換手段と、
前記アート変換手段によりアート変換された絵画調画像の特徴を表すアート変換特徴パラメータと、ＢＧＭとして再生される曲の各音を表す曲データの特徴を表す曲再生特徴パラメータとを前記パラメータ記憶手段から読み出し、読み出した両パラメータの比較に基づきアート変換された絵画調画像の特徴に対してＢＧＭとして再生される曲の調和・非調和を判別する判別手段と、
前記判別手段により非調和と判別された場合に、アート変換された絵画調画像の特徴に対してＢＧＭとして再生される曲が調和するよう当該曲を編曲する編曲手段と
を具備することを特徴とする楽音制御装置。
【請求項２】
前記判別手段は、アート変換特徴パラメータおよび曲再生特徴パラメータがそれぞれ有する複数の共通項目の内、地域を表す項目の内容が双方で異なる場合に、アート変換された絵画調画像の特徴に対してＢＧＭとして再生される曲が非調和と判別することを特徴とする請求項１記載の楽音制御装置。
【請求項３】
前記編曲手段は、地域別の楽器音が登録される変更テーブルを備え、曲再生特徴パラメータ中の「地域」と、アート変換特徴パラメータ中の「地域」とが異なって前記判別手段により非調和と判別された場合に、当該変更テーブルを参照してアート変換特徴パラメータ中の「地域」に該当する楽器音となるように曲の音色を変更することを特徴とする請求項１記載の楽音制御装置。
【請求項４】
変換種類および変換された絵画調画像の特徴を表すアート変換特徴パラメータを備え、当該アート変換特徴パラメータ中の変換種類に従って表示画像を絵画調画像にアート変換するアート変換ステップと、
前記アート変換ステップにてアート変換された絵画調画像の特徴を表すアート変換特徴パラメータと、ＢＧＭとして再生される曲の各音を表す曲データの特徴を表す曲再生特徴パラメータとの比較に基づきアート変換された絵画調画像の特徴に対してＢＧＭとして再生される曲の調和・非調和を判別する判別ステップと、
前記判別ステップにて非調和と判別された場合に、アート変換された絵画調画像の特徴に対してＢＧＭとして再生される曲が調和するよう当該曲を編曲する編曲ステップと
を実行させることを特徴とするプログラム。

【図１】