説明

携帯及び通信可能な装置における電子音楽

【課題】 画面及び数字キーパッドを含む携帯用電子装置が開示される。
【解決手段】 携帯用電子装置は、楽音を生成するために、サウンド信号を処理するサウンドカードと、サウンドカードに関連し、楽器を電子的に合成する音楽合成器と、画面及び数字キーパッドを通して、音楽合成器と使用者とのインターフェーシングを行う使用者インターフェースと、を含む。この装置は、セルラー電話であることができ、他の装置と相互に作用することができる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、携帯及び通信可能な装置における電子音楽に関し、より詳細に、ただ非限定的には、PDA(Personal Digital Assistant)及びセルラー型装置における電子音楽に関する。
【背景技術】
【0002】
音楽的機能を有するPDA及びセルラー装置が利用可能である。このような装置は、良質の音を再生することができるようにするサウンドカードの性能を保有しているので、音楽ファイル、例えば、ベル音を再生することができ、使用者がキーボードを用いて自分だけのベル音を用いることができる。
【0003】
このような電子装置が有する主な制限事項は、制限されたリソースにある。永久及び臨時メモリの全てがデスクトップ又はラップトップコンピュータに比べて大きく制限されており、その音楽的機能は、この装置の他の活動、例えば、通信機能と衝突してはいけない。従って、音楽のような追加機能は、下記のようなリソース要求事項を超過してはいけない。すなわち、ROMは、約20MB(内蔵されたコンテンツを含むこと)で制限され、RAMは、動的ラムの約8MBで制限される。
【0004】
他の考慮事項には、電力消耗の問題がある。サウンドハードウェアは、相対的に多い量のバッテリー電力を消耗する。全てのサウンドハードウェアは、バッテリー電力を保存するために、可能な限り、スリップモードを保持しなければならない。そして、初めて使用するバッテリーは、約1〜2時間の内のサウンド再生で完全に消耗されるものと予想される。
【0005】
このような制限によって、サウンドカードの一般的な活用が制限される。使用者は、ベル音を再生して設定することができるが、そんなに多い量ではなく、このベル音の再生機能によって、使用者は、ただ、1セットの楽音(tone)を再生することができる。このセルラー装置の通信機能は、このようなベル音ファイルをダウンロードすることにのみ用いられる。
【0006】
一般に、音楽製品は、初心者が使用することができるように単純でなければならなく、熟練した使用者の要求事項も満足させなければならない。このような場合、この熟練した使用者とは、良好な音楽的基礎を持っている使用者であり、しばしば、楽器を演奏することができるか、又は、音楽的理論に関する知識を持っている使用者を意味する。特に、この音楽製品は、進歩した使用者に対しては、さらに良い結果を作り出さなければならない。また、初心者に対しても、この製品は、使用されるほどさらに良い結果を作り出すべきものと期待されなければならない。
しかしながら、このセルラー装置の最大の性能は、十分に活用されていない状況である。
【発明の開示】
【発明が解決しようとする課題】
【0007】
上記背景に鑑みて、本発明の目的は、携帯及び通信可能なセルラー型装置における電子音楽を提供することにある。
【課題を解決するための手段】
【0008】
このような目的を達成するために、本発明の第1の見地によれば、画面及び数字キーパッドを含む携帯用電子装置であって、この装置の可聴入力で可聴楽音を生成するために、サウンド信号を処理するサウンドカードと、このサウンドカードに連結されて楽器を電子的に合成する音楽モジュールと、この画面及びこの数字キーパッドを通してこの音楽モジュールと使用者とをインターフェーシングするために、この数字キーパッドからの入力がこのサウンドカードを通してオーディオ出力になる使用者再生モードを設定する使用者インターフェースと、を含むことを特徴とする。
【0009】
望ましくは、この音楽モジュールは、音楽合成器である。
望ましくは、この音楽モジュールは、ソフトウェア合成器である。
追加的に、又は、その代わりに、この音楽合成器は、ハードウェア装置である。
望ましくは、この使用者インターフェースは、貯蔵された音楽ファイル又は通信チャンネルからのデータがこのサウンドカードを通してオーディオ出力になるプレイバックモードを設定するように構成される。
【0010】
望ましくは、この使用者インターフェースは、この数字キーパッドからの入力がこのサウンドカードを通してオーディオ出力になり、データストレージに記録される記録モードを設定するように構成される。
【0011】
望ましくは、この使用者インターフェースは、貯蔵された音楽ファイルからのデータがこのサウンドカードを通してオーディオ出力になり、この数字キーパッドからの入力がこの貯蔵された音楽ファイルからのこのデータとともに、オーディオ出力に転換される再生及び記録モードを設定するように構成される。
【0012】
この装置は、この貯蔵された音楽ファイルの音楽パラメータを抽出するパラメータ抽出器と、このパラメータ抽出器に連結され、この貯蔵された音楽ファイルのこの抽出された音楽パラメータのうちの一部をこの使用者入力に対する拘束要素として設定し、この使用者入力とこの貯蔵された音楽ファイルとの間の自動的な一致をなすための拘束ユニットと、をさらに含むことができる。
【0013】
望ましくは、このパラメータ抽出器は、このファイルと関連したメタデータからこの貯蔵された音楽ファイルのこの音楽パラメータを獲得するように構成される。
望ましくは、このパラメータ抽出器は、このファイル内のイベントリストからこの貯蔵された音楽ファイルのこの音楽パラメータを獲得するように構成される。
【0014】
望ましくは、この使用者インターフェースは、階層化されたメニュー及び各階層を含み、この各階層は、記録、使用者再生、及びプレイバックモードのうちの少なくとも二つのモード間の第1のレベルでのセレクション、同期する複数の楽器又は再生される複数の貯蔵ファイル間の第2のレベルでのセレクション、独立再生及び他の装置とのグループ化間の第3のレベルでのセレクション、調標間又は音楽タイミング間の第4のレベルでのセレクション、及び選択された調標で音間の第5のレベルでのセレクションを含む。
【0015】
望ましくは、この数字キーパッドは、キーストライクイベントの速度を検出することができるキーストライク検出機能を有するように構成され、この音楽モジュールは、この速度を制御パラメータとして用いることができる。
【0016】
この装置は、セルラー通信チャンネルを含むことができる。
望ましくは、この音楽ファイルは、ベル音ファイルである。
【0017】
本発明の第2の見地によれば、複数のトラックを含むトラックに基づく音楽ファイルの複合的再生及び編集方法であって、反復ループでこの音楽ファイルを再生するステップと、このループのうちの1つで音楽材料をこの複数のトラックのうちの1つに追加するステップと、このループが実行されてからすぐ次のループでこの追加された音楽材料を有するこの1つのトラックを含むこの複数のトラックを再生するステップと、を含むことを特徴とする。
【0018】
望ましくは、この再生及び編集ステップは、この再生のためにこのファイルの既存のトラックを読み出すステップと、この追加のために付加的なトラックを除去するステップと、を含む。
望ましくは、この読出しステップは、先行読出し位置で遂行され、この追加ステップは、先行追加位置で遂行され、この追加位置は、この読出し位置の後ろである。
望ましくは、この音楽ファイルは、イベントストリームファイルである。
望ましくは、この音楽材料を追加するステップは、楽器を設定するステップ及び数字キーパッドを通して音を用いるステップを含む。
【0019】
この方法は、この音楽材料を追加するステップを拘束するための調標及び音楽タイミングの少なくとも1つをこの音楽ファイルの分析によって獲得するステップを含むことができる。
望ましくは、この分析は、この音楽ファイルとともに貯蔵されたメタデータを分析するステップを含む。
望ましくは、この分析は、この音楽ファイルのイベントストリームを分析するステップを含む。
【0020】
この方法は、このトラックに基づくファイルを通信チャンネルを通して受信することを特徴とする初期段階を含むことができる。
この方法は、このトラックに基づくファイルをこの追加された音楽材料とともに通信チャンネルを通して伝送する後続段階を含むことができる。
【0021】
本発明の第3の見地によれば、複数の音楽トラックを含むトラックに基づく音楽ファイルを再生して編集する携帯用電子装置であって、反復ループでこの音楽ファイルのトラックを再生するループに基づく再生ユニットと、このループに基づく再生ユニットと連結され、この反復ループの1つで再生する間に音楽材料をこの複数のトラックのうちの選択されたループに追加する編集ユニットと、を含み、この音楽ファイルの反復ループは、この追加された音楽材料を有するこの複数のトラックのうちのこの選択されたループをさらに含むことを特徴とする。
【0022】
望ましくは、この編集ユニットは、この追加の前に、この複数のトラックのうちのこの選択されたループから既存の材料を削除するように動作する。
望ましくは、記録は、仮想の記録ヘッドで遂行され、再生は、仮想の再生ヘッドで遂行され、この仮想の記録ヘッドは、この再生及び編集の間に、この仮想の再生ヘッドの後ろに臨時にある。
望ましくは、この音楽ファイルは、イベントストリームファイルである。
【0023】
この装置は、数字キーパッド及び画面をさらに含み、この音楽材料の追加は、楽器の設定及びこの数字キーパッド及びこの画面を通した音の利用をさらに含むことができる。
この装置は、この音楽材料の追加を拘束するための調標及び音楽タイミングの少なくとも1つをこの音楽ファイルの分析によって獲得する拘束ユニットを含むことができる。
望ましくは、この分析は、この音楽ファイルとともに貯蔵されたメタデータの分析を含む。
望ましくは、この分析は、この音楽ファイルのイベントストリームの分析を含む。
この装置は、遠いところからこのトラックに基づくファイルを受信し、このトラックに基づくファイルをこの追加された音楽材料とともに通信チャンネルを通して伝送する通信チャンネルを含むことができる。
【0024】
本発明の第4の見地によれば、音楽ファイルを再生し、使用者が音楽材料を入力するようにする携帯用電子装置であって、使用者入力音楽材料及び音楽ファイルデータを含むデータから音楽を再生する再生ユニットと、この音楽ファイルの音楽パラメータを抽出するパラメータ抽出器と、この使用者入力音楽材料を受信する使用者入力ユニットと、このパラメータ抽出器及びこの使用者入力ユニットに連結され、この音楽ファイルの抽出されたこの音楽パラメータのうちの1つを使用者入力のための拘束として設定し、この拘束に従って、この使用者入力音楽材料の再生及び記録のうちの少なくとも1つを獲得する拘束ユニットと、をさらに含むことを特徴とする。
【0025】
望ましくは、このパラメータ抽出器は、この音楽ファイルと関連したメタデータを読み出してこの音楽パラメータを抽出するように構成される。
望ましくは、このパラメータ抽出器は、このデータファイルのイベントストリームからこの音楽パラメータを推論するように構成される。
この装置は、入力音楽ファイルを受信し、この拘束された使用者入力による増加の後、音楽ファイルを伝送するためのセルラー通信機能をさらに含むことができる。
【0026】
本発明の第5の見地によれば、携帯用電子装置であって、電子ストレージ、通信チャンネル、又は使用者入力から音楽を再生する音楽再生機能と、この装置が少なくとも1つの他の装置に同期するようにするグループ化機能と、このグループ化機能及び音楽再生機能に関連し、この装置がこの通信チャンネルからの音楽をこの使用者入力からの音楽とともに、同期方法で再生するようにするグループ再生機能と、を含むことを特徴とする。
望ましくは、このグループ再生機能は、この通信チャンネルのレイテンシーを克服するための少なくとも1つのサイクルの追加を含む。
【0027】
この装置は、この使用者入力が、この通信チャンネルを通して伝送されて後続期間の間に少なくとも1つの他の装置で利用可能であるように望ましく構成される。
望ましくは、この後続期間は、すぐ次の期間である。
望ましくは、このグループ化機能は、グループを形成し、同期を制御するためのグループマスタリング機能を含む。
望ましくは、このグループ化機能は、遠く位置したマスター装置に対してスレーブとして動作してこのマスター装置に同期するように構成される。
【0028】
この装置は、表示画面及びグループの内の他の装置の表示をこの画面上にアイコンとして提供するための表現機能を含むことができる。
望ましくは、このアイコンは、動くアイコンである。
この装置は、この使用者入力を分析して各使用者にこの使用者の音楽再生に対するフィードバックを提供するためのフィードバックユニットを含むことができる。
望ましくは、このフィードバックユニットは、この使用者入力をイベントストリームとして分析するように構成される。
【0029】
本発明の第6の見地によれば、携帯用電子装置のための音楽コンテンツ入力システムであって、この携帯用電子装置の動きパラメータを検出する動き検出器と、使用者入力音楽材料を受信する使用者入力ユニットと、この動き検出器及びこの使用者入力ユニットに連結され、この動きパラメータを用いて音楽生成パラメータを定義し、この使用者入力を変更することによって、この携帯用電子装置がこの使用者入力音楽材料をこのパラメータに従って再生するようにする拘束ユニットと、をさらに含むことを特徴とする。
望ましくは、この動き検出器は、統合的に装着されたカメラの部分である。
【0030】
本発明の第7の見地によれば、携帯用電子装置であって、オーディオ入力と、 異なる楽器を同期するための複数の楽器モードを含む電子音楽合成器と、この入力から獲得されたクリップが装置定義楽器として使用されるこの電子音楽合成器のための追加モードと、を含むことを特徴とする。
【0031】
この装置は、音楽品質を用いてこの入力からこのクリップを分類して貯蔵するための分類器(categorizer)を含むことができる。
望ましくは、このオーディオ入力から材料の音楽品質を確認するための音楽分析器がこの分類器より先行する。
望ましくは、この分類は、異なる音を有するクリップを注文製作された楽器に配列する。
【0032】
この装置は、このオーディオ入力で自発的に記録を遂行する自発的ソフトウェアユニットを含むことができる。
望ましくは、この自発的ソフトウェアユニットは、音楽分析器に連結され、この音楽分析器の分析特性を用いることによって、所定のオーディオ記録を貯蔵するか又は廃棄するかを決定する。
この装置は、映像を撮影してこの装置に貯蔵するカメラ入力をさらに含み、この追加モードは、この貯蔵された映像をこの装置定義楽器の音楽ファイルに追加する機能を含むことができる。
この装置は、映像撮影のためのこのカメラ入力を動作させる自発的ソフトウェアユニットを含むことができる。
【0033】
この装置は、ビデオ映像を撮影してビデオ映像クリップをこの装置に貯蔵するビデオカメラ入力をさらに含み、この追加モードは、この貯蔵されたビデオ映像クリップをこの装置定義楽器の音楽ファイルに追加する機能を含むことができる。
この装置は、このビデオ入力を動作させるための自発的ソフトウェアユニットを含むことができる。
この装置は、予め貯蔵されたパターンに従って音楽を構成するためのパターンモードを含むことができる。
この装置は、この装置上の音楽活動をモニタリングし、この予め貯蔵されたパターンを変更するために、モニタリング結果を用いるための人工学習モジュールを含むことができる。
【0034】
本発明の第8の見地によれば、携帯用電子装置に少なくとも1つのトラックを含む音楽ファイルを編集する方法であって、この携帯用電子装置のこのトラックを再生するステップと、この携帯用電子装置のインターフェースを用いて再生すると同時にこのトラックを編集するステップと、を含むことを特徴とする。
望ましくは、この音楽ファイルは、マルチトラックファイルである。
追加的に、又は、その代わりに、この音楽ファイルは、ベル音ファイルである。
望ましくは、この携帯用電子装置は、この音楽ファイルを受信して伝送するように構成されたセルラー通信が可能な装置である。
【0035】
特に別の定義がない限り、本明細書に使用されたすべての技術的及び科学的用語は、本発明が属する分野の当業者によって共通的に理解されるものと同一の意味を有する。本明細書に提供されている物質、方法、及び例は、例証のためのものであり、本発明に対する制限を意図することではない。
【0036】
本発明の方法及びシステムの実見は、任意の選択されたタスク、ステップ、又は、その組合せを受動的/自動的に実行するか又は完了することを含む。また、本発明のこの方法及びシステムの望ましい実施形態の実質的な手段及び装置に従うと、選択された複数のステップは、所定のファームウェアの運営体系上のハードウェア、ソフトウェア、又は、その組合せによって実行されることができる。例えば、ハードウェアとして、本発明の選択されたステップは、チップ又は回路によって実行されることができる。ソフトウェアとして、本発明の選択されたステップは、任意の適当な運営体系を使用するコンピュータによって実行される複数のソフトウェア命令によって実行されることができる。どんな場合でも、本発明のこの方法及びシステムの選択されたステップは、複数の命令を実行するためのコンピューティングプラットホームのようなデータプロセッサーによって実行されるものとして説明されることができる。
【0037】
本発明の説明は、図面を参照して例示されただけである。以下、図面を詳細に参照した説明で強調されるところ、具体的な事項は、本発明の望ましい実施形態の例示的説明のために例として示すものであり、また、本発明の思想的な側面及び原則の即刻的な理解のための説明として見なされるところを提供するために開示されただけである。このような側面で、本発明の基本的な理解のために、必要な程度以上で、本発明の構造的な細部事項を開示するための試みは、許容されない。本発明のいくつかの具体的な実施形態がどのように実施されることができるか、という点については、図面を参照した説明によって当業者に明らかになるであろう。
【発明の効果】
【0038】
分離された実施形態において明確に説明された本発明の特徴は、単一の実施形態でのコンビネーションで提供されることができる。反対に、単一の実施形態で簡潔に説明された本発明の多様な特徴は、別個に提供されることができるか、又は、適当なサブコンビネーションで提供されることができる。
【発明を実施するための最良の形態】
【0039】
本実施形態は、移動電話、PDA、又は、音楽的機能を有するこれと類似した装置のような携帯用電子装置及び使用者がこの音楽的性能の基本的又は熟練した活用を行えるようにするインターフェースを含む。さらに望ましい実施形態において、この装置は、電話会議(conference call)の音楽バージョンで他の装置とグループに連動することができる。
【0040】
本発明に従う音楽インターフェースを有する携帯用電子装置の原理及び動作は、添付図面及び説明を参照してさらに良く理解することができる。
本発明の少なくとも1つの実施形態を詳細に説明する前に、まず、本発明は、図面に示した構成要素の構成及び配列の細部事項に対する適用に制限されない点に留意しなければならない。そして、本発明は、多様な方法で実施又は実行が可能である。また、本明細書に使用された表現及び用語は、説明のためのものであり、制限されたものではないことに留意しなければならない。
【0041】
図1は、本発明の望ましい第1の実施形態に従う携帯用電子装置10を示す図である。図1を参照すると、装置10は、画面12及び数字キーパッド14を含んでいる。装置10は、楽音(musical tone)を生成するために、サウンド信号を処理し、音楽を出力するために、装置スピーカーに接続されるサウンドカード16をさらに含む。また、装置10は、このサウンドカードと連動し、所定の範囲の楽器を電子的に合成することができる音楽モジュール18、例えば、合成器をさらに含む。音楽モジュール18は、便宜上、ソフトウェア、ハードウェア、又は、ファームウェアであることができ、このサウンドカードの一部分であることができる。すなわち、音楽モジュール18は、メモリに貯蔵された各楽器のスタイルに従って楽音を再生することができる。装置10は、画面12及び数字キーパッド14を通して音楽合成器18と使用者とをインターフェーシングするための使用者インターフェース20をさらに含む。従って、装置10の音楽的機能が後述するように使用し易くなる。
【0042】
望ましくは、使用者インターフェース20は、この使用者が合成器18及び装置10の音楽的特性を使用するための複数のモードを便利に設定することができるように構成される。図2は、このインターフェースが提供する複数の基本的な使用状態を示す。図2において、モード選択状態30は、使用者入力34をキーパッド14を通して記録する記録モード32を読み出し、プレイバックモード36は、ストレージ38又はセルラーチャンネル40からのファイルを再生し、再生及び記録モード42は、ファイルを再生すると同時に、使用者入力を記録する。
【0043】
再生及び記録モード42は、下記の通りに動作する。まず、N個の背景トラック及びM個の使用者トラックは、所定の瞬間に存在し、この使用者トラックは、初期に空いている状態である。全てのトラックは、常に、反復的に同時に再生される。この背景トラックは、歌の一部分である背景音楽を含み、決して変わらない。各使用者トラックは、楽器に関連し、音(note)がこのトラックでどのように音を出すかを決定する。所定の瞬間に、この使用者トラックのうちの1つは、アクティブトラック(active track)として指定される。記録モードでない再生モードで、このアクティブトラックの唯一の作用は、このキーパッドのキーが押されるとき、それに従う音がこのアクティブトラックという楽器により演奏される。記録キーが押されるとき、すぐに、そのアクティブトラックが記録のための準備を行ない、電話機は、記録待機状態に進入する。このサイクルが終了し次第、いくつかのことが発生する。すなわち、この電話機が記録状態に進入し、現在トラックが記録のために準備され、全体のシーケンスがクリアされる。この瞬間からこのサイクルが終了されるまで、全ての使用者のアクションがこのアクティブトラックに記録される。このサイクルが終了され、この記録キーがこのサイクルの間に押されないと、システムは、非記録状態に復帰する。後者の場合、このシステムは、まるで記録状態に進入するもののように、さらに動作する。
【0044】
このシステムの典型的な動作に含まれるものとしては、アクティブトラックの選択、このアクティブトラックに対する記録、他のトラックへの転換、先行記録、又は、背景音楽とともに演奏されることができる追加的な記録などがある。このような過程の間に、使用者が既存のトラックのコンテンツに他のものを追加するよりは、変更することを願う場合がある。このような場合、上述したように、記録が開始され次第、このトラックがクリアされるため、この使用者は、同一のトラックに単純に再記録のみ行えば良い。
【0045】
図3は、再生及び記録モード42の特に望ましい特徴を説明するための単純化した図である。図3において、音楽ファイル50が背景音楽として選択されるか、又は、記録されるためのファイルとして選択される。このファイルは、再生されて分析される。分析の結果、このファイルは、メタデータ52であるか、又は、このファイルコンテンツを構成するイベントリスト54であるか、又は、ミディ(MIDI)ファイルであることができる。この分析は、音楽ファイル分析器56によって遂行される。音楽ファイル分析器56は、パラメータ抽出器及び拘束(constraint)ユニットとして機能する。すなわち、音楽ファイル分析器56は、このファイルから同期化及びビット情報のようなタイミング情報、ライトロック(light rock)、ヘビーロック(heavy rock)、及びケルト(Celtic)などのようなスタイル情報及び楽器情報のようなパラメータを抽出する。この抽出されたパラメータ58は、使用者入力60に対する拘束要素として用いられる。すなわち、この使用者入力には、この背景音楽と配合されることができるように、デフォルトセレクション(default selection)が与えられる。従って、デフォルトビットは、この背景音楽のデフォルトビットである。デフォルトスタイルは、この背景音楽のデフォルトスタイルであり、この入力は、自動にこの背景音楽に同期する。言い換えれば、この結果は、この使用者入力とこの貯蔵された音楽ファイルとの間の自動的な一致をなすもので、相対的に熟練していない使用者さえも、自分の入力とこの背景を一体化することができる。
【0046】
図4は、この使用者インターフェースに有用な異なる機能のための階層化したメニュー画面を説明するための単純化した図である。この多様な階層は、独立(standalone)及びバンドモード間のセレクションを許容する1つのレベル及び記録、再生−記録及びプレイバックモード間のセレクションを許容する他のレベルを含む。第3のセレクションは、同期する複数の楽器間の第2のレベルでのセレクションを可能にするか、又は、複数の貯蔵されたファイルが再生されるようにする。また、セレクションは、調標(musical key)間又は音楽タイミング間に有用であり、この選択された調標で音間のセレクションも有用である。
【0047】
本発明の望ましい実施形態において、この数字キーボードは、キーストライクイベントの速度を検出することができるキーストライク検出で構成されることによって、この電話キーパッドは、ミディキーボードの特性をすべて備え、この合成器は、この速度情報を得てこの生成された音を変化させるのに用いることができる。
【0048】
背景トラックに音楽を記録するとき、このインターフェースを用いる方法のうちの1つは、この再生及び記録モードに進入して、所定のファイルを現在再生されている背景音楽として設定することである。この後、このトラックは、反復ループに沿って再生されることができる。このループの間に、使用者入力は、このサウンドカードに反響しつつこのトラックに追加される。次のループで、このトラックは、追加された材料(material)とともに再生される。本発明の一実施形態において、この音楽ファイルは、WAVファイルのような波形タイプのサウンド表現(representation)ファイルであるというよりは、ミディファイルのようなイベントストリームタイプのファイルである。このイベントストリームタイプのファイルは、イベントストリームが音楽パラメータを分析することに一層容易であり、これによって、このイベントストリームがこのセルラー装置の制限されたリソースの有用性の範囲の内で実行することが一層容易であるという点で、波形タイプのファイルより利点を有する。本発明の他の実施形態において、このファイルの分析は、オフラインで行われる。
【0049】
望ましくは、この音楽材料の追加は、上述したように、楽器の設定、必要に応じた他のパラメータの設定及び数字キーパッドを通した音の利用を含む。
【0050】
図5は、音楽可能電話装置がグループで動作することができる本発明の実施形態を説明するための単純化した図である。図5において、移動装置70を有する第1の使用者が移動装置72を有する第2の使用者のような他の使用者とグループを設定する。移動装置70は、PCリンクを通してPDA74に接続することができ、ネットワークリンクを通してウェブサーバー76に接続することができる。このネックワーク及びPCリンクは、下記のような2つの目的を有する。
【0051】
1.コンテンツ提供 − 使用者間、ウェブサイトから使用者へ、そして使用者のPCから使用者の移動装置へ、の電子音楽ファイルの伝送。
2.電子音楽の移動バージョンを使用する使用者及びデスクトップバージョンを使用する使用者のためのプレイバック同期化。
このサーバー又はPCは、グループがセットアップされる方法に従ってこのグループを提供するのに選択的に用いられることができ、詳細な内容は、後述される。
【0052】
このリンクは、楽器ファイルを伝送するのに使用されることができる。本発明の望ましい実施形態において、楽器は、所定の楽器で各音(each note)のサウンドに関する情報を含む電子ファイルによって表される。各装置に提供された楽器管理者は、この楽器ファイルを管理するファイル管理者である。例えば、この楽器管理者は、現在設置された楽器のリストを使用者に見せ、この使用者が楽器を削除するか、又は改名するようにする。この使用者は、詳細な内容は後述するが、音のセット(note set)を定義するか、又は、ネットワークやPCリンクを通してダウンロードすることによって、新たな楽器を追加することができる。
【0053】
上述したように、携帯用移動装置70は、電子ストレージ、通信チャンネル、又は使用者入力から音楽を再生する音楽再生機能を保有する。また、携帯用移動装置70は、通信チャンネルを通して他の装置とグループ化されることができるようにするグループ化機能も保有する。音楽再生の目的のために、この装置は、この通信チャンネルを通して同期することができる。結果的に、この個別的な装置がこの通信チャンネルからの音楽をこの使用者入力からの音楽とともに、同期方法で再生するようにするグループ再生機能が形成される。ローカル装置で行われた入力は、グループ内の他の装置に伝送される。この伝送チャンネルでのレイテンシー(latency)によって、所定の装置での入力は、次のサイクルが始まるときまでこのグループ内の他の装置には有用でない。従って、グループメンバーは、グループセッションの結果をもっとあとまで聞くことができない。それにもかかわらず、全ての使用者が同期するとき、全ての再生器がループに基づいた音楽を再生し、全ての再生が同一のスケール及び時間に基づくので、リアルタイムではないが、バンド又はオーケストラの効果を獲得することができる。このグループ再生機能を使用すると、各グループメンバーは、背景トラックを聞くことができ、この背景トラックに従って再生することができる。また、各メンバーの使用者入力は、グループの内の他のメンバーの入力に追加されてコンパイル(compilation)を形成することができる。グループ同期化信号は、コンパイルの間にグループコンパイルが正確なタイミングを観察することを保証するのに使用されることができるが、新たなトラックを除いては必要としないこともある。
【0054】
このグループの内の装置のうちの1つがマスターとして設定されることができる。このマスター装置は、同期化を制御する装置であり、背景音楽を設定するか、又は、このグループセッションに必要な他の設定を行うためのデフォルト装置である。このマスター装置は、残りの装置がグループに参加するように勧告するか、又は、この残りの装置がこのマスターを呼び出すか、又は、既設定された番号を呼び出すことによって参加申請を行う。このグループセッションは、電話会議をセットアップするものと技術的に類似しているので、電話会議に有用な全ての技術は、このグループセッションを可能にする熟練者に有用である。例えば、このグループに必要な支援は、サーバー76のような専用サーバー又はこの装置のうちの1つから提供されることができる。この残りの装置は、この同期化及びこのマスターによって設定された他の信号に応答しながら、このセッションでスレーブとして動作する。このグループセッションで、このマスターは、どんな項目を演奏するか、そして、相互に異なるこのグループメンバーがどのようなパートを演奏するかを規定し、また、コンダクターとして機能することによって、要求された通りの多様なこのパートを実現することが望ましい。もちろん、1つの装置がこのマスターになることができ、コンダクティング(conducting)のようなタスク(task)を要求された通りに他のグループメンバーに割り当てることも可能である。選択的には、コンダクターなく演奏する自由型バージョンが使用されることもできる。
【0055】
望ましく、この装置は、コンサートの中に呼び出されないようにド-ナット-ディスターブ(do-not-disturb)モードを設定することができる。
【0056】
望ましい実施形態において、通常に、表示画面を有するこの携帯用電子装置は、他のグループメンバー又は再生器をアイコンとして表示するための表現機能を支援する。例えば、このアイコンは、所定の再生器に割り当てられた楽器を表示することができる。このアイコンは、アニメーションであることができ、例えば、所定のグループメンバーの活動を表示することができる。従って、所定の時間に再生されることを要求しないパートを有するグループメンバーは、非活動状態で表示されることができる。一方、再生要求されたメンバーは、彼らに割り当てられた楽器などを再生することを表示することによって、活動状態で表示されることができる。グループ活動の以外に、アニメーションが現在設定された音楽スタイルに従って踊るか、リズムを表示するのに使用されることができる。
【0057】
望ましい一実施形態において、この携帯用装置は、音楽再生に対するフィードバックを提供するために、この使用者入力を分析するためのフィードバックユニット又は個人教師を含む。このフィードバックユニットは、この携帯用装置に統合されるか、又は、このPCリンク又はネットワークリンクのようなネットワークを通して使用されることができる。このフィードバックユニットは、使用者によって再生された音を目的シーケンスと比較することができ、タイミング、テンポ、スケールなどについて注釈することができる。また、一実施形態で、このフィードバックユニットは、この使用者入力をイベントストリームとして分析することによって、この事項を得ることができる。イベントストリームを分析することは、この移動装置の制限されたリソースの機能の範囲の内である一方、オーディオ波形を分析することは、さらに難しく、少なくとも1つのコンピュータを必要とする。分析は、使用者音(note)シーケンスを歌のファイルとともに提供された目的音シーケンスと比較することだけ単純である。使用者が特定の歌を再生するようにするために、この目的音(note)シーケンスは、慎重に提供されることができる。他の実施形態又はさらに複雑な実施形態において、分析は、使用者の自律的な創造の音楽的な正確さを確認することを含むことができる。どんな場合でも、この使用者は、自分の演奏成績に従って、論評とともに等級が決められることができる。望ましく、このフィードバックユニットは、この使用者に視覚的又はオーディオフィードバックをリアルタイムで提供する。望ましい一実施形態において、事実、使用者の演奏は、新たに追加された使用者パートをこのループシーケンスに追加する前に等級をスケールする時間量子化又はピッチ量子化を用いて訂正されることができる。
【0058】
この個人教師は、このグループ演奏の特徴のみならず、本発明の実施形態にも関連している。
【0059】
この訓練セッションは、ゲームの形態で現れることができる。すなわち、機械は、シーケンスを再生し、使用者は、聞取り及び視覚的コンテンツ(楽譜/他の表現)に基づいて、このシーケンスを反復しなければならない。この使用者が成功するときごとに、この使用者は、次のシーケンスに移ることができる。反対に、この使用者が失敗するときごとに、この使用者は、改善のための助言を含んだメッセージを受信し、また、同一のシーケンスを反復する。上述した全ての過程は、背景音楽が継続的に演奏される間に発生し、訓練それ自体の過程を通して機械的及び使用者の過程を含む(セッションの間に何の中止もなく、全ての部分が連続された)1つの長い音楽作品が創造される。
【0060】
この使用者シーケンス及び目的シーケンスの評価を目的として、下記のような二つの代案的な実施形態が提供される。
【0061】
1.総信号エネルギーに比較される総エラーエネルギーの計算:この使用者シーケンスとこの目的シーケンスが所定の時間で比較されると、所定の場合で再生されるものと予測された音のセット(set of note)が、実際再生される音(note)と比較されることができる。上記2つの音のセット間の差の大きさは、“瞬間的なエラー(instantaneous error)”と呼ぶ。この瞬間的なエラーを時間に対して積分すると、総シーケンスエラーを示す計算値(metric)が得られる。この後、この信号エネルギーとこのエラーエネルギーとの和で、この総信号エネルギー(時間に対する目的セットの大きさの積分)を区分して、この目的シーケンスとこの使用者シーケンスとの間の“類似性(similarity)”を示す0と1との間の数を得ることができる。実際、このような積分を計算することは、単純な和を減少させる。従って、実行が相対的に容易である。
【0062】
2.最小編集距離(minimum edit distance)の計算:この方法は、一番目の方法より複雑であるが、フィードバック提供機能を使用者に提供することによって、この使用者は、理由及びエラーに対してさらに良い見識を有する。この方法は、コンピューティング(computing)、すなわち、本発明の理解のために参考された、1997年11月4日米国で出願された米国特許第6,073,099号に開示されたレビンスタイン(Levinstein)アルゴリズムを用いた“最小編集距離”を含む。この場合、このアルゴリズムに対するストリング(string)キャラクターは、楽譜であり、各楽譜は、ピッチ、開始時間、及び区間(duration)の3つの属性を含む。使用されるこの計算値は、この楽譜の3つの属性−それぞれは、異なる加重値を有すること−を考慮する公式によって算出される余分の音を追加する費用、音をスキップする費用、及び二つの音間の距離を含む。一般に、タイミングエラーは、ピッチエラーよりも加重値が一層小さく与えられる。この最小編集距離が大き過ぎると、システムは、使用者が音の誤ったシーケンスを演奏したと結論づけ、この使用者が正しい音を演奏するように案内するために、フィードバックを提供する。このシステムは、使用者がどこで間違ったのかを正確に見せることができる。この編集距離が小さいと、このシステムは、2対の、すなわち、この目的音とこの実際音との間の時間/区間での自乗距離(square difference)を蓄積することによって、この総タイミングエラーを確認する。この編集距離が相当に小さい場合、このシステムは、それぞれ2個ずつ相互に対をなす二つの音(すなわち、目的音と実際音)間の時間/区間での自乗距離をそれぞれの対ごとに蓄積することによって、この総タイミングエラーを確認する。このとき、使用される対の編成(ペアリング(paring))は、このレビンスタインアルゴリズムを用いてなされ、“置換え” 動作に考慮される二つの音が対をなす。この後、使用者にタイミング及び区間の正確度に対するフィードバック、例えば、“正しい音を演奏したが、テンポに注意してください”が提供されることができる。
【0063】
図6は、この携帯用電子装置の追加的な検出器が音楽的な入力に影響を及ぼす音楽生成パラメータを設定するために用いられる本発明の他の実施形態を説明するための単純化した図である。図6において、以前の図面上の構成要素と同一の構成要素については、同一の参照番号が付けられ、本発明の理解に必要な場合を除いては説明されない。移動電話装置は、カメラ80を含む。多様な実施形態において、カメラ80は、動いているとき、露出時間を減らすもののような、自分の多様な要求のために提供された動き検出器82を含むことができる。一実施形態において、ビデオカメラとの使用のために、動き検出器82は、ソフトウェアの形態で提供されることができ、このような検出器は、MPEG方式の部分である。しかしながら、動き検出器82は、音楽生成のために制御パラメータを生成するための音楽システムに使用されることができる信号を生成する。例えば、使用者は、動き検出器82が決定することができる所定の比率でこの移動電話を振ることができ、この比率は、現在入力に対するビート(beat)を設定するのに使用されることができる。選択的に、動き検出器82の出力は、音量又は他のパラメータを設定するのに使用されることができる。
【0064】
図7は、本発明の他の望ましい実施形態を説明するための単純化したブロック図である。図7において、携帯用電子装置90は、オーディオ入力92と、オーディオ入力92に接続され、音楽的な品質のために、オーディオ入力を分析する音楽品質分析器94とを含む。このとき、識別可能な音楽的な品質を有するオーディオエクサープト(audio excerpts)がストレージ96に貯蔵される。従って、特定の音がオーディオサンプルで確認されると、このオーディオは、この特定の音として貯蔵される。このシステムは、オーディオ入力からフルセットの音を満たすように試みた後、この音のセットを楽器用音のセットとして貯蔵する。言い換えれば、このシステムは、サウンドカード97の部分である合成器98の上で、新たな楽器を定義するために、正規のサウンド入力を使用する。合成器98は、ソフトウェア合成器であるか、又は、ハードウェア合成器であるかにかかわらず、他の楽器を合成するための多くの楽器モードを含み、このオーディオ入力は、追加の装置が指定された楽器を提供するだけである。合成器98の出力は、オーディオ出力装置100に入力される。
【0065】
図7に示すシステムは、図6に示したようなカメラ入力を有する装置と結合されることができる。無作為の撮影であるか、意図的な撮影であるかに無関係に、撮影された映像は、結果的音楽ファイルを説明し、添付されたビデオクリップを提供するのに使用されることができる。すなわち、システムは、この音楽を説明するための映像を用いるために提供される。停止映像でも、ビデオカメラで同一に進行することができる。ここで、このオーディオ入力での記録、又は、このカメラ又はビデオでの記録は、エージェント、又は、連続的、又は、任意の方法で入力を処理するソフトウェア装置を用いて容易に遂行されることができる、という点に留意しなければならない。
【0066】
図8は、本発明の他の望ましい実施形態を説明するための単純化したブロック図である。図8の実施形態において、パターンモードは、既貯蔵されたパターン110又は任意の音楽生成アルゴリズムに従って、音楽を構成するために設定されることができる。パターンの生成は、短い音楽シーケンス又は楽句(phrase)を自動に生成する過程である。このようなシーケンスは、利用可能な合成メカニズムを用いて再生されることができる音及び分節(articulation)データのシーケンスに過ぎない。このパターンは、機械学習システム(machine learning system)112に関連することができ、この機械学習システム112は、装置入力からデータ114を記録し、使用者の趣味を学び、このパターンを変形するためのフィードバックを提供するために出力する。このようにすることによって、洗練美(sophistication)を元来のパターンに追加することが可能である。例えば、機械学習システム112は、神経網であることができる。その結果は、絶えず増加する洗練美の感覚を使用者に与えながら、このパターンが時間に従って進化することである。
【0067】
他の実施形態において、サンプルが任意に記録する自発的なエージェントを用いて、環境から習得されて音楽的な特徴のために分析される。このサンプルは、サンプルの量子化、背景の利用、及びこのサンプルの再生を含む過程によって個人化された音楽的な作曲に用いられることができる。集められたサンプルは、背景音楽として再生されるか、又は、個人的な音として用いられることができ、合成器に供給されて音に対応してオーディオを生成する。このような概念は、共通的に、ウェーブテーブルの合成(wavetable synthesis)と称される。
【0068】
ここで、2つの実施形態、すなわち、パターンの生成及びウェーブテーブルの合成は、例えば、以前の実施形態のパターンをこの合成器を用いて再生することによって、共に用いられることができる。
従って、人工知能の利用は、新たなパターンの生成を可能にする。
【0069】
生成されたパターンは、作曲のための構成要素として使用されることができる。この使用者が各トラックで実際音を再生する上述したメカニズムと類似して、この使用者は、この音を再生するよりは、この生成されたパターンでトラックコンテンツを満たすことによって、このトラックコンテンツに対する高いレベルの制御を有することができる。例えば、この使用者は、3番のトラックをこの実際トラックとして設定し、このキーパットのキーのうちの1つを押すことによって、この3番のトラックのコンテンツがクリアされるようにし、新たに生成されたパターンに置き換えられるようにする。異なるキーがこのパターン生成アルゴリズムに影響を及ぼすことができる。例えば、異なるキーを押すことに応じて、特定のアルゴリズムは、さらに悲しいか、又は、幸福なパターンを生成することができる。
【0070】
図9は、以前の図面の特徴を統合する装置の異なる状態及びモードを説明するための単純化した状態図である。図9において、再生単独/フリースタイルモード120によって、使用者は、楽器及び他の設定を選択する。歌を再生するためのモード122により背景トラックが再生されるか、又は、特定の設定がこの使用者が再生することができるトラックに適用される。この結果は、状態124によって表示されたように表出されることができる。
【0071】
モード120及び122は、独立モードである。この携帯用電子装置は、通信を活性化させる必要がない。また、通信機能を要求する4つのモードが存在する。その一番目のモードは、コンピュータがUSBポート又は他の適当なリンクを通して他のコンピュータからデータをダウンロードすることができ、データをこの他のコンピュータにアップロードすることができるモード126である。通常に、このデータは、音楽ファイルであることができる。モード218は、インターネットのようなネットワークを通して通信するためのモードである。モード130は、マスター装置としてのグループ再生のためのモードであって、グループ設定、再生する歌の選択、及び他の使用者131へのパート割当てを含む。モード132は、スレーブとしてのグループ再生を含む。モード130及び132は、同期化及び同期した情報134の伝送を含む。
【0072】
図10は、この装置の状態を一連の画面として説明するための単純化した図である。
図10において、歓迎画面が処理を始めて、使用者がこのモードのうちのいずれかのモードに到達することを所望するかを読み出す。各画面は、使用者が以前のレベルに復帰することができるようにするバックイベントを含む。図11において、この携帯用電子装置を一連の階層を通して説明する。図11において、応用階層120は、上述したように、バンドモード及び独立モードに区分される電子オーケストラアプリケーションを含む。フレームワークモード142は、アプリケーションフレームワークを保持する。ハードウェア抽象化(abstraction)階層144は、サウンドドライバー、入力及び出力、ファイルシステム、及びポーティング階層サービスを保持する。結果的に、ハードウェア階層146は、この装置ハードウェアを運搬する。
【0073】
図12は、電子オーケストラアプリケーション150及び電子オーケストラアプリケーション150が相互に作用する異なるシステムを説明するための単純化した図である。図12において、望ましく、アプリケーション150は、キーパッドドライバー152、運営体系154のウィンドー部分及びサウンドドライバー156を含む使用者インターフェースとの相互作用を行う。また、アプリケーション150は、ファイルシステム158、システムイベントディスパッチャー(dispatcher)160、システムネットワークドライバー162、FTP/HTTPプロトコルシステム164、及びベル音サービス166を含むシステムインターフェースとの相互作用を行う。
【0074】
図13は、バンドモードでマスターとしてこの携帯用電子装置の動作を説明するためのフローチャートである。図13において、この装置は、特定の装置を所定のグループに追加する感覚で自分のバンドを管理することができる。この後、この装置は、希望するグループ化を選択し、セッション参加招待を発送する。歌が選択され、パートが割り当てられた後、再生器がこれを認識して再生が始まる。
【0075】
図14は、マスターとスレーブとの間のハンドシェイク(handshake)過程を詳細に説明するためのフローチャートである。図14において、単純化のために、図面は、各スレーブごとに順次に遂行されるハンドシェイクを示すが、実際に、異なるステージが並列に遂行される。スレーブが残ると、マスターは、このスレーブが接続されるように要請する招待パケットを発送する。この後、このマスターは、このスレーブがこの招待パケットを受信したことを示す受信パケットの受信を待機する。タイムアウトが発生する前にこの受信パケットが受信されると、このスレーブは、接続された装置のリストに追加され、接続を待機するスレーブのペンディング(pending)リストでは削除される。また、どのようなメッセージもこのスレーブから受信されないか、又は、タイムアウトがまず発生すると、関連エラーメッセージが要求された通り生成され、このスレーブが全ての場合でこのペンディングリストで削除される。一方、このスレーブは、UDPソケットを通して聞き取り、この招待パケットを受信すると、使用者がグループの参加を確認するように要請する。この後、この使用者が確認すると、このスレーブは、受信パケットを伝送し、接続されたグループとして持続される。ここで、この招待又は使用者の受信段階でタイムアウトが発生するか、又は、後者の場合、使用者から“No”が受信されると、この装置は、接続されていない状態であり続ける。
【0076】
図15は、このスレーブが接続された後、バンドメンバー間の同期したプレイバック過程を説明するためのフローチャートである。図15において、このマスターは、初期に開始時間を指定するタイムスタンプされた開始パケットを伝送する。この指定された開始時間が発生する前に、このパケットがこのスレーブに到達した時間を有するようにこの時間が選択される。この後、マスター及び通報されたスレーブは、この指定された開始時間を待機する。ここで、このスレーブが音を再生すると、この音は、タイムスタンプされた音のパケットとしてこのマスターに伝送される。このスレーブによって受信された音及びこのマスターで局部的に再生された音は、マスター音シーケンスに追加され、この後、このマスター音シーケンスの各音は、タイムスタンプされた音のパケットとして全てのスレーブに伝送される。また、このスレーブは、音シーケンスを有している。しかしながら、音がこのマスターから受信されると、この音は、スレーブ音シーケンスにのみ追加される。一般に、このマスター及び各スレーブには、現在音楽ファイルの個別トラックが割り当てられる。望ましく、このトラックは、該当する装置が記録モードに進入するときごとにクリアされる。
【0077】
このバンドセッションの最後で、停止パケットがこのセッションから全てのスレーブ装置に自由に伝送される。
【0078】
図16は、使用者サンプルから音楽の作曲のための上述した電子オーケストラシステムの利用を説明するための図である。サンプル収集エージェント180は、環境182からサンプルを収集する。ここで、サンプルは、サンプルストーア(store)から収集されることもできる。例えば、このサンプルストーアは、ネットワークを通して獲得された共有された材料を含むことができる。
【0079】
望ましく、パターン生成アルゴリズムは、パターン生成アルゴリズムストーア186に保存される。このアルゴリズムもネットワークの共有を通して獲得されることができる。
コンポジションシステム188は、人工知能パターン生成器190及び/又は、使用者からのコンポジション制御データを使用する。また、コンポジションシステム188は、楽器ストーア194から利用可能な楽器を使用し、コンポジションを生成する。このコンポジションは、コンポジションストーア196に貯蔵される。
【0080】
コンポジションストーア196は、コンポジションシステム188からのコンポジション又は外部ネットワークから獲得されたコンポジションを含むことができる。
【0081】
図16は、使用者が単一の音よりはパターンに基づいて音楽及びビデオを構成するようにするシステムのトップレベルデザインを示す。このパターンは、上述したエージェント180によって収集されたオーディオ/ビデオサンプルを含むことができる。また、このパターンは、予め定義されたパターンに基づくトリビアル(trivial)ソリューションから神経網のようなさらに複雑なアルゴリズムに至るまでの任意のアルゴリズムによって生成されることができる。図16のシステムは、単一音の記録を除外すると、上述したシステムと類似している。この使用者は、全体のトラックを1つの段階で編集する。例えば、この使用者は、人工的に生成されたパターンを有するトラックに含まれた既存のパートを交替する。
【0082】
図16に示すように、このシステムは、この使用者が単一音だけでなく、パターンに基づいて音楽及びビデオを構成するようにする。上述したように、これらのパターンは、このエージェントによって収集されたオーディオ/ビデオサンプルを含むことができる。また、このパターンは、予め定義されたパターンに基づくトリビアルソリューションから神経網のようなさらに複雑なアルゴリズムに至るまでの任意のアルゴリズムによって生成されることができる。このパターンの使用は、単一音の記録を除外すると、上述した機能と統合される。この使用者は、全体のトラックを単一の段階で編集することができ、生成されたパターンを有する既存のパートを交替することができる。
【0083】
本特許の存続期間の間、関連のある多くの携帯用電子装置、セルラー装置、及びシステムが開発されるはずで、本明細書の内の用語の範囲、特に、“携帯用電子装置”、“個人用携帯情報端末”、又は、“PDA”、及び“通信チャンネル”は、全ての新たな技術を含む。
【0084】
以上、本発明を具体的な実施形態を参照して詳細に説明したが、本発明の範囲は、前述の実施形態によって限定されるべきではなく、特許請求の範囲の記載及びこれと均等なものの範囲内で様々な変形が可能なことは、当該技術分野における通常の知識を持つ者には明らかである。
【図面の簡単な説明】
【0085】
【図1】本発明の望ましい第1の実施形態に従う携帯用電子装置を示す図である。
【図2】図1の装置で使用者インターフェースの複数の使用状態及びモードを説明するための単純化した図である。
【図3】本発明の望ましい他の実施形態に従う音楽ファイルが分析されるようにする実行を説明するための単純化したブロック図である。
【図4】図1の装置で使用者インターフェースのための階層化されたメニュー画面を説明するための単純化した図である。
【図5】図1の装置のグループ動作の概念を説明するための単純化した図である。
【図6】カメラ及び関連動き検出器を含む図1の装置の変形を説明するための単純化した図である。
【図7】自動及び任意の記録がオーディオ入力で行われ、音楽的品質のために分析され、アドフック楽器(ad hoc instrument)のために音のセット(set of note)を形成するのに用いられる図1の装置の変形を説明するための単純化したブロック図である。
【図8】機械学習技術をパターンに基づく自動音楽生成システムに適用するための図1の装置の変形を説明するための単純化したブロック図である。
【図9】以前の実施形態の特徴を結合した本発明の望ましい実施形態に従う装置のための異なるモードを説明するための単純化したブロック図である。
【図10】本発明の望ましい第1の実施形態に従う階層化された形態で図9のモードを説明し、歓迎メニューから始める単純化した図である。
【図11】図1の携帯用電子装置を一連の階層を通して説明するための図である。
【図12】本発明の望ましい実施形態の電子オーケストラアプリケーションとこの電子オーケストラアプリケーションが相互に作用する多様なシステムを説明するための単純化した図である。
【図13】本発明の望ましい実施形態に従うバンドマスターとして装置の動作を説明するための単純化したフローチャートである。
【図14】バンドモードでマスターとスレーブとの間のハンドシェイク(handshake)動作を説明するための単純化したフローチャートである。
【図15】バンドモードでマスターとスレーブとの間の記録過程を説明するための単純化したフローチャートである。
【図16】使用者サンプルを用いて音楽の作曲のための電子オーケストラシステムの利用を詳細に説明するための単純化した図である。
【符号の説明】
【0086】
10・・・携帯用電子装置、12・・・画面、14・・・数字キーパッド、16・・・サウンドカード、18・・・音楽合成器、20・・・使用者インターフェース。


【特許請求の範囲】
【請求項1】
画面及び数字キーパッドを含む携帯用電子装置であって、
前記装置の可聴入力で可聴楽音を生成するために、サウンド信号を処理するサウンドカードと、
前記サウンドカードに連結されて楽器を電子的に合成する音楽モジュールと、
前記画面及び前記数字キーパッドを通して、前記音楽モジュールと使用者とをインターフェーシングするために、前記数字キーパッドからの入力が前記サウンドカードを通してオーディオ出力になる使用者再生モードを設定する使用者インターフェースと、
を含むことを特徴とする携帯用電子装置。
【請求項2】
前記音楽モジュールは、音楽合成器であることを特徴とする請求項1記載の携帯用電子装置。
【請求項3】
前記音楽モジュールは、ソフトウェア合成器であることを特徴とする請求項2記載の携帯用電子装置。
【請求項4】
前記音楽合成器は、ハードウェア装置であることを特徴とする請求項2記載の携帯用電子装置。
【請求項5】
前記使用者インターフェースは、
貯蔵された音楽ファイル又は通信チャンネルからのデータが前記サウンドカードを通してオーディオ出力になるプレイバックモードを設定することを特徴とする請求項1記載の携帯用電子装置。
【請求項6】
前記使用者インターフェースは、
前記数字キーパッドからの入力が前記サウンドカードを通してオーディオ出力になり、データストレージに記録される記録モードを設定することを特徴とする請求項1記載の携帯用電子装置。
【請求項7】
前記使用者インターフェースは、
貯蔵された音楽ファイルからのデータが前記サウンドカードを通してオーディオ出力になり、前記数字キーパッドからの入力が前記貯蔵された音楽ファイルからの前記データとともに、オーディオ出力に転換される再生及び記録モードを設定することを特徴とする請求項1記載の携帯用電子装置。
【請求項8】
前記貯蔵された音楽ファイルの音楽パラメータを抽出するパラメータ抽出器と、
前記パラメータ抽出器に連結され、前記貯蔵された音楽ファイルの前記抽出された音楽パラメータのうちの一部を前記使用者入力に対する拘束要素として設定し、前記使用者入力と前記貯蔵された音楽ファイルとの間の自動的な一致をなすための拘束ユニットと、をさらに含むことを特徴とする請求項7記載の携帯用電子装置。
【請求項9】
前記パラメータ抽出器は、
前記ファイルと関連したメタデータから前記貯蔵された音楽ファイルの前記音楽パラメータを獲得することを特徴とする請求項8記載の携帯用電子装置。
【請求項10】
前記パラメータ抽出器は、
前記ファイル内のイベントリストから前記貯蔵された音楽ファイルの前記音楽パラメータを獲得することを特徴とする請求項9記載の携帯用電子装置。
【請求項11】
前記使用者インターフェースは、
階層化されたメニュー及び各階層を含み、
前記各階層は、記録、使用者再生、及びプレイバックモードのうちの少なくとも二つのモード間の第1のレベルでのセレクション、同期する複数の楽器又は再生される複数の貯蔵ファイル間の第2のレベルでのセレクション、独立再生及び他の装置とのグループ化間の第3のレベルでのセレクション、調標間又は音楽タイミング間の第4のレベルでのセレクション、及び選択された調標で音間の第5のレベルでのセレクションを含むことを特徴とする請求項1記載の携帯用電子装置。
【請求項12】
前記数字キーパッドは、キーストライクイベントの速度を検出することができるキーストライク検出機能を有するように構成され、前記音楽モジュールは、前記速度を制御パラメータとして用いることを特徴とする請求項1記載の携帯用電子装置。
【請求項13】
セルラー通信チャンネルをさらに含むことを特徴とする請求項1記載の携帯用電子装置。
【請求項14】
前記音楽ファイルは、ベル音ファイルであることを特徴とする請求項1記載の携帯用電子装置。
【請求項15】
複数のトラックを含むトラックに基づく音楽ファイルの複合的再生及び編集方法であって、
反復ループで前記音楽ファイルを再生するステップと、
前記ループのうちの1つで音楽材料を前記複数のトラックのうちの1つに追加するステップと、
前記ループが実行されてからすぐ次のループで前記追加された音楽材料を有する前記1つのトラックを含む前記複数のトラックを再生するステップと、
を含むことを特徴とする方法。
【請求項16】
前記再生及び編集ステップは、
前記再生のために前記ファイルの既存のトラックを読み出すステップと、前記追加のために付加的なトラックを除去するステップと、を含むことを特徴とする請求項15記載の方法。
【請求項17】
前記読出しステップは、先行読出し位置で遂行され、前記追加ステップは、先行追加位置で遂行され、前記追加位置は、前記読出し位置の後ろであることを特徴とする請求項16記載の方法。
【請求項18】
前記音楽ファイルは、イベントストリームファイルであることを特徴とする請求項15記載の方法。
【請求項19】
前記音楽材料を追加するステップは、楽器を設定するステップ及び数字キーパッドを通して音を用いるステップを含むことを特徴とする請求項15記載の方法。
【請求項20】
前記音楽材料を追加するステップを拘束するための調標及び音楽タイミングの少なくとも1つを前記音楽ファイルの分析によって獲得するステップをさらに含むことを特徴とする請求項19記載の方法。
【請求項21】
前記分析は、
前記音楽ファイルとともに貯蔵されたメタデータを分析するステップを含むことを特徴とする請求項20記載の方法。
【請求項22】
前記分析は、
前記音楽ファイルのイベントストリームを分析するステップを含むことを特徴とする請求項20記載の方法。
【請求項23】
前記トラックに基づくファイルを通信チャンネルを通して受信する初期段階を含むことを特徴とする請求項15記載の方法。
【請求項24】
前記トラックに基づくファイルを前記追加された音楽材料とともに通信チャンネルを通して伝送する後続段階を含むことを特徴とする請求項15記載の方法。
【請求項25】
複数の音楽トラックを含むトラックに基づく音楽ファイルを再生して編集する携帯用電子装置であって、
反復ループで前記音楽ファイルのトラックを再生するループに基づく再生ユニットと、
前記ループに基づく再生ユニットと連結され、前記反復ループの1つで再生する間に音楽材料を前記複数のトラックのうちの選択されたループに追加する編集ユニットと、を含み、
前記音楽ファイルの反復ループは、前記追加された音楽材料を有する前記複数のトラックのうちの前記選択されたループをさらに含むことを特徴とする装置。
【請求項26】
前記編集ユニットは、
前記追加の前に、前記複数のトラックのうちの前記選択されたループから既存の材料を削除するように動作することを特徴とする請求項25記載の装置。
【請求項27】
記録は、仮想の記録ヘッドで遂行され、再生は、仮想の再生ヘッドで遂行され、前記仮想の記録ヘッドは、前記再生及び編集の間に、前記仮想の再生ヘッドの後ろに臨時にあることを特徴とする請求項25記載の装置。
【請求項28】
前記音楽ファイルは、イベントストリームファイルであることを特徴とする請求項25記載の装置。
【請求項29】
数字キーパッド及び画面をさらに含み、前記音楽材料の追加は、楽器の設定及び前記数字キーパッド及び前記画面を通した音の利用を含むことを特徴とする請求項25記載の装置。
【請求項30】
前記音楽材料の追加を拘束するための調標及び音楽タイミングの少なくとも1つを前記音楽ファイルの分析によって獲得する拘束ユニットをさらに含むことを特徴とする請求項29記載の装置。
【請求項31】
前記分析は、
前記音楽ファイルとともに貯蔵されたメタデータの分析を含むことを特徴とする請求項30記載の方法。
【請求項32】
前記分析は、
前記音楽ファイルのイベントストリームの分析を含むことを特徴とする請求項30記載の装置。
【請求項33】
遠いところから前記トラックに基づくファイルを受信し、前記トラックに基づくファイルを前記追加された音楽材料とともに通信チャンネルを通して伝送する通信チャンネルを含むことを特徴とする請求項25記載の装置。
【請求項34】
音楽ファイルを再生し、使用者が音楽材料を入力するようにする携帯用電子装置であって、
使用者入力音楽材料及び音楽ファイルデータを含むデータから音楽を再生する再生ユニットと、
前記音楽ファイルの音楽パラメータを抽出するパラメータ抽出器と、
前記使用者入力音楽材料を受信する使用者入力ユニットと、
前記パラメータ抽出器及び前記使用者入力ユニットに連結され、前記音楽ファイルの抽出された前記音楽パラメータのうちの1つを使用者入力のための拘束として設定し、前記拘束に従って、前記使用者入力音楽材料の再生及び記録のうちの少なくとも1つを獲得する拘束ユニットと、をさらに含むことを特徴とする装置。
【請求項35】
前記パラメータ抽出器は、
前記音楽ファイルと関連したメタデータを読み出して前記音楽パラメータを抽出することを特徴とする請求項34記載の装置。
【請求項36】
前記パラメータ抽出器は、
前記データファイルのイベントストリームから前記音楽パラメータを推論することを特徴とする請求項34記載の装置。
【請求項37】
入力音楽ファイルを受信し、前記拘束された使用者入力による増加の後、音楽ファイルを伝送するためのセルラー通信機能をさらに含むことを特徴とする請求項34記載の装置。
【請求項38】
携帯用電子装置であって、
電子ストレージ、通信チャンネル、又は使用者入力から音楽を再生する音楽再生機能と、
前記装置が少なくとも1つの他の装置に同期するようにするグループ化機能と、
前記グループ化機能及び音楽再生機能に関連し、前記装置が前記通信チャンネルからの音楽を前記使用者入力からの音楽とともに、同期方法で再生するようにするグループ再生機能と、
を含むことを特徴とする携帯用電子装置。
【請求項39】
前記グループ再生機能は、
前記通信チャンネルのレイテンシーを克服するための少なくとも1つのサイクルの追加を含むことを特徴とする請求項38記載の携帯用電子装置。
【請求項40】
前記使用者入力は、
前記通信チャンネルを通して伝送されて後続期間の間に少なくとも1つの他の装置で利用可能であることを特徴とする請求項38記載の携帯用電子装置。
【請求項41】
前記後続期間は、すぐ次の期間であることを特徴とする請求項40記載の携帯用電子装置。
【請求項42】
前記グループ化機能は、
グループを形成し、同期を制御するためのグループマスタリング機能を含むことを特徴とする請求項38記載の携帯用電子装置。
【請求項43】
前記グループ化機能は、
遠く位置したマスター装置に対してスレーブとして動作して前記マスター装置に同期することを特徴とする請求項38記載の携帯用電子装置。
【請求項44】
表示画面及びグループの内の他の装置の表示を前記画面上にアイコンとして提供するための表現機能をさらに含むことを特徴とする請求項38記載の携帯用電子装置。
【請求項45】
前記アイコンは、動くアイコンであることを特徴とする請求項44記載の携帯用電子装置。
【請求項46】
前記使用者入力を分析して各使用者に前記使用者の音楽再生に対するフィードバックを提供するためのフィードバックユニットをさらに含むことを特徴とする請求項38記載の携帯用電子装置。
【請求項47】
前記フィードバックユニットは、
前記使用者入力をイベントストリームとして分析することを特徴とする請求項46記載の携帯用電子装置。
【請求項48】
携帯用電子装置のための音楽コンテンツ入力システムであって、
前記携帯用電子装置の動きパラメータを検出する動き検出器と、
使用者入力音楽材料を受信する使用者入力ユニットと、
前記動き検出器及び前記使用者入力ユニットに連結され、前記動きパラメータを用いて音楽生成パラメータを定義し、前記使用者入力を変更することによって、前記携帯用電子装置が前記使用者入力音楽材料を前記パラメータに従って再生するようにする拘束ユニットと、
をさらに含むことを特徴とするシステム。
【請求項49】
前記動き検出器は、統合的に装着されたカメラの部分であることを特徴とする請求項48記載のシステム。
【請求項50】
携帯用電子装置であって、
オーディオ入力と、
異なる楽器を同期するための複数の楽器モードを含む電子音楽合成器と、
前記入力から獲得されたクリップが装置定義楽器として使用される前記電子音楽合成器のための追加モードと、
を含むことを特徴とする携帯用電子装置。
【請求項51】
音楽品質を用いて前記入力から前記クリップを分類して貯蔵するための分類器(categorizer)をさらに含むことを特徴とする請求項50記載の携帯用電子装置。
【請求項52】
前記オーディオ入力から材料の音楽品質を確認するための音楽分析器が前記分類器より先行することを特徴とする請求項51記載の携帯用電子装置。
【請求項53】
前記分類は、異なる音を有するクリップを注文製作された楽器に配列することを特徴とする請求項51記載の携帯用電子装置。
【請求項54】
前記オーディオ入力で自発的に記録を遂行する自発的ソフトウェアユニットをさらに含むことを特徴とする請求項50記載の携帯用電子装置。
【請求項55】
前記自発的ソフトウェアユニットは、音楽分析器に連結され、前記音楽分析器の分析特性を用いることによって、所定のオーディオ記録を貯蔵するか又は廃棄するかを決定することを特徴とする請求項54記載の携帯用電子装置。
【請求項56】
映像を撮影して前記装置に貯蔵するカメラ入力をさらに含み、前記追加モードは、前記貯蔵された映像を前記装置定義楽器の音楽ファイルに追加する機能を含むことを特徴とする請求項50記載の携帯用電子装置。
【請求項57】
映像撮影のための前記カメラ入力を動作させる自発的ソフトウェアユニットをさらに含むことを特徴とする請求項56記載の携帯用電子装置。
【請求項58】
ビデオ映像を撮影してビデオ映像クリップを前記装置に貯蔵するビデオカメラ入力をさらに含み、前記追加モードは、前記貯蔵されたビデオ映像クリップを前記装置定義楽器の音楽ファイルに追加する機能を含むことを特徴とする請求項50記載の携帯用電子装置。
【請求項59】
前記ビデオ入力を動作させるための自発的ソフトウェアユニットをさらに含むことを特徴とする請求項58記載の携帯用電子装置。
【請求項60】
予め貯蔵されたパターンに従って音楽を構成するためのパターンモードをさらに含むことを特徴とする請求項50記載の携帯用電子装置。
【請求項61】
前記装置上の音楽活動をモニタリングし、前記予め貯蔵されたパターンを変更するために、モニタリング結果を用いるための人工学習モジュールをさらに含むことを特徴とする請求項60記載の携帯用電子装置。
【請求項62】
携帯用電子装置に少なくとも1つのトラックを含む音楽ファイルを編集する方法であって、
前記携帯用電子装置の前記トラックを再生するステップと、
前記携帯用電子装置のインターフェースを用いて再生すると同時に前記トラックを編集するステップと、
を含むことを特徴とする方法。
【請求項63】
前記音楽ファイルは、マルチトラックファイルであることを特徴とする請求項62記載の方法。
【請求項64】
前記音楽ファイルは、ベル音ファイルであることを特徴とする請求項62記載の方法。
【請求項65】
前記携帯用電子装置は、
前記音楽ファイルを受信して伝送するように構成されたセルラー通信が可能な装置であることを特徴とする請求項62記載の方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate


【公開番号】特開2006−171664(P2006−171664A)
【公開日】平成18年6月29日(2006.6.29)
【国際特許分類】
【外国語出願】
【出願番号】特願2005−3174(P2005−3174)
【出願日】平成17年1月7日(2005.1.7)
【出願人】(390019839)三星電子株式会社 (8,520)
【氏名又は名称原語表記】Samsung Electronics Co.,Ltd.
【住所又は居所原語表記】416,Maetan−dong,Yeongtong−gu,Suwon−si Gyeonggi−do,Republic of Korea
【Fターム(参考)】