本発明は、ミックス信号を制御するために必要な命令を入力できる入力装置及び入力方法に関するもので、入力部と、該入力部を通じて受信した入力信号をソース別メニュー表示命令に変換した後、該ソース別メニュー表示命令によって、ミックス信号に該当するソース情報に基づいてソース別メニュー表示画面が出力されるようにする制御部と、該ソース別メニュー表示画面が出力されるディスプレイと、を含む。
本発明によると、ビデオ信号及びオーディオ信号などのようなミックス信号に含まれているソース信号別に音量レベルを調整したりアンビエンス（相対的位置）を調整することができる他、ミックス信号（または合成オブジェクト信号）と関連しているソース信号（またはオブジェクト信号）に関する情報をユーザが常に確認できるようにすることができる。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力装置及び入力方法に関するものであり、より詳細には、ミックス信号を制御するために必要な命令を入力できる入力装置及び入力方法に関する。また、本発明は、ミックス信号のインタフェース表示方法及び装置に関するものであり、より詳細には、オーディオ信号、ビデオ信号などのミックス信号に関してユーザにインタフェースを提供できるミックス信号のインタフェース表示方法及び装置に関する。また、本発明は、ミックス信号処理方法及び装置に関する。
【背景技術】
【０００２】
一般に、ステレオ信号が最も頻繁に生成されて、消費者たちに最も広く用いられている。最近では、マルチャンネル信号が益々広く利用されている。しかし、該ミックス信号は、ミックス信号を構成するソース信号単位ではなく、チャネル信号単位に処理されるという限界がある。そのため、チャネル信号単位にミックス信号を処理する場合、ミックス信号を構成する特定ソース信号のみを独立して処理できないという問題点がある。例えば、映画を見る際に、俳優たちの音声に対する音量は一定に維持しながら、背景音楽の音量のみを上げることは不可能である。
【０００３】
のみならず、ユーザがミックス信号（または合成オブジェクト信号）をソース別に、すなわち、特定ソース信号別に独立的に処理してリミキシングするためには、ソース信号別に音量レベルを上げたり下げたりするか（レベルを０にして音をミュートするか）、ソース信号の相対的位置を調節したりしなければならない。ところが、従来のリモートコントローラはミックス信号全体の音量レベルを調整することができるだけで、ミックス信号に含まれているソース信号のそれぞれの音量レベルを調整したりアンビエンスを調整することはできないという問題点がある。
【０００４】
また、ユーザがミックス信号（または合成オブジェクト信号）をソース別に、すなわち、ソース信号別にリミキシングするためには、該当ミックス信号に含まれているソース信号にはどのようなものがあるか知らなければならない。例えば、ミックス信号が音楽ファイルの場合、ユーザは、この音楽ファイルに関連するソース信号が、ピアノ、バイオリン、フルートなどであるか確認しなければならない。ところが、従来はミックス信号（または合成オブジェクト信号）の情報が表示されるだけで、ミックス信号と関連しているソース信号の情報がどのようなものかは表示されないという問題点があった。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上記のような問題点を解決するために案出されたもので、その目的は、ビデオ信号及びオーディオ信号などのようなミックス信号に含まれているソース信号別に音量レベルを調整したりアンビエンス（相対的位置）を調整することができる入力装置及び入力方法を提供することにある。
【０００６】
本発明の他の目的は、ミックス信号（または合成オブジェクト信号）と関連しているソース信号（またはオブジェクト信号）に関する情報をユーザが常に確認できるようにディスプレイすることができるミックス信号のインタフェース表示方法及び装置を提供することにある。
【０００７】
本発明のさらに他の目的は、ミックス信号（または、合成オブジェクト信号）と関連しているソース信号（またはオブジェクト信号）に関する情報をグラフィックユーザインタフェース（ＧＵＩ：Graphic User Interface）を通じて提供できるミックス信号のインタフェース表示方法及び装置を提供することにある。
【０００８】
本発明のさらに他の目的は、オーディオ信号、ビデオ信号などのミックス信号（または合成オブジェクト信号）が再生される間に、ミックス信号（または合成オブジェクト信号）と関連しているソース信号を表すイメージを時間別に様々に変化させて表現できるミックス信号のインタフェース表示方法及び装置を提供することにある。
【０００９】
本発明のさらに他の目的は、ミックス信号に含まれたソース信号が別に存在しない場合に、該ソース信号と類似する信号を用いてソース信号別付加情報を生成する方法を提供することにある。
【００１０】
本発明のさらに他の目的は、デコーディング装置でミックス信号を用いて該ミックス信号をリミックスするための付加情報を生成する方法及び装置を提供することにある。
【００１１】
本発明のさらに他の目的は、ミックス信号に含まれた特定のソース信号をユーザが提供するソース信号に変える方法及び装置を提供することにある。
【００１２】
本発明のさらに他の目的は、ユーザがソース信号を用いてミックス信号を変形できる信号処理方法及び装置を提供することにある。
【００１３】
本発明のさらに他の目的は、ユーザがミックス信号をソース信号単位に制御できる信号処理方法及び装置を提供することにある。
【００１４】
本発明のさらに他の目的は、ユーザがリミックス情報提供サーバーから所望のリミックス情報を受け取ることができる信号処理方法及び装置を提供することにある。
【００１５】
本発明のさらに他の目的は、ユーザの生成したリミックス情報をリミックス情報提供サーバーにアップロードできる信号処理方法及び装置を提供することにある。
【００１６】
本発明のさらに他の目的は、一部ソース信号が除外されたミックス信号を受け取ったり生成できる信号処理方法及び装置を提供することにある。
【課題を解決するための手段】
【００１７】
上記目的を達成するために本発明による入力装置は、入力部；前記入力部を通じて受信した入力信号をソース別メニュー表示命令に変換した後、前記ソース別メニュー表示命令によって、ミックス信号に該当するソース情報に基づいてソース別メニュー表示画面が出力されるようにする制御部；及び、前記ソース別メニュー表示画面が出力されるディスプレイを含む入力装置とする。
【００１８】
本発明によると、ポインティングデバイスをさらに含み、前記制御部は、前記ポインティングデバイスを通じて受信した入力信号をソース別レベル調整命令に変換することができる。
【００１９】
本発明によると、方向移動キーをさらに含み、前記制御部は、前記方向移動キーを通じて受信した入力信号をソース別レベル調整命令に変換することができる。
【００２０】
本発明の他の態様によると、入力部；前記入力部を通じて受信した入力信号をソース別メニュー表示命令に変換する制御部；及び、前記制御部により変換された命令を外部装置に伝送するための無線通信部を含む入力装置が提供される。
【００２１】
本発明によると、前記無線通信部は、ソース別メニュー画面に関するデータを前記外部装置から受信するためのもので、前記ソース別メニュー画面が表示されるディスプレイをさらに含むことができる。
【００２２】
本発明のさらに他の態様によると、入力部；及び、前記入力部を通じて受信した入力信号を音声ミュート命令に変換し、前記音声ミュート命令に基づいてミックス信号に関する制御情報を出力する制御部を含む入力装置が提供される。
【００２３】
本発明のさらに他の態様によると、入力部；及び、前記入力部を通じて受信した入力信号を音声レベル調整命令に変換し、前記音声レベル調整命令に基づいてミックス信号に関する制御情報を出力する制御部を含む入力装置が提供される。
【００２４】
本発明のさらに他の態様によると、入力部；及び、前記入力部を通じて受信した入力信号をアンビエンス画面表示命令に変換し、前記アンビエンス画面表示命令に応じて、ミックス信号に該当するソース情報に基づいてアンビエンス画面が出力されるようにする制御部；及び、前記アンビエンス画面が出力されるディスプレイを含む入力装置が提供される。
【００２５】
本発明によると、ポインティングデバイスまたは方向移動キーをさらに含み、前記制御部は、前記ポインティングデバイスを通じて受信した入力信号をアンビエンス調整命令に変換し、前記アンビエンス調整命令に基づいてミックス信号に関する制御情報を出力することができる。
【００２６】
本発明のさらに他の態様によると、入力部；前記入力部を通じて受信した入力信号をソース音ミュート命令に変換し、前記ソース音ミュート命令に基づいてミックス信号に関する制御情報を出力する制御部を含み、前記ソース音ミュート命令は、前記ミックス信号に含まれる特定ソース信号が再生されないようにするための命令である入力装置が提供される。
【００２７】
本発明のさらに他の態様によると、ショートカットキー登録命令を受信する段階；複数のキーのうち一つのキー、複数のソースのうち一つのソース、一つ以上の機能のうち一つの機能が選択される段階；及び、前記選択されたキーに、前記選択されたソースに対して前記選択された機能をマッチングさせて保存する段階を含み、前記複数のソースは、オーディオ信号のソース、及びビデオ信号のソースのうち一つ以上を含み、前記一つ以上の機能は、音ミュート及びアンビエンス調整のうち一つ以上を含む入力方法が提供される。
【００２８】
本発明によると、前記選択される段階は、複数の数字キーから一つの数字キーが選択される段階でありうる。
【００２９】
本発明のさらに他の態様によると、複数のキーのうち一つのキー、複数のソースのうち一つのソース、及び一つ以上の機能のうち一つの機能を選択するための入力部；各キー別命令情報が保存される記憶部；及び、前記入力部により前記選択されたキーに、前記選択されたソースに対して前記選択された機能をマッチングさせて前記記憶部に保存する制御部を含み、前記複数のソースは、オーディオ信号の客体、及びビデオ信号の客体のうち一つ以上を含み、前記一つ以上の機能は、音ミュート及びアンビエンス調整のうち一つ以上を含む入力装置が提供される。
【００３０】
本発明によるインタフェース表示方法は、ユーザにより特定ミックス信号が選択される段階；及び、前記ミックス信号に対応するソース信号情報を照会して、前記ソース信号のリストをディスプレイに表示する段階を含み、前記表示は、前記ミックス信号が選択されている間に維持され続く。
【００３１】
本発明によると、前記ソース信号情報は、前記ミックス信号に対応する付加情報から抽出されることができる。
【００３２】
本発明によると、前記ソース信号のリストは、前記ミックス信号に含まれているソース信号の楽器名、歌手名、及び登場人物名のうち一つ以上でありうる。
【００３３】
本発明によると、ユーザにより前記ソース信号のリストから一つのソースが選択される段階；及び、前記選択されたソースに関するメタデータをさらに表示する段階をさらに含むことができる。
【００３４】
本発明によると、前記メタデータは、前記ミックス信号に対応する付加情報から抽出されたもので、前記ソース信号の楽器演奏者名、製作日時のうち一つ以上を含むことができる。
【００３５】
本発明によると、ユーザにより前記ソース信号のリストから一つのソースが選択される段階；及び、前記選択されたソースに対する音量レベル調整画面をさらに表示する段階をさらに含むことができる。
【００３６】
本発明によると、ユーザにより前記ソース信号のリストから一つのソースが選択される段階；及び、前記選択されたソースに対するイコライザ調整画面をより表示する段階をさらに含むことができる。
【００３７】
本発明によると、ユーザにより前記ソース信号のリストから一つのソースが選択される段階；及び、前記選択されたソースに対するアンビエンス調整画面をさらに表示する段階をさらに含むことができる。
【００３８】
本発明のさらに他の態様によると、複数のミックス信号から一つを選択するための入力部；前記ミックス信号に対応するソース信号情報を照会して、前記ソース信号のリストを表示する制御部；及び、前記ソース信号のリストを表示するためのディスプレイを含み、前記表示は、前記ミックス信号が選択されている間に維持され続く、ミックス信号のインタフェース表示装置が提供される。
【００３９】
本発明によると、第２ディスプレイをさらに含み、前記入力部は、前記ソース信号のリストから一つのソースを選択することができ、前記制御部は、前記選択されたソースに対するメタデータ、音量レベル調整画面、イコライザ調整画面、アンビエンス調整画面のうち一つ以上を、前記第２ディスプレイに表示することができる。
【００４０】
本発明によると、前記ディスプレイは、複数の発光素子の点滅により前記ソース信号のリストを表示することができる。
【００４１】
本発明によると、前記ディスプレイ及び前記第２ディスプレイは、一つのパネルで構成されることができる。
【００４２】
本発明によるミックス信号のインタフェース表示方法は、ユーザにより特定ミックス信号が選択される段階；及び、前記ミックス信号に対応するソース信号情報を照会して、前記ソース信号情報に基づいて前記ソース信号に該当するアイコンを表示する段階を含む。
【００４３】
本発明によると、前記ソース信号情報は、前記ミックス信号に対応する付加情報から抽出される。
【００４４】
本発明によると、前記ミックス信号に対応するメタデータを抽出する段階を含み、前記アイコンは、前記メタデータとマッチングされるイメージでありうる。
【００４５】
本発明によると、前記メタデータは、前記ミックス信号に対応する付加情報から抽出されるもので、前記ソース信号の楽器演奏者名、声楽家名のうち一つ以上を含むことができる。
【００４６】
本発明によると、前記アイコンのうち一つに対する実行命令を受信すると、選択されたアイコンに該当するソース信号のレベル調整画面を表示する段階をさらに含むことができる。
【００４７】
本発明によると、レベル調整に関する命令を受信すると、調整されたレベルに従って前記選択されたアイコンの形状を変化させる段階をさらに含み、前記アイコンの形状は、大きさ、色相、明るさのうち一つ以上を含むことができる。
【００４８】
本発明によると、レベル調整に関する命令を受信すると、前記選択されたアイコンに該当するソース信号のレベルを調整して、前記ミックス信号をリミキシングする段階をさらに含むことができる。
【００４９】
本発明によると、前記アイコンのうち一つが選択されると、選択されたアイコンに該当するソース信号のイコライザ画面を表示する段階をさらに含むことができる。
【００５０】
本発明によると、サブバンド別レベル調整に関する命令を受信すると、調整されたサブバンド別レベルに従って前記選択されたアイコンの形状を部分的に変化させる段階をさらに含み、前記アイコンの形状は、大きさ、色相、明るさのうち一つ以上を含むことができる。
【００５１】
本発明によると、サブバンド別レベル調整に関する命令を受信すると、前記選択されたアイコンに該当するソース信号のサブバンドレベルを調整し、前記ミックス信号をリミキシングする段階をさらに含むことができる。
【００５２】
本発明によると、前記アイコンのうち一つが選択されると、選択されたアイコンに該当するソース信号のアンビエンス調整画面を表示する段階をさらに含み、前記アンビエンス調整画面は、ソース信号別の相対的位置が表示された画面でありうる。
【００５３】
本発明によると、アンビエンス調整に関する命令を受信すると、調整されたアンビエンスによって前記選択されたアイコンの形状を変化させる段階をさらに含み、前記アイコンの形状は、大きさ、色相、明るさのうち一つ以上を含むことができる。
【００５４】
本発明によると、アンビエンス調整命令に関する信号を受信すると、前記選択されたアイコンに該当するソース信号の相対的位置を調整し、前記ミックス信号をリミキシングする段階をさらに含み、前記相対的位置は、他のソース信号の位置及び仮想ユーザ位置によって決定されることができる。
【００５５】
本発明のさらに他の態様によると、複数のミックス信号のうち一つを選択するための入力部；前記入力部により選択されたミックス信号に対応するソース信号情報を照会した後、前記ソース信号情報に基づいて前記ソース信号に該当するアイコンを表示する制御部；及び、前記ソース信号に該当するアイコンを表示するためのディスプレイ部を含む、ミックス信号のインタフェース表示装置が提供される。
【００５６】
本発明によると、アイコン別イメージデータが保存されている記憶部をさらに含み、前記アイコンは、前記記憶部に保存されているイメージデータでありうる。
【００５７】
本発明のさらに他の態様によると、ユーザからミックス信号に対する再生命令を受信する段階；及び、前記ミックス信号に対応するソース信号のレベルが時間別に変化するに従って前記ソース信号のイメージの形状を時間別に変化させて表示する段階を含み、前記イメージの形状は、大きさ、色相、明るさ、画面内位置のうち一つ以上を含む、ミックス信号のインタフェース表示方法が提供される。
【００５８】
本発明によると、前記ソース信号のレベルは、前記ソース信号のサブバンド別レベルであり、前記表示する段階は、前記ソース信号のイメージの形状を部分的に変化させる段階でありうる。
【００５９】
本発明によると、前記表示する段階は、特定時点におけるレベルが最も高いソース信号以外のソース信号のイメージの大きさが０である。
【００６０】
本発明によると、前記イメージは、前記ミックス信号に対応するメタデータとマッチングすることができる。
【００６１】
本発明のさらに他の態様によると、ミックス信号に対する再生命令を入力するための入力部；前記ミックス信号に対応するソース信号のレベルが時間別に変化するに従って前記ソース信号のイメージの形状を時間別に変化させて表示されるように制御する制御部；前記ソース信号に該当するイメージを表示するためのディスプレイ部を含み、前記イメージの形状は、大きさ、色相、明るさ、画面内位置のうち一つ以上を含む、ミックス信号のインタフェース表示装置が提供される。
【００６２】
本発明は、通信網を通じてユーザ端末と結合するリミックス情報提供サーバーが、ユーザ端末からリミックス情報の要請を受ける段階；及び、前記要請されたリミックス情報を前記ユーザ端末に伝送する段階を含み、前記リミックス情報は、ミックス信号、前記ミックス信号に含まれているソース信号、前記ミックス信号を前記ソース信号別に制御するためのミックスパラメータ、前記ミックス信号をアップミックスするためのアップミックスパラメータ、前記ソース信号を表現するためのアイコンまたは顔文字のうち少なくとも一つを含むことを特徴とする信号処理方法を提供する。
【００６３】
前記リミックス情報は、前記ミックス信号に含まれている前記ソース信号から一部のソース信号が除外された変形されたミックス信号を含む。
【００６４】
前記ユーザ端末から前記変形されたミックス信号伝送の要請を受ける場合、前記方法は、前記ミックス信号から除外するソース信号が選択される段階と、前記選択されたソース信号が除外された変形されたミックス信号を生成する段階と、をさらに含み、前記伝送する段階は、前記変形されたミックス信号を前記ユーザ端末に伝送する。
【００６５】
前記伝送する段階は、前記リミックス情報に対する決済が完了すると、前記リミックス情報を前記ユーザ端末に伝送する段階を含む。
【００６６】
前記リミックス情報提供サーバーは、金融機関または移動通信事業者と通信網を通じて結合し、前記決済は、前記ユーザ端末にユーザ端末認証情報を要請する段階と、前記ユーザ端末から入力された前記認証情報を、前記金融機関または前記移動通信事業者に伝送して認証を要請する段階と、前記ユーザ端末認証が完了すると、前記金融機関または前記移動通信事業者に決済情報を伝送して決済を要請する段階と、を含む。
【００６７】
本発明は、リミックス情報提供サーバーと通信網を通じて結合するユーザ端末で行なう信号処理方法であって、前記サーバーに接続してリミックス情報を要請する段階と、前記サーバーから要請された決済情報を前記サーバーに伝送する段階と、決済が完了すると、前記サーバーから前記リミックス情報を受信する段階と、を含み、前記リミックス情報は、ミックス信号、前記ミックス信号に含まれているソース信号、前記ミックス信号を前記ソース信号別に制御するためのミックスパラメータ、前記ミックス信号をアップミックスするためのアップミックスパラメータ、前記ソース信号を表現するためのアイコンまたは顔文字のうち少なくとも一つを含むことを特徴とする信号処理方法を提供する。
【００６８】
本発明は、ユーザ端末と通信網を通じて結合するリミックス情報提供サーバーであって、前記ユーザ端末からリミックス情報が要請され、該要請されたリミックス情報を前記ユーザ端末に伝送する送受信部と、前記ユーザ端末の要請に応じて、前記要請されたリミックス情報を抽出するデータベース部と、前記リミックス情報使用が有料である場合、前記リミックス情報使用に対する決済を処理する決済処理部と、前記ユーザ端末が要請した前記リミックス情報を、前記ユーザ端末に伝送するようにする制御部と、を含み、前記リミックス情報は、ミックス信号、前記ミックス信号に含まれているソース信号、前記ミックス信号を前記ソース信号別に制御するためのミックスパラメータ、前記ミックス信号をアップミックスするためのアップミックスパラメータ、前記ソース信号を表現するためのアイコンまたは顔文字のうち少なくとも一つを含むことを特徴とするリミックス情報提供サーバーを提供する。
【００６９】
本発明は、リミックス情報提供サーバーと通信網を通じて結合するユーザ端末であって、前記リミックス情報提供サーバーにリミックス情報を要請し、前記要請したリミックス情報を受信する通信部と、制御情報を受信するユーザインタフェースと、前記リミックス情報及び前記制御情報を用いて、ミックス信号に含まれているソース信号をリミックスするリミックスレンダリング部と、前記ユーザ端末の全般を制御して、前記ミックス信号に含まれている前記ソース信号をリミックスするようにする制御部と、を含み、前記リミックス情報は、ミックス信号、前記ミックス信号に含まれているソース信号、前記ミックス信号を前記ソース信号別に制御するためのミックスパラメータ、前記ミックス信号をアップミックスするためのアップミックスパラメータ、前記ソース信号を表現するためのアイコンまたは顔文字のうち少なくとも一つを含むことを特徴とするユーザ端末を提供する。
【００７０】
これまでの一般的な説明及び以降の詳細な説明は、例示であり、特許請求の範囲を更に説明するためのものである。
【発明の効果】
【００７１】
本発明の一態様によると、ビデオ信号及びオーディオ信号などのようなミックス信号に含まれているソース信号別に音量レベルを調整したりアンビエンス（相対的位置）を調整することができるため、ユーザはミックス信号を非常に容易くリミキシングすることができる。
【００７２】
本発明の他の態様によると、ミックス信号に含まれているソースから、人の音声のみを音ミュートさせたり音声の音量レベルのみを調整することができるため、歌ファイルが再生される間に入力装置（リモートコントローラ）を用いてユーザは非常に簡単に歌手の音声のみをミュートさせ、伴奏音楽のみを聞くことができる。
【００７３】
本発明のさらに他の態様によると、ユーザが頻繁にリミックスするソース（例：ピアノ）を特定キー（例：１番数字キー）などにショートカットキーとして登録しておいた後、ショートカットキーを用いてソース別にレベル調整やアンビエンスを調整する場合、ユーザは、自身の好みに合わせて設定しておいた入力装置（リモートコントローラ）を用いて非常に便利にリミキシングすることができる。
【００７４】
本発明のさらに他の態様によると、ミックス信号（または合成オブジェクト信号）と関連しているソース信号（またはオブジェクト信号）に関する情報が画面に継続してディスプレイされているため、ユーザはミックス信号を再生したりリミキシングする間に、ミックス信号に含まれているソースがどんなものかを確認することができる。
【００７５】
本発明のさらに他の態様によると、ミックス信号が再生されたりリミキシングされる間に、ユーザはミックス信号別にどんなソース（楽器別オーディオ信号等）が含まれているか常に確認することができるため、ソース別にレベルを調整したりアンビエンスを調整する前に、該当ミックス信号にどんなソースが含まれているか確認する手順を行なう必要がない。
【００７６】
本発明のさらに他の態様によると、ミックス信号（または合成オブジェクト信号）と関連しているソース信号（またはオブジェクト信号）に関する情報が画面に継続してディスプレイされているため、ユーザはミックス信号を再生したりリミキシングする間にミックス信号に含まれているソースがどんなものかを確認することができる。
【００７７】
本発明のさらに他の態様によると、ミックス信号が再生されたりリミキシングされる間に、ユーザはミックス信号別にどんなソース（楽器別オーディオ信号等）が含まれているか常に確認することができるため、ソース別にレベルを調整したりアンビエンスを調整する前に、該当のミックス信号に含まれたソースがどんなものか確認する手順を行なう必要がない。
【００７８】
また、本発明による信号処理方法は、ユーザがリミックス情報をリミックス情報提供サーバーから受け取って利用することができる。
【００７９】
また、本発明による信号処理方法及び装置は、ミックス信号から特定ソース信号が除外された、変形されたミックス信号を受け取って利用することができる。
【００８０】
また、本発明による信号処理方法は、ユーザがリミックス情報を生成したり変形し、これをリミックス情報提供サーバーにアップロードすることができる。
【図面の簡単な説明】
【００８１】
【図１】本発明の一実施例による第１リミックス信号エンコーディング装置のブロック図である。
【図２】ステレオ信号を用いる場合の図１の第１リミックス信号エンコーディング装置の詳細ブロック図である。
【図３】本発明の一実施例によるミックス信号を処理するためのドメインのグラフである。
【図４】本発明の一実施例による第２リミックス信号エンコーディング装置のブロック図である。
【図５】本発明の一実施例による第１リミックス信号デコーディング装置のブロック図である。
【図６】ステレオ信号を用いる場合の図５の第１リミックス信号デコーディング装置の詳細図である。
【図７】本発明の一実施例による第２リミックス信号デコーディング装置のブロック図である。
【図８】通常のエンコーディング装置及び本発明の一実施例によるリミックス信号エンコーディング装置との結合を示すブロック図である。
【図９】従来のデコーディング装置と結合して用いられる本発明の一実施例による第２リミックス信号デコーディング装置のブロック図である。
【図１０】本発明の一実施例によるリミックス信号デコーディング装置の詳細ブロック図である。
【図１１】本発明の一実施例による入力装置の構成図である。
【図１２】本発明の一実施例による入力装置の具現例である。
【図１３】第１入力部（ソースメニューキー）が入力された後に表示される画面の一例である。
【図１４】第２入力部（音声ミュートキー）が入力された後に表示される画面の一例である。
【図１５】第３入力部（音声調整キー）が入力された後に表示される画面の一例である。
【図１６】第４入力部（アンビエンス調整キー）が入力された後に表示される画面の一例である。
【図１７】第５入力部のうち第１ソースキー（ピアノキー）が入力された後に表示される画面の一例である。
【図１８】第５入力部のうち第２ソースキー（バイオリンキー）が入力された後に表示される画面の一例である。
【図１９】本発明の他の実施例による入力装置の構成図である。
【図２０】本発明の一実施例による入力装置が関連し合っている第１リミックス信号デコーディング装置の構成を示す図である。
【図２１】本発明の他の実施例による入力装置が関連し合っている第２リミックス信号デコーディング装置及び第２インタフェース装置の構成を示す図である。
【図２２】本発明の実施例による入力方法のフローチャートである。
【図２３】ショートカットキー登録命令が入力された後に表示される画面の一例である。
【図２４】本発明の一実施例によるインタフェース表示装置の構成図である。
【図２５Ａ】本発明の一実施例によるインタフェース表示装置の具現例である。
【図２５Ｂ】本発明の一実施例によるインタフェース表示装置の具現例である。
【図２６】特定ソースが選択された場合の第１ディスプレイ及び第２ディスプレイに表示される画面の一例である。
【図２７】特定ソースが選択された場合の第１ディスプレイ及び第２ディスプレイに表示される画面の他の例である。
【図２８】特定ソースが選択された場合の第１ディスプレイ及び第２ディスプレイに表示される画面のさらに他の例である。
【図２９】特定ソースが選択された場合の第１ディスプレイ及び第２ディスプレイに表示される画面のさらに他の例である。
【図３０】本発明の他の実施例によるインタフェース表示装置の構成図である。
【図３１】本発明の実施例によるインタフェース表示方法のフローチャートである。
【図３２】本発明の一実施例によるインタフェース表示装置の構成図である。
【図３３Ａ】本発明の一実施例によるインタフェース表示装置の具現例である。
【図３３Ｂ】本発明の一実施例によるインタフェース表示装置の具現例である。
【図３３Ｃ】本発明の一実施例によるインタフェース表示装置の具現例である。
【図３３Ｄ】本発明の一実施例によるインタフェース表示装置の具現例である。
【図３４】本発明の他の実施例によるインタフェース表示装置の構成図である。
【図３５Ａ】本発明の一実施例によるインタフェース表示方法のフローチャートである。
【図３５Ｂ】本発明の一実施例によるインタフェース表示方法のフローチャートである。
【図３６Ａ】特定ミックス信号のソース信号別アイコンが表示された画面の一例である。
【図３６Ｂ】特定ミックス信号のソース信号別アイコンがメタデータを表現する画面の一例である。
【図３７Ａ】レベル調整画面の一例である。
【図３７Ｂ】調整されたレベルに従ってアイコンの形状が変化された画面の一例である。
【図３８】イコライザ画面（サブバンド別レベル調整画面）の一例である。
【図３９】アンビエンス調整画面（相対的位置調整画面）の一例である。
【図４０】本発明のさらに他の実施例によるインタフェース表示装置の構成図である。
【図４１】本発明のさらに他の実施例によるインタフェース表示装置の構成図である。
【図４２】本発明の他の実施例によるインタフェース表示方法のフローチャートである。
【図４３】ソース信号のレベルに比例してイメージの大きさが変化する画面の一例である。
【図４４】ソース信号のレベルに比例してイメージの明るさが変化する画面の一例である。
【図４５】ソース信号のうち、現在最も大きいレベルを持つイメージのみが表示される画面の例である。
【図４６】ソース信号のうち、現在最も大きいレベルを持つイメージのみが表示される画面の例である。
【図４７】本発明の実施例によるリミックス情報提供システムを示す図である。
【図４８】本発明の実施例によるリミックス情報提供サーバーの構成図である。
【図４９】本発明の実施例によるリミックス情報提供サーバーのモジュール構成図である。
【図５０】本発明の実施例によってリミックス情報提供サーバーがリミックス情報を提供する方法を示すフローチャートである。
【図５１】本発明の実施例によってユーザ端末がリミックス情報を受信する方法を示すフローチャートである。
【図５２】本発明の実施例によってユーザがリミックス情報をリミックス情報提供サーバーに伝送する方法を示すフローチャートである。
【発明を実施するための形態】
【００８２】
以下、添付の図面を参照しつつ、本発明の好ましい実施例について詳細に説明する。
【００８３】
特に、本明細書における‘入力部’または‘キー’という用語は、特定入力信号を入力するための手段として理解すべきであり、ボタンキー、タッチセンサーなどの入力方式に限定されない。
【００８４】
特に、本発明におけるミックス信号は、オーディオ信号、ビデオ信号などを含むもので、本明細書の合成オブジェクト信号まで含む概念として理解しなければならない。
【００８５】
本発明は、ミックス信号をソース（object）信号単位に処理できるアルゴリズムを提供する。ミックス信号をソース信号単位に処理する場合、非常に様々な効果を生成することができる。例えば、映画を見る際に俳優たちの音声に対する音量は一定に維持しながら、背景音楽の音量のみを上げることが可能である。本発明でいうソース信号は、ミックス信号を構成する一つ以上のソース（source）（例えば、ピアノ）を含む。ソース信号単位の処理とは、ミックス信号を処理するにあたり、ミックス信号を構成する特定のソース信号と関連している特性（例えば、ローカル化（localization）、ゲイン（gain））を“個別的に（individually）”修正できるということを意味する。この“個別的に”とは、特定のソースと関連している特性を修正することが、他のソース信号の特性に影響を及ぼさないか、知覚的に感じにくいような小さい影響のみを及ぼすことを意味する。説明の便宜上、以下ではステレオ信号を例に上げて記述するが、本発明はステレオ信号に限定されない。本発明では、通常のミックス信号のフォーマット（例えば、ＰＣＭ、ＭＰ３、ＭＰＥＧ−ＡＡＣ）の他に、少ない量の付加情報（side information）が伝送される。これらミックス信号及び付加情報を用いてリミックス信号を生成することができる。
【００８６】
図１は、本発明の一実施例による第１リミックス信号エンコーダのブロック図である。この第１リミックス信号エンコーダは、付加情報生成部１０３及び付加情報エンコーディング部１０５を含む。
【００８７】
図１を参照すると、付加情報生成部１０３は、通常のミックス信号１０１及び該ミックス信号を構成するソース信号１０２を用いて付加情報１０４を生成する。ミックス信号１０１は、モノ（mono）、ステレオ（stereo）及びマルチチャネルオーディオ信号（multi-channel audio signal）になることができる。ソース信号１０２は、ミックス信号１０１を構成するソース信号の一部または全部になることができる。付加情報１０４とは、ミックス信号をソース信号単位に処理するのに用いられる情報のことをいう。付加情報１０４は、ミックス信号をリミキシングするためのミックスパラメータを含む。このミックスパラメータは、エンコーダでソース信号を用いて生成されたエンコーダミックスパラメータ（Encoder mix parameter）を含み、選択的にミックス信号のみを用いて生成されたブラインドミックスパラメータ（Blind mix parameter）を含むことができる。これらミックスパラメータの例には、それぞれのソース信号に対するゲイン値及びサブバンドパワー（subband power）などがある。付加情報１０４についての具体的な定義及び生成方法は、図２で記述される。本発明は、また、ミックス信号を構成するソース信号１０２のみを用いて付加情報１０４を生成する方法を含む。付加情報エンコーディング部１０５は、生成された付加情報１０４をエンコーディングし、符号化された付加情報信号１０６を生成する。ミックス信号１０１及び付加情報信号１０６はデコーディング装置に伝送される。
【００８８】
図２は、ミックス信号がステレオ信号である場合、図１の第１リミックス信号エンコーディング装置の詳細ブロック図である。前述したように、本発明で用いられるミックス信号は、モノ、ステレオ及びマルチチャネルオーディオ信号になりうるが、便宜上、ステレオ信号２０１を基準にして説明する。
【００８９】
【数１】

【００９０】
【数２】

【００９１】
【数３】

【００９２】
本発明の目的は、Ｍ個（０≦Ｍ≦Ｉ）のソース信号がリミックスされるように、これらのソース信号を含むステレオ信号を修正することにある。これらのソース信号を、それぞれ異なるゲインファクタを有しながらステレオ信号にリミックスすることができる。リミックス信号は、下の数学式２のように表現されることができる。
【００９３】
【数４】

【００９４】
ここで、Ｃ_i及びｄ_iは、リミックスされるＭ個のソース信号に対する新しいゲインファクタである。これらＣ_i及びｄ_iを、デコーダ端で提供することができる。この場合に、付加情報生成部２０６は、ステレオ信号２０１及びＭ個のソース信号２０２を用いて付加情報２０７を生成することができる。
【００９５】
上述のように、本発明の目的は、通常のステレオ信号と若干の付加情報が与えられる場合に、該ステレオ信号をソース信号単位にリミックスすることにある。本発明のように、非常に少ない量の付加情報を用いて、式１で表現されるミックス信号から数学式２で表現されるリミックス信号を完壁に生成することができない。
【数５】

【００９６】
図２を参照すると、第１リミックス信号エンコーディング装置に通常のステレオ信号２０１及びステレオ信号２０１に含まれるＭ個のソース信号２０２が入力される。ステレオ信号２０１は、付加情報と同期化するためにある程度ディレーされ、出力信号として直接用いることができる。付加情報を生成するために、ステレオ信号２０１及びソース信号２０２は、フィルタバンク２０３を通して時間−周波数ドメインのサブバンド別信号２０４及び２０５に分解される。すなわち、ステレオ信号２０１及びソース信号は、時間−周波数ドメインで処理される。この時間−周波数ドメインについては後述する。サブバンド別信号２０４は、各サブバンドの中心周波数で類似にプロセシングされる。特定の周波数でステレオ信号２０１のサブバンド対２０４はx₁(k)及びx₂(k)で表示される。ここで、ｋは、サブバンド信号の時間インデックス（time index）である。同様に、Ｍ個のソース信号２０２のサブバンド信号２０５は、S₁(k)、S₂(k)、…、S_M(k)で表示される。明瞭な表現のために、サブバンド（周波数）インデックスを使用しなかった。
【００９７】
【数６】

また、付加情報生成部２０６は、ステレオ信号２０１のサブバンド対２０４を用いて、サブバンド別にゲインファクタa_i及びb_iを生成する。ゲインファクタ a_i及びb_iは外部から直接与えられることができる。サブバンド別ショート−タイムサブバンドパワー及びゲインファクタを用いてサブバンド別付加情報２０７が生成される。付加情報生成部２０６は、ショート−タイムサブバンドパワー及びゲインファクタの他に、ステレオ信号に関連している他の情報を付加情報２０７として生成することができる。付加情報エンコーディング部２０８は、サブバンド別付加情報２０７を用いて、符号化された付加情報信号２０９を生成する。
【００９８】
複数のステレオ信号２０１に対して、ゲインファクタa_i及びb_iは固定でありうる。、a_i及びb_iが時間ｋによって可変であるとすれば、これらゲインファクタは、時間の関数として生成される。これらゲインファクタを直接量子化及び符号化する代わりに、より量子化及び符号化に適合する他の値に変換することができる。
【数７】

【００９９】
【数８】

【０１００】
【数９】

【０１０１】
【数１０】

【０１０２】
【数１１】

【０１０３】
【数１２】

【０１０４】
【数１３】

【０１０５】
【数１４】

【０１０６】
ここで、f_sは、サブバンドサンプリング周波数を表す。例えば、Ｔ＝４０ｍｓを用いることができる。
【数１５】

【０１０７】
【数１６】

【０１０８】
同様に、b_iは、下の数学式８のように計算される。
【０１０９】
【数１７】

【０１１０】
図３は、本発明の一実施例によるオーディオ信号を処理するためのドメインを示す。前述したように、オーディオ信号及び付加情報は、図３に示すように、時間−周波数ドメインのサブバンド別信号として処理される。この時間−周波数ドメインのサブバンド別信号は知覚的に誘導される。例えば、約２０ｍｓの長さを有するサイン波分析窓及び統合窓（sine analysis and synthesis window）を持つＳＴＦＴ（Short Time Fourier transform）を用いてサブバンド別信号を生成することができる。この時、ＳＴＦＴ係数は、一つのグループがＥＲＢ（equivalent rectangular bandwidth）の約２倍になる帯域幅を有するようにグループ化されることができる。
【０１１１】
図４は、本発明の一実施例による第２リミックス信号エンコーディング装置のブロック図である。
【０１１２】
図４を参照すると、ダウンミキシング部４０６は、複数のソース信号４０１を合算して一つの和信号（sum signal）を生成する。第２リミックス信号エンコーディング装置は、第１リミックス信号エンコーディング装置とは違い、ステレオ信号を伝送する代わりに和信号４０４を伝送する。付加情報生成部４０３は、ソース信号４０１を用いて付加情報４０５を生成する。付加情報４０５は、各ソース信号に対応するサブバンドパワー及びゲインファクタを含む。また、付加情報４０５は、リミックスレンダリング部におけるディレーに対応するパラメータを含むことができる。第１リミックス信号エンコーディング装置と類似に、付加情報４０５は、より量子化及び符号化に適合した他の値に変換されて伝送されることができる。付加情報エンコーディング部は、生成された付加情報４０５を用いて、符号化された付加情報信号４０７を生成する。生成された和信号４０４及び付加情報信号４０７は、デコーディング装置に伝送される。本発明は、また、ダウンミキシング部４０２を有しないエンコーディング装置を含む。この場合に、ソース信号４０１は、和信号４０４に変換されず、各ソース信号４０１が直接伝送される。
【０１１３】
図５は、本発明の一実施例による第１リミックス信号デコーディング装置のブロック図である。この第１リミックス信号デコーディング装置は、付加情報デコーディング部５０３及びリミックスレンダリング部５０５を含む。
【０１１４】
図５を参照すると、ミックス信号５０１及び付加情報信号５０２が第１リミックス信号デコーディング装置に入力される。このミックス信号５０１は、モノ、ステレオまたはマルチチャネルオーディオ信号になることができる。付加情報デコーディング部５０３は、付加情報信号５０２をデコーディングして付加情報５０４を生成する。付加情報５０４は、伝送されたオーディオ信号５０１に含まれたソース信号のゲインファクタ及びサブバンドパワーなどを含む。リミックスレンダリング部５０５には、ユーザが直接提供する制御情報を用いて生成されたユーザミックスパラメータ（user−mix parameter）５０６を入力することができる。リミックスレンダリング部５０５は、ミックス信号５０１、伝送された付加情報５０４及びユーザミックスパラメータ５０６を用いてリミックス信号５０７を生成する。このリミックス信号を生成する方法に関する具体的な説明は、図６で後述する。リミックス信号５０７を、伝送されたミックス信号のチャネル数と同じチャネル数を持つEq−チャネルミックス信号（Eq−channel mix signal）として生成し、または、ミックス信号のチャネル数よりも多いチャネル数を持つアップチャネルミックス信号（Up−channel mix signal）として生成することができる。
【０１１５】
図６は、ステレオ信号を用いる場合における、図５の第１リミックス信号デコーディング装置の詳細図である。前述したように、伝送されたミックス信号は、モノ、ステレオ及びマルチチャネルオーディオ信号になることができ、便宜上、以下ではステレオ信号６０１を基準にして説明する。
【０１１６】
図６を参照すると、ステレオ信号６０１は、フィルタバンク６０３を通して時間−周波数ドメインのサブバンド別信号６０４に分解される。図６に示すように、特定の周波数におけるサブバンド別信号６０４は、x₁(k)及びx₂(k)で表現される。付加情報デコーディング部６０５は、伝送された付加情報信号６０２を復号化し、サブバンド別付加情報６０６を生成する。また、リミックスレンダリング部６０７に、ユーザが提供する制御情報を用いて生成されたユーザミックスパラメータ６０８を入力することができる。このユーザミックスパラメータ６０８を、サブバンド別に提供することができる。
【数１８】

【数１９】

【０１１７】
リミックスレンダリング部６０７で生成されたリミックス信号６０９を生成する方法は、次の通りである。
【数２０】

【０１１８】
【数２１】

【０１１９】
サブバンド別リミックス信号６０９は、下の式１０のように表現することができる。
【０１２０】
【数２２】

【０１２１】
リミックス信号６０９を生成するために、最小二乗推定法（least squares estimation）を用いることができる。サブバンド別ミックス信号６０４ x₁(k)及びx₂(k)が与えられると、下の式１１のように互いに異なるゲインを持つサブバンド別リミックス信号６０９を、サブバンド別ミックス信号６０４の線形組合せとして推定することができる。
【０１２２】
【数２３】

【０１２３】
ここで、w₁₁(k)、w₁₂(k)、w₂₁(k)及びw₂₂(k)は、重み係数（weighting factors）である。この時、生成される推定誤差（estimation error）を、下の式１２のように定義することができる。
【０１２４】
【数２４】

【０１２５】
【数２５】

【０１２６】
【数２６】

【０１２７】
【数２７】

【０１２８】
【数２８】

【０１２９】
同様に、w₂₁及びw₂₂を、下の式１５のように生成することができる。
【０１３０】
【数２９】

【０１３１】
【数３０】

【０１３２】
【数３１】

【０１３３】
ミックス信号６０４の位相が互いに同期されたり（coherent）、または、ほとんど同期化されると、下の式１７のように表現される値が１に近づくようになる。
【０１３４】
【数３２】

【０１３５】
この時、上記重み値を、下の式１８のように表現することができる。
【０１３６】
【数３３】

【０１３７】
このように生成されたサブバンド別リミックス信号６０９は、前述したように、逆フィルタバンク６１０を通じて時間−ドメインのリミックス信号６１１に変換される。リミックス信号６１１は、ユーザが提供した制御情報を用いて生成されたユーザミックスパラメータc_i及びd_iを用いてそれぞれのソース信号を独立的にリミックスして生成されたリミックス信号のように聞こえる。
【０１３８】
以上では２チャネルステレオ信号のリミキシングを中心に説明した。しかし、前述したように、本発明は、ステレオ信号に制限されず、マルチチャネルオーディオ信号、例えば、５．１チャネルオーディオ信号のリミキシングまで拡大することができる。当業者は、本明細書で記述されたステレオ信号と同様に、マルチチャネルオーディオ信号をリミキシングすることができる。この場合に、式１１は、下の式１９のように示されることができる。
【０１３９】
【数３４】

【０１４０】
選択的に、ミックス信号のチャネルのうち特定のチャネルはリミックスせずに残すことができる。例えば、５．１サラウンドチャネルに対して、２個の後側チャネルは修正せずに前側チャネルにのみリミキシングを適用させることができる。この場合に、２または３チャネルリミキシングアルゴリズムが前側チャネルに適用される。
【０１４１】
図７は、本発明の一実施例による第２リミックス信号デコーディング装置のブロック図である。この第２リミックス信号デコーディング装置は、付加情報デコーディング部７０３、空間情報統合部７０５及びリミックスレンダリング部７０７を含む。
【０１４２】
図７を参照すると、ソース信号の和信号７０１及び付加情報信号７０２が第２リミックス信号デコーディング装置に入力される。付加情報デコーディング部７０３は、付加情報信号７０２をデコーディングし、付加情報７０４を生成する。付加情報７０４は、ゲインファクタ、ディレー定数及びサブバンドパワーなどを含む。付加情報統合部７０５は、付加情報７０４を用いて、和信号７０１を複数のソース信号７０６に分離する。リミックスレンダリング部７０７は、ソース信号７０６を用いてリミックス信号７０９を生成することができる。この時、リミックスレンダリング部７０７は、付加情報として伝送されたミックスパラメータを用いてリミックス信号７０９を生成することができる。また、リミックスレンダリング部７０７は、選択的に、ユーザが提供する制御情報を用いて生成されたユーザミックスパラメータ７０８を用いてリミックス信号７０９を生成することができる。
【０１４３】
図８は、通常のエンコーディング装置及び本発明の一実施例によるリミックス信号エンコーディング装置との結合を示すブロック図である。ミックス信号８０１を、通常のエンコーディング装置８０３により符号化し、符号化されたミックス信号８０５に変換することができる。ミックス信号８０１は、チャネル別信号またはソース信号になることができる。通常のエンコーディング装置８０３は、ＡＡＣ、ＭＰ３エンコーダなどのような従来のエンコーディング装置だけでなく、今後開発されるエンコーディング装置を含む。本発明によるリミックス信号エンコーディング装置８０４は、ミックス信号８０１及び該ミックス信号に含まれるソース信号８０２を用いて付加情報信号８０６を生成する。多重化部８０７は、符号化されたミックス信号８０５及び付加情報信号８０６を用いてビットストリーム８０８を生成する。前述したように、付加情報信号８０６は従来装置と互換性を持つように、従来ミックス信号フォーマット内の補助データ領域に挿入されることができる。
【０１４４】
図９は、通常のデコーディング装置及び本発明の一実施例による信号処理装置との結合を示すブロック図である。逆多重化部９０２は、伝送されたビットストリーム９０１から、符号化されたミックス信号９０３及び付加情報信号９０４を分離する。その後、通常のデコーディング装置９０５は、符号化されたミックス信号９０３をデコーディングし、本発明によるリミックス信号デコーディング装置９０７で用いられうるようなミックス信号９０６を生成する。通常のデコーディング装置９０５は、ＡＡＣ、ＭＰ３デコーダなどのような従来のエンコーディング装置の他に、今後開発されるエンコーディング装置を含む。ミックス信号９０６は、チャネル別信号またはソース信号になることができる。本発明によるリミックス信号デコーディング装置９０７は、付加情報信号９０４及びユーザミックスパラメータ９０９のうち少なくとも一つを用いて、ミックス信号９０６をリミックス信号９０８に変換することができる。
【０１４５】
図１０は、本発明の一実施例による第５信号処理装置のブロック図である。図１０を参照すると、第５信号処理装置は、ミックス信号デコーディング部１００１、パラメータ生成部１００２、及びリミックスレンダリング部１００８を含む。選択的に、エフェクタ（Effecter）１０１１を含むことができる。パラメータ生成部１００２は、ブラインドミックスパラメータ生成部１００３、ユーザミックスパラメータ生成部１００４、及びリミックスパラメータ生成部１００５を含むことができる。リミックスパラメータ生成部１００５は、ｅｑ−ミックスパラメータ生成部１００６を含み、選択的にアップミックスパラメータ生成部１００７を含むことができる。また、リミックスレンダリング部１００８はｅｑ−ミックスレンダリング部１００９を含み、選択的に、アップミックスレンダリング部１０１０を含むことができる。
【０１４６】
ミックス信号デコーディング部１００１は、エンコーディング端から伝送された符号化されたミックス信号をデコーディングしてミックス信号を生成する。パラメータ生成部１００２は、エンコーディング端から伝送された付加情報及びユーザ制御情報、または、構成情報を受信する。ユーザ制御情報を、エンコーダ端から伝送する代わりに、デコーダ端で生成することができる。ユーザミックスパラメータ生成部１００４は、ユーザ制御情報を用いてユーザミックスパラメータを生成する。エンコーダ端から伝送された付加情報には、エンコーダミックスパラメータ（Encoder Mix Parameter）を含めることができる。また、ブラインドミックスパラメータ生成部１００３は、ミックス信号を用いてブラインドミックスパラメータ（Blind−Mix Parameter）を生成することができる。エンコーダミックスパラメータとブラインドミックスパラメータは択一的にリミックスパラメータ生成部１００５に入力される。
【０１４７】
リミックスパラメータ生成部１００５は、付加情報及びユーザミックスパラメータを用いてリミックスパラメータを生成する。このリミックスパラメータを、リミックス信号のチャネルに適用可能なように生成することができる。リミックスパラメータ生成部１００５に含まれるｅｑ−ミックスパラメータ生成部１００６は、ミックス信号のチャネル数と同じチャネル数を持つリミックス信号を生成するのに用いられるリミックスパラメータを生成し、リミックスパラメータ生成部１００５に含むことができるアップミックスパラメータ生成部１００７は、ミックス信号のチャネル数よりも多いチャネル数を持つリミックス信号を生成するのに用いられるリミックスパラメータを生成する。これらのリミックスパラメータは、リミックスレンダリング部１００８に入力される。
【０１４８】
リミックスレンダリング部１００８に含まれるｅｑ−ミックスレンダリング部１００９は、リミックスパラメータ及びミックス信号を用いて、ミックス信号のチャネル数と同じチャネル数を持つｅｑ−チャネルリミックス信号（Eq−channel remix signal）を生成する。リミックスレンダリング部１００８に含むことができるアップミックスレンダリング部１０１０は、アップミックスパラメータ生成部１００７で生成されたリミックスパラメータ及びミックス信号を用いて、ミックス信号のチャネル数よりも多いチャネル数を持つアップチャネルリミックス信号（Up−channel remix signal）を生成する。アップミックスレンダリング部１０１０は、ｅｑ−チャネルレンダリング部１００９で生成されたリミックス信号を用いてアップチャネルリミックス信号を生成することができる。
【０１４９】
したがって、第５信号処理装置は、エンコーディング端から伝送したミックス信号をそのまま出力したり、ｅｑ−チャネルリミックス信号として出力したり、または、アップチャネルリミックス信号として出力することができる。選択的に、リミックスレンダリング部は、エフェクタ１０１１から提供される情報を用いて、リミックス信号に様々な効果を与えることができる。
【０１５０】
図１１は、本発明の一実施例による入力装置の構成を示す図であり、図１２は、本発明の一実施例による入力装置の具現例を示す図である。図１１及び図１２を参照すると、本発明の一実施例による入力装置１０００（以下、‘入力装置１０００’と略す）は、第１リミックス信号デコーディング装置５００と関連し合っており、第１入力部１１１０（ソースメニューキー）、第２入力部１１２０（音声ミュートキー）、第３入力部１１３０（音声調整キー）、第４入力部１１４０（アンビエンス調整キー）、第５入力部１１５０（第１ソースキー１１５０ａ（ピアノキー）、第２ソースキー１１５０ｂ（バイオリンキー）、方向移動キー１１６０ａ、ポインティングデバイス１１６０ｂ、数字キー１１７０、記憶部１２００、制御部１３００及びディスプレイ１４００を含む。
【０１５１】
まず、第１リミックス信号デコーディング装置５００は、図５で説明された第１リミックス信号デコーディング装置とその構成が同一なので、その構成要素についての具体的な説明は省略する。以下では、入力装置１０００の各構成要素について具体的に説明する。
【０１５２】
第１入力部１１１０（ソースメニューキー）は、その入力信号を制御部１３００によりソース別メニュー表示命令に変換する入力装置である。ソース別メニューとは、特定ミックス信号に含まれているソースのリストが表示される画面であって、ソース別メニューが表示された状態でソース別に音量レベルなどを調整することができる。第１入力部（ソースメニューキー）が入力された後に表示される画面（ソース別メニュー表示画面）の一例を、図１３に示す。ここでソース別メニュー表示画面を、第１インタフェース装置５５０のディスプレイ１４００に表示することができる。第１入力部１１１０（ソースメニューキー）を、押される回数によって命令実行及び取消が反復されるトグル方式のボタンキーやタッチセンサーで具現することができるが、本発明はこれに限定されない。
【０１５３】
第２入力部１１２０（音声ミュートキー）は、その入力信号が制御部１３００によって音声ミュート命令に変換される入力装置である。音声ミュート命令とは、特定ミックス信号に含まれているソースにおいて人の音声（voice）のレベルが０となるようにするための命令である。第２入力部（音声ミュートキー）が入力された後に表示される画面の一例を、図１４に示す。第２入力部１１２０（音声ミュートキー）も同様に、押される回数によって命令実行及び取消が反復されるトグル方式のボタンキーやタッチセンサーで具現することができるが、本発明はこれに限定されない。
【０１５４】
第３入力部１１３０（音声調整キー）は、その入力信号が制御部１３００により音声レベル調整命令に変換される入力装置である。音声レベル調整命令とは、特定ミックス信号に含まれているソースのうち、人の音声（voice）のレベルのみを上げたり下げたりするようにするための命令である。第３入力部（音声調整キー）が入力された後に表示される画面の一例を、図１５に示す。第２入力部１１２０（音声ミュートキー）も、レベル上昇命令及びレベル下降命令を入力するためのものであり、２個のボタンキー、ジョグシャトル、２方向のジョグボタン、２方向のタッチスクロール、２個のタッチセンサー、タッチホイールなどで具現することができるが、本発明はこれに限定されない。
【０１５５】
第４入力部１１４０（アンビエンス調整キー）は、その入力信号が制御部１３００によりアンビエンス画面表示命令に変換される入力装置である。アンビエンス画面とは、特定ミックス信号に含まれているソースの相対的位置が表示され、方向移動キー１１６０ａやポインティングデバイス１１６０ｂを用いてソースそれぞれの位置を変更できる画面である。第４入力部（アンビエンス調整キー）が入力された後に表示される画面（アンビエンス画面）の一例を、図１６に示す。第４入力部１１４０（音声ミュートキー）も同様に、押される回数によって命令実行及び取消が反復されるトグル方式のボタンキーやタッチセンサーで具現することができるが、本発明はこれに限定されない。
【０１５６】
第５入力部１１５０は、その入力信号が制御部１３００によりソース音ミュート命令に変換される入力装置である。ソース音ミュート命令は、特定楽器に該当するソース信号が再生されないようにするための命令である。第５入力部１１５０は、例えば、‘ピアノ’に該当するソース信号のレベルを略０にするための第１ソースキー１１５０ａ（ピアノキー）であっても良く、‘バイオリン’に該当するソース信号のレベルを略０にするための第２ソースキー１１５０ｂ（バイオリンキー）であっても良い。第５入力部のうち、第１ソースキー（ピアノキー）が入力された後に表示される画面の一例を、図１７に示し、第５入力部のうち、第２ソースキー（バイオリンキー）が入力された後に表示される画面の一例を、図１８に示す。第５入力部１１５０の第１ソースキー、第２ソースキーもそれぞれ、押される回数によって命令実行及び取消が反復されるトグル方式のボタンキーやタッチセンサーで具現することができるが、本発明はこれに限定されない。
【０１５７】
方向移動キー１１６０ａは、その入力信号が制御部１３００により方向移動に関する命令に変換される入力装置である。方向移動に関する命令は、ソース別メニュー画面が表示された状態では特定ソースレベル調整命令になることができ、アンビエンス画面が表示された状態では特定ソースの位置調整命令になることができる。方向移動キー１１６０ａは、４個のボタンキー、４個のタッチセンサー、４方向のタッチスクロール、タッチホイール等で具現することができるが、本発明はこれに限定されない。
【０１５８】
ポインティングデバイス１１６０ｂは、その入力信号が制御部１３００により位置指定に関する命令に変換される入力装置である。位置指定に関する命令は、方向移動キー１１６０ａと同様に、ソース別メニュー画面が表示された状態では特定ソースレベル調整命令になることができ、アンビエンス画面が表示された状態では特定ソースの位置調整命令になることができる。ポインティングデバイス１１６０ｂは、マウス、トラックボール、タッチパッド、タッチスクリーン、タッチパネル（及びスタイラスペン）などで具現することができるが、本発明はこれに限定されない。
【０１５９】
数字キー１１７０は、その入力信号が制御部１３００により数字入力に関する命令に変換される入力装置である。数字入力に関する命令は、ソース別メニュー画面やアンビエンス画面が表示された状態では、その数字とマッチングされる特定ソースを選択するための命令になることができる。例えば、ソース別メニュー画面に“１．音声、２．ピアノ、３．バイオリン、４．フルート”と表示されている場合、ユーザが数字キー１１７０のうち、“３番キー”を選択すると、３番とマッチングされる‘バイオリン’が選択される。数字キー１１７０は、１０個のボタンキー、１０個のタッチセンサー、タッチパネルなどで具現することができるが、本発明はこれに限定されない。
【０１６０】
記憶部１２００には、各キー別命令情報が保存されている。各キー別命令情報とは、各入力部（第１入力部１１１０、第２入力部１１２０等）（数字キー１１７０を含む）とそれに該当する命令（ソース別メニュー表示命令、音声ミュート命令等）を意味する。一方、ユーザによるショートカットキー登録過程を通じて各キー別命令情報を新しく保存したり変更することができ、このショートカットキー登録過程についての具体的な説明は、図２２を参照して後述する。一方、記憶部１２００には、ソース別メニュー画面、音声ミュート画面、音声調整画面、アンビエンス調整画面などに関するデータがさらに保存されている。
【０１６１】
制御部１３００は、入力部（１１１０，１１２０，１１３０，１１４０，１１５０等）から受信した入力信号を、記憶部１２００に保存されている各キー別命令情報に基づいて、各命令に変換する。具体的には、第１入力部１１１０を通じて受信した入力信号を、ソース別メニュー表示命令に変換し、第２入力部１１２０を通じて受信した入力信号を、音声ミュート命令に変換した後に、音声ミュート命令に基づいてミックス信号に関する制御情報５０６を出力し、第３入力部１１３０を通じて受信した入力信号を、音声レベル調整命令に変換し、第４入力部１１４０を通じて受信した入力信号を、アンビエンス画面表示命令に変換し、第５入力部１１５０を通じて受信した入力信号を、ソース音ミュート命令に変換する。
【０１６２】
また、制御部１３００は、入力部（１１１０，１１４０等）の入力によって第１リミックス信号デコーディング装置５００から受信したソース情報ｓｉに基づいてインタフェース画面が表示されるようにする。例えば、第１入力部１１１０を通じてソース別メニュー表示命令が入力された場合、ソース情報ｓｉに基づいてディスプレイ１４００にソース別メニューを表示し、第４入力部１１４０を通じてアンビエンス画面表示命令が入力された場合、ミックス信号に該当するソース信号情報ｓｉに基づいてアンビエンス画面が表示されるようにする。
【０１６３】
また、制御部１３００は、入力部（１１２０，１１３０，１１４０等）を通じた命令に基づいて、ミックス信号に関する制御情報５０６を出力し、第１リミックス信号デコーディング装置５００に入力されるようにする。ここで、制御情報５０６は、図５と共に既に説明したので、その具体的な説明は省略する。具体的に、また、制御部１３００は、ソース別メニュー画面がディスプレイに表示された状態である場合、ポインティングデバイス１１６０ｂまたは方向移動キー１１６０ａを通じて受信した入力信号を、ソース別レベル調整命令に変換し、アンビエンス画面がディスプレイに表示された状態である場合、ポインティングデバイス１１６０ｂまたは方向移動キー１１６０ａを通じて受信した入力信号を、アンビエンス調整命令に変換する。制御部１３００がこれらの入力信号を該当の命令に変換する過程で、記憶部１２００に保存された各キー別命令情報を参照することができる。このように変換された命令（ソース別レベル調整命令、アンビエンス調整命令等）に基づいてミックス信号に関する制御情報５０６を出力することができる。
【０１６４】
ディスプレイ１４００は、制御部１３００の制御によってソース別メニュー画面またはアンビエンス画面などがディスプレイされる表示装置である。さらに、各入力部（第１入力部１１１０等）が入力された後に表示される画面（図１４、図１５、図１７、図１８等）を表示することもできる。
【０１６５】
図１９は、本発明の他の実施例による入力装置の構成を示す図である。図１９を参照すると、本発明の他の実施例の入力装置２０００（以下、入力装置２０００と略す）は、第１リミックス信号デコーディング装置５００及び第１インタフェース装置５５０と関連し合っており、第１入力部２１１０（ソースメニューキー）、第２入力部２１２０（音声ミュートキー）、第３入力部２１３０（音声調整キー）、第４入力部２１４０（アンビエンス調整キー）、第５入力部２１５０（第１ソースキー２１５０ａ（ピアノキー）、第２ソースキー２１５０ｂ（バイオリンキー）、方向移動キー２１６０ａ、ポインティングデバイス２１６０ｂ、数字キー２１７０、記憶部２２００、制御部２３００、ディスプレイ２４００、無線通信部２５００を含む。このうち、制御部２３００及び無線通信部２５００以外の構成要素は、上の図１１及び図１２と共に説明された本発明の一実施例の構成要素のうち同一名称の構成要素と略同一なので、その説明は省略する。
【０１６６】
また、第１リミックス信号デコーディング装置５００は、図５と共に説明された第１リミックス信号デコーディング装置とその構成が同一なので、その構成要素についての具体的な説明は省略する。
【０１６７】
一方、第１インタフェース装置５５０は、第１リミックス信号デコーディング装置５００から入力装置２０００にインタフェースを提供する装置であり、無線通信部５５２、記憶部５５４、インタフェース制御部５５６、ディスプレイ部５５８を含む。
【０１６８】
第１インタフェース装置５５０の無線通信部５５２は、入力装置２０００と無線通信をするための装置であり、ここでの無線通信方式は、赤外線通信方式に限定されない。記憶部５５４には、ソース別メニュー画面、音声ミュート画面、音声調整画面、アンビエンス調整画面などに関するデータが保存されている。インタフェース制御部５５６は、第１リミックス信号デコーディング装置５００から受信したソース情報ｓｉに基づいてインタフェース画面を表示し、入力装置２０００から受信した命令に基づいて第１リミックス信号デコーディング装置５００に制御情報５０６を入力する。ここで、制御情報５０６は、上の図５と共に説明したので、その具体的な説明は省略する。ディスプレイ５５８は、インタフェース制御部５５６の制御によってインタフェース画面が表示される表示装置である。入力装置２０００にディスプレイ２４００が備えられる場合、第１インタフェース装置５５０のディスプレイ５５８は省かれても良い。
【０１６９】
以下では、入力装置２０００の各構成要素のうち、制御部２３００及び無線通信部２５００について説明する。
【０１７０】
制御部２３００は、第１入力部２１１０を通じて受信した入力信号を、ソース別メニュー表示命令に変換し、第２入力部２１２０を通じて受信した入力信号を、音声ミュート命令に変換し、第３入力部２１３０を通じて受信した入力信号を、音声レベル調整命令に変換し、第４入力部２１４０を通じて受信した入力信号を、アンビエンス画面表示命令に変換し、第５入力部２１５０を通じて受信した入力信号を、ソース音ミュート命令に変換する。また、制御部２３００は、ソース別メニュー画面がディスプレイに表示された状態である場合、ポインティングデバイス２１６０ｂまたは方向移動キー２１６０ａを通じて受信した入力信号を、ソース別レベル調整命令に変換し、アンビエンス画面がディスプレイに表示された状態である場合、ポインティングデバイス２１６０ｂまたは方向移動キー２１６０ａを通じて受信した入力信号を、アンビエンス調整命令に変換する。制御部２３００がこれらの入力信号を該当の命令に変換する過程で、記憶部２２００に保存された各キー別命令情報を参照することができる。
【０１７１】
無線通信部２５００は、制御部２３００により変換された命令を外部装置、特に、第１インタフェース装置５５０に伝送する。また、第１インタフェース装置５５０がソース別メニュー画面に関するデータまたはアンビエンス画面に関するデータを伝送する場合、無線通信部２５００はこれを受信する。
【０１７２】
図２０は、本発明の一実施例による入力装置と関連し合う第２リミックス信号デコーディング装置及び第２インタフェース装置の構成を示す図である。図２０を参照すると、入力装置１０００が 第２リミックス信号デコーディング装置７００と関連し合っている。 第２リミックス信号デコーディング装置７００は、上の 図７と共に説明されたので、その具体的な説明は省略する。第２インタフェース装置７５０は、第１リミックス信号デコーディング装置５００ではなく第２リミックス信号デコーディング装置７００からソース情報ｓｉを受信し、第２リミックス信号デコーディング装置７００に制御情報７０８を入力する以外は、その構成要素７５２，７５４，７５６，７５８が、第１インタフェース装置５５０における同一名称の構成要素５５２，５５４，５５６，５５８とそれぞれ略同一なので、その説明は省略する。
【０１７３】
図２１は、本発明の他の実施例による入力装置が関連し合う第２リミックス信号デコーディング装置及び第２インタフェース装置の構成を示す図である。図２１を参照すると、入力装置２０００が第２リミックス信号デコーディング装置７００及び第２インタフェース装置７５０と関連し合っている。第２リミックス信号デコーディング装置７００は、上の図７と共に詳述したので、その具体的な説明は省略する。第２インタフェース装置７５０は、第１リミックス信号デコーディング装置５００ではなく第２リミックス信号デコーディング装置７００からソース情報ｓｉを受信し、第２リミックス信号デコーディング装置７００に制御情報７０８を入力する以外は、その構成要素７５２，７５４，７５６，７５８が第１インタフェース装置５５０における同一名称の構成要素５５２，５５４，５５６，５５８とそれぞれ略同一なので、その説明は省略する。
【０１７４】
図２２は、本発明の実施例による入力方法を示すフローチャートである。図２２を参照すると、ユーザがショートカットキー登録を選択すると、入力装置は、ショートカットキー登録命令を受信する（Ｓ１１０段階）。ショートカットキー登録命令が入力された後に表示される画面の一例が、図２３に示されている。その後、ユーザが入力装置に備えられた複数のキー（例：数字キー）の中からショートカットキーとして使用するキー（例：１番キー）を選択する（Ｓ１２０段階）。入力装置は、ミックス信号に用いられうるソースのリストを表示する（Ｓ１３０段階）。例えば、ミックス信号に用いられうるソースは、音声オーディオ信号または楽器別オーディオ信号（音声、ピアノ、バイオリン、フルート等）になることができる。すると、ユーザは、ソースのリストから一つを選択する方法で、ショートカットキーとマッチングさせるソースを選択する（Ｓ１４０段階）。例えば、ピアノを選択することができる。その後、ユーザが一つ以上の機能（例：音ミュート、アンビエンス調整）からショートカットキーに使用する機能（例：音ミュート）を選択する（Ｓ１５０段階）。このようにユーザがＳ１２０段階、Ｓ１４０段階、Ｓ１５０段階でキー、ソース、機能を選択すると、入力装置は、選択されたキー、選択されたソース、選択された機能をショートカットキー登録情報として保存する（Ｓ１６０段階）。例えば、１番キーにピアノ信号の音ミュート命令をマッチングさせて保存する。すると、１番キーが入力された時、入力装置は、１番キーの入力信号をピアノ信号の音ミュート命令に変換する。
【０１７５】
図２４は、本発明の一実施例によるインタフェース表示装置の構成を示す図である。図２５Ａ及び図２５Ｂは、本発明の一実施例によるインタフェース表示装置の具現例である。図２４、図２５Ａ、及び図２５Ｂを参照すると、本発明の一実施例によるインタフェース表示装置３０００は、第１リミックス信号デコーディング装置５００と関連し合っており、入力部３１００、制御部３２００、第１ディスプレイ３３００ａ、第２ディスプレイ３３００ｂを含む。ここで、第１リミックス信号デコーディング装置５００は、付加情報デコーディング部５０３及びリミックスレンダリング部５０５を含むもので、上の図５と共に説明された第１リミックス信号デコーディング装置と構成及び機能が略同一なので、その具体的な説明は省略する。
【０１７６】
入力部３１００は、複数のミックス信号のうち一つを選択するための入力装置である。ここで、ミックス信号とは、上の図５と共に説明されたチャネル別オーディオ信号５０１でありうる。複数のミックス信号のうち、入力部３１００により選択されたミックス信号５０１ｐ、及びミックス信号５０１ｐの付加情報信号５０２ｐが、第１リミックス信号デコーディング装置５００に入力される。入力部３１００はまた、ミックス信号に含まれているソースから一つを選択するためのものであっても良く、さらに、ソース信号のレベル調整に関する命令、ソース信号のサブバンド別レベル調整（イコライザ調整）に関する命令、及びソース信号のアンビエンス調整に関する命令を入力するためのものであっても良い。入力部３１００は、マウス、トラックボール、タッチパッドなどのようなポインティングデバイスの他に、方向移動キー、タッチホイール等で具現されても良く、赤外線通信などの無線通信を用いたリモートコントローラで具現されても良いことはもちろんである。
【０１７７】
制御部３２００は、入力部３１００により選択されたミックス信号５０１ｐに対応するソース信号情報ｓｉを照会した後、ソース信号情報ｓｉに基づいてソース信号のリスト（以下、ソースのリスト）を構成し、それを第１ディスプレイ３３００ａに表示する。ここで、ソース信号情報ｓｉは、入力部３１００により選択されたミックス信号５０１ｐに含まれているソース信号に関する情報で、各ソース信号の楽器名などを含む情報でありうる。ソース信号情報ｓｉは、上の図１と共に説明したソース信号１０２の情報であっても良い。一方、ソース信号情報ｓｉは、メタデータ（楽器演奏者名、製作日時等）をさらに含むことができる。一方、ソース信号情報ｓｉは、制御部３２００が第１リミックス信号デコーディング装置５００の付加情報デコーディング部５０３から受信したものでありうる。ここで、ソースのリストは、ソース信号５０２ｐの楽器名、歌手名、及び登場人物名のうち一つ以上を含むことができる。
【０１７８】
制御部３２００はまた、入力部３１００からリミキシングに関する様々な命令（ソース信号のレベル調整に関する命令、ソース信号のサブバンド別レベル調整に関する命令、及びソース信号のアンビエンス調整に関する命令など）が受信されると、その命令を制御情報５０６に変換してリミックスレンダリング部５０５に入力する。ここで、制御情報５０６は、上の図５と共に説明された制御情報５０６及び図６と共に説明された制御情報６０８と同一であるので、その具体的な説明は省略する。
【０１７９】
第１ディスプレイ３３００ａは、制御部３２００の制御によってソースのリストが表示されるディスプレイである。第１ディスプレイ３３００ａに表示されるソースのリストは、ミックス信号が選択されている間には継続して第１ディスプレイ３３００ａに表示される。‘ミックス信号が選択されている間’とは、例えば、選択されたミックス信号が再生されているか、リミキシング（レベル調整、アンビエンス調整等）されている間であるということを意味する。もし、ユーザにより他のミックス信号が選択される場合、他のミックス信号とマッチングされるソースのリストが、第１ディスプレイ３３００ａに表示される。第１ディスプレイ３３００ａは、ＬＣＤなどで具現されることもでき、複数の発光素子のマトリクスでも具現されることができるが、本発明はこれに限定されない。第１ディスプレイ３３００ａが複数の発光素子で具現される場合、複数の発光素子の点滅によってソースのリストが表示される。
【０１８０】
第２ディスプレイ３３００ｂは、制御部３２００の制御によってメタデータ、音量レベル調整画面、イコライザ調整画面、アンビエンス調整画面などが表示されるディスプレイである。図２６〜図２９は、特定ソースが選択された場合、第１ディスプレイ及び第２ディスプレイに表示される画面の例である。図２６は、第１ディスプレイ３３００ａに表示されたソースリストから‘１．音声’が選択された場合、選択されたソース（１．音声）のメタデータが第２ディスプレイ３３００ｂに表示された例であり、図２７は、選択されたソース（１．音声）の音量レベル調整画面が第２ディスプレイ３３００ｂに表示された例である。図２８は、選択されたソース（３．バイオリン）のイコライザ調整画面（サブバンド別レベル調整画面）が第２ディスプレイ３３００ｂに表示された例であり、図２９は、選択されたソース（２．ピアノ）のアンビエンス調整画面が第２ディスプレイ３３００ｂに表示された例である。図２６〜図２９を比較すると、第２ディスプレイ３３００ｂに表示される画面が変わっても、ソースのリストは第１ディスプレイ３３００ａに表示され続くということがわかる。
【０１８１】
一方、第２ディスプレイ３３００ｂ及び第１ディスプレイ３３００ａは、必ずしも機械的にまたは装置的に分離される必要はなく、よって、第２ディスプレイ３３００ｂ及び第１ディスプレイ３３００ａは一つのパネルとして具現されても良いことは無論である。
【０１８２】
図３０は、本発明の他の実施例によるインタフェース表示装置の構成を示す図である。同図を参照すると、本発明の他の実施例によるインタフェース表示装置４０００は、入力部４１００、制御部４２００、第１ディスプレイ４３００ａ、第２ディスプレイ４３００ｂを含み、第２リミックス信号デコーディング装置７００と関連し合っている。ここで、第１リミックス信号デコーディング装置７００は、付加情報デコーディング部７０３、付加情報統合部７０５及びリミックスレンダリング部７０７を含むもので、上の図７と共に説明された第２リミックス信号デコーディング装置の構成及び機能が略同一なので、その具体的な説明は省略する。
【０１８３】
一方、本発明の他の実施例によるインタフェース表示装置４０００は、本発明の一実施例によるインタフェース表示装置３０００と対比すると、第１リミックス信号デコーディング装置５００ではなく第２リミックス信号デコーディング装置７００と関連し合っており、ミックス信号５０１ｐではなく合成オブジェクト信号７０１ｐが入力されるという点が異なるだけで、その構成要素４１００，４２００，４３００ａ，４３００ｂは、本発明の一実施例によるインタフェース表示装置３０００と同一名称の構成要素３１００，３２００，３３００ａ，３３００ｂとそれぞれ略同一なので、その構成要素に関する説明は省略する。
【０１８４】
図３１は、本発明の実施例によるインタフェース表示方法を示すフローチャートである。以下で用いられるミックス信号という用語は、合成オブジェクト信号の概念まで含まれる概念として理解すべきである。本発明の一実施例によるインタフェース表示方法は、上述した本発明の一実施例によるインタフェース表示装置３０００によって行なわれても良く、本発明の他の実施例によるインタフェース表示装置４０００によって行なわれても良い。
【０１８５】
図３１を参照すると、まず、インタフェース表示装置は、既に保存されていたり伝送されることができる一つ以上のミックス信号の情報を、ミックス信号のリストとしてディスプレイに表示する（Ｓ２１０段階）。すると、ユーザは、Ｓ２１０段階で、表示されたミックス信号のリストから、再生したいまたはリミキシングしたい特定ミックス信号を、入力装置を用いて選択する（Ｓ２２０段階）。すると、インタフェース表示装置は、Ｓ２２０段階で選択されたミックス信号に対応する付加情報から、該ミックス信号に対応するソース信号情報を抽出する（Ｓ２３０段階）。
【０１８６】
インタフェース表示装置は、Ｓ２３０段階で抽出されたソース信号情報に基づいてソースのリストを構成する（Ｓ２４０段階）。その後、インタフェース表示装置は、ソースのリストを第１ディスプレイに表示する（Ｓ２５０段階）。
【０１８７】
ユーザが第１ディスプレイに表示されたソースのリストを確認し、その中から一つのソースを選択する（Ｓ２６０段階）。すると、インタフェース表示装置は、Ｓ２６０段階で選択されたソースのメタデータ（設定によって、音量レベル調整画面、イコライザ調整画面、アンビエンス調整画面等）を第２ディスプレイに表示する（Ｓ２７０段階）。
【０１８８】
その後、Ｓ２２０段階で選択されたミックス信号の選択が終了すると（例えば、ユーザが該当のミックス信号の再生を終了させたり、他のミックス信号を選択する場合）（Ｓ２８０段階の‘Ｙｅｓ’）、Ｓ２５０段階から始まったソースのリストの表示を終了する（Ｓ２９０段階）。
【０１８９】
図３２は、本発明の一実施例によるインタフェース表示装置の構成を示す図である。同図を参照すると、本発明の一実施例によるインタフェース表示装置５１００は、入力部５１１０、記憶部５１２０、制御部５１３０、ディスプレイ５１４０を含み、第１リミックス信号デコーディング装置５００と関連し合っている。ここで、第１リミックス信号デコーディング装置５００は、付加情報デコーディング部５０３及びリミキシングレンダリング部５０６を含むもので、上の図５と共に説明された第１リミックス信号デコーディング装置と構成及び機能が略同一なので、その具体的な説明は省略する。
【０１９０】
入力部５１１０は、複数のミックス信号から一つを選択するための入力装置である。ここで、ミックス信号は、上の図５と共に説明されたミックス信号（チャネル別オーディオ信号）５０１でありうる。複数のミックス信号から入力部５１１０により選択されたミックス信号５０１ｐ、及びミックス信号５０１ｐの付加情報信号５０２ｐが第１リミックス信号デコーディング装置５００に入力される。入力部５１１０はまた、ソース信号のレベル調整に関する命令、ソース信号のサブバンド別レベル調整に関する命令、及びソース信号のアンビエンス調整に関する命令を入力する機能を果たしても良い。入力部５１１０は、マウス、トラックボール、タッチパッドなどのようなポインティングデバイスの他に、方向移動キー、タッチホイール等で具現されることもでき、赤外線通信などの無線通信を利用したリモートコントローラで具現することもできる。
【０１９１】
記憶部５１２０は、アイコン別イメージデータが保存されている記憶装置である。具体的には、アイコンに該当するカテゴリー、キーワードと一緒に保存されていることができる。イメージデータを用いてアイコンをテキストの他にイメージで表示することもできる。
【０１９２】
制御部５１３０は、入力部５１１０により選択されたミックス信号５０１ｐに対応するソース信号情報ｓｉを照会した後、ソース信号情報ｓｉに基づいてソース信号に該当するアイコンを表示する。ここで、ソース信号情報ｓｉは、入力部５１１０により選択されたミックス信号５０１ｐに含まれているソース信号に関する情報で、各ソース信号の楽器名などを含む情報でありうる。また、ソース信号情報ｓｉは、上の図１と共に説明したソース信号１０２の情報であっても良い。一方、ソース信号情報ｓｉは、メタデータ（楽器演奏者名、声楽家名等）をさらに含むことができる。一方、ソース信号情報ｓｉは、制御部５１３０が第１リミックス信号デコーディング装置５００の付加情報デコーディング部５０３から受信することができる。
【０１９３】
一方、ソース信号に該当するアイコンは、テキストで表示されても良いが、記憶部５１２０に保存されているイメージデータを用いてイメージで表示されても良い。
【０１９４】
制御部５１３０はまた、入力部５１１０からリミキシングに関する様々な命令（ソース信号のレベル調整に関する命令、ソース信号のサブバンド別レベル調整に関する命令、及びソース信号のアンビエンス調整に関する命令など）を受信すると、その命令を制御情報５０６に変換してリミキシングレンダリング部５０５に入力する。ここで、制御情報５０６は、上の図５と共に説明された制御情報５０６及び図６と共に説明された制御情報６０８と同一なので、その具体的な説明は省略する。
【０１９５】
ディスプレイ５１４０は、制御部５１３０の制御によってソース信号に該当するアイコンが表示される表示装置である。
【０１９６】
図３３Ａ〜図３３Ｄはそれぞれ、本発明の一実施例によるインタフェース表示装置が具現された例である。まず、図３３Ａは、本発明の一実施例によるインタフェース表示装置が、第１リミックス信号デコーディング装置５００と一体型に移動端末機で具現された例である。図３３Ｂは、本発明の一実施例によるインタフェース表示装置５１００の入力部５１１０が、第１リミックス信号デコーディング装置５００に有線で連結されたマウス及びタッチペンで具現された例であり、ディスプレイ５１４０も入力部５１１０と同様に、第１リミックス信号デコーディング装置５００に有線で連結されたモニターとした。図３３Ｄは、本発明の一実施例によるインタフェース表示装置５１００のディスプレイ５１４０は、第１リミックス信号デコーディング装置５００と有線で連結されており、入力装置５１１０は、第１リミックス信号デコーディング装置５００と無線通信をするリモートコントローラで具現された例である。図３３Ｄを参照すると、本発明の一実施例によるインタフェース表示装置５１００の入力部５１１０は、図３３Ｃの場合と同様にリモートコントローラで具現されており、ディスプレイ５１４０は、リモートコントローラに設けられていることがわかる。このように、本発明の一実施例によるインタフェース表示装置５１００及び第１リミックス信号デコーディング装置５００は多様に具現されることができる。
【０１９７】
図３４は、本発明の他の実施例によるインタフェース表示装置の構成を示す図である。同図を参照すると、本発明の他の実施例によるインタフェース表示装置５２００は、入力部５２１０、記憶部５２２０、制御部５２３０、ディスプレイ５２４０を含み、第２リミックス信号デコーディング装置７００と関連し合っている。ここで、第１リミックス信号デコーディング装置７００は、付加情報デコーディング部７０３、付加情報統合部７０５及びリミキシングレンダリング部７０８を含もので、上の図７と共に説明された第２リミックス信号デコーディング装置と構成及び機能が略同一なので、その具体的な説明は省略する。
【０１９８】
一方、本発明の他の実施例によるインタフェース表示装置５２００は、本発明の一実施例によるインタフェース表示装置５１００と比較すると、第１リミックス信号デコーディング装置５００の代わりに第２リミックス信号デコーディング装置７００と関連し合っており、ミックス信号５０１ｐの代わりに合成オブジェクト信号７０１ｐが入力されるという点が異なるだけで、その構成要素５２１０，５２２０，５２３０，５２４０は、本発明の一実施例によるインタフェース表示装置５１００における同一名称の構成要素５１１０，５１２０，５１３０，５１４０とそれぞれ略同一なので、その構成要素に関する説明は省略する。
【０１９９】
図３５Ａ及び図３５Ｂは、本発明の一実施例によるインタフェース表示方法を示すフローチャートである。以下で用いられるミックス信号という用語は、合成オブジェクト信号の概念まで含まれる概念として理解すべきである。本発明の一実施例によるインタフェース表示方法は、上で説明された本発明の一実施例によるインタフェース表示装置５１００により行なわれても良く、本発明の他の実施例によるインタフェース表示装置５２００により行なわれても良い。
【０２００】
まず、図３５Ａを参照すると、インタフェース表示装置は、既に保存されていたり伝送することができる一つ以上のミックス信号の情報を、ミックス信号のリストとしてディスプレイに表示する（Ｓ４１０段階）。すると、ユーザは、Ｓ４２０段階で、表示されたミックス信号のリストから、再生したいまたはソース信号情報を確認したい特定ミックス信号を入力装置を用いて選択する（Ｓ４２０段階）。すると、インタフェース表示装置は、Ｓ４２０段階で選択されたミックス信号に対応する付加情報から、該ミックス信号に対応するソース信号情報を抽出する（Ｓ４３０段階）。そして、Ｓ４３０段階で抽出されたソース信号情報にミックス信号のメタデータが含まれている場合、ソース信号情報からメタデータを抽出する（Ｓ４４０段階）。
【０２０１】
その後、インタフェース表示装置は、Ｓ４３０段階で抽出されたソース信号情報に基づいてソース信号に該当するアイコンを照会する（Ｓ４５０段階）。ここで、アイコンは、テキストまたはイメージで構成されることができる。そして、もし、Ｓ４４０段階でメタデータが抽出された場合、メタデータとマッチングされるイメージを照会することができる。その後、Ｓ４５０段階で照会されたアイコンをディスプレイに表示する（Ｓ４６０段階）。特定ミックス信号のソース信号別アイコンが表示された画面の一例が、図３６Ａに示されている。図３６Ａは、ソース信号情報が‘ピアノ、バイオリン、声楽家（女子）、フルート’の場合、ピアノ、バイオリン、声楽家（女子）、フルートに該当するアイコンがそれぞれ表示された画面である。このように、本発明の実施例によるインタフェース表示方法は、Ｓ４１０段階〜Ｓ４５０段階を行なって特定ミックス信号に対するアイコンを表示する。特定ミックス信号のソース信号別アイコンがメタデータを表現する画面の一例が、図３６Ｂに示されている。図３６Ｂは、ソース信号情報に含まれているメタデータが“ピアノ演奏者：チョン・ミュン＝フン”、“声楽家：チョ・スミ”の場合、ピアノに該当するアイコンがチョン・ミュン＝フンの写真で構成され、声楽に該当するアイコンがチョ・スミの写真で構成される画面である。以下では、このような過程を通じて表示されたアイコンのうち特定アイコンが実行された以降の過程について説明する。
【０２０２】
図３５Ｂを参照すると、ユーザが、Ｓ４５０段階で表示されたアイコンから一つを選択し、特定アイコンに関する実行命令を入力すると、インタフェース表示装置は、選択されたアイコンに対する実行命令を受信する（Ｓ５１０段階）。アイコンの実行命令、すなわち、アイコンを実行させた時に行なわれる過程は、設定によって様々でありうるが、以下では、３つの場合（レベル調整、イコライザ調整、アンビエンス調整）について説明する。
【０２０３】
もし、アイコンの実行命令がレベル調整（音量調整）と設定されている場合（Ｓ５２０段階の‘Ｙｅｓ’）、Ｓ５１０段階で実行されたアイコンに該当するソース信号のレベル調整画面を表示する（Ｓ５２２段階）。レベル調整画面の一例が、図３７Ａに示されている。図３７Ａは、合計４個のアイコンのうち“フルート”アイコンが実行された場合、フルートのレベル（音量）を調整できるコントロールバーが表示された画面である。ユーザは、図３７Ａのような画面上で、ポインティングデバイスを用いてコントロールバーを動かしたり、キーパッドの方向キーなどを用いて、特定ソース信号（例：フルート）のレベル調整に関する命令を入力することができる。このようなレベル調整に関する命令を受信すると（Ｓ５２４段階の‘Ｙｅｓ’）、調整されたレベルに従ってアイコンの形状を変化させる（Ｓ５２６段階）。ここで、アイコンの形状は、大きさ、色相、明るさのうち一つ以上を含む概念である。調整されたレベルに従ってアイコンの形状が変化された画面の一例が、図３７Ｂに示されている。図３７Ｂを参照すると、フルートのレベルが高く調整されるに従って、フルートに該当するアイコンの大きさが大きくなることがわかる。その後、Ｓ５２４段階で入力されたレベル調整命令を制御情報に変換することによって、Ｓ４２０段階で選択されたミックス信号をリミキシングする（Ｓ５５０段階）。ここで、制御情報は、第１リミックス信号デコーディング装置または第２リミックス信号デコーディング装置に入力される情報で、上で本発明の一実施例によるインタフェース表示装置と共に説明したので、その説明は省略する。
【０２０４】
もし、アイコンの実行命令がイコライザ調整（サブバンド別レベル調整）に設定されている場合（Ｓ５３０段階の‘Ｙｅｓ’）、Ｓ５１０段階で実行されたアイコンに該当するソース信号のレベル調整画面を表示する（Ｓ５３２段階）。イコライザ画面（サブバンド別レベル調整画面）の一例が、図３８に示されている。図３８は、合計４個のアイコンのうち“ピアノ”アイコンが実行された場合、ピアノのイコライザを調整できるようにサブバンド別コントロールバーが表示された画面である。ユーザは、図３８のような画面上で、ポインティングデバイスを用いてサブバンド別コントロールバーをそれぞれ動かして、特定ソース信号（例：ピアノ）のサブバンド別レベル調整に関する命令を入力することができる。このようなサブバンド別レベル調整に関する命令が受信されると（Ｓ５３４段階の‘Ｙｅｓ’）、調整されたサブバンド別レベルに従ってアイコンの形状を部分的に変化させる（Ｓ５３６段階）。例えば、低周波バンドのレベルが高く調整された場合、アイコンの左側に該当する部分の明るさを暗くすることができる。その後、Ｓ５３４段階で入力されたサブバンド別レベル調整命令を制御情報に変換することによって、Ｓ４２０段階で選択されたミックス信号をリミキシングする（Ｓ５５０段階）。
【０２０５】
もし、アイコンの実行命令がアンビエンス調整（相対的位置調整）に設定されている場合（Ｓ５４０段階の‘Ｙｅｓ’）、Ｓ５１０段階で実行されたアイコンに該当するソース信号のアンビエンス調整画面（相対的位置調整画面）を表示する（Ｓ５４２段階）。アンビエンス調整画面（相対的位置調整画面）の一例が、図３９に示されている。図３９は、合計４個のアイコンのうち“ピアノ”アイコンが実行された場合、ピアノのアンビエンスを調整することができるようにピアノの相対的位置が表示された画面である。ユーザは、図３９のような画面上で、ポインティングデバイスや方向キーなどを用いてアイコンを動かして、特定ソース信号（例：ピアノ）のアンビエンス調整に関する命令を入力することができる。このようなアンビエンス調整に関する命令が受信されると（Ｓ５４４段階の‘Ｙｅｓ’）、調整されたサブバンド別レベルに従ってアイコンの形状を変化させる（Ｓ５４６段階）。例えば、調整されたソース信号の相対的位置がユーザ（聴取者）の位置に近づいた場合、該当のアイコンの明るさを明るくすることができる。その後、Ｓ５４４段階で、入力されたアンビエンス調整命令を制御情報に変換することによって、Ｓ４２０段階で選択されたミックス信号をリミキシングする（Ｓ５５０段階）。
【０２０６】
図４０は、本発明のさらに他の実施例によるインタフェース表示装置の構成図である。図４０を参照すると、本発明のさらに他の実施例によるインタフェース表示装置６１００は、入力部６１１０、記憶部６１２０、制御部６１３０、ディスプレイ６１４０を含み、第１リミックス信号デコーディング装置５００と関連し合っている。ここで、第１リミックス信号デコーディング装置５００は、付加情報デコーディング部５０３及びリミキシングレンダリング部５０６を含むもので、同様に、上の図５と共に説明された第１リミックス信号デコーディング装置と構成及び機能が略同様なので、その具体的な説明は省略する。
【０２０７】
入力部６１１０は、ミックス信号に対する再生命令を入力するための入力装置である。入力部６１１０は、マウス、トラックボール、タッチパッドなどのようなポインティングデバイスの他に、方向移動キー、タッチホイールなどで具現されることもできることは勿論である。
【０２０８】
記憶部６１２０は、ソース信号別イメージが保存されている保存装置である。例えば、楽器別イメージ（ピアノイメージ、バイオリンイメージ、フルートイメージ等）、及び演奏者別写真（ジョン・ミョンフン写真、ジョ・スミ写真等）などを保存することができる。
【０２０９】
制御部６１３０は、ミックス信号に対応するソース信号のレベルが時間別に変化するに従ってソース信号のイメージの形状を時間別に変化させて表示されるように制御する。ここで、イメージは、第１リミックス信号デコーディング装置５００の付加情報エンコーディング部５０３またはリミキシングレンダリング部５０５から受信したソース信号情報ｓｉに基づいて、記憶部６１２０から照会したソース信号別イメージでありうる。そして、ソース信号の時間別レベルは、第１リミックス信号デコーディング装置５００のリミキシングレンダリング部５０５から受信したソース信号レベル情報ｓｌから抽出したものでありうる。
【０２１０】
例えば、合計再生時間が３分４５秒である場合、再生開始（ｔ＝０分０秒）から再生完了（ｔ＝３分４５秒）まで、毎秒のソース信号（ピアノ、バイオリン、フルート）のそれぞれのレベルを感知し、そのそれぞれに該当するイメージ（ピアノイメージ、バイオリンイメージ、フルートイメージ）の形状（大きさ、色相、明るさ、画面内位置等）を変化させて表示する。特定時点におけるピアノ（またはバイオリン等）のレベルが大きい場合、ピアノイメージ（またはバイオリンイメージ等）の大きさを大きく変化させることができ、特定時点でピアノ（またはバイオリン等）のレベルが大きい場合、ピアノイメージ（またはバイオリン等）の明るさを明るく変化させることができる。
【０２１１】
ディスプレイ６１４０は、ソース信号に該当するイメージを表示するための表示装置である。
【０２１２】
図４１は、本発明のさらに他の実施例によるインタフェース表示装置の構成を示す図である。同図を参照すると、本発明のさらに他の実施例によるインタフェース表示装置６２００は、入力部６２１０、記憶部６２２０、制御部６２３０、ディスプレイ６２４０を含み、第２リミックス信号デコーディング装置７００と関連し合っている。ここで、第１リミックス信号デコーディング装置７００は、付加情報デコーディング部７０３、付加情報統合部７０５及びリミキシングレンダリング部７０８を含むもので、同様に、上の図７と共に説明された第２リミックス信号デコーディング装置とその構成及び機能が略同一なので、その具体的な説明は省略する。
【０２１３】
一方、本発明のさらに他の実施例によるインタフェース表示装置６２００は、本発明のさらに他の実施例によるインタフェース表示装置６１００と比較する時、第１リミックス信号デコーディング装置５００の代わりに第２リミックス信号デコーディング装置７００と関連し合っており、ミックス信号５０１の代わりに合成オブジェクト信号７０１が入力されるという点が異なる以外は、本発明の一実施例によるインタフェース表示装置６１００と略同様なので、その構成要素についての説明は省略する。
【０２１４】
図４２は、本発明の他の実施例によるインタフェース表示方法を示すフローチャートである。以下で用いられるミックス信号という用語は、合成オブジェクト信号の概念まで含まれる概念として理解すべきである。本発明の他の実施例によるインタフェース表示方法は、上に説明された本発明のさらに他の実施例によるインタフェース表示装置６１００により行なわれても良く、本発明のさらに他の実施例によるインタフェース表示装置６２００により行なわれても良い。
【０２１５】
図４２を参照すると、ユーザが入力装置を用いて特定ミックス信号に対する再生命令を入力すると、インタフェース表示装置は、これを受信する（Ｓ６１０段階）。その後、インタフェース表示装置は、このミックス信号に対応するソース信号情報を受信する（Ｓ６２０段階）。インタフェース表示装置は、Ｓ６２０段階で受信したソース信号情報に基づいて、各ソース信号に該当するイメージを照会する（Ｓ６３０段階）。
【０２１６】
その後、ミックス信号の再生が始まると（Ｓ６４０段階の‘Ｙｅｓ’）、インタフェース表示装置は、ミックス信号に該当するソース信号のレベル（またはサブバンド別レベル）を時間別に感知する（Ｓ６５０段階）。その後、Ｓ６４０段階で照会されたレベル（サブバンド別レベル）によって、Ｓ６３０段階で照会されたイメージの形状（大きさ、色相、明るさ、画面内位置等）を時間によって変化させて表示する（Ｓ６６０段階）。ソース信号のレベルに比例してイメージの大きさが変化する画面の一例を、図４３に示す。図４３で、各オブジェクト別イメージの大きさを見ると、現在再生時間が‘ｔ１’の時、女子声楽家のレベルは高い反面、女子声楽家以外の楽器（ピアノ、バイオリン、フルート）のレベルは低いことがわかる。現在再生時間が‘ｔ２’の時は、女子声楽家のレベルがその他の楽器に比べて低く、現在再生時間が‘ｔ３’の時は、ピアノと女子声楽家のレベルのみが高いことがわかる。ソース信号のレベルに比例してイメージの明るさが変化する画面の一例が、図４４に示されている。図４４を参照すると、現在時間がそれぞれｔ１、ｔ２、ｔ３の時点において、ソース信号のレベルがそれぞれ変化するに従ってオブジェクト別イメージの明るさが変化することがわかる。
【０２１７】
一方、ソース信号のレベルが変化するに従ってソース信号に該当するイメージの大きさを変化させることもでき、例えば、特定時点でレベルの最も高いソース信号のイメージのみを表示し、それ以外のソース信号のイメージの大きさを０として画面に表示させないこともできる。ソース信号のうち、現在最も大きいレベルを持つイメージのみが表示される画面の例を、図４５及び図４６に示す。図４５を参照すると、再生が始まってから再生時間ｔ１において、合計４個のソース信号のうちピアノのレベルが最も高いため、他のソース信号（バイオリン、声楽家、フルート）のイメージは消え、ピアノイメージ（ピアノ演奏者であるチョン・ミュン＝フンの写真）のみが画面に表示されることがわかり、再生時間ｔ２では、合計４個のソース信号のうち声楽家（女子）のレベルが最も高いため、声楽家（女子）イメージ（声楽家であるチョ・スミの写真）のみが画面に表示されることがわかる。図４６を参照すると、再生が始まってから再生時間ｔ１において、レベルの最も高い３番目の歌手のイメージが中心部に配置され、再生時間ｔ２では、レベルの最も高い１番目の歌手のイメージが中心部に配置されることがわかる。
【０２１８】
もし、ソース信号のサブバンド別レベルに従ってイメージを変化させる場合には、ソース信号のイメージの形状を部分的に変化させることもできる。例えば、イメージの横軸をソース信号の周波数帯域軸に対応させ、イメージの縦軸をソース信号のレベル軸に対応させることで、低周波帯域のレベルが高く、高周波帯域のレベルが高い場合、イメージの左側は薄く表現し、イメージの右側は濃く表現することができる。上記Ｓ６５０段階及びＳ６６０段階は、ミックス信号の再生が終了するまで続く（Ｓ６７０段階）。
【０２１９】
ユーザは、リミックス情報を提供するサーバー（以下、リミックス情報提供サーバーという）からリミックス情報を受け取ることができる。リミックス情報提供サーバーは、ミックス信号に含まれているソース信号のうち一部ソース信号が除外されている変形されたミックス信号を提供することもできる。すなわち、ミックス信号が複数のソース信号からなっているとする時、リミックス情報提供サーバーは、ミックス信号を構成するソース信号のうち一つ以上のソース信号が除外されている変形されたミックス信号を提供することもできる。以下、ミックス信号に含まれているソース信号のうち一部のソース信号が除外されているミックス信号を、元来のミックス信号と区別するために‘変形されたミックス信号’という。リミックス情報提供サーバーが、変形されたミックス信号を提供する場合、ユーザは、ミックス信号を受信する前に、変形されたミックス信号をまず受信して聴取することができる。ユーザが、変形されたミックス信号を聴取した後にソース信号の除外されていない元来のミックス信号が聞きたい場合、リミックス情報提供サーバーに、ソース信号が全て含まれている元来のミックス信号の伝送を要請することができる。
【０２２０】
リミックス情報提供サーバーは、無料でリミックス情報をユーザに提供するこもできるが、一部または全部のリミックス情報を有料でユーザに提供することもできる。リミックス情報提供サーバーがリミックス情報を有料でユーザに提供する場合、ユーザは、リミックス情報使用料を決済した後に、リミックス情報を受け取ることができる。リミックス情報提供サーバーは、変形されたミックス信号を無料で、元来のミックス信号を有料でユーザに提供することもできる。以下、図４７〜図５２では、ユーザがリミックス情報提供サーバーから、ミックス信号のうち一部のソース信号が欠如されている変形されたミックス信号を受け取り、それを用いる方法について説明し、また、リミックス情報提供サーバーが有料でリミックス情報を提供する場合における決済方法について説明する。
【０２２１】
図４７は、本発明の実施例によるリミックス情報提供システムを示す図である。図４７を参照すると、リミックス情報提供システムは、ユーザ端末７００１、リミックス情報提供サーバー７００２、金融機関７００３及び移動通信事業者７００４を含む。ユーザは、ソース信号をリミックスするためにミックス信号またはソース信号とこれに対する付加情報を必要とする。付加情報は、エンコーディング装置が生成したエンコーダミックスパラメータ、デコーディング装置が生成したブラインドミックスパラメータ、ユーザが入力した制御情報を用いて生成されたユーザーミックスパラメータなどを含む。ユーザは、ユーザ端末７００１に含まれているユーザーインタフェース（図示せず）等を介して各ソース信号を表現するアイコンを調節し、リミックスされたミックス信号に含まれているソース信号を調節することができる。ユーザは、ソース信号を表現するアイコンを調節することによってソース信号の大きさや位置、声の特色などを変化させることができる。アイコンは、人の感情を表現する顔文字、歌手や楽器演奏者の写真やカリカチュア、または楽器の写真や絵などを含むことができる。以下、ミックス信号、各音源のソース信号、ミックス信号をソース信号別に制御するためのミックスパラメータ、ミックス信号をアップミックスするためのアップミックスパラメータ、ソース信号を表現するためのアイコンなど、ミックス信号をソース信号別にリミックスするために必要な一切の情報をリミックス情報という。
【０２２２】
ユーザは、ユーザ端末７００１を用いてリミックス情報提供サーバー７００２にアクセスする。ユーザ端末７００１は、ノートブックやデスクトップなどのユーザＰＣ、携帯電話などの移動端末機、ＰＤＡ（personal digital assistants）、ＰＭＰ（portable multimedia player）等、他のユーザ端末と有無線通信ができ、ミックス信号を再生できる装置を含む。ユーザ端末７００１は、リミックス情報提供サーバー７００２から所望のリミックス情報を選択する。リミックス情報提供サーバー７００２は、データベース（図示せず）からユーザの選択したリミックス情報を検索してそれを抽出する。リミックス情報提供サーバー７００２は、抽出したリミックス情報をユーザ端末７００１に伝送する。リミックス情報提供サーバー７００２は、ミックス信号の特定区間またはミックス信号に含まれているソース信号のうち一定のソース信号が除外されている変形されたミックス信号を提供することができる。例えば、ユーザが、ピアノ、バイオリン、チェロ編成のチャイコフスキーの‘偉大な芸術家の思い出’というピアノ三重奏を聴取したい場合、ユーザは、ミックス信号を聞く前にそれに対する変形されたミックス信号をまず聴取することができる。ユーザが、リミックス情報提供サーバー７００２に‘偉大な芸術家の思い出’というピアノ三重奏曲に対する変形されたミックス信号を要請する場合、リミックス情報提供サーバー７００２は、チェロ信号の除外された‘偉大な芸術家の思い出’という変形されたミックス信号をデータベースから抽出してユーザに伝送することができる。リミックス情報提供サーバー７００２は、‘偉大な芸術家の思い出’に対する変形されたミックス信号がデータベースに保存されていない場合、ミックス信号に含まれているソース信号、すなわち、ピアノ、バイオリン、チェロ信号のうち一定のソース信号を除外することでミックス信号を様々に変形することができる。リミックス情報提供サーバー７００２は、ミックス信号に含まれているソース信号から、ランダムにまたはユーザの要請に応じて特定のソース信号を除外することで、変形されたミックス信号を生成することができる。ユーザが、ミックス信号に含まれているソース信号からピアノ信号を除外して、変形されたミックス信号を生成するように要請すると、リミックス情報提供サーバー７００２は、バイオリン及びチェロ信号のみを含む変形されたミックス信号を生成してユーザに伝送することができる。ユーザは、リミックス情報提供サーバー７００２から変形されたミックス信号を受信し、それを聴取する。ユーザは、変形されたミックス信号を聴取した後にミックス信号を聴取したい場合は、リミックス情報提供サーバー７００２に‘偉大な芸術家の思い出’に対するミックス信号伝送を要請する。ユーザは、ユーザ端末７００１を用いてリミックス情報提供サーバー７００２から受け取った変形されたミックス信号またはミックス信号を聴取することができる。ユーザは、ミックス信号などを用いてユーザ端末７００１、例えば、移動端末の通話音や移動端末のベル音等として用いることができる。また、ユーザは、ミックス信号などをホームページなどの背景音楽として用いることもできる。また、ユーザは、リミックス情報提供サーバー７００２からミックス信号または変形されたミックス信号に対する付加情報を受信し、これを用いてミックス信号などをソース信号別に調節することで、リミックスされたミックス信号を生成することができる。
【０２２３】
場合によって、リミックス情報提供サーバー７００２は、全部または一部のリミックス情報を有料で提供することもできる。基本的なリミックス情報は無料で提供し、その他リミックス情報は有料で提供することもできる。リミックス情報使用が有料である場合、リミックス情報提供サーバー７００２は、ユーザに決済を要請する。決済処理にあたり、リミックス情報提供サーバー７００２は、ユーザが有効なユーザなのかを確認するためにユーザ端末７００１に認証情報を要請することができる。ユーザは、リミックス情報提供サーバー７００２の要請に応じてユーザ端末７００１に認証のためのユーザ情報を入力する。リミックス情報提供サーバー７００２は、ユーザ端末７００１からユーザの入力したユーザ情報を受信し、ユーザが有効なユーザなのか認証することができる。
【０２２４】
ユーザがリミックス情報使用料金をクレジットカードで決済しようとする場合、リミックス情報提供サーバー７００２は、ユーザ情報をカード社や銀行などの金融機関７００３に伝送して、ユーザ有効有無の確認を要請する。金融機関７００３は、ユーザ情報を用いてユーザが金融機関に加入した有効なユーザなのか否かを確認し、その結果をリミックス情報提供サーバー７００２に伝送する。リミックス情報提供サーバー７００２は、ユーザが有効なユーザである場合、金融機関７００３にリミックス情報使用料決済を要請する。金融機関７００３は、ユーザの口座からリミックス情報使用料を引き出し、決済が完了したことをリミックス情報提供サーバー７００２に通知する。金融機関７００３は、引き出したリミックス情報使用料を実時間でまたは一定時間間隔にリミックス情報提供サーバー７００２の口座に振り替える。ユーザがリミックス情報使用料金を口座振替方法で決済しようとする場合、金融機関７００３は、ユーザがリミックス情報提供サーバー７００２の口座にリミックス情報使用料を入金したことを通知する。リミックス情報提供サーバー７００２は、金融機関７００３から決済完了の通知を受けた後、ユーザの選択したリミックス情報を抽出してユーザ端末７００１に伝送する。ユーザ端末７００１は、リミックス情報提供サーバー７００２からリミックス情報を受け取り、それをそのまま聴取しても良いが、リミックス情報をユーザが変形して用いても良い。この場合、ユーザ端末７００１は、リミキシングを処理するための信号デコーディング装置を含むことができる。ユーザは、ソース信号とミックス信号、付加情報を共にまたは別に受信し、ユーザ端末７００１を用いてソース信号をリミックスすることができる。ユーザ端末７００１がリミックス情報提供サーバー７００２からミックス信号のみを受け取った場合、ユーザ端末７００１は、ミックス信号に対する付加情報を直接生成し、生成した付加情報を用いてミックス信号をソース信号別に調節することができる。ユーザは、ミックス信号をソース信号別に調節して、リミックスされたミックス信号を生成し、リミックスされたミックス信号をリミックス情報提供サーバー７００２にアップロードすることができる。また、ユーザは、ソース信号を表現するアイコンを生成したり、リミックス情報提供サーバー７００２から受信したアイコンを変形して、リミックス情報提供サーバー７００２にアップロードすることができる。この時、リミックス情報は、ユーザがアップロードしたリミックスされたミックス信号及び変形や生成してアップロードしたアイコンなどを含む。リミックス情報提供サーバー７００２は、ユーザがユーザ端末７００１を用いてアップロードしたリミックスされたミックス信号を、データベース（図示せず）に保存する。リミックス情報提供サーバー７００２は、他の第２ユーザが該リミックスされたミックス信号の伝送を要請すると、それを第２ユーザ端末に有料または無料で伝送することができる。リミックス情報提供サーバー７００２、リミックスされたミックス信号またはアイコンなどをリミックス情報提供サーバー７００２にアップロードしたユーザ及びリミックスされたミックス信号またはアイコンなどを使用しようとする第２ユーザは、あらかじめ定められた約定に従って相互間にリミックス情報使用料を支払うことができる。リミックス情報提供サーバー７００２は、有料で第２ユーザにリミックスされたミックス信号を伝送する場合、前述したような方法で第２ユーザに決済を要請することができる。リミックス情報提供サーバー７００２は、リミックスされたミックス信号またはアイコンなどをリミックス情報提供サーバー７００２にアップロードしたユーザに、第２ユーザが支払ったリミックス情報使用料の一定分を支払っても良い。
【０２２５】
ユーザは、携帯電話などのユーザ端末７００１を用いてリミックス情報使用料を決済することもできる。ユーザが、リミックス情報提供サーバー７００２に携帯電話などのユーザ端末７００１番号を入力すると、リミックス情報提供サーバー７００２は、移動通信事業者７００４にユーザのユーザ端末７００１番号を伝送し、ユーザ認証のための認証番号を要請する。移動通信事業者７００４は、リミックス情報提供サーバー７００２の要請に応じて認証番号をリミックス情報提供サーバー７００２及びユーザ端末７００１に伝送する。ユーザは、ユーザ端末７００１に伝送された認証番号をユーザ端末７００１を用いてリミックス情報提供サーバー７００２に入力する。リミックス情報提供サーバー７００２は、ユーザの入力した認証番号が移動通信事業者７００４から伝送された認証番号と一致すると、該ユーザを有効なユーザと判断する。リミックス情報提供サーバー７００２は、有効なユーザと判断すると、移動通信事業者７００４にリミックス情報使用料決済を要請する。移動通信事業者７００４は、ユーザ端末７００１の使用料金にリミックス情報使用料を加算する。移動通信事業者７００４は、リミックス情報使用料に対する決済が完了すると、決済の完了したことをリミックス情報提供サーバー７００２に通知する。リミックス情報提供サーバー７００２は、決済完了の通知を受けた後、ユーザが選択したリミックス情報をユーザ端末７００１に伝送する。ユーザは、ユーザ端末７００１に伝送されたリミックス情報を用いてリミックスされたミックス信号を生成する。ユーザは、ユーザ端末７００１を用いてソース信号の大きさや位置、音色などを調節することで独特のミックス信号を生成することができる。ユーザは、ユーザ端末７００１を用いて、リミックスされたミックス信号をリミックス情報提供サーバー７００２にアップロードすることができる。前述したように、第２ユーザは、他のユーザがリミックス情報提供サーバー７００２にアップロードしたリミックスされたミックス信号をダウンロードして利用することができる。
【０２２６】
図４８は、本発明の実施例によるリミックス情報提供サーバーの構成図である。図４８を参照すると、リミックス情報提供サーバー７００２は、記憶装置７００１、中央処理装置（Central Processing Unit：ＣＰＵ）７１０４、入出力装置７１０８及び通信装置７１０９を含む。中央処理装置７１０４は、計算を行なうためのＡＬＵ（Arithmetic Logic Unit）７１０５、データ及び命令語の一時保存のためのレジスタ７１０６及びリミックス情報提供サーバー７００２の動作を制御するためのコントローラ７１０７を含む。メモリーシステム７００１は通常、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）のような記憶媒体形態である高速の主記憶装置７１０２と、フロッピー（登録商標）ディスク、ハードディスク、テープ、ＣＤ−ＲＯＭ、フラッシュメモリーなどの長期（long-term）記憶媒体形態の補助記憶装置７１０３及び電気、磁気、光学やその他の記憶媒体を用いてデータを保存する装置を含む。メインメモリー７１０２は、ディスプレイ装置を通じてミックス信号または変形されたミックス信号の目録やアイコンなどのリミックス情報をディスプレイするビデオディスプレイメモリーを含むことができる。入出力装置７１０８は、キーボード、マウス、例えばタッチスクリーンまたはマイクロホンのような物理的変換器（Physical transducer）などを含むことができる。通信装置７１０９には、ユーザ端末７００１と有線または無線通信を行なうためのネットワークインタフェースまたはＲＦ送受信アンテナのような装置が用いられることができる。
【０２２７】
図４９は、本発明の実施例によるリミックス情報提供サーバーのモジュール構成図である。図４９を参照すると、リミックス情報提供サーバー７００２は、ユーザ端末７００１及び金融機関７００３、移動通信事業者７００４との通信を処理するための送受信処理モジュール７２１３、ミックス信号、変形されたミックス信号などを含むリミックス情報を保存して管理するデータベース管理モジュール７２１４、変形されたミックス信号を生成するミックス信号変形モジュール７２１５、及びリミックス情報が有料である場合、ユーザが有効かを認証して決済を処理する課金処理モジュール７２１６を含むことができる。このような応用モジュールを通じてリミックス情報提供サーバーの全体的な構成について説明すると、次の通りである。リミックス情報提供サーバーは、様々なＯＳ（Operating System）をシステムのＯＳとして使用することができる。このようなＯＳは、ＡＰＩ（Application Program Interface）７２０１にハイレベル命令語を提供して、各応用モジュール７２０４の動作を制御する。リミックス情報提供サーバーは、ＡＰＩ ７２０１から提供されるハイレベル命令語によって対応する各応用モジュール７２０４を識別し、ハイレベル命令語をデコーディングし、それを該当する所に提供するハイレベル命令語処理部７２０２を含む。応用モジュール制御部７２０３は、ハイレベル命令語処理部７２０２から提供された命令語によって応用モジュール７２０４の動作を制御する。すなわち、ハイレベル命令語処理部７２０２は、ＡＰＩ ７２０１から提供されたハイレベル命令語に対応する応用モジュール７２０４が存在するか識別し、対応する応用モジュール７２０４が存在する場合、該当する応用モジュール７２０４で認識可能な命令語にデコーディングして該当のマッピング部に伝送したり、メッセージ伝送を制御する。したがって、応用モジュール制御部７２０３は、送受信処理モジュール７２１３、データベース管理モジュール７２１４、ミックス信号変形モジュール７２１５及び課金処理モジュール７２１６に対するマッピング部７２０５，７２０７，７２０９，７２１１とインタフェース部７２０６，７２０８，７２１０，７２１２をそれぞれ含む。
【０２２８】
送受信処理モジュールマッピング部７２０５は、ハイレベル命令語処理部７２０２からユーザ端末７００１や金融機関７００３または移動通信事業者７００４との通信を行なうためのハイレベルの命令語を受信し、送受信処理モジュール７２１３で処理できるようなデバイスレベルにマッピングし、送受信処理モジュールインタフェース部７２０６を通じて送受信処理モジュール７２１３に提供する。データベース管理モジュールマッピング部７２０７及びデータベース管理モジュールインタフェース部７２０８は、ミックス信号または変形されたミックス信号を保存し、ユーザ端末７００１からミックス信号または変形されたミックス信号要請があるとそれを抽出する。データベース管理モジュールマッピング部７２０７は、ハイレベル命令語処理部７２０２からデータベース管理モジュール７２１４を用いるためのハイレベル命令語を受信しそれをデバイスレベルの命令語にマッピングし、データベース管理モジュールインタフェース部７２０８を通じてデータベース管理モジュール７２１４に提供する。ミックス信号変形モジュール７２１５は、ユーザにより変形されたミックス信号が要請される場合などミックス信号を変形しなければならない場合、ミックス信号に含まれている一定のソース信号を除外して、変形されたミックス信号を生成する。ミックス信号変形モジュールマッピング部７２０９は、ハイレベル命令語処理部７２０２から印加されたハイレベル命令語を受信し、変形された信号変形モジュール７２１５が認識できるようなデバイスレベルの命令語にマッピングする。デバイスレベルの命令語は、ミックス信号変形モジュールインタフェース部７２１０を通じてミックス信号変形モジュール７２１５に提供される。課金処理モジュール７２１６は、ユーザが有効なユーザなのか確認し、有効なユーザである場合、リミックス情報使用料を課金する機能を果たす。また、課金処理モジュール７２１６は、第２ユーザが、他のユーザが生成してアップロードしたリミックスされたミックス信号使用を希望する場合、リミックス情報提供サーバー７００２、リミックスされたミックス信号をアップロードしたユーザ、及び第２ユーザ間においてリミックス情報使用料を処理する機能を果たす。課金処理モジュールマッピング部７２１１は、ハイレベル命令語処理部７２０２から印加されたハイレベル命令語を受信し、課金処理モジュール７２１６が認識できるようなデバイスレベルの命令語にマッピングする。デバイスレベルの命令語は、課金処理モジュールインタフェース部７２１２を通じて課金処理モジュール７２１６に提供される。
【０２２９】
図５０は、本発明の実施例によるリミックス情報提供サーバーがリミックス情報を提供する方法を示すフローチャートである。図５０を参照すると、ユーザは、ユーザ端末７００１を用いてリミックス情報提供サーバー７００２に接続する。リミックス情報提供サーバー７００２からユーザ端末７００１はリミックス情報を選択する（段階Ｓ７０１）。リミックス情報提供サーバー７００２は、ユーザの選択したリミックス情報をユーザ端末７００１に無料で伝送しても良く、有料で伝送しても良い。リミックス情報提供サーバー７００２は、ユーザの選択したリミックス情報が有料か無料かを判断する（段階Ｓ７０３）。リミックス情報提供サーバー７００２は、ユーザの選択したリミックス情報が有料である場合、ユーザに決済を要請する（段階Ｓ７０５）。決済のために、リミックス情報提供サーバー７００２は、ユーザが有効なユーザなのかを確認するユーザ認証を行なうことができる。リミックス情報提供サーバー７００２は、ユーザ端末７００１にクレジットカード番号、口座番号、住民番号、パスワードなど、ユーザ認証のためのユーザ認証情報入力を要請することができる。ユーザがユーザ端末７００１を用いてユーザ認証情報を入力すると、リミックス情報提供サーバー７００２は、ユーザの入力したユーザ認証情報を金融機関７００３や移動通信事業者７００４などに伝送し、ユーザが有効か否かを確認することを要請する。金融機関７００３または移動通信事業者７００４は、データベース（図示せず）からリミックス情報提供サーバー７００２が伝送したユーザ認証情報を検索し、その結果をリミックス情報提供サーバー７００２に通知する。リミックス情報提供サーバー７００２は、ユーザが有効であると判断すると、金融機関７００３または移動通信事業者７００４に決済情報を伝送し、決済を要請する。リミックス情報提供サーバー７００２は、ミックス信号変形部（図示せず）を含むことができる。リミックス情報提供サーバー７００２は、決済が完了すると（段階７０７の‘はい’）、ユーザにより選択されたリミックス情報が、一部ソース信号が除外された変形されたミックス信号か否かを判断する（段階Ｓ７０９）。リミックス情報提供サーバー７００２は、ユーザーが希望するリミックス情報が、変形されたミックス信号である場合、ミックス信号変形部を用いてミックス信号を変形したり、既に保存されている変形されたミックス信号を抽出する（段階Ｓ７１１）。リミックス情報提供サーバー７００２は、変形されたミックス信号をユーザ端末７００１に提供する（段階Ｓ７１５）。リミックス情報提供サーバー７００２は、ユーザにより選択されたリミックス情報が変形されたミックス信号でない場合、既に保存されているリミックス情報を抽出する（段階Ｓ７１３）。リミックス情報提供サーバー７００２は、抽出したリミックス情報をユーザ端末７００１に提供する（段階Ｓ７１５）。
【０２３０】
図５１は、本発明の実施例によってユーザ端末がリミックス情報を受信する方法を示すフローチャートである。図５１を参照すると、ユーザは、ユーザ端末７００１を用いてリミックス情報提供サーバー７００２に接続する（段階Ｓ８０１）。ユーザは、ユーザ端末７００１を用いて、リミックス情報提供サーバー７００２が提供するリミックス情報から所望の情報を選択する（段階Ｓ８０３）。前述したように、リミックス情報は、ミックス信号、変形されたミックス信号、ソース信号、付加情報、ソース信号を表現するアイコン、顔文字などを含む。また、リミックス情報は、他のユーザがリミックス情報提供サーバー７００２にアップロードしたリミックス情報などを含む。ユーザ端末７００１は、ユーザが選択したリミックス情報が有料なのか判断する（段階Ｓ８０５）。ユーザは、選択したリミックス情報が有料である場合、リミックス情報使用料を決済する（段階Ｓ８０７）。リミックス情報使用料は、リミックス情報の種類や容量、ビット率等によって変わることができる。例えば、ユーザが特定ソース信号のみを受けたい場合、ユーザは、ソース信号を含むミックス信号を受信する場合に比べてより少ない使用料を支払うことができる。ユーザがミックス信号またはミックス信号に含まれていないソース信号に関する付加情報を受信する場合、ユーザが決済する金額は変わることができる。決済が完了すると、ユーザは、リミックス情報提供サーバー７００２からリミックス情報を受信する（段階Ｓ８０９）。
【０２３１】
図５２は、本発明の実施例によってユーザがリミックス情報をリミックス情報提供サーバーに伝送する方法を示すフローチャートである。図５２を参照すると、ユーザは、ユーザ端末７００１を用いてリミックス情報を受信する。リミックス情報は、リミックス情報提供サーバー７００２等のエンコーディング装置から受け取ることができる。ユーザ端末７００１は、リミックス情報及び制御情報を用いてミックス信号に含まれているソース信号をリミックスするリミックスレンダリング部（図示せず）を含むことができる。ユーザ端末７００１がリミックスレンダリング部を含む場合、ユーザは、ユーザ端末７００１を用いてミックス信号、ソース信号及びこれに関する付加情報を用いて直接リミックス情報を生成することができる。ユーザは、リミックスレンダリング部を用いてユーザ端末７００１に保存されているリミックス情報を変形して、新しいリミックス情報を生成することもできる（段階Ｓ９０１）。すなわち、ユーザは、持っているリミックス情報を用いてソース信号の大きさや位置、音色などを調節することで、リミックスされたミックス信号を生成することができる。また、ユーザは、ソース信号を表現するアイコンや顔文字などを変形したり、直接アイコンなどを生成することができる。ユーザは、生成したリミックス情報をリミックス情報提供サーバー７００２に伝送してアップロードする（段階Ｓ９０３）。リミックス情報提供サーバー７００２は、ユーザがアップロードした新しいリミックス情報をデータベースに保存し、これを第２ユーザが希望すると、データベースから抽出して第２ユーザ端末に伝送する。
【産業上の利用可能性】
【０２３２】
本発明は、メディア信号プレイヤーの入力装置またはリモートコントローラなどに適用されることができる。また、本発明は、メディア信号プレイヤーのインタフェース制御装置などに適用されることができる。本発明は、メディア信号情報提供サーバーなどに適用されることができる。
以上ではたとえ限定された実施例と図面に基づいて本発明を説明してきたが、本発明はそれらに限定されものではなく、本発明の属する技術分野における通常の知識を持つ者にとっては、本発明の技術思想と添付した特許請求の範囲と均等な範囲内で様々な修正及び変形が可能であるということが明らかである。

【特許請求の範囲】
【請求項１】
入力部と、
前記入力部を通じて受信した入力信号をソース別メニュー表示命令に変換した後、前記ソース別メニュー表示命令によって、ミックス信号に該当するソース情報に基づいてソース別メニュー表示画面が出力されるようにする制御部と、
前記ソース別メニュー表示画面が出力されるディスプレイと、
を含むことを特徴とする入力装置。
【請求項２】
ポインティングデバイスまたは方向移動キーをさらに含み、
前記制御部は、前記ポインティングデバイスまたは方向移動キーを通じて受信した入力信号を、ソース別レベル調整命令に変換することを特徴とする請求項１に記載の入力装置。
【請求項３】
入力部と、
前記入力部を通じて受信した入力信号を、ソース別メニュー表示命令に変換する制御部と、
前記制御部により変換された命令を、外部装置に伝送するための無線通信部と、
を含むことを特徴とする入力装置。
【請求項４】
入力部と、
前記入力部を通じて受信した入力信号を、音声ミュート命令または音声レベル調整命令に変換し、前記音声ミュート命令または音声レベル調整に基づいてミックス信号に関する制御情報を出力する制御部と、
を含むことを特徴とする入力装置。
【請求項５】
入力部と、
前記入力部を通じて受信した入力信号をアンビエンス画面表示命令に変換し、前記アンビエンス画面表示命令によって、ミックス信号に該当するソース情報に基づいてアンビエンス画面が出力されるようにする制御部と、
前記アンビエンス画面が出力されるディスプレイと、
を含むことを特徴とする入力装置。
【請求項６】
ポインティングデバイスまたは方向移動キーをさらに含み、
前記制御部は、前記ポインティングデバイスまたは方向移動キーを通じて受信した入力信号をアンビエンス調整命令に変換し、前記アンビエンス調整命令に基づいてミックス信号に関する制御情報を出力することを特徴とする請求項５に記載の入力装置。
【請求項７】
ショートカットキー登録命令を受信する段階と、
複数のキーのうち一つのキー、複数のソースのうち一つのソース、一つ以上の機能のうち一つの機能が選択される段階と、
前記選択されたキーに、前記選択されたソースに対して前記選択された機能をマッチングさせて保存する段階と、
を含み、
前記複数のソースは、オーディオ信号のソース、及びビデオ信号のソースのうち一つ以上を含み、
前記一つ以上の機能は、音ミュート、アンビエンス調整、及びレベル調整のうち一つ以上を含むことを特徴とする入力方法。
【請求項８】
複数のキーのうち一つのキー、複数のソースのうち一つのソース、及び一つ以上の機能のうち一つの機能を選択するための入力部と、
各キー別命令情報が保存される記憶部と、
前記入力部により前記選択されたキーに、前記選択されたソースに対して前記選択された機能をマッチングさせて前記記憶部に保存する制御部と、
を含み、
前記複数のソースは、オーディオ信号の客体、及びビデオ信号の客体のうち一つ以上を含み、
前記一つ以上の機能は、音ミュート、アンビエンス調整、及びレベル調整のうち一つ以上を含むことを特徴とする入力装置。
【請求項９】
特定ミックス信号が選択される段階と、
前記ミックス信号に対応するソース信号情報を照会して、前記ソース信号のリストをディスプレイに表示する段階と、
を含み、
前記表示は、前記ミックス信号が選択されている間に維持されることを特徴とするミックス信号のインタフェース表示方法。
【請求項１０】
前記ソース信号情報は、前記ミックス信号に対応する付加情報から抽出されることを特徴とする請求項９に記載のミックス信号のインタフェース表示方法。
【請求項１１】
前記ソース信号のリストは、前記ミックス信号に含まれているソース信号の楽器名、歌手名、及び登場人物名のうち一つ以上であることを特徴とする請求項９に記載のミックス信号のインタフェース表示方法。
【請求項１２】
前記ソース信号のリストから一つのソースが選択される段階と、
前記選択されたソースに対する音量レベル調整画面をさらに表示する段階と、
をさらに含むことを特徴とする請求項９に記載のミックス信号のインタフェース表示方法。
【請求項１３】
前記ソース信号のリストから一つのソースが選択される段階と、
前記選択されたソースに対するイコライザ調整画面またはアンビエンス調整画面を表示する段階と、
をさらに含むことを特徴とする請求項９に記載のミックス信号のインタフェース表示方法。
【請求項１４】
複数のミックス信号から一つを選択するための入力部と、
前記ミックス信号に対応するソース信号情報を照会して、前記ソース信号のリストを表示する制御部と、
前記ソース信号のリストを表示するためのディスプレイと、
を含み、
前記表示は、前記ミックス信号が選択されている間に維持されることを特徴とするミックス信号のインタフェース表示装置。
【請求項１５】
第２ディスプレイをさらに含み、
前記入力部は、前記ソース信号のリストから一つのソースを選択するためのものであり、
前記制御部は、前記選択されたソースに対するメタデータ、音量レベル調整画面、イコライザ調整画面、アンビエンス調整画面のうち一つ以上を前記第２ディスプレイに表示させることを特徴とする請求項１４に記載のミックス信号のインタフェース表示装置。
【請求項１６】
特定ミックス信号が選択される段階と、
前記ミックス信号に対応するソース信号情報を照会して、前記ソース信号情報に基づいて前記ソース信号に該当するアイコンを表示する段階と、
を含むことを特徴とするミックス信号のインタフェース表示方法。
【請求項１７】
前記ソース信号情報は、前記ミックス信号に対応する付加情報から抽出されることを特徴とする請求項１６に記載のミックス信号のインタフェース表示方法。
【請求項１８】
前記アイコンのうち一つに対する実行命令を受信すると、選択されたアイコンに該当するソース信号のレベル調整画面を表示する段階をさらに含むことを特徴とする請求項１６に記載のミックス信号のインタフェース表示方法。
【請求項１９】
レベル調整に関する命令を受信すると、調整されたレベルに従って前記選択されたアイコンの形状を変化させる段階をさらに含み、
前記アイコンの形状は、大きさ、色相、明るさ、及び画面内位置のうち一つ以上を含むことを特徴とする請求項１８に記載のミックス信号のインタフェース表示方法。
【請求項２０】
前記アイコンのうち一つが選択されると、選択されたアイコンに該当するソース信号のイコライザ画面を表示する段階をさらに含むことを特徴とする請求項１６に記載のミックス信号のインタフェース表示方法。
【請求項２１】
サブバンド別レベル調整に関する命令を受信すると、前記選択されたアイコンに該当するソース信号のサブバンドレベルを調整して、前記ミックス信号をリミキシングする段階をさらに含むことを特徴とする請求項２０に記載のミックス信号のインタフェース表示方法。
【請求項２２】
前記アイコンのうち一つが選択されると、選択されたアイコンに該当するソース信号のアンビエンス調整画面を表示する段階をさらに含み、
前記アンビエンス調整画面は、ソース信号別相対的位置が表示された画面であることを特徴とする請求項１６に記載のミックス信号のインタフェース表示方法。
【請求項２３】
複数のミックス信号から一つを選択するための入力部と、
前記入力部により選択されたミックス信号に対応するソース信号情報に基づいて、前記ソース信号に該当するアイコンを表示する制御部と、
前記ソース信号に該当するアイコンを表示するためのディスプレイ部と、
を含むことを特徴とするミックス信号のインタフェース表示装置。
【請求項２４】
ミックス信号に対する再生命令を受信する段階と、
前記ミックス信号に対応するソース信号のレベルが時間別に変化するに従って、前記ソース信号のイメージの形状を時間別に変化させて表示する段階と、
を含み、
前記イメージの形状は、大きさ、色相、明るさ、画面内位置のうち一つ以上を含むことを特徴とするミックス信号のインタフェース表示方法。
【請求項２５】
ミックス信号に対する再生命令を入力するための入力部と、
前記ミックス信号に対応するソース信号のレベルが時間別に変化するに従って、前記ソース信号のイメージの形状を時間別に変化させて表示されるように制御する制御部と、
前記ソース信号に該当するイメージを表示するディスプレイ部と、
を含み、
前記イメージの形状は、大きさ、色相、明るさ、画面内位置のうち一つ以上を含むことを特徴とするミックス信号のインタフェース表示装置。
【請求項２６】
通信網を通じてユーザ端末と結合するリミックス情報提供サーバーで行なう信号処理方法であって、
前記ユーザ端末からリミックス情報の要請を受ける段階と、
前記要請されたリミックス情報を前記ユーザ端末に伝送する段階と、
を含み、
前記リミックス情報は、ミックス信号、前記ミックス信号に含まれているソース信号、前記ミックス信号を前記ソース信号別に制御するためのミックスパラメータ、前記ミックス信号をアップミックスするためのアップミックスパラメータ、前記ソース信号を表現するためのアイコンまたは顔文字のうち少なくとも一つを含むことを特徴とする信号処理方法。
【請求項２７】
前記リミックス情報は、
前記ミックス信号に含まれている前記ソース信号から一部のソース信号が除外された変形されたミックス信号を含むことを特徴とする請求項２６に記載の信号処理方法。
【請求項２８】
前記ユーザ端末から前記変形されたミックス信号伝送の要請を受ける場合、
前記方法は、前記ミックス信号から除外するソース信号が選択される段階と、
前記選択されたソース信号が除外された変形されたミックス信号を生成する段階と、
をさらに含み、
前記伝送する段階は、前記変形されたミックス信号を前記ユーザ端末に伝送することを特徴とする請求項２７に記載の信号処理方法。
【請求項２９】
前記伝送する段階は、
前記リミックス情報に対する決済が完了すると、前記リミックス情報を前記ユーザ端末に伝送する段階を含むことを特徴とする請求項２６〜２８のいずれか１項に記載の信号処理方法。
【請求項３０】
前記リミックス情報提供サーバーは、金融機関または移動通信事業者と通信網を通じて結合し、前記決済は、
前記ユーザ端末にユーザ端末認証情報を要請する段階と、
前記ユーザ端末から入力された前記認証情報を、前記金融機関または前記移動通信事業者に伝送して認証を要請する段階と、
前記ユーザ端末認証が完了すると、前記金融機関または前記移動通信事業者に決済情報を伝送して決済を要請する段階と、
を含むことを特徴とする請求項２９に記載の信号処理方法。
【請求項３１】
リミックス情報提供サーバーと通信網を通じて結合するユーザ端末で行なう信号処理方法であって、
前記サーバーに接続してリミックス情報を要請する段階と、
前記サーバーから要請された決済情報を前記サーバーに伝送する段階と、
決済が完了すると、前記サーバーから前記リミックス情報を受信する段階と、
を含み、
前記リミックス情報は、ミックス信号、前記ミックス信号に含まれているソース信号、前記ミックス信号を前記ソース信号別に制御するためのミックスパラメータ、前記ミックス信号をアップミックスするためのアップミックスパラメータ、前記ソース信号を表現するためのアイコンまたは顔文字のうち少なくとも一つを含むことを特徴とする信号処理方法。
【請求項３２】
ユーザ端末と通信網を通じて結合するリミックス情報提供サーバーであって、
前記ユーザ端末からリミックス情報が要請され、該要請されたリミックス情報を前記ユーザ端末に伝送する送受信部と、
前記ユーザ端末の要請に応じて、前記要請されたリミックス情報を抽出するデータベース部と、
前記リミックス情報使用が有料である場合、前記リミックス情報使用に対する決済を処理する決済処理部と、
前記ユーザ端末が要請した前記リミックス情報を、前記ユーザ端末に伝送するようにする制御部と、
を含み、
前記リミックス情報は、ミックス信号、前記ミックス信号に含まれているソース信号、前記ミックス信号を前記ソース信号別に制御するためのミックスパラメータ、前記ミックス信号をアップミックスするためのアップミックスパラメータ、前記ソース信号を表現するためのアイコンまたは顔文字のうち少なくとも一つを含むことを特徴とするリミックス情報提供サーバー。
【請求項３３】
リミックス情報提供サーバーと通信網を通じて結合するユーザ端末であって、
前記リミックス情報提供サーバーにリミックス情報を要請し、前記要請したリミックス情報を受信する通信部と、
制御情報を受信するユーザインタフェースと、
前記リミックス情報及び前記制御情報を用いて、ミックス信号に含まれているソース信号をリミックスするリミックスレンダリング部と、
前記ユーザ端末の全般を制御して、前記ミックス信号に含まれている前記ソース信号をリミックスするようにする制御部と、
を含み、
前記リミックス情報は、ミックス信号、前記ミックス信号に含まれているソース信号、前記ミックス信号を前記ソース信号別に制御するためのミックスパラメータ、前記ミックス信号をアップミックスするためのアップミックスパラメータ、前記ソース信号を表現するためのアイコンまたは顔文字のうち少なくとも一つを含むことを特徴とするユーザ端末。

【図１】

【図２】

【図３】

【図４】

【図５】

【図６】

【図７】

【図８】

【図９】

【図１０】

【図１１】

【図１２】

【図１３】

【図１４】

【図１５】

【図１６】

【図１７】

【図１８】

【図１９】

【図２０】

【図２１】

【図２２】

【図２３】

【図２４】

【図２５Ａ】

【図２５Ｂ】

【図２６】

【図２７】

【図２８】

【図２９】

【図３０】

【図３１】

【図３２】

【図３３Ａ】

【図３３Ｂ】

【図３３Ｃ】

【図３３Ｄ】

【図３４】

【図３５Ａ】

【図３５Ｂ】

【図３６Ａ】

【図３６Ｂ】

【図３７Ａ】

【図３７Ｂ】

【図３８】

【図３９】

【図４０】

【図４１】

【図４２】

【図４３】

【図４４】

【図４５】

【図４６】

【図４７】

【図４８】

【図４９】

【図５０】

【図５１】

【図５２】

【公表番号】特表２０１０−５１２０４２（Ｐ２０１０−５１２０４２Ａ）
【公表日】平成２２年４月１５日（２０１０．４．１５）
【国際特許分類】
【出願番号】特願２００９−５３９１９３（Ｐ２００９−５３９１９３）
【出願日】平成１９年１２月３日（２００７．１２．３）
【国際出願番号】ＰＣＴ／ＫＲ２００７／００６１９８
【国際公開番号】ＷＯ２００８／０６６３６４
【国際公開日】平成２０年６月５日（２００８．６．５）
【出願人】（５０２０３２１０５）エルジー　エレクトロニクス　インコーポレイティド (2,269)
【Ｆターム（参考）】