データ処理装置、データ処理方法、及び、プログラム
【課題】編集の自由度を向上させる。
【解決手段】放送装置１２は、素材となるコンテンツ#1及び#2のそれぞれを加工するための、コンテンツ#1及び#2のそれぞれごとの加工パラメータと、コンテンツ#1及び#2を、編集後のコンテンツである編集後コンテンツとして出力する出力タイミングを表すタイミングパラメータとを生成する。さらに、放送装置１２は、加工パラメータ、及びタイミングパラメータを含み、コンテンツ#1及び#2を編集して、編集後コンテンツを生成するのに用いられる制御データを、コンテンツ#1及び#2とともに送信する。受信装置４１の再生部５２は、コンテンツ#1及び#2、並びに制御データを受信し、制御データに含まれる加工パラメータ、及びタイミングパラメータに従い、コンテンツ#1及び#2を編集し、編集後コンテンツを生成する。本発明は、例えば、放送システムに適用できる。
【解決手段】放送装置１２は、素材となるコンテンツ#1及び#2のそれぞれを加工するための、コンテンツ#1及び#2のそれぞれごとの加工パラメータと、コンテンツ#1及び#2を、編集後のコンテンツである編集後コンテンツとして出力する出力タイミングを表すタイミングパラメータとを生成する。さらに、放送装置１２は、加工パラメータ、及びタイミングパラメータを含み、コンテンツ#1及び#2を編集して、編集後コンテンツを生成するのに用いられる制御データを、コンテンツ#1及び#2とともに送信する。受信装置４１の再生部５２は、コンテンツ#1及び#2、並びに制御データを受信し、制御データに含まれる加工パラメータ、及びタイミングパラメータに従い、コンテンツ#1及び#2を編集し、編集後コンテンツを生成する。本発明は、例えば、放送システムに適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ処理装置、データ処理方法、及び、プログラムに関し、特に、編集の自由度を向上させることができるようにするデータ処理装置、データ処理方法、及び、プログラムに関する。
【背景技術】
【０００２】
例えば、従来のテレビジョン放送では、放送局において、いわゆる素材としての画像や音声等を含むコンテンツ（以下、素材コンテンツともいう）が編集され、その編集の結果得られるコンテンツ（以下、編集後コンテンツともいう）が、番組として放送される。
【０００３】
したがって、テレビジョン放送の受信側では、番組として、編集後コンテンツを視聴することになる。
【０００４】
このため、受信側では、ユーザは、例えば、編集でカットされたシーンや、編集後コンテンツに含まれる画像とは異なるアングルから見たシーン等を視聴することはできない。
【０００５】
また、受信側において、ユーザが、コンテンツの編集を行う場合には、その編集の対象となるのは、編集後コンテンツとなる。したがって、ユーザは、編集後コンテンツから、ユーザにとって不要なシーンをカットするような編集は行うことができるが、やはり、放送局の編集でカットされたシーンを挿入するような編集は行うことができない。
【０００６】
一方、マルチビュー放送と呼ばれる放送では、放送局から、画像及び音声についての、複数の切り替えパターンの情報が記述されたマルチビュー自動切り替えテーブルが送出される。そして、受信側では、マルチビュー自動切り替えテーブルを用いて、画像及び音声が切り替えられ、これにより、ユーザの好みの切り替えパターンで、画像及び音声を切り替えることができる（例えば、特許文献１を参照）。
【０００７】
【特許文献１】特開2002-314960号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従来においては、受信側で行うことができる編集の自由度が高いとは言えなかった。
【０００９】
すなわち、従来においては、受信側において、複数の素材コンテンツのそれぞれごとに、例えば、画質の調整等の加工を行うことが困難であった。
【００１０】
本発明は、このような状況に鑑みてなされたものであり、編集の自由度を向上させ、これにより、例えば、ユーザにとって適切なコンテンツを提供することができるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の第１の側面のデータ処理装置、又は、プログラムは、コンテンツを処理するデータ処理装置であり、複数のコンテンツを受信するコンテンツ受信手段と、前記複数のコンテンツのそれぞれを加工するための、前記コンテンツごとの加工パラメータと、前記コンテンツを、編集後のコンテンツである編集後コンテンツとして出力する出力タイミングを表すタイミングパラメータとを含み、前記複数のコンテンツを編集して、前記編集後コンテンツを生成するのに用いられる制御データを受信する制御データ受信手段と、前記制御データに含まれる前記加工パラメータ、及び前記タイミングパラメータに従い、前記複数のコンテンツを編集し、前記編集後コンテンツを生成する編集手段とを備えるデータ処理装置、又は、データ処理装置として、コンピュータを機能させるためのプログラムである。
【００１２】
本発明の第１の側面のデータ処理方法は、コンテンツを処理するデータ処理装置のデータ処理方法であり、前記データ処理装置が、複数のコンテンツを受信するとともに、前記複数のコンテンツのそれぞれを加工するための、前記コンテンツごとの加工パラメータと、前記コンテンツを、編集後のコンテンツである編集後コンテンツとして出力する出力タイミングを表すタイミングパラメータとを含み、前記複数のコンテンツを編集して、前記編集後コンテンツを生成するのに用いられる制御データを受信し、前記制御データに含まれる前記加工パラメータ、及び前記タイミングパラメータに従い、前記複数のコンテンツを編集し、前記編集後コンテンツを生成するステップを含むデータ処理方法である。
【００１３】
以上のような第１の側面においては、複数のコンテンツが受信されるとともに、前記複数のコンテンツのそれぞれを加工するための、前記コンテンツごとの加工パラメータと、前記コンテンツを、編集後のコンテンツである編集後コンテンツとして出力する出力タイミングを表すタイミングパラメータとを含み、前記複数のコンテンツを編集して、前記編集後コンテンツを生成するのに用いられる制御データが受信される。そして、前記制御データに含まれる前記加工パラメータ、及び前記タイミングパラメータに従い、前記複数のコンテンツが編集され、前記編集後コンテンツが生成される。
【００１４】
本発明の第２の側面のデータ処理装置、又は、プログラムは、複数のコンテンツを編集する処理を行うデータ処理装置であり、前記複数のコンテンツのそれぞれを加工するための、前記コンテンツごとの加工パラメータと、前記コンテンツを、編集後のコンテンツである編集後コンテンツとして出力する出力タイミングを表すタイミングパラメータとを生成する生成手段と、前記加工パラメータ、及び前記タイミングパラメータに従い、前記複数のコンテンツを編集し、前記編集後コンテンツを生成する編集手段と、前記加工パラメータ、及び前記タイミングパラメータを含み、前記複数のコンテンツを編集して、前記編集後コンテンツを生成するのに用いられる制御データを出力する出力手段とを備えるデータ処理装置、又は、データ処理装置として、コンピュータを機能させるためのプログラムである。
【００１５】
本発明の第２の側面のデータ処理方法は、複数のコンテンツを編集する処理を行うデータ処理装置のデータ処理方法であり、前記データ処理装置が、前記複数のコンテンツのそれぞれを加工するための、前記コンテンツごとの加工パラメータと、前記コンテンツを、編集後のコンテンツである編集後コンテンツとして出力する出力タイミングを表すタイミングパラメータとを生成し、前記加工パラメータ、及び前記タイミングパラメータに従い、前記複数のコンテンツを編集し、前記編集後コンテンツを生成し、前記加工パラメータ、及び前記タイミングパラメータを含み、前記複数のコンテンツを編集して、前記編集後コンテンツを生成するのに用いられる制御データを出力するステップを含むデータ処理方法である。
【００１６】
以上のような第２の側面においては、前記複数のコンテンツのそれぞれを加工するための、前記コンテンツごとの加工パラメータと、前記コンテンツを、編集後のコンテンツである編集後コンテンツとして出力する出力タイミングを表すタイミングパラメータとが生成される。そして、前記加工パラメータ、及び前記タイミングパラメータに従い、前記複数のコンテンツが編集され、前記編集後コンテンツが生成される。一方、前記加工パラメータ、及び前記タイミングパラメータを含み、前記複数のコンテンツを編集して、前記編集後コンテンツを生成するのに用いられる制御データが出力される。
【００１７】
なお、データ処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【００１８】
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１９】
本発明の第１及び第２の側面によれば、編集の自由度を向上させることができる。
【発明を実施するための最良の形態】
【００２０】
図１は、本発明を適用した放送システムの一実施の形態の構成例を示している。
【００２１】
図１において、放送システムは、送信側装置１及び受信側装置２から構成される。
【００２２】
なお、送信側装置１は、複数あっても良い。受信側装置２も同様である。
【００２３】
送信側装置１は、例えば、放送局側の装置であり、複数としての、例えば２台のカメラ１１1及び１１2、並びに、放送装置１２から構成される。
【００２４】
カメラ１１1及び１１2は、例えば、三脚等で固定されており、サッカーや野球等のスポーツの試合や、歌手のコンサート、多地点にカメラ（多地点カメラ）が設置されるイベント等を撮影し、その結果得られる画像及び音声を、素材となる素材コンテンツとして、放送装置１２に供給する。
【００２５】
ここで、カメラ１１1と１１2とは、例えば、異なる位置に設置されており、異なるアングルの画像を撮影する。
【００２６】
さらに、カメラ１１1及び１１2は、例えば、画素数の多い高解像度のカメラであり、広角の画像を撮影する。
【００２７】
なお、カメラ１１1及び１１2は、必ずしも、三脚等で固定されている必要はない。
【００２８】
また、送信側装置１には、カメラ１１1及び１１2の２台だけでなく、３台以上のカメラを設けることが可能である。
【００２９】
放送装置１２は、カメラ１１1及び１１2からの、複数のコンテンツとしての２つの素材コンテンツを編集する処理等を行うデータ処理装置であり、設定部２１、編集部２２、モニタ２３、並びに、送信部２４1，２４2、及び２４3等から構成される。
【００３０】
設定部２１は、番組の制作者であるコンテンツ制作者（ユーザ）等の、編集を指示する編集操作に応じて、加工パラメータ、及びタイミングパラメータを生成し、編集部２２に供給する。
【００３１】
また、設定部２１は、加工パラメータ、及びタイミングパラメータを含み、複数のコンテンツとしてのカメラ１１1で得られる素材コンテンツ#1と、カメラ１１2で得られる素材コンテンツ#2との２つの素材コンテンツを編集して、編集後のコンテンツである編集後コンテンツを生成するのに用いられる制御データを出力する。
【００３２】
設定部２１が出力する制御データは、送信部２４3に供給される。
【００３３】
ここで、加工パラメータとは、素材コンテンツを加工するためのパラメータで、素材コンテンツごとに生成される。ここでは、素材コンテンツとして、カメラ１１1で得られる素材コンテンツ#1と、カメラ１１2で得られる素材コンテンツ#2との２つの素材コンテンツがあるので、加工パラメータは、その２つの素材コンテンツ#1と#2のそれぞれに対して生成される。
【００３４】
また、タイミングパラメータとは、素材コンテンツを、編集後コンテンツとして出力する出力タイミングを表すパラメータであり、例えば、いわゆる編集点（IN点及びOUT点）に相当する。
【００３５】
なお、例えば、素材コンテンツ#1を、編集後コンテンツとして出力する場合としては、編集後コンテンツを、他の素材コンテンツ#2から、素材コンテンツ#1に切り替える場合と、他の素材コンテンツ#2に、素材コンテンツ#1を合成して、編集後コンテンツとする場合とがある。
【００３６】
編集部２２は、設定部２１から供給される加工パラメータ、及びタイミングパラメータに従い、複数のコンテンツとしてのカメラ１１1及び１１2それぞれからの２つの素材コンテンツ#1及び#2を編集し、編集後コンテンツを生成して出力する。
【００３７】
編集部２２が出力する編集後コンテンツは、モニタ２３に供給される。
【００３８】
モニタ２３は、ディスプレイやスピーカ等で構成され、編集部２２からの編集後コンテンツを提示する。すなわち、モニタ２３は、編集後コンテンツに含まれる画像（文字を含む）を表示するとともに、編集後コンテンツに含まれる音声を出力する。
【００３９】
送信部２４1は、カメラ１１1から放送装置１２に供給される素材コンテンツ#1に対して、変調その他の必要な処理を施して送信する。送信部２４2は、カメラ１１2から放送装置１２に供給される素材コンテンツ#2に対して、変調その他の必要な処理を施して送信する。
【００４０】
送信部２４3は、設定部２１から供給される制御データに対して、変調その他の必要な処理を施して送信する。
【００４１】
したがって、放送装置１２では、番組として、編集後コンテンツそのものが送信されるのではなく、その編集後コンテンツの代わりに、編集後コンテンツを生成する編集の対象となった素材コンテンツ#1及び#2と、その素材コンテンツ#1及び#2のそれぞれに対する加工パラメータ、並びにタイミングパラメータを含む制御データとが送信される。
【００４２】
ここで、放送装置１２が送信する制御データに含まれる加工パラメータ、及びタイミングパラメータに従い、同じく放送装置１２が送信する２つの素材コンテンツ#1及び#2を編集することで、モニタ２３で提示された編集後コンテンツを生成することができる。
【００４３】
この、モニタ２３で提示された編集後コンテンツは、コンテンツ制作者による編集操作に応じた編集によって得られた、そのコンテンツ制作者の意図が反映されたコンテンツであり、以下、標準コンテンツともいう。
【００４４】
また、この標準コンテンツを生成する編集に用いられる加工パラメータ、及びタイミングパラメータを含む制御データを、標準制御データともいう。
【００４５】
放送装置１２から送信される素材コンテンツ#1及び#2、並びに、標準制御データは、受信側装置２で受信されて処理される。
【００４６】
ここで、放送装置１２からの素材コンテンツ#1及び#2、並びに、標準制御データの送信は、地上波、衛星回線、CATV網等の放送網や、インターネット等のネットワーク等の、任意の伝送媒体を介して行うことができる。
【００４７】
受信側装置２は、受信装置４１、モニタ４２、及びユーザI/F(Interface)４３等から構成される。
【００４８】
受信装置４１は、放送装置１２からの素材コンテンツ#1及び#2、並びに、標準制御データを受信して処理するデータ処理装置であり、受信部５１1，５１2、及び５１3、並びに、再生部５２から構成される。
【００４９】
すなわち、受信部５１1は、放送装置１２からの素材コンテンツ#1を受信し、復調その他の必要な処理を施して、再生部５２に供給する。受信部５１2は、放送装置１２からの素材コンテンツ#2を受信し、復調その他の必要な処理を施して、再生部５２に供給する。
【００５０】
受信部５１3は、放送装置１２からの標準制御データを受信し、復調その他の必要な処理を施して、再生部５２に供給する。
【００５１】
その他、再生部５２には、ユーザI/F４３や、外部メディア４４、図示せぬネットワークから、必要に応じて、データ（信号）が供給される。
【００５２】
すなわち、ユーザI/F４３は、例えば、リモートコマンダや、受信装置４１の筐体に設けられた図示せぬボタン等であり、ユーザによって操作されると、その操作に応じた操作信号を、再生部５２に供給（送信）する。
【００５３】
外部メディア４４は、例えば、メモリカードその他の、外部のリムーバブルな記録媒体で、再生部５２に対して着脱可能になっている。外部メディア４４には、制御データ等を記録（記憶）することができるようになっており、再生部５２は、外部メディア４４が装着されると、必要に応じて、その外部メディア４４に記録されている制御データを読み出して受信する。
【００５４】
また、再生部５２は、インターネットその他のネットワークを介して通信を行うことができるようになっており、ネットワーク上のサーバから、必要に応じて、制御データをダウンロードして受信する。
【００５５】
再生部５２は、受信部５１1からの素材コンテンツ#1、及び、受信部５１2からの素材コンテンツ#2を、例えば、受信部５１3からの標準制御データに含まれる加工データ及びタイミングパラメータに従って編集し、編集後コンテンツ（標準コンテンツ）を生成する。
【００５６】
また、再生部５２は、受信部５１1からの素材コンテンツ#1、及び、受信部５１2からの素材コンテンツ#2を、例えば、外部メディア４４やネットワークから受信した制御データに含まれる加工データ及びタイミングパラメータに従って編集し、編集後コンテンツを生成する。
【００５７】
さらに、再生部５２は、受信部５１1からの素材コンテンツ#1、及び、受信部５１2からの素材コンテンツ#2を、例えば、ユーザI/F４３からの操作信号に応じて生成される加工データ及びタイミングパラメータに従って編集し、編集後コンテンツを生成する。
【００５８】
ここで、再生部５２において、標準制御データに含まれる加工パラメータ及びタイミングパラメータに従って編集が行われる場合には、編集後コンテンツとして、標準コンテンツが生成される。
【００５９】
一方、再生部５２において、外部メディア４４、もしくはネットワークから受信した制御データに含まれる加工データ及びタイミングパラメータ、又は、ユーザI/F４３からの操作信号に応じて生成される加工データ及びタイミングパラメータに従って編集が行われる場合には、編集後コンテンツとして、標準コンテンツが生成されるとは限らない。
【００６０】
再生部５２が生成した編集後コンテンツは、モニタ４２に供給されて提示される。
【００６１】
すなわち、モニタ４２は、ディスプレイやスピーカ等で構成され、再生部５２からの編集後コンテンツに含まれる画像を表示するとともに、編集後コンテンツに含まれる音声を出力する。
【００６２】
ここで、コンテンツには、画像のコンテンツ、音声のコンテンツ、画像と、その画像に付随する音声とを含むコンテンツ等があるが、以下では、説明を簡単にするために、画像のコンテンツ（画像を少なくとも含むコンテンツ）に注目して説明をする。
【００６３】
なお、図１の放送システムは、画像のコンテンツ、音声のコンテンツ、画像及び音声を含むコンテンツ等のいずれにも適用可能である。
【００６４】
図２は、図１の設定部２１、及び、編集部２２の構成例を示している。
【００６５】
図２において、設定部２１は、ユーザI/F６０、制御データ生成部６１、制御部６２、入力制御部６３1及び６３2、スイッチャ制御部６４、特殊効果制御部６５、同期データ生成部６６、並びに、制御データ記録部６７等から構成され、送信側装置１のユーザであるコンテンツ制作者等の操作に応じて、加工パラメータ、及びタイミングパラメータを生成する。
【００６６】
すなわち、ユーザI/F６０は、編集操作を行うための操作パネル等であり、ユーザであるコンテンツ制作者等によって操作されると、その操作に応じた操作信号を、制御データ生成部６１に供給する。
【００６７】
制御データ生成部６１は、ユーザI/F６０からの操作信号に応じて、素材コンテンツ#1と#2のそれぞれに対する加工パラメータを生成するとともに、タイミングパラメータを生成する。さらに、制御データ生成部６１は、その加工パラメータ、及びタイミングパラメータを含む制御データ（標準制御データ）を生成する。
【００６８】
そして、制御データ生成部６１は、加工パラメータ及びタイミングパラメータを、制御部６２に供給するとともに、制御データを、制御データ記録部６７に供給する。
【００６９】
ここで、上述のように、制御データ生成部６１は、ユーザI/F６０からの操作信号に応じて、素材コンテンツ#1と#2のそれぞれに対する加工パラメータを生成する。したがって、例えば、コンテンツ制作者が、素材コンテンツ#1と#2に対して、異なる加工を施すことを指示する編集操作を行った場合には、制御データ生成部６１では、その編集操作に応じて、素材コンテンツ#1と#2に対して、異なる加工パラメータが生成される。
【００７０】
制御部６２は、設定部２１を構成する各部を制御する。
【００７１】
すなわち、制御部６２は、例えば、制御データ生成部６１からの加工パラメータやタイミングパラメータに従い、入力制御部６３1及び６３2や、スイッチャ制御部６４、特殊効果制御部６５を制御する。
【００７２】
また、制御部６２は、例えば、制御データ生成部６１や制御データ記録部６７を制御する。
【００７３】
入力制御部６３1は、制御部６２の制御に従い、編集部２２を構成するズーム処理部７１1及び画質調整部７２1を制御する。
【００７４】
入力制御部６３2は、制御部６２の制御に従い、編集部２２を構成するズーム処理部７１2及び画質調整部７２2を制御する。
【００７５】
スイッチャ制御部６４は、制御部６２の制御に従い、編集部２２を構成する入力選択部７３を制御する。
【００７６】
特殊効果制御部６５は、制御部６２の制御に従い、編集部２２を構成する特殊効果発生部７４を制御する。
【００７７】
同期データ生成部６６は、同期データを生成し、制御データ記録部６７に供給する。
【００７８】
すなわち、同期データ生成部６６には、カメラ１１1から編集部２２に供給される素材コンテンツ#1の画像と、カメラ１１2から編集部２２に供給される素材コンテンツ#2の画像とが供給されるようになっている。
【００７９】
同期データ生成部６６は、素材コンテンツ#1の画像の各フレーム（又はフィールド）を識別する情報を、同期データとして生成し、フレームごとの同期データを、制御データ記録部６７に供給する。
【００８０】
さらに、同期データ生成部６６は、素材コンテンツ#2の画像についても、同期データを生成し、制御データ記録部６７に供給する。
【００８１】
ここで、画像の各フレームを識別する同期データとしては、例えば、その画像に付加されているタイムコードを採用することができる。
【００８２】
また、各フレームの同期データとしては、そのフレームの特徴量や、そのフレームを含む、連続する数フレームそれぞれの特徴量のシーケンス等を採用することができる。
【００８３】
フレームの特徴量としては、例えば、特開2007-243259号公報や、特開2007-235374号公報に記載されているような、フレームの特定の領域（全領域を含む）の画素値の加算値や、その加算値の下位数ビット等を採用することができる。
【００８４】
制御データ記録部６７は、制御データ生成部６１から供給される制御データに、同期データ生成部６６から供給される同期データを対応付けて記録（記憶）する。
【００８５】
すなわち、制御データ記録部６７は、制御データ生成部６１から供給される制御データに含まれる、素材コンテンツ#i（ここでは、i=1,2）の画像に対する加工パラメータに、その加工パラメータに従って加工が施される素材コンテンツ#iのフレームの同期データを対応付ける。
【００８６】
制御データ記録部６７は、同期データと対応付けられた制御データ（標準制御データ）を、送信部２４3（図１）に、適宜出力する。
【００８７】
編集部２２は、ズーム処理部７１1及び７１2、画質調整部７２1及び７２2、入力選択部７３、並びに、特殊効果発生部７４等から構成され、制御データ生成部６１で生成された加工パラメータ、及びタイミングパラメータに従い、カメラ１１1及び１１2から供給される素材コンテンツ#1及び#2の画像を編集し、編集後コンテンツ（標準コンテンツ）の画像を生成して、モニタ２３に出力する。
【００８８】
すなわち、ズーム処理部７１iには、カメラ１１iから編集部２２に供給される素材コンテンツ#iの画像が供給される。
【００８９】
ズーム処理部７１iは、入力制御部６３iの制御に従い、カメラ１１iからの素材コンテンツ#iの画像から、編集後コンテンツの画像として出力する領域を抽出する加工を行う。
【００９０】
ズーム処理部７１iは、カメラ１１iからの素材コンテンツ#iの画像から抽出した領域の画像を、画質調整部７２iに供給する。
【００９１】
なお、ズーム処理部７１iは、例えば、カメラ１１iからの素材コンテンツ#iの画像から抽出した領域の画像のサイズを変更する加工（リサイズ）を、必要に応じて行い、これにより、カメラ１１iからの素材コンテンツ#iの画像から抽出した領域の画像を、編集後コンテンツの画像と一致するサイズ（画素数）の画像に変換する。
【００９２】
ここで、ズーム処理部７１iが行う、カメラ１１iからの素材コンテンツ#iの画像から、編集後コンテンツの画像として出力する領域を抽出する加工についての詳細は、後述する。
【００９３】
画質調整部７２iは、入力制御部６３iの制御に従い、ズーム処理部７１iからの素材コンテンツ#iの画像の画質を調整する加工を行う。
【００９４】
例えば、画質調整部７２iは、ノイズ除去処理を行う。すなわち、画質調整部７２iは、例えば、ズーム処理部７１iからの素材コンテンツ#iの画像を、ノイズを低減した画像に変換する。
【００９５】
また、画質調整部７２iは、例えば、ズーム処理部７１iからの素材コンテンツ#iの画像の解像度を向上させる加工を行う。すなわち、画質調整部７２iは、例えば、ズーム処理部７１iからの素材コンテンツ#iの画像を、より解像度の高い画像に変換する。
【００９６】
さらに、画質調整部７２iは、例えば、ズーム処理部７１iからの素材コンテンツ#iの画像のエッジを強調する加工を行う。すなわち、画質調整部７２iは、例えば、ズーム処理部７１iからの素材コンテンツ#iの画像を、よりエッジが強調された画像に変換する。
【００９７】
また、画質調整部７２iは、例えば、ズーム処理部７１iからの素材コンテンツ#iの画像のコントラストを向上させる加工を行う。すなわち、画質調整部７２iは、例えば、ズーム処理部７１iからの素材コンテンツ#iの画像を、よりコントラストが高い画像に変換する。
【００９８】
なお、ズーム処理部７１i、及び、画質調整部７２iでの、素材コンテンツ#iの画像に対する加工の内容は、制御データ生成部６１から制御部６２に供給される、素材コンテンツ#iに対する加工パラメータによって決まる。
【００９９】
画質調整部７２iでの加工によって得られる素材コンテンツ#iの画像は、入力選択部７３に供給される。
【０１００】
入力選択部７３は、スイッチャ制御部６４の制御に従い、画質調整部７２1からの素材コンテンツ#1の画像、及び、画質調整部７２2からの素材コンテンツ#2の画像の中から、編集後コンテンツの画像として出力する画像を選択し、特殊効果発生部７４に供給する。
【０１０１】
ここで、入力選択部７３で選択される画像は、制御データ生成部６１から制御部６２に供給されるタイミングパラメータによって決まる。
【０１０２】
すなわち、例えば、タイミングパラメータが、素材コンテンツ#1及び#2のうちの一方の画像を、編集後コンテンツの画像とすることを表している場合には、入力選択部７３では、その一方の画像が選択される。
【０１０３】
なお、素材コンテンツ#1及び#2のうちの一方の画像を、他方の画像に合成して、編集後コンテンツとする場合には、入力選択部７３では、素材コンテンツ#1及び#2の両方の画像が選択される。
【０１０４】
特殊効果発生部７４は、特殊効果制御部６５の制御に従い、入力選択部７３から供給される１以上の画像に特殊効果（エフェクト）を付す加工を行い、その結果得られる画像を、編集後コンテンツ（標準コンテンツ）の画像として出力する。
【０１０５】
すなわち、特殊効果発生部７４は、例えば、編集後コンテンツの画像を、素材コンテンツ#1及び#2の画像のうちの一方の画像から、他方の画像に切り替えるときに、一方の画像からフェードアウトしつつ、他方の画像にフェードインする特殊効果を付す。
【０１０６】
なお、特殊効果発生部７４では、素材コンテンツ#1及び#2の画像のうちの一方の画像に、他方の画像を合成することも、特殊効果の１つとして行われる。
【０１０７】
また、特殊効果発生部７４では、素材コンテンツ#1及び#2の画像のうちの一方の画像や、一方を他方に合成して得られる画像に、テロップを合成することも、特殊効果の１つとして行われる。
【０１０８】
ここで、特殊効果発生部７４での加工の内容、つまり、画像に付す特殊効果の内容は、制御データ生成部６１から制御部６２に供給される、素材コンテンツ#iに対する加工パラメータによって決まる。
【０１０９】
特殊効果発生部７４が出力する編集後コンテンツ（標準コンテンツ）の画像は、モニタ２３に供給されて表示される。
【０１１０】
次に、図３及び図４を参照して、図２のズーム処理部７１iが行う、カメラ１１iからの素材コンテンツ#iの画像から、編集後コンテンツの画像として出力する領域を抽出する加工について説明する。
【０１１１】
ズーム処理部７１iは、カメラ１１iからの素材コンテンツ#iの画像から、編集後コンテンツの画像として出力する領域を抽出することで、その領域の画像を撮影する仮想的なカメラのパンや、チルト、ズームの操作を、擬似的に実現する編集操作を可能とする。
【０１１２】
すなわち、いま、仮想的なカメラによって、カメラ１１iからの素材コンテンツ#iの画像に映っているシーンの一部を撮影していることとすると、仮想的なカメラについては、素材コンテンツ#iの画像に映っているシーンの範囲内で、パンやチルトの操作を行うことができる。
【０１１３】
さらに、仮想的なカメラについては、素材コンテンツ#iの画像に映っているシーンの範囲内で、ズーム（ズームインとズームアウト）の操作を行うことができる。
【０１１４】
ここで、仮想的なカメラをパンする操作を、疑似パン操作ともいい、チルトする操作を、疑似チルト操作ともいう。また、仮想的なカメラのズームの操作を、疑似ズーム操作（疑似ズームイン操作、疑似ズームアウト操作）ともいう。
【０１１５】
図２のユーザI/F６０の編集操作としては、上述のような疑似パン操作、疑似チルト操作、及び疑似ズーム操作を行うことができるようになっている。
【０１１６】
ユーザI/F６０の編集操作として、疑似パン操作、疑似チルト操作、又は疑似ズーム操作が行われた場合等においては、制御データ生成部６１では、その編集操作に応じて、カメラ１１iからの素材コンテンツ#iの画像から、編集後コンテンツの画像として出力する領域を表す情報が、加工パラメータとして生成される。
【０１１７】
ここで、素材コンテンツ#iの画像から、編集後コンテンツの画像として出力する領域を、抽出ウインドウともいう。
【０１１８】
また、素材コンテンツ#iの画像を、素材画像#iともいい、編集後コンテンツの画像を、編集後画像ともいう。
【０１１９】
図３は、抽出ウインドウと素材画像#iを示している。
【０１２０】
例えば、いま、仮想カメラにおいて、素材画像#iのうちの、図３において、実線で囲む矩形の領域が撮影されていることとすると、抽出ウインドウは、その矩形の領域に一致する。
【０１２１】
その後、例えば、疑似ズームアウト操作が行われた場合には、仮想的なカメラで撮影される画像の画角は広くなり、抽出ウインドウは、図３においてR1で示すようにサイズの大きな領域になる。
【０１２２】
また、例えば、疑似ズームイン操作が行われた場合には、仮想的なカメラで撮影される画像の画角は狭くなり、抽出ウインドウは、図３においてR2で示すようにサイズの小さな領域になる。
【０１２３】
ここで、図２のズーム処理部７１iでは、カメラ１１iからの素材コンテンツ#iの画像から、抽出ウインドウ内の画像が抽出されるが、以下、素材コンテンツ#iの画像から抽出される、抽出ウインドウ内の画像を、抽出画像ともいう。
【０１２４】
抽出ウインドウのサイズは、上述したように、一定であるとは限らないため、抽出画像のサイズ（画素数）も、一定であるとは限らない。
【０１２５】
そして、サイズが一定でない抽出画像を、編集後コンテンツの画像としたのでは、編集後コンテンツの画像のサイズも一定ではなくなる。
【０１２６】
そこで、編集後コンテンツの画像のサイズを、所定の一定のサイズとするために、ズーム処理部７１iは、上述したように、カメラ１１iからの素材コンテンツ#iの画像から抽出した領域の画像のサイズを変更する加工を行い、これにより、カメラ１１iからの素材コンテンツ#iの画像から抽出した抽出画像を、所定の一定サイズ（例えば、編集後コンテンツの画像のサイズとして、あらかじめ決められたサイズ）の画像に変換する。
【０１２７】
ここで、あるサイズの画像を、他のサイズの画像に変換する変換処理としては、単純に、画素数を間引き、又は補間する処理があるが、その他、本件出願人が先に提案しているクラス分類適応処理がある。クラス分類適応処理については、後述する。
【０１２８】
図４を参照して、図２のズーム処理部７１iの処理について、さらに説明する。
【０１２９】
ユーザI/F６０（図２）の編集操作として、疑似パン操作又は疑似チルト操作が行われた場合、制御データ生成部６１では、図４Ａに示すように、カメラ１１iからの素材コンテンツ#iの画像上において、抽出ウインドウを、現在位置から、疑似パン操作又は疑似チルト操作に応じた移動量だけ水平方向又は垂直方向に移動した移動後の抽出ウインドウの位置と、抽出ウインドウの現在のサイズとを表す加工パラメータが生成される。
【０１３０】
さらに、この場合、ズーム処理部７１iでは、素材コンテンツ#iの画像から、移動後の抽出ウインドウ内の画像が、抽出画像として抽出され、その抽出画像が、所定の一定サイズの画像に変換される（拡大又は縮小される）。
【０１３１】
また、ユーザI/F６０の編集操作として、疑似ズームアウト操作が行われた場合、制御データ生成部６１では、図４Ｂに示すように、カメラ１１iからの素材コンテンツ#iの画像上において、抽出ウインドウを、現在のサイズから、疑似ズームアウト操作に応じた比率だけ大きくしたサイズに変更した変更後の抽出ウインドウのサイズと、抽出ウインドウの現在の位置とを表す加工パラメータが生成される。
【０１３２】
さらに、この場合、ズーム処理部７１iでは、素材コンテンツ#iの画像から、サイズの変更後の抽出ウインドウ内の画像が、抽出画像として抽出され、その抽出画像が、所定の一定サイズの画像に変換される。
【０１３３】
また、ユーザI/F６０の編集操作として、疑似ズームイン操作が行われた場合、制御データ生成部６１では、図４Ｃに示すように、カメラ１１iからの素材コンテンツ#iの画像上において、抽出ウインドウを、現在のサイズから、疑似ズームイン操作に応じた比率だけ小さくしたサイズに変更した変更後の抽出ウインドウのサイズと、抽出ウインドウの現在の位置とを表す加工パラメータが生成される。
【０１３４】
さらに、この場合、ズーム処理部７１iでは、素材コンテンツ#iの画像から、サイズの変更後の抽出ウインドウ内の画像が、抽出画像として抽出され、その抽出画像が、所定の一定サイズの画像に変換される。
【０１３５】
したがって、ズーム処理部７１iによれば、パンや、チルト、ズーム操作を行いながら、実際にカメラで撮影を行っているかのような抽出画像を得ることができる。
【０１３６】
なお、以上のように、疑似パン操作や、疑似チルト操作、疑似ズーム操作に応じて、抽出画像を得る方法については、例えば、特許第3968665号に記載されている。
【０１３７】
ここで、上述したように、ズーム処理部７１iは、カメラ１１iからの素材コンテンツ#iの画像から抽出した抽出画像のサイズを変更する変換処理を行うが、その変換処理には、クラス分類適応処理を利用することができる。
【０１３８】
クラス分類適応処理は、第１のデータを、第１のデータとは異なる第２のデータに変換（マッピング）する技術であり、第１のデータと所定のタップ係数（第１のデータを用いた演算に用いられる係数）とを用いた演算により求められる第２のデータの予測値の予測誤差を統計的に最小にするタップ係数を、複数のクラスのそれぞれごとに求めておき、そのタップ係数と、第１のデータとを用いた演算によって、第１のデータが、第２のデータに変換される（第２のデータの予測値が求められる）。
【０１３９】
第１のデータを第２のデータに変換するクラス分類適応処理は、その第１と第２のデータの定義によって様々な信号処理となる。
【０１４０】
すなわち、例えば、第１のデータを所定の画素数（サイズ）の画像データとするとともに、第２のデータを、第１のデータの画素数を多くまたは少なくした画像データとすれば、クラス分類適応処理は、画像のリサイズ（サイズの変更）を行うリサイズ処理となる。
【０１４１】
ズーム処理部７１iでは、リサイズ処理としてのクラス分類適応処理を行うことにより、抽出画像のサイズを変更する。
【０１４２】
なお、その他、例えば、第１のデータを低空間解像度の画像データとするとともに、第２のデータを高空間解像度の画像データとすれば、クラス分類適応処理は、空間解像度を向上させる空間解像度創造（向上）処理（画像を、その画像よりも空間解像度が高い画像に変換する変換処理）となる。
【０１４３】
また、例えば、第１のデータを低S/N(Siginal/Noise)の画像データとするとともに、第２のデータを高S/Nの画像データとすれば、クラス分類適応処理は、画像に含まれるノイズを除去するノイズ除去処理（画像を、その画像よりもノイズが少ない画像に変換する変換処理）となる。
【０１４４】
さらに、例えば、第１のデータを低時間解像度（低フレームレート）の画像データとするとともに、第２のデータを高時間解像度（高フレームレート）の画像データとすれば、クラス分類適応処理は、時間解像度を向上させる時間解像度創造（向上）処理（画像を、その画像よりも時間解像度が高い画像に変換する変換処理）となる。
【０１４５】
また、例えば、第１のデータをコントラストが低い画像データとするとともに、第２のデータをコントラストが高い画像データとすれば、クラス分類適応処理は、コントラストを向上させる処理（画像を、その画像よりもコントラストが高い画像に変換する変換処理）となる。
【０１４６】
さらに、例えば、第１のデータをエッジの強調の程度が低い画像データとするとともに、第２のデータをエッジが強調された画像データとすれば、クラス分類適応処理は、エッジを強調する処理（画像を、その画像よりもエッジが強調された画像に変換する変換処理）となる。
【０１４７】
また、例えば、第１のデータを低S/Nの音声データとするとともに、第２のデータを高S/Nの音声データとすれば、クラス分類適応処理は、音声に含まれるノイズを除去するノイズ除去処理（音声を、その音声よりもノイズが少ない音声に変換する変換処理）となる。
【０１４８】
したがって、クラス分類適応処理は、画質調整部７２iにおいて、ズーム処理部７１iからの素材コンテンツ#iの画像を、ノイズを低減した画像に変換する処理等の、画質を調整する加工にも利用することができる。
【０１４９】
クラス分類適応処理では、第２のデータを構成する複数のサンプルのうちの注目している注目サンプル（のサンプル値）を複数のクラスのうちのいずれかのクラスにクラス分類することにより得られるクラスのタップ係数と、注目サンプルに対して選択される第１のデータの複数のサンプル（のサンプル値）とを用いた演算により、注目サンプル（のサンプル値の予測値）が求められる。
【０１５０】
すなわち、図５は、クラス分類適応処理によって、第１のデータを第２のデータに変換する変換装置の構成例を示している。
【０１５１】
変換装置には、第１のデータが供給され、その第１のデータは、タップ選択部１０２及び１０３に供給される。
【０１５２】
注目サンプル選択部１０１は、第１のデータを変換して得ようとする第２のデータを構成するサンプルを、順次、注目サンプルとし、その注目サンプルを表す情報を、必要なブロックに供給する。
【０１５３】
タップ選択部１０２は、注目サンプル（のサンプル値）を予測するのに用いる第１のデータを構成するサンプル（のサンプル値）の幾つかを、予測タップとして選択する。
【０１５４】
具体的には、タップ選択部１０２は、注目サンプルの位置から空間的又は時間的に近い位置にある第１のデータの複数のサンプルを、予測タップとして選択する。
【０１５５】
例えば、第１及び第２のデータが、画像データである場合には、注目サンプルとしての画素から空間的又は時間的に近い位置にある第１のデータとしての画像データの複数の画素（の画素値）が、予測タップとして選択される。
【０１５６】
また、例えば、第１及び第２のデータが、音声データである場合には、注目サンプルから時間的に近い位置にある第１のデータとしての音声データの複数のサンプル（のサンプル値）が、予測タップとして選択される。
【０１５７】
タップ選択部１０３は、注目サンプルを、あらかじめ決められた複数のクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる第１のデータを構成するサンプルの複数を、クラスタップとして選択する。すなわち、タップ選択部１０３は、タップ選択部１０２が予測タップを選択するのと同様にして、クラスタップを選択する。
【０１５８】
なお、予測タップとクラスタップは、同一のタップ構造（注目サンプルを基準とする予測タップ（クラスタップ）としての複数のサンプルの位置関係）を有するものであっても良いし、異なるタップ構造を有するものであっても良い。
【０１５９】
タップ選択部１０２で得られた予測タップは、予測演算部１０６に供給され、タップ選択部１０３で得られたクラスタップは、クラス分類部１０４に供給される。
【０１６０】
クラス分類部１０４は、タップ選択部１０３からのクラスタップに基づき、注目サンプルをクラスタリングするクラス分類を行い、その結果得られる、注目サンプルのクラスに対応するクラスコードを、係数出力部１０５に供給する。
【０１６１】
なお、クラス分類部１０４では、例えば、クラスタップを構成する複数のサンプルのサンプル値のレベル分布を含む情報が、注目サンプルのクラス（クラスコード）とされる。
【０１６２】
すなわち、クラス分類部１０４では、例えば、クラスタップを構成するサンプルのサンプル値をシーケンシャルに並べた値が、注目サンプルのクラスとされる。
【０１６３】
この場合、クラスタップが、N個のサンプルのサンプル値で構成され、各サンプルのサンプル値に、Mビットが割り当てられているとすると、クラスの総数は、（２N）M通りとなる。
【０１６４】
クラスの総数は、例えば、以下のようにして、（２N）M通りよりも少なくすることができる。
【０１６５】
すなわち、クラスの総数を少なくする方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)を利用する方法等がある。
【０１６６】
ADRCを利用する方法では、クラスタップを構成するサンプル（のサンプル値）が、ADRC処理され、その結果得られるADRCコードが、注目サンプルのクラスに決定される。
【０１６７】
なお、KビットADRCにおいては、例えば、クラスタップを構成するサンプルのサンプル値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する各サンプルのサンプル値がK（＜M）ビットに再量子化される。すなわち、クラスタップを構成する各サンプルのサンプル値から、最小値MINが減算され、その減算値がDR/2Kで除算（再量子化）される。そして、以上のようにして得られる、クラスタップを構成する各サンプルのKビットのサンプル値を、所定の順番で並べたビット列が、ADRCコードとして出力される。したがって、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各サンプルのサンプル値は、最大値MAXと最小値MINとの平均値で除算され（小数点以下切り捨て）、これにより、各サンプルのサンプル値が１ビットとされる（２値化される）。そして、その１ビットのサンプル値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【０１６８】
ここで、クラスの総数を少なくする方法としては、その他、例えば、クラスタップを、そのクラスタップを構成する各サンプルのサンプル値をコンポーネントとするベクトルとみなし、そのベクトルをベクトル量子化して得られる量子化値（コードベクトルのコード）を、クラスとする方法等がある。
【０１６９】
係数出力部１０５は、後述する学習によって求められたクラスごとのタップ係数を記憶し、さらに、その記憶したタップ係数のうちの、クラス分類部１０４から供給されるクラスコードに対応するアドレスに記憶されているタップ係数（クラス分類部１０４から供給されるクラスコードが表すクラスのタップ係数）を出力する。このタップ係数は、予測演算部１０６に供給される。
【０１７０】
ここで、タップ係数とは、ディジタルフィルタにおける、いわゆるタップにおいて入力データと乗算される係数に相当する。
【０１７１】
予測演算部１０６は、タップ選択部１０２が出力する予測タップ（としての複数のサンプル値）と、係数出力部１０５が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目サンプルの真値の予測値を求める所定の予測演算を行う。これにより、予測演算部１０６は、注目サンプルのサンプル値（の予測値）、すなわち、第２のデータを構成するサンプルのサンプル値を求めて出力する。
【０１７２】
以上のように構成される変換装置では、注目サンプル選択部１０１は、変換装置に入力される第１のデータに対する第２のデータ（第１のデータを変換して得ようとする第２のデータ）を構成するサンプルのうちの、まだ、注目サンプルとされていないものの１つを、注目サンプルとして選択する。
【０１７３】
一方、タップ選択部１０２と１０３は、変換装置に入力される第１のデータから、注目サンプルについての予測タップとクラスタップとするサンプルを、それぞれ選択する。予測タップは、タップ選択部１０２から予測演算部１０６に供給され、クラスタップは、タップ選択部１０３からクラス分類部１０４に供給される。
【０１７４】
クラス分類部１０４は、タップ選択部１０３から、注目サンプルについてのクラスタップを受信し、そのクラスタップに基づき、注目サンプルをクラス分類する。さらに、クラス分類部１０４は、そのクラス分類の結果得られる注目サンプルのクラスを表すクラスコードを、係数出力部１０５に供給する。
【０１７５】
係数出力部１０５は、クラス分類部１０４から供給されるクラスコードに対応するアドレスに記憶されているタップ係数を取得し、予測演算部１０６に供給する。
【０１７６】
予測演算部１０６は、タップ選択部１０２から供給される予測タップと、係数出力部１０５からのタップ係数とを用いて、所定の予測演算を行う。これにより、予測演算部１０６は、注目サンプルのサンプル値を求めて出力する。
【０１７７】
以下、注目サンプル選択部１０１において、変換装置に入力される第１のデータに対する第２のデータを構成するサンプルのうちの、まだ、注目サンプルとされていないものの１つが、新たに注目サンプルとして選択され、同様の処理が繰り返される。
【０１７８】
次に、図５の予測演算部１０６における予測演算と、係数出力部１０５に記憶されるタップ係数の学習について説明する。
【０１７９】
なお、ここでは、第１及び第２のデータとして、例えば、画像データを採用することとする。
【０１８０】
いま、例えば、画素数の多い高画質の画像データ（高画質画像データ）を第２のデータとするとともに、その高画質画像データの画素数を少なくした低画質の画像データ（低画質画像データ）を第１のデータとして、第１のデータとしての低画質画像データから予測タップを選択し、その予測タップとタップ係数を用いて、第２のデータとしての高画質画像データの画素（高画質画素）の画素値を、所定の予測演算によって求める（予測する）ことを考える。
【０１８１】
所定の予測演算として、例えば、線形１次予測演算を採用することとすると、高画質画素の画素値ｙは、次の線形１次式によって求められる。
【０１８２】
【数１】
【０１８３】
但し、式（１）において、ｘnは、高画質画素ｙについての予測タップを構成する、ｎ番目の低画質画像データの画素（以下、適宜、低画質画素という）の画素値を表し、ｗnは、ｎ番目の低画質画素（の画素値）と乗算されるｎ番目のタップ係数を表す。なお、式（１）では、予測タップが、Ｎ個の低画質画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【０１８４】
ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０１８５】
いま、第ｋ画素の高画質画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、次式で表される。
【０１８６】
【数２】
【０１８７】
いま、式（２）の予測値ｙk’は、式（１）にしたがって求められるため、式（２）のｙk’を、式（１）にしたがって置き換えると、次式が得られる。
【０１８８】
【数３】
【０１８９】
但し、式（３）において、ｘn,kは、第ｋ画素の高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。
【０１９０】
式（３）（又は式（２））の予測誤差ｅkを０とするタップ係数ｗnが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのようなタップ係数ｗnを求めることは、一般には困難である。
【０１９１】
そこで、タップ係数ｗnが最適なものであることを表す規範（尺度）として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０１９２】
【数４】
【０１９３】
但し、式（４）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットの画素数（学習用の画素の数）を表す。
【０１９４】
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅをタップ係数ｗnで偏微分したものを０とするｗnによって与えられる。
【０１９５】
【数５】
【０１９６】
そこで、上述の式（３）をタップ係数ｗnで偏微分すると、次式が得られる。
【０１９７】
【数６】
【０１９８】
式（５）と（６）から、次式が得られる。
【０１９９】
【数７】
【０２００】
式（７）のｅkに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
【０２０１】
【数８】
【０２０２】
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数ｗnについて解くことができる。
【０２０３】
式（８）の正規方程式を、クラスごとにたてて解くことにより、最適なタップ係数（ここでは、自乗誤差の総和Ｅを最小にするタップ係数）ｗnを、クラスごとに求めることができる。
【０２０４】
タップ係数の学習は、第１のデータに相当する生徒データ（上述の場合には、低画質画像データ）と、第２のデータに相当する教師データ（上述の場合には、高画質画像データ）とを多数用意して、その生徒データ及び教師データを用いて行われる。
【０２０５】
すなわち、タップ係数の学習では、教師データのサンプルが、順次、注目サンプルとされ、その注目サンプルについて、生徒データから、予測タップとなる複数のサンプルと、クラスタップとなる複数のサンプルとが選択される。
【０２０６】
さらに、注目サンプルのクラス分類が、クラスタップを用いて行われ、そのクラスごとに、注目サンプル(ｙk)と、予測タップ(ｘ1,k，ｘ2,k，・・・，ｘN,k)とを用いて、式（８）の正規方程式がたてられる。
【０２０７】
そして、クラスごとの式（８）の正規方程式を解くことで、クラスごとのタップ係数が求められる。
【０２０８】
図５の係数出力部１０５には、以上のようなタップ係数の学習により求められるクラスごとのタップ係数が記憶されている。
【０２０９】
ここで、第１のデータに相当する生徒データと、第２のデータに相当する教師データとの選択の仕方によって、タップ係数としては、上述したように、各種の信号処理を行うものを得ることができる。
【０２１０】
すなわち、上述のように、高画質画像データを、第２のデータに相当する教師データとするとともに、その高画質画像データの画素数を少なくした低画質画像データを、第１のデータに相当する生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、低画質画像データである第１のデータを、その画素数を向上させた（サイズを大にした）高画質画像データである第２のデータに変換するリサイズ処理を行うものを得ることができる。
【０２１１】
また、例えば、高画質画像データを教師データとするとともに、その教師データとしての高画質画像データに対して、ノイズを重畳した画像データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、低S/Nの画像データである第１のデータを、そこに含まれるノイズを除去（低減）した高S/Nの画像データである第２のデータに変換するノイズ除去処理を行うものを得ることができる。
【０２１２】
さらに、例えば、サンプリングレートが高い音声データを教師データとするとともに、その教師データのサンプルを間引いた、サンプリングレートが低い音声データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、低サンプリングレートの音声データである第１のデータを、高サンプリングレートの音声データである第２のデータに変換する時間解像度創造処理を行うものを得ることができる。
【０２１３】
次に、図６及び図７を参照して、図２の設定部２１、及び編集部２２の処理について説明する。
【０２１４】
図６は、いわゆるライブ放送（生放送）が行われる場合の、設定部２１、及び編集部２２の処理を説明するフローチャートである。
【０２１５】
ズーム処理部７１iは、カメラ１１iから編集部２２に、素材コンテンツ#iの、例えば、１フレームの画像が供給されるのを待って、ステップＳ１１において、その１フレームの画像を受信することにより取得し、処理は、ステップＳ１２に進む。
【０２１６】
ステップＳ１２では、制御データ生成部６１が、ユーザI/F６０からの操作信号に応じて、素材コンテンツ#1と#2のそれぞれに対する加工パラメータや、タイミングパラメータを生成し、制御部６２に供給する。
【０２１７】
さらに、ステップＳ１２では、制御部６２が、例えば、制御データ生成部６１からの加工パラメータやタイミングパラメータを、入力制御部６３1及び６３2や、スイッチャ制御部６４、特殊効果制御部６５のうちの必要なブロックに設定し、処理は、ステップＳ１３に進む。
【０２１８】
ステップＳ１３では、編集部２２を構成するズーム処理部７１1及び７１2、画質調整部７２1及び７２2、入力選択部７３、並びに、特殊効果発生部７４が、制御データ生成部６１で生成された加工パラメータやタイミングパラメータに従い、ステップＳ１１で取得された画像に対して、画像の加工を含む編集処理を行う。
【０２１９】
すなわち、入力制御部６３iは、制御部６２から加工パラメータが設定された場合、その加工パラメータに従い、ズーム処理部７１i及び画質調整部７２iを制御する。
【０２２０】
また、スイッチャ制御部６４は、制御部６２からタイミングパラメータが設定された場合、その加工パラメータに従い、入力選択部７３を制御する。
【０２２１】
さらに、特殊効果制御部６５は、制御部６２から加工パラメータが設定された場合、その加工パラメータに従い、特殊効果発生部７４を制御する。
【０２２２】
ズーム処理部７１iは、入力制御部６３iの制御に従い、カメラ１１iからの素材コンテンツ#iの画像から、編集後コンテンツの画像として出力する抽出画像を抽出し、さらに、必要に応じて、その抽出画像を、編集後コンテンツの画像と一致するサイズの画像に変換して、画質調整部７２iに供給する。
【０２２３】
画質調整部７２iは、入力制御部６３iの制御に従い、ズーム処理部７１iからの素材コンテンツ#iの画像（抽出画像）の画質を調整し、入力選択部７３に供給する。
【０２２４】
入力選択部７３は、スイッチャ制御部６４の制御に従い、画質調整部７２1からの素材コンテンツ#1の画像、及び、画質調整部７２2からの素材コンテンツ#2の画像の中から、編集後コンテンツの画像として出力する画像を選択し、特殊効果発生部７４に供給する。
【０２２５】
特殊効果発生部７４は、特殊効果制御部６５の制御に従い、入力選択部７３から供給される１以上の画像に特殊効果を付し、その結果得られる画像を、編集後コンテンツ（標準コンテンツ）の画像として、モニタ２３に出力する。
【０２２６】
なお、ズーム処理部７１iや画質調整部７２iにおいて、上述のクラス分類適応処理を利用した各種の変換処理が行われる場合には、その各種の変換処理を行うのに用いられるタップ係数が、ズーム処理部７１iや画質調整部７２iに記憶される。そして、ズーム処理部７１iや画質調整部７２iが用いるべきタップ係数は、加工パラメータによって指定される。
【０２２７】
ステップＳ１３では、以上のような編集処理が行われるとともに、同期データが生成される。
【０２２８】
すなわち、カメラ１１iから編集部２２に供給される素材コンテンツ#iの１フレームの画像は、同期データ生成部６６にも供給される。
【０２２９】
同期データ生成部６６は、そこに供給される素材コンテンツ#iの１フレームの画像の同期データを生成し、制御データ記録部６７に供給して、処理は、ステップＳ１３からステップＳ１４に進む。
【０２３０】
ここで、コンテンツ制作者が、ユーザI/F６０の編集操作を行わなかった場合には、制御データ生成部６１は、その旨の加工パラメータ及びタイミングパラメータを生成するか、又は、加工パラメータ及びタイミングパラメータを生成しない。
【０２３１】
さらに、コンテンツ制作者が、ユーザI/F６０の編集操作を行わなかった場合には、編集部２２では、編集処理として、例えば、直前のフレームに対する処理と同様の処理が行われる。
【０２３２】
ステップＳ１４では、モニタ２３が、特殊効果発生部７４が出力する編集後コンテンツ（標準コンテンツ）の画像を表示し、処理は、ステップＳ１５に進む。
【０２３３】
以上のように、モニタ２３において、編集後コンテンツの画像が表示されることで、コンテンツ制作者は、編集後コンテンツの画像を確認することができる。
【０２３４】
ステップＳ１５では、制御データ生成部６１が、ステップＳ１２で生成した加工パラメータ（素材コンテンツ#1と#2のそれぞれに対する加工パラメータ）と、タイミングパラメータとを含む制御データ（標準制御データ）を生成し、制御データ記録部６７に供給して、処理は、ステップＳ１６に進む。
【０２３５】
ステップＳ１６では、制御データ記録部６７が、制御データ生成部６１から供給される制御データに、同期データ生成部６６から供給される同期データを対応付けて記録（記憶）し、さらに、その同期データと対応付けられた制御データ（標準制御データ）を、送信部２４3（図１）に出力して、処理は、ステップＳ１７に進む。
【０２３６】
ステップＳ１７では、ズーム処理部７１iが、カメラ１１iからの素材コンテンツ#iの画像が終了したかどうかを判定する。
【０２３７】
ステップＳ１７において、カメラ１１iからの素材コンテンツ#iの画像が終了していないと判定された場合、すなわち、カメラ１１iから編集部２２に対して、素材コンテンツ#iの、次の１フレームの画像が供給された場合、処理は、ステップＳ１１に戻り、以下、同様の処理が繰り返される。
【０２３８】
また、ステップＳ１７において、カメラ１１iからの素材コンテンツ#iの画像が終了したと判定された場合、すなわち、カメラ１１iから編集部２２に対して、素材コンテンツ#iの、次の１フレームの画像が供給されてこない場合、処理は終了する。
【０２３９】
なお、ライブ放送においては、カメラ１１iが出力する素材コンテンツ#iの画像は、送信部２４iによって、即座に送信され、制御データ記録部６７が出力する制御データは、送信部２４3によって、即座に送信される。
【０２４０】
図７は、いわゆる録画放送が行われる場合の、設定部２１、及び編集部２２の処理を説明するフローチャートである。
【０２４１】
ステップＳ３１ないしＳ３４では、図６のステップＳ１１ないしＳ１４とそれぞれ同様の処理が行われ、これにより、ステップＳ３４において、特殊効果発生部７４が出力する編集後コンテンツ（標準コンテンツ）の画像が、モニタ２３に表示される。
【０２４２】
そして、処理は、ステップＳ３４からステップＳ３５に進み、制御部６２は、ステップＳ３１で取得されたカメラ１１iからの素材コンテンツ#iの１フレームの画像に対する編集処理を終了するかどうかを判定する。
【０２４３】
ステップＳ３５において、素材コンテンツ#iの１フレームの画像に対する編集処理を終了しないと判定された場合、すなわち、ステップＳ３４でモニタ２３に表示された編集後コンテンツの画像を見たコンテンツ制作者が、その編集後コンテンツの画像に満足せず、別の編集処理を行うように、ユーザI/F６０の編集操作を新たに行った場合、処理は、ステップＳ３２に戻り、制御データ生成部６１は、コンテンツ制作者の新たな編集操作に対応してユーザI/F６０から供給される操作信号に応じ、加工パラメータや、タイミングパラメータを生成し、以下、同様の処理が繰り返される。
【０２４４】
また、ステップＳ３５において、素材コンテンツ#iの１フレームの画像に対する編集処理を終了すると判定された場合、すなわち、ステップＳ３４でモニタ２３に表示された編集後コンテンツの画像を見たコンテンツ制作者が、その編集後コンテンツの画像に満足して、例えば、編集処理を終了するように、又は、次の１フレームの画像の編集処理を行うように、ユーザI/F６０の操作を行った場合、処理は、ステップＳ３６に進む。
【０２４５】
ステップＳ３６では、制御データ生成部６１が、ステップＳ３２で生成した加工パラメータ（素材コンテンツ#1と#2のそれぞれに対する加工パラメータ）と、タイミングパラメータとを含む制御データ（標準制御データ）を生成し、制御データ記録部６７に供給する。さらに、ステップＳ３６では、制御データ記録部６７が、制御データ生成部６１から供給される制御データに、同期データ生成部６６から供給される同期データを対応付けて記録し、処理は、ステップＳ３７に進む。
【０２４６】
ステップＳ３７では、ズーム処理部７１iが、カメラ１１iからの素材コンテンツ#iの画像が終了したかどうかを判定する。
【０２４７】
ステップＳ３７において、カメラ１１iからの素材コンテンツ#iの画像が終了していないと判定された場合、すなわち、カメラ１１iから編集部２２に対して、素材コンテンツ#iの、次の１フレームの画像が供給された場合、処理は、ステップＳ３１に戻り、以下、同様の処理が繰り返される。
【０２４８】
また、ステップＳ３７において、カメラ１１iからの素材コンテンツ#iの画像が終了したと判定された場合、すなわち、カメラ１１iから編集部２２に対して、素材コンテンツ#iの、次の１フレームの画像が供給されてこない場合、処理は、ステップＳ３８に進む。
【０２４９】
ステップＳ３８では、制御データ記録部６７が、同期データを対応付けて記録した制御データ（標準制御データ）を、送信部２４3（図１）に出力して、処理は終了する。
【０２５０】
なお、録画放送においては、その放送時刻となると、カメラ１１iが出力した素材コンテンツ#iの画像が、送信部２４iによって送信されるとともに、制御データ記録部６７が出力した制御データが、送信部２４3によって送信される。
【０２５１】
次に、図８は、図１の再生部５２の構成例を示している。
【０２５２】
図８において、再生部５２は、設定部１２１、及び、編集部１２２等から構成される。
【０２５３】
設定部１２１は、制御データ入力I/F１５１、ネットワークI/F１５２、外部メディアI/F１５３、選択部１５４、制御データ生成部１６１、制御部１６２、入力制御部１６３1及び１６３2、スイッチャ制御部１６４、特殊効果制御部１６５、同期データ生成部１６６、並びに、制御データ記録部１６７等から構成され、制御データを受信し、その制御データに従い、編集部１２２を制御する。
【０２５４】
また、設定部１２１は、受信側装置２（図１）のユーザ（エンドユーザ）による、編集を指示するユーザI/F４３の編集操作に応じて、新たな加工パラメータ、及び、新たなタイミングパラメータを生成し、その新たな加工パラメータ、及び、新たなタイミングパラメータに従い、編集部１２２を制御する。
【０２５５】
すなわち、制御データ入力I/F１５１には、受信部５１3（図１）から再生部５２に供給される制御データ（標準制御データ）が供給される。制御データ入力I/F１５１は、受信部５１3からの制御データを受信し、選択部１５４に供給する。
【０２５６】
ネットワークI/F１５２は、ネットワーク上のサーバから、制御データをダウンロードして受信し、選択部１５４に供給する。
【０２５７】
外部メディアI/F１５３には、外部メディア４４（図１）が装着される。外部メディアI/F１５３は、そこに装着された外部メディア４４から制御データを読み出して受信し、選択部１５４に供給する。
【０２５８】
ここで、放送装置１２で生成された制御データは、上述したように、放送装置１２から送信する他、ネットワーク上のサーバにアップロードすることや、外部メディア４４に記録して配布することができる。
【０２５９】
また、受信側装置２のユーザや、他のユーザが編集操作を行うことにより生成される制御データも、同様に、ネットワーク上のサーバにアップロードすることや、外部メディア４４に記録することができる。
【０２６０】
さらに、制御データ入力I/F１５１やネットワークI/F１５２が受信した制御データは、外部メディア４４に記録することができる。
【０２６１】
ネットワークI/F１５２によれば、上述のように、ネットワーク上のサーバにアップロードされた制御データをダウンロードすることができる。
【０２６２】
また、外部メディアI/F１５３によれば、上述のように、外部メディア４４に記録された制御データを読み出すことができる。
【０２６３】
選択部１５４には、上述したように、制御データ入力I/F１５１、ネットワークI/F１５２、及び外部メディアI/F１５３のそれぞれから制御データが供給される他、ユーザI/F４３から、ユーザの操作に応じた操作信号が供給される。
【０２６４】
選択部１５４は、ユーザI/F４３からの操作信号等に従い、制御データ入力I/F１５１、ネットワークI/F１５２、及び外部メディアI/F１５３のうちのいずれかからの制御データを選択し、制御データ生成部１６１に供給する。
【０２６５】
また、選択部１５４は、ユーザI/F４３から、編集操作に対応する操作信号（以下、編集操作信号ともいう）が供給された場合、その編集操作信号を優先的に選択して、制御データ生成部１６１に供給する。
【０２６６】
制御データ生成部１６１には、選択部１５４から制御データや操作信号が供給される他、同期データ生成部１６６から同期データが供給される。
【０２６７】
ここで、選択部１５４から制御データ生成部１６１に供給される制御データには、例えば、放送装置１２において、上述したように、同期データが対応付けられている。この制御データに対応付けられている同期データを、制御同期データともいう。
【０２６８】
また、同期データ生成部１６６から制御データ生成部１６１に供給される同期データを、生成同期データともいう。
【０２６９】
制御データ生成部１６１は、選択部１５４から制御データが供給される場合には、その選択部１５４からの制御データを、制御データ記録部１６７に供給する。
【０２７０】
さらに、制御データ生成部１６１は、選択部１５４からの制御データの中から、同期データ生成部１６６からの生成同期データに一致する制御同期データに対応付けられた制御データを検出し、その制御データに含まれる加工パラメータ、及びタイミングパラメータを、制御部１６２に供給する。
【０２７１】
また、制御データ生成部１６１は、選択部１５４から操作信号（編集操作信号）が供給される場合には、図２の制御データ生成部６１と同様に、選択部１５４からの操作信号に応じて、素材コンテンツ#1と#2のそれぞれに対する新たな加工パラメータを生成するとともに、新たなタイミングパラメータを生成する。さらに、制御データ生成部１６１は、その新たな加工パラメータ、及び新たなタイミングパラメータを含む新たな制御データを生成する。
【０２７２】
そして、制御データ生成部１６１は、新たな加工パラメータ及び新たなタイミングパラメータを、制御部１６２に供給するとともに、新たな制御データを、制御データ記録部１６７に供給する。
【０２７３】
ここで、制御データ生成部１６１が、選択部１５４からの操作信号に応じて生成する新たな制御データ、並びに、その新たな制御データに含まれる新たな加工パラメータ、及び新たなタイミングパラメータに対して、選択部１５４から制御データ生成部１６１に供給される制御データ、並びに、その制御データに含まれる加工パラメータ、及びタイミングパラメータを、それぞれ、既生成制御データ、並びに、既生成加工パラメータ、及び既生成タイミングパラメータともいう。
【０２７４】
制御部１６２は、図２の制御部６２と同様に、設定部１２１を構成する各部を制御する。
【０２７５】
すなわち、制御部１６２は、例えば、制御データ生成部１６１からの加工パラメータやタイミングパラメータに従い、入力制御部１６３1及び１６３2や、スイッチャ制御部１６４、特殊効果制御部１６５を制御する。
【０２７６】
また、制御部１６２は、例えば、制御データ生成部１６１を制御する。
【０２７７】
入力制御部１６３1は、図２の入力制御部６３1と同様に、制御部１６２の制御に従い、編集部１２２を構成するズーム処理部１７１1及び画質調整部１７２1を制御する。
【０２７８】
入力制御部１６３2は、図２の入力制御部６３2と同様に、制御部１６２の制御に従い、編集部１２２を構成するズーム処理部１７１2及び画質調整部１７２2を制御する。
【０２７９】
スイッチャ制御部１６４は、図２のスイッチャ制御部６４と同様に、制御部１６２の制御に従い、編集部１２２を構成する入力選択部１７３を制御する。
【０２８０】
特殊効果制御部１６５は、図２の特殊効果制御部６５と同様に、制御部１６２の制御に従い、編集部１２２を構成する特殊効果発生部１７４を制御する。
【０２８１】
同期データ生成部１６６は、図２の同期データ生成部６６と同様に、同期データを生成し、制御データ生成部１６１、及び、制御データ記録部１６７に供給する。
【０２８２】
すなわち、同期データ生成部１６６には、受信部５１1（図１）から再生部５２に供給される素材コンテンツ#1の画像と、受信部５１2から再生部５２に供給される素材コンテンツ#2の画像とが、編集部１２２を構成するコンテンツI/F１７０から供給されるようになっている。
【０２８３】
同期データ生成部１６６は、素材コンテンツ#1の画像の各フレーム（又はフィールド）を識別する情報を、同期データとして生成し、フレームごとの同期データを、制御データ記録部１６７に供給する。
【０２８４】
さらに、同期データ生成部１６６は、素材コンテンツ#2の画像についても、同期データを生成し、制御データ記録部１６７に供給する。
【０２８５】
制御データ記録部１６７は、制御データ生成部１６１から供給される制御データに、同期データ生成部１６６から供給される同期データを対応付けて記録（記憶）する。
【０２８６】
すなわち、制御データ記録部１６７は、制御データ生成部１６１から、新たな制御データが供給される場合には、図２の制御データ記録部６７と同様に、新たな制御データに、同期データ生成部１６６からの同期データを対応付けて、内蔵する記録媒体（図示せず）や、外部メディア４４等に記録する。
【０２８７】
なお、制御データ記録部１６７は、制御データ生成部１６１から、既生成制御データが供給される場合には、既生成制御データには、既に、同期データが対応付けられているため、その同期データと対応付けられている既生成制御データを記録する。
【０２８８】
編集部１２２は、コンテンツI/F１７０、ズーム処理部１７１1及び１７１2、画質調整部１７２1及び１７２2、入力選択部１７３、並びに、特殊効果発生部１７４等から構成される。
【０２８９】
編集部１２２は、受信部５１1から再生部５２に供給される素材コンテンツ#1の画像、及び、受信部５１2から再生部５２に供給される素材コンテンツ#2の画像を受信し、設定部１２１で受信された制御データに含まれる加工パラメータ、及びタイミングパラメータ等に従い、素材コンテンツ#1及び#2を編集し、編集後コンテンツの画像を生成して、モニタ４２に出力する。
【０２９０】
すなわち、コンテンツI/F１７０は、受信部５１1から再生部５２に供給される素材コンテンツ#1の画像、及び、受信部５１2から再生部５２に供給される素材コンテンツ#2の画像を受信し、素材コンテンツ#1を、ズーム処理部１７１1に供給するとともに、素材コンテンツ#2を、ズーム処理部１７１2に供給する。
【０２９１】
また、コンテンツI/F１７０は、素材コンテンツ#1及び#2を、同期データ生成部１６６に供給する。
【０２９２】
ズーム処理部１７１iは、図２のズーム処理部７１iと同様に、入力制御部１６３iの制御に従い、コンテンツI/F１７０からの素材コンテンツ#iの画像から、編集後コンテンツの画像として出力する抽出画像を抽出する加工を行う。
【０２９３】
さらに、ズーム処理部１７１iは、図２のズーム処理部７１iと同様に、抽出画像のサイズを変更する加工（リサイズ）を、必要に応じて行い、これにより、抽出画像を、編集後コンテンツの画像と一致するサイズの画像に変換して、画質調整部１７２iに供給する。
【０２９４】
画質調整部１７２iは、図２の画質調整部７２iと同様に、入力制御部１６３iの制御に従い、ズーム処理部１７１iからの素材コンテンツ#iの画像（抽出画像）の画質を調整する加工を行い、その結果得られる素材コンテンツ#iの画像を、入力選択部１７３に供給する。
【０２９５】
なお、ズーム処理部１７１i、及び、画質調整部１７２iでの、素材コンテンツ#iの画像に対する加工の内容は、図２の場合と同様に、制御データ生成部１６１から制御部１６２に供給される、素材コンテンツ#iに対する加工パラメータによって決まる。
【０２９６】
入力選択部１７３は、図２の入力選択部７３と同様に、スイッチャ制御部１６４の制御に従い、画質調整部１７２1からの素材コンテンツ#1の画像、及び、画質調整部１７２2からの素材コンテンツ#2の画像の中から、編集後コンテンツの画像として出力する画像を選択し、特殊効果発生部１７４に供給する。
【０２９７】
ここで、入力選択部１７３で選択される画像は、図２の場合と同様に、制御データ生成部１６１から制御部１６２に供給されるタイミングパラメータによって決まる。
【０２９８】
特殊効果発生部１７４は、図２の特殊効果発生部７４と同様に、特殊効果制御部１６５の制御に従い、入力選択部１７３から供給される１以上の画像に特殊効果を付す加工を行い、その結果得られる画像を、編集後コンテンツの画像として出力する。
【０２９９】
ここで、特殊効果発生部１７４での加工の内容、つまり、画像に付す特殊効果の内容は、図２の場合と同様に、制御データ生成部１６１から制御部１６２に供給される、素材コンテンツ#iに対する加工パラメータによって決まる。
【０３００】
特殊効果発生部１７４が出力する編集後コンテンツの画像は、モニタ４２に供給されて表示される。
【０３０１】
ここで、以上のように構成される編集部１２２では、設定部１２１で受信された既生成制御データに含まれる既生成加工パラメータ、及び既生成タイミングパラメータに従い、素材コンテンツ#1及び#2の編集が行われる他、ユーザによる、ユーザI/F４３の編集操作にも従い、素材コンテンツ#1及び#2の編集が行われる。
【０３０２】
すなわち、上述したように、設定部１２１において、選択部１５４は、ユーザI/F４３から、編集操作に対応する編集操作信号が供給された場合には、その編集操作信号を優先的に選択して、制御データ生成部１６１に供給する。
【０３０３】
制御データ生成部１６１は、選択部１５４から編集操作信号が供給される場合には、その編集操作信号に応じて、新たな加工パラメータや新たなタイミングパラメータを生成し、制御部１６２に供給する。
【０３０４】
この場合、制御部１６２は、制御データ生成部１６１からの新たな加工パラメータや新たなタイミングパラメータに従い、入力制御部１６３1及び１６３2や、スイッチャ制御部１６４、特殊効果制御部１６５を制御し、編集部１２２では、その制御に従って、素材コンテンツ#1及び#2の編集が行われる。
【０３０５】
したがって、編集部１２２では、ユーザI/F４３の編集操作がされた場合には、既生成制御データに含まれる既生成加工パラメータ、及び既生成タイミングパラメータに代えて、編集操作に応じて生成される新たな加工パラメータ、及び、新たなタイミングパラメータに従い、編集が行われる。
【０３０６】
次に、図９を参照して、図８の再生部５２の処理について説明する。
【０３０７】
なお、放送装置１２（図１）では、標準制御データを、素材コンテンツ#1及び#2とともに送信するのではなく、例えば、ネットワーク上のサーバにアップロードし、再生部５２では、ネットワークI/F１５２によって、ネットワーク上のサーバから、標準制御データをダウンロードすることによって受信することができるが、ここでは、標準制御データは、素材コンテンツ#1及び#2とともに、放送装置１２から送信されてくることとする。
【０３０８】
放送装置１２から送信されてくる素材コンテンツ#1及び#2、並びに制御データ（標準制御データ）は、受信装置４１で受信される。
【０３０９】
すなわち、受信部５１1は、素材コンテンツ#1を受信し、再生部５２に供給する。受信部５１2は、素材コンテンツ#2を受信し、再生部５２に供給する。また、受信部５１3は、標準制御データを受信し、再生部５２に供給する。
【０３１０】
再生部５２では、ステップＳ５１において、コンテンツI/F１７０が、受信部５１iから素材コンテンツ#i(i＝1,2)の１フレームの画像が供給されるのを待って、その素材コンテンツ#iの１フレームの画像を受信することにより取得し、ズーム処理部１７１iと同期データ生成部１６６に供給する。
【０３１１】
また、再生部５２では、制御データ入力I/F１５１が、受信部５１3から供給される制御データを受信することにより取得し、選択部１５４に供給する。
【０３１２】
その他、ネットワークI/F１５２や外部メディアI/F１５３も、可能であれば、制御データを受信し、選択部１５４に供給する。
【０３１３】
その後、処理は、ステップＳ５１からステップＳ５２に進み、同期データ生成部６６は、コンテンツI/F１７０から供給される素材コンテンツ#iの１フレームの画像の同期データ（生成同期データ）を生成し、制御データ生成部１６１、及び、制御データ記録部１６７に供給して、処理は、ステップＳ５３に進む。
【０３１４】
ステップＳ５３では、選択部１５４が、ユーザI/F４３の直前の操作が、編集操作であるかどうかを判定する。
【０３１５】
ステップＳ５３において、ユーザI/F４３の直前の操作が、編集操作であると判定された場合、すなわち、ユーザI/F４３から選択部１５４に直前に供給された操作信号が、編集操作信号である場合、処理は、ステップＳ５４に進み、選択部１５４は、ユーザI/F４３からの直前の編集操作信号を選択し、制御データ生成部１６１に供給して、処理は、ステップＳ５５に進む。
【０３１６】
ステップＳ５５では、制御データ生成部１６１が、ユーザI/F４３からの編集操作信号に応じて、素材コンテンツ#1と#2のそれぞれに対する新たな加工パラメータや、新たなタイミングパラメータを生成し、制御部１６２に供給する。
【０３１７】
制御部１６２は、例えば、制御データ生成部１６１からの新たな加工パラメータや新たなタイミングパラメータを、入力制御部１６３1及び１６３2や、スイッチャ制御部１６４、特殊効果制御部１６５のうちの必要なブロックに設定する。
【０３１８】
さらに、ステップＳ５５では、制御データ生成部１６１は、新たな加工パラメータと新たなタイミングパラメータを含む新たな制御データを生成し、制御データ記録部１６７に供給して、処理は、ステップＳ６１に進む。
【０３１９】
ステップＳ６１では、編集部１２２を構成するズーム処理部１７１1及び１７１2、画質調整部１７２1及び１７２2、入力選択部１７３、並びに、特殊効果発生部１７４が、制御データ生成部１６１で生成された新たな加工パラメータや新たなタイミングパラメータに従い、ステップＳ５１で取得された画像に対して、図６のステップＳ１３の場合と同様の、画像の加工を含む編集処理を行う。
【０３２０】
すなわち、入力制御部１６３iは、制御部１６２から新たな加工パラメータが設定された場合、その新たな加工パラメータに従い、ズーム処理部１７１i及び画質調整部１７２iを制御する。
【０３２１】
また、スイッチャ制御部１６４は、制御部１６２から新たなタイミングパラメータが設定された場合、その新たなタイミングパラメータに従い、入力選択部１７３を制御する。
【０３２２】
さらに、特殊効果制御部１６５は、制御部１６２から新たな加工パラメータが設定された場合、その新たな加工パラメータに従い、特殊効果発生部１７４を制御する。
【０３２３】
ズーム処理部１７１iは、入力制御部１６３iの制御に従い、コンテンツI/F１７０からの素材コンテンツ#iの画像から、編集後コンテンツの画像として出力する抽出画像を抽出し、さらに、必要に応じて、その抽出画像を、編集後コンテンツの画像と一致するサイズの画像に変換して、画質調整部１７２iに供給する。
【０３２４】
画質調整部１７２iは、入力制御部１６３iの制御に従い、ズーム処理部１７１iからの素材コンテンツ#iの画像（抽出画像）の画質を調整し、入力選択部１７３に供給する。
【０３２５】
入力選択部１７３は、スイッチャ制御部１６４の制御に従い、画質調整部１７２1からの素材コンテンツ#1の画像、及び、画質調整部１７２2からの素材コンテンツ#2の画像の中から、編集後コンテンツの画像として出力する画像を選択し、特殊効果発生部１７４に供給する。
【０３２６】
特殊効果発生部１７４は、特殊効果制御部１６５の制御に従い、入力選択部１７３から供給される１以上の画像に特殊効果を付し、その結果得られる画像を、編集後コンテンツの画像として、モニタ４２に出力する。
【０３２７】
なお、ズーム処理部１７１iや画質調整部１７２iにおいて、上述のクラス分類適応処理を利用した各種の変換処理が行われる場合には、その各種の変換処理を行うのに用いられるタップ係数が、ズーム処理部１７１iや画質調整部１７２iに記憶される。そして、ズーム処理部１７１iや画質調整部１７２iが用いるべきタップ係数は、加工パラメータによって指定される。
【０３２８】
その後、処理は、ステップＳ６１からステップＳ６２に進み、モニタ４２において、特殊効果発生部１７４が出力する編集後コンテンツの画像（編集後画像）が表示され、処理は、ステップＳ６３に進む。
【０３２９】
以上のように、ユーザI/F４３の編集操作が行われた場合には、その編集操作に応じて、素材コンテンツ#1及び#2の画像の編集が行われ、その結果得られる編集後コンテンツの画像が、モニタ４２に表示される。
【０３３０】
したがって、ユーザは、放送装置１２での編集の結果得られる標準コンテンツの画像ではなく、素材コンテンツ#1及び#2を対象とした自由度の高い編集をすることができるので、編集の自由度を向上させ、ユーザにとって適切なコンテンツを提供することができる。
【０３３１】
また、加工パラメータは、ユーザI/F４３の編集操作に応じて、素材コンテンツごとに生成されるので、編集後コンテンツの素材となる関係にある複数の素材コンテンツ（ここでは、素材コンテンツ#1及び#2）のそれぞれについて、画質の調整等の自由度が高くなり、最適な調整を行うことができる。
【０３３２】
ステップＳ６３では、制御データ記録部１６７は、制御データの記録が必要であるかどうかを判定する。
【０３３３】
ステップＳ６３において、制御データの記録が必要であると判定された場合、すなわち、例えば、ユーザが、ユーザI/F４３を操作することにより、制御データの記録を行うことが、再生部５２に設定されている場合、処理は、ステップＳ６４に進み、制御データ記録部１６７は、直前のステップＳ６１での編集処理に用いられた制御データ、すなわち、いまの場合、制御データ生成部１６１から供給された新たな制御データを、同期データ生成部１６６から供給される同期データと対応付けて、例えば、外部メディア４４（図１）に記録し、処理は、ステップＳ６５に進む。
【０３３４】
ここで、以上のように、新たな制御データを、同期データと対応付けて外部メディア４４に記録することにより、その後は、その外部メディア４４に記録された制御データに従い、編集部１２２での編集を行うことが可能となるので、ユーザは、再度、同様の編集操作を行わずに済む。
【０３３５】
一方、ステップＳ５３において、ユーザI/F４３の直前の操作が、編集操作でないと判定された場合、処理は、ステップＳ５６に進み、選択部１５４は、ユーザI/F４３の直前の操作が、編集操作の解除を指示する解除操作であるかどうかを判定する。
【０３３６】
ステップＳ５６において、ユーザI/F４３の直前の操作が、解除操作でないと判定された場合、処理は、ステップＳ５７に進み、選択部１５４は、ユーザI/F４３の直前の操作が、制御データを指定する指定操作であるかどうかを判定する。
【０３３７】
ステップＳ５７において、ユーザI/F４３の直前の操作が、指定操作であると判定された場合、すなわち、ユーザI/F４３から選択部１５４に直前に供給された操作信号が、指定操作に対応する操作信号である場合、処理は、ステップＳ５８に進み、選択部１５４は、制御データ入力I/F１５１、ネットワークI/F１５２、及び外部メディアI/F１５３それぞれから供給される制御データのうちの、ユーザI/F４３の直前の指定操作で指定された制御データ（以下、指定制御データともいう）を選択し、制御データ生成部１６１に供給して、処理は、ステップＳ６０に進む。
【０３３８】
ステップＳ６０では、同期データ生成部１６６で生成された生成同期データに応じて、選択部１５４からの指定制御データに含まれる加工パラメータ、及びタイミングパラメータの設定が行われる。
【０３３９】
すなわち、ステップＳ６０では、制御データ生成部１６１は、選択部１５４からの指定制御データの中から、同期データ生成部１６６からの生成同期データに一致する制御同期データに対応付けられた既生成制御データを検出し、その既生成制御データに含まれる既生成加工パラメータ、及び既生成タイミングパラメータを、制御部１６２に供給する。
【０３４０】
制御部１６２は、例えば、制御データ生成部１６１からの既生成加工パラメータや既生成タイミングパラメータを、入力制御部１６３1及び１６３2や、スイッチャ制御部１６４、特殊効果制御部１６５のうちの必要なブロックに設定する。
【０３４１】
さらに、ステップＳ６０では、制御データ生成部１６１は、選択部１５４からの既生成制御データを、制御データ記録部１６７に供給して、処理は、ステップＳ６１に進む。
【０３４２】
この場合、ステップＳ６１では、編集部１２２を構成するズーム処理部１７１1及び１７１2、画質調整部１７２1及び１７２2、入力選択部１７３、並びに、特殊効果発生部１７４が、制御データ生成部１６１で検出された既生成制御データに含まれる既生成加工パラメータや既生成タイミングパラメータに従い、ステップＳ５１で取得された画像に対して、図６のステップＳ１３の場合と同様の、画像の加工を含む編集処理を行う。
【０３４３】
編集部１２２での編集処理によって得られる編集後コンテンツの画像は、編集部１２２（の特殊効果発生部１７４）から、モニタ４２に出力される。
【０３４４】
その後、処理は、ステップＳ６１からステップＳ６２に進み、モニタ４２において、編集部１２２からの編集後コンテンツの画像が表示され、処理は、ステップＳ６３に進む。
【０３４５】
以上のように、ユーザI/F４３の指定操作が行われた場合には、その指定操作によって指定された既生成制御データに含まれる既生成加工パラメータや既生成タイミングパラメータに従い、素材コンテンツ#1及び#2の画像の編集が行われ、その結果得られる編集後コンテンツの画像が、モニタ４２に表示される。
【０３４６】
したがって、例えば、上述したように、編集操作に応じて生成された新たな制御データが、過去に行われたステップＳ６４で、外部メディア４４（図１）に記録され、既生成制御データとして存在する場合には、ユーザは、その既生成制御データを、指定操作によって指定することで、過去に行った編集操作によって得られる編集後コンテンツの画像を視聴することができる。但し、この場合、その編集後コンテンツを得る編集に必要な素材コンテンツ#1及び#2も記録しておき、再生部５２に供給する必要がある。
【０３４７】
また、例えば、制御データ入力I/F１５１で受信された標準制御データが、過去に行われたステップＳ６４で、外部メディア４４に記録され、既生成制御データとして存在する場合には、ユーザは、その既生成制御データを、指定操作によって指定することで、過去に受信した標準制御データに従った編集によって得られる編集後コンテンツの画像を視聴することができる。但し、この場合も、その編集後コンテンツを得る編集に必要な素材コンテンツ#1及び#2も記録しておき、再生部５２に供給する必要がある。
【０３４８】
ステップＳ６３では、上述したように、制御データ記録部１６７が、制御データの記録が必要であるかどうかを判定し、制御データの記録が必要であると判定した場合には、処理は、ステップＳ６４に進む。
【０３４９】
ステップＳ６４では、制御データ記録部１６７は、直前のステップＳ６１での編集処理に用いられた制御データ、すなわち、いまの場合、制御データ生成部１６１から供給される、同期データと対応付けられている既生成制御データを、例えば、外部メディア４４に記録し、処理は、ステップＳ６５に進む。
【０３５０】
ここで、例えば、標準制御データが、指定操作によって指定されると、ステップＳ６４では、標準制御データが、外部メディア４４に記録される。
【０３５１】
また、例えば、標準制御データを指定する指定操作後に、ユーザによって編集操作がされると、ステップＳ６４では、編集操作に応じて生成された新たな制御データが、標準制御データに代えて、外部メディア４４に記録される。
【０３５２】
この場合、外部メディア４４には、標準制御データと、編集操作に応じて生成された新たな制御データとが、いわば混在した（合成された）状態で、既生成制御データとして記録されることになる
【０３５３】
このような、標準制御データと新たな制御データとが混在した状態の既生成制御データが、指定操作によって指定された場合には、編集部１２２では、標準制御データに対応付けられている同期データによって識別されるフレームについては、その標準制御データに含まれる加工パラメータ及びタイミングパラメータに従った編集が行われ、新たな制御データに対応付けられている同期データによって識別されるフレームについては、その新たな制御データに含まれる加工パラメータ及びタイミングパラメータに従った編集が行われる。
【０３５４】
したがって、この場合、一部は、コンテンツ制作者が行った編集により得られる画像となり、残りは、ユーザが行った編集操作に応じた編集により得られる画像となった編集後コンテンツの画像が得られる。
【０３５５】
一方、ステップＳ５６において、ユーザI/F４３の直前の操作が、編集操作の解除を指示する解除操作であると判定された場合、すなわち、ユーザI/F４３から選択部１５４に直前に供給された操作信号が、解除操作に対応する操作信号である場合、処理は、ステップＳ５９に進み、選択部１５４は、制御データ入力I/F１５１、ネットワークI/F１５２、及び外部メディアI/F１５３それぞれから供給される制御データのうちの、解除操作で解除が指示される直前の指定操作で指定されていた制御データを、指定制御データとして選択する。
【０３５６】
ここで、解除操作で解除が指示される前に、指定操作が行われていない場合には、ステップＳ５９では、選択部１５４は、例えば、制御データ入力I/F１５１から供給される標準制御データを、指定制御データとして選択する。
【０３５７】
ステップＳ５９において、選択部１５４は、指定制御データを選択すると、その指定制御データを、制御データ生成部１６１に供給して、処理は、ステップＳ６０に進み、以下、同様の処理が行われる。
【０３５８】
また、ステップＳ５７において、ユーザI/F４３の直前の操作が、指定操作でないと判定された場合、すなわち、ユーザI/F４３の直前の操作が、編集操作、解除操作、及び指定操作のうちのいずれでもない場合、処理は、ステップＳ５９に進む。
【０３５９】
この場合、ステップＳ５９では、選択部１５４は、制御データ入力I/F１５１から供給される標準制御データを、指定制御データとして選択し、以下、同様の処理が行われる。
【０３６０】
したがって、例えば、最初に、ユーザが、ユーザI/F４３を操作していない状態では、編集部１２２では、制御データ入力I/F１５１で受信される標準制御データに含まれる加工パラメータ、及びタイミングパラメータに従った編集が行われる。その結果、モニタ４２では、コンテンツ制作者の意図が反映された標準コンテンツの画像が、編集後コンテンツの画像として表示される。
【０３６１】
その後、ユーザが、ユーザI/F４３の編集操作を行うと、編集部１２２では、標準制御データに含まれる加工パラメータ、及びタイミングパラメータに代えて、編集操作に応じて生成される新たな加工パラメータ、及び新たなタイミングパラメータに従った編集が行われる。その結果、モニタ４２では、ユーザの好みのコンテンツの画像が、編集後コンテンツの画像として表示される。
【０３６２】
さらに、その後、ユーザが、ユーザI/F４３の解除操作を行うと、編集部１２２では、編集操作に応じて生成される新たな加工パラメータ、及び新たなタイミングパラメータに代えて、編集操作を行う直前に用いられていた制御データ、すなわち、いまの場合、標準制御データに含まれる加工パラメータ、及びタイミングパラメータに従った編集が、再び行われる。その結果、モニタ４２には、再び、標準コンテンツの画像が、編集後コンテンツの画像として表示される。
【０３６３】
したがって、編集部１２２では、ユーザが編集操作を行うと、その編集操作に従った編集が行われ、解除操作を行うと、コンテンツ制作者の意図に即した編集が行われる。
【０３６４】
一方、ステップＳ６３において、制御データの記録が必要でないと判定された場合、すなわち、制御データの記録を行うことが、再生部５２に設定されていない場合、処理は、ステップＳ６４をスキップして、ステップＳ６５に進む。
【０３６５】
ステップＳ６５では、制御部１６２が、編集後コンテンツの再生を終了するかどうかを判定する。
【０３６６】
ステップＳ６５において、編集後コンテンツの再生を終了しないと判定された場合、すなわち、例えば、ユーザが、編集後コンテンツの再生を終了するように、ユーザI/F４３を操作していない場合、処理は、ステップＳ５１に戻る。
【０３６７】
また、ステップＳ６５において、編集後コンテンツの再生を終了すると判定された場合、すなわち、例えば、ユーザが、編集後コンテンツの再生を終了するように、ユーザI/F４３を操作した場合、処理は終了する。
【０３６８】
以上のように、放送装置１２では、制御データ生成部６１（図２）において、複数のコンテンツとしての素材コンテンツ#1及び#2のそれぞれを加工するための、素材コンテンツ#1及び#2のそれぞれごとの加工パラメータと、素材コンテンツ#1及び#2を、編集後のコンテンツである編集後コンテンツとして出力する出力タイミングを表すタイミングパラメータとを生成し、編集部２２において、加工パラメータ、及びタイミングパラメータに従い、素材コンテンツ#1及び#2を編集して、編集後コンテンツを生成する。
【０３６９】
さらに、放送装置１２では、制御データ記録部６７において、加工パラメータ、及びタイミングパラメータを含み、素材コンテンツ#1及び#2を編集して、編集後コンテンツを生成するのに用いられる制御データを出力し、送信部２４1（図１）において素材コンテンツ#1が、送信部２４2において素材コンテンツ#2が、送信部２４3において制御データ（標準制御データ）が、それぞれ送信される。
【０３７０】
一方、受信装置４１では、再生部５２（図８）のコンテンツI/F１７０において、放送装置１２からの素材コンテンツ#1及び#2を受信するとともに、制御データ入力I/F１５１や、ネットワークI/F１５２、外部メディアI/F１５３において、放送装置１２からの標準制御データを受信する。
【０３７１】
さらに、受信装置４１では、再生部５２の編集部１２２において、標準制御データに含まれる加工パラメータ、及びタイミングパラメータに従い、素材コンテンツ#1及び#2を編集し、編集後コンテンツ（標準コンテンツ）を生成する。
【０３７２】
したがって、受信装置４１では、素材コンテンツ#1及び#2のそれぞれごとの加工パラメータに従って、素材コンテンツ#1及び#2を加工する編集が行われるので、編集の自由度を向上させることができる。
【０３７３】
さらに、受信装置４１では、ユーザによる、編集を指示する編集操作が行われた場合には、再生部５２の設定部１２１において、制御データ生成部１６１（図８）が、ユーザによる編集操作に応じて、新たな加工パラメータ、及び、新たなタイミングパラメータを生成し、編集部１２２において、標準制御データに含まれる加工パラメータ、及びタイミングパラメータに代えて、新たな加工パラメータ、及び、新たなタイミングパラメータに従い、編集を行うので、ユーザは、自由度の高い編集を行うことができ、そのような自由度の高い編集の結果、ユーザにとって適切なコンテンツの提供を受けることができる。
【０３７４】
また、受信装置４１では、ユーザによる、編集操作の解除を指示する解除操作が行われた場合には、編集部１２２において、新たな加工パラメータ、及び、新たなタイミングパラメータに代えて、例えば、再び、標準制御データに含まれる加工パラメータ、及びタイミングパラメータに従い、編集を行うので、ユーザは、一部については、コンテンツ制作者による編集が反映され、残りについては、ユーザによる編集が反映された編集後コンテンツを楽しむことができる。
【０３７５】
すなわち、ユーザは、素材コンテンツ#1及び#2の編集を、すべて、自分自身で行う必要はなく、一部については、コンテンツ制作者による編集結果を利用して行うことができる。
【０３７６】
なお、放送装置１２、及び受信装置４１では、上述したように、画像の編集の他、音声の編集も行うことができる。
【０３７７】
また、放送装置１２、及び受信装置４１では、２つの素材コンテンツ#1及び#2を編集の対象としたが、編集の対象とする複数の素材コンテンツは、３つ以上の素材コンテンツとすることができる。
【０３７８】
さらに、放送装置１２、及び受信装置４１では、複数の素材コンテンツのうちの１つをテロップとして、他の素材コンテンツの画像に、テロップを重畳する加工を含む編集を行うことができる。
【０３７９】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０３８０】
そこで、図１０は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０３８１】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やROM２０３に予め記録しておくことができる。
【０３８２】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０３８３】
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２０８で受信し、内蔵するハードディスク２０５にインストールすることができる。
【０３８４】
コンピュータは、CPU(Central Processing Unit)２０２を内蔵している。CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されており、CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、また、CPU２０２は、ハードディスク２０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２０８で受信されてハードディスク２０５にインストールされたプログラム、またはドライブ２０９に装着されたリムーバブル記録媒体２１１から読み出されてハードディスク２０５にインストールされたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
【０３８５】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０３８６】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。
【０３８７】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【０３８８】
すなわち、本実施の形態では、本発明を放送システムに適用した場合について説明したが、本発明は、その他、例えば、インターネット等のネットワークを介してデータを送信する通信システムにも適用可能である。
【図面の簡単な説明】
【０３８９】
【図１】本発明を適用した放送システムの一実施の形態の構成例を示す図である。
【図２】設定部２１、及び編集部２２の構成例を示すブロック図である。
【図３】抽出ウインドウと素材画像#iを示す図である。
【図４】ズーム処理部７１iの処理を説明する図である。
【図５】変換装置の構成例を示すブロック図である。
【図６】設定部２１、及び編集部２２の処理を説明するフローチャートである。
【図７】設定部２１、及び編集部２２の処理を説明するフローチャートである。
【図８】再生部５２の構成例を示すブロック図である。
【図９】再生部５２の処理を説明するフローチャートである。
【図１０】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０３９０】
１ 送信側装置， ２ 受信側装置， １１1，１１2 カメラ， １２ 放送装置， ２１ 設定部， ２２ 編集部， ２３ モニタ， ２４1ないし２４3 送信部， ４１
受信装置， ４２ モニタ， ４３ ユーザI/F， ４４ 外部メディア， ５１1ないし５１3 受信部， ５２ 再生部， ６０ ユーザI/F， ６１ 制御データ生成部， ６２ 制御部， ６３1，６３2 入力制御部， ６４ スイッチャ制御部， ６５ 特殊効果制御部， ６６ 同期データ生成部， ６７ 制御データ記録部， ７１1，７１2 ズーム処理部， ７２1，７２2 画質調整部， ７３ 入力選択部， ７４ 特殊効果発生部， １０１ 注目サンプル選択部， １０２，１０３ タップ選択部， １０４ クラス分類部， １０５ 係数出力部， １０６ 予測演算部， １２１ 設定部， １２２ 編集部， １５１ 制御データ入力I/F， １５２ ネットワークI/F， １５３ 外部メディアI/F， １６１ 制御データ生成部， １６２ 制御部， １６３1，１６３2 入力制御部， １６４ スイッチャ制御部， １６５ 特殊効果制御部， １６６ 同期データ生成部， １６７ 制御データ記録部， １７０ コンテンツI/F， １７１1，１７１2 ズーム処理部， １７２1，１７２2 画質調整部， １７３ 入力選択部， １７４ 特殊効果発生部， ２０１ バス， ２０２ CPU， ２０３ ROM， ２０４ RAM， ２０５ ハードディスク， ２０６ 出力部， ２０７ 入力部， ２０８ 通信部， ２０９ ドライブ， ２１０ 入出力インタフェース， ２１１ リムーバブル記録媒体
【技術分野】
【０００１】
本発明は、データ処理装置、データ処理方法、及び、プログラムに関し、特に、編集の自由度を向上させることができるようにするデータ処理装置、データ処理方法、及び、プログラムに関する。
【背景技術】
【０００２】
例えば、従来のテレビジョン放送では、放送局において、いわゆる素材としての画像や音声等を含むコンテンツ（以下、素材コンテンツともいう）が編集され、その編集の結果得られるコンテンツ（以下、編集後コンテンツともいう）が、番組として放送される。
【０００３】
したがって、テレビジョン放送の受信側では、番組として、編集後コンテンツを視聴することになる。
【０００４】
このため、受信側では、ユーザは、例えば、編集でカットされたシーンや、編集後コンテンツに含まれる画像とは異なるアングルから見たシーン等を視聴することはできない。
【０００５】
また、受信側において、ユーザが、コンテンツの編集を行う場合には、その編集の対象となるのは、編集後コンテンツとなる。したがって、ユーザは、編集後コンテンツから、ユーザにとって不要なシーンをカットするような編集は行うことができるが、やはり、放送局の編集でカットされたシーンを挿入するような編集は行うことができない。
【０００６】
一方、マルチビュー放送と呼ばれる放送では、放送局から、画像及び音声についての、複数の切り替えパターンの情報が記述されたマルチビュー自動切り替えテーブルが送出される。そして、受信側では、マルチビュー自動切り替えテーブルを用いて、画像及び音声が切り替えられ、これにより、ユーザの好みの切り替えパターンで、画像及び音声を切り替えることができる（例えば、特許文献１を参照）。
【０００７】
【特許文献１】特開2002-314960号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従来においては、受信側で行うことができる編集の自由度が高いとは言えなかった。
【０００９】
すなわち、従来においては、受信側において、複数の素材コンテンツのそれぞれごとに、例えば、画質の調整等の加工を行うことが困難であった。
【００１０】
本発明は、このような状況に鑑みてなされたものであり、編集の自由度を向上させ、これにより、例えば、ユーザにとって適切なコンテンツを提供することができるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の第１の側面のデータ処理装置、又は、プログラムは、コンテンツを処理するデータ処理装置であり、複数のコンテンツを受信するコンテンツ受信手段と、前記複数のコンテンツのそれぞれを加工するための、前記コンテンツごとの加工パラメータと、前記コンテンツを、編集後のコンテンツである編集後コンテンツとして出力する出力タイミングを表すタイミングパラメータとを含み、前記複数のコンテンツを編集して、前記編集後コンテンツを生成するのに用いられる制御データを受信する制御データ受信手段と、前記制御データに含まれる前記加工パラメータ、及び前記タイミングパラメータに従い、前記複数のコンテンツを編集し、前記編集後コンテンツを生成する編集手段とを備えるデータ処理装置、又は、データ処理装置として、コンピュータを機能させるためのプログラムである。
【００１２】
本発明の第１の側面のデータ処理方法は、コンテンツを処理するデータ処理装置のデータ処理方法であり、前記データ処理装置が、複数のコンテンツを受信するとともに、前記複数のコンテンツのそれぞれを加工するための、前記コンテンツごとの加工パラメータと、前記コンテンツを、編集後のコンテンツである編集後コンテンツとして出力する出力タイミングを表すタイミングパラメータとを含み、前記複数のコンテンツを編集して、前記編集後コンテンツを生成するのに用いられる制御データを受信し、前記制御データに含まれる前記加工パラメータ、及び前記タイミングパラメータに従い、前記複数のコンテンツを編集し、前記編集後コンテンツを生成するステップを含むデータ処理方法である。
【００１３】
以上のような第１の側面においては、複数のコンテンツが受信されるとともに、前記複数のコンテンツのそれぞれを加工するための、前記コンテンツごとの加工パラメータと、前記コンテンツを、編集後のコンテンツである編集後コンテンツとして出力する出力タイミングを表すタイミングパラメータとを含み、前記複数のコンテンツを編集して、前記編集後コンテンツを生成するのに用いられる制御データが受信される。そして、前記制御データに含まれる前記加工パラメータ、及び前記タイミングパラメータに従い、前記複数のコンテンツが編集され、前記編集後コンテンツが生成される。
【００１４】
本発明の第２の側面のデータ処理装置、又は、プログラムは、複数のコンテンツを編集する処理を行うデータ処理装置であり、前記複数のコンテンツのそれぞれを加工するための、前記コンテンツごとの加工パラメータと、前記コンテンツを、編集後のコンテンツである編集後コンテンツとして出力する出力タイミングを表すタイミングパラメータとを生成する生成手段と、前記加工パラメータ、及び前記タイミングパラメータに従い、前記複数のコンテンツを編集し、前記編集後コンテンツを生成する編集手段と、前記加工パラメータ、及び前記タイミングパラメータを含み、前記複数のコンテンツを編集して、前記編集後コンテンツを生成するのに用いられる制御データを出力する出力手段とを備えるデータ処理装置、又は、データ処理装置として、コンピュータを機能させるためのプログラムである。
【００１５】
本発明の第２の側面のデータ処理方法は、複数のコンテンツを編集する処理を行うデータ処理装置のデータ処理方法であり、前記データ処理装置が、前記複数のコンテンツのそれぞれを加工するための、前記コンテンツごとの加工パラメータと、前記コンテンツを、編集後のコンテンツである編集後コンテンツとして出力する出力タイミングを表すタイミングパラメータとを生成し、前記加工パラメータ、及び前記タイミングパラメータに従い、前記複数のコンテンツを編集し、前記編集後コンテンツを生成し、前記加工パラメータ、及び前記タイミングパラメータを含み、前記複数のコンテンツを編集して、前記編集後コンテンツを生成するのに用いられる制御データを出力するステップを含むデータ処理方法である。
【００１６】
以上のような第２の側面においては、前記複数のコンテンツのそれぞれを加工するための、前記コンテンツごとの加工パラメータと、前記コンテンツを、編集後のコンテンツである編集後コンテンツとして出力する出力タイミングを表すタイミングパラメータとが生成される。そして、前記加工パラメータ、及び前記タイミングパラメータに従い、前記複数のコンテンツが編集され、前記編集後コンテンツが生成される。一方、前記加工パラメータ、及び前記タイミングパラメータを含み、前記複数のコンテンツを編集して、前記編集後コンテンツを生成するのに用いられる制御データが出力される。
【００１７】
なお、データ処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【００１８】
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１９】
本発明の第１及び第２の側面によれば、編集の自由度を向上させることができる。
【発明を実施するための最良の形態】
【００２０】
図１は、本発明を適用した放送システムの一実施の形態の構成例を示している。
【００２１】
図１において、放送システムは、送信側装置１及び受信側装置２から構成される。
【００２２】
なお、送信側装置１は、複数あっても良い。受信側装置２も同様である。
【００２３】
送信側装置１は、例えば、放送局側の装置であり、複数としての、例えば２台のカメラ１１1及び１１2、並びに、放送装置１２から構成される。
【００２４】
カメラ１１1及び１１2は、例えば、三脚等で固定されており、サッカーや野球等のスポーツの試合や、歌手のコンサート、多地点にカメラ（多地点カメラ）が設置されるイベント等を撮影し、その結果得られる画像及び音声を、素材となる素材コンテンツとして、放送装置１２に供給する。
【００２５】
ここで、カメラ１１1と１１2とは、例えば、異なる位置に設置されており、異なるアングルの画像を撮影する。
【００２６】
さらに、カメラ１１1及び１１2は、例えば、画素数の多い高解像度のカメラであり、広角の画像を撮影する。
【００２７】
なお、カメラ１１1及び１１2は、必ずしも、三脚等で固定されている必要はない。
【００２８】
また、送信側装置１には、カメラ１１1及び１１2の２台だけでなく、３台以上のカメラを設けることが可能である。
【００２９】
放送装置１２は、カメラ１１1及び１１2からの、複数のコンテンツとしての２つの素材コンテンツを編集する処理等を行うデータ処理装置であり、設定部２１、編集部２２、モニタ２３、並びに、送信部２４1，２４2、及び２４3等から構成される。
【００３０】
設定部２１は、番組の制作者であるコンテンツ制作者（ユーザ）等の、編集を指示する編集操作に応じて、加工パラメータ、及びタイミングパラメータを生成し、編集部２２に供給する。
【００３１】
また、設定部２１は、加工パラメータ、及びタイミングパラメータを含み、複数のコンテンツとしてのカメラ１１1で得られる素材コンテンツ#1と、カメラ１１2で得られる素材コンテンツ#2との２つの素材コンテンツを編集して、編集後のコンテンツである編集後コンテンツを生成するのに用いられる制御データを出力する。
【００３２】
設定部２１が出力する制御データは、送信部２４3に供給される。
【００３３】
ここで、加工パラメータとは、素材コンテンツを加工するためのパラメータで、素材コンテンツごとに生成される。ここでは、素材コンテンツとして、カメラ１１1で得られる素材コンテンツ#1と、カメラ１１2で得られる素材コンテンツ#2との２つの素材コンテンツがあるので、加工パラメータは、その２つの素材コンテンツ#1と#2のそれぞれに対して生成される。
【００３４】
また、タイミングパラメータとは、素材コンテンツを、編集後コンテンツとして出力する出力タイミングを表すパラメータであり、例えば、いわゆる編集点（IN点及びOUT点）に相当する。
【００３５】
なお、例えば、素材コンテンツ#1を、編集後コンテンツとして出力する場合としては、編集後コンテンツを、他の素材コンテンツ#2から、素材コンテンツ#1に切り替える場合と、他の素材コンテンツ#2に、素材コンテンツ#1を合成して、編集後コンテンツとする場合とがある。
【００３６】
編集部２２は、設定部２１から供給される加工パラメータ、及びタイミングパラメータに従い、複数のコンテンツとしてのカメラ１１1及び１１2それぞれからの２つの素材コンテンツ#1及び#2を編集し、編集後コンテンツを生成して出力する。
【００３７】
編集部２２が出力する編集後コンテンツは、モニタ２３に供給される。
【００３８】
モニタ２３は、ディスプレイやスピーカ等で構成され、編集部２２からの編集後コンテンツを提示する。すなわち、モニタ２３は、編集後コンテンツに含まれる画像（文字を含む）を表示するとともに、編集後コンテンツに含まれる音声を出力する。
【００３９】
送信部２４1は、カメラ１１1から放送装置１２に供給される素材コンテンツ#1に対して、変調その他の必要な処理を施して送信する。送信部２４2は、カメラ１１2から放送装置１２に供給される素材コンテンツ#2に対して、変調その他の必要な処理を施して送信する。
【００４０】
送信部２４3は、設定部２１から供給される制御データに対して、変調その他の必要な処理を施して送信する。
【００４１】
したがって、放送装置１２では、番組として、編集後コンテンツそのものが送信されるのではなく、その編集後コンテンツの代わりに、編集後コンテンツを生成する編集の対象となった素材コンテンツ#1及び#2と、その素材コンテンツ#1及び#2のそれぞれに対する加工パラメータ、並びにタイミングパラメータを含む制御データとが送信される。
【００４２】
ここで、放送装置１２が送信する制御データに含まれる加工パラメータ、及びタイミングパラメータに従い、同じく放送装置１２が送信する２つの素材コンテンツ#1及び#2を編集することで、モニタ２３で提示された編集後コンテンツを生成することができる。
【００４３】
この、モニタ２３で提示された編集後コンテンツは、コンテンツ制作者による編集操作に応じた編集によって得られた、そのコンテンツ制作者の意図が反映されたコンテンツであり、以下、標準コンテンツともいう。
【００４４】
また、この標準コンテンツを生成する編集に用いられる加工パラメータ、及びタイミングパラメータを含む制御データを、標準制御データともいう。
【００４５】
放送装置１２から送信される素材コンテンツ#1及び#2、並びに、標準制御データは、受信側装置２で受信されて処理される。
【００４６】
ここで、放送装置１２からの素材コンテンツ#1及び#2、並びに、標準制御データの送信は、地上波、衛星回線、CATV網等の放送網や、インターネット等のネットワーク等の、任意の伝送媒体を介して行うことができる。
【００４７】
受信側装置２は、受信装置４１、モニタ４２、及びユーザI/F(Interface)４３等から構成される。
【００４８】
受信装置４１は、放送装置１２からの素材コンテンツ#1及び#2、並びに、標準制御データを受信して処理するデータ処理装置であり、受信部５１1，５１2、及び５１3、並びに、再生部５２から構成される。
【００４９】
すなわち、受信部５１1は、放送装置１２からの素材コンテンツ#1を受信し、復調その他の必要な処理を施して、再生部５２に供給する。受信部５１2は、放送装置１２からの素材コンテンツ#2を受信し、復調その他の必要な処理を施して、再生部５２に供給する。
【００５０】
受信部５１3は、放送装置１２からの標準制御データを受信し、復調その他の必要な処理を施して、再生部５２に供給する。
【００５１】
その他、再生部５２には、ユーザI/F４３や、外部メディア４４、図示せぬネットワークから、必要に応じて、データ（信号）が供給される。
【００５２】
すなわち、ユーザI/F４３は、例えば、リモートコマンダや、受信装置４１の筐体に設けられた図示せぬボタン等であり、ユーザによって操作されると、その操作に応じた操作信号を、再生部５２に供給（送信）する。
【００５３】
外部メディア４４は、例えば、メモリカードその他の、外部のリムーバブルな記録媒体で、再生部５２に対して着脱可能になっている。外部メディア４４には、制御データ等を記録（記憶）することができるようになっており、再生部５２は、外部メディア４４が装着されると、必要に応じて、その外部メディア４４に記録されている制御データを読み出して受信する。
【００５４】
また、再生部５２は、インターネットその他のネットワークを介して通信を行うことができるようになっており、ネットワーク上のサーバから、必要に応じて、制御データをダウンロードして受信する。
【００５５】
再生部５２は、受信部５１1からの素材コンテンツ#1、及び、受信部５１2からの素材コンテンツ#2を、例えば、受信部５１3からの標準制御データに含まれる加工データ及びタイミングパラメータに従って編集し、編集後コンテンツ（標準コンテンツ）を生成する。
【００５６】
また、再生部５２は、受信部５１1からの素材コンテンツ#1、及び、受信部５１2からの素材コンテンツ#2を、例えば、外部メディア４４やネットワークから受信した制御データに含まれる加工データ及びタイミングパラメータに従って編集し、編集後コンテンツを生成する。
【００５７】
さらに、再生部５２は、受信部５１1からの素材コンテンツ#1、及び、受信部５１2からの素材コンテンツ#2を、例えば、ユーザI/F４３からの操作信号に応じて生成される加工データ及びタイミングパラメータに従って編集し、編集後コンテンツを生成する。
【００５８】
ここで、再生部５２において、標準制御データに含まれる加工パラメータ及びタイミングパラメータに従って編集が行われる場合には、編集後コンテンツとして、標準コンテンツが生成される。
【００５９】
一方、再生部５２において、外部メディア４４、もしくはネットワークから受信した制御データに含まれる加工データ及びタイミングパラメータ、又は、ユーザI/F４３からの操作信号に応じて生成される加工データ及びタイミングパラメータに従って編集が行われる場合には、編集後コンテンツとして、標準コンテンツが生成されるとは限らない。
【００６０】
再生部５２が生成した編集後コンテンツは、モニタ４２に供給されて提示される。
【００６１】
すなわち、モニタ４２は、ディスプレイやスピーカ等で構成され、再生部５２からの編集後コンテンツに含まれる画像を表示するとともに、編集後コンテンツに含まれる音声を出力する。
【００６２】
ここで、コンテンツには、画像のコンテンツ、音声のコンテンツ、画像と、その画像に付随する音声とを含むコンテンツ等があるが、以下では、説明を簡単にするために、画像のコンテンツ（画像を少なくとも含むコンテンツ）に注目して説明をする。
【００６３】
なお、図１の放送システムは、画像のコンテンツ、音声のコンテンツ、画像及び音声を含むコンテンツ等のいずれにも適用可能である。
【００６４】
図２は、図１の設定部２１、及び、編集部２２の構成例を示している。
【００６５】
図２において、設定部２１は、ユーザI/F６０、制御データ生成部６１、制御部６２、入力制御部６３1及び６３2、スイッチャ制御部６４、特殊効果制御部６５、同期データ生成部６６、並びに、制御データ記録部６７等から構成され、送信側装置１のユーザであるコンテンツ制作者等の操作に応じて、加工パラメータ、及びタイミングパラメータを生成する。
【００６６】
すなわち、ユーザI/F６０は、編集操作を行うための操作パネル等であり、ユーザであるコンテンツ制作者等によって操作されると、その操作に応じた操作信号を、制御データ生成部６１に供給する。
【００６７】
制御データ生成部６１は、ユーザI/F６０からの操作信号に応じて、素材コンテンツ#1と#2のそれぞれに対する加工パラメータを生成するとともに、タイミングパラメータを生成する。さらに、制御データ生成部６１は、その加工パラメータ、及びタイミングパラメータを含む制御データ（標準制御データ）を生成する。
【００６８】
そして、制御データ生成部６１は、加工パラメータ及びタイミングパラメータを、制御部６２に供給するとともに、制御データを、制御データ記録部６７に供給する。
【００６９】
ここで、上述のように、制御データ生成部６１は、ユーザI/F６０からの操作信号に応じて、素材コンテンツ#1と#2のそれぞれに対する加工パラメータを生成する。したがって、例えば、コンテンツ制作者が、素材コンテンツ#1と#2に対して、異なる加工を施すことを指示する編集操作を行った場合には、制御データ生成部６１では、その編集操作に応じて、素材コンテンツ#1と#2に対して、異なる加工パラメータが生成される。
【００７０】
制御部６２は、設定部２１を構成する各部を制御する。
【００７１】
すなわち、制御部６２は、例えば、制御データ生成部６１からの加工パラメータやタイミングパラメータに従い、入力制御部６３1及び６３2や、スイッチャ制御部６４、特殊効果制御部６５を制御する。
【００７２】
また、制御部６２は、例えば、制御データ生成部６１や制御データ記録部６７を制御する。
【００７３】
入力制御部６３1は、制御部６２の制御に従い、編集部２２を構成するズーム処理部７１1及び画質調整部７２1を制御する。
【００７４】
入力制御部６３2は、制御部６２の制御に従い、編集部２２を構成するズーム処理部７１2及び画質調整部７２2を制御する。
【００７５】
スイッチャ制御部６４は、制御部６２の制御に従い、編集部２２を構成する入力選択部７３を制御する。
【００７６】
特殊効果制御部６５は、制御部６２の制御に従い、編集部２２を構成する特殊効果発生部７４を制御する。
【００７７】
同期データ生成部６６は、同期データを生成し、制御データ記録部６７に供給する。
【００７８】
すなわち、同期データ生成部６６には、カメラ１１1から編集部２２に供給される素材コンテンツ#1の画像と、カメラ１１2から編集部２２に供給される素材コンテンツ#2の画像とが供給されるようになっている。
【００７９】
同期データ生成部６６は、素材コンテンツ#1の画像の各フレーム（又はフィールド）を識別する情報を、同期データとして生成し、フレームごとの同期データを、制御データ記録部６７に供給する。
【００８０】
さらに、同期データ生成部６６は、素材コンテンツ#2の画像についても、同期データを生成し、制御データ記録部６７に供給する。
【００８１】
ここで、画像の各フレームを識別する同期データとしては、例えば、その画像に付加されているタイムコードを採用することができる。
【００８２】
また、各フレームの同期データとしては、そのフレームの特徴量や、そのフレームを含む、連続する数フレームそれぞれの特徴量のシーケンス等を採用することができる。
【００８３】
フレームの特徴量としては、例えば、特開2007-243259号公報や、特開2007-235374号公報に記載されているような、フレームの特定の領域（全領域を含む）の画素値の加算値や、その加算値の下位数ビット等を採用することができる。
【００８４】
制御データ記録部６７は、制御データ生成部６１から供給される制御データに、同期データ生成部６６から供給される同期データを対応付けて記録（記憶）する。
【００８５】
すなわち、制御データ記録部６７は、制御データ生成部６１から供給される制御データに含まれる、素材コンテンツ#i（ここでは、i=1,2）の画像に対する加工パラメータに、その加工パラメータに従って加工が施される素材コンテンツ#iのフレームの同期データを対応付ける。
【００８６】
制御データ記録部６７は、同期データと対応付けられた制御データ（標準制御データ）を、送信部２４3（図１）に、適宜出力する。
【００８７】
編集部２２は、ズーム処理部７１1及び７１2、画質調整部７２1及び７２2、入力選択部７３、並びに、特殊効果発生部７４等から構成され、制御データ生成部６１で生成された加工パラメータ、及びタイミングパラメータに従い、カメラ１１1及び１１2から供給される素材コンテンツ#1及び#2の画像を編集し、編集後コンテンツ（標準コンテンツ）の画像を生成して、モニタ２３に出力する。
【００８８】
すなわち、ズーム処理部７１iには、カメラ１１iから編集部２２に供給される素材コンテンツ#iの画像が供給される。
【００８９】
ズーム処理部７１iは、入力制御部６３iの制御に従い、カメラ１１iからの素材コンテンツ#iの画像から、編集後コンテンツの画像として出力する領域を抽出する加工を行う。
【００９０】
ズーム処理部７１iは、カメラ１１iからの素材コンテンツ#iの画像から抽出した領域の画像を、画質調整部７２iに供給する。
【００９１】
なお、ズーム処理部７１iは、例えば、カメラ１１iからの素材コンテンツ#iの画像から抽出した領域の画像のサイズを変更する加工（リサイズ）を、必要に応じて行い、これにより、カメラ１１iからの素材コンテンツ#iの画像から抽出した領域の画像を、編集後コンテンツの画像と一致するサイズ（画素数）の画像に変換する。
【００９２】
ここで、ズーム処理部７１iが行う、カメラ１１iからの素材コンテンツ#iの画像から、編集後コンテンツの画像として出力する領域を抽出する加工についての詳細は、後述する。
【００９３】
画質調整部７２iは、入力制御部６３iの制御に従い、ズーム処理部７１iからの素材コンテンツ#iの画像の画質を調整する加工を行う。
【００９４】
例えば、画質調整部７２iは、ノイズ除去処理を行う。すなわち、画質調整部７２iは、例えば、ズーム処理部７１iからの素材コンテンツ#iの画像を、ノイズを低減した画像に変換する。
【００９５】
また、画質調整部７２iは、例えば、ズーム処理部７１iからの素材コンテンツ#iの画像の解像度を向上させる加工を行う。すなわち、画質調整部７２iは、例えば、ズーム処理部７１iからの素材コンテンツ#iの画像を、より解像度の高い画像に変換する。
【００９６】
さらに、画質調整部７２iは、例えば、ズーム処理部７１iからの素材コンテンツ#iの画像のエッジを強調する加工を行う。すなわち、画質調整部７２iは、例えば、ズーム処理部７１iからの素材コンテンツ#iの画像を、よりエッジが強調された画像に変換する。
【００９７】
また、画質調整部７２iは、例えば、ズーム処理部７１iからの素材コンテンツ#iの画像のコントラストを向上させる加工を行う。すなわち、画質調整部７２iは、例えば、ズーム処理部７１iからの素材コンテンツ#iの画像を、よりコントラストが高い画像に変換する。
【００９８】
なお、ズーム処理部７１i、及び、画質調整部７２iでの、素材コンテンツ#iの画像に対する加工の内容は、制御データ生成部６１から制御部６２に供給される、素材コンテンツ#iに対する加工パラメータによって決まる。
【００９９】
画質調整部７２iでの加工によって得られる素材コンテンツ#iの画像は、入力選択部７３に供給される。
【０１００】
入力選択部７３は、スイッチャ制御部６４の制御に従い、画質調整部７２1からの素材コンテンツ#1の画像、及び、画質調整部７２2からの素材コンテンツ#2の画像の中から、編集後コンテンツの画像として出力する画像を選択し、特殊効果発生部７４に供給する。
【０１０１】
ここで、入力選択部７３で選択される画像は、制御データ生成部６１から制御部６２に供給されるタイミングパラメータによって決まる。
【０１０２】
すなわち、例えば、タイミングパラメータが、素材コンテンツ#1及び#2のうちの一方の画像を、編集後コンテンツの画像とすることを表している場合には、入力選択部７３では、その一方の画像が選択される。
【０１０３】
なお、素材コンテンツ#1及び#2のうちの一方の画像を、他方の画像に合成して、編集後コンテンツとする場合には、入力選択部７３では、素材コンテンツ#1及び#2の両方の画像が選択される。
【０１０４】
特殊効果発生部７４は、特殊効果制御部６５の制御に従い、入力選択部７３から供給される１以上の画像に特殊効果（エフェクト）を付す加工を行い、その結果得られる画像を、編集後コンテンツ（標準コンテンツ）の画像として出力する。
【０１０５】
すなわち、特殊効果発生部７４は、例えば、編集後コンテンツの画像を、素材コンテンツ#1及び#2の画像のうちの一方の画像から、他方の画像に切り替えるときに、一方の画像からフェードアウトしつつ、他方の画像にフェードインする特殊効果を付す。
【０１０６】
なお、特殊効果発生部７４では、素材コンテンツ#1及び#2の画像のうちの一方の画像に、他方の画像を合成することも、特殊効果の１つとして行われる。
【０１０７】
また、特殊効果発生部７４では、素材コンテンツ#1及び#2の画像のうちの一方の画像や、一方を他方に合成して得られる画像に、テロップを合成することも、特殊効果の１つとして行われる。
【０１０８】
ここで、特殊効果発生部７４での加工の内容、つまり、画像に付す特殊効果の内容は、制御データ生成部６１から制御部６２に供給される、素材コンテンツ#iに対する加工パラメータによって決まる。
【０１０９】
特殊効果発生部７４が出力する編集後コンテンツ（標準コンテンツ）の画像は、モニタ２３に供給されて表示される。
【０１１０】
次に、図３及び図４を参照して、図２のズーム処理部７１iが行う、カメラ１１iからの素材コンテンツ#iの画像から、編集後コンテンツの画像として出力する領域を抽出する加工について説明する。
【０１１１】
ズーム処理部７１iは、カメラ１１iからの素材コンテンツ#iの画像から、編集後コンテンツの画像として出力する領域を抽出することで、その領域の画像を撮影する仮想的なカメラのパンや、チルト、ズームの操作を、擬似的に実現する編集操作を可能とする。
【０１１２】
すなわち、いま、仮想的なカメラによって、カメラ１１iからの素材コンテンツ#iの画像に映っているシーンの一部を撮影していることとすると、仮想的なカメラについては、素材コンテンツ#iの画像に映っているシーンの範囲内で、パンやチルトの操作を行うことができる。
【０１１３】
さらに、仮想的なカメラについては、素材コンテンツ#iの画像に映っているシーンの範囲内で、ズーム（ズームインとズームアウト）の操作を行うことができる。
【０１１４】
ここで、仮想的なカメラをパンする操作を、疑似パン操作ともいい、チルトする操作を、疑似チルト操作ともいう。また、仮想的なカメラのズームの操作を、疑似ズーム操作（疑似ズームイン操作、疑似ズームアウト操作）ともいう。
【０１１５】
図２のユーザI/F６０の編集操作としては、上述のような疑似パン操作、疑似チルト操作、及び疑似ズーム操作を行うことができるようになっている。
【０１１６】
ユーザI/F６０の編集操作として、疑似パン操作、疑似チルト操作、又は疑似ズーム操作が行われた場合等においては、制御データ生成部６１では、その編集操作に応じて、カメラ１１iからの素材コンテンツ#iの画像から、編集後コンテンツの画像として出力する領域を表す情報が、加工パラメータとして生成される。
【０１１７】
ここで、素材コンテンツ#iの画像から、編集後コンテンツの画像として出力する領域を、抽出ウインドウともいう。
【０１１８】
また、素材コンテンツ#iの画像を、素材画像#iともいい、編集後コンテンツの画像を、編集後画像ともいう。
【０１１９】
図３は、抽出ウインドウと素材画像#iを示している。
【０１２０】
例えば、いま、仮想カメラにおいて、素材画像#iのうちの、図３において、実線で囲む矩形の領域が撮影されていることとすると、抽出ウインドウは、その矩形の領域に一致する。
【０１２１】
その後、例えば、疑似ズームアウト操作が行われた場合には、仮想的なカメラで撮影される画像の画角は広くなり、抽出ウインドウは、図３においてR1で示すようにサイズの大きな領域になる。
【０１２２】
また、例えば、疑似ズームイン操作が行われた場合には、仮想的なカメラで撮影される画像の画角は狭くなり、抽出ウインドウは、図３においてR2で示すようにサイズの小さな領域になる。
【０１２３】
ここで、図２のズーム処理部７１iでは、カメラ１１iからの素材コンテンツ#iの画像から、抽出ウインドウ内の画像が抽出されるが、以下、素材コンテンツ#iの画像から抽出される、抽出ウインドウ内の画像を、抽出画像ともいう。
【０１２４】
抽出ウインドウのサイズは、上述したように、一定であるとは限らないため、抽出画像のサイズ（画素数）も、一定であるとは限らない。
【０１２５】
そして、サイズが一定でない抽出画像を、編集後コンテンツの画像としたのでは、編集後コンテンツの画像のサイズも一定ではなくなる。
【０１２６】
そこで、編集後コンテンツの画像のサイズを、所定の一定のサイズとするために、ズーム処理部７１iは、上述したように、カメラ１１iからの素材コンテンツ#iの画像から抽出した領域の画像のサイズを変更する加工を行い、これにより、カメラ１１iからの素材コンテンツ#iの画像から抽出した抽出画像を、所定の一定サイズ（例えば、編集後コンテンツの画像のサイズとして、あらかじめ決められたサイズ）の画像に変換する。
【０１２７】
ここで、あるサイズの画像を、他のサイズの画像に変換する変換処理としては、単純に、画素数を間引き、又は補間する処理があるが、その他、本件出願人が先に提案しているクラス分類適応処理がある。クラス分類適応処理については、後述する。
【０１２８】
図４を参照して、図２のズーム処理部７１iの処理について、さらに説明する。
【０１２９】
ユーザI/F６０（図２）の編集操作として、疑似パン操作又は疑似チルト操作が行われた場合、制御データ生成部６１では、図４Ａに示すように、カメラ１１iからの素材コンテンツ#iの画像上において、抽出ウインドウを、現在位置から、疑似パン操作又は疑似チルト操作に応じた移動量だけ水平方向又は垂直方向に移動した移動後の抽出ウインドウの位置と、抽出ウインドウの現在のサイズとを表す加工パラメータが生成される。
【０１３０】
さらに、この場合、ズーム処理部７１iでは、素材コンテンツ#iの画像から、移動後の抽出ウインドウ内の画像が、抽出画像として抽出され、その抽出画像が、所定の一定サイズの画像に変換される（拡大又は縮小される）。
【０１３１】
また、ユーザI/F６０の編集操作として、疑似ズームアウト操作が行われた場合、制御データ生成部６１では、図４Ｂに示すように、カメラ１１iからの素材コンテンツ#iの画像上において、抽出ウインドウを、現在のサイズから、疑似ズームアウト操作に応じた比率だけ大きくしたサイズに変更した変更後の抽出ウインドウのサイズと、抽出ウインドウの現在の位置とを表す加工パラメータが生成される。
【０１３２】
さらに、この場合、ズーム処理部７１iでは、素材コンテンツ#iの画像から、サイズの変更後の抽出ウインドウ内の画像が、抽出画像として抽出され、その抽出画像が、所定の一定サイズの画像に変換される。
【０１３３】
また、ユーザI/F６０の編集操作として、疑似ズームイン操作が行われた場合、制御データ生成部６１では、図４Ｃに示すように、カメラ１１iからの素材コンテンツ#iの画像上において、抽出ウインドウを、現在のサイズから、疑似ズームイン操作に応じた比率だけ小さくしたサイズに変更した変更後の抽出ウインドウのサイズと、抽出ウインドウの現在の位置とを表す加工パラメータが生成される。
【０１３４】
さらに、この場合、ズーム処理部７１iでは、素材コンテンツ#iの画像から、サイズの変更後の抽出ウインドウ内の画像が、抽出画像として抽出され、その抽出画像が、所定の一定サイズの画像に変換される。
【０１３５】
したがって、ズーム処理部７１iによれば、パンや、チルト、ズーム操作を行いながら、実際にカメラで撮影を行っているかのような抽出画像を得ることができる。
【０１３６】
なお、以上のように、疑似パン操作や、疑似チルト操作、疑似ズーム操作に応じて、抽出画像を得る方法については、例えば、特許第3968665号に記載されている。
【０１３７】
ここで、上述したように、ズーム処理部７１iは、カメラ１１iからの素材コンテンツ#iの画像から抽出した抽出画像のサイズを変更する変換処理を行うが、その変換処理には、クラス分類適応処理を利用することができる。
【０１３８】
クラス分類適応処理は、第１のデータを、第１のデータとは異なる第２のデータに変換（マッピング）する技術であり、第１のデータと所定のタップ係数（第１のデータを用いた演算に用いられる係数）とを用いた演算により求められる第２のデータの予測値の予測誤差を統計的に最小にするタップ係数を、複数のクラスのそれぞれごとに求めておき、そのタップ係数と、第１のデータとを用いた演算によって、第１のデータが、第２のデータに変換される（第２のデータの予測値が求められる）。
【０１３９】
第１のデータを第２のデータに変換するクラス分類適応処理は、その第１と第２のデータの定義によって様々な信号処理となる。
【０１４０】
すなわち、例えば、第１のデータを所定の画素数（サイズ）の画像データとするとともに、第２のデータを、第１のデータの画素数を多くまたは少なくした画像データとすれば、クラス分類適応処理は、画像のリサイズ（サイズの変更）を行うリサイズ処理となる。
【０１４１】
ズーム処理部７１iでは、リサイズ処理としてのクラス分類適応処理を行うことにより、抽出画像のサイズを変更する。
【０１４２】
なお、その他、例えば、第１のデータを低空間解像度の画像データとするとともに、第２のデータを高空間解像度の画像データとすれば、クラス分類適応処理は、空間解像度を向上させる空間解像度創造（向上）処理（画像を、その画像よりも空間解像度が高い画像に変換する変換処理）となる。
【０１４３】
また、例えば、第１のデータを低S/N(Siginal/Noise)の画像データとするとともに、第２のデータを高S/Nの画像データとすれば、クラス分類適応処理は、画像に含まれるノイズを除去するノイズ除去処理（画像を、その画像よりもノイズが少ない画像に変換する変換処理）となる。
【０１４４】
さらに、例えば、第１のデータを低時間解像度（低フレームレート）の画像データとするとともに、第２のデータを高時間解像度（高フレームレート）の画像データとすれば、クラス分類適応処理は、時間解像度を向上させる時間解像度創造（向上）処理（画像を、その画像よりも時間解像度が高い画像に変換する変換処理）となる。
【０１４５】
また、例えば、第１のデータをコントラストが低い画像データとするとともに、第２のデータをコントラストが高い画像データとすれば、クラス分類適応処理は、コントラストを向上させる処理（画像を、その画像よりもコントラストが高い画像に変換する変換処理）となる。
【０１４６】
さらに、例えば、第１のデータをエッジの強調の程度が低い画像データとするとともに、第２のデータをエッジが強調された画像データとすれば、クラス分類適応処理は、エッジを強調する処理（画像を、その画像よりもエッジが強調された画像に変換する変換処理）となる。
【０１４７】
また、例えば、第１のデータを低S/Nの音声データとするとともに、第２のデータを高S/Nの音声データとすれば、クラス分類適応処理は、音声に含まれるノイズを除去するノイズ除去処理（音声を、その音声よりもノイズが少ない音声に変換する変換処理）となる。
【０１４８】
したがって、クラス分類適応処理は、画質調整部７２iにおいて、ズーム処理部７１iからの素材コンテンツ#iの画像を、ノイズを低減した画像に変換する処理等の、画質を調整する加工にも利用することができる。
【０１４９】
クラス分類適応処理では、第２のデータを構成する複数のサンプルのうちの注目している注目サンプル（のサンプル値）を複数のクラスのうちのいずれかのクラスにクラス分類することにより得られるクラスのタップ係数と、注目サンプルに対して選択される第１のデータの複数のサンプル（のサンプル値）とを用いた演算により、注目サンプル（のサンプル値の予測値）が求められる。
【０１５０】
すなわち、図５は、クラス分類適応処理によって、第１のデータを第２のデータに変換する変換装置の構成例を示している。
【０１５１】
変換装置には、第１のデータが供給され、その第１のデータは、タップ選択部１０２及び１０３に供給される。
【０１５２】
注目サンプル選択部１０１は、第１のデータを変換して得ようとする第２のデータを構成するサンプルを、順次、注目サンプルとし、その注目サンプルを表す情報を、必要なブロックに供給する。
【０１５３】
タップ選択部１０２は、注目サンプル（のサンプル値）を予測するのに用いる第１のデータを構成するサンプル（のサンプル値）の幾つかを、予測タップとして選択する。
【０１５４】
具体的には、タップ選択部１０２は、注目サンプルの位置から空間的又は時間的に近い位置にある第１のデータの複数のサンプルを、予測タップとして選択する。
【０１５５】
例えば、第１及び第２のデータが、画像データである場合には、注目サンプルとしての画素から空間的又は時間的に近い位置にある第１のデータとしての画像データの複数の画素（の画素値）が、予測タップとして選択される。
【０１５６】
また、例えば、第１及び第２のデータが、音声データである場合には、注目サンプルから時間的に近い位置にある第１のデータとしての音声データの複数のサンプル（のサンプル値）が、予測タップとして選択される。
【０１５７】
タップ選択部１０３は、注目サンプルを、あらかじめ決められた複数のクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる第１のデータを構成するサンプルの複数を、クラスタップとして選択する。すなわち、タップ選択部１０３は、タップ選択部１０２が予測タップを選択するのと同様にして、クラスタップを選択する。
【０１５８】
なお、予測タップとクラスタップは、同一のタップ構造（注目サンプルを基準とする予測タップ（クラスタップ）としての複数のサンプルの位置関係）を有するものであっても良いし、異なるタップ構造を有するものであっても良い。
【０１５９】
タップ選択部１０２で得られた予測タップは、予測演算部１０６に供給され、タップ選択部１０３で得られたクラスタップは、クラス分類部１０４に供給される。
【０１６０】
クラス分類部１０４は、タップ選択部１０３からのクラスタップに基づき、注目サンプルをクラスタリングするクラス分類を行い、その結果得られる、注目サンプルのクラスに対応するクラスコードを、係数出力部１０５に供給する。
【０１６１】
なお、クラス分類部１０４では、例えば、クラスタップを構成する複数のサンプルのサンプル値のレベル分布を含む情報が、注目サンプルのクラス（クラスコード）とされる。
【０１６２】
すなわち、クラス分類部１０４では、例えば、クラスタップを構成するサンプルのサンプル値をシーケンシャルに並べた値が、注目サンプルのクラスとされる。
【０１６３】
この場合、クラスタップが、N個のサンプルのサンプル値で構成され、各サンプルのサンプル値に、Mビットが割り当てられているとすると、クラスの総数は、（２N）M通りとなる。
【０１６４】
クラスの総数は、例えば、以下のようにして、（２N）M通りよりも少なくすることができる。
【０１６５】
すなわち、クラスの総数を少なくする方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)を利用する方法等がある。
【０１６６】
ADRCを利用する方法では、クラスタップを構成するサンプル（のサンプル値）が、ADRC処理され、その結果得られるADRCコードが、注目サンプルのクラスに決定される。
【０１６７】
なお、KビットADRCにおいては、例えば、クラスタップを構成するサンプルのサンプル値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する各サンプルのサンプル値がK（＜M）ビットに再量子化される。すなわち、クラスタップを構成する各サンプルのサンプル値から、最小値MINが減算され、その減算値がDR/2Kで除算（再量子化）される。そして、以上のようにして得られる、クラスタップを構成する各サンプルのKビットのサンプル値を、所定の順番で並べたビット列が、ADRCコードとして出力される。したがって、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各サンプルのサンプル値は、最大値MAXと最小値MINとの平均値で除算され（小数点以下切り捨て）、これにより、各サンプルのサンプル値が１ビットとされる（２値化される）。そして、その１ビットのサンプル値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【０１６８】
ここで、クラスの総数を少なくする方法としては、その他、例えば、クラスタップを、そのクラスタップを構成する各サンプルのサンプル値をコンポーネントとするベクトルとみなし、そのベクトルをベクトル量子化して得られる量子化値（コードベクトルのコード）を、クラスとする方法等がある。
【０１６９】
係数出力部１０５は、後述する学習によって求められたクラスごとのタップ係数を記憶し、さらに、その記憶したタップ係数のうちの、クラス分類部１０４から供給されるクラスコードに対応するアドレスに記憶されているタップ係数（クラス分類部１０４から供給されるクラスコードが表すクラスのタップ係数）を出力する。このタップ係数は、予測演算部１０６に供給される。
【０１７０】
ここで、タップ係数とは、ディジタルフィルタにおける、いわゆるタップにおいて入力データと乗算される係数に相当する。
【０１７１】
予測演算部１０６は、タップ選択部１０２が出力する予測タップ（としての複数のサンプル値）と、係数出力部１０５が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目サンプルの真値の予測値を求める所定の予測演算を行う。これにより、予測演算部１０６は、注目サンプルのサンプル値（の予測値）、すなわち、第２のデータを構成するサンプルのサンプル値を求めて出力する。
【０１７２】
以上のように構成される変換装置では、注目サンプル選択部１０１は、変換装置に入力される第１のデータに対する第２のデータ（第１のデータを変換して得ようとする第２のデータ）を構成するサンプルのうちの、まだ、注目サンプルとされていないものの１つを、注目サンプルとして選択する。
【０１７３】
一方、タップ選択部１０２と１０３は、変換装置に入力される第１のデータから、注目サンプルについての予測タップとクラスタップとするサンプルを、それぞれ選択する。予測タップは、タップ選択部１０２から予測演算部１０６に供給され、クラスタップは、タップ選択部１０３からクラス分類部１０４に供給される。
【０１７４】
クラス分類部１０４は、タップ選択部１０３から、注目サンプルについてのクラスタップを受信し、そのクラスタップに基づき、注目サンプルをクラス分類する。さらに、クラス分類部１０４は、そのクラス分類の結果得られる注目サンプルのクラスを表すクラスコードを、係数出力部１０５に供給する。
【０１７５】
係数出力部１０５は、クラス分類部１０４から供給されるクラスコードに対応するアドレスに記憶されているタップ係数を取得し、予測演算部１０６に供給する。
【０１７６】
予測演算部１０６は、タップ選択部１０２から供給される予測タップと、係数出力部１０５からのタップ係数とを用いて、所定の予測演算を行う。これにより、予測演算部１０６は、注目サンプルのサンプル値を求めて出力する。
【０１７７】
以下、注目サンプル選択部１０１において、変換装置に入力される第１のデータに対する第２のデータを構成するサンプルのうちの、まだ、注目サンプルとされていないものの１つが、新たに注目サンプルとして選択され、同様の処理が繰り返される。
【０１７８】
次に、図５の予測演算部１０６における予測演算と、係数出力部１０５に記憶されるタップ係数の学習について説明する。
【０１７９】
なお、ここでは、第１及び第２のデータとして、例えば、画像データを採用することとする。
【０１８０】
いま、例えば、画素数の多い高画質の画像データ（高画質画像データ）を第２のデータとするとともに、その高画質画像データの画素数を少なくした低画質の画像データ（低画質画像データ）を第１のデータとして、第１のデータとしての低画質画像データから予測タップを選択し、その予測タップとタップ係数を用いて、第２のデータとしての高画質画像データの画素（高画質画素）の画素値を、所定の予測演算によって求める（予測する）ことを考える。
【０１８１】
所定の予測演算として、例えば、線形１次予測演算を採用することとすると、高画質画素の画素値ｙは、次の線形１次式によって求められる。
【０１８２】
【数１】
【０１８３】
但し、式（１）において、ｘnは、高画質画素ｙについての予測タップを構成する、ｎ番目の低画質画像データの画素（以下、適宜、低画質画素という）の画素値を表し、ｗnは、ｎ番目の低画質画素（の画素値）と乗算されるｎ番目のタップ係数を表す。なお、式（１）では、予測タップが、Ｎ個の低画質画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【０１８４】
ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０１８５】
いま、第ｋ画素の高画質画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、次式で表される。
【０１８６】
【数２】
【０１８７】
いま、式（２）の予測値ｙk’は、式（１）にしたがって求められるため、式（２）のｙk’を、式（１）にしたがって置き換えると、次式が得られる。
【０１８８】
【数３】
【０１８９】
但し、式（３）において、ｘn,kは、第ｋ画素の高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。
【０１９０】
式（３）（又は式（２））の予測誤差ｅkを０とするタップ係数ｗnが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのようなタップ係数ｗnを求めることは、一般には困難である。
【０１９１】
そこで、タップ係数ｗnが最適なものであることを表す規範（尺度）として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０１９２】
【数４】
【０１９３】
但し、式（４）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットの画素数（学習用の画素の数）を表す。
【０１９４】
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅをタップ係数ｗnで偏微分したものを０とするｗnによって与えられる。
【０１９５】
【数５】
【０１９６】
そこで、上述の式（３）をタップ係数ｗnで偏微分すると、次式が得られる。
【０１９７】
【数６】
【０１９８】
式（５）と（６）から、次式が得られる。
【０１９９】
【数７】
【０２００】
式（７）のｅkに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
【０２０１】
【数８】
【０２０２】
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数ｗnについて解くことができる。
【０２０３】
式（８）の正規方程式を、クラスごとにたてて解くことにより、最適なタップ係数（ここでは、自乗誤差の総和Ｅを最小にするタップ係数）ｗnを、クラスごとに求めることができる。
【０２０４】
タップ係数の学習は、第１のデータに相当する生徒データ（上述の場合には、低画質画像データ）と、第２のデータに相当する教師データ（上述の場合には、高画質画像データ）とを多数用意して、その生徒データ及び教師データを用いて行われる。
【０２０５】
すなわち、タップ係数の学習では、教師データのサンプルが、順次、注目サンプルとされ、その注目サンプルについて、生徒データから、予測タップとなる複数のサンプルと、クラスタップとなる複数のサンプルとが選択される。
【０２０６】
さらに、注目サンプルのクラス分類が、クラスタップを用いて行われ、そのクラスごとに、注目サンプル(ｙk)と、予測タップ(ｘ1,k，ｘ2,k，・・・，ｘN,k)とを用いて、式（８）の正規方程式がたてられる。
【０２０７】
そして、クラスごとの式（８）の正規方程式を解くことで、クラスごとのタップ係数が求められる。
【０２０８】
図５の係数出力部１０５には、以上のようなタップ係数の学習により求められるクラスごとのタップ係数が記憶されている。
【０２０９】
ここで、第１のデータに相当する生徒データと、第２のデータに相当する教師データとの選択の仕方によって、タップ係数としては、上述したように、各種の信号処理を行うものを得ることができる。
【０２１０】
すなわち、上述のように、高画質画像データを、第２のデータに相当する教師データとするとともに、その高画質画像データの画素数を少なくした低画質画像データを、第１のデータに相当する生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、低画質画像データである第１のデータを、その画素数を向上させた（サイズを大にした）高画質画像データである第２のデータに変換するリサイズ処理を行うものを得ることができる。
【０２１１】
また、例えば、高画質画像データを教師データとするとともに、その教師データとしての高画質画像データに対して、ノイズを重畳した画像データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、低S/Nの画像データである第１のデータを、そこに含まれるノイズを除去（低減）した高S/Nの画像データである第２のデータに変換するノイズ除去処理を行うものを得ることができる。
【０２１２】
さらに、例えば、サンプリングレートが高い音声データを教師データとするとともに、その教師データのサンプルを間引いた、サンプリングレートが低い音声データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、低サンプリングレートの音声データである第１のデータを、高サンプリングレートの音声データである第２のデータに変換する時間解像度創造処理を行うものを得ることができる。
【０２１３】
次に、図６及び図７を参照して、図２の設定部２１、及び編集部２２の処理について説明する。
【０２１４】
図６は、いわゆるライブ放送（生放送）が行われる場合の、設定部２１、及び編集部２２の処理を説明するフローチャートである。
【０２１５】
ズーム処理部７１iは、カメラ１１iから編集部２２に、素材コンテンツ#iの、例えば、１フレームの画像が供給されるのを待って、ステップＳ１１において、その１フレームの画像を受信することにより取得し、処理は、ステップＳ１２に進む。
【０２１６】
ステップＳ１２では、制御データ生成部６１が、ユーザI/F６０からの操作信号に応じて、素材コンテンツ#1と#2のそれぞれに対する加工パラメータや、タイミングパラメータを生成し、制御部６２に供給する。
【０２１７】
さらに、ステップＳ１２では、制御部６２が、例えば、制御データ生成部６１からの加工パラメータやタイミングパラメータを、入力制御部６３1及び６３2や、スイッチャ制御部６４、特殊効果制御部６５のうちの必要なブロックに設定し、処理は、ステップＳ１３に進む。
【０２１８】
ステップＳ１３では、編集部２２を構成するズーム処理部７１1及び７１2、画質調整部７２1及び７２2、入力選択部７３、並びに、特殊効果発生部７４が、制御データ生成部６１で生成された加工パラメータやタイミングパラメータに従い、ステップＳ１１で取得された画像に対して、画像の加工を含む編集処理を行う。
【０２１９】
すなわち、入力制御部６３iは、制御部６２から加工パラメータが設定された場合、その加工パラメータに従い、ズーム処理部７１i及び画質調整部７２iを制御する。
【０２２０】
また、スイッチャ制御部６４は、制御部６２からタイミングパラメータが設定された場合、その加工パラメータに従い、入力選択部７３を制御する。
【０２２１】
さらに、特殊効果制御部６５は、制御部６２から加工パラメータが設定された場合、その加工パラメータに従い、特殊効果発生部７４を制御する。
【０２２２】
ズーム処理部７１iは、入力制御部６３iの制御に従い、カメラ１１iからの素材コンテンツ#iの画像から、編集後コンテンツの画像として出力する抽出画像を抽出し、さらに、必要に応じて、その抽出画像を、編集後コンテンツの画像と一致するサイズの画像に変換して、画質調整部７２iに供給する。
【０２２３】
画質調整部７２iは、入力制御部６３iの制御に従い、ズーム処理部７１iからの素材コンテンツ#iの画像（抽出画像）の画質を調整し、入力選択部７３に供給する。
【０２２４】
入力選択部７３は、スイッチャ制御部６４の制御に従い、画質調整部７２1からの素材コンテンツ#1の画像、及び、画質調整部７２2からの素材コンテンツ#2の画像の中から、編集後コンテンツの画像として出力する画像を選択し、特殊効果発生部７４に供給する。
【０２２５】
特殊効果発生部７４は、特殊効果制御部６５の制御に従い、入力選択部７３から供給される１以上の画像に特殊効果を付し、その結果得られる画像を、編集後コンテンツ（標準コンテンツ）の画像として、モニタ２３に出力する。
【０２２６】
なお、ズーム処理部７１iや画質調整部７２iにおいて、上述のクラス分類適応処理を利用した各種の変換処理が行われる場合には、その各種の変換処理を行うのに用いられるタップ係数が、ズーム処理部７１iや画質調整部７２iに記憶される。そして、ズーム処理部７１iや画質調整部７２iが用いるべきタップ係数は、加工パラメータによって指定される。
【０２２７】
ステップＳ１３では、以上のような編集処理が行われるとともに、同期データが生成される。
【０２２８】
すなわち、カメラ１１iから編集部２２に供給される素材コンテンツ#iの１フレームの画像は、同期データ生成部６６にも供給される。
【０２２９】
同期データ生成部６６は、そこに供給される素材コンテンツ#iの１フレームの画像の同期データを生成し、制御データ記録部６７に供給して、処理は、ステップＳ１３からステップＳ１４に進む。
【０２３０】
ここで、コンテンツ制作者が、ユーザI/F６０の編集操作を行わなかった場合には、制御データ生成部６１は、その旨の加工パラメータ及びタイミングパラメータを生成するか、又は、加工パラメータ及びタイミングパラメータを生成しない。
【０２３１】
さらに、コンテンツ制作者が、ユーザI/F６０の編集操作を行わなかった場合には、編集部２２では、編集処理として、例えば、直前のフレームに対する処理と同様の処理が行われる。
【０２３２】
ステップＳ１４では、モニタ２３が、特殊効果発生部７４が出力する編集後コンテンツ（標準コンテンツ）の画像を表示し、処理は、ステップＳ１５に進む。
【０２３３】
以上のように、モニタ２３において、編集後コンテンツの画像が表示されることで、コンテンツ制作者は、編集後コンテンツの画像を確認することができる。
【０２３４】
ステップＳ１５では、制御データ生成部６１が、ステップＳ１２で生成した加工パラメータ（素材コンテンツ#1と#2のそれぞれに対する加工パラメータ）と、タイミングパラメータとを含む制御データ（標準制御データ）を生成し、制御データ記録部６７に供給して、処理は、ステップＳ１６に進む。
【０２３５】
ステップＳ１６では、制御データ記録部６７が、制御データ生成部６１から供給される制御データに、同期データ生成部６６から供給される同期データを対応付けて記録（記憶）し、さらに、その同期データと対応付けられた制御データ（標準制御データ）を、送信部２４3（図１）に出力して、処理は、ステップＳ１７に進む。
【０２３６】
ステップＳ１７では、ズーム処理部７１iが、カメラ１１iからの素材コンテンツ#iの画像が終了したかどうかを判定する。
【０２３７】
ステップＳ１７において、カメラ１１iからの素材コンテンツ#iの画像が終了していないと判定された場合、すなわち、カメラ１１iから編集部２２に対して、素材コンテンツ#iの、次の１フレームの画像が供給された場合、処理は、ステップＳ１１に戻り、以下、同様の処理が繰り返される。
【０２３８】
また、ステップＳ１７において、カメラ１１iからの素材コンテンツ#iの画像が終了したと判定された場合、すなわち、カメラ１１iから編集部２２に対して、素材コンテンツ#iの、次の１フレームの画像が供給されてこない場合、処理は終了する。
【０２３９】
なお、ライブ放送においては、カメラ１１iが出力する素材コンテンツ#iの画像は、送信部２４iによって、即座に送信され、制御データ記録部６７が出力する制御データは、送信部２４3によって、即座に送信される。
【０２４０】
図７は、いわゆる録画放送が行われる場合の、設定部２１、及び編集部２２の処理を説明するフローチャートである。
【０２４１】
ステップＳ３１ないしＳ３４では、図６のステップＳ１１ないしＳ１４とそれぞれ同様の処理が行われ、これにより、ステップＳ３４において、特殊効果発生部７４が出力する編集後コンテンツ（標準コンテンツ）の画像が、モニタ２３に表示される。
【０２４２】
そして、処理は、ステップＳ３４からステップＳ３５に進み、制御部６２は、ステップＳ３１で取得されたカメラ１１iからの素材コンテンツ#iの１フレームの画像に対する編集処理を終了するかどうかを判定する。
【０２４３】
ステップＳ３５において、素材コンテンツ#iの１フレームの画像に対する編集処理を終了しないと判定された場合、すなわち、ステップＳ３４でモニタ２３に表示された編集後コンテンツの画像を見たコンテンツ制作者が、その編集後コンテンツの画像に満足せず、別の編集処理を行うように、ユーザI/F６０の編集操作を新たに行った場合、処理は、ステップＳ３２に戻り、制御データ生成部６１は、コンテンツ制作者の新たな編集操作に対応してユーザI/F６０から供給される操作信号に応じ、加工パラメータや、タイミングパラメータを生成し、以下、同様の処理が繰り返される。
【０２４４】
また、ステップＳ３５において、素材コンテンツ#iの１フレームの画像に対する編集処理を終了すると判定された場合、すなわち、ステップＳ３４でモニタ２３に表示された編集後コンテンツの画像を見たコンテンツ制作者が、その編集後コンテンツの画像に満足して、例えば、編集処理を終了するように、又は、次の１フレームの画像の編集処理を行うように、ユーザI/F６０の操作を行った場合、処理は、ステップＳ３６に進む。
【０２４５】
ステップＳ３６では、制御データ生成部６１が、ステップＳ３２で生成した加工パラメータ（素材コンテンツ#1と#2のそれぞれに対する加工パラメータ）と、タイミングパラメータとを含む制御データ（標準制御データ）を生成し、制御データ記録部６７に供給する。さらに、ステップＳ３６では、制御データ記録部６７が、制御データ生成部６１から供給される制御データに、同期データ生成部６６から供給される同期データを対応付けて記録し、処理は、ステップＳ３７に進む。
【０２４６】
ステップＳ３７では、ズーム処理部７１iが、カメラ１１iからの素材コンテンツ#iの画像が終了したかどうかを判定する。
【０２４７】
ステップＳ３７において、カメラ１１iからの素材コンテンツ#iの画像が終了していないと判定された場合、すなわち、カメラ１１iから編集部２２に対して、素材コンテンツ#iの、次の１フレームの画像が供給された場合、処理は、ステップＳ３１に戻り、以下、同様の処理が繰り返される。
【０２４８】
また、ステップＳ３７において、カメラ１１iからの素材コンテンツ#iの画像が終了したと判定された場合、すなわち、カメラ１１iから編集部２２に対して、素材コンテンツ#iの、次の１フレームの画像が供給されてこない場合、処理は、ステップＳ３８に進む。
【０２４９】
ステップＳ３８では、制御データ記録部６７が、同期データを対応付けて記録した制御データ（標準制御データ）を、送信部２４3（図１）に出力して、処理は終了する。
【０２５０】
なお、録画放送においては、その放送時刻となると、カメラ１１iが出力した素材コンテンツ#iの画像が、送信部２４iによって送信されるとともに、制御データ記録部６７が出力した制御データが、送信部２４3によって送信される。
【０２５１】
次に、図８は、図１の再生部５２の構成例を示している。
【０２５２】
図８において、再生部５２は、設定部１２１、及び、編集部１２２等から構成される。
【０２５３】
設定部１２１は、制御データ入力I/F１５１、ネットワークI/F１５２、外部メディアI/F１５３、選択部１５４、制御データ生成部１６１、制御部１６２、入力制御部１６３1及び１６３2、スイッチャ制御部１６４、特殊効果制御部１６５、同期データ生成部１６６、並びに、制御データ記録部１６７等から構成され、制御データを受信し、その制御データに従い、編集部１２２を制御する。
【０２５４】
また、設定部１２１は、受信側装置２（図１）のユーザ（エンドユーザ）による、編集を指示するユーザI/F４３の編集操作に応じて、新たな加工パラメータ、及び、新たなタイミングパラメータを生成し、その新たな加工パラメータ、及び、新たなタイミングパラメータに従い、編集部１２２を制御する。
【０２５５】
すなわち、制御データ入力I/F１５１には、受信部５１3（図１）から再生部５２に供給される制御データ（標準制御データ）が供給される。制御データ入力I/F１５１は、受信部５１3からの制御データを受信し、選択部１５４に供給する。
【０２５６】
ネットワークI/F１５２は、ネットワーク上のサーバから、制御データをダウンロードして受信し、選択部１５４に供給する。
【０２５７】
外部メディアI/F１５３には、外部メディア４４（図１）が装着される。外部メディアI/F１５３は、そこに装着された外部メディア４４から制御データを読み出して受信し、選択部１５４に供給する。
【０２５８】
ここで、放送装置１２で生成された制御データは、上述したように、放送装置１２から送信する他、ネットワーク上のサーバにアップロードすることや、外部メディア４４に記録して配布することができる。
【０２５９】
また、受信側装置２のユーザや、他のユーザが編集操作を行うことにより生成される制御データも、同様に、ネットワーク上のサーバにアップロードすることや、外部メディア４４に記録することができる。
【０２６０】
さらに、制御データ入力I/F１５１やネットワークI/F１５２が受信した制御データは、外部メディア４４に記録することができる。
【０２６１】
ネットワークI/F１５２によれば、上述のように、ネットワーク上のサーバにアップロードされた制御データをダウンロードすることができる。
【０２６２】
また、外部メディアI/F１５３によれば、上述のように、外部メディア４４に記録された制御データを読み出すことができる。
【０２６３】
選択部１５４には、上述したように、制御データ入力I/F１５１、ネットワークI/F１５２、及び外部メディアI/F１５３のそれぞれから制御データが供給される他、ユーザI/F４３から、ユーザの操作に応じた操作信号が供給される。
【０２６４】
選択部１５４は、ユーザI/F４３からの操作信号等に従い、制御データ入力I/F１５１、ネットワークI/F１５２、及び外部メディアI/F１５３のうちのいずれかからの制御データを選択し、制御データ生成部１６１に供給する。
【０２６５】
また、選択部１５４は、ユーザI/F４３から、編集操作に対応する操作信号（以下、編集操作信号ともいう）が供給された場合、その編集操作信号を優先的に選択して、制御データ生成部１６１に供給する。
【０２６６】
制御データ生成部１６１には、選択部１５４から制御データや操作信号が供給される他、同期データ生成部１６６から同期データが供給される。
【０２６７】
ここで、選択部１５４から制御データ生成部１６１に供給される制御データには、例えば、放送装置１２において、上述したように、同期データが対応付けられている。この制御データに対応付けられている同期データを、制御同期データともいう。
【０２６８】
また、同期データ生成部１６６から制御データ生成部１６１に供給される同期データを、生成同期データともいう。
【０２６９】
制御データ生成部１６１は、選択部１５４から制御データが供給される場合には、その選択部１５４からの制御データを、制御データ記録部１６７に供給する。
【０２７０】
さらに、制御データ生成部１６１は、選択部１５４からの制御データの中から、同期データ生成部１６６からの生成同期データに一致する制御同期データに対応付けられた制御データを検出し、その制御データに含まれる加工パラメータ、及びタイミングパラメータを、制御部１６２に供給する。
【０２７１】
また、制御データ生成部１６１は、選択部１５４から操作信号（編集操作信号）が供給される場合には、図２の制御データ生成部６１と同様に、選択部１５４からの操作信号に応じて、素材コンテンツ#1と#2のそれぞれに対する新たな加工パラメータを生成するとともに、新たなタイミングパラメータを生成する。さらに、制御データ生成部１６１は、その新たな加工パラメータ、及び新たなタイミングパラメータを含む新たな制御データを生成する。
【０２７２】
そして、制御データ生成部１６１は、新たな加工パラメータ及び新たなタイミングパラメータを、制御部１６２に供給するとともに、新たな制御データを、制御データ記録部１６７に供給する。
【０２７３】
ここで、制御データ生成部１６１が、選択部１５４からの操作信号に応じて生成する新たな制御データ、並びに、その新たな制御データに含まれる新たな加工パラメータ、及び新たなタイミングパラメータに対して、選択部１５４から制御データ生成部１６１に供給される制御データ、並びに、その制御データに含まれる加工パラメータ、及びタイミングパラメータを、それぞれ、既生成制御データ、並びに、既生成加工パラメータ、及び既生成タイミングパラメータともいう。
【０２７４】
制御部１６２は、図２の制御部６２と同様に、設定部１２１を構成する各部を制御する。
【０２７５】
すなわち、制御部１６２は、例えば、制御データ生成部１６１からの加工パラメータやタイミングパラメータに従い、入力制御部１６３1及び１６３2や、スイッチャ制御部１６４、特殊効果制御部１６５を制御する。
【０２７６】
また、制御部１６２は、例えば、制御データ生成部１６１を制御する。
【０２７７】
入力制御部１６３1は、図２の入力制御部６３1と同様に、制御部１６２の制御に従い、編集部１２２を構成するズーム処理部１７１1及び画質調整部１７２1を制御する。
【０２７８】
入力制御部１６３2は、図２の入力制御部６３2と同様に、制御部１６２の制御に従い、編集部１２２を構成するズーム処理部１７１2及び画質調整部１７２2を制御する。
【０２７９】
スイッチャ制御部１６４は、図２のスイッチャ制御部６４と同様に、制御部１６２の制御に従い、編集部１２２を構成する入力選択部１７３を制御する。
【０２８０】
特殊効果制御部１６５は、図２の特殊効果制御部６５と同様に、制御部１６２の制御に従い、編集部１２２を構成する特殊効果発生部１７４を制御する。
【０２８１】
同期データ生成部１６６は、図２の同期データ生成部６６と同様に、同期データを生成し、制御データ生成部１６１、及び、制御データ記録部１６７に供給する。
【０２８２】
すなわち、同期データ生成部１６６には、受信部５１1（図１）から再生部５２に供給される素材コンテンツ#1の画像と、受信部５１2から再生部５２に供給される素材コンテンツ#2の画像とが、編集部１２２を構成するコンテンツI/F１７０から供給されるようになっている。
【０２８３】
同期データ生成部１６６は、素材コンテンツ#1の画像の各フレーム（又はフィールド）を識別する情報を、同期データとして生成し、フレームごとの同期データを、制御データ記録部１６７に供給する。
【０２８４】
さらに、同期データ生成部１６６は、素材コンテンツ#2の画像についても、同期データを生成し、制御データ記録部１６７に供給する。
【０２８５】
制御データ記録部１６７は、制御データ生成部１６１から供給される制御データに、同期データ生成部１６６から供給される同期データを対応付けて記録（記憶）する。
【０２８６】
すなわち、制御データ記録部１６７は、制御データ生成部１６１から、新たな制御データが供給される場合には、図２の制御データ記録部６７と同様に、新たな制御データに、同期データ生成部１６６からの同期データを対応付けて、内蔵する記録媒体（図示せず）や、外部メディア４４等に記録する。
【０２８７】
なお、制御データ記録部１６７は、制御データ生成部１６１から、既生成制御データが供給される場合には、既生成制御データには、既に、同期データが対応付けられているため、その同期データと対応付けられている既生成制御データを記録する。
【０２８８】
編集部１２２は、コンテンツI/F１７０、ズーム処理部１７１1及び１７１2、画質調整部１７２1及び１７２2、入力選択部１７３、並びに、特殊効果発生部１７４等から構成される。
【０２８９】
編集部１２２は、受信部５１1から再生部５２に供給される素材コンテンツ#1の画像、及び、受信部５１2から再生部５２に供給される素材コンテンツ#2の画像を受信し、設定部１２１で受信された制御データに含まれる加工パラメータ、及びタイミングパラメータ等に従い、素材コンテンツ#1及び#2を編集し、編集後コンテンツの画像を生成して、モニタ４２に出力する。
【０２９０】
すなわち、コンテンツI/F１７０は、受信部５１1から再生部５２に供給される素材コンテンツ#1の画像、及び、受信部５１2から再生部５２に供給される素材コンテンツ#2の画像を受信し、素材コンテンツ#1を、ズーム処理部１７１1に供給するとともに、素材コンテンツ#2を、ズーム処理部１７１2に供給する。
【０２９１】
また、コンテンツI/F１７０は、素材コンテンツ#1及び#2を、同期データ生成部１６６に供給する。
【０２９２】
ズーム処理部１７１iは、図２のズーム処理部７１iと同様に、入力制御部１６３iの制御に従い、コンテンツI/F１７０からの素材コンテンツ#iの画像から、編集後コンテンツの画像として出力する抽出画像を抽出する加工を行う。
【０２９３】
さらに、ズーム処理部１７１iは、図２のズーム処理部７１iと同様に、抽出画像のサイズを変更する加工（リサイズ）を、必要に応じて行い、これにより、抽出画像を、編集後コンテンツの画像と一致するサイズの画像に変換して、画質調整部１７２iに供給する。
【０２９４】
画質調整部１７２iは、図２の画質調整部７２iと同様に、入力制御部１６３iの制御に従い、ズーム処理部１７１iからの素材コンテンツ#iの画像（抽出画像）の画質を調整する加工を行い、その結果得られる素材コンテンツ#iの画像を、入力選択部１７３に供給する。
【０２９５】
なお、ズーム処理部１７１i、及び、画質調整部１７２iでの、素材コンテンツ#iの画像に対する加工の内容は、図２の場合と同様に、制御データ生成部１６１から制御部１６２に供給される、素材コンテンツ#iに対する加工パラメータによって決まる。
【０２９６】
入力選択部１７３は、図２の入力選択部７３と同様に、スイッチャ制御部１６４の制御に従い、画質調整部１７２1からの素材コンテンツ#1の画像、及び、画質調整部１７２2からの素材コンテンツ#2の画像の中から、編集後コンテンツの画像として出力する画像を選択し、特殊効果発生部１７４に供給する。
【０２９７】
ここで、入力選択部１７３で選択される画像は、図２の場合と同様に、制御データ生成部１６１から制御部１６２に供給されるタイミングパラメータによって決まる。
【０２９８】
特殊効果発生部１７４は、図２の特殊効果発生部７４と同様に、特殊効果制御部１６５の制御に従い、入力選択部１７３から供給される１以上の画像に特殊効果を付す加工を行い、その結果得られる画像を、編集後コンテンツの画像として出力する。
【０２９９】
ここで、特殊効果発生部１７４での加工の内容、つまり、画像に付す特殊効果の内容は、図２の場合と同様に、制御データ生成部１６１から制御部１６２に供給される、素材コンテンツ#iに対する加工パラメータによって決まる。
【０３００】
特殊効果発生部１７４が出力する編集後コンテンツの画像は、モニタ４２に供給されて表示される。
【０３０１】
ここで、以上のように構成される編集部１２２では、設定部１２１で受信された既生成制御データに含まれる既生成加工パラメータ、及び既生成タイミングパラメータに従い、素材コンテンツ#1及び#2の編集が行われる他、ユーザによる、ユーザI/F４３の編集操作にも従い、素材コンテンツ#1及び#2の編集が行われる。
【０３０２】
すなわち、上述したように、設定部１２１において、選択部１５４は、ユーザI/F４３から、編集操作に対応する編集操作信号が供給された場合には、その編集操作信号を優先的に選択して、制御データ生成部１６１に供給する。
【０３０３】
制御データ生成部１６１は、選択部１５４から編集操作信号が供給される場合には、その編集操作信号に応じて、新たな加工パラメータや新たなタイミングパラメータを生成し、制御部１６２に供給する。
【０３０４】
この場合、制御部１６２は、制御データ生成部１６１からの新たな加工パラメータや新たなタイミングパラメータに従い、入力制御部１６３1及び１６３2や、スイッチャ制御部１６４、特殊効果制御部１６５を制御し、編集部１２２では、その制御に従って、素材コンテンツ#1及び#2の編集が行われる。
【０３０５】
したがって、編集部１２２では、ユーザI/F４３の編集操作がされた場合には、既生成制御データに含まれる既生成加工パラメータ、及び既生成タイミングパラメータに代えて、編集操作に応じて生成される新たな加工パラメータ、及び、新たなタイミングパラメータに従い、編集が行われる。
【０３０６】
次に、図９を参照して、図８の再生部５２の処理について説明する。
【０３０７】
なお、放送装置１２（図１）では、標準制御データを、素材コンテンツ#1及び#2とともに送信するのではなく、例えば、ネットワーク上のサーバにアップロードし、再生部５２では、ネットワークI/F１５２によって、ネットワーク上のサーバから、標準制御データをダウンロードすることによって受信することができるが、ここでは、標準制御データは、素材コンテンツ#1及び#2とともに、放送装置１２から送信されてくることとする。
【０３０８】
放送装置１２から送信されてくる素材コンテンツ#1及び#2、並びに制御データ（標準制御データ）は、受信装置４１で受信される。
【０３０９】
すなわち、受信部５１1は、素材コンテンツ#1を受信し、再生部５２に供給する。受信部５１2は、素材コンテンツ#2を受信し、再生部５２に供給する。また、受信部５１3は、標準制御データを受信し、再生部５２に供給する。
【０３１０】
再生部５２では、ステップＳ５１において、コンテンツI/F１７０が、受信部５１iから素材コンテンツ#i(i＝1,2)の１フレームの画像が供給されるのを待って、その素材コンテンツ#iの１フレームの画像を受信することにより取得し、ズーム処理部１７１iと同期データ生成部１６６に供給する。
【０３１１】
また、再生部５２では、制御データ入力I/F１５１が、受信部５１3から供給される制御データを受信することにより取得し、選択部１５４に供給する。
【０３１２】
その他、ネットワークI/F１５２や外部メディアI/F１５３も、可能であれば、制御データを受信し、選択部１５４に供給する。
【０３１３】
その後、処理は、ステップＳ５１からステップＳ５２に進み、同期データ生成部６６は、コンテンツI/F１７０から供給される素材コンテンツ#iの１フレームの画像の同期データ（生成同期データ）を生成し、制御データ生成部１６１、及び、制御データ記録部１６７に供給して、処理は、ステップＳ５３に進む。
【０３１４】
ステップＳ５３では、選択部１５４が、ユーザI/F４３の直前の操作が、編集操作であるかどうかを判定する。
【０３１５】
ステップＳ５３において、ユーザI/F４３の直前の操作が、編集操作であると判定された場合、すなわち、ユーザI/F４３から選択部１５４に直前に供給された操作信号が、編集操作信号である場合、処理は、ステップＳ５４に進み、選択部１５４は、ユーザI/F４３からの直前の編集操作信号を選択し、制御データ生成部１６１に供給して、処理は、ステップＳ５５に進む。
【０３１６】
ステップＳ５５では、制御データ生成部１６１が、ユーザI/F４３からの編集操作信号に応じて、素材コンテンツ#1と#2のそれぞれに対する新たな加工パラメータや、新たなタイミングパラメータを生成し、制御部１６２に供給する。
【０３１７】
制御部１６２は、例えば、制御データ生成部１６１からの新たな加工パラメータや新たなタイミングパラメータを、入力制御部１６３1及び１６３2や、スイッチャ制御部１６４、特殊効果制御部１６５のうちの必要なブロックに設定する。
【０３１８】
さらに、ステップＳ５５では、制御データ生成部１６１は、新たな加工パラメータと新たなタイミングパラメータを含む新たな制御データを生成し、制御データ記録部１６７に供給して、処理は、ステップＳ６１に進む。
【０３１９】
ステップＳ６１では、編集部１２２を構成するズーム処理部１７１1及び１７１2、画質調整部１７２1及び１７２2、入力選択部１７３、並びに、特殊効果発生部１７４が、制御データ生成部１６１で生成された新たな加工パラメータや新たなタイミングパラメータに従い、ステップＳ５１で取得された画像に対して、図６のステップＳ１３の場合と同様の、画像の加工を含む編集処理を行う。
【０３２０】
すなわち、入力制御部１６３iは、制御部１６２から新たな加工パラメータが設定された場合、その新たな加工パラメータに従い、ズーム処理部１７１i及び画質調整部１７２iを制御する。
【０３２１】
また、スイッチャ制御部１６４は、制御部１６２から新たなタイミングパラメータが設定された場合、その新たなタイミングパラメータに従い、入力選択部１７３を制御する。
【０３２２】
さらに、特殊効果制御部１６５は、制御部１６２から新たな加工パラメータが設定された場合、その新たな加工パラメータに従い、特殊効果発生部１７４を制御する。
【０３２３】
ズーム処理部１７１iは、入力制御部１６３iの制御に従い、コンテンツI/F１７０からの素材コンテンツ#iの画像から、編集後コンテンツの画像として出力する抽出画像を抽出し、さらに、必要に応じて、その抽出画像を、編集後コンテンツの画像と一致するサイズの画像に変換して、画質調整部１７２iに供給する。
【０３２４】
画質調整部１７２iは、入力制御部１６３iの制御に従い、ズーム処理部１７１iからの素材コンテンツ#iの画像（抽出画像）の画質を調整し、入力選択部１７３に供給する。
【０３２５】
入力選択部１７３は、スイッチャ制御部１６４の制御に従い、画質調整部１７２1からの素材コンテンツ#1の画像、及び、画質調整部１７２2からの素材コンテンツ#2の画像の中から、編集後コンテンツの画像として出力する画像を選択し、特殊効果発生部１７４に供給する。
【０３２６】
特殊効果発生部１７４は、特殊効果制御部１６５の制御に従い、入力選択部１７３から供給される１以上の画像に特殊効果を付し、その結果得られる画像を、編集後コンテンツの画像として、モニタ４２に出力する。
【０３２７】
なお、ズーム処理部１７１iや画質調整部１７２iにおいて、上述のクラス分類適応処理を利用した各種の変換処理が行われる場合には、その各種の変換処理を行うのに用いられるタップ係数が、ズーム処理部１７１iや画質調整部１７２iに記憶される。そして、ズーム処理部１７１iや画質調整部１７２iが用いるべきタップ係数は、加工パラメータによって指定される。
【０３２８】
その後、処理は、ステップＳ６１からステップＳ６２に進み、モニタ４２において、特殊効果発生部１７４が出力する編集後コンテンツの画像（編集後画像）が表示され、処理は、ステップＳ６３に進む。
【０３２９】
以上のように、ユーザI/F４３の編集操作が行われた場合には、その編集操作に応じて、素材コンテンツ#1及び#2の画像の編集が行われ、その結果得られる編集後コンテンツの画像が、モニタ４２に表示される。
【０３３０】
したがって、ユーザは、放送装置１２での編集の結果得られる標準コンテンツの画像ではなく、素材コンテンツ#1及び#2を対象とした自由度の高い編集をすることができるので、編集の自由度を向上させ、ユーザにとって適切なコンテンツを提供することができる。
【０３３１】
また、加工パラメータは、ユーザI/F４３の編集操作に応じて、素材コンテンツごとに生成されるので、編集後コンテンツの素材となる関係にある複数の素材コンテンツ（ここでは、素材コンテンツ#1及び#2）のそれぞれについて、画質の調整等の自由度が高くなり、最適な調整を行うことができる。
【０３３２】
ステップＳ６３では、制御データ記録部１６７は、制御データの記録が必要であるかどうかを判定する。
【０３３３】
ステップＳ６３において、制御データの記録が必要であると判定された場合、すなわち、例えば、ユーザが、ユーザI/F４３を操作することにより、制御データの記録を行うことが、再生部５２に設定されている場合、処理は、ステップＳ６４に進み、制御データ記録部１６７は、直前のステップＳ６１での編集処理に用いられた制御データ、すなわち、いまの場合、制御データ生成部１６１から供給された新たな制御データを、同期データ生成部１６６から供給される同期データと対応付けて、例えば、外部メディア４４（図１）に記録し、処理は、ステップＳ６５に進む。
【０３３４】
ここで、以上のように、新たな制御データを、同期データと対応付けて外部メディア４４に記録することにより、その後は、その外部メディア４４に記録された制御データに従い、編集部１２２での編集を行うことが可能となるので、ユーザは、再度、同様の編集操作を行わずに済む。
【０３３５】
一方、ステップＳ５３において、ユーザI/F４３の直前の操作が、編集操作でないと判定された場合、処理は、ステップＳ５６に進み、選択部１５４は、ユーザI/F４３の直前の操作が、編集操作の解除を指示する解除操作であるかどうかを判定する。
【０３３６】
ステップＳ５６において、ユーザI/F４３の直前の操作が、解除操作でないと判定された場合、処理は、ステップＳ５７に進み、選択部１５４は、ユーザI/F４３の直前の操作が、制御データを指定する指定操作であるかどうかを判定する。
【０３３７】
ステップＳ５７において、ユーザI/F４３の直前の操作が、指定操作であると判定された場合、すなわち、ユーザI/F４３から選択部１５４に直前に供給された操作信号が、指定操作に対応する操作信号である場合、処理は、ステップＳ５８に進み、選択部１５４は、制御データ入力I/F１５１、ネットワークI/F１５２、及び外部メディアI/F１５３それぞれから供給される制御データのうちの、ユーザI/F４３の直前の指定操作で指定された制御データ（以下、指定制御データともいう）を選択し、制御データ生成部１６１に供給して、処理は、ステップＳ６０に進む。
【０３３８】
ステップＳ６０では、同期データ生成部１６６で生成された生成同期データに応じて、選択部１５４からの指定制御データに含まれる加工パラメータ、及びタイミングパラメータの設定が行われる。
【０３３９】
すなわち、ステップＳ６０では、制御データ生成部１６１は、選択部１５４からの指定制御データの中から、同期データ生成部１６６からの生成同期データに一致する制御同期データに対応付けられた既生成制御データを検出し、その既生成制御データに含まれる既生成加工パラメータ、及び既生成タイミングパラメータを、制御部１６２に供給する。
【０３４０】
制御部１６２は、例えば、制御データ生成部１６１からの既生成加工パラメータや既生成タイミングパラメータを、入力制御部１６３1及び１６３2や、スイッチャ制御部１６４、特殊効果制御部１６５のうちの必要なブロックに設定する。
【０３４１】
さらに、ステップＳ６０では、制御データ生成部１６１は、選択部１５４からの既生成制御データを、制御データ記録部１６７に供給して、処理は、ステップＳ６１に進む。
【０３４２】
この場合、ステップＳ６１では、編集部１２２を構成するズーム処理部１７１1及び１７１2、画質調整部１７２1及び１７２2、入力選択部１７３、並びに、特殊効果発生部１７４が、制御データ生成部１６１で検出された既生成制御データに含まれる既生成加工パラメータや既生成タイミングパラメータに従い、ステップＳ５１で取得された画像に対して、図６のステップＳ１３の場合と同様の、画像の加工を含む編集処理を行う。
【０３４３】
編集部１２２での編集処理によって得られる編集後コンテンツの画像は、編集部１２２（の特殊効果発生部１７４）から、モニタ４２に出力される。
【０３４４】
その後、処理は、ステップＳ６１からステップＳ６２に進み、モニタ４２において、編集部１２２からの編集後コンテンツの画像が表示され、処理は、ステップＳ６３に進む。
【０３４５】
以上のように、ユーザI/F４３の指定操作が行われた場合には、その指定操作によって指定された既生成制御データに含まれる既生成加工パラメータや既生成タイミングパラメータに従い、素材コンテンツ#1及び#2の画像の編集が行われ、その結果得られる編集後コンテンツの画像が、モニタ４２に表示される。
【０３４６】
したがって、例えば、上述したように、編集操作に応じて生成された新たな制御データが、過去に行われたステップＳ６４で、外部メディア４４（図１）に記録され、既生成制御データとして存在する場合には、ユーザは、その既生成制御データを、指定操作によって指定することで、過去に行った編集操作によって得られる編集後コンテンツの画像を視聴することができる。但し、この場合、その編集後コンテンツを得る編集に必要な素材コンテンツ#1及び#2も記録しておき、再生部５２に供給する必要がある。
【０３４７】
また、例えば、制御データ入力I/F１５１で受信された標準制御データが、過去に行われたステップＳ６４で、外部メディア４４に記録され、既生成制御データとして存在する場合には、ユーザは、その既生成制御データを、指定操作によって指定することで、過去に受信した標準制御データに従った編集によって得られる編集後コンテンツの画像を視聴することができる。但し、この場合も、その編集後コンテンツを得る編集に必要な素材コンテンツ#1及び#2も記録しておき、再生部５２に供給する必要がある。
【０３４８】
ステップＳ６３では、上述したように、制御データ記録部１６７が、制御データの記録が必要であるかどうかを判定し、制御データの記録が必要であると判定した場合には、処理は、ステップＳ６４に進む。
【０３４９】
ステップＳ６４では、制御データ記録部１６７は、直前のステップＳ６１での編集処理に用いられた制御データ、すなわち、いまの場合、制御データ生成部１６１から供給される、同期データと対応付けられている既生成制御データを、例えば、外部メディア４４に記録し、処理は、ステップＳ６５に進む。
【０３５０】
ここで、例えば、標準制御データが、指定操作によって指定されると、ステップＳ６４では、標準制御データが、外部メディア４４に記録される。
【０３５１】
また、例えば、標準制御データを指定する指定操作後に、ユーザによって編集操作がされると、ステップＳ６４では、編集操作に応じて生成された新たな制御データが、標準制御データに代えて、外部メディア４４に記録される。
【０３５２】
この場合、外部メディア４４には、標準制御データと、編集操作に応じて生成された新たな制御データとが、いわば混在した（合成された）状態で、既生成制御データとして記録されることになる
【０３５３】
このような、標準制御データと新たな制御データとが混在した状態の既生成制御データが、指定操作によって指定された場合には、編集部１２２では、標準制御データに対応付けられている同期データによって識別されるフレームについては、その標準制御データに含まれる加工パラメータ及びタイミングパラメータに従った編集が行われ、新たな制御データに対応付けられている同期データによって識別されるフレームについては、その新たな制御データに含まれる加工パラメータ及びタイミングパラメータに従った編集が行われる。
【０３５４】
したがって、この場合、一部は、コンテンツ制作者が行った編集により得られる画像となり、残りは、ユーザが行った編集操作に応じた編集により得られる画像となった編集後コンテンツの画像が得られる。
【０３５５】
一方、ステップＳ５６において、ユーザI/F４３の直前の操作が、編集操作の解除を指示する解除操作であると判定された場合、すなわち、ユーザI/F４３から選択部１５４に直前に供給された操作信号が、解除操作に対応する操作信号である場合、処理は、ステップＳ５９に進み、選択部１５４は、制御データ入力I/F１５１、ネットワークI/F１５２、及び外部メディアI/F１５３それぞれから供給される制御データのうちの、解除操作で解除が指示される直前の指定操作で指定されていた制御データを、指定制御データとして選択する。
【０３５６】
ここで、解除操作で解除が指示される前に、指定操作が行われていない場合には、ステップＳ５９では、選択部１５４は、例えば、制御データ入力I/F１５１から供給される標準制御データを、指定制御データとして選択する。
【０３５７】
ステップＳ５９において、選択部１５４は、指定制御データを選択すると、その指定制御データを、制御データ生成部１６１に供給して、処理は、ステップＳ６０に進み、以下、同様の処理が行われる。
【０３５８】
また、ステップＳ５７において、ユーザI/F４３の直前の操作が、指定操作でないと判定された場合、すなわち、ユーザI/F４３の直前の操作が、編集操作、解除操作、及び指定操作のうちのいずれでもない場合、処理は、ステップＳ５９に進む。
【０３５９】
この場合、ステップＳ５９では、選択部１５４は、制御データ入力I/F１５１から供給される標準制御データを、指定制御データとして選択し、以下、同様の処理が行われる。
【０３６０】
したがって、例えば、最初に、ユーザが、ユーザI/F４３を操作していない状態では、編集部１２２では、制御データ入力I/F１５１で受信される標準制御データに含まれる加工パラメータ、及びタイミングパラメータに従った編集が行われる。その結果、モニタ４２では、コンテンツ制作者の意図が反映された標準コンテンツの画像が、編集後コンテンツの画像として表示される。
【０３６１】
その後、ユーザが、ユーザI/F４３の編集操作を行うと、編集部１２２では、標準制御データに含まれる加工パラメータ、及びタイミングパラメータに代えて、編集操作に応じて生成される新たな加工パラメータ、及び新たなタイミングパラメータに従った編集が行われる。その結果、モニタ４２では、ユーザの好みのコンテンツの画像が、編集後コンテンツの画像として表示される。
【０３６２】
さらに、その後、ユーザが、ユーザI/F４３の解除操作を行うと、編集部１２２では、編集操作に応じて生成される新たな加工パラメータ、及び新たなタイミングパラメータに代えて、編集操作を行う直前に用いられていた制御データ、すなわち、いまの場合、標準制御データに含まれる加工パラメータ、及びタイミングパラメータに従った編集が、再び行われる。その結果、モニタ４２には、再び、標準コンテンツの画像が、編集後コンテンツの画像として表示される。
【０３６３】
したがって、編集部１２２では、ユーザが編集操作を行うと、その編集操作に従った編集が行われ、解除操作を行うと、コンテンツ制作者の意図に即した編集が行われる。
【０３６４】
一方、ステップＳ６３において、制御データの記録が必要でないと判定された場合、すなわち、制御データの記録を行うことが、再生部５２に設定されていない場合、処理は、ステップＳ６４をスキップして、ステップＳ６５に進む。
【０３６５】
ステップＳ６５では、制御部１６２が、編集後コンテンツの再生を終了するかどうかを判定する。
【０３６６】
ステップＳ６５において、編集後コンテンツの再生を終了しないと判定された場合、すなわち、例えば、ユーザが、編集後コンテンツの再生を終了するように、ユーザI/F４３を操作していない場合、処理は、ステップＳ５１に戻る。
【０３６７】
また、ステップＳ６５において、編集後コンテンツの再生を終了すると判定された場合、すなわち、例えば、ユーザが、編集後コンテンツの再生を終了するように、ユーザI/F４３を操作した場合、処理は終了する。
【０３６８】
以上のように、放送装置１２では、制御データ生成部６１（図２）において、複数のコンテンツとしての素材コンテンツ#1及び#2のそれぞれを加工するための、素材コンテンツ#1及び#2のそれぞれごとの加工パラメータと、素材コンテンツ#1及び#2を、編集後のコンテンツである編集後コンテンツとして出力する出力タイミングを表すタイミングパラメータとを生成し、編集部２２において、加工パラメータ、及びタイミングパラメータに従い、素材コンテンツ#1及び#2を編集して、編集後コンテンツを生成する。
【０３６９】
さらに、放送装置１２では、制御データ記録部６７において、加工パラメータ、及びタイミングパラメータを含み、素材コンテンツ#1及び#2を編集して、編集後コンテンツを生成するのに用いられる制御データを出力し、送信部２４1（図１）において素材コンテンツ#1が、送信部２４2において素材コンテンツ#2が、送信部２４3において制御データ（標準制御データ）が、それぞれ送信される。
【０３７０】
一方、受信装置４１では、再生部５２（図８）のコンテンツI/F１７０において、放送装置１２からの素材コンテンツ#1及び#2を受信するとともに、制御データ入力I/F１５１や、ネットワークI/F１５２、外部メディアI/F１５３において、放送装置１２からの標準制御データを受信する。
【０３７１】
さらに、受信装置４１では、再生部５２の編集部１２２において、標準制御データに含まれる加工パラメータ、及びタイミングパラメータに従い、素材コンテンツ#1及び#2を編集し、編集後コンテンツ（標準コンテンツ）を生成する。
【０３７２】
したがって、受信装置４１では、素材コンテンツ#1及び#2のそれぞれごとの加工パラメータに従って、素材コンテンツ#1及び#2を加工する編集が行われるので、編集の自由度を向上させることができる。
【０３７３】
さらに、受信装置４１では、ユーザによる、編集を指示する編集操作が行われた場合には、再生部５２の設定部１２１において、制御データ生成部１６１（図８）が、ユーザによる編集操作に応じて、新たな加工パラメータ、及び、新たなタイミングパラメータを生成し、編集部１２２において、標準制御データに含まれる加工パラメータ、及びタイミングパラメータに代えて、新たな加工パラメータ、及び、新たなタイミングパラメータに従い、編集を行うので、ユーザは、自由度の高い編集を行うことができ、そのような自由度の高い編集の結果、ユーザにとって適切なコンテンツの提供を受けることができる。
【０３７４】
また、受信装置４１では、ユーザによる、編集操作の解除を指示する解除操作が行われた場合には、編集部１２２において、新たな加工パラメータ、及び、新たなタイミングパラメータに代えて、例えば、再び、標準制御データに含まれる加工パラメータ、及びタイミングパラメータに従い、編集を行うので、ユーザは、一部については、コンテンツ制作者による編集が反映され、残りについては、ユーザによる編集が反映された編集後コンテンツを楽しむことができる。
【０３７５】
すなわち、ユーザは、素材コンテンツ#1及び#2の編集を、すべて、自分自身で行う必要はなく、一部については、コンテンツ制作者による編集結果を利用して行うことができる。
【０３７６】
なお、放送装置１２、及び受信装置４１では、上述したように、画像の編集の他、音声の編集も行うことができる。
【０３７７】
また、放送装置１２、及び受信装置４１では、２つの素材コンテンツ#1及び#2を編集の対象としたが、編集の対象とする複数の素材コンテンツは、３つ以上の素材コンテンツとすることができる。
【０３７８】
さらに、放送装置１２、及び受信装置４１では、複数の素材コンテンツのうちの１つをテロップとして、他の素材コンテンツの画像に、テロップを重畳する加工を含む編集を行うことができる。
【０３７９】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０３８０】
そこで、図１０は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０３８１】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やROM２０３に予め記録しておくことができる。
【０３８２】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０３８３】
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２０８で受信し、内蔵するハードディスク２０５にインストールすることができる。
【０３８４】
コンピュータは、CPU(Central Processing Unit)２０２を内蔵している。CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されており、CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、また、CPU２０２は、ハードディスク２０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２０８で受信されてハードディスク２０５にインストールされたプログラム、またはドライブ２０９に装着されたリムーバブル記録媒体２１１から読み出されてハードディスク２０５にインストールされたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
【０３８５】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０３８６】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。
【０３８７】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【０３８８】
すなわち、本実施の形態では、本発明を放送システムに適用した場合について説明したが、本発明は、その他、例えば、インターネット等のネットワークを介してデータを送信する通信システムにも適用可能である。
【図面の簡単な説明】
【０３８９】
【図１】本発明を適用した放送システムの一実施の形態の構成例を示す図である。
【図２】設定部２１、及び編集部２２の構成例を示すブロック図である。
【図３】抽出ウインドウと素材画像#iを示す図である。
【図４】ズーム処理部７１iの処理を説明する図である。
【図５】変換装置の構成例を示すブロック図である。
【図６】設定部２１、及び編集部２２の処理を説明するフローチャートである。
【図７】設定部２１、及び編集部２２の処理を説明するフローチャートである。
【図８】再生部５２の構成例を示すブロック図である。
【図９】再生部５２の処理を説明するフローチャートである。
【図１０】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０３９０】
１ 送信側装置， ２ 受信側装置， １１1，１１2 カメラ， １２ 放送装置， ２１ 設定部， ２２ 編集部， ２３ モニタ， ２４1ないし２４3 送信部， ４１
受信装置， ４２ モニタ， ４３ ユーザI/F， ４４ 外部メディア， ５１1ないし５１3 受信部， ５２ 再生部， ６０ ユーザI/F， ６１ 制御データ生成部， ６２ 制御部， ６３1，６３2 入力制御部， ６４ スイッチャ制御部， ６５ 特殊効果制御部， ６６ 同期データ生成部， ６７ 制御データ記録部， ７１1，７１2 ズーム処理部， ７２1，７２2 画質調整部， ７３ 入力選択部， ７４ 特殊効果発生部， １０１ 注目サンプル選択部， １０２，１０３ タップ選択部， １０４ クラス分類部， １０５ 係数出力部， １０６ 予測演算部， １２１ 設定部， １２２ 編集部， １５１ 制御データ入力I/F， １５２ ネットワークI/F， １５３ 外部メディアI/F， １６１ 制御データ生成部， １６２ 制御部， １６３1，１６３2 入力制御部， １６４ スイッチャ制御部， １６５ 特殊効果制御部， １６６ 同期データ生成部， １６７ 制御データ記録部， １７０ コンテンツI/F， １７１1，１７１2 ズーム処理部， １７２1，１７２2 画質調整部， １７３ 入力選択部， １７４ 特殊効果発生部， ２０１ バス， ２０２ CPU， ２０３ ROM， ２０４ RAM， ２０５ ハードディスク， ２０６ 出力部， ２０７ 入力部， ２０８ 通信部， ２０９ ドライブ， ２１０ 入出力インタフェース， ２１１ リムーバブル記録媒体
【特許請求の範囲】
【請求項１】
コンテンツを処理するデータ処理装置において、
複数のコンテンツを受信するコンテンツ受信手段と、
前記複数のコンテンツのそれぞれを加工するための、前記コンテンツごとの加工パラメータと、前記コンテンツを、編集後のコンテンツである編集後コンテンツとして出力する出力タイミングを表すタイミングパラメータとを含み、前記複数のコンテンツを編集して、前記編集後コンテンツを生成するのに用いられる制御データを受信する制御データ受信手段と、
前記制御データに含まれる前記加工パラメータ、及び前記タイミングパラメータに従い、前記複数のコンテンツを編集し、前記編集後コンテンツを生成する編集手段と
を備えるデータ処理装置。
【請求項２】
ユーザによる、編集を指示する編集操作に応じて、新たな加工パラメータ、及び、新たなタイミングパラメータを生成する生成手段をさらに備え、
前記編集手段は、前記編集操作に応じて、前記制御データに含まれる前記加工パラメータ、及び前記タイミングパラメータに代えて、前記新たな加工パラメータ、及び、前記新たなタイミングパラメータに従い、編集を行う
請求項１に記載のデータ処理装置。
【請求項３】
前記編集手段は、ユーザによる、前記編集操作の解除を指示する解除操作に応じて、前記新たな加工パラメータ、及び、前記新たなタイミングパラメータに代えて、前記制御データに含まれる前記加工パラメータ、及び前記タイミングパラメータに従い、編集を行う
請求項２に記載のデータ処理装置。
【請求項４】
前記制御データ、並びに、前記新たな加工パラメータ、及び、前記新たなタイミングパラメータを含む新たな制御データを記録する記録手段をさらに備える
請求項２に記載のデータ処理装置。
【請求項５】
前記編集手段は、前記コンテンツに含まれる画像の画質を調整する加工を含む編集を行う
請求項２に記載のデータ処理装置。
【請求項６】
前記編集手段は、前記コンテンツに含まれる画像の解像度を向上させる加工を含む編集を行う
請求項２に記載のデータ処理装置。
【請求項７】
前記編集手段は、前記コンテンツに含まれる画像のサイズを変更する加工を含む編集を行う
請求項２に記載のデータ処理装置。
【請求項８】
前記編集手段は、前記コンテンツに含まれる画像から、前記編集後コンテンツとして出力する領域を抽出する加工を含む編集を行う
請求項２に記載のデータ処理装置。
【請求項９】
前記編集手段は、前記コンテンツに含まれる画像に特殊効果を付す加工を含む編集を行う
請求項２に記載のデータ処理装置。
【請求項１０】
前記制御データ受信手段は、外部の記録媒体、又は、ネットワークから、前記制御データを受信する
請求項１に記載のデータ処理装置。
【請求項１１】
前記複数のコンテンツのうちの１つのコンテンツは、テロップであり、
前記編集手段は、前記複数のコンテンツのうちの他の１つのコンテンツに含まれる画像に、前記テロップを重畳する加工を含む編集を行う
請求項１に記載のデータ処理装置。
【請求項１２】
前記編集手段は、前記複数のコンテンツに含まれる音声を編集する
請求項１に記載のデータ処理装置。
【請求項１３】
コンテンツを処理するデータ処理装置のデータ処理方法において、
前記データ処理装置が、
複数のコンテンツを受信するとともに、前記複数のコンテンツのそれぞれを加工するための、前記コンテンツごとの加工パラメータと、前記コンテンツを、編集後のコンテンツである編集後コンテンツとして出力する出力タイミングを表すタイミングパラメータとを含み、前記複数のコンテンツを編集して、前記編集後コンテンツを生成するのに用いられる制御データを受信し、
前記制御データに含まれる前記加工パラメータ、及び前記タイミングパラメータに従い、前記複数のコンテンツを編集し、前記編集後コンテンツを生成する
ステップを含むデータ処理方法。
【請求項１４】
コンテンツを処理するデータ処理装置として、コンピュータを機能させるプログラムにおいて、
複数のコンテンツを受信するコンテンツ受信手段と、
前記複数のコンテンツのそれぞれを加工するための、前記コンテンツごとの加工パラメータと、前記コンテンツを、編集後のコンテンツである編集後コンテンツとして出力する出力タイミングを表すタイミングパラメータとを含み、前記複数のコンテンツを編集して、前記編集後コンテンツを生成するのに用いられる制御データを受信する制御データ受信手段と、
前記制御データに含まれる前記加工パラメータ、及び前記タイミングパラメータに従い、前記複数のコンテンツを編集し、前記編集後コンテンツを生成する編集手段と
して、コンピュータを機能させるためのプログラム。
【請求項１５】
複数のコンテンツを編集する処理を行うデータ処理装置において、
前記複数のコンテンツのそれぞれを加工するための、前記コンテンツごとの加工パラメータと、前記コンテンツを、編集後のコンテンツである編集後コンテンツとして出力する出力タイミングを表すタイミングパラメータとを生成する生成手段と、
前記加工パラメータ、及び前記タイミングパラメータに従い、前記複数のコンテンツを編集し、前記編集後コンテンツを生成する編集手段と、
前記加工パラメータ、及び前記タイミングパラメータを含み、前記複数のコンテンツを編集して、前記編集後コンテンツを生成するのに用いられる制御データを出力する出力手段と
を備えるデータ処理装置。
【請求項１６】
前記複数のコンテンツ、及び、前記制御データを送信する送信手段をさらに備える
請求項１５に記載のデータ処理装置。
【請求項１７】
前記生成手段は、ユーザによる、編集を指示する編集操作に応じて、前記複数のコンテンツのそれぞれに対して、異なる前記加工パラメータを生成する
請求項１６に記載のデータ処理装置。
【請求項１８】
前記編集手段は、前記コンテンツに含まれる画像の画質を調整する加工を含む編集を行う
請求項１７に記載のデータ処理装置。
【請求項１９】
前記編集手段は、前記コンテンツに含まれる画像の解像度を向上させる加工を含む編集を行う
請求項１７に記載のデータ処理装置。
【請求項２０】
前記編集手段は、前記コンテンツに含まれる画像のサイズを変更する加工を含む編集を行う
請求項１７に記載のデータ処理装置。
【請求項２１】
前記編集手段は、前記コンテンツに含まれる画像から、前記編集後コンテンツとして出力する領域を抽出する加工を含む編集を行う
請求項１７に記載のデータ処理装置。
【請求項２２】
前記編集手段は、前記コンテンツに含まれる画像に特殊効果を付す加工を含む編集を行う
請求項１７に記載のデータ処理装置。
【請求項２３】
前記複数のコンテンツのうちの１つのコンテンツは、テロップであり、
前記編集手段は、前記複数のコンテンツのうちの他の１つのコンテンツに含まれる画像に、前記テロップを重畳する加工を含む編集を行う
請求項１６に記載のデータ処理装置。
【請求項２４】
前記編集手段は、前記複数のコンテンツに含まれる音声を編集する
請求項１６記載のデータ処理装置。
【請求項２５】
複数のコンテンツを編集する処理を行うデータ処理装置のデータ処理方法において、
前記データ処理装置が、
前記複数のコンテンツのそれぞれを加工するための、前記コンテンツごとの加工パラメータと、前記コンテンツを、編集後のコンテンツである編集後コンテンツとして出力する出力タイミングを表すタイミングパラメータとを生成し、
前記加工パラメータ、及び前記タイミングパラメータに従い、前記複数のコンテンツを編集し、前記編集後コンテンツを生成し、
前記加工パラメータ、及び前記タイミングパラメータを含み、前記複数のコンテンツを編集して、前記編集後コンテンツを生成するのに用いられる制御データを出力する
ステップを含むデータ処理方法。
【請求項２６】
複数のコンテンツを編集する処理を行うデータ処理装置として、コンピュータを機能させるプログラムにおいて、
前記複数のコンテンツのそれぞれを加工するための、前記コンテンツごとの加工パラメータと、前記コンテンツを、編集後のコンテンツである編集後コンテンツとして出力する出力タイミングを表すタイミングパラメータとを生成する生成手段と、
前記加工パラメータ、及び前記タイミングパラメータに従い、前記複数のコンテンツを編集し、前記編集後コンテンツを生成する編集手段と、
前記加工パラメータ、及び前記タイミングパラメータを含み、前記複数のコンテンツを編集して、前記編集後コンテンツを生成するのに用いられる制御データを出力する出力手段と
して、コンピュータを機能させるためのプログラム。
【請求項１】
コンテンツを処理するデータ処理装置において、
複数のコンテンツを受信するコンテンツ受信手段と、
前記複数のコンテンツのそれぞれを加工するための、前記コンテンツごとの加工パラメータと、前記コンテンツを、編集後のコンテンツである編集後コンテンツとして出力する出力タイミングを表すタイミングパラメータとを含み、前記複数のコンテンツを編集して、前記編集後コンテンツを生成するのに用いられる制御データを受信する制御データ受信手段と、
前記制御データに含まれる前記加工パラメータ、及び前記タイミングパラメータに従い、前記複数のコンテンツを編集し、前記編集後コンテンツを生成する編集手段と
を備えるデータ処理装置。
【請求項２】
ユーザによる、編集を指示する編集操作に応じて、新たな加工パラメータ、及び、新たなタイミングパラメータを生成する生成手段をさらに備え、
前記編集手段は、前記編集操作に応じて、前記制御データに含まれる前記加工パラメータ、及び前記タイミングパラメータに代えて、前記新たな加工パラメータ、及び、前記新たなタイミングパラメータに従い、編集を行う
請求項１に記載のデータ処理装置。
【請求項３】
前記編集手段は、ユーザによる、前記編集操作の解除を指示する解除操作に応じて、前記新たな加工パラメータ、及び、前記新たなタイミングパラメータに代えて、前記制御データに含まれる前記加工パラメータ、及び前記タイミングパラメータに従い、編集を行う
請求項２に記載のデータ処理装置。
【請求項４】
前記制御データ、並びに、前記新たな加工パラメータ、及び、前記新たなタイミングパラメータを含む新たな制御データを記録する記録手段をさらに備える
請求項２に記載のデータ処理装置。
【請求項５】
前記編集手段は、前記コンテンツに含まれる画像の画質を調整する加工を含む編集を行う
請求項２に記載のデータ処理装置。
【請求項６】
前記編集手段は、前記コンテンツに含まれる画像の解像度を向上させる加工を含む編集を行う
請求項２に記載のデータ処理装置。
【請求項７】
前記編集手段は、前記コンテンツに含まれる画像のサイズを変更する加工を含む編集を行う
請求項２に記載のデータ処理装置。
【請求項８】
前記編集手段は、前記コンテンツに含まれる画像から、前記編集後コンテンツとして出力する領域を抽出する加工を含む編集を行う
請求項２に記載のデータ処理装置。
【請求項９】
前記編集手段は、前記コンテンツに含まれる画像に特殊効果を付す加工を含む編集を行う
請求項２に記載のデータ処理装置。
【請求項１０】
前記制御データ受信手段は、外部の記録媒体、又は、ネットワークから、前記制御データを受信する
請求項１に記載のデータ処理装置。
【請求項１１】
前記複数のコンテンツのうちの１つのコンテンツは、テロップであり、
前記編集手段は、前記複数のコンテンツのうちの他の１つのコンテンツに含まれる画像に、前記テロップを重畳する加工を含む編集を行う
請求項１に記載のデータ処理装置。
【請求項１２】
前記編集手段は、前記複数のコンテンツに含まれる音声を編集する
請求項１に記載のデータ処理装置。
【請求項１３】
コンテンツを処理するデータ処理装置のデータ処理方法において、
前記データ処理装置が、
複数のコンテンツを受信するとともに、前記複数のコンテンツのそれぞれを加工するための、前記コンテンツごとの加工パラメータと、前記コンテンツを、編集後のコンテンツである編集後コンテンツとして出力する出力タイミングを表すタイミングパラメータとを含み、前記複数のコンテンツを編集して、前記編集後コンテンツを生成するのに用いられる制御データを受信し、
前記制御データに含まれる前記加工パラメータ、及び前記タイミングパラメータに従い、前記複数のコンテンツを編集し、前記編集後コンテンツを生成する
ステップを含むデータ処理方法。
【請求項１４】
コンテンツを処理するデータ処理装置として、コンピュータを機能させるプログラムにおいて、
複数のコンテンツを受信するコンテンツ受信手段と、
前記複数のコンテンツのそれぞれを加工するための、前記コンテンツごとの加工パラメータと、前記コンテンツを、編集後のコンテンツである編集後コンテンツとして出力する出力タイミングを表すタイミングパラメータとを含み、前記複数のコンテンツを編集して、前記編集後コンテンツを生成するのに用いられる制御データを受信する制御データ受信手段と、
前記制御データに含まれる前記加工パラメータ、及び前記タイミングパラメータに従い、前記複数のコンテンツを編集し、前記編集後コンテンツを生成する編集手段と
して、コンピュータを機能させるためのプログラム。
【請求項１５】
複数のコンテンツを編集する処理を行うデータ処理装置において、
前記複数のコンテンツのそれぞれを加工するための、前記コンテンツごとの加工パラメータと、前記コンテンツを、編集後のコンテンツである編集後コンテンツとして出力する出力タイミングを表すタイミングパラメータとを生成する生成手段と、
前記加工パラメータ、及び前記タイミングパラメータに従い、前記複数のコンテンツを編集し、前記編集後コンテンツを生成する編集手段と、
前記加工パラメータ、及び前記タイミングパラメータを含み、前記複数のコンテンツを編集して、前記編集後コンテンツを生成するのに用いられる制御データを出力する出力手段と
を備えるデータ処理装置。
【請求項１６】
前記複数のコンテンツ、及び、前記制御データを送信する送信手段をさらに備える
請求項１５に記載のデータ処理装置。
【請求項１７】
前記生成手段は、ユーザによる、編集を指示する編集操作に応じて、前記複数のコンテンツのそれぞれに対して、異なる前記加工パラメータを生成する
請求項１６に記載のデータ処理装置。
【請求項１８】
前記編集手段は、前記コンテンツに含まれる画像の画質を調整する加工を含む編集を行う
請求項１７に記載のデータ処理装置。
【請求項１９】
前記編集手段は、前記コンテンツに含まれる画像の解像度を向上させる加工を含む編集を行う
請求項１７に記載のデータ処理装置。
【請求項２０】
前記編集手段は、前記コンテンツに含まれる画像のサイズを変更する加工を含む編集を行う
請求項１７に記載のデータ処理装置。
【請求項２１】
前記編集手段は、前記コンテンツに含まれる画像から、前記編集後コンテンツとして出力する領域を抽出する加工を含む編集を行う
請求項１７に記載のデータ処理装置。
【請求項２２】
前記編集手段は、前記コンテンツに含まれる画像に特殊効果を付す加工を含む編集を行う
請求項１７に記載のデータ処理装置。
【請求項２３】
前記複数のコンテンツのうちの１つのコンテンツは、テロップであり、
前記編集手段は、前記複数のコンテンツのうちの他の１つのコンテンツに含まれる画像に、前記テロップを重畳する加工を含む編集を行う
請求項１６に記載のデータ処理装置。
【請求項２４】
前記編集手段は、前記複数のコンテンツに含まれる音声を編集する
請求項１６記載のデータ処理装置。
【請求項２５】
複数のコンテンツを編集する処理を行うデータ処理装置のデータ処理方法において、
前記データ処理装置が、
前記複数のコンテンツのそれぞれを加工するための、前記コンテンツごとの加工パラメータと、前記コンテンツを、編集後のコンテンツである編集後コンテンツとして出力する出力タイミングを表すタイミングパラメータとを生成し、
前記加工パラメータ、及び前記タイミングパラメータに従い、前記複数のコンテンツを編集し、前記編集後コンテンツを生成し、
前記加工パラメータ、及び前記タイミングパラメータを含み、前記複数のコンテンツを編集して、前記編集後コンテンツを生成するのに用いられる制御データを出力する
ステップを含むデータ処理方法。
【請求項２６】
複数のコンテンツを編集する処理を行うデータ処理装置として、コンピュータを機能させるプログラムにおいて、
前記複数のコンテンツのそれぞれを加工するための、前記コンテンツごとの加工パラメータと、前記コンテンツを、編集後のコンテンツである編集後コンテンツとして出力する出力タイミングを表すタイミングパラメータとを生成する生成手段と、
前記加工パラメータ、及び前記タイミングパラメータに従い、前記複数のコンテンツを編集し、前記編集後コンテンツを生成する編集手段と、
前記加工パラメータ、及び前記タイミングパラメータを含み、前記複数のコンテンツを編集して、前記編集後コンテンツを生成するのに用いられる制御データを出力する出力手段と
して、コンピュータを機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００９−２３９８８８（Ｐ２００９−２３９８８８Ａ）
【公開日】平成２１年１０月１５日（２００９．１０．１５）
【国際特許分類】
【出願番号】特願２００８−２９１１４５（Ｐ２００８−２９１１４５）
【出願日】平成２０年１１月１３日（２００８．１１．１３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年１０月１５日（２００９．１０．１５）
【国際特許分類】
【出願日】平成２０年１１月１３日（２００８．１１．１３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]