再生装置および再生方法
【課題】コンテンツの再生時においての種々の変更処理を、ユーザーに違和感を与えることなく、適切かつスムーズに行えるようにする。
【解決手段】入力操作位置ｉｎ１において、入力Ｉ／Ｆを通じて再生対象のコンテンツに対する指示情報を受け付けた場合に、この指示情報をＲＡＭに一時記憶する。制御部は、コンテンツの再生状況に応じた所定のタイミング（操作入力反映位置ｔ１）において、ＲＡＭに記憶保持している指示情報に応じた処理を、再生対象のコンテンツに対して施すようにし、コンテンツに対する種々の変更処理を行っても、スムーズで違和感のないコンテンツの再生を行うことができるようにする。
【解決手段】入力操作位置ｉｎ１において、入力Ｉ／Ｆを通じて再生対象のコンテンツに対する指示情報を受け付けた場合に、この指示情報をＲＡＭに一時記憶する。制御部は、コンテンツの再生状況に応じた所定のタイミング（操作入力反映位置ｔ１）において、ＲＡＭに記憶保持している指示情報に応じた処理を、再生対象のコンテンツに対して施すようにし、コンテンツに対する種々の変更処理を行っても、スムーズで違和感のないコンテンツの再生を行うことができるようにする。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音楽や映像、ロボットなどの物の物理的な動きなどの種々のコンテンツを再生する方法および装置に関する。
【背景技術】
【０００２】
例えば、楽曲の一連の波形データを予め記憶しておき、この記憶した波形データを再生することにより楽曲を再生して出力するようにする波形データ再生装置が知られている。こうした波形データ再生装置においては、小節などの音楽的に意味のある単位を最小単位として構成されるデータ毎に区切り、更に区切られたデータ毎に操作子を割り当て、割り当てた操作子をリアルタイムに操作することによって操作子が割り当てられた区間のデータをリアルタイムに再生して音楽を生成することができるものがある。
【０００３】
後に記す特許文献１には、上述のような波形データ再生装置において、再生位置の変更（移行）が指示された場合に、次の操作子までは再生を続行して、操作子により特定される位置から、目的とする操作子により特定される位置に再生位置を変更させるようにする技術が開示されている。
【０００４】
この特許文献１に記載の技術を用いることによって、一連の波形データ（音声データ）における再生位置を現在再生中の位置から別の位置に移行させる場合に、再生される音楽のリズム感が損なわれて不自然な演奏になることを防止することができ、再生位置を変更するようにした場合であっても、違和感を与えることがないように音楽を再生することができるようにされる。
【特許文献１】特開２０００−１８７４８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、上述した特許文献１に記載の波形データ再生装置は、波形データとしての音声データを再生するものであるが、近年においては、音声データや映像データなど種々のコンテンツデータを処理対象とするコンテンツ再生装置が提供されるようになってきている。
【０００６】
また、種々の機器の制御装置として用いられるコンピュータの小型化、高機能化が図られ、このようなコンピュータを音声や映像を再生するコンテンツ再生装置に搭載することによって、日常生活において用いられる音声や映像のコンテンツ再生装置の高性能化が図られ、再生対象の音声や映像などのコンテンツの楽しみ方の幅が広がっている。
【０００７】
例えば、音楽についての知識や音楽や映像についての編集技術の無い、いわゆる素人でも、予め用意される音楽フレーズ、映像シーンなどのいわゆるループ素材を選択するだけで、リアルタイムに複数の音楽フレーズ（音楽素材）からなる一連の音楽コンテンツや複数の映像シーン（映像素材）からなる一連の映像コンテンツを生成することができるコンテンツ作成ツールが考えられている。
【０００８】
また、ユーザーが意図的に再生ボタンや終了ボタンを押さなくても、室内でのユーザーの動きを感知して自動的にコンテンツの再生を開始するようにするＡＶ（Audio/Visual）装置や、再生するコンテンツに対してユーザーの動作に合わせて変化をつけたりするＡＶ装置やＤＪ（Disk Jockey）/ＶＪ（Video Jockey）ツール、ユーザーの歩行テンポに同期させて音楽の再生スピードを変えるようなポータブルオーディオ装置やフィットネスマシンなどが考えられている。
【０００９】
このように、種々のコンテンツデータを再生するコンテンツ再生装置において、単に再生位置を、小節などを最小単位として構成される音節単位に移動させるといった処理だけでなく、種々のエフェクト（効果）、再生速度、音量、音質、画質などのパラメータを再生処理中に変更させるようにすることが考えられる。
【００１０】
しかし、コンテンツの再生途中で種々のパラメータの変更を行う場合に、ユーザーからの指示タイミングでパラメータの変更を行うようにしたのでは、再生されるコンテンツの変化が、ユーザーに違和感を与えてしまい、再生されるコンテンツのエンタテインメント性を損なう場合があると考えられる。
【００１１】
以上のことにかんがみ、この発明は、コンテンツの再生処理中においてのコンテンツに対する種々の変更処理を、ユーザーに違和感を与えることなく、適切かつスムーズに行えるようにする装置、方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するため、請求項１に記載の発明の再生装置は、
再生対象のコンテンツに対する指示情報の入力を受け付ける受付手段と、
前記受付手段を通じて受け付けた前記指示情報を記憶する記憶手段と、
前記コンテンツの再生状況に応じた所定のタイミングで、前記コンテンツに対して、前記記憶手段に記憶された前記指示情報に応じた処理を反映させる処理手段と
を備えることを特徴とする。
【００１３】
この請求項１に記載の発明の再生装置によれば、受付手段を通じて再生対象のコンテンツに対する指示情報が受け付けられ、この指示情報が記憶手段に記憶される。そして、処理手段により、再生状況に応じた所定のタイミングにおいて、記憶手段に記憶されている指示情報に応じた処理が、再生対象のコンテンツに対して施すようにされる。
【００１４】
このように、ユーザーからの指示情報を一旦バッファリングしておき、所定のタイミングで一斉にコンテンツに反映させることによって、コンテンツに対する種々の変更処理を行っても、スムーズで違和感のないコンテンツの再生を行うことができるようにされる。
【発明の効果】
【００１５】
この発明によれば、本発明では、コンテンツをリアルタイムに生成（再生）する装置において、コンテンツの区切り位置で指示情報を一斉に反映させることにより、コンテンツの連続性が保たれ、スムーズで違和感の無いコンテンツの再生を行うことができる。
【発明を実施するための最良の形態】
【００１６】
以下、図を参照しながら、この発明による装置、方法の一実施の形態について説明する。
【００１７】
［コンテンツ再生装置（記録再生装置）について］
図１は、この発明による装置、方法の一実施の形態が適用されたこの実施の形態のコンテンツ再生装置を説明するためのブロック図である。図１に示すように、この実施の形態のコンテンツ再生装置は、制御部１０と、出力部２０と、記憶部３０と、外部インターフェース（以下、外部Ｉ／Ｆと略称する。）４１と、入力インターフェース（以下、入力Ｉ／Ｆと略称する。）４２と、デジタルインターフェース（以下、デジタルＩ／Ｆと略称する。）４３と、無線インターフェース（以下、無線Ｉ／Ｆと略称する。）４４と、送受信アンテナ４５、センサ部５０とを備えたものである。
【００１８】
制御部１０は、ＣＰＵ（Central Processing Unit）１１と、ＲＯＭ（Read Only Memory）１２と、ＲＡＭ（Random Access Memory）１３とが、ＣＰＵバス１４を通じて接続されて構成されたマイクロコンピュータであり、この実施の形態のコンテンツ再生装置の各部を制御するものである。
【００１９】
また、出力部２０は、音声デコーダ２１と、音声出力部２２と、映像デコーダ２３と、映像表示部２４とを備えたものである。音声出力部２２は、スピーカーであり、映像表示部２４は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、有機ＥＬ（Electro Luminescence）ディスプレイ、ＣＲＴ（Cathode-Ray Tube）等の表示素子である。また、音声デコーダ２１は、再生対象の音声データから音声出力部２２に供給するアナログ音声信号を形成するものであり、映像デコーダ２３は、再生対象の映像データから映像表示部２４に供給するアナログ映像信号を形成するものである。
【００２０】
記憶部３０は、インターフェース（以下、Ｉ／Ｆと略称する。）３１と、記録媒体３２とを備えたものである。記録媒体３２としては、例えば、ハードディスク、光ディスク、光磁気ディスク、半導体メモリー、フレキシブルディスクなどの種々の記録媒体を用いることが可能である。
【００２１】
また、記録媒体３２として、例えば、複数のハードディスクを用いる構成としたり、複数の光ディスクを用いる構成としたりするなど、同種の記録媒体を複数用いるようにしたり、あるいは、ハードディスクと光ディスクとを用いる構成としたり、光ディスクと光磁気ディスクとを用いる構成としたりするなど、種類の異なる複数の記録媒体を用いる構成とすることが可能である。また、記録媒体３２は、内蔵するようにされたものとすることもできるし、着脱可能（交換可能）な態様とすることも可能である。
【００２２】
そして、記録媒体３２は、後述もするように、再生対象の音声データ、映像データ、ＡＶ（Audio/Visual）データ、プログラム、その他各種のコンテンツデータなどを記憶保持することができるものである。なお、ＡＶデータは、映像データと音声データとが同期を取って再生することができるようにされたものであり、例えば、映像などのコンテンツデータである。
【００２３】
また、記録媒体３２は、各コンテンツデータに対応するコンテンツ属性情報であって、コンテンツデータの種々の区切りの位置（タイミング位置）を示す区切り情報（タイミング情報）をも記憶保持する。この区切り情報は、各コンテンツデータに個別に設けられるものであり、コンテンツデータとペアで記録媒体に記録されて提供される他、後述もするように、インターネット上に設けられたサーバー装置などから外部Ｉ／Ｆ４１を通じてダウンロードするようにしたり、デジタルＩ／Ｆや無線Ｉ／Ｆ４３を通じて外部機器から提供を受けたり、コンテンツデータと共に、あるいは、コンテンツデータとは別個独立に取得することができるものである。
【００２４】
外部Ｉ／Ｆ４１は、上述もしたように、この実施の形態のコンテンツ再生装置においては、インターネット１００に接続するためのものである。したがって、この実施の形態のコンテンツ再生装置は、インターネット１００を通じて、音声データ、映像データ、ＡＶデータ、テキストデータ、その他の種々のコンテンツデータをダウンロードしてきて、Ｉ／Ｆ３１を通じて記録媒体３２に記憶保持させることができるようにしている。逆に、この実施の形態のコンテンツ再生装置から、目的とするサーバー装置に情報を送信して、当該情報を記憶保持させるようにすることも可能である。
【００２５】
入力Ｉ／Ｆ４２は、ユーザーからの操作入力を受け付けるものであり、例えば、キーボードや、いわゆるマウスなどと呼ばれるポインティングデバイスやタッチパネルなどの種々の入力装置の１つ以上を備えるものである。入力Ｉ／Ｆ４２を通じて受け付けられた操作入力は、電気信号に変換されて制御部１０に供給される。これにより、制御部１０は、ユーザーからの操作入力に応じて、この実施の形態のコンテンツ再生装置を制御することができるようにされる。
【００２６】
デジタルＩ／Ｆ４３は、例えば、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４、あるいは、ＵＳＢ（Universal Serial Bus）、あるいは、その他のデジタルインターフェースに準拠したものであり、専用線を通じて、他の電子機器に接続し、例えば、コンテンツデータや区切り情報などのデータの送受を行うことができるようにしている。
【００２７】
また、無線Ｉ／Ｆ４４、および、送受信アンテナ４５は、例えば、無線ＬＡＮなどに接続し、相互に情報の送受を行うことができる。また、この無線Ｉ／Ｆ４４、および、送受信アンテナ４５を通じて、コンテンツデータや区切り情報を無線ＬＡＮシステムから提供を受けることもできるようにしている。
【００２８】
そして、この実施の形態のコンテンツ再生装置においては、記憶部３０の記憶媒体３２にコンテンツデータが記憶保持されるとともに、記憶保持されているコンテンツデータに対応する区切り情報が取得されて記憶保持される。上述もしたように、コンテンツ属性情報である区切り情報は、外部Ｉ／Ｆ４１、デジタルＩ／Ｆ４３、無線Ｉ／Ｆ４４などを通じて外部から対応するコンテンツデータとは別個独立に取得することができるものである。
【００２９】
なお、各コンテンツデータと、これに対応する区切り情報とは、予め決められた識別情報によって対応付けることができるようにされている。また、目的とするコンテンツデータに対応する区切り情報は、各種の記録媒体を通じて提供を受けるようにすることも可能であるし、コンテンツデータのファイル内の別領域（別チャンク）に格納されて提供される場合もあり、このような場合であっても、区切り情報を正確に取得し、利用することが可能である。
【００３０】
また、この実施の形態のコンテンツ再生装置から、コンテンツデータや区切り情報を、外部Ｉ／Ｆ４１、デジタルＩ／Ｆ４３、無線Ｉ／Ｆ４４などを通じて他の機器へ伝送することもできるようにしている。
【００３１】
センサ部５０は、生体情報センサ（生体センサ）５１と、生体情報エンコーダ５２と、環境情報センサ（環境センサ）５３と、環境情報エンコーダ５４とを備えたものである。生体情報センサ５１は、例えば、歪みセンサ、加速度センサ、ショックセンサ、振動センサ、方位センサ、曲げセンサ、圧力センサ、画像センサ、焦電センサ、赤外線センサ、帯電位センサなどのユーザーの身体に取り付けられ、あるいは、ユーザーの近辺にあって、ユーザーの動きを検出し、これを電気信号に変換して取り込むことができるものである。
【００３２】
この他、生体情報センサとして、ユーザーの映像を撮像するビデオカメラなどを用いるようにすることもできる。ビデオカメラで撮像されたビデオデータを解析することにより、ユーザーの動きを検出することができるからである。また、ＧＰＳ（Global Positioning System）も生体情報センサ５１として利用することが可能である。ユーザーの位置を正確に把握することができるので、ユーザーの移動の状態などを把握することができるからである。
【００３３】
ここでユーザーの動作とは、この例のコンテンツ再生装置の使用者であるユーザーの、歩行運動、体の上下運動、頭部の前後左右への振り運動、腕の振り運動、胴部の前後左右方向への振り運動、室内などの所定のエリアへの進入／退出などである。細かくは、手の動き、体幹部の上下運動や前後左右運動、足の動き、手拍子、歩行時の足の踏み込みなどのユーザーの体の各部の種々の運動ももちろんユーザーの動作に含まれる。
【００３４】
また、ＧＰＳによって把握可能な情報であるユーザーの位置や移動の状態、例えば、目的とする地点に到達したなどの情報もユーザーの動作を示すものである。また、ボタンやキーボード、打楽器型の専用インターフェースなどからのユーザーからの入力指示なども、ユーザーの動きの情報として用いることも可能である。
【００３５】
エンコーダ５２は、生体情報センサ５１からの検出データを制御部１０に提供する形式のデータに変換するものであり、生体情報センサ５１と、コンテンツ再生装置の制御部１０との間を接続するインターフェースの役割を有するものである。
【００３６】
また、環境情報センサ５３は、例えば、気温センサ、湿度センサ、風力センサ、明度センサ、音声センサなどであり、気温、湿度、風力、明度、環境音などのユーザーの置かれた環境に関する情報を検出して、これを電気信号として取り込むことができるものである。エンコーダ５４は、環境情報センサ５３からの検出データを制御部１０に提供する形式のデータに変換するものであり、環境情報センサ５３と、コンテンツ再生装置の制御部１０との間を接続するインターフェースの役割を有するものである。
【００３７】
そして、生体情報センサ５１、環境情報センサ５３からの検出出力（センサ信号）は、それぞれ対応するエンコーダ５２、エンコーダ５４を通じて、コンテンツ再生装置の制御部１０に入力される。そして、制御部１０は、詳しくは後述もするように、センサ部５０からのセンサ信号を考慮して、再生対象のコンテンツデータの再生制御を行うことができるようにしている。
【００３８】
そして、この実施の形態のコンテンツ再生装置において、入力Ｉ／Ｆ４２を通じて、ユーザーから、目的とするコンテンツの再生指示入力を受け付けると、制御部１０の制御により、記録媒体３２に記録保持されている目的とする音声データ、映像データ、あるいはＡＶデータなどのコンテンツデータが、Ｉ／Ｆ３１を通じて読み出され、制御部１０、および、出力部２０の機能により再生されてユーザーに提供するようにされる。
【００３９】
また、上述もしたように、各コンテンツデータに対しては、区切り情報が対応付けられている。この区切り情報は、上述もしたように、再生対象のコンテンツデータと同じ記録媒体の同じファイルに記録されて提供されたり、同じ記憶媒体の別ファイルに記録されて提供されたり、外部機器から提供を受けたり、あるいは、コンテンツデータと区切り情報とを対応付ける識別情報を用いることによって、インターネットなどのネットワークを経由して所定のサーバーから取得され、記録媒体３２に記憶保持されている。
【００４０】
そして、コンテンツデータの再生時においては、再生対象のコンテンツデータに対応する区切り情報も制御部１０によって記録媒体３２から読み出され、例えば、ＲＡＭ１３の所定の記憶領域に一時記憶されることにより、コンテンツデータの再生進行に応じて、制御部１０が対応する区切り情報を参照することができるようにされる。
【００４１】
そして、目的とするコンテンツデータの再生処理が開始された後において、この実施の形態のコンテンツ再生装置は、入力Ｉ／Ｆを通じてユーザーからの操作入力を受け付けて、再生しているコンテンツの再生に関するパラメータをリアルタイムに変更することができるようにしている。
【００４２】
ここでコンテンツの再生に関するパラメータは、種々のエフェクト、テンポ、コード進行、音量、音質、画質などのコンテンツに対する種々の調整に関連するパラメータ、コンテンツを形成するコンテンツデータの処理経路についてのパラメータ、早送り、早戻し、スキップなどのコンテンツについての移動処理についてのパラメータなどである。
【００４３】
また、コンテンツの再生に関するパラメータは、入力Ｉ／Ｆ４２を通じて受け付けるユーザーからの積極的な操作入力の他に、ユーザーの体の動き、ユーザーの移動情報、ユーザーの位置情報、気温、天気、時刻などの環境情報をセンシング（検出）して、これをパラメータの入力として受け付けることもできるようにしている。
【００４４】
例えば、ユーザーの歩行運動が検出された場合には、コンテンツデータの再生テンポの調整を指示するパラメータとして受け付けるようにしたり、明度や気温によって、再生するコンテンツに施すべきエフェクトを変化させるパラメータとして受け付けるようにしたりするなどのことができるようにされる。
【００４５】
そして、この実施の形態のコンテンツ再生装置において、コンテンツの再生に関するパラメータの入力としての意味を有する情報であって、入力Ｉ／Ｆ４２を通じて受け付けられたユーザーからの操作入力（ユーザーからの指示入力）に応じた指示情報やセンサ部５０を通じて受け付けるセンサ入力（センサからの指示入力）に応じた指示情報は、一時的にＲＡＭ１３に記憶保持（バッファリング）される。
【００４６】
ＲＡＭ１３にバッファリングされた指示情報（操作入力に応じた指示情報やセンサ入力に応じた指示情報）は、再生中のコンテンツに対して即時に反映されるのではなく、再生中のコンテンツに対応する区切り情報に応じた所定のタイミングで反映するようにしている。このようにすることによって、再生中のコンテンツに対して、コンテンツの再生に関するパラメータが変更するように指示された場合であっても、再生に関するパラメータが突然に変更されることにより、ユーザーに対して違和感を与えてしまうことを防止することができるようにしている。換言すれば、再生パラメータの変更を、ユーザーに対して違和感を与えることなく、適正かつスムーズに行うことができるようにしている。
【００４７】
［操作入力等に応じたパラメータ変更時の動作について］
この実施の形態のコンテンツ再生装置においての操作入力等に応じたパラメータの変更時の動作について説明する。図２は、動作入力等に応じたパラメータの変更時におけるこの実施の形態のコンテンツ再生装置の動作について説明するための図である。図２において、矢印で示した時間の進行方向に帯状に示した部分が再生対象のコンテンツデータを示している。
【００４８】
コンテンツデータの上側に三角印で示した位置ａ１、ａ２、ａ３、ａ４、ａ５のそれぞれは、当該再生対象のコンテンツデータに対応する区切り情報によって示される区切りの位置であり、当該コンテンツデータが楽曲の音声データである場合には、例えば小節やビートの区切り目などであり、当該コンテンツデータが映像データである場合には、例えばシーンチェンジやカットチェンジ、チャプターの位置などである。
【００４９】
ここで、映像のシーンチェンジは、屋内から屋外へなどのように、シーン自体は変化する場合であり、カットチェンジは、同じ場面であるが、正面からの視点か側面からの視点に変わるというように、視点（カメラ）が変えられる場合である。また、チャプターは、ＤＶＤ（Digital Versatile Disc）などにおいて用いることができるようにされている概念であり、ユーザーが任意に設定可能な映像区間を意味し、映像的な変化が無い部分でも、ユーザーの好みの部分や、単に指定時間単位の映像部分などをも含むものである。
【００５０】
コンテンツデータが順次に再生処理され、操作入力位置ｉｎ１において、再生されているコンテンツに対するパラメータの変更を指示する操作入力がなされた場合には、制御部１０は、操作入力位置ｉｎ１から最初に到達する区切り位置ａ３までは、そのままの状態で再生処理を続行する（再生状態をそのまま維持する）。
【００５１】
そして、制御部１０は、再生位置が区切り位置ａ３によって示される位置にまで到達した時点で、操作入力位置ｉｎ１において入力を受け付けた指示情報に応じたパラメータの変更処理を行う。すなわち、この図２に示した例の場合においては、区切り位置ａ３が、過去に受け付けた操作入力（指示入力）に応じた処理を再生対象のコンテンツに対して反映させる操作入力反映位置ｔ１となる。
【００５２】
［操作入力の具体例について］
次に、この実施の形態のコンテンツ再生装置においてのコンテンツの再生に関するパラメータの操作入力の方法の具体例について説明する。ここでは、再生対象のコンテンツデータが音声データである場合であって、再生対象の音声データに対するエフェクトのパラメータ変更についての操作入力をマウスやキーボードである入力Ｉ／Ｆ４２を通じて受け付ける場合を例にして説明する。
【００５３】
図３、図４は、この実施の形態のコンテンツ再生装置においてのコンテンツの再生に関するパラメータの操作入力について説明するための図である。この実施の形態のコンテンツ再生装置は、入力Ｉ／Ｆ４２を通じて所定の操作を受け付けると、再生対象のコンテンツデータである音声データに対して、種々のエフェクトを施すようにするためのプログラムが実行され、映像表示部２４の表示画面Ｇに表示される映像を確認しながら、ユーザーが目的とするエフェクトを再生対象の音声データに対して施すことができるようにされている。
【００５４】
例えば、再生対象の音声データに対して目的とするエフェクトを施すために、入力Ｉ／Ｆ４２を通じて所定の入力を行うと、図３に示すように、再生対象の音声データに対しエフェクトを施す操作入力をユーザーから受け付けるために、操作入力画像が表示される。
【００５５】
図３において、上端側の帯状の表示ＣＯＮは、コンテンツの再生の進行状況を通知するための表示であり、実際の再生位置は、表示ＣＯＮ部分に再生状況に応じて移動するポインタＰによって示される。また、コンテンツの表示ＣＯＮの縦線は、当該コンテンツに対応する区切り情報によって特定される区切り位置を示している。進行状況はユーザーの確認のためだけに示されるもので、必要のない場合は表示しないこともできる。
【００５６】
また、図３において、四角で示した表示１、２、３、４、５のそれぞれは、信号処理モジュール（処理単位）を示すものであり、以下、この明細書においては、各信号処理モジュールをプラグインと呼ぶこととする。そして、図３に示した例の場合には、サウンドファイル（図においてはSound Fileと記載。）プラグイン１と、エフェクタ（図においてはEffecterと記載。）プラグイン２、３と、ミキサ（図においてはMIXERと記載。）プラグイン４と、サウンドアウトプット（図においてはSound Outputと記載。）プラグイン５とが表示された状態となっている。
【００５７】
サウンドファイルプラグイン１は、所定の音楽ファイルからＰＣＭ（Pulse Coded Modulation）デジタルデータである音声（音楽）データを読み込み、これを４４．１ｋＨｚで出力する処理を行うモジュールを示している。エフェクタプラグイン２、３のそれぞれは、これらに供給された音声データに対してエフェクト処理を行うモジュールを示している。
【００５８】
この例において、エフェクタプラグイン２は、例えばピッチシフト（音程変換）処理を行い、エフェクタプラグイン３は、例えばディストーション（歪み）処理を行うというように、エフェクタプラグイン２、３のそれぞれは、異なるエフェクト処理を行うものである。このため、図においては、エフェクタプラグイン２には（Ａ）、エフェクトプラグイン３には（Ｂ）というように、異なる文字を付加することによって、エフェクタとして実行する処理内容が異なることを示している。
【００５９】
また、ミキサプラグイン４は、エフェクタ２からの出力音声データと、エフェクタプラグイン３からの出力音声データとを合成する処理（ダウンミックスする処理）を行うモジュールを示している。サウンドアウトプットプラグイン５は、スピーカーやヘッドホンに供給する音声信号を形成する処理を行うモジュールを示している。
【００６０】
そして、図３に示した例の場合には、サウンドファイルプラグイン１と、エフェクタプラグイン２とが接続（結線）され、エフェクタプラグイン２とミキサプラグイン４とが接続（結線）され、エフェクタプラグイン３とミキサプラグイン４とが接続（結線）され、ミキサプラグイン４とサウンドアウトプットプラグイン５とが接続（結線）された状態となっている。
【００６１】
したがって、図３に示した例の場合には、サウンドファイルプラグイン１の処理により、目的とする音楽ファイルから音声データが読み出され、これが４４．１ｋＨｚの信号として出力され、エフェクタプラグイン２に供給される。エフェクタプラグイン２は、これに供給された音声データに対して、所定のエフェクト処理を施し、処理後の音声データをミキサプラグイン４に供給する。
【００６２】
ミキサプラグイン４には、エフェクタプラグイン３からの音声データも供給されるように接続されているが、エフェクタプラグイン３には現在入力が与えられていないため、エフェクタプラグイン３からは０レベルの信号だけがミキサプラグイン４に供給するようにされている状態となっている。
【００６３】
そして、ミキサプラグイン４は自己に供給された音声データを合成する処理を行うようにし、処理後の音声データをサウンドアウトプットプラグイン５に供給する。サウンドアウトプットプラグイン５は、これに供給された音声データからスピーカーやヘッドホンに供給する音声信号を形成し、これを出力するようにする。これによって、目的とする音声データに対して、エフェクタ２によってエフェクト（Ａ）を施して、これを再生して聴取することができるようにされる。
【００６４】
そして、図３に示した各プラグイン間の接続（結線）は、音楽再生を止めることなくダイナミックに変えることができる。具体的には、入力Ｉ／Ｆ４２としてのマウスを用い、図３において矢印が示す位置にカーソルを位置付けて、いわゆるドラック・アンド・ドロップ操作などの所定の操作を行うことによって、サウンドファイルプラグイン１とエフェクタプラグイン２との間の接続を解除し、サウンドファイル１とエフェクトプラグイン３とを接続するようにすることが簡単にできるようにされる。
【００６５】
図４は、図３の状態から入力Ｉ／Ｆ４２を通じて所定の操作が行われることによって、サウンドファイルプラグイン１とエフェクタプラグイン３とを接続するように接続状態が変えられた場合を示している。上述もしたように、例えば、ドラック・アンド・ドロップ操作のような簡単な操作によって、各プラグイン間の接続状態を簡単に変更することができるようにしている。
【００６６】
そして、図３の状態から図４の状態にプラグイン間の接続状態（結線状態）を変更するようにした場合であって、接続を切り替えた瞬間には、その変更を再生対象の音声データに対して反映することは無く、コンテンツの再生が、当該コンテンツに対応する区切り情報によって示される次の小節などの区切り位置まで進んだ場合に初めて反映するように処理するようにしている。
【００６７】
すなわち、上述もしたように、マウスなどを操作することによって、プラグイン間の接続状態が変更するように指示された場合、表示情報の変更は即座に行うが、操作入力情報（指示情報）は、コンテンツ再生装置の制御部１０によって取り込まれ、ＲＡＭ１３の所定の記憶領域に一時記憶し、即座に再生しているコンテンツに反映しないようにする。そして、コンテンツの再生位置が、区切り情報によって示される区切り位置に到達した場合に、ＲＡＭ１３に一時記憶された指示情報に基づいて、再生されているコンテンツに施されるエフェクタが変更される。
【００６８】
接続状態が変更されてから実際にコンテンツに反映されるまでの間に、反映前の操作があることをユーザーに示すために、例えば画面Ｇの背景色やポインタＰの色を変えたり、変更が加えられたプラグインすなわちサウンドファイル１、エフェクタ２、エフェクタ３の色を変えたりしてもよい。実際に処理が反映されると同時にこれらの色は元に戻される。
【００６９】
このように、処理経路（接続状態）の変更を指示する操作入力に応じた表示情報の変更は即座に行われるが、実際にコンテンツデータの処理経路（接続状態）が変更されるのは、区切り情報によって示される区切り位置に再生位置が到達した時点である。したがって、操作入力が行われた時点において即座にエフェクタが変更されることは無く、小節などの区切り位置において、エフェクトの変更が行われるので、再生されるコンテンツがユーザーに対して違和感を与えることが無いように、コンテンツの所定の区切りにおいて、エフェクトの変更を行うようにすることができる。
【００７０】
次に、この実施の形態のコンテンツ再生装置においてのコンテンツの再生に関するパラメータの操作入力の方法の他の具体例について説明する。図５、図６は、操作入力の方法の他の具体例を説明するための図である。
【００７１】
この図５に示した例の場合には、図３、図４を用いて説明した場合と同様に、映像表示部４の表示画面Ｇの上側部分には、コンテンツの再生の進行状況を通知するための表示ＣＯＮとポインタＰとが表示されている。また、表示画面Ｇには、利用可能なプラグインとして、サウンドファイルプラグイン１と、エフェクタプラグイン２と、サウンドアウトプットプラグイン５とが表示されている。
【００７２】
そして、図５に示す例の場合には、サウンドファイルプラグイン１と、エフェクタプラグイン２と、サウンドアウトプットプラグイン５とが接続（結線）された状態となっている。さらに、図５に示した例の場合には、エフェクタプラグイン２に対してダブルクリックをするなどの所定の操作を行うことによって、エフェクトパラメータ（例えば、ピッチシフトの段階や、ディストーションレベル、リバーブのディレイ時間など）の入力ウインドウ６が開かれた状態となっている。
【００７３】
この場合、エフェクトパラメータの入力ウインドウ６においては、数値入力欄６ａ、スライドバー６ｂが表示されている。そして、数値入力欄６ａに数値を入力することにより、あるいは、スライドバー６ｂのポインタ６ｐを移動させるなどして、エフェクトパラメータを変更することができるようにされる。そして、数値入力欄６ａへの数値情報の入力やスライドバー６ｂのポインタ６ｐを移動させる操作を行っても、制御部１０は、その操作を即時に反映せずに、入力された情報をＲＡＭ１３に一時記憶し、小節などの区切り位置まで再生が進んだ時に初めて反映するようにしている。
【００７４】
この図６に示した例の場合には、図５を用いて説明した場合と同様に、映像表示部４の表示画面Ｇの上側部分には、コンテンツの再生の進行状況を通知するための表示ＣＯＮとポインタＰとが表示されている。また、表示画面Ｇには、利用可能なプラグインとして、サウンドファイルプラグイン１と、エフェクタプラグイン２と、サウンドアウトプットプラグイン５、センサプラグイン７とが表示されている。
【００７５】
そして、この図６に示す例の場合には、サウンドファイルプラグイン１とセンサプラグイン７とがエフェクタプラグイン２に接続（結線）され、さらにエフェクタプラグイン２がサウンドアウトプットプラグイン５に接続（結線）された状態となっている。また、この図６に示した例の場合にも、図５に示した例の場合と同様に、エフェクタプラグイン２に対してダブルクリックをするなどの所定の操作を行うことによって、エフェクトパラメータ（例えば、ディストーションレベルやリバーブのディレイ時間など）の入力ウインドウ６が開かれた状態となっている。
【００７６】
この場合、エフェクトパラメータの入力ウインドウ６において、バインド（図においてはBindと記載。パラメータを入力ピンに割り当てる意。）欄６ｃがチェックされた状態となっている。このバインド欄６ｃは、センサ部５０をプラグイン２の入力ピンとして割り当てるか否かの設定を行うための欄である。したがって、図６に示した例の場合には、バインド欄６ｃがチェックされた状態となっており、センサ部５０を入力ピン（入力系）として割り当て、センサプラグイン７に対応するセンサ部５０の出力（センサ部５０からの入力情報）に応じて、エフェクトパラメータのレベルが変化するように結合するようにされた場合を示している。
【００７７】
なお、バインド欄６ｃがチェックされ、センサプラグイン７の出力に応じてエフェクトレベルを変化させるようにしている場合には、エフェクトレベルの変更は、数値入力欄６ａへの数値入力やスライドバー６ｂのポインタ６ｐの移動によっては行うことができないようにされ、数値入力欄６ａ、スライドバー６ｂのポインタ６ｐは例えばグレイ色で表示するようにされる。もちろん他の態様の表示を行うことにより、数値入力欄６ａ、スライドバー６ｂのポインタ６ｐの利用ができないことを通知するようにすることもできる。
【００７８】
そして、センサプラグイン７の出力をトリガーとして、エフェクタプラグイン２のエフェクトレベルが自動的に変化するようにされるが、この場合においても、エフェクトレベルの変化は、制御部１０によって、一旦、ＲＡＭ１３にバッファされた後、再生対象のコンテンツの再生が小節などの区切り位置まで進んだ時に初めて反映するようにされる。
【００７９】
なお、この明細書において、「トリガー」という文言は、指示情報の発生や出力を意味しており、換言すれば、再生されているコンテンツに対して種々の処理を行うことが指示されたことを意味するものである。
【００８０】
また、この実施の形態のコンテンツ再生装置は、図１を用いて説明したように、センサプラグイン７に相当するセンサ部５０として、生体情報センサ５１や環境情報センサ５３を備えている。そして、例えば、生体情報センサ５１によって計測されるユーザーの単位時間当たりの歩数の変化や心拍数の変化に応じてエフェクトレベルを調整するようにしたり、また、環境情報センサによって計測される明度や気温の変化に応じてエフェクトレベルを調整したりすることができるようにされる。
【００８１】
すなわち、生体情報センサ５１、環境情報センサ５３のそれぞれは、それぞれのセンシング情報からパターンやトリガーを認識して出力し、これを制御部１０に通知することができるので、制御部１０が、生体情報センサ５１、環境情報センサ５３からの出力情報に基づいて、再生コンテンツに対するエフェクトの制御を行うことができるようにされる。
【００８２】
このように、センサ部５０からの出力情報を用いる場合であっても、エフェクトレベルの変化は、制御部１０によって、一旦、ＲＡＭ１３にバッファされた後、再生対象のコンテンツの再生が小節などの区切り位置まで進んだ時に初めて反映するようにされるので、ディスプレイ２４やスピーカー２２を通じてユーザーに提供されるコンテンツに対するエフェクト処理が突然に変化して違和感を生じさてしまうことを防止することができるようにされる。
【００８３】
図７は、図１に示したこの実施の形態のコンテンツ再生装置の概念図である。上述もしたように、この実施の形態のコンテンツ再生装置は、入力Ｉ／Ｆ４２を通じて受け付けるユーザーからの操作入力、また、センサ部５０の生体情報センサ５１からのユーザーの体動や生体情報、さらには、センサ部５０の環境情報センサ５３からの環境情報を入力情報として、再生対象のコンテンツの区切り情報のタイミングに従ってパラメータの変更などを行うことができるようにされる。
【００８４】
そして、この実施の形態のコンテンツ再生装置においては、以下に示すような命令や制御はコンテンツ再生とは非同期に発生するものであるため、コンテンツ再生装置はそのトリガーを受けて一時保持した上で、再生対象のコンテンツの区切り情報に応じて把握可能なコンテンツの区切り位置（区切りのタイミング）において、コンテンツに反映させることができるようにしている。
【００８５】
具体的には、以下のような種々のトリガーを受けた後であって、再生対象のコンテンツの区切り情報によって把握可能な区切り位置において、再生するコンテンツを変化させることができるようにしている。例えば、
（１）ある時刻になったときに、音楽のコード進行を変化させるトリガー（指示情報）を出力する。
（２）ある場所に入ったときに、音楽の素材を変更するトリガーを出力する。
（３）ある気温以上になったときに、音楽のトラックを追加するトリガーを出力する。
（４）環境音が一定値以下になったとき音楽の音量を変化させるトリガーを出力する。
（５）あるリズムで歩行しているパターンを検出したときに、音楽のエフェクトパラメータを変化させるトリガーを出力する。
（６）部屋の中でソファーに座ったこと、立ったことを検出したときに、映像のエフェクトを変化させるトリガーを出力する。
（７）ユーザーが音楽に合わせてのっていることを加速度センサで検出したときに、音楽のテンポを変更するトリガーを出力する。
（８）静止画のスライドショーで、ある腕の動きのパターンを検出したときに、別の画像グループの再生を開始するトリガーを出力する。
（９）ダンスで所定の動きになったときに、音楽の次のフレーズに移るトリガーを出力する。
（１０）ＧＰＳや近距離無線通信で他の人が近づいてきたことを検出したときに、音楽のサウンドエフェクトを変化させるトリガーを出力する。
など、種々の場合が考えられる。
【００８６】
もちろん、上述したもの以外の場合であっても、ユーザーからの直接の操作入力を受けた場合、あるいは、ユーザーの生体情報の変化や動作や移動などを検出した場合、あるいは、コンテンツ再生装置の周囲の気温、湿度、明度、騒音などの環境の変化を検出した場合に指示情報を発生させて（トリガーを発生させて）、これを一時記憶し、区切り情報の示すタイミングで一時記憶した指示情報に応じた処理を行うようにする種々の場合がふくまれる。
【００８７】
なお、上述のしたような種々のトリガーを受けた直後にはコンテンツを変化させないため、ユーザーにはトリガーが受け付けられたか否かがわからない。そこで、ユーザーにはトリガーが受け付けられたことを示すための、例えばビープ音や画面表示を制御部１０の制御によって行うようにすることによって、より好ましいユーザーインタフェースを構築することができる。
【００８８】
［コンテンツ再生装置のコンテンツ再生処理時の動作］
次に、この実施の形態のコンテンツ再生装置において行われるコンテンツ再生処理について、図８のフローチャートを参照しながら説明する。図８に示す処理は、この実施の形態のコンテンツ再生装置に電源が投入された場合にコンテンツ再生装置の制御部１０において実行される。
【００８９】
制御部１０は、入力Ｉ／Ｆ４２を通じてユーザーからのコンテンツの再生指示入力を受け付け（ステップＳ１０１）、記憶部３０を制御して再生が指示されたコンテンツのコンテンツデータを読み出すと共に、出力部２０を制御して再生が指示されたコンテンツの再生を開始する（ステップＳ１０２）。なお、この実施の形態のコンテンツ再生装置においては、コンテンツの再生時には、その再生対象のコンテンツに対応する区切り情報も読み出され、制御部１０がいつでも即座に参照することができるようにしている。
【００９０】
そして、制御部１０は、再生を開始したコンテンツの再生が終了したか否かを判断し（ステップＳ１０３）、終了したと判断したときには、この図８に示す再生処理を終了する。また、ステップＳ１０３の判断処理において、コンテンツの再生が終了していないと判断したときには、入力Ｉ／Ｆ４２あるいはセンサ部５０を通じてユーザーからの指示入力を受け付けたか否かを判断する（ステップＳ１０４）。
【００９１】
なお、ステップＳ１０４において受け付ける指示入力は、エフェクト、テンポ、コード進行、音量、音質、画質などの再生しているコンテンツに対する調整の指示、再生しているコンテンツを形成するコンテンツデータの処理経路の変更の指示、早送り、早戻し、スキップなどの再生しているコンテンツについての再生位置などの移動の指示、あるいは、これらについての変更指示や削除指示などの入力である。
【００９２】
ステップＳ１０４の判断処理において、ユーザーからの指示入力を受け付けたと判断したときには、制御部１０は、上述もしたように例えばＲＡＭ１３の所定の記憶領域に、指示入力に応じた情報（指示情報）の追加、変更、削除を行う（ステップＳ１０５）。
【００９３】
すなわち、ステップＳ１０５の処理においては、ユーザーから受け付けた指示入力が、コンテンツに対する調整指示や処理経路の変更指示や再生位置などの移動の指示などの新たな指示入力（指示の追加）であるときには、制御部１０は受け付けた指示入力に応じた指示情報をＲＡＭ１３に追加記録する。また、既にＲＡＭ１３に記憶されている指示情報に対する変更指示や削除指示である場合には、制御部１０は、受け付けた指示入力に応じて目的とする指示情報の変更処理や削除処理を行う。
【００９４】
ステップＳ１０５の処理の後、および、ステップＳ１０４の判断処理において指示入力を受け付けていないと判断したときには、再生対象のコンテンツの区切り情報に基づいて、コンテンツの再生が当該コンテンツに対応する区切り情報が示す位置（区切り位置）に到達したか否かを判断する（ステップＳ１０６）。
【００９５】
ステップＳ１０６の判断処理において、コンテンツの再生位置が区切り位置に到達していないと判断したときには、制御部１０は、ステップＳ１０３からの処理を繰り返す。また、ステップＳ１０６の判断処理において、コンテンツの再生位置が区切り位置に到達したと判断したときには、制御部１０は、上述もしたように、例えばＲＡＭ１３の所定の記憶領域に記憶保持されている指示情報に応じた処理を再生対象のコンテンツに対して施す（ステップＳ１０７）。
【００９６】
したがって、指示入力に応じた処理は、指示入力を受け付けた時点において行うのではなく、区切り情報によって示される区切り位置において再生対象のコンテンツに対して施すようにされる。そして、制御部１０は、指示情報を一時記憶する記憶領域をクリア（初期化）し（ステップＳ１０８）、ステップＳ１０３からの処理を繰り返す。
【００９７】
このように、ユーザーからの指示入力に応じた処理は、指示入力受付時点において即座に行われるのではなく、区切り情報によって特定される再生対象のコンテンツの区切り位置において行うようにされる。これにより、再生されるコンテンツの再生態様が急に変化してユーザーに違和感を与えることがないようにすることができる。換言すれば、再生途中のコンテンツに対する種々の変更を、ユーザーに対して違和感を与えることなく、適切かつスムーズに行うことができるようにされる。
【００９８】
［その他］
上述した実施の形態のコンテンツ再生装置においては、入力Ｉ／Ｆ４２だけでなく、センサ部５０も、コンテンツに対する指示情報の入力を受け付ける受け付け手段としての機能を有するようにしている。つまり、入力Ｉ／Ｆとしてのキーボードやマウスなどのポインティングデバイスのほか、生体情報センサ５１や環境情報センサ５３も入力手段として用いることができるようにされる。また、外部Ｉ／Ｆ４１、デジタルＩ／Ｆ４３、無線Ｉ／Ｆ４４などの各Ｉ／Ｆを通じて、コンテンツに対する指示情報の入力を受け付けるようにすることも可能である。
【００９９】
また、記憶部３０が記憶手段としての機能を実現するが、種々の記録媒体を用いることができることは上述したとおりでる。また、複数の同一または異なる記録媒体を利用できるようにしておくことにより、コンテンツデータとこれに対応する区切り情報とを別々の記録媒体に記録して管理することができるようにされる。
【０１００】
また、上述した実施の形態のコンテンツ再生装置においては、制御部１０および出力部２０が協働することにより、指示情報に応じた処理を行う処理手段としての機能を実現するようにしている。また、受付手段を通じて受け付けた指示情報の追加、変更、削除を行う更新手段としての機能は、制御部１０および記憶部３０のＩ／Ｆ３１とが協働することによりその機能を実現するようにしている。
【０１０１】
なお、指示情報の追加だけを行うようにしたり、追加と変更だけを行うようにしたりするなど、追加、変更、削除の内の１つの機能だけを実現するように構成することも可能であるし、例えば、使用者ＩＤを入力させるなどのことによって、使用者制限を設けて、変更や削除を行うことが可能な使用者を制限するようにすることも可能である。
【０１０２】
また、各コンテンツデータに対応して設けられるタイミング情報である区切り情報は、各コンテンツに対応して提供されたり、あるいは、区切り情報のみをインターネットなどのネットワークを経由して所定のサーバー装置から取得したりすることができるものとして説明したが、これに限るものではない。例えば、コンテンツデータを解析することによって、区切り情報を生成するようにしてもよい。
【０１０３】
例えば、コンテンツデータが楽曲の音声データである場合、例えば、拍に基づいて小節区切りを生成するようにしたり、所定の楽器の演奏部分を特定できるように区切り情報を生成するようにしたりすることができる。また、コンテンツデータが映像データである場合には、フレーム単位の画像のパターンマッチングを行うことにより、シーンチェンジ点やカットチェンジ点を検出し、これを区切り情報として用いるようにしたり、登場人物の認識処理を行うことによって、所定の登場人物の登場場面を示す区切り情報を生成したりするなどのことが可能である。もちろん、この他の種々の方法により、種々の区切り情報を自動的に生成してこれを用いるようにすることができる。
【０１０４】
また、区切り情報をユーザーが入力することも可能である。例えば、種々のコンテンツを再生し、ユーザーが気に入った部分に区切り情報を付すようにしたり、また、楽曲の音声データがコンテンツである場合には、前奏、Ａメロ、サビ、Ｂメロ、間奏などというように、楽曲の各部分に対応して区切り情報を入力したりするなどのことももちろん可能である。また、区切り情報の追加、変更、削除なども、区切り情報単体で可能である。
【０１０５】
また、上述した実施の形態のコンテンツ再生装置は、主に、音声データや映像データ、ＡＶデータを再生するものとして説明したが、これに限るものではない。家庭において用いられる照明器具を制御する照明器具制御装置や、コンサートホールやイベントホールなどで用いられるレーザ照明などの制御装置等を、光の変化をコンテンツとして提供するコンテンツ再生装置として位置付けた場合に、この発明を適用することが可能である。
【０１０６】
例えば、光の強さを換えるようにする指示入力を受け付けた場合に、光の色を変えるタイミングで、光の強さを換えるように制御したりするなどのことが可能になる。また、例えば、ロボットやフィットネスマシンなどの動作をコンテンツとして位置付ければ、これらロボットやフィットネスマシンについてもこの発明を適用することができる。
【０１０７】
具体的には、ロボットが音を発する機能を有する場合であって、ユーザーから音を発することが指示された場合に、所定の動作を行う場合に音を発するようにしたり、また、フィットネスマシンの場合、ユーザーにかかる負荷を大きくする指示が入力する場合に、一定時間経過後に指示された付加を加えるようにしたり、また、一定時間経過後に指示された負荷に到達するように、適切なタイミングから徐々に負荷の変更を開始するように制御したりするなどのことが可能になる。
【０１０８】
すなわち、コンテンツは、音声、映像などに限るものではなく、光の制御や物の物理的動作の制御など種々のものを対象とすることが可能である。そして、コンテンツが光や物の物理的動作などである場合には、コンテンツデータはそれらを制御するプログラムであり、そのプログラムによって決まる、光や物の変化点などの所定のタイミングで、ユーザーからの指示に応じた処理を実行させるようにすることが可能である。
【０１０９】
また、例えば、パーソナルコンピュータなどを用いて静止画像を順次に表示するようにして提供するいわゆるスライドショーを行うような場合であって、音楽などを一緒に提供する場合、静止画の変更指示（画面送り指示）を受けた場合であっても、一緒に再生するようにされている音楽の次の小節の先頭で静止画像を変えるように制御したりするなどのこともできるようにされる。
【０１１０】
なお、上述の実施の形態においては、コンテンツ再生装置を用いる場合を例にして説明したが、これに限るものではない。この発明は、パーソナルコンピュータ、ＡＶ編集専用装置、ゲームを行うためのプラットフォーム装置等、種々のコンテンツを再生する種々の再生装置に適用することができる。もちろん、再生専用装置に限るものではなく、記録再生装置を含む、コンテンツの再生機能を有する種々の装置にこの発明を適用することが可能である。
【０１１１】
すなわち、種々のコンテンツをリアルタイムに生成する装置において、ユーザーからのパラメータ変更、構成変更等の指示を一定の時間保持し、コンテンツの所定の区切り位置で反映させ、ユーザーに違和感を与えることなく、適切かつスムーズに、再生されているコンテンツに対する種々の変更を行うようにすることができる。したがって、コンテンツの連続性が保たれ、違和感の無い音楽や映像などのコンテンツをリアルタイムに生成して再生することが可能になる。
【図面の簡単な説明】
【０１１２】
【図１】この発明の一実施の形態が適用されたコンテンツ再生装置を説明するためのブロック図である。
【図２】動作入力等に応じたパラメータの変更時におけるこの実施の形態のコンテンツ再生装置の動作について説明するための図である。
【図３】コンテンツの再生に関するパラメータの操作入力について説明するための図である。
【図４】コンテンツの再生に関するパラメータの操作入力について説明するための図である。
【図５】操作入力の方法の他の具体例を説明するための図である。
【図６】操作入力の方法の他の具体例を説明するための図である。
【図７】図１に示したコンテンツ再生装置の概念図である。
【図８】図１に示したコンテンツ再生装置においてのコンテンツの再生処理時の動作を説明するためのフローチャートである。
【符号の説明】
【０１１３】
１０…制御部、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…ＣＰＵバス、２０…出力部、２１…デコーダ、２２…音声出力部、２３…デコーダ、２４…映像表示部、３０…記憶部、３１…インターフェース、３２…記録媒体、４１…外部インターフェース、４２…入力インターフェース、４３…デジタルインターフェース、４４…無線インターフェース、４５…送受信アンテナ、５０…センサ部、５１…生体情報センサ、５２…エンコーダ、５３…環境情報センサ、５４…エンコーダ、１００…インターネット
【技術分野】
【０００１】
この発明は、音楽や映像、ロボットなどの物の物理的な動きなどの種々のコンテンツを再生する方法および装置に関する。
【背景技術】
【０００２】
例えば、楽曲の一連の波形データを予め記憶しておき、この記憶した波形データを再生することにより楽曲を再生して出力するようにする波形データ再生装置が知られている。こうした波形データ再生装置においては、小節などの音楽的に意味のある単位を最小単位として構成されるデータ毎に区切り、更に区切られたデータ毎に操作子を割り当て、割り当てた操作子をリアルタイムに操作することによって操作子が割り当てられた区間のデータをリアルタイムに再生して音楽を生成することができるものがある。
【０００３】
後に記す特許文献１には、上述のような波形データ再生装置において、再生位置の変更（移行）が指示された場合に、次の操作子までは再生を続行して、操作子により特定される位置から、目的とする操作子により特定される位置に再生位置を変更させるようにする技術が開示されている。
【０００４】
この特許文献１に記載の技術を用いることによって、一連の波形データ（音声データ）における再生位置を現在再生中の位置から別の位置に移行させる場合に、再生される音楽のリズム感が損なわれて不自然な演奏になることを防止することができ、再生位置を変更するようにした場合であっても、違和感を与えることがないように音楽を再生することができるようにされる。
【特許文献１】特開２０００−１８７４８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、上述した特許文献１に記載の波形データ再生装置は、波形データとしての音声データを再生するものであるが、近年においては、音声データや映像データなど種々のコンテンツデータを処理対象とするコンテンツ再生装置が提供されるようになってきている。
【０００６】
また、種々の機器の制御装置として用いられるコンピュータの小型化、高機能化が図られ、このようなコンピュータを音声や映像を再生するコンテンツ再生装置に搭載することによって、日常生活において用いられる音声や映像のコンテンツ再生装置の高性能化が図られ、再生対象の音声や映像などのコンテンツの楽しみ方の幅が広がっている。
【０００７】
例えば、音楽についての知識や音楽や映像についての編集技術の無い、いわゆる素人でも、予め用意される音楽フレーズ、映像シーンなどのいわゆるループ素材を選択するだけで、リアルタイムに複数の音楽フレーズ（音楽素材）からなる一連の音楽コンテンツや複数の映像シーン（映像素材）からなる一連の映像コンテンツを生成することができるコンテンツ作成ツールが考えられている。
【０００８】
また、ユーザーが意図的に再生ボタンや終了ボタンを押さなくても、室内でのユーザーの動きを感知して自動的にコンテンツの再生を開始するようにするＡＶ（Audio/Visual）装置や、再生するコンテンツに対してユーザーの動作に合わせて変化をつけたりするＡＶ装置やＤＪ（Disk Jockey）/ＶＪ（Video Jockey）ツール、ユーザーの歩行テンポに同期させて音楽の再生スピードを変えるようなポータブルオーディオ装置やフィットネスマシンなどが考えられている。
【０００９】
このように、種々のコンテンツデータを再生するコンテンツ再生装置において、単に再生位置を、小節などを最小単位として構成される音節単位に移動させるといった処理だけでなく、種々のエフェクト（効果）、再生速度、音量、音質、画質などのパラメータを再生処理中に変更させるようにすることが考えられる。
【００１０】
しかし、コンテンツの再生途中で種々のパラメータの変更を行う場合に、ユーザーからの指示タイミングでパラメータの変更を行うようにしたのでは、再生されるコンテンツの変化が、ユーザーに違和感を与えてしまい、再生されるコンテンツのエンタテインメント性を損なう場合があると考えられる。
【００１１】
以上のことにかんがみ、この発明は、コンテンツの再生処理中においてのコンテンツに対する種々の変更処理を、ユーザーに違和感を与えることなく、適切かつスムーズに行えるようにする装置、方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するため、請求項１に記載の発明の再生装置は、
再生対象のコンテンツに対する指示情報の入力を受け付ける受付手段と、
前記受付手段を通じて受け付けた前記指示情報を記憶する記憶手段と、
前記コンテンツの再生状況に応じた所定のタイミングで、前記コンテンツに対して、前記記憶手段に記憶された前記指示情報に応じた処理を反映させる処理手段と
を備えることを特徴とする。
【００１３】
この請求項１に記載の発明の再生装置によれば、受付手段を通じて再生対象のコンテンツに対する指示情報が受け付けられ、この指示情報が記憶手段に記憶される。そして、処理手段により、再生状況に応じた所定のタイミングにおいて、記憶手段に記憶されている指示情報に応じた処理が、再生対象のコンテンツに対して施すようにされる。
【００１４】
このように、ユーザーからの指示情報を一旦バッファリングしておき、所定のタイミングで一斉にコンテンツに反映させることによって、コンテンツに対する種々の変更処理を行っても、スムーズで違和感のないコンテンツの再生を行うことができるようにされる。
【発明の効果】
【００１５】
この発明によれば、本発明では、コンテンツをリアルタイムに生成（再生）する装置において、コンテンツの区切り位置で指示情報を一斉に反映させることにより、コンテンツの連続性が保たれ、スムーズで違和感の無いコンテンツの再生を行うことができる。
【発明を実施するための最良の形態】
【００１６】
以下、図を参照しながら、この発明による装置、方法の一実施の形態について説明する。
【００１７】
［コンテンツ再生装置（記録再生装置）について］
図１は、この発明による装置、方法の一実施の形態が適用されたこの実施の形態のコンテンツ再生装置を説明するためのブロック図である。図１に示すように、この実施の形態のコンテンツ再生装置は、制御部１０と、出力部２０と、記憶部３０と、外部インターフェース（以下、外部Ｉ／Ｆと略称する。）４１と、入力インターフェース（以下、入力Ｉ／Ｆと略称する。）４２と、デジタルインターフェース（以下、デジタルＩ／Ｆと略称する。）４３と、無線インターフェース（以下、無線Ｉ／Ｆと略称する。）４４と、送受信アンテナ４５、センサ部５０とを備えたものである。
【００１８】
制御部１０は、ＣＰＵ（Central Processing Unit）１１と、ＲＯＭ（Read Only Memory）１２と、ＲＡＭ（Random Access Memory）１３とが、ＣＰＵバス１４を通じて接続されて構成されたマイクロコンピュータであり、この実施の形態のコンテンツ再生装置の各部を制御するものである。
【００１９】
また、出力部２０は、音声デコーダ２１と、音声出力部２２と、映像デコーダ２３と、映像表示部２４とを備えたものである。音声出力部２２は、スピーカーであり、映像表示部２４は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、有機ＥＬ（Electro Luminescence）ディスプレイ、ＣＲＴ（Cathode-Ray Tube）等の表示素子である。また、音声デコーダ２１は、再生対象の音声データから音声出力部２２に供給するアナログ音声信号を形成するものであり、映像デコーダ２３は、再生対象の映像データから映像表示部２４に供給するアナログ映像信号を形成するものである。
【００２０】
記憶部３０は、インターフェース（以下、Ｉ／Ｆと略称する。）３１と、記録媒体３２とを備えたものである。記録媒体３２としては、例えば、ハードディスク、光ディスク、光磁気ディスク、半導体メモリー、フレキシブルディスクなどの種々の記録媒体を用いることが可能である。
【００２１】
また、記録媒体３２として、例えば、複数のハードディスクを用いる構成としたり、複数の光ディスクを用いる構成としたりするなど、同種の記録媒体を複数用いるようにしたり、あるいは、ハードディスクと光ディスクとを用いる構成としたり、光ディスクと光磁気ディスクとを用いる構成としたりするなど、種類の異なる複数の記録媒体を用いる構成とすることが可能である。また、記録媒体３２は、内蔵するようにされたものとすることもできるし、着脱可能（交換可能）な態様とすることも可能である。
【００２２】
そして、記録媒体３２は、後述もするように、再生対象の音声データ、映像データ、ＡＶ（Audio/Visual）データ、プログラム、その他各種のコンテンツデータなどを記憶保持することができるものである。なお、ＡＶデータは、映像データと音声データとが同期を取って再生することができるようにされたものであり、例えば、映像などのコンテンツデータである。
【００２３】
また、記録媒体３２は、各コンテンツデータに対応するコンテンツ属性情報であって、コンテンツデータの種々の区切りの位置（タイミング位置）を示す区切り情報（タイミング情報）をも記憶保持する。この区切り情報は、各コンテンツデータに個別に設けられるものであり、コンテンツデータとペアで記録媒体に記録されて提供される他、後述もするように、インターネット上に設けられたサーバー装置などから外部Ｉ／Ｆ４１を通じてダウンロードするようにしたり、デジタルＩ／Ｆや無線Ｉ／Ｆ４３を通じて外部機器から提供を受けたり、コンテンツデータと共に、あるいは、コンテンツデータとは別個独立に取得することができるものである。
【００２４】
外部Ｉ／Ｆ４１は、上述もしたように、この実施の形態のコンテンツ再生装置においては、インターネット１００に接続するためのものである。したがって、この実施の形態のコンテンツ再生装置は、インターネット１００を通じて、音声データ、映像データ、ＡＶデータ、テキストデータ、その他の種々のコンテンツデータをダウンロードしてきて、Ｉ／Ｆ３１を通じて記録媒体３２に記憶保持させることができるようにしている。逆に、この実施の形態のコンテンツ再生装置から、目的とするサーバー装置に情報を送信して、当該情報を記憶保持させるようにすることも可能である。
【００２５】
入力Ｉ／Ｆ４２は、ユーザーからの操作入力を受け付けるものであり、例えば、キーボードや、いわゆるマウスなどと呼ばれるポインティングデバイスやタッチパネルなどの種々の入力装置の１つ以上を備えるものである。入力Ｉ／Ｆ４２を通じて受け付けられた操作入力は、電気信号に変換されて制御部１０に供給される。これにより、制御部１０は、ユーザーからの操作入力に応じて、この実施の形態のコンテンツ再生装置を制御することができるようにされる。
【００２６】
デジタルＩ／Ｆ４３は、例えば、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４、あるいは、ＵＳＢ（Universal Serial Bus）、あるいは、その他のデジタルインターフェースに準拠したものであり、専用線を通じて、他の電子機器に接続し、例えば、コンテンツデータや区切り情報などのデータの送受を行うことができるようにしている。
【００２７】
また、無線Ｉ／Ｆ４４、および、送受信アンテナ４５は、例えば、無線ＬＡＮなどに接続し、相互に情報の送受を行うことができる。また、この無線Ｉ／Ｆ４４、および、送受信アンテナ４５を通じて、コンテンツデータや区切り情報を無線ＬＡＮシステムから提供を受けることもできるようにしている。
【００２８】
そして、この実施の形態のコンテンツ再生装置においては、記憶部３０の記憶媒体３２にコンテンツデータが記憶保持されるとともに、記憶保持されているコンテンツデータに対応する区切り情報が取得されて記憶保持される。上述もしたように、コンテンツ属性情報である区切り情報は、外部Ｉ／Ｆ４１、デジタルＩ／Ｆ４３、無線Ｉ／Ｆ４４などを通じて外部から対応するコンテンツデータとは別個独立に取得することができるものである。
【００２９】
なお、各コンテンツデータと、これに対応する区切り情報とは、予め決められた識別情報によって対応付けることができるようにされている。また、目的とするコンテンツデータに対応する区切り情報は、各種の記録媒体を通じて提供を受けるようにすることも可能であるし、コンテンツデータのファイル内の別領域（別チャンク）に格納されて提供される場合もあり、このような場合であっても、区切り情報を正確に取得し、利用することが可能である。
【００３０】
また、この実施の形態のコンテンツ再生装置から、コンテンツデータや区切り情報を、外部Ｉ／Ｆ４１、デジタルＩ／Ｆ４３、無線Ｉ／Ｆ４４などを通じて他の機器へ伝送することもできるようにしている。
【００３１】
センサ部５０は、生体情報センサ（生体センサ）５１と、生体情報エンコーダ５２と、環境情報センサ（環境センサ）５３と、環境情報エンコーダ５４とを備えたものである。生体情報センサ５１は、例えば、歪みセンサ、加速度センサ、ショックセンサ、振動センサ、方位センサ、曲げセンサ、圧力センサ、画像センサ、焦電センサ、赤外線センサ、帯電位センサなどのユーザーの身体に取り付けられ、あるいは、ユーザーの近辺にあって、ユーザーの動きを検出し、これを電気信号に変換して取り込むことができるものである。
【００３２】
この他、生体情報センサとして、ユーザーの映像を撮像するビデオカメラなどを用いるようにすることもできる。ビデオカメラで撮像されたビデオデータを解析することにより、ユーザーの動きを検出することができるからである。また、ＧＰＳ（Global Positioning System）も生体情報センサ５１として利用することが可能である。ユーザーの位置を正確に把握することができるので、ユーザーの移動の状態などを把握することができるからである。
【００３３】
ここでユーザーの動作とは、この例のコンテンツ再生装置の使用者であるユーザーの、歩行運動、体の上下運動、頭部の前後左右への振り運動、腕の振り運動、胴部の前後左右方向への振り運動、室内などの所定のエリアへの進入／退出などである。細かくは、手の動き、体幹部の上下運動や前後左右運動、足の動き、手拍子、歩行時の足の踏み込みなどのユーザーの体の各部の種々の運動ももちろんユーザーの動作に含まれる。
【００３４】
また、ＧＰＳによって把握可能な情報であるユーザーの位置や移動の状態、例えば、目的とする地点に到達したなどの情報もユーザーの動作を示すものである。また、ボタンやキーボード、打楽器型の専用インターフェースなどからのユーザーからの入力指示なども、ユーザーの動きの情報として用いることも可能である。
【００３５】
エンコーダ５２は、生体情報センサ５１からの検出データを制御部１０に提供する形式のデータに変換するものであり、生体情報センサ５１と、コンテンツ再生装置の制御部１０との間を接続するインターフェースの役割を有するものである。
【００３６】
また、環境情報センサ５３は、例えば、気温センサ、湿度センサ、風力センサ、明度センサ、音声センサなどであり、気温、湿度、風力、明度、環境音などのユーザーの置かれた環境に関する情報を検出して、これを電気信号として取り込むことができるものである。エンコーダ５４は、環境情報センサ５３からの検出データを制御部１０に提供する形式のデータに変換するものであり、環境情報センサ５３と、コンテンツ再生装置の制御部１０との間を接続するインターフェースの役割を有するものである。
【００３７】
そして、生体情報センサ５１、環境情報センサ５３からの検出出力（センサ信号）は、それぞれ対応するエンコーダ５２、エンコーダ５４を通じて、コンテンツ再生装置の制御部１０に入力される。そして、制御部１０は、詳しくは後述もするように、センサ部５０からのセンサ信号を考慮して、再生対象のコンテンツデータの再生制御を行うことができるようにしている。
【００３８】
そして、この実施の形態のコンテンツ再生装置において、入力Ｉ／Ｆ４２を通じて、ユーザーから、目的とするコンテンツの再生指示入力を受け付けると、制御部１０の制御により、記録媒体３２に記録保持されている目的とする音声データ、映像データ、あるいはＡＶデータなどのコンテンツデータが、Ｉ／Ｆ３１を通じて読み出され、制御部１０、および、出力部２０の機能により再生されてユーザーに提供するようにされる。
【００３９】
また、上述もしたように、各コンテンツデータに対しては、区切り情報が対応付けられている。この区切り情報は、上述もしたように、再生対象のコンテンツデータと同じ記録媒体の同じファイルに記録されて提供されたり、同じ記憶媒体の別ファイルに記録されて提供されたり、外部機器から提供を受けたり、あるいは、コンテンツデータと区切り情報とを対応付ける識別情報を用いることによって、インターネットなどのネットワークを経由して所定のサーバーから取得され、記録媒体３２に記憶保持されている。
【００４０】
そして、コンテンツデータの再生時においては、再生対象のコンテンツデータに対応する区切り情報も制御部１０によって記録媒体３２から読み出され、例えば、ＲＡＭ１３の所定の記憶領域に一時記憶されることにより、コンテンツデータの再生進行に応じて、制御部１０が対応する区切り情報を参照することができるようにされる。
【００４１】
そして、目的とするコンテンツデータの再生処理が開始された後において、この実施の形態のコンテンツ再生装置は、入力Ｉ／Ｆを通じてユーザーからの操作入力を受け付けて、再生しているコンテンツの再生に関するパラメータをリアルタイムに変更することができるようにしている。
【００４２】
ここでコンテンツの再生に関するパラメータは、種々のエフェクト、テンポ、コード進行、音量、音質、画質などのコンテンツに対する種々の調整に関連するパラメータ、コンテンツを形成するコンテンツデータの処理経路についてのパラメータ、早送り、早戻し、スキップなどのコンテンツについての移動処理についてのパラメータなどである。
【００４３】
また、コンテンツの再生に関するパラメータは、入力Ｉ／Ｆ４２を通じて受け付けるユーザーからの積極的な操作入力の他に、ユーザーの体の動き、ユーザーの移動情報、ユーザーの位置情報、気温、天気、時刻などの環境情報をセンシング（検出）して、これをパラメータの入力として受け付けることもできるようにしている。
【００４４】
例えば、ユーザーの歩行運動が検出された場合には、コンテンツデータの再生テンポの調整を指示するパラメータとして受け付けるようにしたり、明度や気温によって、再生するコンテンツに施すべきエフェクトを変化させるパラメータとして受け付けるようにしたりするなどのことができるようにされる。
【００４５】
そして、この実施の形態のコンテンツ再生装置において、コンテンツの再生に関するパラメータの入力としての意味を有する情報であって、入力Ｉ／Ｆ４２を通じて受け付けられたユーザーからの操作入力（ユーザーからの指示入力）に応じた指示情報やセンサ部５０を通じて受け付けるセンサ入力（センサからの指示入力）に応じた指示情報は、一時的にＲＡＭ１３に記憶保持（バッファリング）される。
【００４６】
ＲＡＭ１３にバッファリングされた指示情報（操作入力に応じた指示情報やセンサ入力に応じた指示情報）は、再生中のコンテンツに対して即時に反映されるのではなく、再生中のコンテンツに対応する区切り情報に応じた所定のタイミングで反映するようにしている。このようにすることによって、再生中のコンテンツに対して、コンテンツの再生に関するパラメータが変更するように指示された場合であっても、再生に関するパラメータが突然に変更されることにより、ユーザーに対して違和感を与えてしまうことを防止することができるようにしている。換言すれば、再生パラメータの変更を、ユーザーに対して違和感を与えることなく、適正かつスムーズに行うことができるようにしている。
【００４７】
［操作入力等に応じたパラメータ変更時の動作について］
この実施の形態のコンテンツ再生装置においての操作入力等に応じたパラメータの変更時の動作について説明する。図２は、動作入力等に応じたパラメータの変更時におけるこの実施の形態のコンテンツ再生装置の動作について説明するための図である。図２において、矢印で示した時間の進行方向に帯状に示した部分が再生対象のコンテンツデータを示している。
【００４８】
コンテンツデータの上側に三角印で示した位置ａ１、ａ２、ａ３、ａ４、ａ５のそれぞれは、当該再生対象のコンテンツデータに対応する区切り情報によって示される区切りの位置であり、当該コンテンツデータが楽曲の音声データである場合には、例えば小節やビートの区切り目などであり、当該コンテンツデータが映像データである場合には、例えばシーンチェンジやカットチェンジ、チャプターの位置などである。
【００４９】
ここで、映像のシーンチェンジは、屋内から屋外へなどのように、シーン自体は変化する場合であり、カットチェンジは、同じ場面であるが、正面からの視点か側面からの視点に変わるというように、視点（カメラ）が変えられる場合である。また、チャプターは、ＤＶＤ（Digital Versatile Disc）などにおいて用いることができるようにされている概念であり、ユーザーが任意に設定可能な映像区間を意味し、映像的な変化が無い部分でも、ユーザーの好みの部分や、単に指定時間単位の映像部分などをも含むものである。
【００５０】
コンテンツデータが順次に再生処理され、操作入力位置ｉｎ１において、再生されているコンテンツに対するパラメータの変更を指示する操作入力がなされた場合には、制御部１０は、操作入力位置ｉｎ１から最初に到達する区切り位置ａ３までは、そのままの状態で再生処理を続行する（再生状態をそのまま維持する）。
【００５１】
そして、制御部１０は、再生位置が区切り位置ａ３によって示される位置にまで到達した時点で、操作入力位置ｉｎ１において入力を受け付けた指示情報に応じたパラメータの変更処理を行う。すなわち、この図２に示した例の場合においては、区切り位置ａ３が、過去に受け付けた操作入力（指示入力）に応じた処理を再生対象のコンテンツに対して反映させる操作入力反映位置ｔ１となる。
【００５２】
［操作入力の具体例について］
次に、この実施の形態のコンテンツ再生装置においてのコンテンツの再生に関するパラメータの操作入力の方法の具体例について説明する。ここでは、再生対象のコンテンツデータが音声データである場合であって、再生対象の音声データに対するエフェクトのパラメータ変更についての操作入力をマウスやキーボードである入力Ｉ／Ｆ４２を通じて受け付ける場合を例にして説明する。
【００５３】
図３、図４は、この実施の形態のコンテンツ再生装置においてのコンテンツの再生に関するパラメータの操作入力について説明するための図である。この実施の形態のコンテンツ再生装置は、入力Ｉ／Ｆ４２を通じて所定の操作を受け付けると、再生対象のコンテンツデータである音声データに対して、種々のエフェクトを施すようにするためのプログラムが実行され、映像表示部２４の表示画面Ｇに表示される映像を確認しながら、ユーザーが目的とするエフェクトを再生対象の音声データに対して施すことができるようにされている。
【００５４】
例えば、再生対象の音声データに対して目的とするエフェクトを施すために、入力Ｉ／Ｆ４２を通じて所定の入力を行うと、図３に示すように、再生対象の音声データに対しエフェクトを施す操作入力をユーザーから受け付けるために、操作入力画像が表示される。
【００５５】
図３において、上端側の帯状の表示ＣＯＮは、コンテンツの再生の進行状況を通知するための表示であり、実際の再生位置は、表示ＣＯＮ部分に再生状況に応じて移動するポインタＰによって示される。また、コンテンツの表示ＣＯＮの縦線は、当該コンテンツに対応する区切り情報によって特定される区切り位置を示している。進行状況はユーザーの確認のためだけに示されるもので、必要のない場合は表示しないこともできる。
【００５６】
また、図３において、四角で示した表示１、２、３、４、５のそれぞれは、信号処理モジュール（処理単位）を示すものであり、以下、この明細書においては、各信号処理モジュールをプラグインと呼ぶこととする。そして、図３に示した例の場合には、サウンドファイル（図においてはSound Fileと記載。）プラグイン１と、エフェクタ（図においてはEffecterと記載。）プラグイン２、３と、ミキサ（図においてはMIXERと記載。）プラグイン４と、サウンドアウトプット（図においてはSound Outputと記載。）プラグイン５とが表示された状態となっている。
【００５７】
サウンドファイルプラグイン１は、所定の音楽ファイルからＰＣＭ（Pulse Coded Modulation）デジタルデータである音声（音楽）データを読み込み、これを４４．１ｋＨｚで出力する処理を行うモジュールを示している。エフェクタプラグイン２、３のそれぞれは、これらに供給された音声データに対してエフェクト処理を行うモジュールを示している。
【００５８】
この例において、エフェクタプラグイン２は、例えばピッチシフト（音程変換）処理を行い、エフェクタプラグイン３は、例えばディストーション（歪み）処理を行うというように、エフェクタプラグイン２、３のそれぞれは、異なるエフェクト処理を行うものである。このため、図においては、エフェクタプラグイン２には（Ａ）、エフェクトプラグイン３には（Ｂ）というように、異なる文字を付加することによって、エフェクタとして実行する処理内容が異なることを示している。
【００５９】
また、ミキサプラグイン４は、エフェクタ２からの出力音声データと、エフェクタプラグイン３からの出力音声データとを合成する処理（ダウンミックスする処理）を行うモジュールを示している。サウンドアウトプットプラグイン５は、スピーカーやヘッドホンに供給する音声信号を形成する処理を行うモジュールを示している。
【００６０】
そして、図３に示した例の場合には、サウンドファイルプラグイン１と、エフェクタプラグイン２とが接続（結線）され、エフェクタプラグイン２とミキサプラグイン４とが接続（結線）され、エフェクタプラグイン３とミキサプラグイン４とが接続（結線）され、ミキサプラグイン４とサウンドアウトプットプラグイン５とが接続（結線）された状態となっている。
【００６１】
したがって、図３に示した例の場合には、サウンドファイルプラグイン１の処理により、目的とする音楽ファイルから音声データが読み出され、これが４４．１ｋＨｚの信号として出力され、エフェクタプラグイン２に供給される。エフェクタプラグイン２は、これに供給された音声データに対して、所定のエフェクト処理を施し、処理後の音声データをミキサプラグイン４に供給する。
【００６２】
ミキサプラグイン４には、エフェクタプラグイン３からの音声データも供給されるように接続されているが、エフェクタプラグイン３には現在入力が与えられていないため、エフェクタプラグイン３からは０レベルの信号だけがミキサプラグイン４に供給するようにされている状態となっている。
【００６３】
そして、ミキサプラグイン４は自己に供給された音声データを合成する処理を行うようにし、処理後の音声データをサウンドアウトプットプラグイン５に供給する。サウンドアウトプットプラグイン５は、これに供給された音声データからスピーカーやヘッドホンに供給する音声信号を形成し、これを出力するようにする。これによって、目的とする音声データに対して、エフェクタ２によってエフェクト（Ａ）を施して、これを再生して聴取することができるようにされる。
【００６４】
そして、図３に示した各プラグイン間の接続（結線）は、音楽再生を止めることなくダイナミックに変えることができる。具体的には、入力Ｉ／Ｆ４２としてのマウスを用い、図３において矢印が示す位置にカーソルを位置付けて、いわゆるドラック・アンド・ドロップ操作などの所定の操作を行うことによって、サウンドファイルプラグイン１とエフェクタプラグイン２との間の接続を解除し、サウンドファイル１とエフェクトプラグイン３とを接続するようにすることが簡単にできるようにされる。
【００６５】
図４は、図３の状態から入力Ｉ／Ｆ４２を通じて所定の操作が行われることによって、サウンドファイルプラグイン１とエフェクタプラグイン３とを接続するように接続状態が変えられた場合を示している。上述もしたように、例えば、ドラック・アンド・ドロップ操作のような簡単な操作によって、各プラグイン間の接続状態を簡単に変更することができるようにしている。
【００６６】
そして、図３の状態から図４の状態にプラグイン間の接続状態（結線状態）を変更するようにした場合であって、接続を切り替えた瞬間には、その変更を再生対象の音声データに対して反映することは無く、コンテンツの再生が、当該コンテンツに対応する区切り情報によって示される次の小節などの区切り位置まで進んだ場合に初めて反映するように処理するようにしている。
【００６７】
すなわち、上述もしたように、マウスなどを操作することによって、プラグイン間の接続状態が変更するように指示された場合、表示情報の変更は即座に行うが、操作入力情報（指示情報）は、コンテンツ再生装置の制御部１０によって取り込まれ、ＲＡＭ１３の所定の記憶領域に一時記憶し、即座に再生しているコンテンツに反映しないようにする。そして、コンテンツの再生位置が、区切り情報によって示される区切り位置に到達した場合に、ＲＡＭ１３に一時記憶された指示情報に基づいて、再生されているコンテンツに施されるエフェクタが変更される。
【００６８】
接続状態が変更されてから実際にコンテンツに反映されるまでの間に、反映前の操作があることをユーザーに示すために、例えば画面Ｇの背景色やポインタＰの色を変えたり、変更が加えられたプラグインすなわちサウンドファイル１、エフェクタ２、エフェクタ３の色を変えたりしてもよい。実際に処理が反映されると同時にこれらの色は元に戻される。
【００６９】
このように、処理経路（接続状態）の変更を指示する操作入力に応じた表示情報の変更は即座に行われるが、実際にコンテンツデータの処理経路（接続状態）が変更されるのは、区切り情報によって示される区切り位置に再生位置が到達した時点である。したがって、操作入力が行われた時点において即座にエフェクタが変更されることは無く、小節などの区切り位置において、エフェクトの変更が行われるので、再生されるコンテンツがユーザーに対して違和感を与えることが無いように、コンテンツの所定の区切りにおいて、エフェクトの変更を行うようにすることができる。
【００７０】
次に、この実施の形態のコンテンツ再生装置においてのコンテンツの再生に関するパラメータの操作入力の方法の他の具体例について説明する。図５、図６は、操作入力の方法の他の具体例を説明するための図である。
【００７１】
この図５に示した例の場合には、図３、図４を用いて説明した場合と同様に、映像表示部４の表示画面Ｇの上側部分には、コンテンツの再生の進行状況を通知するための表示ＣＯＮとポインタＰとが表示されている。また、表示画面Ｇには、利用可能なプラグインとして、サウンドファイルプラグイン１と、エフェクタプラグイン２と、サウンドアウトプットプラグイン５とが表示されている。
【００７２】
そして、図５に示す例の場合には、サウンドファイルプラグイン１と、エフェクタプラグイン２と、サウンドアウトプットプラグイン５とが接続（結線）された状態となっている。さらに、図５に示した例の場合には、エフェクタプラグイン２に対してダブルクリックをするなどの所定の操作を行うことによって、エフェクトパラメータ（例えば、ピッチシフトの段階や、ディストーションレベル、リバーブのディレイ時間など）の入力ウインドウ６が開かれた状態となっている。
【００７３】
この場合、エフェクトパラメータの入力ウインドウ６においては、数値入力欄６ａ、スライドバー６ｂが表示されている。そして、数値入力欄６ａに数値を入力することにより、あるいは、スライドバー６ｂのポインタ６ｐを移動させるなどして、エフェクトパラメータを変更することができるようにされる。そして、数値入力欄６ａへの数値情報の入力やスライドバー６ｂのポインタ６ｐを移動させる操作を行っても、制御部１０は、その操作を即時に反映せずに、入力された情報をＲＡＭ１３に一時記憶し、小節などの区切り位置まで再生が進んだ時に初めて反映するようにしている。
【００７４】
この図６に示した例の場合には、図５を用いて説明した場合と同様に、映像表示部４の表示画面Ｇの上側部分には、コンテンツの再生の進行状況を通知するための表示ＣＯＮとポインタＰとが表示されている。また、表示画面Ｇには、利用可能なプラグインとして、サウンドファイルプラグイン１と、エフェクタプラグイン２と、サウンドアウトプットプラグイン５、センサプラグイン７とが表示されている。
【００７５】
そして、この図６に示す例の場合には、サウンドファイルプラグイン１とセンサプラグイン７とがエフェクタプラグイン２に接続（結線）され、さらにエフェクタプラグイン２がサウンドアウトプットプラグイン５に接続（結線）された状態となっている。また、この図６に示した例の場合にも、図５に示した例の場合と同様に、エフェクタプラグイン２に対してダブルクリックをするなどの所定の操作を行うことによって、エフェクトパラメータ（例えば、ディストーションレベルやリバーブのディレイ時間など）の入力ウインドウ６が開かれた状態となっている。
【００７６】
この場合、エフェクトパラメータの入力ウインドウ６において、バインド（図においてはBindと記載。パラメータを入力ピンに割り当てる意。）欄６ｃがチェックされた状態となっている。このバインド欄６ｃは、センサ部５０をプラグイン２の入力ピンとして割り当てるか否かの設定を行うための欄である。したがって、図６に示した例の場合には、バインド欄６ｃがチェックされた状態となっており、センサ部５０を入力ピン（入力系）として割り当て、センサプラグイン７に対応するセンサ部５０の出力（センサ部５０からの入力情報）に応じて、エフェクトパラメータのレベルが変化するように結合するようにされた場合を示している。
【００７７】
なお、バインド欄６ｃがチェックされ、センサプラグイン７の出力に応じてエフェクトレベルを変化させるようにしている場合には、エフェクトレベルの変更は、数値入力欄６ａへの数値入力やスライドバー６ｂのポインタ６ｐの移動によっては行うことができないようにされ、数値入力欄６ａ、スライドバー６ｂのポインタ６ｐは例えばグレイ色で表示するようにされる。もちろん他の態様の表示を行うことにより、数値入力欄６ａ、スライドバー６ｂのポインタ６ｐの利用ができないことを通知するようにすることもできる。
【００７８】
そして、センサプラグイン７の出力をトリガーとして、エフェクタプラグイン２のエフェクトレベルが自動的に変化するようにされるが、この場合においても、エフェクトレベルの変化は、制御部１０によって、一旦、ＲＡＭ１３にバッファされた後、再生対象のコンテンツの再生が小節などの区切り位置まで進んだ時に初めて反映するようにされる。
【００７９】
なお、この明細書において、「トリガー」という文言は、指示情報の発生や出力を意味しており、換言すれば、再生されているコンテンツに対して種々の処理を行うことが指示されたことを意味するものである。
【００８０】
また、この実施の形態のコンテンツ再生装置は、図１を用いて説明したように、センサプラグイン７に相当するセンサ部５０として、生体情報センサ５１や環境情報センサ５３を備えている。そして、例えば、生体情報センサ５１によって計測されるユーザーの単位時間当たりの歩数の変化や心拍数の変化に応じてエフェクトレベルを調整するようにしたり、また、環境情報センサによって計測される明度や気温の変化に応じてエフェクトレベルを調整したりすることができるようにされる。
【００８１】
すなわち、生体情報センサ５１、環境情報センサ５３のそれぞれは、それぞれのセンシング情報からパターンやトリガーを認識して出力し、これを制御部１０に通知することができるので、制御部１０が、生体情報センサ５１、環境情報センサ５３からの出力情報に基づいて、再生コンテンツに対するエフェクトの制御を行うことができるようにされる。
【００８２】
このように、センサ部５０からの出力情報を用いる場合であっても、エフェクトレベルの変化は、制御部１０によって、一旦、ＲＡＭ１３にバッファされた後、再生対象のコンテンツの再生が小節などの区切り位置まで進んだ時に初めて反映するようにされるので、ディスプレイ２４やスピーカー２２を通じてユーザーに提供されるコンテンツに対するエフェクト処理が突然に変化して違和感を生じさてしまうことを防止することができるようにされる。
【００８３】
図７は、図１に示したこの実施の形態のコンテンツ再生装置の概念図である。上述もしたように、この実施の形態のコンテンツ再生装置は、入力Ｉ／Ｆ４２を通じて受け付けるユーザーからの操作入力、また、センサ部５０の生体情報センサ５１からのユーザーの体動や生体情報、さらには、センサ部５０の環境情報センサ５３からの環境情報を入力情報として、再生対象のコンテンツの区切り情報のタイミングに従ってパラメータの変更などを行うことができるようにされる。
【００８４】
そして、この実施の形態のコンテンツ再生装置においては、以下に示すような命令や制御はコンテンツ再生とは非同期に発生するものであるため、コンテンツ再生装置はそのトリガーを受けて一時保持した上で、再生対象のコンテンツの区切り情報に応じて把握可能なコンテンツの区切り位置（区切りのタイミング）において、コンテンツに反映させることができるようにしている。
【００８５】
具体的には、以下のような種々のトリガーを受けた後であって、再生対象のコンテンツの区切り情報によって把握可能な区切り位置において、再生するコンテンツを変化させることができるようにしている。例えば、
（１）ある時刻になったときに、音楽のコード進行を変化させるトリガー（指示情報）を出力する。
（２）ある場所に入ったときに、音楽の素材を変更するトリガーを出力する。
（３）ある気温以上になったときに、音楽のトラックを追加するトリガーを出力する。
（４）環境音が一定値以下になったとき音楽の音量を変化させるトリガーを出力する。
（５）あるリズムで歩行しているパターンを検出したときに、音楽のエフェクトパラメータを変化させるトリガーを出力する。
（６）部屋の中でソファーに座ったこと、立ったことを検出したときに、映像のエフェクトを変化させるトリガーを出力する。
（７）ユーザーが音楽に合わせてのっていることを加速度センサで検出したときに、音楽のテンポを変更するトリガーを出力する。
（８）静止画のスライドショーで、ある腕の動きのパターンを検出したときに、別の画像グループの再生を開始するトリガーを出力する。
（９）ダンスで所定の動きになったときに、音楽の次のフレーズに移るトリガーを出力する。
（１０）ＧＰＳや近距離無線通信で他の人が近づいてきたことを検出したときに、音楽のサウンドエフェクトを変化させるトリガーを出力する。
など、種々の場合が考えられる。
【００８６】
もちろん、上述したもの以外の場合であっても、ユーザーからの直接の操作入力を受けた場合、あるいは、ユーザーの生体情報の変化や動作や移動などを検出した場合、あるいは、コンテンツ再生装置の周囲の気温、湿度、明度、騒音などの環境の変化を検出した場合に指示情報を発生させて（トリガーを発生させて）、これを一時記憶し、区切り情報の示すタイミングで一時記憶した指示情報に応じた処理を行うようにする種々の場合がふくまれる。
【００８７】
なお、上述のしたような種々のトリガーを受けた直後にはコンテンツを変化させないため、ユーザーにはトリガーが受け付けられたか否かがわからない。そこで、ユーザーにはトリガーが受け付けられたことを示すための、例えばビープ音や画面表示を制御部１０の制御によって行うようにすることによって、より好ましいユーザーインタフェースを構築することができる。
【００８８】
［コンテンツ再生装置のコンテンツ再生処理時の動作］
次に、この実施の形態のコンテンツ再生装置において行われるコンテンツ再生処理について、図８のフローチャートを参照しながら説明する。図８に示す処理は、この実施の形態のコンテンツ再生装置に電源が投入された場合にコンテンツ再生装置の制御部１０において実行される。
【００８９】
制御部１０は、入力Ｉ／Ｆ４２を通じてユーザーからのコンテンツの再生指示入力を受け付け（ステップＳ１０１）、記憶部３０を制御して再生が指示されたコンテンツのコンテンツデータを読み出すと共に、出力部２０を制御して再生が指示されたコンテンツの再生を開始する（ステップＳ１０２）。なお、この実施の形態のコンテンツ再生装置においては、コンテンツの再生時には、その再生対象のコンテンツに対応する区切り情報も読み出され、制御部１０がいつでも即座に参照することができるようにしている。
【００９０】
そして、制御部１０は、再生を開始したコンテンツの再生が終了したか否かを判断し（ステップＳ１０３）、終了したと判断したときには、この図８に示す再生処理を終了する。また、ステップＳ１０３の判断処理において、コンテンツの再生が終了していないと判断したときには、入力Ｉ／Ｆ４２あるいはセンサ部５０を通じてユーザーからの指示入力を受け付けたか否かを判断する（ステップＳ１０４）。
【００９１】
なお、ステップＳ１０４において受け付ける指示入力は、エフェクト、テンポ、コード進行、音量、音質、画質などの再生しているコンテンツに対する調整の指示、再生しているコンテンツを形成するコンテンツデータの処理経路の変更の指示、早送り、早戻し、スキップなどの再生しているコンテンツについての再生位置などの移動の指示、あるいは、これらについての変更指示や削除指示などの入力である。
【００９２】
ステップＳ１０４の判断処理において、ユーザーからの指示入力を受け付けたと判断したときには、制御部１０は、上述もしたように例えばＲＡＭ１３の所定の記憶領域に、指示入力に応じた情報（指示情報）の追加、変更、削除を行う（ステップＳ１０５）。
【００９３】
すなわち、ステップＳ１０５の処理においては、ユーザーから受け付けた指示入力が、コンテンツに対する調整指示や処理経路の変更指示や再生位置などの移動の指示などの新たな指示入力（指示の追加）であるときには、制御部１０は受け付けた指示入力に応じた指示情報をＲＡＭ１３に追加記録する。また、既にＲＡＭ１３に記憶されている指示情報に対する変更指示や削除指示である場合には、制御部１０は、受け付けた指示入力に応じて目的とする指示情報の変更処理や削除処理を行う。
【００９４】
ステップＳ１０５の処理の後、および、ステップＳ１０４の判断処理において指示入力を受け付けていないと判断したときには、再生対象のコンテンツの区切り情報に基づいて、コンテンツの再生が当該コンテンツに対応する区切り情報が示す位置（区切り位置）に到達したか否かを判断する（ステップＳ１０６）。
【００９５】
ステップＳ１０６の判断処理において、コンテンツの再生位置が区切り位置に到達していないと判断したときには、制御部１０は、ステップＳ１０３からの処理を繰り返す。また、ステップＳ１０６の判断処理において、コンテンツの再生位置が区切り位置に到達したと判断したときには、制御部１０は、上述もしたように、例えばＲＡＭ１３の所定の記憶領域に記憶保持されている指示情報に応じた処理を再生対象のコンテンツに対して施す（ステップＳ１０７）。
【００９６】
したがって、指示入力に応じた処理は、指示入力を受け付けた時点において行うのではなく、区切り情報によって示される区切り位置において再生対象のコンテンツに対して施すようにされる。そして、制御部１０は、指示情報を一時記憶する記憶領域をクリア（初期化）し（ステップＳ１０８）、ステップＳ１０３からの処理を繰り返す。
【００９７】
このように、ユーザーからの指示入力に応じた処理は、指示入力受付時点において即座に行われるのではなく、区切り情報によって特定される再生対象のコンテンツの区切り位置において行うようにされる。これにより、再生されるコンテンツの再生態様が急に変化してユーザーに違和感を与えることがないようにすることができる。換言すれば、再生途中のコンテンツに対する種々の変更を、ユーザーに対して違和感を与えることなく、適切かつスムーズに行うことができるようにされる。
【００９８】
［その他］
上述した実施の形態のコンテンツ再生装置においては、入力Ｉ／Ｆ４２だけでなく、センサ部５０も、コンテンツに対する指示情報の入力を受け付ける受け付け手段としての機能を有するようにしている。つまり、入力Ｉ／Ｆとしてのキーボードやマウスなどのポインティングデバイスのほか、生体情報センサ５１や環境情報センサ５３も入力手段として用いることができるようにされる。また、外部Ｉ／Ｆ４１、デジタルＩ／Ｆ４３、無線Ｉ／Ｆ４４などの各Ｉ／Ｆを通じて、コンテンツに対する指示情報の入力を受け付けるようにすることも可能である。
【００９９】
また、記憶部３０が記憶手段としての機能を実現するが、種々の記録媒体を用いることができることは上述したとおりでる。また、複数の同一または異なる記録媒体を利用できるようにしておくことにより、コンテンツデータとこれに対応する区切り情報とを別々の記録媒体に記録して管理することができるようにされる。
【０１００】
また、上述した実施の形態のコンテンツ再生装置においては、制御部１０および出力部２０が協働することにより、指示情報に応じた処理を行う処理手段としての機能を実現するようにしている。また、受付手段を通じて受け付けた指示情報の追加、変更、削除を行う更新手段としての機能は、制御部１０および記憶部３０のＩ／Ｆ３１とが協働することによりその機能を実現するようにしている。
【０１０１】
なお、指示情報の追加だけを行うようにしたり、追加と変更だけを行うようにしたりするなど、追加、変更、削除の内の１つの機能だけを実現するように構成することも可能であるし、例えば、使用者ＩＤを入力させるなどのことによって、使用者制限を設けて、変更や削除を行うことが可能な使用者を制限するようにすることも可能である。
【０１０２】
また、各コンテンツデータに対応して設けられるタイミング情報である区切り情報は、各コンテンツに対応して提供されたり、あるいは、区切り情報のみをインターネットなどのネットワークを経由して所定のサーバー装置から取得したりすることができるものとして説明したが、これに限るものではない。例えば、コンテンツデータを解析することによって、区切り情報を生成するようにしてもよい。
【０１０３】
例えば、コンテンツデータが楽曲の音声データである場合、例えば、拍に基づいて小節区切りを生成するようにしたり、所定の楽器の演奏部分を特定できるように区切り情報を生成するようにしたりすることができる。また、コンテンツデータが映像データである場合には、フレーム単位の画像のパターンマッチングを行うことにより、シーンチェンジ点やカットチェンジ点を検出し、これを区切り情報として用いるようにしたり、登場人物の認識処理を行うことによって、所定の登場人物の登場場面を示す区切り情報を生成したりするなどのことが可能である。もちろん、この他の種々の方法により、種々の区切り情報を自動的に生成してこれを用いるようにすることができる。
【０１０４】
また、区切り情報をユーザーが入力することも可能である。例えば、種々のコンテンツを再生し、ユーザーが気に入った部分に区切り情報を付すようにしたり、また、楽曲の音声データがコンテンツである場合には、前奏、Ａメロ、サビ、Ｂメロ、間奏などというように、楽曲の各部分に対応して区切り情報を入力したりするなどのことももちろん可能である。また、区切り情報の追加、変更、削除なども、区切り情報単体で可能である。
【０１０５】
また、上述した実施の形態のコンテンツ再生装置は、主に、音声データや映像データ、ＡＶデータを再生するものとして説明したが、これに限るものではない。家庭において用いられる照明器具を制御する照明器具制御装置や、コンサートホールやイベントホールなどで用いられるレーザ照明などの制御装置等を、光の変化をコンテンツとして提供するコンテンツ再生装置として位置付けた場合に、この発明を適用することが可能である。
【０１０６】
例えば、光の強さを換えるようにする指示入力を受け付けた場合に、光の色を変えるタイミングで、光の強さを換えるように制御したりするなどのことが可能になる。また、例えば、ロボットやフィットネスマシンなどの動作をコンテンツとして位置付ければ、これらロボットやフィットネスマシンについてもこの発明を適用することができる。
【０１０７】
具体的には、ロボットが音を発する機能を有する場合であって、ユーザーから音を発することが指示された場合に、所定の動作を行う場合に音を発するようにしたり、また、フィットネスマシンの場合、ユーザーにかかる負荷を大きくする指示が入力する場合に、一定時間経過後に指示された付加を加えるようにしたり、また、一定時間経過後に指示された負荷に到達するように、適切なタイミングから徐々に負荷の変更を開始するように制御したりするなどのことが可能になる。
【０１０８】
すなわち、コンテンツは、音声、映像などに限るものではなく、光の制御や物の物理的動作の制御など種々のものを対象とすることが可能である。そして、コンテンツが光や物の物理的動作などである場合には、コンテンツデータはそれらを制御するプログラムであり、そのプログラムによって決まる、光や物の変化点などの所定のタイミングで、ユーザーからの指示に応じた処理を実行させるようにすることが可能である。
【０１０９】
また、例えば、パーソナルコンピュータなどを用いて静止画像を順次に表示するようにして提供するいわゆるスライドショーを行うような場合であって、音楽などを一緒に提供する場合、静止画の変更指示（画面送り指示）を受けた場合であっても、一緒に再生するようにされている音楽の次の小節の先頭で静止画像を変えるように制御したりするなどのこともできるようにされる。
【０１１０】
なお、上述の実施の形態においては、コンテンツ再生装置を用いる場合を例にして説明したが、これに限るものではない。この発明は、パーソナルコンピュータ、ＡＶ編集専用装置、ゲームを行うためのプラットフォーム装置等、種々のコンテンツを再生する種々の再生装置に適用することができる。もちろん、再生専用装置に限るものではなく、記録再生装置を含む、コンテンツの再生機能を有する種々の装置にこの発明を適用することが可能である。
【０１１１】
すなわち、種々のコンテンツをリアルタイムに生成する装置において、ユーザーからのパラメータ変更、構成変更等の指示を一定の時間保持し、コンテンツの所定の区切り位置で反映させ、ユーザーに違和感を与えることなく、適切かつスムーズに、再生されているコンテンツに対する種々の変更を行うようにすることができる。したがって、コンテンツの連続性が保たれ、違和感の無い音楽や映像などのコンテンツをリアルタイムに生成して再生することが可能になる。
【図面の簡単な説明】
【０１１２】
【図１】この発明の一実施の形態が適用されたコンテンツ再生装置を説明するためのブロック図である。
【図２】動作入力等に応じたパラメータの変更時におけるこの実施の形態のコンテンツ再生装置の動作について説明するための図である。
【図３】コンテンツの再生に関するパラメータの操作入力について説明するための図である。
【図４】コンテンツの再生に関するパラメータの操作入力について説明するための図である。
【図５】操作入力の方法の他の具体例を説明するための図である。
【図６】操作入力の方法の他の具体例を説明するための図である。
【図７】図１に示したコンテンツ再生装置の概念図である。
【図８】図１に示したコンテンツ再生装置においてのコンテンツの再生処理時の動作を説明するためのフローチャートである。
【符号の説明】
【０１１３】
１０…制御部、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…ＣＰＵバス、２０…出力部、２１…デコーダ、２２…音声出力部、２３…デコーダ、２４…映像表示部、３０…記憶部、３１…インターフェース、３２…記録媒体、４１…外部インターフェース、４２…入力インターフェース、４３…デジタルインターフェース、４４…無線インターフェース、４５…送受信アンテナ、５０…センサ部、５１…生体情報センサ、５２…エンコーダ、５３…環境情報センサ、５４…エンコーダ、１００…インターネット
【特許請求の範囲】
【請求項１】
再生対象のコンテンツに対する指示情報の入力を受け付ける受付手段と、
前記受付手段を通じて受け付けた前記指示情報を記憶する記憶手段と、
前記コンテンツの再生状況に応じた所定のタイミングで、前記コンテンツに対して、前記記憶手段に記憶された前記指示情報に応じた処理を反映させる処理手段と
を備えることを特徴とする再生装置。
【請求項２】
請求項１に記載の再生装置であって、
前記受付手段を通じて新たな指示情報を受け付けた場合に、前記新たな指示情報に応じて、前記記憶手段に記憶されている前記指示情報の追加、変更、置き換え、削除の内の少なくとも１つを行う更新手段を備えることを特徴とする再生装置。
【請求項３】
請求項１または請求項２記載の再生装置であって、
前記受付手段は、キーボード、ポインティングデバイス等の情報入力装置と、ユーザーの体動や生体情報の変化を検出する生体センサと、気温、天気、方位、地理、明度、環境音、時刻情報等の環境の変化を検出する環境センサとの内の、１つ以上からなることを特徴とする再生装置。
【請求項４】
請求項１、請求項２または請求項３に記載の再生装置であって、
前記処理手段においては、エフェクト、テンポ、コード進行、音量、画質などのコンテンツの調整処理、コンテンツを形成するコンテンツデータの処理経路の変更処理、早送り、早戻し、スキップなどのコンテンツについての移動処理の内の指示するようにされた処理を行うことを特徴とする再生装置。
【請求項５】
請求項３に記載の再生装置であって、
前記受付手段が前記生体センサを有する場合、当該生体センサとして、加速度センサ、ショックセンサ、ＧＰＳ（Global Positioning System）、方位センサ、曲げセンサ、圧力センサ、ビデオ信号解析、焦電センサ、赤外線センサ、帯電位センサの内の１つ以上を備えることを特徴とする再生装置。
【請求項６】
請求項１、請求項２、請求項３、請求項４または請求項５に記載の再生装置であって、
再生対象の前記コンテンツに対しては、前記所定のタイミングを指示するためのタイミング情報が付随するようにされており、
前記処理手段は、前記コンテンツに付随する前記タイミング情報に基づいて、前記指示情報に応じた処理を前記コンテンツに反映させるタイミングを特定することを特徴とする再生装置。
【請求項７】
請求項１、請求項２、請求項３、請求項４または請求項５に記載の再生装置であって、
前記指示情報に応じた処理を前記コンテンツに反映させるタイミングを示すタイミング情報を外部より取得する取得手段を備え、
前記処理手段は、前記取得手段を通じて取得された前記タイミング情報に基づいて、前記指示情報に応じた処理を前記コンテンツに反映させるタイミングを特定することを特徴とする再生装置。
【請求項８】
請求項１、請求項２、請求項３、請求項４または請求項５に記載の再生装置であって、
再生対象の前記コンテンツから、前記所定のタイミングを指示するためのタイミング情報を生成する生成手段を備え、
前記処理手段は、前記生成手段において生成された前記タイミング情報に基づいて、前記指示情報に応じた処理を前記コンテンツに反映させるタイミングを特定することを特徴とする再生装置。
【請求項９】
請求項６、請求項７または請求項８に記載の再生装置であって、
前記タイミング情報に対する変更情報を受け付ける変更受付手段と、
前記変更受付手段を通じて受け付けた前記変更情報に基づいて、前記タイミング情報の追加、変更、削除を行うようにする変更手段と
を備えることを特徴とする再生装置。
【請求項１０】
請求項１、請求項２、請求項３、請求項４、請求項５、請求項６、請求項７、請求項８または請求項９に記載の再生装置であって、
前記コンテンツは、音楽、映像、光の変化、ロボットなど目的物の物理的動作であることを特徴とする再生装置。
【請求項１１】
請求項１０に記載の再生装置であって、
前記コンテンツが、音楽である場合に、前記タイミング情報は、音楽の一小節ないしは複数小節の区切り情報、さびの出だし、さびの終了、歌い出し、歌い終わりなどの音楽的に特徴のある変化点を示すものであることを特徴とすれる再生装置。
【請求項１２】
請求項１０に記載の再生装置であって、
前記コンテンツが、映像である場合に、前記タイミング情報は、映像のシーンチェンジ、カットチェンジ、チャプター変更などの映像に特徴のある変化点を示すものであることを特徴とすれる再生装置。
【請求項１３】
再生対象のコンテンツに対する指示情報の入力を受け付ける受付工程と、
前記受付工程において受け付けた前記指示情報を記憶手段に記録する記録工程と、
前記コンテンツの再生状況に応じて、前記コンテンツに対して、前記記憶手段に記録された前記指示情報に応じた処理を所定のタイミングで反映させる処理工程と
を有することを特徴とする再生方法。
【請求項１４】
請求項１３に記載の再生方法であって、
前記コンテンツに対して、前記記憶手段に記憶された前記指示情報に応じた処理を所定のタイミングで反映させる前に、前記受付工程を通じて新たな指示情報を受け付けた場合に、前記新たな指示情報に応じて、前記記憶手段に記憶されている前記指示情報の追加、変更、置き換え、削除の内の少なくとも１つを行う更新工程を有することを特徴とする再生方法。
【請求項１５】
請求項１３または請求項１４記載の再生方法であって、
前記受付工程においては、キーボード、ポインティングデバイス等の情報入力装置と、ユーザーの体動や生体情報の変化を検出する生体センサと、気温、天気、方位、地理、明度、環境音、時刻情報等の環境の変化を検出する環境センサとの内の、１つ以上を用いることを特徴とする再生方法。
【請求項１６】
請求項１３、請求項１４または請求項１５に記載の再生方法であって、
前記処理工程においては、エフェクト、テンポ、音量、コード進行などのコンテンツデータに関連するパラメータの変更処理、コンテンツデータの処理経路の変更処理、早送り、早戻し、スキップなどの移動処理の内の指示するようにされた処理を行うことを特徴とする再生方法。
【請求項１７】
請求項１５に記載の再生方法であって、
前記受付工程において、前記生体センサを用いる場合、当該生体センサとして、加速度センサ、ショックセンサ、ＧＰＳ（Global Positioning System）、方位センサ、曲げセンサ、圧力センサ、ビデオ信号解析、焦電センサ、赤外線センサ、帯電位センサの内の１つ以上を備えることを特徴とする再生方法。
【請求項１８】
請求項１３、請求項１４、請求項１５、請求項１６または請求項１７に記載の再生方法であって、
再生対象の前記コンテンツに対しては、前記所定のタイミングを指示するためのタイミング情報が付随するようにされており、
前記処理工程においては、前記コンテンツに付随する前記タイミング情報に基づいて、前記指示情報に応じた処理を前記コンテンツに反映させるタイミングを特定することを特徴とする再生方法。
【請求項１９】
請求項１３、請求項１４、請求項１５、請求項１６または請求項１７に記載の再生方法であって、
前記指示情報に応じた処理を前記コンテンツに反映させるタイミングを示すタイミング情報を外部より取得する取得工程を有し、
前記処理工程においては、前記取得工程において取得した前記タイミング情報に基づいて、前記指示情報に応じた処理を前記コンテンツに反映させるタイミングを特定することを特徴とする再生方法。
【請求項２０】
請求項１３、請求項１４、請求項１５、請求項１６または請求項１７に記載の再生方法であって、
再生対象の前記コンテンツから、前記所定のタイミングを指示するためのタイミング情報を生成する生成工程を有し、
前記処理工程においては、前記生成工程において生成した前記タイミング情報に基づいて、前記指示情報に応じた処理を前記コンテンツに反映させるタイミングを特定することを特徴とする再生方法。
【請求項２１】
請求項１８、請求項１９または請求項２０に記載の再生方法であって、
前記タイミング情報に対する変更情報を受け付ける変更受付工程と、
前記変更受付工程において受け付けた前記変更情報に基づいて、前記タイミング情報の追加、変更、削除を行うようにする変更工程と
を有することを特徴とする再生方法。
【請求項２２】
請求項１３、請求項１４、請求項１５、請求項１６、請求項１７、請求項１８、請求項１９、請求項２０または請求項２１に記載の再生方法であって、
前記コンテンツは、音楽、映像、光、ロボットなどの物理的動作であることを特徴とする再生方法。
【請求項２３】
請求項２２に記載の再生方法であって、
前記コンテンツが、音楽である場合に、前記タイミング情報は、音楽の一小節ないしは複数小節の区切り情報、さびの出だし、さびの終了、歌い出し、歌い終わりなどの音楽的に特徴のある変化点を示すものであることを特徴とすれる再生方法。
【請求項２４】
請求項２２に記載の再生方法であって、
前記コンテンツが、映像である場合に、前記タイミング情報は、映像のシーンチェンジ、カットチェンジ、チャプター変更などの映像に特徴のある変化点を示すものであることを特徴とすれる再生方法。
【請求項１】
再生対象のコンテンツに対する指示情報の入力を受け付ける受付手段と、
前記受付手段を通じて受け付けた前記指示情報を記憶する記憶手段と、
前記コンテンツの再生状況に応じた所定のタイミングで、前記コンテンツに対して、前記記憶手段に記憶された前記指示情報に応じた処理を反映させる処理手段と
を備えることを特徴とする再生装置。
【請求項２】
請求項１に記載の再生装置であって、
前記受付手段を通じて新たな指示情報を受け付けた場合に、前記新たな指示情報に応じて、前記記憶手段に記憶されている前記指示情報の追加、変更、置き換え、削除の内の少なくとも１つを行う更新手段を備えることを特徴とする再生装置。
【請求項３】
請求項１または請求項２記載の再生装置であって、
前記受付手段は、キーボード、ポインティングデバイス等の情報入力装置と、ユーザーの体動や生体情報の変化を検出する生体センサと、気温、天気、方位、地理、明度、環境音、時刻情報等の環境の変化を検出する環境センサとの内の、１つ以上からなることを特徴とする再生装置。
【請求項４】
請求項１、請求項２または請求項３に記載の再生装置であって、
前記処理手段においては、エフェクト、テンポ、コード進行、音量、画質などのコンテンツの調整処理、コンテンツを形成するコンテンツデータの処理経路の変更処理、早送り、早戻し、スキップなどのコンテンツについての移動処理の内の指示するようにされた処理を行うことを特徴とする再生装置。
【請求項５】
請求項３に記載の再生装置であって、
前記受付手段が前記生体センサを有する場合、当該生体センサとして、加速度センサ、ショックセンサ、ＧＰＳ（Global Positioning System）、方位センサ、曲げセンサ、圧力センサ、ビデオ信号解析、焦電センサ、赤外線センサ、帯電位センサの内の１つ以上を備えることを特徴とする再生装置。
【請求項６】
請求項１、請求項２、請求項３、請求項４または請求項５に記載の再生装置であって、
再生対象の前記コンテンツに対しては、前記所定のタイミングを指示するためのタイミング情報が付随するようにされており、
前記処理手段は、前記コンテンツに付随する前記タイミング情報に基づいて、前記指示情報に応じた処理を前記コンテンツに反映させるタイミングを特定することを特徴とする再生装置。
【請求項７】
請求項１、請求項２、請求項３、請求項４または請求項５に記載の再生装置であって、
前記指示情報に応じた処理を前記コンテンツに反映させるタイミングを示すタイミング情報を外部より取得する取得手段を備え、
前記処理手段は、前記取得手段を通じて取得された前記タイミング情報に基づいて、前記指示情報に応じた処理を前記コンテンツに反映させるタイミングを特定することを特徴とする再生装置。
【請求項８】
請求項１、請求項２、請求項３、請求項４または請求項５に記載の再生装置であって、
再生対象の前記コンテンツから、前記所定のタイミングを指示するためのタイミング情報を生成する生成手段を備え、
前記処理手段は、前記生成手段において生成された前記タイミング情報に基づいて、前記指示情報に応じた処理を前記コンテンツに反映させるタイミングを特定することを特徴とする再生装置。
【請求項９】
請求項６、請求項７または請求項８に記載の再生装置であって、
前記タイミング情報に対する変更情報を受け付ける変更受付手段と、
前記変更受付手段を通じて受け付けた前記変更情報に基づいて、前記タイミング情報の追加、変更、削除を行うようにする変更手段と
を備えることを特徴とする再生装置。
【請求項１０】
請求項１、請求項２、請求項３、請求項４、請求項５、請求項６、請求項７、請求項８または請求項９に記載の再生装置であって、
前記コンテンツは、音楽、映像、光の変化、ロボットなど目的物の物理的動作であることを特徴とする再生装置。
【請求項１１】
請求項１０に記載の再生装置であって、
前記コンテンツが、音楽である場合に、前記タイミング情報は、音楽の一小節ないしは複数小節の区切り情報、さびの出だし、さびの終了、歌い出し、歌い終わりなどの音楽的に特徴のある変化点を示すものであることを特徴とすれる再生装置。
【請求項１２】
請求項１０に記載の再生装置であって、
前記コンテンツが、映像である場合に、前記タイミング情報は、映像のシーンチェンジ、カットチェンジ、チャプター変更などの映像に特徴のある変化点を示すものであることを特徴とすれる再生装置。
【請求項１３】
再生対象のコンテンツに対する指示情報の入力を受け付ける受付工程と、
前記受付工程において受け付けた前記指示情報を記憶手段に記録する記録工程と、
前記コンテンツの再生状況に応じて、前記コンテンツに対して、前記記憶手段に記録された前記指示情報に応じた処理を所定のタイミングで反映させる処理工程と
を有することを特徴とする再生方法。
【請求項１４】
請求項１３に記載の再生方法であって、
前記コンテンツに対して、前記記憶手段に記憶された前記指示情報に応じた処理を所定のタイミングで反映させる前に、前記受付工程を通じて新たな指示情報を受け付けた場合に、前記新たな指示情報に応じて、前記記憶手段に記憶されている前記指示情報の追加、変更、置き換え、削除の内の少なくとも１つを行う更新工程を有することを特徴とする再生方法。
【請求項１５】
請求項１３または請求項１４記載の再生方法であって、
前記受付工程においては、キーボード、ポインティングデバイス等の情報入力装置と、ユーザーの体動や生体情報の変化を検出する生体センサと、気温、天気、方位、地理、明度、環境音、時刻情報等の環境の変化を検出する環境センサとの内の、１つ以上を用いることを特徴とする再生方法。
【請求項１６】
請求項１３、請求項１４または請求項１５に記載の再生方法であって、
前記処理工程においては、エフェクト、テンポ、音量、コード進行などのコンテンツデータに関連するパラメータの変更処理、コンテンツデータの処理経路の変更処理、早送り、早戻し、スキップなどの移動処理の内の指示するようにされた処理を行うことを特徴とする再生方法。
【請求項１７】
請求項１５に記載の再生方法であって、
前記受付工程において、前記生体センサを用いる場合、当該生体センサとして、加速度センサ、ショックセンサ、ＧＰＳ（Global Positioning System）、方位センサ、曲げセンサ、圧力センサ、ビデオ信号解析、焦電センサ、赤外線センサ、帯電位センサの内の１つ以上を備えることを特徴とする再生方法。
【請求項１８】
請求項１３、請求項１４、請求項１５、請求項１６または請求項１７に記載の再生方法であって、
再生対象の前記コンテンツに対しては、前記所定のタイミングを指示するためのタイミング情報が付随するようにされており、
前記処理工程においては、前記コンテンツに付随する前記タイミング情報に基づいて、前記指示情報に応じた処理を前記コンテンツに反映させるタイミングを特定することを特徴とする再生方法。
【請求項１９】
請求項１３、請求項１４、請求項１５、請求項１６または請求項１７に記載の再生方法であって、
前記指示情報に応じた処理を前記コンテンツに反映させるタイミングを示すタイミング情報を外部より取得する取得工程を有し、
前記処理工程においては、前記取得工程において取得した前記タイミング情報に基づいて、前記指示情報に応じた処理を前記コンテンツに反映させるタイミングを特定することを特徴とする再生方法。
【請求項２０】
請求項１３、請求項１４、請求項１５、請求項１６または請求項１７に記載の再生方法であって、
再生対象の前記コンテンツから、前記所定のタイミングを指示するためのタイミング情報を生成する生成工程を有し、
前記処理工程においては、前記生成工程において生成した前記タイミング情報に基づいて、前記指示情報に応じた処理を前記コンテンツに反映させるタイミングを特定することを特徴とする再生方法。
【請求項２１】
請求項１８、請求項１９または請求項２０に記載の再生方法であって、
前記タイミング情報に対する変更情報を受け付ける変更受付工程と、
前記変更受付工程において受け付けた前記変更情報に基づいて、前記タイミング情報の追加、変更、削除を行うようにする変更工程と
を有することを特徴とする再生方法。
【請求項２２】
請求項１３、請求項１４、請求項１５、請求項１６、請求項１７、請求項１８、請求項１９、請求項２０または請求項２１に記載の再生方法であって、
前記コンテンツは、音楽、映像、光、ロボットなどの物理的動作であることを特徴とする再生方法。
【請求項２３】
請求項２２に記載の再生方法であって、
前記コンテンツが、音楽である場合に、前記タイミング情報は、音楽の一小節ないしは複数小節の区切り情報、さびの出だし、さびの終了、歌い出し、歌い終わりなどの音楽的に特徴のある変化点を示すものであることを特徴とすれる再生方法。
【請求項２４】
請求項２２に記載の再生方法であって、
前記コンテンツが、映像である場合に、前記タイミング情報は、映像のシーンチェンジ、カットチェンジ、チャプター変更などの映像に特徴のある変化点を示すものであることを特徴とすれる再生方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００６−２０１４３８（Ｐ２００６−２０１４３８Ａ）
【公開日】平成１８年８月３日（２００６．８．３）
【国際特許分類】
【出願番号】特願２００５−１２５３５（Ｐ２００５−１２５３５）
【出願日】平成１７年１月２０日（２００５．１．２０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１８年８月３日（２００６．８．３）
【国際特許分類】
【出願日】平成１７年１月２０日（２００５．１．２０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]