コンテンツ再生装置およびコンテンツ再生方法
【課題】ユーザーの動作/行動と再生対象のコンテンツの再生タイミングとを合わせることにより、同期感や応答性が良好になるようにコンテンツを再生して、効果的にコンテンツを利用できるようにする。
【解決手段】体動検出部61によってユーザーの動作/行動/状態の変化を検出し、この検出結果に基づいて、動作行動予測部62において、ユーザーの動作/行動/状態の変化のタイミング(例えば周期性)を予測する。この予測されるユーザーの動作/行動/状態の変化のタイミングと、再生対象のコンテンツをそのタイミング情報に応じて決まるタイミングとが同期するように、コンテンツタイミング調整部63によって、コンテンツの再生処理のタイミングを制御する。
【解決手段】体動検出部61によってユーザーの動作/行動/状態の変化を検出し、この検出結果に基づいて、動作行動予測部62において、ユーザーの動作/行動/状態の変化のタイミング(例えば周期性)を予測する。この予測されるユーザーの動作/行動/状態の変化のタイミングと、再生対象のコンテンツをそのタイミング情報に応じて決まるタイミングとが同期するように、コンテンツタイミング調整部63によって、コンテンツの再生処理のタイミングを制御する。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、音楽や映像などのコンテンツを再生する方法および装置に関する。
【背景技術】
【0002】
種々の機器の制御装置として用いられるコンピュータの小型化、高機能化が図られている。このようなコンピュータを音声や映像の再生装置に搭載することによって、日常生活において用いられる音声や映像の再生装置の高性能化も実現されている。そして、音声や映像の再生装置の高性能化が実現されることによって、再生対象の音声や映像などのコンテンツの楽しみ方の幅が広がっている。
【0003】
例えば、ユーザーが意図的に再生ボタンや終了ボタンを押さなくても、室内でのユーザーの動きを感知して自動的にコンテンツの再生を開始するようにするAV(Audio/Visual)装置や、再生するコンテンツに対してユーザーの動作に合わせて変化をつけたりするAV装置やDJ(Disk Jockey)/VJ(Video Jockey)ツールなどが考えられている。
【0004】
また、後に記す特許文献1には、ユーザーの感情状態や心理状態をセンシングするようにし、これらの情報あるいはこれらの情報を解析することにより得られる情報から、適したコンテンツデータをユーザーに対して提示できるようにする技術が開示されている。
【0005】
このように、ユーザーの動作を検出して、あるいは、ユーザーの生体情報に基づいて、再生すべきコンテンツを変化させたり、選択したりすることが考えられており、再生対象の音声や映像などのコンテンツの利用の仕方や楽しみ方の幅が広がっているのである。
【0006】
なお、上述した特許文献1は、以下のとおりである。
【特許文献1】特開2004−246535号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
ところで、ユーザーの歩行テンポに同期させて音楽の再生スピードを変えるようなポータブルオーディオ装置やフィットネスマシンなどを実現し、音声や映像などの利用の仕方や楽しみ方の幅を更に広げるようにしたいとする要求がある。これらの装置を実現する上で鍵となるのが、ユーザーの状態をどのようにセンシングし、コンテンツに反映させるかという技術である。
【0008】
センシング方法の一つとして、加速度センサやカメラ画像、床に埋め込まれた圧力センサなどから、ユーザーの体動の特徴点(部屋に入ったタイミング、体を動かしたタイミング、足を踏み込むタイミングなど)を検出し、コンテンツの開始点やビートを合わせる方法が考えられる。これらの方法は場合によってはユーザーが感じるトリガータイミング(手を伸ばした瞬間や足を踏み込んだ瞬間など)とセンサ信号の特徴点(極大点など)とが一致しないこともあるため、センサ信号の特徴点の前後にコンテンツの再生タイミングを合わせなくてはならない場合があるなど、細かな調整が必要になることが多い。
【0009】
しかしながら、センサから得られる信号の逐次処理を行い、トリガーを検出した後にコンテンツの再生方法を決定する場合、時間の遅れが発生して、ユーザーが自分の行動/行為と、再生されるコンテンツとの一体感を感じることができない場合があると考えられる。コンテンツとの同期感やリアルタイム応答性はエンターテインメント性において重要な役割を果たすものであり、ユーザーの動作に同期して音声や映像などのコンテンツを再生し、効果的に利用できるようにするためには、ユーザーの動作と再生されるコンテンツとの同期感や応答性をできるだけ良好にすることが重要な課題である。
【0010】
以上のことにかんがみ、この発明は、ユーザーの動作/行動と再生対象のコンテンツの再生タイミングとを合わせることにより、同期感や応答性が良好になるようにコンテンツを再生して、効果的にコンテンツを利用できるようにする装置、方法を提供することを目的とする。
【課題を解決するための手段】
【0011】
上記課題を解決するため、請求項1に記載の発明のコンテンツ再生装置は、
コンテンツを再生する再生処理手段と、
ユーザーの動作/行動/状態についての変化を検出する検出手段と、
前記検出手段からの検出出力に基づいて、前記ユーザーの動作/行動/状態についての変化のタイミングを予測する予測手段と、
再生対象の前記コンテンツに対応するタイミング情報により示されるタイミングと前記予測手段により予億された前記ユーザーの動作/行動/状態についての変化のタイミングとを一致させるようにして、前記コンテンツを再生するように前記再生処理手段を制御する制御手段と
を備えることを特徴とする。
【0012】
この請求項1に記載の発明のコンテンツ再生装置によれば、コンテンツは再生処理手段によって再生するようにされるが、その一方で、検出手段によってユーザーの動作/行動/状態の変化を検出し、この検出結果に基づいて、予測手段によって、ユーザーの動作/行動/状態の変化のタイミング(例えば周期性)が予測される。
【0013】
この予測手段により予測されるユーザーの動作/行動/状態の変化のタイミングと、再生対象のコンテンツをそのタイミング情報に応じて決まるタイミングとが同期するように、制御手段により再生処理手段が制御されることにより、コンテンツの再生処理のタイミングが制御するようにされる。
【0014】
これにより、ユーザーの動作/行動と再生対象のコンテンツの再生タイミングとを合わせることができるようにされ、ユーザーの動作/行動に対して、同期感や応答性が良好となるようにコンテンツを再生して、再生されるコンテンツのエンターテイメント性を向上させるなどして、効果的にコンテンツを利用することができるようにされる。
【発明の効果】
【0015】
この発明によれば、コンテンツを再生して利用するユーザーの体の動きのリズムや変化タイミングを予測し、当該ユーザーの体の動きのリズムや変化タイミングにコンテンツの再生タイミングを合わせることができる。これにより、音楽などのコンテンツを利用しながら体を動かすユーザーの気持ちよさや娯楽性を促進し、効果的にコンテンツを利用できるようにすることができる。
【発明を実施するための最良の形態】
【0016】
以下、図を参照しながら、この発明による装置、方法の一実施の形態について説明する。
【0017】
[コンテンツ利用装置(記録再生装置)について]
図1は、この発明による装置、方法の一実施の形態が適用されたこの実施の形態のコンテンツ再生装置を説明するためのブロック図である。図1に示すように、この実施の形態のコンテンツ再生装置は、制御部10と、出力部20と、記憶部30と、外部インターフェース(以下、外部I/Fと略称する。)41と、入力インターフェース(以下、入力I/Fと略称する。)42と、デジタルインターフェース(以下、デジタルI/Fと略称する。)43と、無線インターフェース(以下、無線I/Fと略称する。)44と、送受信アンテナ45、センサ部50とを備えたものである。
【0018】
制御部10は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13とが、CPUバス14を通じて接続されて構成されたマイクロコンピュータであり、この実施の形態の記録再生装置の各部を制御するものである。
【0019】
また、出力部20は、音声デコーダ21と、音声出力部22と、映像デコーダ23と、映像表示部24とを備えたものである。音声出力部22は、スピーカーであり、映像表示部24は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Electro Luminescence)ディスプレイ、CRT(Cathode-Ray Tube)等の表示素子である。また、音声デコーダ21は、再生対象の音声データから音声出力部22に供給するアナログ音声信号を形成するものであり、映像デコーダ23は、再生対象の映像データから映像表示部24に供給するアナログ映像信号を形成するものである。
【0020】
記憶部30は、インターフェース(以下、I/Fと略称する。)31と、記録媒体32とを備えたものである。記録媒体32としては、例えば、ハードディスク、光ディスク、光磁気ディスク、半導体メモリー、フレキシブルディスクなどの種々の記録媒体を用いることが可能である。
【0021】
また、記録媒体32として、例えば、複数のハードディスクを用いる構成としたり、複数の光ディスクを用いる構成としたりするなど、同種の記録媒体を複数用いるようにしたり、あるいは、ハードディスクと光ディスクとを用いる構成としたり、光ディスクと光磁気ディスクとを用いる構成としたりするなど、種類の異なる複数の記録媒体を用いる構成とすることが可能である。また、記録媒体32は、内蔵するようにされたものとすることもできるし、着脱可能(交換可能)な態様とすることも可能である。
【0022】
そして、記録媒体32は、後述もするように、再生対象の音声データ、映像データ、AV(Audio/Visual)データ、プログラム、その他各種のコンテンツデータなどを記憶保持することができるものである。なお、AVデータは、映像データと音声データとが同期を取って再生することができるようにされたものであり、例えば、映像などのコンテンツデータである。
【0023】
また、記録媒体32は、各コンテンツデータに対応するコンテンツ属性情報であって、コンテンツデータの種々の区切りの位置を示す区切り情報をも記憶保持する。この区切り情報は、各コンテンツデータに個別に設けられるものであり、コンテンツデータとペアで記録媒体に記録されて提供される他、後述もするように、インターネット上に設けられたサーバー装置などから外部I/F41を通じてダウンロードするようにしたり、デジタルI/Fや無線I/F43を通じて外部機器から提供を受けたり、コンテンツデータと共に、あるいは、コンテンツデータとは別個独立に取得するようにすることができるものである。
【0024】
外部I/F41は、上述もしたように、この実施の形態の記録再生装置においては、インターネット100に接続するためのものである。したがって、この実施の形態の記録再生装置は、インターネット100から音声データ、映像データ、AVデータ、テキストデータ、その他の種々のコンテンツデータをダウンロードしてきて、I/F31を通じて記録媒体32に記憶保持させることができるようにしている。逆に、この実施の形態の記録再生装置から、目的とするサーバー装置に情報を送信して、当該情報を記憶保持させるようにすることも可能である。
【0025】
入力I/F42は、ユーザーからの操作入力を受け付けるキー操作部である。入力I/F42を通じて受け付けられた操作入力は、電気信号に変換されて制御部10に供給される。これにより、制御部10は、ユーザーからの操作入力に応じて、この実施の形態の記録再生装置を制御することができるようにされる。
【0026】
デジタルI/F43は、例えば、IEEE(Institute of Electrical and Electronics Engineers)1394、あるいは、USB(Universal Serial Bus)、あるいは、その他のデジタルインターフェースに準拠したものであり、専用線を通じて、他の電子機器に接続し、例えば、コンテンツデータや区切り情報などのデータの送受を行うことができるようにしている。
【0027】
また、無線I/F44、および、送受信アンテナ45は、例えば、無線LANなどに接続し、相互に情報の送受を行うことができる。また、この無線I/F44、および、送受信アンテナ45を通じて、コンテンツデータや区切り情報を無線LANシステムから提供を受けることもできるようにしている。
【0028】
そして、この実施の形態の記録再生装置においては、記憶部30の記憶媒体32にコンテンツデータが記憶保持されるとともに、記憶保持されているコンテンツデータに対応する区切り情報が取得されて記憶保持される。上述もしたように、コンテンツ属性情報である区切り情報は、外部I/F41、デジタルI/F43、無線I/F44などを通じて外部から対応するコンテンツデータとは別個独立に取得することができるものである。
【0029】
なお、各コンテンツデータと、これに対応する区切り情報とは、予め決められた識別情報によって対応付けることができるようにされている。また、目的とするコンテンツデータに対応する区切り情報は、各種の記録媒体を通じて提供を受けるようにすることも可能であるし、コンテンツデータのファイル内の別領域(別チャンク)に格納されて提供される場合もあり、このような場合であっても、区切り情報を正確に取得し、利用することが可能である。
【0030】
また、この実施の形態の記録再生装置から、コンテンツデータや区切り情報を、外部I/F41、デジタルI/F43、無線I/F44などを通じて他の機器へ伝送することもできるようにしている。
【0031】
センサ部50は、体動センサ51と、体動エンコーダ52と、環境センサ53と、環境エンコーダ54とを備えたものである。体動センサ51は、例えば、歪みセンサ、加速度センサ、ショックセンサ、振動センサ、方位センサ、曲げセンサ、圧力センサ、画像センサ、焦電センサ、赤外線センサ、帯電位センサなどのユーザーの身体に取り付けられ、あるいは、ユーザーの近辺にあって、ユーザーの動きを検出し、これを電気信号に変換して取り込むことができるものである。
【0032】
このほか、ユーザーの映像を撮像するビデオカメラなどでもよい。ビデオカメラで撮像されたビデオデータを解析することにより、ユーザーの動きを検出することができるからである。また、GPS(Global Positioning System)も体動センサ51として利用することが可能である。ユーザーの位置を正確に把握することができるので、ユーザーの移動の状態などを把握することができるからである。
【0033】
ここでユーザーの動作とは、この例の記録再生装置の使用者であるユーザーの、歩行運動、体の上下運動、頭部の前後左右への振り運動、腕の振り運動、胴部の前後左右方向への振り運動、室内などの所定のエリアへの進入/退出、姿勢変化などである。細かくは、手の動き、体幹部の上下運動や前後左右運動、足の動き、手拍子、歩行時の足の踏み込みなどのユーザーの体の各部の種々の運動ももちろんユーザーの動作に含まれる。また、姿勢変化は、立つ、座る、寝るなどについてのユーザーの姿勢の状態の変化を意味する。
【0034】
また、GPSによって把握可能な情報であるユーザーの位置や移動の状態、例えば、目的とする地点に到達したなどの情報もユーザーの動作を示すものである。また、ボタンやキーボード、打楽器型の専用インターフェースなどからのユーザーからの入力指示なども、ユーザーの動きの情報として用いることも可能である。
【0035】
エンコーダ52は、体動センサ51からの検出データを制御部10に提供する形式のデータに変換するものであり、体動センサ51と、記録再生装置10の制御部10との間を接続するインターフェースの役割を有するものである。
【0036】
また、環境センサ53は、気温センサ、湿度センサ、風力センサ、明度センサなどのユーザーの置かれた環境に関する情報を検出して、これを電気信号として取り込むことができるものである。エンコーダ54は、環境センサ53からの検出データを制御部10に提供する形式のデータに変換するものであり、環境センサ53と、記録再生装置10の制御部10との間を接続するインターフェースの役割を有するものである。
【0037】
そして、体動センサ51、環境センサ53からの検出出力(センサ信号)は、それぞれ対応するエンコーダ52、エンコーダ54を通じて、記録再生装置の制御部10に入力される。そして、制御部10は、詳しくは後述もするように、センサ部50からのセンサ信号を考慮して、再生対象のコンテンツデータの再生制御を行うようにしている。
【0038】
図2は、この実施の形態のコンテンツ再生装置について詳細に説明するためのブロック図である。この実施の形態のコンテンツ再生装置は、記録媒体32と、40番台の参照符号を付した各I/F部を除いた部分が再生部としての機能を実現する。
【0039】
記録媒体32には、コンテンツデータ記憶部と属性情報記憶部とを備え、コンテンツデータとその属性情報とを関連付けて記憶保持している。そして、制御部10は、制御処理部10A、コンテンツデータのデコード部10B、ミキサー及びエフェクト処理部10Cとしての機能を実現すると共に、この例の場合には、RAM13が、再生履歴情報保持部としての機能を実現するようにしている。
【0040】
そして、体動センサ51からのセンサ信号は、生体情報取得部としてのエンコーダ52を通じて制御部10の制御処理部10Aに供給され、環境センサ53からのセンサ信号は、周辺環境情報取得部としてのエンコーダ54を通じて制御部10の制御処理部101Aに供給される。
【0041】
一方、入力I/F42を通じて受け付けた再生指示に応じたコンテンツデータは、制御部10の制御処理部10Aからの再生指示に応じて、デコード回路311、属性情報取得部312、コンテンツデータ取得部313としての機能を実現するI/F31を通じて読み出され、コンテンツ属性情報である区切り情報は制御部10の制御処理部10Aに供給され、コンテンツデータは制御部10のデコード部10Bに供給される。
【0042】
そして、制御部10の制御処理部10Aは、体動センサ51から順次に供給されるセンサ信号に基づいてユーザーの動作タイミング(動作の変化のタイミング)を予測し、この予測したユーザーの動作タイミングと、再生対象のコンテンツの目的とする区切り位置(区切りのタイミング)とを同期させるようにすることによって、再生対象のコンテンツの同期感や応答性を向上させるようにしている。
【0043】
すなわち、この実施の形態のコンテンツ再生装置の制御処理部10Aは、体動センサ51から順次に供給されるセンサ信号を解析することによって、ユーザーの動作タイミング(動作の変化のタイミング)を予測し、この動作タイミングと、再生対象のコンテンツの目的とする区切り位置とが同期するように当該コンテンツの再生処理のタイミングを制御することにより、ユーザーの動作タイミングと再生されるコンテンツの再生タイミングとが同期するようにしている。
【0044】
なお、この実施の形態のコンテンツ再生装置においては、上述もしたように、環境センサ53からのセンサ信号も制御処理部10Aに供給するようにされている。このため、環境センサ53からのセンサ信号についても考慮して、再生対象のコンテンツの再生処理を制御することができるようにされる。例えば、環境センサ53が気温センサである場合には、気温に応じて、再生対象のコンテンツの再生速度を調整するなどのことができるようにされる。
【0045】
そして、制御部10の制御処理部10Aは、デコード部10B、ミキサー及びエフェクト処理部10Cを制御し、再生対象のコンテンツデータの再生処理を行う。すなわち、再生対象のコンテンツデータは、デコード部10Bにおいて、圧縮解凍されるなどの処理が施された後に、ミキサー及びエフェクト処理部10Cに供給され、ここで制御処理部10Aからの制御信号に基づいて、ユーザーの動作タイミングと、区切り情報により示されるコンテンツの各区切りのタイミングとが同期するようにして再生タイミングがユーザーの動きの変化に同期するようにされる。
【0046】
ミキサー及びエフェクト処理部10Cからの音声信号は、音声出力装置を構成するデコーダ21、音声出力部22に供給されて再生音声が放音するようにされ、ミキサー及びエフェクト処理部10Cから映像信号は、映像出力装置を構成するデコーダ23、映像表示部24に供給されて再生映像が映出するようにされる。
【0047】
このように、図1、図2を用いて説明したように構成されるこの実施の形態のコンテンツ再生装置は、体動センサ51からの検出出力に基づいて、ユーザーの動作タイミングを予測し、この予測したタイミングにコンテンツの再生タイミングを同期させるようにすることによって、再生されるコンテンツに対してユーザーが感じる同期感や応答性を向上させるようにすることができるようにしている。
【0048】
なお、この発明におけるコンテンツは、音楽、音楽以外の音声、動画像、静止画像(グラフィックス、図形、文字を含む)、振動、照明光などの光、後述もする種々のフィットネスマシンにより可能となる運動など、人が鑑賞または感知し得るものを全て含むが、図1の例では音楽または映像である。
【0049】
[コンテンツ再生装置の具体的な態様]
そして、図1、図2を用いて説明したように構成されるコンテンツ再生装置は、以下に説明するように、携帯型の態様にも、据え置き型の態様にも構成することが可能である。図3は、この実施の形態のコンテンツ再生装置を携帯型の態様で構成した場合の利用例について説明するための図であり、図4は、この実施の形態のコンテンツ再生装置を据え置き型の態様で構成した場合の利用例について説明するための図である。
【0050】
まず、ユーザー1が歩行中に音楽を聴く場合について示すと、図3に示すように、体動センサ51として歩行中のユーザー1に取り付けられる歩行センサによって、走行中のユーザー1の足の踏み込み(接地)タイミングが検出され、これが体動検出信号として、携帯型の態様とされたコンテンツ再生装置100に供給するようにされている。
【0051】
そして、上述もしたように、コンテンツ再生装置100の制御部10は、体動センサ51から順次に供給されるユーザーの足の踏み込みタイミング(動作タイミング)の検出出力(センサ信号)を解析してユーザーの足の踏み込むタイミングを予測し、この予測したユーザーの足の踏み込みタイミングと、再生対象のコンテンツの所定の区切り情報が示すタイミング(例えば、楽曲の拍(beat)または小節(measure,bar)のタイミングなど)とが同期するようにコンテンツの再生タイミングを制御し、再生されるコンテンツ(音楽)に対してユーザーが感じる同期感や応答性を向上させることができるようにしている。
【0052】
なお、体動センサ51は、後述もするがユーザーの脚、腕、頭などの所定の部位に付けて用いるものが利用可能である。また、図3に示した例の場合、音声出力装置22としてヘッドフォンを用いる場合を示している。しかし、これに限るものではない。
【0053】
例えば、LCDなどの映像表示装置24を用いるようにし、コンテンツ再生装置100において、映像コンテンツを再生するようにした場合においては、ユーザーの体動の変化タイミングと映像コンテンツの区切り情報によって示されるタイミングとを同期させるように映像コンテンツの再生を制御することももちろん可能である。
【0054】
また、据え置き型の態様のコンテンツ再生装置の一例を示すと、図4に示すように、PDP(Plasma Display Panel)やLCD(Liquid crystal Display)からなる表示画面の大きな映像表示部24と、左右2チャンネルのスピーカーからなる音声出力部23と、制御部10などからなる処理装置部と、体動センサ51を備えた構成のものを考えることができる。
【0055】
この場合、体動センサ51は、例えば、ビデオカメラや赤外線センサであり、画像を取り込んでその変化を検出するなどのことを行うことによりユーザーの動きを検出するようにするものである。体動センサ51からのセンサ信号が処理装置部の制御部10に供給される。
【0056】
この場合においても、制御部10は、体動センサ51からのセンサ信号に基づいて、ユーザーの動作タイミングを予測し、この動作タイミングと再生対象のコンテンツデータに対応する区切り情報が示すタイミングとを同期させるように、当該コンテンツデータを再生制御できるようにされる。
【0057】
このように、コンテンツ再生装置が図3に示したようなポータブル型音楽・映像再生装置や携帯電話の場合、歩行センサ、体動センサ、腕の振りセンサなどを利用する事によって、予測された歩行動作や体の動きの変化点にコンテンツの区切り(タイミング)を合わせるようにすることができ、再生されるコンテンツに対して同期感を向上させ、再生されるコンテンツのリアルタイムな応答性を良好にすることができる。
【0058】
また、コンテンツ再生装置が図4に示したような室内の据え置き型のコンテンツ再生装置の場合、カメラ映像や、床に設置された圧力センサなどを利用する事によって、予測された歩行動作や体の動きの変化点にコンテンツの区切りを合わせるようにすることができ、再生されるコンテンツに対して同期感を向上させ、再生されるコンテンツのリアルタイムな応答性を良好にすることができる。
【0059】
[コンテンツ再生装置の機能構成について]
上述のように、携帯型にも、据え置き型にも形成可能なこの実施の形態のコンテンツ再生装置100の機能構成について説明する。図5に、図1の例のコンテンツ再生装置100の機能構成を示す。体動検出部61は、体動センサ51およびエンコーダ52によって構成され、ユーザーの体動、例えば、走行中の足の動きや、音楽を聴いているときの頭の動きを検出する。
【0060】
動作/行動予測部62は、CPU11、ROM112およびRAM13によって構成され、体動検出部61からバス14に取り込んだ体動検出データを分析することによって、ユーザーの体動の特徴点、周期またはリズム(テンポ)を予測する。
【0061】
体動の特徴点は、体動の開始点(体を静止させている状態から動かし始める点)、終了点(体を動かしている状態から静止させる点)、極大点、極小点、最大ピーク点、または最小ピーク点のタイミングであり、具体的には、上記のような歩行中の足の踏み込みタイミングや、体を揺すっているときの揺れや振っているときの振りの折り返しタイミングなどである。
【0062】
コンテンツタイミング調整部63は、CPU11、ROM12、RAM13、および出力部20によって構成され、動作/行動予測部62からの予測結果と、コンテンツ素材読み出し部64によって、コンテンツ素材/タイミング情報データベース65から読み出されるコンテンツ素材およびこれに付随するタイミング情報に基づいて、リアルタイムにコンテンツを生成する。
【0063】
コンテンツ素材読み出し部64は、CPU11、ROM12、RAM13、I/F31、外部I/F41、デジタルI/F43、無線I/F44などによって構成され、コンテンツ素材/タイミング情報データベース65は、コンテンツ素材データおよびタイミング情報が記録された記録媒体32、またはコンテンツ素材データおよびタイミング情報の送信元のサーバーなどに設けられたデータベースである。
【0064】
コンテンツ出力部66は、コンテンツタイミング調整部63によってタイミングが調整されて生成するようにされたコンテンツを出力するもので、音声出力部22、映像表示部24によって構成される。
【0065】
コンテンツ素材は、最終的なコンテンツを生成するための素材であって、通常のコンテンツ(CDやDVDに記録された楽曲データや映像データ、またはMP3によって圧縮された楽曲データなど)そのものでもよいが、小節単位(数小節)の短い楽曲や、シーン単位またはカット単位の短い映像などであれば、より好適である。
【0066】
これらのコンテンツ素材は、それぞれのコンテンツ素材データに、拍タイミングやシーンチェンジタイミングなどのタイミングを示すタイミング情報等の区切り情報がメタ情報として付加されて、記録または送信される。ただし、コンテンツ素材の読み出しと同時にタイミング情報が生成されるようにしてもよい。
【0067】
コンテンツ素材が小節単位の短い楽曲やシーン単位またはカット単位の短い映像などである場合には、それらコンテンツ素材を、時間的な前後関係を決めて、つなぎ合わせ、必要に応じてコンテンツ素材の再生時間長を伸縮することによって、最終的な一つのコンテンツをリアルタイムに生成する。
【0068】
[ユーザーの動作の予測について]
次に、この実施の形態のコンテンツ再生装置100の制御部10において、体動センサ51からの検出出力(センサ信号)に基づいて行う、ユーザーの動作タイミングの予測処理について説明する。なお、この実施の形態において、ユーザーの動作には、ユーザーが歩いている、手を上げた、頭を振っているなどのユーザーの動作全般、ユーザーが部屋に入ってきた、あるいは、部屋から出て行ったなどのユーザーの行動全般、ユーザーが横になった、立ち上がったなどのユーザーの状態全般が含まれる。
【0069】
ここでは、ユーザーによって着用されるヘッドフォンに取り付けられた体動センサ51として加速度センサを用いる場合について説明する。図6は、ヘッドフォンに取り付けられて利用される加速度センサからのセンサ出力(センサ波形)について説明するための図である。
【0070】
この実施の形態のコンテンツ再生装置100の制御部10においては、加速度センサ51から得られる過去の時系列信号を元に、未来の体動タイミングを予測する。この場合のユーザーの動作タイミングの周期の検出は、自己相関関数や周波数フーリエ変換(詳しくはFFT(Fast Fourier Transform))などの解析手法を用いることによって行うことが可能である。ここでは自己相関関数の解析手段を用いる場合について説明する。
【0071】
図6において、現在時を0msec(0ミリ秒)とし、これよりも過去のセンサ信号から自己相関関数の波形をとる。図7は、図6に示したセンサ信号を自己相関関数によって変換することにより得られた自己相関波形である。この図7に示した自己相関波形のピーク間の時間間隔は、600msecである。したがって、当該角速度センサ51のセンサ信号の周期、すなわち、ユーザーの動作タイミング(変化の周期)は、600msecであることがわかる。
【0072】
このように、図6に示したセンサ波形は、600msecの周期をもっているので、現在より直近の過去600msec分の波形Aを予測波形とする。すなわち、図6に示したように、現在から600msec分過去の波形Aを、現在から600msec分未来の予測波形とすることができる。
【0073】
このように、この例の場合、未来においても、過去のセンサ信号の場合とほぼ同様に変化するものであることが予測できる。そして、600msecで周期が繰り返される場合、予測波形の中に極大値(踏み込みタイミング)が存在するので、次の踏み込みタイミングを予測することができる。
【0074】
なお、FFTを用いることにより、時系列データである体動センサ51からのセンサ信号を周波数成分のデータに変換し、元の時系列データの周期を検出するようにすることが可能である。もちろん、自己相関関数やFFTの他の手法を用いて、センサ信号の周期性を検出し、これに基づいて、ユーザーの動作タイミングを予測するようにしてもよい。
【0075】
また、自己相関関数などの手法を使わなくても波形予測ができる場合がある。センサ信号がある値になったあとに必ず一定の時間後に動作タイミングがあるような場合がこれに該当する。例えば、GPS(Global Positioning System)から得られるユーザーの移動速度・位置・移動方向などの情報から、ある地点に到達する時刻を予測することができ、これに同期するように、コンテンツの再生を制御するようにすることも可能である。
【0076】
[区切り情報の具体例について]
上述したように、体動センサ51のセンサ信号を解析することにより得られるユーザーの動作タイミング(変化の周期)に同期させるようにするコンテンツデータについてのタイミングを提供する区切り情報の具体例について説明する。なお、上述もしたように、区切り情報は、対応するコンテンツデータのメタ情報であり、コンテンツデータ共に提供される場合もあれば、コンテンツデータとは別個に取得することもできるようにされる。また、場合によっては、コンテンツデータを解析することによってそのコンテンツデータに対応する区切り情報を生成することも可能である。
【0077】
図8は、コンテンツデータが音楽コンテンツデータであり、その区切り情報が小節である場合の例を説明するための図である。すなわち、小節区切り位置を示す情報(小節区切り位置情報)が区切り情報M1である場合、上述もしたように、コンテンツデータが光ディスクに記録された音楽コンテンツデータなどの場合には、その区切り情報は、例えば、サブコードの時間情報や、光ディスクのセクタアドレス、クラスタアドレス、先頭からのバイト数やビット数、サンプル数、基準クロック数、当該音楽コンテンツデータがデータ圧縮されたものである場合には、先頭からの圧縮ブロックの数などで表現される。
【0078】
バイト数やビット数、サンプル数、圧縮ブロックの数を用いる場合には、先頭からの数で表すものに限らず、直前の区切り情報からの差分として表現される場合もあるし、また、予め決められた所定の位置、例えば、最後尾の位置などを基準として、表すようにされる場合もある。このような区切り情報が、コンテンツデータと対応付けられて管理され利用することができるようにされる。
【0079】
そして、この区切り情報を用いて、図8Aに示す当該音楽コンテンツデータを区切ると、図8Bに示すように、データ上において小節ごとに区切ることができ、区切られた個々の小節を特定して、その個々の小節を独立したデータとして扱うことができるようにされる。この区切り情報としての小節区切り情報を用いることによって、各小節の演奏時間をユーザーの例えば歩いている脚の動きに同期させるなどのことができるようにされる。
【0080】
なお、ここでは、音声コンテンツデータに対する区切り情報の一例として、小節区切りについて説明したが、区切り情報はこれに限るものではない。例えば、音楽コンテンツの複数小節毎の区切り情報、ビート情報、メロディの変化情報、さびの出だし、さびの終了、歌い出し、歌い終わりなどの音楽的に特徴のある変化点を示す区切り情報など、種々の区切り情報を用いるようにすることができる。また、コンテンツデータが映像データである場合には、映像のシーンチェンジ、カットチェンジなどの映像的に特徴のある変化点を示す情報等を用いることもできる。
【0081】
また、区切り情報は、再生対象のコンテンツを形成するコンテンツデータがどのように提供されるか、また、コンテンツデータの種類などに応じて種々の態様で表現される。例えば、コンテンツデータが、光ディスクを媒体として提供されるものである場合には、上述もしたように、光ディスクのサブコード時間情報、光ディスクのセクタアドレスを用いて表現することが可能であるし、ハードディスクに記録されたものであれば、クラスタアドレスを用いて表現することが可能である。
【0082】
また、コンテンツデータが映像データである場合には、TV/Videoのタイムコードによって表現することも可能である。その他、コンテンツ先頭からのバイト数、サンプル数、GOP(Group of Picture)単位、映像フレーム単位、サウンドフレーム単位、圧縮オーディオの圧縮ブロック単位、ならびにそれぞれの前の区切り情報からの差分量で表現することも可能である。
【0083】
[コンテンツ素材の例について]
この実施の形態のコンテンツ再生装置においては、上述したように、体動センサ51の検出出力からユーザーの動作タイミングを予測し、この動作タイミングと、上記の区切り情報(タイミング情報)をもとに、ユーザーの体動の特徴点、周期またはリズムに、コンテンツの再生タイミングを合わせるようにして、コンテンツを再生する。
【0084】
上述したように、体動の特徴点は、体動の開始点、終了点、極大点、極小点、最大ピーク点、または最小ピーク点であり、具体的には、走行中の足の踏み込みタイミングや、体の揺れまたは振りの折り返しタイミングなどである。
【0085】
音楽コンテンツの場合、コンテンツ再生にあたっては、例えば、図9に示すように、4つのコンテンツ素材A,B,C,Dとして、それぞれ1小節分の楽曲を用い、これらコンテンツ素材A,B,C,Dをつなぎ合わせて、一つの音楽コンテンツを生成する。
【0086】
コンテンツ素材A〜Dからなるフレーズは、MIDI(Music Instrument Digital Interface)でもPCM(Pulse Code Modulation)データでもよいが、MIDIであれば、そのまま拍タイミング情報が得られるとともに、後述のコンテンツ生成にあたっての伸縮の計算量が少なくて済む。PCMデータである場合には、コンテンツ素材A〜Dは純粋な音の波形であり、それとは別にあらかじめ拍タイミング情報が生成され、コンテンツ素材A〜Dとともに記録または送信される。
【0087】
ただし、拍タイミング情報は、コンテンツ素材の再生直前にコンテンツ素材の波形から計算して求めることもできる。その計算方法としては、参考文献1(PDFファイルとして、Masataka Goto:An Audio−based Real−time Beat Tracking System for Music With or Without Drum−sounds,Journal of New Music Research,Vol.30,No.2,pp.159−171,June2001)または参考文献2(書籍として、後藤真孝:拍節認識(ビートトラッキング),bit別冊,コンピュータと音楽の世界…基礎からフロンティアまで…,pp.100−116,共立出版,August1998)に記載の方法を用いることができる。
【0088】
以下に、図9に示すようなコンテンツ素材A,B,C,Dをつなぎ合わせて一つの音楽コンテンツを生成する場合の例を示す。コンテンツ素材A,B,C,Dは、全て1小節分で、同じ時間Tmの長さを持つものとする。
【0089】
<第1の例>
図10に、歩行テンポにコンテンツのタイミングを合わせる方法の第1の例を示す。この例は、歩行テンポが一定の場合に適した方法で、コンテンツ素材を伸縮して各コンテンツ素材の開始タイミングを踏み込みタイミングに合わせるものである。
【0090】
具体的に、図9の例では各小節A〜Dの先頭に拍があるので、4歩ごとに各小節A〜Dの先頭を踏み込みタイミングに合わせる。小節を合わせる歩数は4歩でなくてもよいが、例えば、多くのマーチ(行進曲)は、テンポが120すなわち、1拍=1歩=0.5秒に対応し、4歩(4拍)で1小節になる。そのため、小節を合わせる歩数を4歩とすることによって、コンテンツ素材を大きく伸縮しなくても、各小節A〜Dの先頭を踏み込みタイミングに合わせることができる。また、ここではコンテンツ素材の再生順序は、A→B→C→D→A→B…の順で行うものとする。
【0091】
この例では、図10に示すように、時点t0でユーザーがコンテンツ再生開始を指示することによって、まず、1番目の小節Aを、そのまま、すなわち時間Tmの長さで再生する。 次に、コンテンツ再生開始時点t0の後に最初に検出された踏み込みを1歩目として5歩目の踏み込みが検出されたら、1歩目から5歩目までの4歩分の時間T1を計算する。
【0092】
次に、1番目の小節Aの再生終了時点taと5歩目の踏み込みが検出された時点との間の時間D1を計算して、時間T1と時間D1との差分(T1−D1)を求め、その差分(T1−D1)を2番目の小節Bの再生時間長とするように、小節Bを(T1−D1)/Tm倍に伸縮して再生する。
【0093】
図10において、5歩目の踏み込みが検出された時点の後に1番目の小節Aの再生が終了し、D1>0で、差分(T1−D1)が時間T1および時間Tmより短く、(T1−D1)/Tm<1で、小節Bが圧縮されて再生される場合である。
【0094】
逆に5歩目の踏み込みが検出される前に1番目の小節Aの再生が終了した場合には、その時点で再度、小節Aの再生を開始し、5歩目の踏み込みが検出された時点で、小節Aの再生を中止する。この場合には、D1<0で、差分(T1−D1)が時間T1より長くなり、さらには時間Tmより長くなる可能性がある。このように差分(T1−D1)が時間Tmより長く、(T1−D1)/Tm>1であるときには、小節Bが伸長されて再生される。
【0095】
以下同様に、差分(Tn−Dn)〔n=1,2,3,4…〕を次の(n+1)番目の小節の再生時間長とするように、各小節を順次再生する。4番目の小節Dを再生したら、1番目の小節Aに戻って再生を繰り返す。
【0096】
図10のように歩行テンポが変化しない場合には、T1=T2=T3=T4…であり、D1を除いてDn=0となって、小節の先頭が4歩ごとに踏み込みタイミングに一致するようになる。
【0097】
しかも、この例では、コンテンツ素材である小節を伸縮して再生するので、楽曲としての連続性を保つことができる。
【0098】
<第2の例>
図11に、歩行テンポにコンテンツのタイミングを合わせる方法の第2の例を示す。この例は、歩行テンポが大きく変化する場合に適した方法で、コンテンツ素材を伸縮することなく、各コンテンツ素材の開始タイミングを強制的に踏み込みタイミングに合わせるものである。
【0099】
具体的に、図11の例では各小節A〜Dの先頭に拍があるので、図10の例と同様に、4歩ごとに各小節A〜Dの先頭を踏み込みタイミングに合わせる。この例では、時点t0でユーザーがコンテンツ再生開始を指示したら、その直後の最初の(1歩目の)踏み込みが検出された時点t1で小節Aの再生を開始し、小節Aを時間Tmの長さで再生する。
【0100】
図示するように、1歩目から5歩目までの時間が時間Tmより長く、5歩目の踏み込みが検出される前に小節Aの再生が終了したら、その時点t2で再度、小節Aの再生を開始し、5歩目の踏み込みが検出された時点t3で小節Aの再生を中止して、直ちに小節Bの再生を開始する。
【0101】
逆に1歩目から5歩目までの時間が時間Tmより短く、小節Aの再生が終了する前に5歩目の踏み込みが検出された場合には、その時点で小節Aの再生を中止して、直ちに小節Bの再生を開始する。
【0102】
小節Bも、伸縮することなく、9歩目の踏み込みが検出される時点まで再生する。すなわち、図示するように、5歩目から9歩目までの時間が時間Tmより短く、小節Bの再生が終了する前に9歩目の踏み込みが検出されたら、その時点で小節Bの再生を中止して、直ちに小節Cの再生を開始し、逆に5歩目から9歩目までの時間が時間Tmより長く、9歩目の踏み込みが検出される前に小節Bの再生が終了したら、その時点で再度、小節Bの再生を開始し、9歩目の踏み込みが検出された時点で小節Bの再生を中止して、直ちに小節Cの再生を開始する。
【0103】
以下同様に、各小節を伸縮することなく順次再生する。4番目の小節Dを再生したら、1番目の小節Aに戻って再生を繰り返す。
【0104】
図11は、歩行テンポが漸次速くなる場合で、2番目以降は各小節が最後まで再生されない場合である。
【0105】
この例では、各小節のつなぎ目部分で楽曲としての連続性が得られなくなるが、つなぎ目部分で前後の小節をフェードアウト・フェードインすることによって、違和感を軽減することができる。コンテンツ素材がつなぎ目の連続性を保持する必要のない短い音(ドラムなどの単音など)であれば、なお好適である。
【0106】
[コンテンツ素材が映像データである場合の例]
上述した第1、第2の例は、コンテンツが音楽(楽曲)の場合であるが、コンテンツが動画像または静止画像である場合にも、そのタイミングをユーザーの体動に合わせるように動画像または静止画像を再生すると、好適である。
【0107】
具体的に、動画像の場合には、動画像のシーンチェンジまたはカットチェンジのタイミングを、ユーザーの体の揺れまたは振りの折り返しタイミングに合わせるようにする。この場合、コンテンツ素材としては、1シーン単位または1カット単位の動画像を用いる。
【0108】
また、静止画像の場合には、例えば、スライドショー表示のように複数の静止画像を順次再生する場合に、一の静止画像から次の静止画像に切り替えるタイミングを、ユーザーの体の揺れまたは振りの折り返しタイミングに合わせるようにする。この場合、コンテンツ素材としては、一枚単位(ファイル単位)の静止画像を用いる。
【0109】
コンテンツデータが映像データである場合の例を示す。図12は、映像コンテンツの切り替えタイミングをユーザーの予測動作に合わせるようにする場合の例である。図12に示す例の場合には、図12Aにおいてt1、t2、t3、…が示すように、ユーザーの予測された動作タイミング、すなわち、ユーザーの体の周期的な動き(頭の動きや手の動きなど)を検出して、そのタイミングに図12に示すように、映像コンテンツG1(1)、G1(2)、G1(3)、…のように、動画像のシーンチェンジまたはカットチェンジのタイミングを合わせ込むようにしたり、静止画像を切り替えて表示するようにしたりすることにより、ユーザーの動作タイミングに映像コンテンツの再生タイミングを合わせ込むようにすることができる。
【0110】
[音楽、映像以外の他のコンテンツの場合]
さらに、コンテンツが振動や光である場合にも、この発明を適用することができる。すなわち、コンテンツが振動である場合には、体動センサの検出出力に基づいて予測される、例えば、ユーザーの体の揺れまたは振りの折り返しタイミングに合わせて、振動の周波数(周期)や強度(振幅)の変化タイミングを合わせこむようにする。この場合、コンテンツ素材としては、ある振動パターンの振動を発生させるデータを用いる。
【0111】
また、コンテンツが光である場合には、体動センサの検出出力に基づいて予測される、例えば、ユーザーの体の揺れまたは振りの折り返しタイミングに合わせて、光の色(波長)や明度(照度)の変化を合わせ込むようにする。この場合、コンテンツ素材としては、ある色や明度の光を発生させるデータを用いる。
【0112】
また、コンテンツが、例えば時間の進行に伴って駆動速度が変化するようにされるランニングマシンや時間の進行に伴ってかけられる力が変化するようにされる筋力トレーニングマシンなどのいわゆるフィットネスマシンである場合には、体動センサの検出出力に基づいて予測されるユーザーの動作タイミング(動作の変化のタイミング)に対して、フィットネスマシンの駆動速度の変化のタイミングやかけられる力の変化のタイミングなどの駆動制御のタイミング(再生制御のタイミング)を合わせ込むようにする。
【0113】
この場合、コンテンツ素材としては、ランニングマシンや筋力トレーニングマシンなどのフィットネスマシンの駆動制御データを用いる。また、フィットネスマシンの駆動制御のタイミングは、ユーザーに対して与える付加が、強くなる方向への変化のタイミングと弱くなる方向への変化のタイミングとの両方を含む。
【0114】
このように、再生対象のコンテンツデータは、音声データ、映像データ、AVデータのほか、振動、光、フィットネスマシンの駆動制御データなど、種々のアクチュエータ(駆動装置)を駆動させるようにするための制御用データなどが再生対象のコンテンツである場合にもこの発明を適用することが可能である。
【0115】
更に、コンサートホールにおけるレーザ照明をコンテンツとして位置付け、演奏家や観客の予測される動作タイミングに、レーザ照明の変化を同期させるようにしたり、あるいは、ミラーボールの動きをコンテンツとして位置付け、演奏家や観客の予測される動作タイミングに、ミラーボールの回転動作などを同期させるようにしたり、いわゆるコンピュータゲームの進行などをプレーヤの予測される動作タイミングに同期させるようにしたりするなど、種々の態様の制御が可能である。
【0116】
また、上述のように、コンサートホールにおけるレーザ照明やミラーボールの動作の制御は、レーザ照明のアクチュエータ、ミラーボールのアクチュエータを制御することにより実現される。同様に、ロボットの動作など、ユーザーが知覚可能な種々のものを駆動させるアクチュエータを制御することにより、ユーザーの予測される動作タイミングにそれらの動作を同期させるようにすることが可能であり、種々のものを駆動させる種々のアクチュエータを制御することにより、ユーザーの予測される動作タイミングに対して、アクチュエータによって駆動されるものの動作のタイミングを合わせ込むことが可能である。
【0117】
[コンテンツ再生装置におけるコンテンツ再生処理について]
次に、上述した実施の形態のコンテンツ再生装置100およびこの発明が適用される種々のコンテンツ再生装置においてのコンテンツ再生処理について、図13のフローチャートを用いて説明する。なお、ここでは、説明を簡単にするため、図13に示すフローチャートに示す処理は、図1、図2を用いて説明したこの実施の形態のコンテンツ再生装置100において実行されるものとして説明する。
【0118】
図13に示す処理は、コンテンツ再生装置に電源が投入された場合に、コンテンツ再生装置100の制御部10において実行される。電源が投入されると、コンテンツ再生装置100の制御部10は、入力I/F42を通じてユーザーからのコンテンツ再生指示入力を受け付けるようにする(ステップS101)。
【0119】
ステップS101において、ユーザーからのコンテンツ再生指示を受け付けると、制御部10は、体動センサ51、デコーダ52を通じて体動センサ51からの検出出力(センサ信号)を受け付けるようにし、ユーザーの体動のセンシング(検出処理)を開始する(ステップS102)。
【0120】
そして、制御部10は、体動センサ51、デコーダ52を通じて順次に供給される体動センサ51からの検出出力を受け付けて、ユーザーの動作波形の予測を行って、動作の変化のタイミング(動作タイミング)を予測する(ステップS103)。制御部10は、ステップS103においての予測結果に基づいて、予測波形の中に所定の周期の動作タイミングが存在するか否かを判断する(ステップS104)。
【0121】
ステップS104の判断処理において、予測波形の中に動作タイミングが存在していないと判断したときには、ステップS103からの処理を繰り返す。またステップS104の判断処理において、予測波形の中に動作タイミングが存在していると判断したときには、予測した動作タイミングの時刻になったか否かを判断する(ステップS105)。
【0122】
ステップS105の判断処理において、予測した動作タイミングの時刻が到来していないと判断したときには、ステップS105からの処理を繰り返し、予測した動作タイミングの時刻の到来を待つ。ステップS105の判断処理において、予測した動作タイミングの時刻が到来したと判断したときには、当該予測した動作タイミングに対して、再生対象のコンテンツの区切り情報により特定される所定のタイミングが同期するように再生タイミングを制御するようにしてコンテンツを再生する(ステップS106)。
【0123】
そして、コンテンツの再生が終了したか否かを判断し(ステップS107)、終了していないと判断したときには、ステップS103からの処理を繰り返すことにより、上述のように、ユーザーの動作状態をセンシングしながらユーザーの動作タイミングを予測し、これにコンテンツの再生タイミングを合わせ込む処理を繰り返す。ステップS107の判断処理において、コンテンツの再生が終了したと判断したときには、この図13に示す処理を終了する。
【0124】
このように、この実施の形態のコンテンツ再生装置100およびこの発明が適用されるコンテンツ再生装置においては、ユーザー(利用者)の動作状況を体動センサを通じてセンシングしてユーザーの動作タイミングを予測し、これに再生対象の再生タイミングを合わせ込むことによって、再生されるコンテンツに対しする同期感や応答性を向上させるようにすることができる。これによって、再生対象のコンテンツのより有効な活用が図られることになる。
【0125】
[体動センサの具体例について]
上述もしたように、ユーザーの動作の状況を検出するための体動センサ51としては種々のものが利用可能である。ここでは、体動センサの具体例のいくつかについて説明する。図14に、靴3の踵部分の内側に歩行センサ6を配置する場合を示す。この場合の歩行センサ(ステップセンサ)6としては、歪みセンサ、加速度センサ、曲げセンサ、圧力センサ、測距センサ、傾斜センサ、磁気センサ、電流センサ、帯電位センサ、静電容量センサ、電磁誘導センサなどを用いることができる。マイクロフォンで収音することによって、足の踏み込みタイミングを検出することも可能である。
【0126】
以上の例は、歩行を検出し、足の踏み込みタイミングを検出する場合であるが、頭や手の動きを検出し、頭や手の揺れや振りの折り返しタイミングを検出する場合などには、以下のように構成することができる。
【0127】
例えば、頭の動きを検出し、頭の揺れの折り返しタイミングを検出する場合には、図15に示すように、頭部に装着するヘッドフォンに加速度センサを取り付ければよい。加速度センサにより歩行を検出するには、センサ信号の自己相関を計算すればよい。ヘッドフォンの他にも、携帯型の装置であれば本体に加速度センサを取り付けることによってユーザーの体の動きを検出することができる。ハードディスクを使用した携帯型音楽再生装置には多くの場合落下検出用の加速度センサが搭載されており、そのセンサ出力を利用することができる。
【0128】
図15(A)は、頭上型ヘッドフォンの、左右のスピーカー部81,82を連結するヘッドバンド部83に、加速度センサ7を取り付ける場合であり、図15(B)は、ネックバンド型ヘッドフォンの、左右のスピーカー部84,85を連結するネックバンド部86に、加速度センサ7を取り付ける場合であり、図15(C)は、インナーイヤー型ヘッドフォンの、左右の耳穴に挿入されるスピーカー部87,88に、加速度センサ7a,7bを取り付ける場合である。
【0129】
また、手の動きを検出し、手の振りの折り返しタイミングを検出する場合には、図16に示すように、手首に腕時計型の加速度センサ8を装着するようにすればよい。
【0130】
体動センサは、検出する体動の態様に応じて、上述した足、頭、首、手のほか、ふくらはぎ、膝、腿、腰、体幹部、上腕、肘などに取り付けることができ、足についても、踵のほか、足の指、足の甲、足首などに取り付けることができ、手についても、手首のほか、手の指、手の甲などに取り付けることができる。また、体動センサは、靴などのようにユーザーが装着または携帯する物品に取り付けてもよい。
【0131】
このように、この実施の形態のコンテンツ再生装置においては、センサ情報からユーザーの体動や行動タイミングを予測し、予測タイミングに合わせてコンテンツを再生する。これにより、ユーザーの体の動きや行動に対して、コンテンツの区切りのタイミングを正確に合わせることができ、コンテンツを再生して利用するユーザーに対して、より高揚感やエンターテインメント性を強めることができる。
【0132】
なお、再生対象のコンテンツデータは、データ圧縮されていてもよいし、非圧縮のままであってもよい。データ圧縮されている場合には、再生時において圧縮解凍処理(デコード処理)を行うようにすればよい。
【0133】
また、再生対象のコンテンツデータは、例えばCDやDVDなどに記録されて提供されるものの他、インターネットなどのネットワークを通じて提供されるもの、無線I/Fを通じて提供されるもの、外部I/Fを通じて外部装置から提供されるものなどを利用することができるようにされている。
【0134】
このため、各コンテンツデータに対応するメタ情報である区切り情報は、再生対象の前記コンテンツを形成するコンテンツデータと同一ないしは異なる記録媒体に記録されて提供される場合もあり、主に制御部10とI/F32、あるいは、制御部10とデジタルI/F43などが区切り情報を取得する取得手段としての機能を実現する。
【0135】
また、各コンテンツデータに対応するメタ情報である区切り情報は、インターネットや外部機器などから提供されるものを用いるようにしたりすることができる。この場合、制御部10と外部I/F41、制御部10と無線I/F44などが区切り情報を取得する取得手段としての機能を実現する。
【0136】
また、コンテンツデータとこれに対応する区切り情報とは、別々に提供されることも考慮して、例えば、所定の識別情報によって関連付けられるようにされる。
【0137】
また、タイミング制御は コンテンツに対応する区切り情報をタイミング情報として用いて行うものとして説明したが、これに限るものではない。再生対象のコンテンツデータに対応するメタ情報である区切り情報がない場合であっても、コンテンツの再生開始/停止タイミングを、ユーザーの動作タイミングに合わせるようにすることによって、再生されるコンテンツに対して同期感を向上させ、再生されるコンテンツのリアルタイムな応答性を良好にすることができる。この場合、主に制御部10がコンテンツデータに対する区切り情報を生成する生成手段としての機能を実現することになる。
【0138】
また、コンテンツデータと区切り情報とは、同じ記録媒体に記録されて提供するようにされる場合であっても、また、別々の記録媒体に適用される場合であっても、更に、種々のネットワークや外部機器から、同時にあるいは別個に提供される場合であってももちろんよく、それらを記録媒体32に記録保持して利用することが可能である。
【0139】
また、コンテンツデータと区切り情報とは、同じ記録媒体に記録されて提供される場合において、それぞれが別ファイルとして提供される場合のみならず、同一ファイル内にそれぞれ異なる領域(チャンク)に記憶するようにされて提供される場合にも、例えば制御部10がそのそれぞれを分離して読み出すことにより、そのそれぞれを独立して利用することができる。
【0140】
また、コンテンツデータから例えば制御部10の機能により、当該コンテンツデータの区切り情報を生成するようにすることももちろん可能である。この場合の生成方式は種々の方式を用いることが可能である。例えば、コンテンツデータが音声データである場合には、拍やリズムに基づいて区切り情報を生成したり、映像データの場合には画像分析を行うことにより、シーンチェンジ点を検出し、これを用いて区切り情報を生成したりするなどのことが可能である。
【0141】
また、例えば、記録媒体32に記憶保持された各コンテンツデータに対する区切り情報は、例えば、入力I/F42を通じて受け付けるユーザーからの指示入力に応じて、制御部10の機能により、追加したり、変更したり、削除したりすることもできるようにされる。
【図面の簡単な説明】
【0142】
【図1】この発明による装置、方法の一実施の形態が適用されたコンテンツ再生装置を説明するためのブロック図である。
【図2】図1に示したコンテンツ再生装置について詳細に説明するためのブロック図である。
【図3】図1に示したコンテンツ再生装置を携帯型の態様で構成した場合の利用例について説明するための図である。
【図4】図1に示したコンテンツ再生装置を据え置き型の態様で構成した場合の利用例について説明するための図である。
【図5】図1に示したコンテンツ再生装置100の機能構成を説明するためのブロック図である。
【図6】ヘッドフォンに取り付けられて利用される加速度センサからのセンサ出力(センサ波形)について説明するための図である。
【図7】図6に示したセンサ信号を自己相関関数によって変換することにより得られた自己相関波形である。
【図8】コンテンツデータが音楽コンテンツデータであり、その区切り情報が小節である場合の例を説明するための図である。
【図9】コンテンツ素材として小節単位の短い楽曲を用いる場合を示す図である。
【図10】音楽コンテンツの再生方法の第1の例を示す図である。
【図11】音楽コンテンツの再生方法の第2の例を示す図である。
【図12】映像コンテンツの切り替えタイミングをユーザーの予測動作に合わせるようにする場合の例を示す図である。
【図13】コンテンツ再生装置においてのコンテンツ再生処理について説明するためのフローチャートである。
【図14】歩行センサの別の配置例を示す図である。
【図15】頭の動きを検出する場合の一例を示す図である。
【図16】手の動きを検出する場合の一例を示す図である。
【符号の説明】
【0143】
100…コンテンツ再生装置、10…制御部、11…CPU、12…ROM、13…RAM、14…CPUバス、20…出力部、21…デコーダ、22…音声出力部、23…デコーダ、24…映像表示部、30…記憶部、31…インターフェース、32…記録媒体、41…外部インターフェース、42…入力インターフェース、43…デジタルインターフェース、44…無線インターフェース、45…送受信アンテナ、46…インターネット
【技術分野】
【0001】
この発明は、音楽や映像などのコンテンツを再生する方法および装置に関する。
【背景技術】
【0002】
種々の機器の制御装置として用いられるコンピュータの小型化、高機能化が図られている。このようなコンピュータを音声や映像の再生装置に搭載することによって、日常生活において用いられる音声や映像の再生装置の高性能化も実現されている。そして、音声や映像の再生装置の高性能化が実現されることによって、再生対象の音声や映像などのコンテンツの楽しみ方の幅が広がっている。
【0003】
例えば、ユーザーが意図的に再生ボタンや終了ボタンを押さなくても、室内でのユーザーの動きを感知して自動的にコンテンツの再生を開始するようにするAV(Audio/Visual)装置や、再生するコンテンツに対してユーザーの動作に合わせて変化をつけたりするAV装置やDJ(Disk Jockey)/VJ(Video Jockey)ツールなどが考えられている。
【0004】
また、後に記す特許文献1には、ユーザーの感情状態や心理状態をセンシングするようにし、これらの情報あるいはこれらの情報を解析することにより得られる情報から、適したコンテンツデータをユーザーに対して提示できるようにする技術が開示されている。
【0005】
このように、ユーザーの動作を検出して、あるいは、ユーザーの生体情報に基づいて、再生すべきコンテンツを変化させたり、選択したりすることが考えられており、再生対象の音声や映像などのコンテンツの利用の仕方や楽しみ方の幅が広がっているのである。
【0006】
なお、上述した特許文献1は、以下のとおりである。
【特許文献1】特開2004−246535号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
ところで、ユーザーの歩行テンポに同期させて音楽の再生スピードを変えるようなポータブルオーディオ装置やフィットネスマシンなどを実現し、音声や映像などの利用の仕方や楽しみ方の幅を更に広げるようにしたいとする要求がある。これらの装置を実現する上で鍵となるのが、ユーザーの状態をどのようにセンシングし、コンテンツに反映させるかという技術である。
【0008】
センシング方法の一つとして、加速度センサやカメラ画像、床に埋め込まれた圧力センサなどから、ユーザーの体動の特徴点(部屋に入ったタイミング、体を動かしたタイミング、足を踏み込むタイミングなど)を検出し、コンテンツの開始点やビートを合わせる方法が考えられる。これらの方法は場合によってはユーザーが感じるトリガータイミング(手を伸ばした瞬間や足を踏み込んだ瞬間など)とセンサ信号の特徴点(極大点など)とが一致しないこともあるため、センサ信号の特徴点の前後にコンテンツの再生タイミングを合わせなくてはならない場合があるなど、細かな調整が必要になることが多い。
【0009】
しかしながら、センサから得られる信号の逐次処理を行い、トリガーを検出した後にコンテンツの再生方法を決定する場合、時間の遅れが発生して、ユーザーが自分の行動/行為と、再生されるコンテンツとの一体感を感じることができない場合があると考えられる。コンテンツとの同期感やリアルタイム応答性はエンターテインメント性において重要な役割を果たすものであり、ユーザーの動作に同期して音声や映像などのコンテンツを再生し、効果的に利用できるようにするためには、ユーザーの動作と再生されるコンテンツとの同期感や応答性をできるだけ良好にすることが重要な課題である。
【0010】
以上のことにかんがみ、この発明は、ユーザーの動作/行動と再生対象のコンテンツの再生タイミングとを合わせることにより、同期感や応答性が良好になるようにコンテンツを再生して、効果的にコンテンツを利用できるようにする装置、方法を提供することを目的とする。
【課題を解決するための手段】
【0011】
上記課題を解決するため、請求項1に記載の発明のコンテンツ再生装置は、
コンテンツを再生する再生処理手段と、
ユーザーの動作/行動/状態についての変化を検出する検出手段と、
前記検出手段からの検出出力に基づいて、前記ユーザーの動作/行動/状態についての変化のタイミングを予測する予測手段と、
再生対象の前記コンテンツに対応するタイミング情報により示されるタイミングと前記予測手段により予億された前記ユーザーの動作/行動/状態についての変化のタイミングとを一致させるようにして、前記コンテンツを再生するように前記再生処理手段を制御する制御手段と
を備えることを特徴とする。
【0012】
この請求項1に記載の発明のコンテンツ再生装置によれば、コンテンツは再生処理手段によって再生するようにされるが、その一方で、検出手段によってユーザーの動作/行動/状態の変化を検出し、この検出結果に基づいて、予測手段によって、ユーザーの動作/行動/状態の変化のタイミング(例えば周期性)が予測される。
【0013】
この予測手段により予測されるユーザーの動作/行動/状態の変化のタイミングと、再生対象のコンテンツをそのタイミング情報に応じて決まるタイミングとが同期するように、制御手段により再生処理手段が制御されることにより、コンテンツの再生処理のタイミングが制御するようにされる。
【0014】
これにより、ユーザーの動作/行動と再生対象のコンテンツの再生タイミングとを合わせることができるようにされ、ユーザーの動作/行動に対して、同期感や応答性が良好となるようにコンテンツを再生して、再生されるコンテンツのエンターテイメント性を向上させるなどして、効果的にコンテンツを利用することができるようにされる。
【発明の効果】
【0015】
この発明によれば、コンテンツを再生して利用するユーザーの体の動きのリズムや変化タイミングを予測し、当該ユーザーの体の動きのリズムや変化タイミングにコンテンツの再生タイミングを合わせることができる。これにより、音楽などのコンテンツを利用しながら体を動かすユーザーの気持ちよさや娯楽性を促進し、効果的にコンテンツを利用できるようにすることができる。
【発明を実施するための最良の形態】
【0016】
以下、図を参照しながら、この発明による装置、方法の一実施の形態について説明する。
【0017】
[コンテンツ利用装置(記録再生装置)について]
図1は、この発明による装置、方法の一実施の形態が適用されたこの実施の形態のコンテンツ再生装置を説明するためのブロック図である。図1に示すように、この実施の形態のコンテンツ再生装置は、制御部10と、出力部20と、記憶部30と、外部インターフェース(以下、外部I/Fと略称する。)41と、入力インターフェース(以下、入力I/Fと略称する。)42と、デジタルインターフェース(以下、デジタルI/Fと略称する。)43と、無線インターフェース(以下、無線I/Fと略称する。)44と、送受信アンテナ45、センサ部50とを備えたものである。
【0018】
制御部10は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13とが、CPUバス14を通じて接続されて構成されたマイクロコンピュータであり、この実施の形態の記録再生装置の各部を制御するものである。
【0019】
また、出力部20は、音声デコーダ21と、音声出力部22と、映像デコーダ23と、映像表示部24とを備えたものである。音声出力部22は、スピーカーであり、映像表示部24は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Electro Luminescence)ディスプレイ、CRT(Cathode-Ray Tube)等の表示素子である。また、音声デコーダ21は、再生対象の音声データから音声出力部22に供給するアナログ音声信号を形成するものであり、映像デコーダ23は、再生対象の映像データから映像表示部24に供給するアナログ映像信号を形成するものである。
【0020】
記憶部30は、インターフェース(以下、I/Fと略称する。)31と、記録媒体32とを備えたものである。記録媒体32としては、例えば、ハードディスク、光ディスク、光磁気ディスク、半導体メモリー、フレキシブルディスクなどの種々の記録媒体を用いることが可能である。
【0021】
また、記録媒体32として、例えば、複数のハードディスクを用いる構成としたり、複数の光ディスクを用いる構成としたりするなど、同種の記録媒体を複数用いるようにしたり、あるいは、ハードディスクと光ディスクとを用いる構成としたり、光ディスクと光磁気ディスクとを用いる構成としたりするなど、種類の異なる複数の記録媒体を用いる構成とすることが可能である。また、記録媒体32は、内蔵するようにされたものとすることもできるし、着脱可能(交換可能)な態様とすることも可能である。
【0022】
そして、記録媒体32は、後述もするように、再生対象の音声データ、映像データ、AV(Audio/Visual)データ、プログラム、その他各種のコンテンツデータなどを記憶保持することができるものである。なお、AVデータは、映像データと音声データとが同期を取って再生することができるようにされたものであり、例えば、映像などのコンテンツデータである。
【0023】
また、記録媒体32は、各コンテンツデータに対応するコンテンツ属性情報であって、コンテンツデータの種々の区切りの位置を示す区切り情報をも記憶保持する。この区切り情報は、各コンテンツデータに個別に設けられるものであり、コンテンツデータとペアで記録媒体に記録されて提供される他、後述もするように、インターネット上に設けられたサーバー装置などから外部I/F41を通じてダウンロードするようにしたり、デジタルI/Fや無線I/F43を通じて外部機器から提供を受けたり、コンテンツデータと共に、あるいは、コンテンツデータとは別個独立に取得するようにすることができるものである。
【0024】
外部I/F41は、上述もしたように、この実施の形態の記録再生装置においては、インターネット100に接続するためのものである。したがって、この実施の形態の記録再生装置は、インターネット100から音声データ、映像データ、AVデータ、テキストデータ、その他の種々のコンテンツデータをダウンロードしてきて、I/F31を通じて記録媒体32に記憶保持させることができるようにしている。逆に、この実施の形態の記録再生装置から、目的とするサーバー装置に情報を送信して、当該情報を記憶保持させるようにすることも可能である。
【0025】
入力I/F42は、ユーザーからの操作入力を受け付けるキー操作部である。入力I/F42を通じて受け付けられた操作入力は、電気信号に変換されて制御部10に供給される。これにより、制御部10は、ユーザーからの操作入力に応じて、この実施の形態の記録再生装置を制御することができるようにされる。
【0026】
デジタルI/F43は、例えば、IEEE(Institute of Electrical and Electronics Engineers)1394、あるいは、USB(Universal Serial Bus)、あるいは、その他のデジタルインターフェースに準拠したものであり、専用線を通じて、他の電子機器に接続し、例えば、コンテンツデータや区切り情報などのデータの送受を行うことができるようにしている。
【0027】
また、無線I/F44、および、送受信アンテナ45は、例えば、無線LANなどに接続し、相互に情報の送受を行うことができる。また、この無線I/F44、および、送受信アンテナ45を通じて、コンテンツデータや区切り情報を無線LANシステムから提供を受けることもできるようにしている。
【0028】
そして、この実施の形態の記録再生装置においては、記憶部30の記憶媒体32にコンテンツデータが記憶保持されるとともに、記憶保持されているコンテンツデータに対応する区切り情報が取得されて記憶保持される。上述もしたように、コンテンツ属性情報である区切り情報は、外部I/F41、デジタルI/F43、無線I/F44などを通じて外部から対応するコンテンツデータとは別個独立に取得することができるものである。
【0029】
なお、各コンテンツデータと、これに対応する区切り情報とは、予め決められた識別情報によって対応付けることができるようにされている。また、目的とするコンテンツデータに対応する区切り情報は、各種の記録媒体を通じて提供を受けるようにすることも可能であるし、コンテンツデータのファイル内の別領域(別チャンク)に格納されて提供される場合もあり、このような場合であっても、区切り情報を正確に取得し、利用することが可能である。
【0030】
また、この実施の形態の記録再生装置から、コンテンツデータや区切り情報を、外部I/F41、デジタルI/F43、無線I/F44などを通じて他の機器へ伝送することもできるようにしている。
【0031】
センサ部50は、体動センサ51と、体動エンコーダ52と、環境センサ53と、環境エンコーダ54とを備えたものである。体動センサ51は、例えば、歪みセンサ、加速度センサ、ショックセンサ、振動センサ、方位センサ、曲げセンサ、圧力センサ、画像センサ、焦電センサ、赤外線センサ、帯電位センサなどのユーザーの身体に取り付けられ、あるいは、ユーザーの近辺にあって、ユーザーの動きを検出し、これを電気信号に変換して取り込むことができるものである。
【0032】
このほか、ユーザーの映像を撮像するビデオカメラなどでもよい。ビデオカメラで撮像されたビデオデータを解析することにより、ユーザーの動きを検出することができるからである。また、GPS(Global Positioning System)も体動センサ51として利用することが可能である。ユーザーの位置を正確に把握することができるので、ユーザーの移動の状態などを把握することができるからである。
【0033】
ここでユーザーの動作とは、この例の記録再生装置の使用者であるユーザーの、歩行運動、体の上下運動、頭部の前後左右への振り運動、腕の振り運動、胴部の前後左右方向への振り運動、室内などの所定のエリアへの進入/退出、姿勢変化などである。細かくは、手の動き、体幹部の上下運動や前後左右運動、足の動き、手拍子、歩行時の足の踏み込みなどのユーザーの体の各部の種々の運動ももちろんユーザーの動作に含まれる。また、姿勢変化は、立つ、座る、寝るなどについてのユーザーの姿勢の状態の変化を意味する。
【0034】
また、GPSによって把握可能な情報であるユーザーの位置や移動の状態、例えば、目的とする地点に到達したなどの情報もユーザーの動作を示すものである。また、ボタンやキーボード、打楽器型の専用インターフェースなどからのユーザーからの入力指示なども、ユーザーの動きの情報として用いることも可能である。
【0035】
エンコーダ52は、体動センサ51からの検出データを制御部10に提供する形式のデータに変換するものであり、体動センサ51と、記録再生装置10の制御部10との間を接続するインターフェースの役割を有するものである。
【0036】
また、環境センサ53は、気温センサ、湿度センサ、風力センサ、明度センサなどのユーザーの置かれた環境に関する情報を検出して、これを電気信号として取り込むことができるものである。エンコーダ54は、環境センサ53からの検出データを制御部10に提供する形式のデータに変換するものであり、環境センサ53と、記録再生装置10の制御部10との間を接続するインターフェースの役割を有するものである。
【0037】
そして、体動センサ51、環境センサ53からの検出出力(センサ信号)は、それぞれ対応するエンコーダ52、エンコーダ54を通じて、記録再生装置の制御部10に入力される。そして、制御部10は、詳しくは後述もするように、センサ部50からのセンサ信号を考慮して、再生対象のコンテンツデータの再生制御を行うようにしている。
【0038】
図2は、この実施の形態のコンテンツ再生装置について詳細に説明するためのブロック図である。この実施の形態のコンテンツ再生装置は、記録媒体32と、40番台の参照符号を付した各I/F部を除いた部分が再生部としての機能を実現する。
【0039】
記録媒体32には、コンテンツデータ記憶部と属性情報記憶部とを備え、コンテンツデータとその属性情報とを関連付けて記憶保持している。そして、制御部10は、制御処理部10A、コンテンツデータのデコード部10B、ミキサー及びエフェクト処理部10Cとしての機能を実現すると共に、この例の場合には、RAM13が、再生履歴情報保持部としての機能を実現するようにしている。
【0040】
そして、体動センサ51からのセンサ信号は、生体情報取得部としてのエンコーダ52を通じて制御部10の制御処理部10Aに供給され、環境センサ53からのセンサ信号は、周辺環境情報取得部としてのエンコーダ54を通じて制御部10の制御処理部101Aに供給される。
【0041】
一方、入力I/F42を通じて受け付けた再生指示に応じたコンテンツデータは、制御部10の制御処理部10Aからの再生指示に応じて、デコード回路311、属性情報取得部312、コンテンツデータ取得部313としての機能を実現するI/F31を通じて読み出され、コンテンツ属性情報である区切り情報は制御部10の制御処理部10Aに供給され、コンテンツデータは制御部10のデコード部10Bに供給される。
【0042】
そして、制御部10の制御処理部10Aは、体動センサ51から順次に供給されるセンサ信号に基づいてユーザーの動作タイミング(動作の変化のタイミング)を予測し、この予測したユーザーの動作タイミングと、再生対象のコンテンツの目的とする区切り位置(区切りのタイミング)とを同期させるようにすることによって、再生対象のコンテンツの同期感や応答性を向上させるようにしている。
【0043】
すなわち、この実施の形態のコンテンツ再生装置の制御処理部10Aは、体動センサ51から順次に供給されるセンサ信号を解析することによって、ユーザーの動作タイミング(動作の変化のタイミング)を予測し、この動作タイミングと、再生対象のコンテンツの目的とする区切り位置とが同期するように当該コンテンツの再生処理のタイミングを制御することにより、ユーザーの動作タイミングと再生されるコンテンツの再生タイミングとが同期するようにしている。
【0044】
なお、この実施の形態のコンテンツ再生装置においては、上述もしたように、環境センサ53からのセンサ信号も制御処理部10Aに供給するようにされている。このため、環境センサ53からのセンサ信号についても考慮して、再生対象のコンテンツの再生処理を制御することができるようにされる。例えば、環境センサ53が気温センサである場合には、気温に応じて、再生対象のコンテンツの再生速度を調整するなどのことができるようにされる。
【0045】
そして、制御部10の制御処理部10Aは、デコード部10B、ミキサー及びエフェクト処理部10Cを制御し、再生対象のコンテンツデータの再生処理を行う。すなわち、再生対象のコンテンツデータは、デコード部10Bにおいて、圧縮解凍されるなどの処理が施された後に、ミキサー及びエフェクト処理部10Cに供給され、ここで制御処理部10Aからの制御信号に基づいて、ユーザーの動作タイミングと、区切り情報により示されるコンテンツの各区切りのタイミングとが同期するようにして再生タイミングがユーザーの動きの変化に同期するようにされる。
【0046】
ミキサー及びエフェクト処理部10Cからの音声信号は、音声出力装置を構成するデコーダ21、音声出力部22に供給されて再生音声が放音するようにされ、ミキサー及びエフェクト処理部10Cから映像信号は、映像出力装置を構成するデコーダ23、映像表示部24に供給されて再生映像が映出するようにされる。
【0047】
このように、図1、図2を用いて説明したように構成されるこの実施の形態のコンテンツ再生装置は、体動センサ51からの検出出力に基づいて、ユーザーの動作タイミングを予測し、この予測したタイミングにコンテンツの再生タイミングを同期させるようにすることによって、再生されるコンテンツに対してユーザーが感じる同期感や応答性を向上させるようにすることができるようにしている。
【0048】
なお、この発明におけるコンテンツは、音楽、音楽以外の音声、動画像、静止画像(グラフィックス、図形、文字を含む)、振動、照明光などの光、後述もする種々のフィットネスマシンにより可能となる運動など、人が鑑賞または感知し得るものを全て含むが、図1の例では音楽または映像である。
【0049】
[コンテンツ再生装置の具体的な態様]
そして、図1、図2を用いて説明したように構成されるコンテンツ再生装置は、以下に説明するように、携帯型の態様にも、据え置き型の態様にも構成することが可能である。図3は、この実施の形態のコンテンツ再生装置を携帯型の態様で構成した場合の利用例について説明するための図であり、図4は、この実施の形態のコンテンツ再生装置を据え置き型の態様で構成した場合の利用例について説明するための図である。
【0050】
まず、ユーザー1が歩行中に音楽を聴く場合について示すと、図3に示すように、体動センサ51として歩行中のユーザー1に取り付けられる歩行センサによって、走行中のユーザー1の足の踏み込み(接地)タイミングが検出され、これが体動検出信号として、携帯型の態様とされたコンテンツ再生装置100に供給するようにされている。
【0051】
そして、上述もしたように、コンテンツ再生装置100の制御部10は、体動センサ51から順次に供給されるユーザーの足の踏み込みタイミング(動作タイミング)の検出出力(センサ信号)を解析してユーザーの足の踏み込むタイミングを予測し、この予測したユーザーの足の踏み込みタイミングと、再生対象のコンテンツの所定の区切り情報が示すタイミング(例えば、楽曲の拍(beat)または小節(measure,bar)のタイミングなど)とが同期するようにコンテンツの再生タイミングを制御し、再生されるコンテンツ(音楽)に対してユーザーが感じる同期感や応答性を向上させることができるようにしている。
【0052】
なお、体動センサ51は、後述もするがユーザーの脚、腕、頭などの所定の部位に付けて用いるものが利用可能である。また、図3に示した例の場合、音声出力装置22としてヘッドフォンを用いる場合を示している。しかし、これに限るものではない。
【0053】
例えば、LCDなどの映像表示装置24を用いるようにし、コンテンツ再生装置100において、映像コンテンツを再生するようにした場合においては、ユーザーの体動の変化タイミングと映像コンテンツの区切り情報によって示されるタイミングとを同期させるように映像コンテンツの再生を制御することももちろん可能である。
【0054】
また、据え置き型の態様のコンテンツ再生装置の一例を示すと、図4に示すように、PDP(Plasma Display Panel)やLCD(Liquid crystal Display)からなる表示画面の大きな映像表示部24と、左右2チャンネルのスピーカーからなる音声出力部23と、制御部10などからなる処理装置部と、体動センサ51を備えた構成のものを考えることができる。
【0055】
この場合、体動センサ51は、例えば、ビデオカメラや赤外線センサであり、画像を取り込んでその変化を検出するなどのことを行うことによりユーザーの動きを検出するようにするものである。体動センサ51からのセンサ信号が処理装置部の制御部10に供給される。
【0056】
この場合においても、制御部10は、体動センサ51からのセンサ信号に基づいて、ユーザーの動作タイミングを予測し、この動作タイミングと再生対象のコンテンツデータに対応する区切り情報が示すタイミングとを同期させるように、当該コンテンツデータを再生制御できるようにされる。
【0057】
このように、コンテンツ再生装置が図3に示したようなポータブル型音楽・映像再生装置や携帯電話の場合、歩行センサ、体動センサ、腕の振りセンサなどを利用する事によって、予測された歩行動作や体の動きの変化点にコンテンツの区切り(タイミング)を合わせるようにすることができ、再生されるコンテンツに対して同期感を向上させ、再生されるコンテンツのリアルタイムな応答性を良好にすることができる。
【0058】
また、コンテンツ再生装置が図4に示したような室内の据え置き型のコンテンツ再生装置の場合、カメラ映像や、床に設置された圧力センサなどを利用する事によって、予測された歩行動作や体の動きの変化点にコンテンツの区切りを合わせるようにすることができ、再生されるコンテンツに対して同期感を向上させ、再生されるコンテンツのリアルタイムな応答性を良好にすることができる。
【0059】
[コンテンツ再生装置の機能構成について]
上述のように、携帯型にも、据え置き型にも形成可能なこの実施の形態のコンテンツ再生装置100の機能構成について説明する。図5に、図1の例のコンテンツ再生装置100の機能構成を示す。体動検出部61は、体動センサ51およびエンコーダ52によって構成され、ユーザーの体動、例えば、走行中の足の動きや、音楽を聴いているときの頭の動きを検出する。
【0060】
動作/行動予測部62は、CPU11、ROM112およびRAM13によって構成され、体動検出部61からバス14に取り込んだ体動検出データを分析することによって、ユーザーの体動の特徴点、周期またはリズム(テンポ)を予測する。
【0061】
体動の特徴点は、体動の開始点(体を静止させている状態から動かし始める点)、終了点(体を動かしている状態から静止させる点)、極大点、極小点、最大ピーク点、または最小ピーク点のタイミングであり、具体的には、上記のような歩行中の足の踏み込みタイミングや、体を揺すっているときの揺れや振っているときの振りの折り返しタイミングなどである。
【0062】
コンテンツタイミング調整部63は、CPU11、ROM12、RAM13、および出力部20によって構成され、動作/行動予測部62からの予測結果と、コンテンツ素材読み出し部64によって、コンテンツ素材/タイミング情報データベース65から読み出されるコンテンツ素材およびこれに付随するタイミング情報に基づいて、リアルタイムにコンテンツを生成する。
【0063】
コンテンツ素材読み出し部64は、CPU11、ROM12、RAM13、I/F31、外部I/F41、デジタルI/F43、無線I/F44などによって構成され、コンテンツ素材/タイミング情報データベース65は、コンテンツ素材データおよびタイミング情報が記録された記録媒体32、またはコンテンツ素材データおよびタイミング情報の送信元のサーバーなどに設けられたデータベースである。
【0064】
コンテンツ出力部66は、コンテンツタイミング調整部63によってタイミングが調整されて生成するようにされたコンテンツを出力するもので、音声出力部22、映像表示部24によって構成される。
【0065】
コンテンツ素材は、最終的なコンテンツを生成するための素材であって、通常のコンテンツ(CDやDVDに記録された楽曲データや映像データ、またはMP3によって圧縮された楽曲データなど)そのものでもよいが、小節単位(数小節)の短い楽曲や、シーン単位またはカット単位の短い映像などであれば、より好適である。
【0066】
これらのコンテンツ素材は、それぞれのコンテンツ素材データに、拍タイミングやシーンチェンジタイミングなどのタイミングを示すタイミング情報等の区切り情報がメタ情報として付加されて、記録または送信される。ただし、コンテンツ素材の読み出しと同時にタイミング情報が生成されるようにしてもよい。
【0067】
コンテンツ素材が小節単位の短い楽曲やシーン単位またはカット単位の短い映像などである場合には、それらコンテンツ素材を、時間的な前後関係を決めて、つなぎ合わせ、必要に応じてコンテンツ素材の再生時間長を伸縮することによって、最終的な一つのコンテンツをリアルタイムに生成する。
【0068】
[ユーザーの動作の予測について]
次に、この実施の形態のコンテンツ再生装置100の制御部10において、体動センサ51からの検出出力(センサ信号)に基づいて行う、ユーザーの動作タイミングの予測処理について説明する。なお、この実施の形態において、ユーザーの動作には、ユーザーが歩いている、手を上げた、頭を振っているなどのユーザーの動作全般、ユーザーが部屋に入ってきた、あるいは、部屋から出て行ったなどのユーザーの行動全般、ユーザーが横になった、立ち上がったなどのユーザーの状態全般が含まれる。
【0069】
ここでは、ユーザーによって着用されるヘッドフォンに取り付けられた体動センサ51として加速度センサを用いる場合について説明する。図6は、ヘッドフォンに取り付けられて利用される加速度センサからのセンサ出力(センサ波形)について説明するための図である。
【0070】
この実施の形態のコンテンツ再生装置100の制御部10においては、加速度センサ51から得られる過去の時系列信号を元に、未来の体動タイミングを予測する。この場合のユーザーの動作タイミングの周期の検出は、自己相関関数や周波数フーリエ変換(詳しくはFFT(Fast Fourier Transform))などの解析手法を用いることによって行うことが可能である。ここでは自己相関関数の解析手段を用いる場合について説明する。
【0071】
図6において、現在時を0msec(0ミリ秒)とし、これよりも過去のセンサ信号から自己相関関数の波形をとる。図7は、図6に示したセンサ信号を自己相関関数によって変換することにより得られた自己相関波形である。この図7に示した自己相関波形のピーク間の時間間隔は、600msecである。したがって、当該角速度センサ51のセンサ信号の周期、すなわち、ユーザーの動作タイミング(変化の周期)は、600msecであることがわかる。
【0072】
このように、図6に示したセンサ波形は、600msecの周期をもっているので、現在より直近の過去600msec分の波形Aを予測波形とする。すなわち、図6に示したように、現在から600msec分過去の波形Aを、現在から600msec分未来の予測波形とすることができる。
【0073】
このように、この例の場合、未来においても、過去のセンサ信号の場合とほぼ同様に変化するものであることが予測できる。そして、600msecで周期が繰り返される場合、予測波形の中に極大値(踏み込みタイミング)が存在するので、次の踏み込みタイミングを予測することができる。
【0074】
なお、FFTを用いることにより、時系列データである体動センサ51からのセンサ信号を周波数成分のデータに変換し、元の時系列データの周期を検出するようにすることが可能である。もちろん、自己相関関数やFFTの他の手法を用いて、センサ信号の周期性を検出し、これに基づいて、ユーザーの動作タイミングを予測するようにしてもよい。
【0075】
また、自己相関関数などの手法を使わなくても波形予測ができる場合がある。センサ信号がある値になったあとに必ず一定の時間後に動作タイミングがあるような場合がこれに該当する。例えば、GPS(Global Positioning System)から得られるユーザーの移動速度・位置・移動方向などの情報から、ある地点に到達する時刻を予測することができ、これに同期するように、コンテンツの再生を制御するようにすることも可能である。
【0076】
[区切り情報の具体例について]
上述したように、体動センサ51のセンサ信号を解析することにより得られるユーザーの動作タイミング(変化の周期)に同期させるようにするコンテンツデータについてのタイミングを提供する区切り情報の具体例について説明する。なお、上述もしたように、区切り情報は、対応するコンテンツデータのメタ情報であり、コンテンツデータ共に提供される場合もあれば、コンテンツデータとは別個に取得することもできるようにされる。また、場合によっては、コンテンツデータを解析することによってそのコンテンツデータに対応する区切り情報を生成することも可能である。
【0077】
図8は、コンテンツデータが音楽コンテンツデータであり、その区切り情報が小節である場合の例を説明するための図である。すなわち、小節区切り位置を示す情報(小節区切り位置情報)が区切り情報M1である場合、上述もしたように、コンテンツデータが光ディスクに記録された音楽コンテンツデータなどの場合には、その区切り情報は、例えば、サブコードの時間情報や、光ディスクのセクタアドレス、クラスタアドレス、先頭からのバイト数やビット数、サンプル数、基準クロック数、当該音楽コンテンツデータがデータ圧縮されたものである場合には、先頭からの圧縮ブロックの数などで表現される。
【0078】
バイト数やビット数、サンプル数、圧縮ブロックの数を用いる場合には、先頭からの数で表すものに限らず、直前の区切り情報からの差分として表現される場合もあるし、また、予め決められた所定の位置、例えば、最後尾の位置などを基準として、表すようにされる場合もある。このような区切り情報が、コンテンツデータと対応付けられて管理され利用することができるようにされる。
【0079】
そして、この区切り情報を用いて、図8Aに示す当該音楽コンテンツデータを区切ると、図8Bに示すように、データ上において小節ごとに区切ることができ、区切られた個々の小節を特定して、その個々の小節を独立したデータとして扱うことができるようにされる。この区切り情報としての小節区切り情報を用いることによって、各小節の演奏時間をユーザーの例えば歩いている脚の動きに同期させるなどのことができるようにされる。
【0080】
なお、ここでは、音声コンテンツデータに対する区切り情報の一例として、小節区切りについて説明したが、区切り情報はこれに限るものではない。例えば、音楽コンテンツの複数小節毎の区切り情報、ビート情報、メロディの変化情報、さびの出だし、さびの終了、歌い出し、歌い終わりなどの音楽的に特徴のある変化点を示す区切り情報など、種々の区切り情報を用いるようにすることができる。また、コンテンツデータが映像データである場合には、映像のシーンチェンジ、カットチェンジなどの映像的に特徴のある変化点を示す情報等を用いることもできる。
【0081】
また、区切り情報は、再生対象のコンテンツを形成するコンテンツデータがどのように提供されるか、また、コンテンツデータの種類などに応じて種々の態様で表現される。例えば、コンテンツデータが、光ディスクを媒体として提供されるものである場合には、上述もしたように、光ディスクのサブコード時間情報、光ディスクのセクタアドレスを用いて表現することが可能であるし、ハードディスクに記録されたものであれば、クラスタアドレスを用いて表現することが可能である。
【0082】
また、コンテンツデータが映像データである場合には、TV/Videoのタイムコードによって表現することも可能である。その他、コンテンツ先頭からのバイト数、サンプル数、GOP(Group of Picture)単位、映像フレーム単位、サウンドフレーム単位、圧縮オーディオの圧縮ブロック単位、ならびにそれぞれの前の区切り情報からの差分量で表現することも可能である。
【0083】
[コンテンツ素材の例について]
この実施の形態のコンテンツ再生装置においては、上述したように、体動センサ51の検出出力からユーザーの動作タイミングを予測し、この動作タイミングと、上記の区切り情報(タイミング情報)をもとに、ユーザーの体動の特徴点、周期またはリズムに、コンテンツの再生タイミングを合わせるようにして、コンテンツを再生する。
【0084】
上述したように、体動の特徴点は、体動の開始点、終了点、極大点、極小点、最大ピーク点、または最小ピーク点であり、具体的には、走行中の足の踏み込みタイミングや、体の揺れまたは振りの折り返しタイミングなどである。
【0085】
音楽コンテンツの場合、コンテンツ再生にあたっては、例えば、図9に示すように、4つのコンテンツ素材A,B,C,Dとして、それぞれ1小節分の楽曲を用い、これらコンテンツ素材A,B,C,Dをつなぎ合わせて、一つの音楽コンテンツを生成する。
【0086】
コンテンツ素材A〜Dからなるフレーズは、MIDI(Music Instrument Digital Interface)でもPCM(Pulse Code Modulation)データでもよいが、MIDIであれば、そのまま拍タイミング情報が得られるとともに、後述のコンテンツ生成にあたっての伸縮の計算量が少なくて済む。PCMデータである場合には、コンテンツ素材A〜Dは純粋な音の波形であり、それとは別にあらかじめ拍タイミング情報が生成され、コンテンツ素材A〜Dとともに記録または送信される。
【0087】
ただし、拍タイミング情報は、コンテンツ素材の再生直前にコンテンツ素材の波形から計算して求めることもできる。その計算方法としては、参考文献1(PDFファイルとして、Masataka Goto:An Audio−based Real−time Beat Tracking System for Music With or Without Drum−sounds,Journal of New Music Research,Vol.30,No.2,pp.159−171,June2001)または参考文献2(書籍として、後藤真孝:拍節認識(ビートトラッキング),bit別冊,コンピュータと音楽の世界…基礎からフロンティアまで…,pp.100−116,共立出版,August1998)に記載の方法を用いることができる。
【0088】
以下に、図9に示すようなコンテンツ素材A,B,C,Dをつなぎ合わせて一つの音楽コンテンツを生成する場合の例を示す。コンテンツ素材A,B,C,Dは、全て1小節分で、同じ時間Tmの長さを持つものとする。
【0089】
<第1の例>
図10に、歩行テンポにコンテンツのタイミングを合わせる方法の第1の例を示す。この例は、歩行テンポが一定の場合に適した方法で、コンテンツ素材を伸縮して各コンテンツ素材の開始タイミングを踏み込みタイミングに合わせるものである。
【0090】
具体的に、図9の例では各小節A〜Dの先頭に拍があるので、4歩ごとに各小節A〜Dの先頭を踏み込みタイミングに合わせる。小節を合わせる歩数は4歩でなくてもよいが、例えば、多くのマーチ(行進曲)は、テンポが120すなわち、1拍=1歩=0.5秒に対応し、4歩(4拍)で1小節になる。そのため、小節を合わせる歩数を4歩とすることによって、コンテンツ素材を大きく伸縮しなくても、各小節A〜Dの先頭を踏み込みタイミングに合わせることができる。また、ここではコンテンツ素材の再生順序は、A→B→C→D→A→B…の順で行うものとする。
【0091】
この例では、図10に示すように、時点t0でユーザーがコンテンツ再生開始を指示することによって、まず、1番目の小節Aを、そのまま、すなわち時間Tmの長さで再生する。 次に、コンテンツ再生開始時点t0の後に最初に検出された踏み込みを1歩目として5歩目の踏み込みが検出されたら、1歩目から5歩目までの4歩分の時間T1を計算する。
【0092】
次に、1番目の小節Aの再生終了時点taと5歩目の踏み込みが検出された時点との間の時間D1を計算して、時間T1と時間D1との差分(T1−D1)を求め、その差分(T1−D1)を2番目の小節Bの再生時間長とするように、小節Bを(T1−D1)/Tm倍に伸縮して再生する。
【0093】
図10において、5歩目の踏み込みが検出された時点の後に1番目の小節Aの再生が終了し、D1>0で、差分(T1−D1)が時間T1および時間Tmより短く、(T1−D1)/Tm<1で、小節Bが圧縮されて再生される場合である。
【0094】
逆に5歩目の踏み込みが検出される前に1番目の小節Aの再生が終了した場合には、その時点で再度、小節Aの再生を開始し、5歩目の踏み込みが検出された時点で、小節Aの再生を中止する。この場合には、D1<0で、差分(T1−D1)が時間T1より長くなり、さらには時間Tmより長くなる可能性がある。このように差分(T1−D1)が時間Tmより長く、(T1−D1)/Tm>1であるときには、小節Bが伸長されて再生される。
【0095】
以下同様に、差分(Tn−Dn)〔n=1,2,3,4…〕を次の(n+1)番目の小節の再生時間長とするように、各小節を順次再生する。4番目の小節Dを再生したら、1番目の小節Aに戻って再生を繰り返す。
【0096】
図10のように歩行テンポが変化しない場合には、T1=T2=T3=T4…であり、D1を除いてDn=0となって、小節の先頭が4歩ごとに踏み込みタイミングに一致するようになる。
【0097】
しかも、この例では、コンテンツ素材である小節を伸縮して再生するので、楽曲としての連続性を保つことができる。
【0098】
<第2の例>
図11に、歩行テンポにコンテンツのタイミングを合わせる方法の第2の例を示す。この例は、歩行テンポが大きく変化する場合に適した方法で、コンテンツ素材を伸縮することなく、各コンテンツ素材の開始タイミングを強制的に踏み込みタイミングに合わせるものである。
【0099】
具体的に、図11の例では各小節A〜Dの先頭に拍があるので、図10の例と同様に、4歩ごとに各小節A〜Dの先頭を踏み込みタイミングに合わせる。この例では、時点t0でユーザーがコンテンツ再生開始を指示したら、その直後の最初の(1歩目の)踏み込みが検出された時点t1で小節Aの再生を開始し、小節Aを時間Tmの長さで再生する。
【0100】
図示するように、1歩目から5歩目までの時間が時間Tmより長く、5歩目の踏み込みが検出される前に小節Aの再生が終了したら、その時点t2で再度、小節Aの再生を開始し、5歩目の踏み込みが検出された時点t3で小節Aの再生を中止して、直ちに小節Bの再生を開始する。
【0101】
逆に1歩目から5歩目までの時間が時間Tmより短く、小節Aの再生が終了する前に5歩目の踏み込みが検出された場合には、その時点で小節Aの再生を中止して、直ちに小節Bの再生を開始する。
【0102】
小節Bも、伸縮することなく、9歩目の踏み込みが検出される時点まで再生する。すなわち、図示するように、5歩目から9歩目までの時間が時間Tmより短く、小節Bの再生が終了する前に9歩目の踏み込みが検出されたら、その時点で小節Bの再生を中止して、直ちに小節Cの再生を開始し、逆に5歩目から9歩目までの時間が時間Tmより長く、9歩目の踏み込みが検出される前に小節Bの再生が終了したら、その時点で再度、小節Bの再生を開始し、9歩目の踏み込みが検出された時点で小節Bの再生を中止して、直ちに小節Cの再生を開始する。
【0103】
以下同様に、各小節を伸縮することなく順次再生する。4番目の小節Dを再生したら、1番目の小節Aに戻って再生を繰り返す。
【0104】
図11は、歩行テンポが漸次速くなる場合で、2番目以降は各小節が最後まで再生されない場合である。
【0105】
この例では、各小節のつなぎ目部分で楽曲としての連続性が得られなくなるが、つなぎ目部分で前後の小節をフェードアウト・フェードインすることによって、違和感を軽減することができる。コンテンツ素材がつなぎ目の連続性を保持する必要のない短い音(ドラムなどの単音など)であれば、なお好適である。
【0106】
[コンテンツ素材が映像データである場合の例]
上述した第1、第2の例は、コンテンツが音楽(楽曲)の場合であるが、コンテンツが動画像または静止画像である場合にも、そのタイミングをユーザーの体動に合わせるように動画像または静止画像を再生すると、好適である。
【0107】
具体的に、動画像の場合には、動画像のシーンチェンジまたはカットチェンジのタイミングを、ユーザーの体の揺れまたは振りの折り返しタイミングに合わせるようにする。この場合、コンテンツ素材としては、1シーン単位または1カット単位の動画像を用いる。
【0108】
また、静止画像の場合には、例えば、スライドショー表示のように複数の静止画像を順次再生する場合に、一の静止画像から次の静止画像に切り替えるタイミングを、ユーザーの体の揺れまたは振りの折り返しタイミングに合わせるようにする。この場合、コンテンツ素材としては、一枚単位(ファイル単位)の静止画像を用いる。
【0109】
コンテンツデータが映像データである場合の例を示す。図12は、映像コンテンツの切り替えタイミングをユーザーの予測動作に合わせるようにする場合の例である。図12に示す例の場合には、図12Aにおいてt1、t2、t3、…が示すように、ユーザーの予測された動作タイミング、すなわち、ユーザーの体の周期的な動き(頭の動きや手の動きなど)を検出して、そのタイミングに図12に示すように、映像コンテンツG1(1)、G1(2)、G1(3)、…のように、動画像のシーンチェンジまたはカットチェンジのタイミングを合わせ込むようにしたり、静止画像を切り替えて表示するようにしたりすることにより、ユーザーの動作タイミングに映像コンテンツの再生タイミングを合わせ込むようにすることができる。
【0110】
[音楽、映像以外の他のコンテンツの場合]
さらに、コンテンツが振動や光である場合にも、この発明を適用することができる。すなわち、コンテンツが振動である場合には、体動センサの検出出力に基づいて予測される、例えば、ユーザーの体の揺れまたは振りの折り返しタイミングに合わせて、振動の周波数(周期)や強度(振幅)の変化タイミングを合わせこむようにする。この場合、コンテンツ素材としては、ある振動パターンの振動を発生させるデータを用いる。
【0111】
また、コンテンツが光である場合には、体動センサの検出出力に基づいて予測される、例えば、ユーザーの体の揺れまたは振りの折り返しタイミングに合わせて、光の色(波長)や明度(照度)の変化を合わせ込むようにする。この場合、コンテンツ素材としては、ある色や明度の光を発生させるデータを用いる。
【0112】
また、コンテンツが、例えば時間の進行に伴って駆動速度が変化するようにされるランニングマシンや時間の進行に伴ってかけられる力が変化するようにされる筋力トレーニングマシンなどのいわゆるフィットネスマシンである場合には、体動センサの検出出力に基づいて予測されるユーザーの動作タイミング(動作の変化のタイミング)に対して、フィットネスマシンの駆動速度の変化のタイミングやかけられる力の変化のタイミングなどの駆動制御のタイミング(再生制御のタイミング)を合わせ込むようにする。
【0113】
この場合、コンテンツ素材としては、ランニングマシンや筋力トレーニングマシンなどのフィットネスマシンの駆動制御データを用いる。また、フィットネスマシンの駆動制御のタイミングは、ユーザーに対して与える付加が、強くなる方向への変化のタイミングと弱くなる方向への変化のタイミングとの両方を含む。
【0114】
このように、再生対象のコンテンツデータは、音声データ、映像データ、AVデータのほか、振動、光、フィットネスマシンの駆動制御データなど、種々のアクチュエータ(駆動装置)を駆動させるようにするための制御用データなどが再生対象のコンテンツである場合にもこの発明を適用することが可能である。
【0115】
更に、コンサートホールにおけるレーザ照明をコンテンツとして位置付け、演奏家や観客の予測される動作タイミングに、レーザ照明の変化を同期させるようにしたり、あるいは、ミラーボールの動きをコンテンツとして位置付け、演奏家や観客の予測される動作タイミングに、ミラーボールの回転動作などを同期させるようにしたり、いわゆるコンピュータゲームの進行などをプレーヤの予測される動作タイミングに同期させるようにしたりするなど、種々の態様の制御が可能である。
【0116】
また、上述のように、コンサートホールにおけるレーザ照明やミラーボールの動作の制御は、レーザ照明のアクチュエータ、ミラーボールのアクチュエータを制御することにより実現される。同様に、ロボットの動作など、ユーザーが知覚可能な種々のものを駆動させるアクチュエータを制御することにより、ユーザーの予測される動作タイミングにそれらの動作を同期させるようにすることが可能であり、種々のものを駆動させる種々のアクチュエータを制御することにより、ユーザーの予測される動作タイミングに対して、アクチュエータによって駆動されるものの動作のタイミングを合わせ込むことが可能である。
【0117】
[コンテンツ再生装置におけるコンテンツ再生処理について]
次に、上述した実施の形態のコンテンツ再生装置100およびこの発明が適用される種々のコンテンツ再生装置においてのコンテンツ再生処理について、図13のフローチャートを用いて説明する。なお、ここでは、説明を簡単にするため、図13に示すフローチャートに示す処理は、図1、図2を用いて説明したこの実施の形態のコンテンツ再生装置100において実行されるものとして説明する。
【0118】
図13に示す処理は、コンテンツ再生装置に電源が投入された場合に、コンテンツ再生装置100の制御部10において実行される。電源が投入されると、コンテンツ再生装置100の制御部10は、入力I/F42を通じてユーザーからのコンテンツ再生指示入力を受け付けるようにする(ステップS101)。
【0119】
ステップS101において、ユーザーからのコンテンツ再生指示を受け付けると、制御部10は、体動センサ51、デコーダ52を通じて体動センサ51からの検出出力(センサ信号)を受け付けるようにし、ユーザーの体動のセンシング(検出処理)を開始する(ステップS102)。
【0120】
そして、制御部10は、体動センサ51、デコーダ52を通じて順次に供給される体動センサ51からの検出出力を受け付けて、ユーザーの動作波形の予測を行って、動作の変化のタイミング(動作タイミング)を予測する(ステップS103)。制御部10は、ステップS103においての予測結果に基づいて、予測波形の中に所定の周期の動作タイミングが存在するか否かを判断する(ステップS104)。
【0121】
ステップS104の判断処理において、予測波形の中に動作タイミングが存在していないと判断したときには、ステップS103からの処理を繰り返す。またステップS104の判断処理において、予測波形の中に動作タイミングが存在していると判断したときには、予測した動作タイミングの時刻になったか否かを判断する(ステップS105)。
【0122】
ステップS105の判断処理において、予測した動作タイミングの時刻が到来していないと判断したときには、ステップS105からの処理を繰り返し、予測した動作タイミングの時刻の到来を待つ。ステップS105の判断処理において、予測した動作タイミングの時刻が到来したと判断したときには、当該予測した動作タイミングに対して、再生対象のコンテンツの区切り情報により特定される所定のタイミングが同期するように再生タイミングを制御するようにしてコンテンツを再生する(ステップS106)。
【0123】
そして、コンテンツの再生が終了したか否かを判断し(ステップS107)、終了していないと判断したときには、ステップS103からの処理を繰り返すことにより、上述のように、ユーザーの動作状態をセンシングしながらユーザーの動作タイミングを予測し、これにコンテンツの再生タイミングを合わせ込む処理を繰り返す。ステップS107の判断処理において、コンテンツの再生が終了したと判断したときには、この図13に示す処理を終了する。
【0124】
このように、この実施の形態のコンテンツ再生装置100およびこの発明が適用されるコンテンツ再生装置においては、ユーザー(利用者)の動作状況を体動センサを通じてセンシングしてユーザーの動作タイミングを予測し、これに再生対象の再生タイミングを合わせ込むことによって、再生されるコンテンツに対しする同期感や応答性を向上させるようにすることができる。これによって、再生対象のコンテンツのより有効な活用が図られることになる。
【0125】
[体動センサの具体例について]
上述もしたように、ユーザーの動作の状況を検出するための体動センサ51としては種々のものが利用可能である。ここでは、体動センサの具体例のいくつかについて説明する。図14に、靴3の踵部分の内側に歩行センサ6を配置する場合を示す。この場合の歩行センサ(ステップセンサ)6としては、歪みセンサ、加速度センサ、曲げセンサ、圧力センサ、測距センサ、傾斜センサ、磁気センサ、電流センサ、帯電位センサ、静電容量センサ、電磁誘導センサなどを用いることができる。マイクロフォンで収音することによって、足の踏み込みタイミングを検出することも可能である。
【0126】
以上の例は、歩行を検出し、足の踏み込みタイミングを検出する場合であるが、頭や手の動きを検出し、頭や手の揺れや振りの折り返しタイミングを検出する場合などには、以下のように構成することができる。
【0127】
例えば、頭の動きを検出し、頭の揺れの折り返しタイミングを検出する場合には、図15に示すように、頭部に装着するヘッドフォンに加速度センサを取り付ければよい。加速度センサにより歩行を検出するには、センサ信号の自己相関を計算すればよい。ヘッドフォンの他にも、携帯型の装置であれば本体に加速度センサを取り付けることによってユーザーの体の動きを検出することができる。ハードディスクを使用した携帯型音楽再生装置には多くの場合落下検出用の加速度センサが搭載されており、そのセンサ出力を利用することができる。
【0128】
図15(A)は、頭上型ヘッドフォンの、左右のスピーカー部81,82を連結するヘッドバンド部83に、加速度センサ7を取り付ける場合であり、図15(B)は、ネックバンド型ヘッドフォンの、左右のスピーカー部84,85を連結するネックバンド部86に、加速度センサ7を取り付ける場合であり、図15(C)は、インナーイヤー型ヘッドフォンの、左右の耳穴に挿入されるスピーカー部87,88に、加速度センサ7a,7bを取り付ける場合である。
【0129】
また、手の動きを検出し、手の振りの折り返しタイミングを検出する場合には、図16に示すように、手首に腕時計型の加速度センサ8を装着するようにすればよい。
【0130】
体動センサは、検出する体動の態様に応じて、上述した足、頭、首、手のほか、ふくらはぎ、膝、腿、腰、体幹部、上腕、肘などに取り付けることができ、足についても、踵のほか、足の指、足の甲、足首などに取り付けることができ、手についても、手首のほか、手の指、手の甲などに取り付けることができる。また、体動センサは、靴などのようにユーザーが装着または携帯する物品に取り付けてもよい。
【0131】
このように、この実施の形態のコンテンツ再生装置においては、センサ情報からユーザーの体動や行動タイミングを予測し、予測タイミングに合わせてコンテンツを再生する。これにより、ユーザーの体の動きや行動に対して、コンテンツの区切りのタイミングを正確に合わせることができ、コンテンツを再生して利用するユーザーに対して、より高揚感やエンターテインメント性を強めることができる。
【0132】
なお、再生対象のコンテンツデータは、データ圧縮されていてもよいし、非圧縮のままであってもよい。データ圧縮されている場合には、再生時において圧縮解凍処理(デコード処理)を行うようにすればよい。
【0133】
また、再生対象のコンテンツデータは、例えばCDやDVDなどに記録されて提供されるものの他、インターネットなどのネットワークを通じて提供されるもの、無線I/Fを通じて提供されるもの、外部I/Fを通じて外部装置から提供されるものなどを利用することができるようにされている。
【0134】
このため、各コンテンツデータに対応するメタ情報である区切り情報は、再生対象の前記コンテンツを形成するコンテンツデータと同一ないしは異なる記録媒体に記録されて提供される場合もあり、主に制御部10とI/F32、あるいは、制御部10とデジタルI/F43などが区切り情報を取得する取得手段としての機能を実現する。
【0135】
また、各コンテンツデータに対応するメタ情報である区切り情報は、インターネットや外部機器などから提供されるものを用いるようにしたりすることができる。この場合、制御部10と外部I/F41、制御部10と無線I/F44などが区切り情報を取得する取得手段としての機能を実現する。
【0136】
また、コンテンツデータとこれに対応する区切り情報とは、別々に提供されることも考慮して、例えば、所定の識別情報によって関連付けられるようにされる。
【0137】
また、タイミング制御は コンテンツに対応する区切り情報をタイミング情報として用いて行うものとして説明したが、これに限るものではない。再生対象のコンテンツデータに対応するメタ情報である区切り情報がない場合であっても、コンテンツの再生開始/停止タイミングを、ユーザーの動作タイミングに合わせるようにすることによって、再生されるコンテンツに対して同期感を向上させ、再生されるコンテンツのリアルタイムな応答性を良好にすることができる。この場合、主に制御部10がコンテンツデータに対する区切り情報を生成する生成手段としての機能を実現することになる。
【0138】
また、コンテンツデータと区切り情報とは、同じ記録媒体に記録されて提供するようにされる場合であっても、また、別々の記録媒体に適用される場合であっても、更に、種々のネットワークや外部機器から、同時にあるいは別個に提供される場合であってももちろんよく、それらを記録媒体32に記録保持して利用することが可能である。
【0139】
また、コンテンツデータと区切り情報とは、同じ記録媒体に記録されて提供される場合において、それぞれが別ファイルとして提供される場合のみならず、同一ファイル内にそれぞれ異なる領域(チャンク)に記憶するようにされて提供される場合にも、例えば制御部10がそのそれぞれを分離して読み出すことにより、そのそれぞれを独立して利用することができる。
【0140】
また、コンテンツデータから例えば制御部10の機能により、当該コンテンツデータの区切り情報を生成するようにすることももちろん可能である。この場合の生成方式は種々の方式を用いることが可能である。例えば、コンテンツデータが音声データである場合には、拍やリズムに基づいて区切り情報を生成したり、映像データの場合には画像分析を行うことにより、シーンチェンジ点を検出し、これを用いて区切り情報を生成したりするなどのことが可能である。
【0141】
また、例えば、記録媒体32に記憶保持された各コンテンツデータに対する区切り情報は、例えば、入力I/F42を通じて受け付けるユーザーからの指示入力に応じて、制御部10の機能により、追加したり、変更したり、削除したりすることもできるようにされる。
【図面の簡単な説明】
【0142】
【図1】この発明による装置、方法の一実施の形態が適用されたコンテンツ再生装置を説明するためのブロック図である。
【図2】図1に示したコンテンツ再生装置について詳細に説明するためのブロック図である。
【図3】図1に示したコンテンツ再生装置を携帯型の態様で構成した場合の利用例について説明するための図である。
【図4】図1に示したコンテンツ再生装置を据え置き型の態様で構成した場合の利用例について説明するための図である。
【図5】図1に示したコンテンツ再生装置100の機能構成を説明するためのブロック図である。
【図6】ヘッドフォンに取り付けられて利用される加速度センサからのセンサ出力(センサ波形)について説明するための図である。
【図7】図6に示したセンサ信号を自己相関関数によって変換することにより得られた自己相関波形である。
【図8】コンテンツデータが音楽コンテンツデータであり、その区切り情報が小節である場合の例を説明するための図である。
【図9】コンテンツ素材として小節単位の短い楽曲を用いる場合を示す図である。
【図10】音楽コンテンツの再生方法の第1の例を示す図である。
【図11】音楽コンテンツの再生方法の第2の例を示す図である。
【図12】映像コンテンツの切り替えタイミングをユーザーの予測動作に合わせるようにする場合の例を示す図である。
【図13】コンテンツ再生装置においてのコンテンツ再生処理について説明するためのフローチャートである。
【図14】歩行センサの別の配置例を示す図である。
【図15】頭の動きを検出する場合の一例を示す図である。
【図16】手の動きを検出する場合の一例を示す図である。
【符号の説明】
【0143】
100…コンテンツ再生装置、10…制御部、11…CPU、12…ROM、13…RAM、14…CPUバス、20…出力部、21…デコーダ、22…音声出力部、23…デコーダ、24…映像表示部、30…記憶部、31…インターフェース、32…記録媒体、41…外部インターフェース、42…入力インターフェース、43…デジタルインターフェース、44…無線インターフェース、45…送受信アンテナ、46…インターネット
【特許請求の範囲】
【請求項1】
コンテンツを再生する再生処理手段と、
ユーザーの動作/行動/状態についての変化を検出する検出手段と、
前記検出手段からの検出出力に基づいて、前記ユーザーの動作/行動/状態についての変化のタイミングを予測する予測手段と、
再生対象の前記コンテンツに対応するタイミング情報により示されるタイミングと前記予測手段により予測された前記ユーザーの動作/行動/状態についての変化のタイミングとを一致させるようにして、前記コンテンツを再生するように前記再生処理手段を制御する制御手段と
を備えることを特徴とするコンテンツ再生装置。
【請求項2】
請求項1に記載のコンテンツ再生装置であって、
前記検出手段は、加速度センサ、ショックセンサ、GPS(Global Positioning System)、方位センサ、曲げセンサ、圧力センサ、画像センサ、焦電センサ、赤外線センサ、帯電位センサ、歪みセンサ、測距センサ、傾斜センサ、磁気センサ、電流センサ、静電容量センサ、電磁誘導センサの内の少なくとも1つを用いるものであることを特徴とするコンテンツ再生装置。
【請求項3】
請求項1に記載のコンテンツ再生装置であって、
前記予測手段は、自己相関関数ないしは周波数フーリエ変換を用いて予測処理を行うことを特徴とするコンテンツ再生装置。
【請求項4】
請求項1に記載のコンテンツ再生装置であって、
再生対象の前記コンテンツは、音声、映像、光、アクチュエータによる物理的動作であることを特徴とするコンテンツ再生装置。
【請求項5】
請求項1に記載のコンテンツ再生装置であって、
前記タイミング情報は、再生対象の前記コンテンツを形成するコンテンツデータと同一ないしは異なる記録媒体に記録されて提供されるものであり、
前記記録媒体から再生態様のコンテンツに対応する前記タイミング情報を取得する取得手段を備えることを特徴とするコンテンツ再生装置。
【請求項6】
請求項1に記載のコンテンツ再生装置であって、
前記タイミング情報は、再生対象の前記コンテンツを形成するコンテンツデータから生成することができるものであり、
前記コンテンツデータを解析することにより、前記タイミング情報を生成する生成手段を備えることを特徴とするコンテンツ再生装置。
【請求項7】
請求項1に記載のコンテンツ再生装置であって、
前記タイミング情報は、再生対象の前記コンテンツを形成するコンテンツデータと同じファイルの別領域に記録されて提供されるものであり、
前記コンテンツデータが記録された前記ファイルの当該別領域から前記タイミング情報を取得する取得手段を備えることを特徴とするコンテンツ再生装置。
【請求項8】
請求項1に記載のコンテンツ再生装置であって、
前記タイミング情報は、ネットワーク上のサーバー装置に蓄積するようにされており、
前記ネットワークを通じて前記サーバー装置に接続し、所定の識別子を用いて、再生対象の前記コンテンツに対応する前記タイミング情報を取得する接続取得手段を備えることを特徴とするコンテンツ再生装置。
【請求項9】
請求項1、請求項2、請求項3、請求項4、請求項5、請求項6、請求項7または請求項8に記載のコンテンツ再生装置であって、
再生対象の前記コンテンツは、音楽コンテンツであり、
前記タイミング情報は、前記音楽コンテンツの1小節ないしは複数小節の区切り情報、ビート情報、メロディの変化情報、さびの出だし、さびの終了、歌い出し、歌い終わりなどの音楽的に特徴のある変化点であることを特徴とするコンテンツ再生装置。
【請求項10】
請求項1、請求項2、請求項3、請求項4、請求項5、請求項6、請求項7または請求項8に記載のコンテンツ再生装置であって、
前記タイミング情報は、再生対象のコンテンツを形成するコンテンツデータの提供手段、あるいは、当該コンテンツデータの種類に応じて用いられるものであり、
光ディスクのサブコード時間情報、光ディスクのセクタアドレス、クラスタアドレス、TV/VIDEOのタイムコード、コンテンツ先頭からのバイト数、サンプル数、基準クロック数、GOP(Group of Picture)単位、映像フレーム単位、サウンドフレーム単位、圧縮オーディオの圧縮ブロック単位、ならびにそれぞれの前の区切り情報からの差分量で表現されることを特徴とするコンテンツ再生装置。
【請求項11】
請求項1、請求項2、請求項3、請求項4、請求項5、請求項6、請求項7または請求項8に記載のコンテンツ再生装置であって、
再生対象の前記コンテンツは、映像コンテンツであり、
前記タイミング情報は、映像のシーンチェンジ、カットチェンジなどの映像的に特徴のある変化点であることを特徴とするコンテンツ再生装置。
【請求項12】
請求項1、請求項2、請求項3、請求項4、請求項5、請求項6、請求項7または請求項8に記載のコンテンツ再生装置であって、
前記タイミング情報を記憶保持する書き換え可能な記録媒体と、
前記記録媒体に記録された前記タイミング情報の変更、削除の指示入力、あるいは、前記記録媒体へのタイミング情報の追加の指示入力を受け付ける受付手段と、
前記受付手段を通じて受け付けた前記指示入力に応じて、前記記録媒体に記録されている前記タイミング情報の変更、削除、あるいは、前記記録媒体へのタイミング情報の追加を行う更新手段と
を備えることを特徴とするコンテンツ再生装置。
【請求項13】
請求項1に記載のコンテンツ再生装置であって、
前記制御手段は、前記ユーザーの動作/行動/状態についての変化のタイミングが、再生対象の前記コンテンツの再生開始タイミングに合うように制御することを特徴とするコンテンツ再生装置。
【請求項14】
請求項1に記載のコンテンツ再生装置であって、
前記ユーザーの動作/行動/状態についての変化は、歩行運動、体の上下運動、頭の前後左右方向への振り運動、腕の振り運動、胴部の前後左右方向への振り運動、室内への進入/退出、姿勢の変化であり、
前記検出手段は、ユーザーの目的とする動作/行動/状態についての1つ以上の変化を検出することができるものであることを特徴とするコンテンツ再生装置。
【請求項15】
ユーザーの動作/行動/状態についての変化を検出する検出ステップと、
前記検出ステップにおいて検出した前記変化に基づいて、前記ユーザーの動作/行動/状態についての変化のタイミングを予測する予測ステップと、
再生対象の前記コンテンツに対応するタイミング情報により示されるタイミングと前記予測ステップにおいて予測した前記ユーザーの動作/行動/状態についての変化のタイミングとを一致させるようにして、前記コンテンツを再生するように制御する制御ステップと
を有することを特徴とするコンテンツ再生方法。
【請求項16】
請求項15に記載のコンテンツ再生方法であって、
前記検出ステップにおいては、加速度センサ、ショックセンサ、GPS(Global Positioning System)、方位センサ、曲げセンサ、圧力センサ、画像センサ、焦電センサ、赤外線センサ、帯電位センサ、歪みセンサ、測距センサ、傾斜センサ、磁気センサ、電流センサ、静電容量センサ、電磁誘導センサ、音声センサの内の少なくとも1つを用いて前記ユーザーの動作/行動/状態についての変化を検出することを特徴とするコンテンツ再生方法。
【請求項17】
請求項15に記載のコンテンツ再生方法であって、
前記予測ステップにおいては、自己相関関数ないしは周波数フーリエ変換を用いて予測処理を行うことを特徴とするコンテンツ再生方法。
【請求項18】
請求項15に記載のコンテンツ再生方法であって、
再生対象の前記コンテンツは、音声、映像、光、アクチュエータによる物理的動作であることを特徴とするコンテンツ再生方法。
【請求項19】
請求項15に記載のコンテンツ再生方法であって、
前記タイミング情報は、再生対象の前記コンテンツを形成するコンテンツデータと同一ないしは異なる記録媒体に記録されて提供されるものであり、
前記記録媒体から再生態様のコンテンツに対応する前記タイミング情報を取得する取得ステップを有することを特徴とするコンテンツ再生方法。
【請求項20】
請求項15に記載のコンテンツ再生方法であって、
前記タイミング情報は、再生対象の前記コンテンツを形成するコンテンツデータから生成することができるものであり、
前記コンテンツデータを解析することにより、前記タイミング情報を生成する生成ステップを有することを特徴とするコンテンツ再生方法。
【請求項21】
請求項15に記載のコンテンツ再生方法であって、
前記タイミング情報は、再生対象の前記コンテンツを形成するコンテンツデータと同じファイルの別領域に記録されて提供されるものであり、
前記コンテンツデータが記録された前記ファイルの当該別領域から前記タイミング情報を取得する取得ステップを有することを特徴とするコンテンツ再生方法。
【請求項22】
請求項15に記載のコンテンツ再生方法であって、
前記タイミング情報は、ネットワーク上のサーバー装置に蓄積するようにされており、
前記ネットワークを通じて前記サーバー装置に接続し、所定の識別子を用いて、再生対象の前記コンテンツに対応する前記タイミング情報を取得する接続取得ステップを有することを特徴とするコンテンツ再生方法。
【請求項23】
請求項15、請求項16、請求項17、請求項18、請求項19、請求項20、請求項21または請求項22に記載のコンテンツ再生方法であって、
再生対象の前記コンテンツは、音楽コンテンツであり、
前記タイミング情報は、前記音楽コンテンツの1小節ないしは複数小節の区切り情報、ビート情報、メロディの変化情報、さびの出だし、さびの終了、歌い出し、歌い終わりなどの音楽的に特徴のある変化点であることを特徴とするコンテンツ再生方法。
【請求項24】
請求項15、請求項16、請求項17、請求項18、請求項19、請求項20、請求項21または請求項22に記載のコンテンツ再生方法であって、
前記タイミング情報は、再生対象のコンテンツを形成するコンテンツデータの提供手段、あるいは、当該コンテンツデータの種類に応じて用いられるものであり、
光ディスクのサブコード時間情報、光ディスクのセクタアドレス、クラスタアドレス、TV/VIDEOのタイムコード、コンテンツ先頭からのバイト数、サンプル数、基準クロック数、GOP(Group of Picture)、映像フレーム、サウンドフレーム、圧縮オーディオの圧縮ブロック単位、ならびにそれぞれの前の区切り情報からの差分量で表現されることを特徴とするコンテンツ再生方法。
【請求項25】
請求項15、請求項16、請求項17、請求項18、請求項19、請求項20、請求項21または請求項22に記載のコンテンツ再生方法であって、
再生対象の前記コンテンツは、映像コンテンツであり、
前記タイミング情報は、映像のシーンチェンジ、カットチェンジなどの映像的に特徴のある変化点であることを特徴とするコンテンツ再生方法。
【請求項26】
請求項15、請求項16、請求項17、請求項18、請求項19、請求項20、請求項21または請求項22に記載のコンテンツ再生方法であって、
前記タイミング情報を記憶保持する書き換え可能な記録媒体を備えており、
前記記録媒体に記録された前記タイミング情報の変更、削除の指示入力、あるいは、前記記録媒体へのタイミング情報の追加の指示入力を受け付ける受付ステップと、
前記受付ステップにおいて受け付けた前記指示入力に応じて、前記記録媒体に記録されている前記タイミング情報の変更、削除、あるいは、前記記録媒体へのタイミング情報の追加を行う更新ステップと
を有することを特徴とするコンテンツ再生方法。
【請求項27】
請求項15に記載のコンテンツ再生方法であって、
前記制御ステップにおいては、前記ユーザーの動作/行動/状態についての変化のタイミングが、再生対象の前記コンテンツの再生開始タイミングに合うように制御することを特徴とするコンテンツ再生方法。
【請求項28】
請求項15に記載のコンテンツ再生方法であって、
前記ユーザーの動作/行動/状態についての変化は、歩行運動、体の上下運動、頭の前後左右方向への振り運動、腕の振り運動、胴部の前後左右方向への振り運動、室内への進入/退出、姿勢の変化であり、
前記検出ステップにおいては、ユーザーの目的とする動作/行動/状態についての1つ以上の変化を検出することを特徴とするコンテンツ再生方法。
【請求項1】
コンテンツを再生する再生処理手段と、
ユーザーの動作/行動/状態についての変化を検出する検出手段と、
前記検出手段からの検出出力に基づいて、前記ユーザーの動作/行動/状態についての変化のタイミングを予測する予測手段と、
再生対象の前記コンテンツに対応するタイミング情報により示されるタイミングと前記予測手段により予測された前記ユーザーの動作/行動/状態についての変化のタイミングとを一致させるようにして、前記コンテンツを再生するように前記再生処理手段を制御する制御手段と
を備えることを特徴とするコンテンツ再生装置。
【請求項2】
請求項1に記載のコンテンツ再生装置であって、
前記検出手段は、加速度センサ、ショックセンサ、GPS(Global Positioning System)、方位センサ、曲げセンサ、圧力センサ、画像センサ、焦電センサ、赤外線センサ、帯電位センサ、歪みセンサ、測距センサ、傾斜センサ、磁気センサ、電流センサ、静電容量センサ、電磁誘導センサの内の少なくとも1つを用いるものであることを特徴とするコンテンツ再生装置。
【請求項3】
請求項1に記載のコンテンツ再生装置であって、
前記予測手段は、自己相関関数ないしは周波数フーリエ変換を用いて予測処理を行うことを特徴とするコンテンツ再生装置。
【請求項4】
請求項1に記載のコンテンツ再生装置であって、
再生対象の前記コンテンツは、音声、映像、光、アクチュエータによる物理的動作であることを特徴とするコンテンツ再生装置。
【請求項5】
請求項1に記載のコンテンツ再生装置であって、
前記タイミング情報は、再生対象の前記コンテンツを形成するコンテンツデータと同一ないしは異なる記録媒体に記録されて提供されるものであり、
前記記録媒体から再生態様のコンテンツに対応する前記タイミング情報を取得する取得手段を備えることを特徴とするコンテンツ再生装置。
【請求項6】
請求項1に記載のコンテンツ再生装置であって、
前記タイミング情報は、再生対象の前記コンテンツを形成するコンテンツデータから生成することができるものであり、
前記コンテンツデータを解析することにより、前記タイミング情報を生成する生成手段を備えることを特徴とするコンテンツ再生装置。
【請求項7】
請求項1に記載のコンテンツ再生装置であって、
前記タイミング情報は、再生対象の前記コンテンツを形成するコンテンツデータと同じファイルの別領域に記録されて提供されるものであり、
前記コンテンツデータが記録された前記ファイルの当該別領域から前記タイミング情報を取得する取得手段を備えることを特徴とするコンテンツ再生装置。
【請求項8】
請求項1に記載のコンテンツ再生装置であって、
前記タイミング情報は、ネットワーク上のサーバー装置に蓄積するようにされており、
前記ネットワークを通じて前記サーバー装置に接続し、所定の識別子を用いて、再生対象の前記コンテンツに対応する前記タイミング情報を取得する接続取得手段を備えることを特徴とするコンテンツ再生装置。
【請求項9】
請求項1、請求項2、請求項3、請求項4、請求項5、請求項6、請求項7または請求項8に記載のコンテンツ再生装置であって、
再生対象の前記コンテンツは、音楽コンテンツであり、
前記タイミング情報は、前記音楽コンテンツの1小節ないしは複数小節の区切り情報、ビート情報、メロディの変化情報、さびの出だし、さびの終了、歌い出し、歌い終わりなどの音楽的に特徴のある変化点であることを特徴とするコンテンツ再生装置。
【請求項10】
請求項1、請求項2、請求項3、請求項4、請求項5、請求項6、請求項7または請求項8に記載のコンテンツ再生装置であって、
前記タイミング情報は、再生対象のコンテンツを形成するコンテンツデータの提供手段、あるいは、当該コンテンツデータの種類に応じて用いられるものであり、
光ディスクのサブコード時間情報、光ディスクのセクタアドレス、クラスタアドレス、TV/VIDEOのタイムコード、コンテンツ先頭からのバイト数、サンプル数、基準クロック数、GOP(Group of Picture)単位、映像フレーム単位、サウンドフレーム単位、圧縮オーディオの圧縮ブロック単位、ならびにそれぞれの前の区切り情報からの差分量で表現されることを特徴とするコンテンツ再生装置。
【請求項11】
請求項1、請求項2、請求項3、請求項4、請求項5、請求項6、請求項7または請求項8に記載のコンテンツ再生装置であって、
再生対象の前記コンテンツは、映像コンテンツであり、
前記タイミング情報は、映像のシーンチェンジ、カットチェンジなどの映像的に特徴のある変化点であることを特徴とするコンテンツ再生装置。
【請求項12】
請求項1、請求項2、請求項3、請求項4、請求項5、請求項6、請求項7または請求項8に記載のコンテンツ再生装置であって、
前記タイミング情報を記憶保持する書き換え可能な記録媒体と、
前記記録媒体に記録された前記タイミング情報の変更、削除の指示入力、あるいは、前記記録媒体へのタイミング情報の追加の指示入力を受け付ける受付手段と、
前記受付手段を通じて受け付けた前記指示入力に応じて、前記記録媒体に記録されている前記タイミング情報の変更、削除、あるいは、前記記録媒体へのタイミング情報の追加を行う更新手段と
を備えることを特徴とするコンテンツ再生装置。
【請求項13】
請求項1に記載のコンテンツ再生装置であって、
前記制御手段は、前記ユーザーの動作/行動/状態についての変化のタイミングが、再生対象の前記コンテンツの再生開始タイミングに合うように制御することを特徴とするコンテンツ再生装置。
【請求項14】
請求項1に記載のコンテンツ再生装置であって、
前記ユーザーの動作/行動/状態についての変化は、歩行運動、体の上下運動、頭の前後左右方向への振り運動、腕の振り運動、胴部の前後左右方向への振り運動、室内への進入/退出、姿勢の変化であり、
前記検出手段は、ユーザーの目的とする動作/行動/状態についての1つ以上の変化を検出することができるものであることを特徴とするコンテンツ再生装置。
【請求項15】
ユーザーの動作/行動/状態についての変化を検出する検出ステップと、
前記検出ステップにおいて検出した前記変化に基づいて、前記ユーザーの動作/行動/状態についての変化のタイミングを予測する予測ステップと、
再生対象の前記コンテンツに対応するタイミング情報により示されるタイミングと前記予測ステップにおいて予測した前記ユーザーの動作/行動/状態についての変化のタイミングとを一致させるようにして、前記コンテンツを再生するように制御する制御ステップと
を有することを特徴とするコンテンツ再生方法。
【請求項16】
請求項15に記載のコンテンツ再生方法であって、
前記検出ステップにおいては、加速度センサ、ショックセンサ、GPS(Global Positioning System)、方位センサ、曲げセンサ、圧力センサ、画像センサ、焦電センサ、赤外線センサ、帯電位センサ、歪みセンサ、測距センサ、傾斜センサ、磁気センサ、電流センサ、静電容量センサ、電磁誘導センサ、音声センサの内の少なくとも1つを用いて前記ユーザーの動作/行動/状態についての変化を検出することを特徴とするコンテンツ再生方法。
【請求項17】
請求項15に記載のコンテンツ再生方法であって、
前記予測ステップにおいては、自己相関関数ないしは周波数フーリエ変換を用いて予測処理を行うことを特徴とするコンテンツ再生方法。
【請求項18】
請求項15に記載のコンテンツ再生方法であって、
再生対象の前記コンテンツは、音声、映像、光、アクチュエータによる物理的動作であることを特徴とするコンテンツ再生方法。
【請求項19】
請求項15に記載のコンテンツ再生方法であって、
前記タイミング情報は、再生対象の前記コンテンツを形成するコンテンツデータと同一ないしは異なる記録媒体に記録されて提供されるものであり、
前記記録媒体から再生態様のコンテンツに対応する前記タイミング情報を取得する取得ステップを有することを特徴とするコンテンツ再生方法。
【請求項20】
請求項15に記載のコンテンツ再生方法であって、
前記タイミング情報は、再生対象の前記コンテンツを形成するコンテンツデータから生成することができるものであり、
前記コンテンツデータを解析することにより、前記タイミング情報を生成する生成ステップを有することを特徴とするコンテンツ再生方法。
【請求項21】
請求項15に記載のコンテンツ再生方法であって、
前記タイミング情報は、再生対象の前記コンテンツを形成するコンテンツデータと同じファイルの別領域に記録されて提供されるものであり、
前記コンテンツデータが記録された前記ファイルの当該別領域から前記タイミング情報を取得する取得ステップを有することを特徴とするコンテンツ再生方法。
【請求項22】
請求項15に記載のコンテンツ再生方法であって、
前記タイミング情報は、ネットワーク上のサーバー装置に蓄積するようにされており、
前記ネットワークを通じて前記サーバー装置に接続し、所定の識別子を用いて、再生対象の前記コンテンツに対応する前記タイミング情報を取得する接続取得ステップを有することを特徴とするコンテンツ再生方法。
【請求項23】
請求項15、請求項16、請求項17、請求項18、請求項19、請求項20、請求項21または請求項22に記載のコンテンツ再生方法であって、
再生対象の前記コンテンツは、音楽コンテンツであり、
前記タイミング情報は、前記音楽コンテンツの1小節ないしは複数小節の区切り情報、ビート情報、メロディの変化情報、さびの出だし、さびの終了、歌い出し、歌い終わりなどの音楽的に特徴のある変化点であることを特徴とするコンテンツ再生方法。
【請求項24】
請求項15、請求項16、請求項17、請求項18、請求項19、請求項20、請求項21または請求項22に記載のコンテンツ再生方法であって、
前記タイミング情報は、再生対象のコンテンツを形成するコンテンツデータの提供手段、あるいは、当該コンテンツデータの種類に応じて用いられるものであり、
光ディスクのサブコード時間情報、光ディスクのセクタアドレス、クラスタアドレス、TV/VIDEOのタイムコード、コンテンツ先頭からのバイト数、サンプル数、基準クロック数、GOP(Group of Picture)、映像フレーム、サウンドフレーム、圧縮オーディオの圧縮ブロック単位、ならびにそれぞれの前の区切り情報からの差分量で表現されることを特徴とするコンテンツ再生方法。
【請求項25】
請求項15、請求項16、請求項17、請求項18、請求項19、請求項20、請求項21または請求項22に記載のコンテンツ再生方法であって、
再生対象の前記コンテンツは、映像コンテンツであり、
前記タイミング情報は、映像のシーンチェンジ、カットチェンジなどの映像的に特徴のある変化点であることを特徴とするコンテンツ再生方法。
【請求項26】
請求項15、請求項16、請求項17、請求項18、請求項19、請求項20、請求項21または請求項22に記載のコンテンツ再生方法であって、
前記タイミング情報を記憶保持する書き換え可能な記録媒体を備えており、
前記記録媒体に記録された前記タイミング情報の変更、削除の指示入力、あるいは、前記記録媒体へのタイミング情報の追加の指示入力を受け付ける受付ステップと、
前記受付ステップにおいて受け付けた前記指示入力に応じて、前記記録媒体に記録されている前記タイミング情報の変更、削除、あるいは、前記記録媒体へのタイミング情報の追加を行う更新ステップと
を有することを特徴とするコンテンツ再生方法。
【請求項27】
請求項15に記載のコンテンツ再生方法であって、
前記制御ステップにおいては、前記ユーザーの動作/行動/状態についての変化のタイミングが、再生対象の前記コンテンツの再生開始タイミングに合うように制御することを特徴とするコンテンツ再生方法。
【請求項28】
請求項15に記載のコンテンツ再生方法であって、
前記ユーザーの動作/行動/状態についての変化は、歩行運動、体の上下運動、頭の前後左右方向への振り運動、腕の振り運動、胴部の前後左右方向への振り運動、室内への進入/退出、姿勢の変化であり、
前記検出ステップにおいては、ユーザーの目的とする動作/行動/状態についての1つ以上の変化を検出することを特徴とするコンテンツ再生方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【公開番号】特開2006−202396(P2006−202396A)
【公開日】平成18年8月3日(2006.8.3)
【国際特許分類】
【出願番号】特願2005−12534(P2005−12534)
【出願日】平成17年1月20日(2005.1.20)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成18年8月3日(2006.8.3)
【国際特許分類】
【出願日】平成17年1月20日(2005.1.20)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]