記録装置、再生装置、記録再生装置、記録方法、再生方法および記録再生方法並びに記録媒体
【課題】コンテンツ再生時における利用者の感情の変化や利用者の周囲の環境をセンシングメタデータとして記録し、記録されたセンシングメタデータに応じた再生態様でもってコンテンツを再生する。
【解決手段】コンテンツ提供部１１から供給されるコンテンツが通常再生されると共に、人体センサ２４においてコンテンツの利用者の生体情報が測定され、環境センサ２５において利用者の周囲の環境が測定される。センシングメタデータ生成部１９において、人体センサ２４および環境センサ２５の少なくとも一方によって検出される情報からセンシングメタデータが生成される。生成されたセンシングメタデータが記録処理部２０によって記録媒体２１に記録される。再生処理部２３では、センシングメタデータが再生され、再再生されたセンシングメタデータに応じて再生態様を変化させて再生制御部１２がコンテンツを再生する。
【解決手段】コンテンツ提供部１１から供給されるコンテンツが通常再生されると共に、人体センサ２４においてコンテンツの利用者の生体情報が測定され、環境センサ２５において利用者の周囲の環境が測定される。センシングメタデータ生成部１９において、人体センサ２４および環境センサ２５の少なくとも一方によって検出される情報からセンシングメタデータが生成される。生成されたセンシングメタデータが記録処理部２０によって記録媒体２１に記録される。再生処理部２３では、センシングメタデータが再生され、再再生されたセンシングメタデータに応じて再生態様を変化させて再生制御部１２がコンテンツを再生する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、コンテンツの再生時にセンシングされたデータをセンシングメタデータとして記録媒体に記録する記録装置および記録方法に関する。また、記録媒体に記録されているセンシングメタデータに応じてコンテンツを再生する再生装置、記録再生装置、再生方法および記録再生方法に関する。さらには、センシングメタデータが記録された記録媒体に関する。
【背景技術】
【０００２】
映画、音楽、写真等のコンテンツが記録された記録媒体には、メタデータと称される付加的なデータがコンテンツと関連付けられて記録されることが多い。コンテンツが映画の場合は、メタデータとして映画の出演者、映画監督、製作年、あらすじ等が記録媒体に記録される。また、コンテンツが音楽コンテンツの場合は、メタデータとしてタイトル、ジャンル、演奏時間、演奏者等が記録される。これらのメタデータは、コンテンツと独立に再生することもできる。したがって、コンテンツの視聴者は、メタデータを利用することでコンテンツの内容の一面を容易に知ることができる。
【０００３】
これらの映画や音楽などのコンテンツには一般的に物語性があり、コンテンツの視聴者の心理状態もストーリ展開やシーンに応じて変化する。すなわち、コンテンツのシーンに応じて視聴者は驚き、感動、安心、興奮等の異なる感情を抱くものである。こうした視聴者の感情の変化は、表情の変化、発汗、心拍数の変化、血圧の変化等として表れる。視聴者の感情の変化は、コンテンツのシーンやストーリ展開に依拠することが大きいが、コンテンツ視聴時の周囲の環境も影響する。例えば、真夏の暑い日に南極の映像を観ると、一般的に映像の視聴者は心地良さを感じる。一方、真冬の寒い日に同じ南極の映像を観ると、映像の視聴者は不快と感じることもある。このように、視聴者は、コンテンツ視聴時におけるコンテンツのシーンや周囲の環境に応じて様々に変化する心理状態を有する。
【０００４】
下記特許文献１には、コンテンツを再生すると共に、再生されているコンテンツに対する視聴者の反応を測定して評価値を生成するコンテンツ再生装置等が記載されている。特許文献１に記載のコンテンツ再生装置等では、生成された評価値に応じて、所定のシーン以降の映像の明るさや音響レベルの変更がなされる。
【０００５】
【特許文献１】特開２００２−３４４９０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、過去に再生したコンテンツに対する利用者（ユーザ）の心理状態や、利用者の周囲の環境、コンテンツの利用態様は人によって異なるものである。コンテンツを視聴してコンテンツのあるシーンに感動した、興奮した等のコンテンツに対する印象は人によって異なり、これらのコンテンツに対する印象がコンテンツと関連して記憶される場合もある。また、利用者にとって記念すべき場所においてコンテンツが再生されていた場合は、その場所がコンテンツと関連して記憶される場合もある。
【０００７】
従来、コンテンツと関連付けられて記録されていたメタデータは、演奏者、出演者、あらすじのようなコンテンツの製作者側によって付加された情報であり、これらのメタデータによってコンテンツ再生時の利用者の感情の変化や、コンテンツ再生時の利用者の周囲の環境を再現することは不可能である。特許文献１に記載のコンテンツ再生装置は、再生中のコンテンツに対する利用者の反応によってコンテンツの再生態様が変更するものであり、コンテンツ再生時の利用者の感情の変化や、コンテンツ再生時の利用者の周囲の環境をメタデータとして記録することについては記載されていない。
【０００８】
例えば、過去のコンテンツ再生時における利用者の心理状態や周囲の環境をメタデータとしてコンテンツと関連付けて記録することができれば、同一のコンテンツをメタデータに応じて再生することで、過去のコンテンツ再生時の心理状態や周囲の環境を再現できる。
【０００９】
したがって、この発明の目的は、コンテンツ再生時における利用者の感情の変化や周囲の環境をセンシングメタデータとして記録媒体に記録する記録装置および記録方法を提供することである。
また、この発明の他の目的は、記録されたセンシングメタデータに応じてコンテンツを再生する再生装置、再生方法、記録再生装置および記録再生方法を提供することである。
さらに、この発明は、利用者の感情の変化や周囲の環境がセンシングメタデータとして記録された記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決するために、この発明は、コンテンツを提供するコンテンツ提供部と、
コンテンツの再生時における利用者の生体情報を測定する生体情報測定部およびコンテンツの再生時における利用者の周囲の環境を測定する環境測定部の少なくとも一方と、
生体情報測定部および環境測定部の少なくとも一方によって検出される情報を使用してセンシングメタデータを生成するセンシングメタデータ生成部と、
生成されるセンシングメタデータをコンテンツと関連付けて記録媒体に記録する記録処理部と
を備える記録装置である。
【００１１】
また、この発明は、提供されたコンテンツを再生する再生装置であって、
コンテンツの再生時における利用者の生体情報を測定する生体情報測定部およびコンテンツの再生時における利用者の周囲の環境を測定する環境測定部の少なくとも一方によって検出された情報を使用して生成されたセンシングメタデータが記録された記録媒体を再生する再生処理部と、
センシングメタデータに応じた再生態様でもってコンテンツを再生する再生制御部と
を備える再生装置である。
【００１２】
また、コンテンツを提供するコンテンツ提供部と、
コンテンツの再生時における利用者の生体情報を測定する生体情報測定部およびコンテンツの再生時における利用者の周囲の環境を測定する環境測定部の少なくとも一方と、
生体情報測定部および環境測定部の少なくとも一方によって検出される情報を使用してセンシングメタデータを生成するセンシングメタデータ生成部と、
生成されるセンシングメタデータをコンテンツと関連付けて記録媒体に記録する記録処理部と、
センシングメタデータが記録された記録媒体を再生する再生処理部と、
センシングメタデータに応じた再生態様でもってコンテンツを再生する再生制御部と
を記録再生装置である。
【００１３】
また、この発明は、コンテンツを提供するコンテンツ提供ステップと、
コンテンツの再生時において測定された利用者の生体情報およびコンテンツの再生時において測定された利用者の周囲の環境の少なくとも一方の情報を使用してセンシングメタデータを生成するセンシングメタデータ生成ステップと、
センシングメタデータをコンテンツと関連付けて記録媒体に記録するセンシングメタデータ記録ステップと
からなる記録方法である。
【００１４】
また、この発明は、提供されたコンテンツを再生する再生方法であって、
コンテンツの再生時において測定された利用者の生体情報およびコンテンツの再生時において測定された利用者の周囲の環境の少なくとも一方の情報を使用して生成されたセンシングメタデータが記録された記録媒体を再生する記録媒体再生ステップと、
センシングメタデータに応じた再生態様でもってコンテンツを再生するコンテンツ再生ステップと
からなる再生方法である。
【００１５】
また、この発明は。コンテンツを提供するコンテンツ提供ステップと、
コンテンツの再生時において測定された利用者の生体情報およびコンテンツの再生時において測定された利用者の周囲の環境の少なくとも一方の情報を使用してセンシングメタデータを生成するセンシングメタデータ生成ステップと、
センシングメタデータをコンテンツと関連付けて記録媒体に記録するセンシングメタデータ記録ステップと、
センシングメタデータが記録された記録媒体を再生する記録媒体再生ステップと、
センシングメタデータに応じた再生態様でもってコンテンツを再生するコンテンツ再生ステップと
からなる記録再生方法である。
【００１６】
また、この発明は、コンテンツの再生時において測定された利用者の生体情報およびコンテンツの再生時において測定された利用者の周囲の環境の少なくとも一方の情報を使用して生成されたセンシングメタデータがコンテンツと関連付けられて記録された記録媒体である。
【発明の効果】
【００１７】
この発明によれば、コンテンツ再生時における利用者の感情の変化や、再生時の周囲の環境を光ディスクや半導体メモリ等の記録媒体にセンシングメタデータとして記録することができる。記録されたセンシングメタデータに応じてコンテンツを再生することで、過去のコンテンツ再生時における利用者の感情の変化や利用者の周囲の環境を再現できる。利用者の感情の変化や利用者の周囲の環境を再現することで、コンテンツと共に記憶されている利用者の思い出を想起させることができる。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照しながらこの発明の一実施の形態について説明する。なお、この明細書におけるコンテンツとは、映像情報および音声情報の少なくとも一方であり、また、各コンテンツは、識別子（以下、適宜、コンテンツＩＤ(Identifier)と称する）によって特定される。映像情報は、映像、写真等の静止画、グラフィックス、電子書籍およびそれらと共に表示される文字情報などの視覚上、認識できる情報の全てを含み、音声情報は、音楽、自然音、話声などの聴感上、認識できる情報の全てを含む。また、映像コンテンツを視聴する視聴者や音声コンテンツを聴取する聴取者等を総称して利用者と称する。
【００１９】
図１における参照符号１は、この発明の一実施の形態における記録再生装置の主要な構成を示す。記録再生装置１は、コンテンツ提供部１１、再生制御部１２、映像信号処理部１３、映像信号出力部１４、音声信号処理部１５、音声信号出力部１６、人体センシングデータ処理部１７、環境センシングデータ処理部１８、センシングメタデータ生成部１９、記録処理部２０、記録媒体２１、パターン蓄積部２２、再生処理部２３を含む構成とされる。
【００２０】
コンテンツ提供部１１は、例えば、ＣＤ−ＲＯＭ(Compact Disc-Read only Memory)やＤＶＤ−ＲＯＭ(Digital Versatile Disc-Read only Memory)等の光ディスクや半導体メモリ、磁気テープなどの記録媒体や記憶媒体である。コンテンツ提供部１１は、記録再生装置１と着脱自在とされる記録媒体や記憶媒体に限らず、記録再生装置１に内蔵されるＨＤＤ(Hard Disk Drive)でも良い。また、コンテンツ提供部１１は、地上アナログ／ディジタル放送やＢＳ（Broadcasting Satellite）ディジタル放送等のテレビジョン放送、インターネットを介してコンテンツを配信するコンテンツ配信サーバ等を含むものとされる。
【００２１】
また、コンテンツ提供部１１は、後述するように、利用者によって入力指示されたコンテンツＩＤに対応するコンテンツを再生制御部１２に対して供給する。
【００２２】
再生制御部１２は、通常再生時においては、コンテンツ提供部１１から提供されるコンテンツを再生する処理を行う。再生制御部１２における再生処理は、コンテンツが提供される手段によって異なる。例えば、コンテンツが光ディスクに記録されている場合、再生制御部１２においては、光ピックアップによって信号が読み出され、読み出された信号に対して復調処理、エラー訂正処理が行われ、処理が行われた信号がバッファメモリに一旦書き込まれる。そして、バッファメモリに書き込まれた信号にデマルチプレクス処理が行われ、多重化されていた映像信号、音声信号等が分離される。分離された映像信号が映像信号処理部１３に対して供給され、音声信号が音声信号処理部１５に対して供給される。
【００２３】
光ディスクに文字信号が記録されている場合は、デマルチプレクス処理によって分離された文字信号が図示しない文字信号処理部に供給される。文字信号処理部において復号処理等が行われた文字信号が必要に応じて映像信号と重畳されて、利用者に対して提示される。
【００２４】
また、例えば、ＢＳディジタル放送によってコンテンツが提供される場合は、再生制御部１２においては、受信電波から目的の搬送波を選択する処理、復調処理、誤り訂正処理、デスクランブル処理、デマルチプレクス処理、パケット選択処理等が行われ、目的とする映像ＰＥＳ(Packetized Elementary Stream)および音声ＰＥＳが抽出される。そして、選択された映像ＰＥＳは映像信号処理部１３に供給され、音声ＰＥＳは音声信号処理部１５に供給される。このように、再生制御部１２においては、コンテンツ提供部１１に応じて適切な処理が行われる。再生制御部１２において行われる処理を切り換えることも可能である。
【００２５】
再生制御部１２に対しては、再生処理部２３からセンシングメタデータが供給される。再生制御部１２は、通常再生以外に、コンテンツ提供部１１から供給されるコンテンツを、センシングメタデータに応じた再生態様でもって再生する処理を行う。なお、センシングメタデータについては後述する。
【００２６】
映像信号処理部１３は、供給される映像信号を復号する処理等を行う。映像信号処理部１３に供給される映像信号は、例えば、ＭＰＥＧ（Moving Picture Coding Experts Group）２方式によって圧縮符号化されている。したがって、映像信号処理部１３では、圧縮符号化されている映像信号を復号する処理が行われる。さらに映像信号処理部１３では、復号されたディジタル映像信号を必要に応じてアナログ映像信号へと変換するＤ／Ａ(Digital to Analog)変換処理が行われる。アナログ信号へと変換された映像信号が映像信号出力部１４に供給される。
【００２７】
映像信号出力部１４は、ＣＲＴ(Cathode Ray Tube)やＬＣＤ（Liquid Crystal Display）、有機ＥＬ(Electro Luminescence)等のモニタである。映像信号出力部１４には、映像信号処理部１３から供給された映像信号が再生される。
【００２８】
音声信号処理部１５は、供給される音声信号を復号する処理等を行う。音声信号処理部１５に供給される音声信号は、例えば、ＭＰ３(MPEG1-Audio Layer-III)方式やＭＰＥＧ２ＡＡＣ(Advanced Audio Coding)方式等によって圧縮符号化されている。したがって、音声信号処理部１５では、圧縮符号化されている音声信号を復号する処理が行われる。音声信号処理部１５ではさらに、復号されたディジタル音声信号を必要に応じてアナログ信号信号へと変換するＤ／Ａ(Digital to Analog)変換処理が行われる。アナログ信号へと変換された音声信号が音声信号出力部１６に供給される。
【００２９】
音声信号出力部１６は、スピーカ、ヘッドフォン等である。音声信号出力部１５から供給された音声信号が音声信号出力部１６から再生される。
【００３０】
映像信号処理部１３や音声信号処理部１５において映像信号、音声信号は、例えば、光ディスクにコンテンツと共に記録されていたり、放送波にＰＥＳ化されて重畳されているＤＴＳ(Decoding Time Stamp)のようなタイミング情報に基づいて復号される。また、映像信号および音声信号は、例えば、光ディスクにコンテンツと共に記録されていたり、放送波にＰＥＳ化されて重畳されているＰＴＳ(Presentation Time Stamp)のようなタイミング情報によって利用者に提示されることで、映像、音声と同期を取ることができる。
【００３１】
なお、映像信号出力部１４および音声信号出力部１６の少なくとも一方が記録再生装置１と別体とされても良い。例えば、記録再生装置１と離れて設置された映像信号出力部１４に対して無線を利用して映像信号が送信され、映像信号出力部１４から映像信号が再生されるようにしても良い。
【００３２】
人体センシングデータ処理部１７は、後述する人体センサ２４によって検出される情報（以下、適宜、人体センシングデータと称する）を電気的な信号へと変換し、変換した人体センシングデータを記録する。ここで、人体センシングデータは、心電図、呼吸数、呼吸周期、筋電図、脳血流量、脳波、発汗量、皮膚温度、瞳孔径、開眼度、手足の温度、体表温、表情の変化、瞬きの変化などの生体情報である。各人体センシングデータは、利用者毎の利用者ＩＤによって特定される。人体センシングデータ処理部１７において記録された人体センシングデータがセンシングメタデータ生成部１９に対して供給される。
【００３３】
環境センシングデータ処理部１８は、後述する環境センサ２５によって検出される情報（以下、適宜、環境センシングデータと称する）を電気的な信号へ変換し、変換した環境センシングデータを記録する。ここで、環境センシングデータは、温度、湿度、風量、気圧、天候および場所等の少なくとも一つとされる。また、各環境センシングデータは、利用者毎の利用者ＩＤによって特定される。環境センシングデータ処理部１８において記録された環境センシングデータは、センシングメタデータ生成部１９に対して供給される。
【００３４】
センシングメタデータ生成部１９は、供給される人体センシングデータおよび環境センシングデータの少なくとも一方を使用してセンシングメタデータを生成する。例えば、供給される人体センシングデータを使用してコンテンツ再生時の利用者の感情や感情の変化を示すセンシングメタデータをセンシングメタデータ生成部１９が生成する。また、供給される環境センシングメタデータを使用してコンテンツ再生時の利用者の周囲の環境を示すセンシングメタデータをセンシングメタデータ生成部１９が生成する。
【００３５】
具体的には、センシングメタデータ生成部１９は、例えば、人体センシングデータから得られる心拍数の変化、唇の動きや瞬きなどの表情の変化をパターン蓄積部２２に蓄積されているデータと照合して、コンテンツのある区間における利用者の感情（喜び・悲しみ・驚き・怒りなど）を判別する。そして、例えばＸＭＬ(eXtensible Markup Language)フォーマットで記述された利用者の感情の変化を示すセンシングメタデータを生成する。ここで、パターン蓄積部２２は、好ましくはＨＤＤなどの不揮発性メモリからなり、人体センシングデータの変化に対応する感情のパターンが蓄積されている。例えば、コンテンツの利用者の心拍数の変化や発汗量の変化、体表温の変化などと、その変化に対応する興奮、緊張、落ち着き等の感情のパターンが蓄積されている。
【００３６】
また、例えば、人体センシングデータから得られる発汗量、心拍数の上昇度、瞳孔径の変化をパターン蓄積部２２に蓄積されているデータと照合して、驚き、緊張などの利用者の感情を判別することができる。そして、判別された利用者の感情を示すセンシングメタデータをセンシングメタデータ生成部１９が生成する。
【００３７】
また、センシングメタデータ生成部１９は、環境センシングデータを使用してコンテンツ再生時における利用者の周囲の環境を示すセンシングメタデータを生成する。例えば、温度、湿度、風量、気圧、天候（晴れ、曇り、雨、雪、嵐等）をＸＭＬフォーマットで記述したセンシングメタデータを生成する。また、コンテンツ再生時の視聴者が居る場所に関しては、例えば、緯度、経度情報をセンシングメタデータとしてセンシングメタデータ生成部１９が生成する。
【００３８】
センシングメタデータ生成部１９に対しては、再生制御部１２によって通常再生されるコンテンツを特定するためのコンテンツＩＤが供給される。コンテンツＩＤとしては、例えば、コンテンツのタイトルが使用される。そして、センシングメタデータ生成部１９から記録処理部２０に対して、センシングメタデータ、利用者ＩＤおよびコンテンツＩＤが供給される。
【００３９】
記録処理部２０は、供給されるセンシングメタデータ、利用者ＩＤおよびコンテンツＩＤを記録媒体２１に適するフォーマットへと変換し、変換したセンシングメタデータ等をコンテンツと関連付けて記録媒体２１に記録する処理を行う。記録処理部２０においては、記録媒体２１に応じた記録処理が行われる。ここで、記録媒体２１は、例えば、ＣＤ−Ｒ(Recordable)、ＣＤ−ＲＷ(Rewritable)、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の追記可能または書き換え可能な光ディスクや磁気テープである。また、半導体メモリや記録再生装置１に内蔵されるＨＤＤなどの記憶媒体でも良い。
【００４０】
再生処理部２３は、記録媒体２１に記録されているセンシングメタデータを再生する処理を行う。例えば、利用者によってなされた利用者ＩＤおよびコンテンツＩＤの入力指示に対応するセンシングメタデータを記録媒体２１から再生する処理を行う。再生処理部２３においては、記録媒体２１に応じて適切な再生処理が行われる。再生処理部２３における再生処理によって記録媒体２１からセンシングメタデータが再生され、再生されたセンシングメタデータが再生制御部１２に対して供給される。
【００４１】
次に、人体センサ２４および環境センサ２５について説明する。生体情報測定部の一例である人体センサ２４は、例えば、コンテンツの利用者の身体に取り付けられ、様々な人体センシングデータを測定することができる器具である。勿論、人体センシングデータを計時するだけでなく、時計機能等の他の機能が付加されても良い。この一実施の形態における人体センサ２４は、記録再生装置１と無線による通信が可能とされ、測定された人体センシングデータを記録再生装置１に対して送信することができる。
【００４２】
なお、人体センサ２４は、コンテンツの利用者の身体に取り付けられる器具に限られない。例えば、記録再生装置１に備えられ、利用者の表情を撮像する撮像装置や利用者の体表温度を測定する赤外線サーモグラフィ等も人体センサ２４に含まれる。
【００４３】
環境測定部の一例である環境センサ２５は、温度計、湿度計、風量計、気圧計、天候を判別するための撮像装置等からなり、利用者の身体に取り付けられても良く、記録再生装置１に取り付けられていても良い。また、環境センサ２５には、場所を示す環境センシングデータを検出するためのＧＰＳ(Global Positioning System)受信端末等も含まれる。したがって、環境センサ２５は、ＧＰＳを利用して利用者がコンテンツを視聴している場所を特定することができる。なお、利用者の携帯電話と基地局との間で行われる位置登録のための通信を受信することでコンテンツ再生時の場所を特定するようにしても良い。
【００４４】
次に、センシングメタデータ生成部１９において生成されたセンシングメタデータを記録媒体２１に記録する具体例について説明する。以下、説明する具体例では、コンテンツを、コンテンツ提供部１１から供給され、時間軸上で情報が変化する映像コンテンツとする。また、人体センサ２４は、腕時計の機能と心拍計の機能を有する腕時計型心拍計とされ、人体センシングメタデータの一例として利用者の心拍数を人体センサ２４が測定する。ここで心拍数は、１分間の拍動の数(BPM(Beat per Minute))を意味する。人体センサ２４において測定された心拍数は、人体センサ２４の利用者を示す利用者ＩＤと共に無線による通信によって記録再生装置１に対して送信される。
【００４５】
また、記録再生装置１において計時される時刻と、人体センサ２４において計時される時刻は一致するものとされる。例えば、記録再生装置１および人体センサ２４が標準時刻を示す電波を受信することで、記録再生装置１において計時される時刻と人体センサ２４において計時される時刻とが一致可能とされる。また、インターネットを介して配信される標準時刻を取得することでも記録再生装置１および人体センサ２４が計時する時刻を一致させることができる。
【００４６】
コンテンツ提供部１１から映像コンテンツが供給され、再生制御部１２において、供給されたコンテンツに対する通常再生処理が行われる。そして、映像信号処理部１３および音声信号処理部１５において、復号処理等が行われ、映像信号出力部１４に映像が再生され、音声信号出力部１６から音声が再生される。コンテンツの再生が行われるとともに、人体センサ２４では心拍数が測定される。
【００４７】
図２は、人体センサ２４において測定される利用者Ａの心拍数の一例を示す。人体センサ２４では、所定の時刻若しくは所定の周期をもって心拍数がサンプリングされる。また、心拍数が測定された時間情報が測定される。この例では、図２に示すように、例えば、２００６年２月３日２０時４７分１０秒において心拍数７２が測定される。他の心拍数も同様に、時間情報と関連付けられて測定される。
【００４８】
人体センサ２４から記録再生装置１に対して、利用者Ａを特定するための利用者ＩＤ、コンテンツの通常再生時に測定された利用者Ａの心拍数、各心拍数が測定された時間情報（以下、適宜、利用者ＩＤ等と総称する）が送信される。利用者ＩＤとしては、人体センサ２４に付加されているシリアル番号が使用されても良いし、利用者ＩＤが利用者Ａによって入力されても良い。利用者ＩＤ等が記録再生装置１において受信され、人体センシングデータ処理部１７に供給される。人体センシングデータ処理部１７においては、人体センサ２４から送信された利用者ＩＤ等が電気的な信号へと変換され、変換された利用者ＩＤ等が記録される。そして、記録された利用者ＩＤ等がセンシングメタデータ生成部１９に供給される。
【００４９】
一方、記録再生装置１は、記録再生装置１に内蔵されるクロック回路等によって現在時刻を計時することができる。また、再生制御部１２においては、通常再生している映像コンテンツの再生位置情報を取得できる。図３は、記録再生装置１において計時されている時間情報に対応する映像コンテンツの再生位置の例を示す。例えば、記録再生装置１において計時された２００６年２月３日２０時４７分１０秒では映像コンテンツの再生位置が００時１５分２０秒とされる。
【００５０】
センシングメタデータ生成部１９では、心拍数が測定された時間情報と当該時間情報に対応する再生位置を判別して、映像コンテンツの再生位置と測定された心拍数との対応付けがなされる。例えば、図２および図３を使用して説明したように、時間情報２００６年２月３日２０時４７分１０秒において、人体センサ２４では心拍数７２が測定され、映像コンテンツの再生位置が００時１５分２０秒である。したがって、図４に示すように、映像コンテンツの再生位置が００時１５分２０秒において心拍数が７２であることの対応付けがなされる。測定された他の心拍数も同様に、映像コンテンツの再生位置との対応付けがなされる。
【００５１】
次に、センシングメタデータ生成部１９は、パターン蓄積部２２に蓄積されている過去のパターンを参照して、心拍数の変化に対応する利用者の感情を抽出する。例えば、パターン蓄積部２２に蓄積されている過去のパターンの中から類似しているパターンを検索する。そして、検索されたパターンに対応する感情を、コンテンツ再生時の利用者の感情として抽出する。
【００５２】
一例を示せば、心拍数が７２から７５への変化に対応する映像コンテンツの再生位置００時１５分２０秒から００時１５分４０秒の区間は、心拍数がやや上昇していることからこの区間の映像コンテンツの再生時に利用者が興奮しているものとされる。また、心拍数が７５から７１への変化に対応する映像コンテンツの再生位置００時１５分４０秒から００時１６分００秒の区間は、心拍数が下降していることから、この区間の映像コンテンツの再生時に利用者が落ち着いてきたものとされる。また、心拍数８２と高くなったときの映像コンテンツの再生位置０１時２０分４０秒においては、利用者が驚いたものとされる。
【００５３】
続いて、センシングメタデータ生成部１９は、映像コンテンツの再生位置や再生区間と、それに対応する利用者の感情を示すセンシングメタデータを生成する。センシングメタデータ生成部１９において生成されたセンシングメタデータが記録処理部２０に対して供給される。また、通常再生されるコンテンツの利用者である利用者Ａを特定するための利用者ＩＤおよび通常再生される映像コンテンツを特定するコンテンツＩＤがセンシングメタデータ生成部１９から記録処理部２０に対して供給される。
【００５４】
記録処理部２０は、供給されたセンシングメタデータ、利用者ＩＤ、コンテンツＩＤを記録媒体２１に適合するフォーマットに変換する。そして、記録処理部２０における記録処理によって、適切なフォーマットへと変換されたセンシングメタデータ、利用者ＩＤ、コンテンツＩＤが記録媒体２１に記録される。
【００５５】
なお、上述した具体例では、心拍数を例とする人体センシングデータを使用してセンシングメタデータを生成する例を説明したが、環境センシングデータを使用してセンシングメタデータを生成することもできる。温度、湿度、風量、天候、場所等を示す環境センシングデータの場合は、必ずしも時系列に測定されていなくても良い。
【００５６】
また、時間軸上で情報が変化しない写真などのコンテンツと環境センシングデータから生成されたメタデータとが記録媒体２１に記録されるようにしても良い。この場合におけるセンシングメタデータを記録する処理においては、必ずしも時間情報は必要とされない。
【００５７】
図５は、この発明の一実施の形態におけるセンシングメタデータを記録する処理の流れを示すフローチャートである。なお、図５を使用して説明する処理においては、コンテンツを音声コンテンツとして説明する。
【００５８】
ステップＳ１においては、コンテンツを再生する処理が行われる。すなわち、コンテンツ提供部１１から供給された音声コンテンツに対して、再生処理部１２において通常再生処理が行われる。再生処理が行われた音声コンテンツに対して音声信号処理部１５において復号処理等が行われ、音声信号出力部１６から音声コンテンツが利用者に対して再生される。コンテンツ再生処理が行われると、処理がステップＳ２に進む。
【００５９】
ステップＳ２においては、センシング処理が開始される。すなわち、人体センサ２４および環境センサ２５の少なくとも一方を使用して、コンテンツの再生時における利用者の人体センシングデータおよびコンテンツ再生時における環境センシングデータの少なくとも一方が測定される。測定された人体センシングデータが人体センシングデータ処理部１７に供給される。測定された環境センシングデータが環境センシングデータ処理部１８に供給される。人体センシングデータ処理部１７、環境センシングデータ処理部１８において処理が行われた人体センシングデータおよび環境センシングデータの少なくとも一方がセンシングメタデータ生成部１９に対して供給される。
【００６０】
なお、このステップＳ２において行われるセンシング処理を開始するタイミングは、好ましくはコンテンツの再生開始時であるが、コンテンツの再生途中からでも良い。センシング処理が開始されると、処理がステップＳ３に進む。
【００６１】
ステップＳ３では、センシングメタデータ生成部１９においてセンシングメタデータを生成する処理が行われる。センシングメタデータ生成部１９は、人体センシングデータ処理部１７から供給される人体センシングデータおよび環境センシングデータ処理部１８から供給される環境センシングメタデータの少なくとも一方を使用して、センシングメタデータを生成する。センシングメタデータが生成されると、処理がステップＳ４に進む。
【００６２】
ステップＳ４においては、生成されたセンシングメタデータを記録する処理が行われる。ステップＳ３において生成されたセンシングメタデータが記録処理部２０に対して供給される。また、通常再生されるコンテンツの利用者を特定するための利用者ＩＤ、通常再生されるコンテンツを特定するためのコンテンツＩＤが記録処理部２０に対して供給される。記録処理部２０において、センシングメタデータ、利用者ＩＤ、コンテンツＩＤが記録媒体２１に応じたフォーマットへと変換される。変換されたセンシングメタデータ、利用者ＩＤ、コンテンツＩＤが記録媒体２１に記録される。
【００６３】
次に、センシングメタデータ等が記録された記録媒体２１を再生する処理について説明する。図６は、この発明の一実施の形態における再生処理の流れを示すフローチャートである。
【００６４】
ステップＳ１１においては、センシングメタデータ取得処理が行われる。例えば、利用者によって利用者ＩＤおよびコンテンツＩＤが入力され、入力された利用者ＩＤおよびコンテンツＩＤが再生処理部２３に対して指示される。再生処理部２３は、指示された利用者ＩＤおよびコンテンツＩＤに対応するセンシングメタデータを記録媒体２１から再生する。再生されたセンシングメタデータが再生制御部１２に対して供給される。次に、処理がステップＳ１２に進む。
【００６５】
ステップＳ１２においては、コンテンツ取得処理が行われる。利用者によって入力されたコンテンツＩＤがコンテンツ提供部１１に対して指示される。コンテンツ提供部１１は、指示されたコンテンツＩＤに対応するコンテンツを再生制御部１２に対して供給する。例えば、コンテンツ配信サーバにアクセスし、コンテンツＩＤにより特定されるコンテンツをダウンロードする。ダウンロードされたコンテンツが再生制御部１２に対して供給される。なお、コンテンツＩＤによって特定されるコンテンツをコンテンツ提供部１１が提供できない場合は、例えば、映像信号出力部１４にエラーメッセージが表示されたり、音声信号出力部１６から警告音が放音される。次に、処理がステップＳ１３に進む。
【００６６】
ステップＳ１３においては、コンテンツ再生処理が行われる。ステップＳ１３において再生制御部１２は、通常再生時とは異なる再生処理、すなわち、再生処理部２３から供給されるセンシングメタデータに応じた再生態様でもって、コンテンツ提供部１１から供給されるコンテンツを再生する処理を行う。以下、センシングメタデータに応じた再生態様でもってコンテンツを再生する再生例について説明する。
【００６７】
例えば、コンテンツが映像コンテンツの場合は、センシングメタデータに記述されている再生位置や再生区間における利用者の感情に応じて、輝度レベル、コントラスト、色合いを再生制御部１２が変更する。また、コンテンツが音声コンテンツの場合は、センシングメタデータに記述されている音声コンテンツのある区間における利用者の感情に応じて、周波数特性や音量レベルを再生制御部１２が変更したり、エフェクトをかけたりする。また、興奮していたと判別される再生位置に対応するシーンをダイジェスト再生することもでき、利用者の感情の抑揚あるシーンを強調するように再生することもできる。
【００６８】
再生制御部１２において処理が行われた映像コンテンツが映像信号処理部１３に供給され、音声コンテンツが音声信号処理部１５に供給される。映像信号処理部１３、音声信号処理部１５において復号処理等が行われ、センシングメタデータに応じた再生態様でもって映像コンテンツが映像信号出力部１４から、音声コンテンツが音声信号出力部１６から再生される。
【００６９】
また、環境センシングメタデータが使用されてセンシングメタデータが生成された場合は、再生制御部１２は、センシングメタデータによって指示される周囲の環境を利用者が認識可能にコンテンツを再生する。
【００７０】
例えば、コンテンツが映像コンテンツの場合は、再生制御部１２において、センシングメタデータから得られる気温、湿度、場所等を示すデータが映像コンテンツと重畳される。そして、データが重畳された映像コンテンツに対して映像信号処理部１３において復号処理等の処理が行われる。復号処理等が行われた映像コンテンツが映像信号出力部１４に再生される。このとき、映像信号出力部１４には、過去の同一の映像コンテンツ再生時の気温、湿度、場所等を示す文字情報が映像コンテンツと共に再生される。これにより、映像コンテンツの利用者は、過去の映像コンテンツ再生時における周囲の環境を認識できる。
【００７１】
また、コンテンツが音声コンテンツの場合は、再生制御部１２において、例えば、以下の処理が行われる。センシングメタデータによって、過去の音声コンテンツ再生時の天候が雨や強風と指示されるときは、音声コンテンツに対して雨や風の音のデータを再生制御部１２が重畳する。雨や風の音のデータが重畳された音声コンテンツが再生制御部１２から音声信号処理部１５に対して供給される。そして、音声信号処理部１５において音声コンテンツに対して復号処理等が行われ、処理が行われた音声コンテンツが音声信号出力部１６から再生される。このとき、利用者は、音声コンテンツと共に、音声コンテンツに重畳された雨や風の音を聞くことで、過去の音声コンテンツ再生時における利用者の周囲の環境を認識できる。過去の音声コンテンツ再生時における利用者の周囲の環境を認識することで、音声コンテンツと関連して記憶されている利用者の思い出を想起しうる。
【００７２】
なお、雨や風の音のデータは、例えば、再生制御部１２がコンテンツ提供部１１を制御して、ネットワークを介して雨や風の音のデータをダウンロードしても良い。ダウンロードされた雨や風の音のデータがコンテンツ提供部１１から再生制御部１２に供給されて、再生制御部１２において、雨や風の音のデータが音声コンテンツと重畳される。
【００７３】
また、記録媒体２１に過去の音声コンテンツの再生時における利用者が居た場所を示すセンシングメタデータが記録されている場合は、以下のようにして音声コンテンツを再生することもできる。コンテンツ提供部１１または記録媒体２１から提供される音声コンテンツは、再生制御部１２、音声信号処理部１５において所定の処理が行われて、音声信号出力部１６から再生される。
【００７４】
また、音声コンテンツ再生時における利用者が居た場所を示すセンシングメタデータが再生処理部２３における再生処理により得られ、得られたセンシングデータが再生制御部１２に供給される。再生制御部１２は、コンテンツ提供部１１を制御して、センシングメタデータが示す利用者が居た場所の周囲の風景、例えば、山、川、森、海岸などの写真のデータを取得する。例えば、写真を配信するサーバにアクセスして、当該サーバから様々な風景の写真のデータを取得することができる。取得された写真のデータがコンテンツ提供部１１から再生制御部１２に対して供給される。
【００７５】
再生制御部１２に供給された写真のデータが映像信号処理部１３に供給され、映像信号処理部１３において復号処理等が行われる。処理が行われた写真のデータが映像信号出力部１４に供給され、映像信号出力部１４には、山、川、森、海岸などの風景が再生される。音声コンテンツの利用者は、映像信号出力部１４に再生される風景を見ながら音声コンテンツを聴くことで、過去の音声コンテンツの再生時の周囲の風景を認識できる。したがって、音声コンテンツと関連して記憶されている利用者の思い出を想起しうる。
【００７６】
このように、センシングメタデータに応じた再生態様でもってコンテンツを再生することで、利用者は、過去のコンテンツ再生時における利用者の感情の変化を認識できる。また、過去のコンテンツ再生時における利用者の周囲の環境を再現できる。したがって、コンテンツと共に記憶されている思い出を想起できる。
【００７７】
なお、図５および図６を使用して説明した処理は、センシングメタデータを記録し、記録されたセンシングメタデータに応じた再生態様でもってコンテンツを再生する記録再生方法として構成することも可能である。
【００７８】
以上、この発明の一実施の形態について具体的に説明したが、この発明は、上述した一実施の形態に限定されるものではなく、この発明の技術的思想に基づく各種の変形が可能である。
【００７９】
上述した一実施の形態においては、記録再生装置として説明したが、コンテンツの通常再生時に生成されたセンシングメタデータを記録する記録装置として構成することもできる。また、記録媒体に記録されたセンシングメタデータに応じた再生態様でもってコンテンツを再生する再生装置として構成することもできる。
【００８０】
再生制御部１２において行われるコンテンツを通常再生する処理と、センシングメタデータに応じた再生態様でもってコンテンツを再生する処理とが、利用者によって切換可能とされても良い。
【００８１】
また、コンテンツ提供部１１が追記可能または書き換え可能な光ディスクや半導体メモリである場合は、生成されたセンシングメタデータをコンテンツ提供部１１に記録することもできる。
【００８２】
また、この発明における装置を構成する各手段を、専用のハードウェア回路によって構成できるし、ソフトウェア若しくはプログラムされたコンピュータによって実現することもできる。また、処理内容を記述したプログラムは、磁気記録装置、光ディスク、光磁気ディスク、半導体メモリ等のコンピュータが読み取り可能な記録媒体に記録しておくことができる。
【図面の簡単な説明】
【００８３】
【図１】この発明の一実施の形態における記録再生装置の構成を示すブロック図である。
【図２】この発明の一実施の形態における人体センサにおいて測定される心拍数を示す略線図である。
【図３】この発明の一実施の形態における記録再生装置において計時される時刻とコンテンツの再生位置の対応例を示す略線図である。
【図４】コンテンツの再生位置と対応付けされた心拍数を示す略線図である。
【図５】この発明の一実施の形態におけるセンシングメタデータを記録する処理の流れを示すフローチャートである。
【図６】この発明の一実施の形態におけるセンシングメタデータに応じてコンテンツを再生する処理の流れを示すフローチャートである。
【符号の説明】
【００８４】
１ 記録再生装置
１１ コンテンツ提供部
１２ 再生制御部
１９ センシングメタデータ生成部
２０ 記録処理部
２１ 記録媒体
２３ 再生処理部
２４ 人体センサ
２５ 環境センサ
【技術分野】
【０００１】
この発明は、例えば、コンテンツの再生時にセンシングされたデータをセンシングメタデータとして記録媒体に記録する記録装置および記録方法に関する。また、記録媒体に記録されているセンシングメタデータに応じてコンテンツを再生する再生装置、記録再生装置、再生方法および記録再生方法に関する。さらには、センシングメタデータが記録された記録媒体に関する。
【背景技術】
【０００２】
映画、音楽、写真等のコンテンツが記録された記録媒体には、メタデータと称される付加的なデータがコンテンツと関連付けられて記録されることが多い。コンテンツが映画の場合は、メタデータとして映画の出演者、映画監督、製作年、あらすじ等が記録媒体に記録される。また、コンテンツが音楽コンテンツの場合は、メタデータとしてタイトル、ジャンル、演奏時間、演奏者等が記録される。これらのメタデータは、コンテンツと独立に再生することもできる。したがって、コンテンツの視聴者は、メタデータを利用することでコンテンツの内容の一面を容易に知ることができる。
【０００３】
これらの映画や音楽などのコンテンツには一般的に物語性があり、コンテンツの視聴者の心理状態もストーリ展開やシーンに応じて変化する。すなわち、コンテンツのシーンに応じて視聴者は驚き、感動、安心、興奮等の異なる感情を抱くものである。こうした視聴者の感情の変化は、表情の変化、発汗、心拍数の変化、血圧の変化等として表れる。視聴者の感情の変化は、コンテンツのシーンやストーリ展開に依拠することが大きいが、コンテンツ視聴時の周囲の環境も影響する。例えば、真夏の暑い日に南極の映像を観ると、一般的に映像の視聴者は心地良さを感じる。一方、真冬の寒い日に同じ南極の映像を観ると、映像の視聴者は不快と感じることもある。このように、視聴者は、コンテンツ視聴時におけるコンテンツのシーンや周囲の環境に応じて様々に変化する心理状態を有する。
【０００４】
下記特許文献１には、コンテンツを再生すると共に、再生されているコンテンツに対する視聴者の反応を測定して評価値を生成するコンテンツ再生装置等が記載されている。特許文献１に記載のコンテンツ再生装置等では、生成された評価値に応じて、所定のシーン以降の映像の明るさや音響レベルの変更がなされる。
【０００５】
【特許文献１】特開２００２−３４４９０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、過去に再生したコンテンツに対する利用者（ユーザ）の心理状態や、利用者の周囲の環境、コンテンツの利用態様は人によって異なるものである。コンテンツを視聴してコンテンツのあるシーンに感動した、興奮した等のコンテンツに対する印象は人によって異なり、これらのコンテンツに対する印象がコンテンツと関連して記憶される場合もある。また、利用者にとって記念すべき場所においてコンテンツが再生されていた場合は、その場所がコンテンツと関連して記憶される場合もある。
【０００７】
従来、コンテンツと関連付けられて記録されていたメタデータは、演奏者、出演者、あらすじのようなコンテンツの製作者側によって付加された情報であり、これらのメタデータによってコンテンツ再生時の利用者の感情の変化や、コンテンツ再生時の利用者の周囲の環境を再現することは不可能である。特許文献１に記載のコンテンツ再生装置は、再生中のコンテンツに対する利用者の反応によってコンテンツの再生態様が変更するものであり、コンテンツ再生時の利用者の感情の変化や、コンテンツ再生時の利用者の周囲の環境をメタデータとして記録することについては記載されていない。
【０００８】
例えば、過去のコンテンツ再生時における利用者の心理状態や周囲の環境をメタデータとしてコンテンツと関連付けて記録することができれば、同一のコンテンツをメタデータに応じて再生することで、過去のコンテンツ再生時の心理状態や周囲の環境を再現できる。
【０００９】
したがって、この発明の目的は、コンテンツ再生時における利用者の感情の変化や周囲の環境をセンシングメタデータとして記録媒体に記録する記録装置および記録方法を提供することである。
また、この発明の他の目的は、記録されたセンシングメタデータに応じてコンテンツを再生する再生装置、再生方法、記録再生装置および記録再生方法を提供することである。
さらに、この発明は、利用者の感情の変化や周囲の環境がセンシングメタデータとして記録された記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決するために、この発明は、コンテンツを提供するコンテンツ提供部と、
コンテンツの再生時における利用者の生体情報を測定する生体情報測定部およびコンテンツの再生時における利用者の周囲の環境を測定する環境測定部の少なくとも一方と、
生体情報測定部および環境測定部の少なくとも一方によって検出される情報を使用してセンシングメタデータを生成するセンシングメタデータ生成部と、
生成されるセンシングメタデータをコンテンツと関連付けて記録媒体に記録する記録処理部と
を備える記録装置である。
【００１１】
また、この発明は、提供されたコンテンツを再生する再生装置であって、
コンテンツの再生時における利用者の生体情報を測定する生体情報測定部およびコンテンツの再生時における利用者の周囲の環境を測定する環境測定部の少なくとも一方によって検出された情報を使用して生成されたセンシングメタデータが記録された記録媒体を再生する再生処理部と、
センシングメタデータに応じた再生態様でもってコンテンツを再生する再生制御部と
を備える再生装置である。
【００１２】
また、コンテンツを提供するコンテンツ提供部と、
コンテンツの再生時における利用者の生体情報を測定する生体情報測定部およびコンテンツの再生時における利用者の周囲の環境を測定する環境測定部の少なくとも一方と、
生体情報測定部および環境測定部の少なくとも一方によって検出される情報を使用してセンシングメタデータを生成するセンシングメタデータ生成部と、
生成されるセンシングメタデータをコンテンツと関連付けて記録媒体に記録する記録処理部と、
センシングメタデータが記録された記録媒体を再生する再生処理部と、
センシングメタデータに応じた再生態様でもってコンテンツを再生する再生制御部と
を記録再生装置である。
【００１３】
また、この発明は、コンテンツを提供するコンテンツ提供ステップと、
コンテンツの再生時において測定された利用者の生体情報およびコンテンツの再生時において測定された利用者の周囲の環境の少なくとも一方の情報を使用してセンシングメタデータを生成するセンシングメタデータ生成ステップと、
センシングメタデータをコンテンツと関連付けて記録媒体に記録するセンシングメタデータ記録ステップと
からなる記録方法である。
【００１４】
また、この発明は、提供されたコンテンツを再生する再生方法であって、
コンテンツの再生時において測定された利用者の生体情報およびコンテンツの再生時において測定された利用者の周囲の環境の少なくとも一方の情報を使用して生成されたセンシングメタデータが記録された記録媒体を再生する記録媒体再生ステップと、
センシングメタデータに応じた再生態様でもってコンテンツを再生するコンテンツ再生ステップと
からなる再生方法である。
【００１５】
また、この発明は。コンテンツを提供するコンテンツ提供ステップと、
コンテンツの再生時において測定された利用者の生体情報およびコンテンツの再生時において測定された利用者の周囲の環境の少なくとも一方の情報を使用してセンシングメタデータを生成するセンシングメタデータ生成ステップと、
センシングメタデータをコンテンツと関連付けて記録媒体に記録するセンシングメタデータ記録ステップと、
センシングメタデータが記録された記録媒体を再生する記録媒体再生ステップと、
センシングメタデータに応じた再生態様でもってコンテンツを再生するコンテンツ再生ステップと
からなる記録再生方法である。
【００１６】
また、この発明は、コンテンツの再生時において測定された利用者の生体情報およびコンテンツの再生時において測定された利用者の周囲の環境の少なくとも一方の情報を使用して生成されたセンシングメタデータがコンテンツと関連付けられて記録された記録媒体である。
【発明の効果】
【００１７】
この発明によれば、コンテンツ再生時における利用者の感情の変化や、再生時の周囲の環境を光ディスクや半導体メモリ等の記録媒体にセンシングメタデータとして記録することができる。記録されたセンシングメタデータに応じてコンテンツを再生することで、過去のコンテンツ再生時における利用者の感情の変化や利用者の周囲の環境を再現できる。利用者の感情の変化や利用者の周囲の環境を再現することで、コンテンツと共に記憶されている利用者の思い出を想起させることができる。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照しながらこの発明の一実施の形態について説明する。なお、この明細書におけるコンテンツとは、映像情報および音声情報の少なくとも一方であり、また、各コンテンツは、識別子（以下、適宜、コンテンツＩＤ(Identifier)と称する）によって特定される。映像情報は、映像、写真等の静止画、グラフィックス、電子書籍およびそれらと共に表示される文字情報などの視覚上、認識できる情報の全てを含み、音声情報は、音楽、自然音、話声などの聴感上、認識できる情報の全てを含む。また、映像コンテンツを視聴する視聴者や音声コンテンツを聴取する聴取者等を総称して利用者と称する。
【００１９】
図１における参照符号１は、この発明の一実施の形態における記録再生装置の主要な構成を示す。記録再生装置１は、コンテンツ提供部１１、再生制御部１２、映像信号処理部１３、映像信号出力部１４、音声信号処理部１５、音声信号出力部１６、人体センシングデータ処理部１７、環境センシングデータ処理部１８、センシングメタデータ生成部１９、記録処理部２０、記録媒体２１、パターン蓄積部２２、再生処理部２３を含む構成とされる。
【００２０】
コンテンツ提供部１１は、例えば、ＣＤ−ＲＯＭ(Compact Disc-Read only Memory)やＤＶＤ−ＲＯＭ(Digital Versatile Disc-Read only Memory)等の光ディスクや半導体メモリ、磁気テープなどの記録媒体や記憶媒体である。コンテンツ提供部１１は、記録再生装置１と着脱自在とされる記録媒体や記憶媒体に限らず、記録再生装置１に内蔵されるＨＤＤ(Hard Disk Drive)でも良い。また、コンテンツ提供部１１は、地上アナログ／ディジタル放送やＢＳ（Broadcasting Satellite）ディジタル放送等のテレビジョン放送、インターネットを介してコンテンツを配信するコンテンツ配信サーバ等を含むものとされる。
【００２１】
また、コンテンツ提供部１１は、後述するように、利用者によって入力指示されたコンテンツＩＤに対応するコンテンツを再生制御部１２に対して供給する。
【００２２】
再生制御部１２は、通常再生時においては、コンテンツ提供部１１から提供されるコンテンツを再生する処理を行う。再生制御部１２における再生処理は、コンテンツが提供される手段によって異なる。例えば、コンテンツが光ディスクに記録されている場合、再生制御部１２においては、光ピックアップによって信号が読み出され、読み出された信号に対して復調処理、エラー訂正処理が行われ、処理が行われた信号がバッファメモリに一旦書き込まれる。そして、バッファメモリに書き込まれた信号にデマルチプレクス処理が行われ、多重化されていた映像信号、音声信号等が分離される。分離された映像信号が映像信号処理部１３に対して供給され、音声信号が音声信号処理部１５に対して供給される。
【００２３】
光ディスクに文字信号が記録されている場合は、デマルチプレクス処理によって分離された文字信号が図示しない文字信号処理部に供給される。文字信号処理部において復号処理等が行われた文字信号が必要に応じて映像信号と重畳されて、利用者に対して提示される。
【００２４】
また、例えば、ＢＳディジタル放送によってコンテンツが提供される場合は、再生制御部１２においては、受信電波から目的の搬送波を選択する処理、復調処理、誤り訂正処理、デスクランブル処理、デマルチプレクス処理、パケット選択処理等が行われ、目的とする映像ＰＥＳ(Packetized Elementary Stream)および音声ＰＥＳが抽出される。そして、選択された映像ＰＥＳは映像信号処理部１３に供給され、音声ＰＥＳは音声信号処理部１５に供給される。このように、再生制御部１２においては、コンテンツ提供部１１に応じて適切な処理が行われる。再生制御部１２において行われる処理を切り換えることも可能である。
【００２５】
再生制御部１２に対しては、再生処理部２３からセンシングメタデータが供給される。再生制御部１２は、通常再生以外に、コンテンツ提供部１１から供給されるコンテンツを、センシングメタデータに応じた再生態様でもって再生する処理を行う。なお、センシングメタデータについては後述する。
【００２６】
映像信号処理部１３は、供給される映像信号を復号する処理等を行う。映像信号処理部１３に供給される映像信号は、例えば、ＭＰＥＧ（Moving Picture Coding Experts Group）２方式によって圧縮符号化されている。したがって、映像信号処理部１３では、圧縮符号化されている映像信号を復号する処理が行われる。さらに映像信号処理部１３では、復号されたディジタル映像信号を必要に応じてアナログ映像信号へと変換するＤ／Ａ(Digital to Analog)変換処理が行われる。アナログ信号へと変換された映像信号が映像信号出力部１４に供給される。
【００２７】
映像信号出力部１４は、ＣＲＴ(Cathode Ray Tube)やＬＣＤ（Liquid Crystal Display）、有機ＥＬ(Electro Luminescence)等のモニタである。映像信号出力部１４には、映像信号処理部１３から供給された映像信号が再生される。
【００２８】
音声信号処理部１５は、供給される音声信号を復号する処理等を行う。音声信号処理部１５に供給される音声信号は、例えば、ＭＰ３(MPEG1-Audio Layer-III)方式やＭＰＥＧ２ＡＡＣ(Advanced Audio Coding)方式等によって圧縮符号化されている。したがって、音声信号処理部１５では、圧縮符号化されている音声信号を復号する処理が行われる。音声信号処理部１５ではさらに、復号されたディジタル音声信号を必要に応じてアナログ信号信号へと変換するＤ／Ａ(Digital to Analog)変換処理が行われる。アナログ信号へと変換された音声信号が音声信号出力部１６に供給される。
【００２９】
音声信号出力部１６は、スピーカ、ヘッドフォン等である。音声信号出力部１５から供給された音声信号が音声信号出力部１６から再生される。
【００３０】
映像信号処理部１３や音声信号処理部１５において映像信号、音声信号は、例えば、光ディスクにコンテンツと共に記録されていたり、放送波にＰＥＳ化されて重畳されているＤＴＳ(Decoding Time Stamp)のようなタイミング情報に基づいて復号される。また、映像信号および音声信号は、例えば、光ディスクにコンテンツと共に記録されていたり、放送波にＰＥＳ化されて重畳されているＰＴＳ(Presentation Time Stamp)のようなタイミング情報によって利用者に提示されることで、映像、音声と同期を取ることができる。
【００３１】
なお、映像信号出力部１４および音声信号出力部１６の少なくとも一方が記録再生装置１と別体とされても良い。例えば、記録再生装置１と離れて設置された映像信号出力部１４に対して無線を利用して映像信号が送信され、映像信号出力部１４から映像信号が再生されるようにしても良い。
【００３２】
人体センシングデータ処理部１７は、後述する人体センサ２４によって検出される情報（以下、適宜、人体センシングデータと称する）を電気的な信号へと変換し、変換した人体センシングデータを記録する。ここで、人体センシングデータは、心電図、呼吸数、呼吸周期、筋電図、脳血流量、脳波、発汗量、皮膚温度、瞳孔径、開眼度、手足の温度、体表温、表情の変化、瞬きの変化などの生体情報である。各人体センシングデータは、利用者毎の利用者ＩＤによって特定される。人体センシングデータ処理部１７において記録された人体センシングデータがセンシングメタデータ生成部１９に対して供給される。
【００３３】
環境センシングデータ処理部１８は、後述する環境センサ２５によって検出される情報（以下、適宜、環境センシングデータと称する）を電気的な信号へ変換し、変換した環境センシングデータを記録する。ここで、環境センシングデータは、温度、湿度、風量、気圧、天候および場所等の少なくとも一つとされる。また、各環境センシングデータは、利用者毎の利用者ＩＤによって特定される。環境センシングデータ処理部１８において記録された環境センシングデータは、センシングメタデータ生成部１９に対して供給される。
【００３４】
センシングメタデータ生成部１９は、供給される人体センシングデータおよび環境センシングデータの少なくとも一方を使用してセンシングメタデータを生成する。例えば、供給される人体センシングデータを使用してコンテンツ再生時の利用者の感情や感情の変化を示すセンシングメタデータをセンシングメタデータ生成部１９が生成する。また、供給される環境センシングメタデータを使用してコンテンツ再生時の利用者の周囲の環境を示すセンシングメタデータをセンシングメタデータ生成部１９が生成する。
【００３５】
具体的には、センシングメタデータ生成部１９は、例えば、人体センシングデータから得られる心拍数の変化、唇の動きや瞬きなどの表情の変化をパターン蓄積部２２に蓄積されているデータと照合して、コンテンツのある区間における利用者の感情（喜び・悲しみ・驚き・怒りなど）を判別する。そして、例えばＸＭＬ(eXtensible Markup Language)フォーマットで記述された利用者の感情の変化を示すセンシングメタデータを生成する。ここで、パターン蓄積部２２は、好ましくはＨＤＤなどの不揮発性メモリからなり、人体センシングデータの変化に対応する感情のパターンが蓄積されている。例えば、コンテンツの利用者の心拍数の変化や発汗量の変化、体表温の変化などと、その変化に対応する興奮、緊張、落ち着き等の感情のパターンが蓄積されている。
【００３６】
また、例えば、人体センシングデータから得られる発汗量、心拍数の上昇度、瞳孔径の変化をパターン蓄積部２２に蓄積されているデータと照合して、驚き、緊張などの利用者の感情を判別することができる。そして、判別された利用者の感情を示すセンシングメタデータをセンシングメタデータ生成部１９が生成する。
【００３７】
また、センシングメタデータ生成部１９は、環境センシングデータを使用してコンテンツ再生時における利用者の周囲の環境を示すセンシングメタデータを生成する。例えば、温度、湿度、風量、気圧、天候（晴れ、曇り、雨、雪、嵐等）をＸＭＬフォーマットで記述したセンシングメタデータを生成する。また、コンテンツ再生時の視聴者が居る場所に関しては、例えば、緯度、経度情報をセンシングメタデータとしてセンシングメタデータ生成部１９が生成する。
【００３８】
センシングメタデータ生成部１９に対しては、再生制御部１２によって通常再生されるコンテンツを特定するためのコンテンツＩＤが供給される。コンテンツＩＤとしては、例えば、コンテンツのタイトルが使用される。そして、センシングメタデータ生成部１９から記録処理部２０に対して、センシングメタデータ、利用者ＩＤおよびコンテンツＩＤが供給される。
【００３９】
記録処理部２０は、供給されるセンシングメタデータ、利用者ＩＤおよびコンテンツＩＤを記録媒体２１に適するフォーマットへと変換し、変換したセンシングメタデータ等をコンテンツと関連付けて記録媒体２１に記録する処理を行う。記録処理部２０においては、記録媒体２１に応じた記録処理が行われる。ここで、記録媒体２１は、例えば、ＣＤ−Ｒ(Recordable)、ＣＤ−ＲＷ(Rewritable)、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の追記可能または書き換え可能な光ディスクや磁気テープである。また、半導体メモリや記録再生装置１に内蔵されるＨＤＤなどの記憶媒体でも良い。
【００４０】
再生処理部２３は、記録媒体２１に記録されているセンシングメタデータを再生する処理を行う。例えば、利用者によってなされた利用者ＩＤおよびコンテンツＩＤの入力指示に対応するセンシングメタデータを記録媒体２１から再生する処理を行う。再生処理部２３においては、記録媒体２１に応じて適切な再生処理が行われる。再生処理部２３における再生処理によって記録媒体２１からセンシングメタデータが再生され、再生されたセンシングメタデータが再生制御部１２に対して供給される。
【００４１】
次に、人体センサ２４および環境センサ２５について説明する。生体情報測定部の一例である人体センサ２４は、例えば、コンテンツの利用者の身体に取り付けられ、様々な人体センシングデータを測定することができる器具である。勿論、人体センシングデータを計時するだけでなく、時計機能等の他の機能が付加されても良い。この一実施の形態における人体センサ２４は、記録再生装置１と無線による通信が可能とされ、測定された人体センシングデータを記録再生装置１に対して送信することができる。
【００４２】
なお、人体センサ２４は、コンテンツの利用者の身体に取り付けられる器具に限られない。例えば、記録再生装置１に備えられ、利用者の表情を撮像する撮像装置や利用者の体表温度を測定する赤外線サーモグラフィ等も人体センサ２４に含まれる。
【００４３】
環境測定部の一例である環境センサ２５は、温度計、湿度計、風量計、気圧計、天候を判別するための撮像装置等からなり、利用者の身体に取り付けられても良く、記録再生装置１に取り付けられていても良い。また、環境センサ２５には、場所を示す環境センシングデータを検出するためのＧＰＳ(Global Positioning System)受信端末等も含まれる。したがって、環境センサ２５は、ＧＰＳを利用して利用者がコンテンツを視聴している場所を特定することができる。なお、利用者の携帯電話と基地局との間で行われる位置登録のための通信を受信することでコンテンツ再生時の場所を特定するようにしても良い。
【００４４】
次に、センシングメタデータ生成部１９において生成されたセンシングメタデータを記録媒体２１に記録する具体例について説明する。以下、説明する具体例では、コンテンツを、コンテンツ提供部１１から供給され、時間軸上で情報が変化する映像コンテンツとする。また、人体センサ２４は、腕時計の機能と心拍計の機能を有する腕時計型心拍計とされ、人体センシングメタデータの一例として利用者の心拍数を人体センサ２４が測定する。ここで心拍数は、１分間の拍動の数(BPM(Beat per Minute))を意味する。人体センサ２４において測定された心拍数は、人体センサ２４の利用者を示す利用者ＩＤと共に無線による通信によって記録再生装置１に対して送信される。
【００４５】
また、記録再生装置１において計時される時刻と、人体センサ２４において計時される時刻は一致するものとされる。例えば、記録再生装置１および人体センサ２４が標準時刻を示す電波を受信することで、記録再生装置１において計時される時刻と人体センサ２４において計時される時刻とが一致可能とされる。また、インターネットを介して配信される標準時刻を取得することでも記録再生装置１および人体センサ２４が計時する時刻を一致させることができる。
【００４６】
コンテンツ提供部１１から映像コンテンツが供給され、再生制御部１２において、供給されたコンテンツに対する通常再生処理が行われる。そして、映像信号処理部１３および音声信号処理部１５において、復号処理等が行われ、映像信号出力部１４に映像が再生され、音声信号出力部１６から音声が再生される。コンテンツの再生が行われるとともに、人体センサ２４では心拍数が測定される。
【００４７】
図２は、人体センサ２４において測定される利用者Ａの心拍数の一例を示す。人体センサ２４では、所定の時刻若しくは所定の周期をもって心拍数がサンプリングされる。また、心拍数が測定された時間情報が測定される。この例では、図２に示すように、例えば、２００６年２月３日２０時４７分１０秒において心拍数７２が測定される。他の心拍数も同様に、時間情報と関連付けられて測定される。
【００４８】
人体センサ２４から記録再生装置１に対して、利用者Ａを特定するための利用者ＩＤ、コンテンツの通常再生時に測定された利用者Ａの心拍数、各心拍数が測定された時間情報（以下、適宜、利用者ＩＤ等と総称する）が送信される。利用者ＩＤとしては、人体センサ２４に付加されているシリアル番号が使用されても良いし、利用者ＩＤが利用者Ａによって入力されても良い。利用者ＩＤ等が記録再生装置１において受信され、人体センシングデータ処理部１７に供給される。人体センシングデータ処理部１７においては、人体センサ２４から送信された利用者ＩＤ等が電気的な信号へと変換され、変換された利用者ＩＤ等が記録される。そして、記録された利用者ＩＤ等がセンシングメタデータ生成部１９に供給される。
【００４９】
一方、記録再生装置１は、記録再生装置１に内蔵されるクロック回路等によって現在時刻を計時することができる。また、再生制御部１２においては、通常再生している映像コンテンツの再生位置情報を取得できる。図３は、記録再生装置１において計時されている時間情報に対応する映像コンテンツの再生位置の例を示す。例えば、記録再生装置１において計時された２００６年２月３日２０時４７分１０秒では映像コンテンツの再生位置が００時１５分２０秒とされる。
【００５０】
センシングメタデータ生成部１９では、心拍数が測定された時間情報と当該時間情報に対応する再生位置を判別して、映像コンテンツの再生位置と測定された心拍数との対応付けがなされる。例えば、図２および図３を使用して説明したように、時間情報２００６年２月３日２０時４７分１０秒において、人体センサ２４では心拍数７２が測定され、映像コンテンツの再生位置が００時１５分２０秒である。したがって、図４に示すように、映像コンテンツの再生位置が００時１５分２０秒において心拍数が７２であることの対応付けがなされる。測定された他の心拍数も同様に、映像コンテンツの再生位置との対応付けがなされる。
【００５１】
次に、センシングメタデータ生成部１９は、パターン蓄積部２２に蓄積されている過去のパターンを参照して、心拍数の変化に対応する利用者の感情を抽出する。例えば、パターン蓄積部２２に蓄積されている過去のパターンの中から類似しているパターンを検索する。そして、検索されたパターンに対応する感情を、コンテンツ再生時の利用者の感情として抽出する。
【００５２】
一例を示せば、心拍数が７２から７５への変化に対応する映像コンテンツの再生位置００時１５分２０秒から００時１５分４０秒の区間は、心拍数がやや上昇していることからこの区間の映像コンテンツの再生時に利用者が興奮しているものとされる。また、心拍数が７５から７１への変化に対応する映像コンテンツの再生位置００時１５分４０秒から００時１６分００秒の区間は、心拍数が下降していることから、この区間の映像コンテンツの再生時に利用者が落ち着いてきたものとされる。また、心拍数８２と高くなったときの映像コンテンツの再生位置０１時２０分４０秒においては、利用者が驚いたものとされる。
【００５３】
続いて、センシングメタデータ生成部１９は、映像コンテンツの再生位置や再生区間と、それに対応する利用者の感情を示すセンシングメタデータを生成する。センシングメタデータ生成部１９において生成されたセンシングメタデータが記録処理部２０に対して供給される。また、通常再生されるコンテンツの利用者である利用者Ａを特定するための利用者ＩＤおよび通常再生される映像コンテンツを特定するコンテンツＩＤがセンシングメタデータ生成部１９から記録処理部２０に対して供給される。
【００５４】
記録処理部２０は、供給されたセンシングメタデータ、利用者ＩＤ、コンテンツＩＤを記録媒体２１に適合するフォーマットに変換する。そして、記録処理部２０における記録処理によって、適切なフォーマットへと変換されたセンシングメタデータ、利用者ＩＤ、コンテンツＩＤが記録媒体２１に記録される。
【００５５】
なお、上述した具体例では、心拍数を例とする人体センシングデータを使用してセンシングメタデータを生成する例を説明したが、環境センシングデータを使用してセンシングメタデータを生成することもできる。温度、湿度、風量、天候、場所等を示す環境センシングデータの場合は、必ずしも時系列に測定されていなくても良い。
【００５６】
また、時間軸上で情報が変化しない写真などのコンテンツと環境センシングデータから生成されたメタデータとが記録媒体２１に記録されるようにしても良い。この場合におけるセンシングメタデータを記録する処理においては、必ずしも時間情報は必要とされない。
【００５７】
図５は、この発明の一実施の形態におけるセンシングメタデータを記録する処理の流れを示すフローチャートである。なお、図５を使用して説明する処理においては、コンテンツを音声コンテンツとして説明する。
【００５８】
ステップＳ１においては、コンテンツを再生する処理が行われる。すなわち、コンテンツ提供部１１から供給された音声コンテンツに対して、再生処理部１２において通常再生処理が行われる。再生処理が行われた音声コンテンツに対して音声信号処理部１５において復号処理等が行われ、音声信号出力部１６から音声コンテンツが利用者に対して再生される。コンテンツ再生処理が行われると、処理がステップＳ２に進む。
【００５９】
ステップＳ２においては、センシング処理が開始される。すなわち、人体センサ２４および環境センサ２５の少なくとも一方を使用して、コンテンツの再生時における利用者の人体センシングデータおよびコンテンツ再生時における環境センシングデータの少なくとも一方が測定される。測定された人体センシングデータが人体センシングデータ処理部１７に供給される。測定された環境センシングデータが環境センシングデータ処理部１８に供給される。人体センシングデータ処理部１７、環境センシングデータ処理部１８において処理が行われた人体センシングデータおよび環境センシングデータの少なくとも一方がセンシングメタデータ生成部１９に対して供給される。
【００６０】
なお、このステップＳ２において行われるセンシング処理を開始するタイミングは、好ましくはコンテンツの再生開始時であるが、コンテンツの再生途中からでも良い。センシング処理が開始されると、処理がステップＳ３に進む。
【００６１】
ステップＳ３では、センシングメタデータ生成部１９においてセンシングメタデータを生成する処理が行われる。センシングメタデータ生成部１９は、人体センシングデータ処理部１７から供給される人体センシングデータおよび環境センシングデータ処理部１８から供給される環境センシングメタデータの少なくとも一方を使用して、センシングメタデータを生成する。センシングメタデータが生成されると、処理がステップＳ４に進む。
【００６２】
ステップＳ４においては、生成されたセンシングメタデータを記録する処理が行われる。ステップＳ３において生成されたセンシングメタデータが記録処理部２０に対して供給される。また、通常再生されるコンテンツの利用者を特定するための利用者ＩＤ、通常再生されるコンテンツを特定するためのコンテンツＩＤが記録処理部２０に対して供給される。記録処理部２０において、センシングメタデータ、利用者ＩＤ、コンテンツＩＤが記録媒体２１に応じたフォーマットへと変換される。変換されたセンシングメタデータ、利用者ＩＤ、コンテンツＩＤが記録媒体２１に記録される。
【００６３】
次に、センシングメタデータ等が記録された記録媒体２１を再生する処理について説明する。図６は、この発明の一実施の形態における再生処理の流れを示すフローチャートである。
【００６４】
ステップＳ１１においては、センシングメタデータ取得処理が行われる。例えば、利用者によって利用者ＩＤおよびコンテンツＩＤが入力され、入力された利用者ＩＤおよびコンテンツＩＤが再生処理部２３に対して指示される。再生処理部２３は、指示された利用者ＩＤおよびコンテンツＩＤに対応するセンシングメタデータを記録媒体２１から再生する。再生されたセンシングメタデータが再生制御部１２に対して供給される。次に、処理がステップＳ１２に進む。
【００６５】
ステップＳ１２においては、コンテンツ取得処理が行われる。利用者によって入力されたコンテンツＩＤがコンテンツ提供部１１に対して指示される。コンテンツ提供部１１は、指示されたコンテンツＩＤに対応するコンテンツを再生制御部１２に対して供給する。例えば、コンテンツ配信サーバにアクセスし、コンテンツＩＤにより特定されるコンテンツをダウンロードする。ダウンロードされたコンテンツが再生制御部１２に対して供給される。なお、コンテンツＩＤによって特定されるコンテンツをコンテンツ提供部１１が提供できない場合は、例えば、映像信号出力部１４にエラーメッセージが表示されたり、音声信号出力部１６から警告音が放音される。次に、処理がステップＳ１３に進む。
【００６６】
ステップＳ１３においては、コンテンツ再生処理が行われる。ステップＳ１３において再生制御部１２は、通常再生時とは異なる再生処理、すなわち、再生処理部２３から供給されるセンシングメタデータに応じた再生態様でもって、コンテンツ提供部１１から供給されるコンテンツを再生する処理を行う。以下、センシングメタデータに応じた再生態様でもってコンテンツを再生する再生例について説明する。
【００６７】
例えば、コンテンツが映像コンテンツの場合は、センシングメタデータに記述されている再生位置や再生区間における利用者の感情に応じて、輝度レベル、コントラスト、色合いを再生制御部１２が変更する。また、コンテンツが音声コンテンツの場合は、センシングメタデータに記述されている音声コンテンツのある区間における利用者の感情に応じて、周波数特性や音量レベルを再生制御部１２が変更したり、エフェクトをかけたりする。また、興奮していたと判別される再生位置に対応するシーンをダイジェスト再生することもでき、利用者の感情の抑揚あるシーンを強調するように再生することもできる。
【００６８】
再生制御部１２において処理が行われた映像コンテンツが映像信号処理部１３に供給され、音声コンテンツが音声信号処理部１５に供給される。映像信号処理部１３、音声信号処理部１５において復号処理等が行われ、センシングメタデータに応じた再生態様でもって映像コンテンツが映像信号出力部１４から、音声コンテンツが音声信号出力部１６から再生される。
【００６９】
また、環境センシングメタデータが使用されてセンシングメタデータが生成された場合は、再生制御部１２は、センシングメタデータによって指示される周囲の環境を利用者が認識可能にコンテンツを再生する。
【００７０】
例えば、コンテンツが映像コンテンツの場合は、再生制御部１２において、センシングメタデータから得られる気温、湿度、場所等を示すデータが映像コンテンツと重畳される。そして、データが重畳された映像コンテンツに対して映像信号処理部１３において復号処理等の処理が行われる。復号処理等が行われた映像コンテンツが映像信号出力部１４に再生される。このとき、映像信号出力部１４には、過去の同一の映像コンテンツ再生時の気温、湿度、場所等を示す文字情報が映像コンテンツと共に再生される。これにより、映像コンテンツの利用者は、過去の映像コンテンツ再生時における周囲の環境を認識できる。
【００７１】
また、コンテンツが音声コンテンツの場合は、再生制御部１２において、例えば、以下の処理が行われる。センシングメタデータによって、過去の音声コンテンツ再生時の天候が雨や強風と指示されるときは、音声コンテンツに対して雨や風の音のデータを再生制御部１２が重畳する。雨や風の音のデータが重畳された音声コンテンツが再生制御部１２から音声信号処理部１５に対して供給される。そして、音声信号処理部１５において音声コンテンツに対して復号処理等が行われ、処理が行われた音声コンテンツが音声信号出力部１６から再生される。このとき、利用者は、音声コンテンツと共に、音声コンテンツに重畳された雨や風の音を聞くことで、過去の音声コンテンツ再生時における利用者の周囲の環境を認識できる。過去の音声コンテンツ再生時における利用者の周囲の環境を認識することで、音声コンテンツと関連して記憶されている利用者の思い出を想起しうる。
【００７２】
なお、雨や風の音のデータは、例えば、再生制御部１２がコンテンツ提供部１１を制御して、ネットワークを介して雨や風の音のデータをダウンロードしても良い。ダウンロードされた雨や風の音のデータがコンテンツ提供部１１から再生制御部１２に供給されて、再生制御部１２において、雨や風の音のデータが音声コンテンツと重畳される。
【００７３】
また、記録媒体２１に過去の音声コンテンツの再生時における利用者が居た場所を示すセンシングメタデータが記録されている場合は、以下のようにして音声コンテンツを再生することもできる。コンテンツ提供部１１または記録媒体２１から提供される音声コンテンツは、再生制御部１２、音声信号処理部１５において所定の処理が行われて、音声信号出力部１６から再生される。
【００７４】
また、音声コンテンツ再生時における利用者が居た場所を示すセンシングメタデータが再生処理部２３における再生処理により得られ、得られたセンシングデータが再生制御部１２に供給される。再生制御部１２は、コンテンツ提供部１１を制御して、センシングメタデータが示す利用者が居た場所の周囲の風景、例えば、山、川、森、海岸などの写真のデータを取得する。例えば、写真を配信するサーバにアクセスして、当該サーバから様々な風景の写真のデータを取得することができる。取得された写真のデータがコンテンツ提供部１１から再生制御部１２に対して供給される。
【００７５】
再生制御部１２に供給された写真のデータが映像信号処理部１３に供給され、映像信号処理部１３において復号処理等が行われる。処理が行われた写真のデータが映像信号出力部１４に供給され、映像信号出力部１４には、山、川、森、海岸などの風景が再生される。音声コンテンツの利用者は、映像信号出力部１４に再生される風景を見ながら音声コンテンツを聴くことで、過去の音声コンテンツの再生時の周囲の風景を認識できる。したがって、音声コンテンツと関連して記憶されている利用者の思い出を想起しうる。
【００７６】
このように、センシングメタデータに応じた再生態様でもってコンテンツを再生することで、利用者は、過去のコンテンツ再生時における利用者の感情の変化を認識できる。また、過去のコンテンツ再生時における利用者の周囲の環境を再現できる。したがって、コンテンツと共に記憶されている思い出を想起できる。
【００７７】
なお、図５および図６を使用して説明した処理は、センシングメタデータを記録し、記録されたセンシングメタデータに応じた再生態様でもってコンテンツを再生する記録再生方法として構成することも可能である。
【００７８】
以上、この発明の一実施の形態について具体的に説明したが、この発明は、上述した一実施の形態に限定されるものではなく、この発明の技術的思想に基づく各種の変形が可能である。
【００７９】
上述した一実施の形態においては、記録再生装置として説明したが、コンテンツの通常再生時に生成されたセンシングメタデータを記録する記録装置として構成することもできる。また、記録媒体に記録されたセンシングメタデータに応じた再生態様でもってコンテンツを再生する再生装置として構成することもできる。
【００８０】
再生制御部１２において行われるコンテンツを通常再生する処理と、センシングメタデータに応じた再生態様でもってコンテンツを再生する処理とが、利用者によって切換可能とされても良い。
【００８１】
また、コンテンツ提供部１１が追記可能または書き換え可能な光ディスクや半導体メモリである場合は、生成されたセンシングメタデータをコンテンツ提供部１１に記録することもできる。
【００８２】
また、この発明における装置を構成する各手段を、専用のハードウェア回路によって構成できるし、ソフトウェア若しくはプログラムされたコンピュータによって実現することもできる。また、処理内容を記述したプログラムは、磁気記録装置、光ディスク、光磁気ディスク、半導体メモリ等のコンピュータが読み取り可能な記録媒体に記録しておくことができる。
【図面の簡単な説明】
【００８３】
【図１】この発明の一実施の形態における記録再生装置の構成を示すブロック図である。
【図２】この発明の一実施の形態における人体センサにおいて測定される心拍数を示す略線図である。
【図３】この発明の一実施の形態における記録再生装置において計時される時刻とコンテンツの再生位置の対応例を示す略線図である。
【図４】コンテンツの再生位置と対応付けされた心拍数を示す略線図である。
【図５】この発明の一実施の形態におけるセンシングメタデータを記録する処理の流れを示すフローチャートである。
【図６】この発明の一実施の形態におけるセンシングメタデータに応じてコンテンツを再生する処理の流れを示すフローチャートである。
【符号の説明】
【００８４】
１ 記録再生装置
１１ コンテンツ提供部
１２ 再生制御部
１９ センシングメタデータ生成部
２０ 記録処理部
２１ 記録媒体
２３ 再生処理部
２４ 人体センサ
２５ 環境センサ
【特許請求の範囲】
【請求項１】
コンテンツを提供するコンテンツ提供部と、
上記コンテンツの再生時における利用者の生体情報を測定する生体情報測定部および上記コンテンツの再生時における利用者の周囲の環境を測定する環境測定部の少なくとも一方と、
上記生体情報測定部および上記環境測定部の少なくとも一方によって検出される情報を使用してセンシングメタデータを生成するセンシングメタデータ生成部と、
上記生成されるセンシングメタデータを上記コンテンツと関連付けて記録媒体に記録する記録処理部と
を備える記録装置。
【請求項２】
上記コンテンツは、時間軸上で情報が変化する請求項１に記載の記録装置。
【請求項３】
上記環境測定部は、上記利用者の周囲の温度、湿度、風量、気圧、天候および場所の少なくとも一つを測定する請求項１に記載の記録装置。
【請求項４】
提供されたコンテンツを再生する再生装置であって、
コンテンツの再生時における利用者の生体情報を測定する生体情報測定部および上記コンテンツの再生時における利用者の周囲の環境を測定する環境測定部の少なくとも一方によって検出された情報を使用して生成されたセンシングメタデータが記録された記録媒体を再生する再生処理部と、
上記センシングメタデータに応じた再生態様でもってコンテンツを再生する再生制御部と
を備える再生装置。
【請求項５】
上記再生制御部は、上記センシングメタデータによって指示される上記周囲の環境を上記コンテンツの利用者が認識可能なようにコンテンツを再生する請求項４に記載の再生装置。
【請求項６】
コンテンツを提供するコンテンツ提供部と、
上記コンテンツの再生時における利用者の生体情報を測定する生体情報測定部および上記コンテンツの再生時における利用者の周囲の環境を測定する環境測定部の少なくとも一方と、
上記生体情報測定部および上記環境測定部の少なくとも一方によって検出される情報を使用してセンシングメタデータを生成するセンシングメタデータ生成部と、
上記生成されるセンシングメタデータを上記コンテンツと関連付けて記録媒体に記録する記録処理部と、
上記センシングメタデータが記録された記録媒体を再生する再生処理部と、
上記センシングメタデータに応じた再生態様でもってコンテンツを再生する再生制御部と
を記録再生装置。
【請求項７】
上記再生制御部は、上記センシングメタデータによって指示される上記周囲の環境を上記コンテンツの利用者が認識可能なようにコンテンツを再生する請求項６に記載の記録再生装置。
【請求項８】
コンテンツを提供するコンテンツ提供ステップと、
上記コンテンツの再生時において測定された利用者の生体情報および上記コンテンツの再生時において測定された利用者の周囲の環境の少なくとも一方の情報を使用してセンシングメタデータを生成するセンシングメタデータ生成ステップと、
上記センシングメタデータを上記コンテンツと関連付けて記録媒体に記録するセンシングメタデータ記録ステップと
からなる記録方法。
【請求項９】
提供されたコンテンツを再生する再生方法であって、
コンテンツの再生時において測定された利用者の生体情報および上記コンテンツの再生時において測定された利用者の周囲の環境の少なくとも一方の情報を使用して生成されたセンシングメタデータが記録された記録媒体を再生する記録媒体再生ステップと、
上記センシングメタデータに応じた再生態様でもってコンテンツを再生するコンテンツ再生ステップと
からなる再生方法。
【請求項１０】
コンテンツを提供するコンテンツ提供ステップと、
上記コンテンツの再生時において測定された利用者の生体情報および上記コンテンツの再生時において測定された利用者の周囲の環境の少なくとも一方の情報を使用してセンシングメタデータを生成するセンシングメタデータ生成ステップと、
上記センシングメタデータを上記コンテンツと関連付けて記録媒体に記録するセンシングメタデータ記録ステップと、
上記センシングメタデータが記録された記録媒体を再生する記録媒体再生ステップと、
上記センシングメタデータに応じた再生態様でもってコンテンツを再生するコンテンツ再生ステップと
からなる記録再生方法。
【請求項１１】
コンテンツの再生時において測定された利用者の生体情報および上記コンテンツの再生時において測定された利用者の周囲の環境の少なくとも一方の情報を使用して生成されたセンシングメタデータが上記コンテンツと関連付けられて記録された記録媒体。
【請求項１】
コンテンツを提供するコンテンツ提供部と、
上記コンテンツの再生時における利用者の生体情報を測定する生体情報測定部および上記コンテンツの再生時における利用者の周囲の環境を測定する環境測定部の少なくとも一方と、
上記生体情報測定部および上記環境測定部の少なくとも一方によって検出される情報を使用してセンシングメタデータを生成するセンシングメタデータ生成部と、
上記生成されるセンシングメタデータを上記コンテンツと関連付けて記録媒体に記録する記録処理部と
を備える記録装置。
【請求項２】
上記コンテンツは、時間軸上で情報が変化する請求項１に記載の記録装置。
【請求項３】
上記環境測定部は、上記利用者の周囲の温度、湿度、風量、気圧、天候および場所の少なくとも一つを測定する請求項１に記載の記録装置。
【請求項４】
提供されたコンテンツを再生する再生装置であって、
コンテンツの再生時における利用者の生体情報を測定する生体情報測定部および上記コンテンツの再生時における利用者の周囲の環境を測定する環境測定部の少なくとも一方によって検出された情報を使用して生成されたセンシングメタデータが記録された記録媒体を再生する再生処理部と、
上記センシングメタデータに応じた再生態様でもってコンテンツを再生する再生制御部と
を備える再生装置。
【請求項５】
上記再生制御部は、上記センシングメタデータによって指示される上記周囲の環境を上記コンテンツの利用者が認識可能なようにコンテンツを再生する請求項４に記載の再生装置。
【請求項６】
コンテンツを提供するコンテンツ提供部と、
上記コンテンツの再生時における利用者の生体情報を測定する生体情報測定部および上記コンテンツの再生時における利用者の周囲の環境を測定する環境測定部の少なくとも一方と、
上記生体情報測定部および上記環境測定部の少なくとも一方によって検出される情報を使用してセンシングメタデータを生成するセンシングメタデータ生成部と、
上記生成されるセンシングメタデータを上記コンテンツと関連付けて記録媒体に記録する記録処理部と、
上記センシングメタデータが記録された記録媒体を再生する再生処理部と、
上記センシングメタデータに応じた再生態様でもってコンテンツを再生する再生制御部と
を記録再生装置。
【請求項７】
上記再生制御部は、上記センシングメタデータによって指示される上記周囲の環境を上記コンテンツの利用者が認識可能なようにコンテンツを再生する請求項６に記載の記録再生装置。
【請求項８】
コンテンツを提供するコンテンツ提供ステップと、
上記コンテンツの再生時において測定された利用者の生体情報および上記コンテンツの再生時において測定された利用者の周囲の環境の少なくとも一方の情報を使用してセンシングメタデータを生成するセンシングメタデータ生成ステップと、
上記センシングメタデータを上記コンテンツと関連付けて記録媒体に記録するセンシングメタデータ記録ステップと
からなる記録方法。
【請求項９】
提供されたコンテンツを再生する再生方法であって、
コンテンツの再生時において測定された利用者の生体情報および上記コンテンツの再生時において測定された利用者の周囲の環境の少なくとも一方の情報を使用して生成されたセンシングメタデータが記録された記録媒体を再生する記録媒体再生ステップと、
上記センシングメタデータに応じた再生態様でもってコンテンツを再生するコンテンツ再生ステップと
からなる再生方法。
【請求項１０】
コンテンツを提供するコンテンツ提供ステップと、
上記コンテンツの再生時において測定された利用者の生体情報および上記コンテンツの再生時において測定された利用者の周囲の環境の少なくとも一方の情報を使用してセンシングメタデータを生成するセンシングメタデータ生成ステップと、
上記センシングメタデータを上記コンテンツと関連付けて記録媒体に記録するセンシングメタデータ記録ステップと、
上記センシングメタデータが記録された記録媒体を再生する記録媒体再生ステップと、
上記センシングメタデータに応じた再生態様でもってコンテンツを再生するコンテンツ再生ステップと
からなる記録再生方法。
【請求項１１】
コンテンツの再生時において測定された利用者の生体情報および上記コンテンツの再生時において測定された利用者の周囲の環境の少なくとも一方の情報を使用して生成されたセンシングメタデータが上記コンテンツと関連付けられて記録された記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００７−２８０４８５（Ｐ２００７−２８０４８５Ａ）
【公開日】平成１９年１０月２５日（２００７．１０．２５）
【国際特許分類】
【出願番号】特願２００６−１０４２６３（Ｐ２００６−１０４２６３）
【出願日】平成１８年４月５日（２００６．４．５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１９年１０月２５日（２００７．１０．２５）
【国際特許分類】
【出願日】平成１８年４月５日（２００６．４．５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]