コンテンツ再生方法およびコンテンツ再生装置
【課題】ユーザの体の動きをコンテンツの再生に反映させることによって、コンテンツ再生自体についての娯楽性や高揚感を促進することができるようにする。
【解決手段】歩行中のユーザの足の踏み込みタイミングや、ユーザの体の揺れまたは振りの折り返しタイミングなどを検出し、そのタイミングに、楽曲の拍または小節のタイミングや、動画像のシーンチェンジまたはカットチェンジのタイミングなどを合わせるように、楽曲や動画像などのコンテンツを再生する。
【解決手段】歩行中のユーザの足の踏み込みタイミングや、ユーザの体の揺れまたは振りの折り返しタイミングなどを検出し、そのタイミングに、楽曲の拍または小節のタイミングや、動画像のシーンチェンジまたはカットチェンジのタイミングなどを合わせるように、楽曲や動画像などのコンテンツを再生する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音楽や映像などのコンテンツを再生する方法および装置に関する。
【背景技術】
【０００２】
ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）プレーヤ、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）プレーヤ、ＭＤ（Ｍｉｎｉ Ｄｉｓｃ：登録商標）プレーヤなどで音楽を再生する場合、決められた音楽を高音質に再生することが重要視されている。ＡＴＲＡＣ（Ａｄａｐｔｉｖｅ Ｔｒａｎｓｆｏｒｍ Ａｃｏｕｓｔｉｃ Ｃｏｄｉｎｇ：登録商標）やＭＰ３（ＭＰＥＧ−１ Ａｕｄｉｏ Ｌａｙｅｒ−３）などによって圧縮された音楽を再生する場合も同じで、最終的には時系列の信号波形に変換されてユーザが楽しむことに変わりがない。
【０００３】
これに対して、音楽などのコンテンツを、その場の状況に応じてリアルタイムに変化させる装置が考えられている。その場の状況に応じて、音楽のテンポやピッチを変更し、短いフレーズの音楽素材をつなぎ合わせて連続的な一つの音楽を奏でる、などである。これは、ＤＪ（Ｄｉｓｋ Ｊｏｃｋｅｙ）やＶＪ（Ｖｉｄｅｏ Ｊｏｃｋｅｙ）が既存の音楽を組み合わせながら即興で新しい音楽を創り出す役割を装置が担うものである。
【０００４】
また、コンサート会場やディスコ会場などで観客が音楽に乗ってきているときには、観客は足を踏み鳴らし、頭を前後に振り、飛び上がったりする。人が音楽に合わせて体を揺らすことも、よく見られる。また、単に行進曲に合わせて歩くだけでも、気持ちがよく、気分が高揚するものである。これは、足の踏み込みや頭の動きなど、自分の体のリズムをコンテンツのリズムに同期させることによって、内部的な同調感や気持ちの良さを高めることができることを示している。
【０００５】
また、特許文献１（特開２０００−３００８３８号公報）には、音楽に合わせてステップを踏んで得点を競う、「ダンス・ダンス・レボリューション」（商品名）などのステップゲーム（音楽指向ゲーム）で、遊技者の趣向に合わせたプレイ環境を提供することが示されている。
【０００６】
さらに、特許文献２（特開２００２−６５８９１号公報）には、上記のステップゲームをリハビリテーションに利用し、利用者（患者）の心拍数を検出して、検出された心拍数が基準の心拍数を超えた場合には警報を出力することが示されている。
【０００７】
上に挙げた先行技術文献は、以下のとおりである。
【特許文献１】特開２０００−３００８３８号公報
【特許文献２】特開２００２−６５８９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、上述した従来のコンテンツ再生方法は、再生される音楽に合わせてステップを踏むなど、人が再生されるコンテンツに合わせて行動するものであって、コンテンツの再生が人の体の動きに反応するものではなく、コンテンツ再生自体についての娯楽性や高揚感は、コンテンツ自体に依存し、必ずしも十分ではない。
【０００９】
そこで、この発明は、ユーザの体の動きをコンテンツの再生に反映させることによって、コンテンツ再生自体についての娯楽性や高揚感を促進することができるようにしたものである。
【課題を解決するための手段】
【００１０】
この発明のコンテンツ再生方法は、ユーザの体動を検出し、その体動の特徴点、周期またはリズムにコンテンツのタイミングを合わせるようにコンテンツを再生するものである。
【００１１】
上記のコンテンツ再生方法では、歩行中のユーザの足の踏み込みタイミングや、ユーザの体の揺れまたは振りの折り返しタイミングなどに、再生される楽曲の拍または小節のタイミングが合わせられ、再生される動画像のシーンチェンジまたはカットチェンジのタイミングが合わせられるなど、再生されるコンテンツのタイミングが合わせられるので、コンテンツを鑑賞または感知しながら体を動かすユーザの気持ちの良さが増進し、コンテンツ再生自体についての娯楽性や高揚感が促進する。
【発明の効果】
【００１２】
以上のように、この発明によれば、ユーザの体の動きをコンテンツの再生に反映させることによって、コンテンツ再生自体についての娯楽性や高揚感を促進することができる。
【発明を実施するための最良の形態】
【００１３】
［１．コンテンツ再生装置の実施形態：図１〜図３］
図１は、この発明のコンテンツ再生装置の一例を示し、ポータブル型の音楽映像再生装置や携帯電話端末などとして構成されるものである。
【００１４】
この例のコンテンツ再生装置１０は、ＣＰＵ１１を備え、そのバス１２に、各種のプログラムやデータが書き込まれたＲＯＭ１３、およびプログラムやデータが展開されるＲＡＭ１４が接続される。
【００１５】
また、バス１２には、インターフェース１６を介して、ハードディスクなどの内蔵固定の記録装置部１５が接続され、インターフェース１８を介して、ＣＤやＤＶＤなどのリムーバブルの記録メディア１７が接続され、ＲＦ送受信回路などのＲＦインターフェース２１を介して、送受信アンテナ２２が接続されるとともに、インターネット２４に接続するための外部インターフェース２３が接続される。
【００１６】
記録装置部１５および記録メディア１７は、音楽や映像などのコンテンツおよび後述のコンテンツ素材が記録再生されるものであり、ＲＦインターフェース２１および送受信アンテナ２２は、無線によって、外部からコンテンツまたはコンテンツ素材を受信し、または外部にコンテンツまたはコンテンツ素材を送信するものであり、外部インターフェース２３は、インターネット２４を介して、外部からコンテンツまたはコンテンツ素材を受信し、または外部にコンテンツまたはコンテンツ素材を送信するものである。
【００１７】
また、バス１２には、映像処理部３１を介して、液晶表示装置などからなる映像表示装置３２が接続されるとともに、音声処理部３３を介して、スピーカやヘッドフォンなどからなる音声出力装置３４が接続される。映像表示装置３２の表示画面には、コンテンツとしての映像や設定用または操作用などの画面が表示され、音声出力装置３４からは、コンテンツとしての音楽や音声アナウンスなどの音声が出力される。
【００１８】
また、バス１２には、各種キーからなる操作部４１が、インターフェース４２を介して接続されるとともに、音声入力用のマイクロフォン４３が、音声処理部４４を介して接続される。
【００１９】
さらに、バス１２には、体動センサ５１が、Ａ／Ｄコンバータ５２を介して接続され、ユーザ１の後述のような体動（体の動き）が、体動センサ５１によって検出され、その体動検出信号が、Ａ／Ｄコンバータ５２によってアナログ信号からデジタルデータに変換されて、バス１２に取り込まれる。
【００２０】
この発明におけるコンテンツは、音楽、音楽以外の音声、動画像、静止画像（グラフィックス、図形、文字を含む）、振動、照明光などの光など、人が鑑賞または感知し得るものを全て含むが、図１の例では音楽または映像である。
【００２１】
図１の例のコンテンツ再生装置１０によるコンテンツ再生方法では、例えば、ユーザ１が歩行中に音楽を聴く場合について示すと、図２に示すように、体動センサ５１として歩行中のユーザ１が履いている靴やユーザ１の足に取り付けられた歩行センサによって、走行中のユーザ１の足の踏み込み（接地）タイミングが検出され、後述のように楽曲の拍（ｂｅａｔ）または小節（ｍｅａｓｕｒｅ，ｂａｒ）のタイミングをユーザ１の足の踏み込みタイミングに合わせるように、音楽が再生される。
【００２２】
図３に、図１の例のコンテンツ再生装置１０の機能構成を示す。体動検出部６１は、体動センサ５１およびＡ／Ｄコンバータ５２によって構成され、ユーザの体動、例えば、走行中の足の動きや、音楽を聴いているときの頭の動きを検出する。
【００２３】
体動分析部６２は、ＣＰＵ１１、ＲＯＭ１３およびＲＡＭ１４によって構成され、体動検出部６１からバス１２に取り込んだ体動検出データを分析することによって、ユーザの体動の特徴点、周期またはリズム（テンポ）を検出する。
【００２４】
体動の特徴点は、体動の開始点（体を静止させている状態から動かし始める点）、終了点（体を動かしている状態から静止させる点）、極大点、極小点、最大ピーク点、または最小ピーク点のタイミングであり、具体的には、上記のような歩行中の足の踏み込みタイミングや、体を揺すっているときの揺れや振っているときの振りの折り返しタイミングなどである。
【００２５】
この場合、体動の検出には、直前の幾つかの踏み込みタイミングや折り返しタイミングから次の踏み込みタイミングや折り返しタイミングを予測するように、直前の体動の検出結果から次の体動を予測することを含む。
【００２６】
コンテンツ生成部６３は、ＣＰＵ１１、ＲＯＭ１３、ＲＡＭ１４、および映像処理部３１または音声処理部３３によって構成され、上記の体動検出結果に基づいて、コンテンツ素材読み出し部６４によって、コンテンツ素材データベース６５からコンテンツ素材およびこれに付随するタイミング情報を読み出して、リアルタイムにコンテンツを生成する。
【００２７】
コンテンツ素材読み出し部６４は、ＣＰＵ１１、ＲＯＭ１３、ＲＡＭ１４、インターフェース１６，１８、ＲＦインターフェース２１、外部インターフェース２３などによって構成され、コンテンツ素材データベース６５は、コンテンツ素材データおよびタイミング情報が記録された記録装置部１５や記録メディア１７、またはコンテンツ素材データおよびタイミング情報の送信元のサーバに設けられたデータベースである。
【００２８】
コンテンツ出力部６６は、コンテンツ生成部６３によって生成されたコンテンツを出力するもので、映像表示装置３２や音声出力装置３４によって構成される。
【００２９】
コンテンツ素材は、最終的なコンテンツを生成するための素材であって、通常のコンテンツ（ＣＤやＤＶＤに記録された楽曲データや映像データ、またはＭＰ３によって圧縮された楽曲データなど）そのものでもよいが、小節単位（数小節）の短い楽曲や、シーン単位またはカット単位の短い映像などであれば、より好適である。
【００３０】
これらのコンテンツ素材は、それぞれのコンテンツ素材データに、拍タイミングやシーンチェンジタイミングなどのタイミングを示すタイミング情報がメタ情報として付加されて、記録または送信される。ただし、コンテンツ素材の読み出しと同時にタイミング情報が生成されるようにしてもよい。
【００３１】
コンテンツ素材が小節単位の短い楽曲やシーン単位またはカット単位の短い映像などである場合には、それらコンテンツ素材を、時間的な前後関係を決めて、つなぎ合わせ、必要に応じてコンテンツ素材の再生時間長を伸縮することによって、最終的な一つのコンテンツをリアルタイムに生成する。
【００３２】
［２．コンテンツ再生方法の実施形態：図４〜図８］
この発明のコンテンツ再生方法では、上記のタイミング情報をもとに、ユーザの体動の特徴点、周期またはリズムに、コンテンツのタイミングを合わせるように、コンテンツを再生する。
【００３３】
上述したように、体動の特徴点は、体動の開始点、終了点、極大点、極小点、最大ピーク点、または最小ピーク点であり、具体的には、走行中の足の踏み込みタイミングや、体の揺れまたは振りの折り返しタイミングなどである。
【００３４】
（２−１．音楽コンテンツの場合：図４〜図８）
音楽コンテンツの場合、コンテンツ再生にあたっては、例えば、図４に示すように、４つのコンテンツ素材Ａ，Ｂ，Ｃ，Ｄとして、それぞれ１小節分の楽曲を用い、これらコンテンツ素材Ａ，Ｂ，Ｃ，Ｄをつなぎ合わせて、一つの音楽コンテンツを生成する。
【００３５】
コンテンツ素材Ａ〜Ｄからなるフレーズは、ＭＩＤＩでもＰＣＭ（パルス幅変調）データでもよいが、ＭＩＤＩであれば、そのまま拍タイミング情報が得られるとともに、後述のコンテンツ生成にあたっての伸縮の計算量が少なくて済む。ＰＣＭデータである場合には、コンテンツ素材Ａ〜Ｄは純粋な音の波形であり、それとは別にあらかじめ拍タイミング情報が生成され、コンテンツ素材Ａ〜Ｄとともに記録または送信される。
【００３６】
ただし、拍タイミング情報は、コンテンツ素材の再生直前にコンテンツ素材の波形から計算して求めることもできる。その計算方法としては、参考文献１（ＰＤＦファイルとして、Ｍａｓａｔａｋａ Ｇｏｔｏ：Ａｎ Ａｕｄｉｏ−ｂａｓｅｄ Ｒｅａｌ−ｔｉｍｅ Ｂｅａｔ Ｔｒａｃｋｉｎｇ Ｓｙｓｔｅｍ ｆｏｒ Ｍｕｓｉｃ Ｗｉｔｈ ｏｒ Ｗｉｔｈｏｕｔ Ｄｒｕｍ−ｓｏｕｎｄｓ，Ｊｏｕｒｎａｌ ｏｆ Ｎｅｗ Ｍｕｓｉｃ Ｒｅｓｅａｒｃｈ，Ｖｏｌ．３０，Ｎｏ．２，ｐｐ．１５９−１７１，Ｊｕｎｅ２００１）または参考文献２（書籍として、後藤真孝：拍節認識（ビートトラッキング），ｂｉｔ別冊，コンピュータと音楽の世界…基礎からフロンティアまで…，ｐｐ．１００−１１６，共立出版，Ａｕｇｕｓｔ１９９８）に記載の方法を用いることができる。
【００３７】
以下に、図４に示すようなコンテンツ素材Ａ，Ｂ，Ｃ，Ｄをつなぎ合わせて一つの音楽コンテンツを生成する場合の例を示す。コンテンツ素材Ａ，Ｂ，Ｃ，Ｄは、全て１小節分で、同じ間間Ｔｍの長さを持つものとする。
【００３８】
＜第１の例：図５および図６＞
図５に、歩行テンポにコンテンツのタイミングを合わせる方法の第１の例を示す。この例は、歩行テンポが一定の場合に適した方法で、コンテンツ素材を伸縮して各コンテンツ素材の開始タイミングを踏み込みタイミングに合わせるものである。
【００３９】
具体的に、図４の例では各小節Ａ〜Ｄの先頭に拍があるので、４歩ごとに各小節Ａ〜Ｄの先頭を踏み込みタイミングに合わせる。小節を合わせる歩数は４歩でなくてもよいが、例えば、多くのマーチ（行進曲）は、テンポが１２０すなわち、１拍＝１歩＝０．５秒に対応し、４歩（４拍）で１小節になる。そのため、小節を合わせる歩数を４歩とすることによって、コンテンツ素材を大きく伸縮しなくても、各小節Ａ〜Ｄの先頭を踏み込みタイミングに合わせることができる。
【００４０】
この例では、時点ｔ０でユーザがコンテンツ再生開始を指示することによって、まず、１番目の小節Ａを、そのまま、すなわち時間Ｔｍの長さで再生する。
【００４１】
次に、コンテンツ再生開始時点ｔ０の後に最初に検出された踏み込みを１歩目として５歩目の踏み込みが検出されたら、１歩目から５歩目までの４歩分の時間Ｔ１を計算する。
【００４２】
次に、１番目の小節Ａの再生終了時点ｔａと５歩目の踏み込みが検出された時点との間の時間Ｄ１を計算して、時間Ｔ１と時間Ｄ１との差分（Ｔ１−Ｄ１）を求め、その差分（Ｔ１−Ｄ１）を２番目の小節Ｂの再生時間長とするように、小節Ｂを（Ｔ１−Ｄ１）／Ｔｍ倍に伸縮して再生する。
【００４３】
図５は、５歩目の踏み込みが検出された時点の後に１番目の小節Ａの再生が終了し、Ｄ１＞０で、差分（Ｔ１−Ｄ１）が時間Ｔ１および時間Ｔｍより短く、（Ｔ１−Ｄ１）／Ｔｍ＜１で、小節Ｂが圧縮されて再生される場合である。
【００４４】
逆に５歩目の踏み込みが検出される前に１番目の小節Ａの再生が終了した場合には、その時点で再度、小節Ａの再生を開始し、５歩目の踏み込みが検出された時点で、小節Ａの再生を中止する。この場合には、Ｄ１＜０で、差分（Ｔ１−Ｄ１）が時間Ｔ１より長くなり、さらには時間Ｔｍより長くなる可能性がある。このように差分（Ｔ１−Ｄ１）が時間Ｔｍより長く、（Ｔ１−Ｄ１）／Ｔｍ＞１であるときには、小節Ｂが伸長されて再生される。
【００４５】
以下同様に、差分（Ｔｎ−Ｄｎ）〔ｎ＝１，２，３，４…〕を次の（ｎ＋１）番目の小節の再生時間長とするように、各小節を順次再生する。４番目の小節Ｄを再生したら、１番目の小節Ａに戻って再生を繰り返す。
【００４６】
図５のように歩行テンポが変化しない場合には、Ｔ１＝Ｔ２＝Ｔ３＝Ｔ４…であり、Ｄ１を除いてＤｎ＝０となって、小節の先頭が４歩ごとに踏み込みタイミングに一致するようになる。
【００４７】
しかも、この例では、コンテンツ素材である小節を伸縮して再生するので、楽曲としての連続性を保つことができる。
【００４８】
図６に、以上の例のコンテンツ再生方法を実施する場合の、図１のコンテンツ再生装置１０のＣＰＵ１１が実行するコンテンツ再生処理、すなわち図３のコンテンツ生成部６３が実行するコンテンツ生成処理を示す。
【００４９】
この例では、上記のようにユーザがコンテンツ再生開始を指示することによって処理を開始して、まずステップ１０１で、ｎ＝０，ｍ＝０とする。ｎは、図５に示したｎとは異なり、歩数であり、ｍは、コンテンツ素材番号である。図５の例では、小節Ａはｍ＝１，５，９…であり、小節Ｂはｍ＝２，６，１０…であり、小節Ｃはｍ＝３，７，１１…であり、小節Ｄはｍ＝４，８，１２…である。
【００５０】
次に、ステップ１０２に進んで、体動センサ５１による歩行センシングを開始し、さらにステップ１０３に進んで、ｍ＝１とし、さらにステップ１０４に進んで、ｍ＝１のコンテンツ素材を読み込んで、その再生を開始する。
【００５１】
次に、ステップ１１１に進んで、踏み込みが検出されたか否かを判断し、踏み込みが検出されたときには、ステップ１１２に進んで、歩数ｎを１だけインクリメントし、さらにステップ１１３に進んで、そのインクリメント後の歩数ｎが｛（４の倍数）＋１｝に等しいか否かを、すなわち５歩目、９歩目、１３歩目…の踏み込みであるか否かを判断する。
【００５２】
そして、インクリメント後の歩数ｎが｛（４の倍数）＋１｝に等しくない場合には、ステップ１１３からステップ１１１に戻って、さらに踏み込みが検出されたか否かを判断し、インクリメント後の歩数ｎが｛（４の倍数）＋１｝に等しい場合には、ステップ１１３からステップ１１４に進んで、コンテンツ素材番号ｍを１だけインクリメントする。
【００５３】
ステップ１１４でコンテンツ素材番号ｍを１だけインクリメントしたら、さらにステップ１１５に進んで、そのインクリメント後のコンテンツ素材番号ｍのコンテンツ素材を読み込み、（Ｔｎ−Ｄｎ）／Ｔｍ倍に伸縮して、その再生を開始する。
【００５４】
次に、ステップ１１６に進んで、コンテンツの再生を終了するか否かを判断し、ユーザがコンテンツ再生終了を指示することによってコンテンツの再生を終了する場合には、当該のコンテンツ再生処理（コンテンツ生成処理）を終了し、コンテンツの再生を続行する場合には、ステップ１１６からステップ１１１に戻って、さらに踏み込みが検出されたか否かを判断する。
【００５５】
なお、図５および図６では省略したが、あるコンテンツ素材（小節）の再生中にユーザがコンテンツ再生終了を指示することなく歩行を停止した場合には、例えば、以後、各コンテンツ素材（各小節）を、歩行停止時の再生時間長（Ｔｎ−Ｄｎ）で順次再生する。
【００５６】
＜第２の例：図７および図８＞
図７に、歩行テンポにコンテンツのタイミングを合わせる方法の第２の例を示す。この例は、歩行テンポが大きく変化する場合に適した方法で、コンテンツ素材を伸縮することなく、各コンテンツ素材の開始タイミングを強制的に踏み込みタイミングに合わせるものである。
【００５７】
具体的に、図４の例では各小節Ａ〜Ｄの先頭に拍があるので、図５の例と同様に、４歩ごとに各小節Ａ〜Ｄの先頭を踏み込みタイミングに合わせる。
【００５８】
この例では、時点ｔ０でユーザがコンテンツ再生開始を指示したら、その直後の最初の（１歩目の）踏み込みが検出された時点ｔ１で小節Ａの再生を開始し、小節Ａを時間Ｔｍの長さで再生する。
【００５９】
図示するように、１歩目から５歩目までの時間が時間Ｔｍより長く、５歩目の踏み込みが検出される前に小節Ａの再生が終了したら、その時点ｔ２で再度、小節Ａの再生を開始し、５歩目の踏み込みが検出された時点ｔ３で小節Ａの再生を中止して、直ちに小節Ｂの再生を開始する。
【００６０】
逆に１歩目から５歩目までの時間が時間Ｔｍより短く、小節Ａの再生が終了する前に５歩目の踏み込みが検出された場合には、その時点で小節Ａの再生を中止して、直ちに小節Ｂの再生を開始する。
【００６１】
小節Ｂも、伸縮することなく、９歩目の踏み込みが検出される時点まで再生する。すなわち、図示するように、５歩目から９歩目までの時間が時間Ｔｍより短く、小節Ｂの再生が終了する前に９歩目の踏み込みが検出されたら、その時点で小節Ｂの再生を中止して、直ちに小節Ｃの再生を開始し、逆に５歩目から９歩目までの時間が時間Ｔｍより長く、９歩目の踏み込みが検出される前に小節Ｂの再生が終了したら、その時点で再度、小節Ｂの再生を開始し、９歩目の踏み込みが検出された時点で小節Ｂの再生を中止して、直ちに小節Ｃの再生を開始する。
【００６２】
以下同様に、各小節を伸縮することなく順次再生する。４番目の小節Ｄを再生したら、１番目の小節Ａに戻って再生を繰り返す。
【００６３】
図７は、歩行テンポが漸次早くなる場合で、２番目以降は各小節が最後まで再生されない場合である。
【００６４】
この例では、各小節のつなぎ目部分で楽曲としての連続性が得られなくなるが、つなぎ目部分で前後の小節をフェードアウト・フェードインすることによって、違和感を軽減することができる。
【００６５】
図８に、以上の例のコンテンツ再生方法を実施する場合の、図１のコンテンツ再生装置１０のＣＰＵ１１が実行するコンテンツ再生処理、すなわち図３のコンテンツ生成部６３が実行するコンテンツ生成処理を示す。
【００６６】
この例では、上記のようにユーザがコンテンツ再生開始を指示することによって処理を開始して、まずステップ１２１で、ｎ＝０，ｍ＝０とする。ｎは、歩数であり、ｍは、コンテンツ素材番号である。図７の例では、小節Ａはｍ＝１，５，９…であり、小節Ｂはｍ＝２，６，１０…であり、小節Ｃはｍ＝３，７，１１…であり、小節Ｄはｍ＝４，８，１２…である。
【００６７】
次に、ステップ１２２に進んで、体動センサ５１による歩行センシングを開始し、さらにステップ１２３に進んで、１歩目の踏み込みが検出されたか否かを判断し、１歩目の踏み込みが検出されたときには、ステップ１２４に進んで、ｎ＝１，ｍ＝１とし、さらにステップ１２５に進んで、ｍ＝１のコンテンツ素材を読み込んで、その再生を開始する。
【００６８】
次に、ステップ１３１に進んで、踏み込みが検出されたか否かを判断し、踏み込みが検出されたときには、ステップ１３２に進んで、歩数ｎを１だけインクリメントし、さらにステップ１３３に進んで、そのインクリメント後の歩数ｎが｛（４の倍数）＋１｝に等しいか否かを、すなわち５歩目、９歩目、１３歩目…の踏み込みであるか否かを判断する。
【００６９】
そして、インクリメント後の歩数ｎが｛（４の倍数）＋１｝に等しくない場合には、ステップ１３３からステップ１３１に戻って、さらに踏み込みが検出されたか否かを判断し、インクリメント後の歩数ｎが｛（４の倍数）＋１｝に等しい場合には、ステップ１３３からステップ１３４に進んで、コンテンツ素材番号ｍを１だけインクリメントする。
【００７０】
ステップ１３４でコンテンツ素材番号ｍを１だけインクリメントしたら、さらにステップ１３５に進んで、そのインクリメント後のコンテンツ素材番号ｍのコンテンツ素材を読み込んで、その再生を開始する。
【００７１】
次に、ステップ１３６に進んで、コンテンツの再生を終了するか否かを判断し、ユーザがコンテンツ再生終了を指示することによってコンテンツの再生を終了する場合には、当該のコンテンツ再生処理（コンテンツ生成処理）を終了し、コンテンツの再生を続行する場合には、ステップ１３６からステップ１３１に戻って、さらに踏み込みが検出されたか否かを判断する。
【００７２】
なお、図７および図８では省略したが、あるコンテンツ素材（小節）の再生中にユーザがコンテンツ再生終了を指示することなく歩行を停止した場合には、例えば、以後、各コンテンツ素材（各小節）を、本来の時間Ｔｍで順次再生する。
【００７３】
（２−２．他のコンテンツの場合）
上述した例は、コンテンツが音楽（楽曲）の場合であるが、コンテンツが動画像または静止画像である場合にも、そのタイミングをユーザの体動に合わせるように動画像または静止画像を再生すると、好適である。
【００７４】
具体的に、動画像の場合には、動画像のシーンチェンジまたはカットチェンジのタイミングを、ユーザの体の揺れまたは振りの折り返しタイミングに合わせるようにする。この場合、コンテンツ素材としては、１シーン単位または１カット単位の動画像を用いる。
【００７５】
また、静止画像の場合には、例えば、スライドショー表示のように複数の静止画像を順次再生する場合に、一の静止画像から次の静止画像に切り替えるタイミングを、ユーザの体の揺れまたは振りの折り返しタイミングに合わせるようにする。この場合、コンテンツ素材としては、一枚単位（ファイル単位）の静止画像を用いる。
【００７６】
さらに、コンテンツが振動や光である場合にも、この発明のコンテンツ再生方法を用いることができる。
【００７７】
コンテンツが振動である場合には、例えば、ユーザの体の揺れまたは振りの折り返しタイミングに合わせて、振動の周波数（周期）や強度（振幅）を変える。この場合、コンテンツ素材としては、ある振動パターンの振動を発生させるデータを用いる。
【００７８】
コンテンツが光である場合には、例えば、ユーザの体の揺れまたは振りの折り返しタイミングに合わせて、光の色（波長）や明度（照度）を変える。この場合、コンテンツ素材としては、ある色や明度の光を発生させるデータを用いる。
【００７９】
［３．体動検出の方法：図９〜図１５］
上述した例のように、ユーザの体動として歩行を検出し、体動の特徴点として歩行中の足の踏み込みタイミングを検出する場合、例えば、図９に示すように、ユーザが走行時に履く左右の靴２Ｌおよび２Ｒの踵部分に、またはユーザの左右の足の踵部分に、歩行センサ５Ｌおよび５Ｒを装着し、この歩行センサ５Ｌおよび５Ｒの出力信号を、増幅回路５５Ｌおよび５５Ｒで増幅した後、ハイパスフィルタ５６Ｌおよび５６Ｒに供給して、所定周波数以上の変化成分を取り出し、その変化成分の信号を、Ａ／Ｄコンバータ５７Ｌおよび５７Ｒでデジタルデータに変換して、図1の例のコンテンツ再生装置１０のバス１２に送出する。
【００８０】
歩行センサ５Ｌ，５Ｒは、歪みセンサとして構成することができる。具体的に、図１０に示すように、燐青銅板などからなる一方の支持板７１に、図１１に示すような歪みゲージ７５を取り付け、歪みゲージ７５の端子７６および７７を補強材７３で支持板７１に固定した状態で、燐青銅板などからなる他方の支持板７２を支持板７１に貼り付けたものとする。
【００８１】
歩行中の歩行センサ５Ｌ，５Ｒの出力信号は、ＡＤ値（Ａ／Ｄコンバータ５７Ｌ，５７Ｒの出力データ値）でみて、図１２に示すように変化し、足の踏み込みタイミングで所定のしきい値より大きくなり、足のけり出しタイミングで別のしきい値より小さくなる。したがって、歩行センサ５Ｌ，５Ｒの出力信号から、左右の足の踏み込みタイミングを検出することができる。
【００８２】
図１３に、靴３の踵部分の内側に歩行センサ６を配置する場合を示す。この場合の歩行センサ６としては、上記の歪みセンサ以外に、加速度センサ、曲げセンサ、圧力センサ、測距センサ、傾斜センサ、磁気センサ、電流センサ、帯電位センサ、静電容量センサ、電磁誘導センサなどを用いることができる。マイクロフォンで収音することによって、足の踏み込みタイミングを検出することも可能である。
【００８３】
以上の例は、歩行を検出し、足の踏み込みタイミングを検出する場合であるが、頭や手の動きを検出し、頭や手の揺れや振りの折り返しタイミングを検出する場合などには、以下のように構成することができる。
【００８４】
例えば、頭の動きを検出し、頭の揺れの折り返しタイミングを検出する場合には、図１４に示すように、頭部に装着するヘッドフォンに加速度センサを取り付ければよい。加速度センサにより歩行を検出するには、センサ信号の自己相関を計算すればよい。
【００８５】
図１４（Ａ）は、頭上型ヘッドフォンの、左右のスピーカ部８１，８２を連結するヘッドバンド部８３に、加速度センサ７を取り付ける場合であり、図１４（Ｂ）は、ネックバンド型ヘッドフォンの、左右のスピーカ部８４，８５を連結するネックバンド部８６に、加速度センサ７を取り付ける場合であり、図１４（Ｃ）は、インナーイヤー型ヘッドフォンの、左右の耳穴に挿入されるスピーカ部８７，８８に、加速度センサ７ａ，７ｂを取り付ける場合である。
【００８６】
また、手の動きを検出し、手の振りの折り返しタイミングを検出する場合には、図１５に示すように、手首に腕時計型の加速度センサ８を装着するようにすればよい。
【００８７】
体動センサは、検出する体動の態様に応じて、上述した足、頭、首、手のほか、ふくらはぎ、膝、腿、腰、体幹部、上腕、肘などに取り付けることができ、足についても、踵のほか、足の指、足の甲、足首などに取り付けることができ、手についても、手首のほか、手の指、手の甲などに取り付けることができる。また、体動センサは、靴などのようにユーザが装着または携帯する物品に取り付けてもよい。
【図面の簡単な説明】
【００８８】
【図１】この発明のコンテンツ再生装置の一例を示す図である。
【図２】図１のコンテンツ再生装置における動作の一例を示す図である。
【図３】図１のコンテンツ再生装置の機能構成を示す図である。
【図４】コンテンツ素材として小節単位の短い楽曲を用いる場合を示す図である。
【図５】音楽コンテンツの再生方法の第１の例を示す図である。
【図６】図５の方法を実行する場合の処理の一例を示す図である。
【図７】音楽コンテンツの再生方法の第２の例を示す図である。
【図８】図７の方法を実行する場合の処理の一例を示す図である。
【図９】体動検出部の一例を示す図である。
【図１０】歩行センサの一例を示す図である。
【図１１】歪みゲージの一例を示す図である。
【図１２】歩行センサの出力信号の一例を示す図である。
【図１３】歩行センサの別の配置例を示す図である。
【図１４】頭の動きを検出する場合の一例を示す図である。
【図１５】手の動きを検出する場合の一例を示す図である。
【符号の説明】
【００８９】
主要部については図中に全て記述したので、ここでは省略する。
【技術分野】
【０００１】
この発明は、音楽や映像などのコンテンツを再生する方法および装置に関する。
【背景技術】
【０００２】
ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）プレーヤ、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）プレーヤ、ＭＤ（Ｍｉｎｉ Ｄｉｓｃ：登録商標）プレーヤなどで音楽を再生する場合、決められた音楽を高音質に再生することが重要視されている。ＡＴＲＡＣ（Ａｄａｐｔｉｖｅ Ｔｒａｎｓｆｏｒｍ Ａｃｏｕｓｔｉｃ Ｃｏｄｉｎｇ：登録商標）やＭＰ３（ＭＰＥＧ−１ Ａｕｄｉｏ Ｌａｙｅｒ−３）などによって圧縮された音楽を再生する場合も同じで、最終的には時系列の信号波形に変換されてユーザが楽しむことに変わりがない。
【０００３】
これに対して、音楽などのコンテンツを、その場の状況に応じてリアルタイムに変化させる装置が考えられている。その場の状況に応じて、音楽のテンポやピッチを変更し、短いフレーズの音楽素材をつなぎ合わせて連続的な一つの音楽を奏でる、などである。これは、ＤＪ（Ｄｉｓｋ Ｊｏｃｋｅｙ）やＶＪ（Ｖｉｄｅｏ Ｊｏｃｋｅｙ）が既存の音楽を組み合わせながら即興で新しい音楽を創り出す役割を装置が担うものである。
【０００４】
また、コンサート会場やディスコ会場などで観客が音楽に乗ってきているときには、観客は足を踏み鳴らし、頭を前後に振り、飛び上がったりする。人が音楽に合わせて体を揺らすことも、よく見られる。また、単に行進曲に合わせて歩くだけでも、気持ちがよく、気分が高揚するものである。これは、足の踏み込みや頭の動きなど、自分の体のリズムをコンテンツのリズムに同期させることによって、内部的な同調感や気持ちの良さを高めることができることを示している。
【０００５】
また、特許文献１（特開２０００−３００８３８号公報）には、音楽に合わせてステップを踏んで得点を競う、「ダンス・ダンス・レボリューション」（商品名）などのステップゲーム（音楽指向ゲーム）で、遊技者の趣向に合わせたプレイ環境を提供することが示されている。
【０００６】
さらに、特許文献２（特開２００２−６５８９１号公報）には、上記のステップゲームをリハビリテーションに利用し、利用者（患者）の心拍数を検出して、検出された心拍数が基準の心拍数を超えた場合には警報を出力することが示されている。
【０００７】
上に挙げた先行技術文献は、以下のとおりである。
【特許文献１】特開２０００−３００８３８号公報
【特許文献２】特開２００２−６５８９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、上述した従来のコンテンツ再生方法は、再生される音楽に合わせてステップを踏むなど、人が再生されるコンテンツに合わせて行動するものであって、コンテンツの再生が人の体の動きに反応するものではなく、コンテンツ再生自体についての娯楽性や高揚感は、コンテンツ自体に依存し、必ずしも十分ではない。
【０００９】
そこで、この発明は、ユーザの体の動きをコンテンツの再生に反映させることによって、コンテンツ再生自体についての娯楽性や高揚感を促進することができるようにしたものである。
【課題を解決するための手段】
【００１０】
この発明のコンテンツ再生方法は、ユーザの体動を検出し、その体動の特徴点、周期またはリズムにコンテンツのタイミングを合わせるようにコンテンツを再生するものである。
【００１１】
上記のコンテンツ再生方法では、歩行中のユーザの足の踏み込みタイミングや、ユーザの体の揺れまたは振りの折り返しタイミングなどに、再生される楽曲の拍または小節のタイミングが合わせられ、再生される動画像のシーンチェンジまたはカットチェンジのタイミングが合わせられるなど、再生されるコンテンツのタイミングが合わせられるので、コンテンツを鑑賞または感知しながら体を動かすユーザの気持ちの良さが増進し、コンテンツ再生自体についての娯楽性や高揚感が促進する。
【発明の効果】
【００１２】
以上のように、この発明によれば、ユーザの体の動きをコンテンツの再生に反映させることによって、コンテンツ再生自体についての娯楽性や高揚感を促進することができる。
【発明を実施するための最良の形態】
【００１３】
［１．コンテンツ再生装置の実施形態：図１〜図３］
図１は、この発明のコンテンツ再生装置の一例を示し、ポータブル型の音楽映像再生装置や携帯電話端末などとして構成されるものである。
【００１４】
この例のコンテンツ再生装置１０は、ＣＰＵ１１を備え、そのバス１２に、各種のプログラムやデータが書き込まれたＲＯＭ１３、およびプログラムやデータが展開されるＲＡＭ１４が接続される。
【００１５】
また、バス１２には、インターフェース１６を介して、ハードディスクなどの内蔵固定の記録装置部１５が接続され、インターフェース１８を介して、ＣＤやＤＶＤなどのリムーバブルの記録メディア１７が接続され、ＲＦ送受信回路などのＲＦインターフェース２１を介して、送受信アンテナ２２が接続されるとともに、インターネット２４に接続するための外部インターフェース２３が接続される。
【００１６】
記録装置部１５および記録メディア１７は、音楽や映像などのコンテンツおよび後述のコンテンツ素材が記録再生されるものであり、ＲＦインターフェース２１および送受信アンテナ２２は、無線によって、外部からコンテンツまたはコンテンツ素材を受信し、または外部にコンテンツまたはコンテンツ素材を送信するものであり、外部インターフェース２３は、インターネット２４を介して、外部からコンテンツまたはコンテンツ素材を受信し、または外部にコンテンツまたはコンテンツ素材を送信するものである。
【００１７】
また、バス１２には、映像処理部３１を介して、液晶表示装置などからなる映像表示装置３２が接続されるとともに、音声処理部３３を介して、スピーカやヘッドフォンなどからなる音声出力装置３４が接続される。映像表示装置３２の表示画面には、コンテンツとしての映像や設定用または操作用などの画面が表示され、音声出力装置３４からは、コンテンツとしての音楽や音声アナウンスなどの音声が出力される。
【００１８】
また、バス１２には、各種キーからなる操作部４１が、インターフェース４２を介して接続されるとともに、音声入力用のマイクロフォン４３が、音声処理部４４を介して接続される。
【００１９】
さらに、バス１２には、体動センサ５１が、Ａ／Ｄコンバータ５２を介して接続され、ユーザ１の後述のような体動（体の動き）が、体動センサ５１によって検出され、その体動検出信号が、Ａ／Ｄコンバータ５２によってアナログ信号からデジタルデータに変換されて、バス１２に取り込まれる。
【００２０】
この発明におけるコンテンツは、音楽、音楽以外の音声、動画像、静止画像（グラフィックス、図形、文字を含む）、振動、照明光などの光など、人が鑑賞または感知し得るものを全て含むが、図１の例では音楽または映像である。
【００２１】
図１の例のコンテンツ再生装置１０によるコンテンツ再生方法では、例えば、ユーザ１が歩行中に音楽を聴く場合について示すと、図２に示すように、体動センサ５１として歩行中のユーザ１が履いている靴やユーザ１の足に取り付けられた歩行センサによって、走行中のユーザ１の足の踏み込み（接地）タイミングが検出され、後述のように楽曲の拍（ｂｅａｔ）または小節（ｍｅａｓｕｒｅ，ｂａｒ）のタイミングをユーザ１の足の踏み込みタイミングに合わせるように、音楽が再生される。
【００２２】
図３に、図１の例のコンテンツ再生装置１０の機能構成を示す。体動検出部６１は、体動センサ５１およびＡ／Ｄコンバータ５２によって構成され、ユーザの体動、例えば、走行中の足の動きや、音楽を聴いているときの頭の動きを検出する。
【００２３】
体動分析部６２は、ＣＰＵ１１、ＲＯＭ１３およびＲＡＭ１４によって構成され、体動検出部６１からバス１２に取り込んだ体動検出データを分析することによって、ユーザの体動の特徴点、周期またはリズム（テンポ）を検出する。
【００２４】
体動の特徴点は、体動の開始点（体を静止させている状態から動かし始める点）、終了点（体を動かしている状態から静止させる点）、極大点、極小点、最大ピーク点、または最小ピーク点のタイミングであり、具体的には、上記のような歩行中の足の踏み込みタイミングや、体を揺すっているときの揺れや振っているときの振りの折り返しタイミングなどである。
【００２５】
この場合、体動の検出には、直前の幾つかの踏み込みタイミングや折り返しタイミングから次の踏み込みタイミングや折り返しタイミングを予測するように、直前の体動の検出結果から次の体動を予測することを含む。
【００２６】
コンテンツ生成部６３は、ＣＰＵ１１、ＲＯＭ１３、ＲＡＭ１４、および映像処理部３１または音声処理部３３によって構成され、上記の体動検出結果に基づいて、コンテンツ素材読み出し部６４によって、コンテンツ素材データベース６５からコンテンツ素材およびこれに付随するタイミング情報を読み出して、リアルタイムにコンテンツを生成する。
【００２７】
コンテンツ素材読み出し部６４は、ＣＰＵ１１、ＲＯＭ１３、ＲＡＭ１４、インターフェース１６，１８、ＲＦインターフェース２１、外部インターフェース２３などによって構成され、コンテンツ素材データベース６５は、コンテンツ素材データおよびタイミング情報が記録された記録装置部１５や記録メディア１７、またはコンテンツ素材データおよびタイミング情報の送信元のサーバに設けられたデータベースである。
【００２８】
コンテンツ出力部６６は、コンテンツ生成部６３によって生成されたコンテンツを出力するもので、映像表示装置３２や音声出力装置３４によって構成される。
【００２９】
コンテンツ素材は、最終的なコンテンツを生成するための素材であって、通常のコンテンツ（ＣＤやＤＶＤに記録された楽曲データや映像データ、またはＭＰ３によって圧縮された楽曲データなど）そのものでもよいが、小節単位（数小節）の短い楽曲や、シーン単位またはカット単位の短い映像などであれば、より好適である。
【００３０】
これらのコンテンツ素材は、それぞれのコンテンツ素材データに、拍タイミングやシーンチェンジタイミングなどのタイミングを示すタイミング情報がメタ情報として付加されて、記録または送信される。ただし、コンテンツ素材の読み出しと同時にタイミング情報が生成されるようにしてもよい。
【００３１】
コンテンツ素材が小節単位の短い楽曲やシーン単位またはカット単位の短い映像などである場合には、それらコンテンツ素材を、時間的な前後関係を決めて、つなぎ合わせ、必要に応じてコンテンツ素材の再生時間長を伸縮することによって、最終的な一つのコンテンツをリアルタイムに生成する。
【００３２】
［２．コンテンツ再生方法の実施形態：図４〜図８］
この発明のコンテンツ再生方法では、上記のタイミング情報をもとに、ユーザの体動の特徴点、周期またはリズムに、コンテンツのタイミングを合わせるように、コンテンツを再生する。
【００３３】
上述したように、体動の特徴点は、体動の開始点、終了点、極大点、極小点、最大ピーク点、または最小ピーク点であり、具体的には、走行中の足の踏み込みタイミングや、体の揺れまたは振りの折り返しタイミングなどである。
【００３４】
（２−１．音楽コンテンツの場合：図４〜図８）
音楽コンテンツの場合、コンテンツ再生にあたっては、例えば、図４に示すように、４つのコンテンツ素材Ａ，Ｂ，Ｃ，Ｄとして、それぞれ１小節分の楽曲を用い、これらコンテンツ素材Ａ，Ｂ，Ｃ，Ｄをつなぎ合わせて、一つの音楽コンテンツを生成する。
【００３５】
コンテンツ素材Ａ〜Ｄからなるフレーズは、ＭＩＤＩでもＰＣＭ（パルス幅変調）データでもよいが、ＭＩＤＩであれば、そのまま拍タイミング情報が得られるとともに、後述のコンテンツ生成にあたっての伸縮の計算量が少なくて済む。ＰＣＭデータである場合には、コンテンツ素材Ａ〜Ｄは純粋な音の波形であり、それとは別にあらかじめ拍タイミング情報が生成され、コンテンツ素材Ａ〜Ｄとともに記録または送信される。
【００３６】
ただし、拍タイミング情報は、コンテンツ素材の再生直前にコンテンツ素材の波形から計算して求めることもできる。その計算方法としては、参考文献１（ＰＤＦファイルとして、Ｍａｓａｔａｋａ Ｇｏｔｏ：Ａｎ Ａｕｄｉｏ−ｂａｓｅｄ Ｒｅａｌ−ｔｉｍｅ Ｂｅａｔ Ｔｒａｃｋｉｎｇ Ｓｙｓｔｅｍ ｆｏｒ Ｍｕｓｉｃ Ｗｉｔｈ ｏｒ Ｗｉｔｈｏｕｔ Ｄｒｕｍ−ｓｏｕｎｄｓ，Ｊｏｕｒｎａｌ ｏｆ Ｎｅｗ Ｍｕｓｉｃ Ｒｅｓｅａｒｃｈ，Ｖｏｌ．３０，Ｎｏ．２，ｐｐ．１５９−１７１，Ｊｕｎｅ２００１）または参考文献２（書籍として、後藤真孝：拍節認識（ビートトラッキング），ｂｉｔ別冊，コンピュータと音楽の世界…基礎からフロンティアまで…，ｐｐ．１００−１１６，共立出版，Ａｕｇｕｓｔ１９９８）に記載の方法を用いることができる。
【００３７】
以下に、図４に示すようなコンテンツ素材Ａ，Ｂ，Ｃ，Ｄをつなぎ合わせて一つの音楽コンテンツを生成する場合の例を示す。コンテンツ素材Ａ，Ｂ，Ｃ，Ｄは、全て１小節分で、同じ間間Ｔｍの長さを持つものとする。
【００３８】
＜第１の例：図５および図６＞
図５に、歩行テンポにコンテンツのタイミングを合わせる方法の第１の例を示す。この例は、歩行テンポが一定の場合に適した方法で、コンテンツ素材を伸縮して各コンテンツ素材の開始タイミングを踏み込みタイミングに合わせるものである。
【００３９】
具体的に、図４の例では各小節Ａ〜Ｄの先頭に拍があるので、４歩ごとに各小節Ａ〜Ｄの先頭を踏み込みタイミングに合わせる。小節を合わせる歩数は４歩でなくてもよいが、例えば、多くのマーチ（行進曲）は、テンポが１２０すなわち、１拍＝１歩＝０．５秒に対応し、４歩（４拍）で１小節になる。そのため、小節を合わせる歩数を４歩とすることによって、コンテンツ素材を大きく伸縮しなくても、各小節Ａ〜Ｄの先頭を踏み込みタイミングに合わせることができる。
【００４０】
この例では、時点ｔ０でユーザがコンテンツ再生開始を指示することによって、まず、１番目の小節Ａを、そのまま、すなわち時間Ｔｍの長さで再生する。
【００４１】
次に、コンテンツ再生開始時点ｔ０の後に最初に検出された踏み込みを１歩目として５歩目の踏み込みが検出されたら、１歩目から５歩目までの４歩分の時間Ｔ１を計算する。
【００４２】
次に、１番目の小節Ａの再生終了時点ｔａと５歩目の踏み込みが検出された時点との間の時間Ｄ１を計算して、時間Ｔ１と時間Ｄ１との差分（Ｔ１−Ｄ１）を求め、その差分（Ｔ１−Ｄ１）を２番目の小節Ｂの再生時間長とするように、小節Ｂを（Ｔ１−Ｄ１）／Ｔｍ倍に伸縮して再生する。
【００４３】
図５は、５歩目の踏み込みが検出された時点の後に１番目の小節Ａの再生が終了し、Ｄ１＞０で、差分（Ｔ１−Ｄ１）が時間Ｔ１および時間Ｔｍより短く、（Ｔ１−Ｄ１）／Ｔｍ＜１で、小節Ｂが圧縮されて再生される場合である。
【００４４】
逆に５歩目の踏み込みが検出される前に１番目の小節Ａの再生が終了した場合には、その時点で再度、小節Ａの再生を開始し、５歩目の踏み込みが検出された時点で、小節Ａの再生を中止する。この場合には、Ｄ１＜０で、差分（Ｔ１−Ｄ１）が時間Ｔ１より長くなり、さらには時間Ｔｍより長くなる可能性がある。このように差分（Ｔ１−Ｄ１）が時間Ｔｍより長く、（Ｔ１−Ｄ１）／Ｔｍ＞１であるときには、小節Ｂが伸長されて再生される。
【００４５】
以下同様に、差分（Ｔｎ−Ｄｎ）〔ｎ＝１，２，３，４…〕を次の（ｎ＋１）番目の小節の再生時間長とするように、各小節を順次再生する。４番目の小節Ｄを再生したら、１番目の小節Ａに戻って再生を繰り返す。
【００４６】
図５のように歩行テンポが変化しない場合には、Ｔ１＝Ｔ２＝Ｔ３＝Ｔ４…であり、Ｄ１を除いてＤｎ＝０となって、小節の先頭が４歩ごとに踏み込みタイミングに一致するようになる。
【００４７】
しかも、この例では、コンテンツ素材である小節を伸縮して再生するので、楽曲としての連続性を保つことができる。
【００４８】
図６に、以上の例のコンテンツ再生方法を実施する場合の、図１のコンテンツ再生装置１０のＣＰＵ１１が実行するコンテンツ再生処理、すなわち図３のコンテンツ生成部６３が実行するコンテンツ生成処理を示す。
【００４９】
この例では、上記のようにユーザがコンテンツ再生開始を指示することによって処理を開始して、まずステップ１０１で、ｎ＝０，ｍ＝０とする。ｎは、図５に示したｎとは異なり、歩数であり、ｍは、コンテンツ素材番号である。図５の例では、小節Ａはｍ＝１，５，９…であり、小節Ｂはｍ＝２，６，１０…であり、小節Ｃはｍ＝３，７，１１…であり、小節Ｄはｍ＝４，８，１２…である。
【００５０】
次に、ステップ１０２に進んで、体動センサ５１による歩行センシングを開始し、さらにステップ１０３に進んで、ｍ＝１とし、さらにステップ１０４に進んで、ｍ＝１のコンテンツ素材を読み込んで、その再生を開始する。
【００５１】
次に、ステップ１１１に進んで、踏み込みが検出されたか否かを判断し、踏み込みが検出されたときには、ステップ１１２に進んで、歩数ｎを１だけインクリメントし、さらにステップ１１３に進んで、そのインクリメント後の歩数ｎが｛（４の倍数）＋１｝に等しいか否かを、すなわち５歩目、９歩目、１３歩目…の踏み込みであるか否かを判断する。
【００５２】
そして、インクリメント後の歩数ｎが｛（４の倍数）＋１｝に等しくない場合には、ステップ１１３からステップ１１１に戻って、さらに踏み込みが検出されたか否かを判断し、インクリメント後の歩数ｎが｛（４の倍数）＋１｝に等しい場合には、ステップ１１３からステップ１１４に進んで、コンテンツ素材番号ｍを１だけインクリメントする。
【００５３】
ステップ１１４でコンテンツ素材番号ｍを１だけインクリメントしたら、さらにステップ１１５に進んで、そのインクリメント後のコンテンツ素材番号ｍのコンテンツ素材を読み込み、（Ｔｎ−Ｄｎ）／Ｔｍ倍に伸縮して、その再生を開始する。
【００５４】
次に、ステップ１１６に進んで、コンテンツの再生を終了するか否かを判断し、ユーザがコンテンツ再生終了を指示することによってコンテンツの再生を終了する場合には、当該のコンテンツ再生処理（コンテンツ生成処理）を終了し、コンテンツの再生を続行する場合には、ステップ１１６からステップ１１１に戻って、さらに踏み込みが検出されたか否かを判断する。
【００５５】
なお、図５および図６では省略したが、あるコンテンツ素材（小節）の再生中にユーザがコンテンツ再生終了を指示することなく歩行を停止した場合には、例えば、以後、各コンテンツ素材（各小節）を、歩行停止時の再生時間長（Ｔｎ−Ｄｎ）で順次再生する。
【００５６】
＜第２の例：図７および図８＞
図７に、歩行テンポにコンテンツのタイミングを合わせる方法の第２の例を示す。この例は、歩行テンポが大きく変化する場合に適した方法で、コンテンツ素材を伸縮することなく、各コンテンツ素材の開始タイミングを強制的に踏み込みタイミングに合わせるものである。
【００５７】
具体的に、図４の例では各小節Ａ〜Ｄの先頭に拍があるので、図５の例と同様に、４歩ごとに各小節Ａ〜Ｄの先頭を踏み込みタイミングに合わせる。
【００５８】
この例では、時点ｔ０でユーザがコンテンツ再生開始を指示したら、その直後の最初の（１歩目の）踏み込みが検出された時点ｔ１で小節Ａの再生を開始し、小節Ａを時間Ｔｍの長さで再生する。
【００５９】
図示するように、１歩目から５歩目までの時間が時間Ｔｍより長く、５歩目の踏み込みが検出される前に小節Ａの再生が終了したら、その時点ｔ２で再度、小節Ａの再生を開始し、５歩目の踏み込みが検出された時点ｔ３で小節Ａの再生を中止して、直ちに小節Ｂの再生を開始する。
【００６０】
逆に１歩目から５歩目までの時間が時間Ｔｍより短く、小節Ａの再生が終了する前に５歩目の踏み込みが検出された場合には、その時点で小節Ａの再生を中止して、直ちに小節Ｂの再生を開始する。
【００６１】
小節Ｂも、伸縮することなく、９歩目の踏み込みが検出される時点まで再生する。すなわち、図示するように、５歩目から９歩目までの時間が時間Ｔｍより短く、小節Ｂの再生が終了する前に９歩目の踏み込みが検出されたら、その時点で小節Ｂの再生を中止して、直ちに小節Ｃの再生を開始し、逆に５歩目から９歩目までの時間が時間Ｔｍより長く、９歩目の踏み込みが検出される前に小節Ｂの再生が終了したら、その時点で再度、小節Ｂの再生を開始し、９歩目の踏み込みが検出された時点で小節Ｂの再生を中止して、直ちに小節Ｃの再生を開始する。
【００６２】
以下同様に、各小節を伸縮することなく順次再生する。４番目の小節Ｄを再生したら、１番目の小節Ａに戻って再生を繰り返す。
【００６３】
図７は、歩行テンポが漸次早くなる場合で、２番目以降は各小節が最後まで再生されない場合である。
【００６４】
この例では、各小節のつなぎ目部分で楽曲としての連続性が得られなくなるが、つなぎ目部分で前後の小節をフェードアウト・フェードインすることによって、違和感を軽減することができる。
【００６５】
図８に、以上の例のコンテンツ再生方法を実施する場合の、図１のコンテンツ再生装置１０のＣＰＵ１１が実行するコンテンツ再生処理、すなわち図３のコンテンツ生成部６３が実行するコンテンツ生成処理を示す。
【００６６】
この例では、上記のようにユーザがコンテンツ再生開始を指示することによって処理を開始して、まずステップ１２１で、ｎ＝０，ｍ＝０とする。ｎは、歩数であり、ｍは、コンテンツ素材番号である。図７の例では、小節Ａはｍ＝１，５，９…であり、小節Ｂはｍ＝２，６，１０…であり、小節Ｃはｍ＝３，７，１１…であり、小節Ｄはｍ＝４，８，１２…である。
【００６７】
次に、ステップ１２２に進んで、体動センサ５１による歩行センシングを開始し、さらにステップ１２３に進んで、１歩目の踏み込みが検出されたか否かを判断し、１歩目の踏み込みが検出されたときには、ステップ１２４に進んで、ｎ＝１，ｍ＝１とし、さらにステップ１２５に進んで、ｍ＝１のコンテンツ素材を読み込んで、その再生を開始する。
【００６８】
次に、ステップ１３１に進んで、踏み込みが検出されたか否かを判断し、踏み込みが検出されたときには、ステップ１３２に進んで、歩数ｎを１だけインクリメントし、さらにステップ１３３に進んで、そのインクリメント後の歩数ｎが｛（４の倍数）＋１｝に等しいか否かを、すなわち５歩目、９歩目、１３歩目…の踏み込みであるか否かを判断する。
【００６９】
そして、インクリメント後の歩数ｎが｛（４の倍数）＋１｝に等しくない場合には、ステップ１３３からステップ１３１に戻って、さらに踏み込みが検出されたか否かを判断し、インクリメント後の歩数ｎが｛（４の倍数）＋１｝に等しい場合には、ステップ１３３からステップ１３４に進んで、コンテンツ素材番号ｍを１だけインクリメントする。
【００７０】
ステップ１３４でコンテンツ素材番号ｍを１だけインクリメントしたら、さらにステップ１３５に進んで、そのインクリメント後のコンテンツ素材番号ｍのコンテンツ素材を読み込んで、その再生を開始する。
【００７１】
次に、ステップ１３６に進んで、コンテンツの再生を終了するか否かを判断し、ユーザがコンテンツ再生終了を指示することによってコンテンツの再生を終了する場合には、当該のコンテンツ再生処理（コンテンツ生成処理）を終了し、コンテンツの再生を続行する場合には、ステップ１３６からステップ１３１に戻って、さらに踏み込みが検出されたか否かを判断する。
【００７２】
なお、図７および図８では省略したが、あるコンテンツ素材（小節）の再生中にユーザがコンテンツ再生終了を指示することなく歩行を停止した場合には、例えば、以後、各コンテンツ素材（各小節）を、本来の時間Ｔｍで順次再生する。
【００７３】
（２−２．他のコンテンツの場合）
上述した例は、コンテンツが音楽（楽曲）の場合であるが、コンテンツが動画像または静止画像である場合にも、そのタイミングをユーザの体動に合わせるように動画像または静止画像を再生すると、好適である。
【００７４】
具体的に、動画像の場合には、動画像のシーンチェンジまたはカットチェンジのタイミングを、ユーザの体の揺れまたは振りの折り返しタイミングに合わせるようにする。この場合、コンテンツ素材としては、１シーン単位または１カット単位の動画像を用いる。
【００７５】
また、静止画像の場合には、例えば、スライドショー表示のように複数の静止画像を順次再生する場合に、一の静止画像から次の静止画像に切り替えるタイミングを、ユーザの体の揺れまたは振りの折り返しタイミングに合わせるようにする。この場合、コンテンツ素材としては、一枚単位（ファイル単位）の静止画像を用いる。
【００７６】
さらに、コンテンツが振動や光である場合にも、この発明のコンテンツ再生方法を用いることができる。
【００７７】
コンテンツが振動である場合には、例えば、ユーザの体の揺れまたは振りの折り返しタイミングに合わせて、振動の周波数（周期）や強度（振幅）を変える。この場合、コンテンツ素材としては、ある振動パターンの振動を発生させるデータを用いる。
【００７８】
コンテンツが光である場合には、例えば、ユーザの体の揺れまたは振りの折り返しタイミングに合わせて、光の色（波長）や明度（照度）を変える。この場合、コンテンツ素材としては、ある色や明度の光を発生させるデータを用いる。
【００７９】
［３．体動検出の方法：図９〜図１５］
上述した例のように、ユーザの体動として歩行を検出し、体動の特徴点として歩行中の足の踏み込みタイミングを検出する場合、例えば、図９に示すように、ユーザが走行時に履く左右の靴２Ｌおよび２Ｒの踵部分に、またはユーザの左右の足の踵部分に、歩行センサ５Ｌおよび５Ｒを装着し、この歩行センサ５Ｌおよび５Ｒの出力信号を、増幅回路５５Ｌおよび５５Ｒで増幅した後、ハイパスフィルタ５６Ｌおよび５６Ｒに供給して、所定周波数以上の変化成分を取り出し、その変化成分の信号を、Ａ／Ｄコンバータ５７Ｌおよび５７Ｒでデジタルデータに変換して、図1の例のコンテンツ再生装置１０のバス１２に送出する。
【００８０】
歩行センサ５Ｌ，５Ｒは、歪みセンサとして構成することができる。具体的に、図１０に示すように、燐青銅板などからなる一方の支持板７１に、図１１に示すような歪みゲージ７５を取り付け、歪みゲージ７５の端子７６および７７を補強材７３で支持板７１に固定した状態で、燐青銅板などからなる他方の支持板７２を支持板７１に貼り付けたものとする。
【００８１】
歩行中の歩行センサ５Ｌ，５Ｒの出力信号は、ＡＤ値（Ａ／Ｄコンバータ５７Ｌ，５７Ｒの出力データ値）でみて、図１２に示すように変化し、足の踏み込みタイミングで所定のしきい値より大きくなり、足のけり出しタイミングで別のしきい値より小さくなる。したがって、歩行センサ５Ｌ，５Ｒの出力信号から、左右の足の踏み込みタイミングを検出することができる。
【００８２】
図１３に、靴３の踵部分の内側に歩行センサ６を配置する場合を示す。この場合の歩行センサ６としては、上記の歪みセンサ以外に、加速度センサ、曲げセンサ、圧力センサ、測距センサ、傾斜センサ、磁気センサ、電流センサ、帯電位センサ、静電容量センサ、電磁誘導センサなどを用いることができる。マイクロフォンで収音することによって、足の踏み込みタイミングを検出することも可能である。
【００８３】
以上の例は、歩行を検出し、足の踏み込みタイミングを検出する場合であるが、頭や手の動きを検出し、頭や手の揺れや振りの折り返しタイミングを検出する場合などには、以下のように構成することができる。
【００８４】
例えば、頭の動きを検出し、頭の揺れの折り返しタイミングを検出する場合には、図１４に示すように、頭部に装着するヘッドフォンに加速度センサを取り付ければよい。加速度センサにより歩行を検出するには、センサ信号の自己相関を計算すればよい。
【００８５】
図１４（Ａ）は、頭上型ヘッドフォンの、左右のスピーカ部８１，８２を連結するヘッドバンド部８３に、加速度センサ７を取り付ける場合であり、図１４（Ｂ）は、ネックバンド型ヘッドフォンの、左右のスピーカ部８４，８５を連結するネックバンド部８６に、加速度センサ７を取り付ける場合であり、図１４（Ｃ）は、インナーイヤー型ヘッドフォンの、左右の耳穴に挿入されるスピーカ部８７，８８に、加速度センサ７ａ，７ｂを取り付ける場合である。
【００８６】
また、手の動きを検出し、手の振りの折り返しタイミングを検出する場合には、図１５に示すように、手首に腕時計型の加速度センサ８を装着するようにすればよい。
【００８７】
体動センサは、検出する体動の態様に応じて、上述した足、頭、首、手のほか、ふくらはぎ、膝、腿、腰、体幹部、上腕、肘などに取り付けることができ、足についても、踵のほか、足の指、足の甲、足首などに取り付けることができ、手についても、手首のほか、手の指、手の甲などに取り付けることができる。また、体動センサは、靴などのようにユーザが装着または携帯する物品に取り付けてもよい。
【図面の簡単な説明】
【００８８】
【図１】この発明のコンテンツ再生装置の一例を示す図である。
【図２】図１のコンテンツ再生装置における動作の一例を示す図である。
【図３】図１のコンテンツ再生装置の機能構成を示す図である。
【図４】コンテンツ素材として小節単位の短い楽曲を用いる場合を示す図である。
【図５】音楽コンテンツの再生方法の第１の例を示す図である。
【図６】図５の方法を実行する場合の処理の一例を示す図である。
【図７】音楽コンテンツの再生方法の第２の例を示す図である。
【図８】図７の方法を実行する場合の処理の一例を示す図である。
【図９】体動検出部の一例を示す図である。
【図１０】歩行センサの一例を示す図である。
【図１１】歪みゲージの一例を示す図である。
【図１２】歩行センサの出力信号の一例を示す図である。
【図１３】歩行センサの別の配置例を示す図である。
【図１４】頭の動きを検出する場合の一例を示す図である。
【図１５】手の動きを検出する場合の一例を示す図である。
【符号の説明】
【００８９】
主要部については図中に全て記述したので、ここでは省略する。
【特許請求の範囲】
【請求項１】
ユーザの体動を検出し、その体動の特徴点、周期またはリズムにコンテンツのタイミングを合わせるようにコンテンツを再生するコンテンツ再生方法。
【請求項２】
請求項１のコンテンツ再生方法において、
前記特徴点は、体動の開始点、終了点、極大点、極小点、最大ピーク点、または最小ピーク点とすることを特徴とするコンテンツ再生方法。
【請求項３】
請求項１のコンテンツ再生方法において、
前記特徴点は、歩行中のユーザの足の踏み込みタイミングとすることを特徴とするコンテンツ再生方法。
【請求項４】
請求項１のコンテンツ再生方法において、
前記特徴点は、ユーザの体の揺れまたは振りの折り返しタイミングとすることを特徴とするコンテンツ再生方法。
【請求項５】
請求項１のコンテンツ再生方法において、
前記コンテンツは楽曲であり、前記タイミングは楽曲の拍または小節のタイミングとすることを特徴とするコンテンツ再生方法。
【請求項６】
請求項１のコンテンツ再生方法において、
前記コンテンツは動画像であり、前記タイミングは動画像のシーンチェンジまたはカットチェンジのタイミングとすることを特徴とするコンテンツ再生方法。
【請求項７】
請求項１のコンテンツ再生方法において、
前記コンテンツは静止画像であり、前記タイミングは静止画像の切り替えタイミングとすることを特徴とするコンテンツ再生方法。
【請求項８】
請求項１のコンテンツ再生方法において、
前記タイミングを示す情報が、前記コンテンツに対応づけられて記録媒体に記録されていることを特徴とするコンテンツ再生方法。
【請求項９】
請求項１のコンテンツ再生方法において、
前記コンテンツの再生は、コンテンツ素材をつなぎ合わせてコンテンツを生成することによって実行することを特徴とするコンテンツ再生方法。
【請求項１０】
ユーザの体動を検出する検出手段と、
この検出手段によって検出された体動の特徴点、周期またはリズムにコンテンツのタイミングを合わせるようにコンテンツを再生する再生手段と、
を備えるコンテンツ再生装置。
【請求項１１】
請求項１０のコンテンツ再生装置において、
前記検出手段は、ユーザの体の一部、またはユーザが装着または携帯する物品に取り付けられるものであることを特徴とするコンテンツ再生装置。
【請求項１２】
請求項１０のコンテンツ再生装置において、
前記再生手段は、前記コンテンツとしての楽曲の拍または小節のタイミングを、前記検出手段によって検出された体動の特徴点、周期またはリズムに合わせるように、前記コンテンツとしての楽曲を再生することを特徴とするコンテンツ再生装置。
【請求項１３】
請求項１０のコンテンツ再生装置において、
前記再生手段は、前記コンテンツとしての動画像のシーンチェンジまたはカットチェンジのタイミングを、前記検出手段によって検出された体動の特徴点、周期またはリズムに合わせるように、前記コンテンツとしての動画像を再生することを特徴とするコンテンツ再生装置。
【請求項１４】
請求項１０のコンテンツ再生装置において、
前記再生手段は、前記コンテンツとしての静止画像の切り替えタイミングを、前記検出手段によって検出された体動の特徴点、周期またはリズムに合わせるように、前記コンテンツとしての静止画像を再生することを特徴とするコンテンツ再生装置。
【請求項１５】
請求項１０のコンテンツ再生装置において、
前記再生手段は、コンテンツ素材をつなぎ合わせてコンテンツを生成することによってコンテンツを再生することを特徴とするコンテンツ再生装置。
【請求項１】
ユーザの体動を検出し、その体動の特徴点、周期またはリズムにコンテンツのタイミングを合わせるようにコンテンツを再生するコンテンツ再生方法。
【請求項２】
請求項１のコンテンツ再生方法において、
前記特徴点は、体動の開始点、終了点、極大点、極小点、最大ピーク点、または最小ピーク点とすることを特徴とするコンテンツ再生方法。
【請求項３】
請求項１のコンテンツ再生方法において、
前記特徴点は、歩行中のユーザの足の踏み込みタイミングとすることを特徴とするコンテンツ再生方法。
【請求項４】
請求項１のコンテンツ再生方法において、
前記特徴点は、ユーザの体の揺れまたは振りの折り返しタイミングとすることを特徴とするコンテンツ再生方法。
【請求項５】
請求項１のコンテンツ再生方法において、
前記コンテンツは楽曲であり、前記タイミングは楽曲の拍または小節のタイミングとすることを特徴とするコンテンツ再生方法。
【請求項６】
請求項１のコンテンツ再生方法において、
前記コンテンツは動画像であり、前記タイミングは動画像のシーンチェンジまたはカットチェンジのタイミングとすることを特徴とするコンテンツ再生方法。
【請求項７】
請求項１のコンテンツ再生方法において、
前記コンテンツは静止画像であり、前記タイミングは静止画像の切り替えタイミングとすることを特徴とするコンテンツ再生方法。
【請求項８】
請求項１のコンテンツ再生方法において、
前記タイミングを示す情報が、前記コンテンツに対応づけられて記録媒体に記録されていることを特徴とするコンテンツ再生方法。
【請求項９】
請求項１のコンテンツ再生方法において、
前記コンテンツの再生は、コンテンツ素材をつなぎ合わせてコンテンツを生成することによって実行することを特徴とするコンテンツ再生方法。
【請求項１０】
ユーザの体動を検出する検出手段と、
この検出手段によって検出された体動の特徴点、周期またはリズムにコンテンツのタイミングを合わせるようにコンテンツを再生する再生手段と、
を備えるコンテンツ再生装置。
【請求項１１】
請求項１０のコンテンツ再生装置において、
前記検出手段は、ユーザの体の一部、またはユーザが装着または携帯する物品に取り付けられるものであることを特徴とするコンテンツ再生装置。
【請求項１２】
請求項１０のコンテンツ再生装置において、
前記再生手段は、前記コンテンツとしての楽曲の拍または小節のタイミングを、前記検出手段によって検出された体動の特徴点、周期またはリズムに合わせるように、前記コンテンツとしての楽曲を再生することを特徴とするコンテンツ再生装置。
【請求項１３】
請求項１０のコンテンツ再生装置において、
前記再生手段は、前記コンテンツとしての動画像のシーンチェンジまたはカットチェンジのタイミングを、前記検出手段によって検出された体動の特徴点、周期またはリズムに合わせるように、前記コンテンツとしての動画像を再生することを特徴とするコンテンツ再生装置。
【請求項１４】
請求項１０のコンテンツ再生装置において、
前記再生手段は、前記コンテンツとしての静止画像の切り替えタイミングを、前記検出手段によって検出された体動の特徴点、周期またはリズムに合わせるように、前記コンテンツとしての静止画像を再生することを特徴とするコンテンツ再生装置。
【請求項１５】
請求項１０のコンテンツ再生装置において、
前記再生手段は、コンテンツ素材をつなぎ合わせてコンテンツを生成することによってコンテンツを再生することを特徴とするコンテンツ再生装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００６−１１４１７４（Ｐ２００６−１１４１７４Ａ）
【公開日】平成１８年４月２７日（２００６．４．２７）
【国際特許分類】
【出願番号】特願２００４−３０２６８６（Ｐ２００４−３０２６８６）
【出願日】平成１６年１０月１８日（２００４．１０．１８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１８年４月２７日（２００６．４．２７）
【国際特許分類】
【出願日】平成１６年１０月１８日（２００４．１０．１８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]