再生速度同期装置、再生速度同期方法、呼吸分布付きコンテンツのデータ構造、プログラム及び記録媒体
【課題】コンテンツの鑑賞者の呼吸に併せてコンテンツの再生速度を制御し、鑑賞者のコンテンツへの一体感や臨場感などの感覚を制御する。
【解決手段】時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の再生位置である各呼吸目標設定位置に対して予め定められた呼吸状態を特定するための呼吸目標情報と、を含む、呼吸分布付きコンテンツを用い、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される呼吸状態が、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での鑑賞者の呼吸状態に近づくように再生速度を設定する。
【解決手段】時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の再生位置である各呼吸目標設定位置に対して予め定められた呼吸状態を特定するための呼吸目標情報と、を含む、呼吸分布付きコンテンツを用い、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される呼吸状態が、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での鑑賞者の呼吸状態に近づくように再生速度を設定する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンテンツの再生技術に関し、特に、鑑賞者の呼吸にコンテンツの再生位置を同期させる技術に関する。
【背景技術】
【0002】
音楽コンテンツなどの時間軸に沿って進行するコンテンツのテンポに基づいて鑑賞者の呼吸テンポが誘導される(呼吸が引き込まれる)という報告がなされている(例えば、非特許文献1,2等参照)。このコンテンツに呼吸が引き込まれる現象を利用し、例えば、音楽テンポに基づいて鑑賞者の呼吸を誘導する発明や商品開発が行われている。例えば、非特許文献3に開示された装置では、ある目標とする呼吸テンポに誘導、あるいは収束させることを目的として、呈示音の時間長を変化させている。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】F. HAAS, S. Distenfeld and K. Axen, “Effects of perceived musical rhythm on respiratory pattern,” J. Appl Physiol, 1986, 61, pp. 1185-1191
【非特許文献2】中村敏枝, “音楽における「間」と呼吸について,” 日本音響学会音楽音響研究会資料, 1994, MA94, 16
【非特許文献3】”RESPeRATE TO LOWER BLOOD PRESSURE”, [online], [平成21年8月26日検索], インターネット<http://www.resperate.com/us/discover/resperatedemo>
【発明の概要】
【発明が解決しようとする課題】
【0004】
一方、上述したコンテンツに呼吸が引き込まれる現象から、逆に、コンテンツのある場面と鑑賞者の呼吸とが同期することがコンテンツへの一体感や臨場感に関係していると考えられる。ところが、従来検討されていたのは、目標として予め設定された呼吸テンポに誘導、あるいは収束させることを目的として、音楽テンポ等のコンテンツのテンポを設定する方法のみである。呼吸テンポの誘導や収束ではなく、コンテンツの鑑賞者の呼吸に併せてコンテンツのテンポを同期させる方法はこれまで検討されていない。すなわち、従来技術は、コンテンツの場面とその鑑賞者の呼吸との関係が鑑賞者に与える心理的影響を想定しておらず、コンテンツの鑑賞上重要なポイントとなる場面ごとに鑑賞者の呼吸に応じてコンテンツの再生速度を変化させ、同調の度合い(相関)をコントロールするものではない。
【0005】
本発明はこのような点に鑑みてなされたものであり、コンテンツの鑑賞者の呼吸に併せてコンテンツの再生速度を制御し、鑑賞者のコンテンツへの一体感や臨場感などの感覚を制御することが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明では、時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の再生位置である各呼吸目標設定位置に対して予め定められた呼吸状態を特定するための呼吸目標情報と、を含む、呼吸分布付きコンテンツを記憶部に格納し、鑑賞者を計測して得られる呼吸情報から当該鑑賞者の呼吸状態を特定するための呼吸指標を抽出し、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される呼吸状態が、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での鑑賞者の呼吸状態に近づくような再生速度情報を求め、当該再生速度情報で特定される再生速度で各再生位置にそれぞれ対応する各コンテンツ情報を順次再生するための再生情報を出力する。
【発明の効果】
【0007】
本発明では、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される呼吸状態が、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での鑑賞者の呼吸状態に近づくように再生速度を設定するため、コンテンツの鑑賞者の呼吸に併せてコンテンツの再生速度を制御し、鑑賞者のコンテンツへの一体感や臨場感などの感覚を制御することが可能となる。
【図面の簡単な説明】
【0008】
【図1】図1は、再生速度同期装置の機能構成を例示するためのブロック図である。
【図2】図2は、呼吸計測部から出力される呼吸レベルV(t)を例示したグラフである。
【図3】図3は、呼気開始時刻の予測値の一例を説明するための図である。
【図4】図4は、第1実施形態の再生速度演算部の処理機能を例示するための図である。
【図5】図5は、再生速度同期方法を例示するためのフローチャートである。
【図6】図6は、第2実施形態の再生速度演算部の処理機能を例示するための図である。
【図7】図7は、第3実施形態の再生速度演算部の処理機能を例示するための図である。
【図8】図8(A)は、第3実施形態の呼吸指標抽出部が算出する呼吸指標の例を説明するための図である。図8(B)は、呼吸指標φ(t1)と呼吸目標情報Φ(p(t1))とL(t1)との関係を例示した図である。
【図9】図9(A)−(C)は、関数D[L]の具体例を説明するための図である。
【図10】図10は、再生速度同期方法を例示するためのフローチャートである。
【図11】図11は、第5実施形態の再生速度演算部の処理機能を例示するための図である。
【発明を実施するための形態】
【0009】
以下、図面を参照して本発明の実施形態を説明する。
【0010】
〔用語の定義〕
以下のように用語を定義する。
【0011】
コンテンツ:各種音楽、音声、映画やテレビ番組等の動画など、鑑賞目的のための音響情報や映像情報を意味する。
【0012】
コンテンツ情報:コンテンツを構成し、時間軸に沿って順次再生される情報を意味する。
【0013】
再生位置:時間軸に沿って順次再生される各コンテンツ情報の再生位置、つまり、コンテンツ再生における時間軸上の進行位置を意味する。より具体的には、例えば、フレーム位置、サンプル点、タイムコード、ソングポジションポインターなどが再生位置に対応する。
【0014】
ブランク情報(blank):鑑賞対象となるコンテンツ情報が再生されるよりも時間的に前の冒頭区間に再生される、鑑賞対象とならない情報を意味する。ブランク情報の例は、楽曲の演奏が始まる前の区間や楽曲と楽曲との間のポーズ区間の無音状態を示す情報や、映画などの動画コンテンツの再生が開始される前の黒色画面や砂嵐画面(サンドストーム)を示す情報などである。
【0015】
ヌル情報(null):空の情報を意味する。例えば、コンテンツ情報がヌル情報であるとは、コンテンツ情報が存在しないことを意味する。
【0016】
呼吸目標設定位置:予め定められた少なくとも一部の再生位置を意味する。
【0017】
呼吸状態:周期的に行われる呼吸運動中の各状態を意味する。より具体的には、例えば、呼気運動を開始する時点の状態である呼気開始状態、呼気運動中の各時点での呼気状態、呼気運動を終了する時点の状態である呼気終了状態、吸気運動を開始する時点の状態である吸気開始状態、吸気運動中の各時点での吸気状態、吸気運動を終了する時点の状態である吸気終了状態などが呼吸状態に対応する。
【0018】
呼吸情報:コンテンツの鑑賞者の呼吸状態を計測して得られる情報を意味する。より具体的には、例えば、胸部回りや腹部回りの長さ、呼吸の気流量、呼気と吸気の温度差などを意味する。
【0019】
再生速度:ある再生位置Aのコンテンツ情報を再生してから次の再生位置Bのコンテンツ情報を再生するまでに要する時間の逆数を意味する。再生テンポやクロック間隔などに読み替え可能な概念である。
【0020】
〔第1実施形態〕
次に、本発明の第1実施形態を説明する。
【0021】
<構成>
図1は、再生速度同期装置の機能構成を例示するためのブロック図である。
【0022】
図1に例示するように、第1実施形態の再生速度同期装置1は、入力部11と、呼吸分布付きコンテンツ12aを格納する記憶部12と、呼吸計測部13と、呼吸指標抽出部14と、再生速度演算部15と、コンテンツ再生速度制御部16と、再生部17と、制御部19とを有する。
【0023】
[入力部11]
入力部11は、呼吸分布付きコンテンツ12aの入力を受け付ける機能部であり、入力部11の例は、入力ポート、入力インタフェース、読み出し装置、受信装置などである。
【0024】
[呼吸分布付きコンテンツ12a]
呼吸分布付きコンテンツ12aは、時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の再生位置である各呼吸目標設定位置に対して予め定められた呼吸状態を特定するための呼吸目標情報と、を含むデータ構造からなるデータである。
【0025】
本形態の例では、サンプル点を再生位置とし、音程や音の強さを示すMIDIデータをコンテンツ情報とし、呼気運動を開始する時点として望ましいサンプル点(呼吸目標サンプル点)を呼吸目標設定位置とし、呼気開始状態を呼吸目標サンプル点において予め定められた呼吸状態とし、呼吸目標サンプル点における呼気開始状態を特定するための情報を呼吸目標情報とする。例えば、図4に例示する呼吸分布付きコンテンツ12aは、時間軸に沿った各サンプル点τにそれぞれ対応する音程や音の強さを示すMIDIデータであるコンテンツ情報d(τ)と、呼気運動を開始する時点として望ましいサンプル点である各呼吸目標サンプル点に対して定められた呼気開始状態を特定するための呼吸目標情報Bpe(μ)と、を含むデータ構造からなるデータである。ここで、この例のサンプル点τは0以上の整数であり、値が大きいほど遅い時間に対応する。また、この例の呼吸目標情報Bpe(μ)は、それに対応するサンプル点τ(呼吸目標サンプル点)を示す。例えば、呼吸目標サンプル点τ=100に対して定められた呼吸目標情報Bpe(μ)の値は100である。μは説明上便宜的に付した指標であり、各呼吸目標情報Bpe(μ)を識別するための0以上の連続した整数である。値が大きいμほど時間的に後の呼吸目標情報に対応する。また、図4に例示する呼吸分布付きコンテンツ12aは、再生対象のサンプル点τが時間軸に沿って順次更新されながら、各再生対象のサンプル点τに対応するコンテンツ情報が順次再生される。この再生対象のサンプル点τの更新周期をサンプル更新間隔と呼び、予め定められたサンプル更新間隔の標準設定値をS0とする。
【0026】
[記憶部12]
記憶部12は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどの情報記憶装置である。
【0027】
[呼吸計測部13]
呼吸計測部13は、コンテンツの鑑賞者100の呼吸状態を計測し、それによって得られる呼吸情報を出力する周知の装置である。本形態の例では、胸部回りや腹部回りの長さに対応する情報(呼吸レベル)を呼吸情報とし、胸部や腹部に巻き付けられたゴム管の抵抗変化から呼吸を検出する装置(例えば、日本光電製のTR-753Tや、ADInstruments製のMLT1132)を呼吸計測部13とする。この例の呼吸計測部13は、設定されたある任意の周期T1で呼吸レベルV(t)を計測して出力する。なお、tは離散的な時刻に対応する整数インデックスであり、「時刻t」とは整数インデックスtに対応する時刻を意味する。また、V(t)は時刻tでの呼吸レベルを表す。
【0028】
図2は、呼吸計測部から出力される呼吸レベルV(t)を例示したグラフである。
【0029】
図2の例では、呼気が開始される時刻である呼気開始時刻(bpe(n-1)等)で呼吸レベルV(t)が極大となり、呼気状態が進むにつれて呼吸レベルV(t)が減少し、吸気が開始される時刻である吸気開始時刻(bpi(n)等)で呼吸レベルV(t)が極小となり、吸気状態が進むにつれて呼吸レベルV(t)が増加し、次の呼気開始時刻(bpe(n)等)で再び呼吸レベルV(t)が極大となる、といった状態が周期的に繰り返される。
【0030】
[呼吸指標抽出部14]
呼吸指標抽出部14は、例えば、CPU(central processing unit)に所定のプログラムが読み込まれることで構成される処理部である。呼吸指標抽出部14は、鑑賞者を計測して得られる呼吸情報から当該鑑賞者の呼吸状態を特定するための呼吸指標を抽出し、当該呼吸指標を出力するものである。本形態の例の呼吸指標抽出部14は、呼吸計測部13から出力された呼吸レベルV(t)を入力とし、計測対象となる鑑賞者の、時間tからみた直近の未来の呼気開始時刻の予測値pbpe(n)を呼吸指標として出力する。ここで、nは説明上便宜的に付した指標であり、鑑賞者の呼吸回数に対応する整数である。
【0031】
図3は、呼気開始時刻の予測値の一例を説明するための図である。
【0032】
呼気開始時刻の予測値pbpe(n)は、例えば、現在の時刻t=t1からみた直近の過去の呼吸周期を、時刻t=t1からみた直近の未来の呼吸周期と推定して求めることができる。すなわち、呼気開始時刻の予測値pbpe(n)は、例えば以下のように算出することができる。
【0033】
pbpe(n)=bpe(n-1)+(bpe(n-1)-bpe(n-2))
=2・bpe(n-1)-bpe(n-2) …(1)
ここでbpe(n-1)は、呼吸レベルV(t1), V(t1-1), V(t1-2),...を用いて算出された時間tからみた直近の過去の呼気開始時刻を表し、bpe(n-2)は、呼吸レベルV(t1), V(t1-1), V(t1-2),...を用いて算出された呼気開始時刻bpe(n-1)からみた直近の過去の呼気開始時刻を表す。より具体的には、例えば、時刻t=t1からみた直近の呼吸レベルの極大値に対応する時刻をbpe(n-1)とし、呼気開始時刻bpe(n-1)からみた直近の呼吸レベルの極大値に対応する時刻をbpe(n-2)とする(図2参照)。
【0034】
[再生速度演算部15]
再生速度演算部15は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。再生速度演算部15は、呼吸目標情報と呼吸指標とを入力とし、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される呼吸状態が、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での鑑賞者の呼吸状態に近づくように、各再生位置にそれぞれ対応する各コンテンツ情報を時間軸に沿って順次再生する際の再生速度を設定し、設定した再生速度を特定する再生速度情報を出力する。すなわち、再生速度演算部15は、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される呼吸状態と、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での鑑賞者の呼吸状態との相関が高くなるように、コンテンツの再生速度を設定する。なお、設定される再生速度は、鑑賞者の呼吸を誘導するための速度ではなく、コンテンツの進行を鑑賞者の呼吸に同期させるための速度である。
【0035】
図4は、第1実施形態の再生速度演算部の処理機能を例示するための図である。
【0036】
本形態の再生速度演算部15は、サンプル更新間隔を定めることでコンテンツの再生速度を設定する。また、本形態の再生速度演算部15は、呼吸計測部13で呼吸レベルV(t)が得られるたびに、すなわち、周期T1でサンプル更新間隔S(t)を定め、これを再生速度情報として出力する。ここで、p(t)は、時刻tの時点で再生されたコンテンツ情報に対応するサンプル点τを表す。以下、図4を用いて再生速度演算部15の処理を例示する。
【0037】
時刻t=t1の時点で、サンプル点τ=p(t1)に対応するコンテンツ情報d(p(t1))までの再生が終了しているとする。このとき呼吸分布付きコンテンツ12aに含まれるサンプル点τ=p(t1)からみて直近の未来の呼吸目標サンプル点がBpe(m)(μ=m)であり、時刻t=t1の時点で呼吸指標部14から出力された呼気開始時刻の予測値(呼吸指標)がpbpe(n)であったとする。この場合、再生速度演算部15は、呼吸指標抽出部14から出力された呼吸指標である呼気開始時刻の予測値pbpe(n)と、記憶部12に格納された呼吸目標分布付きコンテンツ12aから抽出した呼吸目標サンプル点Bpe(m)及びサンプル点τ=p(t1)とを入力とし、呼気開始時刻の予測値pbpe(n)に、呼吸目標サンプル点Bpe(m)に対応するコンテンツ情報d(τ)の再生時刻が近づくように、サンプル更新間隔S(t1)を以下のように算出して出力する。
【0038】
S(t1)=(pbpe(n)-t1)/(Bpe(m)-p(t1)) …(2)
すなわち、再生速度演算部15は、時刻t1から時刻pbpe(n)までの間に再生対象のサンプル点がp(t1)からBpe(m)まで更新されるようなサンプル更新間隔S(t1)を算出し、当該サンプル更新間隔S(t1)を再生速度情報として出力する。
【0039】
[コンテンツ再生速度制御部16]
コンテンツ再生速度制御部16は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。コンテンツ再生速度制御部16は、再生速度情報とコンテンツ情報とを入力とし、当該再生速度情報で特定される再生速度で各再生位置にそれぞれ対応する各コンテンツ情報を順次再生するための再生情報を出力する。
【0040】
本形態のコンテンツ再生速度制御部16は、再生速度演算部15から出力された再生速度情報であるサンプル更新間隔S(t1)と、記憶部12に格納された呼吸目標分布付きコンテンツ12aから抽出されたコンテンツ情報d(τ)とを入力とし、サンプル更新間隔S(t1)で再生対象のサンプル点τを更新しつつ再生対象のサンプル点τに対応するコンテンツ情報d(τ)を再生するための再生情報r(τ)(音響信号等)を順次出力する。例えば、コンテンツ再生速度制御部16は、サンプル更新間隔S(t1)で再生対象のサンプル点τを更新しつつ再生対象のサンプル点τに対応するコンテンツ情報d(τ)を呼吸目標分布付きコンテンツ12aから順次抽出し、抽出したコンテンツ情報d(τ)を再生するための再生情報r(τ)を順次出力する。
【0041】
[再生部17]
再生部17は、例えば、アンプ、スピーカー、画像表示装置などから構成される周知の呈示装置である。再生部17は、コンテンツ再生速度制御部16から出力された再生情報r(τ)を入力とし、再生情報r(τ)によって特定される音響情報等のコンテンツを出力する。
【0042】
[制御部19]
制御部19は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。制御部19は、再生速度同期装置1の処理全体を制御する。
【0043】
<方法>
次に、本形態の再生速度同期方法を例示する。
【0044】
図5は、再生速度同期方法を例示するためのフローチャートである。
【0045】
まず、入力部11に呼吸分布付きコンテンツ12aが入力され(ステップS11)、記憶部12に格納される(ステップS12)。
【0046】
鑑賞者100に取り付けられた呼吸計測部13が周期T1で鑑賞者100の呼吸状態を計測し、それによって得られた呼吸情報である呼吸レベルV(t1), V(t1-1), V(t1-2),...を出力する(ステップS13)。呼吸レベルV(t1), V(t1-1), V(t1-2),...は呼吸指標抽出部14に入力され、呼吸指標抽出部14は、式(1)に従って呼気開始時刻の予測値pbpe(n)(呼吸指標)を算出し、当該呼気開始時刻の予測値pbpe(n)を出力する(ステップS14)。次に、制御部19が、必要時刻までの呼吸レベルが計測されたか否かを判定する(ステップS14−2)。本形態では、制御部19が1つの呼気開始時刻(bpe(1))を特定できる時刻までの呼吸レベルが計測されたか否かを判定する。ここで、必要時刻までの呼吸レベルが計測されていないと判定された場合にはステップS13の処理に戻る。
【0047】
一方、必要時刻までの呼吸レベルが計測されたと判定された場合、再生速度演算部15は、呼吸指標抽出部14から出力された呼気開始時刻の予測値pbpe(n)と、記憶部12に格納された呼吸目標分布付きコンテンツ12aから抽出した呼吸目標サンプル点Bpe(m)及びサンプル点τ=p(t1)とを入力とし、式(2)に従ってサンプル更新間隔S(t1)(再生速度情報)を算出して出力する(ステップS15)。
【0048】
コンテンツ再生速度制御部16は、再生速度演算部15から出力されたサンプル更新間隔S(t1)と、記憶部12に格納された呼吸目標分布付きコンテンツ12aから抽出されたコンテンツ情報d(τ)とを入力とし、サンプル更新間隔S(t1)で再生対象のサンプル点τを更新しつつ再生対象のサンプル点τに対応するコンテンツ情報d(τ)を再生するための再生情報r(τ)を順次出力する(ステップS16)。
【0049】
再生部17は、コンテンツ再生速度制御部16から出力された再生情報r(τ)を入力とし、再生情報r(τ)によって特定されるコンテンツを出力する(ステップS17)。
【0050】
次に、呼吸計測部13が新たな呼吸レベルV(t1+1)を計測する時刻t=t1+1であるか否かを判定する(ステップS18)。ここで、新たな呼吸レベルV(t1+1)を計測する時刻t=t1+1でないと判定された場合、ステップS16の処理に戻される。一方、新たな呼吸レベルV(t1+1)を計測する時刻t=t1+1であると判定された場合、次に、制御部19が、呼吸分布付きコンテンツ12aが含むすべてのコンテンツ情報d(τ)の再生が終了したか否かを判定する(ステップS19)。
【0051】
ここで、すべてのコンテンツ情報d(τ)の再生が終了していないと判定された場合、t1+1を新たなt1としてステップS13の処理に戻される。一方、コンテンツ情報d(τ)の再生が終了していると判定された場合、処理が終了する。
【0052】
〔第2実施形態〕
第2実施形態は第1実施形態の変形例である。第2実施形態の呼吸分布付きコンテンツは、さらに、再生位置にそれぞれ対応する係数である同期重要度を含み、第2実施形態の再生速度演算部は、さらに同期重要度を入力とし、各同期重要度に対応する再生位置ごとに、当該再生位置に対応する同期重要度に依存する再生速度を定める。
【0053】
なお、第2実施形態以降では、第1実施形態と相違する事項を中心に説明し、第1実施形態と共通する事項については説明を省略する。また、同一の処理部や処理ステップには同一の符号を用い、説明の繰り返しを避ける。
【0054】
<構成>
図1に例示するように、第2実施形態の再生速度同期装置2は、入力部21と、呼吸分布付きコンテンツ22aを格納する記憶部22と、呼吸計測部13と、呼吸指標抽出部14と、再生速度演算部25と、コンテンツ再生速度制御部16と、再生部17と、制御部19とを有する。
【0055】
[入力部21,記憶部22,呼吸分布付きコンテンツ22a]
入力部21は、呼吸分布付きコンテンツ22aの入力を受け付ける機能部であり、記憶部22は、呼吸分布付きコンテンツ22aを格納する。呼吸分布付きコンテンツ22aは、時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の再生位置である各呼吸目標設定位置に対して予め定められた呼吸状態を特定するための呼吸目標情報と、再生位置にそれぞれ対応する係数である同期重要度とを含むデータ構造からなるデータである。ここで、同期重要度は、それに対応する再生位置に対応する呼吸目標情報の重要度を示す。すなわち、同期重要度は、それに対応する再生位置に対応する呼吸目標情報と、その再生位置に対応するコンテンツ情報が再生される時点での鑑賞者100の呼吸と、を同期させる重要度が大きいほど大きな値をとる。第2実施形態の場合、同期重要度は0以上1以下の値に設定されることが望ましい。
【0056】
例えば、図6に例示する呼吸分布付きコンテンツ22aは、時間軸に沿った各サンプル点τ(再生位置)にそれぞれ対応する音程や音の強さを示すMIDIデータであるコンテンツ情報d(τ)と、呼気運動を開始する時点として望ましいサンプル点である各呼吸目標サンプル点に対して定められた呼気開始状態を特定するための呼吸目標情報Bpe(μ)とに加え、さらに、各サンプル点τにそれぞれ対応する係数である同期重要度α(τ)を含むデータ構造からなるデータである。
【0057】
[再生速度演算部25]
再生速度演算部25は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。再生速度演算部25は、呼吸目標情報と同期重要度と呼吸指標を入力とし、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される呼吸状態が、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での鑑賞者の呼吸状態に近づくように、各同期重要度に対応する再生位置ごとに、当該再生位置に対応する同期重要度に依存する再生速度を設定し、設定した再生速度を特定する再生速度情報を出力する。
【0058】
図6は、第2実施形態の再生速度演算部の処理機能を例示するための図である。
【0059】
再生速度演算部25は、呼吸指標抽出部14から出力された呼吸指標である呼気開始時刻の予測値pbpe(n)と、記憶部22に格納された呼吸目標分布付きコンテンツ22aから抽出した呼吸目標サンプル点Bpe(m)、同期重要度α(p(t1))及びサンプル点τ=p(t1)とを入力とし、サンプル点τ=p(t1)の同期重要度α(p(t1))を考慮しつつ、呼気開始時刻の予測値pbpe(n)に、呼吸目標サンプル点Bpe(m)に対応するコンテンツ情報d(τ)の再生時刻が近づくように、サンプル更新間隔S(t1)を以下のように算出する。
【0060】
S(t1)=α(p(t1)){((pbpe(n)-t1)/(Bpe(m)-p(t1)))-S0}+S0 …(3)
ここで、S0は予め定められたサンプル更新間隔の標準設定値であり、α(p(t1)){((pbpe(n)-t1)/(Bpe(m)-p(t1)))-S0}は、サンプル更新間隔の変化量である。すなわち、再生速度演算部25は、同期重要度α(p(t1))が1の場合には、時刻t1から時刻pbpe(n)までの間に再生対象のサンプル点がp(t1)からBpe(m)まで更新されるようなサンプル更新間隔S(t1)を算出する。一方、同期重要度α(p(t1))が0以上1未満の場合、再生速度演算部25は、サンプル更新間隔の標準設定値S0に対する変化量が、同期重要度α(p(t1))が1の場合のものよりも小さなサンプル更新間隔S(t1)を算出する。特に、同期重要度α(p(t1))が0の場合には、S(t1)=S0となる。
【0061】
<方法>
次に、図5を用いて本形態の再生速度同期方法を例示する。
【0062】
第1実施形態との相違点は、ステップS11,12の処理の代わりに、入力部21に呼吸分布付きコンテンツ22aが入力され(ステップS21)、記憶部22に格納される(ステップS22)点、ステップS15の処理の代わりに、再生速度演算部25が、呼吸指標抽出部14から出力された呼気開始時刻の予測値pbpe(n)と、記憶部22に格納された呼吸目標分布付きコンテンツ22aから抽出した呼吸目標サンプル点Bpe(m)、同期重要度α(p(t1))及びサンプル点τ=p(t1)とを入力とし、式(3)に従ってサンプル更新間隔S(t1)(再生速度情報)を算出して出力する(ステップS25)点である。その他は第1実施形態と同一である。
【0063】
〔第1,2実施形態の変形例〕
第1,2実施形態の呼吸指標抽出部14は、式(1)に従って呼気開始時刻の予測値pbpe(n)を算出した。しかし、呼吸指標抽出部が、呼吸レベルV(t)に対して数理モデルを適用して現時点の時刻t=t1よりも未来の呼吸レベルV(t)の予測値(図4に例示した未来の呼吸レベルV(t)を示す点線)を算出し、その呼吸レベルV(t)の予測値を用いて呼気開始時刻の予測値pbpe(n)を算出してもよい。
【0064】
例えば、数理モデルとしてARモデルを利用した場合、時刻tでの呼吸レベルV(t), V(t-1), V(t-2),...から、未来の呼吸レベルの予測値PV(t+1)を以下のように求めることができる。
【0065】
PV(t+1)=a+a0・V(t)+a1・V(t-1)+a2・V(t-2)+...+aj・V(t-j) …(4)
ただし、a, a0, a1, …, ajは線形予測分析によって得られる予測係数である。各予測係数a, a0, a1, …, ajは、呼吸レベルの予測値PV(t+1)と実際の呼吸レベルV(t+1)との差(予測残差)のエネルギーが最小となるように選択される。各予測係数a, a0, a1, …, ajの算出は、例えば、レビンソン・ダービン(Levinson-Durbin)法やバーグ(Burg)法などの逐次的方法によって行われてもよいし、自己相関法や共分散法のように予測次数ごとに連立方程式(予測残差を最小にする線形予測係数を解とする連立方程式)を解くことによって行われてもよい(「守谷健弘著、“音声符号化”、社団法人電子情報通信学会、1998」「日野幹雄著、“スペクトル解析”、朝倉書店、1979」など参照)。また、jは0以上の整数である。jは定数であってもよいし、変数であってもよい。
【0066】
ここで、現時点の時刻t=t1に対して式(4)を適用することで時刻t=t1+1での呼吸レベルの予測値PV(t1+1)が得られる。また、このPV(t1+1)をV(t1+1)とおいて時刻t=t1+1に対して式(4)を適用することで時刻t=t1+2での呼吸レベルの予測値PV(t1+2)が得られる。このような処理を繰り返して式(4)をk回(kは2以上の整数)適用することにより、時刻t=t1+1からt=t1+kまでの各呼吸レベルの予測値PV(t)が得られる。そして、例えば、kを1ずつ増加させながら式(4)を適用して新たな呼吸レベルの予測を算出するたびに、
PV(t1+k-1)-PV(t1+k-2)>0 …(5)
(PV(t1+k)-PV(t1+k-1))・(PV(t1+k-1)-PV(t1+k-2))<0 …(6)
の両式を満たすか否かを判定し、これら両式を初めて満たした時点のkを用い、呼気開始時刻の予測値pbpe(n)を以下の式によって求める。
【0067】
pbpe(n)=t1+k-1 …(7)
【0068】
<方法>
次に、図5を用いて本形態の再生速度同期方法を例示する。
第1実施形態との相違点は、ステップS14−2で制御部19が1つの呼気開始時刻(bpe(1))を特定できる時刻までの呼吸レベルが計測されたか否かを判定する代わりに、j+1個の呼吸レベルV(t)が計測された否かを判定し、Noの場合はステップS13の処理に戻り、Yesの場合にはステップS15(S25)に進む点である。
【0069】
〔第3実施形態〕
本形態は、第1,2実施形態の変形例である。第3実施形態の呼吸目標情報及び呼吸指標は、それぞれ、周期的な呼吸運動の位相を特定するための情報であり、第3実施形態の再生速度演算部は、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される位相と、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での呼吸指標よって特定される位相との差が小さくなるような再生速度を特定する再生速度情報を出力する。
【0070】
<構成>
図1に例示するように、第3実施形態の再生速度同期装置3は、入力部31と、呼吸分布付きコンテンツ32aを格納する記憶部32と、呼吸計測部13と、呼吸指標抽出部34と、再生速度演算部35と、コンテンツ再生速度制御部16と、再生部17と、制御部19とを有する。
【0071】
[入力部31,記憶部32,呼吸分布付きコンテンツ32a]
入力部31は、呼吸分布付きコンテンツ32aの入力を受け付ける機能部であり、記憶部32は、呼吸分布付きコンテンツ32aを格納する。呼吸分布付きコンテンツ32aは、時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の再生位置である各呼吸目標設定位置に対して予め定められた呼吸状態を特定するための呼吸目標情報とを含む。第1,2実施形態との相違点は、呼吸目標情報が周期的な呼吸運動の位相を特定するための情報である点である。
【0072】
例えば、図7に例示する呼吸分布付きコンテンツ32aは、時間軸に沿った各サンプル点τ(再生位置)にそれぞれ対応する音程や音の強さを示すMIDIデータであるコンテンツ情報d(τ)と、すべてのサンプル点τ(呼吸目標設定位置)に対して定められた、各サンプル点τにおいて望ましい「周期的な呼吸運動の位相」を特定するための情報Φ(τ)(呼吸目標情報)と、同期重要度α(τ)とを含むデータ構造からなるデータである。なお、本形態の呼吸目標情報Φ(τ)の具体例については後述する。
【0073】
[呼吸指標抽出部34]
呼吸指標抽出部34は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。呼吸指標抽出部34は、鑑賞者を計測して得られる呼吸情報から当該鑑賞者の周期的な呼吸運動の位相を特定するための情報を呼吸指標として抽出し、当該呼吸指標を出力するものである。
【0074】
図8(A)は、第3実施形態の呼吸指標抽出部が算出する呼吸指標の例を説明するための図である。
【0075】
どのような値を「鑑賞者の周期的な呼吸運動の位相を特定するための情報」として用いるかについては特に制限はない。以下では、呼吸レベルV(t)を1次元目の値とし、その遅延値V(t-γ)を2次元目の値とした直交座標系の空間(相空間)での極座標の偏角を「鑑賞者の周期的な呼吸運動の位相を特定するための情報(呼吸指標φ(t))」として用いる。この場合の呼吸指標抽出部34の時刻tに対応する処理は、例えば以下のようになる。
【0076】
1.呼吸計測部13から出力された時刻tにおける呼吸レベルV(t)を相空間の1次元目の値とする。
【0077】
2.呼吸レベルV(t)を時間遅延フィルターに通して得られる呼吸レベルV(t-γ)を相空間の2次元目の値とする。ここでγは時間遅延フィルターの遅延幅であり、呼吸の場合は200msから800ms程度が望ましい。
【0078】
3.相空間の直行座標系の点(V(t),V(t-γ))を極座標表示した場合の偏角を、呼吸指標φ(t)として求めて出力する(図8(A)参照)。
【0079】
なお、このような値を呼吸指標φ(t)とする場合、予め定められた各サンプル点τにおいて望ましい呼吸指標φ(t)が、当該サンプル点τに対応する呼吸目標情報Φ(τ)(図7参照)として呼吸分布付きコンテンツ32aに設定されている。
【0080】
[再生速度演算部35]
再生速度演算部35は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。再生速度演算部35は、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される位相と、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での呼吸指標よって特定される位相との差が小さくなるような再生速度を特定する再生速度情報を出力する。
【0081】
図7は、第3実施形態の再生速度演算部の処理機能を例示するための図である。
【0082】
本形態の再生速度演算部35は、サンプル更新間隔を定めることでコンテンツの再生速度を設定する。また、本形態の再生速度演算部35は、呼吸計測部13で呼吸レベルV(t)が得られるたびに、すなわち、周期T1でサンプル更新間隔S(t)を定め、これを再生速度情報として出力する。
【0083】
時刻t=t1の時点で、サンプル点τ=p(t1)に対応するコンテンツ情報d(p(t1))までの再生が終了しているとする。このとき呼吸分布付きコンテンツ32aに含まれるサンプル点τ=p(t1)に対応する呼吸目標情報がΦ(p(t1))であり、時刻t=t1の時点で呼吸指標部34から出力された呼吸指標(鑑賞者の周期的な呼吸運動の位相を特定するための情報)がφ(t1)であったとする。再生速度演算部35は、これらの呼吸指標φ(t1)と呼吸目標情報Φ(p(t1))とを入力とし、これらが図8(A)の相空間上でなす角を以下のように符号付きで求める。
【0084】
R(t1)=φ(t1)-Φ(p(t1)) …(8)
If |R(t1)|>π then L(t1)=R(t1)-Sgn(R(t1))・2π else L(t1)=R(t1) …(9)
ただし、Sgn(δ)は符号関数であり、その関数値は、δ<0のときはSgn(δ)=-1となり、δ=0のときはSgn(δ)=0となり、δ>0のときはSgn(δ)=1となる。L(t1)>0の場合、時刻t1において鑑賞者の呼吸が呼吸目標情報の示す呼吸より進んでいることになり、L(t1)<0の場合、時刻t1において鑑賞者の呼吸が呼吸目標情報の示す呼吸より遅れていることになる。図8(B)に、呼吸指標φ(t1)と呼吸目標情報Φ(p(t1))とL(t1)との関係を例示する。なお、図8(B)はL(t1)<0の例である。
【0085】
そして、再生速度演算部35は、時刻t1でのサンプル更新間隔S(t1)を以下のように算出し、これを再生速度情報として出力する。
【0086】
S(t1)=S0/{α(p(t1))・C・L(t1)+1} …(10)
ここで、S0は予め定められたサンプル更新間隔の標準設定値であり、CはC>0を満たす任意の定数である。例えば、取り得るすべてのα(τ),L(t)に対してα(p(t))・C・L(t)+1>0となるように定数Cが定められた場合、再生速度演算部25は、鑑賞者の呼吸が呼吸目標情報の示す呼吸より進んでいる場合(L(t1)>0)に、S0よりも大きなサンプル更新間隔S(t1)を算出し、鑑賞者の呼吸が呼吸目標情報の示す呼吸に同期している場合(L(t1)=0)に、S0と等しいサンプル更新間隔S(t1)を算出し、鑑賞者の呼吸が呼吸目標情報の示す呼吸より遅れている場合(L(t1)<0)に、S0よりも小さなサンプル更新間隔S(t1)を算出する。
【0087】
<方法>
次に、図5を用いて本形態の再生速度同期方法を例示する。
【0088】
第1実施形態との相違点は、ステップS11,12の処理の代わりに、入力部31に呼吸分布付きコンテンツ32aが入力され(ステップS31)、記憶部32に格納される(ステップS32)点、ステップS14の処理の代わりに、呼吸指標抽出部34が、呼吸レベルV(t)を入力として、鑑賞者の周期的な呼吸運動の位相を特定するための情報である呼吸指標φ(t)を生成して出力する(ステップS34)点、ステップS14−2の代わりに、制御部19がλ+1個の呼吸レベルV(t)が計測された否かを判定し、Noの場合はステップS13の処理に戻り、Yesの場合には以下のステップS35に進む(ステップS34−2)点、ステップS15の代わりに、再生速度演算部35が、呼吸指標φ(t1)と呼吸目標情報Φ(p(t1))とを入力とし、式(8)-(10)に従ってサンプル更新間隔S(t1)を算出し、これを再生速度情報として出力する(ステップS35)。その他は第1実施形態と同一である。
【0089】
〔第3実施形態の変形例1〕
第3実施形態の再生速度演算部35は、式(10)に従ってサンプル更新間隔S(t1)を算出した。しかし、式(10)の代わりに、以下の式(11)に従ってサンプル更新間隔S(t1)を算出してもよい。
【0090】
S(t1)=S0/{α(p(t1))・D[L(t1)]+1} …(11)
ただし、D[L(t)]はL(t)に関数D[L]を作用させた関数値である。関数D[L]に応じ、鑑賞者100の呼吸に対するコンテンツの再生速度の追従のさせ方を変化させることができる。
【0091】
図9(A)−(C)は、関数D[L]の具体例を説明するための図である。
【0092】
図9(A)は、
D[L]=C・L …(12)
で示される関数を例示した図である。この場合の関数値D[L(t)]は、L(t)に対して比例関係にある。この例の場合の処理は、第3実施形態と同一となる。
【0093】
図9(B)は、
D[L]=C1*L (L<0) …(13)
D[L]=C2*L (L>=0) …(14)
で示される関数を例示した図である。ただし、C1,C2はC1>C2>0の条件を満たす任意の定数である。この関数D[L]の場合、L(t)>0である場合のL(t)の変化量に対する関数値D[L(t)]の変化量は、L(t)<0である場合のL(t)の変化量に対する関数値D[L(t)]の変化量よりも小さい。この場合、再生速度演算部は、鑑賞者の呼吸の位相が呼吸目標情報の示す呼吸の位相より進んでいる場合(L(t1)>0)のサンプル更新間隔の調整(再生速度を速くする調整)よりも、鑑賞者の呼吸の位相が呼吸目標情報の示す呼吸の位相より遅れている場合(L(t1)<0)のサンプル更新間隔の調整(再生速度を遅くする調整)を強調した処理を行うことになる。すなわち、絶対値が等しいL(t1)に対し、L(t1)<0の場合のS0に対するS(t1)の変化量は、L(t1)>0の場合のS0に対するS(t1)の変化量よりも大きい。
【0094】
図9(C)は、
D[L]=SIN(L) …(15)
で示される関数を例示した図である。この関数D[L]の場合、再生速度演算部は、図9(A)の関数D[L]を用いる場合に比べ、鑑賞者の呼吸と呼吸目標情報の示す呼吸との位相差が大きくなってもサンプル更新間隔の変化量をさほど増加させないことになる。
【0095】
すなわち、図9(B),(C)のように関数値D[L(t)]がL(t)に対して比例関係にない場合、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される位相と、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での呼吸指標よって特定される位相との差の変化量に対する再生速度の変化量(サンプル更新間隔の変化量)は、当該呼吸目標設定位置に対応する呼吸目標情報によって特定される位相に対する、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での呼吸指標よって特定される位相の相対値(L(t))に依存することになる。
【0096】
〔第3実施形態の変形例2〕
第3実施形態及びその変形例1では、呼吸指標抽出部が、現時点の時刻t=t1での呼吸指標φ(t)を出力し、再生速度演算部が、現時点の時刻t=t1での呼吸指標φ(t)(鑑賞者の周期的な呼吸運動の位相を特定するための情報)に、時刻t=t1の時点で再生対象となるサンプル点τ=p(t1)に対応する呼吸目標情報Φ(p(t1))が近づくようにサンプル更新間隔S(t1)を定めた。しかし、呼吸指標抽出部が、呼吸レベルV(t)から求めた呼吸指標φ(t)に対して数理モデルを適用して現時点の時刻t=t1よりも未来の呼吸指標φ(t)の予測値を算出し、再生速度演算部が、その呼吸指標φ(t)の予測値を用いてサンプル更新間隔を定めてもよい。
【0097】
例えば、数理モデルとしてARモデルを利用した場合、時刻tまでに時間間隔T1で抽出された呼吸指標φ(t), φ(t-1), φ(t-2),…から、未来の呼吸指標の予測値pφ(t+1)を以下のように求めることができる。
【0098】
pφ(t+1)=a+a0・φ(t)+a1・φ(t-1)+a2・φ(t-2),...,aj・φ(t-j) …(16)
前述のように、a, a0, a1, …, ajは線形予測分析によって得られる予測係数である。また、各予測係数a, a0, a1, …, ajは、呼吸レベルの予測値PV(t+1)と実際の呼吸レベルV(t+1)との差(予測残差)のエネルギーが最小となるように選択される。また、jは0以上の整数である。jは定数であってもよいし、変数であってもよい。
【0099】
ここで、現時点の時刻t=t1に対して式(16)を適用することで時刻t=t1+1での呼吸指標の予測値pφ(t1+1)が得られる。また、このpφ(t1+1)をφ(t1+1)とおいて時刻t=t1+1に対して式(16)を適用することで時刻t=t1+2での呼吸指標の予測値pφ(t1+2)が得られる。このような処理を繰り返して式(16)をq回(qは1以上の整数)適用することにより、時刻t=t1+1からt=t1+qまでの各呼吸指標の予測値pφ(t)が得られる。呼吸指標抽出部は、呼吸指標の予測値pφ(t1+q)を出力する。
【0100】
この場合、再生速度演算部は、呼吸指標の予測値pφ(t1+q)を入力とし、時刻t=t1+qに再生対象となると予想される呼吸分布付きコンテンツ32aのサンプル点τ=pp(t1+q)を、呼吸指標の予測値pφ(t1+q)と現時点の時刻t=t1に対して算出されたサンプル更新間隔S(t1)とから、以下のように求める。
【0101】
pp(t1+q)=p(t1)+T1・q/S(t1) …(17)
ただし再生開始時などS(t1)が存在しない場合は、以下のようにサンプル点τ=pp(t1+q)を求める。
【0102】
pp(t1+q)=p(t1)+T1・q/S0 …(18)
そして、再生速度演算部は、このように求めたサンプル点τ=pp(t1+q)に対応する呼吸目標情報Φ(pp(t1+q))を呼吸分布付きコンテンツ32aから抽出し、これと呼吸指標の予測値pφ(t1+q)とを用い、サンプル更新間隔S(t1+q)を以下のように求める。
【0103】
R(t1+q)=pφ(t1+q)-Φ(pp(t1+q)) …(19)
If |R(t1+q)|>π then L(t1)=R(t1+q)-Sgn(R(t1+q))・2π
else L(t1+q)=R(t1+q) …(20)
S(t1+q)=S0/{α(pp(t1+q))・C・L(t1+q)+1} …(21)
或いは、式(21)の代わりに以下の式(22)を用いてもよい。
【0104】
S(t1+q)=S0/{α(pp(t1+q))・D[L(t1+q)]+1} …(22)
〔第3実施形態の変形例3〕
また、第3実施形態の変形例2の変形として、第1,2実施形態の変形例と同様に、呼吸指標抽出部が、呼吸レベルV(t)に対して数理モデルを適用して現時点の時刻t=t1よりも未来の時刻t=t1+qでの呼吸レベルV(t1+q)の予測値を算出し、呼吸指標抽出部が、未来の時刻t=t1+qでの呼吸指標φ(t1+q)を生成して出力し、再生速度演算部が、未来の時刻t=t1+qでの呼吸指標φ(t)(鑑賞者の周期的な呼吸運動の位相を特定するための情報)に、時刻t=t1+qの時点で再生対象となるサンプル点τ=p(t1+q)に対応する呼吸目標情報Φ(p(t1+q))が近づくようにサンプル更新間隔S(t1+q)を定めてもよい。
【0105】
〔第3実施形態の変形例4〕
第3実施形態では、呼吸レベルV(t)を1次元目にとり、その遅延値V(t-γ)を2次元目にとる相空間表現を用いる例を示した。しかし、第3実施形態、その変形例1−3においてその他の相空間表現を用いてもよい。例えば、呼吸レベルV(t)を1次元目にとり、V(t)のヒルベルト変換値(一般的に解析信号と呼ばれる)を2次元目にとる相空間での位相を特定する情報を呼吸指標としてもよい(例えば、「K. Kotani, K. Takamasu, Y. Jimbo, Y. Yamamoto, “Postural-induced phase shift of respiratory sinus arrhythmia and blood pressure variations: insight from respiratory-phase domain analysis,” Am. J. Physiol. Heart. Circ. Physiol. , Vol. 294, pp. H1481-H1489, 2008」参照)。また、呼吸レベルV(t)の微分値W(t)が得られる場合には、呼吸レベルV(t)を1次元目にとり、呼吸レベルV(t)の微分値W(t)を2次元目にとってもよい。また、呼吸レベルV(t)の微分値W(t)が得られない場合には、呼吸レベルV(t)を差分フィルターに通した擬似的な微分値(例えばV(t)-V(t-1))/T1)を2次元目にとってもよい(例えば、日本光電製のTR-712を用いるとW(t)に相当する値を計測することができる)。
【0106】
〔第3実施形態の変形例5〕
第3実施形態やその変形例1−4において、|L(t1)|>Zの場合に再生速度演算部で生成されるサンプル更新間隔S(t1)がS0に対して50%以上変化するよう、同期重要度α(τ) をすべてのサンプル点τに渡って
α(τ)>1/(C・Z) …(23)
とする。例えば、Z=0.05・πの場合、同期重要度α(τ) をすべてのサンプル点τに渡って
α(τ)>1/(C・0.05・π) …(24)
とする。
【0107】
これにより、コンテンツ再生時においてΦ(τ)がφ(p(t1))に十分一致し、再生位置は十分に鑑賞者の呼吸に追従することとなる。
【0108】
〔第3実施形態の変形例6〕
第3実施形態やその変形例1−4において、呼吸分布付きコンテンツが同期重要度α(τ)を含まない構成であってもよい。この場合、再生速度演算部が行う演算中の同期重要度α(τ)は、すべて1などの定数と置き換えればよい。
【0109】
〔第4実施形態〕
第4実施形態は、第3実施形態やその変形例1−6に対する変形例であり、再生速度演算部が、現時点の呼吸指標よって特定される位相と、「特定の呼吸目標設定位置」に対応する呼吸目標情報によって特定される位相との差が閾値以下となった場合に、特定の呼吸目標設定位置以降の各再生位置にそれぞれ対応する各コンテンツ情報を時間軸に沿って順次再生する際の再生速度を特定する再生速度情報の出力を開始し、コンテンツ再生速度制御部が、現時点の呼吸指標よって特定される位相と、「特定の呼吸目標設定位置」に対応する呼吸目標情報によって特定される位相との差が閾値以下となった場合に、当該再生速度情報で特定される再生速度で、「特定の呼吸目標設定位置」以降の各再生位置にそれぞれ対応する各コンテンツ情報を順次再生するための再生情報の出力を開始する。以下では、一例として、「特定の呼吸目標設定位置」を先頭のコンテンツ情報d(τ)のサンプル点τ=0(図7参照)とし、「閾値」を0とする場合を説明する。この場合、呼吸指標抽出部から出力された現時点の呼吸指標φ(t1)よって特定される位相と、呼吸目標情報Φ(0)によって特定される位相とが等しくなった場合に、コンテンツ情報の再生が開始されることになる。
【0110】
<構成>
図1に例示するように、第4実施形態の再生速度同期装置4は、入力部31と、呼吸分布付きコンテンツ32aを格納する記憶部32と、呼吸計測部13と、呼吸指標抽出部34と、再生速度演算部45と、コンテンツ再生速度制御部46と、再生部17と、制御部19とを有する。
【0111】
[再生速度演算部45]
再生速度演算部45は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。再生速度演算部45は、コンテンツ情報d(τ)の再生開始前に、呼吸目標分布付きコンテンツ32aから先頭のコンテンツ情報d(0)に対応する呼吸目標情報Φ(0)を読み出し、呼吸指標抽出部34から出力された現時点の呼吸指標φ(t1)よって特定される位相と、読み出した呼吸目標情報Φ(0)によって特定される位相とが等しくなった場合に、サンプル点τ=0以降の各サンプルτにそれぞれ対応するサンプル更新間隔S(t)の生成と出力を開始する。なお、サンプル更新間隔の生成方法は、第3実施形態やその変形例1−6と同じでよい。
【0112】
[コンテンツ再生速度制御部46]
コンテンツ再生速度制御部46は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。コンテンツ再生速度制御部46は、呼吸指標抽出部34から出力された現時点の呼吸指標φ(t1)よって特定される位相と、呼吸目標情報Φ(0)によって特定される位相とが等しくなった場合に、サンプル更新間隔S(t)で特定される再生速度で、サンプル点τ=0以降の各サンプル点τにそれぞれ対応する各コンテンツ情報d(τ)を順次再生するための再生情報r(τ)の出力を開始する。
【0113】
<方法>
次に、本形態の再生速度同期方法を例示する。
【0114】
図10は、再生速度同期方法を例示するためのフローチャートである。
【0115】
まず、第3実施形態で説明したステップS31,S32の処理が行われる。次に、第1実施形態で説明したステップS13と同様に、呼吸計測部13が周期T1で鑑賞者100の呼吸状態を計測し、それによって得られた呼吸情報である呼吸レベルV(t1), V(t1-1), V(t1-2),...を出力し(ステップS43)、第3実施形態で説明したステップS34と同様に、呼吸指標抽出部34が、呼吸レベルV(t)を入力として、鑑賞者の周期的な呼吸運動の位相を特定するための情報である呼吸指標φ(t)を生成して出力する(ステップS44)。この時点ではコンテンツ情報d(τ)の再生が開始されていない。
【0116】
再生速度演算部45は、呼吸目標分布付きコンテンツ32aから先頭のコンテンツ情報d(0)に対応する呼吸目標情報Φ(0)を読み出し、呼吸指標抽出部34から出力された現時点の呼吸指標φ(t1)よって特定される位相と、読み出した呼吸目標情報Φ(0)によって特定される位相とが等しいか否かを判定する(ステップS48)。ここで、これらが等しくないと判定された場合には、ステップS43の処理に戻る。
【0117】
一方、これらが等しいと判定された場合には、再生速度演算部45が、呼吸指標φ(t1)と呼吸目標情報Φ(p(t1))とを入力とし、式(8)-(10)に従ってサンプル更新間隔S(t1)を算出し、これを再生速度情報として出力する(ステップS35)。そして、第1実施形態で説明したステップS16−S19の処理が実行され、ステップS19においてすべてのコンテンツ情報d(τ)の再生が終了していないと判定された場合、t1+1を新たなt1としてステップS13、S34、S35、S16−S19の処理が繰り返される。一方、コンテンツ情報d(τ)の再生が終了していると判定された場合、処理が終了する。
【0118】
なお、本形態では、一例として、「特定の呼吸目標設定位置」を先頭のコンテンツ情報d(τ)のサンプル点τ=0とし、「閾値」を0とする場合を説明した。しかし、「特定の呼吸目標設定位置」を、その他の位置のコンテンツ情報d(τ)の先頭のサンプル点τとしてもよい。例えば、コンテンツ情報に対応するサンプル点よりも時間的に前に位置する、コンテンツ情報が対応付けられていないサンプル点を「特定の呼吸目標設定位置」としてもよい。また、正の値を「閾値」としてもよい。
【0119】
〔第5実施形態〕
第5実施形態は、第3実施形態やその変形例1−6に対する変形例である。第5実施形態の呼吸分布付きコンテンツの一部の再生位置に対応するコンテンツ情報は、ヌル情報又はブランク情報であり、呼吸分布付きコンテンツの一部の呼吸目標情報は、ヌル情報又はブランク情報であるコンテンツ情報に対応する呼吸目標設定位置に対して定められている。本形態の再生速度演算部は、さらに、ヌル情報又はブランク情報であるコンテンツ情報に対応する呼吸目標設定位置に対応する呼吸目標情報によって特定される位相と、現時点の呼吸指標よって特定される位相との差が小さくなるように、当該ヌル情報又はブランク情報であるコンテンツ情報に対応する再生位置の更新間隔を特定する第2再生速度情報を出力し、本形態のコンテンツ再生速度制御部は、さらに、第2再生速度情報を入力とし、第2再生速度情報で特定される更新間隔で、ヌル情報又はブランク情報であるコンテンツ情報に対応する再生位置を時間軸に沿って更新する。
【0120】
これにより、コンテンツ情報が再生されていない期間、又は、ブランク情報であるコンテンツ情報が再生されている期間に、コンテンツ情報の再生位置を鑑賞者100の呼吸に同期させることができ、その期間の後に再生される実質的なコンテンツ情報の再生が開始される時点での、当該コンテンツ情報と鑑賞者100の呼吸との相関を高くすることができる。
【0121】
<構成>
図1に例示するように、第5実施形態の再生速度同期装置5は、入力部51と、呼吸分布付きコンテンツ52aを格納する記憶部52と、呼吸計測部13と、呼吸指標抽出部34と、再生速度演算部55と、コンテンツ再生速度制御部56と、再生部17と、制御部19と、を有する。
【0122】
[入力部51,記憶部52,呼吸分布付きコンテンツ52a]
入力部51は、呼吸分布付きコンテンツ52aの入力を受け付ける機能部であり、記憶部52は、呼吸分布付きコンテンツ52aを格納する。呼吸分布付きコンテンツ52aの一部の再生位置に対応するコンテンツ情報は、ヌル情報又はブランク情報であり、呼吸分布付きコンテンツ52aの一部の呼吸目標情報は、ヌル情報又はブランク情報であるコンテンツ情報に対応する呼吸目標設定位置に対して定められている。
【0123】
例えば、図11に例示する呼吸分布付きコンテンツ52aでは、サンプル点τ=0,...,b-1(再生位置)に対応するコンテンツ情報d(0),...,d(b-1)は、それぞれヌル情報又はブランク情報であり、サンプル点τ=b以降の各サンプル点に対応するコンテンツ情報d(b),d(b+1),...は、それぞれ対応する音程や音の強さを示すMIDIデータである。なお、bは1以上の整数である。また、すべてのサンプル点τ(呼吸目標設定位置)には、各サンプル点τにおいて望ましい「周期的な呼吸運動の位相」を特定するための情報Φ(τ)(呼吸目標情報)と、同期重要度α(τ)とが対応付けられている。
【0124】
[再生速度演算部55]
本形態の再生速度演算部55は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。再生速度演算部55は、第3実施形態やその変形例1−6と同様にサンプル更新間隔を再生速度情報として出力することに加え、さらに、ヌル情報又はブランク情報であるコンテンツ情報に対応する呼吸目標設定位置に対応する呼吸目標情報によって特定される位相と、現時点の呼吸指標よって特定される位相との差が小さくなるように、当該ヌル情報又はブランク情報であるコンテンツ情報に対応する再生位置の更新間隔を特定するサンプル更新間隔を第2再生速度情報として出力する。第2再生速度情報であるサンプル更新間隔の生成方法は、対処となる呼吸目標設定位置がヌル情報又はブランク情報であるコンテンツ情報に対応すること以外、第3実施形態やその変形例1−6で説明したサンプル更新間隔の生成方法と同様である。
【0125】
図11は、第5実施形態の再生速度演算部の処理機能を例示するための図である。
【0126】
図11の例の場合、再生速度演算部55は、サンプル点τ=b以降のコンテンツ情報d(τ)の再生が開始されるまで、呼吸分布付きコンテンツ52aのサンプル点τ=0,...,b-1に対して定められた呼吸目標情報Φ(0),...,Φ(b-1)と同期重要度α(0),...,α(b-1)と、呼吸指標抽出部34から出力された現時点の時刻t=t2での呼吸指標φ(t2)とを用い、第3実施形態やその変形例1−6で説明したのと同様の処理(t1をt2に置き換えた処理)により、サンプル更新間隔S(t2)(第2再生速度情報)を生成して出力する。また、サンプル点τ=b以降のコンテンツ情報d(τ)の再生が開始された後、再生速度演算部55は、第3実施形態やその変形例1−6で説明したサンプル更新間隔S(t1)を生成して出力する。なお、図11では、ヌル情報又はブランク情報であるコンテンツ情報が再生されている各時点の各時刻をt=t2と表現し、鑑賞対象となるコンテンツ情報が再生されている各時点の時刻を第3実施形態やその変形例1−6と同様にt=t1と表現する。
【0127】
[コンテンツ再生速度制御部56]
本形態のコンテンツ再生速度制御部56は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。コンテンツ再生速度制御部56は、サンプル更新間隔S(t2)(第2再生速度情報)を入力とし、サンプル更新間隔S(t2)で特定される更新間隔で、ヌル情報又はブランク情報であるコンテンツ情報に対応する再生位置を時間軸に沿って更新する。この更新によって再生位置が鑑賞対象のコンテンツ情報に対応する位置に達した場合、コンテンツ再生速度制御部56は、第3実施形態やその変形例1−6のコンテンツ再生速度制御部と同じ処理を開始する。
【0128】
図11の例の場合、コンテンツ再生速度制御部56は、順次入力される各時刻t=t2のサンプル更新間隔S(t2)を用い、サンプル更新間隔S(t2)で特定される更新間隔でサンプル点をτ=0からτ=b-1まで更新する。そして、サンプル点がτ=bに達した以降、コンテンツ再生速度制御部56は、順次入力される各時刻t=t1のサンプル更新間隔S(t1)を用い、第3実施形態やその変形例1−6のコンテンツ再生速度制御部と同様な再生情報r(τ)を出力する。
【0129】
〔第6実施形態〕
第6実施形態は、第1−5実施形態やそれらの変形例に対する変形例である。第6実施形態の再生速度演算部は、コンテンツ情報の再生位置を逆戻りさせるような再生速度情報を設定しない。すなわち、本形態の再生速度演算部が設定する再生速度は、再生位置を更新せずに再生を行うことを示すか、又は、再生位置を未来に向かって更新しつつ再生することを示す。例えば、第6実施形態の再生速度演算部は、第1−5実施形態やそれらの変形例で説明したよう方法で算出されたサンプル更新間隔が0未満となった場合にサンプル更新間隔を0として出力する。或いは、第6実施形態の再生速度演算部が第3−5実施形態やそれらの変形例と同様にサンプル更新間隔を算出する場合、再生速度演算部が算出するサンプル更新間隔が必ず0以上となるように、呼吸目標分布付きコンテンツの同期重要度α(τ)の範囲を制限しておく。例えば、式(10)によってサンプル更新間隔が算出される場合には、同期重要度α(τ)の範囲は以下のように制限される。
【0130】
-1/(C・π)<α(τ)<1/(C・π) …(25)
〔その他の変形例〕
本発明は上述の実施の形態に限定されるものではない。
【0131】
例えば、上記の各実施形態やその変形例では、サンプル点に呼吸目標情報や同期重要度が対応付けられた呼吸目標分布付きコンテンツを例示した。しかし、呼吸目標情報や同期重要度が何れかの再生位置に対応付けられるのであれば、必ずしも、サンプル点に呼吸目標情報や同期重要度が対応付けられている必要はない。例えば、呼吸目標情報や同期重要度がコンテンツのサンプリング周波数と同じかその(1/自然数)倍の周波数で呼吸目標分布付きコンテンツに分布して記録されていても良いし、任意の間隔で記録されていても良い。任意の間隔で記録する際は、例えば、コンテンツ情報の開始点を特定する始点情報と、当該始点情報に対する呼吸目標情報や同期重要度の相対位置Δを特定する情報とを呼吸目標分布付きコンテンツに格納しておけばよい。また、呼吸目標情報や同期重要度は、離散データある必要もなく、アナログ的に記録されていても良い。また、呼吸目標情報や同期重要度は、コンテンツ全体に定義される必要もなく、その一部分にだけに対して定義されていてもよい。
【0132】
また、上記の各実施形態やその変形例では、再生速度演算部から出力される再生速度情報の具体例としてサンプル更新間隔を例示した。しかし、これは本発明を限定するものではなく、テンポ情報、フレーム位置、クロック周波数等、再生時間(速度)を調節できる信号を再生速度情報としてもよい。
【0133】
また、上記の各実施形態やその変形例では、呼吸計測部から出力される呼吸情報の具体例として呼吸レベルを例示した。しかし、例えば、呼吸レベルの微分値などを呼吸情報としてもよい。なお、呼吸レベルの微分値は、例えば、呼吸の気流量を検出して得られる。
【0134】
また、上記の各実施形態やその変形例では、コンテンツ情報の具体例として、音程や音の強さを示すMIDIデータを示した。しかし、音楽、音声、映画やテレビ番組等の動画など、鑑賞目的のための音響情報や映像情報を特定するその他のデータがコンテンツ情報であってもよい。また、コンテンツ再生速度制御部は、再生速度が変わっても、音であればピッチや音質を変更しない、映像であればコマ送りや早送りによる映像の乱れを抑える等の処理を含む再生時間制御処理を行うことが望ましい。
【0135】
第2実施形態では、0以上1以下の値の同期重要度が好ましいことを示した。しかし、これは本発明を限定するものではなく、同期重要度が0未満であってもよいし、1よりも大きくてもよい。これにより、コンテンツの再生方法のバリエーションを増やし、楽しみ方の選択肢を増やすことができる。例えば、同期重要度を0未満とすることで、鑑賞者にとって違和感のあるコンテンツ再生が可能となり、芸術的表現の幅が広がる。また、すべての実施形態やその変形例において、再生速度演算部が、呼吸目標分布付きコンテンツの同期重要度の符号を反転させた値を、再生速度を算出するための同期重要度として用いる構成でもよい。これにより、違和感のあるコンテンツ再生が可能となる。また、呼吸目標分布付きコンテンツの同期重要度の符号を反転させるか否かを選択できる構成であってもよい。
【0136】
また、上記の各実施形態やその変形例では、呼吸計測部が呼吸情報を出力するたびに、呼吸指標抽出部が呼吸指標を生成し、再生速度演算部がサンプル更新間隔を定めることとしたが、その他のタイミングでこれらの処理が行われてもよい。例えば、呼吸計測部が呼吸情報を生成する周期T1の整数倍(2倍以上)の周期で呼吸指標やサンプル更新間隔を生成してもよいし、再生されるコンテンツ情報に対応する再生位置や呼吸目標設定位置ごとに呼吸指標やサンプル更新間隔をしてもよい。
【0137】
また、図1に例示したブロック図の各ブロックは概念的に区切られた処理区分であり、それぞれが独立した装置として存在する必要はない。また、各ブロックが1つの装置として構成されている必要もなく、複数の装置に分散して配置されていてもよい。
【0138】
また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【0139】
〔各実施形態の特徴〕
各実施形態により得られる効果を列挙する。
【0140】
全実施形態及びその変形例では、呼吸目標分布付きコンテンツの任意の再生位置である呼吸目標設定位置に対して呼吸目標情報を設定しておき、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される呼吸状態が、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での鑑賞者の呼吸状態に近づくように、コンテンツの再生速度を制御することとした。そのため、全実施形態及びその変形例では、所望の呼吸目標設定位置において、呼吸目標情報によって特定される呼吸状態と鑑賞者の呼吸状態との相関を高めることができる。これにより、コンテンツ鑑賞における一体感や臨場感の高さといった満足度を高めることができる。
【0141】
第2実施形態などのように、呼吸分布付きコンテンツがさらに再生位置にそれぞれ対応する係数である同期重要度を含み、当該同期重要度を考慮して再生速度を制御する場合、呼吸目標情報によって特定される呼吸状態と鑑賞者の呼吸状態との相関の高さを、同期重要度が設定された再生位置ごとに調整することが可能となる。これにより、鑑賞者の呼吸と一致させたい再生位置、鑑賞者の呼吸と一致させる必要の低い再生位置等を定義でき、再生位置毎に実現される相関をある程度調節することが可能となる。例えば、鑑賞者の呼吸状態に追従させる必要性が低い再生位置に対しては鑑賞者の呼吸状態に関係なく通常通りの再生速度で再生を行い、鑑賞者の呼吸状態に追従させる必要性が高い再生位置に対しては吸目標情報によって特定される呼吸状態を鑑賞者の呼吸状態に追従させる再生速度で再生するなどの制御ができる。また、同じコンテンツであっても呼吸目標情報や同期重要度の設定方法を変えることにより、コンテンツ再生のバリエーションを増やすことが可能となり、楽しみ方の選択枝を拡げることができる。
【0142】
第3−5実施形態やそれらの変形例では、呼吸目標情報及び呼吸指標を、それぞれ、周期的な呼吸運動を相空間表現した場合の位相を特定するための情報とし、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される位相と、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での呼吸指標よって特定される位相との差が小さくなるような再生速度を制御することとした。これにより、吸気の途中といった(呼気開始点やテンポといった時間離散的な指標では表されない)中間状態での同期を可能とする。また、この場合、呼吸レベルを直接用いる場合に比べ、鑑賞者個々の体格などに依存する呼吸振幅などの同期とは直接関係ない特性による再生速度の影響を軽減できる。
【0143】
第3実施形態の変形例1では、関数D[L]の形状を変えることにより、様々な特徴を持つ再生速度の調節が可能となる。例えば、図9(B)に例示した関数D[L]を用いた場合には、再生速度を早くする制御よりも再生速度を遅くする制御が強調されるため、音楽的なため(間)が強調される。その他、D[L]として人間の感性に合致した関数を導入することにより、より自然な再生速度調節が可能となる。
【0144】
第3実施形態の変形例5では、再生位置が十分に鑑賞者の呼吸に追従する。そのため、例えば、再生リズムを呼吸により任意にコントロールする再生速度コントロール装置(ある種の指揮システム)として機能させることが可能である。
【0145】
第4、5実施形態では、コンテンツの開始当初から、呼吸目標情報が示す呼吸状態と鑑賞者の呼吸状態との相関が高い状態で、コンテンツ再生を行うことができる。特に、第5実施形態の場合には、コンテンツ開始点での特別な同期処理を行うことなく、第1−3実施形態やその変形例と同じ処理ループで開始点での同期を実現できる。
【0146】
第6実施形態では、再生速度が負とならぬように制限するため、コンテンツの時間的な前後関係を乱すことなくコンテンツ再生を行うことができる。
【0147】
〔プログラム,データ構造,記録媒体〕
上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。
【0148】
また、処理内容を記述したプログラムや前述したデータ構造の呼吸目標分布付きコンテンツは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【0149】
また、プログラムや呼吸目標分布付きコンテンツの流通は、例えば、プログラムや呼吸目標分布付きコンテンツを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、プログラムや呼吸目標分布付きコンテンツをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにや呼吸目標分布付きコンテンツを転送することにより、これら流通させる構成としてもよい。
【0150】
また、上述の各実施形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【符号の説明】
【0151】
1−5 再生速度同期装置
【技術分野】
【0001】
本発明は、コンテンツの再生技術に関し、特に、鑑賞者の呼吸にコンテンツの再生位置を同期させる技術に関する。
【背景技術】
【0002】
音楽コンテンツなどの時間軸に沿って進行するコンテンツのテンポに基づいて鑑賞者の呼吸テンポが誘導される(呼吸が引き込まれる)という報告がなされている(例えば、非特許文献1,2等参照)。このコンテンツに呼吸が引き込まれる現象を利用し、例えば、音楽テンポに基づいて鑑賞者の呼吸を誘導する発明や商品開発が行われている。例えば、非特許文献3に開示された装置では、ある目標とする呼吸テンポに誘導、あるいは収束させることを目的として、呈示音の時間長を変化させている。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】F. HAAS, S. Distenfeld and K. Axen, “Effects of perceived musical rhythm on respiratory pattern,” J. Appl Physiol, 1986, 61, pp. 1185-1191
【非特許文献2】中村敏枝, “音楽における「間」と呼吸について,” 日本音響学会音楽音響研究会資料, 1994, MA94, 16
【非特許文献3】”RESPeRATE TO LOWER BLOOD PRESSURE”, [online], [平成21年8月26日検索], インターネット<http://www.resperate.com/us/discover/resperatedemo>
【発明の概要】
【発明が解決しようとする課題】
【0004】
一方、上述したコンテンツに呼吸が引き込まれる現象から、逆に、コンテンツのある場面と鑑賞者の呼吸とが同期することがコンテンツへの一体感や臨場感に関係していると考えられる。ところが、従来検討されていたのは、目標として予め設定された呼吸テンポに誘導、あるいは収束させることを目的として、音楽テンポ等のコンテンツのテンポを設定する方法のみである。呼吸テンポの誘導や収束ではなく、コンテンツの鑑賞者の呼吸に併せてコンテンツのテンポを同期させる方法はこれまで検討されていない。すなわち、従来技術は、コンテンツの場面とその鑑賞者の呼吸との関係が鑑賞者に与える心理的影響を想定しておらず、コンテンツの鑑賞上重要なポイントとなる場面ごとに鑑賞者の呼吸に応じてコンテンツの再生速度を変化させ、同調の度合い(相関)をコントロールするものではない。
【0005】
本発明はこのような点に鑑みてなされたものであり、コンテンツの鑑賞者の呼吸に併せてコンテンツの再生速度を制御し、鑑賞者のコンテンツへの一体感や臨場感などの感覚を制御することが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明では、時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の再生位置である各呼吸目標設定位置に対して予め定められた呼吸状態を特定するための呼吸目標情報と、を含む、呼吸分布付きコンテンツを記憶部に格納し、鑑賞者を計測して得られる呼吸情報から当該鑑賞者の呼吸状態を特定するための呼吸指標を抽出し、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される呼吸状態が、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での鑑賞者の呼吸状態に近づくような再生速度情報を求め、当該再生速度情報で特定される再生速度で各再生位置にそれぞれ対応する各コンテンツ情報を順次再生するための再生情報を出力する。
【発明の効果】
【0007】
本発明では、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される呼吸状態が、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での鑑賞者の呼吸状態に近づくように再生速度を設定するため、コンテンツの鑑賞者の呼吸に併せてコンテンツの再生速度を制御し、鑑賞者のコンテンツへの一体感や臨場感などの感覚を制御することが可能となる。
【図面の簡単な説明】
【0008】
【図1】図1は、再生速度同期装置の機能構成を例示するためのブロック図である。
【図2】図2は、呼吸計測部から出力される呼吸レベルV(t)を例示したグラフである。
【図3】図3は、呼気開始時刻の予測値の一例を説明するための図である。
【図4】図4は、第1実施形態の再生速度演算部の処理機能を例示するための図である。
【図5】図5は、再生速度同期方法を例示するためのフローチャートである。
【図6】図6は、第2実施形態の再生速度演算部の処理機能を例示するための図である。
【図7】図7は、第3実施形態の再生速度演算部の処理機能を例示するための図である。
【図8】図8(A)は、第3実施形態の呼吸指標抽出部が算出する呼吸指標の例を説明するための図である。図8(B)は、呼吸指標φ(t1)と呼吸目標情報Φ(p(t1))とL(t1)との関係を例示した図である。
【図9】図9(A)−(C)は、関数D[L]の具体例を説明するための図である。
【図10】図10は、再生速度同期方法を例示するためのフローチャートである。
【図11】図11は、第5実施形態の再生速度演算部の処理機能を例示するための図である。
【発明を実施するための形態】
【0009】
以下、図面を参照して本発明の実施形態を説明する。
【0010】
〔用語の定義〕
以下のように用語を定義する。
【0011】
コンテンツ:各種音楽、音声、映画やテレビ番組等の動画など、鑑賞目的のための音響情報や映像情報を意味する。
【0012】
コンテンツ情報:コンテンツを構成し、時間軸に沿って順次再生される情報を意味する。
【0013】
再生位置:時間軸に沿って順次再生される各コンテンツ情報の再生位置、つまり、コンテンツ再生における時間軸上の進行位置を意味する。より具体的には、例えば、フレーム位置、サンプル点、タイムコード、ソングポジションポインターなどが再生位置に対応する。
【0014】
ブランク情報(blank):鑑賞対象となるコンテンツ情報が再生されるよりも時間的に前の冒頭区間に再生される、鑑賞対象とならない情報を意味する。ブランク情報の例は、楽曲の演奏が始まる前の区間や楽曲と楽曲との間のポーズ区間の無音状態を示す情報や、映画などの動画コンテンツの再生が開始される前の黒色画面や砂嵐画面(サンドストーム)を示す情報などである。
【0015】
ヌル情報(null):空の情報を意味する。例えば、コンテンツ情報がヌル情報であるとは、コンテンツ情報が存在しないことを意味する。
【0016】
呼吸目標設定位置:予め定められた少なくとも一部の再生位置を意味する。
【0017】
呼吸状態:周期的に行われる呼吸運動中の各状態を意味する。より具体的には、例えば、呼気運動を開始する時点の状態である呼気開始状態、呼気運動中の各時点での呼気状態、呼気運動を終了する時点の状態である呼気終了状態、吸気運動を開始する時点の状態である吸気開始状態、吸気運動中の各時点での吸気状態、吸気運動を終了する時点の状態である吸気終了状態などが呼吸状態に対応する。
【0018】
呼吸情報:コンテンツの鑑賞者の呼吸状態を計測して得られる情報を意味する。より具体的には、例えば、胸部回りや腹部回りの長さ、呼吸の気流量、呼気と吸気の温度差などを意味する。
【0019】
再生速度:ある再生位置Aのコンテンツ情報を再生してから次の再生位置Bのコンテンツ情報を再生するまでに要する時間の逆数を意味する。再生テンポやクロック間隔などに読み替え可能な概念である。
【0020】
〔第1実施形態〕
次に、本発明の第1実施形態を説明する。
【0021】
<構成>
図1は、再生速度同期装置の機能構成を例示するためのブロック図である。
【0022】
図1に例示するように、第1実施形態の再生速度同期装置1は、入力部11と、呼吸分布付きコンテンツ12aを格納する記憶部12と、呼吸計測部13と、呼吸指標抽出部14と、再生速度演算部15と、コンテンツ再生速度制御部16と、再生部17と、制御部19とを有する。
【0023】
[入力部11]
入力部11は、呼吸分布付きコンテンツ12aの入力を受け付ける機能部であり、入力部11の例は、入力ポート、入力インタフェース、読み出し装置、受信装置などである。
【0024】
[呼吸分布付きコンテンツ12a]
呼吸分布付きコンテンツ12aは、時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の再生位置である各呼吸目標設定位置に対して予め定められた呼吸状態を特定するための呼吸目標情報と、を含むデータ構造からなるデータである。
【0025】
本形態の例では、サンプル点を再生位置とし、音程や音の強さを示すMIDIデータをコンテンツ情報とし、呼気運動を開始する時点として望ましいサンプル点(呼吸目標サンプル点)を呼吸目標設定位置とし、呼気開始状態を呼吸目標サンプル点において予め定められた呼吸状態とし、呼吸目標サンプル点における呼気開始状態を特定するための情報を呼吸目標情報とする。例えば、図4に例示する呼吸分布付きコンテンツ12aは、時間軸に沿った各サンプル点τにそれぞれ対応する音程や音の強さを示すMIDIデータであるコンテンツ情報d(τ)と、呼気運動を開始する時点として望ましいサンプル点である各呼吸目標サンプル点に対して定められた呼気開始状態を特定するための呼吸目標情報Bpe(μ)と、を含むデータ構造からなるデータである。ここで、この例のサンプル点τは0以上の整数であり、値が大きいほど遅い時間に対応する。また、この例の呼吸目標情報Bpe(μ)は、それに対応するサンプル点τ(呼吸目標サンプル点)を示す。例えば、呼吸目標サンプル点τ=100に対して定められた呼吸目標情報Bpe(μ)の値は100である。μは説明上便宜的に付した指標であり、各呼吸目標情報Bpe(μ)を識別するための0以上の連続した整数である。値が大きいμほど時間的に後の呼吸目標情報に対応する。また、図4に例示する呼吸分布付きコンテンツ12aは、再生対象のサンプル点τが時間軸に沿って順次更新されながら、各再生対象のサンプル点τに対応するコンテンツ情報が順次再生される。この再生対象のサンプル点τの更新周期をサンプル更新間隔と呼び、予め定められたサンプル更新間隔の標準設定値をS0とする。
【0026】
[記憶部12]
記憶部12は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどの情報記憶装置である。
【0027】
[呼吸計測部13]
呼吸計測部13は、コンテンツの鑑賞者100の呼吸状態を計測し、それによって得られる呼吸情報を出力する周知の装置である。本形態の例では、胸部回りや腹部回りの長さに対応する情報(呼吸レベル)を呼吸情報とし、胸部や腹部に巻き付けられたゴム管の抵抗変化から呼吸を検出する装置(例えば、日本光電製のTR-753Tや、ADInstruments製のMLT1132)を呼吸計測部13とする。この例の呼吸計測部13は、設定されたある任意の周期T1で呼吸レベルV(t)を計測して出力する。なお、tは離散的な時刻に対応する整数インデックスであり、「時刻t」とは整数インデックスtに対応する時刻を意味する。また、V(t)は時刻tでの呼吸レベルを表す。
【0028】
図2は、呼吸計測部から出力される呼吸レベルV(t)を例示したグラフである。
【0029】
図2の例では、呼気が開始される時刻である呼気開始時刻(bpe(n-1)等)で呼吸レベルV(t)が極大となり、呼気状態が進むにつれて呼吸レベルV(t)が減少し、吸気が開始される時刻である吸気開始時刻(bpi(n)等)で呼吸レベルV(t)が極小となり、吸気状態が進むにつれて呼吸レベルV(t)が増加し、次の呼気開始時刻(bpe(n)等)で再び呼吸レベルV(t)が極大となる、といった状態が周期的に繰り返される。
【0030】
[呼吸指標抽出部14]
呼吸指標抽出部14は、例えば、CPU(central processing unit)に所定のプログラムが読み込まれることで構成される処理部である。呼吸指標抽出部14は、鑑賞者を計測して得られる呼吸情報から当該鑑賞者の呼吸状態を特定するための呼吸指標を抽出し、当該呼吸指標を出力するものである。本形態の例の呼吸指標抽出部14は、呼吸計測部13から出力された呼吸レベルV(t)を入力とし、計測対象となる鑑賞者の、時間tからみた直近の未来の呼気開始時刻の予測値pbpe(n)を呼吸指標として出力する。ここで、nは説明上便宜的に付した指標であり、鑑賞者の呼吸回数に対応する整数である。
【0031】
図3は、呼気開始時刻の予測値の一例を説明するための図である。
【0032】
呼気開始時刻の予測値pbpe(n)は、例えば、現在の時刻t=t1からみた直近の過去の呼吸周期を、時刻t=t1からみた直近の未来の呼吸周期と推定して求めることができる。すなわち、呼気開始時刻の予測値pbpe(n)は、例えば以下のように算出することができる。
【0033】
pbpe(n)=bpe(n-1)+(bpe(n-1)-bpe(n-2))
=2・bpe(n-1)-bpe(n-2) …(1)
ここでbpe(n-1)は、呼吸レベルV(t1), V(t1-1), V(t1-2),...を用いて算出された時間tからみた直近の過去の呼気開始時刻を表し、bpe(n-2)は、呼吸レベルV(t1), V(t1-1), V(t1-2),...を用いて算出された呼気開始時刻bpe(n-1)からみた直近の過去の呼気開始時刻を表す。より具体的には、例えば、時刻t=t1からみた直近の呼吸レベルの極大値に対応する時刻をbpe(n-1)とし、呼気開始時刻bpe(n-1)からみた直近の呼吸レベルの極大値に対応する時刻をbpe(n-2)とする(図2参照)。
【0034】
[再生速度演算部15]
再生速度演算部15は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。再生速度演算部15は、呼吸目標情報と呼吸指標とを入力とし、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される呼吸状態が、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での鑑賞者の呼吸状態に近づくように、各再生位置にそれぞれ対応する各コンテンツ情報を時間軸に沿って順次再生する際の再生速度を設定し、設定した再生速度を特定する再生速度情報を出力する。すなわち、再生速度演算部15は、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される呼吸状態と、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での鑑賞者の呼吸状態との相関が高くなるように、コンテンツの再生速度を設定する。なお、設定される再生速度は、鑑賞者の呼吸を誘導するための速度ではなく、コンテンツの進行を鑑賞者の呼吸に同期させるための速度である。
【0035】
図4は、第1実施形態の再生速度演算部の処理機能を例示するための図である。
【0036】
本形態の再生速度演算部15は、サンプル更新間隔を定めることでコンテンツの再生速度を設定する。また、本形態の再生速度演算部15は、呼吸計測部13で呼吸レベルV(t)が得られるたびに、すなわち、周期T1でサンプル更新間隔S(t)を定め、これを再生速度情報として出力する。ここで、p(t)は、時刻tの時点で再生されたコンテンツ情報に対応するサンプル点τを表す。以下、図4を用いて再生速度演算部15の処理を例示する。
【0037】
時刻t=t1の時点で、サンプル点τ=p(t1)に対応するコンテンツ情報d(p(t1))までの再生が終了しているとする。このとき呼吸分布付きコンテンツ12aに含まれるサンプル点τ=p(t1)からみて直近の未来の呼吸目標サンプル点がBpe(m)(μ=m)であり、時刻t=t1の時点で呼吸指標部14から出力された呼気開始時刻の予測値(呼吸指標)がpbpe(n)であったとする。この場合、再生速度演算部15は、呼吸指標抽出部14から出力された呼吸指標である呼気開始時刻の予測値pbpe(n)と、記憶部12に格納された呼吸目標分布付きコンテンツ12aから抽出した呼吸目標サンプル点Bpe(m)及びサンプル点τ=p(t1)とを入力とし、呼気開始時刻の予測値pbpe(n)に、呼吸目標サンプル点Bpe(m)に対応するコンテンツ情報d(τ)の再生時刻が近づくように、サンプル更新間隔S(t1)を以下のように算出して出力する。
【0038】
S(t1)=(pbpe(n)-t1)/(Bpe(m)-p(t1)) …(2)
すなわち、再生速度演算部15は、時刻t1から時刻pbpe(n)までの間に再生対象のサンプル点がp(t1)からBpe(m)まで更新されるようなサンプル更新間隔S(t1)を算出し、当該サンプル更新間隔S(t1)を再生速度情報として出力する。
【0039】
[コンテンツ再生速度制御部16]
コンテンツ再生速度制御部16は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。コンテンツ再生速度制御部16は、再生速度情報とコンテンツ情報とを入力とし、当該再生速度情報で特定される再生速度で各再生位置にそれぞれ対応する各コンテンツ情報を順次再生するための再生情報を出力する。
【0040】
本形態のコンテンツ再生速度制御部16は、再生速度演算部15から出力された再生速度情報であるサンプル更新間隔S(t1)と、記憶部12に格納された呼吸目標分布付きコンテンツ12aから抽出されたコンテンツ情報d(τ)とを入力とし、サンプル更新間隔S(t1)で再生対象のサンプル点τを更新しつつ再生対象のサンプル点τに対応するコンテンツ情報d(τ)を再生するための再生情報r(τ)(音響信号等)を順次出力する。例えば、コンテンツ再生速度制御部16は、サンプル更新間隔S(t1)で再生対象のサンプル点τを更新しつつ再生対象のサンプル点τに対応するコンテンツ情報d(τ)を呼吸目標分布付きコンテンツ12aから順次抽出し、抽出したコンテンツ情報d(τ)を再生するための再生情報r(τ)を順次出力する。
【0041】
[再生部17]
再生部17は、例えば、アンプ、スピーカー、画像表示装置などから構成される周知の呈示装置である。再生部17は、コンテンツ再生速度制御部16から出力された再生情報r(τ)を入力とし、再生情報r(τ)によって特定される音響情報等のコンテンツを出力する。
【0042】
[制御部19]
制御部19は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。制御部19は、再生速度同期装置1の処理全体を制御する。
【0043】
<方法>
次に、本形態の再生速度同期方法を例示する。
【0044】
図5は、再生速度同期方法を例示するためのフローチャートである。
【0045】
まず、入力部11に呼吸分布付きコンテンツ12aが入力され(ステップS11)、記憶部12に格納される(ステップS12)。
【0046】
鑑賞者100に取り付けられた呼吸計測部13が周期T1で鑑賞者100の呼吸状態を計測し、それによって得られた呼吸情報である呼吸レベルV(t1), V(t1-1), V(t1-2),...を出力する(ステップS13)。呼吸レベルV(t1), V(t1-1), V(t1-2),...は呼吸指標抽出部14に入力され、呼吸指標抽出部14は、式(1)に従って呼気開始時刻の予測値pbpe(n)(呼吸指標)を算出し、当該呼気開始時刻の予測値pbpe(n)を出力する(ステップS14)。次に、制御部19が、必要時刻までの呼吸レベルが計測されたか否かを判定する(ステップS14−2)。本形態では、制御部19が1つの呼気開始時刻(bpe(1))を特定できる時刻までの呼吸レベルが計測されたか否かを判定する。ここで、必要時刻までの呼吸レベルが計測されていないと判定された場合にはステップS13の処理に戻る。
【0047】
一方、必要時刻までの呼吸レベルが計測されたと判定された場合、再生速度演算部15は、呼吸指標抽出部14から出力された呼気開始時刻の予測値pbpe(n)と、記憶部12に格納された呼吸目標分布付きコンテンツ12aから抽出した呼吸目標サンプル点Bpe(m)及びサンプル点τ=p(t1)とを入力とし、式(2)に従ってサンプル更新間隔S(t1)(再生速度情報)を算出して出力する(ステップS15)。
【0048】
コンテンツ再生速度制御部16は、再生速度演算部15から出力されたサンプル更新間隔S(t1)と、記憶部12に格納された呼吸目標分布付きコンテンツ12aから抽出されたコンテンツ情報d(τ)とを入力とし、サンプル更新間隔S(t1)で再生対象のサンプル点τを更新しつつ再生対象のサンプル点τに対応するコンテンツ情報d(τ)を再生するための再生情報r(τ)を順次出力する(ステップS16)。
【0049】
再生部17は、コンテンツ再生速度制御部16から出力された再生情報r(τ)を入力とし、再生情報r(τ)によって特定されるコンテンツを出力する(ステップS17)。
【0050】
次に、呼吸計測部13が新たな呼吸レベルV(t1+1)を計測する時刻t=t1+1であるか否かを判定する(ステップS18)。ここで、新たな呼吸レベルV(t1+1)を計測する時刻t=t1+1でないと判定された場合、ステップS16の処理に戻される。一方、新たな呼吸レベルV(t1+1)を計測する時刻t=t1+1であると判定された場合、次に、制御部19が、呼吸分布付きコンテンツ12aが含むすべてのコンテンツ情報d(τ)の再生が終了したか否かを判定する(ステップS19)。
【0051】
ここで、すべてのコンテンツ情報d(τ)の再生が終了していないと判定された場合、t1+1を新たなt1としてステップS13の処理に戻される。一方、コンテンツ情報d(τ)の再生が終了していると判定された場合、処理が終了する。
【0052】
〔第2実施形態〕
第2実施形態は第1実施形態の変形例である。第2実施形態の呼吸分布付きコンテンツは、さらに、再生位置にそれぞれ対応する係数である同期重要度を含み、第2実施形態の再生速度演算部は、さらに同期重要度を入力とし、各同期重要度に対応する再生位置ごとに、当該再生位置に対応する同期重要度に依存する再生速度を定める。
【0053】
なお、第2実施形態以降では、第1実施形態と相違する事項を中心に説明し、第1実施形態と共通する事項については説明を省略する。また、同一の処理部や処理ステップには同一の符号を用い、説明の繰り返しを避ける。
【0054】
<構成>
図1に例示するように、第2実施形態の再生速度同期装置2は、入力部21と、呼吸分布付きコンテンツ22aを格納する記憶部22と、呼吸計測部13と、呼吸指標抽出部14と、再生速度演算部25と、コンテンツ再生速度制御部16と、再生部17と、制御部19とを有する。
【0055】
[入力部21,記憶部22,呼吸分布付きコンテンツ22a]
入力部21は、呼吸分布付きコンテンツ22aの入力を受け付ける機能部であり、記憶部22は、呼吸分布付きコンテンツ22aを格納する。呼吸分布付きコンテンツ22aは、時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の再生位置である各呼吸目標設定位置に対して予め定められた呼吸状態を特定するための呼吸目標情報と、再生位置にそれぞれ対応する係数である同期重要度とを含むデータ構造からなるデータである。ここで、同期重要度は、それに対応する再生位置に対応する呼吸目標情報の重要度を示す。すなわち、同期重要度は、それに対応する再生位置に対応する呼吸目標情報と、その再生位置に対応するコンテンツ情報が再生される時点での鑑賞者100の呼吸と、を同期させる重要度が大きいほど大きな値をとる。第2実施形態の場合、同期重要度は0以上1以下の値に設定されることが望ましい。
【0056】
例えば、図6に例示する呼吸分布付きコンテンツ22aは、時間軸に沿った各サンプル点τ(再生位置)にそれぞれ対応する音程や音の強さを示すMIDIデータであるコンテンツ情報d(τ)と、呼気運動を開始する時点として望ましいサンプル点である各呼吸目標サンプル点に対して定められた呼気開始状態を特定するための呼吸目標情報Bpe(μ)とに加え、さらに、各サンプル点τにそれぞれ対応する係数である同期重要度α(τ)を含むデータ構造からなるデータである。
【0057】
[再生速度演算部25]
再生速度演算部25は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。再生速度演算部25は、呼吸目標情報と同期重要度と呼吸指標を入力とし、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される呼吸状態が、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での鑑賞者の呼吸状態に近づくように、各同期重要度に対応する再生位置ごとに、当該再生位置に対応する同期重要度に依存する再生速度を設定し、設定した再生速度を特定する再生速度情報を出力する。
【0058】
図6は、第2実施形態の再生速度演算部の処理機能を例示するための図である。
【0059】
再生速度演算部25は、呼吸指標抽出部14から出力された呼吸指標である呼気開始時刻の予測値pbpe(n)と、記憶部22に格納された呼吸目標分布付きコンテンツ22aから抽出した呼吸目標サンプル点Bpe(m)、同期重要度α(p(t1))及びサンプル点τ=p(t1)とを入力とし、サンプル点τ=p(t1)の同期重要度α(p(t1))を考慮しつつ、呼気開始時刻の予測値pbpe(n)に、呼吸目標サンプル点Bpe(m)に対応するコンテンツ情報d(τ)の再生時刻が近づくように、サンプル更新間隔S(t1)を以下のように算出する。
【0060】
S(t1)=α(p(t1)){((pbpe(n)-t1)/(Bpe(m)-p(t1)))-S0}+S0 …(3)
ここで、S0は予め定められたサンプル更新間隔の標準設定値であり、α(p(t1)){((pbpe(n)-t1)/(Bpe(m)-p(t1)))-S0}は、サンプル更新間隔の変化量である。すなわち、再生速度演算部25は、同期重要度α(p(t1))が1の場合には、時刻t1から時刻pbpe(n)までの間に再生対象のサンプル点がp(t1)からBpe(m)まで更新されるようなサンプル更新間隔S(t1)を算出する。一方、同期重要度α(p(t1))が0以上1未満の場合、再生速度演算部25は、サンプル更新間隔の標準設定値S0に対する変化量が、同期重要度α(p(t1))が1の場合のものよりも小さなサンプル更新間隔S(t1)を算出する。特に、同期重要度α(p(t1))が0の場合には、S(t1)=S0となる。
【0061】
<方法>
次に、図5を用いて本形態の再生速度同期方法を例示する。
【0062】
第1実施形態との相違点は、ステップS11,12の処理の代わりに、入力部21に呼吸分布付きコンテンツ22aが入力され(ステップS21)、記憶部22に格納される(ステップS22)点、ステップS15の処理の代わりに、再生速度演算部25が、呼吸指標抽出部14から出力された呼気開始時刻の予測値pbpe(n)と、記憶部22に格納された呼吸目標分布付きコンテンツ22aから抽出した呼吸目標サンプル点Bpe(m)、同期重要度α(p(t1))及びサンプル点τ=p(t1)とを入力とし、式(3)に従ってサンプル更新間隔S(t1)(再生速度情報)を算出して出力する(ステップS25)点である。その他は第1実施形態と同一である。
【0063】
〔第1,2実施形態の変形例〕
第1,2実施形態の呼吸指標抽出部14は、式(1)に従って呼気開始時刻の予測値pbpe(n)を算出した。しかし、呼吸指標抽出部が、呼吸レベルV(t)に対して数理モデルを適用して現時点の時刻t=t1よりも未来の呼吸レベルV(t)の予測値(図4に例示した未来の呼吸レベルV(t)を示す点線)を算出し、その呼吸レベルV(t)の予測値を用いて呼気開始時刻の予測値pbpe(n)を算出してもよい。
【0064】
例えば、数理モデルとしてARモデルを利用した場合、時刻tでの呼吸レベルV(t), V(t-1), V(t-2),...から、未来の呼吸レベルの予測値PV(t+1)を以下のように求めることができる。
【0065】
PV(t+1)=a+a0・V(t)+a1・V(t-1)+a2・V(t-2)+...+aj・V(t-j) …(4)
ただし、a, a0, a1, …, ajは線形予測分析によって得られる予測係数である。各予測係数a, a0, a1, …, ajは、呼吸レベルの予測値PV(t+1)と実際の呼吸レベルV(t+1)との差(予測残差)のエネルギーが最小となるように選択される。各予測係数a, a0, a1, …, ajの算出は、例えば、レビンソン・ダービン(Levinson-Durbin)法やバーグ(Burg)法などの逐次的方法によって行われてもよいし、自己相関法や共分散法のように予測次数ごとに連立方程式(予測残差を最小にする線形予測係数を解とする連立方程式)を解くことによって行われてもよい(「守谷健弘著、“音声符号化”、社団法人電子情報通信学会、1998」「日野幹雄著、“スペクトル解析”、朝倉書店、1979」など参照)。また、jは0以上の整数である。jは定数であってもよいし、変数であってもよい。
【0066】
ここで、現時点の時刻t=t1に対して式(4)を適用することで時刻t=t1+1での呼吸レベルの予測値PV(t1+1)が得られる。また、このPV(t1+1)をV(t1+1)とおいて時刻t=t1+1に対して式(4)を適用することで時刻t=t1+2での呼吸レベルの予測値PV(t1+2)が得られる。このような処理を繰り返して式(4)をk回(kは2以上の整数)適用することにより、時刻t=t1+1からt=t1+kまでの各呼吸レベルの予測値PV(t)が得られる。そして、例えば、kを1ずつ増加させながら式(4)を適用して新たな呼吸レベルの予測を算出するたびに、
PV(t1+k-1)-PV(t1+k-2)>0 …(5)
(PV(t1+k)-PV(t1+k-1))・(PV(t1+k-1)-PV(t1+k-2))<0 …(6)
の両式を満たすか否かを判定し、これら両式を初めて満たした時点のkを用い、呼気開始時刻の予測値pbpe(n)を以下の式によって求める。
【0067】
pbpe(n)=t1+k-1 …(7)
【0068】
<方法>
次に、図5を用いて本形態の再生速度同期方法を例示する。
第1実施形態との相違点は、ステップS14−2で制御部19が1つの呼気開始時刻(bpe(1))を特定できる時刻までの呼吸レベルが計測されたか否かを判定する代わりに、j+1個の呼吸レベルV(t)が計測された否かを判定し、Noの場合はステップS13の処理に戻り、Yesの場合にはステップS15(S25)に進む点である。
【0069】
〔第3実施形態〕
本形態は、第1,2実施形態の変形例である。第3実施形態の呼吸目標情報及び呼吸指標は、それぞれ、周期的な呼吸運動の位相を特定するための情報であり、第3実施形態の再生速度演算部は、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される位相と、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での呼吸指標よって特定される位相との差が小さくなるような再生速度を特定する再生速度情報を出力する。
【0070】
<構成>
図1に例示するように、第3実施形態の再生速度同期装置3は、入力部31と、呼吸分布付きコンテンツ32aを格納する記憶部32と、呼吸計測部13と、呼吸指標抽出部34と、再生速度演算部35と、コンテンツ再生速度制御部16と、再生部17と、制御部19とを有する。
【0071】
[入力部31,記憶部32,呼吸分布付きコンテンツ32a]
入力部31は、呼吸分布付きコンテンツ32aの入力を受け付ける機能部であり、記憶部32は、呼吸分布付きコンテンツ32aを格納する。呼吸分布付きコンテンツ32aは、時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の再生位置である各呼吸目標設定位置に対して予め定められた呼吸状態を特定するための呼吸目標情報とを含む。第1,2実施形態との相違点は、呼吸目標情報が周期的な呼吸運動の位相を特定するための情報である点である。
【0072】
例えば、図7に例示する呼吸分布付きコンテンツ32aは、時間軸に沿った各サンプル点τ(再生位置)にそれぞれ対応する音程や音の強さを示すMIDIデータであるコンテンツ情報d(τ)と、すべてのサンプル点τ(呼吸目標設定位置)に対して定められた、各サンプル点τにおいて望ましい「周期的な呼吸運動の位相」を特定するための情報Φ(τ)(呼吸目標情報)と、同期重要度α(τ)とを含むデータ構造からなるデータである。なお、本形態の呼吸目標情報Φ(τ)の具体例については後述する。
【0073】
[呼吸指標抽出部34]
呼吸指標抽出部34は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。呼吸指標抽出部34は、鑑賞者を計測して得られる呼吸情報から当該鑑賞者の周期的な呼吸運動の位相を特定するための情報を呼吸指標として抽出し、当該呼吸指標を出力するものである。
【0074】
図8(A)は、第3実施形態の呼吸指標抽出部が算出する呼吸指標の例を説明するための図である。
【0075】
どのような値を「鑑賞者の周期的な呼吸運動の位相を特定するための情報」として用いるかについては特に制限はない。以下では、呼吸レベルV(t)を1次元目の値とし、その遅延値V(t-γ)を2次元目の値とした直交座標系の空間(相空間)での極座標の偏角を「鑑賞者の周期的な呼吸運動の位相を特定するための情報(呼吸指標φ(t))」として用いる。この場合の呼吸指標抽出部34の時刻tに対応する処理は、例えば以下のようになる。
【0076】
1.呼吸計測部13から出力された時刻tにおける呼吸レベルV(t)を相空間の1次元目の値とする。
【0077】
2.呼吸レベルV(t)を時間遅延フィルターに通して得られる呼吸レベルV(t-γ)を相空間の2次元目の値とする。ここでγは時間遅延フィルターの遅延幅であり、呼吸の場合は200msから800ms程度が望ましい。
【0078】
3.相空間の直行座標系の点(V(t),V(t-γ))を極座標表示した場合の偏角を、呼吸指標φ(t)として求めて出力する(図8(A)参照)。
【0079】
なお、このような値を呼吸指標φ(t)とする場合、予め定められた各サンプル点τにおいて望ましい呼吸指標φ(t)が、当該サンプル点τに対応する呼吸目標情報Φ(τ)(図7参照)として呼吸分布付きコンテンツ32aに設定されている。
【0080】
[再生速度演算部35]
再生速度演算部35は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。再生速度演算部35は、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される位相と、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での呼吸指標よって特定される位相との差が小さくなるような再生速度を特定する再生速度情報を出力する。
【0081】
図7は、第3実施形態の再生速度演算部の処理機能を例示するための図である。
【0082】
本形態の再生速度演算部35は、サンプル更新間隔を定めることでコンテンツの再生速度を設定する。また、本形態の再生速度演算部35は、呼吸計測部13で呼吸レベルV(t)が得られるたびに、すなわち、周期T1でサンプル更新間隔S(t)を定め、これを再生速度情報として出力する。
【0083】
時刻t=t1の時点で、サンプル点τ=p(t1)に対応するコンテンツ情報d(p(t1))までの再生が終了しているとする。このとき呼吸分布付きコンテンツ32aに含まれるサンプル点τ=p(t1)に対応する呼吸目標情報がΦ(p(t1))であり、時刻t=t1の時点で呼吸指標部34から出力された呼吸指標(鑑賞者の周期的な呼吸運動の位相を特定するための情報)がφ(t1)であったとする。再生速度演算部35は、これらの呼吸指標φ(t1)と呼吸目標情報Φ(p(t1))とを入力とし、これらが図8(A)の相空間上でなす角を以下のように符号付きで求める。
【0084】
R(t1)=φ(t1)-Φ(p(t1)) …(8)
If |R(t1)|>π then L(t1)=R(t1)-Sgn(R(t1))・2π else L(t1)=R(t1) …(9)
ただし、Sgn(δ)は符号関数であり、その関数値は、δ<0のときはSgn(δ)=-1となり、δ=0のときはSgn(δ)=0となり、δ>0のときはSgn(δ)=1となる。L(t1)>0の場合、時刻t1において鑑賞者の呼吸が呼吸目標情報の示す呼吸より進んでいることになり、L(t1)<0の場合、時刻t1において鑑賞者の呼吸が呼吸目標情報の示す呼吸より遅れていることになる。図8(B)に、呼吸指標φ(t1)と呼吸目標情報Φ(p(t1))とL(t1)との関係を例示する。なお、図8(B)はL(t1)<0の例である。
【0085】
そして、再生速度演算部35は、時刻t1でのサンプル更新間隔S(t1)を以下のように算出し、これを再生速度情報として出力する。
【0086】
S(t1)=S0/{α(p(t1))・C・L(t1)+1} …(10)
ここで、S0は予め定められたサンプル更新間隔の標準設定値であり、CはC>0を満たす任意の定数である。例えば、取り得るすべてのα(τ),L(t)に対してα(p(t))・C・L(t)+1>0となるように定数Cが定められた場合、再生速度演算部25は、鑑賞者の呼吸が呼吸目標情報の示す呼吸より進んでいる場合(L(t1)>0)に、S0よりも大きなサンプル更新間隔S(t1)を算出し、鑑賞者の呼吸が呼吸目標情報の示す呼吸に同期している場合(L(t1)=0)に、S0と等しいサンプル更新間隔S(t1)を算出し、鑑賞者の呼吸が呼吸目標情報の示す呼吸より遅れている場合(L(t1)<0)に、S0よりも小さなサンプル更新間隔S(t1)を算出する。
【0087】
<方法>
次に、図5を用いて本形態の再生速度同期方法を例示する。
【0088】
第1実施形態との相違点は、ステップS11,12の処理の代わりに、入力部31に呼吸分布付きコンテンツ32aが入力され(ステップS31)、記憶部32に格納される(ステップS32)点、ステップS14の処理の代わりに、呼吸指標抽出部34が、呼吸レベルV(t)を入力として、鑑賞者の周期的な呼吸運動の位相を特定するための情報である呼吸指標φ(t)を生成して出力する(ステップS34)点、ステップS14−2の代わりに、制御部19がλ+1個の呼吸レベルV(t)が計測された否かを判定し、Noの場合はステップS13の処理に戻り、Yesの場合には以下のステップS35に進む(ステップS34−2)点、ステップS15の代わりに、再生速度演算部35が、呼吸指標φ(t1)と呼吸目標情報Φ(p(t1))とを入力とし、式(8)-(10)に従ってサンプル更新間隔S(t1)を算出し、これを再生速度情報として出力する(ステップS35)。その他は第1実施形態と同一である。
【0089】
〔第3実施形態の変形例1〕
第3実施形態の再生速度演算部35は、式(10)に従ってサンプル更新間隔S(t1)を算出した。しかし、式(10)の代わりに、以下の式(11)に従ってサンプル更新間隔S(t1)を算出してもよい。
【0090】
S(t1)=S0/{α(p(t1))・D[L(t1)]+1} …(11)
ただし、D[L(t)]はL(t)に関数D[L]を作用させた関数値である。関数D[L]に応じ、鑑賞者100の呼吸に対するコンテンツの再生速度の追従のさせ方を変化させることができる。
【0091】
図9(A)−(C)は、関数D[L]の具体例を説明するための図である。
【0092】
図9(A)は、
D[L]=C・L …(12)
で示される関数を例示した図である。この場合の関数値D[L(t)]は、L(t)に対して比例関係にある。この例の場合の処理は、第3実施形態と同一となる。
【0093】
図9(B)は、
D[L]=C1*L (L<0) …(13)
D[L]=C2*L (L>=0) …(14)
で示される関数を例示した図である。ただし、C1,C2はC1>C2>0の条件を満たす任意の定数である。この関数D[L]の場合、L(t)>0である場合のL(t)の変化量に対する関数値D[L(t)]の変化量は、L(t)<0である場合のL(t)の変化量に対する関数値D[L(t)]の変化量よりも小さい。この場合、再生速度演算部は、鑑賞者の呼吸の位相が呼吸目標情報の示す呼吸の位相より進んでいる場合(L(t1)>0)のサンプル更新間隔の調整(再生速度を速くする調整)よりも、鑑賞者の呼吸の位相が呼吸目標情報の示す呼吸の位相より遅れている場合(L(t1)<0)のサンプル更新間隔の調整(再生速度を遅くする調整)を強調した処理を行うことになる。すなわち、絶対値が等しいL(t1)に対し、L(t1)<0の場合のS0に対するS(t1)の変化量は、L(t1)>0の場合のS0に対するS(t1)の変化量よりも大きい。
【0094】
図9(C)は、
D[L]=SIN(L) …(15)
で示される関数を例示した図である。この関数D[L]の場合、再生速度演算部は、図9(A)の関数D[L]を用いる場合に比べ、鑑賞者の呼吸と呼吸目標情報の示す呼吸との位相差が大きくなってもサンプル更新間隔の変化量をさほど増加させないことになる。
【0095】
すなわち、図9(B),(C)のように関数値D[L(t)]がL(t)に対して比例関係にない場合、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される位相と、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での呼吸指標よって特定される位相との差の変化量に対する再生速度の変化量(サンプル更新間隔の変化量)は、当該呼吸目標設定位置に対応する呼吸目標情報によって特定される位相に対する、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での呼吸指標よって特定される位相の相対値(L(t))に依存することになる。
【0096】
〔第3実施形態の変形例2〕
第3実施形態及びその変形例1では、呼吸指標抽出部が、現時点の時刻t=t1での呼吸指標φ(t)を出力し、再生速度演算部が、現時点の時刻t=t1での呼吸指標φ(t)(鑑賞者の周期的な呼吸運動の位相を特定するための情報)に、時刻t=t1の時点で再生対象となるサンプル点τ=p(t1)に対応する呼吸目標情報Φ(p(t1))が近づくようにサンプル更新間隔S(t1)を定めた。しかし、呼吸指標抽出部が、呼吸レベルV(t)から求めた呼吸指標φ(t)に対して数理モデルを適用して現時点の時刻t=t1よりも未来の呼吸指標φ(t)の予測値を算出し、再生速度演算部が、その呼吸指標φ(t)の予測値を用いてサンプル更新間隔を定めてもよい。
【0097】
例えば、数理モデルとしてARモデルを利用した場合、時刻tまでに時間間隔T1で抽出された呼吸指標φ(t), φ(t-1), φ(t-2),…から、未来の呼吸指標の予測値pφ(t+1)を以下のように求めることができる。
【0098】
pφ(t+1)=a+a0・φ(t)+a1・φ(t-1)+a2・φ(t-2),...,aj・φ(t-j) …(16)
前述のように、a, a0, a1, …, ajは線形予測分析によって得られる予測係数である。また、各予測係数a, a0, a1, …, ajは、呼吸レベルの予測値PV(t+1)と実際の呼吸レベルV(t+1)との差(予測残差)のエネルギーが最小となるように選択される。また、jは0以上の整数である。jは定数であってもよいし、変数であってもよい。
【0099】
ここで、現時点の時刻t=t1に対して式(16)を適用することで時刻t=t1+1での呼吸指標の予測値pφ(t1+1)が得られる。また、このpφ(t1+1)をφ(t1+1)とおいて時刻t=t1+1に対して式(16)を適用することで時刻t=t1+2での呼吸指標の予測値pφ(t1+2)が得られる。このような処理を繰り返して式(16)をq回(qは1以上の整数)適用することにより、時刻t=t1+1からt=t1+qまでの各呼吸指標の予測値pφ(t)が得られる。呼吸指標抽出部は、呼吸指標の予測値pφ(t1+q)を出力する。
【0100】
この場合、再生速度演算部は、呼吸指標の予測値pφ(t1+q)を入力とし、時刻t=t1+qに再生対象となると予想される呼吸分布付きコンテンツ32aのサンプル点τ=pp(t1+q)を、呼吸指標の予測値pφ(t1+q)と現時点の時刻t=t1に対して算出されたサンプル更新間隔S(t1)とから、以下のように求める。
【0101】
pp(t1+q)=p(t1)+T1・q/S(t1) …(17)
ただし再生開始時などS(t1)が存在しない場合は、以下のようにサンプル点τ=pp(t1+q)を求める。
【0102】
pp(t1+q)=p(t1)+T1・q/S0 …(18)
そして、再生速度演算部は、このように求めたサンプル点τ=pp(t1+q)に対応する呼吸目標情報Φ(pp(t1+q))を呼吸分布付きコンテンツ32aから抽出し、これと呼吸指標の予測値pφ(t1+q)とを用い、サンプル更新間隔S(t1+q)を以下のように求める。
【0103】
R(t1+q)=pφ(t1+q)-Φ(pp(t1+q)) …(19)
If |R(t1+q)|>π then L(t1)=R(t1+q)-Sgn(R(t1+q))・2π
else L(t1+q)=R(t1+q) …(20)
S(t1+q)=S0/{α(pp(t1+q))・C・L(t1+q)+1} …(21)
或いは、式(21)の代わりに以下の式(22)を用いてもよい。
【0104】
S(t1+q)=S0/{α(pp(t1+q))・D[L(t1+q)]+1} …(22)
〔第3実施形態の変形例3〕
また、第3実施形態の変形例2の変形として、第1,2実施形態の変形例と同様に、呼吸指標抽出部が、呼吸レベルV(t)に対して数理モデルを適用して現時点の時刻t=t1よりも未来の時刻t=t1+qでの呼吸レベルV(t1+q)の予測値を算出し、呼吸指標抽出部が、未来の時刻t=t1+qでの呼吸指標φ(t1+q)を生成して出力し、再生速度演算部が、未来の時刻t=t1+qでの呼吸指標φ(t)(鑑賞者の周期的な呼吸運動の位相を特定するための情報)に、時刻t=t1+qの時点で再生対象となるサンプル点τ=p(t1+q)に対応する呼吸目標情報Φ(p(t1+q))が近づくようにサンプル更新間隔S(t1+q)を定めてもよい。
【0105】
〔第3実施形態の変形例4〕
第3実施形態では、呼吸レベルV(t)を1次元目にとり、その遅延値V(t-γ)を2次元目にとる相空間表現を用いる例を示した。しかし、第3実施形態、その変形例1−3においてその他の相空間表現を用いてもよい。例えば、呼吸レベルV(t)を1次元目にとり、V(t)のヒルベルト変換値(一般的に解析信号と呼ばれる)を2次元目にとる相空間での位相を特定する情報を呼吸指標としてもよい(例えば、「K. Kotani, K. Takamasu, Y. Jimbo, Y. Yamamoto, “Postural-induced phase shift of respiratory sinus arrhythmia and blood pressure variations: insight from respiratory-phase domain analysis,” Am. J. Physiol. Heart. Circ. Physiol. , Vol. 294, pp. H1481-H1489, 2008」参照)。また、呼吸レベルV(t)の微分値W(t)が得られる場合には、呼吸レベルV(t)を1次元目にとり、呼吸レベルV(t)の微分値W(t)を2次元目にとってもよい。また、呼吸レベルV(t)の微分値W(t)が得られない場合には、呼吸レベルV(t)を差分フィルターに通した擬似的な微分値(例えばV(t)-V(t-1))/T1)を2次元目にとってもよい(例えば、日本光電製のTR-712を用いるとW(t)に相当する値を計測することができる)。
【0106】
〔第3実施形態の変形例5〕
第3実施形態やその変形例1−4において、|L(t1)|>Zの場合に再生速度演算部で生成されるサンプル更新間隔S(t1)がS0に対して50%以上変化するよう、同期重要度α(τ) をすべてのサンプル点τに渡って
α(τ)>1/(C・Z) …(23)
とする。例えば、Z=0.05・πの場合、同期重要度α(τ) をすべてのサンプル点τに渡って
α(τ)>1/(C・0.05・π) …(24)
とする。
【0107】
これにより、コンテンツ再生時においてΦ(τ)がφ(p(t1))に十分一致し、再生位置は十分に鑑賞者の呼吸に追従することとなる。
【0108】
〔第3実施形態の変形例6〕
第3実施形態やその変形例1−4において、呼吸分布付きコンテンツが同期重要度α(τ)を含まない構成であってもよい。この場合、再生速度演算部が行う演算中の同期重要度α(τ)は、すべて1などの定数と置き換えればよい。
【0109】
〔第4実施形態〕
第4実施形態は、第3実施形態やその変形例1−6に対する変形例であり、再生速度演算部が、現時点の呼吸指標よって特定される位相と、「特定の呼吸目標設定位置」に対応する呼吸目標情報によって特定される位相との差が閾値以下となった場合に、特定の呼吸目標設定位置以降の各再生位置にそれぞれ対応する各コンテンツ情報を時間軸に沿って順次再生する際の再生速度を特定する再生速度情報の出力を開始し、コンテンツ再生速度制御部が、現時点の呼吸指標よって特定される位相と、「特定の呼吸目標設定位置」に対応する呼吸目標情報によって特定される位相との差が閾値以下となった場合に、当該再生速度情報で特定される再生速度で、「特定の呼吸目標設定位置」以降の各再生位置にそれぞれ対応する各コンテンツ情報を順次再生するための再生情報の出力を開始する。以下では、一例として、「特定の呼吸目標設定位置」を先頭のコンテンツ情報d(τ)のサンプル点τ=0(図7参照)とし、「閾値」を0とする場合を説明する。この場合、呼吸指標抽出部から出力された現時点の呼吸指標φ(t1)よって特定される位相と、呼吸目標情報Φ(0)によって特定される位相とが等しくなった場合に、コンテンツ情報の再生が開始されることになる。
【0110】
<構成>
図1に例示するように、第4実施形態の再生速度同期装置4は、入力部31と、呼吸分布付きコンテンツ32aを格納する記憶部32と、呼吸計測部13と、呼吸指標抽出部34と、再生速度演算部45と、コンテンツ再生速度制御部46と、再生部17と、制御部19とを有する。
【0111】
[再生速度演算部45]
再生速度演算部45は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。再生速度演算部45は、コンテンツ情報d(τ)の再生開始前に、呼吸目標分布付きコンテンツ32aから先頭のコンテンツ情報d(0)に対応する呼吸目標情報Φ(0)を読み出し、呼吸指標抽出部34から出力された現時点の呼吸指標φ(t1)よって特定される位相と、読み出した呼吸目標情報Φ(0)によって特定される位相とが等しくなった場合に、サンプル点τ=0以降の各サンプルτにそれぞれ対応するサンプル更新間隔S(t)の生成と出力を開始する。なお、サンプル更新間隔の生成方法は、第3実施形態やその変形例1−6と同じでよい。
【0112】
[コンテンツ再生速度制御部46]
コンテンツ再生速度制御部46は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。コンテンツ再生速度制御部46は、呼吸指標抽出部34から出力された現時点の呼吸指標φ(t1)よって特定される位相と、呼吸目標情報Φ(0)によって特定される位相とが等しくなった場合に、サンプル更新間隔S(t)で特定される再生速度で、サンプル点τ=0以降の各サンプル点τにそれぞれ対応する各コンテンツ情報d(τ)を順次再生するための再生情報r(τ)の出力を開始する。
【0113】
<方法>
次に、本形態の再生速度同期方法を例示する。
【0114】
図10は、再生速度同期方法を例示するためのフローチャートである。
【0115】
まず、第3実施形態で説明したステップS31,S32の処理が行われる。次に、第1実施形態で説明したステップS13と同様に、呼吸計測部13が周期T1で鑑賞者100の呼吸状態を計測し、それによって得られた呼吸情報である呼吸レベルV(t1), V(t1-1), V(t1-2),...を出力し(ステップS43)、第3実施形態で説明したステップS34と同様に、呼吸指標抽出部34が、呼吸レベルV(t)を入力として、鑑賞者の周期的な呼吸運動の位相を特定するための情報である呼吸指標φ(t)を生成して出力する(ステップS44)。この時点ではコンテンツ情報d(τ)の再生が開始されていない。
【0116】
再生速度演算部45は、呼吸目標分布付きコンテンツ32aから先頭のコンテンツ情報d(0)に対応する呼吸目標情報Φ(0)を読み出し、呼吸指標抽出部34から出力された現時点の呼吸指標φ(t1)よって特定される位相と、読み出した呼吸目標情報Φ(0)によって特定される位相とが等しいか否かを判定する(ステップS48)。ここで、これらが等しくないと判定された場合には、ステップS43の処理に戻る。
【0117】
一方、これらが等しいと判定された場合には、再生速度演算部45が、呼吸指標φ(t1)と呼吸目標情報Φ(p(t1))とを入力とし、式(8)-(10)に従ってサンプル更新間隔S(t1)を算出し、これを再生速度情報として出力する(ステップS35)。そして、第1実施形態で説明したステップS16−S19の処理が実行され、ステップS19においてすべてのコンテンツ情報d(τ)の再生が終了していないと判定された場合、t1+1を新たなt1としてステップS13、S34、S35、S16−S19の処理が繰り返される。一方、コンテンツ情報d(τ)の再生が終了していると判定された場合、処理が終了する。
【0118】
なお、本形態では、一例として、「特定の呼吸目標設定位置」を先頭のコンテンツ情報d(τ)のサンプル点τ=0とし、「閾値」を0とする場合を説明した。しかし、「特定の呼吸目標設定位置」を、その他の位置のコンテンツ情報d(τ)の先頭のサンプル点τとしてもよい。例えば、コンテンツ情報に対応するサンプル点よりも時間的に前に位置する、コンテンツ情報が対応付けられていないサンプル点を「特定の呼吸目標設定位置」としてもよい。また、正の値を「閾値」としてもよい。
【0119】
〔第5実施形態〕
第5実施形態は、第3実施形態やその変形例1−6に対する変形例である。第5実施形態の呼吸分布付きコンテンツの一部の再生位置に対応するコンテンツ情報は、ヌル情報又はブランク情報であり、呼吸分布付きコンテンツの一部の呼吸目標情報は、ヌル情報又はブランク情報であるコンテンツ情報に対応する呼吸目標設定位置に対して定められている。本形態の再生速度演算部は、さらに、ヌル情報又はブランク情報であるコンテンツ情報に対応する呼吸目標設定位置に対応する呼吸目標情報によって特定される位相と、現時点の呼吸指標よって特定される位相との差が小さくなるように、当該ヌル情報又はブランク情報であるコンテンツ情報に対応する再生位置の更新間隔を特定する第2再生速度情報を出力し、本形態のコンテンツ再生速度制御部は、さらに、第2再生速度情報を入力とし、第2再生速度情報で特定される更新間隔で、ヌル情報又はブランク情報であるコンテンツ情報に対応する再生位置を時間軸に沿って更新する。
【0120】
これにより、コンテンツ情報が再生されていない期間、又は、ブランク情報であるコンテンツ情報が再生されている期間に、コンテンツ情報の再生位置を鑑賞者100の呼吸に同期させることができ、その期間の後に再生される実質的なコンテンツ情報の再生が開始される時点での、当該コンテンツ情報と鑑賞者100の呼吸との相関を高くすることができる。
【0121】
<構成>
図1に例示するように、第5実施形態の再生速度同期装置5は、入力部51と、呼吸分布付きコンテンツ52aを格納する記憶部52と、呼吸計測部13と、呼吸指標抽出部34と、再生速度演算部55と、コンテンツ再生速度制御部56と、再生部17と、制御部19と、を有する。
【0122】
[入力部51,記憶部52,呼吸分布付きコンテンツ52a]
入力部51は、呼吸分布付きコンテンツ52aの入力を受け付ける機能部であり、記憶部52は、呼吸分布付きコンテンツ52aを格納する。呼吸分布付きコンテンツ52aの一部の再生位置に対応するコンテンツ情報は、ヌル情報又はブランク情報であり、呼吸分布付きコンテンツ52aの一部の呼吸目標情報は、ヌル情報又はブランク情報であるコンテンツ情報に対応する呼吸目標設定位置に対して定められている。
【0123】
例えば、図11に例示する呼吸分布付きコンテンツ52aでは、サンプル点τ=0,...,b-1(再生位置)に対応するコンテンツ情報d(0),...,d(b-1)は、それぞれヌル情報又はブランク情報であり、サンプル点τ=b以降の各サンプル点に対応するコンテンツ情報d(b),d(b+1),...は、それぞれ対応する音程や音の強さを示すMIDIデータである。なお、bは1以上の整数である。また、すべてのサンプル点τ(呼吸目標設定位置)には、各サンプル点τにおいて望ましい「周期的な呼吸運動の位相」を特定するための情報Φ(τ)(呼吸目標情報)と、同期重要度α(τ)とが対応付けられている。
【0124】
[再生速度演算部55]
本形態の再生速度演算部55は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。再生速度演算部55は、第3実施形態やその変形例1−6と同様にサンプル更新間隔を再生速度情報として出力することに加え、さらに、ヌル情報又はブランク情報であるコンテンツ情報に対応する呼吸目標設定位置に対応する呼吸目標情報によって特定される位相と、現時点の呼吸指標よって特定される位相との差が小さくなるように、当該ヌル情報又はブランク情報であるコンテンツ情報に対応する再生位置の更新間隔を特定するサンプル更新間隔を第2再生速度情報として出力する。第2再生速度情報であるサンプル更新間隔の生成方法は、対処となる呼吸目標設定位置がヌル情報又はブランク情報であるコンテンツ情報に対応すること以外、第3実施形態やその変形例1−6で説明したサンプル更新間隔の生成方法と同様である。
【0125】
図11は、第5実施形態の再生速度演算部の処理機能を例示するための図である。
【0126】
図11の例の場合、再生速度演算部55は、サンプル点τ=b以降のコンテンツ情報d(τ)の再生が開始されるまで、呼吸分布付きコンテンツ52aのサンプル点τ=0,...,b-1に対して定められた呼吸目標情報Φ(0),...,Φ(b-1)と同期重要度α(0),...,α(b-1)と、呼吸指標抽出部34から出力された現時点の時刻t=t2での呼吸指標φ(t2)とを用い、第3実施形態やその変形例1−6で説明したのと同様の処理(t1をt2に置き換えた処理)により、サンプル更新間隔S(t2)(第2再生速度情報)を生成して出力する。また、サンプル点τ=b以降のコンテンツ情報d(τ)の再生が開始された後、再生速度演算部55は、第3実施形態やその変形例1−6で説明したサンプル更新間隔S(t1)を生成して出力する。なお、図11では、ヌル情報又はブランク情報であるコンテンツ情報が再生されている各時点の各時刻をt=t2と表現し、鑑賞対象となるコンテンツ情報が再生されている各時点の時刻を第3実施形態やその変形例1−6と同様にt=t1と表現する。
【0127】
[コンテンツ再生速度制御部56]
本形態のコンテンツ再生速度制御部56は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。コンテンツ再生速度制御部56は、サンプル更新間隔S(t2)(第2再生速度情報)を入力とし、サンプル更新間隔S(t2)で特定される更新間隔で、ヌル情報又はブランク情報であるコンテンツ情報に対応する再生位置を時間軸に沿って更新する。この更新によって再生位置が鑑賞対象のコンテンツ情報に対応する位置に達した場合、コンテンツ再生速度制御部56は、第3実施形態やその変形例1−6のコンテンツ再生速度制御部と同じ処理を開始する。
【0128】
図11の例の場合、コンテンツ再生速度制御部56は、順次入力される各時刻t=t2のサンプル更新間隔S(t2)を用い、サンプル更新間隔S(t2)で特定される更新間隔でサンプル点をτ=0からτ=b-1まで更新する。そして、サンプル点がτ=bに達した以降、コンテンツ再生速度制御部56は、順次入力される各時刻t=t1のサンプル更新間隔S(t1)を用い、第3実施形態やその変形例1−6のコンテンツ再生速度制御部と同様な再生情報r(τ)を出力する。
【0129】
〔第6実施形態〕
第6実施形態は、第1−5実施形態やそれらの変形例に対する変形例である。第6実施形態の再生速度演算部は、コンテンツ情報の再生位置を逆戻りさせるような再生速度情報を設定しない。すなわち、本形態の再生速度演算部が設定する再生速度は、再生位置を更新せずに再生を行うことを示すか、又は、再生位置を未来に向かって更新しつつ再生することを示す。例えば、第6実施形態の再生速度演算部は、第1−5実施形態やそれらの変形例で説明したよう方法で算出されたサンプル更新間隔が0未満となった場合にサンプル更新間隔を0として出力する。或いは、第6実施形態の再生速度演算部が第3−5実施形態やそれらの変形例と同様にサンプル更新間隔を算出する場合、再生速度演算部が算出するサンプル更新間隔が必ず0以上となるように、呼吸目標分布付きコンテンツの同期重要度α(τ)の範囲を制限しておく。例えば、式(10)によってサンプル更新間隔が算出される場合には、同期重要度α(τ)の範囲は以下のように制限される。
【0130】
-1/(C・π)<α(τ)<1/(C・π) …(25)
〔その他の変形例〕
本発明は上述の実施の形態に限定されるものではない。
【0131】
例えば、上記の各実施形態やその変形例では、サンプル点に呼吸目標情報や同期重要度が対応付けられた呼吸目標分布付きコンテンツを例示した。しかし、呼吸目標情報や同期重要度が何れかの再生位置に対応付けられるのであれば、必ずしも、サンプル点に呼吸目標情報や同期重要度が対応付けられている必要はない。例えば、呼吸目標情報や同期重要度がコンテンツのサンプリング周波数と同じかその(1/自然数)倍の周波数で呼吸目標分布付きコンテンツに分布して記録されていても良いし、任意の間隔で記録されていても良い。任意の間隔で記録する際は、例えば、コンテンツ情報の開始点を特定する始点情報と、当該始点情報に対する呼吸目標情報や同期重要度の相対位置Δを特定する情報とを呼吸目標分布付きコンテンツに格納しておけばよい。また、呼吸目標情報や同期重要度は、離散データある必要もなく、アナログ的に記録されていても良い。また、呼吸目標情報や同期重要度は、コンテンツ全体に定義される必要もなく、その一部分にだけに対して定義されていてもよい。
【0132】
また、上記の各実施形態やその変形例では、再生速度演算部から出力される再生速度情報の具体例としてサンプル更新間隔を例示した。しかし、これは本発明を限定するものではなく、テンポ情報、フレーム位置、クロック周波数等、再生時間(速度)を調節できる信号を再生速度情報としてもよい。
【0133】
また、上記の各実施形態やその変形例では、呼吸計測部から出力される呼吸情報の具体例として呼吸レベルを例示した。しかし、例えば、呼吸レベルの微分値などを呼吸情報としてもよい。なお、呼吸レベルの微分値は、例えば、呼吸の気流量を検出して得られる。
【0134】
また、上記の各実施形態やその変形例では、コンテンツ情報の具体例として、音程や音の強さを示すMIDIデータを示した。しかし、音楽、音声、映画やテレビ番組等の動画など、鑑賞目的のための音響情報や映像情報を特定するその他のデータがコンテンツ情報であってもよい。また、コンテンツ再生速度制御部は、再生速度が変わっても、音であればピッチや音質を変更しない、映像であればコマ送りや早送りによる映像の乱れを抑える等の処理を含む再生時間制御処理を行うことが望ましい。
【0135】
第2実施形態では、0以上1以下の値の同期重要度が好ましいことを示した。しかし、これは本発明を限定するものではなく、同期重要度が0未満であってもよいし、1よりも大きくてもよい。これにより、コンテンツの再生方法のバリエーションを増やし、楽しみ方の選択肢を増やすことができる。例えば、同期重要度を0未満とすることで、鑑賞者にとって違和感のあるコンテンツ再生が可能となり、芸術的表現の幅が広がる。また、すべての実施形態やその変形例において、再生速度演算部が、呼吸目標分布付きコンテンツの同期重要度の符号を反転させた値を、再生速度を算出するための同期重要度として用いる構成でもよい。これにより、違和感のあるコンテンツ再生が可能となる。また、呼吸目標分布付きコンテンツの同期重要度の符号を反転させるか否かを選択できる構成であってもよい。
【0136】
また、上記の各実施形態やその変形例では、呼吸計測部が呼吸情報を出力するたびに、呼吸指標抽出部が呼吸指標を生成し、再生速度演算部がサンプル更新間隔を定めることとしたが、その他のタイミングでこれらの処理が行われてもよい。例えば、呼吸計測部が呼吸情報を生成する周期T1の整数倍(2倍以上)の周期で呼吸指標やサンプル更新間隔を生成してもよいし、再生されるコンテンツ情報に対応する再生位置や呼吸目標設定位置ごとに呼吸指標やサンプル更新間隔をしてもよい。
【0137】
また、図1に例示したブロック図の各ブロックは概念的に区切られた処理区分であり、それぞれが独立した装置として存在する必要はない。また、各ブロックが1つの装置として構成されている必要もなく、複数の装置に分散して配置されていてもよい。
【0138】
また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【0139】
〔各実施形態の特徴〕
各実施形態により得られる効果を列挙する。
【0140】
全実施形態及びその変形例では、呼吸目標分布付きコンテンツの任意の再生位置である呼吸目標設定位置に対して呼吸目標情報を設定しておき、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される呼吸状態が、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での鑑賞者の呼吸状態に近づくように、コンテンツの再生速度を制御することとした。そのため、全実施形態及びその変形例では、所望の呼吸目標設定位置において、呼吸目標情報によって特定される呼吸状態と鑑賞者の呼吸状態との相関を高めることができる。これにより、コンテンツ鑑賞における一体感や臨場感の高さといった満足度を高めることができる。
【0141】
第2実施形態などのように、呼吸分布付きコンテンツがさらに再生位置にそれぞれ対応する係数である同期重要度を含み、当該同期重要度を考慮して再生速度を制御する場合、呼吸目標情報によって特定される呼吸状態と鑑賞者の呼吸状態との相関の高さを、同期重要度が設定された再生位置ごとに調整することが可能となる。これにより、鑑賞者の呼吸と一致させたい再生位置、鑑賞者の呼吸と一致させる必要の低い再生位置等を定義でき、再生位置毎に実現される相関をある程度調節することが可能となる。例えば、鑑賞者の呼吸状態に追従させる必要性が低い再生位置に対しては鑑賞者の呼吸状態に関係なく通常通りの再生速度で再生を行い、鑑賞者の呼吸状態に追従させる必要性が高い再生位置に対しては吸目標情報によって特定される呼吸状態を鑑賞者の呼吸状態に追従させる再生速度で再生するなどの制御ができる。また、同じコンテンツであっても呼吸目標情報や同期重要度の設定方法を変えることにより、コンテンツ再生のバリエーションを増やすことが可能となり、楽しみ方の選択枝を拡げることができる。
【0142】
第3−5実施形態やそれらの変形例では、呼吸目標情報及び呼吸指標を、それぞれ、周期的な呼吸運動を相空間表現した場合の位相を特定するための情報とし、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される位相と、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での呼吸指標よって特定される位相との差が小さくなるような再生速度を制御することとした。これにより、吸気の途中といった(呼気開始点やテンポといった時間離散的な指標では表されない)中間状態での同期を可能とする。また、この場合、呼吸レベルを直接用いる場合に比べ、鑑賞者個々の体格などに依存する呼吸振幅などの同期とは直接関係ない特性による再生速度の影響を軽減できる。
【0143】
第3実施形態の変形例1では、関数D[L]の形状を変えることにより、様々な特徴を持つ再生速度の調節が可能となる。例えば、図9(B)に例示した関数D[L]を用いた場合には、再生速度を早くする制御よりも再生速度を遅くする制御が強調されるため、音楽的なため(間)が強調される。その他、D[L]として人間の感性に合致した関数を導入することにより、より自然な再生速度調節が可能となる。
【0144】
第3実施形態の変形例5では、再生位置が十分に鑑賞者の呼吸に追従する。そのため、例えば、再生リズムを呼吸により任意にコントロールする再生速度コントロール装置(ある種の指揮システム)として機能させることが可能である。
【0145】
第4、5実施形態では、コンテンツの開始当初から、呼吸目標情報が示す呼吸状態と鑑賞者の呼吸状態との相関が高い状態で、コンテンツ再生を行うことができる。特に、第5実施形態の場合には、コンテンツ開始点での特別な同期処理を行うことなく、第1−3実施形態やその変形例と同じ処理ループで開始点での同期を実現できる。
【0146】
第6実施形態では、再生速度が負とならぬように制限するため、コンテンツの時間的な前後関係を乱すことなくコンテンツ再生を行うことができる。
【0147】
〔プログラム,データ構造,記録媒体〕
上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。
【0148】
また、処理内容を記述したプログラムや前述したデータ構造の呼吸目標分布付きコンテンツは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【0149】
また、プログラムや呼吸目標分布付きコンテンツの流通は、例えば、プログラムや呼吸目標分布付きコンテンツを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、プログラムや呼吸目標分布付きコンテンツをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにや呼吸目標分布付きコンテンツを転送することにより、これら流通させる構成としてもよい。
【0150】
また、上述の各実施形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【符号の説明】
【0151】
1−5 再生速度同期装置
【特許請求の範囲】
【請求項1】
時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の前記再生位置である各呼吸目標設定位置に対して予め定められた呼吸状態を特定するための呼吸目標情報と、を含む、呼吸分布付きコンテンツを格納する記憶部と、
鑑賞者を計測して得られる呼吸情報から当該鑑賞者の呼吸状態を特定するための呼吸指標を抽出し、当該呼吸指標を出力する呼吸指標抽出部と、
前記呼吸目標情報と前記呼吸指標とを入力とし、何れかの前記呼吸目標設定位置に対応する前記呼吸目標情報によって特定される呼吸状態が、当該呼吸目標設定位置に対応する前記コンテンツ情報が再生される時点での前記鑑賞者の呼吸状態に近づくように、各再生位置にそれぞれ対応する各コンテンツ情報を時間軸に沿って順次再生する際の再生速度を設定し、設定した再生速度を特定する再生速度情報を出力する再生速度演算部と、
前記再生速度情報と前記コンテンツ情報とを入力とし、当該再生速度情報で特定される再生速度で各再生位置にそれぞれ対応する各コンテンツ情報を順次再生するための再生情報を出力するコンテンツ再生速度制御部と、
を有する再生速度同期装置。
【請求項2】
請求項1の再生速度同期装置であって、
前記呼吸分布付きコンテンツは、さらに、少なくとも一部の前記再生位置にそれぞれ対応する係数である同期重要度を含み、
前記再生速度演算部は、さらに前記同期重要度を入力とし、各同期重要度に対応する再生位置ごとに、当該再生位置に対応する前記同期重要度に依存する前記再生速度を定める、
ことを特徴とする再生速度同期装置。
【請求項3】
請求項1又は2の再生速度同期装置であって、
前記呼吸目標情報及び前記呼吸指標は、それぞれ、周期的な呼吸運動の位相を特定するための情報であり、
前記再生速度演算部は、何れかの前記呼吸目標設定位置に対応する前記呼吸目標情報によって特定される位相と、当該呼吸目標設定位置に対応する前記コンテンツ情報が再生される時点での前記呼吸指標よって特定される位相との差が小さくなるような前記再生速度を特定する前記再生速度情報を出力する、
ことを特徴とする再生速度同期装置。
【請求項4】
請求項3の再生速度同期装置であって、
何れかの前記呼吸目標設定位置に対応する前記呼吸目標情報によって特定される位相と、当該呼吸目標設定位置に対応する前記コンテンツ情報が再生される時点での前記呼吸指標よって特定される位相との差の変化量に対する前記再生速度の変化量は、当該呼吸目標設定位置に対応する前記呼吸目標情報によって特定される位相に対する、当該呼吸目標設定位置に対応する前記コンテンツ情報が再生される時点での前記呼吸指標よって特定される位相の相対値に依存する、
ことを特徴とする再生速度同期装置。
【請求項5】
請求項3又は4の再生速度同期装置であって、
前記再生速度演算部は、現時点の前記呼吸指標よって特定される位相と、特定の呼吸目標設定位置に対応する前記呼吸目標情報によって特定される位相との差が閾値以下となった場合に、前記特定の呼吸目標設定位置以降の各再生位置にそれぞれ対応する各コンテンツ情報を時間軸に沿って順次再生する際の再生速度を特定する再生速度情報の出力を開始し、
前記コンテンツ再生速度制御部は、現時点の前記呼吸指標よって特定される位相と、特定の呼吸目標設定位置に対応する前記呼吸目標情報によって特定される位相との差が閾値以下となった場合に、前記再生速度情報で特定される再生速度で、前記特定の呼吸目標設定位置以降の各再生位置にそれぞれ対応する各コンテンツ情報を順次再生するための前記再生情報の出力を開始する、
ことを特徴とする再生速度同期装置。
【請求項6】
請求項3又は4の再生速度同期装置であって、
前記呼吸分布付きコンテンツの一部の再生位置に対応するコンテンツ情報は、ヌル情報又はブランク情報であり、
前記呼吸分布付きコンテンツの一部の前記呼吸目標情報は、ヌル情報又はブランク情報であるコンテンツ情報に対応する前記呼吸目標設定位置に対して定められており、
前記再生速度演算部は、さらに、ヌル情報又はブランク情報であるコンテンツ情報に対応する前記呼吸目標設定位置に対応する前記呼吸目標情報によって特定される位相と、現時点の前記呼吸指標よって特定される位相との差が小さくなるように、当該ヌル情報又はブランク情報であるコンテンツ情報に対応する再生位置の更新間隔を特定する第2再生速度情報を出力し、
前記コンテンツ再生速度制御部は、さらに、前記第2再生速度情報を入力とし、前記第2再生速度情報で特定される更新間隔で、前記ヌル情報又はブランク情報であるコンテンツ情報に対応する再生位置を時間軸に沿って更新する、
ことを特徴とする再生速度同期装置。
【請求項7】
請求項1から6の何れかの再生速度同期装置であって、
前記再生速度は、再生位置を更新せずに再生を行うことを示すか、又は、再生位置を未来に向かって更新しつつ再生することを示す、
ことを特徴とする再生速度同期装置。
【請求項8】
時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の前記再生位置である各呼吸目標設定位置に対して予め定められた呼吸状態を特定する呼吸目標情報と、を含む、呼吸分布付きコンテンツを記憶部に格納するステップと、
呼吸指標抽出部が、鑑賞者を計測して得られる呼吸情報から当該鑑賞者の呼吸状態を特定するための呼吸指標を抽出し、当該呼吸指標を出力するステップと、
再生速度演算部が、前記呼吸目標情報と前記呼吸指標とを入力とし、何れかの前記呼吸目標設定位置に対応する前記呼吸目標情報によって特定される呼吸状態が、当該呼吸目標設定位置に対応する前記コンテンツ情報が再生される時点での前記鑑賞者の呼吸状態に近づくように、各再生位置にそれぞれ対応する各コンテンツ情報を時間軸に沿って順次再生する際の再生速度を設定し、設定した再生速度を特定する再生速度情報を出力するステップと、
コンテンツ再生速度制御部が、前記再生速度情報と前記コンテンツ情報とを入力とし、当該再生速度情報で特定される再生速度で各再生位置にそれぞれ対応する各コンテンツ情報を順次再生するための再生情報を出力するステップと、
を有する再生速度同期方法。
【請求項9】
請求項1から7の何れかの再生速度同期装置としてコンピュータを機能させるためのプログラム。
【請求項10】
時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、
少なくとも一部の前記再生位置である各呼吸目標設定位置に対して予め定められた呼吸状態を特定するための呼吸目標情報と、
を有する呼吸分布付きコンテンツのデータ構造。
【請求項11】
請求項10のデータ構造であって、
さらに、前記再生位置にそれぞれ対応する係数である同期重要度を有する、
ことを特徴とするデータ構造。
【請求項12】
請求項10又は11のデータ構造を有する呼吸分布付きコンテンツを格納したコンピュータ読み取り可能な記録媒体。
【請求項1】
時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の前記再生位置である各呼吸目標設定位置に対して予め定められた呼吸状態を特定するための呼吸目標情報と、を含む、呼吸分布付きコンテンツを格納する記憶部と、
鑑賞者を計測して得られる呼吸情報から当該鑑賞者の呼吸状態を特定するための呼吸指標を抽出し、当該呼吸指標を出力する呼吸指標抽出部と、
前記呼吸目標情報と前記呼吸指標とを入力とし、何れかの前記呼吸目標設定位置に対応する前記呼吸目標情報によって特定される呼吸状態が、当該呼吸目標設定位置に対応する前記コンテンツ情報が再生される時点での前記鑑賞者の呼吸状態に近づくように、各再生位置にそれぞれ対応する各コンテンツ情報を時間軸に沿って順次再生する際の再生速度を設定し、設定した再生速度を特定する再生速度情報を出力する再生速度演算部と、
前記再生速度情報と前記コンテンツ情報とを入力とし、当該再生速度情報で特定される再生速度で各再生位置にそれぞれ対応する各コンテンツ情報を順次再生するための再生情報を出力するコンテンツ再生速度制御部と、
を有する再生速度同期装置。
【請求項2】
請求項1の再生速度同期装置であって、
前記呼吸分布付きコンテンツは、さらに、少なくとも一部の前記再生位置にそれぞれ対応する係数である同期重要度を含み、
前記再生速度演算部は、さらに前記同期重要度を入力とし、各同期重要度に対応する再生位置ごとに、当該再生位置に対応する前記同期重要度に依存する前記再生速度を定める、
ことを特徴とする再生速度同期装置。
【請求項3】
請求項1又は2の再生速度同期装置であって、
前記呼吸目標情報及び前記呼吸指標は、それぞれ、周期的な呼吸運動の位相を特定するための情報であり、
前記再生速度演算部は、何れかの前記呼吸目標設定位置に対応する前記呼吸目標情報によって特定される位相と、当該呼吸目標設定位置に対応する前記コンテンツ情報が再生される時点での前記呼吸指標よって特定される位相との差が小さくなるような前記再生速度を特定する前記再生速度情報を出力する、
ことを特徴とする再生速度同期装置。
【請求項4】
請求項3の再生速度同期装置であって、
何れかの前記呼吸目標設定位置に対応する前記呼吸目標情報によって特定される位相と、当該呼吸目標設定位置に対応する前記コンテンツ情報が再生される時点での前記呼吸指標よって特定される位相との差の変化量に対する前記再生速度の変化量は、当該呼吸目標設定位置に対応する前記呼吸目標情報によって特定される位相に対する、当該呼吸目標設定位置に対応する前記コンテンツ情報が再生される時点での前記呼吸指標よって特定される位相の相対値に依存する、
ことを特徴とする再生速度同期装置。
【請求項5】
請求項3又は4の再生速度同期装置であって、
前記再生速度演算部は、現時点の前記呼吸指標よって特定される位相と、特定の呼吸目標設定位置に対応する前記呼吸目標情報によって特定される位相との差が閾値以下となった場合に、前記特定の呼吸目標設定位置以降の各再生位置にそれぞれ対応する各コンテンツ情報を時間軸に沿って順次再生する際の再生速度を特定する再生速度情報の出力を開始し、
前記コンテンツ再生速度制御部は、現時点の前記呼吸指標よって特定される位相と、特定の呼吸目標設定位置に対応する前記呼吸目標情報によって特定される位相との差が閾値以下となった場合に、前記再生速度情報で特定される再生速度で、前記特定の呼吸目標設定位置以降の各再生位置にそれぞれ対応する各コンテンツ情報を順次再生するための前記再生情報の出力を開始する、
ことを特徴とする再生速度同期装置。
【請求項6】
請求項3又は4の再生速度同期装置であって、
前記呼吸分布付きコンテンツの一部の再生位置に対応するコンテンツ情報は、ヌル情報又はブランク情報であり、
前記呼吸分布付きコンテンツの一部の前記呼吸目標情報は、ヌル情報又はブランク情報であるコンテンツ情報に対応する前記呼吸目標設定位置に対して定められており、
前記再生速度演算部は、さらに、ヌル情報又はブランク情報であるコンテンツ情報に対応する前記呼吸目標設定位置に対応する前記呼吸目標情報によって特定される位相と、現時点の前記呼吸指標よって特定される位相との差が小さくなるように、当該ヌル情報又はブランク情報であるコンテンツ情報に対応する再生位置の更新間隔を特定する第2再生速度情報を出力し、
前記コンテンツ再生速度制御部は、さらに、前記第2再生速度情報を入力とし、前記第2再生速度情報で特定される更新間隔で、前記ヌル情報又はブランク情報であるコンテンツ情報に対応する再生位置を時間軸に沿って更新する、
ことを特徴とする再生速度同期装置。
【請求項7】
請求項1から6の何れかの再生速度同期装置であって、
前記再生速度は、再生位置を更新せずに再生を行うことを示すか、又は、再生位置を未来に向かって更新しつつ再生することを示す、
ことを特徴とする再生速度同期装置。
【請求項8】
時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の前記再生位置である各呼吸目標設定位置に対して予め定められた呼吸状態を特定する呼吸目標情報と、を含む、呼吸分布付きコンテンツを記憶部に格納するステップと、
呼吸指標抽出部が、鑑賞者を計測して得られる呼吸情報から当該鑑賞者の呼吸状態を特定するための呼吸指標を抽出し、当該呼吸指標を出力するステップと、
再生速度演算部が、前記呼吸目標情報と前記呼吸指標とを入力とし、何れかの前記呼吸目標設定位置に対応する前記呼吸目標情報によって特定される呼吸状態が、当該呼吸目標設定位置に対応する前記コンテンツ情報が再生される時点での前記鑑賞者の呼吸状態に近づくように、各再生位置にそれぞれ対応する各コンテンツ情報を時間軸に沿って順次再生する際の再生速度を設定し、設定した再生速度を特定する再生速度情報を出力するステップと、
コンテンツ再生速度制御部が、前記再生速度情報と前記コンテンツ情報とを入力とし、当該再生速度情報で特定される再生速度で各再生位置にそれぞれ対応する各コンテンツ情報を順次再生するための再生情報を出力するステップと、
を有する再生速度同期方法。
【請求項9】
請求項1から7の何れかの再生速度同期装置としてコンピュータを機能させるためのプログラム。
【請求項10】
時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、
少なくとも一部の前記再生位置である各呼吸目標設定位置に対して予め定められた呼吸状態を特定するための呼吸目標情報と、
を有する呼吸分布付きコンテンツのデータ構造。
【請求項11】
請求項10のデータ構造であって、
さらに、前記再生位置にそれぞれ対応する係数である同期重要度を有する、
ことを特徴とするデータ構造。
【請求項12】
請求項10又は11のデータ構造を有する呼吸分布付きコンテンツを格納したコンピュータ読み取り可能な記録媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2011−59419(P2011−59419A)
【公開日】平成23年3月24日(2011.3.24)
【国際特許分類】
【出願番号】特願2009−209472(P2009−209472)
【出願日】平成21年9月10日(2009.9.10)
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】
【公開日】平成23年3月24日(2011.3.24)
【国際特許分類】
【出願日】平成21年9月10日(2009.9.10)
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】
[ Back to top ]