説明

呼吸分布付与装置、呼吸分布付与方法、及びプログラム

【課題】コンテンツの鑑賞者の呼吸に併せてコンテンツの再生速度を制御し、鑑賞者のコンテンツへの一体感や臨場感などの感覚を制御することが可能な技術を提供する。
【解決手段】
時間軸に沿って進行するコンテンツを演奏又は演ずる演者を計測して得られる呼吸情報から、当該コンテンツの進行に沿った時間軸上の時点における当該演者の呼吸状態を特定する呼吸指標を抽出する。時間軸上の少なくとも一部の時点での演者の呼吸状態に対応する呼吸目標情報を呼吸指標から得て、当該呼吸目標情報を当該呼吸目標情報に対応する時間軸上の時点である呼吸目標設定位置でのコンテンツを表すコンテンツ情報に対応付けて出力する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンテンツの再生技術に関し、特に、鑑賞者の呼吸にコンテンツの再生位置を同期させる技術に関する。
【背景技術】
【0002】
音楽コンテンツなどの時間軸に沿って進行するコンテンツのテンポに基づいて鑑賞者の呼吸テンポが誘導される(呼吸が引き込まれる)という報告がなされている(例えば、非特許文献1,2等参照)。このコンテンツに呼吸が引き込まれる現象を利用し、例えば、音楽テンポに基づいて鑑賞者の呼吸を誘導する発明や商品開発が行われている。例えば、非特許文献3に開示された装置では、ある目標とする呼吸テンポに誘導、あるいは収束させることを目的として、呈示音の時間長を変化させている。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】F. HAAS, S. Distenfeld and K. Axen, “Effects of perceived musical rhythm on respiratory pattern,” J. Appl Physiol, 1986, 61, pp. 1185-1191
【非特許文献2】中村敏枝, “音楽における「間」と呼吸について,” 日本音響学会音楽音響研究会資料, 1994, MA94, 16
【非特許文献3】”RESPeRATE TO LOWER BLOOD PRESSURE”, [online], [平成23年2月25日検索], インターネット<http://www.resperate.com/us/discover/resperatedemo>
【発明の概要】
【発明が解決しようとする課題】
【0004】
一方、上述したコンテンツに呼吸が引き込まれる現象から、逆に、コンテンツのある場面と鑑賞者の呼吸とが同期することがコンテンツへの一体感や臨場感に関係していると考えられる。ところが、従来検討されていたのは、目標として予め設定された呼吸テンポに誘導、あるいは収束させることを目的として、音楽テンポ等のコンテンツのテンポを設定する方法のみである。呼吸テンポの誘導や収束ではなく、コンテンツの鑑賞者の呼吸に併せてコンテンツのテンポを同期させる方法はこれまで検討されていない。すなわち、従来技術は、コンテンツの場面とその鑑賞者の呼吸との関係が鑑賞者に与える心理的影響を想定しておらず、コンテンツの鑑賞上重要なポイントとなる場面ごとに鑑賞者の呼吸に応じてコンテンツの再生速度を変化させ、同調の度合い(相関)をコントロールするものではない。
【0005】
本発明はこのような点に鑑みてなされたものであり、コンテンツの鑑賞者の呼吸に併せてコンテンツの再生速度を制御し、鑑賞者のコンテンツへの一体感や臨場感などの感覚を制御することが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の再生位置に対応する各呼吸目標設定位置に対して予め定められた呼吸状態を特定するための呼吸目標情報と、を含む、呼吸分布付きコンテンツを記憶部に格納し、鑑賞者を計測して得られる呼吸情報から当該鑑賞者の呼吸状態を特定するための呼吸指標を抽出し、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される呼吸状態が、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での鑑賞者の呼吸状態に近づくような再生速度情報を求め、当該再生速度情報で特定される再生速度で各再生位置にそれぞれ対応する各コンテンツ情報を順次再生するための再生情報を出力する。
【0007】
本発明では、以下のように呼吸分布付きコンテンツを生成する。
時間軸に沿って進行するコンテンツを演奏又は演ずる演者を計測して得られる呼吸情報から、当該コンテンツの進行に沿った時間軸上の時点における当該演者の呼吸状態を特定する呼吸指標を抽出し、時間軸上の少なくとも一部の時点での演者の呼吸状態に対応する呼吸目標情報を呼吸指標から得て、当該呼吸目標情報を当該呼吸目標情報に対応する時間軸上の時点である呼吸目標設定位置でのコンテンツを表すコンテンツ情報に対応付けて出力する。
【発明の効果】
【0008】
何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される呼吸状態が、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での鑑賞者の呼吸状態に近づくように再生速度を設定するため、コンテンツの鑑賞者の呼吸に併せてコンテンツの再生速度を制御し、鑑賞者のコンテンツへの一体感や臨場感などの感覚を制御することができる。本発明では、そのための呼吸分布付きコンテンツを効率的に生成できる。
【図面の簡単な説明】
【0009】
【図1】図1は、再生速度同期装置の機能構成を例示するためのブロック図である。
【図2】図2は、呼吸計測部から出力される呼吸レベルを例示したグラフである。
【図3】図3は、呼気開始時刻の予測値の一例を説明するための図である。
【図4】図4は、第1実施形態の再生速度演算部の処理機能を例示するための図である。
【図5】図5は、再生速度同期方法を例示するためのフローチャートである。
【図6】図6は、第2実施形態の再生速度演算部の処理機能を例示するための図である。
【図7】図7は、第3実施形態の再生速度演算部の処理機能を例示するための図である。
【図8】図8Aは、第3実施形態の呼吸指標抽出部が算出する呼吸指標の例を説明するための図である。図8Bは、呼吸指標と呼吸目標情報とそれらの位相差との関係を例示した図である。
【図9】図9は、呼吸分布付きコンテンツを作成する呼吸分布付与装置の機能構成を例示するためのブロック図である。
【図10】図10は、呼吸計測部から出力される呼吸レベルを例示したグラフである。
【図11】図11は、呼吸分布付きコンテンツを作成する呼吸分布付与装置の機能構成を例示するためのブロック図である。
【図12】図12Aは、複数の演者を計測して得られた呼吸レベルを例示したグラフである。図12Bは、複数の演者の呼吸開始時刻を例示した図である。図12Cは、呼吸開始時刻を時間軸上のサンプル点に変換して得られる呼吸開始サンプル点を例示した図である。図12Dは、呼吸開始サンプル点の確率密度分布を例示した図である。
【図13】図13Aは、複数の演者の呼吸運動の位相に対応する位相空間上のベクトルから得られる重心ベクトルを例示した図である。図13Bは、複数の演者の呼吸運動の位相に対応する位相空間上のベクトルを正規化して得られる正規化ベクトルから得られる重心ベクトルを例示した図である。
【発明を実施するための形態】
【0010】
以下、図面を参照して本発明の実施形態を説明する。
〔用語の定義〕
以下のように用語を定義する。
コンテンツ:音楽、音声若しくは朗読、又は、演劇、映画若しくはテレビ番組その他の動画など、鑑賞目的のための音響情報や映像情報を意味する。
コンテンツ情報:コンテンツを構成し、時間軸に沿って順次再生される情報を意味する。
再生位置:時間軸に沿って順次再生される各コンテンツ情報の再生位置、つまり、コンテンツ再生における時間軸上の進行位置を意味する。より具体的には、例えば、フレーム位置、サンプル点、タイムコード、ソングポジションポインターなどが再生位置に対応する。
【0011】
呼吸目標設定位置:少なくとも一部の再生位置を意味する。
呼吸状態:周期的に行われる呼吸運動中の各状態を意味する。より具体的には、例えば、呼気運動を開始する時点の状態である呼気開始状態、呼気運動中の各時点での呼気状態、呼気運動を終了する時点の状態である呼気終了状態、吸気運動を開始する時点の状態である吸気開始状態、吸気運動中の各時点での吸気状態、吸気運動を終了する時点の状態である吸気終了状態などが呼吸状態に対応する。
基準状態:所定の呼吸状態を意味する。例えば、呼気開始状態、呼気終了状態、吸気開始状態、吸気終了状態などが基準状態に対応する。
呼吸基準位置:呼吸状態が特定の基準状態となる時間軸上の位置を意味する。
【0012】
呼吸情報:コンテンツを鑑賞する鑑賞者やコンテンツを演奏又は演ずる演者の呼吸状態を計測して得られる情報を意味する。より具体的には、例えば、胸部回りや腹部回りの長さ、呼吸の気流量、呼気と吸気の温度差などを意味する。
再生速度:ある再生位置Aのコンテンツ情報を再生してから次の再生位置Bのコンテンツ情報を再生するまでに要する時間の逆数を意味する。再生テンポやクロック間隔などに読み替え可能な概念である。
【0013】
〔第1実施形態〕
次に、本発明の第1実施形態を説明する。
<構成>
図1は、再生速度同期装置の機能構成を例示するためのブロック図である。
図1に例示するように、第1実施形態の再生速度同期装置1は、入力部11と、呼吸分布付きコンテンツ12aを格納する記憶部12と、呼吸計測部13と、呼吸指標抽出部14と、再生速度演算部15と、コンテンツ再生速度制御部16と、再生部17と、制御部19とを有する。
【0014】
[入力部11]
入力部11は、呼吸分布付きコンテンツ12aの入力を受け付ける機能部であり、入力部11の例は、入力ポート、入力インタフェース、読み出し装置、受信装置などである。
【0015】
[呼吸分布付きコンテンツ12a]
呼吸分布付きコンテンツ12aは、時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の再生位置に対応する位置(例えば、当該再生位置や当該再生位置と特定の関係にある位置など)である各呼吸目標設定位置に対して予め定められた呼吸状態を特定するための呼吸目標情報と、を含むデータ構造からなるデータである。
【0016】
本形態の例では、サンプル点を再生位置とし、音程や音の強さを示すMIDIデータをコンテンツ情報とし、呼気運動を開始する時点として望ましいサンプル点(呼吸目標サンプル点)を呼吸目標設定位置とし、呼気開始状態を呼吸目標サンプル点において予め定められた呼吸状態とし、呼吸目標サンプル点における呼気開始状態を特定するための情報を呼吸目標情報とする。例えば、図4に例示する呼吸分布付きコンテンツ12aは、時間軸に沿った各サンプル点τにそれぞれ対応する音程や音の強さを示すMIDIデータであるコンテンツ情報d(τ)と、呼気運動を開始する時点として望ましいサンプル点である各呼吸目標サンプル点に対して定められた呼気開始状態を特定するための呼吸目標情報Bpe(μ)と、を含むデータ構造からなるデータである。この例のサンプル点τは0以上の整数であり、値が大きいほど遅い時間に対応する。また、この例の呼吸目標情報Bpe(μ)は、それに対応するサンプル点τ(呼吸目標サンプル点)を示す。例えば、呼吸目標サンプル点τ=100に対して定められた呼吸目標情報Bpe(μ)の値は100である。μは説明上便宜的に付した指標であり、各呼吸目標情報Bpe(μ)を識別するための0以上の連続した整数である。値が大きいμほど時間的に後の呼吸目標情報に対応する。図4に例示する呼吸分布付きコンテンツ12aは、再生対象のサンプル点τが時間軸に沿って順次更新されながら、各再生対象のサンプル点τに対応するコンテンツ情報が順次再生される。この再生対象のサンプル点τの更新周期をサンプル更新間隔と呼び、予め定められたサンプル更新間隔の標準設定値をS0とする。
【0017】
[記憶部12]
記憶部12は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどの情報記憶装置である。
[呼吸計測部13]
呼吸計測部13は、コンテンツの鑑賞者100の呼吸状態を計測し、それによって得られる呼吸情報を出力する周知の装置である。本形態の例では、胸部回りや腹部回りの長さに対応する情報(呼吸レベル)を呼吸情報とし、胸部や腹部に巻き付けられたゴム管の抵抗変化から呼吸を検出する装置(例えば、日本光電製のTR-753Tや、ADInstruments製のMLT1132)を呼吸計測部13とする。この例の呼吸計測部13は、設定されたある任意の周期T1で呼吸レベルV(t)を計測して出力する。なお、tは離散的な時刻に対応する整数インデックスであり、「時刻t」とは整数インデックスtに対応する時刻を意味する。また、簡単のためにtは周期T1で1ずつ進行するとするとして説明を行う。また、V(t)は時刻tでの呼吸レベルを表す。
【0018】
図2は、呼吸計測部から出力される呼吸レベルV(t)を例示したグラフである。
図2の例では、呼気が開始される時刻である呼気開始時刻(bpe(n-1)等)で呼吸レベルV(t)が極大となり、呼気状態が進むにつれて呼吸レベルV(t)が減少し、吸気が開始される時刻である吸気開始時刻(bpi(n)等)で呼吸レベルV(t)が極小となり、吸気状態が進むにつれて呼吸レベルV(t)が増加し、次の呼気開始時刻(bpe(n)等)で再び呼吸レベルV(t)が極大となる、といった状態が周期的に繰り返される。
【0019】
[呼吸指標抽出部14]
呼吸指標抽出部14は、例えば、CPU(central processing unit)に所定のプログラムが読み込まれることで構成される処理部である。呼吸指標抽出部14は、鑑賞者を計測して得られる呼吸情報から当該鑑賞者の呼吸状態を特定するための呼吸指標を抽出し、当該呼吸指標を出力するものである。本形態の例の呼吸指標抽出部14は、呼吸計測部13から出力された呼吸レベルV(t)(呼吸情報)を入力とし、計測対象となる鑑賞者の、時刻tからみた直近の未来の呼気開始時刻の予測値pbpe(n)を呼吸指標として出力する。ここで、nは説明上便宜的に付した指標であり、鑑賞者の呼吸回数に対応する整数である。
【0020】
図3は、呼気開始時刻の予測値の一例を説明するための図である。
呼気開始時刻の予測値pbpe(n)は、例えば、現在の時刻t=t1からみた直近の過去の呼吸周期を、時刻t=t1からみた直近の未来の呼吸周期と推定して求めることができる。すなわち、呼気開始時刻の予測値pbpe(n)は、例えば以下のように算出することができる。
pbpe(n)=bpe(n-1)+(bpe(n-1)-bpe(n-2))
=2・bpe(n-1)-bpe(n-2) (1)
ここでbpe(n-1)は、呼吸レベルV(t1), V(t1-1), V(t1-2),...を用いて算出された時刻tからみた直近の過去の呼気開始時刻を表し、bpe(n-2)は、呼吸レベルV(t1), V(t1-1), V(t1-2),...を用いて算出された呼気開始時刻bpe(n-1)からみた直近の過去の呼気開始時刻を表す。より具体的には、例えば、時刻t=t1から最も近い過去の呼吸レベルの極大値に対応する時刻をbpe(n-1)とし、呼気開始時刻bpe(n-1)から最も近い過去の呼吸レベルの極大値に対応する時刻をbpe(n-2)とする(図3参照)。
【0021】
[再生速度演算部15]
再生速度演算部15は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。再生速度演算部15は、呼吸目標情報と呼吸指標とを入力とし、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される呼吸状態が、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での鑑賞者の呼吸状態に近づくように、各再生位置にそれぞれ対応する各コンテンツ情報を時間軸に沿って順次再生する際の再生速度を設定し、設定した再生速度を特定する再生速度情報を出力する。すなわち、再生速度演算部15は、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される呼吸状態と、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での鑑賞者の呼吸状態との相関が高くなるように、コンテンツの再生速度を設定する。なお、設定される再生速度は、鑑賞者の呼吸を誘導するための速度ではなく、コンテンツの進行を鑑賞者の呼吸に同期させるための速度である。
【0022】
図4は、第1実施形態の再生速度演算部の処理機能を例示するための図である。
本形態の再生速度演算部15は、サンプル更新間隔を定めることでコンテンツの再生速度を設定する。また、本形態の再生速度演算部15は、呼吸計測部13で呼吸レベルV(t)が得られるたびに、すなわち、周期T1でサンプル更新間隔S(t)を定め、これを再生速度情報として出力する。ここで、p(t)は、時刻tの時点で再生されたコンテンツ情報に対応するサンプル点τを表す。以下、図4を用いて再生速度演算部15の処理を例示する。
【0023】
時刻t=t1の時点で、サンプル点τ=p(t1)に対応するコンテンツ情報d(p(t1))までの再生が終了しているとする。このとき呼吸分布付きコンテンツ12aに含まれるサンプル点τ=p(t1)からみて直近の未来の呼吸目標サンプル点がBpe(m)(μ=m)であり、時刻t=t1の時点で呼吸指標抽出部14から出力された呼気開始時刻の予測値(呼吸指標)がpbpe(n)であったとする。この場合、再生速度演算部15は、呼吸指標抽出部14から出力された呼吸指標である呼気開始時刻の予測値pbpe(n)と、記憶部12に格納された呼吸目標分布付きコンテンツ12aから抽出した呼吸目標サンプル点Bpe(m)及びサンプル点τ=p(t1)とを入力とし、呼気開始時刻の予測値pbpe(n)に、呼吸目標サンプル点Bpe(m)に対応するコンテンツ情報d(τ)の再生時刻が近づくように、サンプル更新間隔S(t1)を以下のように算出して出力する。
S(t1)=(pbpe(n)-t1)×T1/(Bpe(m)-p(t1)) (2)
【0024】
すなわち、再生速度演算部15は、時刻t1から時刻pbpe(n)までの間に再生対象のサンプル点がp(t1)からBpe(m)まで更新されるようなサンプル更新間隔S(t1)を算出し、当該サンプル更新間隔S(t1)を再生速度情報として出力する。
【0025】
[コンテンツ再生速度制御部16]
コンテンツ再生速度制御部16は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。コンテンツ再生速度制御部16は、再生速度情報とコンテンツ情報とを入力とし、当該再生速度情報で特定される再生速度で各再生位置にそれぞれ対応する各コンテンツ情報を順次再生するための再生情報を出力する。
【0026】
本形態のコンテンツ再生速度制御部16は、再生速度演算部15から出力された再生速度情報であるサンプル更新間隔S(t1)と、記憶部12に格納された呼吸目標分布付きコンテンツ12aから抽出されたコンテンツ情報d(τ)とを入力とし、サンプル更新間隔S(t1)で再生対象のサンプル点τを更新しつつ再生対象のサンプル点τに対応するコンテンツ情報d(τ)を再生するための再生情報r(τ)(音響信号等)を順次出力する。例えば、コンテンツ再生速度制御部16は、サンプル更新間隔S(t1)で再生対象のサンプル点τを更新しつつ再生対象のサンプル点τに対応するコンテンツ情報d(τ)を呼吸目標分布付きコンテンツ12aから順次抽出し、抽出したコンテンツ情報d(τ)を再生するための再生情報r(τ)を順次出力する。
【0027】
[再生部17]
再生部17は、例えば、アンプ、スピーカー、画像表示装置などから構成される周知の呈示装置である。再生部17は、コンテンツ再生速度制御部16から出力された再生情報r(τ)を入力とし、再生情報r(τ)によって特定される音響情報等のコンテンツを出力する。
【0028】
[制御部19]
制御部19は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。制御部19は、再生速度同期装置1の処理全体を制御する。
【0029】
<方法>
次に、本形態の再生速度同期方法を例示する。
図5は、再生速度同期方法を例示するためのフローチャートである。
まず、入力部11に呼吸分布付きコンテンツ12aが入力され(ステップS11)、記憶部12に格納される(ステップS12)。
【0030】
鑑賞者100に取り付けられた呼吸計測部13が周期T1で鑑賞者100の呼吸状態を計測し、それによって得られた呼吸情報である呼吸レベルV(t1), V(t1-1), V(t1-2),...を出力する(ステップS13)。呼吸レベルV(t1), V(t1-1), V(t1-2),...は呼吸指標抽出部14に入力され、呼吸指標抽出部14は、式(1)に従って呼気開始時刻の予測値pbpe(n)(呼吸指標)を算出し、当該呼気開始時刻の予測値pbpe(n)を出力する(ステップS14)。次に、制御部19が、必要時刻までの呼吸レベルが計測されたか否かを判定する(ステップS14−2)。本形態では、制御部19が1つの呼気開始時刻(bpe(1))を特定できる時刻までの呼吸レベルが計測されたか否かを判定する。ここで、必要時刻までの呼吸レベルが計測されていないと判定された場合にはステップS13の処理に戻る。
【0031】
一方、必要時刻までの呼吸レベルが計測されたと判定された場合、再生速度演算部15は、呼吸指標抽出部14から出力された呼気開始時刻の予測値pbpe(n)と、記憶部12に格納された呼吸目標分布付きコンテンツ12aから抽出した呼吸目標サンプル点Bpe(m)及びサンプル点τ=p(t1)とを入力とし、式(2)に従ってサンプル更新間隔S(t1)(再生速度情報)を算出して出力する(ステップS15)。
【0032】
コンテンツ再生速度制御部16は、再生速度演算部15から出力されたサンプル更新間隔S(t1)と、記憶部12に格納された呼吸目標分布付きコンテンツ12aから抽出されたコンテンツ情報d(τ)とを入力とし、サンプル更新間隔S(t1)で再生対象のサンプル点τを更新しつつ再生対象のサンプル点τに対応するコンテンツ情報d(τ)を再生するための再生情報r(τ)を順次出力する(ステップS16)。
【0033】
再生部17は、コンテンツ再生速度制御部16から出力された再生情報r(τ)を入力とし、再生情報r(τ)によって特定されるコンテンツを出力する(ステップS17)。
【0034】
次に、呼吸計測部13が新たな呼吸レベルV(t1+1)を計測する時刻t=t1+1であるか否かを判定する(ステップS18)。ここで、新たな呼吸レベルV(t1+1)を計測する時刻t=t1+1でないと判定された場合、ステップS16の処理に戻される。一方、新たな呼吸レベルV(t1+1)を計測する時刻t=t1+1であると判定された場合、次に、制御部19が、呼吸分布付きコンテンツ12aが含むすべてのコンテンツ情報d(τ)の再生が終了したか否かを判定する(ステップS19)。
ここで、すべてのコンテンツ情報d(τ)の再生が終了していないと判定された場合、t1+1を新たなt1としてステップS13の処理に戻される。一方、コンテンツ情報d(τ)の再生が終了していると判定された場合、処理が終了する。
【0035】
〔第2実施形態〕
第2実施形態は第1実施形態の変形例である。第2実施形態の呼吸分布付きコンテンツは、さらに、再生位置にそれぞれ対応する係数である同期重要度を含み、第2実施形態の再生速度演算部は、さらに同期重要度を入力とし、各同期重要度に対応する再生位置ごとに、当該再生位置に対応する同期重要度に依存する再生速度を定める。
なお、第2実施形態以降では、第1実施形態と相違する事項を中心に説明し、第1実施形態と共通する事項については説明を省略する。また、同一の処理部や処理ステップには同一の符号を用い、説明の繰り返しを避ける。
【0036】
<構成>
図1に例示するように、第2実施形態の再生速度同期装置2は、入力部21と、呼吸分布付きコンテンツ22aを格納する記憶部22と、呼吸計測部13と、呼吸指標抽出部14と、再生速度演算部25と、コンテンツ再生速度制御部16と、再生部17と、制御部19とを有する。
【0037】
[入力部21,記憶部22,呼吸分布付きコンテンツ22a]
入力部21は、呼吸分布付きコンテンツ22aの入力を受け付ける機能部であり、記憶部22は、呼吸分布付きコンテンツ22aを格納する。本形態の呼吸分布付きコンテンツ22aは、時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の再生位置に対応する位置(例えば、当該再生位置や当該再生位置と特定の関係にある位置など)である各呼吸目標設定位置に対して予め定められた呼吸状態を特定するための呼吸目標情報と、再生位置にそれぞれ対応する係数である同期重要度とを含むデータ構造からなるデータである。ここで、同期重要度は、それに対応する再生位置に対応する呼吸目標情報の重要度を示す。すなわち、同期重要度は、それに対応する再生位置に対応する呼吸目標情報と、その再生位置に対応するコンテンツ情報が再生される時点での鑑賞者100の呼吸と、を同期させる重要度が大きいほど大きな値をとる。第2実施形態の場合、同期重要度は0以上1以下の値に設定されることが望ましい。
【0038】
例えば、図6に例示する呼吸分布付きコンテンツ22aは、時間軸に沿った各サンプル点τ(再生位置)にそれぞれ対応する音程や音の強さを示すMIDIデータであるコンテンツ情報d(τ)と、呼気運動を開始する時点として望ましいサンプル点である各呼吸目標サンプル点に対して定められた呼気開始状態を特定するための呼吸目標情報Bpe(μ)とに加え、さらに、各サンプル点τにそれぞれ対応する係数である同期重要度α(τ)を含むデータ構造からなるデータである。
【0039】
[再生速度演算部25]
再生速度演算部25は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。再生速度演算部25は、呼吸目標情報と同期重要度と呼吸指標を入力とし、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される呼吸状態が、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での鑑賞者の呼吸状態に近づくように、各同期重要度に対応する再生位置ごとに、当該再生位置に対応する同期重要度に依存する再生速度を設定し、設定した再生速度を特定する再生速度情報を出力する。
【0040】
図6は、第2実施形態の再生速度演算部の処理機能を例示するための図である。
再生速度演算部25は、呼吸指標抽出部14から出力された呼吸指標である呼気開始時刻の予測値pbpe(n)と、記憶部22に格納された呼吸目標分布付きコンテンツ22aから抽出した呼吸目標サンプル点Bpe(m)、同期重要度α(p(t1))及びサンプル点τ=p(t1)とを入力とし、サンプル点τ=p(t1)の同期重要度α(p(t1))を考慮しつつ、呼気開始時刻の予測値pbpe(n)に、呼吸目標サンプル点Bpe(m)に対応するコンテンツ情報d(τ)の再生時刻が近づくように、サンプル更新間隔S(t1)を以下のように算出する。
S(t1)=α(p(t1)){((pbpe(n)-t1)×T1/(Bpe(m)-p(t1)))-S0}+S0 (3)
ここで、S0は予め定められたサンプル更新間隔の標準設定値であり、α(p(t1)){((pbpe(n)-t1)×T1/(Bpe(m)-p(t1)))-S0}は、サンプル更新間隔の変化量である。すなわち、再生速度演算部25は、同期重要度α(p(t1))が1の場合には、時刻t1から時刻pbpe(n)までの間に再生対象のサンプル点がp(t1)からBpe(m)まで更新されるようなサンプル更新間隔S(t1)を算出する。一方、同期重要度α(p(t1))が0以上1未満の場合、再生速度演算部25は、サンプル更新間隔の標準設定値S0に対する変化量が、同期重要度α(p(t1))が1の場合のものよりも小さなサンプル更新間隔S(t1)を算出する。特に、同期重要度α(p(t1))が0の場合には、S(t1)=S0となる。
【0041】
<方法>
次に、図5を用いて本形態の再生速度同期方法を例示する。
第1実施形態との相違点は、ステップS11,12の処理の代わりに、入力部21に呼吸分布付きコンテンツ22aが入力され(ステップS21)、記憶部22に格納される(ステップS22)点、ステップS15の処理の代わりに、再生速度演算部25が、呼吸指標抽出部14から出力された呼気開始時刻の予測値pbpe(n)と、記憶部22に格納された呼吸目標分布付きコンテンツ22aから抽出した呼吸目標サンプル点Bpe(m)、同期重要度α(p(t1))及びサンプル点τ=p(t1)とを入力とし、式(3)に従ってサンプル更新間隔S(t1)(再生速度情報)を算出して出力する(ステップS25)点である。その他は第1実施形態と同一である。
【0042】
〔第3実施形態〕
本形態は、第1,2実施形態の変形例である。第3実施形態の呼吸目標情報及び呼吸指標は、それぞれ、周期的な呼吸運動の位相に対応する情報(位相を特定するための情報)であり、第3実施形態の再生速度演算部は、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される位相と、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での呼吸指標よって特定される位相との差が小さくなるような再生速度を特定する再生速度情報を出力する。
【0043】
<構成>
図1に例示するように、第3実施形態の再生速度同期装置3は、入力部31と、呼吸分布付きコンテンツ32aを格納する記憶部32と、呼吸計測部13と、呼吸指標抽出部34と、再生速度演算部35と、コンテンツ再生速度制御部16と、再生部17と、制御部19とを有する。
【0044】
[入力部31,記憶部32,呼吸分布付きコンテンツ32a]
入力部31は、呼吸分布付きコンテンツ32aの入力を受け付ける機能部であり、記憶部32は、呼吸分布付きコンテンツ32aを格納する。本形態の呼吸分布付きコンテンツ32aは、時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の再生位置に対応する位置(例えば、当該再生位置や当該再生位置と特定の関係にある位置など)である各呼吸目標設定位置に対して予め定められた呼吸状態を特定するための呼吸目標情報とを含む。第1,2実施形態との相違点は、呼吸目標情報が周期的な呼吸運動の位相に対応する情報である点である。
【0045】
例えば、図7に例示する呼吸分布付きコンテンツ32aは、時間軸に沿った各サンプル点τ(再生位置)にそれぞれ対応する音程や音の強さを示すMIDIデータであるコンテンツ情報d(τ)と、すべてのサンプル点τ(呼吸目標設定位置)に対して定められた、各サンプル点τにおいて望ましい「周期的な呼吸運動の位相」を特定するための情報Φ(τ)(呼吸目標情報)と、同期重要度α(τ)とを含むデータ構造からなるデータである。なお、本形態の呼吸目標情報Φ(τ)の具体例については後述する。
【0046】
[呼吸指標抽出部34]
呼吸指標抽出部34は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。呼吸指標抽出部34は、鑑賞者を計測して得られる呼吸情報から当該鑑賞者の周期的な呼吸運動の位相に対応する情報を呼吸指標として抽出し、当該呼吸指標を出力するものである。
【0047】
図8Aは、第3実施形態の呼吸指標抽出部が算出する呼吸指標の例を説明するための図である。
どのような値を「鑑賞者の周期的な呼吸運動の位相に対応する情報」として用いるかについては特に制限はない。例えば、呼吸レベルV(t)を1次元目の値とし、その遅延値V(t-γ)を2次元目の値としたベクトルを「鑑賞者の周期的な呼吸運動の位相に対応する情報」としてもよいし、呼吸レベルV(t)を1次元目の値とし、その遅延値V(t-γ)を2次元目の値とした直交座標系の空間(相空間)での極座標の偏角を「鑑賞者の周期的な呼吸運動の位相に対応する情報」としてもよい。
【0048】
以下では呼吸レベルV(t)を1次元目の値とし、その遅延値V(t-γ)を2次元目の値とした直交座標系の空間(相空間)での極座標の偏角を「鑑賞者の周期的な呼吸運動の位相に対応する情報(呼吸指標φ(t))」として用いる。この場合の呼吸指標抽出部34が時刻tに対応する処理は、例えば以下のようになる。
1.呼吸計測部13から出力された時刻tにおける呼吸レベルV(t)を相空間の1次元目の値とする。
2.呼吸レベルV(t)を時間遅延フィルターに通して得られる呼吸レベルV(t-γ)を相空間の2次元目の値とする。ここでγは時間遅延フィルターの遅延幅(定数)であり、呼吸の場合は200msから800ms程度が望ましい。
3.相空間の直行座標系の点(V(t),V(t-γ))を極座標表示した場合の偏角を、呼吸指標φ(t)として求めて出力する(図8A参照)。
なお、このような値を呼吸指標φ(t)とする場合、予め定められた各サンプル点τにおいて望ましい呼吸指標φ(t)が、当該サンプル点τに対応する呼吸目標情報Φ(τ)(図7参照)として呼吸分布付きコンテンツ32aに設定されている。
【0049】
[再生速度演算部35]
再生速度演算部35は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。再生速度演算部35は、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される位相と、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での呼吸指標よって特定される位相との差が小さくなるような再生速度を特定する再生速度情報を出力する。
【0050】
図7は、第3実施形態の再生速度演算部の処理機能を例示するための図である。
本形態の再生速度演算部35は、サンプル更新間隔を定めることでコンテンツの再生速度を設定する。また、本形態の再生速度演算部35は、呼吸計測部13で呼吸レベルV(t)が得られるたびに、すなわち、周期T1でサンプル更新間隔S(t)を定め、これを再生速度情報として出力する。
【0051】
時刻t=t1の時点で、サンプル点τ=p(t1)に対応するコンテンツ情報d(p(t1))までの再生が終了しているとする。このとき呼吸分布付きコンテンツ32aに含まれるサンプル点τ=p(t1)に対応する呼吸目標情報がΦ(p(t1))であり、時刻t=t1の時点で呼吸指標抽出部34から出力された呼吸指標(鑑賞者の周期的な呼吸運動の位相に対応する情報)がφ(t1)であったとする。再生速度演算部35は、これらの呼吸指標φ(t1)と呼吸目標情報Φ(p(t1))とを入力とし、これらが図8Aの相空間上でなす角を以下のように符号付きで求める。
R(t1)=φ(t1)-Φ(p(t1)) (4)
If |R(t1)|>π then L(t1)=R(t1)-Sgn(R(t1))・2π else L(t1)=R(t1) (5)
ただし、Sgn(δ)は符号関数であり、その関数値は、δ<0のときはSgn(δ)=-1となり、δ=0のときはSgn(δ)=0となり、δ>0のときはSgn(δ)=1となる。L(t1)>0の場合、時刻t1において鑑賞者の呼吸が呼吸目標情報の示す呼吸より進んでいることになり、L(t1)<0の場合、時刻t1において鑑賞者の呼吸が呼吸目標情報の示す呼吸より遅れていることになる。図8Bに、呼吸指標φ(t1)と呼吸目標情報Φ(p(t1))とL(t1)との関係を例示する。なお、図8BはL(t1)<0の例である。
【0052】
そして、再生速度演算部35は、時刻t1でのサンプル更新間隔S(t1)を以下のように算出し、これを再生速度情報として出力する。
S(t1)=S0/{α(p(t1))・C・L(t1)+1} (6)
ここで、S0は予め定められたサンプル更新間隔の標準設定値であり、CはC>0を満たす任意の定数である。例えば、取り得るすべてのα(τ),L(t)に対してα(p(t))・C・L(t)+1>0となるように定数Cが定められた場合、再生速度演算部25は、鑑賞者の呼吸が呼吸目標情報の示す呼吸より進んでいる場合(L(t1)>0)に、S0よりも大きなサンプル更新間隔S(t1)を算出し、鑑賞者の呼吸が呼吸目標情報の示す呼吸に同期している場合(L(t1)=0)に、S0と等しいサンプル更新間隔S(t1)を算出し、鑑賞者の呼吸が呼吸目標情報の示す呼吸より遅れている場合(L(t1)<0)に、S0よりも小さなサンプル更新間隔S(t1)を算出する。
【0053】
<方法>
次に、図5を用いて本形態の再生速度同期方法を例示する。
第1実施形態との相違点は、ステップS11,12の処理の代わりに、入力部31に呼吸分布付きコンテンツ32aが入力され(ステップS31)、記憶部32に格納される(ステップS32)点、ステップS14の処理の代わりに、呼吸指標抽出部34が、呼吸レベルV(t)を入力として、鑑賞者の周期的な呼吸運動の位相に対応する情報である呼吸指標φ(t)を生成して出力する(ステップS34)点、ステップS14−2の代わりに、制御部19がλ+1個の呼吸レベルV(t)が計測された否かを判定し、Noの場合はステップS13の処理に戻り、Yesの場合には以下のステップS35に進む(ステップS34−2)点、ステップS15の代わりに、再生速度演算部35が、呼吸指標φ(t1)と呼吸目標情報Φ(p(t1))とを入力とし、式(4)-(6)に従ってサンプル更新間隔S(t1)を算出し、これを再生速度情報として出力する(ステップS35)。その他は第1実施形態と同一である。
【0054】
〔第3実施形態の変形例1〕
第3実施形態では、呼吸レベルV(t)を1次元目にとり、その遅延値V(t-γ)を2次元目にとる相空間表現を用いる例を示した。しかし、第3実施形態においてその他の相空間表現を用いてもよい。例えば、呼吸レベルV(t)を1次元目にとり、V(t)のヒルベルト変換値(一般的に解析信号と呼ばれる)を2次元目にとる相空間での位相を特定する情報を呼吸指標としてもよい(例えば、「K. Kotani, K. Takamasu, Y. Jimbo, Y. Yamamoto, “Postural-induced phase shift of respiratory sinus arrhythmia and blood pressure variations: insight from respiratory-phase domain analysis,” Am. J. Physiol. Heart. Circ. Physiol. , Vol. 294, pp. H1481-H1489, 2008」参照)。また、呼吸レベルV(t)の微分値W(t)が得られる場合には、呼吸レベルV(t)を1次元目にとり、呼吸レベルV(t)の微分値W(t)を2次元目にとってもよい。また、呼吸レベルV(t)の微分値W(t)が得られない場合には、呼吸レベルV(t)を差分フィルターに通した擬似的な微分値(例えばV(t)-V(t-1))/T1)を2次元目にとってもよい(例えば、日本光電製のTR-712を用いるとW(t)に相当する値を計測することができる)。
【0055】
〔第3実施形態の変形例2〕
また、同期重要度α(τ)を含まない呼吸分布付きコンテンツを生成する構成であってもよい。この場合には、同期重要度α(τ)を予め定められた値(例えば1)とみなした第3実施形態と同様な処理がなされればよい。
【0056】
〔第4実施形態〕
本形態では、第1実施形態で例示した呼吸分布付きコンテンツ12a(図4)を自動生成する方法を説明する。本形態では、コンテンツを演奏又は演ずる一人の演者の特定の呼吸状態が発生する時点に対応する時間軸上の位置を呼吸目標情報とし、それらを当該コンテンツを表すコンテンツ情報に対応付けることで呼吸分布付きコンテンツ12aを生成する。以下では、上述の何れかの実施形態と共通する事項については説明を省略する。
【0057】
図9は、呼吸分布付きコンテンツを作成する呼吸分布付与装置の機能構成を例示するためのブロック図である。
図9に例示するように、第4実施形態の呼吸分布付与装置4は、呼吸計測部41と、コンテンツ取得部42と、記憶部43と、呼吸指標抽出部44と、呼吸分布作成部45と、出力部46と、制御部49とを有する。
【0058】
[制御部49]
制御部49は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。制御部49は、呼吸分布付与装置4の処理全体を制御する。
【0059】
[呼吸計測部41]
呼吸計測部41は、コンテンツを演奏又は演ずる演者400を計測し、それによって得られる呼吸情報を出力する周知の装置である。本形態では、前述した呼吸計測部13と同じ機能を持つ装置を呼吸計測部41として用いる。すなわち、この例の呼吸計測部41は、設定されたある任意の周期T1で各時刻tの呼吸レベルV(t)を計測して出力する。本形態では、計算の便宜上、コンテンツの開始時刻をt=0として周期T1で各時刻tの呼吸レベルV(t)を計測する。ただし、呼吸レベルV(t)の測定はコンテンツの開始時刻よりも前の時点から開始されてもよいし、コンテンツの開始時刻よりも後の時点から開始されてもよい。
【0060】
[コンテンツ取得部42]
コンテンツ取得部42は、演者400によって演奏又は演じられたコンテンツを表す音響信号や映像信号を測定する周知の測定装置であり、例えばマイクロフォン、MIDIインタフェース、カメラ、処理装置等から構成される。コンテンツ取得部42は、測定した音響信号や映像信号から得られるコンテンツを作成するための素材、又はコンテンツそのものを表すコンテンツ情報を出力する。本形態では、コンテンツ取得部42がコンテンツ情報d(p0(t))を出力する例を示す。なお、サンプル更新間隔S0で再生対象のサンプル点τを更新しつつ再生対象のサンプル点τに対応するコンテンツ情報d(τ)が再生されることを前提とした場合における、時刻tの時点で再生されるコンテンツ情報d(τ)に対応するサンプル点をτ=p0(t)と表す。コンテンツの開始時刻がt=0であり、それに対応するサンプル点がτ=0である場合、以下の関係を満たす。
p0(t)=t×T1÷S0 (7)
【0061】
[記憶部43]
記憶部43は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどの情報記憶装置である。記憶部43は、コンテンツ取得部42から出力されたコンテンツ情報d(p0(t))を記録するとともに、呼吸計測部41から出力された呼吸レベルV(t)(呼吸情報)を記録する。これらの情報は時刻tに関連付けられる。これらの情報は以下の処理で適宜読み出されて使用される。
【0062】
[呼吸指標抽出部44]
呼吸指標抽出部44は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。呼吸指標抽出部44は、コンテンツを演奏又は演ずる演者400を計測して得られる呼吸情報から、当該コンテンツの進行に沿った時間軸上の位置における当該演者400の呼吸状態を特定する呼吸指標を抽出し、呼吸指標を出力する。本形態の例の呼吸指標抽出部44は、呼吸計測部41から出力された呼吸レベルV(t)(呼吸情報)を入力とし、計測対象となる演者400の呼気開始時刻bpe(n)を呼吸指標として出力する。例えば、呼吸指標抽出部44は、呼吸運動ごとに呼吸レベルV(t)が極大値となる時刻を呼気開始時刻bpe(n)とし、それらを呼吸指標として出力する(図2参照)。なお、nは説明上便宜的に付した指標であり、演者400の呼吸回数に対応する整数である。
【0063】
[呼吸分布作成部45]
呼吸分布作成部45は、時間軸上の少なくとも一部の位置での演者400の呼吸状態に対応する呼吸目標情報を呼吸指標から得て、当該呼吸目標情報を当該呼吸目標情報に対応する時間軸上の位置である呼吸目標設定位置でのコンテンツを表すコンテンツ情報に対応付けて出力する。この例の呼吸分布作成部45は、呼吸指標抽出部44から出力された呼気開始時刻bpe(n)を受け取り、それから呼吸目標情報Bpe(μ)を生成し、生成した呼吸目標情報Bpe(μ)を呼吸目標設定位置τ=Bpe(μ)でのコンテンツを表すコンテンツ情報d(τ)に対応付けて出力する。μは説明上便宜的に付した指標であり、各呼吸目標情報Bpe(μ)を識別するための0以上の連続した整数である。値が大きいμほど時間的に後の呼吸目標情報に対応する。
【0064】
以下に呼吸分布作成部45の処理を例示する。
呼吸分布作成部45は、入力された呼気開始時刻bpe(n)(n=0,1,...)をサンプル点τ=p0(bpe(n))に変換した呼気開始サンプル点bpe’(n)(n=0,1,...)を生成する。この変換は例えば以下のように行われる。
bpe’(n)=bpe(n)×T1÷S0 (8)
【0065】
呼吸分布作成部45は、呼気開始サンプル点bpe’(n)を以下のように呼吸目標情報Bpe(μ)(μ=n)とする。
Bpe(μ)=bpe’(μ)(μ=0,1,...) (9)
呼吸分布作成部45は、呼吸目標情報Bpe(μ)をそれに対応するコンテンツ情報d(Bpe(μ))に対応付け、各呼吸目標情報Bpe(μ)と各サンプル点τのコンテンツ情報d(τ)とを出力する。
【0066】
[出力部46]
出力部46は、出力ポート、出力インタフェースその他の出力装置である。出力部46には、呼吸分布作成部45から出力された各呼吸目標情報Bpe(μ)とコンテンツ情報d(τ)とが入力される。出力部46は、これらの対応付け関係を維持しつつこれらを組み合わせた呼吸分布付きコンテンツ12a(図4)を出力する。
【0067】
〔第5実施形態〕
本形態では、第3実施形態で例示した呼吸分布付きコンテンツ32a(図7)を自動生成する方法を説明する。本形態では、コンテンツを演奏又は演ずる一人の演者の呼吸運動の位相に対応する情報を呼吸目標情報とし、それらを当該コンテンツを表すコンテンツ情報に対応付けることで呼吸分布付きコンテンツ32aを生成する。以下では、上述の何れかの実施形態と共通する事項については、上述したものと同一の参照番号を用いて説明を省略する。
【0068】
図9に例示するように、第5実施形態の呼吸分布付与装置5は、呼吸計測部41と、コンテンツ取得部42と、記憶部43と、呼吸指標抽出部54と、呼吸分布作成部55と、出力部56と、制御部49とを有する。
【0069】
[呼吸計測部41,コンテンツ取得部42,記憶部43]
第4実施形態で説明した通りである。
【0070】
[呼吸指標抽出部54]
呼吸指標抽出部54は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。呼吸指標抽出部54は、コンテンツを演奏又は演ずる演者400を計測して得られる呼吸情報から、当該コンテンツの進行に沿った時間軸上の位置における当該演者の呼吸状態を特定する呼吸指標を抽出し、呼吸指標を出力する。本形態の例の呼吸指標抽出部54は、呼吸計測部41から出力された呼吸レベルV(t)(呼吸情報)を入力とし、演者400の周期的な呼吸運動の位相に対応する情報を呼吸指標φ(t)として出力する。例えば、呼吸指標抽出部54は、前述した呼吸指標抽出部34と同様に、相空間の直行座標系の点(V(t),V(t-γ))を極座標表示した場合の偏角を、呼吸指標φ(t)として求めて出力する(図8A参照)。或いは、第3実施形態の変形例1のように定まる位相を特定する情報を呼吸指標φ(t)として出力してもよい。
【0071】
[呼吸分布作成部55]
呼吸分布作成部55は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。呼吸分布作成部55は、時間軸上の少なくとも一部の位置での演者400の呼吸状態に対応する呼吸目標情報を呼吸指標から得て、当該呼吸目標情報を当該呼吸目標情報に対応する時間軸上の位置である呼吸目標設定位置でのコンテンツを表すコンテンツ情報に対応付けて出力する。この例の呼吸分布作成部55は、呼吸指標抽出部54から出力された各時刻tの呼吸指標φ(t)を受け取り、それから呼吸目標情報Φ(τ)(τ=p0(t))を生成し、生成した呼吸目標情報Φ(τ)をそれに対応する呼吸目標設定位置τ=p0(t)でのコンテンツを表すコンテンツ情報d(τ)に対応付けて出力する。
【0072】
以下に呼吸分布作成部55の処理を例示する。
呼吸分布作成部55は、入力された各時刻tの呼吸指標φ(t)を用い、以下のように各サンプル点τ=p0(t)の呼吸指標φ’(τ)に変換する。
φ’(τ)=φ(τ×S0÷T1) (10)
【0073】
なお、T1>S0の場合、入力された各時刻tの呼吸指標φ(t)から式(10)を用いてすべてのサンプル点τに対する呼吸指標φ’(τ)が生成できない場合がある。このような場合には式(10)を用いて得られる呼吸指標を用いて、得られないサンプル点τに対する呼吸指標φ’(τ)を補完してもよい。例えば、式(10)から呼吸指標φ’(τ-1)は得られるがφ’(τ)が得られない場合、φ’(τ)=φ’(τ-1)などとしてサンプル点τに対する呼吸指標φ’(τ)を補完してもよい。
【0074】
さらに呼吸分布作成部55は、各サンプル点τに対して定数の同期重要度α(τ)を定め、サンプル点τに対する呼吸指標φ’(τ)を呼吸目標情報
Φ(τ)=φ’(τ) (11)
とする。呼吸分布作成部55は、呼吸目標情報Φ(τ)及び同期重要度α(τ)をそれらに対応するコンテンツ情報d(τ)に対応付け、各呼吸目標情報Φ(τ)と同期重要度α(τ)とコンテンツ情報d(τ)とを出力する。
【0075】
[出力部56]
出力部56には、呼吸分布作成部55から出力された各呼吸目標情報Φ(τ)と同期重要度α(τ)とコンテンツ情報d(τ)とが入力される。出力部56はこれらの対応付け関係を維持しつつこれらを組み合わせた呼吸分布付きコンテンツ32a(図7)を出力する。
【0076】
〔第5実施形態の変形例1〕
なお、本形態では、呼吸分布作成部55が定数の同期重要度α(τ)を出力し、出力部56が同期重要度α(τ)を含む呼吸分布付きコンテンツ32aを出力した。しかしながら、第3実施形態の変形例2のように同期重要度α(τ)を含まない呼吸分布付きコンテンツを生成する場合には、呼吸分布作成部55が同期重要度α(τ)を出力せず、出力部56が各呼吸目標情報Φ(τ)とコンテンツ情報d(τ)とを組み合わせた呼吸分布付きコンテンツを出力してもよい。
【0077】
〔第6実施形態〕
本形態では、第2実施形態で例示した呼吸分布付きコンテンツ22a(図6)を自動生成する方法を説明する。本形態では、第4実施形態と同様に呼吸目標情報を生成し、さらに演者の各呼吸の吸気量(呼吸の深さ,振幅の大きさ)にそれぞれ対応する値である各同期重要度を呼吸指標から生成し、それらをコンテンツ情報に対応付けることで呼吸分布付きコンテンツ22aを生成する。以下では、上述の何れかの実施形態と共通する事項については、上述したものと同一の参照番号を用いて説明を省略する。
【0078】
図9に例示するように、第6実施形態の呼吸分布付与装置6は、呼吸計測部41と、コンテンツ取得部42と、記憶部43と、呼吸指標抽出部64と、呼吸分布作成部65と、出力部56と、制御部49とを有する。
【0079】
[呼吸計測部41,コンテンツ取得部42,記憶部43]
第4実施形態で説明した通りである。
【0080】
[呼吸指標抽出部64]
呼吸指標抽出部64は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。呼吸指標抽出部64は、コンテンツを演奏又は演ずる演者を計測して得られる呼吸情報から、当該コンテンツの進行に沿った時間軸上の位置における当該演者の呼吸状態を特定する呼吸指標を抽出し、呼吸指標を出力する。本形態の例の呼吸指標抽出部64は、呼吸計測部41から出力された呼吸レベルV(t)(呼吸情報)を入力とし、計測対象となる演者400の吸気開始時刻bpi(n)及び呼気開始時刻bpe(n)を呼吸指標として算出する。例えば、呼吸指標抽出部44は、呼吸運動ごとに呼吸レベルV(t)が極小値となる時刻を吸気開始時刻bpi(n)とし、極大値となる時刻を呼気開始時刻bpe(n)とする(図10参照)。
【0081】
呼吸指標抽出部64は、呼気開始時刻bpe(n)に対応する呼吸レベルV(bpe(n))と吸気開始時刻bpi(n)に対応する呼吸レベルV(bpi(n))との差分値を以下のように呼吸量Vi(n)として求める。
Vi(n)=V(bpe(n))-V(bpi(n)) (12)
呼吸指標抽出部64は、呼気開始時刻bpe(n)と呼吸量Vi(n)とを呼吸指標として出力する。
【0082】
[呼吸分布作成部65]
呼吸分布作成部65は、時間軸上の少なくとも一部の位置での演者400の呼吸状態に対応する呼吸目標情報を呼吸指標から得て、当該呼吸目標情報を呼吸目標設定位置でコンテンツ情報に対応付け、さらに演者400の各呼吸の吸気量にそれぞれ対応する値である各同期重要度を呼吸指標から得て、当該各呼吸に対応する時間軸上の各位置である各再生位置でのコンテンツ情報に各同期重要度をそれぞれ対応付けて出力する。この例の呼吸分布作成部65は、呼吸指標抽出部64から出力された呼気開始時刻bpe(n)と呼吸量Vi(n)を受け取り、呼気開始時刻bpe(n)から呼吸目標情報Bpe(μ)を生成し、当該呼吸目標情報Bpe(μ)を呼吸目標情報Bpe(μ)に対応する呼吸目標設定位置τ=p0(t)でのコンテンツ情報d(τ)に対応付け、呼吸量Vi(n)から同期重要度α(τ)を生成し、当該同期重要度α(τ)を各サンプル点τでのコンテンツ情報d(τ)に対応付けて出力する。
【0083】
以下に呼吸分布作成部65の処理を例示する。
呼気開始時刻bpe(n)から呼吸目標情報Bpe(μ)を生成する手順の例は第4実施形態と同じである(式(8)(9))。呼吸量Vi(n)から同期重要度α(τ)を生成する手順の例は以下のようになる。
呼吸分布作成部65は、呼吸目標情報Bpe(μ)が示すサンプル点での同期重要度α(Bpe(μ))を以下のようにする。
α(Bpe(n))=b×Vi(n) (13)
ただし、bはb>0の任意の比例係数である。
【0084】
呼吸分布作成部65は、同期重要度α(Bpe(μ))を用いた線形補間により、すべてのサンプル点τでの同期重要度α(τ)を求める。呼吸分布作成部65は、例えばサンプル点τ=0,1,2,…,Bpe(0)での同期重要度α(τ)を以下のように求める。
α(τ)=α(Bpe(0))÷Bpe(0)×τ (14)
また呼吸分布作成部65は、例えばサンプル点τ=Bpe(μ1-1)+1、Bpe(μ1-1)+2,…、Bpe(μ1)-1での同期重要度α(τ)を以下のように求める。ただし、μ1は呼吸目標情報を識別するために便宜的に付した1以上の整数である。
α(τ)={α(Bpe(μ1))-α(Bpe(μ1-1))}÷{Bpe(μ1)-Bpe(μ1-1)}
×(τ-Bpe(μ1-1))+α(Bpe(μ1-1)) (15)
【0085】
呼吸分布作成部65は、呼吸目標情報Bpe(μ)をそれに対応するコンテンツ情報d(Bpe(μ))に対応付け、同期重要度α(τ)をそれに対応するコンテンツ情報d(τ)に対応付け、それらを出力する。
【0086】
[出力部66]
出力部66には、呼吸分布作成部65から出力された各呼吸目標情報Bpe(μ)と同期重要度α(τ)とコンテンツ情報d(τ)とが入力される。出力部66は、これらの対応付け関係を維持しつつこれらを組み合わせた呼吸分布付きコンテンツ22a(図6)を出力する。
【0087】
〔第7実施形態〕
本形態では、アンサンブル等を行う演者が複数人存在する場合に、第1実施形態で例示した呼吸分布付きコンテンツ12a(図4)を自動生成する方法を説明する。本形態では、コンテンツを演奏又は演ずる複数の演者の特定の呼吸状態(基準状態)がそれぞれ発生する時点に対応する時間軸上の位置に対応する呼吸目標情報を定め、当該呼吸目標情報を当該コンテンツを表すコンテンツ情報に対応付けることで呼吸分布付きコンテンツ12aを生成する。以下では、上述の何れかの実施形態と共通する事項については説明を省略する。
【0088】
図11は、呼吸分布付きコンテンツを作成する呼吸分布付与装置の機能構成を例示するためのブロック図である。
図11に例示するように、第7実施形態の呼吸分布付与装置7は、呼吸計測部71−0〜(I−1)と、コンテンツ取得部72−0〜(I−1)と、記憶部73と、呼吸指標抽出部74と、呼吸分布作成部75と、出力部76と、制御部49とを有する。
【0089】
[呼吸計測部71−0〜(I−1)]
呼吸計測部71−0〜(I−1)は、コンテンツを演奏又は演ずるI人の演者700−0〜(I−1)をそれぞれ計測し、それによって得られる呼吸情報を出力する周知の装置である。Iは2以上の整数である。呼吸計測部71−0〜(I−1)のそれぞれは第4実施形態の呼吸計測部41と同一の機能を持ち、本形態でも呼吸計測部41と同様に、演者700−0〜(I−1)のそれぞれについて周期T1で各時刻tの呼吸レベルV(i,t)(i=0,...,I-1)(呼吸情報)を計測して出力する例を示す。V(i,t)は演者700−iを測定して得られる呼吸レベルである(図12A参照)。
【0090】
[コンテンツ取得部72−0〜(I−1)]
コンテンツ取得部72−0〜(I−1)は、演者700−0〜(I−1)によって演奏又は演じられたコンテンツを表す音響信号や映像信号をそれぞれ測定する周知の測定装置である。コンテンツ取得部72−0〜(I−1)のそれぞれは、第4実施形態のコンテンツ取得部42と同一の機能を持ち、本形態でもコンテンツ取得部42と同様に、コンテンツ取得部72−0〜(I−1)が、演者700−0〜(I−1)によって演奏又は演じられたコンテンツを表す音響信号や映像信号を測定し、コンテンツ情報d(i,p0(t))(i=0,...,I-1)を出力する例を示す。d(i,p0(t))は演者700−iが演奏又は演じたコンテンツを表すコンテンツ情報である。
【0091】
[記憶部73]
記憶部73はコンテンツ取得部72−0〜(I−1)からそれぞれ出力されたコンテンツ情報d(i,p0(t))(i=0,...,I-1)を記録するとともに、呼吸計測部71−0〜(I−1)からそれぞれ出力された呼吸レベルV(i,t)(i=0,...,I-1)(呼吸情報)を記録する。これらの情報はi及びtに関連付けられる。これらの情報は以下の処理で適宜読みだされて使用される。
【0092】
[呼吸指標抽出部74]
呼吸指標抽出部74は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。呼吸指標抽出部74は、コンテンツを演奏又は演ずる複数の演者700−0〜(I−1)をそれぞれ計測して得られる各呼吸情報から、当該コンテンツの進行に沿った時間軸上の位置での当該複数の演者700−0〜(I−1)の呼吸状態をそれぞれ特定する呼吸指標を抽出する。本形態の呼吸指標のそれぞれは、演者700−iの呼吸状態がそれぞれ特定の基準状態となる時間軸上の位置である呼吸基準位置を特定するものである。以下では第4実施形態の呼吸指標抽出部44と同様に、呼吸指標抽出部74が、呼吸計測部71−0〜(I−1)から出力された呼吸レベルV(i,t)(i=0,...,I-1)(呼吸情報)を入力とし、それぞれの呼気開始時刻bpe(i,n)(呼吸基準位置)を呼吸指標として出力する(図12B参照)。bpe(i,n)は、演者700−iに対応する呼気開始時刻を表す。
【0093】
[呼吸分布作成部75]
呼吸分布作成部75は、時間軸上の少なくとも一部の位置での複数の演者700−0〜(I−1)の呼吸状態に対応する呼吸目標情報を呼吸指標から得て、当該呼吸目標情報を当該呼吸目標情報に対応する時間軸上の位置である呼吸目標設定位置でのコンテンツを表すコンテンツ情報に対応付けて出力する。本形態の呼吸分布作成部75は、呼吸指標で特定される呼吸基準位置に対応する値を標本として得られる確率密度関数のピークに対応する時間軸上の位置を表す呼吸目標情報を、それに対応する時間軸上の位置である呼吸目標設定位置でのコンテンツを表すコンテンツ情報に対応付けて出力する。以下では、呼気開始時刻bpe(i,n)に対応するbpe’(i,n)を標本として得られる確率密度関数のピークに対応するサンプル点を表す呼吸目標情報Bpe(μ)を、呼吸目標設定位置τ=Bpe(μ)でのコンテンツ情報d(τ)に対応付けて出力する例を説明する。
【0094】
呼吸分布作成部75は、入力された呼気開始時刻bpe(i,n)(i=0,...,I-1, n=0,1,...)をサンプル点τ=p0(bpe(i,n))に変換した呼気開始サンプル点bpe’(i,n)(i=0,...,I-1, n=0,1,...)を生成する(図12C参照)。この変換は例えば以下のように行われる。
bpe’(i,n)=bpe(i,n)×T1÷S0 (16)
【0095】
次に呼吸分布作成部75は、呼気開始サンプル点bpe’(i,n)(i=0,...,I-1, n=0,1,...)を標本とみなした確率密度関数Pbpe(τ)を求める。ここでは呼気開始サンプル点bpe’(i,n)(i=0,...,I-1, n=0,1,...)を標本とみなし、カーネル密度推定法(参考文献「C. M. ビショップ、パターン認識と機械学習(上)Springer, 2007, 2.5.1節」等参照)を行う例を示す。この場合、コンテンツの開始時刻t=0から時間t×T1が経過した時刻に対応するサンプル点τ=t×T1÷S0での確率密度関数Pbpe(τ)(確率密度分布)は例えば以下のようになる。
【数1】


ただし、Iは呼吸計測された演者700−0〜(I−1)の人数、N(i)は演者700−i(i=0,...,I-1)が演奏中又は演じ中に呼吸した回数を表し、k()はカーネル関数(kernel function)を表す。
【0096】
カーネル関数k()はカーネル密度推定法として一般的に用いられる関数ならばよく、例えばガウス関数を用いることができる。カーネル関数k()としてガウス関数を用いた場合、確率密度関数Pbpe(τ)は例えば以下のようになる。
【数2】


ただし、hは標準偏差を表し、Hはガウス関数の対称軸となる平均を表す定数である。例えば平均Hを0とし、標準偏差hとして500msに相当する値を例示できる。
【0097】
呼吸分布作成部75は、確率密度関数Pbpe(τ)のピークに対応するサンプル点τの少なくとも一部を呼吸目標情報Bpe(μ)とする。例えば、呼吸分布作成部75は、確率密度関数Pbpe(τ)のピークのうち、所定の閾値Th(ThはTh≧0を満たす値、例えばTh=I×0.7)を超えるピークに対応するサンプル点τを呼吸目標情報Bpe(μ)とする。例えば、図12DのAのピークは閾値Th未満であるため、Aのピークに対応するサンプル点τは呼吸目標情報Bpe(μ)とされない。ただし、所定の窓幅(例えば2秒に対応する区間)内に2個以上の呼吸目標情報Bpe(μ)は設定されない。窓幅内に閾値Thを超えるピークが複数存在する場合には、そのうちで最も値(確率)の大きなピークのみが呼吸目標情報Bpe(μ)とされる(図12D参照)。例えば、図12DのBのピークは閾値Thを超えるが、窓幅内にさらに値の大きなピークが存在するため、Bのピークに対応するサンプル点τは呼吸目標情報Bpe(μ)とされない。
呼吸分布作成部75は、呼吸目標情報Bpe(μ)をそれに対応するコンテンツ情報d(Bpe(μ))に対応付け、各呼吸目標情報Bpe(μ)と各サンプル点τのコンテンツ情報d(τ)とを出力する。
【0098】
[出力部76]
出力部76には、呼吸分布作成部75から出力された各呼吸目標情報Bpe(μ)とコンテンツ情報d(τ)とが入力される。出力部76は、これらの対応付け関係を維持しつつこれらを組み合わせた呼吸分布付きコンテンツ12a(図4)を出力する。
【0099】
〔第7実施形態の変形例〕
第7実施形態の変形例では、複数の演者が存在する場合に、第2実施形態で例示した呼吸分布付きコンテンツ22a(図6)を自動生成する方法を説明する。第7実施形態の変形例では、呼吸指標のそれぞれが、各演者の呼吸状態が特定の基準状態となる時間軸上の位置である呼吸基準位置を特定する。この変形例の呼吸分布作成部75は、呼吸基準位置の確率密度関数のピークでの関数値に対応する各同期重要度を呼吸指標から得て、当該各同期重要度に対応する時間軸上の各位置である各再生位置でのコンテンツを表すコンテンツ情報に当該各同期重要度をそれぞれ対応付けて出力する。
【0100】
以下では第7実施形態との相違点のみを説明する。その他の事項は第7実施形態と同じである。第7実施形態の変形例では、呼吸分布作成部75が第7実施形態のように呼吸目標情報Bpe(μ)定め、さらに、呼吸目標情報Bpe(μ)が示すサンプル点での同期重要度α(Bpe(μ))を以下のように定める。
α(Bpe(n))=b0×Pbpe(Bpe(μ)) (19)
ただし、b0はb0>0の任意の比例係数である。
【0101】
さらに、第7実施形態の変形例では、呼吸分布作成部75が第6実施形態の式(14)(15)に示した線形補間によって、各サンプル点τでの同期重要度α(τ)を求める。呼吸分布作成部75は、呼吸目標情報Bpe(μ)をそれに対応するコンテンツ情報d(Bpe(μ))に対応付け、同期重要度α(τ)をそれに対応するコンテンツ情報d(τ)に対応付け、それらを出力する。
【0102】
出力部76には、呼吸分布作成部75から出力された各呼吸目標情報Bpe(μ)と同期重要度α(τ)とコンテンツ情報d(τ)とが入力される。出力部76は、これらの対応付け関係を維持しつつこれらを組み合わせた呼吸分布付きコンテンツ22a(図6)を出力する。
【0103】
〔第8実施形態〕
本形態では、演者が複数人存在する場合に、第3実施形態で例示した呼吸分布付きコンテンツ32a(図7)を自動生成する方法を説明する。本形態では、呼吸指標のそれぞれが、演者の呼吸運動にそれぞれ対応する位相に対応する情報である。本形態では、複数の演者の呼吸運動の位相にそれぞれ対応する位相空間上のベクトルから得られる重心ベクトルの位相に対応する情報を呼吸目標情報とし、それをコンテンツ情報に対応付ける。さらに、複数の演者の呼吸運動の位相にそれぞれ対応する位相空間上の各ベクトルから得られる重心ベクトルと当該各ベクトルとの距離の総和に対応する各同期重要度を呼吸指標から得て、当該各同期重要度に対応する時間軸上の各時点である各再生位置でのコンテンツ情報に当該各同期重要度をそれぞれ対応付ける。これによって呼吸分布付きコンテンツ32aを生成する。以下では、上述の何れかの実施形態と共通する事項については、上述したものと同一の参照番号を用いて説明を省略する。
【0104】
図11に例示するように、第8実施形態の呼吸分布付与装置8は、呼吸計測部71−0〜(I−1)と、コンテンツ取得部72−0〜(I−1)と、記憶部73と、呼吸指標抽出部84と、呼吸分布作成部85と、出力部86と、制御部79とを有する。
【0105】
[呼吸計測部71−0〜(I−1),コンテンツ取得部72−0〜(I−1),記憶部73]
第7実施形態で説明した通りである。
【0106】
[呼吸指標抽出部84]
呼吸指標抽出部84は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。呼吸指標抽出部84は、コンテンツを演奏又は演ずる複数の演者700−0〜(I−1)をそれぞれ計測して得られる呼吸情報から、当該コンテンツの進行に沿った時間軸上の位置における当該演者700−0〜(I−1)の呼吸状態をそれぞれ特定する呼吸指標を抽出し、呼吸指標を出力する。本形態の例の呼吸指標抽出部84は、呼吸計測部71−0〜(I−1)から出力された呼吸レベルV(i,t)(呼吸情報)を入力とし、演者700−0〜(I−1)の周期的な呼吸運動の位相に対応する情報を呼吸指標として出力する。例えば、呼吸指標抽出部84は、前述した相空間の直行座標系の点(V(i,t),V(i,t-γ))、言い換えると相空間上のベクトル(V(i,t),W(i,t))=(V(i,t),V(i,t-γ))を呼吸指標として求めて出力する(図8A参照)。或いは、第3実施形態の変形例1のように相空間上のベクトル(V(i,t),W(i,t))の1次元目と2次元目とを定め、ベクトル(V(i,t),W(i,t))を呼吸指標として出力してもよい。
【0107】
[呼吸分布作成部85]
呼吸分布作成部85は、複数の演者700−0〜(I−1)の呼吸運動の位相にそれぞれ対応する位相空間上のベクトル(V(i,t),W(i,t))(呼吸指標)から得られる重心ベクトルの位相に対応する情報である呼吸目標情報を生成する。また、呼吸分布作成部85は、各ベクトル(V(i,t),W(i,t))から得られる重心ベクトルと当該各ベクトル(V(i,t),W(i,t))との距離の総和の増加に対して広義単調減少(距離の総和の増加に対して増加しない)する関係にある各同期重要度を求める。これらは前述のようにコンテンツ情報に対応付けられて出力される。
【0108】
以下に呼吸分布作成部85の処理を例示する。
呼吸分布作成部85は、各ベクトル(V(i,t),W(i,t))を用い、以下のように各サンプル点τ=p0(t)でのベクトル(V’(i,τ),W’(i,τ))に変換する。
(V’(i,τ),W’(i,τ))=(V(i,τ×S0÷T1),W(i,τ×S0÷T1)) (20)
【0109】
なお、S0÷T1が整数ではない場合、入力された各時刻tのベクトル(V(i,t),W(i,t))から式(20)を用いてすべてのサンプル点τに対するベクトル(V’(i,τ),W’(i,τ))が生成できない場合がある。このような場合には式(20)を用いて得られるベクトルを用いて、得られないサンプル点τに対するベクトル(V’(i,τ),W’(i,τ))を補完してもよい。例えば、式(20)からベクトル(V’(i,τ-1),W’(i,τ-1))は得られるが(V’(i,τ),W’(i,τ))が得られない場合、(V’(i,τ),W’(i,τ))=(V’(i,τ-1),W’(i,τ-1))などとしてサンプル点τに対する(V’(i,τ),W’(i,τ))を補完してもよい。
【0110】
呼吸分布作成部85は、各ベクトル(V’(i,τ),W’(i,τ))の重心(G1(τ),G2(τ))を以下のように求める(図13A参照)。
【数3】

【0111】
この直交座標系で表されている重心(G1(τ),G2(τ))を極座標系に変換し、その偏角(位相)を呼吸目標情報とする。例えば、以下のように各サンプル点τの呼吸目標情報Φ(τ)を定める。
Φ(τ)=arctan(G2(τ)÷G1(τ)) (23)
ただし、arctan()は正接関数の逆関数(4象限逆正接関数)を表す。
【0112】
さらに呼吸分布作成部85は、重心(G1(τ),G2(τ))から各演者700−iに対応するベクトル(V’(i,τ),W’(i,τ))(i=0,...,I-1)までの距離の総和を求め、これをD(τ)とする。例えば呼吸分布作成部85は、以下のように各サンプル点τでの総和D(τ)を求める。
【数4】

【0113】
呼吸分布作成部85は、総和D(τ)の増加に対して広義単調減少する関係(総和D(τ)の増加に対して増加しない関係)にある各サンプル点τでの同期重要度α(τ)を定める。これは各演者700−iにそれぞれ対応するベクトル各(V’(i,τ),W’(i,τ))(i=0,...,I)が互いに類似するサンプル点τほど同期重要度が高いことに基づく。例えばD(τ)が0ではない場合、呼吸分布作成部85は、以下のようにD(τ)に逆比例する値を同期重要度α(τ)とする。
α(τ)=b1÷D(τ) (25)
ただし、b1はb1>0の任意の定数である。
一方、D(τ)=0のとき、呼吸分布作成部65は、設定され得る所定の最大値を同期重要度α(τ)とする。
【0114】
呼吸分布作成部85は、呼吸目標情報Φ(τ)及び同期重要度α(τ)をそれらに対応するコンテンツ情報d(τ)に対応付け、各呼吸目標情報Φ(τ)と同期重要度α(τ)とコンテンツ情報d(τ)とを出力する。
【0115】
[出力部86]
出力部86には、呼吸分布作成部85から出力された各呼吸目標情報Φ(τ)と同期重要度α(τ)とコンテンツ情報d(τ)とが入力される。出力部86はこれらの対応付け関係を維持しつつこれらを組み合わせた呼吸分布付きコンテンツ32a(図7)を出力する。
【0116】
〔第8実施形態の変形例1〕
第8実施形態では、呼吸分布作成部85が定数の同期重要度α(τ)を生成・出力し、出力部86が同期重要度α(τ)を含む呼吸分布付きコンテンツ32aを出力した。しかしながら、第3実施形態の変形例2のように同期重要度α(τ)を含まない呼吸分布付きコンテンツを生成する場合には、呼吸分布作成部85が同期重要度α(τ)を生成・出力せず、出力部86が各呼吸目標情報Φ(τ)とコンテンツ情報d(τ)とを組み合わせた呼吸分布付きコンテンツを出力してもよい。
【0117】
〔第8実施形態の変形例2〕
呼吸分布作成部85が各ベクトル(V’(i,τ),W’(i,τ))の重心を求める際に、各ベクトル(V’(i,τ),W’(i,τ))に演者700−iに対応する重みω(i)(i=0,...,I)を付してもよい(例えばボーカルの寄与度を高くする等)。その場合の重心ベクトル(G1’(τ),G2’(τ))(重み付き重心)は以下のようになる。
【数5】


ただしω(i)(i=0,...,I)は重みを表す0以上の定数である。その他(G1(τ),G2(τ))が(G1’(τ),G2’(τ))に置き換わる以外の構成・処理は第8実施形態と同様である。
【0118】
〔第8実施形態の変形例3〕
複数の演者700−i(i=0,...,I)の呼吸運動の位相にそれぞれ対応する位相空間上の各ベクトル(V’(i,τ),W’(i,τ))の大きさを正規化して得られる各正規化ベクトルから重心ベクトル(G1’’(τ),G2’’(τ))を求めてもよい。本形態では、相空間上の直交座標系の値と言い換えることができる(V’(i,τ),W’(i,τ))を当該直交座標系の単位円上の点に写像し、それらの写像値の重心(重心ベクトル(G1’’(τ),G2’’(τ)))を求める。これにより、各ベクトル(V’(i,τ),W’(i,τ))の大きさを正規化できるため、その大きさが呼吸目標情報Φ(τ)に与える影響を低減させることができる。その結果、演者700−i(i=0,...,I)の呼吸運動の位相がより的確に呼吸目標情報Φ(τ)に反映される。
【0119】
この場合の重心ベクトル(G1’’(τ),G2’’(τ))は以下のようになる(図13B参照)。
【数6】


ただし、φ’(i,τ)は各(V’(i,τ),W’(i,τ))を極座標表示した場合の偏角(図8,図13B参照)を表す。φ’(i,τ)は(V’(i,τ),W’(i,τ))から得られてもよいし、(V(i,t),W(i,t))を極座標表示した場合の偏角φ(i,τ)(図8参照)を以下のように変換して得られてもよい。
φ’(i,τ)=φ(i,τ×S0÷T1) (30)
また、呼吸分布作成部85に入力される呼吸指標は第8実施形態のようにベクトル(V(i,t),W(i,t))であってもよいし、呼吸指標抽出部で(V(i,t),W(i,t))から生成された偏角φ(i,τ)であってもよい。この相違点と(G1(τ),G2(τ))が(G1’’(τ),G2’’(τ))に置き換わる以外の構成・処理は第8実施形態と同様でよい。
【0120】
〔その他の変形例〕
本発明は上述の実施の形態に限定されるものではない。
例えば、第5実施形態や第8実施形態の変形例3などで用いたφ(t)やφ(i,t)の代わりに、或る呼吸状態から次の同一の呼吸状態(例えば呼気開始状態から次の呼気開始状態)となるまでの時間に対する、当該或る呼吸状態が発生した時刻から時刻tまでの時間の比率に、2×π(πはラジアン)を乗じたものをφ(t)やφ(i,t)としてもよい。例えば、以下のようにφ(t)やφ(i,t)が求められてもよい。
θ(t)=(2×π)×(t-bpe(n-1))÷(bpe(n)-bpe(n-1))+Θ (31)
θ(i,t)=(2×π)×(i,t-bpe(n-1))÷(i,bpe(n)-bpe(n-1))+Θ (32)
ただし、Θはシフト補正のための定数である。このようなφ(t)やφ(i,t)をサンプル点τに対応する値に変更したものが用いられてもよい。
【0121】
また上記の各実施形態やその変形例では、サンプル点に呼吸目標情報や同期重要度が対応付けられた呼吸目標分布付きコンテンツを例示した。しかし、呼吸目標情報や同期重要度が何れかの再生位置に対応付けられるのであれば、必ずしも、サンプル点に呼吸目標情報や同期重要度が対応付けられている必要はない。例えば、呼吸目標情報や同期重要度がコンテンツのサンプリング周波数と同じかその(1/自然数)倍の周波数で呼吸目標分布付きコンテンツに分布して記録されていても良いし、任意の間隔で記録されていても良い。任意の間隔で記録する際は、例えば、コンテンツ情報の開始点を特定する始点情報と、当該始点情報に対する呼吸目標情報や同期重要度の相対位置を特定する情報とを呼吸目標分布付きコンテンツに格納しておけばよい。また、呼吸目標情報や同期重要度は、離散データある必要もなく、アナログ的に記録されていても良い。また、呼吸目標情報や同期重要度は、コンテンツ全体に定義される必要もなく、その一部分だけに対して定義されてもよい。
【0122】
また、上記の各実施形態やその変形例では、再生速度演算部から出力される再生速度情報の具体例としてサンプル更新間隔を例示した。しかし、これは本発明を限定するものではなく、テンポ情報、フレーム位置、クロック周波数等、再生時間(速度)を調節できる信号を再生速度情報としてもよい。
【0123】
また、上記の各実施形態やその変形例では、呼吸計測部から出力される呼吸情報の具体例として呼吸レベルを例示した。しかし、例えば、呼吸レベルの微分値などを呼吸情報としてもよい。なお、呼吸レベルの微分値は、例えば、呼吸の気流量を検出して得られる。
【0124】
また、上記の各実施形態やその変形例では、コンテンツ情報の具体例として、音程や音の強さを示すMIDIデータを示した。しかし、音楽、音声、映画やテレビ番組等の動画など、鑑賞目的のための音響情報や映像情報を特定するその他のデータがコンテンツ情報であってもよい。また、コンテンツ再生速度制御部は、再生速度が変わっても、音であればピッチや音質を変更しない、映像であればコマ送りや早送りによる映像の乱れを抑える等の処理を含む再生時間制御処理を行うことが望ましい。
【0125】
第2実施形態では、0以上1以下の値の同期重要度が好ましいことを示した。しかし、これは本発明を限定するものではなく、同期重要度が0未満であってもよいし、1よりも大きくてもよい。これにより、コンテンツの再生方法のバリエーションを増やし、楽しみ方の選択肢を増やすことができる。例えば、同期重要度を0未満とすることで、鑑賞者にとって違和感のあるコンテンツ再生が可能となり、芸術的表現の幅が広がる。また、すべての実施形態やその変形例において、再生速度演算部が、呼吸目標分布付きコンテンツの同期重要度の符号を反転させた値を、再生速度を算出するための同期重要度として用いる構成でもよい。これにより、違和感のあるコンテンツ再生が可能となる。また、呼吸目標分布付きコンテンツの同期重要度の符号を反転させるか否かを選択できる構成であってもよい。また、第6実施形態では、演者の各呼吸の吸気量(呼吸の深さ,振幅の大きさ)が大きいほど同期重要度が大きくなる例を示したが、その逆に演者の各呼吸の吸気量が大きいほど同期重要度が小さくなる構成でもよい。また、第8実施形態では、複数の演者の呼吸運動の位相にそれぞれ対応する位相空間上の各ベクトルから得られる重心ベクトルと当該各ベクトルとの距離の総和の増加に対して広義単調減少する同期重要度を求める例を示したが、逆に、距離の総和の増加に対して広義単調増加する同期重要度を求めてもよい。
【0126】
また、実施形態1−3やその変形例では、呼吸計測部が呼吸情報を出力するたびに、呼吸指標抽出部が呼吸指標を生成し、再生速度演算部がサンプル更新間隔を定めることとしたが、その他のタイミングでこれらの処理が行われてもよい。例えば、呼吸計測部が呼吸情報を生成する周期T1の整数倍(2倍以上)の周期で呼吸指標やサンプル更新間隔を生成してもよいし、再生されるコンテンツ情報に対応する再生位置や呼吸目標設定位置ごとに呼吸指標やサンプル更新間隔をしてもよい。
【0127】
また、呼吸情報は必ずしもコンテンツの記録と同時に計測される必要はない(演者が演奏等しているときの呼吸情報でなくても良く、演者が過去に演奏等したコンテンツの鑑賞時に演者の呼吸情報が取得されてもよい)。演者が複数の場合も同様である。また、音楽トラックのように、コンテンツ情報と呼吸目標情報や同期重要度とを別々に記録して後で統合しても構わない。
【0128】
また、例示したブロック図の各ブロックは概念的に区切られた処理区分であり、それぞれが独立した装置として存在する必要はない。また、各ブロックが1つの装置として構成されている必要もなく、複数の装置に分散して配置されていてもよい。
また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【0129】
〔各実施形態の特徴〕
各実施形態により得られる効果を列挙する。
第1−3実施形態では、呼吸目標分布付きコンテンツの任意の再生位置である呼吸目標設定位置に対して呼吸目標情報を設定しておき、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される呼吸状態が、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での鑑賞者の呼吸状態に近づくように、コンテンツの再生速度を制御することとした。そのため、所望の呼吸目標設定位置において、呼吸目標情報によって特定される呼吸状態と鑑賞者の呼吸状態との相関を高めることができる。これにより、コンテンツ鑑賞における一体感や臨場感の高さといった満足度を高めることができる。
【0130】
第4−8実施形態及びそれらの変形例によれば、演者と鑑賞者の呼吸状態を同期させることを目的とした第1−3実施形態で使用される呼吸分布付きコンテンツを自動的に容易に生成することができる。
【0131】
第6実施形態では演者が大きく呼吸をしている場合には演者と鑑賞者との呼吸状態を同期させることが重要であるとの仮定のもと、演者の呼吸量に対応する呼吸重要度を設定することとした。この仮定は適切であることが予測されるため、第6実施形態では第2,3実施形態での使用に適した呼吸重要度を含む呼吸分布付きコンテンツを生成できる。
【0132】
複数の演者の呼吸が揃っているほど鑑賞者の呼吸をそこに合わせるような再生が重要だと考えられる。第8,9実施形態では、複数の演者に対応する仮想的な呼吸の遷移状態の中心を定義し、その仮想的な中心に対して演者の呼吸がどれほど揃っているかを表す指標を用いて呼吸目標情報や同期重要度を求める。これにより、第1−3実施形態での使用に適した呼吸分布付きコンテンツを生成することができる。
【0133】
第8実施形態の変形例2では、コンテンツを演奏又は演ずる複数の演者の重要度を考慮し、重要度の高い演者(例えば主役やボーカル)の呼吸を強く反映した呼吸分布付きコンテンツを作成できる。
【0134】
第8実施形態の変形例3では、複数の演者の呼吸運動の位相にそれぞれ対応する位相空間上の値を単位円上などに正規化してから重心を求めるため、呼吸の振幅によらない位相のみの影響を反映した重心を求めることができ、演者間の肺活量の違いによる影響を取り除くことができる。
【0135】
〔プログラム,データ構造,記録媒体〕
上述の各構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。
また、処理内容を記述したプログラムや前述したデータ構造の呼吸目標分布付きコンテンツは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
また、プログラムや呼吸目標分布付きコンテンツの流通は、例えば、プログラムや呼吸目標分布付きコンテンツを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、プログラムや呼吸目標分布付きコンテンツをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにプログラムや呼吸目標分布付きコンテンツを転送することにより、これら流通させる構成としてもよい。
また、上述の各実施形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【符号の説明】
【0136】
1−3 再生速度同期装置
4−8 呼吸分布付与装置

【特許請求の範囲】
【請求項1】
時間軸に沿って進行するコンテンツを演奏又は演ずる演者を計測して得られる呼吸情報から、当該コンテンツの進行に沿った時間軸上の位置における当該演者の呼吸状態を特定する呼吸指標を抽出する呼吸指標抽出部と、
前記時間軸上の少なくとも一部の位置での前記演者の呼吸状態に対応する呼吸目標情報を前記呼吸指標から得て、当該呼吸目標情報を当該呼吸目標情報に対応する前記時間軸上の位置である呼吸目標設定位置での前記コンテンツを表すコンテンツ情報に対応付けて出力する呼吸分布作成部と、
を有する呼吸分布付与装置。
【請求項2】
請求項1の呼吸分布付与装置であって、
前記呼吸分布作成部は、前記演者の各呼吸の吸気量にそれぞれ対応する値である各同期重要度を前記呼吸指標から得て、当該各呼吸に対応する前記時間軸上の各位置である各再生位置での前記コンテンツを表すコンテンツ情報に当該各同期重要度をそれぞれ対応付けて出力する、
ことを特徴とする呼吸分布付与装置。
【請求項3】
請求項1又は2の呼吸分布付与装置であって、
前記呼吸指標抽出部は、前記コンテンツを演奏又は演ずる複数の演者をそれぞれ計測して得られる各呼吸情報から、当該コンテンツの進行に沿った時間軸上の位置での当該複数の演者の呼吸状態をそれぞれ特定する前記呼吸指標を抽出し、
前記呼吸分布作成部は、前記時間軸上の少なくとも一部の位置での前記複数の演者の呼吸状態に対応する呼吸目標情報を前記呼吸指標から得て、当該呼吸目標情報を当該呼吸目標情報に対応する前記時間軸上の位置である呼吸目標設定位置での前記コンテンツを表すコンテンツ情報に対応付けて出力する、
ことを特徴とする呼吸分布付与装置。
【請求項4】
請求項3の呼吸分布付与装置であって、
前記呼吸指標のそれぞれは、前記演者の呼吸状態が特定の基準状態となる前記時間軸上の位置である呼吸基準位置を特定し、
前記呼吸目標情報は、前記呼吸指標で特定される前記呼吸基準位置に対応する値を標本として得られる呼吸基準位置の確率密度関数のピークに対応する前記時間軸上の位置を表す、
ことを特徴とする呼吸分布付与装置。
【請求項5】
請求項3又は4の呼吸分布付与装置であって、
前記呼吸指標のそれぞれは、前記演者の呼吸状態が特定の基準状態となる前記時間軸上の位置である呼吸基準位置を特定し、
当該呼吸分布付与装置は、前記呼吸基準位置の確率密度関数のピークでの関数値に対応する各同期重要度を前記呼吸指標から得て、当該各同期重要度に対応する前記時間軸上の各位置である各再生位置での前記コンテンツを表すコンテンツ情報に当該各同期重要度をそれぞれ対応付けて出力する同期重要度作成部をさらに有する、
ことを特徴とする呼吸分布付与装置。
【請求項6】
請求項3の呼吸分布付与装置であって、
前記呼吸指標のそれぞれが、前記演者の呼吸運動にそれぞれ対応する位相に対応する情報であり、
前記呼吸目標情報は、前記複数の演者の呼吸運動の位相にそれぞれ対応する位相空間上のベクトルから得られる重心ベクトルの位相に対応する情報である、
ことを特徴とする呼吸分布付与装置。
【請求項7】
請求項6の呼吸分布付与装置であって、
前記重心ベクトルは、前記複数の演者の呼吸運動の位相にそれぞれ対応する位相空間上の各ベクトルの大きさを正規化して得られる各正規化ベクトルから得られる、
ことを特徴とする呼吸分布付与装置。
【請求項8】
請求項3、6又は7の呼吸分布付与装置であって、
前記呼吸指標のそれぞれは、前記演者の呼吸運動にそれぞれ対応する位相に対応する情報であり、
前記呼吸分布作成部は、前記複数の演者の呼吸運動の位相にそれぞれ対応する位相空間上の各ベクトルから得られる重心ベクトルと当該各ベクトルとの距離の総和に対応する各同期重要度を前記呼吸指標から得て、当該各同期重要度に対応する前記時間軸上の各時点である各再生位置での前記コンテンツを表すコンテンツ情報に当該各同期重要度をそれぞれ対応付けて出力する、
ことを特徴とする呼吸分布付与装置。
【請求項9】
時間軸に沿って進行するコンテンツを演奏又は演ずる演者を計測して得られる呼吸情報から、当該コンテンツの進行に沿った時間軸上の時点に対応する当該演者の呼吸状態を特定する呼吸指標を抽出する呼吸指標抽出ステップと、
前記時間軸上の少なくとも一部の時点である呼吸目標設定位置に対応する前記演者の呼吸状態を特定する呼吸目標情報を前記呼吸指標から得て、当該呼吸目標情報を当該呼吸目標設定位置に対応する時点での前記コンテンツを表すコンテンツ情報に対応付けて出力する呼吸分布作成ステップと、
を有する呼吸分布付与方法。
【請求項10】
請求項1から8の何れかの呼吸分布付与装置の各部の処理をコンピュータに実行させるためのプログラム。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate


【公開番号】特開2012−189618(P2012−189618A)
【公開日】平成24年10月4日(2012.10.4)
【国際特許分類】
【出願番号】特願2011−50368(P2011−50368)
【出願日】平成23年3月8日(2011.3.8)
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】