オーディオデータ処理装置、オーディオ装置、オーディオデータ処理方法、プログラム及び記録媒体
【課題】仮想音源が移動した場合に発生する波形の歪みを解消することによって、波形の歪みに起因するノイズを大幅に低減するオーディオデータ処理装置等を提供する。
【解決手段】本発明は、異なる時点における仮想音源の位置とスピーカとの間の距離を算出するステップ（Ｓ１３）と、それらの距離が異なる場合に、仮想音源がスピーカに対して離隔しているか接近しているかを判定するステップ（Ｓ１５、Ｓ１８）と、離隔又は接近に応じて、波形の歪みの部分の特定及び補正を行うステップ（Ｓ１６、Ｓ１９）を含む。
【解決手段】本発明は、異なる時点における仮想音源の位置とスピーカとの間の距離を算出するステップ（Ｓ１３）と、それらの距離が異なる場合に、仮想音源がスピーカに対して離隔しているか接近しているかを判定するステップ（Ｓ１５、Ｓ１８）と、離隔又は接近に応じて、波形の歪みの部分の特定及び補正を行うステップ（Ｓ１６、Ｓ１９）を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオデータ処理装置、オーディオ装置、オーディオデータ処理方法、プログラム及び当該プログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
近年、欧州を中心に波面合成技術(Wave Field Synthesis:ＷＦＳ)を基本原理とするオーディオシステムの研究が盛んに行われている（例えば、非特許文献１参照）。ＷＦＳとは、アレイ状に並べられた複数のスピーカ（以下、「スピーカアレイ」と呼ぶ。）から放射される音の波面をホイヘンスの原理に基づき合成する技術である。
【０００３】
ＷＦＳによって提供される音響空間内においてスピーカアレイと対面して音を聴いている受聴者は、実際にはスピーカアレイから放射される音が、スピーカアレイの後方に仮想的に存在する音源（以下、「仮想音源」と呼ぶ。）から放射されているかのような感覚を受ける（例えば、図１参照）。
【０００４】
ＷＦＳシステムを適用することが可能な装置としては、映画、オーディオシステム、テレビ、ＡＶラック、テレビ会議システム、テレビゲーム等がある。例えば、ディジタルコンテンツが映画の場合、俳優の存在が仮想音源という形でメディアに記録されている。したがって、会話をしながらスクリーン内を俳優が移動する場合、スクリーン内の俳優の動き方向に合わせて仮想音源をスクリーンに対して左右、前後及び任意の方向に定位させることができる。例えば特許文献１には、仮想音源を移動可能にするシステムが記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表２００７−５０２５９０号公報
【非特許文献】
【０００６】
【非特許文献１】ベルクハウト、ド ブリース、フォーゲル（A. J. Berkhout, D. de Vries, and P. Vogel）著、「アコースティック コントロール バイ ウェーブフィールド シンセシス (Acoustic control by wave field synthesis)」（オランダ）、第９３（５）版、ジャーナル・オブ・ジ・アコースティカル・ソサイエティ・オブ・アメリカ(J. Acoust. Soc)、１９９３年５月、ｐ.２７６４−２７７８
【発明の概要】
【発明が解決しようとする課題】
【０００７】
音波の発生源である音源及び受聴者の相対的な速度によって音波の周波数が異なって観測される物理現象としてドップラー効果が知られている。ドップラー効果によると、音波の発生源である音源が受聴者に近付く場合には音波の振動が詰められて周波数が高くなり、逆に観測者から遠ざかる場合には音波の振動が伸ばされて低くなる。これは、音源が移動しても音源から到達する音波の波の数は変わらないことを意味する。しかし、非特許文献１に記載のものは、仮想音源は動かずに固定されていることを前提としており、仮想音源の移動に伴って発生するドップラー効果に対しては検討がなされていない。そのため、仮想音源をスピーカから遠ざかる方向に移動させる場合又は近づく方向に移動させる場合に、スピーカが発する音の基となるオーディオ信号の波の数が変化し、その波の数の変化により波形に歪みが生ずる。波形に歪みが発生すると受聴者はそれをノイズとして知覚するため、波形の歪みを解消する手段を講ずる必要がある。尚、波形の歪みの詳細については後述する。
【０００８】
一方、特許文献１に記載のものは、仮想音源の移動に伴って発生するドップラー効果を考慮し、オーディオ信号の基となるオーディオデータ内のあるセグメント内の適当な標本データからその次のセグメント内の適当な標本データまでの範囲のオーディオデータに対する重み係数を変化させることによって、その範囲のオーディオデータを補正する方法である。ここで、「セグメント」とは、オーディオデータの処理単位である。オーディオデータを補正することによってオーディオ信号波形の極端な歪みはある程度解消され、波形の歪みによって発生するノイズを低減することができる。しかし、特許文献１に記載のものは、単純にオーディオデータの平滑化を試みているだけである。すなわち、特許文献１に記載のものは、仮想音源のスピーカに対する接近及び離隔に応じて波形の歪みを特定し当該特定された波形の歪みに応じて異なる補正を行うものではない。このことから、特許文献１に記載のものは、波形の歪みが残される場合が多く、そのため、波形の歪みに起因するノイズを回避するという効果を十分に得られないという課題を有する。
【０００９】
本発明はかかる課題に鑑みてなされたものであり、仮想音源のスピーカに対する接近及び離隔に応じて波形の歪みの場所を特定し、波形の歪みに応じて異なる補正を行うことによって、仮想音源を移動させる場合に発生する波形の歪みを解消し、ひいては、波形の歪みに起因するノイズを回避するオーディオデータ処理装置等を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明のオーディオデータ処理装置は、移動する仮想音源が発する音に対応するオーディオデータ、該仮想音源の位置及び前記オーディオデータに基づき音を放射するスピーカの位置を入力し、前記仮想音源の位置及び前記スピーカの位置に基づいて前記オーディオデータを補正するオーディオデータ処理装置において、相前後する時点での前記スピーカの位置から前記仮想音源の位置までそれぞれの第１及び第２の距離を算出する算出手段と、前記第１及び第２の距離を比較する比較手段と、比較の結果、前記第１及び第２の距離が異なる場合、前後の時点における前記オーディオデータにある歪みの部分を特定する特定手段と、前記仮想音源の前記スピーカに対する接近及び離隔に応じて、特定された部分の前記オーディオデータに対して異なる補正を行う補正手段とを備えることを特徴とする。
【００１１】
本発明のオーディオデータ処理装置において、前記オーディオデータは標本データを含み、前記特定手段は、前記仮想音源の前記スピーカに対する離隔に起因する標本データの繰り返し部分を特定し、前記補正手段は、特定された前記繰り返し部分に対して補正を行う第１の補正手段を備えることを特徴とする。
【００１２】
本発明のオーディオデータ処理装置において、前記オーディオデータは標本データを含み、前記特定手段は、前記仮想音源の前記スピーカに対する接近に起因する標本データの欠落部分を特定し、前記補正手段は、特定された前記欠落部分を挟む前後の部分に対して補正を行う第２の補正手段を備えることを特徴とする。
【００１３】
本発明のオーディオデータ処理装置において、前記オーディオデータは標本データを含み、前記特定手段は、前記仮想音源の前記スピーカに対する接近及び離隔に起因する標本データの繰り返し部分又は標本データの欠落部分を特定し、前記補正手段は、特定された前記繰り返し部分に対して補正を行う第１の補正手段と、特定された前記欠落部分を挟む前後の部分に対して補正を行う第２の補正手段とを備えることを特徴とする。
【００１４】
本発明のオーディオデータ処理装置において、前記補正を行う部分は、前記第１及び第２の距離を音波が伝播する時間幅の差、又は、前記差に比例する時間幅であることを特徴とする。
【００１５】
本発明のオーディオデータ処理装置において、前記第１の補正手段は、特定された前記繰り返し部分に含まれる標本データを、該標本データにより形成される２つの波形の内の１つの波形を２倍の時間幅に均等に伸張することにより得られる標本データに置き換えることを特徴とする。
【００１６】
本発明のオーディオデータ処理装置において、前記第２の補正手段は、特定された前記欠落部分及び該欠落部分の前後の部分に含まれる標本データを、該標本データにより形成される波形を２／３倍の時間幅に均等に圧縮することにより得られる標本データに置き換えることを特徴とする。
【００１７】
本発明のオーディオデータ処理装置において、前記補正手段により補正が行われたオーディオデータに対して利得制御を行う手段を更に備えることを特徴とする。
【００１８】
本発明のオーディオデータ処理装置において、前記仮想音源の数は１つ又は複数であることを特徴とする。
【００１９】
本発明のオーディオ装置は、移動する仮想音源が発する音に対応するオーディオデータ、該仮想音源の位置及び前記オーディオデータに基づき音を放射するスピーカの位置を用い、前記仮想音源の位置及び前記スピーカの位置に基づいて前記オーディオデータを補正するオーディオ装置において、前記オーディオデータ及び前記仮想音源の位置を含むディジタルコンテンツを入力するディジタルコンテンツ入力部と、前記ディジタルコンテンツ入力部が入力したディジタルコンテンツを解析し、該ディジタルコンテンツに含まれるオーディオデータ及び仮想音源の位置のデータを分離するコンテンツ情報分離部と、前記コンテンツ情報分離部が分離した仮想音源の位置のデータ及び前記スピーカの位置のデータに基づいて、前記コンテンツ情報分離部が分離したオーディデータを補正するオーディオデータ処理部と、補正されたオーディオデータに基づき前記スピーカへのオーディオ信号を生成するオーディオ信号生成手段とを備え、前記オーディオデータ処理部は、相前後する時点での前記スピーカの位置から前記仮想音源の位置までそれぞれの第１及び第２の距離を算出する手段と、前記第１及び第２の距離を比較する手段と、比較の結果、前記第１及び第２の距離が異なる場合、前後の時点における前記オーディオデータにある歪みの部分を特定する手段と、前記仮想音源の前記スピーカに対する接近及び離隔に応じて、特定された部分の前記オーディオデータに対して異なる補正を行う手段とを備えることを特徴とする。
【００２０】
本発明のオーディオ装置において、前記ディジタルコンテンツ入力部は、ディジタルコンテンツを格納する記録媒体、ネットワークを介してディジタルコンテンツを配信するサーバ又はディジタルコンテンツを放送する放送局からディジタルコンテンツを入力することを特徴とする。
【００２１】
本発明のオーディオデータ処理方法は、移動する仮想音源が発する音に対応するオーディオデータ、該仮想音源の位置及び前記オーディオデータに基づき音を放射するスピーカの位置を入力し、前記仮想音源の位置及び前記スピーカの位置に基づいて前記オーディオデータを補正するオーディオデータ処理装置におけるオーディオデータ処理方法において、相前後する時点での前記スピーカの位置から前記仮想音源の位置までそれぞれの第１及び第２の距離を算出するステップと、前記第１及び第２の距離を比較するステップと、比較の結果、前記第１及び第２の距離が異なる場合、前後の時点における前記オーディオデータにある歪みの部分を特定するステップと、前記仮想音源の前記スピーカに対する接近及び離隔に応じて、特定された部分の前記オーディオデータに対して異なる補正を行うステップとを含むことを特徴とする。
【００２２】
本発明のプログラムは、移動する仮想音源が発する音に対応するオーディオデータ、該仮想音源の位置及び前記オーディオデータに基づき音を放射するスピーカの位置を入力し、前記仮想音源の位置及び前記スピーカの位置に基づいて前記オーディオデータを補正させるプログラムにおいて、コンピュータに、相前後する時点での前記スピーカの位置から前記仮想音源の位置までそれぞれの第１及び第２の距離を算出するステップと、前記第１及び第２の距離を比較するステップと、比較の結果、前記第１及び第２の距離が異なる場合、前後の時点における前記オーディオデータにある歪みの部分を特定するステップと、前記仮想音源の前記スピーカに対する接近及び離隔に応じて、特定された部分の前記オーディオデータに対して異なる補正を行うステップとを実行させることを特徴とする。
【００２３】
本発明の記録媒体は、前述に記載のプログラムを記録したことを特徴とする。
【００２４】
本発明のオーディオデータ処理装置にあっては、第１及び第２の距離が異なる場合、前後の時点におけるオーディオデータにある歪みの部分を特定し、仮想音源のスピーカに対する接近及び離隔に応じて、特定された部分のオーディオデータに対して異なる補正を行うため、仮想音源を移動させることによって発生する波形の歪みを解消することができる。
【００２５】
本発明のオーディオデータ処理装置にあっては、仮想音源のスピーカに対する離隔に起因する標本データの繰り返し部分に対して補正を行うため、仮想音源をスピーカに対して離隔させる場合に発生する波形の歪みを解消することができる。
【００２６】
本発明のオーディオデータ処理装置にあっては、仮想音源のスピーカに対する接近に起因する標本データの欠落部分に対して補正を行うため、仮想音源をスピーカに対して接近させる場合に発生する波形の歪みを解消することができる。
【００２７】
本発明のオーディオデータ処理装置にあっては、仮想音源のスピーカに対する接近及び離隔に起因する標本データの繰り返し部分及び標本データの欠落部分に対して補正を行うため、仮想音源をスピーカに対して離隔及び接近させる場合に発生する波形の歪みを解消することができる。
【００２８】
本発明のオーディオデータ処理装置にあっては、上記の補正がされた標本データに対して更に利得制御による補正を行うため、仮想音源のスピーカに対する接近及び離隔に起因する波形の歪みを補正することができる。
【００２９】
本発明のオーディオ装置にあっては、第１及び第２の距離が異なる場合、前後の時点におけるオーディオデータにある歪みの部分を特定し、仮想音源のスピーカに対する接近及び離隔に応じて、特定された部分のオーディオデータに対して異なる補正を行うため、仮想音源を移動させることによって発生する波形の歪みが解消されたオーディオ信号を出力することができる。
【００３０】
本発明のオーディオデータ処理方法にあっては、第１及び第２の距離が異なる場合、前後の時点におけるオーディオデータにある歪みの部分を特定し、仮想音源のスピーカに対する接近及び離隔に応じて、特定された部分のオーディオデータに対して異なる補正を行うため、仮想音源を移動させることによって発生する波形の歪みを解消することができる。
【００３１】
本発明のプログラムにあっては、第１及び第２の距離が異なる場合、前後の時点におけるオーディオデータにある歪みの部分を特定し、仮想音源のスピーカに対する接近及び離隔に応じて、特定された部分のオーディオデータに対して異なる補正を行うため、仮想音源を移動させることによって発生する波形の歪みを解消することができる。
【００３２】
本発明のコンピュータ読み取り可能な記録媒体にあっては、第１及び第２の距離が異なる場合、前後の時点におけるオーディオデータにある歪みの部分を特定し、仮想音源のスピーカに対する接近及び離隔に応じて、特定された部分のオーディオデータに対して異なる補正を行うため、仮想音源を移動させることによって発生する波形の歪みを解消することができる。
【発明の効果】
【００３３】
本発明に係るオーディオデータ処理装置等によれば、仮想音源を移動させる際にオーディオデータを補正するため、仮想音源の移動によって発生する波形の歪みが解消され、ひいては、波形の歪みに起因するノイズを回避することができる。
【図面の簡単な説明】
【００３４】
【図１】ＷＦＳにより提供される音響空間の一例の説明図である。
【図２】オーディオ信号を一般的に説明する説明図である。
【図３】オーディオデータにより形成されるオーディオ信号波形の一部の説明図である。
【図４】第１のセグメント内のオーディオデータにより形成されるオーディオ信号波形の一例の説明図である。
【図５】第２のセグメント内のオーディオデータにより形成されるオーディオ信号波形の一例の説明図である。
【図６】図４に示すオーディオデータにより形成されるオーディオ信号波形及び図５に示すオーディオデータにより形成されるオーディオ信号波形を結合したオーディオ信号波形の一例の説明図である。
【図７】第１のセグメント内のオーディオデータにより形成されるオーディオ信号波形の一例の説明図である。
【図８】第２のセグメント内のオーディオデータにより形成されるオーディオ信号波形の一例の説明図である。
【図９】第１のセグメント内の最初の部分のオーディオデータにより形成されるオーディオ信号波形及び第２のセグメント内の最後の部分のオーディオデータにより形成されるオーディオ信号波形の間に４点分の欠落部分が発生している状態を示す説明図である。
【図１０】図７に示すオーディオデータにより形成されるオーディオ信号波形及び図８に示すオーディオデータにより形成されるオーディオ信号波形を結合したオーディオ信号波形の一例の説明図である。
【図１１】実施の形態１に係るオーディオデータ処理部を備えるオーディオ装置の構成例を示すブロック図である。
【図１２】実施の形態１に係るオーディオデータ処理部の内部構成例を示すブロック図である。
【図１３】入力オーディオデータバッファの一構成例の説明図である。
【図１４】音波伝播時間データバッファの一構成例の説明図である。
【図１５】補正後のオーディオデータにより形成されるオーディオ信号波形の説明図である。
【図１６】補正後のオーディオデータにより形成されるオーディオ信号波形の説明図である。
【図１７】実施の形態１に係るデータ処理の流れを示すフローチャートである。
【図１８】波形の歪みの部分の特定及び補正の処理の流れを示すフローチャートである。
【図１９】実施の形態２に係るオーディオ装置の内部構成例を示すブロック図である。
【発明を実施するための形態】
【００３５】
実施の形態１
まず始めに、ＷＦＳにより提供される音響空間内で仮想音源が移動しないことを前提とした演算モデル及び仮想音源の移動を考慮した演算モデルについて説明し、次いで、実施の形態の説明に移る。
【００３６】
図１は、ＷＦＳにより提供される音響空間の一例の説明図である。図１に示す音響空間には、Ｍ個のスピーカ１０３＿１〜１０３＿Ｍから構成されるスピーカアレイ１０３及びスピーカアレイ１０３と対面して音を聴いている受聴者１０２が存在する。この音響空間においては、Ｍ個のスピーカ１０３＿１〜１０３＿Ｍから放射される音の波面はホイヘンスの原理に基づいて波面合成され、合成波面１０４として音響空間内を伝わる。このとき、受聴者１０２は、実際にはスピーカアレイ１０３から放射される音が、スピーカアレイ１０３の後方に定位された実際には存在しないＮ個の仮想音源１０１＿１〜１０１＿Ｎから放射されているかのような感覚を受ける。仮想音源１０１＿１〜１０１＿Ｎを総称して仮想音源１０１と呼ぶ。
【００３７】
一方、図２は、オーディオ信号を一般的に説明する説明図である。オーディオ信号を理論的に取り扱うとき、一般的には、オーディオ信号は、連続信号Ｓ（ｔ）として表現される。図２（ａ）は連続信号Ｓ（ｔ）を示し、（ｂ）はサンプリング間隔Δｔのインパルス列を示し、（ｃ）は連続信号Ｓ（ｔ）がサンプリング間隔Δｔで標本化されかつ量子化されたデータｓ（ｂΔｔ）を示す図である（ただし、ｂ＝正の整数）。例えば、図２（ａ）に示すように、連続信号Ｓ（ｔ）は、時間ｔの軸でも、振幅Ｓの軸でも連続である。標本化は、連続信号Ｓ（ｔ）から時間的に離散的な信号を得ることを目的とする。これは、連続信号Ｓ（ｔ）を離散的な時刻ｂΔｔにおけるデータｓ（ｂΔｔ）で表現しようとするものである。理論的には標本化間隔は可変でもよいが、一定間隔にするほうが実際的である。標本化及び量子化操作は、サンプリング間隔をΔｔとすると、図２（ｃ）に示すように、連続信号Ｓ（ｔ）を間隔Δｔのインパルス列（図２（ｂ））で打ち抜き、それらを量子化することにより行われる。尚、以後の説明においては、量子化されたデータｓ（ｂΔｔ）のことを「標本データ」と呼ぶ。
【００３８】
本演算モデルでは、スピーカアレイ１０３に含まれるｍ番目のスピーカ（以下、「スピーカ１０３＿ｍ」と呼ぶ。）に与えるオーディオ信号の時刻ｔにおける標本データを生成する。ここでは、図１に示したとおり、仮想音源１０１の数はＮであり、スピーカアレイ１０３を構成するスピーカの台数はＭであるとする。
【００３９】
【数１】
【００４０】
但し、
ｑn （ｔ）：Ｎ個の仮想音源１０１の内のｎ番目の仮想音源（以下、「仮想音源１０１＿ｎ」と呼ぶ。）から放射されて、Ｍ個の内のスピーカ１０３＿ｍに到達した音波の離散時刻ｔにおける標本データ
ｌm （ｔ）：スピーカ１０３＿ｍに与えるオーディオ信号の離散時刻ｔにおける標本データ
【００４１】
【数２】
【００４２】
但し、
Ｇn ：仮想音源１０１＿ｎに対する利得係数
ｓn （ｔ）：仮想音源１０１＿ｎに与えるオーディオ信号の離散時刻ｔにおける標本データ
τmn：仮想音源１０１＿ｎの位置及びスピーカ１０３＿ｍの位置の間の距離に起因する音波伝播時間の分のサンプル数
【００４３】
【数３】
【００４４】
但し、
ｗ：重み定数
ｒn ：仮想音源１０１＿ｎの位置ベクトル（固定値）
ｒm ：スピーカ１０３＿ｍの位置ベクトル（固定値）
【００４５】
【数４】
【００４６】
ここで、フロア記号とは、「与えられた値を超えない整数のうち、最大のもの」を示す。数式（３）及び（４）からわかるように、本演算モデルにおいては、仮想音源１０１＿ｎに対する利得係数Ｇn は、仮想音源１０１＿ｎからスピーカ１０３＿ｍまでの距離の平方根に反比例する。これは、スピーカ１０３＿ｍの集合を線音源としてモデル化しているからである。一方、τmnは、仮想音源１０１＿ｎからスピーカ１０３＿ｍまでの距離に比例する。
【００４７】
上記の数式（１）から（４）は、仮想音源１０１＿ｎが移動せずに、ある位置に静止している状態を前提としている。しかし、現実世界においては、人は歩きながら会話を行い、自動車はエンジン音を鳴らして走行する。つまり、現実世界では音源は静止している場合もあれば、移動する場合もある。したがって、そのような場合に対処するため、音源が移動する場合を考慮した新たな演算モデル（実施の形態に係る演算モデル）を導入する。以下、新たな演算モデルについて説明する。
【００４８】
仮想音源１０１＿ｎが移動する場合を考慮すると、数式（２）から（４）は、以下に示す数式（５）から（７）に置き換えられる。
【００４９】
【数５】
【００５０】
但し、
Ｇn,t ：離散時刻ｔにおける仮想音源１０１＿ｎに対する利得係数
τmn,t：離散時刻ｔにおける仮想音源１０１＿ｎ及びスピーカ１０３＿ｍの間の距離に起因する音波伝播時間の分のサンプル数
【００５１】
【数６】
【００５２】
但し、
ｒn,t ：離散時刻ｔにおける仮想音源１０１＿ｎの位置ベクトル
【００５３】
【数７】
【００５４】
仮想音源１０１＿ｎは移動しているため、数式（５）から（７）からわかるように、仮想音源１０１＿ｎに対する利得係数、仮想音源１０１＿ｎの位置及び音波伝播時間はいずれも離散時刻ｔに応じて変動する。
【００５５】
オーディオデータは通常セグメント単位で信号処理されるのが一般的である。「セグメント」とは、オーディオデータの処理単位であり「フレーム」とも呼ばれる。１セグメントは、例えば、２５６個の標本データ又は５１２個の標本データから構成される。よって数式（１）のｌm （ｔ）（スピーカ１０３＿ｍに与えるオーディオ信号の離散時刻ｔにおける標本データ）は、セグメント単位で算出される。そこで、本演算モデルでは、離散時刻ｔにおいて算出されるスピーカ１０３＿ｍに与えるオーディオ信号を形成するオーディオデータのセグメントをベクトルとし、Ｌm,t と表す。その場合、Ｌm,t は、離散時刻ｔ−ａ＋１から離散時刻ｔまでの１セグメント内に含まれるａ個の標本データ（例えば、２５６個、５１２個等の標本データ）から構成されるベクトルデータであり、数式（８）で表される。
【００５６】
【数８】
【００５７】
オーディオデータがセグメント単位で処理されることに伴いｒn,t もセグメント毎に求められるのが実際的である。ただし、ｒn の更新の頻度は必ずしもセグメント単位と一致していなくてもよい。そして、離散時刻ｔ0 における仮想音源位置ｒn,t0及び離散時刻（ｔ0 −ａ）における仮想音源位置ｒn,t0-aを比較することにより、仮想音源位置ｒn,t0は、離散時刻（ｔ0 −ａ）から離散時刻ｔ0 の間に仮想音源１０１＿ｎが移動した距離だけ変化したことになる。ここで、仮想音源１０１＿ｎがスピーカ１０３＿ｍから遠ざかる方向に移動（仮想音源１０１＿ｎがスピーカ１０３＿ｍに対して離隔）する場合及び近づく方向に移動（仮想音源１０１＿ｎがスピーカ１０３＿ｍに対して接近）する場合を説明する。
【００５８】
Ｇn,t 及びτmn,tもまた、離散時刻（ｔ0 −ａ）から離散時刻ｔ0 の間に仮想音源１０１＿ｎが移動した距離に応じて変動する。以下に示す数式（９）及び（１０）は、離散時刻（ｔ0 −ａ）から離散時刻ｔ0 の間に仮想音源１０１＿ｎが移動した距離に応じて変動する利得係数の変動量及び音波伝播時間分のサンプル数の変動量を表す。例えば、ΔＧn,t0は、離散時刻ｔ0 における利得係数の、離散時刻（ｔ0 −ａ）における利得係数からの変動量を表し、Δτmn,t0 は、離散時刻ｔ0 における音波伝播時間分のサンプル数の、離散時刻（ｔ0 −ａ）における音波伝播時間分のサンプル数からの変動量（「時間幅」とも呼ぶ）を表す。これらの変動量は、仮想音源が離散時刻（ｔ0 −ａ）から離散時刻ｔ0 にかけて移動した場合、仮想音源１０１＿ｎが移動する方向に応じて正の値又は負の値のいずれか一方をとる。
【００５９】
【数９】
【００６０】
【数１０】
【００６１】
仮想音源１０１＿ｎがスピーカ１０３＿ｍから遠ざかる又は近づくことによって、ΔＧn,t0及び時間幅Δτmn,t0 が生じるため、離散時刻ｔ0 において波形の歪みが発生する。ここで、「波形の歪み」が発生した状態とは、オーディオ信号波形が連続的に変化するのではなく、受聴者がその部分をノイズとして知覚するほど不連続に変化した状態を意味する。
【００６２】
例えば、仮想音源１０１＿ｎがスピーカ１０３＿ｍから遠ざかる方向に移動することによって音波伝播時間が増加した場合、すなわち、時間幅Δτmn,t0 が正である場合、離散時刻ｔ0 を起点とするセグメントの最初の部分に、その１つ前のセグメント内の最後の部分のオーディオデータが時間幅Δτmn,t0 だけ再度現れる。以下、離散時刻ｔ0 を起点とするセグメントの１つ前のセグメントを第１のセグメントと呼び、離散時刻ｔ0 を起点とするセグメントを第２のセグメントと呼ぶ。その結果、波形に歪みが生ずる。
【００６３】
一方、仮想音源１０１＿ｎがスピーカ１０３＿ｍに近づく方向に移動することによって音波伝播時間が減少した場合、すなわち、時間幅Δτmn,t0 が負である場合、第１のセグメント内の最後の部分のオーディオデータ及び第２のセグメント内の最初の部分のオーディオデータの間に時間幅Δτmn,t0 だけ欠落が生じる。その結果、オーディオ信号波形に不連続点が生じる。これもまた波形の歪みである。以下、波形の歪みの具体例を、図面を用いて説明する。
【００６４】
図３は、オーディオデータにより形成されるオーディオ信号波形の一部の説明図である。図３に示すオーディオデータは、標本データ３０１〜標本データ３２８の計２８個の標本データによって表されるとする。以下、図３に示すオーディオ信号を基にして、仮想音源１０１＿ｎがスピーカ１０３＿ｍから遠ざかる方向に移動する場合及び近づく方向に移動する場合において波形の歪みが発生する理由を説明する。
【００６５】
まず、仮想音源１０１＿ｎがスピーカ１０３＿ｍから遠ざかる方向に移動することによって仮想音源１０１＿ｎの位置およびスピーカ１０３＿ｍの位置の間の距離に対する音波伝播時間が増加する場合、すなわち、時間幅Δτmn,t0 が正の場合について説明する。図４は、第１のセグメント内のオーディオデータにより形成されるオーディオ信号波形の一例の説明図である。第１のセグメントの最後の部分には、標本データ３０１〜３１２が含まれる。図５は、第２のセグメント内のオーディオデータにより形成されるオーディオ信号波形の一例の説明図である。第２のセグメントの最初の部分には、標本データ３０８’〜３１８が含まれる。
【００６６】
本例では、仮想音源１０１＿ｎがスピーカ１０３＿ｍから遠ざかる方向に移動することによって、第２のセグメントにおける仮想音源１０１＿ｎからスピーカ１０３＿ｍまでの距離に対する音波伝播時間分のサンプル数が第１のセグメントにおける仮想音源１０１＿ｎからスピーカ１０３＿ｍまでの距離に対する音波伝播時間分のサンプル数よりも例えば５（＝Δτmn,t）点の分だけ増加したとする。音波伝播時間が増加した結果、図４に示す第１のセグメント内の最後の部分の標本データ３０８，３０９，３１０，３１１，３１２が、図５に示す第２のセグメント内の最初の部分に、標本データ３０８’，３０９’,３１０’，３１１’，３１２’として再び現れる。そのため、図４に示すオーディオデータにより形成されるオーディオ信号波形及び図５に示すオーディオデータにより形成されるオーディオ信号波形が結合されると結合部分に波形の歪みが発生する。図６は、図４に示すオーディオデータにより形成されるオーディオ信号波形及び図５に示すオーディオデータにより形成されるオーディオ信号波形を結合したオーディオ信号波形の一例の説明図である。図６から、標本データ３０８’の近傍においてオーディオデータが不連続となり、波形の歪みが発生していることがわかる。この波形の歪みは、ノイズとして受聴者に知覚される。
【００６７】
これとは逆に、仮想音源１０１＿ｎがスピーカ１０３＿ｍに近づく方向に移動することによって音波伝播時間が減少する場合、すなわち、時間幅Δτmn,t0 が負の場合について説明する。図７は、第１のセグメント内のオーディオデータにより形成されるオーディオ信号波形の一例の説明図である。第１のセグメントの最後の部分には、標本データ３０１〜３１２が含まれる。その内容は、図５に示したものと同じである。図８は、第２のセグメント内のオーディオデータにより形成されるオーディオ信号波形の一例の説明図である。第２のセグメントの最初の部分には、標本データ３１７〜３２８が含まれる。本例では、仮想音源１０１＿ｎがスピーカ１０３＿ｍに近づく方向に移動することによって、第２のセグメントにおける仮想音源１０１＿ｎからスピーカ１０３＿ｍまでの距離に対する音波伝播時間分のサンプル数が第１のセグメントにおける仮想音源１０１＿ｎからスピーカ１０３＿ｍまでの距離に対する音波伝播時間分のサンプル数よりも例えば４（＝Δτmn,t）点の分だけ減少したとする。図９は、第１のセグメント内の最初の部分のオーディオデータにより形成されるオーディオ信号波形及び第２のセグメント内の最後の部分のオーディオデータにより形成されるオーディオ信号波形の間に４点分の欠落部分が発生している状態を示す説明図である。音波伝播時間が減少した結果、図９に示すように、第１のセグメント内の最後の部分のオーディオデータにより形成されるオーディオ信号波形及び第２のセグメント内の最初の部分のオーディオデータにより形成されるオーディオ信号波形の間に４点分（標本データ３１３〜３１６）の欠落部分が生じる。そのため、図７に示すオーディオデータにより形成されるオーディオ信号波形及び図８に示すオーディオデータにより形成されるオーディオ信号波形を結合すると結合部分に波形の歪みが発生する。図１０は、図７に示すオーディオデータにより形成されるオーディオ信号波形及び図８に示すオーディオデータにより形成されるオーディオ信号波形を結合したオーディオ信号波形の一例の説明図である。図１０からわかるように、標本データ３１７の近傍においてオーディオデータが不連続となり、波形の歪みが発生している。この波形の歪みも同様にノイズとして受聴者に知覚される。
【００６８】
以上、仮想音源１０１＿ｎが移動することによって波形の歪みが発生する理由を説明した。次いで、オーディオデータを補正することによって波形の歪みを解消する本発明に係わる実施の形態を、図面を参照して具体的に説明する。
【００６９】
図１１は、実施の形態１に係るオーディオデータ処理部を備えるオーディオ装置の構成例を示すブロック図である。オーディオ装置１１００は、実施の形態１に係るオーディオデータ処理部１１０１、コンテンツ情報分離部１１０２、オーディオデータ格納部１１０３、仮想音源位置データ格納部１１０４、スピーカ位置データ入力部１１０５、スピーカ位置データ格納部１１０６、Ｄ／Ａ変換部１１０７、Ｍ個の増幅器１１０８＿１〜１１０８＿Ｍ、再生部１１０９及び通信インタフェース部１１１０を備える。オーディオ装置１１００は、上記各部を統括的に制御するＣＰＵ(Central Processing Unit)１１１１、ＣＰＵ１１１１が実行するコンピュータプログラムを格納するＲＯＭ(Read-Only Memory)１１１２及びコンピュータプログラムの実行中に処理するデータや変数等を格納すＲＡＭ(Random-Access Memory)１１１３を更に備える。オーディオ装置１１００は、スピーカアレイ１０３に補正後のオーディオデータに対応するオーディオ信号を出力する。
【００７０】
再生部１１０９は、ディジタルコンテンツ（映画、コンピュータゲーム、ミュージックビデオ等）を格納する記録媒体１１１７から当該ディジタルコンテンツを読み出し、コンテンツ情報分離部１１０２に出力する。記録媒体１１１７は、例えば、ＣＤ−Ｒ(Compact Disc Recordable)、ＤＶＤ(Digital Versatile Disk)、ブルーレイ・ディスク(Blu-ray Disk,登録商標)である。ディジタルコンテンツには、仮想音源１０１＿１〜１０１＿Ｎの各々に対応する複数のオーディオデータのファイル及び仮想音源１０１＿１〜１０１＿Ｎに対応する仮想音源位置データが関連付けて記録されている。
【００７１】
通信インタフェース部１１１０は、インターネット１１１４等の通信ネットワークを介してディジタルコンテンツを配信するサーバ１１１５からディジタルコンテンツを取得し、コンテンツ情報分離部１１０２に出力する。また、通信インタフェース部１１１０は、アンテナ又はチューナ等の機器（図示せず）を備え、放送局１１１６が放送する番組を受信し、それをディジタルコンテンツとしてコンテンツ情報分離部１１０２に出力する。
【００７２】
コンテンツ情報分離部１１０２は、再生部１１０９又は通信インタフェース部１１１０からディジタルコンテンツを取得し、当該ディジタルコンテンツを解析し、当該ディジタルコンテンツからオーディオデータ及び仮想音源位置データを分離する。次いで、コンテンツ情報分離部１１０２は、分離したオーディオデータ及び仮想音源位置データの各々をオーディオデータ格納部１１０３及び仮想音源位置データ格納部１１０４に出力する。仮想音源位置データとは、例えば、ディジタルコンテンツがミュージックビデオである場合、当該ビデオ画面に映し出されるシンガーや複数の楽器の相対的位置に対応する位置データである。仮想音源位置データは、オーディオデータと共にディジタルコンテンツ内に格納されている。
【００７３】
オーディオデータ格納部１１０３は、コンテンツ情報分離部１１０２から取得したオーディオデータを格納し、仮想音源位置データ格納部１１０４は、コンテンツ情報分離部１１０２から取得した仮想音源位置データを格納する。スピーカ位置データ格納部１１０６は、スピーカアレイ１０３の各々のスピーカ１０３＿１〜１０３＿Ｍが配置されている音響空間内の位置を示すスピーカ位置データをスピーカ位置データ入力部１１０５から取得し、格納する。スピーカ位置データは、スピーカアレイ１０３を構成するスピーカ１０３＿１〜１０３＿Ｍの各々の位置に基づいてユーザによって設定される情報である。当該情報は、例えば、音響空間内のオーディオ装置に対して固定されている１平面内（Ｘ−Ｙ座標系）における座標によって表される。ユーザは、スピーカ位置データ入力部１１０５を操作してスピーカ位置データをスピーカ位置データ格納部１１０６に格納する。実装上の制約からスピーカアレイ１０３の配置が予め決められている場合には、スピーカ位置データは固定値として設定される。一方、ユーザがスピーカアレイ１０３の配置をある程度自由に決めることができる場合には、スピーカ位置データは可変値として設定される。
【００７４】
オーディオデータ処理部１１０１は、仮想音源１０１＿１〜１０１＿Ｎの各々に対応するオーディオファイルをオーディオデータ格納部１１０３から読み出す。また、オーディオデータ処理部１１０１は、各仮想音源１０１＿１〜１０１＿Ｎに対応する仮想音源位置データを仮想音源位置データ格納部１１０４から読み出す。さらに、オーディオデータ処理部１１０１は、スピーカアレイ１０３の各スピーカ１０３＿１〜１０３＿Ｍに対応するスピーカ位置データをスピーカ位置データ格納部１１０６から読み出す。オーディオデータ処理部１１０１は、読み出した仮想音源位置データ及びスピーカ位置データに基づいて、読み出したオーディオデータに対して実施の形態に係わる処理を行う。すなわち、オーディオデータ処理部１１０１は、仮想音源１０１＿１〜１０１＿Ｎの移動を考慮した上述の演算モデルに基づいた演算処理を行うことによってスピーカ１０３＿１〜１０３＿Ｍに与えるオーディオ信号を形成するオーディオデータを生成する。オーディオデータ処理部１１０１が生成したオーディオデータは、Ｄ／Ａ変換部１１０７によりオーディオ信号として出力され、増幅部１１０８＿１〜１１０８＿Ｍを介して、スピーカ１０３＿１〜１０３＿Ｍに出力される。スピーカ１０３＿１〜１０３＿Ｍは、このオーディオ信号に基づいて音を生成し、音響空間に放射する。
【００７５】
図１２は、実施の形態１に係るオーディオデータ処理部１１０１の内部構成例を示すブロック図である。オーディオデータ処理部１１０１は、距離データ算出部１２０１、音波伝播時間データ算出部１２０２、音波伝播時間データバッファ１２０３、利得係数データ算出部１２０４、利得係数データバッファ１２０５、入力オーディオデータバッファ１２０６、出力オーディオデータ生成部１２０７及び出力オーディオデータ重畳部１２０８を備える。距離データ算出部１２０１は、仮想音源位置データ格納部１１０４及びスピーカ位置データ格納部１１０６に接続される。入力オーディオデータバッファ１２０６は、オーディオデータ格納部１１０３に接続される。出力オーディオデータ重畳部１２０８は、Ｄ／Ａ変換部１１０７に接続される。
【００７６】
距離データ算出部１２０１は、仮想音源位置データ格納部１１０４及びスピーカ位置データ格納部１１０６から仮想音源位置データ及びスピーカ位置データを取得し、それらに基づき仮想音源１０１＿ｎ及び各スピーカ１０３＿１〜１０３＿Ｍの間の距離データ（｜ｒn,t −ｒm ｜）を算出し、音波伝播時間データ算出部１２０２及び利得係数データ算出部１２０４に出力する。音波伝播時間データ算出部１２０２は、距離データ算出部１２０１から取得した距離データ（｜ｒn,t −ｒm ｜）に基づき、音波伝播時間データ（音波伝播時間の分のサンプル数）τmn,tを算出する（数式（７）参照）。音波伝播時間データバッファ１２０３は、音波伝播時間データ算出部１２０２から音波伝播時間データτmn,tを取得し、その内の複数セグメント分の音波伝播時間データを一時的に格納する。利得係数データ算出部１２０４は、距離データ算出部１２０１から取得した距離データ（｜ｒn,t −ｒm ｜）に基づき、利得係数データＧn,t を算出する（数式（６）参照）。
【００７７】
入力オーディオデータバッファ１２０６は、オーディオデータ格納部１１０３から各仮想音源１０１＿１〜１０１＿Ｎに対応する入力オーディオデータを取得し、その内の複数セグメント分の入力オーディオデータを一時的に格納する。１セグメントは、例えば、２５６個又は５１２個のオーディオデータの標本データから構成される。出力オーディオデータ生成部１２０７は、音波伝播時間データ算出部１２０２が算出した音波伝播時間データτmn,t及び利得係数データ算出部１２０４が算出した利得係数データＧn,t を用いて、入力オーディオデータバッファ１２０６に一時的に格納されている入力オーディオデータに対応する出力オーディオデータを生成する。出力オーディオデータ重畳部１２０８は、出力オーディオデータ生成部１２０７が生成した出力オーディオデータに対応する音のオーディオデータを仮想音源１０１の数に応じて合成する。
【００７８】
図１３は、入力オーディオデータバッファ１２０６の一構成例の説明図である。入力オーディオデータバッファ１２０６は、ＦＩＦＯ(First-In,First-Out：先入れ先出し)方式でデータを一時的に格納し、古いデータは捨てていく。バッファサイズは通常、仮想音源とスピーカ間の距離の最大値のサンプル数幅に基づいて設定すればよい。例えばその最大値を仮に３４メートルとする場合、サンプリング周波数が４４１００ヘルツ、音速が３４０メートルとして、４４１００×３４÷３４０＝４４１０サンプル以上用意しておけばよい。入力オーディオデータバッファ１２０６は、自己のバッファサイズに応じてオーディオデータ格納部１１０３から入力オーディオデータを読み出し、格納後、出力オーディオデータ生成部１２０７に出力する。すなわち、古いデータから順に出力オーディオデータ生成部１２０７に出力される訳ではない。図１３において四角のブロックの各々は標本データ格納領域を表し、当該標本データ格納領域には、セグメント内の１標本データが一時的に格納される。図１３によれば、例えば、標本データ格納領域１３００＿１には最新のセグメント内の先頭部分の１標本データが一時的に格納され、標本データ格納領域１３００＿１＋ａ−１には最新のセグメント内の最後の部分の１標本データ、つまり最新の１標本データが一時的に格納される。ここで、ａは、セグメント長であり、１セグメントに含まれる標本データの個数である。
【００７９】
図１４は、音波伝播時間データバッファ１２０３の一構成例の説明図である。音波伝播時間データバッファ１２０３もまた、ＦＩＦＯ(First-In,First-Out：先入れ先出し)方式でデータの入出力を行う一時格納部である。図１４において四角のブロックの各々はデータ格納領域を表し、当該データ格納領域には、各セグメントの音波伝播時間データが一時的に格納される。また、図１４は、音波伝播時間データバッファ１２０３に３セグメント分の音波伝播時間が一時的に格納されることを示す。さらに、図１４は、音波伝播時間データバッファ１２０３のデータ格納領域１２０３＿１には最も古い音波伝播時間データが一時的に格納され、データ格納領域１２０３＿３には最も新しい音波伝播時間データが一時的に格納されることを示す。また、図示しないが、利得係数データバッファ１２０５は、音波伝播時間データバッファ１２０３と同じ構成をとる。
【００８０】
図１２から図１４を参照して、実施の形態における主要な動作を説明する。入力オーディオデータバッファ１２０６は、離散時刻ｔ1 から離散時刻（ｔ1 ＋ａ−１）までの１セグメントの入力オーディオデータをオーディオデータ格納部１１０３から読み出し、一時的に格納する。図１３を参照して説明すると、標本データ格納領域１３００＿１から標本データ格納領域(１３００＿１＋ａ−１)には、離散時刻ｔ1 から離散時刻（ｔ1 ＋ａ−１）までの標本データが順番に格納される。また、標本データ格納領域１３００＿１〜１３００＿１＋ａ−１以外のデータ格納領域には、離散時刻ｔ1 以前の複数セグメント分の入力オーディオデータが既に格納されている。
【００８１】
距離データ算出部１２０１は、離散時刻ｔ1 における、１番目の仮想音源（以下、「仮想音源１０１＿１」と呼ぶ。）及び１番目のスピーカ（以下、「スピーカ１０３＿１」と呼ぶ。）の距離を示す距離データ（｜ｒ1,t1−ｒ1 ｜）を算出し、音波伝播時間データ算出部１２０２及び利得係数データ算出部１２０４に出力する。
【００８２】
音波伝播時間データ算出部１２０２は、数式（７）を用いて、距離データ算出部１２０１から取得した距離データ（｜ｒ1,t1−ｒ1 ｜）に基づいて音波伝播時間データτ11,t1 を算出し、音波伝播時間データバッファ１２０３に出力する。
【００８３】
音波伝播時間データバッファ１２０３は、音波伝播時間データ算出部１２０２から取得した音波伝播時間データτ11,t1 を格納する。図１４を参照すると、データ格納領域１２０３＿２に既に格納されていたデータは１２０３＿１に移動され、１２０３＿３に既に格納されていたデータは１２０３＿２に移動された後、音波伝播時間データτ11,t1 は、データ格納領域１２０３＿３に格納される。尚、音波伝播時間データバッファは、スピーカ数×時刻ｔ1 時点で存在する仮想音源の数だけ用意されている。すなわち、音波伝播時間データバッファは、少なくともＭ×Ｎ個備えられており、それぞれ過去２セグメント分の音波伝播時間データと現在の音波伝播時間データが格納されている。
【００８４】
利得係数データ算出部１２０４は、数式（６）を用いて、距離データ算出部１２０１から取得した距離データ（｜ｒ1,t1−ｒ1 ｜）に基づいて利得係数データＧ1,t1を算出し、利得係数データバッファ１２０５に出力する。利得係数データバッファ１２０５は、音波伝播時間データバッファ１２０３と同様な形で、利得係数データＧ1,t1を格納する。尚、利得係数データバッファは、スピーカ数×時刻ｔ1 時点で存在する仮想音源の数だけ用意されている。すなわち、利得係数データバッファは、少なくともＭ×Ｎ個備えられており、それぞれ過去２セグメント分の利得係数データと現在の利得係数データが格納されている。
【００８５】
上記処理をスピーカの個数（Ｍ個）に応じた回数繰り返すことによって、音波伝播時間データバッファ１２０３には、スピーカ１０３＿１〜１０３＿Ｍの音波伝播時間データτmn,t1 が格納され、利得係数データバッファ１２０５には、スピーカ１０３＿１〜１０３＿Ｍの利得係数データＧn,t1が格納される。
【００８６】
次に、入力オーディオデータバッファ１２０６は、次のセグメントである離散時刻（ｔ1 ＋ａ）から離散時刻（ｔ1 ＋２ａ−１）までの１セグメント内の入力オーディオデータをオーディオデータ格納部１１０３から読み出し、一時的に格納する。そして、音波伝播時間データ算出部１２０２及び利得係数データ算出部１２０４は、上記処理と同じ処理を行い、スピーカ１０３＿１〜１０３＿Ｍの音波伝播時間データτmn,(t1+a) 及び利得係数データＧn,t1+aを算出し、各々を、音波伝播時間データバッファ１２０３及び利得係数データバッファ１２０５に一時的に格納する。このとき、音波伝播時間データバッファ１２０３にはそれぞれ離散時刻（ｔ1 −ａ）、ｔ1 、そして（ｔ1 ＋ａ）を起点とする３つのセグメントに対応する音波伝播時間データτmn,(t1-a) 、τmn,t1 、τmn,(t1+a) が格納されている。また、利得係数データバッファ１２０５にはそれぞれ離散時刻（ｔ1 −ａ）、ｔ1 、そして（ｔ1 ＋ａ）を起点とする３つのセグメントに対応する利得係数データＧn,(t1-a)、Ｇn,t1、Ｇn,(t1+a)が格納されている。
【００８７】
出力オーディオデータ生成部１２０７は、仮想音源１０１＿１のために、各スピーカ１０３＿１〜１０３＿Ｍへ与えるオーディオ信号を形成する出力オーディオデータを生成する。出力オーディオデータ生成部１２０７は、離散時刻ｔ1における出力オーディオデータを生成するために、入力オーディオデータバッファ１２０６から離散時刻（ｔ1 −τmn,t1 ）から離散時刻（ｔ1 −τmn,t1 ＋ａ−１）までのオーディオデータを読み出し、それぞれにＧn,t1を乗算することとなる。
【００８８】
ここで、離散時刻ｔ1 から離散時刻（ｔ1 ＋ａ）の間に、仮想音源１０１＿ｎがスピーカ１０３＿ｍから遠ざかる方向に移動したとする。その場合、音波伝播時間データτmn,(t1+a) は、音波伝播時間データτmn,t1 よりも大きくなる。したがって、(Δτmn,(t1+a) ＝τmn,(t1+a) −τmn,t1 ）であることから、時間幅Δτmn,(t1+a) は、正となる。この場合、離散時刻（ｔ1 ＋ａ）を起点とするセグメント内の最初の部分に、その１つ前のセグメント、すなわち、離散時刻ｔ1 を起点とするセグメント内の最後の部分のオーディオデータが時間幅Δτmn,(t1+a) 分だけ繰り返される。さらに、離散時刻（ｔ1 −ａ）から離散時刻ｔ1 の間にも仮想音源１０１＿ｎがスピーカ１０３＿ｍから遠ざかる方向に移動したとする。この場合も同様に、音波伝播時間データτmn,tは、音波伝播時間データτmn,(t1-a) よりも大きくなる。したがって、(Δτmn,t1 ＝τmn,t1 −τmn,(t1-a) ）であることから、時間幅Δτmn,t1 は正となる。よって、離散時刻ｔ1 を起点とするセグメント内の最初の部分のオーディオデータに、その１つ前のセグメント、すなわち、離散時刻（ｔ1 −ａ）を起点とするセグメント内の最後の部分のオーディオデータが時間幅Δτmn,t1 分だけ繰り返される。その結果、離散時刻ｔ1 を起点とするセグメントは、その前後のセグメント、すなわち、離散時刻（ｔ1 −ａ）を起点とするセグメント及び離散時刻（ｔ1 ＋ａ）を起点とするセグメントのいずれのセグメントとの間に波形の歪みが発生する。この時点、すなわち離散時刻ｔ1においては、補正対象セグメントは離散時刻ｔ1 を起点とするセグメントである。そして、そのセグメント内の補正対象区間は、そのセグメントの１つ前のセグメントとの波形歪みを含む、時間幅Δτmn,t1サンプル分と、そのセグメントの１つ後のセグメントとの波形歪みを含む、時間幅Δτmn,(t1+a) サンプル分の２つの区間となる。このとき、当然のことながら補正対象セグメントの前後のセグメントも対称にそれぞれ時間幅Δτmn,t1 サンプル分と時間幅Δτmn,(t1+a) サンプル分の補正対象区間が含まれているが、１つ前のセグメントは離散時刻(ｔ1 −ａ)の時点における補正処理でその区間が既に補正され、１つ後のセグメントは後に離散時刻(ｔ1 ＋ａ)の時点における補正処理においてその区間が補正されることとなる。ここで、補正対象セグメント内における上述の２箇所の補正区間について、その処理内容は同じであるため、以下では補正対象セグメントの後ろ側、すなわち１つ後のセグメントとの関係で生じた歪み波形の補正区間部分についてのみ図を用いて説明する。
【００８９】
再び図６を参照すると、オーディオデータの補正前においては、補正対象セグメント内の補正区間、すなわち離散時刻(ｔ1 ＋ａ−Δτmn,(t1+a) ）から離散時刻(ｔ1 ＋ａ−１)までのオーディオデータは、離散時刻ｔ1 を起点とするセグメント内の標本データ３０８、３０９、３１０、３１１、３１２をつなぎ合わせることにより得られるオーディオデータである。このオーディオデータは、補正対象セグメントより１つ後のセグメントである、離散時刻（ｔ1 ＋ａ）を起点とするセグメントにおける離散時刻（ｔ1 ＋ａ）から離散時刻（ｔ1 ＋ａ＋Δτmn,(t1+a) −１）までの標本データ３０８、３０９、３１０、３１１、３１２をつなぎ合わせることにより得られるオーディオデータとして再び現れる。その結果、上述の通り、離散時刻ｔ1 を起点とするセグメント及び離散時刻（ｔ1 ＋ａ）を起点とするセグメントの間に波形の歪みが発生する。そこで、オーディオデータの補正処理を行うことによって、オーディオ信号波形を伸張して波形の歪みを解消する。
【００９０】
図１５は、補正後のオーディオデータにより形成されるオーディオ信号波形の説明図である。まず、標本データ３０９の離散時刻の値として、標本データ３０８’及び標本データ３０９’の平均値を採用する（１５０１）。そして、標本データ３１０として、標本データ３０９’を採用する（１５０２）。そして、標本データ３１１として標本データ３０９’及び標本データ３１０’の平均値を採用する（１５０３）。そして、標本データ３１２として、標本データ３１０’を採用する（１５０４）。ここで、補正対象セグメントの１つ後のセグメントはこの時点では補正処理が行われないが、ここでは説明のために、そのセグメントで後に行われる補正処理についても記述する。すなわち、上述に引き続き、標本データ３０８’として標本データ３１０’及び標本データ３１１’の平均値を採用する（１５０５）。そして、標本データ３０９’として標本データ３１１’を採用する（１５０６）。そして、標本データ３１０’として標本データ３１１’及び標本データ３１２’の平均値を採用する（１５０７）。そして、標本データ３１１’として標本データ３１２’を採用する（１５０８）。さらに、標本データ３１２’として標本データ３１２’及び標本データ３１３の平均値を採用する（１５０９）。以上のような処理は結局のところ、時間幅Δτmn,(t1+a) の波形が２回繰り返されている区間全体にわたり、その１回分の波形を２倍の時間幅に均等に伸長している処理、つまり、０.５毎の標本値を採用する形となっている。ただし、例えば時刻１.５の標本値など、指定した時刻に該当する標本値が存在しない場合は、上述のようにその前後の標本値の平均値を採用する。また、この例では、補正対象セグメントとその１つ後のセグメントにそれぞれ存在する補正区間の時間幅を、繰り返された２回の波形の１回分の時間幅と等しいとしたが、それぞれ、その時間幅に比例する長さであってもよい。このように標本データの置き換え処理を行うことによって、離散時刻ｔ1 を起点とするセグメント及び離散時刻（ｔ1 ＋ａ）を起点とするセグメントの間のオーディオデータが補正される。
【００９１】
その結果、図１５からわかるように、離散時刻(ｔ1 ＋ａ)の近傍においてオーディオ信号波形の繰り返しがなくなり、発生していた波形の歪みが解消され、オーディオ信号波形は滑らかな曲線を描く。同様に、離散時刻ｔ1 を起点とするセグメント及び離散時刻（ｔ1 −ａ）を起点とするセグメントの間の波形の歪みに対しても、音波伝播時間データバッファ１２０３に格納されているτmn,(t1-a) とτmn,t1 により算出した時間幅Δτmn,t1 を用い、上述したオーディオデータの補正処理を行う。これによって、離散時刻ｔ1 を起点とするセグメントに対し、その前後にあるセグメントとの間に発生していた波形の歪みを解消することができる。
【００９２】
次に、上述の例とは逆に、離散時刻ｔ1 から離散時刻（ｔ1 ＋ａ）の間に、仮想音源１０１＿ｎがスピーカ１０３＿ｍに近づく方向に移動したとする。その場合、音波伝播時間データτmn,(t1+a) は、音波伝播時間データτmn,t1 よりも小さくなる。したがって、(Δτmn,(t1+a) ＝τmn,(t1+a) −τmn,t1 ）であることから、時間幅Δτmn,(t1+a) は負となる。この場合、離散時刻ｔ1 を起点とするセグメント及び離散時刻（ｔ1 ＋ａ）を起点とするセグメントの間でオーディオデータが欠落する。さらに、離散時刻（ｔ1 −ａ）から離散時刻ｔ1 の間でも仮想音源１０１＿ｎがスピーカ１０３＿ｍに近づく方向に移動したとする。その場合も、音波伝播時間データτmn,t1 は、音波伝播時間データτmn,(t1-a) よりも小さくなる。したがって、(Δτmn,t1 ＝τmn,t1 −τmn,(t1-a) ）であることから、時間幅Δτmn,t1 は負となる。この場合、離散時刻（ｔ1 −ａ）を起点とするセグメント及び離散時刻ｔ1 を起点とするセグメントの間でオーディオデータが欠落する。
【００９３】
上記の場合、離散時刻ｔ1 を起点とするセグメントは、その前後のセグメント、すなわち、離散時刻（ｔ1 −ａ）を起点とするセグメント及び離散時刻（ｔ1 ＋ａ）を起点とするセグメントのいずれに対しても波形の歪みが発生する。この時点、すなわち離散時刻ｔ1においては、上述の例と同様、補正対象セグメントは離散時刻ｔ1 を起点とするセグメントである。そして、そのセグメント内の補正対象区間は、そのセグメントの１つ前のセグメントとの波形歪みを含む、時間幅Δτmn,t1 サンプル分と、そのセグメントの１つ後のセグメントとの波形歪みを含む、時間幅Δτmn,(t1+a) サンプル分の２つの区間となる。このとき、当然のことながら補正対象セグメントの前後のセグメントも対称にそれぞれ時間幅Δτmn,t1 サンプル分と時間幅Δτmn,(t1+a) サンプル分の補正対象区間が含まれているが、１つ前のセグメントは離散時刻(ｔ1 −ａ)の時点における補正処理でその区間が既に補正され、１つ後のセグメントは後に離散時刻(ｔ1 ＋ａ)の時点における補正処理においてその区間が補正されることとなる。ここで、補正対象セグメント内における上述の２箇所の補正区間について、その処理内容は同じであるため、以下では補正対象セグメントの後ろ側、すなわち１つ後のセグメントとの関係で生じた歪み波形の補正区間部分についてのみ、図を用いて説明する。
【００９４】
再び図１０を参照すると、オーディオデータの補正前においては、対象補正区間、すなわち離散時刻(ｔ1 ＋ａ−Δτmn,(t1+a) ）から離散時刻(ｔ1 ＋ａ−１)までのオーディオデータは、離散時刻ｔ1 を起点とするセグメント内の標本データ３０９、３１０、３１１、３１２をつなぎ合わせることにより得られるオーディオデータである。そして、図９に示す標本データ３１３〜３１６の４点が欠落しているため、次のセグメントの起点である標本データ３１７で波形が不連続となっている。そこで、オーディオデータの補正処理を行うことによって、オーディオ信号波形を圧縮してこの波形の歪みを解消する。図１６は、補正後のオーディオデータにより形成されるオーディオ信号波形の説明図である。まず、標本データ３０９の離散時刻の値として、標本データ３０９を採用する（１６０１）。そして、標本データ３１０の離散時刻の値として、標本データ３１０と３１１の平均値を採用する（１６０２）。そして、標本データ３１１として、標本データ３１２を採用する（１６０３）。そして、標本データ３１２として、標本データ３１３と標本データ３１４の平均値を採用する（１６０４）。ここで、補正対象セグメントの１つ後のセグメントはこの時点では補正処理が行われないが、ここでは説明のために、そのセグメントで後に行われる補正処理についても記述する。すなわち、上述に引き続き、標本データ３１７として標本データ３１５を採用する（１６０５）。そして、標本データ３１８として、標本データ３１６と標本データ３１７の平均値を採用する（１６０６）。そして、標本データ３１９として、標本データ３１８を採用する（１６０７）。そして、標本データ３２０として、標本データ３１９と標本データ３２０の平均値を採用する（１６０８）。以上のような処理は結局のところ、時間幅Δτmn,(t1+a) の波形が欠落している区間の前後それぞれ時間幅Δτmn,(t1+a) の両区間にわたり、その区間の波形に欠落部分の波形を加えた、時間幅(３×Δτmn,(t1+a) )分の波形を２／３倍の時間幅に均等に圧縮する処理、つまり１.５毎の標本値を採用する形となっている。ただし、上述と同様、例えば時刻１.５の標本値など、指定した時刻に該当する標本値が存在しない場合は、上述のようにその前後の標本値の平均値を採用する。また、この例では、欠落部分の両側に存在する補正区間の時間幅を欠落部分の時間幅と等しいとしたが、それぞれ、その時間幅に比例する長さであってもよい。さらに、ここではいずれの例も、時間幅Δτmn,t1 と時間幅Δτmn,(t1+a) は同じ符号としたが、それぞれ異なる符号であっても構わないし、値が０であっても構わない。それらの場合、その値が０であれば補正処理は行われず、また０ではない場合はその値の符号に応じて上述の例のいずれかの補正処理を行うことになる。
【００９５】
次の仮想音源１０１＿ｎに対しても同様に計算し、出力オーディオデータ重畳部１２０８は、仮想音源１０１＿ｎ毎の出力オーディオデータを重畳し、オーディオデータの合成を行う。そして、この処理をスピーカの個数分繰り返す。この例では、離散時刻ｔ1 における出力オーディオデータのセグメント内の最初の部分の補正幅は時間幅Δτmn,t1 としたが、時間幅Δτmn,t1 の倍数であってもよい。また、図１６に示すように、滑らかなオーディオ信号波形が得られれば、標本データの置き換えの方法は他の方法であってもよい。
以上のように、オーディオデータを補正することによって波形の歪みを解消した後、利得係数データに基づいた補正処理を更に行う。前述した通り、仮想音源１０１＿ｎが移動した場合、利得係数データも変化する。そこで、補正区間幅に亘って、徐々に利得係数を変化させる。補正対象セグメントの利得係数をＧ１とし、補正対象セグメントに隣接する１つ後のセグメントの利得係数をＧ２とすると、着目する補正区間内の各点での利得係数Ｇ＝ｑＧ２＋（１−ｑ）Ｇ１となる。ここでｑを補正区間内に亘って０から０.５まで変化させる。ちなみに、この１つ後のセグメント内の最初の補正区間においては、その補正処理時に、このｑをその補正区間内に亘って０.５から１まで変化させることとなる。変化のさせ方は線形でも何かの関数でもよい。これにより、波形の歪みを作ることなく利得係数を変化させることができる。
【００９６】
以上の処理を仮想音源１０１＿ｎの数及びスピーカ１０３＿ｍの数に応じて繰り返し実行することによって、仮想音源１０１＿ｎが移動した場合に発生する波形の歪みを解消することができ、それによって、波形の歪みに起因するノイズを大幅に低減することができる。
【００９７】
図１７は、実施の形態１に係るデータ処理の流れを示すフローチャートである。本データ処理は、ＣＰＵ１１１１による制御のもと、オーディオデータ処理部１１０１により実行される。オーディオデータ処理部１１０１は、まず、仮想音源１０１＿ｎの番号ｎに１を代入し、スピーカ１０３＿ｍの番号ｍに１を代入する。すなわち、１番目の仮想音源１０１＿１及び１番目のスピーカ１０３＿１を指定する（Ｓ１０）。オーディオデータ処理部１１０１は、ｎ番目の仮想音源１０１＿ｎに対するオーディオファイルをオーディオデータ格納部１１０３より入力する（Ｓ１１）。さらに、オーディオデータ処理部１１０１は、仮想音源１０１＿ｎに対応する仮想音源位置データ及びスピーカ位置データの各々を仮想音源位置データ格納部１１０４及びスピーカ位置データ格納部１１０６から入力する（Ｓ１２）。オーディオデータ処理部１１０１は、入力した仮想音源位置データ及びスピーカ位置データに基づいて、仮想音源１０１＿ｎ及びスピーカ１０３＿ｍの距離データ（｜ｒn,t −ｒm ｜）を算出する（Ｓ１３）。オーディオデータ処理部１１０１は、算出した距離データ（｜ｒn,t −ｒm ｜）に基づき、２つ前のセグメントと１つ前のセグメントそれぞれに対応する距離データ(以下、第１及び第２の距離)を比較する（Ｓ１５）。同様に、１つ前のセグメントと最新のセグメントそれぞれに対応する距離データ(以下、第２及び第３の距離)を比較する（Ｓ１８）。すなわち、Ｓ１５では、オーディオデータ処理部１１０１は、２つ前のセグメントの時点から１つ前のセグメントの時点にかけて仮想音源１０１＿ｎがスピーカ１０３＿ｍに対して移動していたか静止していたかを判定する。同様に、Ｓ１８では、１つ前のセグメントの時点から最新のセグメントの時点にかけて仮想音源１０１＿ｎがスピーカ１０３＿ｍに対して移動していたか静止していたかを判定する。
【００９８】
Ｓ１５にて第１及び第２の距離が異なると判定した場合（Ｓ１５：ＹＥＳ）、すなわち、仮想音源１０１＿ｎが移動したと判定した場合、オーディオデータ処理部１１０１は、補正対象セグメントとその１つ前のセグメントとの関係によって生じた波形の歪みの部分の特定及び補正を行う（Ｓ１６）。これに対して、第１及び第２の距離が同じと判定した場合（Ｓ１５：ＮＯ）、すなわち、仮想音源１０１＿ｎが静止していたと判定した場合には、オーディオデータ処理部１１０１は、Ｓ１８の処理に進む。Ｓ１８の詳細については後述する。次いでオーディオデータ処理部１１０１は、利得制御を行う（Ｓ１７）。次いでオーディオデータ処理部１１０１は、第２及び第３の距離についてＳ１５と同様に比較を行う（Ｓ１８）。Ｓ１８にて第２及び第３の距離が異なると判定した場合（Ｓ１８：ＹＥＳ）、すなわち、仮想音源１０１＿ｎが移動したと判定した場合、オーディオデータ処理部１１０１は、補正対象セグメントとその１つ後ろのセグメントとの関係によって生じた波形の歪みの部分の特定及び補正を行い（Ｓ１９）、利得制御を行う（Ｓ２０）。これに対して、第２及び第３の距離が同じと判定した場合（Ｓ１８：ＮＯ）、すなわち、仮想音源１０１＿ｎが静止していたと判定した場合には、オーディオデータ処理部１１０１は、Ｓ２１の処理に進む。次いでオーディオデータ処理部１１０１は、仮想音源１０１＿ｎの番号ｎに１を加算し（Ｓ２１）、仮想音源１０１＿ｎの番号ｎが最大値Ｎであるかどうかを判定する（Ｓ２２）。Ｓ２１で判定した結果、仮想音源１０１＿ｎの番号ｎが最大値Ｎでない場合（Ｓ２２：ＮＯ）には、Ｓ１１の処理に戻り、続いて、２番目の仮想音源１０１＿２及び１番目のスピーカ１０３＿１に対して、Ｓ１１〜Ｓ２１の処理を行う。これに対して、仮想音源１０１＿ｎの番号ｎが最大値Ｎである場合（Ｓ２２：ＹＥＳ）、オーディオデータの合成を行う（Ｓ２３）。次いでオーディオデータ処理部１１０１は、仮想音源１０１＿ｎの番号ｎに１を代入し（Ｓ２４）、スピーカの番号ｍに１を加算する（Ｓ２５）。次いでオーディオデータ処理部１１０１は、スピーカの番号ｍが最大値Ｍであるかどうか判定し（Ｓ２６）、スピーカの番号ｍが最大値Ｍでない場合（Ｓ２６：ＮＯ）にはＳ１１の処理に戻り、スピーカの番号ｍが最大値Ｍの場合（Ｓ２６：ＹＥＳ）には処理を終了する。
【００９９】
図１８は、波形の歪みの部分の特定及び補正の処理（図１７におけるＳ１６およびＳ１９）の流れを示すフローチャートである。この部分ではＳ１６及びＳ１９のいずれの処理から移動してくるにせよ、補正対象セグメント内に対してのみ処理を施す。Ｓ１６から移動してきた場合は、補正対象セグメントとその１つ前のセグメントとの関係によって生じた波形歪みを補正する。そして、Ｓ１９から移動してきた場合は、補正対象セグメントとその１つ後ろのセグメントとの関係によって生じた波形歪みを補正する。オーディオデータ処理部１１０１は、仮想音源１０１＿ｎがスピーカ１０３＿ｍに対して離隔していたか接近していたかを判定する（Ｓ３０）。オーディオデータ処理部１１０１は、後ろのセグメントの音波伝播時間が前のセグメントの音波伝播時間よりも増加している場合には仮想音源１０１＿ｎはスピーカ１０３＿ｍから離隔していたと判定し（Ｓ３０：離隔）、Ｓ３１の処理に進む。これに対して、オーディオデータ処理部１１０１は、後ろのセグメントの音波伝播時間が前のセグメントの音波伝播時間よりも減少している場合には仮想音源１０１＿ｎはスピーカ１０３＿ｍに接近していると判定し（Ｓ３０：接近）、Ｓ３２の処理に進み、標本データの欠落部分を特定する（Ｓ３２）。オーディオデータ処理部１１０１は、標本データの繰り返し部分を特定する（Ｓ３１）。すなわち、前述した通り、この繰り返し部分は、前のセグメント内の最後の部分及び後ろのセグメント内の最初の部分に現れる。
【０１００】
オーディオデータ処理部１１０１は、繰り返し部分に含まれる標本データを他のデータに置き換える（Ｓ３３）。図６を参照すると、もし、Ｓ１６から移動してきた場合、すなわち補正対象セグメントが後ろのセグメントである場合、標本データ３０８’として標本データ３１０’及び標本データ３１１’の平均値を採用する（１５０５）。そして、標本データ３０９’として標本データ３１１’を採用する（１５０６）。そして、標本データ３１０’として標本データ３１１’及び標本データ３１２’の平均値を採用する（１５０７）。そして、標本データ３１１’として標本データ３１２’を採用する（１５０８）。さらに、標本データ３１２’として標本データ３１２’及び標本データ３１３の平均値を採用する（１５０９）。逆に、補正対象セグメントが前のセグメントである場合、標本データ３０９の離散時刻の値として、標本データ３０８’及び標本データ３０９’の平均値を採用する（１５０１）。そして、標本データ３１０として、標本データ３０９’を採用する（１５０２）。そして、標本データ３１１として標本データ３０９’及び標本データ３１０’の平均値を採用する（１５０３）。そして、標本データ３１２として、標本データ３１０’を採用する（１５０４）。これは、一般的には、時間幅Δτmn,(t1+a) の波形が２回繰り返されている区間全体にわたり、その１回分の波形を２倍の時間幅に均等に伸長している処理、つまり、０.５毎の標本値を採用する処理となっている。ただし、例えば時刻１.５の標本値など、指定した時刻に該当する標本値が存在しない場合は、上述のようにその前後の標本値の平均値を採用する。
【０１０１】
一方、オーディオデータ処理部１１０１は、欠落部分及びその前後の部分を含む領域を圧縮し、圧縮された領域の標本データを他のデータに置き換える（Ｓ３４）。例えば、図９及び図１６を参照すると、標本データ３１７の近傍で波形が不連続となっている。もし、Ｓ１６から移動してきた場合、すなわち補正対象セグメントが後ろのセグメントである場合、標本データは３１７として標本データ３１５を採用する（１６０５）。そして、標本データ３１８として、標本データ３１６と３１７の平均値を採用する（１６０６）。そして、標本データ３１９として、標本データ３１８を採用する（１６０７）。そして、標本データ３２０として、標本データ３１９と３２０の平均値を採用する（１６０８）。逆に、Ｓ１９から移動してきた場合、すなわち補正対象セグメントが前のセグメントである場合、標本データ３１０として、標本データ３１０と３１１の平均値を採用する（１６０２）。そして、標本データ３１１として、標本データ３１２を採用する（１６０３）。そして、標本データ３１２として、標本データ３１３と標本データ３１４の平均値を採用する（１６０４）。これは、一般的には、時間幅Δτmn,(t1+a) の波形が欠落している区間の前後それぞれ時間幅Δτmn,(t1+a) の両区間にわたり、その区間の波形に欠落部分の波形を加えた、時間幅３×Δτmn,(t1+a) 分の波形を２／３倍の時間幅に均等に圧縮する処理、つまり１.５毎の標本値を採用する形となっている。ただし、上述と同様、例えば時刻１.５の標本値など、指定した時刻に該当する標本値が存在しない場合は、上述のようにその前後の標本値の平均値を採用する処理となっている。
【０１０２】
以上の処理を仮想音源１０１の数及びスピーカ１０３の数に応じて実行することによって、仮想音源１０１が移動した場合に発生する波形の歪みを解消することができ、それにより、波形の歪みに起因するノイズを大幅に低減することができる。
【０１０３】
実施の形態２
図１９は、実施の形態２に係るオーディオ装置の内部構成例を示すブロック図である。実施の形態２は、実施の形態１がオーディオ装置１１００内のＲＯＭ１１１２に記憶してあるプログラムを実行するのに対して、書き換え可能なＥＥＰＲＯＭ（ Electrically Erasable Programmable Read-Only Memory ）又は内部記憶装置２５に記憶されたプログラムを読み出して実行するようにしてある。オーディオ装置１１００は、ＥＥＰＲＯＭ２４、内部記憶装置２５及び記録媒体読込部２３を備える。ＣＰＵ１７は、記録媒体読込部２３に挿入されたＣＤ（ Compact Disk ）−ＲＯＭ又はＤＶＤ（ Digital Versatile Disk ）−ＲＯＭ等の記録媒体２３０からプログラム２３１を読み込んでＥＥＰＲＯＭ２４又は内部記憶装置２５に記憶するようにしてある。ＣＰＵ１７は、ＥＥＰＲＯＭ２４又は内部記憶装置２５に記憶したプログラム２３１をＲＡＭ１８に読み出して実行する構成となっている。
【０１０４】
本発明に係るプログラム２３１は、記録媒体２３０から読み出してＥＥＰＲＯＭ２４又は内部記憶装置２５に記憶される場合に限るものではなく、メモリカード等の外部メモリに記憶させても良い。この場合、ＣＰＵ１７に接続される図示しない外部メモリからプログラム２３１を読み出してＥＥＰＲＯＭ２４又は内部記憶装置２５に記憶させる。さらにＣＰＵ１７に接続された図示しない通信部と外部のコンピュータとの間で通信を確立し、プログラム２３１をＥＥＰＲＯＭ２４又は内部記憶装置２５へダウンロードしても良い。
【符号の説明】
【０１０５】
１０１ 仮想音源
１１００ オーディオ装置
１１０１ オーディオデータ処理部
１１０２ コンテンツ情報分離部
１１０９ 再生部
１１１０ 通信インタフェース部
１１１５ サーバ
１１１６ 放送局
【技術分野】
【０００１】
本発明は、オーディオデータ処理装置、オーディオ装置、オーディオデータ処理方法、プログラム及び当該プログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
近年、欧州を中心に波面合成技術(Wave Field Synthesis:ＷＦＳ)を基本原理とするオーディオシステムの研究が盛んに行われている（例えば、非特許文献１参照）。ＷＦＳとは、アレイ状に並べられた複数のスピーカ（以下、「スピーカアレイ」と呼ぶ。）から放射される音の波面をホイヘンスの原理に基づき合成する技術である。
【０００３】
ＷＦＳによって提供される音響空間内においてスピーカアレイと対面して音を聴いている受聴者は、実際にはスピーカアレイから放射される音が、スピーカアレイの後方に仮想的に存在する音源（以下、「仮想音源」と呼ぶ。）から放射されているかのような感覚を受ける（例えば、図１参照）。
【０００４】
ＷＦＳシステムを適用することが可能な装置としては、映画、オーディオシステム、テレビ、ＡＶラック、テレビ会議システム、テレビゲーム等がある。例えば、ディジタルコンテンツが映画の場合、俳優の存在が仮想音源という形でメディアに記録されている。したがって、会話をしながらスクリーン内を俳優が移動する場合、スクリーン内の俳優の動き方向に合わせて仮想音源をスクリーンに対して左右、前後及び任意の方向に定位させることができる。例えば特許文献１には、仮想音源を移動可能にするシステムが記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表２００７−５０２５９０号公報
【非特許文献】
【０００６】
【非特許文献１】ベルクハウト、ド ブリース、フォーゲル（A. J. Berkhout, D. de Vries, and P. Vogel）著、「アコースティック コントロール バイ ウェーブフィールド シンセシス (Acoustic control by wave field synthesis)」（オランダ）、第９３（５）版、ジャーナル・オブ・ジ・アコースティカル・ソサイエティ・オブ・アメリカ(J. Acoust. Soc)、１９９３年５月、ｐ.２７６４−２７７８
【発明の概要】
【発明が解決しようとする課題】
【０００７】
音波の発生源である音源及び受聴者の相対的な速度によって音波の周波数が異なって観測される物理現象としてドップラー効果が知られている。ドップラー効果によると、音波の発生源である音源が受聴者に近付く場合には音波の振動が詰められて周波数が高くなり、逆に観測者から遠ざかる場合には音波の振動が伸ばされて低くなる。これは、音源が移動しても音源から到達する音波の波の数は変わらないことを意味する。しかし、非特許文献１に記載のものは、仮想音源は動かずに固定されていることを前提としており、仮想音源の移動に伴って発生するドップラー効果に対しては検討がなされていない。そのため、仮想音源をスピーカから遠ざかる方向に移動させる場合又は近づく方向に移動させる場合に、スピーカが発する音の基となるオーディオ信号の波の数が変化し、その波の数の変化により波形に歪みが生ずる。波形に歪みが発生すると受聴者はそれをノイズとして知覚するため、波形の歪みを解消する手段を講ずる必要がある。尚、波形の歪みの詳細については後述する。
【０００８】
一方、特許文献１に記載のものは、仮想音源の移動に伴って発生するドップラー効果を考慮し、オーディオ信号の基となるオーディオデータ内のあるセグメント内の適当な標本データからその次のセグメント内の適当な標本データまでの範囲のオーディオデータに対する重み係数を変化させることによって、その範囲のオーディオデータを補正する方法である。ここで、「セグメント」とは、オーディオデータの処理単位である。オーディオデータを補正することによってオーディオ信号波形の極端な歪みはある程度解消され、波形の歪みによって発生するノイズを低減することができる。しかし、特許文献１に記載のものは、単純にオーディオデータの平滑化を試みているだけである。すなわち、特許文献１に記載のものは、仮想音源のスピーカに対する接近及び離隔に応じて波形の歪みを特定し当該特定された波形の歪みに応じて異なる補正を行うものではない。このことから、特許文献１に記載のものは、波形の歪みが残される場合が多く、そのため、波形の歪みに起因するノイズを回避するという効果を十分に得られないという課題を有する。
【０００９】
本発明はかかる課題に鑑みてなされたものであり、仮想音源のスピーカに対する接近及び離隔に応じて波形の歪みの場所を特定し、波形の歪みに応じて異なる補正を行うことによって、仮想音源を移動させる場合に発生する波形の歪みを解消し、ひいては、波形の歪みに起因するノイズを回避するオーディオデータ処理装置等を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明のオーディオデータ処理装置は、移動する仮想音源が発する音に対応するオーディオデータ、該仮想音源の位置及び前記オーディオデータに基づき音を放射するスピーカの位置を入力し、前記仮想音源の位置及び前記スピーカの位置に基づいて前記オーディオデータを補正するオーディオデータ処理装置において、相前後する時点での前記スピーカの位置から前記仮想音源の位置までそれぞれの第１及び第２の距離を算出する算出手段と、前記第１及び第２の距離を比較する比較手段と、比較の結果、前記第１及び第２の距離が異なる場合、前後の時点における前記オーディオデータにある歪みの部分を特定する特定手段と、前記仮想音源の前記スピーカに対する接近及び離隔に応じて、特定された部分の前記オーディオデータに対して異なる補正を行う補正手段とを備えることを特徴とする。
【００１１】
本発明のオーディオデータ処理装置において、前記オーディオデータは標本データを含み、前記特定手段は、前記仮想音源の前記スピーカに対する離隔に起因する標本データの繰り返し部分を特定し、前記補正手段は、特定された前記繰り返し部分に対して補正を行う第１の補正手段を備えることを特徴とする。
【００１２】
本発明のオーディオデータ処理装置において、前記オーディオデータは標本データを含み、前記特定手段は、前記仮想音源の前記スピーカに対する接近に起因する標本データの欠落部分を特定し、前記補正手段は、特定された前記欠落部分を挟む前後の部分に対して補正を行う第２の補正手段を備えることを特徴とする。
【００１３】
本発明のオーディオデータ処理装置において、前記オーディオデータは標本データを含み、前記特定手段は、前記仮想音源の前記スピーカに対する接近及び離隔に起因する標本データの繰り返し部分又は標本データの欠落部分を特定し、前記補正手段は、特定された前記繰り返し部分に対して補正を行う第１の補正手段と、特定された前記欠落部分を挟む前後の部分に対して補正を行う第２の補正手段とを備えることを特徴とする。
【００１４】
本発明のオーディオデータ処理装置において、前記補正を行う部分は、前記第１及び第２の距離を音波が伝播する時間幅の差、又は、前記差に比例する時間幅であることを特徴とする。
【００１５】
本発明のオーディオデータ処理装置において、前記第１の補正手段は、特定された前記繰り返し部分に含まれる標本データを、該標本データにより形成される２つの波形の内の１つの波形を２倍の時間幅に均等に伸張することにより得られる標本データに置き換えることを特徴とする。
【００１６】
本発明のオーディオデータ処理装置において、前記第２の補正手段は、特定された前記欠落部分及び該欠落部分の前後の部分に含まれる標本データを、該標本データにより形成される波形を２／３倍の時間幅に均等に圧縮することにより得られる標本データに置き換えることを特徴とする。
【００１７】
本発明のオーディオデータ処理装置において、前記補正手段により補正が行われたオーディオデータに対して利得制御を行う手段を更に備えることを特徴とする。
【００１８】
本発明のオーディオデータ処理装置において、前記仮想音源の数は１つ又は複数であることを特徴とする。
【００１９】
本発明のオーディオ装置は、移動する仮想音源が発する音に対応するオーディオデータ、該仮想音源の位置及び前記オーディオデータに基づき音を放射するスピーカの位置を用い、前記仮想音源の位置及び前記スピーカの位置に基づいて前記オーディオデータを補正するオーディオ装置において、前記オーディオデータ及び前記仮想音源の位置を含むディジタルコンテンツを入力するディジタルコンテンツ入力部と、前記ディジタルコンテンツ入力部が入力したディジタルコンテンツを解析し、該ディジタルコンテンツに含まれるオーディオデータ及び仮想音源の位置のデータを分離するコンテンツ情報分離部と、前記コンテンツ情報分離部が分離した仮想音源の位置のデータ及び前記スピーカの位置のデータに基づいて、前記コンテンツ情報分離部が分離したオーディデータを補正するオーディオデータ処理部と、補正されたオーディオデータに基づき前記スピーカへのオーディオ信号を生成するオーディオ信号生成手段とを備え、前記オーディオデータ処理部は、相前後する時点での前記スピーカの位置から前記仮想音源の位置までそれぞれの第１及び第２の距離を算出する手段と、前記第１及び第２の距離を比較する手段と、比較の結果、前記第１及び第２の距離が異なる場合、前後の時点における前記オーディオデータにある歪みの部分を特定する手段と、前記仮想音源の前記スピーカに対する接近及び離隔に応じて、特定された部分の前記オーディオデータに対して異なる補正を行う手段とを備えることを特徴とする。
【００２０】
本発明のオーディオ装置において、前記ディジタルコンテンツ入力部は、ディジタルコンテンツを格納する記録媒体、ネットワークを介してディジタルコンテンツを配信するサーバ又はディジタルコンテンツを放送する放送局からディジタルコンテンツを入力することを特徴とする。
【００２１】
本発明のオーディオデータ処理方法は、移動する仮想音源が発する音に対応するオーディオデータ、該仮想音源の位置及び前記オーディオデータに基づき音を放射するスピーカの位置を入力し、前記仮想音源の位置及び前記スピーカの位置に基づいて前記オーディオデータを補正するオーディオデータ処理装置におけるオーディオデータ処理方法において、相前後する時点での前記スピーカの位置から前記仮想音源の位置までそれぞれの第１及び第２の距離を算出するステップと、前記第１及び第２の距離を比較するステップと、比較の結果、前記第１及び第２の距離が異なる場合、前後の時点における前記オーディオデータにある歪みの部分を特定するステップと、前記仮想音源の前記スピーカに対する接近及び離隔に応じて、特定された部分の前記オーディオデータに対して異なる補正を行うステップとを含むことを特徴とする。
【００２２】
本発明のプログラムは、移動する仮想音源が発する音に対応するオーディオデータ、該仮想音源の位置及び前記オーディオデータに基づき音を放射するスピーカの位置を入力し、前記仮想音源の位置及び前記スピーカの位置に基づいて前記オーディオデータを補正させるプログラムにおいて、コンピュータに、相前後する時点での前記スピーカの位置から前記仮想音源の位置までそれぞれの第１及び第２の距離を算出するステップと、前記第１及び第２の距離を比較するステップと、比較の結果、前記第１及び第２の距離が異なる場合、前後の時点における前記オーディオデータにある歪みの部分を特定するステップと、前記仮想音源の前記スピーカに対する接近及び離隔に応じて、特定された部分の前記オーディオデータに対して異なる補正を行うステップとを実行させることを特徴とする。
【００２３】
本発明の記録媒体は、前述に記載のプログラムを記録したことを特徴とする。
【００２４】
本発明のオーディオデータ処理装置にあっては、第１及び第２の距離が異なる場合、前後の時点におけるオーディオデータにある歪みの部分を特定し、仮想音源のスピーカに対する接近及び離隔に応じて、特定された部分のオーディオデータに対して異なる補正を行うため、仮想音源を移動させることによって発生する波形の歪みを解消することができる。
【００２５】
本発明のオーディオデータ処理装置にあっては、仮想音源のスピーカに対する離隔に起因する標本データの繰り返し部分に対して補正を行うため、仮想音源をスピーカに対して離隔させる場合に発生する波形の歪みを解消することができる。
【００２６】
本発明のオーディオデータ処理装置にあっては、仮想音源のスピーカに対する接近に起因する標本データの欠落部分に対して補正を行うため、仮想音源をスピーカに対して接近させる場合に発生する波形の歪みを解消することができる。
【００２７】
本発明のオーディオデータ処理装置にあっては、仮想音源のスピーカに対する接近及び離隔に起因する標本データの繰り返し部分及び標本データの欠落部分に対して補正を行うため、仮想音源をスピーカに対して離隔及び接近させる場合に発生する波形の歪みを解消することができる。
【００２８】
本発明のオーディオデータ処理装置にあっては、上記の補正がされた標本データに対して更に利得制御による補正を行うため、仮想音源のスピーカに対する接近及び離隔に起因する波形の歪みを補正することができる。
【００２９】
本発明のオーディオ装置にあっては、第１及び第２の距離が異なる場合、前後の時点におけるオーディオデータにある歪みの部分を特定し、仮想音源のスピーカに対する接近及び離隔に応じて、特定された部分のオーディオデータに対して異なる補正を行うため、仮想音源を移動させることによって発生する波形の歪みが解消されたオーディオ信号を出力することができる。
【００３０】
本発明のオーディオデータ処理方法にあっては、第１及び第２の距離が異なる場合、前後の時点におけるオーディオデータにある歪みの部分を特定し、仮想音源のスピーカに対する接近及び離隔に応じて、特定された部分のオーディオデータに対して異なる補正を行うため、仮想音源を移動させることによって発生する波形の歪みを解消することができる。
【００３１】
本発明のプログラムにあっては、第１及び第２の距離が異なる場合、前後の時点におけるオーディオデータにある歪みの部分を特定し、仮想音源のスピーカに対する接近及び離隔に応じて、特定された部分のオーディオデータに対して異なる補正を行うため、仮想音源を移動させることによって発生する波形の歪みを解消することができる。
【００３２】
本発明のコンピュータ読み取り可能な記録媒体にあっては、第１及び第２の距離が異なる場合、前後の時点におけるオーディオデータにある歪みの部分を特定し、仮想音源のスピーカに対する接近及び離隔に応じて、特定された部分のオーディオデータに対して異なる補正を行うため、仮想音源を移動させることによって発生する波形の歪みを解消することができる。
【発明の効果】
【００３３】
本発明に係るオーディオデータ処理装置等によれば、仮想音源を移動させる際にオーディオデータを補正するため、仮想音源の移動によって発生する波形の歪みが解消され、ひいては、波形の歪みに起因するノイズを回避することができる。
【図面の簡単な説明】
【００３４】
【図１】ＷＦＳにより提供される音響空間の一例の説明図である。
【図２】オーディオ信号を一般的に説明する説明図である。
【図３】オーディオデータにより形成されるオーディオ信号波形の一部の説明図である。
【図４】第１のセグメント内のオーディオデータにより形成されるオーディオ信号波形の一例の説明図である。
【図５】第２のセグメント内のオーディオデータにより形成されるオーディオ信号波形の一例の説明図である。
【図６】図４に示すオーディオデータにより形成されるオーディオ信号波形及び図５に示すオーディオデータにより形成されるオーディオ信号波形を結合したオーディオ信号波形の一例の説明図である。
【図７】第１のセグメント内のオーディオデータにより形成されるオーディオ信号波形の一例の説明図である。
【図８】第２のセグメント内のオーディオデータにより形成されるオーディオ信号波形の一例の説明図である。
【図９】第１のセグメント内の最初の部分のオーディオデータにより形成されるオーディオ信号波形及び第２のセグメント内の最後の部分のオーディオデータにより形成されるオーディオ信号波形の間に４点分の欠落部分が発生している状態を示す説明図である。
【図１０】図７に示すオーディオデータにより形成されるオーディオ信号波形及び図８に示すオーディオデータにより形成されるオーディオ信号波形を結合したオーディオ信号波形の一例の説明図である。
【図１１】実施の形態１に係るオーディオデータ処理部を備えるオーディオ装置の構成例を示すブロック図である。
【図１２】実施の形態１に係るオーディオデータ処理部の内部構成例を示すブロック図である。
【図１３】入力オーディオデータバッファの一構成例の説明図である。
【図１４】音波伝播時間データバッファの一構成例の説明図である。
【図１５】補正後のオーディオデータにより形成されるオーディオ信号波形の説明図である。
【図１６】補正後のオーディオデータにより形成されるオーディオ信号波形の説明図である。
【図１７】実施の形態１に係るデータ処理の流れを示すフローチャートである。
【図１８】波形の歪みの部分の特定及び補正の処理の流れを示すフローチャートである。
【図１９】実施の形態２に係るオーディオ装置の内部構成例を示すブロック図である。
【発明を実施するための形態】
【００３５】
実施の形態１
まず始めに、ＷＦＳにより提供される音響空間内で仮想音源が移動しないことを前提とした演算モデル及び仮想音源の移動を考慮した演算モデルについて説明し、次いで、実施の形態の説明に移る。
【００３６】
図１は、ＷＦＳにより提供される音響空間の一例の説明図である。図１に示す音響空間には、Ｍ個のスピーカ１０３＿１〜１０３＿Ｍから構成されるスピーカアレイ１０３及びスピーカアレイ１０３と対面して音を聴いている受聴者１０２が存在する。この音響空間においては、Ｍ個のスピーカ１０３＿１〜１０３＿Ｍから放射される音の波面はホイヘンスの原理に基づいて波面合成され、合成波面１０４として音響空間内を伝わる。このとき、受聴者１０２は、実際にはスピーカアレイ１０３から放射される音が、スピーカアレイ１０３の後方に定位された実際には存在しないＮ個の仮想音源１０１＿１〜１０１＿Ｎから放射されているかのような感覚を受ける。仮想音源１０１＿１〜１０１＿Ｎを総称して仮想音源１０１と呼ぶ。
【００３７】
一方、図２は、オーディオ信号を一般的に説明する説明図である。オーディオ信号を理論的に取り扱うとき、一般的には、オーディオ信号は、連続信号Ｓ（ｔ）として表現される。図２（ａ）は連続信号Ｓ（ｔ）を示し、（ｂ）はサンプリング間隔Δｔのインパルス列を示し、（ｃ）は連続信号Ｓ（ｔ）がサンプリング間隔Δｔで標本化されかつ量子化されたデータｓ（ｂΔｔ）を示す図である（ただし、ｂ＝正の整数）。例えば、図２（ａ）に示すように、連続信号Ｓ（ｔ）は、時間ｔの軸でも、振幅Ｓの軸でも連続である。標本化は、連続信号Ｓ（ｔ）から時間的に離散的な信号を得ることを目的とする。これは、連続信号Ｓ（ｔ）を離散的な時刻ｂΔｔにおけるデータｓ（ｂΔｔ）で表現しようとするものである。理論的には標本化間隔は可変でもよいが、一定間隔にするほうが実際的である。標本化及び量子化操作は、サンプリング間隔をΔｔとすると、図２（ｃ）に示すように、連続信号Ｓ（ｔ）を間隔Δｔのインパルス列（図２（ｂ））で打ち抜き、それらを量子化することにより行われる。尚、以後の説明においては、量子化されたデータｓ（ｂΔｔ）のことを「標本データ」と呼ぶ。
【００３８】
本演算モデルでは、スピーカアレイ１０３に含まれるｍ番目のスピーカ（以下、「スピーカ１０３＿ｍ」と呼ぶ。）に与えるオーディオ信号の時刻ｔにおける標本データを生成する。ここでは、図１に示したとおり、仮想音源１０１の数はＮであり、スピーカアレイ１０３を構成するスピーカの台数はＭであるとする。
【００３９】
【数１】
【００４０】
但し、
ｑn （ｔ）：Ｎ個の仮想音源１０１の内のｎ番目の仮想音源（以下、「仮想音源１０１＿ｎ」と呼ぶ。）から放射されて、Ｍ個の内のスピーカ１０３＿ｍに到達した音波の離散時刻ｔにおける標本データ
ｌm （ｔ）：スピーカ１０３＿ｍに与えるオーディオ信号の離散時刻ｔにおける標本データ
【００４１】
【数２】
【００４２】
但し、
Ｇn ：仮想音源１０１＿ｎに対する利得係数
ｓn （ｔ）：仮想音源１０１＿ｎに与えるオーディオ信号の離散時刻ｔにおける標本データ
τmn：仮想音源１０１＿ｎの位置及びスピーカ１０３＿ｍの位置の間の距離に起因する音波伝播時間の分のサンプル数
【００４３】
【数３】
【００４４】
但し、
ｗ：重み定数
ｒn ：仮想音源１０１＿ｎの位置ベクトル（固定値）
ｒm ：スピーカ１０３＿ｍの位置ベクトル（固定値）
【００４５】
【数４】
【００４６】
ここで、フロア記号とは、「与えられた値を超えない整数のうち、最大のもの」を示す。数式（３）及び（４）からわかるように、本演算モデルにおいては、仮想音源１０１＿ｎに対する利得係数Ｇn は、仮想音源１０１＿ｎからスピーカ１０３＿ｍまでの距離の平方根に反比例する。これは、スピーカ１０３＿ｍの集合を線音源としてモデル化しているからである。一方、τmnは、仮想音源１０１＿ｎからスピーカ１０３＿ｍまでの距離に比例する。
【００４７】
上記の数式（１）から（４）は、仮想音源１０１＿ｎが移動せずに、ある位置に静止している状態を前提としている。しかし、現実世界においては、人は歩きながら会話を行い、自動車はエンジン音を鳴らして走行する。つまり、現実世界では音源は静止している場合もあれば、移動する場合もある。したがって、そのような場合に対処するため、音源が移動する場合を考慮した新たな演算モデル（実施の形態に係る演算モデル）を導入する。以下、新たな演算モデルについて説明する。
【００４８】
仮想音源１０１＿ｎが移動する場合を考慮すると、数式（２）から（４）は、以下に示す数式（５）から（７）に置き換えられる。
【００４９】
【数５】
【００５０】
但し、
Ｇn,t ：離散時刻ｔにおける仮想音源１０１＿ｎに対する利得係数
τmn,t：離散時刻ｔにおける仮想音源１０１＿ｎ及びスピーカ１０３＿ｍの間の距離に起因する音波伝播時間の分のサンプル数
【００５１】
【数６】
【００５２】
但し、
ｒn,t ：離散時刻ｔにおける仮想音源１０１＿ｎの位置ベクトル
【００５３】
【数７】
【００５４】
仮想音源１０１＿ｎは移動しているため、数式（５）から（７）からわかるように、仮想音源１０１＿ｎに対する利得係数、仮想音源１０１＿ｎの位置及び音波伝播時間はいずれも離散時刻ｔに応じて変動する。
【００５５】
オーディオデータは通常セグメント単位で信号処理されるのが一般的である。「セグメント」とは、オーディオデータの処理単位であり「フレーム」とも呼ばれる。１セグメントは、例えば、２５６個の標本データ又は５１２個の標本データから構成される。よって数式（１）のｌm （ｔ）（スピーカ１０３＿ｍに与えるオーディオ信号の離散時刻ｔにおける標本データ）は、セグメント単位で算出される。そこで、本演算モデルでは、離散時刻ｔにおいて算出されるスピーカ１０３＿ｍに与えるオーディオ信号を形成するオーディオデータのセグメントをベクトルとし、Ｌm,t と表す。その場合、Ｌm,t は、離散時刻ｔ−ａ＋１から離散時刻ｔまでの１セグメント内に含まれるａ個の標本データ（例えば、２５６個、５１２個等の標本データ）から構成されるベクトルデータであり、数式（８）で表される。
【００５６】
【数８】
【００５７】
オーディオデータがセグメント単位で処理されることに伴いｒn,t もセグメント毎に求められるのが実際的である。ただし、ｒn の更新の頻度は必ずしもセグメント単位と一致していなくてもよい。そして、離散時刻ｔ0 における仮想音源位置ｒn,t0及び離散時刻（ｔ0 −ａ）における仮想音源位置ｒn,t0-aを比較することにより、仮想音源位置ｒn,t0は、離散時刻（ｔ0 −ａ）から離散時刻ｔ0 の間に仮想音源１０１＿ｎが移動した距離だけ変化したことになる。ここで、仮想音源１０１＿ｎがスピーカ１０３＿ｍから遠ざかる方向に移動（仮想音源１０１＿ｎがスピーカ１０３＿ｍに対して離隔）する場合及び近づく方向に移動（仮想音源１０１＿ｎがスピーカ１０３＿ｍに対して接近）する場合を説明する。
【００５８】
Ｇn,t 及びτmn,tもまた、離散時刻（ｔ0 −ａ）から離散時刻ｔ0 の間に仮想音源１０１＿ｎが移動した距離に応じて変動する。以下に示す数式（９）及び（１０）は、離散時刻（ｔ0 −ａ）から離散時刻ｔ0 の間に仮想音源１０１＿ｎが移動した距離に応じて変動する利得係数の変動量及び音波伝播時間分のサンプル数の変動量を表す。例えば、ΔＧn,t0は、離散時刻ｔ0 における利得係数の、離散時刻（ｔ0 −ａ）における利得係数からの変動量を表し、Δτmn,t0 は、離散時刻ｔ0 における音波伝播時間分のサンプル数の、離散時刻（ｔ0 −ａ）における音波伝播時間分のサンプル数からの変動量（「時間幅」とも呼ぶ）を表す。これらの変動量は、仮想音源が離散時刻（ｔ0 −ａ）から離散時刻ｔ0 にかけて移動した場合、仮想音源１０１＿ｎが移動する方向に応じて正の値又は負の値のいずれか一方をとる。
【００５９】
【数９】
【００６０】
【数１０】
【００６１】
仮想音源１０１＿ｎがスピーカ１０３＿ｍから遠ざかる又は近づくことによって、ΔＧn,t0及び時間幅Δτmn,t0 が生じるため、離散時刻ｔ0 において波形の歪みが発生する。ここで、「波形の歪み」が発生した状態とは、オーディオ信号波形が連続的に変化するのではなく、受聴者がその部分をノイズとして知覚するほど不連続に変化した状態を意味する。
【００６２】
例えば、仮想音源１０１＿ｎがスピーカ１０３＿ｍから遠ざかる方向に移動することによって音波伝播時間が増加した場合、すなわち、時間幅Δτmn,t0 が正である場合、離散時刻ｔ0 を起点とするセグメントの最初の部分に、その１つ前のセグメント内の最後の部分のオーディオデータが時間幅Δτmn,t0 だけ再度現れる。以下、離散時刻ｔ0 を起点とするセグメントの１つ前のセグメントを第１のセグメントと呼び、離散時刻ｔ0 を起点とするセグメントを第２のセグメントと呼ぶ。その結果、波形に歪みが生ずる。
【００６３】
一方、仮想音源１０１＿ｎがスピーカ１０３＿ｍに近づく方向に移動することによって音波伝播時間が減少した場合、すなわち、時間幅Δτmn,t0 が負である場合、第１のセグメント内の最後の部分のオーディオデータ及び第２のセグメント内の最初の部分のオーディオデータの間に時間幅Δτmn,t0 だけ欠落が生じる。その結果、オーディオ信号波形に不連続点が生じる。これもまた波形の歪みである。以下、波形の歪みの具体例を、図面を用いて説明する。
【００６４】
図３は、オーディオデータにより形成されるオーディオ信号波形の一部の説明図である。図３に示すオーディオデータは、標本データ３０１〜標本データ３２８の計２８個の標本データによって表されるとする。以下、図３に示すオーディオ信号を基にして、仮想音源１０１＿ｎがスピーカ１０３＿ｍから遠ざかる方向に移動する場合及び近づく方向に移動する場合において波形の歪みが発生する理由を説明する。
【００６５】
まず、仮想音源１０１＿ｎがスピーカ１０３＿ｍから遠ざかる方向に移動することによって仮想音源１０１＿ｎの位置およびスピーカ１０３＿ｍの位置の間の距離に対する音波伝播時間が増加する場合、すなわち、時間幅Δτmn,t0 が正の場合について説明する。図４は、第１のセグメント内のオーディオデータにより形成されるオーディオ信号波形の一例の説明図である。第１のセグメントの最後の部分には、標本データ３０１〜３１２が含まれる。図５は、第２のセグメント内のオーディオデータにより形成されるオーディオ信号波形の一例の説明図である。第２のセグメントの最初の部分には、標本データ３０８’〜３１８が含まれる。
【００６６】
本例では、仮想音源１０１＿ｎがスピーカ１０３＿ｍから遠ざかる方向に移動することによって、第２のセグメントにおける仮想音源１０１＿ｎからスピーカ１０３＿ｍまでの距離に対する音波伝播時間分のサンプル数が第１のセグメントにおける仮想音源１０１＿ｎからスピーカ１０３＿ｍまでの距離に対する音波伝播時間分のサンプル数よりも例えば５（＝Δτmn,t）点の分だけ増加したとする。音波伝播時間が増加した結果、図４に示す第１のセグメント内の最後の部分の標本データ３０８，３０９，３１０，３１１，３１２が、図５に示す第２のセグメント内の最初の部分に、標本データ３０８’，３０９’,３１０’，３１１’，３１２’として再び現れる。そのため、図４に示すオーディオデータにより形成されるオーディオ信号波形及び図５に示すオーディオデータにより形成されるオーディオ信号波形が結合されると結合部分に波形の歪みが発生する。図６は、図４に示すオーディオデータにより形成されるオーディオ信号波形及び図５に示すオーディオデータにより形成されるオーディオ信号波形を結合したオーディオ信号波形の一例の説明図である。図６から、標本データ３０８’の近傍においてオーディオデータが不連続となり、波形の歪みが発生していることがわかる。この波形の歪みは、ノイズとして受聴者に知覚される。
【００６７】
これとは逆に、仮想音源１０１＿ｎがスピーカ１０３＿ｍに近づく方向に移動することによって音波伝播時間が減少する場合、すなわち、時間幅Δτmn,t0 が負の場合について説明する。図７は、第１のセグメント内のオーディオデータにより形成されるオーディオ信号波形の一例の説明図である。第１のセグメントの最後の部分には、標本データ３０１〜３１２が含まれる。その内容は、図５に示したものと同じである。図８は、第２のセグメント内のオーディオデータにより形成されるオーディオ信号波形の一例の説明図である。第２のセグメントの最初の部分には、標本データ３１７〜３２８が含まれる。本例では、仮想音源１０１＿ｎがスピーカ１０３＿ｍに近づく方向に移動することによって、第２のセグメントにおける仮想音源１０１＿ｎからスピーカ１０３＿ｍまでの距離に対する音波伝播時間分のサンプル数が第１のセグメントにおける仮想音源１０１＿ｎからスピーカ１０３＿ｍまでの距離に対する音波伝播時間分のサンプル数よりも例えば４（＝Δτmn,t）点の分だけ減少したとする。図９は、第１のセグメント内の最初の部分のオーディオデータにより形成されるオーディオ信号波形及び第２のセグメント内の最後の部分のオーディオデータにより形成されるオーディオ信号波形の間に４点分の欠落部分が発生している状態を示す説明図である。音波伝播時間が減少した結果、図９に示すように、第１のセグメント内の最後の部分のオーディオデータにより形成されるオーディオ信号波形及び第２のセグメント内の最初の部分のオーディオデータにより形成されるオーディオ信号波形の間に４点分（標本データ３１３〜３１６）の欠落部分が生じる。そのため、図７に示すオーディオデータにより形成されるオーディオ信号波形及び図８に示すオーディオデータにより形成されるオーディオ信号波形を結合すると結合部分に波形の歪みが発生する。図１０は、図７に示すオーディオデータにより形成されるオーディオ信号波形及び図８に示すオーディオデータにより形成されるオーディオ信号波形を結合したオーディオ信号波形の一例の説明図である。図１０からわかるように、標本データ３１７の近傍においてオーディオデータが不連続となり、波形の歪みが発生している。この波形の歪みも同様にノイズとして受聴者に知覚される。
【００６８】
以上、仮想音源１０１＿ｎが移動することによって波形の歪みが発生する理由を説明した。次いで、オーディオデータを補正することによって波形の歪みを解消する本発明に係わる実施の形態を、図面を参照して具体的に説明する。
【００６９】
図１１は、実施の形態１に係るオーディオデータ処理部を備えるオーディオ装置の構成例を示すブロック図である。オーディオ装置１１００は、実施の形態１に係るオーディオデータ処理部１１０１、コンテンツ情報分離部１１０２、オーディオデータ格納部１１０３、仮想音源位置データ格納部１１０４、スピーカ位置データ入力部１１０５、スピーカ位置データ格納部１１０６、Ｄ／Ａ変換部１１０７、Ｍ個の増幅器１１０８＿１〜１１０８＿Ｍ、再生部１１０９及び通信インタフェース部１１１０を備える。オーディオ装置１１００は、上記各部を統括的に制御するＣＰＵ(Central Processing Unit)１１１１、ＣＰＵ１１１１が実行するコンピュータプログラムを格納するＲＯＭ(Read-Only Memory)１１１２及びコンピュータプログラムの実行中に処理するデータや変数等を格納すＲＡＭ(Random-Access Memory)１１１３を更に備える。オーディオ装置１１００は、スピーカアレイ１０３に補正後のオーディオデータに対応するオーディオ信号を出力する。
【００７０】
再生部１１０９は、ディジタルコンテンツ（映画、コンピュータゲーム、ミュージックビデオ等）を格納する記録媒体１１１７から当該ディジタルコンテンツを読み出し、コンテンツ情報分離部１１０２に出力する。記録媒体１１１７は、例えば、ＣＤ−Ｒ(Compact Disc Recordable)、ＤＶＤ(Digital Versatile Disk)、ブルーレイ・ディスク(Blu-ray Disk,登録商標)である。ディジタルコンテンツには、仮想音源１０１＿１〜１０１＿Ｎの各々に対応する複数のオーディオデータのファイル及び仮想音源１０１＿１〜１０１＿Ｎに対応する仮想音源位置データが関連付けて記録されている。
【００７１】
通信インタフェース部１１１０は、インターネット１１１４等の通信ネットワークを介してディジタルコンテンツを配信するサーバ１１１５からディジタルコンテンツを取得し、コンテンツ情報分離部１１０２に出力する。また、通信インタフェース部１１１０は、アンテナ又はチューナ等の機器（図示せず）を備え、放送局１１１６が放送する番組を受信し、それをディジタルコンテンツとしてコンテンツ情報分離部１１０２に出力する。
【００７２】
コンテンツ情報分離部１１０２は、再生部１１０９又は通信インタフェース部１１１０からディジタルコンテンツを取得し、当該ディジタルコンテンツを解析し、当該ディジタルコンテンツからオーディオデータ及び仮想音源位置データを分離する。次いで、コンテンツ情報分離部１１０２は、分離したオーディオデータ及び仮想音源位置データの各々をオーディオデータ格納部１１０３及び仮想音源位置データ格納部１１０４に出力する。仮想音源位置データとは、例えば、ディジタルコンテンツがミュージックビデオである場合、当該ビデオ画面に映し出されるシンガーや複数の楽器の相対的位置に対応する位置データである。仮想音源位置データは、オーディオデータと共にディジタルコンテンツ内に格納されている。
【００７３】
オーディオデータ格納部１１０３は、コンテンツ情報分離部１１０２から取得したオーディオデータを格納し、仮想音源位置データ格納部１１０４は、コンテンツ情報分離部１１０２から取得した仮想音源位置データを格納する。スピーカ位置データ格納部１１０６は、スピーカアレイ１０３の各々のスピーカ１０３＿１〜１０３＿Ｍが配置されている音響空間内の位置を示すスピーカ位置データをスピーカ位置データ入力部１１０５から取得し、格納する。スピーカ位置データは、スピーカアレイ１０３を構成するスピーカ１０３＿１〜１０３＿Ｍの各々の位置に基づいてユーザによって設定される情報である。当該情報は、例えば、音響空間内のオーディオ装置に対して固定されている１平面内（Ｘ−Ｙ座標系）における座標によって表される。ユーザは、スピーカ位置データ入力部１１０５を操作してスピーカ位置データをスピーカ位置データ格納部１１０６に格納する。実装上の制約からスピーカアレイ１０３の配置が予め決められている場合には、スピーカ位置データは固定値として設定される。一方、ユーザがスピーカアレイ１０３の配置をある程度自由に決めることができる場合には、スピーカ位置データは可変値として設定される。
【００７４】
オーディオデータ処理部１１０１は、仮想音源１０１＿１〜１０１＿Ｎの各々に対応するオーディオファイルをオーディオデータ格納部１１０３から読み出す。また、オーディオデータ処理部１１０１は、各仮想音源１０１＿１〜１０１＿Ｎに対応する仮想音源位置データを仮想音源位置データ格納部１１０４から読み出す。さらに、オーディオデータ処理部１１０１は、スピーカアレイ１０３の各スピーカ１０３＿１〜１０３＿Ｍに対応するスピーカ位置データをスピーカ位置データ格納部１１０６から読み出す。オーディオデータ処理部１１０１は、読み出した仮想音源位置データ及びスピーカ位置データに基づいて、読み出したオーディオデータに対して実施の形態に係わる処理を行う。すなわち、オーディオデータ処理部１１０１は、仮想音源１０１＿１〜１０１＿Ｎの移動を考慮した上述の演算モデルに基づいた演算処理を行うことによってスピーカ１０３＿１〜１０３＿Ｍに与えるオーディオ信号を形成するオーディオデータを生成する。オーディオデータ処理部１１０１が生成したオーディオデータは、Ｄ／Ａ変換部１１０７によりオーディオ信号として出力され、増幅部１１０８＿１〜１１０８＿Ｍを介して、スピーカ１０３＿１〜１０３＿Ｍに出力される。スピーカ１０３＿１〜１０３＿Ｍは、このオーディオ信号に基づいて音を生成し、音響空間に放射する。
【００７５】
図１２は、実施の形態１に係るオーディオデータ処理部１１０１の内部構成例を示すブロック図である。オーディオデータ処理部１１０１は、距離データ算出部１２０１、音波伝播時間データ算出部１２０２、音波伝播時間データバッファ１２０３、利得係数データ算出部１２０４、利得係数データバッファ１２０５、入力オーディオデータバッファ１２０６、出力オーディオデータ生成部１２０７及び出力オーディオデータ重畳部１２０８を備える。距離データ算出部１２０１は、仮想音源位置データ格納部１１０４及びスピーカ位置データ格納部１１０６に接続される。入力オーディオデータバッファ１２０６は、オーディオデータ格納部１１０３に接続される。出力オーディオデータ重畳部１２０８は、Ｄ／Ａ変換部１１０７に接続される。
【００７６】
距離データ算出部１２０１は、仮想音源位置データ格納部１１０４及びスピーカ位置データ格納部１１０６から仮想音源位置データ及びスピーカ位置データを取得し、それらに基づき仮想音源１０１＿ｎ及び各スピーカ１０３＿１〜１０３＿Ｍの間の距離データ（｜ｒn,t −ｒm ｜）を算出し、音波伝播時間データ算出部１２０２及び利得係数データ算出部１２０４に出力する。音波伝播時間データ算出部１２０２は、距離データ算出部１２０１から取得した距離データ（｜ｒn,t −ｒm ｜）に基づき、音波伝播時間データ（音波伝播時間の分のサンプル数）τmn,tを算出する（数式（７）参照）。音波伝播時間データバッファ１２０３は、音波伝播時間データ算出部１２０２から音波伝播時間データτmn,tを取得し、その内の複数セグメント分の音波伝播時間データを一時的に格納する。利得係数データ算出部１２０４は、距離データ算出部１２０１から取得した距離データ（｜ｒn,t −ｒm ｜）に基づき、利得係数データＧn,t を算出する（数式（６）参照）。
【００７７】
入力オーディオデータバッファ１２０６は、オーディオデータ格納部１１０３から各仮想音源１０１＿１〜１０１＿Ｎに対応する入力オーディオデータを取得し、その内の複数セグメント分の入力オーディオデータを一時的に格納する。１セグメントは、例えば、２５６個又は５１２個のオーディオデータの標本データから構成される。出力オーディオデータ生成部１２０７は、音波伝播時間データ算出部１２０２が算出した音波伝播時間データτmn,t及び利得係数データ算出部１２０４が算出した利得係数データＧn,t を用いて、入力オーディオデータバッファ１２０６に一時的に格納されている入力オーディオデータに対応する出力オーディオデータを生成する。出力オーディオデータ重畳部１２０８は、出力オーディオデータ生成部１２０７が生成した出力オーディオデータに対応する音のオーディオデータを仮想音源１０１の数に応じて合成する。
【００７８】
図１３は、入力オーディオデータバッファ１２０６の一構成例の説明図である。入力オーディオデータバッファ１２０６は、ＦＩＦＯ(First-In,First-Out：先入れ先出し)方式でデータを一時的に格納し、古いデータは捨てていく。バッファサイズは通常、仮想音源とスピーカ間の距離の最大値のサンプル数幅に基づいて設定すればよい。例えばその最大値を仮に３４メートルとする場合、サンプリング周波数が４４１００ヘルツ、音速が３４０メートルとして、４４１００×３４÷３４０＝４４１０サンプル以上用意しておけばよい。入力オーディオデータバッファ１２０６は、自己のバッファサイズに応じてオーディオデータ格納部１１０３から入力オーディオデータを読み出し、格納後、出力オーディオデータ生成部１２０７に出力する。すなわち、古いデータから順に出力オーディオデータ生成部１２０７に出力される訳ではない。図１３において四角のブロックの各々は標本データ格納領域を表し、当該標本データ格納領域には、セグメント内の１標本データが一時的に格納される。図１３によれば、例えば、標本データ格納領域１３００＿１には最新のセグメント内の先頭部分の１標本データが一時的に格納され、標本データ格納領域１３００＿１＋ａ−１には最新のセグメント内の最後の部分の１標本データ、つまり最新の１標本データが一時的に格納される。ここで、ａは、セグメント長であり、１セグメントに含まれる標本データの個数である。
【００７９】
図１４は、音波伝播時間データバッファ１２０３の一構成例の説明図である。音波伝播時間データバッファ１２０３もまた、ＦＩＦＯ(First-In,First-Out：先入れ先出し)方式でデータの入出力を行う一時格納部である。図１４において四角のブロックの各々はデータ格納領域を表し、当該データ格納領域には、各セグメントの音波伝播時間データが一時的に格納される。また、図１４は、音波伝播時間データバッファ１２０３に３セグメント分の音波伝播時間が一時的に格納されることを示す。さらに、図１４は、音波伝播時間データバッファ１２０３のデータ格納領域１２０３＿１には最も古い音波伝播時間データが一時的に格納され、データ格納領域１２０３＿３には最も新しい音波伝播時間データが一時的に格納されることを示す。また、図示しないが、利得係数データバッファ１２０５は、音波伝播時間データバッファ１２０３と同じ構成をとる。
【００８０】
図１２から図１４を参照して、実施の形態における主要な動作を説明する。入力オーディオデータバッファ１２０６は、離散時刻ｔ1 から離散時刻（ｔ1 ＋ａ−１）までの１セグメントの入力オーディオデータをオーディオデータ格納部１１０３から読み出し、一時的に格納する。図１３を参照して説明すると、標本データ格納領域１３００＿１から標本データ格納領域(１３００＿１＋ａ−１)には、離散時刻ｔ1 から離散時刻（ｔ1 ＋ａ−１）までの標本データが順番に格納される。また、標本データ格納領域１３００＿１〜１３００＿１＋ａ−１以外のデータ格納領域には、離散時刻ｔ1 以前の複数セグメント分の入力オーディオデータが既に格納されている。
【００８１】
距離データ算出部１２０１は、離散時刻ｔ1 における、１番目の仮想音源（以下、「仮想音源１０１＿１」と呼ぶ。）及び１番目のスピーカ（以下、「スピーカ１０３＿１」と呼ぶ。）の距離を示す距離データ（｜ｒ1,t1−ｒ1 ｜）を算出し、音波伝播時間データ算出部１２０２及び利得係数データ算出部１２０４に出力する。
【００８２】
音波伝播時間データ算出部１２０２は、数式（７）を用いて、距離データ算出部１２０１から取得した距離データ（｜ｒ1,t1−ｒ1 ｜）に基づいて音波伝播時間データτ11,t1 を算出し、音波伝播時間データバッファ１２０３に出力する。
【００８３】
音波伝播時間データバッファ１２０３は、音波伝播時間データ算出部１２０２から取得した音波伝播時間データτ11,t1 を格納する。図１４を参照すると、データ格納領域１２０３＿２に既に格納されていたデータは１２０３＿１に移動され、１２０３＿３に既に格納されていたデータは１２０３＿２に移動された後、音波伝播時間データτ11,t1 は、データ格納領域１２０３＿３に格納される。尚、音波伝播時間データバッファは、スピーカ数×時刻ｔ1 時点で存在する仮想音源の数だけ用意されている。すなわち、音波伝播時間データバッファは、少なくともＭ×Ｎ個備えられており、それぞれ過去２セグメント分の音波伝播時間データと現在の音波伝播時間データが格納されている。
【００８４】
利得係数データ算出部１２０４は、数式（６）を用いて、距離データ算出部１２０１から取得した距離データ（｜ｒ1,t1−ｒ1 ｜）に基づいて利得係数データＧ1,t1を算出し、利得係数データバッファ１２０５に出力する。利得係数データバッファ１２０５は、音波伝播時間データバッファ１２０３と同様な形で、利得係数データＧ1,t1を格納する。尚、利得係数データバッファは、スピーカ数×時刻ｔ1 時点で存在する仮想音源の数だけ用意されている。すなわち、利得係数データバッファは、少なくともＭ×Ｎ個備えられており、それぞれ過去２セグメント分の利得係数データと現在の利得係数データが格納されている。
【００８５】
上記処理をスピーカの個数（Ｍ個）に応じた回数繰り返すことによって、音波伝播時間データバッファ１２０３には、スピーカ１０３＿１〜１０３＿Ｍの音波伝播時間データτmn,t1 が格納され、利得係数データバッファ１２０５には、スピーカ１０３＿１〜１０３＿Ｍの利得係数データＧn,t1が格納される。
【００８６】
次に、入力オーディオデータバッファ１２０６は、次のセグメントである離散時刻（ｔ1 ＋ａ）から離散時刻（ｔ1 ＋２ａ−１）までの１セグメント内の入力オーディオデータをオーディオデータ格納部１１０３から読み出し、一時的に格納する。そして、音波伝播時間データ算出部１２０２及び利得係数データ算出部１２０４は、上記処理と同じ処理を行い、スピーカ１０３＿１〜１０３＿Ｍの音波伝播時間データτmn,(t1+a) 及び利得係数データＧn,t1+aを算出し、各々を、音波伝播時間データバッファ１２０３及び利得係数データバッファ１２０５に一時的に格納する。このとき、音波伝播時間データバッファ１２０３にはそれぞれ離散時刻（ｔ1 −ａ）、ｔ1 、そして（ｔ1 ＋ａ）を起点とする３つのセグメントに対応する音波伝播時間データτmn,(t1-a) 、τmn,t1 、τmn,(t1+a) が格納されている。また、利得係数データバッファ１２０５にはそれぞれ離散時刻（ｔ1 −ａ）、ｔ1 、そして（ｔ1 ＋ａ）を起点とする３つのセグメントに対応する利得係数データＧn,(t1-a)、Ｇn,t1、Ｇn,(t1+a)が格納されている。
【００８７】
出力オーディオデータ生成部１２０７は、仮想音源１０１＿１のために、各スピーカ１０３＿１〜１０３＿Ｍへ与えるオーディオ信号を形成する出力オーディオデータを生成する。出力オーディオデータ生成部１２０７は、離散時刻ｔ1における出力オーディオデータを生成するために、入力オーディオデータバッファ１２０６から離散時刻（ｔ1 −τmn,t1 ）から離散時刻（ｔ1 −τmn,t1 ＋ａ−１）までのオーディオデータを読み出し、それぞれにＧn,t1を乗算することとなる。
【００８８】
ここで、離散時刻ｔ1 から離散時刻（ｔ1 ＋ａ）の間に、仮想音源１０１＿ｎがスピーカ１０３＿ｍから遠ざかる方向に移動したとする。その場合、音波伝播時間データτmn,(t1+a) は、音波伝播時間データτmn,t1 よりも大きくなる。したがって、(Δτmn,(t1+a) ＝τmn,(t1+a) −τmn,t1 ）であることから、時間幅Δτmn,(t1+a) は、正となる。この場合、離散時刻（ｔ1 ＋ａ）を起点とするセグメント内の最初の部分に、その１つ前のセグメント、すなわち、離散時刻ｔ1 を起点とするセグメント内の最後の部分のオーディオデータが時間幅Δτmn,(t1+a) 分だけ繰り返される。さらに、離散時刻（ｔ1 −ａ）から離散時刻ｔ1 の間にも仮想音源１０１＿ｎがスピーカ１０３＿ｍから遠ざかる方向に移動したとする。この場合も同様に、音波伝播時間データτmn,tは、音波伝播時間データτmn,(t1-a) よりも大きくなる。したがって、(Δτmn,t1 ＝τmn,t1 −τmn,(t1-a) ）であることから、時間幅Δτmn,t1 は正となる。よって、離散時刻ｔ1 を起点とするセグメント内の最初の部分のオーディオデータに、その１つ前のセグメント、すなわち、離散時刻（ｔ1 −ａ）を起点とするセグメント内の最後の部分のオーディオデータが時間幅Δτmn,t1 分だけ繰り返される。その結果、離散時刻ｔ1 を起点とするセグメントは、その前後のセグメント、すなわち、離散時刻（ｔ1 −ａ）を起点とするセグメント及び離散時刻（ｔ1 ＋ａ）を起点とするセグメントのいずれのセグメントとの間に波形の歪みが発生する。この時点、すなわち離散時刻ｔ1においては、補正対象セグメントは離散時刻ｔ1 を起点とするセグメントである。そして、そのセグメント内の補正対象区間は、そのセグメントの１つ前のセグメントとの波形歪みを含む、時間幅Δτmn,t1サンプル分と、そのセグメントの１つ後のセグメントとの波形歪みを含む、時間幅Δτmn,(t1+a) サンプル分の２つの区間となる。このとき、当然のことながら補正対象セグメントの前後のセグメントも対称にそれぞれ時間幅Δτmn,t1 サンプル分と時間幅Δτmn,(t1+a) サンプル分の補正対象区間が含まれているが、１つ前のセグメントは離散時刻(ｔ1 −ａ)の時点における補正処理でその区間が既に補正され、１つ後のセグメントは後に離散時刻(ｔ1 ＋ａ)の時点における補正処理においてその区間が補正されることとなる。ここで、補正対象セグメント内における上述の２箇所の補正区間について、その処理内容は同じであるため、以下では補正対象セグメントの後ろ側、すなわち１つ後のセグメントとの関係で生じた歪み波形の補正区間部分についてのみ図を用いて説明する。
【００８９】
再び図６を参照すると、オーディオデータの補正前においては、補正対象セグメント内の補正区間、すなわち離散時刻(ｔ1 ＋ａ−Δτmn,(t1+a) ）から離散時刻(ｔ1 ＋ａ−１)までのオーディオデータは、離散時刻ｔ1 を起点とするセグメント内の標本データ３０８、３０９、３１０、３１１、３１２をつなぎ合わせることにより得られるオーディオデータである。このオーディオデータは、補正対象セグメントより１つ後のセグメントである、離散時刻（ｔ1 ＋ａ）を起点とするセグメントにおける離散時刻（ｔ1 ＋ａ）から離散時刻（ｔ1 ＋ａ＋Δτmn,(t1+a) −１）までの標本データ３０８、３０９、３１０、３１１、３１２をつなぎ合わせることにより得られるオーディオデータとして再び現れる。その結果、上述の通り、離散時刻ｔ1 を起点とするセグメント及び離散時刻（ｔ1 ＋ａ）を起点とするセグメントの間に波形の歪みが発生する。そこで、オーディオデータの補正処理を行うことによって、オーディオ信号波形を伸張して波形の歪みを解消する。
【００９０】
図１５は、補正後のオーディオデータにより形成されるオーディオ信号波形の説明図である。まず、標本データ３０９の離散時刻の値として、標本データ３０８’及び標本データ３０９’の平均値を採用する（１５０１）。そして、標本データ３１０として、標本データ３０９’を採用する（１５０２）。そして、標本データ３１１として標本データ３０９’及び標本データ３１０’の平均値を採用する（１５０３）。そして、標本データ３１２として、標本データ３１０’を採用する（１５０４）。ここで、補正対象セグメントの１つ後のセグメントはこの時点では補正処理が行われないが、ここでは説明のために、そのセグメントで後に行われる補正処理についても記述する。すなわち、上述に引き続き、標本データ３０８’として標本データ３１０’及び標本データ３１１’の平均値を採用する（１５０５）。そして、標本データ３０９’として標本データ３１１’を採用する（１５０６）。そして、標本データ３１０’として標本データ３１１’及び標本データ３１２’の平均値を採用する（１５０７）。そして、標本データ３１１’として標本データ３１２’を採用する（１５０８）。さらに、標本データ３１２’として標本データ３１２’及び標本データ３１３の平均値を採用する（１５０９）。以上のような処理は結局のところ、時間幅Δτmn,(t1+a) の波形が２回繰り返されている区間全体にわたり、その１回分の波形を２倍の時間幅に均等に伸長している処理、つまり、０.５毎の標本値を採用する形となっている。ただし、例えば時刻１.５の標本値など、指定した時刻に該当する標本値が存在しない場合は、上述のようにその前後の標本値の平均値を採用する。また、この例では、補正対象セグメントとその１つ後のセグメントにそれぞれ存在する補正区間の時間幅を、繰り返された２回の波形の１回分の時間幅と等しいとしたが、それぞれ、その時間幅に比例する長さであってもよい。このように標本データの置き換え処理を行うことによって、離散時刻ｔ1 を起点とするセグメント及び離散時刻（ｔ1 ＋ａ）を起点とするセグメントの間のオーディオデータが補正される。
【００９１】
その結果、図１５からわかるように、離散時刻(ｔ1 ＋ａ)の近傍においてオーディオ信号波形の繰り返しがなくなり、発生していた波形の歪みが解消され、オーディオ信号波形は滑らかな曲線を描く。同様に、離散時刻ｔ1 を起点とするセグメント及び離散時刻（ｔ1 −ａ）を起点とするセグメントの間の波形の歪みに対しても、音波伝播時間データバッファ１２０３に格納されているτmn,(t1-a) とτmn,t1 により算出した時間幅Δτmn,t1 を用い、上述したオーディオデータの補正処理を行う。これによって、離散時刻ｔ1 を起点とするセグメントに対し、その前後にあるセグメントとの間に発生していた波形の歪みを解消することができる。
【００９２】
次に、上述の例とは逆に、離散時刻ｔ1 から離散時刻（ｔ1 ＋ａ）の間に、仮想音源１０１＿ｎがスピーカ１０３＿ｍに近づく方向に移動したとする。その場合、音波伝播時間データτmn,(t1+a) は、音波伝播時間データτmn,t1 よりも小さくなる。したがって、(Δτmn,(t1+a) ＝τmn,(t1+a) −τmn,t1 ）であることから、時間幅Δτmn,(t1+a) は負となる。この場合、離散時刻ｔ1 を起点とするセグメント及び離散時刻（ｔ1 ＋ａ）を起点とするセグメントの間でオーディオデータが欠落する。さらに、離散時刻（ｔ1 −ａ）から離散時刻ｔ1 の間でも仮想音源１０１＿ｎがスピーカ１０３＿ｍに近づく方向に移動したとする。その場合も、音波伝播時間データτmn,t1 は、音波伝播時間データτmn,(t1-a) よりも小さくなる。したがって、(Δτmn,t1 ＝τmn,t1 −τmn,(t1-a) ）であることから、時間幅Δτmn,t1 は負となる。この場合、離散時刻（ｔ1 −ａ）を起点とするセグメント及び離散時刻ｔ1 を起点とするセグメントの間でオーディオデータが欠落する。
【００９３】
上記の場合、離散時刻ｔ1 を起点とするセグメントは、その前後のセグメント、すなわち、離散時刻（ｔ1 −ａ）を起点とするセグメント及び離散時刻（ｔ1 ＋ａ）を起点とするセグメントのいずれに対しても波形の歪みが発生する。この時点、すなわち離散時刻ｔ1においては、上述の例と同様、補正対象セグメントは離散時刻ｔ1 を起点とするセグメントである。そして、そのセグメント内の補正対象区間は、そのセグメントの１つ前のセグメントとの波形歪みを含む、時間幅Δτmn,t1 サンプル分と、そのセグメントの１つ後のセグメントとの波形歪みを含む、時間幅Δτmn,(t1+a) サンプル分の２つの区間となる。このとき、当然のことながら補正対象セグメントの前後のセグメントも対称にそれぞれ時間幅Δτmn,t1 サンプル分と時間幅Δτmn,(t1+a) サンプル分の補正対象区間が含まれているが、１つ前のセグメントは離散時刻(ｔ1 −ａ)の時点における補正処理でその区間が既に補正され、１つ後のセグメントは後に離散時刻(ｔ1 ＋ａ)の時点における補正処理においてその区間が補正されることとなる。ここで、補正対象セグメント内における上述の２箇所の補正区間について、その処理内容は同じであるため、以下では補正対象セグメントの後ろ側、すなわち１つ後のセグメントとの関係で生じた歪み波形の補正区間部分についてのみ、図を用いて説明する。
【００９４】
再び図１０を参照すると、オーディオデータの補正前においては、対象補正区間、すなわち離散時刻(ｔ1 ＋ａ−Δτmn,(t1+a) ）から離散時刻(ｔ1 ＋ａ−１)までのオーディオデータは、離散時刻ｔ1 を起点とするセグメント内の標本データ３０９、３１０、３１１、３１２をつなぎ合わせることにより得られるオーディオデータである。そして、図９に示す標本データ３１３〜３１６の４点が欠落しているため、次のセグメントの起点である標本データ３１７で波形が不連続となっている。そこで、オーディオデータの補正処理を行うことによって、オーディオ信号波形を圧縮してこの波形の歪みを解消する。図１６は、補正後のオーディオデータにより形成されるオーディオ信号波形の説明図である。まず、標本データ３０９の離散時刻の値として、標本データ３０９を採用する（１６０１）。そして、標本データ３１０の離散時刻の値として、標本データ３１０と３１１の平均値を採用する（１６０２）。そして、標本データ３１１として、標本データ３１２を採用する（１６０３）。そして、標本データ３１２として、標本データ３１３と標本データ３１４の平均値を採用する（１６０４）。ここで、補正対象セグメントの１つ後のセグメントはこの時点では補正処理が行われないが、ここでは説明のために、そのセグメントで後に行われる補正処理についても記述する。すなわち、上述に引き続き、標本データ３１７として標本データ３１５を採用する（１６０５）。そして、標本データ３１８として、標本データ３１６と標本データ３１７の平均値を採用する（１６０６）。そして、標本データ３１９として、標本データ３１８を採用する（１６０７）。そして、標本データ３２０として、標本データ３１９と標本データ３２０の平均値を採用する（１６０８）。以上のような処理は結局のところ、時間幅Δτmn,(t1+a) の波形が欠落している区間の前後それぞれ時間幅Δτmn,(t1+a) の両区間にわたり、その区間の波形に欠落部分の波形を加えた、時間幅(３×Δτmn,(t1+a) )分の波形を２／３倍の時間幅に均等に圧縮する処理、つまり１.５毎の標本値を採用する形となっている。ただし、上述と同様、例えば時刻１.５の標本値など、指定した時刻に該当する標本値が存在しない場合は、上述のようにその前後の標本値の平均値を採用する。また、この例では、欠落部分の両側に存在する補正区間の時間幅を欠落部分の時間幅と等しいとしたが、それぞれ、その時間幅に比例する長さであってもよい。さらに、ここではいずれの例も、時間幅Δτmn,t1 と時間幅Δτmn,(t1+a) は同じ符号としたが、それぞれ異なる符号であっても構わないし、値が０であっても構わない。それらの場合、その値が０であれば補正処理は行われず、また０ではない場合はその値の符号に応じて上述の例のいずれかの補正処理を行うことになる。
【００９５】
次の仮想音源１０１＿ｎに対しても同様に計算し、出力オーディオデータ重畳部１２０８は、仮想音源１０１＿ｎ毎の出力オーディオデータを重畳し、オーディオデータの合成を行う。そして、この処理をスピーカの個数分繰り返す。この例では、離散時刻ｔ1 における出力オーディオデータのセグメント内の最初の部分の補正幅は時間幅Δτmn,t1 としたが、時間幅Δτmn,t1 の倍数であってもよい。また、図１６に示すように、滑らかなオーディオ信号波形が得られれば、標本データの置き換えの方法は他の方法であってもよい。
以上のように、オーディオデータを補正することによって波形の歪みを解消した後、利得係数データに基づいた補正処理を更に行う。前述した通り、仮想音源１０１＿ｎが移動した場合、利得係数データも変化する。そこで、補正区間幅に亘って、徐々に利得係数を変化させる。補正対象セグメントの利得係数をＧ１とし、補正対象セグメントに隣接する１つ後のセグメントの利得係数をＧ２とすると、着目する補正区間内の各点での利得係数Ｇ＝ｑＧ２＋（１−ｑ）Ｇ１となる。ここでｑを補正区間内に亘って０から０.５まで変化させる。ちなみに、この１つ後のセグメント内の最初の補正区間においては、その補正処理時に、このｑをその補正区間内に亘って０.５から１まで変化させることとなる。変化のさせ方は線形でも何かの関数でもよい。これにより、波形の歪みを作ることなく利得係数を変化させることができる。
【００９６】
以上の処理を仮想音源１０１＿ｎの数及びスピーカ１０３＿ｍの数に応じて繰り返し実行することによって、仮想音源１０１＿ｎが移動した場合に発生する波形の歪みを解消することができ、それによって、波形の歪みに起因するノイズを大幅に低減することができる。
【００９７】
図１７は、実施の形態１に係るデータ処理の流れを示すフローチャートである。本データ処理は、ＣＰＵ１１１１による制御のもと、オーディオデータ処理部１１０１により実行される。オーディオデータ処理部１１０１は、まず、仮想音源１０１＿ｎの番号ｎに１を代入し、スピーカ１０３＿ｍの番号ｍに１を代入する。すなわち、１番目の仮想音源１０１＿１及び１番目のスピーカ１０３＿１を指定する（Ｓ１０）。オーディオデータ処理部１１０１は、ｎ番目の仮想音源１０１＿ｎに対するオーディオファイルをオーディオデータ格納部１１０３より入力する（Ｓ１１）。さらに、オーディオデータ処理部１１０１は、仮想音源１０１＿ｎに対応する仮想音源位置データ及びスピーカ位置データの各々を仮想音源位置データ格納部１１０４及びスピーカ位置データ格納部１１０６から入力する（Ｓ１２）。オーディオデータ処理部１１０１は、入力した仮想音源位置データ及びスピーカ位置データに基づいて、仮想音源１０１＿ｎ及びスピーカ１０３＿ｍの距離データ（｜ｒn,t −ｒm ｜）を算出する（Ｓ１３）。オーディオデータ処理部１１０１は、算出した距離データ（｜ｒn,t −ｒm ｜）に基づき、２つ前のセグメントと１つ前のセグメントそれぞれに対応する距離データ(以下、第１及び第２の距離)を比較する（Ｓ１５）。同様に、１つ前のセグメントと最新のセグメントそれぞれに対応する距離データ(以下、第２及び第３の距離)を比較する（Ｓ１８）。すなわち、Ｓ１５では、オーディオデータ処理部１１０１は、２つ前のセグメントの時点から１つ前のセグメントの時点にかけて仮想音源１０１＿ｎがスピーカ１０３＿ｍに対して移動していたか静止していたかを判定する。同様に、Ｓ１８では、１つ前のセグメントの時点から最新のセグメントの時点にかけて仮想音源１０１＿ｎがスピーカ１０３＿ｍに対して移動していたか静止していたかを判定する。
【００９８】
Ｓ１５にて第１及び第２の距離が異なると判定した場合（Ｓ１５：ＹＥＳ）、すなわち、仮想音源１０１＿ｎが移動したと判定した場合、オーディオデータ処理部１１０１は、補正対象セグメントとその１つ前のセグメントとの関係によって生じた波形の歪みの部分の特定及び補正を行う（Ｓ１６）。これに対して、第１及び第２の距離が同じと判定した場合（Ｓ１５：ＮＯ）、すなわち、仮想音源１０１＿ｎが静止していたと判定した場合には、オーディオデータ処理部１１０１は、Ｓ１８の処理に進む。Ｓ１８の詳細については後述する。次いでオーディオデータ処理部１１０１は、利得制御を行う（Ｓ１７）。次いでオーディオデータ処理部１１０１は、第２及び第３の距離についてＳ１５と同様に比較を行う（Ｓ１８）。Ｓ１８にて第２及び第３の距離が異なると判定した場合（Ｓ１８：ＹＥＳ）、すなわち、仮想音源１０１＿ｎが移動したと判定した場合、オーディオデータ処理部１１０１は、補正対象セグメントとその１つ後ろのセグメントとの関係によって生じた波形の歪みの部分の特定及び補正を行い（Ｓ１９）、利得制御を行う（Ｓ２０）。これに対して、第２及び第３の距離が同じと判定した場合（Ｓ１８：ＮＯ）、すなわち、仮想音源１０１＿ｎが静止していたと判定した場合には、オーディオデータ処理部１１０１は、Ｓ２１の処理に進む。次いでオーディオデータ処理部１１０１は、仮想音源１０１＿ｎの番号ｎに１を加算し（Ｓ２１）、仮想音源１０１＿ｎの番号ｎが最大値Ｎであるかどうかを判定する（Ｓ２２）。Ｓ２１で判定した結果、仮想音源１０１＿ｎの番号ｎが最大値Ｎでない場合（Ｓ２２：ＮＯ）には、Ｓ１１の処理に戻り、続いて、２番目の仮想音源１０１＿２及び１番目のスピーカ１０３＿１に対して、Ｓ１１〜Ｓ２１の処理を行う。これに対して、仮想音源１０１＿ｎの番号ｎが最大値Ｎである場合（Ｓ２２：ＹＥＳ）、オーディオデータの合成を行う（Ｓ２３）。次いでオーディオデータ処理部１１０１は、仮想音源１０１＿ｎの番号ｎに１を代入し（Ｓ２４）、スピーカの番号ｍに１を加算する（Ｓ２５）。次いでオーディオデータ処理部１１０１は、スピーカの番号ｍが最大値Ｍであるかどうか判定し（Ｓ２６）、スピーカの番号ｍが最大値Ｍでない場合（Ｓ２６：ＮＯ）にはＳ１１の処理に戻り、スピーカの番号ｍが最大値Ｍの場合（Ｓ２６：ＹＥＳ）には処理を終了する。
【００９９】
図１８は、波形の歪みの部分の特定及び補正の処理（図１７におけるＳ１６およびＳ１９）の流れを示すフローチャートである。この部分ではＳ１６及びＳ１９のいずれの処理から移動してくるにせよ、補正対象セグメント内に対してのみ処理を施す。Ｓ１６から移動してきた場合は、補正対象セグメントとその１つ前のセグメントとの関係によって生じた波形歪みを補正する。そして、Ｓ１９から移動してきた場合は、補正対象セグメントとその１つ後ろのセグメントとの関係によって生じた波形歪みを補正する。オーディオデータ処理部１１０１は、仮想音源１０１＿ｎがスピーカ１０３＿ｍに対して離隔していたか接近していたかを判定する（Ｓ３０）。オーディオデータ処理部１１０１は、後ろのセグメントの音波伝播時間が前のセグメントの音波伝播時間よりも増加している場合には仮想音源１０１＿ｎはスピーカ１０３＿ｍから離隔していたと判定し（Ｓ３０：離隔）、Ｓ３１の処理に進む。これに対して、オーディオデータ処理部１１０１は、後ろのセグメントの音波伝播時間が前のセグメントの音波伝播時間よりも減少している場合には仮想音源１０１＿ｎはスピーカ１０３＿ｍに接近していると判定し（Ｓ３０：接近）、Ｓ３２の処理に進み、標本データの欠落部分を特定する（Ｓ３２）。オーディオデータ処理部１１０１は、標本データの繰り返し部分を特定する（Ｓ３１）。すなわち、前述した通り、この繰り返し部分は、前のセグメント内の最後の部分及び後ろのセグメント内の最初の部分に現れる。
【０１００】
オーディオデータ処理部１１０１は、繰り返し部分に含まれる標本データを他のデータに置き換える（Ｓ３３）。図６を参照すると、もし、Ｓ１６から移動してきた場合、すなわち補正対象セグメントが後ろのセグメントである場合、標本データ３０８’として標本データ３１０’及び標本データ３１１’の平均値を採用する（１５０５）。そして、標本データ３０９’として標本データ３１１’を採用する（１５０６）。そして、標本データ３１０’として標本データ３１１’及び標本データ３１２’の平均値を採用する（１５０７）。そして、標本データ３１１’として標本データ３１２’を採用する（１５０８）。さらに、標本データ３１２’として標本データ３１２’及び標本データ３１３の平均値を採用する（１５０９）。逆に、補正対象セグメントが前のセグメントである場合、標本データ３０９の離散時刻の値として、標本データ３０８’及び標本データ３０９’の平均値を採用する（１５０１）。そして、標本データ３１０として、標本データ３０９’を採用する（１５０２）。そして、標本データ３１１として標本データ３０９’及び標本データ３１０’の平均値を採用する（１５０３）。そして、標本データ３１２として、標本データ３１０’を採用する（１５０４）。これは、一般的には、時間幅Δτmn,(t1+a) の波形が２回繰り返されている区間全体にわたり、その１回分の波形を２倍の時間幅に均等に伸長している処理、つまり、０.５毎の標本値を採用する処理となっている。ただし、例えば時刻１.５の標本値など、指定した時刻に該当する標本値が存在しない場合は、上述のようにその前後の標本値の平均値を採用する。
【０１０１】
一方、オーディオデータ処理部１１０１は、欠落部分及びその前後の部分を含む領域を圧縮し、圧縮された領域の標本データを他のデータに置き換える（Ｓ３４）。例えば、図９及び図１６を参照すると、標本データ３１７の近傍で波形が不連続となっている。もし、Ｓ１６から移動してきた場合、すなわち補正対象セグメントが後ろのセグメントである場合、標本データは３１７として標本データ３１５を採用する（１６０５）。そして、標本データ３１８として、標本データ３１６と３１７の平均値を採用する（１６０６）。そして、標本データ３１９として、標本データ３１８を採用する（１６０７）。そして、標本データ３２０として、標本データ３１９と３２０の平均値を採用する（１６０８）。逆に、Ｓ１９から移動してきた場合、すなわち補正対象セグメントが前のセグメントである場合、標本データ３１０として、標本データ３１０と３１１の平均値を採用する（１６０２）。そして、標本データ３１１として、標本データ３１２を採用する（１６０３）。そして、標本データ３１２として、標本データ３１３と標本データ３１４の平均値を採用する（１６０４）。これは、一般的には、時間幅Δτmn,(t1+a) の波形が欠落している区間の前後それぞれ時間幅Δτmn,(t1+a) の両区間にわたり、その区間の波形に欠落部分の波形を加えた、時間幅３×Δτmn,(t1+a) 分の波形を２／３倍の時間幅に均等に圧縮する処理、つまり１.５毎の標本値を採用する形となっている。ただし、上述と同様、例えば時刻１.５の標本値など、指定した時刻に該当する標本値が存在しない場合は、上述のようにその前後の標本値の平均値を採用する処理となっている。
【０１０２】
以上の処理を仮想音源１０１の数及びスピーカ１０３の数に応じて実行することによって、仮想音源１０１が移動した場合に発生する波形の歪みを解消することができ、それにより、波形の歪みに起因するノイズを大幅に低減することができる。
【０１０３】
実施の形態２
図１９は、実施の形態２に係るオーディオ装置の内部構成例を示すブロック図である。実施の形態２は、実施の形態１がオーディオ装置１１００内のＲＯＭ１１１２に記憶してあるプログラムを実行するのに対して、書き換え可能なＥＥＰＲＯＭ（ Electrically Erasable Programmable Read-Only Memory ）又は内部記憶装置２５に記憶されたプログラムを読み出して実行するようにしてある。オーディオ装置１１００は、ＥＥＰＲＯＭ２４、内部記憶装置２５及び記録媒体読込部２３を備える。ＣＰＵ１７は、記録媒体読込部２３に挿入されたＣＤ（ Compact Disk ）−ＲＯＭ又はＤＶＤ（ Digital Versatile Disk ）−ＲＯＭ等の記録媒体２３０からプログラム２３１を読み込んでＥＥＰＲＯＭ２４又は内部記憶装置２５に記憶するようにしてある。ＣＰＵ１７は、ＥＥＰＲＯＭ２４又は内部記憶装置２５に記憶したプログラム２３１をＲＡＭ１８に読み出して実行する構成となっている。
【０１０４】
本発明に係るプログラム２３１は、記録媒体２３０から読み出してＥＥＰＲＯＭ２４又は内部記憶装置２５に記憶される場合に限るものではなく、メモリカード等の外部メモリに記憶させても良い。この場合、ＣＰＵ１７に接続される図示しない外部メモリからプログラム２３１を読み出してＥＥＰＲＯＭ２４又は内部記憶装置２５に記憶させる。さらにＣＰＵ１７に接続された図示しない通信部と外部のコンピュータとの間で通信を確立し、プログラム２３１をＥＥＰＲＯＭ２４又は内部記憶装置２５へダウンロードしても良い。
【符号の説明】
【０１０５】
１０１ 仮想音源
１１００ オーディオ装置
１１０１ オーディオデータ処理部
１１０２ コンテンツ情報分離部
１１０９ 再生部
１１１０ 通信インタフェース部
１１１５ サーバ
１１１６ 放送局
【特許請求の範囲】
【請求項１】
移動する仮想音源が発する音に対応するオーディオデータ、該仮想音源の位置及び前記オーディオデータに基づき音を放射するスピーカの位置を入力し、前記仮想音源の位置及び前記スピーカの位置に基づいて前記オーディオデータを補正するオーディオデータ処理装置において、
相前後する時点での前記スピーカの位置から前記仮想音源の位置までそれぞれの第１及び第２の距離を算出する算出手段と、
前記第１及び第２の距離を比較する比較手段と、
比較の結果、前記第１及び第２の距離が異なる場合、前後の時点における前記オーディオデータにある歪みの部分を特定する特定手段と、
前記仮想音源の前記スピーカに対する接近及び離隔に応じて、特定された部分の前記オーディオデータに対して異なる補正を行う補正手段と
を備えることを特徴とするオーディオデータ処理装置。
【請求項２】
前記オーディオデータは標本データを含み、
前記特定手段は、前記仮想音源の前記スピーカに対する離隔に起因する標本データの繰り返し部分を特定し、
前記補正手段は、特定された前記繰り返し部分に対して補正を行う第１の補正手段を備えることを特徴とする請求項１記載のオーディオデータ処理装置。
【請求項３】
前記オーディオデータは標本データを含み、
前記特定手段は、前記仮想音源の前記スピーカに対する接近に起因する標本データの欠落部分を特定し、
前記補正手段は、特定された前記欠落部分を挟む前後の部分に対して補正を行う第２の補正手段を備えることを特徴とする請求項１記載のオーディオデータ処理装置。
【請求項４】
前記オーディオデータは標本データを含み、
前記特定手段は、前記仮想音源の前記スピーカに対する接近及び離隔に起因する標本データの繰り返し部分又は標本データの欠落部分を特定し、
前記補正手段は、
特定された前記繰り返し部分に対して補正を行う第１の補正手段と、
特定された前記欠落部分を挟む前後の部分に対して補正を行う第２の補正手段と
を備えることを特徴とする請求項１記載のオーディオデータ処理装置。
【請求項５】
前記補正を行う部分は、前記第１及び第２の距離を音波が伝播する時間幅の差、又は、前記差に比例する時間幅であることを特徴とする請求項２から４のいずれか１項に記載のオーディオデータ処理装置。
【請求項６】
前記第１の補正手段は、特定された前記繰り返し部分に含まれる標本データを、該標本データにより形成される２つの波形の内の１つの波形を２倍の時間幅に均等に伸張することにより得られる標本データに置き換えることを特徴とする請求項２又は４に記載のオーディオデータ処理装置。
【請求項７】
前記第２の補正手段は、特定された前記欠落部分及び該欠落部分の前後の部分に含まれる標本データを、該標本データにより形成される波形を２／３倍の時間幅に均等に圧縮することにより得られる標本データに置き換えることを特徴とする請求項３又は４に記載のオーディオデータ処理装置。
【請求項８】
前記補正手段により補正が行われたオーディオデータに対して利得制御を行う手段を更に備えることを特徴とする請求項１から７のいずれか１項に記載のオーディオデータ処理装置。
【請求項９】
前記仮想音源の数は１つ又は複数であることを特徴とする請求項１から８のいずれか１項に記載のオーディオデータ処理装置。
【請求項１０】
移動する仮想音源が発する音に対応するオーディオデータ、該仮想音源の位置及び前記オーディオデータに基づき音を放射するスピーカの位置を用い、前記仮想音源の位置及び前記スピーカの位置に基づいて前記オーディオデータを補正するオーディオ装置において、
前記オーディオデータ及び前記仮想音源の位置を含むディジタルコンテンツを入力するディジタルコンテンツ入力部と、
前記ディジタルコンテンツ入力部が入力したディジタルコンテンツを解析し、該ディジタルコンテンツに含まれるオーディオデータ及び仮想音源の位置のデータを分離するコンテンツ情報分離部と、
前記コンテンツ情報分離部が分離した仮想音源の位置のデータ及び前記スピーカの位置のデータに基づいて、前記コンテンツ情報分離部が分離したオーディデータを補正するオーディオデータ処理部と、
補正されたオーディオデータに基づき前記スピーカへのオーディオ信号を生成するオーディオ信号生成部と
を備え、
前記オーディオデータ処理部は、
相前後する時点での前記スピーカの位置から前記仮想音源の位置までそれぞれの第１及び第２の距離を算出する手段と、
前記第１及び第２の距離を比較する手段と、
比較の結果、前記第１及び第２の距離が異なる場合、前後の時点における前記オーディオデータにある歪みの部分を特定する手段と、
前記仮想音源の前記スピーカに対する接近及び離隔に応じて、特定された部分の前記オーディオデータに対して異なる補正を行う手段と
を備えることを特徴とするオーディオ装置。
【請求項１１】
前記ディジタルコンテンツ入力部は、ディジタルコンテンツを格納する記録媒体、ネットワークを介してディジタルコンテンツを配信するサーバ又はディジタルコンテンツを放送する放送局からディジタルコンテンツを入力することを特徴とする請求項１０に記載のオーディオ装置。
【請求項１２】
移動する仮想音源が発する音に対応するオーディオデータ、該仮想音源の位置及び前記オーディオデータに基づき音を放射するスピーカの位置を入力し、前記仮想音源の位置及び前記スピーカの位置に基づいて前記オーディオデータを補正するオーディオデータ処理装置におけるオーディオデータ処理方法において、
相前後する時点での前記スピーカの位置から前記仮想音源の位置までそれぞれの第１及び第２の距離を算出するステップと、
前記第１及び第２の距離を比較するステップと、
比較の結果、前記第１及び第２の距離が異なる場合、前後の時点における前記オーディオデータにある歪みの部分を特定するステップと、
前記仮想音源の前記スピーカに対する接近及び離隔に応じて、特定された部分の前記オーディオデータに対して異なる補正を行うステップと
を含むことを特徴とするオーディオデータ処理方法。
【請求項１３】
移動する仮想音源が発する音に対応するオーディオデータ、該仮想音源の位置及び前記オーディオデータに基づき音を放射するスピーカの位置を入力し、前記仮想音源の位置及び前記スピーカの位置に基づいて前記オーディオデータを補正させるプログラムにおいて、
コンピュータに、
相前後する時点での前記スピーカの位置から前記仮想音源の位置までそれぞれの第１及び第２の距離を算出するステップと、
前記第１及び第２の距離を比較するステップと、
比較の結果、前記第１及び第２の距離が異なる場合、前後の時点における前記オーディオデータにある歪みの部分を特定するステップと、
前記仮想音源の前記スピーカに対する接近及び離隔に応じて、特定された部分の前記オーディオデータに対して異なる補正を行うステップと
を実行させるプログラム。
【請求項１４】
請求項１３に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
移動する仮想音源が発する音に対応するオーディオデータ、該仮想音源の位置及び前記オーディオデータに基づき音を放射するスピーカの位置を入力し、前記仮想音源の位置及び前記スピーカの位置に基づいて前記オーディオデータを補正するオーディオデータ処理装置において、
相前後する時点での前記スピーカの位置から前記仮想音源の位置までそれぞれの第１及び第２の距離を算出する算出手段と、
前記第１及び第２の距離を比較する比較手段と、
比較の結果、前記第１及び第２の距離が異なる場合、前後の時点における前記オーディオデータにある歪みの部分を特定する特定手段と、
前記仮想音源の前記スピーカに対する接近及び離隔に応じて、特定された部分の前記オーディオデータに対して異なる補正を行う補正手段と
を備えることを特徴とするオーディオデータ処理装置。
【請求項２】
前記オーディオデータは標本データを含み、
前記特定手段は、前記仮想音源の前記スピーカに対する離隔に起因する標本データの繰り返し部分を特定し、
前記補正手段は、特定された前記繰り返し部分に対して補正を行う第１の補正手段を備えることを特徴とする請求項１記載のオーディオデータ処理装置。
【請求項３】
前記オーディオデータは標本データを含み、
前記特定手段は、前記仮想音源の前記スピーカに対する接近に起因する標本データの欠落部分を特定し、
前記補正手段は、特定された前記欠落部分を挟む前後の部分に対して補正を行う第２の補正手段を備えることを特徴とする請求項１記載のオーディオデータ処理装置。
【請求項４】
前記オーディオデータは標本データを含み、
前記特定手段は、前記仮想音源の前記スピーカに対する接近及び離隔に起因する標本データの繰り返し部分又は標本データの欠落部分を特定し、
前記補正手段は、
特定された前記繰り返し部分に対して補正を行う第１の補正手段と、
特定された前記欠落部分を挟む前後の部分に対して補正を行う第２の補正手段と
を備えることを特徴とする請求項１記載のオーディオデータ処理装置。
【請求項５】
前記補正を行う部分は、前記第１及び第２の距離を音波が伝播する時間幅の差、又は、前記差に比例する時間幅であることを特徴とする請求項２から４のいずれか１項に記載のオーディオデータ処理装置。
【請求項６】
前記第１の補正手段は、特定された前記繰り返し部分に含まれる標本データを、該標本データにより形成される２つの波形の内の１つの波形を２倍の時間幅に均等に伸張することにより得られる標本データに置き換えることを特徴とする請求項２又は４に記載のオーディオデータ処理装置。
【請求項７】
前記第２の補正手段は、特定された前記欠落部分及び該欠落部分の前後の部分に含まれる標本データを、該標本データにより形成される波形を２／３倍の時間幅に均等に圧縮することにより得られる標本データに置き換えることを特徴とする請求項３又は４に記載のオーディオデータ処理装置。
【請求項８】
前記補正手段により補正が行われたオーディオデータに対して利得制御を行う手段を更に備えることを特徴とする請求項１から７のいずれか１項に記載のオーディオデータ処理装置。
【請求項９】
前記仮想音源の数は１つ又は複数であることを特徴とする請求項１から８のいずれか１項に記載のオーディオデータ処理装置。
【請求項１０】
移動する仮想音源が発する音に対応するオーディオデータ、該仮想音源の位置及び前記オーディオデータに基づき音を放射するスピーカの位置を用い、前記仮想音源の位置及び前記スピーカの位置に基づいて前記オーディオデータを補正するオーディオ装置において、
前記オーディオデータ及び前記仮想音源の位置を含むディジタルコンテンツを入力するディジタルコンテンツ入力部と、
前記ディジタルコンテンツ入力部が入力したディジタルコンテンツを解析し、該ディジタルコンテンツに含まれるオーディオデータ及び仮想音源の位置のデータを分離するコンテンツ情報分離部と、
前記コンテンツ情報分離部が分離した仮想音源の位置のデータ及び前記スピーカの位置のデータに基づいて、前記コンテンツ情報分離部が分離したオーディデータを補正するオーディオデータ処理部と、
補正されたオーディオデータに基づき前記スピーカへのオーディオ信号を生成するオーディオ信号生成部と
を備え、
前記オーディオデータ処理部は、
相前後する時点での前記スピーカの位置から前記仮想音源の位置までそれぞれの第１及び第２の距離を算出する手段と、
前記第１及び第２の距離を比較する手段と、
比較の結果、前記第１及び第２の距離が異なる場合、前後の時点における前記オーディオデータにある歪みの部分を特定する手段と、
前記仮想音源の前記スピーカに対する接近及び離隔に応じて、特定された部分の前記オーディオデータに対して異なる補正を行う手段と
を備えることを特徴とするオーディオ装置。
【請求項１１】
前記ディジタルコンテンツ入力部は、ディジタルコンテンツを格納する記録媒体、ネットワークを介してディジタルコンテンツを配信するサーバ又はディジタルコンテンツを放送する放送局からディジタルコンテンツを入力することを特徴とする請求項１０に記載のオーディオ装置。
【請求項１２】
移動する仮想音源が発する音に対応するオーディオデータ、該仮想音源の位置及び前記オーディオデータに基づき音を放射するスピーカの位置を入力し、前記仮想音源の位置及び前記スピーカの位置に基づいて前記オーディオデータを補正するオーディオデータ処理装置におけるオーディオデータ処理方法において、
相前後する時点での前記スピーカの位置から前記仮想音源の位置までそれぞれの第１及び第２の距離を算出するステップと、
前記第１及び第２の距離を比較するステップと、
比較の結果、前記第１及び第２の距離が異なる場合、前後の時点における前記オーディオデータにある歪みの部分を特定するステップと、
前記仮想音源の前記スピーカに対する接近及び離隔に応じて、特定された部分の前記オーディオデータに対して異なる補正を行うステップと
を含むことを特徴とするオーディオデータ処理方法。
【請求項１３】
移動する仮想音源が発する音に対応するオーディオデータ、該仮想音源の位置及び前記オーディオデータに基づき音を放射するスピーカの位置を入力し、前記仮想音源の位置及び前記スピーカの位置に基づいて前記オーディオデータを補正させるプログラムにおいて、
コンピュータに、
相前後する時点での前記スピーカの位置から前記仮想音源の位置までそれぞれの第１及び第２の距離を算出するステップと、
前記第１及び第２の距離を比較するステップと、
比較の結果、前記第１及び第２の距離が異なる場合、前後の時点における前記オーディオデータにある歪みの部分を特定するステップと、
前記仮想音源の前記スピーカに対する接近及び離隔に応じて、特定された部分の前記オーディオデータに対して異なる補正を行うステップと
を実行させるプログラム。
【請求項１４】
請求項１３に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１１−１２４７２４（Ｐ２０１１−１２４７２４Ａ）
【公開日】平成２３年６月２３日（２０１１．６．２３）
【国際特許分類】
【出願番号】特願２００９−２７９７９４（Ｐ２００９−２７９７９４）
【出願日】平成２１年１２月９日（２００９．１２．９）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２３年６月２３日（２０１１．６．２３）
【国際特許分類】
【出願日】平成２１年１２月９日（２００９．１２．９）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]