映像音声入出力システム
【課題】視聴者が撮影された映像を見るとともに集音された音声を聴くことによって撮影および集音がなされた場所の様子をリアルに感じることが可能な、新規かつ改良された技術を提供する。
【解決手段】映像音声入出力システム１は、映像入力装置１１０と複数の音声入力装置１２０とを有する映像音声入力システム１００と、映像出力装置２１０と複数の音声入力装置１２０のそれぞれに対応する複数の音声出力装置２２０とを有する映像音声出力システム２００とを備える。複数の音声出力装置２２０は、対応する複数の音声入力装置１２０のそれぞれが設置されている各地点から表示面に対して垂線を引いた場合における垂線の足のそれぞれを、実物大に対する映像の縮小率または拡大率に従って映像の中心を基準として縮小または拡大させた場合に決定される各位置に設置される。
【解決手段】映像音声入出力システム１は、映像入力装置１１０と複数の音声入力装置１２０とを有する映像音声入力システム１００と、映像出力装置２１０と複数の音声入力装置１２０のそれぞれに対応する複数の音声出力装置２２０とを有する映像音声出力システム２００とを備える。複数の音声出力装置２２０は、対応する複数の音声入力装置１２０のそれぞれが設置されている各地点から表示面に対して垂線を引いた場合における垂線の足のそれぞれを、実物大に対する映像の縮小率または拡大率に従って映像の中心を基準として縮小または拡大させた場合に決定される各位置に設置される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像音声入出力システムに関する。
【背景技術】
【０００２】
一般的に、多くの観客が集まるコンサート会場やスポーツイベントが行われる会場の様子を伝えるために、会場内を撮影して取得された映像や会場内から集音して取得された音声が使用される。視聴者は、取得された映像を見ながら取得された音声を聴くことで会場の様子を知ることができる。
【０００３】
視聴者が聴く音声を出力する技術には、例えば、ステレオ（ｓｔｅｒｅｏ）や、５．１ｃｈ、６．１ｃｈ、７．１ｃｈサラウンド（Ｓｕｒｒｏｕｎｄ）等によるものがある。このような技術によれば、視聴者は会場に身を置いているような臨場感を味わいながら音声を聴くことが可能である。その他にも、音声を出力する技術には様々なものが開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２０８３１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記したような技術によれば、映像に音像を定位させることができないという問題があった。実際に会場にいない視聴者は、映像を見ながら映像から出力された音声を聴くことによって、会場の様子をよりリアルに感じることができる。そのときに出力される音声が映像にマッチしたものである場合には、視聴者は会場の様子をよりリアルに感じることができる。これらを満たすためには、映像に音像を定位させることが重要である。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、視聴者が撮影された映像を見るとともに集音された音声を聴くことによって撮影および集音がなされた場所の様子をリアルに感じることが可能な、新規かつ改良された技術を提供しようとするものである。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、所定の方向に対して所定の倍率で撮影することによって映像を取得し、取得した映像を電気信号に変換し、変換後の電気信号を映像信号として取得する映像入力装置と、映像入力装置が設置された地点からの水平距離および高さが異なる複数の地点のそれぞれに設置され、周囲の振動を検知し、検知した振動を電気信号に変換し、変換後の電気信号を音声信号として取得する複数の音声入力装置と、を有する、映像音声入力システムと、表示面を有し、映像入力装置によって取得された映像信号に基づいて表示面に映像を出力する映像出力装置と、複数の音声入力装置のそれぞれに対応する複数の音声出力装置と、を有し、複数の音声出力装置は、対応する複数の音声入力装置のそれぞれが設置されている各地点から表示面に対して垂線を引いた場合における垂線の足のそれぞれを、実物大に対する映像の縮小率または拡大率に従って映像の中心を基準として縮小または拡大させた場合に決定される各位置に設置され、対応する音声入力装置によって取得された音声信号に基づいて音声を出力する、映像音声出力システムと、を備える、映像音声入出力システムが提供される。
【０００８】
複数の音声出力装置は、映像の中心に向かって音声を出力することが可能な向きに設置されていることとしてもよい。
【０００９】
映像音声出力システムは、複数の音声入力装置が設置されている位置から所定の地点までの距離に応じた時間だけ音声が出力される時刻を遅延させて、対応する複数の音声出力装置に音声を出力させる出力制御装置をさらに有することとしてもよい。
【００１０】
映像音声出力システムは、複数の音声入力装置が設置されている位置から所定の地点までの距離に応じた音量だけ音声の音量を小さくして、対応する複数の音声出力装置に音声を出力させる出力制御装置、をさらに有することとしてもよい。
【００１１】
所定の地点は、映像の中心に映っている地点であるとしてもよい。
【００１２】
映像音声入力システムは、映像入力装置によって取得された映像信号と複数の音声入力装置によって取得された各音声信号とを結合することによって音声映像信号を生成し、生成した音声映像信号を記録媒体に記録する入力制御装置をさらに有し、映像音声出力システムは、記録媒体に記録された音声映像信号を読み出し、読み出した音声映像信号から各音声信号と映像信号とを抽出し、抽出した各音声信号を取得先の各音声入力装置に対応する各音声出力装置に出力するとともに抽出した映像信号を映像出力装置に出力する出力制御装置をさらに有し、映像出力装置は、出力制御装置によって出力された映像信号に基づいて表示面に映像を出力し、複数の音声出力装置は、出力制御装置によって出力された音声信号に基づいて音声を出力することとしてもよい。
【００１３】
映像音声入力システムは、映像入力装置によって取得された映像信号と複数の音声入力装置によって取得された各音声信号とを結合することによって音声映像信号を生成し、生成した音声映像信号を映像音声出力システムに送信する入力制御装置をさらに有し、映像音声出力システムは、映像音声入力システムから送信された音声映像信号を受信し、受信した音声映像信号から各音声信号と映像信号とを抽出し、抽出した各音声信号を取得先の各音声入力装置に対応する各音声出力装置に出力するとともに抽出した映像信号を映像出力装置に出力する出力制御装置をさらに有し、映像出力装置は、出力制御装置によって出力された映像信号に基づいて表示面に映像を出力し、複数の音声出力装置は、出力制御装置によって出力された音声信号に基づいて音声を出力することとしてもよい。
【発明の効果】
【００１４】
以上説明したように本発明によれば、視聴者が撮影された映像を見るとともに集音された音声を聴くことによって撮影および集音がなされた場所の様子をリアルに感じることが可能である。
【図面の簡単な説明】
【００１５】
【図１】本実施形態に係る映像音声入出力システムの構成図である。
【図２】音声入力装置が設置される様子の一例を示す図である。
【図３】音声出力装置が設置される様子の一例を示す図である。
【図４】出力音声の音量および遅延時間の算出を説明するための図である。
【図５】基準点からの距離と距離減衰の大きさ（音量の低下量）との対応関係を示す図である。
【図６】基準点からの距離とディレイ補正量（遅延時間）との対応関係を示す図である。
【図７】センターマイクが設置されている仮想的な位置と現実的な位置との関係を示す図である。
【発明を実施するための形態】
【００１６】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。なお、説明は以下の順序で行う。
【００１７】
１． 第１実施形態
１−１． 映像音声入出力システムの構成
１−２． 映像音声入力システムの構成
１−３． 映像音声出力システムの構成
１−４．出力音声の音量および遅延時間の算出
２． 第１実施形態の変形例
３． まとめ
【００１８】
＜１．第１実施形態＞
本発明の第１実施形態について説明する。
【００１９】
［１−１．映像音声入出力システムの構成］
図１は、本実施形態に係る映像音声入出力システムの構成図である。図１に示すように、本実施形態に係る映像音声入出力システム１は、映像音声入力システム１００と、映像音声出力システム２００とを備えるものである。映像音声入力システム１００は、例えば、多くの観客が集まるコンサート会場やスポーツイベントが行われる会場等に設置されるシステムである。しかし、映像音声入力システム１００が設置される場所については、これらの会場に限定されるものではなく、視聴者によって視聴される映像や音声が取得できる場所であればどこであってもよい。
【００２０】
映像音声出力システム２００は、映像音声入力システム１００によって取得された映像や音声を視聴者が視聴するために使用されるシステムである。例えば、会場に行くことができない視聴者や会場に入れない視聴者が会場から離れた場所に集まり、集まった視聴者が一緒に会場の様子を視聴する場合等が想定される。したがって、映像音声出力システム２００は、映像音声入力システム１００が設置される会場とは離れた場所に設置されることが想定される。例えば、視聴者の数が千人以上といった規模である場合には、映像音声出力システム２００は、広い場所に設置されることが想定される。しかし、視聴者の数が数人といった規模である場合には、映像音声出力システム２００は、視聴者個人の家等の狭い場所に設置されることも想定される。
【００２１】
［１−２．映像音声入力システムの構成］
映像音声入力システム１００は、少なくとも、映像入力装置１１０と、複数の音声入力装置１２０とを有するものである。以下、図１および図２を参照しながら、映像音声入力システム１００を構成する各装置について説明する。
【００２２】
図２は、音声入力装置が設置される様子の一例を示す図である。図２に示すように、音声入力装置１２０は、例えば、サッカー競技場内の至る場所に、低層マイクＬＭ１〜ＬＭ７、センターマイクＣＭ８、中層マイクＭＭ９〜１７、高層マイクＨＭ１８，１９として設置される。図２に示す例では、ピッチレベル（低層）に低層マイクＬＭ１〜ＬＭ７、センターマイクＣＭ８が設置され、スタンドレベル（中層）に中層マイクＭＭ９〜１７が設置され、上空レベル（高層）に高層マイクＨＭ１８，１９が設置されている。つまり、ピッチレベル（低層）では８ｃｈのサラウンド、スタンドレベル（中層）では９ｃｈのサラウンド、上空レベル（高層）では２ｃｈのステレオの合計１９ｃｈを使用した集音を実現する。
【００２３】
ピッチレベル（低層）とスタンドレベル（中層）と上空レベル（高層）とは、それぞれ高さが異なるものである。このように、ピッチレベル（低層）、スタンドレベル（中層）、上空レベル（高層）という３つの層において集音した音声を再生することによって、サッカー競技場における競技の様子をよりリアルに再現することができる。図２に示す例では、層の数は３であるとするが、層の数はこれに限定されるものではなく、複数であればいくつであってもよい。また、各層にはマイクが１つ以上設定されることとすればよい。なお、競技を妨害することを防ぐために、センターマイクＣＭ８は、例えば、パラボラアンテナ等によって構成され、このパラボラアンテナが遠方から吊るされることによって実現される。
【００２４】
図１に戻って説明を続ける。映像入力装置１１０は、所定の方向に対して所定の倍率で撮影することによって映像を取得し、取得した映像を電気信号に変換し、変換後の電気信号を映像信号として取得するものである。所定の方向は特に限定されるものではなく、映像入力装置１１０によって撮影された映像を見る視聴者が要望するような方向に自由に決めることが可能である。また、所定の倍率は特に限定されるものではなく、映像入力装置１１０によって撮影された映像を見る視聴者が要望するような倍率に自由に決めることが可能である。しかし、映像入力装置１１０は、所定の方向に対して所定の倍率で撮影することとするので、所定のエリアを固定的に撮影した映像が取得される。映像入力装置１１０が設置される位置は特に限定されるものではなく、映像入力装置１１０によって撮影された映像を見る視聴者が要望するような位置に自由に決めることが可能であり、例えば、特別席の前に設置することが可能である。映像入力装置１１０は、例えば、カメラ等によって構成されるものである。
【００２５】
複数の音声入力装置１２０は、映像入力装置１１０が設置された地点からの水平距離および高さが異なる複数の地点のそれぞれに設置され、周囲の振動を検知し、検知した振動を電気信号に変換し、変換後の電気信号を音声信号として取得するものである。周囲の振動とは、例えば、音声入力装置１２０に接している媒質（例えば、空気）の振動である。音声入力装置１２０は、例えば、マイク等によって構成されるものである。図２に示した例では、低層マイクＬＭ１〜ＬＭ７およびセンターマイクＣＭ８と中層マイクＭＭ９〜１７と高層マイクＨＭ１８，１９とはそれぞれ異なる高さに設置されている。また、図２に示した例では、映像入力装置１１０が設置される位置（例えば、特別席の前）からの水平距離が異なる複数の地点にマイク（低層マイクＬＭ１〜ＬＭ７、センターマイクＣＭ８、中層マイクＭＭ９〜１７、高層マイクＨＭ１８，１９）が設置されている。
【００２６】
［１−３．映像音声出力システムの構成］
映像音声出力システム２００は、少なくとも、映像出力装置２１０と、複数の音声出力装置２２０とを有するものである。以下、図１および図３を参照しながら、映像音声出力システム２００を構成する各装置について説明する。
【００２７】
図３は、音声出力装置が設置される様子の一例を示す図である。図３に示すように、音声出力装置２２０は、例えば、映像出力装置２１０が有する表示面２１１内または表示面２１１の延長上に、スピーカーＳ１〜Ｓ１９として設置される。図３に示す例では、スピーカーＳ８が表示面２１１内に設置され、他のスピーカーＳ１〜Ｓ７、Ｓ９〜Ｓ１９が表示面２１１の延長上に設置されている。スピーカーＳ８は、表示面２１１に表示されている映像に出現するセンターマイクＣＭ８の位置に合わせて設置される。同様に、スピーカーＳ１〜Ｓ７、Ｓ９〜Ｓ１９は、撮影エリアが無限に拡がったと仮定した場合に表示面２１１に表示される映像に出現する各マイク（低層マイクＬＭ１〜ＬＭ７、中層マイクＭＭ９〜１７、高層マイクＨＭ１８，１９）の位置に合わせて設置される。図３に示した例では、表示面（スクリーン）２２０の大きさは、横が１００ｍ、縦が２０ｍであるが、この大きさに限定されるものではない。また、図３に示した例では、音声出力装置２２０（スピーカーＳ１〜Ｓ１９）は、表示面２１１に表示されている映像の中心に向かって音声を出力することが可能な向きに設置されている。
【００２８】
図１に戻って説明を続ける。映像出力装置２１０は、表示面２１１を有し、映像入力装置１１０によって取得された映像信号に基づいて表示面２１１に映像を出力するものである。映像出力装置２１０は、例えば、大型スクリーンやテレビ等の表示装置等によって構成されるが、映像出力装置２１０の種類は特に限定されるものではない。
【００２９】
複数の音声出力装置２２０は、複数の音声入力装置１２０のそれぞれに対応するものである。複数の音声出力装置２２０は、対応する複数の音声入力装置１２０のそれぞれが設置されている各地点から表示面２１１に対して垂線を引いた場合における垂線の足のそれぞれを、実物大に対する映像の縮小率または拡大率に従って映像の中心を基準として縮小または拡大させた場合に決定される各位置に設置される。ただし、この垂線の起点となる複数の音声入力装置１２０のそれぞれが設置されている各地点とは、表示面２１１を取り巻いて仮想的に複数の音声入力装置１２０が設置されているとした場合の各地点を指すものである。すなわち、実際に設置されている複数の音声入力装置１２０と映像入力装置１１０との間において各装置の位置関係や向きを維持したまま、映像入力装置１１０を表示面２１１の中点に移動させると仮定するとともに適切に回転したと仮定した場合に決定される複数の音声入力装置１２０の移動後および回転後の各位置を各地点とする。適切な回転とは、例えば、視聴者が表示面２１１に表示される映像を表示面２１１に対して垂直な方向に見た場合における視聴者の視線の方向と上記した所定の方向とを一致させるような回転である。音声出力装置２２０は、対応する音声入力装置１２０によって取得された音声信号に基づいて音声を出力する。複数の音声出力装置２２０は、例えば、スピーカー等によって構成される。
【００３０】
また、複数の音声出力装置２２０は、表示面２１１に表示されている映像の中心に向かって音声を出力することが可能な向きに設置されることとしてもよい。このような構成によれば、映像と音声との原点を合わせることが可能となる。
【００３１】
映像音声出力システム２００は、出力制御装置２３０を有することとしてもよい。出力制御装置２３０は、複数の音声入力装置１２０が設置されている位置から所定の地点までの距離に応じた時間だけ音声が出力される時刻を遅延させて、対応する複数の音声出力装置２２０に音声を出力させるものである。これは、複数の音声入力装置１２０が設置されている位置から所定の地点までの距離が大きいほど、所定の地点には音声入力装置１２０から発せられる音声が遅れて到着することによる。複数の音声出力装置２２０は、表示面２１１内または表示面２１１の延長上に設置されるために、音声出力装置２２０から視聴者までの距離は複数の音声出力装置２２０間においてほとんど差が生じない。そのため、出力制御装置２３０が音声の出力される時刻を調整することとすればよい。どの程度の遅延を生じさせるかについては後述する。所定の地点は、特に限定されるものではないが、例えば、表示面２１１に表示されている映像の中心に映っている地点であるとすることができる。このようにすれば、映像と音声との原点を合わせることが可能となる。
【００３２】
また、出力制御装置２３０は、複数の音声入力装置１２０が設置されている位置から所定の地点までの距離に応じた音量だけ音声の音量を小さくして、対応する複数の音声出力装置２２０に音声を出力させることとしてもよい。これは、複数の音声入力装置１２０が設置されている位置から所定の地点までの距離が大きいほど、所定の地点には音声入力装置１２０から発せられる音声が小さい音量となって到着することによる。複数の音声出力装置２２０は、表示面２１１内または表示面２１１の延長上に設置されるために、音声出力装置２２０から視聴者までの距離は複数の音声出力装置２２０間においてほとんど差が生じない。そのため、出力制御装置２３０が出力される音声の音量を調整することとすればよい。どの程度の音量を小さくするかについては後述する。所定の地点は、特に限定されるものではないが、例えば、表示面２１１に表示されている映像の中心に映っている地点であるとすることができる。このようにすれば、映像と音声との原点を合わせることが可能となる。
【００３３】
映像音声入力システム１００は、入力制御装置１３０を有することとしてもよい。入力制御装置１３０は、映像入力装置１１０によって取得された映像信号と複数の音声入力装置１２０によって取得された各音声信号とを結合することによって音声映像信号を生成し、生成した音声映像信号を記録媒体に記録するものである。入力制御装置１３０は、映像信号が取得された時刻と各音声信号が取得された時刻とを対応付けて映像信号と各音声信号とを結合する。
【００３４】
映像音声入力システム１００が入力制御装置１３０を有する場合には、出力制御装置２３０は、記録媒体に記録された音声映像信号を読み出し、読み出した音声映像信号から各音声信号と映像信号とを抽出することとしてもよい。また、この場合には、出力制御装置２３０は、抽出した各音声信号を取得先の各音声入力装置１２０に対応する各音声出力装置２２０に出力するとともに抽出した映像信号を映像出力装置２１０に出力することとしてもよい。さらに、この場合には、映像出力装置２１０は、出力制御装置２３０によって出力された映像信号に基づいて表示面２１１に映像を出力し、複数の音声出力装置２２０は、出力制御装置２３０によって出力された音声信号に基づいて音声を出力することとしてもよい。
【００３５】
映像音声入力システム１００は、上記したような入力制御装置１３０の機能と異なる機能を有する入力制御装置１３０を有することとしてもよい。すなわち、入力制御装置１３０は、映像入力装置１１０によって取得された映像信号と複数の音声入力装置１２０によって取得された各音声信号とを結合することによって音声映像信号を生成し、生成した音声映像信号を映像音声出力システム２００に送信することとしてもよい。入力制御装置１３０は、映像信号が取得された時刻と各音声信号が取得された時刻とを対応付けて映像信号と各音声信号とを結合する。例えば、入力制御装置１３０と出力制御装置２３０とが通信可能に構成されることによって、映像音声入力システム１００と映像音声出力システム２００との間で情報の送受信を行うことを可能にすることができる。
【００３６】
映像音声入力システム１００がこのような入力制御装置１３０を有する場合には、入力制御装置１３０は、映像音声入力システム１００から送信された音声映像信号を受信し、受信した音声映像信号から各音声信号と映像信号とを抽出することとしてもよい。また、この場合には、出力制御装置２３０は、抽出した各音声信号を取得先の各音声入力装置１２０に対応する各音声出力装置２２０に出力するとともに抽出した映像信号を映像出力装置２１０に出力することとしてもよい。さらに、この場合には、映像出力装置２１０は、出力制御装置２３０によって出力された映像信号に基づいて表示面２１１に映像を出力し、複数の音声出力装置２２０は、出力制御装置２３０によって出力された音声信号に基づいて音声を出力することとしてもよい。
【００３７】
［１−４．出力音声の音量および遅延時間の算出］
図４は、出力音声の音量および遅延時間の算出を説明するための図である。図５は、基準点からの距離と距離減衰の大きさ（音量の低下量）との対応関係を示す図である。図６は、基準点からの距離とディレイ補正量（遅延時間）との対応関係を示す図である。図７は、センターマイクが設置されている仮想的な位置と現実的な位置との関係を示す図である。
【００３８】
以下、図４〜図７を参照しながら、音声出力装置２２０によって出力される音声の音量および遅延時間の算出技術について説明する。なお、図４においては、便宜上、低層マイクＬＭ１〜ＬＭ７、センターマイクＣＭ８、中層マイクＭＭ８〜ＭＭ１２、スピーカーＳＰ１３〜ＳＰ１９の位置をそれぞれ「０１」〜「１９」で示すものとする。
【００３９】
また、ここでは、映像出力装置２１０の表示面２１１の幅（スクリーン幅）が２０ｍ以下で、ＳＰＶ（映像出力装置２１０の表示面２１１（スクリーン））を見る観客（視聴者）が２０ｍ四方以内に収まるような小規模ＳＰＶの場合を想定した算出例について説明する。しかしながら、映像出力装置２１０の表示面２１１の規模や、視聴者の規模はこれらに限定されるものではない。
【００４０】
映像出力装置２１０の表示面２１１として小規模ＳＰＶを使用する場合には、各スピーカーＳ１〜Ｓ１９から観客までの距離が収録側の各マイク（低層マイクＬＭ１〜ＬＭ７、センターマイクＣＭ８、中層マイクＭＭ９〜１７、高層マイクＨＭ１８，１９）間の距離と比べて小さいので、ＳＰＶが設置された会場の各スピーカーが存在する位置の違いによる影響は無視して計算することにする。なお、リアルサイズに近い大規模ＳＰＶを使用する場合には、下記計算に加えて、観客から実際のスピーカーが存在する位置までの距離に相当する分を差し引いて出力音声の音量および遅延時間を算出すればよい。
【００４１】
まず、２つの基準点と１つの基準長が必要となるため、全ての基準となるｒｅｆｅｒｅｎｃｅ ｐｏｉｎｔｓを決める。基準点の１つは低層マイクＬＭ５と低層マイクＬＭ６とを結ぶ線の中点から低層スタンド前縁まで引いた垂線の中点とし、ここをＳＰＶの観客席前方の音の調整基準とする。この点を基準点Ａとする。しかしながら、この基準点Ａの位置は特に限定されるものではない。
【００４２】
もう１つの基準点は、表示面２１１（スクリーン）中央からスタンド上方の中層マイクＭＭ１７まで引いた垂線の中点とし、ここをＳＰＶの観客席後方の音の調整基準とする。これを基準点Ｂとする。しかしながら、この基準点Ｂの位置は特に限定されるものではない。中層マイクＭＭ１３，ＭＭ１４は、ＳＰＶの観客席のやや前方（表示面２１１（スクリーン）側）に位置していることになるが、選手達がプレイするピッチが前面スクリーン（表示面２１１（スクリーン）側）にあるので観客席後方の音のグループに入れることにする。
【００４３】
この基準点Ｂが実際の試聴ポイントの中央に相当する。なおここで規定するスピーカーＳ１３〜Ｓ１９の位置は、スタジアム規模のリアルサイズＳＰＶに設置する場合の便宜上の位置であり、小規模ＳＰＶを使用した場合に設置されるスピーカーＳ１３〜Ｓ１９の位置を示すものではない。
【００４４】
次に、距離減衰の基準となる基準長を算出する。基準長は基準点Ａから低層マイクＬＭ６（または低層マイクＬＭ５）までの距離とする。低層マイクＬＭ５と低層マイクＬＭ６とを結ぶ線から低層スタンド前縁までの距離が２８ｍ、センターラインから低層マイクＬＭ６までの距離が３０ｍであるときには、以下の計算式（１）によって基準長を算出することが可能である。
【００４５】
√（１４ｍ×１４ｍ＋３０ｍ×３０ｍ）＝３３ｍ …（１）
【００４６】
しかしながら、基準長の算出方法については、このような方法に限定されない。また、基準長を実際に測定することによって求めることとしてもよい。
【００４７】
次に、基準点Ａから低層マイクＬＭ１〜ＬＭ７、センターマイクＣＭ８、中層マイクＭＭ８〜ＭＭ１２、基準点ＢからスピーカーＳＰ１３〜ＳＰ１９までの距離を計算または実測して距離減衰（低下音量）とディレイ補正値（遅延時間）を計算する。ここで、基準点Ａから低層マイクＬＭ１〜ＬＭ７、センターマイクＣＭ８、中層マイクＭＭ８〜ＭＭ１２までの距離は水平距離で構わないが、基準点ＢからＳＰ１３〜ＳＰ１９までの距離は高さも含めて３次元的に計算して距離を求める。
【００４８】
このようにすることで、基準点Ａを元に算出したピッチ前方の音声が、基準点Ｂを中心とした位置に移動してスクリーン（表示面２１１）後方に定位し、スクリーン（表示面２１１）に映し出された俯瞰映像と聴感的に一致した音場を形成することができる。それぞれの距離をＸとすると距離減衰（低下音量）は次の計算式（２）によって導出される。
【００４９】
２０×ｌｏｇ（３３ｍ／Ｘｍ）ｄＢ …（２）
【００５０】
例えば、基準点Ａから低層マイクＬＭ１までの距離は９２ｍなので、上記計算式（２）により距離減衰（低下音量）は−８．９ｄＢと算出される。同様に、ディレイ補正値も次の計算式（３）によって導出される。
【００５１】
Ｘｍ／３４０ｍ／ｓ×１０００ｍｓ／ｓ …（３）
（ただし、音速を３４０ｍ／ｓとして計算）
【００５２】
例えば、基準点Ａから低層マイクＬＭ１までの距離は９２ｍなので、上記計算式（３）により距離減衰は２７１ｍｓと算出される。まず、この計算式（３）でセンターマイクＣＭ８による収録音を除く全てのチャンネルの素の補正値を算出する。なお、センターマイクＣＭ８を使用しないＳＰＶの場合は、ここで算出した補正値がそのままディレイ補正値となる。
【００５３】
センターマイクＣＭ８はパラボラマイクでセンターサークル前縁付近を中心とした音を拾っているため、収録時に大きな空間ディレイを含んでおり、この遅れを逆補正しなければならない。
【００５４】
センターマイクＣＭ８の仮想位置（ｖｉｒｔｕａｌ０８）は、基準点Ａから４１ｍの位置にある。しかし、実際のセンターマイクＣＭ８の位置は仮想位置から７３ｍ離れているので、その差分の３２ｍに相当する負のディレイ分を、センターマイクＣＭ８を除く全てのチャンネルに加算することで補正を行う。
【００５５】
例えば、基準点Ａから低層マイクＬＭ１〜ＬＭ７までの距離は９２ｍであるが、上記逆補正分を加え１２４ｍとして計算するので、先に示した計算式（３）により距離減衰は３６５ｍｓとなる。
【００５６】
なお、大規模ＳＰＶの場合は、例えば、後方のスピーカーは実際の音源の位置に近づくので距離減衰もディレイ補正もほとんど不要になり、基準点Ａから低層マイクＬＭ１〜ＬＭ７、センターマイクＣＭ８、中層マイクＭＭ８〜ＭＭ１２に関して、上記で計算した距離から実際のスピーカー設置位置までの距離分を差し引いて計算すればよい。
【００５７】
＜２．第１実施形態の変形例＞
なお、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００５８】
＜３．まとめ＞
本実施形態によれば、視聴者が撮影された映像を見るとともに集音された音声を聴くことによって撮影および集音がなされた場所の様子をリアルに感じることが可能である。
【符号の説明】
【００５９】
１ 映像音声入出力システム
１００ 映像音声入力システム
１１０ 映像入力装置
１２０ 音声入力装置
１３０ 入力制御装置
２００ 映像音声出力システム
２１０ 映像出力装置
２１１ 表示面
２２０ 音声出力装置
２３０ 出力制御装置
ＬＭ１〜ＬＭ７ 低層マイク
ＣＭ８ センターマイク
ＭＭ９〜ＭＭ１７ 中層マイク
ＨＭ１８，ＨＭ１９ 高層マイク
Ｓ１〜Ｓ１９ スピーカー
【技術分野】
【０００１】
本発明は、映像音声入出力システムに関する。
【背景技術】
【０００２】
一般的に、多くの観客が集まるコンサート会場やスポーツイベントが行われる会場の様子を伝えるために、会場内を撮影して取得された映像や会場内から集音して取得された音声が使用される。視聴者は、取得された映像を見ながら取得された音声を聴くことで会場の様子を知ることができる。
【０００３】
視聴者が聴く音声を出力する技術には、例えば、ステレオ（ｓｔｅｒｅｏ）や、５．１ｃｈ、６．１ｃｈ、７．１ｃｈサラウンド（Ｓｕｒｒｏｕｎｄ）等によるものがある。このような技術によれば、視聴者は会場に身を置いているような臨場感を味わいながら音声を聴くことが可能である。その他にも、音声を出力する技術には様々なものが開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２０８３１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記したような技術によれば、映像に音像を定位させることができないという問題があった。実際に会場にいない視聴者は、映像を見ながら映像から出力された音声を聴くことによって、会場の様子をよりリアルに感じることができる。そのときに出力される音声が映像にマッチしたものである場合には、視聴者は会場の様子をよりリアルに感じることができる。これらを満たすためには、映像に音像を定位させることが重要である。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、視聴者が撮影された映像を見るとともに集音された音声を聴くことによって撮影および集音がなされた場所の様子をリアルに感じることが可能な、新規かつ改良された技術を提供しようとするものである。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、所定の方向に対して所定の倍率で撮影することによって映像を取得し、取得した映像を電気信号に変換し、変換後の電気信号を映像信号として取得する映像入力装置と、映像入力装置が設置された地点からの水平距離および高さが異なる複数の地点のそれぞれに設置され、周囲の振動を検知し、検知した振動を電気信号に変換し、変換後の電気信号を音声信号として取得する複数の音声入力装置と、を有する、映像音声入力システムと、表示面を有し、映像入力装置によって取得された映像信号に基づいて表示面に映像を出力する映像出力装置と、複数の音声入力装置のそれぞれに対応する複数の音声出力装置と、を有し、複数の音声出力装置は、対応する複数の音声入力装置のそれぞれが設置されている各地点から表示面に対して垂線を引いた場合における垂線の足のそれぞれを、実物大に対する映像の縮小率または拡大率に従って映像の中心を基準として縮小または拡大させた場合に決定される各位置に設置され、対応する音声入力装置によって取得された音声信号に基づいて音声を出力する、映像音声出力システムと、を備える、映像音声入出力システムが提供される。
【０００８】
複数の音声出力装置は、映像の中心に向かって音声を出力することが可能な向きに設置されていることとしてもよい。
【０００９】
映像音声出力システムは、複数の音声入力装置が設置されている位置から所定の地点までの距離に応じた時間だけ音声が出力される時刻を遅延させて、対応する複数の音声出力装置に音声を出力させる出力制御装置をさらに有することとしてもよい。
【００１０】
映像音声出力システムは、複数の音声入力装置が設置されている位置から所定の地点までの距離に応じた音量だけ音声の音量を小さくして、対応する複数の音声出力装置に音声を出力させる出力制御装置、をさらに有することとしてもよい。
【００１１】
所定の地点は、映像の中心に映っている地点であるとしてもよい。
【００１２】
映像音声入力システムは、映像入力装置によって取得された映像信号と複数の音声入力装置によって取得された各音声信号とを結合することによって音声映像信号を生成し、生成した音声映像信号を記録媒体に記録する入力制御装置をさらに有し、映像音声出力システムは、記録媒体に記録された音声映像信号を読み出し、読み出した音声映像信号から各音声信号と映像信号とを抽出し、抽出した各音声信号を取得先の各音声入力装置に対応する各音声出力装置に出力するとともに抽出した映像信号を映像出力装置に出力する出力制御装置をさらに有し、映像出力装置は、出力制御装置によって出力された映像信号に基づいて表示面に映像を出力し、複数の音声出力装置は、出力制御装置によって出力された音声信号に基づいて音声を出力することとしてもよい。
【００１３】
映像音声入力システムは、映像入力装置によって取得された映像信号と複数の音声入力装置によって取得された各音声信号とを結合することによって音声映像信号を生成し、生成した音声映像信号を映像音声出力システムに送信する入力制御装置をさらに有し、映像音声出力システムは、映像音声入力システムから送信された音声映像信号を受信し、受信した音声映像信号から各音声信号と映像信号とを抽出し、抽出した各音声信号を取得先の各音声入力装置に対応する各音声出力装置に出力するとともに抽出した映像信号を映像出力装置に出力する出力制御装置をさらに有し、映像出力装置は、出力制御装置によって出力された映像信号に基づいて表示面に映像を出力し、複数の音声出力装置は、出力制御装置によって出力された音声信号に基づいて音声を出力することとしてもよい。
【発明の効果】
【００１４】
以上説明したように本発明によれば、視聴者が撮影された映像を見るとともに集音された音声を聴くことによって撮影および集音がなされた場所の様子をリアルに感じることが可能である。
【図面の簡単な説明】
【００１５】
【図１】本実施形態に係る映像音声入出力システムの構成図である。
【図２】音声入力装置が設置される様子の一例を示す図である。
【図３】音声出力装置が設置される様子の一例を示す図である。
【図４】出力音声の音量および遅延時間の算出を説明するための図である。
【図５】基準点からの距離と距離減衰の大きさ（音量の低下量）との対応関係を示す図である。
【図６】基準点からの距離とディレイ補正量（遅延時間）との対応関係を示す図である。
【図７】センターマイクが設置されている仮想的な位置と現実的な位置との関係を示す図である。
【発明を実施するための形態】
【００１６】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。なお、説明は以下の順序で行う。
【００１７】
１． 第１実施形態
１−１． 映像音声入出力システムの構成
１−２． 映像音声入力システムの構成
１−３． 映像音声出力システムの構成
１−４．出力音声の音量および遅延時間の算出
２． 第１実施形態の変形例
３． まとめ
【００１８】
＜１．第１実施形態＞
本発明の第１実施形態について説明する。
【００１９】
［１−１．映像音声入出力システムの構成］
図１は、本実施形態に係る映像音声入出力システムの構成図である。図１に示すように、本実施形態に係る映像音声入出力システム１は、映像音声入力システム１００と、映像音声出力システム２００とを備えるものである。映像音声入力システム１００は、例えば、多くの観客が集まるコンサート会場やスポーツイベントが行われる会場等に設置されるシステムである。しかし、映像音声入力システム１００が設置される場所については、これらの会場に限定されるものではなく、視聴者によって視聴される映像や音声が取得できる場所であればどこであってもよい。
【００２０】
映像音声出力システム２００は、映像音声入力システム１００によって取得された映像や音声を視聴者が視聴するために使用されるシステムである。例えば、会場に行くことができない視聴者や会場に入れない視聴者が会場から離れた場所に集まり、集まった視聴者が一緒に会場の様子を視聴する場合等が想定される。したがって、映像音声出力システム２００は、映像音声入力システム１００が設置される会場とは離れた場所に設置されることが想定される。例えば、視聴者の数が千人以上といった規模である場合には、映像音声出力システム２００は、広い場所に設置されることが想定される。しかし、視聴者の数が数人といった規模である場合には、映像音声出力システム２００は、視聴者個人の家等の狭い場所に設置されることも想定される。
【００２１】
［１−２．映像音声入力システムの構成］
映像音声入力システム１００は、少なくとも、映像入力装置１１０と、複数の音声入力装置１２０とを有するものである。以下、図１および図２を参照しながら、映像音声入力システム１００を構成する各装置について説明する。
【００２２】
図２は、音声入力装置が設置される様子の一例を示す図である。図２に示すように、音声入力装置１２０は、例えば、サッカー競技場内の至る場所に、低層マイクＬＭ１〜ＬＭ７、センターマイクＣＭ８、中層マイクＭＭ９〜１７、高層マイクＨＭ１８，１９として設置される。図２に示す例では、ピッチレベル（低層）に低層マイクＬＭ１〜ＬＭ７、センターマイクＣＭ８が設置され、スタンドレベル（中層）に中層マイクＭＭ９〜１７が設置され、上空レベル（高層）に高層マイクＨＭ１８，１９が設置されている。つまり、ピッチレベル（低層）では８ｃｈのサラウンド、スタンドレベル（中層）では９ｃｈのサラウンド、上空レベル（高層）では２ｃｈのステレオの合計１９ｃｈを使用した集音を実現する。
【００２３】
ピッチレベル（低層）とスタンドレベル（中層）と上空レベル（高層）とは、それぞれ高さが異なるものである。このように、ピッチレベル（低層）、スタンドレベル（中層）、上空レベル（高層）という３つの層において集音した音声を再生することによって、サッカー競技場における競技の様子をよりリアルに再現することができる。図２に示す例では、層の数は３であるとするが、層の数はこれに限定されるものではなく、複数であればいくつであってもよい。また、各層にはマイクが１つ以上設定されることとすればよい。なお、競技を妨害することを防ぐために、センターマイクＣＭ８は、例えば、パラボラアンテナ等によって構成され、このパラボラアンテナが遠方から吊るされることによって実現される。
【００２４】
図１に戻って説明を続ける。映像入力装置１１０は、所定の方向に対して所定の倍率で撮影することによって映像を取得し、取得した映像を電気信号に変換し、変換後の電気信号を映像信号として取得するものである。所定の方向は特に限定されるものではなく、映像入力装置１１０によって撮影された映像を見る視聴者が要望するような方向に自由に決めることが可能である。また、所定の倍率は特に限定されるものではなく、映像入力装置１１０によって撮影された映像を見る視聴者が要望するような倍率に自由に決めることが可能である。しかし、映像入力装置１１０は、所定の方向に対して所定の倍率で撮影することとするので、所定のエリアを固定的に撮影した映像が取得される。映像入力装置１１０が設置される位置は特に限定されるものではなく、映像入力装置１１０によって撮影された映像を見る視聴者が要望するような位置に自由に決めることが可能であり、例えば、特別席の前に設置することが可能である。映像入力装置１１０は、例えば、カメラ等によって構成されるものである。
【００２５】
複数の音声入力装置１２０は、映像入力装置１１０が設置された地点からの水平距離および高さが異なる複数の地点のそれぞれに設置され、周囲の振動を検知し、検知した振動を電気信号に変換し、変換後の電気信号を音声信号として取得するものである。周囲の振動とは、例えば、音声入力装置１２０に接している媒質（例えば、空気）の振動である。音声入力装置１２０は、例えば、マイク等によって構成されるものである。図２に示した例では、低層マイクＬＭ１〜ＬＭ７およびセンターマイクＣＭ８と中層マイクＭＭ９〜１７と高層マイクＨＭ１８，１９とはそれぞれ異なる高さに設置されている。また、図２に示した例では、映像入力装置１１０が設置される位置（例えば、特別席の前）からの水平距離が異なる複数の地点にマイク（低層マイクＬＭ１〜ＬＭ７、センターマイクＣＭ８、中層マイクＭＭ９〜１７、高層マイクＨＭ１８，１９）が設置されている。
【００２６】
［１−３．映像音声出力システムの構成］
映像音声出力システム２００は、少なくとも、映像出力装置２１０と、複数の音声出力装置２２０とを有するものである。以下、図１および図３を参照しながら、映像音声出力システム２００を構成する各装置について説明する。
【００２７】
図３は、音声出力装置が設置される様子の一例を示す図である。図３に示すように、音声出力装置２２０は、例えば、映像出力装置２１０が有する表示面２１１内または表示面２１１の延長上に、スピーカーＳ１〜Ｓ１９として設置される。図３に示す例では、スピーカーＳ８が表示面２１１内に設置され、他のスピーカーＳ１〜Ｓ７、Ｓ９〜Ｓ１９が表示面２１１の延長上に設置されている。スピーカーＳ８は、表示面２１１に表示されている映像に出現するセンターマイクＣＭ８の位置に合わせて設置される。同様に、スピーカーＳ１〜Ｓ７、Ｓ９〜Ｓ１９は、撮影エリアが無限に拡がったと仮定した場合に表示面２１１に表示される映像に出現する各マイク（低層マイクＬＭ１〜ＬＭ７、中層マイクＭＭ９〜１７、高層マイクＨＭ１８，１９）の位置に合わせて設置される。図３に示した例では、表示面（スクリーン）２２０の大きさは、横が１００ｍ、縦が２０ｍであるが、この大きさに限定されるものではない。また、図３に示した例では、音声出力装置２２０（スピーカーＳ１〜Ｓ１９）は、表示面２１１に表示されている映像の中心に向かって音声を出力することが可能な向きに設置されている。
【００２８】
図１に戻って説明を続ける。映像出力装置２１０は、表示面２１１を有し、映像入力装置１１０によって取得された映像信号に基づいて表示面２１１に映像を出力するものである。映像出力装置２１０は、例えば、大型スクリーンやテレビ等の表示装置等によって構成されるが、映像出力装置２１０の種類は特に限定されるものではない。
【００２９】
複数の音声出力装置２２０は、複数の音声入力装置１２０のそれぞれに対応するものである。複数の音声出力装置２２０は、対応する複数の音声入力装置１２０のそれぞれが設置されている各地点から表示面２１１に対して垂線を引いた場合における垂線の足のそれぞれを、実物大に対する映像の縮小率または拡大率に従って映像の中心を基準として縮小または拡大させた場合に決定される各位置に設置される。ただし、この垂線の起点となる複数の音声入力装置１２０のそれぞれが設置されている各地点とは、表示面２１１を取り巻いて仮想的に複数の音声入力装置１２０が設置されているとした場合の各地点を指すものである。すなわち、実際に設置されている複数の音声入力装置１２０と映像入力装置１１０との間において各装置の位置関係や向きを維持したまま、映像入力装置１１０を表示面２１１の中点に移動させると仮定するとともに適切に回転したと仮定した場合に決定される複数の音声入力装置１２０の移動後および回転後の各位置を各地点とする。適切な回転とは、例えば、視聴者が表示面２１１に表示される映像を表示面２１１に対して垂直な方向に見た場合における視聴者の視線の方向と上記した所定の方向とを一致させるような回転である。音声出力装置２２０は、対応する音声入力装置１２０によって取得された音声信号に基づいて音声を出力する。複数の音声出力装置２２０は、例えば、スピーカー等によって構成される。
【００３０】
また、複数の音声出力装置２２０は、表示面２１１に表示されている映像の中心に向かって音声を出力することが可能な向きに設置されることとしてもよい。このような構成によれば、映像と音声との原点を合わせることが可能となる。
【００３１】
映像音声出力システム２００は、出力制御装置２３０を有することとしてもよい。出力制御装置２３０は、複数の音声入力装置１２０が設置されている位置から所定の地点までの距離に応じた時間だけ音声が出力される時刻を遅延させて、対応する複数の音声出力装置２２０に音声を出力させるものである。これは、複数の音声入力装置１２０が設置されている位置から所定の地点までの距離が大きいほど、所定の地点には音声入力装置１２０から発せられる音声が遅れて到着することによる。複数の音声出力装置２２０は、表示面２１１内または表示面２１１の延長上に設置されるために、音声出力装置２２０から視聴者までの距離は複数の音声出力装置２２０間においてほとんど差が生じない。そのため、出力制御装置２３０が音声の出力される時刻を調整することとすればよい。どの程度の遅延を生じさせるかについては後述する。所定の地点は、特に限定されるものではないが、例えば、表示面２１１に表示されている映像の中心に映っている地点であるとすることができる。このようにすれば、映像と音声との原点を合わせることが可能となる。
【００３２】
また、出力制御装置２３０は、複数の音声入力装置１２０が設置されている位置から所定の地点までの距離に応じた音量だけ音声の音量を小さくして、対応する複数の音声出力装置２２０に音声を出力させることとしてもよい。これは、複数の音声入力装置１２０が設置されている位置から所定の地点までの距離が大きいほど、所定の地点には音声入力装置１２０から発せられる音声が小さい音量となって到着することによる。複数の音声出力装置２２０は、表示面２１１内または表示面２１１の延長上に設置されるために、音声出力装置２２０から視聴者までの距離は複数の音声出力装置２２０間においてほとんど差が生じない。そのため、出力制御装置２３０が出力される音声の音量を調整することとすればよい。どの程度の音量を小さくするかについては後述する。所定の地点は、特に限定されるものではないが、例えば、表示面２１１に表示されている映像の中心に映っている地点であるとすることができる。このようにすれば、映像と音声との原点を合わせることが可能となる。
【００３３】
映像音声入力システム１００は、入力制御装置１３０を有することとしてもよい。入力制御装置１３０は、映像入力装置１１０によって取得された映像信号と複数の音声入力装置１２０によって取得された各音声信号とを結合することによって音声映像信号を生成し、生成した音声映像信号を記録媒体に記録するものである。入力制御装置１３０は、映像信号が取得された時刻と各音声信号が取得された時刻とを対応付けて映像信号と各音声信号とを結合する。
【００３４】
映像音声入力システム１００が入力制御装置１３０を有する場合には、出力制御装置２３０は、記録媒体に記録された音声映像信号を読み出し、読み出した音声映像信号から各音声信号と映像信号とを抽出することとしてもよい。また、この場合には、出力制御装置２３０は、抽出した各音声信号を取得先の各音声入力装置１２０に対応する各音声出力装置２２０に出力するとともに抽出した映像信号を映像出力装置２１０に出力することとしてもよい。さらに、この場合には、映像出力装置２１０は、出力制御装置２３０によって出力された映像信号に基づいて表示面２１１に映像を出力し、複数の音声出力装置２２０は、出力制御装置２３０によって出力された音声信号に基づいて音声を出力することとしてもよい。
【００３５】
映像音声入力システム１００は、上記したような入力制御装置１３０の機能と異なる機能を有する入力制御装置１３０を有することとしてもよい。すなわち、入力制御装置１３０は、映像入力装置１１０によって取得された映像信号と複数の音声入力装置１２０によって取得された各音声信号とを結合することによって音声映像信号を生成し、生成した音声映像信号を映像音声出力システム２００に送信することとしてもよい。入力制御装置１３０は、映像信号が取得された時刻と各音声信号が取得された時刻とを対応付けて映像信号と各音声信号とを結合する。例えば、入力制御装置１３０と出力制御装置２３０とが通信可能に構成されることによって、映像音声入力システム１００と映像音声出力システム２００との間で情報の送受信を行うことを可能にすることができる。
【００３６】
映像音声入力システム１００がこのような入力制御装置１３０を有する場合には、入力制御装置１３０は、映像音声入力システム１００から送信された音声映像信号を受信し、受信した音声映像信号から各音声信号と映像信号とを抽出することとしてもよい。また、この場合には、出力制御装置２３０は、抽出した各音声信号を取得先の各音声入力装置１２０に対応する各音声出力装置２２０に出力するとともに抽出した映像信号を映像出力装置２１０に出力することとしてもよい。さらに、この場合には、映像出力装置２１０は、出力制御装置２３０によって出力された映像信号に基づいて表示面２１１に映像を出力し、複数の音声出力装置２２０は、出力制御装置２３０によって出力された音声信号に基づいて音声を出力することとしてもよい。
【００３７】
［１−４．出力音声の音量および遅延時間の算出］
図４は、出力音声の音量および遅延時間の算出を説明するための図である。図５は、基準点からの距離と距離減衰の大きさ（音量の低下量）との対応関係を示す図である。図６は、基準点からの距離とディレイ補正量（遅延時間）との対応関係を示す図である。図７は、センターマイクが設置されている仮想的な位置と現実的な位置との関係を示す図である。
【００３８】
以下、図４〜図７を参照しながら、音声出力装置２２０によって出力される音声の音量および遅延時間の算出技術について説明する。なお、図４においては、便宜上、低層マイクＬＭ１〜ＬＭ７、センターマイクＣＭ８、中層マイクＭＭ８〜ＭＭ１２、スピーカーＳＰ１３〜ＳＰ１９の位置をそれぞれ「０１」〜「１９」で示すものとする。
【００３９】
また、ここでは、映像出力装置２１０の表示面２１１の幅（スクリーン幅）が２０ｍ以下で、ＳＰＶ（映像出力装置２１０の表示面２１１（スクリーン））を見る観客（視聴者）が２０ｍ四方以内に収まるような小規模ＳＰＶの場合を想定した算出例について説明する。しかしながら、映像出力装置２１０の表示面２１１の規模や、視聴者の規模はこれらに限定されるものではない。
【００４０】
映像出力装置２１０の表示面２１１として小規模ＳＰＶを使用する場合には、各スピーカーＳ１〜Ｓ１９から観客までの距離が収録側の各マイク（低層マイクＬＭ１〜ＬＭ７、センターマイクＣＭ８、中層マイクＭＭ９〜１７、高層マイクＨＭ１８，１９）間の距離と比べて小さいので、ＳＰＶが設置された会場の各スピーカーが存在する位置の違いによる影響は無視して計算することにする。なお、リアルサイズに近い大規模ＳＰＶを使用する場合には、下記計算に加えて、観客から実際のスピーカーが存在する位置までの距離に相当する分を差し引いて出力音声の音量および遅延時間を算出すればよい。
【００４１】
まず、２つの基準点と１つの基準長が必要となるため、全ての基準となるｒｅｆｅｒｅｎｃｅ ｐｏｉｎｔｓを決める。基準点の１つは低層マイクＬＭ５と低層マイクＬＭ６とを結ぶ線の中点から低層スタンド前縁まで引いた垂線の中点とし、ここをＳＰＶの観客席前方の音の調整基準とする。この点を基準点Ａとする。しかしながら、この基準点Ａの位置は特に限定されるものではない。
【００４２】
もう１つの基準点は、表示面２１１（スクリーン）中央からスタンド上方の中層マイクＭＭ１７まで引いた垂線の中点とし、ここをＳＰＶの観客席後方の音の調整基準とする。これを基準点Ｂとする。しかしながら、この基準点Ｂの位置は特に限定されるものではない。中層マイクＭＭ１３，ＭＭ１４は、ＳＰＶの観客席のやや前方（表示面２１１（スクリーン）側）に位置していることになるが、選手達がプレイするピッチが前面スクリーン（表示面２１１（スクリーン）側）にあるので観客席後方の音のグループに入れることにする。
【００４３】
この基準点Ｂが実際の試聴ポイントの中央に相当する。なおここで規定するスピーカーＳ１３〜Ｓ１９の位置は、スタジアム規模のリアルサイズＳＰＶに設置する場合の便宜上の位置であり、小規模ＳＰＶを使用した場合に設置されるスピーカーＳ１３〜Ｓ１９の位置を示すものではない。
【００４４】
次に、距離減衰の基準となる基準長を算出する。基準長は基準点Ａから低層マイクＬＭ６（または低層マイクＬＭ５）までの距離とする。低層マイクＬＭ５と低層マイクＬＭ６とを結ぶ線から低層スタンド前縁までの距離が２８ｍ、センターラインから低層マイクＬＭ６までの距離が３０ｍであるときには、以下の計算式（１）によって基準長を算出することが可能である。
【００４５】
√（１４ｍ×１４ｍ＋３０ｍ×３０ｍ）＝３３ｍ …（１）
【００４６】
しかしながら、基準長の算出方法については、このような方法に限定されない。また、基準長を実際に測定することによって求めることとしてもよい。
【００４７】
次に、基準点Ａから低層マイクＬＭ１〜ＬＭ７、センターマイクＣＭ８、中層マイクＭＭ８〜ＭＭ１２、基準点ＢからスピーカーＳＰ１３〜ＳＰ１９までの距離を計算または実測して距離減衰（低下音量）とディレイ補正値（遅延時間）を計算する。ここで、基準点Ａから低層マイクＬＭ１〜ＬＭ７、センターマイクＣＭ８、中層マイクＭＭ８〜ＭＭ１２までの距離は水平距離で構わないが、基準点ＢからＳＰ１３〜ＳＰ１９までの距離は高さも含めて３次元的に計算して距離を求める。
【００４８】
このようにすることで、基準点Ａを元に算出したピッチ前方の音声が、基準点Ｂを中心とした位置に移動してスクリーン（表示面２１１）後方に定位し、スクリーン（表示面２１１）に映し出された俯瞰映像と聴感的に一致した音場を形成することができる。それぞれの距離をＸとすると距離減衰（低下音量）は次の計算式（２）によって導出される。
【００４９】
２０×ｌｏｇ（３３ｍ／Ｘｍ）ｄＢ …（２）
【００５０】
例えば、基準点Ａから低層マイクＬＭ１までの距離は９２ｍなので、上記計算式（２）により距離減衰（低下音量）は−８．９ｄＢと算出される。同様に、ディレイ補正値も次の計算式（３）によって導出される。
【００５１】
Ｘｍ／３４０ｍ／ｓ×１０００ｍｓ／ｓ …（３）
（ただし、音速を３４０ｍ／ｓとして計算）
【００５２】
例えば、基準点Ａから低層マイクＬＭ１までの距離は９２ｍなので、上記計算式（３）により距離減衰は２７１ｍｓと算出される。まず、この計算式（３）でセンターマイクＣＭ８による収録音を除く全てのチャンネルの素の補正値を算出する。なお、センターマイクＣＭ８を使用しないＳＰＶの場合は、ここで算出した補正値がそのままディレイ補正値となる。
【００５３】
センターマイクＣＭ８はパラボラマイクでセンターサークル前縁付近を中心とした音を拾っているため、収録時に大きな空間ディレイを含んでおり、この遅れを逆補正しなければならない。
【００５４】
センターマイクＣＭ８の仮想位置（ｖｉｒｔｕａｌ０８）は、基準点Ａから４１ｍの位置にある。しかし、実際のセンターマイクＣＭ８の位置は仮想位置から７３ｍ離れているので、その差分の３２ｍに相当する負のディレイ分を、センターマイクＣＭ８を除く全てのチャンネルに加算することで補正を行う。
【００５５】
例えば、基準点Ａから低層マイクＬＭ１〜ＬＭ７までの距離は９２ｍであるが、上記逆補正分を加え１２４ｍとして計算するので、先に示した計算式（３）により距離減衰は３６５ｍｓとなる。
【００５６】
なお、大規模ＳＰＶの場合は、例えば、後方のスピーカーは実際の音源の位置に近づくので距離減衰もディレイ補正もほとんど不要になり、基準点Ａから低層マイクＬＭ１〜ＬＭ７、センターマイクＣＭ８、中層マイクＭＭ８〜ＭＭ１２に関して、上記で計算した距離から実際のスピーカー設置位置までの距離分を差し引いて計算すればよい。
【００５７】
＜２．第１実施形態の変形例＞
なお、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００５８】
＜３．まとめ＞
本実施形態によれば、視聴者が撮影された映像を見るとともに集音された音声を聴くことによって撮影および集音がなされた場所の様子をリアルに感じることが可能である。
【符号の説明】
【００５９】
１ 映像音声入出力システム
１００ 映像音声入力システム
１１０ 映像入力装置
１２０ 音声入力装置
１３０ 入力制御装置
２００ 映像音声出力システム
２１０ 映像出力装置
２１１ 表示面
２２０ 音声出力装置
２３０ 出力制御装置
ＬＭ１〜ＬＭ７ 低層マイク
ＣＭ８ センターマイク
ＭＭ９〜ＭＭ１７ 中層マイク
ＨＭ１８，ＨＭ１９ 高層マイク
Ｓ１〜Ｓ１９ スピーカー
【特許請求の範囲】
【請求項１】
所定の方向に対して所定の倍率で撮影することによって映像を取得し、取得した前記映像を電気信号に変換し、変換後の前記電気信号を映像信号として取得する映像入力装置と、
前記映像入力装置が設置された地点からの水平距離および高さが異なる複数の地点のそれぞれに設置され、周囲の振動を検知し、検知した前記振動を電気信号に変換し、変換後の前記電気信号を音声信号として取得する複数の音声入力装置と、
を有する、映像音声入力システムと、
表示面を有し、前記映像入力装置によって取得された前記映像信号に基づいて前記表示面に映像を出力する映像出力装置と、
前記複数の音声入力装置のそれぞれに対応する複数の音声出力装置と、
を有し、
前記複数の音声出力装置は、
対応する前記複数の音声入力装置のそれぞれが設置されている各地点から前記表示面に対して垂線を引いた場合における前記垂線の足のそれぞれを、実物大に対する前記映像の縮小率または拡大率に従って前記映像の中心を基準として縮小または拡大させた場合に決定される各位置に設置され、対応する前記音声入力装置によって取得された前記音声信号に基づいて音声を出力する、映像音声出力システムと、
を備える、映像音声入出力システム。
【請求項２】
前記複数の音声出力装置は、
前記映像の中心に向かって前記音声を出力することが可能な向きに設置されている、
請求項１に記載の映像音声入出力システム。
【請求項３】
映像音声出力システムは、
前記複数の音声入力装置が設置されている位置から所定の地点までの距離に応じた時間だけ前記音声が出力される時刻を遅延させて、対応する前記複数の音声出力装置に前記音声を出力させる出力制御装置、
をさらに有する、請求項１に記載の映像音声入出力システム。
【請求項４】
映像音声出力システムは、
前記複数の音声入力装置が設置されている位置から所定の地点までの距離に応じた音量だけ前記音声の音量を小さくして、対応する前記複数の音声出力装置に前記音声を出力させる出力制御装置、
をさらに有する、請求項１に記載の映像音声入出力システム。
【請求項５】
前記所定の地点は、
前記映像の中心に映っている地点である、
請求項３または請求項４に記載の映像音声入出力システム。
【請求項６】
前記映像音声入力システムは、
前記映像入力装置によって取得された前記映像信号と前記複数の音声入力装置によって取得された各前記音声信号とを結合することによって音声映像信号を生成し、生成した前記音声映像信号を記録媒体に記録する入力制御装置をさらに有し、
前記映像音声出力システムは、
前記記録媒体に記録された前記音声映像信号を読み出し、読み出した前記音声映像信号から前記各音声信号と前記映像信号とを抽出し、抽出した前記各音声信号を取得先の各前記音声入力装置に対応する各前記音声出力装置に出力するとともに抽出した前記映像信号を前記映像出力装置に出力する出力制御装置をさらに有し、
前記映像出力装置は、
前記出力制御装置によって出力された前記映像信号に基づいて前記表示面に前記映像を出力し、
前記複数の音声出力装置は、
前記出力制御装置によって出力された前記音声信号に基づいて前記音声を出力する、
請求項１に記載の映像音声入出力システム。
【請求項７】
前記映像音声入力システムは、
前記映像入力装置によって取得された前記映像信号と前記複数の音声入力装置によって取得された各前記音声信号とを結合することによって音声映像信号を生成し、生成した前記音声映像信号を前記映像音声出力システムに送信する入力制御装置をさらに有し、
前記映像音声出力システムは、
前記映像音声入力システムから送信された前記音声映像信号を受信し、受信した前記音声映像信号から前記各音声信号と前記映像信号とを抽出し、抽出した前記各音声信号を取得先の各前記音声入力装置に対応する各前記音声出力装置に出力するとともに抽出した前記映像信号を前記映像出力装置に出力する出力制御装置をさらに有し、
前記映像出力装置は、
前記出力制御装置によって出力された前記映像信号に基づいて前記表示面に前記映像を出力し、
前記複数の音声出力装置は、
前記出力制御装置によって出力された前記音声信号に基づいて前記音声を出力する、
請求項１に記載の映像音声入出力システム。
【請求項１】
所定の方向に対して所定の倍率で撮影することによって映像を取得し、取得した前記映像を電気信号に変換し、変換後の前記電気信号を映像信号として取得する映像入力装置と、
前記映像入力装置が設置された地点からの水平距離および高さが異なる複数の地点のそれぞれに設置され、周囲の振動を検知し、検知した前記振動を電気信号に変換し、変換後の前記電気信号を音声信号として取得する複数の音声入力装置と、
を有する、映像音声入力システムと、
表示面を有し、前記映像入力装置によって取得された前記映像信号に基づいて前記表示面に映像を出力する映像出力装置と、
前記複数の音声入力装置のそれぞれに対応する複数の音声出力装置と、
を有し、
前記複数の音声出力装置は、
対応する前記複数の音声入力装置のそれぞれが設置されている各地点から前記表示面に対して垂線を引いた場合における前記垂線の足のそれぞれを、実物大に対する前記映像の縮小率または拡大率に従って前記映像の中心を基準として縮小または拡大させた場合に決定される各位置に設置され、対応する前記音声入力装置によって取得された前記音声信号に基づいて音声を出力する、映像音声出力システムと、
を備える、映像音声入出力システム。
【請求項２】
前記複数の音声出力装置は、
前記映像の中心に向かって前記音声を出力することが可能な向きに設置されている、
請求項１に記載の映像音声入出力システム。
【請求項３】
映像音声出力システムは、
前記複数の音声入力装置が設置されている位置から所定の地点までの距離に応じた時間だけ前記音声が出力される時刻を遅延させて、対応する前記複数の音声出力装置に前記音声を出力させる出力制御装置、
をさらに有する、請求項１に記載の映像音声入出力システム。
【請求項４】
映像音声出力システムは、
前記複数の音声入力装置が設置されている位置から所定の地点までの距離に応じた音量だけ前記音声の音量を小さくして、対応する前記複数の音声出力装置に前記音声を出力させる出力制御装置、
をさらに有する、請求項１に記載の映像音声入出力システム。
【請求項５】
前記所定の地点は、
前記映像の中心に映っている地点である、
請求項３または請求項４に記載の映像音声入出力システム。
【請求項６】
前記映像音声入力システムは、
前記映像入力装置によって取得された前記映像信号と前記複数の音声入力装置によって取得された各前記音声信号とを結合することによって音声映像信号を生成し、生成した前記音声映像信号を記録媒体に記録する入力制御装置をさらに有し、
前記映像音声出力システムは、
前記記録媒体に記録された前記音声映像信号を読み出し、読み出した前記音声映像信号から前記各音声信号と前記映像信号とを抽出し、抽出した前記各音声信号を取得先の各前記音声入力装置に対応する各前記音声出力装置に出力するとともに抽出した前記映像信号を前記映像出力装置に出力する出力制御装置をさらに有し、
前記映像出力装置は、
前記出力制御装置によって出力された前記映像信号に基づいて前記表示面に前記映像を出力し、
前記複数の音声出力装置は、
前記出力制御装置によって出力された前記音声信号に基づいて前記音声を出力する、
請求項１に記載の映像音声入出力システム。
【請求項７】
前記映像音声入力システムは、
前記映像入力装置によって取得された前記映像信号と前記複数の音声入力装置によって取得された各前記音声信号とを結合することによって音声映像信号を生成し、生成した前記音声映像信号を前記映像音声出力システムに送信する入力制御装置をさらに有し、
前記映像音声出力システムは、
前記映像音声入力システムから送信された前記音声映像信号を受信し、受信した前記音声映像信号から前記各音声信号と前記映像信号とを抽出し、抽出した前記各音声信号を取得先の各前記音声入力装置に対応する各前記音声出力装置に出力するとともに抽出した前記映像信号を前記映像出力装置に出力する出力制御装置をさらに有し、
前記映像出力装置は、
前記出力制御装置によって出力された前記映像信号に基づいて前記表示面に前記映像を出力し、
前記複数の音声出力装置は、
前記出力制御装置によって出力された前記音声信号に基づいて前記音声を出力する、
請求項１に記載の映像音声入出力システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−２５２１０２（Ｐ２０１０−２５２１０２Ａ）
【公開日】平成２２年１１月４日（２０１０．１１．４）
【国際特許分類】
【出願番号】特願２００９−１００１３３（Ｐ２００９−１００１３３）
【出願日】平成２１年４月１６日（２００９．４．１６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２２年１１月４日（２０１０．１１．４）
【国際特許分類】
【出願日】平成２１年４月１６日（２００９．４．１６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]