音場切替システム
【課題】 映像と実空間で実際に収音された音響からなる音場が一致し、方向感覚に違和感がなく臨場感にあふれた音場の再現ができるシステムを提供することを目的とする。
【解決手段】 互いに離間した位置に位置を固定して配置され、配置された実空間の音響を収音する複数の音響収音手段３と、少なくとも、複数の音響収音手段３の平面視による配置位置によって画成される領域内を移動する、動画撮影手段２と、収音された音響信号を、各音響収音手段３ごとのチャンネル音響信号として記憶する多チャンネル音響信号記憶手段４と、撮影位置信号記憶手段５と、撮影された動画の映像信号を記憶する映像信号記憶手段６と、記憶されたチャンネル音響信号を、対応するチャンネルごとに再生する複数の音響再生手段９と、記憶された映像信号を再生する映像再生手段１０と、撮影された映像の撮影位置に対応して、各音響再生手段９に入力される音響信号のチャンネルを切り替える音場切替手段８とを備えることを特徴とする。
【解決手段】 互いに離間した位置に位置を固定して配置され、配置された実空間の音響を収音する複数の音響収音手段３と、少なくとも、複数の音響収音手段３の平面視による配置位置によって画成される領域内を移動する、動画撮影手段２と、収音された音響信号を、各音響収音手段３ごとのチャンネル音響信号として記憶する多チャンネル音響信号記憶手段４と、撮影位置信号記憶手段５と、撮影された動画の映像信号を記憶する映像信号記憶手段６と、記憶されたチャンネル音響信号を、対応するチャンネルごとに再生する複数の音響再生手段９と、記憶された映像信号を再生する映像再生手段１０と、撮影された映像の撮影位置に対応して、各音響再生手段９に入力される音響信号のチャンネルを切り替える音場切替手段８とを備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影した映像に合わせて、収録した音響の音場を切り替えるシステムに関するものである。
【背景技術】
【０００２】
従来、撮影する対象が移動する場合に、撮影した映像に合わせて、同時に多チャンネルによって収録した音響も追随して音像が変化して再生できるように、動画撮影用のカメラに多チャンネル収録用の複数の指向性マイクロフォンを装着したものが提案されている。
例えば、特許文献１には、ビデオカメラの上部に、前方右、前方左、後方右、後方左をそれぞれ指向する4個のマイクロフォンと、さらにナレーション用の1個のマイクロフォンを備え、合計５チャンネルとして録音できる技術が開示されている。
また、特許文献２には、ビデオカメラに、4方向以上からの音声を収音するための多数のマイクロフォンを配置し、音声合成技術を用いて４チャンネルを生成し、これを記録時に２チャンネル音声信号に変換し、再生時には、3チャンネル以上の音声信号として合成出力する技術が開示されている。
さらに、特許文献３には、３−１方式４チャンネルの音響を収音するために必要な複数のマイクロフォンを1箇所に集中させてカメラに搭載する技術が開示されている。この文献においては、さらに、集中させて配置した複数のマイクロフォンをカメラ本体から離して配置し、カメラの回転操作に連動してマイクロフォン群を回転させる技術も記載されている。
【特許文献１】特開２００５−３４１０７３号公報
【特許文献２】特開２００５−２２３７０６号公報
【特許文献３】実開平６−７３６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、各特許文献に開示されたように、カメラにマイクロフォンを装着したものでは、指向性マイクロフォンを用いたとしても、マイクロフォンがほぼ同じ位置に集中的に配置されることから、各マイクロフォンの間隔が短く、再生される音場は臨場感が不十分であった。また、マイクロフォンはカメラとともに移動することになることから、収音は撮影者の行動範囲の制限を受け、またカメラや撮影者の移動に伴う雑音を含む問題もあった。
また、特許文献３で言及されているように、1箇所に集中したマイクロフォンをカメラと離した位置で、カメラの回転に連動して回転させる技術においても、マイクロフォンの間隔が短くて一箇所に集中したものであり、また、カメラもマイクロフォンと同様に位置が固定的で回転するだけのものであることから、十分な臨場感のある音場を再現することができない。さらに、マイクロフォンを回転する際の雑音の問題もある。
【０００４】
このように、カメラが移動する等によって、撮影現場が移り変わる場合に、画像に合わせて臨場感にあふれる音場を再現できるシステムが望まれていた。
なお、ゲーム等の仮想空間において音像を定位させるべき一連の位置を、移動軌跡入力手段によって順次設定して、音像の移動軌跡と移動速度を定め、それによって音響を再生する技術も開発されている。しかし、これは、仮想空間に音像を合成するもので、実空間で収音された音場と動画を整合させるものではない。
【０００５】
本発明は、前記の問題を解決するためになされたものであり、映像と実空間で実際に収音された音場が一致し、方向感覚に違和感がなく臨場感にあふれた音場の再現ができるシステムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
このような目的を達成するために、本発明の音場切替システムは、互いに離間した位置に位置を固定して配置され、配置された実空間の音響を収音する複数の音響収音手段と、 少なくとも、複数の音響収音手段の平面視による配置位置によって画成される領域内を移動する、動画撮影手段と、収音された音響信号を、各音響収音手段ごとのチャンネル音響信号として記憶する多チャンネル音響信号記憶手段と、撮影された動画の映像信号を記憶する映像信号記憶手段と、記憶されたチャンネル音響信号を、対応するチャンネルごとに再生する複数の音響再生手段と、記憶された映像信号を再生する映像再生手段と、撮影された映像の撮影位置に対応して、各音響再生手段に入力される音響信号のチャンネルを切り替える音場切替手段とを備えることを特徴とする。
【０００７】
本発明によれば、互いに離間した位置に位置を固定して配置され、配置された実空間の音響を収音する複数の音響収音手段によって、収音された各実空間の音響信号は、それぞれが1つのチャンネル音響信号として記憶される。一方、動画撮影手段は、複数の音響収音手段の平面視による配置位置によって画成される領域内を移動しながら撮影対象を撮影し、撮影された映像信号も記憶される。なお、動画撮影手段の移動範囲は、少なくとも前記領域内を移動するが、さらにその領域を超えて移動することもあり得る。
そして、それらの記憶手段から音響信号及び映像信号を出力して、再生手段で再生する際に、撮影された映像の撮影位置に対応して、音響再生手段における音響信号のチャンネルを切り替える。そのため、一旦記憶手段によって記憶された後に、必要に応じて適宜の編集を経て再生される多チャンネルによる音響は、映像に合致するとともに、実際に収音された実空間の音響を臨場感を持って再現したものとできる。
【０００８】
また、本発明において、音場切替手段が、動画撮影手段に備えられた撮影位置検出手段によって検出されて記憶手段に記憶された撮影位置信号によって切替制御されることとする場合は、カメラ等の撮影手段に備えられた撮影位置検出手段によって、映像に対応した撮影場所や撮影方向が自動的に検出され、検出信号は一旦記憶手段に記憶される。そして、撮影位置に対応して音響信号のチャンネルを切り替える際に、記憶された撮影位置信号を用いることから、画像に合わせて、自動的に音場を切り替えることができる。
【０００９】
また、本発明において、動画撮影手段が移動することに代えて、前記領域内に配置された複数の動画撮影手段によって撮影された映像信号を切り替えることにより、撮影された映像の撮影位置に対応して、各音響再生手段に入力される音響信号のチャンネルを切り替える場合は、カメラ等の撮影手段を大きく移動する必要がなく、また、撮影位置に対応して音響信号のチャンネルを切り替える際にも、撮影手段に対応した切り替えを行えば済むことになる。
【発明の効果】
【００１０】
本発明によれば、映像と実空間で実際に収音された音響からなる音場が一致し、方向感覚に違和感がなく臨場感にあふれた音場の再現ができるシステムを提供することができる。
【発明を実施するための最良の形態】
【００１１】
以下、図面に基づいて、本発明による音場切替システムの好適な実施形態について詳細に説明する。なお、説明において、同一要素には同一符号を用い、重複する説明は省略する。
図１は、本発明の実施形態における音場切替システム１を示す概念図である。ここでは、4箇所の互いに離間した位置に、音響収音手段３としての音圧型のマイクロフォンであるマイクａ〜マイクｄを、位置を固定して配置した例である。マイクａによって収音された音響信号は、チャンネルｃ１として多チャンネル音響信号記憶手段４に記憶される。同様に、マイクｂ、マイクｃ、マイクｄによって収音された音響信号は、それぞれ、チャンネルｃ２、チャンネルｃ３、チャンネルｃ４として記憶される。多チャンネル音響信号記憶手段４は、コンピュータのメモリであっても、各種の記録媒体であってもよい。
また、配置されるマイクの数及び配置位置は4個に限らない。
【００１２】
一方、動画撮影手段２としてのカメラは、マイクａ〜ｄを円弧又は直線等で画成する領域内を主として移動しながら、撮影対象物を撮影する。撮影した映像は映像記憶手段６に記憶される。映像記憶手段６としては、カメラに内蔵されているメモリや記録媒体であっても、音響信号とともに記憶するためのコンピュータのメモリであっても、また他の記憶手段でもよい。
【００１３】
この動画撮影手段２としてのカメラには、別途、撮影位置検出手段が備えられている。撮影位置を検出するのは、検出された位置信号によって、各マイクによって収音された音響で構成される音場を切り替えて、画像と音場を合致させるためである。そのため、ここでいう撮影位置信号には、場所としての位置信号とともにカメラの向きの信号も含まれることが好ましい。しかし、簡易に音場の切替を行なう場合には、どちらかの信号のみでもよい。これらの検出手段としては、例えば、ＧＰＳ装置やジャイロなどが採用可能である。
検出された撮影位置信号は、映像とは別個に撮影位置信号記憶手段５に記憶しておいてもよいが、映像の各フレームごとの信号とともに一体的に記憶しておけば、後の処理が効率的である。この場合、映像信号記憶手段６が撮影位置信号記憶手段５を兼ねることになる。
【００１４】
多チャネル音響信号記憶手段４から出力される各チャンネルｃ１〜ｃ４の音響信号が、音像・画像編集手段７に入力されるように構成されている。音像・画像編集手段７における音響の処理手段は、例えば、図２に示すようなもので、本発明において必須の音場切替手段８に続いて、周波数調整・レベル調整手段、電力増幅手段などが用いられる。
また、音像・画像編集手段７からの各チャンネルの音響信号が音響再生手段９としてのスピーカａ〜ｄに入力されるように、音像・画像編集手段７が、伝送路Ｌ１〜４により、各スピーカａ〜ｄに連絡されている。ここで、伝送路Ｌは、他の箇所での信号の伝送と同様に、有線でも無線でもよいことはいうまでもない。
【００１５】
音場切替手段８は、カメラの撮影位置によって、チャンネルｃ１〜ｃ４を切り替えて伝送路Ｌ１〜４に連絡するためのものである。例えば、図1のようにカメラが位置Ａにあるときに、マイクａのチャンネルｃ１がスピーカａの伝送路Ｌ１に連絡されており、同様に、マイクｂのチャンネルｃ２がスピーカｂのＬ２に、マイクｃのチャンネルｃ３がスピーカｃのＬ３に、マイクｄのチャンネルｃ４がスピーカｄのＬ４に連絡されている。
なお、この例の場合は、チャンネルｃ１〜ｃ４が直接的にスピーカａ〜ｄの入力のための伝送路に連絡されているわけではなく、図２のとおり、音場切替手段８から出力される信号は、周波数・レベル調整手段や電力増幅手段等を経て、伝送路Ｌ１〜４から各スピーカａ〜ｄに送られる。
【００１６】
この状態から、例えば、カメラが位置Ｂに移動したとすると、編集時に、撮影位置信号によって、音場切替手段８が切替動作を行ない、マイクａのチャンネルｃ１をスピーカｂのＬ２に対応するように切り替える。同様に、マイクｂのチャンネルｃ２がスピーカｄのＬ４に、マイクｃのチャンネルｃ３がスピーカａのＬ１に、マイクｄのチャンネルｃ４がスピーカｃのＬ３に対応するように切り替えられる。
ここでは、図１に示した位置Ａから位置Ｂにカメラが移動した場合を説明したが、カメラが他の位置に移動したり元の位置に戻れば、それに対応して、音響信号のチャンネルが音場切替手段８によって切り替えられることはいうまでもない。
このような切替を行なう音場切替手段８としては、チャンネルｃ１〜ｃ４と伝送路Ｌ１〜Ｌ４（正確には編集手段７におけるそれらの伝送路に対応した接点）によって構成されたマトリクスにおいて、撮影位置信号ごとに決められたマトリクス交点をオンとするようなマトリクススイッチが使用できる。しかし、これに限ることはなく、例えば、半導体スイッチによって、撮影位置信号によって切り替わる論理回路を構成する等したものでもよい。
【００１７】
また、この例では、マイクａ〜ｄのチャンネルｃ１〜ｃ４と、スピーカａ〜ｄの伝送路Ｌ１〜Ｌ４が同数で、1対１に対応している場合を説明したが、必ずしも、その必要はない。
例えば、伝送路Ｌを4個とした場合に、マイク及びチャンネルｃは、それよりも多数としておき、音場切替手段８において、撮影位置信号に応じて出力を切り替えた後、4個の伝送路Ｌに対応するように音響信号を合成してもよい。
【００１８】
音場切替手段８によって切り替えられた後の音響信号は、図２に記載するように、編集手段において、周波数調整・レベル調整手段によって音響を聞き易いものに調整し、さらに電力増幅手段によって出力する信号を増幅するなどがなされる。この編集手段においては、特にこのような処理に限るものではなく、通常の音響編成においてなされる処理を必要に応じて行ってもよい。さらに、本実施形態においては、音場切替手段８によってチャンネルを切り替えることから、切替時に音場が突然急激に変化することを避けるために、これらの周波数調整・レベル調整手段を用いて、変化が緩やかに聞こえるような調整を行ってもよい。また、同様の理由から、例えば、信号の演算回路、遅延回路、移相回路等を用いて、１つの伝送路Ｌに入力される切替前のチャンネルの音響を徐々に減少し、入力後のチャンネルの音響信号を徐々に増やすようにしてもよい。
【００１９】
さらに、本例においては、音場切替手段８によってチャンネルを切り替えた後に、必要に応じて信号処理を行い、その後に、伝送路Ｌ１〜Ｌ４への出力としているが、多チャンネル音響信号記憶手段４から出力されたチャンネルｃごとの音響信号について、必要な処理を行なった後に、音場切替手段８でのチャンネル切替をして、直接伝送路Ｌ１〜Ｌ４に出力してもよい。
【００２０】
一方、映像記憶手段６に記憶された映像信号は、音像・画像編集手段７において、必要に応じて編集された後に、音響と同期して映像再生手段１０によって再生される。ここで、映像再生手段１０としては、映像投影装置とスクリーンからなるものでも、ディスプレイ等であってもよい。また、ここでは、１つのスクリーンとして説明したが、複数のスクリーンであっても、同様の処理を行なうことができ、臨場感を増すことができる。
【００２１】
次に、本実施形態のシステムの作動について、図１によって説明する。
予め、4箇所にマイクａ〜マイクｄが配置された領域において、撮影者がカメラで撮影しながら移動する。そのとき、例えば、カメラが図Ａから図Ｂに移動した場合、カメラに備えられた撮影位置検出手段によって検出された撮影位置信号が、映像信号とともに記憶される。また、この間のマイクａ〜マイクｄがそれぞれ収音している音響信号は、チャンネルｃ１〜ｃ４として記憶されている。
そして、編集時に、上記のとおり、撮影位置信号が位置Ａにおける信号から位置Ｂにおける信号に切り替わることによって、音場切替手段８が切替動作を行ない、マイクａのチャンネルｃ１をスピーカａに対応する伝送路Ｌ１からＬ２スピーカｂのＬ２に対応するように切り替える。同様に、マイクｂのチャンネルｃ２がスピーカｂに対応するＬ２からスピーカｄのＬ４に、マイクｃのチャンネルｃ３がスピーカｃに対応するＬ３からスピーカａのＬ１に、マイクｄのチャンネルｃ４がスピーカｄに対応するＬ４からスピーカｃのＬ３に対応するように切り替えられる。
【００２２】
このような切替によって、スピーカａ〜スピーカｄの中心に位置して、映像再生手段１０の映像を観賞している（図において右を向いている。）鑑賞者にとって、音場は次のように変化する。
切替前であって、位置Ａでカメラが撮影した画像が表示されているときには、マイクａが収音した音響が左前方のスピーカａから聞こえる。同様に、マイクｂによる音響が、右前方のスピーカｂから、マイクｃによる音響が左後方のスピーカｃから、マイクｄによる音響が右後方のスピーカｄから聞こえている。
切替後であって、位置Ｂでカメラが撮影した画像が表示されているときには、マイクａが収音した音響が右前方のスピーカｂから聞こえる。同様に、マイクｂによる音響が、右後方のスピーカｄから、マイクｃによる音響が左前方のスピーカａから、マイクｄによる音響が左後方のスピーカｃから聞こえる。
すなわち、画像が左方向に９０度回転したことに伴い、音場もそれに合致して回転したことになる。撮影手段が位置Ａから位置Ｂに移動した場合だけでなく、他の位置に移動したり、元の位置に戻った場合、その位置に合わせてすなわち画像に合わせて、各スピーカから再生される音響が切り替えられることは当然である。
また、ここでは、カメラが位置Ａから位置Ｂに移動した場合の２つの位置について説明したが、そのような位置の移動が途中の移動も含めて徐々に移動する場合も含まれることはいうまでもない。
【００２３】
本実施形態においては、自由に移動するカメラの画像に自動的に追随して、複数の位置から再生される音響による音場を変移させることができる。そして、再生される音響は、カメラの移動とは独立して、互いに離間した収音箇所に固定して配置され、その箇所における実空間の音響を収音したものであり、雑音の少ない開放感のある音とされている。
【００２４】
本実施形態の応用例として、車両の４隅にそれぞれマイクを設置し、車両内においてカメラを移動しながら、車両内外の撮影を行なう場合にも適用可能である。この場合、車両内外の実映像と実音場を、臨場感あふれるものとして再現できる。
【００２５】
次に、図３によって、動画撮影手段２が移動することに代えて、複数の動画撮影手段２によって撮影された映像信号を切り替えることによる実施形態を説明する。
この例では、マイクａ〜マイクｄが配置された領域内に、撮影範囲の異なる複数のカメラＡ〜カメラＤを配置しておく。それぞれのカメラで撮影された映像は、撮影カメラを特定する信号とともに映像記憶手段６に記憶される。そして、画像の編集時において、各撮影カメラの映像を切り替えて編集するとともに、そのカメラ番号を特定する信号をカメラ番号指令手段２０から音場切替手段８への切替信号として入力し、音響信号のチャンネルｃを切り替えるようにする。
また、場合によっては、撮影時にカメラを切り替えて、単独の映像信号のみを撮影カメラ番号とともに、映像信号記憶手段６に記憶するようにしてもよい。
なお、この実施形態における他の箇所の説明は、図１の実施形態と同様であるために省略する。
この実施形態においては、カメラの移動範囲が狭くて済む。
【００２６】
次に、図４によって、音場切替の指令を手動によって行なう場合の実施形態について説明する。図１の例では、音場切替のための信号をカメラの移動とともに自動的に得て、音場切替手段８への指令も自動的に行なうようにしている。これに対して、図４の実施形態の場合は、撮影された画像に記憶のある者が、編集時に画像の変化に伴って、音場切替手段８への切替信号を入力することで、音響信号のチャンネルを切り替えることができる。なお、この例のさらに変形例としては、鑑賞者が観賞時に画面を見ながら音場切替手段８への指令を行なうことも可能である。これらの場合の、切替信号の出力は、例えば、マイクａ〜マイクｄの配置を擬似的に表示した入力器において、カメラの位置を擬似的に指定することで、切替信号を出力することができる。また、撮影位置を検出するための手段をカメラに備える必要がない。
なお、この実施形態における他の箇所の説明は、図１の実施形態と同様であるために省略する。
【００２７】
この実施形態では、一部の処理は手動で行なうことになるが、動画撮影手段２に撮影位置の検出手段を備える必要がなく、また、撮影位置信号を処理する手段も必要がないことから、システム全体を簡易なものとできる。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施形態のシステムの概念図である。
【図２】本発明の実施形態の音像・画像編集手段の説明図である。
【図３】本発明の他の実施形態の概念図である。
【図４】本発明のさらに他の実施形態の概念図である。
【符号の説明】
【００２９】
１‥音場切替システム、２‥動画撮影手段、３‥音響収音手段、４‥多チャンネル音響信号記憶手段、５‥撮影位置信号記憶手段、６‥映像信号記憶手段、７‥音像・画像編集手段、８‥音場切替手段、９‥音響再生手段、１０‥映像再生手段
【技術分野】
【０００１】
本発明は、撮影した映像に合わせて、収録した音響の音場を切り替えるシステムに関するものである。
【背景技術】
【０００２】
従来、撮影する対象が移動する場合に、撮影した映像に合わせて、同時に多チャンネルによって収録した音響も追随して音像が変化して再生できるように、動画撮影用のカメラに多チャンネル収録用の複数の指向性マイクロフォンを装着したものが提案されている。
例えば、特許文献１には、ビデオカメラの上部に、前方右、前方左、後方右、後方左をそれぞれ指向する4個のマイクロフォンと、さらにナレーション用の1個のマイクロフォンを備え、合計５チャンネルとして録音できる技術が開示されている。
また、特許文献２には、ビデオカメラに、4方向以上からの音声を収音するための多数のマイクロフォンを配置し、音声合成技術を用いて４チャンネルを生成し、これを記録時に２チャンネル音声信号に変換し、再生時には、3チャンネル以上の音声信号として合成出力する技術が開示されている。
さらに、特許文献３には、３−１方式４チャンネルの音響を収音するために必要な複数のマイクロフォンを1箇所に集中させてカメラに搭載する技術が開示されている。この文献においては、さらに、集中させて配置した複数のマイクロフォンをカメラ本体から離して配置し、カメラの回転操作に連動してマイクロフォン群を回転させる技術も記載されている。
【特許文献１】特開２００５−３４１０７３号公報
【特許文献２】特開２００５−２２３７０６号公報
【特許文献３】実開平６−７３６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、各特許文献に開示されたように、カメラにマイクロフォンを装着したものでは、指向性マイクロフォンを用いたとしても、マイクロフォンがほぼ同じ位置に集中的に配置されることから、各マイクロフォンの間隔が短く、再生される音場は臨場感が不十分であった。また、マイクロフォンはカメラとともに移動することになることから、収音は撮影者の行動範囲の制限を受け、またカメラや撮影者の移動に伴う雑音を含む問題もあった。
また、特許文献３で言及されているように、1箇所に集中したマイクロフォンをカメラと離した位置で、カメラの回転に連動して回転させる技術においても、マイクロフォンの間隔が短くて一箇所に集中したものであり、また、カメラもマイクロフォンと同様に位置が固定的で回転するだけのものであることから、十分な臨場感のある音場を再現することができない。さらに、マイクロフォンを回転する際の雑音の問題もある。
【０００４】
このように、カメラが移動する等によって、撮影現場が移り変わる場合に、画像に合わせて臨場感にあふれる音場を再現できるシステムが望まれていた。
なお、ゲーム等の仮想空間において音像を定位させるべき一連の位置を、移動軌跡入力手段によって順次設定して、音像の移動軌跡と移動速度を定め、それによって音響を再生する技術も開発されている。しかし、これは、仮想空間に音像を合成するもので、実空間で収音された音場と動画を整合させるものではない。
【０００５】
本発明は、前記の問題を解決するためになされたものであり、映像と実空間で実際に収音された音場が一致し、方向感覚に違和感がなく臨場感にあふれた音場の再現ができるシステムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
このような目的を達成するために、本発明の音場切替システムは、互いに離間した位置に位置を固定して配置され、配置された実空間の音響を収音する複数の音響収音手段と、 少なくとも、複数の音響収音手段の平面視による配置位置によって画成される領域内を移動する、動画撮影手段と、収音された音響信号を、各音響収音手段ごとのチャンネル音響信号として記憶する多チャンネル音響信号記憶手段と、撮影された動画の映像信号を記憶する映像信号記憶手段と、記憶されたチャンネル音響信号を、対応するチャンネルごとに再生する複数の音響再生手段と、記憶された映像信号を再生する映像再生手段と、撮影された映像の撮影位置に対応して、各音響再生手段に入力される音響信号のチャンネルを切り替える音場切替手段とを備えることを特徴とする。
【０００７】
本発明によれば、互いに離間した位置に位置を固定して配置され、配置された実空間の音響を収音する複数の音響収音手段によって、収音された各実空間の音響信号は、それぞれが1つのチャンネル音響信号として記憶される。一方、動画撮影手段は、複数の音響収音手段の平面視による配置位置によって画成される領域内を移動しながら撮影対象を撮影し、撮影された映像信号も記憶される。なお、動画撮影手段の移動範囲は、少なくとも前記領域内を移動するが、さらにその領域を超えて移動することもあり得る。
そして、それらの記憶手段から音響信号及び映像信号を出力して、再生手段で再生する際に、撮影された映像の撮影位置に対応して、音響再生手段における音響信号のチャンネルを切り替える。そのため、一旦記憶手段によって記憶された後に、必要に応じて適宜の編集を経て再生される多チャンネルによる音響は、映像に合致するとともに、実際に収音された実空間の音響を臨場感を持って再現したものとできる。
【０００８】
また、本発明において、音場切替手段が、動画撮影手段に備えられた撮影位置検出手段によって検出されて記憶手段に記憶された撮影位置信号によって切替制御されることとする場合は、カメラ等の撮影手段に備えられた撮影位置検出手段によって、映像に対応した撮影場所や撮影方向が自動的に検出され、検出信号は一旦記憶手段に記憶される。そして、撮影位置に対応して音響信号のチャンネルを切り替える際に、記憶された撮影位置信号を用いることから、画像に合わせて、自動的に音場を切り替えることができる。
【０００９】
また、本発明において、動画撮影手段が移動することに代えて、前記領域内に配置された複数の動画撮影手段によって撮影された映像信号を切り替えることにより、撮影された映像の撮影位置に対応して、各音響再生手段に入力される音響信号のチャンネルを切り替える場合は、カメラ等の撮影手段を大きく移動する必要がなく、また、撮影位置に対応して音響信号のチャンネルを切り替える際にも、撮影手段に対応した切り替えを行えば済むことになる。
【発明の効果】
【００１０】
本発明によれば、映像と実空間で実際に収音された音響からなる音場が一致し、方向感覚に違和感がなく臨場感にあふれた音場の再現ができるシステムを提供することができる。
【発明を実施するための最良の形態】
【００１１】
以下、図面に基づいて、本発明による音場切替システムの好適な実施形態について詳細に説明する。なお、説明において、同一要素には同一符号を用い、重複する説明は省略する。
図１は、本発明の実施形態における音場切替システム１を示す概念図である。ここでは、4箇所の互いに離間した位置に、音響収音手段３としての音圧型のマイクロフォンであるマイクａ〜マイクｄを、位置を固定して配置した例である。マイクａによって収音された音響信号は、チャンネルｃ１として多チャンネル音響信号記憶手段４に記憶される。同様に、マイクｂ、マイクｃ、マイクｄによって収音された音響信号は、それぞれ、チャンネルｃ２、チャンネルｃ３、チャンネルｃ４として記憶される。多チャンネル音響信号記憶手段４は、コンピュータのメモリであっても、各種の記録媒体であってもよい。
また、配置されるマイクの数及び配置位置は4個に限らない。
【００１２】
一方、動画撮影手段２としてのカメラは、マイクａ〜ｄを円弧又は直線等で画成する領域内を主として移動しながら、撮影対象物を撮影する。撮影した映像は映像記憶手段６に記憶される。映像記憶手段６としては、カメラに内蔵されているメモリや記録媒体であっても、音響信号とともに記憶するためのコンピュータのメモリであっても、また他の記憶手段でもよい。
【００１３】
この動画撮影手段２としてのカメラには、別途、撮影位置検出手段が備えられている。撮影位置を検出するのは、検出された位置信号によって、各マイクによって収音された音響で構成される音場を切り替えて、画像と音場を合致させるためである。そのため、ここでいう撮影位置信号には、場所としての位置信号とともにカメラの向きの信号も含まれることが好ましい。しかし、簡易に音場の切替を行なう場合には、どちらかの信号のみでもよい。これらの検出手段としては、例えば、ＧＰＳ装置やジャイロなどが採用可能である。
検出された撮影位置信号は、映像とは別個に撮影位置信号記憶手段５に記憶しておいてもよいが、映像の各フレームごとの信号とともに一体的に記憶しておけば、後の処理が効率的である。この場合、映像信号記憶手段６が撮影位置信号記憶手段５を兼ねることになる。
【００１４】
多チャネル音響信号記憶手段４から出力される各チャンネルｃ１〜ｃ４の音響信号が、音像・画像編集手段７に入力されるように構成されている。音像・画像編集手段７における音響の処理手段は、例えば、図２に示すようなもので、本発明において必須の音場切替手段８に続いて、周波数調整・レベル調整手段、電力増幅手段などが用いられる。
また、音像・画像編集手段７からの各チャンネルの音響信号が音響再生手段９としてのスピーカａ〜ｄに入力されるように、音像・画像編集手段７が、伝送路Ｌ１〜４により、各スピーカａ〜ｄに連絡されている。ここで、伝送路Ｌは、他の箇所での信号の伝送と同様に、有線でも無線でもよいことはいうまでもない。
【００１５】
音場切替手段８は、カメラの撮影位置によって、チャンネルｃ１〜ｃ４を切り替えて伝送路Ｌ１〜４に連絡するためのものである。例えば、図1のようにカメラが位置Ａにあるときに、マイクａのチャンネルｃ１がスピーカａの伝送路Ｌ１に連絡されており、同様に、マイクｂのチャンネルｃ２がスピーカｂのＬ２に、マイクｃのチャンネルｃ３がスピーカｃのＬ３に、マイクｄのチャンネルｃ４がスピーカｄのＬ４に連絡されている。
なお、この例の場合は、チャンネルｃ１〜ｃ４が直接的にスピーカａ〜ｄの入力のための伝送路に連絡されているわけではなく、図２のとおり、音場切替手段８から出力される信号は、周波数・レベル調整手段や電力増幅手段等を経て、伝送路Ｌ１〜４から各スピーカａ〜ｄに送られる。
【００１６】
この状態から、例えば、カメラが位置Ｂに移動したとすると、編集時に、撮影位置信号によって、音場切替手段８が切替動作を行ない、マイクａのチャンネルｃ１をスピーカｂのＬ２に対応するように切り替える。同様に、マイクｂのチャンネルｃ２がスピーカｄのＬ４に、マイクｃのチャンネルｃ３がスピーカａのＬ１に、マイクｄのチャンネルｃ４がスピーカｃのＬ３に対応するように切り替えられる。
ここでは、図１に示した位置Ａから位置Ｂにカメラが移動した場合を説明したが、カメラが他の位置に移動したり元の位置に戻れば、それに対応して、音響信号のチャンネルが音場切替手段８によって切り替えられることはいうまでもない。
このような切替を行なう音場切替手段８としては、チャンネルｃ１〜ｃ４と伝送路Ｌ１〜Ｌ４（正確には編集手段７におけるそれらの伝送路に対応した接点）によって構成されたマトリクスにおいて、撮影位置信号ごとに決められたマトリクス交点をオンとするようなマトリクススイッチが使用できる。しかし、これに限ることはなく、例えば、半導体スイッチによって、撮影位置信号によって切り替わる論理回路を構成する等したものでもよい。
【００１７】
また、この例では、マイクａ〜ｄのチャンネルｃ１〜ｃ４と、スピーカａ〜ｄの伝送路Ｌ１〜Ｌ４が同数で、1対１に対応している場合を説明したが、必ずしも、その必要はない。
例えば、伝送路Ｌを4個とした場合に、マイク及びチャンネルｃは、それよりも多数としておき、音場切替手段８において、撮影位置信号に応じて出力を切り替えた後、4個の伝送路Ｌに対応するように音響信号を合成してもよい。
【００１８】
音場切替手段８によって切り替えられた後の音響信号は、図２に記載するように、編集手段において、周波数調整・レベル調整手段によって音響を聞き易いものに調整し、さらに電力増幅手段によって出力する信号を増幅するなどがなされる。この編集手段においては、特にこのような処理に限るものではなく、通常の音響編成においてなされる処理を必要に応じて行ってもよい。さらに、本実施形態においては、音場切替手段８によってチャンネルを切り替えることから、切替時に音場が突然急激に変化することを避けるために、これらの周波数調整・レベル調整手段を用いて、変化が緩やかに聞こえるような調整を行ってもよい。また、同様の理由から、例えば、信号の演算回路、遅延回路、移相回路等を用いて、１つの伝送路Ｌに入力される切替前のチャンネルの音響を徐々に減少し、入力後のチャンネルの音響信号を徐々に増やすようにしてもよい。
【００１９】
さらに、本例においては、音場切替手段８によってチャンネルを切り替えた後に、必要に応じて信号処理を行い、その後に、伝送路Ｌ１〜Ｌ４への出力としているが、多チャンネル音響信号記憶手段４から出力されたチャンネルｃごとの音響信号について、必要な処理を行なった後に、音場切替手段８でのチャンネル切替をして、直接伝送路Ｌ１〜Ｌ４に出力してもよい。
【００２０】
一方、映像記憶手段６に記憶された映像信号は、音像・画像編集手段７において、必要に応じて編集された後に、音響と同期して映像再生手段１０によって再生される。ここで、映像再生手段１０としては、映像投影装置とスクリーンからなるものでも、ディスプレイ等であってもよい。また、ここでは、１つのスクリーンとして説明したが、複数のスクリーンであっても、同様の処理を行なうことができ、臨場感を増すことができる。
【００２１】
次に、本実施形態のシステムの作動について、図１によって説明する。
予め、4箇所にマイクａ〜マイクｄが配置された領域において、撮影者がカメラで撮影しながら移動する。そのとき、例えば、カメラが図Ａから図Ｂに移動した場合、カメラに備えられた撮影位置検出手段によって検出された撮影位置信号が、映像信号とともに記憶される。また、この間のマイクａ〜マイクｄがそれぞれ収音している音響信号は、チャンネルｃ１〜ｃ４として記憶されている。
そして、編集時に、上記のとおり、撮影位置信号が位置Ａにおける信号から位置Ｂにおける信号に切り替わることによって、音場切替手段８が切替動作を行ない、マイクａのチャンネルｃ１をスピーカａに対応する伝送路Ｌ１からＬ２スピーカｂのＬ２に対応するように切り替える。同様に、マイクｂのチャンネルｃ２がスピーカｂに対応するＬ２からスピーカｄのＬ４に、マイクｃのチャンネルｃ３がスピーカｃに対応するＬ３からスピーカａのＬ１に、マイクｄのチャンネルｃ４がスピーカｄに対応するＬ４からスピーカｃのＬ３に対応するように切り替えられる。
【００２２】
このような切替によって、スピーカａ〜スピーカｄの中心に位置して、映像再生手段１０の映像を観賞している（図において右を向いている。）鑑賞者にとって、音場は次のように変化する。
切替前であって、位置Ａでカメラが撮影した画像が表示されているときには、マイクａが収音した音響が左前方のスピーカａから聞こえる。同様に、マイクｂによる音響が、右前方のスピーカｂから、マイクｃによる音響が左後方のスピーカｃから、マイクｄによる音響が右後方のスピーカｄから聞こえている。
切替後であって、位置Ｂでカメラが撮影した画像が表示されているときには、マイクａが収音した音響が右前方のスピーカｂから聞こえる。同様に、マイクｂによる音響が、右後方のスピーカｄから、マイクｃによる音響が左前方のスピーカａから、マイクｄによる音響が左後方のスピーカｃから聞こえる。
すなわち、画像が左方向に９０度回転したことに伴い、音場もそれに合致して回転したことになる。撮影手段が位置Ａから位置Ｂに移動した場合だけでなく、他の位置に移動したり、元の位置に戻った場合、その位置に合わせてすなわち画像に合わせて、各スピーカから再生される音響が切り替えられることは当然である。
また、ここでは、カメラが位置Ａから位置Ｂに移動した場合の２つの位置について説明したが、そのような位置の移動が途中の移動も含めて徐々に移動する場合も含まれることはいうまでもない。
【００２３】
本実施形態においては、自由に移動するカメラの画像に自動的に追随して、複数の位置から再生される音響による音場を変移させることができる。そして、再生される音響は、カメラの移動とは独立して、互いに離間した収音箇所に固定して配置され、その箇所における実空間の音響を収音したものであり、雑音の少ない開放感のある音とされている。
【００２４】
本実施形態の応用例として、車両の４隅にそれぞれマイクを設置し、車両内においてカメラを移動しながら、車両内外の撮影を行なう場合にも適用可能である。この場合、車両内外の実映像と実音場を、臨場感あふれるものとして再現できる。
【００２５】
次に、図３によって、動画撮影手段２が移動することに代えて、複数の動画撮影手段２によって撮影された映像信号を切り替えることによる実施形態を説明する。
この例では、マイクａ〜マイクｄが配置された領域内に、撮影範囲の異なる複数のカメラＡ〜カメラＤを配置しておく。それぞれのカメラで撮影された映像は、撮影カメラを特定する信号とともに映像記憶手段６に記憶される。そして、画像の編集時において、各撮影カメラの映像を切り替えて編集するとともに、そのカメラ番号を特定する信号をカメラ番号指令手段２０から音場切替手段８への切替信号として入力し、音響信号のチャンネルｃを切り替えるようにする。
また、場合によっては、撮影時にカメラを切り替えて、単独の映像信号のみを撮影カメラ番号とともに、映像信号記憶手段６に記憶するようにしてもよい。
なお、この実施形態における他の箇所の説明は、図１の実施形態と同様であるために省略する。
この実施形態においては、カメラの移動範囲が狭くて済む。
【００２６】
次に、図４によって、音場切替の指令を手動によって行なう場合の実施形態について説明する。図１の例では、音場切替のための信号をカメラの移動とともに自動的に得て、音場切替手段８への指令も自動的に行なうようにしている。これに対して、図４の実施形態の場合は、撮影された画像に記憶のある者が、編集時に画像の変化に伴って、音場切替手段８への切替信号を入力することで、音響信号のチャンネルを切り替えることができる。なお、この例のさらに変形例としては、鑑賞者が観賞時に画面を見ながら音場切替手段８への指令を行なうことも可能である。これらの場合の、切替信号の出力は、例えば、マイクａ〜マイクｄの配置を擬似的に表示した入力器において、カメラの位置を擬似的に指定することで、切替信号を出力することができる。また、撮影位置を検出するための手段をカメラに備える必要がない。
なお、この実施形態における他の箇所の説明は、図１の実施形態と同様であるために省略する。
【００２７】
この実施形態では、一部の処理は手動で行なうことになるが、動画撮影手段２に撮影位置の検出手段を備える必要がなく、また、撮影位置信号を処理する手段も必要がないことから、システム全体を簡易なものとできる。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施形態のシステムの概念図である。
【図２】本発明の実施形態の音像・画像編集手段の説明図である。
【図３】本発明の他の実施形態の概念図である。
【図４】本発明のさらに他の実施形態の概念図である。
【符号の説明】
【００２９】
１‥音場切替システム、２‥動画撮影手段、３‥音響収音手段、４‥多チャンネル音響信号記憶手段、５‥撮影位置信号記憶手段、６‥映像信号記憶手段、７‥音像・画像編集手段、８‥音場切替手段、９‥音響再生手段、１０‥映像再生手段
【特許請求の範囲】
【請求項１】
互いに離間した位置に位置を固定して配置され、配置された実空間の音響を収音する複数の音響収音手段と、
少なくとも、前記複数の音響収音手段の平面視による配置位置によって画成される領域内を移動する、動画撮影手段と、
収音された音響信号を、各音響収音手段ごとのチャンネル音響信号として記憶する多チャンネル音響信号記憶手段と、
撮影された動画の映像信号を記憶する映像信号記憶手段と、
前記記憶されたチャンネル音響信号を、対応するチャンネルごとに再生する複数の音響再生手段と、
前記記憶された映像信号を再生する映像再生手段と、
前記撮影された映像の撮影位置に対応して、前記各音響再生手段に入力される音響信号の前記チャンネルを切り替える音場切替手段とを備えることを特徴とする音場切替システム。
【請求項２】
前記音場切替手段は、前記動画撮影手段に備えられた撮影位置検出手段によって検出されて記憶手段に記憶された撮影位置信号によって切替制御されることを特徴とする請求項１に記載の音場切替システム。
【請求項３】
前記動画撮影手段が移動することに代えて、前記領域内に配置された複数の動画撮影手段によって撮影された映像信号を切り替えることにより、前記撮影された映像の撮影位置に対応して、前記各音響再生手段に入力される音響信号の前記チャンネルを切り替えることを特徴とする請求項１に記載の音場切替システム。
【請求項１】
互いに離間した位置に位置を固定して配置され、配置された実空間の音響を収音する複数の音響収音手段と、
少なくとも、前記複数の音響収音手段の平面視による配置位置によって画成される領域内を移動する、動画撮影手段と、
収音された音響信号を、各音響収音手段ごとのチャンネル音響信号として記憶する多チャンネル音響信号記憶手段と、
撮影された動画の映像信号を記憶する映像信号記憶手段と、
前記記憶されたチャンネル音響信号を、対応するチャンネルごとに再生する複数の音響再生手段と、
前記記憶された映像信号を再生する映像再生手段と、
前記撮影された映像の撮影位置に対応して、前記各音響再生手段に入力される音響信号の前記チャンネルを切り替える音場切替手段とを備えることを特徴とする音場切替システム。
【請求項２】
前記音場切替手段は、前記動画撮影手段に備えられた撮影位置検出手段によって検出されて記憶手段に記憶された撮影位置信号によって切替制御されることを特徴とする請求項１に記載の音場切替システム。
【請求項３】
前記動画撮影手段が移動することに代えて、前記領域内に配置された複数の動画撮影手段によって撮影された映像信号を切り替えることにより、前記撮影された映像の撮影位置に対応して、前記各音響再生手段に入力される音響信号の前記チャンネルを切り替えることを特徴とする請求項１に記載の音場切替システム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２００８−２４４８６５（Ｐ２００８−２４４８６５Ａ）
【公開日】平成２０年１０月９日（２００８．１０．９）
【国際特許分類】
【出願番号】特願２００７−８２７３３（Ｐ２００７−８２７３３）
【出願日】平成１９年３月２７日（２００７．３．２７）
【出願人】（３０４０２３３１８）国立大学法人静岡大学 (416)
【Ｆターム（参考）】
【公開日】平成２０年１０月９日（２００８．１０．９）
【国際特許分類】
【出願日】平成１９年３月２７日（２００７．３．２７）
【出願人】（３０４０２３３１８）国立大学法人静岡大学 (416)
【Ｆターム（参考）】
[ Back to top ]