撮像収音信号再生システム
【課題】 視聴者による異常の認識や判断が確実に行え、異常の生じた監視地点の映像に切り替えて出力することを可能とする撮像収音信号再生システムを実現する
【解決手段】 撮像収音装置１は、複数のカメラ１１３ａ〜１１３ｄと、複数のバイノーラル音声を収音するマイクロフォン１１２ａ〜１１２ｈを備えた円筒部１１６を有する撮像収音部１１と、複数のカメラから得られる複数の映像信号のうちから主映像信号として設定された映像信号の音声信号を選択音声信号として出力する選択部１２とを備え、再生装置３は、主映像信号を設定して表示手段４２に出力する映像信号出力部３３と、円筒型受音体６４を用いて計測した頭部伝達関数を記憶したフィルタを用いてクロストーク信号を打ち消すように処理して、選択音声信号を左右のスピーカに対して出力するクロストークキャンセラ３４とを備えて構成した。
【解決手段】 撮像収音装置１は、複数のカメラ１１３ａ〜１１３ｄと、複数のバイノーラル音声を収音するマイクロフォン１１２ａ〜１１２ｈを備えた円筒部１１６を有する撮像収音部１１と、複数のカメラから得られる複数の映像信号のうちから主映像信号として設定された映像信号の音声信号を選択音声信号として出力する選択部１２とを備え、再生装置３は、主映像信号を設定して表示手段４２に出力する映像信号出力部３３と、円筒型受音体６４を用いて計測した頭部伝達関数を記憶したフィルタを用いてクロストーク信号を打ち消すように処理して、選択音声信号を左右のスピーカに対して出力するクロストークキャンセラ３４とを備えて構成した。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の被写体を撮影するための複数の撮像カメラと、それぞれの撮像カメラの撮影する方向を正面としてバイノーラル収音するための複数のバイノーラル収音マイクを有する一方、バイノーラル収音された音声信号を視聴者の前面に配置される左右のスピーカで再生する撮像収音信号再生システムに関する。
【背景技術】
【０００２】
最近になり、監視カメラの性能も向上し、監視カメラは工場設備の監視、コンビニエンスストアなどでのレジ部の監視、商品売り場の監視など監視システムは多くの場所で使用されるようになってきた。
一方、1台の監視カメラはカメラの設置される周囲をパンしながら監視すると広い視野角での監視ができるなど監視を効果的に行うことが出来る。監視領域の音場をバイノーラル収音する場合は高品質化された監視映像と共に臨場感豊かな再生音場により監視領域を有効に監視できる。さらに、監視中に異常を発見した場合に、即座に監視カメラを異常とされる被写体に切り替えて監視領域を監視できるようにする。バイノーラル収音する音声も監視カメラの切り替えにより、必要に応じた収音方向の切り替えができることは好ましい。
【０００３】
特許文献１には、複数の監視カメラで複数の監視対象を監視中に、異常が生じた監視領域を特定し易くした多地点遠隔監視方式が開示されている。監視室の使用者の周囲３６０度に被監視所の監視地点Ａ，Ｂ，Ｃと対応した平面的な広がりをもった音の仮想空間を定義し、使用者の周囲３６０度にその音情報が定位するような音像定位処理を施し、その音像定位位置から実際の音情報の地点を使用者に知らせ、異常発見の遅れを改善するようにした多地点遠隔監視方式が開示されている。
【特許文献１】特開平１０−５１７５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示されている多地点遠隔監視方式では、複数の監視地点を監視室内に仮想空間として再配置し、監視室内で音の聞こえる方向を異常が発生した地点として使用者に認識させようとしている。その認識の後、使用者が認識された監視領域の映像と音声とを切り替えて表示器に出力し、監視領域での異常の探索をするようにしている。この多地点遠隔監視方式では、使用者が異常音を認識した後に、その認識に従って映像と音声とを切り替えて出力するようにしているため、認識や判断が曖昧な場合は異常原因の発見が遅れる。異常が生じてから監視映像及び監視音声を即時に異常の生じた監視地点に切り替えて出力することのできる多地点遠隔監視方式を実現することはできなかった。
【０００５】
そこで、本発明は、上記のような問題点を解消するためになされたもので、視聴者による異常の認識や判断が確実に行え、異常が生じてから監視映像及び監視音声を即時に異常の生じた監視地点に切り替えて出力することを可能とする撮像収音信号再生システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本願発明における第１の発明は、カメラにて撮像された映像信号と、マイクロフォンにて収音された音声信号とを出力する撮像収音装置と、前記撮像収音装置から供給される前記映像信号を表示装置に対して出力すると共に前記撮像収音装置から供給される前記音声信号を左右のスピーカに対して出力する再生装置とを有する撮像収音信号再生システムにおいて、前記撮像収音装置は、複数のカメラと、前記複数のカメラのうち１つを撮影用カメラとする場合に前記撮影用カメラに対して所定角度左方向及び右方向に配置され、かつ底面からの高さが同一な一対の左右マイクロフォンで収音したバイノーラル音声を前記撮影用カメラで撮影した映像信号に付随する音声信号として前記複数のカメラのそれぞれに対するバイノーラル音声を収音する複数のマイクロフォンとを備えた円筒部を有する撮像収音部と、前記複数のカメラから得られる複数の映像信号のうちから前記再生装置側において主映像信号として設定された映像信号に付随する音声信号を選択音声信号として出力する選択部と、を備え、前記再生装置は、前記複数の映像信号のうちから１つを前記主映像信号として設定し、前記主映像信号として設定した映像信号から表示用の主映像信号を生成して表示手段に出力する映像信号出力部と、前記選択音声信号が供給され、前記選択音声信号を前記左右のスピーカによって再生した場合に左右のスピーカから再生された信号が視聴者の右左側の耳部で視聴されるクロストーク信号を打ち消すように処理して前記左右のスピーカに対して出力するクロストークキャンセラと、を備え、前記クロストークキャンセラは予め求めた頭部伝達関数を記憶したフィルタを有し、前記頭部伝達関数は、測定信号を円筒型構造体に装着した一対のマイクロフォンで収音した音声信号に基づいて計測した頭部伝達関数であることを特徴とする撮像収音信号再生システムを提供する。
【発明の効果】
【０００７】
本発明によれば、撮像収音装置は、複数のカメラと、複数のカメラのうち１つを撮影用カメラとする場合に撮影用カメラに対して所定角度左方向及び右方向に配置され、かつ底面からの高さが同一な一対の左右マイクロフォンで収音したバイノーラル音声を撮影用カメラで撮影した映像信号に付随する音声信号として複数のカメラのそれぞれに対するバイノーラル音声を収音する複数のマイクロフォンとを備えた円筒部を有する撮像収音部と、複数のカメラから得られる複数の映像信号のうちから再生装置側において主映像信号として設定された映像信号に付随する音声信号を選択音声信号として出力する選択部と、を備え、再生装置は、複数の映像信号のうちから１つを主映像信号として設定し、主映像信号として設定した映像信号から表示用の主映像信号を生成して表示手段に出力する映像信号出力部と、選択音声信号が供給され、選択音声信号を左右のスピーカによって再生した場合に左右のスピーカから再生された信号が視聴者の右左側の耳部で視聴されるクロストーク信号を打ち消すように処理して左右のスピーカに対して出力するクロストークキャンセラと、を備え、クロストークキャンセラは予め求めた頭部伝達関数を記憶したフィルタを有し、頭部伝達関数は、測定信号を円筒型構造体に装着した一対のマイクロフォンで収音した音声信号に基づいて計測した頭部伝達関数であるので、視聴者による異常の認識や判断が確実に行え、異常が生じてから監視映像及び監視音声を即時に異常の生じた監視地点に切り替えて出力することを可能とする撮像収音信号再生システムを実現できる。
【発明を実施するための最良の形態】
【０００８】
以下に本発明の実施例に係る撮像収音再生システムについて図１〜図１２を用いて説明する。
図１は、本発明の実施に係る撮像収音再生システムの構成例を示すブロック図である。図２は、本発明の実施に係る撮像収音再生システムの要部の構成例を示す図（その１）である。図３は、本発明の実施に係る撮像収音再生システムの要部の構成例を説明するための図である。図４は、本発明の実施に係る撮像収音再生システムの要部の構成例を示す図（その２）である。図５は、本発明の実施に係る再生画像の表示例を示す図である。図６は、本発明の実施に係る撮像収音再生システムの要部の構成例を示す図（その３）である。図７は、本発明の実施に係るクロストークキャンセラのフィルタ特性計測装置の構成例を示す図である。図８は、本発明の実施に係るフィルタ特性測定時に用いるバイノーラル受音部の構成例を示す図である。図９は、本発明の実施に係るクロストークキャンセラのインパルス応答特性例を示す図である。図１０は、本発明の実施に係るクロストークキャンセラの周波数応答特性例を示す図である。図１１は、従来のクロストークキャンセラのインパルス応答特性例を参考に示した図である。図１２は、従来のクロストークキャンセラの周波数応答特性例を参考に示した図である。
【０００９】
その撮像収音信号再生システムは視聴者による異常の認識や判断が確実に行え、異常が生じてから監視映像及び監視音声を即時に異常の生じた監視地点に切り替えて出力することを可能とする撮像収音信号再生システムを実現するという目的を、撮像収音装置は、複数のカメラと、複数のカメラのうち１つを撮影用カメラとする場合に撮影用カメラに対して所定角度左方向及び右方向に配置され、かつ底面からの高さが同一な一対の左右マイクロフォンで収音したバイノーラル音声を撮影用カメラで撮影した映像信号に付随する音声信号として複数のカメラのそれぞれに対するバイノーラル音声を収音する複数のマイクロフォンとを備えた円筒部を有する撮像収音部と、複数のカメラから得られる複数の映像信号のうちから再生装置側において主映像信号として設定された映像信号に付随する音声信号を選択音声信号として出力する選択部と、を備え、再生装置は、複数の映像信号のうちから１つを主映像信号として設定し、主映像信号として設定した映像信号から表示用の主映像信号を生成して表示手段に出力する映像信号出力部と、選択音声信号が供給され、選択音声信号を左右のスピーカによって再生した場合に左右のスピーカから再生された信号が視聴者の右左側の耳部で視聴されるクロストーク信号を打ち消すように処理して左右のスピーカに対して出力するクロストークキャンセラと、を備え、クロストークキャンセラは予め求めた頭部伝達関数を記憶したフィルタを有し、頭部伝達関数は、測定信号を円筒型構造体に装着した一対のマイクロフォンで収音した音声信号に基づいて計測した頭部伝達関数であるようにして実現した。
【００１０】
撮像収音信号再生システムの構成について述べる。
図１に示す撮像収音信号再生システム１０は、撮像収音部１１、選択部１２、圧縮部１３、及び送出部１４よりなる撮像収音装置１と、伝送路２と、受信部３１、伸長部３２、信号制御部３３、及びクロストークキャンセラ３４よりなる再生装置３と、スピーカ４１、４３、及びモニタ４２よりなる表示部４とで構成される。
図２に示す撮像収音部１１は耳介１１１ａ〜１１１ｄ、マイクロフォン１１２ａ〜１１２ｄ、撮像カメラ１１３ｂ、１１３ｃ、及び構造体１１７とで構成される。
図４に示す撮像収音部１１ａは耳介１１１ａ〜１１１ｈ、マイクロフォン１１２ａ〜１１２ｈ、撮像カメラ１１３ａ〜１１３ｄ、及び円筒型構造体１１６とで構成される。
図６に示すクロストークキャンセラ３４は、フィルタ３４１〜３４４、加算器３４５、３４６、フィルタ３４７及び３４８で構成される。
図７に示すフィルタ特性測定装置６は、パーソナルコンピュータ６１、増幅器６２、６５、６６、スピーカ６３、及び円筒型受音体６４で構成される。
図８（Ａ）、（Ｂ）に示す円筒型受音体６４はマイクロフォン６４１、６４２、及び円筒型構造体６４９より構成され、（Ｃ）に示す人頭型受音体６９はマイクロフォン６９１、６９２、耳道６９３、６９４、耳介６９５、６９６及び人頭型構造体６９９より構成される。
【００１１】
まず、監視領域に設置される撮像収音装置１の撮像収音部１１は、その撮像収音部１１の前方、左方、後方、及び右方の４方向を監視領域とする監視画像を撮影すると共に、複数の方向を正面方向とした複数のバイノーラル音声を収音する。選択部１２は、再生装置３の信号制御部３３により制御され、前方の画像を主画像、他の左方、後方、及び右方の３方向の画像を副画像として認識すると共に、撮像収音部１１で収音された複数のバイノーラル音声のうち主画像が撮影される方向を正面として収音されるバイノーラル音声を音声信号として選択し出力する。撮像収音部１１で収音された複数の画像及びバイノーラル音声は圧縮部１３で圧縮符号化され、送出部１４から伝送路２に送出される。再生装置３の受信部３１は撮像収音装置１から送出された画像信号及び音声信号を受信し、伸長部３２で圧縮符号化された複数の画像及びバイノーラル音声を復号化して得る。得られた複数の画像は信号制御部３３で主画像および副画像で構成されるマルチ画像を生成してモニタ４２に供給して表示させると共に、得られたバイノーラル音声はクロストークキャンセラ３４でクロストークキャンセル処理がなされ左右のスピーカ４１、４３に供給されて発音される。視聴者はモニタ４２に表示されるマルチ画像を、主画像を正面方向として収音されたバイノーラル音声により視聴する。
【００１２】
バイノーラル音声は後述のクロストークキャンセラ３４でクロストークキャンセル処理がなされ、スピーカ４１、４３から発音される。クロストークキャンセル処理がなされたバイノーラル音声は、左側（右側）のスピーカから発音されて視聴者の右側（左側）の耳で受音されるクロストーク音を打ち消すための打消し信号を予め付加した信号としてスピーカに供給され発音される。従って、視聴者は、スピーカ再生でありながらバイノーラル音声信号をヘッドフォン受聴したと同様な臨場感豊かなバイノーラル音声として受聴できる。
【００１３】
次に、例えば、受聴音の左側から異音が受聴された場合に、受聴者は左方向で撮影される画像を主画像とするための操作を信号制御部３３に対して行う。信号制御部３３は選択部１２に左方向画像を主画像とする制御信号を伝送する。選択部１２は左側の画像を主画像とし、他の３画像を副画像として認識すると共に、撮像収音部１１の左側を正面として収音したバイノーラル音声を得て上記と同様に撮像収音装置１から送出する。モニタ４２には左方向を正面する主画像が表示され、スピーカ４１、４３からは左方向を正面としたバイノーラル音声が再生される。異常音の生じた方向を主画像とし、主画像の方向を正面とするバイノーラル音声により監視領域の監視ができる。
【００１４】
次に、詳細に説明する。
図２を参照し、撮像収音装置１の撮像収音部１１について述べる。
同図（Ａ）は撮像収音部１１の立面図であり、構造体１１７の周囲に備えられている４個の撮像カメラ１１３ａ〜１１３ｄのそれぞれは４つの監視領域の撮像を行う。構造体１１７は音響的に視聴者の頭部とほぼ同等な音響信号の遮蔽特性を有している。その構造体１１７の周囲には耳介１１１ａ〜１１１ｄとマイクロフォン１１２ａ〜１１２ｆが備えられており、それらの耳介やマイクロフォンのうち対向して配置される２つの耳介とマイクロフォンが用いられて、４方向のうちの２方向を正面とする２つのバイノーラル音声を収音する。
（Ｂ）は撮像収音部１１の正面図である。撮像カメラ１１３ｃを主画像撮影用カメラとして設定する場合には耳介１１１ｂ、１１１ｄとマイクロフォン１１２ｂ、１１２ｆが用いられてバイノーラル音声が収音される。収音されるバイノーラル音声は撮像カメラ１１３ｃが向けられる方向を正中面とするバイノーラル音声である。
【００１５】
図３を参照し、撮像収音部１１の耳介についてさらに述べる。
同図（Ａ）は図２（Ａ）に比し、撮像カメラ１１３ｂを主画像撮影用カメラとして設定する場合にバイノーラル収音に用いられる耳介とマイクロフォンのみを示した図である。撮影用カメラ１１３ｂの向けられる方向が正面である。構造体１１７の側面に備えられる耳介１１１ａ、１１１ｃ、マイクロフォン１１２ａ、１１２ｃは、撮像カメラ１１３ｂの正面で撮像される被写体から発せられる音声を前方の音声としてバイノーラル収音を行う。耳介１１１ａ及び１１１ｃは同図の左側に位置される。構造体１１７の右側に位置する被写体から発せられる音は耳介１１１ａ、１１１ｃにより集音されてマイクロフォン１１２ａ、１１２ｃに入力される。構造体１１７の左側（後方）から発せられる音声は、耳介１１１ａ、１１１ｃにより特に高域周波数成分が減衰されてマイクロフォン１１２ａ、１１２ｃに入力される。
【００１６】
同図（Ｃ）は主画像撮影用カメラが撮像カメラ１１３ｂから撮像カメラ１１３ｄに切り替えられた場合の耳介１１１ｃの動きを示す。耳介１１ｃは球を４分割した形状をしており、その耳介１１ｃは図中１点鎖線で示す中心線を中心とし９０度回転する。耳介１１ｃが９０度回転した状態では、マイクロフォン１１２ａ、及び１１２ｃから出力されるバイノーラル音声の左右が切り替わる。耳介１１１ａ、１１１ｃ、マイクロフォン１１２ａ、及び１１２ｃは撮像カメラ１１３ｄで撮像される被写体から発せられる音声を前方の音声としてバイノーラル収音を行う。
【００１７】
図４を参照し、撮像収音部の応用例について述べる。
同図に示す撮像収音部１１ａは円筒型構造体１１６の上部の円周上には耳介１１１ａ〜１１１ｄ、マイクロフォン１１２ａ〜１１２ｄが、中部の円周上には撮像カメラ１１３ａ〜１１３ｄが、そして下部の円周上には耳介１１１ｅ〜１１１ｈ、マイクロフォン１１２ｅ〜１１２ｈが備えられている。ここで耳介１１１ａ〜１１１ｄ、と耳介１１１ｅ〜１１１ｈとはお互いに反対方向が向けられている。
【００１８】
図２に示した撮像収音部１１の耳介は可動して収音方向を反転させるのに比し、図４に示す撮像収音部１１ａの耳介は４つの収音方向に対してそれぞれ４対の耳介とマイクロフォンとを備えているため、バイノーラル音声の切り替えはそれぞれのマイクロフォンから出力される音声信号を切り替えるのみで実行できる。撮像収音部１１は各４個の耳介１１１ａ〜１１１ｄ及びマイクロフォン１１２ａ〜１１２ｄを用いるのみで４方向のバイノーラル音声を収音できる。撮像収音部１１ａは各８個の耳介１１１ａ〜１１１ｈ及びマイクロフォン１１２ａ〜１１２ｈを用い４方向のバイノーラル音声を収音する。撮像収音部１１ａは撮像収音部１１に比しさらに４個のマイクロフォン等を備えているため、収音方向の切り替え時に耳介１１１ａ〜１１１ｈを回転させる必要がなく、耳介の切替機構を有しなく、切り替えは瞬時であり、耳介の切り替え時に生じる摩擦音も生じない。
【００１９】
図５を参照してモニタ４２に表示されるマルチ画像について述べる。
同図（Ａ）は大画面表示領域の（ａ）と、小画面表示領域の（ｂ）〜（ｄ）を有する。表示領域（ａ）〜（ｄ）のそれぞれには撮像カメラ１１３ａ〜１１３ｄから出力される映像信号が表示される。撮像カメラ１１３ａから出力される映像信号を主画像として指定し、撮像カメラ１１３ｂ〜１１３ｄの映像信号を副画像として選択した場合の表示例である。同図（Ｂ）は大画面表示領域が（ｂ）であり、小画面表示領域は（ａ）、（ｃ）、（ｄ）である。撮像カメラ１１３ｂから出力される映像信号が主画像として指定され、他の撮像カメラから出力される映像信号が副画像として選択された場合の表示領域設定例である。
【００２０】
図６を参照してクロストークキャンセラについて述べる。
まず、バイノーラル音声信号のうち左チャンネルの信号ＰL（ｔ）はフィルタ３４１、３４２に、右チャンネルの信号ＰR（ｔ）はフィルタ３４３、３４４に入力される。フィルタ３４１〜３４４は順に、後記の頭部伝達関数に係る特性ｈrs（ｔ）、−ｈlo（ｔ）、−ｈro（ｔ）、ｈls（ｔ）の電気音響変換特性を有し、入力される信号にそれらの特性を与える。加算器３４５はフィルタ３４１及び３４３から出力される信号を加算し、フィルタ３４７は加算された信号にｄ（ｔ）の特性を与える。加算器３４６はフィルタ３４２及び３４４から出力される信号を加算し、フィルタ３４８は加算された信号にｄ（ｔ）の特性を与える。フィルタ３４７、３４８から出力される信号はクロストークキャンセラ３４の出力信号である。それらの出力信号は図示しないアンプで増幅され、スピーカ４１、４３に供給され発音される。
【００２１】
スピーカ４１から発音された信号は視聴者４８の左耳で受聴されると共に、発音された信号の一部は破線にて示す第１のクロストーク信号として視聴者４８の右耳で受聴される。クロストークキャンセラ３４は受聴される第１のクロストーク信号を打ち消すための第１のクロストーク打消し信号を生成してスピーカ４３から発音させる。第１のクロストーク打消し信号により右耳で受聴されるクロストーク信号は打ち消され（減衰され）る。同様にして、スピーカ４３から発音され、視聴者４８の左耳で受聴される破線にて示す第２のクロストーク信号を打ち消すための第２のクロストーク打消し信号はスピーカ４１から発音される。
【００２２】
なお、スピーカ４３から発音される第１のクロストーク打消し信号は視聴者４８の左耳でさらにクロストーク成分として受聴される。第１のクロストーク打消し信号のクロストーク成分は、左チャンネルのバイノーラル音声信号ＰL（ｔ）と共に左耳で視聴されることになる。両者は類似する信号であるため受聴品質に与える影響は少ない。また、スピーカ４１から発音される第２のクロストーク打消し信号のクロストーク成分は、右チャンネルのバイノーラル音声信号ＰR（ｔ）と共に右耳で視聴される。同様に、第２のクロストーク打消し信号のクロストーク成分が受聴品質に与える影響は少ない。
【００２３】
図７を用い、フィルタ３４１〜３４４、３４７、及び３４８に格納する頭部伝達関数特性を求めるためのフィルタ特性測定装置６につき説明する。
まず、パソコン６１により例えばレイズドコサインの波形を有するインパルス音などの測定信号を生成する。測定信号は増幅器６２で増幅される。スピーカ６３から発音された測定信号は円筒型受音体６４に付される左右のマイクユニット６４１、６４２で受音される。受音して得られた左右の信号は増幅器６６、６７で増幅されパソコン６１に入力される。パソコン６１は生成した測定信号と受音した信号とを比較して、スピーカ６３から発音され、円筒型受音体６４に付される左右のマイクユニット６４１、６４２で受音される信号の頭部伝達関数ｈls（ｔ）及びｈlo（ｔ）を求める。ｈls（ｔ）は左側のスピーカから発音された信号が左側のマイクユニットで受聴される特性であり、ｈlo（ｔ）は左側のスピーカから発音された信号が右側のマイクユニットで受聴されるクロストークに係る特性である。
【００２４】
ここで、図７には左側のスピーカ６３のみを示しているが、右側のスピーカについては左右対称な位置にスピーカを配置して同様に測定し、頭部伝達関数ｈro（ｔ）及びｈrs（ｔ）が求められる。ｈrs（ｔ）は右側のスピーカから発音されて右側のマイクユニットで受聴される特性であり、ｈro（ｔ）は右側のスピーカから発音されて左側のマイクユニットで受聴される特性である。
【００２５】
図８を用いて円筒型受音体６４について述べる。（Ａ）は上面図であり、（Ｂ）は斜視図である。
同図に示す円筒型受音体６４の両側にマイクユニット６４１、６４２が備えられている。それぞれのマイクユニット６４１、６４２は耳介及び外耳道を有していない。マイクユニット６４１、６４２の図示しない振動板は円筒型受音体６４の表面に配置されている。参考として示した（Ｃ）はいわゆる人頭型受音体の上面図である。その人頭型受音体６９は、人頭型構造体６９９の両側に耳介形部材６９５、６９６、耳道６９３、６９４が備えられており、耳道の奥側にマイク６９１、６９２が備えられている。マイク６９１、６９２は人の鼓膜の位置に相当する位置に設けられており、人が聴取する音に近似する音声信号を収音しようとしている。
【００２６】
（Ａ）（Ｂ）に示したマイクユニット６４１、６４２が付される円筒型受音体６４は、（Ｃ）に示した人頭型受音体６９に比し耳介や外耳道を備えていない。円筒型構造体６４９に付されるマイクユニット６４１、６４２の受音特性は、人それぞれで形状が異なる耳介や外耳道により与えられる特性差の影響を受けることがなく、頭部伝達関数を計測できる特性になっている。マイクユニット６４１、６４２が用いられて計測される特性はスピーカ６３から発音された音波が円筒型構造体６４９により遮蔽されるものの、円筒型構造体６４９の表面に添って回折してマイクユニット６４２に到来する音波の特性として計測される。円筒型構造体６４９を用いることにより、複数の頭部形状の視聴者が有する頭部遮蔽特性の異なりに対して平均的な頭部遮蔽特性を有する頭部伝達関数を得ることができる。
【００２７】
図９に、音響信号伝達特性測定装置６によりインパルス音を用いて測定して得られた頭部伝達関数に係るそれぞれの波形を示す。（Ａ）〜（Ｄ）は順にｈls（ｔ）、ｈlo（ｔ）、ｈrs（ｔ）、ｈro（ｔ）の波形図である。（Ｅ）はｄ（ｔ）の波形図である。縦軸は所定の出力電圧でノーマライズした信号電圧の振幅であり、横軸は測定された信号を４８ｋＨｚで標本化した場合のサンプルの個数で示した時間である。
図１０（Ａ）〜（Ｅ）に、図９に示した信号をフーリエ解析して得られる周波数特性を示す。図中１００Ｈｚ、１ｋＨｚ、１０ｋＨｚの周波数位置を破線で示している。応答特性における破線と破線との間の利得差は１０ｄＢである。
【００２８】
フィルタ３４１〜３４４の特性ｈrs（ｔ）、−ｈlo（ｔ）、−ｈro（ｔ）、ｈls（ｔ）は音響信号伝達特性測定装置６で測定して得られた特性ｈls（ｔ）及びｈrs（ｔ）と、ｈlo（ｔ）及びｈro（ｔ）の符号を反転した特性（逆極性）を用いる。
フィルタ３４７及び３４８の特性ｄ（ｔ）は次式により与えられる。
ｄ（ｔ）＝｛ｈls（ｔ）＊ｈrs（ｔ）−ｈlo（ｔ）＊ｈro（ｔ）｝-1
ここで、「＊」は乗算を示す算術記号である。
以上により求められたそれぞれのフィルタ特性は、それらのフィルタ中に設けられる図示しない記憶部に格納され、その記憶部から読み出した特性を入力される信号に畳み込む様にして所定のフィルタ特性を与える。
【００２９】
図１１、図１２に、円筒型構造体６４９に付されるマイクユニット６４１、６４２の代わりに図８の（Ｃ）に示した人頭型受音体６９を用いて測定した特性を示す。
図１１は図９と同様に測定して得られた特性である。人頭型受音体６９を用いて測定したインパルス応答波形は振動を多く含む波形であるのに比し、マイクユニット６４１、６４２を用いて得た波形は測定用入力信号であるレイズドコサインに近い波形である。負の電圧部分の振幅が小さい波形であり、それに続く振動波形の振幅も小さい。
【００３０】
図１２は人頭型受音体６９を用いて測定した図１１に対応する周波数応答特性である。円筒型受音体６４に付されるマイクユニット６４１、６４２を用いて得た特性の方が周波数特性の乱れが小さく平坦に近い。図１２に示す（Ａ）〜（Ｅ）のそれぞれの特性は１．５〜７ｋＨｚの周波数の間で増強及び減衰がなされているのに比し、図１０に示す特性の方が増強及び減衰のレベルは小さい。耳介や外耳道により生じる特性の乱れがないためである。マイクユニット６４１、６４２を用いる場合は、スピーカ６３より発音された音波の一部が耳介で反射され、反射された音波と直接到来する音波とが同相で合成されて増強されたり、逆相で合成されて減衰したりする影響がなく、更に外耳道の共振、反共振などの影響により特定の周波数で増強されたり減衰したりすることの小さい特性として得られている。
【００３１】
フィルタ３４１〜３４４の特性の異なりにより得られるクロストークキャンセル特性の差を比較して説明する。
クロストークキャンセル特性の測定は図７に示したバイノーラル音声スピーカ再生システムを用いて行った。同システムにおけるクロストークキャンセラ３４のフィルタ３４１〜３４４及びフィルタ３４７、３４８の特性は円筒型受音体６４に付されるマイクユニット６４１、６４２を用いて得られた特性と、人頭型受音体６９を用いて得られた特性とを入れ替えながら複数の視聴者による視聴テストを行った。視聴者は耳道に細い小型マイクを挿入し、その小型マイクで受音される音が視聴者により受聴される音であるとして測定した。フィルタ３４１〜３４４及びフィルタ３４７、３４８の特性を円筒型受音体６４に付されるマイクユニット６４１、６４２で得られた特性を用いて測定した場合は１００Ｈｚ〜２ｋＨｚで２０ｄＢを越える分離性能（クロストークキャンセル効果）が得られているのに比し、人頭型受音体６９で得られた特性を用いる場合では１２ｄＢ程度の分離度しか得られなかった。
【００３２】
十分な分離度が得られることは、クロストークをキャンセル信号が有効に動作していることであり、クロストークキャンセル信号が逆相成分として視聴されないことでもある。バイノーラル収音した信号は好適な臨場感を有して視聴者により聴取される。異常音が発生した場合に、その箇所がモニタ４２に表示される主画面に表示されない箇所の場合であっても視聴者は概略の発生箇所を認識できる。
ここで、図５に示したマルチ画面は再生装置３の信号制御部３３で生成されるとして述べた。そのマルチ画面は撮像収音装置１の選択部１２で生成するようにしても良い。その場合は、マルチ画面を圧縮部１３で圧縮符号化して伝送路２を伝送するため、副画面を伝送するための符号量は小さくできる。
また、撮像収音装置１内に映像信号の録画機能を備えて撮像収音部１１で撮像された副画面の映像を縮小せずに記録しておけば、記録画像を後の異音発生原因の解析に役立てられる。
【００３３】
以上のように、本実施例で示した撮像収音信号再生システムによれば、撮像収音装置１は、複数のカメラ１１３ａ〜１１３ｄと、複数のカメラのうち１つを撮影用カメラとする場合に撮影用カメラに対して所定角度左方向及び右方向に配置され、かつ底面からの高さが同一な一対の左右マイクロフォンで収音したバイノーラル音声を撮影用カメラで撮影した映像信号に付随する音声信号として複数のカメラのそれぞれに対するバイノーラル音声を収音する複数のマイクロフォン１１２ａ〜１１２ｈを備えた円筒部１１６を有する撮像収音部１１と、複数のカメラから得られる複数の映像信号のうちから再生装置側において主映像信号として設定された映像信号に付随する音声信号を選択音声信号として出力する選択部１２と、を備え、再生装置３は、複数の映像信号のうちから１つを主映像信号として設定し、主映像信号として設定した映像信号から表示用の主映像信号を生成して表示手段４２に出力する映像信号出力部３３と、選択音声信号が供給され、選択音声信号を左右のスピーカによって再生した場合に左右のスピーカから再生された信号が視聴者の右左側の耳部で視聴されるクロストーク信号を打ち消すように処理して左右のスピーカに対して出力するクロストークキャンセラ３４と、を備え、クロストークキャンセラ３４は予め求めた頭部伝達関数を記憶したフィルタ３４１〜３４４を有し、頭部伝達関数は、測定信号を円筒型構造体６４９に装着した一対のマイクロフォン６４１、６４２で収音した音声信号に基づいて計測した頭部伝達関数であるので、視聴者による異常の認識や判断が確実に行え、異常が生じてから監視映像及び監視音声を即時に異常の生じた監視地点に切り替えて出力することを可能とする撮像収音信号再生システム１０を実現できる。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施に係る撮像収音再生システムの構成例を示すブロック図である。
【図２】本発明の実施に係る撮像収音再生システムの要部の構成例を示す図（その１）である。
【図３】本発明の実施に係る撮像収音再生システムの要部の構成例を説明するための図である。
【図４】本発明の実施に係る撮像収音再生システムの要部の構成例を示す図（その２）である。
【図５】本発明の実施に係る再生画像の表示例を示す図である。
【図６】本発明の実施に係る撮像収音再生システムの要部の構成例を示す図（その３）である。
【図７】本発明の実施に係るクロストークキャンセラのフィルタ特性計測装置の構成例を示す図である。
【図８】本発明の実施に係るフィルタ特性測定時に用いるバイノーラル受音部の構成例を示す図である。
【図９】本発明の実施に係るクロストークキャンセラのインパルス応答特性例を示す図である。
【図１０】本発明の実施に係るクロストークキャンセラの周波数応答特性例を示す図である。
【図１１】従来のクロストークキャンセラのインパルス応答特性例を参考に示した図である。
【図１２】従来のクロストークキャンセラの周波数応答特性例を参考に示した図である。
【符号の説明】
【００３５】
１ 撮像収音装置
２ 伝送路
３ 再生装置
４ 表示部
６ フィルタ特性測定装置
１０ 撮像収音信号再生システム
１１、１１ａ 撮像収音部
１２ 選択部
１３ 圧縮部
１４ 送出部
３１ 受信部
３２ 伸長部
３３ 信号制御部
３４ クロストークキャンセラ
４１、４３、６３ スピーカ
４２ モニタ
６１ パーソナルコンピュータ
６２、６５、６６ 増幅器
６４ 円筒型受音体
６９ 人頭型受音体
１１１ａ〜１１１ｈ 耳介
１１２ａ〜１１２ｈ マイクロフォン
１１３ａ〜１１３ｄ 撮像カメラ
１１６ 円筒型構造体
１１７ 構造体
３４１〜３４４、３４７、３４８ フィルタ
３４５、３４６ 加算器
６４１、６４２、６９１、６９２ マイクロフォン
６４９ 円筒型構造体
６９３、６９４ 耳道
６９５、６９６ 耳介
６９９ 人頭型構造体
【技術分野】
【０００１】
本発明は、複数の被写体を撮影するための複数の撮像カメラと、それぞれの撮像カメラの撮影する方向を正面としてバイノーラル収音するための複数のバイノーラル収音マイクを有する一方、バイノーラル収音された音声信号を視聴者の前面に配置される左右のスピーカで再生する撮像収音信号再生システムに関する。
【背景技術】
【０００２】
最近になり、監視カメラの性能も向上し、監視カメラは工場設備の監視、コンビニエンスストアなどでのレジ部の監視、商品売り場の監視など監視システムは多くの場所で使用されるようになってきた。
一方、1台の監視カメラはカメラの設置される周囲をパンしながら監視すると広い視野角での監視ができるなど監視を効果的に行うことが出来る。監視領域の音場をバイノーラル収音する場合は高品質化された監視映像と共に臨場感豊かな再生音場により監視領域を有効に監視できる。さらに、監視中に異常を発見した場合に、即座に監視カメラを異常とされる被写体に切り替えて監視領域を監視できるようにする。バイノーラル収音する音声も監視カメラの切り替えにより、必要に応じた収音方向の切り替えができることは好ましい。
【０００３】
特許文献１には、複数の監視カメラで複数の監視対象を監視中に、異常が生じた監視領域を特定し易くした多地点遠隔監視方式が開示されている。監視室の使用者の周囲３６０度に被監視所の監視地点Ａ，Ｂ，Ｃと対応した平面的な広がりをもった音の仮想空間を定義し、使用者の周囲３６０度にその音情報が定位するような音像定位処理を施し、その音像定位位置から実際の音情報の地点を使用者に知らせ、異常発見の遅れを改善するようにした多地点遠隔監視方式が開示されている。
【特許文献１】特開平１０−５１７５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示されている多地点遠隔監視方式では、複数の監視地点を監視室内に仮想空間として再配置し、監視室内で音の聞こえる方向を異常が発生した地点として使用者に認識させようとしている。その認識の後、使用者が認識された監視領域の映像と音声とを切り替えて表示器に出力し、監視領域での異常の探索をするようにしている。この多地点遠隔監視方式では、使用者が異常音を認識した後に、その認識に従って映像と音声とを切り替えて出力するようにしているため、認識や判断が曖昧な場合は異常原因の発見が遅れる。異常が生じてから監視映像及び監視音声を即時に異常の生じた監視地点に切り替えて出力することのできる多地点遠隔監視方式を実現することはできなかった。
【０００５】
そこで、本発明は、上記のような問題点を解消するためになされたもので、視聴者による異常の認識や判断が確実に行え、異常が生じてから監視映像及び監視音声を即時に異常の生じた監視地点に切り替えて出力することを可能とする撮像収音信号再生システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本願発明における第１の発明は、カメラにて撮像された映像信号と、マイクロフォンにて収音された音声信号とを出力する撮像収音装置と、前記撮像収音装置から供給される前記映像信号を表示装置に対して出力すると共に前記撮像収音装置から供給される前記音声信号を左右のスピーカに対して出力する再生装置とを有する撮像収音信号再生システムにおいて、前記撮像収音装置は、複数のカメラと、前記複数のカメラのうち１つを撮影用カメラとする場合に前記撮影用カメラに対して所定角度左方向及び右方向に配置され、かつ底面からの高さが同一な一対の左右マイクロフォンで収音したバイノーラル音声を前記撮影用カメラで撮影した映像信号に付随する音声信号として前記複数のカメラのそれぞれに対するバイノーラル音声を収音する複数のマイクロフォンとを備えた円筒部を有する撮像収音部と、前記複数のカメラから得られる複数の映像信号のうちから前記再生装置側において主映像信号として設定された映像信号に付随する音声信号を選択音声信号として出力する選択部と、を備え、前記再生装置は、前記複数の映像信号のうちから１つを前記主映像信号として設定し、前記主映像信号として設定した映像信号から表示用の主映像信号を生成して表示手段に出力する映像信号出力部と、前記選択音声信号が供給され、前記選択音声信号を前記左右のスピーカによって再生した場合に左右のスピーカから再生された信号が視聴者の右左側の耳部で視聴されるクロストーク信号を打ち消すように処理して前記左右のスピーカに対して出力するクロストークキャンセラと、を備え、前記クロストークキャンセラは予め求めた頭部伝達関数を記憶したフィルタを有し、前記頭部伝達関数は、測定信号を円筒型構造体に装着した一対のマイクロフォンで収音した音声信号に基づいて計測した頭部伝達関数であることを特徴とする撮像収音信号再生システムを提供する。
【発明の効果】
【０００７】
本発明によれば、撮像収音装置は、複数のカメラと、複数のカメラのうち１つを撮影用カメラとする場合に撮影用カメラに対して所定角度左方向及び右方向に配置され、かつ底面からの高さが同一な一対の左右マイクロフォンで収音したバイノーラル音声を撮影用カメラで撮影した映像信号に付随する音声信号として複数のカメラのそれぞれに対するバイノーラル音声を収音する複数のマイクロフォンとを備えた円筒部を有する撮像収音部と、複数のカメラから得られる複数の映像信号のうちから再生装置側において主映像信号として設定された映像信号に付随する音声信号を選択音声信号として出力する選択部と、を備え、再生装置は、複数の映像信号のうちから１つを主映像信号として設定し、主映像信号として設定した映像信号から表示用の主映像信号を生成して表示手段に出力する映像信号出力部と、選択音声信号が供給され、選択音声信号を左右のスピーカによって再生した場合に左右のスピーカから再生された信号が視聴者の右左側の耳部で視聴されるクロストーク信号を打ち消すように処理して左右のスピーカに対して出力するクロストークキャンセラと、を備え、クロストークキャンセラは予め求めた頭部伝達関数を記憶したフィルタを有し、頭部伝達関数は、測定信号を円筒型構造体に装着した一対のマイクロフォンで収音した音声信号に基づいて計測した頭部伝達関数であるので、視聴者による異常の認識や判断が確実に行え、異常が生じてから監視映像及び監視音声を即時に異常の生じた監視地点に切り替えて出力することを可能とする撮像収音信号再生システムを実現できる。
【発明を実施するための最良の形態】
【０００８】
以下に本発明の実施例に係る撮像収音再生システムについて図１〜図１２を用いて説明する。
図１は、本発明の実施に係る撮像収音再生システムの構成例を示すブロック図である。図２は、本発明の実施に係る撮像収音再生システムの要部の構成例を示す図（その１）である。図３は、本発明の実施に係る撮像収音再生システムの要部の構成例を説明するための図である。図４は、本発明の実施に係る撮像収音再生システムの要部の構成例を示す図（その２）である。図５は、本発明の実施に係る再生画像の表示例を示す図である。図６は、本発明の実施に係る撮像収音再生システムの要部の構成例を示す図（その３）である。図７は、本発明の実施に係るクロストークキャンセラのフィルタ特性計測装置の構成例を示す図である。図８は、本発明の実施に係るフィルタ特性測定時に用いるバイノーラル受音部の構成例を示す図である。図９は、本発明の実施に係るクロストークキャンセラのインパルス応答特性例を示す図である。図１０は、本発明の実施に係るクロストークキャンセラの周波数応答特性例を示す図である。図１１は、従来のクロストークキャンセラのインパルス応答特性例を参考に示した図である。図１２は、従来のクロストークキャンセラの周波数応答特性例を参考に示した図である。
【０００９】
その撮像収音信号再生システムは視聴者による異常の認識や判断が確実に行え、異常が生じてから監視映像及び監視音声を即時に異常の生じた監視地点に切り替えて出力することを可能とする撮像収音信号再生システムを実現するという目的を、撮像収音装置は、複数のカメラと、複数のカメラのうち１つを撮影用カメラとする場合に撮影用カメラに対して所定角度左方向及び右方向に配置され、かつ底面からの高さが同一な一対の左右マイクロフォンで収音したバイノーラル音声を撮影用カメラで撮影した映像信号に付随する音声信号として複数のカメラのそれぞれに対するバイノーラル音声を収音する複数のマイクロフォンとを備えた円筒部を有する撮像収音部と、複数のカメラから得られる複数の映像信号のうちから再生装置側において主映像信号として設定された映像信号に付随する音声信号を選択音声信号として出力する選択部と、を備え、再生装置は、複数の映像信号のうちから１つを主映像信号として設定し、主映像信号として設定した映像信号から表示用の主映像信号を生成して表示手段に出力する映像信号出力部と、選択音声信号が供給され、選択音声信号を左右のスピーカによって再生した場合に左右のスピーカから再生された信号が視聴者の右左側の耳部で視聴されるクロストーク信号を打ち消すように処理して左右のスピーカに対して出力するクロストークキャンセラと、を備え、クロストークキャンセラは予め求めた頭部伝達関数を記憶したフィルタを有し、頭部伝達関数は、測定信号を円筒型構造体に装着した一対のマイクロフォンで収音した音声信号に基づいて計測した頭部伝達関数であるようにして実現した。
【００１０】
撮像収音信号再生システムの構成について述べる。
図１に示す撮像収音信号再生システム１０は、撮像収音部１１、選択部１２、圧縮部１３、及び送出部１４よりなる撮像収音装置１と、伝送路２と、受信部３１、伸長部３２、信号制御部３３、及びクロストークキャンセラ３４よりなる再生装置３と、スピーカ４１、４３、及びモニタ４２よりなる表示部４とで構成される。
図２に示す撮像収音部１１は耳介１１１ａ〜１１１ｄ、マイクロフォン１１２ａ〜１１２ｄ、撮像カメラ１１３ｂ、１１３ｃ、及び構造体１１７とで構成される。
図４に示す撮像収音部１１ａは耳介１１１ａ〜１１１ｈ、マイクロフォン１１２ａ〜１１２ｈ、撮像カメラ１１３ａ〜１１３ｄ、及び円筒型構造体１１６とで構成される。
図６に示すクロストークキャンセラ３４は、フィルタ３４１〜３４４、加算器３４５、３４６、フィルタ３４７及び３４８で構成される。
図７に示すフィルタ特性測定装置６は、パーソナルコンピュータ６１、増幅器６２、６５、６６、スピーカ６３、及び円筒型受音体６４で構成される。
図８（Ａ）、（Ｂ）に示す円筒型受音体６４はマイクロフォン６４１、６４２、及び円筒型構造体６４９より構成され、（Ｃ）に示す人頭型受音体６９はマイクロフォン６９１、６９２、耳道６９３、６９４、耳介６９５、６９６及び人頭型構造体６９９より構成される。
【００１１】
まず、監視領域に設置される撮像収音装置１の撮像収音部１１は、その撮像収音部１１の前方、左方、後方、及び右方の４方向を監視領域とする監視画像を撮影すると共に、複数の方向を正面方向とした複数のバイノーラル音声を収音する。選択部１２は、再生装置３の信号制御部３３により制御され、前方の画像を主画像、他の左方、後方、及び右方の３方向の画像を副画像として認識すると共に、撮像収音部１１で収音された複数のバイノーラル音声のうち主画像が撮影される方向を正面として収音されるバイノーラル音声を音声信号として選択し出力する。撮像収音部１１で収音された複数の画像及びバイノーラル音声は圧縮部１３で圧縮符号化され、送出部１４から伝送路２に送出される。再生装置３の受信部３１は撮像収音装置１から送出された画像信号及び音声信号を受信し、伸長部３２で圧縮符号化された複数の画像及びバイノーラル音声を復号化して得る。得られた複数の画像は信号制御部３３で主画像および副画像で構成されるマルチ画像を生成してモニタ４２に供給して表示させると共に、得られたバイノーラル音声はクロストークキャンセラ３４でクロストークキャンセル処理がなされ左右のスピーカ４１、４３に供給されて発音される。視聴者はモニタ４２に表示されるマルチ画像を、主画像を正面方向として収音されたバイノーラル音声により視聴する。
【００１２】
バイノーラル音声は後述のクロストークキャンセラ３４でクロストークキャンセル処理がなされ、スピーカ４１、４３から発音される。クロストークキャンセル処理がなされたバイノーラル音声は、左側（右側）のスピーカから発音されて視聴者の右側（左側）の耳で受音されるクロストーク音を打ち消すための打消し信号を予め付加した信号としてスピーカに供給され発音される。従って、視聴者は、スピーカ再生でありながらバイノーラル音声信号をヘッドフォン受聴したと同様な臨場感豊かなバイノーラル音声として受聴できる。
【００１３】
次に、例えば、受聴音の左側から異音が受聴された場合に、受聴者は左方向で撮影される画像を主画像とするための操作を信号制御部３３に対して行う。信号制御部３３は選択部１２に左方向画像を主画像とする制御信号を伝送する。選択部１２は左側の画像を主画像とし、他の３画像を副画像として認識すると共に、撮像収音部１１の左側を正面として収音したバイノーラル音声を得て上記と同様に撮像収音装置１から送出する。モニタ４２には左方向を正面する主画像が表示され、スピーカ４１、４３からは左方向を正面としたバイノーラル音声が再生される。異常音の生じた方向を主画像とし、主画像の方向を正面とするバイノーラル音声により監視領域の監視ができる。
【００１４】
次に、詳細に説明する。
図２を参照し、撮像収音装置１の撮像収音部１１について述べる。
同図（Ａ）は撮像収音部１１の立面図であり、構造体１１７の周囲に備えられている４個の撮像カメラ１１３ａ〜１１３ｄのそれぞれは４つの監視領域の撮像を行う。構造体１１７は音響的に視聴者の頭部とほぼ同等な音響信号の遮蔽特性を有している。その構造体１１７の周囲には耳介１１１ａ〜１１１ｄとマイクロフォン１１２ａ〜１１２ｆが備えられており、それらの耳介やマイクロフォンのうち対向して配置される２つの耳介とマイクロフォンが用いられて、４方向のうちの２方向を正面とする２つのバイノーラル音声を収音する。
（Ｂ）は撮像収音部１１の正面図である。撮像カメラ１１３ｃを主画像撮影用カメラとして設定する場合には耳介１１１ｂ、１１１ｄとマイクロフォン１１２ｂ、１１２ｆが用いられてバイノーラル音声が収音される。収音されるバイノーラル音声は撮像カメラ１１３ｃが向けられる方向を正中面とするバイノーラル音声である。
【００１５】
図３を参照し、撮像収音部１１の耳介についてさらに述べる。
同図（Ａ）は図２（Ａ）に比し、撮像カメラ１１３ｂを主画像撮影用カメラとして設定する場合にバイノーラル収音に用いられる耳介とマイクロフォンのみを示した図である。撮影用カメラ１１３ｂの向けられる方向が正面である。構造体１１７の側面に備えられる耳介１１１ａ、１１１ｃ、マイクロフォン１１２ａ、１１２ｃは、撮像カメラ１１３ｂの正面で撮像される被写体から発せられる音声を前方の音声としてバイノーラル収音を行う。耳介１１１ａ及び１１１ｃは同図の左側に位置される。構造体１１７の右側に位置する被写体から発せられる音は耳介１１１ａ、１１１ｃにより集音されてマイクロフォン１１２ａ、１１２ｃに入力される。構造体１１７の左側（後方）から発せられる音声は、耳介１１１ａ、１１１ｃにより特に高域周波数成分が減衰されてマイクロフォン１１２ａ、１１２ｃに入力される。
【００１６】
同図（Ｃ）は主画像撮影用カメラが撮像カメラ１１３ｂから撮像カメラ１１３ｄに切り替えられた場合の耳介１１１ｃの動きを示す。耳介１１ｃは球を４分割した形状をしており、その耳介１１ｃは図中１点鎖線で示す中心線を中心とし９０度回転する。耳介１１ｃが９０度回転した状態では、マイクロフォン１１２ａ、及び１１２ｃから出力されるバイノーラル音声の左右が切り替わる。耳介１１１ａ、１１１ｃ、マイクロフォン１１２ａ、及び１１２ｃは撮像カメラ１１３ｄで撮像される被写体から発せられる音声を前方の音声としてバイノーラル収音を行う。
【００１７】
図４を参照し、撮像収音部の応用例について述べる。
同図に示す撮像収音部１１ａは円筒型構造体１１６の上部の円周上には耳介１１１ａ〜１１１ｄ、マイクロフォン１１２ａ〜１１２ｄが、中部の円周上には撮像カメラ１１３ａ〜１１３ｄが、そして下部の円周上には耳介１１１ｅ〜１１１ｈ、マイクロフォン１１２ｅ〜１１２ｈが備えられている。ここで耳介１１１ａ〜１１１ｄ、と耳介１１１ｅ〜１１１ｈとはお互いに反対方向が向けられている。
【００１８】
図２に示した撮像収音部１１の耳介は可動して収音方向を反転させるのに比し、図４に示す撮像収音部１１ａの耳介は４つの収音方向に対してそれぞれ４対の耳介とマイクロフォンとを備えているため、バイノーラル音声の切り替えはそれぞれのマイクロフォンから出力される音声信号を切り替えるのみで実行できる。撮像収音部１１は各４個の耳介１１１ａ〜１１１ｄ及びマイクロフォン１１２ａ〜１１２ｄを用いるのみで４方向のバイノーラル音声を収音できる。撮像収音部１１ａは各８個の耳介１１１ａ〜１１１ｈ及びマイクロフォン１１２ａ〜１１２ｈを用い４方向のバイノーラル音声を収音する。撮像収音部１１ａは撮像収音部１１に比しさらに４個のマイクロフォン等を備えているため、収音方向の切り替え時に耳介１１１ａ〜１１１ｈを回転させる必要がなく、耳介の切替機構を有しなく、切り替えは瞬時であり、耳介の切り替え時に生じる摩擦音も生じない。
【００１９】
図５を参照してモニタ４２に表示されるマルチ画像について述べる。
同図（Ａ）は大画面表示領域の（ａ）と、小画面表示領域の（ｂ）〜（ｄ）を有する。表示領域（ａ）〜（ｄ）のそれぞれには撮像カメラ１１３ａ〜１１３ｄから出力される映像信号が表示される。撮像カメラ１１３ａから出力される映像信号を主画像として指定し、撮像カメラ１１３ｂ〜１１３ｄの映像信号を副画像として選択した場合の表示例である。同図（Ｂ）は大画面表示領域が（ｂ）であり、小画面表示領域は（ａ）、（ｃ）、（ｄ）である。撮像カメラ１１３ｂから出力される映像信号が主画像として指定され、他の撮像カメラから出力される映像信号が副画像として選択された場合の表示領域設定例である。
【００２０】
図６を参照してクロストークキャンセラについて述べる。
まず、バイノーラル音声信号のうち左チャンネルの信号ＰL（ｔ）はフィルタ３４１、３４２に、右チャンネルの信号ＰR（ｔ）はフィルタ３４３、３４４に入力される。フィルタ３４１〜３４４は順に、後記の頭部伝達関数に係る特性ｈrs（ｔ）、−ｈlo（ｔ）、−ｈro（ｔ）、ｈls（ｔ）の電気音響変換特性を有し、入力される信号にそれらの特性を与える。加算器３４５はフィルタ３４１及び３４３から出力される信号を加算し、フィルタ３４７は加算された信号にｄ（ｔ）の特性を与える。加算器３４６はフィルタ３４２及び３４４から出力される信号を加算し、フィルタ３４８は加算された信号にｄ（ｔ）の特性を与える。フィルタ３４７、３４８から出力される信号はクロストークキャンセラ３４の出力信号である。それらの出力信号は図示しないアンプで増幅され、スピーカ４１、４３に供給され発音される。
【００２１】
スピーカ４１から発音された信号は視聴者４８の左耳で受聴されると共に、発音された信号の一部は破線にて示す第１のクロストーク信号として視聴者４８の右耳で受聴される。クロストークキャンセラ３４は受聴される第１のクロストーク信号を打ち消すための第１のクロストーク打消し信号を生成してスピーカ４３から発音させる。第１のクロストーク打消し信号により右耳で受聴されるクロストーク信号は打ち消され（減衰され）る。同様にして、スピーカ４３から発音され、視聴者４８の左耳で受聴される破線にて示す第２のクロストーク信号を打ち消すための第２のクロストーク打消し信号はスピーカ４１から発音される。
【００２２】
なお、スピーカ４３から発音される第１のクロストーク打消し信号は視聴者４８の左耳でさらにクロストーク成分として受聴される。第１のクロストーク打消し信号のクロストーク成分は、左チャンネルのバイノーラル音声信号ＰL（ｔ）と共に左耳で視聴されることになる。両者は類似する信号であるため受聴品質に与える影響は少ない。また、スピーカ４１から発音される第２のクロストーク打消し信号のクロストーク成分は、右チャンネルのバイノーラル音声信号ＰR（ｔ）と共に右耳で視聴される。同様に、第２のクロストーク打消し信号のクロストーク成分が受聴品質に与える影響は少ない。
【００２３】
図７を用い、フィルタ３４１〜３４４、３４７、及び３４８に格納する頭部伝達関数特性を求めるためのフィルタ特性測定装置６につき説明する。
まず、パソコン６１により例えばレイズドコサインの波形を有するインパルス音などの測定信号を生成する。測定信号は増幅器６２で増幅される。スピーカ６３から発音された測定信号は円筒型受音体６４に付される左右のマイクユニット６４１、６４２で受音される。受音して得られた左右の信号は増幅器６６、６７で増幅されパソコン６１に入力される。パソコン６１は生成した測定信号と受音した信号とを比較して、スピーカ６３から発音され、円筒型受音体６４に付される左右のマイクユニット６４１、６４２で受音される信号の頭部伝達関数ｈls（ｔ）及びｈlo（ｔ）を求める。ｈls（ｔ）は左側のスピーカから発音された信号が左側のマイクユニットで受聴される特性であり、ｈlo（ｔ）は左側のスピーカから発音された信号が右側のマイクユニットで受聴されるクロストークに係る特性である。
【００２４】
ここで、図７には左側のスピーカ６３のみを示しているが、右側のスピーカについては左右対称な位置にスピーカを配置して同様に測定し、頭部伝達関数ｈro（ｔ）及びｈrs（ｔ）が求められる。ｈrs（ｔ）は右側のスピーカから発音されて右側のマイクユニットで受聴される特性であり、ｈro（ｔ）は右側のスピーカから発音されて左側のマイクユニットで受聴される特性である。
【００２５】
図８を用いて円筒型受音体６４について述べる。（Ａ）は上面図であり、（Ｂ）は斜視図である。
同図に示す円筒型受音体６４の両側にマイクユニット６４１、６４２が備えられている。それぞれのマイクユニット６４１、６４２は耳介及び外耳道を有していない。マイクユニット６４１、６４２の図示しない振動板は円筒型受音体６４の表面に配置されている。参考として示した（Ｃ）はいわゆる人頭型受音体の上面図である。その人頭型受音体６９は、人頭型構造体６９９の両側に耳介形部材６９５、６９６、耳道６９３、６９４が備えられており、耳道の奥側にマイク６９１、６９２が備えられている。マイク６９１、６９２は人の鼓膜の位置に相当する位置に設けられており、人が聴取する音に近似する音声信号を収音しようとしている。
【００２６】
（Ａ）（Ｂ）に示したマイクユニット６４１、６４２が付される円筒型受音体６４は、（Ｃ）に示した人頭型受音体６９に比し耳介や外耳道を備えていない。円筒型構造体６４９に付されるマイクユニット６４１、６４２の受音特性は、人それぞれで形状が異なる耳介や外耳道により与えられる特性差の影響を受けることがなく、頭部伝達関数を計測できる特性になっている。マイクユニット６４１、６４２が用いられて計測される特性はスピーカ６３から発音された音波が円筒型構造体６４９により遮蔽されるものの、円筒型構造体６４９の表面に添って回折してマイクユニット６４２に到来する音波の特性として計測される。円筒型構造体６４９を用いることにより、複数の頭部形状の視聴者が有する頭部遮蔽特性の異なりに対して平均的な頭部遮蔽特性を有する頭部伝達関数を得ることができる。
【００２７】
図９に、音響信号伝達特性測定装置６によりインパルス音を用いて測定して得られた頭部伝達関数に係るそれぞれの波形を示す。（Ａ）〜（Ｄ）は順にｈls（ｔ）、ｈlo（ｔ）、ｈrs（ｔ）、ｈro（ｔ）の波形図である。（Ｅ）はｄ（ｔ）の波形図である。縦軸は所定の出力電圧でノーマライズした信号電圧の振幅であり、横軸は測定された信号を４８ｋＨｚで標本化した場合のサンプルの個数で示した時間である。
図１０（Ａ）〜（Ｅ）に、図９に示した信号をフーリエ解析して得られる周波数特性を示す。図中１００Ｈｚ、１ｋＨｚ、１０ｋＨｚの周波数位置を破線で示している。応答特性における破線と破線との間の利得差は１０ｄＢである。
【００２８】
フィルタ３４１〜３４４の特性ｈrs（ｔ）、−ｈlo（ｔ）、−ｈro（ｔ）、ｈls（ｔ）は音響信号伝達特性測定装置６で測定して得られた特性ｈls（ｔ）及びｈrs（ｔ）と、ｈlo（ｔ）及びｈro（ｔ）の符号を反転した特性（逆極性）を用いる。
フィルタ３４７及び３４８の特性ｄ（ｔ）は次式により与えられる。
ｄ（ｔ）＝｛ｈls（ｔ）＊ｈrs（ｔ）−ｈlo（ｔ）＊ｈro（ｔ）｝-1
ここで、「＊」は乗算を示す算術記号である。
以上により求められたそれぞれのフィルタ特性は、それらのフィルタ中に設けられる図示しない記憶部に格納され、その記憶部から読み出した特性を入力される信号に畳み込む様にして所定のフィルタ特性を与える。
【００２９】
図１１、図１２に、円筒型構造体６４９に付されるマイクユニット６４１、６４２の代わりに図８の（Ｃ）に示した人頭型受音体６９を用いて測定した特性を示す。
図１１は図９と同様に測定して得られた特性である。人頭型受音体６９を用いて測定したインパルス応答波形は振動を多く含む波形であるのに比し、マイクユニット６４１、６４２を用いて得た波形は測定用入力信号であるレイズドコサインに近い波形である。負の電圧部分の振幅が小さい波形であり、それに続く振動波形の振幅も小さい。
【００３０】
図１２は人頭型受音体６９を用いて測定した図１１に対応する周波数応答特性である。円筒型受音体６４に付されるマイクユニット６４１、６４２を用いて得た特性の方が周波数特性の乱れが小さく平坦に近い。図１２に示す（Ａ）〜（Ｅ）のそれぞれの特性は１．５〜７ｋＨｚの周波数の間で増強及び減衰がなされているのに比し、図１０に示す特性の方が増強及び減衰のレベルは小さい。耳介や外耳道により生じる特性の乱れがないためである。マイクユニット６４１、６４２を用いる場合は、スピーカ６３より発音された音波の一部が耳介で反射され、反射された音波と直接到来する音波とが同相で合成されて増強されたり、逆相で合成されて減衰したりする影響がなく、更に外耳道の共振、反共振などの影響により特定の周波数で増強されたり減衰したりすることの小さい特性として得られている。
【００３１】
フィルタ３４１〜３４４の特性の異なりにより得られるクロストークキャンセル特性の差を比較して説明する。
クロストークキャンセル特性の測定は図７に示したバイノーラル音声スピーカ再生システムを用いて行った。同システムにおけるクロストークキャンセラ３４のフィルタ３４１〜３４４及びフィルタ３４７、３４８の特性は円筒型受音体６４に付されるマイクユニット６４１、６４２を用いて得られた特性と、人頭型受音体６９を用いて得られた特性とを入れ替えながら複数の視聴者による視聴テストを行った。視聴者は耳道に細い小型マイクを挿入し、その小型マイクで受音される音が視聴者により受聴される音であるとして測定した。フィルタ３４１〜３４４及びフィルタ３４７、３４８の特性を円筒型受音体６４に付されるマイクユニット６４１、６４２で得られた特性を用いて測定した場合は１００Ｈｚ〜２ｋＨｚで２０ｄＢを越える分離性能（クロストークキャンセル効果）が得られているのに比し、人頭型受音体６９で得られた特性を用いる場合では１２ｄＢ程度の分離度しか得られなかった。
【００３２】
十分な分離度が得られることは、クロストークをキャンセル信号が有効に動作していることであり、クロストークキャンセル信号が逆相成分として視聴されないことでもある。バイノーラル収音した信号は好適な臨場感を有して視聴者により聴取される。異常音が発生した場合に、その箇所がモニタ４２に表示される主画面に表示されない箇所の場合であっても視聴者は概略の発生箇所を認識できる。
ここで、図５に示したマルチ画面は再生装置３の信号制御部３３で生成されるとして述べた。そのマルチ画面は撮像収音装置１の選択部１２で生成するようにしても良い。その場合は、マルチ画面を圧縮部１３で圧縮符号化して伝送路２を伝送するため、副画面を伝送するための符号量は小さくできる。
また、撮像収音装置１内に映像信号の録画機能を備えて撮像収音部１１で撮像された副画面の映像を縮小せずに記録しておけば、記録画像を後の異音発生原因の解析に役立てられる。
【００３３】
以上のように、本実施例で示した撮像収音信号再生システムによれば、撮像収音装置１は、複数のカメラ１１３ａ〜１１３ｄと、複数のカメラのうち１つを撮影用カメラとする場合に撮影用カメラに対して所定角度左方向及び右方向に配置され、かつ底面からの高さが同一な一対の左右マイクロフォンで収音したバイノーラル音声を撮影用カメラで撮影した映像信号に付随する音声信号として複数のカメラのそれぞれに対するバイノーラル音声を収音する複数のマイクロフォン１１２ａ〜１１２ｈを備えた円筒部１１６を有する撮像収音部１１と、複数のカメラから得られる複数の映像信号のうちから再生装置側において主映像信号として設定された映像信号に付随する音声信号を選択音声信号として出力する選択部１２と、を備え、再生装置３は、複数の映像信号のうちから１つを主映像信号として設定し、主映像信号として設定した映像信号から表示用の主映像信号を生成して表示手段４２に出力する映像信号出力部３３と、選択音声信号が供給され、選択音声信号を左右のスピーカによって再生した場合に左右のスピーカから再生された信号が視聴者の右左側の耳部で視聴されるクロストーク信号を打ち消すように処理して左右のスピーカに対して出力するクロストークキャンセラ３４と、を備え、クロストークキャンセラ３４は予め求めた頭部伝達関数を記憶したフィルタ３４１〜３４４を有し、頭部伝達関数は、測定信号を円筒型構造体６４９に装着した一対のマイクロフォン６４１、６４２で収音した音声信号に基づいて計測した頭部伝達関数であるので、視聴者による異常の認識や判断が確実に行え、異常が生じてから監視映像及び監視音声を即時に異常の生じた監視地点に切り替えて出力することを可能とする撮像収音信号再生システム１０を実現できる。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施に係る撮像収音再生システムの構成例を示すブロック図である。
【図２】本発明の実施に係る撮像収音再生システムの要部の構成例を示す図（その１）である。
【図３】本発明の実施に係る撮像収音再生システムの要部の構成例を説明するための図である。
【図４】本発明の実施に係る撮像収音再生システムの要部の構成例を示す図（その２）である。
【図５】本発明の実施に係る再生画像の表示例を示す図である。
【図６】本発明の実施に係る撮像収音再生システムの要部の構成例を示す図（その３）である。
【図７】本発明の実施に係るクロストークキャンセラのフィルタ特性計測装置の構成例を示す図である。
【図８】本発明の実施に係るフィルタ特性測定時に用いるバイノーラル受音部の構成例を示す図である。
【図９】本発明の実施に係るクロストークキャンセラのインパルス応答特性例を示す図である。
【図１０】本発明の実施に係るクロストークキャンセラの周波数応答特性例を示す図である。
【図１１】従来のクロストークキャンセラのインパルス応答特性例を参考に示した図である。
【図１２】従来のクロストークキャンセラの周波数応答特性例を参考に示した図である。
【符号の説明】
【００３５】
１ 撮像収音装置
２ 伝送路
３ 再生装置
４ 表示部
６ フィルタ特性測定装置
１０ 撮像収音信号再生システム
１１、１１ａ 撮像収音部
１２ 選択部
１３ 圧縮部
１４ 送出部
３１ 受信部
３２ 伸長部
３３ 信号制御部
３４ クロストークキャンセラ
４１、４３、６３ スピーカ
４２ モニタ
６１ パーソナルコンピュータ
６２、６５、６６ 増幅器
６４ 円筒型受音体
６９ 人頭型受音体
１１１ａ〜１１１ｈ 耳介
１１２ａ〜１１２ｈ マイクロフォン
１１３ａ〜１１３ｄ 撮像カメラ
１１６ 円筒型構造体
１１７ 構造体
３４１〜３４４、３４７、３４８ フィルタ
３４５、３４６ 加算器
６４１、６４２、６９１、６９２ マイクロフォン
６４９ 円筒型構造体
６９３、６９４ 耳道
６９５、６９６ 耳介
６９９ 人頭型構造体
【特許請求の範囲】
【請求項１】
カメラにて撮像された映像信号と、マイクロフォンにて収音された音声信号とを出力する撮像収音装置と、前記撮像収音装置から供給される前記映像信号を表示装置に対して出力すると共に前記撮像収音装置から供給される前記音声信号を左右のスピーカに対して出力する再生装置とを有する撮像収音信号再生システムにおいて、
前記撮像収音装置は、
複数のカメラと、前記複数のカメラのうち１つを撮影用カメラとする場合に前記撮影用カメラに対して所定角度左方向及び右方向に配置され、かつ底面からの高さが同一な一対の左右マイクロフォンで収音したバイノーラル音声を前記撮影用カメラで撮影した映像信号に付随する音声信号として前記複数のカメラのそれぞれに対するバイノーラル音声を収音する複数のマイクロフォンとを備えた円筒部を有する撮像収音部と、
前記複数のカメラから得られる複数の映像信号のうちから前記再生装置側において主映像信号として設定された映像信号に付随する音声信号を選択音声信号として出力する選択部と、を備え、
前記再生装置は、
前記複数の映像信号のうちから１つを前記主映像信号として設定し、前記主映像信号として設定した映像信号から表示用の主映像信号を生成して表示手段に出力する映像信号出力部と、
前記選択音声信号が供給され、前記選択音声信号を前記左右のスピーカによって再生した場合に左右のスピーカから再生された信号が視聴者の右左側の耳部で視聴されるクロストーク信号を打ち消すように処理して前記左右のスピーカに対して出力するクロストークキャンセラと、を備え、
前記クロストークキャンセラは予め求めた頭部伝達関数を記憶したフィルタを有し、前記頭部伝達関数は、測定信号を円筒型構造体に装着した一対のマイクロフォンで収音した音声信号に基づいて計測した頭部伝達関数である
ことを特徴とする撮像収音信号再生システム。
【請求項１】
カメラにて撮像された映像信号と、マイクロフォンにて収音された音声信号とを出力する撮像収音装置と、前記撮像収音装置から供給される前記映像信号を表示装置に対して出力すると共に前記撮像収音装置から供給される前記音声信号を左右のスピーカに対して出力する再生装置とを有する撮像収音信号再生システムにおいて、
前記撮像収音装置は、
複数のカメラと、前記複数のカメラのうち１つを撮影用カメラとする場合に前記撮影用カメラに対して所定角度左方向及び右方向に配置され、かつ底面からの高さが同一な一対の左右マイクロフォンで収音したバイノーラル音声を前記撮影用カメラで撮影した映像信号に付随する音声信号として前記複数のカメラのそれぞれに対するバイノーラル音声を収音する複数のマイクロフォンとを備えた円筒部を有する撮像収音部と、
前記複数のカメラから得られる複数の映像信号のうちから前記再生装置側において主映像信号として設定された映像信号に付随する音声信号を選択音声信号として出力する選択部と、を備え、
前記再生装置は、
前記複数の映像信号のうちから１つを前記主映像信号として設定し、前記主映像信号として設定した映像信号から表示用の主映像信号を生成して表示手段に出力する映像信号出力部と、
前記選択音声信号が供給され、前記選択音声信号を前記左右のスピーカによって再生した場合に左右のスピーカから再生された信号が視聴者の右左側の耳部で視聴されるクロストーク信号を打ち消すように処理して前記左右のスピーカに対して出力するクロストークキャンセラと、を備え、
前記クロストークキャンセラは予め求めた頭部伝達関数を記憶したフィルタを有し、前記頭部伝達関数は、測定信号を円筒型構造体に装着した一対のマイクロフォンで収音した音声信号に基づいて計測した頭部伝達関数である
ことを特徴とする撮像収音信号再生システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００７−３１２１８１（Ｐ２００７−３１２１８１Ａ）
【公開日】平成１９年１１月２９日（２００７．１１．２９）
【国際特許分類】
【出願番号】特願２００６−１４００３９（Ｐ２００６−１４００３９）
【出願日】平成１８年５月１９日（２００６．５．１９）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
【公開日】平成１９年１１月２９日（２００７．１１．２９）
【国際特許分類】
【出願日】平成１８年５月１９日（２００６．５．１９）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
[ Back to top ]