音源方向推定機能付き監視カメラ装置
【課題】音源の方向が表示された映像を直接にかつ確実に撮影することのできる音源方向推定機能付き監視カメラ装置を提供する。
【解決手段】マイクロフォンＭ１〜Ｍ５を枠体１５に取付け、カメラ取付部材１４に監視カメラ１２と透明ディスプレイ１３とを取付け、このカメラ取付部材１４をステッピングモーター１６を介して枠体１５に取付け、マイクロフォンＭ１〜Ｍ５の出力する音圧信号を用いて音源方向を推定した後、推定された音源方向の水平角θ’の大きさが監視カメラ１２の視野内にある場合には、透明ディスプレイ１３に音源方向θ’を示す図形を表示するとともに、水平角θ’の大きさが最大視野を超えている場合には、監視カメラ１２の撮影方向が推定された音源方向になるようにカメラ取付部材１４を回転させてから透明ディスプレイ１３に推定された音源方向θ’を示す図形を表示するようにした。
【解決手段】マイクロフォンＭ１〜Ｍ５を枠体１５に取付け、カメラ取付部材１４に監視カメラ１２と透明ディスプレイ１３とを取付け、このカメラ取付部材１４をステッピングモーター１６を介して枠体１５に取付け、マイクロフォンＭ１〜Ｍ５の出力する音圧信号を用いて音源方向を推定した後、推定された音源方向の水平角θ’の大きさが監視カメラ１２の視野内にある場合には、透明ディスプレイ１３に音源方向θ’を示す図形を表示するとともに、水平角θ’の大きさが最大視野を超えている場合には、監視カメラ１２の撮影方向が推定された音源方向になるようにカメラ取付部材１４を回転させてから透明ディスプレイ１３に推定された音源方向θ’を示す図形を表示するようにした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音源の方向が表示された映像を撮影することのできる音源方向推定機能付き監視カメラ装置に関するものである。
【背景技術】
【０００２】
従来、音の到来方向を推定する方法としては、多数のマイクロフォンを等間隔に配置したマイクロフォンアレーを構築し、基準となるマイクロフォンに対する各マイクロフォンの位相差から音波の到来方向である音源の方向を推定する、いわゆる音響学的手法が考案されている（例えば、非特許文献１参照）。
一方、計測点に配置された複数のマイクロフォンの出力信号の位相差からではなく、複数のマイクロフォンから互いに交わる直線状に配置された複数のマイクロフォン対を構成し、対となる２つのマイクロフォン間の位相差に相当する到達時間差と、他の対となる２つのマイクロフォン間の到達時間差との比から音源の方向を推定する方法が提案されている（例えば、特許文献１〜３参照）。
【０００３】
具体的には、図６に示すように、４個のマイクロフォンＭ１〜Ｍ４を、互いに直交する２直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対（Ｍ１，Ｍ３）及びマイクロフォン対（Ｍ２，Ｍ４）を構成するように配置し、前記マイクロフォン対（Ｍ１，Ｍ３）を構成するマイクロフォンＭ１，Ｍ３に入力する音圧信号の到達時間差と、前記マイクロフォン対（Ｍ２，Ｍ４）を構成するマイクロフォンＭ２，Ｍ４に入力する音圧信号の到達時間差との比から、計測点と音源の位置との水平角θを推定するとともに、第５のマイクロフォンＭ５を前記マイクロフォンＭ１〜Ｍ４の作る平面上にない位置に配置して、更に４組のマイクロフォン対（Ｍ５, Ｍ１），（Ｍ５, Ｍ２），（Ｍ５, Ｍ３），（Ｍ５, Ｍ４）を構成し、各マイクロフォン対を構成するマイクロフォン間の到達時間差から、計測点と音源の位置との成す仰角φを推定する。
【０００４】
これにより、マイクロフォンアレーを用いて音源方向を推定する場合に比較して、少ないマイクロフォン数で音源の方向を正確に推定することができる。
また、このとき、ＣＣＤカメラ等の映像採取手段により推定された音源方向の映像を撮影し、この映像のデータと音源の方向のデータとを合成して、映像中に推定した音源方向と音圧レベルとを図形で表示するようにすれば、音源を視覚的に把握することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−１８１９１３号公報
【特許文献２】特開２００６−３２４８９５号公報
【特許文献３】特開２００８−２２４２５９号公報
【非特許文献】
【０００６】
【非特許文献１】大賀寿郎，山崎芳男，金田豊；音響システムとディジタル処理，コロナ社，１９９５
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、前記従来の方法では、撮影された映像の画像データと音源方向のデータとを合成した画像データを作成し、この画像データをディスプレイ上に表示して音源を推定するようにしているため、この方法を、連続して現場の映像を撮影する監視カメラに適用しようとすると、撮影後に画像処理をする必要があった。
また、監視カメラは視野が狭いため、撮影された監視カメラの視野に推定された音源方向が入らない場合があった。このとき、監視カメラとして広角レンズ付きのカメラを用いることも考えられるが、広角レンズを用いると、画像の歪みが大きくなることから、音源の推定が困難であるといった問題点が生じてしまう。
【０００８】
本発明は、従来の問題点に鑑みてなされたもので、音源の方向が表示された映像を直接にかつ確実に撮影することのできる音源方向推定機能付き監視カメラ装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本願発明は、音源の方向を推定し、この推定された音源の方向が表示された映像を撮影する音源方向推定機能付き監視カメラ装置であって、音源から伝搬される音の情報を採取する複数のマイクロフォンと、これら複数のマイクロフォンを取付けるマイクロフォン取付部材と、室内もしくは室外の映像を撮影する監視カメラと、非表示状態において透明な透明ディスプレイと、前記監視カメラと前記透明ディスプレイとを、透明ディスプレイを監視カメラのレンズの前方に位置するように取付けるカメラ取付部材と、前記各マイクロフォンが出力する音圧信号を用いて音源方向を推定する音源方向推定手段と、前記カメラ取付部材を回転させるカメラ回転手段とを備え、前記カメラ回転手段は、前記推定された音源方向に基づいて、監視カメラの撮影方向が前記推定された音源方向になるように、前記カメラ取付部材を回転させ、前記透明ディスプレイは、前記推定された音源方向を示す図形を表示することを特徴とする。
これにより、音源方向の水平角θや仰角φが大きな場合でも、再度音の情報の採取と音源方向の推定とを行うことなく、音源推定方向の鮮明な映像を撮影することができる。
【００１０】
また、本願発明は、前記カメラ取付部材は前記カメラ回転手段を介して前記マイクロフォン取付部材に取付けられていることを特徴とする。
これにより、ステッピングモーターなどの回転手段が１個という簡単な構成で、音源推定方向の鮮明な映像を撮影することができる。
【００１１】
また、本願発明は、前記マイクロフォン取付部材はマイクロフォン回転手段を介して前記カメラ取付部材に取付けられており、前記マイクロフォン回転手段は、前記マイクロフォン取付部材を、前記カメラ取付部材とは逆方向に、かつ、前記カメラ取付部材と同じ角度だけ回転させることを特徴とする。
これにより、マイクロフォン取付部材を小さくしても、マイクロフォン取付部材が監視カメラの視野に入ることがないので、装置を小型化できる。
【００１２】
また、本願発明は、前記複数のマイクロフォンを、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対を構成する第１〜第４のマイクロフォンと、前記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンとから構成するとともに、前記音源方向推定手段にて、前記２組のマイクロフォン対を構成するマイクロフォン間の位相差の比と、前記第５のマイクロフォンと前記２組のマイクロフォン対を構成する４個のマイクロフォンのそれぞれとで構成される４組のマイクロフォン対を構成するマイクロフォン間の位相差とを用いて前記音源方向（水平角θと仰角φ）を推定することを特徴とする。
これにより、音源方向の水平角θや仰角φを、少ないマイクロフォン数で、効率よくかつ正確に推定することができる。
【００１３】
なお、前記発明の概要は、本発明の必要な全ての特徴を列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となり得る。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態に係る音源方向推定機能付き監視カメラ装置の構成を示す機能ブロック図である。
【図２】マイクロフォンと透明ディスプレイと監視カメラの位置関係を説明するための図である。
【図３】監視カメラの映像の一例を示す図である。
【図４】音源方向推定機能付き監視カメラ装置の動作を説明するためのフローチャートである。
【図５】音源方向推定機能付き監視カメラ装置の他の構成を示す図である。
【図６】従来の音源推定方法におけるマイクロフォンの配列を示す図である。
【発明を実施するための形態】
【００１５】
以下、実施の形態を通じて本発明を詳説するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また、実施の形態の中で説明される特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１６】
図１は、音源方向推定機能付き監視カメラ装置１０の構成を示す機能ブロック図である。
同図において、１１は複数のマイクロフォンＭ１〜Ｍ５を有する音採取ユニット、１２は監視カメラ、１３は透明ディスプレイ、１４はカメラ取付部材、１５はマイクロフォン取付部材としての枠体、１６はカメラ回転手段としてのステッピングモーター、１７はモーター制御手段、２０は演算装置である。
音採取ユニット１１は、５本のマイクロフォンＭ１〜Ｍ５と、これらのマイクロフォンＭ１〜Ｍ５を以下のように配置して固定する固定台１１Ｄとを備える。
マイクロフォンＭ１〜Ｍ５の配置は、図６に示したものと同様で、４個のマイクロフォンＭ１〜Ｍ４を、互いに直交する２直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対（Ｍ１，Ｍ３）及びマイクロフォン対（Ｍ２，Ｍ４）を構成するように配置するとともに、第５のマイクロフォンＭ５を前記マイクロフォンＭ１〜Ｍ４の作る平面上にない位置、詳細には、マイクロフォンＭ１〜Ｍ４の作る正方形を底面とする四角錐の頂点の位置に配置する。これにより、更に４組のマイクロフォン対（Ｍ５, Ｍ１）〜（Ｍ５, Ｍ４）が構成される。
【００１７】
監視カメラ１２としては、長時間の映像を記憶できる記憶装置を備えたカメラであればよい。本例では、カラーＣＣＤカメラを用いた。
透明ディスプレイ１３は非表示状態においては透明であり、表示データが入力された場合には、表示部分が不透明となるディスプレイで、例えば、透過率の高い薄膜から成るエレクトロルミネッセンス素子（ＥＬ素子）と透明電極とをガラス基板で挟んだＥＬディスプレイや、液晶表示素子と偏光板とを組み合わせた単色ディスプレイなどの公知の透明ディスプレイを用いることができる。
【００１８】
カメラ取付部材１４は、監視カメラ１２を支持するカメラ支持部材１４ａと透明ディスプレイ１３を支持するディスプレイ支持部材１４ｂと、これらの支持部材１４ａ，１４ｂを連結する連結部材１４ｃとから成り、監視カメラ１２と透明ディスプレイ１３とを、透明ディスプレイ１３が監視カメラ１２のレンズの前方に位置するように、かつ、レンズの光軸が透明ディスプレイ１３の中心を通るように取付ける。なお、透明ディスプレイ１３の表示面１３ｍは、同図の一点鎖線で示すレンズ光軸ｋと直交している。
ここで、監視カメラ１２の視野の大きさは、透明ディスプレイ１３の表示部の大きさとなる。すなわち、図２（ａ）〜（ｃ）に示すように、監視カメラ１２の焦点Ｏと透明ディスプレイ１３の幅方向（後述するｘ方向）の両端Ａ，Ａ’を結ぶラインの成す角αが水平角方向の視野であり、焦点Ｏと透明ディスプレイ１３の高さ方向（後述するｚ方向）の両端を結ぶラインの成す角βが仰角方向の視野である。なお、同図のＤは、監視カメラ１２と透明ディスプレイ１３との距離で、ｚmは透明ディスプレイ１３の中心とマイクロフォンＭ１〜Ｍ５の中心との距離である。
ここで、監視カメラ１２の初期位置における焦点の位置を原点Ｏ（０，０，０）とすると、透明ディスプレイ１３の中心ＯDの位置座標は（０，Ｄ，０）となり、マイクロフォンＭ１〜Ｍ４の中心Ｏmの位置座標は（０，Ｄ，ｚm）となる。
【００１９】
枠体１５は、底面を構成するビーム状の底板１５ａと、この底板１５ａの両端からそれぞれ底板１５ａに直交する方向に延長する側板１５ｂと、底板１５ａに対向するように配置されて２枚の側板１５ｂを連結する天板１５ｃとを備えた枠状の部材である。
以下、底板１５ａが延在する面をｘ−ｙ平面、側板１５ｂの延長方向をｚ方向とする。なお、ｘ−ｙ平面は必ずしも水平面を指すものではないが、本例では、説明を簡単にするため、水平面をｘ−ｙ平面とし、ｚ方向を上下方向とする。また、底板１５ａの延長方向をｘ方向とする。
【００２０】
ステッピングモーター１６は、モーター制御手段１７からの制御パルス信号により駆動される。モーター制御手段１７は、後述する指定回転角Θの情報をパルス信号に変換してステッピングモーター１６に出力する。
音採取ユニット１１と演算装置２０とは枠体１５の天板１５ｃに取付けられ、カメラ取付部材１４はステッピングモーター１６を介して底板１５ａに取付けられる。また、モーター制御手段１７は底板１５ａに取付けられる。このとき、透明ディスプレイ１３の中心位置がステッピングモーター１６の回転軸上にあり、かつ、ステッピングモーター１６の回転軸とマイクロフォンＭ１〜Ｍ５の中心線とが一致するように、音採取ユニット１１とカメラ取付部材１４とを枠体１５に取付けることが好ましい。
なお、取付時（以下、初期位置という）においては、監視カメラ１２のレンズ光軸が枠体１５に垂直になるように、カメラ取付部材１４を枠体１５に取付ける。
モーター制御手段１７は、演算装置２０とともに、天板１５ｃ上に取付けてもよいし、演算装置２０に組み込んでもよい。
演算装置２０は、音採取ユニット１１、透明ディスプレイ１３、及び、モーター制御手段１７と図示しないケーブルによって接続されている。
【００２１】
演算装置２０は、増幅器２１と、Ａ／Ｄ変換器２２と、記憶手段２３と、音源方向推定手段２４と、座標変換手段２５と、回転判定手段２６と、ディスプレイ制御手段２７とを備える。
増幅器２１はローパスフィルタを備え、マイクロフォンＭ１〜Ｍ５で採取した各音の音圧信号から高周波ノイズ成分を除去するとともに、各音圧信号をそれぞれ増幅してＡ／Ｄ変換器２２に出力する。Ａ／Ｄ変換器２２は、各音圧信号をＡ／Ｄ変換した音圧波形データを作成し、これを、記憶手段２３に出力する。
記憶手段２３は、Ａ／Ｄ変換された音圧波形データと、監視カメラ１２の初期位置における焦点の位置座標を原点としたときの、マイクロフォンＭ１〜Ｍ４の中心位置の座標データＯm（０，Ｄ，ｚm）を記憶する。なお、図２(ａ)に示すように、Ｄは透明ディスプレイ１３の中心と監視カメラ１２の焦点位置との距離で、ｚmは透明ディスプレイ１３の中心とマイクロフォンＭ１〜Ｍ４の中心との距離である。透明ディスプレイ１３の中心は、監視カメラ１２の撮影方向であるレンズ光軸ｚ上にある。
【００２２】
音源方向推定手段２４は、記憶手段２３から音圧波形データを取出し、この取出された音圧波形データから各マイクロフォンＭ１〜Ｍ５間の位相差を求め、この求められた位相差から音源方向である水平角θと仰角φとを推定し、座標変換手段２５とに出力する。
なお、水平角θと仰角φとは、所定の周波数帯域毎に推定する。また、音源方向の推定の詳細については、後述する。
【００２３】
座標変換手段２５では、記憶手段２３に記憶されたマイクロフォンＭ１〜Ｍ４の中心位置の座標データの座標データＯm（０，Ｄ，ｚm）を用いて、音源方向推定手段２４で推定されたマイクロフォンＭ１〜Ｍ４の中心位置と音源とのなす水平角θと仰角φとを、監視カメラ１２から見たときの水平角θ’と仰角φ’とに変換してディスプレイ制御手段２７に出力するとともに、前記水平角θ’を回転判定手段２６に出力する。なお、座標変換の詳細については省略する。
【００２４】
回転判定手段２６では、監視カメラ１２から見たときの水平角θ’と水平角方向の視野αとを比較し、水平角θ’の大きさがα/２−γ（γは１０°程度）を超えた場合には、水平角θ’と仰角φ’とをディスプレイ制御手段２７に出力するとともに、水平角θ’を指定回転角Θとしてモーター制御手段１７とディスプレイ制御手段２７とに出力する。
水平角θ’の大きさがα/２−γ以下の場合には、水平角θ’と仰角φ’とをそのままディスプレイ制御手段２７に出力する。
【００２５】
透明ディスプレイ１３の表示面１３ｍでは、ｘ軸がθ’を表し、ｙ軸がφ’を表す。本例では、表示面１３ｍの中心位置を原点とした。
ディスプレイ制御手段２７は、音源の方向のデータを変換した座標データ（θ’，φ’）上に音源方向を示す図形を作成する。図３（ａ）はその一例を示す図で、本例では、音源方向を示す図形を網目模様の丸印Ｒとした。丸の中心は、前記座標データ（θ’，φ’）を表す点であり、半径は、各マイクロフォンＭ１〜Ｍ５で採取した音圧信号の大きさである。なお、予め設定した周波数帯域の音源方向を表示する場合や、周波数帯域毎の音源方向を表示する場合には、周波数帯域により丸印Ｒの色をそれぞれ設定すればよい。
これにより、監視カメラ１２により撮影された映像に音源５０が映っている場合には、音源５０は網目模様の丸印Ｒがついて撮影される。
なお、水平角θ’の大きさθ’Mがα/２−γを超えていると判定された場合には、図３（ｂ）に示すように、ディスプレイ制御手段２７は、表示面１３ｍの中心位置を、（θ’＝０，φ’＝０）から（θ’＝θ’M＝Θ，φ’＝０）に変更して、網目模様の丸印Ｒを表示する。
【００２６】
水平角θ及び仰角φの計算方法は以下の通りである。
各マイクロフォン対（Ｍｉ, Ｍｊ）のマイクロフォンＭｉとマイクロフォンＭｊとの間の到達時間差をＤijとすると、音の入射方向である水平角θと仰角φとは以下の式（１），（２）で表わせるので、各マイクロフォンＭ１〜Ｍ５の出力信号をＦＦＴを用いて周波数分析し、対象となる周波数ｆにおける各マイクロフォンＭｉ，Ｍｊ間の到達時間差Ｄijを算出することにより、前記水平角θ及び仰角φを求めることができる。
【数１】
すなわち、互いに直交する２直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対（Ｍ１，Ｍ３）及びマイクロフォン対（Ｍ２，Ｍ４）を構成するマイクロフォンＭ１，Ｍ３に入力する音圧信号の到達時間差Ｄ13と、前記マイクロフォン対（Ｍ２，Ｍ４）を構成するマイクロフォンＭ２，Ｍ４に入力する音圧信号の到達時間差Ｄ24との比から、計測点と音源位置との水平角θを推定し、前記到達時間差Ｄ13，Ｄ24と、前記第５のマイクロフォンＭ５と他のマイクロフォンＭ１〜Ｍ４との到達時間差Ｄ5j（ｊ＝１〜４）とから計測点と音源位置との成す仰角φを推定する。
【００２７】
なお、前記到達時間差Ｄijは、２つのマイクロフォン対（Ｍｉ，Ｍｊ）に入力される信号のクロススペクトルＰij（ｆ）を求め、更に、対象とする前記周波数ｆの位相角情報Ψ（ｒａｄ）を用いて、以下の式（３）を用いて算出される。
【数２】
水平角θと仰角φとは、ｆを中心周波数とする所定の帯域幅を有する周波数帯域毎に求めることができる。
【００２８】
本発明による音源方向推定機能付き監視カメラ装置１０の動作について、図４のフローチャートを用いて説明する。なお、監視カメラ１２の作動開始時には、カメラ取付部材１４は初期位置、すなわち、枠体１５とレンズ光軸ｋと直交しているとする。
まず、監視カメラ１２で監視対象を撮影しながら、マイクロフォンＭ１〜Ｍ５にて音の情報を採取する（ステップＳ１０）。そして、音の情報を増幅器２１で増幅した後、Ａ／Ｄ変換器２２によりＡ／Ｄ変換して、音圧波形データとして記憶手段２３に保存する（ステップＳ１１）。
次に、音源方向推定手段２４により、記憶手段２３に保存された音圧波形から各マイクロフォンＭ１〜Ｍ５間の位相差を求め、この求められた位相差から音源方向である水平角θと仰角φとを推定する（ステップＳ１２）。
【００２９】
音源方向の推定が終了した後は、推定された水平角θと仰角φとを、座標変換手段２５にて、監視カメラから見た水平角θ’と仰角φ’とに変換する（ステップＳ１３）。
そして、回転判定手段２６にて、水平角θ’と水平角方向の視野αとを比較する（ステップＳ１４）。水平角θ’の大きさがα/２−γ以下の場合には、水平角θ’と仰角φ’とをそのままディスプレイ制御手段２７に出力し、透明ディスプレイ１３の表示面１３ｍに中心が座標データ（θ’，φ’）を表す点であり、半径が各マイクロフォンで採取した音圧信号の大きさである網目状の丸印Ｒを描画する（ステップＳ１５）。監視カメラ１２は、この網目状の丸印Ｒが映った映像を撮影する。
【００３０】
ステップＳ１４において、水平角θ’の大きさがα/２−γを超えた場合には、ステップＳ１６に進んで、水平角θ’をディスプレイ制御手段２７に出力するとともに、水平角θ’を指定回転角Θとしてモーター制御手段１７に出力して、ステッピングモーター１６を回転させ、監視カメラ１２と透明ディスプレイ１３とを指定回転角Θだけ回転させる（ステップＳ１６）。
透明ディスプレイ１３は、原点の座標を（０，０）から（Θ，０）に変更するとともに、前記網目状の丸印Ｒを、原点が変更された表示面１３ｍに描画する（ステップＳ１７）。監視カメラ１２は、この網目状の丸印Ｒが映った映像を撮影する。
【００３１】
これにより、監視カメラ１２は、常に、音源の推定位置が映った画像を撮影することができる。なお、音の大きさが一定レベル以下になった場合には、カメラ取付部材１４を初期位置に戻す。また、更に、一定レベルより大きな音が発生した場合には、カメラ取付部材１４を回転させて、監視カメラ１２のレンズ光軸が新たな音源方向を向くように、カメラ取付部材１４を回転させるようにしてもよいし、そのまま測定中の音の方向を撮影してもよい。
【００３２】
このように、本実施の形態では、枠体１５の天板１５ｃにマイクロフォンＭ１〜Ｍ５が取付けられた固定台１１Ｄを取付け、カメラ取付部材１４に、監視カメラ１２と透明ディスプレイ１３とを、透明ディスプレイ１３が監視カメラ１２のレンズの前方に位置するように取付け、このカメラ取付部材１４をステッピングモーター１６を介して枠体１５の底板１５ａに取付け、マイクロフォンＭ１〜Ｍ５の出力する音圧信号を用いて音源方向を推定した後、推定された音源方向の水平角θ’の大きさが監視カメラ１２の視野内にある場合には、透明ディスプレイ１３に推定された音源方向θ’を示す図形を表示するとともに、推定された音源方向の水平角θ’の大きさが監視カメラ１２の最大視野を超えている場合には、監視カメラ１２の撮影方向が前記推定された音源方向になるようにカメラ取付部材１４を回転させてから透明ディスプレイ１３に推定された音源方向θ’を示す図形を表示するようにしたので、簡単な構成で、音源の推定位置が映った画像を撮影することができる。
なお、推定された水平角θ’は、マイクロフォンＭ１〜Ｍ５の中心位置を原点としたときの水平角θを、監視カメラ１２から見たときの水平角に変換したものである。
【００３３】
なお、前記実施の形態では、カメラ取付部材１４を枠体１５に対して回転させる構成としたが、枠体１５が小さい場合には、カメラ取付部材１４を回転させたときに、枠体１５が監視カメラ１２の視野に入ってしまい、映像が見にくくなることがある。
そこで、図５に示すように、第１のステッピングモーター１６Ａを用いてカメラ取付部材１４を枠体１５とともに固定部材である枠体支持台１９に対して回転させるとともに、第２のステッピングモーター１６Ｂを用いて音採取ユニット１１を枠体１５と逆方向に同角度だけ回転させる構成とすれば、枠体１５を小さくしても、枠体１５が監視カメラ１２の視野に入ることがない。なお、第２のステッピングモーター１６Ｂの回転軸と第１のステッピングモーター１６Ａの回転軸とは同一直線状にあることはいうまでもない。
この構成では、図１の構成に比べてステッピングモーターが１台多いが、枠体１５が監視カメラ１２の視野に入らないように枠体１５を大きくする必要がないので、装置を小型化できる。なお、映像中に枠体１５があっても問題ない場合には、図１の構成を用いる方が安価であるので好ましい。
【００３４】
また、前記例では、マイクロフォンＭ１〜Ｍ５を枠体１５の天板１５ｃに設置したが、側面１５ｂに設置してもよい。
また、前記例では、推定された水平角θ及び仰角φを座標変換して水平角θ’及び仰角φ’を求めたが、音源５０が遠い場合には、推定された水平角θ及び仰角φをそのまま音源の座標としてもよい。
また、前記例では、監視カメラ１２を水平角方向のみに回転させたが、ステッピングモーターを追加して、水平角方向と仰角方向の両方に回転させてもよい。これにより、音源推定方向の更に鮮明な映像を撮影することができる。
【００３５】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は前記実施の形態に記載の範囲には限定されない。前記実施の形態に、多様な変更または改良を加えることが可能であることが当業者にも明らかである。そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲から明らかである。
【産業上の利用可能性】
【００３６】
以上説明したように、本発明によれば、音源の方向が表示された映像を直接にかつ確実に撮影することのできる音源方向推定機能付き監視カメラ装置を提供することができるので、監視カメラの性能を飛躍的に向上させることができる。
【符号の説明】
【００３７】
１０ 音源方向推定機能付き監視カメラ装置、１１ 音採取ユニット、
１１Ｄ 固定台、１２ 監視カメラ、１３ 透明ディスプレイ、１３ｍ 表示面、
１４ カメラ取付部材、１４ａ カメラ支持部材、１４ｂ ディスプレイ支持部材、
１４ｃ 連結部材、１５ 枠体、１５ａ 底板、１５ｂ 側板、１５ｃ 天板、
１６ ステッピングモーター、１７ モーター制御手段、２０ 演算装置、
２１ 増幅器、２２ Ａ／Ｄ変換器、２３ 記憶手段、２４ 音源方向推定手段、
２５ 座標変換手段、２６ 回転判定手段、２７ ディスプレイ制御手段、
５０ 音源、Ｍ１〜Ｍ５ マイクロフォン、ｋ レンズ光軸。
【技術分野】
【０００１】
本発明は、音源の方向が表示された映像を撮影することのできる音源方向推定機能付き監視カメラ装置に関するものである。
【背景技術】
【０００２】
従来、音の到来方向を推定する方法としては、多数のマイクロフォンを等間隔に配置したマイクロフォンアレーを構築し、基準となるマイクロフォンに対する各マイクロフォンの位相差から音波の到来方向である音源の方向を推定する、いわゆる音響学的手法が考案されている（例えば、非特許文献１参照）。
一方、計測点に配置された複数のマイクロフォンの出力信号の位相差からではなく、複数のマイクロフォンから互いに交わる直線状に配置された複数のマイクロフォン対を構成し、対となる２つのマイクロフォン間の位相差に相当する到達時間差と、他の対となる２つのマイクロフォン間の到達時間差との比から音源の方向を推定する方法が提案されている（例えば、特許文献１〜３参照）。
【０００３】
具体的には、図６に示すように、４個のマイクロフォンＭ１〜Ｍ４を、互いに直交する２直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対（Ｍ１，Ｍ３）及びマイクロフォン対（Ｍ２，Ｍ４）を構成するように配置し、前記マイクロフォン対（Ｍ１，Ｍ３）を構成するマイクロフォンＭ１，Ｍ３に入力する音圧信号の到達時間差と、前記マイクロフォン対（Ｍ２，Ｍ４）を構成するマイクロフォンＭ２，Ｍ４に入力する音圧信号の到達時間差との比から、計測点と音源の位置との水平角θを推定するとともに、第５のマイクロフォンＭ５を前記マイクロフォンＭ１〜Ｍ４の作る平面上にない位置に配置して、更に４組のマイクロフォン対（Ｍ５, Ｍ１），（Ｍ５, Ｍ２），（Ｍ５, Ｍ３），（Ｍ５, Ｍ４）を構成し、各マイクロフォン対を構成するマイクロフォン間の到達時間差から、計測点と音源の位置との成す仰角φを推定する。
【０００４】
これにより、マイクロフォンアレーを用いて音源方向を推定する場合に比較して、少ないマイクロフォン数で音源の方向を正確に推定することができる。
また、このとき、ＣＣＤカメラ等の映像採取手段により推定された音源方向の映像を撮影し、この映像のデータと音源の方向のデータとを合成して、映像中に推定した音源方向と音圧レベルとを図形で表示するようにすれば、音源を視覚的に把握することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−１８１９１３号公報
【特許文献２】特開２００６−３２４８９５号公報
【特許文献３】特開２００８−２２４２５９号公報
【非特許文献】
【０００６】
【非特許文献１】大賀寿郎，山崎芳男，金田豊；音響システムとディジタル処理，コロナ社，１９９５
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、前記従来の方法では、撮影された映像の画像データと音源方向のデータとを合成した画像データを作成し、この画像データをディスプレイ上に表示して音源を推定するようにしているため、この方法を、連続して現場の映像を撮影する監視カメラに適用しようとすると、撮影後に画像処理をする必要があった。
また、監視カメラは視野が狭いため、撮影された監視カメラの視野に推定された音源方向が入らない場合があった。このとき、監視カメラとして広角レンズ付きのカメラを用いることも考えられるが、広角レンズを用いると、画像の歪みが大きくなることから、音源の推定が困難であるといった問題点が生じてしまう。
【０００８】
本発明は、従来の問題点に鑑みてなされたもので、音源の方向が表示された映像を直接にかつ確実に撮影することのできる音源方向推定機能付き監視カメラ装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本願発明は、音源の方向を推定し、この推定された音源の方向が表示された映像を撮影する音源方向推定機能付き監視カメラ装置であって、音源から伝搬される音の情報を採取する複数のマイクロフォンと、これら複数のマイクロフォンを取付けるマイクロフォン取付部材と、室内もしくは室外の映像を撮影する監視カメラと、非表示状態において透明な透明ディスプレイと、前記監視カメラと前記透明ディスプレイとを、透明ディスプレイを監視カメラのレンズの前方に位置するように取付けるカメラ取付部材と、前記各マイクロフォンが出力する音圧信号を用いて音源方向を推定する音源方向推定手段と、前記カメラ取付部材を回転させるカメラ回転手段とを備え、前記カメラ回転手段は、前記推定された音源方向に基づいて、監視カメラの撮影方向が前記推定された音源方向になるように、前記カメラ取付部材を回転させ、前記透明ディスプレイは、前記推定された音源方向を示す図形を表示することを特徴とする。
これにより、音源方向の水平角θや仰角φが大きな場合でも、再度音の情報の採取と音源方向の推定とを行うことなく、音源推定方向の鮮明な映像を撮影することができる。
【００１０】
また、本願発明は、前記カメラ取付部材は前記カメラ回転手段を介して前記マイクロフォン取付部材に取付けられていることを特徴とする。
これにより、ステッピングモーターなどの回転手段が１個という簡単な構成で、音源推定方向の鮮明な映像を撮影することができる。
【００１１】
また、本願発明は、前記マイクロフォン取付部材はマイクロフォン回転手段を介して前記カメラ取付部材に取付けられており、前記マイクロフォン回転手段は、前記マイクロフォン取付部材を、前記カメラ取付部材とは逆方向に、かつ、前記カメラ取付部材と同じ角度だけ回転させることを特徴とする。
これにより、マイクロフォン取付部材を小さくしても、マイクロフォン取付部材が監視カメラの視野に入ることがないので、装置を小型化できる。
【００１２】
また、本願発明は、前記複数のマイクロフォンを、互いに交わる２つの直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対を構成する第１〜第４のマイクロフォンと、前記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンとから構成するとともに、前記音源方向推定手段にて、前記２組のマイクロフォン対を構成するマイクロフォン間の位相差の比と、前記第５のマイクロフォンと前記２組のマイクロフォン対を構成する４個のマイクロフォンのそれぞれとで構成される４組のマイクロフォン対を構成するマイクロフォン間の位相差とを用いて前記音源方向（水平角θと仰角φ）を推定することを特徴とする。
これにより、音源方向の水平角θや仰角φを、少ないマイクロフォン数で、効率よくかつ正確に推定することができる。
【００１３】
なお、前記発明の概要は、本発明の必要な全ての特徴を列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となり得る。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態に係る音源方向推定機能付き監視カメラ装置の構成を示す機能ブロック図である。
【図２】マイクロフォンと透明ディスプレイと監視カメラの位置関係を説明するための図である。
【図３】監視カメラの映像の一例を示す図である。
【図４】音源方向推定機能付き監視カメラ装置の動作を説明するためのフローチャートである。
【図５】音源方向推定機能付き監視カメラ装置の他の構成を示す図である。
【図６】従来の音源推定方法におけるマイクロフォンの配列を示す図である。
【発明を実施するための形態】
【００１５】
以下、実施の形態を通じて本発明を詳説するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また、実施の形態の中で説明される特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１６】
図１は、音源方向推定機能付き監視カメラ装置１０の構成を示す機能ブロック図である。
同図において、１１は複数のマイクロフォンＭ１〜Ｍ５を有する音採取ユニット、１２は監視カメラ、１３は透明ディスプレイ、１４はカメラ取付部材、１５はマイクロフォン取付部材としての枠体、１６はカメラ回転手段としてのステッピングモーター、１７はモーター制御手段、２０は演算装置である。
音採取ユニット１１は、５本のマイクロフォンＭ１〜Ｍ５と、これらのマイクロフォンＭ１〜Ｍ５を以下のように配置して固定する固定台１１Ｄとを備える。
マイクロフォンＭ１〜Ｍ５の配置は、図６に示したものと同様で、４個のマイクロフォンＭ１〜Ｍ４を、互いに直交する２直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対（Ｍ１，Ｍ３）及びマイクロフォン対（Ｍ２，Ｍ４）を構成するように配置するとともに、第５のマイクロフォンＭ５を前記マイクロフォンＭ１〜Ｍ４の作る平面上にない位置、詳細には、マイクロフォンＭ１〜Ｍ４の作る正方形を底面とする四角錐の頂点の位置に配置する。これにより、更に４組のマイクロフォン対（Ｍ５, Ｍ１）〜（Ｍ５, Ｍ４）が構成される。
【００１７】
監視カメラ１２としては、長時間の映像を記憶できる記憶装置を備えたカメラであればよい。本例では、カラーＣＣＤカメラを用いた。
透明ディスプレイ１３は非表示状態においては透明であり、表示データが入力された場合には、表示部分が不透明となるディスプレイで、例えば、透過率の高い薄膜から成るエレクトロルミネッセンス素子（ＥＬ素子）と透明電極とをガラス基板で挟んだＥＬディスプレイや、液晶表示素子と偏光板とを組み合わせた単色ディスプレイなどの公知の透明ディスプレイを用いることができる。
【００１８】
カメラ取付部材１４は、監視カメラ１２を支持するカメラ支持部材１４ａと透明ディスプレイ１３を支持するディスプレイ支持部材１４ｂと、これらの支持部材１４ａ，１４ｂを連結する連結部材１４ｃとから成り、監視カメラ１２と透明ディスプレイ１３とを、透明ディスプレイ１３が監視カメラ１２のレンズの前方に位置するように、かつ、レンズの光軸が透明ディスプレイ１３の中心を通るように取付ける。なお、透明ディスプレイ１３の表示面１３ｍは、同図の一点鎖線で示すレンズ光軸ｋと直交している。
ここで、監視カメラ１２の視野の大きさは、透明ディスプレイ１３の表示部の大きさとなる。すなわち、図２（ａ）〜（ｃ）に示すように、監視カメラ１２の焦点Ｏと透明ディスプレイ１３の幅方向（後述するｘ方向）の両端Ａ，Ａ’を結ぶラインの成す角αが水平角方向の視野であり、焦点Ｏと透明ディスプレイ１３の高さ方向（後述するｚ方向）の両端を結ぶラインの成す角βが仰角方向の視野である。なお、同図のＤは、監視カメラ１２と透明ディスプレイ１３との距離で、ｚmは透明ディスプレイ１３の中心とマイクロフォンＭ１〜Ｍ５の中心との距離である。
ここで、監視カメラ１２の初期位置における焦点の位置を原点Ｏ（０，０，０）とすると、透明ディスプレイ１３の中心ＯDの位置座標は（０，Ｄ，０）となり、マイクロフォンＭ１〜Ｍ４の中心Ｏmの位置座標は（０，Ｄ，ｚm）となる。
【００１９】
枠体１５は、底面を構成するビーム状の底板１５ａと、この底板１５ａの両端からそれぞれ底板１５ａに直交する方向に延長する側板１５ｂと、底板１５ａに対向するように配置されて２枚の側板１５ｂを連結する天板１５ｃとを備えた枠状の部材である。
以下、底板１５ａが延在する面をｘ−ｙ平面、側板１５ｂの延長方向をｚ方向とする。なお、ｘ−ｙ平面は必ずしも水平面を指すものではないが、本例では、説明を簡単にするため、水平面をｘ−ｙ平面とし、ｚ方向を上下方向とする。また、底板１５ａの延長方向をｘ方向とする。
【００２０】
ステッピングモーター１６は、モーター制御手段１７からの制御パルス信号により駆動される。モーター制御手段１７は、後述する指定回転角Θの情報をパルス信号に変換してステッピングモーター１６に出力する。
音採取ユニット１１と演算装置２０とは枠体１５の天板１５ｃに取付けられ、カメラ取付部材１４はステッピングモーター１６を介して底板１５ａに取付けられる。また、モーター制御手段１７は底板１５ａに取付けられる。このとき、透明ディスプレイ１３の中心位置がステッピングモーター１６の回転軸上にあり、かつ、ステッピングモーター１６の回転軸とマイクロフォンＭ１〜Ｍ５の中心線とが一致するように、音採取ユニット１１とカメラ取付部材１４とを枠体１５に取付けることが好ましい。
なお、取付時（以下、初期位置という）においては、監視カメラ１２のレンズ光軸が枠体１５に垂直になるように、カメラ取付部材１４を枠体１５に取付ける。
モーター制御手段１７は、演算装置２０とともに、天板１５ｃ上に取付けてもよいし、演算装置２０に組み込んでもよい。
演算装置２０は、音採取ユニット１１、透明ディスプレイ１３、及び、モーター制御手段１７と図示しないケーブルによって接続されている。
【００２１】
演算装置２０は、増幅器２１と、Ａ／Ｄ変換器２２と、記憶手段２３と、音源方向推定手段２４と、座標変換手段２５と、回転判定手段２６と、ディスプレイ制御手段２７とを備える。
増幅器２１はローパスフィルタを備え、マイクロフォンＭ１〜Ｍ５で採取した各音の音圧信号から高周波ノイズ成分を除去するとともに、各音圧信号をそれぞれ増幅してＡ／Ｄ変換器２２に出力する。Ａ／Ｄ変換器２２は、各音圧信号をＡ／Ｄ変換した音圧波形データを作成し、これを、記憶手段２３に出力する。
記憶手段２３は、Ａ／Ｄ変換された音圧波形データと、監視カメラ１２の初期位置における焦点の位置座標を原点としたときの、マイクロフォンＭ１〜Ｍ４の中心位置の座標データＯm（０，Ｄ，ｚm）を記憶する。なお、図２(ａ)に示すように、Ｄは透明ディスプレイ１３の中心と監視カメラ１２の焦点位置との距離で、ｚmは透明ディスプレイ１３の中心とマイクロフォンＭ１〜Ｍ４の中心との距離である。透明ディスプレイ１３の中心は、監視カメラ１２の撮影方向であるレンズ光軸ｚ上にある。
【００２２】
音源方向推定手段２４は、記憶手段２３から音圧波形データを取出し、この取出された音圧波形データから各マイクロフォンＭ１〜Ｍ５間の位相差を求め、この求められた位相差から音源方向である水平角θと仰角φとを推定し、座標変換手段２５とに出力する。
なお、水平角θと仰角φとは、所定の周波数帯域毎に推定する。また、音源方向の推定の詳細については、後述する。
【００２３】
座標変換手段２５では、記憶手段２３に記憶されたマイクロフォンＭ１〜Ｍ４の中心位置の座標データの座標データＯm（０，Ｄ，ｚm）を用いて、音源方向推定手段２４で推定されたマイクロフォンＭ１〜Ｍ４の中心位置と音源とのなす水平角θと仰角φとを、監視カメラ１２から見たときの水平角θ’と仰角φ’とに変換してディスプレイ制御手段２７に出力するとともに、前記水平角θ’を回転判定手段２６に出力する。なお、座標変換の詳細については省略する。
【００２４】
回転判定手段２６では、監視カメラ１２から見たときの水平角θ’と水平角方向の視野αとを比較し、水平角θ’の大きさがα/２−γ（γは１０°程度）を超えた場合には、水平角θ’と仰角φ’とをディスプレイ制御手段２７に出力するとともに、水平角θ’を指定回転角Θとしてモーター制御手段１７とディスプレイ制御手段２７とに出力する。
水平角θ’の大きさがα/２−γ以下の場合には、水平角θ’と仰角φ’とをそのままディスプレイ制御手段２７に出力する。
【００２５】
透明ディスプレイ１３の表示面１３ｍでは、ｘ軸がθ’を表し、ｙ軸がφ’を表す。本例では、表示面１３ｍの中心位置を原点とした。
ディスプレイ制御手段２７は、音源の方向のデータを変換した座標データ（θ’，φ’）上に音源方向を示す図形を作成する。図３（ａ）はその一例を示す図で、本例では、音源方向を示す図形を網目模様の丸印Ｒとした。丸の中心は、前記座標データ（θ’，φ’）を表す点であり、半径は、各マイクロフォンＭ１〜Ｍ５で採取した音圧信号の大きさである。なお、予め設定した周波数帯域の音源方向を表示する場合や、周波数帯域毎の音源方向を表示する場合には、周波数帯域により丸印Ｒの色をそれぞれ設定すればよい。
これにより、監視カメラ１２により撮影された映像に音源５０が映っている場合には、音源５０は網目模様の丸印Ｒがついて撮影される。
なお、水平角θ’の大きさθ’Mがα/２−γを超えていると判定された場合には、図３（ｂ）に示すように、ディスプレイ制御手段２７は、表示面１３ｍの中心位置を、（θ’＝０，φ’＝０）から（θ’＝θ’M＝Θ，φ’＝０）に変更して、網目模様の丸印Ｒを表示する。
【００２６】
水平角θ及び仰角φの計算方法は以下の通りである。
各マイクロフォン対（Ｍｉ, Ｍｊ）のマイクロフォンＭｉとマイクロフォンＭｊとの間の到達時間差をＤijとすると、音の入射方向である水平角θと仰角φとは以下の式（１），（２）で表わせるので、各マイクロフォンＭ１〜Ｍ５の出力信号をＦＦＴを用いて周波数分析し、対象となる周波数ｆにおける各マイクロフォンＭｉ，Ｍｊ間の到達時間差Ｄijを算出することにより、前記水平角θ及び仰角φを求めることができる。
【数１】
すなわち、互いに直交する２直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対（Ｍ１，Ｍ３）及びマイクロフォン対（Ｍ２，Ｍ４）を構成するマイクロフォンＭ１，Ｍ３に入力する音圧信号の到達時間差Ｄ13と、前記マイクロフォン対（Ｍ２，Ｍ４）を構成するマイクロフォンＭ２，Ｍ４に入力する音圧信号の到達時間差Ｄ24との比から、計測点と音源位置との水平角θを推定し、前記到達時間差Ｄ13，Ｄ24と、前記第５のマイクロフォンＭ５と他のマイクロフォンＭ１〜Ｍ４との到達時間差Ｄ5j（ｊ＝１〜４）とから計測点と音源位置との成す仰角φを推定する。
【００２７】
なお、前記到達時間差Ｄijは、２つのマイクロフォン対（Ｍｉ，Ｍｊ）に入力される信号のクロススペクトルＰij（ｆ）を求め、更に、対象とする前記周波数ｆの位相角情報Ψ（ｒａｄ）を用いて、以下の式（３）を用いて算出される。
【数２】
水平角θと仰角φとは、ｆを中心周波数とする所定の帯域幅を有する周波数帯域毎に求めることができる。
【００２８】
本発明による音源方向推定機能付き監視カメラ装置１０の動作について、図４のフローチャートを用いて説明する。なお、監視カメラ１２の作動開始時には、カメラ取付部材１４は初期位置、すなわち、枠体１５とレンズ光軸ｋと直交しているとする。
まず、監視カメラ１２で監視対象を撮影しながら、マイクロフォンＭ１〜Ｍ５にて音の情報を採取する（ステップＳ１０）。そして、音の情報を増幅器２１で増幅した後、Ａ／Ｄ変換器２２によりＡ／Ｄ変換して、音圧波形データとして記憶手段２３に保存する（ステップＳ１１）。
次に、音源方向推定手段２４により、記憶手段２３に保存された音圧波形から各マイクロフォンＭ１〜Ｍ５間の位相差を求め、この求められた位相差から音源方向である水平角θと仰角φとを推定する（ステップＳ１２）。
【００２９】
音源方向の推定が終了した後は、推定された水平角θと仰角φとを、座標変換手段２５にて、監視カメラから見た水平角θ’と仰角φ’とに変換する（ステップＳ１３）。
そして、回転判定手段２６にて、水平角θ’と水平角方向の視野αとを比較する（ステップＳ１４）。水平角θ’の大きさがα/２−γ以下の場合には、水平角θ’と仰角φ’とをそのままディスプレイ制御手段２７に出力し、透明ディスプレイ１３の表示面１３ｍに中心が座標データ（θ’，φ’）を表す点であり、半径が各マイクロフォンで採取した音圧信号の大きさである網目状の丸印Ｒを描画する（ステップＳ１５）。監視カメラ１２は、この網目状の丸印Ｒが映った映像を撮影する。
【００３０】
ステップＳ１４において、水平角θ’の大きさがα/２−γを超えた場合には、ステップＳ１６に進んで、水平角θ’をディスプレイ制御手段２７に出力するとともに、水平角θ’を指定回転角Θとしてモーター制御手段１７に出力して、ステッピングモーター１６を回転させ、監視カメラ１２と透明ディスプレイ１３とを指定回転角Θだけ回転させる（ステップＳ１６）。
透明ディスプレイ１３は、原点の座標を（０，０）から（Θ，０）に変更するとともに、前記網目状の丸印Ｒを、原点が変更された表示面１３ｍに描画する（ステップＳ１７）。監視カメラ１２は、この網目状の丸印Ｒが映った映像を撮影する。
【００３１】
これにより、監視カメラ１２は、常に、音源の推定位置が映った画像を撮影することができる。なお、音の大きさが一定レベル以下になった場合には、カメラ取付部材１４を初期位置に戻す。また、更に、一定レベルより大きな音が発生した場合には、カメラ取付部材１４を回転させて、監視カメラ１２のレンズ光軸が新たな音源方向を向くように、カメラ取付部材１４を回転させるようにしてもよいし、そのまま測定中の音の方向を撮影してもよい。
【００３２】
このように、本実施の形態では、枠体１５の天板１５ｃにマイクロフォンＭ１〜Ｍ５が取付けられた固定台１１Ｄを取付け、カメラ取付部材１４に、監視カメラ１２と透明ディスプレイ１３とを、透明ディスプレイ１３が監視カメラ１２のレンズの前方に位置するように取付け、このカメラ取付部材１４をステッピングモーター１６を介して枠体１５の底板１５ａに取付け、マイクロフォンＭ１〜Ｍ５の出力する音圧信号を用いて音源方向を推定した後、推定された音源方向の水平角θ’の大きさが監視カメラ１２の視野内にある場合には、透明ディスプレイ１３に推定された音源方向θ’を示す図形を表示するとともに、推定された音源方向の水平角θ’の大きさが監視カメラ１２の最大視野を超えている場合には、監視カメラ１２の撮影方向が前記推定された音源方向になるようにカメラ取付部材１４を回転させてから透明ディスプレイ１３に推定された音源方向θ’を示す図形を表示するようにしたので、簡単な構成で、音源の推定位置が映った画像を撮影することができる。
なお、推定された水平角θ’は、マイクロフォンＭ１〜Ｍ５の中心位置を原点としたときの水平角θを、監視カメラ１２から見たときの水平角に変換したものである。
【００３３】
なお、前記実施の形態では、カメラ取付部材１４を枠体１５に対して回転させる構成としたが、枠体１５が小さい場合には、カメラ取付部材１４を回転させたときに、枠体１５が監視カメラ１２の視野に入ってしまい、映像が見にくくなることがある。
そこで、図５に示すように、第１のステッピングモーター１６Ａを用いてカメラ取付部材１４を枠体１５とともに固定部材である枠体支持台１９に対して回転させるとともに、第２のステッピングモーター１６Ｂを用いて音採取ユニット１１を枠体１５と逆方向に同角度だけ回転させる構成とすれば、枠体１５を小さくしても、枠体１５が監視カメラ１２の視野に入ることがない。なお、第２のステッピングモーター１６Ｂの回転軸と第１のステッピングモーター１６Ａの回転軸とは同一直線状にあることはいうまでもない。
この構成では、図１の構成に比べてステッピングモーターが１台多いが、枠体１５が監視カメラ１２の視野に入らないように枠体１５を大きくする必要がないので、装置を小型化できる。なお、映像中に枠体１５があっても問題ない場合には、図１の構成を用いる方が安価であるので好ましい。
【００３４】
また、前記例では、マイクロフォンＭ１〜Ｍ５を枠体１５の天板１５ｃに設置したが、側面１５ｂに設置してもよい。
また、前記例では、推定された水平角θ及び仰角φを座標変換して水平角θ’及び仰角φ’を求めたが、音源５０が遠い場合には、推定された水平角θ及び仰角φをそのまま音源の座標としてもよい。
また、前記例では、監視カメラ１２を水平角方向のみに回転させたが、ステッピングモーターを追加して、水平角方向と仰角方向の両方に回転させてもよい。これにより、音源推定方向の更に鮮明な映像を撮影することができる。
【００３５】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は前記実施の形態に記載の範囲には限定されない。前記実施の形態に、多様な変更または改良を加えることが可能であることが当業者にも明らかである。そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲から明らかである。
【産業上の利用可能性】
【００３６】
以上説明したように、本発明によれば、音源の方向が表示された映像を直接にかつ確実に撮影することのできる音源方向推定機能付き監視カメラ装置を提供することができるので、監視カメラの性能を飛躍的に向上させることができる。
【符号の説明】
【００３７】
１０ 音源方向推定機能付き監視カメラ装置、１１ 音採取ユニット、
１１Ｄ 固定台、１２ 監視カメラ、１３ 透明ディスプレイ、１３ｍ 表示面、
１４ カメラ取付部材、１４ａ カメラ支持部材、１４ｂ ディスプレイ支持部材、
１４ｃ 連結部材、１５ 枠体、１５ａ 底板、１５ｂ 側板、１５ｃ 天板、
１６ ステッピングモーター、１７ モーター制御手段、２０ 演算装置、
２１ 増幅器、２２ Ａ／Ｄ変換器、２３ 記憶手段、２４ 音源方向推定手段、
２５ 座標変換手段、２６ 回転判定手段、２７ ディスプレイ制御手段、
５０ 音源、Ｍ１〜Ｍ５ マイクロフォン、ｋ レンズ光軸。
【特許請求の範囲】
【請求項１】
音源から伝搬される音の情報を採取する複数のマイクロフォンと、
これら複数のマイクロフォンを取付けるマイクロフォン取付部材と、
室内もしくは室外の映像を撮影する監視カメラと、
非表示状態において透明な透明ディスプレイと、
前記監視カメラと前記透明ディスプレイとを、透明ディスプレイを監視カメラのレンズの前方に位置するように取付けるカメラ取付部材と、
前記各マイクロフォンが出力する音圧信号を用いて音源方向を推定する音源方向推定手段と、
前記カメラ取付部材を回転させるカメラ回転手段とを備え、
前記カメラ回転手段は、前記推定された音源方向に基づいて、監視カメラの撮影方向が前記推定された音源方向になるように、前記カメラ取付部材を回転させ、
前記透明ディスプレイは、前記推定された音源方向を示す図形を表示することを特徴とする音源方向推定機能付き監視カメラ装置。
【請求項２】
前記カメラ取付部材は前記カメラ回転手段を介して前記マイクロフォン取付部材に取付けられていることを特徴とする請求項１に記載の音源方向推定機能付き監視カメラ装置。
【請求項３】
前記マイクロフォン取付部材はマイクロフォン回転手段を介して前記カメラ取付部材に取付けられており、
前記マイクロフォン回転手段は、前記マイクロフォン取付部材を、前記カメラ取付部材とは逆方向に、かつ、前記カメラ取付部材と同じ角度だけ回転させることを特徴とする請求項１に記載の音源方向推定機能付き監視カメラ装置。
【請求項４】
前記複数のマイクロフォンは、
互いに交わる２つの直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対を構成する第１〜第４のマイクロフォンと、前記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンとを有し、
前記音源方向推定手段は、
前記２組のマイクロフォン対を構成するマイクロフォン間の位相差の比と、前記第５のマイクロフォンと前記２組のマイクロフォン対を構成する４個のマイクロフォンのそれぞれとで構成される４組のマイクロフォン対を構成するマイクロフォン間の位相差とを用いて前記音源方向の水平角と仰角とを推定することを特徴とする請求項１〜請求項３のいずれかに記載の音源方向推定機能付き監視カメラ装置。
【請求項１】
音源から伝搬される音の情報を採取する複数のマイクロフォンと、
これら複数のマイクロフォンを取付けるマイクロフォン取付部材と、
室内もしくは室外の映像を撮影する監視カメラと、
非表示状態において透明な透明ディスプレイと、
前記監視カメラと前記透明ディスプレイとを、透明ディスプレイを監視カメラのレンズの前方に位置するように取付けるカメラ取付部材と、
前記各マイクロフォンが出力する音圧信号を用いて音源方向を推定する音源方向推定手段と、
前記カメラ取付部材を回転させるカメラ回転手段とを備え、
前記カメラ回転手段は、前記推定された音源方向に基づいて、監視カメラの撮影方向が前記推定された音源方向になるように、前記カメラ取付部材を回転させ、
前記透明ディスプレイは、前記推定された音源方向を示す図形を表示することを特徴とする音源方向推定機能付き監視カメラ装置。
【請求項２】
前記カメラ取付部材は前記カメラ回転手段を介して前記マイクロフォン取付部材に取付けられていることを特徴とする請求項１に記載の音源方向推定機能付き監視カメラ装置。
【請求項３】
前記マイクロフォン取付部材はマイクロフォン回転手段を介して前記カメラ取付部材に取付けられており、
前記マイクロフォン回転手段は、前記マイクロフォン取付部材を、前記カメラ取付部材とは逆方向に、かつ、前記カメラ取付部材と同じ角度だけ回転させることを特徴とする請求項１に記載の音源方向推定機能付き監視カメラ装置。
【請求項４】
前記複数のマイクロフォンは、
互いに交わる２つの直線上にそれぞれ所定の間隔で配置された２組のマイクロフォン対を構成する第１〜第４のマイクロフォンと、前記２組のマイクロフォン対の作る平面上にない第５のマイクロフォンとを有し、
前記音源方向推定手段は、
前記２組のマイクロフォン対を構成するマイクロフォン間の位相差の比と、前記第５のマイクロフォンと前記２組のマイクロフォン対を構成する４個のマイクロフォンのそれぞれとで構成される４組のマイクロフォン対を構成するマイクロフォン間の位相差とを用いて前記音源方向の水平角と仰角とを推定することを特徴とする請求項１〜請求項３のいずれかに記載の音源方向推定機能付き監視カメラ装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−１８８０１６（Ｐ２０１１−１８８０１６Ａ）
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願番号】特願２０１０−４７９６８（Ｐ２０１０−４７９６８）
【出願日】平成２２年３月４日（２０１０．３．４）
【出願人】（０００２１３２９７）中部電力株式会社 (811)
【出願人】（０００００１３１７）株式会社熊谷組 (551)
【Ｆターム（参考）】
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願日】平成２２年３月４日（２０１０．３．４）
【出願人】（０００２１３２９７）中部電力株式会社 (811)
【出願人】（０００００１３１７）株式会社熊谷組 (551)
【Ｆターム（参考）】
[ Back to top ]