音響信号処理装置、及び撮像装置
【課題】画像信号と音響信号を互いに関連付けて記録する際、又は互いに関連付けて記録された画像信号と音響信号を再生する際、当該音響信号中にスピーカから発せられる音の音響信号を検出した場合には、当該スピーカ音の音像方向を適切に制御して記録する又は再生することができる音響信号処理装置、或いは当該スピーカ音の音像方向を適切に制御して記録する撮像装置を提供する。
【解決手段】スピーカ音制御部１０は、マイク５Ｌ及び５Ｒによって集音された複数の音源からの音を音源毎に分離抽出し、分離抽出された各音源からの音がスピーカ音であるか否かを判定する。スピーカ音と判定した場合には、当該音源からの音像が撮像装置１による撮影方向とほぼ一致するように音像方向の制御を行なう。
【解決手段】スピーカ音制御部１０は、マイク５Ｌ及び５Ｒによって集音された複数の音源からの音を音源毎に分離抽出し、分離抽出された各音源からの音がスピーカ音であるか否かを判定する。スピーカ音と判定した場合には、当該音源からの音像が撮像装置１による撮影方向とほぼ一致するように音像方向の制御を行なう。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響信号を処理する音響信号処理装置に関し、特に、スピーカから発せられる音響信号の音像方向を制御する音響信号処理装置又は撮像装置に関する。
【背景技術】
【０００２】
講演会や各種イベント等、人が大勢集まる場所では、話し手はマイクロフォンを使用して話すことが多い。マイクロフォンに入力された話し手の声は、マイクロフォンが接続されている増幅器によって増幅され、増幅器に接続されているスピーカから大音量となって出力される。したがって、話し手の声のほとんどは、スピーカから聴こえて来ることになる。
【０００３】
そして、複数のスピーカが増幅器に接続されており、これらスピーカが話し手の位置を中心に非対称に配置されている、或いは、スピーカは１つだけであるがこのスピーカが話し手の位置とは全く別の位置に配置されているような場合、話し手の声は、話し手の存在する位置とは異なる位置から聴こえて来ることになる。
【０００４】
このようなシーンの画像と音を、例えば、２つのステレオマイクを備えたビデオカメラで話し手が撮影領域の真ん中付近に位置するように記録し、記録した画像信号と音響信号を再生して視聴する場合を考える。再生装置が、例えば、Ｌチャネル及びＲチャネル用の２つのスピーカによるステレオ再生を行なう場合、再生装置のモニタの真ん中付近には、話し手が話をしているシーンが写し出されているにもかかわらず、話し手の声はいずれか一方のスピーカからしか聴こえない、或いはいずれか一方に偏って聴こえることになる。このような画像と音の再生は、これを視聴している視聴者に非常に違和感を感じさせるものであり、問題である。
【０００５】
また、運動会などでは、ＢＧＭが１つのスピーカからしか流れてこないことがあり、このようなシーンの画像及び音を記録して視聴する場合も、ＢＧＭがいずれか一方のスピーカからしか聴こえず、或いはいずれか一方に偏って聴こえるため、迫力感に欠けてしまい、問題である。
【０００６】
尚、画像に合わせて音像全体を制御する従来技術として下記特許文献１がある。下記特許文献１では、撮影時に取得した画像信号及び音響信号を再生する際に、再生する画像信号の画角に応じ、同時に再生する音声信号の指向性を制御し再生音場を補正する技術であり、上記問題を解決するものではない。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開2006-287544
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、上記問題に鑑みてなされたものであり、画像信号と音響信号を互いに関連付けて記録する際、又は互いに関連付けて記録された画像信号と音響信号を再生する際、当該音響信号中にスピーカから発せられる音の音響信号を検出した場合には、当該スピーカ音の音像方向を適切に制御して記録する又は再生することができる音響信号処理装置、或いは当該スピーカ音の音像方向を適切に制御して記録する撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る第１の音響信号処理装置は、撮影の際に到来する音を集音することにより該音の音響信号を取得する集音手段と、前記音響信号からスピーカ音信号を検出するスピーカ音検出手段と、前記スピーカ音信号が検出された場合、該スピーカ音信号の音像方向が撮影方向と一致するように、前記音響信号に音響信号処理を施す音像方向制御手段と、前記音響信号処理を施された前記音響信号を記録する音響信号記録手段と、を備えたことを特徴とする。
【００１０】
本発明に係る第２の音響信号処理装置は、撮影の際に到来する音を集音することにより該音の音響信号を取得する集音手段と、前記音響信号からスピーカ音信号を検出するスピーカ音検出手段と、前記スピーカ音信号が検出された場合、前記音響信号の音像方向が撮影方向と一致するように、前記音響信号に音響信号処理を施す音像方向制御手段と、前記音響信号処理を施された前記音響信号を記録する音響信号記録手段と、を備えたことを特徴とする。
【００１１】
本発明に係る撮像装置は、上記第１又は第２の音響信号処理装置を備え、撮影対象を撮影することにより該撮影対象の画像信号を取得する撮像手段と、前記撮像手段により取得された前記画像信号を、前記音響信号処理装置が備える音像方向制御手段により音響信号処理が施された音響信号と関連付けて記録する画像信号記録手段と、をさらに備えたことを特徴とする。
【００１２】
本発明に係る撮像装置は、さらに前記画像信号から人物の顔画像信号を検出する顔検出手段と、前記画像信号からマイクロフォンの画像信号を検出するマイクロフォン検出手段と、を備え、前記音響信号処理装置が備える前記スピーカ音検出手段は、前記顔検出手段により人物の顔画像信号が検出され、且つ、前記マイクロフォン検出手段によりマイクロフォンの画像信号が検出された場合に、前記音響信号処理装置が備える集音手段によって取得された音響信号からスピーカ音信号を検出することを特徴とする。
【００１３】
また、本発明に係る撮像装置は、撮影対象を撮影することにより該撮影対象の画像信号を取得する撮像手段と、前記撮影の際に到来する音を集音することにより該音の第１音響信号を取得する集音手段と、前記第１音響信号を前記撮像手段により取得された画像信号と関連付けて記録する第１記録手段と、前記第１音響信号に基づく第２音響信号を生成するとともに、該第２音響信号を前記撮像手段により取得された画像信号と関連付けて記録する第２記録手段と、前記第１記録手段と前記第２記録手段とを切り替える切換え手段と、を備え、前記第２記録手段は、前記音響信号からスピーカ音信号を検出するスピーカ音検出手段と、前記スピーカ音信号が検出された場合、該スピーカ音信号の音像方向が撮影方向と一致するように、前記スピーカ音信号に音響信号処理を施すことにより前記第２音響信号を生成する音像方向制御手段と、
を備えたことを特徴とする。
【００１４】
さらにまた、本発明に係る撮像装置は、撮影対象を撮影することにより該撮影対象の画像信号を取得する撮像手段と、前記撮影の際に到来する音を集音することにより該音の第１音響信号を取得する集音手段と、前記第１音響信号を前記撮像手段により取得された画像信号と関連付けて記録する第１記録手段と、前記第１音響信号に基づく第２音響信号を生成するとともに、該第２音響信号を前記撮像手段により取得された画像信号と関連付けて記録する第２記録手段と、前記第１記録手段と前記第２記録手段とを切り替える切換え手段と、を備え、
前記第２記録手段は、前記音響信号からスピーカ音信号を検出するスピーカ音検出手段と、前記スピーカ音信号が検出された場合、前記音響信号の音像方向が撮影方向と一致するように、前記音響信号に音響信号処理を施すことにより前記第２音響信号を生成する音像方向制御手段と、を備えたことを特徴とする。
【００１５】
本発明に係る第３の音響信号処理装置は、撮影手段による撮影により取得された画像信号と集音手段により取得された前記撮影の際に到来する音の音響信号とが互いに関連づけて記録されている記録手段から、前記音響信号を取得する取得手段と、前記取得手段によって取得された前記音響信号からスピーカ音信号を検出するスピーカ音検出手段と、前記スピーカ音信号が検出された場合、前記スピーカ音信号の音像方向が前記撮影手段による撮影方向と一致するように、前記音響信号に音響信号処理を施す音像方向制御手段と、前記音響信号処理を施された前記音響信号を再生する再生手段と、を備えたことを特徴とする。
【００１６】
本発明に係る第４の音響信号処理装置は、撮影手段による撮影により取得された画像信号と集音手段により取得された前記撮影の際に到来する音の音響信号とが互いに関連づけて記録されている記録手段から、前記音響信号を取得する取得手段と、前記取得手段によって取得された前記音響信号からスピーカ音信号を検出するスピーカ音検出手段と、前記スピーカ音信号が検出された場合、前記音響信号の音像方向が前記撮影手段による撮影方向と一致するように、前記音響信号に音響信号処理を施す音像方向制御手段と、前記音響信号処理を施された前記音響信号を再生する再生手段と、を備えたことを特徴とする。
【発明の効果】
【００１７】
本発明によると、画像信号と音響信号を互いに関連付けて記録する際、又は互いに関連付けて記録された画像信号と音響信号を再生する際、当該音響信号中にスピーカから発せられる音の音響信号を検出した場合には、当該スピーカ音の音像方向を適切に制御して記録する又は再生する音響信号処理装置、或いは当該スピーカ音の音像方向を適切に制御して記録する又は再生する撮像装置を提供することができる。
【００１８】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも、本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施の形態に係る撮像装置の全体構成図である。
【図２】スピーカ音制御部１００の処理内容の概要を説明する図である。
【図３】スピーカ音制御部１００の内部構成の概略を示すブロック図である。
【図４】方向判定部１０２が音響信号の到来する方向を算出する方法を説明するための図である。
【図５】音響処理部７が備えるスピーカ音制御部２００の内部構成の概略を示すブロック図である。
【図６】第ｎフレームの音響信号が周期性を有するか否かを判定する方法を説明するための図である。
【図７】第ｎフレームの音響信号の自己相関値Ｓ（Ｐ）と変数Ｐの関係を示す図である。
【発明を実施するための最良の形態】
【００２０】
以下、本発明に係る音響信号処理装置を撮像装置に実施した形態につき、図面を参照して説明する。
【００２１】
図１は、本発明の実施形態に係る撮像装置の内部構成の概略を示すブロック図である。図１に示すように、撮像装置１は、入射される光学像を電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子から成るイメージセンサ２と、被写体の光学像をイメージセンサ２に結像させるとともに光量などの調整を行うレンズ部３と、を備える。レンズ部３とイメージセンサ２とで撮像部が構成され、この撮像部によってアナログ信号の画像信号が生成される。なお、レンズ部３は、ズームレンズやフォーカスレンズなどの各種レンズ（不図示）や、イメージセンサ２に入力される光量を調整する絞り（不図示）などを備える。
【００２２】
さらに、撮像装置１は、イメージセンサ２から出力されるアナログ信号である画像信号をデジタル画像信号（以下、デジタル画像信号を単に画像信号と記載する場合もある。）に変換するとともにゲインの調整を行うＡＦＥ（Analog Front End）４と、入力される音を電気信号に変換し集音するマイクロフォン（以下、単にマイクと記載する。）５Ｌ及び５Ｒと、マイク５Ｌ及び５Ｒから出力されるアナログの音響信号をデジタル音響信号（以下、デジタル音響信号を単に音響信号と記載する場合もある。）に変換するＡＤＣ（Analog to Digital Converter）６Ｌ及び６Ｒと、ＡＤＣ６Ｌ及び６Ｒから出力される音響信号に対して各種音響信号処理を施して出力する音響処理部７と、ＡＦＥ４から出力される画像信号に対して各種画像信号処理を施して出力する画像処理部８を備える。
【００２３】
ここで、音響処理部７は、マイク５Ｌ及び５Ｒによって集音された音にスピーカから発せられる音（以下、スピーカから発せられる音をスピーカ音と、スピーカ音の音響信号をスピーカ音信号と記載する。）が含まれているか否かを検出し、スピーカ音を検出した場合には当該スピーカ音の音像方向を制御する、或いはマイク５Ｌ及び５Ｒによって集音された音全体の音像方向を制御するスピーカ音制御部を備える。このスピーカ音制御部の詳細については、後述する。
【００２４】
また、撮像装置１は、画像処理部８から出力される画像信号と音響処理部７から出力される音響信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの圧縮符号化処理を施す圧縮処理部９と、圧縮処理部９で圧縮符号化された圧縮符号化信号を記録する外部メモリ１１と、圧縮符号化信号を外部メモリ１１に記録したり読み出したりするドライバ部１０と、ドライバ部１０によって外部メモリ１１から読み出された圧縮符号化信号を伸長して復号する伸長処理部１２と、を備える。
【００２５】
また、撮像装置１は、伸長処理部１２で復号された画像信号をモニタなどの表示部２１で表示可能な形式の信号に変換する画像信号出力部１３と、伸長処理部１２で復号された音響信号をスピーカ部２２で出力可能な形式の信号に変換する音響信号出力部１４と、を備える。
【００２６】
また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（Central Processing Unit）１５と、各処理を行うための各プログラムを記憶するとともにプログラム実行時の信号の一時保管を行うメモリ１６と、撮影を開始するボタンや各種設定の決定を行うボタンなどの撮影者からの指示が入力される操作部１７と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１８と、ＣＰＵ１５と各部との間で信号のやりとりを行うためのバス１９と、メモリ１６と各部との間で信号のやりとりを行うためのバス２０と、を備える。
【００２７】
なお、外部メモリ１１は画像信号や音響信号を記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１１として使用することができる。また、外部メモリ１１を撮像装置１から着脱自在としても構わない。
【００２８】
次に、撮像装置１の基本動作について図１を参照して説明する。まず、撮像装置１は、レンズ部３より入射される光をイメージセンサ２において光電変換することによって、電気信号であるアナログ画像信号を生成する。イメージセンサ２は、ＴＧ部１８から入力されるタイミング制御信号に同期して、所定のフレーム周期（例えば、１／３０秒）で順次ＡＦＥ４に生成したアナログ画像信号を出力する。そして、ＡＦＥ４によってアナログ信号からデジタル信号へと変換された画像信号は、画像処理部８に入力される。画像処理部８では、画像信号がＹＵＶを用いた信号に変換されるとともに、階調補正や輪郭強調等の各種画像信号処理が施される。また、メモリ１６はフレームメモリとして動作し、画像処理部８が処理を行なう際に画像信号を一時的に保持する。
【００２９】
また、マイク５Ｌ及び５Ｒは、音を集音して電気信号であるアナログ音響信号に変換し、出力する。マイク５Ｌ及び５Ｒから出力されるアナログ音響信号はＡＤＣ６Ｌ及び６Ｒに入力されて、デジタル音響信号へと変換される。さらに、ＡＤＣ６Ｌ及び６Ｒからの音響信号は音響処理部７に入力され、ノイズ除去やスピーカ音制御部によるスピーカ音制御などの各種音響信号処理が施される。
【００３０】
画像処理部８から出力される画像信号と、音響処理部７から出力される音響信号とはともに圧縮処理部９に入力され、圧縮処理部９において所定の圧縮方式で圧縮される。このとき、画像信号と音響信号とは時間的に関連付けられて（対になって）おり、再生時に画像と音とがずれないように構成される。そして、圧縮された画像信号及び音響信号はドライバ部１０を介して外部メモリ１１に記録される。
【００３１】
外部メモリ１１に記録された圧縮後の画像信号及び音響信号は、操作部１７を介して入力される撮影者の再生指示に基づいて伸長処理部１２に読み出される。伸長処理部１２は、再生するために読み出される圧縮された画像信号及び音響信号を伸長し、この再生用の画像信号を画像信号出力部１３、再生用の音響信号を音響信号出力部１４にそれぞれ出力する。そして、画像信号出力部１３が、再生用の画像信号を表示部２１で表示可能な形式の信号に変換するとともに、音響信号出力部１４が、再生用の音響信号をスピーカ部２２で出力可能な形式の信号に変換して、それぞれ出力する。これにより、再生用の画像が表示部２１で表示され、再生用の音がスピーカ部２２から出力される。
【００３２】
また、本実施形態の撮像装置１は、撮影した画像の記録を開始する前や、動画の記録時などに、撮影した画像を表示部２１に表示する。このとき、画像処理部８は、表示用の画像信号を生成するとともに、バス２０を介して画像信号出力部１３に出力する。そして、画像信号出力部１３が、表示用の画像信号を表示部２１で表示可能な形式の信号に変換して、出力する。撮影者は、表示部２１に表示される画像を確認することで、これから記録するまたは現在記録している画像の画角を認識することができる。
【００３３】
なお、表示部２１やスピーカ部２２は、撮像装置１と一体となっているものでも構わないし、別体となっており、撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものでも構わない。また、マイク５Ｌ及び５Ｒが、デジタル音響信号を出力するデジタルマイクを備えるものとして、ＡＤＣ６を備えない構成としても構わない。
【００３４】
＜＜第１実施例＞＞
以下、撮像装置１の音響処理部７が備えるスピーカ音制御部の第１実施例について説明する。尚、以下の第１実施例の説明では、スピーカ音制御部に番号１００を付すこととする。
【００３５】
図２は、スピーカ音制御部１００の処理内容の概要を説明する図である。図２では、撮影者が、撮像装置１を用いてマイクを持った話し手を撮影している。話し手がマイクに向って声を発すると、その声は、話し手とは異なる位置に配置されたスピーカから発せられることとなる。即ち、図２では、話し手の声を発するスピーカが音源Ｐである。他方、スピーカ音以外の音を発する音源Ｑも存在しているものとする。
【００３６】
スピーカ音制御部１００は、マイク５Ｌ及び５Ｒによって集音された複数の音源（図２では、音源Ｐ及び音源Ｑの２つの音源）からの音を音源毎に分離抽出する。そして、分離抽出された各音源からの音がスピーカ音であるか否かを判定する。スピーカ音と判定した場合には、当該音源からの音像が撮像装置１による撮影方向とほぼ一致するように音像方向の制御を行なう。ここで、撮影方向とは、撮像装置１による撮影の際に、撮像装置１のレンズ部３が向いている方向をいう。図２では、撮影方向にはマイクを持った話し手が存在するものの、音源Ｐ（スピーカ）及び音源Ｑは存在しない。
【００３７】
スピーカ音制御部１００は、音源Ｐ及び音源Ｑからの音のうち、音源Ｐからの音がスピーカ音であると判定すると、当該スピーカ音が撮像装置１の撮影方向から到来しているかのように、当該スピーカ音の音響信号に音響信号処理を施す。かかる処理の結果、撮影により取得された画像信号及び音響信号を再生して視聴すると、視聴者は、話し手の声が撮影方向、即ち、話し手の存在する方向から聴こえることになるため、上述した違和感を感じなくなる。
【００３８】
図３は、スピーカ音制御部１００の内部構成の概略を示すブロック図である。図３において、ＡＤＣ６Ｌ及び６Ｒから出力される音響信号は、時間領域上の信号であり、或る基準時刻からの経過時間をｔ（ｔは整数）とすると、当該音響信号はｔの関数として表現できる。以下、ＡＤＣ６Ｌ及び６Ｒから出力される音響信号をそれぞれ原信号Ｌｉ（ｔ）及び原信号Ｒｉ（ｔ）と記載する。
【００３９】
ＦＦＴ（Fast Fourier Transform）部１０１Ｌ及び１０１Ｒぞれぞれは、原信号Ｌｉ（ｔ）及びＲｉ（ｔ）それぞれに対して離散フーリエ変換を施し、周波数スペクトルを生成する。ＦＦＴ部１０１Ｌ及び１０１Ｒそれぞれから出力される周波数スペクトルは、ＡＤＣ６Ｌ及び６Ｒそれぞれから時間領域上の信号として出力される音響信号を周波数領域上の信号に変換したものである。従って、当該周波数スペクトルは、周波数ｆ（ｆは正の整数）の関数として表現できる。以下、ＦＦＴ部１０１Ｌ及び１０１Ｒから出力される周波数スペクトルを、それぞれ周波数スペクトルＬ（ｆ）及びＲ（ｆ）と記載する。
【００４０】
本実施形態にかかる撮像装置１では、ＡＤＣ６Ｌ及び６Ｒそれぞれがアナログ音響信号を、例えば、サンプリング周波数４８ｋＨｚ（キロヘルツ）でデジタル音響信号に変換する。そして、撮像装置１は、生成された音響信号１０２４サンプル、即ち、約２１．３ｍｓｅｃ（１０２４×１／４８ｋＨｚ）を１つのフレームとし、このフレーム単位で該音響信号に音響信号処理を施す。
【００４１】
ＦＦＴ部１０１Ｌ及び１０１Ｒは、音響信号に対し１フレーム単位で離散フーリエ変換を施す。この際、音響信号の周波数帯域をΔｆの標本間隔でＭ（Ｍは２以上の整数）個に細分化するとともに、細分化された周波数帯域毎に周波数スペクトルを算出する。以下、細分化された周波数帯域を細分化帯域と記載する。例えば、音響信号の全周波数帯域がΔＦであるとすると、細分化帯域の個数Ｍは、Ｍ＝ΔＦ／Δｆとなる。ここで、理想的には、標本間隔Δｆを狭くすることにより、細分化帯域のそれぞれが１つの音源からの音響信号の成分しか含まないようにすることができる。即ち、各細分化帯域に含まれる音響信号は、複数ある音源のうちのいずれか一つの音源から発せられた音の音響信号の成分であると考えることができる。
【００４２】
複数の細分化帯域をそれぞれ、ｆ０，ｆ１，ｆ２，・・・，ｆｍ-1（ｍは１以上の整数）とすると、周波数スペクトルＬ（ｆ）及びＲ（ｆ）は、細分化帯域ｆ０，ｆ１，ｆ２，・・・，ｆｍ-1（ｍは１以上の整数）の周波数スペクトルから構成されることになる。以下、周波数スペクトルＬ（ｆ）及びＲ（ｆ）を構成する細分化帯域の周波数スペクトルを、それぞれＬ（ｆ０），Ｌ（ｆ１），Ｌ（ｆ２），・・・Ｌ（ｆｍ-1）、及びＲ（ｆ０），Ｒ（ｆ１），Ｒ（ｆ２），・・・Ｒ（ｆｍ-1）と記載する。
【００４３】
方向判定部１０２は、ＦＦＴ部１０１Ｌ及び１０１Ｒそれぞれから出力される各細分化帯域の周波数スペクトルから、各細分化帯域に含まれる音響信号がマイク５Ｌ及び５Ｒへ到達した時の位相差を算出し、この位相差に基づいて各細分化帯域に含まれる音響信号の到来方向を判定する。
【００４４】
図４は、方向判定部１０２が音響信号の到来する方向を算出する方法を説明するための図である。今、互いに直行するＸ軸及びＹ軸を座標軸とする２次元の座標面を想定する。Ｘ軸とＹ軸は原点Ｏで直交する。原点Ｏを基準としてＸ軸正方向を右側、負方向を左側、Ｙ軸正方向を前方、負方向を後方とする。マイク５Ｌ及び５ＲがそれぞれＸ軸上の互いに異なる位置であって、Ｙ軸を基準に対称となるように配置され、２つのマイクの間隔がＤであるとする。間隔Ｄは、例えば数ｍｍ程度である。
【００４５】
今、例えば、ｆ０Ｈｚの細分化帯域に含まれる音響信号が音源Ｐから発せられたものであり、当該音響信号が原点Ｏへ到来する時の入射角を原点を中心に反時計周りを正としてθ（rad）（ラジアン）であるとする。このときマイク５Ｌ及び５Ｒへの入射角もθ（rad）と近似することができる。当該音響信号がマイク５Ｌ及び５Ｒに到達する際の位相差をΔφ（rad）とすると、Δφは、ＦＦＴ部１０１Ｌ及び１０１Ｒそれぞれから出力される周波数スペクトルＬ（ｆ０）及びＲ（ｆ０）から算出することができる。
【００４６】
具体的には、離散フーリエ変換によって算出された周波数スペクトルＬ（ｆ０）の実部をＬ＿ｒ（ｆ０）、虚部をＬ＿ｉ（ｆ０）とするとＬ（ｆ０）の位相φｌは
【００４７】
【数１】
【００４８】
と算出することができる。
【００４９】
同様に、周波数スペクトルＲ（ｆ０）の実部をＲ＿ｒ（ｆ０）、虚部をＲ＿ｉ（ｆ０）とするとＲ（ｆ０）の位相φｒは、
【００５０】
【数２】
【００５１】
と算出することができる。
【００５２】
ここで、位相差Δφは、Δφ＝φr-φlと算出できるため、下記式（１）により算出することができる。
【００５３】
【数３】
【００５４】
また、音速をＣ（ｍｍ／ｓｅｃ）、マイク５Ｌと５Ｒとの間隔をＤ（ｍｍ）とすると、Δφは下記式（２）からも算出することができる。
【００５５】
【数４】
【００５６】
よって、上記式（１）と（２）より入射角θは、下記式（３）から算出することができる。
【００５７】
【数５】
【００５８】
以上より、細分化帯域ｆ０Ｈｚに含まれる音響信号が到来する方向である、入射角θを算出することができる。このようにして方向判定部１０２は、全ての細分化帯域に含まれる音響信号の入射角を算出する。以下、細分化帯域に含まれる音響信号の入射角を単に細分化帯域の入射角と記載する。
【００５９】
本実施例では、方向判定部１０２は、周波数スペクトルＬ（ｆ）の細分化帯域の周波数スペクトルと当該細分化帯域の入射角とを一組として全ての組をスピーカ音判定部１０３へ出力する。尚、周波数スペクトルＲ（ｆ）の細分化帯域の周波数スペクトルと当該細分化帯域の入射角とを一組として出力してもかまわない。
【００６０】
例えば、細分化帯域ｆ０、ｆ１、ｆ２、ｆ３、ｆ４、ｆ５、ｆ６、ｆ７、ｆ８、及びｆ９の入射角がそれぞれθ０、θ１、θ０、θ０、θ１、θ１、θ１、θ２、θ２、及びθ２（rad）であるとすると、方向判定部１０２は、（Ｌ（ｆ０），θ０）、（Ｌ（ｆ１），θ１）、（Ｌ（ｆ２），θ０）、（Ｌ（ｆ３），θ０）、（Ｌ（ｆ４），θ１）、（Ｌ（ｆ５），θ１）、（Ｌ（ｆ６），θ１）、（Ｌ（ｆ７），θ２）、（Ｌ（ｆ８），θ２）、（Ｌ（ｆ９），θ２）をスピーカ音判定部１０３へ出力する。
【００６１】
スピーカ音判定部１０３は、方向判定部１０２から出力される細分化帯域の周波数スペクトルと当該細分化帯域の入射角の組から、入射角毎に細分化帯域の周波数スペクトルを抽出するとともにこれらを合成し、合成周波数スペクトルを生成する。即ち、音響信号の到来方向毎の合成周波数スペクトルを生成する。以下、入射角θから到来する細分化帯域の周波数スペクトルを合成して生成した合成周波数スペクトルをＬ（θ）と記載する。
【００６２】
例えば、スピーカ音判定部１０３は、方向判定部１０２から、（Ｌ（ｆ０），θ０）、（Ｌ（ｆ１），θ１）、（Ｌ（ｆ２），θ０）、（Ｌ（ｆ３），θ０）、（Ｌ（ｆ４），θ１）、（Ｌ（ｆ５），θ１）、（Ｌ（ｆ６），θ１）、（Ｌ（ｆ７），θ２）、（Ｌ（ｆ８），θ２）、（Ｌ（ｆ９），θ２）を取得すると、入射角θ０の細分化帯域の周波数スペクトルＬ（ｆ０）、Ｌ（ｆ２）、Ｌ（ｆ３）を抽出し、これらを合成し、合成周波数スペクトルＬ（θ０）を生成する。
【００６３】
同様に、Ｌ（ｆ１）、Ｌ（ｆ４）、Ｌ（ｆ５）、Ｌ（ｆ６）を抽出して合成し、入射角θ１からの合成周波数スペクトルＬ（θ１）とする。また、Ｌ（ｆ７）、Ｌ（ｆ８）、Ｌ（ｆ９）を抽出して合成し、入射角θ２からの合成周波数スペクトルＬ（θ２）とする。
【００６４】
スピーカ音判定部１０３は、このようにして算出した各到来方向の合成周波数スペクトルの特性から、各到来方向からのデジタル音響信号がスピーカ音信号であるか否かを判定する。
【００６５】
一般的に、講習会や運動会といったイベントで使用されるスピーカが再生できる音響信号の周波数帯域は、３００Ｈｚ〜６ｋＨｚ程度の範囲であることが多い。従って、各到来方向の音響信号の周波数スペクトルが概ね３００Ｈｚ〜６ｋＨｚ程度の範囲に収まっていれば、スピーカ音の可能性が高いと判断する。
【００６６】
また、人の声の周波数スペクトルは概ね１００Ｈｚ〜４ｋＨｚ程度の範囲にスペクトルが集中している。そして、有声音は、比較的低周波数帯域にピッチ周波数が存在するとともに、その倍音成分から成る調波構造を有している。ここで、ピッチ周波数とは、声帯振動により発せられる人の声の基本周波数であり、通常、１００Ｈｚ〜３００Ｈｚ程度の範囲に存在する。従って、ピッチ周波数をｆｐとすると、人の声の周波数スペクトルは、ｆｐ、２ｆｐ、３ｆｐ、・・・ｎｆｐＨｚ（ｎは正の整数）で極大値を取る特性を示す。
【００６７】
一方、上記したように講習会や運動会といったイベントで使用されるスピーカの再生可能な周波数帯域が３００Ｈｚ〜６ｋＨｚ程度であるから、スピーカ音に人の声が含まれている場合には、その周波数スペクトルはピッチ周波数のスペクトルを含まず、かつ、調波構造を有する周波数特性を示すこととなる。
【００６８】
スピーカ音判定部１０３は、例えば、合成周波数スペクトルに対し自己相関を施し、ピッチ周波数のスペクトルを含むか否か、及び調波構造を備えるか否かを判定することにより、合成周波数スペクトルが人の声のスピーカ音信号によるものを含むか否かを判定する。
【００６９】
具体的には、スピーカ音判定部１０３は、まず、合成周波数スペクトルＬ（θ）に対して自己相関を施し、複数の極大値を検出する。合成周波数スペクトルＬ（θ）に、１００Ｈｚ〜３００Ｈｚ程度の範囲のスペクトルが含まれず、極大値を取る周波数が、例えば、ｆｍ１＝３００Ｈｚ，ｆｍ２＝４５０Ｈｚ、ｆｍ３＝６００Ｈｚ・・・であったとする。
【００７０】
ここで、極大値を取る最初の周波数ｆｍ１がピッチ周波数ｆｐの２倍の周波数、即ち、３００Ｈｚ＝２ｆｐであると仮定すると、ピッチ周波数ｆｐはｆｐ＝１５０Ｈｚとなる。さらに、合成周波数スペクトルＬ（θ）が、ピッチ周波数ｆｐ＝１５０Ｈｚの音声信号の周波数スペクトルを含むのであれば、Ｌ（θ）は２ｆｐ＝３００Ｈｚ、３ｆｐ＝４５０Ｈｚ、４ｆｐ＝６００Ｈｚで極大値を取るはずである。
【００７１】
今、ｆｍ１＝２ｆｐ、ｆｍ２＝３ｆｐ、ｆｍ３＝４ｆｐという関係を満たしていることから、この場合、スピーカ音判定部１０３は、Ｌ（θ）は、ピッチ周波数が１５０Ｈｚである音声信号のスピーカ音信号の周波数スペクトルを含むと判断する。
【００７２】
このようにして、スピーカ音判定部１０３は、すべての合成周波数スペクトルＬ（θ）に対して、それらが音声信号のスピーカ音信号の周波数スペクトルを含むか否かを判定する。
【００７３】
本実施例では、到来方向毎の音響信号の周波数帯域が、講習会や運動会といったイベントで使用されるスピーカ音の再生可能帯域（３００Ｈｚ〜６ｋＨｚ程度の範囲）に含まれており、かつ、音声信号が含まれている場合に、スピーカ音信号であると判定し、それ以外の場合は、たとえ、周波数帯域が３００Ｈｚ〜６ｋＨｚであったとしてもスピーカ音信号とは判断しないこととする。これにより、人の声を含むスピーカ音を精度よく検出して音像方向の制御を行なうことができる。
【００７４】
スピーカ音判定部１０３は、スピーカ音信号を含む細分化帯域の周波数をゲイン調整部１０４へ通知する。
【００７５】
ゲイン調整部１０４は、スピーカ音判定部１０３から通知されたスピーカ音信号を含む細分化帯域の周波数に対応する周波数スペクトルをＬ（ｆ）とＲ（ｆ）で等しいレベルとなるように調整する。
【００７６】
具体的には、例えば、細分化帯域ｆ０Ｈｚがスピーカ音信号を含むと通知された場合、Ｌ（ｆ０）＝ＶＬ、Ｒ（ｆ０）＝ＶＲであって、ＶＬ＞ＶＲであったとすると、ゲイン調整部１０４は、Ｌ（ｆ０）＝ＶＬ、Ｒ（ｆ０）＝ＶＬとなるようにゲインを調整する。すなわち、Ｌ（ｆ０）及びＲ（ｆ０）の周波数スペクトルのレベルを両者のうちのレベルが高い方に一致させるように調整する。
【００７７】
ＩＦＦＴ（Inverse Fast Fourier Transform）部１０５Ｌ及び１０５Ｒは、それぞれゲイン調整後の周波数スペクトルＬ（ｆ）及びＲ（ｆ）に対し逆フーリエ変換を行い、時間領域上の信号に変換し、それぞれＬｏ（ｔ）及びＲｏ（ｔ）として出力する。
【００７８】
以上説明したように、本実施例に係るスピーカ音制御部１００は、複数の音源から到来する音の中に人の声のスピーカ音が含まれているか否かを検出する。人の声のスピーカ音を検出した場合には、当該スピーカ音に対してのみ、その音像が撮像装置１による撮影方向とほぼ一致するように制御する。
【００７９】
＜＜第２実施例＞＞
以下、撮像装置１の音響処理部７が備えるスピーカ音制御部の第２実施例について説明する。尚、以下の第２実施例の説明では、スピーカ音制御部に番号２００を付すこととする。
【００８０】
一般的に、マイクから入力され、増幅器による増幅処理が施された後にスピーカから発せられる人の声は、直接発せられる人の声よりも大きくなる。直接発せられる人の声がスピーカから発せられる人の声よりも大きい場合もあるが、直接発せられる人の声とスピーカから発せられる人の声とでは、同一人物であったとしても、反響が相違する。通常、スピーカから発せられる人の声は、直接発せられる人の声よりも反響が大きくなる。人がマイクを介して声を発する場合、マイクは、当該人が直接発する声に加えてスピーカから発せられる当該人の声をも集音するため、これら２種類の同一人物の声がスピーカから発せられることになるからである。
【００８１】
このようなことから、音量が大きく、かつ、反響が大きい人の声は、人の声のスピーカ音であると考えられる。ここで、反響が大きいとは、一定の周期性があるということである。
【００８２】
また、一般的に、音楽による音響信号は広帯域信号であって、かつ、一定の周期性を有している。上記したように、講習会や運動会といったイベントで通常使用されるスピーカについては、再生できる音響信号の周波数帯域が３００Ｈｚ〜６ｋＨｚ程度の範囲のものが多い。したがって、音楽による音響信号がこのようなスピーカから発せられる場合には、直接の音楽による音響信号よりも周波数帯域の幅が狭くなるものの、増幅処理が施されているため音量が大きく、かつ、一定の周期性を有することとなる。
【００８３】
以上のことから、（Ａ）周波数帯域が３００Ｈｚ〜６ｋＨｚ程度の範囲に含まれること、（Ｂ）音量が大きいこと、及び（Ｃ）一定の周期性を有すること、の要件を全て満たす音響信号は、スピーカ音信号であると判断することができる。換言すると、上記（Ａ）乃至（Ｃ）の要件のうちいずれか一つでも満たさない場合には、スピーカ音信号でないと判断することができる。
【００８４】
図５は、音響処理部７が備えるスピーカ音制御部２００の内部構成の概略を示すブロック図である。スピーカ音判定部２０１は、ＡＤＣ６Ｒから出力されるＲｉ（ｔ）がスピーカ音信号を含んでいるか否かを判断し、スピーカ音信号を含んでいると判断した場合には、後述の切り替え部２０２へ切り替え信号を出力する。
【００８５】
切り替え部２０２は、スピーカ音判定部２０１から切り替え信号が出力されると、ＡＤＣ６Ｌ及び６Ｒそれぞれから出力されるＬｉ（ｔ）及びＲｉ（ｔ）に対してモノラル化処理を施し、Ｌｏ（ｔ）及びＲｏ（ｔ）として出力する。ここで、モノラル化処理とは、Ｌｏ（ｔ）＝Ｒｏ（ｔ）とする処理である。スピーカ音判定部２０１から切り替え信号が出力されない場合は、Ｌｉ（ｔ）及びＲｉ（ｔ）をそれぞれＬｏ（ｔ）及びＲｏ（ｔ）として出力する。尚、スピーカ音判定部２０１は、Ｒｉ（ｔ）についてスピーカ音信号か否かの判定を行なっているが、Ｌｉ（ｔ）について判定を行なうこととしてもよい。
【００８６】
以下、スピーカ音判定部２０１の具体的な処理について説明する。
＜ステップ１：周波数帯域が３００Ｈｚ〜６ｋＨｚ程度の範囲に含まれるか否か＞
まず、スピーカ音判定部２０１は、ＡＤＣ６Ｒから出力される音響信号Ｒｉ（ｔ）の各フレーム（１０２４サンプル）に対し、ＦＦＴを施し周波数スペクトルを算出する。算出した周波数スペクトルが、周波数帯域３００Ｈｚ〜６ｋＨｚ程度の範囲に含まれるか否かを判断する。
＜ステップ２：音量が大きいか否か＞
次に、スピーカ音判定部２０１は、音響信号Ｒｉ（ｔ）の周波数スペクトルが周波数帯域３００Ｈｚ〜６ｋＨｚ程度の範囲に含まれていると判断した場合には、Ｒｉ（ｔ）の音響信号のレベル（パワー値）が所定の閾値以上であるかどうかを判断する。
【００８７】
具体的には、スピーカ音判定部２０１は、下記式（４）によりＲｉ（ｔ）について算出した各フレームの音響信号のパワーの平均値ＰＲｉ(ｎ)が所定の閾値以上かどうかを判定する。ここで、時間領域上で連なるフレームを時刻の早い方から順に、第１、第２、第３・・・第ｎフレームと記載する。ｎはフレーム番号を示す正の整数である。
【００８８】
【数６】
【００８９】
＜ステップ３：一定の周期性を有するか否か＞
次に、スピーカ音判定部２０１は、第ｎフレーム（１０２４サンプル）の音響信号のパワーの平均値ＰＲｉ(ｎ)が所定の閾値以上であると判断されると、第ｎフレームの音響信号が周期性を有するか否かを判定する。
【００９０】
図６は、第ｎフレームの音響信号が周期性を有するか否かを判定する方法を説明するための図である。図６において、第ｎフレームの音響信号Ｒｉ（ｔ）のうち、例えば、ｔ＝１〜ｔ０番目のＲｉ（ｔ）を基準ブロックとして用いた上で、自己相関を計算する（ｔ０は２以上の整数）。即ち、ｔ０番目以降のＲｉ(ｔ)に対して、ｔ０個の連続するＲｉ（ｔ）から成る評価ブロックを定義し、評価ブロックの位置を時間方向に順次ずらしながら基準ブロックと評価ブロックとの間の相関を求めていく。図６では、Ｐがずらし幅、換言すると評価ブロックの位置表わす変数であり、Ｐ＞ｔ０である。具体的には、下記式（５）に従って自己相関値Ｓ（Ｐ）を算出する。自己相関値Ｓ（Ｐ）は、評価ブロックの位置を決める変数Ｐの関数となる。
【００９１】
【数７】
【００９２】
図７に、算出された自己相関値Ｓ（Ｐ）と変数Ｐの関係を示す。図７において、横軸及び縦軸はそれぞれ変数Ｐ及び自己相関値Ｓ（Ｐ）を表す。図７によると、変数Ｐの変化に対して自己相関値Ｓ（Ｐ）が周期的に所定の閾値以上となる極大値を取っている。この場合、スピーカ音判定部２０１は、第ｎフレームの音響信号Ｒｉ(ｔ)が周期性を有しており、スピーカ音信号を含むと判断し、切り替え部２０２へ切り替え信号を出力する。尚、上記ステップ１乃至３の実行順序については、変更してもかまわない。
【００９３】
切り替え部２０２は、スピーカ音判定部２０１から、切り替え信号が出力されると、ステレオ方式からモノラル方式へ切り替える
。即ち、切り替え部２０２は、Ｌｉ（ｔ）又はＲｉ(ｔ)いずれか一方の音響信号をＬｏ（ｔ）及びＲｏ(ｔ)として出力する。これにより、集音した音にスピーカ音が含まれる場合には、モノラル方式で記録されることとなる。
【００９４】
以上説明したように、本実施例に係るスピーカ音制御部２００は、マイク５Ｌ及び５Ｒが集音する音にスピーカ音が含まれているか否かを検出する。スピーカ音を検出した場合には、マイク５Ｌ及び５Ｒによって集音された音全体の音像を撮像装置１による撮影方向とほぼ一致するように制御する。
【００９５】
＜＜変形例１＞＞
上記実施例１のスピーカ音制御部１００と実施例２のスピーカ音制御部２００を組み合わせることも可能である。
【００９６】
例えば、マイク５Ｌ及び５Ｒによって集音された音に人の声のスピーカ音が含まれる場合には、スピーカ音制御部１００によって音像方向の制御を行ない、人の声のスピーカ音が含まれないものの、音楽のスピーカ音が含まれる場合には、スピーカ音制御部２００による音像制御をなすように組み合わせることができる。
【００９７】
＜＜変形例２＞＞
撮像装置１に通常記録モードとスピーカ音制御記録モードの切り替えスイッチを設けることもできる。
【００９８】
ユーザが撮像装置１で撮影する際に通常記録モードに設定すると、撮像装置１は、音を記録する際に、スピーカ音制御部１００又は２００による音像方向の制御を行なわない。一方、スピーカ音制御記録モードに設定すると撮像装置１は、マイク５Ｌ及び５Ｒによって集音された音に対しスピーカ音制御部１００又は２００による音像方向の制御を行う。
【００９９】
かかる撮像装置１によると、ユーザがスピーカ音制御部１００又は２００による音像方向の制御の要否を自由に決定することができる。
【０１００】
＜＜変形例３＞＞
上記実施例１及び２では、撮像装置１によって画像及び音を記録する際にスピーカ音制御部１００或いは２００による音像方向の制御を施す場合について説明したが、例えば、撮像装置１又は再生装置が、外部記録媒体（撮像装置１の場合は外部メモリ１１）に記録されている画像信号及び音響信号を再生する場合に、スピーカ音制御部１００又は２００による音像方向の制御を行なうこととしてもよい。このような撮像装置１又は再生装置によると、撮影の際には、なんら音像方向の制御のための音響信号処理を施していない、いわゆる生の画像信号及び音響信号を取得することができる。従って、撮影者の意図しない音像方向の制御が施されて記録される事態を回避することができる。
【０１０１】
＜＜変形例４＞＞
撮影時に取得した画像信号から人の顔の画像信号を検出する公知の技術（顔画像検出）を利用して、当該画像信号からマイクの画像信号を検出すること（マイク画像検出）が可能である。人の顔の画像信号を検出する公知の技術としては、例えば、特開２００７−２５７３５８号に記載の技術がある。当該技術において顔の画像信号を検出する際に参照する人の顔に関する重みテーブルをマイクに関する重みテーブルに置き換えることにより、画像信号からマイクの画像信号を検出することが可能である。
【０１０２】
図１の撮像装置１において、画像処理部８に画像信号から人の顔の画像信号を検出する顔画像検出部とマイクの画像信号を検出するマイク画像検出部を設けることができる。そして、ＣＰＵ１５は、ＡＦＥ４から出力される画像信号に対し当該顔画像検出部に顔検出処理を行なわせ、人の顔の画像信号が検出された場合には、マイク画像検出部にマイク画像検出処理を行なわせることができる。マイク画像検出部は、人の顔の近辺にマイクがあるかどうかを検出するために、ＡＦＥ４から出力される画像信号のうち、人の顔の画像信号が検出された領域を含み、当該領域よりも大きい所定領域について、マイクの画像信号の検出を行なう。
【０１０３】
上記顔画像検出及びマイク画像検出により、ＡＦＥ４から出力される画像信号中に人の顔及びマイクの画像信号が検出された場合には、撮影領域に人が存在し、さらに当該人がマイクを使用して声を発しているシーンであると判断できる。
【０１０４】
このような場合に、ＣＰＵ１５は、マイク５Ｌ及び５Ｒが集音する音にはスピーカ音が含まれる可能性があると判断し、スピーカ音制御部１００又は２００に音像方向の制御を行なわせることができる。一方、ＣＰＵ１５は、ＡＦＥ４から出力される画像信号中に顔の画像信号が検出されない場合、或いは顔の画像信号は検出されたものの、マイクの画像信号が検出されない場合には、スピーカ音制御部１００又は２００に音像方向の制御を行なわせない。
【０１０５】
また、上記顔画像検出処理及びマイク画像検出処理、並びに顔の画像信号とマイクの画像信号が検出された場合のスピーカ音制御部１００又は２００による音像方向の制御は、外部メモリ１１に記録されている画像信号及び音響信号を再生する場合に実行させることとしてもよい。これにより音像方向の制御が必要なシーンを適切に判断し、スピーカ音制御部１００又は２００による音像方向の制御を施すことが可能となる。
【０１０６】
＜＜変形例５＞＞
上記実施例１及び２では、ステレオ録音ためにＬＲチャンネル用の２つのマイクを備えた撮像装置１、ステレオ再生を行なうためにＬＲチャンネル用の２つのスピーカを備えた撮像装置１又は再生装置について説明したが、マイク及びスピーカの数や音響信号の録音及び再生方式はこれらに限られるものではない。例えば、６つのマイク及びスピーカを用いた５．１チャンネルによる録音及び再生方式であっても本発明を実現することができる。
【符号の説明】
【０１０７】
５Ｌ マイクロフォン
５Ｒ マイクロフォン
６Ｌ ＡＤＣ
６Ｒ ＡＤＣ
１００ スピーカ音制御部
１０１Ｌ ＦＦＴ部
１０１Ｒ ＦＦＴ部
１０２ 方向判定部
１０３ スピーカ音判定部
１０４ ゲイン調整部
１０５Ｌ ＩＦＦＴ部
１０５Ｒ ＩＦＦＴ部
２００ スピーカ音制御部
２０１ スピーカ音判定部
２０２ 切り替え部
【技術分野】
【０００１】
本発明は、音響信号を処理する音響信号処理装置に関し、特に、スピーカから発せられる音響信号の音像方向を制御する音響信号処理装置又は撮像装置に関する。
【背景技術】
【０００２】
講演会や各種イベント等、人が大勢集まる場所では、話し手はマイクロフォンを使用して話すことが多い。マイクロフォンに入力された話し手の声は、マイクロフォンが接続されている増幅器によって増幅され、増幅器に接続されているスピーカから大音量となって出力される。したがって、話し手の声のほとんどは、スピーカから聴こえて来ることになる。
【０００３】
そして、複数のスピーカが増幅器に接続されており、これらスピーカが話し手の位置を中心に非対称に配置されている、或いは、スピーカは１つだけであるがこのスピーカが話し手の位置とは全く別の位置に配置されているような場合、話し手の声は、話し手の存在する位置とは異なる位置から聴こえて来ることになる。
【０００４】
このようなシーンの画像と音を、例えば、２つのステレオマイクを備えたビデオカメラで話し手が撮影領域の真ん中付近に位置するように記録し、記録した画像信号と音響信号を再生して視聴する場合を考える。再生装置が、例えば、Ｌチャネル及びＲチャネル用の２つのスピーカによるステレオ再生を行なう場合、再生装置のモニタの真ん中付近には、話し手が話をしているシーンが写し出されているにもかかわらず、話し手の声はいずれか一方のスピーカからしか聴こえない、或いはいずれか一方に偏って聴こえることになる。このような画像と音の再生は、これを視聴している視聴者に非常に違和感を感じさせるものであり、問題である。
【０００５】
また、運動会などでは、ＢＧＭが１つのスピーカからしか流れてこないことがあり、このようなシーンの画像及び音を記録して視聴する場合も、ＢＧＭがいずれか一方のスピーカからしか聴こえず、或いはいずれか一方に偏って聴こえるため、迫力感に欠けてしまい、問題である。
【０００６】
尚、画像に合わせて音像全体を制御する従来技術として下記特許文献１がある。下記特許文献１では、撮影時に取得した画像信号及び音響信号を再生する際に、再生する画像信号の画角に応じ、同時に再生する音声信号の指向性を制御し再生音場を補正する技術であり、上記問題を解決するものではない。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開2006-287544
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、上記問題に鑑みてなされたものであり、画像信号と音響信号を互いに関連付けて記録する際、又は互いに関連付けて記録された画像信号と音響信号を再生する際、当該音響信号中にスピーカから発せられる音の音響信号を検出した場合には、当該スピーカ音の音像方向を適切に制御して記録する又は再生することができる音響信号処理装置、或いは当該スピーカ音の音像方向を適切に制御して記録する撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る第１の音響信号処理装置は、撮影の際に到来する音を集音することにより該音の音響信号を取得する集音手段と、前記音響信号からスピーカ音信号を検出するスピーカ音検出手段と、前記スピーカ音信号が検出された場合、該スピーカ音信号の音像方向が撮影方向と一致するように、前記音響信号に音響信号処理を施す音像方向制御手段と、前記音響信号処理を施された前記音響信号を記録する音響信号記録手段と、を備えたことを特徴とする。
【００１０】
本発明に係る第２の音響信号処理装置は、撮影の際に到来する音を集音することにより該音の音響信号を取得する集音手段と、前記音響信号からスピーカ音信号を検出するスピーカ音検出手段と、前記スピーカ音信号が検出された場合、前記音響信号の音像方向が撮影方向と一致するように、前記音響信号に音響信号処理を施す音像方向制御手段と、前記音響信号処理を施された前記音響信号を記録する音響信号記録手段と、を備えたことを特徴とする。
【００１１】
本発明に係る撮像装置は、上記第１又は第２の音響信号処理装置を備え、撮影対象を撮影することにより該撮影対象の画像信号を取得する撮像手段と、前記撮像手段により取得された前記画像信号を、前記音響信号処理装置が備える音像方向制御手段により音響信号処理が施された音響信号と関連付けて記録する画像信号記録手段と、をさらに備えたことを特徴とする。
【００１２】
本発明に係る撮像装置は、さらに前記画像信号から人物の顔画像信号を検出する顔検出手段と、前記画像信号からマイクロフォンの画像信号を検出するマイクロフォン検出手段と、を備え、前記音響信号処理装置が備える前記スピーカ音検出手段は、前記顔検出手段により人物の顔画像信号が検出され、且つ、前記マイクロフォン検出手段によりマイクロフォンの画像信号が検出された場合に、前記音響信号処理装置が備える集音手段によって取得された音響信号からスピーカ音信号を検出することを特徴とする。
【００１３】
また、本発明に係る撮像装置は、撮影対象を撮影することにより該撮影対象の画像信号を取得する撮像手段と、前記撮影の際に到来する音を集音することにより該音の第１音響信号を取得する集音手段と、前記第１音響信号を前記撮像手段により取得された画像信号と関連付けて記録する第１記録手段と、前記第１音響信号に基づく第２音響信号を生成するとともに、該第２音響信号を前記撮像手段により取得された画像信号と関連付けて記録する第２記録手段と、前記第１記録手段と前記第２記録手段とを切り替える切換え手段と、を備え、前記第２記録手段は、前記音響信号からスピーカ音信号を検出するスピーカ音検出手段と、前記スピーカ音信号が検出された場合、該スピーカ音信号の音像方向が撮影方向と一致するように、前記スピーカ音信号に音響信号処理を施すことにより前記第２音響信号を生成する音像方向制御手段と、
を備えたことを特徴とする。
【００１４】
さらにまた、本発明に係る撮像装置は、撮影対象を撮影することにより該撮影対象の画像信号を取得する撮像手段と、前記撮影の際に到来する音を集音することにより該音の第１音響信号を取得する集音手段と、前記第１音響信号を前記撮像手段により取得された画像信号と関連付けて記録する第１記録手段と、前記第１音響信号に基づく第２音響信号を生成するとともに、該第２音響信号を前記撮像手段により取得された画像信号と関連付けて記録する第２記録手段と、前記第１記録手段と前記第２記録手段とを切り替える切換え手段と、を備え、
前記第２記録手段は、前記音響信号からスピーカ音信号を検出するスピーカ音検出手段と、前記スピーカ音信号が検出された場合、前記音響信号の音像方向が撮影方向と一致するように、前記音響信号に音響信号処理を施すことにより前記第２音響信号を生成する音像方向制御手段と、を備えたことを特徴とする。
【００１５】
本発明に係る第３の音響信号処理装置は、撮影手段による撮影により取得された画像信号と集音手段により取得された前記撮影の際に到来する音の音響信号とが互いに関連づけて記録されている記録手段から、前記音響信号を取得する取得手段と、前記取得手段によって取得された前記音響信号からスピーカ音信号を検出するスピーカ音検出手段と、前記スピーカ音信号が検出された場合、前記スピーカ音信号の音像方向が前記撮影手段による撮影方向と一致するように、前記音響信号に音響信号処理を施す音像方向制御手段と、前記音響信号処理を施された前記音響信号を再生する再生手段と、を備えたことを特徴とする。
【００１６】
本発明に係る第４の音響信号処理装置は、撮影手段による撮影により取得された画像信号と集音手段により取得された前記撮影の際に到来する音の音響信号とが互いに関連づけて記録されている記録手段から、前記音響信号を取得する取得手段と、前記取得手段によって取得された前記音響信号からスピーカ音信号を検出するスピーカ音検出手段と、前記スピーカ音信号が検出された場合、前記音響信号の音像方向が前記撮影手段による撮影方向と一致するように、前記音響信号に音響信号処理を施す音像方向制御手段と、前記音響信号処理を施された前記音響信号を再生する再生手段と、を備えたことを特徴とする。
【発明の効果】
【００１７】
本発明によると、画像信号と音響信号を互いに関連付けて記録する際、又は互いに関連付けて記録された画像信号と音響信号を再生する際、当該音響信号中にスピーカから発せられる音の音響信号を検出した場合には、当該スピーカ音の音像方向を適切に制御して記録する又は再生する音響信号処理装置、或いは当該スピーカ音の音像方向を適切に制御して記録する又は再生する撮像装置を提供することができる。
【００１８】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも、本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施の形態に係る撮像装置の全体構成図である。
【図２】スピーカ音制御部１００の処理内容の概要を説明する図である。
【図３】スピーカ音制御部１００の内部構成の概略を示すブロック図である。
【図４】方向判定部１０２が音響信号の到来する方向を算出する方法を説明するための図である。
【図５】音響処理部７が備えるスピーカ音制御部２００の内部構成の概略を示すブロック図である。
【図６】第ｎフレームの音響信号が周期性を有するか否かを判定する方法を説明するための図である。
【図７】第ｎフレームの音響信号の自己相関値Ｓ（Ｐ）と変数Ｐの関係を示す図である。
【発明を実施するための最良の形態】
【００２０】
以下、本発明に係る音響信号処理装置を撮像装置に実施した形態につき、図面を参照して説明する。
【００２１】
図１は、本発明の実施形態に係る撮像装置の内部構成の概略を示すブロック図である。図１に示すように、撮像装置１は、入射される光学像を電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子から成るイメージセンサ２と、被写体の光学像をイメージセンサ２に結像させるとともに光量などの調整を行うレンズ部３と、を備える。レンズ部３とイメージセンサ２とで撮像部が構成され、この撮像部によってアナログ信号の画像信号が生成される。なお、レンズ部３は、ズームレンズやフォーカスレンズなどの各種レンズ（不図示）や、イメージセンサ２に入力される光量を調整する絞り（不図示）などを備える。
【００２２】
さらに、撮像装置１は、イメージセンサ２から出力されるアナログ信号である画像信号をデジタル画像信号（以下、デジタル画像信号を単に画像信号と記載する場合もある。）に変換するとともにゲインの調整を行うＡＦＥ（Analog Front End）４と、入力される音を電気信号に変換し集音するマイクロフォン（以下、単にマイクと記載する。）５Ｌ及び５Ｒと、マイク５Ｌ及び５Ｒから出力されるアナログの音響信号をデジタル音響信号（以下、デジタル音響信号を単に音響信号と記載する場合もある。）に変換するＡＤＣ（Analog to Digital Converter）６Ｌ及び６Ｒと、ＡＤＣ６Ｌ及び６Ｒから出力される音響信号に対して各種音響信号処理を施して出力する音響処理部７と、ＡＦＥ４から出力される画像信号に対して各種画像信号処理を施して出力する画像処理部８を備える。
【００２３】
ここで、音響処理部７は、マイク５Ｌ及び５Ｒによって集音された音にスピーカから発せられる音（以下、スピーカから発せられる音をスピーカ音と、スピーカ音の音響信号をスピーカ音信号と記載する。）が含まれているか否かを検出し、スピーカ音を検出した場合には当該スピーカ音の音像方向を制御する、或いはマイク５Ｌ及び５Ｒによって集音された音全体の音像方向を制御するスピーカ音制御部を備える。このスピーカ音制御部の詳細については、後述する。
【００２４】
また、撮像装置１は、画像処理部８から出力される画像信号と音響処理部７から出力される音響信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの圧縮符号化処理を施す圧縮処理部９と、圧縮処理部９で圧縮符号化された圧縮符号化信号を記録する外部メモリ１１と、圧縮符号化信号を外部メモリ１１に記録したり読み出したりするドライバ部１０と、ドライバ部１０によって外部メモリ１１から読み出された圧縮符号化信号を伸長して復号する伸長処理部１２と、を備える。
【００２５】
また、撮像装置１は、伸長処理部１２で復号された画像信号をモニタなどの表示部２１で表示可能な形式の信号に変換する画像信号出力部１３と、伸長処理部１２で復号された音響信号をスピーカ部２２で出力可能な形式の信号に変換する音響信号出力部１４と、を備える。
【００２６】
また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（Central Processing Unit）１５と、各処理を行うための各プログラムを記憶するとともにプログラム実行時の信号の一時保管を行うメモリ１６と、撮影を開始するボタンや各種設定の決定を行うボタンなどの撮影者からの指示が入力される操作部１７と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１８と、ＣＰＵ１５と各部との間で信号のやりとりを行うためのバス１９と、メモリ１６と各部との間で信号のやりとりを行うためのバス２０と、を備える。
【００２７】
なお、外部メモリ１１は画像信号や音響信号を記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１１として使用することができる。また、外部メモリ１１を撮像装置１から着脱自在としても構わない。
【００２８】
次に、撮像装置１の基本動作について図１を参照して説明する。まず、撮像装置１は、レンズ部３より入射される光をイメージセンサ２において光電変換することによって、電気信号であるアナログ画像信号を生成する。イメージセンサ２は、ＴＧ部１８から入力されるタイミング制御信号に同期して、所定のフレーム周期（例えば、１／３０秒）で順次ＡＦＥ４に生成したアナログ画像信号を出力する。そして、ＡＦＥ４によってアナログ信号からデジタル信号へと変換された画像信号は、画像処理部８に入力される。画像処理部８では、画像信号がＹＵＶを用いた信号に変換されるとともに、階調補正や輪郭強調等の各種画像信号処理が施される。また、メモリ１６はフレームメモリとして動作し、画像処理部８が処理を行なう際に画像信号を一時的に保持する。
【００２９】
また、マイク５Ｌ及び５Ｒは、音を集音して電気信号であるアナログ音響信号に変換し、出力する。マイク５Ｌ及び５Ｒから出力されるアナログ音響信号はＡＤＣ６Ｌ及び６Ｒに入力されて、デジタル音響信号へと変換される。さらに、ＡＤＣ６Ｌ及び６Ｒからの音響信号は音響処理部７に入力され、ノイズ除去やスピーカ音制御部によるスピーカ音制御などの各種音響信号処理が施される。
【００３０】
画像処理部８から出力される画像信号と、音響処理部７から出力される音響信号とはともに圧縮処理部９に入力され、圧縮処理部９において所定の圧縮方式で圧縮される。このとき、画像信号と音響信号とは時間的に関連付けられて（対になって）おり、再生時に画像と音とがずれないように構成される。そして、圧縮された画像信号及び音響信号はドライバ部１０を介して外部メモリ１１に記録される。
【００３１】
外部メモリ１１に記録された圧縮後の画像信号及び音響信号は、操作部１７を介して入力される撮影者の再生指示に基づいて伸長処理部１２に読み出される。伸長処理部１２は、再生するために読み出される圧縮された画像信号及び音響信号を伸長し、この再生用の画像信号を画像信号出力部１３、再生用の音響信号を音響信号出力部１４にそれぞれ出力する。そして、画像信号出力部１３が、再生用の画像信号を表示部２１で表示可能な形式の信号に変換するとともに、音響信号出力部１４が、再生用の音響信号をスピーカ部２２で出力可能な形式の信号に変換して、それぞれ出力する。これにより、再生用の画像が表示部２１で表示され、再生用の音がスピーカ部２２から出力される。
【００３２】
また、本実施形態の撮像装置１は、撮影した画像の記録を開始する前や、動画の記録時などに、撮影した画像を表示部２１に表示する。このとき、画像処理部８は、表示用の画像信号を生成するとともに、バス２０を介して画像信号出力部１３に出力する。そして、画像信号出力部１３が、表示用の画像信号を表示部２１で表示可能な形式の信号に変換して、出力する。撮影者は、表示部２１に表示される画像を確認することで、これから記録するまたは現在記録している画像の画角を認識することができる。
【００３３】
なお、表示部２１やスピーカ部２２は、撮像装置１と一体となっているものでも構わないし、別体となっており、撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものでも構わない。また、マイク５Ｌ及び５Ｒが、デジタル音響信号を出力するデジタルマイクを備えるものとして、ＡＤＣ６を備えない構成としても構わない。
【００３４】
＜＜第１実施例＞＞
以下、撮像装置１の音響処理部７が備えるスピーカ音制御部の第１実施例について説明する。尚、以下の第１実施例の説明では、スピーカ音制御部に番号１００を付すこととする。
【００３５】
図２は、スピーカ音制御部１００の処理内容の概要を説明する図である。図２では、撮影者が、撮像装置１を用いてマイクを持った話し手を撮影している。話し手がマイクに向って声を発すると、その声は、話し手とは異なる位置に配置されたスピーカから発せられることとなる。即ち、図２では、話し手の声を発するスピーカが音源Ｐである。他方、スピーカ音以外の音を発する音源Ｑも存在しているものとする。
【００３６】
スピーカ音制御部１００は、マイク５Ｌ及び５Ｒによって集音された複数の音源（図２では、音源Ｐ及び音源Ｑの２つの音源）からの音を音源毎に分離抽出する。そして、分離抽出された各音源からの音がスピーカ音であるか否かを判定する。スピーカ音と判定した場合には、当該音源からの音像が撮像装置１による撮影方向とほぼ一致するように音像方向の制御を行なう。ここで、撮影方向とは、撮像装置１による撮影の際に、撮像装置１のレンズ部３が向いている方向をいう。図２では、撮影方向にはマイクを持った話し手が存在するものの、音源Ｐ（スピーカ）及び音源Ｑは存在しない。
【００３７】
スピーカ音制御部１００は、音源Ｐ及び音源Ｑからの音のうち、音源Ｐからの音がスピーカ音であると判定すると、当該スピーカ音が撮像装置１の撮影方向から到来しているかのように、当該スピーカ音の音響信号に音響信号処理を施す。かかる処理の結果、撮影により取得された画像信号及び音響信号を再生して視聴すると、視聴者は、話し手の声が撮影方向、即ち、話し手の存在する方向から聴こえることになるため、上述した違和感を感じなくなる。
【００３８】
図３は、スピーカ音制御部１００の内部構成の概略を示すブロック図である。図３において、ＡＤＣ６Ｌ及び６Ｒから出力される音響信号は、時間領域上の信号であり、或る基準時刻からの経過時間をｔ（ｔは整数）とすると、当該音響信号はｔの関数として表現できる。以下、ＡＤＣ６Ｌ及び６Ｒから出力される音響信号をそれぞれ原信号Ｌｉ（ｔ）及び原信号Ｒｉ（ｔ）と記載する。
【００３９】
ＦＦＴ（Fast Fourier Transform）部１０１Ｌ及び１０１Ｒぞれぞれは、原信号Ｌｉ（ｔ）及びＲｉ（ｔ）それぞれに対して離散フーリエ変換を施し、周波数スペクトルを生成する。ＦＦＴ部１０１Ｌ及び１０１Ｒそれぞれから出力される周波数スペクトルは、ＡＤＣ６Ｌ及び６Ｒそれぞれから時間領域上の信号として出力される音響信号を周波数領域上の信号に変換したものである。従って、当該周波数スペクトルは、周波数ｆ（ｆは正の整数）の関数として表現できる。以下、ＦＦＴ部１０１Ｌ及び１０１Ｒから出力される周波数スペクトルを、それぞれ周波数スペクトルＬ（ｆ）及びＲ（ｆ）と記載する。
【００４０】
本実施形態にかかる撮像装置１では、ＡＤＣ６Ｌ及び６Ｒそれぞれがアナログ音響信号を、例えば、サンプリング周波数４８ｋＨｚ（キロヘルツ）でデジタル音響信号に変換する。そして、撮像装置１は、生成された音響信号１０２４サンプル、即ち、約２１．３ｍｓｅｃ（１０２４×１／４８ｋＨｚ）を１つのフレームとし、このフレーム単位で該音響信号に音響信号処理を施す。
【００４１】
ＦＦＴ部１０１Ｌ及び１０１Ｒは、音響信号に対し１フレーム単位で離散フーリエ変換を施す。この際、音響信号の周波数帯域をΔｆの標本間隔でＭ（Ｍは２以上の整数）個に細分化するとともに、細分化された周波数帯域毎に周波数スペクトルを算出する。以下、細分化された周波数帯域を細分化帯域と記載する。例えば、音響信号の全周波数帯域がΔＦであるとすると、細分化帯域の個数Ｍは、Ｍ＝ΔＦ／Δｆとなる。ここで、理想的には、標本間隔Δｆを狭くすることにより、細分化帯域のそれぞれが１つの音源からの音響信号の成分しか含まないようにすることができる。即ち、各細分化帯域に含まれる音響信号は、複数ある音源のうちのいずれか一つの音源から発せられた音の音響信号の成分であると考えることができる。
【００４２】
複数の細分化帯域をそれぞれ、ｆ０，ｆ１，ｆ２，・・・，ｆｍ-1（ｍは１以上の整数）とすると、周波数スペクトルＬ（ｆ）及びＲ（ｆ）は、細分化帯域ｆ０，ｆ１，ｆ２，・・・，ｆｍ-1（ｍは１以上の整数）の周波数スペクトルから構成されることになる。以下、周波数スペクトルＬ（ｆ）及びＲ（ｆ）を構成する細分化帯域の周波数スペクトルを、それぞれＬ（ｆ０），Ｌ（ｆ１），Ｌ（ｆ２），・・・Ｌ（ｆｍ-1）、及びＲ（ｆ０），Ｒ（ｆ１），Ｒ（ｆ２），・・・Ｒ（ｆｍ-1）と記載する。
【００４３】
方向判定部１０２は、ＦＦＴ部１０１Ｌ及び１０１Ｒそれぞれから出力される各細分化帯域の周波数スペクトルから、各細分化帯域に含まれる音響信号がマイク５Ｌ及び５Ｒへ到達した時の位相差を算出し、この位相差に基づいて各細分化帯域に含まれる音響信号の到来方向を判定する。
【００４４】
図４は、方向判定部１０２が音響信号の到来する方向を算出する方法を説明するための図である。今、互いに直行するＸ軸及びＹ軸を座標軸とする２次元の座標面を想定する。Ｘ軸とＹ軸は原点Ｏで直交する。原点Ｏを基準としてＸ軸正方向を右側、負方向を左側、Ｙ軸正方向を前方、負方向を後方とする。マイク５Ｌ及び５ＲがそれぞれＸ軸上の互いに異なる位置であって、Ｙ軸を基準に対称となるように配置され、２つのマイクの間隔がＤであるとする。間隔Ｄは、例えば数ｍｍ程度である。
【００４５】
今、例えば、ｆ０Ｈｚの細分化帯域に含まれる音響信号が音源Ｐから発せられたものであり、当該音響信号が原点Ｏへ到来する時の入射角を原点を中心に反時計周りを正としてθ（rad）（ラジアン）であるとする。このときマイク５Ｌ及び５Ｒへの入射角もθ（rad）と近似することができる。当該音響信号がマイク５Ｌ及び５Ｒに到達する際の位相差をΔφ（rad）とすると、Δφは、ＦＦＴ部１０１Ｌ及び１０１Ｒそれぞれから出力される周波数スペクトルＬ（ｆ０）及びＲ（ｆ０）から算出することができる。
【００４６】
具体的には、離散フーリエ変換によって算出された周波数スペクトルＬ（ｆ０）の実部をＬ＿ｒ（ｆ０）、虚部をＬ＿ｉ（ｆ０）とするとＬ（ｆ０）の位相φｌは
【００４７】
【数１】
【００４８】
と算出することができる。
【００４９】
同様に、周波数スペクトルＲ（ｆ０）の実部をＲ＿ｒ（ｆ０）、虚部をＲ＿ｉ（ｆ０）とするとＲ（ｆ０）の位相φｒは、
【００５０】
【数２】
【００５１】
と算出することができる。
【００５２】
ここで、位相差Δφは、Δφ＝φr-φlと算出できるため、下記式（１）により算出することができる。
【００５３】
【数３】
【００５４】
また、音速をＣ（ｍｍ／ｓｅｃ）、マイク５Ｌと５Ｒとの間隔をＤ（ｍｍ）とすると、Δφは下記式（２）からも算出することができる。
【００５５】
【数４】
【００５６】
よって、上記式（１）と（２）より入射角θは、下記式（３）から算出することができる。
【００５７】
【数５】
【００５８】
以上より、細分化帯域ｆ０Ｈｚに含まれる音響信号が到来する方向である、入射角θを算出することができる。このようにして方向判定部１０２は、全ての細分化帯域に含まれる音響信号の入射角を算出する。以下、細分化帯域に含まれる音響信号の入射角を単に細分化帯域の入射角と記載する。
【００５９】
本実施例では、方向判定部１０２は、周波数スペクトルＬ（ｆ）の細分化帯域の周波数スペクトルと当該細分化帯域の入射角とを一組として全ての組をスピーカ音判定部１０３へ出力する。尚、周波数スペクトルＲ（ｆ）の細分化帯域の周波数スペクトルと当該細分化帯域の入射角とを一組として出力してもかまわない。
【００６０】
例えば、細分化帯域ｆ０、ｆ１、ｆ２、ｆ３、ｆ４、ｆ５、ｆ６、ｆ７、ｆ８、及びｆ９の入射角がそれぞれθ０、θ１、θ０、θ０、θ１、θ１、θ１、θ２、θ２、及びθ２（rad）であるとすると、方向判定部１０２は、（Ｌ（ｆ０），θ０）、（Ｌ（ｆ１），θ１）、（Ｌ（ｆ２），θ０）、（Ｌ（ｆ３），θ０）、（Ｌ（ｆ４），θ１）、（Ｌ（ｆ５），θ１）、（Ｌ（ｆ６），θ１）、（Ｌ（ｆ７），θ２）、（Ｌ（ｆ８），θ２）、（Ｌ（ｆ９），θ２）をスピーカ音判定部１０３へ出力する。
【００６１】
スピーカ音判定部１０３は、方向判定部１０２から出力される細分化帯域の周波数スペクトルと当該細分化帯域の入射角の組から、入射角毎に細分化帯域の周波数スペクトルを抽出するとともにこれらを合成し、合成周波数スペクトルを生成する。即ち、音響信号の到来方向毎の合成周波数スペクトルを生成する。以下、入射角θから到来する細分化帯域の周波数スペクトルを合成して生成した合成周波数スペクトルをＬ（θ）と記載する。
【００６２】
例えば、スピーカ音判定部１０３は、方向判定部１０２から、（Ｌ（ｆ０），θ０）、（Ｌ（ｆ１），θ１）、（Ｌ（ｆ２），θ０）、（Ｌ（ｆ３），θ０）、（Ｌ（ｆ４），θ１）、（Ｌ（ｆ５），θ１）、（Ｌ（ｆ６），θ１）、（Ｌ（ｆ７），θ２）、（Ｌ（ｆ８），θ２）、（Ｌ（ｆ９），θ２）を取得すると、入射角θ０の細分化帯域の周波数スペクトルＬ（ｆ０）、Ｌ（ｆ２）、Ｌ（ｆ３）を抽出し、これらを合成し、合成周波数スペクトルＬ（θ０）を生成する。
【００６３】
同様に、Ｌ（ｆ１）、Ｌ（ｆ４）、Ｌ（ｆ５）、Ｌ（ｆ６）を抽出して合成し、入射角θ１からの合成周波数スペクトルＬ（θ１）とする。また、Ｌ（ｆ７）、Ｌ（ｆ８）、Ｌ（ｆ９）を抽出して合成し、入射角θ２からの合成周波数スペクトルＬ（θ２）とする。
【００６４】
スピーカ音判定部１０３は、このようにして算出した各到来方向の合成周波数スペクトルの特性から、各到来方向からのデジタル音響信号がスピーカ音信号であるか否かを判定する。
【００６５】
一般的に、講習会や運動会といったイベントで使用されるスピーカが再生できる音響信号の周波数帯域は、３００Ｈｚ〜６ｋＨｚ程度の範囲であることが多い。従って、各到来方向の音響信号の周波数スペクトルが概ね３００Ｈｚ〜６ｋＨｚ程度の範囲に収まっていれば、スピーカ音の可能性が高いと判断する。
【００６６】
また、人の声の周波数スペクトルは概ね１００Ｈｚ〜４ｋＨｚ程度の範囲にスペクトルが集中している。そして、有声音は、比較的低周波数帯域にピッチ周波数が存在するとともに、その倍音成分から成る調波構造を有している。ここで、ピッチ周波数とは、声帯振動により発せられる人の声の基本周波数であり、通常、１００Ｈｚ〜３００Ｈｚ程度の範囲に存在する。従って、ピッチ周波数をｆｐとすると、人の声の周波数スペクトルは、ｆｐ、２ｆｐ、３ｆｐ、・・・ｎｆｐＨｚ（ｎは正の整数）で極大値を取る特性を示す。
【００６７】
一方、上記したように講習会や運動会といったイベントで使用されるスピーカの再生可能な周波数帯域が３００Ｈｚ〜６ｋＨｚ程度であるから、スピーカ音に人の声が含まれている場合には、その周波数スペクトルはピッチ周波数のスペクトルを含まず、かつ、調波構造を有する周波数特性を示すこととなる。
【００６８】
スピーカ音判定部１０３は、例えば、合成周波数スペクトルに対し自己相関を施し、ピッチ周波数のスペクトルを含むか否か、及び調波構造を備えるか否かを判定することにより、合成周波数スペクトルが人の声のスピーカ音信号によるものを含むか否かを判定する。
【００６９】
具体的には、スピーカ音判定部１０３は、まず、合成周波数スペクトルＬ（θ）に対して自己相関を施し、複数の極大値を検出する。合成周波数スペクトルＬ（θ）に、１００Ｈｚ〜３００Ｈｚ程度の範囲のスペクトルが含まれず、極大値を取る周波数が、例えば、ｆｍ１＝３００Ｈｚ，ｆｍ２＝４５０Ｈｚ、ｆｍ３＝６００Ｈｚ・・・であったとする。
【００７０】
ここで、極大値を取る最初の周波数ｆｍ１がピッチ周波数ｆｐの２倍の周波数、即ち、３００Ｈｚ＝２ｆｐであると仮定すると、ピッチ周波数ｆｐはｆｐ＝１５０Ｈｚとなる。さらに、合成周波数スペクトルＬ（θ）が、ピッチ周波数ｆｐ＝１５０Ｈｚの音声信号の周波数スペクトルを含むのであれば、Ｌ（θ）は２ｆｐ＝３００Ｈｚ、３ｆｐ＝４５０Ｈｚ、４ｆｐ＝６００Ｈｚで極大値を取るはずである。
【００７１】
今、ｆｍ１＝２ｆｐ、ｆｍ２＝３ｆｐ、ｆｍ３＝４ｆｐという関係を満たしていることから、この場合、スピーカ音判定部１０３は、Ｌ（θ）は、ピッチ周波数が１５０Ｈｚである音声信号のスピーカ音信号の周波数スペクトルを含むと判断する。
【００７２】
このようにして、スピーカ音判定部１０３は、すべての合成周波数スペクトルＬ（θ）に対して、それらが音声信号のスピーカ音信号の周波数スペクトルを含むか否かを判定する。
【００７３】
本実施例では、到来方向毎の音響信号の周波数帯域が、講習会や運動会といったイベントで使用されるスピーカ音の再生可能帯域（３００Ｈｚ〜６ｋＨｚ程度の範囲）に含まれており、かつ、音声信号が含まれている場合に、スピーカ音信号であると判定し、それ以外の場合は、たとえ、周波数帯域が３００Ｈｚ〜６ｋＨｚであったとしてもスピーカ音信号とは判断しないこととする。これにより、人の声を含むスピーカ音を精度よく検出して音像方向の制御を行なうことができる。
【００７４】
スピーカ音判定部１０３は、スピーカ音信号を含む細分化帯域の周波数をゲイン調整部１０４へ通知する。
【００７５】
ゲイン調整部１０４は、スピーカ音判定部１０３から通知されたスピーカ音信号を含む細分化帯域の周波数に対応する周波数スペクトルをＬ（ｆ）とＲ（ｆ）で等しいレベルとなるように調整する。
【００７６】
具体的には、例えば、細分化帯域ｆ０Ｈｚがスピーカ音信号を含むと通知された場合、Ｌ（ｆ０）＝ＶＬ、Ｒ（ｆ０）＝ＶＲであって、ＶＬ＞ＶＲであったとすると、ゲイン調整部１０４は、Ｌ（ｆ０）＝ＶＬ、Ｒ（ｆ０）＝ＶＬとなるようにゲインを調整する。すなわち、Ｌ（ｆ０）及びＲ（ｆ０）の周波数スペクトルのレベルを両者のうちのレベルが高い方に一致させるように調整する。
【００７７】
ＩＦＦＴ（Inverse Fast Fourier Transform）部１０５Ｌ及び１０５Ｒは、それぞれゲイン調整後の周波数スペクトルＬ（ｆ）及びＲ（ｆ）に対し逆フーリエ変換を行い、時間領域上の信号に変換し、それぞれＬｏ（ｔ）及びＲｏ（ｔ）として出力する。
【００７８】
以上説明したように、本実施例に係るスピーカ音制御部１００は、複数の音源から到来する音の中に人の声のスピーカ音が含まれているか否かを検出する。人の声のスピーカ音を検出した場合には、当該スピーカ音に対してのみ、その音像が撮像装置１による撮影方向とほぼ一致するように制御する。
【００７９】
＜＜第２実施例＞＞
以下、撮像装置１の音響処理部７が備えるスピーカ音制御部の第２実施例について説明する。尚、以下の第２実施例の説明では、スピーカ音制御部に番号２００を付すこととする。
【００８０】
一般的に、マイクから入力され、増幅器による増幅処理が施された後にスピーカから発せられる人の声は、直接発せられる人の声よりも大きくなる。直接発せられる人の声がスピーカから発せられる人の声よりも大きい場合もあるが、直接発せられる人の声とスピーカから発せられる人の声とでは、同一人物であったとしても、反響が相違する。通常、スピーカから発せられる人の声は、直接発せられる人の声よりも反響が大きくなる。人がマイクを介して声を発する場合、マイクは、当該人が直接発する声に加えてスピーカから発せられる当該人の声をも集音するため、これら２種類の同一人物の声がスピーカから発せられることになるからである。
【００８１】
このようなことから、音量が大きく、かつ、反響が大きい人の声は、人の声のスピーカ音であると考えられる。ここで、反響が大きいとは、一定の周期性があるということである。
【００８２】
また、一般的に、音楽による音響信号は広帯域信号であって、かつ、一定の周期性を有している。上記したように、講習会や運動会といったイベントで通常使用されるスピーカについては、再生できる音響信号の周波数帯域が３００Ｈｚ〜６ｋＨｚ程度の範囲のものが多い。したがって、音楽による音響信号がこのようなスピーカから発せられる場合には、直接の音楽による音響信号よりも周波数帯域の幅が狭くなるものの、増幅処理が施されているため音量が大きく、かつ、一定の周期性を有することとなる。
【００８３】
以上のことから、（Ａ）周波数帯域が３００Ｈｚ〜６ｋＨｚ程度の範囲に含まれること、（Ｂ）音量が大きいこと、及び（Ｃ）一定の周期性を有すること、の要件を全て満たす音響信号は、スピーカ音信号であると判断することができる。換言すると、上記（Ａ）乃至（Ｃ）の要件のうちいずれか一つでも満たさない場合には、スピーカ音信号でないと判断することができる。
【００８４】
図５は、音響処理部７が備えるスピーカ音制御部２００の内部構成の概略を示すブロック図である。スピーカ音判定部２０１は、ＡＤＣ６Ｒから出力されるＲｉ（ｔ）がスピーカ音信号を含んでいるか否かを判断し、スピーカ音信号を含んでいると判断した場合には、後述の切り替え部２０２へ切り替え信号を出力する。
【００８５】
切り替え部２０２は、スピーカ音判定部２０１から切り替え信号が出力されると、ＡＤＣ６Ｌ及び６Ｒそれぞれから出力されるＬｉ（ｔ）及びＲｉ（ｔ）に対してモノラル化処理を施し、Ｌｏ（ｔ）及びＲｏ（ｔ）として出力する。ここで、モノラル化処理とは、Ｌｏ（ｔ）＝Ｒｏ（ｔ）とする処理である。スピーカ音判定部２０１から切り替え信号が出力されない場合は、Ｌｉ（ｔ）及びＲｉ（ｔ）をそれぞれＬｏ（ｔ）及びＲｏ（ｔ）として出力する。尚、スピーカ音判定部２０１は、Ｒｉ（ｔ）についてスピーカ音信号か否かの判定を行なっているが、Ｌｉ（ｔ）について判定を行なうこととしてもよい。
【００８６】
以下、スピーカ音判定部２０１の具体的な処理について説明する。
＜ステップ１：周波数帯域が３００Ｈｚ〜６ｋＨｚ程度の範囲に含まれるか否か＞
まず、スピーカ音判定部２０１は、ＡＤＣ６Ｒから出力される音響信号Ｒｉ（ｔ）の各フレーム（１０２４サンプル）に対し、ＦＦＴを施し周波数スペクトルを算出する。算出した周波数スペクトルが、周波数帯域３００Ｈｚ〜６ｋＨｚ程度の範囲に含まれるか否かを判断する。
＜ステップ２：音量が大きいか否か＞
次に、スピーカ音判定部２０１は、音響信号Ｒｉ（ｔ）の周波数スペクトルが周波数帯域３００Ｈｚ〜６ｋＨｚ程度の範囲に含まれていると判断した場合には、Ｒｉ（ｔ）の音響信号のレベル（パワー値）が所定の閾値以上であるかどうかを判断する。
【００８７】
具体的には、スピーカ音判定部２０１は、下記式（４）によりＲｉ（ｔ）について算出した各フレームの音響信号のパワーの平均値ＰＲｉ(ｎ)が所定の閾値以上かどうかを判定する。ここで、時間領域上で連なるフレームを時刻の早い方から順に、第１、第２、第３・・・第ｎフレームと記載する。ｎはフレーム番号を示す正の整数である。
【００８８】
【数６】
【００８９】
＜ステップ３：一定の周期性を有するか否か＞
次に、スピーカ音判定部２０１は、第ｎフレーム（１０２４サンプル）の音響信号のパワーの平均値ＰＲｉ(ｎ)が所定の閾値以上であると判断されると、第ｎフレームの音響信号が周期性を有するか否かを判定する。
【００９０】
図６は、第ｎフレームの音響信号が周期性を有するか否かを判定する方法を説明するための図である。図６において、第ｎフレームの音響信号Ｒｉ（ｔ）のうち、例えば、ｔ＝１〜ｔ０番目のＲｉ（ｔ）を基準ブロックとして用いた上で、自己相関を計算する（ｔ０は２以上の整数）。即ち、ｔ０番目以降のＲｉ(ｔ)に対して、ｔ０個の連続するＲｉ（ｔ）から成る評価ブロックを定義し、評価ブロックの位置を時間方向に順次ずらしながら基準ブロックと評価ブロックとの間の相関を求めていく。図６では、Ｐがずらし幅、換言すると評価ブロックの位置表わす変数であり、Ｐ＞ｔ０である。具体的には、下記式（５）に従って自己相関値Ｓ（Ｐ）を算出する。自己相関値Ｓ（Ｐ）は、評価ブロックの位置を決める変数Ｐの関数となる。
【００９１】
【数７】
【００９２】
図７に、算出された自己相関値Ｓ（Ｐ）と変数Ｐの関係を示す。図７において、横軸及び縦軸はそれぞれ変数Ｐ及び自己相関値Ｓ（Ｐ）を表す。図７によると、変数Ｐの変化に対して自己相関値Ｓ（Ｐ）が周期的に所定の閾値以上となる極大値を取っている。この場合、スピーカ音判定部２０１は、第ｎフレームの音響信号Ｒｉ(ｔ)が周期性を有しており、スピーカ音信号を含むと判断し、切り替え部２０２へ切り替え信号を出力する。尚、上記ステップ１乃至３の実行順序については、変更してもかまわない。
【００９３】
切り替え部２０２は、スピーカ音判定部２０１から、切り替え信号が出力されると、ステレオ方式からモノラル方式へ切り替える
。即ち、切り替え部２０２は、Ｌｉ（ｔ）又はＲｉ(ｔ)いずれか一方の音響信号をＬｏ（ｔ）及びＲｏ(ｔ)として出力する。これにより、集音した音にスピーカ音が含まれる場合には、モノラル方式で記録されることとなる。
【００９４】
以上説明したように、本実施例に係るスピーカ音制御部２００は、マイク５Ｌ及び５Ｒが集音する音にスピーカ音が含まれているか否かを検出する。スピーカ音を検出した場合には、マイク５Ｌ及び５Ｒによって集音された音全体の音像を撮像装置１による撮影方向とほぼ一致するように制御する。
【００９５】
＜＜変形例１＞＞
上記実施例１のスピーカ音制御部１００と実施例２のスピーカ音制御部２００を組み合わせることも可能である。
【００９６】
例えば、マイク５Ｌ及び５Ｒによって集音された音に人の声のスピーカ音が含まれる場合には、スピーカ音制御部１００によって音像方向の制御を行ない、人の声のスピーカ音が含まれないものの、音楽のスピーカ音が含まれる場合には、スピーカ音制御部２００による音像制御をなすように組み合わせることができる。
【００９７】
＜＜変形例２＞＞
撮像装置１に通常記録モードとスピーカ音制御記録モードの切り替えスイッチを設けることもできる。
【００９８】
ユーザが撮像装置１で撮影する際に通常記録モードに設定すると、撮像装置１は、音を記録する際に、スピーカ音制御部１００又は２００による音像方向の制御を行なわない。一方、スピーカ音制御記録モードに設定すると撮像装置１は、マイク５Ｌ及び５Ｒによって集音された音に対しスピーカ音制御部１００又は２００による音像方向の制御を行う。
【００９９】
かかる撮像装置１によると、ユーザがスピーカ音制御部１００又は２００による音像方向の制御の要否を自由に決定することができる。
【０１００】
＜＜変形例３＞＞
上記実施例１及び２では、撮像装置１によって画像及び音を記録する際にスピーカ音制御部１００或いは２００による音像方向の制御を施す場合について説明したが、例えば、撮像装置１又は再生装置が、外部記録媒体（撮像装置１の場合は外部メモリ１１）に記録されている画像信号及び音響信号を再生する場合に、スピーカ音制御部１００又は２００による音像方向の制御を行なうこととしてもよい。このような撮像装置１又は再生装置によると、撮影の際には、なんら音像方向の制御のための音響信号処理を施していない、いわゆる生の画像信号及び音響信号を取得することができる。従って、撮影者の意図しない音像方向の制御が施されて記録される事態を回避することができる。
【０１０１】
＜＜変形例４＞＞
撮影時に取得した画像信号から人の顔の画像信号を検出する公知の技術（顔画像検出）を利用して、当該画像信号からマイクの画像信号を検出すること（マイク画像検出）が可能である。人の顔の画像信号を検出する公知の技術としては、例えば、特開２００７−２５７３５８号に記載の技術がある。当該技術において顔の画像信号を検出する際に参照する人の顔に関する重みテーブルをマイクに関する重みテーブルに置き換えることにより、画像信号からマイクの画像信号を検出することが可能である。
【０１０２】
図１の撮像装置１において、画像処理部８に画像信号から人の顔の画像信号を検出する顔画像検出部とマイクの画像信号を検出するマイク画像検出部を設けることができる。そして、ＣＰＵ１５は、ＡＦＥ４から出力される画像信号に対し当該顔画像検出部に顔検出処理を行なわせ、人の顔の画像信号が検出された場合には、マイク画像検出部にマイク画像検出処理を行なわせることができる。マイク画像検出部は、人の顔の近辺にマイクがあるかどうかを検出するために、ＡＦＥ４から出力される画像信号のうち、人の顔の画像信号が検出された領域を含み、当該領域よりも大きい所定領域について、マイクの画像信号の検出を行なう。
【０１０３】
上記顔画像検出及びマイク画像検出により、ＡＦＥ４から出力される画像信号中に人の顔及びマイクの画像信号が検出された場合には、撮影領域に人が存在し、さらに当該人がマイクを使用して声を発しているシーンであると判断できる。
【０１０４】
このような場合に、ＣＰＵ１５は、マイク５Ｌ及び５Ｒが集音する音にはスピーカ音が含まれる可能性があると判断し、スピーカ音制御部１００又は２００に音像方向の制御を行なわせることができる。一方、ＣＰＵ１５は、ＡＦＥ４から出力される画像信号中に顔の画像信号が検出されない場合、或いは顔の画像信号は検出されたものの、マイクの画像信号が検出されない場合には、スピーカ音制御部１００又は２００に音像方向の制御を行なわせない。
【０１０５】
また、上記顔画像検出処理及びマイク画像検出処理、並びに顔の画像信号とマイクの画像信号が検出された場合のスピーカ音制御部１００又は２００による音像方向の制御は、外部メモリ１１に記録されている画像信号及び音響信号を再生する場合に実行させることとしてもよい。これにより音像方向の制御が必要なシーンを適切に判断し、スピーカ音制御部１００又は２００による音像方向の制御を施すことが可能となる。
【０１０６】
＜＜変形例５＞＞
上記実施例１及び２では、ステレオ録音ためにＬＲチャンネル用の２つのマイクを備えた撮像装置１、ステレオ再生を行なうためにＬＲチャンネル用の２つのスピーカを備えた撮像装置１又は再生装置について説明したが、マイク及びスピーカの数や音響信号の録音及び再生方式はこれらに限られるものではない。例えば、６つのマイク及びスピーカを用いた５．１チャンネルによる録音及び再生方式であっても本発明を実現することができる。
【符号の説明】
【０１０７】
５Ｌ マイクロフォン
５Ｒ マイクロフォン
６Ｌ ＡＤＣ
６Ｒ ＡＤＣ
１００ スピーカ音制御部
１０１Ｌ ＦＦＴ部
１０１Ｒ ＦＦＴ部
１０２ 方向判定部
１０３ スピーカ音判定部
１０４ ゲイン調整部
１０５Ｌ ＩＦＦＴ部
１０５Ｒ ＩＦＦＴ部
２００ スピーカ音制御部
２０１ スピーカ音判定部
２０２ 切り替え部
【特許請求の範囲】
【請求項１】
撮影の際に到来する音を集音することにより該音の音響信号を取得する集音手段と、
前記音響信号からスピーカ音信号を検出するスピーカ音検出手段と、
前記スピーカ音信号が検出された場合、該スピーカ音信号の音像方向が撮影方向と一致するように、前記音響信号に音響信号処理を施す音像方向制御手段と、
前記音響信号処理を施された前記音響信号を記録する音響信号記録手段と、
を備えたことを特徴とする音響信号処理装置。
【請求項２】
撮影の際に到来する音を集音することにより該音の音響信号を取得する集音手段と、
前記音響信号からスピーカ音信号を検出するスピーカ音検出手段と、
前記スピーカ音信号が検出された場合、前記音響信号の音像方向が撮影方向と一致するように、前記音響信号に音響信号処理を施す音像方向制御手段と、
前記音響信号処理を施された前記音響信号を記録する音響信号記録手段と、
を備えたことを特徴とする音響信号処理装置。
【請求項３】
請求項１又は２に記載の音響信号処理装置を備え、
撮影対象を撮影することにより該撮影対象の画像信号を取得する撮像手段と、
前記撮像手段により取得された前記画像信号を、前記音響信号処理装置が備える音像方向制御手段により音響信号処理が施された音響信号と関連付けて記録する画像信号記録手段と、
をさらに備えたことを特徴とする撮像装置。
【請求項４】
前記画像信号から人物の顔画像信号を検出する顔検出手段と、
前記画像信号からマイクロフォンの画像信号を検出するマイクロフォン検出手段と、を備え、
前記音響信号処理装置が備える前記スピーカ音検出手段は、前記顔検出手段により人物の顔画像信号が検出され、且つ、前記マイクロフォン検出手段によりマイクロフォンの画像信号が検出された場合に、前記音響信号処理装置が備える集音手段によって取得された音響信号からスピーカ音信号を検出することを特徴とする請求項３に記載の撮像装置。
【請求項５】
撮影対象を撮影することにより該撮影対象の画像信号を取得する撮像手段と、
前記撮影の際に到来する音を集音することにより該音の第１音響信号を取得する集音手段と、
前記第１音響信号を前記撮像手段により取得された画像信号と関連付けて記録する第１記録手段と、
前記第１音響信号に基づく第２音響信号を生成するとともに、該第２音響信号を前記撮像手段により取得された画像信号と関連付けて記録する第２記録手段と、
前記第１記録手段と前記第２記録手段とを切り替える切換え手段と、
を備え、
前記第２記録手段は、
前記音響信号からスピーカ音信号を検出するスピーカ音検出手段と、
前記スピーカ音信号が検出された場合、該スピーカ音信号の音像方向が撮影方向と一致するように、前記スピーカ音信号に音響信号処理を施すことにより前記第２音響信号を生成する音像方向制御手段と、
を備えたことを特徴とする撮像装置。
【請求項６】
撮影対象を撮影することにより該撮影対象の画像信号を取得する撮像手段と、
前記撮影の際に到来する音を集音することにより該音の第１音響信号を取得する集音手段と、
前記第１音響信号を前記撮像手段により取得された画像信号と関連付けて記録する第１記録手段と、
前記第１音響信号に基づく第２音響信号を生成するとともに、該第２音響信号を前記撮像手段により取得された画像信号と関連付けて記録する第２記録手段と、
前記第１記録手段と前記第２記録手段とを切り替える切換え手段と、
を備え、
前記第２記録手段は、
前記音響信号からスピーカ音信号を検出するスピーカ音検出手段と、
前記スピーカ音信号が検出された場合、前記音響信号の音像方向が撮影方向と一致するように、前記音響信号に音響信号処理を施すことにより前記第２音響信号を生成する音像方向制御手段と、
を備えたことを特徴とする撮像装置。
【請求項７】
撮影手段による撮影により取得された画像信号と集音手段により取得された前記撮影の際に到来する音の音響信号とが互いに関連づけて記録されている記録手段から、前記音響信号を取得する取得手段と、
前記取得手段によって取得された前記音響信号からスピーカ音信号を検出するスピーカ音検出手段と、
前記スピーカ音信号が検出された場合、前記スピーカ音信号の音像方向が前記撮影手段による撮影方向と一致するように、前記音響信号に音響信号処理を施す音像方向制御手段と、
前記音響信号処理を施された前記音響信号を再生する再生手段と、
を備えたことを特徴とする音響信号処理装置。
【請求項８】
撮影手段による撮影により取得された画像信号と集音手段により取得された前記撮影の際に到来する音の音響信号とが互いに関連づけて記録されている記録手段から、前記音響信号を取得する取得手段と、
前記取得手段によって取得された前記音響信号からスピーカ音信号を検出するスピーカ音検出手段と、
前記スピーカ音信号が検出された場合、前記音響信号の音像方向が前記撮影手段による撮影方向と一致するように、前記音響信号に音響信号処理を施す音像方向制御手段と、
前記音響信号処理を施された前記音響信号を再生する再生手段と、
を備えたことを特徴とする音響信号処理装置。
【請求項１】
撮影の際に到来する音を集音することにより該音の音響信号を取得する集音手段と、
前記音響信号からスピーカ音信号を検出するスピーカ音検出手段と、
前記スピーカ音信号が検出された場合、該スピーカ音信号の音像方向が撮影方向と一致するように、前記音響信号に音響信号処理を施す音像方向制御手段と、
前記音響信号処理を施された前記音響信号を記録する音響信号記録手段と、
を備えたことを特徴とする音響信号処理装置。
【請求項２】
撮影の際に到来する音を集音することにより該音の音響信号を取得する集音手段と、
前記音響信号からスピーカ音信号を検出するスピーカ音検出手段と、
前記スピーカ音信号が検出された場合、前記音響信号の音像方向が撮影方向と一致するように、前記音響信号に音響信号処理を施す音像方向制御手段と、
前記音響信号処理を施された前記音響信号を記録する音響信号記録手段と、
を備えたことを特徴とする音響信号処理装置。
【請求項３】
請求項１又は２に記載の音響信号処理装置を備え、
撮影対象を撮影することにより該撮影対象の画像信号を取得する撮像手段と、
前記撮像手段により取得された前記画像信号を、前記音響信号処理装置が備える音像方向制御手段により音響信号処理が施された音響信号と関連付けて記録する画像信号記録手段と、
をさらに備えたことを特徴とする撮像装置。
【請求項４】
前記画像信号から人物の顔画像信号を検出する顔検出手段と、
前記画像信号からマイクロフォンの画像信号を検出するマイクロフォン検出手段と、を備え、
前記音響信号処理装置が備える前記スピーカ音検出手段は、前記顔検出手段により人物の顔画像信号が検出され、且つ、前記マイクロフォン検出手段によりマイクロフォンの画像信号が検出された場合に、前記音響信号処理装置が備える集音手段によって取得された音響信号からスピーカ音信号を検出することを特徴とする請求項３に記載の撮像装置。
【請求項５】
撮影対象を撮影することにより該撮影対象の画像信号を取得する撮像手段と、
前記撮影の際に到来する音を集音することにより該音の第１音響信号を取得する集音手段と、
前記第１音響信号を前記撮像手段により取得された画像信号と関連付けて記録する第１記録手段と、
前記第１音響信号に基づく第２音響信号を生成するとともに、該第２音響信号を前記撮像手段により取得された画像信号と関連付けて記録する第２記録手段と、
前記第１記録手段と前記第２記録手段とを切り替える切換え手段と、
を備え、
前記第２記録手段は、
前記音響信号からスピーカ音信号を検出するスピーカ音検出手段と、
前記スピーカ音信号が検出された場合、該スピーカ音信号の音像方向が撮影方向と一致するように、前記スピーカ音信号に音響信号処理を施すことにより前記第２音響信号を生成する音像方向制御手段と、
を備えたことを特徴とする撮像装置。
【請求項６】
撮影対象を撮影することにより該撮影対象の画像信号を取得する撮像手段と、
前記撮影の際に到来する音を集音することにより該音の第１音響信号を取得する集音手段と、
前記第１音響信号を前記撮像手段により取得された画像信号と関連付けて記録する第１記録手段と、
前記第１音響信号に基づく第２音響信号を生成するとともに、該第２音響信号を前記撮像手段により取得された画像信号と関連付けて記録する第２記録手段と、
前記第１記録手段と前記第２記録手段とを切り替える切換え手段と、
を備え、
前記第２記録手段は、
前記音響信号からスピーカ音信号を検出するスピーカ音検出手段と、
前記スピーカ音信号が検出された場合、前記音響信号の音像方向が撮影方向と一致するように、前記音響信号に音響信号処理を施すことにより前記第２音響信号を生成する音像方向制御手段と、
を備えたことを特徴とする撮像装置。
【請求項７】
撮影手段による撮影により取得された画像信号と集音手段により取得された前記撮影の際に到来する音の音響信号とが互いに関連づけて記録されている記録手段から、前記音響信号を取得する取得手段と、
前記取得手段によって取得された前記音響信号からスピーカ音信号を検出するスピーカ音検出手段と、
前記スピーカ音信号が検出された場合、前記スピーカ音信号の音像方向が前記撮影手段による撮影方向と一致するように、前記音響信号に音響信号処理を施す音像方向制御手段と、
前記音響信号処理を施された前記音響信号を再生する再生手段と、
を備えたことを特徴とする音響信号処理装置。
【請求項８】
撮影手段による撮影により取得された画像信号と集音手段により取得された前記撮影の際に到来する音の音響信号とが互いに関連づけて記録されている記録手段から、前記音響信号を取得する取得手段と、
前記取得手段によって取得された前記音響信号からスピーカ音信号を検出するスピーカ音検出手段と、
前記スピーカ音信号が検出された場合、前記音響信号の音像方向が前記撮影手段による撮影方向と一致するように、前記音響信号に音響信号処理を施す音像方向制御手段と、
前記音響信号処理を施された前記音響信号を再生する再生手段と、
を備えたことを特徴とする音響信号処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−３５７０８（Ｐ２０１１−３５７０８Ａ）
【公開日】平成２３年２月１７日（２０１１．２．１７）
【国際特許分類】
【出願番号】特願２００９−１８０６１６（Ｐ２００９−１８０６１６）
【出願日】平成２１年８月３日（２００９．８．３）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２３年２月１７日（２０１１．２．１７）
【国際特許分類】
【出願日】平成２１年８月３日（２００９．８．３）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]