撮像装置、音声収音方法
【課題】撮像装置における収音音声としてズーム音等の装置機構音の影響を低減する。
【解決手段】外来音を収音する外来音用マイクロホンで得られる音声信号を第１のマイク入力部で入力し、装置機構音を収音する機構音用マイクロホンで得られる音声信号を第２のマイク入力部で入力する。そして第１のマイク入力部からの音声信号について、第２のマイク入力部からの音声信号から生成した機構音キャンセル信号を用いて機構音成分が低減されたノイズ抑制音声信号を生成する。例えばこのノイズ抑制音声信号を、動画等の撮像画像とともに記録・送信する音声データとする。
【解決手段】外来音を収音する外来音用マイクロホンで得られる音声信号を第１のマイク入力部で入力し、装置機構音を収音する機構音用マイクロホンで得られる音声信号を第２のマイク入力部で入力する。そして第１のマイク入力部からの音声信号について、第２のマイク入力部からの音声信号から生成した機構音キャンセル信号を用いて機構音成分が低減されたノイズ抑制音声信号を生成する。例えばこのノイズ抑制音声信号を、動画等の撮像画像とともに記録・送信する音声データとする。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、動画や静止画を撮像する撮像装置に関し、特に撮像時に収音する音声信号の処理に関する。
【先行技術文献】
【特許文献】
【０００２】
【特許文献１】特開２０１１−７００４６号公報
【背景技術】
【０００３】
動画や静止画を撮像し、画像データとして記録或いは送信する撮像装置では、マイクロホンにより外部音声を集音し、画像データとともに記録或いは送信することが行われている。
この場合、マイクロホンは本来外部音声、即ち撮像対象たる被写体や周囲の音声を目的として収音し、これを画像と共に記録等するものである。ところが、撮像装置の内部機構音が混入することが避けがたい。
例えば一例として、ユーザが撮像中にズーム操作を行った場合、ズームレンズが駆動されるが、その際の駆動音が発生し、これがマイクロホンによって拾われる。つまり例えば動画と共に記録する音声に、本来混入してほしくないズーム音等が混入してしまう。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
これまで、ズーム機構を持つデジタルカメラ多くが、動画撮影時の録音で、このノイズの抑制に多くの技術提案があったが、多くはメカ的な工夫により機構の静音化を図るものや、または音源分離技術を使って大きな信号処理リソースを消費するものなどであった。しかしこのような技術ではコストアップや信号処理負担の増大など、実用上、広く採用することが難しく、またノイズ混入低減の効果が大きいとは言えなかった。
そこで本開示では、撮像装置において簡易な処理で、収音音声から、例えばズーム駆動音などの装置機構音が低減され、品質の良い収音音声が得られるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本開示の撮像装置は、撮像素子部、及び被写体からの入射光を上記撮像素子部に結像させるレンズ系を有する撮像部と、上記撮像部の上記撮像素子部で光電変換された信号から撮像画像信号を生成する撮像信号処理部と、外来音を収音する外来音用マイクロホンで得られる音声信号を入力する第１のマイク入力部と、装置機構音を収音する機構音用マイクロホンと、上記機構音用マイクロホンで得られる音声信号を入力する第２のマイク入力部と、上記第１のマイク入力部からの音声信号について、上記第２のマイク入力部からの音声信号から生成した機構音キャンセル信号を用いて機構音成分が低減されたノイズ抑制音声信号を生成するノイズ抑制処理部とを備える。
【０００６】
本開示の音声収音方法は、 撮像素子部、及び被写体からの入射光を上記撮像素子部に結像させるレンズ系を有する撮像部と、上記撮像部の上記撮像素子部で光電変換された信号から撮像画像信号を生成する撮像信号処理部とを有する撮像装置の音声収音方法として、外来音を収音する外来音用マイクロホンで得られる音声信号を第１のマイク入力部で入力し、装置機構音を収音する機構音用マイクロホンで得られる音声信号を第２のマイク入力部で入力し、上記第１のマイク入力部からの音声信号について、上記第２のマイク入力部からの音声信号から生成した機構音キャンセル信号を用いて機構音成分が低減されたノイズ抑制音声信号を生成する音声収音方法である。
【０００７】
このような本開示の撮像装置では、機構音用マイクロホンを配置し、内部の機構音を収音する。この機構音を収音した音声信号を用いて機構音キャンセル信号を生成する。外来音用マイクロホンにも機構音は混入するが、この外来音用マイクロホンからの音声信号と機構音キャンセル信号を演算することで、ノイズ抑制音声信号、即ち機構音が低減された外来音としての音声信号を得ることができる。
【発明の効果】
【０００８】
本開示によれば、機構音用マイクロホンを撮像装置に設け、機構音用マイクロホンで得られた音声信号から機構音キャンセル信号を生成する。これを用いて外来音用マイクロホンからの音声信号に対してノイズ（機構音）の低減処理を行う。これにより信号処理負担の少ない簡易な処理で機構音低減効果の高いノイズ抑制音声信号を得ることができ、撮像装置における音声収音手法として実用に適している。
【図面の簡単な説明】
【０００９】
【図１】本開示の実施の形態の概要の説明図である。
【図２】実施の形態の撮像装置のブロック図である。
【図３】実施の形態の音声信号処理部の構成の説明図である。
【図４】実施の形態のエレクトレットマイクロホン配置の説明図である。
【図５】実施の形態のＭＥＭＳマイクロホン配置の説明図である。
【図６】実施の形態の伝達関数測定部の動作の説明図である。
【図７】実施の形態のキャリブレーションモードの制御処理のフローチャートである。
【図８】実施の形態のノイズ抑制処理部のブロック図である。
【図９】実施の形態のノイズ抑制処理の説明図である。
【図１０】実施の形態のズーム音波形と外部音声波形の説明図である。
【図１１】実施の形態の音声信号処理部の他の構成の説明図である。
【図１２】実施の形態のキャリブレーションモードへの移行処理のフローチャートである。
【図１３】実施の形態のキャリブレーションモードの推奨提示処理のフローチャートである。
【図１４】実施の形態のモード制御処理のフローチャートである。
【図１５】実施の形態の外来音用マイクロホンの他の例の説明図である。
【図１６】実施の形態のマイクロホン配置例の説明図である。
【図１７】実施の形態のステレオ対応時のマイクロホン配置の説明図である。
【発明を実施するための形態】
【００１０】
以下、本開示の実施の形態として、例えば動画撮像を行う撮像装置（ビデオカメラ）の例を挙げ、次の順序で説明する。
＜１．実施の形態の撮像装置の概要＞
＜２．撮像装置の構成＞
＜３．キャリブレーションモードとノイズ抑制モード＞
＜４．音声信号処理部の他の構成例＞
＜５．モード制御例＞
＜６．各種マイクロホン態様＞
＜７．変形例＞
【００１１】
＜１．実施の形態の撮像装置の概要＞
図１で実施の形態の撮像装置の概要を説明する。
実施の形態の撮像装置１は、ユーザが動画撮像に使用する装置であり、図２で後述するように被写体撮像や、撮像した画像データの記録等、ビデオカメラとしての通常の動作を行う。
【００１２】
画像撮像時には、外部音声も収音する。このため撮像装置１には、図１に模式的に示すように外来音用マイクロホン１０Ａが設けられる。もしくは撮像装置１にはマイク接続端子部が形成され、別体のマイクロホンが接続され、それが外来音用マイクロホン１０Ａとされてもよい。
【００１３】
外来音用マイクロホン１０Ａは、被写体や周囲の音声を収音する目的で設けられる。このため別体のマイクロホンではなく、撮像装置１に外来音用マイクロホン１０Ａが内蔵装備される場合は、その外来音用マイクロホン１０Ａは、振動板が音響的に撮像装置筐体外部の空間と連通された状態で配置される。例えば撮像装置１の筐体２２上に表出するように取り付けられたり、筐体２２の内部であっても音通孔を介して外部空間に音響的に連通するように取り付けられる。即ち外来音用マイクロホン１０Ａの振動板が、外来音声に対して適切に反応して振動するように配置される。
なお、「音響的」に連通するとは、振動板が直接外部空間と接しているか、或いは風切り音の防止用のフィルムなどがあったとしても、外来音が妨げられずに振動板へ到来するような状態を言う。
【００１４】
一般的なビデオカメラ等では、外来音用マイクロホン１０Ａは搭載されており、これによって動画撮像時等に音声収音も行う。
本実施の形態の場合、これに加えて、例えば筐体２２の内部に機構音用マイクロホン１０Ｂが配置される。機構音用マイクロホン１０Ｂは、例えばズーム機構５ａなどの装置機構の駆動音等、装置動作に付随する機構音を収音する。
また後述するが、機構音用マイクロホン１０Ｂは、振動板が音響的に撮像装置１の筐体２２の外部空間に対して閉ざされた状態で配置されており、外来音は殆ど収音しないようにされている。
【００１５】
一例として図１のように、２つのマイクロホン（外来音用マイクロホン１０Ａ、機構音用マイクロホン１０Ｂ）が、内部の基板２１の上下に設置される。
本実施の形態では、この２つのマイクロホン１０Ａ，１０Ｂの各出力信号Ｏａ、Ｏｂに対して音声信号処理部１２でノイズ抑制処理を加えることにより、高Ｓ／Ｎ（Signal to Noise Ratio）な収音信号を生成する。
この場合のＳ／Ｎの「Ｓ（信号）」とは、撮像対象の人物の音声や周囲環境音など録音対象成分（Ｐ）を意味し、「Ｎ（ノイズ）」は、例えばズーム機構５ａなどの内部機械振動（源振動をＶとする）を起因とする音の収音信号への混入成分である。
つまり図１で言えば、本実施の形態では、Ｐ起因の音の成分をなるべく大きく、Ｖ起因の音の成分をなるべく小さくした収音信号を生成する。
【００１６】
なお、ここでは、振動Ｖは、筐体２２内のメカ部品を伝達し基板２１に到達することを前提としている。通常、単独のマイクロホンによる収音でズーム音の混入が大きいのは、この振動Ｖ→基板への伝達が多く、結果的に単独のマイクロホンユニット全体に振動が伝わり、慣性の法則により（振動板に対して）マイクロホンユニット全体が動いてしまい、相対的に振動板が動いて電圧が発生するためである。
【００１７】
＜２．撮像装置の構成＞
実施の形態の撮像装置の構成を図２に示す。図２は撮像装置１の内部構成例を概略的に示すブロック図である。
図示するように撮像装置１は、表示部２、表示制御部３、操作入力部４、撮像部５、撮像信号処理部６、ＣＰＵ（Central Processing Unit）７、メモリ部８、記録部９、外来音用マイクロホン１０Ａ、機構音用マイクロホン１０Ｂ、マイク入力部１１Ａ、１１Ｂ、音声信号処理部１２、外部インターフェース１３、ネットワーク通信部１４、ビデオエンコーダ１５、音声出力部１６、システムバス２０を有する。
【００１８】
表示部２は、ユーザ（撮像者等）に対して各種表示を行う表示部であり、例えば撮像装置１の筐体上に形成されるＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスにより形成される。またいわゆるビューファインダーとしてＬＣＤや有機ＥＬディスプレイ等で形成されてもよい。
表示制御部３は、この撮像装置１の全体の制御部であるＣＰＵ７の制御に基づいて、表示部２に各種表示を実行させる。例えば撮像記録した動画や静止画を再生表示させたり、静止画撮像の際のレリーズ待機中や動作撮像記録開始のスタンバイ中に撮像される各フレームの撮像画像データによる動画としてのスルー画（被写体モニタリング画像）を表示部２に表示させる。また表示制御部３は、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を表示部２に実行させる。
【００１９】
操作入力部４は、ユーザの操作を入力する入力手段として機能し、入力された操作に応じた信号をＣＰＵ７等へ送る。
この操作入力部４としては、例えば撮像装置１の筐体２２上に設けられる各種操作子や、表示部２に形成されたタッチパネルなどを有する。
筐体２２上の操作子としては、例えば電源キー、ズームキー、シャッターボタン（レリーズボタン）、モードキー、メニュー操作キー等が設けられる。
またタッチパネルと表示部２に表示させるアイコンやメニュー等を用いたタッチパネル操作により、各種の操作が可能とされてもよい。
【００２０】
撮像部５は、被写体光を受光し電気信号に変換する撮像素子（イメージセンサ）、被写体からの光を撮像素子に集光するためのレンズ系、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、絞り機構などを有している。
撮像部５内のこれらの駆動機構は、全体の制御部であるＣＰＵ７からの制御信号に応じて駆動される。
撮像素子は、例えば、ＣＣＤ（Charge Coupled Device）型、ＣＭＯＳ（Complementary Metal OxideSemiconductor）型などの撮像素子とされる。
【００２１】
撮像信号処理部６は、撮像部５の撮像素子で得られた電気信号についてＡ／Ｄ変換、ＩＳＯゲイン調整、その他の各種信号処理を行い、撮像画像信号ＤＴ−Ｖとしてビデオエンコーダ１５に供給する。
【００２２】
外来音用マイクロホン１０Ａは上述したように主に外来音を収音する。外来音用マイクロホン１０Ａで得られた音声信号はマイク入力部１１Ａで入力段増幅やＡ／Ｄ変換が行われてマイク出力信号Ｏａとして音声信号処理部１２に供給される。
機構音用マイクロホン１０Ｂは上述のように主に筐体内部の機構音を収音する。機構音用マイクロホン１０Ｂで得られた音声信号はマイク入力部１１Ｂで入力段増幅やＡ／Ｄ変換が行われてマイク出力信号Ｏｂとして音声信号処理部１２に供給される。
【００２３】
音声信号処理部１２は、例えばＤＳＰ（Digital Signal Processor）で構成され、ＣＰＵ７の制御に基づき各種の音声信号処理を行う。例えば音声信号処理部１２としてのＤＳＰは図３のように、信号処理機能として、ＡＧＣ（Automatic Gain Control）処理部１２ａ、レベル調整部１２ｂ、音質・音響効果処理部１２ｃ、ノイズ抑制処理部１２ｄ、伝達関数測定部１２ｅとしての機能が内部プログラムにより実行される。
ＡＧＣ処理部１２ａは、収音信号のＡＧＣ処理を行い、例えば過大な入力音声等を調整する。
レベル調整部１２ｂは収音信号の入力レベルを調整する。
音質・音響効果処理部１２ｃは、イコライジング処理やエコー、リバーブ処理等を収音信号に対して実行し、所望の音質や音響効果を付与する。
ノイズ抑制処理部１２ｄは、本実施の形態において、図１で述べたように機構音をキャンセルした収音信号を得る処理を行う。詳しくは後述する。
伝達関数測定部１２ｅは、機構音キャンセルに用いる伝達関数情報を得るために、２つのマイクロホン１０Ａ，１０Ｂ間の伝達関数の測定を行う。詳しくは後述する。
【００２４】
このような音声信号処理部１２では、ＣＰＵ７からの制御信号Ｓｃに基づいて各処理機能（１２ａ〜１２ｅ）が実行される。通常の撮像時は、ＡＧＣ処理部１２ａ、レベル調整部１２ｂ、音質・音響効果処理部１２ｃが行われて、撮像画像信号ＤＴ−Ｖと共に記録や送信する音声信号ＤＴ−Ａが得られる。この音声信号ＤＴ−Ａはビデオエンコーダ１５に供給される。
特に本実施の形態では、後述するノイズ抑制モードが指示される期間は、この音声信号ＤＴ−Ａは、ノイズ抑制処理部１２ｄ部によってノイズ抑制処理が行われた信号となる。
【００２５】
ビデオエンコーダ１５は、記録や送信出力のためのデータエンコード処理を行う。ビデオエンコーダ１５には撮像画像信号ＤＴ−Ｖや音声信号ＤＴ−Ａが供給され、これらの信号についてエンコード処理を行う。例えばＭＰＥＧ（Moving Picture Experts Group）方式の圧縮エンコード等を行ってビデオファイル（動画像及び音声）を生成する。
このビデオファイルは、記録部９に記録されたり、ネットワーク通信部１４や外部インターフェース１３を介して外部に送信出力される。
またビデオエンコーダ１５は撮像画像信号ＤＴ−Ｖをスルー画用の信号として表示制御部２に転送して、表示部３でのスルー画表示を可能とする。
【００２６】
メモリ部８は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなど、ＣＰＵ７が使用、参照する内部メモリを包括的に示している。
例えばＲＡＭは、ＣＰＵ７の各種データ処理の際の作業領域として、データやプログラム等を一時的に格納する。
ＲＯＭやフラッシュメモリ（不揮発性メモリ）には、ＣＰＵ７が各部を制御するためのＯＳ（Operating System）や、外部通信、ネットワーク通信等に必要なアプリケーション等を記憶する。
フラッシュメモリには、さらに画像ファイル等が記憶される場合もある。また後述する伝達関数情報や、音声信号処理部１２で用いるフィルタ係数等の情報がフラッシュメモリに記憶される場合もある。
【００２７】
記録部９は、例えば不揮発性メモリ等からなり、ビデオファイル等のコンテンツファイル、その画像ファイルの属性情報及びサムネイル画像等を記憶する記憶領域として機能する。
記録部９の実際の形態は多様に考えられる。例えば記録部９は、撮像装置１に着脱できるメモリカード（例えば可搬型のフラッシュメモリ）と、該メモリカードに対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置１に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。
また後述する伝達関数情報や、音声信号処理部１２で用いるフィルタ係数等の情報が記録部９に記憶される場合もある。
【００２８】
外部インターフェース１３は、パーソナルコンピュータや外部ストレージ機器等との外部デバイスとの間で各種データ通信を行う。撮像装置１は、外部インターフェース１３による外部機器との通信で、撮像記録したビデオファイル等を外部機器に転送したり、各種情報を外部機器から入力することが可能である。
ネットワーク通信部１４は、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行う。
【００２９】
音声出力部１６は、ＣＰＵ７の指示に基づいて、メッセージ音声や電子音によりユーザに音声告知を行う。或いはビデオファイルの再生時に、動画等とともに記録されている音声データの再生出力を行う。
【００３０】
ＣＰＵ７は、例えばメモリ部８内に記憶されたプログラムを実行することで、この撮像装置１全体を統括的に制御する。
例えばＣＰＵ７は、ユーザの操作に応じた撮像動作や撮像記録した画像ファイルの再生動作、さらに外部機器通信やネットワーク通信としての通信動作等について、必要各部の動作を制御する。
さらに本実施の形態の場合、ＣＰＵ７は、音声収音に関して、後述するノイズ抑制モードの制御処理や、キャリブレーションモードの制御処理、ノイズ抑制モードとキャリブレーションモードの切換や設定指示などを行う。つまりＣＰＵ７は請求項でいうキャリブレーション制御部やモード制御部としても機能する。
【００３１】
システムバス２０は、ＣＰＵ７などの各ブロックを相互に接続し、それぞれのブロック間での信号の授受を可能とする。
【００３２】
この撮像装置１に搭載される外来音用マイクロホン１０Ａ、機構音用マイクロホン１０Ｂについて説明する。
これらのマイクロホン１０（１０Ａ及び１０Ｂ）としてはどのようなマイクロホンを用いても良いが、一例としてエレクトレットマイクロホンやＭＥＭＳ（Micro Electro Mechanical Systems）マイクロホンが考えられる。
【００３３】
図４Ａはエレクトレットマイクロホンの例を示している。
マイクロホンユニットは全指向性とすると、通常マイクロホンユニットには音を取り入れる音孔３２が１つ開いており、ここから入ってきた音が振動板（振動膜）３１に到達し、これを振るわせることで、出力に電圧が発生する。
図示のマイクロホン１０は上面側が音孔３２とされ、内部の振動板（振動膜）３１を空間に音響的に連通させている。
【００３４】
このようなマイクロホン１０を用いる場合、図４Ｂ、図４Ｃに示すように配置する。基板２１とは、撮像装置１内で、図１の構成を実現する電子部品２３を配置した基板である。この基板２１に対し、外来音用マイクロホン１０Ａは、音孔３２が解放されるように底面側をマウントする。
一方、機構音用マイクロホン１０Ｂは、音孔３２が基板２１でふさがれるように、音孔３２側が基板に接する状態でマウントする。
つまり基板２１の上面側、下面側において、音孔の方向を揃えて各マイクロホン１０Ａ、１０Ｂを設置する。
これにより外来音用マイクロホン１０Ａは外部の音を収音しやすいように振動板３１が表に出ている一方、機構音用マイクロホン１０Ｂは、基板設置時に音孔３２が塞がれる。
なお、このようにマイクロホン１０Ａ、１０Ｂを配置するのは基板２１に限られない。撮像装置１の筐体内の基板以外の構造物であってもよい。
【００３５】
この場合、両マイクロホン１０Ａ、１０Ｂは、同一の基板・構造物に設置されているため、ほぼ同じズーム機構５ａからの振動を受けているが、録音対象の音に関しては、外来音用マイクロホン１０Ａは大きく収音できるものの、機構音用マイクロホン１０Ｂは筐体内部であり、かつ音孔が塞がれているため、ほとんど録音目的の音声は入力されない。このことを利用して、後述のように高Ｓ／Ｎの収音信号を信号処理により生成する。
【００３６】
以上の図４では小型エレクトレットマイクロホンを示したが、現在ではＭＥＭＳマイクの使用も一般化しつつあり、図５のようにこれを使用することもできる。
図５ＡはＭＥＭＳマイクロホンの構造を模式的に示している。ＭＥＭＳマイクロホンとしては、上面音孔型のものや基板面音孔型のものが存在する。
いずれの型も内部空間に振動板３１が形成され、音孔３２からの音によって振動する。上面音孔型は、図示のように基板２１に装着するランド３３とは逆の上面側に音孔３２が形成されている。基板面音孔型は基板２１に装着するランド３３とは同じ面に音孔３２が形成されている。これらは音響・電気特性はほぼ同じであるにも関わらず、実装上の都合に応じるために製造されるものである。
本実施の形態においては、このようなＭＥＭＳマイクロホンとしての２つのタイプを利用することが好適である。
【００３７】
図５Ｂ、図５Ｃに示すように、外来音用マイクロホン１０Ａは上面音孔型とし、これを基板２１に実装する。機構音用マイクロホン１０Ｂは基板面音孔型を用い、これを図示のように基板２１の裏側に実装する。
これによって同一基板上に、外来音の収音に好適な外来音用マイクロホン１０Ａと、外来音が収音されにくい機構音用マイクロホン１０Ｂを実現できる。実装的にも利便性が高い。
【００３８】
なお、図４，図５で説明した各マイクロホン１０Ａ、１０Ｂは、なるべく近い応答特性（ゲイン、周波数特性）であることが好ましいが、現実的な音響部品製造では、特性のばらつきがでることはやむを得ない。このため、音声信号処理部１２では特性誤差を解消して適切なノイズ抑制処理を実現するため、後述のキャリブレーションモードを行うことが好ましい。
【００３９】
＜３．キャリブレーションモードとノイズ抑制モード＞
本実施の形態では、音声信号処理部１２において、図３で示したようにノイズ抑制処理部１２ｄ、伝達関数測定部１２ｅとしての機能が実装され、これらによりキャリブレーションモードとノイズ抑制モードとしての処理が行われる。
ここで、ノイズ抑制モードとは、ズーム駆動音などの機構音を収音音声からキャンセルする処理を行うモードであり、一方、キャリブレーションモードとは、ノイズ抑制モードが適切に実行されるようにするため、あらかじめ伝達関数情報を得る動作を行うモードである。
以下では、伝達関数情報としては、機構音用マイクロホン１０Ｂから外来音用マイクロホン１０Ａへの伝達関数の、周波数軸表現または時間軸表現での応答の情報とする例で説明する。なお、伝達関数の応答の情報とは、周波数軸や時間軸上でこれを簡易化・修正した応答の情報も含む。
【００４０】
なお、キャリブレーション（伝達関数測定）モード、と、ノイズ抑制モードは、音声信号処理部１２として機能するたとえばＤＳＰ等の演算部に対してプログラム変更を行うことで実現できる。例えばＣＰＵ７が音声信号処理部１２に対してノイズ抑制モードを指示することによりノイズ抑制処理部１２ｄとしての動作が実行され、またキャリブレーションモードを指示することにより、伝達関数測定部１２ｅとしての動作が実行される。
【００４１】
まずキャリブレーションモードについて説明する。
キャリブレーションモードは、主に、本実施の形態の撮像装置１の生産工場や、サービスセンターで実施される、キャリブレーション（伝達関数測定）専用モードである。
特に、カメラのズーム音は、工場でのメカ的な取り付け方など、ズーム音（ノイズ）自体に個体差があるため、各個体を工場で組み上げた後、実際に、工場内の静かな場所（または専用の測定ボックスなど）などの静音環境で、その特性測定を行う。具体的には、機構音用マイクロホン１０Ｂから外来音用マイクロホン１０Ａへのズーム音の伝達関数を測定する。
そして、この測定データをシステムに記憶しておくことで、組み上げによるメカの振動の伝達具合やズームモーター部の特性個体差、両マイクロホン１０Ａ、１０Ｂの電気音響特性のばらつき等を吸収し、その後のノイズ抑制モードで適切な機構音キャンセルが実行されるようにする。
【００４２】
キャリブレーションモードの動作を図６，図７で説明する。
図６Ａは伝達関数測定部１２ｅで実行される処理の流れを示している。キャリブレーションモードの実行時には、図６Ｂに示すように、静音環境においてズーム機構５ａをテスト作動させる。このときに各マイクロホン１０Ａ、１０Ｂで収音される音声信号が、マイク入力部１１Ａ，１１Ｂからの出力信号Ｏａ，Ｏｂとして音声信号処理部１２に供給されるが、音声信号処理部１２の伝達関数測定部１２ｅは、この出力信号Ｏａ，Ｏｂを用いて伝達関数測定を行う。
【００４３】
図６Ａに示すように伝達関数測定部１２ｅは、出力信号Ｏａについて帯域制限フィルタ処理Ｓ１で不要帯域をカットする。すなわちＬＰＦ（Low Pass Filter）処理およびＨＰＦ（High Pass Filter）処理により、ズーム音に相当する帯域を抽出する。そしてスムーシング処理Ｓ３として周波数軸でのスムーシングを行う。
同様に伝達関数測定部１２ｅは出力信号Ｏｂについて帯域制限フィルタ処理Ｓ２で不要帯域をカットしてズーム音に相当する帯域を抽出し、スムーシング処理Ｓ４を行う。
そして除算処理Ｓ５としてＯａ／Ｏｂの演算を行って、その結果から伝達関数算出処理Ｓ６、時間軸ＦＩＲ係数算出処理Ｓ７を行う。
【００４４】
この図６Ａの処理は、静音環境下にてズーム機構５ａをテスト作動させたときの、両マイクロホンの出力を除算することにより「ズームノイズ」に関わる「機構音用マイクロホン１０Ｂから外来音用マイクロホン１０Ａへの伝達関数」を測定するものである。
つまり、
（「振動Ｖ→外来音用マイクロホン１０Ａ」の伝達関数）／（「振動Ｖ→機構音用マイクロホン１０Ｂ」の伝達関数）＝（「機構音用マイクロホン１０Ｂ→外来音用マイクロホン１０Ａ」の伝達関数）
を意図したものである。ここでは、この伝達関数をＨｉｏとし、これの時間軸のインパルス応答としての表現をｈｉｏとしている。
本例では、このキャリブレーションモードの動作で求められた、時間軸インパルス応答ｈｉｏ、又は伝達関数Ｈｉｏの一方又は両方を、伝達関数情報としてメモリ部８または記録部９に記憶しておき、後のノイズ抑制モード時に用いることができるようにする。
【００４５】
なお、図６Ａに示したとおり、除算処理Ｓ５の前にスムージング処理Ｓ３、Ｓ４において周波数軸でスムージングを掛けていることにより、除算後のＨｉｏ特性の複雑化を防ぎ、同時に時間軸ｈｉｏの応答がなるべく短くおさまるように工夫している。
同様の工夫として、伝達関数やインパルス応答は、計測したそのままの特性ではなく、例えばＳ／Ｎの関係から測定信頼性が薄い低域や高域に関して、周波数軸または時間軸でこの帯域をカットした上でＨｉｏ、ｈｉｏを設計することは当然に考えられる。また特定帯域の位相情報を時間軸で表現しようとすると、不用意にフィルタのタップ数が長くなったり、実行の結果かえってノイズが増えてしまうような場合には、その帯域のゲインを落としてキャンセルを行わない、などを考慮してＨｉｏ、ｈｉｏとすることもできる。
具体的にいえば、伝達関数Ｈｉｏを周波数軸で簡易化して、記憶する「Ｈｉｏ」としてもよい。また、伝達関数Ｈｉｏを周波数軸で簡易化してから時間軸変換して「ｈｉｏ」を得てもよいし、伝達関数Ｈｉｏを時間軸（ｈｉｏ）に変換し、「ｈｉｏ」を簡易化して記憶する「ｈｉｏ」としてもよい。
つまり、キャリブレーションモードで求める伝達関数情報は、伝達関数の周波数軸表現または時間軸表現での応答の情報であるが、その応答の情報とは、後述のノイズ抑制モードでのフィルタ処理の簡易化等を考慮して、周波数軸表現または時間軸表現での応答情報を周波数軸や時間軸上で簡易化・修正した応答の情報でもよい。
【００４６】
図７は、このようなキャリブレーションモードを実行させるためのＣＰＵ７の制御処理例を示している。
キャリブレーションモードを発動する場合、ＣＰＵ７はまずステップＦ１として撮像部５を制御し、ズーム機構５ａのテスト駆動を実行させる。これとともにＣＰＵ７はステップＦ２で音声信号処理部１２に伝達関数測定を指示する。当該制御に応じて音声信号処理部１２では伝達関数測定部１２ｅとしての機能が実行され、上記図６Ａに示した伝達関数測定部Ｈｉｏおよび時間軸インパルス応答ｈｉｏが算出される。音声信号処理部１２はこれらの測定（Ｈｉｏ，ｈｉｏ算出）が完了したら、その旨（もしくは算出値）をＣＰＵ７に通知する。
ＣＰＵ７は、算出完了検知により処理をステップＦ３からＦ４に進め、撮像部５におけるズーム機構５ａのテスト駆動を終了させる。そしてステップＦ５でＣＰＵ７は、算出された時間軸インパルス応答ｈｉｏ（又は伝達関数Ｈｉｏ、あるいは両方）をメモリ部８におけるフラッシュメモリ、あるいは記録部９に記憶させる。
以上でキャリブレーションモードの動作を終了する。
【００４７】
なお、このようなキャリブレーションモードの実行は、工場のような環境では必須であるが、当該の伝達関数に経年変化があった場合でも、ユーザが静音環境で実行することで、対応可能である。このキャリブレーションモード実行タイミングは、システム自体が、ある程度の年月において測定を促すためのアラームをタイマーにて提示しても良いし、残留ノイズがある程度大きくなった、とシステムが判断し、この測定プロセスを促して自動的に実行する場合も考えられる。もちろんユーザが任意タイミングで実行しても良い。これらについては後述する。
【００４８】
次に、実際に、このあらかじめ測定され、システムに記憶された時間軸インパルス応答ｈｉｏを使って運用する、通常の動画録画（録音）時に使用されるノイズ抑制モードについて説明する。
なお、以下の処理では時間軸インパルス応答ｈｉｏが記憶されているとして説明するが、伝達関数Ｈｉｏのみが記憶されている場合は、ノイズ抑制モード開始時に、伝達関数Ｈｉｏから時間軸インパルス応答ｈｉｏ（より具体的には次に説明する伝達関数相当フィルタ４２のフィルタ係数）を算出する処理を行うこととすればよい。さらには、伝達関数Ｈｉｏを時間軸変換した後、さらにそれを簡易化した応答ｈｉｏを算出するようにしてもよい。
また上述のように簡易化した応答「ｈｉｏ」が記憶されている場合や、簡易化した応答「ｈｉｏ」を算出する場合には、以下の説明でいう「時間軸インパルス応答ｈｉｏ」を、「簡易化した応答ｈｉｏ」に置き換えて考えればよい。
【００４９】
図８に音声信号処理部１２におけるノイズ抑制処理部１２ｄの構成（処理手順）を示している。ノイズ抑制処理部１２ｄは、外来音用マイクロホン１０Ａについての出力信号Ｏａについて、位相・遅延調整フィルタ４１で位相および遅延時間調整を行う。
また機構音用マイクロホン１０Ｂについての出力信号Ｏｂについて、伝達関数相当フィルタ４２でフィルタリングを行う。伝達関数相当フィルタ４２は、時間軸インパルス応答ｈｉｏが係数としてセットされたＦＩＲフィルタである。すなわち上述のキャリブレーションモードで記憶された時間軸インパルス応答ｈｉｏに基づいて、ＣＰＵ７は制御信号Ｓｃによって、伝達関数相当フィルタ４２の係数設定を行う。
【００５０】
そして減算器４３で、位相・遅延調整フィルタ４１の出力から伝達関数相当フィルタ４２の出力を減算する。さらにイコライザ４４でイコライジングを行って処理後の出力（ノイズ抑制音声信号Ｓａ）とする。このノイズ抑制音声信号Ｓａは、ズーム音等の機構音が低減された収音信号である。
音声信号処理部１２では、このノイズ抑制音声信号Ｓａについて、例えばレベル調整部１２ｂや音質・音響効果処理部１２ｃの処理等が行われて音声信号ＤＴ−Ａが出力される。この音声信号ＤＴ−Ａが、例えばビデオエンコーダ１５で記録用のエンコードされる対象となり、あるいは外部送信される。
【００５１】
すなわちこの図８に示す処理は、実際の両マイクロホン１０Ａ，１０Ｂの出力のうち、機構音用マイクロホン１０Ｂの出力に時間軸インパルス応答ｈｉｏをＦＩＲフィルタの係数として掛けて、外来音用マイクロホン１０Ａの出力から時間軸上で減算することで、ズーム音等のノイズが低減されたノイズ抑制音声信号Ｓａを得るものである。
なお位相・遅延調整フィルタ４１は、この場合に、両者の信号間（出力信号Ｏａ，Ｏｂ間）のディレイまたは位相を調整するために、外来音用マイクロホン１０Ａの出力信号Ｏａに対して遅延処理や移相処理を行って時間軸での調整を行うものである。
またイコライザ４４は、減算器４３での減算信号の音を整えるためのイコライジングを行うものである。
【００５２】
ここで改めて、キャリブレーションモード及びノイズ抑制モードの動作を、式で説明する。
上述の通り、外来音用マイクロホン１０Ａ、機構音用マイクロホン１０Ｂの出力をＯａ，Ｏｂとし、さらに図９にも示しているが、以下のように定義する。
Ｍａ，Ｍｂ：外来音用マイクロホン１０Ａ、機構音用マイクロホン１０Ｂのマイク感度（周波数特性）
Ｐａ，Ｐｂ：各マイクロホン１０Ａ、１０Ｂの配置位置における録音対象物（つまり外来音）の音圧
Ｖａ，Ｖｂ：各マイクロホン１０Ａ、１０Ｂの配置位置における機構由来振動成分（例えばズーム機構駆動時の振動成分（音圧相当））
【００５３】
すると、出力信号Ｏａ，Ｏｂについては、
Ｏａ＝Ｍａ（Ｐａ＋Ｖａ）
Ｏｂ＝Ｍｂ（Ｐｂ＋Ｖｂ）
となる。
【００５４】
キャリブレーションモードを、無響室のような静かな場所、または、吸音処理を施した無響箱の中で行うことを前提とすると、理想的には、録音対象物である外来音がないためＰａ＝Ｐｂ＝０となる。
ＭａとＭｂの特性・感度の違いを考えて、ここでは、便宜的にα＝Ｍａ／Ｍｂとし、αを求めるのを目的とする。
図４又は図５のようなマイクロホン１０Ａ、１０Ｂの取り付け構成において、ズーム動作等による振動源Ｖから、機械振動として基板２１へ振動が伝わり、表裏にて各マイクロホン１０Ａ、１０Ｂが振動を受けて、音圧相当の電圧を出力するとする。この場合、両マイクロホン１０Ａ、１０Ｂ位置での機械的な振動の伝わり方は同じ、という意味ではＶａ＝Ｖｂである。
この時、
α＝Ｍａ／Ｍｂ＝Ｏａ／Ｏｂ
として求めることができる。
周波数特性で、この除算を行うことにより、両者の特性違いを示すαを求めることができる。以上が図６Ａの処理の内容ということができる。
【００５５】
次に図８の構成によるノイズ抑制モードの処理では、信号処理演算にて、下記計算を求めることによりズーム音に関してノイズを抑制し、録音対象物の音声が強調された信号Ｓａを求めることができる。
ノイズ抑制音声信号Ｓａ＝Ｏａ−α・Ｏｂ
＝Ｍａ・Ｐａ＋Ｍａ・Ｖａ−（Ｍａ／Ｍｂ）Ｍｂ・Ｐｂ−（Ｍａ／Ｍｂ）Ｍｂ・Ｖｂ ＝Ｍａ（Ｐａ−Ｐｂ）
ここで、機構音用マイクロホン１０Ｂは音孔３２がふさがれているため、Ｐａ＞＞Ｐｂである。
つまり、Ｓａ≒Ｍａ・Ｐａとなり、結果的には目的の音声が効率よく求められることになる。
【００５６】
実際にこの両マイクロホン１０Ａ、１０Ｂで測定した時間軸波形のデータ例を図１０に示す。
図１０では、外来音用マイクロホン１０Ａの出力信号Ｏａと、機構音用マイクロホン１０Ｂの出力信号Ｏｂについて、静音環境下でズーム駆動させた際の音声波形と、通常の外部音声収音時の音声波形を示している。
外来音用マイクロホン１０Ａで収音した音（出力信号Ｏａ）についてみると、録音対象である音声信号（外来音声）に対しては小さいレベルであるものの、ズーム音が混入して居ることがわかる。これはノイズとして気になるレベルである。
一方、機構音用マイクロホン１０Ｂで収音した音（出力信号Ｏｂ）にも、ほぼ同レベルのズーム音が入っている。ところが機構音用マイクロホン１０Ｂで収音した音としては外来音は殆ど入っていない。
したがって、この波形から見てもわかるとおり、ズーム音の特性を両者合わせて、上述の式、Ｓａ＝Ｏａ−αＯｂを実行することで、外来音声信号にはあまり影響がなく、ズーム音のみが効率よく抑制できる。
【００５７】
結局、αＯｂとは、図８で言えば伝達関数相当フィルタ４２の出力であり、つまり出力信号Ｏｂについて時間軸インパルス応答ｈｉｏのフィルタ処理を行った信号である。換言すれば、機構音用マイクロホン１０Ｂで得られるズーム音と同一の音声信号成分が、外来音用マイクロホン１０Ａにおいて収音されているレベルを示す信号ともいえる。
このαＯｂが機構音キャンセル信号となる。そしてＯａ−αＯｂとは、減算器４３での減算処理に相当する。
【００５８】
以上の説明から理解されるように、本実施の形態では、音声信号処理部１２（ノイズ抑制処理部１２ｄ）は、ノイズ抑制モードの処理として、マイク入力部１１Ａからの音声信号について、マイク入力部１１Ｂからの音声信号から生成した機構音キャンセル信号（αＯｂ：伝達関数相当フィルタ４２の出力）を用いて、ズーム音等の機構音成分が低減されたノイズ抑制音声信号Ｓａを生成する。
機構音キャンセル信号αＯｂは、機構音用マイクロホン１０Ｂから外来音用マイクロホン１０Ａへの伝達関数に基づくフィルタ処理を、出力信号Ｏｂに与えたものである。
具体的にはノイズ抑制処理部１２ｄは、当該フィルタ処理で、インパルス応答ｈｉｏを出力信号Ｏｂに畳み込んで機構音キャンセル信号を生成する。そして該機構音キャンセル信号を出力信号Ｏａから減算することで、ノイズ抑制音声信号Ｓａを生成する。
このようなノイズ抑制モードの動作によって、録画時等に得られる音声信号ＤＴ−Ａは、ズーム機構５ａ等の機構音の混入が著しく低減されたものとなる。従ってユーザは撮像装置１を用いて撮像する際に、動作音に気にせずにズーム操作を行うことができ、またズーム動作が行われても、録音される音声にズーム音が混入せず、品質のよい録音音声を得ることができる。
【００５９】
また、ノイズ抑制モードでの伝達関数相当のフィルタ処理のためには、キャリブレーションモードで得られたインパルス応答ｈｉｏを伝達関数情報として記憶しておくことで、適切に実行できる。
つまりキャリブレーションモードで伝達関数Ｈｉｏ、インパルス応答ｈｉｏを求めることで、撮像装置１の個体差に応じた伝達関数を把握し、測定値に基づいて、伝達関数相当フィルタ４２の係数設定を最適化して実行できる。このためノイズ抑制モードでは撮像装置１の個体状況に応じて得ることができ、ノイズ低減処理が適切に実行されるものとなる。
【００６０】
また、ＣＰＵ７によるモード制御で、音声信号処理部１２（例えばＤＳＰ）において、ノイズ抑制モードの処理と、キャリブレーションモードの処理が実行されることで、構成上のハードウエア負担を最小限にして本実施の形態の動作を実行可能な撮像装置を提供できる。
【００６１】
また機構音用マイクロホン１０Ｂは、振動板３１が音響的に撮像装置筐体２２の外部の空間に対して閉ざされた状態で配置されていることで、外来音をほとんど収音しないで内部の振動Ｖによるノイズ音声を適切に収音できる。これにより機構音キャンセル信号は、上述のαＯｂ、つまり出力信号Ｏｂにｈｉｏフィルタリングを行うものとして求める場合に、適切な機構音キャンセル信号となる。
一方、外来音用マイクロホン１０Ａは、振動板３１が音響的に撮像装置筐体２２の外部の空間と連通された状態で配置されていることで、外来音を適切に収音できる。
また機構音用マイクロホン１０Ｂは、基板面音孔型のＭＥＭＳマイクロホンとされて基板面側が撮像装置筐体内の基板又は内部構造物に取り付けられること、及び外来音用マイクロホン１０Ａは、上面音孔型のＭＥＭＳマイクロホンとされて下面側が撮像装置筐体内の基板又は内部構造物に取り付けられることで、簡易な構成でマイクロホン１０Ａ、１０Ｂを配置できる。
【００６２】
＜４．音声信号処理部の他の構成例＞
音声信号処理部１２の他の構成例を図１１Ａ，図１１Ｂに示す。
図１１Ａは、音声信号処理部１２にＡＧＣ処理部１２ａ、レベル調整部１２ｂ、音質・音響効果処理部１２ｃ、ノイズ抑制処理部１２ｄが設けられる例である。すなわち先の図３の例と比較して伝達関数測定部１２ｅが設けられていない。
【００６３】
例えば撮像装置１におけるズーム機構５ａ等の機構音、あるいは低減目的とする機構音の周波数特性に個体差が無いような場合、あるいは個体差に厳密に対応する必要が無いような場合は、必ずしも個々に伝達関数測定を行わなくてもよい。
すなわちノイズ抑制モードで用いるインパルス応答ｈｉｏ（伝達関数相当フィルタ４２のフィルタ係数）が固定的であってもよい。そのような場合は、あらかじめ設計事項としてノイズ抑制処理部１２ｄでのフィルタ係数を固定設定すればよく、伝達関数測定は不要である。あるいは固定のインパルス応答ｈｉｏ等の伝達関数情報をメモリ部８のフラッシュメモリや記録部９に記憶させておき、ノイズ抑制モード実行時に、記憶されている伝達関数情報に応じてフィルタ係数設定を行えばよい。
このような場合、音声信号処理部１２は図１１Ａのような構成とすればよい。
【００６４】
図１１Ｂは、図３の構成に加えてノイズ測定部１２ｆを有する例である。
ノイズ測定部１２ｆは、ノイズ抑制モードの動作時に、ノイズ抑制音声信号Ｓａについてノイズレベル測定を行う処理部である。
このように音声信号処理部１２において、ノイズレベル測定を行う機能を備えるようにすることで、後述する図１２Ｃ、図１３Ｂのようなモード制御処理が可能となる。
【００６５】
なお、図３、図１１Ａ、図１１Ｂにおいて、ＡＧＣ処理部１２ａ、レベル調整部１２ｂ、音質・音響効果処理部１２ｃは、一般的な音声信号処理として実行される機能を示している。本実施の形態に相当する撮像装置１においては、音声信号処理部１２においてこれらの３つの機能が必ずしもすべて搭載される必要があるわけではない。
また、一般的な音声信号処理として、図示及び説明していない処理機能が追加されることも当然に考えられる。
本実施の形態の音声信号処理部１２としては、少なくともノイズ抑制処理部１２ｄを備える。また伝達関数測定部１２ｅは備える場合と備えない場合の両方が考えられる。また伝達関数測定部１２ｅは備える場合と備えない場合の両方において、ノイズ測定部１２ｆを備えるようにすることも考えられる。
また、伝達関数測定部１２ｅやノイズ測定部１２ｆは音声信号処理部１２（すなわち収音信号から録画用等の音声信号ＤＴ−Ａを生成するための処理ブロック）の機能として説明したが、例えばＣＰＵ７等、音声信号処理部１２とは別の演算処理装置において実現してもよい。
【００６６】
＜５．モード制御例＞
続いて、キャリブレーションモードが実行される撮像装置１において、キャリブレーションモードとノイズ抑制モードのモード制御について各種の例を述べる。
【００６７】
例えば図２、図３で示した撮像装置１では、工場出荷前の調整行程でキャリブレーションモードが実行されるとしたが、それ以外の機会にキャリブレーションモードが実行されてもよい。図１２は、ＣＰＵ７が音声信号処理部１２にキャリブレーションモードを実行させる場合の処理例を示している。
【００６８】
図１２Ａは、ユーザの操作に応じて実行する例である。ＣＰＵ７はユーザの操作入力部４からの操作によりキャリブレーションモードの実行を指示する操作を行ったことを検知したら、処理をステップＦ１０からＦ１１に進め、キャリブレーションモード処理、すなわち図７で説明した処理を実行する。
【００６９】
図１２Ｂは、所定期間経過を実行のトリガとする例である。
ＣＰＵ７はステップＦ２０で、前回のキャリブレーション実行時からの期間を判定する。
そしてステップＦ２１で所定期間経過していると判定した場合は、ステップＦ２２でキャリブレーションモード処理（図７の処理）を実行する。キャリブレーション実行後は、その後のステップＦ２０の判断のために、ステップＦ２３でキャリブレーション実行日時の情報を記憶する。
この場合、例えばＣＰＵ７がステップＦ２１で、前回実行時より「半年経過」「一年経過」などを判断するようにすれば、その半年や一年ごとに定期的にキャリブレーションモードの動作が実行されることになる。
【００７０】
図１２Ｃは、ノイズ悪化に応じてキャリブレーションモードを実行する例である。これは図１１Ｂのように音声信号処理部１２にノイズ測定部１２ｆが実装されている場合（ノイズ測定が可能な場合）に実行できるモード制御例である。
ＣＰＵ７は定期的にステップＦ３０のノイズレベルの測定結果の取り込み処理を行い、現時点でのノイズ測定結果を確認する。その結果、Ｓ／Ｎ悪化と判断した場合は、ＣＰＵ７はステップＦ３１からＦ３２に進み、キャリブレーションモード処理（図７の処理）を実行する。
【００７１】
例えば以上の各例のようにＣＰＵ７は、ユーザの操作、キャリブレーションの不実行継続期間に応じて、或いは音声信号品質測定（ノイズレベル測定）結果に応じて、キャリブレーションモード処理を実行し、伝達関数情報（Ｈｉｏ，ｈｉｏ）を更新することで、ノイズ音の経時変化等に対応したノイズ低減処理が可能となる。
【００７２】
なお、図１２Ｂ、図１２Ｃの処理ではユーザの意思に関係なくキャリブレーションモード処理が発動されてしまうため、図１３Ａ，図１３Ｂのような処理としてもよい。
図１３Ａの処理は、ＣＰＵ７はステップＦ４０で、前回のキャリブレーション実行時からの期間を判定する。
そしてステップＦ４１で所定期間経過していると判定した場合は、ステップＦ４２でキャリブレーションの実行推奨提示をユーザに対して行うための制御を行う。例えば表示部３に「キャリブレーション実行をお勧めします」等の表示を実行するように表示制御部２に指示する。あるいは同様のメッセージ内容の音声、もしくは警告としての電子音等を音声出力部１６から出力させる。あるいはその両方の制御を行う。
【００７３】
図１３Ｂの処理は、ＣＰＵ７は定期的にステップＦ５０のノイズレベルの測定結果の取り込み処理を行い、現時点でのノイズ測定結果を確認する。その結果、Ｓ／Ｎ悪化と判断した場合は、ＣＰＵ７はステップＦ５１からＦ５２に進み、キャリブレーションの実行推奨提示をユーザに対して行うための制御（表示制御又は音声出力制御又はその両方）を行う。
【００７４】
ユーザにとっては、推奨提示を見聞きすることで、キャリブレーションモードを実行した方がよいことを知り、任意の時点で実行指示操作を行う。結局図１２Ａの処理でキャリブレーションモード処理が実行されることになる。
このように、キャリブレーションの不実行継続期間に応じて、或いは音声信号品質測定結果に応じて、キャリブレーション実行推奨の提示出力制御を行い、その後ユーザ操作に応じてキャリブレーションモード処理が実行されるようにすることで、ユーザの都合に応じてキャリブレーションモード処理が実行できる。
【００７５】
続いてキャリブレーションモードとノイズ抑制モードの切換制御について述べる。
図１４Ａは、基本的には常時ノイズ抑制モードとする例である。
ＣＰＵ７は通常はステップＦ６２として、音声信号処理部１２にノイズ抑制モードを指示しておく。つまりノイズ抑制処理部１２ｄが通常的に作動する状態としておく。
そしてＣＰＵ７はステップＦ６０としてキャリブレーションモード実行のトリガを検知したときのみステップＦ６１でキャリブレーションモードとしての処理（図７の処理）を実行する。
ステップＦ６０で検知するトリガとは、例えば図１２Ａのユーザ操作であったり、図１２Ｂの所定期間経過、あるいは図１２Ｃのノイズ悪化判定等のことである。
【００７６】
この場合、ノイズ抑制処理部１２ｄは、キャリブレーションモード処理時以外は常時動作しているが、上述の実施の形態において音質的な問題はない。
例えばズーム音をノイズとして抑制する目的を考えると、ズーム音は常時発生するわけではなく、ズーム操作を行った場合のみである。ところが図１０で説明したように機構音用マイクロホン１０Ｂ側は、外来音はほとんど収音しない。このため、ズーム駆動が行われていない期間（ノイズ未発生期間）であっても、出力信号Ｏｂはきわめて低いレベルであり、実質的に減算器４３での減算処理を行ったとしても、出力信号Ｏａに変化は無いためである。その上で、ノイズ発生時（ズーム駆動時）は、適切なノイズ抑制が実現される。
【００７７】
一方、例えばノイズ発生時のみにノイズ抑制モードの指示が行われるようにしてもよい。図１４Ｂには、ノイズとしてズーム音を対象とし、ズーム駆動時のみノイズ抑制モードとする例を示している。
ＣＰＵ７はステップＦ７０ではキャリブレーションモード実行のトリガの有無を判断し、トリガを検知したときのみステップＦ７１でキャリブレーションモードとしてキャリブレーションモード処理（図７の処理）を実行する。
その他の期間では、ステップＦ７２でユーザのズーム操作を監視している。
ユーザがズーム操作を行ったら、ＣＰＵ７はステップＦ７３で音声信号処理部１２に対してノイズ抑制モードを指示する。すなわちノイズ抑制処理部１２ｄの処理を実行させる。そしてＣＰＵ７はステップＦ７４でユーザの操作に応じたズーム駆動を、撮像部５に指示し、ズーム機構５ａを駆動させる。
ズーム駆動が終了したら、ステップＦ７５からＦ７６に進み、ＣＰＵ７は音声信号処理部１２に対してノイズ抑制モードの解除、つまりノイズ抑制処理部１２ｄの処理の終了を指示する。
【００７８】
このような処理によれば、ズーム駆動時のみ、音声信号処理部１２でのノイズ抑制処理部１２ｄの処理が実行されるため、常時的に行われる音声信号処理部１２の処理量を軽減できる。
なお、ここではズーム音を対象としてズーム駆動時にノイズ抑制モードとする例を挙げたが、抑制対象とする機構音に応じて、その機構音発生時にノイズ抑制モードとする例は各種考えられる。例えばオートフォーカス、オートアイリスなどのレンズや絞りの駆動制御時、あるいは内蔵するＨＤＤの動作音発生時に、ノイズ抑制モードとすることなども考えられる。
【００７９】
＜６．各種マイクロホン態様＞
図１の実施の形態の構成例では、撮像装置１に外来音用マイクロホン１０Ａと機構音用マイクロホン１０Ｂを備える構成を述べたが、外来音用マイクロホン１０Ａは、必ず下撮像装置１に内蔵されなくてもよい。
例えば図１５Ａは、撮像装置１にはマイク接続端子１９が設けられ、これに別体の外部マイクロホン１０ＡＳが接続される例である。外部マイクロホン１０ＡＳで得られる音声信号は、マイク入力部１１Ａから出力信号Ｏａとして音声信号処理部１２に供給される。
すなわち撮像装置１としては、機構音用マイクロホン１０Ｂは内蔵するが、図１等で説明した外来音用マイクロホン１０Ａは内蔵されなくて、外付けのマイクロホンが用いられてもよい。
【００８０】
また図１５Ｂでは、撮像装置１に外来音用マイクロホン１０Ａは設けられるが、接続端子１９及びスイッチＳＷも設けられる例を示している。例えば接続端子１９に図１５Ａに示したような外部マイクロホン１０ＡＳが接続された場合は、スイッチＳＷが接続端子側とされ、外部マイクロホン１０ＡＳによる収音信号が、マイク入力部１１Ａから出力信号Ｏａとして音声信号処理部１２に供給されることとなる。外部マイクロホン１０ＡＳが接続されていなければスイッチＳＷは外来音用マイクロホン１０Ａ側に接続される。
つまり撮像時の収音用のマイクロホンを、ユーザが内蔵の外来音用マイクロホン１０Ａとするか、別体の外部マイクロホン１０ＡＳとするかを任意に選択できる構成例である。
【００８１】
この図１５の例のように撮像装置１としては、少なくとも機構音用マイクロホン１０Ｂ及びそれに対応するマイク入力部１１Ｂを備えるが、外来音用マイクロホン１０Ａは備えず、マイク入力部１１Ａ及び接続端子１９を備える構成としてもよい。
【００８２】
なお、別体の外部マイクロホン１０ＡＳを使用する場合は、接続時にキャリブレーションモード処理が実行されることが好ましい。例えばＣＰＵ７は接続端子１９に外部マイクロホン１０ＡＳが接続されたことを検知したら、それをトリガとしてキャリブレーションモード処理を実行する。そして得られた伝達関数情報によりノイズ抑制処理部１２ｄのフィルタ係数を更新する。これにより外部マイクロホン１０ＡＳを用いても適切なノイズ抑制処理が実現できる。
【００８３】
続いて図１６で、２つのマイクロホン１０Ａ、１０Ｂを備える場合の配置例について述べる。
図４，図５では、各マイクロホン１０Ａ、１０Ｂを基板２１の表裏に配置する例を示したが、例えば図１６のような例も想定される。
【００８４】
図１６Ａは、取付部位７０の同一面側に各マイクロホン１０Ａ、１０Ｂを装着する例である。なお取付部位７０とは、基板２１や筐体内部構造物として、マイクロホン１０Ａ、１０Ｂを取り付ける部位を表している。
この場合、外来音用マイクロホン１０Ａは音孔３２側が開放されるように装着し、機構音用マイクロホン１０Ｂは音孔３２側が取付部位７０で塞がれるように装着すればよい。
【００８５】
図１６Ｂは、各マイクロホン１０Ａ、１０Ｂがそれぞれ異なる取付部位７０ａ，７０ｂに装着される例である。
外来音用マイクロホン１０Ａは取付部位７０ａとしての基板等に、音孔３２側が開放されるように配置される。
機構音用マイクロホン１０Ｂは取付部位７０ｂとしての基板等に、音孔３２側が塞がれるように配置される。
【００８６】
図１６Ｃは、各マイクロホン１０Ａ、１０Ｂを同一の取付部位７０の表裏に配置する例であるが、いずれも音孔３２側を取付部位７０によっては塞がない例である。但し機構音用マイクロホン１０Ｂについては、撮像装置１の筐体２２の内部で音響的に密閉された空間ＣＳ内が設けられる場合に、その空間ＣＳ内として、外来音が収音されにくくなるようにした例である。
図１６Ｄもほぼ同様であるが、外来音用マイクロホン１０Ａは筐体２２内ではあるが外部に連通する空間に位置し、一方、機構音用マイクロホン１０Ｂは、筐体２２内であって外部に音響的に連通せず、かつズーム機構５ａなどの動作ノイズ発生源となる機構部７１側に配置した例である。
【００８７】
例えば以上の各例のように、マイクロホン１０Ａ、１０Ｂの配置態様は各種考えられる。もちろん図示した例以外にも各種想定される。
なお、基本的には機構音用マイクロホン１０Ｂは、外来音が収音しにくい取付態様とすることが望ましい。
【００８８】
ところで、ここまでは外来音用マイクロホン１０Ａを１つとしてモノラルで録音する場合を例に説明してきたが、これはあくまで説明を簡略化するためであり、ステレオ収音の場合も、当然に上述してきた技術は適用できる。
例えば図１７Ａに示すように、外来音用マイクロホン１０Ａとして２つのマイクロホン１０ＡＬ、１０ＡＲを搭載する場合、機構音用マイクロホン１０Ｂとしても２つのマイクロホン１０ＢＬ、１０ＢＲを設け、Ｌ、Ｒチャンネルのそれぞれの組（マイクロホン１０ＡＬと１０ＢＬの組、及びマイクロホン１０ＡＲと１０ＢＲの組）で図８のノイズ抑制処理や図６の伝達関数測定処理が行われるようにすればよい。
【００８９】
また図１７Ｂのように、ステレオマイクロホンを構成する外来音用マイクロホン１０ＡＬ、１０ＡＲの設置位置があまり離れていない（メカ的な接続機構特性の差が少ない）場合、機構音用マイクロホン１０Ｂを１つとして、合計３個のマイクロホンユニットを備える例も考えられる。
当然この場合、マイクロホン１０ＡＬと１０Ｂの組、及びマイクロホン１０ＡＲと１０Ｂの組で、図８のノイズ抑制処理や図６の伝達関数測定処理が行われるようにすればよい。
【００９０】
＜７．変形例＞
以上、実施の形態について各種の例を説明してきたが、さらに多様な変形例は各種考えられる。
実施の形態の撮像装置１は、動画撮像を行うビデオカメラとしたが、もちろん静止画撮像のみを行うデジタルスチルカメラであっても、収音音声について音声処理を行う装置であれば同様の技術が適用できる。
また音声信号処理については、マイク入力部１１Ａ、１１Ｂでデジタルデータ化された出力信号Ｏａ，Ｏｂを対象としたが、ノイズ抑制処理部１２ｄの処理はアナログ信号処理で実行することも可能である。
【００９１】
また、ビデオカメラ、デジタルスチルカメラ等として、撮像した動画や静止画を記録部９に記録するものをあげたが、その装置自体では動画や静止画の画像データを記録せずに外部機器に送信する撮像装置であっても、本開示の技術は適用できる。
また本開示で言う撮像装置とは、機器態様に限らず、撮像機能と収音音声信号処理を行う機能を有する機器の総称であり、所謂ビデオカメラ、デジタルスチルカメラ以外にも、携帯電話機、情報処理装置、ゲーム機等で撮像機能及び収音音声信号処理機能を有する機器が該当する。また撮像機能のない各種電子機器、少なくともマイクロホンで音声収音を行う各種機器において本開示のノイズ抑制処理の技術を応用することも可能である。例えば情報処理装置、ゲーム機、携帯電話機、録音装置などである。
【００９２】
実施の形態では主にズーム音をノイズとして抑制対象とする例で述べたが、他の機構音についても同様に適用できる。例えばズーム動作以外のレンズ系駆動音が発生する場合（オートフォーカスによるレンズ駆動音やオートアイリスによる絞り駆動音）でも、本開示の技術は有用である。
さらに記録部９等としてＨＤＤが内蔵される場合のＨＤＤ駆動音や、ファンが内蔵される場合のファンモータ音や風切り音などをノイズとして低減させたい場合も、本開示の技術は有用である。
キャリブレーションモード処理を、これらノイズとして抑制対象となる音を発生させた状態で行えば、ノイズ抑制モードとして適切なノイズ低減が可能となる。
【００９３】
なお本技術は以下のような構成も採ることができる。
（１）撮像素子部、及び被写体からの入射光を上記撮像素子部に結像させるレンズ系を有する撮像部と、
上記撮像部の上記撮像素子部で光電変換された信号から撮像画像信号を生成する撮像信号処理部と、
外来音を収音する外来音用マイクロホンで得られる音声信号を入力する第１のマイク入力部と、
装置機構音を収音する機構音用マイクロホンと、
上記機構音用マイクロホンで得られる音声信号を入力する第２のマイク入力部と、
上記第１のマイク入力部からの音声信号について、上記第２のマイク入力部からの音声信号から生成した機構音キャンセル信号を用いて機構音成分が低減されたノイズ抑制音声信号を生成するノイズ抑制処理部と、
を備えた撮像装置。
（２）上記機構音用マイクロホンから上記外来音用マイクロホンへの伝達関数情報を記憶する記憶部を備え、
上記ノイズ抑制処理部は、上記第２のマイク入力部からの音声信号について上記伝達関数情報に基づくフィルタ処理で上記機構音キャンセル信号を生成する上記（１）に記載の撮像装置。
（３）上記記憶部には、上記伝達関数情報として、上記機構音用マイクロホンから上記外来音用マイクロホンへの伝達関数の周波数軸表現または時間軸表現での応答の情報が記憶されており、
上記ノイズ抑制処理部は、上記フィルタ処理で、上記応答を上記第２のマイク入力部からの音声信号に畳み込んで上記機構音キャンセル信号を生成し、該機構音キャンセル信号を上記第１のマイク入力部からの音声信号から減算することで、上記ノイズ抑制音声信号を生成する上記（２）に記載の撮像装置。
（４）上記第１のマイク入力部からの音声信号と、上記第２のマイク入力部からの音声信号との除算処理により、上記機構音用マイクロホンから上記外来音用マイクロホンへの伝達関数を計測する伝達関数測定部と、
キャリブレーション動作として、装置機構音を発生させた状態で、上記伝達関数測定部に伝達関数の計測を実行させ、計測に基づいて得られた伝達関数情報を上記記憶部に記憶させるキャリブレーション制御部と、
をさらに備えた上記（２）又は（３）に記載の撮像装置。
（５）上記ノイズ抑制処理部の動作を実行させるノイズ抑制モードと、上記伝達関数測定部の動作の実行させるキャリブレーションモードを指示するモード制御部をさらに備えた上記（４）に記載の撮像装置。
（６）上記モード制御部は、キャリブレーションモードの期間以外は、上記ノイズ抑制モードを指示する上記（５）に記載の撮像装置。
（７）上記モード制御部は、キャリブレーションモードの期間以外において、装置機構音が発生する期間、上記ノイズ抑制モードを指示する上記（５）に記載の撮像装置。
（８）上記モード制御部は、キャリブレーションの不実行継続期間に応じて、或いは音声信号品質測定結果に応じて、キャリブレーション実行推奨の提示出力制御を行う上記（５）乃至（７）に記載の撮像装置。
（９）上記機構音用マイクロホンは、振動板が音響的に撮像装置筐体外部の空間に対して閉ざされた状態で配置されている上記（１）乃至（８）のいずれかに記載の撮像装置。
（１０）外来音を収音する外来音用マイクロホンをさらに備え、
上記外来音用マイクロホンは、振動板が音響的に撮像装置筐体外部の空間と連通された状態で配置されている上記（１）乃至（９）のいずれかに記載の撮像装置。
（１１）上記機構音用マイクロホンは、基板面音孔型のＭＥＭＳマイクロホンとされて基板面側が撮像装置筐体内の基板又は内部構造物に取り付けられる上記（１）乃至（１０）のいずれかに記載の撮像装置。
（１２）上記外来音用マイクロホンは、上面音孔型のＭＥＭＳマイクロホンとされて下面側が撮像装置筐体内の基板又は内部構造物に取り付けられる上記（１）乃至（１１）のいずれかに記載の撮像装置。
（１３）上記外来音用マイクロホンはステレオマイクロホンセットが装備され、
上記機構音用マイクロホンは、一つのマイクロホンが装備される上記（１）乃至（１２）のいずれかに記載の撮像装置。
（１４）上記機構音用マイクロホンは、上記装置機構音として、少なくとも上記撮像部における上記レンズ系のズーム動作音を収音可能に配置されている上記（１）乃至（１３）のいずれかに記載の撮像装置。
【符号の説明】
【００９４】
１ 撮像装置、２ 表示部、３ 表示制御部、４ 操作入力部、５ 撮像部、６ 撮像信号処理部、７ ＣＰＵ、８ メモリ部、９ 記録部、１０Ａ 外来音用マイクロホン、１０Ｂ 機構音用マイクロホン、１１Ａ，１１Ｂ マイク入力部、１２ 音声信号処理部、１２ｄ ノイズ抑制処理部、１２ｅ 伝達関数測定部、１２ｆ ノイズ測定部、２１ 基板、２２ 筐体、３１ 振動板、３２ 音孔
【技術分野】
【０００１】
本開示は、動画や静止画を撮像する撮像装置に関し、特に撮像時に収音する音声信号の処理に関する。
【先行技術文献】
【特許文献】
【０００２】
【特許文献１】特開２０１１−７００４６号公報
【背景技術】
【０００３】
動画や静止画を撮像し、画像データとして記録或いは送信する撮像装置では、マイクロホンにより外部音声を集音し、画像データとともに記録或いは送信することが行われている。
この場合、マイクロホンは本来外部音声、即ち撮像対象たる被写体や周囲の音声を目的として収音し、これを画像と共に記録等するものである。ところが、撮像装置の内部機構音が混入することが避けがたい。
例えば一例として、ユーザが撮像中にズーム操作を行った場合、ズームレンズが駆動されるが、その際の駆動音が発生し、これがマイクロホンによって拾われる。つまり例えば動画と共に記録する音声に、本来混入してほしくないズーム音等が混入してしまう。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
これまで、ズーム機構を持つデジタルカメラ多くが、動画撮影時の録音で、このノイズの抑制に多くの技術提案があったが、多くはメカ的な工夫により機構の静音化を図るものや、または音源分離技術を使って大きな信号処理リソースを消費するものなどであった。しかしこのような技術ではコストアップや信号処理負担の増大など、実用上、広く採用することが難しく、またノイズ混入低減の効果が大きいとは言えなかった。
そこで本開示では、撮像装置において簡易な処理で、収音音声から、例えばズーム駆動音などの装置機構音が低減され、品質の良い収音音声が得られるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本開示の撮像装置は、撮像素子部、及び被写体からの入射光を上記撮像素子部に結像させるレンズ系を有する撮像部と、上記撮像部の上記撮像素子部で光電変換された信号から撮像画像信号を生成する撮像信号処理部と、外来音を収音する外来音用マイクロホンで得られる音声信号を入力する第１のマイク入力部と、装置機構音を収音する機構音用マイクロホンと、上記機構音用マイクロホンで得られる音声信号を入力する第２のマイク入力部と、上記第１のマイク入力部からの音声信号について、上記第２のマイク入力部からの音声信号から生成した機構音キャンセル信号を用いて機構音成分が低減されたノイズ抑制音声信号を生成するノイズ抑制処理部とを備える。
【０００６】
本開示の音声収音方法は、 撮像素子部、及び被写体からの入射光を上記撮像素子部に結像させるレンズ系を有する撮像部と、上記撮像部の上記撮像素子部で光電変換された信号から撮像画像信号を生成する撮像信号処理部とを有する撮像装置の音声収音方法として、外来音を収音する外来音用マイクロホンで得られる音声信号を第１のマイク入力部で入力し、装置機構音を収音する機構音用マイクロホンで得られる音声信号を第２のマイク入力部で入力し、上記第１のマイク入力部からの音声信号について、上記第２のマイク入力部からの音声信号から生成した機構音キャンセル信号を用いて機構音成分が低減されたノイズ抑制音声信号を生成する音声収音方法である。
【０００７】
このような本開示の撮像装置では、機構音用マイクロホンを配置し、内部の機構音を収音する。この機構音を収音した音声信号を用いて機構音キャンセル信号を生成する。外来音用マイクロホンにも機構音は混入するが、この外来音用マイクロホンからの音声信号と機構音キャンセル信号を演算することで、ノイズ抑制音声信号、即ち機構音が低減された外来音としての音声信号を得ることができる。
【発明の効果】
【０００８】
本開示によれば、機構音用マイクロホンを撮像装置に設け、機構音用マイクロホンで得られた音声信号から機構音キャンセル信号を生成する。これを用いて外来音用マイクロホンからの音声信号に対してノイズ（機構音）の低減処理を行う。これにより信号処理負担の少ない簡易な処理で機構音低減効果の高いノイズ抑制音声信号を得ることができ、撮像装置における音声収音手法として実用に適している。
【図面の簡単な説明】
【０００９】
【図１】本開示の実施の形態の概要の説明図である。
【図２】実施の形態の撮像装置のブロック図である。
【図３】実施の形態の音声信号処理部の構成の説明図である。
【図４】実施の形態のエレクトレットマイクロホン配置の説明図である。
【図５】実施の形態のＭＥＭＳマイクロホン配置の説明図である。
【図６】実施の形態の伝達関数測定部の動作の説明図である。
【図７】実施の形態のキャリブレーションモードの制御処理のフローチャートである。
【図８】実施の形態のノイズ抑制処理部のブロック図である。
【図９】実施の形態のノイズ抑制処理の説明図である。
【図１０】実施の形態のズーム音波形と外部音声波形の説明図である。
【図１１】実施の形態の音声信号処理部の他の構成の説明図である。
【図１２】実施の形態のキャリブレーションモードへの移行処理のフローチャートである。
【図１３】実施の形態のキャリブレーションモードの推奨提示処理のフローチャートである。
【図１４】実施の形態のモード制御処理のフローチャートである。
【図１５】実施の形態の外来音用マイクロホンの他の例の説明図である。
【図１６】実施の形態のマイクロホン配置例の説明図である。
【図１７】実施の形態のステレオ対応時のマイクロホン配置の説明図である。
【発明を実施するための形態】
【００１０】
以下、本開示の実施の形態として、例えば動画撮像を行う撮像装置（ビデオカメラ）の例を挙げ、次の順序で説明する。
＜１．実施の形態の撮像装置の概要＞
＜２．撮像装置の構成＞
＜３．キャリブレーションモードとノイズ抑制モード＞
＜４．音声信号処理部の他の構成例＞
＜５．モード制御例＞
＜６．各種マイクロホン態様＞
＜７．変形例＞
【００１１】
＜１．実施の形態の撮像装置の概要＞
図１で実施の形態の撮像装置の概要を説明する。
実施の形態の撮像装置１は、ユーザが動画撮像に使用する装置であり、図２で後述するように被写体撮像や、撮像した画像データの記録等、ビデオカメラとしての通常の動作を行う。
【００１２】
画像撮像時には、外部音声も収音する。このため撮像装置１には、図１に模式的に示すように外来音用マイクロホン１０Ａが設けられる。もしくは撮像装置１にはマイク接続端子部が形成され、別体のマイクロホンが接続され、それが外来音用マイクロホン１０Ａとされてもよい。
【００１３】
外来音用マイクロホン１０Ａは、被写体や周囲の音声を収音する目的で設けられる。このため別体のマイクロホンではなく、撮像装置１に外来音用マイクロホン１０Ａが内蔵装備される場合は、その外来音用マイクロホン１０Ａは、振動板が音響的に撮像装置筐体外部の空間と連通された状態で配置される。例えば撮像装置１の筐体２２上に表出するように取り付けられたり、筐体２２の内部であっても音通孔を介して外部空間に音響的に連通するように取り付けられる。即ち外来音用マイクロホン１０Ａの振動板が、外来音声に対して適切に反応して振動するように配置される。
なお、「音響的」に連通するとは、振動板が直接外部空間と接しているか、或いは風切り音の防止用のフィルムなどがあったとしても、外来音が妨げられずに振動板へ到来するような状態を言う。
【００１４】
一般的なビデオカメラ等では、外来音用マイクロホン１０Ａは搭載されており、これによって動画撮像時等に音声収音も行う。
本実施の形態の場合、これに加えて、例えば筐体２２の内部に機構音用マイクロホン１０Ｂが配置される。機構音用マイクロホン１０Ｂは、例えばズーム機構５ａなどの装置機構の駆動音等、装置動作に付随する機構音を収音する。
また後述するが、機構音用マイクロホン１０Ｂは、振動板が音響的に撮像装置１の筐体２２の外部空間に対して閉ざされた状態で配置されており、外来音は殆ど収音しないようにされている。
【００１５】
一例として図１のように、２つのマイクロホン（外来音用マイクロホン１０Ａ、機構音用マイクロホン１０Ｂ）が、内部の基板２１の上下に設置される。
本実施の形態では、この２つのマイクロホン１０Ａ，１０Ｂの各出力信号Ｏａ、Ｏｂに対して音声信号処理部１２でノイズ抑制処理を加えることにより、高Ｓ／Ｎ（Signal to Noise Ratio）な収音信号を生成する。
この場合のＳ／Ｎの「Ｓ（信号）」とは、撮像対象の人物の音声や周囲環境音など録音対象成分（Ｐ）を意味し、「Ｎ（ノイズ）」は、例えばズーム機構５ａなどの内部機械振動（源振動をＶとする）を起因とする音の収音信号への混入成分である。
つまり図１で言えば、本実施の形態では、Ｐ起因の音の成分をなるべく大きく、Ｖ起因の音の成分をなるべく小さくした収音信号を生成する。
【００１６】
なお、ここでは、振動Ｖは、筐体２２内のメカ部品を伝達し基板２１に到達することを前提としている。通常、単独のマイクロホンによる収音でズーム音の混入が大きいのは、この振動Ｖ→基板への伝達が多く、結果的に単独のマイクロホンユニット全体に振動が伝わり、慣性の法則により（振動板に対して）マイクロホンユニット全体が動いてしまい、相対的に振動板が動いて電圧が発生するためである。
【００１７】
＜２．撮像装置の構成＞
実施の形態の撮像装置の構成を図２に示す。図２は撮像装置１の内部構成例を概略的に示すブロック図である。
図示するように撮像装置１は、表示部２、表示制御部３、操作入力部４、撮像部５、撮像信号処理部６、ＣＰＵ（Central Processing Unit）７、メモリ部８、記録部９、外来音用マイクロホン１０Ａ、機構音用マイクロホン１０Ｂ、マイク入力部１１Ａ、１１Ｂ、音声信号処理部１２、外部インターフェース１３、ネットワーク通信部１４、ビデオエンコーダ１５、音声出力部１６、システムバス２０を有する。
【００１８】
表示部２は、ユーザ（撮像者等）に対して各種表示を行う表示部であり、例えば撮像装置１の筐体上に形成されるＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスにより形成される。またいわゆるビューファインダーとしてＬＣＤや有機ＥＬディスプレイ等で形成されてもよい。
表示制御部３は、この撮像装置１の全体の制御部であるＣＰＵ７の制御に基づいて、表示部２に各種表示を実行させる。例えば撮像記録した動画や静止画を再生表示させたり、静止画撮像の際のレリーズ待機中や動作撮像記録開始のスタンバイ中に撮像される各フレームの撮像画像データによる動画としてのスルー画（被写体モニタリング画像）を表示部２に表示させる。また表示制御部３は、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を表示部２に実行させる。
【００１９】
操作入力部４は、ユーザの操作を入力する入力手段として機能し、入力された操作に応じた信号をＣＰＵ７等へ送る。
この操作入力部４としては、例えば撮像装置１の筐体２２上に設けられる各種操作子や、表示部２に形成されたタッチパネルなどを有する。
筐体２２上の操作子としては、例えば電源キー、ズームキー、シャッターボタン（レリーズボタン）、モードキー、メニュー操作キー等が設けられる。
またタッチパネルと表示部２に表示させるアイコンやメニュー等を用いたタッチパネル操作により、各種の操作が可能とされてもよい。
【００２０】
撮像部５は、被写体光を受光し電気信号に変換する撮像素子（イメージセンサ）、被写体からの光を撮像素子に集光するためのレンズ系、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、絞り機構などを有している。
撮像部５内のこれらの駆動機構は、全体の制御部であるＣＰＵ７からの制御信号に応じて駆動される。
撮像素子は、例えば、ＣＣＤ（Charge Coupled Device）型、ＣＭＯＳ（Complementary Metal OxideSemiconductor）型などの撮像素子とされる。
【００２１】
撮像信号処理部６は、撮像部５の撮像素子で得られた電気信号についてＡ／Ｄ変換、ＩＳＯゲイン調整、その他の各種信号処理を行い、撮像画像信号ＤＴ−Ｖとしてビデオエンコーダ１５に供給する。
【００２２】
外来音用マイクロホン１０Ａは上述したように主に外来音を収音する。外来音用マイクロホン１０Ａで得られた音声信号はマイク入力部１１Ａで入力段増幅やＡ／Ｄ変換が行われてマイク出力信号Ｏａとして音声信号処理部１２に供給される。
機構音用マイクロホン１０Ｂは上述のように主に筐体内部の機構音を収音する。機構音用マイクロホン１０Ｂで得られた音声信号はマイク入力部１１Ｂで入力段増幅やＡ／Ｄ変換が行われてマイク出力信号Ｏｂとして音声信号処理部１２に供給される。
【００２３】
音声信号処理部１２は、例えばＤＳＰ（Digital Signal Processor）で構成され、ＣＰＵ７の制御に基づき各種の音声信号処理を行う。例えば音声信号処理部１２としてのＤＳＰは図３のように、信号処理機能として、ＡＧＣ（Automatic Gain Control）処理部１２ａ、レベル調整部１２ｂ、音質・音響効果処理部１２ｃ、ノイズ抑制処理部１２ｄ、伝達関数測定部１２ｅとしての機能が内部プログラムにより実行される。
ＡＧＣ処理部１２ａは、収音信号のＡＧＣ処理を行い、例えば過大な入力音声等を調整する。
レベル調整部１２ｂは収音信号の入力レベルを調整する。
音質・音響効果処理部１２ｃは、イコライジング処理やエコー、リバーブ処理等を収音信号に対して実行し、所望の音質や音響効果を付与する。
ノイズ抑制処理部１２ｄは、本実施の形態において、図１で述べたように機構音をキャンセルした収音信号を得る処理を行う。詳しくは後述する。
伝達関数測定部１２ｅは、機構音キャンセルに用いる伝達関数情報を得るために、２つのマイクロホン１０Ａ，１０Ｂ間の伝達関数の測定を行う。詳しくは後述する。
【００２４】
このような音声信号処理部１２では、ＣＰＵ７からの制御信号Ｓｃに基づいて各処理機能（１２ａ〜１２ｅ）が実行される。通常の撮像時は、ＡＧＣ処理部１２ａ、レベル調整部１２ｂ、音質・音響効果処理部１２ｃが行われて、撮像画像信号ＤＴ−Ｖと共に記録や送信する音声信号ＤＴ−Ａが得られる。この音声信号ＤＴ−Ａはビデオエンコーダ１５に供給される。
特に本実施の形態では、後述するノイズ抑制モードが指示される期間は、この音声信号ＤＴ−Ａは、ノイズ抑制処理部１２ｄ部によってノイズ抑制処理が行われた信号となる。
【００２５】
ビデオエンコーダ１５は、記録や送信出力のためのデータエンコード処理を行う。ビデオエンコーダ１５には撮像画像信号ＤＴ−Ｖや音声信号ＤＴ−Ａが供給され、これらの信号についてエンコード処理を行う。例えばＭＰＥＧ（Moving Picture Experts Group）方式の圧縮エンコード等を行ってビデオファイル（動画像及び音声）を生成する。
このビデオファイルは、記録部９に記録されたり、ネットワーク通信部１４や外部インターフェース１３を介して外部に送信出力される。
またビデオエンコーダ１５は撮像画像信号ＤＴ−Ｖをスルー画用の信号として表示制御部２に転送して、表示部３でのスルー画表示を可能とする。
【００２６】
メモリ部８は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなど、ＣＰＵ７が使用、参照する内部メモリを包括的に示している。
例えばＲＡＭは、ＣＰＵ７の各種データ処理の際の作業領域として、データやプログラム等を一時的に格納する。
ＲＯＭやフラッシュメモリ（不揮発性メモリ）には、ＣＰＵ７が各部を制御するためのＯＳ（Operating System）や、外部通信、ネットワーク通信等に必要なアプリケーション等を記憶する。
フラッシュメモリには、さらに画像ファイル等が記憶される場合もある。また後述する伝達関数情報や、音声信号処理部１２で用いるフィルタ係数等の情報がフラッシュメモリに記憶される場合もある。
【００２７】
記録部９は、例えば不揮発性メモリ等からなり、ビデオファイル等のコンテンツファイル、その画像ファイルの属性情報及びサムネイル画像等を記憶する記憶領域として機能する。
記録部９の実際の形態は多様に考えられる。例えば記録部９は、撮像装置１に着脱できるメモリカード（例えば可搬型のフラッシュメモリ）と、該メモリカードに対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置１に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。
また後述する伝達関数情報や、音声信号処理部１２で用いるフィルタ係数等の情報が記録部９に記憶される場合もある。
【００２８】
外部インターフェース１３は、パーソナルコンピュータや外部ストレージ機器等との外部デバイスとの間で各種データ通信を行う。撮像装置１は、外部インターフェース１３による外部機器との通信で、撮像記録したビデオファイル等を外部機器に転送したり、各種情報を外部機器から入力することが可能である。
ネットワーク通信部１４は、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行う。
【００２９】
音声出力部１６は、ＣＰＵ７の指示に基づいて、メッセージ音声や電子音によりユーザに音声告知を行う。或いはビデオファイルの再生時に、動画等とともに記録されている音声データの再生出力を行う。
【００３０】
ＣＰＵ７は、例えばメモリ部８内に記憶されたプログラムを実行することで、この撮像装置１全体を統括的に制御する。
例えばＣＰＵ７は、ユーザの操作に応じた撮像動作や撮像記録した画像ファイルの再生動作、さらに外部機器通信やネットワーク通信としての通信動作等について、必要各部の動作を制御する。
さらに本実施の形態の場合、ＣＰＵ７は、音声収音に関して、後述するノイズ抑制モードの制御処理や、キャリブレーションモードの制御処理、ノイズ抑制モードとキャリブレーションモードの切換や設定指示などを行う。つまりＣＰＵ７は請求項でいうキャリブレーション制御部やモード制御部としても機能する。
【００３１】
システムバス２０は、ＣＰＵ７などの各ブロックを相互に接続し、それぞれのブロック間での信号の授受を可能とする。
【００３２】
この撮像装置１に搭載される外来音用マイクロホン１０Ａ、機構音用マイクロホン１０Ｂについて説明する。
これらのマイクロホン１０（１０Ａ及び１０Ｂ）としてはどのようなマイクロホンを用いても良いが、一例としてエレクトレットマイクロホンやＭＥＭＳ（Micro Electro Mechanical Systems）マイクロホンが考えられる。
【００３３】
図４Ａはエレクトレットマイクロホンの例を示している。
マイクロホンユニットは全指向性とすると、通常マイクロホンユニットには音を取り入れる音孔３２が１つ開いており、ここから入ってきた音が振動板（振動膜）３１に到達し、これを振るわせることで、出力に電圧が発生する。
図示のマイクロホン１０は上面側が音孔３２とされ、内部の振動板（振動膜）３１を空間に音響的に連通させている。
【００３４】
このようなマイクロホン１０を用いる場合、図４Ｂ、図４Ｃに示すように配置する。基板２１とは、撮像装置１内で、図１の構成を実現する電子部品２３を配置した基板である。この基板２１に対し、外来音用マイクロホン１０Ａは、音孔３２が解放されるように底面側をマウントする。
一方、機構音用マイクロホン１０Ｂは、音孔３２が基板２１でふさがれるように、音孔３２側が基板に接する状態でマウントする。
つまり基板２１の上面側、下面側において、音孔の方向を揃えて各マイクロホン１０Ａ、１０Ｂを設置する。
これにより外来音用マイクロホン１０Ａは外部の音を収音しやすいように振動板３１が表に出ている一方、機構音用マイクロホン１０Ｂは、基板設置時に音孔３２が塞がれる。
なお、このようにマイクロホン１０Ａ、１０Ｂを配置するのは基板２１に限られない。撮像装置１の筐体内の基板以外の構造物であってもよい。
【００３５】
この場合、両マイクロホン１０Ａ、１０Ｂは、同一の基板・構造物に設置されているため、ほぼ同じズーム機構５ａからの振動を受けているが、録音対象の音に関しては、外来音用マイクロホン１０Ａは大きく収音できるものの、機構音用マイクロホン１０Ｂは筐体内部であり、かつ音孔が塞がれているため、ほとんど録音目的の音声は入力されない。このことを利用して、後述のように高Ｓ／Ｎの収音信号を信号処理により生成する。
【００３６】
以上の図４では小型エレクトレットマイクロホンを示したが、現在ではＭＥＭＳマイクの使用も一般化しつつあり、図５のようにこれを使用することもできる。
図５ＡはＭＥＭＳマイクロホンの構造を模式的に示している。ＭＥＭＳマイクロホンとしては、上面音孔型のものや基板面音孔型のものが存在する。
いずれの型も内部空間に振動板３１が形成され、音孔３２からの音によって振動する。上面音孔型は、図示のように基板２１に装着するランド３３とは逆の上面側に音孔３２が形成されている。基板面音孔型は基板２１に装着するランド３３とは同じ面に音孔３２が形成されている。これらは音響・電気特性はほぼ同じであるにも関わらず、実装上の都合に応じるために製造されるものである。
本実施の形態においては、このようなＭＥＭＳマイクロホンとしての２つのタイプを利用することが好適である。
【００３７】
図５Ｂ、図５Ｃに示すように、外来音用マイクロホン１０Ａは上面音孔型とし、これを基板２１に実装する。機構音用マイクロホン１０Ｂは基板面音孔型を用い、これを図示のように基板２１の裏側に実装する。
これによって同一基板上に、外来音の収音に好適な外来音用マイクロホン１０Ａと、外来音が収音されにくい機構音用マイクロホン１０Ｂを実現できる。実装的にも利便性が高い。
【００３８】
なお、図４，図５で説明した各マイクロホン１０Ａ、１０Ｂは、なるべく近い応答特性（ゲイン、周波数特性）であることが好ましいが、現実的な音響部品製造では、特性のばらつきがでることはやむを得ない。このため、音声信号処理部１２では特性誤差を解消して適切なノイズ抑制処理を実現するため、後述のキャリブレーションモードを行うことが好ましい。
【００３９】
＜３．キャリブレーションモードとノイズ抑制モード＞
本実施の形態では、音声信号処理部１２において、図３で示したようにノイズ抑制処理部１２ｄ、伝達関数測定部１２ｅとしての機能が実装され、これらによりキャリブレーションモードとノイズ抑制モードとしての処理が行われる。
ここで、ノイズ抑制モードとは、ズーム駆動音などの機構音を収音音声からキャンセルする処理を行うモードであり、一方、キャリブレーションモードとは、ノイズ抑制モードが適切に実行されるようにするため、あらかじめ伝達関数情報を得る動作を行うモードである。
以下では、伝達関数情報としては、機構音用マイクロホン１０Ｂから外来音用マイクロホン１０Ａへの伝達関数の、周波数軸表現または時間軸表現での応答の情報とする例で説明する。なお、伝達関数の応答の情報とは、周波数軸や時間軸上でこれを簡易化・修正した応答の情報も含む。
【００４０】
なお、キャリブレーション（伝達関数測定）モード、と、ノイズ抑制モードは、音声信号処理部１２として機能するたとえばＤＳＰ等の演算部に対してプログラム変更を行うことで実現できる。例えばＣＰＵ７が音声信号処理部１２に対してノイズ抑制モードを指示することによりノイズ抑制処理部１２ｄとしての動作が実行され、またキャリブレーションモードを指示することにより、伝達関数測定部１２ｅとしての動作が実行される。
【００４１】
まずキャリブレーションモードについて説明する。
キャリブレーションモードは、主に、本実施の形態の撮像装置１の生産工場や、サービスセンターで実施される、キャリブレーション（伝達関数測定）専用モードである。
特に、カメラのズーム音は、工場でのメカ的な取り付け方など、ズーム音（ノイズ）自体に個体差があるため、各個体を工場で組み上げた後、実際に、工場内の静かな場所（または専用の測定ボックスなど）などの静音環境で、その特性測定を行う。具体的には、機構音用マイクロホン１０Ｂから外来音用マイクロホン１０Ａへのズーム音の伝達関数を測定する。
そして、この測定データをシステムに記憶しておくことで、組み上げによるメカの振動の伝達具合やズームモーター部の特性個体差、両マイクロホン１０Ａ、１０Ｂの電気音響特性のばらつき等を吸収し、その後のノイズ抑制モードで適切な機構音キャンセルが実行されるようにする。
【００４２】
キャリブレーションモードの動作を図６，図７で説明する。
図６Ａは伝達関数測定部１２ｅで実行される処理の流れを示している。キャリブレーションモードの実行時には、図６Ｂに示すように、静音環境においてズーム機構５ａをテスト作動させる。このときに各マイクロホン１０Ａ、１０Ｂで収音される音声信号が、マイク入力部１１Ａ，１１Ｂからの出力信号Ｏａ，Ｏｂとして音声信号処理部１２に供給されるが、音声信号処理部１２の伝達関数測定部１２ｅは、この出力信号Ｏａ，Ｏｂを用いて伝達関数測定を行う。
【００４３】
図６Ａに示すように伝達関数測定部１２ｅは、出力信号Ｏａについて帯域制限フィルタ処理Ｓ１で不要帯域をカットする。すなわちＬＰＦ（Low Pass Filter）処理およびＨＰＦ（High Pass Filter）処理により、ズーム音に相当する帯域を抽出する。そしてスムーシング処理Ｓ３として周波数軸でのスムーシングを行う。
同様に伝達関数測定部１２ｅは出力信号Ｏｂについて帯域制限フィルタ処理Ｓ２で不要帯域をカットしてズーム音に相当する帯域を抽出し、スムーシング処理Ｓ４を行う。
そして除算処理Ｓ５としてＯａ／Ｏｂの演算を行って、その結果から伝達関数算出処理Ｓ６、時間軸ＦＩＲ係数算出処理Ｓ７を行う。
【００４４】
この図６Ａの処理は、静音環境下にてズーム機構５ａをテスト作動させたときの、両マイクロホンの出力を除算することにより「ズームノイズ」に関わる「機構音用マイクロホン１０Ｂから外来音用マイクロホン１０Ａへの伝達関数」を測定するものである。
つまり、
（「振動Ｖ→外来音用マイクロホン１０Ａ」の伝達関数）／（「振動Ｖ→機構音用マイクロホン１０Ｂ」の伝達関数）＝（「機構音用マイクロホン１０Ｂ→外来音用マイクロホン１０Ａ」の伝達関数）
を意図したものである。ここでは、この伝達関数をＨｉｏとし、これの時間軸のインパルス応答としての表現をｈｉｏとしている。
本例では、このキャリブレーションモードの動作で求められた、時間軸インパルス応答ｈｉｏ、又は伝達関数Ｈｉｏの一方又は両方を、伝達関数情報としてメモリ部８または記録部９に記憶しておき、後のノイズ抑制モード時に用いることができるようにする。
【００４５】
なお、図６Ａに示したとおり、除算処理Ｓ５の前にスムージング処理Ｓ３、Ｓ４において周波数軸でスムージングを掛けていることにより、除算後のＨｉｏ特性の複雑化を防ぎ、同時に時間軸ｈｉｏの応答がなるべく短くおさまるように工夫している。
同様の工夫として、伝達関数やインパルス応答は、計測したそのままの特性ではなく、例えばＳ／Ｎの関係から測定信頼性が薄い低域や高域に関して、周波数軸または時間軸でこの帯域をカットした上でＨｉｏ、ｈｉｏを設計することは当然に考えられる。また特定帯域の位相情報を時間軸で表現しようとすると、不用意にフィルタのタップ数が長くなったり、実行の結果かえってノイズが増えてしまうような場合には、その帯域のゲインを落としてキャンセルを行わない、などを考慮してＨｉｏ、ｈｉｏとすることもできる。
具体的にいえば、伝達関数Ｈｉｏを周波数軸で簡易化して、記憶する「Ｈｉｏ」としてもよい。また、伝達関数Ｈｉｏを周波数軸で簡易化してから時間軸変換して「ｈｉｏ」を得てもよいし、伝達関数Ｈｉｏを時間軸（ｈｉｏ）に変換し、「ｈｉｏ」を簡易化して記憶する「ｈｉｏ」としてもよい。
つまり、キャリブレーションモードで求める伝達関数情報は、伝達関数の周波数軸表現または時間軸表現での応答の情報であるが、その応答の情報とは、後述のノイズ抑制モードでのフィルタ処理の簡易化等を考慮して、周波数軸表現または時間軸表現での応答情報を周波数軸や時間軸上で簡易化・修正した応答の情報でもよい。
【００４６】
図７は、このようなキャリブレーションモードを実行させるためのＣＰＵ７の制御処理例を示している。
キャリブレーションモードを発動する場合、ＣＰＵ７はまずステップＦ１として撮像部５を制御し、ズーム機構５ａのテスト駆動を実行させる。これとともにＣＰＵ７はステップＦ２で音声信号処理部１２に伝達関数測定を指示する。当該制御に応じて音声信号処理部１２では伝達関数測定部１２ｅとしての機能が実行され、上記図６Ａに示した伝達関数測定部Ｈｉｏおよび時間軸インパルス応答ｈｉｏが算出される。音声信号処理部１２はこれらの測定（Ｈｉｏ，ｈｉｏ算出）が完了したら、その旨（もしくは算出値）をＣＰＵ７に通知する。
ＣＰＵ７は、算出完了検知により処理をステップＦ３からＦ４に進め、撮像部５におけるズーム機構５ａのテスト駆動を終了させる。そしてステップＦ５でＣＰＵ７は、算出された時間軸インパルス応答ｈｉｏ（又は伝達関数Ｈｉｏ、あるいは両方）をメモリ部８におけるフラッシュメモリ、あるいは記録部９に記憶させる。
以上でキャリブレーションモードの動作を終了する。
【００４７】
なお、このようなキャリブレーションモードの実行は、工場のような環境では必須であるが、当該の伝達関数に経年変化があった場合でも、ユーザが静音環境で実行することで、対応可能である。このキャリブレーションモード実行タイミングは、システム自体が、ある程度の年月において測定を促すためのアラームをタイマーにて提示しても良いし、残留ノイズがある程度大きくなった、とシステムが判断し、この測定プロセスを促して自動的に実行する場合も考えられる。もちろんユーザが任意タイミングで実行しても良い。これらについては後述する。
【００４８】
次に、実際に、このあらかじめ測定され、システムに記憶された時間軸インパルス応答ｈｉｏを使って運用する、通常の動画録画（録音）時に使用されるノイズ抑制モードについて説明する。
なお、以下の処理では時間軸インパルス応答ｈｉｏが記憶されているとして説明するが、伝達関数Ｈｉｏのみが記憶されている場合は、ノイズ抑制モード開始時に、伝達関数Ｈｉｏから時間軸インパルス応答ｈｉｏ（より具体的には次に説明する伝達関数相当フィルタ４２のフィルタ係数）を算出する処理を行うこととすればよい。さらには、伝達関数Ｈｉｏを時間軸変換した後、さらにそれを簡易化した応答ｈｉｏを算出するようにしてもよい。
また上述のように簡易化した応答「ｈｉｏ」が記憶されている場合や、簡易化した応答「ｈｉｏ」を算出する場合には、以下の説明でいう「時間軸インパルス応答ｈｉｏ」を、「簡易化した応答ｈｉｏ」に置き換えて考えればよい。
【００４９】
図８に音声信号処理部１２におけるノイズ抑制処理部１２ｄの構成（処理手順）を示している。ノイズ抑制処理部１２ｄは、外来音用マイクロホン１０Ａについての出力信号Ｏａについて、位相・遅延調整フィルタ４１で位相および遅延時間調整を行う。
また機構音用マイクロホン１０Ｂについての出力信号Ｏｂについて、伝達関数相当フィルタ４２でフィルタリングを行う。伝達関数相当フィルタ４２は、時間軸インパルス応答ｈｉｏが係数としてセットされたＦＩＲフィルタである。すなわち上述のキャリブレーションモードで記憶された時間軸インパルス応答ｈｉｏに基づいて、ＣＰＵ７は制御信号Ｓｃによって、伝達関数相当フィルタ４２の係数設定を行う。
【００５０】
そして減算器４３で、位相・遅延調整フィルタ４１の出力から伝達関数相当フィルタ４２の出力を減算する。さらにイコライザ４４でイコライジングを行って処理後の出力（ノイズ抑制音声信号Ｓａ）とする。このノイズ抑制音声信号Ｓａは、ズーム音等の機構音が低減された収音信号である。
音声信号処理部１２では、このノイズ抑制音声信号Ｓａについて、例えばレベル調整部１２ｂや音質・音響効果処理部１２ｃの処理等が行われて音声信号ＤＴ−Ａが出力される。この音声信号ＤＴ−Ａが、例えばビデオエンコーダ１５で記録用のエンコードされる対象となり、あるいは外部送信される。
【００５１】
すなわちこの図８に示す処理は、実際の両マイクロホン１０Ａ，１０Ｂの出力のうち、機構音用マイクロホン１０Ｂの出力に時間軸インパルス応答ｈｉｏをＦＩＲフィルタの係数として掛けて、外来音用マイクロホン１０Ａの出力から時間軸上で減算することで、ズーム音等のノイズが低減されたノイズ抑制音声信号Ｓａを得るものである。
なお位相・遅延調整フィルタ４１は、この場合に、両者の信号間（出力信号Ｏａ，Ｏｂ間）のディレイまたは位相を調整するために、外来音用マイクロホン１０Ａの出力信号Ｏａに対して遅延処理や移相処理を行って時間軸での調整を行うものである。
またイコライザ４４は、減算器４３での減算信号の音を整えるためのイコライジングを行うものである。
【００５２】
ここで改めて、キャリブレーションモード及びノイズ抑制モードの動作を、式で説明する。
上述の通り、外来音用マイクロホン１０Ａ、機構音用マイクロホン１０Ｂの出力をＯａ，Ｏｂとし、さらに図９にも示しているが、以下のように定義する。
Ｍａ，Ｍｂ：外来音用マイクロホン１０Ａ、機構音用マイクロホン１０Ｂのマイク感度（周波数特性）
Ｐａ，Ｐｂ：各マイクロホン１０Ａ、１０Ｂの配置位置における録音対象物（つまり外来音）の音圧
Ｖａ，Ｖｂ：各マイクロホン１０Ａ、１０Ｂの配置位置における機構由来振動成分（例えばズーム機構駆動時の振動成分（音圧相当））
【００５３】
すると、出力信号Ｏａ，Ｏｂについては、
Ｏａ＝Ｍａ（Ｐａ＋Ｖａ）
Ｏｂ＝Ｍｂ（Ｐｂ＋Ｖｂ）
となる。
【００５４】
キャリブレーションモードを、無響室のような静かな場所、または、吸音処理を施した無響箱の中で行うことを前提とすると、理想的には、録音対象物である外来音がないためＰａ＝Ｐｂ＝０となる。
ＭａとＭｂの特性・感度の違いを考えて、ここでは、便宜的にα＝Ｍａ／Ｍｂとし、αを求めるのを目的とする。
図４又は図５のようなマイクロホン１０Ａ、１０Ｂの取り付け構成において、ズーム動作等による振動源Ｖから、機械振動として基板２１へ振動が伝わり、表裏にて各マイクロホン１０Ａ、１０Ｂが振動を受けて、音圧相当の電圧を出力するとする。この場合、両マイクロホン１０Ａ、１０Ｂ位置での機械的な振動の伝わり方は同じ、という意味ではＶａ＝Ｖｂである。
この時、
α＝Ｍａ／Ｍｂ＝Ｏａ／Ｏｂ
として求めることができる。
周波数特性で、この除算を行うことにより、両者の特性違いを示すαを求めることができる。以上が図６Ａの処理の内容ということができる。
【００５５】
次に図８の構成によるノイズ抑制モードの処理では、信号処理演算にて、下記計算を求めることによりズーム音に関してノイズを抑制し、録音対象物の音声が強調された信号Ｓａを求めることができる。
ノイズ抑制音声信号Ｓａ＝Ｏａ−α・Ｏｂ
＝Ｍａ・Ｐａ＋Ｍａ・Ｖａ−（Ｍａ／Ｍｂ）Ｍｂ・Ｐｂ−（Ｍａ／Ｍｂ）Ｍｂ・Ｖｂ ＝Ｍａ（Ｐａ−Ｐｂ）
ここで、機構音用マイクロホン１０Ｂは音孔３２がふさがれているため、Ｐａ＞＞Ｐｂである。
つまり、Ｓａ≒Ｍａ・Ｐａとなり、結果的には目的の音声が効率よく求められることになる。
【００５６】
実際にこの両マイクロホン１０Ａ、１０Ｂで測定した時間軸波形のデータ例を図１０に示す。
図１０では、外来音用マイクロホン１０Ａの出力信号Ｏａと、機構音用マイクロホン１０Ｂの出力信号Ｏｂについて、静音環境下でズーム駆動させた際の音声波形と、通常の外部音声収音時の音声波形を示している。
外来音用マイクロホン１０Ａで収音した音（出力信号Ｏａ）についてみると、録音対象である音声信号（外来音声）に対しては小さいレベルであるものの、ズーム音が混入して居ることがわかる。これはノイズとして気になるレベルである。
一方、機構音用マイクロホン１０Ｂで収音した音（出力信号Ｏｂ）にも、ほぼ同レベルのズーム音が入っている。ところが機構音用マイクロホン１０Ｂで収音した音としては外来音は殆ど入っていない。
したがって、この波形から見てもわかるとおり、ズーム音の特性を両者合わせて、上述の式、Ｓａ＝Ｏａ−αＯｂを実行することで、外来音声信号にはあまり影響がなく、ズーム音のみが効率よく抑制できる。
【００５７】
結局、αＯｂとは、図８で言えば伝達関数相当フィルタ４２の出力であり、つまり出力信号Ｏｂについて時間軸インパルス応答ｈｉｏのフィルタ処理を行った信号である。換言すれば、機構音用マイクロホン１０Ｂで得られるズーム音と同一の音声信号成分が、外来音用マイクロホン１０Ａにおいて収音されているレベルを示す信号ともいえる。
このαＯｂが機構音キャンセル信号となる。そしてＯａ−αＯｂとは、減算器４３での減算処理に相当する。
【００５８】
以上の説明から理解されるように、本実施の形態では、音声信号処理部１２（ノイズ抑制処理部１２ｄ）は、ノイズ抑制モードの処理として、マイク入力部１１Ａからの音声信号について、マイク入力部１１Ｂからの音声信号から生成した機構音キャンセル信号（αＯｂ：伝達関数相当フィルタ４２の出力）を用いて、ズーム音等の機構音成分が低減されたノイズ抑制音声信号Ｓａを生成する。
機構音キャンセル信号αＯｂは、機構音用マイクロホン１０Ｂから外来音用マイクロホン１０Ａへの伝達関数に基づくフィルタ処理を、出力信号Ｏｂに与えたものである。
具体的にはノイズ抑制処理部１２ｄは、当該フィルタ処理で、インパルス応答ｈｉｏを出力信号Ｏｂに畳み込んで機構音キャンセル信号を生成する。そして該機構音キャンセル信号を出力信号Ｏａから減算することで、ノイズ抑制音声信号Ｓａを生成する。
このようなノイズ抑制モードの動作によって、録画時等に得られる音声信号ＤＴ−Ａは、ズーム機構５ａ等の機構音の混入が著しく低減されたものとなる。従ってユーザは撮像装置１を用いて撮像する際に、動作音に気にせずにズーム操作を行うことができ、またズーム動作が行われても、録音される音声にズーム音が混入せず、品質のよい録音音声を得ることができる。
【００５９】
また、ノイズ抑制モードでの伝達関数相当のフィルタ処理のためには、キャリブレーションモードで得られたインパルス応答ｈｉｏを伝達関数情報として記憶しておくことで、適切に実行できる。
つまりキャリブレーションモードで伝達関数Ｈｉｏ、インパルス応答ｈｉｏを求めることで、撮像装置１の個体差に応じた伝達関数を把握し、測定値に基づいて、伝達関数相当フィルタ４２の係数設定を最適化して実行できる。このためノイズ抑制モードでは撮像装置１の個体状況に応じて得ることができ、ノイズ低減処理が適切に実行されるものとなる。
【００６０】
また、ＣＰＵ７によるモード制御で、音声信号処理部１２（例えばＤＳＰ）において、ノイズ抑制モードの処理と、キャリブレーションモードの処理が実行されることで、構成上のハードウエア負担を最小限にして本実施の形態の動作を実行可能な撮像装置を提供できる。
【００６１】
また機構音用マイクロホン１０Ｂは、振動板３１が音響的に撮像装置筐体２２の外部の空間に対して閉ざされた状態で配置されていることで、外来音をほとんど収音しないで内部の振動Ｖによるノイズ音声を適切に収音できる。これにより機構音キャンセル信号は、上述のαＯｂ、つまり出力信号Ｏｂにｈｉｏフィルタリングを行うものとして求める場合に、適切な機構音キャンセル信号となる。
一方、外来音用マイクロホン１０Ａは、振動板３１が音響的に撮像装置筐体２２の外部の空間と連通された状態で配置されていることで、外来音を適切に収音できる。
また機構音用マイクロホン１０Ｂは、基板面音孔型のＭＥＭＳマイクロホンとされて基板面側が撮像装置筐体内の基板又は内部構造物に取り付けられること、及び外来音用マイクロホン１０Ａは、上面音孔型のＭＥＭＳマイクロホンとされて下面側が撮像装置筐体内の基板又は内部構造物に取り付けられることで、簡易な構成でマイクロホン１０Ａ、１０Ｂを配置できる。
【００６２】
＜４．音声信号処理部の他の構成例＞
音声信号処理部１２の他の構成例を図１１Ａ，図１１Ｂに示す。
図１１Ａは、音声信号処理部１２にＡＧＣ処理部１２ａ、レベル調整部１２ｂ、音質・音響効果処理部１２ｃ、ノイズ抑制処理部１２ｄが設けられる例である。すなわち先の図３の例と比較して伝達関数測定部１２ｅが設けられていない。
【００６３】
例えば撮像装置１におけるズーム機構５ａ等の機構音、あるいは低減目的とする機構音の周波数特性に個体差が無いような場合、あるいは個体差に厳密に対応する必要が無いような場合は、必ずしも個々に伝達関数測定を行わなくてもよい。
すなわちノイズ抑制モードで用いるインパルス応答ｈｉｏ（伝達関数相当フィルタ４２のフィルタ係数）が固定的であってもよい。そのような場合は、あらかじめ設計事項としてノイズ抑制処理部１２ｄでのフィルタ係数を固定設定すればよく、伝達関数測定は不要である。あるいは固定のインパルス応答ｈｉｏ等の伝達関数情報をメモリ部８のフラッシュメモリや記録部９に記憶させておき、ノイズ抑制モード実行時に、記憶されている伝達関数情報に応じてフィルタ係数設定を行えばよい。
このような場合、音声信号処理部１２は図１１Ａのような構成とすればよい。
【００６４】
図１１Ｂは、図３の構成に加えてノイズ測定部１２ｆを有する例である。
ノイズ測定部１２ｆは、ノイズ抑制モードの動作時に、ノイズ抑制音声信号Ｓａについてノイズレベル測定を行う処理部である。
このように音声信号処理部１２において、ノイズレベル測定を行う機能を備えるようにすることで、後述する図１２Ｃ、図１３Ｂのようなモード制御処理が可能となる。
【００６５】
なお、図３、図１１Ａ、図１１Ｂにおいて、ＡＧＣ処理部１２ａ、レベル調整部１２ｂ、音質・音響効果処理部１２ｃは、一般的な音声信号処理として実行される機能を示している。本実施の形態に相当する撮像装置１においては、音声信号処理部１２においてこれらの３つの機能が必ずしもすべて搭載される必要があるわけではない。
また、一般的な音声信号処理として、図示及び説明していない処理機能が追加されることも当然に考えられる。
本実施の形態の音声信号処理部１２としては、少なくともノイズ抑制処理部１２ｄを備える。また伝達関数測定部１２ｅは備える場合と備えない場合の両方が考えられる。また伝達関数測定部１２ｅは備える場合と備えない場合の両方において、ノイズ測定部１２ｆを備えるようにすることも考えられる。
また、伝達関数測定部１２ｅやノイズ測定部１２ｆは音声信号処理部１２（すなわち収音信号から録画用等の音声信号ＤＴ−Ａを生成するための処理ブロック）の機能として説明したが、例えばＣＰＵ７等、音声信号処理部１２とは別の演算処理装置において実現してもよい。
【００６６】
＜５．モード制御例＞
続いて、キャリブレーションモードが実行される撮像装置１において、キャリブレーションモードとノイズ抑制モードのモード制御について各種の例を述べる。
【００６７】
例えば図２、図３で示した撮像装置１では、工場出荷前の調整行程でキャリブレーションモードが実行されるとしたが、それ以外の機会にキャリブレーションモードが実行されてもよい。図１２は、ＣＰＵ７が音声信号処理部１２にキャリブレーションモードを実行させる場合の処理例を示している。
【００６８】
図１２Ａは、ユーザの操作に応じて実行する例である。ＣＰＵ７はユーザの操作入力部４からの操作によりキャリブレーションモードの実行を指示する操作を行ったことを検知したら、処理をステップＦ１０からＦ１１に進め、キャリブレーションモード処理、すなわち図７で説明した処理を実行する。
【００６９】
図１２Ｂは、所定期間経過を実行のトリガとする例である。
ＣＰＵ７はステップＦ２０で、前回のキャリブレーション実行時からの期間を判定する。
そしてステップＦ２１で所定期間経過していると判定した場合は、ステップＦ２２でキャリブレーションモード処理（図７の処理）を実行する。キャリブレーション実行後は、その後のステップＦ２０の判断のために、ステップＦ２３でキャリブレーション実行日時の情報を記憶する。
この場合、例えばＣＰＵ７がステップＦ２１で、前回実行時より「半年経過」「一年経過」などを判断するようにすれば、その半年や一年ごとに定期的にキャリブレーションモードの動作が実行されることになる。
【００７０】
図１２Ｃは、ノイズ悪化に応じてキャリブレーションモードを実行する例である。これは図１１Ｂのように音声信号処理部１２にノイズ測定部１２ｆが実装されている場合（ノイズ測定が可能な場合）に実行できるモード制御例である。
ＣＰＵ７は定期的にステップＦ３０のノイズレベルの測定結果の取り込み処理を行い、現時点でのノイズ測定結果を確認する。その結果、Ｓ／Ｎ悪化と判断した場合は、ＣＰＵ７はステップＦ３１からＦ３２に進み、キャリブレーションモード処理（図７の処理）を実行する。
【００７１】
例えば以上の各例のようにＣＰＵ７は、ユーザの操作、キャリブレーションの不実行継続期間に応じて、或いは音声信号品質測定（ノイズレベル測定）結果に応じて、キャリブレーションモード処理を実行し、伝達関数情報（Ｈｉｏ，ｈｉｏ）を更新することで、ノイズ音の経時変化等に対応したノイズ低減処理が可能となる。
【００７２】
なお、図１２Ｂ、図１２Ｃの処理ではユーザの意思に関係なくキャリブレーションモード処理が発動されてしまうため、図１３Ａ，図１３Ｂのような処理としてもよい。
図１３Ａの処理は、ＣＰＵ７はステップＦ４０で、前回のキャリブレーション実行時からの期間を判定する。
そしてステップＦ４１で所定期間経過していると判定した場合は、ステップＦ４２でキャリブレーションの実行推奨提示をユーザに対して行うための制御を行う。例えば表示部３に「キャリブレーション実行をお勧めします」等の表示を実行するように表示制御部２に指示する。あるいは同様のメッセージ内容の音声、もしくは警告としての電子音等を音声出力部１６から出力させる。あるいはその両方の制御を行う。
【００７３】
図１３Ｂの処理は、ＣＰＵ７は定期的にステップＦ５０のノイズレベルの測定結果の取り込み処理を行い、現時点でのノイズ測定結果を確認する。その結果、Ｓ／Ｎ悪化と判断した場合は、ＣＰＵ７はステップＦ５１からＦ５２に進み、キャリブレーションの実行推奨提示をユーザに対して行うための制御（表示制御又は音声出力制御又はその両方）を行う。
【００７４】
ユーザにとっては、推奨提示を見聞きすることで、キャリブレーションモードを実行した方がよいことを知り、任意の時点で実行指示操作を行う。結局図１２Ａの処理でキャリブレーションモード処理が実行されることになる。
このように、キャリブレーションの不実行継続期間に応じて、或いは音声信号品質測定結果に応じて、キャリブレーション実行推奨の提示出力制御を行い、その後ユーザ操作に応じてキャリブレーションモード処理が実行されるようにすることで、ユーザの都合に応じてキャリブレーションモード処理が実行できる。
【００７５】
続いてキャリブレーションモードとノイズ抑制モードの切換制御について述べる。
図１４Ａは、基本的には常時ノイズ抑制モードとする例である。
ＣＰＵ７は通常はステップＦ６２として、音声信号処理部１２にノイズ抑制モードを指示しておく。つまりノイズ抑制処理部１２ｄが通常的に作動する状態としておく。
そしてＣＰＵ７はステップＦ６０としてキャリブレーションモード実行のトリガを検知したときのみステップＦ６１でキャリブレーションモードとしての処理（図７の処理）を実行する。
ステップＦ６０で検知するトリガとは、例えば図１２Ａのユーザ操作であったり、図１２Ｂの所定期間経過、あるいは図１２Ｃのノイズ悪化判定等のことである。
【００７６】
この場合、ノイズ抑制処理部１２ｄは、キャリブレーションモード処理時以外は常時動作しているが、上述の実施の形態において音質的な問題はない。
例えばズーム音をノイズとして抑制する目的を考えると、ズーム音は常時発生するわけではなく、ズーム操作を行った場合のみである。ところが図１０で説明したように機構音用マイクロホン１０Ｂ側は、外来音はほとんど収音しない。このため、ズーム駆動が行われていない期間（ノイズ未発生期間）であっても、出力信号Ｏｂはきわめて低いレベルであり、実質的に減算器４３での減算処理を行ったとしても、出力信号Ｏａに変化は無いためである。その上で、ノイズ発生時（ズーム駆動時）は、適切なノイズ抑制が実現される。
【００７７】
一方、例えばノイズ発生時のみにノイズ抑制モードの指示が行われるようにしてもよい。図１４Ｂには、ノイズとしてズーム音を対象とし、ズーム駆動時のみノイズ抑制モードとする例を示している。
ＣＰＵ７はステップＦ７０ではキャリブレーションモード実行のトリガの有無を判断し、トリガを検知したときのみステップＦ７１でキャリブレーションモードとしてキャリブレーションモード処理（図７の処理）を実行する。
その他の期間では、ステップＦ７２でユーザのズーム操作を監視している。
ユーザがズーム操作を行ったら、ＣＰＵ７はステップＦ７３で音声信号処理部１２に対してノイズ抑制モードを指示する。すなわちノイズ抑制処理部１２ｄの処理を実行させる。そしてＣＰＵ７はステップＦ７４でユーザの操作に応じたズーム駆動を、撮像部５に指示し、ズーム機構５ａを駆動させる。
ズーム駆動が終了したら、ステップＦ７５からＦ７６に進み、ＣＰＵ７は音声信号処理部１２に対してノイズ抑制モードの解除、つまりノイズ抑制処理部１２ｄの処理の終了を指示する。
【００７８】
このような処理によれば、ズーム駆動時のみ、音声信号処理部１２でのノイズ抑制処理部１２ｄの処理が実行されるため、常時的に行われる音声信号処理部１２の処理量を軽減できる。
なお、ここではズーム音を対象としてズーム駆動時にノイズ抑制モードとする例を挙げたが、抑制対象とする機構音に応じて、その機構音発生時にノイズ抑制モードとする例は各種考えられる。例えばオートフォーカス、オートアイリスなどのレンズや絞りの駆動制御時、あるいは内蔵するＨＤＤの動作音発生時に、ノイズ抑制モードとすることなども考えられる。
【００７９】
＜６．各種マイクロホン態様＞
図１の実施の形態の構成例では、撮像装置１に外来音用マイクロホン１０Ａと機構音用マイクロホン１０Ｂを備える構成を述べたが、外来音用マイクロホン１０Ａは、必ず下撮像装置１に内蔵されなくてもよい。
例えば図１５Ａは、撮像装置１にはマイク接続端子１９が設けられ、これに別体の外部マイクロホン１０ＡＳが接続される例である。外部マイクロホン１０ＡＳで得られる音声信号は、マイク入力部１１Ａから出力信号Ｏａとして音声信号処理部１２に供給される。
すなわち撮像装置１としては、機構音用マイクロホン１０Ｂは内蔵するが、図１等で説明した外来音用マイクロホン１０Ａは内蔵されなくて、外付けのマイクロホンが用いられてもよい。
【００８０】
また図１５Ｂでは、撮像装置１に外来音用マイクロホン１０Ａは設けられるが、接続端子１９及びスイッチＳＷも設けられる例を示している。例えば接続端子１９に図１５Ａに示したような外部マイクロホン１０ＡＳが接続された場合は、スイッチＳＷが接続端子側とされ、外部マイクロホン１０ＡＳによる収音信号が、マイク入力部１１Ａから出力信号Ｏａとして音声信号処理部１２に供給されることとなる。外部マイクロホン１０ＡＳが接続されていなければスイッチＳＷは外来音用マイクロホン１０Ａ側に接続される。
つまり撮像時の収音用のマイクロホンを、ユーザが内蔵の外来音用マイクロホン１０Ａとするか、別体の外部マイクロホン１０ＡＳとするかを任意に選択できる構成例である。
【００８１】
この図１５の例のように撮像装置１としては、少なくとも機構音用マイクロホン１０Ｂ及びそれに対応するマイク入力部１１Ｂを備えるが、外来音用マイクロホン１０Ａは備えず、マイク入力部１１Ａ及び接続端子１９を備える構成としてもよい。
【００８２】
なお、別体の外部マイクロホン１０ＡＳを使用する場合は、接続時にキャリブレーションモード処理が実行されることが好ましい。例えばＣＰＵ７は接続端子１９に外部マイクロホン１０ＡＳが接続されたことを検知したら、それをトリガとしてキャリブレーションモード処理を実行する。そして得られた伝達関数情報によりノイズ抑制処理部１２ｄのフィルタ係数を更新する。これにより外部マイクロホン１０ＡＳを用いても適切なノイズ抑制処理が実現できる。
【００８３】
続いて図１６で、２つのマイクロホン１０Ａ、１０Ｂを備える場合の配置例について述べる。
図４，図５では、各マイクロホン１０Ａ、１０Ｂを基板２１の表裏に配置する例を示したが、例えば図１６のような例も想定される。
【００８４】
図１６Ａは、取付部位７０の同一面側に各マイクロホン１０Ａ、１０Ｂを装着する例である。なお取付部位７０とは、基板２１や筐体内部構造物として、マイクロホン１０Ａ、１０Ｂを取り付ける部位を表している。
この場合、外来音用マイクロホン１０Ａは音孔３２側が開放されるように装着し、機構音用マイクロホン１０Ｂは音孔３２側が取付部位７０で塞がれるように装着すればよい。
【００８５】
図１６Ｂは、各マイクロホン１０Ａ、１０Ｂがそれぞれ異なる取付部位７０ａ，７０ｂに装着される例である。
外来音用マイクロホン１０Ａは取付部位７０ａとしての基板等に、音孔３２側が開放されるように配置される。
機構音用マイクロホン１０Ｂは取付部位７０ｂとしての基板等に、音孔３２側が塞がれるように配置される。
【００８６】
図１６Ｃは、各マイクロホン１０Ａ、１０Ｂを同一の取付部位７０の表裏に配置する例であるが、いずれも音孔３２側を取付部位７０によっては塞がない例である。但し機構音用マイクロホン１０Ｂについては、撮像装置１の筐体２２の内部で音響的に密閉された空間ＣＳ内が設けられる場合に、その空間ＣＳ内として、外来音が収音されにくくなるようにした例である。
図１６Ｄもほぼ同様であるが、外来音用マイクロホン１０Ａは筐体２２内ではあるが外部に連通する空間に位置し、一方、機構音用マイクロホン１０Ｂは、筐体２２内であって外部に音響的に連通せず、かつズーム機構５ａなどの動作ノイズ発生源となる機構部７１側に配置した例である。
【００８７】
例えば以上の各例のように、マイクロホン１０Ａ、１０Ｂの配置態様は各種考えられる。もちろん図示した例以外にも各種想定される。
なお、基本的には機構音用マイクロホン１０Ｂは、外来音が収音しにくい取付態様とすることが望ましい。
【００８８】
ところで、ここまでは外来音用マイクロホン１０Ａを１つとしてモノラルで録音する場合を例に説明してきたが、これはあくまで説明を簡略化するためであり、ステレオ収音の場合も、当然に上述してきた技術は適用できる。
例えば図１７Ａに示すように、外来音用マイクロホン１０Ａとして２つのマイクロホン１０ＡＬ、１０ＡＲを搭載する場合、機構音用マイクロホン１０Ｂとしても２つのマイクロホン１０ＢＬ、１０ＢＲを設け、Ｌ、Ｒチャンネルのそれぞれの組（マイクロホン１０ＡＬと１０ＢＬの組、及びマイクロホン１０ＡＲと１０ＢＲの組）で図８のノイズ抑制処理や図６の伝達関数測定処理が行われるようにすればよい。
【００８９】
また図１７Ｂのように、ステレオマイクロホンを構成する外来音用マイクロホン１０ＡＬ、１０ＡＲの設置位置があまり離れていない（メカ的な接続機構特性の差が少ない）場合、機構音用マイクロホン１０Ｂを１つとして、合計３個のマイクロホンユニットを備える例も考えられる。
当然この場合、マイクロホン１０ＡＬと１０Ｂの組、及びマイクロホン１０ＡＲと１０Ｂの組で、図８のノイズ抑制処理や図６の伝達関数測定処理が行われるようにすればよい。
【００９０】
＜７．変形例＞
以上、実施の形態について各種の例を説明してきたが、さらに多様な変形例は各種考えられる。
実施の形態の撮像装置１は、動画撮像を行うビデオカメラとしたが、もちろん静止画撮像のみを行うデジタルスチルカメラであっても、収音音声について音声処理を行う装置であれば同様の技術が適用できる。
また音声信号処理については、マイク入力部１１Ａ、１１Ｂでデジタルデータ化された出力信号Ｏａ，Ｏｂを対象としたが、ノイズ抑制処理部１２ｄの処理はアナログ信号処理で実行することも可能である。
【００９１】
また、ビデオカメラ、デジタルスチルカメラ等として、撮像した動画や静止画を記録部９に記録するものをあげたが、その装置自体では動画や静止画の画像データを記録せずに外部機器に送信する撮像装置であっても、本開示の技術は適用できる。
また本開示で言う撮像装置とは、機器態様に限らず、撮像機能と収音音声信号処理を行う機能を有する機器の総称であり、所謂ビデオカメラ、デジタルスチルカメラ以外にも、携帯電話機、情報処理装置、ゲーム機等で撮像機能及び収音音声信号処理機能を有する機器が該当する。また撮像機能のない各種電子機器、少なくともマイクロホンで音声収音を行う各種機器において本開示のノイズ抑制処理の技術を応用することも可能である。例えば情報処理装置、ゲーム機、携帯電話機、録音装置などである。
【００９２】
実施の形態では主にズーム音をノイズとして抑制対象とする例で述べたが、他の機構音についても同様に適用できる。例えばズーム動作以外のレンズ系駆動音が発生する場合（オートフォーカスによるレンズ駆動音やオートアイリスによる絞り駆動音）でも、本開示の技術は有用である。
さらに記録部９等としてＨＤＤが内蔵される場合のＨＤＤ駆動音や、ファンが内蔵される場合のファンモータ音や風切り音などをノイズとして低減させたい場合も、本開示の技術は有用である。
キャリブレーションモード処理を、これらノイズとして抑制対象となる音を発生させた状態で行えば、ノイズ抑制モードとして適切なノイズ低減が可能となる。
【００９３】
なお本技術は以下のような構成も採ることができる。
（１）撮像素子部、及び被写体からの入射光を上記撮像素子部に結像させるレンズ系を有する撮像部と、
上記撮像部の上記撮像素子部で光電変換された信号から撮像画像信号を生成する撮像信号処理部と、
外来音を収音する外来音用マイクロホンで得られる音声信号を入力する第１のマイク入力部と、
装置機構音を収音する機構音用マイクロホンと、
上記機構音用マイクロホンで得られる音声信号を入力する第２のマイク入力部と、
上記第１のマイク入力部からの音声信号について、上記第２のマイク入力部からの音声信号から生成した機構音キャンセル信号を用いて機構音成分が低減されたノイズ抑制音声信号を生成するノイズ抑制処理部と、
を備えた撮像装置。
（２）上記機構音用マイクロホンから上記外来音用マイクロホンへの伝達関数情報を記憶する記憶部を備え、
上記ノイズ抑制処理部は、上記第２のマイク入力部からの音声信号について上記伝達関数情報に基づくフィルタ処理で上記機構音キャンセル信号を生成する上記（１）に記載の撮像装置。
（３）上記記憶部には、上記伝達関数情報として、上記機構音用マイクロホンから上記外来音用マイクロホンへの伝達関数の周波数軸表現または時間軸表現での応答の情報が記憶されており、
上記ノイズ抑制処理部は、上記フィルタ処理で、上記応答を上記第２のマイク入力部からの音声信号に畳み込んで上記機構音キャンセル信号を生成し、該機構音キャンセル信号を上記第１のマイク入力部からの音声信号から減算することで、上記ノイズ抑制音声信号を生成する上記（２）に記載の撮像装置。
（４）上記第１のマイク入力部からの音声信号と、上記第２のマイク入力部からの音声信号との除算処理により、上記機構音用マイクロホンから上記外来音用マイクロホンへの伝達関数を計測する伝達関数測定部と、
キャリブレーション動作として、装置機構音を発生させた状態で、上記伝達関数測定部に伝達関数の計測を実行させ、計測に基づいて得られた伝達関数情報を上記記憶部に記憶させるキャリブレーション制御部と、
をさらに備えた上記（２）又は（３）に記載の撮像装置。
（５）上記ノイズ抑制処理部の動作を実行させるノイズ抑制モードと、上記伝達関数測定部の動作の実行させるキャリブレーションモードを指示するモード制御部をさらに備えた上記（４）に記載の撮像装置。
（６）上記モード制御部は、キャリブレーションモードの期間以外は、上記ノイズ抑制モードを指示する上記（５）に記載の撮像装置。
（７）上記モード制御部は、キャリブレーションモードの期間以外において、装置機構音が発生する期間、上記ノイズ抑制モードを指示する上記（５）に記載の撮像装置。
（８）上記モード制御部は、キャリブレーションの不実行継続期間に応じて、或いは音声信号品質測定結果に応じて、キャリブレーション実行推奨の提示出力制御を行う上記（５）乃至（７）に記載の撮像装置。
（９）上記機構音用マイクロホンは、振動板が音響的に撮像装置筐体外部の空間に対して閉ざされた状態で配置されている上記（１）乃至（８）のいずれかに記載の撮像装置。
（１０）外来音を収音する外来音用マイクロホンをさらに備え、
上記外来音用マイクロホンは、振動板が音響的に撮像装置筐体外部の空間と連通された状態で配置されている上記（１）乃至（９）のいずれかに記載の撮像装置。
（１１）上記機構音用マイクロホンは、基板面音孔型のＭＥＭＳマイクロホンとされて基板面側が撮像装置筐体内の基板又は内部構造物に取り付けられる上記（１）乃至（１０）のいずれかに記載の撮像装置。
（１２）上記外来音用マイクロホンは、上面音孔型のＭＥＭＳマイクロホンとされて下面側が撮像装置筐体内の基板又は内部構造物に取り付けられる上記（１）乃至（１１）のいずれかに記載の撮像装置。
（１３）上記外来音用マイクロホンはステレオマイクロホンセットが装備され、
上記機構音用マイクロホンは、一つのマイクロホンが装備される上記（１）乃至（１２）のいずれかに記載の撮像装置。
（１４）上記機構音用マイクロホンは、上記装置機構音として、少なくとも上記撮像部における上記レンズ系のズーム動作音を収音可能に配置されている上記（１）乃至（１３）のいずれかに記載の撮像装置。
【符号の説明】
【００９４】
１ 撮像装置、２ 表示部、３ 表示制御部、４ 操作入力部、５ 撮像部、６ 撮像信号処理部、７ ＣＰＵ、８ メモリ部、９ 記録部、１０Ａ 外来音用マイクロホン、１０Ｂ 機構音用マイクロホン、１１Ａ，１１Ｂ マイク入力部、１２ 音声信号処理部、１２ｄ ノイズ抑制処理部、１２ｅ 伝達関数測定部、１２ｆ ノイズ測定部、２１ 基板、２２ 筐体、３１ 振動板、３２ 音孔
【特許請求の範囲】
【請求項１】
撮像素子部、及び被写体からの入射光を上記撮像素子部に結像させるレンズ系を有する撮像部と、
上記撮像部の上記撮像素子部で光電変換された信号から撮像画像信号を生成する撮像信号処理部と、
外来音を収音する外来音用マイクロホンで得られる音声信号を入力する第１のマイク入力部と、
装置機構音を収音する機構音用マイクロホンと、
上記機構音用マイクロホンで得られる音声信号を入力する第２のマイク入力部と、
上記第１のマイク入力部からの音声信号について、上記第２のマイク入力部からの音声信号から生成した機構音キャンセル信号を用いて機構音成分が低減されたノイズ抑制音声信号を生成するノイズ抑制処理部と、
を備えた撮像装置。
【請求項２】
上記機構音用マイクロホンから上記外来音用マイクロホンへの伝達関数情報を記憶する記憶部を備え、
上記ノイズ抑制処理部は、上記第２のマイク入力部からの音声信号について上記伝達関数情報に基づくフィルタ処理で上記機構音キャンセル信号を生成する請求項１に記載の撮像装置。
【請求項３】
上記記憶部には、上記伝達関数情報として、上記機構音用マイクロホンから上記外来音用マイクロホンへの伝達関数の周波数軸表現または時間軸表現での応答の情報が記憶されており、
上記ノイズ抑制処理部は、上記フィルタ処理で、上記応答を上記第２のマイク入力部からの音声信号に畳み込んで上記機構音キャンセル信号を生成し、該機構音キャンセル信号を上記第１のマイク入力部からの音声信号から減算することで、上記ノイズ抑制音声信号を生成する請求項２に記載の撮像装置。
【請求項４】
上記第１のマイク入力部からの音声信号と、上記第２のマイク入力部からの音声信号との除算処理により、上記機構音用マイクロホンから上記外来音用マイクロホンへの伝達関数を計測する伝達関数測定部と、
キャリブレーション動作として、装置機構音を発生させた状態で、上記伝達関数測定部に伝達関数の計測を実行させ、計測に基づいて得られた伝達関数情報を上記記憶部に記憶させるキャリブレーション制御部と、
をさらに備えた請求項２に記載の撮像装置。
【請求項５】
上記ノイズ抑制処理部の動作を実行させるノイズ抑制モードと、上記伝達関数測定部の動作の実行させるキャリブレーションモードを指示するモード制御部をさらに備えた請求項４に記載の撮像装置。
【請求項６】
上記モード制御部は、キャリブレーションモードの期間以外は、上記ノイズ抑制モードを指示する請求項５に記載の撮像装置。
【請求項７】
上記モード制御部は、キャリブレーションモードの期間以外において、装置機構音が発生する期間、上記ノイズ抑制モードを指示する請求項５に記載の撮像装置。
【請求項８】
上記モード制御部は、キャリブレーションの不実行継続期間に応じて、或いは音声信号品質測定結果に応じて、キャリブレーション実行推奨の提示出力制御を行う請求項５に記載の撮像装置。
【請求項９】
上記機構音用マイクロホンは、振動板が音響的に撮像装置筐体外部の空間に対して閉ざされた状態で配置されている請求項１に記載の撮像装置。
【請求項１０】
外来音を収音する外来音用マイクロホンをさらに備え、
上記外来音用マイクロホンは、振動板が音響的に撮像装置筐体外部の空間と連通された状態で配置されている請求項１に記載の撮像装置。
【請求項１１】
上記機構音用マイクロホンは、基板面音孔型のＭＥＭＳマイクロホンとされて基板面側が撮像装置筐体内の基板又は内部構造物に取り付けられる請求項９に記載の撮像装置。
【請求項１２】
上記外来音用マイクロホンは、上面音孔型のＭＥＭＳマイクロホンとされて下面側が撮像装置筐体内の基板又は内部構造物に取り付けられる請求項１０に記載の撮像装置。
【請求項１３】
上記外来音用マイクロホンはステレオマイクロホンセットが装備され、
上記機構音用マイクロホンは、一つのマイクロホンが装備される請求項１に記載の撮像装置。
【請求項１４】
上記機構音用マイクロホンは、上記装置機構音として、少なくとも上記撮像部における上記レンズ系のズーム動作音を収音可能に配置されている請求項１に記載の撮像装置。
【請求項１５】
撮像素子部、及び被写体からの入射光を上記撮像素子部に結像させるレンズ系を有する撮像部と、上記撮像部の上記撮像素子部で光電変換された信号から撮像画像信号を生成する撮像信号処理部とを有する撮像装置の音声収音方法として、
外来音を収音する外来音用マイクロホンで得られる音声信号を第１のマイク入力部で入力し、
装置機構音を収音する機構音用マイクロホンで得られる音声信号を第２のマイク入力部で入力し、
上記第１のマイク入力部からの音声信号について、上記第２のマイク入力部からの音声信号から生成した機構音キャンセル信号を用いて機構音成分が低減されたノイズ抑制音声信号を生成する音声収音方法。
【請求項１】
撮像素子部、及び被写体からの入射光を上記撮像素子部に結像させるレンズ系を有する撮像部と、
上記撮像部の上記撮像素子部で光電変換された信号から撮像画像信号を生成する撮像信号処理部と、
外来音を収音する外来音用マイクロホンで得られる音声信号を入力する第１のマイク入力部と、
装置機構音を収音する機構音用マイクロホンと、
上記機構音用マイクロホンで得られる音声信号を入力する第２のマイク入力部と、
上記第１のマイク入力部からの音声信号について、上記第２のマイク入力部からの音声信号から生成した機構音キャンセル信号を用いて機構音成分が低減されたノイズ抑制音声信号を生成するノイズ抑制処理部と、
を備えた撮像装置。
【請求項２】
上記機構音用マイクロホンから上記外来音用マイクロホンへの伝達関数情報を記憶する記憶部を備え、
上記ノイズ抑制処理部は、上記第２のマイク入力部からの音声信号について上記伝達関数情報に基づくフィルタ処理で上記機構音キャンセル信号を生成する請求項１に記載の撮像装置。
【請求項３】
上記記憶部には、上記伝達関数情報として、上記機構音用マイクロホンから上記外来音用マイクロホンへの伝達関数の周波数軸表現または時間軸表現での応答の情報が記憶されており、
上記ノイズ抑制処理部は、上記フィルタ処理で、上記応答を上記第２のマイク入力部からの音声信号に畳み込んで上記機構音キャンセル信号を生成し、該機構音キャンセル信号を上記第１のマイク入力部からの音声信号から減算することで、上記ノイズ抑制音声信号を生成する請求項２に記載の撮像装置。
【請求項４】
上記第１のマイク入力部からの音声信号と、上記第２のマイク入力部からの音声信号との除算処理により、上記機構音用マイクロホンから上記外来音用マイクロホンへの伝達関数を計測する伝達関数測定部と、
キャリブレーション動作として、装置機構音を発生させた状態で、上記伝達関数測定部に伝達関数の計測を実行させ、計測に基づいて得られた伝達関数情報を上記記憶部に記憶させるキャリブレーション制御部と、
をさらに備えた請求項２に記載の撮像装置。
【請求項５】
上記ノイズ抑制処理部の動作を実行させるノイズ抑制モードと、上記伝達関数測定部の動作の実行させるキャリブレーションモードを指示するモード制御部をさらに備えた請求項４に記載の撮像装置。
【請求項６】
上記モード制御部は、キャリブレーションモードの期間以外は、上記ノイズ抑制モードを指示する請求項５に記載の撮像装置。
【請求項７】
上記モード制御部は、キャリブレーションモードの期間以外において、装置機構音が発生する期間、上記ノイズ抑制モードを指示する請求項５に記載の撮像装置。
【請求項８】
上記モード制御部は、キャリブレーションの不実行継続期間に応じて、或いは音声信号品質測定結果に応じて、キャリブレーション実行推奨の提示出力制御を行う請求項５に記載の撮像装置。
【請求項９】
上記機構音用マイクロホンは、振動板が音響的に撮像装置筐体外部の空間に対して閉ざされた状態で配置されている請求項１に記載の撮像装置。
【請求項１０】
外来音を収音する外来音用マイクロホンをさらに備え、
上記外来音用マイクロホンは、振動板が音響的に撮像装置筐体外部の空間と連通された状態で配置されている請求項１に記載の撮像装置。
【請求項１１】
上記機構音用マイクロホンは、基板面音孔型のＭＥＭＳマイクロホンとされて基板面側が撮像装置筐体内の基板又は内部構造物に取り付けられる請求項９に記載の撮像装置。
【請求項１２】
上記外来音用マイクロホンは、上面音孔型のＭＥＭＳマイクロホンとされて下面側が撮像装置筐体内の基板又は内部構造物に取り付けられる請求項１０に記載の撮像装置。
【請求項１３】
上記外来音用マイクロホンはステレオマイクロホンセットが装備され、
上記機構音用マイクロホンは、一つのマイクロホンが装備される請求項１に記載の撮像装置。
【請求項１４】
上記機構音用マイクロホンは、上記装置機構音として、少なくとも上記撮像部における上記レンズ系のズーム動作音を収音可能に配置されている請求項１に記載の撮像装置。
【請求項１５】
撮像素子部、及び被写体からの入射光を上記撮像素子部に結像させるレンズ系を有する撮像部と、上記撮像部の上記撮像素子部で光電変換された信号から撮像画像信号を生成する撮像信号処理部とを有する撮像装置の音声収音方法として、
外来音を収音する外来音用マイクロホンで得られる音声信号を第１のマイク入力部で入力し、
装置機構音を収音する機構音用マイクロホンで得られる音声信号を第２のマイク入力部で入力し、
上記第１のマイク入力部からの音声信号について、上記第２のマイク入力部からの音声信号から生成した機構音キャンセル信号を用いて機構音成分が低減されたノイズ抑制音声信号を生成する音声収音方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１３−１１０６２９（Ｐ２０１３−１１０６２９Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５４８５０（Ｐ２０１１−２５４８５０）
【出願日】平成２３年１１月２２日（２０１１．１１．２２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月２２日（２０１１．１１．２２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]