ノイズ推定装置、信号処理装置、撮像装置、及びプログラム
【課題】音信号に重畳しているノイズを適切に低減する。
【解決手段】ノイズ推定装置（１５０）は、入力された音信号の周波数スペクトルと、ノイズの周波数スペクトルとに基づいて、音信号とノイズとの類似の度合いを示すノイズ類似度を算出する算出部（２３２）と、算出部（２３２）により算出されたノイズ類似度に基づいて、音信号に含まれる推定ノイズを推定するノイズ推定部（２３３）とを備える。
【解決手段】ノイズ推定装置（１５０）は、入力された音信号の周波数スペクトルと、ノイズの周波数スペクトルとに基づいて、音信号とノイズとの類似の度合いを示すノイズ類似度を算出する算出部（２３２）と、算出部（２３２）により算出されたノイズ類似度に基づいて、音信号に含まれる推定ノイズを推定するノイズ推定部（２３３）とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ノイズ推定装置、信号処理装置、撮像装置、及びプログラムに関する。
【背景技術】
【０００２】
音信号に重畳しているノイズを低減する技術が知られている（例えば、特許文献１を参照）。非特許文献１に記載されている技術では、音信号に重畳している定常ノイズを、予め定められている推定ノイズによって低減する。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】BOLL, S. F. "Suppression of Acoustic Noise in Speech Using Spectral Subtraction." IEEE TRANSACTION ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING, vol. ASSP-27, pp. 113-120, APRIL, 1979.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、非特許文献１に記載されている技術では、例えば、大きさが非定常なノイズを低減するような場合、音信号に実際に混入しているノイズと推定ノイズとの間に差が生じ、ノイズの過大減算あるいは過小減算により、音の劣化もしくは雑音の残存が発生することがある。また、例えば、間欠的に発生するノイズを低減するような場合、ノイズが混入していない箇所では、ノイズを過大に減算してしまい、音の劣化が発生することがある。
つまり、非特許文献１に記載されている技術では、音信号に重畳しているノイズを適切に低減できないという問題がある。
【０００５】
本発明は、上記問題を解決すべくなされたもので、その目的は、音信号に重畳しているノイズを適切に低減することができるノイズ推定装置、信号処理装置、撮像装置、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記問題を解決するために、本発明は、入力された音信号の周波数スペクトルと、ノイズの周波数スペクトルとに基づいて、前記音信号と前記ノイズとの類似の度合いを示すノイズ類似度を算出する算出部と、前記算出部により算出された前記ノイズ類似度に基づいて、前記音信号に含まれる推定ノイズを推定するノイズ推定部とを備えることを特徴とするノイズ推定装置である。
【０００７】
また、本発明は、上記のノイズ推定装置と、前記ノイズ推定装置によって推定された前記推定ノイズに基づいて、前記音信号に含まれるノイズを低減するノイズ低減処理部と、を備えることを特徴とする信号処理装置である。
【０００８】
また、本発明は、上記の信号処理装置を備えることを特徴とする撮像装置である。
【０００９】
また、本発明は、ノイズ推定装置としてのコンピュータに、算出部が、入力された音信号の周波数スペクトルと、ノイズの周波数スペクトルとに基づいて、前記音信号と前記ノイズとの類似の度合いを示すノイズ類似度を算出する算出手順と、ノイズ推定部が、前記算出手順により算出された前記ノイズ類似度に基づいて、前記音信号に含まれる推定ノイズを推定するノイズ推定手順とを実行させるためのプログラムである。
【発明の効果】
【００１０】
本発明によれば、音信号に重畳しているノイズを適切に低減することができる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態による撮像装置を示す概略ブロック図である。
【図２】同実施形態における信号処理装置を示す概略ブロック図である。
【図３】同実施形態における入力周波数特徴ベクトルとノイズ周波数特徴ベクトルの一例を示す概念図である。
【図４】同実施形態におけるノイズ低減処理の動作を示すフローチャートである。
【図５】同実施形態におけるノイズが重畳した音信号の例を示す説明図である。
【図６】同実施形態におけるノイズの周波数スペクトルの生成方法の一例を説明する説明図である。
【発明を実施するための形態】
【００１２】
以下、本発明の一実施形態による信号処理装置及び撮像装置について図面を参照して説明する。
図１は、本実施形態による撮像装置１を示す概略ブロック図である。
この図において、本実施形態による撮像装置１は、撮像部１０、バッファメモリ部３０、画像処理部４０、表示部５０、記憶部６０、通信部７０、操作部８０、ＣＰＵ（Central Processing Unit）９０、マイク２１、Ａ／Ｄ（Analog/Digital）変換部２２、音信号処理部２３、及びバス３００を備えている。この撮像装置１が備える構成のうち、例えば、音信号処理部２３と、記憶部６０の一部とが、信号処理装置１００に対応する。また、例えば、音信号処理部２３の一部と、記憶部６０の一部とが、ノイズ推定装置１５０に対応する。
【００１３】
撮像部１０は、光学系１１と、撮像素子１９と、Ａ/Ｄ変換部２０とを含み、設定された撮像条件（例えば絞り値、露出値等）に従ってＣＰＵ９０により制御され、光学系１１による光学像を撮像素子１９に結像させて、Ａ/Ｄ変換部２０によってデジタル信号に変換された当該光学像に基づく画像データを生成する。
【００１４】
光学系１１は、焦点調整レンズ（以下、ＡＦ（Auto Focus）レンズという）１２と、手振れ防止用レンズ（以下、ＶＲ（Vibration Reduction）レンズという）１３と、ズームレンズ１４と、ズームエンコーダ１５と、レンズ駆動部１６と、ＡＦエンコーダ１７と、手振れ防止部１８とを備えている。
この光学系１１は、ズームレンズ１４、ＶＲレンズ１３、及びＡＦレンズ１２を通過した光学像を撮像素子１９の受光面に導く。
【００１５】
レンズ駆動部１６は、後述するＣＰＵ９０から入力される駆動制御信号に基づいて、ズームレンズ１４又はＡＦエンコーダ１７の位置を制御する。
手振れ防止部１８は、後述するＣＰＵ９０から入力される駆動制御信号に基づいて、ＶＲレンズ１３の位置を制御する。この手振れ防止部１８は、ＶＲレンズ１３の位置を検出していてもよい。
【００１６】
ズームエンコーダ１５は、ズームレンズ１４の位置を表わすズームポジションを検出し、検出したズームポジションをＣＰＵ９０に出力する。
ＡＦエンコーダ１７は、ＡＦレンズ１２の位置を表わすフォーカスポジションを検出し、検出したズームポジション及びフォーカスポジションをＣＰＵ９０に出力する。
【００１７】
なお、上述した光学系１１は、撮像装置１に取り付けられて一体とされていてもよいし、撮像装置１に着脱可能に取り付けられてもよい。
【００１８】
撮像素子１９は、例えば、受光面に結像した光学像を電気信号に変換して、Ａ/Ｄ変換部２０に出力する。
また、撮像素子１９は、操作部８０を介して撮影指示を受け付けた際に得られる画像データを、撮影された静止画の撮影画像データとして、Ａ/Ｄ変換部２０や画像処理部４０を介して、記憶媒体２００に記憶させる。
【００１９】
一方、撮像素子１９は、例えば、操作部８０を介して撮像指示を受け付けていない状態において、連続的に得られる画像データをスルー画データとして、Ａ/Ｄ変換部２０や画像処理部４０を介して、ＣＰＵ９０及び表示部５０に出力する。
【００２０】
Ａ/Ｄ変換部２０は、撮像素子１９によって変換された電子信号をアナログ／デジタル変換し、この変換したデジタル信号である画像データを出力する。
【００２１】
バッファメモリ部３０は、撮像部１０によって撮像された画像データや、音信号処理部２３により変換された音信号等を、一時的に記憶する。
画像処理部４０は、記憶部６０に記憶されている画像処理条件を参照して、バッファメモリ部３０、又は、記憶媒体２００に記録されている画像データに対して画像処理をする。
【００２２】
表示部５０は、例えば、液晶ディスプレイであって、撮像部１０によって得られた画像データや、操作画面等を表示する。
【００２３】
記憶部６０は、ＣＰＵ９０によってシーン判定の際に参照される判定条件や、撮像条件等を記憶する。また、記憶部６０は、後述する音信号処理部２３において音信号のノイズを低減するノイズ低減処理に使用する情報を記憶する。ここで、ノイズ低減処理に使用する情報とは、例えば、後述するノイズ周波数特徴ベクトル等である。
また、記憶部６０は、ノイズ周波数特徴ベクトル記憶部６１を備えている。
【００２４】
ノイズ周波数特徴ベクトル記憶部６１は、後述するノイズ周波数特徴ベクトルを記憶する。ノイズ周波数特徴ベクトルは、例えば、撮像装置１の製造又は出荷検査の際に、予め記憶されている。また、ノイズ周波数特徴ベクトル記憶部６１は、対応するノイズの種類に応じて、複数のノイズ周波数特徴ベクトルを記憶していてもよい。例えば、ズームレンズ１４、ＶＲレンズ１３、及びＡＦレンズ１２の機構音のうちのいずれか１つによるノイズ（雑音）に対応するノイズ周波数特徴ベクトルが、それぞれノイズ周波数特徴ベクトル記憶部６１に記憶されていてもよい。
【００２５】
マイク２１は、音を収音し、収音した音に応じた音信号を出力する。この音信号は、アナログ信号である。
Ａ／Ｄ変換部２２は、マイク２１から入力されたアナログ信号である音信号を、デジタル信号である音信号に、アナログデジタル変換する。
【００２６】
音信号処理部２３は、Ａ／Ｄ変換部２２によりデジタル信号に変換された音信号に対して、例えば、ノイズを低減するなどの音信号処理を実行し、この音信号処理した音信号を記憶媒体２００に記憶させる。音信号処理部２３は、ノイズ低減処理部２４、周波数特徴ベクトル生成部２３１、内積算出部２３２、及びノイズ推定部２３３を備えている。この音信号処理部２３の詳細については、後述する。
なお、音信号処理部２３により音信号処理された音信号が記憶媒体２００に記憶される場合、撮像素子１９により撮像された画像データと、時間的に関係付けられて記憶されてもよいし、音信号を含む動画として記憶されてもよい。
【００２７】
通信部７０は、カードメモリ等の取り外しが可能な記憶媒体２００と接続され、この記憶媒体２００への情報の書込み、読み出し、あるいは消去を行う。
操作部８０は、例えば、電源スイッチやシャッターボタン、その他の操作キーを含み、ユーザによって操作されることでユーザの操作入力を受け付け、ＣＰＵ９０に出力する。
【００２８】
記憶媒体２００は、撮像装置１に対して着脱可能に接続される記憶部であって、例えば、撮像部１０によって生成された（撮影された）画像データや、音信号処理部２３により音信号処理された音信号を記憶する。
【００２９】
ＣＰＵ９０は、撮像装置１全体を制御するが、一例としては、ズームエンコーダ１５から入力されるズームポジション、及び、ＡＦエンコーダ１７から入力されるフォーカスポジションと、操作部８０から入力される操作入力とに基づいて、ズームエンコーダ１５及びＡＦエンコーダ１７の位置を制御する駆動制御信号を生成する。ＣＰＵ９０は、この駆動制御信号に基づいて、レンズ駆動部１６を介してズームエンコーダ１５及びＡＦエンコーダ１７の位置を制御する。
【００３０】
バス３００は、撮像部１０と、音信号処理部２３と、バッファメモリ部３０と、画像処理部４０と、表示部５０と、記憶部６０と、通信部７０と、操作部８０と、ＣＰＵ９０とに接続され、各部から出力されたデータ等を転送する。
【００３１】
次に、図２を参照して、図１の構成のうち、信号処理装置１００及び音信号処理部２３の詳細な構成について説明する。
図２は、本実施形態における信号処理装置１００を示す概略ブロック図である。
この図において、信号処理装置１００は、音信号処理部２３とノイズ周波数特徴ベクトル記憶部６１とを備えている。なお、ノイズ周波数特徴ベクトル記憶部６１は、例えば、記憶部６０に備えられ、記憶部６０の一部である。また、信号処理装置１００は、ノイズ推定装置１５０を備えており、信号処理装置１００の構成のうち、例えば、周波数特徴ベクトル生成部２３１、内積算出部２３２、ノイズ推定部２３３、及びノイズ周波数特徴ベクトル記憶部６１が、このノイズ推定装置１５０に対応する。
【００３２】
音信号処理部２３は、Ａ／Ｄ変換部２２によりデジタル信号に変換された音信号に対して、例えば、ノイズを低減するなどの音信号処理を実行し、この音信号処理した音信号を記憶媒体２００に記憶させる。なお、本実施形態において、「ノイズ」とは、動作部による動作によって発生し、音信号に含まれる（すなわち、音信号に重畳している）ノイズ信号のことである。すなわち、「ノイズ」とは、非定常ノイズである。
【００３３】
ここでいう動作部とは、機構部とも呼び、一例としては、上述したズームレンズ１４、ＶＲレンズ１３、ＡＦレンズ１２、又は操作部８０のことである。この動作部とは、撮像装置１が備えている構成のうち、動作することにより、又は、動作されることにより、音が生じる（又は、音が生じる可能性がある）構成である。
また、この動作部とは、撮像装置１が備えている構成のうち、動作することにより生じた音、又は、動作されることにより生じた音が、マイク２１により収音される（又は、収音される可能性のある）構成である。
【００３４】
また、音信号処理部２３は、ＣＰＵ９０から供給される制御信号に基づいて、ノイズを低減するなどの音信号処理を実行する。
音信号処理部２３は、周波数特徴ベクトル生成部２３１、内積算出部２３２、ノイズ推定部２３３、及びノイズ低減処理部２４を備えている。
【００３５】
周波数特徴ベクトル生成部２３１は、Ａ／Ｄ変換部２２によりデジタル信号に変換された音信号を、フレーム単位でフーリエ変換（例えば、ＦＦＴ（Fast Fourier Transform）変換）して周波数スペクトルに変換する。なお、フレームとは、音信号を分割した区間のことである。ここでは、例えば、予め定められた期間を２分の１期間ずつずらした区間をフレームをとした場合について説明する。
【００３６】
そして、周波数特徴ベクトル生成部２３１は、変換した音信号の周波数スペクトルに基づいて入力周波数特徴ベクトルを生成する。つまり、周波数特徴ベクトル生成部２３１は、音信号を周波数スペクトルに変換し、変換した音信号の周波数スペクトルに基づいて、入力周波数特徴ベクトルを生成する。
【００３７】
なお、入力周波数特徴ベクトルは、音信号の周波数スペクトルにおける各周波数成分（周波数ビン）に対応する強度（例えば、絶対値）を要素として生成されたベクトルである。この入力周波数特徴ベクトルについての詳細は、図３を参照して後述する。
【００３８】
さらに、周波数特徴ベクトル生成部２３１は、生成した入力周波数特徴ベクトルを内積算出部２３２及びノイズ低減処理部２４に供給する。
【００３９】
内積算出部２３２（算出部）は、周波数特徴ベクトル生成部２３１から供給された入力周波数特徴ベクトルと、ノイズ周波数特徴ベクトル記憶部６１から読み出したノイズ周波数特徴ベクトルとの内積値に基づいて、ノイズ類似度を算出する。一例として、内積算出部２３２（算出部）は、この入力周波数特徴ベクトルと、ノイズ周波数特徴ベクトルとの内積値を、ノイズ類似度として算出する。このノイズ類似度とは、音信号とノイズとの類似の度合いを示す情報である。すなわち、ノイズ類似度とは、音信号にノイズがどの程度含まれて（混入されて）いるかを示す値である。内積算出部２３２は、算出したノイズ類似度をノイズ推定部２３３に供給する。
【００４０】
ここで、ノイズ周波数特徴ベクトルとは、ノイズの周波数スペクトルに基づいて生成されたノイズの特徴を示すベクトルであり、ノイズ周波数特徴ベクトル記憶部６１に予め記憶されている。また、このノイズ周波数特徴ベクトルは、ノイズの周波数スペクトルにおける各周波数成分（周波数ビン）に対応する強度（例えば、絶対値）を要素として生成される。
【００４１】
つまり、ノイズ周波数特徴ベクトルは、ノイズの周波数スペクトルに基づいて生成され、入力周波数特徴ベクトルは、音信号の周波数スペクトルに基づいて生成される。そのため、言いかえると、内積算出部２３２は、周波数スペクトルとノイズの周波数スペクトルとに基づいて、上述のノイズ類似度を算出する。
【００４２】
また、ノイズ周波数特徴ベクトルは、例えば、正規化した単位ベクトルでもよい。つまり、正規化前のノイズ周波数特徴ベクトルをｎ０とすると、正規化されたノイズ周波数特徴ベクトルｎは、式（１）として示される。
【００４３】
【数１】
【００４４】
ノイズ推定部２３３は、内積算出部２３２により算出されたノイズ類似度に基づいて、音信号に含まれる推定ノイズを推定する。つまり、本実施形態では、ノイズ推定部２３３は、入力周波数特徴ベクトルと、ノイズ周波数特徴ベクトルｎとの内積値に基づいて、推定ノイズを推定する。ここで推定ノイズ（ベクトル〜ｎｋ）は、式（２）として示される。なお、ここで、記号“〜”は推定値を表し、本文中の“〜”は直後の文字の真上に付けられた記号を表すこととする。
【００４５】
【数２】
【００４６】
ここで、ｋは、フレーム番号を示し、ベクトルＸｋは、ｋ番目のフレームにおける入力周波数ベクトルを示す。
ノイズ推定部２３３は、式（２）によって算出した推定ノイズ（ベクトル〜ｎｋ）をノイズ低減処理部２４に供給する。
【００４７】
ノイズ低減処理部２４は、周波数特徴ベクトル生成部２３１によって生成された入力周波数特徴ベクトルと、ノイズ推定部２３３によって推定された推定ノイズ（ベクトル〜ｎｋ）とに基づいて、音信号に含まれるノイズを低減する処理を実行する。つまり、ノイズ低減処理部２４は、ノイズ推定装置１５０によって推定された推定ノイズに基づいて、音信号に含まれるノイズを低減する。そして、ノイズ低減処理部２４は、このノイズを低減する処理を実行した音信号を記憶媒体２００に記憶させる。
また、ノイズ低減処理部２４は、ノイズ減算部２３４及び逆変換部２３５を備えている。
【００４８】
ノイズ減算部２３４は、周波数特徴ベクトル生成部２３１によって生成された入力周波数特徴ベクトルＸｋと、ノイズ推定部２３３によって推定された推定ノイズ（ベクトル〜ｎｋ）とに基づいて、音信号に含まれるノイズを減算して、ノイズを減算した目的音の推定周波数特徴ベクトル〜Ｓｋを算出する。ノイズ減算部２３４は、式（３）に示される関係式によって、目的音の推定周波数特徴ベクトル〜Ｓｋを算出する。なお、ここで目的音とは、使用者が、撮像装置１のマイク２１によって収音しようとしている目的の音（録音対象の音）である。
【００４９】
【数３】
【００５０】
ノイズ減算部２３４は、算出した目的音の推定周波数特徴ベクトル〜Ｓｋを、逆変換部２３５に供給する。
【００５１】
逆変換部２３５は、ノイズ減算部２３４によって算出された目的音の推定周波数特徴ベクトル〜Ｓｋを周波数スペクトルに戻す。そして、逆変換部２３５は、ノイズが混入した音信号の位相情報に基づいて時間波形に逆フーリエ変換（例えば、逆ＦＦＴ変換）し、ノイズを低減した目的音の音信号を合成する。さらに、逆変換部２３５は、通信部７０を介して、生成した音信号を記憶媒体２００に記憶させる。
なお、逆変換部２３５は、推定周波数特徴ベクトル〜Ｓｋを変換した周波数スペクトルに負の値が含まれる場合には、その負の値を“０”に置き換えて、逆フーリエ変換する。
【００５２】
次に、図３を参照して、ノイズ推定装置１５０が音信号に含まれるノイズを推定する概念を詳細に説明する。
図３は、本実施形態における入力周波数特徴ベクトルとノイズ周波数特徴ベクトルの一例を示す概念図である。ここでは、本実施形態における概念を説明するために、周波数成分数（周波数ビン数）が２つの場合について説明する。
【００５３】
図３（ａ）は、ノイズの周波数スペクトルと音信号の周波数スペクトルの一例を示している。この図において、各グラフは、横軸が周波数成分（周波数ビンＢ１及びＢ２）を示し、縦軸が強度（例えば、ＰＳＤ（Power Spectrum Density）など）を示している。
【００５４】
また、この図において、周波数スペクトルＷ１は、ノイズの周波数スペクトルを示している。また、周波数スペクトルＷ２は、入力音信号（音信号）ｘ１の周波数スペクトルを示し、周波数スペクトルＷ３は、入力音信号（音信号）ｘ２の周波数スペクトルを示している。
【００５５】
図３（ｂ）は、図３（ａ）に示したノイズの周波数スペクトルと音信号の周波数スペクトルとを周波数特徴ベクトルに変換したベクトル空間を示している。この図において、横軸は、周波数ビンＢ１の強度を示し、縦軸は、周波数ビンＢ２の強度を示している。
【００５６】
また、この図において、ベクトルｎは、ノイズの周波数スペクトルＷ１に対応するノイズ周波数特徴ベクトル（正規化したノイズ周波数特徴ベクトル）を示している。なお、この正規化したノイズ周波数特徴ベクトルｎは、上述した式（１）によって算出され、ノイズ周波数特徴ベクトル記憶部６１に予め記憶されている。
【００５７】
また、この図において、ベクトルＸ１は、音信号ｘ１の周波数スペクトルＷ２に対応する入力周波数特徴ベクトルを示し、ベクトルＸ２は、音信号ｘ２の周波数スペクトルＷ３に対応する入力周波数特徴ベクトルを示している。
なお、音信号ｘ１の周波数スペクトルＷ２、音信号ｘ２の周波数スペクトルＷ３、入力周波数特徴ベクトルＸ１、及び入力周波数特徴ベクトルＸ２は、周波数特徴ベクトル生成部２３１によって生成される。
【００５８】
また、この図において、内積値Ｉ１は、入力周波数特徴ベクトルＸ１とノイズ周波数特徴ベクトルｎとの内積値を示し、内積値Ｉ２は、入力周波数特徴ベクトルＸ２とノイズ周波数特徴ベクトルｎとの内積値を示している。
【００５９】
本実施形態では、ノイズ推定部２３３が、内積算出部２３２により算出された内積値に基づいて、音信号に含まれるノイズ（推定ノイズ）を推定する。
ここで、音信号ｘ２は、内積値Ｉ２が内積値Ｉ１に比べて大きい。このことは、入力周波数特徴ベクトルＸ２の方向とノイズ周波数特徴ベクトルｎの方向が近いことを示している。そのため、音信号ｘ２の大部分がノイズであると推定される。
これに対して、音信号ｘ１は、内積値Ｉ１が内積値Ｉ２に比べて小さい。このことは、入力周波数特徴ベクトルＸ２の方向とノイズ周波数特徴ベクトルｎの方向が遠いことを示している。そのため、音信号ｘ１のノイズ量が、音信号ｘ２に比べて少ないと推定される。
つまり、ノイズ推定部２３３は、音信号に含まれる（重畳している）ノイズを適切に推定することができる。
【００６０】
本実施形態におけるノイズ推定装置１５０は、上述のノイズの推定方法に基づいて、ノイズ推定部２３３が推定ノイズを推定し、推定した推定ノイズを上述したノイズ低減処理部２４に供給する。なお、図３では、本実施形態における概念を説明するために、周波数ビン数が２つの場合を図示したが、内積算出部２３２は、実際にはより多数の要素を持ったベクトルの内積を算出することになる。例えば、１フレームのサンプル数が４０９６サンプルである場合、内積算出部２３２は、４０９６個の要素を持ったベクトルの内積を算出することになる。
【００６１】
次に、本実施形態における撮像装置１及び信号処理装置１００の動作について説明する。
【００６２】
まず、撮像装置１の撮像動作について説明する。
撮像装置１において、ＣＰＵ９０は、例えば、操作部８０を介して撮像指示を受け付けた際に、撮像部１０を介して得られる画像データを、記憶媒体２００に記憶させる。この際に、ＣＰＵ９０は、レンズ駆動部１６及び手振れ防止部１８を制御して、ズームレンズ１４、ＶＲレンズ１３、又はＡＦレンズ１２を駆動させる。
【００６３】
なお、使用者が動画を撮像する場合には、マイク２１により音信号が収音され、収音された音信号が、Ａ／Ｄ変換部２２及び音信号処理部２３を介して、音信号が記憶媒体２００に記憶される。この場合に、ズームレンズ１４、ＶＲレンズ１３、又はＡＦレンズ１２の駆動や操作部８０の操作により、マイク２１により収音された音信号にノイズが重畳されることがある。本実施形態における撮像装置１では、音信号処理部２３を含む信号処理装置１００を備えており、この信号処理装置１００によって、音信号に重畳されたノイズを低減するノイズ低減処理を実行する。
【００６４】
次に、信号処理装置１００におけるノイズ低減処理に関する動作を説明する。
図４は、本実施形態におけるノイズ低減処理の動作を示すフローチャートである。
【００６５】
この図において、まず、信号処理装置１００は、入力された音信号をフレーム単位でフーリエ変換する（ステップＳ１０１）。つまり、音信号処理部２３の周波数特徴ベクトル生成部２３１は、Ａ／Ｄ変換部２２によりデジタル信号に変換された音信号をフレーム単位で音信号の周波数スペクトルに変換する。なお、周波数特徴ベクトル生成部２３１は、フーリエ変換する際に、例えば、ハミング窓を窓関数として使用する。
次に、周波数特徴ベクトル生成部２３１は、フレーム単位に変換した周波数スペクトルに基づいて入力周波数特徴ベクトル（Ｘｋ）を生成する(ステップＳ１０２)。
【００６６】
次に、信号処理装置１００は、入力周波数特徴ベクトルとノイズ周波数特徴ベクトルとの内積値を算出する（ステップＳ１０３）。つまり、内積算出部２３２は、周波数特徴ベクトル生成部２３１から供給された入力周波数特徴ベクトル（Ｘｋ）と、ノイズ周波数特徴ベクトル記憶部６１から読み出したノイズ周波数特徴ベクトル（ｎ）との内積値をノイズ類似度として算出する。
【００６７】
次に、信号処理装置１００は、推定ノイズを推定する（ステップＳ１０４）。つまり、ノイズ推定部２３３は、内積算出部２３２により算出されたノイズ類似度（内積値＜Ｘｋ，ｎ＞）に基づいて、音信号に含まれる推定ノイズ（ベクトル〜ｎｋ）を推定する。ノイズ推定部２３３は、例えば、上述した式（２）によって、この推定ノイズ（ベクトル〜ｎｋ）を算出する。
【００６８】
次に、信号処理装置１００は、推定ノイズによってノイズを減算する（ステップＳ１０５）。つまり、ノイズ低減処理部２４のノイズ減算部２３４は、入力周波数特徴ベクトル（Ｘｋ）と、推定ノイズ（ベクトル〜ｎｋ）とに基づいて、音信号に含まれるノイズを減算して、ノイズを減算した目的音の推定周波数特徴ベクトル（〜Ｓｋ）を算出する。ノイズ減算部２３４は、例えば、上述した式（３）によって、この目的音の推定周波数特徴ベクトル（〜Ｓｋ）を算出する。
【００６９】
次に、信号処理装置１００は、逆フーリエ変換して、音信号を合成する（ステップＳ１０６）。つまり、逆変換部２３５は、まず、ノイズ減算部２３４によって算出された目的音の推定周波数特徴ベクトル（〜Ｓｋ）を周波数スペクトルに戻す。そして、逆変換部２３５は、ノイズが混入した音信号の位相情報に基づいて時間波形に変換し、ノイズを低減した目的音の音信号を合成する。さらに、逆変換部２３５は、通信部７０を介して、生成した音信号を記憶媒体２００に記憶させて、１フレームにおけるノイズ低減処理を終了させる。
【００７０】
なお、ステップＳ１０１〜ステップＳ１０６の処理は、ＣＰＵ９０から制御信号によるノイズ低減処理の終了指示がされるまで繰り返し実行される。
【００７１】
以上のように、ノイズ推定装置１５０は、内積算出部２３２が、入力された音信号の周波数スペクトルと、ノイズの周波数スペクトルとに基づいて、音信号とノイズとの類似の度合いを示すノイズ類似度（内積値）を算出する。そして、ノイズ推定部２３３は、内積算出部２３２により算出されたノイズ類似度に基づいて、音信号に含まれる推定ノイズを推定する。
【００７２】
これにより、ノイズ推定装置１５０は、音信号に含まれる推定ノイズを適切に推定することができる。また、信号処理装置１００は、ノイズ低減処理部２４がノイズ推定装置１５０によって推定された推定ノイズに基づいて、音信号に含まれるノイズを低減する。そのため、ノイズ推定装置１５０及び信号処理装置１００は、例えば、大きさが非定常なノイズを低減するような場合であっても、ノイズの過大減算あるいは過小減算により、音の劣化もしくは雑音の残存が発生することを低減できる。
【００７３】
また、ノイズ推定装置１５０及び信号処理装置１００は、例えば、間欠的に発生するノイズを低減するような場合であっても、ノイズを過大に減算してしまうことを防止でき、音の劣化が発生することを低減できる。したがって、ノイズ推定装置１５０及び信号処理装置１００は、音信号に重畳しているノイズを適切に低減することができる。
また、ノイズ推定装置１５０及び信号処理装置１００は、非定常ノイズの推定ノイズを得るために、１チャンネルの音信号に対して、複数のマイクを必要としない。そのため、少数のマイクによって、非定常ノイズを適切に低減することができる。
【００７４】
また、本実施形態において、内積算出部２３２は、音信号の周波数スペクトルに基づいて生成された入力周波数特徴ベクトルと、ノイズの周波数スペクトルに基づいて生成されたノイズの特徴を示すノイズ周波数特徴ベクトルとの内積値に基づいて、ノイズ類似度を算出する。ここで、ノイズ周波数特徴ベクトルは、ノイズの周波数スペクトルにおける各周波数成分（各周波数ビン）に対応する強度を要素として生成されたベクトルである。また、入力周波数特徴ベクトルは、音信号の周波数スペクトルにおける各周波数成分に対応する強度を要素として生成されたベクトルである。
【００７５】
入力周波数特徴ベクトルとノイズ周波数特徴ベクトルとの内積値は、図３に示されるように、入力周波数特徴ベクトルの方向とノイズ周波数特徴ベクトルの方向との近さの度合いを示している。そのため、ノイズ推定装置１５０は、入力周波数特徴ベクトルとノイズ周波数特徴ベクトルとの内積値に基づいて、適切に推定ノイズを推定することができる。よって、ノイズ推定装置１５０及び信号処理装置１００は、音信号に重畳しているノイズを適切に低減することができる。
【００７６】
また、本実施形態において、ノイズ周波数特徴ベクトルは、単位ベクトルである。
これにより、内積算出部２３２によって算出される内積値が、極端に大きな値になることを防止し、この内積値を制限することができる。
【００７７】
なお、本実施形態では、内積算出部２３２によって内積する際に、ノイズ周波数特徴ベクトルとして単位ベクトル（ｎ）を用いる形態を説明したが、正規化していないノイズ周波数特徴ベクトル（ｎ０）を用いる形態でもよい。また、この場合、ノイズ推定部２３３は、式（４）に示すように、ノイズ類似度（例えば、内積値）に応じて定められる係数αを、ノイズ周波数特徴ベクトルに乗算して、推定ノイズを推定してもよい。ここで係数αは、例えば、ＡＦレンズ１２のノイズであれば、“０．５”、ズームレンズ１４のノイズであれば、“０．１”というように、ノイズを発生する動作部（機構部）に応じて変更してもよい。
【００７８】
【数４】
【００７９】
この場合、ノイズ減算部２３４は、式（５）に示される関係式によって、目的音の推定周波数特徴ベクトル〜Ｓｋを算出する。
【００８０】
【数５】
【００８１】
これにより、ノイズ周波数特徴ベクトルを正規化する必要がなく、ノイズ周波数特徴ベクトルの生成処理を簡略化することができる。また、必要に応じて、係数αによって、ノイズの削減量を補正できるため、ノイズ推定装置１５０及び信号処理装置１００は、音信号に重畳しているノイズを適切に低減することができる。
【００８２】
次に、本実施形態におけるノイズ周波数特徴ベクトルの生成方法について説明する。
ノイズ周波数特徴ベクトルは、撮像装置１の製造又は出荷検査の際に、例えば、校正装置によって予め生成され、ノイズ周波数特徴ベクトル記憶部６１に記憶される。
校正装置は、静かな環境（フロアノイズの低い環境）において、ＡＦレンズ１２などの動作部（機構部）を動作させて、撮像装置１のマイク２１によって収音されたノイズの音信号を取得する。校正装置は、このノイズの音信号をフレーム単位でフーリエ変換して、ノイズの周波数スペクトルを生成する。
【００８３】
そして、校正装置は、ノイズの周波数スペクトルにおける各周波数成分（各周波数ビン）に対応する強度を要素として、ノイズ周波数特徴ベクトルを生成する。なお、ノイズ周波数特徴ベクトルは、上述したように、正規化したベクトル（ｎ）でもよいし、正規化していないベクトル（ｎ０）でもよい。校正装置は、生成したノイズ周波数特徴ベクトルをノイズ周波数特徴ベクトル記憶部６１に記憶させる。
すなわち、ノイズ周波数特徴ベクトルは、ノイズを発生する動作部（機構部）を動作させた際に得られる音信号に基づいて予め生成される。
【００８４】
これにより、本実施形態におけるノイズ推定装置１５０は、適切なノイズ周波数特徴ベクトルを得ることができるため、音信号に含まれるノイズを適切に推定することができる。したがって、ノイズ推定装置１５０及び信号処理装置１００は、音信号に重畳しているノイズを適切に低減することができる。
【００８５】
なお、校正装置は、ノイズの音信号の所定の区間に対し、所定の時間で区切られた複数のフレームにおける周波数特徴ベクトルを算出し、ノイズ周波数特徴ベクトルの各周波数成分として、それらの最小値、平均値、中間値、最大値のいずれかを適用してもよい。
例えば、ノイズ低減を優先したい場合には、複数のフレームにおける周波数特徴ベクトルにおける最大値を適用する。また、例えば、目的音の劣化を抑えたい場合には、複数のフレームにおける周波数特徴ベクトルにおける最小値を適用する。また、例えば、ノイズ低減と目的音の劣化とをバランスよく、適切にノイズ低減したい場合には、複数のフレームにおける周波数特徴ベクトルにおける平均値又は中間値を適用する。
【００８６】
次に、本実施形態におけるノイズ周波数特徴ベクトルの生成方法における別の一例について説明する。
図５は、本実施形態におけるノイズが重畳した音信号の例を示す説明図である。
この図において、横軸は、時間ｔを示す。図５（Ａ）は、動作部の動作状態を示すグラフであり、Ｈ（ハイ）状態である場合に、動作部が動作している状態を示し、Ｌ（ロウ）状態である場合に、動作部が停止している状態を示す。図５（Ａ）において、波形Ｗ４は、時刻Ｔ１において、動作部が動作を開始したことを示している。
【００８７】
次に、図５（Ｂ）は、音信号を分割するフレームの一例を示している。図５（Ｂ）において、予め定められた期間を２分の１期間ずつずらした区間を１つのフレームをとして、フレームＦ１からフレームＦ７に分割される例を示している。
【００８８】
図５（Ｃ）は、マイク２１により収音された音信号の波形を示すグラフである。図５（Ｃ）において、波形Ｗ５は、時刻Ｔ１までの期間（ノイズが発生する前の期間）の音信号を示し、波形Ｗ６は、時刻Ｔ１以降の期間（ノイズが発生した後の期間）の音信号を示している。波形Ｗ６に示すように、時刻Ｔ１以降の期間において、上述の動作部の動作（ズームレンズ１４、ＶＲレンズ１３、又はＡＦレンズ１２の駆動や操作部８０の操作）により、音信号にノイズが重畳される。
【００８９】
本実施形態では、校正装置は、まず、図５に示されるような音信号（波形Ｗ５及び波形Ｗ６）を撮像装置１のマイク２１によって取得する。そして、校正装置は、このように取得した音信号に基づいて、図６に示すように、ノイズの周波数スペクトル（Ｗ９）を算出する。
【００９０】
図６は、本実施形態におけるノイズの周波数スペクトルの生成方法の一例を説明する説明図である。この図において、周波数スペクトルＷ７は、ノイズ発生前（時刻Ｔ１以前、例えば、フレームＦ１）の周波数スペクトルを示し、周波数スペクトルＷ８は、ノイズ発生後（時刻Ｔ１以降、例えば、フレームＦ４）の周波数スペクトルを示している。なお、周波数スペクトルＷ７は、音信号に定常ノイズとして含まれる背景ノイズ（フロアノイズ）の成分を示している。また、周波数スペクトルＷ９は、周波数スペクトルＷ８から周波数スペクトルＷ７を減算した（フレームＦ４からフレームＦ１を減算した）、ノイズの周波数スペクトルを示している。
【００９１】
つまり、校正装置は、図６に示すようにノイズの周波数スペクトルを算出し、算出したノイズの周波数スペクトルに基づいて、ノイズ周波数特徴ベクトルを生成する。すなわち、ノイズ周波数特徴ベクトルは、機構部を動作させた際に、音信号に定常ノイズとして含まれる背景ノイズの成分を、音信号から減算して生成される。校正装置は、生成したノイズ周波数特徴ベクトルをノイズ周波数特徴ベクトル記憶部６１に記憶させる。
【００９２】
これにより、ノイズ周波数特徴ベクトルから音信号に定常ノイズとして含まれる背景ノイズ（フロアノイズ）の成分が低減されるので、背景ノイズ（フロアノイズ）によって、入力周波数特徴ベクトルとノイズ周波数特徴ベクトルとの内積値が大きな値になることを防止することができる。そのため、本実施形態におけるノイズ推定装置１５０は、音信号に含まれるノイズを適切に推定することができる。したがって、ノイズ推定装置１５０及び信号処理装置１００は、音信号に重畳しているノイズを適切に低減することができる。
【００９３】
なお、上記の背景ノイズを減算してノイズ周波数特徴ベクトルする場合においても、上述した複数のフレームにおける周波数特徴ベクトルの最小値、平均値、中間値、最大値のいずれかを使用する手法を適用してもよい。
【００９４】
なお、本発明の実施形態によれば、撮像装置１は、上述の信号処理装置１００を備える。
これにより、撮像装置１は、信号処理装置１００と同様の効果が期待でき、音信号に重畳しているノイズを適切に低減することができる。
【００９５】
また、本発明の実施形態によれば、ノイズ推定装置１５０としてのコンピュータに、内積算出部２３２が、入力された音信号の周波数スペクトルと、ノイズの周波数スペクトルとに基づいて、音信号とノイズとの類似の度合いを示すノイズ類似度を算出する算出手順（ステップＳ１０３）と、ノイズ推定部２３３が、算出手順により算出されたノイズ類似度に基づいて、音信号に含まれる推定ノイズを推定するノイズ推定手順（ステップＳ１０４）とを実行させるためのプログラムである。
これにより、プログラムは、ノイズ推定装置１５０と同様の効果が期待でき、音信号に重畳しているノイズを適切に低減することができる。
【００９６】
なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
上記の各実施形態において、ノイズ推定部２３３は、ノイズ類似度として算出された、入力周波数特徴ベクトルとノイズ周波数特徴ベクトルとの内積値に基づいて推定ノイズを推定する形態を説明したが、これに限定されるものではない。例えば、ノイズ類似度を算出する算出部が、音信号の周波数スペクトルと、ノイズの周波数スペクトルとの相関係数に基づいて、ノイズ類似度を算出し、ノイズ推定部２３３が、この相関係数に基づいて推定ノイズを推定する形態でもよい。この場合、ノイズ類似度を算出する算出部は、音信号の周波数スペクトルとノイズの周波数スペクトルとの各周波数成分（各周波数ビン）に対応する各組による相関係数を算出する。
【００９７】
これにより、内積値に基づいて推定ノイズを推定する形態と同様に、ノイズ推定装置１５０及び信号処理装置１００は、音信号に重畳しているノイズを適切に低減することができる。
また、ノイズ類似度は、例えば、マハラノビス距離に基づいて算出される形態でもよいし、他の形態でもよい。
【００９８】
また、上記の各実施形態において、ノイズの周波数スペクトルの強度及び音信号の周波数スペクトルの強度として、絶対値を使用する形態を説明したが、虚数部も含めた複素数やパワーを使用する形態でもよい。
【００９９】
また、上記の各実施形態において、信号処理装置１００は、動作部（機構部）のノイズの発生タイミングを検出する検出部を備え、この検出部によって検出した発生タイミングに基づいて、ノイズを低減する処理を行うか否かを判定してもよい。つまり、信号処理装置１００は、検出部によって検出した発生タイミングに基づいて、ノイズが発生していると判定された場合に、ノイズを低減する処理を実行する形態でもよい。
【０１００】
また、ノイズ推定装置１５０は、この検出部によって検出した発生タイミングに基づいて、ノイズ周波数特徴ベクトル記憶部６１に複数記憶されているノイズ周波数特徴ベクトルのうちの１つ又は複数を選択して使用する形態でもよい。例えば、ノイズ推定装置１５０は、この検出部によってズームレンズ１４、ＶＲレンズ１３、及びＡＦレンズ１２の機構音のうちのいずれか１つが動作していることを検出し、検出結果に応じて、ズームレンズ１４、ＶＲレンズ１３、及びＡＦレンズ１２のうちのいずれか１つに対応するノイズ周波数特徴ベクトルを選択してもよい。
【０１０１】
また、上記の実施形態において、ノイズ減算部２３４は、ノイズ推定部２３３によって推定された推定ノイズに基づいて、目的音の推定周波数特徴ベクトル〜Ｓｋを推定する形態を説明したが、さらに、重み付け係数を付加して算出する形態でもよい。例えば、推定ノイズに対するノイズ発生前の音信号の周波数スペクトルの比であるＳＮＲ（signal-noise ratio）やトーン度などを算出し、その算出値に基づいて重み付け係数を乗算して、推定ノイズ量を補正してもよい。
【０１０２】
また、上記の各実施形態において、ノイズ周波数特徴ベクトルを校正装置が生成して、ノイズ周波数特徴ベクトル記憶部６１に記憶させる形態を説明したが、撮像装置１、信号処理装置１００、又はノイズ推定装置１５０が、ノイズ周波数特徴ベクトルを生成する生成部を備える形態でもよい。また、校正装置が、既に予め生成されているノイズ周波数特徴ベクトルをノイズ周波数特徴ベクトル記憶部６１に記憶させる形態でもよい。
また、上記の各実施形態において、ノイズ周波数特徴ベクトル記憶部６１は、ノイズ周波数特徴ベクトルを記憶する形態を説明したが、ノイズ周波数特徴ベクトル記憶部６１は、ノイズの周波数スペクトルを記憶し、ノイズ推定装置１５０によって、ノイズ周波数特徴ベクトルが生成される形態でもよい。例えば、内積算出部２３２が、ノイズの周波数スペクトルに基づいて、ノイズ周波数特徴ベクトルを生成する形態でもよい。
【０１０３】
また、上記の各実施形態において、信号処理装置１００を撮像装置１に適用する形態を説明したが、これに限定されるものではない。例えば、レコーダなどの録音装置や電話機などのキー操作による音がノイズとして目的音である音信号に重畳されるような装置に適用してもよい。
また、上記の各実施形態において、フーリエ変換としてＦＦＴを用いる形態を説明したが、ＤＦＴ（Discrete Fourier Transform）を用いる形態でもよいし、他の方式を用いる形態でもよい。
【０１０４】
上述のノイズ推定装置１５０及び信号処理装置１００は内部に、コンピュータシステムを有している。そして、上述したノイズ推定装置１５０及び信号処理装置１００の処理過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
【符号の説明】
【０１０５】
１…撮像装置、２４…ノイズ低減処理部、６１…ノイズ周波数特徴ベクトル記憶部、１００…信号処理装置、１５０…ノイズ推定装置、２３１…周波数特徴ベクトル生成部、２３２…内積算出部、２３３…ノイズ推定部
【技術分野】
【０００１】
本発明は、ノイズ推定装置、信号処理装置、撮像装置、及びプログラムに関する。
【背景技術】
【０００２】
音信号に重畳しているノイズを低減する技術が知られている（例えば、特許文献１を参照）。非特許文献１に記載されている技術では、音信号に重畳している定常ノイズを、予め定められている推定ノイズによって低減する。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】BOLL, S. F. "Suppression of Acoustic Noise in Speech Using Spectral Subtraction." IEEE TRANSACTION ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING, vol. ASSP-27, pp. 113-120, APRIL, 1979.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、非特許文献１に記載されている技術では、例えば、大きさが非定常なノイズを低減するような場合、音信号に実際に混入しているノイズと推定ノイズとの間に差が生じ、ノイズの過大減算あるいは過小減算により、音の劣化もしくは雑音の残存が発生することがある。また、例えば、間欠的に発生するノイズを低減するような場合、ノイズが混入していない箇所では、ノイズを過大に減算してしまい、音の劣化が発生することがある。
つまり、非特許文献１に記載されている技術では、音信号に重畳しているノイズを適切に低減できないという問題がある。
【０００５】
本発明は、上記問題を解決すべくなされたもので、その目的は、音信号に重畳しているノイズを適切に低減することができるノイズ推定装置、信号処理装置、撮像装置、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記問題を解決するために、本発明は、入力された音信号の周波数スペクトルと、ノイズの周波数スペクトルとに基づいて、前記音信号と前記ノイズとの類似の度合いを示すノイズ類似度を算出する算出部と、前記算出部により算出された前記ノイズ類似度に基づいて、前記音信号に含まれる推定ノイズを推定するノイズ推定部とを備えることを特徴とするノイズ推定装置である。
【０００７】
また、本発明は、上記のノイズ推定装置と、前記ノイズ推定装置によって推定された前記推定ノイズに基づいて、前記音信号に含まれるノイズを低減するノイズ低減処理部と、を備えることを特徴とする信号処理装置である。
【０００８】
また、本発明は、上記の信号処理装置を備えることを特徴とする撮像装置である。
【０００９】
また、本発明は、ノイズ推定装置としてのコンピュータに、算出部が、入力された音信号の周波数スペクトルと、ノイズの周波数スペクトルとに基づいて、前記音信号と前記ノイズとの類似の度合いを示すノイズ類似度を算出する算出手順と、ノイズ推定部が、前記算出手順により算出された前記ノイズ類似度に基づいて、前記音信号に含まれる推定ノイズを推定するノイズ推定手順とを実行させるためのプログラムである。
【発明の効果】
【００１０】
本発明によれば、音信号に重畳しているノイズを適切に低減することができる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態による撮像装置を示す概略ブロック図である。
【図２】同実施形態における信号処理装置を示す概略ブロック図である。
【図３】同実施形態における入力周波数特徴ベクトルとノイズ周波数特徴ベクトルの一例を示す概念図である。
【図４】同実施形態におけるノイズ低減処理の動作を示すフローチャートである。
【図５】同実施形態におけるノイズが重畳した音信号の例を示す説明図である。
【図６】同実施形態におけるノイズの周波数スペクトルの生成方法の一例を説明する説明図である。
【発明を実施するための形態】
【００１２】
以下、本発明の一実施形態による信号処理装置及び撮像装置について図面を参照して説明する。
図１は、本実施形態による撮像装置１を示す概略ブロック図である。
この図において、本実施形態による撮像装置１は、撮像部１０、バッファメモリ部３０、画像処理部４０、表示部５０、記憶部６０、通信部７０、操作部８０、ＣＰＵ（Central Processing Unit）９０、マイク２１、Ａ／Ｄ（Analog/Digital）変換部２２、音信号処理部２３、及びバス３００を備えている。この撮像装置１が備える構成のうち、例えば、音信号処理部２３と、記憶部６０の一部とが、信号処理装置１００に対応する。また、例えば、音信号処理部２３の一部と、記憶部６０の一部とが、ノイズ推定装置１５０に対応する。
【００１３】
撮像部１０は、光学系１１と、撮像素子１９と、Ａ/Ｄ変換部２０とを含み、設定された撮像条件（例えば絞り値、露出値等）に従ってＣＰＵ９０により制御され、光学系１１による光学像を撮像素子１９に結像させて、Ａ/Ｄ変換部２０によってデジタル信号に変換された当該光学像に基づく画像データを生成する。
【００１４】
光学系１１は、焦点調整レンズ（以下、ＡＦ（Auto Focus）レンズという）１２と、手振れ防止用レンズ（以下、ＶＲ（Vibration Reduction）レンズという）１３と、ズームレンズ１４と、ズームエンコーダ１５と、レンズ駆動部１６と、ＡＦエンコーダ１７と、手振れ防止部１８とを備えている。
この光学系１１は、ズームレンズ１４、ＶＲレンズ１３、及びＡＦレンズ１２を通過した光学像を撮像素子１９の受光面に導く。
【００１５】
レンズ駆動部１６は、後述するＣＰＵ９０から入力される駆動制御信号に基づいて、ズームレンズ１４又はＡＦエンコーダ１７の位置を制御する。
手振れ防止部１８は、後述するＣＰＵ９０から入力される駆動制御信号に基づいて、ＶＲレンズ１３の位置を制御する。この手振れ防止部１８は、ＶＲレンズ１３の位置を検出していてもよい。
【００１６】
ズームエンコーダ１５は、ズームレンズ１４の位置を表わすズームポジションを検出し、検出したズームポジションをＣＰＵ９０に出力する。
ＡＦエンコーダ１７は、ＡＦレンズ１２の位置を表わすフォーカスポジションを検出し、検出したズームポジション及びフォーカスポジションをＣＰＵ９０に出力する。
【００１７】
なお、上述した光学系１１は、撮像装置１に取り付けられて一体とされていてもよいし、撮像装置１に着脱可能に取り付けられてもよい。
【００１８】
撮像素子１９は、例えば、受光面に結像した光学像を電気信号に変換して、Ａ/Ｄ変換部２０に出力する。
また、撮像素子１９は、操作部８０を介して撮影指示を受け付けた際に得られる画像データを、撮影された静止画の撮影画像データとして、Ａ/Ｄ変換部２０や画像処理部４０を介して、記憶媒体２００に記憶させる。
【００１９】
一方、撮像素子１９は、例えば、操作部８０を介して撮像指示を受け付けていない状態において、連続的に得られる画像データをスルー画データとして、Ａ/Ｄ変換部２０や画像処理部４０を介して、ＣＰＵ９０及び表示部５０に出力する。
【００２０】
Ａ/Ｄ変換部２０は、撮像素子１９によって変換された電子信号をアナログ／デジタル変換し、この変換したデジタル信号である画像データを出力する。
【００２１】
バッファメモリ部３０は、撮像部１０によって撮像された画像データや、音信号処理部２３により変換された音信号等を、一時的に記憶する。
画像処理部４０は、記憶部６０に記憶されている画像処理条件を参照して、バッファメモリ部３０、又は、記憶媒体２００に記録されている画像データに対して画像処理をする。
【００２２】
表示部５０は、例えば、液晶ディスプレイであって、撮像部１０によって得られた画像データや、操作画面等を表示する。
【００２３】
記憶部６０は、ＣＰＵ９０によってシーン判定の際に参照される判定条件や、撮像条件等を記憶する。また、記憶部６０は、後述する音信号処理部２３において音信号のノイズを低減するノイズ低減処理に使用する情報を記憶する。ここで、ノイズ低減処理に使用する情報とは、例えば、後述するノイズ周波数特徴ベクトル等である。
また、記憶部６０は、ノイズ周波数特徴ベクトル記憶部６１を備えている。
【００２４】
ノイズ周波数特徴ベクトル記憶部６１は、後述するノイズ周波数特徴ベクトルを記憶する。ノイズ周波数特徴ベクトルは、例えば、撮像装置１の製造又は出荷検査の際に、予め記憶されている。また、ノイズ周波数特徴ベクトル記憶部６１は、対応するノイズの種類に応じて、複数のノイズ周波数特徴ベクトルを記憶していてもよい。例えば、ズームレンズ１４、ＶＲレンズ１３、及びＡＦレンズ１２の機構音のうちのいずれか１つによるノイズ（雑音）に対応するノイズ周波数特徴ベクトルが、それぞれノイズ周波数特徴ベクトル記憶部６１に記憶されていてもよい。
【００２５】
マイク２１は、音を収音し、収音した音に応じた音信号を出力する。この音信号は、アナログ信号である。
Ａ／Ｄ変換部２２は、マイク２１から入力されたアナログ信号である音信号を、デジタル信号である音信号に、アナログデジタル変換する。
【００２６】
音信号処理部２３は、Ａ／Ｄ変換部２２によりデジタル信号に変換された音信号に対して、例えば、ノイズを低減するなどの音信号処理を実行し、この音信号処理した音信号を記憶媒体２００に記憶させる。音信号処理部２３は、ノイズ低減処理部２４、周波数特徴ベクトル生成部２３１、内積算出部２３２、及びノイズ推定部２３３を備えている。この音信号処理部２３の詳細については、後述する。
なお、音信号処理部２３により音信号処理された音信号が記憶媒体２００に記憶される場合、撮像素子１９により撮像された画像データと、時間的に関係付けられて記憶されてもよいし、音信号を含む動画として記憶されてもよい。
【００２７】
通信部７０は、カードメモリ等の取り外しが可能な記憶媒体２００と接続され、この記憶媒体２００への情報の書込み、読み出し、あるいは消去を行う。
操作部８０は、例えば、電源スイッチやシャッターボタン、その他の操作キーを含み、ユーザによって操作されることでユーザの操作入力を受け付け、ＣＰＵ９０に出力する。
【００２８】
記憶媒体２００は、撮像装置１に対して着脱可能に接続される記憶部であって、例えば、撮像部１０によって生成された（撮影された）画像データや、音信号処理部２３により音信号処理された音信号を記憶する。
【００２９】
ＣＰＵ９０は、撮像装置１全体を制御するが、一例としては、ズームエンコーダ１５から入力されるズームポジション、及び、ＡＦエンコーダ１７から入力されるフォーカスポジションと、操作部８０から入力される操作入力とに基づいて、ズームエンコーダ１５及びＡＦエンコーダ１７の位置を制御する駆動制御信号を生成する。ＣＰＵ９０は、この駆動制御信号に基づいて、レンズ駆動部１６を介してズームエンコーダ１５及びＡＦエンコーダ１７の位置を制御する。
【００３０】
バス３００は、撮像部１０と、音信号処理部２３と、バッファメモリ部３０と、画像処理部４０と、表示部５０と、記憶部６０と、通信部７０と、操作部８０と、ＣＰＵ９０とに接続され、各部から出力されたデータ等を転送する。
【００３１】
次に、図２を参照して、図１の構成のうち、信号処理装置１００及び音信号処理部２３の詳細な構成について説明する。
図２は、本実施形態における信号処理装置１００を示す概略ブロック図である。
この図において、信号処理装置１００は、音信号処理部２３とノイズ周波数特徴ベクトル記憶部６１とを備えている。なお、ノイズ周波数特徴ベクトル記憶部６１は、例えば、記憶部６０に備えられ、記憶部６０の一部である。また、信号処理装置１００は、ノイズ推定装置１５０を備えており、信号処理装置１００の構成のうち、例えば、周波数特徴ベクトル生成部２３１、内積算出部２３２、ノイズ推定部２３３、及びノイズ周波数特徴ベクトル記憶部６１が、このノイズ推定装置１５０に対応する。
【００３２】
音信号処理部２３は、Ａ／Ｄ変換部２２によりデジタル信号に変換された音信号に対して、例えば、ノイズを低減するなどの音信号処理を実行し、この音信号処理した音信号を記憶媒体２００に記憶させる。なお、本実施形態において、「ノイズ」とは、動作部による動作によって発生し、音信号に含まれる（すなわち、音信号に重畳している）ノイズ信号のことである。すなわち、「ノイズ」とは、非定常ノイズである。
【００３３】
ここでいう動作部とは、機構部とも呼び、一例としては、上述したズームレンズ１４、ＶＲレンズ１３、ＡＦレンズ１２、又は操作部８０のことである。この動作部とは、撮像装置１が備えている構成のうち、動作することにより、又は、動作されることにより、音が生じる（又は、音が生じる可能性がある）構成である。
また、この動作部とは、撮像装置１が備えている構成のうち、動作することにより生じた音、又は、動作されることにより生じた音が、マイク２１により収音される（又は、収音される可能性のある）構成である。
【００３４】
また、音信号処理部２３は、ＣＰＵ９０から供給される制御信号に基づいて、ノイズを低減するなどの音信号処理を実行する。
音信号処理部２３は、周波数特徴ベクトル生成部２３１、内積算出部２３２、ノイズ推定部２３３、及びノイズ低減処理部２４を備えている。
【００３５】
周波数特徴ベクトル生成部２３１は、Ａ／Ｄ変換部２２によりデジタル信号に変換された音信号を、フレーム単位でフーリエ変換（例えば、ＦＦＴ（Fast Fourier Transform）変換）して周波数スペクトルに変換する。なお、フレームとは、音信号を分割した区間のことである。ここでは、例えば、予め定められた期間を２分の１期間ずつずらした区間をフレームをとした場合について説明する。
【００３６】
そして、周波数特徴ベクトル生成部２３１は、変換した音信号の周波数スペクトルに基づいて入力周波数特徴ベクトルを生成する。つまり、周波数特徴ベクトル生成部２３１は、音信号を周波数スペクトルに変換し、変換した音信号の周波数スペクトルに基づいて、入力周波数特徴ベクトルを生成する。
【００３７】
なお、入力周波数特徴ベクトルは、音信号の周波数スペクトルにおける各周波数成分（周波数ビン）に対応する強度（例えば、絶対値）を要素として生成されたベクトルである。この入力周波数特徴ベクトルについての詳細は、図３を参照して後述する。
【００３８】
さらに、周波数特徴ベクトル生成部２３１は、生成した入力周波数特徴ベクトルを内積算出部２３２及びノイズ低減処理部２４に供給する。
【００３９】
内積算出部２３２（算出部）は、周波数特徴ベクトル生成部２３１から供給された入力周波数特徴ベクトルと、ノイズ周波数特徴ベクトル記憶部６１から読み出したノイズ周波数特徴ベクトルとの内積値に基づいて、ノイズ類似度を算出する。一例として、内積算出部２３２（算出部）は、この入力周波数特徴ベクトルと、ノイズ周波数特徴ベクトルとの内積値を、ノイズ類似度として算出する。このノイズ類似度とは、音信号とノイズとの類似の度合いを示す情報である。すなわち、ノイズ類似度とは、音信号にノイズがどの程度含まれて（混入されて）いるかを示す値である。内積算出部２３２は、算出したノイズ類似度をノイズ推定部２３３に供給する。
【００４０】
ここで、ノイズ周波数特徴ベクトルとは、ノイズの周波数スペクトルに基づいて生成されたノイズの特徴を示すベクトルであり、ノイズ周波数特徴ベクトル記憶部６１に予め記憶されている。また、このノイズ周波数特徴ベクトルは、ノイズの周波数スペクトルにおける各周波数成分（周波数ビン）に対応する強度（例えば、絶対値）を要素として生成される。
【００４１】
つまり、ノイズ周波数特徴ベクトルは、ノイズの周波数スペクトルに基づいて生成され、入力周波数特徴ベクトルは、音信号の周波数スペクトルに基づいて生成される。そのため、言いかえると、内積算出部２３２は、周波数スペクトルとノイズの周波数スペクトルとに基づいて、上述のノイズ類似度を算出する。
【００４２】
また、ノイズ周波数特徴ベクトルは、例えば、正規化した単位ベクトルでもよい。つまり、正規化前のノイズ周波数特徴ベクトルをｎ０とすると、正規化されたノイズ周波数特徴ベクトルｎは、式（１）として示される。
【００４３】
【数１】
【００４４】
ノイズ推定部２３３は、内積算出部２３２により算出されたノイズ類似度に基づいて、音信号に含まれる推定ノイズを推定する。つまり、本実施形態では、ノイズ推定部２３３は、入力周波数特徴ベクトルと、ノイズ周波数特徴ベクトルｎとの内積値に基づいて、推定ノイズを推定する。ここで推定ノイズ（ベクトル〜ｎｋ）は、式（２）として示される。なお、ここで、記号“〜”は推定値を表し、本文中の“〜”は直後の文字の真上に付けられた記号を表すこととする。
【００４５】
【数２】
【００４６】
ここで、ｋは、フレーム番号を示し、ベクトルＸｋは、ｋ番目のフレームにおける入力周波数ベクトルを示す。
ノイズ推定部２３３は、式（２）によって算出した推定ノイズ（ベクトル〜ｎｋ）をノイズ低減処理部２４に供給する。
【００４７】
ノイズ低減処理部２４は、周波数特徴ベクトル生成部２３１によって生成された入力周波数特徴ベクトルと、ノイズ推定部２３３によって推定された推定ノイズ（ベクトル〜ｎｋ）とに基づいて、音信号に含まれるノイズを低減する処理を実行する。つまり、ノイズ低減処理部２４は、ノイズ推定装置１５０によって推定された推定ノイズに基づいて、音信号に含まれるノイズを低減する。そして、ノイズ低減処理部２４は、このノイズを低減する処理を実行した音信号を記憶媒体２００に記憶させる。
また、ノイズ低減処理部２４は、ノイズ減算部２３４及び逆変換部２３５を備えている。
【００４８】
ノイズ減算部２３４は、周波数特徴ベクトル生成部２３１によって生成された入力周波数特徴ベクトルＸｋと、ノイズ推定部２３３によって推定された推定ノイズ（ベクトル〜ｎｋ）とに基づいて、音信号に含まれるノイズを減算して、ノイズを減算した目的音の推定周波数特徴ベクトル〜Ｓｋを算出する。ノイズ減算部２３４は、式（３）に示される関係式によって、目的音の推定周波数特徴ベクトル〜Ｓｋを算出する。なお、ここで目的音とは、使用者が、撮像装置１のマイク２１によって収音しようとしている目的の音（録音対象の音）である。
【００４９】
【数３】
【００５０】
ノイズ減算部２３４は、算出した目的音の推定周波数特徴ベクトル〜Ｓｋを、逆変換部２３５に供給する。
【００５１】
逆変換部２３５は、ノイズ減算部２３４によって算出された目的音の推定周波数特徴ベクトル〜Ｓｋを周波数スペクトルに戻す。そして、逆変換部２３５は、ノイズが混入した音信号の位相情報に基づいて時間波形に逆フーリエ変換（例えば、逆ＦＦＴ変換）し、ノイズを低減した目的音の音信号を合成する。さらに、逆変換部２３５は、通信部７０を介して、生成した音信号を記憶媒体２００に記憶させる。
なお、逆変換部２３５は、推定周波数特徴ベクトル〜Ｓｋを変換した周波数スペクトルに負の値が含まれる場合には、その負の値を“０”に置き換えて、逆フーリエ変換する。
【００５２】
次に、図３を参照して、ノイズ推定装置１５０が音信号に含まれるノイズを推定する概念を詳細に説明する。
図３は、本実施形態における入力周波数特徴ベクトルとノイズ周波数特徴ベクトルの一例を示す概念図である。ここでは、本実施形態における概念を説明するために、周波数成分数（周波数ビン数）が２つの場合について説明する。
【００５３】
図３（ａ）は、ノイズの周波数スペクトルと音信号の周波数スペクトルの一例を示している。この図において、各グラフは、横軸が周波数成分（周波数ビンＢ１及びＢ２）を示し、縦軸が強度（例えば、ＰＳＤ（Power Spectrum Density）など）を示している。
【００５４】
また、この図において、周波数スペクトルＷ１は、ノイズの周波数スペクトルを示している。また、周波数スペクトルＷ２は、入力音信号（音信号）ｘ１の周波数スペクトルを示し、周波数スペクトルＷ３は、入力音信号（音信号）ｘ２の周波数スペクトルを示している。
【００５５】
図３（ｂ）は、図３（ａ）に示したノイズの周波数スペクトルと音信号の周波数スペクトルとを周波数特徴ベクトルに変換したベクトル空間を示している。この図において、横軸は、周波数ビンＢ１の強度を示し、縦軸は、周波数ビンＢ２の強度を示している。
【００５６】
また、この図において、ベクトルｎは、ノイズの周波数スペクトルＷ１に対応するノイズ周波数特徴ベクトル（正規化したノイズ周波数特徴ベクトル）を示している。なお、この正規化したノイズ周波数特徴ベクトルｎは、上述した式（１）によって算出され、ノイズ周波数特徴ベクトル記憶部６１に予め記憶されている。
【００５７】
また、この図において、ベクトルＸ１は、音信号ｘ１の周波数スペクトルＷ２に対応する入力周波数特徴ベクトルを示し、ベクトルＸ２は、音信号ｘ２の周波数スペクトルＷ３に対応する入力周波数特徴ベクトルを示している。
なお、音信号ｘ１の周波数スペクトルＷ２、音信号ｘ２の周波数スペクトルＷ３、入力周波数特徴ベクトルＸ１、及び入力周波数特徴ベクトルＸ２は、周波数特徴ベクトル生成部２３１によって生成される。
【００５８】
また、この図において、内積値Ｉ１は、入力周波数特徴ベクトルＸ１とノイズ周波数特徴ベクトルｎとの内積値を示し、内積値Ｉ２は、入力周波数特徴ベクトルＸ２とノイズ周波数特徴ベクトルｎとの内積値を示している。
【００５９】
本実施形態では、ノイズ推定部２３３が、内積算出部２３２により算出された内積値に基づいて、音信号に含まれるノイズ（推定ノイズ）を推定する。
ここで、音信号ｘ２は、内積値Ｉ２が内積値Ｉ１に比べて大きい。このことは、入力周波数特徴ベクトルＸ２の方向とノイズ周波数特徴ベクトルｎの方向が近いことを示している。そのため、音信号ｘ２の大部分がノイズであると推定される。
これに対して、音信号ｘ１は、内積値Ｉ１が内積値Ｉ２に比べて小さい。このことは、入力周波数特徴ベクトルＸ２の方向とノイズ周波数特徴ベクトルｎの方向が遠いことを示している。そのため、音信号ｘ１のノイズ量が、音信号ｘ２に比べて少ないと推定される。
つまり、ノイズ推定部２３３は、音信号に含まれる（重畳している）ノイズを適切に推定することができる。
【００６０】
本実施形態におけるノイズ推定装置１５０は、上述のノイズの推定方法に基づいて、ノイズ推定部２３３が推定ノイズを推定し、推定した推定ノイズを上述したノイズ低減処理部２４に供給する。なお、図３では、本実施形態における概念を説明するために、周波数ビン数が２つの場合を図示したが、内積算出部２３２は、実際にはより多数の要素を持ったベクトルの内積を算出することになる。例えば、１フレームのサンプル数が４０９６サンプルである場合、内積算出部２３２は、４０９６個の要素を持ったベクトルの内積を算出することになる。
【００６１】
次に、本実施形態における撮像装置１及び信号処理装置１００の動作について説明する。
【００６２】
まず、撮像装置１の撮像動作について説明する。
撮像装置１において、ＣＰＵ９０は、例えば、操作部８０を介して撮像指示を受け付けた際に、撮像部１０を介して得られる画像データを、記憶媒体２００に記憶させる。この際に、ＣＰＵ９０は、レンズ駆動部１６及び手振れ防止部１８を制御して、ズームレンズ１４、ＶＲレンズ１３、又はＡＦレンズ１２を駆動させる。
【００６３】
なお、使用者が動画を撮像する場合には、マイク２１により音信号が収音され、収音された音信号が、Ａ／Ｄ変換部２２及び音信号処理部２３を介して、音信号が記憶媒体２００に記憶される。この場合に、ズームレンズ１４、ＶＲレンズ１３、又はＡＦレンズ１２の駆動や操作部８０の操作により、マイク２１により収音された音信号にノイズが重畳されることがある。本実施形態における撮像装置１では、音信号処理部２３を含む信号処理装置１００を備えており、この信号処理装置１００によって、音信号に重畳されたノイズを低減するノイズ低減処理を実行する。
【００６４】
次に、信号処理装置１００におけるノイズ低減処理に関する動作を説明する。
図４は、本実施形態におけるノイズ低減処理の動作を示すフローチャートである。
【００６５】
この図において、まず、信号処理装置１００は、入力された音信号をフレーム単位でフーリエ変換する（ステップＳ１０１）。つまり、音信号処理部２３の周波数特徴ベクトル生成部２３１は、Ａ／Ｄ変換部２２によりデジタル信号に変換された音信号をフレーム単位で音信号の周波数スペクトルに変換する。なお、周波数特徴ベクトル生成部２３１は、フーリエ変換する際に、例えば、ハミング窓を窓関数として使用する。
次に、周波数特徴ベクトル生成部２３１は、フレーム単位に変換した周波数スペクトルに基づいて入力周波数特徴ベクトル（Ｘｋ）を生成する(ステップＳ１０２)。
【００６６】
次に、信号処理装置１００は、入力周波数特徴ベクトルとノイズ周波数特徴ベクトルとの内積値を算出する（ステップＳ１０３）。つまり、内積算出部２３２は、周波数特徴ベクトル生成部２３１から供給された入力周波数特徴ベクトル（Ｘｋ）と、ノイズ周波数特徴ベクトル記憶部６１から読み出したノイズ周波数特徴ベクトル（ｎ）との内積値をノイズ類似度として算出する。
【００６７】
次に、信号処理装置１００は、推定ノイズを推定する（ステップＳ１０４）。つまり、ノイズ推定部２３３は、内積算出部２３２により算出されたノイズ類似度（内積値＜Ｘｋ，ｎ＞）に基づいて、音信号に含まれる推定ノイズ（ベクトル〜ｎｋ）を推定する。ノイズ推定部２３３は、例えば、上述した式（２）によって、この推定ノイズ（ベクトル〜ｎｋ）を算出する。
【００６８】
次に、信号処理装置１００は、推定ノイズによってノイズを減算する（ステップＳ１０５）。つまり、ノイズ低減処理部２４のノイズ減算部２３４は、入力周波数特徴ベクトル（Ｘｋ）と、推定ノイズ（ベクトル〜ｎｋ）とに基づいて、音信号に含まれるノイズを減算して、ノイズを減算した目的音の推定周波数特徴ベクトル（〜Ｓｋ）を算出する。ノイズ減算部２３４は、例えば、上述した式（３）によって、この目的音の推定周波数特徴ベクトル（〜Ｓｋ）を算出する。
【００６９】
次に、信号処理装置１００は、逆フーリエ変換して、音信号を合成する（ステップＳ１０６）。つまり、逆変換部２３５は、まず、ノイズ減算部２３４によって算出された目的音の推定周波数特徴ベクトル（〜Ｓｋ）を周波数スペクトルに戻す。そして、逆変換部２３５は、ノイズが混入した音信号の位相情報に基づいて時間波形に変換し、ノイズを低減した目的音の音信号を合成する。さらに、逆変換部２３５は、通信部７０を介して、生成した音信号を記憶媒体２００に記憶させて、１フレームにおけるノイズ低減処理を終了させる。
【００７０】
なお、ステップＳ１０１〜ステップＳ１０６の処理は、ＣＰＵ９０から制御信号によるノイズ低減処理の終了指示がされるまで繰り返し実行される。
【００７１】
以上のように、ノイズ推定装置１５０は、内積算出部２３２が、入力された音信号の周波数スペクトルと、ノイズの周波数スペクトルとに基づいて、音信号とノイズとの類似の度合いを示すノイズ類似度（内積値）を算出する。そして、ノイズ推定部２３３は、内積算出部２３２により算出されたノイズ類似度に基づいて、音信号に含まれる推定ノイズを推定する。
【００７２】
これにより、ノイズ推定装置１５０は、音信号に含まれる推定ノイズを適切に推定することができる。また、信号処理装置１００は、ノイズ低減処理部２４がノイズ推定装置１５０によって推定された推定ノイズに基づいて、音信号に含まれるノイズを低減する。そのため、ノイズ推定装置１５０及び信号処理装置１００は、例えば、大きさが非定常なノイズを低減するような場合であっても、ノイズの過大減算あるいは過小減算により、音の劣化もしくは雑音の残存が発生することを低減できる。
【００７３】
また、ノイズ推定装置１５０及び信号処理装置１００は、例えば、間欠的に発生するノイズを低減するような場合であっても、ノイズを過大に減算してしまうことを防止でき、音の劣化が発生することを低減できる。したがって、ノイズ推定装置１５０及び信号処理装置１００は、音信号に重畳しているノイズを適切に低減することができる。
また、ノイズ推定装置１５０及び信号処理装置１００は、非定常ノイズの推定ノイズを得るために、１チャンネルの音信号に対して、複数のマイクを必要としない。そのため、少数のマイクによって、非定常ノイズを適切に低減することができる。
【００７４】
また、本実施形態において、内積算出部２３２は、音信号の周波数スペクトルに基づいて生成された入力周波数特徴ベクトルと、ノイズの周波数スペクトルに基づいて生成されたノイズの特徴を示すノイズ周波数特徴ベクトルとの内積値に基づいて、ノイズ類似度を算出する。ここで、ノイズ周波数特徴ベクトルは、ノイズの周波数スペクトルにおける各周波数成分（各周波数ビン）に対応する強度を要素として生成されたベクトルである。また、入力周波数特徴ベクトルは、音信号の周波数スペクトルにおける各周波数成分に対応する強度を要素として生成されたベクトルである。
【００７５】
入力周波数特徴ベクトルとノイズ周波数特徴ベクトルとの内積値は、図３に示されるように、入力周波数特徴ベクトルの方向とノイズ周波数特徴ベクトルの方向との近さの度合いを示している。そのため、ノイズ推定装置１５０は、入力周波数特徴ベクトルとノイズ周波数特徴ベクトルとの内積値に基づいて、適切に推定ノイズを推定することができる。よって、ノイズ推定装置１５０及び信号処理装置１００は、音信号に重畳しているノイズを適切に低減することができる。
【００７６】
また、本実施形態において、ノイズ周波数特徴ベクトルは、単位ベクトルである。
これにより、内積算出部２３２によって算出される内積値が、極端に大きな値になることを防止し、この内積値を制限することができる。
【００７７】
なお、本実施形態では、内積算出部２３２によって内積する際に、ノイズ周波数特徴ベクトルとして単位ベクトル（ｎ）を用いる形態を説明したが、正規化していないノイズ周波数特徴ベクトル（ｎ０）を用いる形態でもよい。また、この場合、ノイズ推定部２３３は、式（４）に示すように、ノイズ類似度（例えば、内積値）に応じて定められる係数αを、ノイズ周波数特徴ベクトルに乗算して、推定ノイズを推定してもよい。ここで係数αは、例えば、ＡＦレンズ１２のノイズであれば、“０．５”、ズームレンズ１４のノイズであれば、“０．１”というように、ノイズを発生する動作部（機構部）に応じて変更してもよい。
【００７８】
【数４】
【００７９】
この場合、ノイズ減算部２３４は、式（５）に示される関係式によって、目的音の推定周波数特徴ベクトル〜Ｓｋを算出する。
【００８０】
【数５】
【００８１】
これにより、ノイズ周波数特徴ベクトルを正規化する必要がなく、ノイズ周波数特徴ベクトルの生成処理を簡略化することができる。また、必要に応じて、係数αによって、ノイズの削減量を補正できるため、ノイズ推定装置１５０及び信号処理装置１００は、音信号に重畳しているノイズを適切に低減することができる。
【００８２】
次に、本実施形態におけるノイズ周波数特徴ベクトルの生成方法について説明する。
ノイズ周波数特徴ベクトルは、撮像装置１の製造又は出荷検査の際に、例えば、校正装置によって予め生成され、ノイズ周波数特徴ベクトル記憶部６１に記憶される。
校正装置は、静かな環境（フロアノイズの低い環境）において、ＡＦレンズ１２などの動作部（機構部）を動作させて、撮像装置１のマイク２１によって収音されたノイズの音信号を取得する。校正装置は、このノイズの音信号をフレーム単位でフーリエ変換して、ノイズの周波数スペクトルを生成する。
【００８３】
そして、校正装置は、ノイズの周波数スペクトルにおける各周波数成分（各周波数ビン）に対応する強度を要素として、ノイズ周波数特徴ベクトルを生成する。なお、ノイズ周波数特徴ベクトルは、上述したように、正規化したベクトル（ｎ）でもよいし、正規化していないベクトル（ｎ０）でもよい。校正装置は、生成したノイズ周波数特徴ベクトルをノイズ周波数特徴ベクトル記憶部６１に記憶させる。
すなわち、ノイズ周波数特徴ベクトルは、ノイズを発生する動作部（機構部）を動作させた際に得られる音信号に基づいて予め生成される。
【００８４】
これにより、本実施形態におけるノイズ推定装置１５０は、適切なノイズ周波数特徴ベクトルを得ることができるため、音信号に含まれるノイズを適切に推定することができる。したがって、ノイズ推定装置１５０及び信号処理装置１００は、音信号に重畳しているノイズを適切に低減することができる。
【００８５】
なお、校正装置は、ノイズの音信号の所定の区間に対し、所定の時間で区切られた複数のフレームにおける周波数特徴ベクトルを算出し、ノイズ周波数特徴ベクトルの各周波数成分として、それらの最小値、平均値、中間値、最大値のいずれかを適用してもよい。
例えば、ノイズ低減を優先したい場合には、複数のフレームにおける周波数特徴ベクトルにおける最大値を適用する。また、例えば、目的音の劣化を抑えたい場合には、複数のフレームにおける周波数特徴ベクトルにおける最小値を適用する。また、例えば、ノイズ低減と目的音の劣化とをバランスよく、適切にノイズ低減したい場合には、複数のフレームにおける周波数特徴ベクトルにおける平均値又は中間値を適用する。
【００８６】
次に、本実施形態におけるノイズ周波数特徴ベクトルの生成方法における別の一例について説明する。
図５は、本実施形態におけるノイズが重畳した音信号の例を示す説明図である。
この図において、横軸は、時間ｔを示す。図５（Ａ）は、動作部の動作状態を示すグラフであり、Ｈ（ハイ）状態である場合に、動作部が動作している状態を示し、Ｌ（ロウ）状態である場合に、動作部が停止している状態を示す。図５（Ａ）において、波形Ｗ４は、時刻Ｔ１において、動作部が動作を開始したことを示している。
【００８７】
次に、図５（Ｂ）は、音信号を分割するフレームの一例を示している。図５（Ｂ）において、予め定められた期間を２分の１期間ずつずらした区間を１つのフレームをとして、フレームＦ１からフレームＦ７に分割される例を示している。
【００８８】
図５（Ｃ）は、マイク２１により収音された音信号の波形を示すグラフである。図５（Ｃ）において、波形Ｗ５は、時刻Ｔ１までの期間（ノイズが発生する前の期間）の音信号を示し、波形Ｗ６は、時刻Ｔ１以降の期間（ノイズが発生した後の期間）の音信号を示している。波形Ｗ６に示すように、時刻Ｔ１以降の期間において、上述の動作部の動作（ズームレンズ１４、ＶＲレンズ１３、又はＡＦレンズ１２の駆動や操作部８０の操作）により、音信号にノイズが重畳される。
【００８９】
本実施形態では、校正装置は、まず、図５に示されるような音信号（波形Ｗ５及び波形Ｗ６）を撮像装置１のマイク２１によって取得する。そして、校正装置は、このように取得した音信号に基づいて、図６に示すように、ノイズの周波数スペクトル（Ｗ９）を算出する。
【００９０】
図６は、本実施形態におけるノイズの周波数スペクトルの生成方法の一例を説明する説明図である。この図において、周波数スペクトルＷ７は、ノイズ発生前（時刻Ｔ１以前、例えば、フレームＦ１）の周波数スペクトルを示し、周波数スペクトルＷ８は、ノイズ発生後（時刻Ｔ１以降、例えば、フレームＦ４）の周波数スペクトルを示している。なお、周波数スペクトルＷ７は、音信号に定常ノイズとして含まれる背景ノイズ（フロアノイズ）の成分を示している。また、周波数スペクトルＷ９は、周波数スペクトルＷ８から周波数スペクトルＷ７を減算した（フレームＦ４からフレームＦ１を減算した）、ノイズの周波数スペクトルを示している。
【００９１】
つまり、校正装置は、図６に示すようにノイズの周波数スペクトルを算出し、算出したノイズの周波数スペクトルに基づいて、ノイズ周波数特徴ベクトルを生成する。すなわち、ノイズ周波数特徴ベクトルは、機構部を動作させた際に、音信号に定常ノイズとして含まれる背景ノイズの成分を、音信号から減算して生成される。校正装置は、生成したノイズ周波数特徴ベクトルをノイズ周波数特徴ベクトル記憶部６１に記憶させる。
【００９２】
これにより、ノイズ周波数特徴ベクトルから音信号に定常ノイズとして含まれる背景ノイズ（フロアノイズ）の成分が低減されるので、背景ノイズ（フロアノイズ）によって、入力周波数特徴ベクトルとノイズ周波数特徴ベクトルとの内積値が大きな値になることを防止することができる。そのため、本実施形態におけるノイズ推定装置１５０は、音信号に含まれるノイズを適切に推定することができる。したがって、ノイズ推定装置１５０及び信号処理装置１００は、音信号に重畳しているノイズを適切に低減することができる。
【００９３】
なお、上記の背景ノイズを減算してノイズ周波数特徴ベクトルする場合においても、上述した複数のフレームにおける周波数特徴ベクトルの最小値、平均値、中間値、最大値のいずれかを使用する手法を適用してもよい。
【００９４】
なお、本発明の実施形態によれば、撮像装置１は、上述の信号処理装置１００を備える。
これにより、撮像装置１は、信号処理装置１００と同様の効果が期待でき、音信号に重畳しているノイズを適切に低減することができる。
【００９５】
また、本発明の実施形態によれば、ノイズ推定装置１５０としてのコンピュータに、内積算出部２３２が、入力された音信号の周波数スペクトルと、ノイズの周波数スペクトルとに基づいて、音信号とノイズとの類似の度合いを示すノイズ類似度を算出する算出手順（ステップＳ１０３）と、ノイズ推定部２３３が、算出手順により算出されたノイズ類似度に基づいて、音信号に含まれる推定ノイズを推定するノイズ推定手順（ステップＳ１０４）とを実行させるためのプログラムである。
これにより、プログラムは、ノイズ推定装置１５０と同様の効果が期待でき、音信号に重畳しているノイズを適切に低減することができる。
【００９６】
なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
上記の各実施形態において、ノイズ推定部２３３は、ノイズ類似度として算出された、入力周波数特徴ベクトルとノイズ周波数特徴ベクトルとの内積値に基づいて推定ノイズを推定する形態を説明したが、これに限定されるものではない。例えば、ノイズ類似度を算出する算出部が、音信号の周波数スペクトルと、ノイズの周波数スペクトルとの相関係数に基づいて、ノイズ類似度を算出し、ノイズ推定部２３３が、この相関係数に基づいて推定ノイズを推定する形態でもよい。この場合、ノイズ類似度を算出する算出部は、音信号の周波数スペクトルとノイズの周波数スペクトルとの各周波数成分（各周波数ビン）に対応する各組による相関係数を算出する。
【００９７】
これにより、内積値に基づいて推定ノイズを推定する形態と同様に、ノイズ推定装置１５０及び信号処理装置１００は、音信号に重畳しているノイズを適切に低減することができる。
また、ノイズ類似度は、例えば、マハラノビス距離に基づいて算出される形態でもよいし、他の形態でもよい。
【００９８】
また、上記の各実施形態において、ノイズの周波数スペクトルの強度及び音信号の周波数スペクトルの強度として、絶対値を使用する形態を説明したが、虚数部も含めた複素数やパワーを使用する形態でもよい。
【００９９】
また、上記の各実施形態において、信号処理装置１００は、動作部（機構部）のノイズの発生タイミングを検出する検出部を備え、この検出部によって検出した発生タイミングに基づいて、ノイズを低減する処理を行うか否かを判定してもよい。つまり、信号処理装置１００は、検出部によって検出した発生タイミングに基づいて、ノイズが発生していると判定された場合に、ノイズを低減する処理を実行する形態でもよい。
【０１００】
また、ノイズ推定装置１５０は、この検出部によって検出した発生タイミングに基づいて、ノイズ周波数特徴ベクトル記憶部６１に複数記憶されているノイズ周波数特徴ベクトルのうちの１つ又は複数を選択して使用する形態でもよい。例えば、ノイズ推定装置１５０は、この検出部によってズームレンズ１４、ＶＲレンズ１３、及びＡＦレンズ１２の機構音のうちのいずれか１つが動作していることを検出し、検出結果に応じて、ズームレンズ１４、ＶＲレンズ１３、及びＡＦレンズ１２のうちのいずれか１つに対応するノイズ周波数特徴ベクトルを選択してもよい。
【０１０１】
また、上記の実施形態において、ノイズ減算部２３４は、ノイズ推定部２３３によって推定された推定ノイズに基づいて、目的音の推定周波数特徴ベクトル〜Ｓｋを推定する形態を説明したが、さらに、重み付け係数を付加して算出する形態でもよい。例えば、推定ノイズに対するノイズ発生前の音信号の周波数スペクトルの比であるＳＮＲ（signal-noise ratio）やトーン度などを算出し、その算出値に基づいて重み付け係数を乗算して、推定ノイズ量を補正してもよい。
【０１０２】
また、上記の各実施形態において、ノイズ周波数特徴ベクトルを校正装置が生成して、ノイズ周波数特徴ベクトル記憶部６１に記憶させる形態を説明したが、撮像装置１、信号処理装置１００、又はノイズ推定装置１５０が、ノイズ周波数特徴ベクトルを生成する生成部を備える形態でもよい。また、校正装置が、既に予め生成されているノイズ周波数特徴ベクトルをノイズ周波数特徴ベクトル記憶部６１に記憶させる形態でもよい。
また、上記の各実施形態において、ノイズ周波数特徴ベクトル記憶部６１は、ノイズ周波数特徴ベクトルを記憶する形態を説明したが、ノイズ周波数特徴ベクトル記憶部６１は、ノイズの周波数スペクトルを記憶し、ノイズ推定装置１５０によって、ノイズ周波数特徴ベクトルが生成される形態でもよい。例えば、内積算出部２３２が、ノイズの周波数スペクトルに基づいて、ノイズ周波数特徴ベクトルを生成する形態でもよい。
【０１０３】
また、上記の各実施形態において、信号処理装置１００を撮像装置１に適用する形態を説明したが、これに限定されるものではない。例えば、レコーダなどの録音装置や電話機などのキー操作による音がノイズとして目的音である音信号に重畳されるような装置に適用してもよい。
また、上記の各実施形態において、フーリエ変換としてＦＦＴを用いる形態を説明したが、ＤＦＴ（Discrete Fourier Transform）を用いる形態でもよいし、他の方式を用いる形態でもよい。
【０１０４】
上述のノイズ推定装置１５０及び信号処理装置１００は内部に、コンピュータシステムを有している。そして、上述したノイズ推定装置１５０及び信号処理装置１００の処理過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
【符号の説明】
【０１０５】
１…撮像装置、２４…ノイズ低減処理部、６１…ノイズ周波数特徴ベクトル記憶部、１００…信号処理装置、１５０…ノイズ推定装置、２３１…周波数特徴ベクトル生成部、２３２…内積算出部、２３３…ノイズ推定部
【特許請求の範囲】
【請求項１】
入力された音信号の周波数スペクトルと、ノイズの周波数スペクトルとに基づいて、前記音信号と前記ノイズとの類似の度合いを示すノイズ類似度を算出する算出部と、
前記算出部により算出された前記ノイズ類似度に基づいて、前記音信号に含まれる推定ノイズを推定するノイズ推定部と
を備えることを特徴とするノイズ推定装置。
【請求項２】
前記算出部は、
前記音信号の周波数スペクトルに基づいて生成された入力周波数特徴ベクトルと、前記ノイズの周波数スペクトルに基づいて生成された前記ノイズの特徴を示すノイズ周波数特徴ベクトルとの内積値に基づいて、前記ノイズ類似度を算出し、
前記ノイズ周波数特徴ベクトルは、前記ノイズの周波数スペクトルにおける各周波数成分に対応する強度を要素として生成されたベクトルであり、
前記入力周波数特徴ベクトルは、前記音信号の周波数スペクトルにおける各周波数成分に対応する強度を要素として生成されたベクトルである
ことを特徴とする請求項１に記載のノイズ推定装置。
【請求項３】
前記ノイズ周波数特徴ベクトルは、単位ベクトルである
ことを特徴とする請求項２に記載のノイズ推定装置。
【請求項４】
前記ノイズ推定部は、
前記ノイズ類似度に応じて定められる係数を、前記ノイズ周波数特徴ベクトルに乗算して、前記推定ノイズを推定する
ことを特徴とする請求項２から請求項３のいずれか１項に記載のノイズ推定装置。
【請求項５】
前記ノイズ周波数特徴ベクトルが予め記憶されている記憶部と、
前記音信号を周波数スペクトルに変換し、変換した前記音信号の周波数スペクトルに基づいて、前記入力周波数特徴ベクトルを生成する周波数特徴ベクトル生成部と
を備えることを特徴とする請求項２から請求項４のいずれか１項に記載のノイズ推定装置。
【請求項６】
前記ノイズ周波数特徴ベクトルは、前記ノイズを発生する機構部を動作させた際に得られる音信号に基づいて、予め生成されている
ことを特徴とする請求項２から請求項５のいずれか１項に記載のノイズ推定装置。
【請求項７】
前記ノイズ周波数特徴ベクトルは、前記機構部を動作させた際に、前記音信号に定常ノイズとして含まれる背景ノイズの成分を、前記音信号から減算して生成される
ことを特徴とする請求項６に記載のノイズ推定装置。
【請求項８】
前記算出部は、
前記音信号の周波数スペクトルと、前記ノイズの周波数スペクトルとの相関係数に基づいて、前記ノイズ類似度を算出する
ことを特徴とする請求項１に記載のノイズ推定装置。
【請求項９】
請求項１から請求項８のいずれか１項に記載のノイズ推定装置と、
前記ノイズ推定装置によって推定された前記推定ノイズに基づいて、前記音信号に含まれるノイズを低減するノイズ低減処理部と、
を備えることを特徴とする信号処理装置。
【請求項１０】
請求項９に記載の信号処理装置を備えることを特徴とする撮像装置。
【請求項１１】
ノイズ推定装置としてのコンピュータに、
算出部が、入力された音信号の周波数スペクトルと、ノイズの周波数スペクトルとに基づいて、前記音信号と前記ノイズとの類似の度合いを示すノイズ類似度を算出する算出手順と、
ノイズ推定部が、前記算出手順により算出された前記ノイズ類似度に基づいて、前記音信号に含まれる推定ノイズを推定するノイズ推定手順と
を実行させるためのプログラム。
【請求項１】
入力された音信号の周波数スペクトルと、ノイズの周波数スペクトルとに基づいて、前記音信号と前記ノイズとの類似の度合いを示すノイズ類似度を算出する算出部と、
前記算出部により算出された前記ノイズ類似度に基づいて、前記音信号に含まれる推定ノイズを推定するノイズ推定部と
を備えることを特徴とするノイズ推定装置。
【請求項２】
前記算出部は、
前記音信号の周波数スペクトルに基づいて生成された入力周波数特徴ベクトルと、前記ノイズの周波数スペクトルに基づいて生成された前記ノイズの特徴を示すノイズ周波数特徴ベクトルとの内積値に基づいて、前記ノイズ類似度を算出し、
前記ノイズ周波数特徴ベクトルは、前記ノイズの周波数スペクトルにおける各周波数成分に対応する強度を要素として生成されたベクトルであり、
前記入力周波数特徴ベクトルは、前記音信号の周波数スペクトルにおける各周波数成分に対応する強度を要素として生成されたベクトルである
ことを特徴とする請求項１に記載のノイズ推定装置。
【請求項３】
前記ノイズ周波数特徴ベクトルは、単位ベクトルである
ことを特徴とする請求項２に記載のノイズ推定装置。
【請求項４】
前記ノイズ推定部は、
前記ノイズ類似度に応じて定められる係数を、前記ノイズ周波数特徴ベクトルに乗算して、前記推定ノイズを推定する
ことを特徴とする請求項２から請求項３のいずれか１項に記載のノイズ推定装置。
【請求項５】
前記ノイズ周波数特徴ベクトルが予め記憶されている記憶部と、
前記音信号を周波数スペクトルに変換し、変換した前記音信号の周波数スペクトルに基づいて、前記入力周波数特徴ベクトルを生成する周波数特徴ベクトル生成部と
を備えることを特徴とする請求項２から請求項４のいずれか１項に記載のノイズ推定装置。
【請求項６】
前記ノイズ周波数特徴ベクトルは、前記ノイズを発生する機構部を動作させた際に得られる音信号に基づいて、予め生成されている
ことを特徴とする請求項２から請求項５のいずれか１項に記載のノイズ推定装置。
【請求項７】
前記ノイズ周波数特徴ベクトルは、前記機構部を動作させた際に、前記音信号に定常ノイズとして含まれる背景ノイズの成分を、前記音信号から減算して生成される
ことを特徴とする請求項６に記載のノイズ推定装置。
【請求項８】
前記算出部は、
前記音信号の周波数スペクトルと、前記ノイズの周波数スペクトルとの相関係数に基づいて、前記ノイズ類似度を算出する
ことを特徴とする請求項１に記載のノイズ推定装置。
【請求項９】
請求項１から請求項８のいずれか１項に記載のノイズ推定装置と、
前記ノイズ推定装置によって推定された前記推定ノイズに基づいて、前記音信号に含まれるノイズを低減するノイズ低減処理部と、
を備えることを特徴とする信号処理装置。
【請求項１０】
請求項９に記載の信号処理装置を備えることを特徴とする撮像装置。
【請求項１１】
ノイズ推定装置としてのコンピュータに、
算出部が、入力された音信号の周波数スペクトルと、ノイズの周波数スペクトルとに基づいて、前記音信号と前記ノイズとの類似の度合いを示すノイズ類似度を算出する算出手順と、
ノイズ推定部が、前記算出手順により算出された前記ノイズ類似度に基づいて、前記音信号に含まれる推定ノイズを推定するノイズ推定手順と
を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−１６８４７７（Ｐ２０１２−１６８４７７Ａ）
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願番号】特願２０１１−３１４３９（Ｐ２０１１−３１４３９）
【出願日】平成２３年２月１６日（２０１１．２．１６）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願日】平成２３年２月１６日（２０１１．２．１６）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]