ノイズ低減処理装置、撮像装置、およびノイズ低減処理プログラム
【課題】ノイズ低減処理におけるノイズ推定の精度を向上させること。
【解決手段】予め決められた動作パターンに応じて動作部を動作させるタイミングを示す動作タイミング信号を検出するタイミング信号検出部と、音信号を取得する音信号取得部と、前記動作タイミング信号に基づき、前記動作部が動作する可能性の高い期間に取得された音信号の第１周波数スペクトルを得て、前記第１周波数スペクトルの音信号が、前記動作パターンに応じて予め決められているノイズ推定を実行するためのノイズ推定条件を満たすか否かを判定するノイズ推定判定部と、前記推定ノイズ算出判定処理部による判定結果に従って、前記第１周波数スペクトルに基づき、前記動作部の動作によって発生する駆動音を示す推定ノイズを決定するノイズ推定部と、前記第１周波数スペクトルから前記推定ノイズの周波数スペクトルを減算するスペクトル減算を行うノイズ低減処理部と、を備える。
【解決手段】予め決められた動作パターンに応じて動作部を動作させるタイミングを示す動作タイミング信号を検出するタイミング信号検出部と、音信号を取得する音信号取得部と、前記動作タイミング信号に基づき、前記動作部が動作する可能性の高い期間に取得された音信号の第１周波数スペクトルを得て、前記第１周波数スペクトルの音信号が、前記動作パターンに応じて予め決められているノイズ推定を実行するためのノイズ推定条件を満たすか否かを判定するノイズ推定判定部と、前記推定ノイズ算出判定処理部による判定結果に従って、前記第１周波数スペクトルに基づき、前記動作部の動作によって発生する駆動音を示す推定ノイズを決定するノイズ推定部と、前記第１周波数スペクトルから前記推定ノイズの周波数スペクトルを減算するスペクトル減算を行うノイズ低減処理部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音信号からノイズを減算するノイズ低減処理装置、撮像装置、およびノイズ低減処理プログラムに関する。
【背景技術】
【０００２】
例えば、連続的に発生している周囲音をノイズとして除去するため、音信号から周囲音に対応するノイズ（音信号に含まれているノイズ成分）を算出して、このノイズを音信号から減じるものがある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１９５９５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、撮像装置には、レンズやこれを駆動させる駆動部等を含む動作部が搭載されており、例えばユーザの操作に応じて動作部が動作することで、この動作部の動作音が非連続的（突発的）に発生する場合がある。
このように非連続的に発生するノイズの場合、特許文献１の技術にあっては、音信号から周囲音に対応するノイズ、すなわち、連続的に発生しているノイズのみを算出しているため、非連続的に発生するノイズを算出することが困難であるという問題がある。
【０００５】
本発明は、前記の点に鑑みてなされたものであり、ノイズ低減処理におけるノイズ推定の精度を向上させるためのノイズ低減処理装置、撮像装置、およびノイズ低減処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決するためになされたものであり、予め決められた動作パターンに応じて動作部を動作させるタイミングを示す動作タイミング信号を検出するタイミング信号検出部と、音信号を取得する音信号取得部と、前記動作タイミング信号に基づき、前記動作部が動作する可能性の高い期間に取得された音信号の第１周波数スペクトルを得て、前記第１周波数スペクトルの音信号が、前記動作パターンに応じて予め決められているノイズ推定を実行するためのノイズ推定条件を満たすか否かを判定するノイズ推定判定部と、前記推定ノイズ算出判定処理部による判定結果に従って、前記第１周波数スペクトルに基づき、前記動作部の動作によって発生する駆動音を示す推定ノイズを決定するノイズ推定部と、前記第１周波数スペクトルから前記推定ノイズの周波数スペクトルを減算するスペクトル減算を行うノイズ低減処理部と、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、ノイズ低減処理におけるノイズ推定の精度を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１実施形態に係るノイズ低減処理部を含む撮像装置の構成の一例を示すブロック図である。
【図２】本発明の第１実施形態に係る動作部の動作タイミング信号と音信号との関係の一例を説明するための参考図である。
【図３】図２に示す音信号と窓関数との関係を説明するための参考図である。
【図４】本発明の第１実施形態に係るノイズ推定判定部が取得する第２周波数スペクトルの一例を説明するための図である。
【図５】本発明の第１実施形態に係るノイズ推定判定部が取得する第１周波数スペクトルの一例を説明するための図である。
【図６】本発明の第１実施形態に係る静環境閾値αの一例について説明するための図である。
【図７】本発明の第１実施形態に係る初期推定ノイズＮＳｉの一例について説明するための図である。
【図８】本発明の第１実施形態に係るノイズ低減処理方法の一例について説明するためのフローチャートである。
【図９】本発明の第１実施形態に係るノイズ推定判定処理とノイズ推定処理の一例を示すフローチャートである。
【図１０】本発明の第１実施形態に係るノイズ推定判定部が取得する第１周波数スペクトルの他の一例を説明するための図である。
【図１１】本発明の第１実施形態に係るノイズ推定判定部が取得する第２周波数スペクトルの他の一例を説明するための図である。
【図１２】エンコーダの出力とマイク音信号の一例を示す図である。
【図１３】コマンド、エンコーダの出力、およびマイク音信号の一例を示す図である。
【図１４】本発明の第２実施形態に係る信号対雑音比ＳＮＲと重み係数γとの関係を示すグラフである。
【図１５】本発明の第２実施形態に係るスペクトル比ＳＲと重み係数εとの関係を示すグラフである。
【図１６】波数スペクトルの周波数成分の総和に基づく信号対雑音比ＳＮＲおよびスペクトル比ＳＲを算出するノイズ推定判定処理の一例を説明するためのフローチャートである。
【図１７】波数スペクトルの周波数成分の総和に基づく信号対雑音比ＳＮＲおよびスペクトル比ＳＲを算出するノイズ推定処理の一例を説明するためのフローチャートである。
【図１８】周波数スペクトルに含まれる各周波数成分に基づく信号対雑音比ＳＮＲおよびスペクトル比ＳＲを算出するノイズ推定判定処理の一例を説明するためのフローチャートである。
【図１９】周波数スペクトルに含まれる各周波数成分に基づく信号対雑音比ＳＮＲおよびスペクトル比ＳＲを算出するノイズ推定処理の一例を説明するためのフローチャートである。
【図２０】本発明の第３実施形態に係る低減処理部の構成の一例について示す図である。
【図２１】本発明の第３実施形態に係る衝撃音ノイズ低減処理部が取得する第１周波数スペクトルと第２周波数スペクトルの一例を説明するための図である。
【図２２】図３に示した各周波数スペクトルの周波数成分の一例を示す図である。
【図２３】本発明の第３実施形態に係る衝撃音ノイズ低減処理の一例について説明するための図である。
【図２４】本発明の第３本実施形態に係るノイズ低減処理方法の一例について説明するためのフローチャートである。
【発明を実施するための形態】
【０００９】
［第１実施形態］
本発明の実施形態について図面を参照して詳細に説明する。図１には、本実施形態に係る撮像装置の構成を示すブロック図が示されている。
図１に示す通り、撮像装置１００は、光学系による像を撮像し、得られた画像データを記憶媒体２００に記憶させるとともに、マイクによって収音されたマイク音信号に対してノイズ低減処理を行い、ノイズ低減処理後の音信号を記憶媒体２００に記憶させる。
この撮像装置１００は、低減処理部２５０を備える。この低減処理部２５０は、マイク音信号に含まれる推定ノイズを取得し、この推定ノイズに基づきマイク音からノイズを低減するノイズ低減処理を行う。
【００１０】
本実施形態に係る低減処理部２５０は、動作部が動作することによって発生するノイズ（以下、動作音という）を低減するためのノイズ低減処理を実行する。例えば、撮像装置１００において、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）やＶＲ（Ｖｉｂｒａｔｉｏｎ Ｒｅｄｕｃｔｉｏｎ）等の処理において光学系を駆動する場合、モータや光学系が動くことによりノイズ（動作音）が発生する。また、モータが回転方向を切り換えた場合、一時的に大きい音のノイズ（動作音）が発生する。このように、動作部の動作状態が変化した場合に、一時的に発生する大きい音を衝撃音という。一方、この衝撃音よりも小さく、光学系やモータが動いているときに発生する音を駆動音という。つまり、駆動音は、衝撃音以外のノイズである。本実施形態に係る低減処理部２５０は、駆動音によるノイズを推定し、この推定値に基づきマイク音信号から駆動音によるノイズを低減するノイズ低減処理を行う。
【００１１】
以下、撮像装置１００と低減処理部２５０の構成の一例について詳細に説明する。なお、本実施形態において、低減処理部２５０は、撮像装置１００に内蔵されている例について説明するが、本発明はこれに限られない。例えば、低減処理部２５０は、撮像装置１００の外部装置であってもよい。
【００１２】
撮像装置１００は、撮像部１１０と、バッファメモリ１３０と、画像処理部１４０と、表示部１５０と、記憶部１６０と、通信部１７０と、操作部１８０と、ＣＰＵ１９０と、計時部２２０と、マイク２３０と、Ａ/Ｄ変換部２４０と、低減処理部２５０と、電池２６０と、を備える。
【００１３】
撮像部１１０は、光学系１１１と、撮像素子１１９と、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部１２０とを備え、設定される撮像条件（例えば絞り値、露出値等）に応じて予め決められた動作パターンに従って、ＣＰＵ１９０により制御される。この撮像部１１０は、光学系１１１による光学像を撮像素子１１９に結像させて、Ａ／Ｄ変換部１２０によってデジタル信号に変換された光学像に基づく画像データを生成する。
【００１４】
光学系１１１は、焦点調整レンズ（以下、「ＡＦレンズ」という）１１２と、手ブレ補正レンズ（以下、「ＶＲレンズ」という）１１３と、ズームレンズ１１４と、ズームエンコーダ１１５と、レンズ駆動部１１６と、ＡＦエンコーダ１１７と、手ブレ補正部１１８とを備える。
これら光学系１１１の各構成は、ＣＰＵ１９０による焦点調整処理、手ブレ補正処理、およびズーム処理において、それぞれの動作パターンに従って、駆動する。つまり、光学系１１１は、撮像装置１００における動作部である。
【００１５】
この光学系１１１は、ズームレンズ１１４から入射し、ズームレンズ１１４、ＶＲレンズ１１３、ＡＦレンズ１１２の順番で通過した光学像を、撮像素子１１９の受光面に導く。
レンズ駆動部１１６は、ＡＦレンズ１１２およびズームレンズ１１４の位置を制御するための駆動制御信号（コマンド）をＣＰＵ１９０から入力する。このレンズ駆動部１１６は、入力する駆動制御信号に応じて、ＡＦレンズ１１２およびズームレンズ１１４の位置を制御する。
つまり、この駆動制御信号がＣＰＵ１９０からレンズ駆動部１１６に入力されてレンズ駆動部１１６が駆動することにより、ＡＦレンズ１１２およびズームレンズ１１４が移動（動作）する。本実施形態において、ＣＰＵ１９０が駆動制御信号を出力したタイミングを、ＡＦレンズ１１２およびズームレンズ１１４の動作が開始された動作開始タイミングという。
【００１６】
ズームエンコーダ１１５は、ズームレンズ１１４の位置を表わすズームポジションを検出し、ＣＰＵ１９０に出力する。このズームエンコーダ１１５は、ズームレンズ１１４の移動を検出し、例えば、ズームレンズ１１４が光学系１１１内を移動している場合にパルス信号をＣＰＵ１９０に出力する。一方、停止している場合、ズームエンコーダ１１５は、パルス信号の出力を停止する。
【００１７】
ＡＦエンコーダ１１７は、ＡＦレンズ１１２の位置を表わすフォーカスポジションを検出し、ＣＰＵ１９０に出力する。このＡＦエンコーダ１１７は、ＡＦレンズ１１２の移動を検出する。
【００１８】
なお、ズームエンコーダ１１５は、ズームポジションを検出するために、ズームレンズ１１４の駆動方向を検出するものであってもよい。また、ＡＦエンコーダ１１７は、フォーカスポジションを検出するために、ＡＦレンズ１１２の駆動方向を検出するものであってもよい。
例えば、ズームレンズ１１４やＡＦレンズ１１２は、レンズ駆動部１１６によって駆動される駆動機構（例えばモータやカム等）が時計回り（ＣＷ）あるいは反時計回り（ＣＣＷ）に回転することにより光軸方向に移動する。ズームエンコーダ１１５およびＡＦエンコーダ１１７は、それぞれ、駆動機構の回転方向（ここでは、時計回りあるいは反時計回り）を検出することよって、ズームレンズ１１４およびＡＦレンズ１１２が移動していることを検出するものであってもよい。
【００１９】
手ブレ補正部１１８は、例えば振動ジャイロ機構を備え、光学系１１１による像の光軸ぶれを検出し、この光軸ぶれを打ち消す方向にＶＲレンズ１１３を動かす。この手ブレ補正部１１８は、例えばＶＲレンズ１１３を動かしている状態においてハイレベルの信号をＣＰＵ１９０に出力する。一方、ＶＲレンズ１１３を停止させている状態において、手ブレ補正部１１８は、ローレベルの信号をＣＰＵ１９０に出力する。
【００２０】
撮像素子１１９は、例えば、光電変換面を備え、その受光面に結像した光学像を電気信号に変換して、Ａ／Ｄ変換部１２０に出力する。
この撮像素子１１９は、操作部１８０を介して撮影指示を受け付けた際に得られる画像データを、静止画又は動画の画像データとして、Ａ／Ｄ変換部１２０を介して記憶媒体２００に記憶させる。一方、撮像素子１１９は、操作部１８０を介して撮像指示を受け付けていない状態において、連続的に得られる画像データをスルー画データとして、Ａ／Ｄ変換部１２０を介してＣＰＵ１９０および表示部１５０に出力する。
【００２１】
Ａ／Ｄ変換部１２０は、撮像素子１１９によって変換された電気信号をデジタル化して、デジタル信号である画像データをバッファメモリ部１３０に出力する。
【００２２】
バッファメモリ部１３０は、撮像部１１０によって撮像された画像データを、一時的に記憶する。また、バッファメモリ部１３０は、マイク２３０が収音したマイク検出音に応じたマイク音信号を、一時的に記憶する。なお、バッファメモリ部１３０は、マイク検出音が収音された時刻と、バッファメモリ部１３０における位置とを対応付けて、マイク検出音に応じたマイク音信号を記憶してもよい。
【００２３】
画像処理部１４０は、記憶部１６０に記憶されている画像処理条件を参照して、バッファメモリ部１３０に一時的に記憶されている画像データに対して、画像処理をする。画像処理された画像データは、通信部１７０を介して記憶媒体２００に記憶される。なお、画像処理部１４０は、記憶媒体２００に記憶されている画像データに対して、画像処理をしてもよい。
【００２４】
表示部１５０は、例えば液晶ディスプレイであって、撮像部１００によって得られた画像データや操作画面等を表示する。
【００２５】
記憶部１６０は、ＣＰＵ１９０によってシーン判定の際に参照される判定条件や、シーン判定によって判断されたシーン毎に対応付けられた撮像条件等を記憶する。
【００２６】
通信部１７０は、カードメモリ等の取り外しが可能な記憶媒体２００と接続され、この記憶媒体２００への情報（画像データや音データ等）の書込み、読み出し、あるいは消去を行う。
【００２７】
操作部１８０は、例えば、電源スイッチ、シャッターボタン、マルチセレクタ（十字キー）、又はその他の操作キーを備え、ユーザによって操作されることでユーザの操作入力を受け付け、操作入力に応じた操作情報をＣＰＵ１９０に出力する。この操作部１８０は、ユーザによって押下される際、物理的な動作音を発生する場合がある。本実施形態において、ユーザの操作入力に応じた操作情報が操作部１８０からＣＰＵ１９０に入力するタイミングを、操作部１８０の動作が開始される動作開始タイミングという。
【００２８】
記憶媒体２００は、撮像装置１００に対して着脱可能に接続される記憶部であって、例えば、撮像部１１０によって生成された（撮影された）画像データや、低減処理部２５０により音信号処理された音信号を記憶する。
【００２９】
バス２１０は、撮像部１１０と、バッファメモリ部１３０と、画像処理部１４０と、表示部１５０と、記憶部１６０と、通信部１７０と、操作部１８０と、ＣＰＵ１９０と、計時部２２０と、Ａ/Ｄ変換部２４０と、低減処理部２５０と接続され、各構成部から出力されたデータ等を転送する。
【００３０】
計時部２２０は、日にちや時刻を計時して、計時した日時を表わす日時情報を出力する。
【００３１】
マイク２３０は、周辺の音を収音し、この音のマイク音信号をＡ/Ｄ変換部２４０に出力する。このマイク２３０によって収音されるマイク検出音には、主に、収音対象である目的音と、動作部による動作音（ノイズ）とが含まれている。
【００３２】
ここで、マイク２３０によって取得されたマイク音信号について、例えば、ＡＦレンズ１１２が動作された時に得られたマイク音信号を例に、図２、３を参照して説明する。
図２（Ａ）は、ＡＦエンコーダ１１７の出力と時間との関係の一例を示す。図２（Ｂ）は、マイク音信号と時間の関係の一例が示されている。なお、図２（Ｂ）は、説明便宜のため、マイク音信号のうち、動作音の音信号のみを示し、目的音の音信号の図示を省略する。図２（Ａ）と図２（Ｂ）に示すＡＦレンズ１１２の動作パターンは、例えば、焦点距離Ｐでピントを合わせるＡＦ処理を行う場合の動作パターンである。
【００３３】
図２（Ａ）には、その縦軸に、ＡＦエンコーダ１１７出力から求めた、ＡＦレンズ１１２を駆動する駆動機構の回転方向を示す。
この焦点距離Ｐでピントを合わせるＡＦ処理を行う動作パターンでは、図２（Ａ）に示す通り、ＡＦレンズ１１２を駆動する駆動機構が、時刻ｔ１０〜ｔ２０において、時計回りＣＷに回転して、その後、静止する。
つまり、時刻ｔ１０は、ＡＦレンズ１１２の動作開始タイミングを、時刻ｔ２０は、ＡＦレンズ１１２の動作停止タイミングを、それぞれ表わしている。なお、本実施形態において、動作開始タイミングの時刻ｔ１０は、ＡＦレンズ１１２の位置を制御するための駆動制御信号をＣＰＵ１９０が出力したタイミングである。動作停止タイミングの時刻ｔ２０は、ＡＦエンコーダ１１７からのパルス信号の出力が停止したタイミングである。
【００３４】
従って、図２（Ｂ）に示す通り、時刻ｔ１０〜ｔ２０の期間で、マイク音信号にＡＦレンズ１１２による動作音が目的音に重畳している、又は、動作音が目的音に重畳している可能性が高い。本実施形態においては、時刻ｔ１０〜ｔ２０の期間において、ＡＦレンズ１１２による動作音であるノイズが発生している場合について以下説明する。
また、図２（Ｂ）に示す通り、時刻ｔ１０、ｔ２０においては、それぞれ衝撃音が発生している可能性が高い。本実施形態においては、時刻ｔ１０、ｔ２０において、ＡＦレンズ１１２による衝撃音が発生している場合について以下説明する。
【００３５】
また、衝撃音が発生した場合、その衝撃音が発生している可能性の高い時間は、各動作パターンに応じて予め決められている。焦点距離Ｐでピントを合わせるＡＦ処理を行う動作パターンでは、図３に示すような衝撃音の発生する時間が決められている。
図３は、焦点距離Ｐでピントを合わせるＡＦ処理を行う動作パターンでＡＦレンズ１１２を駆動した際に、マイク２３０で収音されるマイク音信号の一例を示す。図３に示すグラフは、縦軸にマイク２３０によって収音されたマイク音信号を、横軸に時間を、それぞれ示す。なお、図３は、説明便宜のため、マイク音信号のうち、動作音の音信号のみを示し、目的音の音信号の図示を省略する。
焦点距離Ｐでピントを合わせるＡＦ処理を行う動作パターンでは、時刻ｔ１０〜ｔ１１までの時間、および時刻ｔ２０〜ｔ２１までの時間が、それぞれ、衝撃音の発生する時間であると予め決められている。動作部が動作しない可能性の高い期間を非動作期間Ｔａとする。動作部の動作により衝撃音が発生する可能性の高い期間を衝撃音発生期間Ｔｂとする。動作部の動作により駆動音が発生する可能性の高い期間を駆動音発生期間Ｔｃとする。時刻ｔ０〜ｔ１０の区間、ｔ２１〜の区間が、非動作期間Ｔａである。時刻ｔ１０〜ｔ１１の区間、時刻ｔ２０〜ｔ２１の区間が、衝撃音発生期間Ｔｂである。時刻ｔ１１〜ｔ２０の区間が、駆動音発生期間Ｔｃである。
本実施形態では、図３に示す通り、この衝撃音の発生する期間において、衝撃音が発生している例について説明する。
【００３６】
図１に戻って、撮像装置１００の各構成の説明を続ける。
ＣＰＵ１９０は、設定された撮像条件（例えば絞り値、露出値等）に応じた動作パターンに従って撮像部１１０を制御する。このＣＰＵ１９０は、ズームエンコーダ１１５から出力されるズームポジションおよびＡＦエンコーダ１１７から出力されるフォーカスポジションに基づき、レンズ駆動部１１６を駆動する駆動制御信号を生成して、レンズ駆動部１１６に出力する。その生成アルゴリズムは、必要に応じて既存のアルゴリズムを適宜用いてよい。
【００３７】
タイミング信号検出部１９１は、撮像装置１００が備えている動作部の動作状態が変化するタイミングを検出する。この動作状態が変化するタイミングとしては、例えば、動作部が動作を開始する動作開始タイミングと、動作部の動作が停止する動作停止タイミングとがある。
ここでいう動作部とは、例えば、上述した光学系１１１、あるいは、操作部１８０のことであり、撮像装置１００が備えている構成のうち、動作することにより、または、動作されることにより、動作音が生じる（または、動作音が生じる可能性がある）構成である。
言い換えると、動作部とは、撮像装置１００が備えている構成のうち、動作部が動作することにより生じた動作音、または、動作部が動作されることにより生じた動作音が、マイク２３０により収音される（または、収音される可能性のある）構成である。
【００３８】
例えば、このタイミング信号検出部１９１は、動作部を動作させる駆動制御信号に基づいて、動作部の動作状態が変化するタイミングを検出してもよい。この駆動制御信号とは、動作部を動作させる駆動部に対して、動作部を動作させるようにする駆動制御信号、または、この駆動部を駆動させる駆動制御信号である。
【００３９】
例えば、タイミング信号検出部１９１は、ズームレンズ１１４、ＶＲレンズ１１３、または、ＡＦレンズ１１２を駆動させるため、レンズ駆動部１１６または手ブレ補正部１１８に入力される駆動制御信号に基づいて、ズームレンズ１１４、ＶＲレンズ１１３、または、ＡＦレンズ１１２の動作が開始された動作開始タイミングを検出する。この場合、タイミング信号検出部１９１は、ＣＰＵ１９０が駆動制御信号を生成する場合にＣＰＵ１９０内部で実行される処理やコマンドに基づいて、動作開始タイミングを検出してもよい。
また、タイミング信号検出部１９１は、操作部１８０から入力されるズームレンズ１１４、または、ＡＦレンズ１１２を駆動させることを示す操作信号に基づいて、動作開始タイミングを検出してもよい。
【００４０】
また、タイミング信号検出部１９１は、動作部が動作されたことを示す信号に基づいて、動作部の動作状態が変化するタイミングを検出してもよい。
例えば、タイミング信号検出部１９１は、ズームエンコーダ１１５またはＡＦエンコーダ１１７の出力に基づいて、ズームレンズ１１４またはＡＦレンズ１１２が駆動されたことを検出することにより、ズームレンズ１１４またはＡＦレンズ１１２の動作開始タイミングを検出してもよい。また、タイミング検出部１９１は、ズームエンコーダ１１５またはＡＦエンコーダ１１７の出力に基づいて、ズームレンズ１１４またはＡＦレンズ１１２が停止されたことを検出することにより、ズームレンズ１１４またはＡＦレンズ１１２の動作停止タイミングを検出してもよい。
また、タイミング信号検出部１９１は、手ブレ補正部１１８からの出力に基づいて、ＶＲレンズ１１３が駆動されたことを検出することにより、ＶＲレンズ１１３の動作開始タイミングを検出してもよい。このタイミング信号検出部１９１は、手ブレ補正部１１８からの出力に基づいて、ＶＲレンズ１１３が停止されたことを検出することにより、ＶＲレンズ１１３の動作停止タイミングを検出してもよい。
さらに、タイミング信号検出部１９１は、操作部１８０からの入力に基づいて、操作部１８０が操作されたことを検出することにより、動作部が動作するタイミングを検出してもよい。
【００４１】
タイミング信号検出部１９１は、撮像装置１００が備えている動作部の動作開始タイミングを検出し、検出した動作開始タイミングを示す動作開始タイミング信号を、低減処理部２５０に出力する。また、タイミング信号検出部１９１は、撮像装置１００が備えている動作部の動作停止タイミングを検出し、この検出した動作停止タイミングを示す動作停止タイミング信号を、低減処理部２５０に出力する。
本実施形態において、タイミング検出部１９１は、ＡＦレンズ１１２を動かす駆動制御信号がＣＰＵ１９０からレンズ駆動部１１６に出力されるタイミングを、ＡＦレンズ１１２の動作開始タイミングと判定する。タイミング検出部１９１は、例えば、図３を用いた例で示す衝撃音が発生している時刻ｔ１０〜ｔ１１を示す情報を、動作開始タイミング信号として出力する。
また、タイミング検出部１９１は、ＡＦエンコーダ１１７から出力されるパルス信号に基づき、このパルス信号の出力が停止した時を、ＡＦレンズ１１２の動作が停止した動作停止タイミングと判定する。タイミング検出部１９１は、例えば、図３を用いた例で示す衝撃音が発生している時刻ｔ２０〜ｔ２１を示す情報を、動作停止タイミング信号として出力する。
【００４２】
Ａ/Ｄ変換部２４０は、マイク２３０から入力されたアナログ信号であるマイク音信号をデジタル信号であるマイク音信号に変換する。このＡ/Ｄ変換部２４０は、デジタル信号であるマイク音信号を、低減処理部２５０に出力する。
また、Ａ/Ｄ変換部２４０は、デジタル信号であるマイク音信号を、バッファメモリ部１３０あるいは記憶媒体２００に記憶させる構成であってもよい。
【００４３】
低減処理部２５０は、Ａ／Ｄ変換部２４０によりデジタル信号に変換されたマイク音信号に対して、例えばＡＦレンズ１１２、ＶＲレンズ１１３、ズームレンズ１１４等の動作部による動作音であるノイズを低減するなどのノイズ低減処理を実行し、このノイズ低減処理した音信号を記憶媒体２００に記憶させる。
この低減処理部２５０は、音信号処理部２５１と、ノイズ推定判定部２５２と、ノイズ推定部２５３と、ノイズ低減処理部２５４と、逆フーリエ変換部２５５とを含む。
【００４４】
音信号処理部２５１は、Ａ/Ｄ変換部２４０から出力されたマイク音信号に対して、予め決められた区間ごとに窓関数で重み付けするとともに、この区間毎のマイク音信号を周波数領域で表わされるスペクトルに変換して、この周波数領域で表わされるスペクトル（周波数スペクトル）をノイズ推定判定部２５２に出力する。
この音信号処理部２５１は、例えば、マイク音信号にフーリエ変換、あるいは高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）を行うことで、マイク音信号を周波数領域に変換する。音信号処理部２５１は、例えば、マイク音信号にフーリエ変換を行うことで、窓関数の各区間に対応する周波数スペクトルを算出する。
ここで、窓関数において予め定められた区間とは、信号処理の単位（フレーム）であって、一定の間隔で繰り返される区間である。これらの窓関数の各区間は、他の窓関数の各区間と半分ずつオーバーラップしている。なお、窓関数は、例えば、ハニング窓（ハニングウィンドウ）関数が利用可能である。
【００４５】
上述した図３を参照して、音信号処理部２５１により算出される窓関数の各区間に対応する周波数スペクトルの一例について説明する。
音信号処理部２５１は、上述の通り、Ａ/Ｄ変換部２４０から出力されたマイク音信号に対して、図３に示すように他の区間と半分ずつオーバーラップしている窓関数Ｗ１〜Ｗ１４で重み付けをする。これにより、マイク音信号は、窓関数のサイズに分割される。この音信号処理部２５１は、例えば窓関数Ｗ１〜Ｗ１４で重み付けされた各区間のマイク音信号ごとに、例えばフーリエ変換を行い、周波数領域における周波数スペクトルＳ１〜Ｓ１４を算出する。つまり、音信号処理部２５１によって算出される周波数スペクトルＳ１〜Ｓ１４は、窓関数Ｗ１〜Ｗ１４の区間にそれぞれ対応する周波数スペクトルである。
【００４６】
図３に示す通り、焦点距離αでピントを合わせるＡＦ処理を行う場合の動作パターンにおいては、駆動開始タイミングと駆動停止タイミングにおいて衝撃音が発生する。ここで、動作部が動作しない可能性の高い期間を非動作期間Ｔａとする。動作部の動作により衝撃音が発生する可能性の高い期間を衝撃音発生期間Ｔｂとする。動作部の動作により駆動音が発生する可能性の高い期間を駆動音発生期間Ｔｃとする。
時刻ｔ０〜ｔ１０の区間、ｔ２１〜の区間が、非動作期間Ｔａである。時刻ｔ１０〜ｔ１１の区間、時刻ｔ２０〜ｔ２１の区間が、衝撃音発生期間Ｔｂである。時刻ｔ１１〜ｔ２０の区間が、駆動音発生期間Ｔｃである。
本実施形態において、窓関数Ｗ１、Ｗ１３、Ｗ１４に対応する周波数スペクトルＳ１、Ｓ１３、Ｓ１４は、非動作期間Ｔａに取得されたマイク音信号の周波数スペクトルである。窓関数Ｗ５〜Ｗ８に対応する周波数スペクトルＳ５〜Ｓ８は、動作部が動作する可能性の高い期間のうち、駆動音発生期間Ｔｃに取得されたマイク音信号の周波数スペクトルである。
また、窓関数Ｗ２〜Ｗ４に対応する周波数スペクトルＳ２〜Ｓ４と、窓関数Ｗ９〜Ｗ１２に対応する周波数スペクトルＳ９〜Ｓ１２は、動作部が動作する可能性の高い期間のうち、衝撃音発生期間Ｔｂに取得されたマイク音信号の周波数スペクトルである。
【００４７】
ノイズ推定判定部２５２は、タイミング検出部１９１から入力するタイミング信号に基づき、例えば、音信号処理部２５１から出力される周波数スペクトルＳ１〜Ｓ１４から、動作部が動作する可能性の高い期間のうち、駆動音が発生する可能性の高い期間（駆動音発生期間Ｔｃ）に取得される音信号の一の周波数スペクトル（以下、第１周波数スペクトルＣという）を取得する。本実施形態において、ノイズ推定判定部２５２は、駆動音発生期間Ｔｃに対応する周波数スペクトルのうち、動作開始タイミングと時間軸方向に最も近い周波数スペクトルＳ５を第１周波数スペクトルＣとして取得する。言い換えると、ノイズ推定判定部２５２は、非動作期間Ｔａと時間軸方向に最も近い駆動音発生期間Ｔｃの周波数スペクトルを、第１周波数スペクトルＣとして取得する。
【００４８】
また、ノイズ推定判定部２５２は、タイミング検出部１９１から入力するタイミング信号に基づき、音信号処理部２５１から出力される周波数スペクトルＳ１〜Ｓ１４から、動作部が動作しない可能性の高い期間（非動作期間Ｔａ）に取得される音信号の一の周波数スペクトル（以下、第２周波数スペクトルという）を取得する。本実施形態において、ノイズ推定判定部２５２は、音信号処理部２５１から出力される周波数スペクトルＳ１〜Ｓ１４から、非動作期間Ｔａに対応する周波数スペクトルのうち、動作開始タイミングと時間軸方向に最も近い周波数スペクトルＳ１を第２周波数スペクトルＡとして取得する。言い換えると、ノイズ推定判定部２５２は、駆動音発生期間Ｔｃと時間軸方向に最も近い非動作期間Ｔａの周波数スペクトルを、第２周波数スペクトルＡとして取得する。
【００４９】
ここで、図４、５を参照して、ノイズ推定判定部２５２が取得する第１周波数スペクトルＣと第２周波数スペクトルＡの一例について説明する。図４は、第２周波数スペクトルＡの一例を示す図である。図５は、第１周波数スペクトルＣの一例を示す図である。
図４に示す通り、第２周波数スペクトルＡの周波数スペクトルＳ１は、周波数帯域幅ｆ１〜ｆ８にそれぞれ対応する周波数成分Ａ１〜Ａ８を含む。
図５に示す通り、第１周波数スペクトルＣの周波数スペクトルＳ５は、周波数帯域幅ｆ１〜ｆ８にそれぞれ対応する周波数成分Ｃ１〜Ｃ８を含む。
周波数スペクトルＳ１と周波数スペクトルＳ５を比較すると、周波数スペクトルＳ５の方が、それぞれの周波数成分における振幅が大きい。これは、周波数スペクトルＳ５に駆動音が含まれているからである。
【００５０】
ノイズ推定判定部２５２は、第１周波数スペクトルＣの周波数スペクトルＳ５の音信号が、動作部の動作パターンに応じて予め決められているノイズ推定を実行するノイズ推定条件を満たすか否かを判定する（以下、ノイズ推定判定処理という）。
本実施形態において、ノイズ推定判定部２５２は、以下のノイズ推定条件（１）と（２）のうち少なくともいずれか１つの条件を満たす場合、周波数スペクトルＳ５の音信号がノイズ推定条件を満たすと判定する。
ノイズ推定条件（１）
動作部が動作する可能性の高い期間に取得される駆動音以外の音が、静かな状態であるときの環境音として予め決められている音レベルを示す静環境閾値未満であること。この条件は、動作部が動作する可能性の高い期間に取得される音に含まれる駆動音以外の音、例えば、目的音が十分に小さい場合、この期間に取得された音が駆動音によるノイズと概ね同等であると推定するための条件である。
ノイズ推定条件（２）
動作部が動作する可能性の高い期間に取得される駆動音が、動作部の動作パターンに応じた駆動音の推定ノイズＮＳとして予め決められている初期推定ノイズＮＳｉに基づく許容範囲内であること。この条件は、動作部による動作のタイミングがずれてしまい衝撃音を含む周波数スペクトルに基づき推定ノイズＮＳを決定してしまう事態や、目的音が大きい期間に取得される周波数スペクトルに基づき推定ノイズＮＳを決定してしまう事態を防止するための条件である。
【００５１】
本実施形態において、ノイズ推定判定部２５２は、ノイズ推定条件（１）を満たしているか否かを、以下のようにして判定する。
例えば、ノイズ推定判定部２５２は、静かな状態であるときの環境音として予め決められている音レベルを示す静環境閾値αを参照して、第２周波数スペクトルＡとこの静環境閾値αと比較する。
この静環境閾値αの一例について図６を参照して説明する。
図６は、静環境閾値αの周波数スペクトルの一例を示す図である。図６に示す通り、静環境閾値αの周波数スペクトルは、周波数帯域幅ｆ１〜ｆ８にそれぞれ対応する周波数成分α１〜α８を含む。
【００５２】
ノイズ推定判定部２５２は、第２周波数スペクトルＡの周波数成分Ａ１〜Ａ８の総和Ａａｌｌが、静環境閾値αの周波数スペクトルの周波数成分α１〜α８の総和αａｌｌ未満であるか否かを判定する。
第２周波数スペクトルＡの周波数成分Ａ１〜Ａ８の総和Ａａｌｌが、静環境閾値αである周波数スペクトルの周波数成分α１〜α８の総和αａｌｌ未満である場合、ノイズ推定判定部２５２は、ノイズ推定条件（１）を満たすと判定する。
【００５３】
また、本実施形態において、ノイズ推定判定部２５２は、ノイズ推定条件（２）を満たしているか否かを、以下のようにして判定する。
例えば、ノイズ推定判定部２５２は、動作部の動作パターンに応じた駆動音の推定ノイズとして予め決められている初期推定ノイズＮＳｉを参照して、第１周波数スペクトルＣとこの初期推定ノイズＮＳｉに基づく許容範囲を示す閾値（下限閾値ＮＳｉｍｉｎ，上限閾値ＮＳｉｍａｘ；ＮＳｉｍｉｎ，＜ＮＳｉ＜ＮＳｉｍａｘ）とを比較する。
【００５４】
この初期推定ノイズＮＳｉの一例について図７を参照して説明する。
図７は、初期推定ノイズＮＳｉの周波数スペクトルの一例を示す図である。図７に示す通り、初期推定ノイズＮＳｉの周波数スペクトルは、周波数帯域幅ｆ１〜ｆ８にそれぞれ対応する周波数成分ＮＳｉ１〜ＮＳｉ８を含む。
なお、下限閾値ＮＳｉｍｉｎは、例えば、初期推定ノイズＮＳｉの周波数成分ＮＳｉ１〜ＮＳｉ８のそれぞれに０．５を乗算した値の周波数成分ＮＳｉｍｉｎ，１〜ＮＳｉｍｉｎ，８によって構成される周波数スペクトルである。
また、上限閾値ＮＳｉｍａｘは、例えば、初期推定ノイズＮＳｉの周波数成分ＮＳｉ１〜ＮＳｉ８のそれぞれに１．３を乗算した値の周波数成分ＮＳｉｍａｘ，１〜ＮＳｉｍａｘ，８によって構成される周波数スペクトルである。
【００５５】
ノイズ推定判定部２５２は、第１周波数スペクトルＣの周波数成分Ｃ１〜Ｃ８の総和Ｃａｌｌが、下限閾値ＮＳｉｍｉｎの周波数成分ＮＳｉｍｉｎ，１〜ＮＳｉｍｉｎ，８の総和ＮＳｉｍｉｎ，ａｌｌ以上かつ上限閾値ＮＳｉｍａｘの周波数成分ＮＳｉｍａｘ，１〜ＮＳｉｍａｘ，８の総和ＮＳｉｍａｘ，ａｌｌ未満であるか否かを判定する。
第１周波数スペクトルＣの周波数成分Ｃ１〜Ｃ８の総和Ｃａｌｌが、下限閾値ＮＳｉｍｉｎの周波数成分の総和ＮＳｉｍｉｎ，ａｌｌ以上、かつ、上限閾値ＮＳｉｍａｘの周波数成分の総和ＮＳｉｍａｘ，ａｌｌ未満である場合、ノイズ推定判定部２５２は、ノイズ推定条件（２）を満たすと判定する。
【００５６】
ノイズ推定部２５３は、ノイズ推定判定部２５２によってノイズ推定条件を満たすと判定された場合、第１周波数スペクトルＣに基づき、動作部の動作によって発生する駆動音を示す推定ノイズを決定する（以下、ノイズ推定処理という）。
本実施形態において、ノイズ推定部２５３は、ノイズ推定条件（１）と（２）の両方を満たす場合、例えば、ノイズ推定条件（１）において静環境閾値αと比較された第２周波数スペクトルＡの音信号が取得された期間と時間軸方向に最も近い第１周波数スペクトルＣを推定ノイズＮＳと決定する。
【００５７】
ノイズ低減処理部２５４は、タイミング検出部１９１から入力するタイミング信号に基づき、動作部が動作する可能性の高い期間に取得される音信号の周波数スペクトルを取得する。このノイズ低減処理部２５４は、例えば、タイミング検出部１９１から入力するタイミング信号に基づき、音信号処理部２５１から出力される駆動音期間Ｔｃに対応する全ての第１周波数スペクトルを取得するものであってもよい。
【００５８】
このノイズ低減処理部２５４は、例えば、動作開始タイミングから動作停止タイミングまでの期間に取得される音信号の周波数スペクトルを取得する。
ノイズ低減処理部２５４は、タイミング検出部１９１から入力するタイミング信号に基づき、例えば、音信号処理部２５１から出力される周波数スペクトルＳ１〜Ｓ１４から、駆動音が発生している可能性の高い期間に対応する第１周波数スペクトルＣと第３周波数スペクトルＢを取得する。本実施形態において、ノイズ低減処理部２５４は、周波数スペクトルＳ２〜Ｓ１２を取得する。
【００５９】
このノイズ低減処理部２５４は、取得した周波数スペクトルＳ２〜Ｓ１２に対して、動作パターンに応じて予め決められている駆動音によるノイズを低減するノイズ低減処理を行う。例えば、ノイズ低減処理部２５４は、ノイズ推定部２５３によって決定された推定ノイズＮＳの周波数スペクトルを、動作部が動作している可能性の高い期間に取得される音信号の周波数スペクトルから減算するスペクトル減算法を実行する。
本実施形態において、ノイズ低減処理部２５４は、ノイズ推定部２５３によって推定ノイズＮＳが決定された場合は、この決定された推定ノイズＮＳを用いてノイズ低減処理を実行する。しかし、ノイズ推定部２５３によって推定ノイズが決定されない場合は、動作パターンに応じて予め決められている設定ノイズを表わす周波数スペクトルを、動作部が動作している可能性の高い期間に取得される音信号の周波数スペクトルから減算する周波数スペクトル減算法を実行する。
【００６０】
逆フーリエ変換部２５５は、ノイズ低減処理部２５４から入力された周波数スペクトルに対して、例えば逆フーリエ変換、あるいは逆高速フーリエ変換（ＩＦＦＴ：Inverse Fast Fourier Transform）を行うことで、時間領域に変換する。
通信部１７０は、この逆フーリエ変換部２５５によって時間領域に変換された音信号を記憶媒体２００に記憶させる。なお、通信部１７０は、時間領域に変換された音信号と、撮像素子１１９により撮像された画像データとを、対応する日時情報を有する同士で対応付けて、記憶媒体２００に記憶させてもよく、音信号を含む動画として記憶してもよい。
【００６１】
次に、図８を参照して、本発明に係るノイズ低減処理方法の一例について説明する。図８は、本発明に係るノイズ低減処理方法の一例を示すフローチャートである。
例えば、操作部１８０の電源スイッチがＯＮされると、撮像装置１００に電源が投入され、電池２６０から各構成部に対して電力が供給される。本実施形態では、撮像装置１００に対して、撮像時の画像データと音声データとを対応付けて記憶媒体２００に記憶させることが予め設定されている。
【００６２】
（ステップＳＴ１）
マイク２３０は、例えば、電源がＯＮされると、収音されたマイク音信号をＡ/Ｄ変換部２４０に出力する。Ａ/Ｄ変換部２４０は、アナログ信号であるマイク音信号をデジタル変換したマイク音信号を低減処理部２５０に出力する。
低減処理部２５０は、Ａ/Ｄ変換部２４０からマイク音信号を入力する。
【００６３】
例えば、ユーザによって、操作部１８０のレリーズボタンが押下された場合、ＣＰＵ１９０は、ＡＦ処理において、例えば焦点距離Ｐでピントを合わせるＡＦ処理を実行するための駆動制御信号を、レンズ駆動部１１６とタイミング検出部１９１に出力する。
このレンズ駆動部１１６は、入力する駆動制御信号に基づき、焦点距離Ｐでピントを合わせる動作パターンに従って、ＡＦレンズ１１２を移動させる。例えば、レンズ駆動部１１６は、ＡＦレンズ１１２の駆動機構を時計回りに所定量回転させて、ＡＦレンズ１１２を移動させる。なお、この駆動機構を回転させる回転量やスピードは、焦点距離Ｐでピントを合わせる動作パターンとして、予め決められている。
ＡＦレンズ１１２が動くと、ＣＰＵ１９０は、ＡＦエンコーダ１１７の出力から求めたハイレベルの信号をタイミング検出部１９１に出力する。動いていたＡＦレンズ１１２が停止すると、ＣＰＵ１９０は、ＡＦエンコーダ１１７の出力から求めたローレベルの信号をタイミング検出部１９１に出力する。
【００６４】
タイミング検出部１９１は、入力する駆動制御信号やＡＦエンコーダ１１７の出力レベルに基づき、焦点距離Ｐでピントを合わせる動作パターンに従って、動作タイミング信号を生成し、低減処理部２５０に出力する。
例えば、焦点距離Ｐでピントを合わせるＡＦ処理を実行するための駆動制御信号を入力した場合、タイミング検出部１９１は、ＡＦレンズ１１２の動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作開始タイミング信号を生成し、低減処理部２５０に出力する。
【００６５】
（ステップＳＴ２）
低減処理部２５０は、タイミング検出部１９１から動作タイミング信号が入力されたか否かを判定する。
（ステップＳＴ３）
動作タイミング信号が入力された場合、低減処理部２５０の音信号処理部２５１は、Ａ／Ｄ変換部２４０から出力されたマイク音信号に対して、予め決められた区間ごとに窓関数で重み付けするとともに、この区間毎のマイク音信号を周波数領域で表わされる周波数スペクトルに変換する。音信号処理部２５１は、例えば、窓関数で重み付けされた音信号をフーリエ変換して、周波数スペクトルＳ１〜Ｓ１４を算出し、ノイズ推定判定部２５２に出力する。
【００６６】
（ステップＳＴ４）
そして、ノイズ推定判定部２５２は、ノイズ推定条件（１）および（２）を満たすか否かを判定するノイズ推定判定処理を実行する。
（ステップＳＴ５）
ノイズ推定部２５３は、ノイズ推定判定部２５２によるノイズ推定判定結果に基づき、推定ノイズＮＳを決定する。
（ステップＳＴ６）
そして、ノイズ推定部２５３は、決定した推定ノイズＮＳを記憶部１６０に格納するとともに、ノイズ低減処理部２５４に出力する。
【００６７】
（ステップＳＴ７）
ノイズ低減処理部２５４は、タイミング検出部１９１から入力するタイミング信号に基づき、音信号処理部２５１から出力される音信号のうち、動作部が動作する可能性の高い期間の周波数スペクトルを取得する。
そして、ノイズ低減処理部２５４は、取得した周波数スペクトルから、ノイズ推定部２５３によって決定された推定ノイズの周波数スペクトルを減算するスペクトル減算法を実行する。このノイズ低減処理部２５４は、ノイズ低減処理後の周波数スペクトルを逆フーリエ変換部２５５に出力する。
（ステップＳＴ８）
逆フーリエ変換部２５５は、ノイズ低減処理部２５４から入力されたノイズ低減処理後の周波数スペクトルに対して、例えば逆フーリエ変換を行うことで、時間領域に変換する。この逆フーリエ変換部２５５は、時間領域に変換された音信号を記憶媒体２００に記憶させる。
【００６８】
（ステップＳＴ９）
なお、ステップＳＴ４のノイズ推定判定処理によって、ノイズ推定条件（１）と（２）のうちいずれか一方の条件を満たさないと判定された場合、ノイズ低減処理部２５４は、動作パターンに応じて予め決められている設定ノイズを表わす周波数スペクトルを、動作部が動作している可能性の高い期間に取得される音信号の周波数スペクトルから減算する周波数スペクトル減算法を実行する。
【００６９】
次に、図９を参照して、本実施形態に係るノイズ推定判定処理とノイズ推定処理の一例について説明する。図９は、本実施形態に係るノイズ推定判定処理とノイズ推定処理の一例を示すフローチャートである。
ノイズ推定判定部２５２は、タイミング検出部１９１から入力するタイミング信号に基づき、例えば、音信号処理部２５１から出力される周波数スペクトルＳ１〜Ｓ１４から、駆動音発生期間Ｔｃのうち、動作開始タイミングと時間軸方向に最も近い周波数スペクトルＳ５（図５参照）を第１周波数スペクトルＣとして取得する。
また、ノイズ推定判定部２５２は、タイミング検出部１９１から入力するタイミング信号に基づき、音信号処理部２５１から出力される周波数スペクトルＳ１〜Ｓ１４から、動作開始タイミングと最も近い周波数スペクトルＳ１（図４参照）を第２周波数スペクトルＡとして取得する。
【００７０】
（ステップＳＴ１０１）
そして、ノイズ推定判定部２５２は、第２周波数スペクトルＡである周波数スペクトルＳ１の周波数成分Ａ１〜Ａ８の総和Ａａｌｌが、静環境閾値αの周波数スペクトルの周波数成分α１〜α８の総和αａｌｌ未満であるか否かを判定する。
（ステップＳＴ１０１−ＹＥＳ）
図４と図６に示す通り、第２周波数スペクトルＡである周波数スペクトルＳ１の周波数成分Ａ１〜Ａ８の総和Ａａｌｌは、静環境閾値αである周波数スペクトルの周波数成分α１〜α８の総和αａｌｌ未満である。よって、ノイズ推定判定部２５２は、ノイズ推定条件（１）を満たすと判定する。
【００７１】
（ステップＳＴ１０２）
次いで、ノイズ推定判定部２５２は、第１周波数スペクトルＣである周波数スペクトルＳ５の周波数成分Ｃ１〜Ｃ８の総和Ｃａｌｌが、下限閾値ＮＳｉｍｉｎの周波数成分ＮＳｉｍｉｎ，１〜ＮＳｉｍｉｎ，８の総和ＮＳｉｍｉｎ，ａｌｌ以上かつ上限閾値ＮＳｉｍａｘの周波数成分ＮＳｉｍａｘ，１〜ＮＳｉｍａｘ，８の総和ＮＳｉｍａｘ，ａｌｌ未満であるか否かを判定する。
（ステップＳＴ１０２−ＹＥＳ）
図５と図７に示す通り、第１周波数スペクトルＣである周波数スペクトルＳ５の周波数成分Ｃ１〜Ｃ８の総和Ｃａｌｌが、下限閾値ＮＳｉｍｉｎの周波数成分の総和ＮＳｉｍｉｎ，ａｌｌ以上、かつ、上限閾値ＮＳｉｍａｘの周波数成分の総和ＮＳｉｍａｘ，ａｌｌ未満である。よって、ノイズ推定判定部２５２は、ノイズ推定条件（２）を満たすと判定する。
ここで、ノイズ推定判定部２５２が、第１周波数スペクトルＣである周波数スペクトルＳ５がノイズ推定条件（１）および（２）を満たすと判定した場合、この判定結果を示す情報をノイズ推定部２５３に出力する。
【００７２】
（ステップＳＴ１０３）
ノイズ推定部２５３は、このノイズ推定判定部２５２による判定結果に基づき、第１周波数スペクトルＣである周波数スペクトルＳ５が、動作部の動作によって発生する駆動音を示す推定ノイズであると決定する。
【００７３】
一方、ノイズ推定判定部２５２が、タイミング検出部１９１から入力するタイミング信号に基づき、例えば、音信号処理部２５１から出力される周波数スペクトルから、駆動音発生期間Ｔｃのうち、動作開始タイミングと時間軸方向に最も近い周波数スペクトルＳ５´を第１周波数スペクトルＣとして取得したとする。この周波数スペクトルＳ５´の一例について、図１０に示す。
図１０に示す通り、第１周波数スペクトルＣの周波数スペクトルＳ５´は、周波数帯域幅ｆ１〜ｆ８にそれぞれ対応する周波数成分Ｃ１´〜Ｃ８´を含む。
【００７４】
また、ノイズ推定判定部２５２は、タイミング検出部１９１から入力するタイミング信号に基づき、音信号処理部２５１から出力される周波数スペクトルから、動作開始タイミングと最も近い周波数スペクトルＳ１´を第２周波数スペクトルＡとして取得したとする。
図１１に示す通り、第２周波数スペクトルＡの周波数スペクトルＳ１´は、周波数帯域幅ｆ１〜ｆ８にそれぞれ対応する周波数成分Ａ１´〜Ａ８´を含む。
【００７５】
（ステップＳＴ１０１−ＮＯ）
この場合、図１１と図６に示す通り、第２周波数スペクトルＡである周波数スペクトルＳ１´の周波数成分Ａ１´〜Ａ８´の総和Ａａｌｌ´は、静環境閾値αである周波数スペクトルの周波数成分α１〜α８の総和αａｌｌ以上である。よって、ノイズ推定判定部２５２は、ノイズ推定条件（１）を満たさないと判定する。
（ステップＳＴ１０２−ＮＯ）
また、図１０と図７に示す通り、第１周波数スペクトルＣである周波数スペクトルＳ５´の周波数成分Ｃ１´〜Ｃ８´の総和Ｃａｌｌ´が、上限閾値ＮＳｉｍａｘの周波数成分の総和ＮＳｉｍａｘ，ａｌｌ以上である。よって、ノイズ推定判定部２５２は、ノイズ推定条件（２）を満たさないと判定する。
このように、ノイズ推定判定部２５２は、第１周波数スペクトルＣである周波数スペクトルＳ５がノイズ推定条件（１）あるいは（２）を満たさないと判定した場合、この判定結果を示す情報をノイズ低減処理部２５４に出力する。
【００７６】
この場合、上述のステップＳＴ９に移行して、ノイズ低減処理部２５４は、このノイズ推定判定部２５２による判定結果に基づき、動作パターンに応じて予め決められている設定ノイズを表わす周波数スペクトルを、動作部が動作している可能性の高い期間に取得される音信号の周波数スペクトルから減算する周波数スペクトル減算法を実行する。
【００７７】
以上説明したように、本実施形態に係る撮像装置１００は、タイミング信号検出部１９１によって動作部の動作タイミングを検出するとともに、このタイミング信号に基づき、駆動音が発生する可能性の高い期間に取得された音信号の周波数スペクトルが、動作部の動作パターンに応じて予め決められているノイズ推定を実行するノイズ推定条件を満たすか否かを判定する。これにより、ノイズ推定によって決定される推定ノイズＳＮに含まれる駆動音以外の音を低減することができる。また、動作パターンに応じた推定ノイズとして、許容範囲を外れるほど大きく異なる周波数スペクトルを推定ノイズＳＮと決定する可能性を低減させることができる。つまり、ノイズ推定部２５３によって決定される推定ノイズＳＮの精度を向上させることができる。
【００７８】
次に、図１２，１３を参照して、タイミング検出部１９１によって検出される動作開始タイミングの一例について説明する。
図１２には、例えば、ＡＦエンコーダ１１７の出力と、マイク２３０が出力するマイク音信号の一例を示す図である。
図１２に示す通り、ＡＦエンコーダ１１７の出力がハイレベルとローレベルとを繰り返している期間を動作部による動作音が発生している期間であると決定した場合の一例について説明する。
この場合、ＡＦエンコーダ１１７の出力が最初にハイレベルとなった時刻が、動作開始タイミングｔ１となる。よって、この時刻ｔ１から衝撃音が発生している期間が開始する。また、ＡＦエンコーダ１１７の出力が最後にハイレベルとなった際にローレベルに戻ったとき時刻が、動作停止タイミングｔ２となる。よって、この時刻ｔ２から衝撃音が発生している期間が開始する
【００７９】
しかし、この場合、ＡＦレンズ１１２の駆動系（ギア列等）のバックラッシュの影響で、ＡＦエンコーダ１１７の出力が、実際のＡＦレンズ１１２の駆動系の動作開始タイミングとずれる場合がある。この場合について、図１３を参照して説明する。図１３には、例えば、ＡＦエンコーダ１１７の出力と、マイク２３０が出力するマイク音信号の他の例を示す図である。
【００８０】
図１３に示す通り、実際のＡＦレンズ１１２の駆動系の動作開始タイミングは、ＡＦエンコーダ１１７の出力がハイレベルとローレベルとを繰り返している期間よりも時間軸方向の前（過去）に発生している。この場合、動作開始タイミングは時刻ｔ３であり、時刻ｔ３からの一定期間内において衝撃音が発生している。
よって、時刻ｔ１を動作開始タイミングとした場合、衝撃音ノイズ低減処理部２５２は、時刻ｔ１からの一定期間を衝撃音が発生している可能性の高い期間として取り扱うこととなる。この場合、衝撃音ノイズ低減処理部２５２によって取得された第１周波数スペクトルには、衝撃音が含まれていない可能性が高い。
【００８１】
よって、タイミング検出部１９１は、図１３を用いて説明したとおり、駆動系の実際の開始タイミングとＡＦエンコーダ１１７の出力とがずれてしまった場合の不都合を回避するため動作開始タイミングとして、動作部への駆動制御信号（コマンド）が出力された時刻を示す動作開始タイミング信号を生成する。
【００８２】
［第２実施形態］
本実施形態に係るノイズ低減処理装置は、上述の第１実施形態と比較すると、ノイズ推定判定部２５２によるノイズ推定判定処理と、ノイズ推定部２５３によるノイズ推定処理が異なる。それ以外の処理については、上述の第１実施形態と同様であるため、詳細な説明については省略する。
【００８３】
本実施形態において、ノイズ推定判定部２５２は、ノイズ推定条件（１）を満たしているか否かを、以下のようにして判定する。
例えば、ノイズ推定判定部２５２は、駆動音によるノイズとして予め決められている初期推定ノイズＮＳｉと、駆動音によるノイズが発生していない可能性の高い期間の音情報とに基づき、信号対雑音比ＳＮＲを算出する。この信号対雑音比ＳＮＲは、信号量（ｓｉｇｎａｌ）である駆動音によるノイズが発生していない可能性の高い期間の音情報と、雑音量（ｎｏｉｓｅ）である初期推定ノイズＮＳｉとの比である。この信号対雑音比ＳＮＲが小さいほど、目的音が小さいことを意味しており、この目的音を含む音信号に基づき推定ノイズＮＳを算出すると、駆動音によるノイズが発生している期間の音情報から推定するノイズの推定精度が高くなる。逆に、信号対雑音比ＳＮＲが大きいほど、目的音が大きいことを意味しており、この目的音を含む音信号に基づき推定ノイズＮＳを算出すると、駆動音によるノイズが発生している期間の音情報から推定するノイズの推定精度が低くなる。本実施形態において、駆動音によるノイズが発生していない可能性の高い期間の音情報は、非動作期間Ｔａに取得される音情報である。
【００８４】
ノイズ推定判定部２５２は、信号対雑音比ＳＮＲに応じた重み係数γを決定し、この重み係数を示す情報をノイズ推定部２５３に出力する。
【００８５】
図１４は、信号対雑音比ＳＮＲと重み係数γとの関係を示すグラフである。図１４に示すグラフにおいて、横軸は信号対雑音比ＳＮＲ［ｄＢ］であり、縦軸は重み係数γである。
図１４に示す通り、重み係数γは、０≦γ≦１の範囲で設定されている。信号対雑音比ＳＮＲ≧０［ｄＢ］のとき、重み係数γ＝０である。また、信号対雑音比ＳＮＲは、ＳＮＲ≦−１４［ｄＢ］のとき、重み係数γ＝１である。重み係数γは、０＜γ＜１の範囲では、以下に示す式（１）により定義される。
＜式（１）＞
重み係数γ＝｛１／（β１−β２）｝×信号対雑音比ＳＮＲ ・・・式（１）
【００８６】
なお、式（１）において、β１は、重み係数γの変化点である信号対雑音比ＳＮＲの閾値を示す信号対雑音比判定閾値βの下限閾値である。この信号対雑音比判定閾値βの下限閾値β１とは、重み係数γ＝１となる信号対雑音比ＳＮＲの最大値である。本実施形態において、信号対雑音比判定閾値βの下限閾値は、β１＝−１４［ｄＢ］である。この信号対雑音比判定閾値βの下限閾値β１は、例えば、第１実施形態において説明した静環境閾値αに相当する信号対雑音比ＳＮＲである。
また、式（１）において、β２は、信号対雑音比判定閾値βの上限閾値である。この信号対雑音比判定閾値βの上限閾値β２とは、推定ノイズＮＳを算出する信号対雑音比ＳＮＲの最大値である。つまり、信号対雑音比ＳＮＲが、信号対雑音比判定閾値βの上限閾値β２以上でることは、ノイズ推定部２５３が、重み係数γ＝０を初期推定ノイズＮＳｉに乗算して推定ノイズ＝０を算出することにより、駆動音発生期間Ｔｃの周波数スペクトルＣを推定ノイズＮＳと決定しないことを意味している。本実施形態において、信号対雑音比判定閾値βの上限閾値β２＝０［ｄＢ］である。
【００８７】
ノイズ推定判定部２５２は、この信号対雑音比ＳＮＲを算出する場合、周波数スペクトルの周波数成分の総和に基づく信号対雑音比ＳＮＲを算出するものであってもよく、周波数スペクトルの周波数成分毎に信号対雑音比ＳＮＲを算出するものであってよい。
【００８８】
また、本実施形態において、ノイズ推定判定部２５２は、ノイズ推定条件（２）を満たしているか否かを、以下のようにして判定する。
例えば、ノイズ推定判定部２５２は、駆動音によるノイズとして予め決められている初期推定ノイズＮＳｉの周波数スペクトルと、駆動音によるノイズのみが発生している可能性の高い期間の周波数スペクトルとに基づき、スペクトル比ＳＲを算出する。本実施形態において、駆動音によるノイズのみが発生している可能性の高い期間の音情報は、駆動音発生期間Ｔｃに取得される音情報である。
【００８９】
このスペクトル比ＳＲは、以下の式（２）で算出される値である。
＜式（２）＞
スペクトル比ＳＲ＝「駆動音発生期間Ｔｃに取得される周波数スペクトル」
／「初期推定ノイズＮＳｉの周波数スペクトル」 ・・・式（２）
【００９０】
ノイズ推定部２５３は、このノイズ推定判定部２５２が算出した信号対雑音比ＳＮＲに応じた重み係数γとスペクトル比ＳＲに応じた重み係数εとを推定ノイズＮＳに与える。つまり、ノイズ推定判定部２５２は、この重み係数γおよび重み係数εを初期推定ノイズＮＳｉに乗じて、推定ノイズＮＳを算出する。
【００９１】
図１５は、スペクトル比ＳＲと重み係数εとの関係を示すグラフである。図１５に示すグラフにおいて、横軸はスペクトル比ＳＲ［ｄＢ］であり、縦軸は重み係数εである。
図１５に示す通り、重み係数εは、０≦ε≦１の範囲で設定されている。スペクトル比ＳＲ＞２．３［ｄＢ］のとき、および、スペクトル比ＳＲ＜−６［ｄＢ］のとき、重み係数ε＝０である。また、スペクトル比ＳＲ＝０［ｄＢ］のとき、重み係数ε＝１である。
重み係数εは、−６≦ε＜０の範囲では、以下に示す式（３）により定義される。
＜式（３）＞
重み係数ε＝ＳＲ／δ１＋１ ・・・式（３）
【００９２】
重み係数εは、０＜ε≦２．３の範囲では、以下に示す式（４）により定義される。
＜式（４）＞
重み係数ε＝−ＳＲ／δ２＋１ ・・・式（４）
【００９３】
なお、δ１は、重み係数εの変化点であるスペクトル比ＳＲの閾値を示すスペクトル比判定閾値δの下限閾値である。このスペクトル比判定閾値δの下限閾値δ１とは、推定ノイズＮＳを決定するためのスペクトル比ＳＲの最小値である。つまり、スペクトル比ＳＲが、スペクトル比判定閾値δの下限閾値δ１未満の場合、ノイズ推定判定部２５２は、重み係数ε＝０を初期推定ノイズＮＳｉに乗算して推定ノイズＮＳ＝０を算出することにより、駆動音発生期間Ｔｃの周波数スペクトルＣを推定ノイズＮＳと決定しない。つまり、ノイズ推定部２５３は、推定ノイズＮＳ＝０の場合は、推定ノイズＮＳを決定しないと判定する。本実施形態においてスペクトル比判定閾値δの下限閾値δ１は、δ１＝−６［ｄＢ］である。このスペクトル比判定閾値δの下限閾値δ１は、例えば、第１実施形態において説明した下限閾値ＮＳｉｍｉｎに相当するスペクトル比ＳＲである。
【００９４】
また、δ２は、スペクトル比判定閾値δの上限閾値である。このスペクトル比判定閾値δの上限閾値とは、推定ノイズＮＳを算出するスペクトル比ＳＲの最大値である。つまり、スペクトル比ＳＲが、スペクトル比判定閾値δの上限閾値δ２より大きい場合、ノイズ推定判定部２５２は、重み係数ε＝０を乗算して推定ノイズ＝０を算出することにより、駆動音発生期間Ｔｃの周波数スペクトルＣを推定ノイズＮＳと決定しない。本実施形態においてスペクトル比判定閾値δの上限閾値δ２は、δ２＝２．３［ｄＢ］である。このスペクトル比判定閾値δの上限閾値δ２は、例えば、第１実施形態において説明した上限閾値ＮＳｉｍａｘに相当するスペクトル比ＳＲである。
【００９５】
ノイズ推定判定部２５２は、この信号対雑音比ＳＮＲおよびスペクトル比ＳＲを算出する場合、周波数スペクトルの周波数成分の総和に基づく信号対雑音比ＳＮＲおよびスペクトル比ＳＲを算出するものであってもよく、周波数スペクトルに含まれる各周波数成分に基づく信号対雑音比ＳＮＲおよびスペクトル比ＳＲを周波数成分ごとに算出するものであってよい。
なお、周波数スペクトルの周波数成分の総和に基づく信号対雑音比ＳＮＲおよびスペクトル比ＳＲを算出する例について、図１６〜１７を参照して、以下に説明する。
一方、周波数スペクトルに含まれる各周波数成分に基づく信号対雑音比ＳＮＲおよびスペクトル比ＳＲを周波数成分ごとに算出する例について、図１８〜１９を参照して、以下に説明する。
【００９６】
ノイズ推定部２５３は、ノイズ推定判定部２５２によって決定された重み係数γと重み係数εとの積を算出し、この重み係数の積を初期推定ノイズＮＳｉに乗算する。そして、ノイズ推定部２５３は、重み係数の積と初期推定ノイズＮＳｉとの積（重み係数γ×ε×初期推定ノイズＮＳｉ）が０（ゼロ）であるか否かを判定する。重み係数の積と初期推定ノイズＮＳｉとの積＝重み係数γ×ε×初期推定ノイズＮＳｉが０（ゼロ）でない場合、この重み係数の積と初期推定ノイズＮＳｉとの積（重み係数γ×ε×初期推定ノイズＮＳｉ）を推定ノイズＮＳと決定する。
【００９７】
次に、図１６、１７を参照して、周波数スペクトルの周波数成分の総和に基づく信号対雑音比ＳＮＲおよびスペクトル比ＳＲを算出するノイズ推定判定処理とノイズ推定処理の一例について説明する。図１６は、波数スペクトルの周波数成分の総和に基づく信号対雑音比ＳＮＲおよびスペクトル比ＳＲを算出するノイズ推定判定処理の一例を説明するためのフローチャートである。図１７は、波数スペクトルの周波数成分の総和に基づく信号対雑音比ＳＮＲおよびスペクトル比ＳＲを算出するノイズ推定処理の一例を説明するためのフローチャートである。
【００９８】
ノイズ推定判定部２５２は、タイミング検出部１９１から入力するタイミング信号に基づき、例えば、音信号処理部２５１から出力される周波数スペクトルＳ１〜Ｓ１４から、駆動音発生期間Ｔｃのうち、動作開始タイミングと時間軸方向に最も近い周波数スペクトルＳ５（図５参照）を第１周波数スペクトルＣとして取得する。
また、ノイズ推定判定部２５２は、タイミング検出部１９１から入力するタイミング信号に基づき、音信号処理部２５１から出力される周波数スペクトルＳ１〜Ｓ１４から、動作開始タイミングと最も近い周波数スペクトルＳ１（図４参照）を第２周波数スペクトルＡとして取得する。
【００９９】
（ステップＳＴ２０１）
そして、ノイズ推定判定部２５２は、初期推定ノイズＮＳｉの周波数スペクトルの周波数成分ＮＳｉ１〜ＮＳｉ８の総和ＮＳｉａｌｌと、第２周波数スペクトルＡである周波数スペクトルＳ１の周波数成分Ａ１〜Ａ８の総和Ａａｌｌとに基づき、信号対雑音比ＳＮＲを算出する。この低減処理部２５０は、以下の演算式に従って、信号対雑音比ＳＮＲを算出する。
＜信号対雑音比ＳＮＲの演算式＞
信号対雑音比ＳＮＲ＝周波数スペクトルＳ１の周波数成分Ａ１〜Ａ８の総和Ａａｌｌ
／初期推定ノイズＮＳｉの周波数スペクトルの周波数成分の総和ＮＳｉａｌｌ
【０１００】
（ステップＳＴ２０２）
そして、ノイズ推定判定部２５２は、算出した信号対雑音比ＳＮＲが、信号対雑音比判定閾値βの下限閾値β１以下であるか否かを判定する。
（ステップＳＴ２０３）
信号対雑音比ＳＮＲが、信号対雑音比判定閾値βの下限閾値β１以下である場合、ノイズ推定判定部２５２は、重み係数γ＝１と決定する。
【０１０１】
（ステップＳＴ２０４）
一方、信号対雑音比ＳＮＲが、信号対雑音比判定閾値βの下限閾値β１より大きい場合、ノイズ推定判定部２５２は、算出した信号対雑音比ＳＮＲが、信号対雑音比判定閾値βの上限閾値β２未満であるか否かを判定する。
（ステップＳＴ２０５）
信号対雑音比ＳＮＲが、信号対雑音比判定閾値βの上限閾値β２未満である場合、ノイズ推定判定部２５２は、重み係数γ＝｛１／（β１−β２）｝×信号対雑音比ＳＮＲと決定する。
【０１０２】
（ステップＳＴ２０６）
そして、信号対雑音比ＳＮＲが、信号対雑音比判定閾値βの上限閾値β２以上である場合、ノイズ推定判定部２５２は、重み係数γ＝０と決定する。
【０１０３】
（ステップＳＴ２０７）
次いで、ノイズ推定判定部２５２は、初期推定ノイズＮＳｉの周波数スペクトルの周波数成分ＮＳｉ１〜ＮＳｉ８の総和ＮＳｉａｌｌと、第１周波数スペクトルＣである周波数スペクトルＳ５の周波数成分Ｃ１〜Ｃ８の総和Ｃａｌｌとに基づき、スペクトル比ＳＲを算出する。この低減処理部２５０´は、以下の演算式に従って、スペクトル比ＳＲを算出する。
＜スペクトル比ＳＲの演算式＞
スペクトル比ＳＲ＝周波数スペクトルＳ５の周波数成分Ｃ１〜Ｃ８の総和Ｃａｌｌ
／初期推定ノイズＮＳｉの周波数スペクトルの周波数成分の総和ＮＳｉａｌｌ
【０１０４】
（ステップＳＴ２０８）
そして、ノイズ推定判定部２５２は、算出したスペクトル比ＳＲが、スペクトル比判定閾値δの下限閾値δ１未満であるか否かを判定する。
（ステップＳＴ２０９）
スペクトル比ＳＲがスペクトル比判定閾値δの下限閾値δ１未満である場合、ノイズ推定判定部２５２は、重み係数ε＝０と決定する。
【０１０５】
（ステップＳＴ２１０）
一方、信号対雑音比ＳＮＲがスペクトル比判定閾値δの下限閾値δ１以上である場合、ノイズ推定判定部２５２は、算出した信号対雑音比ＳＮＲが、１未満であるか否かを判定する。
（ステップＳＴ２１１）
信号対雑音比ＳＮＲが１未満である場合、ノイズ推定判定部２５２は、重み係数ε＝ＳＲ／δ１＋１と決定する。
【０１０６】
（ステップＳＴ２１２）
さらに、ノイズ推定判定部２５２は、算出したスペクトル比ＳＲ＝１であるか否かを判定する。
（ステップＳＴ２１３）
スペクトル比ＳＲ＝１である場合、ノイズ推定判定部２５２は、重み係数ε＝１と決定する。
【０１０７】
（ステップＳＴ２１４）
そして、ノイズ推定判定部２５２は、算出したスペクトル比ＳＲが、スペクトル比判定閾値δの上限閾値δ２以下であるか否かを判定する。
（ステップＳＴ２１５）
スペクトル比ＳＲがスペクトル比判定閾値δの上限閾値δ２以下である場合、ノイズ推定判定部２５２は、重み係数ε＝−ＳＲ／δ２＋１と決定する。
【０１０８】
（ステップＳＴ２１６）
一方、スペクトル比ＳＲがスペクトル比判定閾値δの上限閾値δ２より大きい場合、ノイズ推定判定部２５２は、重み係数ε＝０と決定する。
【０１０９】
次いで、図１７を参照して、図１６の続きのフローについて説明する。
（ステップＳＴ２１７）
図１７に示す通り、ノイズ推定部２５３は、ノイズ推定判定部２５２によって決定された重み係数γと重み係数εとの積を算出し、この重み係数の積を初期推定ノイズＮＳｉに乗算する。
（ステップＳＴ２１８）
そして、ノイズ推定部２５３は、重み係数の積と初期推定ノイズＮＳｉとの積（重み係数γ×重み係数ε×初期推定ノイズＮＳｉ）が０（ゼロ）であるか否かを判定する。
（ステップＳＴ２１９）
重み係数の積と初期推定ノイズＮＳｉとの積（重み係数γ×重み係数ε×初期推定ノイズＮＳｉ）が０（ゼロ）でない場合、この重み係数の積と初期推定ノイズＮＳｉとの積（重み係数γ×重み係数ε×初期推定ノイズＮＳｉ）を推定ノイズＮＳと決定する。
一方、重み係数の積と初期推定ノイズＮＳｉとの積（重み係数γ×重み係数ε×初期推定ノイズＮＳｉ）が０（ゼロ）である場合、ノイズ推定部２５３は、推定ノイズＮＳを決定しない。
【０１１０】
次に、図１８、１９を参照して、周波数スペクトルに含まれる各周波数成分に基づく信号対雑音比ＳＮＲおよびスペクトル比ＳＲを算出するノイズ推定判定処理とノイズ推定処理の一例について説明する。図１８は、周波数スペクトルに含まれる各周波数成分に基づく信号対雑音比ＳＮＲおよびスペクトル比ＳＲを算出するノイズ推定判定処理の一例を説明するためのフローチャートである。図１９は、周波数スペクトルに含まれる各周波数成分に基づく信号対雑音比ＳＮＲおよびスペクトル比ＳＲを算出するノイズ推定処理の一例を説明するためのフローチャートである。
【０１１１】
ノイズ推定判定部２５２は、タイミング検出部１９１から入力するタイミング信号に基づき、例えば、音信号処理部２５１から出力される周波数スペクトルＳ１〜Ｓ１４から、駆動音発生期間Ｔｃのうち、動作開始タイミングと時間軸方向に最も近い周波数スペクトルＳ５（図５参照）を第１周波数スペクトルＣとして取得する。
また、ノイズ推定判定部２５２は、タイミング検出部１９１から入力するタイミング信号に基づき、音信号処理部２５１から出力される周波数スペクトルＳ１〜Ｓ１４から、動作開始タイミングと最も近い周波数スペクトルＳ１（図４参照）を第２周波数スペクトルＡとして取得する。
【０１１２】
（ステップＳＴ３０１）
そして、ノイズ推定判定部２５２は、初期推定ノイズＮＳｉの周波数スペクトルの周波数成分ＮＳｉｎ｛ｎ＝１，２，・・・，８；以下同じ｝と、第２周波数スペクトルＡである周波数スペクトルＳ１の周波数成分Ａｎとに基づき、各周波数成分ｆｎのそれぞれに対応する信号対雑音比ＳＮＲｎを算出する。この低減処理部２５０は、例えば、以下の演算式に従って、信号対雑音比ＳＮＲｎを算出する。
＜信号対雑音比ＳＮＲｎの演算式＞
信号対雑音比ＳＮＲｎ＝周波数スペクトルＳ１の周波数成分Ａｎ
／初期推定ノイズＮＳｉの周波数スペクトルの周波数成分ＮＳｉｎ
【０１１３】
（ステップＳＴ３０２）
そして、ノイズ推定判定部２５２は、算出した信号対雑音比ＳＮＲｎが、信号対雑音比判定閾値βの下限閾値β１以下であるか否かを、周波数成分ｎごとに判定する。
（ステップＳＴ３０３）
各信号対雑音比ＳＮＲｎが、信号対雑音比判定閾値βの下限閾値β１以下である場合、ノイズ推定判定部２５２は、各信号対雑音比ＳＮＲｎの重み係数γｎ＝１と決定する。
【０１１４】
（ステップＳＴ３０４）
一方、信号対雑音比ＳＮＲｎが、信号対雑音比判定閾値βの下限閾値β１より大きい場合、ノイズ推定判定部２５２は、算出した信号対雑音比ＳＮＲｎが、信号対雑音比判定閾値βの上限閾値β２未満であるか否かを判定する。つまり、ステップＳＴ３０２において、重み係数γｎ＝１と決定されなかった周波数成分ｆｎについて、ノイズ推定判定部２５２は、さらに、信号対雑音比ＳＮＲｎが信号対雑音比判定閾値βの上限閾値β２未満であるか否かを判定する。
（ステップＳＴ３０５）
信号対雑音比ＳＮＲｎが、信号対雑音比判定閾値βの上限閾値β２未満である場合、ノイズ推定判定部２５２は、重み係数γｎ＝｛１／（β１−β２）｝×信号対雑音比ＳＮＲｎと決定する。
【０１１５】
（ステップＳＴ３０６）
そして、信号対雑音比ＳＮＲｎが、信号対雑音比判定閾値βの上限閾値β２以上である場合、ノイズ推定判定部２５２は、重み係数γｎ＝０と決定する。
これにより、重み係数γ１〜γ８は、ノイズ推定判定部２５２によって、１〜０の範囲の一の値と決定される。
【０１１６】
（ステップＳＴ３０７）
次いで、ノイズ推定判定部２５２は、初期推定ノイズＮＳｉの周波数スペクトルの周波数成分ＮＳｉｎと、第１周波数スペクトルＣである周波数スペクトルＳ５の周波数成分Ｃｎとに基づき、スペクトル比ＳＲｎを算出する。この低減処理部２５０は、以下の演算式に従って、スペクトル比ＳＲｎを算出する。
＜スペクトル比ＳＲｎの演算式＞
スペクトル比ＳＲｎ＝周波数スペクトルＳ５の周波数成分Ｃｎ
／初期推定ノイズＮＳｉの周波数スペクトルの周波数成分ＮＳｉｎ
【０１１７】
（ステップＳＴ３０８）
そして、ノイズ推定判定部２５２は、算出したスペクトル比ＳＲｎが、スペクトル比判定閾値δの下限閾値δ１未満であるか否かを判定する。
（ステップＳＴ３０９）
スペクトル比ＳＲｎがスペクトル比判定閾値δの下限閾値δ１未満である場合、ノイズ推定判定部２５２は、重み係数εｎ＝０と決定する。
【０１１８】
（ステップＳＴ３１０）
一方、信号対雑音比ＳＮＲｎがスペクトル比判定閾値δの下限閾値δ１以上である場合、ノイズ推定判定部２５２は、算出した信号対雑音比ＳＮＲｎが、１未満であるか否かを判定する。
（ステップＳＴ３１１）
信号対雑音比ＳＮＲｎが１未満である場合、ノイズ推定判定部２５２は、重み係数εｎ＝ＳＲ／δ１＋１と決定する。
【０１１９】
（ステップＳＴ３１２）
さらに、ノイズ推定判定部２５２は、算出したスペクトル比ＳＲｎ＝１であるか否かを判定する。
（ステップＳＴ３１３）
スペクトル比ＳＲｎ＝１である場合、ノイズ推定判定部２５２は、重み係数εｎ＝１と決定する。
【０１２０】
（ステップＳＴ３１４）
そして、ノイズ推定判定部２５２は、算出したスペクトル比ＳＲｎが、スペクトル比判定閾値δの上限閾値δ２以下であるか否かを判定する。
（ステップＳＴ３１５）
スペクトル比ＳＲがスペクトル比判定閾値δの上限閾値δ２以下である場合、ノイズ推定判定部２５２は、重み係数εｎ＝−ＳＲ／δ２＋１と決定する。
【０１２１】
（ステップＳＴ３１６）
一方、スペクトル比ＳＲｎがスペクトル比判定閾値δの上限閾値δ２より大きい場合、ノイズ推定判定部２５２は、重み係数εｎ＝０と決定する。
これにより、重み係数ε１〜ε８は、ノイズ推定判定部２５２によって、１〜０の範囲の一の値と決定される。
【０１２２】
次いで、図１９を参照して、図１８の続きのフローについて説明する。
（ステップＳＴ３１７）
図１９に示す通り、ノイズ推定部２５３は、ノイズ推定判定部２５２によって決定された重み係数γｎと重み係数εｎとの積を算出し、この重み係数の積を、対応する周波数成分ｆｎの初期推定ノイズＮＳｉｎに乗算する。
（ステップＳＴ３１８）
そして、ノイズ推定部２５３は、重み係数の積と初期推定ノイズＮＳｉｎとの積（重み係数γｎ×重み係数εｎ×初期推定ノイズＮＳｉの周波数成分ＮＳｉｎ）が０（ゼロ）より大きいか否かを判定する。
（ステップＳＴ３１９）
重み係数の積と初期推定ノイズＮＳｉｎとの積（重み係数γｎ×重み係数εｎ×初期推定ノイズＮＳｉの周波数成分ＮＳｉｎ）が０（ゼロ）より大きい場合、この重み係数の積と初期推定ノイズＮＳｉｎとの積（重み係数γｎ×重み係数εｎ×初期推定ノイズＮＳｉの周波数成分ＮＳｉｎ）を、当該周波数成分ｆｎに対応する推定ノイズＮＳの周波数成分ＮＳｎと決定する。
【０１２３】
（ステップＳＴ３２０）
一方、重み係数の積と初期推定ノイズＮＳｉｎとの積（重み係数γｎ×重み係数εｎ×初期推定ノイズＮＳｉの周波数成分ＮＳｉｎ）が０（ゼロ）以下である場合、ノイズ推定部２５３は、初期推定ノイズＮＳｉの周波数スペクトルの周波数成分ＮＳｉｎのうち、当該周波数成分ｆｎに対応する周波数成分ＮＳｉｎを、推定ノイズＮＳの周波数成分ＮＳｎと決定する。
（ステップＳＴ３２１）
ノイズ推定判定部２５２は、全ての推定ノイズＮＳの周波数成分ＮＳｎを決定したか否かを判定する。
ノイズ推定判定部２５２は、全ての推定ノイズＮＳの周波数成分ＮＳｎを決定するまで、ステップＳＴ２１７〜３２０を繰り返す。
（ステップＳＴ３２２）
そして、ノイズ推定判定部２５２は、全ての推定ノイズＮＳの周波数成分ＮＳｎを決定した場合、これら周波数成分ＮＳｎを組み合わせて推定ノイズＮＳを決定する。
【０１２４】
なお、ノイズ低減処理部２５４は、ノイズ推定部２５３によって決定された推定ノイズＮＳの推定精度に応じて、減算係数を変更するものであってもよい。
重み係数γおよび重み係数εが大きければ、ノイズ推定精度が高い可能性が高い。一方、重み係数γおよび重み係数εが小さければ、ノイズ推定精度が低い可能性が高い。
このため、ノイズ低減処理部２５４は、ノイズ推定判定部２５２によって決定された重み係数γおよび重み係数εが、予め決められた閾値（例えば、０．７）以上であるか否かを判定する。この閾値以上であった場合、ノイズ推定判定部２５２によるノイズ推定精度が高いと判定する。そして、ノイズ低減処理部２５４は、ノイズ低減処理を実行する際に設定される減算係数を標準値よりも大きく設定する。これにより、ノイズ除去性能を高めることができる。
一方、ノイズ低減処理部２５４は、ノイズ推定判定部２５２によって決定された重み係数γおよび重み係数εが、予め決められた閾値（例えば、０．３）以下であるか否かを判定する。この閾値以下であった場合、ノイズ推定判定部２５２によるノイズ推定精度が低いと判定する。そして、ノイズ低減処理部２５４は、ノイズ低減処理を実行する際に設定される減算係数を標準値よりも小さく設定する。これにより、目的音の音質の劣化を防止することができる。
【０１２５】
［第３実施形態］
本発明に係る低減処理部２５０は、図２０に示すような低減処理部２５０´を備える構成であってもよい。図２０は、本実施形態に係る低減処理部２５０´の構成の一例について示す図である。
図２０に示す通り、低減処理部２５０´は、音信号処理部２５１と、ノイズ推定判定部２５２と、ノイズ推定部２５３と、ノイズ低減処理部２５４と、逆フーリエ変換部２５５と、衝撃音ノイズ低減処理部２５６とを備える。なお、上述の低減処理部２５０と同様の構成のついては、同一の符号を付して詳細な説明については省略する。本実施形態に係る低減処理部２５０´は、上述の低減処理部２５０と比較して、衝撃音ノイズ低減処理部２５６を備える点が異なる。
【０１２６】
音信号処理部２５１は、例えば、周波数スペクトルＳ１〜Ｓ１４を算出し、衝撃音発生期間Ｔｂに対応する周波数スペクトルの周波数成分の総和と、予め決められた閾値とを比較する。この予め決められた閾値とは、衝撃音に対して目的音が大きいため衝撃音による音声劣化が少ないとされる目的音の周波数スペクトルの周波数成分の総和である。
衝撃音発生期間Ｔｂに対応する周波数スペクトルの周波数成分の総和が、予め決められた閾値未満であると判定した場合、駆動音ノイズ低減処理部２５６は、算出した周波数スペクトルＳ１〜Ｓ１４を衝撃音ノイズ低減処理部２５２に出力して、衝撃音ノイズ低減処理を実行するよう制御する。
一方、衝撃音発生期間に対応する周波数スペクトルの周波数成分の総和が、予め決められた閾値以上であると判定した場合、音信号処理部２５１は、算出した周波数スペクトルＳ１〜Ｓ１４を駆動音ノイズ低減処理部２５３に出力して、駆動音ノイズ低減処理を実行するよう制御する。
【０１２７】
衝撃音ノイズ低減処理部２５２は、タイミング検出部１９１から入力するタイミング信号に基づき、例えば、音信号処理部２５１から出力される周波数スペクトルＳ１〜Ｓ１４から、衝撃音が発生している可能性の高い衝撃音発生期間Ｔｂに対応する周波数スペクトル（以下、第１１周波数スペクトルという）を取得する。例えば、衝撃音ノイズ低減処理部２５６は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ２〜Ｓ４を、第１１周波数スペクトルとして取得する。衝撃音ノイズ低減処理部２５２は、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、衝撃音が発生している可能性の高い衝撃音発生期間Ｔｂに対応する周波数スペクトルＳ９〜Ｓ１２を、第１１周波数スペクトルとして取得する。
【０１２８】
また、衝撃音ノイズ低減処理部２５６は、タイミング検出部１９１から入力するタイミング信号に基づき、音信号処理部２５１から出力される周波数スペクトルＳ１〜Ｓ１４から、少なくとも衝撃音が発生していない可能性の高い期間（非動作期間Ｔａあるいは駆動音発生期間Ｔｃ）に対応する周波数スペクトル（以下、第１２周波数スペクトルという）を取得する。この衝撃音ノイズ低減処理部２５６は、衝撃音を含んでいる可能性の高い第１１周波数スペクトルごとに、この衝撃音を含む可能性の低い第１２周波数スペクトルを取得する。本実施形態において、衝撃音ノイズ低減処理部２５６は、第１１周波数スペクトルと時間軸方向において最も近い衝撃音を含む可能性の低い周波数スペクトルを第１２周波数スペクトルとして取得する。つまり、衝撃音ノイズ低減処理部２５６は、第１１周波数スペクトルと時間軸方向に隣接あるいは重複する周波数スペクトルを第１２周波数スペクトルとして取得する。
【０１２９】
なお、本実施形態において、第１２周波数スペクトルは、衝撃音が発生していない可能性の高い期間に対応する周波数スペクトルである。しかし、本発明はこれに限られず、第２周波数スペクトルは、動作部の動作によって発生するノイズ音（駆動音および衝撃音）が発生しない可能性の高い期間（非動作期間Ｔａ）に対応する周波数スペクトルであることが好ましい。
【０１３０】
ここで、図２１を参照して、衝撃音ノイズ低減処理部２５６が取得する第１１周波数スペクトルと第１２周波数スペクトルとの関係の一例について説明する。図２１は、衝撃音ノイズ低減処理部２５６が取得する第１１周波数スペクトルと第１２周波数スペクトルの一例を説明するための図である。
例えば、衝撃音ノイズ低減処理部２５６は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号に基づき、第１１周波数スペクトルである周波数スペクトルＳ２、Ｓ３に対応する第１２周波数スペクトルとして、周波数スペクトルＳ２、３の時間軸の過去方向に最も近い周波数スペクトルＳ１を取得する。また、衝撃音ノイズ低減処理部２５６は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号に基づき、第１１周波数スペクトルである周波数スペクトルＳ４に対応する第１２周波数スペクトルとして、周波数スペクトルＳ４の時間軸の未来方向に最も近い周波数スペクトルＳ５を取得する。
【０１３１】
また、衝撃音ノイズ低減処理部２５６は、動作開始タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、第１１周波数スペクトルである周波数スペクトルＳ９、Ｓ１０に対応する第１２周波数スペクトルとして、周波数スペクトルＳ９、１０の時間軸の過去方向に最も近い周波数スペクトルＳ８を取得する。また、衝撃音ノイズ低減処理部２５６は、動作開始タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、第１１周波数スペクトルである周波数スペクトルＳ１１、１２に対応する第１２周波数スペクトルとして、周波数スペクトルＳ１１、１２の時間軸の未来方向に最も近い周波数スペクトルＳ１３を取得する。
【０１３２】
さらに、衝撃音ノイズ低減処理部２５６は、第１１周波数スペクトルの少なくとも一部を第１２周波数スペクトルの対応する部分に置き換える。
例えば、衝撃音ノイズ低減処理部２５６は、第１１周波数スペクトルのうち予め決められた閾値周波数以上の周波数スペクトルと、第１２周波数スペクトルのうち予め決められた閾値周波数以上の周波数スペクトルとを、周波数成分ごとに比較して、第１２周波数スペクトルの方が第１１周波数スペクトルに比べて小さいと判定した場合に、第１１周波数スペクトルにおける当該周波数成分を第１２周波数スペクトルの周波数成分に置き換える。
【０１３３】
図２２を参照して詳細に説明する。図２２は、一部の周波数スペクトルの周波数成分の一例について説明するための図である。なお、本実施の形態では、説明便宜のため、図３に示すマイク音信号のうち、窓関数Ｗ１，Ｗ３，Ｗ５，Ｗ７，Ｗ１１，Ｗ１３に対応する周波数スペクトルＳ１，Ｓ３，Ｓ５，Ｓ７，Ｓ１１，Ｓ１３について説明する。
図２２に示す通り、周波数スペクトルＳ１，Ｓ３，Ｓ５，Ｓ７，Ｓ１１，Ｓ１３は、それぞれ、周波数成分ｆ１〜ｆ９の周波数成分を含む。
例えば、衝撃音ノイズ低減処理部２５６は、各周波数スペクトルの閾値周波数以上の周波数成分として、周波数成分ｆ３〜ｆ９について、第１１周波数スペクトルと第１２周波数スペクトルを比較することが予め決められている。よって、衝撃音ノイズ低減処理部２５６は、周波数成分ｆ１，ｆ２については、第１１周波数スペクトルと第１２周波数スペクトルを比較しない。
【０１３４】
ここで、図２３を参照して、周波数スペクトルＳ１とＳ３について、衝撃音ノイズ低減処理部２５６による衝撃音ノイズ低減処理の一例について説明する。
図２３は、周波数スペクトルＳ１とＳ３の周波数成分ごとに、振幅の比較について説明するための図である。
例えば、衝撃音ノイズ低減処理部２５６は、周波数スペクトルＳ１の周波数成分ｆ３の振幅と、周波数スペクトルＳ３の周波数成分ｆ３の振幅とを比較する。この場合、周波数スペクトルＳ１の周波数成分ｆ３の振幅の方が、周波数スペクトルＳ３の周波数成分ｆ３の振幅に比べて小さい。よって、衝撃音ノイズ低減処理部２５６は、周波数スペクトルＳ３の周波数成分ｆ３を、周波数スペクトルＳ１の周波数成分ｆ３に置き換える。
また、衝撃音ノイズ低減処理部２５６は、周波数スペクトルＳ１の周波数成分ｆ４の振幅と、周波数スペクトルＳ３の周波数成分ｆ４の振幅とを比較する。この場合、周波数スペクトルＳ１の周波数成分ｆ４の振幅の方が、周波数スペクトルＳ３の周波数成分ｆ４の振幅に比べて大きい。よって、衝撃音ノイズ低減処理部２５６は、周波数スペクトルＳ３の周波数成分ｆ３を、周波数スペクトルＳ１の周波数成分ｆ３に置き換えない。
このようにして、衝撃音ノイズ低減処理部２５６は、周波数スペクトルＳ１の周波数成分の振幅の方が、周波数スペクトルＳ３の周波数成分の振幅に比べて小さい場合のみ、周波数スペクトルＳ３の周波数成分を周波数スペクトルＳ１の周波数成分に置き換える。
図２３に示す場合、衝撃音ノイズ低減処理部２５６は、周波数スペクトルＳ３の周波数成分ｆ３、ｆ６〜ｆ９を周波数スペクトルＳ１の周波数成分ｆ３、ｆ６〜ｆ９に置き換える。
【０１３５】
次に、図２４を参照して、本実施形態に係るノイズ低減処理方法の一例について説明する。図２４は、本実施形態に係るノイズ低減処理方法の一例を示すフローチャートである。
例えば、操作部１８０の電源スイッチがＯＮされると、撮像装置１００に電源が投入され、電池２６０から各構成部に対して電力が供給される。本実施形態では、撮像装置１００に対して、撮像時の画像データと音声データを対応付けて記憶媒体２００に記憶させることが予め設定されている。
【０１３６】
（ステップＳＴ４０１）
マイク２３０は、例えば、電源がＯＮされると、収音されたマイク音信号をＡ/Ｄ変換部２４０に出力する。Ａ/Ｄ変換部２４０は、アナログ信号であるマイク音信号をデジタル変換したマイク音信号を低減処理部２５０´に出力する。
低減処理部２５０´は、Ａ/Ｄ変換部２４０からマイク音信号を入力する。
【０１３７】
ここで、ユーザによって、操作部１８０のレリーズボタンが押下された場合、ＣＰＵ１９０は、ＡＦ処理において、例えば焦点距離Ｐでピントを合わせるＡＦ処理を実行するための駆動制御信号をレンズ駆動部１１６とタイミング検出部１９１に出力する。
このレンズ駆動部１１６は、入力する駆動制御信号に基づき、焦点距離Ｐでピントを合わせる駆動パターンに従って、ＡＦレンズ１１２を移動させる。例えば、レンズ駆動部１１６は、ＡＦレンズ１１２の駆動機構を時計回りに所定量回転させて、ＡＦレンズ１１２を移動させる。なお、この駆動機構を回転させる回転量やスピードは、焦点距離Ｐでピントを合わせる駆動パターンとして、予め決められている。
ＡＦレンズ１１２が動くと、ＡＦエンコーダ１１７は、パルス信号をＣＰＵ１９０のタイミング検出部１９１に出力する。動いていたＡＦレンズ１１２が停止すると、ＡＦエンコーダ１１７は、パルス信号出力を停止する。
【０１３８】
タイミング検出部１９１は、入力する駆動制御信号やＡＦエンコーダ１１７のパスル信号に基づき、焦点距離Ｐでピントを合わせる駆動パターンに従って、動作タイミング信号を生成し、低減処理部２５０´に出力する。
例えば、焦点距離Ｐでピントを合わせるＡＦ処理を実行するための駆動制御信号を入力した場合、タイミング検出部１９１は、ＡＦレンズ１１２の動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作開始タイミング信号を生成し、低減処理部２５０´に出力する。
そして、ＡＦエンコーダ１１７から入力するパルス信号が停止された場合、タイミング検出部１９１は、ＡＦレンズ１１２の動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作停止タイミング信号を生成し、低減処理部２５０´に出力する。
【０１３９】
（ステップＳＴ４０２）
低減処理部２５０´は、タイミング検出部１９１から動作タイミング信号が入力されたか否かを判定する。
（ステップＳＴ４０３）
動作タイミング信号が入力された場合、低減処理部２５０´の音信号処理部２５１は、Ａ／Ｄ変換部２４０から出力されたマイク音信号に対して、予め決められた区間ごとに窓関数で重み付けするとともに、この区間毎のマイク音信号を周波数領域で表わされる周波数スペクトルに変換する。音信号処理部２５１は、例えば、窓関数で重み付けされた音信号をフーリエ変換して、周波数スペクトルＳ１〜Ｓ１４を算出する。
【０１４０】
（ステップＳＴ４０４）
そして、ノイズ推定判定部２５２は、ノイズ推定条件（１）および（２）を満たすか否かを判定するノイズ推定判定処理を実行する。
（ステップＳＴ４０５）
ノイズ推定部２５３は、ノイズ推定判定部２５２によるノイズ推定判定結果に基づき、推定ノイズＮＳを決定する。
（ステップＳＴ４０６）
そして、ノイズ推定部２５３は、決定した推定ノイズＮＳを記憶部１６０に格納するとともに、ノイズ低減処理部２５４に出力する。
なお、ノイズ推定判定処理と、ノイズ推定処理については、上述の第１、２実施形態において説明した方法を利用することができるため、詳細な説明については省略する。
【０１４１】
（ステップＳＴ４０７）
一方、音信号処理部２５１は、動作タイミング信号に基づき、衝撃音発生期間に対応する周波数スペクトルの周波数成分の総和と、予め決められた閾値とを比較する。
例えば、音信号処理部２５１は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ２〜Ｓ４を取得する。そして、音信号処理部２５１は、周波数スペクトルＳ２〜Ｓ４ごとに、周波数成分の総和が予め決められた閾値未満であるか否かを判定する。また、音信号処理部２５１は、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ９〜Ｓ１２を取得する。そして、音信号処理部２５１は、周波数スペクトルＳ９〜Ｓ１２ごとに、周波数成分の総和が予め決められた閾値未満であるか否かを判定する。
【０１４２】
そして、音信号処理部２５１は、周波数成分の総和が予め決められた閾値未満であった周波数スペクトルを衝撃音ノイズ低減処理部２５６に出力するとともに、この周波数スペクトルに対して衝撃音ノイズ低減処理を実行するよう衝撃音ノイズ低減処理部２５６を制御する。
【０１４３】
（ステップＳＴ４０８）
次いで、衝撃音ノイズ低減処理部２５６は、音信号処理部２５１から衝撃音ノイズ低減処理を実行する制御に基づき、Ａ/Ｄ変換部２４０から入力するマイク音信号に対して衝撃音ノイズ低減処理を実行する。
例えば、衝撃音ノイズ低減処理部２５６は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ２〜Ｓ４を、第１１周波数スペクトルとして取得する。
そして、衝撃音ノイズ低減処理部２５６は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号に基づき、第１１周波数スペクトルである周波数スペクトルＳ２、Ｓ３に対応する第１２周波数スペクトルとして、周波数スペクトルＳ２、３の直前の周波数スペクトルＳ１を取得する。また、衝撃音ノイズ低減処理部２５６は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ４に対応する第１２周波数スペクトルとして、周波数スペクトルＳ４の直後の周波数スペクトルＳ５を取得する。
【０１４４】
また、衝撃音ノイズ低減処理部２５６は、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ９〜Ｓ１２を、第１１周波数スペクトルとして取得する。
そして、衝撃音ノイズ低減処理部２５２は、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、第１１周波数スペクトルである周波数スペクトルＳ９、Ｓ１０に対応する第２周波数スペクトルとして、周波数スペクトルＳ９、１０の直前の周波数スペクトルＳ８を取得する。また、衝撃音ノイズ低減処理部２５２は、動作開始タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、第１１周波数スペクトルである周波数スペクトルＳ１１、１２に対応する第１２周波数スペクトルとして、周波数スペクトルＳ１１、１２の直後の周波数スペクトルＳ１３を取得する。
【０１４５】
次いで、衝撃音ノイズ低減処理部２５６は、各周波数スペクトルの閾値周波数以上の周波数成分として、周波数成分ｆ３〜ｆ９について、第１１周波数スペクトルと第１２周波数スペクトルを比較する。
例えば、衝撃音ノイズ低減処理部２５６は、周波数スペクトルＳ１の周波数成分ｆ３の振幅と、周波数スペクトルＳ２の周波数成分ｆ３の振幅とを比較する。この場合、周波数スペクトルＳ１の周波数成分ｆ３の振幅の方が、周波数スペクトルＳ２の周波数成分ｆ３の振幅に比べて小さい。よって、衝撃音ノイズ低減処理部２５６は、周波数スペクトルＳ３の周波数成分ｆ３を、周波数スペクトルＳ１の周波数成分ｆ３に置き換える。
また、衝撃音ノイズ低減処理部２５６は、周波数スペクトルＳ１の周波数成分ｆ４の振幅と、周波数スペクトルＳ２の周波数成分ｆ４の振幅とを比較する。この場合、周波数スペクトルＳ１の周波数成分ｆ４の振幅の方が、周波数スペクトルＳ２の周波数成分ｆ４の振幅に比べて大きい。よって、衝撃音ノイズ低減処理部２５６は、周波数スペクトルＳ３の周波数成分ｆ３を、周波数スペクトルＳ１の周波数成分ｆ３に置き換えない。
このようにして、衝撃音ノイズ低減処理部２５６は、周波数スペクトルＳ１の周波数成分の振幅の方が、周波数スペクトルＳ３の周波数成分の振幅に比べて小さい場合のみ、周波数スペクトルＳ３の周波数成分を周波数スペクトルＳ１の周波数成分に置き換える。
そして、衝撃音ノイズ低減処理部２５６は、周波数スペクトルＳ３の周波数成分ｆ３、ｆ６〜ｆ９を、周波数成分を周波数スペクトルＳ１の周波数成分ｆ３、ｆ６〜ｆ９と置き換えて、衝撃音ノイズ低減処理後の周波数スペクトルＳ´３をノイズ低減処理部２５４に出力する。
【０１４６】
衝撃音ノイズ低減処理部２５６は、同様にして、第１１周波数スペクトルである周波数スペクトルＳ２と第１２周波数スペクトルＳ１との比較と、第１１周波数スペクトルである周波数スペクトルＳ４と第１２周波数スペクトルＳ５との比較を行う。そして、第１２周波数スペクトルＳ１、Ｓ５の周波数成分の振幅の方が、それぞれ、周波数スペクトルＳ２、Ｓ４の周波数成分の振幅に比べて小さい場合のみ、周波数スペクトルＳ２、Ｓ４の周波数成分をそれぞれ周波数スペクトルＳ１、Ｓ５の周波数成分に置き換えて、衝撃音ノイズ低減処理後の周波数スペクトルＳ´２、Ｓ´４をノイズ低減処理部２５４に出力する。
【０１４７】
また、衝撃音ノイズ低減処理部２５６は、同様にして、第１１周波数スペクトルである周波数スペクトルＳ９、Ｓ１０と第１２周波数スペクトルＳ８との比較、および第１１周波数スペクトルである周波数スペクトルＳ１１、Ｓ１２と第１２周波数スペクトルＳ１３との比較を行う。そして、第１２周波数スペクトルＳ８の周波数成分の振幅の方が、それぞれ、周波数スペクトルＳ９、Ｓ１０の周波数成分の振幅に比べて小さい場合のみ、周波数スペクトルＳ９、Ｓ１０の周波数成分をそれぞれ周波数スペクトルＳ８の周波数成分に置き換えて、衝撃音ノイズ低減処理後の周波数スペクトルＳ´９、Ｓ´１０をノイズ低減処理部２５４に出力する。同様にして、第１２周波数スペクトルＳ１３の周波数成分の振幅の方が、それぞれ、周波数スペクトルＳ１１、Ｓ１２の周波数成分の振幅に比べて小さい場合のみ、周波数スペクトルＳ１１、Ｓ１２の周波数成分をそれぞれ周波数スペクトルＳ１３の周波数成分に置き換えて、衝撃音ノイズ低減処理後の周波数スペクトルＳ´１１、Ｓ´１２をノイズ低減処理部２５４に出力する。
【０１４８】
（ステップＳＴ４０９）
次いで、ノイズ低減処理部２５４は、音信号処理部２５１から入力するマイク音信号の周波数スペクトルと、衝撃音ノイズ低減処理部２５６から入力する衝撃音ノイズ低減処理後の周波数スペクトルに基づき、駆動音ノイズ低減処理を実行する。例えば、ノイズ低減処理部２５４は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミングと、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、駆動音が発生している可能性のある期間に対応する周波数スペクトルＳ２〜Ｓ１２を、第１３周波数スペクトルとして取得する。
このノイズ低減処理部２５４は、取得した第３周波数スペクトルＳ２〜Ｓ１２のうち、衝撃音ノイズ低減処理後の周波数スペクトルに対応する周波数スペクトルをＳ２〜Ｓ４、Ｓ９〜Ｓ１２を、衝撃音ノイズ低減処理後の周波数スペクトルＳ´２、Ｓ´３、Ｓ´４、Ｓ´９、Ｓ´１０、Ｓ´１１、Ｓ´１２に置き換える。そして、ノイズ低減処理部２５４は、衝撃音ノイズ低減処理後の周波数スペクトルＳ´２、Ｓ´３、Ｓ´４、Ｓ´９、Ｓ´１０、Ｓ´１１、Ｓ´１２と、周波数スペクトルＳ５〜Ｓ７に対して、決定した推定ノイズＮＳに基づき駆動音ノイズ低減処理を実行する。つまり、ノイズ低減処理部２５４は、記憶部１６０に格納されている推定ノイズＮＳを読み出し、推定ノイズＮＳの周波数スペクトルを、衝撃音ノイズ低減処理後の第１３周波数スペクトルＳ´２〜Ｓ´４、Ｓ５〜７、Ｓ´９〜Ｓ´１２の周波数成分からそれぞれ減算する。ノイズ低減処理部２５４は、この駆動音ノイズ低減処理後の周波数スペクトルを逆フーリエ変換部２５４に出力する。
【０１４９】
（ステップＳＴ４１０）
逆フーリエ変換部２５５は、ノイズ低減処理部２５４から入力された駆動音ノイズ低減処理後の周波数スペクトルに対して、例えば逆フーリエ変換を行うことで、時間領域に変換する。この逆フーリエ変換部２５５は、時間領域に変換された音信号を記憶媒体２００に記憶させる。
【０１５０】
以上説明したように、本実施形態に係る撮像装置１００は、タイミング信号検出部１９１によって動作部の動作状態が変化するタイミングを検出するとともに、このタイミング信号に基づき、衝撃音が重畳している可能性のあるマイク音信号の周波数スペクトルの一部を、衝撃音が重畳していない可能性のあるマイク音信号の周波数スペクトルの一部と置き換える衝撃音ノイズ低減処理を実行する。これにより、周波数スペクトルの帯域が広い衝撃音であっても、目的音の不連続性が目立たず、かつ、衝撃音を低減した音信号を取得することができる。
【０１５１】
なお、第１実施形態において、ノイズ推定判定部２５２は、音信号処理部２５１から出力される周波数スペクトルから、非動作期間Ｔａに対応する周波数スペクトルのうち動作開始タイミングと時間軸方向に最も近い周波数スペクトルＳ１を第２周波数スペクトルＡとして取得する。また、ノイズ推定判定部２５２は、駆動音発生期間Ｔｃに対応周波数スペクトルのうち、動作開始タイミングと時間軸方向に最も近い周波数スペクトルＳ５を第１周波数スペクトルＣとして取得する。このように説明した。
しかし、本発明はこれに限られず、例えば、タイミング検出部１９１は、入力するＡＦエンコーダ１１７出力から求めた出力レベルがハイレベルからローレベルに変化した場合、ＡＦレンズ１１２の動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作停止タイミング信号を生成し、低減処理部２５０に出力する構成であってもよい。この場合、ノイズ推定判定部２５２は、音信号処理部２５１から出力される周波数スペクトルから、非動作期間Ｔａに対応する周波数スペクトルのうち、動作停止タイミングと時間軸方向において最も近い周波数スペクトルＳ１３を第２周波数スペクトルＡとして取得する。また、ノイズ推定判定部２５２は、駆動音発生期間Ｔｃに対応する周波数スペクトルのうち、動作停止タイミングと時間軸方向に最も近い周波数スペクトルＳ８を第１周波数スペクトルＣとして取得する。
【０１５２】
また、タイミング信号検出部１９１又は低減処理部２５０等による手順を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものであってもよい。
【０１５３】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【０１５４】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【０１５５】
１００…撮像装置、１１０…撮像部、１９０…ＣＰＵ、１９１…検出部、１７０…通信部、２００…記憶媒体、２３０…マイク、２４０…Ａ/Ｄ変換部、２５０…ノイズ低減処理部、２５１…音信号処理部、２５２…ノイズ推定判定部、２５３…ノイズ推定部、２５４…ノイズ低減処理部、２５５…逆フーリエ変換部
【技術分野】
【０００１】
本発明は、音信号からノイズを減算するノイズ低減処理装置、撮像装置、およびノイズ低減処理プログラムに関する。
【背景技術】
【０００２】
例えば、連続的に発生している周囲音をノイズとして除去するため、音信号から周囲音に対応するノイズ（音信号に含まれているノイズ成分）を算出して、このノイズを音信号から減じるものがある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１９５９５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、撮像装置には、レンズやこれを駆動させる駆動部等を含む動作部が搭載されており、例えばユーザの操作に応じて動作部が動作することで、この動作部の動作音が非連続的（突発的）に発生する場合がある。
このように非連続的に発生するノイズの場合、特許文献１の技術にあっては、音信号から周囲音に対応するノイズ、すなわち、連続的に発生しているノイズのみを算出しているため、非連続的に発生するノイズを算出することが困難であるという問題がある。
【０００５】
本発明は、前記の点に鑑みてなされたものであり、ノイズ低減処理におけるノイズ推定の精度を向上させるためのノイズ低減処理装置、撮像装置、およびノイズ低減処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決するためになされたものであり、予め決められた動作パターンに応じて動作部を動作させるタイミングを示す動作タイミング信号を検出するタイミング信号検出部と、音信号を取得する音信号取得部と、前記動作タイミング信号に基づき、前記動作部が動作する可能性の高い期間に取得された音信号の第１周波数スペクトルを得て、前記第１周波数スペクトルの音信号が、前記動作パターンに応じて予め決められているノイズ推定を実行するためのノイズ推定条件を満たすか否かを判定するノイズ推定判定部と、前記推定ノイズ算出判定処理部による判定結果に従って、前記第１周波数スペクトルに基づき、前記動作部の動作によって発生する駆動音を示す推定ノイズを決定するノイズ推定部と、前記第１周波数スペクトルから前記推定ノイズの周波数スペクトルを減算するスペクトル減算を行うノイズ低減処理部と、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、ノイズ低減処理におけるノイズ推定の精度を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１実施形態に係るノイズ低減処理部を含む撮像装置の構成の一例を示すブロック図である。
【図２】本発明の第１実施形態に係る動作部の動作タイミング信号と音信号との関係の一例を説明するための参考図である。
【図３】図２に示す音信号と窓関数との関係を説明するための参考図である。
【図４】本発明の第１実施形態に係るノイズ推定判定部が取得する第２周波数スペクトルの一例を説明するための図である。
【図５】本発明の第１実施形態に係るノイズ推定判定部が取得する第１周波数スペクトルの一例を説明するための図である。
【図６】本発明の第１実施形態に係る静環境閾値αの一例について説明するための図である。
【図７】本発明の第１実施形態に係る初期推定ノイズＮＳｉの一例について説明するための図である。
【図８】本発明の第１実施形態に係るノイズ低減処理方法の一例について説明するためのフローチャートである。
【図９】本発明の第１実施形態に係るノイズ推定判定処理とノイズ推定処理の一例を示すフローチャートである。
【図１０】本発明の第１実施形態に係るノイズ推定判定部が取得する第１周波数スペクトルの他の一例を説明するための図である。
【図１１】本発明の第１実施形態に係るノイズ推定判定部が取得する第２周波数スペクトルの他の一例を説明するための図である。
【図１２】エンコーダの出力とマイク音信号の一例を示す図である。
【図１３】コマンド、エンコーダの出力、およびマイク音信号の一例を示す図である。
【図１４】本発明の第２実施形態に係る信号対雑音比ＳＮＲと重み係数γとの関係を示すグラフである。
【図１５】本発明の第２実施形態に係るスペクトル比ＳＲと重み係数εとの関係を示すグラフである。
【図１６】波数スペクトルの周波数成分の総和に基づく信号対雑音比ＳＮＲおよびスペクトル比ＳＲを算出するノイズ推定判定処理の一例を説明するためのフローチャートである。
【図１７】波数スペクトルの周波数成分の総和に基づく信号対雑音比ＳＮＲおよびスペクトル比ＳＲを算出するノイズ推定処理の一例を説明するためのフローチャートである。
【図１８】周波数スペクトルに含まれる各周波数成分に基づく信号対雑音比ＳＮＲおよびスペクトル比ＳＲを算出するノイズ推定判定処理の一例を説明するためのフローチャートである。
【図１９】周波数スペクトルに含まれる各周波数成分に基づく信号対雑音比ＳＮＲおよびスペクトル比ＳＲを算出するノイズ推定処理の一例を説明するためのフローチャートである。
【図２０】本発明の第３実施形態に係る低減処理部の構成の一例について示す図である。
【図２１】本発明の第３実施形態に係る衝撃音ノイズ低減処理部が取得する第１周波数スペクトルと第２周波数スペクトルの一例を説明するための図である。
【図２２】図３に示した各周波数スペクトルの周波数成分の一例を示す図である。
【図２３】本発明の第３実施形態に係る衝撃音ノイズ低減処理の一例について説明するための図である。
【図２４】本発明の第３本実施形態に係るノイズ低減処理方法の一例について説明するためのフローチャートである。
【発明を実施するための形態】
【０００９】
［第１実施形態］
本発明の実施形態について図面を参照して詳細に説明する。図１には、本実施形態に係る撮像装置の構成を示すブロック図が示されている。
図１に示す通り、撮像装置１００は、光学系による像を撮像し、得られた画像データを記憶媒体２００に記憶させるとともに、マイクによって収音されたマイク音信号に対してノイズ低減処理を行い、ノイズ低減処理後の音信号を記憶媒体２００に記憶させる。
この撮像装置１００は、低減処理部２５０を備える。この低減処理部２５０は、マイク音信号に含まれる推定ノイズを取得し、この推定ノイズに基づきマイク音からノイズを低減するノイズ低減処理を行う。
【００１０】
本実施形態に係る低減処理部２５０は、動作部が動作することによって発生するノイズ（以下、動作音という）を低減するためのノイズ低減処理を実行する。例えば、撮像装置１００において、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）やＶＲ（Ｖｉｂｒａｔｉｏｎ Ｒｅｄｕｃｔｉｏｎ）等の処理において光学系を駆動する場合、モータや光学系が動くことによりノイズ（動作音）が発生する。また、モータが回転方向を切り換えた場合、一時的に大きい音のノイズ（動作音）が発生する。このように、動作部の動作状態が変化した場合に、一時的に発生する大きい音を衝撃音という。一方、この衝撃音よりも小さく、光学系やモータが動いているときに発生する音を駆動音という。つまり、駆動音は、衝撃音以外のノイズである。本実施形態に係る低減処理部２５０は、駆動音によるノイズを推定し、この推定値に基づきマイク音信号から駆動音によるノイズを低減するノイズ低減処理を行う。
【００１１】
以下、撮像装置１００と低減処理部２５０の構成の一例について詳細に説明する。なお、本実施形態において、低減処理部２５０は、撮像装置１００に内蔵されている例について説明するが、本発明はこれに限られない。例えば、低減処理部２５０は、撮像装置１００の外部装置であってもよい。
【００１２】
撮像装置１００は、撮像部１１０と、バッファメモリ１３０と、画像処理部１４０と、表示部１５０と、記憶部１６０と、通信部１７０と、操作部１８０と、ＣＰＵ１９０と、計時部２２０と、マイク２３０と、Ａ/Ｄ変換部２４０と、低減処理部２５０と、電池２６０と、を備える。
【００１３】
撮像部１１０は、光学系１１１と、撮像素子１１９と、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部１２０とを備え、設定される撮像条件（例えば絞り値、露出値等）に応じて予め決められた動作パターンに従って、ＣＰＵ１９０により制御される。この撮像部１１０は、光学系１１１による光学像を撮像素子１１９に結像させて、Ａ／Ｄ変換部１２０によってデジタル信号に変換された光学像に基づく画像データを生成する。
【００１４】
光学系１１１は、焦点調整レンズ（以下、「ＡＦレンズ」という）１１２と、手ブレ補正レンズ（以下、「ＶＲレンズ」という）１１３と、ズームレンズ１１４と、ズームエンコーダ１１５と、レンズ駆動部１１６と、ＡＦエンコーダ１１７と、手ブレ補正部１１８とを備える。
これら光学系１１１の各構成は、ＣＰＵ１９０による焦点調整処理、手ブレ補正処理、およびズーム処理において、それぞれの動作パターンに従って、駆動する。つまり、光学系１１１は、撮像装置１００における動作部である。
【００１５】
この光学系１１１は、ズームレンズ１１４から入射し、ズームレンズ１１４、ＶＲレンズ１１３、ＡＦレンズ１１２の順番で通過した光学像を、撮像素子１１９の受光面に導く。
レンズ駆動部１１６は、ＡＦレンズ１１２およびズームレンズ１１４の位置を制御するための駆動制御信号（コマンド）をＣＰＵ１９０から入力する。このレンズ駆動部１１６は、入力する駆動制御信号に応じて、ＡＦレンズ１１２およびズームレンズ１１４の位置を制御する。
つまり、この駆動制御信号がＣＰＵ１９０からレンズ駆動部１１６に入力されてレンズ駆動部１１６が駆動することにより、ＡＦレンズ１１２およびズームレンズ１１４が移動（動作）する。本実施形態において、ＣＰＵ１９０が駆動制御信号を出力したタイミングを、ＡＦレンズ１１２およびズームレンズ１１４の動作が開始された動作開始タイミングという。
【００１６】
ズームエンコーダ１１５は、ズームレンズ１１４の位置を表わすズームポジションを検出し、ＣＰＵ１９０に出力する。このズームエンコーダ１１５は、ズームレンズ１１４の移動を検出し、例えば、ズームレンズ１１４が光学系１１１内を移動している場合にパルス信号をＣＰＵ１９０に出力する。一方、停止している場合、ズームエンコーダ１１５は、パルス信号の出力を停止する。
【００１７】
ＡＦエンコーダ１１７は、ＡＦレンズ１１２の位置を表わすフォーカスポジションを検出し、ＣＰＵ１９０に出力する。このＡＦエンコーダ１１７は、ＡＦレンズ１１２の移動を検出する。
【００１８】
なお、ズームエンコーダ１１５は、ズームポジションを検出するために、ズームレンズ１１４の駆動方向を検出するものであってもよい。また、ＡＦエンコーダ１１７は、フォーカスポジションを検出するために、ＡＦレンズ１１２の駆動方向を検出するものであってもよい。
例えば、ズームレンズ１１４やＡＦレンズ１１２は、レンズ駆動部１１６によって駆動される駆動機構（例えばモータやカム等）が時計回り（ＣＷ）あるいは反時計回り（ＣＣＷ）に回転することにより光軸方向に移動する。ズームエンコーダ１１５およびＡＦエンコーダ１１７は、それぞれ、駆動機構の回転方向（ここでは、時計回りあるいは反時計回り）を検出することよって、ズームレンズ１１４およびＡＦレンズ１１２が移動していることを検出するものであってもよい。
【００１９】
手ブレ補正部１１８は、例えば振動ジャイロ機構を備え、光学系１１１による像の光軸ぶれを検出し、この光軸ぶれを打ち消す方向にＶＲレンズ１１３を動かす。この手ブレ補正部１１８は、例えばＶＲレンズ１１３を動かしている状態においてハイレベルの信号をＣＰＵ１９０に出力する。一方、ＶＲレンズ１１３を停止させている状態において、手ブレ補正部１１８は、ローレベルの信号をＣＰＵ１９０に出力する。
【００２０】
撮像素子１１９は、例えば、光電変換面を備え、その受光面に結像した光学像を電気信号に変換して、Ａ／Ｄ変換部１２０に出力する。
この撮像素子１１９は、操作部１８０を介して撮影指示を受け付けた際に得られる画像データを、静止画又は動画の画像データとして、Ａ／Ｄ変換部１２０を介して記憶媒体２００に記憶させる。一方、撮像素子１１９は、操作部１８０を介して撮像指示を受け付けていない状態において、連続的に得られる画像データをスルー画データとして、Ａ／Ｄ変換部１２０を介してＣＰＵ１９０および表示部１５０に出力する。
【００２１】
Ａ／Ｄ変換部１２０は、撮像素子１１９によって変換された電気信号をデジタル化して、デジタル信号である画像データをバッファメモリ部１３０に出力する。
【００２２】
バッファメモリ部１３０は、撮像部１１０によって撮像された画像データを、一時的に記憶する。また、バッファメモリ部１３０は、マイク２３０が収音したマイク検出音に応じたマイク音信号を、一時的に記憶する。なお、バッファメモリ部１３０は、マイク検出音が収音された時刻と、バッファメモリ部１３０における位置とを対応付けて、マイク検出音に応じたマイク音信号を記憶してもよい。
【００２３】
画像処理部１４０は、記憶部１６０に記憶されている画像処理条件を参照して、バッファメモリ部１３０に一時的に記憶されている画像データに対して、画像処理をする。画像処理された画像データは、通信部１７０を介して記憶媒体２００に記憶される。なお、画像処理部１４０は、記憶媒体２００に記憶されている画像データに対して、画像処理をしてもよい。
【００２４】
表示部１５０は、例えば液晶ディスプレイであって、撮像部１００によって得られた画像データや操作画面等を表示する。
【００２５】
記憶部１６０は、ＣＰＵ１９０によってシーン判定の際に参照される判定条件や、シーン判定によって判断されたシーン毎に対応付けられた撮像条件等を記憶する。
【００２６】
通信部１７０は、カードメモリ等の取り外しが可能な記憶媒体２００と接続され、この記憶媒体２００への情報（画像データや音データ等）の書込み、読み出し、あるいは消去を行う。
【００２７】
操作部１８０は、例えば、電源スイッチ、シャッターボタン、マルチセレクタ（十字キー）、又はその他の操作キーを備え、ユーザによって操作されることでユーザの操作入力を受け付け、操作入力に応じた操作情報をＣＰＵ１９０に出力する。この操作部１８０は、ユーザによって押下される際、物理的な動作音を発生する場合がある。本実施形態において、ユーザの操作入力に応じた操作情報が操作部１８０からＣＰＵ１９０に入力するタイミングを、操作部１８０の動作が開始される動作開始タイミングという。
【００２８】
記憶媒体２００は、撮像装置１００に対して着脱可能に接続される記憶部であって、例えば、撮像部１１０によって生成された（撮影された）画像データや、低減処理部２５０により音信号処理された音信号を記憶する。
【００２９】
バス２１０は、撮像部１１０と、バッファメモリ部１３０と、画像処理部１４０と、表示部１５０と、記憶部１６０と、通信部１７０と、操作部１８０と、ＣＰＵ１９０と、計時部２２０と、Ａ/Ｄ変換部２４０と、低減処理部２５０と接続され、各構成部から出力されたデータ等を転送する。
【００３０】
計時部２２０は、日にちや時刻を計時して、計時した日時を表わす日時情報を出力する。
【００３１】
マイク２３０は、周辺の音を収音し、この音のマイク音信号をＡ/Ｄ変換部２４０に出力する。このマイク２３０によって収音されるマイク検出音には、主に、収音対象である目的音と、動作部による動作音（ノイズ）とが含まれている。
【００３２】
ここで、マイク２３０によって取得されたマイク音信号について、例えば、ＡＦレンズ１１２が動作された時に得られたマイク音信号を例に、図２、３を参照して説明する。
図２（Ａ）は、ＡＦエンコーダ１１７の出力と時間との関係の一例を示す。図２（Ｂ）は、マイク音信号と時間の関係の一例が示されている。なお、図２（Ｂ）は、説明便宜のため、マイク音信号のうち、動作音の音信号のみを示し、目的音の音信号の図示を省略する。図２（Ａ）と図２（Ｂ）に示すＡＦレンズ１１２の動作パターンは、例えば、焦点距離Ｐでピントを合わせるＡＦ処理を行う場合の動作パターンである。
【００３３】
図２（Ａ）には、その縦軸に、ＡＦエンコーダ１１７出力から求めた、ＡＦレンズ１１２を駆動する駆動機構の回転方向を示す。
この焦点距離Ｐでピントを合わせるＡＦ処理を行う動作パターンでは、図２（Ａ）に示す通り、ＡＦレンズ１１２を駆動する駆動機構が、時刻ｔ１０〜ｔ２０において、時計回りＣＷに回転して、その後、静止する。
つまり、時刻ｔ１０は、ＡＦレンズ１１２の動作開始タイミングを、時刻ｔ２０は、ＡＦレンズ１１２の動作停止タイミングを、それぞれ表わしている。なお、本実施形態において、動作開始タイミングの時刻ｔ１０は、ＡＦレンズ１１２の位置を制御するための駆動制御信号をＣＰＵ１９０が出力したタイミングである。動作停止タイミングの時刻ｔ２０は、ＡＦエンコーダ１１７からのパルス信号の出力が停止したタイミングである。
【００３４】
従って、図２（Ｂ）に示す通り、時刻ｔ１０〜ｔ２０の期間で、マイク音信号にＡＦレンズ１１２による動作音が目的音に重畳している、又は、動作音が目的音に重畳している可能性が高い。本実施形態においては、時刻ｔ１０〜ｔ２０の期間において、ＡＦレンズ１１２による動作音であるノイズが発生している場合について以下説明する。
また、図２（Ｂ）に示す通り、時刻ｔ１０、ｔ２０においては、それぞれ衝撃音が発生している可能性が高い。本実施形態においては、時刻ｔ１０、ｔ２０において、ＡＦレンズ１１２による衝撃音が発生している場合について以下説明する。
【００３５】
また、衝撃音が発生した場合、その衝撃音が発生している可能性の高い時間は、各動作パターンに応じて予め決められている。焦点距離Ｐでピントを合わせるＡＦ処理を行う動作パターンでは、図３に示すような衝撃音の発生する時間が決められている。
図３は、焦点距離Ｐでピントを合わせるＡＦ処理を行う動作パターンでＡＦレンズ１１２を駆動した際に、マイク２３０で収音されるマイク音信号の一例を示す。図３に示すグラフは、縦軸にマイク２３０によって収音されたマイク音信号を、横軸に時間を、それぞれ示す。なお、図３は、説明便宜のため、マイク音信号のうち、動作音の音信号のみを示し、目的音の音信号の図示を省略する。
焦点距離Ｐでピントを合わせるＡＦ処理を行う動作パターンでは、時刻ｔ１０〜ｔ１１までの時間、および時刻ｔ２０〜ｔ２１までの時間が、それぞれ、衝撃音の発生する時間であると予め決められている。動作部が動作しない可能性の高い期間を非動作期間Ｔａとする。動作部の動作により衝撃音が発生する可能性の高い期間を衝撃音発生期間Ｔｂとする。動作部の動作により駆動音が発生する可能性の高い期間を駆動音発生期間Ｔｃとする。時刻ｔ０〜ｔ１０の区間、ｔ２１〜の区間が、非動作期間Ｔａである。時刻ｔ１０〜ｔ１１の区間、時刻ｔ２０〜ｔ２１の区間が、衝撃音発生期間Ｔｂである。時刻ｔ１１〜ｔ２０の区間が、駆動音発生期間Ｔｃである。
本実施形態では、図３に示す通り、この衝撃音の発生する期間において、衝撃音が発生している例について説明する。
【００３６】
図１に戻って、撮像装置１００の各構成の説明を続ける。
ＣＰＵ１９０は、設定された撮像条件（例えば絞り値、露出値等）に応じた動作パターンに従って撮像部１１０を制御する。このＣＰＵ１９０は、ズームエンコーダ１１５から出力されるズームポジションおよびＡＦエンコーダ１１７から出力されるフォーカスポジションに基づき、レンズ駆動部１１６を駆動する駆動制御信号を生成して、レンズ駆動部１１６に出力する。その生成アルゴリズムは、必要に応じて既存のアルゴリズムを適宜用いてよい。
【００３７】
タイミング信号検出部１９１は、撮像装置１００が備えている動作部の動作状態が変化するタイミングを検出する。この動作状態が変化するタイミングとしては、例えば、動作部が動作を開始する動作開始タイミングと、動作部の動作が停止する動作停止タイミングとがある。
ここでいう動作部とは、例えば、上述した光学系１１１、あるいは、操作部１８０のことであり、撮像装置１００が備えている構成のうち、動作することにより、または、動作されることにより、動作音が生じる（または、動作音が生じる可能性がある）構成である。
言い換えると、動作部とは、撮像装置１００が備えている構成のうち、動作部が動作することにより生じた動作音、または、動作部が動作されることにより生じた動作音が、マイク２３０により収音される（または、収音される可能性のある）構成である。
【００３８】
例えば、このタイミング信号検出部１９１は、動作部を動作させる駆動制御信号に基づいて、動作部の動作状態が変化するタイミングを検出してもよい。この駆動制御信号とは、動作部を動作させる駆動部に対して、動作部を動作させるようにする駆動制御信号、または、この駆動部を駆動させる駆動制御信号である。
【００３９】
例えば、タイミング信号検出部１９１は、ズームレンズ１１４、ＶＲレンズ１１３、または、ＡＦレンズ１１２を駆動させるため、レンズ駆動部１１６または手ブレ補正部１１８に入力される駆動制御信号に基づいて、ズームレンズ１１４、ＶＲレンズ１１３、または、ＡＦレンズ１１２の動作が開始された動作開始タイミングを検出する。この場合、タイミング信号検出部１９１は、ＣＰＵ１９０が駆動制御信号を生成する場合にＣＰＵ１９０内部で実行される処理やコマンドに基づいて、動作開始タイミングを検出してもよい。
また、タイミング信号検出部１９１は、操作部１８０から入力されるズームレンズ１１４、または、ＡＦレンズ１１２を駆動させることを示す操作信号に基づいて、動作開始タイミングを検出してもよい。
【００４０】
また、タイミング信号検出部１９１は、動作部が動作されたことを示す信号に基づいて、動作部の動作状態が変化するタイミングを検出してもよい。
例えば、タイミング信号検出部１９１は、ズームエンコーダ１１５またはＡＦエンコーダ１１７の出力に基づいて、ズームレンズ１１４またはＡＦレンズ１１２が駆動されたことを検出することにより、ズームレンズ１１４またはＡＦレンズ１１２の動作開始タイミングを検出してもよい。また、タイミング検出部１９１は、ズームエンコーダ１１５またはＡＦエンコーダ１１７の出力に基づいて、ズームレンズ１１４またはＡＦレンズ１１２が停止されたことを検出することにより、ズームレンズ１１４またはＡＦレンズ１１２の動作停止タイミングを検出してもよい。
また、タイミング信号検出部１９１は、手ブレ補正部１１８からの出力に基づいて、ＶＲレンズ１１３が駆動されたことを検出することにより、ＶＲレンズ１１３の動作開始タイミングを検出してもよい。このタイミング信号検出部１９１は、手ブレ補正部１１８からの出力に基づいて、ＶＲレンズ１１３が停止されたことを検出することにより、ＶＲレンズ１１３の動作停止タイミングを検出してもよい。
さらに、タイミング信号検出部１９１は、操作部１８０からの入力に基づいて、操作部１８０が操作されたことを検出することにより、動作部が動作するタイミングを検出してもよい。
【００４１】
タイミング信号検出部１９１は、撮像装置１００が備えている動作部の動作開始タイミングを検出し、検出した動作開始タイミングを示す動作開始タイミング信号を、低減処理部２５０に出力する。また、タイミング信号検出部１９１は、撮像装置１００が備えている動作部の動作停止タイミングを検出し、この検出した動作停止タイミングを示す動作停止タイミング信号を、低減処理部２５０に出力する。
本実施形態において、タイミング検出部１９１は、ＡＦレンズ１１２を動かす駆動制御信号がＣＰＵ１９０からレンズ駆動部１１６に出力されるタイミングを、ＡＦレンズ１１２の動作開始タイミングと判定する。タイミング検出部１９１は、例えば、図３を用いた例で示す衝撃音が発生している時刻ｔ１０〜ｔ１１を示す情報を、動作開始タイミング信号として出力する。
また、タイミング検出部１９１は、ＡＦエンコーダ１１７から出力されるパルス信号に基づき、このパルス信号の出力が停止した時を、ＡＦレンズ１１２の動作が停止した動作停止タイミングと判定する。タイミング検出部１９１は、例えば、図３を用いた例で示す衝撃音が発生している時刻ｔ２０〜ｔ２１を示す情報を、動作停止タイミング信号として出力する。
【００４２】
Ａ/Ｄ変換部２４０は、マイク２３０から入力されたアナログ信号であるマイク音信号をデジタル信号であるマイク音信号に変換する。このＡ/Ｄ変換部２４０は、デジタル信号であるマイク音信号を、低減処理部２５０に出力する。
また、Ａ/Ｄ変換部２４０は、デジタル信号であるマイク音信号を、バッファメモリ部１３０あるいは記憶媒体２００に記憶させる構成であってもよい。
【００４３】
低減処理部２５０は、Ａ／Ｄ変換部２４０によりデジタル信号に変換されたマイク音信号に対して、例えばＡＦレンズ１１２、ＶＲレンズ１１３、ズームレンズ１１４等の動作部による動作音であるノイズを低減するなどのノイズ低減処理を実行し、このノイズ低減処理した音信号を記憶媒体２００に記憶させる。
この低減処理部２５０は、音信号処理部２５１と、ノイズ推定判定部２５２と、ノイズ推定部２５３と、ノイズ低減処理部２５４と、逆フーリエ変換部２５５とを含む。
【００４４】
音信号処理部２５１は、Ａ/Ｄ変換部２４０から出力されたマイク音信号に対して、予め決められた区間ごとに窓関数で重み付けするとともに、この区間毎のマイク音信号を周波数領域で表わされるスペクトルに変換して、この周波数領域で表わされるスペクトル（周波数スペクトル）をノイズ推定判定部２５２に出力する。
この音信号処理部２５１は、例えば、マイク音信号にフーリエ変換、あるいは高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）を行うことで、マイク音信号を周波数領域に変換する。音信号処理部２５１は、例えば、マイク音信号にフーリエ変換を行うことで、窓関数の各区間に対応する周波数スペクトルを算出する。
ここで、窓関数において予め定められた区間とは、信号処理の単位（フレーム）であって、一定の間隔で繰り返される区間である。これらの窓関数の各区間は、他の窓関数の各区間と半分ずつオーバーラップしている。なお、窓関数は、例えば、ハニング窓（ハニングウィンドウ）関数が利用可能である。
【００４５】
上述した図３を参照して、音信号処理部２５１により算出される窓関数の各区間に対応する周波数スペクトルの一例について説明する。
音信号処理部２５１は、上述の通り、Ａ/Ｄ変換部２４０から出力されたマイク音信号に対して、図３に示すように他の区間と半分ずつオーバーラップしている窓関数Ｗ１〜Ｗ１４で重み付けをする。これにより、マイク音信号は、窓関数のサイズに分割される。この音信号処理部２５１は、例えば窓関数Ｗ１〜Ｗ１４で重み付けされた各区間のマイク音信号ごとに、例えばフーリエ変換を行い、周波数領域における周波数スペクトルＳ１〜Ｓ１４を算出する。つまり、音信号処理部２５１によって算出される周波数スペクトルＳ１〜Ｓ１４は、窓関数Ｗ１〜Ｗ１４の区間にそれぞれ対応する周波数スペクトルである。
【００４６】
図３に示す通り、焦点距離αでピントを合わせるＡＦ処理を行う場合の動作パターンにおいては、駆動開始タイミングと駆動停止タイミングにおいて衝撃音が発生する。ここで、動作部が動作しない可能性の高い期間を非動作期間Ｔａとする。動作部の動作により衝撃音が発生する可能性の高い期間を衝撃音発生期間Ｔｂとする。動作部の動作により駆動音が発生する可能性の高い期間を駆動音発生期間Ｔｃとする。
時刻ｔ０〜ｔ１０の区間、ｔ２１〜の区間が、非動作期間Ｔａである。時刻ｔ１０〜ｔ１１の区間、時刻ｔ２０〜ｔ２１の区間が、衝撃音発生期間Ｔｂである。時刻ｔ１１〜ｔ２０の区間が、駆動音発生期間Ｔｃである。
本実施形態において、窓関数Ｗ１、Ｗ１３、Ｗ１４に対応する周波数スペクトルＳ１、Ｓ１３、Ｓ１４は、非動作期間Ｔａに取得されたマイク音信号の周波数スペクトルである。窓関数Ｗ５〜Ｗ８に対応する周波数スペクトルＳ５〜Ｓ８は、動作部が動作する可能性の高い期間のうち、駆動音発生期間Ｔｃに取得されたマイク音信号の周波数スペクトルである。
また、窓関数Ｗ２〜Ｗ４に対応する周波数スペクトルＳ２〜Ｓ４と、窓関数Ｗ９〜Ｗ１２に対応する周波数スペクトルＳ９〜Ｓ１２は、動作部が動作する可能性の高い期間のうち、衝撃音発生期間Ｔｂに取得されたマイク音信号の周波数スペクトルである。
【００４７】
ノイズ推定判定部２５２は、タイミング検出部１９１から入力するタイミング信号に基づき、例えば、音信号処理部２５１から出力される周波数スペクトルＳ１〜Ｓ１４から、動作部が動作する可能性の高い期間のうち、駆動音が発生する可能性の高い期間（駆動音発生期間Ｔｃ）に取得される音信号の一の周波数スペクトル（以下、第１周波数スペクトルＣという）を取得する。本実施形態において、ノイズ推定判定部２５２は、駆動音発生期間Ｔｃに対応する周波数スペクトルのうち、動作開始タイミングと時間軸方向に最も近い周波数スペクトルＳ５を第１周波数スペクトルＣとして取得する。言い換えると、ノイズ推定判定部２５２は、非動作期間Ｔａと時間軸方向に最も近い駆動音発生期間Ｔｃの周波数スペクトルを、第１周波数スペクトルＣとして取得する。
【００４８】
また、ノイズ推定判定部２５２は、タイミング検出部１９１から入力するタイミング信号に基づき、音信号処理部２５１から出力される周波数スペクトルＳ１〜Ｓ１４から、動作部が動作しない可能性の高い期間（非動作期間Ｔａ）に取得される音信号の一の周波数スペクトル（以下、第２周波数スペクトルという）を取得する。本実施形態において、ノイズ推定判定部２５２は、音信号処理部２５１から出力される周波数スペクトルＳ１〜Ｓ１４から、非動作期間Ｔａに対応する周波数スペクトルのうち、動作開始タイミングと時間軸方向に最も近い周波数スペクトルＳ１を第２周波数スペクトルＡとして取得する。言い換えると、ノイズ推定判定部２５２は、駆動音発生期間Ｔｃと時間軸方向に最も近い非動作期間Ｔａの周波数スペクトルを、第２周波数スペクトルＡとして取得する。
【００４９】
ここで、図４、５を参照して、ノイズ推定判定部２５２が取得する第１周波数スペクトルＣと第２周波数スペクトルＡの一例について説明する。図４は、第２周波数スペクトルＡの一例を示す図である。図５は、第１周波数スペクトルＣの一例を示す図である。
図４に示す通り、第２周波数スペクトルＡの周波数スペクトルＳ１は、周波数帯域幅ｆ１〜ｆ８にそれぞれ対応する周波数成分Ａ１〜Ａ８を含む。
図５に示す通り、第１周波数スペクトルＣの周波数スペクトルＳ５は、周波数帯域幅ｆ１〜ｆ８にそれぞれ対応する周波数成分Ｃ１〜Ｃ８を含む。
周波数スペクトルＳ１と周波数スペクトルＳ５を比較すると、周波数スペクトルＳ５の方が、それぞれの周波数成分における振幅が大きい。これは、周波数スペクトルＳ５に駆動音が含まれているからである。
【００５０】
ノイズ推定判定部２５２は、第１周波数スペクトルＣの周波数スペクトルＳ５の音信号が、動作部の動作パターンに応じて予め決められているノイズ推定を実行するノイズ推定条件を満たすか否かを判定する（以下、ノイズ推定判定処理という）。
本実施形態において、ノイズ推定判定部２５２は、以下のノイズ推定条件（１）と（２）のうち少なくともいずれか１つの条件を満たす場合、周波数スペクトルＳ５の音信号がノイズ推定条件を満たすと判定する。
ノイズ推定条件（１）
動作部が動作する可能性の高い期間に取得される駆動音以外の音が、静かな状態であるときの環境音として予め決められている音レベルを示す静環境閾値未満であること。この条件は、動作部が動作する可能性の高い期間に取得される音に含まれる駆動音以外の音、例えば、目的音が十分に小さい場合、この期間に取得された音が駆動音によるノイズと概ね同等であると推定するための条件である。
ノイズ推定条件（２）
動作部が動作する可能性の高い期間に取得される駆動音が、動作部の動作パターンに応じた駆動音の推定ノイズＮＳとして予め決められている初期推定ノイズＮＳｉに基づく許容範囲内であること。この条件は、動作部による動作のタイミングがずれてしまい衝撃音を含む周波数スペクトルに基づき推定ノイズＮＳを決定してしまう事態や、目的音が大きい期間に取得される周波数スペクトルに基づき推定ノイズＮＳを決定してしまう事態を防止するための条件である。
【００５１】
本実施形態において、ノイズ推定判定部２５２は、ノイズ推定条件（１）を満たしているか否かを、以下のようにして判定する。
例えば、ノイズ推定判定部２５２は、静かな状態であるときの環境音として予め決められている音レベルを示す静環境閾値αを参照して、第２周波数スペクトルＡとこの静環境閾値αと比較する。
この静環境閾値αの一例について図６を参照して説明する。
図６は、静環境閾値αの周波数スペクトルの一例を示す図である。図６に示す通り、静環境閾値αの周波数スペクトルは、周波数帯域幅ｆ１〜ｆ８にそれぞれ対応する周波数成分α１〜α８を含む。
【００５２】
ノイズ推定判定部２５２は、第２周波数スペクトルＡの周波数成分Ａ１〜Ａ８の総和Ａａｌｌが、静環境閾値αの周波数スペクトルの周波数成分α１〜α８の総和αａｌｌ未満であるか否かを判定する。
第２周波数スペクトルＡの周波数成分Ａ１〜Ａ８の総和Ａａｌｌが、静環境閾値αである周波数スペクトルの周波数成分α１〜α８の総和αａｌｌ未満である場合、ノイズ推定判定部２５２は、ノイズ推定条件（１）を満たすと判定する。
【００５３】
また、本実施形態において、ノイズ推定判定部２５２は、ノイズ推定条件（２）を満たしているか否かを、以下のようにして判定する。
例えば、ノイズ推定判定部２５２は、動作部の動作パターンに応じた駆動音の推定ノイズとして予め決められている初期推定ノイズＮＳｉを参照して、第１周波数スペクトルＣとこの初期推定ノイズＮＳｉに基づく許容範囲を示す閾値（下限閾値ＮＳｉｍｉｎ，上限閾値ＮＳｉｍａｘ；ＮＳｉｍｉｎ，＜ＮＳｉ＜ＮＳｉｍａｘ）とを比較する。
【００５４】
この初期推定ノイズＮＳｉの一例について図７を参照して説明する。
図７は、初期推定ノイズＮＳｉの周波数スペクトルの一例を示す図である。図７に示す通り、初期推定ノイズＮＳｉの周波数スペクトルは、周波数帯域幅ｆ１〜ｆ８にそれぞれ対応する周波数成分ＮＳｉ１〜ＮＳｉ８を含む。
なお、下限閾値ＮＳｉｍｉｎは、例えば、初期推定ノイズＮＳｉの周波数成分ＮＳｉ１〜ＮＳｉ８のそれぞれに０．５を乗算した値の周波数成分ＮＳｉｍｉｎ，１〜ＮＳｉｍｉｎ，８によって構成される周波数スペクトルである。
また、上限閾値ＮＳｉｍａｘは、例えば、初期推定ノイズＮＳｉの周波数成分ＮＳｉ１〜ＮＳｉ８のそれぞれに１．３を乗算した値の周波数成分ＮＳｉｍａｘ，１〜ＮＳｉｍａｘ，８によって構成される周波数スペクトルである。
【００５５】
ノイズ推定判定部２５２は、第１周波数スペクトルＣの周波数成分Ｃ１〜Ｃ８の総和Ｃａｌｌが、下限閾値ＮＳｉｍｉｎの周波数成分ＮＳｉｍｉｎ，１〜ＮＳｉｍｉｎ，８の総和ＮＳｉｍｉｎ，ａｌｌ以上かつ上限閾値ＮＳｉｍａｘの周波数成分ＮＳｉｍａｘ，１〜ＮＳｉｍａｘ，８の総和ＮＳｉｍａｘ，ａｌｌ未満であるか否かを判定する。
第１周波数スペクトルＣの周波数成分Ｃ１〜Ｃ８の総和Ｃａｌｌが、下限閾値ＮＳｉｍｉｎの周波数成分の総和ＮＳｉｍｉｎ，ａｌｌ以上、かつ、上限閾値ＮＳｉｍａｘの周波数成分の総和ＮＳｉｍａｘ，ａｌｌ未満である場合、ノイズ推定判定部２５２は、ノイズ推定条件（２）を満たすと判定する。
【００５６】
ノイズ推定部２５３は、ノイズ推定判定部２５２によってノイズ推定条件を満たすと判定された場合、第１周波数スペクトルＣに基づき、動作部の動作によって発生する駆動音を示す推定ノイズを決定する（以下、ノイズ推定処理という）。
本実施形態において、ノイズ推定部２５３は、ノイズ推定条件（１）と（２）の両方を満たす場合、例えば、ノイズ推定条件（１）において静環境閾値αと比較された第２周波数スペクトルＡの音信号が取得された期間と時間軸方向に最も近い第１周波数スペクトルＣを推定ノイズＮＳと決定する。
【００５７】
ノイズ低減処理部２５４は、タイミング検出部１９１から入力するタイミング信号に基づき、動作部が動作する可能性の高い期間に取得される音信号の周波数スペクトルを取得する。このノイズ低減処理部２５４は、例えば、タイミング検出部１９１から入力するタイミング信号に基づき、音信号処理部２５１から出力される駆動音期間Ｔｃに対応する全ての第１周波数スペクトルを取得するものであってもよい。
【００５８】
このノイズ低減処理部２５４は、例えば、動作開始タイミングから動作停止タイミングまでの期間に取得される音信号の周波数スペクトルを取得する。
ノイズ低減処理部２５４は、タイミング検出部１９１から入力するタイミング信号に基づき、例えば、音信号処理部２５１から出力される周波数スペクトルＳ１〜Ｓ１４から、駆動音が発生している可能性の高い期間に対応する第１周波数スペクトルＣと第３周波数スペクトルＢを取得する。本実施形態において、ノイズ低減処理部２５４は、周波数スペクトルＳ２〜Ｓ１２を取得する。
【００５９】
このノイズ低減処理部２５４は、取得した周波数スペクトルＳ２〜Ｓ１２に対して、動作パターンに応じて予め決められている駆動音によるノイズを低減するノイズ低減処理を行う。例えば、ノイズ低減処理部２５４は、ノイズ推定部２５３によって決定された推定ノイズＮＳの周波数スペクトルを、動作部が動作している可能性の高い期間に取得される音信号の周波数スペクトルから減算するスペクトル減算法を実行する。
本実施形態において、ノイズ低減処理部２５４は、ノイズ推定部２５３によって推定ノイズＮＳが決定された場合は、この決定された推定ノイズＮＳを用いてノイズ低減処理を実行する。しかし、ノイズ推定部２５３によって推定ノイズが決定されない場合は、動作パターンに応じて予め決められている設定ノイズを表わす周波数スペクトルを、動作部が動作している可能性の高い期間に取得される音信号の周波数スペクトルから減算する周波数スペクトル減算法を実行する。
【００６０】
逆フーリエ変換部２５５は、ノイズ低減処理部２５４から入力された周波数スペクトルに対して、例えば逆フーリエ変換、あるいは逆高速フーリエ変換（ＩＦＦＴ：Inverse Fast Fourier Transform）を行うことで、時間領域に変換する。
通信部１７０は、この逆フーリエ変換部２５５によって時間領域に変換された音信号を記憶媒体２００に記憶させる。なお、通信部１７０は、時間領域に変換された音信号と、撮像素子１１９により撮像された画像データとを、対応する日時情報を有する同士で対応付けて、記憶媒体２００に記憶させてもよく、音信号を含む動画として記憶してもよい。
【００６１】
次に、図８を参照して、本発明に係るノイズ低減処理方法の一例について説明する。図８は、本発明に係るノイズ低減処理方法の一例を示すフローチャートである。
例えば、操作部１８０の電源スイッチがＯＮされると、撮像装置１００に電源が投入され、電池２６０から各構成部に対して電力が供給される。本実施形態では、撮像装置１００に対して、撮像時の画像データと音声データとを対応付けて記憶媒体２００に記憶させることが予め設定されている。
【００６２】
（ステップＳＴ１）
マイク２３０は、例えば、電源がＯＮされると、収音されたマイク音信号をＡ/Ｄ変換部２４０に出力する。Ａ/Ｄ変換部２４０は、アナログ信号であるマイク音信号をデジタル変換したマイク音信号を低減処理部２５０に出力する。
低減処理部２５０は、Ａ/Ｄ変換部２４０からマイク音信号を入力する。
【００６３】
例えば、ユーザによって、操作部１８０のレリーズボタンが押下された場合、ＣＰＵ１９０は、ＡＦ処理において、例えば焦点距離Ｐでピントを合わせるＡＦ処理を実行するための駆動制御信号を、レンズ駆動部１１６とタイミング検出部１９１に出力する。
このレンズ駆動部１１６は、入力する駆動制御信号に基づき、焦点距離Ｐでピントを合わせる動作パターンに従って、ＡＦレンズ１１２を移動させる。例えば、レンズ駆動部１１６は、ＡＦレンズ１１２の駆動機構を時計回りに所定量回転させて、ＡＦレンズ１１２を移動させる。なお、この駆動機構を回転させる回転量やスピードは、焦点距離Ｐでピントを合わせる動作パターンとして、予め決められている。
ＡＦレンズ１１２が動くと、ＣＰＵ１９０は、ＡＦエンコーダ１１７の出力から求めたハイレベルの信号をタイミング検出部１９１に出力する。動いていたＡＦレンズ１１２が停止すると、ＣＰＵ１９０は、ＡＦエンコーダ１１７の出力から求めたローレベルの信号をタイミング検出部１９１に出力する。
【００６４】
タイミング検出部１９１は、入力する駆動制御信号やＡＦエンコーダ１１７の出力レベルに基づき、焦点距離Ｐでピントを合わせる動作パターンに従って、動作タイミング信号を生成し、低減処理部２５０に出力する。
例えば、焦点距離Ｐでピントを合わせるＡＦ処理を実行するための駆動制御信号を入力した場合、タイミング検出部１９１は、ＡＦレンズ１１２の動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作開始タイミング信号を生成し、低減処理部２５０に出力する。
【００６５】
（ステップＳＴ２）
低減処理部２５０は、タイミング検出部１９１から動作タイミング信号が入力されたか否かを判定する。
（ステップＳＴ３）
動作タイミング信号が入力された場合、低減処理部２５０の音信号処理部２５１は、Ａ／Ｄ変換部２４０から出力されたマイク音信号に対して、予め決められた区間ごとに窓関数で重み付けするとともに、この区間毎のマイク音信号を周波数領域で表わされる周波数スペクトルに変換する。音信号処理部２５１は、例えば、窓関数で重み付けされた音信号をフーリエ変換して、周波数スペクトルＳ１〜Ｓ１４を算出し、ノイズ推定判定部２５２に出力する。
【００６６】
（ステップＳＴ４）
そして、ノイズ推定判定部２５２は、ノイズ推定条件（１）および（２）を満たすか否かを判定するノイズ推定判定処理を実行する。
（ステップＳＴ５）
ノイズ推定部２５３は、ノイズ推定判定部２５２によるノイズ推定判定結果に基づき、推定ノイズＮＳを決定する。
（ステップＳＴ６）
そして、ノイズ推定部２５３は、決定した推定ノイズＮＳを記憶部１６０に格納するとともに、ノイズ低減処理部２５４に出力する。
【００６７】
（ステップＳＴ７）
ノイズ低減処理部２５４は、タイミング検出部１９１から入力するタイミング信号に基づき、音信号処理部２５１から出力される音信号のうち、動作部が動作する可能性の高い期間の周波数スペクトルを取得する。
そして、ノイズ低減処理部２５４は、取得した周波数スペクトルから、ノイズ推定部２５３によって決定された推定ノイズの周波数スペクトルを減算するスペクトル減算法を実行する。このノイズ低減処理部２５４は、ノイズ低減処理後の周波数スペクトルを逆フーリエ変換部２５５に出力する。
（ステップＳＴ８）
逆フーリエ変換部２５５は、ノイズ低減処理部２５４から入力されたノイズ低減処理後の周波数スペクトルに対して、例えば逆フーリエ変換を行うことで、時間領域に変換する。この逆フーリエ変換部２５５は、時間領域に変換された音信号を記憶媒体２００に記憶させる。
【００６８】
（ステップＳＴ９）
なお、ステップＳＴ４のノイズ推定判定処理によって、ノイズ推定条件（１）と（２）のうちいずれか一方の条件を満たさないと判定された場合、ノイズ低減処理部２５４は、動作パターンに応じて予め決められている設定ノイズを表わす周波数スペクトルを、動作部が動作している可能性の高い期間に取得される音信号の周波数スペクトルから減算する周波数スペクトル減算法を実行する。
【００６９】
次に、図９を参照して、本実施形態に係るノイズ推定判定処理とノイズ推定処理の一例について説明する。図９は、本実施形態に係るノイズ推定判定処理とノイズ推定処理の一例を示すフローチャートである。
ノイズ推定判定部２５２は、タイミング検出部１９１から入力するタイミング信号に基づき、例えば、音信号処理部２５１から出力される周波数スペクトルＳ１〜Ｓ１４から、駆動音発生期間Ｔｃのうち、動作開始タイミングと時間軸方向に最も近い周波数スペクトルＳ５（図５参照）を第１周波数スペクトルＣとして取得する。
また、ノイズ推定判定部２５２は、タイミング検出部１９１から入力するタイミング信号に基づき、音信号処理部２５１から出力される周波数スペクトルＳ１〜Ｓ１４から、動作開始タイミングと最も近い周波数スペクトルＳ１（図４参照）を第２周波数スペクトルＡとして取得する。
【００７０】
（ステップＳＴ１０１）
そして、ノイズ推定判定部２５２は、第２周波数スペクトルＡである周波数スペクトルＳ１の周波数成分Ａ１〜Ａ８の総和Ａａｌｌが、静環境閾値αの周波数スペクトルの周波数成分α１〜α８の総和αａｌｌ未満であるか否かを判定する。
（ステップＳＴ１０１−ＹＥＳ）
図４と図６に示す通り、第２周波数スペクトルＡである周波数スペクトルＳ１の周波数成分Ａ１〜Ａ８の総和Ａａｌｌは、静環境閾値αである周波数スペクトルの周波数成分α１〜α８の総和αａｌｌ未満である。よって、ノイズ推定判定部２５２は、ノイズ推定条件（１）を満たすと判定する。
【００７１】
（ステップＳＴ１０２）
次いで、ノイズ推定判定部２５２は、第１周波数スペクトルＣである周波数スペクトルＳ５の周波数成分Ｃ１〜Ｃ８の総和Ｃａｌｌが、下限閾値ＮＳｉｍｉｎの周波数成分ＮＳｉｍｉｎ，１〜ＮＳｉｍｉｎ，８の総和ＮＳｉｍｉｎ，ａｌｌ以上かつ上限閾値ＮＳｉｍａｘの周波数成分ＮＳｉｍａｘ，１〜ＮＳｉｍａｘ，８の総和ＮＳｉｍａｘ，ａｌｌ未満であるか否かを判定する。
（ステップＳＴ１０２−ＹＥＳ）
図５と図７に示す通り、第１周波数スペクトルＣである周波数スペクトルＳ５の周波数成分Ｃ１〜Ｃ８の総和Ｃａｌｌが、下限閾値ＮＳｉｍｉｎの周波数成分の総和ＮＳｉｍｉｎ，ａｌｌ以上、かつ、上限閾値ＮＳｉｍａｘの周波数成分の総和ＮＳｉｍａｘ，ａｌｌ未満である。よって、ノイズ推定判定部２５２は、ノイズ推定条件（２）を満たすと判定する。
ここで、ノイズ推定判定部２５２が、第１周波数スペクトルＣである周波数スペクトルＳ５がノイズ推定条件（１）および（２）を満たすと判定した場合、この判定結果を示す情報をノイズ推定部２５３に出力する。
【００７２】
（ステップＳＴ１０３）
ノイズ推定部２５３は、このノイズ推定判定部２５２による判定結果に基づき、第１周波数スペクトルＣである周波数スペクトルＳ５が、動作部の動作によって発生する駆動音を示す推定ノイズであると決定する。
【００７３】
一方、ノイズ推定判定部２５２が、タイミング検出部１９１から入力するタイミング信号に基づき、例えば、音信号処理部２５１から出力される周波数スペクトルから、駆動音発生期間Ｔｃのうち、動作開始タイミングと時間軸方向に最も近い周波数スペクトルＳ５´を第１周波数スペクトルＣとして取得したとする。この周波数スペクトルＳ５´の一例について、図１０に示す。
図１０に示す通り、第１周波数スペクトルＣの周波数スペクトルＳ５´は、周波数帯域幅ｆ１〜ｆ８にそれぞれ対応する周波数成分Ｃ１´〜Ｃ８´を含む。
【００７４】
また、ノイズ推定判定部２５２は、タイミング検出部１９１から入力するタイミング信号に基づき、音信号処理部２５１から出力される周波数スペクトルから、動作開始タイミングと最も近い周波数スペクトルＳ１´を第２周波数スペクトルＡとして取得したとする。
図１１に示す通り、第２周波数スペクトルＡの周波数スペクトルＳ１´は、周波数帯域幅ｆ１〜ｆ８にそれぞれ対応する周波数成分Ａ１´〜Ａ８´を含む。
【００７５】
（ステップＳＴ１０１−ＮＯ）
この場合、図１１と図６に示す通り、第２周波数スペクトルＡである周波数スペクトルＳ１´の周波数成分Ａ１´〜Ａ８´の総和Ａａｌｌ´は、静環境閾値αである周波数スペクトルの周波数成分α１〜α８の総和αａｌｌ以上である。よって、ノイズ推定判定部２５２は、ノイズ推定条件（１）を満たさないと判定する。
（ステップＳＴ１０２−ＮＯ）
また、図１０と図７に示す通り、第１周波数スペクトルＣである周波数スペクトルＳ５´の周波数成分Ｃ１´〜Ｃ８´の総和Ｃａｌｌ´が、上限閾値ＮＳｉｍａｘの周波数成分の総和ＮＳｉｍａｘ，ａｌｌ以上である。よって、ノイズ推定判定部２５２は、ノイズ推定条件（２）を満たさないと判定する。
このように、ノイズ推定判定部２５２は、第１周波数スペクトルＣである周波数スペクトルＳ５がノイズ推定条件（１）あるいは（２）を満たさないと判定した場合、この判定結果を示す情報をノイズ低減処理部２５４に出力する。
【００７６】
この場合、上述のステップＳＴ９に移行して、ノイズ低減処理部２５４は、このノイズ推定判定部２５２による判定結果に基づき、動作パターンに応じて予め決められている設定ノイズを表わす周波数スペクトルを、動作部が動作している可能性の高い期間に取得される音信号の周波数スペクトルから減算する周波数スペクトル減算法を実行する。
【００７７】
以上説明したように、本実施形態に係る撮像装置１００は、タイミング信号検出部１９１によって動作部の動作タイミングを検出するとともに、このタイミング信号に基づき、駆動音が発生する可能性の高い期間に取得された音信号の周波数スペクトルが、動作部の動作パターンに応じて予め決められているノイズ推定を実行するノイズ推定条件を満たすか否かを判定する。これにより、ノイズ推定によって決定される推定ノイズＳＮに含まれる駆動音以外の音を低減することができる。また、動作パターンに応じた推定ノイズとして、許容範囲を外れるほど大きく異なる周波数スペクトルを推定ノイズＳＮと決定する可能性を低減させることができる。つまり、ノイズ推定部２５３によって決定される推定ノイズＳＮの精度を向上させることができる。
【００７８】
次に、図１２，１３を参照して、タイミング検出部１９１によって検出される動作開始タイミングの一例について説明する。
図１２には、例えば、ＡＦエンコーダ１１７の出力と、マイク２３０が出力するマイク音信号の一例を示す図である。
図１２に示す通り、ＡＦエンコーダ１１７の出力がハイレベルとローレベルとを繰り返している期間を動作部による動作音が発生している期間であると決定した場合の一例について説明する。
この場合、ＡＦエンコーダ１１７の出力が最初にハイレベルとなった時刻が、動作開始タイミングｔ１となる。よって、この時刻ｔ１から衝撃音が発生している期間が開始する。また、ＡＦエンコーダ１１７の出力が最後にハイレベルとなった際にローレベルに戻ったとき時刻が、動作停止タイミングｔ２となる。よって、この時刻ｔ２から衝撃音が発生している期間が開始する
【００７９】
しかし、この場合、ＡＦレンズ１１２の駆動系（ギア列等）のバックラッシュの影響で、ＡＦエンコーダ１１７の出力が、実際のＡＦレンズ１１２の駆動系の動作開始タイミングとずれる場合がある。この場合について、図１３を参照して説明する。図１３には、例えば、ＡＦエンコーダ１１７の出力と、マイク２３０が出力するマイク音信号の他の例を示す図である。
【００８０】
図１３に示す通り、実際のＡＦレンズ１１２の駆動系の動作開始タイミングは、ＡＦエンコーダ１１７の出力がハイレベルとローレベルとを繰り返している期間よりも時間軸方向の前（過去）に発生している。この場合、動作開始タイミングは時刻ｔ３であり、時刻ｔ３からの一定期間内において衝撃音が発生している。
よって、時刻ｔ１を動作開始タイミングとした場合、衝撃音ノイズ低減処理部２５２は、時刻ｔ１からの一定期間を衝撃音が発生している可能性の高い期間として取り扱うこととなる。この場合、衝撃音ノイズ低減処理部２５２によって取得された第１周波数スペクトルには、衝撃音が含まれていない可能性が高い。
【００８１】
よって、タイミング検出部１９１は、図１３を用いて説明したとおり、駆動系の実際の開始タイミングとＡＦエンコーダ１１７の出力とがずれてしまった場合の不都合を回避するため動作開始タイミングとして、動作部への駆動制御信号（コマンド）が出力された時刻を示す動作開始タイミング信号を生成する。
【００８２】
［第２実施形態］
本実施形態に係るノイズ低減処理装置は、上述の第１実施形態と比較すると、ノイズ推定判定部２５２によるノイズ推定判定処理と、ノイズ推定部２５３によるノイズ推定処理が異なる。それ以外の処理については、上述の第１実施形態と同様であるため、詳細な説明については省略する。
【００８３】
本実施形態において、ノイズ推定判定部２５２は、ノイズ推定条件（１）を満たしているか否かを、以下のようにして判定する。
例えば、ノイズ推定判定部２５２は、駆動音によるノイズとして予め決められている初期推定ノイズＮＳｉと、駆動音によるノイズが発生していない可能性の高い期間の音情報とに基づき、信号対雑音比ＳＮＲを算出する。この信号対雑音比ＳＮＲは、信号量（ｓｉｇｎａｌ）である駆動音によるノイズが発生していない可能性の高い期間の音情報と、雑音量（ｎｏｉｓｅ）である初期推定ノイズＮＳｉとの比である。この信号対雑音比ＳＮＲが小さいほど、目的音が小さいことを意味しており、この目的音を含む音信号に基づき推定ノイズＮＳを算出すると、駆動音によるノイズが発生している期間の音情報から推定するノイズの推定精度が高くなる。逆に、信号対雑音比ＳＮＲが大きいほど、目的音が大きいことを意味しており、この目的音を含む音信号に基づき推定ノイズＮＳを算出すると、駆動音によるノイズが発生している期間の音情報から推定するノイズの推定精度が低くなる。本実施形態において、駆動音によるノイズが発生していない可能性の高い期間の音情報は、非動作期間Ｔａに取得される音情報である。
【００８４】
ノイズ推定判定部２５２は、信号対雑音比ＳＮＲに応じた重み係数γを決定し、この重み係数を示す情報をノイズ推定部２５３に出力する。
【００８５】
図１４は、信号対雑音比ＳＮＲと重み係数γとの関係を示すグラフである。図１４に示すグラフにおいて、横軸は信号対雑音比ＳＮＲ［ｄＢ］であり、縦軸は重み係数γである。
図１４に示す通り、重み係数γは、０≦γ≦１の範囲で設定されている。信号対雑音比ＳＮＲ≧０［ｄＢ］のとき、重み係数γ＝０である。また、信号対雑音比ＳＮＲは、ＳＮＲ≦−１４［ｄＢ］のとき、重み係数γ＝１である。重み係数γは、０＜γ＜１の範囲では、以下に示す式（１）により定義される。
＜式（１）＞
重み係数γ＝｛１／（β１−β２）｝×信号対雑音比ＳＮＲ ・・・式（１）
【００８６】
なお、式（１）において、β１は、重み係数γの変化点である信号対雑音比ＳＮＲの閾値を示す信号対雑音比判定閾値βの下限閾値である。この信号対雑音比判定閾値βの下限閾値β１とは、重み係数γ＝１となる信号対雑音比ＳＮＲの最大値である。本実施形態において、信号対雑音比判定閾値βの下限閾値は、β１＝−１４［ｄＢ］である。この信号対雑音比判定閾値βの下限閾値β１は、例えば、第１実施形態において説明した静環境閾値αに相当する信号対雑音比ＳＮＲである。
また、式（１）において、β２は、信号対雑音比判定閾値βの上限閾値である。この信号対雑音比判定閾値βの上限閾値β２とは、推定ノイズＮＳを算出する信号対雑音比ＳＮＲの最大値である。つまり、信号対雑音比ＳＮＲが、信号対雑音比判定閾値βの上限閾値β２以上でることは、ノイズ推定部２５３が、重み係数γ＝０を初期推定ノイズＮＳｉに乗算して推定ノイズ＝０を算出することにより、駆動音発生期間Ｔｃの周波数スペクトルＣを推定ノイズＮＳと決定しないことを意味している。本実施形態において、信号対雑音比判定閾値βの上限閾値β２＝０［ｄＢ］である。
【００８７】
ノイズ推定判定部２５２は、この信号対雑音比ＳＮＲを算出する場合、周波数スペクトルの周波数成分の総和に基づく信号対雑音比ＳＮＲを算出するものであってもよく、周波数スペクトルの周波数成分毎に信号対雑音比ＳＮＲを算出するものであってよい。
【００８８】
また、本実施形態において、ノイズ推定判定部２５２は、ノイズ推定条件（２）を満たしているか否かを、以下のようにして判定する。
例えば、ノイズ推定判定部２５２は、駆動音によるノイズとして予め決められている初期推定ノイズＮＳｉの周波数スペクトルと、駆動音によるノイズのみが発生している可能性の高い期間の周波数スペクトルとに基づき、スペクトル比ＳＲを算出する。本実施形態において、駆動音によるノイズのみが発生している可能性の高い期間の音情報は、駆動音発生期間Ｔｃに取得される音情報である。
【００８９】
このスペクトル比ＳＲは、以下の式（２）で算出される値である。
＜式（２）＞
スペクトル比ＳＲ＝「駆動音発生期間Ｔｃに取得される周波数スペクトル」
／「初期推定ノイズＮＳｉの周波数スペクトル」 ・・・式（２）
【００９０】
ノイズ推定部２５３は、このノイズ推定判定部２５２が算出した信号対雑音比ＳＮＲに応じた重み係数γとスペクトル比ＳＲに応じた重み係数εとを推定ノイズＮＳに与える。つまり、ノイズ推定判定部２５２は、この重み係数γおよび重み係数εを初期推定ノイズＮＳｉに乗じて、推定ノイズＮＳを算出する。
【００９１】
図１５は、スペクトル比ＳＲと重み係数εとの関係を示すグラフである。図１５に示すグラフにおいて、横軸はスペクトル比ＳＲ［ｄＢ］であり、縦軸は重み係数εである。
図１５に示す通り、重み係数εは、０≦ε≦１の範囲で設定されている。スペクトル比ＳＲ＞２．３［ｄＢ］のとき、および、スペクトル比ＳＲ＜−６［ｄＢ］のとき、重み係数ε＝０である。また、スペクトル比ＳＲ＝０［ｄＢ］のとき、重み係数ε＝１である。
重み係数εは、−６≦ε＜０の範囲では、以下に示す式（３）により定義される。
＜式（３）＞
重み係数ε＝ＳＲ／δ１＋１ ・・・式（３）
【００９２】
重み係数εは、０＜ε≦２．３の範囲では、以下に示す式（４）により定義される。
＜式（４）＞
重み係数ε＝−ＳＲ／δ２＋１ ・・・式（４）
【００９３】
なお、δ１は、重み係数εの変化点であるスペクトル比ＳＲの閾値を示すスペクトル比判定閾値δの下限閾値である。このスペクトル比判定閾値δの下限閾値δ１とは、推定ノイズＮＳを決定するためのスペクトル比ＳＲの最小値である。つまり、スペクトル比ＳＲが、スペクトル比判定閾値δの下限閾値δ１未満の場合、ノイズ推定判定部２５２は、重み係数ε＝０を初期推定ノイズＮＳｉに乗算して推定ノイズＮＳ＝０を算出することにより、駆動音発生期間Ｔｃの周波数スペクトルＣを推定ノイズＮＳと決定しない。つまり、ノイズ推定部２５３は、推定ノイズＮＳ＝０の場合は、推定ノイズＮＳを決定しないと判定する。本実施形態においてスペクトル比判定閾値δの下限閾値δ１は、δ１＝−６［ｄＢ］である。このスペクトル比判定閾値δの下限閾値δ１は、例えば、第１実施形態において説明した下限閾値ＮＳｉｍｉｎに相当するスペクトル比ＳＲである。
【００９４】
また、δ２は、スペクトル比判定閾値δの上限閾値である。このスペクトル比判定閾値δの上限閾値とは、推定ノイズＮＳを算出するスペクトル比ＳＲの最大値である。つまり、スペクトル比ＳＲが、スペクトル比判定閾値δの上限閾値δ２より大きい場合、ノイズ推定判定部２５２は、重み係数ε＝０を乗算して推定ノイズ＝０を算出することにより、駆動音発生期間Ｔｃの周波数スペクトルＣを推定ノイズＮＳと決定しない。本実施形態においてスペクトル比判定閾値δの上限閾値δ２は、δ２＝２．３［ｄＢ］である。このスペクトル比判定閾値δの上限閾値δ２は、例えば、第１実施形態において説明した上限閾値ＮＳｉｍａｘに相当するスペクトル比ＳＲである。
【００９５】
ノイズ推定判定部２５２は、この信号対雑音比ＳＮＲおよびスペクトル比ＳＲを算出する場合、周波数スペクトルの周波数成分の総和に基づく信号対雑音比ＳＮＲおよびスペクトル比ＳＲを算出するものであってもよく、周波数スペクトルに含まれる各周波数成分に基づく信号対雑音比ＳＮＲおよびスペクトル比ＳＲを周波数成分ごとに算出するものであってよい。
なお、周波数スペクトルの周波数成分の総和に基づく信号対雑音比ＳＮＲおよびスペクトル比ＳＲを算出する例について、図１６〜１７を参照して、以下に説明する。
一方、周波数スペクトルに含まれる各周波数成分に基づく信号対雑音比ＳＮＲおよびスペクトル比ＳＲを周波数成分ごとに算出する例について、図１８〜１９を参照して、以下に説明する。
【００９６】
ノイズ推定部２５３は、ノイズ推定判定部２５２によって決定された重み係数γと重み係数εとの積を算出し、この重み係数の積を初期推定ノイズＮＳｉに乗算する。そして、ノイズ推定部２５３は、重み係数の積と初期推定ノイズＮＳｉとの積（重み係数γ×ε×初期推定ノイズＮＳｉ）が０（ゼロ）であるか否かを判定する。重み係数の積と初期推定ノイズＮＳｉとの積＝重み係数γ×ε×初期推定ノイズＮＳｉが０（ゼロ）でない場合、この重み係数の積と初期推定ノイズＮＳｉとの積（重み係数γ×ε×初期推定ノイズＮＳｉ）を推定ノイズＮＳと決定する。
【００９７】
次に、図１６、１７を参照して、周波数スペクトルの周波数成分の総和に基づく信号対雑音比ＳＮＲおよびスペクトル比ＳＲを算出するノイズ推定判定処理とノイズ推定処理の一例について説明する。図１６は、波数スペクトルの周波数成分の総和に基づく信号対雑音比ＳＮＲおよびスペクトル比ＳＲを算出するノイズ推定判定処理の一例を説明するためのフローチャートである。図１７は、波数スペクトルの周波数成分の総和に基づく信号対雑音比ＳＮＲおよびスペクトル比ＳＲを算出するノイズ推定処理の一例を説明するためのフローチャートである。
【００９８】
ノイズ推定判定部２５２は、タイミング検出部１９１から入力するタイミング信号に基づき、例えば、音信号処理部２５１から出力される周波数スペクトルＳ１〜Ｓ１４から、駆動音発生期間Ｔｃのうち、動作開始タイミングと時間軸方向に最も近い周波数スペクトルＳ５（図５参照）を第１周波数スペクトルＣとして取得する。
また、ノイズ推定判定部２５２は、タイミング検出部１９１から入力するタイミング信号に基づき、音信号処理部２５１から出力される周波数スペクトルＳ１〜Ｓ１４から、動作開始タイミングと最も近い周波数スペクトルＳ１（図４参照）を第２周波数スペクトルＡとして取得する。
【００９９】
（ステップＳＴ２０１）
そして、ノイズ推定判定部２５２は、初期推定ノイズＮＳｉの周波数スペクトルの周波数成分ＮＳｉ１〜ＮＳｉ８の総和ＮＳｉａｌｌと、第２周波数スペクトルＡである周波数スペクトルＳ１の周波数成分Ａ１〜Ａ８の総和Ａａｌｌとに基づき、信号対雑音比ＳＮＲを算出する。この低減処理部２５０は、以下の演算式に従って、信号対雑音比ＳＮＲを算出する。
＜信号対雑音比ＳＮＲの演算式＞
信号対雑音比ＳＮＲ＝周波数スペクトルＳ１の周波数成分Ａ１〜Ａ８の総和Ａａｌｌ
／初期推定ノイズＮＳｉの周波数スペクトルの周波数成分の総和ＮＳｉａｌｌ
【０１００】
（ステップＳＴ２０２）
そして、ノイズ推定判定部２５２は、算出した信号対雑音比ＳＮＲが、信号対雑音比判定閾値βの下限閾値β１以下であるか否かを判定する。
（ステップＳＴ２０３）
信号対雑音比ＳＮＲが、信号対雑音比判定閾値βの下限閾値β１以下である場合、ノイズ推定判定部２５２は、重み係数γ＝１と決定する。
【０１０１】
（ステップＳＴ２０４）
一方、信号対雑音比ＳＮＲが、信号対雑音比判定閾値βの下限閾値β１より大きい場合、ノイズ推定判定部２５２は、算出した信号対雑音比ＳＮＲが、信号対雑音比判定閾値βの上限閾値β２未満であるか否かを判定する。
（ステップＳＴ２０５）
信号対雑音比ＳＮＲが、信号対雑音比判定閾値βの上限閾値β２未満である場合、ノイズ推定判定部２５２は、重み係数γ＝｛１／（β１−β２）｝×信号対雑音比ＳＮＲと決定する。
【０１０２】
（ステップＳＴ２０６）
そして、信号対雑音比ＳＮＲが、信号対雑音比判定閾値βの上限閾値β２以上である場合、ノイズ推定判定部２５２は、重み係数γ＝０と決定する。
【０１０３】
（ステップＳＴ２０７）
次いで、ノイズ推定判定部２５２は、初期推定ノイズＮＳｉの周波数スペクトルの周波数成分ＮＳｉ１〜ＮＳｉ８の総和ＮＳｉａｌｌと、第１周波数スペクトルＣである周波数スペクトルＳ５の周波数成分Ｃ１〜Ｃ８の総和Ｃａｌｌとに基づき、スペクトル比ＳＲを算出する。この低減処理部２５０´は、以下の演算式に従って、スペクトル比ＳＲを算出する。
＜スペクトル比ＳＲの演算式＞
スペクトル比ＳＲ＝周波数スペクトルＳ５の周波数成分Ｃ１〜Ｃ８の総和Ｃａｌｌ
／初期推定ノイズＮＳｉの周波数スペクトルの周波数成分の総和ＮＳｉａｌｌ
【０１０４】
（ステップＳＴ２０８）
そして、ノイズ推定判定部２５２は、算出したスペクトル比ＳＲが、スペクトル比判定閾値δの下限閾値δ１未満であるか否かを判定する。
（ステップＳＴ２０９）
スペクトル比ＳＲがスペクトル比判定閾値δの下限閾値δ１未満である場合、ノイズ推定判定部２５２は、重み係数ε＝０と決定する。
【０１０５】
（ステップＳＴ２１０）
一方、信号対雑音比ＳＮＲがスペクトル比判定閾値δの下限閾値δ１以上である場合、ノイズ推定判定部２５２は、算出した信号対雑音比ＳＮＲが、１未満であるか否かを判定する。
（ステップＳＴ２１１）
信号対雑音比ＳＮＲが１未満である場合、ノイズ推定判定部２５２は、重み係数ε＝ＳＲ／δ１＋１と決定する。
【０１０６】
（ステップＳＴ２１２）
さらに、ノイズ推定判定部２５２は、算出したスペクトル比ＳＲ＝１であるか否かを判定する。
（ステップＳＴ２１３）
スペクトル比ＳＲ＝１である場合、ノイズ推定判定部２５２は、重み係数ε＝１と決定する。
【０１０７】
（ステップＳＴ２１４）
そして、ノイズ推定判定部２５２は、算出したスペクトル比ＳＲが、スペクトル比判定閾値δの上限閾値δ２以下であるか否かを判定する。
（ステップＳＴ２１５）
スペクトル比ＳＲがスペクトル比判定閾値δの上限閾値δ２以下である場合、ノイズ推定判定部２５２は、重み係数ε＝−ＳＲ／δ２＋１と決定する。
【０１０８】
（ステップＳＴ２１６）
一方、スペクトル比ＳＲがスペクトル比判定閾値δの上限閾値δ２より大きい場合、ノイズ推定判定部２５２は、重み係数ε＝０と決定する。
【０１０９】
次いで、図１７を参照して、図１６の続きのフローについて説明する。
（ステップＳＴ２１７）
図１７に示す通り、ノイズ推定部２５３は、ノイズ推定判定部２５２によって決定された重み係数γと重み係数εとの積を算出し、この重み係数の積を初期推定ノイズＮＳｉに乗算する。
（ステップＳＴ２１８）
そして、ノイズ推定部２５３は、重み係数の積と初期推定ノイズＮＳｉとの積（重み係数γ×重み係数ε×初期推定ノイズＮＳｉ）が０（ゼロ）であるか否かを判定する。
（ステップＳＴ２１９）
重み係数の積と初期推定ノイズＮＳｉとの積（重み係数γ×重み係数ε×初期推定ノイズＮＳｉ）が０（ゼロ）でない場合、この重み係数の積と初期推定ノイズＮＳｉとの積（重み係数γ×重み係数ε×初期推定ノイズＮＳｉ）を推定ノイズＮＳと決定する。
一方、重み係数の積と初期推定ノイズＮＳｉとの積（重み係数γ×重み係数ε×初期推定ノイズＮＳｉ）が０（ゼロ）である場合、ノイズ推定部２５３は、推定ノイズＮＳを決定しない。
【０１１０】
次に、図１８、１９を参照して、周波数スペクトルに含まれる各周波数成分に基づく信号対雑音比ＳＮＲおよびスペクトル比ＳＲを算出するノイズ推定判定処理とノイズ推定処理の一例について説明する。図１８は、周波数スペクトルに含まれる各周波数成分に基づく信号対雑音比ＳＮＲおよびスペクトル比ＳＲを算出するノイズ推定判定処理の一例を説明するためのフローチャートである。図１９は、周波数スペクトルに含まれる各周波数成分に基づく信号対雑音比ＳＮＲおよびスペクトル比ＳＲを算出するノイズ推定処理の一例を説明するためのフローチャートである。
【０１１１】
ノイズ推定判定部２５２は、タイミング検出部１９１から入力するタイミング信号に基づき、例えば、音信号処理部２５１から出力される周波数スペクトルＳ１〜Ｓ１４から、駆動音発生期間Ｔｃのうち、動作開始タイミングと時間軸方向に最も近い周波数スペクトルＳ５（図５参照）を第１周波数スペクトルＣとして取得する。
また、ノイズ推定判定部２５２は、タイミング検出部１９１から入力するタイミング信号に基づき、音信号処理部２５１から出力される周波数スペクトルＳ１〜Ｓ１４から、動作開始タイミングと最も近い周波数スペクトルＳ１（図４参照）を第２周波数スペクトルＡとして取得する。
【０１１２】
（ステップＳＴ３０１）
そして、ノイズ推定判定部２５２は、初期推定ノイズＮＳｉの周波数スペクトルの周波数成分ＮＳｉｎ｛ｎ＝１，２，・・・，８；以下同じ｝と、第２周波数スペクトルＡである周波数スペクトルＳ１の周波数成分Ａｎとに基づき、各周波数成分ｆｎのそれぞれに対応する信号対雑音比ＳＮＲｎを算出する。この低減処理部２５０は、例えば、以下の演算式に従って、信号対雑音比ＳＮＲｎを算出する。
＜信号対雑音比ＳＮＲｎの演算式＞
信号対雑音比ＳＮＲｎ＝周波数スペクトルＳ１の周波数成分Ａｎ
／初期推定ノイズＮＳｉの周波数スペクトルの周波数成分ＮＳｉｎ
【０１１３】
（ステップＳＴ３０２）
そして、ノイズ推定判定部２５２は、算出した信号対雑音比ＳＮＲｎが、信号対雑音比判定閾値βの下限閾値β１以下であるか否かを、周波数成分ｎごとに判定する。
（ステップＳＴ３０３）
各信号対雑音比ＳＮＲｎが、信号対雑音比判定閾値βの下限閾値β１以下である場合、ノイズ推定判定部２５２は、各信号対雑音比ＳＮＲｎの重み係数γｎ＝１と決定する。
【０１１４】
（ステップＳＴ３０４）
一方、信号対雑音比ＳＮＲｎが、信号対雑音比判定閾値βの下限閾値β１より大きい場合、ノイズ推定判定部２５２は、算出した信号対雑音比ＳＮＲｎが、信号対雑音比判定閾値βの上限閾値β２未満であるか否かを判定する。つまり、ステップＳＴ３０２において、重み係数γｎ＝１と決定されなかった周波数成分ｆｎについて、ノイズ推定判定部２５２は、さらに、信号対雑音比ＳＮＲｎが信号対雑音比判定閾値βの上限閾値β２未満であるか否かを判定する。
（ステップＳＴ３０５）
信号対雑音比ＳＮＲｎが、信号対雑音比判定閾値βの上限閾値β２未満である場合、ノイズ推定判定部２５２は、重み係数γｎ＝｛１／（β１−β２）｝×信号対雑音比ＳＮＲｎと決定する。
【０１１５】
（ステップＳＴ３０６）
そして、信号対雑音比ＳＮＲｎが、信号対雑音比判定閾値βの上限閾値β２以上である場合、ノイズ推定判定部２５２は、重み係数γｎ＝０と決定する。
これにより、重み係数γ１〜γ８は、ノイズ推定判定部２５２によって、１〜０の範囲の一の値と決定される。
【０１１６】
（ステップＳＴ３０７）
次いで、ノイズ推定判定部２５２は、初期推定ノイズＮＳｉの周波数スペクトルの周波数成分ＮＳｉｎと、第１周波数スペクトルＣである周波数スペクトルＳ５の周波数成分Ｃｎとに基づき、スペクトル比ＳＲｎを算出する。この低減処理部２５０は、以下の演算式に従って、スペクトル比ＳＲｎを算出する。
＜スペクトル比ＳＲｎの演算式＞
スペクトル比ＳＲｎ＝周波数スペクトルＳ５の周波数成分Ｃｎ
／初期推定ノイズＮＳｉの周波数スペクトルの周波数成分ＮＳｉｎ
【０１１７】
（ステップＳＴ３０８）
そして、ノイズ推定判定部２５２は、算出したスペクトル比ＳＲｎが、スペクトル比判定閾値δの下限閾値δ１未満であるか否かを判定する。
（ステップＳＴ３０９）
スペクトル比ＳＲｎがスペクトル比判定閾値δの下限閾値δ１未満である場合、ノイズ推定判定部２５２は、重み係数εｎ＝０と決定する。
【０１１８】
（ステップＳＴ３１０）
一方、信号対雑音比ＳＮＲｎがスペクトル比判定閾値δの下限閾値δ１以上である場合、ノイズ推定判定部２５２は、算出した信号対雑音比ＳＮＲｎが、１未満であるか否かを判定する。
（ステップＳＴ３１１）
信号対雑音比ＳＮＲｎが１未満である場合、ノイズ推定判定部２５２は、重み係数εｎ＝ＳＲ／δ１＋１と決定する。
【０１１９】
（ステップＳＴ３１２）
さらに、ノイズ推定判定部２５２は、算出したスペクトル比ＳＲｎ＝１であるか否かを判定する。
（ステップＳＴ３１３）
スペクトル比ＳＲｎ＝１である場合、ノイズ推定判定部２５２は、重み係数εｎ＝１と決定する。
【０１２０】
（ステップＳＴ３１４）
そして、ノイズ推定判定部２５２は、算出したスペクトル比ＳＲｎが、スペクトル比判定閾値δの上限閾値δ２以下であるか否かを判定する。
（ステップＳＴ３１５）
スペクトル比ＳＲがスペクトル比判定閾値δの上限閾値δ２以下である場合、ノイズ推定判定部２５２は、重み係数εｎ＝−ＳＲ／δ２＋１と決定する。
【０１２１】
（ステップＳＴ３１６）
一方、スペクトル比ＳＲｎがスペクトル比判定閾値δの上限閾値δ２より大きい場合、ノイズ推定判定部２５２は、重み係数εｎ＝０と決定する。
これにより、重み係数ε１〜ε８は、ノイズ推定判定部２５２によって、１〜０の範囲の一の値と決定される。
【０１２２】
次いで、図１９を参照して、図１８の続きのフローについて説明する。
（ステップＳＴ３１７）
図１９に示す通り、ノイズ推定部２５３は、ノイズ推定判定部２５２によって決定された重み係数γｎと重み係数εｎとの積を算出し、この重み係数の積を、対応する周波数成分ｆｎの初期推定ノイズＮＳｉｎに乗算する。
（ステップＳＴ３１８）
そして、ノイズ推定部２５３は、重み係数の積と初期推定ノイズＮＳｉｎとの積（重み係数γｎ×重み係数εｎ×初期推定ノイズＮＳｉの周波数成分ＮＳｉｎ）が０（ゼロ）より大きいか否かを判定する。
（ステップＳＴ３１９）
重み係数の積と初期推定ノイズＮＳｉｎとの積（重み係数γｎ×重み係数εｎ×初期推定ノイズＮＳｉの周波数成分ＮＳｉｎ）が０（ゼロ）より大きい場合、この重み係数の積と初期推定ノイズＮＳｉｎとの積（重み係数γｎ×重み係数εｎ×初期推定ノイズＮＳｉの周波数成分ＮＳｉｎ）を、当該周波数成分ｆｎに対応する推定ノイズＮＳの周波数成分ＮＳｎと決定する。
【０１２３】
（ステップＳＴ３２０）
一方、重み係数の積と初期推定ノイズＮＳｉｎとの積（重み係数γｎ×重み係数εｎ×初期推定ノイズＮＳｉの周波数成分ＮＳｉｎ）が０（ゼロ）以下である場合、ノイズ推定部２５３は、初期推定ノイズＮＳｉの周波数スペクトルの周波数成分ＮＳｉｎのうち、当該周波数成分ｆｎに対応する周波数成分ＮＳｉｎを、推定ノイズＮＳの周波数成分ＮＳｎと決定する。
（ステップＳＴ３２１）
ノイズ推定判定部２５２は、全ての推定ノイズＮＳの周波数成分ＮＳｎを決定したか否かを判定する。
ノイズ推定判定部２５２は、全ての推定ノイズＮＳの周波数成分ＮＳｎを決定するまで、ステップＳＴ２１７〜３２０を繰り返す。
（ステップＳＴ３２２）
そして、ノイズ推定判定部２５２は、全ての推定ノイズＮＳの周波数成分ＮＳｎを決定した場合、これら周波数成分ＮＳｎを組み合わせて推定ノイズＮＳを決定する。
【０１２４】
なお、ノイズ低減処理部２５４は、ノイズ推定部２５３によって決定された推定ノイズＮＳの推定精度に応じて、減算係数を変更するものであってもよい。
重み係数γおよび重み係数εが大きければ、ノイズ推定精度が高い可能性が高い。一方、重み係数γおよび重み係数εが小さければ、ノイズ推定精度が低い可能性が高い。
このため、ノイズ低減処理部２５４は、ノイズ推定判定部２５２によって決定された重み係数γおよび重み係数εが、予め決められた閾値（例えば、０．７）以上であるか否かを判定する。この閾値以上であった場合、ノイズ推定判定部２５２によるノイズ推定精度が高いと判定する。そして、ノイズ低減処理部２５４は、ノイズ低減処理を実行する際に設定される減算係数を標準値よりも大きく設定する。これにより、ノイズ除去性能を高めることができる。
一方、ノイズ低減処理部２５４は、ノイズ推定判定部２５２によって決定された重み係数γおよび重み係数εが、予め決められた閾値（例えば、０．３）以下であるか否かを判定する。この閾値以下であった場合、ノイズ推定判定部２５２によるノイズ推定精度が低いと判定する。そして、ノイズ低減処理部２５４は、ノイズ低減処理を実行する際に設定される減算係数を標準値よりも小さく設定する。これにより、目的音の音質の劣化を防止することができる。
【０１２５】
［第３実施形態］
本発明に係る低減処理部２５０は、図２０に示すような低減処理部２５０´を備える構成であってもよい。図２０は、本実施形態に係る低減処理部２５０´の構成の一例について示す図である。
図２０に示す通り、低減処理部２５０´は、音信号処理部２５１と、ノイズ推定判定部２５２と、ノイズ推定部２５３と、ノイズ低減処理部２５４と、逆フーリエ変換部２５５と、衝撃音ノイズ低減処理部２５６とを備える。なお、上述の低減処理部２５０と同様の構成のついては、同一の符号を付して詳細な説明については省略する。本実施形態に係る低減処理部２５０´は、上述の低減処理部２５０と比較して、衝撃音ノイズ低減処理部２５６を備える点が異なる。
【０１２６】
音信号処理部２５１は、例えば、周波数スペクトルＳ１〜Ｓ１４を算出し、衝撃音発生期間Ｔｂに対応する周波数スペクトルの周波数成分の総和と、予め決められた閾値とを比較する。この予め決められた閾値とは、衝撃音に対して目的音が大きいため衝撃音による音声劣化が少ないとされる目的音の周波数スペクトルの周波数成分の総和である。
衝撃音発生期間Ｔｂに対応する周波数スペクトルの周波数成分の総和が、予め決められた閾値未満であると判定した場合、駆動音ノイズ低減処理部２５６は、算出した周波数スペクトルＳ１〜Ｓ１４を衝撃音ノイズ低減処理部２５２に出力して、衝撃音ノイズ低減処理を実行するよう制御する。
一方、衝撃音発生期間に対応する周波数スペクトルの周波数成分の総和が、予め決められた閾値以上であると判定した場合、音信号処理部２５１は、算出した周波数スペクトルＳ１〜Ｓ１４を駆動音ノイズ低減処理部２５３に出力して、駆動音ノイズ低減処理を実行するよう制御する。
【０１２７】
衝撃音ノイズ低減処理部２５２は、タイミング検出部１９１から入力するタイミング信号に基づき、例えば、音信号処理部２５１から出力される周波数スペクトルＳ１〜Ｓ１４から、衝撃音が発生している可能性の高い衝撃音発生期間Ｔｂに対応する周波数スペクトル（以下、第１１周波数スペクトルという）を取得する。例えば、衝撃音ノイズ低減処理部２５６は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ２〜Ｓ４を、第１１周波数スペクトルとして取得する。衝撃音ノイズ低減処理部２５２は、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、衝撃音が発生している可能性の高い衝撃音発生期間Ｔｂに対応する周波数スペクトルＳ９〜Ｓ１２を、第１１周波数スペクトルとして取得する。
【０１２８】
また、衝撃音ノイズ低減処理部２５６は、タイミング検出部１９１から入力するタイミング信号に基づき、音信号処理部２５１から出力される周波数スペクトルＳ１〜Ｓ１４から、少なくとも衝撃音が発生していない可能性の高い期間（非動作期間Ｔａあるいは駆動音発生期間Ｔｃ）に対応する周波数スペクトル（以下、第１２周波数スペクトルという）を取得する。この衝撃音ノイズ低減処理部２５６は、衝撃音を含んでいる可能性の高い第１１周波数スペクトルごとに、この衝撃音を含む可能性の低い第１２周波数スペクトルを取得する。本実施形態において、衝撃音ノイズ低減処理部２５６は、第１１周波数スペクトルと時間軸方向において最も近い衝撃音を含む可能性の低い周波数スペクトルを第１２周波数スペクトルとして取得する。つまり、衝撃音ノイズ低減処理部２５６は、第１１周波数スペクトルと時間軸方向に隣接あるいは重複する周波数スペクトルを第１２周波数スペクトルとして取得する。
【０１２９】
なお、本実施形態において、第１２周波数スペクトルは、衝撃音が発生していない可能性の高い期間に対応する周波数スペクトルである。しかし、本発明はこれに限られず、第２周波数スペクトルは、動作部の動作によって発生するノイズ音（駆動音および衝撃音）が発生しない可能性の高い期間（非動作期間Ｔａ）に対応する周波数スペクトルであることが好ましい。
【０１３０】
ここで、図２１を参照して、衝撃音ノイズ低減処理部２５６が取得する第１１周波数スペクトルと第１２周波数スペクトルとの関係の一例について説明する。図２１は、衝撃音ノイズ低減処理部２５６が取得する第１１周波数スペクトルと第１２周波数スペクトルの一例を説明するための図である。
例えば、衝撃音ノイズ低減処理部２５６は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号に基づき、第１１周波数スペクトルである周波数スペクトルＳ２、Ｓ３に対応する第１２周波数スペクトルとして、周波数スペクトルＳ２、３の時間軸の過去方向に最も近い周波数スペクトルＳ１を取得する。また、衝撃音ノイズ低減処理部２５６は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号に基づき、第１１周波数スペクトルである周波数スペクトルＳ４に対応する第１２周波数スペクトルとして、周波数スペクトルＳ４の時間軸の未来方向に最も近い周波数スペクトルＳ５を取得する。
【０１３１】
また、衝撃音ノイズ低減処理部２５６は、動作開始タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、第１１周波数スペクトルである周波数スペクトルＳ９、Ｓ１０に対応する第１２周波数スペクトルとして、周波数スペクトルＳ９、１０の時間軸の過去方向に最も近い周波数スペクトルＳ８を取得する。また、衝撃音ノイズ低減処理部２５６は、動作開始タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、第１１周波数スペクトルである周波数スペクトルＳ１１、１２に対応する第１２周波数スペクトルとして、周波数スペクトルＳ１１、１２の時間軸の未来方向に最も近い周波数スペクトルＳ１３を取得する。
【０１３２】
さらに、衝撃音ノイズ低減処理部２５６は、第１１周波数スペクトルの少なくとも一部を第１２周波数スペクトルの対応する部分に置き換える。
例えば、衝撃音ノイズ低減処理部２５６は、第１１周波数スペクトルのうち予め決められた閾値周波数以上の周波数スペクトルと、第１２周波数スペクトルのうち予め決められた閾値周波数以上の周波数スペクトルとを、周波数成分ごとに比較して、第１２周波数スペクトルの方が第１１周波数スペクトルに比べて小さいと判定した場合に、第１１周波数スペクトルにおける当該周波数成分を第１２周波数スペクトルの周波数成分に置き換える。
【０１３３】
図２２を参照して詳細に説明する。図２２は、一部の周波数スペクトルの周波数成分の一例について説明するための図である。なお、本実施の形態では、説明便宜のため、図３に示すマイク音信号のうち、窓関数Ｗ１，Ｗ３，Ｗ５，Ｗ７，Ｗ１１，Ｗ１３に対応する周波数スペクトルＳ１，Ｓ３，Ｓ５，Ｓ７，Ｓ１１，Ｓ１３について説明する。
図２２に示す通り、周波数スペクトルＳ１，Ｓ３，Ｓ５，Ｓ７，Ｓ１１，Ｓ１３は、それぞれ、周波数成分ｆ１〜ｆ９の周波数成分を含む。
例えば、衝撃音ノイズ低減処理部２５６は、各周波数スペクトルの閾値周波数以上の周波数成分として、周波数成分ｆ３〜ｆ９について、第１１周波数スペクトルと第１２周波数スペクトルを比較することが予め決められている。よって、衝撃音ノイズ低減処理部２５６は、周波数成分ｆ１，ｆ２については、第１１周波数スペクトルと第１２周波数スペクトルを比較しない。
【０１３４】
ここで、図２３を参照して、周波数スペクトルＳ１とＳ３について、衝撃音ノイズ低減処理部２５６による衝撃音ノイズ低減処理の一例について説明する。
図２３は、周波数スペクトルＳ１とＳ３の周波数成分ごとに、振幅の比較について説明するための図である。
例えば、衝撃音ノイズ低減処理部２５６は、周波数スペクトルＳ１の周波数成分ｆ３の振幅と、周波数スペクトルＳ３の周波数成分ｆ３の振幅とを比較する。この場合、周波数スペクトルＳ１の周波数成分ｆ３の振幅の方が、周波数スペクトルＳ３の周波数成分ｆ３の振幅に比べて小さい。よって、衝撃音ノイズ低減処理部２５６は、周波数スペクトルＳ３の周波数成分ｆ３を、周波数スペクトルＳ１の周波数成分ｆ３に置き換える。
また、衝撃音ノイズ低減処理部２５６は、周波数スペクトルＳ１の周波数成分ｆ４の振幅と、周波数スペクトルＳ３の周波数成分ｆ４の振幅とを比較する。この場合、周波数スペクトルＳ１の周波数成分ｆ４の振幅の方が、周波数スペクトルＳ３の周波数成分ｆ４の振幅に比べて大きい。よって、衝撃音ノイズ低減処理部２５６は、周波数スペクトルＳ３の周波数成分ｆ３を、周波数スペクトルＳ１の周波数成分ｆ３に置き換えない。
このようにして、衝撃音ノイズ低減処理部２５６は、周波数スペクトルＳ１の周波数成分の振幅の方が、周波数スペクトルＳ３の周波数成分の振幅に比べて小さい場合のみ、周波数スペクトルＳ３の周波数成分を周波数スペクトルＳ１の周波数成分に置き換える。
図２３に示す場合、衝撃音ノイズ低減処理部２５６は、周波数スペクトルＳ３の周波数成分ｆ３、ｆ６〜ｆ９を周波数スペクトルＳ１の周波数成分ｆ３、ｆ６〜ｆ９に置き換える。
【０１３５】
次に、図２４を参照して、本実施形態に係るノイズ低減処理方法の一例について説明する。図２４は、本実施形態に係るノイズ低減処理方法の一例を示すフローチャートである。
例えば、操作部１８０の電源スイッチがＯＮされると、撮像装置１００に電源が投入され、電池２６０から各構成部に対して電力が供給される。本実施形態では、撮像装置１００に対して、撮像時の画像データと音声データを対応付けて記憶媒体２００に記憶させることが予め設定されている。
【０１３６】
（ステップＳＴ４０１）
マイク２３０は、例えば、電源がＯＮされると、収音されたマイク音信号をＡ/Ｄ変換部２４０に出力する。Ａ/Ｄ変換部２４０は、アナログ信号であるマイク音信号をデジタル変換したマイク音信号を低減処理部２５０´に出力する。
低減処理部２５０´は、Ａ/Ｄ変換部２４０からマイク音信号を入力する。
【０１３７】
ここで、ユーザによって、操作部１８０のレリーズボタンが押下された場合、ＣＰＵ１９０は、ＡＦ処理において、例えば焦点距離Ｐでピントを合わせるＡＦ処理を実行するための駆動制御信号をレンズ駆動部１１６とタイミング検出部１９１に出力する。
このレンズ駆動部１１６は、入力する駆動制御信号に基づき、焦点距離Ｐでピントを合わせる駆動パターンに従って、ＡＦレンズ１１２を移動させる。例えば、レンズ駆動部１１６は、ＡＦレンズ１１２の駆動機構を時計回りに所定量回転させて、ＡＦレンズ１１２を移動させる。なお、この駆動機構を回転させる回転量やスピードは、焦点距離Ｐでピントを合わせる駆動パターンとして、予め決められている。
ＡＦレンズ１１２が動くと、ＡＦエンコーダ１１７は、パルス信号をＣＰＵ１９０のタイミング検出部１９１に出力する。動いていたＡＦレンズ１１２が停止すると、ＡＦエンコーダ１１７は、パルス信号出力を停止する。
【０１３８】
タイミング検出部１９１は、入力する駆動制御信号やＡＦエンコーダ１１７のパスル信号に基づき、焦点距離Ｐでピントを合わせる駆動パターンに従って、動作タイミング信号を生成し、低減処理部２５０´に出力する。
例えば、焦点距離Ｐでピントを合わせるＡＦ処理を実行するための駆動制御信号を入力した場合、タイミング検出部１９１は、ＡＦレンズ１１２の動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作開始タイミング信号を生成し、低減処理部２５０´に出力する。
そして、ＡＦエンコーダ１１７から入力するパルス信号が停止された場合、タイミング検出部１９１は、ＡＦレンズ１１２の動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作停止タイミング信号を生成し、低減処理部２５０´に出力する。
【０１３９】
（ステップＳＴ４０２）
低減処理部２５０´は、タイミング検出部１９１から動作タイミング信号が入力されたか否かを判定する。
（ステップＳＴ４０３）
動作タイミング信号が入力された場合、低減処理部２５０´の音信号処理部２５１は、Ａ／Ｄ変換部２４０から出力されたマイク音信号に対して、予め決められた区間ごとに窓関数で重み付けするとともに、この区間毎のマイク音信号を周波数領域で表わされる周波数スペクトルに変換する。音信号処理部２５１は、例えば、窓関数で重み付けされた音信号をフーリエ変換して、周波数スペクトルＳ１〜Ｓ１４を算出する。
【０１４０】
（ステップＳＴ４０４）
そして、ノイズ推定判定部２５２は、ノイズ推定条件（１）および（２）を満たすか否かを判定するノイズ推定判定処理を実行する。
（ステップＳＴ４０５）
ノイズ推定部２５３は、ノイズ推定判定部２５２によるノイズ推定判定結果に基づき、推定ノイズＮＳを決定する。
（ステップＳＴ４０６）
そして、ノイズ推定部２５３は、決定した推定ノイズＮＳを記憶部１６０に格納するとともに、ノイズ低減処理部２５４に出力する。
なお、ノイズ推定判定処理と、ノイズ推定処理については、上述の第１、２実施形態において説明した方法を利用することができるため、詳細な説明については省略する。
【０１４１】
（ステップＳＴ４０７）
一方、音信号処理部２５１は、動作タイミング信号に基づき、衝撃音発生期間に対応する周波数スペクトルの周波数成分の総和と、予め決められた閾値とを比較する。
例えば、音信号処理部２５１は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ２〜Ｓ４を取得する。そして、音信号処理部２５１は、周波数スペクトルＳ２〜Ｓ４ごとに、周波数成分の総和が予め決められた閾値未満であるか否かを判定する。また、音信号処理部２５１は、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ９〜Ｓ１２を取得する。そして、音信号処理部２５１は、周波数スペクトルＳ９〜Ｓ１２ごとに、周波数成分の総和が予め決められた閾値未満であるか否かを判定する。
【０１４２】
そして、音信号処理部２５１は、周波数成分の総和が予め決められた閾値未満であった周波数スペクトルを衝撃音ノイズ低減処理部２５６に出力するとともに、この周波数スペクトルに対して衝撃音ノイズ低減処理を実行するよう衝撃音ノイズ低減処理部２５６を制御する。
【０１４３】
（ステップＳＴ４０８）
次いで、衝撃音ノイズ低減処理部２５６は、音信号処理部２５１から衝撃音ノイズ低減処理を実行する制御に基づき、Ａ/Ｄ変換部２４０から入力するマイク音信号に対して衝撃音ノイズ低減処理を実行する。
例えば、衝撃音ノイズ低減処理部２５６は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ２〜Ｓ４を、第１１周波数スペクトルとして取得する。
そして、衝撃音ノイズ低減処理部２５６は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号に基づき、第１１周波数スペクトルである周波数スペクトルＳ２、Ｓ３に対応する第１２周波数スペクトルとして、周波数スペクトルＳ２、３の直前の周波数スペクトルＳ１を取得する。また、衝撃音ノイズ低減処理部２５６は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ４に対応する第１２周波数スペクトルとして、周波数スペクトルＳ４の直後の周波数スペクトルＳ５を取得する。
【０１４４】
また、衝撃音ノイズ低減処理部２５６は、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ９〜Ｓ１２を、第１１周波数スペクトルとして取得する。
そして、衝撃音ノイズ低減処理部２５２は、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、第１１周波数スペクトルである周波数スペクトルＳ９、Ｓ１０に対応する第２周波数スペクトルとして、周波数スペクトルＳ９、１０の直前の周波数スペクトルＳ８を取得する。また、衝撃音ノイズ低減処理部２５２は、動作開始タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、第１１周波数スペクトルである周波数スペクトルＳ１１、１２に対応する第１２周波数スペクトルとして、周波数スペクトルＳ１１、１２の直後の周波数スペクトルＳ１３を取得する。
【０１４５】
次いで、衝撃音ノイズ低減処理部２５６は、各周波数スペクトルの閾値周波数以上の周波数成分として、周波数成分ｆ３〜ｆ９について、第１１周波数スペクトルと第１２周波数スペクトルを比較する。
例えば、衝撃音ノイズ低減処理部２５６は、周波数スペクトルＳ１の周波数成分ｆ３の振幅と、周波数スペクトルＳ２の周波数成分ｆ３の振幅とを比較する。この場合、周波数スペクトルＳ１の周波数成分ｆ３の振幅の方が、周波数スペクトルＳ２の周波数成分ｆ３の振幅に比べて小さい。よって、衝撃音ノイズ低減処理部２５６は、周波数スペクトルＳ３の周波数成分ｆ３を、周波数スペクトルＳ１の周波数成分ｆ３に置き換える。
また、衝撃音ノイズ低減処理部２５６は、周波数スペクトルＳ１の周波数成分ｆ４の振幅と、周波数スペクトルＳ２の周波数成分ｆ４の振幅とを比較する。この場合、周波数スペクトルＳ１の周波数成分ｆ４の振幅の方が、周波数スペクトルＳ２の周波数成分ｆ４の振幅に比べて大きい。よって、衝撃音ノイズ低減処理部２５６は、周波数スペクトルＳ３の周波数成分ｆ３を、周波数スペクトルＳ１の周波数成分ｆ３に置き換えない。
このようにして、衝撃音ノイズ低減処理部２５６は、周波数スペクトルＳ１の周波数成分の振幅の方が、周波数スペクトルＳ３の周波数成分の振幅に比べて小さい場合のみ、周波数スペクトルＳ３の周波数成分を周波数スペクトルＳ１の周波数成分に置き換える。
そして、衝撃音ノイズ低減処理部２５６は、周波数スペクトルＳ３の周波数成分ｆ３、ｆ６〜ｆ９を、周波数成分を周波数スペクトルＳ１の周波数成分ｆ３、ｆ６〜ｆ９と置き換えて、衝撃音ノイズ低減処理後の周波数スペクトルＳ´３をノイズ低減処理部２５４に出力する。
【０１４６】
衝撃音ノイズ低減処理部２５６は、同様にして、第１１周波数スペクトルである周波数スペクトルＳ２と第１２周波数スペクトルＳ１との比較と、第１１周波数スペクトルである周波数スペクトルＳ４と第１２周波数スペクトルＳ５との比較を行う。そして、第１２周波数スペクトルＳ１、Ｓ５の周波数成分の振幅の方が、それぞれ、周波数スペクトルＳ２、Ｓ４の周波数成分の振幅に比べて小さい場合のみ、周波数スペクトルＳ２、Ｓ４の周波数成分をそれぞれ周波数スペクトルＳ１、Ｓ５の周波数成分に置き換えて、衝撃音ノイズ低減処理後の周波数スペクトルＳ´２、Ｓ´４をノイズ低減処理部２５４に出力する。
【０１４７】
また、衝撃音ノイズ低減処理部２５６は、同様にして、第１１周波数スペクトルである周波数スペクトルＳ９、Ｓ１０と第１２周波数スペクトルＳ８との比較、および第１１周波数スペクトルである周波数スペクトルＳ１１、Ｓ１２と第１２周波数スペクトルＳ１３との比較を行う。そして、第１２周波数スペクトルＳ８の周波数成分の振幅の方が、それぞれ、周波数スペクトルＳ９、Ｓ１０の周波数成分の振幅に比べて小さい場合のみ、周波数スペクトルＳ９、Ｓ１０の周波数成分をそれぞれ周波数スペクトルＳ８の周波数成分に置き換えて、衝撃音ノイズ低減処理後の周波数スペクトルＳ´９、Ｓ´１０をノイズ低減処理部２５４に出力する。同様にして、第１２周波数スペクトルＳ１３の周波数成分の振幅の方が、それぞれ、周波数スペクトルＳ１１、Ｓ１２の周波数成分の振幅に比べて小さい場合のみ、周波数スペクトルＳ１１、Ｓ１２の周波数成分をそれぞれ周波数スペクトルＳ１３の周波数成分に置き換えて、衝撃音ノイズ低減処理後の周波数スペクトルＳ´１１、Ｓ´１２をノイズ低減処理部２５４に出力する。
【０１４８】
（ステップＳＴ４０９）
次いで、ノイズ低減処理部２５４は、音信号処理部２５１から入力するマイク音信号の周波数スペクトルと、衝撃音ノイズ低減処理部２５６から入力する衝撃音ノイズ低減処理後の周波数スペクトルに基づき、駆動音ノイズ低減処理を実行する。例えば、ノイズ低減処理部２５４は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミングと、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、駆動音が発生している可能性のある期間に対応する周波数スペクトルＳ２〜Ｓ１２を、第１３周波数スペクトルとして取得する。
このノイズ低減処理部２５４は、取得した第３周波数スペクトルＳ２〜Ｓ１２のうち、衝撃音ノイズ低減処理後の周波数スペクトルに対応する周波数スペクトルをＳ２〜Ｓ４、Ｓ９〜Ｓ１２を、衝撃音ノイズ低減処理後の周波数スペクトルＳ´２、Ｓ´３、Ｓ´４、Ｓ´９、Ｓ´１０、Ｓ´１１、Ｓ´１２に置き換える。そして、ノイズ低減処理部２５４は、衝撃音ノイズ低減処理後の周波数スペクトルＳ´２、Ｓ´３、Ｓ´４、Ｓ´９、Ｓ´１０、Ｓ´１１、Ｓ´１２と、周波数スペクトルＳ５〜Ｓ７に対して、決定した推定ノイズＮＳに基づき駆動音ノイズ低減処理を実行する。つまり、ノイズ低減処理部２５４は、記憶部１６０に格納されている推定ノイズＮＳを読み出し、推定ノイズＮＳの周波数スペクトルを、衝撃音ノイズ低減処理後の第１３周波数スペクトルＳ´２〜Ｓ´４、Ｓ５〜７、Ｓ´９〜Ｓ´１２の周波数成分からそれぞれ減算する。ノイズ低減処理部２５４は、この駆動音ノイズ低減処理後の周波数スペクトルを逆フーリエ変換部２５４に出力する。
【０１４９】
（ステップＳＴ４１０）
逆フーリエ変換部２５５は、ノイズ低減処理部２５４から入力された駆動音ノイズ低減処理後の周波数スペクトルに対して、例えば逆フーリエ変換を行うことで、時間領域に変換する。この逆フーリエ変換部２５５は、時間領域に変換された音信号を記憶媒体２００に記憶させる。
【０１５０】
以上説明したように、本実施形態に係る撮像装置１００は、タイミング信号検出部１９１によって動作部の動作状態が変化するタイミングを検出するとともに、このタイミング信号に基づき、衝撃音が重畳している可能性のあるマイク音信号の周波数スペクトルの一部を、衝撃音が重畳していない可能性のあるマイク音信号の周波数スペクトルの一部と置き換える衝撃音ノイズ低減処理を実行する。これにより、周波数スペクトルの帯域が広い衝撃音であっても、目的音の不連続性が目立たず、かつ、衝撃音を低減した音信号を取得することができる。
【０１５１】
なお、第１実施形態において、ノイズ推定判定部２５２は、音信号処理部２５１から出力される周波数スペクトルから、非動作期間Ｔａに対応する周波数スペクトルのうち動作開始タイミングと時間軸方向に最も近い周波数スペクトルＳ１を第２周波数スペクトルＡとして取得する。また、ノイズ推定判定部２５２は、駆動音発生期間Ｔｃに対応周波数スペクトルのうち、動作開始タイミングと時間軸方向に最も近い周波数スペクトルＳ５を第１周波数スペクトルＣとして取得する。このように説明した。
しかし、本発明はこれに限られず、例えば、タイミング検出部１９１は、入力するＡＦエンコーダ１１７出力から求めた出力レベルがハイレベルからローレベルに変化した場合、ＡＦレンズ１１２の動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作停止タイミング信号を生成し、低減処理部２５０に出力する構成であってもよい。この場合、ノイズ推定判定部２５２は、音信号処理部２５１から出力される周波数スペクトルから、非動作期間Ｔａに対応する周波数スペクトルのうち、動作停止タイミングと時間軸方向において最も近い周波数スペクトルＳ１３を第２周波数スペクトルＡとして取得する。また、ノイズ推定判定部２５２は、駆動音発生期間Ｔｃに対応する周波数スペクトルのうち、動作停止タイミングと時間軸方向に最も近い周波数スペクトルＳ８を第１周波数スペクトルＣとして取得する。
【０１５２】
また、タイミング信号検出部１９１又は低減処理部２５０等による手順を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものであってもよい。
【０１５３】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【０１５４】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【０１５５】
１００…撮像装置、１１０…撮像部、１９０…ＣＰＵ、１９１…検出部、１７０…通信部、２００…記憶媒体、２３０…マイク、２４０…Ａ/Ｄ変換部、２５０…ノイズ低減処理部、２５１…音信号処理部、２５２…ノイズ推定判定部、２５３…ノイズ推定部、２５４…ノイズ低減処理部、２５５…逆フーリエ変換部
【特許請求の範囲】
【請求項１】
予め決められた動作パターンに応じて動作部を動作させるタイミングを示す動作タイミング信号を検出するタイミング信号検出部と、
音信号を取得する音信号取得部と、
前記動作タイミング信号に基づき、前記動作部が動作する可能性の高い期間に取得された音信号の第１周波数スペクトルを得て、前記第１周波数スペクトルの音信号が、前記動作パターンに応じて予め決められているノイズ推定を実行するためのノイズ推定条件を満たすか否かを判定するノイズ推定判定部と、
前記推定ノイズ算出判定処理部による判定結果に従って、前記第１周波数スペクトルに基づき、前記動作部の動作によって発生する駆動音を示す推定ノイズを決定するノイズ推定部と、
前記第１周波数スペクトルから前記推定ノイズの周波数スペクトルを減算するスペクトル減算を行うノイズ低減処理部と、
を備えることを特徴とするノイズ低減処理装置。
【請求項２】
前記ノイズ推定判定部は、
前記動作タイミング信号に基づき、前記動作部が動作しない可能性の高い期間に取得される音信号の第２周波数スペクトルを前記音信号から取得し、前記動作部が動作する可能性の高い期間に取得される前記駆動音以外の音が前記ノイズ推定条件を満たすか否かを前記第２周波数スペクトルに基づき判定することを特徴とする請求項１に記載のノイズ低減処理装置。
【請求項３】
前記ノイズ推定判定部は、
前記動作パターンに応じた前記駆動音の推定ノイズとして予め決められている初期推定ノイズに基づく許容範囲と前記第１周波数スペクトルとを比較して、前記動作部が動作する可能性の高い期間に取得される前記駆動音が前記ノイズ推定条件を満たすか否かを判定することを特徴とする請求項１あるいは２に記載のノイズ低減処理装置。
【請求項４】
前記ノイズ推定判定部は、
前記動作タイミング信号に基づき、前記動作部が動作しない可能性の高い期間に取得される音信号の第２周波数スペクトルを前記音信号から取得し、静かな状態であるときの環境音として予め決められている音レベルを示す静環境閾値と前記第２周波数スペクトルとを比較して、前記第２周波数スペクトルが前記静環境閾値未満である場合、前記ノイズ推定条件を満たすと判定し、
前記ノイズ推定部は、
前記推定ノイズ算出判定処理部によって前記ノイズ推定条件を満たすと判定された場合、当該第２周波数スペクトルの音信号が取得された期間と時間軸方向に最も近い前記第１周波数スペクトルを前記推定ノイズと決定することを特徴とする請求項１から３のうちいずれか一項に記載のノイズ低減処理装置。
【請求項５】
前記ノイズ推定判定部は、
前記動作パターンに応じた前記駆動音の推定ノイズとして予め決められている初期推定ノイズの周波数スペクトルを含み当該初期推定ノイズの周波数スペクトルから予め決められた許容範囲を示す閾値と前記第１周波数スペクトルとを比較して、前記第１周波数スペクトルが前記初期推定ノイズの許容範囲内である場合、前記ノイズ推定条件を満たすと判定し、
前記ノイズ推定部は、
前記推定ノイズ算出判定処理部によって前記推定ノイズ算出環境状態の条件を満たすと判定された場合、当該第１周波数スペクトルを前記推定ノイズと決定することを特徴とする請求項１から４のうちいずれか一項に記載のノイズ低減処理装置。
【請求項６】
前記ノイズ推定判定部は、
前記動作タイミング信号に基づき、前記動作部が動作しない可能性の高い期間に取得される音信号の第２周波数スペクトルを前記音信号から取得し、前記動作パターンに応じた前記駆動音の推定ノイズとして予め決められている初期推定ノイズと前記第２周波数スペクトルとの比である信号対雑音比を算出し、当該信号対雑音比に応じて予め決められている第１重み係数を決定し、
前記ノイズ推定部は、
前記推定ノイズ算出判定処理部によって決定された前記第１重み係数を前記初期推定ノイズに乗算した値を前記推定ノイズと決定することを特徴とする請求項１から３のうちいずれか一項に記載のノイズ低減処理装置。
【請求項７】
前記ノイズ推定判定部は、
前記動作パターンに応じた前記駆動音の推定ノイズとして予め決められている初期推定ノイズの周波数スペクトルと前記第１周波数スペクトルとの比であるスペクトル比を算出し、当該スペクトル比に応じて予め決められている第２重み係数を決定し、
前記ノイズ推定部は、
前記推定ノイズ算出判定処理部によって決定された前記第２重み係数を前記初期推定ノイズに乗算した値を前記推定ノイズと決定することを特徴とする請求項１から４のうちいずれか一項に記載のノイズ低減処理装置。
【請求項８】
請求項１から７のうちいずれか一項に記載のノイズ低減処理装置を備えることを特徴とする撮像装置。
【請求項９】
コンピュータを、
予め決められた動作パターンに応じて動作部を動作させるタイミングを示す動作タイミング信号を検出するタイミング信号検出手段、
音信号を取得する音信号取得手段、
前記動作タイミング信号に基づき、前記動作部が動作する可能性の高い期間に取得された音信号の第１周波数スペクトルを得て、前記第１周波数スペクトルの音信号が、前記動作パターンに応じて予め決められているノイズ推定を実行するためのノイズ推定条件を満たすか否かを判定するノイズ推定判定手段、
前記推定ノイズ算出判定処理部による判定結果に従って、前記第１周波数スペクトルに基づき、前記動作部の動作によって発生する駆動音を示す推定ノイズを決定するノイズ推定手段、
前記第１周波数スペクトルから前記推定ノイズの周波数スペクトルを減算するスペクトル減算を行うノイズ低減処理手段、
として機能させるためのノイズ低減処理プログラム。
【請求項１】
予め決められた動作パターンに応じて動作部を動作させるタイミングを示す動作タイミング信号を検出するタイミング信号検出部と、
音信号を取得する音信号取得部と、
前記動作タイミング信号に基づき、前記動作部が動作する可能性の高い期間に取得された音信号の第１周波数スペクトルを得て、前記第１周波数スペクトルの音信号が、前記動作パターンに応じて予め決められているノイズ推定を実行するためのノイズ推定条件を満たすか否かを判定するノイズ推定判定部と、
前記推定ノイズ算出判定処理部による判定結果に従って、前記第１周波数スペクトルに基づき、前記動作部の動作によって発生する駆動音を示す推定ノイズを決定するノイズ推定部と、
前記第１周波数スペクトルから前記推定ノイズの周波数スペクトルを減算するスペクトル減算を行うノイズ低減処理部と、
を備えることを特徴とするノイズ低減処理装置。
【請求項２】
前記ノイズ推定判定部は、
前記動作タイミング信号に基づき、前記動作部が動作しない可能性の高い期間に取得される音信号の第２周波数スペクトルを前記音信号から取得し、前記動作部が動作する可能性の高い期間に取得される前記駆動音以外の音が前記ノイズ推定条件を満たすか否かを前記第２周波数スペクトルに基づき判定することを特徴とする請求項１に記載のノイズ低減処理装置。
【請求項３】
前記ノイズ推定判定部は、
前記動作パターンに応じた前記駆動音の推定ノイズとして予め決められている初期推定ノイズに基づく許容範囲と前記第１周波数スペクトルとを比較して、前記動作部が動作する可能性の高い期間に取得される前記駆動音が前記ノイズ推定条件を満たすか否かを判定することを特徴とする請求項１あるいは２に記載のノイズ低減処理装置。
【請求項４】
前記ノイズ推定判定部は、
前記動作タイミング信号に基づき、前記動作部が動作しない可能性の高い期間に取得される音信号の第２周波数スペクトルを前記音信号から取得し、静かな状態であるときの環境音として予め決められている音レベルを示す静環境閾値と前記第２周波数スペクトルとを比較して、前記第２周波数スペクトルが前記静環境閾値未満である場合、前記ノイズ推定条件を満たすと判定し、
前記ノイズ推定部は、
前記推定ノイズ算出判定処理部によって前記ノイズ推定条件を満たすと判定された場合、当該第２周波数スペクトルの音信号が取得された期間と時間軸方向に最も近い前記第１周波数スペクトルを前記推定ノイズと決定することを特徴とする請求項１から３のうちいずれか一項に記載のノイズ低減処理装置。
【請求項５】
前記ノイズ推定判定部は、
前記動作パターンに応じた前記駆動音の推定ノイズとして予め決められている初期推定ノイズの周波数スペクトルを含み当該初期推定ノイズの周波数スペクトルから予め決められた許容範囲を示す閾値と前記第１周波数スペクトルとを比較して、前記第１周波数スペクトルが前記初期推定ノイズの許容範囲内である場合、前記ノイズ推定条件を満たすと判定し、
前記ノイズ推定部は、
前記推定ノイズ算出判定処理部によって前記推定ノイズ算出環境状態の条件を満たすと判定された場合、当該第１周波数スペクトルを前記推定ノイズと決定することを特徴とする請求項１から４のうちいずれか一項に記載のノイズ低減処理装置。
【請求項６】
前記ノイズ推定判定部は、
前記動作タイミング信号に基づき、前記動作部が動作しない可能性の高い期間に取得される音信号の第２周波数スペクトルを前記音信号から取得し、前記動作パターンに応じた前記駆動音の推定ノイズとして予め決められている初期推定ノイズと前記第２周波数スペクトルとの比である信号対雑音比を算出し、当該信号対雑音比に応じて予め決められている第１重み係数を決定し、
前記ノイズ推定部は、
前記推定ノイズ算出判定処理部によって決定された前記第１重み係数を前記初期推定ノイズに乗算した値を前記推定ノイズと決定することを特徴とする請求項１から３のうちいずれか一項に記載のノイズ低減処理装置。
【請求項７】
前記ノイズ推定判定部は、
前記動作パターンに応じた前記駆動音の推定ノイズとして予め決められている初期推定ノイズの周波数スペクトルと前記第１周波数スペクトルとの比であるスペクトル比を算出し、当該スペクトル比に応じて予め決められている第２重み係数を決定し、
前記ノイズ推定部は、
前記推定ノイズ算出判定処理部によって決定された前記第２重み係数を前記初期推定ノイズに乗算した値を前記推定ノイズと決定することを特徴とする請求項１から４のうちいずれか一項に記載のノイズ低減処理装置。
【請求項８】
請求項１から７のうちいずれか一項に記載のノイズ低減処理装置を備えることを特徴とする撮像装置。
【請求項９】
コンピュータを、
予め決められた動作パターンに応じて動作部を動作させるタイミングを示す動作タイミング信号を検出するタイミング信号検出手段、
音信号を取得する音信号取得手段、
前記動作タイミング信号に基づき、前記動作部が動作する可能性の高い期間に取得された音信号の第１周波数スペクトルを得て、前記第１周波数スペクトルの音信号が、前記動作パターンに応じて予め決められているノイズ推定を実行するためのノイズ推定条件を満たすか否かを判定するノイズ推定判定手段、
前記推定ノイズ算出判定処理部による判定結果に従って、前記第１周波数スペクトルに基づき、前記動作部の動作によって発生する駆動音を示す推定ノイズを決定するノイズ推定手段、
前記第１周波数スペクトルから前記推定ノイズの周波数スペクトルを減算するスペクトル減算を行うノイズ低減処理手段、
として機能させるためのノイズ低減処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２０１２−２４９１０８（Ｐ２０１２−２４９１０８Ａ）
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願番号】特願２０１１−１１９７５９（Ｐ２０１１−１１９７５９）
【出願日】平成２３年５月２７日（２０１１．５．２７）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願日】平成２３年５月２７日（２０１１．５．２７）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]