ノイズ低減処理装置、カメラ、およびノイズ低減処理プログラム
【課題】ノイズ低減処理における目的音の劣化を低減すること。
【解決手段】動作部が動作するタイミングを示す動作タイミング信号を検出するタイミング信号検出部と、音信号を取得する音信号取得部と、前記動作タイミング信号を検出して、前記動作部の動作によって生じるノイズ音が発生する可能性の高い期間に取得される音信号の第１周波数スペクトルと、前記ノイズが発生しない可能性の高い期間に取得される音信号の第２周波数スペクトルとを算出し、前記算出した第１周波数スペクトルの少なくとも一部を前記算出した第２周波数スペクトルの対応する部分に置き換えた周波数スペクトルに基づき、前記音信号に対してノイズ低減を行ったノイズ低減音信号を算出するノイズ低減処理部と、を備えることを特徴とする。
【解決手段】動作部が動作するタイミングを示す動作タイミング信号を検出するタイミング信号検出部と、音信号を取得する音信号取得部と、前記動作タイミング信号を検出して、前記動作部の動作によって生じるノイズ音が発生する可能性の高い期間に取得される音信号の第１周波数スペクトルと、前記ノイズが発生しない可能性の高い期間に取得される音信号の第２周波数スペクトルとを算出し、前記算出した第１周波数スペクトルの少なくとも一部を前記算出した第２周波数スペクトルの対応する部分に置き換えた周波数スペクトルに基づき、前記音信号に対してノイズ低減を行ったノイズ低減音信号を算出するノイズ低減処理部と、を備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音信号からノイズを減算するノイズ低減処理装置、カメラ、およびノイズ低減処理プログラムに関する。
【背景技術】
【０００２】
例えば、連続的に発生している周囲音をノイズとして除去するため、音信号から周囲音に対応するノイズ（音信号に含まれているノイズ成分）を算出して、このノイズを音信号から減じるものがある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１９５９５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
撮像装置に設けられた光学系において、レンズを駆動するギア列等の駆動系の回転方向が逆転するとき等、一時的にノイズの音量が大きくなる場合がある。このように、動作部の動作状態に応じて駆動により発生するノイズの音量やタイミングが異なる場合、特許文献１の技術を用いたノイズ低減処理を行うと、収音対象である目的音が劣化してしまう問題があった。
【０００５】
本発明は、前記の点に鑑みてなされたものであり、ノイズ低減処理における目的音の劣化を低減するノイズ低減処理装置、カメラ、およびノイズ低減処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決するためになされたものであり、動作部が動作するタイミングを示す動作タイミング信号を検出するタイミング信号検出部と、音信号を取得する音信号取得部と、前記動作タイミング信号を検出して、前記動作部の動作によって生じるノイズ音が発生する可能性の高い期間に取得される音信号の第１周波数スペクトルと、前記ノイズ音が発生しない可能性の高い期間に取得される音信号の第２周波数スペクトルとを算出し、前記算出した第１周波数スペクトルの少なくとも一部を前記算出した第２周波数スペクトルの対応する部分に置き換えた周波数スペクトルに基づき、前記音信号に対してノイズ低減を行ったノイズ低減音信号を算出するノイズ低減処理部と、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、ノイズ低減処理における目的音の劣化を低減することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係るノイズ低減処理部を含む撮像装置の構成の一例を示すブロック図である。
【図２】本発明の実施形態に係る動作部の動作タイミング信号と音信号との関係の一例を説明するための参考図である。
【図３】図２に示す音信号と窓関数との関係を説明するための参考図である。
【図４】本発明の実施形態に係る衝撃音ノイズ低減処理部が取得する第１周波数スペクトルと第２周波数スペクトルの一例を説明するための図である。
【図５】図３に示した各周波数スペクトルの周波数成分の一例を示す図である。
【図６】本実施形態に係る衝撃音ノイズ低減処理の一例について説明するための図である。
【図７】本実施形態に係るノイズ低減処理方法の一例について説明するためのフローチャートである。
【図８】目的音が男声である場合の周波数スペクトルと、目的音が女声である場合の周波数スペクトルの一例を示す図である。
【図９】エンコーダの出力とマイク音信号の一例を示す図である。
【図１０】コマンド出力、エンコーダの出力、およびマイク音信号の一例を示す図である。
【図１１】本発明の実施形態に係る動作部の動作タイミング信号と音信号との関係の他の例を説明するための参考図である。
【図１２】図１１に示す音信号と窓関数との関係を説明するための参考図である。
【図１３】本発明の実施形態に係る衝撃音ノイズ低減処理部が取得する第１周波数スペクトルと第２周波数スペクトルの他の例を説明するための図である。
【発明を実施するための形態】
【０００９】
本発明の実施形態について図面を参照して詳細に説明する。図１には、本実施形態に係る撮像装置の構成を示すブロック図が示されている。
図１に示す通り、撮像装置１００は、光学系による像を撮像し、得られた画像データを記憶媒体２００に記憶させるとともに、マイクによって収音されたマイク音信号に対してノイズ低減処理を行い、ノイズ低減処理後の音信号を記憶媒体２００に記憶させる。
この撮像装置１００は、ノイズ低減処理部２５０を備える。このノイズ低減処理部２５０が、マイクによって収音された音からノイズを低減するノイズ低減処理を行う。
【００１０】
本実施形態に係るノイズ低減処理部２５０は、動作部が動作することによって発生するノイズ（以下、動作音という）を低減するためのノイズ低減処理を実行する。例えば、撮像装置１００において、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）やＶＲ（Ｖｉｂｒａｔｉｏｎ Ｒｅｄｕｃｔｉｏｎ）等の処理において光学系を駆動する場合、モータや光学系が動くことによりノイズ（動作音）が発生する。また、モータが回転方向を切り換えた場合、一時的に大きい音のノイズ（動作音）が発生する。このように、動作部の動作状態が変化した場合に、一時的に発生する大きい音を衝撃音という。一方、この衝撃音よりも小さく、光学系やモータが動いているときに発生する音を駆動音という。つまり、駆動音は、衝撃音以外のノイズである。本実施形態に係るノイズ低減処理部２５０は、マイク音信号から衝撃音によるノイズを低減する衝撃音ノイズ低減処理を行うとともに、マイク音信号から駆動音によるノイズを低減する駆動音ノイズ低減処理を行う。
【００１１】
以下、撮像装置１００とノイズ低減処理部２５０の構成の一例について詳細に説明する。なお、本実施形態において、ノイズ低減処理部２５０は、撮像装置１００に内蔵されている例について説明するが、本発明はこれに限られない。例えば、ノイズ低減処理部２５０は、撮像装置１００の外部装置であってもよい。
【００１２】
撮像装置１００は、撮像部１１０と、バッファメモリ部１３０と、画像処理部１４０と、表示部１５０と、記憶部１６０と、通信部１７０と、操作部１８０と、ＣＰＵ１９０（本発明にかかる制御部に相当する。）と、計時部２２０と、マイク２３０（本発明にかかる音信号取得部に相当する。）と、Ａ/Ｄ変換部２４０と、ノイズ低減処理部２５０と、電池２６０と、を備える。
【００１３】
撮像部１１０は、光学系１１１と、撮像素子１１９と、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部１２０とを備え、設定される撮像条件（例えば絞り値、露出値等）に応じて予め決められた駆動パターンに従って、ＣＰＵ１９０により制御される。この撮像部１１０は、光学系１１１による光学像を撮像素子１１９に結像させて、Ａ／Ｄ変換部１２０によってデジタル信号に変換された光学像に基づく画像データを生成する。
【００１４】
光学系１１１は、焦点調整レンズ（以下、「ＡＦレンズ」という）１１２と、手ブレ補正レンズ（以下、「ＶＲレンズ」という）１１３と、ズームレンズ１１４と、ズームエンコーダ１１５（本発明にかかる動作検出部に相当する。）と、レンズ駆動部１１６（本発明にかかる駆動部に相当する。）と、ＡＦエンコーダ１１７（本発明にかかる動作検出部に相当する。）と、手ブレ補正部１１８（本発明にかかる駆動部に相当する。）を備える。
これら光学系１１１の各構成は、ＣＰＵ１９０による焦点調整処理、手ブレ補正処理、およびズーム処理において、それぞれの駆動パターンに従って、駆動する。つまり、光学系１１１は、撮像装置１００における動作部である。
【００１５】
この光学系１１１は、ズームレンズ１１４から入射し、ズームレンズ１１４、ＶＲレンズ１１３、ＡＦレンズ１１２の順番で通過した光学像を、撮像素子１１９の受光面に導く。
レンズ駆動部１１６は、ＡＦレンズ１１２およびズームレンズ１１４の位置を制御するための駆動制御信号（コマンド）をＣＰＵ１９０から入力する。このレンズ駆動部１１６は、入力する駆動制御信号に応じて、ＡＦレンズ１１２およびズームレンズ１１４の位置を制御する。
つまり、この駆動制御信号がＣＰＵ１９０からレンズ駆動部１１６に入力されてレンズ駆動部１１６が駆動することにより、ＡＦレンズ１１２およびズームレンズ１１４が移動（動作）する。本実施形態において、ＣＰＵ１９０が駆動制御信号を出力したタイミングを、ＡＦレンズ１１２およびズームレンズ１１４の動作が開始された動作開始タイミングという。
【００１６】
ズームエンコーダ１１５は、ズームレンズ１１４の位置を表わすズームポジションを検出し、ＣＰＵ１９０に出力する。このズームエンコーダ１１５は、ズームレンズ１１４の移動を検出し、例えば、ズームレンズ１１４が光学系１１１内を移動している場合にパルス信号をＣＰＵ１９０に出力する。一方、停止している場合、ズームエンコーダ１１５は、パルス信号の出力を停止する。
【００１７】
ＡＦエンコーダ１１７は、ＡＦレンズ１１２の位置を表わすフォーカスポジションを検出し、ＣＰＵ１９０に出力する。このＡＦエンコーダ１１７は、ＡＦレンズ１１２の移動を検出し、例えば、ＡＦレンズ１１２が光学系１１１内を移動している場合にパルス信号をＣＰＵ１９０に出力する。一方、停止している場合、ＡＦエンコーダ１１７は、パルス信号の出力を停止する。
【００１８】
なお、ズームエンコーダ１１５は、ズームポジションを検出するために、ズームレンズ１１４の駆動方向を検出するものであってもよい。また、ＡＦエンコーダ１１７は、フォーカスポジションを検出するために、ＡＦレンズ１１２の駆動方向を検出するものであってもよい。
例えば、ズームレンズ１１４やＡＦレンズ１１２は、レンズ駆動部１１６によって駆動される駆動機構（例えばモータやカム等）が時計回り（ＣＷ）あるいは反時計回り（ＣＣＷ）に回転することにより光軸方向に移動する。ズームエンコーダ１１５およびＡＦエンコーダ１１７は、それぞれ、駆動機構の回転方向（ここでは、時計回りあるいは反時計回り）を検出することよって、ズームレンズ１１４およびＡＦレンズ１１２が移動していることを検出するものであってもよい。
【００１９】
手ブレ補正部１１８は、例えば振動ジャイロ機構を備え、光学系１１１による像の光軸ぶれを検出し、この光軸ぶれを打ち消す方向にＶＲレンズ１１３を動かす。この手ブレ補正部１１８は、例えばＶＲレンズ１１３を動かしている状態においてハイレベルの信号をＣＰＵ１９０に出力する。一方、ＶＲレンズ１１３を停止させている状態において、手ブレ補正部１１８は、ローレベルの信号の出力を停止する。
【００２０】
撮像素子１１９は、例えば、光電変換面を備え、その受光面に結像した光学像を電気信号に変換して、Ａ／Ｄ変換部１２０に出力する。
この撮像素子１１９は、操作部１８０を介して撮影指示を受け付けた際に得られる画像データを、静止画又は動画の画像データとして、Ａ／Ｄ変換部１２０を介して記憶媒体２００に記憶させる。一方、撮像素子１１９は、操作部１８０を介して撮像指示を受け付けていない状態において、連続的に得られる画像データをスルー画データとして、Ａ／Ｄ変換部１２０を介してＣＰＵ１９０および表示部１５０に出力する。
【００２１】
Ａ／Ｄ変換部１２０は、撮像素子１１９によって変換された電気信号をデジタル化して、デジタル信号である画像データをバッファメモリ部１３０に出力する。
【００２２】
バッファメモリ部１３０は、撮像部１１０によって撮像された画像データを、一時的に記憶する。また、バッファメモリ部１３０は、マイク２３０が収音したマイク検出音に応じたマイク音信号を、一時的に記憶する。なお、バッファメモリ部１３０は、マイク検出音が収音された時刻と、バッファメモリ部１３０における位置とを対応付けて、マイク検出音に応じたマイク音信号を記憶してもよい。
【００２３】
画像処理部１４０は、記憶部１６０に記憶されている画像処理条件を参照して、バッファメモリ部１３０に一時的に記憶されている画像データに対して、画像処理をする。画像処理された画像データは、通信部１７０を介して記憶媒体２００に記憶される。なお、画像処理部１４０は、記憶媒体２００に記憶されている画像データに対して、画像処理をしてもよい。
【００２４】
表示部１５０は、例えば液晶ディスプレイであって、撮像部１１０によって得られた画像データや操作画面等を表示する。
【００２５】
記憶部１６０は、ＣＰＵ１９０によってシーン判定の際に参照される判定条件や、シーン判定によって判断されたシーン毎に対応付けられた撮像条件等を記憶する。
【００２６】
通信部１７０は、カードメモリ等の取り外しが可能な記憶媒体２００と接続され、この記憶媒体２００への情報（画像データや音データ等）の書込み、読み出し、あるいは消去を行う。
【００２７】
操作部１８０は、例えば、電源スイッチ、シャッターボタン、マルチセレクタ（十字キー）、又はその他の操作キーを備え、ユーザによって操作されることでユーザの操作入力を受け付け、操作入力に応じた操作情報をＣＰＵ１９０に出力する。この操作部１８０は、ユーザによって押下される際、物理的な動作音を発生する場合がある。本実施形態において、ユーザの操作入力に応じた操作情報が操作部１８０からＣＰＵ１９０に入力するタイミングを、操作部１８０の動作が開始される動作開始タイミングという。
【００２８】
記憶媒体２００は、撮像装置１００に対して着脱可能に接続される記憶部であって、例えば、撮像部１１０によって生成された（撮影された）画像データや、ノイズ低減処理部２５０により音信号処理された音信号を記憶する。
【００２９】
バス２１０は、撮像部１１０と、バッファメモリ部１３０と、画像処理部１４０と、表示部１５０と、記憶部１６０と、通信部１７０と、操作部１８０と、ＣＰＵ１９０と、計時部２２０と、Ａ/Ｄ変換部２４０と、ノイズ低減処理部２５０と接続され、各構成部から出力されたデータ等を転送する。
【００３０】
計時部２２０は、日にちや時刻を計時して、計時した日時を表わす日時情報を出力する。
【００３１】
マイク２３０は、周辺の音を収音し、この音のマイク音信号をＡ/Ｄ変換部２４０に出力する。このマイク２３０によって収音されるマイク検出音には、主に、収音対象である目的音と、動作部による動作音（ノイズ）とが含まれている。
【００３２】
ここで、マイク２３０によって取得されたマイク音信号について、例えば、ＡＦレンズ１１２が動作された時に得られたマイク音信号を例に、図２、３を参照して説明する。
図２（Ａ）は、ＡＦエンコーダ１１７の出力と時間との関係の一例を示す。図２（Ｂ）は、マイク音信号と時間の関係の一例が示されている。なお、図２（Ｂ）は、説明便宜のため、マイク音信号のうち、動作音の音信号のみを示し、目的音の音信号の図示を省略する。図２（Ａ）と図２（Ｂ）に示すＡＦレンズ１１２の駆動パターンは、例えば、焦点距離αでピントを合わせるＡＦ処理を行う場合の駆動パターンを示す。
【００３３】
図２（Ａ）には、その縦軸に、ＡＦエンコーダ１１７出力から求めた、ＡＦレンズ１１２を駆動する駆動機構の回転方向を示す。
この焦点距離αでピントを合わせるＡＦ処理を行う駆動パターンでは、図２（Ａ）に示す通り、ＡＦレンズ１１２を駆動する駆動機構が、時刻ｔ１０〜ｔ２０において、時計回りＣＷに回転して、その後静止する。
つまり、時刻ｔ１０は、ＡＦレンズ１１２の動作開始タイミングを、時刻ｔ２０は、ＡＦレンズ１１２の動作停止タイミングを、それぞれ表わしている。なお、本実施形態において、動作開始タイミングの時刻ｔ１０は、ＡＦレンズ１１２の位置を制御するための駆動制御信号をＣＰＵ１９０が出力したタイミングを示す。動作停止タイミングの時刻ｔ２０は、ＡＦエンコーダ１１７からのパルス信号の出力が停止したタイミングを示す。
【００３４】
従って、図２（Ｂ）に示す通り、時刻ｔ１０〜ｔ２０の期間で、マイク音信号にＡＦレンズ１１２による動作音が重畳（発生）している、又は、動作音が重畳している可能性が高い。本実施形態においては、時刻ｔ１０〜ｔ２０の期間において、ＡＦレンズ１１２による動作音であるノイズが発生している場合について以下説明する。
また、図２（Ｂ）に示す通り、時刻ｔ１０、ｔ２０においては、それぞれ衝撃音が発生している可能性が高い。本実施形態においては、時刻ｔ１０、ｔ２０において、ＡＦレンズ１１２による衝撃音が発生している場合について以下説明する。
【００３５】
また、衝撃音が発生した場合、その衝撃音が発生している可能性の高い時間は、各駆動パターンに応じて予め決められている。焦点距離αでピントを合わせるＡＦ処理を行う駆動パターンでは、図３に示すような衝撃音の発生する時間が決められている。
図３は、焦点距離αでピントを合わせるＡＦ処理を行う駆動パターンでＡＦレンズ１１２を駆動した際に、マイク２３０で収音されるマイク音信号の一例を示す。図３に示すグラフは、縦軸にマイク２３０によって収音されたマイク音信号を、横軸に時間を、それぞれ示す。なお、図３は、説明便宜のため、マイク音信号のうち、動作音の音信号のみを示し、目的音の音信号の図示を省略する。
焦点距離αでピントを合わせるＡＦ処理を行う駆動パターンでは、時刻ｔ１０〜ｔ１１までの時間、および時刻ｔ２０〜ｔ２１までの時間が、それぞれ、衝撃音の発生する時間であると予め決められている。
本実施形態では、図３に示す通り、この衝撃音の発生する期間において、衝撃音が発生している例について説明する。
【００３６】
図１に戻って、撮像装置１００の各構成の説明を続ける。
ＣＰＵ１９０は、設定された撮像条件（例えば絞り値、露出値等）に応じた駆動パターンに従って撮像部１１０を制御する。このＣＰＵ１９０は、ズームエンコーダ１１５から出力されるズームポジションおよびＡＦエンコーダ１１７から出力されるフォーカスポジションに基づき、レンズ駆動部１１６を駆動する駆動制御信号を生成して、レンズ駆動部１１６に出力する。その生成アルゴリズムは、必要に応じて既存のアルゴリズムを適宜用いてよい。
【００３７】
タイミング信号検出部１９１は、撮像装置１００が備えている動作部の動作状態が変化するタイミングを検出する。この動作状態が変化するタイミングとしては、例えば、動作部が動作を開始する動作開始タイミングと、動作部の動作が停止する動作停止タイミングとがある。
ここでいう動作部とは、例えば、上述した光学系１１１、あるいは、操作部１８０のことであり、撮像装置１００が備えている構成のうち、動作することにより、または、動作されることにより、動作音が生じる（または、動作音が生じる可能性がある）構成である。
言い換えると、動作部とは、撮像装置１００が備えている構成のうち、動作部が動作することにより生じた動作音、または、動作部が動作されることにより生じた動作音が、マイク２３０により収音される（または、収音される可能性のある）構成である。
【００３８】
例えば、このタイミング信号検出部１９１は、動作部を動作させる駆動制御信号に基づいて、動作部の動作状態が変化するタイミングを検出してもよい。この駆動制御信号とは、動作部を動作させる駆動部に対して、動作部を動作させるようにする駆動制御信号、または、この駆動部を駆動させる駆動制御信号である。
【００３９】
例えば、タイミング信号検出部１９１は、ズームレンズ１１４、ＶＲレンズ１１３、または、ＡＦレンズ１１２を駆動させるため、レンズ駆動部１１６または手ブレ補正部１１８に入力される駆動制御信号に基づいて、ズームレンズ１１４、ＶＲレンズ１１３、または、ＡＦレンズ１１２の動作が開始された動作開始タイミングを検出する。この場合、タイミング信号検出部１９１は、ＣＰＵ１９０が駆動制御信号を生成する場合にＣＰＵ１９０内部で実行される処理やコマンドに基づいて、動作開始タイミングを検出してもよい。
また、タイミング信号検出部１９１は、操作部１８０から入力されるズームレンズ１１４、または、ＡＦレンズ１１２を駆動させることを示す操作信号に基づいて、動作開始タイミングを検出してもよい。
【００４０】
また、タイミング信号検出部１９１は、動作部が動作されたことを示す信号に基づいて、動作部の動作状態が変化するタイミングを検出してもよい。
例えば、タイミング信号検出部１９１は、ズームエンコーダ１１５またはＡＦエンコーダ１１７の出力に基づいて、ズームレンズ１１４またはＡＦレンズ１１２が駆動されたことを検出することにより、ズームレンズ１１４またはＡＦレンズ１１２の動作開始タイミングを検出してもよい。また、タイミング信号検出部１９１は、ズームエンコーダ１１５またはＡＦエンコーダ１１７の出力に基づいて、ズームレンズ１１４またはＡＦレンズ１１２が停止されたことを検出することにより、ズームレンズ１１４またはＡＦレンズ１１２の動作停止タイミングを検出してもよい。
また、タイミング信号検出部１９１は、手ブレ補正部１１８からの出力に基づいて、ＶＲレンズ１１３が駆動されたことを検出することにより、ＶＲレンズ１１３の動作開始タイミングを検出してもよい。このタイミング信号検出部１９１は、手ブレ補正部１１８からの出力に基づいて、ＶＲレンズ１１３が停止されたことを検出することにより、ＶＲレンズ１１３の動作停止タイミングを検出してもよい。
さらに、タイミング信号検出部１９１は、操作部１８０からの入力に基づいて、操作部１８０が操作されたことを検出することにより、動作部が動作するタイミングを検出してもよい。
【００４１】
タイミング信号検出部１９１は、撮像装置１００が備えている動作部の動作開始タイミングを検出し、検出した動作開始タイミングを示す動作開始タイミング信号を、ノイズ低減処理部２５０に出力する。また、タイミング信号検出部１９１は、動作停止タイミングを検出し、この検出した動作停止タイミングを示す動作停止タイミング信号を、ノイズ低減処理部２５０に出力する。
本実施形態において、タイミング信号検出部１９１は、ＡＦレンズ１１２を動かす駆動制御信号がＣＰＵ１９０からレンズ駆動部１１６に出力されるタイミングを、ＡＦレンズ１１２の動作開始タイミングと判定する。タイミング信号検出部１９１は、例えば、図３を用いた例で示す衝撃音が発生している時刻ｔ１０〜ｔ１１を示す情報を、動作開始タイミング信号として出力する。
また、タイミング信号検出部１９１は、ＡＦエンコーダ１１７から出力されるパルス信号に基づき、このパルス信号の出力が停止した時を、ＡＦレンズ１１２の動作が停止した動作停止タイミングと判定する。タイミング信号検出部１９１は、例えば、図３を用いた例で示す衝撃音が発生している時刻ｔ２０〜ｔ２１を示す情報を、動作停止タイミング信号として出力する。
【００４２】
Ａ/Ｄ変換部２４０は、マイク２３０から入力されたアナログ信号であるマイク音信号をデジタル信号であるマイク音信号に変換する。このＡ/Ｄ変換部２４０は、デジタル信号であるマイク音信号を、ノイズ低減処理部２５０に出力する。
また、Ａ/Ｄ変換部２４０は、デジタル信号であるマイク音信号を、バッファメモリ部１３０あるいは記憶媒体２００に記憶させる構成であってもよい。
【００４３】
ノイズ低減処理部２５０は、Ａ／Ｄ変換部２４０によりデジタル信号に変換されたマイク音信号に対して、例えばＡＦレンズ１１２、ＶＲレンズ１１３、ズームレンズ１１４等の動作部による動作音であるノイズを低減するなどのノイズ低減処理を実行し、このノイズ低減処理した音信号を記憶媒体２００に記憶させる。
このノイズ低減処理部２５０は、音信号処理部２５１と、衝撃音ノイズ低減処理部２５２と、駆動音ノイズ低減処理部２５３と、逆フーリエ変換部２５４とを含む。
【００４４】
音信号処理部２５１は、Ａ/Ｄ変換部２４０から出力されたマイク音信号に対して、予め決められた区間ごとに窓関数で重み付けするとともに、この区間毎のマイク音信号を周波数領域で表わされるスペクトルに変換して、この周波数領域で表わされるスペクトルを衝撃音ノイズ低減処理部２５２および駆動音ノイズ低減処理部２５３に出力する。
この音信号処理部２５１は、例えば、マイク音信号にフーリエ変換、あるいは高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）を行うことで、マイク音信号を周波数領域に変換する。音信号処理部２５１は、例えば、マイク音信号にフーリエ変換を行うことで、窓関数の各区間に対応する周波数スペクトルを算出する。
ここで、窓関数において予め定められた区間とは、信号処理の単位（フレーム）であって、一定の間隔で繰り返される区間である。これらの窓関数の各区間は、他の窓関数の各区間と半分ずつオーバーラップしている。なお、窓関数は、例えば、ハニング窓（ハニングウィンドウ）関数が利用可能である。
【００４５】
上述した図３を参照して、音信号処理部２５１により算出される窓関数の各区間に対応する周波数スペクトルの一例について説明する。
音信号処理部２５１は、上述の通り、Ａ/Ｄ変換部２４０から出力されたマイク音信号に対して、図３に示すように他の区間と半分ずつオーバーラップしている窓関数Ｗ１〜Ｗ１４で重み付けをする。これにより、マイク音信号は、窓関数のサイズに分割される。この音信号処理部２５１は、窓関数Ｗ１〜Ｗ１４で重み付けされた各区間のマイク音信号ごとに、例えばフーリエ変換を行い、周波数領域における周波数スペクトルＳ１〜Ｓ１４を算出する。つまり、音信号処理部２５１によって算出される周波数スペクトルＳ１〜Ｓ１４は、窓関数Ｗ１〜Ｗ１４の区間に対応する周波数スペクトルである。
【００４６】
図３に示す通り、時刻ｔ１０〜ｔ１１の区間、時刻ｔ２０〜ｔ２１の区間が、衝撃音が発生している区間である。また、時刻ｔ１１〜ｔ２０の区間が、駆動音が発生している区間である。
本実施形態において、窓関数Ｗ２〜Ｗ４に対応する周波数スペクトルＳ２〜Ｓ４は、ＡＦレンズ１１２の動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１に対応する音情報である。また、窓関数Ｗ９〜Ｗ１２に対応する周波数スペクトルＳ９〜Ｓ１２は、ＡＦレンズ１１２の動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１に対応する音情報である。窓関数Ｗ５〜Ｗ８に対応する周波数スペクトルＳ５〜Ｓ８は、ＡＦレンズ１１２による駆動音の発生期間に対応する音情報である。
音信号処理部２５１は、例えば、周波数スペクトルＳ１〜Ｓ１４を算出し、衝撃音発生期間に対応する周波数スペクトルの周波数成分の総和と、予め決められた閾値とを比較する。この予め決められた閾値とは、衝撃音に対して目的音が大きいため衝撃音による音声劣化が少ないとされる目的音の周波数スペクトルの周波数成分の総和である。
衝撃音発生期間に対応する周波数スペクトルの周波数成分の総和が、予め決められた閾値未満であると判定した場合、駆動音ノイズ低減処理部２５３は、算出した周波数スペクトルＳ１〜Ｓ１４を衝撃音ノイズ低減処理部２５２に出力して、衝撃音ノイズ低減処理を実行するよう制御する。
一方、衝撃音発生期間に対応する周波数スペクトルの周波数成分の総和が、予め決められた閾値以上であると判定した場合、駆動音ノイズ低減処理部２５３は、算出した周波数スペクトルＳ１〜Ｓ１４を駆動音ノイズ低減処理部２５３に出力して、駆動音ノイズ低減処理を実行するよう制御する。
【００４７】
衝撃音ノイズ低減処理部２５２は、タイミング信号検出部１９１から入力する動作タイミング信号に基づき、例えば、音信号処理部２５１から出力される周波数スペクトルＳ１〜Ｓ１４から、衝撃音が発生している可能性の高い期間に対応する周波数スペクトル（以下、第１周波数スペクトルという）を取得する。例えば、衝撃音ノイズ低減処理部２５２は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ２〜Ｓ４を、第１周波数スペクトルとして取得する。衝撃音ノイズ低減処理部２５２は、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ９〜Ｓ１２を、第１周波数スペクトルとして取得する。
【００４８】
また、衝撃音ノイズ低減処理部２５２は、タイミング信号検出部１９１から入力する動作タイミング信号に基づき、音信号処理部２５１から出力される周波数スペクトルＳ１〜Ｓ１４から、衝撃音が発生していない可能性の高い期間に対応する周波数スペクトル（以下、第２周波数スペクトルという）を取得する。この衝撃音ノイズ低減処理部２５２は、衝撃音を含んでいる可能性の高い第１周波数スペクトルごとに、この衝撃音を含む可能性の低い第２周波数スペクトルを取得する。本実施形態において、衝撃音ノイズ低減処理部２５２は、第１周波数スペクトルと時間軸方向において最も近い周波数スペクトルを第２周波数スペクトルとして取得する。つまり、衝撃音ノイズ低減処理部２５２は、第１周波数スペクトルと時間軸方向に隣接あるいは重複する周波数スペクトルを第２周波数スペクトルとして取得する。
なお、本実施形態において、第２周波数スペクトルは、衝撃音が発生していない可能性の高い期間に対応する周波数スペクトルである。しかし、本発明はこれに限られず、第２周波数スペクトルは、動作部の動作によって発生するノイズ音が発生しない可能性の高い期間に対応する周波数スペクトルであることが好ましい。また、動作音が発生していない可能性の高い期間に対応する周波数スペクトルであってもよい。
【００４９】
ここで、図４を参照して、衝撃音ノイズ低減処理部２５２が取得する第１周波数スペクトルと第２周波数スペクトルとの関係の一例について説明する。図４は、衝撃音ノイズ低減処理部２５２が取得する第１周波数スペクトルと第２周波数スペクトルの一例を説明するための図である。
例えば、衝撃音ノイズ低減処理部２５２は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ２、Ｓ３に対応する第２周波数スペクトルとして、周波数スペクトルＳ２、３の時間軸の過去方向に最も近い周波数スペクトルＳ１を取得する。また、衝撃音ノイズ低減処理部２５２は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ４に対応する第２周波数スペクトルとして、周波数スペクトルＳ４の時間軸の未来方向に最も近い周波数スペクトルＳ５を取得する。
【００５０】
また、衝撃音ノイズ低減処理部２５２は、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ９、Ｓ１０に対応する第２周波数スペクトルとして、周波数スペクトルＳ９、１０の時間軸の過去方向に最も近い周波数スペクトルＳ８を取得する。また、衝撃音ノイズ低減処理部２５２は、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ１１、１２に対応する第２周波数スペクトルとして、周波数スペクトルＳ１１、１２の時間軸の未来方向に最も近い周波数スペクトルＳ１３を取得する。
【００５１】
さらに、衝撃音ノイズ低減処理部２５２は、第１周波数スペクトルの少なくとも一部を第２周波数スペクトルの対応する部分に置き換える。
例えば、衝撃音ノイズ低減処理部２５２は、第１周波数スペクトルのうち予め決められた閾値周波数以上の周波数スペクトルと、第２周波数スペクトルのうち予め決められた閾値周波数以上の周波数スペクトルとを、周波数成分ごとに比較して、第２周波数スペクトルの方が第１周波数スペクトルに比べて小さいと判定した場合に、第１周波数スペクトルにおける当該周波数成分を第２周波数スペクトルの周波数成分に置き換える。
【００５２】
図５を参照して詳細に説明する。図５は、一部の周波数スペクトルの周波数成分の一例について説明するための図である。なお、本実施の形態では、説明便宜のため、図３に示すマイク音信号のうち、窓関数Ｗ１，Ｗ３，Ｗ５，Ｗ７，Ｗ１１，Ｗ１３に対応する周波数スペクトルＳ１，Ｓ３，Ｓ５，Ｓ７，Ｓ１１，Ｓ１３について説明する。
図５に示す通り、周波数スペクトルＳ１，Ｓ３，Ｓ５，Ｓ７，Ｓ１１，Ｓ１３は、それぞれ、周波数成分ｆ１〜ｆ９の周波数成分を含む。
例えば、衝撃音ノイズ低減処理部２５２は、各周波数スペクトルの閾値周波数以上の周波数成分として、周波数成分ｆ３〜ｆ９について、第１周波数スペクトルと第２周波数スペクトルを比較することが予め決められている。よって、衝撃音ノイズ低減処理部２５２は、周波数成分ｆ１，ｆ２については、第１周波数スペクトルと第２周波数スペクトルを比較しない。
【００５３】
ここで、図６を参照して、周波数スペクトルＳ１とＳ３について、衝撃音ノイズ低減処理部２５２による衝撃音ノイズ低減処理の一例について説明する。
図６は、周波数スペクトルＳ１とＳ３の周波数成分ごとに、振幅の比較について説明するための図である。
例えば、衝撃音ノイズ低減処理部２５２は、周波数スペクトルＳ１の周波数成分ｆ３の振幅と、周波数スペクトルＳ３の周波数成分ｆ３の振幅とを比較する。この場合、周波数スペクトルＳ１の周波数成分ｆ３の振幅の方が、周波数スペクトルＳ３の周波数成分ｆ３の振幅に比べて小さい。よって、衝撃音ノイズ低減処理部２５２は、周波数スペクトルＳ３の周波数成分ｆ３を、周波数スペクトルＳ１の周波数成分ｆ３に置き換える。
また、衝撃音ノイズ低減処理部２５２は、周波数スペクトルＳ１の周波数成分ｆ４の振幅と、周波数スペクトルＳ３の周波数成分ｆ４の振幅とを比較する。この場合、周波数スペクトルＳ１の周波数成分ｆ４の振幅の方が、周波数スペクトルＳ３の周波数成分ｆ４の振幅に比べて大きい。よって、衝撃音ノイズ低減処理部２５２は、周波数スペクトルＳ３の周波数成分ｆ４を、周波数スペクトルＳ１の周波数成分ｆ４に置き換えない。
このようにして、衝撃音ノイズ低減処理部２５２は、周波数スペクトルＳ１の周波数成分の振幅の方が、周波数スペクトルＳ３の周波数成分の振幅に比べて小さい場合のみ、周波数スペクトルＳ３の周波数成分を周波数スペクトルＳ１の周波数成分に置き換える。
図６に示す場合、衝撃音ノイズ低減処理部２５２は、周波数スペクトルＳ３の周波数成分ｆ３、ｆ６〜ｆ９を周波数スペクトルＳ１の周波数成分ｆ３、ｆ６〜ｆ９に置き換える。
【００５４】
図１に戻って、ノイズ低減処理部２５０の各構成の説明を続ける。
駆動音ノイズ低減処理部２５３は、タイミング信号検出部１９１から入力する動作タイミング信号に基づき、例えば、音信号処理部２５１から出力される周波数スペクトルＳ１〜Ｓ１４から、駆動音が発生している可能性の高い期間に対応する周波数スペクトル（以下、第３周波数スペクトルという）を取得する。例えば、駆動音ノイズ低減処理部２５３は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号と、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、駆動音が発生している可能性のある期間に対応する周波数スペクトルＳ２〜Ｓ１２を、第３周波数スペクトルとして取得する。
【００５５】
この駆動音ノイズ低減処理部２５３は、取得した第３周波数スペクトルに対して、駆動パターンに応じて予め決められているノイズを低減する駆動音ノイズ低減処理を行う。例えば、駆動音ノイズ低減処理部２５３は、駆動パターンに応じて予め決められているノイズを表わす周波数スペクトルの周波数成分を、第３周波数スペクトルの周波数成分から減算する周波数スペクトル減算法を用いる。なお、駆動パターンに応じて予め決められているノイズの周波数スペクトルは、設定値として駆動音ノイズ低減処理部２５３に予め設定されている。しかし本発明はこれに限られず、駆動音ノイズ低減処理部２５３が、過去のマイク音信号に基づき、駆動音が発生している区間の周波数スペクトルから駆動音が発生していない区間の周波数スペクトルを減算することにより、推定される駆動音のノイズの周波数スペクトルを、駆動パターンごとに算出しておくものであってもよい。
【００５６】
逆フーリエ変換部２５４は、駆動音ノイズ低減処理部２５３から入力された周波数スペクトルに対して、例えば逆フーリエ変換、あるいは逆高速フーリエ変換（ＩＦＦＴ：Inverse Fast Fourier Transform）を行うことで、時間領域に変換する。
この逆フーリエ変換部２５４は、時間領域に変換された音信号を記憶媒体２００に記憶させる。なお、逆フーリエ変換部２５４は、時間領域に変換された音信号と、撮像素子１１９により撮像された画像データとを、対応する日時情報を有する同士で対応付けて、記憶媒体２００に記憶させてもよく、音信号を含む動画として記憶してもよい。
【００５７】
次に、図７を参照して、本実施形態に係るノイズ低減処理方法の一例について説明する。図７は、本実施形態に係るノイズ低減処理方法の一例を示すフローチャートである。
例えば、操作部１８０の電源スイッチがＯＮされると、撮像装置１００に電源が投入され、電池２６０から各構成部に対して電力が供給される。本実施形態では、撮像装置１００に対して、撮像時の画像データと音声データを対応付けて記憶媒体２００に記憶させることが予め設定されている。
【００５８】
（ステップＳＴ１）
マイク２３０は、例えば、電源がＯＮされると、収音されたマイク音信号をＡ/Ｄ変換部２４０に出力する。Ａ/Ｄ変換部２４０は、アナログ信号であるマイク音信号をデジタル変換したマイク音信号をノイズ低減処理部２５０に出力する。
ノイズ低減処理部２５０は、Ａ/Ｄ変換部２４０からマイク音信号を入力する。
【００５９】
ここで、ユーザによって、操作部１８０のレリーズボタンが押下された場合、ＣＰＵ１９０は、ＡＦ処理において、例えば焦点距離αでピントを合わせるＡＦ処理を実行するための駆動制御信号をレンズ駆動部１１６とタイミング信号検出部１９１に出力する。
このレンズ駆動部１１６は、入力する駆動制御信号に基づき、焦点距離αでピントを合わせる駆動パターンに従って、ＡＦレンズ１１２を移動させる。例えば、レンズ駆動部１１６は、ＡＦレンズ１１２の駆動機構を時計回りに所定量回転させて、ＡＦレンズ１１２を移動させる。なお、この駆動機構を回転させる回転量やスピードは、焦点距離αでピントを合わせる駆動パターンとして、予め決められている。
ＡＦレンズ１１２が動くと、ＡＦエンコーダ１１７は、パルス信号をＣＰＵ１９０のタイミング信号検出部１９１に出力する。動いていたＡＦレンズ１１２が停止すると、ＡＦエンコーダ１１７は、パルス信号出力を停止する。
【００６０】
タイミング信号検出部１９１は、入力する駆動制御信号やＡＦエンコーダ１１７のパルス信号に基づき、焦点距離αでピントを合わせる駆動パターンに従って、動作タイミング信号を生成し、ノイズ低減処理部２５０に出力する。
例えば、焦点距離αでピントを合わせるＡＦ処理を実行するための駆動制御信号を入力した場合、タイミング信号検出部１９１は、ＡＦレンズ１１２の動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作開始タイミング信号を生成し、ノイズ低減処理部２５０に出力する。
そして、ＡＦエンコーダ１１７から入力するパルス信号が停止された場合、タイミング信号検出部１９１は、ＡＦレンズ１１２の動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作停止タイミング信号を生成し、ノイズ低減処理部２５０に出力する。
【００６１】
（ステップＳＴ２）
ノイズ低減処理部２５０は、タイミング信号検出部１９１から動作タイミング信号が入力されたか否かを判定する。
（ステップＳＴ３）
動作タイミング信号が入力された場合、ノイズ低減処理部２５０の音信号処理部２５１は、Ａ／Ｄ変換部２４０から出力されたマイク音信号に対して、予め決められた区間ごとに窓関数で重み付けするとともに、この区間毎のマイク音信号を周波数領域で表わされる周波数スペクトルに変換する。音信号処理部２５１は、例えば、窓関数で重み付けされた音信号をフーリエ変換して、周波数スペクトルＳ１〜Ｓ１４を算出する。
【００６２】
（ステップＳＴ４）
そして、音信号処理部２５１は、動作タイミング信号に基づき、衝撃音発生期間に対応する周波数スペクトルの周波数成分の総和と、予め決められた閾値とを比較する。
例えば、音信号処理部２５１は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ２〜Ｓ４を取得する。そして、音信号処理部２５１は、周波数スペクトルＳ２〜Ｓ４ごとに、周波数成分の総和が予め決められた閾値未満であるか否かを判定する。また、音信号処理部２５１は、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ９〜Ｓ１２を取得する。そして、音信号処理部２５１は、周波数スペクトルＳ９〜Ｓ１２ごとに、周波数成分の総和が予め決められた閾値未満であるか否かを判定する。
【００６３】
そして、音信号処理部２５１は、周波数成分の総和が予め決められた閾値未満であった周波数スペクトルを衝撃音ノイズ低減処理部２５２に出力するとともに、この周波数スペクトルに対して衝撃音ノイズ低減処理を実行するよう衝撃音ノイズ低減処理部２５２を制御する。
【００６４】
（ステップＳＴ５）
次いで、衝撃音ノイズ低減処理部２５２は、音信号処理部２５１から衝撃音ノイズ低減処理を実行する制御に基づき、Ａ/Ｄ変換部２４０から入力するマイク音信号に対して衝撃音ノイズ低減処理を実行する。
例えば、衝撃音ノイズ低減処理部２５２は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ２〜Ｓ４を、第１周波数スペクトルとして取得する。
そして、衝撃音ノイズ低減処理部２５２は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ２、Ｓ３に対応する第２周波数スペクトルとして、周波数スペクトルＳ２、３の直前の周波数スペクトルＳ１を取得する。また、衝撃音ノイズ低減処理部２５２は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ４に対応する第２周波数スペクトルとして、周波数スペクトルＳ４の直後の周波数スペクトルＳ５を取得する。
【００６５】
また、衝撃音ノイズ低減処理部２５２は、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ９〜Ｓ１２を、第１周波数スペクトルとして取得する。
そして、衝撃音ノイズ低減処理部２５２は、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ９、Ｓ１０に対応する第２周波数スペクトルとして、周波数スペクトルＳ９、１０の直前の周波数スペクトルＳ８を取得する。また、衝撃音ノイズ低減処理部２５２は、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ１１、１２に対応する第２周波数スペクトルとして、周波数スペクトルＳ１１、１２の直後の周波数スペクトルＳ１３を取得する。
【００６６】
（ステップＳＴ６）
次いで、衝撃音ノイズ低減処理部２５２は、各周波数スペクトルの閾値周波数以上の周波数成分として、周波数成分ｆ３〜ｆ９について、第１周波数スペクトルと第２周波数スペクトルを比較する。
例えば、衝撃音ノイズ低減処理部２５２は、周波数スペクトルＳ１の周波数成分ｆ３の振幅と、周波数スペクトルＳ２の周波数成分ｆ３の振幅とを比較する。この場合、周波数スペクトルＳ１の周波数成分ｆ３の振幅の方が、周波数スペクトルＳ２の周波数成分ｆ３の振幅に比べて小さい。よって、衝撃音ノイズ低減処理部２５２は、周波数スペクトルＳ３の周波数成分ｆ３を、周波数スペクトルＳ１の周波数成分ｆ３に置き換える。
また、衝撃音ノイズ低減処理部２５２は、周波数スペクトルＳ１の周波数成分ｆ４の振幅と、周波数スペクトルＳ２の周波数成分ｆ４の振幅とを比較する。この場合、周波数スペクトルＳ１の周波数成分ｆ４の振幅の方が、周波数スペクトルＳ２の周波数成分ｆ４の振幅に比べて大きい。よって、衝撃音ノイズ低減処理部２５２は、周波数スペクトルＳ３の周波数成分ｆ４を、周波数スペクトルＳ１の周波数成分ｆ４に置き換えない。
このようにして、衝撃音ノイズ低減処理部２５２は、周波数スペクトルＳ１の周波数成分の振幅の方が、周波数スペクトルＳ３の周波数成分の振幅に比べて小さい場合のみ、周波数スペクトルＳ３の周波数成分を周波数スペクトルＳ１の周波数成分に置き換える。
そして、衝撃音ノイズ低減処理部２５２は、周波数スペクトルＳ３の周波数成分ｆ３、ｆ６〜ｆ９を、周波数成分を周波数スペクトルＳ１の周波数成分ｆ３、ｆ６〜ｆ９と置き換えて、衝撃音ノイズ低減処理後の周波数スペクトルＳ´３を駆動音ノイズ低減処理部２５３に出力する。
【００６７】
衝撃音ノイズ低減処理部２５２は、同様にして、第１周波数スペクトルである周波数スペクトルＳ２と第２周波数スペクトルＳ１との比較と、第１周波数スペクトルである周波数スペクトルＳ４と第２周波数スペクトルＳ５との比較を行う。そして、第２周波数スペクトルＳ１、Ｓ５の周波数成分の振幅の方が、それぞれ、周波数スペクトルＳ２、Ｓ４の周波数成分の振幅に比べて小さい場合のみ、周波数スペクトルＳ２、Ｓ４の周波数成分をそれぞれ周波数スペクトルＳ１、Ｓ５の周波数成分に置き換えて、衝撃音ノイズ低減処理後の周波数スペクトルＳ´２、Ｓ´４を駆動音ノイズ低減処理部２５３に出力する。
【００６８】
また、衝撃音ノイズ低減処理部２５２は、同様にして、第１周波数スペクトルである周波数スペクトルＳ９、Ｓ１０と第２周波数スペクトルＳ８との比較、および第１周波数スペクトルである周波数スペクトルＳ１１、Ｓ１２と第２周波数スペクトルＳ１３との比較を行う。そして、第２周波数スペクトルＳ８の周波数成分の振幅の方が、それぞれ、周波数スペクトルＳ９、Ｓ１０の周波数成分の振幅に比べて小さい場合のみ、周波数スペクトルＳ９、Ｓ１０の周波数成分をそれぞれ周波数スペクトルＳ８の周波数成分に置き換えて、衝撃音ノイズ低減処理後の周波数スペクトルＳ´９、Ｓ´１０を駆動音ノイズ低減処理部２５３に出力する。同様にして、第２周波数スペクトルＳ１３の周波数成分の振幅の方が、それぞれ、周波数スペクトルＳ１１、Ｓ１２の周波数成分の振幅に比べて小さい場合のみ、周波数スペクトルＳ１１、Ｓ１２の周波数成分をそれぞれ周波数スペクトルＳ１３の周波数成分に置き換えて、衝撃音ノイズ低減処理後の周波数スペクトルＳ´１１、Ｓ´１２を駆動音ノイズ低減処理部２５３に出力する。
【００６９】
（ステップＳＴ７）
次いで、駆動音ノイズ低減処理部２５３は、音信号処理部２５１から入力するマイク音信号の周波数スペクトルと、衝撃音ノイズ低減処理部２５２から入力する衝撃音ノイズ低減処理後の周波数スペクトルに基づき、駆動音ノイズ低減処理を実行する。例えば、駆動音ノイズ低減処理部２５３は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号と、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、駆動音が発生している可能性のある期間に対応する周波数スペクトルＳ２〜Ｓ１２を、第３周波数スペクトルとして取得する。
この駆動音ノイズ低減処理部２５３は、取得した第３周波数スペクトルＳ２〜Ｓ１２のうち、衝撃音が発生している期間に対応する周波数スペクトルＳ２〜Ｓ４、Ｓ９〜Ｓ１２を、衝撃音ノイズ低減処理後の周波数スペクトルＳ´２、Ｓ´３、Ｓ´４、Ｓ´９、Ｓ´１０、Ｓ´１１、Ｓ´１２に置き換える。そして、駆動音ノイズ低減処理部２５３は、衝撃音ノイズ低減処理後の周波数スペクトルＳ´２、Ｓ´３、Ｓ´４、Ｓ´９、Ｓ´１０、Ｓ´１１、Ｓ´１２と、周波数スペクトルＳ５〜Ｓ７に対して駆動音ノイズ低減処理を実行する。つまり、駆動音ノイズ低減処理部２５３は、駆動パターンに応じて予め決められているノイズを表わす周波数スペクトルの周波数成分を、衝撃音ノイズ低減処理後の第３周波数スペクトルＳ´２〜Ｓ´４、Ｓ５〜７、Ｓ´９〜Ｓ´１２の周波数成分からそれぞれ減算する。駆動音ノイズ低減処理部２５３は、この駆動音ノイズ低減処理後の周波数スペクトルを逆フーリエ変換部２５４に出力する。
【００７０】
（ステップＳＴ８）
逆フーリエ変換部２５４は、駆動音ノイズ低減処理部２５３から入力された駆動音ノイズ低減処理後の周波数スペクトルに対して、例えば逆フーリエ変換を行うことで、時間領域に変換する。この逆フーリエ変換部２５４は、時間領域に変換された音信号を記憶媒体２００に記憶させる。
【００７１】
以上説明したように、本実施形態に係る撮像装置１００は、タイミング信号検出部１９１によって動作部の動作状態が変化するタイミングを検出するとともに、この動作タイミング信号に基づき、衝撃音が重畳している可能性のあるマイク音信号の周波数スペクトルの一部を、衝撃音が重畳していない可能性のあるマイク音信号の周波数スペクトルの一部と置き換える衝撃音ノイズ低減処理を実行する。これにより、周波数スペクトルの帯域が広い衝撃音であっても、目的音の不連続性が目立たず、かつ、衝撃音を低減した音信号を取得することができる。
【００７２】
また、本実施形態に係る撮像装置１００は、衝撃音が重畳していない可能性の高いマイク音信号の第２周波数スペクトルの一部として、以下の（１）〜（４）のうちいずれか1つの条件を満たすものを、衝撃音が重畳している可能性の高いマイク音信号の一部の第１周波数スペクトルと置き換えることが好ましい。
（１）衝撃音が発生している可能性の高い期間と時間軸方向に隣接あるいは重複する衝撃音が発生しない可能性の高い期間に取得される音信号に基づく第２周波数スペクトルであること。
（２）衝撃音および駆動音が発生しない可能性の高い期間に取得された音信号に基づく第２周波数スペクトルであること。
（３）第２周波数スペクトルのうち、予め決められた閾値以上の周波数成分であること。
（４）第２周波数スペクトルのうち、周波数スペクトルの周波数成分の総和において予め決められた割合以上の周波数成分であること。
【００７３】
さらに、衝撃音ノイズ低減処理部２５２は、第１周波数スペクトルの周波数成分よりも第２周波数スペクトルの周波数成分の方が、その振幅が小さい場合、その部分の置換えを行う。つまり、衝撃音ノイズ低減処理部２５２は、（１）〜（４）の条件を満たす第２周波数スペクトルのうち、（５）第１周波数スペクトルの周波数成分よりも小さい第２周波数スペクトルの周波数成分のみを置き換える。
このように、第１周波数スペクトルのうち、（１）〜（４）の少なくともいずれか1つの条件を満たす第２周波数スペクトルと対応する部分を、置き換えることによって、目的音の不連続性が目立たず、かつ、衝撃音を低減した音信号を取得することができる。
【００７４】
上述の（３）の条件は、例えば、目的音の種類に応じて決定されるものであってもよい。
図８は、目的音が男声である場合の周波数スペクトルと、目的音が女声である場合の周波数スペクトルの一例を示す図である。
図８に示す通り、目的音が男声である場合、周波数スペクトルのうち、周波数が低い周波数成分を、目的音が女声である場合に比べてより多く、第１周波数スペクトルと第２周波数スペクトルの置換え範囲として設定することが好ましい。
ここでは、目的音が男声である場合、衝撃音ノイズ低減処理部２５２は、周波数成分ｆ１、ｆ２については置換えを行わずに、周波数成分ｆ３〜ｆ９についてのみ、第１周波数スペクトルの各周波数成分との大小関係を比較する。そして、第１周波数スペクトルの周波数成分の振幅よりも第２周波数スペクトルの周波数成分の振幅の方が小さい場合、この第１周波数スペクトルの周波数成分を第２周波数スペクトルの周波数成分と置き換える。
同様にして、目的音が女声である場合、衝撃音ノイズ低減処理部２５２は、周波数成分ｆ１、ｆ２、ｆ３については置換えを行わずに、周波数成分ｆ４〜ｆ９についてのみ、第１周波数スペクトルの各周波数成分との大小関係を比較する。
【００７５】
これは、男声の方が、女声に比べて、支配的なスペクトルが周波数が低い周波数成分により多く含まれているためである。なお、この支配的なスペクトルとは、目的音の特徴を示す周波数スペクトルをより多く含むものをいう。このように、支配的な周波数スペクトルの置換えを行わないことにより、目的音の劣化を防止することができる。よって、目的音の不連続性が目立たず、かつ、衝撃音を低減することができる。
【００７６】
上述の（４）の条件は、例えば、周波数スペクトルの周波数成分の総和に対して、例えば、周波数が高い方の周波数成分の６０％であると予め決められているものであってもよい。
この場合、衝撃音ノイズ低減処理部２５２は、第１周波数スペクトルの周波数成分の全ての和を１００％として、周波数が低い方（ｆ１、ｆ２・・・）から周波数成分の４０％に相当する周波数成分については、第２周波数スペクトルとの比較は行わない。衝撃音ノイズ低減処理部２５２は、周波数が高い方（ｆ９、ｆ８・・・）から周波数成分の６０％に相当する周波数成分については、第２周波数スペクトルとの比較を行う。
これにより、周波数スペクトルのうち、周波数の低い周波数成分についての目的音の劣化を防止することができる。
【００７７】
次に、図９，１０を参照して、タイミング信号検出部１９１によって検出される動作開始タイミングの一例について説明する。
図９には、例えば、ＡＦエンコーダ１１７の出力と、マイク２３０が出力するマイク音信号の一例を示す図である。
図９に示す通り、ＡＦエンコーダ１１７の出力がハイレベルとローレベルとを繰り返している期間を動作部による動作音が発生している期間であると決定した場合の一例について説明する。
この場合、ＡＦエンコーダ１１７の出力が最初にハイレベルとなった時刻が、動作開始タイミングｔ１となる。よって、この時刻ｔ１から衝撃音が発生している期間が開始する。また、ＡＦエンコーダ１１７の出力が最後にハイレベルとなった際にローレベルに戻ったときの時刻が、動作停止タイミングｔ２となる。よって、この時刻ｔ２から衝撃音が発生している期間が開始する
【００７８】
しかし、この場合、ＡＦレンズ１１２の駆動系（ギア列等）のバックラッシュの影響で、ＡＦエンコーダ１１７の出力が、実際のＡＦレンズ１１２の駆動系の動作開始タイミングとずれる場合がある。この場合について、図１０を参照して説明する。図１０には、例えば、ＡＦエンコーダ１１７の出力と、マイク２３０が出力するマイク音信号の他の例を示す図である。
【００７９】
図１０に示す通り、実際のＡＦレンズ１１２の駆動系の動作開始タイミングは、ＡＦエンコーダ１１７の出力がハイレベルとローレベルとを繰り返している期間よりも時間軸方向の前（過去）に発生している。この場合、動作開始タイミングは時刻ｔ３であり、時刻ｔ３からの一定期間内において衝撃音が発生している。
よって、時刻ｔ１を動作開始タイミングとした場合、衝撃音ノイズ低減処理部２５２は、時刻ｔ１からの一定期間を衝撃音が発生している可能性の高い期間として取り扱うこととなる。この場合、衝撃音ノイズ低減処理部２５２によって取得された第１周波数スペクトルには、衝撃音が含まれていない可能性が高い。
【００８０】
よって、タイミング信号検出部１９１は、図１０を用いて説明したとおり、駆動系の実際の開始タイミングとＡＦエンコーダ１１７の出力とがずれてしまった場合の不都合を回避するため動作開始タイミングとして、動作部への駆動制御信号（コマンド）が出力された時刻を示す動作開始タイミング信号を生成する。
【００８１】
［変形例］
次に、図１１〜１３を参照して、本実施形態に係る撮像装置１００の駆動パターンの他の例について説明する。
図１１（Ａ）は、ＡＦエンコーダ１１７出力から求めた回転方向と時間との関係の一例を示す。図１１（Ｂ）は、マイク音信号と時間の関係の一例が示されている。なお、図１１（Ｂ）は、説明便宜のため、マイク音信号のうち、動作音の音信号のみを示し、目的音の音信号の図示を省略する。図１１（Ａ）と図１１（Ｂ）に示すＡＦレンズ１１２の駆動パターンは、例えば、焦点距離βでピントを合わせるＡＦ処理を行う場合の駆動パターンを示す。
【００８２】
図１１（Ａ）には、その縦軸に、ＡＦエンコーダ１１７の出力として、ＡＦレンズ１１２を駆動する駆動機構の回転方向を示す。
この焦点距離βでピントを合わせるＡＦ処理を行う駆動パターンでは、図１１（Ａ）に示す通り、ＡＦレンズ１１２を駆動する駆動機構が、時刻ｔ１０〜ｔ２０において、時計回りＣＷに回転して、その後静止する。そして、ＡＦレンズ１１２を駆動する駆動機構は、時刻ｔ３０〜ｔ４０まで、再び時計回りＣＷに回転した後、回転方向を反転させ、時刻ｔ４０〜ｔ５０まで、反時計回りＣＣＷに回転して、その後静止する。
【００８３】
つまり、時刻ｔ１０、ｔ３０は、それぞれＡＦレンズ１１２の動作開始タイミングを、時刻ｔ２０、ｔ５０は、それぞれＡＦレンズ１１２の動作停止タイミングを、表わしている。また、時刻ｔ４０は、ＡＦレンズ１１２の駆動方向が逆回転となったタイミングを表わしている。
従って、図１１（Ｂ）に示す通り、時刻ｔ１０〜ｔ２０の期間、および、時刻ｔ３０〜ｔ５０の期間で、マイク音信号にＡＦレンズ１１２による動作音が重畳（発生）している、又は、動作音が重畳している可能性が高い。本実施形態においては、時刻ｔ１０〜ｔ２０の期間、時刻ｔ３０〜ｔ５０の期間において、ＡＦレンズ１１２による動作音であるノイズが発生している場合について以下説明する。
また、図１１（Ｂ）に示す通り、時刻ｔ１０、ｔ２０、ｔ３０、ｔ４０、ｔ５０においては、それぞれ衝撃音が発生している可能性が高い。本実施形態においては、時刻ｔ１０、ｔ２０、ｔ３０、ｔ４０、ｔ５０において、ＡＦレンズ１１２による衝撃音が発生している場合について以下説明する。
【００８４】
また、衝撃音が発生した場合、その衝撃音が発生している可能性の高い時間は、各駆動パターンに応じて予め決められている。焦点距離βでピントを合わせるＡＦ処理を行う駆動パターンでは、図１２に示すような衝撃音の発生する時間（タイミング）が決められている。
図１２は、焦点距離βでピントを合わせるＡＦ処理を行う駆動パターンでＡＦレンズ１１２を駆動した際に、マイク２３０で収音されるマイク音信号の一例を示す。なお、図１２は、説明便宜のため、マイク音信号のうち、動作音の音信号のみを示し、目的音の音信号の図示を省略する。
【００８５】
焦点距離βでピントを合わせるＡＦ処理を行う駆動パターンでは、時刻ｔ１０〜ｔ１１までの時間、時刻ｔ２０〜ｔ２１までの時間、時刻ｔ３０〜ｔ３１までの時間、時刻ｔ４０〜ｔ４１までの時間、時刻ｔ５０〜ｔ５１までの時間が、それぞれ、衝撃音の発生する時間であると予め決められている。
本実施形態では、図１２に示す通り、この衝撃音の発生する期間において、衝撃音が発生している例について説明する。
【００８６】
音信号処理部２５１は、Ａ/Ｄ変換部２４０から出力されたマイク音信号に対して、図１２に示すように他の区間と半分ずつオーバーラップしている窓関数Ｗ０〜Ｗ３２で重み付けをする。これにより、マイク音信号は、窓関数のサイズに分割される。この音信号処理部２５１は、窓関数Ｗ０〜Ｗ３２で重み付けされた各区間のマイク音信号ごとに、例えばフーリエ変換を行い、周波数領域における周波数スペクトルＳ０〜Ｓ３２を算出する。
【００８７】
本実施形態において、窓関数Ｗ２〜Ｗ４に対応する周波数スペクトルＳ２〜Ｓ４は、ＡＦレンズ１１２の動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を含む音情報である。また、窓関数Ｗ９〜Ｗ１２に対応する周波数スペクトルＳ９〜Ｓ１２は、ＡＦレンズ１１２の動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を含む音情報である。さらに、窓関数Ｗ１６〜Ｗ１８に対応する周波数スペクトルＳ１６〜Ｓ１８は、ＡＦレンズ１１２の動作開始タイミングｔ３０に対応する衝撃音発生期間ｔ３０〜ｔ３１を含む音情報である。また、窓関数Ｗ２２〜Ｗ２４に対応する周波数スペクトルＳ２２〜Ｓ２４は、ＡＦレンズ１１２の動作反転タイミングｔ４０に対応する衝撃音発生期間ｔ４０〜ｔ４１を含む音情報である。さらに、窓関数Ｗ２８〜Ｗ３０に対応する周波数スペクトルＳ２８〜Ｓ３０は、ＡＦレンズ１１２の動作停止タイミングｔ５０に対応する衝撃音発生期間ｔ５０〜ｔ５１を含む音情報である。
【００８８】
ここで、図１３を参照して、衝撃音ノイズ低減処理部２５２が取得する第１周波数スペクトルと第２周波数スペクトルとの関係の一例について説明する。図１３は、衝撃音ノイズ低減処理部２５２が取得する第１周波数スペクトルと第２周波数スペクトルとの関係の一例を示す図である。
衝撃音ノイズ低減処理部２５２は、タイミング信号検出部１９１から入力する動作タイミング信号に基づき、例えば、音信号処理部２５１から出力される周波数スペクトルＳ０〜Ｓ３２から、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ２〜Ｓ４を、第１周波数スペクトルとして取得する。また、衝撃音ノイズ低減処理部２５２は、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ９〜Ｓ１２を、第１周波数スペクトルとして取得する。さらに、衝撃音ノイズ低減処理部２５２は、動作開始タイミングｔ３０に対応する衝撃音発生期間ｔ３０〜ｔ３１を示す動作タイミング信号に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ１６〜Ｓ１８を、第１周波数スペクトルとして取得する。また、衝撃音ノイズ低減処理部２５２は、動作反転タイミングｔ４０に対応する衝撃音発生期間ｔ４０〜ｔ４１を示す動作タイミング信号に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ２２〜Ｓ２４を、第１周波数スペクトルとして取得する。さらに、衝撃音ノイズ低減処理部２５２は、動作停止タイミングｔ５０に対応する衝撃音発生期間ｔ５０〜ｔ５１を示す動作タイミング信号に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ２８〜Ｓ３０を、第１周波数スペクトルとして取得する。
【００８９】
また、衝撃音ノイズ低減処理部２５２は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ２に対応する第２周波数スペクトルとして周波数スペクトルＳ２の直前の周波数スペクトルＳ０を取得する。この衝撃音ノイズ低減処理部２５２は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ３に対応する第２周波数スペクトルとして、周波数スペクトル３の直前の周波数スペクトルＳ１を取得する。また、衝撃音ノイズ低減処理部２５２は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ４に対応する第２周波数スペクトルとして、周波数スペクトルＳ４の直後の周波数スペクトルＳ５を取得する。
【００９０】
また、衝撃音ノイズ低減処理部２５２は、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ９に対応する第２周波数スペクトルとして周波数スペクトルＳ９の直前の周波数スペクトルＳ８を、第１周波数スペクトルである周波数スペクトルＳ１０に対応する第２周波数スペクトルとして、周波数スペクトルＳ１０の直前の周波数スペクトルＳ８を、それぞれ取得する。
また、衝撃音ノイズ低減処理部２５２は、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ１１に対応する第２周波数スペクトルとして周波数スペクトルＳ１１の直後の周波数スペクトルＳ１３を、第１周波数スペクトルである周波数スペクトルＳ１２に対応する第２周波数スペクトルとして周波数スペクトルＳ１２の直後の周波数スペクトルＳ１３を、それぞれ取得する。
【００９１】
また、衝撃音ノイズ低減処理部２５２は、動作開始タイミングｔ３０に対応する衝撃音発生期間ｔ３０〜ｔ３１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ１７に対応する第２周波数スペクトルとして周波数スペクトルＳ１７の直前の周波数スペクトルＳ１５を取得する。
また、衝撃音ノイズ低減処理部２５２は、動作開始タイミングｔ３０に対応する衝撃音発生期間ｔ３０〜ｔ３１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ１６に対応する第２周波数スペクトルとして周波数スペクトルＳ１６の直前の周波数スペクトルＳ１５を、第１周波数スペクトルである周波数スペクトルＳ１８に対応する第２周波数スペクトルとして周波数スペクトルＳ１８の直後の周波数スペクトルＳ１９を、それぞれ取得する。
【００９２】
また、衝撃音ノイズ低減処理部２５２は、動作反転タイミングｔ４０に対応する衝撃音発生期間ｔ４０〜ｔ４１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ２３に対応する第２周波数スペクトルとして周波数スペクトルＳ２３の直前の周波数スペクトルＳ２１を取得する。
また、衝撃音ノイズ低減処理部２５２は、動作反転タイミングｔ４０に対応する衝撃音発生期間ｔ４０〜ｔ４１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ２２に対応する第２周波数スペクトルとして周波数スペクトルＳ２２の直前の周波数スペクトルＳ２１を、第１周波数スペクトルである周波数スペクトルＳ２４に対応する第２周波数スペクトルとして周波数スペクトルＳ２４の直後の周波数スペクトルＳ２５を、それぞれ取得する。
【００９３】
また、衝撃音ノイズ低減処理部２５２は、動作停止タイミングｔ５０に対応する衝撃音発生期間ｔ５０〜ｔ５１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ２９に対応する第２周波数スペクトルとして周波数スペクトルＳ２９の直後の周波数スペクトルＳ３１を取得する。
また、衝撃音ノイズ低減処理部２５２は、動作停止タイミングｔ５０に対応する衝撃音発生期間ｔ５０〜ｔ５１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ２８に対応する第２周波数スペクトルとして周波数スペクトルＳ２８の直前の周波数スペクトルＳ２７を、第１周波数スペクトルである周波数スペクトルＳ３０に対応する第２周波数スペクトルとして周波数スペクトルＳ３０の直後の周波数スペクトルＳ３１を、それぞれ取得する。
【００９４】
さらに、衝撃音ノイズ低減処理部２５２は、第１周波数スペクトルの少なくとも一部を第２周波数スペクトルの対応する部分に置き換える。
例えば、衝撃音ノイズ低減処理部２５２は、第１周波数スペクトルのうち予め決められた閾値周波数以上の周波数スペクトルと、第２周波数スペクトルのうち予め決められた閾値周波数以上の周波数スペクトルとを、周波数成分ごとに比較して、第２周波数スペクトルの方が第１周波数スペクトルに比べて小さいと判定した場合に、第１周波数スペクトルにおける当該周波数成分を第２周波数スペクトルの周波数成分に置き換える。
【００９５】
このようにして、衝撃音ノイズ低減処理部２５２は、時間軸方向において、第１周波数スペクトルと隣接する第２周波数スペクトルについて、衝撃音ノイズ低減処理を実行する。
この場合、衝撃音ノイズ低減処理部２５２は、時間軸方向において、第１周波数スペクトルと隣接する周波数スペクトルのうち、駆動音を含まない周波数スペクトルが隣接している場合、この駆動音を含まない周波数スペクトルとの比較を行う。なお、時間軸方向において隣接する周波数スペクトルが駆動音を含む周波数スペクトルと衝撃音を含む周波数スペクトルである場合、衝撃音ノイズ低減処理部２５２は、駆動音を含む周波数スペクトルを第２周波数スペクトルとして取得する。
また、動作反転タイミングｔ４０に対応する衝撃音発生期間ｔ４０〜ｔ４１のように、時間軸方向において、第１周波数スペクトルと隣接する周波数スペクトルが、いずれも駆動音を含む周波数スペクトルである場合、衝撃音ノイズ低減処理部２５２は、いずれか一方の周波数スペクトルを第２周波数スペクトルとして取得する。この場合、衝撃音ノイズ低減処理部２５２は、第１周波数スペクトルと時間軸方向においてより近い周波数スペクトルを第２周波数スペクトルとして取得する。
【００９６】
また、タイミング信号検出部１９１又はノイズ低減処理部２５０等による手順を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものであってもよい。
【００９７】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００９８】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００９９】
１００…撮像装置、１１０…撮像部、１９０…ＣＰＵ、１９１…検出部、１７０…通信部、２００…記憶媒体、２３０…マイク、２４０…Ａ/Ｄ変換部、２５０…ノイズ低減処理部、２５１…音信号処理部、２５２…衝撃音ノイズ低減処理部、２５３…駆動音ノイズ低減処理部、２５４…逆フーリエ変換部
【技術分野】
【０００１】
本発明は、音信号からノイズを減算するノイズ低減処理装置、カメラ、およびノイズ低減処理プログラムに関する。
【背景技術】
【０００２】
例えば、連続的に発生している周囲音をノイズとして除去するため、音信号から周囲音に対応するノイズ（音信号に含まれているノイズ成分）を算出して、このノイズを音信号から減じるものがある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１９５９５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
撮像装置に設けられた光学系において、レンズを駆動するギア列等の駆動系の回転方向が逆転するとき等、一時的にノイズの音量が大きくなる場合がある。このように、動作部の動作状態に応じて駆動により発生するノイズの音量やタイミングが異なる場合、特許文献１の技術を用いたノイズ低減処理を行うと、収音対象である目的音が劣化してしまう問題があった。
【０００５】
本発明は、前記の点に鑑みてなされたものであり、ノイズ低減処理における目的音の劣化を低減するノイズ低減処理装置、カメラ、およびノイズ低減処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決するためになされたものであり、動作部が動作するタイミングを示す動作タイミング信号を検出するタイミング信号検出部と、音信号を取得する音信号取得部と、前記動作タイミング信号を検出して、前記動作部の動作によって生じるノイズ音が発生する可能性の高い期間に取得される音信号の第１周波数スペクトルと、前記ノイズ音が発生しない可能性の高い期間に取得される音信号の第２周波数スペクトルとを算出し、前記算出した第１周波数スペクトルの少なくとも一部を前記算出した第２周波数スペクトルの対応する部分に置き換えた周波数スペクトルに基づき、前記音信号に対してノイズ低減を行ったノイズ低減音信号を算出するノイズ低減処理部と、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、ノイズ低減処理における目的音の劣化を低減することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係るノイズ低減処理部を含む撮像装置の構成の一例を示すブロック図である。
【図２】本発明の実施形態に係る動作部の動作タイミング信号と音信号との関係の一例を説明するための参考図である。
【図３】図２に示す音信号と窓関数との関係を説明するための参考図である。
【図４】本発明の実施形態に係る衝撃音ノイズ低減処理部が取得する第１周波数スペクトルと第２周波数スペクトルの一例を説明するための図である。
【図５】図３に示した各周波数スペクトルの周波数成分の一例を示す図である。
【図６】本実施形態に係る衝撃音ノイズ低減処理の一例について説明するための図である。
【図７】本実施形態に係るノイズ低減処理方法の一例について説明するためのフローチャートである。
【図８】目的音が男声である場合の周波数スペクトルと、目的音が女声である場合の周波数スペクトルの一例を示す図である。
【図９】エンコーダの出力とマイク音信号の一例を示す図である。
【図１０】コマンド出力、エンコーダの出力、およびマイク音信号の一例を示す図である。
【図１１】本発明の実施形態に係る動作部の動作タイミング信号と音信号との関係の他の例を説明するための参考図である。
【図１２】図１１に示す音信号と窓関数との関係を説明するための参考図である。
【図１３】本発明の実施形態に係る衝撃音ノイズ低減処理部が取得する第１周波数スペクトルと第２周波数スペクトルの他の例を説明するための図である。
【発明を実施するための形態】
【０００９】
本発明の実施形態について図面を参照して詳細に説明する。図１には、本実施形態に係る撮像装置の構成を示すブロック図が示されている。
図１に示す通り、撮像装置１００は、光学系による像を撮像し、得られた画像データを記憶媒体２００に記憶させるとともに、マイクによって収音されたマイク音信号に対してノイズ低減処理を行い、ノイズ低減処理後の音信号を記憶媒体２００に記憶させる。
この撮像装置１００は、ノイズ低減処理部２５０を備える。このノイズ低減処理部２５０が、マイクによって収音された音からノイズを低減するノイズ低減処理を行う。
【００１０】
本実施形態に係るノイズ低減処理部２５０は、動作部が動作することによって発生するノイズ（以下、動作音という）を低減するためのノイズ低減処理を実行する。例えば、撮像装置１００において、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）やＶＲ（Ｖｉｂｒａｔｉｏｎ Ｒｅｄｕｃｔｉｏｎ）等の処理において光学系を駆動する場合、モータや光学系が動くことによりノイズ（動作音）が発生する。また、モータが回転方向を切り換えた場合、一時的に大きい音のノイズ（動作音）が発生する。このように、動作部の動作状態が変化した場合に、一時的に発生する大きい音を衝撃音という。一方、この衝撃音よりも小さく、光学系やモータが動いているときに発生する音を駆動音という。つまり、駆動音は、衝撃音以外のノイズである。本実施形態に係るノイズ低減処理部２５０は、マイク音信号から衝撃音によるノイズを低減する衝撃音ノイズ低減処理を行うとともに、マイク音信号から駆動音によるノイズを低減する駆動音ノイズ低減処理を行う。
【００１１】
以下、撮像装置１００とノイズ低減処理部２５０の構成の一例について詳細に説明する。なお、本実施形態において、ノイズ低減処理部２５０は、撮像装置１００に内蔵されている例について説明するが、本発明はこれに限られない。例えば、ノイズ低減処理部２５０は、撮像装置１００の外部装置であってもよい。
【００１２】
撮像装置１００は、撮像部１１０と、バッファメモリ部１３０と、画像処理部１４０と、表示部１５０と、記憶部１６０と、通信部１７０と、操作部１８０と、ＣＰＵ１９０（本発明にかかる制御部に相当する。）と、計時部２２０と、マイク２３０（本発明にかかる音信号取得部に相当する。）と、Ａ/Ｄ変換部２４０と、ノイズ低減処理部２５０と、電池２６０と、を備える。
【００１３】
撮像部１１０は、光学系１１１と、撮像素子１１９と、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部１２０とを備え、設定される撮像条件（例えば絞り値、露出値等）に応じて予め決められた駆動パターンに従って、ＣＰＵ１９０により制御される。この撮像部１１０は、光学系１１１による光学像を撮像素子１１９に結像させて、Ａ／Ｄ変換部１２０によってデジタル信号に変換された光学像に基づく画像データを生成する。
【００１４】
光学系１１１は、焦点調整レンズ（以下、「ＡＦレンズ」という）１１２と、手ブレ補正レンズ（以下、「ＶＲレンズ」という）１１３と、ズームレンズ１１４と、ズームエンコーダ１１５（本発明にかかる動作検出部に相当する。）と、レンズ駆動部１１６（本発明にかかる駆動部に相当する。）と、ＡＦエンコーダ１１７（本発明にかかる動作検出部に相当する。）と、手ブレ補正部１１８（本発明にかかる駆動部に相当する。）を備える。
これら光学系１１１の各構成は、ＣＰＵ１９０による焦点調整処理、手ブレ補正処理、およびズーム処理において、それぞれの駆動パターンに従って、駆動する。つまり、光学系１１１は、撮像装置１００における動作部である。
【００１５】
この光学系１１１は、ズームレンズ１１４から入射し、ズームレンズ１１４、ＶＲレンズ１１３、ＡＦレンズ１１２の順番で通過した光学像を、撮像素子１１９の受光面に導く。
レンズ駆動部１１６は、ＡＦレンズ１１２およびズームレンズ１１４の位置を制御するための駆動制御信号（コマンド）をＣＰＵ１９０から入力する。このレンズ駆動部１１６は、入力する駆動制御信号に応じて、ＡＦレンズ１１２およびズームレンズ１１４の位置を制御する。
つまり、この駆動制御信号がＣＰＵ１９０からレンズ駆動部１１６に入力されてレンズ駆動部１１６が駆動することにより、ＡＦレンズ１１２およびズームレンズ１１４が移動（動作）する。本実施形態において、ＣＰＵ１９０が駆動制御信号を出力したタイミングを、ＡＦレンズ１１２およびズームレンズ１１４の動作が開始された動作開始タイミングという。
【００１６】
ズームエンコーダ１１５は、ズームレンズ１１４の位置を表わすズームポジションを検出し、ＣＰＵ１９０に出力する。このズームエンコーダ１１５は、ズームレンズ１１４の移動を検出し、例えば、ズームレンズ１１４が光学系１１１内を移動している場合にパルス信号をＣＰＵ１９０に出力する。一方、停止している場合、ズームエンコーダ１１５は、パルス信号の出力を停止する。
【００１７】
ＡＦエンコーダ１１７は、ＡＦレンズ１１２の位置を表わすフォーカスポジションを検出し、ＣＰＵ１９０に出力する。このＡＦエンコーダ１１７は、ＡＦレンズ１１２の移動を検出し、例えば、ＡＦレンズ１１２が光学系１１１内を移動している場合にパルス信号をＣＰＵ１９０に出力する。一方、停止している場合、ＡＦエンコーダ１１７は、パルス信号の出力を停止する。
【００１８】
なお、ズームエンコーダ１１５は、ズームポジションを検出するために、ズームレンズ１１４の駆動方向を検出するものであってもよい。また、ＡＦエンコーダ１１７は、フォーカスポジションを検出するために、ＡＦレンズ１１２の駆動方向を検出するものであってもよい。
例えば、ズームレンズ１１４やＡＦレンズ１１２は、レンズ駆動部１１６によって駆動される駆動機構（例えばモータやカム等）が時計回り（ＣＷ）あるいは反時計回り（ＣＣＷ）に回転することにより光軸方向に移動する。ズームエンコーダ１１５およびＡＦエンコーダ１１７は、それぞれ、駆動機構の回転方向（ここでは、時計回りあるいは反時計回り）を検出することよって、ズームレンズ１１４およびＡＦレンズ１１２が移動していることを検出するものであってもよい。
【００１９】
手ブレ補正部１１８は、例えば振動ジャイロ機構を備え、光学系１１１による像の光軸ぶれを検出し、この光軸ぶれを打ち消す方向にＶＲレンズ１１３を動かす。この手ブレ補正部１１８は、例えばＶＲレンズ１１３を動かしている状態においてハイレベルの信号をＣＰＵ１９０に出力する。一方、ＶＲレンズ１１３を停止させている状態において、手ブレ補正部１１８は、ローレベルの信号の出力を停止する。
【００２０】
撮像素子１１９は、例えば、光電変換面を備え、その受光面に結像した光学像を電気信号に変換して、Ａ／Ｄ変換部１２０に出力する。
この撮像素子１１９は、操作部１８０を介して撮影指示を受け付けた際に得られる画像データを、静止画又は動画の画像データとして、Ａ／Ｄ変換部１２０を介して記憶媒体２００に記憶させる。一方、撮像素子１１９は、操作部１８０を介して撮像指示を受け付けていない状態において、連続的に得られる画像データをスルー画データとして、Ａ／Ｄ変換部１２０を介してＣＰＵ１９０および表示部１５０に出力する。
【００２１】
Ａ／Ｄ変換部１２０は、撮像素子１１９によって変換された電気信号をデジタル化して、デジタル信号である画像データをバッファメモリ部１３０に出力する。
【００２２】
バッファメモリ部１３０は、撮像部１１０によって撮像された画像データを、一時的に記憶する。また、バッファメモリ部１３０は、マイク２３０が収音したマイク検出音に応じたマイク音信号を、一時的に記憶する。なお、バッファメモリ部１３０は、マイク検出音が収音された時刻と、バッファメモリ部１３０における位置とを対応付けて、マイク検出音に応じたマイク音信号を記憶してもよい。
【００２３】
画像処理部１４０は、記憶部１６０に記憶されている画像処理条件を参照して、バッファメモリ部１３０に一時的に記憶されている画像データに対して、画像処理をする。画像処理された画像データは、通信部１７０を介して記憶媒体２００に記憶される。なお、画像処理部１４０は、記憶媒体２００に記憶されている画像データに対して、画像処理をしてもよい。
【００２４】
表示部１５０は、例えば液晶ディスプレイであって、撮像部１１０によって得られた画像データや操作画面等を表示する。
【００２５】
記憶部１６０は、ＣＰＵ１９０によってシーン判定の際に参照される判定条件や、シーン判定によって判断されたシーン毎に対応付けられた撮像条件等を記憶する。
【００２６】
通信部１７０は、カードメモリ等の取り外しが可能な記憶媒体２００と接続され、この記憶媒体２００への情報（画像データや音データ等）の書込み、読み出し、あるいは消去を行う。
【００２７】
操作部１８０は、例えば、電源スイッチ、シャッターボタン、マルチセレクタ（十字キー）、又はその他の操作キーを備え、ユーザによって操作されることでユーザの操作入力を受け付け、操作入力に応じた操作情報をＣＰＵ１９０に出力する。この操作部１８０は、ユーザによって押下される際、物理的な動作音を発生する場合がある。本実施形態において、ユーザの操作入力に応じた操作情報が操作部１８０からＣＰＵ１９０に入力するタイミングを、操作部１８０の動作が開始される動作開始タイミングという。
【００２８】
記憶媒体２００は、撮像装置１００に対して着脱可能に接続される記憶部であって、例えば、撮像部１１０によって生成された（撮影された）画像データや、ノイズ低減処理部２５０により音信号処理された音信号を記憶する。
【００２９】
バス２１０は、撮像部１１０と、バッファメモリ部１３０と、画像処理部１４０と、表示部１５０と、記憶部１６０と、通信部１７０と、操作部１８０と、ＣＰＵ１９０と、計時部２２０と、Ａ/Ｄ変換部２４０と、ノイズ低減処理部２５０と接続され、各構成部から出力されたデータ等を転送する。
【００３０】
計時部２２０は、日にちや時刻を計時して、計時した日時を表わす日時情報を出力する。
【００３１】
マイク２３０は、周辺の音を収音し、この音のマイク音信号をＡ/Ｄ変換部２４０に出力する。このマイク２３０によって収音されるマイク検出音には、主に、収音対象である目的音と、動作部による動作音（ノイズ）とが含まれている。
【００３２】
ここで、マイク２３０によって取得されたマイク音信号について、例えば、ＡＦレンズ１１２が動作された時に得られたマイク音信号を例に、図２、３を参照して説明する。
図２（Ａ）は、ＡＦエンコーダ１１７の出力と時間との関係の一例を示す。図２（Ｂ）は、マイク音信号と時間の関係の一例が示されている。なお、図２（Ｂ）は、説明便宜のため、マイク音信号のうち、動作音の音信号のみを示し、目的音の音信号の図示を省略する。図２（Ａ）と図２（Ｂ）に示すＡＦレンズ１１２の駆動パターンは、例えば、焦点距離αでピントを合わせるＡＦ処理を行う場合の駆動パターンを示す。
【００３３】
図２（Ａ）には、その縦軸に、ＡＦエンコーダ１１７出力から求めた、ＡＦレンズ１１２を駆動する駆動機構の回転方向を示す。
この焦点距離αでピントを合わせるＡＦ処理を行う駆動パターンでは、図２（Ａ）に示す通り、ＡＦレンズ１１２を駆動する駆動機構が、時刻ｔ１０〜ｔ２０において、時計回りＣＷに回転して、その後静止する。
つまり、時刻ｔ１０は、ＡＦレンズ１１２の動作開始タイミングを、時刻ｔ２０は、ＡＦレンズ１１２の動作停止タイミングを、それぞれ表わしている。なお、本実施形態において、動作開始タイミングの時刻ｔ１０は、ＡＦレンズ１１２の位置を制御するための駆動制御信号をＣＰＵ１９０が出力したタイミングを示す。動作停止タイミングの時刻ｔ２０は、ＡＦエンコーダ１１７からのパルス信号の出力が停止したタイミングを示す。
【００３４】
従って、図２（Ｂ）に示す通り、時刻ｔ１０〜ｔ２０の期間で、マイク音信号にＡＦレンズ１１２による動作音が重畳（発生）している、又は、動作音が重畳している可能性が高い。本実施形態においては、時刻ｔ１０〜ｔ２０の期間において、ＡＦレンズ１１２による動作音であるノイズが発生している場合について以下説明する。
また、図２（Ｂ）に示す通り、時刻ｔ１０、ｔ２０においては、それぞれ衝撃音が発生している可能性が高い。本実施形態においては、時刻ｔ１０、ｔ２０において、ＡＦレンズ１１２による衝撃音が発生している場合について以下説明する。
【００３５】
また、衝撃音が発生した場合、その衝撃音が発生している可能性の高い時間は、各駆動パターンに応じて予め決められている。焦点距離αでピントを合わせるＡＦ処理を行う駆動パターンでは、図３に示すような衝撃音の発生する時間が決められている。
図３は、焦点距離αでピントを合わせるＡＦ処理を行う駆動パターンでＡＦレンズ１１２を駆動した際に、マイク２３０で収音されるマイク音信号の一例を示す。図３に示すグラフは、縦軸にマイク２３０によって収音されたマイク音信号を、横軸に時間を、それぞれ示す。なお、図３は、説明便宜のため、マイク音信号のうち、動作音の音信号のみを示し、目的音の音信号の図示を省略する。
焦点距離αでピントを合わせるＡＦ処理を行う駆動パターンでは、時刻ｔ１０〜ｔ１１までの時間、および時刻ｔ２０〜ｔ２１までの時間が、それぞれ、衝撃音の発生する時間であると予め決められている。
本実施形態では、図３に示す通り、この衝撃音の発生する期間において、衝撃音が発生している例について説明する。
【００３６】
図１に戻って、撮像装置１００の各構成の説明を続ける。
ＣＰＵ１９０は、設定された撮像条件（例えば絞り値、露出値等）に応じた駆動パターンに従って撮像部１１０を制御する。このＣＰＵ１９０は、ズームエンコーダ１１５から出力されるズームポジションおよびＡＦエンコーダ１１７から出力されるフォーカスポジションに基づき、レンズ駆動部１１６を駆動する駆動制御信号を生成して、レンズ駆動部１１６に出力する。その生成アルゴリズムは、必要に応じて既存のアルゴリズムを適宜用いてよい。
【００３７】
タイミング信号検出部１９１は、撮像装置１００が備えている動作部の動作状態が変化するタイミングを検出する。この動作状態が変化するタイミングとしては、例えば、動作部が動作を開始する動作開始タイミングと、動作部の動作が停止する動作停止タイミングとがある。
ここでいう動作部とは、例えば、上述した光学系１１１、あるいは、操作部１８０のことであり、撮像装置１００が備えている構成のうち、動作することにより、または、動作されることにより、動作音が生じる（または、動作音が生じる可能性がある）構成である。
言い換えると、動作部とは、撮像装置１００が備えている構成のうち、動作部が動作することにより生じた動作音、または、動作部が動作されることにより生じた動作音が、マイク２３０により収音される（または、収音される可能性のある）構成である。
【００３８】
例えば、このタイミング信号検出部１９１は、動作部を動作させる駆動制御信号に基づいて、動作部の動作状態が変化するタイミングを検出してもよい。この駆動制御信号とは、動作部を動作させる駆動部に対して、動作部を動作させるようにする駆動制御信号、または、この駆動部を駆動させる駆動制御信号である。
【００３９】
例えば、タイミング信号検出部１９１は、ズームレンズ１１４、ＶＲレンズ１１３、または、ＡＦレンズ１１２を駆動させるため、レンズ駆動部１１６または手ブレ補正部１１８に入力される駆動制御信号に基づいて、ズームレンズ１１４、ＶＲレンズ１１３、または、ＡＦレンズ１１２の動作が開始された動作開始タイミングを検出する。この場合、タイミング信号検出部１９１は、ＣＰＵ１９０が駆動制御信号を生成する場合にＣＰＵ１９０内部で実行される処理やコマンドに基づいて、動作開始タイミングを検出してもよい。
また、タイミング信号検出部１９１は、操作部１８０から入力されるズームレンズ１１４、または、ＡＦレンズ１１２を駆動させることを示す操作信号に基づいて、動作開始タイミングを検出してもよい。
【００４０】
また、タイミング信号検出部１９１は、動作部が動作されたことを示す信号に基づいて、動作部の動作状態が変化するタイミングを検出してもよい。
例えば、タイミング信号検出部１９１は、ズームエンコーダ１１５またはＡＦエンコーダ１１７の出力に基づいて、ズームレンズ１１４またはＡＦレンズ１１２が駆動されたことを検出することにより、ズームレンズ１１４またはＡＦレンズ１１２の動作開始タイミングを検出してもよい。また、タイミング信号検出部１９１は、ズームエンコーダ１１５またはＡＦエンコーダ１１７の出力に基づいて、ズームレンズ１１４またはＡＦレンズ１１２が停止されたことを検出することにより、ズームレンズ１１４またはＡＦレンズ１１２の動作停止タイミングを検出してもよい。
また、タイミング信号検出部１９１は、手ブレ補正部１１８からの出力に基づいて、ＶＲレンズ１１３が駆動されたことを検出することにより、ＶＲレンズ１１３の動作開始タイミングを検出してもよい。このタイミング信号検出部１９１は、手ブレ補正部１１８からの出力に基づいて、ＶＲレンズ１１３が停止されたことを検出することにより、ＶＲレンズ１１３の動作停止タイミングを検出してもよい。
さらに、タイミング信号検出部１９１は、操作部１８０からの入力に基づいて、操作部１８０が操作されたことを検出することにより、動作部が動作するタイミングを検出してもよい。
【００４１】
タイミング信号検出部１９１は、撮像装置１００が備えている動作部の動作開始タイミングを検出し、検出した動作開始タイミングを示す動作開始タイミング信号を、ノイズ低減処理部２５０に出力する。また、タイミング信号検出部１９１は、動作停止タイミングを検出し、この検出した動作停止タイミングを示す動作停止タイミング信号を、ノイズ低減処理部２５０に出力する。
本実施形態において、タイミング信号検出部１９１は、ＡＦレンズ１１２を動かす駆動制御信号がＣＰＵ１９０からレンズ駆動部１１６に出力されるタイミングを、ＡＦレンズ１１２の動作開始タイミングと判定する。タイミング信号検出部１９１は、例えば、図３を用いた例で示す衝撃音が発生している時刻ｔ１０〜ｔ１１を示す情報を、動作開始タイミング信号として出力する。
また、タイミング信号検出部１９１は、ＡＦエンコーダ１１７から出力されるパルス信号に基づき、このパルス信号の出力が停止した時を、ＡＦレンズ１１２の動作が停止した動作停止タイミングと判定する。タイミング信号検出部１９１は、例えば、図３を用いた例で示す衝撃音が発生している時刻ｔ２０〜ｔ２１を示す情報を、動作停止タイミング信号として出力する。
【００４２】
Ａ/Ｄ変換部２４０は、マイク２３０から入力されたアナログ信号であるマイク音信号をデジタル信号であるマイク音信号に変換する。このＡ/Ｄ変換部２４０は、デジタル信号であるマイク音信号を、ノイズ低減処理部２５０に出力する。
また、Ａ/Ｄ変換部２４０は、デジタル信号であるマイク音信号を、バッファメモリ部１３０あるいは記憶媒体２００に記憶させる構成であってもよい。
【００４３】
ノイズ低減処理部２５０は、Ａ／Ｄ変換部２４０によりデジタル信号に変換されたマイク音信号に対して、例えばＡＦレンズ１１２、ＶＲレンズ１１３、ズームレンズ１１４等の動作部による動作音であるノイズを低減するなどのノイズ低減処理を実行し、このノイズ低減処理した音信号を記憶媒体２００に記憶させる。
このノイズ低減処理部２５０は、音信号処理部２５１と、衝撃音ノイズ低減処理部２５２と、駆動音ノイズ低減処理部２５３と、逆フーリエ変換部２５４とを含む。
【００４４】
音信号処理部２５１は、Ａ/Ｄ変換部２４０から出力されたマイク音信号に対して、予め決められた区間ごとに窓関数で重み付けするとともに、この区間毎のマイク音信号を周波数領域で表わされるスペクトルに変換して、この周波数領域で表わされるスペクトルを衝撃音ノイズ低減処理部２５２および駆動音ノイズ低減処理部２５３に出力する。
この音信号処理部２５１は、例えば、マイク音信号にフーリエ変換、あるいは高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）を行うことで、マイク音信号を周波数領域に変換する。音信号処理部２５１は、例えば、マイク音信号にフーリエ変換を行うことで、窓関数の各区間に対応する周波数スペクトルを算出する。
ここで、窓関数において予め定められた区間とは、信号処理の単位（フレーム）であって、一定の間隔で繰り返される区間である。これらの窓関数の各区間は、他の窓関数の各区間と半分ずつオーバーラップしている。なお、窓関数は、例えば、ハニング窓（ハニングウィンドウ）関数が利用可能である。
【００４５】
上述した図３を参照して、音信号処理部２５１により算出される窓関数の各区間に対応する周波数スペクトルの一例について説明する。
音信号処理部２５１は、上述の通り、Ａ/Ｄ変換部２４０から出力されたマイク音信号に対して、図３に示すように他の区間と半分ずつオーバーラップしている窓関数Ｗ１〜Ｗ１４で重み付けをする。これにより、マイク音信号は、窓関数のサイズに分割される。この音信号処理部２５１は、窓関数Ｗ１〜Ｗ１４で重み付けされた各区間のマイク音信号ごとに、例えばフーリエ変換を行い、周波数領域における周波数スペクトルＳ１〜Ｓ１４を算出する。つまり、音信号処理部２５１によって算出される周波数スペクトルＳ１〜Ｓ１４は、窓関数Ｗ１〜Ｗ１４の区間に対応する周波数スペクトルである。
【００４６】
図３に示す通り、時刻ｔ１０〜ｔ１１の区間、時刻ｔ２０〜ｔ２１の区間が、衝撃音が発生している区間である。また、時刻ｔ１１〜ｔ２０の区間が、駆動音が発生している区間である。
本実施形態において、窓関数Ｗ２〜Ｗ４に対応する周波数スペクトルＳ２〜Ｓ４は、ＡＦレンズ１１２の動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１に対応する音情報である。また、窓関数Ｗ９〜Ｗ１２に対応する周波数スペクトルＳ９〜Ｓ１２は、ＡＦレンズ１１２の動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１に対応する音情報である。窓関数Ｗ５〜Ｗ８に対応する周波数スペクトルＳ５〜Ｓ８は、ＡＦレンズ１１２による駆動音の発生期間に対応する音情報である。
音信号処理部２５１は、例えば、周波数スペクトルＳ１〜Ｓ１４を算出し、衝撃音発生期間に対応する周波数スペクトルの周波数成分の総和と、予め決められた閾値とを比較する。この予め決められた閾値とは、衝撃音に対して目的音が大きいため衝撃音による音声劣化が少ないとされる目的音の周波数スペクトルの周波数成分の総和である。
衝撃音発生期間に対応する周波数スペクトルの周波数成分の総和が、予め決められた閾値未満であると判定した場合、駆動音ノイズ低減処理部２５３は、算出した周波数スペクトルＳ１〜Ｓ１４を衝撃音ノイズ低減処理部２５２に出力して、衝撃音ノイズ低減処理を実行するよう制御する。
一方、衝撃音発生期間に対応する周波数スペクトルの周波数成分の総和が、予め決められた閾値以上であると判定した場合、駆動音ノイズ低減処理部２５３は、算出した周波数スペクトルＳ１〜Ｓ１４を駆動音ノイズ低減処理部２５３に出力して、駆動音ノイズ低減処理を実行するよう制御する。
【００４７】
衝撃音ノイズ低減処理部２５２は、タイミング信号検出部１９１から入力する動作タイミング信号に基づき、例えば、音信号処理部２５１から出力される周波数スペクトルＳ１〜Ｓ１４から、衝撃音が発生している可能性の高い期間に対応する周波数スペクトル（以下、第１周波数スペクトルという）を取得する。例えば、衝撃音ノイズ低減処理部２５２は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ２〜Ｓ４を、第１周波数スペクトルとして取得する。衝撃音ノイズ低減処理部２５２は、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ９〜Ｓ１２を、第１周波数スペクトルとして取得する。
【００４８】
また、衝撃音ノイズ低減処理部２５２は、タイミング信号検出部１９１から入力する動作タイミング信号に基づき、音信号処理部２５１から出力される周波数スペクトルＳ１〜Ｓ１４から、衝撃音が発生していない可能性の高い期間に対応する周波数スペクトル（以下、第２周波数スペクトルという）を取得する。この衝撃音ノイズ低減処理部２５２は、衝撃音を含んでいる可能性の高い第１周波数スペクトルごとに、この衝撃音を含む可能性の低い第２周波数スペクトルを取得する。本実施形態において、衝撃音ノイズ低減処理部２５２は、第１周波数スペクトルと時間軸方向において最も近い周波数スペクトルを第２周波数スペクトルとして取得する。つまり、衝撃音ノイズ低減処理部２５２は、第１周波数スペクトルと時間軸方向に隣接あるいは重複する周波数スペクトルを第２周波数スペクトルとして取得する。
なお、本実施形態において、第２周波数スペクトルは、衝撃音が発生していない可能性の高い期間に対応する周波数スペクトルである。しかし、本発明はこれに限られず、第２周波数スペクトルは、動作部の動作によって発生するノイズ音が発生しない可能性の高い期間に対応する周波数スペクトルであることが好ましい。また、動作音が発生していない可能性の高い期間に対応する周波数スペクトルであってもよい。
【００４９】
ここで、図４を参照して、衝撃音ノイズ低減処理部２５２が取得する第１周波数スペクトルと第２周波数スペクトルとの関係の一例について説明する。図４は、衝撃音ノイズ低減処理部２５２が取得する第１周波数スペクトルと第２周波数スペクトルの一例を説明するための図である。
例えば、衝撃音ノイズ低減処理部２５２は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ２、Ｓ３に対応する第２周波数スペクトルとして、周波数スペクトルＳ２、３の時間軸の過去方向に最も近い周波数スペクトルＳ１を取得する。また、衝撃音ノイズ低減処理部２５２は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ４に対応する第２周波数スペクトルとして、周波数スペクトルＳ４の時間軸の未来方向に最も近い周波数スペクトルＳ５を取得する。
【００５０】
また、衝撃音ノイズ低減処理部２５２は、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ９、Ｓ１０に対応する第２周波数スペクトルとして、周波数スペクトルＳ９、１０の時間軸の過去方向に最も近い周波数スペクトルＳ８を取得する。また、衝撃音ノイズ低減処理部２５２は、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ１１、１２に対応する第２周波数スペクトルとして、周波数スペクトルＳ１１、１２の時間軸の未来方向に最も近い周波数スペクトルＳ１３を取得する。
【００５１】
さらに、衝撃音ノイズ低減処理部２５２は、第１周波数スペクトルの少なくとも一部を第２周波数スペクトルの対応する部分に置き換える。
例えば、衝撃音ノイズ低減処理部２５２は、第１周波数スペクトルのうち予め決められた閾値周波数以上の周波数スペクトルと、第２周波数スペクトルのうち予め決められた閾値周波数以上の周波数スペクトルとを、周波数成分ごとに比較して、第２周波数スペクトルの方が第１周波数スペクトルに比べて小さいと判定した場合に、第１周波数スペクトルにおける当該周波数成分を第２周波数スペクトルの周波数成分に置き換える。
【００５２】
図５を参照して詳細に説明する。図５は、一部の周波数スペクトルの周波数成分の一例について説明するための図である。なお、本実施の形態では、説明便宜のため、図３に示すマイク音信号のうち、窓関数Ｗ１，Ｗ３，Ｗ５，Ｗ７，Ｗ１１，Ｗ１３に対応する周波数スペクトルＳ１，Ｓ３，Ｓ５，Ｓ７，Ｓ１１，Ｓ１３について説明する。
図５に示す通り、周波数スペクトルＳ１，Ｓ３，Ｓ５，Ｓ７，Ｓ１１，Ｓ１３は、それぞれ、周波数成分ｆ１〜ｆ９の周波数成分を含む。
例えば、衝撃音ノイズ低減処理部２５２は、各周波数スペクトルの閾値周波数以上の周波数成分として、周波数成分ｆ３〜ｆ９について、第１周波数スペクトルと第２周波数スペクトルを比較することが予め決められている。よって、衝撃音ノイズ低減処理部２５２は、周波数成分ｆ１，ｆ２については、第１周波数スペクトルと第２周波数スペクトルを比較しない。
【００５３】
ここで、図６を参照して、周波数スペクトルＳ１とＳ３について、衝撃音ノイズ低減処理部２５２による衝撃音ノイズ低減処理の一例について説明する。
図６は、周波数スペクトルＳ１とＳ３の周波数成分ごとに、振幅の比較について説明するための図である。
例えば、衝撃音ノイズ低減処理部２５２は、周波数スペクトルＳ１の周波数成分ｆ３の振幅と、周波数スペクトルＳ３の周波数成分ｆ３の振幅とを比較する。この場合、周波数スペクトルＳ１の周波数成分ｆ３の振幅の方が、周波数スペクトルＳ３の周波数成分ｆ３の振幅に比べて小さい。よって、衝撃音ノイズ低減処理部２５２は、周波数スペクトルＳ３の周波数成分ｆ３を、周波数スペクトルＳ１の周波数成分ｆ３に置き換える。
また、衝撃音ノイズ低減処理部２５２は、周波数スペクトルＳ１の周波数成分ｆ４の振幅と、周波数スペクトルＳ３の周波数成分ｆ４の振幅とを比較する。この場合、周波数スペクトルＳ１の周波数成分ｆ４の振幅の方が、周波数スペクトルＳ３の周波数成分ｆ４の振幅に比べて大きい。よって、衝撃音ノイズ低減処理部２５２は、周波数スペクトルＳ３の周波数成分ｆ４を、周波数スペクトルＳ１の周波数成分ｆ４に置き換えない。
このようにして、衝撃音ノイズ低減処理部２５２は、周波数スペクトルＳ１の周波数成分の振幅の方が、周波数スペクトルＳ３の周波数成分の振幅に比べて小さい場合のみ、周波数スペクトルＳ３の周波数成分を周波数スペクトルＳ１の周波数成分に置き換える。
図６に示す場合、衝撃音ノイズ低減処理部２５２は、周波数スペクトルＳ３の周波数成分ｆ３、ｆ６〜ｆ９を周波数スペクトルＳ１の周波数成分ｆ３、ｆ６〜ｆ９に置き換える。
【００５４】
図１に戻って、ノイズ低減処理部２５０の各構成の説明を続ける。
駆動音ノイズ低減処理部２５３は、タイミング信号検出部１９１から入力する動作タイミング信号に基づき、例えば、音信号処理部２５１から出力される周波数スペクトルＳ１〜Ｓ１４から、駆動音が発生している可能性の高い期間に対応する周波数スペクトル（以下、第３周波数スペクトルという）を取得する。例えば、駆動音ノイズ低減処理部２５３は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号と、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、駆動音が発生している可能性のある期間に対応する周波数スペクトルＳ２〜Ｓ１２を、第３周波数スペクトルとして取得する。
【００５５】
この駆動音ノイズ低減処理部２５３は、取得した第３周波数スペクトルに対して、駆動パターンに応じて予め決められているノイズを低減する駆動音ノイズ低減処理を行う。例えば、駆動音ノイズ低減処理部２５３は、駆動パターンに応じて予め決められているノイズを表わす周波数スペクトルの周波数成分を、第３周波数スペクトルの周波数成分から減算する周波数スペクトル減算法を用いる。なお、駆動パターンに応じて予め決められているノイズの周波数スペクトルは、設定値として駆動音ノイズ低減処理部２５３に予め設定されている。しかし本発明はこれに限られず、駆動音ノイズ低減処理部２５３が、過去のマイク音信号に基づき、駆動音が発生している区間の周波数スペクトルから駆動音が発生していない区間の周波数スペクトルを減算することにより、推定される駆動音のノイズの周波数スペクトルを、駆動パターンごとに算出しておくものであってもよい。
【００５６】
逆フーリエ変換部２５４は、駆動音ノイズ低減処理部２５３から入力された周波数スペクトルに対して、例えば逆フーリエ変換、あるいは逆高速フーリエ変換（ＩＦＦＴ：Inverse Fast Fourier Transform）を行うことで、時間領域に変換する。
この逆フーリエ変換部２５４は、時間領域に変換された音信号を記憶媒体２００に記憶させる。なお、逆フーリエ変換部２５４は、時間領域に変換された音信号と、撮像素子１１９により撮像された画像データとを、対応する日時情報を有する同士で対応付けて、記憶媒体２００に記憶させてもよく、音信号を含む動画として記憶してもよい。
【００５７】
次に、図７を参照して、本実施形態に係るノイズ低減処理方法の一例について説明する。図７は、本実施形態に係るノイズ低減処理方法の一例を示すフローチャートである。
例えば、操作部１８０の電源スイッチがＯＮされると、撮像装置１００に電源が投入され、電池２６０から各構成部に対して電力が供給される。本実施形態では、撮像装置１００に対して、撮像時の画像データと音声データを対応付けて記憶媒体２００に記憶させることが予め設定されている。
【００５８】
（ステップＳＴ１）
マイク２３０は、例えば、電源がＯＮされると、収音されたマイク音信号をＡ/Ｄ変換部２４０に出力する。Ａ/Ｄ変換部２４０は、アナログ信号であるマイク音信号をデジタル変換したマイク音信号をノイズ低減処理部２５０に出力する。
ノイズ低減処理部２５０は、Ａ/Ｄ変換部２４０からマイク音信号を入力する。
【００５９】
ここで、ユーザによって、操作部１８０のレリーズボタンが押下された場合、ＣＰＵ１９０は、ＡＦ処理において、例えば焦点距離αでピントを合わせるＡＦ処理を実行するための駆動制御信号をレンズ駆動部１１６とタイミング信号検出部１９１に出力する。
このレンズ駆動部１１６は、入力する駆動制御信号に基づき、焦点距離αでピントを合わせる駆動パターンに従って、ＡＦレンズ１１２を移動させる。例えば、レンズ駆動部１１６は、ＡＦレンズ１１２の駆動機構を時計回りに所定量回転させて、ＡＦレンズ１１２を移動させる。なお、この駆動機構を回転させる回転量やスピードは、焦点距離αでピントを合わせる駆動パターンとして、予め決められている。
ＡＦレンズ１１２が動くと、ＡＦエンコーダ１１７は、パルス信号をＣＰＵ１９０のタイミング信号検出部１９１に出力する。動いていたＡＦレンズ１１２が停止すると、ＡＦエンコーダ１１７は、パルス信号出力を停止する。
【００６０】
タイミング信号検出部１９１は、入力する駆動制御信号やＡＦエンコーダ１１７のパルス信号に基づき、焦点距離αでピントを合わせる駆動パターンに従って、動作タイミング信号を生成し、ノイズ低減処理部２５０に出力する。
例えば、焦点距離αでピントを合わせるＡＦ処理を実行するための駆動制御信号を入力した場合、タイミング信号検出部１９１は、ＡＦレンズ１１２の動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作開始タイミング信号を生成し、ノイズ低減処理部２５０に出力する。
そして、ＡＦエンコーダ１１７から入力するパルス信号が停止された場合、タイミング信号検出部１９１は、ＡＦレンズ１１２の動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作停止タイミング信号を生成し、ノイズ低減処理部２５０に出力する。
【００６１】
（ステップＳＴ２）
ノイズ低減処理部２５０は、タイミング信号検出部１９１から動作タイミング信号が入力されたか否かを判定する。
（ステップＳＴ３）
動作タイミング信号が入力された場合、ノイズ低減処理部２５０の音信号処理部２５１は、Ａ／Ｄ変換部２４０から出力されたマイク音信号に対して、予め決められた区間ごとに窓関数で重み付けするとともに、この区間毎のマイク音信号を周波数領域で表わされる周波数スペクトルに変換する。音信号処理部２５１は、例えば、窓関数で重み付けされた音信号をフーリエ変換して、周波数スペクトルＳ１〜Ｓ１４を算出する。
【００６２】
（ステップＳＴ４）
そして、音信号処理部２５１は、動作タイミング信号に基づき、衝撃音発生期間に対応する周波数スペクトルの周波数成分の総和と、予め決められた閾値とを比較する。
例えば、音信号処理部２５１は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ２〜Ｓ４を取得する。そして、音信号処理部２５１は、周波数スペクトルＳ２〜Ｓ４ごとに、周波数成分の総和が予め決められた閾値未満であるか否かを判定する。また、音信号処理部２５１は、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ９〜Ｓ１２を取得する。そして、音信号処理部２５１は、周波数スペクトルＳ９〜Ｓ１２ごとに、周波数成分の総和が予め決められた閾値未満であるか否かを判定する。
【００６３】
そして、音信号処理部２５１は、周波数成分の総和が予め決められた閾値未満であった周波数スペクトルを衝撃音ノイズ低減処理部２５２に出力するとともに、この周波数スペクトルに対して衝撃音ノイズ低減処理を実行するよう衝撃音ノイズ低減処理部２５２を制御する。
【００６４】
（ステップＳＴ５）
次いで、衝撃音ノイズ低減処理部２５２は、音信号処理部２５１から衝撃音ノイズ低減処理を実行する制御に基づき、Ａ/Ｄ変換部２４０から入力するマイク音信号に対して衝撃音ノイズ低減処理を実行する。
例えば、衝撃音ノイズ低減処理部２５２は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ２〜Ｓ４を、第１周波数スペクトルとして取得する。
そして、衝撃音ノイズ低減処理部２５２は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ２、Ｓ３に対応する第２周波数スペクトルとして、周波数スペクトルＳ２、３の直前の周波数スペクトルＳ１を取得する。また、衝撃音ノイズ低減処理部２５２は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ４に対応する第２周波数スペクトルとして、周波数スペクトルＳ４の直後の周波数スペクトルＳ５を取得する。
【００６５】
また、衝撃音ノイズ低減処理部２５２は、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ９〜Ｓ１２を、第１周波数スペクトルとして取得する。
そして、衝撃音ノイズ低減処理部２５２は、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ９、Ｓ１０に対応する第２周波数スペクトルとして、周波数スペクトルＳ９、１０の直前の周波数スペクトルＳ８を取得する。また、衝撃音ノイズ低減処理部２５２は、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ１１、１２に対応する第２周波数スペクトルとして、周波数スペクトルＳ１１、１２の直後の周波数スペクトルＳ１３を取得する。
【００６６】
（ステップＳＴ６）
次いで、衝撃音ノイズ低減処理部２５２は、各周波数スペクトルの閾値周波数以上の周波数成分として、周波数成分ｆ３〜ｆ９について、第１周波数スペクトルと第２周波数スペクトルを比較する。
例えば、衝撃音ノイズ低減処理部２５２は、周波数スペクトルＳ１の周波数成分ｆ３の振幅と、周波数スペクトルＳ２の周波数成分ｆ３の振幅とを比較する。この場合、周波数スペクトルＳ１の周波数成分ｆ３の振幅の方が、周波数スペクトルＳ２の周波数成分ｆ３の振幅に比べて小さい。よって、衝撃音ノイズ低減処理部２５２は、周波数スペクトルＳ３の周波数成分ｆ３を、周波数スペクトルＳ１の周波数成分ｆ３に置き換える。
また、衝撃音ノイズ低減処理部２５２は、周波数スペクトルＳ１の周波数成分ｆ４の振幅と、周波数スペクトルＳ２の周波数成分ｆ４の振幅とを比較する。この場合、周波数スペクトルＳ１の周波数成分ｆ４の振幅の方が、周波数スペクトルＳ２の周波数成分ｆ４の振幅に比べて大きい。よって、衝撃音ノイズ低減処理部２５２は、周波数スペクトルＳ３の周波数成分ｆ４を、周波数スペクトルＳ１の周波数成分ｆ４に置き換えない。
このようにして、衝撃音ノイズ低減処理部２５２は、周波数スペクトルＳ１の周波数成分の振幅の方が、周波数スペクトルＳ３の周波数成分の振幅に比べて小さい場合のみ、周波数スペクトルＳ３の周波数成分を周波数スペクトルＳ１の周波数成分に置き換える。
そして、衝撃音ノイズ低減処理部２５２は、周波数スペクトルＳ３の周波数成分ｆ３、ｆ６〜ｆ９を、周波数成分を周波数スペクトルＳ１の周波数成分ｆ３、ｆ６〜ｆ９と置き換えて、衝撃音ノイズ低減処理後の周波数スペクトルＳ´３を駆動音ノイズ低減処理部２５３に出力する。
【００６７】
衝撃音ノイズ低減処理部２５２は、同様にして、第１周波数スペクトルである周波数スペクトルＳ２と第２周波数スペクトルＳ１との比較と、第１周波数スペクトルである周波数スペクトルＳ４と第２周波数スペクトルＳ５との比較を行う。そして、第２周波数スペクトルＳ１、Ｓ５の周波数成分の振幅の方が、それぞれ、周波数スペクトルＳ２、Ｓ４の周波数成分の振幅に比べて小さい場合のみ、周波数スペクトルＳ２、Ｓ４の周波数成分をそれぞれ周波数スペクトルＳ１、Ｓ５の周波数成分に置き換えて、衝撃音ノイズ低減処理後の周波数スペクトルＳ´２、Ｓ´４を駆動音ノイズ低減処理部２５３に出力する。
【００６８】
また、衝撃音ノイズ低減処理部２５２は、同様にして、第１周波数スペクトルである周波数スペクトルＳ９、Ｓ１０と第２周波数スペクトルＳ８との比較、および第１周波数スペクトルである周波数スペクトルＳ１１、Ｓ１２と第２周波数スペクトルＳ１３との比較を行う。そして、第２周波数スペクトルＳ８の周波数成分の振幅の方が、それぞれ、周波数スペクトルＳ９、Ｓ１０の周波数成分の振幅に比べて小さい場合のみ、周波数スペクトルＳ９、Ｓ１０の周波数成分をそれぞれ周波数スペクトルＳ８の周波数成分に置き換えて、衝撃音ノイズ低減処理後の周波数スペクトルＳ´９、Ｓ´１０を駆動音ノイズ低減処理部２５３に出力する。同様にして、第２周波数スペクトルＳ１３の周波数成分の振幅の方が、それぞれ、周波数スペクトルＳ１１、Ｓ１２の周波数成分の振幅に比べて小さい場合のみ、周波数スペクトルＳ１１、Ｓ１２の周波数成分をそれぞれ周波数スペクトルＳ１３の周波数成分に置き換えて、衝撃音ノイズ低減処理後の周波数スペクトルＳ´１１、Ｓ´１２を駆動音ノイズ低減処理部２５３に出力する。
【００６９】
（ステップＳＴ７）
次いで、駆動音ノイズ低減処理部２５３は、音信号処理部２５１から入力するマイク音信号の周波数スペクトルと、衝撃音ノイズ低減処理部２５２から入力する衝撃音ノイズ低減処理後の周波数スペクトルに基づき、駆動音ノイズ低減処理を実行する。例えば、駆動音ノイズ低減処理部２５３は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号と、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、駆動音が発生している可能性のある期間に対応する周波数スペクトルＳ２〜Ｓ１２を、第３周波数スペクトルとして取得する。
この駆動音ノイズ低減処理部２５３は、取得した第３周波数スペクトルＳ２〜Ｓ１２のうち、衝撃音が発生している期間に対応する周波数スペクトルＳ２〜Ｓ４、Ｓ９〜Ｓ１２を、衝撃音ノイズ低減処理後の周波数スペクトルＳ´２、Ｓ´３、Ｓ´４、Ｓ´９、Ｓ´１０、Ｓ´１１、Ｓ´１２に置き換える。そして、駆動音ノイズ低減処理部２５３は、衝撃音ノイズ低減処理後の周波数スペクトルＳ´２、Ｓ´３、Ｓ´４、Ｓ´９、Ｓ´１０、Ｓ´１１、Ｓ´１２と、周波数スペクトルＳ５〜Ｓ７に対して駆動音ノイズ低減処理を実行する。つまり、駆動音ノイズ低減処理部２５３は、駆動パターンに応じて予め決められているノイズを表わす周波数スペクトルの周波数成分を、衝撃音ノイズ低減処理後の第３周波数スペクトルＳ´２〜Ｓ´４、Ｓ５〜７、Ｓ´９〜Ｓ´１２の周波数成分からそれぞれ減算する。駆動音ノイズ低減処理部２５３は、この駆動音ノイズ低減処理後の周波数スペクトルを逆フーリエ変換部２５４に出力する。
【００７０】
（ステップＳＴ８）
逆フーリエ変換部２５４は、駆動音ノイズ低減処理部２５３から入力された駆動音ノイズ低減処理後の周波数スペクトルに対して、例えば逆フーリエ変換を行うことで、時間領域に変換する。この逆フーリエ変換部２５４は、時間領域に変換された音信号を記憶媒体２００に記憶させる。
【００７１】
以上説明したように、本実施形態に係る撮像装置１００は、タイミング信号検出部１９１によって動作部の動作状態が変化するタイミングを検出するとともに、この動作タイミング信号に基づき、衝撃音が重畳している可能性のあるマイク音信号の周波数スペクトルの一部を、衝撃音が重畳していない可能性のあるマイク音信号の周波数スペクトルの一部と置き換える衝撃音ノイズ低減処理を実行する。これにより、周波数スペクトルの帯域が広い衝撃音であっても、目的音の不連続性が目立たず、かつ、衝撃音を低減した音信号を取得することができる。
【００７２】
また、本実施形態に係る撮像装置１００は、衝撃音が重畳していない可能性の高いマイク音信号の第２周波数スペクトルの一部として、以下の（１）〜（４）のうちいずれか1つの条件を満たすものを、衝撃音が重畳している可能性の高いマイク音信号の一部の第１周波数スペクトルと置き換えることが好ましい。
（１）衝撃音が発生している可能性の高い期間と時間軸方向に隣接あるいは重複する衝撃音が発生しない可能性の高い期間に取得される音信号に基づく第２周波数スペクトルであること。
（２）衝撃音および駆動音が発生しない可能性の高い期間に取得された音信号に基づく第２周波数スペクトルであること。
（３）第２周波数スペクトルのうち、予め決められた閾値以上の周波数成分であること。
（４）第２周波数スペクトルのうち、周波数スペクトルの周波数成分の総和において予め決められた割合以上の周波数成分であること。
【００７３】
さらに、衝撃音ノイズ低減処理部２５２は、第１周波数スペクトルの周波数成分よりも第２周波数スペクトルの周波数成分の方が、その振幅が小さい場合、その部分の置換えを行う。つまり、衝撃音ノイズ低減処理部２５２は、（１）〜（４）の条件を満たす第２周波数スペクトルのうち、（５）第１周波数スペクトルの周波数成分よりも小さい第２周波数スペクトルの周波数成分のみを置き換える。
このように、第１周波数スペクトルのうち、（１）〜（４）の少なくともいずれか1つの条件を満たす第２周波数スペクトルと対応する部分を、置き換えることによって、目的音の不連続性が目立たず、かつ、衝撃音を低減した音信号を取得することができる。
【００７４】
上述の（３）の条件は、例えば、目的音の種類に応じて決定されるものであってもよい。
図８は、目的音が男声である場合の周波数スペクトルと、目的音が女声である場合の周波数スペクトルの一例を示す図である。
図８に示す通り、目的音が男声である場合、周波数スペクトルのうち、周波数が低い周波数成分を、目的音が女声である場合に比べてより多く、第１周波数スペクトルと第２周波数スペクトルの置換え範囲として設定することが好ましい。
ここでは、目的音が男声である場合、衝撃音ノイズ低減処理部２５２は、周波数成分ｆ１、ｆ２については置換えを行わずに、周波数成分ｆ３〜ｆ９についてのみ、第１周波数スペクトルの各周波数成分との大小関係を比較する。そして、第１周波数スペクトルの周波数成分の振幅よりも第２周波数スペクトルの周波数成分の振幅の方が小さい場合、この第１周波数スペクトルの周波数成分を第２周波数スペクトルの周波数成分と置き換える。
同様にして、目的音が女声である場合、衝撃音ノイズ低減処理部２５２は、周波数成分ｆ１、ｆ２、ｆ３については置換えを行わずに、周波数成分ｆ４〜ｆ９についてのみ、第１周波数スペクトルの各周波数成分との大小関係を比較する。
【００７５】
これは、男声の方が、女声に比べて、支配的なスペクトルが周波数が低い周波数成分により多く含まれているためである。なお、この支配的なスペクトルとは、目的音の特徴を示す周波数スペクトルをより多く含むものをいう。このように、支配的な周波数スペクトルの置換えを行わないことにより、目的音の劣化を防止することができる。よって、目的音の不連続性が目立たず、かつ、衝撃音を低減することができる。
【００７６】
上述の（４）の条件は、例えば、周波数スペクトルの周波数成分の総和に対して、例えば、周波数が高い方の周波数成分の６０％であると予め決められているものであってもよい。
この場合、衝撃音ノイズ低減処理部２５２は、第１周波数スペクトルの周波数成分の全ての和を１００％として、周波数が低い方（ｆ１、ｆ２・・・）から周波数成分の４０％に相当する周波数成分については、第２周波数スペクトルとの比較は行わない。衝撃音ノイズ低減処理部２５２は、周波数が高い方（ｆ９、ｆ８・・・）から周波数成分の６０％に相当する周波数成分については、第２周波数スペクトルとの比較を行う。
これにより、周波数スペクトルのうち、周波数の低い周波数成分についての目的音の劣化を防止することができる。
【００７７】
次に、図９，１０を参照して、タイミング信号検出部１９１によって検出される動作開始タイミングの一例について説明する。
図９には、例えば、ＡＦエンコーダ１１７の出力と、マイク２３０が出力するマイク音信号の一例を示す図である。
図９に示す通り、ＡＦエンコーダ１１７の出力がハイレベルとローレベルとを繰り返している期間を動作部による動作音が発生している期間であると決定した場合の一例について説明する。
この場合、ＡＦエンコーダ１１７の出力が最初にハイレベルとなった時刻が、動作開始タイミングｔ１となる。よって、この時刻ｔ１から衝撃音が発生している期間が開始する。また、ＡＦエンコーダ１１７の出力が最後にハイレベルとなった際にローレベルに戻ったときの時刻が、動作停止タイミングｔ２となる。よって、この時刻ｔ２から衝撃音が発生している期間が開始する
【００７８】
しかし、この場合、ＡＦレンズ１１２の駆動系（ギア列等）のバックラッシュの影響で、ＡＦエンコーダ１１７の出力が、実際のＡＦレンズ１１２の駆動系の動作開始タイミングとずれる場合がある。この場合について、図１０を参照して説明する。図１０には、例えば、ＡＦエンコーダ１１７の出力と、マイク２３０が出力するマイク音信号の他の例を示す図である。
【００７９】
図１０に示す通り、実際のＡＦレンズ１１２の駆動系の動作開始タイミングは、ＡＦエンコーダ１１７の出力がハイレベルとローレベルとを繰り返している期間よりも時間軸方向の前（過去）に発生している。この場合、動作開始タイミングは時刻ｔ３であり、時刻ｔ３からの一定期間内において衝撃音が発生している。
よって、時刻ｔ１を動作開始タイミングとした場合、衝撃音ノイズ低減処理部２５２は、時刻ｔ１からの一定期間を衝撃音が発生している可能性の高い期間として取り扱うこととなる。この場合、衝撃音ノイズ低減処理部２５２によって取得された第１周波数スペクトルには、衝撃音が含まれていない可能性が高い。
【００８０】
よって、タイミング信号検出部１９１は、図１０を用いて説明したとおり、駆動系の実際の開始タイミングとＡＦエンコーダ１１７の出力とがずれてしまった場合の不都合を回避するため動作開始タイミングとして、動作部への駆動制御信号（コマンド）が出力された時刻を示す動作開始タイミング信号を生成する。
【００８１】
［変形例］
次に、図１１〜１３を参照して、本実施形態に係る撮像装置１００の駆動パターンの他の例について説明する。
図１１（Ａ）は、ＡＦエンコーダ１１７出力から求めた回転方向と時間との関係の一例を示す。図１１（Ｂ）は、マイク音信号と時間の関係の一例が示されている。なお、図１１（Ｂ）は、説明便宜のため、マイク音信号のうち、動作音の音信号のみを示し、目的音の音信号の図示を省略する。図１１（Ａ）と図１１（Ｂ）に示すＡＦレンズ１１２の駆動パターンは、例えば、焦点距離βでピントを合わせるＡＦ処理を行う場合の駆動パターンを示す。
【００８２】
図１１（Ａ）には、その縦軸に、ＡＦエンコーダ１１７の出力として、ＡＦレンズ１１２を駆動する駆動機構の回転方向を示す。
この焦点距離βでピントを合わせるＡＦ処理を行う駆動パターンでは、図１１（Ａ）に示す通り、ＡＦレンズ１１２を駆動する駆動機構が、時刻ｔ１０〜ｔ２０において、時計回りＣＷに回転して、その後静止する。そして、ＡＦレンズ１１２を駆動する駆動機構は、時刻ｔ３０〜ｔ４０まで、再び時計回りＣＷに回転した後、回転方向を反転させ、時刻ｔ４０〜ｔ５０まで、反時計回りＣＣＷに回転して、その後静止する。
【００８３】
つまり、時刻ｔ１０、ｔ３０は、それぞれＡＦレンズ１１２の動作開始タイミングを、時刻ｔ２０、ｔ５０は、それぞれＡＦレンズ１１２の動作停止タイミングを、表わしている。また、時刻ｔ４０は、ＡＦレンズ１１２の駆動方向が逆回転となったタイミングを表わしている。
従って、図１１（Ｂ）に示す通り、時刻ｔ１０〜ｔ２０の期間、および、時刻ｔ３０〜ｔ５０の期間で、マイク音信号にＡＦレンズ１１２による動作音が重畳（発生）している、又は、動作音が重畳している可能性が高い。本実施形態においては、時刻ｔ１０〜ｔ２０の期間、時刻ｔ３０〜ｔ５０の期間において、ＡＦレンズ１１２による動作音であるノイズが発生している場合について以下説明する。
また、図１１（Ｂ）に示す通り、時刻ｔ１０、ｔ２０、ｔ３０、ｔ４０、ｔ５０においては、それぞれ衝撃音が発生している可能性が高い。本実施形態においては、時刻ｔ１０、ｔ２０、ｔ３０、ｔ４０、ｔ５０において、ＡＦレンズ１１２による衝撃音が発生している場合について以下説明する。
【００８４】
また、衝撃音が発生した場合、その衝撃音が発生している可能性の高い時間は、各駆動パターンに応じて予め決められている。焦点距離βでピントを合わせるＡＦ処理を行う駆動パターンでは、図１２に示すような衝撃音の発生する時間（タイミング）が決められている。
図１２は、焦点距離βでピントを合わせるＡＦ処理を行う駆動パターンでＡＦレンズ１１２を駆動した際に、マイク２３０で収音されるマイク音信号の一例を示す。なお、図１２は、説明便宜のため、マイク音信号のうち、動作音の音信号のみを示し、目的音の音信号の図示を省略する。
【００８５】
焦点距離βでピントを合わせるＡＦ処理を行う駆動パターンでは、時刻ｔ１０〜ｔ１１までの時間、時刻ｔ２０〜ｔ２１までの時間、時刻ｔ３０〜ｔ３１までの時間、時刻ｔ４０〜ｔ４１までの時間、時刻ｔ５０〜ｔ５１までの時間が、それぞれ、衝撃音の発生する時間であると予め決められている。
本実施形態では、図１２に示す通り、この衝撃音の発生する期間において、衝撃音が発生している例について説明する。
【００８６】
音信号処理部２５１は、Ａ/Ｄ変換部２４０から出力されたマイク音信号に対して、図１２に示すように他の区間と半分ずつオーバーラップしている窓関数Ｗ０〜Ｗ３２で重み付けをする。これにより、マイク音信号は、窓関数のサイズに分割される。この音信号処理部２５１は、窓関数Ｗ０〜Ｗ３２で重み付けされた各区間のマイク音信号ごとに、例えばフーリエ変換を行い、周波数領域における周波数スペクトルＳ０〜Ｓ３２を算出する。
【００８７】
本実施形態において、窓関数Ｗ２〜Ｗ４に対応する周波数スペクトルＳ２〜Ｓ４は、ＡＦレンズ１１２の動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を含む音情報である。また、窓関数Ｗ９〜Ｗ１２に対応する周波数スペクトルＳ９〜Ｓ１２は、ＡＦレンズ１１２の動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を含む音情報である。さらに、窓関数Ｗ１６〜Ｗ１８に対応する周波数スペクトルＳ１６〜Ｓ１８は、ＡＦレンズ１１２の動作開始タイミングｔ３０に対応する衝撃音発生期間ｔ３０〜ｔ３１を含む音情報である。また、窓関数Ｗ２２〜Ｗ２４に対応する周波数スペクトルＳ２２〜Ｓ２４は、ＡＦレンズ１１２の動作反転タイミングｔ４０に対応する衝撃音発生期間ｔ４０〜ｔ４１を含む音情報である。さらに、窓関数Ｗ２８〜Ｗ３０に対応する周波数スペクトルＳ２８〜Ｓ３０は、ＡＦレンズ１１２の動作停止タイミングｔ５０に対応する衝撃音発生期間ｔ５０〜ｔ５１を含む音情報である。
【００８８】
ここで、図１３を参照して、衝撃音ノイズ低減処理部２５２が取得する第１周波数スペクトルと第２周波数スペクトルとの関係の一例について説明する。図１３は、衝撃音ノイズ低減処理部２５２が取得する第１周波数スペクトルと第２周波数スペクトルとの関係の一例を示す図である。
衝撃音ノイズ低減処理部２５２は、タイミング信号検出部１９１から入力する動作タイミング信号に基づき、例えば、音信号処理部２５１から出力される周波数スペクトルＳ０〜Ｓ３２から、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ２〜Ｓ４を、第１周波数スペクトルとして取得する。また、衝撃音ノイズ低減処理部２５２は、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ９〜Ｓ１２を、第１周波数スペクトルとして取得する。さらに、衝撃音ノイズ低減処理部２５２は、動作開始タイミングｔ３０に対応する衝撃音発生期間ｔ３０〜ｔ３１を示す動作タイミング信号に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ１６〜Ｓ１８を、第１周波数スペクトルとして取得する。また、衝撃音ノイズ低減処理部２５２は、動作反転タイミングｔ４０に対応する衝撃音発生期間ｔ４０〜ｔ４１を示す動作タイミング信号に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ２２〜Ｓ２４を、第１周波数スペクトルとして取得する。さらに、衝撃音ノイズ低減処理部２５２は、動作停止タイミングｔ５０に対応する衝撃音発生期間ｔ５０〜ｔ５１を示す動作タイミング信号に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ２８〜Ｓ３０を、第１周波数スペクトルとして取得する。
【００８９】
また、衝撃音ノイズ低減処理部２５２は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ２に対応する第２周波数スペクトルとして周波数スペクトルＳ２の直前の周波数スペクトルＳ０を取得する。この衝撃音ノイズ低減処理部２５２は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ３に対応する第２周波数スペクトルとして、周波数スペクトル３の直前の周波数スペクトルＳ１を取得する。また、衝撃音ノイズ低減処理部２５２は、動作開始タイミングｔ１０に対応する衝撃音発生期間ｔ１０〜ｔ１１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ４に対応する第２周波数スペクトルとして、周波数スペクトルＳ４の直後の周波数スペクトルＳ５を取得する。
【００９０】
また、衝撃音ノイズ低減処理部２５２は、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ９に対応する第２周波数スペクトルとして周波数スペクトルＳ９の直前の周波数スペクトルＳ８を、第１周波数スペクトルである周波数スペクトルＳ１０に対応する第２周波数スペクトルとして、周波数スペクトルＳ１０の直前の周波数スペクトルＳ８を、それぞれ取得する。
また、衝撃音ノイズ低減処理部２５２は、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ１１に対応する第２周波数スペクトルとして周波数スペクトルＳ１１の直後の周波数スペクトルＳ１３を、第１周波数スペクトルである周波数スペクトルＳ１２に対応する第２周波数スペクトルとして周波数スペクトルＳ１２の直後の周波数スペクトルＳ１３を、それぞれ取得する。
【００９１】
また、衝撃音ノイズ低減処理部２５２は、動作開始タイミングｔ３０に対応する衝撃音発生期間ｔ３０〜ｔ３１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ１７に対応する第２周波数スペクトルとして周波数スペクトルＳ１７の直前の周波数スペクトルＳ１５を取得する。
また、衝撃音ノイズ低減処理部２５２は、動作開始タイミングｔ３０に対応する衝撃音発生期間ｔ３０〜ｔ３１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ１６に対応する第２周波数スペクトルとして周波数スペクトルＳ１６の直前の周波数スペクトルＳ１５を、第１周波数スペクトルである周波数スペクトルＳ１８に対応する第２周波数スペクトルとして周波数スペクトルＳ１８の直後の周波数スペクトルＳ１９を、それぞれ取得する。
【００９２】
また、衝撃音ノイズ低減処理部２５２は、動作反転タイミングｔ４０に対応する衝撃音発生期間ｔ４０〜ｔ４１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ２３に対応する第２周波数スペクトルとして周波数スペクトルＳ２３の直前の周波数スペクトルＳ２１を取得する。
また、衝撃音ノイズ低減処理部２５２は、動作反転タイミングｔ４０に対応する衝撃音発生期間ｔ４０〜ｔ４１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ２２に対応する第２周波数スペクトルとして周波数スペクトルＳ２２の直前の周波数スペクトルＳ２１を、第１周波数スペクトルである周波数スペクトルＳ２４に対応する第２周波数スペクトルとして周波数スペクトルＳ２４の直後の周波数スペクトルＳ２５を、それぞれ取得する。
【００９３】
また、衝撃音ノイズ低減処理部２５２は、動作停止タイミングｔ５０に対応する衝撃音発生期間ｔ５０〜ｔ５１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ２９に対応する第２周波数スペクトルとして周波数スペクトルＳ２９の直後の周波数スペクトルＳ３１を取得する。
また、衝撃音ノイズ低減処理部２５２は、動作停止タイミングｔ５０に対応する衝撃音発生期間ｔ５０〜ｔ５１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ２８に対応する第２周波数スペクトルとして周波数スペクトルＳ２８の直前の周波数スペクトルＳ２７を、第１周波数スペクトルである周波数スペクトルＳ３０に対応する第２周波数スペクトルとして周波数スペクトルＳ３０の直後の周波数スペクトルＳ３１を、それぞれ取得する。
【００９４】
さらに、衝撃音ノイズ低減処理部２５２は、第１周波数スペクトルの少なくとも一部を第２周波数スペクトルの対応する部分に置き換える。
例えば、衝撃音ノイズ低減処理部２５２は、第１周波数スペクトルのうち予め決められた閾値周波数以上の周波数スペクトルと、第２周波数スペクトルのうち予め決められた閾値周波数以上の周波数スペクトルとを、周波数成分ごとに比較して、第２周波数スペクトルの方が第１周波数スペクトルに比べて小さいと判定した場合に、第１周波数スペクトルにおける当該周波数成分を第２周波数スペクトルの周波数成分に置き換える。
【００９５】
このようにして、衝撃音ノイズ低減処理部２５２は、時間軸方向において、第１周波数スペクトルと隣接する第２周波数スペクトルについて、衝撃音ノイズ低減処理を実行する。
この場合、衝撃音ノイズ低減処理部２５２は、時間軸方向において、第１周波数スペクトルと隣接する周波数スペクトルのうち、駆動音を含まない周波数スペクトルが隣接している場合、この駆動音を含まない周波数スペクトルとの比較を行う。なお、時間軸方向において隣接する周波数スペクトルが駆動音を含む周波数スペクトルと衝撃音を含む周波数スペクトルである場合、衝撃音ノイズ低減処理部２５２は、駆動音を含む周波数スペクトルを第２周波数スペクトルとして取得する。
また、動作反転タイミングｔ４０に対応する衝撃音発生期間ｔ４０〜ｔ４１のように、時間軸方向において、第１周波数スペクトルと隣接する周波数スペクトルが、いずれも駆動音を含む周波数スペクトルである場合、衝撃音ノイズ低減処理部２５２は、いずれか一方の周波数スペクトルを第２周波数スペクトルとして取得する。この場合、衝撃音ノイズ低減処理部２５２は、第１周波数スペクトルと時間軸方向においてより近い周波数スペクトルを第２周波数スペクトルとして取得する。
【００９６】
また、タイミング信号検出部１９１又はノイズ低減処理部２５０等による手順を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものであってもよい。
【００９７】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００９８】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００９９】
１００…撮像装置、１１０…撮像部、１９０…ＣＰＵ、１９１…検出部、１７０…通信部、２００…記憶媒体、２３０…マイク、２４０…Ａ/Ｄ変換部、２５０…ノイズ低減処理部、２５１…音信号処理部、２５２…衝撃音ノイズ低減処理部、２５３…駆動音ノイズ低減処理部、２５４…逆フーリエ変換部
【特許請求の範囲】
【請求項１】
動作部が動作するタイミングを示す動作タイミング信号を検出するタイミング信号検出部と、
音信号を取得する音信号取得部と、
前記動作タイミング信号に基づき、前記動作部の動作によって生じるノイズが発生する可能性の高い期間に取得される音信号の第１周波数スペクトルと、前記ノイズが発生しない可能性の高い期間に取得される音信号の第２周波数スペクトルとを算出し、前記算出した第１周波数スペクトルの少なくとも一部を前記算出した第２周波数スペクトルの対応する部分に置き換えた周波数スペクトルに基づき、前記音信号に対してノイズ低減を行ったノイズ低減音信号を算出するノイズ低減処理部と、
を備えることを特徴とするノイズ低減処理装置。
【請求項２】
前記ノイズ低減処理部は、
前記ノイズが発生する期間と時間軸方向に最も近い前記ノイズが発生しない可能性の高い期間に取得される音信号に基づき前記第２周波数スペクトルを算出することを特徴とする請求項１に記載のノイズ低減処理装置。
【請求項３】
前記ノイズ低減処理部は、
前記動作部の動作時に前記動作部の状態が変化したことにより発生する衝撃音である前記ノイズが発生しない可能性の高い期間において取得された音信号に基づき前記第２周波数スペクトルを算出することを特徴とする請求項１あるいは２に記載のノイズ低減処理装置。
【請求項４】
前記ノイズ低減処理部は、
前記ノイズが発生した可能性の高い期間に取得された音信号のうち、予め決められた周波数成分の範囲に含まれる前記第１周波数スペクトルの周波数成分を、前記予め決められた周波数成分の範囲に含まれる前記第２周波数スペクトルの周波数成分に置き換えることを特徴とする請求項１から３のうちいずれか一項に記載のノイズ低減処理装置。
【請求項５】
前記ノイズ低減処理部は、
前記第１周波数スペクトルの振幅と前記第２周波数スペクトルの振幅とを周波数成分ごとに比較し、前記第２周波数スペクトルの周波数成分の振幅が前記第１周波数スペクトルの周波数成分の振幅よりも小さいと判定した場合、当該第１周波数スペクトルの当該周波数成分を当該第２周波数スペクトルの当該周波数成分に置き換えることを特徴とする請求項１から４のうちいずれか一項に記載のノイズ低減処理装置。
【請求項６】
前記ノイズ低減処理部は、
前記第２周波数スペクトルを構成する複数の周波数成分の総和が予め決められた閾値以上であるか否かを判定し、前記閾値未満であった場合に、前記第１周波数スペクトルの少なくとも一部を前記第２周波数スペクトルの対応する部分に置き換えることを特徴とする請求項１から５のうちいずれか一項に記載のノイズ低減処理装置。
【請求項７】
前記動作部を駆動させるためのコマンドを駆動部に出力する制御部と、
前記動作部が動いていることを検出し、前記動作部が動作していることを示す動作検出信号を出力する動作検出部と、をさらに備え、
前記ノイズ低減処理部は、
前記制御部がコマンドを出力したタイミングを示す第１動作タイミング信号と、前記動作検出部が前記動作検出信号の出力を停止したタイミングとを示す第２動作タイミング信号とに基づき、前記ノイズ音が発生する可能性の高い期間を判定することを特徴とする請求項１から６のうちいずれか一項に記載のノイズ低減処理装置。
【請求項８】
前記ノイズ低減処理部は、
前記動作タイミング信号に基づき、前記動作部による動作の開始時であると判定した場合、動作開始時において前記ノイズ音が発生する可能性の高い期間の直前の前記ノイズ音が発生しない可能性の高い期間に取得される音信号に基づき、前記第２周波数スペクトルを算出し、
前記動作タイミング信号に基づき、前記動作部による動作の終了時であると判定した場合、動作終了時において前記ノイズ音が発生する可能性の高い期間の直後の前記ノイズ音が発生しない可能性の高い期間に取得される音信号に基づき、前記第２周波数スペクトルを算出することを特徴とする請求項１から７のうちいずれか一項に記載のノイズ低減処理装置。
【請求項９】
上述の請求項１から８のうちいずれか一項に記載のノイズ低減処理装置を含むことを特徴とするカメラ。
【請求項１０】
コンピュータを、
動作部が動作するタイミングを示す動作タイミング信号を検出するタイミング信号検出手段、
音信号を取得する音信号取得手段、
前記動作タイミング信号を検出して、前記動作部の動作によって生じるノイズ音が発生する可能性の高い期間に取得される音信号の第１周波数スペクトルと、前記ノイズ音が発生しない可能性の高い期間に取得される音信号の第２周波数スペクトルとを算出し、前記算出した第１周波数スペクトルの少なくとも一部を前記算出した第２周波数スペクトルの対応する部分に置き換えた周波数スペクトルに基づき、前記音信号に対してノイズ低減を行ったノイズ低減音信号を算出するノイズ低減処理手段、
として機能させるためのノイズ低減処理プログラム。
【請求項１】
動作部が動作するタイミングを示す動作タイミング信号を検出するタイミング信号検出部と、
音信号を取得する音信号取得部と、
前記動作タイミング信号に基づき、前記動作部の動作によって生じるノイズが発生する可能性の高い期間に取得される音信号の第１周波数スペクトルと、前記ノイズが発生しない可能性の高い期間に取得される音信号の第２周波数スペクトルとを算出し、前記算出した第１周波数スペクトルの少なくとも一部を前記算出した第２周波数スペクトルの対応する部分に置き換えた周波数スペクトルに基づき、前記音信号に対してノイズ低減を行ったノイズ低減音信号を算出するノイズ低減処理部と、
を備えることを特徴とするノイズ低減処理装置。
【請求項２】
前記ノイズ低減処理部は、
前記ノイズが発生する期間と時間軸方向に最も近い前記ノイズが発生しない可能性の高い期間に取得される音信号に基づき前記第２周波数スペクトルを算出することを特徴とする請求項１に記載のノイズ低減処理装置。
【請求項３】
前記ノイズ低減処理部は、
前記動作部の動作時に前記動作部の状態が変化したことにより発生する衝撃音である前記ノイズが発生しない可能性の高い期間において取得された音信号に基づき前記第２周波数スペクトルを算出することを特徴とする請求項１あるいは２に記載のノイズ低減処理装置。
【請求項４】
前記ノイズ低減処理部は、
前記ノイズが発生した可能性の高い期間に取得された音信号のうち、予め決められた周波数成分の範囲に含まれる前記第１周波数スペクトルの周波数成分を、前記予め決められた周波数成分の範囲に含まれる前記第２周波数スペクトルの周波数成分に置き換えることを特徴とする請求項１から３のうちいずれか一項に記載のノイズ低減処理装置。
【請求項５】
前記ノイズ低減処理部は、
前記第１周波数スペクトルの振幅と前記第２周波数スペクトルの振幅とを周波数成分ごとに比較し、前記第２周波数スペクトルの周波数成分の振幅が前記第１周波数スペクトルの周波数成分の振幅よりも小さいと判定した場合、当該第１周波数スペクトルの当該周波数成分を当該第２周波数スペクトルの当該周波数成分に置き換えることを特徴とする請求項１から４のうちいずれか一項に記載のノイズ低減処理装置。
【請求項６】
前記ノイズ低減処理部は、
前記第２周波数スペクトルを構成する複数の周波数成分の総和が予め決められた閾値以上であるか否かを判定し、前記閾値未満であった場合に、前記第１周波数スペクトルの少なくとも一部を前記第２周波数スペクトルの対応する部分に置き換えることを特徴とする請求項１から５のうちいずれか一項に記載のノイズ低減処理装置。
【請求項７】
前記動作部を駆動させるためのコマンドを駆動部に出力する制御部と、
前記動作部が動いていることを検出し、前記動作部が動作していることを示す動作検出信号を出力する動作検出部と、をさらに備え、
前記ノイズ低減処理部は、
前記制御部がコマンドを出力したタイミングを示す第１動作タイミング信号と、前記動作検出部が前記動作検出信号の出力を停止したタイミングとを示す第２動作タイミング信号とに基づき、前記ノイズ音が発生する可能性の高い期間を判定することを特徴とする請求項１から６のうちいずれか一項に記載のノイズ低減処理装置。
【請求項８】
前記ノイズ低減処理部は、
前記動作タイミング信号に基づき、前記動作部による動作の開始時であると判定した場合、動作開始時において前記ノイズ音が発生する可能性の高い期間の直前の前記ノイズ音が発生しない可能性の高い期間に取得される音信号に基づき、前記第２周波数スペクトルを算出し、
前記動作タイミング信号に基づき、前記動作部による動作の終了時であると判定した場合、動作終了時において前記ノイズ音が発生する可能性の高い期間の直後の前記ノイズ音が発生しない可能性の高い期間に取得される音信号に基づき、前記第２周波数スペクトルを算出することを特徴とする請求項１から７のうちいずれか一項に記載のノイズ低減処理装置。
【請求項９】
上述の請求項１から８のうちいずれか一項に記載のノイズ低減処理装置を含むことを特徴とするカメラ。
【請求項１０】
コンピュータを、
動作部が動作するタイミングを示す動作タイミング信号を検出するタイミング信号検出手段、
音信号を取得する音信号取得手段、
前記動作タイミング信号を検出して、前記動作部の動作によって生じるノイズ音が発生する可能性の高い期間に取得される音信号の第１周波数スペクトルと、前記ノイズ音が発生しない可能性の高い期間に取得される音信号の第２周波数スペクトルとを算出し、前記算出した第１周波数スペクトルの少なくとも一部を前記算出した第２周波数スペクトルの対応する部分に置き換えた周波数スペクトルに基づき、前記音信号に対してノイズ低減を行ったノイズ低減音信号を算出するノイズ低減処理手段、
として機能させるためのノイズ低減処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−１１８７３（Ｐ２０１３−１１８７３Ａ）
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願番号】特願２０１２−１２０１５５（Ｐ２０１２−１２０１５５）
【出願日】平成２４年５月２５日（２０１２．５．２５）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願日】平成２４年５月２５日（２０１２．５．２５）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]