撮像装置
【課題】撮像装置に設けられる動作部が動作することにより発生するノイズを減じることができる撮像装置を提供すること。
【解決手段】タイミング検出部によって動作部の動作状態が変化するタイミングを検出するとともに、このタイミング信号に基づき、動作音が重畳されている、又は動作音が重畳している可能性のある音信号と、動作音が重畳されていない音信号との差分を算出することにより、動作部の動作音情報を得る。
【解決手段】タイミング検出部によって動作部の動作状態が変化するタイミングを検出するとともに、このタイミング信号に基づき、動作音が重畳されている、又は動作音が重畳している可能性のある音信号と、動作音が重畳されていない音信号との差分を算出することにより、動作部の動作音情報を得る。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音信号からノイズを減算する撮像装置に関する。
【背景技術】
【０００２】
例えば、連続的に発生している周囲音をノイズとして除去するため、音信号から周囲音に対応するノイズ（音信号に含まれているノイズ成分）を算出して、このノイズを音信号から減じるものがある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１９５９５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、撮像装置には、レンズやこれを駆動させる駆動部等を含む動作部が搭載されており、例えばユーザの操作に応じて動作部が動作することで、この動作部の動作音が非連続的（突発的）に発生する場合がある。
このように非連続的に発生するノイズの場合、特許文献１の技術にあっては、音信号から周囲音に対応するノイズ、すなわち、連続的に発生しているノイズのみを算出しているため、非連続的に発生するノイズを算出することが困難であるという問題がある。また、そのために、撮像装置に設けられる動作部が動作することにより発生するノイズを減じることは難しいという問題があった。
【０００５】
本発明は、前記の点に鑑みてなされたものであり、撮像装置に設けられる動作部が動作することにより発生するノイズを減じることができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決するためになされたものであり、光学系による光学像を撮像する撮像部を備える撮像装置において、前記撮像装置に備えられる動作部が動作するタイミングを示す信号を検出するタイミング信号検出部と、音信号を取得する音信号取得部と、前記タイミングを示す信号に基づき、前記動作部の動作状態が変化した時の前記音信号を含む前記音信号の区間を第１音情報として得て、前記第１音情報よりも前の音信号の区間に対応する第２音情報と、前記第１音情報よりも後の音信号の区間に対応する第３音情報とに基づき前記動作部の動作音情報を算出する推定部と、前記タイミングを示す信号に基づき、前記動作部の動作音を含む前記音信号の区間に対応する第４音情報から前記動作音情報を減じる処理部と、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、撮像装置に設けられる動作部が動作することにより発生するノイズを減じることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】本発明の実施形態に係る撮像装置におけるタイミング信号と動作音との関係を説明するための参考図である。
【図３】本発明の実施形態に係る撮像装置において得られた音情報と窓関数との関係を説明するための参考図である。
【図４】図３に示したｔ１直前のスペクトルＳ１を示す図である。
【図５】図３に示したｔ１直後のスペクトルＳ４を示す図である。
【図６】図４、５に示したスペクトルに基づき得られる推定スペクトルＳＳ１を示す図である。
【図７】図６に示した推定スペクトルＳＳ１に基づき、図５に示したスペクトルＳ４からノイズ低減処理したスペクトルを示す図である。
【図８】図３に示したｔ２に対応する推定スペクトルＳＳ２を示す図である。
【図９】図６に示した推定スペクトルＳＳ１と、図８に示した推定スペクトルＳＳ２とに基づく平均推定スペクトルを示す図である。
【図１０】図９に示した平均推定スペクトルに基づき、図５に示したスペクトルＳ４からノイズ低減処理したスペクトルを示す図である。
【図１１】図３に示したｔ３に対応する推定スペクトルＳＳ３を示す図である。
【図１２】図３に示したｔ４に対応する推定スペクトルＳＳ４を示す図である。
【図１３】図３に示したｔ１と、ハニング窓関数との位置関係の一例を示す図である。
【図１４】図３に示したｔ１と、ハニング窓関数との位置関係の一例を示す図である。
【図１５】図３に示したｔ１と、ハニング窓関数との位置関係の一例を示す図である。
【図１６】本発明の実施形態に係る撮像装置において利用される減算係数の一例を示す図である。
【図１７】本発明の実施形態に係る撮像装置において利用される減算係数を説明するための図である。
【発明を実施するための形態】
【０００９】
本発明の実施形態について図面を参照して詳細に説明する。図１には、本実施形態に係る撮像装置の構成を示すブロック図が示されている。
図１に示す通り、撮像装置１００は、光学系による像を撮像し、得られた画像データを記憶媒体２００に記憶させるとともに、収音された音から動作音であるノイズを低減し、得られた音信号を記憶媒体２００に記憶させる。
【００１０】
撮像装置１００は、撮像部１１０と、バッファメモリ１３０と、画像処理部１４０と、表示部１５０と、記憶部１６０と、通信部１７０と、操作部１８０と、ＣＰＵ１９０と、マイク２３０と、Ａ/Ｄ変換部２４０と、低減処理部２５０と、を備える。
【００１１】
撮像部１１０は、光学系１１１と、撮像素子１１９と、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部１２０とを備え、設定された撮像条件（例えば絞り値、露出値等）に従って、ＣＰＵ１９０により制御される。また、撮像部１１０は、光学系１１１による光学像を撮像素子１１９に結像させて、Ａ／Ｄ変換部１２０によってデジタル信号に変換された光学像に基づく画像データを生成する。
【００１２】
光学系１１１は、焦点調整レンズ（以下、「ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）レンズ」という）１１２と、手振れ補正レンズ（以下、「ＶＲ（Ｖｉｂｒａｔｉｏｎ Ｒｅｄｕｃｔｉｏｎ）レンズ」という）１１３と、ズームレンズ１１４と、ズームエンコーダ１１５と、レンズ駆動部１１６と、ＡＦエンコーダ１１７と、像ぶれ補正部１１８を備える。
この光学系１１１は、ズームレンズ１１４から入射し、ズームレンズ１１４、ＡＦレンズ１１２、及びＶＲレンズ１１３の順番で通過した光学像を、撮像素子１１９の受光面に導く。
【００１３】
レンズ駆動部１１６には、ＡＦレンズ１１２及びズームレンズ１１４の位置を制御するための駆動制御信号がＣＰＵ１９０から入力され、この駆動制御信号に応じて、ＡＦレンズ１１２及びズームレンズ１１４の位置を制御する。この駆動制御信号がＣＰＵ１９０からレンズ駆動部１１６に入力されてレンズ駆動部１１６が駆動することにより、ＡＦレンズ１１２及びズームレンズ１１４が移動（動作）する。
【００１４】
ズームエンコーダ１１５は、ズームレンズ１１４の位置を表わすズームポジションを検出し、ＣＰＵ１９０に出力する。このズームエンコーダ１１５は、ズームレンズ１１４の移動を検出し、例えば、ズームレンズ１１４が光学系１１１内を移動している場合にハイレベル、停止している場合にローレベルとなる信号をＣＰＵ１９０に出力する。なお、このＣＰＵ１９０は、ズームエンコーダ１１５から出力される信号に基づき、タイミング信号がハイレベルからローレベルに変化した時、および、ローレベルからハイレベルに変化した時が、ズームレンズ１１４の動作状態が変化した時であると判断する。
【００１５】
ＡＦエンコーダ１１７は、ＡＦレンズ１１２の位置を表わすフォーカスポジションを検出し、ＣＰＵ１９０に出力する。このＡＦエンコーダ１１７は、ＡＦレンズ１１２の移動を検出し、例えば、ＡＦレンズ１１２が光学系１１１内を移動している場合にハイレベル、停止している場合にローレベルとなる信号をＣＰＵ１９０に出力する。なお、このＣＰＵ１９０は、ＡＦエンコーダ１１７から出力される信号に基づき、タイミング信号がハイレベルからローレベルに変化した時、および、ローレベルからハイレベルに変化した時が、ＡＦレンズ１１２の動作状態が変化した時であると判断する。
【００１６】
なお、ズームエンコーダ１１５は、ズームポジションを検出するために、ズームレンズ１１４の駆動方向を検出するものであってもよい。また、ＡＦエンコーダ１１７は、フォーカスポジションを検出するために、ＡＦレンズ１１２の駆動方向を検出するものであってもよい。これらズームレンズエンコーダ１１５やＡＦレンズ１１７は、レンズ駆動部１１６によって駆動される駆動機構（例えばモータやカム等）が時計回り（ＣＷ）あるいは反時計回り（ＣＣＷ）に回転することにより移動する。よって、ズームエンコーダ１１５およびＡＦエンコーダ１１７は、それぞれ、駆動方向（ここでは、時計回りあるいは反時計回り）を検出することよって、ズームレンズ１１４およびＡＦレンズ１１２が移動していることを検出する。
【００１７】
像ぶれ補正部１１８は、光学系１１１による像のぶれを検出し、当該ぶれを打ち消す方向にＶＲレンズ１１３を駆動する。この像ぶれ補正部１１８は、例えばＶＲレンズ１１３が駆動されている場合にハイレベル、駆動が停止されている場合にローレベルとなる信号をＣＰＵ１９０に出力する。なお、このＣＰＵ１９０は、像ぶれ補正部１１８から出力される信号に基づき、タイミング信号がハイレベルからローレベルに変化した時、および、ローレベルからハイレベルに変化した時が、ＶＲレンズ１１８の動作状態が変化した時であると判断する。
【００１８】
撮像素子１１９は、例えば、光電変換面を備え、その受光面に結像した光学像を電気信号に変換して、Ａ／Ｄ変換部１２０に出力する。
この撮像素子１１９は、操作部１８０を介して撮影指示を受け付けた際に得られる画像データを、静止画又は動画の画像データとして、Ａ／Ｄ変換部１２０を介して記憶媒体２００に記憶させる。一方、撮像素子１１９は、操作部１８０を介して撮像指示を受け付けていない状態において、連続的に得られる画像データをスルー画データとして、Ａ／Ｄ変換部１２０を介してＣＰＵ１９０及び表示部１５０に出力する。
【００１９】
Ａ／Ｄ変換部１２０は、撮像素子１１９によって変換された電気信号をデジタル化して、デジタル信号である画像データをバッファメモリ部１３０に出力する。
【００２０】
バッファメモリ部１３０は、撮像部１１０によって撮像された画像データを、一時的に記憶する。また、バッファメモリ部１３０は、マイク２３０が収音した目的音に応じた音信号を、一時的に記憶する。なお、バッファメモリ部１３０は、目的音が収音された時刻と、バッファメモリ部１３０における位置とを対応付けて、目的音に応じた音信号を記憶してもよい。
【００２１】
画像処理部１４０は、記憶部１６０に記憶されている画像処理条件を参照して、バッファメモリ部１３０に一時的に記憶されている画像データに対して、画像処理をする。画像処理された画像データは、通信部１７０を介して記憶媒体２００に記憶される。なお、画像処理部１４０は、記憶媒体２００に記憶されている画像データに対して、画像処理をしてもよい。
【００２２】
表示部１５０は、例えば液晶ディスプレイであって、撮像部１００によって得られた画像データ、及び操作画面等を表示する。
【００２３】
記憶部１６０は、ＣＰＵ１９０によってシーン判定の際に参照される判定条件や、シーン判定によって判断されたシーン毎に対応付けられた撮像条件等を記憶する。
【００２４】
通信部１７０は、カードメモリ等の取り外しが可能な記憶媒体２００と接続され、この記憶媒体２００への情報（画像データ及び音データ等）の書込み、読み出し、あるいは消去を行う。
【００２５】
操作部１８０は、例えば、電源スイッチ、シャッターボタン、マルチセレクタ（十字キー）、又はその他の操作キーを備え、ユーザによって操作されることでユーザの操作入力を受け付け、操作入力に応じた操作情報をＣＰＵ１９０に出力する。
このＣＰＵ１９０は、この操作情報に基づき、予め決められている操作部１８０の動作時間（記憶部１６０に保存されている）を参照して、操作情報が入力された時点と、動作時間が終了する時点が、操作部１８０の動作状態が変化した時であると判断する。
【００２６】
記憶媒体２００は、撮像装置１００に対して着脱可能に接続される記憶部であって、例えば、撮像部１１０によって生成された（撮影された）画像データや、低減処理部２５０により音信号処理された音信号を記憶する。
【００２７】
バス２１０は、撮像部１１０と、バッファメモリ部１３０と、画像処理部１４０と、表示部１５０と、記憶部１６０と、通信部１７０と、操作部１８０と、ＣＰＵ１９０と、マイク２３０と、Ａ/Ｄ変換部２４０と、低減処理部２５０と、に接続され、各部から出力されたデータ等を転送する。
【００２８】
計時部２２０は、日にちや時刻を計時して、計時した日時を表わす時間情報を出力する。
【００２９】
ＣＰＵ１９０は、設定された撮像条件（例えば絞り値、露出値等）に従って撮像部１１０を制御する。このＣＰＵ１９０は、ズームエンコーダ１１５から出力されるズームポジション及びＡＦエンコーダから出力されるフォーカスポジションに基づき、レンズ駆動部１１６を駆動する駆動制御信号を生成して、レンズ駆動部１１６に出力する。その生成アルゴリズムは、必要に応じて適宜のアルゴリズムを用いてよい。
また、ＣＰＵ１９０は、タイミング信号検出部１９１を含む。
【００３０】
このタイミング信号検出部１９１は、撮像装置１００が備えている動作部の動作状態が変化するタイミングを検出する。この動作状態が変化するタイミングとしては、例えば、動作部が動作を開始するタイミングと、動作部の動作が終了するタイミングとがある。
ここでいう動作部とは、一例としては、上述したズームレンズ１１４、ＶＲレンズ１１３、ＡＦレンズ１１２、または、操作部１８０のことであり、撮像装置１００が備えている構成のうち、動作することにより、または、動作されることにより、音が生じる（または、音が生じる可能性がある）構成である。
【００３１】
また、この動作部とは、撮像装置１００が備えている構成のうち、動作することにより生じた音、または、動作されることにより生じた音が、マイク２３０により収音される（または、収音される可能性のある）構成である。
【００３２】
このタイミング信号検出部１９１は、動作部を動作させる制御信号に基づいて、動作部の動作状態が変化するタイミングを検出してもよい。この制御信号とは、動作部を動作させる駆動部に対して、動作部を動作させるようにする制御信号、または、この駆動部を駆動させる制御信号である。
【００３３】
例えば、タイミング信号検出部１９１は、ズームレンズ１１４、ＶＲレンズ１１３、または、ＡＦレンズ１１２を駆動させるためにレンズ駆動部１１６または手振れ防止部１１８に入力される駆動制御信号に基づいて、または、ＣＰＵ１９０で生成される駆動制御信号に基づいて、動作部の動作状態が変化するタイミングを検出してもよい。
また、ＣＰＵ１９０が駆動制御信号を生成する場合に、タイミング信号検出部１９１は、ＣＰＵ１９０内部で実行される処理やコマンドに基づいて、動作部の動作状態が変化するタイミングを検出してもよい。
また、タイミング信号検出部１９１は、操作部１８０から入力されるズームレンズ１１４、または、ＡＦレンズ１１２を駆動させることを示す信号に基づいて、動作部の動作状態が変化するタイミングを検出してもよい。
【００３４】
また、このタイミング信号検出部１９１は、動作部が動作されたことを示す信号に基づいて、動作部の動作状態が変化するタイミングを検出してもよい。
【００３５】
たとえば、タイミング信号検出部１９１は、ズームエンコーダ１１５またはＡＦエンコーダ１１７の出力に基づいて、ズームレンズ１１４またはＡＦレンズ１１２が駆動されたことを検出することにより、動作部が動作を開始するタイミングを検出してもよく、ズームレンズ１１４またはＡＦレンズ１１２が停止されたことを検出することにより、動作部が動作を終了するタイミングを検出してもよい。
また、タイミング信号検出部１９１は、手振れ防止部１１８からの出力に基づいて、ＶＲレンズ１１３が駆動されたことを検出することにより、動作部が動作を開始するタイミングを検出してもよく、ＶＲレンズ１１３が停止されたことを検出することにより、動作部が動作を終了するタイミングを検出してもよい。
【００３６】
このタイミング信号検出部１９１は、操作部１８０からの入力に基づいて、操作部１８０が操作されたことを検出することにより、動作部が動作するタイミングを検出してもよい。
【００３７】
そして、タイミング信号検出部１９１は、撮像装置１００が備えている動作部が動作を開始するタイミング、および、動作部が動作を終了するタイミングを検出し、この検出したタイミングを示す信号（以下、タイミング信号という）を、低減処理部２５０に出力する。
【００３８】
マイク２３０は、入力される音信号を収音し、Ａ/Ｄ変換部２４０に出力する。なお、マイク２３０によって収音される音信号には、収音対象である目的音が含まれている。この目的音には、動作部が動作することにより発生する動作音が重畳している場合がある。
【００３９】
ここで、マイク２３０によって収音された音信号について、ＡＦレンズ１１２が動作された時に得られた音信号を例に、図２を参照して説明する。
図２には、ＡＦエンコーダ１１７の出力と時間、動作音が重畳した音信号の出力と時間の関係の一例が示されている。なお、図２（Ｂ）は、説明便宜のため、動作音の音信号のみ示し、目的音の音信号の図示を省略する。
【００４０】
図２（Ａ）には、その縦軸に、ＡＦエンコーダ１１７の出力として、ＡＦレンズ１１２の駆動方向を示す。すなわち、動作部としてのＡＦレンズ１１２が、光学系１１１内において移動する動作状態の変化を示している。
この図２（Ａ）及び（Ｂ）には、その横軸に、時刻が示されており、例えば、時刻ｔ１は、ＡＦレンズ１１２の動作が開始したタイミングを表わし、時刻ｔ２は、ＡＦレンズ１１２の動作が終了したタイミングを表わしている。また、時刻ｔ３は、ＡＦレンズ１１２の動作が開始したタイミングを表わし、時刻ｔ４は、ＡＦレンズ１１２の駆動方向が逆回転となったタイミングを表わし、時刻ｔ５は、ＡＦレンズ１１２の動作が終了したタイミングを表わしている。
つまり、図２（Ｂ）に示す通り、時刻ｔ１〜２の期間、時刻ｔ３〜ｔ５の期間で、音信号に動作音が重畳（発生）している、又は、動作音が重畳している可能性が高い。ここでは、時刻ｔ１〜２の期間、時刻ｔ３〜ｔ５の期間において、動作音であるノイズが発生している場合について以下説明する。
【００４１】
このように、ＡＦレンズ１１２が動作したことにより発生する動作音は、ＡＦレンズ１１２が動作するタイミングに同期して発生している。つまり、タイミング信号検出部１９１によって検出されるタイミング信号を用いることで、低減処理部２５０は、音信号に動作音が重畳している部分、又は動作音が重畳している可能性のある部分を判断することができる。
【００４２】
Ａ/Ｄ変換部２４０は、マイク２３０から入力されたアナログ信号である音信号をデジタル信号である音信号に、アナログデジタル変換する。このＡ/Ｄ変換部２４０は、デジタル信号である音信号を、低減処理部２５０に出力する。
また、Ａ/Ｄ変換部２４０は、デジタル信号である音信号を、バッファメモリ部１３０あるいは記憶媒体２００に記憶させる構成であってもよく、撮像素子１１９により撮像された画像データと、時間的に関係付けられて記憶されてもよいし、音信号を含む動画として記憶されてもよい。
【００４３】
低減処理部２５０は、Ａ／Ｄ変換部２４０によりデジタル信号に変換された音信号に対して、例えば、動作音であるノイズを低減するなどの音信号処理を実行し、この音信号処理した音信号を記憶媒体２００に記憶させる。
この低減処理部２５０は、音信号処理部２５１と、ノイズ推定部２５２と、ノイズ減算部２５３と、逆フーリエ変換部２５４とを含む。
【００４４】
音信号処理部２５１は、Ａ/Ｄ変換部２４０から出力された音信号を予め決められた区間ごとに窓関数で重み付けするとともに、この区間毎の音信号を周波数領域で表わされるスペクトルに変換して、この周波数領域で表わされるスペクトルをノイズ推定部２５２およびノイズ減算部２５３に出力する。
この音信号処理部２５１は、例えば、音信号にフーリエ変換、あるいは高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）を行うことで、周波数領域に変換する。
ここで、予め定められた区間とは、信号処理の単位（フレーム）であって、一定の間隔で繰り返される区間であってもよく。また、これらの予め定められた区間は、他の予め定められた区間と半分ずつ順にオーバーラップしていてもよい。なお、窓関数は、例えば、ハニング窓（ハニングウィンドウ）関数が利用可能である。
【００４５】
ノイズ推定部２５２は、音信号処理部２５１から出力されるスペクトルに基づき、動作部による動作音情報（以下、推定スペクトル）を算出する。この推定スペクトルとは、動作音により発生する音信号を主に含む音信号のスペクトルのことである。
このノイズ推定部２５２は、タイミング信号検出部１９１から入力されるタイミング信号に基づき、動作部の動作状態が変化した時にマイク２３０によって取得された音信号を含むスペクトル（以下、第１音情報という）を得る。
【００４６】
ここで、ノイズ推定部２５２について、図３を参照して、具体的に説明する。図３は、縦軸にマイク２３０によって収音された音信号の出力、横軸に時間を示し、音信号の出力と窓関数Ｗ１〜Ｗ２５の関係を示す。
上述の通り、音信号処理部２５１によって、Ａ/Ｄ変換部２４０から出力された音信号が、図３に示すように他の区間と半分ずつ順にオーバーラップしている窓関数Ｗ１〜Ｗ２５で重み付けされるとともに、各区間の周波数領域におけるスペクトルＳ１〜Ｓ２５が生成される。つまり、音信号処理部２５１から出力されるスペクトルＳ１〜Ｓ２５は、窓関数Ｗ１〜Ｗ２５の区間に対応するスペクトルである。
【００４７】
図３に示す通り、窓関数Ｗ２、Ｗ３に対応するスペクトルＳ２、Ｓ３は、ＡＦレンズ１１２が動作を開始するタイミング（ｔ１）を含む音情報であって、窓関数Ｗ６、Ｗ７に対応するスペクトルＳ６、Ｓ７は、ＡＦレンズ１１２が動作を終了するタイミング（ｔ２）を含む音情報である。
ノイズ推定部２５２は、タイミング信号に基づき、第１音情報として、スペクトルＳ２、Ｓ３、Ｓ６、Ｓ７を検出する。
【００４８】
また、ノイズ推定部２５２は、タイミング信号に基づき、動作部の動作状態が変化した時にマイク２３０によって収音された音信号（第１音情報）の前後の音信号に基づき、推定スペクトルを算出する。なお、第１音情報の音信号よりも前に取得された音信号を第２音情報、第１音情報の音信号よりも後に取得された音信号を第３音情報という。
【００４９】
例えば、図３に示した通り、第１音情報としてスペクトルＳ２、Ｓ３が得られた場合、ノイズ推定部２５２は、スペクトルＳ２の直前に取得された音信号に基づくスペクトルＳ１を、第２音情報として得る。また、ノイズ推定部２５２は、スペクトルＳ３の直後に取得された音信号に基づくスペクトルＳ４を、第３音情報として得る。
また、ノイズ推定部２５２は、タイミング信号に基づき、第１音情報であるスペクトルＳ２、Ｓ３を、動作部の動作が開始するタイミングｔ１を含む音信号として得ており、この開始タイミングに対応する動作部の動作が終了したタイミングｔ２を含む音信号として、スペクトルＳ６、Ｓ７を得る。
【００５０】
ノイズ推定部２５２は、この第１音情報であるスペクトルＳ６、Ｓ７が得られた場合、スペクトルＳ６の直前に取得された音信号に基づくスペクトルＳ５を第２音情報として得るとともに、スペクトルＳ７の直後に取得された音信号に基づくスペクトルＳ８を第３音情報として得る。
このノイズ推定部２５２は、タイミング信号に基づき、第１音情報として検出された音信号には、区間（時間領域）において、動作音が重畳されている部分と、動作音が重畳されていない部分とが含まれていると判断する。
また、ノイズ推定部２５２は、タイミング信号に基づき、動作部の動作が開始するタイミングｔ１を含むスペクトルＳ２、Ｓ３と、動作部の動作が終了するタイミングｔ２を含むスペクトルＳ６、Ｓ７との間にあるスペクトルＳ４、Ｓ５には、それぞれ、１つの区間（時間領域）において、全区間に亘って動作音が重畳されていると判断する。
【００５１】
さらに、動作部の動作が終了するタイミングの後に、同一の動作部の動作が開始された場合、ノイズ推定部２５２は、タイミング信号に基づき、次に動作部の動作が開始するタイミングｔ３を含むスペクトルＳ１２、Ｓ１３を得る。
このノイズ推定部２５２は、次に動作部の動作が開始するタイミングｔ３を含むスペクトルＳ１２、Ｓ１３を得た場合、この直前に動作部が動作を終了したタイミングｔ２を含むスペクトルＳ６、Ｓ７と、スペクトルＳ１２、Ｓ１３との間にあるスペクトルＳ８〜Ｓ１１には、それぞれ、１つの区間（時間領域）において、全区間に亘って動作音が重畳されていないと判断する。
【００５２】
このノイズ推定部２５２は、動作部が動作を開始したタイミングｔ１に対して、直前のスペクトルと直後のスペクトルとの差分を算出し、この差分である推定スペクトルをノイズ減算部２５３に出力する。
【００５３】
ここで、図４〜６を参照して、より具体的に説明する。図４は、ｔ１を含む音信号の直前の音信号に基づくスペクトルＳ１のスペクトルを示す。図５は、ｔ１を含む音信号の直後の音信号に基づくスペクトルＳ４のスペクトルを示す。なお、このスペクトルは、上述の通り、周波数領域で示される音信号を表わし、横軸に周波数、縦軸にその振幅を示す。
図４、５に示す通り、スペクトルＳ４には、動作音が重畳されているため、スペクトルＳ４からスペクトルＳ１を減算することにより、その差分である図６に示すような推定スペクトルＳＳ１が得られる。
【００５４】
ノイズ減算部２５３は、タイミング信号に基づき、動作音が重畳されている音信号を含む音情報（以下、第４音情報という）から、ノイズ推定部２５２から入力される推定スペクトルを減じるノイズ減算処理を行い、ノイズ減算処理がなされたスペクトルを逆フーリエ変換部２５４に出力する。
例えば、ノイズ減算部２５３は、タイミング信号に基づき、動作部が動作を開始したタイミングｔ１と動作を終了したタイミングｔ２との間に対応する音信号を、第４音情報として検出する。このノイズ減算部２５３は、例えば、第４音情報として、スペクトルＳ４、Ｓ５を検出し、このスペクトルＳ４、Ｓ５のそれぞれから推定スペクトルＳＳ１を減算し、ノイズ減算処理されたスペクトルｓ４、ｓ５を得る。なお、このノイズ減算処理されたスペクトルを、図７に示す。
【００５５】
ノイズ減算部２５３は、第４音情報に対応する音信号を、ノイズ減算処理された音信号に置き換える。例えば、スペクトルＳ４、Ｓ５を、それぞれ、ノイズ減算処理されたスペクトルｓ４、ｓ５に置き換える。
なお、ノイズ減算部２５３は、第４音情報をノイズ減算処理された音信号に置き換える場合に、音信号の接続部が連続となるように、クロスフェースドなどを行ってもよい。
【００５６】
逆フーリエ変換部２５４は、ノイズ減算部２５３から入力されたスペクトルに対して、例えば逆フーリエ変換、あるいは逆高速フーリエ変換（ＩＦＦＴ：Inverse Fast Fourier Transform）を行うことで、時間領域に変換する。
【００５７】
この逆フーリエ変換部２５４は、時間領域に変換された音信号を記憶媒体２００に記憶させる。なお、逆フーリエ変換部２５４は、時間領域に変換された音信号と、撮像素子１１９により撮像された画像データとを、時間的に関係付けて記憶媒体２００に記憶させてもよく、音信号を含む動画として記憶してもよい。
【００５８】
なお、低減処理部２５０は、タイミング信号に基づき、動作音が重畳されていない音信号を得た場合、この動作音が重畳されていない音信号に対しては、周波数領域への変換を行うことなく、ノイズ低減処理がなされた音信号と連結されて出力する構成であってもよく、周波数領域に変換するものの、ノイズ低減処理を行わずにノイズ低減処理がなされた音信号と連結させて出力する構成であってもよい。
【００５９】
以上説明したように、本実施形態に係る撮像装置１００は、タイミング信号検出部１９１によって動作部の動作状態が変化するタイミングを検出するとともに、このタイミング信号に基づき、動作音が重畳されている、又は動作音が重畳している可能性のある音信号と、動作音が重畳されていない音信号との差分を算出することにより、動作部の推定スペクトルを得るようにした。これにより、動作音が重畳されている音信号から、この推定スペクトルを減じることができ、動作部が動作することにより発生する動作音を低減することができる。
【００６０】
また、ノイズ推定部２５２は、タイミング信号に基づき、第１音情報の前後から得られる第２音情報と第３音情報との差分を、推定スペクトルとして得るようにした。
これにより、１つの区間（時間領域）における区間全体に亘って動作音が重畳されている音信号から、１つの区間（時間領域）における区間全体に亘って動作音が重畳されていない音信号を減じた差分を、推定スペクトルとして得ることができる。従って、区間に対応する推定スペクトルを得ることができ、同じ時間長の区間に区分された音信号から、この区間に発生している可能性の高い推定スペクトルを減じることができる。よって、ノイズ減算処理の精度を高めることができる。
【００６１】
さらに、第２音情報に含まれる目的音と、第３音情報に含まれる目的音とは、時間的に数十ｍｓｅｃほどしか変わらない音信号であるため、概ね同一であるとすることができる。本実施形態に係る撮像装置１００は、この第２音情報と第３音情報との差分を推定スペクトルとして算出するようにした。これにより、推定スペクトルの推定誤差を小さくし、ノイズ減算処理の精度を高めることができる。
【００６２】
また、音信号処理部２５１は、デジタル信号である音信号を、例えば数十ｍｓｅｃの区間で分割することが好ましい。このように、区間の長さを小さくすることで、上述の通り、第２音情報に含まれる目的音と、第３音情報に含まれる目的音とを、概ね同一であるとすることができる。
特に、音声（人の声）を目的音として収音する場合、音声は数十ｍｓｅｃ程度の短い時間内で、比較的同じ周期を繰り返す信号が多い。このため、区間の長さを小さくすることにより、第２音情報と第３音情報との目的音とが近づく。
【００６３】
［推定スペクトルを平均化した平均推定スペクトルを利用したノイズ低減処理について］
ノイズ推定部２５２は、タイミング信号に基づき、同一の動作部の動作状態が複数回にわたって変化する場合、動作状態が変化するタイミング毎に得られる複数の推定スペクトルに基づき、ノイズ減算部２５３によって第４音情報から減算される１つの推定スペクトルを得ることができる。
【００６４】
このノイズ推定部２５２は、動作部の動作が開始するタイミングを示すタイミング信号に基づき得られる推定スペクトル（以下、第１推定スペクトルという）と、動作部の動作が終了するタイミングを示すタイミング信号に基づき得られる推定スペクトル（以下、第２推定スペクトルという）とを平均した情報を平均推定スペクトルとして、ノイズ減算部２５３に出力する。
例えば、ノイズ推定部２５２は、動作部の動作が開始するタイミングｔ１を含む第１音情報であるスペクトルＳ２、Ｓ３が得られた場合、スペクトルＳ３の直後に取得された音信号に基づくスペクトルＳ４から、スペクトルＳ２の直前に取得された音信号に基づくスペクトルＳ１を減算して、その差分を第１推定スペクトルＳＳ１として得る。
また、ノイズ推定部２５２は、動作部の動作が終了するタイミングｔ２を含む第１音情報であるスペクトルＳ６、Ｓ７が得られた場合、スペクトルＳ６の直前に取得された音信号に基づくスペクトルＳ５から、スペクトルＳ７の直後に取得された音信号に基づくスペクトルＳ８を減算して、その差分を第２推定スペクトルＳＳ２として得る。この第２推定スペクトルＳＳ２を、図８に示す。
【００６５】
ノイズ推定部２５２は、動作部が動作し続けている期間の最初（ｔ１）と最後（ｔ２）において、それぞれ得られた第１推定スペクトルＳＳ１と第２推定スペクトルＳＳ２とを平均した情報を、平均推定スペクトルとしてノイズ減算部２５３に出力する。なお、この平均推定スペクトルを、図９に示す。
このノイズ減算部２５３は、ノイズ推定部２５２から入力された平均推定スペクトルを、第４音情報であるスペクトルＳ５（あるいはＳ４）から減じることで、ノイズ低減処理を行う。このノイズ低減処理がなされた後のスペクトルを、図１０に示す。
【００６６】
また、図３に示した通り、ＡＦレンズ１１２が動作する期間が複数回ある場合がある。
この場合、ノイズ推定部２５２は、動作部が動作を開始するタイミングｔ１、ｔ３においてそれぞれ得られる第１推定スペクトルＳＳ１、ＳＳ３と、動作部が動作を終了するタイミングｔ２、ｔ５においてそれぞれ得られる第２推定スペクトルＳＳ２、ＳＳ５と、を得る。
【００６７】
例えば、ノイズ推定部２５２は、動作部の動作が開始するタイミングｔ３を含む第１音情報であるスペクトルＳ１２、Ｓ１３が得られた場合、スペクトルＳ１３の直後に取得された音信号に基づくスペクトルＳ１４から、スペクトルＳ１２の直前に取得された音信号に基づくスペクトルＳ１１を減算して、その差分を第１推定スペクトルＳＳ３として得る。なお、この第１推定スペクトルＳＳ３を、図１１に示す。
また、ノイズ推定部２５２は、動作部の動作が終了するタイミングｔ５を含む第１音情報であるスペクトルＳ２１、Ｓ２２が得られた場合、スペクトルＳ２１の直前に取得された音信号に基づくスペクトルＳ２０から、スペクトルＳ２２の直後に取得された音信号に基づくスペクトルＳ２３を減算して、その差分を第２動作音情報ＳＳ５として得る。なお、この第２推定スペクトルＳＳ５を、図１２に示す。
【００６８】
このノイズ推定部２５２は、この複数の推定スペクトル（例えば、ＳＳ１〜ＳＳ３、ＳＳ５）のうち、動作部が動作を開始するタイミングにおいて得られる第１推定スペクトル（例えばＳＳ１とＳＳ３）を平均化するか、動作部が動作を開始するタイミングにおいて得られる第２推定スペクトル（例えば、ＳＳ２およびＳＳ５）を平均化するか、あるいは第１推定スペクトルおよび第２推定スペクトルの両方（例えば、ＳＳ１〜ＳＳ３、およびＳＳ５）のうち少なくとも２つを平均化して、平均推定スペクトルを得る。
【００６９】
このように、複数の推定スペクトルに基づき平均化した平均推定スペクトルを用いることで、複数の推定スペクトルのそれぞれに含まれる推定誤差を小さくすることができるため、ノイズ減算処理による精度を高めることができる。
【００７０】
また、ノイズ推定部２５２は、算出した推定スペクトルを、タイミング信号が表わすタイミングと関連付けて、例えばバッファメモリ部１３０に一次的に記憶しておく構成であってもよい。
この場合、ノイズ減算部２５３は、ノイズ推定部２５２から出力される推定スペクトルに基づきノイズ減算処理を行う構成であってもよい。またこの場合、過去の音信号をバッファメモリ部１３０から読み出して、推定スペクトルを算出する等の時間が必要ないため、ノイズ減算処理にかかる時間を短縮することができる。
【００７１】
また、ノイズ減算部２５３は、バッファメモリ部１３０に一次的に記憶されている推定スペクトルを読み出して、ノイズ減算処理を行う構成であってもよい。
例えば、ノイズ減算部２５３は、スペクトルＳ４、Ｓ５に対しては、バッファメモリ部１３０から読み出した推定スペクトルＳＳ１を用いてノイズ低減処理を行い、スペクトルＳ１４〜Ｓ２０に対しては、バッファメモリ部１３０から読み出した推定スペクトルＳＳ１、ＳＳ２、ＳＳ３に基づく平均推定スペクトルを用いてノイズ低減処理を行う構成であってもよい。
【００７２】
＜複数の推定スペクトルから異常値（outlier）を除いて平均推定スペクトルを得る場合＞
また、ノイズ推定部２５２は、複数の推定スペクトルのうち、周波数ごとの振幅が最大となる最大推定スペクトルと、このスペクトルの振幅が最小となる最小推定スペクトルとを除いた残りを平均化して、平均推定スペクトルを求めるものであってもよい。
例えば、図６、８、１１、１２に示す通り、スペクトルは、周波数ｆ１〜ｆ８を含んでいる場合、この周波数ｆ１〜ｆ８毎に、推定スペクトルＳＳ１、ＳＳ２、ＳＳ３、ＳＳ５のうち、最も振幅が大きいスペクトルである最大推定スペクトルと、最も振幅が小さいスペクトルである最小推定スペクトルとを除いた残りを平均化する。
この最大推定スペクトルと最小推定スペクトルとを除いた残りに基づき平均化した情報を周波数ｆ１〜ｆ８毎に求めて、この各周波数ｆ１〜ｆ８のそれぞれに対応する平均化した情報をすべて連結されて、平均推定スペクトルを求める。
【００７３】
この構成により、複数の推定スペクトルの中に、平均推定スペクトルから大きく外れる推定スペクトルがあった場合であっても、この大きく外れている最大推定スペクトルと最小推定スペクトルとを除くことによって、平均推定スペクトルの精度をより高めることができる。
なお、このように、複数の推定スペクトルから除かれる最大推定スペクトルおよび最小推定スペクトルは、１つに限られず、そのスペクトルの振幅が大きいものから順番に複数選んで最大推定スペクトルとし、そのスペクトルの振幅が小さいものから順番に複数選んで最小推定スペクトルとするものであってもよい。
【００７４】
＜時間に応じて重み付けされた複数の推定スペクトルに基づき平均推定スペクトルを得る場合＞
また、ノイズ推定部２５２は、複数の推定スペクトルに対して、この推定スペクトルに基づく音信号が収音された時間に基づき重み付けした値を平均して平均推定スペクトルを求めるものであってもよい。
【００７５】
低減処理部２５０は、マイク２３０によって音信号が収音された場合、この音信号が収音された日時を表わす時間情報を計時部２２０から得て、この音信号に時間情報を関連付ける。
音信号処理部２５１は、この時間情報が関連付けられている音信号をスペクトルに変換して、ノイズ推定部２５２に出力する。
このノイズ推定部２５２は、この時間情報が関連付けられているスペクトルに基づき推定スペクトルを算出することによって、スペクトルに関連付けられている時間情報に基づき、推定スペクトルに基づく音信号が収音された時間を表わす時間情報を、得られた推定スペクトルに関連づける。
また、ノイズ推定部２５２は、推定スペクトルに時間情報を関連付けて、記憶部１６０、あるいは記憶媒体２００に記憶させる。
【００７６】
ノイズ推定部２５２は、記憶部１６０あるいは記憶媒体２００に記憶されている時間情報が関連付けられている推定スペクトルを読み出し、この時間情報に基づき、より古い時間情報が関連付けられている推定スペクトルには、より軽い重み付けを行い、より新しい時間情報が関連付けられている推定スペクトルに対しては、より重い重み付けを行い、この重み付けした値を平均して平均推定スペクトルを求める。
なお、ノイズ推定部２５２は、１ヶ月、１０日、１週間等の予め決められた期間よりも古い推定スペクトルに対しては行わない構成であってもよい。
【００７７】
＜Ｓ／Ｎ比に応じて重み付けされた複数の推定スペクトルに基づき平均推定スペクトルを得る場合＞
また、ノイズ推定部２５２は、複数の推定スペクトルに対して、Ｓ／Ｎ比に基づき重み付けした値を平均して平均推定スペクトルを求めるものであってもよい。
このＳ／Ｎ比は、例えば、１つのフレームで表わされる区間（時間領域）の全体に亘って動作音が重畳されていないスペクトルを、推定スペクトルで除算した比率である。つまり、動作部が動作していないときに収音された音信号に応じたスペクトルであって、例えば、スペクトルＳ８〜Ｓ１１のように、動作終了時の第１音情報であるスペクトルＳ７と、動作開始時の第１音情報であるスペクトルＳ１２との間にあるスペクトルのうち任意の１つを分子とし、推定スペクトルを分母として得られる値である。
【００７８】
例えば、タイミングｔ１に対応するＳ／Ｎ比を算出する場合、スペクトルＳ１を、推定スペクトルＳＳ１で除算して、Ｓ／Ｎ比を算出する。
同様にして、タイミングｔ２、ｔ３、ｔ５のＳ／Ｎ比は、それぞれ、スペクトルＳ８を推定スペクトルＳＳ２で除算したＳ／Ｎ比、スペクトルＳ１１を推定スペクトルＳＳ３で除算したＳ／Ｎ比、スペクトルＳ２３を推定スペクトルＳＳ５で除算したＳ／Ｎ比、として算出される。
【００７９】
ノイズ推定部２５２は、このＳ／Ｎ比に応じた重みを、それぞれ対応する推定スペクトルＳＳ１〜ＳＳ３、ＳＳ５に重み付けした値を平均化して、平均推定スペクトルを求める。例えば、Ｓ／Ｎ比が大きい場合により軽い重みを付け、Ｓ／Ｎ比が小さい場合により重い重みを付ける。
このように、Ｓ／Ｎ比に応じて重み付けをすることにより、目的音が小さいときに得られた推定スペクトルを重要視することができる。よって、推定スペクトルの推定誤差を小さくすることができ、ノイズ減算処理の精度を高めることができる。
【００８０】
［複数の推定スペクトルから選択された一の推定スペクトルを利用したノイズ低減処理について］
また、ノイズ推定部２５２は、複数の推定スペクトルのうち、周波数ごとの振幅が最大となる最大推定スペクトル、あるいは、周波数ごとの振幅が最小となる最小推定スペクトルを選択し、この選択された推定スペクトルをノイズ減算部２５３に出力する構成であってもよい。
【００８１】
なお、この場合、ノイズ推定部２５２は、上述したとおり、それぞれの推定スペクトルにおいて求められるＳ／Ｎ比を平均化した値が、予め決められている閾値以上である場合、最小推定スペクトルを選択し、ノイズ減算部２５３に出力する構成であってもよい。
また、それぞれの推定スペクトルにおいて求められるＳ／Ｎ比を平均化した値が、予め決められている閾値よりも小さい場合、最大推定スペクトルを選択し、ノイズ減算部２５３に出力する構成であってもよい。
【００８２】
つまり、Ｓ／Ｎ比が大きい場合、最小推定スペクトルを用いてノイズ減算処理を行うことで、目的音の品質を確保することを重要視したノイズ減算処理を実現することができる。
一方、Ｓ／Ｎ比が小さい場合、最大推定スペクトルを用いてノイズ減算処理を行うことで、動作音を低減することを重要視したノイズ減算処理を実現することができる。
【００８３】
［低減処理部２５０の詳細について］
ノイズ減算部２５３は、第４音情報に対応するスペクトルに対して、例えばスペクトル減算法を用いて、周波数領域でノイズ低減処理を実行し、動作音によるノイズを低減させる。
例えば、以下に示す文献に記載されている技術が利用可能である。
Suppression of acoustic noise in speech using spectral subtraction STEVEN F. BOLL 1979.
【００８４】
上述の通り、ノイズ減算部２５３は、区間ごとのスペクトルに対して、それぞれ、推定ノイズを周波数領域で減算するノイズ減算処理を行うことで、動作音によるノイズを低減させることができる。
ここで、１つの区間における一部分のみにノイズが発生している場合、その区間に対して、推定スペクトルをそのまま減算してしまうと、動作音によるノイズを低減し過ぎてしまう場合がある。このため、ノイズ減算部２５３は、推定スペクトルを減算係数で重み付けし、重み付けされた推定スペクトルを、窓関数で重み付けされたスペクトルから周波数領域で減算してもよい。そして、予め定められた区間に対応する減算係数は、その区間に対応する窓関数と、動作部の動作状態が変更したタイミング（例えば、ｔ１）との相対位置に応じて、次のように定められる。
【００８５】
以下、窓関数は、一例として、ハニング窓（ハニングウィンドウ）関数であるとして説明する。図１３〜１５には、タイミングｔ１を含むスペクトルＳ２、Ｓ３（第１音情報）と、このスペクトルＳ２の直前のスペクトルＳ１（第２音情報）と、スペクトルＳ３の直後のスペクトルＳ４（第３音情報）と、窓関数Ｗ１〜Ｗ４との位置関係の一例が示されている。
【００８６】
例えば、図１３に示された例であれば、スペクトルＳ１が時刻ｔ１を含まず、かつ、時刻ｔ１より前に位置するため、このスペクトルＳ１に対応する減算係数は、この相対位置に応じて、定められてもよい。
また、スペクトルＳ２は、時刻ｔ１を含むため、このスペクトルＳ２に対応する減算係数は、スペクトルＳ２における窓関数Ｗ２の面積と、時刻ｔ１以降の窓関数Ｗ２の面積（図１３の斜線部分）との比に基づいて、定められてもよい。なお、スペクトルＳ３に対応する減算係数も、同様である（図１４を参照）。
さらに、図１５において、スペクトルＳ４が時刻ｔ１を含まず、かつ、時刻ｔ１より後に位置するため、このスペクトルＳ４に対応する減算係数は、この相対位置に応じて、定められてもよい。
【００８７】
なお、この減算係数は、動作部の動作状態が変更したタイミングと、窓関数との相対的な位置関係に応じてノイズ減算部２５３によって決定されるものであり、動作部が動作を終了するタイミング（例えば、ｔ２）においても、上述と同様にして、そのスペクトルにおける窓関数の面積と、時刻ｔ２以前の窓関数の面積との比に基づいて、定められてもよい。
【００８８】
図１６には、このようにして定められた減算係数の一例が示されている。図１３〜１５に示された例であれば、例えば、スペクトルＳ１に対応する減算係数は、値「０」、スペクトルＳ２に対応する減算係数は、値「０．３」、スペクトルＳ３に対応する減算係数は、値「０．９」、スペクトルＳ４に対応する減算係数は、値「１」になる。なお、これらの値は、一例である。
【００８９】
なお、この減算係数は、図１７に示す通り、フレーム毎のスペクトルの大きさ（つまり、周波数の出力）と、推定スペクトルの大きさ（つまり、周波数の出力）との比率（以下、ＳＮＲｉ（ｄＢ）という）に基づき決定される。図１７は、この比率ＳＮＲｉ（ｄＢ）と、減算係数αｉとの関係を示す図である。
【００９０】
図１７に示す通り、減算係数αｉは、比率ＳＮＲｉ（ｄＢ）が値「−５」から値「２０」の間で、値「５」から値「１」に減少する。
この比率ＳＮＲｉ（ｄＢ）は、次式で表わすことができる。
【数１】
なお、Ｙｉは各フレームのスペクトルを、Ｄｉは推定スペクトルを、ｉは各フレームを、それぞれ表わしている。
【００９１】
また、減算係数αｉと比率ＳＮＲｉ（ｄＢ）との関係を数式で表わすと、以下のようになる。
【数２】
【００９２】
従って、ノイズ減算部２５３は、比率ＳＮＲｉ（ｄＢ）に応じた減算係数αｉを算出し、推定スペクトルをこの減算係数αｉで重み付けし、重み付けされた推定スペクトルを、窓関数で重み付けされたスペクトルから周波数領域で減算してもよい。
これにより、１つの区間における一部分のみにノイズが発生している場合であっても、動作音によるノイズを低減し過ぎてしまう事態を防止し、目的音を十分に確保することができる。
【００９３】
なお、本発明はこれに限られず、ノイズ減算部２５３は、音信号に動作音が重畳されているスペクトル、および、推定スペクトルに基づき抑圧係数を算出し、この抑圧係数に基づき、音信号に動作音が重畳されているスペクトルに重み付けするものであってもよい。
【００９４】
また、例えば、マイク２３０によって収音された音信号は、Ａ/Ｄ変換部２４０に出力されたあとバッファメモリ部１３０に一次的に記憶され、あるいは記憶媒体２００に記憶されたのち、このバッファメモリ部１３０あるいは記憶媒体２００から読み出された音信号が、低減処理部２５０によって処理される構成であってもよい。この場合、リアルタイムに処理する際にかかる装置負荷（例えば、処理時間の遅延等）を軽減することができる。
【００９５】
また、タイミング信号検出部１９１又は低減処理部２５０等による手順を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものであってもよい。
【００９６】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００９７】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００９８】
１００…撮像装置、１１０…撮像部、１９０…ＣＰＵ、１９１…検出部、１７０…通信部、２００…記憶媒体、２３０…マイク、２４０…Ａ/Ｄ変換部、２５０…低減処理部、２５１…判断部
【技術分野】
【０００１】
本発明は、音信号からノイズを減算する撮像装置に関する。
【背景技術】
【０００２】
例えば、連続的に発生している周囲音をノイズとして除去するため、音信号から周囲音に対応するノイズ（音信号に含まれているノイズ成分）を算出して、このノイズを音信号から減じるものがある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１９５９５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、撮像装置には、レンズやこれを駆動させる駆動部等を含む動作部が搭載されており、例えばユーザの操作に応じて動作部が動作することで、この動作部の動作音が非連続的（突発的）に発生する場合がある。
このように非連続的に発生するノイズの場合、特許文献１の技術にあっては、音信号から周囲音に対応するノイズ、すなわち、連続的に発生しているノイズのみを算出しているため、非連続的に発生するノイズを算出することが困難であるという問題がある。また、そのために、撮像装置に設けられる動作部が動作することにより発生するノイズを減じることは難しいという問題があった。
【０００５】
本発明は、前記の点に鑑みてなされたものであり、撮像装置に設けられる動作部が動作することにより発生するノイズを減じることができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決するためになされたものであり、光学系による光学像を撮像する撮像部を備える撮像装置において、前記撮像装置に備えられる動作部が動作するタイミングを示す信号を検出するタイミング信号検出部と、音信号を取得する音信号取得部と、前記タイミングを示す信号に基づき、前記動作部の動作状態が変化した時の前記音信号を含む前記音信号の区間を第１音情報として得て、前記第１音情報よりも前の音信号の区間に対応する第２音情報と、前記第１音情報よりも後の音信号の区間に対応する第３音情報とに基づき前記動作部の動作音情報を算出する推定部と、前記タイミングを示す信号に基づき、前記動作部の動作音を含む前記音信号の区間に対応する第４音情報から前記動作音情報を減じる処理部と、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、撮像装置に設けられる動作部が動作することにより発生するノイズを減じることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】本発明の実施形態に係る撮像装置におけるタイミング信号と動作音との関係を説明するための参考図である。
【図３】本発明の実施形態に係る撮像装置において得られた音情報と窓関数との関係を説明するための参考図である。
【図４】図３に示したｔ１直前のスペクトルＳ１を示す図である。
【図５】図３に示したｔ１直後のスペクトルＳ４を示す図である。
【図６】図４、５に示したスペクトルに基づき得られる推定スペクトルＳＳ１を示す図である。
【図７】図６に示した推定スペクトルＳＳ１に基づき、図５に示したスペクトルＳ４からノイズ低減処理したスペクトルを示す図である。
【図８】図３に示したｔ２に対応する推定スペクトルＳＳ２を示す図である。
【図９】図６に示した推定スペクトルＳＳ１と、図８に示した推定スペクトルＳＳ２とに基づく平均推定スペクトルを示す図である。
【図１０】図９に示した平均推定スペクトルに基づき、図５に示したスペクトルＳ４からノイズ低減処理したスペクトルを示す図である。
【図１１】図３に示したｔ３に対応する推定スペクトルＳＳ３を示す図である。
【図１２】図３に示したｔ４に対応する推定スペクトルＳＳ４を示す図である。
【図１３】図３に示したｔ１と、ハニング窓関数との位置関係の一例を示す図である。
【図１４】図３に示したｔ１と、ハニング窓関数との位置関係の一例を示す図である。
【図１５】図３に示したｔ１と、ハニング窓関数との位置関係の一例を示す図である。
【図１６】本発明の実施形態に係る撮像装置において利用される減算係数の一例を示す図である。
【図１７】本発明の実施形態に係る撮像装置において利用される減算係数を説明するための図である。
【発明を実施するための形態】
【０００９】
本発明の実施形態について図面を参照して詳細に説明する。図１には、本実施形態に係る撮像装置の構成を示すブロック図が示されている。
図１に示す通り、撮像装置１００は、光学系による像を撮像し、得られた画像データを記憶媒体２００に記憶させるとともに、収音された音から動作音であるノイズを低減し、得られた音信号を記憶媒体２００に記憶させる。
【００１０】
撮像装置１００は、撮像部１１０と、バッファメモリ１３０と、画像処理部１４０と、表示部１５０と、記憶部１６０と、通信部１７０と、操作部１８０と、ＣＰＵ１９０と、マイク２３０と、Ａ/Ｄ変換部２４０と、低減処理部２５０と、を備える。
【００１１】
撮像部１１０は、光学系１１１と、撮像素子１１９と、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部１２０とを備え、設定された撮像条件（例えば絞り値、露出値等）に従って、ＣＰＵ１９０により制御される。また、撮像部１１０は、光学系１１１による光学像を撮像素子１１９に結像させて、Ａ／Ｄ変換部１２０によってデジタル信号に変換された光学像に基づく画像データを生成する。
【００１２】
光学系１１１は、焦点調整レンズ（以下、「ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）レンズ」という）１１２と、手振れ補正レンズ（以下、「ＶＲ（Ｖｉｂｒａｔｉｏｎ Ｒｅｄｕｃｔｉｏｎ）レンズ」という）１１３と、ズームレンズ１１４と、ズームエンコーダ１１５と、レンズ駆動部１１６と、ＡＦエンコーダ１１７と、像ぶれ補正部１１８を備える。
この光学系１１１は、ズームレンズ１１４から入射し、ズームレンズ１１４、ＡＦレンズ１１２、及びＶＲレンズ１１３の順番で通過した光学像を、撮像素子１１９の受光面に導く。
【００１３】
レンズ駆動部１１６には、ＡＦレンズ１１２及びズームレンズ１１４の位置を制御するための駆動制御信号がＣＰＵ１９０から入力され、この駆動制御信号に応じて、ＡＦレンズ１１２及びズームレンズ１１４の位置を制御する。この駆動制御信号がＣＰＵ１９０からレンズ駆動部１１６に入力されてレンズ駆動部１１６が駆動することにより、ＡＦレンズ１１２及びズームレンズ１１４が移動（動作）する。
【００１４】
ズームエンコーダ１１５は、ズームレンズ１１４の位置を表わすズームポジションを検出し、ＣＰＵ１９０に出力する。このズームエンコーダ１１５は、ズームレンズ１１４の移動を検出し、例えば、ズームレンズ１１４が光学系１１１内を移動している場合にハイレベル、停止している場合にローレベルとなる信号をＣＰＵ１９０に出力する。なお、このＣＰＵ１９０は、ズームエンコーダ１１５から出力される信号に基づき、タイミング信号がハイレベルからローレベルに変化した時、および、ローレベルからハイレベルに変化した時が、ズームレンズ１１４の動作状態が変化した時であると判断する。
【００１５】
ＡＦエンコーダ１１７は、ＡＦレンズ１１２の位置を表わすフォーカスポジションを検出し、ＣＰＵ１９０に出力する。このＡＦエンコーダ１１７は、ＡＦレンズ１１２の移動を検出し、例えば、ＡＦレンズ１１２が光学系１１１内を移動している場合にハイレベル、停止している場合にローレベルとなる信号をＣＰＵ１９０に出力する。なお、このＣＰＵ１９０は、ＡＦエンコーダ１１７から出力される信号に基づき、タイミング信号がハイレベルからローレベルに変化した時、および、ローレベルからハイレベルに変化した時が、ＡＦレンズ１１２の動作状態が変化した時であると判断する。
【００１６】
なお、ズームエンコーダ１１５は、ズームポジションを検出するために、ズームレンズ１１４の駆動方向を検出するものであってもよい。また、ＡＦエンコーダ１１７は、フォーカスポジションを検出するために、ＡＦレンズ１１２の駆動方向を検出するものであってもよい。これらズームレンズエンコーダ１１５やＡＦレンズ１１７は、レンズ駆動部１１６によって駆動される駆動機構（例えばモータやカム等）が時計回り（ＣＷ）あるいは反時計回り（ＣＣＷ）に回転することにより移動する。よって、ズームエンコーダ１１５およびＡＦエンコーダ１１７は、それぞれ、駆動方向（ここでは、時計回りあるいは反時計回り）を検出することよって、ズームレンズ１１４およびＡＦレンズ１１２が移動していることを検出する。
【００１７】
像ぶれ補正部１１８は、光学系１１１による像のぶれを検出し、当該ぶれを打ち消す方向にＶＲレンズ１１３を駆動する。この像ぶれ補正部１１８は、例えばＶＲレンズ１１３が駆動されている場合にハイレベル、駆動が停止されている場合にローレベルとなる信号をＣＰＵ１９０に出力する。なお、このＣＰＵ１９０は、像ぶれ補正部１１８から出力される信号に基づき、タイミング信号がハイレベルからローレベルに変化した時、および、ローレベルからハイレベルに変化した時が、ＶＲレンズ１１８の動作状態が変化した時であると判断する。
【００１８】
撮像素子１１９は、例えば、光電変換面を備え、その受光面に結像した光学像を電気信号に変換して、Ａ／Ｄ変換部１２０に出力する。
この撮像素子１１９は、操作部１８０を介して撮影指示を受け付けた際に得られる画像データを、静止画又は動画の画像データとして、Ａ／Ｄ変換部１２０を介して記憶媒体２００に記憶させる。一方、撮像素子１１９は、操作部１８０を介して撮像指示を受け付けていない状態において、連続的に得られる画像データをスルー画データとして、Ａ／Ｄ変換部１２０を介してＣＰＵ１９０及び表示部１５０に出力する。
【００１９】
Ａ／Ｄ変換部１２０は、撮像素子１１９によって変換された電気信号をデジタル化して、デジタル信号である画像データをバッファメモリ部１３０に出力する。
【００２０】
バッファメモリ部１３０は、撮像部１１０によって撮像された画像データを、一時的に記憶する。また、バッファメモリ部１３０は、マイク２３０が収音した目的音に応じた音信号を、一時的に記憶する。なお、バッファメモリ部１３０は、目的音が収音された時刻と、バッファメモリ部１３０における位置とを対応付けて、目的音に応じた音信号を記憶してもよい。
【００２１】
画像処理部１４０は、記憶部１６０に記憶されている画像処理条件を参照して、バッファメモリ部１３０に一時的に記憶されている画像データに対して、画像処理をする。画像処理された画像データは、通信部１７０を介して記憶媒体２００に記憶される。なお、画像処理部１４０は、記憶媒体２００に記憶されている画像データに対して、画像処理をしてもよい。
【００２２】
表示部１５０は、例えば液晶ディスプレイであって、撮像部１００によって得られた画像データ、及び操作画面等を表示する。
【００２３】
記憶部１６０は、ＣＰＵ１９０によってシーン判定の際に参照される判定条件や、シーン判定によって判断されたシーン毎に対応付けられた撮像条件等を記憶する。
【００２４】
通信部１７０は、カードメモリ等の取り外しが可能な記憶媒体２００と接続され、この記憶媒体２００への情報（画像データ及び音データ等）の書込み、読み出し、あるいは消去を行う。
【００２５】
操作部１８０は、例えば、電源スイッチ、シャッターボタン、マルチセレクタ（十字キー）、又はその他の操作キーを備え、ユーザによって操作されることでユーザの操作入力を受け付け、操作入力に応じた操作情報をＣＰＵ１９０に出力する。
このＣＰＵ１９０は、この操作情報に基づき、予め決められている操作部１８０の動作時間（記憶部１６０に保存されている）を参照して、操作情報が入力された時点と、動作時間が終了する時点が、操作部１８０の動作状態が変化した時であると判断する。
【００２６】
記憶媒体２００は、撮像装置１００に対して着脱可能に接続される記憶部であって、例えば、撮像部１１０によって生成された（撮影された）画像データや、低減処理部２５０により音信号処理された音信号を記憶する。
【００２７】
バス２１０は、撮像部１１０と、バッファメモリ部１３０と、画像処理部１４０と、表示部１５０と、記憶部１６０と、通信部１７０と、操作部１８０と、ＣＰＵ１９０と、マイク２３０と、Ａ/Ｄ変換部２４０と、低減処理部２５０と、に接続され、各部から出力されたデータ等を転送する。
【００２８】
計時部２２０は、日にちや時刻を計時して、計時した日時を表わす時間情報を出力する。
【００２９】
ＣＰＵ１９０は、設定された撮像条件（例えば絞り値、露出値等）に従って撮像部１１０を制御する。このＣＰＵ１９０は、ズームエンコーダ１１５から出力されるズームポジション及びＡＦエンコーダから出力されるフォーカスポジションに基づき、レンズ駆動部１１６を駆動する駆動制御信号を生成して、レンズ駆動部１１６に出力する。その生成アルゴリズムは、必要に応じて適宜のアルゴリズムを用いてよい。
また、ＣＰＵ１９０は、タイミング信号検出部１９１を含む。
【００３０】
このタイミング信号検出部１９１は、撮像装置１００が備えている動作部の動作状態が変化するタイミングを検出する。この動作状態が変化するタイミングとしては、例えば、動作部が動作を開始するタイミングと、動作部の動作が終了するタイミングとがある。
ここでいう動作部とは、一例としては、上述したズームレンズ１１４、ＶＲレンズ１１３、ＡＦレンズ１１２、または、操作部１８０のことであり、撮像装置１００が備えている構成のうち、動作することにより、または、動作されることにより、音が生じる（または、音が生じる可能性がある）構成である。
【００３１】
また、この動作部とは、撮像装置１００が備えている構成のうち、動作することにより生じた音、または、動作されることにより生じた音が、マイク２３０により収音される（または、収音される可能性のある）構成である。
【００３２】
このタイミング信号検出部１９１は、動作部を動作させる制御信号に基づいて、動作部の動作状態が変化するタイミングを検出してもよい。この制御信号とは、動作部を動作させる駆動部に対して、動作部を動作させるようにする制御信号、または、この駆動部を駆動させる制御信号である。
【００３３】
例えば、タイミング信号検出部１９１は、ズームレンズ１１４、ＶＲレンズ１１３、または、ＡＦレンズ１１２を駆動させるためにレンズ駆動部１１６または手振れ防止部１１８に入力される駆動制御信号に基づいて、または、ＣＰＵ１９０で生成される駆動制御信号に基づいて、動作部の動作状態が変化するタイミングを検出してもよい。
また、ＣＰＵ１９０が駆動制御信号を生成する場合に、タイミング信号検出部１９１は、ＣＰＵ１９０内部で実行される処理やコマンドに基づいて、動作部の動作状態が変化するタイミングを検出してもよい。
また、タイミング信号検出部１９１は、操作部１８０から入力されるズームレンズ１１４、または、ＡＦレンズ１１２を駆動させることを示す信号に基づいて、動作部の動作状態が変化するタイミングを検出してもよい。
【００３４】
また、このタイミング信号検出部１９１は、動作部が動作されたことを示す信号に基づいて、動作部の動作状態が変化するタイミングを検出してもよい。
【００３５】
たとえば、タイミング信号検出部１９１は、ズームエンコーダ１１５またはＡＦエンコーダ１１７の出力に基づいて、ズームレンズ１１４またはＡＦレンズ１１２が駆動されたことを検出することにより、動作部が動作を開始するタイミングを検出してもよく、ズームレンズ１１４またはＡＦレンズ１１２が停止されたことを検出することにより、動作部が動作を終了するタイミングを検出してもよい。
また、タイミング信号検出部１９１は、手振れ防止部１１８からの出力に基づいて、ＶＲレンズ１１３が駆動されたことを検出することにより、動作部が動作を開始するタイミングを検出してもよく、ＶＲレンズ１１３が停止されたことを検出することにより、動作部が動作を終了するタイミングを検出してもよい。
【００３６】
このタイミング信号検出部１９１は、操作部１８０からの入力に基づいて、操作部１８０が操作されたことを検出することにより、動作部が動作するタイミングを検出してもよい。
【００３７】
そして、タイミング信号検出部１９１は、撮像装置１００が備えている動作部が動作を開始するタイミング、および、動作部が動作を終了するタイミングを検出し、この検出したタイミングを示す信号（以下、タイミング信号という）を、低減処理部２５０に出力する。
【００３８】
マイク２３０は、入力される音信号を収音し、Ａ/Ｄ変換部２４０に出力する。なお、マイク２３０によって収音される音信号には、収音対象である目的音が含まれている。この目的音には、動作部が動作することにより発生する動作音が重畳している場合がある。
【００３９】
ここで、マイク２３０によって収音された音信号について、ＡＦレンズ１１２が動作された時に得られた音信号を例に、図２を参照して説明する。
図２には、ＡＦエンコーダ１１７の出力と時間、動作音が重畳した音信号の出力と時間の関係の一例が示されている。なお、図２（Ｂ）は、説明便宜のため、動作音の音信号のみ示し、目的音の音信号の図示を省略する。
【００４０】
図２（Ａ）には、その縦軸に、ＡＦエンコーダ１１７の出力として、ＡＦレンズ１１２の駆動方向を示す。すなわち、動作部としてのＡＦレンズ１１２が、光学系１１１内において移動する動作状態の変化を示している。
この図２（Ａ）及び（Ｂ）には、その横軸に、時刻が示されており、例えば、時刻ｔ１は、ＡＦレンズ１１２の動作が開始したタイミングを表わし、時刻ｔ２は、ＡＦレンズ１１２の動作が終了したタイミングを表わしている。また、時刻ｔ３は、ＡＦレンズ１１２の動作が開始したタイミングを表わし、時刻ｔ４は、ＡＦレンズ１１２の駆動方向が逆回転となったタイミングを表わし、時刻ｔ５は、ＡＦレンズ１１２の動作が終了したタイミングを表わしている。
つまり、図２（Ｂ）に示す通り、時刻ｔ１〜２の期間、時刻ｔ３〜ｔ５の期間で、音信号に動作音が重畳（発生）している、又は、動作音が重畳している可能性が高い。ここでは、時刻ｔ１〜２の期間、時刻ｔ３〜ｔ５の期間において、動作音であるノイズが発生している場合について以下説明する。
【００４１】
このように、ＡＦレンズ１１２が動作したことにより発生する動作音は、ＡＦレンズ１１２が動作するタイミングに同期して発生している。つまり、タイミング信号検出部１９１によって検出されるタイミング信号を用いることで、低減処理部２５０は、音信号に動作音が重畳している部分、又は動作音が重畳している可能性のある部分を判断することができる。
【００４２】
Ａ/Ｄ変換部２４０は、マイク２３０から入力されたアナログ信号である音信号をデジタル信号である音信号に、アナログデジタル変換する。このＡ/Ｄ変換部２４０は、デジタル信号である音信号を、低減処理部２５０に出力する。
また、Ａ/Ｄ変換部２４０は、デジタル信号である音信号を、バッファメモリ部１３０あるいは記憶媒体２００に記憶させる構成であってもよく、撮像素子１１９により撮像された画像データと、時間的に関係付けられて記憶されてもよいし、音信号を含む動画として記憶されてもよい。
【００４３】
低減処理部２５０は、Ａ／Ｄ変換部２４０によりデジタル信号に変換された音信号に対して、例えば、動作音であるノイズを低減するなどの音信号処理を実行し、この音信号処理した音信号を記憶媒体２００に記憶させる。
この低減処理部２５０は、音信号処理部２５１と、ノイズ推定部２５２と、ノイズ減算部２５３と、逆フーリエ変換部２５４とを含む。
【００４４】
音信号処理部２５１は、Ａ/Ｄ変換部２４０から出力された音信号を予め決められた区間ごとに窓関数で重み付けするとともに、この区間毎の音信号を周波数領域で表わされるスペクトルに変換して、この周波数領域で表わされるスペクトルをノイズ推定部２５２およびノイズ減算部２５３に出力する。
この音信号処理部２５１は、例えば、音信号にフーリエ変換、あるいは高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）を行うことで、周波数領域に変換する。
ここで、予め定められた区間とは、信号処理の単位（フレーム）であって、一定の間隔で繰り返される区間であってもよく。また、これらの予め定められた区間は、他の予め定められた区間と半分ずつ順にオーバーラップしていてもよい。なお、窓関数は、例えば、ハニング窓（ハニングウィンドウ）関数が利用可能である。
【００４５】
ノイズ推定部２５２は、音信号処理部２５１から出力されるスペクトルに基づき、動作部による動作音情報（以下、推定スペクトル）を算出する。この推定スペクトルとは、動作音により発生する音信号を主に含む音信号のスペクトルのことである。
このノイズ推定部２５２は、タイミング信号検出部１９１から入力されるタイミング信号に基づき、動作部の動作状態が変化した時にマイク２３０によって取得された音信号を含むスペクトル（以下、第１音情報という）を得る。
【００４６】
ここで、ノイズ推定部２５２について、図３を参照して、具体的に説明する。図３は、縦軸にマイク２３０によって収音された音信号の出力、横軸に時間を示し、音信号の出力と窓関数Ｗ１〜Ｗ２５の関係を示す。
上述の通り、音信号処理部２５１によって、Ａ/Ｄ変換部２４０から出力された音信号が、図３に示すように他の区間と半分ずつ順にオーバーラップしている窓関数Ｗ１〜Ｗ２５で重み付けされるとともに、各区間の周波数領域におけるスペクトルＳ１〜Ｓ２５が生成される。つまり、音信号処理部２５１から出力されるスペクトルＳ１〜Ｓ２５は、窓関数Ｗ１〜Ｗ２５の区間に対応するスペクトルである。
【００４７】
図３に示す通り、窓関数Ｗ２、Ｗ３に対応するスペクトルＳ２、Ｓ３は、ＡＦレンズ１１２が動作を開始するタイミング（ｔ１）を含む音情報であって、窓関数Ｗ６、Ｗ７に対応するスペクトルＳ６、Ｓ７は、ＡＦレンズ１１２が動作を終了するタイミング（ｔ２）を含む音情報である。
ノイズ推定部２５２は、タイミング信号に基づき、第１音情報として、スペクトルＳ２、Ｓ３、Ｓ６、Ｓ７を検出する。
【００４８】
また、ノイズ推定部２５２は、タイミング信号に基づき、動作部の動作状態が変化した時にマイク２３０によって収音された音信号（第１音情報）の前後の音信号に基づき、推定スペクトルを算出する。なお、第１音情報の音信号よりも前に取得された音信号を第２音情報、第１音情報の音信号よりも後に取得された音信号を第３音情報という。
【００４９】
例えば、図３に示した通り、第１音情報としてスペクトルＳ２、Ｓ３が得られた場合、ノイズ推定部２５２は、スペクトルＳ２の直前に取得された音信号に基づくスペクトルＳ１を、第２音情報として得る。また、ノイズ推定部２５２は、スペクトルＳ３の直後に取得された音信号に基づくスペクトルＳ４を、第３音情報として得る。
また、ノイズ推定部２５２は、タイミング信号に基づき、第１音情報であるスペクトルＳ２、Ｓ３を、動作部の動作が開始するタイミングｔ１を含む音信号として得ており、この開始タイミングに対応する動作部の動作が終了したタイミングｔ２を含む音信号として、スペクトルＳ６、Ｓ７を得る。
【００５０】
ノイズ推定部２５２は、この第１音情報であるスペクトルＳ６、Ｓ７が得られた場合、スペクトルＳ６の直前に取得された音信号に基づくスペクトルＳ５を第２音情報として得るとともに、スペクトルＳ７の直後に取得された音信号に基づくスペクトルＳ８を第３音情報として得る。
このノイズ推定部２５２は、タイミング信号に基づき、第１音情報として検出された音信号には、区間（時間領域）において、動作音が重畳されている部分と、動作音が重畳されていない部分とが含まれていると判断する。
また、ノイズ推定部２５２は、タイミング信号に基づき、動作部の動作が開始するタイミングｔ１を含むスペクトルＳ２、Ｓ３と、動作部の動作が終了するタイミングｔ２を含むスペクトルＳ６、Ｓ７との間にあるスペクトルＳ４、Ｓ５には、それぞれ、１つの区間（時間領域）において、全区間に亘って動作音が重畳されていると判断する。
【００５１】
さらに、動作部の動作が終了するタイミングの後に、同一の動作部の動作が開始された場合、ノイズ推定部２５２は、タイミング信号に基づき、次に動作部の動作が開始するタイミングｔ３を含むスペクトルＳ１２、Ｓ１３を得る。
このノイズ推定部２５２は、次に動作部の動作が開始するタイミングｔ３を含むスペクトルＳ１２、Ｓ１３を得た場合、この直前に動作部が動作を終了したタイミングｔ２を含むスペクトルＳ６、Ｓ７と、スペクトルＳ１２、Ｓ１３との間にあるスペクトルＳ８〜Ｓ１１には、それぞれ、１つの区間（時間領域）において、全区間に亘って動作音が重畳されていないと判断する。
【００５２】
このノイズ推定部２５２は、動作部が動作を開始したタイミングｔ１に対して、直前のスペクトルと直後のスペクトルとの差分を算出し、この差分である推定スペクトルをノイズ減算部２５３に出力する。
【００５３】
ここで、図４〜６を参照して、より具体的に説明する。図４は、ｔ１を含む音信号の直前の音信号に基づくスペクトルＳ１のスペクトルを示す。図５は、ｔ１を含む音信号の直後の音信号に基づくスペクトルＳ４のスペクトルを示す。なお、このスペクトルは、上述の通り、周波数領域で示される音信号を表わし、横軸に周波数、縦軸にその振幅を示す。
図４、５に示す通り、スペクトルＳ４には、動作音が重畳されているため、スペクトルＳ４からスペクトルＳ１を減算することにより、その差分である図６に示すような推定スペクトルＳＳ１が得られる。
【００５４】
ノイズ減算部２５３は、タイミング信号に基づき、動作音が重畳されている音信号を含む音情報（以下、第４音情報という）から、ノイズ推定部２５２から入力される推定スペクトルを減じるノイズ減算処理を行い、ノイズ減算処理がなされたスペクトルを逆フーリエ変換部２５４に出力する。
例えば、ノイズ減算部２５３は、タイミング信号に基づき、動作部が動作を開始したタイミングｔ１と動作を終了したタイミングｔ２との間に対応する音信号を、第４音情報として検出する。このノイズ減算部２５３は、例えば、第４音情報として、スペクトルＳ４、Ｓ５を検出し、このスペクトルＳ４、Ｓ５のそれぞれから推定スペクトルＳＳ１を減算し、ノイズ減算処理されたスペクトルｓ４、ｓ５を得る。なお、このノイズ減算処理されたスペクトルを、図７に示す。
【００５５】
ノイズ減算部２５３は、第４音情報に対応する音信号を、ノイズ減算処理された音信号に置き換える。例えば、スペクトルＳ４、Ｓ５を、それぞれ、ノイズ減算処理されたスペクトルｓ４、ｓ５に置き換える。
なお、ノイズ減算部２５３は、第４音情報をノイズ減算処理された音信号に置き換える場合に、音信号の接続部が連続となるように、クロスフェースドなどを行ってもよい。
【００５６】
逆フーリエ変換部２５４は、ノイズ減算部２５３から入力されたスペクトルに対して、例えば逆フーリエ変換、あるいは逆高速フーリエ変換（ＩＦＦＴ：Inverse Fast Fourier Transform）を行うことで、時間領域に変換する。
【００５７】
この逆フーリエ変換部２５４は、時間領域に変換された音信号を記憶媒体２００に記憶させる。なお、逆フーリエ変換部２５４は、時間領域に変換された音信号と、撮像素子１１９により撮像された画像データとを、時間的に関係付けて記憶媒体２００に記憶させてもよく、音信号を含む動画として記憶してもよい。
【００５８】
なお、低減処理部２５０は、タイミング信号に基づき、動作音が重畳されていない音信号を得た場合、この動作音が重畳されていない音信号に対しては、周波数領域への変換を行うことなく、ノイズ低減処理がなされた音信号と連結されて出力する構成であってもよく、周波数領域に変換するものの、ノイズ低減処理を行わずにノイズ低減処理がなされた音信号と連結させて出力する構成であってもよい。
【００５９】
以上説明したように、本実施形態に係る撮像装置１００は、タイミング信号検出部１９１によって動作部の動作状態が変化するタイミングを検出するとともに、このタイミング信号に基づき、動作音が重畳されている、又は動作音が重畳している可能性のある音信号と、動作音が重畳されていない音信号との差分を算出することにより、動作部の推定スペクトルを得るようにした。これにより、動作音が重畳されている音信号から、この推定スペクトルを減じることができ、動作部が動作することにより発生する動作音を低減することができる。
【００６０】
また、ノイズ推定部２５２は、タイミング信号に基づき、第１音情報の前後から得られる第２音情報と第３音情報との差分を、推定スペクトルとして得るようにした。
これにより、１つの区間（時間領域）における区間全体に亘って動作音が重畳されている音信号から、１つの区間（時間領域）における区間全体に亘って動作音が重畳されていない音信号を減じた差分を、推定スペクトルとして得ることができる。従って、区間に対応する推定スペクトルを得ることができ、同じ時間長の区間に区分された音信号から、この区間に発生している可能性の高い推定スペクトルを減じることができる。よって、ノイズ減算処理の精度を高めることができる。
【００６１】
さらに、第２音情報に含まれる目的音と、第３音情報に含まれる目的音とは、時間的に数十ｍｓｅｃほどしか変わらない音信号であるため、概ね同一であるとすることができる。本実施形態に係る撮像装置１００は、この第２音情報と第３音情報との差分を推定スペクトルとして算出するようにした。これにより、推定スペクトルの推定誤差を小さくし、ノイズ減算処理の精度を高めることができる。
【００６２】
また、音信号処理部２５１は、デジタル信号である音信号を、例えば数十ｍｓｅｃの区間で分割することが好ましい。このように、区間の長さを小さくすることで、上述の通り、第２音情報に含まれる目的音と、第３音情報に含まれる目的音とを、概ね同一であるとすることができる。
特に、音声（人の声）を目的音として収音する場合、音声は数十ｍｓｅｃ程度の短い時間内で、比較的同じ周期を繰り返す信号が多い。このため、区間の長さを小さくすることにより、第２音情報と第３音情報との目的音とが近づく。
【００６３】
［推定スペクトルを平均化した平均推定スペクトルを利用したノイズ低減処理について］
ノイズ推定部２５２は、タイミング信号に基づき、同一の動作部の動作状態が複数回にわたって変化する場合、動作状態が変化するタイミング毎に得られる複数の推定スペクトルに基づき、ノイズ減算部２５３によって第４音情報から減算される１つの推定スペクトルを得ることができる。
【００６４】
このノイズ推定部２５２は、動作部の動作が開始するタイミングを示すタイミング信号に基づき得られる推定スペクトル（以下、第１推定スペクトルという）と、動作部の動作が終了するタイミングを示すタイミング信号に基づき得られる推定スペクトル（以下、第２推定スペクトルという）とを平均した情報を平均推定スペクトルとして、ノイズ減算部２５３に出力する。
例えば、ノイズ推定部２５２は、動作部の動作が開始するタイミングｔ１を含む第１音情報であるスペクトルＳ２、Ｓ３が得られた場合、スペクトルＳ３の直後に取得された音信号に基づくスペクトルＳ４から、スペクトルＳ２の直前に取得された音信号に基づくスペクトルＳ１を減算して、その差分を第１推定スペクトルＳＳ１として得る。
また、ノイズ推定部２５２は、動作部の動作が終了するタイミングｔ２を含む第１音情報であるスペクトルＳ６、Ｓ７が得られた場合、スペクトルＳ６の直前に取得された音信号に基づくスペクトルＳ５から、スペクトルＳ７の直後に取得された音信号に基づくスペクトルＳ８を減算して、その差分を第２推定スペクトルＳＳ２として得る。この第２推定スペクトルＳＳ２を、図８に示す。
【００６５】
ノイズ推定部２５２は、動作部が動作し続けている期間の最初（ｔ１）と最後（ｔ２）において、それぞれ得られた第１推定スペクトルＳＳ１と第２推定スペクトルＳＳ２とを平均した情報を、平均推定スペクトルとしてノイズ減算部２５３に出力する。なお、この平均推定スペクトルを、図９に示す。
このノイズ減算部２５３は、ノイズ推定部２５２から入力された平均推定スペクトルを、第４音情報であるスペクトルＳ５（あるいはＳ４）から減じることで、ノイズ低減処理を行う。このノイズ低減処理がなされた後のスペクトルを、図１０に示す。
【００６６】
また、図３に示した通り、ＡＦレンズ１１２が動作する期間が複数回ある場合がある。
この場合、ノイズ推定部２５２は、動作部が動作を開始するタイミングｔ１、ｔ３においてそれぞれ得られる第１推定スペクトルＳＳ１、ＳＳ３と、動作部が動作を終了するタイミングｔ２、ｔ５においてそれぞれ得られる第２推定スペクトルＳＳ２、ＳＳ５と、を得る。
【００６７】
例えば、ノイズ推定部２５２は、動作部の動作が開始するタイミングｔ３を含む第１音情報であるスペクトルＳ１２、Ｓ１３が得られた場合、スペクトルＳ１３の直後に取得された音信号に基づくスペクトルＳ１４から、スペクトルＳ１２の直前に取得された音信号に基づくスペクトルＳ１１を減算して、その差分を第１推定スペクトルＳＳ３として得る。なお、この第１推定スペクトルＳＳ３を、図１１に示す。
また、ノイズ推定部２５２は、動作部の動作が終了するタイミングｔ５を含む第１音情報であるスペクトルＳ２１、Ｓ２２が得られた場合、スペクトルＳ２１の直前に取得された音信号に基づくスペクトルＳ２０から、スペクトルＳ２２の直後に取得された音信号に基づくスペクトルＳ２３を減算して、その差分を第２動作音情報ＳＳ５として得る。なお、この第２推定スペクトルＳＳ５を、図１２に示す。
【００６８】
このノイズ推定部２５２は、この複数の推定スペクトル（例えば、ＳＳ１〜ＳＳ３、ＳＳ５）のうち、動作部が動作を開始するタイミングにおいて得られる第１推定スペクトル（例えばＳＳ１とＳＳ３）を平均化するか、動作部が動作を開始するタイミングにおいて得られる第２推定スペクトル（例えば、ＳＳ２およびＳＳ５）を平均化するか、あるいは第１推定スペクトルおよび第２推定スペクトルの両方（例えば、ＳＳ１〜ＳＳ３、およびＳＳ５）のうち少なくとも２つを平均化して、平均推定スペクトルを得る。
【００６９】
このように、複数の推定スペクトルに基づき平均化した平均推定スペクトルを用いることで、複数の推定スペクトルのそれぞれに含まれる推定誤差を小さくすることができるため、ノイズ減算処理による精度を高めることができる。
【００７０】
また、ノイズ推定部２５２は、算出した推定スペクトルを、タイミング信号が表わすタイミングと関連付けて、例えばバッファメモリ部１３０に一次的に記憶しておく構成であってもよい。
この場合、ノイズ減算部２５３は、ノイズ推定部２５２から出力される推定スペクトルに基づきノイズ減算処理を行う構成であってもよい。またこの場合、過去の音信号をバッファメモリ部１３０から読み出して、推定スペクトルを算出する等の時間が必要ないため、ノイズ減算処理にかかる時間を短縮することができる。
【００７１】
また、ノイズ減算部２５３は、バッファメモリ部１３０に一次的に記憶されている推定スペクトルを読み出して、ノイズ減算処理を行う構成であってもよい。
例えば、ノイズ減算部２５３は、スペクトルＳ４、Ｓ５に対しては、バッファメモリ部１３０から読み出した推定スペクトルＳＳ１を用いてノイズ低減処理を行い、スペクトルＳ１４〜Ｓ２０に対しては、バッファメモリ部１３０から読み出した推定スペクトルＳＳ１、ＳＳ２、ＳＳ３に基づく平均推定スペクトルを用いてノイズ低減処理を行う構成であってもよい。
【００７２】
＜複数の推定スペクトルから異常値（outlier）を除いて平均推定スペクトルを得る場合＞
また、ノイズ推定部２５２は、複数の推定スペクトルのうち、周波数ごとの振幅が最大となる最大推定スペクトルと、このスペクトルの振幅が最小となる最小推定スペクトルとを除いた残りを平均化して、平均推定スペクトルを求めるものであってもよい。
例えば、図６、８、１１、１２に示す通り、スペクトルは、周波数ｆ１〜ｆ８を含んでいる場合、この周波数ｆ１〜ｆ８毎に、推定スペクトルＳＳ１、ＳＳ２、ＳＳ３、ＳＳ５のうち、最も振幅が大きいスペクトルである最大推定スペクトルと、最も振幅が小さいスペクトルである最小推定スペクトルとを除いた残りを平均化する。
この最大推定スペクトルと最小推定スペクトルとを除いた残りに基づき平均化した情報を周波数ｆ１〜ｆ８毎に求めて、この各周波数ｆ１〜ｆ８のそれぞれに対応する平均化した情報をすべて連結されて、平均推定スペクトルを求める。
【００７３】
この構成により、複数の推定スペクトルの中に、平均推定スペクトルから大きく外れる推定スペクトルがあった場合であっても、この大きく外れている最大推定スペクトルと最小推定スペクトルとを除くことによって、平均推定スペクトルの精度をより高めることができる。
なお、このように、複数の推定スペクトルから除かれる最大推定スペクトルおよび最小推定スペクトルは、１つに限られず、そのスペクトルの振幅が大きいものから順番に複数選んで最大推定スペクトルとし、そのスペクトルの振幅が小さいものから順番に複数選んで最小推定スペクトルとするものであってもよい。
【００７４】
＜時間に応じて重み付けされた複数の推定スペクトルに基づき平均推定スペクトルを得る場合＞
また、ノイズ推定部２５２は、複数の推定スペクトルに対して、この推定スペクトルに基づく音信号が収音された時間に基づき重み付けした値を平均して平均推定スペクトルを求めるものであってもよい。
【００７５】
低減処理部２５０は、マイク２３０によって音信号が収音された場合、この音信号が収音された日時を表わす時間情報を計時部２２０から得て、この音信号に時間情報を関連付ける。
音信号処理部２５１は、この時間情報が関連付けられている音信号をスペクトルに変換して、ノイズ推定部２５２に出力する。
このノイズ推定部２５２は、この時間情報が関連付けられているスペクトルに基づき推定スペクトルを算出することによって、スペクトルに関連付けられている時間情報に基づき、推定スペクトルに基づく音信号が収音された時間を表わす時間情報を、得られた推定スペクトルに関連づける。
また、ノイズ推定部２５２は、推定スペクトルに時間情報を関連付けて、記憶部１６０、あるいは記憶媒体２００に記憶させる。
【００７６】
ノイズ推定部２５２は、記憶部１６０あるいは記憶媒体２００に記憶されている時間情報が関連付けられている推定スペクトルを読み出し、この時間情報に基づき、より古い時間情報が関連付けられている推定スペクトルには、より軽い重み付けを行い、より新しい時間情報が関連付けられている推定スペクトルに対しては、より重い重み付けを行い、この重み付けした値を平均して平均推定スペクトルを求める。
なお、ノイズ推定部２５２は、１ヶ月、１０日、１週間等の予め決められた期間よりも古い推定スペクトルに対しては行わない構成であってもよい。
【００７７】
＜Ｓ／Ｎ比に応じて重み付けされた複数の推定スペクトルに基づき平均推定スペクトルを得る場合＞
また、ノイズ推定部２５２は、複数の推定スペクトルに対して、Ｓ／Ｎ比に基づき重み付けした値を平均して平均推定スペクトルを求めるものであってもよい。
このＳ／Ｎ比は、例えば、１つのフレームで表わされる区間（時間領域）の全体に亘って動作音が重畳されていないスペクトルを、推定スペクトルで除算した比率である。つまり、動作部が動作していないときに収音された音信号に応じたスペクトルであって、例えば、スペクトルＳ８〜Ｓ１１のように、動作終了時の第１音情報であるスペクトルＳ７と、動作開始時の第１音情報であるスペクトルＳ１２との間にあるスペクトルのうち任意の１つを分子とし、推定スペクトルを分母として得られる値である。
【００７８】
例えば、タイミングｔ１に対応するＳ／Ｎ比を算出する場合、スペクトルＳ１を、推定スペクトルＳＳ１で除算して、Ｓ／Ｎ比を算出する。
同様にして、タイミングｔ２、ｔ３、ｔ５のＳ／Ｎ比は、それぞれ、スペクトルＳ８を推定スペクトルＳＳ２で除算したＳ／Ｎ比、スペクトルＳ１１を推定スペクトルＳＳ３で除算したＳ／Ｎ比、スペクトルＳ２３を推定スペクトルＳＳ５で除算したＳ／Ｎ比、として算出される。
【００７９】
ノイズ推定部２５２は、このＳ／Ｎ比に応じた重みを、それぞれ対応する推定スペクトルＳＳ１〜ＳＳ３、ＳＳ５に重み付けした値を平均化して、平均推定スペクトルを求める。例えば、Ｓ／Ｎ比が大きい場合により軽い重みを付け、Ｓ／Ｎ比が小さい場合により重い重みを付ける。
このように、Ｓ／Ｎ比に応じて重み付けをすることにより、目的音が小さいときに得られた推定スペクトルを重要視することができる。よって、推定スペクトルの推定誤差を小さくすることができ、ノイズ減算処理の精度を高めることができる。
【００８０】
［複数の推定スペクトルから選択された一の推定スペクトルを利用したノイズ低減処理について］
また、ノイズ推定部２５２は、複数の推定スペクトルのうち、周波数ごとの振幅が最大となる最大推定スペクトル、あるいは、周波数ごとの振幅が最小となる最小推定スペクトルを選択し、この選択された推定スペクトルをノイズ減算部２５３に出力する構成であってもよい。
【００８１】
なお、この場合、ノイズ推定部２５２は、上述したとおり、それぞれの推定スペクトルにおいて求められるＳ／Ｎ比を平均化した値が、予め決められている閾値以上である場合、最小推定スペクトルを選択し、ノイズ減算部２５３に出力する構成であってもよい。
また、それぞれの推定スペクトルにおいて求められるＳ／Ｎ比を平均化した値が、予め決められている閾値よりも小さい場合、最大推定スペクトルを選択し、ノイズ減算部２５３に出力する構成であってもよい。
【００８２】
つまり、Ｓ／Ｎ比が大きい場合、最小推定スペクトルを用いてノイズ減算処理を行うことで、目的音の品質を確保することを重要視したノイズ減算処理を実現することができる。
一方、Ｓ／Ｎ比が小さい場合、最大推定スペクトルを用いてノイズ減算処理を行うことで、動作音を低減することを重要視したノイズ減算処理を実現することができる。
【００８３】
［低減処理部２５０の詳細について］
ノイズ減算部２５３は、第４音情報に対応するスペクトルに対して、例えばスペクトル減算法を用いて、周波数領域でノイズ低減処理を実行し、動作音によるノイズを低減させる。
例えば、以下に示す文献に記載されている技術が利用可能である。
Suppression of acoustic noise in speech using spectral subtraction STEVEN F. BOLL 1979.
【００８４】
上述の通り、ノイズ減算部２５３は、区間ごとのスペクトルに対して、それぞれ、推定ノイズを周波数領域で減算するノイズ減算処理を行うことで、動作音によるノイズを低減させることができる。
ここで、１つの区間における一部分のみにノイズが発生している場合、その区間に対して、推定スペクトルをそのまま減算してしまうと、動作音によるノイズを低減し過ぎてしまう場合がある。このため、ノイズ減算部２５３は、推定スペクトルを減算係数で重み付けし、重み付けされた推定スペクトルを、窓関数で重み付けされたスペクトルから周波数領域で減算してもよい。そして、予め定められた区間に対応する減算係数は、その区間に対応する窓関数と、動作部の動作状態が変更したタイミング（例えば、ｔ１）との相対位置に応じて、次のように定められる。
【００８５】
以下、窓関数は、一例として、ハニング窓（ハニングウィンドウ）関数であるとして説明する。図１３〜１５には、タイミングｔ１を含むスペクトルＳ２、Ｓ３（第１音情報）と、このスペクトルＳ２の直前のスペクトルＳ１（第２音情報）と、スペクトルＳ３の直後のスペクトルＳ４（第３音情報）と、窓関数Ｗ１〜Ｗ４との位置関係の一例が示されている。
【００８６】
例えば、図１３に示された例であれば、スペクトルＳ１が時刻ｔ１を含まず、かつ、時刻ｔ１より前に位置するため、このスペクトルＳ１に対応する減算係数は、この相対位置に応じて、定められてもよい。
また、スペクトルＳ２は、時刻ｔ１を含むため、このスペクトルＳ２に対応する減算係数は、スペクトルＳ２における窓関数Ｗ２の面積と、時刻ｔ１以降の窓関数Ｗ２の面積（図１３の斜線部分）との比に基づいて、定められてもよい。なお、スペクトルＳ３に対応する減算係数も、同様である（図１４を参照）。
さらに、図１５において、スペクトルＳ４が時刻ｔ１を含まず、かつ、時刻ｔ１より後に位置するため、このスペクトルＳ４に対応する減算係数は、この相対位置に応じて、定められてもよい。
【００８７】
なお、この減算係数は、動作部の動作状態が変更したタイミングと、窓関数との相対的な位置関係に応じてノイズ減算部２５３によって決定されるものであり、動作部が動作を終了するタイミング（例えば、ｔ２）においても、上述と同様にして、そのスペクトルにおける窓関数の面積と、時刻ｔ２以前の窓関数の面積との比に基づいて、定められてもよい。
【００８８】
図１６には、このようにして定められた減算係数の一例が示されている。図１３〜１５に示された例であれば、例えば、スペクトルＳ１に対応する減算係数は、値「０」、スペクトルＳ２に対応する減算係数は、値「０．３」、スペクトルＳ３に対応する減算係数は、値「０．９」、スペクトルＳ４に対応する減算係数は、値「１」になる。なお、これらの値は、一例である。
【００８９】
なお、この減算係数は、図１７に示す通り、フレーム毎のスペクトルの大きさ（つまり、周波数の出力）と、推定スペクトルの大きさ（つまり、周波数の出力）との比率（以下、ＳＮＲｉ（ｄＢ）という）に基づき決定される。図１７は、この比率ＳＮＲｉ（ｄＢ）と、減算係数αｉとの関係を示す図である。
【００９０】
図１７に示す通り、減算係数αｉは、比率ＳＮＲｉ（ｄＢ）が値「−５」から値「２０」の間で、値「５」から値「１」に減少する。
この比率ＳＮＲｉ（ｄＢ）は、次式で表わすことができる。
【数１】
なお、Ｙｉは各フレームのスペクトルを、Ｄｉは推定スペクトルを、ｉは各フレームを、それぞれ表わしている。
【００９１】
また、減算係数αｉと比率ＳＮＲｉ（ｄＢ）との関係を数式で表わすと、以下のようになる。
【数２】
【００９２】
従って、ノイズ減算部２５３は、比率ＳＮＲｉ（ｄＢ）に応じた減算係数αｉを算出し、推定スペクトルをこの減算係数αｉで重み付けし、重み付けされた推定スペクトルを、窓関数で重み付けされたスペクトルから周波数領域で減算してもよい。
これにより、１つの区間における一部分のみにノイズが発生している場合であっても、動作音によるノイズを低減し過ぎてしまう事態を防止し、目的音を十分に確保することができる。
【００９３】
なお、本発明はこれに限られず、ノイズ減算部２５３は、音信号に動作音が重畳されているスペクトル、および、推定スペクトルに基づき抑圧係数を算出し、この抑圧係数に基づき、音信号に動作音が重畳されているスペクトルに重み付けするものであってもよい。
【００９４】
また、例えば、マイク２３０によって収音された音信号は、Ａ/Ｄ変換部２４０に出力されたあとバッファメモリ部１３０に一次的に記憶され、あるいは記憶媒体２００に記憶されたのち、このバッファメモリ部１３０あるいは記憶媒体２００から読み出された音信号が、低減処理部２５０によって処理される構成であってもよい。この場合、リアルタイムに処理する際にかかる装置負荷（例えば、処理時間の遅延等）を軽減することができる。
【００９５】
また、タイミング信号検出部１９１又は低減処理部２５０等による手順を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものであってもよい。
【００９６】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００９７】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００９８】
１００…撮像装置、１１０…撮像部、１９０…ＣＰＵ、１９１…検出部、１７０…通信部、２００…記憶媒体、２３０…マイク、２４０…Ａ/Ｄ変換部、２５０…低減処理部、２５１…判断部
【特許請求の範囲】
【請求項１】
光学系による光学像を撮像する撮像部を備える撮像装置において、
前記撮像装置に備えられる動作部が動作するタイミングを示す信号を検出するタイミング信号検出部と、
音信号を取得する音信号取得部と、
前記タイミングを示す信号に基づき、前記動作部の動作状態が変化した時の前記音信号を含む前記音信号の区間を第１音情報として得て、前記第１音情報よりも前の音信号の区間に対応する第２音情報と、前記第１音情報よりも後の音信号の区間に対応する第３音情報とに基づき前記動作部の動作音情報を算出する推定部と、
前記タイミングを示す信号に基づき、前記動作部の動作音を含む前記音信号の区間に対応する第４音情報から前記動作音情報を減じる処理部と、
を備えることを特徴とする撮像装置。
【請求項２】
前記推定部が、
前記動作部が動作を開始したときに前記音信号取得部によって取得された音信号を含む音情報を、動作開始時の前記第１音情報として得て、
前記動作開始時の第１音情報の直前に取得された音信号に基づく前記第２音情報と、前記動作開始時の第１音情報の直後に取得された音信号に基づく前記第３音情報とに基づき、前記動作音情報である第１動作音情報を算出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記推定部が、
前記動作部が動作を終了したときに前記音信号取得部によって取得された音信号を含む音情報を、動作終了時の前記第１音情報として得て、
前記動作終了時の第１音情報の直前に取得された音信号に基づく前記第２音情報と、前記動作終了時の第１音情報の直後に取得された音信号に基づく前記第３音情報とに基づき、前記動作音情報である第２動作音情報を算出することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記処理部が、
前記第１動作音情報と前記第２動作音情報とを平均した情報を前記動作音情報として、前記第４音情報から減じることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記処理部が、
前記第１動作音情報と前記第２動作音情報に含まれる周波数スペクトルについて周波数ごとの振幅の最大値と最小値を除いた残りに基づき前記平均した情報を求め、当該平均した情報を前記動作音情報として、前記第４音情報から減じることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記処理部が、
前記第１動作音情報および前記第２動作音情報のそれぞれを含む音信号が収音された時刻を表わす時間情報を、前記第１動作音情報および前記第２動作音情報に関連付けて記憶部に記憶させるとともに、前記時間情報に基づき前記第１動作音情報および前記第２動作音情報のそれぞれに重み付けをした値を平均した情報を前記動作音情報として、前記第４音情報から減じることを特徴とする請求項４に記載の撮像装置。
【請求項７】
前記処理部が、
前記動作部が動作していないときに取得された前記音信号による音情報を前記動作音情報で除算した比率に基づき、前記第１動作音情報および前記第２動作音情報に対して重み付けをした値を平均した情報を前記動作音情報として、前記第４音情報から減じることを特徴とする請求項４に記載の撮像装置。
【請求項８】
前記処理部が、
前記動作音情報に含まれる周波数スペクトルについて周波数ごとの振幅の最大値あるいは最小値を前記動作音情報として、前記第４音情報から減じることを特徴とする請求項１から３のいずれか一項に記載の撮像装置。
【請求項９】
前記ノイズ処理部が、
前記動作部が動作していないときに取得された前記音信号による音情報を前記動作音情報で除算した比率が予め決められた閾値よりも小さい場合は前記最小値を前記ノイズ情報とし、当該比率が前記閾値以上である場合は前記最大値を前記ノイズ情報とすることを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記処理部が、
前記タイミングを示す信号に基づき、前記第１音情報のうち、前記動作部の動作音を含む区間に対応する前記窓関数の部分に応じた係数を前記動作音情報に乗じて得られる値を、前記第４音情報から減じることを特徴とする請求項１から９のいずれか一項に記載の撮像装置。
【請求項１】
光学系による光学像を撮像する撮像部を備える撮像装置において、
前記撮像装置に備えられる動作部が動作するタイミングを示す信号を検出するタイミング信号検出部と、
音信号を取得する音信号取得部と、
前記タイミングを示す信号に基づき、前記動作部の動作状態が変化した時の前記音信号を含む前記音信号の区間を第１音情報として得て、前記第１音情報よりも前の音信号の区間に対応する第２音情報と、前記第１音情報よりも後の音信号の区間に対応する第３音情報とに基づき前記動作部の動作音情報を算出する推定部と、
前記タイミングを示す信号に基づき、前記動作部の動作音を含む前記音信号の区間に対応する第４音情報から前記動作音情報を減じる処理部と、
を備えることを特徴とする撮像装置。
【請求項２】
前記推定部が、
前記動作部が動作を開始したときに前記音信号取得部によって取得された音信号を含む音情報を、動作開始時の前記第１音情報として得て、
前記動作開始時の第１音情報の直前に取得された音信号に基づく前記第２音情報と、前記動作開始時の第１音情報の直後に取得された音信号に基づく前記第３音情報とに基づき、前記動作音情報である第１動作音情報を算出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記推定部が、
前記動作部が動作を終了したときに前記音信号取得部によって取得された音信号を含む音情報を、動作終了時の前記第１音情報として得て、
前記動作終了時の第１音情報の直前に取得された音信号に基づく前記第２音情報と、前記動作終了時の第１音情報の直後に取得された音信号に基づく前記第３音情報とに基づき、前記動作音情報である第２動作音情報を算出することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記処理部が、
前記第１動作音情報と前記第２動作音情報とを平均した情報を前記動作音情報として、前記第４音情報から減じることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記処理部が、
前記第１動作音情報と前記第２動作音情報に含まれる周波数スペクトルについて周波数ごとの振幅の最大値と最小値を除いた残りに基づき前記平均した情報を求め、当該平均した情報を前記動作音情報として、前記第４音情報から減じることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記処理部が、
前記第１動作音情報および前記第２動作音情報のそれぞれを含む音信号が収音された時刻を表わす時間情報を、前記第１動作音情報および前記第２動作音情報に関連付けて記憶部に記憶させるとともに、前記時間情報に基づき前記第１動作音情報および前記第２動作音情報のそれぞれに重み付けをした値を平均した情報を前記動作音情報として、前記第４音情報から減じることを特徴とする請求項４に記載の撮像装置。
【請求項７】
前記処理部が、
前記動作部が動作していないときに取得された前記音信号による音情報を前記動作音情報で除算した比率に基づき、前記第１動作音情報および前記第２動作音情報に対して重み付けをした値を平均した情報を前記動作音情報として、前記第４音情報から減じることを特徴とする請求項４に記載の撮像装置。
【請求項８】
前記処理部が、
前記動作音情報に含まれる周波数スペクトルについて周波数ごとの振幅の最大値あるいは最小値を前記動作音情報として、前記第４音情報から減じることを特徴とする請求項１から３のいずれか一項に記載の撮像装置。
【請求項９】
前記ノイズ処理部が、
前記動作部が動作していないときに取得された前記音信号による音情報を前記動作音情報で除算した比率が予め決められた閾値よりも小さい場合は前記最小値を前記ノイズ情報とし、当該比率が前記閾値以上である場合は前記最大値を前記ノイズ情報とすることを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記処理部が、
前記タイミングを示す信号に基づき、前記第１音情報のうち、前記動作部の動作音を含む区間に対応する前記窓関数の部分に応じた係数を前記動作音情報に乗じて得られる値を、前記第４音情報から減じることを特徴とする請求項１から９のいずれか一項に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１１−９５５６７（Ｐ２０１１−９５５６７Ａ）
【公開日】平成２３年５月１２日（２０１１．５．１２）
【国際特許分類】
【出願番号】特願２００９−２５０３３６（Ｐ２００９−２５０３３６）
【出願日】平成２１年１０月３０日（２００９．１０．３０）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２３年５月１２日（２０１１．５．１２）
【国際特許分類】
【出願日】平成２１年１０月３０日（２００９．１０．３０）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]