撮像装置及び撮像装置のノイズ低減方法
【課題】音声等の目的音の劣化を招くことなく、ノイズを適切に低減することができる撮像装置及び撮像装置のノイズ低減方法を提供する。
【解決手段】本発明の撮像装置は、集音装置１３１と、前記集音装置１３１により集音された音情報から音声区間を検出する音声区間検出部１３４と、前記音声区間検出部１３４の検出結果に基づいて、異なるノイズ低減処理を行うノイズ低減処理部１３３と、を備えること、を特徴とする。
【解決手段】本発明の撮像装置は、集音装置１３１と、前記集音装置１３１により集音された音情報から音声区間を検出する音声区間検出部１３４と、前記音声区間検出部１３４の検出結果に基づいて、異なるノイズ低減処理を行うノイズ低減処理部１３３と、を備えること、を特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影時に入力される音情報からノイズを低減処理する撮像装置及び撮像装置のノイズ低減方法に関するものである。
【背景技術】
【０００２】
動画撮影が可能な撮像装置において動画撮影時には、オートフォーカスレンズの駆動部の動作に伴い発生する動作音（以下、ＡＦノイズという）等のノイズが、マイク等の集音装置により集音され、被写体の発する音声等の目的音に混入し、目的音の品質を損なうことがある。
このようなＡＦノイズを低減する方法として、ＡＦ駆動部の動作前に入力される音声信号のパワー値を取得し、この音声信号のパワー値に基づいてフロアリング係数を制御（変化）させることにより、ノイズを除去する方法が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２５２３８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１によるノイズ低減処理の場合は、ＡＦノイズを低減することができる反面、音声等の目的音を劣化する可能性が高いという問題があった。
【０００５】
本発明の課題は、音声等の目的音の劣化を招くことなく、ノイズを適切に低減することができる撮像装置及び撮像装置のノイズ低減方法を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、以下のような解決手段により前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。
【０００７】
請求項１に記載の発明は、集音装置（１３１）と、前記集音装置（１３１）により集音された音情報から音声区間を検出する音声区間検出部（１３４）と、前記音声区間検出部（１３４）の検出結果に基づいて、異なるノイズ低減処理を行うノイズ低減処理部（１３３）と、を備えること、を特徴とする撮像装置（１００）である。
請求項２に記載の発明は、請求項１に記載の撮像装置（１００）であって、該撮像装置（１００）内の駆動部の動作情報から動作ノイズの発生タイミングを検出するノイズタイミング検出部（１３５）を備え、前記ノイズ低減処理部（１３３）は、前記ノイズタイミング検出部（１３５）の検出結果に基づいて、異なるノイズ低減処理を行うこと、を特徴とする撮像装置（１００）である。
請求項３に記載の発明は、請求項１または２に記載の撮像装置（１００）であって、前記ノイズ低減処理部（１３３）は、前記音声区間検出部（１３４）により音声区間と検出された場合、前記音声区間検出部（１３４）において非音声区間であると検出された場合よりも弱い低い第１のノイズ低減処理を行うこと、を特徴とする撮像装置（１００）である。
請求項４に記載の発明は、請求項１から３のいずれか１項に記載の撮像装置（１００）であって、前記ノイズ低減処理部（１３３）は、前記音声区間検出部（１３４）において非音声区間であると判定された場合の音情報からノイズを推定し、該推定されたノイズを、推定ノイズ減算前音情報から減算する第２のノイズ低減処理を行うこと、を特徴とする撮像装置（１００）である。
請求項５に記載の発明は、請求項１から４のいずれか１項に記載の撮像装置（１００）であって、前記ノイズ低減処理部（１３３）は、前記音声区間検出部（１３４）において非音声区間であると判定された場合の音情報からフロアリングスペクトルを求め、該フロアリングスペクトルを用いてフロアリング処理前音情報に対してフロアリング処理すること、を特徴とする撮像装置（１００）である。
請求項６に記載の発明は、請求項１から５のいずれか１項に記載の撮像装置（１００）であって、前記音声区間検出部（１３４）による音声区間の検出は、音声波形の一部を切り出して自己相関関数を求め、その求めた自己相関関数のピーク値を用いて検出すること、を特徴とする撮像装置（１００）である。
請求項７に記載の発明は、集音された音情報から音声区間を検出し、音声区間の検出結果に基づいて、異なるノイズ低減処理を行うこと、を特徴とする撮像装置（１００）のノイズ低減方法である。
請求項８に記載の発明は、請求項７に記載のノイズ低減方法であって、前記撮像装置（１００）内の駆動部の動作情報から動作ノイズの発生タイミングを検出し、動作ノイズの発生タイミングの検出結果に基づいて、異なるノイズ低減処理を行うこと、を特徴とする撮像装置（１００）のノイズ低減方法である。
請求項９に記載の発明は、請求項７または８に記載のノイズ低減方法であって、音声区間と検出された場合、非音声区間であると検出された場合よりも弱い第１のノイズ低減処理を行うこと、を特徴とする撮像装置（１００）のノイズ低減方法である。
請求項１０に記載の発明は、請求項７から９のいずれか１項に記載のノイズ低減方法であって、非音声区間であると判定された場合の音情報からノイズを推定し、該推定されたノイズを、推定ノイズ減算前音情報から減算する第２のノイズ低減処理を行うこと、を特徴とする撮像装置（１００）のノイズ低減方法である。
請求項１１に記載の発明は、請求項７から１０のいずれか１項に記載のノイズ低減方法であって、非音声区間であると判定された場合の音情報からフロアリングスペクトルを求め、該フロアリングスペクトルを用いてフロアリング処理前音情報に対してフロアリング処理すること、を特徴とする撮像装置（１００）のノイズ低減方法である。
請求項１２に記載の発明は、請求項７から１１のいずれか１項に記載のノイズ低減方法であって、音声区間の検出は、音声波形の一部を切り出して自己相関関数を求め、その求めた自己相関関数のピーク値を用いて検出すること、を特徴とする撮像装置（１００）のノイズ低減方法である。
なお、符号を付して説明した構成は、適宜改良してもよく、また、少なくとも一部を他の構成物に代替してもよい。
【発明の効果】
【０００８】
本発明によれば、音声等の目的音の劣化を招くことなく、ノイズを適切に低減することができる撮像装置及び撮像装置のノイズ低減方法を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態の撮像装置の構成を示すブロック図である。
【図２】音声波形図である。
【図３】音声波形の自己相関関数を説明する図である。
【図４】自己相関関数を利用して音声区間を検出する場合の一例であり、図４（Ａ）は、マイクからの出力波形、図４（Ｂ）は自己相関関数のピークに閾値を設定して、閾値以上の部分をＨｉｇｈとして示した波形である。
【図５】ノイズタイミング検出部による動作ノイズの発生タイミング検出の詳細を説明する図である。
【図６】ノイズ低減処理動作のフローを示すフローチャートである。
【図７】ノイズ低減処理の対象となる第１の処理対象音の形態を説明する概略図である。
【図８】区間Ａのスペクトルを示す図である。
【図９】区間Ｂのスペクトルを示す図である。
【図１０】区間Ｃのスペクトルを示す図である。
【図１１】推定ノイズスペクトルを示す図である。
【図１２】区間Ｃのスペクトルからノイズを減算したスペクトルを示す図である。
【図１３】フロアリングスペクトルＡを使用したフロアリング後のスペクトルを示す図である。
【図１４】フロアリングスペクトルＡを示す図である。
【図１５】フロアリングスペクトルＢを示す図である。
【図１６】フロアリングスペクトルＢを使用したフロアリング後のスペクトルを示す図である。
【図１７】ノイズ低減処理の対象となる第２の処理対象音の形態を説明する概略図である。
【図１８】区間Ｅの背景音とノイズのスペクトルを示す図である。
【図１９】区間Ｅのスペクトルを使用した推定ノイズを示す図である。
【図２０】区間Ｆのスペクトルを示す図である。
【図２１】区間Ｅの推定ノイズを使用してフロアリング処理した後のスペクトルを示す図である。
【図２２】区間Ｆのスペクトルを使用した推定ノイズを示す図である。
【図２３】区間Ｆの推定ノイズを使用してフロアリング処理した後のスペクトルを示す図である。
【発明を実施するための形態】
【００１０】
以下、図面等を参照して、本発明の実施形態について説明する。図１は、本発明の実施形態の撮像装置の構成を示すブロック図である。
【００１１】
図１に示すように、撮像装置１００は、レンズ鏡筒１１０と、レンズ鏡筒１１０を通過した被写体像を撮像してＡ／Ｄ変換すると共に、画像処理して画像データを生成する画像処理部１２０と、集音された音情報をＡ／Ｄ変換すると共に、ノイズ低減処理する音情報処理部１３０と、画像処理部１２０で得られた画像データ及び音情報処理部１３０で得られた音声信号を記録する記録部１４０と、ＣＰＵ１５０と、を備える。
【００１２】
レンズ鏡筒１１０は、焦点調整レンズ（以下、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）レンズ、手振れ補正レンズ（以下、ＶＲ（Ｖｉｂｒａｔｉｏｎ Ｒｅｄｕｃｔｉｏｎ）レンズ、ズームレンズ、ズームレンズ駆動部、ズームエンコーダ、像ぶれ補正部等を備えるＶＲユニット１１１と、ＡＦエンコーダ１１２と、ＡＦ駆動用モータ１１３と、を備える。
【００１３】
ＡＦエンコーダ１１２は、光学系のＡＦレンズの位置を検出してＣＰＵ１５０に出力する。ＡＦ駆動用モータ１１３には、ＡＦレンズの位置を制御するための駆動制御信号がＣＰＵ１５０から入力され、その駆動制御信号に応じて、ＡＦレンズの位置が制御される。
【００１４】
ＣＰＵ１５０は、設定された撮像条件（例えば、絞り値、露出値等）に応じてレンズ鏡筒１１０を制御する。ＣＰＵ１５０は、ズームレンズ駆動部及びＡＦ駆動用モータ１１３を駆動する駆動制御信号を生成し、ズームレンズ駆動部及びＡＦ駆動用モータ１１３に出力する。
【００１５】
音情報処理部１３０は、集音装置であるマイク１３１と、集音されＡ／Ｄ変換された音情報を処理する音信号処理部１３２と、ノイズ低減処理部１３３と、を備える。
【００１６】
音信号処理部１３２は、マイク１３１により集音した音情報から音声区間を検出する音声区間検出部１３４と、ＡＦ駆動用モータ１１３の動作情報から動作ノイズの発生するタイミングを検出するノイズタイミング検出部１３５と、を備える。
【００１７】
音声区間検出部１３４は、マイク１３１により集音された音情報から、音声信号の含まれる区間（音声区間）とそれ以外の区間（非音声区間）とを、自己相関関数のピーク値に基づいて判別する。音声区間検出部１３４による音声区間検出の概要を説明すると、次のとおりである。
【００１８】
図２は、音声波形である。この音声波形の任意の一部を切り出して自己相関関数を求めると、図３に示す波形となる。この音声波形は、音声、即ち、声帯の振動数に対応した基本周波数及びそれの倍音に対応した周波数帯域にピークが集中する性質（調波性）を有しており、この調波性を利用して自己相関関数のピーク値の大きさによって、音声であるか非音声であるかを区別することが可能である。
【００１９】
図４は、自己相関関数を利用して音声区間を検出する場合の一例を示す。図４（Ａ）は、マイク１３１からの出力波形であり、その前半部にＡＦノイズが発生し、後半部に音声とＡＦノイズとが発生している。図４（Ａ）に示すような出力波形に対して自己相関関数を求め、この自己相関関数のピークに閾値を設定して、閾値以上の部分をＨｉｇｈとして示すと、図４（Ｂ）のような波形が得られる。これによって、出力波形の後半部に音声位置と一致した音声区間があることを検出できる。
【００２０】
ノイズタイミング検出部１３５は、ＡＦ駆動用モータ１１３の動作情報から動作ノイズの発生するタイミングを検出する。このノイズタイミング検出部１３５による動作ノイズの発生タイミングは、ＣＰＵ１５０にＡＦ駆動用モータ１１３に対する駆動制御信号を出力するように指示するＡＦ駆動コマンド及びＡＦエンコーダ１１２からの出力を用いて検出（推定）する。
【００２１】
ノイズタイミング検出部１３５による動作ノイズの発生タイミング検出の詳細を説明すると、次のとおりである。
図５に示すように、ＡＦ駆動コマンドの出力によりＡＦ駆動用モータ１１３が動作されると、ＡＦ駆動コマンドの出力時刻であるＡＦ駆動用モータ１１３の動作開始時刻ｔ１から動作終了時刻ｔ３まで連続して動作ノイズは発生される。マイク１３１には、被写体の音声等の記録目的音に動作ノイズが重畳された音情報が集音され、その集音された音情報がマイク１３１から出力される。
【００２２】
このとき、ＡＦエンコーダ１１２からは、ＡＦ駆動系のギア列で起きるバックラッシュ等の影響でＡＦ駆動用モータ１１３の動作開始時刻ｔ１よりも遅れた時刻ｔ２から出力されることがある。そこで、ノイズタイミング検出部１３５は、ＡＦ駆動コマンドの出力時刻ｔ１からＡＦエンコーダ１１２の出力停止ｔ３までを動作ノイズの発生タイミングとして検出し、それ以外を非ノイズタイミングとして検出する。
なお、ＡＦ動作時においてマイク１３１から実際に出力される信号は、目的音に動作ノイズが重畳した信号であるが、説明を簡略にするため、図５では、動作ノイズのみを示している。
【００２３】
ノイズ低減処理部１３３は、図５に示す動作ノイズのうち、ＡＦ動作開始時及びＡＦ動作終了時に発生する衝撃音ノイズを低減処理する。ノイズ低減処理部１３３は、図５に示す動作ノイズ発生前の窓Ｘの第１周波数スペクトルと、動作ノイズ発生後の窓Ｙの第２周波数スペクトルと、を取得する。取得した第１周波数スペクトルと第２周波数スペクトルとを比較し、比較の結果、第２周波数スペクトルが第１周波数スペクトルより大きい場合、第２周波数スペクトルを第１周波数スペクトルに置き換えることにより、第１のノイズの低減処理を行なう。
【００２４】
ここで、音声区間検出部１３４により音声区間であると検出された場合、所定の周波数（例えば、４０００Ｈｚ）までのスペクトルは置き換えずに保存し、また、非音声区間であると検出された場合、それよりも小さい所定の周波数（例えば、５００Ｈｚ）までのスペクトルは置き換えずに保存する。すなわち、音声区間と検出された場合の保存する周波数の上限を、例えば、４０００Ｈｚとし、非音声区間と検出された場合の保存する周波数の上限を、例えば、５００Ｈｚとすることにより、音声区間であると検出された場合、非音声区間であると検出された場合よりも弱い第１の衝撃音ノイズ低減処理を行う。
【００２５】
また、ノイズ低減処理部１３３は、音声区間検出部１３４において非音声区間であると検出されて強い衝撃音ノイズ低減処理が行われた場合の周波数スペクトルからノイズを推定し、推定ノイズを更新すると共に、その推定ノイズを用いて、第１の衝撃音ノイズ低減処理が行われた周波数スペクトルから減算して周波数スペクトルを生成するスペクトル減算処理（第２のノイズ低減処理）を行なう。
【００２６】
上記した構成の他に、音情報処理部１３０には、マイク１３１から出力される音情報を予め決められた区間毎に分割して窓関数で重み付けする共に、この区間毎の音データをフーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）して周波数領域に変換する処理部を有する。また、ＦＦＴ処理により周波数領域の振幅情報と位相情報とに分けられ、周波数領域の振幅情報を利用してノイズ低減処理（スペクトル減算処理）が行われたスペクトルに対して、逆フーリエ変換（ＩＦＦＴ：Ｉｎｖｅｒｓｅ Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を行なうことにより、ノイズ低減処理後のスペクトル（音情報）を時間領域に変換する処理部を有する。これら処理部については、図示を省略する。
【００２７】
更に、ノイズ低減処理部１３３は、第２のノイズ低減処理（スペクトル減算処理）により、スペクトルが著しく減少した場合やスペクトルが消失した場合においてスペクトルを補正するフロアリング機能を有する。このフロアリングは、ノイズタイミング検出部１３５により非ノイズタイミングであると検出され、且つ、音声区間検出部１３４により非音声区間であると検出された場合の音情報を基に生成されたフロアリングスペクトルと第２のノイズ低減処理において減算された後のスペクトルとを比較し、減算後のスペクトルがフロアリングスペクトルを下回っている（スペクトル強度が小さい）場合、フロワリングスペクトルを採用した音情報（スペクトル）を生成し、これをＩＦＦＴ処理する。
ただし、減算後のスペクトルがフロアリングスペクトルを上回っている（スペクトル強度が大きい）場合は、フロアリング処理を行ってもよいし、また、行なわなくてもよい。
【００２８】
また、フロアリング機能に用いるフロアリングスペクトルは、ノイズタイミング検出部１３５により非ノイズタイミングであると検出され、且つ、音声区間検出部１３４により非音声区間であると検出された場合の音情報を用いて更新する。これにより、フロアリングスペクトルには、動作ノイズスペクトル、音声スペクトルのいずれも含まず、背景音のみが含まれており、フロアリング処理時に音声スペクトルが付加され、ノイズ低減処理後の音情報に本来無い音声を生じることがないようにしている。
【００２９】
次に、本実施形態の撮像装置１００におけるノイズ低減処理動作（ノイズ低減方法）を、図面に基づいて説明する。図６は、ノイズ低減処理動作のフローを示すフローチャートである。図７は、ノイズ低減処理の対象となる第１の処理対象音の形態を説明する概略図である。
【００３０】
（第１の処理対象音）
図７に示すように、第１の処理対象音は、区間Ａが背景音のみ、区間Ｂが背景音と音声（目的音）、区間Ｃが背景音とＡＦノイズを発生している形態である。図７に示す第１の処理対象音の区間Ｃにおいてマイク１３１が集音し出力される音情報からＡＦノイズを低減処理する動作及びフロアリング更新について説明する。
【００３１】
（ステップＳＴ１）
まず、ノイズタイミング検出部１３５により、マイク１３１から出力される音情報に基づいて、ノイズタイミングの検出が開始される。
このときのマイク３１によって集音された音情報（スペクトル）を、区間Ａについて図８、区間Ｂについて図９に示す。
【００３２】
（ステップＳＴ２）
続いて、音声区間検出部１３４により、マイク１３１から出力される音情報に基づいて、音声区間の検出が開始される。
【００３３】
（ステップＳＴ３）
マイク１３１から出力される音情報をＦＦＴ処理して、周波数領域の振幅情報と位相情報とに分けられる。
【００３４】
（ステップＳＴ４）
次に、ノイズタイミング検出部１３５によって、動作ノイズの発生タイミングであるか非ノイズタイミングであるか（すなわちＡＦ区間か否か）、が検出（判定）される。
【００３５】
（ステップＳＴ４，ＹＥＳ）
ステップＳＴ４において、区間Ｃは動作ノイズの発生タイミングであると判定され（ＡＦ区間，ＹＥＳ）、ステップＳＴ５に進む。
（ステップＳＴ４，ＮＯ）
区間ＡおよびＢは非ノイズタイミングであると判定され、ステップＳＴ１１に進む。
【００３６】
（ステップＳＴ５）
ステップＳＴ５においては、音声区間検出部１３４によって、音声区間であるか、非音声区間であるかが検出（判定）される。区間Ｃは、非音声区間であるので（ＮＯ）、ステップＳＴ７に進む。
（ステップＳＴ７）
ここでは、ＡＦ動作開始時及びＡＦ動作終了時が含まれる場合、上限が所定の周波数（例えば、５００Ｈｚ）までのスペクトルを置き換えずに保存するといった強い衝撃音ノイズ低減処理が行われ、区間Ｃについて図１０のスペクトルを得る。
ＡＦ動作開始時及びＡＦ動作終了時が含まれない場合は、衝撃音ノイズが含まれないと判断し、衝撃音ノイズ低減処理を行わない。
【００３７】
（ステップＳＴ８）
次いで、ステップＳＴ７のノイズ低減処理により得られたスペクトル（図１０）におけるノイズを推定し、図１１に示すような推定ノイズスペクトルをステップＳＴ９に出力する。
【００３８】
（ステップＳＴ９）
続いて、ステップＳＴ７の衝撃音ノイズ低減処理により得られたスペクトル（図１０）からステップＳＴ８の推定により得られた推定ノイズスペクトル（図１１）を減算するスペクトル減算処理（第２のノイズ低減処理）が行なわれ、図１２に示すようなスペクトルが得られる。
【００３９】
（ステップＳＴ１０）
第２のノイズ低減処理（スペクトル減算処理）により、図１２のスペクトルが著しく減少したり、消失したりする場合があるので、これに対応するため、図１２のスペクトルを補正するフロアリングが行なわれる。
このフロアリングは、図１２のスペクトルと基準となるフロアリングスペクトルと、の大きさを比較する。そして、比較の結果、強度の大きいスペクトルを採用して、図１３に示すスペクトルを生成する。ここで用いたフロアリングスペクトルは、後述するが、区間Ａから求めたフロアリングスペクトルである。
【００４０】
（ステップＳＴ１１）
ステップＳＴ１１に戻り、ここでは、音声区間検出部１３４によって、音声区間であるか、非音声区間（背景音のみの区間）であるか、が検出（判定）される。その結果、区間Ｂは音声区間であると判定され（ＹＥＳ）、ノイズ低減処理、スペクトル減算、フロアリングを行わず、ステップＳＴ１３に進む。区間Ａは非音声区間であると判定され（ＮＯ）、ステップＳＴ１２に進む。
【００４１】
（ステップＳＴ１２）
ステップＳＴ１２においては、図８に示す背景音のみが発生している区間Ａのスペクトルの各周波数における振幅を半減して、図１４に示すようなフロアリングスペクトルを得る。このフロアリングスペクトル（図１４）を、前述したようにステップＳＴ１０のフロアリングに用いると共に、このフロアリングスペクトルに更新する。
仮に、区間Ｂの図９に示すスペクトルの各周波数における振幅を半減して求めた図１５のフロアリングスペクトルを用いてフロアリングした場合、図１６に示すようなスペクトルとなる。図１６のスペクトルを区間Ｃのスペクトルとすると、区間Ｂ（図９）に含まれる音声のスペクトルの成分（特にｆ２，ｆ４）も含まれることになり、正確な目的音を得ることができない。
しかし、本実施形態によると、フロアリングに用いるフロアリングスペクトル（図１４）には、音声及び動作ノイズのスペクトルが含まれていない。このため、ステップＳＴ１０のフロアリングにおいて、ＡＦノイズや音声のスペクトルが付加されてノイズ低減処理後の音情報に本来ない動作ノイズや音声が生じることを防ぐことができる。
【００４２】
（ステップＳＴ１３）
最後のステップＳＴ１３において、ステップＳＴ３において分けられた位相を用いてＩＦＦＴ処理を行なうことにより、ノイズ低減処理後のスペクトルを時間領域に変換して記録部１４０に出力する。
【００４３】
（第２の処理対象音）
次に、上述した第１の処理対象音と異なる形態を有する第２の処理対象音を用いた場合のノイズ低減処理動作（ノイズ低減方法）について説明する。なお、ノイズ低減処理動作フローの各ステップは、第１の処理対象音の場合は略同様であるため、主として各ステップにおける処理内容の相違点を中心に説明する。
【００４４】
図１７は、ノイズ低減処理の対象となる第２の処理対象音の形態を説明する概略図である。図１７に示すように、処理対象音は、区間Ｄが背景音のみ、区間Ｅが背景音とＡＦノイズ、区間Ｆが背景音と音声とＡＦノイズを発生している形態である。図１７に示す処理対象音の区間Ｅ及び区間Ｆにおいてマイク１３１が集音し出力される音情報からＡＦノイズを低減処理する動作及びフロアリング更新について説明する。
【００４５】
ステップＳＴ１からＳＴ４までは上述の第１の処理対象音の区間Ｃと同様であるので省略する。
（ステップＳＴ５）
ステップＳＴ５において、区間Ｆは音声区間であると判定され（ＹＥＳ）、ステップＳＴ６に進む。
（ステップＳＴ６）
ステップＳＴ６においては、ＡＦ動作開始時及びＡＦ動作終了時が含まれる場合、上限が所定の周波数（例えば、４０００Ｈｚ）までのスペクトルを置き換えずに保存するといった弱い第１の衝撃音ノイズ低減処理が行なわれる。
ＡＦ動作開始時及びＡＦ動作終了時が含まれない場合は、衝撃音ノイズが含まれないと判断し、衝撃音ノイズ低減処理を行わない。
【００４６】
この第１の衝撃音ノイズ低減処理が行われたスペクトルは、音声スベクトル成分ｆ２、ｆ４を含む。このスペクトルは、推定ノイズ更新に使用されず、第２のノイズ低減処理であるスペクトル減算処理を行なうためのステップＳＴ９に進む。
第２の処理対象音の場合、動作ノイズの発生タイミングで且つ非音声区間である区間Ｅにおいては、図１８に示すようなスペクトルが得られ、区間Ｆにおいては、図２０に示すようなスペクトルが得られる。
【００４７】
そこで、ステップＳＴ８においては、区間Ｅで得られたスペクトルからノイズを推定し更新する。更新後の推定ノイズは、図１９に示すようなスペクトルとなる。
【００４８】
そして、ステップＳＴ９において、区間Ｆにおけるスペクトル（図２０）から推定ノイズスペクル（図１９）を減算し、更に、ステップＳＴ１０においてフロアリングすることにより、図２１に示すようなスペクトルを生成する。
なお、第２の処理対象音の場合のフロアリングスペクトルは、背景音のみが発生している区間Ｄから得る。このフロアリングスペクトルは、第１の処理対象音の場合と同様図８を半減処理した図１４のスペクトルを用いる。
【００４９】
ここで、仮に区間Ｆのスペクトル（図２０）に０．９を乗じた推定ノイズ図２２をもとにスペクトル減算を行った場合、図２３に示すスペクトルとなる。この場合、ｆ２、ｆ４で示される音声のスペクトルも減算され、正しい音情報を得ることができない。しかし本実施形態によると、図２１に示すように音声スペクトルを現存させることができる。
【００５０】
以上、本実施形態によると、以下の効果を有する。
（１）マイク１３１により集音された音情報から音声区間を検出し、音声区間と検出された場合、非音声区間であると検出された場合よりも、弱い第１のノイズ低減処理を行なう。そのため、音声区間、非音声区間の区別なしに、強いノイズ低減処理を行なう場合に比べて、音声及び背景音からなる目的音の特に音声部分の劣化を招くことなく、ノイズを適切に低減することができる。
（２）第１のノイズ低減処理後に、非音声区間であると判定された場合の音情報からノイズを推定し、この推定されたノイズを減算する第２のノイズ低減処理（スペクトルの減算処理）を行なう。そのため、非音声区間の音情報からノイズを求めているので音声自体を消去することなく、目的音に非常に近い処理音を得ることができる。
（３）撮像装置１００内の駆動部の動作情報から動作ノイズの発生タイミングを検出し、ノイズ発生タイミングが検出された場合にノイズ低減処理に移行する。そのため、無駄なノイズ低減処理を行わず、必要な時のみ適切且つ合理的にノイズ低減処理を行なうことができる。
（４）第２のノイズ低減処理（スペクトル減算処理）後の音情報に対してフロアリングを行なうため、スペクトル減算により減少する、あるいは、消滅するおそれがあるスペクトルを補正することができる。これによって、ノイズを低減し過ぎてしまう事態を防ぎ、集音した音情報のうち、目的音に近い音を確保（記録）することができる。
【００５１】
以上、説明した実施形態に限定されることなく、以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。
例え、本実施形態では、マイク１３１により集音された音情報に対して、リアルタイムにノイズ低減処理する構成で説明した。しかし、これに限らず、マイク１３１により集音された音情報を、バッファメモリ等に一時的に記憶させておき、必要に応じてバッファメモリ等から音情報を読み出してノイズ低減処理する構成であってもよい。この場合は、リアルタイムに処理する際に装置にかかる負荷を軽減することができる。
なお、実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は以上説明した実施形態によって限定されることはない。
【符号の説明】
【００５２】
１００：撮像装置、１３１：マイク（集音装置）、１３３：ノイズ低減処理部、１３４：音声区間検出部、１３５：ノイズタイミング検出部、１３６：第１のノイズ低減処理部、１３７：第２のノイズ低減処理部
【技術分野】
【０００１】
本発明は、撮影時に入力される音情報からノイズを低減処理する撮像装置及び撮像装置のノイズ低減方法に関するものである。
【背景技術】
【０００２】
動画撮影が可能な撮像装置において動画撮影時には、オートフォーカスレンズの駆動部の動作に伴い発生する動作音（以下、ＡＦノイズという）等のノイズが、マイク等の集音装置により集音され、被写体の発する音声等の目的音に混入し、目的音の品質を損なうことがある。
このようなＡＦノイズを低減する方法として、ＡＦ駆動部の動作前に入力される音声信号のパワー値を取得し、この音声信号のパワー値に基づいてフロアリング係数を制御（変化）させることにより、ノイズを除去する方法が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２５２３８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１によるノイズ低減処理の場合は、ＡＦノイズを低減することができる反面、音声等の目的音を劣化する可能性が高いという問題があった。
【０００５】
本発明の課題は、音声等の目的音の劣化を招くことなく、ノイズを適切に低減することができる撮像装置及び撮像装置のノイズ低減方法を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、以下のような解決手段により前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。
【０００７】
請求項１に記載の発明は、集音装置（１３１）と、前記集音装置（１３１）により集音された音情報から音声区間を検出する音声区間検出部（１３４）と、前記音声区間検出部（１３４）の検出結果に基づいて、異なるノイズ低減処理を行うノイズ低減処理部（１３３）と、を備えること、を特徴とする撮像装置（１００）である。
請求項２に記載の発明は、請求項１に記載の撮像装置（１００）であって、該撮像装置（１００）内の駆動部の動作情報から動作ノイズの発生タイミングを検出するノイズタイミング検出部（１３５）を備え、前記ノイズ低減処理部（１３３）は、前記ノイズタイミング検出部（１３５）の検出結果に基づいて、異なるノイズ低減処理を行うこと、を特徴とする撮像装置（１００）である。
請求項３に記載の発明は、請求項１または２に記載の撮像装置（１００）であって、前記ノイズ低減処理部（１３３）は、前記音声区間検出部（１３４）により音声区間と検出された場合、前記音声区間検出部（１３４）において非音声区間であると検出された場合よりも弱い低い第１のノイズ低減処理を行うこと、を特徴とする撮像装置（１００）である。
請求項４に記載の発明は、請求項１から３のいずれか１項に記載の撮像装置（１００）であって、前記ノイズ低減処理部（１３３）は、前記音声区間検出部（１３４）において非音声区間であると判定された場合の音情報からノイズを推定し、該推定されたノイズを、推定ノイズ減算前音情報から減算する第２のノイズ低減処理を行うこと、を特徴とする撮像装置（１００）である。
請求項５に記載の発明は、請求項１から４のいずれか１項に記載の撮像装置（１００）であって、前記ノイズ低減処理部（１３３）は、前記音声区間検出部（１３４）において非音声区間であると判定された場合の音情報からフロアリングスペクトルを求め、該フロアリングスペクトルを用いてフロアリング処理前音情報に対してフロアリング処理すること、を特徴とする撮像装置（１００）である。
請求項６に記載の発明は、請求項１から５のいずれか１項に記載の撮像装置（１００）であって、前記音声区間検出部（１３４）による音声区間の検出は、音声波形の一部を切り出して自己相関関数を求め、その求めた自己相関関数のピーク値を用いて検出すること、を特徴とする撮像装置（１００）である。
請求項７に記載の発明は、集音された音情報から音声区間を検出し、音声区間の検出結果に基づいて、異なるノイズ低減処理を行うこと、を特徴とする撮像装置（１００）のノイズ低減方法である。
請求項８に記載の発明は、請求項７に記載のノイズ低減方法であって、前記撮像装置（１００）内の駆動部の動作情報から動作ノイズの発生タイミングを検出し、動作ノイズの発生タイミングの検出結果に基づいて、異なるノイズ低減処理を行うこと、を特徴とする撮像装置（１００）のノイズ低減方法である。
請求項９に記載の発明は、請求項７または８に記載のノイズ低減方法であって、音声区間と検出された場合、非音声区間であると検出された場合よりも弱い第１のノイズ低減処理を行うこと、を特徴とする撮像装置（１００）のノイズ低減方法である。
請求項１０に記載の発明は、請求項７から９のいずれか１項に記載のノイズ低減方法であって、非音声区間であると判定された場合の音情報からノイズを推定し、該推定されたノイズを、推定ノイズ減算前音情報から減算する第２のノイズ低減処理を行うこと、を特徴とする撮像装置（１００）のノイズ低減方法である。
請求項１１に記載の発明は、請求項７から１０のいずれか１項に記載のノイズ低減方法であって、非音声区間であると判定された場合の音情報からフロアリングスペクトルを求め、該フロアリングスペクトルを用いてフロアリング処理前音情報に対してフロアリング処理すること、を特徴とする撮像装置（１００）のノイズ低減方法である。
請求項１２に記載の発明は、請求項７から１１のいずれか１項に記載のノイズ低減方法であって、音声区間の検出は、音声波形の一部を切り出して自己相関関数を求め、その求めた自己相関関数のピーク値を用いて検出すること、を特徴とする撮像装置（１００）のノイズ低減方法である。
なお、符号を付して説明した構成は、適宜改良してもよく、また、少なくとも一部を他の構成物に代替してもよい。
【発明の効果】
【０００８】
本発明によれば、音声等の目的音の劣化を招くことなく、ノイズを適切に低減することができる撮像装置及び撮像装置のノイズ低減方法を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態の撮像装置の構成を示すブロック図である。
【図２】音声波形図である。
【図３】音声波形の自己相関関数を説明する図である。
【図４】自己相関関数を利用して音声区間を検出する場合の一例であり、図４（Ａ）は、マイクからの出力波形、図４（Ｂ）は自己相関関数のピークに閾値を設定して、閾値以上の部分をＨｉｇｈとして示した波形である。
【図５】ノイズタイミング検出部による動作ノイズの発生タイミング検出の詳細を説明する図である。
【図６】ノイズ低減処理動作のフローを示すフローチャートである。
【図７】ノイズ低減処理の対象となる第１の処理対象音の形態を説明する概略図である。
【図８】区間Ａのスペクトルを示す図である。
【図９】区間Ｂのスペクトルを示す図である。
【図１０】区間Ｃのスペクトルを示す図である。
【図１１】推定ノイズスペクトルを示す図である。
【図１２】区間Ｃのスペクトルからノイズを減算したスペクトルを示す図である。
【図１３】フロアリングスペクトルＡを使用したフロアリング後のスペクトルを示す図である。
【図１４】フロアリングスペクトルＡを示す図である。
【図１５】フロアリングスペクトルＢを示す図である。
【図１６】フロアリングスペクトルＢを使用したフロアリング後のスペクトルを示す図である。
【図１７】ノイズ低減処理の対象となる第２の処理対象音の形態を説明する概略図である。
【図１８】区間Ｅの背景音とノイズのスペクトルを示す図である。
【図１９】区間Ｅのスペクトルを使用した推定ノイズを示す図である。
【図２０】区間Ｆのスペクトルを示す図である。
【図２１】区間Ｅの推定ノイズを使用してフロアリング処理した後のスペクトルを示す図である。
【図２２】区間Ｆのスペクトルを使用した推定ノイズを示す図である。
【図２３】区間Ｆの推定ノイズを使用してフロアリング処理した後のスペクトルを示す図である。
【発明を実施するための形態】
【００１０】
以下、図面等を参照して、本発明の実施形態について説明する。図１は、本発明の実施形態の撮像装置の構成を示すブロック図である。
【００１１】
図１に示すように、撮像装置１００は、レンズ鏡筒１１０と、レンズ鏡筒１１０を通過した被写体像を撮像してＡ／Ｄ変換すると共に、画像処理して画像データを生成する画像処理部１２０と、集音された音情報をＡ／Ｄ変換すると共に、ノイズ低減処理する音情報処理部１３０と、画像処理部１２０で得られた画像データ及び音情報処理部１３０で得られた音声信号を記録する記録部１４０と、ＣＰＵ１５０と、を備える。
【００１２】
レンズ鏡筒１１０は、焦点調整レンズ（以下、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）レンズ、手振れ補正レンズ（以下、ＶＲ（Ｖｉｂｒａｔｉｏｎ Ｒｅｄｕｃｔｉｏｎ）レンズ、ズームレンズ、ズームレンズ駆動部、ズームエンコーダ、像ぶれ補正部等を備えるＶＲユニット１１１と、ＡＦエンコーダ１１２と、ＡＦ駆動用モータ１１３と、を備える。
【００１３】
ＡＦエンコーダ１１２は、光学系のＡＦレンズの位置を検出してＣＰＵ１５０に出力する。ＡＦ駆動用モータ１１３には、ＡＦレンズの位置を制御するための駆動制御信号がＣＰＵ１５０から入力され、その駆動制御信号に応じて、ＡＦレンズの位置が制御される。
【００１４】
ＣＰＵ１５０は、設定された撮像条件（例えば、絞り値、露出値等）に応じてレンズ鏡筒１１０を制御する。ＣＰＵ１５０は、ズームレンズ駆動部及びＡＦ駆動用モータ１１３を駆動する駆動制御信号を生成し、ズームレンズ駆動部及びＡＦ駆動用モータ１１３に出力する。
【００１５】
音情報処理部１３０は、集音装置であるマイク１３１と、集音されＡ／Ｄ変換された音情報を処理する音信号処理部１３２と、ノイズ低減処理部１３３と、を備える。
【００１６】
音信号処理部１３２は、マイク１３１により集音した音情報から音声区間を検出する音声区間検出部１３４と、ＡＦ駆動用モータ１１３の動作情報から動作ノイズの発生するタイミングを検出するノイズタイミング検出部１３５と、を備える。
【００１７】
音声区間検出部１３４は、マイク１３１により集音された音情報から、音声信号の含まれる区間（音声区間）とそれ以外の区間（非音声区間）とを、自己相関関数のピーク値に基づいて判別する。音声区間検出部１３４による音声区間検出の概要を説明すると、次のとおりである。
【００１８】
図２は、音声波形である。この音声波形の任意の一部を切り出して自己相関関数を求めると、図３に示す波形となる。この音声波形は、音声、即ち、声帯の振動数に対応した基本周波数及びそれの倍音に対応した周波数帯域にピークが集中する性質（調波性）を有しており、この調波性を利用して自己相関関数のピーク値の大きさによって、音声であるか非音声であるかを区別することが可能である。
【００１９】
図４は、自己相関関数を利用して音声区間を検出する場合の一例を示す。図４（Ａ）は、マイク１３１からの出力波形であり、その前半部にＡＦノイズが発生し、後半部に音声とＡＦノイズとが発生している。図４（Ａ）に示すような出力波形に対して自己相関関数を求め、この自己相関関数のピークに閾値を設定して、閾値以上の部分をＨｉｇｈとして示すと、図４（Ｂ）のような波形が得られる。これによって、出力波形の後半部に音声位置と一致した音声区間があることを検出できる。
【００２０】
ノイズタイミング検出部１３５は、ＡＦ駆動用モータ１１３の動作情報から動作ノイズの発生するタイミングを検出する。このノイズタイミング検出部１３５による動作ノイズの発生タイミングは、ＣＰＵ１５０にＡＦ駆動用モータ１１３に対する駆動制御信号を出力するように指示するＡＦ駆動コマンド及びＡＦエンコーダ１１２からの出力を用いて検出（推定）する。
【００２１】
ノイズタイミング検出部１３５による動作ノイズの発生タイミング検出の詳細を説明すると、次のとおりである。
図５に示すように、ＡＦ駆動コマンドの出力によりＡＦ駆動用モータ１１３が動作されると、ＡＦ駆動コマンドの出力時刻であるＡＦ駆動用モータ１１３の動作開始時刻ｔ１から動作終了時刻ｔ３まで連続して動作ノイズは発生される。マイク１３１には、被写体の音声等の記録目的音に動作ノイズが重畳された音情報が集音され、その集音された音情報がマイク１３１から出力される。
【００２２】
このとき、ＡＦエンコーダ１１２からは、ＡＦ駆動系のギア列で起きるバックラッシュ等の影響でＡＦ駆動用モータ１１３の動作開始時刻ｔ１よりも遅れた時刻ｔ２から出力されることがある。そこで、ノイズタイミング検出部１３５は、ＡＦ駆動コマンドの出力時刻ｔ１からＡＦエンコーダ１１２の出力停止ｔ３までを動作ノイズの発生タイミングとして検出し、それ以外を非ノイズタイミングとして検出する。
なお、ＡＦ動作時においてマイク１３１から実際に出力される信号は、目的音に動作ノイズが重畳した信号であるが、説明を簡略にするため、図５では、動作ノイズのみを示している。
【００２３】
ノイズ低減処理部１３３は、図５に示す動作ノイズのうち、ＡＦ動作開始時及びＡＦ動作終了時に発生する衝撃音ノイズを低減処理する。ノイズ低減処理部１３３は、図５に示す動作ノイズ発生前の窓Ｘの第１周波数スペクトルと、動作ノイズ発生後の窓Ｙの第２周波数スペクトルと、を取得する。取得した第１周波数スペクトルと第２周波数スペクトルとを比較し、比較の結果、第２周波数スペクトルが第１周波数スペクトルより大きい場合、第２周波数スペクトルを第１周波数スペクトルに置き換えることにより、第１のノイズの低減処理を行なう。
【００２４】
ここで、音声区間検出部１３４により音声区間であると検出された場合、所定の周波数（例えば、４０００Ｈｚ）までのスペクトルは置き換えずに保存し、また、非音声区間であると検出された場合、それよりも小さい所定の周波数（例えば、５００Ｈｚ）までのスペクトルは置き換えずに保存する。すなわち、音声区間と検出された場合の保存する周波数の上限を、例えば、４０００Ｈｚとし、非音声区間と検出された場合の保存する周波数の上限を、例えば、５００Ｈｚとすることにより、音声区間であると検出された場合、非音声区間であると検出された場合よりも弱い第１の衝撃音ノイズ低減処理を行う。
【００２５】
また、ノイズ低減処理部１３３は、音声区間検出部１３４において非音声区間であると検出されて強い衝撃音ノイズ低減処理が行われた場合の周波数スペクトルからノイズを推定し、推定ノイズを更新すると共に、その推定ノイズを用いて、第１の衝撃音ノイズ低減処理が行われた周波数スペクトルから減算して周波数スペクトルを生成するスペクトル減算処理（第２のノイズ低減処理）を行なう。
【００２６】
上記した構成の他に、音情報処理部１３０には、マイク１３１から出力される音情報を予め決められた区間毎に分割して窓関数で重み付けする共に、この区間毎の音データをフーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）して周波数領域に変換する処理部を有する。また、ＦＦＴ処理により周波数領域の振幅情報と位相情報とに分けられ、周波数領域の振幅情報を利用してノイズ低減処理（スペクトル減算処理）が行われたスペクトルに対して、逆フーリエ変換（ＩＦＦＴ：Ｉｎｖｅｒｓｅ Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を行なうことにより、ノイズ低減処理後のスペクトル（音情報）を時間領域に変換する処理部を有する。これら処理部については、図示を省略する。
【００２７】
更に、ノイズ低減処理部１３３は、第２のノイズ低減処理（スペクトル減算処理）により、スペクトルが著しく減少した場合やスペクトルが消失した場合においてスペクトルを補正するフロアリング機能を有する。このフロアリングは、ノイズタイミング検出部１３５により非ノイズタイミングであると検出され、且つ、音声区間検出部１３４により非音声区間であると検出された場合の音情報を基に生成されたフロアリングスペクトルと第２のノイズ低減処理において減算された後のスペクトルとを比較し、減算後のスペクトルがフロアリングスペクトルを下回っている（スペクトル強度が小さい）場合、フロワリングスペクトルを採用した音情報（スペクトル）を生成し、これをＩＦＦＴ処理する。
ただし、減算後のスペクトルがフロアリングスペクトルを上回っている（スペクトル強度が大きい）場合は、フロアリング処理を行ってもよいし、また、行なわなくてもよい。
【００２８】
また、フロアリング機能に用いるフロアリングスペクトルは、ノイズタイミング検出部１３５により非ノイズタイミングであると検出され、且つ、音声区間検出部１３４により非音声区間であると検出された場合の音情報を用いて更新する。これにより、フロアリングスペクトルには、動作ノイズスペクトル、音声スペクトルのいずれも含まず、背景音のみが含まれており、フロアリング処理時に音声スペクトルが付加され、ノイズ低減処理後の音情報に本来無い音声を生じることがないようにしている。
【００２９】
次に、本実施形態の撮像装置１００におけるノイズ低減処理動作（ノイズ低減方法）を、図面に基づいて説明する。図６は、ノイズ低減処理動作のフローを示すフローチャートである。図７は、ノイズ低減処理の対象となる第１の処理対象音の形態を説明する概略図である。
【００３０】
（第１の処理対象音）
図７に示すように、第１の処理対象音は、区間Ａが背景音のみ、区間Ｂが背景音と音声（目的音）、区間Ｃが背景音とＡＦノイズを発生している形態である。図７に示す第１の処理対象音の区間Ｃにおいてマイク１３１が集音し出力される音情報からＡＦノイズを低減処理する動作及びフロアリング更新について説明する。
【００３１】
（ステップＳＴ１）
まず、ノイズタイミング検出部１３５により、マイク１３１から出力される音情報に基づいて、ノイズタイミングの検出が開始される。
このときのマイク３１によって集音された音情報（スペクトル）を、区間Ａについて図８、区間Ｂについて図９に示す。
【００３２】
（ステップＳＴ２）
続いて、音声区間検出部１３４により、マイク１３１から出力される音情報に基づいて、音声区間の検出が開始される。
【００３３】
（ステップＳＴ３）
マイク１３１から出力される音情報をＦＦＴ処理して、周波数領域の振幅情報と位相情報とに分けられる。
【００３４】
（ステップＳＴ４）
次に、ノイズタイミング検出部１３５によって、動作ノイズの発生タイミングであるか非ノイズタイミングであるか（すなわちＡＦ区間か否か）、が検出（判定）される。
【００３５】
（ステップＳＴ４，ＹＥＳ）
ステップＳＴ４において、区間Ｃは動作ノイズの発生タイミングであると判定され（ＡＦ区間，ＹＥＳ）、ステップＳＴ５に進む。
（ステップＳＴ４，ＮＯ）
区間ＡおよびＢは非ノイズタイミングであると判定され、ステップＳＴ１１に進む。
【００３６】
（ステップＳＴ５）
ステップＳＴ５においては、音声区間検出部１３４によって、音声区間であるか、非音声区間であるかが検出（判定）される。区間Ｃは、非音声区間であるので（ＮＯ）、ステップＳＴ７に進む。
（ステップＳＴ７）
ここでは、ＡＦ動作開始時及びＡＦ動作終了時が含まれる場合、上限が所定の周波数（例えば、５００Ｈｚ）までのスペクトルを置き換えずに保存するといった強い衝撃音ノイズ低減処理が行われ、区間Ｃについて図１０のスペクトルを得る。
ＡＦ動作開始時及びＡＦ動作終了時が含まれない場合は、衝撃音ノイズが含まれないと判断し、衝撃音ノイズ低減処理を行わない。
【００３７】
（ステップＳＴ８）
次いで、ステップＳＴ７のノイズ低減処理により得られたスペクトル（図１０）におけるノイズを推定し、図１１に示すような推定ノイズスペクトルをステップＳＴ９に出力する。
【００３８】
（ステップＳＴ９）
続いて、ステップＳＴ７の衝撃音ノイズ低減処理により得られたスペクトル（図１０）からステップＳＴ８の推定により得られた推定ノイズスペクトル（図１１）を減算するスペクトル減算処理（第２のノイズ低減処理）が行なわれ、図１２に示すようなスペクトルが得られる。
【００３９】
（ステップＳＴ１０）
第２のノイズ低減処理（スペクトル減算処理）により、図１２のスペクトルが著しく減少したり、消失したりする場合があるので、これに対応するため、図１２のスペクトルを補正するフロアリングが行なわれる。
このフロアリングは、図１２のスペクトルと基準となるフロアリングスペクトルと、の大きさを比較する。そして、比較の結果、強度の大きいスペクトルを採用して、図１３に示すスペクトルを生成する。ここで用いたフロアリングスペクトルは、後述するが、区間Ａから求めたフロアリングスペクトルである。
【００４０】
（ステップＳＴ１１）
ステップＳＴ１１に戻り、ここでは、音声区間検出部１３４によって、音声区間であるか、非音声区間（背景音のみの区間）であるか、が検出（判定）される。その結果、区間Ｂは音声区間であると判定され（ＹＥＳ）、ノイズ低減処理、スペクトル減算、フロアリングを行わず、ステップＳＴ１３に進む。区間Ａは非音声区間であると判定され（ＮＯ）、ステップＳＴ１２に進む。
【００４１】
（ステップＳＴ１２）
ステップＳＴ１２においては、図８に示す背景音のみが発生している区間Ａのスペクトルの各周波数における振幅を半減して、図１４に示すようなフロアリングスペクトルを得る。このフロアリングスペクトル（図１４）を、前述したようにステップＳＴ１０のフロアリングに用いると共に、このフロアリングスペクトルに更新する。
仮に、区間Ｂの図９に示すスペクトルの各周波数における振幅を半減して求めた図１５のフロアリングスペクトルを用いてフロアリングした場合、図１６に示すようなスペクトルとなる。図１６のスペクトルを区間Ｃのスペクトルとすると、区間Ｂ（図９）に含まれる音声のスペクトルの成分（特にｆ２，ｆ４）も含まれることになり、正確な目的音を得ることができない。
しかし、本実施形態によると、フロアリングに用いるフロアリングスペクトル（図１４）には、音声及び動作ノイズのスペクトルが含まれていない。このため、ステップＳＴ１０のフロアリングにおいて、ＡＦノイズや音声のスペクトルが付加されてノイズ低減処理後の音情報に本来ない動作ノイズや音声が生じることを防ぐことができる。
【００４２】
（ステップＳＴ１３）
最後のステップＳＴ１３において、ステップＳＴ３において分けられた位相を用いてＩＦＦＴ処理を行なうことにより、ノイズ低減処理後のスペクトルを時間領域に変換して記録部１４０に出力する。
【００４３】
（第２の処理対象音）
次に、上述した第１の処理対象音と異なる形態を有する第２の処理対象音を用いた場合のノイズ低減処理動作（ノイズ低減方法）について説明する。なお、ノイズ低減処理動作フローの各ステップは、第１の処理対象音の場合は略同様であるため、主として各ステップにおける処理内容の相違点を中心に説明する。
【００４４】
図１７は、ノイズ低減処理の対象となる第２の処理対象音の形態を説明する概略図である。図１７に示すように、処理対象音は、区間Ｄが背景音のみ、区間Ｅが背景音とＡＦノイズ、区間Ｆが背景音と音声とＡＦノイズを発生している形態である。図１７に示す処理対象音の区間Ｅ及び区間Ｆにおいてマイク１３１が集音し出力される音情報からＡＦノイズを低減処理する動作及びフロアリング更新について説明する。
【００４５】
ステップＳＴ１からＳＴ４までは上述の第１の処理対象音の区間Ｃと同様であるので省略する。
（ステップＳＴ５）
ステップＳＴ５において、区間Ｆは音声区間であると判定され（ＹＥＳ）、ステップＳＴ６に進む。
（ステップＳＴ６）
ステップＳＴ６においては、ＡＦ動作開始時及びＡＦ動作終了時が含まれる場合、上限が所定の周波数（例えば、４０００Ｈｚ）までのスペクトルを置き換えずに保存するといった弱い第１の衝撃音ノイズ低減処理が行なわれる。
ＡＦ動作開始時及びＡＦ動作終了時が含まれない場合は、衝撃音ノイズが含まれないと判断し、衝撃音ノイズ低減処理を行わない。
【００４６】
この第１の衝撃音ノイズ低減処理が行われたスペクトルは、音声スベクトル成分ｆ２、ｆ４を含む。このスペクトルは、推定ノイズ更新に使用されず、第２のノイズ低減処理であるスペクトル減算処理を行なうためのステップＳＴ９に進む。
第２の処理対象音の場合、動作ノイズの発生タイミングで且つ非音声区間である区間Ｅにおいては、図１８に示すようなスペクトルが得られ、区間Ｆにおいては、図２０に示すようなスペクトルが得られる。
【００４７】
そこで、ステップＳＴ８においては、区間Ｅで得られたスペクトルからノイズを推定し更新する。更新後の推定ノイズは、図１９に示すようなスペクトルとなる。
【００４８】
そして、ステップＳＴ９において、区間Ｆにおけるスペクトル（図２０）から推定ノイズスペクル（図１９）を減算し、更に、ステップＳＴ１０においてフロアリングすることにより、図２１に示すようなスペクトルを生成する。
なお、第２の処理対象音の場合のフロアリングスペクトルは、背景音のみが発生している区間Ｄから得る。このフロアリングスペクトルは、第１の処理対象音の場合と同様図８を半減処理した図１４のスペクトルを用いる。
【００４９】
ここで、仮に区間Ｆのスペクトル（図２０）に０．９を乗じた推定ノイズ図２２をもとにスペクトル減算を行った場合、図２３に示すスペクトルとなる。この場合、ｆ２、ｆ４で示される音声のスペクトルも減算され、正しい音情報を得ることができない。しかし本実施形態によると、図２１に示すように音声スペクトルを現存させることができる。
【００５０】
以上、本実施形態によると、以下の効果を有する。
（１）マイク１３１により集音された音情報から音声区間を検出し、音声区間と検出された場合、非音声区間であると検出された場合よりも、弱い第１のノイズ低減処理を行なう。そのため、音声区間、非音声区間の区別なしに、強いノイズ低減処理を行なう場合に比べて、音声及び背景音からなる目的音の特に音声部分の劣化を招くことなく、ノイズを適切に低減することができる。
（２）第１のノイズ低減処理後に、非音声区間であると判定された場合の音情報からノイズを推定し、この推定されたノイズを減算する第２のノイズ低減処理（スペクトルの減算処理）を行なう。そのため、非音声区間の音情報からノイズを求めているので音声自体を消去することなく、目的音に非常に近い処理音を得ることができる。
（３）撮像装置１００内の駆動部の動作情報から動作ノイズの発生タイミングを検出し、ノイズ発生タイミングが検出された場合にノイズ低減処理に移行する。そのため、無駄なノイズ低減処理を行わず、必要な時のみ適切且つ合理的にノイズ低減処理を行なうことができる。
（４）第２のノイズ低減処理（スペクトル減算処理）後の音情報に対してフロアリングを行なうため、スペクトル減算により減少する、あるいは、消滅するおそれがあるスペクトルを補正することができる。これによって、ノイズを低減し過ぎてしまう事態を防ぎ、集音した音情報のうち、目的音に近い音を確保（記録）することができる。
【００５１】
以上、説明した実施形態に限定されることなく、以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。
例え、本実施形態では、マイク１３１により集音された音情報に対して、リアルタイムにノイズ低減処理する構成で説明した。しかし、これに限らず、マイク１３１により集音された音情報を、バッファメモリ等に一時的に記憶させておき、必要に応じてバッファメモリ等から音情報を読み出してノイズ低減処理する構成であってもよい。この場合は、リアルタイムに処理する際に装置にかかる負荷を軽減することができる。
なお、実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は以上説明した実施形態によって限定されることはない。
【符号の説明】
【００５２】
１００：撮像装置、１３１：マイク（集音装置）、１３３：ノイズ低減処理部、１３４：音声区間検出部、１３５：ノイズタイミング検出部、１３６：第１のノイズ低減処理部、１３７：第２のノイズ低減処理部
【特許請求の範囲】
【請求項１】
集音装置と、
前記集音装置により集音された音情報から音声区間を検出する音声区間検出部と、
前記音声区間検出部の検出結果に基づいて、異なるノイズ低減処理を行うノイズ低減処理部と、を備えること、
を特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置であって、
該撮像装置内の駆動部の動作情報から動作ノイズの発生タイミングを検出するノイズタイミング検出部を備え、
前記ノイズ低減処理部は、前記ノイズタイミング検出部の検出結果に基づいて、異なるノイズ低減処理を行うこと、
を特徴とする撮像装置。
【請求項３】
請求項１または２に記載の撮像装置であって、
前記ノイズ低減処理部は、
前記音声区間検出部により音声区間と検出された場合、前記音声区間検出部において非音声区間であると検出された場合よりも弱い低い第１のノイズ低減処理を行うこと、
を特徴とする撮像装置。
【請求項４】
請求項１から３のいずれか１項に記載の撮像装置であって、
前記ノイズ低減処理部は、
前記音声区間検出部において非音声区間であると判定された場合の音情報からノイズを推定し、該推定されたノイズを、推定ノイズ減算前音情報から減算する第２のノイズ低減処理を行うこと、
を特徴とする撮像装置。
【請求項５】
請求項１から４のいずれか１項に記載の撮像装置であって、
前記ノイズ低減処理部は、
前記音声区間検出部において非音声区間であると判定された場合の音情報からフロアリングスペクトルを求め、該フロアリングスペクトルを用いてフロアリング処理前音情報に対してフロアリング処理すること、
を特徴とする撮像装置。
【請求項６】
請求項１から５のいずれか１項に記載の撮像装置であって、
前記音声区間検出部による音声区間の検出は、音声波形の一部を切り出して自己相関関数を求め、その求めた自己相関関数のピーク値を用いて検出すること、
を特徴とする撮像装置。
【請求項７】
集音された音情報から音声区間を検出し、
音声区間の検出結果に基づいて、異なるノイズ低減処理を行うこと、
を特徴とする撮像装置のノイズ低減方法。
【請求項８】
請求項７に記載のノイズ低減方法であって、
前記撮像装置内の駆動部の動作情報から動作ノイズの発生タイミングを検出し、
動作ノイズの発生タイミングの検出結果に基づいて、異なるノイズ低減処理を行うこと、
を特徴とする撮像装置のノイズ低減方法。
【請求項９】
請求項７または８に記載のノイズ低減方法であって、
音声区間と検出された場合、非音声区間であると検出された場合よりも弱い第１のノイズ低減処理を行うこと、
を特徴とする撮像装置のノイズ低減方法。
【請求項１０】
請求項７から９のいずれか１項に記載の撮像装置のノイズ低減方法であって、
非音声区間であると判定された場合の音情報からノイズを推定し、該推定されたノイズを、推定ノイズ減算前音情報から減算する第２のノイズ低減処理を行うこと、
を特徴とする撮像装置のノイズ低減方法。
【請求項１１】
請求項７から１０のいずれか１項に記載のノイズ低減方法であって、
非音声区間であると判定された場合の音情報からフロアリングスペクトルを求め、該フロアリングスペクトルを用いてフロアリング処理前音情報に対してフロアリング処理すること、
を特徴とする撮像装置のノイズ低減方法。
【請求項１２】
請求項７から１１のいずれか１項に記載のノイズ低減方法であって、
音声区間の検出は、音声波形の一部を切り出して自己相関関数を求め、その求めた自己相関関数のピーク値を用いて検出すること、
を特徴とする撮像装置のノイズ低減方法。
【請求項１】
集音装置と、
前記集音装置により集音された音情報から音声区間を検出する音声区間検出部と、
前記音声区間検出部の検出結果に基づいて、異なるノイズ低減処理を行うノイズ低減処理部と、を備えること、
を特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置であって、
該撮像装置内の駆動部の動作情報から動作ノイズの発生タイミングを検出するノイズタイミング検出部を備え、
前記ノイズ低減処理部は、前記ノイズタイミング検出部の検出結果に基づいて、異なるノイズ低減処理を行うこと、
を特徴とする撮像装置。
【請求項３】
請求項１または２に記載の撮像装置であって、
前記ノイズ低減処理部は、
前記音声区間検出部により音声区間と検出された場合、前記音声区間検出部において非音声区間であると検出された場合よりも弱い低い第１のノイズ低減処理を行うこと、
を特徴とする撮像装置。
【請求項４】
請求項１から３のいずれか１項に記載の撮像装置であって、
前記ノイズ低減処理部は、
前記音声区間検出部において非音声区間であると判定された場合の音情報からノイズを推定し、該推定されたノイズを、推定ノイズ減算前音情報から減算する第２のノイズ低減処理を行うこと、
を特徴とする撮像装置。
【請求項５】
請求項１から４のいずれか１項に記載の撮像装置であって、
前記ノイズ低減処理部は、
前記音声区間検出部において非音声区間であると判定された場合の音情報からフロアリングスペクトルを求め、該フロアリングスペクトルを用いてフロアリング処理前音情報に対してフロアリング処理すること、
を特徴とする撮像装置。
【請求項６】
請求項１から５のいずれか１項に記載の撮像装置であって、
前記音声区間検出部による音声区間の検出は、音声波形の一部を切り出して自己相関関数を求め、その求めた自己相関関数のピーク値を用いて検出すること、
を特徴とする撮像装置。
【請求項７】
集音された音情報から音声区間を検出し、
音声区間の検出結果に基づいて、異なるノイズ低減処理を行うこと、
を特徴とする撮像装置のノイズ低減方法。
【請求項８】
請求項７に記載のノイズ低減方法であって、
前記撮像装置内の駆動部の動作情報から動作ノイズの発生タイミングを検出し、
動作ノイズの発生タイミングの検出結果に基づいて、異なるノイズ低減処理を行うこと、
を特徴とする撮像装置のノイズ低減方法。
【請求項９】
請求項７または８に記載のノイズ低減方法であって、
音声区間と検出された場合、非音声区間であると検出された場合よりも弱い第１のノイズ低減処理を行うこと、
を特徴とする撮像装置のノイズ低減方法。
【請求項１０】
請求項７から９のいずれか１項に記載の撮像装置のノイズ低減方法であって、
非音声区間であると判定された場合の音情報からノイズを推定し、該推定されたノイズを、推定ノイズ減算前音情報から減算する第２のノイズ低減処理を行うこと、
を特徴とする撮像装置のノイズ低減方法。
【請求項１１】
請求項７から１０のいずれか１項に記載のノイズ低減方法であって、
非音声区間であると判定された場合の音情報からフロアリングスペクトルを求め、該フロアリングスペクトルを用いてフロアリング処理前音情報に対してフロアリング処理すること、
を特徴とする撮像装置のノイズ低減方法。
【請求項１２】
請求項７から１１のいずれか１項に記載のノイズ低減方法であって、
音声区間の検出は、音声波形の一部を切り出して自己相関関数を求め、その求めた自己相関関数のピーク値を用いて検出すること、
を特徴とする撮像装置のノイズ低減方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２０１２−１７３３７１（Ｐ２０１２−１７３３７１Ａ）
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願番号】特願２０１１−３２７８６（Ｐ２０１１−３２７８６）
【出願日】平成２３年２月１８日（２０１１．２．１８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願日】平成２３年２月１８日（２０１１．２．１８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]