撮像装置及び撮像装置のノイズ低減方法
【課題】動作ノイズのみを適確に低減することができる撮像装置及び撮像装置のノイズ低減方法を提供する。
【解決手段】本発明の撮像装置は、集音装置と、集音装置により集音した音情報と、撮像装置内の駆動部又は操作部の動作情報と、の組み合わせにより駆動部又は操作部から発生する動作ノイズの発生タイミングを検出するノイズタイミング検出部と、ノイズタイミング検出部の検出結果に基づいて、動作ノイズの低減処理を行うノイズ低減処理部と、を備えることを特徴とする。
【解決手段】本発明の撮像装置は、集音装置と、集音装置により集音した音情報と、撮像装置内の駆動部又は操作部の動作情報と、の組み合わせにより駆動部又は操作部から発生する動作ノイズの発生タイミングを検出するノイズタイミング検出部と、ノイズタイミング検出部の検出結果に基づいて、動作ノイズの低減処理を行うノイズ低減処理部と、を備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影時に入力される音情報から動作ノイズを低減処理する撮像装置及び撮像装置のノイズ低減方法に関するものである。
【背景技術】
【０００２】
撮像装置において、オートフォーカスレンズの駆動部の動作開始時及び動作終了時に衝撃音が発生する。この衝撃音は動画撮影時に、動作ノイズとしてマイク等の集音装置により集音される。これらのノイズは、被写体の発する音声等の目的音に混入し、目的音の品質を損なうことがある。
このため、発生時間が所定の時間以下、且つ、パワーが所定の範囲内となる音を検出し、その音についてノイズ低減処理を行なう方法が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−７７７０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１によるノイズ低減処理の場合、集音装置により集音された音情報からのみ動作ノイズであると判定している。このため、例えば、撮影場所の周辺に衝撃音に近似した音が発生し、この音を集音したような場合も動作ノイズであると誤検出してノイズ低減処理が行われる。その結果、目的音の音質低下という問題がある。
【０００５】
本発明の課題は、動作ノイズのみを適確に低減することができる撮像装置及び撮像装置のノイズ低減方法を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、以下のような解決手段により前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。
【０００７】
請求項１に記載の発明は、集音装置（１３１）と、前記集音装置（１３１）により集音した音情報と、撮像装置（１００）内の駆動部（１１３）又は操作部（１２０）の動作情報と、の組み合わせにより前記駆動部（１１３）又は操作部（１２０）から発生する動作ノイズの発生タイミングを検出するノイズタイミング検出（１３５）と、前記ノイズタイミング検出（１３５）の検出結果に基づいて、前記動作ノイズの低減処理を行うノイズ低減処理部（１３３）と、を備えること、を特徴とする撮像装置（１００）である。
請求項２に記載の発明は、請求項１に記載の撮像装置（１００）であって、前記ノイズタイミング検出（１３５）は、前記集音装置（１３１）により集音された連続音圧サンプルの音圧差の情報と、前記駆動部（１１３）又は操作部（１２０）の動作情報と、の組み合わせにより動作ノイズの発生タイミングを検出すること、を特徴とする撮像装置（１００）である。
請求項３に記載の発明は、３請求項１または２に記載の撮像装置（１００）であって、前記ノイズタイミング検出（１３５）は、前記集音装置（１３１）により集音された連続音情報の音圧レベルと、連続音圧サンプルの音圧差の情報と、前記駆動部（１１３）又は操作部（１２０）の動作情報と、の組み合わせにより動作ノイズの発生タイミングを検出すること、を特徴とする撮像装置（１００）である。
請求項４に記載の発明は、請求項１から３のいずれか１項に記載の撮像装置（１００）であって、前記駆動部（１１３）又は操作部（１２０）の動作情報は、オートフォーカス駆動情報若しくはズーム駆動情報又は操作ボタンの操作情報であること、を特徴とする撮像装置（１００）である。
請求項５に記載の発明は、請求項１から４のいずれか１項に記載の撮像装置（１００）であって、前記ノイズ低減処理部（１３３）は、前記ノイズタイミング検出（１３５）が、ノイズタイミングであると検出された時より前又は後の第１の周波数スペクトルとノイズタイミングであると検出された時の第２の周波数スペクトルとを比較して求めた第３の周波数スペクトルを、前記第２の周波数スペクトルと置き換えること、を特徴とする撮像装置（１００）である。
請求項６に記載の発明は、請求項３に記載の撮像装置（１００）であって、前記ノイズタイミング検出（１３５）でノイズタイミングであると検出された時、前記音圧レベル及び音圧差を、非ノイズタイミング時の音圧レベル及び音圧差と比較し、その結果に基づいて、ノイズ低減処理を行なうか否かを判定すること、を特徴とする撮像装置（１００）である。
請求項７に記載の発明は、集音装置（１３１）と、前記集音装置（１３１）により集音した音情報と、撮像装置（１００）内の駆動部（１１３）又は操作部（１２０）の動作情報と、の組み合わせにより前記駆動部（１１３）又は操作部（１２０）から発生する動作ノイズの発生タイミングを検出するノイズタイミング検出（１３５）と、ノイズ低減処理部（１３３）と、を備え、前記ノイズタイミング検出（１３５）の検出結果に基づいて、前記動作ノイズの低減処理を行うこと、を特徴とする撮像装置（１００）のノイズ低減方法である。
請求項８に記載の発明は、請求項７に記載の撮像装置（１００）のノイズ低減方法であって、前記ノイズタイミング検出（１３５）は、前記集音装置（１３１）により集音された連続音圧サンプルの音圧差の情報と、前記駆動部（１１３）又は操作部（１２０）の動作情報と、の組み合わせにより動作ノイズの発生タイミングを検出すること、を特徴とする撮像装置（１００）のノイズ低減方法である。
請求項９に記載の発明は、請求項７または８に記載の撮像装置（１００）のノイズ低減方法であって、前記ノイズタイミング検出（１３５）は、前記集音装置（１３１）により集音された連続音情報の音圧レベルと、連続音圧サンプルの音圧差の情報と、前記駆動部（１１３）又は操作部（１２０）の動作情報と、の組み合わせにより動作ノイズの発生タイミングを検出すること、を特徴とする撮像装置（１００）のノイズ低減方法である。
請求項１０に記載の発明は、請求項７から９のいずれか１項に記載の撮像装置（１００）のノイズ低減方法であって、前記駆動部（１１３）又は操作部（１２０）の動作情報は、オートフォーカス駆動情報若しくはズーム駆動情報又は操作ボタンの操作情報であること、を特徴とする撮像装置（１００）のノイズ低減方法である。
請求項１１に記載の発明は、請求項７から１０のいずれか１項に記載の撮像装置（１００）のノイズ低減方法であって、前記ノイズ低減処理部（１３３）は、前記ノイズタイミング検出（１３５）が、ノイズタイミングであると検出された時より前又は後の第１の周波数スペクトルとノイズタイミングであると検出された時の第２の周波数スペクトルとを比較して求めた第３の周波数スペクトルを、前記第２の周波数スペクトルと置き換えること、を特徴とする撮像装置（１００）のノイズ低減方法である。
請求項１２に記載の発明は、請求項９に記載の撮像装置（１００）のノイズ低減方法であって、前記ノイズタイミング検出（１３５）でノイズタイミングであると検出された時、前記音圧レベル及び音圧差を、非ノイズタイミング時の音圧レベル及び音圧差と比較し、その結果に基づいて、ノイズ低減処理を行なうか否かを判定すること、を特徴とする撮像装置（１００）のノイズ低減方法である。
なお、符号を付して説明した構成は、適宜改良してもよく、また、少なくとも一部を他の構成物に代替してもよい。
【発明の効果】
【０００８】
本発明によれば、動作ノイズのみを適確に低減することができる撮像装置及び撮像装置のノイズ低減方法を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１実施形態の撮像装置の構成を示すブロック図である。
【図２】ＡＦ駆動用モータから発生する動作ノイズの発生状況を説明する図である。
【図３】ＡＦ駆動時間範囲の設定に関するケース１の場合の説明図である。
【図４】ＡＦ駆動時間範囲の設定に関するケース２の場合の説明図である。
【図５】ＡＦ動作中に集音される衝撃ノイズの音圧波形を示す図である。
【図６】ＡＦ動作中に集音される音声等の目的音の音圧波形を示す図である。
【図７】衝撃ノイズと音声等の目的音とが加算（重畳）された連続音の音圧レベルの変化を示す波形図である。
【図８】衝撃ノイズと音声等の目的音が重畳された連続音の音圧差分の絶対値の変化を示す波形図である。
【図９】図２に示す各区間から取得した周波数スペクトル図である。第１の処理対象音の区間Ｃのスペクトルを示す図である。
【図１０】衝撃ノイズ発生区間における衝撃ノイズの低減処理方法を説明するための周波数スペクトル図である。
【図１１】衝撃ノイズの発生している区間におけるノイズの低減処理の様子を示す概略図である。
【図１２】第２実施形態による衝撃ノイズ低減処理の実行の要否を判断するための動作フローを示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、図面等を参照して、本発明の実施形態について説明する。図１は、本発明の第１実施形態の撮像装置としてのカメラの構成を示すブロック図である。
【００１１】
図１に示すように、カメラ１００は、レンズ鏡筒１１０と、カメラ本体１６０と、を有する。
カメラ本体１６０の内部には、レンズ鏡筒１１０を通過した被写体光を撮像してＡ／Ｄ変換すると共に、画像処理して画像データを生成する画像処理部（図示省略）と、集音された音情報をＡ／Ｄ変換すると共に、ノイズ低減処理する音情報処理部１３０と、画像処理部で得られた画像データ及び音情報処理部１３０で得られた音声信号を記録する記録部１４０と、操作部としてのマルチセレクター１２０と、ＣＰＵ１５０と、を備える。
【００１２】
レンズ鏡筒１１０は、焦点調整レンズ（以下、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）レンズ、手振れ補正レンズ（以下、ＶＲ（Ｖｉｂｒａｔｉｏｎ Ｒｅｄｕｃｔｉｏｎ）レンズ、ズームレンズ等を備える光学系（図示省略）と、ズームエンコーダ１１１と、ＡＦエンコーダ１１２と、ＡＦ駆動用モータ１１３と、を備える。
【００１３】
ＡＦエンコーダ１１２は、光学系のＡＦレンズの位置を検出してＣＰＵ１５０に出力する。ＡＦ駆動用モータ１１３には、ＡＦレンズの位置を制御するための駆動制御信号がＣＰＵ１５０から入力され、その駆動制御信号に応じて、ＡＦレンズの位置が制御される。
【００１４】
ＣＰＵ１５０は、設定された撮像条件（例えば、絞り値、露出値等）に応じてレンズ鏡筒１１０を制御する。ＣＰＵ１５０は、ズームレンズ駆動部（図示省略）及びＡＦ駆動用モータ１１３を駆動する駆動制御信号を生成し、ズームレンズ駆動部及びＡＦ駆動用モータ１１３に出力する。
【００１５】
音情報処理部１３０は、集音装置であるマイク１３１と、集音されＡ／Ｄ変換された音情報を処理する音信号処理部１３２と、ノイズ低減処理部１３３と、を備える。
【００１６】
音信号処理部１３２は、マイク１３１により集音した音情報と、ＡＦ駆動用モータ１１３の動作情報と、の組み合わせにより、ＡＦ駆動用モータ１１３から発生する動作ノイズの発生タイミングを検出するノイズタイミング検出部１３５を備える。
【００１７】
図２は、ＡＦ駆動用モータ１１３から発生する動作ノイズの発生状況を説明する図である。図２に示すように、ＡＦ駆動用モータ１１３の動作時には、動作開始時から動作終了時まで連続して動作ノイズが発生する。ＡＦ駆動用モータ１１３の動作開始時及び動作終了時には、ＡＦ駆動系の質量や慣性力の影響を受ける関係から、大きな衝撃音（以下、衝撃ノイズという）Ｎ１、Ｎ３を発生する。また、動作開始後から動作終了直前までの間は、略一定した駆動音（以下、駆動ノイズという）Ｎ２を発生する。さらに、ＡＦ動作中にＡＦ駆動用モータ１１３が増速、減速される際も、衝撃ノイズ（不図示）を発生する。
なお、実際のＡＦ動作時においては、被写体の音声等の目的音に動作ノイズ（衝撃ノイズＮ１＋駆動ノイズＮ２＋衝撃ノイズＮ３）が重畳した音信号がマイク１３１から出力されるが、説明を簡略にするため、図２では、音声等の目的音は省略し、ＡＦ動作時に発生する動作ノイズのみを示している。
【００１８】
ノイズ低減処理部１３３は、ＡＦ動作時に発生する衝撃ノイズＮ１、駆動ノイズＮ２及び衝撃ノイズを低減処理する。
ノイズタイミング検出部１３５は、ＡＦ駆動用モータ１１３の動作情報と、マイク１３１により集音される音情報と、の組み合わせによって、動作ノイズの発生するタイミングを検出する。
ノイズタイミング検出部１３５による動作ノイズＮ（衝撃ノイズＮ１＋駆動ノイズＮ２＋衝撃ノイズＮ３）の発生タイミングの検出に採用されるＡＦ駆動用モータ１１３の動作情報としては、ＡＦ駆動時間範囲が用いられる。ＡＦ駆動時間範囲は、ＣＰＵ１５０にＡＦ駆動用モータ１１３に対する駆動制御信号を出力するように指示するＡＦ駆動コマンド及びＡＦエンコーダ１１２からの出力を用いて検出（推定）する。
【００１９】
ＡＦ駆動時間範囲は、カメラ１００における光学系の種類の異なりに対応して、ケース１又はケース２のように設定される。
図３は、ケース１の場合のＡＦ駆動時間範囲の設定に関する説明図である。図４は、ケース２の場合のＡＦ駆動時間範囲の設定に関する説明図である。
【００２０】
ケース１の場合（図３）
カメラ本体１６０からレンズ鏡筒１１０にＡＦ駆動コマンドが送られてＡＦ駆動用モータ１１３が動作開始する。この動作開始時刻ｔ１と同時にＡＦエンコーダ１１２からパルスの出力が開始する。マイク１３１には、動作開始時刻ｔ１と同時に、被写体の音声等の目的音に動作ノイズが重畳された音情報が集音され、動作ノイズＮを含む音情報がマイク１３１から出力されて、動作開始時刻ｔ１に衝撃ノイズＮ１が現れる。また、ＡＦ動作が終了すると、その動作終了時刻ｔ３と同時にＡＦエンコーダ１１２からのパルスの出力が停止し、動作終了時刻ｔ３と略同時にマイク１３１からの出力に衝撃ノイズＮ３が現れる。
ここで、ＡＦエンコーダ１１２からのパルスの出力開始及びパルスの出力停止のタイミングと衝撃ノイズＮ１、Ｎ３の出現タイミングとがずれる可能性があるため、ケース１の場合のＡＦ駆動時間範囲は、ｔ１からｔ３までの時間幅より少し広めのｔ１´からｔ３´に設定する。
【００２１】
ケース２の場合（図４）
カメラ本体１６０からレンズ鏡筒１１０にＡＦ駆動コマンドが送られてＡＦ駆動用モータ１１３が動作開始する。この動作開始時刻ｔ１から僅かに遅れた時刻から、マイク１３１に被写体の音声等の目的音に動作ノイズＮが重畳された音情報が集音され、動作ノイズＮを含む音情報がマイク１３１から出力されて、動作開始時刻ｔ１に衝撃ノイズＮ１が現れる。一方、ＡＦエンコーダ１１２からは、駆動方向の反転時においてＡＦ駆動系のギア列で起きるバックラッシュ等の影響を受けて、ＡＦ駆動用モータ１１３の動作開始時刻ｔ１よりも遅れた時刻ｔ２からパルスの出力が開始し、また、パルスの出力停止から僅かに遅れた時刻において、マイク１３１からの出力に衝撃ノイズＮ１が現れる。
このケース２の場合は、駆動コマンドが出力されるタイミングを動作開始時刻ｔ１とし、ＡＦエンコーダ１１２からのパルスの出力停止のタイミングを動作終了時刻ｔ３とした方が衝撃ノイズＮ１、Ｎ３の出現を正確に検出することが可能である。そこで、ケース２の場合のＡＦ駆動時間範囲は、ｔ１からｔ３までの時間幅より終了時刻を少し広めにとってｔ１からｔ３´に設定する。
【００２２】
なお、ＡＦ動作時においてマイク１３１から実際に出力される音信号は、目的音に動作ノイズＮが重畳した信号であるが、説明を簡略にするため、図３及び図４では、図２と同様に、音声等の目的音は省略し、動作ノイズＮのみを示している。
【００２３】
ノイズタイミング検出部１３５による動作ノイズＮの発生タイミングの検出に採用されるＡＦ駆動用モータ１１３の動作情報としてのＡＦ駆動時間範囲の検出は、上述したとおり、カメラ１００における光学系の種類や使用する信号出力の種類によって異なり、ケース１とケース２の２通りである。どちらのケースでも、ＡＦ駆動時間範囲の最初と最後に衝撃音が発生することが推測できる。しかし、例えばケース２の場合では、ＡＦ駆動コマンドが出力されてからカメラ内の通信および信号処理に要する時間、およびモータが駆動してから衝撃音が発生するまでの時間によってずれが生じる。さらに、ＡＦ駆動時間範囲を用いるだけでは、ＡＦ動作中にＡＦ駆動用モータ１１３を増速あるいは減速する場合に発生する衝撃ノイズＮ３の発生タイミングは検出することができない。
【００２４】
そのため、ノイズタイミング検出部１３５による動作ノイズＮの発生タイミングの検出には、ＡＦ駆動時間範囲に対して、さらにマイク１３１により集音される音情報を利用する。この音情報の利用形態について、図５から図８を参照しながら説明する。
【００２５】
図５は、ＡＦ動作中に集音される衝撃ノイズＮ１の音圧波形を示す図である。図６は、ＡＦ動作中に集音される音声等の目的音の音圧波形を示す図である。図７は、衝撃ノイズＮ１と音声等の目的音とが加算（重畳）された連続音の音圧レベルの変化を示す波形図である。図８は、衝撃ノイズＮ１と音声等の目的音が重畳された連続音の音圧差分の絶対値の変化を示す波形図である。
【００２６】
図５に示すように、衝撃ノイズＮ１は、図６に示す音声等の目的音と比べて、音圧差分が大きいが、これらを単に加算しただけでは、図７に示すように、衝撃ノイズＮ１の波形が音声等の目的音の波形の中に埋もれてしまう。
そこで、図８に示すような音圧差分の絶対値を求め、求めた音圧差分の絶対値が、所定の閾値以上であるか否かを判定して、音圧差分の絶対値が、所定の閾値以上の場合を衝撃ノイズＮ１と判断することにより、衝撃ノイズＮ１の発生タイミングを検知することが可能となる。
衝撃ノイズＮ３の発生タイミングもＮ１と同様に検知することができる。
【００２７】
図８に示す例においては、閾値を０．１パスカル（Ｐｓ）とし、閾値０．１Ｐｓ以上の音圧差分の絶対値を検知することにより、衝撃ノイズの発生するタイミングを検出する。
【００２８】
次に、図９から図１１に基づいて、ノイズタイミング検出部１３５により動作ノイズＮの発生タイミングが検出された場合におけるノイズ低減処理部１３３による動作ノイズの低減処理方法の詳細について説明する。
【００２９】
図９は、図２に示す各区間ＡからＦそれぞれから取得した周波数スペクトル図である。なお、本実施形態においてこれらの区間はオーバラップしていないが、互いに半分ずつオーバラップするように区間を設けてもよい。図１０は、区間Ｂにおける衝撃ノイズＮ１の低減処理方法を説明するための周波数スペクトル図である。図１１は、動作ノイズＮの発生している区間ＢからＥにおけるノイズの低減処理の様子を示す概略図である。
【００３０】
なお、図２及び図１１における区間Ｂは、前述したＡＦ駆動時間範囲で、ＡＦ動作開始時刻ｔ１に衝撃ノイズＮ１を発生する区間、区間Ａは区間Ｂの直前の区間、区間Ｄ、ＥはＡＦ動作終了時刻ｔ３に衝撃ノイズＮ１を発生する区間、区間Ｆは区間Ｅの直後の区間、区間ＢからＥは、駆動ノイズＮ２を発生する区間である。
【００３１】
まず、ノイズ低減処理部１３３による衝撃ノイズＮ１の低減処理について説明する。この衝撃ノイズＮ１の低減処理は、スペクトルの置き換えを基本としている。
図２に示すように、区間Ａの音声等の目的音と区間Ｂの音声等の目的音とは連続としており、ＡＦ動作時の動作ノイズ（Ｎ１＋Ｎ２＋Ｎ３）以外の音声等の目的音の成分は近似している。しかし、目的音は時間的に連続して変化しているため、区間Ｂのスペクトルを区間Ａのスペクトルに全面的に置き換えると、区間Ｂと区間Ｃの音声等の目的音の連続性が失われて、再生時に不自然な音になってしまう。
【００３２】
そこで、区間Ａのスペクトル及び区間Ｂのスペクトルを、図１０に示すように、それぞれ高周波成分ｆ３からｆ９と低周波成分ｆ１、ｆ２に分ける。そして、低周波成分ｆ１、ｆ２は置き換えることなく、高周波成分ｆ３からｆ９については、区間Ａのスペクトルと区間Ｂのスペクトルとを比較する。比較の結果、区間Ａの高周波成分スペクトルよりも区間Ｂの高周波成分スペクトルが大きい場合、区間Ｂの高周波成分スペクトルを区間Ａの高周波成分スペクトルに置き換える。これによって、図１１に示すように、区間Ｂのスペクトルは、区間Ａのスペクトルに近似する新しい第３の周波数スペクトルに置き換える。
また、上述と同様に、区間Ｅのスペクトルは、区間Ｆのスペクトルに近似する新しい第３の周波数スペクトルに置き換え、区間Ｄのスペクトルは、区間Ｃのスペクトルに近似する新しい第３の周波数スペクトルに置き換える。
区間Ｂの処理には区間Ｂの近傍で、かつＡＦ駆動音が含まれない区間Ａのスペクトルを使用し、同様の理由で区間Ｅの処理には区間Ｆのスペクトルを使用する。区間Ｄの近傍のスペクトルは区間Ｃと区間Ｅがあるが、区間Ｅには衝撃音が含まれるため、区間Ｃのスペクトルを使用する。
【００３３】
上記のように、区間Ａと区間Ｂ、区間Ｃと区間Ｄ及び区間Ｆと区間Ｅの高周波成分ｆ３ないしｆ９のスペクトルを比較して、区間Ｂ、区間Ｄ及び区間Ｅの高周波成分スペクトルが区間Ａ、区間Ｃ及び区間Ｆの高周波成分スペクトルより大きい場合、区間Ｂ、区間Ｄ及び区間Ｅの高周波成分スペクトルを区間Ａ、区間Ｃ及び区間Ｆの高周波成分スペクトル又はそれに近似する第３のスペクトルに置き換えることによって、区間Ｂと区間Ｃ及び区間Ｄと区間Ｅとに繋がる音声等の目的音の連続性を保ちつつ、衝撃ノイズＮ１、Ｎ３を低減することができる。
【００３４】
次に、ノイズ低減処理部１３３による区間Ｂから区間Ｅにおける駆動ノイズＮ２の低減処理について説明する。この駆動ノイズＮ２の低減処理は、周波数領域でのスペクトル減算法を基本としている。
例えば、予め記憶している動作ノイズ情報又は過去に集音した音情報から推定した動作ノイズ情報を利用して、動作ノイズが含まれるフレーム毎にスペクトル減算処理を行い、その後、ＩＦＦＴ処理により時間領域の音情報に変換する。これにより、区間Ｂから区間Ｅに含まれる駆動ノイズＮ２を低減処理することができる。
【００３５】
以上、本第１実施形態によると、以下の効果を有する。
（１）ＡＦ駆動用モータ１１３の動作情報と、マイク１３１により集音される音情報と、の組み合わせによって、ＡＦ動作の開始時及び終了時に発生する衝撃ノイズＮ１、Ｎ３のタイミングを検出する。そのため、例えば、撮影場所の周辺に衝撃ノイズに類似あるいは近似した音が発生しているような場合でも、それをノイズ発生タイミングであると誤検出するおそれがない。従って、衝撃ノイズ発生タイミングを正しく検出することが可能となり、目的音の劣化や消失等の音声品質を損なうことなく、衝撃ノイズＮ１、Ｎ３のみを適確に低減することができる。
（２）衝撃ノイズ発生時のスペクトルを、衝撃ノイズ発生前又は発生後の衝撃ノイズを含まないスペクトルに置き換えて衝撃ノイズを低減処理するに際して、音声等の目的音が持つ所定の周波数以下のスペクトルは置き換えず、所定の周波数以上のスペクトルのみを衝撃ノイズ発生前又は発生後のスペクトルと比較し、比較の結果、大きい場合のスペクトルを置き換える。そのため、音声等の目的音の連続性を保ちつつ、衝撃ノイズＮ１、Ｎ３を低減することができる。
【００３６】
次に、本発明の第２実施形態について説明する。
第１実施形態は、マイク１３１により集音される音情報等を利用して衝撃ノイズＮ１、Ｎ３を低減処理することを前提（必須）としている。しかし、衝撃ノイズＮ１、Ｎ３の低減処理は、音声等の目的音の品質の劣化を伴う。そのため、目的音に対して衝撃ノイズＮ１、Ｎ３が小さい時や、撮影場所の周辺が騒々しい時などは、衝撃ノイズＮ１、Ｎ３の低減を行う必要がない場合や、行わない方が好ましい場合がある。
【００３７】
第２実施形態は、上述のような環境条件等に応じて衝撃ノイズ低減処理の実行の要否を判断して、実際に低減処理が必要な場合や低減処理が好ましい場合に限り、衝撃ノイズの低減処理を行なう。この衝撃ノイズ低減処理の実行の要否の判断にも音情報を活用する。
図１２は、第２実施形態による衝撃ノイズ低減処理の実行の要否を判断するための動作フローを示すフローチャートである。
【００３８】
まず、ステップＳＴ１において、ノイズタイミング検出部１３５による動作ノイズの発生タイミングの検出により得た図７の波形を用いて、衝撃ノイズＮ１の発生区間の音圧の絶対値の最大値Ｐ１を求める（検出する）。
続いて、ステップＳＴ２において、動作ノイズの発生タイミングの検出により得た図８の波形を用いて、衝撃ノイズＮ１の発生区間の音圧差分の絶対値の最大値Ｄ１を求める（検出する）。
【００３９】
次に、ステップＳＴ３において、ノイズタイミング検出部１３５による動作ノイズの発生タイミングの検出により得た図７の波形を用いて、衝撃ノイズＮ１の発生直前の音圧の絶対値の最大値Ｐ０を求める（検出する）。
続いて、ステップＳＴ４において、動作ノイズの発生タイミングの検出により得た図８の波形を用いて、衝撃ノイズＮ１の発生直前の音圧差分の絶対値の最大値Ｄ０を求める（検出する）。
【００４０】
次に、ステップＳＴ５において、衝撃ノイズＮ１の発生区間の音圧の絶対値の最大値Ｐ１と衝撃ノイズＮ１の発生直前の音圧の絶対値の最大値Ｐ０とを比較する。比較の結果、Ｐ１＞Ｐ０の場合（ＹＥＳ）は、低減処理が必要と判断して、ステップＳＴ７に進み、Ｐ１＜Ｐ０の場合（ＮＯ）は、撮影場所の周辺が騒々しくて、衝撃ノイズＮ１が余り目立たない環境であると判断して、ステップＳＴ６に進む。
【００４１】
ステップＳＴ６においては、衝撃ノイズＮ１の発生区間の音圧差分の絶対値の最大値Ｄ１と衝撃ノイズＮ１の発生直前の音圧差分の絶対値の最大値Ｄ０×ｎとを比較する。ここで、ｎは、２以上のＤ０の倍数であって、ノイズ低減処理の強弱を撮影者によって調整できるように可変としている。
【００４２】
ステップＳＴ６での比較の結果、Ｄ１＞Ｄ０×ｎの場合（ＹＥＳ）は、衝撃ノイズＮ１の音圧差分の絶対値が異常に大きく、低減処理が必要と判断して、ステップＳＴ７に進み、Ｄ１＜Ｄ０×ｎの場合（ＮＯ）、衝撃ノイズＮ１が余り目立たない環境であり、且つ、衝撃ノイズＮ１の音圧差分の絶対値も小さいと判断して、ノイズ低減処理を行わずに終了する。
【００４３】
そして、ステップＳＴ７においては、衝撃ノイズＮ１の低減処理を実行する。この衝撃ノイズＮ１の低減処理は、第１実施形態において説明したと同様に、所定の周波数以下のスペクトルは置き換えず、所定の周波数以上のスペクトルを置き換えることにより行なわれる。
衝撃ノイズＮ３も同様に低減処理することができる。
【００４４】
以上の第２実施形態によると、第１実施形態による効果に加えて、以下の効果を有する。
（１）マイク１３１により集音された音情報から衝撃ノイズＮ１、Ｎ３の発生タイミングの音圧の絶対値及び音圧差分の絶対値と、衝撃ノイズＮ１、Ｎ３の発生タイミングの直前又は直後の音圧の絶対値及び音圧差分の絶対値と、を検出し、それら両種の絶対値を比較して低減処理の要否を判断している。そのため、音声等の目的音に対して衝撃ノイズＮ１、Ｎ３が小さい時や、撮影場所の周辺が騒々しい時などは、あえて低減処理を行わず、低減処理に伴う音声等の目的音の品質の劣化を抑制することができる。
【００４５】
以上、説明した実施形態に限定されることなく、以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。
（１）前述の実施形態では、ＡＦ駆動用モータ１１３の動作時に発生する衝撃ノイズＮ１、Ｎ３及び駆動ノイズＮ２の低減処理について説明したが、これに限らず、カメラ１００が備えるマルチセレクター（操作部）１２０を操作した時に発生するクリック音（ノイズ）を低減処理することも可能である。
この場合は、マルチセレクター１２０を操作すると、電気的な信号（操作情報）がＣＰＵ１５０に入力されるので、その信号の捕捉と、マイク１３１により集音した音情報と、により操作タイミングの検出が可能であり、検出したタイミングでクリック音（ノイズ）を適切に低減処理することができる。
（２）また、ズームエンコーダ１１１の駆動情報と、マイク１３１により集音した音情報と、によりズーム駆動用モータ（図示せず）の動作開始時及び動作終了時に発生する衝撃ノイズの発生タイミングを検出して、上述の第１実施形態と同様なノイズ低減処理を行なうこともできる。
（３）更に、前述の第２実施形態においては、衝撃ノイズの低減処理の要否の判断に、音圧の絶対値及び音圧差分の絶対値の最大値を用いたが、音圧の分散及び音圧差の分散を用いてもよい。この場合、比較するときの倍数は、適宜可変できるようにすることが好ましい。
なお、実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は以上説明した実施形態によって限定されることはない。
【符号の説明】
【００４６】
１００：撮像装置、１３１：マイク（集音装置）、１３３：ノイズ低減処理部、１３５：ノイズタイミング検出部、Ｎ：動作ノイズ（Ｎ１：衝撃ノイズ、Ｎ２：駆動ノイズ、Ｎ３：衝撃ノイズ）
【技術分野】
【０００１】
本発明は、撮影時に入力される音情報から動作ノイズを低減処理する撮像装置及び撮像装置のノイズ低減方法に関するものである。
【背景技術】
【０００２】
撮像装置において、オートフォーカスレンズの駆動部の動作開始時及び動作終了時に衝撃音が発生する。この衝撃音は動画撮影時に、動作ノイズとしてマイク等の集音装置により集音される。これらのノイズは、被写体の発する音声等の目的音に混入し、目的音の品質を損なうことがある。
このため、発生時間が所定の時間以下、且つ、パワーが所定の範囲内となる音を検出し、その音についてノイズ低減処理を行なう方法が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−７７７０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１によるノイズ低減処理の場合、集音装置により集音された音情報からのみ動作ノイズであると判定している。このため、例えば、撮影場所の周辺に衝撃音に近似した音が発生し、この音を集音したような場合も動作ノイズであると誤検出してノイズ低減処理が行われる。その結果、目的音の音質低下という問題がある。
【０００５】
本発明の課題は、動作ノイズのみを適確に低減することができる撮像装置及び撮像装置のノイズ低減方法を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、以下のような解決手段により前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。
【０００７】
請求項１に記載の発明は、集音装置（１３１）と、前記集音装置（１３１）により集音した音情報と、撮像装置（１００）内の駆動部（１１３）又は操作部（１２０）の動作情報と、の組み合わせにより前記駆動部（１１３）又は操作部（１２０）から発生する動作ノイズの発生タイミングを検出するノイズタイミング検出（１３５）と、前記ノイズタイミング検出（１３５）の検出結果に基づいて、前記動作ノイズの低減処理を行うノイズ低減処理部（１３３）と、を備えること、を特徴とする撮像装置（１００）である。
請求項２に記載の発明は、請求項１に記載の撮像装置（１００）であって、前記ノイズタイミング検出（１３５）は、前記集音装置（１３１）により集音された連続音圧サンプルの音圧差の情報と、前記駆動部（１１３）又は操作部（１２０）の動作情報と、の組み合わせにより動作ノイズの発生タイミングを検出すること、を特徴とする撮像装置（１００）である。
請求項３に記載の発明は、３請求項１または２に記載の撮像装置（１００）であって、前記ノイズタイミング検出（１３５）は、前記集音装置（１３１）により集音された連続音情報の音圧レベルと、連続音圧サンプルの音圧差の情報と、前記駆動部（１１３）又は操作部（１２０）の動作情報と、の組み合わせにより動作ノイズの発生タイミングを検出すること、を特徴とする撮像装置（１００）である。
請求項４に記載の発明は、請求項１から３のいずれか１項に記載の撮像装置（１００）であって、前記駆動部（１１３）又は操作部（１２０）の動作情報は、オートフォーカス駆動情報若しくはズーム駆動情報又は操作ボタンの操作情報であること、を特徴とする撮像装置（１００）である。
請求項５に記載の発明は、請求項１から４のいずれか１項に記載の撮像装置（１００）であって、前記ノイズ低減処理部（１３３）は、前記ノイズタイミング検出（１３５）が、ノイズタイミングであると検出された時より前又は後の第１の周波数スペクトルとノイズタイミングであると検出された時の第２の周波数スペクトルとを比較して求めた第３の周波数スペクトルを、前記第２の周波数スペクトルと置き換えること、を特徴とする撮像装置（１００）である。
請求項６に記載の発明は、請求項３に記載の撮像装置（１００）であって、前記ノイズタイミング検出（１３５）でノイズタイミングであると検出された時、前記音圧レベル及び音圧差を、非ノイズタイミング時の音圧レベル及び音圧差と比較し、その結果に基づいて、ノイズ低減処理を行なうか否かを判定すること、を特徴とする撮像装置（１００）である。
請求項７に記載の発明は、集音装置（１３１）と、前記集音装置（１３１）により集音した音情報と、撮像装置（１００）内の駆動部（１１３）又は操作部（１２０）の動作情報と、の組み合わせにより前記駆動部（１１３）又は操作部（１２０）から発生する動作ノイズの発生タイミングを検出するノイズタイミング検出（１３５）と、ノイズ低減処理部（１３３）と、を備え、前記ノイズタイミング検出（１３５）の検出結果に基づいて、前記動作ノイズの低減処理を行うこと、を特徴とする撮像装置（１００）のノイズ低減方法である。
請求項８に記載の発明は、請求項７に記載の撮像装置（１００）のノイズ低減方法であって、前記ノイズタイミング検出（１３５）は、前記集音装置（１３１）により集音された連続音圧サンプルの音圧差の情報と、前記駆動部（１１３）又は操作部（１２０）の動作情報と、の組み合わせにより動作ノイズの発生タイミングを検出すること、を特徴とする撮像装置（１００）のノイズ低減方法である。
請求項９に記載の発明は、請求項７または８に記載の撮像装置（１００）のノイズ低減方法であって、前記ノイズタイミング検出（１３５）は、前記集音装置（１３１）により集音された連続音情報の音圧レベルと、連続音圧サンプルの音圧差の情報と、前記駆動部（１１３）又は操作部（１２０）の動作情報と、の組み合わせにより動作ノイズの発生タイミングを検出すること、を特徴とする撮像装置（１００）のノイズ低減方法である。
請求項１０に記載の発明は、請求項７から９のいずれか１項に記載の撮像装置（１００）のノイズ低減方法であって、前記駆動部（１１３）又は操作部（１２０）の動作情報は、オートフォーカス駆動情報若しくはズーム駆動情報又は操作ボタンの操作情報であること、を特徴とする撮像装置（１００）のノイズ低減方法である。
請求項１１に記載の発明は、請求項７から１０のいずれか１項に記載の撮像装置（１００）のノイズ低減方法であって、前記ノイズ低減処理部（１３３）は、前記ノイズタイミング検出（１３５）が、ノイズタイミングであると検出された時より前又は後の第１の周波数スペクトルとノイズタイミングであると検出された時の第２の周波数スペクトルとを比較して求めた第３の周波数スペクトルを、前記第２の周波数スペクトルと置き換えること、を特徴とする撮像装置（１００）のノイズ低減方法である。
請求項１２に記載の発明は、請求項９に記載の撮像装置（１００）のノイズ低減方法であって、前記ノイズタイミング検出（１３５）でノイズタイミングであると検出された時、前記音圧レベル及び音圧差を、非ノイズタイミング時の音圧レベル及び音圧差と比較し、その結果に基づいて、ノイズ低減処理を行なうか否かを判定すること、を特徴とする撮像装置（１００）のノイズ低減方法である。
なお、符号を付して説明した構成は、適宜改良してもよく、また、少なくとも一部を他の構成物に代替してもよい。
【発明の効果】
【０００８】
本発明によれば、動作ノイズのみを適確に低減することができる撮像装置及び撮像装置のノイズ低減方法を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１実施形態の撮像装置の構成を示すブロック図である。
【図２】ＡＦ駆動用モータから発生する動作ノイズの発生状況を説明する図である。
【図３】ＡＦ駆動時間範囲の設定に関するケース１の場合の説明図である。
【図４】ＡＦ駆動時間範囲の設定に関するケース２の場合の説明図である。
【図５】ＡＦ動作中に集音される衝撃ノイズの音圧波形を示す図である。
【図６】ＡＦ動作中に集音される音声等の目的音の音圧波形を示す図である。
【図７】衝撃ノイズと音声等の目的音とが加算（重畳）された連続音の音圧レベルの変化を示す波形図である。
【図８】衝撃ノイズと音声等の目的音が重畳された連続音の音圧差分の絶対値の変化を示す波形図である。
【図９】図２に示す各区間から取得した周波数スペクトル図である。第１の処理対象音の区間Ｃのスペクトルを示す図である。
【図１０】衝撃ノイズ発生区間における衝撃ノイズの低減処理方法を説明するための周波数スペクトル図である。
【図１１】衝撃ノイズの発生している区間におけるノイズの低減処理の様子を示す概略図である。
【図１２】第２実施形態による衝撃ノイズ低減処理の実行の要否を判断するための動作フローを示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、図面等を参照して、本発明の実施形態について説明する。図１は、本発明の第１実施形態の撮像装置としてのカメラの構成を示すブロック図である。
【００１１】
図１に示すように、カメラ１００は、レンズ鏡筒１１０と、カメラ本体１６０と、を有する。
カメラ本体１６０の内部には、レンズ鏡筒１１０を通過した被写体光を撮像してＡ／Ｄ変換すると共に、画像処理して画像データを生成する画像処理部（図示省略）と、集音された音情報をＡ／Ｄ変換すると共に、ノイズ低減処理する音情報処理部１３０と、画像処理部で得られた画像データ及び音情報処理部１３０で得られた音声信号を記録する記録部１４０と、操作部としてのマルチセレクター１２０と、ＣＰＵ１５０と、を備える。
【００１２】
レンズ鏡筒１１０は、焦点調整レンズ（以下、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）レンズ、手振れ補正レンズ（以下、ＶＲ（Ｖｉｂｒａｔｉｏｎ Ｒｅｄｕｃｔｉｏｎ）レンズ、ズームレンズ等を備える光学系（図示省略）と、ズームエンコーダ１１１と、ＡＦエンコーダ１１２と、ＡＦ駆動用モータ１１３と、を備える。
【００１３】
ＡＦエンコーダ１１２は、光学系のＡＦレンズの位置を検出してＣＰＵ１５０に出力する。ＡＦ駆動用モータ１１３には、ＡＦレンズの位置を制御するための駆動制御信号がＣＰＵ１５０から入力され、その駆動制御信号に応じて、ＡＦレンズの位置が制御される。
【００１４】
ＣＰＵ１５０は、設定された撮像条件（例えば、絞り値、露出値等）に応じてレンズ鏡筒１１０を制御する。ＣＰＵ１５０は、ズームレンズ駆動部（図示省略）及びＡＦ駆動用モータ１１３を駆動する駆動制御信号を生成し、ズームレンズ駆動部及びＡＦ駆動用モータ１１３に出力する。
【００１５】
音情報処理部１３０は、集音装置であるマイク１３１と、集音されＡ／Ｄ変換された音情報を処理する音信号処理部１３２と、ノイズ低減処理部１３３と、を備える。
【００１６】
音信号処理部１３２は、マイク１３１により集音した音情報と、ＡＦ駆動用モータ１１３の動作情報と、の組み合わせにより、ＡＦ駆動用モータ１１３から発生する動作ノイズの発生タイミングを検出するノイズタイミング検出部１３５を備える。
【００１７】
図２は、ＡＦ駆動用モータ１１３から発生する動作ノイズの発生状況を説明する図である。図２に示すように、ＡＦ駆動用モータ１１３の動作時には、動作開始時から動作終了時まで連続して動作ノイズが発生する。ＡＦ駆動用モータ１１３の動作開始時及び動作終了時には、ＡＦ駆動系の質量や慣性力の影響を受ける関係から、大きな衝撃音（以下、衝撃ノイズという）Ｎ１、Ｎ３を発生する。また、動作開始後から動作終了直前までの間は、略一定した駆動音（以下、駆動ノイズという）Ｎ２を発生する。さらに、ＡＦ動作中にＡＦ駆動用モータ１１３が増速、減速される際も、衝撃ノイズ（不図示）を発生する。
なお、実際のＡＦ動作時においては、被写体の音声等の目的音に動作ノイズ（衝撃ノイズＮ１＋駆動ノイズＮ２＋衝撃ノイズＮ３）が重畳した音信号がマイク１３１から出力されるが、説明を簡略にするため、図２では、音声等の目的音は省略し、ＡＦ動作時に発生する動作ノイズのみを示している。
【００１８】
ノイズ低減処理部１３３は、ＡＦ動作時に発生する衝撃ノイズＮ１、駆動ノイズＮ２及び衝撃ノイズを低減処理する。
ノイズタイミング検出部１３５は、ＡＦ駆動用モータ１１３の動作情報と、マイク１３１により集音される音情報と、の組み合わせによって、動作ノイズの発生するタイミングを検出する。
ノイズタイミング検出部１３５による動作ノイズＮ（衝撃ノイズＮ１＋駆動ノイズＮ２＋衝撃ノイズＮ３）の発生タイミングの検出に採用されるＡＦ駆動用モータ１１３の動作情報としては、ＡＦ駆動時間範囲が用いられる。ＡＦ駆動時間範囲は、ＣＰＵ１５０にＡＦ駆動用モータ１１３に対する駆動制御信号を出力するように指示するＡＦ駆動コマンド及びＡＦエンコーダ１１２からの出力を用いて検出（推定）する。
【００１９】
ＡＦ駆動時間範囲は、カメラ１００における光学系の種類の異なりに対応して、ケース１又はケース２のように設定される。
図３は、ケース１の場合のＡＦ駆動時間範囲の設定に関する説明図である。図４は、ケース２の場合のＡＦ駆動時間範囲の設定に関する説明図である。
【００２０】
ケース１の場合（図３）
カメラ本体１６０からレンズ鏡筒１１０にＡＦ駆動コマンドが送られてＡＦ駆動用モータ１１３が動作開始する。この動作開始時刻ｔ１と同時にＡＦエンコーダ１１２からパルスの出力が開始する。マイク１３１には、動作開始時刻ｔ１と同時に、被写体の音声等の目的音に動作ノイズが重畳された音情報が集音され、動作ノイズＮを含む音情報がマイク１３１から出力されて、動作開始時刻ｔ１に衝撃ノイズＮ１が現れる。また、ＡＦ動作が終了すると、その動作終了時刻ｔ３と同時にＡＦエンコーダ１１２からのパルスの出力が停止し、動作終了時刻ｔ３と略同時にマイク１３１からの出力に衝撃ノイズＮ３が現れる。
ここで、ＡＦエンコーダ１１２からのパルスの出力開始及びパルスの出力停止のタイミングと衝撃ノイズＮ１、Ｎ３の出現タイミングとがずれる可能性があるため、ケース１の場合のＡＦ駆動時間範囲は、ｔ１からｔ３までの時間幅より少し広めのｔ１´からｔ３´に設定する。
【００２１】
ケース２の場合（図４）
カメラ本体１６０からレンズ鏡筒１１０にＡＦ駆動コマンドが送られてＡＦ駆動用モータ１１３が動作開始する。この動作開始時刻ｔ１から僅かに遅れた時刻から、マイク１３１に被写体の音声等の目的音に動作ノイズＮが重畳された音情報が集音され、動作ノイズＮを含む音情報がマイク１３１から出力されて、動作開始時刻ｔ１に衝撃ノイズＮ１が現れる。一方、ＡＦエンコーダ１１２からは、駆動方向の反転時においてＡＦ駆動系のギア列で起きるバックラッシュ等の影響を受けて、ＡＦ駆動用モータ１１３の動作開始時刻ｔ１よりも遅れた時刻ｔ２からパルスの出力が開始し、また、パルスの出力停止から僅かに遅れた時刻において、マイク１３１からの出力に衝撃ノイズＮ１が現れる。
このケース２の場合は、駆動コマンドが出力されるタイミングを動作開始時刻ｔ１とし、ＡＦエンコーダ１１２からのパルスの出力停止のタイミングを動作終了時刻ｔ３とした方が衝撃ノイズＮ１、Ｎ３の出現を正確に検出することが可能である。そこで、ケース２の場合のＡＦ駆動時間範囲は、ｔ１からｔ３までの時間幅より終了時刻を少し広めにとってｔ１からｔ３´に設定する。
【００２２】
なお、ＡＦ動作時においてマイク１３１から実際に出力される音信号は、目的音に動作ノイズＮが重畳した信号であるが、説明を簡略にするため、図３及び図４では、図２と同様に、音声等の目的音は省略し、動作ノイズＮのみを示している。
【００２３】
ノイズタイミング検出部１３５による動作ノイズＮの発生タイミングの検出に採用されるＡＦ駆動用モータ１１３の動作情報としてのＡＦ駆動時間範囲の検出は、上述したとおり、カメラ１００における光学系の種類や使用する信号出力の種類によって異なり、ケース１とケース２の２通りである。どちらのケースでも、ＡＦ駆動時間範囲の最初と最後に衝撃音が発生することが推測できる。しかし、例えばケース２の場合では、ＡＦ駆動コマンドが出力されてからカメラ内の通信および信号処理に要する時間、およびモータが駆動してから衝撃音が発生するまでの時間によってずれが生じる。さらに、ＡＦ駆動時間範囲を用いるだけでは、ＡＦ動作中にＡＦ駆動用モータ１１３を増速あるいは減速する場合に発生する衝撃ノイズＮ３の発生タイミングは検出することができない。
【００２４】
そのため、ノイズタイミング検出部１３５による動作ノイズＮの発生タイミングの検出には、ＡＦ駆動時間範囲に対して、さらにマイク１３１により集音される音情報を利用する。この音情報の利用形態について、図５から図８を参照しながら説明する。
【００２５】
図５は、ＡＦ動作中に集音される衝撃ノイズＮ１の音圧波形を示す図である。図６は、ＡＦ動作中に集音される音声等の目的音の音圧波形を示す図である。図７は、衝撃ノイズＮ１と音声等の目的音とが加算（重畳）された連続音の音圧レベルの変化を示す波形図である。図８は、衝撃ノイズＮ１と音声等の目的音が重畳された連続音の音圧差分の絶対値の変化を示す波形図である。
【００２６】
図５に示すように、衝撃ノイズＮ１は、図６に示す音声等の目的音と比べて、音圧差分が大きいが、これらを単に加算しただけでは、図７に示すように、衝撃ノイズＮ１の波形が音声等の目的音の波形の中に埋もれてしまう。
そこで、図８に示すような音圧差分の絶対値を求め、求めた音圧差分の絶対値が、所定の閾値以上であるか否かを判定して、音圧差分の絶対値が、所定の閾値以上の場合を衝撃ノイズＮ１と判断することにより、衝撃ノイズＮ１の発生タイミングを検知することが可能となる。
衝撃ノイズＮ３の発生タイミングもＮ１と同様に検知することができる。
【００２７】
図８に示す例においては、閾値を０．１パスカル（Ｐｓ）とし、閾値０．１Ｐｓ以上の音圧差分の絶対値を検知することにより、衝撃ノイズの発生するタイミングを検出する。
【００２８】
次に、図９から図１１に基づいて、ノイズタイミング検出部１３５により動作ノイズＮの発生タイミングが検出された場合におけるノイズ低減処理部１３３による動作ノイズの低減処理方法の詳細について説明する。
【００２９】
図９は、図２に示す各区間ＡからＦそれぞれから取得した周波数スペクトル図である。なお、本実施形態においてこれらの区間はオーバラップしていないが、互いに半分ずつオーバラップするように区間を設けてもよい。図１０は、区間Ｂにおける衝撃ノイズＮ１の低減処理方法を説明するための周波数スペクトル図である。図１１は、動作ノイズＮの発生している区間ＢからＥにおけるノイズの低減処理の様子を示す概略図である。
【００３０】
なお、図２及び図１１における区間Ｂは、前述したＡＦ駆動時間範囲で、ＡＦ動作開始時刻ｔ１に衝撃ノイズＮ１を発生する区間、区間Ａは区間Ｂの直前の区間、区間Ｄ、ＥはＡＦ動作終了時刻ｔ３に衝撃ノイズＮ１を発生する区間、区間Ｆは区間Ｅの直後の区間、区間ＢからＥは、駆動ノイズＮ２を発生する区間である。
【００３１】
まず、ノイズ低減処理部１３３による衝撃ノイズＮ１の低減処理について説明する。この衝撃ノイズＮ１の低減処理は、スペクトルの置き換えを基本としている。
図２に示すように、区間Ａの音声等の目的音と区間Ｂの音声等の目的音とは連続としており、ＡＦ動作時の動作ノイズ（Ｎ１＋Ｎ２＋Ｎ３）以外の音声等の目的音の成分は近似している。しかし、目的音は時間的に連続して変化しているため、区間Ｂのスペクトルを区間Ａのスペクトルに全面的に置き換えると、区間Ｂと区間Ｃの音声等の目的音の連続性が失われて、再生時に不自然な音になってしまう。
【００３２】
そこで、区間Ａのスペクトル及び区間Ｂのスペクトルを、図１０に示すように、それぞれ高周波成分ｆ３からｆ９と低周波成分ｆ１、ｆ２に分ける。そして、低周波成分ｆ１、ｆ２は置き換えることなく、高周波成分ｆ３からｆ９については、区間Ａのスペクトルと区間Ｂのスペクトルとを比較する。比較の結果、区間Ａの高周波成分スペクトルよりも区間Ｂの高周波成分スペクトルが大きい場合、区間Ｂの高周波成分スペクトルを区間Ａの高周波成分スペクトルに置き換える。これによって、図１１に示すように、区間Ｂのスペクトルは、区間Ａのスペクトルに近似する新しい第３の周波数スペクトルに置き換える。
また、上述と同様に、区間Ｅのスペクトルは、区間Ｆのスペクトルに近似する新しい第３の周波数スペクトルに置き換え、区間Ｄのスペクトルは、区間Ｃのスペクトルに近似する新しい第３の周波数スペクトルに置き換える。
区間Ｂの処理には区間Ｂの近傍で、かつＡＦ駆動音が含まれない区間Ａのスペクトルを使用し、同様の理由で区間Ｅの処理には区間Ｆのスペクトルを使用する。区間Ｄの近傍のスペクトルは区間Ｃと区間Ｅがあるが、区間Ｅには衝撃音が含まれるため、区間Ｃのスペクトルを使用する。
【００３３】
上記のように、区間Ａと区間Ｂ、区間Ｃと区間Ｄ及び区間Ｆと区間Ｅの高周波成分ｆ３ないしｆ９のスペクトルを比較して、区間Ｂ、区間Ｄ及び区間Ｅの高周波成分スペクトルが区間Ａ、区間Ｃ及び区間Ｆの高周波成分スペクトルより大きい場合、区間Ｂ、区間Ｄ及び区間Ｅの高周波成分スペクトルを区間Ａ、区間Ｃ及び区間Ｆの高周波成分スペクトル又はそれに近似する第３のスペクトルに置き換えることによって、区間Ｂと区間Ｃ及び区間Ｄと区間Ｅとに繋がる音声等の目的音の連続性を保ちつつ、衝撃ノイズＮ１、Ｎ３を低減することができる。
【００３４】
次に、ノイズ低減処理部１３３による区間Ｂから区間Ｅにおける駆動ノイズＮ２の低減処理について説明する。この駆動ノイズＮ２の低減処理は、周波数領域でのスペクトル減算法を基本としている。
例えば、予め記憶している動作ノイズ情報又は過去に集音した音情報から推定した動作ノイズ情報を利用して、動作ノイズが含まれるフレーム毎にスペクトル減算処理を行い、その後、ＩＦＦＴ処理により時間領域の音情報に変換する。これにより、区間Ｂから区間Ｅに含まれる駆動ノイズＮ２を低減処理することができる。
【００３５】
以上、本第１実施形態によると、以下の効果を有する。
（１）ＡＦ駆動用モータ１１３の動作情報と、マイク１３１により集音される音情報と、の組み合わせによって、ＡＦ動作の開始時及び終了時に発生する衝撃ノイズＮ１、Ｎ３のタイミングを検出する。そのため、例えば、撮影場所の周辺に衝撃ノイズに類似あるいは近似した音が発生しているような場合でも、それをノイズ発生タイミングであると誤検出するおそれがない。従って、衝撃ノイズ発生タイミングを正しく検出することが可能となり、目的音の劣化や消失等の音声品質を損なうことなく、衝撃ノイズＮ１、Ｎ３のみを適確に低減することができる。
（２）衝撃ノイズ発生時のスペクトルを、衝撃ノイズ発生前又は発生後の衝撃ノイズを含まないスペクトルに置き換えて衝撃ノイズを低減処理するに際して、音声等の目的音が持つ所定の周波数以下のスペクトルは置き換えず、所定の周波数以上のスペクトルのみを衝撃ノイズ発生前又は発生後のスペクトルと比較し、比較の結果、大きい場合のスペクトルを置き換える。そのため、音声等の目的音の連続性を保ちつつ、衝撃ノイズＮ１、Ｎ３を低減することができる。
【００３６】
次に、本発明の第２実施形態について説明する。
第１実施形態は、マイク１３１により集音される音情報等を利用して衝撃ノイズＮ１、Ｎ３を低減処理することを前提（必須）としている。しかし、衝撃ノイズＮ１、Ｎ３の低減処理は、音声等の目的音の品質の劣化を伴う。そのため、目的音に対して衝撃ノイズＮ１、Ｎ３が小さい時や、撮影場所の周辺が騒々しい時などは、衝撃ノイズＮ１、Ｎ３の低減を行う必要がない場合や、行わない方が好ましい場合がある。
【００３７】
第２実施形態は、上述のような環境条件等に応じて衝撃ノイズ低減処理の実行の要否を判断して、実際に低減処理が必要な場合や低減処理が好ましい場合に限り、衝撃ノイズの低減処理を行なう。この衝撃ノイズ低減処理の実行の要否の判断にも音情報を活用する。
図１２は、第２実施形態による衝撃ノイズ低減処理の実行の要否を判断するための動作フローを示すフローチャートである。
【００３８】
まず、ステップＳＴ１において、ノイズタイミング検出部１３５による動作ノイズの発生タイミングの検出により得た図７の波形を用いて、衝撃ノイズＮ１の発生区間の音圧の絶対値の最大値Ｐ１を求める（検出する）。
続いて、ステップＳＴ２において、動作ノイズの発生タイミングの検出により得た図８の波形を用いて、衝撃ノイズＮ１の発生区間の音圧差分の絶対値の最大値Ｄ１を求める（検出する）。
【００３９】
次に、ステップＳＴ３において、ノイズタイミング検出部１３５による動作ノイズの発生タイミングの検出により得た図７の波形を用いて、衝撃ノイズＮ１の発生直前の音圧の絶対値の最大値Ｐ０を求める（検出する）。
続いて、ステップＳＴ４において、動作ノイズの発生タイミングの検出により得た図８の波形を用いて、衝撃ノイズＮ１の発生直前の音圧差分の絶対値の最大値Ｄ０を求める（検出する）。
【００４０】
次に、ステップＳＴ５において、衝撃ノイズＮ１の発生区間の音圧の絶対値の最大値Ｐ１と衝撃ノイズＮ１の発生直前の音圧の絶対値の最大値Ｐ０とを比較する。比較の結果、Ｐ１＞Ｐ０の場合（ＹＥＳ）は、低減処理が必要と判断して、ステップＳＴ７に進み、Ｐ１＜Ｐ０の場合（ＮＯ）は、撮影場所の周辺が騒々しくて、衝撃ノイズＮ１が余り目立たない環境であると判断して、ステップＳＴ６に進む。
【００４１】
ステップＳＴ６においては、衝撃ノイズＮ１の発生区間の音圧差分の絶対値の最大値Ｄ１と衝撃ノイズＮ１の発生直前の音圧差分の絶対値の最大値Ｄ０×ｎとを比較する。ここで、ｎは、２以上のＤ０の倍数であって、ノイズ低減処理の強弱を撮影者によって調整できるように可変としている。
【００４２】
ステップＳＴ６での比較の結果、Ｄ１＞Ｄ０×ｎの場合（ＹＥＳ）は、衝撃ノイズＮ１の音圧差分の絶対値が異常に大きく、低減処理が必要と判断して、ステップＳＴ７に進み、Ｄ１＜Ｄ０×ｎの場合（ＮＯ）、衝撃ノイズＮ１が余り目立たない環境であり、且つ、衝撃ノイズＮ１の音圧差分の絶対値も小さいと判断して、ノイズ低減処理を行わずに終了する。
【００４３】
そして、ステップＳＴ７においては、衝撃ノイズＮ１の低減処理を実行する。この衝撃ノイズＮ１の低減処理は、第１実施形態において説明したと同様に、所定の周波数以下のスペクトルは置き換えず、所定の周波数以上のスペクトルを置き換えることにより行なわれる。
衝撃ノイズＮ３も同様に低減処理することができる。
【００４４】
以上の第２実施形態によると、第１実施形態による効果に加えて、以下の効果を有する。
（１）マイク１３１により集音された音情報から衝撃ノイズＮ１、Ｎ３の発生タイミングの音圧の絶対値及び音圧差分の絶対値と、衝撃ノイズＮ１、Ｎ３の発生タイミングの直前又は直後の音圧の絶対値及び音圧差分の絶対値と、を検出し、それら両種の絶対値を比較して低減処理の要否を判断している。そのため、音声等の目的音に対して衝撃ノイズＮ１、Ｎ３が小さい時や、撮影場所の周辺が騒々しい時などは、あえて低減処理を行わず、低減処理に伴う音声等の目的音の品質の劣化を抑制することができる。
【００４５】
以上、説明した実施形態に限定されることなく、以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。
（１）前述の実施形態では、ＡＦ駆動用モータ１１３の動作時に発生する衝撃ノイズＮ１、Ｎ３及び駆動ノイズＮ２の低減処理について説明したが、これに限らず、カメラ１００が備えるマルチセレクター（操作部）１２０を操作した時に発生するクリック音（ノイズ）を低減処理することも可能である。
この場合は、マルチセレクター１２０を操作すると、電気的な信号（操作情報）がＣＰＵ１５０に入力されるので、その信号の捕捉と、マイク１３１により集音した音情報と、により操作タイミングの検出が可能であり、検出したタイミングでクリック音（ノイズ）を適切に低減処理することができる。
（２）また、ズームエンコーダ１１１の駆動情報と、マイク１３１により集音した音情報と、によりズーム駆動用モータ（図示せず）の動作開始時及び動作終了時に発生する衝撃ノイズの発生タイミングを検出して、上述の第１実施形態と同様なノイズ低減処理を行なうこともできる。
（３）更に、前述の第２実施形態においては、衝撃ノイズの低減処理の要否の判断に、音圧の絶対値及び音圧差分の絶対値の最大値を用いたが、音圧の分散及び音圧差の分散を用いてもよい。この場合、比較するときの倍数は、適宜可変できるようにすることが好ましい。
なお、実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は以上説明した実施形態によって限定されることはない。
【符号の説明】
【００４６】
１００：撮像装置、１３１：マイク（集音装置）、１３３：ノイズ低減処理部、１３５：ノイズタイミング検出部、Ｎ：動作ノイズ（Ｎ１：衝撃ノイズ、Ｎ２：駆動ノイズ、Ｎ３：衝撃ノイズ）
【特許請求の範囲】
【請求項１】
集音装置と、
前記集音装置により集音した音情報と、撮像装置内の駆動部又は操作部の動作情報と、の組み合わせにより前記駆動部又は操作部から発生する動作ノイズの発生タイミングを検出するノイズタイミング検出部と、
前記ノイズタイミング検出部の検出結果に基づいて、前記動作ノイズの低減処理を行うノイズ低減処理部と、を備えること、
を特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置であって、
前記ノイズタイミング検出部は、
前記集音装置により集音された連続音圧サンプルの音圧差の情報と、前記駆動部又は操作部の動作情報と、の組み合わせにより動作ノイズの発生タイミングを検出すること、
を特徴とする撮像装置。
【請求項３】
請求項１または２に記載の撮像装置であって、
前記ノイズタイミング検出部は、
前記集音装置により集音された連続音情報の音圧レベルと、連続音圧サンプルの音圧差の情報と、前記駆動部又は操作部の動作情報と、の組み合わせにより動作ノイズの発生タイミングを検出すること、
を特徴とする撮像装置。
【請求項４】
請求項１から３のいずれか１項に記載の撮像装置であって、
前記駆動部又は操作部の動作情報は、
オートフォーカス駆動情報若しくはズーム駆動情報又は操作ボタンの操作情報であること、
を特徴とする撮像装置。
【請求項５】
請求項１から４のいずれか１項に記載の撮像装置であって、
前記ノイズ低減処理部は、
前記ノイズタイミング検出部が、ノイズタイミングであると検出された時より前又は後の第１の周波数スペクトルとノイズタイミングであると検出された時の第２の周波数スペクトルとを比較して求めた第３の周波数スペクトルを、前記第２の周波数スペクトルと置き換えること、
を特徴とする撮像装置。
【請求項６】
請求項３に記載の撮像装置であって、
前記ノイズタイミング検出部でノイズタイミングであると検出された時、前記音圧レベル及び音圧差を、非ノイズタイミング時の音圧レベル及び音圧差と比較し、その結果に基づいて、ノイズ低減処理を行なうか否かを判定すること、
を特徴とする撮像装置。
【請求項７】
集音装置と、
前記集音装置により集音した音情報と、撮像装置内の駆動部又は操作部の動作情報と、の組み合わせにより前記駆動部又は操作部から発生する動作ノイズの発生タイミングを検出するノイズタイミング検出部と、
ノイズ低減処理部と、を備え、
前記ノイズタイミング検出部の検出結果に基づいて、前記動作ノイズの低減処理を行うこと、
を特徴とする撮像装置のノイズ低減方法。
【請求項８】
請求項７に記載の撮像装置のノイズ低減方法であって、
前記ノイズタイミング検出部は、
前記集音装置により集音された連続音圧サンプルの音圧差の情報と、前記駆動部又は操作部の動作情報と、の組み合わせにより動作ノイズの発生タイミングを検出すること、
を特徴とする撮像装置のノイズ低減方法。
【請求項９】
請求項７または８に記載の撮像装置のノイズ低減方法であって、
前記ノイズタイミング検出部は、
前記集音装置により集音された連続音情報の音圧レベルと、連続音圧サンプルの音圧差の情報と、前記駆動部又は操作部の動作情報と、の組み合わせにより動作ノイズの発生タイミングを検出すること、
を特徴とする撮像装置のノイズ低減方法。
【請求項１０】
請求項７から９のいずれか１項に記載の撮像装置のノイズ低減方法であって、
前記駆動部又は操作部の動作情報は、
オートフォーカス駆動情報若しくはズーム駆動情報又は操作ボタンの操作情報であること、
を特徴とする撮像装置のノイズ低減方法。
【請求項１１】
請求項７から１０のいずれか１項に記載の撮像装置のノイズ低減方法であって、
前記ノイズ低減処理部は、
前記ノイズタイミング検出部が、ノイズタイミングであると検出された時より前又は後の第１の周波数スペクトルとノイズタイミングであると検出された時の第２の周波数スペクトルとを比較して求めた第３の周波数スペクトルを、前記第２の周波数スペクトルと置き換えること、
を特徴とする撮像装置のノイズ低減方法。
【請求項１２】
請求項９に記載の撮像装置のノイズ低減方法であって、
前記ノイズタイミング検出部でノイズタイミングであると検出された時、前記音圧レベル及び音圧差を、非ノイズタイミング時の音圧レベル及び音圧差と比較し、その結果に基づいて、ノイズ低減処理を行なうか否かを判定すること、
を特徴とする撮像装置のノイズ低減方法。
【請求項１】
集音装置と、
前記集音装置により集音した音情報と、撮像装置内の駆動部又は操作部の動作情報と、の組み合わせにより前記駆動部又は操作部から発生する動作ノイズの発生タイミングを検出するノイズタイミング検出部と、
前記ノイズタイミング検出部の検出結果に基づいて、前記動作ノイズの低減処理を行うノイズ低減処理部と、を備えること、
を特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置であって、
前記ノイズタイミング検出部は、
前記集音装置により集音された連続音圧サンプルの音圧差の情報と、前記駆動部又は操作部の動作情報と、の組み合わせにより動作ノイズの発生タイミングを検出すること、
を特徴とする撮像装置。
【請求項３】
請求項１または２に記載の撮像装置であって、
前記ノイズタイミング検出部は、
前記集音装置により集音された連続音情報の音圧レベルと、連続音圧サンプルの音圧差の情報と、前記駆動部又は操作部の動作情報と、の組み合わせにより動作ノイズの発生タイミングを検出すること、
を特徴とする撮像装置。
【請求項４】
請求項１から３のいずれか１項に記載の撮像装置であって、
前記駆動部又は操作部の動作情報は、
オートフォーカス駆動情報若しくはズーム駆動情報又は操作ボタンの操作情報であること、
を特徴とする撮像装置。
【請求項５】
請求項１から４のいずれか１項に記載の撮像装置であって、
前記ノイズ低減処理部は、
前記ノイズタイミング検出部が、ノイズタイミングであると検出された時より前又は後の第１の周波数スペクトルとノイズタイミングであると検出された時の第２の周波数スペクトルとを比較して求めた第３の周波数スペクトルを、前記第２の周波数スペクトルと置き換えること、
を特徴とする撮像装置。
【請求項６】
請求項３に記載の撮像装置であって、
前記ノイズタイミング検出部でノイズタイミングであると検出された時、前記音圧レベル及び音圧差を、非ノイズタイミング時の音圧レベル及び音圧差と比較し、その結果に基づいて、ノイズ低減処理を行なうか否かを判定すること、
を特徴とする撮像装置。
【請求項７】
集音装置と、
前記集音装置により集音した音情報と、撮像装置内の駆動部又は操作部の動作情報と、の組み合わせにより前記駆動部又は操作部から発生する動作ノイズの発生タイミングを検出するノイズタイミング検出部と、
ノイズ低減処理部と、を備え、
前記ノイズタイミング検出部の検出結果に基づいて、前記動作ノイズの低減処理を行うこと、
を特徴とする撮像装置のノイズ低減方法。
【請求項８】
請求項７に記載の撮像装置のノイズ低減方法であって、
前記ノイズタイミング検出部は、
前記集音装置により集音された連続音圧サンプルの音圧差の情報と、前記駆動部又は操作部の動作情報と、の組み合わせにより動作ノイズの発生タイミングを検出すること、
を特徴とする撮像装置のノイズ低減方法。
【請求項９】
請求項７または８に記載の撮像装置のノイズ低減方法であって、
前記ノイズタイミング検出部は、
前記集音装置により集音された連続音情報の音圧レベルと、連続音圧サンプルの音圧差の情報と、前記駆動部又は操作部の動作情報と、の組み合わせにより動作ノイズの発生タイミングを検出すること、
を特徴とする撮像装置のノイズ低減方法。
【請求項１０】
請求項７から９のいずれか１項に記載の撮像装置のノイズ低減方法であって、
前記駆動部又は操作部の動作情報は、
オートフォーカス駆動情報若しくはズーム駆動情報又は操作ボタンの操作情報であること、
を特徴とする撮像装置のノイズ低減方法。
【請求項１１】
請求項７から１０のいずれか１項に記載の撮像装置のノイズ低減方法であって、
前記ノイズ低減処理部は、
前記ノイズタイミング検出部が、ノイズタイミングであると検出された時より前又は後の第１の周波数スペクトルとノイズタイミングであると検出された時の第２の周波数スペクトルとを比較して求めた第３の周波数スペクトルを、前記第２の周波数スペクトルと置き換えること、
を特徴とする撮像装置のノイズ低減方法。
【請求項１２】
請求項９に記載の撮像装置のノイズ低減方法であって、
前記ノイズタイミング検出部でノイズタイミングであると検出された時、前記音圧レベル及び音圧差を、非ノイズタイミング時の音圧レベル及び音圧差と比較し、その結果に基づいて、ノイズ低減処理を行なうか否かを判定すること、
を特徴とする撮像装置のノイズ低減方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−１８５２６８（Ｐ２０１２−１８５２６８Ａ）
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願番号】特願２０１１−４７３８３（Ｐ２０１１−４７３８３）
【出願日】平成２３年３月４日（２０１１．３．４）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願日】平成２３年３月４日（２０１１．３．４）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]