音声信号処理装置、音声信号処理方法及びプログラム
【課題】機械音スペクトルを予め測定することなく、録音時に駆動装置の動作に伴って外部音声に混入する作動音を適切に低減する。
【解決手段】音声を収音して第１、第２の音声信号ｘＬ、ｘＲを出力する第１、第２のマイクロホンと、前記第１、第２の音声信号ｘＬ、ｘＲを第１の音声スペクトル信号ＸＬ、ＸＲに変換する第１、第２の周波数変換部と、作動音を発生する発音体と前記第１及び第２のマイクロホンとの相対位置関係に基づいて、前記第１及び第２の音声スペクトル信号ＸＬ、ＸＲを演算することにより、前記作動音を表す作動音スペクトル信号Ｚを推定する作動音推定部と、前記第１及び第２の音声スペクトル信号ＸＬ、ＸＲから、前記推定された作動音スペクトル信号Ｚを低減する作動音低減部と、を備える、音声信号処理装置が提供される。
【解決手段】音声を収音して第１、第２の音声信号ｘＬ、ｘＲを出力する第１、第２のマイクロホンと、前記第１、第２の音声信号ｘＬ、ｘＲを第１の音声スペクトル信号ＸＬ、ＸＲに変換する第１、第２の周波数変換部と、作動音を発生する発音体と前記第１及び第２のマイクロホンとの相対位置関係に基づいて、前記第１及び第２の音声スペクトル信号ＸＬ、ＸＲを演算することにより、前記作動音を表す作動音スペクトル信号Ｚを推定する作動音推定部と、前記第１及び第２の音声スペクトル信号ＸＬ、ＸＲから、前記推定された作動音スペクトル信号Ｚを低減する作動音低減部と、を備える、音声信号処理装置が提供される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号処理装置、音声信号処理方法及びプログラムに関する。
【背景技術】
【０００２】
デジタルカメラ、ビデオカメラなどの動画撮像機能を備えた装置は、動画撮像中にマイクロホンにより装置周辺の音声（外部音声）を収音し、当該音声を動画とともに記録する。かかる動画撮像中には、ズーム動作、オートフォーカス動作等の撮像動作に伴い、撮像光学系を駆動させる駆動装置（ズームモータ、フォーカスモータ等）から、機械音が発生する。この機械音は、ユーザが所望する外部音声に雑音として混入して、ともに記録されてしまう。従って、音声付きの動画撮像機能を有する装置では、動画撮像中のズーム動作等に伴う機械音（ズーム音等）を適切に低減し、ユーザが所望する外部音声のみを記録することが望まれている。
【０００３】
例えば特許文献１では、ズーム動作に伴うモータ音の機械音スペクトルを実際に測定して、テンプレートとして記憶部に予め記憶しておき、ズーム動作時には、入力音声のスペクトルから上記機械音スペクトルのテンプレートを減算することで、ズーム音を低減している。また、特許文献２には、外部音声を収録するためのマイクロホンの他に、主として機械音を収録するためのノイズ用マイクロホンを利用して、機械音を低減することが提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２７９１８５号公報
【特許文献１】特開２００９−２７６５２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記ズームモータ等の駆動装置や、該駆動装置が設置された撮像装置には、個体差が存在するので、モータ音等の機械音も、装置ごとにばらつきが生じる。さらには、同一の装置においても、駆動装置の動作ごとに機械音に変化が生じ得る。
【０００６】
従って、上記特許文献１に記載のように、固定的な機械音スペクトルのテンプレートを用いて機械音を一律に低減する方法では、上記個々の装置ごとの機械音のばらつきや、駆動装置の動作ごとの機械音の変化に対応することができない。例えば、数十台のカメラを用いて測定した平均的な機械音スペクトルのテンプレートを利用する場合には、個々の装置の機械音のばらつきに対応できないので、個々のカメラで十分な機械音低減効果が得られない。一方、上記機械音スペクトルのテンプレートを、全てのカメラについて個々に調整する場合には、調整コストが増大するため、現実的ではない。
【０００７】
また、上記特許文献２に記載のように、音声録音用マイクロホン以外にノイズ用マイクロホンを別途設置する方法では、筐体内の適切な位置にノイズ用マイクロホンを配置する必要がある。しかし、小型化が進むデジタルカメラなどでは、適切な位置にノイズ用マイクロホンを配置することは難しいので、機械音を十分に低減することができない。
【０００８】
そこで、本発明は、上記事情に鑑みてなされたものであり、本発明の目的とするところは、機械音スペクトルを予め測定することなく、録音時に駆動装置等の発音体の動作に伴って外部音声に混入する作動音を適切に低減することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明のある観点によれば、音声を収音して第１の音声信号ｘＬを出力する第１のマイクロホンと、前記音声を収音して第２の音声信号ｘＲを出力する第２のマイクロホンと、前記第１の音声信号ｘＬを第１の音声スペクトル信号ＸＬに変換する第１の周波数変換部と、前記第２の音声信号ｘＲを第２の音声スペクトル信号に変換する第２の周波数変換部と、作動音を発生する発音体と前記第１及び第２のマイクロホンとの相対位置関係に基づいて、前記第１及び第２の音声スペクトル信号ＸＬ、ＸＲを演算することにより、前記作動音を表す作動音スペクトル信号Ｚを推定する作動音推定部と、前記第１及び第２の音声スペクトル信号ＸＬ、ＸＲから、前記推定された作動音スペクトル信号Ｚを低減する作動音低減部と、を備える、音声信号処理装置が提供される。
【００１０】
前記発音体は、駆動装置であり、前記作動音は、前記駆動装置の動作時に発生する機械音であり、前記作動音推定部は、前記作動音スペクトル信号として、前記機械音を表す機械音スペクトル信号Ｚを推定してもよい。
前記作動音推定部は、前記駆動装置の方向以外から前記第１及び第２のマイクロホンに到来する音声成分を減衰させるように、前記第１及び第２の音声スペクトル信号を演算することにより、前記機械音スペクトル信号Ｚを前記駆動装置の動作中に動的に推定するようにしてもよい。
【００１１】
前記第１又は第２の音声スペクトル信号ＸＬ、ＸＲの周波数成分ごとに、前記駆動装置の動作開始前後における前記第１又は第２の音声スペクトル信号ＸＬ、ＸＲの周波数特性の差分ｄＸに基づいて、前記推定された機械音スペクトル信号Ｚを補正する機械音補正部をさらに備えるようにしてもよい。
【００１２】
前記機械音補正部は、前記第１の音声スペクトル信号ＸＬの周波数成分ごとに、前記駆動装置の動作開始前後における前記第１の音声スペクトル信号ＸＬの周波数特性の差分ｄＸＬに基づいて、第１の補正係数ＨＬを算出する第１の機械音補正部と、前記第２の音声スペクトル信号ＸＲの周波数成分ごとに、前記駆動装置の動作開始前後における前記第２の音声スペクトル信号ＸＲの周波数特性の差分ｄＸＲに基づいて、第２の補正係数ＨＲを算出する第２の機械音補正部と、を含み、前記作動音低減部は、前記推定された機械音スペクトル信号Ｚに前記第１の補正係数ＨＬを乗算した信号を、前記第１の音声スペクトル信号ＸＬから低減する第１の機械音低減部と、前記推定された機械音スペクトル信号Ｚに前記第２の補正係数ＨＲを乗算した信号を、前記第２の音声スペクトル信号ＸＲから低減する第２の機械音低減部と、を含むようにしてもよい。
【００１３】
前記機械音補正部は、前記駆動装置が動作する度に、前記駆動装置の動作開始前後における前記第１又は第２の音声スペクトル信号ＸＬ、ＸＲの周波数特性の差分ｄＸに基づいて、前記推定された機械音スペクトル信号Ｚを補正するための補正係数Ｈを更新するようにしてもよい。
【００１４】
前記駆動装置が動作したときに、前記駆動装置の動作開始前後における前記第１又は第２の音声スペクトル信号ＸＬ、ＸＲの周波数特性の比較結果、及び、前記駆動装置の動作中における前記第１又は第２の音声スペクトル信号ＸＬ、ＸＲの周波数特性の比較結果に基づいて、前記駆動装置の動作開始前後における前記外部音声の変化度を判定し、前記外部音声の変化度に応じて、前記補正係数Ｈを更新するか否かを判断し、前記補正係数Ｈを更新すると判断した場合にのみ、前記差分ｄＸに基づいて前記補正係数Ｈを更新するようにしてもよい。
【００１５】
前記機械音補正部は、前記駆動装置が動作したときに、前記第１若しくは第２の音声信号ｘＬ、ｘＲのレベル又は音声スペクトル信号ｘＬ、ｘＲのレベルに応じて、前記差分ｄＸに基づく前記補正係数Ｈの更新量を制御するようにしてもよい。
【００１６】
前記機械音の平均的なスペクトルを表す平均機械音スペクトル信号Ｔｚを記憶する記憶部と、前記音声信号処理装置の周囲の音源環境に応じて、前記推定された機械音スペクトル信号Ｚ又は前記平均機械音スペクトル信号Ｔｚのうちのいずれか一方を選択する機械音選択部をさらに備え、前記作動音低減部は、前記第１及び第２の音声スペクトル信号ＸＬ、ＸＲから、前記機械音選択部により選択された機械音スペクトル信号を低減するようにしてもよい。
【００１７】
前記機械音選択部は、前記第１若しくは第２の音声信号ｘＬ、ｘＲのレベルに基づいて、前記音声信号処理装置の周囲の音源環境を表す特徴量を算出し、前記特徴量に基づいて、前記推定された機械音スペクトル信号Ｚ又は前記平均機械音スペクトル信号Ｔｚのうちのいずれか一方を選択するようにしてもよい。
【００１８】
前記機械音選択部は、前記第１の音声スペクトル信号ＸＬ、前記第２の音声スペクトル信号ＸＲの相関関係に基づいて、前記音声信号処理装置の周囲の音源環境を表す特徴量を算出し、前記特徴量に基づいて、前記推定された機械音スペクトル信号Ｚ又は前記平均機械音スペクトル信号Ｔｚのうちのいずれか一方を選択するようにしてもよい。
【００１９】
前記機械音選択部は、前記推定された機械音スペクトル信号Ｚのレベルに基づいて、前記音声信号処理装置の周囲の音源環境を表す特徴量を算出し、前記特徴量に基づいて、前記推定された機械音スペクトル信号Ｚ又は前記平均機械音スペクトル信号Ｔｚのうちのいずれか一方を選択するようにしてもよい。
【００２０】
前記音声信号処理装置は、動画の撮像中に前記動画とともに前記外部音声を記録する機能を有する撮像装置に設けられ、前記駆動装置は、前記撮像装置の筐体内に設けられ、前記撮像装置の撮像光学系を機械的に移動させるモータであるようにしてもよい。
【００２１】
また、上記課題を解決するために、本発明の別の観点によれば、音声を収音する第１のマイクロホンから出力される第１の音声信号ｘＬを第１の音声スペクトル信号ＸＬに変換するとともに、前記音声を収音する第２のマイクロホンから出力される第２の音声信号ｘＲを第２の音声スペクトル信号ＸＲに変換するステップと、作動音を発生する発音体と、前記第１及び第２のマイクロホンとの相対位置関係に基づいて、前記第１及び第２の音声スペクトル信号ＸＬ、ＸＲを演算することにより、前記作動音を表す作動音スペクトル信号Ｚを推定するステップと、前記第１及び第２の音声スペクトル信号ＸＬ、ＸＲから、前記推定された作動音スペクトル信号Ｚを低減するステップと、を含む、音声信号処理方法が提供される。
【００２２】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、音声を収音する第１のマイクロホンから出力される第１の音声信号ｘＬを第１の音声スペクトル信号ＸＬに変換するとともに、前記音声を収音する第２のマイクロホンから出力される第２の音声信号ｘＲを第２の音声スペクトル信号ＸＲに変換するステップと、作動音を発生する発音体と、前記第１及び第２のマイクロホンとの相対位置関係に基づいて、前記第１及び第２の音声スペクトル信号ＸＬ、ＸＲを演算することにより、前記作動音を表す作動音スペクトル信号Ｚを推定するステップと、前記第１及び第２の音声スペクトル信号ＸＬ、ＸＲから、前記推定された作動音スペクトル信号Ｚを低減するステップと、を実行させるためのプログラムが提供される。また、当該プログラムが記録された、コンピュータ読み取り可能な記憶媒体が提供される。
【００２３】
上記構成により、外部音声収録用の複数のマイクロホンと、機械音の発生源である駆動装置等の発音体との相対位置関係を利用して、当該複数のマイクロホンから得られる２系統の音声スペクトル信号を適切に演算する、これにより、発音体の動作に伴って外部音声に混入する機械音等の作動音を録音時に動的に推定できる。従って、予め測定した作動音スペクトルのテンプレートを用いることなく、実際の録音時に、個々の装置ごと及び動作ごとに作動音を正確に推定して、低減することができる。
【発明の効果】
【００２４】
以上説明したように本発明によれば、機械音スペクトルを予め測定することなく、録音時に駆動装置等の発音体の動作に伴って外部音声に混入する作動音を適切に低減できる。
【図面の簡単な説明】
【００２５】
【図１】本発明の第１の実施形態に係る音声信号処理装置が適用されたデジタルカメラのハードウェア構成を示すブロック図である。
【図２】同実施形態に係る音声信号処理装置の機能構成を示すブロック図である。
【図３】同実施形態に係る機械音推定部の構成を示すブロック図である。
【図４】同実施形態に係るデジタルカメラを示す正面図及び上面図である。
【図５】同実施形態に係るステレオマイクロホンに対する音声の入力方向と、音声信号の出力エネルギーの特性との関係を示す説明図である。
【図６】同実施形態に係る機械音推定部の動作を示すフローチャートである。
【図７】同実施形態に係る機械音補正部の構成を示すブロック図である。
【図８】同実施形態に係る実際の機械音スペクトルと推定機械音スペクトルを示す波形図である。
【図９】同実施形態に係る音声信号を示す波形図である。
【図１０】同実施形態に係る実際の機械音スペクトルと推定機械音スペクトルの差分を示す波形図である。
【図１１】同実施形態に係る機械音補正部の基本動作を示すフローチャートである。
【図１２】同実施形態に係る機械音補正部の動作タイミングを示すタイミングチャートである。
【図１３】同実施形態に係る機械音補正部の全体動作を示すフローチャートである。
【図１４】図１３中の基本処理のサブルーチンを示すフローチャートである
【図１５】図１３中の処理Ａのサブルーチンを示すフローチャートである。
【図１６】図１３中の処理Ｂのサブルーチンを示すフローチャートである。
【図１７】同実施形態に係る機械音低減部の構成を示すブロック図である。
【図１８】同実施形態に係る機械音低減部の動作を示すフローチャートである。
【図１９】図１９中の抑圧係数ｇの算出処理のサブルーチンを示すフローチャートである。
【図２０】本発明の第２の実施形態に係る音声信号の変化を示す波形図である。
【図２１】同実施形態に係る機械音の特徴を示す説明図である。
【図２２】同実施形態に係る機械音の周波数帯域が低域である場合の比較処理を示す説明図である。
【図２３】同実施形態に係る機械音の周波数帯域が中・高域である場合の比較処理を示す説明図である。
【図２４】同実施形態に係る機械音の周波数帯域が全域である場合の比較処理を示す説明図である。
【図２５】同実施形態に係る機械音補正部の動作タイミングを示すタイミングチャートである。
【図２６】図１３中の処理Ｂのサブルーチンを示すフローチャートである。
【図２７】図２６中の変化度ｄの算出処理のサブルーチンを示すフローチャートである。
【図２８】本発明の第３の実施形態に係る機械音の低減量を模式的に示す説明図である。
【図２９】図１３中の基本処理のサブルーチンを示すフローチャートである。
【図３０】図１３中の処理Ａのサブルーチンを示すフローチャートである。
【図３１】図１３中の処理Ｂのサブルーチンを示すフローチャートである。
【図３２】同実施形態に係る入力音声の平均音量Ｅａと平滑化係数ｒ＿ｓｍの関係を例示する説明図である。
【図３３】本発明の第４の実施形態に係る音声信号処理装置の機能構成を示すブロック図である。
【図３４】同実施形態に係る機械音補正部の基本動作を示すフローチャートである。
【図３５】図１３中の処理Ｂのサブルーチンを示すフローチャートである。
【図３６】同実施形態に係る機械音選択部の構成を示すブロック図である。
【図３７】同実施形態に係る機械音選択部の動作を示すフローチャートである。
【図３８】同実施形態に係る機械音選択部の動作タイミングを示すタイミングチャートである。
【図３９】同実施形態に係る機械音選択部の全体動作を示すフローチャートである。
【図４０】図３９中の処理Ｃのサブルーチンを示すフローチャートである。
【図４１】図３９中の処理Ｄのサブルーチンを示すフローチャートである。
【図４２】本発明の第５の実施形態に係る音声信号処理装置の機能構成を示すブロック図である。
【図４３】同実施形態に係る２つのマイクロホン間の相関を示す説明図である
【図４４】同実施形態に係る機械音スペクトルを適切に推定できる場合の相関を示す説明図である。
【図４５】同実施形態に係る機械音スペクトルを適切に推定できない場合の相関を示す説明図である。
【図４６】同実施形態に係る機械音選択部の動作を示すフローチャートである。
【図４７】同実施形態に係る図３９中の処理Ｃのサブルーチンを示すフローチャートである。
【図４８】同実施形態に係る図３９中の処理Ｄのサブルーチンを示すフローチャートである。
【図４９】本発明の第６の実施形態に係る音声信号処理装置の機能構成を示すブロック図である。
【発明を実施するための形態】
【００２６】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２７】
なお、説明は以下の順序で行うものとする。
１．第１の実施の形態
１．１．機械音低減方法の概要
１．２．音声信号処理装置の構成
１．２．１．音声信号処理装置のハードウェア構成
１．２．２．音声信号処理装置の機能構成
１．３．機械音推定部の詳細
１．３．１．機械音推定部の構成
１．３．１．機械音スペクトル推定の原理
１．３．２．機械音スペクトル推定の動作
１．４．機械音補正部の詳細
１．４．１．機械音補正部の構成
１．４．２．機械音補正の概念
１．４．２．機械音補正の基本動作
１．４．３．機械音補正の詳細動作
１．５．機械音低減部の詳細
１．５．１．機械音低減部の構成
１．５．２．機械音低減部の動作
２．第２の実施の形態
２．１．機械音補正の概念
２．２．機械音補正の動作
３．第３の実施の形態
３．１．機械音補正の概念
３．２．機械音補正の動作
４．第４の実施の形態
４．１．機械音低減方法の概要
４．２．音声信号処理装置の機能構成
４．３．機械音補正部の詳細
４．３．１．機械音選択部の構成
４．３．２．機械音選択の基本動作
４．３．４．機械音選択の詳細動作
４．４．機械音選択部の詳細
４．４．１．機械音選択の概念
４．４．２．機械音選択の基本動作
４．４．３．機械音選択の詳細動作
５．第５の実施の形態
５．１．音声信号処理装置の機能構成
５．２．機械音選択の原理
５．３．機械音選択の基本動作
５．４．機械音選択の詳細動作
６．第６の実施の形態
６．１．音声信号処理装置の機能構成
６．２．機械音選択部の詳細
７．まとめ
【００２８】
＜１．第１の実施の形態＞
［１．１．機械音低減方法の概要］
まず、本発明の第１の実施形態に係る音声信号処理装置及び方法による機械音低減方法の概要について説明する。
【００２９】
本実施形態に係る音声信号処理装置及び方法は、録音機器において、該録音機器に内蔵された発音体の動作に伴い発生する雑音（作動音）を低減する技術に関する。特に、本実施形態では、動画撮像機能を有する撮像装置において、動画を撮像しながら周辺音声を録音するときに、撮像装置に内蔵された駆動装置の撮像動作に伴って生じる機械的な雑音（機械音）を低減対象とする。
【００３０】
ここで、駆動装置は、撮像光学系を用いた撮像動作を行うために撮像装置に内蔵された駆動装置であり、例えば、ズームレンズを移動させるズームモータや、フォーカスレンズを移動させるフォーカスモータ、絞り又はシャッターを制御する駆動機構などを含む。また、撮像動作に伴って生じる機械音は、例えば、上記ズームモータの駆動音（ズーム音）、上記フォーカスモータの駆動音（フォーカス音）などの比較的長時間の駆動音であるが、絞り音やシャッター音などの瞬間的な駆動音であってもよい。以下では、音声信号処理装置が、動画撮像機能を有する小型のデジタルカメラであり、機械音が、該デジタルカメラにおける光学ズーム動作に伴って生ずるズーム音である例について説明する。しかし、本発明の音声信号処理装置及び機械音は、かかる例に限定されない。
【００３１】
デジタルカメラによる撮像及び録音中に、ユーザがズーム操作を行うと、該カメラの内部でズームモータが駆動してズーム音が発生する。すると、デジタルカメラのマイクロホンは、ユーザが録音を所望するカメラ周辺の音声（例えば、環境音、人の話し声など、マイクロホンに収音される任意の音声を含む。以下「所望音」という。）のみならず、カメラ内部で発生したズーム音も収音してしまう。このため、所望音にズーム音が雑音として混入した状態で録音されてしまうので、当該録音された音声を再生したときに、所望音に混入したズーム音がユーザにとって耳障りとなる。例えば、所望音の周波数帯域は１〜４ｋＨｚの範囲に多く分布し、ズーム音等の機械音の周波数帯域は概ね５〜１０ｋＨｚの範囲に多く分布する。このように機械音と所望音の周波数帯域はずれているの、所望音に機械音が混入していると、録音音声の再生時に機械音が目立ってしまう。従って、動画及び音声の記録時に、ズーム音等の機械音を適切に除去した上で所望音のみを記録可能な技術が希求されていた。
【００３２】
従来の機械音低減技術では、上記特許文献１記載のように、予め複数台のカメラを用いて機械音スペクトルを測定し、機械音スペクトルの平均値（テンプレート）を求めておき、録音時に、該機械音スペクトルを収録音スペクトルから減算することで、機械音を低減していた（上記特許文献１参照。）。しかし、個々のカメラには個体差があるため、平均的な機械音スペクトルを用いても、個々のカメラで機械音に十分に低減できなかった。
【００３３】
また、上記特許文献２のように、音声収録用のマイクロホン以外に、カメラの筐体内にノイズ専用のマイクロホンを追加的に設置して、機械音を検出する方法も提案されていた。しかし、小型化が進むデジタルカメラ内にノイズ専用のマイクロホンを新たに設置するためには、設置スペースの確保や、種々の部品の配置調整が困難であった。
【００３４】
ところで、上述したデジタルカメラの小型化が進む一方、動画撮像機能の向上とともに、録音品質の向上のためにモノラル録音ではなくステレオ録音を行うことができる機種が非常に増加している。ステレオ録音するためには、カメラの外装に複数のマイクロホン（ステレオマイクロホン）が設置される。
【００３５】
そこで、本実施形態では、上記ノイズ専用のマイクロホンを増設するのではなく、デジタルカメラに既に設置されている複数のステレオマイクロホンから得られる複数の音声信号を、機械音の低減に活用する。ステレオマイクロホンは、隣接配置された少なくとも２つのマイクロホンで構成され、カメラの周辺の音声（所望音）を高品質で収音するためにカメラの外装に設置されている。このステレオマイクロホンは、上記カメラの筐体内に配置されるノイズ専用のマイクロホンとは相違する。このような既設のステレオマイクロホンを有効活用することができれば、上記ノイズ専用のマイクロホンをカメラ内に設けたときの問題（設置スペースの確保、各種部品の配置調整の問題）は生じない。
【００３６】
勿論、ステレオマイクロホンを構成する複数のマイクロホンも、カメラ内部で発生する機械音を収音するが、当該複数のマイクロホンから出力される複数の音声信号を解析することで、音声信号に含まれる機械音を推定することが可能である。即ち、カメラの外装に設けられた複数のマイクロホンと、カメラ内部に設けられた駆動装置（ズームモータ等の機械音発生源）との相対位置関係は固定的である。また、駆動装置から各々のマイクロホンまでの距離は相違する。従って、駆動装置から一方のマイクロホンに伝播する機械音と、他方のマイクロホンに伝播する機械音との間には、位相差が生じる。
【００３７】
そこで、本実施形態では、複数のマイクロホンと駆動装置との相対位置関係に基づいて、当該複数のマイクロホンから出力される複数の音声信号を演算する。これにより、駆動装置の方向から各マイクロホンに伝わる音（主に機械音）を強調し、駆動装置の方向以外から各マイクロホンに伝わる音（主に所望音）を減衰させることができるので、機械音を推定することができる。ここで、駆動装置の方向とは、駆動装置から複数のマイクロホンに向かう方向である。
【００３８】
このように本実施形態では、上記機械音スペクトルのテンプレートを利用せずに、ステレオマイクロホンからの複数の音声信号を利用することで、録音中に機械音を動的に推定及び補正して、機械音を適切に低減することができる。このように個々のカメラで録音中に動的に機械音を推定及び補正することで、個々のカメラごとに異なる機械音を正確に求めて、十分に低減することができる。また、同一のカメラにおいても、駆動装置の動作ごとに異なる機械音を正確に求めて、十分に低減することができる。以下に、本実施形態に係る機械音の除去方法について詳述する。
【００３９】
［１．２．音声信号処理装置の構成］
［１．２．１．音声信号処理装置のハードウェア構成］
まず、図１を参照して、本実施形態に係る音声信号処理装置が適用されたデジタルカメラのハードウェア構成例について説明する。図１は、本実施形態に係る音声信号処理装置が適用されたデジタルカメラ１のハードウェア構成を示すブロック図である。
【００４０】
本実施形態に係るデジタルカメラ１は、例えば、動画撮像中に動画と共に音声も記録可能な撮像装置である。このデジタルカメラ１は、被写体を撮像して、当該撮像により得られた撮像画像（静止画又は動画のいずれでもよい。）をデジタル方式の画像データに変換し、音声とともに記録媒体に記録する。
【００４１】
図１に示すように、本実施形態に係るデジタルカメラ１は、概略的には、撮像部１０と、画像処理部２０と、表示部３０と、記録媒体４０と、収音部５０と、音声処理部６０と、制御部７０と、操作部８０とを備える。
【００４２】
撮像部１０は、被写体を撮像して、撮像画像を表すアナログ画像信号を出力する。撮像部１０は、撮像光学系１１と、撮像素子１２と、タイミングジェネレータ１３と、駆動装置１４とを備える。
【００４３】
撮像光学系１１は、フォーカスレンズ、ズームレンズ、補正レンズ等の各種レンズや、不要な波長を除去する光学フィルタ、シャッター、絞り等の光学部品からなる。被写体から入射された光学像（被写体像）は、撮像光学系１１における各光学部品を介して、撮像素子１２の露光面に結像される。撮像素子１２（イメージセンサ）は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子で構成される。この撮像素子１２は、撮像光学系１１から導かれた光学像を光電変換し、撮像画像を表す電気信号（アナログ画像信号）を出力する。
【００４４】
撮像光学系１１には、該撮像光学系１１の光学部品を駆動するための駆動装置１４が機械的に接続されている。この駆動装置１４は、例えば、ズームモータ１５、フォーカスモータ１６、絞り調整機構（図示せず。）などを含む。駆動装置１４は、後述する制御部７０の指示に従って、撮像光学系１１の光学部品を駆動させ、ズームレンズ、フォーカスレンズを移動させたり、絞りを調整したりする。例えば、ズームモータ１５は、ズームレンズをテレ／ワイド方向に移動させることで、画角を調整するズーム動作を行う。また、フォーカスモータ１６は、フォーカスレンズを移動させることで、被写体に焦点を合わせるフォーカス動作を行う。
【００４５】
また、タイミングジェネレータ（ＴＧ）１３は、制御部７０の指示に従って、撮像素子１２に必要な動作パルスを生成する。例えば、ＴＧ１３は、垂直転送のための４相パルス、フィールドシフトパルス、水平転送のための２相パルス、シャッタパルスなどの各種パルスを生成し、撮像素子１２に供給する。このＴＧ１３により撮像素子１２を駆動させることで、被写体像が撮像される。また、ＴＧ１３が、撮像素子１２のシャッタースピードを調整することで、撮像画像の露光量や露光期間が制御される（電子シャッター機能）。上記の撮像素子１２が出力した画像信号は画像処理部２０に入力される。
【００４６】
画像処理部２０は、マイクロコントローラなどの電子回路で構成され、撮像素子１２から出力される画像信号に対して所定の画像処理を施し、当該画像処理後の画像信号を表示部３０や制御部７０に出力する。画像処理部２０は、アナログ信号処理部２１、アナログ／デジタル（Ａ／Ｄ）変換部２２、デジタル信号処理部２３を備える。
【００４７】
アナログ信号処理部２１は、画像信号を前処理する所謂アナログフロントエンドである。該アナログ信号処理部２１は、例えば、撮像素子１２から出力される画像信号に対して、ＣＤＳ（ｃｏｒｒｅｌａｔｅｄ ｄｏｕｂｌｅ ｓａｍｐｌｉｎｇ：相関２重サンプリング）処理、プログラマブルゲインアンプ（ＰＧＡ）によるゲイン処理などを行う。Ａ／Ｄ変換部２２は、アナログ信号処理部２１から入力されたアナログ画像信号をデジタル画像信号に変換して、デジタル信号処理部２３に出力する。デジタル信号処理部２３は、入力されたデジタル画像信号に対して、例えば、ノイズ除去、ホワイトバランス調整、色補正、エッジ強調、ガンマ補正等のデジタル信号処理を行って、表示部３０や制御部７０等に出力する。
【００４８】
表示部３０は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬディスプレイなどの表示装置で構成される。表示部３０は、制御部７０による制御に従って、入力された各種の画像データを表示する。例えば、表示部３０は、撮像中に画像処理部２０からリアルタイムで入力される撮像画像（スルー画像）を表示する。これにより、ユーザは、デジタルカメラ１で撮像中のスルー画像を見ながら、デジタルカメラ１を操作することができる。また、記録媒体４０に記録されている撮像画像を再生したときに、表示部３０は、当該再生画像を表示する。これにより、ユーザは、記録媒体４０に記録されている撮像画像の内容を確認することができる。
【００４９】
記録媒体４０は、上記撮像画像のデータ、そのメタデータなどの各種のデータを記憶する。記録媒体４０は、例えば、メモリカード等の半導体メモリ、又は、光ディスク、ハードディスク等のディスク状記録媒体などを使用できる。なお、光ディスクは、例えば、ブルーレイディスク（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）又はＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）等を含む。なお、記録媒体４０は、デジタルカメラ１に内蔵されてもよいし、デジタルカメラ１に着脱可能なリムーバブルメディアであってもよい。
【００５０】
収音部５０は、デジタルカメラ１周辺の外部音声を収音する。本実施形態に係る収音部５０は、２つの外部音声収録用のマイクロホン５１、５２からなるステレオマイクロホンで構成される。２つのマイクロホン５１、５２は、外部音声を収音して得られた音声信号をそれぞれ出力する。かかる収音部５０により、動画撮像中に外部音声を収音して、動画と共に記録できるようになる。
【００５１】
音声処理部６０は、マイクロコントローラなどの電子回路で構成され、音声信号に対して所定の音声処理を施して、記録用の音声信号を出力する。この音声処理は、例えば、ＡＤ変換処理、雑音低減処理などを含む。本実施形態は、この音声処理部６０による雑音低減処理を特徴としているが、その詳細説明は後述する。
【００５２】
制御部７０は、マイクロコントローラなどの電子回路で構成され、デジタルカメラ１の全体の動作を制御する。制御部７０は、例えば、ＣＰＵ７１、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）７２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）７３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７４を備える。かかる制御部７０は、デジタルカメラ１内の各部を制御する。例えば、制御部７０は、マイクロホン５１、５２により収音された音声信号から、駆動装置１４で発生した機械音を雑音として低減するに、音声処理部６０の動作を制御する。
【００５３】
制御部７０におけるＲＯＭ７３には、ＣＰＵ７１に各種の制御処理を実行させるためのプログラムが格納されている。ＣＰＵ７１は、該プログラムに基づいて動作して、ＲＡＭ７４を用いながら、上記各制御のための必要な演算・制御処理を実行する。該プログラムは、デジタルカメラ１に内蔵された記憶装置（例えば、ＥＥＰＲＯＭ７２、ＲＯＭ７３等）に予め格納しておくことができる。また、当該プログラムは、ディスク状記録媒体、メモリカードなどのリムーバブル記録媒体に格納されて、デジタルカメラ１に提供されてもよいし、ＬＡＮ、インターネット等のネットワークを介してデジタルカメラ１にダウンロードされてもよい。
【００５４】
ここで、制御部７０による制御の具体例について説明する。制御部７０は、上記撮像部１０のＴＧ１３や駆動装置１４を制御して、撮像部１０による撮像処理を制御する。例えば、制御部７０は、上記撮像光学系１１の絞りの調整、撮像素子１２の電子シャッタースピードの設定、アナログ信号処理部２１のＡＧＣのゲイン設定などにより、自動露光制御を行う（ＡＥ機能）。また、制御部７０は、上記撮像光学系１１のフォーカスレンズを移動させて、フォーカスポジションを変更することで、特定の被写体に対して撮像光学系１１の焦点を自動的に合わせるオートフォーカス制御を行う（ＡＦ機能）。また、制御部７０は、上記撮像光学系１１のズームレンズを移動させて、ズームポジションを変更することで、撮像画像の画角を調整する。また、制御部７０は、記録媒体４０に対して撮像画像、メタデータなどの各種のデータを記録し、また、記録媒体４０に記録されているデータを読み出して再生する。さらに、制御部７０は、表示部３０に表示するための各種の表示画像を生成し、表示部３０を制御して該表示画像を表示させる。
【００５５】
操作部８０、表示部３０は、ユーザがデジタルカメラ１の動作を操作するためのユーザインターフェースとして機能する。操作部８０は、ボタン、レバー等の各種の操作キー、又はタッチパネル等で構成され、例えば、ズームボタン、シャッターボタン、電源ボタンなどを含む。操作部８０は、ユーザ操作に応じて、各種の撮像動作を指示するための指示情報を制御部７０に出力する。
【００５６】
［１．２．２．音声信号処理装置の機能構成］
次に、図２を参照して、本実施形態に係るデジタルカメラ１に適用された音声信号処理装置の機能構成例について説明する。図２は、本実施形態に係る音声信号処理装置の機能構成を示すブロック図である。
【００５７】
図２に示すように、音声信号処理装置は、２つのマイクロホン５１、５２と、音声処理部６０を備える。音声処理部６０は、２つの周波数変換部６１Ｌ、６１Ｒと、機械音推定部６２と、２つの機械音補正部６３Ｌ、６３Ｒと、２つの機械音低減部６４Ｌ、６４Ｒと、２つの時間変換部６５Ｌ、６５Ｒとを備える。これら音声処理部６０の各部は、専用のハードウェアで構成されてもよいし、ソフトウェアで構成されてもよい。ソフトウェアを用いる場合、音声処理部６０の備えるプロセッサが、以下に説明する各機能部の機能を実現するためのプログラムを実行すればよい。なお、図２中で、実線の矢印は音声信号のデータ線を示し、破線の矢印は制御線を示す。
【００５８】
マイクロホン５１、５２は、上述したステレオマイクロホンを構成する。マイクロホン５１（第１のマイクロホン）は、Ｌチャンネルの音声を収音するためのマイクロホンであり、デジタルカメラ１の外部から伝わる外部音声を収音して第１の音声信号ｘＬを出力する。マイクロホン５２（第２のマイクロホン）は、Ｒチャンネルの音声を収音するためのマイクロホンであり、上記外部音声を収音して第２の音声信号ｘＲを出力する。
【００５９】
かかるマイクロホン５１、５２は、デジタルカメラ１周辺の外部音声（環境音、人の話し声等の所望音）を録音するためのマイクロホンである。しかし、デジタルカメラ１内に設けられた駆動装置１４（ズームモータ１５、フォーカスモータ１６等）の動作時には、当該駆動装置１４からの機械音（ズーム音、フォーカス音等）が上記外部音声に混入する。従って、マイクロホン５１、５２を通じて入力される音声信号ｘＬ、ｘＲには、所望音成分のみならず、機械音成分も含まれることとなる。そこで、音声信号ｘＬ、ｘＲから機械音成分を除去するために、以下の各部が設けられている。
【００６０】
周波数変換部６１Ｌ、６１Ｒ（以下、周波数変換部６１と総称する。）は、時間領域の音声信号ｘＬ、ｘＲを、周波数領域の音声スペクトル信号ＸＬ、ＸＲに変換する機能を有する。ここで、スペクトルとは、周波数スペクトルを意味する。周波数変換部６１Ｌ（第１の周波数変換部）は、Ｌｃｈ用のマイクロホン５１から入力される音声信号ｘＬを、所定時間のフレーム単位で分割し、当該分割された音声信号ｘＬをフーリエ変換することで、周波数ごとのパワーを示した音声スペクトル信号ＸＬを生成する。同様に、周波数変換部６１Ｒ（第２の周波数変換部）は、Ｒｃｈ用のマイクロホン５２から入力される音声信号ｘＲを、所定時間のフレーム単位で分割し、当該分割された音声信号ｘＲをフーリエ変換することで、周波数ごとのパワーを示した音声スペクトル信号ＸＲを生成する。
【００６１】
機械音推定部６２は、作動音スペクトルを推定する作動音推定部の一例である。機械音推定部６２は、音声スペクトル信号ＸＬ、ＸＲを利用して、上記機械音を表す機械音スペクトルを推定する機能を有する。機械音推定部６２は、上記駆動装置１４とマイクロホン５１、５２との相対位置関係に基づいて、音声スペクトル信号ＸＬ、ＸＲを演算することにより、上記機械音を表す機械音スペクトル信号Ｚを生成する。
【００６２】
かかる機械音推定部６２を設けることで、平均機械音スペクトルを用いずに、個々のカメラごと及び撮像動作ごとに機械音を動的に推定して、機械音を適切に低減することが可能となる。以下では、機械音推定部６２により推定された機械音スペクトル信号Ｘを、「推定機械音スペクトルＺ」と称する場合もある。なお、機械音推定部６２による機械音の推定処理の詳細は後述する。
【００６３】
機械音補正部６３Ｌ、６３Ｒ（以下、機械音補正部６３と総称する。）は、駆動装置１４の動作期間（機械音の発生期間）を利用して、マイクロホン５１、５２に入力される実際の機械音のスペクトルＺｒｅａｌと、推定機械音スペクトルＺと間の誤差を補正する機能を有する。機械音補正部６３Ｌ（第１の機械音補正部）は、音声スペクトル信号ＸＬの周波数成分ＸＬ（ｋ）ごとに、駆動装置１４の動作開始前後における音声スペクトル信号ＸＬ（ｋ）の周波数特性の差分ｄＸＬに基づいて、音声スペクトル信号ＸＬ用（Ｌｃｈ用）の推定機械音スペクトルＺを補正するための補正係数ＨＬ（第１の補正係数）を算出する。同様に、機械音補正部６３Ｒ（第２の機械音補正部）は、音声スペクトル信号ＸＲの周波数成分ＸＲ（ｋ）ごとに駆動装置１４の動作開始前後における音声スペクトル信号ＸＲ（ｋ）の周波数特性の差分ｄＸＲに基づいて、音声スペクトル信号ＸＲ用（Ｒｃｈ用）の推定機械音スペクトルＺを補正するための補正係数ＨＲ（第２の補正係数）を算出する。なお、周波数成分Ｘ（ｋ）とは、音声スペクトルＸの全周波数帯域を複数（Ｌ個）のブロックに分割したときの、各ブロックの音声スペクトル信号Ｘである（ｋ＝０，１，・・・，Ｌ−１）。
【００６４】
かかる機械音補正部６３を設けることで、音声スペクトル信号ＸＬの周波数成分ＸＬ（ｋ）ごとに、現実の機械音スペクトルＺｒｅａｌに合うように推定機械音スペクトルＺを補正して、正確な機械音スペクトルに調整できるので、機械音低減部６４による機械音の消し残り、消し過ぎを抑制することができる。なお、機械音補正部６３による機械音スペクトルの補正処理の詳細は後述する。
【００６５】
機械音低減部６４Ｌ、６４Ｒ（以下、機械音低減部６４と総称する。）は、周波数変化部６１Ｌ、６１Ｒから入力される音声スペクトル信号ＸＬ、ＸＲから、上記機械音補正部６３Ｌ、６３Ｒにより補正された推定機械音スペクトルＺを低減する機能を有する。機械音低減部６４Ｌ（第１の機械音低減部）は、音声スペクトル信号ＸＬから、上記補正係数ＨＬで補正された推定機械音スペクトルＺを低減することで、機械音が除去された音声スペクトル信号ＹＬを生成する。同様に、機械音低減部６４Ｒ（第２の機械音低減部）は、音声スペクトル信号ＸＲから、上記補正係数ＨＲで補正された推定機械音スペクトルＺを低減することで、機械音が除去された音声スペクトル信号ＹＲを生成する。なお、機械音低減部６４による機械音スペクトルＺの低減処理の詳細は後述する。
【００６６】
時間変換部６５Ｌ、６５Ｒ（以下、時間変換部６５と総称する。）は、周波数領域の音声スペクトル信号ＹＬ、ＹＲを、時間領域の音声信号ｙＬ、ｙＲに逆変換する機能を有する。時間変換部６５Ｌ（第１の時間変換部）は、機械音低減部６４Ｌから入力される音声スペクトル信号ＹＬを逆フーリエ変換することで、フレーム単位ごとの音声信号ｙＬを生成する。同様に、時間変換部６５Ｒ（第２の時間変換部）は、機械音低減部６４Ｒから入力される音声スペクトル信号ＹＲを逆フーリエ変換することで、フレーム単位ごとの音声信号ｙＲを生成する。かかる音声信号ｙＬ、ｙＲは、音声信号ｘＬ、ｘＲに含まれていた機械音成分が適切に除去された後の所望音成分の音声信号である。
【００６７】
以上、本実施形態に係る音声信号処理装置の音声処理部６０の機能構成について説明した。音声処理部６０は、上記デジタルカメラ１による動画及び音声の記録中に、ステレオマイクロホン５１、５２から入力される音声信号を利用して、外部音声スペクトルに含まれる機械音スペクトルを正確に推定し、外部音声から機械音を適切に除去できる。
【００６８】
従って、本実施形態では、従来のような機械音スペクトルのテンプレートを利用しなくとも、機械音を除去することが可能となる。これにより、従来のような多数のカメラを用いて機械音を測定して、当該テンプレートを作成するための調整コストを削減できる。
【００６９】
さらに、個々のデジタルカメラ１において、機械音が発生する撮像動作ごとに動的に機械音スペクトルを推定して除去するので、デジタルカメラ１の個体差による機械音のばらつきが存在しても、所望の低減効果を得ることができる。また、録音中は常に、機械音スペクトルを推定するので、駆動装置１４の動作中の機械音の時間変化にも追従できる。
【００７０】
また、機械音補正部６３により、実際の機械音スペクトルに合うように推定機械音スペクトルを補正することで、機械音の過剰推定や過小推定がない。よって、機械音低減部６４による機械音の消しすぎや、消し残しを防止できるので、所望音の音質劣化を低減できる。
【００７１】
［１．３．機械音推定部の詳細］
次に、本実施形態に係る機械音推定部６２の構成及び動作について説明する。
【００７２】
［１．３．１．機械音推定部の構成］
まず、図３を参照して、本実施形態に係る機械音推定部６２の構成について説明する。図３は、本実施形態に係る機械音推定部６２の構成を示すブロック図である。
【００７３】
図３に示すように、機械音推定部６２は、記憶部６２１と、演算部６２２を備える。演算部６２２には、上記Ｌｃｈ、Ｒｃｈ用の周波数変換部６１から音声スペクトル信号ＸＬ、ＸＲが入力される。
【００７４】
記憶部６２１は、後述するフィルタ係数ｗＬ、ｗＲを記憶する。フィルタ係数ｗＬ、ｗＲは、駆動装置１４の方向以外からマイクロホン５１、５２に到来する音声成分を減衰させるために、音声スペクトル信号ＸＬ、ＸＲに乗算される係数である。演算部６２２は、フィルタ係数ｗＬ、ｗＲを用いて音声スペクトル信号ＸＬ、ＸＲを演算することにより、上記推定機械音スペクトル信号Ｚを生成する。演算部６２２により生成された推定機械音スペクトル信号Ｚは、上記機械音低減部６４及び機械音補正部６３に出力される。
【００７５】
［１．３．１．機械音スペクトル推定の原理］
次に、図４、図５を参照して、ステレオマイクロホン５１、５２を利用して機械音スペクトルを推定する原理について説明する。図４は、本実施形態に係るデジタルカメラ１を示す正面図及び上面図である。図５は、本実施形態に係るステレオマイクロホン５１、５２に対する音声の入力方向と、音声信号の出力エネルギーの特性との関係を示す説明図である。
【００７６】
図４に示すように、同一機種のデジタルカメラ１では、２つのマイクロホン５１、５２と、機械音発生源である駆動装置１４（ズームモータ１５、フォーカスモータ１６等）との相対位置関係は固定されている。つまり、両者の相対位置関係は、デジタルカメラ１ごと、撮像動作ごとに変化しない。
【００７７】
図示の例では、２つのマイクロホン５１、５２は、デジタルカメラ１の筐体２の上面２ａに、カメラ正面方向（撮像方向）に対して垂直方向に並んで配置されている。かかる配置により、マイクロホン５１、５２は、カメラ正面方向から到来する外部音声（所望音）を好適に収音できる。また、駆動装置１４は、デジタルカメラ１の筐体２内部の右下隅に、レンズ部３に隣接して配置されている。
【００７８】
かかるマイクロホン５１、５２と駆動装置１４との相対位置関係によれば、駆動装置１４から一方のマイクロホン５１までの距離と、駆動装置１４から他方のマイクロホン５２までの距離は異なる。よって、駆動装置１４で機械音が発生したときに、マイクロホン５１で収音される機械音とマイクロホン５２で収音される機械音との間には、位相差が生じる。
【００７９】
そこで、機械音推定部６２は、上記マイクロホン５１、５２と駆動装置１４との相対位置関係を利用して、駆動装置１４の方向以外からマイクロホン５１、５２に到来する音声信号成分（主として所望音）を減衰させ、駆動装置１４の方向からマイクロホン５１、５２に到来する音声信号成分（主として機械音）を強調する信号処理を行う。これにより、２つのマイクロホン５１、５２に入力された外部音声から、機械音を近似的に抽出することが可能となる。
【００８０】
即ち、機械音推定部６２の記憶部６２１には、２つのマイクロホン５１、５２により得られた２つの音声スペクトル信号ＸＬ、ＸＲから機械音を抽出するためのフィルタ係数ｗＬ、ｗＲが保存されている。例えば図５に示すように、このフィルタ係数ｗＬ、ｗＲは、カメラ正面方向（音声入力角度＝０°）からマイクロホン５１、５２に到来する音声成分を減衰させ、駆動装置１４の方向（音声入力角度＝−６０°）からマイクロホン５１、５２に到来する音声信号成分を残存させるような特性を、音声スペクトル信号ＸＬ、ＸＲに与えるための係数である。具体的には、フィルタ係数ｗＬは音声スペクトル信号ＸＬに乗算される係数であり、フィルタ係数ｗＲは音声スペクトル信号ＸＲに乗算される係数である。
【００８１】
機械音推定部６２は、例えば以下の式（１）に表すように、上記フィルタ係数ｗＬ、ｗＲを音声スペクトル信号ＸＬ、ＸＲにそれぞれ乗算して、双方の和を求めることで、上記推定機械音スペクトルＺを生成する。
Ｚ＝ｗＬ・ＸＬ＋ｗＲ・ＸＲ ・・・（１）
【００８２】
フィルタ係数ｗＬ、ｗＲの値は、マイクロホン５１、５２と駆動装置１４との相対位置関係に応じて、デジタルカメラ１の機種ごとに予め決定されている。マイクロホン５１、５２と駆動装置１４が、図４のような相対位置関係にあるときには、例えば、ｗＬ＝１、ｗＲ＝−１とすればよい。これにより、カメラ正面方向から伝播する所望音を低減し、駆動装置１４の方向から伝播する機械音を抽出して、推定機械音スペクトルＺを適切に推定できる。カメラ正面方向から伝播する所望音を収音した場合、２つのマイクロホン５１、５２で収音される音声間で、時間遅延（位相差）は存在しない。従って、式（１）のようにＸＬからＸＲを減算することで、カメラ正面方向からの所望音を相殺して、サイド方向からの推定機械音スペクトルＺを抽出できる。なお、フィルタ係数ｗＬ、ｗＲは、上述した特性（所望音の減衰、機械音の強調）を満たすものであれば、任意の値であってよい。
【００８３】
以上では、図４、図５に示したように、駆動装置１４が、２つのマイクロホン５１、５２に対して正面方向に配置されていない場合（機械音の入力角度≠０°）の機械音の推定原理について説明した。しかし、駆動装置１４がマイクロホン５１、５２の正面方向に配置されている場合（機械音の入力角度＝０°）であっても、図５に示した音声信号を減衰させる波形のピークの位置を左右にずらせばよい（例えば±３０℃の位置）。これにより、当該ピークの位置に対応する音声入力方向以外の方向から到来する音声（正面方向の駆動装置１４からの機械音を含む。）を強調できるので、機械音スペクトルを推定可能である。
【００８４】
［１．３．２．機械音スペクトル推定の動作］
次に、図６を参照して、本実施形態に係る機械音推定部６２の動作について説明する。図６は、本実施形態に係る機械音推定部６２の動作を示すフローチャートである。
【００８５】
図６に示すように、まず、機械音推定部６２は、上記周波数変換部６１Ｌ、６１Ｒから出力された音声スペクトル信号ＸＬ、ＸＲを受け取る（ステップＳ１０）。次いで、機械音推定部６２は、記憶部６２１から上記フィルタ係数ｗＬ、ｗＲを読み出す（ステップＳ１２）。上述したように、例えば、フィルタ係数ｗＬ＝１、ｗＲ＝−１である。
【００８６】
さらに、機械音推定部６２は、式（２）で表すように、Ｓ１２で読み出したフィルタ係数ｗＬ、ｗＲを用いて、Ｓ１０で得た音声スペクトル信号ＸＬ、ＸＲを演算して、推定機械音スペクトルＺを算出する（ステップＳ１４）。
Ｚ＝ｗＬ・ＸＬ＋ｗＲ・ＸＲ＝ＸＬ−ＸＲ ・・・（２）
【００８７】
その後、機械音推定部６２は、Ｓ１４で算出した推定機械音スペクトルＺを、機械音補正部６３Ｌ、６３Ｒに出力する（ステップＳ１６）。
【００８８】
以上、機械音推定部６２による推定機械音スペクトルＺの推定処理について説明した。なお、実際には、音声信号ｘＬ、ｘＲを周波数変換して音声スペクトル信号ＸＬ、ＸＲを得ているので、音声スペクトル信号ＸＬ、ＸＲの各周波数成分ＸＬ（ｋ）、ＸＲ（ｋ）ごとに、推定機械音スペクトルＺ（ｋ）を計算する必要がある。しかし、上記では説明の便宜上、推定機械音スペクトルＺの１つの周波数成分Ｚ（ｋ）のみを計算するためのフローチャートを用いて説明した。
【００８９】
［１．４．機械音補正部の詳細］
次に、本実施形態に係る機械音補正部６３の構成及び動作について説明する。
【００９０】
［１．４．１．機械音補正部の構成］
まず、図７を参照して、本実施形態に係る機械音補正部６３の構成について説明する。図７は、本実施形態に係る機械音補正部６３の構成を示すブロック図である。なお、以下では、Ｌｃｈ用の機械音補正部６３Ｌの構成について説明するが、Ｒｃｈ用の機械音補正部６３Ｒの構成も実質的に同一であるので、その詳細説明は省略する。
【００９１】
図７に示すように、機械音補正部６３Ｌは、記憶部６３１と、演算部６３２を備える。演算部６３２には、上記Ｌｃｈ用の周波数変換部６１Ｌから音声スペクトル信号ＸＬが入力され、上記機械音推定部６２から推定機械音スペクトル信号Ｚが入力され、上記制御部７０から駆動制御情報が入力される。
【００９２】
駆動制御情報は、駆動装置１４を制御するための情報であり、駆動装置１４の動作状態を表す。例えば、ズームモータ１５を制御するための駆動制御情報（以下、モータ制御情報）は、ズームモータ１５の動作状態（例えば、ズーム動作の有無、ズーム動作の開始及び終了タイミング等）を表す。機械音補正部６３Ｌの演算部６３２は、この駆動制御情報に基づいて、駆動装置１４の動作状態を判断する。
【００９３】
記憶部６３１は、音声スペクトル信号ＸＬの周波数成分ＸＬ（ｋ）ごとに、後述する補正係数ＨＬを記憶する。補正係数ＨＬは、音声スペクトル信号ＸＬから機械音を適切に除去するために、上記機械音推定部６２により生成された推定機械音スペクトルＺを補正するための係数である。また、記憶部６３１は、演算部６３２により補正係数ＨＬを算出するための計算用バッファとしても機能する。
【００９４】
演算部６３２は、駆動装置１４が動作したとき（即ち、機械音の発生時）に、音声スペクトル信号ＸＬの周波数成分ＸＬ（ｋ）ごとに、駆動装置１４の動作開始前後におけるＸＬの周波数特性の差分ｄＸＬ（ＸＬのスペクトル形状の差分）に基づいて、当該補正係数ＨＬを算出し、記憶部６３１に記憶されている過去の補正係数ＨＬを更新する。このように、演算部６３２は、駆動装置１４が動作する度に、補正係数ＨＬの算出及び更新処理を繰り返す。また、演算部６３２により算出された最新の補正係数ＨＬと、推定機械音スペクトル信号Ｚは、上記機械音低減部６４Ｌに出力される。なお、以下では、補正係数ＨＬと補正係数ＨＲを補正係数Ｈと総称する場合がある。
【００９５】
［１．４．２．機械音補正の概念］
次に、図８〜図１０を参照して、機械音補正部６３による機械音スペクトル補正の概念について説明する。
【００９６】
上述したように、機械音推定部６２により、入力音声信号ｘＬ、ｘＲに応じて機械音の推定が実現できる。しかし、機械音推定部６２により推定された機械音（推定機械音スペクトルＺ）は、Ｌｃｈ用のマイクロホン５１に入力される実際の機械音とは、多少の誤差がある。
【００９７】
図８は、Ｌｃｈ用のマイクロホン５１に入力された実際の機械音スペクトルＺｒｅａｌの平均と、機械音推定部６２により推定された機械音スペクトルＺの平均を表す。図８に示すように、機械音推定部６２により得られた推定機械音スペクトルＺは、実際の機械音スペクトルＺｒｅａｌの全体傾向をよく捉えているものの、個々の周波数成分Ｘ（ｋ）ごとには多少の誤差がある。この推定誤差の原因としては、例えば、マイクロホン５１、５２の個体差が挙げられる、また、デジタルカメラ１の筐体２内において、機械音が反射して多方向からマイクロホン５１、５２に入力されることによっても、推定誤差が生じうる。従って、機械音推定部６２のみでは、推定機械音スペクトルＺを、実際の機械音スペクトルＺｒｅａｌに完全に一致させることは難しい。
【００９８】
よって、適切に機械音を低減するためには、機械音の発生期間と非発生期間との差を利用して、推定機械音スペクトルＺが実際の機械音スペクトルＺｒｅａｌと一致するように、推定機械音スペクトルＺの周波数特性を補正することが望ましい。
【００９９】
ところが、図９に示すように、駆動装置１４の動作期間中にマイクロホン５１、５２に入力される音声は、駆動装置１４からの機械音だけでなく、カメラ周囲の環境音（所望音）も含まれる。このため、機械音以外の音声成分を必要以上に劣化させずに、機械音を適切に低減するためには、機械音の発生期間（即ち、駆動装置１４の動作期間）にのみ、顕著になるスペクトルを特定する必要がある。
【０１００】
そのためには、図９に示すように、駆動装置１４の動作期間における所望音成分を、当該動作前（動作停止期間）における音声Ａから推定し、駆動装置１４の動作期間における音声Ｂから、当該推定した所望音声分を除去すればよい。これにより、駆動装置１４の動作期間における機械音成分を抽出できるので、当該動作期間における機械音スペクトルを特定できるようになる。
【０１０１】
そこで、本実施形態に係る機械音補正部６３は、機械音が発生しているとき（駆動装置１４の動作時）の音声スペクトルＸａと、機械音が発生していないとき（駆動装置１４の動作停止時）の音声スペクトルＸｂとの差分ｄＸを利用することで、推定機械音スペクトルＺを補正するための補正係数Ｈを求める。なお、音声スペクトルＸａは、駆動装置１４の動作中に上記周波数変換部６１から出力される音声スペクトル信号ＸＬ、ＸＲであり、音声スペクトルＸｂは、駆動装置１４の動作開始直前に上記周波数変換部６１から出力された音声スペクトル信号ＸＬ、ＸＲである。
【０１０２】
図１０は、機械音が発生しているときの音声スペクトルＸａと、機械音が発生していないときの音声スペクトルＸｂを表す。図１０に示すように、音声スペクトルＸａと音声スペクトルＸｂとの差分ｄＸ（＝Ｘａ−Ｘｂ）の領域が、機械音の周波数特性を表す。即ち、駆動装置１４の動作開始直前に入力された音声スペクトルＸｂには、機械音は含まれず、所望音のみが含まれており、駆動装置１４の動作中に入力された音声スペクトルＸａには、所望音と機械音の双方が含まれている。従って、駆動装置１４の動作開始前後（例えば、ズーム動作の開始前後）で、デジタルカメラ１周辺の環境音（所望音）が変化していなければ、上記ＸａとＸｂとの差分ｄＸは、実際の機械音スペクトルＺｒｅａｌを表すことになる。
【０１０３】
そこで、機械音補正部６３は、この差分ｄＸを用いて、推定機械音スペクトルＺを補正するための補正係数Ｈを求める。かかる補正係数Ｈで、Ｌｃｈ用、Ｒｃｈ用の推定機械音スペクトルＺをそれぞれ補正することで、推定機械音スペクトルＺを実際の機械音スペクトルＺｒｅａｌに近づけることができる。
【０１０４】
［１．４．２．機械音補正の基本動作］
次に、図１１を参照して、本実施形態に係る機械音補正部６３の基本動作について説明する。図１１は、本実施形態に係る機械音補正部６３の基本動作を示すフローチャートである。図１１の動作フローでは、駆動装置１４の動作開始前後における音声スペクトルＸのスペクトル形状の変化に基づいて、推定機械音スペクトルＺを実際の機械音スペクトルＺｒｅａｌに合わせるための補正係数Ｈを算出する。
【０１０５】
なお、本実施形態は、２つのマイクロホン５１、５２を用いたステレオ音声入力を対象としているので、Ｌｃｈ用とＲｃｈ用の２系統の音声信号を取り扱う（図２参照。）。従って、機械音補正部６３Ｌ、６３Ｒは、この２つのチャンネルに対応してそれぞれ設けられており、それぞれ音声スペクトル信号ＸＬ、ＸＲを独立的に処理する。以下では、説明の便宜上、特にステレオ処理が必要でない場合は、２つの音声スペクトル信号ＸＬ、ＸＲを音声スペクトルＸと総称し、機械音補正部６３の動作を説明する。
【０１０６】
図１１に示すように、まず、機械音補正部６３は、上記周波数変換部６１から出力された音声スペクトルＸを受け取るとともに（ステップＳ２０）上記機械音推定部６２から出力された推定機械音スペクトルＺを受け取る（ステップＳ２１）。
【０１０７】
そして、機械音補正部６３は、制御部７０から取得した駆動制御情報に基づいて、駆動装置１４が動作開始したか否かを判断する（ステップＳ２２）。例えば、ズームモータ１５を動作開始させるためのモータ制御情報が制御部７０から入力されたときに、機械音補正部６３は、ズームモータ１５の動作開始を検出して、以下の補正係数Ｈの算出処理Ｓ２３〜Ｓ２７を実行する。以下では、駆動装置１４がズームモータ１５である例について説明するが、フォーカスモータ１６等の他の駆動装置である場合も同様である。
【０１０８】
ズームモータ１５が動作開始すると、まず、機械音補正部６３は、ズームモータ１５の動作中の音声スペクトルＸの平均周波数特性を表す音声スペクトルＸａを算出する（ステップＳ２３）。この音声スペクトルＸａは、ズームモータ１５が動作している期間中の音声スペクトルの平均値であるので、ズームモータ１５から発生した機械音成分と、所望音成分を含む。
【０１０９】
次いで、機械音補正部６３は、ズームモータ１５の動作停止時の音声スペクトルＸの平均周波数特性を表す音声スペクトルＸｂを算出する（ステップＳ２４）。この音声スペクトルＸｂは、ズームモータ１５が動作していない期間の音声スペクトルであるので、機械音成分を含まない。この動作停止時の音声スペクトルＸｂとして、ズームモータ１５の動作直前の音声スペクトルＸを使用すればよい。これにより、動作開始前後における所望音の変化の影響をできるだけ排除できる。
【０１１０】
さらに、機械音補正部６３は、上記Ｓ２３で算出されたモータ動作中の音声スペクトルＸａと、上記Ｓ２４で算出されたモータ動作停止時の音声スペクトルＸｂとの差分ｄＸを算出する（ステップＳ２５）。具体的には、機械音補正部６３は、以下の式（３）のように、音声スペクトルＸａから音声スペクトルＸｂを減算して、音声スペクトルの差分ｄＸを求める。この差分ｄＸは、ズームモータ１５のズーム動作開始前後における音声スペクトルＸの変化を表し、図１０の斜線領域で表す機械音成分の周波数特性に相当する。
ｄＸ＝Ｘａ−Ｘｂ ・・・（３）
【０１１１】
次いで、機械音補正部６３は、ズームモータ１５の動作中における推定機械音スペクトルＺの平均周波数特性を表す平均推定機械音スペクトルＺａを算出する（ステップＳ２６）。
【０１１２】
その後、機械音補正部６３は、Ｓ２５で算出した差分ｄＸと、Ｓ２６で算出した平均推定機械音スペクトルＺａに基づいて、ズームモータ１５の動作中における推定機械音スペクトルＺを補正するための補正係数Ｈを算出する（ステップＳ２７）。次いで、機械音補正部６３は、Ｓ３６で算出した補正係数Ｈを、機械音低減部６４に出力する（ステップＳ２８）。
【０１１３】
以上、機械音補正部６３による補正係数Ｈの算出処理について説明した。なお、実際には、音声信号ｘＬ、ｘＲを周波数変換して音声スペクトル信号ＸＬ、ＸＲを得ているので、音声スペクトル信号ＸＬ、ＸＲの各周波数成分ＸＬ（ｋ）、ＸＲ（ｋ）ごとに、補正係数ＨＬ（ｋ）、ＨＲ（ｋ）を計算する必要がある。しかし、上記では説明の便宜上、推定機械音スペクトルＺの１つの周波数成分Ｚ（ｋ）の補正係数Ｈ（ｋ）のみを算出するためのフローチャートを用いて説明した。以下の図１２等のフローチャートも同様である。
【０１１４】
［１．４．３．機械音補正の詳細動作］
次に、図１２〜図１６を参照して、本実施形態に係る機械音補正部６３の詳細動作について説明する。以下では、音声信号のパワースペクトル領域において、推定機械音を補正する例を示す。
【０１１５】
図１２は、本実施形態に係る機械音補正部６３の動作タイミングを示すタイミングチャートである。なお、上述したように本実施形態に係る音声信号処理装置は、マイクロホン５１、５２から入力された音声信号ｘＬ、ｘＲをフレーム単位に分割し、当該分割した音声信号に対して、周波数変換処理（ＦＦＴ）及び機械音低減処理を行う。そこで、図１２のタイミングチャートでは、時間軸上で上記フレームを基準として示してある。
【０１１６】
図１２に示すように、機械音補正部６３は、複数の処理（基本処理、処理Ａ、処理Ｂ）を同時並行で行う。基本処理は、ズームモータ１５の動作に関わらず、デジタルカメラ１による録音中（動作撮像中）は常時行われる。処理Ａは、ズームモータ１５の動作停止中に、Ｎ１フレームごとに行われる。処理Ｂは、ズームモータ１５の動作中に、Ｎ２フレームごとに行われる。
【０１１７】
次に、機械音補正部６３の動作フローを説明する。図１３は、本実施形態に係る機械音補正部６３の全体動作を示すフローチャートである。
【０１１８】
図１３に示すように、まず、機械音補正部６３は、制御部７０から、ズームモータ１５の動作状態を表すモータ制御情報ｚｏｏｍ＿ｉｎｆｏを取得する（ステップＳ３０）。ｚｏｏｍ＿ｉｎｆｏの値が１であれば、ズームモータ１５が動作状態であり、ｚｏｏｍ＿ｉｎｆｏの値が０であれば、ズームモータ１５が動作停止状態である。機械音補正部６３は、当該モータ制御情報ｚｏｏｍ＿ｉｎｆｏによりズームモータ１５の動作の有無（即ち、ズーム音の発生の有無）を判断できる。
【０１１９】
次いで、機械音補正部６３は、音声信号ｘの１フレームごとに基本処理を行う（ステップＳ４０）。この基本処理では、機械音補正部６３は、音声信号ｘの１フレームに対応する音声スペクトルＸ及び推定機械音スペクトルＺのパワースペクトルを算出する。
【０１２０】
図１４は、図１３中の基本処理のサブルーチンを示すフローチャートである。図１４に示すように、まず、機械音補正部６３は、周波数変換部６１から音声スペクトルＸを受け取るとともに（ステップＳ４２）、機械音推定部６２から推定機械音スペクトルＺを受け取る（ステップＳ４４）。推定機械音スペクトルＺは、推定されたズームモータ１５の駆動音（モータ音）のスペクトル信号である。
【０１２１】
次いで、機械音補正部６３は、上記音声スペクトルＸを二乗して、当該音声スペクトルＸのパワースペクトルＰｘを算出し、上記推定機械音スペクトルＺを二乗して、当該推定機械音スペクトルＺのパワースペクトルＰｚを算出する（ステップＳ４６）。
【０１２２】
さらに、機械音補正部６３は、記憶部６３１に記憶されているパワースペクトルＰｘの積算値ｓｕｍ＿Ｐｘ、パワースペクトルＰｚの積算値ｓｕｍ＿Ｐｚに、Ｓ４６で求めたパワースペクトルＰｘ、Ｐｚをそれぞれ加算する（ステップＳ４８）。
【０１２３】
以上のようにして、基本処理では、音声信号ｘの１フレームごとに、音声スペクトルＸのパワースペクトルＰｘの積算値ｓｕｍ＿Ｐｘ、推定機械音スペクトルＺのパワースペクトルＰｚの積算値ｓｕｍ＿Ｐｚを算出する。
【０１２４】
図１３に戻り、Ｓ５０では、機械音補正部６３は、上記基本処理Ｓ４０を行ったフレーム数をカウントする（ステップＳ５０）。具体的には、かかるカウント処理では、ズームモータ１５の動作中における処理フレーム数ｃｎｔ２、ズームモータ１５の動作停止中における処理フレーム数ｃｎｔ１を用いる。ズームモータ１５が動作停止中（ｚｏｏｍ＿ｉｎｆｏ＝０）である場合（ステップＳ５１）、機械音補正部６３は、記憶部６３１に記憶されているｃｎｔ２をゼロにリセットし（ステップＳ５２）、記憶部６３１に記憶されているｃｎｔ１に１を加算する（ステップＳ５４）。一方、ズームモータ１５が動作中（ｚｏｏｍ＿ｉｎｆｏ＝１）である場合（ステップＳ５１）、機械音補正部６３は、記憶部６３１に記憶されているｃｎｔ１をゼロにリセットし（ステップＳ５６）、記憶部６３１に記憶されているｃｎｔ２に１を加算する（ステップＳ５８）。
【０１２５】
次いで、ズームモータ１５が動作停止中であり、かつ、上記Ｓ５０でカウントした処理フレーム数ｃｎｔ１が所定のフレーム数Ｎ１に達している場合（ステップＳ６０）、機械音補正部６３は、処理Ａを行い（ステップＳ７０）、ｃｎｔ１をゼロにリセットする（ステップＳ９０）。一方、ｃｎｔ１がＮ１未満である場合には、Ｓ３０〜Ｓ５０の処理を繰り返し行い、音声スペクトルＸのパワースペクトルＰｘの積算値ｓｕｍ＿Ｐｘを更新する。
【０１２６】
また、ズームモータ１５が動作中であり、かつ、上記Ｓ５０でカウントした処理フレーム数ｃｎｔ２が所定のフレーム数Ｎ２に達している場合（ステップＳ６０、Ｓ６２）、機械音補正部６３は、処理Ｂを行い（ステップＳ８０）、ｃｎｔ２をゼロにリセットする（ステップＳ９２）。一方、ｃｎｔ２がＮ２未満である場合には、Ｓ３０〜Ｓ５０の処理を繰り返し行い、音声スペクトルＸのパワースペクトルＰｘの積算値ｓｕｍ＿Ｐｘと、推定機械音スペクトルＺのパワースペクトルＰｚの積算値ｓｕｍ＿Ｐｚを更新する。機械音補正部６３は、以上の処理Ｓ３０〜Ｓ９２を録音が終了するまで繰り返す（ステップＳ９４）。
【０１２７】
ここで、ズームモータ１５の動作停止中（ズーム音の非発生時）に行われる処理Ａについて詳述する。図１５は、図１３中の処理Ａのサブルーチンを示すフローチャートである。
【０１２８】
図１５に示すように、まず、機械音補正部６３は、上記音声スペクトルＸのパワースペクトルＰｘの積算値ｓｕｍ＿Ｐｘをフレーム数Ｎ１で除算することにより、ズームモータ１５の動作停止中におけるＰｘの平均値Ｐｘ＿ｂを算出する（ステップＳ７２）。そして、機械音補正部６３は、記憶部６３１に記憶されている平均値Ｐｘ＿ｂを、Ｓ７２で新たに求めた平均値Ｐｘ＿ｂに更新する。その後、機械音補正部６３は、記憶部６３１に記憶されている積算値ｓｕｍ＿Ｐｘ及び積算値ｓｕｍ＿Ｐｚをゼロにリセットする（ステップＳ７４）。
【０１２９】
この処理Ａにより、ズームモータ１５の動作停止中は常に、音声信号ｘのＮ１個のフレームごとに、音声スペクトルＸのパワースペクトルＰｘの平均値Ｐｘ＿ｂが算出され、記憶部６３１に記憶されるＰｘ＿ｂが、最新のＮ１個のフレームの平均値Ｐｘ＿ｂに更新されることとなる。
【０１３０】
次に、ズームモータ１５の動作中（ズーム音の発生時）に行われる処理Ｂについて詳述する。図１６は、図１３中の処理Ｂのサブルーチンを示すフローチャートである。
【０１３１】
図１６に示すように、まず、機械音補正部６３は、以下の式（４）のように、上記音声スペクトルＸのパワースペクトルＰｘの積算値ｓｕｍ＿Ｐｘをフレーム数Ｎ２で除算することにより、ズームモータ１５の動作中におけるＰｘの平均値Ｐｘ＿ａを算出する（ステップＳ８１）。
Ｐｘ＿ａ＝ｓｕｍ＿Ｐｘ／Ｎ２ ・・・（４）
【０１３２】
そして、機械音補正部６３は、記憶部６３１に記憶されている平均値Ｐｘ＿ａを、Ｓ８１で求めた平均値Ｐｘ＿ａに更新する。これにより、ズームモータ１５の動作中は常に、直近のＮ２個のフレームの音声スペクトルＸのパワースペクトルＰｘの平均値Ｐｘ＿ａが、記憶部６３１に記憶されることとなる。
【０１３３】
次いで、機械音補正部６３は、ズームモータ１５の動作開始前後における音声スペクトルＸの変化を算出する（ステップＳ８２）。具体的には、機械音補正部６３は、以下の式（５）のように、上記Ｓ８１で求めたパワースペクトルＰｘの平均値Ｐｘ＿ａから、上記Ｓ７２により記憶部６３１に記憶されているパワースペクトルＰｘの平均値Ｐｘ＿ｂを減算し、ズームモータの動作開始前後におけるパワースペクトルの平均的な差分ｄＰｘを求める。この差分ｄＰｘは、駆動装置の動作開始前後における音声スペクトル信号ＸＬ、ＸＲの周波数特性の差分ｄＸ（上記式（３）参照。）の一例であり、駆動装置の動作による発生した機械音の周波数特性を表す。
ｄＰｘ＝Ｐｘ＿ａ−Ｐｘ＿ｂ ・・・（５）
【０１３４】
さらに、機械音補正部６３は、以下の式（６）のように、ズームモータ１５の動作中に機械音推定部６２から入力される推定機械音スペクトルＺのパワースペクトルＰｚの積算値ｓｕｍ＿Ｐｚをフレーム数Ｎ２で除算することにより、ズームモータ１５の動作中におけるＰｚの平均値Ｐｚ＿ａを算出する（ステップＳ８３）。なお、積算値ｓｕｍ＿Ｐｚは、ズームモータ１５の動作中におけるＮ２個のフレームの推定機械音スペクトルＺのパワースペクトルＰｚを積算した値である。
Ｐｘ＿ｚ＝ｓｕｍ＿Ｐｚ／Ｎ２ ・・・（６）
【０１３５】
次いで、機械音補正部６３は、以下の式（７）のように、上記Ｓ８２で求めたＰｘ＿ａを上記Ｓ８３で求めたＰｚ＿ａで除算することにより、現在の補正係数Ｈｔを算出する（ステップＳ８４）。ここでは、現在の動作中に得られる推定機械音スペクトルＺのパワースペクトルＰｚの平均値Ｐｚ＿ａを用いてＨｔを算出するが、当該Ｐｚ＿ａの代わりに、過去のズームモータ１５の動作時に得られた推定機械音スペクトルＺのパワースペクトルＰｚの平均値を用いてＨｔを算出してもよい。
Ｈｔ＝ｄＰｘ／Ｐｚ＿ａ ・・・（７）
【０１３６】
さらに、機械音補正部６３は、上記Ｓ８４で求めた現在の補正係数Ｈｔと、過去に求めた補正係数Ｈｐを用いて、補正係数Ｈを算出する（ステップＳ８５）。具体的には、機械音補正部６３は、記憶部６３１に記憶されている過去の補正係数Ｈｐを読み出す。そして、機械音補正部６３は、以下の式（８）のように、平滑化係数ｒ（０＜ｒ＜１）を用いてＨｐとＨｔを平滑化することにより、補正係数Ｈを算出する。このように、現在の補正係数Ｈｔと過去の補正係数Ｈｐを平滑化することで、個々のズーム動作における音声スペクトルＸの異常値の影響を抑制できるので、信頼性の高い補正係数Ｈを算出できる。
Ｈ＝（１−ｒ）・Ｈｐ＋ｒ・Ｈｔ ・・・（８）
【０１３７】
その後、機械音補正部６３は、Ｓ８５で求めた補正係数Ｈを、Ｈｐとして記憶部６３１に記憶する（ステップＳ８６）。さらに、記憶部６３１に記憶されている積算値ｓｕｍ＿Ｐｘ及び積算値ｓｕｍ＿Ｐｚをゼロにリセットする（ステップＳ８７）。
【０１３８】
以上の処理Ｂにより、ズームモータ１５の動作中は常に、音声信号ｘのＮ２個のフレームごとに、モータ動作前後における音声スペクトルＸの差分ｄＰｘと、モータ動作中の推定機械音スペクトルＺの平均値Ｐｚ＿ａが算出される。そして、当該ｄＰｘとＰｚ＿ａから、最新のＮ２個のフレームに対応する補正係数Ｈが算出され、記憶部６３１に記憶されるＨｐが当該最新の補正係数Ｈに更新される。
【０１３９】
以上、本実施形態に係る機械音補正部６３の動作について説明した。かかる機械音補正部６３は、駆動装置１４の動作停止中は常時、所定のフレーム数Ｎ１ごとに、音声スペクトルＸの平均値Ｐｘ＿ｂの算出を繰り返す。そして、駆動装置１４が動作開始すると、当該動作直前のＮ１個のフレームの音声スペクトルＸの平均値Ｐｘ＿ｂと、当該動作中の所定のフレーム数Ｎ２の音声スペクトルＸの平均値Ｐｘ＿ａとの差分ｄＰｘに基づいて、補正係数Ｈの算出を繰り返す。
【０１４０】
このように、本実施形態に係る機械音補正部６３は、音声スペクトルＸの周波数成分Ｘ（ｋ）ごとに、駆動装置１４の動作開始前後におけるスペクトル特性の変化に基づいて、補正係数Ｈを適切に求めることができる。従って、かかる補正係数Ｈを用いて、音声スペクトルＸの周波数成分Ｘ（ｋ）ごとに、機械音推定部６２により推定された推定機械音スペクトルＺを、実際の機械音スペクトルＺｒｅａｌに合うように適切に補正できる。
【０１４１】
［１．５．機械音低減部の詳細］
次に、本実施形態に係る機械音低減部６４の構成及び動作について説明する。
【０１４２】
［１．５．１．機械音低減部の構成］
まず、図１７を参照して、本実施形態に係る機械音低減部６４の構成について説明する。図１７は、本実施形態に係る機械音低減部６４の構成を示すブロック図である。なお、以下では、Ｌｃｈ用の機械音低減部６４Ｌの構成について説明するが、Ｒｃｈ用の機械音低減部６４Ｒの構成も実質的に同一であるので、その詳細説明は省略する。
【０１４３】
図１７に示すように、機械音低減部６４Ｌは、抑圧値算出部６４１と、演算部６４２を備える。抑圧値算出部６４１には、上記Ｌｃｈ用の周波数変換部６１Ｌから音声スペクトル信号ＸＬが入力され、上記機械音補正部６３から推定機械音スペクトル信号Ｚと補正係数ＨＬが入力される。演算部６４２には、上記Ｌｃｈ用の周波数変換部６１Ｌから音声スペクトル信号ＸＬが入力される。
【０１４４】
抑圧値算出部６４１は、音声スペクトル信号ＸＬ、推定機械音スペクトル信号Ｚ及び補正係数ＨＬに基づいて、音声スペクトル信号ＸＬから機械音成分を除去するための抑圧値（例えば、後述する抑圧係数ｇ）を算出する。演算部６３２は、抑圧値算出部６４１により算出された抑圧値に基づいて、音声スペクトル信号ＸＬから、機械音成分を低減する。
【０１４５】
［１．５．２．機械音低減部の動作］
次に、図１８を参照して、本実施形態に係る機械音低減部６４の動作について説明する。図１８は、本実施形態に係る機械音低減部６４の動作を示すフローチャートである。なお、実際には、音声信号ｘＬ、ｘＲを周波数変換して音声スペクトル信号ＸＬ、ＸＲを得ているので、音声スペクトル信号ＸＬ、ＸＲの各周波数成分ＸＬ（ｋ）、ＸＲ（ｋ）ごとに、推定機械音スペクトルＺ（ｋ）と補正係数ＨＬ（ｋ）、ＨＲ（ｋ）を用いて、機械音を低減する必要がある。しかし、以下では説明の便宜上、１つの周波数成分のＸＬ（ｋ）、ＸＲ（ｋ）の機械音を除去するためのフローチャートを用いて説明した。
【０１４６】
本実施形態に係る音声信号処理装置及び方法において、機械音低減部６４に適用する雑音低減方法については、特に制約はなく、公知の任意の雑音低減方法（例えば、ウィーナーフィルタ、スペクトラル・サブトラクション法など）を利用できる。以下では、ウィーナーフィルタを用いた雑音低減方法の例について説明する。
【０１４７】
図１８に示すように、まず、機械音低減部６４は、周波数変換部６１から音声スペクトルＸを受け取るとともに（ステップＳ９０）、機械音補正部６３から推定機械音スペクトルＺ及び補正係数Ｈを受け取る（ステップＳ９２）。
【０１４８】
次いで、機械音低減部６４は、音声スペクトルＸ、推定機械音スペクトルＺ及び補正係数Ｈに基づいて、抑圧係数ｇを算出する（ステップＳ９４）。この抑圧係数ｇの算出処理の詳細は後述する。
【０１４９】
その後、機械音低減部６４は、抑圧係数ｇに基づいて、音声スペクトルＸから機械音成分を低減して、出力音声スペクトルＹを出力する（ステップＳ９８）。具体的には、機械音低減部６４は、以下の式（９）のように、音声スペクトルＸに抑圧係数ｇを乗算することによって、機械音が低減された出力音声スペクトルＹを生成する。
Ｙ＝ｇ・Ｘ ・・・（９）
【０１５０】
図１９は、図１９中の抑圧係数ｇの算出処理Ｓ９４のサブルーチンを示すフローチャートである。図１９に示すように、まず、機械音低減部６４は、上記音声スペクトルＸを二乗して、当該音声スペクトルＸのパワースペクトルＰｘを算出し、上記推定機械音スペクトルＺを二乗して、当該推定機械音スペクトルＺのパワースペクトルＰｚを算出する（ステップＳ９５）。
【０１５１】
次いで、機械音低減部６４は、以下の式（１０）のように、上記音声スペクトルＸのパワースペクトルＰｘを、推定機械音スペクトルＺのパワースペクトルＰｚ及び補正係数Ｈで除算することにより、ＰｘとＰｚの比率σを算出する（ステップＳ９６）。
σ＝Ｐｘ／（Ｈ・Ｐｚ） ・・・（１０）
【０１５２】
その後、機械音低減部６４は、上記Ｓ９６で求めた比率σを用いて、抑圧係数ｇを算出する（ステップＳ９７）。具体的には、機械音低減部６４は、以下の式（１１）のように、｛（σ−１）／σ｝又はβのうち大きい値を、抑圧係数ｇとする。ここで、βは、フロアリング項であり、抑圧係数ｇが負の値とならなるように設定される。例えば、β＝０．１である。
ｇ＝ｍａｘ（｛（σ−１）／σ｝，β） ・・・（１１）
【０１５３】
このように機械音低減部６４は、音声スペクトルＸと推定機械音スペクトルＺが入力されたときに、ＸのパワースペクトルＰｘとＺのパワースペクトルＰｚの比率σに応じて、抑圧係数ｇを決定する。機械音が無い又は非常に小さい場合には、σは十分に大きくなり、ｇは１に近づく。従って、出力音声スペクトルＹのパワースペクトルは、音声スペクトルＸとほぼ同様である。一方、機械音が有る場合には、σが小さくなり、ｇは加減値β（例えばβ＝０．１）に近づく。従って、出力音声スペクトルＹのパワースペクトルは、音声スペクトルＸよりも小さくなる。なお、上記では式（１０）、（１１）のような関数形の抑圧係数ｇを用いたが、予め設定された抑圧係数ｇのルックアップテーブルから、ＸとＺに応じてｇの値を参照するようにしてもよい。
【０１５４】
以上、本実施形態に係る信号処理装置及び方法について説明した。本実施形態によれば、機械音推定部６２は、２つのマイクロホン５１、５２と駆動装置との相対位置関係に基づいて、音声スペクトルＸを演算して、推定機械音スペクトルＺを推定する。これにより、従来のような機械音スペクトルのテンプレートを利用せずに、デジタルカメラ１による撮像及び録音中に、雑像動作に伴って発生する機械音を動的に推定できる。
【０１５５】
さらに、機械音補正部６３は、駆動装置１４の動作開始前後における音声スペクトルＸの周波数特性の変化を利用して、個々の周波数成分Ｘ（ｋ）ごとに、補正係数Ｈ（ｋ）を適切に算出する。従って、かかる補正係数Ｈ（ｋ）により、推定機械音スペクトルＺの各周波数成分（ｋ）を、実際にマイクロホン５１、５２に入力される機械音の各周波数成分に合うように補正できる。よって、補正後の推定機械音スペクトルＺを用いて、音声スペクトルＸから機械音成分を適切に除去することができる。
【０１５６】
このように本実施形態では、デジタルカメラ１による撮像及び録音動作中に動的に機械音を推定及び補正することで、個々のカメラごとに異なる機械音を正確に求めて、十分に低減することができる。また、同一のカメラにおいても、駆動装置の動作ごとに異なる機械音を正確に求めて、十分に低減することができる。
【０１５７】
＜２．第２の実施の形態＞
次に、本発明の第２の実施形態に係る音声信号処理装置及び音声信号処理方法について説明する。第２の実施形態は、上記第１の実施形態と比べて、駆動装置１４の動作開始前後における外部音声（所望音）の変化に応じて、補正係数Ｈを算出すべきか否かを判断する点で相違する。第２の実施形態のその他の機能構成は、上記第１の実施形態と実質的に同一であるので、その詳細説明は省略する。
【０１５８】
［２．１．機械音補正の概念］
上述した第１の実施形態に係る音声信号処理方法では、ズームモータ１５等の駆動装置１４が一定時間動作した場合には常に、補正係数Ｈを算出していた。駆動装置１４の動作停止期間と動作期間との間で、デジタルカメラ１周辺の音環境が変化していない場合には、第１の実施形態に係る方法は、好適に推定機械音スペクトルＺを補正できる。
【０１５９】
しかし、実際の録音環境においては、図２０に示すように、駆動装置１４の動作前には無かった外部音声（所望音）が、駆動装置１４の動作中に発生する場合がある。図２０Ａは、ズームモータ１５の動作開始前後で外部音声が変化しない場合の音声信号ｘの波形を示し、図２０Ｂは、ズームモータ１５の動作開始前後で外部音声が変化する場合の音声信号ｘの波形を示す。図２０Ｂに示すように、ズームモータ１５の動作中に外部音声が変化した場合、動作期間中の音声信号ｘには、変化分の外部音声Ｃが含まれることとなる。
【０１６０】
このように駆動装置１４の動作開始前後で外部音声（所望音）が変化する場合には、動作開始前後における音声スペクトルＸの差分ｄＸには、駆動装置１４から生じた機械音のみならず、外部音声の変化分も含まれる。従って、第１の実施形態のように単純に差分ｄＸを用いて補正係数Ｈを求める方法では、外部音声の変化の影響を考慮していないので、機械音以外の成分が補正係数Ｈに含まれることとなる。この結果、推定機械音スペクトルＺを適切に補正できずに、機械音のみならず、所望音の変化分までも除去することとなり、音質劣化を引き起こす可能性がある。よって、かかる外部音声が変化する場合の対応に関して、第１の実施形態には改善の余地がある。
【０１６１】
そこで、第２の実施形態では、駆動装置１４の動作開始前後における外部音声のスペクトル形状の変化に応じて、補正係数Ｈを更新すべきか否かを判定する機能を追加することで、上記問題を解決する。具体的には、機械音補正部６３は、上記第１の実施形態の機能に加えて、駆動装置１４の動作開始前後で、外部音声のスペクトルが変化しているか否かを判断して、補正係数Ｈを更新すべきか否かを判定する機能を有する。
【０１６２】
即ち、機械音補正部６３は、駆動装置１４が動作したときに、当該駆動装置１４の動作開始前後における音声スペクトル信号ＸＬ、ＸＲの周波数特性を比較するとともに、駆動装置１４の動作中における音声スペクトル信号ＸＬ、ＸＲの周波数特性を比較する。さらに、機械音補正部６３は、当該２つの比較結果に基づいて、駆動装置１４の動作開始前後における外部音声の変化度を判定する。そして、当該外部音声の変化度が所定の閾値より大きい場合には、機械音補正部６３は、補正係数Ｈを更新しないと判定し、駆動装置１４の前回までの動作で求めた補正係数Ｈを更新することなく、そのまま利用する。一方、当該外部音声の変化度が所定の閾値未満である場合には、機械音補正部６３は、補正係数Ｈを更新すると判定し、駆動装置１４の前回までの動作で求めた補正係数Ｈと、今回求めた補正係数Ｈｔを用いて、補正係数Ｈを更新する。
【０１６３】
上記のように外部音声の変化度に応じて補正係数Ｈを求めるために、第２の実施形態では、図２１に示すように、機械音の特徴を３つのパターンに分類して、外部音声の変化を検出する。
【０１６４】
図２１Ａは、ズームモータ１５から発生する機械音の周波数特性が主として低域（例えば０〜１ｋＨｚ）にある場合、図２１Ｂは、当該機械音の周波数特性が主として中域以上（例えば１ｋＨｚ〜）にある場合、図２１Ｃは、当該機械音の周波数特性が全周波数帯域に広がっている場合の音声スペクトルの分布を示す。図２１中の実線は、ズームモータ１５の動作期間中に測定された音声スペクトルＸの平均値を示し、図２１中の破線は、ズームモータ１５の動作停止期間中に測定された音声スペクトルＸの平均値を示す。
【０１６５】
第２の実施形態では、従来のように多数台のデジタルカメラ１の測定結果から得た機械音テンプレートを利用しないで、機械音低減を実現するが、図２１に示したように、デジタルカメラ１で発生する機械音の特徴に関する事前知識（例えば、数台程度の測定で分かる機械音の周波数特性）については利用する。この場合、複数台のデジタルカメラ１で生じる機械音の音声スペクトルＸを測定する必要があるが、測定台数としては、機械音テンプレートを作成するほどの台数は必要でなく、数台程度で十分である。機械音の周波数特性が主に、低域であるか、中・高域であるか、或いは全域であるかが予め分かっていれば、以下に説明するような機械音の周波数特性別の判定処理が可能となる。
【０１６６】
以下に、図２２〜図２４を参照して、上記図２１Ａ〜Ｃの３つのケースにおける外部音声の変化の検出方法の概要について説明する。
【０１６７】
（Ａ）機械音の周波数帯域が低域である場合（図２１Ａ）
図２２の上図に示すように、機械音の周波数帯域が主に低域である場合、ズームモータ１５の動作中に外部音声（周囲の音環境）が変化しない限り、音声信号ｘの低域のスペクトル形状（機械音成分）は、モータ動作期間中はほぼ同一形状である。また、音声信号ｘの中域以上のスペクトル形状（所望音成分）は、モータ動作開始前後で変化しない。
【０１６８】
そこで、本実施形態に係る機械音補正部６３は、入力された音声信号ｘを時間周波数成分に変換し、あるまとまった単位をブロックとして、ブロックごとに比較処理を行う。例えば図２２の下図に示すように、機械音補正部６３は、モータ動作中の低域スペクトル形状ｐ１と、モータ動作開始直前の中域スペクトル形状ｐ２と、着目するブロックＣにおける現在のスペクトル形状ｑを比較し、ｐ１及びｐ２に対するｑの変化度を算出する。そして、モータ動作中の低域スペクトル形状ｐ１と現在のスペクトル形状ｑの低域成分とが類似し、かつ、モータ動作前の中域スペクトル形状ｐ２と現在のスペクトル形状ｑの中域成分とが類似する場合、機械音補正部６３は、ズームモータ１５の動作開始前と後で周囲の音環境の変化（外部音声の変化度）が小さいと判断する。もし、モータ動作期間中に、外部音声が変化したならば、ｐ１に対するｑの変化度ｐ１、又はｐ２に対するｑの変化度のうち少なくともいずれか一方が、大きくなるはずである。
【０１６９】
このように、機械音補正部６３は、モータ動作期間中における２つのブロックの低域成分の比較結果と、モータ動作開始前後における２つのブロックの中域成分の比較結果から、外部音声の変化度を求める。そして、機械音補正部６３は、当該変化度が小さい場合には、第１の実施形態と同様に補正係数Ｈを更新し、一方、当該変化度が大きい場合には、現在のブロックＣで得たデータを用いて補正係数Ｈを更新しない。
【０１７０】
（Ｂ）機械音の周波数帯域が中域以上である場合（図２１Ｂ）
同様に、機械音の周波数帯域が主に中域以上である場合、ズームモータ１５の動作中に外部音声（周囲の音環境）が変化しない限り、音声信号ｘの中域以上のスペクトル形状（機械音成分）は、モータ動作期間中はほぼ同一形状である。また、音声信号ｘの低域のスペクトル形状（所望音成分）は、モータ動作開始前後で変化しない。
【０１７１】
そこで、本実施形態に係る機械音補正部６３は、例えば図２３に示すように、機械音補正部６３は、モータ動作開始直前の低域スペクトル形状ｐ３と、モータ動作中の中域スペクトル形状ｐ４と、着目するブロックＣにおける現在のスペクトル形状ｑを比較し、ｐ３及びｐ４に対するｑの変化度を算出する。そして、ｐ３とｑの低域成分とが類似し、かつ、ｐ４とｑの中域成分とが類似する場合、機械音補正部６３は、ズームモータ１５の動作開始前と後で周囲の音環境の変化（外部音声の変化度）が小さいと判断する。もし、モータ動作期間中に、外部音声が変化したならば、ｐ３に対するｑの変化度、又はｐ４に対するｑの変化度のうち少なくともいずれか一方が、大きくなるはずである。
【０１７２】
このように、機械音補正部６３は、モータ動作開始前後における２つのブロックの低域成分の比較結果と、モータ動作期間中における２つのブロックの中域成分の比較結果から、外部音声の変化度を求める。そして、当該変化度が小さい場合には、機械音補正部６３は、外部音声の変化はないと判断して、第１の実施形態と同様に補正係数Ｈを更新する。一方、当該変化度が大きい場合には、機械音補正部６３は、外部音声の変化があると判断して、現在のブロックＣで得たデータを用いて補正係数Ｈを更新しない。
【０１７３】
（Ｃ）機械音の周波数帯域が全域に広がっている場合（図２１Ｃ）
機械音の周波数帯域が低域から高域まで全域に広がっている場合、ズームモータ１５の動作中に外部音声（周囲の音環境）が変化しない限り、音声信号ｘのスペクトル形状は、モータ動作期間中はほぼ同一形状である。
【０１７４】
そこで、本実施形態に係る機械音補正部６３は、例えば図２４に示すように、機械音補正部６３は、モータ動作中の低域スペクトル形状ｐ１と、モータ動作中の中域スペクトル形状ｐ４と、着目するブロックＣにおける現在のスペクトル形状ｑを比較し、ｐ１とｑの類似度及びｐ４とｑの類似度を算出する。そして、ｐ１とｑの低域成分とが類似し、かつ、ｐ４とｑの中域成分とが類似する場合、機械音補正部６３は、ズームモータ１５の動作期間中における周囲の音環境の変化（外部音声の変化度）が小さいと判断する。もし、モータ動作期間中に、外部音声が変化したならば、ｐ３とｑの類似度又はｐ４とｑの類似度の少なくともいずれか一方が、大きくなるはずである。
【０１７５】
このように、機械音補正部６３は、モータ動作開始期間中における２つのブロックの低域成分の比較結果と、モータ動作期間中における２つのブロックの中・高域成分の比較結果から、外部音声の変化度を求める。そして、当該変化度が小さい場合には、機械音補正部６３は、第１の実施形態と同様に補正係数Ｈを更新する。一方、当該変化度が大きい場合には、機械音補正部６３は、現在のブロックＣを用いて補正係数Ｈを更新しない。
【０１７６】
［２．２．機械音補正の動作］
次に、図２５〜図２７を参照して、第２の実施形態に係る機械音補正部６３により、周囲の音環境の変化（外部音声の変化度）に応じて、補正係数Ｈを更新すべきか否かを判断する場合の動作例について説明する。以下では、機械音が上記図２１Ａに示した（Ａ）の特徴を有する場合の処理例について説明するが、他の特徴の場合も同様に実施できる。
【０１７７】
図２５は、第２の実施形態に係る機械音補正部６３の動作タイミングを示すタイミングチャートである。なお、図２５のタイミングチャートでも、上記図１２と同様、時間軸上で上記フレームを基準として示してある。
【０１７８】
図２５に示すように、第２の実施形態に係る機械音補正部６３の動作タイミングは、上述した第１の実施形態の場合（図１２参照。）と同様であり、基本処理、処理Ａ、処理Ｂ）を同時並行で行う。機械音補正部６３は、常に基本処理を行いながら、モータ動作停止期間中には処理Ａを実行し、モータ動作期間中には処理Ｂを実行する。ただし、機械音補正部６３は、図２５における処理Ｂ２のタイミングで、上述した外部音声の変化度に応じた判断処理を行う際には、処理Ａ２と処理Ｂ１で得た平均パワースペクトルを使用する。
【０１７９】
また、第２の実施形態に係る機械音補正部６３の基本的な動作フローは、上記第１の実施形態と同様であり（図１３参照。）、基本処理及び処理Ａの動作フローも、上記第１の実施形態と同様であり（図１４、図１５参照。）。ただし、第２の実施形態では、処理Ｂの具体的処理内容が第１の実施形態と相違する。
【０１８０】
次に、図２６及び図２７を参照して、第２の実施形態に係るズームモータ１５の動作中（ズーム音の発生時）に行われる処理Ｂについて詳述する。図２６は、図１３中の処理Ｂのサブルーチンを示すフローチャートである。
【０１８１】
図２６に示すように、機械音補正部６３は、ズームモータ１５の動作中における音声スペクトルＸのパワースペクトルＰｘの平均値Ｐｘ＿ａを算出し（ステップＳ８１）、ズームモータ１５の動作開始前後におけるＸの差分ｄＰｘを算出する（ステップＳ８２）。さらに、機械音補正部６３は、ズームモータ１５の動作中における推定機械音スペクトルＺのパワースペクトルＰｚの平均値Ｐｚ＿ａを算出し（ステップＳ８３）、ｄＰｘとＰｚ＿ａを用いて補正係数Ｈｔを算出する（ステップＳ８４）。
【０１８２】
以上のステップＳ８１〜Ｓ８４は、第１の実施形態と同様である。以下のステップＳ２００〜Ｓ２０８が第２の実施形態の特徴的な処理である。
【０１８３】
次いで、機械音補正部６３は、１つ前のブロックにおけるパワースペクトルＰｘの平均値Ｐｘ＿ａ（以下、前回の平均パワースペクトルＰｘ＿ｐという。）を記憶部６３１から読み出して、取得する（ステップＳ２００）。さらに、機械音補正部６３は、ズームモータ１５の動作開始直前のパワースペクトルＰｘの平均値Ｐｘ＿ｂ（以下、動作直前の平均パワースペクトルＰｘ＿ｂという。）を記憶部６３１から読み出して、取得する（ステップＳ２０２）。図２５に示したように、処理Ｂ２では、処理Ｂ１で求めたＰｘ＿ａであるＰｘ＿ｐと、モータ動作開始直前の処理Ａ２で求めたＰｘ＿ｂを利用する。
【０１８４】
次いで、周波数成分ごとに、Ｓ８１で求めたＰｘ＿ａと、Ｓ２００及びＳ２０２で得たＰｘ＿ｐ及びＰｘ＿ｂとを比較して、Ｓ当該比較結果に基づき、Ｐｘ＿ｐ及びＰｘ＿ｂに対するＰｘ＿ａの変化度ｄ（外部音声の変化度）を算出する（ステップＳ２０４）。
【０１８５】
ここで、図２７を参照して、Ｓ２０４の変化度ｄの算出処理について具体的に説明する。図２７は、図２６中の変化度ｄの算出処理Ｓ２０４のサブルーチンを示すフローチャートである。
【０１８６】
図２７に示すように、まず、機械音補正部６３は、Ｓ２００で得た前回の平均パワースペクトルＰｘ＿ｐから、低周波数成分Ｌ０−Ｌ１を選択する（ステップＳ２０４０）。上述したように、本実施形態では、音声スペクトルＸや推定機械音スペクトルＺを周波数成分ごとにＬ個のブロックに分割して処理している。本ステップＳ２０４０では、機械音補正部６３は、前回の平均パワースペクトルＰｘ＿ｐを分割したＬ個のブロックの中から、低周波数帯域（例えば１ｋＨｚ未満）に含まれるＬ０からＬ１番目までのブロックを抽出する。
【０１８７】
同様に、機械音補正部６３は、Ｓ２０２で得た動作直前の平均パワースペクトルＰｘ＿ｂから、中・高周波数成分Ｈ０−Ｈ１を選択する（ステップＳ２０４２）。本ステップＳ２０４２では、機械音補正部６３は、動作直前の平均パワースペクトルＰｘ＿ｂを分割したＬ個のブロックの中から、中・高周波数帯域（例えば１ｋＨｚ以上）に含まれるＨ０からＨ１番目までのブロックを抽出する。
【０１８８】
その後、機械音補正部６３は、以下の式（１２）のように、上記Ｐｘ＿ｐの低周波数成分Ｌ０−Ｌ１とＰｘ＿ｂの中・高周波数成分Ｈ０−Ｈ１を演算することにより、Ｐｘ＿ｐ及びＰｘ＿ｂに対するＰｘ＿ａの変化度ｄ（外部音声の変化度）を求める（ステップＳ２０４４）。この変化度ｄは、モータ動作中における外部音声の変化度を表す。
【０１８９】
【数１】
【０１９０】
図２６に戻り、上記Ｓ２０４の後に、機械音補正部６３は、予め設定された変化度ｄの閾値ｄｔｈを記憶部６３１から読み出し（ステップＳ２０８）、Ｓ２０４で求めた変化度ｄが、閾値ｄｔｈ未満であるか否かを判定する（ステップＳ２１０）。
【０１９１】
この結果、ｄ＜ｄｔｈである場合には、モータ動作期間中において外部音声の変化があまり無いと考えることができる。そこで、この場合には、機械音補正部６３は、第１の実施形態と同様に、Ｓ８４で処理対象のブロックから求めた現在の補正係数Ｈｔを用いて、補正係数Ｈを更新し（ステップＳ８５）、Ｈｐとして記憶部６３１に記憶し（ステップＳ８６）、記憶部６３１に記憶されている積算値ｓｕｍ＿Ｐｘ及び積算値ｓｕｍ＿Ｐｚをゼロにリセットする（ステップＳ８７）。
【０１９２】
一方、ｄ≧ｄｔｈである場合には、モータ動作期間中において外部音声の変化があると考えることができる。そこで、この場合には、機械音補正部６３は、Ｓ８４で処理対象のブロックから求めた現在の補正係数Ｈｔを用いて、補正係数Ｈを更新することなく、Ｓ８７の処理を行う。これにより、モータ動作中に外部音声のスペクトルが変化した場合に、そのブロックのＰｘ＿ａは、異常値として、補正係数Ｈの計算から除外することができる。
【０１９３】
その後、機械音補正部６３は、記憶部６３１に記憶されている過去の平均スペクトルｘ＿ｐを、Ｓ８１で求めた平均パワースペクトルＰｘ＿ａに更新する。これにより、ズームモータ１５の動作中は常に、最新の平均パワースペクトルＰｘ＿ａが、記憶部６３１に記憶されることとなる。
【０１９４】
以上、第２の実施形態に係る機械音補正部６３の動作フローについて説明した。本実施形態によれば、上記第１の実施形態の効果に加えて、さらに次の効果がある。
【０１９５】
即ち、本実施形態では、機械音補正部６３は、モータ動作期間中における音声スペクトルＸの低周波数成分の比較結果と、モータ動作開始前後における中・高周波数成分の比較結果から、モータ動作中における外部音声の変化度を求める。そして、機械音補正部６３は、この外部音声の変化度に応じて、現在の処理ブロックの平均パワースペクトルＰｘ＿ａを用いて補正係数Ｈを更新するか否かを判断し、当該変化度が小さい場合にのみ、補正係数Ｈを更新する。
【０１９６】
これにより、外部音声の変化の影響を排除して、補正係数Ｈを適切に設定できるので、機械音以外の成分が補正係数Ｈに含まれることを防止できる。よって、モータ動作開始前後において外部音声が変化する場合においても、推定機械音スペクトルＺを適切に補正して、所望音の変化分を除去せずに機械音のみを除去することができ、録音音声の音質劣化を引き起こすことを防止できる。
【０１９７】
＜３．第３の実施の形態＞
次に、本発明の第３の実施形態に係る音声信号処理装置及び音声信号処理方法について説明する。第３の実施形態は、上記第２の実施形態と比べて、周辺の音環境に応じて、補正係数の平滑化係数ｒを動的に制御する点で相違する。第３の実施形態のその他の機能構成は、上記第２の実施形態と実質的に同一であるので、その詳細説明は省略する。
【０１９８】
［３．１．機械音補正の概念］
上記第２の実施形態で述べたように、補正するべき機械音の特性は、周辺の環境音（所望音）のスペクトルの形状に依存して変化する。このため、収音された外部音声に対する機械音の低減量も、所望音のスペクトルの形状に応じて変化する。
【０１９９】
図２８は、機械音の低減量を模式的に示す説明図である。図２８に示すように、実際の機械音スペクトルＺｒｅａｌと所望音のスペクトルＷの和が、マイクロホン５１、５２により収音される音声スペクトルＸとなる。従って、実際の機械音スペクトルＺｒｅａｌが同一であったとしても、所望音のスペクトルＷが異なれば、機械音の低減量は異なる。例えば、図２８Ａに示すように、所望音のスペクトルＷ１が相対的に小さい場合には、音声スペクトルＸ１から低減すべき機械音の低減量が大きくなる。一方、図２８Ｂに示すように、所望音のスペクトルＷ２が相対的に大きい場合には、音声スペクトルＸ２から低減すべき機械音の低減量が大きくなる。
【０２００】
従って、現在収音される所望音の音量が小さい場合には、現在の音声スペクトルＸによる補正係数Ｈの更新量を大きくして、過去の音声スペクトルＸよりも現在の音声スペクトルＸが補正係数Ｈに及ぼす影響度を高めることが好ましい。一方、現在収音される所望音の音量が大きい場合には、現在の音声スペクトルＸによる補正係数Ｈの更新量を小さくして、現在の音声スペクトルＸによる影響度を低めることが好ましい。
【０２０１】
そこで、第３の実施形態では、周囲の音環境（所望音の音量）に応じて、現在の音声スペクトルＸによる補正係数Ｈの更新量を制御することで、常に一定の機械音低減を実現する。具体的には、機械音補正部６３は、マイクロホン５１、５２から入力された音声信号ｘのレベルに基づいて、補正係数Ｈを算出する際の平滑化係数ｒ＿ｓｍを制御する。この平滑化係数ｒ＿ｓｍは、現在の音声スペクトルＸにより定まる補正係数Ｈｔと、過去の音声スペクトルＸにより定まる補正係数Ｈｐとを平滑化するために用いられる係数である（図３１のＳ３８５参照。）。この平滑化係数ｒ＿ｓｍを制御することで、現在の音声スペクトルＸによる補正係数Ｈの更新量を制御できる。
【０２０２】
なお、以下では、駆動装置１４の動作開始前の動作停止期間における音声信号ｘのレベル（例えば、モータ動作停止中の入力音声の音量）に基づいて、補正係数Ｈの更新量を制御する例について説明する。これにより、所望音の音量を好適に検出できるが、かかる例に限定されず、駆動装置１４の動作期間中の音声信号ｘに基づいて、補正係数Ｈの更新量を制御することも可能である。また、図２では図示しないが、マイクロホン５１、５２から機械音補正部６３Ｌ、６３Ｒに音声信号ｘＬ、ｘＲが入力されているものとする。
【０２０３】
［３．２．機械音補正の動作］
次に、図２９〜図３２を参照して、第３の実施形態に係る機械音補正部６３により、ズームレンズ１５の動作停止期間（機械音が発生していないとき）の音量に応じて、補正係数Ｈの更新量を制御する場合の動作例について説明する。
【０２０４】
第３の実施形態に係る機械音補正部６３の動作タイミングは、上述した第１の実施形態に係る機械音補正部６３の動作タイミング（図１２参照。）と実質的に同一である。機械音補正部６３は、常に基本処理を行いながら、モータ動作停止期間中には処理Ａを実行し、モータ動作期間中には処理Ｂを実行する。
【０２０５】
また、第３の実施形態に係る機械音補正部６３の基本的な動作フローは、上記第１の実施形態と同様である（図１３参照。）。ただし、第３の実施形態では、基本処理、処理Ａ及び処理Ｂの具体的処理内容が第１の実施形態と相違する。そこで、以下では、第３の実施形態に係る基本処理、処理Ａ及び処理Ｂの動作フローについて説明する。
【０２０６】
まず、図２９を参照して、第３の実施形態に係る基本処理について詳述する。図２９は、図１３中の基本処理のサブルーチンを示すフローチャートである。機械音補正部６３は、音声信号ｘの１フレームを周波数変換した１ブロックごとに以下の基本処理を行う。
【０２０７】
図２９に示すように、機械音補正部６３は、周波数変換部６１から音声スペクトルＸを受け取るとともに（ステップＳ４２）、機械音推定部６２から推定機械音スペクトルＺを受け取る（ステップＳ４４）。次いで、機械音補正部６３は、音声スペクトルＸのパワースペクトルＰｘを算出し、推定機械音スペクトルＺのパワースペクトルＰｚを算出する（ステップＳ４６）。
【０２０８】
以上のステップＳ４１〜Ｓ４６は、第１の実施形態と同様である。以下のステップＳ３４７〜Ｓ３４８が第３の実施形態の特徴的な処理である。
【０２０９】
次いで、機械音補正部６３は、マイクロホン５１、５２から入力される現在の音声信号ｘ（ｎ）の信号レベルの二乗平均を算出して、その単位をデシベルに変換することで、モータ動作停止期間における入力音声の音量Ｅ［ｄＢ］を求める（ステップＳ３４７）。この入力音声の音量Ｅの算出式は、例えば、以下の式（１３）で表される。当該入力音声の音量Ｅは、マイクロホン５１、５２から入力される外部音声の音量を表す。なお、Ｎは、音声信号ｘをフレームに分割したときのフレームサイズ（１フレームに含まれる音声信号のサンプル数）である。
【０２１０】
【数２】
【０２１１】
さらに、機械音補正部６３は、記憶部６３１に記憶されているパワースペクトルＰｘの積算値ｓｕｍ＿Ｐｘ、パワースペクトルＰｚの積算値ｓｕｍ＿Ｐｚに、Ｓ４６で求めたパワースペクトルＰｘ、Ｐｚをそれぞれ加算する（ステップＳ３４８）。また、機械音補正部６３は、記憶部６３１に記憶されている入力音声の平均音量Ｅの積算値ｓｕｍ＿Ｅに、Ｓ３４７で求めた入力音声の音量Ｅを加算する（ステップＳ３４８）。
【０２１２】
以上のようにして、基本処理では、音声信号ｘのＮ１フレームごとに、音声スペクトルＸのパワースペクトルＰｘの積算値ｓｕｍ＿Ｐｘ、推定機械音スペクトルＺのパワースペクトルＰｚの積算値ｓｕｍ＿Ｐｚ、及び入力音声の音量Ｅの積算値ｓｕｍ＿Ｅを算出する。
【０２１３】
次に、図３０を参照して、第３の実施形態に係るズームモータ１５の動作停止中（ズーム音の非発生時）に行われる処理Ａについて詳述する。図３０は、図１３中の処理Ａのサブルーチンを示すフローチャートである。
【０２１４】
図３０に示すように、まず、機械音補正部６３は、ズームモータ１５の動作停止中におけるＰｘの平均値Ｐｘ＿ｂを算出する（ステップＳ７２）。このＳ７２は、第１の実施形態と同様である。以下のステップＳ３７４〜Ｓ３７８が第３の実施形態の特徴的な処理である。
【０２１５】
次いで、機械音補正部６３は、上記入力音声の音量Ｅの積算値ｓｕｍ＿Ｅをフレーム数Ｎ１で除算することにより、ズームモータ１５の動作停止中における入力音声の音量Ｅの積算値ｓｕｍ＿Ｅの平均値Ｅａ（以下、入力音声の平均音量Ｅａという）を算出する（ステップＳ３７４）。
【０２１６】
さらに、機械音補正部６３は、上記Ｓ３７４で算出した入力音声の平均音量Ｅａに基づいて、所定の関数Ｆ（Ｅａ）により平滑化係数ｒ＿ｓｍを算出して、記憶部６３１に記憶する（ステップＳ３７６）。この平滑化係数ｒ＿ｓｍは、後述する図３１のＳ３８５で、補正係数Ｈを更新するために用いられる重み付け係数であり、ｒ＿ｓｍの値が大きいほど、現在の音声スペクトルＸから求めた補正係数Ｈｔによる補正係数Ｈの更新量が大きくなる。
【０２１７】
図３２は、本実施形態に係る入力音声の平均音量Ｅａと平滑化係数ｒ＿ｓｍの関係を例示する説明図である。上記Ｓ３７６では、例えば図３２に示すように、モータ動作停止期間における入力音声の平均音量Ｅａが大きくなるにつれて、平滑化係数ｒ＿ｓｍが小さくなるような関数Ｆ（Ｅａ）により、平滑化係数ｒ＿ｓｍが決定される（０＜ｒ＿ｓｍ＜１）。この結果、入力音声の平均音量Ｅａが大きいほど、平滑化係数ｒ＿ｓｍがゼロに近い値に設定され、逆に、入力音声の平均音量Ｅａが小さいほど、平滑化係数ｒ＿ｓｍが上限値（例えば０．１５）に近い値に設定される。
【０２１８】
その後、機械音補正部６３は、記憶部６３１に記憶されている積算値ｓｕｍ＿Ｐｘ、積算値ｓｕｍ＿Ｐｚ及び入力音声の音量Ｅの積算値ｓｕｍ＿Ｅをゼロにリセットする（ステップＳ３７８）。
【０２１９】
以上の処理Ａにより、ズームモータ１５の動作停止中は常に、音声信号ｘのＮ１個のフレームごとに、音声スペクトルＸのパワースペクトルＰｘの平均値Ｐｘ＿ｂが算出され、記憶部６３１に記憶されるＰｘ＿ｂが、最新のＮ１個のフレームの平均値Ｐｘ＿ｂに更新されることとなる。また、音声信号ｘのＮ１個のフレームごとに、モータ動作停止中における入力音声の平均音量Ｅａと、平滑化係数ｒ＿ｓｍが算出され、記憶部６３１に記憶されるＥａと平滑化係数ｒ＿ｓｍが、最新のＮ１個のフレームに対応する平均値Ｅａと平滑化係数ｒ＿ｓｍに更新されることとなる。
【０２２０】
次に、図３１を参照して、第３の実施形態に係るズームモータ１５の動作中（ズーム音の発生時）に行われる処理Ｂについて詳述する。図３１は、図１３中の処理Ｂのサブルーチンを示すフローチャートである。
【０２２１】
図３１に示すように、機械音補正部６３は、ズームモータ１５の動作中における音声スペクトルＸのパワースペクトルＰｘの平均値Ｐｘ＿ａを算出し（ステップＳ８１）、ズームモータ１５の動作開始前後におけるＸの差分ｄｐＸを算出する（ステップＳ８２）。さらに、機械音補正部６３は、ズームモータ１５の動作中における推定機械音スペクトルＺのパワースペクトルＰｚの平均値Ｐｚ＿ａを算出し（ステップＳ８３）、補正係数Ｈｔを算出する（ステップＳ８４）。
【０２２２】
以上のステップＳ８１〜Ｓ８４は、第１の実施形態と同様である。以下のステップＳ３８５〜Ｓ３８７が第３の実施形態の特徴的な処理である。
【０２２３】
次いで、機械音補正部６３は、上記Ｓ８４で求めた現在の補正係数Ｈｔと、過去に求めた補正係数Ｈｐを用いて、補正係数Ｈを算出する（ステップＳ３８５）。具体的には、機械音補正部６３は、記憶部６３１に記憶されている過去の補正係数Ｈｐと、平滑化係数ｒ＿ｓｍを読み出す。当該平滑化係数ｒ＿ｓｍは、上記Ｓ３７６により、モータ動作開始直前の入力音声の平均音量Ｅａから求めた最新の値である。そして、機械音補正部６３は、以下の式（１４）のように、平滑化係数ｒ＿ｓｍ（０＜ｒ＜１）を用いてＨｐとＨｔを平滑化することにより、補正係数Ｈを算出する。このように、ｒ＿ｓｍを用いて現在の補正係数Ｈｔと過去の補正係数Ｈｐを平滑化することで、個々のズーム動作における音声スペクトルＸの異常値の影響を抑制できるので、信頼性の高い補正係数Ｈを算出できる。
Ｈ＝（１−ｒ＿ｓｍ）・Ｈｐ＋ｒ＿ｓｍ・Ｈｔ ・・・（１４）
【０２２４】
その後、機械音補正部６３は、Ｓ３８５で求めた補正係数Ｈを、Ｈｐとして記憶部６３１に記憶する（ステップＳ３８６）。さらに、記憶部６３１に記憶されている積算値ｓｕｍ＿Ｐｘ、積算値ｓｕｍ＿Ｐｚ及び積算値ｓｕｍ＿Ｅをゼロにリセットする（ステップＳ３８７）。
【０２２５】
以上の処理Ｂにより、ズームモータ１５の動作中は常に、音声信号ｘのＮ２個のフレームごとに、モータ動作前後における音声スペクトルＸの差分ｄＰｘと、モータ動作中の推定機械音スペクトルＺの平均値Ｐｚ＿ａが算出される。そして、当該ｄＰｘとＰｚ＿ａから、最新のＮ２個のフレームに対応する補正係数Ｈが算出され、記憶部６３１に記憶されるＨｐが当該最新の補正係数Ｈに更新される。
【０２２６】
このときの補正係数Ｈの更新量は、モータ動作開始直前の入力音声の平均音量Ｅａに応じて、適切に制御される。即ち、当該入力音声の平均音量Ｅａ（所望音の音量）が大きいときは、周囲の所望音中に機械音が埋もれているので、モータ動作中の現在の補正係数Ｈｔによる補正係数Ｈの更新量は小さくすることが好ましい。この理由は、周囲の平均音量によらず一定の機械音低減量を実現するためである。また、上記のように所望音中に機械音が埋もれているときには、機械音を適切に抽出することができず、却って所望音を劣化させてしまうという悪影響があるからである。
【０２２７】
そこで、本実施形態では、入力音声の平均音量Ｅａが大きいときは、Ｅａに応じて平滑化係数ｒ＿ｓｍを小さな値に設定して、現在の補正係数Ｈｔによる補正係数Ｈの更新量を抑える。これにより、機械音の過剰推定や過小推定による音質劣化を回避できる。一方、入力音声の平均音量Ｅａが小さいときは、機械音が目立つので、Ｅａに応じて平滑化係数ｒ＿ｓｍを大きな値に設定して、現在の補正係数Ｈｔによる補正係数Ｈの更新量を大きくする。これにより、現在のモータ動作中の補正係数Ｈｔを補正係数Ｈに大きく反映させて、機械音を適切に推定及び除去して、所望音を抽出できる。
【０２２８】
＜４．第４の実施の形態＞
次に、本発明の第４の実施形態に係る音声信号処理装置及び音声信号処理方法について説明する。第４の実施形態は、上記第１の実施形態と比べて、音源環境の特徴量Ｐに応じて、機械音低減処理に用いる機械音スペクトルを選択する点で相違する。第４の実施形態のその他の機能構成は、上記第２の実施形態と実質的に同一であるので、その詳細説明は省略する。
【０２２９】
［４．１．機械音低減方法の概要］
次に、本発明の第４の実施形態に係る音声信号処理装置及び方法による機械音低減方法の概要について説明する。
【０２３０】
上述した第１〜３の実施形態では、機械音スペクトルのテンプレートを利用せずとも、機械音推定部６２により実際の音声スペクトルＸから推定機械音スペクトルＺを推定して、機械音の低減を実現している。しかしながら、第１〜第３の実施形態による機械音低減方法には、次の点で更なる改善の余地がある。
【０２３１】
例えば、外部音声を録音するデジタルカメラ１の周囲に多数の音源がある場所（例えば、賑やかな雑踏など）では、当該多数の音源で発生した所望音が多方向からマイクロホン５１、５２に到来する。このため、駆動装置１４の方向からマイクロホン５１、５２到来する機械音に所望音が混入するので、上記機械音推定部６２により得られる推定機械音スペクトルＺに、除去対象である機械音だけでなく、周囲の音（所望音）がかなり含まれることとなる。その結果、機械音推定部６２による機械音の過剰推定が起こるため、上記機械音低減処理によって、機械音を低減すると同時に、所望音をも過剰に抑圧してしまい、所望の音質を大きく劣化させてしまう恐れがある。
【０２３２】
このように、上記第１〜３の実施形態において入力音声から動的に機械音を動的に推定する方法では、機械音の過剰推定が起こると、録音される所望音が著しく劣化してしまうという問題がある。
【０２３３】
そこで、以下の第４の実施形態では、上記過剰推定を防止するために、カメラ周囲の音環境（音源環境）に応じて、機械音発声時に動的に推定される推定機械音スペクトルＺと、機械音発生前に予め得られた平均機械音スペクトルＴｚとを使い分ける。即ち、上記賑やかな雑踏のような多数の音源がある場所では、平均機械音スペクトルＴｚを使用することで、機械音の過剰推定を防止する一方、その他の場所では、上記推定機械音スペクトルＺを使用することで、機械音を正確に低減する。
【０２３４】
ここで、平均機械音スペクトルＴｚは、過去の機械音の実績から得られた平均的な機械音スペクトル信号である。この平均機械音スペクトルＴｚの算出方法としては、次の方法がある。例えば、デジタルカメラ１に設けられた音声信号処理装置が自ら、過去の機械音スペクトルの推定実績に基づいて、機械音スペクトルの特徴を学習することにより、平均機械音スペクトルＴｚを生成してもよい。或いは、複数台のデジタルカメラ１の駆動装置１４で発生する実際の機械音スペクトルＺｒｅａｌを測定し、当該測定結果に基づいて、機種ごとの平均機械音スペクトルＴｚのテンプレートを事前に求めておき、個々の装置において当該テンプレートを利用するようにしてもよい。
【０２３５】
前者のＴｚ算出方法についてより詳細に説明する。音声信号処理装置は、外部音声の録音中に、上記機械音補正部６３により、マイクロホン５１、５２により得られた音声スペクトルＸに基づいて、平均機械音スペクトルＴｚを自ら学習する。機械音補正部６３は、上述した推定機械音スペクトルＺの補正処理を行うと同時に、平均機械音スペクトルＴｚも算出する。そして、後述する機械音選択部を更に設け、当該機械音選択部により、音源環境に応じて、推定機械音スペクトルＺ、又は学習した平均機械音スペクトルＴｚのいずれかを選択する。
【０２３６】
なお、音源環境とは、音源の数のことを示す。例えば、マイクロホン５１、５２に対する入力音量、マイクロホン５１、５２間の音声相関、又は、推定機械音スペクトルＺなどを用いて、上記音源の数を推定可能である。
【０２３７】
ところで、上記のように録音中に平均機械音スペクトルＴｚのテンプレートを学習するのであれば、当該テンプレートをそのまま利用して、機械音を低減すればよいとの考えもある。しかしながら、実際の機械音は、駆動装置１４の動作の度に音質が変化し、また、１回の動作中でも変化する。このため、固定的な機械音テンプレートでは当該これら変化に追従することができない。従って、機械音の変化に追従して機械音の低減性能を向上するためには、上記第１の実施形態１〜３のように２つのマイクロホン５１、５２の入力音声信号ｘＬ、ｘＲから機械音を動的に推定することが好ましい。
【０２３８】
一方で、上記のように周囲が非常に賑やかな音源環境である場合、そもそも機械音は所望音に埋もれて聞こえにくくなり、機械音がユーザにとって不快ではなくなる。従って、機械音を大きく抑圧するよりは、所望音の劣化をなるべく引き起こさないように、機械音を低減することが望ましい。つまり、機械音を動的に推定して過剰推定してしまうよりも、実際の機械音に対して多少の誤差はあっても、所望音の劣化を確実に防ぐ方が好ましい。そこで、所望音成分を含まず機械音成分だけが含まれているスペクトルを利用して、機械音の低減処理を行うことが望ましい。よって、当該音源環境下では、機械音成分だけを含む平均機械音スペクトルＴｚのテンプレートを使用することが適切である。
【０２３９】
また、当該Ｔｚのテンプレートとしては、多数台のデジタルカメラ１の機械音を測定して得られる平均的な機械音テンプレートを利用可能であるが、上記理由により、必ずしも、個々のデジタルカメラ１毎に最適なものでなくてもよい。多数台の平均的な機械音テンプレートを得るためには、個々のカメラでの調整コストが大きくなる。そこで、個々のデジタルカメラ１内で、推定機械音スペクトルＺを補正しながら、平均機械音スペクトルＴｚのテンプレートも同時学習することで、その調整コストを低減できる。
【０２４０】
以上のように、第４〜第６の実施形態では、音源環境に応じて、推定機械音スペクトルＺ又は平均機械音スペクトルＴｚのテンプレートのいずれかを選択して、機械音低減に利用することで、機械音の過剰推定を抑制する。
【０２４１】
これにより、音源環境に応じた適応的な機械音スペクトルを実現できるので、推定機械音スペクトルＺによる機械音の低減効果を確保したまま、所望音の音質劣化も抑制できる。また、所望音の劣化を低減するための平均機械音スペクトルＴｚのテンプレートを事前でなく、録音中に作成するため、その調整コストを低減できる。
【０２４２】
［４．２．音声信号処理装置の機能構成］
次に、図３３を参照して、第４の実施形態に係るデジタルカメラ１に適用された音声信号処理装置の機能構成例について説明する。図３３は、本実施形態に係る音声信号処理装置の機能構成を示すブロック図である。
【０２４３】
図３３に示すように、第４の実施形態に係る音声信号処理装置は、２つのマイクロホン５１、５２と、音声処理部６０を備える。音声処理部６０は、２つの周波数変換部６１Ｌ、６１Ｒと、機械音推定部６２と、２つの機械音補正部６３Ｌ、６３Ｒと、２つの機械音低減部６４Ｌ、６４Ｒと、２つの時間変換部６５Ｌ、６５Ｒと、２つの機械音選択部６６Ｌ、６６Ｒとを備える。このように第４の実施形態に係る音声信号処理装置は、上記第１の実施形態と比べて、機械音選択部６６Ｌ、６６Ｒが追加されている。
【０２４４】
機械音補正部６３Ｌ、６３Ｒ（以下、機械音補正部６３と総称する。）は、上記第１の実施形態と同様に、推定機械音スペクトルＺを補正するための補正係数ＨＬを算出する機能を有する。さらに、機械音補正部６３は、録音動作中（動作撮像中）に、機械音の平均的なスペクトルを学習して、平均機械音スペクトル信号Ｔｚを生成する機能も有する。このように、機械音補正部６３は、推定機械音スペクトルＺに対する補正係数Ｈを算出するとともに、平均機械音スペクトル信号Ｔｚを算出する。
【０２４５】
機械音補正部６３Ｌは、Ｌｃｈ用の音声スペクトル信号ＸＬの周波数成分ＸＬ（ｋ）ごとに、音声スペクトル信号ＸＬに基づいて、ｌｃｈ用の平均機械音スペクトル信号ＴｚＬを生成して記憶する。Ｒｃｈ用の機械音補正部６３Ｒは、音声スペクトル信号ＸＲの周波数成分ＸＲ（ｋ）ごとに、音声スペクトル信号ＸＲに基づいて、Ｒｃｈ用の平均機械音スペクトル信号ＴｚＲを生成して記憶する。かかる機械音補正部６３による平均機械音スペクトル信号Ｔｚ（以下、平均機械音スペクトルＴｚという）の生成処理の詳細は後述する。
【０２４６】
機械音選択部６６Ｌ、６６Ｒ（以下、機械音選択部６６と総称する。）は、デジタルカメラ１の周囲の音源環境に応じて、上記推定機械音スペクトルＺ又は平均機械音スペクトルＴｚのいずれか一方を選択する。具体的には、機械音選択部６６は、入力された音声スペクトルＸＬ、ＸＲ（モノラル信号）に基づいて、音源環境を推定するための特徴量Ｐを算出する。そして、機械音選択部６６は、当該音源環境の特徴量Ｐに基づいて、推定機械音スペクトルＺ又は平均機械音スペクトルＴｚのうちから、機械音低減に利用する機械音スペクトルを選択する。例えば、Ｌｃｈ用の機械音選択部６６Ｌは、音声スペクトルＸＬから求めた特徴量ＰＬに基づいて、Ｌｃｈ用の機械音低減に利用する機械音スペクトルを選択する。同様に、ｒｃｈ用の機械音選択部６６Ｒは、音声スペクトルＸＲから求めた特徴量ＰＲに基づいて、Ｒｃｈ用の機械音低減に利用する機械音スペクトルを選択する。
【０２４７】
機械音低減部６４は、音声スペクトルＸＬ、ＸＲから、上記機械音選択部６６により選択された機械音スペクトルを低減する。機械音選択部６６Ｌにより推定機械音スペクトルＺが選択された場合、Ｌｃｈ用の機械音低減部６４Ｌは、当該推定機械音スペクトルＺと補正係数ＨＬを用いて音声スペクトルＸＬから機械音成分を低減する。平均機械音スペクトルＴｚＬが選択された場合、機械音低減部６４Ｌは、当該平均機械音スペクトルＴｚＬを用いて音声スペクトルＸＬから機械音成分を低減する。Ｒｃｈ用の機械音低減部６４Ｒも同様である。
【０２４８】
［４．３．機械音補正部の詳細］
次に、本実施形態に係る機械音補正部６３の構成及び動作について説明する。
【０２４９】
［４．３．１．機械音補正部の構成］
本実施形態に係る機械音補正部６３は、上記第１の実施形態に係る機械音補正部６３と同様に記憶部６３１と、演算部６３２を備える（図７参照。）。
【０２５０】
記憶部６３１は、音声スペクトルＸの周波数成分Ｘ（ｋ）ごとに、上記補正係数Ｈと、平均機械音スペクトルＴｚを記憶する。また、記憶部６３１は、演算部６３２により補正係数Ｈ及び平均機械音スペクトルＴｚを算出するための計算用バッファとしても機能する。
【０２５１】
演算部６３２は、上記補正係数Ｈを算出するとともに、平均機械音スペクトルＴｚを算出し、機械音低減部６４に出力する。演算部６３２は、駆動装置１４が動作したときに、音声スペクトルＸの周波数成分Ｘ（ｋ）ごとに、駆動装置１４の動作開始前後におけるＸの周波数特性の差分ｄＸに基づいて、上記補正係数Ｈを算出する。さらに、演算部６３２は、音声スペクトルＸの周波数成分Ｘ（ｋ）ごとに、上記差分ｄＸを平均機械音スペクトルＴｚとして求める。
【０２５２】
［４．３．２．機械音補正の基本動作］
次に、図３４を参照して、本実施形態に係る機械音補正部６３の基本動作について説明する。図３４は、本実施形態に係る機械音補正部６３の基本動作を示すフローチャートである。
【０２５３】
図３４に示す第４の実施形態の動作フローは、図１１に示した第１の実施形態と比べて、ステップＳ２５の後にステップＳ２９が追加されている点で相違し、その他のステップＳ２０〜Ｓ２８は実質的に同一である。以下では、第４の実施形態に係る機械音補正部６３の特徴であるＳ２９を中心に説明する。
【０２５４】
図３４に示すように、機械音補正部６３は、上述したＳ２０〜Ｓ２４の処理を行った後に、上記Ｓ２３で算出されたモータ動作中の音声スペクトルＸａと、上記Ｓ２４で算出されたモータ動作停止時の音声スペクトルＸｂとの差分ｄＸを算出する（ステップＳ２５）。
【０２５５】
次いで、機械音補正部６３は、Ｓ２５で算出した差分ｄＸを、平均機械音スペクトルＴｚとして記憶部６３１に記憶する（ステップＳ２９）。図１０を用いて説明したように、モータの動作開始前後における音声スペクトルＸａとＸｂの差分ｄＸは、機械音の周波数特性（実際の機械音スペクトルＺｒｅａｌ）に対応している。従って、当該差分ｄＸを平均機械音スペクトルＴｚとして推定できる。
【０２５６】
その後、機械音補正部６３は、上述したように、平均推定機械音スペクトルＺａを算出し（ステップＳ２６）、ｄＸとＺａから補正係数Ｈを算出し（ステップＳ２７）、補正係数Ｈと平均機械音スペクトルＴｚを機械音低減部６４に出力する（ステップＳ２８）。
【０２５７】
以上、本実施形態に係る機械音補正部６３による補正係数Ｈと平均機械音スペクトルＴｚの算出処理について説明した。なお、実際には、音声信号ｘＬ、ｘＲを周波数変換して音声スペクトル信号ＸＬ、ＸＲを得ているので、音声スペクトル信号ＸＬ、ＸＲの各周波数成分ＸＬ（ｋ）、ＸＲ（ｋ）ごとに、補正係数ＨＬ（ｋ）、ＨＲ（ｋ）及び差分ｄＸＬ（ｋ）、ｄＸ（ｋ）Ｒ（平均機械音スペクトルＴｚ（ｋ）に相当する。）を計算する必要がある。しかし、上記では説明の便宜上、推定機械音スペクトルＺの１つの周波数成分Ｚ（ｋ）の補正係数Ｈ（ｋ）とｄＸ（ｋ）のみを算出するためのフローチャートを用いて説明した。以下の図３５等のフローチャートも同様である。
【０２５８】
［４．３．３．機械音補正の詳細動作］
次に、第４の実施形態に係る機械音補正部６３の詳細動作について説明する。以下では、音声信号のパワースペクトル領域において、推定機械音の補正及び平均機械音スペクトルＴｚの算出を行う例を示す。
【０２５９】
第４の実施形態に係る機械音補正部６３の動作タイミングは、図１２に示した第１の実施形態に係る機械音補正部６３の動作タイミングと同様であり、基本処理、処理Ａ、処理Ｂ）を同時並行で行う。図１２に示したように、機械音補正部６３は、常に基本処理を行いながら、モータ動作停止期間中には処理Ａを実行し、モータ動作期間中には処理Ｂを実行する。
【０２６０】
また、第４の実施形態に係る機械音補正部６３の基本的な動作フローは、上記第１の実施形態と同様であり（図１３参照。）、基本処理及び処理Ａの動作フローも、上記第１の実施形態と同様であり（図１４、図１５参照。）。ただし、第４の実施形態では、処理Ｂの具体的処理内容が第１の実施形態と相違する。
【０２６１】
次に、図３５を参照して、第２の実施形態に係るズームモータ１５の動作中（ズーム音の発生時）に行われる処理Ｂについて詳述する。図３５は、第４の実施形態に係る図１３中の処理Ｂのサブルーチンを示すフローチャートである。
【０２６２】
図３５に示すように、機械音補正部６３は、ズームモータ１５の動作中における音声スペクトルＸのパワースペクトルＰｘの平均値Ｐｘ＿ａを算出し（ステップＳ８１）、ズームモータ１５の動作開始前後におけるＸの差分ｄＰｘを算出する（ステップＳ８２）。以上のステップＳ８１〜Ｓ８２は、第１の実施形態と同様である。以下のステップＳ８８〜Ｓ８９が第４の実施形態の特徴的な処理である。
【０２６３】
次いで、機械音補正部６３は、上記Ｓ８２で求めた差分ｄＰｘ（現在の平均機械音スペクトルＴｚに相当する。）と、過去に求めた平均機械音スペクトルＴｐｒｅｖを用いて、平均機械音スペクトルＴｚを更新する（ステップＳ８８）。具体的には、機械音補正部６３は、記憶部６３１に記憶されている過去の平均機械音スペクトルＴｐｒｅｖを読み出す。そして、機械音補正部６３は、以下の式（１５）のように、平滑化係数ｒ（０＜ｒ＜１）を用いてＴｐｒｅｖとｄＰｘを平滑化することにより、平均機械音スペクトルＴｚを算出する。このように、現在の平均機械音スペクトル（差分ｄＰｘ）と過去の平均機械音スペクトルＴｐｒｅｖを平滑化することで、個々のズーム動作における音声スペクトルＸの異常値の影響を抑制できるので、信頼性の高い平均機械音スペクトルＴｚのテンプレートを算出できる。
Ｔｚ＝ｒ・Ｔｐｒｅｖ＋（１−ｒ）・ｄＰｘ ・・・（１５）
【０２６４】
その後、機械音補正部６３は、Ｓ８８で求めた平均機械音スペクトルＴｚを、Ｔｐｒｅｚとして記憶部６３１に記憶する（ステップＳ８９）。
【０２６５】
次いで、機械音補正部６３は、ズームモータ１５の動作中における推定機械音スペクトルＺのパワースペクトルＰｚの平均値Ｐｚ＿ａを算出し（ステップＳ８３）、ｄＰｘとＰｚ＿ａを用いて補正係数Ｈｔを算出する（ステップＳ８４）。さらに、機械音補正部６３は、Ｓ８４で求めた現在の補正係数Ｈｔと過去の補正係数Ｈｐを用いて、補正係数Ｈを更新し（ステップＳ８５）、ＨをＨｐとして記憶部６３１に記憶する（ステップＳ８６）。そして、機械音補正部６３は、記憶部６３１に記憶されている積算値ｓｕｍ＿Ｐｘ及び積算値ｓｕｍ＿Ｐｚをゼロにリセットする（ステップＳ８７）。以上のステップＳ８３〜Ｓ８７は、第１の実施形態と同様である
【０２６６】
以上、第４の実施形態に係る機械音補正部６３の動作フローについて説明した。機械音補正部６３は、ズームモータ１５が動作する度に、モータ動作開始前後における音声スペクトルＸの差分ｄＰｘを用いて補正係数Ｈを更新するとともに、当該差分ｄＰｘを用いて平均機械音スペクトルＴｚを更新して保持する。これにより、後述する機械音選択部６６は、今回のモータ動作時に発生した機械音に対応する最新の平均機械音スペクトルＴｚ又は推定機械音スペクトルＺのいずれかを選択できるようになる。
【０２６７】
［４．４．機械音選択部の詳細］
次に、本実施形態に係る機械音選択部６６の構成及び動作について説明する。
【０２６８】
［４．４．１．機械音選択の概念］
まず、図３６を参照して、本実施形態に係る機械音選択部６６の構成について説明する。図３６は、本実施形態に係る機械音選択部６６の構成を示すブロック図である。なお、以下では、Ｌｃｈ用の機械音選択部６６Ｌの構成について説明するが、Ｒｃｈ用の機械音選択部６６Ｒの構成も実質的に同一であるので、その詳細説明は省略する。
【０２６９】
図３６に示すように、機械音選択部６６Ｌは、記憶部６６１と、演算部６６２と、選択部６６３を備える。演算部６６２には、上記Ｌｃｈ用の周波数変換部６１Ｌから音声スペクトル信号ＸＬが入力され、制御部７０から駆動制御情（例えばモータ制御情報）が入力される。また、選択部６６３には、上記機械音補正部６３Ｌから推定機械音スペクトル信号Ｚと補正係数ＨＬと平均機械音スペクトルＴｚＬが入力される。
【０２７０】
記憶部６６１は、音源環境の特徴量ＰＬの閾値（後述するＥｔｈ）を記憶する。また、記憶部６６１は、演算部６６２及び選択部６６３が特徴量Ｐ等を算出するための計算用バッファとしても機能する。
【０２７１】
演算部６６２は、音声スペクトル信号ＸＬに基づいて、音源環境の特徴量ＰＬを算出する。例えば、演算部６６２は、音声スペクトル信号ＸＬのレベルから、入力音声の平均パワースペクトルＥａ［ｄＢ］を、音源環境の特徴量Ｐとして算出する。
【０２７２】
選択部６６３は、音源環境の特徴量ＰＬの閾値Ｅｔｈを記憶部６６１から読み出し、演算部６６２により演算された特徴量ＰＬ（例えば入力音声の平均パワースペクトルＥａ）と閾値Ｅｔｈを比較し、この比較結果に基づいて、機械音スペクトルを選択する。例えば、ＥａがＥｔｈ未満である場合には、選択部６６３は推定機械音スペクトルＺを選択し、ＥａがＥｔｈ以上である場合には、選択部６６３は平均機械音スペクトルＴｚを選択する。選択部６６３により算出された機械音スペクトルＺ又はＴｚは、上記機械音低減部６４Ｌに出力される。
【０２７３】
［４．４．２．機械音選択の基本動作］
次に、図３７を参照して、本実施形態に係る機械音選択部６６Ｌの動作について説明する。図３７は、本実施形態に係る機械音選択部６６Ｌの動作を示すフローチャートである。
【０２７４】
なお、実際には、音声信号ｘＬ、ｘＲを周波数変換して音声スペクトル信号ＸＬ、ＸＲを得る。本実施形態では、音声スペクトル信号を得るフレーム毎に、機械音スペクトルを選択する。つまり、あるフレームでは、平均機械音スペクトルＴｚＬ、ＴｚＲを、別のフレームでは、機械音推定部から得られる推定機械音スペクトルＺを用いる。音声スペクトル信号は、音声スペクトル信号ＸＬ、ＸＲの各周波数成分ＸＬ（ｋ）、ＸＲ（ｋ）を有するが、以下では、説明の便宜上すべての周波数成分ＸＬ（ｋ）、ＸＲ（ｋ）をまとめてＸＬ、ＸＲと記述し、機械音スペクトルを選択するフローチャートを用いて説明した。また、以下では、Ｌｃｈ用の機械音選択部６６Ｌの動作フローを説明するが、Ｒｃｈ用の機械音選択部６６Ｒの動作フローも同様である。
【０２７５】
図３７に示すように、まず、機械音選択部６６Ｌは、周波数変換部６１Ｌから音声スペクトルＸＬ（モノラル信号）を受け取る（ステップＳ１００）。次いで、機械音選択部６６Ｌは、音源環境の特徴量ＰＬとして、例えば音声スペクトルＸＬの平均パワースペクトルＥａ算出する（ステップＳ１０２）。この特徴量ＰＬ（例えばＥａ）の算出処理の詳細は後述する。
【０２７６】
さらに、機械音選択部６６Ｌは、機械音補正部６３Ｌから推定機械音スペクトルＺ、補正係数ＨＬ及び平均機械音スペクトルＴｚＬを受け取る（ステップＳ１０４）。次いで、機械音選択部６６Ｌは、上記Ｓ１０２で算出した音源環境の特徴量ＰＬに基づいて、推定機械音スペクトルＺ又は平均機械音スペクトルＴｚＬのいずれかを選択する（ステップＳ１０６）。その後、機械音選択部６６は、Ｓ１０６で選択した機械音スペクトルＺ又はＴｚＬと補正係数ＨＬを、機械音低減部６４Ｌに出力する（ステップＳ３０８）。
【０２７７】
［４．４．３．機械音選択の詳細動作］
次に、図３８〜図４１を参照して、本実施形態に係る機械音選択部６６の詳細動作について説明する。以下の説明では、ＬｃｈとＲｃｈの区別はしないが、機械音選択部６６Ｌ、６６Ｒはそれぞれ、Ｌｃｈ用の各信号や値（ＸＬ、ＨＬ、ＴｚＬ、ＰＬ）又はＲｃｈ用の各信号や値（ＸＲ、ＨＲ、ＴｚＲ、ＰＲ）を用いて処理を行うものとする。
【０２７８】
図３８は、本実施形態に係る機械音選択部６６の動作タイミングを示すタイミングチャートである。なお、図１２と同様に、図３８のタイミングチャートでも、時間軸上で上記フレームを基準として示してある。
【０２７９】
図３８に示すように、機械音選択部６６は、複数の処理（処理Ｃ、処理Ｄ）を同時並行で行う。処理Ｃは、ズームモータ１５の動作に関わらず、デジタルカメラ１による録音中（動作撮像中）は常時行われる。処理Ｄは、ズームモータ１５の動作停止中に、Ｎ１フレームごとに行われる。
【０２８０】
次に、機械音選択部６６の動作フローを説明する。図３９は、本実施形態に係る機械音選択部６６の全体動作を示すフローチャートである。
【０２８１】
図３９に示すように、まず、機械音選択部６６は、制御部７０から、ズームモータ１５の動作状態を表すモータ制御情報ｚｏｏｍ＿ｉｎｆｏを取得する（ステップＳ１３０）。ｚｏｏｍ＿ｉｎｆｏの値が１であれば、ズームモータ１５が動作状態であり、ｚｏｏｍ＿ｉｎｆｏの値が０であれば、ズームモータ１５が動作停止状態である。機械音選択部６６は、当該モータ制御情報ｚｏｏｍ＿ｉｎｆｏによりズームモータ１５の動作の有無（即ち、ズーム音の発生の有無）を判断できる。
【０２８２】
次いで、機械音選択部６６は、音声信号ｘの１フレームごとに処理Ｃを行う（ステップＳ１４０）。この処理Ｃでは、機械音選択部６６は、音源環境の特徴量Ｐに応じて機械音スペクトルを選択する。
【０２８３】
図４０は、図３９中の処理Ｃのサブルーチンを示すフローチャートである。図４０に示すように、まず、機械音選択部６６は、周波数変換部６１から音声スペクトルＸ（ｋ）を周波数成分ごとに受け取る（ステップＳ１４１）。また、機械音選択部６６は、機械音推定部６２から補正係数Ｈ（ｋ）、推定機械音スペクトルＺ（ｋ）及び平均機械音スペクトルＴｚを、音声スペクトルの周波数成分Ｘ（ｋ）ごとに受け取る（ステップＳ１４２）。
【０２８４】
次いで、機械音選択部６６は、記憶部６６１に記憶されているフラグｚｆｌａｇが１であるか否かを判断する（ステップＳ１４３）。フラグｚｆｌａｇは、機械音スペクトル選択用のフラグであり、後述する処理Ｄにより、音源環境の特徴量Ｐに応じて０又は１に設定される。
【０２８５】
上記Ｓ１４３での判定の結果、ｚｆｌａｇ＝１である場合には、機械音選択部６６は、機械音スペクトルとして推定機械音スペクトルＺ（ｋ）を選択し、当該選択したＺ（ｋ）を補正係数Ｈ（ｋ）とともに機械音低減部６４に出力する（ステップＳ１４４）。これにより、機械音低減部６４は、Ｓ１４４で選択された推定機械音スペクトルＺ（ｋ）と補正係数Ｈ（ｋ）を用いて音声スペクトルＸ（ｋ）から機械音成分を除去する。
【０２８６】
一方、ｚｆｌａｇ≠１である場合には、機械音選択部６６は、機械音スペクトルとして平均機械音スペクトルＴｚ（ｋ）を選択し、当該選択したＴｚ（ｋ）を機械音低減部６４に出力する（ステップＳ１４５）。これにより、機械音低減部６４は、Ｓ１４５で選択された平均機械音スペクトルＴｚを用いて音声スペクトルＸ（ｋ）から機械音成分を除去する。
【０２８７】
次いで、機械音選択部６６は、音声スペクトルＸの周波数成分Ｘ（ｋ）ごとに、上記音声スペクトルＸ（ｋ）を二乗して、当該音声スペクトルＸ（ｋ）のパワースペクトルＰｘ（ｋ）を算出する（ステップＳ１４６）。
【０２８８】
さらに、機械音選択部６６は、Ｓ１４６で求めたＰｘ（ｋ）の平均を算出して、その単位をデシベルに変換することで、入力音声のパワースペクトルＰｘの平均値Ｅ［ｄＢ］を求める（ステップＳ１４７）。この入力音声の音量Ｅの算出式は、例えば、以下の式（１６）で表される。当該平均値Ｅは、入力音声の音量を表す。なお、Ｌは、音声スペクトルＸを複数の周波数ブロックに分割したときのブロック数である。
【０２８９】
【数３】
【０２９０】
その後、機械音選択部６６は、記憶部６６１に記憶されている平均パワースペクトルＥの積算値ｓｕｍ＿Ｅに、Ｓ１４７で求めた平均パワースペクトルＥを加算する（ステップＳ１４８）。
【０２９１】
以上のようにして、処理Ｃでは、機械音スペクトルを選択するとともに、現在の入力音声の平均パワースペクトルＥの積算値ｓｕｍ＿Ｅを算出する。
【０２９２】
次に、図３９のＳ１５０に戻り、説明を続ける。図３９に示すように、機械音選択部６６は、上記Ｓ１４０の処理Ｃを行ったフレーム数をカウントする（ステップＳ１５０）。具体的には、かかるカウント処理では、ズームモータ１５の動作中における処理フレーム数ｃｎｔ２、ズームモータ１５の動作停止中における処理フレーム数ｃｎｔ１を用いる。ズームモータ１５が動作停止中（ｚｏｏｍ＿ｉｎｆｏ＝０）である場合（ステップＳ１５１）、機械音選択部６６は、記憶部６６１に記憶されているｃｎｔ２をゼロにリセットし（ステップＳ１５２）、記憶部６６１に記憶されているｃｎｔ１に１を加算する（ステップＳ１５４）。一方、ズームモータ１５が動作中（ｚｏｏｍ＿ｉｎｆｏ＝１）である場合（ステップＳ１５１）、機械音選択部６６は、記憶部６６１に記憶されているｃｎｔ１をゼロにリセットし（ステップＳ１５６）、記憶部６６１に記憶されているｓｕｍ＿Ｅをゼロにリセットする（ステップＳ１５８）。
【０２９３】
次いで、ｃｎｔ１がＮ１に達し、ズームモータ１５が動作停止中である場合（ステップＳ１６０）、機械音選択部６６は、処理Ｄを行い（ステップＳ１７０）、ｃｎｔ１をゼロにリセットする（ステップＳ１８０）。
【０２９４】
ここで、ズームモータ１５の動作停止中（ズーム音の非発生時）に行われる処理Ｄについて詳述する。図４１は、図３９中の処理Ｄのサブルーチンを示すフローチャートである。
【０２９５】
図４１に示すように、まず、機械音選択部６６は、平均パワースペクトルＥの積算値ｓｕｍ＿Ｅをフレーム数Ｎ１で除算することにより、ズームモータ１５の動作停止中における平均パワースペクトルＥａを算出する（ステップＳ１７１）。このＥａは、音源環境の特徴量Ｐの一例である。さらに、機械音選択部６６は、音源環境の特徴量Ｐの閾値として、平均パワースペクトルの閾値Ｅｔｈを記憶部６６１から読み出す（ステップＳ１７２）。
【０２９６】
次いで、機械音選択部６６は、平均パワースペクトルＥａが閾値Ｅｔｈ未満であるか否かを判断する（ステップＳ１７３）。この結果、Ｅａ＜Ｅｔｈである場合、機械音選択部６６は、上記機械音スペクトル選択用のフラグｚｆｌａｇを１に設定し（ステップＳ１７４）、Ｅａ≧Ｅｔｈである場合、当該フラグｚｆｌａｇを０に設定する（ステップＳ１７５）。その後、機械音選択部６６は、記憶部６６１に記憶されている積算値ｓｕｍ＿Ｅをゼロにリセットする（ステップＳ１７６）。
【０２９７】
以上の処理Ｄにより、ズームモータ１５の動作停止中に、音源環境の特徴量Ｐとして平均パワースペクトルＥａが算出される。そして、当該ＥａがＥｔｈ未満であるときには推定機械音スペクトルＺが選択され、当該ＥａがＥｔｈ以上であるときには平均機械音スペクトルＴｚが選択される。
【０２９８】
このように、第４の実施形態によれば、駆動装置１４の動作停止中に、音声スペクトルＸから平均パワースペクトルＥａを算出し、当該平均パワースペクトルＥａの大きさによって、使用する機械音スペクトルを切り替える。
【０２９９】
以上、第４の実施形態に係る機械音選択部６６の動作について説明した。かかる機械音選択部６６は、駆動装置１４の動作停止中は常時、音声スペクトルＸの平均パワースペクトルＥａを、音源環境の特徴量Ｐとして算出し、記憶部６６１に保持しておく。そして、駆動装置１４の動作開始時には、機械音選択部６６は、Ｅａの大きさに応じて、推定機械音スペクトルＺ又は平均機械音スペクトルＴｚを選択する。
【０３００】
このＥａは、周囲の音源の数に対応している。一般に、音源の数が多くなると、複数の音源からの音が加算されて収音されるので、マイクロホン５１、５２に入力される外部音声のレベルは上昇する。このため、入力音声の平均パワースペクトルＥａが大きいほど、デジタルカメラ１の周辺の音源の数が多いことになる。
【０３０１】
従って、音源の数が少ない場合（Ｅａ＜Ｅｔｈ）には、推定機械音スペクトルＺを用いて、精度良く実際の機械音スペクトルＺｒｅａｌを推定できる。そこで、機械音選択部６６は、装置ごと及び動作ごとの機械音のばらつきに追従可能な推定機械音スペクトルＺを選択する。これにより、機械音低減部６４は、推定機械音スペクトルＺを用いて、入力された外部音声から機械音を適切に除去可能である。
【０３０２】
一方、音源の数が多い場合（Ｅａ≧Ｅｔｈ）には、推定機械音スペクトルＺを用いると、過剰推定により、所望音の劣化を招く危険性がある。そこで、機械音選択部６６は、駆動装置１４の動作停止中に学習した平均機械音スペクトルＴｚを選択する。これにより、機械音低減部６４は、所望音成分を含まず機械音成分だけが含まれている平均機械音スペクトルＴｚを利用して、機械音を低減するので、上記過剰推定による所望音の劣化を確実に防止できる。
【０３０３】
＜５．第５の実施の形態＞
次に、本発明の第５の実施形態に係る音声信号処理装置及び方法による機械音低減方法の概要について説明する。第５の実施形態は、上記第４の実施形態と比べて、音源環境の特徴量Ｐとして、２つのマイクロホン５１、５２から得られる信号の相関関係を用いる点で相違する。第５の実施形態のその他の機能構成は、上記第４の実施形態と実質的に同一であるので、その詳細説明は省略する。
【０３０４】
上記第４の実施形態に係る機械音選択部６６は、音源環境の特徴量Ｐとして、１つのマイクロホン５１又は５２から得られる音声スペクトルＸの平均パワースペクトルＥａを利用して、機械音スペクトルを選択した。これに対し、第５の実施形態に係る機械音選択部６６は、音源環境の特徴量Ｐとして、２つのマイクロホン５１又は５２から得られる音声スペクトルＸＬ、ＸＲの相関関係を利用して、機械音スペクトルを選択する。
【０３０５】
［５．１．音声信号処理装置の機能構成］
まず、図４２を参照して、第５の実施形態に係るデジタルカメラ１に適用された音声信号処理装置の機能構成例について説明する。図４２は、本実施形態に係る音声信号処理装置の機能構成を示すブロック図である。
【０３０６】
図４２に示すように、第５の実施形態に係る音声信号処理装置は、Ｌｃｈ及びＲｃｈで共通の１つの機械音選択部６６を備えている。この機械音選択部６６には、機械音補正部６３Ｌ、６３Ｒから、平均機械音スペクトル信号ＴｚＬ、ＴｚＲ、推定機械音スペクトルＺ及び補正係数ＨＬ、ＨＲが入力され、周波数変換部６１Ｌ、６１Ｒから音声スペクトルＸＬ、ＸＲが入力される。
【０３０７】
機械音選択部６６は、双方のマイクロホン５１、５２から入力される音声スペクトルＸＬ、ＸＲの相関関係に基づいて、Ｌｃｈ及びＲｃｈで共通の音源環境の特徴量Ｐを生成し、当該特徴量Ｐに基づいて、推定機械音スペクトルＺ又は平均機械音スペクトルＴｚのいずれか一方を選択する。例えば、機械音選択部６６は、音源環境の特徴量Ｐに基づいて、Ｌｃｈ用の機械音低減に利用する機械音スペクトルを選択するとともに、Ｒｃｈ用の機械音低減に利用する機械音スペクトルを選択する。
【０３０８】
［５．２．機械音選択の原理］
次に、音源環境の特徴量Ｐとして、音声スペクトルＸＬ、ＸＲの相関関係（例えば相関値Ｃ（ｋ））を用いる原理について説明する。
【０３０９】
図４３は、本実施形態に係る２つのマイクロホン５１、５２間の相関を示す説明図である。図４３に示すように、２つのマイクロホン５１、５２が並んだ方向に対して、ある角度θの方向から、音声がマイクロホン５１、５２に到達する場合を考える。この場合、マイクロホン５１に入力される音声と、マイクロホン５２に入力される音声との間には、到達距離の差ｄｉｓの分だけ、到達時間差が生じる。ここで、マイクロホン５１の入力音声信号ＸＬ（ｋ）とマイクロホン５２の入力音声信号ＸＲ（ｋ）との相関値Ｃ（ｋ）は、以下の式（１７）で表される。
【０３１０】
【数４】
【０３１１】
マイクロホン５１、５２の周辺の音源の数が多い音源環境では、マイクロホン５１、５２の周囲の全方向から音声が到来すると考えることができる。こういった音源環境の状態は、例えば拡散音場で表現できる。拡散音場の相関値ｒＣ（ｋ）は、以下の式（１８）で算出できる。
【０３１２】
【数５】
【０３１３】
この式（１８）において、
ｄ：マイクロホン間の距離
ｃ：音速（例えば３４０ｍ／ｓ）
ω（ｋ）：角周波数
である。
また、Ｎ点ＦＦＴの結果得られる周波数ビンｋに対して、サンプリング周波数をＦｓとすると、ω（ｋ）は、次の式（１９）で表される。
【０３１４】
【数６】
【０３１５】
従って、図４４及び図４５に示すように、マイクロホン５１、５２に入力された実際の音声信号ｘＬ（ｋ）、ｘＲ（ｋ）から算出される周波数毎の相関値Ｃ（ｋ）を、上述した拡散音場を想定した相関値ｒＣ（ｋ）と比較することで、マイクロホン５１、５２周囲の音源環境を推定することができる。なお、図４４及び図４５は、マイクロホン２間距離ｄ＝１．２ｃｍ、θ＝１５°の場合の相関値を示している。
【０３１６】
図４４は、機械音推定部６２により機械音スペクトルを適切に推定できる場合の相関を示す。図４４に示すように、実際の入力音声信号から算出した相関値Ｃ（ｋ）と、拡散音場を想定した相関値ｒＣ（ｋ）とが相違する場合には、マイクロホン５１、５２周囲の音源環境は拡散音場ではないので、音源の数は少ないと推定できる。従って、この場合には、上記機械音推定部６２により、実際の機械音Ｚｒｅａｌに適合した推定機械音スペクトルＺを推定できる。よって、機械音の除去精度を高めるために、機械音補正部６３により推定機械音スペクトルＺを選択することが好ましいといえる。
【０３１７】
一方、図４５は、機械音推定部６２により機械音スペクトルを適切に推定できない場合の相関を示す。図４５に示すように、実際の入力音声信号から算出した相関値Ｃ（ｋ）と、拡散音場を想定した相関値ｒＣ（ｋ）とがほぼ一致する場合には、マイクロホン５１、５２周囲の音源環境は拡散音場であるので、音源の数は多いと推定できる。従って、この場合には、上記機械音推定部６２により、実際の機械音Ｚｒｅａｌに適合した推定機械音スペクトルＺを推定することは困難であり、過剰推定により所望音が劣化する可能性がある。よって、機械音の過剰推定による所望音の劣化を防止するために、機械音補正部６３により平均機械音スペクトルＴｚを選択することが好ましいといえる。
【０３１８】
［５．３．機械音選択の基本動作］
次に、図４６を参照して、本実施形態に係る機械音選択部６６の動作について説明する。図４６は、本実施形態に係る機械音選択部６６の動作を示すフローチャートである。なお、本実施形態では、周波数変換を行うフレーム毎に、機械音スペクトルを選択する。つまり、あるフレームでは、平均機械音スペクトルＴｚＬ、ＴｚＲを、別のフレームでは、機械音推定部から得られる推定機械音スペクトルＺを用いる。
【０３１９】
図４６に示すように、まず、機械音選択部６６は、周波数変換部６１Ｌ、６２Ｒから音声スペクトルＸＬ及びＸＲ（ステレオ信号）を受け取る（ステップＳ３００）。次いで、機械音選択部６６は、音声スペクトルＸＬ及びＸＲに基づいて、音源環境の特徴量Ｐとして、例えば上記相関値Ｃを算出する（ステップＳ３０２）。この特徴量Ｐ（例えばＣ）の算出処理の詳細は後述する。
【０３２０】
さらに、機械音選択部６６は、機械音補正部６３Ｌ、６３Ｒから推定機械音スペクトルＺ、補正係数ＨＬ、ＨＲ及び平均機械音スペクトルＴｚＬ、ＴｚＲを受け取る（ステップＳ３０４）。次いで、機械音選択部６Ｌは、上記Ｓ３０２で算出した音源環境の特徴量Ｐに基づいて、推定機械音スペクトルＺ又は平均機械音スペクトルＴｚＬ、ＴｚＲのいずれかを選択する（ステップＳ３０６）。その後、機械音選択部６６は、Ｓ３０６で選択したＬｃｈ用の機械音スペクトルＺ又はＴｚＬと補正係数ＨＬを、機械音低減部６４Ｌに出力するともに、Ｓ３０６で選択したＲｃｈ用の機械音スペクトルＺ又はＴｚＲと、補正係数ＨＲを、機械音低減部６４Ｒに出力する（ステップＳ３０８）。
【０３２１】
［５．４．機械音選択の詳細動作］
次に、図４７〜図５０を参照して、本実施形態に係る機械音選択部６６の詳細動作について説明する。以下の説明では、ＬｃｈとＲｃｈの区別はしないが、機械音選択部６６Ｌ、６６Ｒはそれぞれ、Ｌｃｈ用の各信号や値（ＸＬ、ＨＬ、ＴｚＬ）又はＲｃｈ用の各信号や値（ＸＲ、ＨＲ、ＴｚＲ）を用いて処理を行うものとする。
【０３２２】
第５の実施形態に係る機械音選択部６６の動作タイミングは、上述した第４の実施形態に係る機械音補正部６３の動作タイミング（図３８参照。）と実質的に同一である。機械音選択部６６は、常に処理Ｃを行いながら、モータ動作停止期間中には処理Ｄを実行して、音声スペクトルＸの平均パワースペクトルＥａを算出する。
【０３２３】
また、第５の実施形態に係る機械音補正部６３の基本的な動作フローは、上記第４の実施形態と同様である（図３９参照。）。ただし、第５の実施形態では、処理Ｃ、処理Ｄ及びＳ１５８の具体的処理内容が第４の実施形態と相違する。第５の実施形態に係る処理Ｃ及び処理Ｄでは、音源環境の特徴量Ｐとして、第４の実施形態のような音声スペクトルＸの平均パワースペクトルＥａではなく、上記音声スペクトルＸＬとＸＲの相関値Ｃ（ｋ）を用いて、機械音スペクトルを選択する。また、第５の実施形態では、図３９のＳ１５８にて、ｓｕｍ＿Ｅの代わりに、後述するｓｕｍ＿Ｃ（ｋ）をリセットする。以下では、第５の実施形態に係る処理Ｃ、処理Ｄのフローについて詳細に説明する。
【０３２４】
図４７は、第５の実施形態に係る図３９中の処理Ｃのサブルーチンを示すフローチャートである。この処理Ｃでは、機械音選択部６６は、音源環境の特徴量Ｐとして、マイクロホン５１、５２から入力される実際の音声スペクトルＸＬとＸＲの相関値ｃ（ｋ）に基づいて、機械音スペクトルを選択する。
【０３２５】
図４７に示すように、まず、機械音選択部６６は、２つの周波数変換部６１Ｌ、６１Ｒから音声スペクトルＸＬ（ｋ）、ＸＲ（ｋ）を、音声スペクトルの周波数成分ごとに受け取る（ステップＳ３４１）。また、機械音選択部６６は、機械音推定部６２から補正係数ＨＬ（ｋ）、ＨＲ（ｋ）、推定機械音スペクトルＺ（ｋ）及び平均機械音スペクトルＴｚＬ（ｋ）、ＴｚＲ（ｋ）を、音声スペクトルの周波数成分Ｘ（ｋ）ごとに受け取る（ステップＳ３４２）。
【０３２６】
次いで、機械音選択部６６は、記憶部６６１に記憶されている、機械音スペクトル選択用のフラグｚｆｌａｇが１であるか否かを判断する（ステップＳ３４３）。この判断の判定の結果、ｚｆｌａｇ＝１である場合には、機械音選択部６６は、機械音スペクトルとして推定機械音スペクトルＺ（ｋ）を選択し、当該選択したＺ（ｋ）を補正係数ＨＬ（ｋ）、ＨＲ（ｋ）とともに機械音低減部６４Ｌ、６４Ｒにそれぞれ出力する（ステップＳ３４４）。一方、ｚｆｌａｇ≠１である場合には、機械音選択部６６は、機械音スペクトルとして平均機械音スペクトルＴｚを選択し、当該選択したＴｚＬ（ｋ）、ＴｚＲ（ｋ）を機械音低減部６４Ｌ、６４Ｒにそれぞれ出力する（ステップＳ３４５）。
【０３２７】
次いで、機械音選択部６６は、音声スペクトルＸの周波数成分Ｘ（ｋ）ごとに、音声スペクトルＸＬ（ｋ）と音声スペクトルＸＲ（ｋ）の相関値Ｃ（ｋ）を算出する（ステップＳ３４７）。この相関値Ｃ（ｋ）は、上記式（１７）を用いて算出される。その後、機械音選択部６６は、記憶部６６１に記憶されている相関値Ｃ（ｋ）の積算値ｓｕｍ＿Ｃ（ｋ）に、Ｓ３４７で求めた相関値Ｃ（ｋ）を加算する（ステップＳ３４８）。
【０３２８】
以上のようにして、処理Ｃでは、機械音スペクトルを選択するとともに、音声スペクトルＸＬ（ｋ）とＸＲ（ｋ）の相関値Ｃ（ｋ）の積算値ｓｕｍ＿Ｃ（ｋ）を算出する。かかる相関値Ｃ（ｋ）の積算値ｓｕｍ＿Ｃ（ｋ）は、後述の処理Ｄにおいてデジタルカメラ１が存在する音源環境の特徴量Ｐを求めるために用いられる。
【０３２９】
次に、ズームモータ１５の動作停止中（ズーム音の非発生時）に行われる処理Ｄについて詳述する。図４８は、第５の実施形態に係る図３９中の処理Ｄのサブルーチンを示すフローチャートである。
【０３３０】
図４８に示すように、まず、機械音選択部６６は、上記処理Ｃで得られた相関値Ｃ（ｋ）の積算値ｓｕｍ＿Ｃ（ｋ）をフレーム数Ｎ１で除算することにより、ズームモータ１５の動作停止中における相関値Ｃ（ｋ）の平均値ｍＣ（ｋ）を算出する（ステップＳ３７１）。さらに、機械音選択部６６は、拡散音場の相関値ｒＣ（ｋ）を記憶部６６１から読み出す（ステップＳ１７２）。この拡散音場の相関値ｒＣ（ｋ）は、上述した式（１８）及び（１９）により算出される。
【０３３１】
次いで、機械音選択部６６は、Ｓ３７１で得られた相関値Ｃ（ｋ）の平均値ｍＣ（ｋ）と、Ｓ３７２で得られた相関値ｒＣ（ｋ）との距離ｄを算出する（ステップＳ３７３）。この距離ｄは、以下の式（２０）で算出される。この距離ｄは、音源環境の特徴量Ｐの一例である。
【０３３２】
【数７】
【０３３３】
さらに、機械音選択部６６は、音源環境の特徴量Ｐの閾値として、閾値ｄｔｈを記憶部６６１から読み出す（ステップＳ３７４）。閾値ｄｔｈは、デジタルカメラ１や駆動装置１４のスペック、音源環境の状態等に応じて、予め適切な値に設定され、記憶部６６１に保持されている。
【０３３４】
次いで、機械音選択部６６は、Ｓ３７３で求めた距離ｄが閾値ｄｔｈ未満であるか否かを判断する（ステップＳ３７５）。この結果、ｄ＞ｄｔｈである場合、機械音選択部６６は、上記機械音スペクトル選択用のフラグｚｆｌａｇを１に設定し（ステップＳ３７６）、ｄ≦ｄｔｈである場合、当該フラグｚｆｌａｇを０に設定する（ステップＳ３７７）。その後、機械音選択部６６は、記憶部６６１に記憶されている積算値ｓｕｍ＿Ｃ（ｋ）をゼロにリセットする（ステップＳ３７８）。
【０３３５】
以上の処理Ｄにより、ズームモータ１５の動作停止中に、音源環境の特徴量Ｐとして、音声スペクトルＸＬ（ｋ）、ＸＲ（ｋ）の相関値の平均値ｍＣ（ｋ）と、拡散音場の相関値ｒＣ（ｋ）との距離ｄが算出される。そして、当該ｄがｄｔｈ超であるときには推定機械音スペクトルＺが選択され、当該ｄがｄｔｈ未満であるときには平均機械音スペクトルＴｚＬ、ＴｚＲが選択される。
【０３３６】
このように、第５の実施形態によれば、駆動装置１４の動作停止中に、実際の音声スペクトルＸＬ、ＸＲの相関値の平均値ｍＣ（ｋ）を算出し、当該ｍＣ（ｋ）と拡散音場の相関値ｒＣ（ｋ）との距離ｄに応じて、使用する機械音スペクトルを切り替える。
【０３３７】
以上、第５の実施形態に係る機械音選択部６６の動作について説明した。かかる機械音選択部６６は、駆動装置１４の動作停止中は常時、実際の音声スペクトルＸＬ、ＸＲの相関値の平均値ｍＣ（ｋ）を、音源環境の特徴量Ｐとして算出し、記憶部６６１に保持しておく。そして、駆動装置１４の動作開始時には、機械音選択部６６は、該ｍＣ（ｋ）と、Ｃ（ｋ）との距離ｄに応じて、推定機械音スペクトルＺ又は平均機械音スペクトルＴｚを選択する。
【０３３８】
このｄは、デジタルカメラ１の周囲の音源環境が拡散音場であるか否かを表している。上述したように、音源環境が拡散音場であれば、周囲の音源の数が多く、多方向からマイクロホン５１、５２に音声が入力されることになる。
【０３３９】
従って、音源環境が拡散音場でない場合（ｄ＞ｄｔｈ）には、推定機械音スペクトルＺを用いて、精度良く実際の機械音スペクトルＺｒｅａｌを推定できる。そこで、機械音選択部６６は、装置ごと及び動作ごとの機械音のばらつきに追従可能な推定機械音スペクトルＺを選択する。これにより、機械音低減部６４は、推定機械音スペクトルＺを用いて、入力された外部音声から機械音を適切に除去可能である。
【０３４０】
一方、音源環境が拡散音場に近い場合（ｄ≦ｄｔｈ）には、推定機械音スペクトルＺを用いると、過剰推定により、所望音の劣化を招く危険性がある。そこで、機械音選択部６６は、駆動装置１４の動作停止中に学習した平均機械音スペクトルＴｚを選択する。これにより、機械音低減部６４は、所望音成分を含まず機械音成分だけが含まれている平均機械音スペクトルＴｚを利用して、機械音を低減するので、上記過剰推定による所望音の劣化を確実に防止できる。
【０３４１】
＜６．第６の実施の形態＞
次に、本発明の第６の実施形態に係る音声信号処理装置及び方法による機械音低減方法の概要について説明する。第６の実施形態は、上記第４の実施形態と比べて、音源環境の特徴量Ｐとして、機械音推定部６２により推定された機械音スペクトルＺを用いる点で相違する。第６の実施形態のその他の機能構成は、上記第４の実施形態と実質的に同一であるので、その詳細説明は省略する。
【０３４２】
［６．１．音声信号処理装置の機能構成］
まず、図４９を参照して、第６の実施形態に係るデジタルカメラ１に適用された音声信号処理装置の機能構成例について説明する。図４９は、本実施形態に係る音声信号処理装置の機能構成を示すブロック図である。
【０３４３】
図４２に示すように、第６の実施形態に係る音声信号処理装置は、Ｌｃｈ及びＲｃｈで共通の１つの機械音選択部６６を備えている。この機械音選択部６６には、機械音補正部６３Ｌ、６３Ｒから、平均機械音スペクトル信号ＴｚＬ、ＴｚＲ、及び補正係数ＨＬ、ＨＲが入力され、周波数変換部６１Ｌ、６１Ｒから音声スペクトルＸＬ、ＸＲが入力される。さらに、機械音選択部６６には、機械音推定部６２から推定機械音スペクトルＺが入力される。機械音選択部６６は、推定機械音スペクトルＺの信号レベルに基づいて、推定機械音スペクトルＺ又は平均機械音スペクトルＴｚの中から、機械音低減部６４で使用する機械音スペクトルを選択する。
【０３４４】
［６．２．機械音選択部の詳細］
機械音選択部６６は、機械音推定部６２から入力される推定機械音スペクトルＺの信号レベル（Ｚのエネルギー）に基づいて、Ｌｃｈ及びＲｃｈで共通の音源環境の特徴量Ｐを生成し、当該特徴量Ｐに基づいて、推定機械音スペクトルＺ又は平均機械音スペクトルＴｚのいずれか一方を選択する。例えば、機械音選択部６６は、音源環境の特徴量Ｐに基づいて、Ｌｃｈ用の機械音低減に利用する機械音スペクトルを選択するとともに、Ｒｃｈ用の機械音低減に利用する機械音スペクトルを選択する。
【０３４５】
機械音推定部６２により得られた推定機械音スペクトルＺの信号レベルが低い場合には、機械音が所望音に埋もれておらず、周囲の音源が少ないと推定できる。そこで、機械音選択部６６は、推定機械音スペクトルＺの信号レベルが、予め設定された所定の閾値よりも低い場合には、推定機械音スペクトルＺを選択する。これにより、機械音スペクトルを高精度で推定して所望音から適切に除去できる。
【０３４６】
一方、機械音推定部６２により得られた推定機械音スペクトルＺの信号レベルが高い場合には、機械音が所望音に埋もれており、機械音の過剰推定による所望音の劣化が生じる可能性がある。そこで、機械音選択部６６は、推定機械音スペクトルＺの信号レベルが、予め設定された所定の閾値よりも高い場合には、平均機械音スペクトルＴｚを選択する。これにより、機械音をある程度除去しつつ、所望音の音質劣化を確実に防止できる。
【０３４７】
以上のように、第６の実施形態に係る機械音選択部６６は、マイクロホン５１、５２への入力音声信号ではなく、機械音推定部６２の出力信号に基づいて、音源環境の特徴量Ｐを算出する。かかる構成により、第４又は第５の実施形態よりもさらに実用的な音声信号処理装置を提供できる。
【０３４８】
なお、第６の実施形態に係る機械音選択部６６の動作フローは、音源環境の特徴量Ｐとして、推定機械音スペクトルＺの平均パワースペクトルを用いる点を除いては、上述した第４の実施形態と同様に実現できるので、詳細説明は省略する（図３８〜図４１参照。）。
【０３４９】
以上、第４〜第６の実施形態に係る機械音選択部６６の構成と動作について説明した。上記第４〜第６の実施形態では、機械音推定部６２による機械音の過剰推定を抑制するために、推定機械音スペクトルＺ又は平均機械音スペクトルＴｚのいずれかを選択する方法について述べた。しかし、本発明は、かかる例に限定されず、機械音選択部６６は、機械音低減部６４で用いる機械音スペクトルとして、例えば、双方の機械音スペクトルＺ、Ｔｚの重み付き和を算出してもよい。また、機械音選択部６６は、周囲の音源環境に応じて、推定機械音スペクトルＺをｋ倍（０＜ｋ＜１）し、当該ｋ倍されたＺを、機械音低減部６４で用いる機械音スペクトルとして用いてもよい。
【０３５０】
また、機械音選択部６６で選択する平均機械音スペクトルＴｚは、上記第４〜第６の実施形態のように、個々のデジタルカメラ１における機械音スペクトルの学習によって得たもの（動的に変化するテンプレート）ではなく、事前に測定した平均機械音スペクトルのテンプレート（固定的なテンプレート）を使用してもよい。
【０３５１】
＜７．まとめ＞
以上、本発明の好適な実施形態に係る音声信号処理装置及び方法について詳細に説明した。本実施形態によれば、デジタルカメラ１による動画及び音声の記録中に、２つのステレオマイクロホン５１、５２から入力される音声信号を利用して、外部音声スペクトルに含まれる機械音スペクトルを正確に推定し、外部音声から機械音を適切に除去できる。
【０３５２】
従って、本実施形態では、従来のような機械音スペクトルのテンプレートを利用しなくとも、機械音を除去することが可能となる。これにより、従来のような多数のカメラを用いて機械音を測定して、当該テンプレートを作成するための調整コストを削減できる。
【０３５３】
さらに、個々のデジタルカメラ１において、機械音が発生する撮像動作ごとに動的に機械音スペクトルを推定して除去するので、デジタルカメラ１の個体差による機械音のばらつきが存在しても、所望の低減効果を得ることができる。また、録音中は常に、機械音スペクトルを推定するので、駆動装置１４の動作中の機械音の時間変化にも追従できる。
【０３５４】
また、機械音補正部６３により、実際の機械音スペクトルに合うように推定機械音スペクトルを補正することで、機械音の過剰推定や過小推定がない。よって、機械音低減部６４による機械音の消しすぎや、消し残しを防止できるので、所望音の音質劣化を低減できる。
【０３５５】
また、機械音選択部６６により、カメラ周囲の音環境（音源環境）に応じて、機械音発声時に動的に推定される推定機械音スペクトルＺと、機械音発生前に予め得られた平均機械音スペクトルＴｚとを使い分ける。例えば、賑やかな雑踏のような多数の音源があり、機械音が所望音に埋もれるような音源環境下では、平均機械音スペクトルＴｚを使用することで、機械音の過剰推定による所望音の劣化を防止できる。一方、音源数が少なく、機械音が目立つような音源環境下では、上記推定機械音スペクトルＺを使用することで、個々の装置ごと動作ごとに機械音を高精度で推定して、所望音から適切に低減することができる。
【０３５６】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０３５７】
例えば、上記実施形態では、音声信号処理装置としてデジタルカメラ１を例示し、動画撮像と共に録音する時に機械音を低減する例について説明したが、本発明はかかる例に限定されない。本発明の音声信号処理装置は、録音機能を有する機器であれば、任意の機器に適用できる。音声信号処理装置は、例えば、記録再生装置（例えば、ブルーレイディスク／ＤＶＤレコーダ）、テレビジョン受像器、システムステレオ装置、撮像装置（例えば、デジタルカメラ、デジタルビデオカメラ）、携帯端末（例えば、携帯型音楽／映像プレーヤ、携帯型ゲーム機、ＩＣレコーダ）、パーソナルコンピュータ、ゲーム機、カーナビゲーション装置、デジタルフォトフレーム、家庭電化製品、自動販売機、ＡＴＭ、キオスク端末など、任意の電子機器に適用できる。
【符号の説明】
【０３５８】
１ デジタルカメラ
２ 筐体
３ レンズ部
１４ 駆動装置
１５ ズームモータ
１６ フォーカスモータ
５１、５２ マイクロホン
６０ 音声処理部
６１、６１Ｌ、６１Ｒ 周波数変換部
６２ 機械音推定部
６３、６３Ｌ、６３Ｒ 機械音補正部
６４、６４Ｌ、６４Ｒ 機械音低減部
６５、６５Ｌ、６５Ｒ 時間変換部
６６、６６Ｌ、６６Ｒ 機械音選択部
６２１、６３１、６６１ 記憶部
６２２、６３２、６４２、６６２ 演算部
６４１ 抑圧値算出部
６６３ 選択部
７０ 制御部
【技術分野】
【０００１】
本発明は、音声信号処理装置、音声信号処理方法及びプログラムに関する。
【背景技術】
【０００２】
デジタルカメラ、ビデオカメラなどの動画撮像機能を備えた装置は、動画撮像中にマイクロホンにより装置周辺の音声（外部音声）を収音し、当該音声を動画とともに記録する。かかる動画撮像中には、ズーム動作、オートフォーカス動作等の撮像動作に伴い、撮像光学系を駆動させる駆動装置（ズームモータ、フォーカスモータ等）から、機械音が発生する。この機械音は、ユーザが所望する外部音声に雑音として混入して、ともに記録されてしまう。従って、音声付きの動画撮像機能を有する装置では、動画撮像中のズーム動作等に伴う機械音（ズーム音等）を適切に低減し、ユーザが所望する外部音声のみを記録することが望まれている。
【０００３】
例えば特許文献１では、ズーム動作に伴うモータ音の機械音スペクトルを実際に測定して、テンプレートとして記憶部に予め記憶しておき、ズーム動作時には、入力音声のスペクトルから上記機械音スペクトルのテンプレートを減算することで、ズーム音を低減している。また、特許文献２には、外部音声を収録するためのマイクロホンの他に、主として機械音を収録するためのノイズ用マイクロホンを利用して、機械音を低減することが提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２７９１８５号公報
【特許文献１】特開２００９−２７６５２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記ズームモータ等の駆動装置や、該駆動装置が設置された撮像装置には、個体差が存在するので、モータ音等の機械音も、装置ごとにばらつきが生じる。さらには、同一の装置においても、駆動装置の動作ごとに機械音に変化が生じ得る。
【０００６】
従って、上記特許文献１に記載のように、固定的な機械音スペクトルのテンプレートを用いて機械音を一律に低減する方法では、上記個々の装置ごとの機械音のばらつきや、駆動装置の動作ごとの機械音の変化に対応することができない。例えば、数十台のカメラを用いて測定した平均的な機械音スペクトルのテンプレートを利用する場合には、個々の装置の機械音のばらつきに対応できないので、個々のカメラで十分な機械音低減効果が得られない。一方、上記機械音スペクトルのテンプレートを、全てのカメラについて個々に調整する場合には、調整コストが増大するため、現実的ではない。
【０００７】
また、上記特許文献２に記載のように、音声録音用マイクロホン以外にノイズ用マイクロホンを別途設置する方法では、筐体内の適切な位置にノイズ用マイクロホンを配置する必要がある。しかし、小型化が進むデジタルカメラなどでは、適切な位置にノイズ用マイクロホンを配置することは難しいので、機械音を十分に低減することができない。
【０００８】
そこで、本発明は、上記事情に鑑みてなされたものであり、本発明の目的とするところは、機械音スペクトルを予め測定することなく、録音時に駆動装置等の発音体の動作に伴って外部音声に混入する作動音を適切に低減することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明のある観点によれば、音声を収音して第１の音声信号ｘＬを出力する第１のマイクロホンと、前記音声を収音して第２の音声信号ｘＲを出力する第２のマイクロホンと、前記第１の音声信号ｘＬを第１の音声スペクトル信号ＸＬに変換する第１の周波数変換部と、前記第２の音声信号ｘＲを第２の音声スペクトル信号に変換する第２の周波数変換部と、作動音を発生する発音体と前記第１及び第２のマイクロホンとの相対位置関係に基づいて、前記第１及び第２の音声スペクトル信号ＸＬ、ＸＲを演算することにより、前記作動音を表す作動音スペクトル信号Ｚを推定する作動音推定部と、前記第１及び第２の音声スペクトル信号ＸＬ、ＸＲから、前記推定された作動音スペクトル信号Ｚを低減する作動音低減部と、を備える、音声信号処理装置が提供される。
【００１０】
前記発音体は、駆動装置であり、前記作動音は、前記駆動装置の動作時に発生する機械音であり、前記作動音推定部は、前記作動音スペクトル信号として、前記機械音を表す機械音スペクトル信号Ｚを推定してもよい。
前記作動音推定部は、前記駆動装置の方向以外から前記第１及び第２のマイクロホンに到来する音声成分を減衰させるように、前記第１及び第２の音声スペクトル信号を演算することにより、前記機械音スペクトル信号Ｚを前記駆動装置の動作中に動的に推定するようにしてもよい。
【００１１】
前記第１又は第２の音声スペクトル信号ＸＬ、ＸＲの周波数成分ごとに、前記駆動装置の動作開始前後における前記第１又は第２の音声スペクトル信号ＸＬ、ＸＲの周波数特性の差分ｄＸに基づいて、前記推定された機械音スペクトル信号Ｚを補正する機械音補正部をさらに備えるようにしてもよい。
【００１２】
前記機械音補正部は、前記第１の音声スペクトル信号ＸＬの周波数成分ごとに、前記駆動装置の動作開始前後における前記第１の音声スペクトル信号ＸＬの周波数特性の差分ｄＸＬに基づいて、第１の補正係数ＨＬを算出する第１の機械音補正部と、前記第２の音声スペクトル信号ＸＲの周波数成分ごとに、前記駆動装置の動作開始前後における前記第２の音声スペクトル信号ＸＲの周波数特性の差分ｄＸＲに基づいて、第２の補正係数ＨＲを算出する第２の機械音補正部と、を含み、前記作動音低減部は、前記推定された機械音スペクトル信号Ｚに前記第１の補正係数ＨＬを乗算した信号を、前記第１の音声スペクトル信号ＸＬから低減する第１の機械音低減部と、前記推定された機械音スペクトル信号Ｚに前記第２の補正係数ＨＲを乗算した信号を、前記第２の音声スペクトル信号ＸＲから低減する第２の機械音低減部と、を含むようにしてもよい。
【００１３】
前記機械音補正部は、前記駆動装置が動作する度に、前記駆動装置の動作開始前後における前記第１又は第２の音声スペクトル信号ＸＬ、ＸＲの周波数特性の差分ｄＸに基づいて、前記推定された機械音スペクトル信号Ｚを補正するための補正係数Ｈを更新するようにしてもよい。
【００１４】
前記駆動装置が動作したときに、前記駆動装置の動作開始前後における前記第１又は第２の音声スペクトル信号ＸＬ、ＸＲの周波数特性の比較結果、及び、前記駆動装置の動作中における前記第１又は第２の音声スペクトル信号ＸＬ、ＸＲの周波数特性の比較結果に基づいて、前記駆動装置の動作開始前後における前記外部音声の変化度を判定し、前記外部音声の変化度に応じて、前記補正係数Ｈを更新するか否かを判断し、前記補正係数Ｈを更新すると判断した場合にのみ、前記差分ｄＸに基づいて前記補正係数Ｈを更新するようにしてもよい。
【００１５】
前記機械音補正部は、前記駆動装置が動作したときに、前記第１若しくは第２の音声信号ｘＬ、ｘＲのレベル又は音声スペクトル信号ｘＬ、ｘＲのレベルに応じて、前記差分ｄＸに基づく前記補正係数Ｈの更新量を制御するようにしてもよい。
【００１６】
前記機械音の平均的なスペクトルを表す平均機械音スペクトル信号Ｔｚを記憶する記憶部と、前記音声信号処理装置の周囲の音源環境に応じて、前記推定された機械音スペクトル信号Ｚ又は前記平均機械音スペクトル信号Ｔｚのうちのいずれか一方を選択する機械音選択部をさらに備え、前記作動音低減部は、前記第１及び第２の音声スペクトル信号ＸＬ、ＸＲから、前記機械音選択部により選択された機械音スペクトル信号を低減するようにしてもよい。
【００１７】
前記機械音選択部は、前記第１若しくは第２の音声信号ｘＬ、ｘＲのレベルに基づいて、前記音声信号処理装置の周囲の音源環境を表す特徴量を算出し、前記特徴量に基づいて、前記推定された機械音スペクトル信号Ｚ又は前記平均機械音スペクトル信号Ｔｚのうちのいずれか一方を選択するようにしてもよい。
【００１８】
前記機械音選択部は、前記第１の音声スペクトル信号ＸＬ、前記第２の音声スペクトル信号ＸＲの相関関係に基づいて、前記音声信号処理装置の周囲の音源環境を表す特徴量を算出し、前記特徴量に基づいて、前記推定された機械音スペクトル信号Ｚ又は前記平均機械音スペクトル信号Ｔｚのうちのいずれか一方を選択するようにしてもよい。
【００１９】
前記機械音選択部は、前記推定された機械音スペクトル信号Ｚのレベルに基づいて、前記音声信号処理装置の周囲の音源環境を表す特徴量を算出し、前記特徴量に基づいて、前記推定された機械音スペクトル信号Ｚ又は前記平均機械音スペクトル信号Ｔｚのうちのいずれか一方を選択するようにしてもよい。
【００２０】
前記音声信号処理装置は、動画の撮像中に前記動画とともに前記外部音声を記録する機能を有する撮像装置に設けられ、前記駆動装置は、前記撮像装置の筐体内に設けられ、前記撮像装置の撮像光学系を機械的に移動させるモータであるようにしてもよい。
【００２１】
また、上記課題を解決するために、本発明の別の観点によれば、音声を収音する第１のマイクロホンから出力される第１の音声信号ｘＬを第１の音声スペクトル信号ＸＬに変換するとともに、前記音声を収音する第２のマイクロホンから出力される第２の音声信号ｘＲを第２の音声スペクトル信号ＸＲに変換するステップと、作動音を発生する発音体と、前記第１及び第２のマイクロホンとの相対位置関係に基づいて、前記第１及び第２の音声スペクトル信号ＸＬ、ＸＲを演算することにより、前記作動音を表す作動音スペクトル信号Ｚを推定するステップと、前記第１及び第２の音声スペクトル信号ＸＬ、ＸＲから、前記推定された作動音スペクトル信号Ｚを低減するステップと、を含む、音声信号処理方法が提供される。
【００２２】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、音声を収音する第１のマイクロホンから出力される第１の音声信号ｘＬを第１の音声スペクトル信号ＸＬに変換するとともに、前記音声を収音する第２のマイクロホンから出力される第２の音声信号ｘＲを第２の音声スペクトル信号ＸＲに変換するステップと、作動音を発生する発音体と、前記第１及び第２のマイクロホンとの相対位置関係に基づいて、前記第１及び第２の音声スペクトル信号ＸＬ、ＸＲを演算することにより、前記作動音を表す作動音スペクトル信号Ｚを推定するステップと、前記第１及び第２の音声スペクトル信号ＸＬ、ＸＲから、前記推定された作動音スペクトル信号Ｚを低減するステップと、を実行させるためのプログラムが提供される。また、当該プログラムが記録された、コンピュータ読み取り可能な記憶媒体が提供される。
【００２３】
上記構成により、外部音声収録用の複数のマイクロホンと、機械音の発生源である駆動装置等の発音体との相対位置関係を利用して、当該複数のマイクロホンから得られる２系統の音声スペクトル信号を適切に演算する、これにより、発音体の動作に伴って外部音声に混入する機械音等の作動音を録音時に動的に推定できる。従って、予め測定した作動音スペクトルのテンプレートを用いることなく、実際の録音時に、個々の装置ごと及び動作ごとに作動音を正確に推定して、低減することができる。
【発明の効果】
【００２４】
以上説明したように本発明によれば、機械音スペクトルを予め測定することなく、録音時に駆動装置等の発音体の動作に伴って外部音声に混入する作動音を適切に低減できる。
【図面の簡単な説明】
【００２５】
【図１】本発明の第１の実施形態に係る音声信号処理装置が適用されたデジタルカメラのハードウェア構成を示すブロック図である。
【図２】同実施形態に係る音声信号処理装置の機能構成を示すブロック図である。
【図３】同実施形態に係る機械音推定部の構成を示すブロック図である。
【図４】同実施形態に係るデジタルカメラを示す正面図及び上面図である。
【図５】同実施形態に係るステレオマイクロホンに対する音声の入力方向と、音声信号の出力エネルギーの特性との関係を示す説明図である。
【図６】同実施形態に係る機械音推定部の動作を示すフローチャートである。
【図７】同実施形態に係る機械音補正部の構成を示すブロック図である。
【図８】同実施形態に係る実際の機械音スペクトルと推定機械音スペクトルを示す波形図である。
【図９】同実施形態に係る音声信号を示す波形図である。
【図１０】同実施形態に係る実際の機械音スペクトルと推定機械音スペクトルの差分を示す波形図である。
【図１１】同実施形態に係る機械音補正部の基本動作を示すフローチャートである。
【図１２】同実施形態に係る機械音補正部の動作タイミングを示すタイミングチャートである。
【図１３】同実施形態に係る機械音補正部の全体動作を示すフローチャートである。
【図１４】図１３中の基本処理のサブルーチンを示すフローチャートである
【図１５】図１３中の処理Ａのサブルーチンを示すフローチャートである。
【図１６】図１３中の処理Ｂのサブルーチンを示すフローチャートである。
【図１７】同実施形態に係る機械音低減部の構成を示すブロック図である。
【図１８】同実施形態に係る機械音低減部の動作を示すフローチャートである。
【図１９】図１９中の抑圧係数ｇの算出処理のサブルーチンを示すフローチャートである。
【図２０】本発明の第２の実施形態に係る音声信号の変化を示す波形図である。
【図２１】同実施形態に係る機械音の特徴を示す説明図である。
【図２２】同実施形態に係る機械音の周波数帯域が低域である場合の比較処理を示す説明図である。
【図２３】同実施形態に係る機械音の周波数帯域が中・高域である場合の比較処理を示す説明図である。
【図２４】同実施形態に係る機械音の周波数帯域が全域である場合の比較処理を示す説明図である。
【図２５】同実施形態に係る機械音補正部の動作タイミングを示すタイミングチャートである。
【図２６】図１３中の処理Ｂのサブルーチンを示すフローチャートである。
【図２７】図２６中の変化度ｄの算出処理のサブルーチンを示すフローチャートである。
【図２８】本発明の第３の実施形態に係る機械音の低減量を模式的に示す説明図である。
【図２９】図１３中の基本処理のサブルーチンを示すフローチャートである。
【図３０】図１３中の処理Ａのサブルーチンを示すフローチャートである。
【図３１】図１３中の処理Ｂのサブルーチンを示すフローチャートである。
【図３２】同実施形態に係る入力音声の平均音量Ｅａと平滑化係数ｒ＿ｓｍの関係を例示する説明図である。
【図３３】本発明の第４の実施形態に係る音声信号処理装置の機能構成を示すブロック図である。
【図３４】同実施形態に係る機械音補正部の基本動作を示すフローチャートである。
【図３５】図１３中の処理Ｂのサブルーチンを示すフローチャートである。
【図３６】同実施形態に係る機械音選択部の構成を示すブロック図である。
【図３７】同実施形態に係る機械音選択部の動作を示すフローチャートである。
【図３８】同実施形態に係る機械音選択部の動作タイミングを示すタイミングチャートである。
【図３９】同実施形態に係る機械音選択部の全体動作を示すフローチャートである。
【図４０】図３９中の処理Ｃのサブルーチンを示すフローチャートである。
【図４１】図３９中の処理Ｄのサブルーチンを示すフローチャートである。
【図４２】本発明の第５の実施形態に係る音声信号処理装置の機能構成を示すブロック図である。
【図４３】同実施形態に係る２つのマイクロホン間の相関を示す説明図である
【図４４】同実施形態に係る機械音スペクトルを適切に推定できる場合の相関を示す説明図である。
【図４５】同実施形態に係る機械音スペクトルを適切に推定できない場合の相関を示す説明図である。
【図４６】同実施形態に係る機械音選択部の動作を示すフローチャートである。
【図４７】同実施形態に係る図３９中の処理Ｃのサブルーチンを示すフローチャートである。
【図４８】同実施形態に係る図３９中の処理Ｄのサブルーチンを示すフローチャートである。
【図４９】本発明の第６の実施形態に係る音声信号処理装置の機能構成を示すブロック図である。
【発明を実施するための形態】
【００２６】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２７】
なお、説明は以下の順序で行うものとする。
１．第１の実施の形態
１．１．機械音低減方法の概要
１．２．音声信号処理装置の構成
１．２．１．音声信号処理装置のハードウェア構成
１．２．２．音声信号処理装置の機能構成
１．３．機械音推定部の詳細
１．３．１．機械音推定部の構成
１．３．１．機械音スペクトル推定の原理
１．３．２．機械音スペクトル推定の動作
１．４．機械音補正部の詳細
１．４．１．機械音補正部の構成
１．４．２．機械音補正の概念
１．４．２．機械音補正の基本動作
１．４．３．機械音補正の詳細動作
１．５．機械音低減部の詳細
１．５．１．機械音低減部の構成
１．５．２．機械音低減部の動作
２．第２の実施の形態
２．１．機械音補正の概念
２．２．機械音補正の動作
３．第３の実施の形態
３．１．機械音補正の概念
３．２．機械音補正の動作
４．第４の実施の形態
４．１．機械音低減方法の概要
４．２．音声信号処理装置の機能構成
４．３．機械音補正部の詳細
４．３．１．機械音選択部の構成
４．３．２．機械音選択の基本動作
４．３．４．機械音選択の詳細動作
４．４．機械音選択部の詳細
４．４．１．機械音選択の概念
４．４．２．機械音選択の基本動作
４．４．３．機械音選択の詳細動作
５．第５の実施の形態
５．１．音声信号処理装置の機能構成
５．２．機械音選択の原理
５．３．機械音選択の基本動作
５．４．機械音選択の詳細動作
６．第６の実施の形態
６．１．音声信号処理装置の機能構成
６．２．機械音選択部の詳細
７．まとめ
【００２８】
＜１．第１の実施の形態＞
［１．１．機械音低減方法の概要］
まず、本発明の第１の実施形態に係る音声信号処理装置及び方法による機械音低減方法の概要について説明する。
【００２９】
本実施形態に係る音声信号処理装置及び方法は、録音機器において、該録音機器に内蔵された発音体の動作に伴い発生する雑音（作動音）を低減する技術に関する。特に、本実施形態では、動画撮像機能を有する撮像装置において、動画を撮像しながら周辺音声を録音するときに、撮像装置に内蔵された駆動装置の撮像動作に伴って生じる機械的な雑音（機械音）を低減対象とする。
【００３０】
ここで、駆動装置は、撮像光学系を用いた撮像動作を行うために撮像装置に内蔵された駆動装置であり、例えば、ズームレンズを移動させるズームモータや、フォーカスレンズを移動させるフォーカスモータ、絞り又はシャッターを制御する駆動機構などを含む。また、撮像動作に伴って生じる機械音は、例えば、上記ズームモータの駆動音（ズーム音）、上記フォーカスモータの駆動音（フォーカス音）などの比較的長時間の駆動音であるが、絞り音やシャッター音などの瞬間的な駆動音であってもよい。以下では、音声信号処理装置が、動画撮像機能を有する小型のデジタルカメラであり、機械音が、該デジタルカメラにおける光学ズーム動作に伴って生ずるズーム音である例について説明する。しかし、本発明の音声信号処理装置及び機械音は、かかる例に限定されない。
【００３１】
デジタルカメラによる撮像及び録音中に、ユーザがズーム操作を行うと、該カメラの内部でズームモータが駆動してズーム音が発生する。すると、デジタルカメラのマイクロホンは、ユーザが録音を所望するカメラ周辺の音声（例えば、環境音、人の話し声など、マイクロホンに収音される任意の音声を含む。以下「所望音」という。）のみならず、カメラ内部で発生したズーム音も収音してしまう。このため、所望音にズーム音が雑音として混入した状態で録音されてしまうので、当該録音された音声を再生したときに、所望音に混入したズーム音がユーザにとって耳障りとなる。例えば、所望音の周波数帯域は１〜４ｋＨｚの範囲に多く分布し、ズーム音等の機械音の周波数帯域は概ね５〜１０ｋＨｚの範囲に多く分布する。このように機械音と所望音の周波数帯域はずれているの、所望音に機械音が混入していると、録音音声の再生時に機械音が目立ってしまう。従って、動画及び音声の記録時に、ズーム音等の機械音を適切に除去した上で所望音のみを記録可能な技術が希求されていた。
【００３２】
従来の機械音低減技術では、上記特許文献１記載のように、予め複数台のカメラを用いて機械音スペクトルを測定し、機械音スペクトルの平均値（テンプレート）を求めておき、録音時に、該機械音スペクトルを収録音スペクトルから減算することで、機械音を低減していた（上記特許文献１参照。）。しかし、個々のカメラには個体差があるため、平均的な機械音スペクトルを用いても、個々のカメラで機械音に十分に低減できなかった。
【００３３】
また、上記特許文献２のように、音声収録用のマイクロホン以外に、カメラの筐体内にノイズ専用のマイクロホンを追加的に設置して、機械音を検出する方法も提案されていた。しかし、小型化が進むデジタルカメラ内にノイズ専用のマイクロホンを新たに設置するためには、設置スペースの確保や、種々の部品の配置調整が困難であった。
【００３４】
ところで、上述したデジタルカメラの小型化が進む一方、動画撮像機能の向上とともに、録音品質の向上のためにモノラル録音ではなくステレオ録音を行うことができる機種が非常に増加している。ステレオ録音するためには、カメラの外装に複数のマイクロホン（ステレオマイクロホン）が設置される。
【００３５】
そこで、本実施形態では、上記ノイズ専用のマイクロホンを増設するのではなく、デジタルカメラに既に設置されている複数のステレオマイクロホンから得られる複数の音声信号を、機械音の低減に活用する。ステレオマイクロホンは、隣接配置された少なくとも２つのマイクロホンで構成され、カメラの周辺の音声（所望音）を高品質で収音するためにカメラの外装に設置されている。このステレオマイクロホンは、上記カメラの筐体内に配置されるノイズ専用のマイクロホンとは相違する。このような既設のステレオマイクロホンを有効活用することができれば、上記ノイズ専用のマイクロホンをカメラ内に設けたときの問題（設置スペースの確保、各種部品の配置調整の問題）は生じない。
【００３６】
勿論、ステレオマイクロホンを構成する複数のマイクロホンも、カメラ内部で発生する機械音を収音するが、当該複数のマイクロホンから出力される複数の音声信号を解析することで、音声信号に含まれる機械音を推定することが可能である。即ち、カメラの外装に設けられた複数のマイクロホンと、カメラ内部に設けられた駆動装置（ズームモータ等の機械音発生源）との相対位置関係は固定的である。また、駆動装置から各々のマイクロホンまでの距離は相違する。従って、駆動装置から一方のマイクロホンに伝播する機械音と、他方のマイクロホンに伝播する機械音との間には、位相差が生じる。
【００３７】
そこで、本実施形態では、複数のマイクロホンと駆動装置との相対位置関係に基づいて、当該複数のマイクロホンから出力される複数の音声信号を演算する。これにより、駆動装置の方向から各マイクロホンに伝わる音（主に機械音）を強調し、駆動装置の方向以外から各マイクロホンに伝わる音（主に所望音）を減衰させることができるので、機械音を推定することができる。ここで、駆動装置の方向とは、駆動装置から複数のマイクロホンに向かう方向である。
【００３８】
このように本実施形態では、上記機械音スペクトルのテンプレートを利用せずに、ステレオマイクロホンからの複数の音声信号を利用することで、録音中に機械音を動的に推定及び補正して、機械音を適切に低減することができる。このように個々のカメラで録音中に動的に機械音を推定及び補正することで、個々のカメラごとに異なる機械音を正確に求めて、十分に低減することができる。また、同一のカメラにおいても、駆動装置の動作ごとに異なる機械音を正確に求めて、十分に低減することができる。以下に、本実施形態に係る機械音の除去方法について詳述する。
【００３９】
［１．２．音声信号処理装置の構成］
［１．２．１．音声信号処理装置のハードウェア構成］
まず、図１を参照して、本実施形態に係る音声信号処理装置が適用されたデジタルカメラのハードウェア構成例について説明する。図１は、本実施形態に係る音声信号処理装置が適用されたデジタルカメラ１のハードウェア構成を示すブロック図である。
【００４０】
本実施形態に係るデジタルカメラ１は、例えば、動画撮像中に動画と共に音声も記録可能な撮像装置である。このデジタルカメラ１は、被写体を撮像して、当該撮像により得られた撮像画像（静止画又は動画のいずれでもよい。）をデジタル方式の画像データに変換し、音声とともに記録媒体に記録する。
【００４１】
図１に示すように、本実施形態に係るデジタルカメラ１は、概略的には、撮像部１０と、画像処理部２０と、表示部３０と、記録媒体４０と、収音部５０と、音声処理部６０と、制御部７０と、操作部８０とを備える。
【００４２】
撮像部１０は、被写体を撮像して、撮像画像を表すアナログ画像信号を出力する。撮像部１０は、撮像光学系１１と、撮像素子１２と、タイミングジェネレータ１３と、駆動装置１４とを備える。
【００４３】
撮像光学系１１は、フォーカスレンズ、ズームレンズ、補正レンズ等の各種レンズや、不要な波長を除去する光学フィルタ、シャッター、絞り等の光学部品からなる。被写体から入射された光学像（被写体像）は、撮像光学系１１における各光学部品を介して、撮像素子１２の露光面に結像される。撮像素子１２（イメージセンサ）は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子で構成される。この撮像素子１２は、撮像光学系１１から導かれた光学像を光電変換し、撮像画像を表す電気信号（アナログ画像信号）を出力する。
【００４４】
撮像光学系１１には、該撮像光学系１１の光学部品を駆動するための駆動装置１４が機械的に接続されている。この駆動装置１４は、例えば、ズームモータ１５、フォーカスモータ１６、絞り調整機構（図示せず。）などを含む。駆動装置１４は、後述する制御部７０の指示に従って、撮像光学系１１の光学部品を駆動させ、ズームレンズ、フォーカスレンズを移動させたり、絞りを調整したりする。例えば、ズームモータ１５は、ズームレンズをテレ／ワイド方向に移動させることで、画角を調整するズーム動作を行う。また、フォーカスモータ１６は、フォーカスレンズを移動させることで、被写体に焦点を合わせるフォーカス動作を行う。
【００４５】
また、タイミングジェネレータ（ＴＧ）１３は、制御部７０の指示に従って、撮像素子１２に必要な動作パルスを生成する。例えば、ＴＧ１３は、垂直転送のための４相パルス、フィールドシフトパルス、水平転送のための２相パルス、シャッタパルスなどの各種パルスを生成し、撮像素子１２に供給する。このＴＧ１３により撮像素子１２を駆動させることで、被写体像が撮像される。また、ＴＧ１３が、撮像素子１２のシャッタースピードを調整することで、撮像画像の露光量や露光期間が制御される（電子シャッター機能）。上記の撮像素子１２が出力した画像信号は画像処理部２０に入力される。
【００４６】
画像処理部２０は、マイクロコントローラなどの電子回路で構成され、撮像素子１２から出力される画像信号に対して所定の画像処理を施し、当該画像処理後の画像信号を表示部３０や制御部７０に出力する。画像処理部２０は、アナログ信号処理部２１、アナログ／デジタル（Ａ／Ｄ）変換部２２、デジタル信号処理部２３を備える。
【００４７】
アナログ信号処理部２１は、画像信号を前処理する所謂アナログフロントエンドである。該アナログ信号処理部２１は、例えば、撮像素子１２から出力される画像信号に対して、ＣＤＳ（ｃｏｒｒｅｌａｔｅｄ ｄｏｕｂｌｅ ｓａｍｐｌｉｎｇ：相関２重サンプリング）処理、プログラマブルゲインアンプ（ＰＧＡ）によるゲイン処理などを行う。Ａ／Ｄ変換部２２は、アナログ信号処理部２１から入力されたアナログ画像信号をデジタル画像信号に変換して、デジタル信号処理部２３に出力する。デジタル信号処理部２３は、入力されたデジタル画像信号に対して、例えば、ノイズ除去、ホワイトバランス調整、色補正、エッジ強調、ガンマ補正等のデジタル信号処理を行って、表示部３０や制御部７０等に出力する。
【００４８】
表示部３０は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬディスプレイなどの表示装置で構成される。表示部３０は、制御部７０による制御に従って、入力された各種の画像データを表示する。例えば、表示部３０は、撮像中に画像処理部２０からリアルタイムで入力される撮像画像（スルー画像）を表示する。これにより、ユーザは、デジタルカメラ１で撮像中のスルー画像を見ながら、デジタルカメラ１を操作することができる。また、記録媒体４０に記録されている撮像画像を再生したときに、表示部３０は、当該再生画像を表示する。これにより、ユーザは、記録媒体４０に記録されている撮像画像の内容を確認することができる。
【００４９】
記録媒体４０は、上記撮像画像のデータ、そのメタデータなどの各種のデータを記憶する。記録媒体４０は、例えば、メモリカード等の半導体メモリ、又は、光ディスク、ハードディスク等のディスク状記録媒体などを使用できる。なお、光ディスクは、例えば、ブルーレイディスク（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）又はＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）等を含む。なお、記録媒体４０は、デジタルカメラ１に内蔵されてもよいし、デジタルカメラ１に着脱可能なリムーバブルメディアであってもよい。
【００５０】
収音部５０は、デジタルカメラ１周辺の外部音声を収音する。本実施形態に係る収音部５０は、２つの外部音声収録用のマイクロホン５１、５２からなるステレオマイクロホンで構成される。２つのマイクロホン５１、５２は、外部音声を収音して得られた音声信号をそれぞれ出力する。かかる収音部５０により、動画撮像中に外部音声を収音して、動画と共に記録できるようになる。
【００５１】
音声処理部６０は、マイクロコントローラなどの電子回路で構成され、音声信号に対して所定の音声処理を施して、記録用の音声信号を出力する。この音声処理は、例えば、ＡＤ変換処理、雑音低減処理などを含む。本実施形態は、この音声処理部６０による雑音低減処理を特徴としているが、その詳細説明は後述する。
【００５２】
制御部７０は、マイクロコントローラなどの電子回路で構成され、デジタルカメラ１の全体の動作を制御する。制御部７０は、例えば、ＣＰＵ７１、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）７２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）７３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７４を備える。かかる制御部７０は、デジタルカメラ１内の各部を制御する。例えば、制御部７０は、マイクロホン５１、５２により収音された音声信号から、駆動装置１４で発生した機械音を雑音として低減するに、音声処理部６０の動作を制御する。
【００５３】
制御部７０におけるＲＯＭ７３には、ＣＰＵ７１に各種の制御処理を実行させるためのプログラムが格納されている。ＣＰＵ７１は、該プログラムに基づいて動作して、ＲＡＭ７４を用いながら、上記各制御のための必要な演算・制御処理を実行する。該プログラムは、デジタルカメラ１に内蔵された記憶装置（例えば、ＥＥＰＲＯＭ７２、ＲＯＭ７３等）に予め格納しておくことができる。また、当該プログラムは、ディスク状記録媒体、メモリカードなどのリムーバブル記録媒体に格納されて、デジタルカメラ１に提供されてもよいし、ＬＡＮ、インターネット等のネットワークを介してデジタルカメラ１にダウンロードされてもよい。
【００５４】
ここで、制御部７０による制御の具体例について説明する。制御部７０は、上記撮像部１０のＴＧ１３や駆動装置１４を制御して、撮像部１０による撮像処理を制御する。例えば、制御部７０は、上記撮像光学系１１の絞りの調整、撮像素子１２の電子シャッタースピードの設定、アナログ信号処理部２１のＡＧＣのゲイン設定などにより、自動露光制御を行う（ＡＥ機能）。また、制御部７０は、上記撮像光学系１１のフォーカスレンズを移動させて、フォーカスポジションを変更することで、特定の被写体に対して撮像光学系１１の焦点を自動的に合わせるオートフォーカス制御を行う（ＡＦ機能）。また、制御部７０は、上記撮像光学系１１のズームレンズを移動させて、ズームポジションを変更することで、撮像画像の画角を調整する。また、制御部７０は、記録媒体４０に対して撮像画像、メタデータなどの各種のデータを記録し、また、記録媒体４０に記録されているデータを読み出して再生する。さらに、制御部７０は、表示部３０に表示するための各種の表示画像を生成し、表示部３０を制御して該表示画像を表示させる。
【００５５】
操作部８０、表示部３０は、ユーザがデジタルカメラ１の動作を操作するためのユーザインターフェースとして機能する。操作部８０は、ボタン、レバー等の各種の操作キー、又はタッチパネル等で構成され、例えば、ズームボタン、シャッターボタン、電源ボタンなどを含む。操作部８０は、ユーザ操作に応じて、各種の撮像動作を指示するための指示情報を制御部７０に出力する。
【００５６】
［１．２．２．音声信号処理装置の機能構成］
次に、図２を参照して、本実施形態に係るデジタルカメラ１に適用された音声信号処理装置の機能構成例について説明する。図２は、本実施形態に係る音声信号処理装置の機能構成を示すブロック図である。
【００５７】
図２に示すように、音声信号処理装置は、２つのマイクロホン５１、５２と、音声処理部６０を備える。音声処理部６０は、２つの周波数変換部６１Ｌ、６１Ｒと、機械音推定部６２と、２つの機械音補正部６３Ｌ、６３Ｒと、２つの機械音低減部６４Ｌ、６４Ｒと、２つの時間変換部６５Ｌ、６５Ｒとを備える。これら音声処理部６０の各部は、専用のハードウェアで構成されてもよいし、ソフトウェアで構成されてもよい。ソフトウェアを用いる場合、音声処理部６０の備えるプロセッサが、以下に説明する各機能部の機能を実現するためのプログラムを実行すればよい。なお、図２中で、実線の矢印は音声信号のデータ線を示し、破線の矢印は制御線を示す。
【００５８】
マイクロホン５１、５２は、上述したステレオマイクロホンを構成する。マイクロホン５１（第１のマイクロホン）は、Ｌチャンネルの音声を収音するためのマイクロホンであり、デジタルカメラ１の外部から伝わる外部音声を収音して第１の音声信号ｘＬを出力する。マイクロホン５２（第２のマイクロホン）は、Ｒチャンネルの音声を収音するためのマイクロホンであり、上記外部音声を収音して第２の音声信号ｘＲを出力する。
【００５９】
かかるマイクロホン５１、５２は、デジタルカメラ１周辺の外部音声（環境音、人の話し声等の所望音）を録音するためのマイクロホンである。しかし、デジタルカメラ１内に設けられた駆動装置１４（ズームモータ１５、フォーカスモータ１６等）の動作時には、当該駆動装置１４からの機械音（ズーム音、フォーカス音等）が上記外部音声に混入する。従って、マイクロホン５１、５２を通じて入力される音声信号ｘＬ、ｘＲには、所望音成分のみならず、機械音成分も含まれることとなる。そこで、音声信号ｘＬ、ｘＲから機械音成分を除去するために、以下の各部が設けられている。
【００６０】
周波数変換部６１Ｌ、６１Ｒ（以下、周波数変換部６１と総称する。）は、時間領域の音声信号ｘＬ、ｘＲを、周波数領域の音声スペクトル信号ＸＬ、ＸＲに変換する機能を有する。ここで、スペクトルとは、周波数スペクトルを意味する。周波数変換部６１Ｌ（第１の周波数変換部）は、Ｌｃｈ用のマイクロホン５１から入力される音声信号ｘＬを、所定時間のフレーム単位で分割し、当該分割された音声信号ｘＬをフーリエ変換することで、周波数ごとのパワーを示した音声スペクトル信号ＸＬを生成する。同様に、周波数変換部６１Ｒ（第２の周波数変換部）は、Ｒｃｈ用のマイクロホン５２から入力される音声信号ｘＲを、所定時間のフレーム単位で分割し、当該分割された音声信号ｘＲをフーリエ変換することで、周波数ごとのパワーを示した音声スペクトル信号ＸＲを生成する。
【００６１】
機械音推定部６２は、作動音スペクトルを推定する作動音推定部の一例である。機械音推定部６２は、音声スペクトル信号ＸＬ、ＸＲを利用して、上記機械音を表す機械音スペクトルを推定する機能を有する。機械音推定部６２は、上記駆動装置１４とマイクロホン５１、５２との相対位置関係に基づいて、音声スペクトル信号ＸＬ、ＸＲを演算することにより、上記機械音を表す機械音スペクトル信号Ｚを生成する。
【００６２】
かかる機械音推定部６２を設けることで、平均機械音スペクトルを用いずに、個々のカメラごと及び撮像動作ごとに機械音を動的に推定して、機械音を適切に低減することが可能となる。以下では、機械音推定部６２により推定された機械音スペクトル信号Ｘを、「推定機械音スペクトルＺ」と称する場合もある。なお、機械音推定部６２による機械音の推定処理の詳細は後述する。
【００６３】
機械音補正部６３Ｌ、６３Ｒ（以下、機械音補正部６３と総称する。）は、駆動装置１４の動作期間（機械音の発生期間）を利用して、マイクロホン５１、５２に入力される実際の機械音のスペクトルＺｒｅａｌと、推定機械音スペクトルＺと間の誤差を補正する機能を有する。機械音補正部６３Ｌ（第１の機械音補正部）は、音声スペクトル信号ＸＬの周波数成分ＸＬ（ｋ）ごとに、駆動装置１４の動作開始前後における音声スペクトル信号ＸＬ（ｋ）の周波数特性の差分ｄＸＬに基づいて、音声スペクトル信号ＸＬ用（Ｌｃｈ用）の推定機械音スペクトルＺを補正するための補正係数ＨＬ（第１の補正係数）を算出する。同様に、機械音補正部６３Ｒ（第２の機械音補正部）は、音声スペクトル信号ＸＲの周波数成分ＸＲ（ｋ）ごとに駆動装置１４の動作開始前後における音声スペクトル信号ＸＲ（ｋ）の周波数特性の差分ｄＸＲに基づいて、音声スペクトル信号ＸＲ用（Ｒｃｈ用）の推定機械音スペクトルＺを補正するための補正係数ＨＲ（第２の補正係数）を算出する。なお、周波数成分Ｘ（ｋ）とは、音声スペクトルＸの全周波数帯域を複数（Ｌ個）のブロックに分割したときの、各ブロックの音声スペクトル信号Ｘである（ｋ＝０，１，・・・，Ｌ−１）。
【００６４】
かかる機械音補正部６３を設けることで、音声スペクトル信号ＸＬの周波数成分ＸＬ（ｋ）ごとに、現実の機械音スペクトルＺｒｅａｌに合うように推定機械音スペクトルＺを補正して、正確な機械音スペクトルに調整できるので、機械音低減部６４による機械音の消し残り、消し過ぎを抑制することができる。なお、機械音補正部６３による機械音スペクトルの補正処理の詳細は後述する。
【００６５】
機械音低減部６４Ｌ、６４Ｒ（以下、機械音低減部６４と総称する。）は、周波数変化部６１Ｌ、６１Ｒから入力される音声スペクトル信号ＸＬ、ＸＲから、上記機械音補正部６３Ｌ、６３Ｒにより補正された推定機械音スペクトルＺを低減する機能を有する。機械音低減部６４Ｌ（第１の機械音低減部）は、音声スペクトル信号ＸＬから、上記補正係数ＨＬで補正された推定機械音スペクトルＺを低減することで、機械音が除去された音声スペクトル信号ＹＬを生成する。同様に、機械音低減部６４Ｒ（第２の機械音低減部）は、音声スペクトル信号ＸＲから、上記補正係数ＨＲで補正された推定機械音スペクトルＺを低減することで、機械音が除去された音声スペクトル信号ＹＲを生成する。なお、機械音低減部６４による機械音スペクトルＺの低減処理の詳細は後述する。
【００６６】
時間変換部６５Ｌ、６５Ｒ（以下、時間変換部６５と総称する。）は、周波数領域の音声スペクトル信号ＹＬ、ＹＲを、時間領域の音声信号ｙＬ、ｙＲに逆変換する機能を有する。時間変換部６５Ｌ（第１の時間変換部）は、機械音低減部６４Ｌから入力される音声スペクトル信号ＹＬを逆フーリエ変換することで、フレーム単位ごとの音声信号ｙＬを生成する。同様に、時間変換部６５Ｒ（第２の時間変換部）は、機械音低減部６４Ｒから入力される音声スペクトル信号ＹＲを逆フーリエ変換することで、フレーム単位ごとの音声信号ｙＲを生成する。かかる音声信号ｙＬ、ｙＲは、音声信号ｘＬ、ｘＲに含まれていた機械音成分が適切に除去された後の所望音成分の音声信号である。
【００６７】
以上、本実施形態に係る音声信号処理装置の音声処理部６０の機能構成について説明した。音声処理部６０は、上記デジタルカメラ１による動画及び音声の記録中に、ステレオマイクロホン５１、５２から入力される音声信号を利用して、外部音声スペクトルに含まれる機械音スペクトルを正確に推定し、外部音声から機械音を適切に除去できる。
【００６８】
従って、本実施形態では、従来のような機械音スペクトルのテンプレートを利用しなくとも、機械音を除去することが可能となる。これにより、従来のような多数のカメラを用いて機械音を測定して、当該テンプレートを作成するための調整コストを削減できる。
【００６９】
さらに、個々のデジタルカメラ１において、機械音が発生する撮像動作ごとに動的に機械音スペクトルを推定して除去するので、デジタルカメラ１の個体差による機械音のばらつきが存在しても、所望の低減効果を得ることができる。また、録音中は常に、機械音スペクトルを推定するので、駆動装置１４の動作中の機械音の時間変化にも追従できる。
【００７０】
また、機械音補正部６３により、実際の機械音スペクトルに合うように推定機械音スペクトルを補正することで、機械音の過剰推定や過小推定がない。よって、機械音低減部６４による機械音の消しすぎや、消し残しを防止できるので、所望音の音質劣化を低減できる。
【００７１】
［１．３．機械音推定部の詳細］
次に、本実施形態に係る機械音推定部６２の構成及び動作について説明する。
【００７２】
［１．３．１．機械音推定部の構成］
まず、図３を参照して、本実施形態に係る機械音推定部６２の構成について説明する。図３は、本実施形態に係る機械音推定部６２の構成を示すブロック図である。
【００７３】
図３に示すように、機械音推定部６２は、記憶部６２１と、演算部６２２を備える。演算部６２２には、上記Ｌｃｈ、Ｒｃｈ用の周波数変換部６１から音声スペクトル信号ＸＬ、ＸＲが入力される。
【００７４】
記憶部６２１は、後述するフィルタ係数ｗＬ、ｗＲを記憶する。フィルタ係数ｗＬ、ｗＲは、駆動装置１４の方向以外からマイクロホン５１、５２に到来する音声成分を減衰させるために、音声スペクトル信号ＸＬ、ＸＲに乗算される係数である。演算部６２２は、フィルタ係数ｗＬ、ｗＲを用いて音声スペクトル信号ＸＬ、ＸＲを演算することにより、上記推定機械音スペクトル信号Ｚを生成する。演算部６２２により生成された推定機械音スペクトル信号Ｚは、上記機械音低減部６４及び機械音補正部６３に出力される。
【００７５】
［１．３．１．機械音スペクトル推定の原理］
次に、図４、図５を参照して、ステレオマイクロホン５１、５２を利用して機械音スペクトルを推定する原理について説明する。図４は、本実施形態に係るデジタルカメラ１を示す正面図及び上面図である。図５は、本実施形態に係るステレオマイクロホン５１、５２に対する音声の入力方向と、音声信号の出力エネルギーの特性との関係を示す説明図である。
【００７６】
図４に示すように、同一機種のデジタルカメラ１では、２つのマイクロホン５１、５２と、機械音発生源である駆動装置１４（ズームモータ１５、フォーカスモータ１６等）との相対位置関係は固定されている。つまり、両者の相対位置関係は、デジタルカメラ１ごと、撮像動作ごとに変化しない。
【００７７】
図示の例では、２つのマイクロホン５１、５２は、デジタルカメラ１の筐体２の上面２ａに、カメラ正面方向（撮像方向）に対して垂直方向に並んで配置されている。かかる配置により、マイクロホン５１、５２は、カメラ正面方向から到来する外部音声（所望音）を好適に収音できる。また、駆動装置１４は、デジタルカメラ１の筐体２内部の右下隅に、レンズ部３に隣接して配置されている。
【００７８】
かかるマイクロホン５１、５２と駆動装置１４との相対位置関係によれば、駆動装置１４から一方のマイクロホン５１までの距離と、駆動装置１４から他方のマイクロホン５２までの距離は異なる。よって、駆動装置１４で機械音が発生したときに、マイクロホン５１で収音される機械音とマイクロホン５２で収音される機械音との間には、位相差が生じる。
【００７９】
そこで、機械音推定部６２は、上記マイクロホン５１、５２と駆動装置１４との相対位置関係を利用して、駆動装置１４の方向以外からマイクロホン５１、５２に到来する音声信号成分（主として所望音）を減衰させ、駆動装置１４の方向からマイクロホン５１、５２に到来する音声信号成分（主として機械音）を強調する信号処理を行う。これにより、２つのマイクロホン５１、５２に入力された外部音声から、機械音を近似的に抽出することが可能となる。
【００８０】
即ち、機械音推定部６２の記憶部６２１には、２つのマイクロホン５１、５２により得られた２つの音声スペクトル信号ＸＬ、ＸＲから機械音を抽出するためのフィルタ係数ｗＬ、ｗＲが保存されている。例えば図５に示すように、このフィルタ係数ｗＬ、ｗＲは、カメラ正面方向（音声入力角度＝０°）からマイクロホン５１、５２に到来する音声成分を減衰させ、駆動装置１４の方向（音声入力角度＝−６０°）からマイクロホン５１、５２に到来する音声信号成分を残存させるような特性を、音声スペクトル信号ＸＬ、ＸＲに与えるための係数である。具体的には、フィルタ係数ｗＬは音声スペクトル信号ＸＬに乗算される係数であり、フィルタ係数ｗＲは音声スペクトル信号ＸＲに乗算される係数である。
【００８１】
機械音推定部６２は、例えば以下の式（１）に表すように、上記フィルタ係数ｗＬ、ｗＲを音声スペクトル信号ＸＬ、ＸＲにそれぞれ乗算して、双方の和を求めることで、上記推定機械音スペクトルＺを生成する。
Ｚ＝ｗＬ・ＸＬ＋ｗＲ・ＸＲ ・・・（１）
【００８２】
フィルタ係数ｗＬ、ｗＲの値は、マイクロホン５１、５２と駆動装置１４との相対位置関係に応じて、デジタルカメラ１の機種ごとに予め決定されている。マイクロホン５１、５２と駆動装置１４が、図４のような相対位置関係にあるときには、例えば、ｗＬ＝１、ｗＲ＝−１とすればよい。これにより、カメラ正面方向から伝播する所望音を低減し、駆動装置１４の方向から伝播する機械音を抽出して、推定機械音スペクトルＺを適切に推定できる。カメラ正面方向から伝播する所望音を収音した場合、２つのマイクロホン５１、５２で収音される音声間で、時間遅延（位相差）は存在しない。従って、式（１）のようにＸＬからＸＲを減算することで、カメラ正面方向からの所望音を相殺して、サイド方向からの推定機械音スペクトルＺを抽出できる。なお、フィルタ係数ｗＬ、ｗＲは、上述した特性（所望音の減衰、機械音の強調）を満たすものであれば、任意の値であってよい。
【００８３】
以上では、図４、図５に示したように、駆動装置１４が、２つのマイクロホン５１、５２に対して正面方向に配置されていない場合（機械音の入力角度≠０°）の機械音の推定原理について説明した。しかし、駆動装置１４がマイクロホン５１、５２の正面方向に配置されている場合（機械音の入力角度＝０°）であっても、図５に示した音声信号を減衰させる波形のピークの位置を左右にずらせばよい（例えば±３０℃の位置）。これにより、当該ピークの位置に対応する音声入力方向以外の方向から到来する音声（正面方向の駆動装置１４からの機械音を含む。）を強調できるので、機械音スペクトルを推定可能である。
【００８４】
［１．３．２．機械音スペクトル推定の動作］
次に、図６を参照して、本実施形態に係る機械音推定部６２の動作について説明する。図６は、本実施形態に係る機械音推定部６２の動作を示すフローチャートである。
【００８５】
図６に示すように、まず、機械音推定部６２は、上記周波数変換部６１Ｌ、６１Ｒから出力された音声スペクトル信号ＸＬ、ＸＲを受け取る（ステップＳ１０）。次いで、機械音推定部６２は、記憶部６２１から上記フィルタ係数ｗＬ、ｗＲを読み出す（ステップＳ１２）。上述したように、例えば、フィルタ係数ｗＬ＝１、ｗＲ＝−１である。
【００８６】
さらに、機械音推定部６２は、式（２）で表すように、Ｓ１２で読み出したフィルタ係数ｗＬ、ｗＲを用いて、Ｓ１０で得た音声スペクトル信号ＸＬ、ＸＲを演算して、推定機械音スペクトルＺを算出する（ステップＳ１４）。
Ｚ＝ｗＬ・ＸＬ＋ｗＲ・ＸＲ＝ＸＬ−ＸＲ ・・・（２）
【００８７】
その後、機械音推定部６２は、Ｓ１４で算出した推定機械音スペクトルＺを、機械音補正部６３Ｌ、６３Ｒに出力する（ステップＳ１６）。
【００８８】
以上、機械音推定部６２による推定機械音スペクトルＺの推定処理について説明した。なお、実際には、音声信号ｘＬ、ｘＲを周波数変換して音声スペクトル信号ＸＬ、ＸＲを得ているので、音声スペクトル信号ＸＬ、ＸＲの各周波数成分ＸＬ（ｋ）、ＸＲ（ｋ）ごとに、推定機械音スペクトルＺ（ｋ）を計算する必要がある。しかし、上記では説明の便宜上、推定機械音スペクトルＺの１つの周波数成分Ｚ（ｋ）のみを計算するためのフローチャートを用いて説明した。
【００８９】
［１．４．機械音補正部の詳細］
次に、本実施形態に係る機械音補正部６３の構成及び動作について説明する。
【００９０】
［１．４．１．機械音補正部の構成］
まず、図７を参照して、本実施形態に係る機械音補正部６３の構成について説明する。図７は、本実施形態に係る機械音補正部６３の構成を示すブロック図である。なお、以下では、Ｌｃｈ用の機械音補正部６３Ｌの構成について説明するが、Ｒｃｈ用の機械音補正部６３Ｒの構成も実質的に同一であるので、その詳細説明は省略する。
【００９１】
図７に示すように、機械音補正部６３Ｌは、記憶部６３１と、演算部６３２を備える。演算部６３２には、上記Ｌｃｈ用の周波数変換部６１Ｌから音声スペクトル信号ＸＬが入力され、上記機械音推定部６２から推定機械音スペクトル信号Ｚが入力され、上記制御部７０から駆動制御情報が入力される。
【００９２】
駆動制御情報は、駆動装置１４を制御するための情報であり、駆動装置１４の動作状態を表す。例えば、ズームモータ１５を制御するための駆動制御情報（以下、モータ制御情報）は、ズームモータ１５の動作状態（例えば、ズーム動作の有無、ズーム動作の開始及び終了タイミング等）を表す。機械音補正部６３Ｌの演算部６３２は、この駆動制御情報に基づいて、駆動装置１４の動作状態を判断する。
【００９３】
記憶部６３１は、音声スペクトル信号ＸＬの周波数成分ＸＬ（ｋ）ごとに、後述する補正係数ＨＬを記憶する。補正係数ＨＬは、音声スペクトル信号ＸＬから機械音を適切に除去するために、上記機械音推定部６２により生成された推定機械音スペクトルＺを補正するための係数である。また、記憶部６３１は、演算部６３２により補正係数ＨＬを算出するための計算用バッファとしても機能する。
【００９４】
演算部６３２は、駆動装置１４が動作したとき（即ち、機械音の発生時）に、音声スペクトル信号ＸＬの周波数成分ＸＬ（ｋ）ごとに、駆動装置１４の動作開始前後におけるＸＬの周波数特性の差分ｄＸＬ（ＸＬのスペクトル形状の差分）に基づいて、当該補正係数ＨＬを算出し、記憶部６３１に記憶されている過去の補正係数ＨＬを更新する。このように、演算部６３２は、駆動装置１４が動作する度に、補正係数ＨＬの算出及び更新処理を繰り返す。また、演算部６３２により算出された最新の補正係数ＨＬと、推定機械音スペクトル信号Ｚは、上記機械音低減部６４Ｌに出力される。なお、以下では、補正係数ＨＬと補正係数ＨＲを補正係数Ｈと総称する場合がある。
【００９５】
［１．４．２．機械音補正の概念］
次に、図８〜図１０を参照して、機械音補正部６３による機械音スペクトル補正の概念について説明する。
【００９６】
上述したように、機械音推定部６２により、入力音声信号ｘＬ、ｘＲに応じて機械音の推定が実現できる。しかし、機械音推定部６２により推定された機械音（推定機械音スペクトルＺ）は、Ｌｃｈ用のマイクロホン５１に入力される実際の機械音とは、多少の誤差がある。
【００９７】
図８は、Ｌｃｈ用のマイクロホン５１に入力された実際の機械音スペクトルＺｒｅａｌの平均と、機械音推定部６２により推定された機械音スペクトルＺの平均を表す。図８に示すように、機械音推定部６２により得られた推定機械音スペクトルＺは、実際の機械音スペクトルＺｒｅａｌの全体傾向をよく捉えているものの、個々の周波数成分Ｘ（ｋ）ごとには多少の誤差がある。この推定誤差の原因としては、例えば、マイクロホン５１、５２の個体差が挙げられる、また、デジタルカメラ１の筐体２内において、機械音が反射して多方向からマイクロホン５１、５２に入力されることによっても、推定誤差が生じうる。従って、機械音推定部６２のみでは、推定機械音スペクトルＺを、実際の機械音スペクトルＺｒｅａｌに完全に一致させることは難しい。
【００９８】
よって、適切に機械音を低減するためには、機械音の発生期間と非発生期間との差を利用して、推定機械音スペクトルＺが実際の機械音スペクトルＺｒｅａｌと一致するように、推定機械音スペクトルＺの周波数特性を補正することが望ましい。
【００９９】
ところが、図９に示すように、駆動装置１４の動作期間中にマイクロホン５１、５２に入力される音声は、駆動装置１４からの機械音だけでなく、カメラ周囲の環境音（所望音）も含まれる。このため、機械音以外の音声成分を必要以上に劣化させずに、機械音を適切に低減するためには、機械音の発生期間（即ち、駆動装置１４の動作期間）にのみ、顕著になるスペクトルを特定する必要がある。
【０１００】
そのためには、図９に示すように、駆動装置１４の動作期間における所望音成分を、当該動作前（動作停止期間）における音声Ａから推定し、駆動装置１４の動作期間における音声Ｂから、当該推定した所望音声分を除去すればよい。これにより、駆動装置１４の動作期間における機械音成分を抽出できるので、当該動作期間における機械音スペクトルを特定できるようになる。
【０１０１】
そこで、本実施形態に係る機械音補正部６３は、機械音が発生しているとき（駆動装置１４の動作時）の音声スペクトルＸａと、機械音が発生していないとき（駆動装置１４の動作停止時）の音声スペクトルＸｂとの差分ｄＸを利用することで、推定機械音スペクトルＺを補正するための補正係数Ｈを求める。なお、音声スペクトルＸａは、駆動装置１４の動作中に上記周波数変換部６１から出力される音声スペクトル信号ＸＬ、ＸＲであり、音声スペクトルＸｂは、駆動装置１４の動作開始直前に上記周波数変換部６１から出力された音声スペクトル信号ＸＬ、ＸＲである。
【０１０２】
図１０は、機械音が発生しているときの音声スペクトルＸａと、機械音が発生していないときの音声スペクトルＸｂを表す。図１０に示すように、音声スペクトルＸａと音声スペクトルＸｂとの差分ｄＸ（＝Ｘａ−Ｘｂ）の領域が、機械音の周波数特性を表す。即ち、駆動装置１４の動作開始直前に入力された音声スペクトルＸｂには、機械音は含まれず、所望音のみが含まれており、駆動装置１４の動作中に入力された音声スペクトルＸａには、所望音と機械音の双方が含まれている。従って、駆動装置１４の動作開始前後（例えば、ズーム動作の開始前後）で、デジタルカメラ１周辺の環境音（所望音）が変化していなければ、上記ＸａとＸｂとの差分ｄＸは、実際の機械音スペクトルＺｒｅａｌを表すことになる。
【０１０３】
そこで、機械音補正部６３は、この差分ｄＸを用いて、推定機械音スペクトルＺを補正するための補正係数Ｈを求める。かかる補正係数Ｈで、Ｌｃｈ用、Ｒｃｈ用の推定機械音スペクトルＺをそれぞれ補正することで、推定機械音スペクトルＺを実際の機械音スペクトルＺｒｅａｌに近づけることができる。
【０１０４】
［１．４．２．機械音補正の基本動作］
次に、図１１を参照して、本実施形態に係る機械音補正部６３の基本動作について説明する。図１１は、本実施形態に係る機械音補正部６３の基本動作を示すフローチャートである。図１１の動作フローでは、駆動装置１４の動作開始前後における音声スペクトルＸのスペクトル形状の変化に基づいて、推定機械音スペクトルＺを実際の機械音スペクトルＺｒｅａｌに合わせるための補正係数Ｈを算出する。
【０１０５】
なお、本実施形態は、２つのマイクロホン５１、５２を用いたステレオ音声入力を対象としているので、Ｌｃｈ用とＲｃｈ用の２系統の音声信号を取り扱う（図２参照。）。従って、機械音補正部６３Ｌ、６３Ｒは、この２つのチャンネルに対応してそれぞれ設けられており、それぞれ音声スペクトル信号ＸＬ、ＸＲを独立的に処理する。以下では、説明の便宜上、特にステレオ処理が必要でない場合は、２つの音声スペクトル信号ＸＬ、ＸＲを音声スペクトルＸと総称し、機械音補正部６３の動作を説明する。
【０１０６】
図１１に示すように、まず、機械音補正部６３は、上記周波数変換部６１から出力された音声スペクトルＸを受け取るとともに（ステップＳ２０）上記機械音推定部６２から出力された推定機械音スペクトルＺを受け取る（ステップＳ２１）。
【０１０７】
そして、機械音補正部６３は、制御部７０から取得した駆動制御情報に基づいて、駆動装置１４が動作開始したか否かを判断する（ステップＳ２２）。例えば、ズームモータ１５を動作開始させるためのモータ制御情報が制御部７０から入力されたときに、機械音補正部６３は、ズームモータ１５の動作開始を検出して、以下の補正係数Ｈの算出処理Ｓ２３〜Ｓ２７を実行する。以下では、駆動装置１４がズームモータ１５である例について説明するが、フォーカスモータ１６等の他の駆動装置である場合も同様である。
【０１０８】
ズームモータ１５が動作開始すると、まず、機械音補正部６３は、ズームモータ１５の動作中の音声スペクトルＸの平均周波数特性を表す音声スペクトルＸａを算出する（ステップＳ２３）。この音声スペクトルＸａは、ズームモータ１５が動作している期間中の音声スペクトルの平均値であるので、ズームモータ１５から発生した機械音成分と、所望音成分を含む。
【０１０９】
次いで、機械音補正部６３は、ズームモータ１５の動作停止時の音声スペクトルＸの平均周波数特性を表す音声スペクトルＸｂを算出する（ステップＳ２４）。この音声スペクトルＸｂは、ズームモータ１５が動作していない期間の音声スペクトルであるので、機械音成分を含まない。この動作停止時の音声スペクトルＸｂとして、ズームモータ１５の動作直前の音声スペクトルＸを使用すればよい。これにより、動作開始前後における所望音の変化の影響をできるだけ排除できる。
【０１１０】
さらに、機械音補正部６３は、上記Ｓ２３で算出されたモータ動作中の音声スペクトルＸａと、上記Ｓ２４で算出されたモータ動作停止時の音声スペクトルＸｂとの差分ｄＸを算出する（ステップＳ２５）。具体的には、機械音補正部６３は、以下の式（３）のように、音声スペクトルＸａから音声スペクトルＸｂを減算して、音声スペクトルの差分ｄＸを求める。この差分ｄＸは、ズームモータ１５のズーム動作開始前後における音声スペクトルＸの変化を表し、図１０の斜線領域で表す機械音成分の周波数特性に相当する。
ｄＸ＝Ｘａ−Ｘｂ ・・・（３）
【０１１１】
次いで、機械音補正部６３は、ズームモータ１５の動作中における推定機械音スペクトルＺの平均周波数特性を表す平均推定機械音スペクトルＺａを算出する（ステップＳ２６）。
【０１１２】
その後、機械音補正部６３は、Ｓ２５で算出した差分ｄＸと、Ｓ２６で算出した平均推定機械音スペクトルＺａに基づいて、ズームモータ１５の動作中における推定機械音スペクトルＺを補正するための補正係数Ｈを算出する（ステップＳ２７）。次いで、機械音補正部６３は、Ｓ３６で算出した補正係数Ｈを、機械音低減部６４に出力する（ステップＳ２８）。
【０１１３】
以上、機械音補正部６３による補正係数Ｈの算出処理について説明した。なお、実際には、音声信号ｘＬ、ｘＲを周波数変換して音声スペクトル信号ＸＬ、ＸＲを得ているので、音声スペクトル信号ＸＬ、ＸＲの各周波数成分ＸＬ（ｋ）、ＸＲ（ｋ）ごとに、補正係数ＨＬ（ｋ）、ＨＲ（ｋ）を計算する必要がある。しかし、上記では説明の便宜上、推定機械音スペクトルＺの１つの周波数成分Ｚ（ｋ）の補正係数Ｈ（ｋ）のみを算出するためのフローチャートを用いて説明した。以下の図１２等のフローチャートも同様である。
【０１１４】
［１．４．３．機械音補正の詳細動作］
次に、図１２〜図１６を参照して、本実施形態に係る機械音補正部６３の詳細動作について説明する。以下では、音声信号のパワースペクトル領域において、推定機械音を補正する例を示す。
【０１１５】
図１２は、本実施形態に係る機械音補正部６３の動作タイミングを示すタイミングチャートである。なお、上述したように本実施形態に係る音声信号処理装置は、マイクロホン５１、５２から入力された音声信号ｘＬ、ｘＲをフレーム単位に分割し、当該分割した音声信号に対して、周波数変換処理（ＦＦＴ）及び機械音低減処理を行う。そこで、図１２のタイミングチャートでは、時間軸上で上記フレームを基準として示してある。
【０１１６】
図１２に示すように、機械音補正部６３は、複数の処理（基本処理、処理Ａ、処理Ｂ）を同時並行で行う。基本処理は、ズームモータ１５の動作に関わらず、デジタルカメラ１による録音中（動作撮像中）は常時行われる。処理Ａは、ズームモータ１５の動作停止中に、Ｎ１フレームごとに行われる。処理Ｂは、ズームモータ１５の動作中に、Ｎ２フレームごとに行われる。
【０１１７】
次に、機械音補正部６３の動作フローを説明する。図１３は、本実施形態に係る機械音補正部６３の全体動作を示すフローチャートである。
【０１１８】
図１３に示すように、まず、機械音補正部６３は、制御部７０から、ズームモータ１５の動作状態を表すモータ制御情報ｚｏｏｍ＿ｉｎｆｏを取得する（ステップＳ３０）。ｚｏｏｍ＿ｉｎｆｏの値が１であれば、ズームモータ１５が動作状態であり、ｚｏｏｍ＿ｉｎｆｏの値が０であれば、ズームモータ１５が動作停止状態である。機械音補正部６３は、当該モータ制御情報ｚｏｏｍ＿ｉｎｆｏによりズームモータ１５の動作の有無（即ち、ズーム音の発生の有無）を判断できる。
【０１１９】
次いで、機械音補正部６３は、音声信号ｘの１フレームごとに基本処理を行う（ステップＳ４０）。この基本処理では、機械音補正部６３は、音声信号ｘの１フレームに対応する音声スペクトルＸ及び推定機械音スペクトルＺのパワースペクトルを算出する。
【０１２０】
図１４は、図１３中の基本処理のサブルーチンを示すフローチャートである。図１４に示すように、まず、機械音補正部６３は、周波数変換部６１から音声スペクトルＸを受け取るとともに（ステップＳ４２）、機械音推定部６２から推定機械音スペクトルＺを受け取る（ステップＳ４４）。推定機械音スペクトルＺは、推定されたズームモータ１５の駆動音（モータ音）のスペクトル信号である。
【０１２１】
次いで、機械音補正部６３は、上記音声スペクトルＸを二乗して、当該音声スペクトルＸのパワースペクトルＰｘを算出し、上記推定機械音スペクトルＺを二乗して、当該推定機械音スペクトルＺのパワースペクトルＰｚを算出する（ステップＳ４６）。
【０１２２】
さらに、機械音補正部６３は、記憶部６３１に記憶されているパワースペクトルＰｘの積算値ｓｕｍ＿Ｐｘ、パワースペクトルＰｚの積算値ｓｕｍ＿Ｐｚに、Ｓ４６で求めたパワースペクトルＰｘ、Ｐｚをそれぞれ加算する（ステップＳ４８）。
【０１２３】
以上のようにして、基本処理では、音声信号ｘの１フレームごとに、音声スペクトルＸのパワースペクトルＰｘの積算値ｓｕｍ＿Ｐｘ、推定機械音スペクトルＺのパワースペクトルＰｚの積算値ｓｕｍ＿Ｐｚを算出する。
【０１２４】
図１３に戻り、Ｓ５０では、機械音補正部６３は、上記基本処理Ｓ４０を行ったフレーム数をカウントする（ステップＳ５０）。具体的には、かかるカウント処理では、ズームモータ１５の動作中における処理フレーム数ｃｎｔ２、ズームモータ１５の動作停止中における処理フレーム数ｃｎｔ１を用いる。ズームモータ１５が動作停止中（ｚｏｏｍ＿ｉｎｆｏ＝０）である場合（ステップＳ５１）、機械音補正部６３は、記憶部６３１に記憶されているｃｎｔ２をゼロにリセットし（ステップＳ５２）、記憶部６３１に記憶されているｃｎｔ１に１を加算する（ステップＳ５４）。一方、ズームモータ１５が動作中（ｚｏｏｍ＿ｉｎｆｏ＝１）である場合（ステップＳ５１）、機械音補正部６３は、記憶部６３１に記憶されているｃｎｔ１をゼロにリセットし（ステップＳ５６）、記憶部６３１に記憶されているｃｎｔ２に１を加算する（ステップＳ５８）。
【０１２５】
次いで、ズームモータ１５が動作停止中であり、かつ、上記Ｓ５０でカウントした処理フレーム数ｃｎｔ１が所定のフレーム数Ｎ１に達している場合（ステップＳ６０）、機械音補正部６３は、処理Ａを行い（ステップＳ７０）、ｃｎｔ１をゼロにリセットする（ステップＳ９０）。一方、ｃｎｔ１がＮ１未満である場合には、Ｓ３０〜Ｓ５０の処理を繰り返し行い、音声スペクトルＸのパワースペクトルＰｘの積算値ｓｕｍ＿Ｐｘを更新する。
【０１２６】
また、ズームモータ１５が動作中であり、かつ、上記Ｓ５０でカウントした処理フレーム数ｃｎｔ２が所定のフレーム数Ｎ２に達している場合（ステップＳ６０、Ｓ６２）、機械音補正部６３は、処理Ｂを行い（ステップＳ８０）、ｃｎｔ２をゼロにリセットする（ステップＳ９２）。一方、ｃｎｔ２がＮ２未満である場合には、Ｓ３０〜Ｓ５０の処理を繰り返し行い、音声スペクトルＸのパワースペクトルＰｘの積算値ｓｕｍ＿Ｐｘと、推定機械音スペクトルＺのパワースペクトルＰｚの積算値ｓｕｍ＿Ｐｚを更新する。機械音補正部６３は、以上の処理Ｓ３０〜Ｓ９２を録音が終了するまで繰り返す（ステップＳ９４）。
【０１２７】
ここで、ズームモータ１５の動作停止中（ズーム音の非発生時）に行われる処理Ａについて詳述する。図１５は、図１３中の処理Ａのサブルーチンを示すフローチャートである。
【０１２８】
図１５に示すように、まず、機械音補正部６３は、上記音声スペクトルＸのパワースペクトルＰｘの積算値ｓｕｍ＿Ｐｘをフレーム数Ｎ１で除算することにより、ズームモータ１５の動作停止中におけるＰｘの平均値Ｐｘ＿ｂを算出する（ステップＳ７２）。そして、機械音補正部６３は、記憶部６３１に記憶されている平均値Ｐｘ＿ｂを、Ｓ７２で新たに求めた平均値Ｐｘ＿ｂに更新する。その後、機械音補正部６３は、記憶部６３１に記憶されている積算値ｓｕｍ＿Ｐｘ及び積算値ｓｕｍ＿Ｐｚをゼロにリセットする（ステップＳ７４）。
【０１２９】
この処理Ａにより、ズームモータ１５の動作停止中は常に、音声信号ｘのＮ１個のフレームごとに、音声スペクトルＸのパワースペクトルＰｘの平均値Ｐｘ＿ｂが算出され、記憶部６３１に記憶されるＰｘ＿ｂが、最新のＮ１個のフレームの平均値Ｐｘ＿ｂに更新されることとなる。
【０１３０】
次に、ズームモータ１５の動作中（ズーム音の発生時）に行われる処理Ｂについて詳述する。図１６は、図１３中の処理Ｂのサブルーチンを示すフローチャートである。
【０１３１】
図１６に示すように、まず、機械音補正部６３は、以下の式（４）のように、上記音声スペクトルＸのパワースペクトルＰｘの積算値ｓｕｍ＿Ｐｘをフレーム数Ｎ２で除算することにより、ズームモータ１５の動作中におけるＰｘの平均値Ｐｘ＿ａを算出する（ステップＳ８１）。
Ｐｘ＿ａ＝ｓｕｍ＿Ｐｘ／Ｎ２ ・・・（４）
【０１３２】
そして、機械音補正部６３は、記憶部６３１に記憶されている平均値Ｐｘ＿ａを、Ｓ８１で求めた平均値Ｐｘ＿ａに更新する。これにより、ズームモータ１５の動作中は常に、直近のＮ２個のフレームの音声スペクトルＸのパワースペクトルＰｘの平均値Ｐｘ＿ａが、記憶部６３１に記憶されることとなる。
【０１３３】
次いで、機械音補正部６３は、ズームモータ１５の動作開始前後における音声スペクトルＸの変化を算出する（ステップＳ８２）。具体的には、機械音補正部６３は、以下の式（５）のように、上記Ｓ８１で求めたパワースペクトルＰｘの平均値Ｐｘ＿ａから、上記Ｓ７２により記憶部６３１に記憶されているパワースペクトルＰｘの平均値Ｐｘ＿ｂを減算し、ズームモータの動作開始前後におけるパワースペクトルの平均的な差分ｄＰｘを求める。この差分ｄＰｘは、駆動装置の動作開始前後における音声スペクトル信号ＸＬ、ＸＲの周波数特性の差分ｄＸ（上記式（３）参照。）の一例であり、駆動装置の動作による発生した機械音の周波数特性を表す。
ｄＰｘ＝Ｐｘ＿ａ−Ｐｘ＿ｂ ・・・（５）
【０１３４】
さらに、機械音補正部６３は、以下の式（６）のように、ズームモータ１５の動作中に機械音推定部６２から入力される推定機械音スペクトルＺのパワースペクトルＰｚの積算値ｓｕｍ＿Ｐｚをフレーム数Ｎ２で除算することにより、ズームモータ１５の動作中におけるＰｚの平均値Ｐｚ＿ａを算出する（ステップＳ８３）。なお、積算値ｓｕｍ＿Ｐｚは、ズームモータ１５の動作中におけるＮ２個のフレームの推定機械音スペクトルＺのパワースペクトルＰｚを積算した値である。
Ｐｘ＿ｚ＝ｓｕｍ＿Ｐｚ／Ｎ２ ・・・（６）
【０１３５】
次いで、機械音補正部６３は、以下の式（７）のように、上記Ｓ８２で求めたＰｘ＿ａを上記Ｓ８３で求めたＰｚ＿ａで除算することにより、現在の補正係数Ｈｔを算出する（ステップＳ８４）。ここでは、現在の動作中に得られる推定機械音スペクトルＺのパワースペクトルＰｚの平均値Ｐｚ＿ａを用いてＨｔを算出するが、当該Ｐｚ＿ａの代わりに、過去のズームモータ１５の動作時に得られた推定機械音スペクトルＺのパワースペクトルＰｚの平均値を用いてＨｔを算出してもよい。
Ｈｔ＝ｄＰｘ／Ｐｚ＿ａ ・・・（７）
【０１３６】
さらに、機械音補正部６３は、上記Ｓ８４で求めた現在の補正係数Ｈｔと、過去に求めた補正係数Ｈｐを用いて、補正係数Ｈを算出する（ステップＳ８５）。具体的には、機械音補正部６３は、記憶部６３１に記憶されている過去の補正係数Ｈｐを読み出す。そして、機械音補正部６３は、以下の式（８）のように、平滑化係数ｒ（０＜ｒ＜１）を用いてＨｐとＨｔを平滑化することにより、補正係数Ｈを算出する。このように、現在の補正係数Ｈｔと過去の補正係数Ｈｐを平滑化することで、個々のズーム動作における音声スペクトルＸの異常値の影響を抑制できるので、信頼性の高い補正係数Ｈを算出できる。
Ｈ＝（１−ｒ）・Ｈｐ＋ｒ・Ｈｔ ・・・（８）
【０１３７】
その後、機械音補正部６３は、Ｓ８５で求めた補正係数Ｈを、Ｈｐとして記憶部６３１に記憶する（ステップＳ８６）。さらに、記憶部６３１に記憶されている積算値ｓｕｍ＿Ｐｘ及び積算値ｓｕｍ＿Ｐｚをゼロにリセットする（ステップＳ８７）。
【０１３８】
以上の処理Ｂにより、ズームモータ１５の動作中は常に、音声信号ｘのＮ２個のフレームごとに、モータ動作前後における音声スペクトルＸの差分ｄＰｘと、モータ動作中の推定機械音スペクトルＺの平均値Ｐｚ＿ａが算出される。そして、当該ｄＰｘとＰｚ＿ａから、最新のＮ２個のフレームに対応する補正係数Ｈが算出され、記憶部６３１に記憶されるＨｐが当該最新の補正係数Ｈに更新される。
【０１３９】
以上、本実施形態に係る機械音補正部６３の動作について説明した。かかる機械音補正部６３は、駆動装置１４の動作停止中は常時、所定のフレーム数Ｎ１ごとに、音声スペクトルＸの平均値Ｐｘ＿ｂの算出を繰り返す。そして、駆動装置１４が動作開始すると、当該動作直前のＮ１個のフレームの音声スペクトルＸの平均値Ｐｘ＿ｂと、当該動作中の所定のフレーム数Ｎ２の音声スペクトルＸの平均値Ｐｘ＿ａとの差分ｄＰｘに基づいて、補正係数Ｈの算出を繰り返す。
【０１４０】
このように、本実施形態に係る機械音補正部６３は、音声スペクトルＸの周波数成分Ｘ（ｋ）ごとに、駆動装置１４の動作開始前後におけるスペクトル特性の変化に基づいて、補正係数Ｈを適切に求めることができる。従って、かかる補正係数Ｈを用いて、音声スペクトルＸの周波数成分Ｘ（ｋ）ごとに、機械音推定部６２により推定された推定機械音スペクトルＺを、実際の機械音スペクトルＺｒｅａｌに合うように適切に補正できる。
【０１４１】
［１．５．機械音低減部の詳細］
次に、本実施形態に係る機械音低減部６４の構成及び動作について説明する。
【０１４２】
［１．５．１．機械音低減部の構成］
まず、図１７を参照して、本実施形態に係る機械音低減部６４の構成について説明する。図１７は、本実施形態に係る機械音低減部６４の構成を示すブロック図である。なお、以下では、Ｌｃｈ用の機械音低減部６４Ｌの構成について説明するが、Ｒｃｈ用の機械音低減部６４Ｒの構成も実質的に同一であるので、その詳細説明は省略する。
【０１４３】
図１７に示すように、機械音低減部６４Ｌは、抑圧値算出部６４１と、演算部６４２を備える。抑圧値算出部６４１には、上記Ｌｃｈ用の周波数変換部６１Ｌから音声スペクトル信号ＸＬが入力され、上記機械音補正部６３から推定機械音スペクトル信号Ｚと補正係数ＨＬが入力される。演算部６４２には、上記Ｌｃｈ用の周波数変換部６１Ｌから音声スペクトル信号ＸＬが入力される。
【０１４４】
抑圧値算出部６４１は、音声スペクトル信号ＸＬ、推定機械音スペクトル信号Ｚ及び補正係数ＨＬに基づいて、音声スペクトル信号ＸＬから機械音成分を除去するための抑圧値（例えば、後述する抑圧係数ｇ）を算出する。演算部６３２は、抑圧値算出部６４１により算出された抑圧値に基づいて、音声スペクトル信号ＸＬから、機械音成分を低減する。
【０１４５】
［１．５．２．機械音低減部の動作］
次に、図１８を参照して、本実施形態に係る機械音低減部６４の動作について説明する。図１８は、本実施形態に係る機械音低減部６４の動作を示すフローチャートである。なお、実際には、音声信号ｘＬ、ｘＲを周波数変換して音声スペクトル信号ＸＬ、ＸＲを得ているので、音声スペクトル信号ＸＬ、ＸＲの各周波数成分ＸＬ（ｋ）、ＸＲ（ｋ）ごとに、推定機械音スペクトルＺ（ｋ）と補正係数ＨＬ（ｋ）、ＨＲ（ｋ）を用いて、機械音を低減する必要がある。しかし、以下では説明の便宜上、１つの周波数成分のＸＬ（ｋ）、ＸＲ（ｋ）の機械音を除去するためのフローチャートを用いて説明した。
【０１４６】
本実施形態に係る音声信号処理装置及び方法において、機械音低減部６４に適用する雑音低減方法については、特に制約はなく、公知の任意の雑音低減方法（例えば、ウィーナーフィルタ、スペクトラル・サブトラクション法など）を利用できる。以下では、ウィーナーフィルタを用いた雑音低減方法の例について説明する。
【０１４７】
図１８に示すように、まず、機械音低減部６４は、周波数変換部６１から音声スペクトルＸを受け取るとともに（ステップＳ９０）、機械音補正部６３から推定機械音スペクトルＺ及び補正係数Ｈを受け取る（ステップＳ９２）。
【０１４８】
次いで、機械音低減部６４は、音声スペクトルＸ、推定機械音スペクトルＺ及び補正係数Ｈに基づいて、抑圧係数ｇを算出する（ステップＳ９４）。この抑圧係数ｇの算出処理の詳細は後述する。
【０１４９】
その後、機械音低減部６４は、抑圧係数ｇに基づいて、音声スペクトルＸから機械音成分を低減して、出力音声スペクトルＹを出力する（ステップＳ９８）。具体的には、機械音低減部６４は、以下の式（９）のように、音声スペクトルＸに抑圧係数ｇを乗算することによって、機械音が低減された出力音声スペクトルＹを生成する。
Ｙ＝ｇ・Ｘ ・・・（９）
【０１５０】
図１９は、図１９中の抑圧係数ｇの算出処理Ｓ９４のサブルーチンを示すフローチャートである。図１９に示すように、まず、機械音低減部６４は、上記音声スペクトルＸを二乗して、当該音声スペクトルＸのパワースペクトルＰｘを算出し、上記推定機械音スペクトルＺを二乗して、当該推定機械音スペクトルＺのパワースペクトルＰｚを算出する（ステップＳ９５）。
【０１５１】
次いで、機械音低減部６４は、以下の式（１０）のように、上記音声スペクトルＸのパワースペクトルＰｘを、推定機械音スペクトルＺのパワースペクトルＰｚ及び補正係数Ｈで除算することにより、ＰｘとＰｚの比率σを算出する（ステップＳ９６）。
σ＝Ｐｘ／（Ｈ・Ｐｚ） ・・・（１０）
【０１５２】
その後、機械音低減部６４は、上記Ｓ９６で求めた比率σを用いて、抑圧係数ｇを算出する（ステップＳ９７）。具体的には、機械音低減部６４は、以下の式（１１）のように、｛（σ−１）／σ｝又はβのうち大きい値を、抑圧係数ｇとする。ここで、βは、フロアリング項であり、抑圧係数ｇが負の値とならなるように設定される。例えば、β＝０．１である。
ｇ＝ｍａｘ（｛（σ−１）／σ｝，β） ・・・（１１）
【０１５３】
このように機械音低減部６４は、音声スペクトルＸと推定機械音スペクトルＺが入力されたときに、ＸのパワースペクトルＰｘとＺのパワースペクトルＰｚの比率σに応じて、抑圧係数ｇを決定する。機械音が無い又は非常に小さい場合には、σは十分に大きくなり、ｇは１に近づく。従って、出力音声スペクトルＹのパワースペクトルは、音声スペクトルＸとほぼ同様である。一方、機械音が有る場合には、σが小さくなり、ｇは加減値β（例えばβ＝０．１）に近づく。従って、出力音声スペクトルＹのパワースペクトルは、音声スペクトルＸよりも小さくなる。なお、上記では式（１０）、（１１）のような関数形の抑圧係数ｇを用いたが、予め設定された抑圧係数ｇのルックアップテーブルから、ＸとＺに応じてｇの値を参照するようにしてもよい。
【０１５４】
以上、本実施形態に係る信号処理装置及び方法について説明した。本実施形態によれば、機械音推定部６２は、２つのマイクロホン５１、５２と駆動装置との相対位置関係に基づいて、音声スペクトルＸを演算して、推定機械音スペクトルＺを推定する。これにより、従来のような機械音スペクトルのテンプレートを利用せずに、デジタルカメラ１による撮像及び録音中に、雑像動作に伴って発生する機械音を動的に推定できる。
【０１５５】
さらに、機械音補正部６３は、駆動装置１４の動作開始前後における音声スペクトルＸの周波数特性の変化を利用して、個々の周波数成分Ｘ（ｋ）ごとに、補正係数Ｈ（ｋ）を適切に算出する。従って、かかる補正係数Ｈ（ｋ）により、推定機械音スペクトルＺの各周波数成分（ｋ）を、実際にマイクロホン５１、５２に入力される機械音の各周波数成分に合うように補正できる。よって、補正後の推定機械音スペクトルＺを用いて、音声スペクトルＸから機械音成分を適切に除去することができる。
【０１５６】
このように本実施形態では、デジタルカメラ１による撮像及び録音動作中に動的に機械音を推定及び補正することで、個々のカメラごとに異なる機械音を正確に求めて、十分に低減することができる。また、同一のカメラにおいても、駆動装置の動作ごとに異なる機械音を正確に求めて、十分に低減することができる。
【０１５７】
＜２．第２の実施の形態＞
次に、本発明の第２の実施形態に係る音声信号処理装置及び音声信号処理方法について説明する。第２の実施形態は、上記第１の実施形態と比べて、駆動装置１４の動作開始前後における外部音声（所望音）の変化に応じて、補正係数Ｈを算出すべきか否かを判断する点で相違する。第２の実施形態のその他の機能構成は、上記第１の実施形態と実質的に同一であるので、その詳細説明は省略する。
【０１５８】
［２．１．機械音補正の概念］
上述した第１の実施形態に係る音声信号処理方法では、ズームモータ１５等の駆動装置１４が一定時間動作した場合には常に、補正係数Ｈを算出していた。駆動装置１４の動作停止期間と動作期間との間で、デジタルカメラ１周辺の音環境が変化していない場合には、第１の実施形態に係る方法は、好適に推定機械音スペクトルＺを補正できる。
【０１５９】
しかし、実際の録音環境においては、図２０に示すように、駆動装置１４の動作前には無かった外部音声（所望音）が、駆動装置１４の動作中に発生する場合がある。図２０Ａは、ズームモータ１５の動作開始前後で外部音声が変化しない場合の音声信号ｘの波形を示し、図２０Ｂは、ズームモータ１５の動作開始前後で外部音声が変化する場合の音声信号ｘの波形を示す。図２０Ｂに示すように、ズームモータ１５の動作中に外部音声が変化した場合、動作期間中の音声信号ｘには、変化分の外部音声Ｃが含まれることとなる。
【０１６０】
このように駆動装置１４の動作開始前後で外部音声（所望音）が変化する場合には、動作開始前後における音声スペクトルＸの差分ｄＸには、駆動装置１４から生じた機械音のみならず、外部音声の変化分も含まれる。従って、第１の実施形態のように単純に差分ｄＸを用いて補正係数Ｈを求める方法では、外部音声の変化の影響を考慮していないので、機械音以外の成分が補正係数Ｈに含まれることとなる。この結果、推定機械音スペクトルＺを適切に補正できずに、機械音のみならず、所望音の変化分までも除去することとなり、音質劣化を引き起こす可能性がある。よって、かかる外部音声が変化する場合の対応に関して、第１の実施形態には改善の余地がある。
【０１６１】
そこで、第２の実施形態では、駆動装置１４の動作開始前後における外部音声のスペクトル形状の変化に応じて、補正係数Ｈを更新すべきか否かを判定する機能を追加することで、上記問題を解決する。具体的には、機械音補正部６３は、上記第１の実施形態の機能に加えて、駆動装置１４の動作開始前後で、外部音声のスペクトルが変化しているか否かを判断して、補正係数Ｈを更新すべきか否かを判定する機能を有する。
【０１６２】
即ち、機械音補正部６３は、駆動装置１４が動作したときに、当該駆動装置１４の動作開始前後における音声スペクトル信号ＸＬ、ＸＲの周波数特性を比較するとともに、駆動装置１４の動作中における音声スペクトル信号ＸＬ、ＸＲの周波数特性を比較する。さらに、機械音補正部６３は、当該２つの比較結果に基づいて、駆動装置１４の動作開始前後における外部音声の変化度を判定する。そして、当該外部音声の変化度が所定の閾値より大きい場合には、機械音補正部６３は、補正係数Ｈを更新しないと判定し、駆動装置１４の前回までの動作で求めた補正係数Ｈを更新することなく、そのまま利用する。一方、当該外部音声の変化度が所定の閾値未満である場合には、機械音補正部６３は、補正係数Ｈを更新すると判定し、駆動装置１４の前回までの動作で求めた補正係数Ｈと、今回求めた補正係数Ｈｔを用いて、補正係数Ｈを更新する。
【０１６３】
上記のように外部音声の変化度に応じて補正係数Ｈを求めるために、第２の実施形態では、図２１に示すように、機械音の特徴を３つのパターンに分類して、外部音声の変化を検出する。
【０１６４】
図２１Ａは、ズームモータ１５から発生する機械音の周波数特性が主として低域（例えば０〜１ｋＨｚ）にある場合、図２１Ｂは、当該機械音の周波数特性が主として中域以上（例えば１ｋＨｚ〜）にある場合、図２１Ｃは、当該機械音の周波数特性が全周波数帯域に広がっている場合の音声スペクトルの分布を示す。図２１中の実線は、ズームモータ１５の動作期間中に測定された音声スペクトルＸの平均値を示し、図２１中の破線は、ズームモータ１５の動作停止期間中に測定された音声スペクトルＸの平均値を示す。
【０１６５】
第２の実施形態では、従来のように多数台のデジタルカメラ１の測定結果から得た機械音テンプレートを利用しないで、機械音低減を実現するが、図２１に示したように、デジタルカメラ１で発生する機械音の特徴に関する事前知識（例えば、数台程度の測定で分かる機械音の周波数特性）については利用する。この場合、複数台のデジタルカメラ１で生じる機械音の音声スペクトルＸを測定する必要があるが、測定台数としては、機械音テンプレートを作成するほどの台数は必要でなく、数台程度で十分である。機械音の周波数特性が主に、低域であるか、中・高域であるか、或いは全域であるかが予め分かっていれば、以下に説明するような機械音の周波数特性別の判定処理が可能となる。
【０１６６】
以下に、図２２〜図２４を参照して、上記図２１Ａ〜Ｃの３つのケースにおける外部音声の変化の検出方法の概要について説明する。
【０１６７】
（Ａ）機械音の周波数帯域が低域である場合（図２１Ａ）
図２２の上図に示すように、機械音の周波数帯域が主に低域である場合、ズームモータ１５の動作中に外部音声（周囲の音環境）が変化しない限り、音声信号ｘの低域のスペクトル形状（機械音成分）は、モータ動作期間中はほぼ同一形状である。また、音声信号ｘの中域以上のスペクトル形状（所望音成分）は、モータ動作開始前後で変化しない。
【０１６８】
そこで、本実施形態に係る機械音補正部６３は、入力された音声信号ｘを時間周波数成分に変換し、あるまとまった単位をブロックとして、ブロックごとに比較処理を行う。例えば図２２の下図に示すように、機械音補正部６３は、モータ動作中の低域スペクトル形状ｐ１と、モータ動作開始直前の中域スペクトル形状ｐ２と、着目するブロックＣにおける現在のスペクトル形状ｑを比較し、ｐ１及びｐ２に対するｑの変化度を算出する。そして、モータ動作中の低域スペクトル形状ｐ１と現在のスペクトル形状ｑの低域成分とが類似し、かつ、モータ動作前の中域スペクトル形状ｐ２と現在のスペクトル形状ｑの中域成分とが類似する場合、機械音補正部６３は、ズームモータ１５の動作開始前と後で周囲の音環境の変化（外部音声の変化度）が小さいと判断する。もし、モータ動作期間中に、外部音声が変化したならば、ｐ１に対するｑの変化度ｐ１、又はｐ２に対するｑの変化度のうち少なくともいずれか一方が、大きくなるはずである。
【０１６９】
このように、機械音補正部６３は、モータ動作期間中における２つのブロックの低域成分の比較結果と、モータ動作開始前後における２つのブロックの中域成分の比較結果から、外部音声の変化度を求める。そして、機械音補正部６３は、当該変化度が小さい場合には、第１の実施形態と同様に補正係数Ｈを更新し、一方、当該変化度が大きい場合には、現在のブロックＣで得たデータを用いて補正係数Ｈを更新しない。
【０１７０】
（Ｂ）機械音の周波数帯域が中域以上である場合（図２１Ｂ）
同様に、機械音の周波数帯域が主に中域以上である場合、ズームモータ１５の動作中に外部音声（周囲の音環境）が変化しない限り、音声信号ｘの中域以上のスペクトル形状（機械音成分）は、モータ動作期間中はほぼ同一形状である。また、音声信号ｘの低域のスペクトル形状（所望音成分）は、モータ動作開始前後で変化しない。
【０１７１】
そこで、本実施形態に係る機械音補正部６３は、例えば図２３に示すように、機械音補正部６３は、モータ動作開始直前の低域スペクトル形状ｐ３と、モータ動作中の中域スペクトル形状ｐ４と、着目するブロックＣにおける現在のスペクトル形状ｑを比較し、ｐ３及びｐ４に対するｑの変化度を算出する。そして、ｐ３とｑの低域成分とが類似し、かつ、ｐ４とｑの中域成分とが類似する場合、機械音補正部６３は、ズームモータ１５の動作開始前と後で周囲の音環境の変化（外部音声の変化度）が小さいと判断する。もし、モータ動作期間中に、外部音声が変化したならば、ｐ３に対するｑの変化度、又はｐ４に対するｑの変化度のうち少なくともいずれか一方が、大きくなるはずである。
【０１７２】
このように、機械音補正部６３は、モータ動作開始前後における２つのブロックの低域成分の比較結果と、モータ動作期間中における２つのブロックの中域成分の比較結果から、外部音声の変化度を求める。そして、当該変化度が小さい場合には、機械音補正部６３は、外部音声の変化はないと判断して、第１の実施形態と同様に補正係数Ｈを更新する。一方、当該変化度が大きい場合には、機械音補正部６３は、外部音声の変化があると判断して、現在のブロックＣで得たデータを用いて補正係数Ｈを更新しない。
【０１７３】
（Ｃ）機械音の周波数帯域が全域に広がっている場合（図２１Ｃ）
機械音の周波数帯域が低域から高域まで全域に広がっている場合、ズームモータ１５の動作中に外部音声（周囲の音環境）が変化しない限り、音声信号ｘのスペクトル形状は、モータ動作期間中はほぼ同一形状である。
【０１７４】
そこで、本実施形態に係る機械音補正部６３は、例えば図２４に示すように、機械音補正部６３は、モータ動作中の低域スペクトル形状ｐ１と、モータ動作中の中域スペクトル形状ｐ４と、着目するブロックＣにおける現在のスペクトル形状ｑを比較し、ｐ１とｑの類似度及びｐ４とｑの類似度を算出する。そして、ｐ１とｑの低域成分とが類似し、かつ、ｐ４とｑの中域成分とが類似する場合、機械音補正部６３は、ズームモータ１５の動作期間中における周囲の音環境の変化（外部音声の変化度）が小さいと判断する。もし、モータ動作期間中に、外部音声が変化したならば、ｐ３とｑの類似度又はｐ４とｑの類似度の少なくともいずれか一方が、大きくなるはずである。
【０１７５】
このように、機械音補正部６３は、モータ動作開始期間中における２つのブロックの低域成分の比較結果と、モータ動作期間中における２つのブロックの中・高域成分の比較結果から、外部音声の変化度を求める。そして、当該変化度が小さい場合には、機械音補正部６３は、第１の実施形態と同様に補正係数Ｈを更新する。一方、当該変化度が大きい場合には、機械音補正部６３は、現在のブロックＣを用いて補正係数Ｈを更新しない。
【０１７６】
［２．２．機械音補正の動作］
次に、図２５〜図２７を参照して、第２の実施形態に係る機械音補正部６３により、周囲の音環境の変化（外部音声の変化度）に応じて、補正係数Ｈを更新すべきか否かを判断する場合の動作例について説明する。以下では、機械音が上記図２１Ａに示した（Ａ）の特徴を有する場合の処理例について説明するが、他の特徴の場合も同様に実施できる。
【０１７７】
図２５は、第２の実施形態に係る機械音補正部６３の動作タイミングを示すタイミングチャートである。なお、図２５のタイミングチャートでも、上記図１２と同様、時間軸上で上記フレームを基準として示してある。
【０１７８】
図２５に示すように、第２の実施形態に係る機械音補正部６３の動作タイミングは、上述した第１の実施形態の場合（図１２参照。）と同様であり、基本処理、処理Ａ、処理Ｂ）を同時並行で行う。機械音補正部６３は、常に基本処理を行いながら、モータ動作停止期間中には処理Ａを実行し、モータ動作期間中には処理Ｂを実行する。ただし、機械音補正部６３は、図２５における処理Ｂ２のタイミングで、上述した外部音声の変化度に応じた判断処理を行う際には、処理Ａ２と処理Ｂ１で得た平均パワースペクトルを使用する。
【０１７９】
また、第２の実施形態に係る機械音補正部６３の基本的な動作フローは、上記第１の実施形態と同様であり（図１３参照。）、基本処理及び処理Ａの動作フローも、上記第１の実施形態と同様であり（図１４、図１５参照。）。ただし、第２の実施形態では、処理Ｂの具体的処理内容が第１の実施形態と相違する。
【０１８０】
次に、図２６及び図２７を参照して、第２の実施形態に係るズームモータ１５の動作中（ズーム音の発生時）に行われる処理Ｂについて詳述する。図２６は、図１３中の処理Ｂのサブルーチンを示すフローチャートである。
【０１８１】
図２６に示すように、機械音補正部６３は、ズームモータ１５の動作中における音声スペクトルＸのパワースペクトルＰｘの平均値Ｐｘ＿ａを算出し（ステップＳ８１）、ズームモータ１５の動作開始前後におけるＸの差分ｄＰｘを算出する（ステップＳ８２）。さらに、機械音補正部６３は、ズームモータ１５の動作中における推定機械音スペクトルＺのパワースペクトルＰｚの平均値Ｐｚ＿ａを算出し（ステップＳ８３）、ｄＰｘとＰｚ＿ａを用いて補正係数Ｈｔを算出する（ステップＳ８４）。
【０１８２】
以上のステップＳ８１〜Ｓ８４は、第１の実施形態と同様である。以下のステップＳ２００〜Ｓ２０８が第２の実施形態の特徴的な処理である。
【０１８３】
次いで、機械音補正部６３は、１つ前のブロックにおけるパワースペクトルＰｘの平均値Ｐｘ＿ａ（以下、前回の平均パワースペクトルＰｘ＿ｐという。）を記憶部６３１から読み出して、取得する（ステップＳ２００）。さらに、機械音補正部６３は、ズームモータ１５の動作開始直前のパワースペクトルＰｘの平均値Ｐｘ＿ｂ（以下、動作直前の平均パワースペクトルＰｘ＿ｂという。）を記憶部６３１から読み出して、取得する（ステップＳ２０２）。図２５に示したように、処理Ｂ２では、処理Ｂ１で求めたＰｘ＿ａであるＰｘ＿ｐと、モータ動作開始直前の処理Ａ２で求めたＰｘ＿ｂを利用する。
【０１８４】
次いで、周波数成分ごとに、Ｓ８１で求めたＰｘ＿ａと、Ｓ２００及びＳ２０２で得たＰｘ＿ｐ及びＰｘ＿ｂとを比較して、Ｓ当該比較結果に基づき、Ｐｘ＿ｐ及びＰｘ＿ｂに対するＰｘ＿ａの変化度ｄ（外部音声の変化度）を算出する（ステップＳ２０４）。
【０１８５】
ここで、図２７を参照して、Ｓ２０４の変化度ｄの算出処理について具体的に説明する。図２７は、図２６中の変化度ｄの算出処理Ｓ２０４のサブルーチンを示すフローチャートである。
【０１８６】
図２７に示すように、まず、機械音補正部６３は、Ｓ２００で得た前回の平均パワースペクトルＰｘ＿ｐから、低周波数成分Ｌ０−Ｌ１を選択する（ステップＳ２０４０）。上述したように、本実施形態では、音声スペクトルＸや推定機械音スペクトルＺを周波数成分ごとにＬ個のブロックに分割して処理している。本ステップＳ２０４０では、機械音補正部６３は、前回の平均パワースペクトルＰｘ＿ｐを分割したＬ個のブロックの中から、低周波数帯域（例えば１ｋＨｚ未満）に含まれるＬ０からＬ１番目までのブロックを抽出する。
【０１８７】
同様に、機械音補正部６３は、Ｓ２０２で得た動作直前の平均パワースペクトルＰｘ＿ｂから、中・高周波数成分Ｈ０−Ｈ１を選択する（ステップＳ２０４２）。本ステップＳ２０４２では、機械音補正部６３は、動作直前の平均パワースペクトルＰｘ＿ｂを分割したＬ個のブロックの中から、中・高周波数帯域（例えば１ｋＨｚ以上）に含まれるＨ０からＨ１番目までのブロックを抽出する。
【０１８８】
その後、機械音補正部６３は、以下の式（１２）のように、上記Ｐｘ＿ｐの低周波数成分Ｌ０−Ｌ１とＰｘ＿ｂの中・高周波数成分Ｈ０−Ｈ１を演算することにより、Ｐｘ＿ｐ及びＰｘ＿ｂに対するＰｘ＿ａの変化度ｄ（外部音声の変化度）を求める（ステップＳ２０４４）。この変化度ｄは、モータ動作中における外部音声の変化度を表す。
【０１８９】
【数１】
【０１９０】
図２６に戻り、上記Ｓ２０４の後に、機械音補正部６３は、予め設定された変化度ｄの閾値ｄｔｈを記憶部６３１から読み出し（ステップＳ２０８）、Ｓ２０４で求めた変化度ｄが、閾値ｄｔｈ未満であるか否かを判定する（ステップＳ２１０）。
【０１９１】
この結果、ｄ＜ｄｔｈである場合には、モータ動作期間中において外部音声の変化があまり無いと考えることができる。そこで、この場合には、機械音補正部６３は、第１の実施形態と同様に、Ｓ８４で処理対象のブロックから求めた現在の補正係数Ｈｔを用いて、補正係数Ｈを更新し（ステップＳ８５）、Ｈｐとして記憶部６３１に記憶し（ステップＳ８６）、記憶部６３１に記憶されている積算値ｓｕｍ＿Ｐｘ及び積算値ｓｕｍ＿Ｐｚをゼロにリセットする（ステップＳ８７）。
【０１９２】
一方、ｄ≧ｄｔｈである場合には、モータ動作期間中において外部音声の変化があると考えることができる。そこで、この場合には、機械音補正部６３は、Ｓ８４で処理対象のブロックから求めた現在の補正係数Ｈｔを用いて、補正係数Ｈを更新することなく、Ｓ８７の処理を行う。これにより、モータ動作中に外部音声のスペクトルが変化した場合に、そのブロックのＰｘ＿ａは、異常値として、補正係数Ｈの計算から除外することができる。
【０１９３】
その後、機械音補正部６３は、記憶部６３１に記憶されている過去の平均スペクトルｘ＿ｐを、Ｓ８１で求めた平均パワースペクトルＰｘ＿ａに更新する。これにより、ズームモータ１５の動作中は常に、最新の平均パワースペクトルＰｘ＿ａが、記憶部６３１に記憶されることとなる。
【０１９４】
以上、第２の実施形態に係る機械音補正部６３の動作フローについて説明した。本実施形態によれば、上記第１の実施形態の効果に加えて、さらに次の効果がある。
【０１９５】
即ち、本実施形態では、機械音補正部６３は、モータ動作期間中における音声スペクトルＸの低周波数成分の比較結果と、モータ動作開始前後における中・高周波数成分の比較結果から、モータ動作中における外部音声の変化度を求める。そして、機械音補正部６３は、この外部音声の変化度に応じて、現在の処理ブロックの平均パワースペクトルＰｘ＿ａを用いて補正係数Ｈを更新するか否かを判断し、当該変化度が小さい場合にのみ、補正係数Ｈを更新する。
【０１９６】
これにより、外部音声の変化の影響を排除して、補正係数Ｈを適切に設定できるので、機械音以外の成分が補正係数Ｈに含まれることを防止できる。よって、モータ動作開始前後において外部音声が変化する場合においても、推定機械音スペクトルＺを適切に補正して、所望音の変化分を除去せずに機械音のみを除去することができ、録音音声の音質劣化を引き起こすことを防止できる。
【０１９７】
＜３．第３の実施の形態＞
次に、本発明の第３の実施形態に係る音声信号処理装置及び音声信号処理方法について説明する。第３の実施形態は、上記第２の実施形態と比べて、周辺の音環境に応じて、補正係数の平滑化係数ｒを動的に制御する点で相違する。第３の実施形態のその他の機能構成は、上記第２の実施形態と実質的に同一であるので、その詳細説明は省略する。
【０１９８】
［３．１．機械音補正の概念］
上記第２の実施形態で述べたように、補正するべき機械音の特性は、周辺の環境音（所望音）のスペクトルの形状に依存して変化する。このため、収音された外部音声に対する機械音の低減量も、所望音のスペクトルの形状に応じて変化する。
【０１９９】
図２８は、機械音の低減量を模式的に示す説明図である。図２８に示すように、実際の機械音スペクトルＺｒｅａｌと所望音のスペクトルＷの和が、マイクロホン５１、５２により収音される音声スペクトルＸとなる。従って、実際の機械音スペクトルＺｒｅａｌが同一であったとしても、所望音のスペクトルＷが異なれば、機械音の低減量は異なる。例えば、図２８Ａに示すように、所望音のスペクトルＷ１が相対的に小さい場合には、音声スペクトルＸ１から低減すべき機械音の低減量が大きくなる。一方、図２８Ｂに示すように、所望音のスペクトルＷ２が相対的に大きい場合には、音声スペクトルＸ２から低減すべき機械音の低減量が大きくなる。
【０２００】
従って、現在収音される所望音の音量が小さい場合には、現在の音声スペクトルＸによる補正係数Ｈの更新量を大きくして、過去の音声スペクトルＸよりも現在の音声スペクトルＸが補正係数Ｈに及ぼす影響度を高めることが好ましい。一方、現在収音される所望音の音量が大きい場合には、現在の音声スペクトルＸによる補正係数Ｈの更新量を小さくして、現在の音声スペクトルＸによる影響度を低めることが好ましい。
【０２０１】
そこで、第３の実施形態では、周囲の音環境（所望音の音量）に応じて、現在の音声スペクトルＸによる補正係数Ｈの更新量を制御することで、常に一定の機械音低減を実現する。具体的には、機械音補正部６３は、マイクロホン５１、５２から入力された音声信号ｘのレベルに基づいて、補正係数Ｈを算出する際の平滑化係数ｒ＿ｓｍを制御する。この平滑化係数ｒ＿ｓｍは、現在の音声スペクトルＸにより定まる補正係数Ｈｔと、過去の音声スペクトルＸにより定まる補正係数Ｈｐとを平滑化するために用いられる係数である（図３１のＳ３８５参照。）。この平滑化係数ｒ＿ｓｍを制御することで、現在の音声スペクトルＸによる補正係数Ｈの更新量を制御できる。
【０２０２】
なお、以下では、駆動装置１４の動作開始前の動作停止期間における音声信号ｘのレベル（例えば、モータ動作停止中の入力音声の音量）に基づいて、補正係数Ｈの更新量を制御する例について説明する。これにより、所望音の音量を好適に検出できるが、かかる例に限定されず、駆動装置１４の動作期間中の音声信号ｘに基づいて、補正係数Ｈの更新量を制御することも可能である。また、図２では図示しないが、マイクロホン５１、５２から機械音補正部６３Ｌ、６３Ｒに音声信号ｘＬ、ｘＲが入力されているものとする。
【０２０３】
［３．２．機械音補正の動作］
次に、図２９〜図３２を参照して、第３の実施形態に係る機械音補正部６３により、ズームレンズ１５の動作停止期間（機械音が発生していないとき）の音量に応じて、補正係数Ｈの更新量を制御する場合の動作例について説明する。
【０２０４】
第３の実施形態に係る機械音補正部６３の動作タイミングは、上述した第１の実施形態に係る機械音補正部６３の動作タイミング（図１２参照。）と実質的に同一である。機械音補正部６３は、常に基本処理を行いながら、モータ動作停止期間中には処理Ａを実行し、モータ動作期間中には処理Ｂを実行する。
【０２０５】
また、第３の実施形態に係る機械音補正部６３の基本的な動作フローは、上記第１の実施形態と同様である（図１３参照。）。ただし、第３の実施形態では、基本処理、処理Ａ及び処理Ｂの具体的処理内容が第１の実施形態と相違する。そこで、以下では、第３の実施形態に係る基本処理、処理Ａ及び処理Ｂの動作フローについて説明する。
【０２０６】
まず、図２９を参照して、第３の実施形態に係る基本処理について詳述する。図２９は、図１３中の基本処理のサブルーチンを示すフローチャートである。機械音補正部６３は、音声信号ｘの１フレームを周波数変換した１ブロックごとに以下の基本処理を行う。
【０２０７】
図２９に示すように、機械音補正部６３は、周波数変換部６１から音声スペクトルＸを受け取るとともに（ステップＳ４２）、機械音推定部６２から推定機械音スペクトルＺを受け取る（ステップＳ４４）。次いで、機械音補正部６３は、音声スペクトルＸのパワースペクトルＰｘを算出し、推定機械音スペクトルＺのパワースペクトルＰｚを算出する（ステップＳ４６）。
【０２０８】
以上のステップＳ４１〜Ｓ４６は、第１の実施形態と同様である。以下のステップＳ３４７〜Ｓ３４８が第３の実施形態の特徴的な処理である。
【０２０９】
次いで、機械音補正部６３は、マイクロホン５１、５２から入力される現在の音声信号ｘ（ｎ）の信号レベルの二乗平均を算出して、その単位をデシベルに変換することで、モータ動作停止期間における入力音声の音量Ｅ［ｄＢ］を求める（ステップＳ３４７）。この入力音声の音量Ｅの算出式は、例えば、以下の式（１３）で表される。当該入力音声の音量Ｅは、マイクロホン５１、５２から入力される外部音声の音量を表す。なお、Ｎは、音声信号ｘをフレームに分割したときのフレームサイズ（１フレームに含まれる音声信号のサンプル数）である。
【０２１０】
【数２】
【０２１１】
さらに、機械音補正部６３は、記憶部６３１に記憶されているパワースペクトルＰｘの積算値ｓｕｍ＿Ｐｘ、パワースペクトルＰｚの積算値ｓｕｍ＿Ｐｚに、Ｓ４６で求めたパワースペクトルＰｘ、Ｐｚをそれぞれ加算する（ステップＳ３４８）。また、機械音補正部６３は、記憶部６３１に記憶されている入力音声の平均音量Ｅの積算値ｓｕｍ＿Ｅに、Ｓ３４７で求めた入力音声の音量Ｅを加算する（ステップＳ３４８）。
【０２１２】
以上のようにして、基本処理では、音声信号ｘのＮ１フレームごとに、音声スペクトルＸのパワースペクトルＰｘの積算値ｓｕｍ＿Ｐｘ、推定機械音スペクトルＺのパワースペクトルＰｚの積算値ｓｕｍ＿Ｐｚ、及び入力音声の音量Ｅの積算値ｓｕｍ＿Ｅを算出する。
【０２１３】
次に、図３０を参照して、第３の実施形態に係るズームモータ１５の動作停止中（ズーム音の非発生時）に行われる処理Ａについて詳述する。図３０は、図１３中の処理Ａのサブルーチンを示すフローチャートである。
【０２１４】
図３０に示すように、まず、機械音補正部６３は、ズームモータ１５の動作停止中におけるＰｘの平均値Ｐｘ＿ｂを算出する（ステップＳ７２）。このＳ７２は、第１の実施形態と同様である。以下のステップＳ３７４〜Ｓ３７８が第３の実施形態の特徴的な処理である。
【０２１５】
次いで、機械音補正部６３は、上記入力音声の音量Ｅの積算値ｓｕｍ＿Ｅをフレーム数Ｎ１で除算することにより、ズームモータ１５の動作停止中における入力音声の音量Ｅの積算値ｓｕｍ＿Ｅの平均値Ｅａ（以下、入力音声の平均音量Ｅａという）を算出する（ステップＳ３７４）。
【０２１６】
さらに、機械音補正部６３は、上記Ｓ３７４で算出した入力音声の平均音量Ｅａに基づいて、所定の関数Ｆ（Ｅａ）により平滑化係数ｒ＿ｓｍを算出して、記憶部６３１に記憶する（ステップＳ３７６）。この平滑化係数ｒ＿ｓｍは、後述する図３１のＳ３８５で、補正係数Ｈを更新するために用いられる重み付け係数であり、ｒ＿ｓｍの値が大きいほど、現在の音声スペクトルＸから求めた補正係数Ｈｔによる補正係数Ｈの更新量が大きくなる。
【０２１７】
図３２は、本実施形態に係る入力音声の平均音量Ｅａと平滑化係数ｒ＿ｓｍの関係を例示する説明図である。上記Ｓ３７６では、例えば図３２に示すように、モータ動作停止期間における入力音声の平均音量Ｅａが大きくなるにつれて、平滑化係数ｒ＿ｓｍが小さくなるような関数Ｆ（Ｅａ）により、平滑化係数ｒ＿ｓｍが決定される（０＜ｒ＿ｓｍ＜１）。この結果、入力音声の平均音量Ｅａが大きいほど、平滑化係数ｒ＿ｓｍがゼロに近い値に設定され、逆に、入力音声の平均音量Ｅａが小さいほど、平滑化係数ｒ＿ｓｍが上限値（例えば０．１５）に近い値に設定される。
【０２１８】
その後、機械音補正部６３は、記憶部６３１に記憶されている積算値ｓｕｍ＿Ｐｘ、積算値ｓｕｍ＿Ｐｚ及び入力音声の音量Ｅの積算値ｓｕｍ＿Ｅをゼロにリセットする（ステップＳ３７８）。
【０２１９】
以上の処理Ａにより、ズームモータ１５の動作停止中は常に、音声信号ｘのＮ１個のフレームごとに、音声スペクトルＸのパワースペクトルＰｘの平均値Ｐｘ＿ｂが算出され、記憶部６３１に記憶されるＰｘ＿ｂが、最新のＮ１個のフレームの平均値Ｐｘ＿ｂに更新されることとなる。また、音声信号ｘのＮ１個のフレームごとに、モータ動作停止中における入力音声の平均音量Ｅａと、平滑化係数ｒ＿ｓｍが算出され、記憶部６３１に記憶されるＥａと平滑化係数ｒ＿ｓｍが、最新のＮ１個のフレームに対応する平均値Ｅａと平滑化係数ｒ＿ｓｍに更新されることとなる。
【０２２０】
次に、図３１を参照して、第３の実施形態に係るズームモータ１５の動作中（ズーム音の発生時）に行われる処理Ｂについて詳述する。図３１は、図１３中の処理Ｂのサブルーチンを示すフローチャートである。
【０２２１】
図３１に示すように、機械音補正部６３は、ズームモータ１５の動作中における音声スペクトルＸのパワースペクトルＰｘの平均値Ｐｘ＿ａを算出し（ステップＳ８１）、ズームモータ１５の動作開始前後におけるＸの差分ｄｐＸを算出する（ステップＳ８２）。さらに、機械音補正部６３は、ズームモータ１５の動作中における推定機械音スペクトルＺのパワースペクトルＰｚの平均値Ｐｚ＿ａを算出し（ステップＳ８３）、補正係数Ｈｔを算出する（ステップＳ８４）。
【０２２２】
以上のステップＳ８１〜Ｓ８４は、第１の実施形態と同様である。以下のステップＳ３８５〜Ｓ３８７が第３の実施形態の特徴的な処理である。
【０２２３】
次いで、機械音補正部６３は、上記Ｓ８４で求めた現在の補正係数Ｈｔと、過去に求めた補正係数Ｈｐを用いて、補正係数Ｈを算出する（ステップＳ３８５）。具体的には、機械音補正部６３は、記憶部６３１に記憶されている過去の補正係数Ｈｐと、平滑化係数ｒ＿ｓｍを読み出す。当該平滑化係数ｒ＿ｓｍは、上記Ｓ３７６により、モータ動作開始直前の入力音声の平均音量Ｅａから求めた最新の値である。そして、機械音補正部６３は、以下の式（１４）のように、平滑化係数ｒ＿ｓｍ（０＜ｒ＜１）を用いてＨｐとＨｔを平滑化することにより、補正係数Ｈを算出する。このように、ｒ＿ｓｍを用いて現在の補正係数Ｈｔと過去の補正係数Ｈｐを平滑化することで、個々のズーム動作における音声スペクトルＸの異常値の影響を抑制できるので、信頼性の高い補正係数Ｈを算出できる。
Ｈ＝（１−ｒ＿ｓｍ）・Ｈｐ＋ｒ＿ｓｍ・Ｈｔ ・・・（１４）
【０２２４】
その後、機械音補正部６３は、Ｓ３８５で求めた補正係数Ｈを、Ｈｐとして記憶部６３１に記憶する（ステップＳ３８６）。さらに、記憶部６３１に記憶されている積算値ｓｕｍ＿Ｐｘ、積算値ｓｕｍ＿Ｐｚ及び積算値ｓｕｍ＿Ｅをゼロにリセットする（ステップＳ３８７）。
【０２２５】
以上の処理Ｂにより、ズームモータ１５の動作中は常に、音声信号ｘのＮ２個のフレームごとに、モータ動作前後における音声スペクトルＸの差分ｄＰｘと、モータ動作中の推定機械音スペクトルＺの平均値Ｐｚ＿ａが算出される。そして、当該ｄＰｘとＰｚ＿ａから、最新のＮ２個のフレームに対応する補正係数Ｈが算出され、記憶部６３１に記憶されるＨｐが当該最新の補正係数Ｈに更新される。
【０２２６】
このときの補正係数Ｈの更新量は、モータ動作開始直前の入力音声の平均音量Ｅａに応じて、適切に制御される。即ち、当該入力音声の平均音量Ｅａ（所望音の音量）が大きいときは、周囲の所望音中に機械音が埋もれているので、モータ動作中の現在の補正係数Ｈｔによる補正係数Ｈの更新量は小さくすることが好ましい。この理由は、周囲の平均音量によらず一定の機械音低減量を実現するためである。また、上記のように所望音中に機械音が埋もれているときには、機械音を適切に抽出することができず、却って所望音を劣化させてしまうという悪影響があるからである。
【０２２７】
そこで、本実施形態では、入力音声の平均音量Ｅａが大きいときは、Ｅａに応じて平滑化係数ｒ＿ｓｍを小さな値に設定して、現在の補正係数Ｈｔによる補正係数Ｈの更新量を抑える。これにより、機械音の過剰推定や過小推定による音質劣化を回避できる。一方、入力音声の平均音量Ｅａが小さいときは、機械音が目立つので、Ｅａに応じて平滑化係数ｒ＿ｓｍを大きな値に設定して、現在の補正係数Ｈｔによる補正係数Ｈの更新量を大きくする。これにより、現在のモータ動作中の補正係数Ｈｔを補正係数Ｈに大きく反映させて、機械音を適切に推定及び除去して、所望音を抽出できる。
【０２２８】
＜４．第４の実施の形態＞
次に、本発明の第４の実施形態に係る音声信号処理装置及び音声信号処理方法について説明する。第４の実施形態は、上記第１の実施形態と比べて、音源環境の特徴量Ｐに応じて、機械音低減処理に用いる機械音スペクトルを選択する点で相違する。第４の実施形態のその他の機能構成は、上記第２の実施形態と実質的に同一であるので、その詳細説明は省略する。
【０２２９】
［４．１．機械音低減方法の概要］
次に、本発明の第４の実施形態に係る音声信号処理装置及び方法による機械音低減方法の概要について説明する。
【０２３０】
上述した第１〜３の実施形態では、機械音スペクトルのテンプレートを利用せずとも、機械音推定部６２により実際の音声スペクトルＸから推定機械音スペクトルＺを推定して、機械音の低減を実現している。しかしながら、第１〜第３の実施形態による機械音低減方法には、次の点で更なる改善の余地がある。
【０２３１】
例えば、外部音声を録音するデジタルカメラ１の周囲に多数の音源がある場所（例えば、賑やかな雑踏など）では、当該多数の音源で発生した所望音が多方向からマイクロホン５１、５２に到来する。このため、駆動装置１４の方向からマイクロホン５１、５２到来する機械音に所望音が混入するので、上記機械音推定部６２により得られる推定機械音スペクトルＺに、除去対象である機械音だけでなく、周囲の音（所望音）がかなり含まれることとなる。その結果、機械音推定部６２による機械音の過剰推定が起こるため、上記機械音低減処理によって、機械音を低減すると同時に、所望音をも過剰に抑圧してしまい、所望の音質を大きく劣化させてしまう恐れがある。
【０２３２】
このように、上記第１〜３の実施形態において入力音声から動的に機械音を動的に推定する方法では、機械音の過剰推定が起こると、録音される所望音が著しく劣化してしまうという問題がある。
【０２３３】
そこで、以下の第４の実施形態では、上記過剰推定を防止するために、カメラ周囲の音環境（音源環境）に応じて、機械音発声時に動的に推定される推定機械音スペクトルＺと、機械音発生前に予め得られた平均機械音スペクトルＴｚとを使い分ける。即ち、上記賑やかな雑踏のような多数の音源がある場所では、平均機械音スペクトルＴｚを使用することで、機械音の過剰推定を防止する一方、その他の場所では、上記推定機械音スペクトルＺを使用することで、機械音を正確に低減する。
【０２３４】
ここで、平均機械音スペクトルＴｚは、過去の機械音の実績から得られた平均的な機械音スペクトル信号である。この平均機械音スペクトルＴｚの算出方法としては、次の方法がある。例えば、デジタルカメラ１に設けられた音声信号処理装置が自ら、過去の機械音スペクトルの推定実績に基づいて、機械音スペクトルの特徴を学習することにより、平均機械音スペクトルＴｚを生成してもよい。或いは、複数台のデジタルカメラ１の駆動装置１４で発生する実際の機械音スペクトルＺｒｅａｌを測定し、当該測定結果に基づいて、機種ごとの平均機械音スペクトルＴｚのテンプレートを事前に求めておき、個々の装置において当該テンプレートを利用するようにしてもよい。
【０２３５】
前者のＴｚ算出方法についてより詳細に説明する。音声信号処理装置は、外部音声の録音中に、上記機械音補正部６３により、マイクロホン５１、５２により得られた音声スペクトルＸに基づいて、平均機械音スペクトルＴｚを自ら学習する。機械音補正部６３は、上述した推定機械音スペクトルＺの補正処理を行うと同時に、平均機械音スペクトルＴｚも算出する。そして、後述する機械音選択部を更に設け、当該機械音選択部により、音源環境に応じて、推定機械音スペクトルＺ、又は学習した平均機械音スペクトルＴｚのいずれかを選択する。
【０２３６】
なお、音源環境とは、音源の数のことを示す。例えば、マイクロホン５１、５２に対する入力音量、マイクロホン５１、５２間の音声相関、又は、推定機械音スペクトルＺなどを用いて、上記音源の数を推定可能である。
【０２３７】
ところで、上記のように録音中に平均機械音スペクトルＴｚのテンプレートを学習するのであれば、当該テンプレートをそのまま利用して、機械音を低減すればよいとの考えもある。しかしながら、実際の機械音は、駆動装置１４の動作の度に音質が変化し、また、１回の動作中でも変化する。このため、固定的な機械音テンプレートでは当該これら変化に追従することができない。従って、機械音の変化に追従して機械音の低減性能を向上するためには、上記第１の実施形態１〜３のように２つのマイクロホン５１、５２の入力音声信号ｘＬ、ｘＲから機械音を動的に推定することが好ましい。
【０２３８】
一方で、上記のように周囲が非常に賑やかな音源環境である場合、そもそも機械音は所望音に埋もれて聞こえにくくなり、機械音がユーザにとって不快ではなくなる。従って、機械音を大きく抑圧するよりは、所望音の劣化をなるべく引き起こさないように、機械音を低減することが望ましい。つまり、機械音を動的に推定して過剰推定してしまうよりも、実際の機械音に対して多少の誤差はあっても、所望音の劣化を確実に防ぐ方が好ましい。そこで、所望音成分を含まず機械音成分だけが含まれているスペクトルを利用して、機械音の低減処理を行うことが望ましい。よって、当該音源環境下では、機械音成分だけを含む平均機械音スペクトルＴｚのテンプレートを使用することが適切である。
【０２３９】
また、当該Ｔｚのテンプレートとしては、多数台のデジタルカメラ１の機械音を測定して得られる平均的な機械音テンプレートを利用可能であるが、上記理由により、必ずしも、個々のデジタルカメラ１毎に最適なものでなくてもよい。多数台の平均的な機械音テンプレートを得るためには、個々のカメラでの調整コストが大きくなる。そこで、個々のデジタルカメラ１内で、推定機械音スペクトルＺを補正しながら、平均機械音スペクトルＴｚのテンプレートも同時学習することで、その調整コストを低減できる。
【０２４０】
以上のように、第４〜第６の実施形態では、音源環境に応じて、推定機械音スペクトルＺ又は平均機械音スペクトルＴｚのテンプレートのいずれかを選択して、機械音低減に利用することで、機械音の過剰推定を抑制する。
【０２４１】
これにより、音源環境に応じた適応的な機械音スペクトルを実現できるので、推定機械音スペクトルＺによる機械音の低減効果を確保したまま、所望音の音質劣化も抑制できる。また、所望音の劣化を低減するための平均機械音スペクトルＴｚのテンプレートを事前でなく、録音中に作成するため、その調整コストを低減できる。
【０２４２】
［４．２．音声信号処理装置の機能構成］
次に、図３３を参照して、第４の実施形態に係るデジタルカメラ１に適用された音声信号処理装置の機能構成例について説明する。図３３は、本実施形態に係る音声信号処理装置の機能構成を示すブロック図である。
【０２４３】
図３３に示すように、第４の実施形態に係る音声信号処理装置は、２つのマイクロホン５１、５２と、音声処理部６０を備える。音声処理部６０は、２つの周波数変換部６１Ｌ、６１Ｒと、機械音推定部６２と、２つの機械音補正部６３Ｌ、６３Ｒと、２つの機械音低減部６４Ｌ、６４Ｒと、２つの時間変換部６５Ｌ、６５Ｒと、２つの機械音選択部６６Ｌ、６６Ｒとを備える。このように第４の実施形態に係る音声信号処理装置は、上記第１の実施形態と比べて、機械音選択部６６Ｌ、６６Ｒが追加されている。
【０２４４】
機械音補正部６３Ｌ、６３Ｒ（以下、機械音補正部６３と総称する。）は、上記第１の実施形態と同様に、推定機械音スペクトルＺを補正するための補正係数ＨＬを算出する機能を有する。さらに、機械音補正部６３は、録音動作中（動作撮像中）に、機械音の平均的なスペクトルを学習して、平均機械音スペクトル信号Ｔｚを生成する機能も有する。このように、機械音補正部６３は、推定機械音スペクトルＺに対する補正係数Ｈを算出するとともに、平均機械音スペクトル信号Ｔｚを算出する。
【０２４５】
機械音補正部６３Ｌは、Ｌｃｈ用の音声スペクトル信号ＸＬの周波数成分ＸＬ（ｋ）ごとに、音声スペクトル信号ＸＬに基づいて、ｌｃｈ用の平均機械音スペクトル信号ＴｚＬを生成して記憶する。Ｒｃｈ用の機械音補正部６３Ｒは、音声スペクトル信号ＸＲの周波数成分ＸＲ（ｋ）ごとに、音声スペクトル信号ＸＲに基づいて、Ｒｃｈ用の平均機械音スペクトル信号ＴｚＲを生成して記憶する。かかる機械音補正部６３による平均機械音スペクトル信号Ｔｚ（以下、平均機械音スペクトルＴｚという）の生成処理の詳細は後述する。
【０２４６】
機械音選択部６６Ｌ、６６Ｒ（以下、機械音選択部６６と総称する。）は、デジタルカメラ１の周囲の音源環境に応じて、上記推定機械音スペクトルＺ又は平均機械音スペクトルＴｚのいずれか一方を選択する。具体的には、機械音選択部６６は、入力された音声スペクトルＸＬ、ＸＲ（モノラル信号）に基づいて、音源環境を推定するための特徴量Ｐを算出する。そして、機械音選択部６６は、当該音源環境の特徴量Ｐに基づいて、推定機械音スペクトルＺ又は平均機械音スペクトルＴｚのうちから、機械音低減に利用する機械音スペクトルを選択する。例えば、Ｌｃｈ用の機械音選択部６６Ｌは、音声スペクトルＸＬから求めた特徴量ＰＬに基づいて、Ｌｃｈ用の機械音低減に利用する機械音スペクトルを選択する。同様に、ｒｃｈ用の機械音選択部６６Ｒは、音声スペクトルＸＲから求めた特徴量ＰＲに基づいて、Ｒｃｈ用の機械音低減に利用する機械音スペクトルを選択する。
【０２４７】
機械音低減部６４は、音声スペクトルＸＬ、ＸＲから、上記機械音選択部６６により選択された機械音スペクトルを低減する。機械音選択部６６Ｌにより推定機械音スペクトルＺが選択された場合、Ｌｃｈ用の機械音低減部６４Ｌは、当該推定機械音スペクトルＺと補正係数ＨＬを用いて音声スペクトルＸＬから機械音成分を低減する。平均機械音スペクトルＴｚＬが選択された場合、機械音低減部６４Ｌは、当該平均機械音スペクトルＴｚＬを用いて音声スペクトルＸＬから機械音成分を低減する。Ｒｃｈ用の機械音低減部６４Ｒも同様である。
【０２４８】
［４．３．機械音補正部の詳細］
次に、本実施形態に係る機械音補正部６３の構成及び動作について説明する。
【０２４９】
［４．３．１．機械音補正部の構成］
本実施形態に係る機械音補正部６３は、上記第１の実施形態に係る機械音補正部６３と同様に記憶部６３１と、演算部６３２を備える（図７参照。）。
【０２５０】
記憶部６３１は、音声スペクトルＸの周波数成分Ｘ（ｋ）ごとに、上記補正係数Ｈと、平均機械音スペクトルＴｚを記憶する。また、記憶部６３１は、演算部６３２により補正係数Ｈ及び平均機械音スペクトルＴｚを算出するための計算用バッファとしても機能する。
【０２５１】
演算部６３２は、上記補正係数Ｈを算出するとともに、平均機械音スペクトルＴｚを算出し、機械音低減部６４に出力する。演算部６３２は、駆動装置１４が動作したときに、音声スペクトルＸの周波数成分Ｘ（ｋ）ごとに、駆動装置１４の動作開始前後におけるＸの周波数特性の差分ｄＸに基づいて、上記補正係数Ｈを算出する。さらに、演算部６３２は、音声スペクトルＸの周波数成分Ｘ（ｋ）ごとに、上記差分ｄＸを平均機械音スペクトルＴｚとして求める。
【０２５２】
［４．３．２．機械音補正の基本動作］
次に、図３４を参照して、本実施形態に係る機械音補正部６３の基本動作について説明する。図３４は、本実施形態に係る機械音補正部６３の基本動作を示すフローチャートである。
【０２５３】
図３４に示す第４の実施形態の動作フローは、図１１に示した第１の実施形態と比べて、ステップＳ２５の後にステップＳ２９が追加されている点で相違し、その他のステップＳ２０〜Ｓ２８は実質的に同一である。以下では、第４の実施形態に係る機械音補正部６３の特徴であるＳ２９を中心に説明する。
【０２５４】
図３４に示すように、機械音補正部６３は、上述したＳ２０〜Ｓ２４の処理を行った後に、上記Ｓ２３で算出されたモータ動作中の音声スペクトルＸａと、上記Ｓ２４で算出されたモータ動作停止時の音声スペクトルＸｂとの差分ｄＸを算出する（ステップＳ２５）。
【０２５５】
次いで、機械音補正部６３は、Ｓ２５で算出した差分ｄＸを、平均機械音スペクトルＴｚとして記憶部６３１に記憶する（ステップＳ２９）。図１０を用いて説明したように、モータの動作開始前後における音声スペクトルＸａとＸｂの差分ｄＸは、機械音の周波数特性（実際の機械音スペクトルＺｒｅａｌ）に対応している。従って、当該差分ｄＸを平均機械音スペクトルＴｚとして推定できる。
【０２５６】
その後、機械音補正部６３は、上述したように、平均推定機械音スペクトルＺａを算出し（ステップＳ２６）、ｄＸとＺａから補正係数Ｈを算出し（ステップＳ２７）、補正係数Ｈと平均機械音スペクトルＴｚを機械音低減部６４に出力する（ステップＳ２８）。
【０２５７】
以上、本実施形態に係る機械音補正部６３による補正係数Ｈと平均機械音スペクトルＴｚの算出処理について説明した。なお、実際には、音声信号ｘＬ、ｘＲを周波数変換して音声スペクトル信号ＸＬ、ＸＲを得ているので、音声スペクトル信号ＸＬ、ＸＲの各周波数成分ＸＬ（ｋ）、ＸＲ（ｋ）ごとに、補正係数ＨＬ（ｋ）、ＨＲ（ｋ）及び差分ｄＸＬ（ｋ）、ｄＸ（ｋ）Ｒ（平均機械音スペクトルＴｚ（ｋ）に相当する。）を計算する必要がある。しかし、上記では説明の便宜上、推定機械音スペクトルＺの１つの周波数成分Ｚ（ｋ）の補正係数Ｈ（ｋ）とｄＸ（ｋ）のみを算出するためのフローチャートを用いて説明した。以下の図３５等のフローチャートも同様である。
【０２５８】
［４．３．３．機械音補正の詳細動作］
次に、第４の実施形態に係る機械音補正部６３の詳細動作について説明する。以下では、音声信号のパワースペクトル領域において、推定機械音の補正及び平均機械音スペクトルＴｚの算出を行う例を示す。
【０２５９】
第４の実施形態に係る機械音補正部６３の動作タイミングは、図１２に示した第１の実施形態に係る機械音補正部６３の動作タイミングと同様であり、基本処理、処理Ａ、処理Ｂ）を同時並行で行う。図１２に示したように、機械音補正部６３は、常に基本処理を行いながら、モータ動作停止期間中には処理Ａを実行し、モータ動作期間中には処理Ｂを実行する。
【０２６０】
また、第４の実施形態に係る機械音補正部６３の基本的な動作フローは、上記第１の実施形態と同様であり（図１３参照。）、基本処理及び処理Ａの動作フローも、上記第１の実施形態と同様であり（図１４、図１５参照。）。ただし、第４の実施形態では、処理Ｂの具体的処理内容が第１の実施形態と相違する。
【０２６１】
次に、図３５を参照して、第２の実施形態に係るズームモータ１５の動作中（ズーム音の発生時）に行われる処理Ｂについて詳述する。図３５は、第４の実施形態に係る図１３中の処理Ｂのサブルーチンを示すフローチャートである。
【０２６２】
図３５に示すように、機械音補正部６３は、ズームモータ１５の動作中における音声スペクトルＸのパワースペクトルＰｘの平均値Ｐｘ＿ａを算出し（ステップＳ８１）、ズームモータ１５の動作開始前後におけるＸの差分ｄＰｘを算出する（ステップＳ８２）。以上のステップＳ８１〜Ｓ８２は、第１の実施形態と同様である。以下のステップＳ８８〜Ｓ８９が第４の実施形態の特徴的な処理である。
【０２６３】
次いで、機械音補正部６３は、上記Ｓ８２で求めた差分ｄＰｘ（現在の平均機械音スペクトルＴｚに相当する。）と、過去に求めた平均機械音スペクトルＴｐｒｅｖを用いて、平均機械音スペクトルＴｚを更新する（ステップＳ８８）。具体的には、機械音補正部６３は、記憶部６３１に記憶されている過去の平均機械音スペクトルＴｐｒｅｖを読み出す。そして、機械音補正部６３は、以下の式（１５）のように、平滑化係数ｒ（０＜ｒ＜１）を用いてＴｐｒｅｖとｄＰｘを平滑化することにより、平均機械音スペクトルＴｚを算出する。このように、現在の平均機械音スペクトル（差分ｄＰｘ）と過去の平均機械音スペクトルＴｐｒｅｖを平滑化することで、個々のズーム動作における音声スペクトルＸの異常値の影響を抑制できるので、信頼性の高い平均機械音スペクトルＴｚのテンプレートを算出できる。
Ｔｚ＝ｒ・Ｔｐｒｅｖ＋（１−ｒ）・ｄＰｘ ・・・（１５）
【０２６４】
その後、機械音補正部６３は、Ｓ８８で求めた平均機械音スペクトルＴｚを、Ｔｐｒｅｚとして記憶部６３１に記憶する（ステップＳ８９）。
【０２６５】
次いで、機械音補正部６３は、ズームモータ１５の動作中における推定機械音スペクトルＺのパワースペクトルＰｚの平均値Ｐｚ＿ａを算出し（ステップＳ８３）、ｄＰｘとＰｚ＿ａを用いて補正係数Ｈｔを算出する（ステップＳ８４）。さらに、機械音補正部６３は、Ｓ８４で求めた現在の補正係数Ｈｔと過去の補正係数Ｈｐを用いて、補正係数Ｈを更新し（ステップＳ８５）、ＨをＨｐとして記憶部６３１に記憶する（ステップＳ８６）。そして、機械音補正部６３は、記憶部６３１に記憶されている積算値ｓｕｍ＿Ｐｘ及び積算値ｓｕｍ＿Ｐｚをゼロにリセットする（ステップＳ８７）。以上のステップＳ８３〜Ｓ８７は、第１の実施形態と同様である
【０２６６】
以上、第４の実施形態に係る機械音補正部６３の動作フローについて説明した。機械音補正部６３は、ズームモータ１５が動作する度に、モータ動作開始前後における音声スペクトルＸの差分ｄＰｘを用いて補正係数Ｈを更新するとともに、当該差分ｄＰｘを用いて平均機械音スペクトルＴｚを更新して保持する。これにより、後述する機械音選択部６６は、今回のモータ動作時に発生した機械音に対応する最新の平均機械音スペクトルＴｚ又は推定機械音スペクトルＺのいずれかを選択できるようになる。
【０２６７】
［４．４．機械音選択部の詳細］
次に、本実施形態に係る機械音選択部６６の構成及び動作について説明する。
【０２６８】
［４．４．１．機械音選択の概念］
まず、図３６を参照して、本実施形態に係る機械音選択部６６の構成について説明する。図３６は、本実施形態に係る機械音選択部６６の構成を示すブロック図である。なお、以下では、Ｌｃｈ用の機械音選択部６６Ｌの構成について説明するが、Ｒｃｈ用の機械音選択部６６Ｒの構成も実質的に同一であるので、その詳細説明は省略する。
【０２６９】
図３６に示すように、機械音選択部６６Ｌは、記憶部６６１と、演算部６６２と、選択部６６３を備える。演算部６６２には、上記Ｌｃｈ用の周波数変換部６１Ｌから音声スペクトル信号ＸＬが入力され、制御部７０から駆動制御情（例えばモータ制御情報）が入力される。また、選択部６６３には、上記機械音補正部６３Ｌから推定機械音スペクトル信号Ｚと補正係数ＨＬと平均機械音スペクトルＴｚＬが入力される。
【０２７０】
記憶部６６１は、音源環境の特徴量ＰＬの閾値（後述するＥｔｈ）を記憶する。また、記憶部６６１は、演算部６６２及び選択部６６３が特徴量Ｐ等を算出するための計算用バッファとしても機能する。
【０２７１】
演算部６６２は、音声スペクトル信号ＸＬに基づいて、音源環境の特徴量ＰＬを算出する。例えば、演算部６６２は、音声スペクトル信号ＸＬのレベルから、入力音声の平均パワースペクトルＥａ［ｄＢ］を、音源環境の特徴量Ｐとして算出する。
【０２７２】
選択部６６３は、音源環境の特徴量ＰＬの閾値Ｅｔｈを記憶部６６１から読み出し、演算部６６２により演算された特徴量ＰＬ（例えば入力音声の平均パワースペクトルＥａ）と閾値Ｅｔｈを比較し、この比較結果に基づいて、機械音スペクトルを選択する。例えば、ＥａがＥｔｈ未満である場合には、選択部６６３は推定機械音スペクトルＺを選択し、ＥａがＥｔｈ以上である場合には、選択部６６３は平均機械音スペクトルＴｚを選択する。選択部６６３により算出された機械音スペクトルＺ又はＴｚは、上記機械音低減部６４Ｌに出力される。
【０２７３】
［４．４．２．機械音選択の基本動作］
次に、図３７を参照して、本実施形態に係る機械音選択部６６Ｌの動作について説明する。図３７は、本実施形態に係る機械音選択部６６Ｌの動作を示すフローチャートである。
【０２７４】
なお、実際には、音声信号ｘＬ、ｘＲを周波数変換して音声スペクトル信号ＸＬ、ＸＲを得る。本実施形態では、音声スペクトル信号を得るフレーム毎に、機械音スペクトルを選択する。つまり、あるフレームでは、平均機械音スペクトルＴｚＬ、ＴｚＲを、別のフレームでは、機械音推定部から得られる推定機械音スペクトルＺを用いる。音声スペクトル信号は、音声スペクトル信号ＸＬ、ＸＲの各周波数成分ＸＬ（ｋ）、ＸＲ（ｋ）を有するが、以下では、説明の便宜上すべての周波数成分ＸＬ（ｋ）、ＸＲ（ｋ）をまとめてＸＬ、ＸＲと記述し、機械音スペクトルを選択するフローチャートを用いて説明した。また、以下では、Ｌｃｈ用の機械音選択部６６Ｌの動作フローを説明するが、Ｒｃｈ用の機械音選択部６６Ｒの動作フローも同様である。
【０２７５】
図３７に示すように、まず、機械音選択部６６Ｌは、周波数変換部６１Ｌから音声スペクトルＸＬ（モノラル信号）を受け取る（ステップＳ１００）。次いで、機械音選択部６６Ｌは、音源環境の特徴量ＰＬとして、例えば音声スペクトルＸＬの平均パワースペクトルＥａ算出する（ステップＳ１０２）。この特徴量ＰＬ（例えばＥａ）の算出処理の詳細は後述する。
【０２７６】
さらに、機械音選択部６６Ｌは、機械音補正部６３Ｌから推定機械音スペクトルＺ、補正係数ＨＬ及び平均機械音スペクトルＴｚＬを受け取る（ステップＳ１０４）。次いで、機械音選択部６６Ｌは、上記Ｓ１０２で算出した音源環境の特徴量ＰＬに基づいて、推定機械音スペクトルＺ又は平均機械音スペクトルＴｚＬのいずれかを選択する（ステップＳ１０６）。その後、機械音選択部６６は、Ｓ１０６で選択した機械音スペクトルＺ又はＴｚＬと補正係数ＨＬを、機械音低減部６４Ｌに出力する（ステップＳ３０８）。
【０２７７】
［４．４．３．機械音選択の詳細動作］
次に、図３８〜図４１を参照して、本実施形態に係る機械音選択部６６の詳細動作について説明する。以下の説明では、ＬｃｈとＲｃｈの区別はしないが、機械音選択部６６Ｌ、６６Ｒはそれぞれ、Ｌｃｈ用の各信号や値（ＸＬ、ＨＬ、ＴｚＬ、ＰＬ）又はＲｃｈ用の各信号や値（ＸＲ、ＨＲ、ＴｚＲ、ＰＲ）を用いて処理を行うものとする。
【０２７８】
図３８は、本実施形態に係る機械音選択部６６の動作タイミングを示すタイミングチャートである。なお、図１２と同様に、図３８のタイミングチャートでも、時間軸上で上記フレームを基準として示してある。
【０２７９】
図３８に示すように、機械音選択部６６は、複数の処理（処理Ｃ、処理Ｄ）を同時並行で行う。処理Ｃは、ズームモータ１５の動作に関わらず、デジタルカメラ１による録音中（動作撮像中）は常時行われる。処理Ｄは、ズームモータ１５の動作停止中に、Ｎ１フレームごとに行われる。
【０２８０】
次に、機械音選択部６６の動作フローを説明する。図３９は、本実施形態に係る機械音選択部６６の全体動作を示すフローチャートである。
【０２８１】
図３９に示すように、まず、機械音選択部６６は、制御部７０から、ズームモータ１５の動作状態を表すモータ制御情報ｚｏｏｍ＿ｉｎｆｏを取得する（ステップＳ１３０）。ｚｏｏｍ＿ｉｎｆｏの値が１であれば、ズームモータ１５が動作状態であり、ｚｏｏｍ＿ｉｎｆｏの値が０であれば、ズームモータ１５が動作停止状態である。機械音選択部６６は、当該モータ制御情報ｚｏｏｍ＿ｉｎｆｏによりズームモータ１５の動作の有無（即ち、ズーム音の発生の有無）を判断できる。
【０２８２】
次いで、機械音選択部６６は、音声信号ｘの１フレームごとに処理Ｃを行う（ステップＳ１４０）。この処理Ｃでは、機械音選択部６６は、音源環境の特徴量Ｐに応じて機械音スペクトルを選択する。
【０２８３】
図４０は、図３９中の処理Ｃのサブルーチンを示すフローチャートである。図４０に示すように、まず、機械音選択部６６は、周波数変換部６１から音声スペクトルＸ（ｋ）を周波数成分ごとに受け取る（ステップＳ１４１）。また、機械音選択部６６は、機械音推定部６２から補正係数Ｈ（ｋ）、推定機械音スペクトルＺ（ｋ）及び平均機械音スペクトルＴｚを、音声スペクトルの周波数成分Ｘ（ｋ）ごとに受け取る（ステップＳ１４２）。
【０２８４】
次いで、機械音選択部６６は、記憶部６６１に記憶されているフラグｚｆｌａｇが１であるか否かを判断する（ステップＳ１４３）。フラグｚｆｌａｇは、機械音スペクトル選択用のフラグであり、後述する処理Ｄにより、音源環境の特徴量Ｐに応じて０又は１に設定される。
【０２８５】
上記Ｓ１４３での判定の結果、ｚｆｌａｇ＝１である場合には、機械音選択部６６は、機械音スペクトルとして推定機械音スペクトルＺ（ｋ）を選択し、当該選択したＺ（ｋ）を補正係数Ｈ（ｋ）とともに機械音低減部６４に出力する（ステップＳ１４４）。これにより、機械音低減部６４は、Ｓ１４４で選択された推定機械音スペクトルＺ（ｋ）と補正係数Ｈ（ｋ）を用いて音声スペクトルＸ（ｋ）から機械音成分を除去する。
【０２８６】
一方、ｚｆｌａｇ≠１である場合には、機械音選択部６６は、機械音スペクトルとして平均機械音スペクトルＴｚ（ｋ）を選択し、当該選択したＴｚ（ｋ）を機械音低減部６４に出力する（ステップＳ１４５）。これにより、機械音低減部６４は、Ｓ１４５で選択された平均機械音スペクトルＴｚを用いて音声スペクトルＸ（ｋ）から機械音成分を除去する。
【０２８７】
次いで、機械音選択部６６は、音声スペクトルＸの周波数成分Ｘ（ｋ）ごとに、上記音声スペクトルＸ（ｋ）を二乗して、当該音声スペクトルＸ（ｋ）のパワースペクトルＰｘ（ｋ）を算出する（ステップＳ１４６）。
【０２８８】
さらに、機械音選択部６６は、Ｓ１４６で求めたＰｘ（ｋ）の平均を算出して、その単位をデシベルに変換することで、入力音声のパワースペクトルＰｘの平均値Ｅ［ｄＢ］を求める（ステップＳ１４７）。この入力音声の音量Ｅの算出式は、例えば、以下の式（１６）で表される。当該平均値Ｅは、入力音声の音量を表す。なお、Ｌは、音声スペクトルＸを複数の周波数ブロックに分割したときのブロック数である。
【０２８９】
【数３】
【０２９０】
その後、機械音選択部６６は、記憶部６６１に記憶されている平均パワースペクトルＥの積算値ｓｕｍ＿Ｅに、Ｓ１４７で求めた平均パワースペクトルＥを加算する（ステップＳ１４８）。
【０２９１】
以上のようにして、処理Ｃでは、機械音スペクトルを選択するとともに、現在の入力音声の平均パワースペクトルＥの積算値ｓｕｍ＿Ｅを算出する。
【０２９２】
次に、図３９のＳ１５０に戻り、説明を続ける。図３９に示すように、機械音選択部６６は、上記Ｓ１４０の処理Ｃを行ったフレーム数をカウントする（ステップＳ１５０）。具体的には、かかるカウント処理では、ズームモータ１５の動作中における処理フレーム数ｃｎｔ２、ズームモータ１５の動作停止中における処理フレーム数ｃｎｔ１を用いる。ズームモータ１５が動作停止中（ｚｏｏｍ＿ｉｎｆｏ＝０）である場合（ステップＳ１５１）、機械音選択部６６は、記憶部６６１に記憶されているｃｎｔ２をゼロにリセットし（ステップＳ１５２）、記憶部６６１に記憶されているｃｎｔ１に１を加算する（ステップＳ１５４）。一方、ズームモータ１５が動作中（ｚｏｏｍ＿ｉｎｆｏ＝１）である場合（ステップＳ１５１）、機械音選択部６６は、記憶部６６１に記憶されているｃｎｔ１をゼロにリセットし（ステップＳ１５６）、記憶部６６１に記憶されているｓｕｍ＿Ｅをゼロにリセットする（ステップＳ１５８）。
【０２９３】
次いで、ｃｎｔ１がＮ１に達し、ズームモータ１５が動作停止中である場合（ステップＳ１６０）、機械音選択部６６は、処理Ｄを行い（ステップＳ１７０）、ｃｎｔ１をゼロにリセットする（ステップＳ１８０）。
【０２９４】
ここで、ズームモータ１５の動作停止中（ズーム音の非発生時）に行われる処理Ｄについて詳述する。図４１は、図３９中の処理Ｄのサブルーチンを示すフローチャートである。
【０２９５】
図４１に示すように、まず、機械音選択部６６は、平均パワースペクトルＥの積算値ｓｕｍ＿Ｅをフレーム数Ｎ１で除算することにより、ズームモータ１５の動作停止中における平均パワースペクトルＥａを算出する（ステップＳ１７１）。このＥａは、音源環境の特徴量Ｐの一例である。さらに、機械音選択部６６は、音源環境の特徴量Ｐの閾値として、平均パワースペクトルの閾値Ｅｔｈを記憶部６６１から読み出す（ステップＳ１７２）。
【０２９６】
次いで、機械音選択部６６は、平均パワースペクトルＥａが閾値Ｅｔｈ未満であるか否かを判断する（ステップＳ１７３）。この結果、Ｅａ＜Ｅｔｈである場合、機械音選択部６６は、上記機械音スペクトル選択用のフラグｚｆｌａｇを１に設定し（ステップＳ１７４）、Ｅａ≧Ｅｔｈである場合、当該フラグｚｆｌａｇを０に設定する（ステップＳ１７５）。その後、機械音選択部６６は、記憶部６６１に記憶されている積算値ｓｕｍ＿Ｅをゼロにリセットする（ステップＳ１７６）。
【０２９７】
以上の処理Ｄにより、ズームモータ１５の動作停止中に、音源環境の特徴量Ｐとして平均パワースペクトルＥａが算出される。そして、当該ＥａがＥｔｈ未満であるときには推定機械音スペクトルＺが選択され、当該ＥａがＥｔｈ以上であるときには平均機械音スペクトルＴｚが選択される。
【０２９８】
このように、第４の実施形態によれば、駆動装置１４の動作停止中に、音声スペクトルＸから平均パワースペクトルＥａを算出し、当該平均パワースペクトルＥａの大きさによって、使用する機械音スペクトルを切り替える。
【０２９９】
以上、第４の実施形態に係る機械音選択部６６の動作について説明した。かかる機械音選択部６６は、駆動装置１４の動作停止中は常時、音声スペクトルＸの平均パワースペクトルＥａを、音源環境の特徴量Ｐとして算出し、記憶部６６１に保持しておく。そして、駆動装置１４の動作開始時には、機械音選択部６６は、Ｅａの大きさに応じて、推定機械音スペクトルＺ又は平均機械音スペクトルＴｚを選択する。
【０３００】
このＥａは、周囲の音源の数に対応している。一般に、音源の数が多くなると、複数の音源からの音が加算されて収音されるので、マイクロホン５１、５２に入力される外部音声のレベルは上昇する。このため、入力音声の平均パワースペクトルＥａが大きいほど、デジタルカメラ１の周辺の音源の数が多いことになる。
【０３０１】
従って、音源の数が少ない場合（Ｅａ＜Ｅｔｈ）には、推定機械音スペクトルＺを用いて、精度良く実際の機械音スペクトルＺｒｅａｌを推定できる。そこで、機械音選択部６６は、装置ごと及び動作ごとの機械音のばらつきに追従可能な推定機械音スペクトルＺを選択する。これにより、機械音低減部６４は、推定機械音スペクトルＺを用いて、入力された外部音声から機械音を適切に除去可能である。
【０３０２】
一方、音源の数が多い場合（Ｅａ≧Ｅｔｈ）には、推定機械音スペクトルＺを用いると、過剰推定により、所望音の劣化を招く危険性がある。そこで、機械音選択部６６は、駆動装置１４の動作停止中に学習した平均機械音スペクトルＴｚを選択する。これにより、機械音低減部６４は、所望音成分を含まず機械音成分だけが含まれている平均機械音スペクトルＴｚを利用して、機械音を低減するので、上記過剰推定による所望音の劣化を確実に防止できる。
【０３０３】
＜５．第５の実施の形態＞
次に、本発明の第５の実施形態に係る音声信号処理装置及び方法による機械音低減方法の概要について説明する。第５の実施形態は、上記第４の実施形態と比べて、音源環境の特徴量Ｐとして、２つのマイクロホン５１、５２から得られる信号の相関関係を用いる点で相違する。第５の実施形態のその他の機能構成は、上記第４の実施形態と実質的に同一であるので、その詳細説明は省略する。
【０３０４】
上記第４の実施形態に係る機械音選択部６６は、音源環境の特徴量Ｐとして、１つのマイクロホン５１又は５２から得られる音声スペクトルＸの平均パワースペクトルＥａを利用して、機械音スペクトルを選択した。これに対し、第５の実施形態に係る機械音選択部６６は、音源環境の特徴量Ｐとして、２つのマイクロホン５１又は５２から得られる音声スペクトルＸＬ、ＸＲの相関関係を利用して、機械音スペクトルを選択する。
【０３０５】
［５．１．音声信号処理装置の機能構成］
まず、図４２を参照して、第５の実施形態に係るデジタルカメラ１に適用された音声信号処理装置の機能構成例について説明する。図４２は、本実施形態に係る音声信号処理装置の機能構成を示すブロック図である。
【０３０６】
図４２に示すように、第５の実施形態に係る音声信号処理装置は、Ｌｃｈ及びＲｃｈで共通の１つの機械音選択部６６を備えている。この機械音選択部６６には、機械音補正部６３Ｌ、６３Ｒから、平均機械音スペクトル信号ＴｚＬ、ＴｚＲ、推定機械音スペクトルＺ及び補正係数ＨＬ、ＨＲが入力され、周波数変換部６１Ｌ、６１Ｒから音声スペクトルＸＬ、ＸＲが入力される。
【０３０７】
機械音選択部６６は、双方のマイクロホン５１、５２から入力される音声スペクトルＸＬ、ＸＲの相関関係に基づいて、Ｌｃｈ及びＲｃｈで共通の音源環境の特徴量Ｐを生成し、当該特徴量Ｐに基づいて、推定機械音スペクトルＺ又は平均機械音スペクトルＴｚのいずれか一方を選択する。例えば、機械音選択部６６は、音源環境の特徴量Ｐに基づいて、Ｌｃｈ用の機械音低減に利用する機械音スペクトルを選択するとともに、Ｒｃｈ用の機械音低減に利用する機械音スペクトルを選択する。
【０３０８】
［５．２．機械音選択の原理］
次に、音源環境の特徴量Ｐとして、音声スペクトルＸＬ、ＸＲの相関関係（例えば相関値Ｃ（ｋ））を用いる原理について説明する。
【０３０９】
図４３は、本実施形態に係る２つのマイクロホン５１、５２間の相関を示す説明図である。図４３に示すように、２つのマイクロホン５１、５２が並んだ方向に対して、ある角度θの方向から、音声がマイクロホン５１、５２に到達する場合を考える。この場合、マイクロホン５１に入力される音声と、マイクロホン５２に入力される音声との間には、到達距離の差ｄｉｓの分だけ、到達時間差が生じる。ここで、マイクロホン５１の入力音声信号ＸＬ（ｋ）とマイクロホン５２の入力音声信号ＸＲ（ｋ）との相関値Ｃ（ｋ）は、以下の式（１７）で表される。
【０３１０】
【数４】
【０３１１】
マイクロホン５１、５２の周辺の音源の数が多い音源環境では、マイクロホン５１、５２の周囲の全方向から音声が到来すると考えることができる。こういった音源環境の状態は、例えば拡散音場で表現できる。拡散音場の相関値ｒＣ（ｋ）は、以下の式（１８）で算出できる。
【０３１２】
【数５】
【０３１３】
この式（１８）において、
ｄ：マイクロホン間の距離
ｃ：音速（例えば３４０ｍ／ｓ）
ω（ｋ）：角周波数
である。
また、Ｎ点ＦＦＴの結果得られる周波数ビンｋに対して、サンプリング周波数をＦｓとすると、ω（ｋ）は、次の式（１９）で表される。
【０３１４】
【数６】
【０３１５】
従って、図４４及び図４５に示すように、マイクロホン５１、５２に入力された実際の音声信号ｘＬ（ｋ）、ｘＲ（ｋ）から算出される周波数毎の相関値Ｃ（ｋ）を、上述した拡散音場を想定した相関値ｒＣ（ｋ）と比較することで、マイクロホン５１、５２周囲の音源環境を推定することができる。なお、図４４及び図４５は、マイクロホン２間距離ｄ＝１．２ｃｍ、θ＝１５°の場合の相関値を示している。
【０３１６】
図４４は、機械音推定部６２により機械音スペクトルを適切に推定できる場合の相関を示す。図４４に示すように、実際の入力音声信号から算出した相関値Ｃ（ｋ）と、拡散音場を想定した相関値ｒＣ（ｋ）とが相違する場合には、マイクロホン５１、５２周囲の音源環境は拡散音場ではないので、音源の数は少ないと推定できる。従って、この場合には、上記機械音推定部６２により、実際の機械音Ｚｒｅａｌに適合した推定機械音スペクトルＺを推定できる。よって、機械音の除去精度を高めるために、機械音補正部６３により推定機械音スペクトルＺを選択することが好ましいといえる。
【０３１７】
一方、図４５は、機械音推定部６２により機械音スペクトルを適切に推定できない場合の相関を示す。図４５に示すように、実際の入力音声信号から算出した相関値Ｃ（ｋ）と、拡散音場を想定した相関値ｒＣ（ｋ）とがほぼ一致する場合には、マイクロホン５１、５２周囲の音源環境は拡散音場であるので、音源の数は多いと推定できる。従って、この場合には、上記機械音推定部６２により、実際の機械音Ｚｒｅａｌに適合した推定機械音スペクトルＺを推定することは困難であり、過剰推定により所望音が劣化する可能性がある。よって、機械音の過剰推定による所望音の劣化を防止するために、機械音補正部６３により平均機械音スペクトルＴｚを選択することが好ましいといえる。
【０３１８】
［５．３．機械音選択の基本動作］
次に、図４６を参照して、本実施形態に係る機械音選択部６６の動作について説明する。図４６は、本実施形態に係る機械音選択部６６の動作を示すフローチャートである。なお、本実施形態では、周波数変換を行うフレーム毎に、機械音スペクトルを選択する。つまり、あるフレームでは、平均機械音スペクトルＴｚＬ、ＴｚＲを、別のフレームでは、機械音推定部から得られる推定機械音スペクトルＺを用いる。
【０３１９】
図４６に示すように、まず、機械音選択部６６は、周波数変換部６１Ｌ、６２Ｒから音声スペクトルＸＬ及びＸＲ（ステレオ信号）を受け取る（ステップＳ３００）。次いで、機械音選択部６６は、音声スペクトルＸＬ及びＸＲに基づいて、音源環境の特徴量Ｐとして、例えば上記相関値Ｃを算出する（ステップＳ３０２）。この特徴量Ｐ（例えばＣ）の算出処理の詳細は後述する。
【０３２０】
さらに、機械音選択部６６は、機械音補正部６３Ｌ、６３Ｒから推定機械音スペクトルＺ、補正係数ＨＬ、ＨＲ及び平均機械音スペクトルＴｚＬ、ＴｚＲを受け取る（ステップＳ３０４）。次いで、機械音選択部６Ｌは、上記Ｓ３０２で算出した音源環境の特徴量Ｐに基づいて、推定機械音スペクトルＺ又は平均機械音スペクトルＴｚＬ、ＴｚＲのいずれかを選択する（ステップＳ３０６）。その後、機械音選択部６６は、Ｓ３０６で選択したＬｃｈ用の機械音スペクトルＺ又はＴｚＬと補正係数ＨＬを、機械音低減部６４Ｌに出力するともに、Ｓ３０６で選択したＲｃｈ用の機械音スペクトルＺ又はＴｚＲと、補正係数ＨＲを、機械音低減部６４Ｒに出力する（ステップＳ３０８）。
【０３２１】
［５．４．機械音選択の詳細動作］
次に、図４７〜図５０を参照して、本実施形態に係る機械音選択部６６の詳細動作について説明する。以下の説明では、ＬｃｈとＲｃｈの区別はしないが、機械音選択部６６Ｌ、６６Ｒはそれぞれ、Ｌｃｈ用の各信号や値（ＸＬ、ＨＬ、ＴｚＬ）又はＲｃｈ用の各信号や値（ＸＲ、ＨＲ、ＴｚＲ）を用いて処理を行うものとする。
【０３２２】
第５の実施形態に係る機械音選択部６６の動作タイミングは、上述した第４の実施形態に係る機械音補正部６３の動作タイミング（図３８参照。）と実質的に同一である。機械音選択部６６は、常に処理Ｃを行いながら、モータ動作停止期間中には処理Ｄを実行して、音声スペクトルＸの平均パワースペクトルＥａを算出する。
【０３２３】
また、第５の実施形態に係る機械音補正部６３の基本的な動作フローは、上記第４の実施形態と同様である（図３９参照。）。ただし、第５の実施形態では、処理Ｃ、処理Ｄ及びＳ１５８の具体的処理内容が第４の実施形態と相違する。第５の実施形態に係る処理Ｃ及び処理Ｄでは、音源環境の特徴量Ｐとして、第４の実施形態のような音声スペクトルＸの平均パワースペクトルＥａではなく、上記音声スペクトルＸＬとＸＲの相関値Ｃ（ｋ）を用いて、機械音スペクトルを選択する。また、第５の実施形態では、図３９のＳ１５８にて、ｓｕｍ＿Ｅの代わりに、後述するｓｕｍ＿Ｃ（ｋ）をリセットする。以下では、第５の実施形態に係る処理Ｃ、処理Ｄのフローについて詳細に説明する。
【０３２４】
図４７は、第５の実施形態に係る図３９中の処理Ｃのサブルーチンを示すフローチャートである。この処理Ｃでは、機械音選択部６６は、音源環境の特徴量Ｐとして、マイクロホン５１、５２から入力される実際の音声スペクトルＸＬとＸＲの相関値ｃ（ｋ）に基づいて、機械音スペクトルを選択する。
【０３２５】
図４７に示すように、まず、機械音選択部６６は、２つの周波数変換部６１Ｌ、６１Ｒから音声スペクトルＸＬ（ｋ）、ＸＲ（ｋ）を、音声スペクトルの周波数成分ごとに受け取る（ステップＳ３４１）。また、機械音選択部６６は、機械音推定部６２から補正係数ＨＬ（ｋ）、ＨＲ（ｋ）、推定機械音スペクトルＺ（ｋ）及び平均機械音スペクトルＴｚＬ（ｋ）、ＴｚＲ（ｋ）を、音声スペクトルの周波数成分Ｘ（ｋ）ごとに受け取る（ステップＳ３４２）。
【０３２６】
次いで、機械音選択部６６は、記憶部６６１に記憶されている、機械音スペクトル選択用のフラグｚｆｌａｇが１であるか否かを判断する（ステップＳ３４３）。この判断の判定の結果、ｚｆｌａｇ＝１である場合には、機械音選択部６６は、機械音スペクトルとして推定機械音スペクトルＺ（ｋ）を選択し、当該選択したＺ（ｋ）を補正係数ＨＬ（ｋ）、ＨＲ（ｋ）とともに機械音低減部６４Ｌ、６４Ｒにそれぞれ出力する（ステップＳ３４４）。一方、ｚｆｌａｇ≠１である場合には、機械音選択部６６は、機械音スペクトルとして平均機械音スペクトルＴｚを選択し、当該選択したＴｚＬ（ｋ）、ＴｚＲ（ｋ）を機械音低減部６４Ｌ、６４Ｒにそれぞれ出力する（ステップＳ３４５）。
【０３２７】
次いで、機械音選択部６６は、音声スペクトルＸの周波数成分Ｘ（ｋ）ごとに、音声スペクトルＸＬ（ｋ）と音声スペクトルＸＲ（ｋ）の相関値Ｃ（ｋ）を算出する（ステップＳ３４７）。この相関値Ｃ（ｋ）は、上記式（１７）を用いて算出される。その後、機械音選択部６６は、記憶部６６１に記憶されている相関値Ｃ（ｋ）の積算値ｓｕｍ＿Ｃ（ｋ）に、Ｓ３４７で求めた相関値Ｃ（ｋ）を加算する（ステップＳ３４８）。
【０３２８】
以上のようにして、処理Ｃでは、機械音スペクトルを選択するとともに、音声スペクトルＸＬ（ｋ）とＸＲ（ｋ）の相関値Ｃ（ｋ）の積算値ｓｕｍ＿Ｃ（ｋ）を算出する。かかる相関値Ｃ（ｋ）の積算値ｓｕｍ＿Ｃ（ｋ）は、後述の処理Ｄにおいてデジタルカメラ１が存在する音源環境の特徴量Ｐを求めるために用いられる。
【０３２９】
次に、ズームモータ１５の動作停止中（ズーム音の非発生時）に行われる処理Ｄについて詳述する。図４８は、第５の実施形態に係る図３９中の処理Ｄのサブルーチンを示すフローチャートである。
【０３３０】
図４８に示すように、まず、機械音選択部６６は、上記処理Ｃで得られた相関値Ｃ（ｋ）の積算値ｓｕｍ＿Ｃ（ｋ）をフレーム数Ｎ１で除算することにより、ズームモータ１５の動作停止中における相関値Ｃ（ｋ）の平均値ｍＣ（ｋ）を算出する（ステップＳ３７１）。さらに、機械音選択部６６は、拡散音場の相関値ｒＣ（ｋ）を記憶部６６１から読み出す（ステップＳ１７２）。この拡散音場の相関値ｒＣ（ｋ）は、上述した式（１８）及び（１９）により算出される。
【０３３１】
次いで、機械音選択部６６は、Ｓ３７１で得られた相関値Ｃ（ｋ）の平均値ｍＣ（ｋ）と、Ｓ３７２で得られた相関値ｒＣ（ｋ）との距離ｄを算出する（ステップＳ３７３）。この距離ｄは、以下の式（２０）で算出される。この距離ｄは、音源環境の特徴量Ｐの一例である。
【０３３２】
【数７】
【０３３３】
さらに、機械音選択部６６は、音源環境の特徴量Ｐの閾値として、閾値ｄｔｈを記憶部６６１から読み出す（ステップＳ３７４）。閾値ｄｔｈは、デジタルカメラ１や駆動装置１４のスペック、音源環境の状態等に応じて、予め適切な値に設定され、記憶部６６１に保持されている。
【０３３４】
次いで、機械音選択部６６は、Ｓ３７３で求めた距離ｄが閾値ｄｔｈ未満であるか否かを判断する（ステップＳ３７５）。この結果、ｄ＞ｄｔｈである場合、機械音選択部６６は、上記機械音スペクトル選択用のフラグｚｆｌａｇを１に設定し（ステップＳ３７６）、ｄ≦ｄｔｈである場合、当該フラグｚｆｌａｇを０に設定する（ステップＳ３７７）。その後、機械音選択部６６は、記憶部６６１に記憶されている積算値ｓｕｍ＿Ｃ（ｋ）をゼロにリセットする（ステップＳ３７８）。
【０３３５】
以上の処理Ｄにより、ズームモータ１５の動作停止中に、音源環境の特徴量Ｐとして、音声スペクトルＸＬ（ｋ）、ＸＲ（ｋ）の相関値の平均値ｍＣ（ｋ）と、拡散音場の相関値ｒＣ（ｋ）との距離ｄが算出される。そして、当該ｄがｄｔｈ超であるときには推定機械音スペクトルＺが選択され、当該ｄがｄｔｈ未満であるときには平均機械音スペクトルＴｚＬ、ＴｚＲが選択される。
【０３３６】
このように、第５の実施形態によれば、駆動装置１４の動作停止中に、実際の音声スペクトルＸＬ、ＸＲの相関値の平均値ｍＣ（ｋ）を算出し、当該ｍＣ（ｋ）と拡散音場の相関値ｒＣ（ｋ）との距離ｄに応じて、使用する機械音スペクトルを切り替える。
【０３３７】
以上、第５の実施形態に係る機械音選択部６６の動作について説明した。かかる機械音選択部６６は、駆動装置１４の動作停止中は常時、実際の音声スペクトルＸＬ、ＸＲの相関値の平均値ｍＣ（ｋ）を、音源環境の特徴量Ｐとして算出し、記憶部６６１に保持しておく。そして、駆動装置１４の動作開始時には、機械音選択部６６は、該ｍＣ（ｋ）と、Ｃ（ｋ）との距離ｄに応じて、推定機械音スペクトルＺ又は平均機械音スペクトルＴｚを選択する。
【０３３８】
このｄは、デジタルカメラ１の周囲の音源環境が拡散音場であるか否かを表している。上述したように、音源環境が拡散音場であれば、周囲の音源の数が多く、多方向からマイクロホン５１、５２に音声が入力されることになる。
【０３３９】
従って、音源環境が拡散音場でない場合（ｄ＞ｄｔｈ）には、推定機械音スペクトルＺを用いて、精度良く実際の機械音スペクトルＺｒｅａｌを推定できる。そこで、機械音選択部６６は、装置ごと及び動作ごとの機械音のばらつきに追従可能な推定機械音スペクトルＺを選択する。これにより、機械音低減部６４は、推定機械音スペクトルＺを用いて、入力された外部音声から機械音を適切に除去可能である。
【０３４０】
一方、音源環境が拡散音場に近い場合（ｄ≦ｄｔｈ）には、推定機械音スペクトルＺを用いると、過剰推定により、所望音の劣化を招く危険性がある。そこで、機械音選択部６６は、駆動装置１４の動作停止中に学習した平均機械音スペクトルＴｚを選択する。これにより、機械音低減部６４は、所望音成分を含まず機械音成分だけが含まれている平均機械音スペクトルＴｚを利用して、機械音を低減するので、上記過剰推定による所望音の劣化を確実に防止できる。
【０３４１】
＜６．第６の実施の形態＞
次に、本発明の第６の実施形態に係る音声信号処理装置及び方法による機械音低減方法の概要について説明する。第６の実施形態は、上記第４の実施形態と比べて、音源環境の特徴量Ｐとして、機械音推定部６２により推定された機械音スペクトルＺを用いる点で相違する。第６の実施形態のその他の機能構成は、上記第４の実施形態と実質的に同一であるので、その詳細説明は省略する。
【０３４２】
［６．１．音声信号処理装置の機能構成］
まず、図４９を参照して、第６の実施形態に係るデジタルカメラ１に適用された音声信号処理装置の機能構成例について説明する。図４９は、本実施形態に係る音声信号処理装置の機能構成を示すブロック図である。
【０３４３】
図４２に示すように、第６の実施形態に係る音声信号処理装置は、Ｌｃｈ及びＲｃｈで共通の１つの機械音選択部６６を備えている。この機械音選択部６６には、機械音補正部６３Ｌ、６３Ｒから、平均機械音スペクトル信号ＴｚＬ、ＴｚＲ、及び補正係数ＨＬ、ＨＲが入力され、周波数変換部６１Ｌ、６１Ｒから音声スペクトルＸＬ、ＸＲが入力される。さらに、機械音選択部６６には、機械音推定部６２から推定機械音スペクトルＺが入力される。機械音選択部６６は、推定機械音スペクトルＺの信号レベルに基づいて、推定機械音スペクトルＺ又は平均機械音スペクトルＴｚの中から、機械音低減部６４で使用する機械音スペクトルを選択する。
【０３４４】
［６．２．機械音選択部の詳細］
機械音選択部６６は、機械音推定部６２から入力される推定機械音スペクトルＺの信号レベル（Ｚのエネルギー）に基づいて、Ｌｃｈ及びＲｃｈで共通の音源環境の特徴量Ｐを生成し、当該特徴量Ｐに基づいて、推定機械音スペクトルＺ又は平均機械音スペクトルＴｚのいずれか一方を選択する。例えば、機械音選択部６６は、音源環境の特徴量Ｐに基づいて、Ｌｃｈ用の機械音低減に利用する機械音スペクトルを選択するとともに、Ｒｃｈ用の機械音低減に利用する機械音スペクトルを選択する。
【０３４５】
機械音推定部６２により得られた推定機械音スペクトルＺの信号レベルが低い場合には、機械音が所望音に埋もれておらず、周囲の音源が少ないと推定できる。そこで、機械音選択部６６は、推定機械音スペクトルＺの信号レベルが、予め設定された所定の閾値よりも低い場合には、推定機械音スペクトルＺを選択する。これにより、機械音スペクトルを高精度で推定して所望音から適切に除去できる。
【０３４６】
一方、機械音推定部６２により得られた推定機械音スペクトルＺの信号レベルが高い場合には、機械音が所望音に埋もれており、機械音の過剰推定による所望音の劣化が生じる可能性がある。そこで、機械音選択部６６は、推定機械音スペクトルＺの信号レベルが、予め設定された所定の閾値よりも高い場合には、平均機械音スペクトルＴｚを選択する。これにより、機械音をある程度除去しつつ、所望音の音質劣化を確実に防止できる。
【０３４７】
以上のように、第６の実施形態に係る機械音選択部６６は、マイクロホン５１、５２への入力音声信号ではなく、機械音推定部６２の出力信号に基づいて、音源環境の特徴量Ｐを算出する。かかる構成により、第４又は第５の実施形態よりもさらに実用的な音声信号処理装置を提供できる。
【０３４８】
なお、第６の実施形態に係る機械音選択部６６の動作フローは、音源環境の特徴量Ｐとして、推定機械音スペクトルＺの平均パワースペクトルを用いる点を除いては、上述した第４の実施形態と同様に実現できるので、詳細説明は省略する（図３８〜図４１参照。）。
【０３４９】
以上、第４〜第６の実施形態に係る機械音選択部６６の構成と動作について説明した。上記第４〜第６の実施形態では、機械音推定部６２による機械音の過剰推定を抑制するために、推定機械音スペクトルＺ又は平均機械音スペクトルＴｚのいずれかを選択する方法について述べた。しかし、本発明は、かかる例に限定されず、機械音選択部６６は、機械音低減部６４で用いる機械音スペクトルとして、例えば、双方の機械音スペクトルＺ、Ｔｚの重み付き和を算出してもよい。また、機械音選択部６６は、周囲の音源環境に応じて、推定機械音スペクトルＺをｋ倍（０＜ｋ＜１）し、当該ｋ倍されたＺを、機械音低減部６４で用いる機械音スペクトルとして用いてもよい。
【０３５０】
また、機械音選択部６６で選択する平均機械音スペクトルＴｚは、上記第４〜第６の実施形態のように、個々のデジタルカメラ１における機械音スペクトルの学習によって得たもの（動的に変化するテンプレート）ではなく、事前に測定した平均機械音スペクトルのテンプレート（固定的なテンプレート）を使用してもよい。
【０３５１】
＜７．まとめ＞
以上、本発明の好適な実施形態に係る音声信号処理装置及び方法について詳細に説明した。本実施形態によれば、デジタルカメラ１による動画及び音声の記録中に、２つのステレオマイクロホン５１、５２から入力される音声信号を利用して、外部音声スペクトルに含まれる機械音スペクトルを正確に推定し、外部音声から機械音を適切に除去できる。
【０３５２】
従って、本実施形態では、従来のような機械音スペクトルのテンプレートを利用しなくとも、機械音を除去することが可能となる。これにより、従来のような多数のカメラを用いて機械音を測定して、当該テンプレートを作成するための調整コストを削減できる。
【０３５３】
さらに、個々のデジタルカメラ１において、機械音が発生する撮像動作ごとに動的に機械音スペクトルを推定して除去するので、デジタルカメラ１の個体差による機械音のばらつきが存在しても、所望の低減効果を得ることができる。また、録音中は常に、機械音スペクトルを推定するので、駆動装置１４の動作中の機械音の時間変化にも追従できる。
【０３５４】
また、機械音補正部６３により、実際の機械音スペクトルに合うように推定機械音スペクトルを補正することで、機械音の過剰推定や過小推定がない。よって、機械音低減部６４による機械音の消しすぎや、消し残しを防止できるので、所望音の音質劣化を低減できる。
【０３５５】
また、機械音選択部６６により、カメラ周囲の音環境（音源環境）に応じて、機械音発声時に動的に推定される推定機械音スペクトルＺと、機械音発生前に予め得られた平均機械音スペクトルＴｚとを使い分ける。例えば、賑やかな雑踏のような多数の音源があり、機械音が所望音に埋もれるような音源環境下では、平均機械音スペクトルＴｚを使用することで、機械音の過剰推定による所望音の劣化を防止できる。一方、音源数が少なく、機械音が目立つような音源環境下では、上記推定機械音スペクトルＺを使用することで、個々の装置ごと動作ごとに機械音を高精度で推定して、所望音から適切に低減することができる。
【０３５６】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０３５７】
例えば、上記実施形態では、音声信号処理装置としてデジタルカメラ１を例示し、動画撮像と共に録音する時に機械音を低減する例について説明したが、本発明はかかる例に限定されない。本発明の音声信号処理装置は、録音機能を有する機器であれば、任意の機器に適用できる。音声信号処理装置は、例えば、記録再生装置（例えば、ブルーレイディスク／ＤＶＤレコーダ）、テレビジョン受像器、システムステレオ装置、撮像装置（例えば、デジタルカメラ、デジタルビデオカメラ）、携帯端末（例えば、携帯型音楽／映像プレーヤ、携帯型ゲーム機、ＩＣレコーダ）、パーソナルコンピュータ、ゲーム機、カーナビゲーション装置、デジタルフォトフレーム、家庭電化製品、自動販売機、ＡＴＭ、キオスク端末など、任意の電子機器に適用できる。
【符号の説明】
【０３５８】
１ デジタルカメラ
２ 筐体
３ レンズ部
１４ 駆動装置
１５ ズームモータ
１６ フォーカスモータ
５１、５２ マイクロホン
６０ 音声処理部
６１、６１Ｌ、６１Ｒ 周波数変換部
６２ 機械音推定部
６３、６３Ｌ、６３Ｒ 機械音補正部
６４、６４Ｌ、６４Ｒ 機械音低減部
６５、６５Ｌ、６５Ｒ 時間変換部
６６、６６Ｌ、６６Ｒ 機械音選択部
６２１、６３１、６６１ 記憶部
６２２、６３２、６４２、６６２ 演算部
６４１ 抑圧値算出部
６６３ 選択部
７０ 制御部
【特許請求の範囲】
【請求項１】
音声を収音して第１の音声信号を出力する第１のマイクロホンと、
前記音声を収音して第２の音声信号を出力する第２のマイクロホンと、
前記第１の音声信号を第１の音声スペクトル信号に変換する第１の周波数変換部と、
前記第２の音声信号を第２の音声スペクトル信号に変換する第２の周波数変換部と、
作動音を発生する発音体と前記第１及び第２のマイクロホンとの相対位置関係に基づいて、前記第１及び第２の音声スペクトル信号を演算することにより、前記作動音を表す作動音スペクトル信号を推定する作動音推定部と、
前記第１及び第２の音声スペクトル信号から、前記推定された作動音スペクトル信号を低減する作動音低減部と、
を備える、音声信号処理装置。
【請求項２】
前記発音体は、駆動装置であり、
前記作動音は、前記駆動装置の動作時に発生する機械音であり、
前記作動音推定部は、前記作動音スペクトル信号として、前記機械音を表す機械音スペクトル信号を推定する、請求項１に記載の音声信号処理装置。
【請求項３】
前記作動音推定部は、前記駆動装置の方向以外から前記第１及び第２のマイクロホンに到来する音声成分を減衰させるように、前記第１及び第２の音声スペクトル信号を演算することにより、前記機械音スペクトル信号を前記駆動装置の動作中に動的に推定する、請求項２に記載の音声信号処理装置。
【請求項４】
前記第１又は第２の音声スペクトル信号の周波数成分ごとに、前記駆動装置の動作開始前後における前記第１又は第２の音声スペクトル信号の周波数特性の差分に基づいて、前記推定された機械音スペクトル信号を補正する機械音補正部をさらに備える、請求項２又は３に記載の音声信号処理装置。
【請求項５】
前記機械音補正部は、
前記第１の音声スペクトル信号の周波数成分ごとに、前記駆動装置の動作開始前後における前記第１の音声スペクトル信号の周波数特性の差分に基づいて、第１の補正係数を算出する第１の機械音補正部と、
前記第２の音声スペクトル信号の周波数成分ごとに、前記駆動装置の動作開始前後における前記第２の音声スペクトル信号の周波数特性の差分に基づいて、第２の補正係数を算出する第２の機械音補正部と、
を含み、
前記作動音低減部は、
前記推定された機械音スペクトル信号に前記第１の補正係数を乗算した信号を、前記第１の音声スペクトル信号から低減する第１の機械音低減部と、
前記推定された機械音スペクトル信号に前記第２の補正係数を乗算した信号を、前記第２の音声スペクトル信号から低減する第２の機械音低減部と、
を含む、請求項４に記載の音声信号処理装置。
【請求項６】
前記機械音補正部は、
前記駆動装置が動作する度に、前記駆動装置の動作開始前後における前記第１又は第２の音声スペクトル信号の周波数特性の差分に基づいて、前記推定された機械音スペクトル信号を補正するための補正係数を更新する、請求項４又は５に記載の音声信号処理装置。
【請求項７】
前記駆動装置が動作したときに、前記駆動装置の動作開始前後における前記第１又は第２の音声スペクトル信号の周波数特性の比較結果、及び、前記駆動装置の動作中における前記第１又は第２の音声スペクトル信号の周波数特性の比較結果に基づいて、前記駆動装置の動作開始前後における前記音声の変化度を判定し、
前記音声の変化度に応じて、前記補正係数を更新するか否かを判断し、
前記補正係数を更新すると判断した場合にのみ、前記差分に基づいて前記補正係数を更新する、請求項６に記載の音声信号処理装置。
【請求項８】
前記機械音補正部は、
前記駆動装置が動作したときに、前記第１若しくは第２の音声信号のレベル又は音声スペクトル信号のレベルに応じて、前記差分に基づく前記補正係数の更新量を制御する、請求項６又は７に記載の音声信号処理装置。
【請求項９】
前記機械音の平均的なスペクトルを表す平均機械音スペクトル信号を記憶する記憶部と、
前記音声信号処理装置の周囲の音源環境に応じて、前記推定された機械音スペクトル信号又は前記平均機械音スペクトル信号のうちのいずれか一方を選択する機械音選択部をさらに備え、
前記作動音低減部は、
前記第１及び第２の音声スペクトル信号から、前記機械音選択部により選択された機械音スペクトル信号を低減する、請求項２〜８のいずれか一項に記載の音声信号処理装置。
【請求項１０】
前記機械音選択部は、前記第１若しくは第２の音声信号のレベルに基づいて、前記音声信号処理装置の周囲の音源環境を表す特徴量を算出し、前記特徴量に基づいて、前記推定された機械音スペクトル信号又は前記平均機械音スペクトル信号のうちのいずれか一方を選択する、請求項９に記載の音声信号処理装置。
【請求項１１】
前記機械音選択部は、前記第１の音声スペクトル信号と前記第２の音声スペクトル信号の相関関係に基づいて、前記音声信号処理装置の周囲の音源環境を表す特徴量を算出し、前記特徴量に基づいて、前記推定された機械音スペクトル信号又は前記平均機械音スペクトル信号のうちのいずれか一方を選択する、請求項９に記載の音声信号処理装置。
【請求項１２】
前記機械音選択部は、前記推定された機械音スペクトル信号のレベルに基づいて、前記音声信号処理装置の周囲の音源環境を表す特徴量を算出し、前記特徴量に基づいて、前記推定された機械音スペクトル信号又は前記平均機械音スペクトル信号のうちのいずれか一方を選択する、請求項９に記載の音声信号処理装置。
【請求項１３】
前記音声信号処理装置は、動画の撮像中に前記動画とともに前記音声を記録する機能を有する撮像装置に設けられ、
前記駆動装置は、前記撮像装置の筐体内に設けられ、前記撮像装置の撮像光学系を機械的に移動させるモータである、請求項２〜１２のいずれか一項に記載の音声信号処理装置。
【請求項１４】
音声を収音する第１のマイクロホンから出力される第１の音声信号を第１の音声スペクトル信号に変換するとともに、前記音声を収音する第２のマイクロホンから出力される第２の音声信号を第２の音声スペクトル信号に変換するステップと、
作動音を発生する発音体と、前記第１及び第２のマイクロホンとの相対位置関係に基づいて、前記第１及び第２の音声スペクトル信号を演算することにより、前記作動音を表す作動音スペクトル信号を推定するステップと、
前記第１及び第２の音声スペクトル信号から、前記推定された作動音スペクトル信号を低減するステップと、
を含む、音声信号処理方法。
【請求項１５】
コンピュータに、
音声を収音する第１のマイクロホンから出力される第１の音声信号を第１の音声スペクトル信号に変換するとともに、前記音声を収音する第２のマイクロホンから出力される第２の音声信号を第２の音声スペクトル信号に変換するステップと、
作動音を発生する発音体と、前記第１及び第２のマイクロホンとの相対位置関係に基づいて、前記第１及び第２の音声スペクトル信号を演算することにより、前記作動音を表す作動音スペクトル信号を推定するステップと、
前記第１及び第２の音声スペクトル信号から、前記推定された作動音スペクトル信号を低減するステップと、
を実行させるためのプログラム。
【請求項１】
音声を収音して第１の音声信号を出力する第１のマイクロホンと、
前記音声を収音して第２の音声信号を出力する第２のマイクロホンと、
前記第１の音声信号を第１の音声スペクトル信号に変換する第１の周波数変換部と、
前記第２の音声信号を第２の音声スペクトル信号に変換する第２の周波数変換部と、
作動音を発生する発音体と前記第１及び第２のマイクロホンとの相対位置関係に基づいて、前記第１及び第２の音声スペクトル信号を演算することにより、前記作動音を表す作動音スペクトル信号を推定する作動音推定部と、
前記第１及び第２の音声スペクトル信号から、前記推定された作動音スペクトル信号を低減する作動音低減部と、
を備える、音声信号処理装置。
【請求項２】
前記発音体は、駆動装置であり、
前記作動音は、前記駆動装置の動作時に発生する機械音であり、
前記作動音推定部は、前記作動音スペクトル信号として、前記機械音を表す機械音スペクトル信号を推定する、請求項１に記載の音声信号処理装置。
【請求項３】
前記作動音推定部は、前記駆動装置の方向以外から前記第１及び第２のマイクロホンに到来する音声成分を減衰させるように、前記第１及び第２の音声スペクトル信号を演算することにより、前記機械音スペクトル信号を前記駆動装置の動作中に動的に推定する、請求項２に記載の音声信号処理装置。
【請求項４】
前記第１又は第２の音声スペクトル信号の周波数成分ごとに、前記駆動装置の動作開始前後における前記第１又は第２の音声スペクトル信号の周波数特性の差分に基づいて、前記推定された機械音スペクトル信号を補正する機械音補正部をさらに備える、請求項２又は３に記載の音声信号処理装置。
【請求項５】
前記機械音補正部は、
前記第１の音声スペクトル信号の周波数成分ごとに、前記駆動装置の動作開始前後における前記第１の音声スペクトル信号の周波数特性の差分に基づいて、第１の補正係数を算出する第１の機械音補正部と、
前記第２の音声スペクトル信号の周波数成分ごとに、前記駆動装置の動作開始前後における前記第２の音声スペクトル信号の周波数特性の差分に基づいて、第２の補正係数を算出する第２の機械音補正部と、
を含み、
前記作動音低減部は、
前記推定された機械音スペクトル信号に前記第１の補正係数を乗算した信号を、前記第１の音声スペクトル信号から低減する第１の機械音低減部と、
前記推定された機械音スペクトル信号に前記第２の補正係数を乗算した信号を、前記第２の音声スペクトル信号から低減する第２の機械音低減部と、
を含む、請求項４に記載の音声信号処理装置。
【請求項６】
前記機械音補正部は、
前記駆動装置が動作する度に、前記駆動装置の動作開始前後における前記第１又は第２の音声スペクトル信号の周波数特性の差分に基づいて、前記推定された機械音スペクトル信号を補正するための補正係数を更新する、請求項４又は５に記載の音声信号処理装置。
【請求項７】
前記駆動装置が動作したときに、前記駆動装置の動作開始前後における前記第１又は第２の音声スペクトル信号の周波数特性の比較結果、及び、前記駆動装置の動作中における前記第１又は第２の音声スペクトル信号の周波数特性の比較結果に基づいて、前記駆動装置の動作開始前後における前記音声の変化度を判定し、
前記音声の変化度に応じて、前記補正係数を更新するか否かを判断し、
前記補正係数を更新すると判断した場合にのみ、前記差分に基づいて前記補正係数を更新する、請求項６に記載の音声信号処理装置。
【請求項８】
前記機械音補正部は、
前記駆動装置が動作したときに、前記第１若しくは第２の音声信号のレベル又は音声スペクトル信号のレベルに応じて、前記差分に基づく前記補正係数の更新量を制御する、請求項６又は７に記載の音声信号処理装置。
【請求項９】
前記機械音の平均的なスペクトルを表す平均機械音スペクトル信号を記憶する記憶部と、
前記音声信号処理装置の周囲の音源環境に応じて、前記推定された機械音スペクトル信号又は前記平均機械音スペクトル信号のうちのいずれか一方を選択する機械音選択部をさらに備え、
前記作動音低減部は、
前記第１及び第２の音声スペクトル信号から、前記機械音選択部により選択された機械音スペクトル信号を低減する、請求項２〜８のいずれか一項に記載の音声信号処理装置。
【請求項１０】
前記機械音選択部は、前記第１若しくは第２の音声信号のレベルに基づいて、前記音声信号処理装置の周囲の音源環境を表す特徴量を算出し、前記特徴量に基づいて、前記推定された機械音スペクトル信号又は前記平均機械音スペクトル信号のうちのいずれか一方を選択する、請求項９に記載の音声信号処理装置。
【請求項１１】
前記機械音選択部は、前記第１の音声スペクトル信号と前記第２の音声スペクトル信号の相関関係に基づいて、前記音声信号処理装置の周囲の音源環境を表す特徴量を算出し、前記特徴量に基づいて、前記推定された機械音スペクトル信号又は前記平均機械音スペクトル信号のうちのいずれか一方を選択する、請求項９に記載の音声信号処理装置。
【請求項１２】
前記機械音選択部は、前記推定された機械音スペクトル信号のレベルに基づいて、前記音声信号処理装置の周囲の音源環境を表す特徴量を算出し、前記特徴量に基づいて、前記推定された機械音スペクトル信号又は前記平均機械音スペクトル信号のうちのいずれか一方を選択する、請求項９に記載の音声信号処理装置。
【請求項１３】
前記音声信号処理装置は、動画の撮像中に前記動画とともに前記音声を記録する機能を有する撮像装置に設けられ、
前記駆動装置は、前記撮像装置の筐体内に設けられ、前記撮像装置の撮像光学系を機械的に移動させるモータである、請求項２〜１２のいずれか一項に記載の音声信号処理装置。
【請求項１４】
音声を収音する第１のマイクロホンから出力される第１の音声信号を第１の音声スペクトル信号に変換するとともに、前記音声を収音する第２のマイクロホンから出力される第２の音声信号を第２の音声スペクトル信号に変換するステップと、
作動音を発生する発音体と、前記第１及び第２のマイクロホンとの相対位置関係に基づいて、前記第１及び第２の音声スペクトル信号を演算することにより、前記作動音を表す作動音スペクトル信号を推定するステップと、
前記第１及び第２の音声スペクトル信号から、前記推定された作動音スペクトル信号を低減するステップと、
を含む、音声信号処理方法。
【請求項１５】
コンピュータに、
音声を収音する第１のマイクロホンから出力される第１の音声信号を第１の音声スペクトル信号に変換するとともに、前記音声を収音する第２のマイクロホンから出力される第２の音声信号を第２の音声スペクトル信号に変換するステップと、
作動音を発生する発音体と、前記第１及び第２のマイクロホンとの相対位置関係に基づいて、前記第１及び第２の音声スペクトル信号を演算することにより、前記作動音を表す作動音スペクトル信号を推定するステップと、
前記第１及び第２の音声スペクトル信号から、前記推定された作動音スペクトル信号を低減するステップと、
を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【公開番号】特開２０１２−１４２７４５（Ｐ２０１２−１４２７４５Ａ）
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願番号】特願２０１０−２９３３０５（Ｐ２０１０−２９３３０５）
【出願日】平成２２年１２月２８日（２０１０．１２．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願日】平成２２年１２月２８日（２０１０．１２．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]