音声信号処理装置、及びその制御方法
【課題】音声に含まれる雑音をスペクトル減算により低減する際に、必要以上に多くのスペクトルを減算してしまう可能性を低減する。
【解決手段】複数の駆動部を備える音声信号処理装置であって、前記音声信号処理装置の周囲の音声から音声信号を生成する生成手段と、前記音声信号に含まれる前記複数の駆動部の動作に伴う駆動音を低減するために、前記音声信号の周波数スペクトルに対してスペクトル減算を適用する減算手段と、を備え、前記減算手段は、前記複数の駆動部が同時に動作している場合、周波数毎に、前記音声信号の周波数成分から、前記複数の駆動部それぞれの動作に伴う複数の駆動音それぞれの周波数成分の最大値を減算することを特徴とする音声信号処理装置を提供する。
【解決手段】複数の駆動部を備える音声信号処理装置であって、前記音声信号処理装置の周囲の音声から音声信号を生成する生成手段と、前記音声信号に含まれる前記複数の駆動部の動作に伴う駆動音を低減するために、前記音声信号の周波数スペクトルに対してスペクトル減算を適用する減算手段と、を備え、前記減算手段は、前記複数の駆動部が同時に動作している場合、周波数毎に、前記音声信号の周波数成分から、前記複数の駆動部それぞれの動作に伴う複数の駆動音それぞれの周波数成分の最大値を減算することを特徴とする音声信号処理装置を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号処理装置、及びその制御方法に関する。
【背景技術】
【０００２】
近年、音声信号処理装置として、カメラ等の動画撮影可能な撮影装置が知られている。このような撮影装置を用いて音声付の動画を撮影する場合、撮影装置内部の駆動部の駆動による駆動音（雑音）の影響を抑制することが望まれる。
【０００３】
駆動音の影響を抑制する技術として、特許文献１が知られている。特許文献１には、撮影操作に伴って発生する駆動雑音をスペクトル減算によって除去する方法が開示されている。特許文献１の方法によれば、複数の駆動部が同時に駆動される場合、マイクロフォンから入力された音声のスペクトルから、各駆動部の駆動音を表す予め得られた各スペクトルが減算される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２７９１８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、各駆動部の駆動音の位相は必ずしも一致しておらず、各駆動音が相互に干渉して打ち消しあう場合もある。従って、各駆動部の駆動音を表す各スペクトルを単純に減算した場合、マイクロフォンから入力された音声のスペクトルから必要以上に多くのスペクトルを減算してしまい、音声に歪みが生じる可能性がある。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、音声に含まれる雑音をスペクトル減算により低減する際に、必要以上に多くのスペクトルを減算してしまう可能性を低減することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、第１の本発明は、複数の駆動部を備える音声信号処理装置であって、前記音声信号処理装置の周囲の音声から音声信号を生成する生成手段と、前記音声信号に含まれる前記複数の駆動部の動作に伴う駆動音を低減するために、前記音声信号の周波数スペクトルに対してスペクトル減算を適用する減算手段と、を備え、前記減算手段は、前記複数の駆動部が同時に動作している場合、周波数毎に、前記音声信号の周波数成分から、前記複数の駆動部それぞれの動作に伴う複数の駆動音それぞれの周波数成分の最大値を減算することを特徴とする音声信号処理装置を提供する。
【０００８】
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
【発明の効果】
【０００９】
以上の構成により、本発明によれば、音声に含まれる雑音をスペクトル減算により低減する際に、必要以上に多くのスペクトルを減算してしまう可能性を低減することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】（ａ）は本発明の音声信号処理装置の一例である、レンズ２を装着した撮影装置１の斜視図、（ｂ）は撮影装置１及びレンズ２の断面図である。
【図２】撮影装置１及びレンズ２の電気的構成を示すブロック図である。
【図３】音声処理回路２６の詳細な構成を示すブロック図である。
【図４】雑音処理部４４の詳細な構成を示すブロック図である。
【図５】撮影装置１の動作シーケンス図である。
【図６】駆動音の、ある周波数成分を抜き出した波形を模式的に示す図であり、（ａ）は２つの駆動音の位相が揃っている場合を示し、（ｂ）は２つの駆動音の位相がずれている場合を示す図である。
【図７】撮影装置１のマイク７が生成する音声信号のスペクトルの模式図である。
【図８】複数の駆動音間のゲイン比と合成波のゲインとの関係を示す図である。
【図９】２つの駆動音の合成スペクトルの模式図であり、（ａ）は単純な加算により合成スペクトルを生成する場合を、（ｂ）は数５に従って合成スペクトルを得る場合を、（ｃ）は２つの駆動音の周波数成分のうちの大きいほうを合成スペクトルとする場合を示す図である。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。
【００１２】
［第１の実施形態］
図１（ａ）は、本発明の音声信号処理装置の一例である、レンズ２を装着した撮影装置１の斜視図である。撮影装置１はマイク７（図１（ｂ）参照）を備えており、画像の取得と同時に、音声を取得して記録することができる。図１（ａ）において、４はレンズ２の光軸を、３０はレリーズ釦を、３１は操作釦を、３２はマイク７のための開口部を、それぞれ示す。
【００１３】
図１（ｂ）は、撮影装置１及びレンズ２の断面図である。図１（ｂ）において、図１（ａ）と同一又は同様の構成要素には同一の符号を付し、説明を省略する。図１（ｂ）において、３は撮影光学系を、５はレンズ鏡筒を、６は撮影光学系３からの入射光を光電変換して画像データを生成する撮像手段としての撮像素子を、７はマイクを、８は撮影装置１の背面に設けられた表示装置を、それぞれ示す。また、９は撮影光学系３の調整のための駆動部を、１０は撮影装置１とレンズ２とを接続する接点を、１１は所謂クイックリターンミラー機構を、１２はＡＦセンサを含む焦点検出部を、１４はブレセンサを、それぞれ示す。ブレセンサ１４は、例えば、加速度センサなどからなり、本実施例では、ユーザの手のブレによってカメラが振動するのを検知するため、ブレセンサ１４と呼称する。
【００１４】
撮影装置１には、図１（ａ）に示したように複数のマイクの開口部３２が、図１（ｂ）の断面には投影されない箇所に設けられている。しかしながら、マイク７と開口部３２の存在を明確にするために、図１（ｂ）においてはこれらを模式的に示している。
【００１５】
ここで、静止画の撮影動作について説明する。撮影装置１は、レンズ２、焦点検出部１２、及び露出検出部（不図示）を用いて、焦点検出及び露出検出を行う。撮影装置１はまた、撮影光学系３の一部を駆動して、撮影光学系３の調整によって像を撮像素子６の近傍に結像させる。撮影装置１は更に、適正な露光になるように絞りを動作させる。詳細な動作は図２のブロック図を参照して後述。撮影装置１は更に、ユーザによる操作釦３１等の操作に従って撮影の各種条件設定を行い、レリーズ釦３０の操作と同期させて撮像素子６より被写体の情報を得て、メモリ２４（図２参照）へ記録を行う。
【００１６】
次に動画の撮影動作について説明する。動画の撮影に先立って、ライブビュー釦（不図示）を押すことにより、撮像素子６の画像が表示装置８に表示される。なお、撮像素子６で取得した画像を、表示装置８にリアルタイムで表示することを「ライブビュー」と呼ぶ。撮影装置１は動画撮影釦（不図示）の操作と同期させて、撮像素子６より被写体の情報を設定されたフレームレートで得ると共に、マイク７から音声信号を得て、これらを同期させてメモリ２４へ記録を行う。動画撮影中に撮影光学系３の調整が必要となった場合、撮影装置１は適宜、駆動部９を用いて撮影光学系３の調整を行う。撮影装置１は、動画撮影釦の操作と同期させて撮影を終了する。また、撮影装置１は、動画撮影中においても、レリーズ釦３０を操作することでいつでも静止画撮影が可能である。
【００１７】
図２は、撮影装置１及びレンズ２の電気的構成を示すブロック図である。レンズ２を装着した撮影装置１は、撮像系、画像処理系、音声処理系、記録再生系、及び制御系を有する。撮像系は、撮影光学系３及び撮像素子６を含み、画像処理系は、Ａ／Ｄ変換器２０及び画像処理回路２１を含み、音声処理系は、マイク７及び音声処理回路２６を含み、記録再生系は、記録処理回路２３及びメモリ２４を含む。制御系は、カメラシステム制御回路２５、ＡＦセンサ含む焦点検出部１２、ＡＥセンサ含む露出検出部１３、ブレセンサ１４、操作検出回路２７、レンズシステム制御回路２８、レリーズ釦３０、及び駆動部９を含む。駆動部９は、焦点レンズ駆動部９ａ、ブレ補正駆動部９ｂ、及び絞り駆動部９ｃを含み、それぞれ、レンズ２に含まれる焦点レンズ、ブレ補正レンズ、及び絞りを駆動する。ブレ補正駆動部９ｂは、ブレセンサ１４により検出された撮像装置１の振動によって、光学像がぶれないように、レンズを移動させる駆動を行う。
【００１８】
駆動部の例として焦点レンズ駆動部９ａ、ブレ補正駆動部９ｂ、及び絞り駆動部９ｃを挙げたが、本実施形態はこれに限定されない。本発明の音声信号処理装置としての、レンズ２を装着した撮影装置１は、どのような駆動部であれ、複数の駆動部を備えればよい。
【００１９】
撮像系は、物体からの光を、撮影光学系３を介して撮像素子６の撮像面に結像する光学処理系である。エイミングなどの撮影予備動作中は、クイックリターンミラー機構１１に設けられたミラーを介して、焦点検出部１２にも光束の一部が導かれる。また、後述するように制御系によって適切に撮影光学系３が調整されることで、適切な光量の物体光を撮像素子６に露光するとともに、撮像素子６の近傍で被写体像が結像する。
【００２０】
画像処理回路２１は、Ａ／Ｄ変換器２０を介して撮像素子６から受けた画像データを処理する信号処理回路であり、ホワイトバランス回路、ガンマ補正回路、補間演算による高解像度化を行う補間演算回路などを有する。
【００２１】
音声処理系は、マイク７が生成した音声信号に対して音声処理回路２６によって適切な処理を施して録音用音声信号を生成する。録音用音声信号は、動画撮影時においては、後述する記録処理部により画像とリンクして圧縮処理される。
【００２２】
記録処理回路２３は、メモリ２４への画像データの出力を行うと共に、表示部２２に出力する像を生成、保存する。また、記録処理回路２３は、予め定められた方法を用いて画像、動画、音声などの圧縮を行う。
【００２３】
カメラシステム制御回路２５は、撮像の際のタイミング信号などを生成して出力する。焦点検出部１２は、撮影装置１のピント状態を検出する。露出検出部１３は、撮像素子６の信号を処理することで被写体の輝度を検出する。レンズシステム制御回路２８は、カメラシステム制御回路２５の信号に応じて適切にレンズ２を駆動させて撮影光学系３の調整を行う。
【００２４】
また、制御系は、外部操作に応答して撮像系、画像処理系、及び記録再生系をそれぞれ制御する。例えば、静止画撮影においては、レリーズ釦３０の押下を操作検出回路２７が検出して、撮像素子６の駆動、画像処理回路２１の動作、記録処理回路２３の圧縮処理などを制御する。また、表示部２２によって光学ファインダー、液晶モニタ等に情報表示を行う情報表示装置の各セグメントの状態を制御する。
【００２５】
制御系による撮影光学系３の調整動作について説明する。カメラシステム制御回路２５には焦点検出部１２及び露出検出部１３が接続されており、静止画撮影においてはこれらの信号を元に適切な焦点位置及び絞り位置を求める。カメラシステム制御回路２５は、電気接点１０を介してレンズシステム制御回路２８に指令を出し、レンズシステム制御回路２８は、焦点レンズ駆動部９ａ及び絞り駆動部９ｃを適切に制御する。一方、動画撮影においては、カメラシステム制御回路２５は、焦点レンズ駆動部９ａにより、焦点レンズを微動させると共に、撮像素子６の信号を解析し、信号のコントラストから焦点位置を求める。更に、カメラシステム制御回路２５は、撮像素子６の信号レベルから絞り位置を求める。
【００２６】
また、レンズシステム制御回路２８にはブレセンサ１４が接続されており、静止画撮影において手ぶれ補正を行うモードでは、ブレセンサ１４の信号を元にブレ補正駆動部９ｂを適切に制御する。一方、動画撮影において手ぶれ補正を行うモードでは、静止画撮影と同様にブレ補正駆動部９ｂを駆動することも可能であるし、ブレセンサ１４の信号を元に撮像素子６の読み出し位置を変更する所謂電子防振を行うことも可能である。
【００２７】
ここで、動画撮影などの音声記録を伴う撮影について考える。音声記録を伴う撮影においては、撮影装置１及びレンズ２のアクチュエータ駆動に伴う音（以下「メカ駆動音」）は不要な音であり雑音となる。本明細書において「雑音」とは、ホワイトノイズのような背景雑音ではなく、この「メカ駆動音」を指す。
【００２８】
図３は、音声処理回路２６の詳細な構成を示すブロック図である。図３において、図２と同一又は同様の構成要素には同一の符号を付し、説明を省略する。図３において、４１はゲイン調整部を、４２はフィルタを、４３はＡ／Ｄ変換器を、４４は雑音処理部を、４５はフィルタを、それぞれ示す。
【００２９】
マイク７は、撮影装置１の周囲の音声から音声信号を生成し、生成された音声信号はゲイン調整部４１に供給される。ゲイン調整部４１は、Ａ／Ｄ変換器４３のダイナミックレンジが十分に活用できるようにマイク７の信号レベルを調整する。つまり、マイク７の信号レベルが小さいときはゲインアップして信号を増幅し、マイク７の信号レベルが大きいときはゲインを下げて飽和を防ぐ。フィルタ４２はＡ／Ｄ変換器４３のサンプリング周波数を考慮した適切なカットオフ周波数を持つ低域通過フィルタなどで構成される。マイク７が特定の周波数を発する素子の近傍にある場合などは、フィルタ４２は、低域通過フィルタに加えて適当なノッチフィルタを含む場合もある。Ａ／Ｄ変換器４３は、ゲイン調整部４１及びフィルタ４２で処理されたアナログ信号をデジタル信号に変換する。
【００３０】
雑音処理部４４は、減算手段として機能し、音声信号に対してスペクトル減算法（ＳＳ法）によるスペクトル減算処理（ＳＳ処理）を適用する。ＳＳは、Ｓｐｅｃｔｒａｌ Ｓｕｂｔｒａｃｔｉｏｎの省略形である。
【００３１】
ここで、ＳＳ処理について説明する。予め雑音スペクトル（本明細書では、雑音をフーリエ変換するなどして得たスペクトルを雑音スペクトルと呼ぶ）を用意しておき、取得した音声信号のスペクトルから雑音スペクトルを減算する。本実施形態では、雑音スペクトルは、予め同定して撮影装置１内のメモリ２４などの記憶手段に記憶されているものとする。なお、本明細書において、特に断らない限り、「スペクトル」は「周波数スペクトル」を意味する。
【００３２】
ＳＳ法は、雑音が加算的に被写体音に混入していると仮定しており、これを式で表すと
【００３３】
【数１】
【００３４】
となる。但し、ｘ（ｔ）は取得した音声を、ｓ（ｔ）は被写体音を、ｎ（ｔ）は雑音を、ｔは時間を、それぞれ示す。数１をフーリエ変換すると、
【００３５】
【数２】
【００３６】
となる。但し、Ｘ（ω）、Ｓ（ω）、Ｎ（ω）はそれぞれ、ｘ（ｔ）、ｓ（ｔ）、ｎ（ｔ）をフーリエ変換したものであり、ωは周波数である。撮影装置１においては、適当な窓関数を適用して音声信号をフレーム分割して、順次処理を行うが、ここでは説明の簡潔化のために、特定のフレームに着目して説明を行う。数２を見ると明らかなように、Ｓ（ω）を求めるにはＸ（ω）からＮ（ω）を減算すればよい。そこで、次式が与えられる。
【００３７】
【数３】
【００３８】
但し、Ｎ’（ω）はＮ（ω）の推定値、Ｓ’（ω）はＮ’（ω）を用いて求めたＳ（ω）の推定値、βはフロアリング係数である。∠は複素数の偏角を求める演算を示している。数３から分かるように、スペクトルは予め与えられた雑音スペクトルを利用して減算するが、位相についてはＸ（ω）の値をそのまま用いる。また、フロアリング係数βはＳＳ法による音声のひずみを抑制するために導入される係数である（オリジナルのＳＳ法ではβ＝０である）。数３で示したようにＳＳ法においては、雑音は加算的に作用していると仮定している。しかしながら、実際には位相が反転して加算された結果、音声信号の中で複数の雑音が相互に弱めあっている場合も有る。このため、Ｘ（ω）からＮ’（ω）を減算した値が負になることがある。そこで、ＳＳ法ではβよりも小さいときはβとなる様に処理する。
【００３９】
最後に、Ｓ’（ω）を逆フーリエ変換してｓ’（ｔ）を得てこれをＳＳ処理後の音声とする。
【００４０】
ＳＳ法を適当に実施するためには、事前に推定された雑音スペクトルが、実際に取得された雑音と近いことが重要である。雑音スペクトルが適切ではない場合には、過小減算や過剰減算という結果になる。過小減算の場合、雑音の除去が不十分となる。一方、過剰減算の場合には、スペクトル領域で孤立峰が多く見られ、所謂ミュージカルノイズといわれる耳障りな雑音が発生する。
【００４１】
以上に説明したＳＳ処理を図４に模式的に示した。図４において、図２と同一又は同様の構成要素には同一の符号を付し、説明を省略する。図４において、ＦＦＴ４４ａは窓関数処理を含めた高速フーリエ変換処理を、ＩＦＦＴ４４ｃは高速逆フーリエ変換処理を、Ｓ’（ω）推定４４ｂは数３の処理を、それぞれ示している。図４からも明らかなように、ＳＳ法は単一チャンネル信号（モノラル音声）にも適用可能な手法である。一方で、事前に何らかの方法でＮ’（ω）を与える必要がある。図４の例では、雑音スペクトル生成部４４ｄが推定雑音スペクトルＮ’（ω）を生成する。
【００４２】
カメラシステム制御回路２５がメモリ２４から事前推定された雑音スペクトルを取得し、雑音スペクトル生成部４４ｄ内の一時記憶部４４ｆに記憶する。雑音スペクトル生成部４４ｄは、カメラシステム制御回路２５の制御信号に従い、適当に雑音スペクトルの選択や合成（スペクトル合成部４４ｅを利用する）を行って、推定雑音スペクトルＮ’（ω）を生成する。以下、推定雑音スペクトルＮ’（ω）を生成の生成処理について、撮影装置１の動作と併せて詳述する。
【００４３】
カメラシステム制御回路２５は、撮影装置１にレンズ２が装着されたとき、又は電源が投入されたときに、レンズ２内の駆動部９に対応した雑音スペクトルをメモリ２４から取得し雑音スペクトル生成部４４ｄに与える。図２に示した例では、焦点レンズ駆動部９ａ、ブレ補正駆動部９ｂ、及び絞り駆動部９ｃそれぞれの雑音スペクトルが雑音スペクトル生成部４４ｄに供給される。雑音スペクトル生成部４４ｄは、供給された雑音スペクトルを、一時記憶部４４ｆに格納する。
【００４４】
次に、動画撮影前及び撮影中のユーザ操作、及び撮影装置１の内部での処理について、図５を参照して説明する。動画撮影を行う際には、ユーザは、前述したように不図示のライブビュー釦を押下した後に動画撮影釦を操作する。このとき、カメラシステム制御回路２５は、ブレ補正開始を指示するとともに、ピント調整動作を行う。また、動画撮影中にも、ユーザによる適当な操作により、ピント調整動作を再度行うことができる。例えば、レリーズ釦３０を半押し（レリーズ釦３０は２段階のプッシュスイッチであり、その１段階目まで押し込むことを「半押し」と呼ぶ）することで、ピント調整動作が行われる。このときのユーザ操作、ブレ補正駆動、フォーカス駆動の各シーケンスを図５に示した。図５の横軸は時間であり、縦軸は各シーケンスの状態を示している。図５において、ｔ１は、ピント調整動作のためにフォーカス駆動が行われる時間を示している。
【００４５】
動画撮影中に、雑音処理部４４は、各駆動部の駆動状態をカメラシステム制御回路２５から受け取って、図５に示すような雑音処理を行う。即ち、ブレ補正駆動のみが行われているときは、雑音処理部４４は、ブレ補正駆動部９ｂの動作に伴う雑音（駆動音）のみを処理する。一方、ブレ補正駆動とフォーカス駆動とが同時に行われるとき（即ち、複数の駆動部が同時に動作しているとき）には、雑音処理部４４は、ブレ補正駆動部９ｂの動作に伴う雑音及び焦点レンズ駆動部９ａの動作に伴う雑音を併せて処理する。このように、レンズ２を装着した撮影装置１においては、単一の駆動部（雑音源）が動作したり、複数の駆動部（雑音源）が同時に動作したりする。
【００４６】
複数の駆動部が同時に動作している時の駆動音の波形を考える。図６は、駆動音の、ある周波数成分を抜き出した波形を模式的に示す図である。図６において、横軸は時間、縦軸は音圧（音の大きさ）である。図６（ａ）は位相が揃っている場合を示す図であり、図６（ｂ）は適当な量位相がずれている場合を示す図である。図６において、Ｇ１は駆動部１によって発生する音圧の片側振幅を、Ｇ２は駆動部２よって発生する音圧の片側振幅を、Ｇｓは駆動部１と駆動部２の合成波形の片側振幅を、それぞれ示す。図６（ａ）から分かるように、駆動部１と駆動部２の位相が一致した場合には、波は強めあい、Ｇｓ＝Ｇ１＋Ｇ２が成り立つ。このときは、従来技術のスペクトル減算によって駆動音を除去することができる。しかしながら、一般的には各周波数成分において、駆動部１と駆動部２の位相が一致するのは非常に稀な事例となる。多くの場合は、ある周波数成分に着目した場合、駆動部１と駆動部２の位相にはずれがあり、図６（ｂ）の様になる。つまりＧｓ＜Ｇ１＋Ｇ２が一般的な状態である。
【００４７】
図７は、撮影装置１のマイク７が生成する音声信号のスペクトルの模式図である。駆動部１を焦点レンズ駆動部９ａとして、駆動部２をブレ補正駆動部９ｂとして、図７を説明する。特定の周波数ｆ１に注目すると、焦点レンズ駆動部９ａの駆動音とブレ補正駆動部９ｂの駆動音との位相が一致している場合、周波数ｆ１における周波数成分Ｓａから（Ｇ１＋Ｇ２）を減算することにより、雑音を除いた成分Ｓ１が得られる。しかしながら、焦点レンズ駆動部９ａの駆動音とブレ補正駆動部９ｂの駆動音との位相がずれている場合、Ｓａに含まれる駆動音の実際の成分Ｇｓ’は、Ｇｓ’＜Ｇ１＋Ｇ２となる。従って、雑音を除いた実際の音声成分をＳ１’とすると、Ｓａから（Ｇ１＋Ｇ２）を減算した場合、（Ｓ１’−Ｓ１）分の過剰減算が発生する。このような過剰減算を防止するには、次式に従って真のＧｓ（図７ではＧｓ’と表記）を算出する必要がある。
【００４８】
【数４】
【００４９】
ここで、θは駆動部１（焦点レンズ駆動部９ａ）と駆動部２（ブレ補正駆動部９ｂ）の位相差である。数４から明らかなように、θ＝０の時は前述したようにＧｓ＝Ｇ１＋Ｇ２が成り立つ。またθ＝πの時はＧｓ＝｜Ｇ１−Ｇ２｜となる。一般的にはこれらの間になっている。前述したように、レンズ２を装着した撮影装置１の駆動部９が発生する駆動音の情報は事前に知られているので、数４のＧ１及びＧ２は既知である。そのため、Ｇｓを求めるためにはθが分かればよい。
【００５０】
しかしながら、θを取得することは困難なので、数４の期待値を利用する。例えば以下の式を計算すればよい。
【００５１】
【数５】
【００５２】
これにより、複数の駆動音の時間領域における合成信号の片側振幅Ｇｓは、複数の駆動音間の位相差に関する期待値として得られる。
【００５３】
撮影装置１の雑音スペクトル生成部４４ｄは、周波数毎に、数５を解くことに期待値Ｇｓを取得する（他のコンピュータ等で事前に算出してメモリ２４等に格納しておいてもよい）。そして、Ｓ’（ω）推定４４ｂにおいて、周波数毎に、マイク７が生成した音声信号の周波数成分から期待値Ｇｓが減算される。これにより、雑音を低減しつつも必要以上に多くのスペクトルを減算してしまう可能性を低減することができる。
【００５４】
また、期待値Ｇｓを求めるために、ルックアップテーブルを利用することもできる。具体的な方法について図８を用いて説明する。図８は、Ｇ１、Ｇ２のうち大きいほうのゲインを１としたときに、Ｇ１とＧ２の比によってＧｓがどのように変化をするかを示す図である。図８の横軸は、Ｇ１，Ｇ２のうち大きいほうを１としたときの、小さいほうのゲインである。図８の縦軸は、そのときのＧ１に対するＧｓの比（＝Ｇｓ／Ｇ１）である。
【００５５】
即ち、図８のルックアップテーブルは、複数の駆動音それぞれの周波数成分間の比率を入力（横軸）とし、最大の周波数成分に対する期待値Ｇｓの倍率を出力（縦軸）とする。出力である倍率を事前に算出することにより、このルックアップテーブルが生成される。
【００５６】
期待値Ｇｓを求めるためには、例えば、Ｇ１＞Ｇ２の場合にはＧ２／Ｇ１を求める。この時のＧ１に対するＧｓの比を図８のグラフから読み取る。Ｇｓ＝Ｇ１＊（Ｇｓ／Ｇ１）なので、Ｇ１に対して、所定の倍率（図８から読み取った倍率）を乗じることにより、期待値Ｇｓが求められる。このようにすれば、計算量を削減して期待値Ｇｓを求めることができる。
【００５７】
さらに別の方法としては、ＧｓはＧ１とＧ２の大きいほうのみ（即ち、複数の駆動音それぞれの周波数成分の最大値）を音声信号の周波数成分から減算してもよい。式で表すと
【００５８】
【数６】
【００５９】
である。但し、数６でｍａｘ（）は最大値を選択する演算子である。数６は数４においてＧ１＞＞Ｇ２又はＧ１＜＜Ｇ２の場合の近似となっている。駆動部１及び駆動部２から発生する駆動音は一般的には、ホワイトノイズのようなものではなく特定の周波数にピークを持つようなスペクトルを持っている。また、このピークの部分が雑音として大きな割合を占めているのでこの部分を精密に近似したい。駆動部１と駆動部２のピークとそのゲインが一致しない限りピークの部分ではＧ１＞＞Ｇ２又はＧ１＜＜Ｇ２が成り立つ。このため、数６は駆動部１と駆動部２の駆動音の合成波形の良い近似になる。数６の計算は前述のルックアップテーブルを利用する方法の変形とみなすこともできる。即ち、Ｇ１及びＧ２の大きい方に対するＧｓの比を常に１としている場合に等しい。常に１とするために特別な記憶部は必要ない。最大値を利用する場合、ルックアップテーブルを利用する場合に比べて、撮影装置１のメモリ使用量を削減することができ、数５の演算を行う場合に比べて、演算リソースの消費を削減することができる。
【００６０】
本発明の効果について、図９を用いて説明する。図９において横軸は周波数（単位はヘルツで対数軸となっている）、縦軸はゲイン（単位はデシベル）である。図９（ａ）はスペクトル領域での単純な加算を利用して雑音を合成した例を、図９（ｂ）は数５によって雑音を合成した例を、図９（ｃ）は数６によって雑音を合成した例を、それそれ示す。詳細なルックアップテーブルを利用する場合も、図９（ｂ）のようになる。また、ルックアップテーブルの記憶容量を減らして粗くした場合には図９（ｂ）と図９（ｃ）の間程度の結果が得られる（数６のように最大値のみを使って処理するのはルックアップテーブルの出力を全て１とした場合に等しいためである）。
【００６１】
前述したように、駆動部１と駆動部２の位相差が不明な場合は、数５で合成雑音を生成するのが適当と思われる。そのため、図９（ｂ）に示した合成された雑音のスペクトルが適当といえる。その結果、適当なＳＳ処理が施され高品位の音声を得ることが出来る。
【００６２】
図９（ａ）に示したスペクトル領域での加算を用いて雑音スペクトルを見積もった例では、合成された雑音のスペクトルが過剰に見積もられている。その結果、ＳＳ処理において被写体音から過剰な減算が行われミュージカルノイズなどが発生する可能性がある。
【００６３】
一方で、図９（ｃ）に示した最大値を用いて雑音スペクトルを見積もった例では、図９（ｂ）に近い結果が得られており、適当に雑音が処理されることが期待される。特に雑音が大きな音圧を有しているピークの箇所では、ほぼ図９（ｂ）と同じゲインを得ている。その結果、適当なＳＳ処理が施され高品位の音声を得ることが出来る。
【００６４】
以上説明したように、本実施形態によれば、撮影装置１は、位相差に関する期待値の演算や最大値の採用により、複数の駆動音の合成スペクトルを推定し、マイク７が生成した音声信号のスペクトルから、推定された合成スペクトルを減算する。これにより、音声に含まれる雑音をスペクトル減算により低減する際に、必要以上に多くのスペクトルを減算してしまう可能性を低減することが可能となる。
【００６５】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、音声信号処理装置、及びその制御方法に関する。
【背景技術】
【０００２】
近年、音声信号処理装置として、カメラ等の動画撮影可能な撮影装置が知られている。このような撮影装置を用いて音声付の動画を撮影する場合、撮影装置内部の駆動部の駆動による駆動音（雑音）の影響を抑制することが望まれる。
【０００３】
駆動音の影響を抑制する技術として、特許文献１が知られている。特許文献１には、撮影操作に伴って発生する駆動雑音をスペクトル減算によって除去する方法が開示されている。特許文献１の方法によれば、複数の駆動部が同時に駆動される場合、マイクロフォンから入力された音声のスペクトルから、各駆動部の駆動音を表す予め得られた各スペクトルが減算される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２７９１８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、各駆動部の駆動音の位相は必ずしも一致しておらず、各駆動音が相互に干渉して打ち消しあう場合もある。従って、各駆動部の駆動音を表す各スペクトルを単純に減算した場合、マイクロフォンから入力された音声のスペクトルから必要以上に多くのスペクトルを減算してしまい、音声に歪みが生じる可能性がある。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、音声に含まれる雑音をスペクトル減算により低減する際に、必要以上に多くのスペクトルを減算してしまう可能性を低減することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、第１の本発明は、複数の駆動部を備える音声信号処理装置であって、前記音声信号処理装置の周囲の音声から音声信号を生成する生成手段と、前記音声信号に含まれる前記複数の駆動部の動作に伴う駆動音を低減するために、前記音声信号の周波数スペクトルに対してスペクトル減算を適用する減算手段と、を備え、前記減算手段は、前記複数の駆動部が同時に動作している場合、周波数毎に、前記音声信号の周波数成分から、前記複数の駆動部それぞれの動作に伴う複数の駆動音それぞれの周波数成分の最大値を減算することを特徴とする音声信号処理装置を提供する。
【０００８】
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
【発明の効果】
【０００９】
以上の構成により、本発明によれば、音声に含まれる雑音をスペクトル減算により低減する際に、必要以上に多くのスペクトルを減算してしまう可能性を低減することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】（ａ）は本発明の音声信号処理装置の一例である、レンズ２を装着した撮影装置１の斜視図、（ｂ）は撮影装置１及びレンズ２の断面図である。
【図２】撮影装置１及びレンズ２の電気的構成を示すブロック図である。
【図３】音声処理回路２６の詳細な構成を示すブロック図である。
【図４】雑音処理部４４の詳細な構成を示すブロック図である。
【図５】撮影装置１の動作シーケンス図である。
【図６】駆動音の、ある周波数成分を抜き出した波形を模式的に示す図であり、（ａ）は２つの駆動音の位相が揃っている場合を示し、（ｂ）は２つの駆動音の位相がずれている場合を示す図である。
【図７】撮影装置１のマイク７が生成する音声信号のスペクトルの模式図である。
【図８】複数の駆動音間のゲイン比と合成波のゲインとの関係を示す図である。
【図９】２つの駆動音の合成スペクトルの模式図であり、（ａ）は単純な加算により合成スペクトルを生成する場合を、（ｂ）は数５に従って合成スペクトルを得る場合を、（ｃ）は２つの駆動音の周波数成分のうちの大きいほうを合成スペクトルとする場合を示す図である。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。
【００１２】
［第１の実施形態］
図１（ａ）は、本発明の音声信号処理装置の一例である、レンズ２を装着した撮影装置１の斜視図である。撮影装置１はマイク７（図１（ｂ）参照）を備えており、画像の取得と同時に、音声を取得して記録することができる。図１（ａ）において、４はレンズ２の光軸を、３０はレリーズ釦を、３１は操作釦を、３２はマイク７のための開口部を、それぞれ示す。
【００１３】
図１（ｂ）は、撮影装置１及びレンズ２の断面図である。図１（ｂ）において、図１（ａ）と同一又は同様の構成要素には同一の符号を付し、説明を省略する。図１（ｂ）において、３は撮影光学系を、５はレンズ鏡筒を、６は撮影光学系３からの入射光を光電変換して画像データを生成する撮像手段としての撮像素子を、７はマイクを、８は撮影装置１の背面に設けられた表示装置を、それぞれ示す。また、９は撮影光学系３の調整のための駆動部を、１０は撮影装置１とレンズ２とを接続する接点を、１１は所謂クイックリターンミラー機構を、１２はＡＦセンサを含む焦点検出部を、１４はブレセンサを、それぞれ示す。ブレセンサ１４は、例えば、加速度センサなどからなり、本実施例では、ユーザの手のブレによってカメラが振動するのを検知するため、ブレセンサ１４と呼称する。
【００１４】
撮影装置１には、図１（ａ）に示したように複数のマイクの開口部３２が、図１（ｂ）の断面には投影されない箇所に設けられている。しかしながら、マイク７と開口部３２の存在を明確にするために、図１（ｂ）においてはこれらを模式的に示している。
【００１５】
ここで、静止画の撮影動作について説明する。撮影装置１は、レンズ２、焦点検出部１２、及び露出検出部（不図示）を用いて、焦点検出及び露出検出を行う。撮影装置１はまた、撮影光学系３の一部を駆動して、撮影光学系３の調整によって像を撮像素子６の近傍に結像させる。撮影装置１は更に、適正な露光になるように絞りを動作させる。詳細な動作は図２のブロック図を参照して後述。撮影装置１は更に、ユーザによる操作釦３１等の操作に従って撮影の各種条件設定を行い、レリーズ釦３０の操作と同期させて撮像素子６より被写体の情報を得て、メモリ２４（図２参照）へ記録を行う。
【００１６】
次に動画の撮影動作について説明する。動画の撮影に先立って、ライブビュー釦（不図示）を押すことにより、撮像素子６の画像が表示装置８に表示される。なお、撮像素子６で取得した画像を、表示装置８にリアルタイムで表示することを「ライブビュー」と呼ぶ。撮影装置１は動画撮影釦（不図示）の操作と同期させて、撮像素子６より被写体の情報を設定されたフレームレートで得ると共に、マイク７から音声信号を得て、これらを同期させてメモリ２４へ記録を行う。動画撮影中に撮影光学系３の調整が必要となった場合、撮影装置１は適宜、駆動部９を用いて撮影光学系３の調整を行う。撮影装置１は、動画撮影釦の操作と同期させて撮影を終了する。また、撮影装置１は、動画撮影中においても、レリーズ釦３０を操作することでいつでも静止画撮影が可能である。
【００１７】
図２は、撮影装置１及びレンズ２の電気的構成を示すブロック図である。レンズ２を装着した撮影装置１は、撮像系、画像処理系、音声処理系、記録再生系、及び制御系を有する。撮像系は、撮影光学系３及び撮像素子６を含み、画像処理系は、Ａ／Ｄ変換器２０及び画像処理回路２１を含み、音声処理系は、マイク７及び音声処理回路２６を含み、記録再生系は、記録処理回路２３及びメモリ２４を含む。制御系は、カメラシステム制御回路２５、ＡＦセンサ含む焦点検出部１２、ＡＥセンサ含む露出検出部１３、ブレセンサ１４、操作検出回路２７、レンズシステム制御回路２８、レリーズ釦３０、及び駆動部９を含む。駆動部９は、焦点レンズ駆動部９ａ、ブレ補正駆動部９ｂ、及び絞り駆動部９ｃを含み、それぞれ、レンズ２に含まれる焦点レンズ、ブレ補正レンズ、及び絞りを駆動する。ブレ補正駆動部９ｂは、ブレセンサ１４により検出された撮像装置１の振動によって、光学像がぶれないように、レンズを移動させる駆動を行う。
【００１８】
駆動部の例として焦点レンズ駆動部９ａ、ブレ補正駆動部９ｂ、及び絞り駆動部９ｃを挙げたが、本実施形態はこれに限定されない。本発明の音声信号処理装置としての、レンズ２を装着した撮影装置１は、どのような駆動部であれ、複数の駆動部を備えればよい。
【００１９】
撮像系は、物体からの光を、撮影光学系３を介して撮像素子６の撮像面に結像する光学処理系である。エイミングなどの撮影予備動作中は、クイックリターンミラー機構１１に設けられたミラーを介して、焦点検出部１２にも光束の一部が導かれる。また、後述するように制御系によって適切に撮影光学系３が調整されることで、適切な光量の物体光を撮像素子６に露光するとともに、撮像素子６の近傍で被写体像が結像する。
【００２０】
画像処理回路２１は、Ａ／Ｄ変換器２０を介して撮像素子６から受けた画像データを処理する信号処理回路であり、ホワイトバランス回路、ガンマ補正回路、補間演算による高解像度化を行う補間演算回路などを有する。
【００２１】
音声処理系は、マイク７が生成した音声信号に対して音声処理回路２６によって適切な処理を施して録音用音声信号を生成する。録音用音声信号は、動画撮影時においては、後述する記録処理部により画像とリンクして圧縮処理される。
【００２２】
記録処理回路２３は、メモリ２４への画像データの出力を行うと共に、表示部２２に出力する像を生成、保存する。また、記録処理回路２３は、予め定められた方法を用いて画像、動画、音声などの圧縮を行う。
【００２３】
カメラシステム制御回路２５は、撮像の際のタイミング信号などを生成して出力する。焦点検出部１２は、撮影装置１のピント状態を検出する。露出検出部１３は、撮像素子６の信号を処理することで被写体の輝度を検出する。レンズシステム制御回路２８は、カメラシステム制御回路２５の信号に応じて適切にレンズ２を駆動させて撮影光学系３の調整を行う。
【００２４】
また、制御系は、外部操作に応答して撮像系、画像処理系、及び記録再生系をそれぞれ制御する。例えば、静止画撮影においては、レリーズ釦３０の押下を操作検出回路２７が検出して、撮像素子６の駆動、画像処理回路２１の動作、記録処理回路２３の圧縮処理などを制御する。また、表示部２２によって光学ファインダー、液晶モニタ等に情報表示を行う情報表示装置の各セグメントの状態を制御する。
【００２５】
制御系による撮影光学系３の調整動作について説明する。カメラシステム制御回路２５には焦点検出部１２及び露出検出部１３が接続されており、静止画撮影においてはこれらの信号を元に適切な焦点位置及び絞り位置を求める。カメラシステム制御回路２５は、電気接点１０を介してレンズシステム制御回路２８に指令を出し、レンズシステム制御回路２８は、焦点レンズ駆動部９ａ及び絞り駆動部９ｃを適切に制御する。一方、動画撮影においては、カメラシステム制御回路２５は、焦点レンズ駆動部９ａにより、焦点レンズを微動させると共に、撮像素子６の信号を解析し、信号のコントラストから焦点位置を求める。更に、カメラシステム制御回路２５は、撮像素子６の信号レベルから絞り位置を求める。
【００２６】
また、レンズシステム制御回路２８にはブレセンサ１４が接続されており、静止画撮影において手ぶれ補正を行うモードでは、ブレセンサ１４の信号を元にブレ補正駆動部９ｂを適切に制御する。一方、動画撮影において手ぶれ補正を行うモードでは、静止画撮影と同様にブレ補正駆動部９ｂを駆動することも可能であるし、ブレセンサ１４の信号を元に撮像素子６の読み出し位置を変更する所謂電子防振を行うことも可能である。
【００２７】
ここで、動画撮影などの音声記録を伴う撮影について考える。音声記録を伴う撮影においては、撮影装置１及びレンズ２のアクチュエータ駆動に伴う音（以下「メカ駆動音」）は不要な音であり雑音となる。本明細書において「雑音」とは、ホワイトノイズのような背景雑音ではなく、この「メカ駆動音」を指す。
【００２８】
図３は、音声処理回路２６の詳細な構成を示すブロック図である。図３において、図２と同一又は同様の構成要素には同一の符号を付し、説明を省略する。図３において、４１はゲイン調整部を、４２はフィルタを、４３はＡ／Ｄ変換器を、４４は雑音処理部を、４５はフィルタを、それぞれ示す。
【００２９】
マイク７は、撮影装置１の周囲の音声から音声信号を生成し、生成された音声信号はゲイン調整部４１に供給される。ゲイン調整部４１は、Ａ／Ｄ変換器４３のダイナミックレンジが十分に活用できるようにマイク７の信号レベルを調整する。つまり、マイク７の信号レベルが小さいときはゲインアップして信号を増幅し、マイク７の信号レベルが大きいときはゲインを下げて飽和を防ぐ。フィルタ４２はＡ／Ｄ変換器４３のサンプリング周波数を考慮した適切なカットオフ周波数を持つ低域通過フィルタなどで構成される。マイク７が特定の周波数を発する素子の近傍にある場合などは、フィルタ４２は、低域通過フィルタに加えて適当なノッチフィルタを含む場合もある。Ａ／Ｄ変換器４３は、ゲイン調整部４１及びフィルタ４２で処理されたアナログ信号をデジタル信号に変換する。
【００３０】
雑音処理部４４は、減算手段として機能し、音声信号に対してスペクトル減算法（ＳＳ法）によるスペクトル減算処理（ＳＳ処理）を適用する。ＳＳは、Ｓｐｅｃｔｒａｌ Ｓｕｂｔｒａｃｔｉｏｎの省略形である。
【００３１】
ここで、ＳＳ処理について説明する。予め雑音スペクトル（本明細書では、雑音をフーリエ変換するなどして得たスペクトルを雑音スペクトルと呼ぶ）を用意しておき、取得した音声信号のスペクトルから雑音スペクトルを減算する。本実施形態では、雑音スペクトルは、予め同定して撮影装置１内のメモリ２４などの記憶手段に記憶されているものとする。なお、本明細書において、特に断らない限り、「スペクトル」は「周波数スペクトル」を意味する。
【００３２】
ＳＳ法は、雑音が加算的に被写体音に混入していると仮定しており、これを式で表すと
【００３３】
【数１】
【００３４】
となる。但し、ｘ（ｔ）は取得した音声を、ｓ（ｔ）は被写体音を、ｎ（ｔ）は雑音を、ｔは時間を、それぞれ示す。数１をフーリエ変換すると、
【００３５】
【数２】
【００３６】
となる。但し、Ｘ（ω）、Ｓ（ω）、Ｎ（ω）はそれぞれ、ｘ（ｔ）、ｓ（ｔ）、ｎ（ｔ）をフーリエ変換したものであり、ωは周波数である。撮影装置１においては、適当な窓関数を適用して音声信号をフレーム分割して、順次処理を行うが、ここでは説明の簡潔化のために、特定のフレームに着目して説明を行う。数２を見ると明らかなように、Ｓ（ω）を求めるにはＸ（ω）からＮ（ω）を減算すればよい。そこで、次式が与えられる。
【００３７】
【数３】
【００３８】
但し、Ｎ’（ω）はＮ（ω）の推定値、Ｓ’（ω）はＮ’（ω）を用いて求めたＳ（ω）の推定値、βはフロアリング係数である。∠は複素数の偏角を求める演算を示している。数３から分かるように、スペクトルは予め与えられた雑音スペクトルを利用して減算するが、位相についてはＸ（ω）の値をそのまま用いる。また、フロアリング係数βはＳＳ法による音声のひずみを抑制するために導入される係数である（オリジナルのＳＳ法ではβ＝０である）。数３で示したようにＳＳ法においては、雑音は加算的に作用していると仮定している。しかしながら、実際には位相が反転して加算された結果、音声信号の中で複数の雑音が相互に弱めあっている場合も有る。このため、Ｘ（ω）からＮ’（ω）を減算した値が負になることがある。そこで、ＳＳ法ではβよりも小さいときはβとなる様に処理する。
【００３９】
最後に、Ｓ’（ω）を逆フーリエ変換してｓ’（ｔ）を得てこれをＳＳ処理後の音声とする。
【００４０】
ＳＳ法を適当に実施するためには、事前に推定された雑音スペクトルが、実際に取得された雑音と近いことが重要である。雑音スペクトルが適切ではない場合には、過小減算や過剰減算という結果になる。過小減算の場合、雑音の除去が不十分となる。一方、過剰減算の場合には、スペクトル領域で孤立峰が多く見られ、所謂ミュージカルノイズといわれる耳障りな雑音が発生する。
【００４１】
以上に説明したＳＳ処理を図４に模式的に示した。図４において、図２と同一又は同様の構成要素には同一の符号を付し、説明を省略する。図４において、ＦＦＴ４４ａは窓関数処理を含めた高速フーリエ変換処理を、ＩＦＦＴ４４ｃは高速逆フーリエ変換処理を、Ｓ’（ω）推定４４ｂは数３の処理を、それぞれ示している。図４からも明らかなように、ＳＳ法は単一チャンネル信号（モノラル音声）にも適用可能な手法である。一方で、事前に何らかの方法でＮ’（ω）を与える必要がある。図４の例では、雑音スペクトル生成部４４ｄが推定雑音スペクトルＮ’（ω）を生成する。
【００４２】
カメラシステム制御回路２５がメモリ２４から事前推定された雑音スペクトルを取得し、雑音スペクトル生成部４４ｄ内の一時記憶部４４ｆに記憶する。雑音スペクトル生成部４４ｄは、カメラシステム制御回路２５の制御信号に従い、適当に雑音スペクトルの選択や合成（スペクトル合成部４４ｅを利用する）を行って、推定雑音スペクトルＮ’（ω）を生成する。以下、推定雑音スペクトルＮ’（ω）を生成の生成処理について、撮影装置１の動作と併せて詳述する。
【００４３】
カメラシステム制御回路２５は、撮影装置１にレンズ２が装着されたとき、又は電源が投入されたときに、レンズ２内の駆動部９に対応した雑音スペクトルをメモリ２４から取得し雑音スペクトル生成部４４ｄに与える。図２に示した例では、焦点レンズ駆動部９ａ、ブレ補正駆動部９ｂ、及び絞り駆動部９ｃそれぞれの雑音スペクトルが雑音スペクトル生成部４４ｄに供給される。雑音スペクトル生成部４４ｄは、供給された雑音スペクトルを、一時記憶部４４ｆに格納する。
【００４４】
次に、動画撮影前及び撮影中のユーザ操作、及び撮影装置１の内部での処理について、図５を参照して説明する。動画撮影を行う際には、ユーザは、前述したように不図示のライブビュー釦を押下した後に動画撮影釦を操作する。このとき、カメラシステム制御回路２５は、ブレ補正開始を指示するとともに、ピント調整動作を行う。また、動画撮影中にも、ユーザによる適当な操作により、ピント調整動作を再度行うことができる。例えば、レリーズ釦３０を半押し（レリーズ釦３０は２段階のプッシュスイッチであり、その１段階目まで押し込むことを「半押し」と呼ぶ）することで、ピント調整動作が行われる。このときのユーザ操作、ブレ補正駆動、フォーカス駆動の各シーケンスを図５に示した。図５の横軸は時間であり、縦軸は各シーケンスの状態を示している。図５において、ｔ１は、ピント調整動作のためにフォーカス駆動が行われる時間を示している。
【００４５】
動画撮影中に、雑音処理部４４は、各駆動部の駆動状態をカメラシステム制御回路２５から受け取って、図５に示すような雑音処理を行う。即ち、ブレ補正駆動のみが行われているときは、雑音処理部４４は、ブレ補正駆動部９ｂの動作に伴う雑音（駆動音）のみを処理する。一方、ブレ補正駆動とフォーカス駆動とが同時に行われるとき（即ち、複数の駆動部が同時に動作しているとき）には、雑音処理部４４は、ブレ補正駆動部９ｂの動作に伴う雑音及び焦点レンズ駆動部９ａの動作に伴う雑音を併せて処理する。このように、レンズ２を装着した撮影装置１においては、単一の駆動部（雑音源）が動作したり、複数の駆動部（雑音源）が同時に動作したりする。
【００４６】
複数の駆動部が同時に動作している時の駆動音の波形を考える。図６は、駆動音の、ある周波数成分を抜き出した波形を模式的に示す図である。図６において、横軸は時間、縦軸は音圧（音の大きさ）である。図６（ａ）は位相が揃っている場合を示す図であり、図６（ｂ）は適当な量位相がずれている場合を示す図である。図６において、Ｇ１は駆動部１によって発生する音圧の片側振幅を、Ｇ２は駆動部２よって発生する音圧の片側振幅を、Ｇｓは駆動部１と駆動部２の合成波形の片側振幅を、それぞれ示す。図６（ａ）から分かるように、駆動部１と駆動部２の位相が一致した場合には、波は強めあい、Ｇｓ＝Ｇ１＋Ｇ２が成り立つ。このときは、従来技術のスペクトル減算によって駆動音を除去することができる。しかしながら、一般的には各周波数成分において、駆動部１と駆動部２の位相が一致するのは非常に稀な事例となる。多くの場合は、ある周波数成分に着目した場合、駆動部１と駆動部２の位相にはずれがあり、図６（ｂ）の様になる。つまりＧｓ＜Ｇ１＋Ｇ２が一般的な状態である。
【００４７】
図７は、撮影装置１のマイク７が生成する音声信号のスペクトルの模式図である。駆動部１を焦点レンズ駆動部９ａとして、駆動部２をブレ補正駆動部９ｂとして、図７を説明する。特定の周波数ｆ１に注目すると、焦点レンズ駆動部９ａの駆動音とブレ補正駆動部９ｂの駆動音との位相が一致している場合、周波数ｆ１における周波数成分Ｓａから（Ｇ１＋Ｇ２）を減算することにより、雑音を除いた成分Ｓ１が得られる。しかしながら、焦点レンズ駆動部９ａの駆動音とブレ補正駆動部９ｂの駆動音との位相がずれている場合、Ｓａに含まれる駆動音の実際の成分Ｇｓ’は、Ｇｓ’＜Ｇ１＋Ｇ２となる。従って、雑音を除いた実際の音声成分をＳ１’とすると、Ｓａから（Ｇ１＋Ｇ２）を減算した場合、（Ｓ１’−Ｓ１）分の過剰減算が発生する。このような過剰減算を防止するには、次式に従って真のＧｓ（図７ではＧｓ’と表記）を算出する必要がある。
【００４８】
【数４】
【００４９】
ここで、θは駆動部１（焦点レンズ駆動部９ａ）と駆動部２（ブレ補正駆動部９ｂ）の位相差である。数４から明らかなように、θ＝０の時は前述したようにＧｓ＝Ｇ１＋Ｇ２が成り立つ。またθ＝πの時はＧｓ＝｜Ｇ１−Ｇ２｜となる。一般的にはこれらの間になっている。前述したように、レンズ２を装着した撮影装置１の駆動部９が発生する駆動音の情報は事前に知られているので、数４のＧ１及びＧ２は既知である。そのため、Ｇｓを求めるためにはθが分かればよい。
【００５０】
しかしながら、θを取得することは困難なので、数４の期待値を利用する。例えば以下の式を計算すればよい。
【００５１】
【数５】
【００５２】
これにより、複数の駆動音の時間領域における合成信号の片側振幅Ｇｓは、複数の駆動音間の位相差に関する期待値として得られる。
【００５３】
撮影装置１の雑音スペクトル生成部４４ｄは、周波数毎に、数５を解くことに期待値Ｇｓを取得する（他のコンピュータ等で事前に算出してメモリ２４等に格納しておいてもよい）。そして、Ｓ’（ω）推定４４ｂにおいて、周波数毎に、マイク７が生成した音声信号の周波数成分から期待値Ｇｓが減算される。これにより、雑音を低減しつつも必要以上に多くのスペクトルを減算してしまう可能性を低減することができる。
【００５４】
また、期待値Ｇｓを求めるために、ルックアップテーブルを利用することもできる。具体的な方法について図８を用いて説明する。図８は、Ｇ１、Ｇ２のうち大きいほうのゲインを１としたときに、Ｇ１とＧ２の比によってＧｓがどのように変化をするかを示す図である。図８の横軸は、Ｇ１，Ｇ２のうち大きいほうを１としたときの、小さいほうのゲインである。図８の縦軸は、そのときのＧ１に対するＧｓの比（＝Ｇｓ／Ｇ１）である。
【００５５】
即ち、図８のルックアップテーブルは、複数の駆動音それぞれの周波数成分間の比率を入力（横軸）とし、最大の周波数成分に対する期待値Ｇｓの倍率を出力（縦軸）とする。出力である倍率を事前に算出することにより、このルックアップテーブルが生成される。
【００５６】
期待値Ｇｓを求めるためには、例えば、Ｇ１＞Ｇ２の場合にはＧ２／Ｇ１を求める。この時のＧ１に対するＧｓの比を図８のグラフから読み取る。Ｇｓ＝Ｇ１＊（Ｇｓ／Ｇ１）なので、Ｇ１に対して、所定の倍率（図８から読み取った倍率）を乗じることにより、期待値Ｇｓが求められる。このようにすれば、計算量を削減して期待値Ｇｓを求めることができる。
【００５７】
さらに別の方法としては、ＧｓはＧ１とＧ２の大きいほうのみ（即ち、複数の駆動音それぞれの周波数成分の最大値）を音声信号の周波数成分から減算してもよい。式で表すと
【００５８】
【数６】
【００５９】
である。但し、数６でｍａｘ（）は最大値を選択する演算子である。数６は数４においてＧ１＞＞Ｇ２又はＧ１＜＜Ｇ２の場合の近似となっている。駆動部１及び駆動部２から発生する駆動音は一般的には、ホワイトノイズのようなものではなく特定の周波数にピークを持つようなスペクトルを持っている。また、このピークの部分が雑音として大きな割合を占めているのでこの部分を精密に近似したい。駆動部１と駆動部２のピークとそのゲインが一致しない限りピークの部分ではＧ１＞＞Ｇ２又はＧ１＜＜Ｇ２が成り立つ。このため、数６は駆動部１と駆動部２の駆動音の合成波形の良い近似になる。数６の計算は前述のルックアップテーブルを利用する方法の変形とみなすこともできる。即ち、Ｇ１及びＧ２の大きい方に対するＧｓの比を常に１としている場合に等しい。常に１とするために特別な記憶部は必要ない。最大値を利用する場合、ルックアップテーブルを利用する場合に比べて、撮影装置１のメモリ使用量を削減することができ、数５の演算を行う場合に比べて、演算リソースの消費を削減することができる。
【００６０】
本発明の効果について、図９を用いて説明する。図９において横軸は周波数（単位はヘルツで対数軸となっている）、縦軸はゲイン（単位はデシベル）である。図９（ａ）はスペクトル領域での単純な加算を利用して雑音を合成した例を、図９（ｂ）は数５によって雑音を合成した例を、図９（ｃ）は数６によって雑音を合成した例を、それそれ示す。詳細なルックアップテーブルを利用する場合も、図９（ｂ）のようになる。また、ルックアップテーブルの記憶容量を減らして粗くした場合には図９（ｂ）と図９（ｃ）の間程度の結果が得られる（数６のように最大値のみを使って処理するのはルックアップテーブルの出力を全て１とした場合に等しいためである）。
【００６１】
前述したように、駆動部１と駆動部２の位相差が不明な場合は、数５で合成雑音を生成するのが適当と思われる。そのため、図９（ｂ）に示した合成された雑音のスペクトルが適当といえる。その結果、適当なＳＳ処理が施され高品位の音声を得ることが出来る。
【００６２】
図９（ａ）に示したスペクトル領域での加算を用いて雑音スペクトルを見積もった例では、合成された雑音のスペクトルが過剰に見積もられている。その結果、ＳＳ処理において被写体音から過剰な減算が行われミュージカルノイズなどが発生する可能性がある。
【００６３】
一方で、図９（ｃ）に示した最大値を用いて雑音スペクトルを見積もった例では、図９（ｂ）に近い結果が得られており、適当に雑音が処理されることが期待される。特に雑音が大きな音圧を有しているピークの箇所では、ほぼ図９（ｂ）と同じゲインを得ている。その結果、適当なＳＳ処理が施され高品位の音声を得ることが出来る。
【００６４】
以上説明したように、本実施形態によれば、撮影装置１は、位相差に関する期待値の演算や最大値の採用により、複数の駆動音の合成スペクトルを推定し、マイク７が生成した音声信号のスペクトルから、推定された合成スペクトルを減算する。これにより、音声に含まれる雑音をスペクトル減算により低減する際に、必要以上に多くのスペクトルを減算してしまう可能性を低減することが可能となる。
【００６５】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
複数の駆動部を備える音声信号処理装置であって、
前記音声信号処理装置の周囲の音声から音声信号を生成する生成手段と、
前記音声信号に含まれる前記複数の駆動部の動作に伴う駆動音を低減するために、前記音声信号の周波数スペクトルに対してスペクトル減算を適用する減算手段と、
を備え、
前記減算手段は、前記複数の駆動部が同時に動作している場合、周波数毎に、前記音声信号の周波数成分から、前記複数の駆動部それぞれの動作に伴う複数の駆動音それぞれの周波数成分の最大値を減算する
ことを特徴とする音声信号処理装置。
【請求項２】
複数の駆動部を備える音声信号処理装置であって、
前記音声信号処理装置の周囲の音声から音声信号を生成する生成手段と、
前記音声信号に含まれる前記複数の駆動部の動作に伴う駆動音を低減するために、前記音声信号の周波数スペクトルに対してスペクトル減算を適用する減算手段と、
を備え、
前記減算手段は、前記複数の駆動部が同時に動作している場合、周波数毎に、前記音声信号の周波数成分から、前記複数の駆動部それぞれの動作に伴う複数の駆動音それぞれの周波数成分に対応する時間領域の信号を合成して得られる合成信号の片側振幅の、前記複数の駆動音間の位相差に関する期待値を減算する
ことを特徴とする音声信号処理装置。
【請求項３】
前記減算手段は、周波数毎に、前記複数の駆動音それぞれの周波数成分の最大値に所定の倍率を乗じることにより前記期待値を算出するように構成され、
前記減算手段は、周波数毎に、前記複数の駆動音それぞれの周波数成分の比率を入力とし倍率を出力とするルックアップテーブルから前記所定の倍率を取得するように構成される
ことを特徴とする請求項２に記載の音声信号処理装置。
【請求項４】
前記複数の駆動音それぞれの周波数スペクトルを記憶する記憶手段を更に備え、
前記減算手段は、前記複数の駆動音それぞれの周波数成分を前記記憶手段から取得する
ことを特徴とする請求項１乃至３のいずれか１項に記載の音声信号処理装置。
【請求項５】
撮影光学系と、
前記撮影光学系からの入射光を光電変換して画像データを生成する撮像手段と、
を更に備え、
前記複数の駆動部は、前記撮影光学系の駆動部を含む
ことを特徴とする請求項１乃至４のいずれか１項に記載の音声信号処理装置。
【請求項６】
焦点レンズと、絞りと、ブレ補正レンズとを含んだ撮影光学系と、
前記撮影光学系からの入射光を光電変換して画像データを生成する撮像手段と、
を更に備え、
前記複数の駆動部は、前記焦点レンズの駆動部と、前記絞りの駆動部と、前記ブレ補正レンズの駆動部とを含む
ことを特徴とする請求項１乃至４のいずれか１項に記載の音声信号処理装置。
【請求項７】
複数の駆動部を備える音声信号処理装置の制御方法であって、
生成手段が、前記音声信号処理装置の周囲の音声から音声信号を生成する生成工程と、
減算手段が、前記音声信号に含まれる前記複数の駆動部の動作に伴う駆動音を低減するために、前記音声信号の周波数スペクトルに対してスペクトル減算を適用する減算工程と、
を備え、
前記減算工程において前記減算手段は、前記複数の駆動部が同時に動作している場合、周波数毎に、前記音声信号の周波数成分から、前記複数の駆動部それぞれの動作に伴う複数の駆動音それぞれの周波数成分の最大値を減算する
ことを特徴とする制御方法。
【請求項８】
複数の駆動部を備える音声信号処理装置の制御方法であって、
生成手段が、前記音声信号処理装置の周囲の音声から音声信号を生成する生成工程と、
減算手段が、前記音声信号に含まれる前記複数の駆動部の動作に伴う駆動音を低減するために、前記音声信号の周波数スペクトルに対してスペクトル減算を適用する減算工程と、
を備え、
前記減算工程において前記減算手段は、前記複数の駆動部が同時に動作している場合、周波数毎に、前記音声信号の周波数成分から、前記複数の駆動部それぞれの動作に伴う複数の駆動音それぞれの周波数成分に対応する時間領域の信号を合成して得られる合成信号の片側振幅の、前記複数の駆動音間の位相差に関する期待値を減算する
ことを特徴とする制御方法。
【請求項１】
複数の駆動部を備える音声信号処理装置であって、
前記音声信号処理装置の周囲の音声から音声信号を生成する生成手段と、
前記音声信号に含まれる前記複数の駆動部の動作に伴う駆動音を低減するために、前記音声信号の周波数スペクトルに対してスペクトル減算を適用する減算手段と、
を備え、
前記減算手段は、前記複数の駆動部が同時に動作している場合、周波数毎に、前記音声信号の周波数成分から、前記複数の駆動部それぞれの動作に伴う複数の駆動音それぞれの周波数成分の最大値を減算する
ことを特徴とする音声信号処理装置。
【請求項２】
複数の駆動部を備える音声信号処理装置であって、
前記音声信号処理装置の周囲の音声から音声信号を生成する生成手段と、
前記音声信号に含まれる前記複数の駆動部の動作に伴う駆動音を低減するために、前記音声信号の周波数スペクトルに対してスペクトル減算を適用する減算手段と、
を備え、
前記減算手段は、前記複数の駆動部が同時に動作している場合、周波数毎に、前記音声信号の周波数成分から、前記複数の駆動部それぞれの動作に伴う複数の駆動音それぞれの周波数成分に対応する時間領域の信号を合成して得られる合成信号の片側振幅の、前記複数の駆動音間の位相差に関する期待値を減算する
ことを特徴とする音声信号処理装置。
【請求項３】
前記減算手段は、周波数毎に、前記複数の駆動音それぞれの周波数成分の最大値に所定の倍率を乗じることにより前記期待値を算出するように構成され、
前記減算手段は、周波数毎に、前記複数の駆動音それぞれの周波数成分の比率を入力とし倍率を出力とするルックアップテーブルから前記所定の倍率を取得するように構成される
ことを特徴とする請求項２に記載の音声信号処理装置。
【請求項４】
前記複数の駆動音それぞれの周波数スペクトルを記憶する記憶手段を更に備え、
前記減算手段は、前記複数の駆動音それぞれの周波数成分を前記記憶手段から取得する
ことを特徴とする請求項１乃至３のいずれか１項に記載の音声信号処理装置。
【請求項５】
撮影光学系と、
前記撮影光学系からの入射光を光電変換して画像データを生成する撮像手段と、
を更に備え、
前記複数の駆動部は、前記撮影光学系の駆動部を含む
ことを特徴とする請求項１乃至４のいずれか１項に記載の音声信号処理装置。
【請求項６】
焦点レンズと、絞りと、ブレ補正レンズとを含んだ撮影光学系と、
前記撮影光学系からの入射光を光電変換して画像データを生成する撮像手段と、
を更に備え、
前記複数の駆動部は、前記焦点レンズの駆動部と、前記絞りの駆動部と、前記ブレ補正レンズの駆動部とを含む
ことを特徴とする請求項１乃至４のいずれか１項に記載の音声信号処理装置。
【請求項７】
複数の駆動部を備える音声信号処理装置の制御方法であって、
生成手段が、前記音声信号処理装置の周囲の音声から音声信号を生成する生成工程と、
減算手段が、前記音声信号に含まれる前記複数の駆動部の動作に伴う駆動音を低減するために、前記音声信号の周波数スペクトルに対してスペクトル減算を適用する減算工程と、
を備え、
前記減算工程において前記減算手段は、前記複数の駆動部が同時に動作している場合、周波数毎に、前記音声信号の周波数成分から、前記複数の駆動部それぞれの動作に伴う複数の駆動音それぞれの周波数成分の最大値を減算する
ことを特徴とする制御方法。
【請求項８】
複数の駆動部を備える音声信号処理装置の制御方法であって、
生成手段が、前記音声信号処理装置の周囲の音声から音声信号を生成する生成工程と、
減算手段が、前記音声信号に含まれる前記複数の駆動部の動作に伴う駆動音を低減するために、前記音声信号の周波数スペクトルに対してスペクトル減算を適用する減算工程と、
を備え、
前記減算工程において前記減算手段は、前記複数の駆動部が同時に動作している場合、周波数毎に、前記音声信号の周波数成分から、前記複数の駆動部それぞれの動作に伴う複数の駆動音それぞれの周波数成分に対応する時間領域の信号を合成して得られる合成信号の片側振幅の、前記複数の駆動音間の位相差に関する期待値を減算する
ことを特徴とする制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−２５３１２６（Ｐ２０１１−２５３１２６Ａ）
【公開日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願番号】特願２０１０−１２８２７０（Ｐ２０１０−１２８２７０）
【出願日】平成２２年６月３日（２０１０．６．３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願日】平成２２年６月３日（２０１０．６．３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]