音声信号処理装置、及びその制御方法
【課題】音声信号に含まれる雑音を低減する処理を、動作時に雑音を発生するコンポーネントの種類、及び動作の期間の長さに基づいて選択する技術を提供する。
【解決手段】動作時に雑音を発生する複数のコンポーネントの動作を制御可能な音声信号処理装置であって、前記音声信号処理装置の周囲の音声を集音することにより音声信号を取得する取得手段と、前記複数のコンポーネントのいずれかが動作している期間に取得された前記音声信号に対して、当該動作により発生する雑音に対応する周波数の信号を低減するフィルタ処理、又は、当該動作の期間の前後少なくとも一方の期間に取得された前記音声信号に基づいて生成される音声信号により当該動作の期間に取得された前記音声信号を置換する予測処理を適用することにより、前記音声信号に含まれる雑音を低減する低減手段と、を備え、前記低減手段は、前記動作に係るコンポーネントの種類、及び前記動作の期間の長さに基づいて、前記フィルタ処理又は前記予測処理を選択することを特徴とする音声信号処理装置を提供する。
【解決手段】動作時に雑音を発生する複数のコンポーネントの動作を制御可能な音声信号処理装置であって、前記音声信号処理装置の周囲の音声を集音することにより音声信号を取得する取得手段と、前記複数のコンポーネントのいずれかが動作している期間に取得された前記音声信号に対して、当該動作により発生する雑音に対応する周波数の信号を低減するフィルタ処理、又は、当該動作の期間の前後少なくとも一方の期間に取得された前記音声信号に基づいて生成される音声信号により当該動作の期間に取得された前記音声信号を置換する予測処理を適用することにより、前記音声信号に含まれる雑音を低減する低減手段と、を備え、前記低減手段は、前記動作に係るコンポーネントの種類、及び前記動作の期間の長さに基づいて、前記フィルタ処理又は前記予測処理を選択することを特徴とする音声信号処理装置を提供する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、音声信号処理装置、及びその制御方法に関し、特に、音声信号に含まれる雑音を低減する音声信号処理装置、及びその制御方法に関する。
【背景技術】
【0002】
従来、音声信号処理装置として、動画撮影をすることができるカメラなどの撮像装置が知られている。これらの撮像装置は、動画撮影のために、例えばレンズや絞りなどの、撮像装置に組み込まれた駆動部を駆動させる。その際に発生する駆動雑音は、音声信号に混入してしまい、ユーザの求めない音声が記録されてしまうことがある。このような課題を解決するために、従来、さまざまな提案がなされている。
【0003】
特許文献1では、電子カメラは、光学系の調整のためのモータの動作時間に応じて雑音処理手法を切り替える。これにより、モータの動作時間に応じた雑音処理が行われ、高品位な音声を得ることができる。具体的には、電子カメラは、モータの動作時間が長い場合にはローパスフィルタにより雑音を低減し、モータの動作時間が短い場合にはモータの動作の直前の音声を雑音発生期間の音声に対して重畳する処理を行う。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−203376号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1では、モータの動作時間は考慮されているが、雑音の発生源の種類は考慮されていない。即ち、電子カメラは、雑音の発生源の種類に関わらず、単に動作時間の長短に応じて雑音処理の種類を切り替える。従って、雑音処理の切り替えに関する柔軟性が限られていた。
【0006】
本発明はこのような状況に鑑みてなされたものであり、音声信号に含まれる雑音を低減する処理を、動作時に雑音を発生するコンポーネントの種類、及び動作の期間の長さに基づいて選択する技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するために、第1の本発明は、動作時に雑音を発生する複数のコンポーネントの動作を制御可能な音声信号処理装置であって、前記音声信号処理装置の周囲の音声を集音することにより音声信号を取得する取得手段と、前記複数のコンポーネントのいずれかが動作している期間に取得された前記音声信号に対して、当該動作により発生する雑音に対応する周波数の信号を低減するフィルタ処理、又は、当該動作の期間の前後少なくとも一方の期間に取得された前記音声信号に基づいて生成される音声信号により当該動作の期間に取得された前記音声信号を置換する予測処理を適用することにより、前記音声信号に含まれる雑音を低減する低減手段と、を備え、前記低減手段は、前記動作に係るコンポーネントの種類、及び前記動作の期間の長さに基づいて、前記フィルタ処理又は前記予測処理を選択することを特徴とする音声信号処理装置を提供する。
【0008】
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
【発明の効果】
【0009】
以上の構成により、本発明によれば、音声信号に含まれる雑音を低減する処理を、動作時に雑音を発生するコンポーネントの種類、及び動作の期間の長さに基づいて選択することが可能となる。
【図面の簡単な説明】
【0010】
【図1】第1の実施形態に係る撮像装置1、及びこれに接続される撮像レンズ2の断面図
【図2】撮像装置1及び撮像レンズ2の電気的構成を示すブロック図
【図3】第1の実施形態に係る、雑音処理方法の選択の流れを示すフローチャート
【図4】ステッピングモータの励磁方法を説明する図
【図5】音声処理回路26の詳細な構成を示すブロック図
【図6】絞り駆動部9cの駆動方法と取得される音声信号との関係を説明する図
【図7】フィルタ処理の詳細について説明する図
【図8】予測処理の詳細について説明する図
【図9】MUTE処理の詳細について説明する図
【図10】第2の実施形態に係る、雑音処理方法の選択の流れを示すフローチャート
【発明を実施するための形態】
【0011】
以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。
【0012】
以下の各実施形態では、本発明の音声信号処理装置を適用可能な装置の一例として、動画撮影が可能な撮像装置について説明する。しかしながら、動画撮影は必須ではなく、例えば、周囲の音声を集音可能なボイスレコーダなどに本発明の音声信号処理装置を適用することもできる。更に、撮像装置やボイスレコーダなどが取得した音声信号を処理するパーソナルコンピュータ(PC)などに本発明の音声信号処理装置を適用することもできる。
【0013】
また、以下の各実施形態では、動作時に雑音を発生するコンポーネントとして光学系駆動部及びコンデンサを例に挙げるが、コンポーネントの種類はこれに限定されず、例えばハードディスクドライブが含まれてもよい。本発明の音声信号処理装置は、そのようなコンポーネントの動作を制御可能である。
【0014】
[第1の実施形態]
図1は、第1の実施形態に係る撮像装置1、及びこれに接続される撮像レンズ2の断面図である。但し、撮像レンズ2は、撮像装置1に対して着脱可能であってもよいし、撮像装置1と一体化されていてもよい。図1において、3は撮影光学系を、4は撮像レンズ2の光軸を、5はレンズ鏡筒を、6は撮像素子を、7は撮像装置1に設けられたマイクを、8はレンズ制御を行う基板を、9は撮影光学系3の調整のための光学系駆動部を、それぞれ示す。また、10は撮像装置1と撮像レンズ2とをつなぐ接点を、11はいわゆるクイックリターンミラーを、12はAE/AFセンサを含む焦点/露出検出部を、それぞれ示す。
【0015】
撮像装置1は、撮像レンズ2と焦点/露出検出部12とを用いて、焦点/露出検出を行うと共に撮影光学系3の一部を駆動させることにより撮影光学系3の調整を行い、光学像を撮像素子6の近傍に結像させると共に適正な露光になるように絞りを動作させる。詳細な動作は、図2のブロック図を用いて説明する。また、撮像装置1は、ユーザによる不図示のレリーズ釦の操作と同期させて撮像素子6より被写体の情報を得て、メモリカード等の記録媒体へ記録を行う。
【0016】
図2は、撮像装置1及び撮像レンズ2の電気的構成を示すブロック図である。撮像装置1は、撮像系、画像処理系、音声処理系、記録再生系、及び制御系を有する。撮像系は、撮像レンズ2及び撮像素子6を含み、画像処理系は、A/D変換器20及び画像処理回路21を含み、音声処理系は、マイク7及び音声処理回路26を含む。また、記録再生系は、記録処理回路23及び記録媒体24を含み、制御系は、カメラシステム制御回路25、焦点/露出検出部12、操作検出回路27、レンズシステム制御回路28、及び光学系駆動部9を含む。光学系駆動部9は、焦点レンズ駆動部9a、ブレ補正駆動部9b、及び絞り駆動部9cなどを含む。
【0017】
撮像系は、物体からの光を、撮像レンズ2を介して撮像素子6の撮像面に結像する光学処理系である。エイミングなどの撮影予備動作中は、クイックリターンミラー11に設けられたミラーを介して、焦点/露出検出部12にも光束の一部が導かれる。また、後述するように制御系によって適切に撮像レンズ2が調整されることで、適切な光量の物体光を撮像素子6に露光するとともに、撮像素子6の近傍で被写体像が結像する。
【0018】
画像処理回路21は、A/D変換器20を介して撮像素子6から受けた撮像素子の画素の画像信号を処理する信号処理回路であり、ホワイトバランス回路、ガンマ補正回路、補間演算による高解像度化を行う補間演算回路等を有する。
【0019】
音声処理系は、マイク7の信号に対して音声処理回路26によって適切な処理を施して録音用音声信号を生成する。録音用音声信号は後述する記録処理回路23により画像とリンクして圧縮処理される。
【0020】
記録処理回路23は、記録媒体24への画像信号の出力を行うとともに、表示部22に出力する像を生成、保存する。また、記録処理回路23は、予め定められた方法を用いて画像、動画、音声などの圧縮を行う。
【0021】
カメラシステム制御回路25は、撮像の際のタイミング信号などを生成して出力する。焦点/露出検出部12は、撮像装置1のピント状態及び被写体の輝度を検出する。レンズシステム制御回路28は、カメラシステム制御回路25の信号に応じて適切に撮像レンズ2を駆動させて光学系の調整を行う。
【0022】
制御系は、外部操作に応じて、撮像系、画像処理系、及び記録再生系をそれぞれ制御する。例えば、不図示のシャッターレリーズ釦の押下を操作検出回路27が検出すると、制御系は、撮像素子6の駆動、画像処理回路21の動作、記録処理回路23の圧縮処理などを制御する。更に、制御系は、表示部22によって、光学ファインダーや液晶モニタなどに情報表示を行うために、情報表示装置の各セグメントの状態を制御する。
【0023】
制御系による光学系の調整動作について説明する。カメラシステム制御回路25には焦点/露出検出部12が接続されており、ここからの信号を基に適切な焦点位置及び絞り位置を求める。カメラシステム制御回路25は、電気接点10を介してこれらの位置をレンズシステム制御回路28に指示し、レンズシステム制御回路28は、焦点レンズ駆動部9a及び絞り駆動部9cを適切に制御する。更に、レンズシステム制御回路28には不図示の手ぶれ検出センサが接続されており、手ぶれ補正を行うモードにおいては、手ぶれ検出センサの信号を基にブレ補正駆動部9bを適切に制御する。
【0024】
図3から図6を用いて、絞り駆動部9cの駆動方法と雑音処理の選択方法との関係、及び、被写体が発する音(以下、被写体音)と絞り駆動部9cが発する不要な音(以下、メカ駆動音)との関係について説明する。なお、この雑音処理の選択は、動画撮影を実行している間に行われるものである。
【0025】
図3は、第1の実施形態に係る、雑音処理方法の選択の流れを示すフローチャートである。本実施形態においては、説明を簡単にするために、光学系駆動部9の例として絞り駆動部9cを用いて説明を行う。本実施形態の絞り駆動部9cは、撮像レンズ2内に設けられたステッピングモータを駆動源としている。前述したように、カメラシステム制御回路25は、必要に応じて光学系の調整動作を行う。このときに、カメラシステム制御回路25は、適当な駆動方法を選択すると共に、それに応じた雑音処理方法を図3のフローチャートに従って選択する。
【0026】
S101で、カメラシステム制御回路25は、駆動方法及び雑音処理方法の選択を開始する。S102で、カメラシステム制御回路25は、装着された撮像レンズ2の絞り駆動部9cがマイクロステップ駆動可能であるか否かを判断する。可能か否かの情報は、撮像装置1に対して撮像レンズ2が装着された後に、撮像装置1が適当なタイミングで電気接点10を介して撮像レンズ2と通信を行い取得する。装着された撮像レンズ2がマイクロステップでの駆動が可能であれば処理はS103に進み、そうでない場合は処理はS105に進む。
【0027】
S103で、カメラシステム制御回路25は、ユーザの設定に応じて絞り駆動部9cの駆動速度を判断する。例えば、動画撮影時において日陰から日なたに被写体が高速で移動するような場面では、被写体の輝度が大きく変化する。この場合などは、絞りを高速に駆動したい。一方で、被写界深度の変化を抑えて撮影を行いたい場合などには、絞りを低速に駆動したい。これらはユーザによるモード等の設定によって判断される。S103では、カメラシステム制御回路25は、撮影設定を参照して絞り駆動部9cの駆動速度を判断する。
【0028】
S102でマイクロステップが不可能であると判断された場合、及びS103で高速駆動が選択された場合には、処理はS105に進み、カメラシステム制御回路25は、絞り駆動部9cの駆動方法としてフルステップ駆動を選択する。次いで、S107で、カメラシステム制御回路25は、雑音処理方法として予測処理(詳細は後述)を選択する。その理由は、予測処理による雑音処理は、例えば0.5秒等の短い雑音に対して特に有効であるためである。カメラシステム制御回路25は、選択した雑音処理を実行するように音声処理回路26を制御する。
【0029】
S103で低速駆動が選択された場合には、処理はS109に進み、カメラシステム制御回路25は、絞り駆動部9cの駆動方法としてマイクロステップ駆動を選択する。次いで、S111で、カメラシステム制御回路25は、雑音処理方法としてフィルタ処理(詳細は後述)を選択する。その理由は、予測処理による雑音処理は、例えば0.5秒等の短い雑音に対して特に有効である反面、それよりも長い雑音に対してはあまり有効でないからである。そして、マイクロステップ駆動による雑音であれば、雑音の音量も小さいため、発生する雑音の周波数を例えばローパスフィルタなどで低減させるようにすれば、雑音を十分に低減することができるからである。カメラシステム制御回路25は、選択した雑音処理を実行するように音声処理回路26を制御する。
【0030】
ところで、図3のフローチャートでは、一例として、雑音の発生源である絞り駆動部9cの動作の期間が長い(閾値以上)場合(マイクロステップ駆動で動作する場合)はフィルタ処理が選択された。また、動作の期間が短い(閾値未満)場合(フルステップ駆動で動作する場合)は予測処理が選択された。しかしながら、後述する第2の実施形態において詳述するように、動作の期間が短い場合であっても、雑音を発生するコンポーネントの種類によっては、フィルタ処理が選択される場合もある。従って、図3における雑音処理方法の選択処理は、雑音を発生するコンポーネントが絞り駆動部9cであることも加味されている。換言すれば、動作時に雑音を発生するコンポーネントの種類、及び動作の期間の長さに基づいて雑音処理方法を選択している。
【0031】
次に、図4を参照して、絞り駆動部9cの駆動方法の詳細について説明する。図4は、ステッピングモータの励磁方法を説明する図である。図4において、横軸は時間、縦軸は電圧を示す。
【0032】
図4(a)はいわゆるフルステップ駆動の励磁方法を示し、図4(b)はいわゆるマイクロステップ駆動の励磁方法を示す。いずれの駆動方法であっても、ステッピングモータの励磁波形は、A相及びB相の電圧は90度位相がずれている。A相及びB相のいずれの位相が進んでいるかによって回転方向が決定される。図4(a)に示したフルステップ駆動においては、A相及びB相はそれぞれ2つの電圧状態を往復するように電圧が変化する。フルステップ駆動において、A相又はB相の電圧が切り替わったときに回転する量がいわゆる1ステップの駆動量である。1ステップの駆動による回転角は、ステッピングモータの構造によって異なる。フルステップ駆動の特徴として、2つのコイルに対して同時に電圧を印加しているので駆動トルクが大きい、ということが挙げられる。そのため、回転数を上げてもいわゆる脱調がおきにくいという特徴がある。
【0033】
図4(b)に示したマイクロステップ駆動においては、A相及びB相はフルステップ駆動の電圧の間にいくつかの状態を設けて段階的に電圧が変化する。マイクロステップ駆動の特徴として、1ステップをいくつかの区間に区切って駆動が可能となる、ということが挙げられる。そのため、精密な位置決めを行う場合に向くという特徴がある。
【0034】
図4を用いて説明したように、高速で大きく動かすときにはフルステップ駆動が、低速で細かく動かすときにはマイクロステップ駆動が向いていることが分かる。撮像装置1においては、図3で説明したように撮影シーンなどに合わせて適切な駆動方法が選択される。
【0035】
次に、図5を参照して、音声処理回路26の詳細な構成について説明する。図5において、41はゲイン調整部、42はフィルタ、43はA/D変換器、44は雑音処理部、45はフィルタである。
【0036】
マイク7から得られた信号はゲイン調整部41に供給される。ゲイン調整部41は、A/D変換器43のダイナミックレンジが十分に活用できるようにマイク7の信号レベルを調整する。つまり、マイク7の信号レベルが小さいときはゲインアップして信号を増幅し、マイク7の信号レベルが大きいときはゲインを下げて飽和を防ぐ。フィルタ42は、A/D変換器43のサンプリング周波数を考慮して適切なカットオフ周波数を持つローパスフィルタなどで構成される。マイク7が特定の周波数の音を発生する素子の近傍にある場合などは、フィルタ42は前述のローパスフィルタに加えて適当なノッチフィルタを含む場合もある。A/D変換器43は、ゲイン調整部41及びフィルタ42で処理された信号をデジタルに変換する。
【0037】
雑音処理部44は、複数の雑音処理部で構成されている。図5の例では、雑音処理部44は、予測処理部44a,フィルタ処理部44b,及びMUTE処理部44cを含む。雑音処理部44は、カメラシステム制御回路25により動作が制御される。雑音処理部44は、カメラシステム制御回路25からの指令に応じて、複数の雑音処理を選択的に又は組み合わせて実行することができる。フィルタ45は、音声信号に対して雑音処理を行った後に必要であれば適当なフィルタ処理を施すためのフィルタである。フィルタ45におけるフィルタ処理は、不要であれば省略することもできる。
【0038】
図5において「雑音処理」という言葉を用いているが、ここでいう「雑音処理」というのは前述のメカ駆動音(或いは、コンデンサ等の動作により発生する動作音)を低減する処理を指していて、ホワイトノイズの低減などを指すものではない。
【0039】
メカ駆動音の有無と音声処理回路26の動作との関係について詳述する。メカ駆動音が存在しないときは、雑音処理部44はどの雑音処理も実行しないように設定され、音声信号が通過する。また、フィルタ45も同様に動作しない。このときは、A/D変換器43が変換した音声信号そのものが録音用音声信号としてカメラシステム制御回路25へ送出される。メカ駆動音が存在する場合の処理方法については後述する。
【0040】
図6は、絞り駆動部9cの駆動方法と取得される音声信号との関係を説明する図である。図6において、横軸は時間であり、縦軸はマイク7の出力電圧である。図6は被写体音として音声信号があるときに、絞り駆動部9cを動作させたときの例を示している。図6(a)は絞り駆動部9cをフルステップ駆動したときを、図6(b)は絞り駆動部をマイクロステップ駆動したときを、それぞれ示している。図6(a)及び図6(b)を比較すると明らかなように、フルステップ駆動においては、被写体音に対してメカ駆動音が影響を与える時間は短いが、メカ駆動音の単位時間当たりの影響は大きくなる。一方で、マイクロステップ駆動においては、被写体音に対してメカ駆動音が影響を与える時間は長いが、メカ駆動音の単位時間当たりの影響は小さくなる。
【0041】
図7を参照して、フィルタ処理の詳細について説明する。図7において、横軸は時間であり、縦軸はマイク7の出力電圧である。図7(a)は、絞り駆動部9cをマイクロステップ駆動したときに取得される音声信号を、図7(b)は、図7(a)の音声信号をローパスフィルタで処理をした音声信号を、それぞれ示す。また、図7(c)は、絞り駆動部9cをフルステップ駆動したときに取得される音声信号を、図7(d)は、図7(c)の音声信号をローパスフィルタで処理をした音声信号を、それぞれ示す。なお、フィルタの例としてローパスフィルタを挙げたが、絞り駆動部9cなどのコンポーネントが動作時に発生する雑音に対応する周波数の信号を低減するフィルタであれば、どのようなフィルタを用いてもよい。
【0042】
マイクロステップ駆動においては、発生するメカ駆動音が小さいために、図7(a)の音声信号をローパスフィルタ処理した図7(b)の音声信号ではメカ駆動音の影響が十分に低減され、高品位な被写体音が得られている。一方で、フルステップ駆動ではメカ駆動音が大きいために、図7(c)の音声信号をローパスフィルタ処理した図7(d)の音声信号ではメカ駆動音の成分が相変わらず多く残ってしまう。また、ローパスフィルタを多重に適用するなどの処理を行っても、メカ駆動音にも被写体音と同じ帯域の信号が含まれているので、高品位な被写体音を得るのは容易ではない。
【0043】
図7で説明したように、光学系駆動部9の駆動方法によっては、適当なフィルタ処理を施すことで高品位な被写体音が得られる。一方で、フィルタ処理を施すことでは高品位な被写体音が得られない駆動方法も存在する。
【0044】
次に、図8を参照して、予測処理の詳細について説明する。図8において、横軸は時間であり、縦軸はマイク7の出力電圧である。図8(a)は、メカ駆動音が存在し且つ被写体音が相対的に小さい場合の音声信号を、図8(b)は、図8(a)の音声信号を予測処理で処理をする途中の段階を、図8(c)は、図8(a)の音声信号を予測処理で処理した後の音声信号を、それぞれ示す。
【0045】
本実施形態では、音声処理回路26は、絞り駆動部9cをフルステップ駆動したときのメカ駆動音が存在する区間に対して、予測処理によって雑音処理を行う。予測処理においては、予測処理部44aは、まず図8(b)に示すようにメカ駆動音が存在する区間の信号を破棄する。次に、予測処理部44aは後述するように学習動作と予測動作を行い、予測動作により求めた信号でメカ駆動音が存在する区間(予測区間)の信号を埋める(図8(c)参照)。
【0046】
このように、予測処理は、予測区間の元の信号を捨てる、予測区間の前後の学習区間の信号に基づいて信号を生成するという特徴と持つ。このため、予測処理は、フィルタ処理に比べて予測区間のメカ駆動音の大きさは問題にならない、予測区間は短いほうが性能がよいという特徴を持つ。そのため、本実施形態で示すように、フルステップ駆動のような駆動方法と組み合わせた場合に効果を発揮する。
【0047】
本実施形態の予測処理に用いる、線形予測係数の導出(学習動作)、及び線形予測係数を用いた信号の予測(予測動作)について説明する。線形予測を用いるにあたっては、現在の信号とこれに隣接する有限個(ここではp個とする)の標本値との間に次のような線形1次結合関係を仮定する。
【0048】
【数1】
【0049】
但し、数1において、εtは平均値0、分散σ2の互いに無相関な確率変数である。ここでxtが過去の値から予測されるように式を変形すると、次のようになる。
【0050】
【数2】
【0051】
数2によると、εtが十分に小さければ、近傍p個の線形和によって現在の値が表現される。xtを上記の予測によって求めた後、更にその近似が十分によければxt+1も同じく近傍p個の線形和によって求められる。このようにεtを十分に小さくすることができれば順次値を予測して信号を求めることができる。そこでεtを最小にするようなαiの求め方を考える。本発明ではεtを最小にするようなαiを求める動作を学習動作と呼ぶ。
【0052】
前述した学習区間においてεtの2乗和を最小化すればよい。学習の開始時刻をt0、終了時刻をt1とすると、次のようになる。
【0053】
【数3】
【0054】
但し、α0=1である。ここで式を簡単にするために、
【0055】
【数4】
【0056】
とする。数3を最小化するようにαiを決めるためには、数3のαj(j=1,2,...,p)に関する偏微分を0として解けばよい。
【0057】
【数5】
【0058】
数5は、p個の線形連立1次方程式を解けばαiを決定できることを示している。数5のうちcijはxt−i(i=1,2,...,p)から求めることができる。即ち、数5からαiを求めることができる。
【0059】
数5に従ってαiを決定した場合、εtの2乗和は最小化されている。このとき数2より、xtの値はx^tで良い近似を与えることができる。この近似が十分に良いものであれば、xtの代わりにx^tを予測信号として用いることができる。更にxt+1についても同様に近傍のp−1個と予測によって求めた信号から近似値を得ることができる。これを順次繰り返すことで予測区間の信号を生成することができる。本発明では、求められたαiから予測区間の近似を求める動作を予測動作と呼ぶ。
【0060】
学習動作と予測動作の一例について詳細に説明する。図8に示すように、学習動作を行うに当たっては予測区間の前後の近傍の信号を用いる。これは音声信号が極短時間の領域に着目すると比較的繰り返し性が高い性質を利用している。図8のように、メカ駆動音が存在する区間よりも前の時間に学習区間1を、メカ駆動音が存在する区間よりも後の時間に学習区間2を設ける。学習動作及び予測動作においては、学習区間1、学習区間2の信号に対してそれぞれ独立に計算を行う。学習区間1で学習動作を行った後に予測区間の信号を生成することを前方からの予測と呼び、学習区間2で学習動作を行った後に予測区間の信号を生成することを後方からの予測と呼ぶことにする。予測区間の信号は、学習区間1に近い場合には前方からの予測による値の重みを重く、学習区間2に近い場合には後方からの予測による値の重みを重くなるように適当な演算を行って求めるとよい。
【0061】
また、学習区間は、必ずしも予測区間の前後両方に設ける必要は無い。換言すれば、予測処理部44aは、予測区間(動作時に雑音を発生するコンポーネントが動作している期間)の前後少なくとも一方の期間を学習区間とし、この学習区間の音声信号に基づいて生成される音声信号により予測区間の音声信号を置換すればよい。
【0062】
次に、図9を参照してMUTE処理の詳細について説明する。図9において、横軸は時間であり、縦軸はマイク7の出力電圧である。図9(a)はメカ駆動音と被写体音を合わせて取得された音声信号を、図9(b)は図9(a)のメカ駆動音の存在する近傍を拡大した音声信号を、それぞれ示す。図9(c)は図9(a)の音声信号をMUTE処理によって処理した後の音声信号を、図9(d)は図9(c)のMUTE処理した近傍を拡大した音声信号を、それぞれ示す。
【0063】
図9(a)に示すように、被写体音が存在する時間で必ずしもメカ駆動音が発生するとは限らない。図9(a)の例では被写体音が途切れた箇所でメカ駆動音が発生した例を示している。メカ駆動音の発生部分を拡大した図9(b)を見ると明らかなように、メカ駆動音の直前、直後には被写体音が存在していない。メカ駆動音が発生するタイミングはカメラシステム制御回路25から知ることができるので、その前後の信号のパワーを観測することで、被写体音の有無を知ることができる。例えば、メカ駆動音が発生する前後0.1秒程度の区間の信号をフーリエ変換するなどして、パワースペクトルの推定を行えばよい。前述のパワーが十分に小さいと判断できれば、前述した予測処理に代わってMUTE処理でメカ駆動音発生区間の信号を処理する。このMUTE処理は、前述した予測処理に比べて演算量を減らすことが可能となる。
【0064】
図9(c)に、MUTE処理を行った後の信号を示した。MUTE処理は、少なくともメカ駆動音発生区間を包含するように必要最小限の区間に対して適用される。図9(c)及び図9(d)に示すように、MUTE処理を行っても被写体音に影響を与えることなく処理を行うことができる。前述したように、場面によっては、MUTE処理を行うことで簡単に高品位な音声を得ることができる。
【0065】
図9で説明したMUTE処理においては、メカ駆動音発生区間中に被写体音が無いことを予測しているので、その時間が短いほうが都合がよい。即ち、前述の予測処理と同様に、フルステップ駆動のような駆動方法と組み合わせると効果的である。
【0066】
以上説明したように、本実施形態によれば、音声処理回路26はカメラシステム制御回路25による制御に従い、絞り駆動部9cのフルステップ駆動(動作の期間が短い)の場合は予測処理(場合によってはMUTE処理)を選択し、絞り駆動部9cのマイクロステップ駆動(動作の期間が長い)の場合はフィルタ処理を選択する。このように、本実施形態によれば、音声信号に含まれる雑音を低減する処理を、動作時に雑音を発生するコンポーネントの種類、及び動作の期間の長さに基づいて選択することが可能である。
【0067】
[第2の実施形態]
第2の実施形態では、動作の期間が短い場合であっても、雑音を発生するコンポーネントの種類によっては、フィルタ処理が選択される場合について詳細に説明する。第2の実施形態において、特に断らない限り、撮像装置1の構成等は第1の実施形態と同様である。
【0068】
図10は、第2の実施形態に係る、雑音処理方法の選択の流れを示すフローチャートである。図10において、図3と同様の処理が行われるステップには同一の符号を付し、その説明を省略する。
【0069】
カメラシステム制御回路25が操作ボタン(不図示)を介して、動画撮影/音声記録開始の指示を受信すると、カメラシステム制御回路25は、S201において動画撮影を開始する。
【0070】
S203で、カメラシステム制御回路25は、例えば画像処理回路21を用いて撮像面の輝度信号を適当に信号処理することにより、輝度の測定を行う。S205で、カメラシステム制御回路25は、S203で求めた輝度を基に絞り駆動部9cの動作が必要か否かを判断する。撮像素子6が飽和しそうな場合には絞りを絞る側に、撮像素子6のS/N比が低下するほどに輝度が低い場合には絞りを開く側に、絞りを動作させる必要がある。絞り動作が必要と判断されると処理はS103に進み、不要と判断されると処理はS217に進む。
【0071】
S103乃至S111の処理は、第1の実施形態と同様である。簡単に説明すると、絞り駆動においては、動作期間が所定の時間(例えば0.5秒)よりも短い場合(フルステップ駆動の場合)には、雑音処理のために前述の予測処理が実行される。また、動作期間が所定の時間(例えば0.5秒)よりも長い場合(マイクロステップ駆動の場合)には、雑音処理のために前述のフィルタ処理が実行される。
【0072】
S217で、カメラシステム制御回路25は、動画撮影処理のために必要なコンデンサA(不図示)へのチャージの実行の要否を確認する。チャージが必要な場合、処理はS219に進み、カメラシステム制御回路25はコンデンサAのチャージを実行する。コンデンサAのチャージには、約3秒から4秒の時間がかかり、その間、所定の周波数(例えば10kHz)の雑音が発生する。そのため、カメラシステム制御回路25は、動画撮影中にコンデンサAがチャージされると、S225で、ノッチフィルタにより10kHzの音声信号を低減させるようにする。ちなみに、この種の雑音は、回路のコンデンサAとコイルとによる共振周波数の音である。カメラシステム制御回路25は、選択した雑音処理を実行するように音声処理回路26を制御する。
【0073】
S227では、カメラシステム制御回路25は、ユーザからの操作の有無を判断する。操作が無い場合、処理はS203に戻り、上述の動作が繰り返される。操作が有る場合、処理はS229に進む。
【0074】
S229で、カメラシステム制御回路25は、ユーザがズーム操作を行ったか否かを判断する。ズーム操作を行った場合には、処理はS231に進み、カメラシステム制御回路25はズーム動作を行う。そしてS233で、カメラシステム制御回路25は、雑音処理としてフィルタ処理を選択する。カメラシステム制御回路25は、選択した雑音処理を実行するように音声処理回路26を制御する。
【0075】
S235では、カメラシステム制御回路25は、コンデンサB(不図示)へのチャージの実行の要否を確認する。コンデンサBのチャージは、例えば、ユーザの指示によりモニタの再表示や、静止画用のフラッシュ発光などが行われ、チャージされた電荷が一時的に解放された場合に必要となる。チャージが必要な場合、S237で、カメラシステム制御回路25はコンデンサBのチャージを実行する。コンデンサBへのチャージには、0.2秒から0.5秒程度の時間がかかり、その間、コンデンサAと同様又は異なる周波数(例えば10kHz又は12kHz)の雑音が発生する。そのため、S241で、カメラシステム制御回路25は、ノッチフィルタにより10kHz又は12kHzの音声信号を低減させるようにフィルタ処理を選択する。カメラシステム制御回路25は、選択した雑音処理を実行するように音声処理回路26を制御する。
【0076】
S243では、カメラシステム制御回路25は、ユーザが撮影終了の操作を行ったか否かを判断する。撮影を終了する操作があった場合には、処理はS245に進み、カメラシステム制御回路25は動画撮影/音声記録を終了する。そうでない場合、処理はS203に戻り、上述の動作が繰り返される。
【0077】
図10のS237及びS241から理解できるように、本実施形態の撮像装置1は、コンデンサのチャージに起因する雑音については、絞り駆動部9cの場合とは異なり、動作期間が短い場合であってもフィルタ処理を行う。というのも、コンデンサ(第2のコンポーネント)の動作に起因する雑音は、絞り駆動部9c(第1のコンポーネント)の動作に起因する雑音に比べて、フィルタ処理による低減に適した性質を持つからである。また、予測処理の演算負荷はフィルタ処理の演算負荷よりも大きいが、コンデンサ等のコンポーネントについては動作期間が短くてもフィルタ処理を実行することで、撮像装置1の演算負荷を低減することができる。更に、予測処理の場合と異なり、雑音発声期間の被写体音をある程度残すことができる。
【0078】
以上説明したように、本実施形態によれば、カメラシステム制御回路25は、絞り駆動部9cのフルステップ駆動(動作の期間が短い)の場合は予測処理(場合によってはMUTE処理)を選択し、絞り駆動部9cのマイクロステップ駆動(動作の期間が長い)の場合はフィルタ処理を選択する。一方、コンデンサのチャージ動作の場合、カメラシステム制御回路25は、動作期間の長短に関わらずフィルタ処理を選択する。このように、本実施形態によれば、音声信号に含まれる雑音を低減する処理を、動作時に雑音を発生するコンポーネントの種類、及び動作の期間の長さに基づいて選択することが可能である。
【0079】
なお、本実施形態では、コンデンサA及びコンデンサBはそれぞれ別個のコンデンサであるように説明したが、同じコンデンサに対して異なる時間のチャージを実行する場合に対しても本実施形態を適用可能である。
【0080】
また、ズーム動作の場合は常にフィルタ処理が実行されたが(S231及びS233参照)、雑音発生時間が短い場合に予測処理を実行し、長い場合にはフィルタ処理を実行するようにしてもよい。更に、焦点レンズ駆動部9aについては、例えば、雑音発生時間の長短に関わらずフィルタ処理を実行するようにしてもよい。一例として、フィルタ処理による低減に適した性質を持つ雑音を発生するコンポーネントの場合には、動作期間の長短に関わらずフィルタ処理を実行すると、被写体音をそれほど損なわずに効果的に雑音を低減することができる。また、そのようなコンポーネントについては動作期間が短い場合でも予測処理ではなくフィルタ処理が選択されるので、撮像装置1の演算負荷が低減される。
【0081】
(変形例)
上述の各実施形態では、撮像装置1は、動画撮影時に雑音処理を行った。しかしながら、動画撮影時には雑音処理を行わずに音声信号を記録し、後で雑音処理を実行するように撮像装置1を構成してもよい。具体的には、例えば、撮像装置1は、音声信号を記録する際に、雑音を発生する各コンポーネントの種類及び動作タイミングを併せて記録する。そして、例えば音声信号の再生時に、撮像装置1は、記録された各コンポーネントの種類及び動作タイミングに基づき、図10を参照して説明したような雑音処理を実行する。この場合、例えばS217は「コンデンサAの動作タイミング?」と読み替え、S219は省略するなど、図10のフローチャートを適宜修正すればよい。また、撮像装置1自身ではなく、音声信号の取得時の各コンポーネントの種類及び動作タイミングを示す情報(動作情報)を伴う音声信号を撮像装置1から取得するPC等が雑音処理を実行してもよい。この場合、撮像装置1は音声信号取得装置として機能し、PCが音声信号処理装置として機能する。
【0082】
[その他の実施形態]
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
【技術分野】
【0001】
本発明は、音声信号処理装置、及びその制御方法に関し、特に、音声信号に含まれる雑音を低減する音声信号処理装置、及びその制御方法に関する。
【背景技術】
【0002】
従来、音声信号処理装置として、動画撮影をすることができるカメラなどの撮像装置が知られている。これらの撮像装置は、動画撮影のために、例えばレンズや絞りなどの、撮像装置に組み込まれた駆動部を駆動させる。その際に発生する駆動雑音は、音声信号に混入してしまい、ユーザの求めない音声が記録されてしまうことがある。このような課題を解決するために、従来、さまざまな提案がなされている。
【0003】
特許文献1では、電子カメラは、光学系の調整のためのモータの動作時間に応じて雑音処理手法を切り替える。これにより、モータの動作時間に応じた雑音処理が行われ、高品位な音声を得ることができる。具体的には、電子カメラは、モータの動作時間が長い場合にはローパスフィルタにより雑音を低減し、モータの動作時間が短い場合にはモータの動作の直前の音声を雑音発生期間の音声に対して重畳する処理を行う。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−203376号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1では、モータの動作時間は考慮されているが、雑音の発生源の種類は考慮されていない。即ち、電子カメラは、雑音の発生源の種類に関わらず、単に動作時間の長短に応じて雑音処理の種類を切り替える。従って、雑音処理の切り替えに関する柔軟性が限られていた。
【0006】
本発明はこのような状況に鑑みてなされたものであり、音声信号に含まれる雑音を低減する処理を、動作時に雑音を発生するコンポーネントの種類、及び動作の期間の長さに基づいて選択する技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するために、第1の本発明は、動作時に雑音を発生する複数のコンポーネントの動作を制御可能な音声信号処理装置であって、前記音声信号処理装置の周囲の音声を集音することにより音声信号を取得する取得手段と、前記複数のコンポーネントのいずれかが動作している期間に取得された前記音声信号に対して、当該動作により発生する雑音に対応する周波数の信号を低減するフィルタ処理、又は、当該動作の期間の前後少なくとも一方の期間に取得された前記音声信号に基づいて生成される音声信号により当該動作の期間に取得された前記音声信号を置換する予測処理を適用することにより、前記音声信号に含まれる雑音を低減する低減手段と、を備え、前記低減手段は、前記動作に係るコンポーネントの種類、及び前記動作の期間の長さに基づいて、前記フィルタ処理又は前記予測処理を選択することを特徴とする音声信号処理装置を提供する。
【0008】
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
【発明の効果】
【0009】
以上の構成により、本発明によれば、音声信号に含まれる雑音を低減する処理を、動作時に雑音を発生するコンポーネントの種類、及び動作の期間の長さに基づいて選択することが可能となる。
【図面の簡単な説明】
【0010】
【図1】第1の実施形態に係る撮像装置1、及びこれに接続される撮像レンズ2の断面図
【図2】撮像装置1及び撮像レンズ2の電気的構成を示すブロック図
【図3】第1の実施形態に係る、雑音処理方法の選択の流れを示すフローチャート
【図4】ステッピングモータの励磁方法を説明する図
【図5】音声処理回路26の詳細な構成を示すブロック図
【図6】絞り駆動部9cの駆動方法と取得される音声信号との関係を説明する図
【図7】フィルタ処理の詳細について説明する図
【図8】予測処理の詳細について説明する図
【図9】MUTE処理の詳細について説明する図
【図10】第2の実施形態に係る、雑音処理方法の選択の流れを示すフローチャート
【発明を実施するための形態】
【0011】
以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。
【0012】
以下の各実施形態では、本発明の音声信号処理装置を適用可能な装置の一例として、動画撮影が可能な撮像装置について説明する。しかしながら、動画撮影は必須ではなく、例えば、周囲の音声を集音可能なボイスレコーダなどに本発明の音声信号処理装置を適用することもできる。更に、撮像装置やボイスレコーダなどが取得した音声信号を処理するパーソナルコンピュータ(PC)などに本発明の音声信号処理装置を適用することもできる。
【0013】
また、以下の各実施形態では、動作時に雑音を発生するコンポーネントとして光学系駆動部及びコンデンサを例に挙げるが、コンポーネントの種類はこれに限定されず、例えばハードディスクドライブが含まれてもよい。本発明の音声信号処理装置は、そのようなコンポーネントの動作を制御可能である。
【0014】
[第1の実施形態]
図1は、第1の実施形態に係る撮像装置1、及びこれに接続される撮像レンズ2の断面図である。但し、撮像レンズ2は、撮像装置1に対して着脱可能であってもよいし、撮像装置1と一体化されていてもよい。図1において、3は撮影光学系を、4は撮像レンズ2の光軸を、5はレンズ鏡筒を、6は撮像素子を、7は撮像装置1に設けられたマイクを、8はレンズ制御を行う基板を、9は撮影光学系3の調整のための光学系駆動部を、それぞれ示す。また、10は撮像装置1と撮像レンズ2とをつなぐ接点を、11はいわゆるクイックリターンミラーを、12はAE/AFセンサを含む焦点/露出検出部を、それぞれ示す。
【0015】
撮像装置1は、撮像レンズ2と焦点/露出検出部12とを用いて、焦点/露出検出を行うと共に撮影光学系3の一部を駆動させることにより撮影光学系3の調整を行い、光学像を撮像素子6の近傍に結像させると共に適正な露光になるように絞りを動作させる。詳細な動作は、図2のブロック図を用いて説明する。また、撮像装置1は、ユーザによる不図示のレリーズ釦の操作と同期させて撮像素子6より被写体の情報を得て、メモリカード等の記録媒体へ記録を行う。
【0016】
図2は、撮像装置1及び撮像レンズ2の電気的構成を示すブロック図である。撮像装置1は、撮像系、画像処理系、音声処理系、記録再生系、及び制御系を有する。撮像系は、撮像レンズ2及び撮像素子6を含み、画像処理系は、A/D変換器20及び画像処理回路21を含み、音声処理系は、マイク7及び音声処理回路26を含む。また、記録再生系は、記録処理回路23及び記録媒体24を含み、制御系は、カメラシステム制御回路25、焦点/露出検出部12、操作検出回路27、レンズシステム制御回路28、及び光学系駆動部9を含む。光学系駆動部9は、焦点レンズ駆動部9a、ブレ補正駆動部9b、及び絞り駆動部9cなどを含む。
【0017】
撮像系は、物体からの光を、撮像レンズ2を介して撮像素子6の撮像面に結像する光学処理系である。エイミングなどの撮影予備動作中は、クイックリターンミラー11に設けられたミラーを介して、焦点/露出検出部12にも光束の一部が導かれる。また、後述するように制御系によって適切に撮像レンズ2が調整されることで、適切な光量の物体光を撮像素子6に露光するとともに、撮像素子6の近傍で被写体像が結像する。
【0018】
画像処理回路21は、A/D変換器20を介して撮像素子6から受けた撮像素子の画素の画像信号を処理する信号処理回路であり、ホワイトバランス回路、ガンマ補正回路、補間演算による高解像度化を行う補間演算回路等を有する。
【0019】
音声処理系は、マイク7の信号に対して音声処理回路26によって適切な処理を施して録音用音声信号を生成する。録音用音声信号は後述する記録処理回路23により画像とリンクして圧縮処理される。
【0020】
記録処理回路23は、記録媒体24への画像信号の出力を行うとともに、表示部22に出力する像を生成、保存する。また、記録処理回路23は、予め定められた方法を用いて画像、動画、音声などの圧縮を行う。
【0021】
カメラシステム制御回路25は、撮像の際のタイミング信号などを生成して出力する。焦点/露出検出部12は、撮像装置1のピント状態及び被写体の輝度を検出する。レンズシステム制御回路28は、カメラシステム制御回路25の信号に応じて適切に撮像レンズ2を駆動させて光学系の調整を行う。
【0022】
制御系は、外部操作に応じて、撮像系、画像処理系、及び記録再生系をそれぞれ制御する。例えば、不図示のシャッターレリーズ釦の押下を操作検出回路27が検出すると、制御系は、撮像素子6の駆動、画像処理回路21の動作、記録処理回路23の圧縮処理などを制御する。更に、制御系は、表示部22によって、光学ファインダーや液晶モニタなどに情報表示を行うために、情報表示装置の各セグメントの状態を制御する。
【0023】
制御系による光学系の調整動作について説明する。カメラシステム制御回路25には焦点/露出検出部12が接続されており、ここからの信号を基に適切な焦点位置及び絞り位置を求める。カメラシステム制御回路25は、電気接点10を介してこれらの位置をレンズシステム制御回路28に指示し、レンズシステム制御回路28は、焦点レンズ駆動部9a及び絞り駆動部9cを適切に制御する。更に、レンズシステム制御回路28には不図示の手ぶれ検出センサが接続されており、手ぶれ補正を行うモードにおいては、手ぶれ検出センサの信号を基にブレ補正駆動部9bを適切に制御する。
【0024】
図3から図6を用いて、絞り駆動部9cの駆動方法と雑音処理の選択方法との関係、及び、被写体が発する音(以下、被写体音)と絞り駆動部9cが発する不要な音(以下、メカ駆動音)との関係について説明する。なお、この雑音処理の選択は、動画撮影を実行している間に行われるものである。
【0025】
図3は、第1の実施形態に係る、雑音処理方法の選択の流れを示すフローチャートである。本実施形態においては、説明を簡単にするために、光学系駆動部9の例として絞り駆動部9cを用いて説明を行う。本実施形態の絞り駆動部9cは、撮像レンズ2内に設けられたステッピングモータを駆動源としている。前述したように、カメラシステム制御回路25は、必要に応じて光学系の調整動作を行う。このときに、カメラシステム制御回路25は、適当な駆動方法を選択すると共に、それに応じた雑音処理方法を図3のフローチャートに従って選択する。
【0026】
S101で、カメラシステム制御回路25は、駆動方法及び雑音処理方法の選択を開始する。S102で、カメラシステム制御回路25は、装着された撮像レンズ2の絞り駆動部9cがマイクロステップ駆動可能であるか否かを判断する。可能か否かの情報は、撮像装置1に対して撮像レンズ2が装着された後に、撮像装置1が適当なタイミングで電気接点10を介して撮像レンズ2と通信を行い取得する。装着された撮像レンズ2がマイクロステップでの駆動が可能であれば処理はS103に進み、そうでない場合は処理はS105に進む。
【0027】
S103で、カメラシステム制御回路25は、ユーザの設定に応じて絞り駆動部9cの駆動速度を判断する。例えば、動画撮影時において日陰から日なたに被写体が高速で移動するような場面では、被写体の輝度が大きく変化する。この場合などは、絞りを高速に駆動したい。一方で、被写界深度の変化を抑えて撮影を行いたい場合などには、絞りを低速に駆動したい。これらはユーザによるモード等の設定によって判断される。S103では、カメラシステム制御回路25は、撮影設定を参照して絞り駆動部9cの駆動速度を判断する。
【0028】
S102でマイクロステップが不可能であると判断された場合、及びS103で高速駆動が選択された場合には、処理はS105に進み、カメラシステム制御回路25は、絞り駆動部9cの駆動方法としてフルステップ駆動を選択する。次いで、S107で、カメラシステム制御回路25は、雑音処理方法として予測処理(詳細は後述)を選択する。その理由は、予測処理による雑音処理は、例えば0.5秒等の短い雑音に対して特に有効であるためである。カメラシステム制御回路25は、選択した雑音処理を実行するように音声処理回路26を制御する。
【0029】
S103で低速駆動が選択された場合には、処理はS109に進み、カメラシステム制御回路25は、絞り駆動部9cの駆動方法としてマイクロステップ駆動を選択する。次いで、S111で、カメラシステム制御回路25は、雑音処理方法としてフィルタ処理(詳細は後述)を選択する。その理由は、予測処理による雑音処理は、例えば0.5秒等の短い雑音に対して特に有効である反面、それよりも長い雑音に対してはあまり有効でないからである。そして、マイクロステップ駆動による雑音であれば、雑音の音量も小さいため、発生する雑音の周波数を例えばローパスフィルタなどで低減させるようにすれば、雑音を十分に低減することができるからである。カメラシステム制御回路25は、選択した雑音処理を実行するように音声処理回路26を制御する。
【0030】
ところで、図3のフローチャートでは、一例として、雑音の発生源である絞り駆動部9cの動作の期間が長い(閾値以上)場合(マイクロステップ駆動で動作する場合)はフィルタ処理が選択された。また、動作の期間が短い(閾値未満)場合(フルステップ駆動で動作する場合)は予測処理が選択された。しかしながら、後述する第2の実施形態において詳述するように、動作の期間が短い場合であっても、雑音を発生するコンポーネントの種類によっては、フィルタ処理が選択される場合もある。従って、図3における雑音処理方法の選択処理は、雑音を発生するコンポーネントが絞り駆動部9cであることも加味されている。換言すれば、動作時に雑音を発生するコンポーネントの種類、及び動作の期間の長さに基づいて雑音処理方法を選択している。
【0031】
次に、図4を参照して、絞り駆動部9cの駆動方法の詳細について説明する。図4は、ステッピングモータの励磁方法を説明する図である。図4において、横軸は時間、縦軸は電圧を示す。
【0032】
図4(a)はいわゆるフルステップ駆動の励磁方法を示し、図4(b)はいわゆるマイクロステップ駆動の励磁方法を示す。いずれの駆動方法であっても、ステッピングモータの励磁波形は、A相及びB相の電圧は90度位相がずれている。A相及びB相のいずれの位相が進んでいるかによって回転方向が決定される。図4(a)に示したフルステップ駆動においては、A相及びB相はそれぞれ2つの電圧状態を往復するように電圧が変化する。フルステップ駆動において、A相又はB相の電圧が切り替わったときに回転する量がいわゆる1ステップの駆動量である。1ステップの駆動による回転角は、ステッピングモータの構造によって異なる。フルステップ駆動の特徴として、2つのコイルに対して同時に電圧を印加しているので駆動トルクが大きい、ということが挙げられる。そのため、回転数を上げてもいわゆる脱調がおきにくいという特徴がある。
【0033】
図4(b)に示したマイクロステップ駆動においては、A相及びB相はフルステップ駆動の電圧の間にいくつかの状態を設けて段階的に電圧が変化する。マイクロステップ駆動の特徴として、1ステップをいくつかの区間に区切って駆動が可能となる、ということが挙げられる。そのため、精密な位置決めを行う場合に向くという特徴がある。
【0034】
図4を用いて説明したように、高速で大きく動かすときにはフルステップ駆動が、低速で細かく動かすときにはマイクロステップ駆動が向いていることが分かる。撮像装置1においては、図3で説明したように撮影シーンなどに合わせて適切な駆動方法が選択される。
【0035】
次に、図5を参照して、音声処理回路26の詳細な構成について説明する。図5において、41はゲイン調整部、42はフィルタ、43はA/D変換器、44は雑音処理部、45はフィルタである。
【0036】
マイク7から得られた信号はゲイン調整部41に供給される。ゲイン調整部41は、A/D変換器43のダイナミックレンジが十分に活用できるようにマイク7の信号レベルを調整する。つまり、マイク7の信号レベルが小さいときはゲインアップして信号を増幅し、マイク7の信号レベルが大きいときはゲインを下げて飽和を防ぐ。フィルタ42は、A/D変換器43のサンプリング周波数を考慮して適切なカットオフ周波数を持つローパスフィルタなどで構成される。マイク7が特定の周波数の音を発生する素子の近傍にある場合などは、フィルタ42は前述のローパスフィルタに加えて適当なノッチフィルタを含む場合もある。A/D変換器43は、ゲイン調整部41及びフィルタ42で処理された信号をデジタルに変換する。
【0037】
雑音処理部44は、複数の雑音処理部で構成されている。図5の例では、雑音処理部44は、予測処理部44a,フィルタ処理部44b,及びMUTE処理部44cを含む。雑音処理部44は、カメラシステム制御回路25により動作が制御される。雑音処理部44は、カメラシステム制御回路25からの指令に応じて、複数の雑音処理を選択的に又は組み合わせて実行することができる。フィルタ45は、音声信号に対して雑音処理を行った後に必要であれば適当なフィルタ処理を施すためのフィルタである。フィルタ45におけるフィルタ処理は、不要であれば省略することもできる。
【0038】
図5において「雑音処理」という言葉を用いているが、ここでいう「雑音処理」というのは前述のメカ駆動音(或いは、コンデンサ等の動作により発生する動作音)を低減する処理を指していて、ホワイトノイズの低減などを指すものではない。
【0039】
メカ駆動音の有無と音声処理回路26の動作との関係について詳述する。メカ駆動音が存在しないときは、雑音処理部44はどの雑音処理も実行しないように設定され、音声信号が通過する。また、フィルタ45も同様に動作しない。このときは、A/D変換器43が変換した音声信号そのものが録音用音声信号としてカメラシステム制御回路25へ送出される。メカ駆動音が存在する場合の処理方法については後述する。
【0040】
図6は、絞り駆動部9cの駆動方法と取得される音声信号との関係を説明する図である。図6において、横軸は時間であり、縦軸はマイク7の出力電圧である。図6は被写体音として音声信号があるときに、絞り駆動部9cを動作させたときの例を示している。図6(a)は絞り駆動部9cをフルステップ駆動したときを、図6(b)は絞り駆動部をマイクロステップ駆動したときを、それぞれ示している。図6(a)及び図6(b)を比較すると明らかなように、フルステップ駆動においては、被写体音に対してメカ駆動音が影響を与える時間は短いが、メカ駆動音の単位時間当たりの影響は大きくなる。一方で、マイクロステップ駆動においては、被写体音に対してメカ駆動音が影響を与える時間は長いが、メカ駆動音の単位時間当たりの影響は小さくなる。
【0041】
図7を参照して、フィルタ処理の詳細について説明する。図7において、横軸は時間であり、縦軸はマイク7の出力電圧である。図7(a)は、絞り駆動部9cをマイクロステップ駆動したときに取得される音声信号を、図7(b)は、図7(a)の音声信号をローパスフィルタで処理をした音声信号を、それぞれ示す。また、図7(c)は、絞り駆動部9cをフルステップ駆動したときに取得される音声信号を、図7(d)は、図7(c)の音声信号をローパスフィルタで処理をした音声信号を、それぞれ示す。なお、フィルタの例としてローパスフィルタを挙げたが、絞り駆動部9cなどのコンポーネントが動作時に発生する雑音に対応する周波数の信号を低減するフィルタであれば、どのようなフィルタを用いてもよい。
【0042】
マイクロステップ駆動においては、発生するメカ駆動音が小さいために、図7(a)の音声信号をローパスフィルタ処理した図7(b)の音声信号ではメカ駆動音の影響が十分に低減され、高品位な被写体音が得られている。一方で、フルステップ駆動ではメカ駆動音が大きいために、図7(c)の音声信号をローパスフィルタ処理した図7(d)の音声信号ではメカ駆動音の成分が相変わらず多く残ってしまう。また、ローパスフィルタを多重に適用するなどの処理を行っても、メカ駆動音にも被写体音と同じ帯域の信号が含まれているので、高品位な被写体音を得るのは容易ではない。
【0043】
図7で説明したように、光学系駆動部9の駆動方法によっては、適当なフィルタ処理を施すことで高品位な被写体音が得られる。一方で、フィルタ処理を施すことでは高品位な被写体音が得られない駆動方法も存在する。
【0044】
次に、図8を参照して、予測処理の詳細について説明する。図8において、横軸は時間であり、縦軸はマイク7の出力電圧である。図8(a)は、メカ駆動音が存在し且つ被写体音が相対的に小さい場合の音声信号を、図8(b)は、図8(a)の音声信号を予測処理で処理をする途中の段階を、図8(c)は、図8(a)の音声信号を予測処理で処理した後の音声信号を、それぞれ示す。
【0045】
本実施形態では、音声処理回路26は、絞り駆動部9cをフルステップ駆動したときのメカ駆動音が存在する区間に対して、予測処理によって雑音処理を行う。予測処理においては、予測処理部44aは、まず図8(b)に示すようにメカ駆動音が存在する区間の信号を破棄する。次に、予測処理部44aは後述するように学習動作と予測動作を行い、予測動作により求めた信号でメカ駆動音が存在する区間(予測区間)の信号を埋める(図8(c)参照)。
【0046】
このように、予測処理は、予測区間の元の信号を捨てる、予測区間の前後の学習区間の信号に基づいて信号を生成するという特徴と持つ。このため、予測処理は、フィルタ処理に比べて予測区間のメカ駆動音の大きさは問題にならない、予測区間は短いほうが性能がよいという特徴を持つ。そのため、本実施形態で示すように、フルステップ駆動のような駆動方法と組み合わせた場合に効果を発揮する。
【0047】
本実施形態の予測処理に用いる、線形予測係数の導出(学習動作)、及び線形予測係数を用いた信号の予測(予測動作)について説明する。線形予測を用いるにあたっては、現在の信号とこれに隣接する有限個(ここではp個とする)の標本値との間に次のような線形1次結合関係を仮定する。
【0048】
【数1】
【0049】
但し、数1において、εtは平均値0、分散σ2の互いに無相関な確率変数である。ここでxtが過去の値から予測されるように式を変形すると、次のようになる。
【0050】
【数2】
【0051】
数2によると、εtが十分に小さければ、近傍p個の線形和によって現在の値が表現される。xtを上記の予測によって求めた後、更にその近似が十分によければxt+1も同じく近傍p個の線形和によって求められる。このようにεtを十分に小さくすることができれば順次値を予測して信号を求めることができる。そこでεtを最小にするようなαiの求め方を考える。本発明ではεtを最小にするようなαiを求める動作を学習動作と呼ぶ。
【0052】
前述した学習区間においてεtの2乗和を最小化すればよい。学習の開始時刻をt0、終了時刻をt1とすると、次のようになる。
【0053】
【数3】
【0054】
但し、α0=1である。ここで式を簡単にするために、
【0055】
【数4】
【0056】
とする。数3を最小化するようにαiを決めるためには、数3のαj(j=1,2,...,p)に関する偏微分を0として解けばよい。
【0057】
【数5】
【0058】
数5は、p個の線形連立1次方程式を解けばαiを決定できることを示している。数5のうちcijはxt−i(i=1,2,...,p)から求めることができる。即ち、数5からαiを求めることができる。
【0059】
数5に従ってαiを決定した場合、εtの2乗和は最小化されている。このとき数2より、xtの値はx^tで良い近似を与えることができる。この近似が十分に良いものであれば、xtの代わりにx^tを予測信号として用いることができる。更にxt+1についても同様に近傍のp−1個と予測によって求めた信号から近似値を得ることができる。これを順次繰り返すことで予測区間の信号を生成することができる。本発明では、求められたαiから予測区間の近似を求める動作を予測動作と呼ぶ。
【0060】
学習動作と予測動作の一例について詳細に説明する。図8に示すように、学習動作を行うに当たっては予測区間の前後の近傍の信号を用いる。これは音声信号が極短時間の領域に着目すると比較的繰り返し性が高い性質を利用している。図8のように、メカ駆動音が存在する区間よりも前の時間に学習区間1を、メカ駆動音が存在する区間よりも後の時間に学習区間2を設ける。学習動作及び予測動作においては、学習区間1、学習区間2の信号に対してそれぞれ独立に計算を行う。学習区間1で学習動作を行った後に予測区間の信号を生成することを前方からの予測と呼び、学習区間2で学習動作を行った後に予測区間の信号を生成することを後方からの予測と呼ぶことにする。予測区間の信号は、学習区間1に近い場合には前方からの予測による値の重みを重く、学習区間2に近い場合には後方からの予測による値の重みを重くなるように適当な演算を行って求めるとよい。
【0061】
また、学習区間は、必ずしも予測区間の前後両方に設ける必要は無い。換言すれば、予測処理部44aは、予測区間(動作時に雑音を発生するコンポーネントが動作している期間)の前後少なくとも一方の期間を学習区間とし、この学習区間の音声信号に基づいて生成される音声信号により予測区間の音声信号を置換すればよい。
【0062】
次に、図9を参照してMUTE処理の詳細について説明する。図9において、横軸は時間であり、縦軸はマイク7の出力電圧である。図9(a)はメカ駆動音と被写体音を合わせて取得された音声信号を、図9(b)は図9(a)のメカ駆動音の存在する近傍を拡大した音声信号を、それぞれ示す。図9(c)は図9(a)の音声信号をMUTE処理によって処理した後の音声信号を、図9(d)は図9(c)のMUTE処理した近傍を拡大した音声信号を、それぞれ示す。
【0063】
図9(a)に示すように、被写体音が存在する時間で必ずしもメカ駆動音が発生するとは限らない。図9(a)の例では被写体音が途切れた箇所でメカ駆動音が発生した例を示している。メカ駆動音の発生部分を拡大した図9(b)を見ると明らかなように、メカ駆動音の直前、直後には被写体音が存在していない。メカ駆動音が発生するタイミングはカメラシステム制御回路25から知ることができるので、その前後の信号のパワーを観測することで、被写体音の有無を知ることができる。例えば、メカ駆動音が発生する前後0.1秒程度の区間の信号をフーリエ変換するなどして、パワースペクトルの推定を行えばよい。前述のパワーが十分に小さいと判断できれば、前述した予測処理に代わってMUTE処理でメカ駆動音発生区間の信号を処理する。このMUTE処理は、前述した予測処理に比べて演算量を減らすことが可能となる。
【0064】
図9(c)に、MUTE処理を行った後の信号を示した。MUTE処理は、少なくともメカ駆動音発生区間を包含するように必要最小限の区間に対して適用される。図9(c)及び図9(d)に示すように、MUTE処理を行っても被写体音に影響を与えることなく処理を行うことができる。前述したように、場面によっては、MUTE処理を行うことで簡単に高品位な音声を得ることができる。
【0065】
図9で説明したMUTE処理においては、メカ駆動音発生区間中に被写体音が無いことを予測しているので、その時間が短いほうが都合がよい。即ち、前述の予測処理と同様に、フルステップ駆動のような駆動方法と組み合わせると効果的である。
【0066】
以上説明したように、本実施形態によれば、音声処理回路26はカメラシステム制御回路25による制御に従い、絞り駆動部9cのフルステップ駆動(動作の期間が短い)の場合は予測処理(場合によってはMUTE処理)を選択し、絞り駆動部9cのマイクロステップ駆動(動作の期間が長い)の場合はフィルタ処理を選択する。このように、本実施形態によれば、音声信号に含まれる雑音を低減する処理を、動作時に雑音を発生するコンポーネントの種類、及び動作の期間の長さに基づいて選択することが可能である。
【0067】
[第2の実施形態]
第2の実施形態では、動作の期間が短い場合であっても、雑音を発生するコンポーネントの種類によっては、フィルタ処理が選択される場合について詳細に説明する。第2の実施形態において、特に断らない限り、撮像装置1の構成等は第1の実施形態と同様である。
【0068】
図10は、第2の実施形態に係る、雑音処理方法の選択の流れを示すフローチャートである。図10において、図3と同様の処理が行われるステップには同一の符号を付し、その説明を省略する。
【0069】
カメラシステム制御回路25が操作ボタン(不図示)を介して、動画撮影/音声記録開始の指示を受信すると、カメラシステム制御回路25は、S201において動画撮影を開始する。
【0070】
S203で、カメラシステム制御回路25は、例えば画像処理回路21を用いて撮像面の輝度信号を適当に信号処理することにより、輝度の測定を行う。S205で、カメラシステム制御回路25は、S203で求めた輝度を基に絞り駆動部9cの動作が必要か否かを判断する。撮像素子6が飽和しそうな場合には絞りを絞る側に、撮像素子6のS/N比が低下するほどに輝度が低い場合には絞りを開く側に、絞りを動作させる必要がある。絞り動作が必要と判断されると処理はS103に進み、不要と判断されると処理はS217に進む。
【0071】
S103乃至S111の処理は、第1の実施形態と同様である。簡単に説明すると、絞り駆動においては、動作期間が所定の時間(例えば0.5秒)よりも短い場合(フルステップ駆動の場合)には、雑音処理のために前述の予測処理が実行される。また、動作期間が所定の時間(例えば0.5秒)よりも長い場合(マイクロステップ駆動の場合)には、雑音処理のために前述のフィルタ処理が実行される。
【0072】
S217で、カメラシステム制御回路25は、動画撮影処理のために必要なコンデンサA(不図示)へのチャージの実行の要否を確認する。チャージが必要な場合、処理はS219に進み、カメラシステム制御回路25はコンデンサAのチャージを実行する。コンデンサAのチャージには、約3秒から4秒の時間がかかり、その間、所定の周波数(例えば10kHz)の雑音が発生する。そのため、カメラシステム制御回路25は、動画撮影中にコンデンサAがチャージされると、S225で、ノッチフィルタにより10kHzの音声信号を低減させるようにする。ちなみに、この種の雑音は、回路のコンデンサAとコイルとによる共振周波数の音である。カメラシステム制御回路25は、選択した雑音処理を実行するように音声処理回路26を制御する。
【0073】
S227では、カメラシステム制御回路25は、ユーザからの操作の有無を判断する。操作が無い場合、処理はS203に戻り、上述の動作が繰り返される。操作が有る場合、処理はS229に進む。
【0074】
S229で、カメラシステム制御回路25は、ユーザがズーム操作を行ったか否かを判断する。ズーム操作を行った場合には、処理はS231に進み、カメラシステム制御回路25はズーム動作を行う。そしてS233で、カメラシステム制御回路25は、雑音処理としてフィルタ処理を選択する。カメラシステム制御回路25は、選択した雑音処理を実行するように音声処理回路26を制御する。
【0075】
S235では、カメラシステム制御回路25は、コンデンサB(不図示)へのチャージの実行の要否を確認する。コンデンサBのチャージは、例えば、ユーザの指示によりモニタの再表示や、静止画用のフラッシュ発光などが行われ、チャージされた電荷が一時的に解放された場合に必要となる。チャージが必要な場合、S237で、カメラシステム制御回路25はコンデンサBのチャージを実行する。コンデンサBへのチャージには、0.2秒から0.5秒程度の時間がかかり、その間、コンデンサAと同様又は異なる周波数(例えば10kHz又は12kHz)の雑音が発生する。そのため、S241で、カメラシステム制御回路25は、ノッチフィルタにより10kHz又は12kHzの音声信号を低減させるようにフィルタ処理を選択する。カメラシステム制御回路25は、選択した雑音処理を実行するように音声処理回路26を制御する。
【0076】
S243では、カメラシステム制御回路25は、ユーザが撮影終了の操作を行ったか否かを判断する。撮影を終了する操作があった場合には、処理はS245に進み、カメラシステム制御回路25は動画撮影/音声記録を終了する。そうでない場合、処理はS203に戻り、上述の動作が繰り返される。
【0077】
図10のS237及びS241から理解できるように、本実施形態の撮像装置1は、コンデンサのチャージに起因する雑音については、絞り駆動部9cの場合とは異なり、動作期間が短い場合であってもフィルタ処理を行う。というのも、コンデンサ(第2のコンポーネント)の動作に起因する雑音は、絞り駆動部9c(第1のコンポーネント)の動作に起因する雑音に比べて、フィルタ処理による低減に適した性質を持つからである。また、予測処理の演算負荷はフィルタ処理の演算負荷よりも大きいが、コンデンサ等のコンポーネントについては動作期間が短くてもフィルタ処理を実行することで、撮像装置1の演算負荷を低減することができる。更に、予測処理の場合と異なり、雑音発声期間の被写体音をある程度残すことができる。
【0078】
以上説明したように、本実施形態によれば、カメラシステム制御回路25は、絞り駆動部9cのフルステップ駆動(動作の期間が短い)の場合は予測処理(場合によってはMUTE処理)を選択し、絞り駆動部9cのマイクロステップ駆動(動作の期間が長い)の場合はフィルタ処理を選択する。一方、コンデンサのチャージ動作の場合、カメラシステム制御回路25は、動作期間の長短に関わらずフィルタ処理を選択する。このように、本実施形態によれば、音声信号に含まれる雑音を低減する処理を、動作時に雑音を発生するコンポーネントの種類、及び動作の期間の長さに基づいて選択することが可能である。
【0079】
なお、本実施形態では、コンデンサA及びコンデンサBはそれぞれ別個のコンデンサであるように説明したが、同じコンデンサに対して異なる時間のチャージを実行する場合に対しても本実施形態を適用可能である。
【0080】
また、ズーム動作の場合は常にフィルタ処理が実行されたが(S231及びS233参照)、雑音発生時間が短い場合に予測処理を実行し、長い場合にはフィルタ処理を実行するようにしてもよい。更に、焦点レンズ駆動部9aについては、例えば、雑音発生時間の長短に関わらずフィルタ処理を実行するようにしてもよい。一例として、フィルタ処理による低減に適した性質を持つ雑音を発生するコンポーネントの場合には、動作期間の長短に関わらずフィルタ処理を実行すると、被写体音をそれほど損なわずに効果的に雑音を低減することができる。また、そのようなコンポーネントについては動作期間が短い場合でも予測処理ではなくフィルタ処理が選択されるので、撮像装置1の演算負荷が低減される。
【0081】
(変形例)
上述の各実施形態では、撮像装置1は、動画撮影時に雑音処理を行った。しかしながら、動画撮影時には雑音処理を行わずに音声信号を記録し、後で雑音処理を実行するように撮像装置1を構成してもよい。具体的には、例えば、撮像装置1は、音声信号を記録する際に、雑音を発生する各コンポーネントの種類及び動作タイミングを併せて記録する。そして、例えば音声信号の再生時に、撮像装置1は、記録された各コンポーネントの種類及び動作タイミングに基づき、図10を参照して説明したような雑音処理を実行する。この場合、例えばS217は「コンデンサAの動作タイミング?」と読み替え、S219は省略するなど、図10のフローチャートを適宜修正すればよい。また、撮像装置1自身ではなく、音声信号の取得時の各コンポーネントの種類及び動作タイミングを示す情報(動作情報)を伴う音声信号を撮像装置1から取得するPC等が雑音処理を実行してもよい。この場合、撮像装置1は音声信号取得装置として機能し、PCが音声信号処理装置として機能する。
【0082】
[その他の実施形態]
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項1】
動作時に雑音を発生する複数のコンポーネントの動作を制御可能な音声信号処理装置であって、
前記音声信号処理装置の周囲の音声を集音することにより音声信号を取得する取得手段と、
前記複数のコンポーネントのいずれかが動作している期間に取得された前記音声信号に対して、当該動作により発生する雑音に対応する周波数の信号を低減するフィルタ処理、又は、当該動作の期間の前後少なくとも一方の期間に取得された前記音声信号に基づいて生成される音声信号により当該動作の期間に取得された前記音声信号を置換する予測処理を適用することにより、前記音声信号に含まれる雑音を低減する低減手段と、
を備え、
前記低減手段は、前記動作に係るコンポーネントの種類、及び前記動作の期間の長さに基づいて、前記フィルタ処理又は前記予測処理を選択する
ことを特徴とする音声信号処理装置。
【請求項2】
前記複数のコンポーネントは、第1のコンポーネントと、前記第1のコンポーネントと比べて前記フィルタ処理による低減に適した雑音を発生する第2のコンポーネントと、を含み、
前記低減手段は、
前記動作に係るコンポーネントが前記第1のコンポーネントである場合、前記動作の期間が閾値以上であれば前記フィルタ処理を選択し、前記動作の期間が前記閾値未満であれば前記予測処理を選択し、
前記動作に係るコンポーネントが前記第2のコンポーネントである場合、前記動作の期間の長短に関わらず前記フィルタ処理を選択する
ことを特徴とする請求項1に記載の音声信号処理装置。
【請求項3】
前記音声信号処理装置は、光学系を備える撮像装置であり、
前記第1のコンポーネントは、前記光学系の駆動部であり、
前記第2のコンポーネントは、コンデンサである
ことを特徴とする請求項2に記載の音声信号処理装置。
【請求項4】
動作時に雑音を発生する複数のコンポーネントの動作を制御可能な音声信号取得装置が取得した音声信号と、前記音声信号取得装置による前記音声信号の取得時の前記複数のコンポーネントそれぞれの種類及び動作タイミングを示す動作情報と、を取得する取得手段と、
前記複数のコンポーネントのいずれかが動作している期間に取得された前記音声信号に対して、当該動作により発生する雑音に対応する周波数の信号を低減するフィルタ処理、又は、当該動作の期間の前後少なくとも一方の期間に取得された前記音声信号に基づいて生成される音声信号により当該動作の期間に取得された前記音声信号を置換する予測処理を適用することにより、前記音声信号に含まれる雑音を低減する低減手段と、
を備え、
前記低減手段は、前記動作情報を参照して、前記動作に係るコンポーネントの種類、及び前記動作の期間の長さに基づいて、前記フィルタ処理又は前記予測処理を選択する
ことを特徴とする音声信号処理装置。
【請求項5】
動作時に雑音を発生する複数のコンポーネントの動作を制御可能な音声信号処理装置の制御方法であって、
前記音声信号処理装置の取得手段が、前記音声信号処理装置の周囲の音声を集音することにより音声信号を取得する取得工程と、
前記音声信号処理装置の低減手段が、前記複数のコンポーネントのいずれかが動作している期間に取得された前記音声信号に対して、当該動作により発生する雑音に対応する周波数の信号を低減するフィルタ処理、又は、当該動作の期間の前後少なくとも一方の期間に取得された前記音声信号に基づいて生成される音声信号により当該動作の期間に取得された前記音声信号を置換する予測処理を適用することにより、前記音声信号に含まれる雑音を低減する低減工程と、
を備え、
前記低減工程において、前記低減手段は、前記動作に係るコンポーネントの種類、及び前記動作の期間の長さに基づいて、前記フィルタ処理又は前記予測処理を選択する
ことを特徴とする制御方法。
【請求項6】
音声信号処理装置の制御方法であって、
前記音声信号処理装置の取得手段が、動作時に雑音を発生する複数のコンポーネントの動作を制御可能な音声信号取得装置が取得した音声信号と、前記音声信号取得装置による前記音声信号の取得時の前記複数のコンポーネントそれぞれの種類及び動作タイミングを示す動作情報と、を取得する取得工程と、
前記音声信号処理装置の低減手段が、前記複数のコンポーネントのいずれかが動作している期間に取得された前記音声信号に対して、当該動作により発生する雑音に対応する周波数の信号を低減するフィルタ処理、又は、当該動作の期間の前後少なくとも一方の期間に取得された前記音声信号に基づいて生成される音声信号により当該動作の期間に取得された前記音声信号を置換する予測処理を適用することにより、前記音声信号に含まれる雑音を低減する低減工程と、
を備え、
前記低減工程において、前記低減手段は、前記動作情報を参照して、前記動作に係るコンポーネントの種類、及び前記動作の期間の長さに基づいて、前記フィルタ処理又は前記予測処理を選択する
ことを特徴とする制御方法。
【請求項7】
コンピュータに、請求項5又は6に記載の制御方法の各工程を実行させるためのプログラム。
【請求項1】
動作時に雑音を発生する複数のコンポーネントの動作を制御可能な音声信号処理装置であって、
前記音声信号処理装置の周囲の音声を集音することにより音声信号を取得する取得手段と、
前記複数のコンポーネントのいずれかが動作している期間に取得された前記音声信号に対して、当該動作により発生する雑音に対応する周波数の信号を低減するフィルタ処理、又は、当該動作の期間の前後少なくとも一方の期間に取得された前記音声信号に基づいて生成される音声信号により当該動作の期間に取得された前記音声信号を置換する予測処理を適用することにより、前記音声信号に含まれる雑音を低減する低減手段と、
を備え、
前記低減手段は、前記動作に係るコンポーネントの種類、及び前記動作の期間の長さに基づいて、前記フィルタ処理又は前記予測処理を選択する
ことを特徴とする音声信号処理装置。
【請求項2】
前記複数のコンポーネントは、第1のコンポーネントと、前記第1のコンポーネントと比べて前記フィルタ処理による低減に適した雑音を発生する第2のコンポーネントと、を含み、
前記低減手段は、
前記動作に係るコンポーネントが前記第1のコンポーネントである場合、前記動作の期間が閾値以上であれば前記フィルタ処理を選択し、前記動作の期間が前記閾値未満であれば前記予測処理を選択し、
前記動作に係るコンポーネントが前記第2のコンポーネントである場合、前記動作の期間の長短に関わらず前記フィルタ処理を選択する
ことを特徴とする請求項1に記載の音声信号処理装置。
【請求項3】
前記音声信号処理装置は、光学系を備える撮像装置であり、
前記第1のコンポーネントは、前記光学系の駆動部であり、
前記第2のコンポーネントは、コンデンサである
ことを特徴とする請求項2に記載の音声信号処理装置。
【請求項4】
動作時に雑音を発生する複数のコンポーネントの動作を制御可能な音声信号取得装置が取得した音声信号と、前記音声信号取得装置による前記音声信号の取得時の前記複数のコンポーネントそれぞれの種類及び動作タイミングを示す動作情報と、を取得する取得手段と、
前記複数のコンポーネントのいずれかが動作している期間に取得された前記音声信号に対して、当該動作により発生する雑音に対応する周波数の信号を低減するフィルタ処理、又は、当該動作の期間の前後少なくとも一方の期間に取得された前記音声信号に基づいて生成される音声信号により当該動作の期間に取得された前記音声信号を置換する予測処理を適用することにより、前記音声信号に含まれる雑音を低減する低減手段と、
を備え、
前記低減手段は、前記動作情報を参照して、前記動作に係るコンポーネントの種類、及び前記動作の期間の長さに基づいて、前記フィルタ処理又は前記予測処理を選択する
ことを特徴とする音声信号処理装置。
【請求項5】
動作時に雑音を発生する複数のコンポーネントの動作を制御可能な音声信号処理装置の制御方法であって、
前記音声信号処理装置の取得手段が、前記音声信号処理装置の周囲の音声を集音することにより音声信号を取得する取得工程と、
前記音声信号処理装置の低減手段が、前記複数のコンポーネントのいずれかが動作している期間に取得された前記音声信号に対して、当該動作により発生する雑音に対応する周波数の信号を低減するフィルタ処理、又は、当該動作の期間の前後少なくとも一方の期間に取得された前記音声信号に基づいて生成される音声信号により当該動作の期間に取得された前記音声信号を置換する予測処理を適用することにより、前記音声信号に含まれる雑音を低減する低減工程と、
を備え、
前記低減工程において、前記低減手段は、前記動作に係るコンポーネントの種類、及び前記動作の期間の長さに基づいて、前記フィルタ処理又は前記予測処理を選択する
ことを特徴とする制御方法。
【請求項6】
音声信号処理装置の制御方法であって、
前記音声信号処理装置の取得手段が、動作時に雑音を発生する複数のコンポーネントの動作を制御可能な音声信号取得装置が取得した音声信号と、前記音声信号取得装置による前記音声信号の取得時の前記複数のコンポーネントそれぞれの種類及び動作タイミングを示す動作情報と、を取得する取得工程と、
前記音声信号処理装置の低減手段が、前記複数のコンポーネントのいずれかが動作している期間に取得された前記音声信号に対して、当該動作により発生する雑音に対応する周波数の信号を低減するフィルタ処理、又は、当該動作の期間の前後少なくとも一方の期間に取得された前記音声信号に基づいて生成される音声信号により当該動作の期間に取得された前記音声信号を置換する予測処理を適用することにより、前記音声信号に含まれる雑音を低減する低減工程と、
を備え、
前記低減工程において、前記低減手段は、前記動作情報を参照して、前記動作に係るコンポーネントの種類、及び前記動作の期間の長さに基づいて、前記フィルタ処理又は前記予測処理を選択する
ことを特徴とする制御方法。
【請求項7】
コンピュータに、請求項5又は6に記載の制御方法の各工程を実行させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【公開番号】特開2012−203040(P2012−203040A)
【公開日】平成24年10月22日(2012.10.22)
【国際特許分類】
【出願番号】特願2011−64825(P2011−64825)
【出願日】平成23年3月23日(2011.3.23)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成24年10月22日(2012.10.22)
【国際特許分類】
【出願日】平成23年3月23日(2011.3.23)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]