音声処理装置および音声処理方法並びにプログラム、音声取得装置
【課題】音声信号から、該音声信号を取得した音声信号取得装置における駆動装置の動作に起因する雑音を適切に除去する。
【解決手段】音声付き動画撮像装置において、雑音期間設定部１２２は、撮像により取得された音声信号Ａにおける、レンズを駆動する駆動部に対する駆動命令Ｓ１のタイミングからの所定の期間である第１の期間の終点（ｔ１またはｔ２）から、該駆動部が上記駆動命令に応じた駆動を停止した時点ｔ３までの期間である第２の期間を設定する。雑音レベル推定部１２４は、雑音期間設定部１２２が設定した第２の期間の信号を用いて雑音レベルの推定を行う。雑音除去部１２６は、雑音推定部１２４により推定した雑音レベルを用いて、第２の期間の信号に対して雑音の除去を行う。
【解決手段】音声付き動画撮像装置において、雑音期間設定部１２２は、撮像により取得された音声信号Ａにおける、レンズを駆動する駆動部に対する駆動命令Ｓ１のタイミングからの所定の期間である第１の期間の終点（ｔ１またはｔ２）から、該駆動部が上記駆動命令に応じた駆動を停止した時点ｔ３までの期間である第２の期間を設定する。雑音レベル推定部１２４は、雑音期間設定部１２２が設定した第２の期間の信号を用いて雑音レベルの推定を行う。雑音除去部１２６は、雑音推定部１２４により推定した雑音レベルを用いて、第２の期間の信号に対して雑音の除去を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号から雑音、特に駆動装置の動作に起因する雑音を除去する技術に関する。
【背景技術】
【０００２】
雑音が混入した音声信号における雑音レベルの推定を、無音期間だけではなく、有音期間においても行う手法が知られている。有音期間における雑音レベルを推定する方法として、該期間における平滑された信号パワースペクトルの時系列の最小値や平均値を該期間の雑音レベルの推定値として算出する手法が知られている（特許文献１）。
【０００３】
有音期間における雑音の推定は、例えば、音声付き動画撮像機能を有する撮像装置などが取得した音声信号に対して行われる。これらの装置は、フォーカス機構、ズーム機構、絞り機構、シャッター機構など、部品を駆動する駆動装置を備え、撮像中にこれらの機構を動作させた場合に、駆動装置の駆動動作に起因した雑音は、音声信号に混入してしまうからである。
【０００４】
特許文献２、特許文献３、特許文献４には、上述したような撮像装置が取得した音声信号から駆動装置の駆動動作に起因する雑音を除去する手法が開示されている。これらの手法は、駆動装置の動作期間において、雑音レベルの推定と雑音の除去を行うものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−７５５３６号公報
【特許文献２】特開２００６−２７９１８５号公報
【特許文献３】特開２００５−２２８４００号公報
【特許文献４】特開２００８−０５８３４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ここで、駆動装置の動作期間について考える。例えば、駆動装置は、ユーザのズーム調整操作や、シャッター押下操作などにより駆動を開始する。この場合、ユーザの操作が駆動命令であると言える。または、撮像装置によっては、例えば制御部がユーザの操作に応じて駆動命令を発行し、駆動装置が、制御部からの駆動命令に従って駆動を開始する場合もある。
【０００７】
いずれの場合も、駆動命令によって、駆動装置が駆動を開始する。この駆動命令のタイミングから、駆動装置が駆動を開始するまでには遅延時間が存在する。この遅延時間に該当する期間内においては、駆動がまだ開始されていないため、駆動に起因する雑音は発生しない。
【０００８】
したがって、駆動装置の動作期間において雑音レベルの推定と雑音の除去を行う際に、上記遅延時間に該当する期間も駆動装置の動作時間に含めてしまうと、雑音レベルの推定と除去を適切に行うことができないという問題がある。具体的には、雑音が実際に発生していない期間を含む期間の信号から雑音レベルを推定するため、推定された雑音レベルが過小になり、その結果、雑音が発生した期間に対する雑音が十分に除去されないこととなる。さらに、雑音が発生していない期間においても雑音除去を行ってしまうため、却って音質を劣化させてしまう。
【０００９】
さらに、駆動装置が駆動を開始した直後では、雑音がまだ小さい。時間の経過と共に、この雑音は徐々に大きくなり、所定期間を経てほぼ一定値に達する。そのため、駆動装置が駆動を開始した直後の期間も、雑音レベルの推定と雑音の除去の対象期間に含めてしまうと、推定された雑音レベルは、駆動装置が駆動を開始した直後の期間に対しては過大なものとなり、後の期間に対しては過小なものとなるため、雑音の除去を適切に行うことができない。
【００１０】
また、駆動装置によって、駆動を開始した直後では雑音が最も大きく、その後雑音が徐々に小さくなり、所定期間を経てほぼ一定値に達する場合もある。この場合、駆動装置が駆動を開始した直後の期間を、雑音レベルの推定と雑音の除去の対象期間に含めてしまうと、推定された雑音レベルは、駆動装置が駆動を開始した直後の期間に対しては過小なものとなり、後の期間に対しては過大なものとなるため、雑音の除去を適切に行うことができない。
【００１１】
このように、雑音レベルの推定と雑音除去の期間の始点が適切ではないと、雑音除去を適切に行うことができないという問題がある。
【００１２】
駆動の停止のメカニズムは、撮像装置や機構の種類によって異なるが、概して２つのパターンに分けられる。１つは、駆動装置が駆動停止命令に応じて駆動を停止するパターンである。もう１つは、駆動停止命令の発行がなされず、駆動装置は、自主的に駆動を停止するパターンである。なお、駆動停止命令も、駆動命令と同様に、ユーザが行った操作そのものである場合と、制御部が発行したものである場合がある。
【００１３】
いずれのパターンにおいても、駆動装置が駆動を停止しても、駆動のためのモータなどの回転が即座に完全に止まるわけではないため、駆動装置が駆動を停止した直後では、雑音がまだ存在する。この雑音は、上述したほぼ一定値から、時間の経過と共に徐々に小さくなる。
【００１４】
そのため、駆動装置が駆動を停止した時点から、雑音が完全に無くなった時点までの期間も、雑音レベルの推定と雑音除去の期間に含めてしまうと、同様に、上述した問題が生じる。
【００１５】
本発明は、上記事情に鑑みてなされ、音声信号から、駆動装置の動作に起因する雑音を適切に除去するための技術を提供するものである。
【課題を解決するための手段】
【００１６】
本発明の１つの態様は、音声取得装置が取得した音声信号から雑音を除去する音声処理装置である。この音声取得装置は、所定の部品と、該部品を駆動する駆動部とを有し、音声信号を取得する際に、駆動部による上記部品の駆動が生じうるものであり、本発明の該態様の音声処理装置は、上記駆動に起因する雑音を除去するためのものである。該音声処理装置は、雑音期間設定部と、雑音推定部と、雑音除去部を備える。
【００１７】
雑音期間設定部は、音声信号における第２の期間を設定する。雑音推定部は、雑音期間設定部が設定した第２の期間の信号を用いて雑音レベルの推定を行う。雑音除去部は、雑音推定部により推定した雑音レベルを用いて、第２の期間の信号に対して雑音の除去を行う。
【００１８】
「第２の期間」は、駆動部に対する駆動命令のタイミングから所定の第１の期間が経過した時点と、駆動部が駆動命令に応じた駆動を停止した時点との間隔である
【００１９】
本発明の第２の態様は、音声取得装置である。この音声取得装置は、所定の部品と、該部品を駆動する駆動部と、音声信号を取得する音声信号取得部、記録部とを備え、音声信号取得部により音声信号を取得する際に、駆動部による部品の駆動が生じうる。
【００２０】
記録部は、音声取得部による音声信号の取得中に駆動部に対して発行された駆動命令のタイミングを示す情報と、駆動部が、該駆動命令に応じた駆動を停止した時点を示しうる情報とを、音声信号取得部により取得された音声信号に付加して記録する。
【００２１】
なお、上記態様の音声処理装置、音声取得装置を方法やシステムなどに置き換えて表現したものや、上記方法をコンピュータに実行せしめるプログラムや、該音声処理装置または音声取得装置を備えた装置なども、本発明の態様としては有効である。
【発明の効果】
【００２２】
本発明にかかる技術によれば、音声取得装置に備えられた駆動部の駆動動作に起因する雑音を適切に除去することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明にかかる技術の原理を説明するための図である。
【図２】本発明の第１の実施の形態にかかる撮像装置を示す図である。
【図３】図１に示す撮像装置における音声処理部を示す図である。
【図４】図３に示す音声処理部により処理の流れを示すフローチャートである。
【図５】本発明の第２の実施の形態にかかる撮像装置を示す図である。
【図６】本発明の第３の実施の形態にかかる音声処理装置を示す図である。
【発明を実施するための形態】
【００２４】
説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェアは、ＣＰＵ、メモリ、その他の回路で構成することができ、ソフトウェアは、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
【００２５】
また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【００２６】
本発明の具体的な実施の形態を説明する前に、まず、図１を参照して、本発明にかかる技術の原理を説明する。なお、以下の説明において、「駆動命令のタイミング」は、駆動命令が発行されたタイミングと、駆動命令を受けたタイミングのいずれかを意味する。
【００２７】
図１は、横軸が時間を示し、縦軸が音声信号Ａのサンプル値を示す。音声信号Ａは、駆動装置を備えた録音装置や録画装置などの音声取得装置により取得したものであり、その取得中に駆動装置による駆動がなされ、該駆動に起因する雑音が混入している。
【００２８】
図１におけるタイミングｔ０は、駆動命令のタイミングである。駆動装置が駆動命令を受けると当該部品の駆動を開始する。駆動命令のタイミングから、駆動装置が駆動を開始するタイミングまで、遅延時間がある。図中タイミングｔ１は、駆動装置が駆動を開始したタイミングである。
【００２９】
図示のように、タイミングｔ０からタイミングｔ１の間は、雑音が発生せず、タイミングｔ１において雑音が発生し始める。この雑音は、徐々に大きくなり、タイミングｔ２で所定のレベルになる。タイミングｔ０からタイミングｔ１の期間と、タイミングｔ１からタイミングｔ２までの期間を、それぞれ期間Ｔ０と第１の期間Ｔ１とする。また、期間Ｔ０と第１の期間Ｔ１を合わせた期間を、期間Ｔ２とする。
【００３０】
タイミングｔ３において、駆動装置が駆動を停止する。図示のように、タイミングｔ２からタイミングｔ３までの期間（期間Ｔ３）において、雑音レベルがほぼ一定である。
【００３１】
駆動装置が駆動を停止した時点（タイミングｔ３）から、雑音は、徐々に小さくなり、タイミングｔ４で無くなる。タイミングｔ３からタイミングｔ４までの期間を、期間Ｔ５とする。
【００３２】
このように、音声取得装置による音声信号の取得中に、駆動装置による駆動が生じた場合に、取得した音声信号において、駆動命令のタイミング（タイミングｔ０）から、該駆動命令に応じた駆動が停止された時点（タイミングｔ３）までの期間（期間Ｔ４）内において、無雑音の期間（期間Ｔ０）、雑音レベルが小さい期間（期間Ｔ１）、雑音レベルがほぼ一定である期間（期間Ｔ３）が存在する。さらに、駆動装置が駆動を停止した時点（タイミングｔ３）の直後でも、雑音レベルが小さい期間（期間Ｔ５）が存在する。
【００３３】
このような音声信号Ａに対して、本発明にかかる技術は、期間Ｔ４における、タイミングｔ０から所定の第１の期間が経過した時点から、駆動装置が駆動を停止したタイミングｔ３までの期間（第２の期間）の信号を用いて雑音レベルを推定し、推定した雑音レベルを用いて、該第２の期間の信号に対して雑音の除去を行う。ここで、第１の期間と第２の期間を説明する。
【００３４】
＜第１の場合：第１の期間＝期間Ｔ０＞
この場合、第２の期間は、期間Ｔ１と期間Ｔ３からなる。すなわち、この場合、本発明にかかる技術は、期間Ｔ４における無雑音の期間Ｔ０を除いた期間を第２の期間として、該第２の期間の信号のみを用いて雑音レベルを推定し、推定した雑音レベルで該第２の期間の信号に対して雑音の除去を行う。
【００３５】
これにより、雑音レベルの推定と雑音の除去の期間が、無雑音の期間Ｔ０を含まないため、期間Ｔ０に対して行うべきではない雑音除去を回避すると共に、期間Ｔ３および期間Ｔ４における雑音除去の不足を改善することができる。
【００３６】
＜第２の場合：第１の期間＝「期間Ｔ０＋期間Ｔ１」＞
この場合、第２の期間は、期間Ｔ３のみとなる。すなわち、この場合、期間Ｔ０に加え、雑音がまだ小さい期間Ｔ１も除いた期間を第２の期間として、該第２の期間の信号のみを用いて雑音レベルを推定し、推定した雑音レベルで該第２の期間の信号に対して雑音の除去を行う。
【００３７】
これにより、雑音レベルの推定と雑音の除去の期間が、無雑音の期間Ｔ０と、雑音レベルがまだ小さい期間Ｔ１とのいずれも含まないため、期間Ｔ３における雑音除去の不足をより改善することができる。
【００３８】
なお、この場合、期間Ｔ１は、長さが短いと共に、雑音レベルが小さいため、期間Ｔ１に対して雑音レベルの推定と雑音の除去を行わなくてもよいが、音質をより向上させるためには、期間Ｔ１に対しても、雑音レベルの推定と雑音の除去を行うことが好ましい。但し、この場合、期間Ｔ１と期間Ｔ３とに対して、別々に雑音レベルの推定と雑音の除去を行う。具体的には、期間Ｔ１の信号のみを用いて雑音レベルを推定し、期間Ｔ３の信号のみを用いて雑音レベルを推定する。そして、期間Ｔ１の信号から推定された雑音レベルで期間Ｔ１の信号に対して雑音除去を行い、期間Ｔ３から推定された雑音レベルで期間Ｔ３の信号に対して雑音除去を行う。
【００３９】
上記第１の場合と第２の場合のいずれにおいても、さらに、駆動装置が駆動を停止した時点（タイミングｔ３）から、雑音が無くなる時点（タイミングｔ４）までの期間Ｔ５に対しても、雑音レベルの推定と雑音の除去を行うことが好ましい。このときも、期間Ｔ５の信号のみを用いて雑音レベルを推定し、推定された雑音レベルで期間Ｔ５の信号に対して雑音の除去を行う。
【００４０】
これにより、期間Ｔ５における雑音が除去されるため、音質の一層の向上を図ることができる。また、タイミングｔ３の前の期間（期間Ｔ３のみ、または「期間Ｔ１＋期間Ｔ３」）と、期間Ｔ５において、別々に雑音レベルの推定と雑音の除去が行われ、互いに影響されないため、雑音除去が適切にできる。
【００４１】
ここで、各期間の特定手法を説明する。なお、上述した各場合において、特定する必要のある期間が異なる。なお、期間の特定は、該期間の始点と終点の特定と同様の意味である。
【００４２】
上述した第１の場合、すなわち、「期間Ｔ２＋期間Ｔ３」を第２の期間として、該第２の期間の信号を用いて雑音レベルを推定し、推定した雑音レベルで該第２の期間の信号に対して雑音除去を行う場合において、タイミングｔ０、タイミングｔ１、タイミングｔ３を特定する必要がある。
【００４３】
また、第２の場合、すなわち、期間Ｔ３を第２の期間とする場合には、タイミングｔ０、タイミングｔ２、タイミングｔ３を特定する必要がある。第２の場合において、さらに期間Ｔ２に対しても雑音レベルの推定と雑音の除去を行うときには、第２の場合においてもタイミングｔ１を特定する必要がある。
【００４４】
また、期間Ｔ５に対しても雑音レベルの推定と雑音の除去を行うときには、タイミングｔ４を特定する必要がある。
【００４５】
以下、各タイミングの特定手法を説明する。期間の特定に際しては、必要なタイミングについて、該タイミングの特定手法を用いればよい。また、タイミングの特定は、リアルタイムで処理を行う場合と、既に取得した音声信号に対して処理を行う場合とで異なる。「リアルタイムで処理を行う」とは、音声取得装置による音声信号の取得中に雑音レベルの推定と雑音の除去を行うことを意味する。ここで、まず、リアルタイムで処理を行う場合について説明する。
【００４６】
＜＜タイミングｔ０の特定＞＞
タイミングｔ０は、駆動命令のタイミングであり、駆動命令に該当するユーザ操作がなされたタイミング、または制御部から駆動命令が発行されたタイミング、または駆動装置が駆動命令を受けたタイミングをタイミングｔ０とすればよい。
【００４７】
＜＜タイミングｔ１の特定＞＞
タイミングｔ１は、駆動装置が駆動を開始するタイミングである。
【００４８】
音声取得装置の設計者は、駆動命令のタイミングから、駆動装置が駆動を開始する時点までの時間の長さ（遅延時間）を設定することや、またはシミュレーションなどによって把握することが可能であるため、予め遅延時間を設定することができる。さらに、通常のこの種の遅延時間を設定するようにしてもよい。
【００４９】
そのため、駆動命令のタイミングｔ０から、予め設定された長さ（遅延時間）が経過した時点をタイミングｔ１とすればよい。
【００５０】
また、予め設定された遅延時間に基づいてタイミングｔ１を特定するのではなく、タイミングｔ０から、雑音レベルの推定を行い、推定された雑音レベルが所定の閾値に達した時点をタイミングｔ１としてもよい。この閾値は、雑音が出始める時点の雑音レベルを判定するためのものであるため、例えば無雑音の期間での信号レベルより若干大きい値に設定すればよい。
【００５１】
＜＜タイミングｔ２の特定＞＞
タイミングｔ２は、駆動装置が駆動を開始した後に、雑音がほぼ一定のレベルに達した時点である。
【００５２】
タイミングｔ０からタイミングｔ２の長さは、上記遅延時間より長く、さらに、上記遅延時間と同様に、予め設定することが可能である。したがって、駆動命令のタイミングｔ０から、予め設定された長さの時間が経過した時点をタイミングｔ２と設定すればよい。
【００５３】
なお、タイミングｔ１とタイミングｔ２の両方とも特定する必要のある場合には、タイミングｔ１とタイミングｔ２に対して夫々設定された長さ（第１の長さと第２の長さ）を用いて、タイミングｔ０から第１の長さが経過した時点と、タイミングｔ０から第２の長さが経過した時点と、をそれぞれタイミングｔ１とタイミングｔ２とすればよい。
【００５４】
もちろん、タイミングｔ１についてはタイミングｔ０からの長さ（第１の長さ）が設定され、タイミングｔ２についてはタイミングｔ１からの長さ（第２の長さ）が設定されるようにし、タイミングｔ０から第１の長さが経過した時点と、タイミングｔ１から第２の長さが経過した時点と、をそれぞれタイミングｔ１とタイミングｔ２とすればよい。
【００５５】
さらに、タイミングｔ２の特定も、予め設定された長さに基づいてなされるのではなく、タイミングｔ０から、またはタイミングｔ１から雑音レベルの推定を行い、推定された雑音レベルが所定の閾値に達した時点をタイミングｔ２に特定するようにしてもよい。当然ながら、この閾値は、タイミングｔ１を特定するための閾値より高く設定される。
＜＜タイミングｔ３の特定＞
タイミングｔ３は、駆動装置が駆動を停止したタイミングである。駆動装置が自主的に駆動を停止する場合には、駆動装置が駆動を停止した時点をタイミングｔ３とすればよい。
【００５６】
ユーザ操作によりなされた駆動停止命令や、制御部などが発行した駆動停止命令に応じて駆動を停止する場合にも、駆動装置が駆動を停止した時点をタイミングｔ３とすることができる。さらに、駆動停止命令がなされた時点から、予め設定された所定の長さの時間が経過した時点をタイミングｔ３としてもよい。
＜＜タイミングｔ４の特定＞＞
【００５７】
タイミングｔ４は、駆動装置が駆動を停止した後、雑音が無くなったタイミングである。このタイミングについても、タイミングｔ３から予め設定された所定の長さの時間が経過した時点とすることができる。
【００５８】
または、タイミングｔ３から雑音レベルの推定を行う、推定された雑音レベルが所定の閾値まで下がった時点を、タイミングｔ４に特定するようにしてもよい。この閾値は、タイミングｔ１を特定するときの閾値と同様に、例えば無雑音の期間での信号レベルより若干大きい値に設定すればよい。
【００５９】
なお、上記では、タイミングｔ３とタイミングｔ４について、タイミングｔ３を先に特定してからタイミングｔ４を特定する手法を説明したが、タイミングｔ４を先に特定してからタイミングｔ３としてもよい。
＜＜タイミングｔ４を先に特定してからタイミングｔ３を特定する手法＞＞
【００６０】
この場合、既に特定したタイミングｔ２から雑音レベルの推定を行う。そして、推定された雑音レベルが所定の閾値に下がった時点をタイミングｔ４とする。この所定の閾値は、上述した、タイミングｔ３から雑音レベルを推定することによってタイミングｔ４を特定する際の閾値より大きい値に設定される。
【００６１】
タイミングｔ４を特定した後、タイミングｔ４から所定時間遡った時点をタイミングｔ３とすればよい。
【００６２】
なお、この場合、タイミングｔ４において推定された雑音レベルが、期間Ｔ３及び期間Ｔ５の信号から推定されたものであるので、期間Ｔ３と期間Ｔ５の雑音除去に使用すると、期間Ｔ３については雑音の除去が不足し、期間Ｔ５については雑音の除去が過度になされることになる。そのため、タイミングｔ３とタイミングｔ４を特定すると、タイミングｔ２から推定した雑音レベルを破棄し、タイミングｔ２からタイミングｔ３までの期間（期間Ｔ３）の信号と、タイミングｔ３からタイミングｔ４までの期間（期間Ｔ５）の信号とに対して別々に雑音レベルを推定し、推定された雑音レベルで夫々の期間の信号に対して雑音除去を行う必要がある。
【００６３】
あるいは、タイミングｔ４を特定するためのタイミングｔ２から雑音レベルを推定する際に、所定の時間長（例えば数十ミリ秒）が経過する度にその時点までの推定結果（雑音レベル）を記憶する。そして、タイミングｔ４、そしてタイミングｔ３が特定されると、一時記憶した複数の推定結果から、タイミングｔ３までの推定結果を期間Ｔ３の雑音レベルとして用い、期間Ｔ３の信号に対して雑音除去を行う。期間Ｔ５については、タイミングｔ３から雑音レベルの推定をやり直して、推定した雑音レベルで該期間の信号に対して雑音除去を行う。
【００６４】
以上にて、リアルタイムで処理を行う場合の各期間の特定手法を説明した。既に取得した音声信号に対して処理を行う場合について説明する前に、本発明にかかる音声取得技術を説明する。
【００６５】
本発明にかかる音声取得技術は、音声信号を記録する際に、音声信号の取得中に駆動部に対して発行された駆動命令のタイミングを示す情報と、駆動部が、駆動命令に応じた駆動を停止したタイミングを示しうる情報とを、音声信号に付加して記録する。
【００６６】
「駆動部が、駆動命令に応じた駆動を停止したタイミングを示しうる情報」とは、駆動部が駆動を停止したタイミングそのものを示す情報であってもよいし、該タイミングを算出可能な情報、例えば駆動停止命令のタイミングを示す情報であってもよい。駆動停止命令のタイミングを示す情報である場合には、該タイミングから所定長の時間が経過した時点を、駆動命令に応じた駆動を停止したタイミングを算出すればよい。
【００６７】
すなわち、本発明にかかる音声取得技術による取得された音声信号には、駆動命令のタイミングを示す情報と、駆動部が、駆動命令に応じた駆動を停止したタイミングを示しうる情報とが含まれている。そのため、既に取得された音声信号から、上述した各期間を特定することができる。そのため、本発明にかかる音声取得技術によれば、リアルタイムではなく、既に取得した音声信号に対して雑音レベルの推定と雑音の除去を行う場合にも、本発明にかかる音声処理技術を適用することができ、ひいては、適切な雑音除去を実現することができる。
【００６８】
以上の説明を踏まえて、本発明の具体的な実施の形態を説明する。
＜第１の実施の形態＞
図２は、本発明の第１の実施の形態にかかる撮像装置１００を示す。撮像装置１００は、音声付き動画を撮像可能なものであり、レンズ１０２、操作部１０４、録画部１０６、録音部１０８、駆動部１１０、音声処理部１２０、合成部１３０、記録部１４０を備える。
【００６９】
操作部１０４は、録画指示、フォーカス操作、ズーム操作など、ユーザによる各種操作を行うためのものである。
【００７０】
録画部１０６は、操作部１０４と接続されており、ユーザが操作部１０４を介して行った録画指示Ｓ０に応じてレンズ１０２から画像を取込み、画像信号Ｖを合成部１３０に出力する。
【００７１】
録音部１０８は、操作部１０４と接続されており、図示しないマイクロフォンなどを備える。録音部１０８は、ユーザが操作部１０４を介して行った録画指示Ｓ０に応じて音声を取り込み、音声信号Ａを音声処理部１２０に出力する。
【００７２】
駆動部１１０は、レンズ１０２及び操作部１０４と接続されており、ユーザが行う各種操作のうち、レンズ１０２を駆動する必要のある操作（以下駆動命令Ｓ１という）に応じてレンズ１０２の駆動を開始し、その後、自主的に、例えば所定時間が経過すると駆動を停止する。なお、駆動命令Ｓ１の種類に応じて上記所定時間の長さが異なり得る。
【００７３】
音声処理部１２０は、録音部１０８と接続されており、録音部１０８からの音声信号Ａに対して、録画中における駆動部１１０の駆動動作に起因する雑音の除去処理をリアルタイムで行い、音声信号Ａ２を得て合成部１３０に出力する。
【００７４】
合成部１３０は、録画部１０６及び音声処理部１２０と接続されており、録画部１０６からの画像信号Ｖと、音声処理部１２０からの音声信号Ａ１とを合成し、音声付き動画信号（以下単に動画信号ともいう）ＡＶを得て、記録部１４０に出力する。
【００７５】
記録部１４０は、合成部１３０と接続されており、図示しないメモリカードなどの記録媒体を備え、合成部１３０からの動画信号ＡＶを記録媒体に記録する。
【００７６】
本実施の形態において、音声処理部１２０は、さらに操作部１０４および駆動部１１０と接続されている。操作部１０４が駆動部１１０に出力する駆動命令Ｓ１は、音声処理部１２０にも出力される。また、駆動部１１０は、レンズ１０２の駆動を停止した際に、停止したことを示す停止信号Ｑを音声処理部１２０に出力する。
【００７７】
図３は、撮像装置１００における音声処理部１２０を示す。音声処理部１２０は、雑音期間設定部１２２、雑音レベル推定部１２４、雑音除去部１２６、出力部１２８を備え、録音部１０８からの音声信号Ａは、これらの機能ブロックに入力される。各機能ブロックの説明に際して、録音部１０８からの音声信号Ａが図１に示す音声信号Ａであるとする。
【００７８】
雑音期間設定部１２２は、操作部１０４からの駆動命令Ｓ１と、停止信号Ｑが入力され、雑音レベル推定部１２４、雑音除去部１２６、出力部１２８に対してタイミングｔ１、タイミングｔ２、タイミングｔ３、タイミングｔ４の設定を行う。
【００７９】
雑音期間設定部１２２は、駆動命令Ｓ１が入力されたタイミングを図１におけるタイミングｔ０として、駆動命令Ｓ１が入力されると、計時を開始する。そして、予め設定された所定の第１の長さの時間が経過すると、期間Ｔ１の始点、すなわち、駆動部１１０が駆動を開始したタイミングｔ１を示す情報を雑音レベル推定部１２４、雑音除去部１２６、出力部１２８に出力する。
【００８０】
雑音期間設定部１２２は、計時を続け、予め設定された、上記第１の長さより長い第２の長さの時間が経過すると、期間Ｔ１の終点（＝期間Ｔ３の始点）、すなわち、駆動による雑音がほぼ一定レベルに達したタイミングｔ２を示す情報を雑音レベル推定部１２４、雑音除去部１２６、出力部１２８に出力すると共に、計時した時間をクリアする。
【００８１】
雑音期間設定部１２２は、停止信号Ｑが入力されると、このタイミングを示す情報を、期間Ｔ３の終点（＝期間Ｔ５の始点）、すなわち、駆動部１１０が駆動を停止し、雑音が小さくなり始めるタイミングｔ３として雑音レベル推定部１２４、雑音除去部１２６、出力部１２８に出力すると共に、計時を再開する。
【００８２】
雑音期間設定部１２２は、計時の再開から、所定の第３の長さの時間が経過すると、期間Ｔ５の終点、すなわち雑音が無くなったタイミングｔ４を示す情報を雑音レベル推定部１２４、雑音除去部１２６、出力部１２８に出力する。
【００８３】
雑音レベル推定部１２４は、雑音期間設定部１２２からタイミングｔ１を示す情報が入力されると、該タイミングｔ１から雑音レベルの推定を開始する。そして、雑音期間設定部１２２からタイミングｔ２を示す情報が入力されると、今までの雑音レベルの推定結果となる雑音レベルＬ１を雑音除去部１２６に出力すると共に、タイミングｔ２からの信号に対して、雑音レベルの推定を開始する。
【００８４】
すなわち、タイミングｔ２において、雑音レベル推定部１２４は、音声信号Ａにおける期間Ｔ１の信号から推定した雑音レベルＬ１を得て雑音除去部１２６に出力すると共に、期間Ｔ３の信号に対する雑音レベルの推定を始める。
【００８５】
そして、雑音期間設定部１２２から、駆動部１１０が駆動を停止したタイミングｔ３を示す情報が入力されると、雑音レベル推定部１２４は、今までの雑音レベルの推定結果となる雑音レベルＬ３を雑音除去部１２６に出力すると共に、タイミングｔ３からの信号に対して、雑音レベルの推定を開始する。
【００８６】
すなわち、タイミングｔ３において、雑音レベル推定部１２４は、音声信号Ａにおける期間Ｔ３の信号から推定した雑音レベルＬ３を得て雑音除去部１２６に出力すると共に、期間Ｔ５の信号に対する雑音レベルの推定を始める。
【００８７】
そして、雑音期間設定部１２２から、雑音が無くなったタイミングｔ４を示す情報が入力されると、雑音レベル推定部１２４は、今までの雑音レベルの推定結果となる雑音レベルＬ５を雑音除去部１２６に出力すると共に、雑音レベルの推定を停止する。
【００８８】
すなわち、タイミングｔ４において、雑音レベル推定部１２４は、音声信号Ａにおける期間Ｔ５の信号から推定した雑音レベルＬ５を得て雑音除去部１２６に出力すると共に、雑音レベルの推定を停止する。
【００８９】
雑音除去部１２６は、図示しない内部バッファを有し、雑音期間設定部１２２からタイミングｔ１を示す情報が入力されると、該タイミングｔ１からの信号を内部バッファに保持する。
【００９０】
そして、雑音期間設定部１２２からタイミングｔ２を示す情報が入力、さらに、雑音レベル推定部１２４からタイミングｔ１からタイミングｔ２までの期間（Ｔ１）に対して推定された雑音レベルＬ１が入力されると、雑音除去部１２６は、該雑音レベルＬ１を用いて期間Ｔ１の信号に対して雑音除去処理を行い、処理後の信号を出力部１２８に出力する。
【００９１】
出力部１２８は、図示しない内部バッファを有し、音声信号Ａを一時的に保持すると共に、雑音期間設定部１２２から出力された各タイミングの情報に応じて、当該期間の信号を雑音除去部１２６からの信号に置き換えて出力する。
【００９２】
具体的には、出力部１２８は、タイミングｔ１を示す情報が入力されるまで、音声信号Ａをそのまま出力する。すなわち、音声信号Ａにおけるタイミングｔ１までの信号は、そのまま合成部１３０に出力される。
【００９３】
出力部１２８は、雑音期間設定部１２２からタイミングｔ１を示す情報が入力されると、該タイミングから音声信号Ａを一時保存する。
【００９４】
その後、雑音期間設定部１２２からタイミングｔ２を示す情報が入力され、さらに雑音除去部１２６から、期間Ｔ１において雑音除去がなされた信号が入力されると、出力部１２８は、雑音除去部１２６からの信号を合成部１３０に出力すると共に、内部バッファに一時保存した、音声信号Ａにおけるタイミングｔ１からタイミングｔ２まで（期間Ｔ１）の信号を破棄する。
【００９５】
これにより、期間Ｔ１の信号は、音声信号Ａにおける該期間の信号から推定された雑音レベルＬ１を用いて雑音除去がなされた信号に置き換えられて、合成部１３０に出力される。
【００９６】
その後、雑音期間設定部１２２からタイミングｔ３を示す情報が入力され、さらに雑音除去部１２６から、期間Ｔ３において雑音除去がなされた信号が入力されると、出力部１２８は、雑音除去部１２６からの信号を合成部１３０に出力すると共に、内部バッファに一時保存した、音声信号Ａにおけるタイミングｔ２からタイミングｔ３まで（期間Ｔ３）の信号を破棄する。
【００９７】
これにより、期間Ｔ３の信号は、音声信号Ａにおける該期間の信号から推定された雑音レベルＬ３を用いて雑音除去がなされた信号に置き換えられて、合成部１３０に出力される。
【００９８】
その後、雑音期間設定部１２２からタイミングｔ４を示す情報が入力され、さらに雑音除去部１２６から、Ｔ５において雑音除去がなされた信号が入力されると、出力部１２８は、雑音除去部１２６からの信号を合成部１３０に出力すると共に、内部バッファに一時保存した、音声信号Ａにおけるタイミングｔ３からタイミングｔ４まで（期間Ｔ５）の信号を破棄する。
【００９９】
これにより、期間Ｔ５の信号は、音声信号Ａにおける該期間の信号から推定された雑音レベルＬ５を用いて雑音除去がなされた信号に置き換えられ、合成部１３０に出力される。
【０１００】
その後、駆動部１１０に対して次の駆動命令がなされたために操作部１０４から駆動命令Ｓ１が入力されるまで、出力部１２８は、タイミングｔ４からの信号をそのまま合成部１３０に出力する。
【０１０１】
図４は、図３に示す音声処理部１２０における雑音期間設定部１２２、雑音レベル推定部１２４、雑音除去部１２６による処理の流れを示すフローチャートである。図示のように、雑音期間設定部１２２は、駆動命令Ｓ１が入力されると、該タイミングをタイミングｔ０に特定し、計時を開始する（Ｓ１００）。
【０１０２】
所定の第１の長さの時間が経過すると、雑音期間設定部１２２は、タイミングｔ１を示す情報を出力すると共に、計時した時間をクリアして、再び計時を開始する（Ｓ１０２）。
【０１０３】
雑音レベル推定部１２４は、雑音期間設定部１２２からタイミングｔ１を示す情報が入力されると、タイミングｔ１から音声信号Ａに対して雑音レベルの推定を開始する（Ｓ１２０）。
【０１０４】
また、雑音除去部１２６は、雑音期間設定部１２２からタイミングｔ１を示す情報が入力されると、音声信号Ａにおけるタイミングｔ１からの信号の保持を開始する（Ｓ１４０）。
【０１０５】
雑音期間設定部１２２は、タイミングｔ１から所定の第２の長さが経過すると、タイミングｔ２を示す情報を出力すると共に、計時した時間をクリアする（Ｓ１０４）。
【０１０６】
雑音レベル推定部１２４は、雑音期間設定部１２２からタイミングｔ２を示す情報が入力されると、今までの雑音レベルの推定結果、すなわち期間Ｔ１（タイミングｔ１からタイミングｔ２まで）の信号から推定された雑音レベルＬ１を雑音除去部１２６に出力すると共に、タイミングｔ２から音声信号Ａに対して雑音レベルの推定を開始する（Ｓ１２２）。
【０１０７】
雑音除去部１２６は、雑音期間設定部１２２からタイミングｔ２を示す情報が入力され、雑音レベル推定部１２４から雑音レベルＬ１が入力されると、雑音レベルＬ１を用いて、保持した、音声信号Ａにおける期間Ｔ１の信号に対して雑音除去を行って、出力部１２８に出力する（Ｓ１４２）。
【０１０８】
雑音期間設定部１２２は、駆動部１１０から停止信号Ｑが入力されると、このタイミングをタイミングｔ３に特定し、タイミングｔ３を示す情報を出力すると共に、再び計時を開始する（Ｓ１０６）。
【０１０９】
雑音レベル推定部１２４は、雑音期間設定部１２２からタイミングｔ３を示す情報が入力されると、今までの雑音レベルの推定結果、すなわち期間Ｔ３（タイミングｔ２からタイミングｔ３まで）の信号から推定された雑音レベルＬ３を雑音除去部１２６に出力すると共に、タイミングｔ３から音声信号Ａに対して雑音レベルの推定を開始する（Ｓ１２４）。
【０１１０】
雑音除去部１２６は、雑音期間設定部１２２からタイミングｔ３を示す情報が入力され、雑音レベル推定部１２４から雑音レベルＬ３が入力されると、雑音レベルＬ３を用いて、保持した、音声信号Ａにおける期間Ｔ３の信号に対して雑音除去を行って、出力部１２８に出力する（Ｓ１４４）。
【０１１１】
雑音期間設定部１２２は、タイミングｔ３から所定の長さの時間が経過すると、タイミングｔ４を示す情報を出力すると共に、計時した時間をクリアする（Ｓ１０８）。その後、再び駆動命令Ｓ１が入力されるまで待機する。
【０１１２】
雑音レベル推定部１２４は、雑音期間設定部１２２からタイミングｔ４を示す情報が入力されると、今までの雑音レベルの推定結果、すなわち期間Ｔ５（タイミングｔ３からタイミングｔ４まで）の信号から推定された雑音レベルＬ５を雑音除去部１２６に出力する（Ｓ１２６）。その後、雑音期間設定部１２２から再びタイミングｔ１を示す情報が入力されるまで待機する。
【０１１３】
雑音除去部１２６は、雑音期間設定部１２２からタイミングｔ４を示す情報が入力され、雑音レベル推定部１２４から雑音レベルＬ５が入力されると、雑音レベルＬ５を用いて、保持した、音声信号Ａにおける期間Ｔ５の信号に対して雑音除去を行って、出力部１２８に出力する（Ｓ１４６）。その後、雑音期間設定部１２２から再びタイミングｔ１を示す情報が入力されるまで待機する。
【０１１４】
本実施の形態の撮像装置１００によれば、図１に示すような、駆動に起因する雑音が含まれた音声信号Ａにおける期間Ｔ０の信号、すなわち、駆動命令の直後の、駆動部１１０が駆動を開始したタイミングｔ１までの期間の信号は雑音除去がなされない。また、期間Ｔ１の信号、すなわち、駆動部１１０が駆動を開始したタイミングｔ１から雑音がほぼ一定になる時点（タイミングｔ２）までの期間の信号は、該期間の信号から推定された雑音レベルを用いた雑音除去がなされる。また、期間Ｔ３の信号、すなわち、駆動部１１０による駆動に起因する雑音がほぼ一定になってから、駆動部１１０が駆動を停止したタイミングｔ３までの期間の信号は、該期間の信号から推定された雑音レベルを用いた雑音除去がなされる。また、期間Ｔ５の信号、すなわち、駆動部１１０が駆動を停止したタイミングｔ３から、雑音が消える時点（タイミングｔ４）までの信号は、該期間の信号から推定された雑音レベルを用いた雑音除去がなされる。
【０１１５】
従って、雑音の除去を行うべきではない期間に対して雑音除去を行ってしまうことを回避し、雑音除去が過度または不足になることなどを改善することができ、ひいては、より良い音質を得ることができる。
＜第２の実施の形態＞
【０１１６】
図５は、本発明の第２の実施の形態にかかる撮像装置２００を示す。撮像装置２００は、音声付き動画を撮像可能なものであり、レンズ１０２、操作部１０４、録画部１０６、録音部１０８、駆動部１１０、合成部１３０、記録部２４０を備える。撮像装置２００は、撮像装置１００における音声処理部１２０が設けられておらず、撮像装置１００の記録部１４０の代わりに記録部２４０を備える。
【０１１７】
本実施の形態の撮像装置２００において、操作部１０４からの駆動命令Ｓ１は、駆動部１１０に送信されると共に、記録部２４０にも送信される。また、駆動部１１０からの停止信号Ｑは、記録部２４０に送信される。
【０１１８】
合成部１３０は、録画部１０６が得た画像信号Ｖと、録音部１０８が得た音声信号Ａとが入力される。合成部１３０は、画像信号Ｖと音声信号Ａとを合成して動画信号を得て、記録部２４０に出力する。なお、合成部１３０により得られた動画信号に含まれる音声信号は、駆動に起因する雑音の除去がなされていないものであり、撮像装置１００における合成部１３０により得られた動画信号ＡＶと区別するために、ＡＶＸと表記する。
【０１１９】
記録部２４０は、操作部１０４からの駆動命令Ｓ１のタイミング（図１におけるタイミングｔ０）を示す情報と、駆動部１１０からの停止信号Ｑのタイミング（図１におけるタイミングｔ３）を示す情報とを、合成部１３０からの動画信号ＡＶＸに付し、図示しない記録媒体に記録する。記録媒体に記録された動画のデータを、ＡＶＹと表記している。
【０１２０】
すなわち、本第２の実施の形態の撮像装置２００により取得した動画のデータＡＶＹには、駆動部１１０に対してなされた駆動命令のタイミングと、駆動部１１０が、該駆動命令に応じた駆動を停止したタイミングが付されている。そのため、後に、該データに対して、雑音レベルの推定と雑音除去を行う際に、図１に示す各期間の特定が可能であり、ひいては、適切な雑音除去が可能になる。
【０１２１】
撮像装置２００により取得した動画像のデータＡＶＹに対して雑音除去を行う処理については、第３の実施の形態を用いて説明する。
＜第３の実施の形態＞
【０１２２】
図６は、本発明にかかる第３の実施の形態の音声処理装置３００を示す。音声処理装置３００は、図５に示す撮像装置２００により得られた動画像のデータＡＶＹに対して、撮像装置２００における駆動装置の駆動に起因する雑音を除去するためのものであり、分離部３１０、バッファ３２０、雑音期間設定部３３０、雑音レベル推定部３４０、雑音除去部３５０、再合成部３６０を備える。
【０１２３】
分離部３１０は、動画像のデータＡＶＹに対して画像と音声の分離を行って画像データＶと音声データＡ２を得る。分離部３１０は、画像データＶを再合成部３６０に出力し、音声データＡ２をバッファ３２０に出力する。
【０１２４】
上述したように、動画像のデータＡＶＹには、駆動命令のタイミングと、駆動が停止したタイミングとを示す情報が付されている。これらの情報は、音声データＡ２に含まれている。すなわち、音声データＡ２は、図１に示す音声信号Ａのデータと、タイミングｔ０及びタイミングｔ３を示す情報とを含む。
【０１２５】
雑音期間設定部３３０は、バッファ３２０に一時的に格納された音声データＡ２から、タイミングｔ０及びタイミングｔ３を示す情報を読み出して、図１に示すタイミングｔ１、タイミングｔ２、タイミングｔ４を算出する。そして、雑音期間設定部３３０は、タイミングｔ１、タイミングｔ２、タイミングｔ３、タイミングｔ４を示す情報を雑音レベル推定部３４０に出力する。
【０１２６】
各タイミングの特定手法は、撮像装置１００における音声処理部１２０の雑音期間設定部１２２による手法と同様であり、ここで詳細な説明を省略する。
【０１２７】
雑音レベル推定部３４０は、雑音期間設定部３３０からタイミングｔ１、タイミングｔ２、タイミングｔ３、タイミングｔ４を示す情報が入力されると、バッファ３２０に格納された音声データＡ２に含まれる音声データＡに対して、期間Ｔ１、期間Ｔ３、期間Ｔ５に対して夫々の雑音レベルを推定する。雑音レベル推定部３４０は、期間Ｔ１のデータに対して推定した雑音レベルＬ１と、期間Ｔ３のデータに対して推定した雑音レベルＬ３と、期間Ｔ５のデータに対して推定した雑音レベルＬ５とを雑音除去部３５０に出力する。
【０１２８】
雑音除去部３５０は、バッファ３２０に格納された音声データＡ２に含まれる音声データＡを読み出し、必要に応じて雑音除去を行ってから再合成部３６０に出力する。
【０１２９】
具体的には、音声データＡにおけるタイミングｔ１までのデータをそのまま再合成部３６０に出力する。タイミングｔ１からタイミングｔ２まで（期間Ｔ１）のデータに対しては、雑音レベル推定部３４０から入力される雑音レベルＬ１を用いて雑音除去をしてから再合成部３６０に出力する。また、タイミングｔ２からタイミングｔ３まで（期間Ｔ３）のデータに対しては、雑音レベル推定部３４０から入力される雑音レベルＬ３を用いて雑音除去をしてから再合成部３６０に出力する。タイミングｔ３からタイミングｔ４まで（期間Ｔ５）のデータに対しては、雑音レベル推定部３４０から入力される雑音レベルＬ５を用いて雑音除去をしてから再合成部３６０に出力する。タイミングｔ４以降のデータについては、そのまま再合成部３６０に出力する。
【０１３０】
再合成部３６０は、分離部３１０からの画像データＶと、雑音除去部３５０からの音声データＡ１とを再び合成して動画像データＡＶを得る。
【０１３１】
本実施の形態にかかる音声処理装置３００は、リアルタイムではなく、既に取得した音声データに対して雑音レベルの推定と雑音の除去を行う点において、図２に示す第１の実施の形態の撮像装置１００における音声処理部１２０と異なる以外、各機能ブロックが実現する処理の手法などは、音声処理部１２０と同様であり、音声処理部１２０と同様の効果を得ることができる。
【０１３２】
以上、実施の形態をもとに本発明を説明した。実施の形態は例示であり、本発明の主旨から逸脱しない限り、上述した各実施の形態に対してさまざまな変更、増減を行ってもよい。これらの変更、増減が行われた変形例も本発明の範囲にあることは当業者に理解されるところである。
【０１３３】
例えば、上述した第１と第３の実施の形態において、各タイミング（期間）は、予め設定された各種の長さ（時間）に基づいて特定されるようになっている。これらのタイミングや期間の特定に、本発明にかかる技術の原理を説明した際に述べた他の手法を用いてもよい。
【０１３４】
また、上述した第１と第３の実施の形態において、期間Ｔ１、期間Ｔ３、期間Ｔ５の夫々について雑音レベルの推定と雑音の除去を行うようにしているが、期間Ｔ１、または期間Ｔ５、または期間Ｔ１と期間Ｔ５の両方について雑音レベルの推定と雑音の除去を行わないようにしてもよい。さらに、期間Ｔ１と期間Ｔ３を分けずに、期間Ｔ１と期間Ｔ３に対して雑音レベルの推定と除去を行うようにしてもよい。
【０１３５】
また、第２の実施の形態において、駆動が停止されたタイミングｔ３を示しうる情報としてタイミングｔ３そのものを音声信号に付属させるようにしているが、タイミングｔ３の代わりに、タイミングｔ３を算出可能な他の情報、例えば駆動停止命令のタイミングを示す情報を音声信号に付加してもよい。
【０１３６】
また、例えば第１の実施の形態において、雑音レベル推定部１２４は、雑音レベルの推定の対象となる期間（図１における期間Ｔ１、Ｔ３、Ｔ５）毎に雑音レベルの推定を行い、該期間の終点まで雑音レベルの推定が完了してから該期間の雑音レベルを雑音除去部１２６に出力している。また、雑音除去部１２６は、雑音レベル推定部１２４により推定された雑音レベルを用いて、当該期間の雑音除去をまとめて行うようになっている。より迅速な処理速度を図るために、例えば、雑音レベル推定部１２４は、雑音レベルの推定を行いながら、所定の時間長（例えば数十ミリ秒）が経過する度にその時点までに推定した雑音レベルを雑音除去部１２６に出力し、雑音除去部１２６は、雑音レベル推定部１２４から雑音レベルを受信する度に、該当する上記所定の時間長の信号に対して雑音除去を行うようにしてもよい。
【０１３７】
また、本発明にかかる技術の原理を説明する際に、及び各実施の形態において、処理される音声信号の例として図１に示す音声信号Ａを用いたが、本発明にかかる技術は、駆動を開始した直後に雑音が最も大きく、その後雑音が徐々に小さくなり、所定期間を経てほぼ一定値に達する駆動装置を有する音声取得装置により取得された音声信号の雑音除去にも適用できる。
【符号の説明】
【０１３８】
１００ 撮像装置 １０２ レンズ
１０４ 操作部 １０６ 録画部
１０８ 録音部 １１０ 駆動部
１２０ 音声処理部 １２２ 雑音期間設定部
１２４ 雑音レベル推定部 １２６ 雑音除去部
１２８ 出力部 １３０ 合成部
１４０ 記録部 ２００ 撮像装置
２４０ 記録部 ３００ 音声処理装置
３１０ 分離部 ３２０ バッファ
３３０ 雑音期間設定部 ３４０ 雑音レベル推定部
３５０ 雑音除去部 ３６０ 再合成部
Ｓ０ 録画指示 Ｓ１ 駆動命令
Ｑ 停止信号
【技術分野】
【０００１】
本発明は、音声信号から雑音、特に駆動装置の動作に起因する雑音を除去する技術に関する。
【背景技術】
【０００２】
雑音が混入した音声信号における雑音レベルの推定を、無音期間だけではなく、有音期間においても行う手法が知られている。有音期間における雑音レベルを推定する方法として、該期間における平滑された信号パワースペクトルの時系列の最小値や平均値を該期間の雑音レベルの推定値として算出する手法が知られている（特許文献１）。
【０００３】
有音期間における雑音の推定は、例えば、音声付き動画撮像機能を有する撮像装置などが取得した音声信号に対して行われる。これらの装置は、フォーカス機構、ズーム機構、絞り機構、シャッター機構など、部品を駆動する駆動装置を備え、撮像中にこれらの機構を動作させた場合に、駆動装置の駆動動作に起因した雑音は、音声信号に混入してしまうからである。
【０００４】
特許文献２、特許文献３、特許文献４には、上述したような撮像装置が取得した音声信号から駆動装置の駆動動作に起因する雑音を除去する手法が開示されている。これらの手法は、駆動装置の動作期間において、雑音レベルの推定と雑音の除去を行うものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−７５５３６号公報
【特許文献２】特開２００６−２７９１８５号公報
【特許文献３】特開２００５−２２８４００号公報
【特許文献４】特開２００８−０５８３４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ここで、駆動装置の動作期間について考える。例えば、駆動装置は、ユーザのズーム調整操作や、シャッター押下操作などにより駆動を開始する。この場合、ユーザの操作が駆動命令であると言える。または、撮像装置によっては、例えば制御部がユーザの操作に応じて駆動命令を発行し、駆動装置が、制御部からの駆動命令に従って駆動を開始する場合もある。
【０００７】
いずれの場合も、駆動命令によって、駆動装置が駆動を開始する。この駆動命令のタイミングから、駆動装置が駆動を開始するまでには遅延時間が存在する。この遅延時間に該当する期間内においては、駆動がまだ開始されていないため、駆動に起因する雑音は発生しない。
【０００８】
したがって、駆動装置の動作期間において雑音レベルの推定と雑音の除去を行う際に、上記遅延時間に該当する期間も駆動装置の動作時間に含めてしまうと、雑音レベルの推定と除去を適切に行うことができないという問題がある。具体的には、雑音が実際に発生していない期間を含む期間の信号から雑音レベルを推定するため、推定された雑音レベルが過小になり、その結果、雑音が発生した期間に対する雑音が十分に除去されないこととなる。さらに、雑音が発生していない期間においても雑音除去を行ってしまうため、却って音質を劣化させてしまう。
【０００９】
さらに、駆動装置が駆動を開始した直後では、雑音がまだ小さい。時間の経過と共に、この雑音は徐々に大きくなり、所定期間を経てほぼ一定値に達する。そのため、駆動装置が駆動を開始した直後の期間も、雑音レベルの推定と雑音の除去の対象期間に含めてしまうと、推定された雑音レベルは、駆動装置が駆動を開始した直後の期間に対しては過大なものとなり、後の期間に対しては過小なものとなるため、雑音の除去を適切に行うことができない。
【００１０】
また、駆動装置によって、駆動を開始した直後では雑音が最も大きく、その後雑音が徐々に小さくなり、所定期間を経てほぼ一定値に達する場合もある。この場合、駆動装置が駆動を開始した直後の期間を、雑音レベルの推定と雑音の除去の対象期間に含めてしまうと、推定された雑音レベルは、駆動装置が駆動を開始した直後の期間に対しては過小なものとなり、後の期間に対しては過大なものとなるため、雑音の除去を適切に行うことができない。
【００１１】
このように、雑音レベルの推定と雑音除去の期間の始点が適切ではないと、雑音除去を適切に行うことができないという問題がある。
【００１２】
駆動の停止のメカニズムは、撮像装置や機構の種類によって異なるが、概して２つのパターンに分けられる。１つは、駆動装置が駆動停止命令に応じて駆動を停止するパターンである。もう１つは、駆動停止命令の発行がなされず、駆動装置は、自主的に駆動を停止するパターンである。なお、駆動停止命令も、駆動命令と同様に、ユーザが行った操作そのものである場合と、制御部が発行したものである場合がある。
【００１３】
いずれのパターンにおいても、駆動装置が駆動を停止しても、駆動のためのモータなどの回転が即座に完全に止まるわけではないため、駆動装置が駆動を停止した直後では、雑音がまだ存在する。この雑音は、上述したほぼ一定値から、時間の経過と共に徐々に小さくなる。
【００１４】
そのため、駆動装置が駆動を停止した時点から、雑音が完全に無くなった時点までの期間も、雑音レベルの推定と雑音除去の期間に含めてしまうと、同様に、上述した問題が生じる。
【００１５】
本発明は、上記事情に鑑みてなされ、音声信号から、駆動装置の動作に起因する雑音を適切に除去するための技術を提供するものである。
【課題を解決するための手段】
【００１６】
本発明の１つの態様は、音声取得装置が取得した音声信号から雑音を除去する音声処理装置である。この音声取得装置は、所定の部品と、該部品を駆動する駆動部とを有し、音声信号を取得する際に、駆動部による上記部品の駆動が生じうるものであり、本発明の該態様の音声処理装置は、上記駆動に起因する雑音を除去するためのものである。該音声処理装置は、雑音期間設定部と、雑音推定部と、雑音除去部を備える。
【００１７】
雑音期間設定部は、音声信号における第２の期間を設定する。雑音推定部は、雑音期間設定部が設定した第２の期間の信号を用いて雑音レベルの推定を行う。雑音除去部は、雑音推定部により推定した雑音レベルを用いて、第２の期間の信号に対して雑音の除去を行う。
【００１８】
「第２の期間」は、駆動部に対する駆動命令のタイミングから所定の第１の期間が経過した時点と、駆動部が駆動命令に応じた駆動を停止した時点との間隔である
【００１９】
本発明の第２の態様は、音声取得装置である。この音声取得装置は、所定の部品と、該部品を駆動する駆動部と、音声信号を取得する音声信号取得部、記録部とを備え、音声信号取得部により音声信号を取得する際に、駆動部による部品の駆動が生じうる。
【００２０】
記録部は、音声取得部による音声信号の取得中に駆動部に対して発行された駆動命令のタイミングを示す情報と、駆動部が、該駆動命令に応じた駆動を停止した時点を示しうる情報とを、音声信号取得部により取得された音声信号に付加して記録する。
【００２１】
なお、上記態様の音声処理装置、音声取得装置を方法やシステムなどに置き換えて表現したものや、上記方法をコンピュータに実行せしめるプログラムや、該音声処理装置または音声取得装置を備えた装置なども、本発明の態様としては有効である。
【発明の効果】
【００２２】
本発明にかかる技術によれば、音声取得装置に備えられた駆動部の駆動動作に起因する雑音を適切に除去することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明にかかる技術の原理を説明するための図である。
【図２】本発明の第１の実施の形態にかかる撮像装置を示す図である。
【図３】図１に示す撮像装置における音声処理部を示す図である。
【図４】図３に示す音声処理部により処理の流れを示すフローチャートである。
【図５】本発明の第２の実施の形態にかかる撮像装置を示す図である。
【図６】本発明の第３の実施の形態にかかる音声処理装置を示す図である。
【発明を実施するための形態】
【００２４】
説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェアは、ＣＰＵ、メモリ、その他の回路で構成することができ、ソフトウェアは、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
【００２５】
また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【００２６】
本発明の具体的な実施の形態を説明する前に、まず、図１を参照して、本発明にかかる技術の原理を説明する。なお、以下の説明において、「駆動命令のタイミング」は、駆動命令が発行されたタイミングと、駆動命令を受けたタイミングのいずれかを意味する。
【００２７】
図１は、横軸が時間を示し、縦軸が音声信号Ａのサンプル値を示す。音声信号Ａは、駆動装置を備えた録音装置や録画装置などの音声取得装置により取得したものであり、その取得中に駆動装置による駆動がなされ、該駆動に起因する雑音が混入している。
【００２８】
図１におけるタイミングｔ０は、駆動命令のタイミングである。駆動装置が駆動命令を受けると当該部品の駆動を開始する。駆動命令のタイミングから、駆動装置が駆動を開始するタイミングまで、遅延時間がある。図中タイミングｔ１は、駆動装置が駆動を開始したタイミングである。
【００２９】
図示のように、タイミングｔ０からタイミングｔ１の間は、雑音が発生せず、タイミングｔ１において雑音が発生し始める。この雑音は、徐々に大きくなり、タイミングｔ２で所定のレベルになる。タイミングｔ０からタイミングｔ１の期間と、タイミングｔ１からタイミングｔ２までの期間を、それぞれ期間Ｔ０と第１の期間Ｔ１とする。また、期間Ｔ０と第１の期間Ｔ１を合わせた期間を、期間Ｔ２とする。
【００３０】
タイミングｔ３において、駆動装置が駆動を停止する。図示のように、タイミングｔ２からタイミングｔ３までの期間（期間Ｔ３）において、雑音レベルがほぼ一定である。
【００３１】
駆動装置が駆動を停止した時点（タイミングｔ３）から、雑音は、徐々に小さくなり、タイミングｔ４で無くなる。タイミングｔ３からタイミングｔ４までの期間を、期間Ｔ５とする。
【００３２】
このように、音声取得装置による音声信号の取得中に、駆動装置による駆動が生じた場合に、取得した音声信号において、駆動命令のタイミング（タイミングｔ０）から、該駆動命令に応じた駆動が停止された時点（タイミングｔ３）までの期間（期間Ｔ４）内において、無雑音の期間（期間Ｔ０）、雑音レベルが小さい期間（期間Ｔ１）、雑音レベルがほぼ一定である期間（期間Ｔ３）が存在する。さらに、駆動装置が駆動を停止した時点（タイミングｔ３）の直後でも、雑音レベルが小さい期間（期間Ｔ５）が存在する。
【００３３】
このような音声信号Ａに対して、本発明にかかる技術は、期間Ｔ４における、タイミングｔ０から所定の第１の期間が経過した時点から、駆動装置が駆動を停止したタイミングｔ３までの期間（第２の期間）の信号を用いて雑音レベルを推定し、推定した雑音レベルを用いて、該第２の期間の信号に対して雑音の除去を行う。ここで、第１の期間と第２の期間を説明する。
【００３４】
＜第１の場合：第１の期間＝期間Ｔ０＞
この場合、第２の期間は、期間Ｔ１と期間Ｔ３からなる。すなわち、この場合、本発明にかかる技術は、期間Ｔ４における無雑音の期間Ｔ０を除いた期間を第２の期間として、該第２の期間の信号のみを用いて雑音レベルを推定し、推定した雑音レベルで該第２の期間の信号に対して雑音の除去を行う。
【００３５】
これにより、雑音レベルの推定と雑音の除去の期間が、無雑音の期間Ｔ０を含まないため、期間Ｔ０に対して行うべきではない雑音除去を回避すると共に、期間Ｔ３および期間Ｔ４における雑音除去の不足を改善することができる。
【００３６】
＜第２の場合：第１の期間＝「期間Ｔ０＋期間Ｔ１」＞
この場合、第２の期間は、期間Ｔ３のみとなる。すなわち、この場合、期間Ｔ０に加え、雑音がまだ小さい期間Ｔ１も除いた期間を第２の期間として、該第２の期間の信号のみを用いて雑音レベルを推定し、推定した雑音レベルで該第２の期間の信号に対して雑音の除去を行う。
【００３７】
これにより、雑音レベルの推定と雑音の除去の期間が、無雑音の期間Ｔ０と、雑音レベルがまだ小さい期間Ｔ１とのいずれも含まないため、期間Ｔ３における雑音除去の不足をより改善することができる。
【００３８】
なお、この場合、期間Ｔ１は、長さが短いと共に、雑音レベルが小さいため、期間Ｔ１に対して雑音レベルの推定と雑音の除去を行わなくてもよいが、音質をより向上させるためには、期間Ｔ１に対しても、雑音レベルの推定と雑音の除去を行うことが好ましい。但し、この場合、期間Ｔ１と期間Ｔ３とに対して、別々に雑音レベルの推定と雑音の除去を行う。具体的には、期間Ｔ１の信号のみを用いて雑音レベルを推定し、期間Ｔ３の信号のみを用いて雑音レベルを推定する。そして、期間Ｔ１の信号から推定された雑音レベルで期間Ｔ１の信号に対して雑音除去を行い、期間Ｔ３から推定された雑音レベルで期間Ｔ３の信号に対して雑音除去を行う。
【００３９】
上記第１の場合と第２の場合のいずれにおいても、さらに、駆動装置が駆動を停止した時点（タイミングｔ３）から、雑音が無くなる時点（タイミングｔ４）までの期間Ｔ５に対しても、雑音レベルの推定と雑音の除去を行うことが好ましい。このときも、期間Ｔ５の信号のみを用いて雑音レベルを推定し、推定された雑音レベルで期間Ｔ５の信号に対して雑音の除去を行う。
【００４０】
これにより、期間Ｔ５における雑音が除去されるため、音質の一層の向上を図ることができる。また、タイミングｔ３の前の期間（期間Ｔ３のみ、または「期間Ｔ１＋期間Ｔ３」）と、期間Ｔ５において、別々に雑音レベルの推定と雑音の除去が行われ、互いに影響されないため、雑音除去が適切にできる。
【００４１】
ここで、各期間の特定手法を説明する。なお、上述した各場合において、特定する必要のある期間が異なる。なお、期間の特定は、該期間の始点と終点の特定と同様の意味である。
【００４２】
上述した第１の場合、すなわち、「期間Ｔ２＋期間Ｔ３」を第２の期間として、該第２の期間の信号を用いて雑音レベルを推定し、推定した雑音レベルで該第２の期間の信号に対して雑音除去を行う場合において、タイミングｔ０、タイミングｔ１、タイミングｔ３を特定する必要がある。
【００４３】
また、第２の場合、すなわち、期間Ｔ３を第２の期間とする場合には、タイミングｔ０、タイミングｔ２、タイミングｔ３を特定する必要がある。第２の場合において、さらに期間Ｔ２に対しても雑音レベルの推定と雑音の除去を行うときには、第２の場合においてもタイミングｔ１を特定する必要がある。
【００４４】
また、期間Ｔ５に対しても雑音レベルの推定と雑音の除去を行うときには、タイミングｔ４を特定する必要がある。
【００４５】
以下、各タイミングの特定手法を説明する。期間の特定に際しては、必要なタイミングについて、該タイミングの特定手法を用いればよい。また、タイミングの特定は、リアルタイムで処理を行う場合と、既に取得した音声信号に対して処理を行う場合とで異なる。「リアルタイムで処理を行う」とは、音声取得装置による音声信号の取得中に雑音レベルの推定と雑音の除去を行うことを意味する。ここで、まず、リアルタイムで処理を行う場合について説明する。
【００４６】
＜＜タイミングｔ０の特定＞＞
タイミングｔ０は、駆動命令のタイミングであり、駆動命令に該当するユーザ操作がなされたタイミング、または制御部から駆動命令が発行されたタイミング、または駆動装置が駆動命令を受けたタイミングをタイミングｔ０とすればよい。
【００４７】
＜＜タイミングｔ１の特定＞＞
タイミングｔ１は、駆動装置が駆動を開始するタイミングである。
【００４８】
音声取得装置の設計者は、駆動命令のタイミングから、駆動装置が駆動を開始する時点までの時間の長さ（遅延時間）を設定することや、またはシミュレーションなどによって把握することが可能であるため、予め遅延時間を設定することができる。さらに、通常のこの種の遅延時間を設定するようにしてもよい。
【００４９】
そのため、駆動命令のタイミングｔ０から、予め設定された長さ（遅延時間）が経過した時点をタイミングｔ１とすればよい。
【００５０】
また、予め設定された遅延時間に基づいてタイミングｔ１を特定するのではなく、タイミングｔ０から、雑音レベルの推定を行い、推定された雑音レベルが所定の閾値に達した時点をタイミングｔ１としてもよい。この閾値は、雑音が出始める時点の雑音レベルを判定するためのものであるため、例えば無雑音の期間での信号レベルより若干大きい値に設定すればよい。
【００５１】
＜＜タイミングｔ２の特定＞＞
タイミングｔ２は、駆動装置が駆動を開始した後に、雑音がほぼ一定のレベルに達した時点である。
【００５２】
タイミングｔ０からタイミングｔ２の長さは、上記遅延時間より長く、さらに、上記遅延時間と同様に、予め設定することが可能である。したがって、駆動命令のタイミングｔ０から、予め設定された長さの時間が経過した時点をタイミングｔ２と設定すればよい。
【００５３】
なお、タイミングｔ１とタイミングｔ２の両方とも特定する必要のある場合には、タイミングｔ１とタイミングｔ２に対して夫々設定された長さ（第１の長さと第２の長さ）を用いて、タイミングｔ０から第１の長さが経過した時点と、タイミングｔ０から第２の長さが経過した時点と、をそれぞれタイミングｔ１とタイミングｔ２とすればよい。
【００５４】
もちろん、タイミングｔ１についてはタイミングｔ０からの長さ（第１の長さ）が設定され、タイミングｔ２についてはタイミングｔ１からの長さ（第２の長さ）が設定されるようにし、タイミングｔ０から第１の長さが経過した時点と、タイミングｔ１から第２の長さが経過した時点と、をそれぞれタイミングｔ１とタイミングｔ２とすればよい。
【００５５】
さらに、タイミングｔ２の特定も、予め設定された長さに基づいてなされるのではなく、タイミングｔ０から、またはタイミングｔ１から雑音レベルの推定を行い、推定された雑音レベルが所定の閾値に達した時点をタイミングｔ２に特定するようにしてもよい。当然ながら、この閾値は、タイミングｔ１を特定するための閾値より高く設定される。
＜＜タイミングｔ３の特定＞
タイミングｔ３は、駆動装置が駆動を停止したタイミングである。駆動装置が自主的に駆動を停止する場合には、駆動装置が駆動を停止した時点をタイミングｔ３とすればよい。
【００５６】
ユーザ操作によりなされた駆動停止命令や、制御部などが発行した駆動停止命令に応じて駆動を停止する場合にも、駆動装置が駆動を停止した時点をタイミングｔ３とすることができる。さらに、駆動停止命令がなされた時点から、予め設定された所定の長さの時間が経過した時点をタイミングｔ３としてもよい。
＜＜タイミングｔ４の特定＞＞
【００５７】
タイミングｔ４は、駆動装置が駆動を停止した後、雑音が無くなったタイミングである。このタイミングについても、タイミングｔ３から予め設定された所定の長さの時間が経過した時点とすることができる。
【００５８】
または、タイミングｔ３から雑音レベルの推定を行う、推定された雑音レベルが所定の閾値まで下がった時点を、タイミングｔ４に特定するようにしてもよい。この閾値は、タイミングｔ１を特定するときの閾値と同様に、例えば無雑音の期間での信号レベルより若干大きい値に設定すればよい。
【００５９】
なお、上記では、タイミングｔ３とタイミングｔ４について、タイミングｔ３を先に特定してからタイミングｔ４を特定する手法を説明したが、タイミングｔ４を先に特定してからタイミングｔ３としてもよい。
＜＜タイミングｔ４を先に特定してからタイミングｔ３を特定する手法＞＞
【００６０】
この場合、既に特定したタイミングｔ２から雑音レベルの推定を行う。そして、推定された雑音レベルが所定の閾値に下がった時点をタイミングｔ４とする。この所定の閾値は、上述した、タイミングｔ３から雑音レベルを推定することによってタイミングｔ４を特定する際の閾値より大きい値に設定される。
【００６１】
タイミングｔ４を特定した後、タイミングｔ４から所定時間遡った時点をタイミングｔ３とすればよい。
【００６２】
なお、この場合、タイミングｔ４において推定された雑音レベルが、期間Ｔ３及び期間Ｔ５の信号から推定されたものであるので、期間Ｔ３と期間Ｔ５の雑音除去に使用すると、期間Ｔ３については雑音の除去が不足し、期間Ｔ５については雑音の除去が過度になされることになる。そのため、タイミングｔ３とタイミングｔ４を特定すると、タイミングｔ２から推定した雑音レベルを破棄し、タイミングｔ２からタイミングｔ３までの期間（期間Ｔ３）の信号と、タイミングｔ３からタイミングｔ４までの期間（期間Ｔ５）の信号とに対して別々に雑音レベルを推定し、推定された雑音レベルで夫々の期間の信号に対して雑音除去を行う必要がある。
【００６３】
あるいは、タイミングｔ４を特定するためのタイミングｔ２から雑音レベルを推定する際に、所定の時間長（例えば数十ミリ秒）が経過する度にその時点までの推定結果（雑音レベル）を記憶する。そして、タイミングｔ４、そしてタイミングｔ３が特定されると、一時記憶した複数の推定結果から、タイミングｔ３までの推定結果を期間Ｔ３の雑音レベルとして用い、期間Ｔ３の信号に対して雑音除去を行う。期間Ｔ５については、タイミングｔ３から雑音レベルの推定をやり直して、推定した雑音レベルで該期間の信号に対して雑音除去を行う。
【００６４】
以上にて、リアルタイムで処理を行う場合の各期間の特定手法を説明した。既に取得した音声信号に対して処理を行う場合について説明する前に、本発明にかかる音声取得技術を説明する。
【００６５】
本発明にかかる音声取得技術は、音声信号を記録する際に、音声信号の取得中に駆動部に対して発行された駆動命令のタイミングを示す情報と、駆動部が、駆動命令に応じた駆動を停止したタイミングを示しうる情報とを、音声信号に付加して記録する。
【００６６】
「駆動部が、駆動命令に応じた駆動を停止したタイミングを示しうる情報」とは、駆動部が駆動を停止したタイミングそのものを示す情報であってもよいし、該タイミングを算出可能な情報、例えば駆動停止命令のタイミングを示す情報であってもよい。駆動停止命令のタイミングを示す情報である場合には、該タイミングから所定長の時間が経過した時点を、駆動命令に応じた駆動を停止したタイミングを算出すればよい。
【００６７】
すなわち、本発明にかかる音声取得技術による取得された音声信号には、駆動命令のタイミングを示す情報と、駆動部が、駆動命令に応じた駆動を停止したタイミングを示しうる情報とが含まれている。そのため、既に取得された音声信号から、上述した各期間を特定することができる。そのため、本発明にかかる音声取得技術によれば、リアルタイムではなく、既に取得した音声信号に対して雑音レベルの推定と雑音の除去を行う場合にも、本発明にかかる音声処理技術を適用することができ、ひいては、適切な雑音除去を実現することができる。
【００６８】
以上の説明を踏まえて、本発明の具体的な実施の形態を説明する。
＜第１の実施の形態＞
図２は、本発明の第１の実施の形態にかかる撮像装置１００を示す。撮像装置１００は、音声付き動画を撮像可能なものであり、レンズ１０２、操作部１０４、録画部１０６、録音部１０８、駆動部１１０、音声処理部１２０、合成部１３０、記録部１４０を備える。
【００６９】
操作部１０４は、録画指示、フォーカス操作、ズーム操作など、ユーザによる各種操作を行うためのものである。
【００７０】
録画部１０６は、操作部１０４と接続されており、ユーザが操作部１０４を介して行った録画指示Ｓ０に応じてレンズ１０２から画像を取込み、画像信号Ｖを合成部１３０に出力する。
【００７１】
録音部１０８は、操作部１０４と接続されており、図示しないマイクロフォンなどを備える。録音部１０８は、ユーザが操作部１０４を介して行った録画指示Ｓ０に応じて音声を取り込み、音声信号Ａを音声処理部１２０に出力する。
【００７２】
駆動部１１０は、レンズ１０２及び操作部１０４と接続されており、ユーザが行う各種操作のうち、レンズ１０２を駆動する必要のある操作（以下駆動命令Ｓ１という）に応じてレンズ１０２の駆動を開始し、その後、自主的に、例えば所定時間が経過すると駆動を停止する。なお、駆動命令Ｓ１の種類に応じて上記所定時間の長さが異なり得る。
【００７３】
音声処理部１２０は、録音部１０８と接続されており、録音部１０８からの音声信号Ａに対して、録画中における駆動部１１０の駆動動作に起因する雑音の除去処理をリアルタイムで行い、音声信号Ａ２を得て合成部１３０に出力する。
【００７４】
合成部１３０は、録画部１０６及び音声処理部１２０と接続されており、録画部１０６からの画像信号Ｖと、音声処理部１２０からの音声信号Ａ１とを合成し、音声付き動画信号（以下単に動画信号ともいう）ＡＶを得て、記録部１４０に出力する。
【００７５】
記録部１４０は、合成部１３０と接続されており、図示しないメモリカードなどの記録媒体を備え、合成部１３０からの動画信号ＡＶを記録媒体に記録する。
【００７６】
本実施の形態において、音声処理部１２０は、さらに操作部１０４および駆動部１１０と接続されている。操作部１０４が駆動部１１０に出力する駆動命令Ｓ１は、音声処理部１２０にも出力される。また、駆動部１１０は、レンズ１０２の駆動を停止した際に、停止したことを示す停止信号Ｑを音声処理部１２０に出力する。
【００７７】
図３は、撮像装置１００における音声処理部１２０を示す。音声処理部１２０は、雑音期間設定部１２２、雑音レベル推定部１２４、雑音除去部１２６、出力部１２８を備え、録音部１０８からの音声信号Ａは、これらの機能ブロックに入力される。各機能ブロックの説明に際して、録音部１０８からの音声信号Ａが図１に示す音声信号Ａであるとする。
【００７８】
雑音期間設定部１２２は、操作部１０４からの駆動命令Ｓ１と、停止信号Ｑが入力され、雑音レベル推定部１２４、雑音除去部１２６、出力部１２８に対してタイミングｔ１、タイミングｔ２、タイミングｔ３、タイミングｔ４の設定を行う。
【００７９】
雑音期間設定部１２２は、駆動命令Ｓ１が入力されたタイミングを図１におけるタイミングｔ０として、駆動命令Ｓ１が入力されると、計時を開始する。そして、予め設定された所定の第１の長さの時間が経過すると、期間Ｔ１の始点、すなわち、駆動部１１０が駆動を開始したタイミングｔ１を示す情報を雑音レベル推定部１２４、雑音除去部１２６、出力部１２８に出力する。
【００８０】
雑音期間設定部１２２は、計時を続け、予め設定された、上記第１の長さより長い第２の長さの時間が経過すると、期間Ｔ１の終点（＝期間Ｔ３の始点）、すなわち、駆動による雑音がほぼ一定レベルに達したタイミングｔ２を示す情報を雑音レベル推定部１２４、雑音除去部１２６、出力部１２８に出力すると共に、計時した時間をクリアする。
【００８１】
雑音期間設定部１２２は、停止信号Ｑが入力されると、このタイミングを示す情報を、期間Ｔ３の終点（＝期間Ｔ５の始点）、すなわち、駆動部１１０が駆動を停止し、雑音が小さくなり始めるタイミングｔ３として雑音レベル推定部１２４、雑音除去部１２６、出力部１２８に出力すると共に、計時を再開する。
【００８２】
雑音期間設定部１２２は、計時の再開から、所定の第３の長さの時間が経過すると、期間Ｔ５の終点、すなわち雑音が無くなったタイミングｔ４を示す情報を雑音レベル推定部１２４、雑音除去部１２６、出力部１２８に出力する。
【００８３】
雑音レベル推定部１２４は、雑音期間設定部１２２からタイミングｔ１を示す情報が入力されると、該タイミングｔ１から雑音レベルの推定を開始する。そして、雑音期間設定部１２２からタイミングｔ２を示す情報が入力されると、今までの雑音レベルの推定結果となる雑音レベルＬ１を雑音除去部１２６に出力すると共に、タイミングｔ２からの信号に対して、雑音レベルの推定を開始する。
【００８４】
すなわち、タイミングｔ２において、雑音レベル推定部１２４は、音声信号Ａにおける期間Ｔ１の信号から推定した雑音レベルＬ１を得て雑音除去部１２６に出力すると共に、期間Ｔ３の信号に対する雑音レベルの推定を始める。
【００８５】
そして、雑音期間設定部１２２から、駆動部１１０が駆動を停止したタイミングｔ３を示す情報が入力されると、雑音レベル推定部１２４は、今までの雑音レベルの推定結果となる雑音レベルＬ３を雑音除去部１２６に出力すると共に、タイミングｔ３からの信号に対して、雑音レベルの推定を開始する。
【００８６】
すなわち、タイミングｔ３において、雑音レベル推定部１２４は、音声信号Ａにおける期間Ｔ３の信号から推定した雑音レベルＬ３を得て雑音除去部１２６に出力すると共に、期間Ｔ５の信号に対する雑音レベルの推定を始める。
【００８７】
そして、雑音期間設定部１２２から、雑音が無くなったタイミングｔ４を示す情報が入力されると、雑音レベル推定部１２４は、今までの雑音レベルの推定結果となる雑音レベルＬ５を雑音除去部１２６に出力すると共に、雑音レベルの推定を停止する。
【００８８】
すなわち、タイミングｔ４において、雑音レベル推定部１２４は、音声信号Ａにおける期間Ｔ５の信号から推定した雑音レベルＬ５を得て雑音除去部１２６に出力すると共に、雑音レベルの推定を停止する。
【００８９】
雑音除去部１２６は、図示しない内部バッファを有し、雑音期間設定部１２２からタイミングｔ１を示す情報が入力されると、該タイミングｔ１からの信号を内部バッファに保持する。
【００９０】
そして、雑音期間設定部１２２からタイミングｔ２を示す情報が入力、さらに、雑音レベル推定部１２４からタイミングｔ１からタイミングｔ２までの期間（Ｔ１）に対して推定された雑音レベルＬ１が入力されると、雑音除去部１２６は、該雑音レベルＬ１を用いて期間Ｔ１の信号に対して雑音除去処理を行い、処理後の信号を出力部１２８に出力する。
【００９１】
出力部１２８は、図示しない内部バッファを有し、音声信号Ａを一時的に保持すると共に、雑音期間設定部１２２から出力された各タイミングの情報に応じて、当該期間の信号を雑音除去部１２６からの信号に置き換えて出力する。
【００９２】
具体的には、出力部１２８は、タイミングｔ１を示す情報が入力されるまで、音声信号Ａをそのまま出力する。すなわち、音声信号Ａにおけるタイミングｔ１までの信号は、そのまま合成部１３０に出力される。
【００９３】
出力部１２８は、雑音期間設定部１２２からタイミングｔ１を示す情報が入力されると、該タイミングから音声信号Ａを一時保存する。
【００９４】
その後、雑音期間設定部１２２からタイミングｔ２を示す情報が入力され、さらに雑音除去部１２６から、期間Ｔ１において雑音除去がなされた信号が入力されると、出力部１２８は、雑音除去部１２６からの信号を合成部１３０に出力すると共に、内部バッファに一時保存した、音声信号Ａにおけるタイミングｔ１からタイミングｔ２まで（期間Ｔ１）の信号を破棄する。
【００９５】
これにより、期間Ｔ１の信号は、音声信号Ａにおける該期間の信号から推定された雑音レベルＬ１を用いて雑音除去がなされた信号に置き換えられて、合成部１３０に出力される。
【００９６】
その後、雑音期間設定部１２２からタイミングｔ３を示す情報が入力され、さらに雑音除去部１２６から、期間Ｔ３において雑音除去がなされた信号が入力されると、出力部１２８は、雑音除去部１２６からの信号を合成部１３０に出力すると共に、内部バッファに一時保存した、音声信号Ａにおけるタイミングｔ２からタイミングｔ３まで（期間Ｔ３）の信号を破棄する。
【００９７】
これにより、期間Ｔ３の信号は、音声信号Ａにおける該期間の信号から推定された雑音レベルＬ３を用いて雑音除去がなされた信号に置き換えられて、合成部１３０に出力される。
【００９８】
その後、雑音期間設定部１２２からタイミングｔ４を示す情報が入力され、さらに雑音除去部１２６から、Ｔ５において雑音除去がなされた信号が入力されると、出力部１２８は、雑音除去部１２６からの信号を合成部１３０に出力すると共に、内部バッファに一時保存した、音声信号Ａにおけるタイミングｔ３からタイミングｔ４まで（期間Ｔ５）の信号を破棄する。
【００９９】
これにより、期間Ｔ５の信号は、音声信号Ａにおける該期間の信号から推定された雑音レベルＬ５を用いて雑音除去がなされた信号に置き換えられ、合成部１３０に出力される。
【０１００】
その後、駆動部１１０に対して次の駆動命令がなされたために操作部１０４から駆動命令Ｓ１が入力されるまで、出力部１２８は、タイミングｔ４からの信号をそのまま合成部１３０に出力する。
【０１０１】
図４は、図３に示す音声処理部１２０における雑音期間設定部１２２、雑音レベル推定部１２４、雑音除去部１２６による処理の流れを示すフローチャートである。図示のように、雑音期間設定部１２２は、駆動命令Ｓ１が入力されると、該タイミングをタイミングｔ０に特定し、計時を開始する（Ｓ１００）。
【０１０２】
所定の第１の長さの時間が経過すると、雑音期間設定部１２２は、タイミングｔ１を示す情報を出力すると共に、計時した時間をクリアして、再び計時を開始する（Ｓ１０２）。
【０１０３】
雑音レベル推定部１２４は、雑音期間設定部１２２からタイミングｔ１を示す情報が入力されると、タイミングｔ１から音声信号Ａに対して雑音レベルの推定を開始する（Ｓ１２０）。
【０１０４】
また、雑音除去部１２６は、雑音期間設定部１２２からタイミングｔ１を示す情報が入力されると、音声信号Ａにおけるタイミングｔ１からの信号の保持を開始する（Ｓ１４０）。
【０１０５】
雑音期間設定部１２２は、タイミングｔ１から所定の第２の長さが経過すると、タイミングｔ２を示す情報を出力すると共に、計時した時間をクリアする（Ｓ１０４）。
【０１０６】
雑音レベル推定部１２４は、雑音期間設定部１２２からタイミングｔ２を示す情報が入力されると、今までの雑音レベルの推定結果、すなわち期間Ｔ１（タイミングｔ１からタイミングｔ２まで）の信号から推定された雑音レベルＬ１を雑音除去部１２６に出力すると共に、タイミングｔ２から音声信号Ａに対して雑音レベルの推定を開始する（Ｓ１２２）。
【０１０７】
雑音除去部１２６は、雑音期間設定部１２２からタイミングｔ２を示す情報が入力され、雑音レベル推定部１２４から雑音レベルＬ１が入力されると、雑音レベルＬ１を用いて、保持した、音声信号Ａにおける期間Ｔ１の信号に対して雑音除去を行って、出力部１２８に出力する（Ｓ１４２）。
【０１０８】
雑音期間設定部１２２は、駆動部１１０から停止信号Ｑが入力されると、このタイミングをタイミングｔ３に特定し、タイミングｔ３を示す情報を出力すると共に、再び計時を開始する（Ｓ１０６）。
【０１０９】
雑音レベル推定部１２４は、雑音期間設定部１２２からタイミングｔ３を示す情報が入力されると、今までの雑音レベルの推定結果、すなわち期間Ｔ３（タイミングｔ２からタイミングｔ３まで）の信号から推定された雑音レベルＬ３を雑音除去部１２６に出力すると共に、タイミングｔ３から音声信号Ａに対して雑音レベルの推定を開始する（Ｓ１２４）。
【０１１０】
雑音除去部１２６は、雑音期間設定部１２２からタイミングｔ３を示す情報が入力され、雑音レベル推定部１２４から雑音レベルＬ３が入力されると、雑音レベルＬ３を用いて、保持した、音声信号Ａにおける期間Ｔ３の信号に対して雑音除去を行って、出力部１２８に出力する（Ｓ１４４）。
【０１１１】
雑音期間設定部１２２は、タイミングｔ３から所定の長さの時間が経過すると、タイミングｔ４を示す情報を出力すると共に、計時した時間をクリアする（Ｓ１０８）。その後、再び駆動命令Ｓ１が入力されるまで待機する。
【０１１２】
雑音レベル推定部１２４は、雑音期間設定部１２２からタイミングｔ４を示す情報が入力されると、今までの雑音レベルの推定結果、すなわち期間Ｔ５（タイミングｔ３からタイミングｔ４まで）の信号から推定された雑音レベルＬ５を雑音除去部１２６に出力する（Ｓ１２６）。その後、雑音期間設定部１２２から再びタイミングｔ１を示す情報が入力されるまで待機する。
【０１１３】
雑音除去部１２６は、雑音期間設定部１２２からタイミングｔ４を示す情報が入力され、雑音レベル推定部１２４から雑音レベルＬ５が入力されると、雑音レベルＬ５を用いて、保持した、音声信号Ａにおける期間Ｔ５の信号に対して雑音除去を行って、出力部１２８に出力する（Ｓ１４６）。その後、雑音期間設定部１２２から再びタイミングｔ１を示す情報が入力されるまで待機する。
【０１１４】
本実施の形態の撮像装置１００によれば、図１に示すような、駆動に起因する雑音が含まれた音声信号Ａにおける期間Ｔ０の信号、すなわち、駆動命令の直後の、駆動部１１０が駆動を開始したタイミングｔ１までの期間の信号は雑音除去がなされない。また、期間Ｔ１の信号、すなわち、駆動部１１０が駆動を開始したタイミングｔ１から雑音がほぼ一定になる時点（タイミングｔ２）までの期間の信号は、該期間の信号から推定された雑音レベルを用いた雑音除去がなされる。また、期間Ｔ３の信号、すなわち、駆動部１１０による駆動に起因する雑音がほぼ一定になってから、駆動部１１０が駆動を停止したタイミングｔ３までの期間の信号は、該期間の信号から推定された雑音レベルを用いた雑音除去がなされる。また、期間Ｔ５の信号、すなわち、駆動部１１０が駆動を停止したタイミングｔ３から、雑音が消える時点（タイミングｔ４）までの信号は、該期間の信号から推定された雑音レベルを用いた雑音除去がなされる。
【０１１５】
従って、雑音の除去を行うべきではない期間に対して雑音除去を行ってしまうことを回避し、雑音除去が過度または不足になることなどを改善することができ、ひいては、より良い音質を得ることができる。
＜第２の実施の形態＞
【０１１６】
図５は、本発明の第２の実施の形態にかかる撮像装置２００を示す。撮像装置２００は、音声付き動画を撮像可能なものであり、レンズ１０２、操作部１０４、録画部１０６、録音部１０８、駆動部１１０、合成部１３０、記録部２４０を備える。撮像装置２００は、撮像装置１００における音声処理部１２０が設けられておらず、撮像装置１００の記録部１４０の代わりに記録部２４０を備える。
【０１１７】
本実施の形態の撮像装置２００において、操作部１０４からの駆動命令Ｓ１は、駆動部１１０に送信されると共に、記録部２４０にも送信される。また、駆動部１１０からの停止信号Ｑは、記録部２４０に送信される。
【０１１８】
合成部１３０は、録画部１０６が得た画像信号Ｖと、録音部１０８が得た音声信号Ａとが入力される。合成部１３０は、画像信号Ｖと音声信号Ａとを合成して動画信号を得て、記録部２４０に出力する。なお、合成部１３０により得られた動画信号に含まれる音声信号は、駆動に起因する雑音の除去がなされていないものであり、撮像装置１００における合成部１３０により得られた動画信号ＡＶと区別するために、ＡＶＸと表記する。
【０１１９】
記録部２４０は、操作部１０４からの駆動命令Ｓ１のタイミング（図１におけるタイミングｔ０）を示す情報と、駆動部１１０からの停止信号Ｑのタイミング（図１におけるタイミングｔ３）を示す情報とを、合成部１３０からの動画信号ＡＶＸに付し、図示しない記録媒体に記録する。記録媒体に記録された動画のデータを、ＡＶＹと表記している。
【０１２０】
すなわち、本第２の実施の形態の撮像装置２００により取得した動画のデータＡＶＹには、駆動部１１０に対してなされた駆動命令のタイミングと、駆動部１１０が、該駆動命令に応じた駆動を停止したタイミングが付されている。そのため、後に、該データに対して、雑音レベルの推定と雑音除去を行う際に、図１に示す各期間の特定が可能であり、ひいては、適切な雑音除去が可能になる。
【０１２１】
撮像装置２００により取得した動画像のデータＡＶＹに対して雑音除去を行う処理については、第３の実施の形態を用いて説明する。
＜第３の実施の形態＞
【０１２２】
図６は、本発明にかかる第３の実施の形態の音声処理装置３００を示す。音声処理装置３００は、図５に示す撮像装置２００により得られた動画像のデータＡＶＹに対して、撮像装置２００における駆動装置の駆動に起因する雑音を除去するためのものであり、分離部３１０、バッファ３２０、雑音期間設定部３３０、雑音レベル推定部３４０、雑音除去部３５０、再合成部３６０を備える。
【０１２３】
分離部３１０は、動画像のデータＡＶＹに対して画像と音声の分離を行って画像データＶと音声データＡ２を得る。分離部３１０は、画像データＶを再合成部３６０に出力し、音声データＡ２をバッファ３２０に出力する。
【０１２４】
上述したように、動画像のデータＡＶＹには、駆動命令のタイミングと、駆動が停止したタイミングとを示す情報が付されている。これらの情報は、音声データＡ２に含まれている。すなわち、音声データＡ２は、図１に示す音声信号Ａのデータと、タイミングｔ０及びタイミングｔ３を示す情報とを含む。
【０１２５】
雑音期間設定部３３０は、バッファ３２０に一時的に格納された音声データＡ２から、タイミングｔ０及びタイミングｔ３を示す情報を読み出して、図１に示すタイミングｔ１、タイミングｔ２、タイミングｔ４を算出する。そして、雑音期間設定部３３０は、タイミングｔ１、タイミングｔ２、タイミングｔ３、タイミングｔ４を示す情報を雑音レベル推定部３４０に出力する。
【０１２６】
各タイミングの特定手法は、撮像装置１００における音声処理部１２０の雑音期間設定部１２２による手法と同様であり、ここで詳細な説明を省略する。
【０１２７】
雑音レベル推定部３４０は、雑音期間設定部３３０からタイミングｔ１、タイミングｔ２、タイミングｔ３、タイミングｔ４を示す情報が入力されると、バッファ３２０に格納された音声データＡ２に含まれる音声データＡに対して、期間Ｔ１、期間Ｔ３、期間Ｔ５に対して夫々の雑音レベルを推定する。雑音レベル推定部３４０は、期間Ｔ１のデータに対して推定した雑音レベルＬ１と、期間Ｔ３のデータに対して推定した雑音レベルＬ３と、期間Ｔ５のデータに対して推定した雑音レベルＬ５とを雑音除去部３５０に出力する。
【０１２８】
雑音除去部３５０は、バッファ３２０に格納された音声データＡ２に含まれる音声データＡを読み出し、必要に応じて雑音除去を行ってから再合成部３６０に出力する。
【０１２９】
具体的には、音声データＡにおけるタイミングｔ１までのデータをそのまま再合成部３６０に出力する。タイミングｔ１からタイミングｔ２まで（期間Ｔ１）のデータに対しては、雑音レベル推定部３４０から入力される雑音レベルＬ１を用いて雑音除去をしてから再合成部３６０に出力する。また、タイミングｔ２からタイミングｔ３まで（期間Ｔ３）のデータに対しては、雑音レベル推定部３４０から入力される雑音レベルＬ３を用いて雑音除去をしてから再合成部３６０に出力する。タイミングｔ３からタイミングｔ４まで（期間Ｔ５）のデータに対しては、雑音レベル推定部３４０から入力される雑音レベルＬ５を用いて雑音除去をしてから再合成部３６０に出力する。タイミングｔ４以降のデータについては、そのまま再合成部３６０に出力する。
【０１３０】
再合成部３６０は、分離部３１０からの画像データＶと、雑音除去部３５０からの音声データＡ１とを再び合成して動画像データＡＶを得る。
【０１３１】
本実施の形態にかかる音声処理装置３００は、リアルタイムではなく、既に取得した音声データに対して雑音レベルの推定と雑音の除去を行う点において、図２に示す第１の実施の形態の撮像装置１００における音声処理部１２０と異なる以外、各機能ブロックが実現する処理の手法などは、音声処理部１２０と同様であり、音声処理部１２０と同様の効果を得ることができる。
【０１３２】
以上、実施の形態をもとに本発明を説明した。実施の形態は例示であり、本発明の主旨から逸脱しない限り、上述した各実施の形態に対してさまざまな変更、増減を行ってもよい。これらの変更、増減が行われた変形例も本発明の範囲にあることは当業者に理解されるところである。
【０１３３】
例えば、上述した第１と第３の実施の形態において、各タイミング（期間）は、予め設定された各種の長さ（時間）に基づいて特定されるようになっている。これらのタイミングや期間の特定に、本発明にかかる技術の原理を説明した際に述べた他の手法を用いてもよい。
【０１３４】
また、上述した第１と第３の実施の形態において、期間Ｔ１、期間Ｔ３、期間Ｔ５の夫々について雑音レベルの推定と雑音の除去を行うようにしているが、期間Ｔ１、または期間Ｔ５、または期間Ｔ１と期間Ｔ５の両方について雑音レベルの推定と雑音の除去を行わないようにしてもよい。さらに、期間Ｔ１と期間Ｔ３を分けずに、期間Ｔ１と期間Ｔ３に対して雑音レベルの推定と除去を行うようにしてもよい。
【０１３５】
また、第２の実施の形態において、駆動が停止されたタイミングｔ３を示しうる情報としてタイミングｔ３そのものを音声信号に付属させるようにしているが、タイミングｔ３の代わりに、タイミングｔ３を算出可能な他の情報、例えば駆動停止命令のタイミングを示す情報を音声信号に付加してもよい。
【０１３６】
また、例えば第１の実施の形態において、雑音レベル推定部１２４は、雑音レベルの推定の対象となる期間（図１における期間Ｔ１、Ｔ３、Ｔ５）毎に雑音レベルの推定を行い、該期間の終点まで雑音レベルの推定が完了してから該期間の雑音レベルを雑音除去部１２６に出力している。また、雑音除去部１２６は、雑音レベル推定部１２４により推定された雑音レベルを用いて、当該期間の雑音除去をまとめて行うようになっている。より迅速な処理速度を図るために、例えば、雑音レベル推定部１２４は、雑音レベルの推定を行いながら、所定の時間長（例えば数十ミリ秒）が経過する度にその時点までに推定した雑音レベルを雑音除去部１２６に出力し、雑音除去部１２６は、雑音レベル推定部１２４から雑音レベルを受信する度に、該当する上記所定の時間長の信号に対して雑音除去を行うようにしてもよい。
【０１３７】
また、本発明にかかる技術の原理を説明する際に、及び各実施の形態において、処理される音声信号の例として図１に示す音声信号Ａを用いたが、本発明にかかる技術は、駆動を開始した直後に雑音が最も大きく、その後雑音が徐々に小さくなり、所定期間を経てほぼ一定値に達する駆動装置を有する音声取得装置により取得された音声信号の雑音除去にも適用できる。
【符号の説明】
【０１３８】
１００ 撮像装置 １０２ レンズ
１０４ 操作部 １０６ 録画部
１０８ 録音部 １１０ 駆動部
１２０ 音声処理部 １２２ 雑音期間設定部
１２４ 雑音レベル推定部 １２６ 雑音除去部
１２８ 出力部 １３０ 合成部
１４０ 記録部 ２００ 撮像装置
２４０ 記録部 ３００ 音声処理装置
３１０ 分離部 ３２０ バッファ
３３０ 雑音期間設定部 ３４０ 雑音レベル推定部
３５０ 雑音除去部 ３６０ 再合成部
Ｓ０ 録画指示 Ｓ１ 駆動命令
Ｑ 停止信号
【特許請求の範囲】
【請求項１】
所定の部品と、該部品を駆動する駆動部とを含む音声取得装置であって、音声信号を取得する際に、前記駆動部による前記部品の駆動が生じうる前記音声取得装置が取得した音声信号から、前記駆動に起因する雑音を除去する音声処理装置であって、
前記音声信号に対して、前記駆動部に対する駆動命令のタイミングから所定の第１の期間が経過した時点と、前記駆動部が前記駆動命令に応じた駆動を停止した時点との間隔である第２の期間を設定する雑音期間設定部と、
該雑音期間設定部が設定した前記第２の期間の信号を用いて雑音レベルの推定を行う雑音推定部と、
該雑音推定部により推定した前記雑音レベルを用いて、前記第２の期間の信号に対して雑音の除去を行う雑音除去部とを備えることを特徴とする音声処理装置。
【請求項２】
前記雑音期間設定部は、さらに、
前記第１の期間における、前記駆動部に対する駆動命令のタイミングから所定の第３の期間が経過した時点と、前記第１の期間の終点との間隔である第４の期間を設定し、
前記雑音推定部は、さらに、
前記雑音期間設定部が設定した前記第４の期間の信号を用いて雑音レベルの推定を行い、
前記雑音除去部は、さらに、
前記雑音推定部により推定した前記第４の期間の雑音レベルを用いて、前記第４の期間の信号に対して雑音の除去を行うことを特徴とする請求項１に記載の音声処理装置。
【請求項３】
前記雑音期間設定部は、さらに、
前記第２の期間の終点からの所定の期間である第５の期間を設定し、
前記雑音推定部は、さらに、
前記雑音期間設定部が設定した前記第５の期間の信号を用いて雑音レベルの推定を行い、
前記雑音除去部は、さらに、
前記雑音推定部により推定した前記第５の期間の雑音レベルを用いて、前記第５の期間の信号に対して雑音の除去を行うことを特徴とする請求項１または２に記載の音声処理装置。
【請求項４】
前記駆動部が、駆動停止命令に応じて駆動を停止するものであるとき、
前記雑音期間設定部は、前記駆動停止命令のタイミングから所定の時間が経過した時点を前記第２の期間の終点に設定することを特徴とする請求項１から３のいずれか１項に記載の音声処理装置。
【請求項５】
所定の部品と、該部品を駆動する駆動部とを含む音声取得装置であって、音声信号を取得する際に、前記駆動部による前記部品の駆動が生じうる前記音声取得装置が取得した音声信号から、前記駆動に起因する雑音を除去する音声処理方法において、
前記音声信号に対して、前記駆動部に対する駆動命令のタイミングから所定の第１の期間が経過した時点と、前記駆動部が前記駆動命令に応じた駆動を停止した時点との間隔である第２の期間を設定し、
設定された前記第２の期間の信号を用いて雑音レベルの推定を行い、
推定された前記雑音レベルを用いて、前記第２の期間の信号に対して雑音の除去を行うことを特徴とする音声処理方法。
【請求項６】
前記第１の期間における、前記駆動部に対する駆動命令のタイミングから所定の第３の期間が経過した時点と、前記第１の期間の終点との間隔である第４の期間を設定し、
設定された前記第４の期間の信号を用いて雑音レベルの推定を行い、
推定された前記第４の期間の雑音レベルを用いて、前記第４の期間の信号に対して雑音の除去を行う処理をさらに行うことを特徴とする請求項５に記載の音声処理方法。
【請求項７】
前記第２の期間の終点からの所定の期間である第５の期間を設定し、
設定された前記第５の期間の信号を用いて雑音レベルの推定を行い、
推定された前記第５の期間の雑音レベルを用いて、前記第５の期間の信号に対して雑音の除去を行う処理をさらに行うことを特徴とする請求項５または６に記載の音声処理方法。
【請求項８】
前記駆動部が、駆動停止命令に応じて駆動を停止するものであり、
前記第２の期間の設定に際して、前記駆動停止命令のタイミングから所定の時間が経過した時点を前記第２の期間の終点に設定することを特徴とする請求項５から７のいずれか１項に記載の音声処理方法。
【請求項９】
所定の部品と、該部品を駆動する駆動部とを含む音声取得装置であって、音声信号を取得する際に、前記駆動部による前記部品の駆動が生じうる前記音声取得装置が取得した音声信号から、前記駆動に起因する雑音を除去する音声処理方法をコンピュータに実行せしめるプログラムであって、
前記音声処理は、
前記音声信号に対して、前記駆動部に対する駆動命令のタイミングから所定の第１の期間が経過した時点と、前記駆動部が前記駆動命令に応じた駆動を停止した時点との間隔である第２の期間を設定し、
設定された前記第２の期間の信号を用いて雑音レベルの推定を行い、
推定された前記雑音レベルを用いて、前記第２の期間の信号に対して雑音の除去を行う処理であることを特徴とするプログラム。
【請求項１０】
所定の部品と、
該部品を駆動する駆動部と、
音声信号を取得する音声信号取得部とを備え、
前記音声信号取得部により音声信号を取得する際に、前記駆動部による前記部品の駆動が生じうる音声取得装置であって、
前記音声取得部による音声信号の取得中に前記駆動部に対して発行された駆動命令のタイミングを示す情報と、前記駆動部が、前記駆動命令に応じた駆動を停止したタイミングを示しうる情報とを、前記音声信号取得部により取得された音声信号に付加して記録する記録部をさらに備えることを特徴とする音声取得装置。
【請求項１１】
音声付き動画を撮像する撮像装置であることを特徴とする請求項１０に記載の音声取得装置。
【請求項１】
所定の部品と、該部品を駆動する駆動部とを含む音声取得装置であって、音声信号を取得する際に、前記駆動部による前記部品の駆動が生じうる前記音声取得装置が取得した音声信号から、前記駆動に起因する雑音を除去する音声処理装置であって、
前記音声信号に対して、前記駆動部に対する駆動命令のタイミングから所定の第１の期間が経過した時点と、前記駆動部が前記駆動命令に応じた駆動を停止した時点との間隔である第２の期間を設定する雑音期間設定部と、
該雑音期間設定部が設定した前記第２の期間の信号を用いて雑音レベルの推定を行う雑音推定部と、
該雑音推定部により推定した前記雑音レベルを用いて、前記第２の期間の信号に対して雑音の除去を行う雑音除去部とを備えることを特徴とする音声処理装置。
【請求項２】
前記雑音期間設定部は、さらに、
前記第１の期間における、前記駆動部に対する駆動命令のタイミングから所定の第３の期間が経過した時点と、前記第１の期間の終点との間隔である第４の期間を設定し、
前記雑音推定部は、さらに、
前記雑音期間設定部が設定した前記第４の期間の信号を用いて雑音レベルの推定を行い、
前記雑音除去部は、さらに、
前記雑音推定部により推定した前記第４の期間の雑音レベルを用いて、前記第４の期間の信号に対して雑音の除去を行うことを特徴とする請求項１に記載の音声処理装置。
【請求項３】
前記雑音期間設定部は、さらに、
前記第２の期間の終点からの所定の期間である第５の期間を設定し、
前記雑音推定部は、さらに、
前記雑音期間設定部が設定した前記第５の期間の信号を用いて雑音レベルの推定を行い、
前記雑音除去部は、さらに、
前記雑音推定部により推定した前記第５の期間の雑音レベルを用いて、前記第５の期間の信号に対して雑音の除去を行うことを特徴とする請求項１または２に記載の音声処理装置。
【請求項４】
前記駆動部が、駆動停止命令に応じて駆動を停止するものであるとき、
前記雑音期間設定部は、前記駆動停止命令のタイミングから所定の時間が経過した時点を前記第２の期間の終点に設定することを特徴とする請求項１から３のいずれか１項に記載の音声処理装置。
【請求項５】
所定の部品と、該部品を駆動する駆動部とを含む音声取得装置であって、音声信号を取得する際に、前記駆動部による前記部品の駆動が生じうる前記音声取得装置が取得した音声信号から、前記駆動に起因する雑音を除去する音声処理方法において、
前記音声信号に対して、前記駆動部に対する駆動命令のタイミングから所定の第１の期間が経過した時点と、前記駆動部が前記駆動命令に応じた駆動を停止した時点との間隔である第２の期間を設定し、
設定された前記第２の期間の信号を用いて雑音レベルの推定を行い、
推定された前記雑音レベルを用いて、前記第２の期間の信号に対して雑音の除去を行うことを特徴とする音声処理方法。
【請求項６】
前記第１の期間における、前記駆動部に対する駆動命令のタイミングから所定の第３の期間が経過した時点と、前記第１の期間の終点との間隔である第４の期間を設定し、
設定された前記第４の期間の信号を用いて雑音レベルの推定を行い、
推定された前記第４の期間の雑音レベルを用いて、前記第４の期間の信号に対して雑音の除去を行う処理をさらに行うことを特徴とする請求項５に記載の音声処理方法。
【請求項７】
前記第２の期間の終点からの所定の期間である第５の期間を設定し、
設定された前記第５の期間の信号を用いて雑音レベルの推定を行い、
推定された前記第５の期間の雑音レベルを用いて、前記第５の期間の信号に対して雑音の除去を行う処理をさらに行うことを特徴とする請求項５または６に記載の音声処理方法。
【請求項８】
前記駆動部が、駆動停止命令に応じて駆動を停止するものであり、
前記第２の期間の設定に際して、前記駆動停止命令のタイミングから所定の時間が経過した時点を前記第２の期間の終点に設定することを特徴とする請求項５から７のいずれか１項に記載の音声処理方法。
【請求項９】
所定の部品と、該部品を駆動する駆動部とを含む音声取得装置であって、音声信号を取得する際に、前記駆動部による前記部品の駆動が生じうる前記音声取得装置が取得した音声信号から、前記駆動に起因する雑音を除去する音声処理方法をコンピュータに実行せしめるプログラムであって、
前記音声処理は、
前記音声信号に対して、前記駆動部に対する駆動命令のタイミングから所定の第１の期間が経過した時点と、前記駆動部が前記駆動命令に応じた駆動を停止した時点との間隔である第２の期間を設定し、
設定された前記第２の期間の信号を用いて雑音レベルの推定を行い、
推定された前記雑音レベルを用いて、前記第２の期間の信号に対して雑音の除去を行う処理であることを特徴とするプログラム。
【請求項１０】
所定の部品と、
該部品を駆動する駆動部と、
音声信号を取得する音声信号取得部とを備え、
前記音声信号取得部により音声信号を取得する際に、前記駆動部による前記部品の駆動が生じうる音声取得装置であって、
前記音声取得部による音声信号の取得中に前記駆動部に対して発行された駆動命令のタイミングを示す情報と、前記駆動部が、前記駆動命令に応じた駆動を停止したタイミングを示しうる情報とを、前記音声信号取得部により取得された音声信号に付加して記録する記録部をさらに備えることを特徴とする音声取得装置。
【請求項１１】
音声付き動画を撮像する撮像装置であることを特徴とする請求項１０に記載の音声取得装置。
【図２】
【図３】
【図４】
【図５】
【図６】
【図１】
【図３】
【図４】
【図５】
【図６】
【図１】
【公開番号】特開２０１２−１１３１０３（Ｐ２０１２−１１３１０３Ａ）
【公開日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願番号】特願２０１０−２６１５２２（Ｐ２０１０−２６１５２２）
【出願日】平成２２年１１月２４日（２０１０．１１．２４）
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
【公開日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願日】平成２２年１１月２４日（２０１０．１１．２４）
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
[ Back to top ]