信号処理装置、撮像装置および信号処理プログラム
【課題】 非定常音を効率的に除去することができる技術を提供することを目的とする。
【解決手段】 録音した音声信号の周波数特性から取得した複数の特徴量からなる第１の特徴量データを生成する解析部と、撮像装置の駆動音信号の周波数特性から取得した複数の特徴量からなる第２の特徴量データを記憶する記憶部と、第１の特徴量データおよび第２の特徴量データを用いて内積の演算を行う演算部と、内積の値に基づいて音声信号に駆動音信号が重畳しているか否かを判定する判定部と、を備える。
【解決手段】 録音した音声信号の周波数特性から取得した複数の特徴量からなる第１の特徴量データを生成する解析部と、撮像装置の駆動音信号の周波数特性から取得した複数の特徴量からなる第２の特徴量データを記憶する記憶部と、第１の特徴量データおよび第２の特徴量データを用いて内積の演算を行う演算部と、内積の値に基づいて音声信号に駆動音信号が重畳しているか否かを判定する判定部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、非定常音を除去することができる信号処理装置、撮像装置および信号処理プログラムに関する。
【背景技術】
【０００２】
従来、デジタルカメラやデジタルビデオカメラ等による音声記録や動画撮像において、周囲の音声だけでなく、デジタルカメラやデジタルビデオカメラ自身が発する駆動音のような非定常音まで記録される。そこで、そうした非定常音を除去して、必要な音声のみを記録する様々な技術が開発されている。
【０００３】
例えば、特許文献１は、予め撮影動作に伴って発生する機械音をスペクトル化したスペクトル信号を記憶手段に記憶し、撮影中に機械音の発生タイミングに基づいて、入力音声信号のスペクトル信号から所定の係数を乗じた機械音のスペクトル信号を減算することにより、機械音を除去する技術を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２７９１８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１のような従来技術では、駆動音の発生タイミングが、モータ等を駆動させる操作信号等に基づいて決定されるが、その操作信号等と実際の駆動音の発生タイミングとは必ずしも一致しないことから、完全に駆動音を除去することはできない。
【０００６】
上記従来技術が有する問題に鑑み、本発明の目的は、非定常音を効率的に除去することができる技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記従来技術が有する問題を解決するために、本発明の信号処理装置は、録音した音声信号の周波数特性から取得した複数の特徴量からなる第１の特徴量データを生成する解析部と、撮像装置の駆動音信号の周波数特性から取得した複数の特徴量からなる第２の特徴量データを記憶する記憶部と、第１の特徴量データおよび第２の特徴量データを用いて内積の演算を行う演算部と、内積の値に基づいて音声信号に駆動音信号が重畳しているか否かを判定する判定部と、を備える。
【０００８】
また、第１の特徴量データおよび第２の特徴量データを正規化する正規化部を備え、演算部は、正規化された第１の特徴量データおよび第２の特徴量データを用いて内積の演算を行ってもよい。
【０００９】
また、判定部により音声信号に駆動音信号が重畳していると判定された場合、第１の特徴量データおよび第２の特徴量データを用いて音声信号から駆動音信号が除去された特徴量データを生成する除去部を備えてもよい。
【００１０】
また、解析部は、音声信号を所定の時間間隔で解析して第１の特徴量データを生成してもよい。
【００１１】
また、解析部は、所定の時間間隔の音声信号を複数の時間区分に分割し、複数の時間区分毎に周波数特性から特徴量を取得し、複数の時間区分で取得した複数の特徴量のうち最小、最大または平均の値を求めて第１の特徴量データを生成してもよい。
【００１２】
また、記憶部は、駆動音信号を所定の時間間隔毎に解析して求まる複数の第２の特徴量データを記憶してもよい。
【００１３】
また、第２の特徴量データの複数の特徴量のそれぞれは、所定の時間間隔の駆動音信号を複数の時間区分に分割し、複数の時間区分毎に周波数特性から特徴量を取得し、複数の時間区分で取得した複数の特徴量のうち最小、最大または平均の値であってもよい。
【００１４】
また、第２の特徴量データは、駆動音信号から背景ノイズ信号が除去された信号の周波数特性から取得した複数の特徴量であってもよい。
【００１５】
また、除去部により音声信号から駆動音信号が除去された特徴量データを逆変換して音声信号を出力する逆変換部を備え、解析部は、音声信号の周波数特性から取得した複数の特徴量それぞれに対応した位相情報を出力する位相出力部をさらに備え、逆変換部は、位相情報に基づいて逆変換してもよい。
【００１６】
本発明の撮像装置は、被写体像を撮像して画像を生成する撮像部と、外部からの音声を音声信号として出力するマイクロホンと、本発明の信号処理装置と、を備える。
【００１７】
本発明の信号処理プログラムは、コンピュータを本発明の信号処理装置として機能させる。
【発明の効果】
【００１８】
本発明によれば、非定常音を効率的に除去することができる。
【図面の簡単な説明】
【００１９】
【図１】一の実施形態に係るデジタルカメラ１の構成の一例を示すブロック図
【図２】デジタルカメラ１がＡＦ制御動作時に発する駆動音信号の時間変化を示す図
【図３】デジタルカメラ１による駆動音の除去処理動作を示す流れ図
【図４】内積値ｅＳ×ｅＮＡおよび音声信号の時間変化を示す図
【図５】内積値ｅＳ×ｅＮＢおよび音声信号の時間変化を示す図
【発明を実施するための形態】
【００２０】
図１は、一の実施形態に係るデジタルカメラ１の構成の一例を示すブロック図である。
【００２１】
本実施形態のデジタルカメラ１は、撮像光学系１１、撮像素子１２、ＤＦＥ１３、ＣＰＵ１４、メモリ１５、操作部ン１６、モニタ１７、メディアＩ／Ｆ１８およびマイクロホ２０を有する。ここで、ＤＦＥ１３、メモリ１５、操作部１６、モニタ１７、メディアＩ／Ｆ１８およびマイクロホン２０は、それぞれＣＰＵ１４に接続されている。
【００２２】
撮像素子１２は、撮像光学系１１を通過した光束による被写体の結像を撮像するデバイスである。この撮像素子１２の出力はＤＦＥ１３に接続されている。なお、本実施形態の撮像素子１２は、順次走査方式の固体撮像素子（ＣＣＤなど）であってもよく、ＸＹアドレス方式の固体撮像素子（ＣＭＯＳなど）であってもよい。
【００２３】
撮像素子１２の受光面には、複数の受光素子がマトリックス状に配列されている。撮像素子１２の各受光素子には、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタが公知のベイヤ配列にしたがって配置されている。そのため、撮像素子１２の各受光素子は、カラーフィルタでの色分解によってそれぞれの色に対応する画像信号を出力する。これにより、撮像素子１２は、撮像時にカラーの画像を取得できる。撮像素子１２は、全受光素子に画像信号を出力させて静止画像等を撮像し、間引いた一部の受光素子に画像信号を出力させて動画や構図確認用の低解像画像（スルー画）等を撮像する。
【００２４】
ＤＦＥ１３は、撮像素子１２から入力される画像信号のＡ／Ｄ変換や、欠陥画素補正などの信号処理を行うデジタルフロントエンド回路である。このＤＦＥ１３は、本実施形態において撮像素子１２とともに撮像部を構成し、撮像素子１２より入力される画像信号を画像のデータとしてＣＰＵ１４に出力する。
【００２５】
ＣＰＵ１４は、デジタルカメラ１の各部を統括的に制御するプロセッサである。例えば、ＣＰＵ１４は、撮像素子１２の出力に基づいて、公知のコントラスト検出によるオートフォーカス（ＡＦ）制御や公知の自動露出（ＡＥ）演算などをそれぞれ実行する。また、ＣＰＵ１４は、ＤＥＦ１３からの画像データに対して、デジタル処理を施す。一例として、デジタル処理には、補間処理、ホワイトバランス処理、階調変換処理、輪郭強調処理、色変換処理などが含まれる。さらに、ＣＰＵ１４は、プログラムの実行により、スペクトル解析部２１、演算部２２、判定部２３、除去部２４、逆変換部２５、正規化部２６として動作する。
【００２６】
スペクトル解析部２１は、デジタルカメラ１による動画等の撮像時において、後述するマイクロホン２０によって取得される周囲の音声の時系列信号をスペクトル解析する。本実施形態のスペクトル解析は、高速フーリエ変換、Ｚ変換、または離散コサイン変換等の公知の手法を用いて行われる。スペクトル解析部２１は、そのスペクトル解析から求めた音声信号の周波数スペクトルの複数の特徴量、すなわち複数の周波数成分の振幅をベクトルの成分とする特徴ベクトルＶＳを生成する。また、スペクトル解析部２１は、特徴ベクトルＶＳの各成分、すなわち各周波数成分の振幅に対応した位相も求める。スペクトル解析部２１は、求めた位相を位相情報として逆変換部２５に出力する不図示の位相出力部を有する。
【００２７】
また、本実施形態では、ＣＰＵ１４が、デジタルカメラ１による撮像を行う前に、周囲の音声が無い無音状態で、ユーザにより操作部１６の操作（例えば、レリーズ釦の半押し操作等）に応じて、マイクロホン２０を介しデジタルカメラ１が発する駆動音の時系列信号を取得する。スペクトル解析部２１は、取得した駆動音信号をスペクトル解析して、特徴ベクトルＶＮを生成する。スペクトル解析部２１は、その特徴ベクトルＶＮをメモリ１５に記録する。なお、駆動音は、ＡＦ制御や撮像光学系１１のズーミング動作に伴って発せられる非定常音であり、あるいはユーザによる手動フォーカス動作や操作部１６の操作（例えば釦操作やダイヤル操作等）に伴って発せられる非定常音である。
【００２８】
図２は、デジタルカメラ１が発する駆動音の一例として、マイクロホン２０が取得したＡＦ制御動作時の駆動音信号の時間変化を示す。図２に示すように、ＡＦ制御動作時の駆動音は、一般的に大きく２つの区間、撮像光学系１１が不図示のレンズ駆動部によって停止状態から定常の駆動動作になるまでの区間Ａと、定常の駆動動作の区間Ｂとに分けられる。そこで、本実施形態において、スペクトル解析部２１は、区間ＡおよびＢの駆動音信号をスペクトル解析し、特徴ベクトルＶＮＡおよびＶＮＢをそれぞれ生成してメモリ１５に記録するものとする。これにより、音声信号に駆動音信号が重畳した箇所を正確に特定することが可能となる。
【００２９】
なお、駆動音信号の特徴ベクトルＶＮは、一度求められたら他の撮像において何度も用いられてもよいし、撮像を行う度に駆動音を取得して更新されてもよい。また、スペクトル解析部２１は、区間Ａおよび区間Ｂだけでなく、定常の駆動動作から停止状態になるまでの区間の特徴ベクトルＶＮをも生成しメモリ１５に記憶してもよい。
【００３０】
演算部２２は、正規化部２６で正規化された特徴ベクトルＶＳおよびＶＮの単位特徴ベクトルｅＳおよびｅＮによる内積値を求める。
【００３１】
判定部２３は、演算部２２が求めた内積値と閾値αとの比較に基づいて、マイクロホン２０が取得した音声信号に駆動音信号が重畳しているか否かを判定する。ここで、内積値は０から１までの値であり、内積値が大きな値ほど音声信号に駆動音信号が重畳していることを示す。具体的には、内積値＝０の場合、音声信号に駆動音信号が重畳していないことを示し、内積値＝１の場合、音声信号＝駆動音信号であることを示す。
【００３２】
除去部２４は、判定部２３によって音声信号に駆動音信号が重畳していると判定された場合、音声信号の特徴ベクトルＶＳ、駆動音信号の特徴ベクトルＶＮおよび閾値αを用いて、音声信号から重畳する駆動音信号が除去された特徴ベクトルＶ’Ｓを出力する。
【００３３】
逆変換部２５は、スペクトル解析部２１の位相出力部（不図示）からの位相情報を用いて、除去部２４によって駆動音信号が除去された特徴ベクトルＶ’Ｓから音声信号に逆変換する。
【００３４】
メモリ１５は、ＣＰＵ１４によって実行される各種のプログラムや画像ファイルなどとともに、上記駆動音信号の特徴ベクトルＶＮおよび閾値αを記憶する不揮発性のフラッシュメモリである。
【００３５】
操作部１６は、例えば、記録モードの切換入力や、後述する記憶媒体１９への記録を伴う静止画や動画の撮像指示等をユーザから受け付ける。
【００３６】
モニタ１７は、液晶モニタ等のモニタであり、ＣＰＵ１４の制御によって各種画像を表示する。例えば、動画の撮像後において、ＣＰＵ１４の制御指示に応じて、モニタ１７は、撮像された動画を再生表示する。また、本実施形態のモニタ１７は、演算部２２の生成した情報等を表示する。
【００３７】
メディアＩ／Ｆ１８には、不揮発性の記憶媒体１９を着脱可能に接続できる。そして、メディアＩ／Ｆ１８は、記憶媒体１９に対してデータの書き込み／読み込みを実行する。上記の記憶媒体１９は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体１９の一例としてメモリカードを図示する。
【００３８】
マイクロホン２０は、周囲の音声だけでなく、デジタルカメラ１が発する駆動音を受信して音声信号や駆動音信号の電気信号を出力する。また、マイクロホン２０は、動画再生時等の場合、記録された音声信号を音波として出力するスピーカとして動作する。
【００３９】
次に、図３の流れ図を参照しつつ、本実施形態のデジタルカメラ１による駆動音信号の除去処理動作について説明する。なお、除去対象となる装置はデジタルカメラ１自身とする。また、以下の説明では、駆動音信号としてＡＦ制御動作時の駆動音とし、メモリ１５には、特徴ベクトルＶＮＡおよびＶＮＢが記憶されているとする。
【００４０】
具体的には、ＣＰＵ１４が、ユーザからの動画撮像指示（例えば、操作部１６に含まれるレリーズ釦の全押し操作など）を受け付ける。ＣＰＵ１４は、撮像素子１２に間引いた一部の受光素子から画像信号を出力させて被写体の動画撮像を開始する。同時に、ＣＰＵ１４は、マイクロホン２０に被写体およびその周囲の音声を取得させ音声信号を出力させる。ＣＰＵ１４は、ステップＳ１０１〜ステップＳ１０８の処理を開始する。
【００４１】
ステップＳ１０１：スペクトル解析部２１は、マイクロホン２０から出力される音声信号を、所定の時間間隔（例えば１０ｍ秒等）で所定の窓関数を適用して高速フーリエ変換、Ｚ変換、または離散コサイン変換等の公知の手法を用いスペクトル解析する。スペクトル解析部２１は、そのスペクトル解析によって求まる音声信号の周波数スペクトルから特徴ベクトルＶＳを生成する。また、スペクトル解析部２１は、特徴ベクトルＶＳの各周波数成分の位相も求めて、逆変換部２５へ出力する。
【００４２】
ステップＳ１０２：演算部２２は、メモリ１５から駆動音信号の特徴ベクトルＶＮＡおよびＶＮＢを読み込む。正規化部２６は、音声信号の特徴ベクトルＶＳ、駆動音信号の特徴ベクトルＶＮＡおよびＶＮＢを正規化して、単位ベクトルｅＳ、ｅＮＡおよびｅＮＢを求める。
【００４３】
ステップＳ１０３：演算部２２は、単位ベクトルｅＳとｅＮＡとの内積値ｅＳ×ｅＮＡ、および単位ベクトルｅＳとｅＮＢとの内積値ｅＳ×ｅＮＢをそれぞれ求める。図４は、内積値ｅＳ×ｅＮＡ（上図）および音声信号（下図）の時間変化を示したものである。また、図５は、内積値ｅＳ×ｅＮＢ（上図）および音声信号（下図）の時間変化を示したものである。なお、図４および５に示す点線は、撮像期間に、ＡＦ制御動作に伴う駆動音のうち区間Ａの開始位置を示す。また、本実施形態における音声信号は、例えば、被写体として風景を動画撮像している場合で、マイクロホン２０が、ＡＦ制御動作に伴う駆動音とともに周囲からセミの声を取得するものとする。図４および図５に示すように、区間Ａの開始位置と内積値ｅＳ×ｅＮＡとがよく一致し、区間Ｂが区間Ａの後に続いている。
【００４４】
ステップＳ１０４：判定部２３は、求めた内積値ｅＳ×ｅＮＡと閾値αＡおよび内積値ｅＳ×ｅＮＢと閾値αＢとの比較を行い、音声信号に区間Ａの駆動音信号または区間Ｂの駆動音信号が音声信号に重畳しているか否かを判定する。なお、閾値αＡおよびαＢの各々は、動画撮像前に、ユーザによる操作部１６の操作に基づいて、撮像状況に応じて予め設定されることが好ましい。本実施形態における閾値αＡおよびαＢは、例えば、０．６５および０．５に設定されている（図４および図５）。
【００４５】
判定部２３は、内積値ｅＳ×ｅＮＡが閾値αＡより大きい場合、音声信号に区間Ａの駆動音信号が重畳していると判定して、ステップＳ１０５（ＹＥＳ側）へ移行する。一方、内積値ｅＳ×ｅＮＡが閾値αＡ以下の場合、判定部２３は、音声信号に区間Ａの駆動音信号が重畳していないと判定して、ステップＳ１０６（ＮＯ側）へ移行する。
【００４６】
同様に、判定部２３は、内積値ｅＳ×ｅＮＢが閾値αＢより大きい場合、音声信号に区間Ｂの駆動音信号が重畳していると判定して、ステップＳ１０５（ＹＥＳ側）へ移行する。一方、内積値ｅＳ×ｅＮＢが閾値αＢ以下の場合、判定部２３は、音声信号に区間Ｂの駆動音信号が重畳していないと判定して、ステップＳ１０６（ＮＯ側）へ移行する。
【００４７】
ステップＳ１０５：除去部２４は、内積値ｅＳ×ｅＮＡが閾値αＡより大きい場合、音声信号の特徴ベクトルＶＳから区間Ａの駆動音信号の特徴ベクトルＶＮＡを閾値αＡに応じて減算して、音声信号から区間Ａの駆動音信号が除去された特徴ベクトルＶ’Ｓを出力する。
【００４８】
一方、内積値ｅＳ×ｅＮＢが閾値αＢより大きい場合、除去部２４は、音声信号の特徴ベクトルＶＳから区間Ｂの駆動音の信号の特徴ベクトルＶＮＢを閾値αＢに応じて減算して、音声信号から区間Ｂの駆動音信号が除去された特徴ベクトルＶ’Ｓを出力する。
【００４９】
ステップＳ１０６：逆変換部２５は、スペクトル解析部２１の位相出力部（不図示）からの位相情報を用いて、ステップＳ１０４の特徴ベクトルＶＳ、または、ステップＳ１０５で駆動音信号が除去された特徴ベクトルＶ’Ｓを音声信号に逆変換する。
【００５０】
ステップＳ１０７：ＣＰＵ１４は、Audio Video Interleave（AVI）やMotion JPEG等の所定の動画形式に応じて、画像データとステップＳ１０６で逆変換された音声信号とを動画データとしてメモリ１５に一時的に記録する。
【００５１】
ステップＳ１０８：ＣＰＵ１４は、ユーザによるレリーズ釦の全押しが解除されたか否かを判定する。ＣＰＵ１４は、レリーズ釦の全押しが解除されたと判定した場合（ＹＥＳ側）、メモリ１５に一時的に記録された動画データのファイルを生成して、メモリ１５や記憶媒体１９に記録する。ＣＰＵ１４は、一連の処理を終了する。一方、ＣＰＵ１４は、レリーズ釦の全押しが解除されていないと判定した場合、ステップＳ１０１（ＮＯ側）へ移行する。ＣＰＵ１４は、ステップＳ１０１〜ステップＳ１０７の処理を、レリーズ釦の全押しが解除されるまで行う。
【００５２】
このように、本実施形態は、レンズ駆動部（不図示）等を駆動させる操作信号等ではなく、音声信号の単位ベクトルｅＳと駆動音信号の単位ベクトルｅＮとの内積値ｅＳ×ｅＮに基づいて、音声信号に駆動音信号が重畳した箇所を特定することにより、確度高く駆動音信号を除去することができる。
《実施形態の補足事項》
（１）本発明の信号処理装置は、上記実施形態のデジタルカメラ１の例に限定されない。例えば、コンピュータを本発明の信号処理装置として機能させてもよい。
【００５３】
（２）上記実施形態では、デジタルカメラ１のスペクトル解析部２１、演算部２２、判定部２３、除去部２４、逆変換部２５、正規化部２６の各処理を、ＣＰＵ１４がソフトウエア的に実現する例を説明したが、ＡＳＩＣを用いてこれらの各処理をハードウエア的に実現しても勿論かまわない。
【００５４】
（３）上記実施形態では、メモリ１５は駆動音信号の特徴ベクトルＶＮＡおよびＶＮＢを記憶したが、メモリ１５は特徴ベクトルＶＮＡのみを記憶してもよい。すなわち、区間Ｂの駆動音信号は、区間Ａの駆動音信号の後に続くことから、判定部２３が区間Ａの駆動音信号が重畳していると判定した箇所に基づいて、区間Ｂの駆動音信号の箇所を推定してもよい。
【００５５】
（４）上記実施形態では、デジタルカメラ１による動画撮像で取得された音声信号に重畳した駆動音信号を除去したが、静止画像に付加される音声信号に対する駆動音信号の除去処理についても適用可能である。
【００５６】
また、デジタルカメラ１が撮像した動画再生時に、重畳した駆動音信号の除去処理に対しても適用可能である。この場合、モニタ１７が、ＣＰＵ１４からの制御指示に応じて、図４や図５の上図に示すような内積値ｅＳ×ｅＮの時間変化等のグラフや、駆動音信号が重畳しているか否かの判断部２３による判定結果を、動画とともに表示することが好ましい。さらに、モニタ１７が内積値ｅＳ×ｅＮの時間変化等のグラフを表示する場合、ＣＰＵ１４が、モニタ１７の前面に配置された操作部１６のタッチパネル等を介して、ユーザからの駆動音信号を除去する期間等の指示を受け付けられることが好ましい。
【００５７】
（５）上記実施形態では、デジタルカメラ１が発する駆動音信号をスペクトル解析して求めた特徴ベクトルＶＮをメモリ１５に記憶したが、次のようにしてもよい。例えば、ＣＰＵ１４は、デジタルカメラ１による撮像を行う前で、且つ周囲の音声や駆動音が無い無音状態で、マイクロホン２０自身が有するホワイトノイズ等の背景ノイズを取得して、メモリ１５に記憶する。ＣＰＵ１４は、スペクトル減算法等の公知の手法を用いて駆動音信号に含まれる背景ノイズを除去する。スペクトル解析部２１は、背景ノイズが除去された駆動音信号をスペクトル解析して特徴ベクトルＶＮを生成しメモリ１５に記憶してもよい。
【００５８】
上記駆動音信号から背景ノイズを除去した後で特徴ベクトルＶＮを生成する理由は、次の通りである。駆動音に占める背景ノイズの割合が大きい場合、演算部２２が音声信号の単位ベクトルｅＳと駆動音信号の単位ベクトルｅＮとの内積の演算を行うと、内積値ｅＳ×ｅＮは、背景ノイズ同士の内積成分に引っ張られて全体的に大きな値になる。その結果、判定部２３は、駆動音信号が重畳していない箇所であっても、駆動音信号が重畳していると判定してしまう。この判定部２３による誤判定を回避するために、駆動音信号の特徴ベクトルＶＮを求める際に、駆動音信号から背景ノイズを除去する。これにより、音声信号の単位ベクトルｅＳと駆動音信号の単位ベクトルｅＮとの内積値ｅＳ×ｅＮに基づいて、音声信号に駆動音信号が重畳した箇所をより正確に特定することができ、確度高く重畳した駆動音信号を除去することができる。
【００５９】
（６）上記実施形態では、スペクトル解析部２１が、所定の時間間隔毎の音声信号から特徴ベクトルＶＳを生成し、区間Ａや区間Ｂの駆動音信号から特徴ベクトルＶＮＡやＶＮＢを生成したが、次のようにしてもよい。例えば、スペクトル解析部２１は、特徴ベクトルＶＳを求めるにあたり、所定の時間間隔の音声信号を、さらに複数の時間区分に分割する。スペクトル解析部２１は、各時間区分の音声信号をスペクトル解析し周波数スペクトルの複数の周波数成分の振幅を求める。スペクトル解析部２１は、周波数成分毎に、各時間区分で求めた振幅のうち最小値、最大値または平均値をその周波数成分の振幅としてもよい。駆動音信号の特徴ベクトルＶＮについても同様である。
【００６０】
これにより、例えば、各時間区分で求めた各周波数成分の振幅のうち最小値を選択して生成された駆動音信号の特徴ベクトルＶＮは、最小の振幅の値には駆動音信号のみの成分しかないものと見なすことができる。よって、上記背景ノイズを除去しなくても音声信号に駆動音の信号が重畳した箇所を正確に特定することができる。
【００６１】
また、スペクトル解析部２１は、上記各時間区分で駆動音信号の特徴ベクトルＶ’Ｎを求めて、それら複数の特徴ベクトルＶ’Ｎを時系列順に並べて特徴行列を生成する。スペクトル解析部２１は、生成された特徴行列を非負値行列分解（ＮＭＦ）等の手法を用いて分解することにより得られる１つあるいは複数の特徴ベクトルを駆動音信号の特徴ベクトルＶＮとして生成してもよい。
【００６２】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
【符号の説明】
【００６３】
１…デジタルカメラ、１１…撮像光学系、１２…撮像素子、１３…ＤＥＦ、１４…ＣＰＵ、１５…メモリ、１６…操作部、１７…モニタ、１８…メディアＩ／Ｆ、１９…記憶媒体、２０…マイクロホン、２１…スペクトル解析部、２２…演算部、２３…判定部、２４…除去部、２５…逆変換部、２６…正規化部
【技術分野】
【０００１】
本発明は、非定常音を除去することができる信号処理装置、撮像装置および信号処理プログラムに関する。
【背景技術】
【０００２】
従来、デジタルカメラやデジタルビデオカメラ等による音声記録や動画撮像において、周囲の音声だけでなく、デジタルカメラやデジタルビデオカメラ自身が発する駆動音のような非定常音まで記録される。そこで、そうした非定常音を除去して、必要な音声のみを記録する様々な技術が開発されている。
【０００３】
例えば、特許文献１は、予め撮影動作に伴って発生する機械音をスペクトル化したスペクトル信号を記憶手段に記憶し、撮影中に機械音の発生タイミングに基づいて、入力音声信号のスペクトル信号から所定の係数を乗じた機械音のスペクトル信号を減算することにより、機械音を除去する技術を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２７９１８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１のような従来技術では、駆動音の発生タイミングが、モータ等を駆動させる操作信号等に基づいて決定されるが、その操作信号等と実際の駆動音の発生タイミングとは必ずしも一致しないことから、完全に駆動音を除去することはできない。
【０００６】
上記従来技術が有する問題に鑑み、本発明の目的は、非定常音を効率的に除去することができる技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記従来技術が有する問題を解決するために、本発明の信号処理装置は、録音した音声信号の周波数特性から取得した複数の特徴量からなる第１の特徴量データを生成する解析部と、撮像装置の駆動音信号の周波数特性から取得した複数の特徴量からなる第２の特徴量データを記憶する記憶部と、第１の特徴量データおよび第２の特徴量データを用いて内積の演算を行う演算部と、内積の値に基づいて音声信号に駆動音信号が重畳しているか否かを判定する判定部と、を備える。
【０００８】
また、第１の特徴量データおよび第２の特徴量データを正規化する正規化部を備え、演算部は、正規化された第１の特徴量データおよび第２の特徴量データを用いて内積の演算を行ってもよい。
【０００９】
また、判定部により音声信号に駆動音信号が重畳していると判定された場合、第１の特徴量データおよび第２の特徴量データを用いて音声信号から駆動音信号が除去された特徴量データを生成する除去部を備えてもよい。
【００１０】
また、解析部は、音声信号を所定の時間間隔で解析して第１の特徴量データを生成してもよい。
【００１１】
また、解析部は、所定の時間間隔の音声信号を複数の時間区分に分割し、複数の時間区分毎に周波数特性から特徴量を取得し、複数の時間区分で取得した複数の特徴量のうち最小、最大または平均の値を求めて第１の特徴量データを生成してもよい。
【００１２】
また、記憶部は、駆動音信号を所定の時間間隔毎に解析して求まる複数の第２の特徴量データを記憶してもよい。
【００１３】
また、第２の特徴量データの複数の特徴量のそれぞれは、所定の時間間隔の駆動音信号を複数の時間区分に分割し、複数の時間区分毎に周波数特性から特徴量を取得し、複数の時間区分で取得した複数の特徴量のうち最小、最大または平均の値であってもよい。
【００１４】
また、第２の特徴量データは、駆動音信号から背景ノイズ信号が除去された信号の周波数特性から取得した複数の特徴量であってもよい。
【００１５】
また、除去部により音声信号から駆動音信号が除去された特徴量データを逆変換して音声信号を出力する逆変換部を備え、解析部は、音声信号の周波数特性から取得した複数の特徴量それぞれに対応した位相情報を出力する位相出力部をさらに備え、逆変換部は、位相情報に基づいて逆変換してもよい。
【００１６】
本発明の撮像装置は、被写体像を撮像して画像を生成する撮像部と、外部からの音声を音声信号として出力するマイクロホンと、本発明の信号処理装置と、を備える。
【００１７】
本発明の信号処理プログラムは、コンピュータを本発明の信号処理装置として機能させる。
【発明の効果】
【００１８】
本発明によれば、非定常音を効率的に除去することができる。
【図面の簡単な説明】
【００１９】
【図１】一の実施形態に係るデジタルカメラ１の構成の一例を示すブロック図
【図２】デジタルカメラ１がＡＦ制御動作時に発する駆動音信号の時間変化を示す図
【図３】デジタルカメラ１による駆動音の除去処理動作を示す流れ図
【図４】内積値ｅＳ×ｅＮＡおよび音声信号の時間変化を示す図
【図５】内積値ｅＳ×ｅＮＢおよび音声信号の時間変化を示す図
【発明を実施するための形態】
【００２０】
図１は、一の実施形態に係るデジタルカメラ１の構成の一例を示すブロック図である。
【００２１】
本実施形態のデジタルカメラ１は、撮像光学系１１、撮像素子１２、ＤＦＥ１３、ＣＰＵ１４、メモリ１５、操作部ン１６、モニタ１７、メディアＩ／Ｆ１８およびマイクロホ２０を有する。ここで、ＤＦＥ１３、メモリ１５、操作部１６、モニタ１７、メディアＩ／Ｆ１８およびマイクロホン２０は、それぞれＣＰＵ１４に接続されている。
【００２２】
撮像素子１２は、撮像光学系１１を通過した光束による被写体の結像を撮像するデバイスである。この撮像素子１２の出力はＤＦＥ１３に接続されている。なお、本実施形態の撮像素子１２は、順次走査方式の固体撮像素子（ＣＣＤなど）であってもよく、ＸＹアドレス方式の固体撮像素子（ＣＭＯＳなど）であってもよい。
【００２３】
撮像素子１２の受光面には、複数の受光素子がマトリックス状に配列されている。撮像素子１２の各受光素子には、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタが公知のベイヤ配列にしたがって配置されている。そのため、撮像素子１２の各受光素子は、カラーフィルタでの色分解によってそれぞれの色に対応する画像信号を出力する。これにより、撮像素子１２は、撮像時にカラーの画像を取得できる。撮像素子１２は、全受光素子に画像信号を出力させて静止画像等を撮像し、間引いた一部の受光素子に画像信号を出力させて動画や構図確認用の低解像画像（スルー画）等を撮像する。
【００２４】
ＤＦＥ１３は、撮像素子１２から入力される画像信号のＡ／Ｄ変換や、欠陥画素補正などの信号処理を行うデジタルフロントエンド回路である。このＤＦＥ１３は、本実施形態において撮像素子１２とともに撮像部を構成し、撮像素子１２より入力される画像信号を画像のデータとしてＣＰＵ１４に出力する。
【００２５】
ＣＰＵ１４は、デジタルカメラ１の各部を統括的に制御するプロセッサである。例えば、ＣＰＵ１４は、撮像素子１２の出力に基づいて、公知のコントラスト検出によるオートフォーカス（ＡＦ）制御や公知の自動露出（ＡＥ）演算などをそれぞれ実行する。また、ＣＰＵ１４は、ＤＥＦ１３からの画像データに対して、デジタル処理を施す。一例として、デジタル処理には、補間処理、ホワイトバランス処理、階調変換処理、輪郭強調処理、色変換処理などが含まれる。さらに、ＣＰＵ１４は、プログラムの実行により、スペクトル解析部２１、演算部２２、判定部２３、除去部２４、逆変換部２５、正規化部２６として動作する。
【００２６】
スペクトル解析部２１は、デジタルカメラ１による動画等の撮像時において、後述するマイクロホン２０によって取得される周囲の音声の時系列信号をスペクトル解析する。本実施形態のスペクトル解析は、高速フーリエ変換、Ｚ変換、または離散コサイン変換等の公知の手法を用いて行われる。スペクトル解析部２１は、そのスペクトル解析から求めた音声信号の周波数スペクトルの複数の特徴量、すなわち複数の周波数成分の振幅をベクトルの成分とする特徴ベクトルＶＳを生成する。また、スペクトル解析部２１は、特徴ベクトルＶＳの各成分、すなわち各周波数成分の振幅に対応した位相も求める。スペクトル解析部２１は、求めた位相を位相情報として逆変換部２５に出力する不図示の位相出力部を有する。
【００２７】
また、本実施形態では、ＣＰＵ１４が、デジタルカメラ１による撮像を行う前に、周囲の音声が無い無音状態で、ユーザにより操作部１６の操作（例えば、レリーズ釦の半押し操作等）に応じて、マイクロホン２０を介しデジタルカメラ１が発する駆動音の時系列信号を取得する。スペクトル解析部２１は、取得した駆動音信号をスペクトル解析して、特徴ベクトルＶＮを生成する。スペクトル解析部２１は、その特徴ベクトルＶＮをメモリ１５に記録する。なお、駆動音は、ＡＦ制御や撮像光学系１１のズーミング動作に伴って発せられる非定常音であり、あるいはユーザによる手動フォーカス動作や操作部１６の操作（例えば釦操作やダイヤル操作等）に伴って発せられる非定常音である。
【００２８】
図２は、デジタルカメラ１が発する駆動音の一例として、マイクロホン２０が取得したＡＦ制御動作時の駆動音信号の時間変化を示す。図２に示すように、ＡＦ制御動作時の駆動音は、一般的に大きく２つの区間、撮像光学系１１が不図示のレンズ駆動部によって停止状態から定常の駆動動作になるまでの区間Ａと、定常の駆動動作の区間Ｂとに分けられる。そこで、本実施形態において、スペクトル解析部２１は、区間ＡおよびＢの駆動音信号をスペクトル解析し、特徴ベクトルＶＮＡおよびＶＮＢをそれぞれ生成してメモリ１５に記録するものとする。これにより、音声信号に駆動音信号が重畳した箇所を正確に特定することが可能となる。
【００２９】
なお、駆動音信号の特徴ベクトルＶＮは、一度求められたら他の撮像において何度も用いられてもよいし、撮像を行う度に駆動音を取得して更新されてもよい。また、スペクトル解析部２１は、区間Ａおよび区間Ｂだけでなく、定常の駆動動作から停止状態になるまでの区間の特徴ベクトルＶＮをも生成しメモリ１５に記憶してもよい。
【００３０】
演算部２２は、正規化部２６で正規化された特徴ベクトルＶＳおよびＶＮの単位特徴ベクトルｅＳおよびｅＮによる内積値を求める。
【００３１】
判定部２３は、演算部２２が求めた内積値と閾値αとの比較に基づいて、マイクロホン２０が取得した音声信号に駆動音信号が重畳しているか否かを判定する。ここで、内積値は０から１までの値であり、内積値が大きな値ほど音声信号に駆動音信号が重畳していることを示す。具体的には、内積値＝０の場合、音声信号に駆動音信号が重畳していないことを示し、内積値＝１の場合、音声信号＝駆動音信号であることを示す。
【００３２】
除去部２４は、判定部２３によって音声信号に駆動音信号が重畳していると判定された場合、音声信号の特徴ベクトルＶＳ、駆動音信号の特徴ベクトルＶＮおよび閾値αを用いて、音声信号から重畳する駆動音信号が除去された特徴ベクトルＶ’Ｓを出力する。
【００３３】
逆変換部２５は、スペクトル解析部２１の位相出力部（不図示）からの位相情報を用いて、除去部２４によって駆動音信号が除去された特徴ベクトルＶ’Ｓから音声信号に逆変換する。
【００３４】
メモリ１５は、ＣＰＵ１４によって実行される各種のプログラムや画像ファイルなどとともに、上記駆動音信号の特徴ベクトルＶＮおよび閾値αを記憶する不揮発性のフラッシュメモリである。
【００３５】
操作部１６は、例えば、記録モードの切換入力や、後述する記憶媒体１９への記録を伴う静止画や動画の撮像指示等をユーザから受け付ける。
【００３６】
モニタ１７は、液晶モニタ等のモニタであり、ＣＰＵ１４の制御によって各種画像を表示する。例えば、動画の撮像後において、ＣＰＵ１４の制御指示に応じて、モニタ１７は、撮像された動画を再生表示する。また、本実施形態のモニタ１７は、演算部２２の生成した情報等を表示する。
【００３７】
メディアＩ／Ｆ１８には、不揮発性の記憶媒体１９を着脱可能に接続できる。そして、メディアＩ／Ｆ１８は、記憶媒体１９に対してデータの書き込み／読み込みを実行する。上記の記憶媒体１９は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体１９の一例としてメモリカードを図示する。
【００３８】
マイクロホン２０は、周囲の音声だけでなく、デジタルカメラ１が発する駆動音を受信して音声信号や駆動音信号の電気信号を出力する。また、マイクロホン２０は、動画再生時等の場合、記録された音声信号を音波として出力するスピーカとして動作する。
【００３９】
次に、図３の流れ図を参照しつつ、本実施形態のデジタルカメラ１による駆動音信号の除去処理動作について説明する。なお、除去対象となる装置はデジタルカメラ１自身とする。また、以下の説明では、駆動音信号としてＡＦ制御動作時の駆動音とし、メモリ１５には、特徴ベクトルＶＮＡおよびＶＮＢが記憶されているとする。
【００４０】
具体的には、ＣＰＵ１４が、ユーザからの動画撮像指示（例えば、操作部１６に含まれるレリーズ釦の全押し操作など）を受け付ける。ＣＰＵ１４は、撮像素子１２に間引いた一部の受光素子から画像信号を出力させて被写体の動画撮像を開始する。同時に、ＣＰＵ１４は、マイクロホン２０に被写体およびその周囲の音声を取得させ音声信号を出力させる。ＣＰＵ１４は、ステップＳ１０１〜ステップＳ１０８の処理を開始する。
【００４１】
ステップＳ１０１：スペクトル解析部２１は、マイクロホン２０から出力される音声信号を、所定の時間間隔（例えば１０ｍ秒等）で所定の窓関数を適用して高速フーリエ変換、Ｚ変換、または離散コサイン変換等の公知の手法を用いスペクトル解析する。スペクトル解析部２１は、そのスペクトル解析によって求まる音声信号の周波数スペクトルから特徴ベクトルＶＳを生成する。また、スペクトル解析部２１は、特徴ベクトルＶＳの各周波数成分の位相も求めて、逆変換部２５へ出力する。
【００４２】
ステップＳ１０２：演算部２２は、メモリ１５から駆動音信号の特徴ベクトルＶＮＡおよびＶＮＢを読み込む。正規化部２６は、音声信号の特徴ベクトルＶＳ、駆動音信号の特徴ベクトルＶＮＡおよびＶＮＢを正規化して、単位ベクトルｅＳ、ｅＮＡおよびｅＮＢを求める。
【００４３】
ステップＳ１０３：演算部２２は、単位ベクトルｅＳとｅＮＡとの内積値ｅＳ×ｅＮＡ、および単位ベクトルｅＳとｅＮＢとの内積値ｅＳ×ｅＮＢをそれぞれ求める。図４は、内積値ｅＳ×ｅＮＡ（上図）および音声信号（下図）の時間変化を示したものである。また、図５は、内積値ｅＳ×ｅＮＢ（上図）および音声信号（下図）の時間変化を示したものである。なお、図４および５に示す点線は、撮像期間に、ＡＦ制御動作に伴う駆動音のうち区間Ａの開始位置を示す。また、本実施形態における音声信号は、例えば、被写体として風景を動画撮像している場合で、マイクロホン２０が、ＡＦ制御動作に伴う駆動音とともに周囲からセミの声を取得するものとする。図４および図５に示すように、区間Ａの開始位置と内積値ｅＳ×ｅＮＡとがよく一致し、区間Ｂが区間Ａの後に続いている。
【００４４】
ステップＳ１０４：判定部２３は、求めた内積値ｅＳ×ｅＮＡと閾値αＡおよび内積値ｅＳ×ｅＮＢと閾値αＢとの比較を行い、音声信号に区間Ａの駆動音信号または区間Ｂの駆動音信号が音声信号に重畳しているか否かを判定する。なお、閾値αＡおよびαＢの各々は、動画撮像前に、ユーザによる操作部１６の操作に基づいて、撮像状況に応じて予め設定されることが好ましい。本実施形態における閾値αＡおよびαＢは、例えば、０．６５および０．５に設定されている（図４および図５）。
【００４５】
判定部２３は、内積値ｅＳ×ｅＮＡが閾値αＡより大きい場合、音声信号に区間Ａの駆動音信号が重畳していると判定して、ステップＳ１０５（ＹＥＳ側）へ移行する。一方、内積値ｅＳ×ｅＮＡが閾値αＡ以下の場合、判定部２３は、音声信号に区間Ａの駆動音信号が重畳していないと判定して、ステップＳ１０６（ＮＯ側）へ移行する。
【００４６】
同様に、判定部２３は、内積値ｅＳ×ｅＮＢが閾値αＢより大きい場合、音声信号に区間Ｂの駆動音信号が重畳していると判定して、ステップＳ１０５（ＹＥＳ側）へ移行する。一方、内積値ｅＳ×ｅＮＢが閾値αＢ以下の場合、判定部２３は、音声信号に区間Ｂの駆動音信号が重畳していないと判定して、ステップＳ１０６（ＮＯ側）へ移行する。
【００４７】
ステップＳ１０５：除去部２４は、内積値ｅＳ×ｅＮＡが閾値αＡより大きい場合、音声信号の特徴ベクトルＶＳから区間Ａの駆動音信号の特徴ベクトルＶＮＡを閾値αＡに応じて減算して、音声信号から区間Ａの駆動音信号が除去された特徴ベクトルＶ’Ｓを出力する。
【００４８】
一方、内積値ｅＳ×ｅＮＢが閾値αＢより大きい場合、除去部２４は、音声信号の特徴ベクトルＶＳから区間Ｂの駆動音の信号の特徴ベクトルＶＮＢを閾値αＢに応じて減算して、音声信号から区間Ｂの駆動音信号が除去された特徴ベクトルＶ’Ｓを出力する。
【００４９】
ステップＳ１０６：逆変換部２５は、スペクトル解析部２１の位相出力部（不図示）からの位相情報を用いて、ステップＳ１０４の特徴ベクトルＶＳ、または、ステップＳ１０５で駆動音信号が除去された特徴ベクトルＶ’Ｓを音声信号に逆変換する。
【００５０】
ステップＳ１０７：ＣＰＵ１４は、Audio Video Interleave（AVI）やMotion JPEG等の所定の動画形式に応じて、画像データとステップＳ１０６で逆変換された音声信号とを動画データとしてメモリ１５に一時的に記録する。
【００５１】
ステップＳ１０８：ＣＰＵ１４は、ユーザによるレリーズ釦の全押しが解除されたか否かを判定する。ＣＰＵ１４は、レリーズ釦の全押しが解除されたと判定した場合（ＹＥＳ側）、メモリ１５に一時的に記録された動画データのファイルを生成して、メモリ１５や記憶媒体１９に記録する。ＣＰＵ１４は、一連の処理を終了する。一方、ＣＰＵ１４は、レリーズ釦の全押しが解除されていないと判定した場合、ステップＳ１０１（ＮＯ側）へ移行する。ＣＰＵ１４は、ステップＳ１０１〜ステップＳ１０７の処理を、レリーズ釦の全押しが解除されるまで行う。
【００５２】
このように、本実施形態は、レンズ駆動部（不図示）等を駆動させる操作信号等ではなく、音声信号の単位ベクトルｅＳと駆動音信号の単位ベクトルｅＮとの内積値ｅＳ×ｅＮに基づいて、音声信号に駆動音信号が重畳した箇所を特定することにより、確度高く駆動音信号を除去することができる。
《実施形態の補足事項》
（１）本発明の信号処理装置は、上記実施形態のデジタルカメラ１の例に限定されない。例えば、コンピュータを本発明の信号処理装置として機能させてもよい。
【００５３】
（２）上記実施形態では、デジタルカメラ１のスペクトル解析部２１、演算部２２、判定部２３、除去部２４、逆変換部２５、正規化部２６の各処理を、ＣＰＵ１４がソフトウエア的に実現する例を説明したが、ＡＳＩＣを用いてこれらの各処理をハードウエア的に実現しても勿論かまわない。
【００５４】
（３）上記実施形態では、メモリ１５は駆動音信号の特徴ベクトルＶＮＡおよびＶＮＢを記憶したが、メモリ１５は特徴ベクトルＶＮＡのみを記憶してもよい。すなわち、区間Ｂの駆動音信号は、区間Ａの駆動音信号の後に続くことから、判定部２３が区間Ａの駆動音信号が重畳していると判定した箇所に基づいて、区間Ｂの駆動音信号の箇所を推定してもよい。
【００５５】
（４）上記実施形態では、デジタルカメラ１による動画撮像で取得された音声信号に重畳した駆動音信号を除去したが、静止画像に付加される音声信号に対する駆動音信号の除去処理についても適用可能である。
【００５６】
また、デジタルカメラ１が撮像した動画再生時に、重畳した駆動音信号の除去処理に対しても適用可能である。この場合、モニタ１７が、ＣＰＵ１４からの制御指示に応じて、図４や図５の上図に示すような内積値ｅＳ×ｅＮの時間変化等のグラフや、駆動音信号が重畳しているか否かの判断部２３による判定結果を、動画とともに表示することが好ましい。さらに、モニタ１７が内積値ｅＳ×ｅＮの時間変化等のグラフを表示する場合、ＣＰＵ１４が、モニタ１７の前面に配置された操作部１６のタッチパネル等を介して、ユーザからの駆動音信号を除去する期間等の指示を受け付けられることが好ましい。
【００５７】
（５）上記実施形態では、デジタルカメラ１が発する駆動音信号をスペクトル解析して求めた特徴ベクトルＶＮをメモリ１５に記憶したが、次のようにしてもよい。例えば、ＣＰＵ１４は、デジタルカメラ１による撮像を行う前で、且つ周囲の音声や駆動音が無い無音状態で、マイクロホン２０自身が有するホワイトノイズ等の背景ノイズを取得して、メモリ１５に記憶する。ＣＰＵ１４は、スペクトル減算法等の公知の手法を用いて駆動音信号に含まれる背景ノイズを除去する。スペクトル解析部２１は、背景ノイズが除去された駆動音信号をスペクトル解析して特徴ベクトルＶＮを生成しメモリ１５に記憶してもよい。
【００５８】
上記駆動音信号から背景ノイズを除去した後で特徴ベクトルＶＮを生成する理由は、次の通りである。駆動音に占める背景ノイズの割合が大きい場合、演算部２２が音声信号の単位ベクトルｅＳと駆動音信号の単位ベクトルｅＮとの内積の演算を行うと、内積値ｅＳ×ｅＮは、背景ノイズ同士の内積成分に引っ張られて全体的に大きな値になる。その結果、判定部２３は、駆動音信号が重畳していない箇所であっても、駆動音信号が重畳していると判定してしまう。この判定部２３による誤判定を回避するために、駆動音信号の特徴ベクトルＶＮを求める際に、駆動音信号から背景ノイズを除去する。これにより、音声信号の単位ベクトルｅＳと駆動音信号の単位ベクトルｅＮとの内積値ｅＳ×ｅＮに基づいて、音声信号に駆動音信号が重畳した箇所をより正確に特定することができ、確度高く重畳した駆動音信号を除去することができる。
【００５９】
（６）上記実施形態では、スペクトル解析部２１が、所定の時間間隔毎の音声信号から特徴ベクトルＶＳを生成し、区間Ａや区間Ｂの駆動音信号から特徴ベクトルＶＮＡやＶＮＢを生成したが、次のようにしてもよい。例えば、スペクトル解析部２１は、特徴ベクトルＶＳを求めるにあたり、所定の時間間隔の音声信号を、さらに複数の時間区分に分割する。スペクトル解析部２１は、各時間区分の音声信号をスペクトル解析し周波数スペクトルの複数の周波数成分の振幅を求める。スペクトル解析部２１は、周波数成分毎に、各時間区分で求めた振幅のうち最小値、最大値または平均値をその周波数成分の振幅としてもよい。駆動音信号の特徴ベクトルＶＮについても同様である。
【００６０】
これにより、例えば、各時間区分で求めた各周波数成分の振幅のうち最小値を選択して生成された駆動音信号の特徴ベクトルＶＮは、最小の振幅の値には駆動音信号のみの成分しかないものと見なすことができる。よって、上記背景ノイズを除去しなくても音声信号に駆動音の信号が重畳した箇所を正確に特定することができる。
【００６１】
また、スペクトル解析部２１は、上記各時間区分で駆動音信号の特徴ベクトルＶ’Ｎを求めて、それら複数の特徴ベクトルＶ’Ｎを時系列順に並べて特徴行列を生成する。スペクトル解析部２１は、生成された特徴行列を非負値行列分解（ＮＭＦ）等の手法を用いて分解することにより得られる１つあるいは複数の特徴ベクトルを駆動音信号の特徴ベクトルＶＮとして生成してもよい。
【００６２】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
【符号の説明】
【００６３】
１…デジタルカメラ、１１…撮像光学系、１２…撮像素子、１３…ＤＥＦ、１４…ＣＰＵ、１５…メモリ、１６…操作部、１７…モニタ、１８…メディアＩ／Ｆ、１９…記憶媒体、２０…マイクロホン、２１…スペクトル解析部、２２…演算部、２３…判定部、２４…除去部、２５…逆変換部、２６…正規化部
【特許請求の範囲】
【請求項１】
録音した音声信号の周波数特性から取得した複数の特徴量からなる第１の特徴量データを生成する解析部と、
撮像装置の駆動音信号の周波数特性から取得した複数の特徴量からなる第２の特徴量データを記憶する記憶部と、
前記第１の特徴量データおよび前記第２の特徴量データを用いて内積の演算を行う演算部と、
前記内積の値に基づいて前記音声信号に前記駆動音信号が重畳しているか否かを判定する判定部と、
を備えることを特徴とする信号処理装置。
【請求項２】
請求項１に記載の信号処理装置において、
前記第１の特徴量データおよび前記第２の特徴量データを正規化する正規化部を備え、
前記演算部は、
正規化された前記第１の特徴量データおよび前記第２の特徴量データを用いて前記内積の演算を行う
ことを特徴とする信号処理装置。
【請求項３】
請求項１または請求項２に記載の信号処理装置において、
前記判定部により前記音声信号に前記駆動音信号が重畳していると判定された場合、前記第１の特徴量データおよび前記第２の特徴量データを用いて前記音声信号から前記駆動音信号が除去された特徴量データを生成する除去部を備えることを特徴とする信号処理装置。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の信号処理装置において、
前記解析部は、
前記音声信号を所定の時間間隔で解析して前記第１の特徴量データを生成する
ことを特徴とする信号処理装置。
【請求項５】
請求項４に記載の信号処理装置において、
前記解析部は、
前記所定の時間間隔の前記音声信号を複数の時間区分に分割し、前記複数の時間区分毎に前記周波数特性から特徴量を取得し、前記複数の時間区分で取得した複数の前記特徴量のうち最小、最大または平均の値を求めて前記第１の特徴量データを生成する
ことを特徴とする信号処理装置。
【請求項６】
請求項１ないし請求項５のいずれか１項に記載の信号処理装置において、
前記記憶部は、
前記駆動音信号を所定の時間間隔毎に解析して求まる複数の前記第２の特徴量データを記憶する
ことを特徴とする信号処理装置。
【請求項７】
請求項６に記載の信号処理装置において、
前記第２の特徴量データの前記複数の特徴量のそれぞれは、前記所定の時間間隔の前記駆動音信号を複数の時間区分に分割し、前記複数の時間区分毎に前記周波数特性から特徴量を取得し、前記複数の時間区分で取得した複数の前記特徴量のうち最小、最大または平均の値であることを特徴とする信号処理装置。
【請求項８】
請求項１ないし請求項７のいずれか１項に記載の信号処理装置において、
前記第２の特徴量データは、前記駆動音信号から背景ノイズ信号が除去された信号の周波数特性から取得した複数の特徴量であることを特徴とする信号処理装置。
【請求項９】
請求項３ないし請求項８のいずれか１項に記載の信号処理装置において、
前記除去部により前記音声信号から前記駆動音信号が除去された特徴量データを逆変換して音声信号を出力する逆変換部を備え、
前記解析部は、
前記音声信号の前記周波数特性から取得した複数の特徴量それぞれに対応した位相情報を出力する位相出力部をさらに備え、
前記逆変換部は、
前記位相情報に基づいて逆変換する
ことを特徴とする信号処理装置。
【請求項１０】
被写体像を撮像して画像を生成する撮像部と、
外部からの音声を音声信号として出力するマイクロホンと、
請求項１ないし請求項９のいずれか1項に記載の信号処理装置と、
を備えることを特徴とする撮像装置。
【請求項１１】
コンピュータを請求項１ないし請求項９のいずれか１項に記載の信号処理装置として機能させることを特徴とする信号処理プログラム。
【請求項１】
録音した音声信号の周波数特性から取得した複数の特徴量からなる第１の特徴量データを生成する解析部と、
撮像装置の駆動音信号の周波数特性から取得した複数の特徴量からなる第２の特徴量データを記憶する記憶部と、
前記第１の特徴量データおよび前記第２の特徴量データを用いて内積の演算を行う演算部と、
前記内積の値に基づいて前記音声信号に前記駆動音信号が重畳しているか否かを判定する判定部と、
を備えることを特徴とする信号処理装置。
【請求項２】
請求項１に記載の信号処理装置において、
前記第１の特徴量データおよび前記第２の特徴量データを正規化する正規化部を備え、
前記演算部は、
正規化された前記第１の特徴量データおよび前記第２の特徴量データを用いて前記内積の演算を行う
ことを特徴とする信号処理装置。
【請求項３】
請求項１または請求項２に記載の信号処理装置において、
前記判定部により前記音声信号に前記駆動音信号が重畳していると判定された場合、前記第１の特徴量データおよび前記第２の特徴量データを用いて前記音声信号から前記駆動音信号が除去された特徴量データを生成する除去部を備えることを特徴とする信号処理装置。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の信号処理装置において、
前記解析部は、
前記音声信号を所定の時間間隔で解析して前記第１の特徴量データを生成する
ことを特徴とする信号処理装置。
【請求項５】
請求項４に記載の信号処理装置において、
前記解析部は、
前記所定の時間間隔の前記音声信号を複数の時間区分に分割し、前記複数の時間区分毎に前記周波数特性から特徴量を取得し、前記複数の時間区分で取得した複数の前記特徴量のうち最小、最大または平均の値を求めて前記第１の特徴量データを生成する
ことを特徴とする信号処理装置。
【請求項６】
請求項１ないし請求項５のいずれか１項に記載の信号処理装置において、
前記記憶部は、
前記駆動音信号を所定の時間間隔毎に解析して求まる複数の前記第２の特徴量データを記憶する
ことを特徴とする信号処理装置。
【請求項７】
請求項６に記載の信号処理装置において、
前記第２の特徴量データの前記複数の特徴量のそれぞれは、前記所定の時間間隔の前記駆動音信号を複数の時間区分に分割し、前記複数の時間区分毎に前記周波数特性から特徴量を取得し、前記複数の時間区分で取得した複数の前記特徴量のうち最小、最大または平均の値であることを特徴とする信号処理装置。
【請求項８】
請求項１ないし請求項７のいずれか１項に記載の信号処理装置において、
前記第２の特徴量データは、前記駆動音信号から背景ノイズ信号が除去された信号の周波数特性から取得した複数の特徴量であることを特徴とする信号処理装置。
【請求項９】
請求項３ないし請求項８のいずれか１項に記載の信号処理装置において、
前記除去部により前記音声信号から前記駆動音信号が除去された特徴量データを逆変換して音声信号を出力する逆変換部を備え、
前記解析部は、
前記音声信号の前記周波数特性から取得した複数の特徴量それぞれに対応した位相情報を出力する位相出力部をさらに備え、
前記逆変換部は、
前記位相情報に基づいて逆変換する
ことを特徴とする信号処理装置。
【請求項１０】
被写体像を撮像して画像を生成する撮像部と、
外部からの音声を音声信号として出力するマイクロホンと、
請求項１ないし請求項９のいずれか1項に記載の信号処理装置と、
を備えることを特徴とする撮像装置。
【請求項１１】
コンピュータを請求項１ないし請求項９のいずれか１項に記載の信号処理装置として機能させることを特徴とする信号処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−１１８３１６（Ｐ２０１２−１１８３１６Ａ）
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願番号】特願２０１０−２６８２３３（Ｐ２０１０−２６８２３３）
【出願日】平成２２年１２月１日（２０１０．１２．１）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願日】平成２２年１２月１日（２０１０．１２．１）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]