撮像装置、プログラムおよび記憶媒体
【課題】音信号のノイズ低減処理を行う撮像装置、プログラム、記憶媒体を提供する。
【解決手段】推定ノイズ（ＮＫ）および演算結果を記憶する記憶部（１８）と、 音声入力部（２１）で検出された音信号（ＳＬ）と前記推定ノイズ（ＮＫ）との演算を行う演算部（１１）とを含み、前記演算部（１１）は、前記推定ノイズ（ＮＫ）と前記音信号（ＳＬ）との類似度（Ｉｐ）に基づき推定ノイズ範囲を決定するとともに、前記推定ノイズ範囲と前記音信号（ＳＬ）との関係に基づき前記推定ノイズ（ＮＫ）を更新する撮影装置。
【解決手段】推定ノイズ（ＮＫ）および演算結果を記憶する記憶部（１８）と、 音声入力部（２１）で検出された音信号（ＳＬ）と前記推定ノイズ（ＮＫ）との演算を行う演算部（１１）とを含み、前記演算部（１１）は、前記推定ノイズ（ＮＫ）と前記音信号（ＳＬ）との類似度（Ｉｐ）に基づき推定ノイズ範囲を決定するとともに、前記推定ノイズ範囲と前記音信号（ＳＬ）との関係に基づき前記推定ノイズ（ＮＫ）を更新する撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、プログラムおよび記憶媒体に関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮像装置を利用して動画撮影を行う際に、撮影された動画に対応した音信号に、レンズの機構音などのノイズ音が混入することがあり、高品質な音声情報を取得することができないことが問題になっている。
【０００３】
一般的なノイズ除去方法として、音声に重畳した定常的なノイズを低減する手法が提案されている（非特許文献１）。しかしながら、このような方法では、入力された音信号に、ノイズ成分が含まれているか否かを判断しておらず、音声に重畳した定常的なノイズを低減するのみである。したがって、従来の手法では、音声に重畳したノイズ成分が変化する場合には、良好なノイズ低減効果が得られない。
【０００４】
また、音声に重畳したノイズ成分が変化する場合において、ノイズを低減する手法も提案されている（非特許文献２）。この方法では、複数のフレームにおいて、音信号の周波数成分毎の最小値を取得し、その最小値をその周波数成分における推定ノイズとし、その推定ノイズ利用してノイズ低減処理を行っている。しかしながら、この手法では、ノイズ音が不定期に発生する場合や、ノイズ音の変化が大きい場合には、ノイズ音が過小に推定されてしまうので、良好なノイズ低減効果が得られない。
【先行技術文献】
【特許文献】
【０００５】
【非特許文献１】S.F. Boll, “Suppression of acoustic noise in speech using spectral subtraction” IEEE Trans. Acoust. Speech Signal Process., Vol.ASSP-27, No.2, pp.113-120, April 1979.
【非特許文献２】R. Martin, “Spectral Subtraction Based on Minimum Statistics”EUSIPCO’94, pp.1182-1185, Sept. 1994.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、音信号のノイズ低減処理を高精度に行うことができる撮像装置、プログラム、記憶媒体を提供することである。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、本発明の撮影装置は、
推定ノイズ（ＮＫ）および演算結果を記憶する記憶部（１８）と、
音声入力部（２１）で検出された音信号（ＳＬ）と前記推定ノイズ（ＮＫ）との演算を行う演算部（１１）とを含み、
前記演算部（１１）は、前記推定ノイズ（ＮＫ）と前記音信号（ＳＬ）との類似度（Ｉｐ）に基づき推定ノイズ範囲を決定するとともに、前記推定ノイズ範囲と前記音信号（ＳＬ）との関係に基づき前記推定ノイズ（ＮＫ）を更新する。
【０００８】
前記演算部（１１）が、正規化された前記推定ノイズ（ＮＫ）と正規化された前記音信号（ＳＬ）との内積に基づき前記類似度（Ｉｐ）を算出してもよい。
【０００９】
前記演算部（１１）が、前記内積の結果に基づき前記推定ノイズ範囲の上限と下限とを決定してもよい。
【００１０】
前記演算部（１１）が、前記内積の値が小さいときに前記類似度（Ｉｐ）が小さいと判断して、前記上限と前記下限との差を小さくするように前記上限と前記下限とを決定してもよい。
【００１１】
前記演算部（１１）が、前記内積の値が所定値より小さいときに前記類似度（Ｉｐ）が小さいと判断して、前記上限と前記下限との差を０にするように前記上限と前記下限とを決定してもよい。
【００１２】
前記推定ノイズ（ＮＫ）の初期値（Ｎ0）が、前記撮影装置がフォーカス調整を行う際の機構音に対応して予め設定されており、
前記演算部（１１）が、前記推定ノイズ（ＮＫ）の前記初期値（Ｎ0）と前記音信号（ＳＬ）との類似度（Ｉｐ）に基づき前記推定ノイズ範囲を決定するとともに、前記推定ノイズ（ＮＫ）の初期値（Ｎ0）と前記音信号（ＳＬ）との関係に基づき前記推定ノイズ（ＮＫ）を更新してもよい。
【００１３】
本発明の撮影装置は、レンズ鏡筒（４０）が着脱自在に取り付けられる撮影装置本体（１０）を更に有し、
前記推定ノイズ（ＮＫ）の前記初期値（Ｎ0）が、前記レンズ鏡筒（４０）に対応して予め設定されてもよい。
【００１４】
前記演算部（１１）が、前記撮影装置が前記フォーカス調整を行う際に、前記推定ノイズ（ＮＫ）と前記音信号（ＳＬ）との類似度（Ｉｐ）に基づき前記推定ノイズ範囲を決定するとともに、前記推定ノイズ範囲と前記音信号（ＳＬ）との関係に基づき前記推定ノイズ（ＮＫ）を更新してもよい。
【００１５】
本発明のコンピュータに実行させるためのプログラムは、
推定ノイズ（ＮＫ）と音信号（ＳＬ）との類似度（Ｉｐ）に基づき推定ノイズ範囲を決定する工程と、
前記推定ノイズ範囲内にある前記音信号（ＳＬ）を利用して前記推定ノイズ（ＮＫ）を更新する工程とを有する。
【００１６】
本発明の記憶媒体には、上記のプログラムが記録してある。
【００１７】
なお、上述の説明では、本発明をわかりやすく説明するために、実施形態を示す図面の符号に対応付けて説明したが、本発明は、これに限定されるものでない。後述の実施形態の構成を適宜改良してもよく、また、少なくとも一部を他の構成に代替させてもよい。更に、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。
【図面の簡単な説明】
【００１８】
【図１】図１は、本発明の一実施形態に係るカメラの概略図である。
【図２】図２は、図１に示すカメラのノイズ低減処理の一例を示すフローチャートである。
【図３】図３は、図２に示すフローチャートの詳細を示すフローチャートである。
【図４】図４は、図２に示すフローチャートの詳細を示すフローチャートである。
【図５】図５（ａ）〜図５（ｄ）は、図１に示す撮影装置での音信号のノイズ低減処理の一例を示す。
【図６】図６（ａ）〜図６（ｄ）は、図１に示す撮影装置での音信号のノイズ低減処理の他の一例を示す。
【図７】図７（ａ）〜図７（ｄ）は、図１に示す撮影装置での音信号のノイズ低減処理の他の一例を示す。
【図８】図８は、推定ノイズに対する音信号の類似度とノイズ推定係数との関係を示すグラフである。
【発明を実施するための形態】
【００１９】
第１実施形態
図１に示す本発明の一実施形態に係るカメラ２は、カメラ本体１０と、レンズ鏡筒４０とを有する。なお、以下の実施形態では、レンズ鏡筒４０がカメラ本体１０に着脱自在に取り付けられるレンズ交換式の一眼レフカメラを例に説明するが、本実施形態はこれに限定されない。例えば、レンズ鏡筒４０とカメラ本体１０とが一体であるコンパクトカメラやカメラ付きモバイル機器であっても良い。また、ミラー機構を省いたミラーレスタイプのカメラであっても良い。
【００２０】
カメラ本体１０は、ＣＰＵ１１、ＡＦセンサ１２、ミラー１３、シャッタ１４、撮像素子１５、信号処理回路１６、レリーズスイッチ１７、ＥＥＰＲＯＭ１８、記録媒体１９、液晶モニタ２０、音声録音マイク２１を有する。
【００２１】
レンズ鏡筒４０は、ズームレンズ群Ｌ１、フォーカスレンズ群Ｌ２、ブレ補正レンズ群Ｌ３、加速度センサ４１、角速度センサ４２、絞り４３、ズームレンズ群駆動機構４４、フォーカスレンズ群駆動機構４５、ブレ補正レンズ群駆動機構４６、絞り駆動機構４７を有する。
【００２２】
図１に示すように、本実施形態のカメラ２では、光軸Ｚに沿って、被写体側から順に、ズームレンズ群Ｌ１、フォーカスレンズ群Ｌ２、絞り４３、ブレ補正レンズ群Ｌ３、ミラー１３、シャッタ１４、撮像素子１５が配置されている。
【００２３】
ズームレンズ群Ｌ１は、ズームレンズ群駆動機構４４により駆動され、光軸方向に移動可能である。ズームレンズ群駆動機構４４は、ＣＰＵ１１からの駆動命令を受けて、ズームレンズ群Ｌ１を光軸方向に移動させる。
【００２４】
フォーカスレンズ群Ｌ２は、フォーカスレンズ群駆動機構４５により駆動され、光軸方向に移動可能である。フォーカスレンズ群駆動機構４５は、ＣＰＵ１１からの駆動命令を受けて、フォーカスレンズ群Ｌ２を光軸方向に移動させる。
【００２５】
絞り４３は、絞り駆動機構４７により駆動され、開閉可能になっている。絞り駆動機構４７は、ＣＰＵ１１からの駆動命令を受けて、絞り４３を開閉する。
【００２６】
ブレ補正レンズ群Ｌ３は、ブレ補正レンズ群駆動機構４６により駆動され、光軸と垂直な方向に移動可能である。ブレ補正レンズ群駆動機構４６は、ＣＰＵ１１からの駆動命令を受けて、ブレ補正レンズ群Ｌ３を光軸と垂直な方向に移動させる。
【００２７】
ミラー１３は、ＣＰＵ１１からの駆動命令を受けて、不図示の駆動機構により駆動され、ＵＰ／ＤＯＷＮ動作を行う。ミラー１３には、不図示のサブミラーが連結されており、ＡＦセンサ１２が被写体距離を検出することが可能になっている。ＡＦセンサ１２は、特に限定されないが、例えばＣＣＤセンサやＣＭＯＳセンサ等の撮像素子である。
【００２８】
シャッタ１４は、例えばフォーカルプレーンシャッタであり、ＣＰＵ１１からの駆動命令を受けて、不図示の駆動機構により駆動され、開閉動作を行う。
【００２９】
ＣＰＵ１１は、レリーズスイッチ１７のＯＮ信号を取得して、ミラー１３のＵＰ動作を行う駆動命令およびシャッタ１４の開動作を行う駆動命令を出力する。
【００３０】
撮像素子１５は、ＣＣＤやＣＭＯＳ等の固体撮像素子などで構成され、レンズ鏡筒４０から導かれる被写体からの光を光電変換し、画像信号を信号処理回路１６へ出力する。信号処理回路１６は、取得した画像信号にＡ／Ｄ変換等を行って、ＣＰＵ１１に出力する。
【００３１】
ＣＰＵ１１は、Ａ／Ｄ変換後の画像信号を、記録媒体１９に記憶させる。記録媒体１９は、特に限定されないが、例えばＳＤカードやコンパクトフラッシュカード等の着脱可能なメモリである。液晶モニタ２０は、画像データやスルー画像などを表示する。マイク２１は、カメラ２の外部音を検出し、音情報に変換してＣＰＵ１１へ出力する。マイク２１は、ダイナミックマイクやコンデンサマイク等である。
【００３２】
ＥＥＰＲＯＭ１８（またはその他のメモリ、以下同じ）には、推定ノイズスペクトルＮＫ（Ｋ＝０，１，２，・・・）等の調整値情報が記憶されている。推定ノイズスペクトルＮＫは、ノイズに関する情報であり、周波数成分に対応する振幅を要素とするベクトルである。
【００３３】
推定ノイズスペクトルＮＫの初期値Ｎ0は、カメラ２に固有のノイズ情報であり、予め設定されてＥＥＰＲＯＭ１８に記憶されている。本実施形態では、推定ノイズスペクトルＮＫの初期値Ｎ0は、フォーカスレンズ群駆動機構４５がフォーカスレンズ群Ｌ２を駆動する際の機構音に対応して設定されている。なお、推定ノイズスペクトルＮＫの初期値Ｎ0は、レンズ鏡筒４０の種類に対応して変化する値であり、レンズ鏡筒４０の種類に対応した値がカメラ本体１０のＥＥＰＲＯＭ１８に記憶されている。ＣＰＵ１１は、取り付けられたレンズ鏡筒の種類を検出し、取り付けられたレンズ鏡筒４０に対応した推定ノイズスペクトルＮＫの初期値Ｎ0を選択する。
【００３４】
次に、図２に示すフローチャートを用いて、本実施形態に係るカメラによるノイズ低減処理の一例を説明する。
【００３５】
ステップＳ１０２にて動画撮影を開始する。図１に示すレリーズスイッチ１７からの入力信号を受けたＣＰＵ１１の駆動命令に基づき、ミラー１３がＵＰ状態を保ち、シャッタ１４が開状態を保ち、被写体からの光が撮像素子１５に導かれるようになり、動画撮影が開始される。動画撮影が開始されると、ＡＦセンサ１２が検出した被写体距離に関する情報に基づき、ＣＰＵ１１は、フォーカスレンズ群駆動機構４５に駆動命令を出力し、フォーカスレンズ群Ｌ２を光軸方向に移動させる。本実施形態のカメラ２は、フォーカスレンズ群Ｌ２を移動させる際の機構音に係るノイズを低減する。
【００３６】
図２に示すステップＳ１０４にて、ＣＰＵ１１は、ＥＥＰＲＯＭ１８から図５（ａ）に示す推定ノイズスペクトルＮｋの初期値Ｎ0を読み出す。
【００３７】
図２に示すステップＳ１０６にて、ＣＰＵ１１は、図１に示すマイク２１にて検出したカメラ２の外部音を音情報に変換して取得する。ＣＰＵ１１は、入力された音情報を、入力音スペクトルＳＬ（Ｌ＝１，２，３，・・・）に変換する。たとえば、ＣＰＵ１１は、マイク２１からの音情報に、ハニング窓等の窓掛け処理を行い、フーリエ変換等の周波数解析を行って、入力音スペクトルＳＬを生成する。入力音スペクトルＳＬは、音の周波数成分に対応する振幅を要素とするベクトルであり、動画の１フレームに対応した音情報である。以下の説明では、ＣＰＵ１１は、入力音スペクトルＳＬとして、たとえば、図５（ｂ），図６（ｂ）または図７（ｂ）に示す入力音スペクトルＳ１，Ｓ２またはＳ３を取得し、ノイズ低減処理を行う。
【００３８】
図２に示すステップＳ１０８にて、推定ノイズスペクトルＮＫの初期値Ｎ0（以下、推定ノイズスペクトルＮ0）と入力音スペクトルＳＬとの類似度Ｉｐを算出する。具体的には、図３に示すステップＳ２０２にて、ＣＰＵ１１が、推定ノイズスペクトルＮ0の単位ベクトルを算出し、推定ノイズスペクトルＮ0の正規化を行う。ステップＳ２０４にて、ＣＰＵ１１が、入力音スペクトルＳＬの単位ベクトルを算出し、入力音スペクトルＳＬの正規化を行う。ステップＳ２０６にて、ＣＰＵ１１が、ステップＳ２０２にて正規化された推定ノイズスペクトルと、ステップＳ２０４にて正規化された入力音スペクトルとの内積を求めて、類似度Ｉｐを算出する。ここで、推定ノイズスペクトルＮＫと入力音スペクトルＳＬとの類似度が大きいときは類似度Ｉｐの値が大きくなり、推定ノイズスペクトルＮＫと入力音スペクトルＳＬとの類似度が小さいときは類似度Ｉｐの値が小さくなる。なお、類似度Ｉｐは、以下に示す数式１にて算出される。
【００３９】
Ｉｐ＝ＮＫ・ＳＬ／||ＮＫ||・||ＳＬ|| ・・・数式１
【００４０】
図２に示すステップＳ１１０にて、ノイズ推定処理を行う。具体的には、図４に示すステップＳ３０２にて、ＣＰＵ１１が、ステップＳ２０６にて算出した推定ノイズスペクトルＮ0に対する入力音スペクトルＳＬの類似度Ｉｐの値に基づき、ノイズ推定係数ａを決定する。ノイズ推定係数ａは、図８に示すように、類似度Ｉｐの値に対応する値である。本実施形態では、図８に示すように、類似度Ｉｐの値が大きくなるとノイズ推定係数ａの値が大きくなり、類似度Ｉｐの値が小さくなるとノイズ推定係数ａの値が小さくなる。また、本実施形態では、図８に示すように、類似度Ｉｐの値が０．２５よりも小さいときは、ノイズ推定係数ａは１である。すなわち、推定ノイズスペクトルＮＫと入力音スペクトルＳＬとの類似度が小さく、類似度Ｉｐの値が一定の値よりも小さくなると、ノイズ推定係数ａの値が１になる。
【００４１】
図４に示すステップＳ３０４にて、ＣＰＵ１１が、推定ノイズ範囲を決定する。推定ノイズ範囲は、周波数成分に対応する振幅の大きさの範囲であり、その範囲内にある振幅はノイズ成分として推定される。ＣＰＵ１１は、周波数成分に対応する推定ノイズ範囲の上限および下限を決定する。推定ノイズ範囲は、以下に示す数式２および数式３にて算出される。数式２および数式３から分かるように、推定ノイズ範囲は、推定ノイズスペクトルＮ0に対する入力音スペクトルＳＬの類似度に関するノイズ推定係数ａに基づき算出される範囲である。
【００４２】
推定ノイズ範囲の上限 ： ＮＫ・ａ ・・・数式２
【００４３】
推定ノイズ範囲の下限 ： ＮＫ／ａ ・・・数式３
【００４４】
なお、上記の数式２および数式３から分かるように、ノイズ推定係数ａの値が１のときは、推定ノイズ範囲の上限と下限との差が０になる。すなわち、正規化された推定ノイズスペクトルＮＫと正規化された入力音スペクトルＳＬとの内積の値が所定値よりも小さく、推定ノイズスペクトルＮＫと入力音スペクトルＳＬと類似度が小さいときには、ノイズ推定係数ａの値が１になり、推定ノイズ範囲の上限と下限との差が０になる。
【００４５】
図４に示すステップＳ３０６にて、ＣＰＵ１１が、各周波数成分ｆ１〜ｆ５の入力音スペクトルＳＬの振幅が、推定ノイズ範囲内にあるか否かを判断し、ステップＳ３０８で、ＣＰＵ１１は、推定ノイズ範囲内にある各周波数成分ｆ１〜ｆ５の入力音スペクトルＳＬの振幅をＥＥＰＲＯＭ１８に記憶させる。
【００４６】
図２に示すステップＳ１１２にて、ＣＰＵ１１が、推定ノイズスペクトルＮＫを更新する。具体的には、上記のステップＳ３０８で、ＣＰＵ１１がＥＥＰＲＯＭ１８に記憶させた推定ノイズ範囲内にある各周波数成分ｆ１〜ｆ５の入力音スペクトルＳＬの値を、ＣＰＵ１１が、入力音スペクトルＳＬ入力後の推定ノイズスペクトルＮＫとして設定し、ＥＥＰＲＯＭ１８に記憶させる。なお、推定ノイズ範囲にない入力音スペクトルＳＬの周波数成分ｆ１〜ｆ５に関しては、推定ノイズスペクトルを更新しない。
【００４７】
ステップＳ１１４にて、ＣＰＵ１１は、ノイズ低減処理を行う。たとえば、ＣＰＵ１１は、図５（ｄ），図６（ｄ）または図７（ｄ）に示すように、入力音スペクトルＳＬと推定ノイズスペクトルＮ０とを利用して、スペクトルサブトラクション法にてノイズ低減処理を行う。
【００４８】
ステップＳ１１６にて、ＣＰＵ１１は、ノイズ低減処理後の入力音スペクトルＳＬに逆フーリエ変換等を行い、ノイズが低減された音声信号を生成する。
【００４９】
上記の図２に示すステップＳ１１０〜Ｓ１１２に記載の処理を、図５（ｂ），図６（ｂ）または図７（ｂ）を用いて以下に説明する。
【００５０】
入力音スペクトルＳ１が入力された場合には、図５（ｂ）に示すように、各周波数成分ｆ１〜ｆ５おいて、入力音スペクトルＳ１の振幅が推定ノイズ範囲内にある（図２に示すステップＳ１１０（図４に示すステップＳ３０２〜Ｓ３０６））。したがって、ＣＰＵ１１は、ＥＥＰＲＯＭ１８に、各周波数成分ｆ１〜ｆ５の入力音スペクトルＳ１の値を記憶させる（図２に示すステップＳ１１０（図４に示すステップＳ３０８））。そして、ＣＰＵ１１は、図５（ｃ）に示すように、上記のステップＳ３０８にてＥＥＰＲＯＭ１８に記憶させた推定ノイズ範囲内にある各周波数成分ｆ１〜ｆ５の入力音スペクトルＳ１の値を、入力音スペクトルＳ１入力後の推定ノイズスペクトルＮ1として設定し、ＥＥＰＲＯＭ１８に記憶させる（図２に示すステップＳ１１２）。
【００５１】
なお、図５（ｂ）に示すように、入力音スペクトルＳ１が入力された場合には、推定ノイズ範囲の上限と下限との差が大きく、入力音を推定ノイズとして検出できる範囲が広い。入力音スペクトルＳ１は、推定ノイズスペクトルＮ0に類似しており、入力音スペクトルＳ１と推定ノイズスペクトルＮ0との類似度Ｉｐの値が大きいからである。したがって、推定ノイズスペクトルＮＫに類似する入力音スペクトルＳＬが入力された場合には、ＣＰＵ１１は、取得された音信号においてノイズ成分の変化が大きい場合でも、音信号から推定ノイズを検出して、推定ノイズを更新することができる。つまり、推定ノイズスペクトルＮＫに類似する入力音スペクトルＳＬが入力された場合には、ＣＰＵ１１は、取得された音信号においてノイズの変化が大きい場合でも、推定ノイズをノイズの変化に追従させることができるので、高品質のノイズ低減処理を行うことができる。
【００５２】
入力音スペクトルＳ２が入力された場合には、図６（ｂ）に示すように、周波数成分ｆ１の入力音スペクトルＳ2の振幅のみが推定ノイズ範囲内になく、その他の各周波数成分ｆ２〜ｆ５の入力音スペクトルＳ2の振幅が推定ノイズ範囲内にある（図２に示すステップＳ１１０（図４に示すステップＳ３０２〜Ｓ３０６））。したがって、ＣＰＵ１１は、ＥＥＰＲＯＭ１８に、各周波数成分ｆ２〜ｆ５の入力音スペクトルＳ2の値を記憶させる（図２に示すステップＳ１１０（図４に示すステップＳ３０８））。そして、ＣＰＵ１１は、図６（ｃ）に示すように、上記のステップＳ３０８で、ＥＥＰＲＯＭ１８に記憶させた推定ノイズ範囲内にある各周波数成分ｆ２〜ｆ５の入力音スペクトルＳ2の振幅を、入力音スペクトルＳ2入力後の各周波数成分ｆ２〜ｆ５の推定ノイズスペクトルＮ2として設定し、ＥＥＰＲＯＭ１８に記憶させる（図２に示すステップＳ１１２）。なお、上記のように、周波数成分ｆ１の入力音スペクトルＳ2は推定ノイズ範囲内にないので、周波数成分ｆ１の推定ノイズは更新しない。ＣＰＵ１１は、周波数成分ｆ１の推定ノイズスペクトルＮ0の値を周波数成分ｆ１の推定ノイズスペクトルＮ2の値として設定し、ＥＥＰＲＯＭ１８に記憶させる（図２に示すステップＳ１１２）。
【００５３】
なお、図６（ｂ）に示すように、入力音スペクトルＳ２が入力された場合には、推定ノイズ範囲の上限と下限との差が小さい。入力音スペクトルＳ２では、周波数成分ｆ１において、推定ノイズスペクトルＮ0との振幅の差が大きく、入力音スペクトルＳ２と推定ノイズスペクトルＮ0との類似度Ｉｐの値が小さいからである。したがって、推定ノイズスペクトルＮＫに部分的に類似しない入力音スペクトルＳＬが入力された場合には、ＣＰＵ１１は、取得された音信号の中からノイズ成分のみを検出し、そのノイズ成分を推定ノイズとして更新することができるので、推定ノイズをノイズの変化に追従させて、高品質のノイズ低減処理を行うことができる。
【００５４】
入力音スペクトルＳ３が入力された場合には、図７（ｂ）に示すように、各周波数成分ｆ１〜ｆ５において、入力音スペクトルＳ３の振幅が推定ノイズ範囲にない（図２に示すステップＳ１１０（図４に示すステップＳ３０２〜Ｓ３０６））。したがって、ＣＰＵ１１は、ＥＥＰＲＯＭ１８に、各周波数成分ｆ１〜ｆ５の入力音スペクトルＳ３を記憶させない（図２に示すステップＳ１１０（図４に示すステップＳ３０８））。入力音スペクトルＳ３が入力された場合には、ＣＰＵ１１は、推定ノイズスペクトルを更新せず、各周波数成分ｆ１〜ｆ５の推定ノイズスペクトルＮ0の値を、入力音スペクトルＳ３入力後の推定ノイズスペクトルＮ３の値として設定し、ＥＥＰＲＯＭ１８に記憶させる（図２に示すステップＳ１１２）。
【００５５】
なお、図７（ｂ）に示すように、入力音スペクトルＳ３が入力された場合には、推定ノイズ範囲の上限と下限との差が０である。入力音スペクトルＳ３では、各周波数成分ｆ２〜ｆ５において振幅が０であり、入力音スペクトルＳ３と推定ノイズスペクトルＮ0とが類似関係になく、入力音スペクトルＳ３と推定ノイズスペクトルＮ0との類似度Ｉｐの値が所定値よりも小さいからである。このように、推定ノイズスペクトルＮＫとは大きく異なる入力音スペクトルＳＬが入力された場合には、ＣＰＵ１１は、取得された音信号から推定ノイズを検出せず、推定ノイズを更新しない。したがって、ＣＰＵ１１は、ノイズ成分が含まれないと推定される音情報が入力された場合であっても、推定ノイズをノイズの変化に追従させて、高品質のノイズ低減処理を行うことができる。
【００５６】
本実施形態では、上記のように、予め推定した推定ノイズを利用して、マイクから取得した音情報のノイズ低減処理を行うので、良好なノイズ低減処理を行うことができる。さらに、本実施形態では、上記のように、推定ノイズとマイクから取得した音情報とに基づいて推定ノイズを更新するので、撮影環境に合わせて推定ノイズを更新し、高品質のノイズ低減処理を継続して行うことができる。
【００５７】
なお、本発明は、上記の実施形態に限定されない。
【００５８】
上記の実施形態では、フォーカスレンズを移動させる際の機構音に係るノイズを低減したが、これに限定されない。たとえば、ズームレンズ群，ブレ補正レンズ群，ミラー，シャッタ等の撮影装置が備える他の機構が発生する機構音に関するノイズを低減してもよい。また、ノイズ源としては、撮影装置が備える機構には限定されず、撮影装置以外の外部にある装置等が発生するノイズを低減しても良い。
【００５９】
上記のノイズ低減処理は、対象とするノイズ音が発生する際に、限定して行われてもよい。たとえば、撮影装置の処理装置が、レンズ等の機構を制御する際の制御信号に同期させて上記のノイズ低減処理を行っても良い。
【００６０】
上記の実施形態では、推定ノイズスペクトルの初期値Ｎ０を利用してノイズ低減処理を行ったがこれに限定されず、更新後の推定ノイズスペクトルＮＫ（１，２，３，・・・）を利用してノイズ低減処理を行っても良い。
【００６１】
上記の実施形態では、１フレーム毎に、推定ノイズスペクトルを更新したが、これに限定されない。たとえば、複数のフレーム（１０〜１００フレーム）の入力音スペクトルを利用して、推定ノイズスペクトルを更新しても良い。すなわち、複数のフレームの入力音スペクトルを利用して、上記のノイズ低減処理を行っても良い。このとき、複数のフレームの入力音スペクトルのうち、特定のフレームの入力音スペクトルを重視してノイズ低減処理を行っても良い。
【００６２】
また、上記の実施形態における図２に示すステップＳ１０８〜１１２の信号処理、ステップＳ１０８〜１１４の信号処理、ステップＳ１０４〜１１２の信号処理、ステップＳ１０４〜１１４の信号処理、あるいはステップＳ１０２〜１１６の信号処理は、コンピュータに実行させるためのプログラムにより実現されても良い。コンピュータに実行させるためのプログラムは、記憶媒体（たとえば、ＤＶＤやメモリースティック、ハードディスク等）に記憶され、記憶媒体から直接に実行されても良いし、記憶媒体からパソコンにインストールされて実行されても良い。また、当該プログラムは、電気通信回線を通じて実行されても良いし、電気通信回線を通じてパソコンにインストールされて実行されても良い。
【符号の説明】
【００６３】
２・・・カメラ
１０・・・カメラ本体
１１・・・ＣＰＵ
１８・・・ＥＥＰＲＯＭ
２１・・・音声録音マイク
４０・・・レンズ鏡筒
Ｌ１・・・ズームレンズ群
Ｌ２・・・フォーカスレンズ群
Ｌ３・・・ブレ補正レンズ群
４３・・・絞り
４４・・・ズームレンズ群駆動機構
４５・・・フォーカスレンズ群駆動機構
４６・・・ブレ補正レンズ群駆動機構
４７・・・絞り駆動機構
ＮＫ・・・推定ノイズスペクトル
Ｎ0・・・推定ノイズスペクトルの初期値
ＳＬ・・・入力音スペクトル
【技術分野】
【０００１】
本発明は、撮像装置、プログラムおよび記憶媒体に関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮像装置を利用して動画撮影を行う際に、撮影された動画に対応した音信号に、レンズの機構音などのノイズ音が混入することがあり、高品質な音声情報を取得することができないことが問題になっている。
【０００３】
一般的なノイズ除去方法として、音声に重畳した定常的なノイズを低減する手法が提案されている（非特許文献１）。しかしながら、このような方法では、入力された音信号に、ノイズ成分が含まれているか否かを判断しておらず、音声に重畳した定常的なノイズを低減するのみである。したがって、従来の手法では、音声に重畳したノイズ成分が変化する場合には、良好なノイズ低減効果が得られない。
【０００４】
また、音声に重畳したノイズ成分が変化する場合において、ノイズを低減する手法も提案されている（非特許文献２）。この方法では、複数のフレームにおいて、音信号の周波数成分毎の最小値を取得し、その最小値をその周波数成分における推定ノイズとし、その推定ノイズ利用してノイズ低減処理を行っている。しかしながら、この手法では、ノイズ音が不定期に発生する場合や、ノイズ音の変化が大きい場合には、ノイズ音が過小に推定されてしまうので、良好なノイズ低減効果が得られない。
【先行技術文献】
【特許文献】
【０００５】
【非特許文献１】S.F. Boll, “Suppression of acoustic noise in speech using spectral subtraction” IEEE Trans. Acoust. Speech Signal Process., Vol.ASSP-27, No.2, pp.113-120, April 1979.
【非特許文献２】R. Martin, “Spectral Subtraction Based on Minimum Statistics”EUSIPCO’94, pp.1182-1185, Sept. 1994.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、音信号のノイズ低減処理を高精度に行うことができる撮像装置、プログラム、記憶媒体を提供することである。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、本発明の撮影装置は、
推定ノイズ（ＮＫ）および演算結果を記憶する記憶部（１８）と、
音声入力部（２１）で検出された音信号（ＳＬ）と前記推定ノイズ（ＮＫ）との演算を行う演算部（１１）とを含み、
前記演算部（１１）は、前記推定ノイズ（ＮＫ）と前記音信号（ＳＬ）との類似度（Ｉｐ）に基づき推定ノイズ範囲を決定するとともに、前記推定ノイズ範囲と前記音信号（ＳＬ）との関係に基づき前記推定ノイズ（ＮＫ）を更新する。
【０００８】
前記演算部（１１）が、正規化された前記推定ノイズ（ＮＫ）と正規化された前記音信号（ＳＬ）との内積に基づき前記類似度（Ｉｐ）を算出してもよい。
【０００９】
前記演算部（１１）が、前記内積の結果に基づき前記推定ノイズ範囲の上限と下限とを決定してもよい。
【００１０】
前記演算部（１１）が、前記内積の値が小さいときに前記類似度（Ｉｐ）が小さいと判断して、前記上限と前記下限との差を小さくするように前記上限と前記下限とを決定してもよい。
【００１１】
前記演算部（１１）が、前記内積の値が所定値より小さいときに前記類似度（Ｉｐ）が小さいと判断して、前記上限と前記下限との差を０にするように前記上限と前記下限とを決定してもよい。
【００１２】
前記推定ノイズ（ＮＫ）の初期値（Ｎ0）が、前記撮影装置がフォーカス調整を行う際の機構音に対応して予め設定されており、
前記演算部（１１）が、前記推定ノイズ（ＮＫ）の前記初期値（Ｎ0）と前記音信号（ＳＬ）との類似度（Ｉｐ）に基づき前記推定ノイズ範囲を決定するとともに、前記推定ノイズ（ＮＫ）の初期値（Ｎ0）と前記音信号（ＳＬ）との関係に基づき前記推定ノイズ（ＮＫ）を更新してもよい。
【００１３】
本発明の撮影装置は、レンズ鏡筒（４０）が着脱自在に取り付けられる撮影装置本体（１０）を更に有し、
前記推定ノイズ（ＮＫ）の前記初期値（Ｎ0）が、前記レンズ鏡筒（４０）に対応して予め設定されてもよい。
【００１４】
前記演算部（１１）が、前記撮影装置が前記フォーカス調整を行う際に、前記推定ノイズ（ＮＫ）と前記音信号（ＳＬ）との類似度（Ｉｐ）に基づき前記推定ノイズ範囲を決定するとともに、前記推定ノイズ範囲と前記音信号（ＳＬ）との関係に基づき前記推定ノイズ（ＮＫ）を更新してもよい。
【００１５】
本発明のコンピュータに実行させるためのプログラムは、
推定ノイズ（ＮＫ）と音信号（ＳＬ）との類似度（Ｉｐ）に基づき推定ノイズ範囲を決定する工程と、
前記推定ノイズ範囲内にある前記音信号（ＳＬ）を利用して前記推定ノイズ（ＮＫ）を更新する工程とを有する。
【００１６】
本発明の記憶媒体には、上記のプログラムが記録してある。
【００１７】
なお、上述の説明では、本発明をわかりやすく説明するために、実施形態を示す図面の符号に対応付けて説明したが、本発明は、これに限定されるものでない。後述の実施形態の構成を適宜改良してもよく、また、少なくとも一部を他の構成に代替させてもよい。更に、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。
【図面の簡単な説明】
【００１８】
【図１】図１は、本発明の一実施形態に係るカメラの概略図である。
【図２】図２は、図１に示すカメラのノイズ低減処理の一例を示すフローチャートである。
【図３】図３は、図２に示すフローチャートの詳細を示すフローチャートである。
【図４】図４は、図２に示すフローチャートの詳細を示すフローチャートである。
【図５】図５（ａ）〜図５（ｄ）は、図１に示す撮影装置での音信号のノイズ低減処理の一例を示す。
【図６】図６（ａ）〜図６（ｄ）は、図１に示す撮影装置での音信号のノイズ低減処理の他の一例を示す。
【図７】図７（ａ）〜図７（ｄ）は、図１に示す撮影装置での音信号のノイズ低減処理の他の一例を示す。
【図８】図８は、推定ノイズに対する音信号の類似度とノイズ推定係数との関係を示すグラフである。
【発明を実施するための形態】
【００１９】
第１実施形態
図１に示す本発明の一実施形態に係るカメラ２は、カメラ本体１０と、レンズ鏡筒４０とを有する。なお、以下の実施形態では、レンズ鏡筒４０がカメラ本体１０に着脱自在に取り付けられるレンズ交換式の一眼レフカメラを例に説明するが、本実施形態はこれに限定されない。例えば、レンズ鏡筒４０とカメラ本体１０とが一体であるコンパクトカメラやカメラ付きモバイル機器であっても良い。また、ミラー機構を省いたミラーレスタイプのカメラであっても良い。
【００２０】
カメラ本体１０は、ＣＰＵ１１、ＡＦセンサ１２、ミラー１３、シャッタ１４、撮像素子１５、信号処理回路１６、レリーズスイッチ１７、ＥＥＰＲＯＭ１８、記録媒体１９、液晶モニタ２０、音声録音マイク２１を有する。
【００２１】
レンズ鏡筒４０は、ズームレンズ群Ｌ１、フォーカスレンズ群Ｌ２、ブレ補正レンズ群Ｌ３、加速度センサ４１、角速度センサ４２、絞り４３、ズームレンズ群駆動機構４４、フォーカスレンズ群駆動機構４５、ブレ補正レンズ群駆動機構４６、絞り駆動機構４７を有する。
【００２２】
図１に示すように、本実施形態のカメラ２では、光軸Ｚに沿って、被写体側から順に、ズームレンズ群Ｌ１、フォーカスレンズ群Ｌ２、絞り４３、ブレ補正レンズ群Ｌ３、ミラー１３、シャッタ１４、撮像素子１５が配置されている。
【００２３】
ズームレンズ群Ｌ１は、ズームレンズ群駆動機構４４により駆動され、光軸方向に移動可能である。ズームレンズ群駆動機構４４は、ＣＰＵ１１からの駆動命令を受けて、ズームレンズ群Ｌ１を光軸方向に移動させる。
【００２４】
フォーカスレンズ群Ｌ２は、フォーカスレンズ群駆動機構４５により駆動され、光軸方向に移動可能である。フォーカスレンズ群駆動機構４５は、ＣＰＵ１１からの駆動命令を受けて、フォーカスレンズ群Ｌ２を光軸方向に移動させる。
【００２５】
絞り４３は、絞り駆動機構４７により駆動され、開閉可能になっている。絞り駆動機構４７は、ＣＰＵ１１からの駆動命令を受けて、絞り４３を開閉する。
【００２６】
ブレ補正レンズ群Ｌ３は、ブレ補正レンズ群駆動機構４６により駆動され、光軸と垂直な方向に移動可能である。ブレ補正レンズ群駆動機構４６は、ＣＰＵ１１からの駆動命令を受けて、ブレ補正レンズ群Ｌ３を光軸と垂直な方向に移動させる。
【００２７】
ミラー１３は、ＣＰＵ１１からの駆動命令を受けて、不図示の駆動機構により駆動され、ＵＰ／ＤＯＷＮ動作を行う。ミラー１３には、不図示のサブミラーが連結されており、ＡＦセンサ１２が被写体距離を検出することが可能になっている。ＡＦセンサ１２は、特に限定されないが、例えばＣＣＤセンサやＣＭＯＳセンサ等の撮像素子である。
【００２８】
シャッタ１４は、例えばフォーカルプレーンシャッタであり、ＣＰＵ１１からの駆動命令を受けて、不図示の駆動機構により駆動され、開閉動作を行う。
【００２９】
ＣＰＵ１１は、レリーズスイッチ１７のＯＮ信号を取得して、ミラー１３のＵＰ動作を行う駆動命令およびシャッタ１４の開動作を行う駆動命令を出力する。
【００３０】
撮像素子１５は、ＣＣＤやＣＭＯＳ等の固体撮像素子などで構成され、レンズ鏡筒４０から導かれる被写体からの光を光電変換し、画像信号を信号処理回路１６へ出力する。信号処理回路１６は、取得した画像信号にＡ／Ｄ変換等を行って、ＣＰＵ１１に出力する。
【００３１】
ＣＰＵ１１は、Ａ／Ｄ変換後の画像信号を、記録媒体１９に記憶させる。記録媒体１９は、特に限定されないが、例えばＳＤカードやコンパクトフラッシュカード等の着脱可能なメモリである。液晶モニタ２０は、画像データやスルー画像などを表示する。マイク２１は、カメラ２の外部音を検出し、音情報に変換してＣＰＵ１１へ出力する。マイク２１は、ダイナミックマイクやコンデンサマイク等である。
【００３２】
ＥＥＰＲＯＭ１８（またはその他のメモリ、以下同じ）には、推定ノイズスペクトルＮＫ（Ｋ＝０，１，２，・・・）等の調整値情報が記憶されている。推定ノイズスペクトルＮＫは、ノイズに関する情報であり、周波数成分に対応する振幅を要素とするベクトルである。
【００３３】
推定ノイズスペクトルＮＫの初期値Ｎ0は、カメラ２に固有のノイズ情報であり、予め設定されてＥＥＰＲＯＭ１８に記憶されている。本実施形態では、推定ノイズスペクトルＮＫの初期値Ｎ0は、フォーカスレンズ群駆動機構４５がフォーカスレンズ群Ｌ２を駆動する際の機構音に対応して設定されている。なお、推定ノイズスペクトルＮＫの初期値Ｎ0は、レンズ鏡筒４０の種類に対応して変化する値であり、レンズ鏡筒４０の種類に対応した値がカメラ本体１０のＥＥＰＲＯＭ１８に記憶されている。ＣＰＵ１１は、取り付けられたレンズ鏡筒の種類を検出し、取り付けられたレンズ鏡筒４０に対応した推定ノイズスペクトルＮＫの初期値Ｎ0を選択する。
【００３４】
次に、図２に示すフローチャートを用いて、本実施形態に係るカメラによるノイズ低減処理の一例を説明する。
【００３５】
ステップＳ１０２にて動画撮影を開始する。図１に示すレリーズスイッチ１７からの入力信号を受けたＣＰＵ１１の駆動命令に基づき、ミラー１３がＵＰ状態を保ち、シャッタ１４が開状態を保ち、被写体からの光が撮像素子１５に導かれるようになり、動画撮影が開始される。動画撮影が開始されると、ＡＦセンサ１２が検出した被写体距離に関する情報に基づき、ＣＰＵ１１は、フォーカスレンズ群駆動機構４５に駆動命令を出力し、フォーカスレンズ群Ｌ２を光軸方向に移動させる。本実施形態のカメラ２は、フォーカスレンズ群Ｌ２を移動させる際の機構音に係るノイズを低減する。
【００３６】
図２に示すステップＳ１０４にて、ＣＰＵ１１は、ＥＥＰＲＯＭ１８から図５（ａ）に示す推定ノイズスペクトルＮｋの初期値Ｎ0を読み出す。
【００３７】
図２に示すステップＳ１０６にて、ＣＰＵ１１は、図１に示すマイク２１にて検出したカメラ２の外部音を音情報に変換して取得する。ＣＰＵ１１は、入力された音情報を、入力音スペクトルＳＬ（Ｌ＝１，２，３，・・・）に変換する。たとえば、ＣＰＵ１１は、マイク２１からの音情報に、ハニング窓等の窓掛け処理を行い、フーリエ変換等の周波数解析を行って、入力音スペクトルＳＬを生成する。入力音スペクトルＳＬは、音の周波数成分に対応する振幅を要素とするベクトルであり、動画の１フレームに対応した音情報である。以下の説明では、ＣＰＵ１１は、入力音スペクトルＳＬとして、たとえば、図５（ｂ），図６（ｂ）または図７（ｂ）に示す入力音スペクトルＳ１，Ｓ２またはＳ３を取得し、ノイズ低減処理を行う。
【００３８】
図２に示すステップＳ１０８にて、推定ノイズスペクトルＮＫの初期値Ｎ0（以下、推定ノイズスペクトルＮ0）と入力音スペクトルＳＬとの類似度Ｉｐを算出する。具体的には、図３に示すステップＳ２０２にて、ＣＰＵ１１が、推定ノイズスペクトルＮ0の単位ベクトルを算出し、推定ノイズスペクトルＮ0の正規化を行う。ステップＳ２０４にて、ＣＰＵ１１が、入力音スペクトルＳＬの単位ベクトルを算出し、入力音スペクトルＳＬの正規化を行う。ステップＳ２０６にて、ＣＰＵ１１が、ステップＳ２０２にて正規化された推定ノイズスペクトルと、ステップＳ２０４にて正規化された入力音スペクトルとの内積を求めて、類似度Ｉｐを算出する。ここで、推定ノイズスペクトルＮＫと入力音スペクトルＳＬとの類似度が大きいときは類似度Ｉｐの値が大きくなり、推定ノイズスペクトルＮＫと入力音スペクトルＳＬとの類似度が小さいときは類似度Ｉｐの値が小さくなる。なお、類似度Ｉｐは、以下に示す数式１にて算出される。
【００３９】
Ｉｐ＝ＮＫ・ＳＬ／||ＮＫ||・||ＳＬ|| ・・・数式１
【００４０】
図２に示すステップＳ１１０にて、ノイズ推定処理を行う。具体的には、図４に示すステップＳ３０２にて、ＣＰＵ１１が、ステップＳ２０６にて算出した推定ノイズスペクトルＮ0に対する入力音スペクトルＳＬの類似度Ｉｐの値に基づき、ノイズ推定係数ａを決定する。ノイズ推定係数ａは、図８に示すように、類似度Ｉｐの値に対応する値である。本実施形態では、図８に示すように、類似度Ｉｐの値が大きくなるとノイズ推定係数ａの値が大きくなり、類似度Ｉｐの値が小さくなるとノイズ推定係数ａの値が小さくなる。また、本実施形態では、図８に示すように、類似度Ｉｐの値が０．２５よりも小さいときは、ノイズ推定係数ａは１である。すなわち、推定ノイズスペクトルＮＫと入力音スペクトルＳＬとの類似度が小さく、類似度Ｉｐの値が一定の値よりも小さくなると、ノイズ推定係数ａの値が１になる。
【００４１】
図４に示すステップＳ３０４にて、ＣＰＵ１１が、推定ノイズ範囲を決定する。推定ノイズ範囲は、周波数成分に対応する振幅の大きさの範囲であり、その範囲内にある振幅はノイズ成分として推定される。ＣＰＵ１１は、周波数成分に対応する推定ノイズ範囲の上限および下限を決定する。推定ノイズ範囲は、以下に示す数式２および数式３にて算出される。数式２および数式３から分かるように、推定ノイズ範囲は、推定ノイズスペクトルＮ0に対する入力音スペクトルＳＬの類似度に関するノイズ推定係数ａに基づき算出される範囲である。
【００４２】
推定ノイズ範囲の上限 ： ＮＫ・ａ ・・・数式２
【００４３】
推定ノイズ範囲の下限 ： ＮＫ／ａ ・・・数式３
【００４４】
なお、上記の数式２および数式３から分かるように、ノイズ推定係数ａの値が１のときは、推定ノイズ範囲の上限と下限との差が０になる。すなわち、正規化された推定ノイズスペクトルＮＫと正規化された入力音スペクトルＳＬとの内積の値が所定値よりも小さく、推定ノイズスペクトルＮＫと入力音スペクトルＳＬと類似度が小さいときには、ノイズ推定係数ａの値が１になり、推定ノイズ範囲の上限と下限との差が０になる。
【００４５】
図４に示すステップＳ３０６にて、ＣＰＵ１１が、各周波数成分ｆ１〜ｆ５の入力音スペクトルＳＬの振幅が、推定ノイズ範囲内にあるか否かを判断し、ステップＳ３０８で、ＣＰＵ１１は、推定ノイズ範囲内にある各周波数成分ｆ１〜ｆ５の入力音スペクトルＳＬの振幅をＥＥＰＲＯＭ１８に記憶させる。
【００４６】
図２に示すステップＳ１１２にて、ＣＰＵ１１が、推定ノイズスペクトルＮＫを更新する。具体的には、上記のステップＳ３０８で、ＣＰＵ１１がＥＥＰＲＯＭ１８に記憶させた推定ノイズ範囲内にある各周波数成分ｆ１〜ｆ５の入力音スペクトルＳＬの値を、ＣＰＵ１１が、入力音スペクトルＳＬ入力後の推定ノイズスペクトルＮＫとして設定し、ＥＥＰＲＯＭ１８に記憶させる。なお、推定ノイズ範囲にない入力音スペクトルＳＬの周波数成分ｆ１〜ｆ５に関しては、推定ノイズスペクトルを更新しない。
【００４７】
ステップＳ１１４にて、ＣＰＵ１１は、ノイズ低減処理を行う。たとえば、ＣＰＵ１１は、図５（ｄ），図６（ｄ）または図７（ｄ）に示すように、入力音スペクトルＳＬと推定ノイズスペクトルＮ０とを利用して、スペクトルサブトラクション法にてノイズ低減処理を行う。
【００４８】
ステップＳ１１６にて、ＣＰＵ１１は、ノイズ低減処理後の入力音スペクトルＳＬに逆フーリエ変換等を行い、ノイズが低減された音声信号を生成する。
【００４９】
上記の図２に示すステップＳ１１０〜Ｓ１１２に記載の処理を、図５（ｂ），図６（ｂ）または図７（ｂ）を用いて以下に説明する。
【００５０】
入力音スペクトルＳ１が入力された場合には、図５（ｂ）に示すように、各周波数成分ｆ１〜ｆ５おいて、入力音スペクトルＳ１の振幅が推定ノイズ範囲内にある（図２に示すステップＳ１１０（図４に示すステップＳ３０２〜Ｓ３０６））。したがって、ＣＰＵ１１は、ＥＥＰＲＯＭ１８に、各周波数成分ｆ１〜ｆ５の入力音スペクトルＳ１の値を記憶させる（図２に示すステップＳ１１０（図４に示すステップＳ３０８））。そして、ＣＰＵ１１は、図５（ｃ）に示すように、上記のステップＳ３０８にてＥＥＰＲＯＭ１８に記憶させた推定ノイズ範囲内にある各周波数成分ｆ１〜ｆ５の入力音スペクトルＳ１の値を、入力音スペクトルＳ１入力後の推定ノイズスペクトルＮ1として設定し、ＥＥＰＲＯＭ１８に記憶させる（図２に示すステップＳ１１２）。
【００５１】
なお、図５（ｂ）に示すように、入力音スペクトルＳ１が入力された場合には、推定ノイズ範囲の上限と下限との差が大きく、入力音を推定ノイズとして検出できる範囲が広い。入力音スペクトルＳ１は、推定ノイズスペクトルＮ0に類似しており、入力音スペクトルＳ１と推定ノイズスペクトルＮ0との類似度Ｉｐの値が大きいからである。したがって、推定ノイズスペクトルＮＫに類似する入力音スペクトルＳＬが入力された場合には、ＣＰＵ１１は、取得された音信号においてノイズ成分の変化が大きい場合でも、音信号から推定ノイズを検出して、推定ノイズを更新することができる。つまり、推定ノイズスペクトルＮＫに類似する入力音スペクトルＳＬが入力された場合には、ＣＰＵ１１は、取得された音信号においてノイズの変化が大きい場合でも、推定ノイズをノイズの変化に追従させることができるので、高品質のノイズ低減処理を行うことができる。
【００５２】
入力音スペクトルＳ２が入力された場合には、図６（ｂ）に示すように、周波数成分ｆ１の入力音スペクトルＳ2の振幅のみが推定ノイズ範囲内になく、その他の各周波数成分ｆ２〜ｆ５の入力音スペクトルＳ2の振幅が推定ノイズ範囲内にある（図２に示すステップＳ１１０（図４に示すステップＳ３０２〜Ｓ３０６））。したがって、ＣＰＵ１１は、ＥＥＰＲＯＭ１８に、各周波数成分ｆ２〜ｆ５の入力音スペクトルＳ2の値を記憶させる（図２に示すステップＳ１１０（図４に示すステップＳ３０８））。そして、ＣＰＵ１１は、図６（ｃ）に示すように、上記のステップＳ３０８で、ＥＥＰＲＯＭ１８に記憶させた推定ノイズ範囲内にある各周波数成分ｆ２〜ｆ５の入力音スペクトルＳ2の振幅を、入力音スペクトルＳ2入力後の各周波数成分ｆ２〜ｆ５の推定ノイズスペクトルＮ2として設定し、ＥＥＰＲＯＭ１８に記憶させる（図２に示すステップＳ１１２）。なお、上記のように、周波数成分ｆ１の入力音スペクトルＳ2は推定ノイズ範囲内にないので、周波数成分ｆ１の推定ノイズは更新しない。ＣＰＵ１１は、周波数成分ｆ１の推定ノイズスペクトルＮ0の値を周波数成分ｆ１の推定ノイズスペクトルＮ2の値として設定し、ＥＥＰＲＯＭ１８に記憶させる（図２に示すステップＳ１１２）。
【００５３】
なお、図６（ｂ）に示すように、入力音スペクトルＳ２が入力された場合には、推定ノイズ範囲の上限と下限との差が小さい。入力音スペクトルＳ２では、周波数成分ｆ１において、推定ノイズスペクトルＮ0との振幅の差が大きく、入力音スペクトルＳ２と推定ノイズスペクトルＮ0との類似度Ｉｐの値が小さいからである。したがって、推定ノイズスペクトルＮＫに部分的に類似しない入力音スペクトルＳＬが入力された場合には、ＣＰＵ１１は、取得された音信号の中からノイズ成分のみを検出し、そのノイズ成分を推定ノイズとして更新することができるので、推定ノイズをノイズの変化に追従させて、高品質のノイズ低減処理を行うことができる。
【００５４】
入力音スペクトルＳ３が入力された場合には、図７（ｂ）に示すように、各周波数成分ｆ１〜ｆ５において、入力音スペクトルＳ３の振幅が推定ノイズ範囲にない（図２に示すステップＳ１１０（図４に示すステップＳ３０２〜Ｓ３０６））。したがって、ＣＰＵ１１は、ＥＥＰＲＯＭ１８に、各周波数成分ｆ１〜ｆ５の入力音スペクトルＳ３を記憶させない（図２に示すステップＳ１１０（図４に示すステップＳ３０８））。入力音スペクトルＳ３が入力された場合には、ＣＰＵ１１は、推定ノイズスペクトルを更新せず、各周波数成分ｆ１〜ｆ５の推定ノイズスペクトルＮ0の値を、入力音スペクトルＳ３入力後の推定ノイズスペクトルＮ３の値として設定し、ＥＥＰＲＯＭ１８に記憶させる（図２に示すステップＳ１１２）。
【００５５】
なお、図７（ｂ）に示すように、入力音スペクトルＳ３が入力された場合には、推定ノイズ範囲の上限と下限との差が０である。入力音スペクトルＳ３では、各周波数成分ｆ２〜ｆ５において振幅が０であり、入力音スペクトルＳ３と推定ノイズスペクトルＮ0とが類似関係になく、入力音スペクトルＳ３と推定ノイズスペクトルＮ0との類似度Ｉｐの値が所定値よりも小さいからである。このように、推定ノイズスペクトルＮＫとは大きく異なる入力音スペクトルＳＬが入力された場合には、ＣＰＵ１１は、取得された音信号から推定ノイズを検出せず、推定ノイズを更新しない。したがって、ＣＰＵ１１は、ノイズ成分が含まれないと推定される音情報が入力された場合であっても、推定ノイズをノイズの変化に追従させて、高品質のノイズ低減処理を行うことができる。
【００５６】
本実施形態では、上記のように、予め推定した推定ノイズを利用して、マイクから取得した音情報のノイズ低減処理を行うので、良好なノイズ低減処理を行うことができる。さらに、本実施形態では、上記のように、推定ノイズとマイクから取得した音情報とに基づいて推定ノイズを更新するので、撮影環境に合わせて推定ノイズを更新し、高品質のノイズ低減処理を継続して行うことができる。
【００５７】
なお、本発明は、上記の実施形態に限定されない。
【００５８】
上記の実施形態では、フォーカスレンズを移動させる際の機構音に係るノイズを低減したが、これに限定されない。たとえば、ズームレンズ群，ブレ補正レンズ群，ミラー，シャッタ等の撮影装置が備える他の機構が発生する機構音に関するノイズを低減してもよい。また、ノイズ源としては、撮影装置が備える機構には限定されず、撮影装置以外の外部にある装置等が発生するノイズを低減しても良い。
【００５９】
上記のノイズ低減処理は、対象とするノイズ音が発生する際に、限定して行われてもよい。たとえば、撮影装置の処理装置が、レンズ等の機構を制御する際の制御信号に同期させて上記のノイズ低減処理を行っても良い。
【００６０】
上記の実施形態では、推定ノイズスペクトルの初期値Ｎ０を利用してノイズ低減処理を行ったがこれに限定されず、更新後の推定ノイズスペクトルＮＫ（１，２，３，・・・）を利用してノイズ低減処理を行っても良い。
【００６１】
上記の実施形態では、１フレーム毎に、推定ノイズスペクトルを更新したが、これに限定されない。たとえば、複数のフレーム（１０〜１００フレーム）の入力音スペクトルを利用して、推定ノイズスペクトルを更新しても良い。すなわち、複数のフレームの入力音スペクトルを利用して、上記のノイズ低減処理を行っても良い。このとき、複数のフレームの入力音スペクトルのうち、特定のフレームの入力音スペクトルを重視してノイズ低減処理を行っても良い。
【００６２】
また、上記の実施形態における図２に示すステップＳ１０８〜１１２の信号処理、ステップＳ１０８〜１１４の信号処理、ステップＳ１０４〜１１２の信号処理、ステップＳ１０４〜１１４の信号処理、あるいはステップＳ１０２〜１１６の信号処理は、コンピュータに実行させるためのプログラムにより実現されても良い。コンピュータに実行させるためのプログラムは、記憶媒体（たとえば、ＤＶＤやメモリースティック、ハードディスク等）に記憶され、記憶媒体から直接に実行されても良いし、記憶媒体からパソコンにインストールされて実行されても良い。また、当該プログラムは、電気通信回線を通じて実行されても良いし、電気通信回線を通じてパソコンにインストールされて実行されても良い。
【符号の説明】
【００６３】
２・・・カメラ
１０・・・カメラ本体
１１・・・ＣＰＵ
１８・・・ＥＥＰＲＯＭ
２１・・・音声録音マイク
４０・・・レンズ鏡筒
Ｌ１・・・ズームレンズ群
Ｌ２・・・フォーカスレンズ群
Ｌ３・・・ブレ補正レンズ群
４３・・・絞り
４４・・・ズームレンズ群駆動機構
４５・・・フォーカスレンズ群駆動機構
４６・・・ブレ補正レンズ群駆動機構
４７・・・絞り駆動機構
ＮＫ・・・推定ノイズスペクトル
Ｎ0・・・推定ノイズスペクトルの初期値
ＳＬ・・・入力音スペクトル
【特許請求の範囲】
【請求項１】
推定ノイズおよび演算結果を記憶する記憶部と、
音声入力部で検出された音信号と前記推定ノイズとの演算を行う演算部とを含み、
前記演算部は、前記推定ノイズと前記音信号との類似度に基づき推定ノイズ範囲を決定するとともに、前記推定ノイズ範囲と前記音信号との関係に基づき前記推定ノイズを更新する撮影装置。
【請求項２】
前記演算部が、正規化された前記推定ノイズと正規化された前記音信号との内積に基づき前記類似度を算出する請求項１に記載の撮影装置。
【請求項３】
前記演算部が、前記内積の結果に基づき前記推定ノイズ範囲の上限と下限とを決定する請求項２に記載の撮影装置。
【請求項４】
前記演算部が、前記内積の値が小さいときに前記類似度が小さいと判断して、前記上限と前記下限との差を小さくするように前記上限と前記下限とを決定する請求項３に記載の撮影装置。
【請求項５】
前記演算部が、前記内積の値が所定値より小さいときに前記類似度が小さいと判断して、前記上限と前記下限との差を０にするように前記上限と前記下限とを決定する請求項３または４に記載の撮影装置。
【請求項６】
前記推定ノイズの初期値が、前記撮影装置がフォーカス調整を行う際の機構音に対応して予め設定されており、
前記演算部が、前記推定ノイズの前記初期値と前記音信号との類似度に基づき前記推定ノイズ範囲を決定するとともに、前記推定ノイズ範囲と前記音信号との関係に基づき前記推定ノイズを更新する請求項１〜５の何れかに記載の撮影装置。
【請求項７】
前記撮影装置は、レンズ鏡筒が着脱自在に取り付けられる撮影装置本体を更に有し、
前記推定ノイズの前記初期値が、前記レンズ鏡筒に対応して予め設定されている請求項６に記載の撮影装置。
【請求項８】
前記演算部が、前記撮影装置が前記フォーカス調整を行う際に、前記推定ノイズと前記音信号との類似度に基づき前記推定ノイズ範囲を決定するとともに、前記推定ノイズ範囲と前記音信号との関係に基づき前記推定ノイズを更新する請求項６又は７に記載の撮影装置。
【請求項９】
推定ノイズと音信号との類似度に基づき推定ノイズ範囲を決定する工程と、
前記推定ノイズ範囲内にある前記音信号を利用して前記推定ノイズを更新する工程とをコンピュータに実行させるためのプログラム。
【請求項１０】
請求項９に記載のプログラムが記録してある記憶媒体。
【請求項１】
推定ノイズおよび演算結果を記憶する記憶部と、
音声入力部で検出された音信号と前記推定ノイズとの演算を行う演算部とを含み、
前記演算部は、前記推定ノイズと前記音信号との類似度に基づき推定ノイズ範囲を決定するとともに、前記推定ノイズ範囲と前記音信号との関係に基づき前記推定ノイズを更新する撮影装置。
【請求項２】
前記演算部が、正規化された前記推定ノイズと正規化された前記音信号との内積に基づき前記類似度を算出する請求項１に記載の撮影装置。
【請求項３】
前記演算部が、前記内積の結果に基づき前記推定ノイズ範囲の上限と下限とを決定する請求項２に記載の撮影装置。
【請求項４】
前記演算部が、前記内積の値が小さいときに前記類似度が小さいと判断して、前記上限と前記下限との差を小さくするように前記上限と前記下限とを決定する請求項３に記載の撮影装置。
【請求項５】
前記演算部が、前記内積の値が所定値より小さいときに前記類似度が小さいと判断して、前記上限と前記下限との差を０にするように前記上限と前記下限とを決定する請求項３または４に記載の撮影装置。
【請求項６】
前記推定ノイズの初期値が、前記撮影装置がフォーカス調整を行う際の機構音に対応して予め設定されており、
前記演算部が、前記推定ノイズの前記初期値と前記音信号との類似度に基づき前記推定ノイズ範囲を決定するとともに、前記推定ノイズ範囲と前記音信号との関係に基づき前記推定ノイズを更新する請求項１〜５の何れかに記載の撮影装置。
【請求項７】
前記撮影装置は、レンズ鏡筒が着脱自在に取り付けられる撮影装置本体を更に有し、
前記推定ノイズの前記初期値が、前記レンズ鏡筒に対応して予め設定されている請求項６に記載の撮影装置。
【請求項８】
前記演算部が、前記撮影装置が前記フォーカス調整を行う際に、前記推定ノイズと前記音信号との類似度に基づき前記推定ノイズ範囲を決定するとともに、前記推定ノイズ範囲と前記音信号との関係に基づき前記推定ノイズを更新する請求項６又は７に記載の撮影装置。
【請求項９】
推定ノイズと音信号との類似度に基づき推定ノイズ範囲を決定する工程と、
前記推定ノイズ範囲内にある前記音信号を利用して前記推定ノイズを更新する工程とをコンピュータに実行させるためのプログラム。
【請求項１０】
請求項９に記載のプログラムが記録してある記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−７８５２（Ｐ２０１３−７８５２Ａ）
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願番号】特願２０１１−１３９８２０（Ｐ２０１１−１３９８２０）
【出願日】平成２３年６月２３日（２０１１．６．２３）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．コンパクトフラッシュ
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願日】平成２３年６月２３日（２０１１．６．２３）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．コンパクトフラッシュ
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]