信号処理装置、撮像装置、及び、プログラム
【課題】適切にノイズを低減することができる信号処理装置を提供する。
【解決手段】音の収音中にノイズが発生した時点を示すタイミング情報に従って、該ノイズが含まれていると判定されたフレームの周波数領域信号、及び、該ノイズに対応する周波数領域信号であるノイズ周波数領域信号に基づいて、フレームの周波数領域信号から該ノイズを低減した周波数領域信号であるノイズ低減周波数領域信号を算出する信号処理部（２５０）を備え、信号処理部（２５０）は、ノイズが含まれていると判定されたフレームと異なる時間に収音され、ノイズが含まれていないと判定されたフレームの周波数領域信号に基づいた下限値、または、当該フレームより先に処理されたフレームの処理において算出されたノイズ低減周波数領域信号に基づいた下限値に制限する信号処理装置（１００）である。
【解決手段】音の収音中にノイズが発生した時点を示すタイミング情報に従って、該ノイズが含まれていると判定されたフレームの周波数領域信号、及び、該ノイズに対応する周波数領域信号であるノイズ周波数領域信号に基づいて、フレームの周波数領域信号から該ノイズを低減した周波数領域信号であるノイズ低減周波数領域信号を算出する信号処理部（２５０）を備え、信号処理部（２５０）は、ノイズが含まれていると判定されたフレームと異なる時間に収音され、ノイズが含まれていないと判定されたフレームの周波数領域信号に基づいた下限値、または、当該フレームより先に処理されたフレームの処理において算出されたノイズ低減周波数領域信号に基づいた下限値に制限する信号処理装置（１００）である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置、撮像装置、及び、プログラムに関する。
【背景技術】
【０００２】
従来、音声信号に混入している背景ノイズを除去するために、フレーム単位で時間領域信号から周波数領域信号に変換し、非音声部分の信号を用い推定ノイズを算出し、算出した推定ノイズを周波数領域信号から差し引くことでノイズを低減する手法が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許４１６２６０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、動画を撮影する際に、背景ノイズが状況を示す目的音となる場合がある。背景ノイズは常に存在することから、動画を撮影する際の目的音が常に存在することになる。そのため、動画を撮影する際には、目的音が混入していないタイミングを得ることができない。
しかしながら、特許文献１の技術にあっては、音声がない区間で推定した初期推定ノイズを基に低減すべきノイズ量を推定する。そのため、音声がない区間、すなわち目的音が混入していないタイミングにおいて、初期推定ノイズを推定することができない場合には、低減すべきノイズ量を推定することができず、ノイズ低減処理を行えないという問題があった。
【０００５】
本発明は、このような事情に鑑みてなされたもので、その目的は、適切にノイズを低減することができる信号処理装置、撮像装置、及び、プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
この発明は上述した課題を解決するためになされたもので、収音された音を、予め定められた時間間隔に分割されたフレームを単位として、該フレーム毎に複数の周波数領域に分割された周波数領域信号に変換する周波数領域信号変換部と、前記音の収音中にノイズが発生した時点を示すタイミング情報に従って、該ノイズが含まれていると判定された前記フレームの周波数領域信号、及び、該ノイズが含まれていると判定された前記フレームの周波数領域信号に対応する周波数領域信号であって、前記ノイズに対応する周波数領域信号であるノイズ周波数領域信号に基づいて、前記フレームの周波数領域信号から該ノイズを低減した周波数領域信号であるノイズ低減周波数領域信号を算出する信号処理部とを備え、前記信号処理部は、前記ノイズが含まれていると判定された前記フレームと異なる時間に収音され前記ノイズが含まれていないと判定された前記フレームの周波数領域信号に基づいた前記下限値、または、当該フレームより先に処理されたフレームの処理において算出された前記ノイズ低減周波数領域信号に基づいた前記下限値に制限することを特徴とする信号処理装置である。
【０００７】
また、この発明は、収音された音を、定められた時間間隔に分割されたフレームを単位として、該フレーム毎に複数の周波数領域に分割された周波数領域信号に変換する周波数領域信号変換部と、前記音の収音中にノイズが発生した時点を示すタイミング情報に従って、該ノイズが含まれていると判定された前記フレームの周波数領域信号、及び、該ノイズが含まれていると判定された前記フレームの周波数領域信号に対応する周波数領域信号であって、前記ノイズに対応する周波数領域信号であるノイズ周波数領域信号に基づいて、前記フレームの周波数領域信号から該ノイズを低減した周波数領域信号であるノイズ低減周波数領域信号を算出する信号処理部と、画像を撮像する際に駆動部を駆動させるように制御するとともに、前記信号処理部に前記タイミング信号を供給する制御部とを備え、前記信号処理部は、前記ノイズが含まれていると判定された前記フレームと異なる時間に収音され前記ノイズが含まれていないと判定された前記フレームの周波数領域信号に基づいた前記下限値、または、当該フレームより先に処理されたフレームの処理において算出された前記ノイズ低減周波数領域信号に基づいた前記下限値に制限することを特徴とする撮像装置である。
【０００８】
また、この発明は、信号処理装置が備えるコンピュータに、収音された音を、定められた時間間隔に分割されたフレームを単位として、該フレーム毎に複数の周波数領域に分割された周波数領域信号に変換する周波数領域信号変換部と、前記音の収音中にノイズが発生した時点を示すタイミング情報に従って、該ノイズが含まれていると判定された前記フレームの周波数領域信号、及び、該ノイズが含まれていると判定された前記フレームの周波数領域信号に対応する周波数領域信号であって、前記ノイズに対応する周波数領域信号であるノイズ周波数領域信号に基づいて、前記フレームの周波数領域信号から該ノイズを低減した周波数領域信号であるノイズ低減周波数領域信号を算出する信号処理部として機能させ、前記信号処理部は、前記ノイズが含まれていると判定された前記フレームと異なる時間に収音され前記ノイズが含まれていないと判定された前記フレームの周波数領域信号に基づいた前記下限値、または、当該フレームより先に処理されたフレームの処理において算出された前記ノイズ低減周波数領域信号に基づいた前記下限値に制限するためのプログラムである。
【発明の効果】
【０００９】
この発明によれば、適切にノイズを低減することができるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】この発明の一実施形態による撮像装置の構成の一例を示すブロック図である。
【図２】撮像装置により音信号を録音した場合の一例を示す動作図である。
【図３】信号処理部のフロアリングスペクトル推定部及びノイズ推定部が、フロアリングスペクトル及びノイズを算出する場合の一例を示す説明図である。
【図４】本実施形態におけるノイズ低減処理を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、本発明の実施の形態について説明する。
図１は、この発明の一実施形態による撮像装置の構成を示す概略ブロック図である。
この図１に示される撮像装置は、収音された音を処理する信号処理装置でもある。
【００１２】
この図１に示すとおり、本実施形態に係る撮像装置１００（信号処理装置、撮像装置）は、撮像部１１０と、ＣＰＵ（Central processing unit）１９０と、操作部１８０と、画像処理部１４０と、表示部１５０と、記憶部１６０と、バッファメモリ部１３０と、通信部１７０と、マイク２３０と、Ａ／Ｄ（Analog/Digital）変換部２４０と、周波数領域信号変換部２４５と、信号処理部２５０と、バス３００と、を備えている。
【００１３】
撮像部１１０は、光学系４００と、撮像素子１１９と、Ａ/Ｄ変換部１２０とを含み、設定された撮像条件（例えば絞り値、露出値等）に従ってＣＰＵ１９０により制御され、光学系４００による光学像を撮像素子１１９に結像させて、Ａ/Ｄ変換部１２０によってデジタル信号に変換された当該光学像に基づく画像データを生成する。
【００１４】
光学系４００は、ズームレンズ１１４と、手振れ防止用レンズ（以下、ＶＲ（Vibration Reduction）レンズという）１１３と、焦点調整レンズ（以下、ＡＦ（Auto Focus）レンズという）１１２と、ズームエンコーダ１１５と、レンズ駆動部１１６と、ＡＦエンコーダ１１７と、手振れ防止部１１８と、を備える。
【００１５】
この光学系４００は、ズームレンズ１１４、ＶＲレンズ１１３、及び、ＡＦレンズ１１２を通過した光学像を撮像素子１１９の受光面に導く。
【００１６】
レンズ駆動部１１６は、後述するＣＰＵ１９０から入力される駆動制御信号に基づいて、ズームレンズ１１４またはＡＦレンズ１１２の位置を制御する。
【００１７】
手振れ防止部１１８は、後述するＣＰＵ１９０から入力される駆動制御信号に基づいて、ＶＲレンズ１１３の位置を制御する。この手振れ防止部１１８は、ＶＲレンズ１１３の位置を検出していてもよい。
【００１８】
ズームエンコーダ１１５は、ズームレンズ１１４の位置を表わすズームポジションを検出し、検出したズームポジションをＣＰＵ１９０に出力する。
【００１９】
ＡＦエンコーダ１１７は、ＡＦレンズ１１２の位置を表わすフォーカスポジションを検出し、検出したフォーカスポジションをＣＰＵ１９０に出力する。
【００２０】
なお、上述した光学系４００は、撮像装置１００に取り付けられて一体とされていてもよいし、撮像装置１００に着脱可能に取り付けられてもよい。
【００２１】
撮像素子１１９は、たとえば、受光面に結像した光学像を電気信号に変換して、Ａ/Ｄ変換部１２０に出力する。
【００２２】
また、撮像素子１１９は、操作部１８０を介して撮影指示を受け付けた際に得られる画像データを、撮影された静止画の撮影画像データとして、Ａ/Ｄ変換部１２０や画像処理部１４０を介して、記憶媒体２００に記憶させる。
【００２３】
一方、撮像素子１１９は、たとえば、操作部１８０を介して撮像指示を受け付けていない状態において、連続的に得られる画像データをスルー画データとして、Ａ/Ｄ変換部１２０や画像処理部１４０を介して、ＣＰＵ１９０及び表示部１５０に出力する。
【００２４】
Ａ/Ｄ変換部１２０は、撮像素子１１９によって変換された電子信号をアナログ／デジタル変換し、この変換したデジタル信号である画像データを出力する。
【００２５】
操作部１８０は、たとえば、電源スイッチやシャッターボタン、その他の操作キーを含み、ユーザによって操作されることでユーザの操作入力を受け付け、ＣＰＵ１９０に出力する。
【００２６】
画像処理部１４０は、記憶部１６０に記憶されている画像処理条件を参照して、バッファメモリ部１３０、または、記憶媒体２００に記録されている画像データに対して画像処理をする。
【００２７】
表示部１５０は、たとえば液晶ディスプレイであって、撮像部１１０によって得られた画像データや、操作画面等を表示する。
【００２８】
記憶部１６０は、ＣＰＵ１９０によってシーン判定の際に参照される判定条件や、撮像条件等を記憶する。記憶部１６０は、フロアリングスペクトル記憶部１６１と、ノイズ記憶部１６２と、モード情報記憶部１６３とを備えている。
フロアリングスペクトル記憶部１６１には、後述するフロアリングスペクトルが記憶される。ノイズ記憶部１６２には、後述するノイズが記憶される。
【００２９】
モード情報記憶部１６３には、フロアリングスペクトルに基づいたノイズ低減処理の動作モードを選択するためのモード情報が記憶される。このモード情報を参照することにより、ノイズ成分を低減させるレベルを制限する下限値の設定方法を選択する。例えば、下限値の設定方法には２つの方法（モード）が定義されている。モード情報記憶部１６３に記憶されるモード情報は、上記の第１モードと第２モードとのうち、いずれのモードが選択されているかを示す情報である。
【００３０】
その第１モードにおいては、ノイズが含まれていると判定されたフレームと異なる時間に収音されノイズが含まれていないと判定されたフレームの周波数領域信号（フロアリングスペクトル）に基づいた下限値を設定する。
このような第１モードは、たとえば、時間の経過に応じたフロアリングスペクトルの変動が比較的少ない条件に適するモードである。
【００３１】
また、第２モードにおいては、当該フレームより先に処理されたフレームの処理において算出されたノイズ低減周波数領域信号に基づいた下限値を設定する。
このような第２のモードは、たとえば、時間の経過に応じたフロアリングスペクトルの変動が比較的多い条件に適するモードである。この第２のモードにおいては、時間経過に応じたフロアリングスペクトルの変動があった場合であっても、直前のフレームを処理した結果に応じて、上記の下限値を設定することができる。そのため、下限値を状態に応じて変更することが可能となり、歪の発生を低減することができる。
【００３２】
マイク２３０は、音を収音し、収音した音に応じた音信号に変換する。この音信号は、アナログ信号である。
【００３３】
Ａ／Ｄ変換部２４０は、マイク２３０によって変換されたアナログ信号である音信号を、デジタル信号である音信号に変換する。
周波数領域信号変換部（ＦＦＴ部）２４５は、Ａ／Ｄ変換部２４０によりデジタル信号に変換された音信号をフレームに分割し、分割した各フレームの音信号をフーリエ変換し、各フレームにおける音信号の周波数スペクトルを生成する。
また、周波数領域信号変換部２４５は、各フレームの音信号を周波数スペクトルに変換する場合、各フレームの音信号にハニングウィンドウなどの窓関数を乗じた後、周波数スペクトルに変換してもよい。また、周波数領域信号変換部２４５は、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）により、フーリエ変換してもよい。
【００３４】
信号処理部２５０は、Ａ／Ｄ変換部２４０によりデジタル信号に変換され、周波数領域信号変換部２４５により生成された音信号の周波数スペクトルに対して、たとえば、ノイズを低減するなどの音信号処理を実行し、この音信号処理した音信号を記憶媒体２００に記憶させる。なお、この信号処理部２５０は、ノイズを低減するなどの音信号処理を実行する場合、記憶部１５０のモード情報記憶部１６３に記憶されているモード情報に応じて、ノイズを低減するなどの音信号処理を実行する。また、信号処理部２５０は、Ａ／Ｄ変換部２４０によりデジタル信号に変換された音信号と、ノイズ低減処理された音信号とを切り替えて出力してもよい。この信号処理部２５０の詳細については、後述する。
【００３５】
なお、信号処理部２５０により音信号処理された音信号が記憶媒体２００に記憶される場合、撮像素子１１９により撮像された画像データと、時間的に関係付けられて記憶されてもよいし、音信号を含む動画として記憶されてもよい。
【００３６】
バッファメモリ部１３０は、撮像部１１０によって撮像された画像データや、信号処理部２５０により変換された音信号等を、一時的に記憶する。
【００３７】
通信部１７０は、カードメモリ等の取り外しが可能な記憶媒体２００と接続され、この記憶媒体２００への情報の書込み、読み出し、あるいは消去を行う。
【００３８】
記憶媒体２００は、撮像装置１００に対して着脱可能に接続される記憶部であって、たとえば、撮像部１１０によって生成された（撮影された）画像データや、信号処理部２５０により音信号処理された音信号を記憶する。
【００３９】
ＣＰＵ１９０は、撮像装置１００の全体を制御するが、一例としては、ズームエンコーダ１１５から入力されるズームポジション、及び、ＡＦエンコーダ１１７から入力されるフォーカスポジションと、操作部１８０から入力される操作入力に基づいて、ズームレンズ１１４及びＡＦレンズ１１２の位置を制御する駆動制御信号を生成する。ＣＰＵ１９０は、この駆動制御信号に基づいて、レンズ駆動部１１６を介してズームレンズ１１４及びＡＦレンズ１１２の位置を制御する。
【００４０】
また、このＣＰＵ１９０は、タイミング検出部１９１を備えている。このタイミング検出部１９１は、撮像装置１００が備えている動作部が動作するタイミングを検出する。
【００４１】
ここでいう動作部とは、一例としては、上述したズームレンズ１１４、ＶＲレンズ１１３、ＡＦレンズ１１２、または、操作部１８０のことであり、撮像装置１００が備えている構成のうち、動作することにより、または、動作されることにより、音が生じる（または、音が生じる可能性がある）構成である。
【００４２】
また、この動作部とは、撮像装置１００が備えている構成のうち、動作することにより生じた音、または、動作されることにより生じた音が、マイク２３０により収音される（または、収音される可能性のある）構成である。
【００４３】
このタイミング検出部１９１は、動作部を動作させる制御信号に基づいて、動作部が動作するタイミングを検出してもよい。この制御信号とは、動作部を動作させる動作部に対して、動作部を動作させるようにする制御信号、または、この動作部を駆動させる制御信号である。
【００４４】
たとえば、タイミング検出部１９１は、ズームレンズ１１４、ＶＲレンズ１１３、または、ＡＦレンズ１１２を駆動させるためにレンズ駆動部１１６または手振れ防止部１１８に入力される駆動制御信号に基づいて、または、ＣＰＵ１９０で生成される駆動制御信号に基づいて、動作部が動作するタイミングを検出してもよい。
また、ＣＰＵ１９０が駆動制御信号を生成する場合に、タイミング検出部１９１は、ＣＰＵ１９０内部で実行される処理やコマンドに基づいて、動作部が動作するタイミングを検出してもよい。
また、タイミング検出部１９１は、操作部１８０から入力されるズームレンズ１１４、または、ＡＦレンズ１１２を駆動させることを示す信号に基づいて、動作部が動作するタイミングを検出してもよい。
【００４５】
また、このタイミング検出部１９１は、動作部が動作されたことを示す信号に基づいて、動作部が動作するタイミングを検出してもよい。
【００４６】
たとえば、タイミング検出部１９１は、ズームエンコーダ１１５またはＡＦエンコーダ１１７の出力に基づいて、ズームレンズ１１４またはＡＦレンズ１１２が駆動されたことを検出することにより、動作部が動作するタイミングを検出してもよい。
また、タイミング検出部１９１は、手振れ防止部１１８からの出力に基づいて、ＶＲレンズ１１３が駆動されたことを検出することにより、動作部が動作するタイミングを検出してもよい。
また、このタイミング検出部１９１は、操作部１８０からの入力に基づいて、操作部１８０が操作されたことを検出することにより、動作部が動作するタイミングを検出してもよい。
【００４７】
そして、タイミング検出部１９１は、撮像装置１００が備えている動作部が動作するタイミングを検出し、この検出したタイミングを示す信号を、信号処理部２５０に出力する（後述する図２を参照）。
【００４８】
バス３００は、撮像部１１０と、ＣＰＵ１９０と、操作部１８０と、画像処理部１４０と、表示部１５０と、記憶部１６０と、バッファメモリ部１３０と、通信部１７０と、周波数領域信号変換部２４５と、信号処理部２５０とに接続され、各部から出力されたデータ等を転送する。
【００４９】
＜信号処理部２５０の詳細な構成＞
次に、図１の信号処理部２５０の詳細について、図２から図４を用いて説明する。図１の信号処理部２５０は、フロアリングスペクトル推定部２５１、ノイズ推定部２５２、判定部２５３、ノイズ低減処理部２５４、及び、置換部２５５を有している。
【００５０】
ここでは、図２のように信号処理部２５０に、タイミング検出部１９１からタイミングを示す信号が入力され、Ａ／Ｄ変換部２４０によりデジタル信号に変換された音信号が入力された場合について説明する。この図２において、上段から下段に向かって、（ａ）タイミング検出部１９１からタイミングを示す信号、すなわち、動作部が動作するタイミングを示す信号、（ｂ）時刻、（ｃ）フレーム番号、及び、（ｄ）Ａ／Ｄ変換部２４０から入力された音信号の波形が示されている。
【００５１】
この図２において、横軸は時間軸であり、縦軸は、たとえば、各信号の電圧、時刻、または、フレーム番号である。また、この図２（ｄ）に示されるように、たとえば、音声を収音した場合の音信号の場合、数十ミリ秒程度の短い時間内では、比較的に繰り返し信号が多い。
【００５２】
この図２の例においては、フレームと時刻との関係は、時刻ｔ０からｔ２までがフレーム番号４１に対応し、時刻ｔ１からｔ３までがフレーム番号４２に対応し、時刻ｔ２からｔ４までがフレーム番号４３に対応し、時刻ｔ３からｔ５までがフレーム番号４４に対応し、時刻ｔ４からｔ６までがフレーム番号４５に対応し、時刻ｔ５からｔ７までがフレーム番号４６に対応し、時刻ｔ６以降がフレーム番号４７に対応している。なお、各フレームの時間長は同じものとする。
【００５３】
また、この図２の例においては、時刻ｔ４より後であり、かつ、時刻ｔ５の前において、（ａ）タイミング検出部１９１からタイミングを示す信号が、ロウレベルからハイレベルに遷移している（図２の符号Ｏ参照）。なお、ここでは、ロウレベルは動作部が動作していないことを示し、ハイレベルは動作部が動作していることを示すものとする。このように、この図２の例においては、時刻ｔ４より後であり、かつ、時刻ｔ５の前において、動作部が動作しない状態から動作する状態へと遷移している。
【００５４】
そして、このような動作部の動作に応じて、（ｄ）Ａ／Ｄ変換部２４０によって変換された音信号の波形に、フレーム番号４４及び４５の途中以降から、ノイズが重畳している。ここで、各フレームとノイズ発生区間との関係について着目すると、フレーム番号４４及び４５の途中で検出信号が立ち上がっていることからフレーム番号４４以降（４４、４５、４６，４７…）においてノイズが収音されている。また、フレーム番号４６以降（４６，４７…）においては、フレームの全区間においてノイズが収音されている。一方、フレーム番号４３以前（４３，４２，４１…）にはノイズが全く収音されていない。
【００５５】
ここで、周波数領域信号変換部２４５は、Ａ／Ｄ変換部２４０によりデジタル信号に変換された音信号をフレームに分割し、分割した各フレームの音信号をフーリエ変換し、各フレームにおける音信号の周波数スペクトルを生成する。
また、信号処理部２５０が、後述するように、フレーム毎の音信号の周波数スペクトルに対して、ノイズ低減処理を実行する。
そして、その後、信号処理部２５０が、ノイズ低減処理した各フレームの周波数スペクトルを、逆フーリエ変換して、記憶媒体２００に記憶させるものとして説明する。
【００５６】
フロアリングスペクトル推定部２５１は、タイミング検出部１９１により検出された動作部が動作するタイミングに基づいて、Ａ／Ｄ変換部２４０によりデジタル信号に変換された音信号から、フロアリングスペクトルを推定する。そして、フロアリングスペクトル推定部２５１は、推定したフロアリングスペクトルを、フロアリングスペクトル記憶部１６１に記憶させる。
【００５７】
たとえば、フロアリングスペクトル推定部２５１は、タイミング検出部１９１により検出された動作部が動作するタイミングに基づいて、動作部が動作するタイミングを含まない直前のフレームにおける音信号の周波数スペクトルを、フロアリングスペクトルとして推定する。図２の場合、フロアリングスペクトル推定部２５１は、フレーム番号４３における音信号の周波数スペクトルをフロアリングスペクトルとして推定する。そして、フロアリングスペクトル推定部２５１は、このフレーム番号４３における音信号の周波数スペクトルをフロアリングスペクトルとして、フロアリングスペクトル記憶部１６１に記憶させる。
【００５８】
以降、フレーム番号４３における音信号の周波数スペクトル（＝Ｓ４３）をフロアリングスペクトルＦＳと称して説明する。また、フロアリングスペクトルＦＳの、各周波数ビン（各周波数領域）の強度を、低周波数から高周波数へ順にＦ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５と称して説明する（図３（ａ）参照）。なお、周波数ビンの数は、ノイズ低減処理において必要とされる周波数スペクトルの解像度に応じて設定することができる。
【００５９】
ノイズ推定部２５２は、タイミング検出部１９１により検出された動作部が動作するタイミングに基づいて、Ａ／Ｄ変換部２４０によりデジタル信号に変換された音信号から、ノイズを推定する。そして、ノイズ推定部２５２は、推定したノイズを、ノイズ記憶部１６２に記憶させる。
【００６０】
たとえば、ノイズ推定部２５２は、動作部が動作するとして検出されたタイミング情報に基づいて、動作部が動作を開始したタイミングの直後のフレーム（かつ、フレームの全ての期間に渡って動作部が動作しているフレーム）における音信号の周波数スペクトルと、動作部が動作を開始するタイミングの直前のフレーム（かつ、フレームの全ての期間に渡って動作部が動作していないフレーム）における音信号の周波数スペクトルとの差を、ノイズの周波数スペクトルとして推定する。
【００６１】
図２の場合、ノイズ推定部２５２は、フレーム番号４６における音信号の周波数スペクトルＳ４６（図３（ｂ）参照）から、フレーム番号４３における音信号の周波数スペクトル（すなわちフロアリングスペクトルＦＳ）（図３（ａ）参照）を、周波数ビン毎に減算する。
【００６２】
なお、フレーム番号４６における音信号の周波数スペクトルを、周波数スペクトルＳ４６（図３（ｂ）参照）と称して説明する。また、周波数スペクトルＳ４６の、各周波数ビンの強度を、低周波数から高周波数へ順にＢ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５と称して説明する（図３（ｂ）参照）。
【００６３】
そして、ノイズ推定部２５２は、減算により算出した周波数スペクトルを、ノイズの周波数スペクトルとして推定する（図３（ｄ）参照）。そして、ノイズ推定部２５２は、推定したノイズを、ノイズ記憶部１６２に記憶させる。
【００６４】
以降、ノイズ推定部２５２により推定されたノイズの周波数スペクトルを、ノイズＮＳと称して説明する。また、ノイズＮＳの、各周波数ビンの強度を、低周波数から高周波数へ順にＮ１、Ｎ２、Ｎ３、Ｎ４、Ｎ５と称して説明する(図３（ｄ）参照）。
【００６５】
なお、このようにして得られたノイズの周波数スペクトル（ノイズＮＳ）を、ノイズが含まれるフレーム（たとえば、フレーム番号４４、４５、４６、４７…）の周波数スペクトルより減算し、減算した結果を時間領域に変換することにより、ノイズが含まれるフレームにおけるノイズを低減（除去）することができる。
【００６６】
すなわち、信号処理部２５０は、ノイズの周波数スペクトルに基づいて、音信号にスペクトル減算（Spectral Subtraction）処理することにより、音信号のノイズを低減させる。
このスペクトル減算処理とは、まず、音信号をフーリエ変換により周波数領域に変換し、周波数領域でノイズを減じた後、逆フーリエ変換することにより、音信号のノイズを低減させる方法である。
なお、信号処理部２５０は、逆高速フーリエ変換（ＩＦＦＴ：Inverse Fast Fourier Transform）により、逆フーリエ変換してもよい。
【００６７】
図１の説明に戻り、信号処理部２５０が備えている各構成について説明する。ここでは、図２及び図３を用いて説明したフロアリングスペクトル（ＦＳ）が、フロアリングスペクトル推定部２５１により推定されているものとして、または、フロアリングスペクトル記憶部１６１に予め記憶されているものとする。また、ノイズが、ノイズ推定部２５２により推定されているものとして、または、ノイズ記憶部１６２に予め記憶されているものとして説明する。
【００６８】
また、以下に示すようなノイズ低減処理を行うことができる。
たとえば、収音する目的音が音声信号の場合など、数十ミリ秒程度の短い時間内では、図２に示すように繰り返し信号が比較的多くなる。収音中にカメラを操作した場合、カメラの操作に応じた駆動音が（たとえば、ＡＦ駆動音）が発生する。この駆動音は、カメラの操作に同期して発生することから、カメラにおいては駆動音の発生を事前に予測することができる。
図２に示した場合のフレームとノイズ発生区間の関係について着目すると、フレーム番号４４の終了間際に、駆動信号が立ち上がっていることからフレーム番号４４以降においてノイズが収音されていると判断できる。また、フレーム番号４３以前においてはノイズが収音されておらず、フレーム番号４６においては全区間においてノイズが収音されていることがわかる。
【００６９】
上記に示したように、発生するノイズのスペクトルが予めノイズ記憶部１６２に記憶されており、ノイズが収音されているフレームの周波数スペクトルＳ４６から、重畳して検出されるノイズＮＳの周波数スペクトルを減算することによりノイズ低減処理を行うことが可能となる。
【００７０】
ただし、ノイズＮＳの周波数スペクトルを減算する際に、所定の値以上に減算しすぎるとミュージカルノイズなどの好ましくないノイズが発生する場合がある。
このようなミュージカルノイズを発生させないために、減算後の値が０を下回って負の値になった場合に、減算後の周波数スペクトルに係数を乗じてフロアリングスペクトルを再設定する処理が考えられる。しかしながら、単に上記の方法によりフロアリングスペクトルを再設定する処理では、前述のミュージカルノイズなどを防止する点において良好な効果を得ることができない。そこで、本実施形態においては、以下に示すノイズ低減処理を行う。
【００７１】
以下、図４を参照して、本実施形態におけるノイズ低減処理について説明する。
図４は、本実施形態におけるノイズ低減処理を示す図である。
この図４に示される周波数スペクトルは、８個の周波数ビンを備えるものとする。また、図２、図３と同じ構成には、同じ符号を附す。
本実施形態におけるノイズ低減処理においては、ノイズが収音されているフレームの周波数スペクトルＳ４６から、重畳して検出されるノイズＮＳの周波数スペクトルを減算して得られる結果に下限値を設ける。この下限値の算出において、処理の異なる２つの動作モード（「第１モード」と「第２モード」）を選択することができる。まず、「第１モード」から説明する。
【００７２】
＜第１モードの説明＞
この図４（ａ）に示されている周波数スペクトルＳＡ（周波数領域信号）は、周波数領域信号変換部２４５によって変換された信号の周波数スペクトルであり、例えば、ノイズ成分を含むフレーム番号４４における周波数スペクトルＳ４４を示す。周波数スペクトルＳＡとして示される信号は、目的音にノイズが重畳した信号である。また、周波数スペクトルＳＡの、各周波数ビンの強度を、低周波数から高周波数へ順にＡ１、Ａ２、Ａ３、Ａ４、Ａ５、Ａ６、Ａ７、Ａ８と称して説明する。
前述の図２に示したように、フレーム番号４４は、フレームの期間の後縁に近いタイミングから期間の終了までノイズが重畳されている。ただし、ノイズ成分は、重畳されている期間が短い分、フレーム番号４６において検出される場合より小さな値として検出される。
【００７３】
図４（ｂ）に示されているノイズＮＳ（ノイズ周波数領域信号）は、たとえば、フレーム番号４６におけるノイズの周波数スペクトルを示す。また、ノイズＮＳの、各周波数ビンの強度を、低周波数から高周波数へ順にＮ１、Ｎ２、Ｎ３、Ｎ４、Ｎ５、Ｎ６、Ｎ７、Ｎ８と称して説明する。
例えば、ノイズ推定部２５２は、前述したようにノイズＮＳを周波数スペクトルＳ４６からフロアリングスペクトルＦＳを減算して得ることができる。
【００７４】
図４（ｃ）には、周波数スペクトルＳＣとフロアリングスペクトルＦＳとが示されている。
フロアリングスペクトルＦＳは、例えば、前述のようにノイズ成分を含まないフレーム番号４３における周波数スペクトルＳ４３を示す。また、フロアリングスペクトルＦＳの、各周波数ビンの強度を、低周波数から高周波数へ順にＦ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５、Ｆ６、Ｆ７、Ｆ８と称して説明する。
また、周波数スペクトルＳＣにおいて、周波数スペクトルＳＡからノイズＮＳを減算した結果の周波数ビンの強度を、低周波数から高周波数へ順にＣ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６、Ｃ７、Ｃ８と称して説明する。
ここで、ノイズ低減処理部２５４は、それぞれの周波数ビンの強度を、以下の関係式に基づいて算出する。その関係式は、低周波数から高周波数へ順並び順に、Ｃ１＝Ａ１−Ｎ１、Ｃ２＝Ａ２−Ｎ２、Ｃ３＝Ａ３−Ｎ３、Ｃ４＝Ａ４−Ｎ４、Ｃ５＝Ａ５−Ｎ５、Ｃ６＝Ａ６−Ｎ６、Ｃ７＝Ａ７−Ｎ７、Ｃ８＝Ａ８−Ｎ８として示される。
【００７５】
周波数スペクトルＳＡからノイズＮＳを単に減算した場合には、フロアリングスペクトルＦＳより強度が低くなる周波数ビン（周波数領域）が発生する場合がある。周波数スペクトルＳＣにおける周波数ビンの強度が、フロアリングスペクトルＦＳの周波数ビンより低くなる周波数ビンが存在する場合、フロアリングスペクトルＦＳ（周波数領域信号Ｓ４３）よりレベルが低くなる周波数領域が発生することがわかる。
【００７６】
そこで、目的音の変化を考慮して、周波数スペクトルＳＣの下限値を設定する。周波数スペクトルＳＣの下限値は、フロアリングスペクトルＦＳに予め定められる係数ｋを乗じた値に設定する。
図４（ｃ）に示すように、周波数スペクトルＳＣにおける周波数ビンの強度の下限値を、低周波数から高周波数へ順にＬ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５、Ｌ６、Ｌ７、Ｌ８と称して説明する。
例えば、各周波数ビンに共通する係数ｋを定める。それぞれの周波数ビンにおける下限値の大きさは、以下の関係式により表すことができる。その関係式は、低周波数から高周波数へ順並び順に、Ｌ１＝Ｆ１×ｋ、Ｌ２＝Ｆ２×ｋ、Ｌ３＝Ｆ３×ｋ、Ｌ４＝Ｆ４×ｋ、Ｌ５＝Ｆ５×ｋ、Ｌ６＝Ｆ６×ｋ、Ｌ７＝Ｆ７×ｋ、Ｌ８＝Ｆ８×ｋとして示される。
【００７７】
判定部２５３は、入力された音信号に基づいた周波数スペクトルＳＣの周波数ビンの強度（Ｃ１からＣ８）を、フロアリングスペクトルＦＳに基づいた下限値（Ｌ１からＬ８）を基準にして周波数ビン毎に比較する。判定部２５３は、その比較の結果から、周波数スペクトルＳＣの周波数ビンの強度（Ｃ１からＣ８）を対応する下限値（Ｌ１からＬ８）に制限するか否かを周波数ビン毎に判定する。なお、ここでいう「入力された音信号に基づいた周波数スペクトルＳＣ」とは、Ａ／Ｄ変換部２４０によりデジタル信号に変換された音信号が、周波数領域信号変換部２４５によりフレームに分割され、更に、各フレームにおける音信号が周波数スペクトルにフーリエ変換されたものである。
【００７８】
判定結果により周波数スペクトルＳＣの周波数ビンの強度Ｃ１からＣ８が、当該周波数ビンに対応する下限値Ｌ１からＬ８を下回ったと判定部２５３によって判定された場合、置換部２５５が、当該周波数ビン（周波数領域）の強度の値を当該下限値に置換する。このように、置換部２５５が下限値Ｌ１からＬ８より小さい値を示す周波数スペクトルＳＣの周波数ビンの強度（Ｃ１からＣ８）を、対応する下限値Ｌ１からＬ８に置換することにより、周波数スペクトルのフロアリング処理を行う。
【００７９】
例えば、図４に示す場合では、左から５番目の周波数ビン（スペクトル成分）において、周波数スペクトルＳＣの周波数ビンの強度Ｃ５が下限値Ｌ５を下回る。このような場合、当該周波数ビンにおいては、置換部２５５により、周波数スペクトルＳＣの周波数ビンの強度Ｃ５の値が下限値Ｌ５に置換される。そして、置換された結果の周波数ビンの強度は、低周波数から高周波数へ順にＣ１、Ｃ２、Ｃ３、Ｃ４、Ｌ５、Ｃ６、Ｃ７、Ｃ８となる。
【００８０】
更に、フレーム番号４５以降においても、信号処理部２５０は、上記のフレーム番号４４における処理と同様の処理を続けることにより、フロアリングスペクトルＦＳに応じた下限値を設けてノイズ低減処理を続けて行うことができる。
続いて、「第２モード」について説明する。
【００８１】
＜第２モードの説明＞
第２モードでは、たとえば直前のフレームにおいてノイズ低減処理された結果に基づいて、次のフレームにおけるノイズ低減処理のためのフロアリング処理の下限値を定める。
たとえば、ノイズ低減処理部２５４は、前述のようにフレーム番号４４におけるノイズ低減処理を終えた段階で、次に行うフレーム番号４５のノイズ低減処理のための下限値を変更する。
ノイズ低減処理部２５４は、次に行うフレーム番号４５のノイズ低減処理のための下限値として、フレーム番号４４におけるノイズ低減処理結果である周波数スペクトル（周波数領域信号）に予め定められる係数ｋを乗じた結果を次のフレームを処理する際の下限値として設定する。
このように、ノイズ低減処理部２５４が直前のフレーム番号のノイズ低減処理結果に基づいた下限値を設定することにより、フレーム間に生じる差を低減することができる。これにより、良好なフロアリング処理が可能となる。
なお、ノイズ低減処理を実時間で処理する場合には、ノイズ低減処理部２５４は、たとえば、前述のようにフレーム番号４４におけるノイズ低減処理を終えた段階で、後に行うフレーム番号４６のノイズ低減処理のための下限値を変更してもよい。
【００８２】
なお、第１モードと第２モードとをフレームごとに切り替えて実施することとしてもよい。
たとえば、ノイズが発生することが検知された最初のフレームの処理においては、第１モードを適用し、次のフレーム以降の処理おいては、第２モードに変更してノイズ低減処理を続けてもよい。
【００８３】
以上に示したような下限値に基づいて、ノイズが収音されているフレームの周波数スペクトルＳ４６から、重畳して検出されるノイズＮＳの周波数スペクトルを減算して得られる結果を制限する。
たとえば、置換部２５５は、判定部２５３により判定された周波数ビン毎の結果に基づいて、ノイズ低減処理部２５４により減算された周波数スペクトルＳＣの周波数ビンのうち、下限値に置換する周波数ビンの強度を下限値に置き換えることにより、下限値に制限することができる。
【００８４】
その後、信号処理部２５０は、下限値が制限された周波数スペクトルＳＣを逆フーリエ変換し、ノイズを低減した音信号として、通信部１７０を介して記憶媒体２００に記録する。なお信号処理部２５０は、音信号を記憶媒体２００に記録する場合に、撮像素子１１９により撮像された画像データと、時間的に関係付けられるようにして記憶してもよい。
【００８５】
図４を用いて説明したように、信号処理部２５０は、目的音自体を変更しないようにしつつ、ノイズを低減させることができる。すなわち、図４を用いて説明したように、信号処理部２５０は、適切にノイズを低減することができる。
【００８６】
このように、以上に示した本実施形態の撮像装置１００において、周波数領域信号変換部２４５は、収音された音を、予め定められた時間間隔に分割されたフレームを単位として、該フレーム毎に複数の周波数領域に分割された周波数スペクトル（周波数領域信号）に変換する。
信号処理部２５０は、音の収音中にノイズが発生した時点を示すタイミング情報に従って、該ノイズが含まれていると判定されたフレームの周波数領域信号（周波数ビンの強度）、及び、該ノイズが含まれていると判定されたフレームの周波数領域信号に対応する周波数領域信号であって、ノイズに対応する周波数領域信号であるノイズ周波数領域信号（ノイズＮＳ）に基づいて、フレームの周波数領域信号から該ノイズを低減した周波数領域信号であるノイズ低減周波数領域信号を算出する。
【００８７】
また、信号処理部２５０は、ノイズが含まれていると判定されたフレームと異なる時間に収音されノイズが含まれていないと判定されたフレームの周波数領域信号に基づいた下限値、または、当該フレームより先に処理されたフレームの処理において算出されたノイズ低減周波数領域信号に基づいた下限値に制限する。
【００８８】
また、信号処理部２５０は、ノイズが含まれていると判定されたフレームの周波数領域信号からノイズ周波数領域信号を周波数領域毎に減算し、減算結果が下限値を下回る場合には、減算結果を下限値に置換する。
また、信号処理部２５０は、ノイズが含まれていないと判定されたフレームの周波数領域信号、または、前のフレームにおいて算出されたノイズ低減周波数領域信号に予め定められる係数を乗じた下限値に減算結果を置換する。
また、信号処理部２５０は、ノイズが含まれていると判定されたフレームより前の時間において、ノイズが発生していないと判定されたフレームの周波数領域信号に基づいて設定された下限値に減算結果を置換する。
また、ノイズ推定部２５１（推定ノイズ生成部）は、検出されたノイズからノイズ周波数領域信号を生成してもよい。
【００８９】
このような撮像装置１００は、収音された音に対して適切にノイズを低減することができる。
【００９０】
以下、図１から図４を参照し、この発明の異なる実施態様について説明する。
＜信号処理部２５０＞
上記の図２及び図３を用いた説明においては、フロアリングスペクトル推定部２５１は、フレーム番号４３における音信号の周波数スペクトルをフロアリングスペクトル（ＦＳ）として推定するものとして説明した。しかし、フロアリングスペクトル推定部２５１によるフロアリングスペクトルの推定方法は、これに限られるものではない。
【００９１】
たとえば、フロアリングスペクトル推定部２５１は、タイミング検出部１９１により検出された動作部が動作するタイミングに基づいて、動作部が動作するタイミングの前の複数のフレームにおける音信号を周波数スペクトルにそれぞれ変換する。更に、フロアリングスペクトル推定部２５１は、この複数の周波数スペクトルを、周波数ビン毎に平均した周波数スペクトルを、フロアリングスペクトル（ＦＳ）として推定してもよい。
【００９２】
また、フロアリングスペクトル推定部２５１は、周波数ビン毎に複数の周波数スペクトルを平均する場合、重みを付けて平均を算出してもよい。この重みの値は、フロアリング処理の対象とする音信号のフレーム（開始フレーム）から遠ざかるに従い、軽くなるようにしてもよい。
【００９３】
なお、フロアリングスペクトル推定部２５１は、フロアリングスペクトル（ＦＳ）を推定する場合、少なくとも、直前に動作部が動作したタイミングよりも後のフレームに基づいて、フロアリングスペクトル（ＦＳ）を推定することが望ましい。これは、フロアリングスペクトル（ＦＳ）としては、動作部が動作していないフレームにおける音信号に対しての周波数スペクトルが望ましいからである。また、フロアリングスペクトル（ＦＳ）を生成する音信号のフレームが、フロアリング処理する対象となる音信号よりも、時間的に遠くなるに従い、この音信号に対してのフロアリングスペクトル（ＦＳ）としての適切さも低減するからである。
【００９４】
また、フロアリングスペクトル記憶部１６１に予めフロアリングスペクトル（ＦＳ）が記憶されていてもよい。たとえば、フロアリングスペクトル記憶部１６１には、撮影する場合の周囲の音の状況を示す環境情報、または、撮影モードを示す撮影モード情報と関連付けられて、それぞれの場合に応じたフロアリングスペクトル（ＦＳ）が予め記憶されていてもよい。そして、信号処理部２５０は、ユーザにより選択された環境情報または撮影モード情報に関連付けられているフロアリングスペクトル（ＦＳ）をフロアリングスペクトル記憶部１６１から読み出し、当該読み出したフロアリングスペクトル（ＦＳ）に基づいて、上記の図３と図４の説明において説明したノイズ低減処理を実行してもよい。
【００９５】
また、ノイズ低減処理を行う信号をバッファメモリ部１３０などに記憶させた場合には、発生していたノイズが消失した後の情報に基づいて、フロアリングスペクトル（ＦＳ）を算出することも可能となる。
このように、信号処理部２５０は、ノイズが含まれていると判定されたフレームより後の時間において、ノイズが発生していないと判定されたフレームの周波数スペクトル（周波数領域信号）に基づいた下限値を設定してもよい。
【００９６】
また、信号処理部２５０は、ノイズが含まれていると判定されたフレームと異なる時間に収音されノイズが含まれていないと判定された複数のフレームの周波数スペクトル（周波数領域信号）を平均した値に基づいた下限値を設定してもよい。
なお、この複数のフレームは、ノイズが含まれていないと判定されたフレームであればよく、ノイズが発生する前のフレームと、発生していたノイズが消失した後のフレームとを組み合わせて、それぞれの周波数スペクトルを平均してもよい。
また、信号処理部２５０は、ノイズが含まれていると判定されたフレームと異なる時間に収音されノイズが含まれていないと判定された複数のフレームから、前段に算出されたノイズ低減周波数領域信号を移動平均した値に基づいた下限値を設定してもよい。
【００９７】
上記に図１から図４を用いて説明したように、本実施形態による信号処理部２５０は、設定されたモード情報に応じて、音信号に対してのノイズ低減処理の方法を変更することができる。これにより、本実施形態による信号処理部２５０は、図４を用いて説明したように、音信号から適切にノイズを低減することができる。
【００９８】
また、本実施形態による信号処理部２５０の置換部２５５は、音質重視モードとノイズ低減重視モードとのいずれのモードの場合においても、ノイズ低減処理部２５４により周波数ビン毎に減算された周波数スペクトルと、フロアリングスペクトル（ＦＳ）とを周波数ビン毎に比較した結果に基づいて、ノイズ低減処理部２５４により周波数ビン毎に減算された周波数スペクトルを、下限値に制限された周波数ビンを周波数ビン毎に置き換えている。
【００９９】
なお、単に、音信号からノイズを減算した場合にはミュージカルノイズが生じる可能性がある。これに対して、上記に説明したように、信号処理部２５０の置換部２５５は、音信号からノイズを減算した後に、周波数スペクトルの下限値との比較結果に基づいて、いわゆるフロアリング処理を行っている。よって、信号処理部２５０の置換部２５５は、ミュージカルノイズが生じる可能性を低減することができる。
【０１００】
また、信号処理部２５０の置換部２５５は、単にフロアリング処理を行っているのみではなく、設定された動作モードに応じたフロアリング処理を行っている。これにより、音質重視、または、ノイズ低減重視であることを満たしつつ、更に、それぞれの場合に好適に、ミュージカルノイズが生じる可能性を低減することができる。
【０１０１】
また、ノイズ低減処理部２５４は、単に、入力された音信号の周波数スペクトルに対して、ノイズの周波数スペクトルを周波数ビン毎に減算するのではなく、判定部２５３により判定された周波数ビン毎の結果に基づいて、入力された音信号の周波数スペクトルに対して、ノイズの周波数スペクトルを周波数ビン毎に減算する。これにより、ノイズ低減処理部２５４は、入力された音信号から、適切に、ノイズを低減することができる。
【０１０２】
＜図２のフレーム番号４７以降に対しての処理について＞
上記の図３から図４の説明においては、信号処理部２５０が、フレーム番号４６の音信号に対して、ノイズ低減処理する場合について説明した。この信号処理部２５０は、フレーム番号４６の音信号の場合と同様に、フレーム番号４６よりも後の音信号であるフレーム番号４７以降の音信号に対しても、ノイズ低減処理することができる。
【０１０３】
＜ノイズの推定について＞
また、上記の図２及び図３を用いた説明においては、ノイズ推定部２５２は、フレーム番号４６における音信号の周波数スペクトルＳ４６（図３（ｂ）参照）から、フレーム番号４３における音信号の周波数スペクトル（すなわちフロアリングスペクトルＦＳ）（図３（ａ）参照）を、周波数ビン毎に減算して、ノイズの周波数スペクトルを推定するものとして説明した。しかし、ノイズ推定部２５２が、ノイズの周波数スペクトルを推定する方法は、これに限られるものではない。
【０１０４】
まず、ノイズ推定部２５２は、フレーム番号４３における音信号の周波数スペクトルであるフロアリングスペクトルＦＳに替えて、上記に説明したフロアリングスペクトル推定部２５１によりフロアリングスペクトルＦＳを推定する場合の任意の方法により、フロアリングスペクトルＦＳを推定することができる。
【０１０５】
また、ノイズ推定部２５２は、フレーム番号４６における音信号の周波数スペクトルＳ４６に替えて、タイミング検出部１９１により検出された動作部が動作するタイミングに基づいて、動作部が動作しているタイミングにおける複数のフレームにおける音信号の周波数スペクトルを、周波数ビン毎に平均した周波数スペクトルを用いてもよい。たとえば、ノイズ推定部２５２は、フレーム番号４６における音信号の周波数スペクトルＳ４６に替えて、フレーム４６、４７という複数のフレームにおける音信号の周波数スペクトルを、周波数ビン毎に平均した周波数スペクトルを用いてもよい。
【０１０６】
また、ノイズ推定部２５２は、周波数ビン毎に複数の周波数スペクトルを平均する場合、重みを付けて平均を算出してもよい。この重みの値は、フロアリング処理の対象とする音信号のフレーム（開始フレーム）から遠ざかるに従い、軽くなるようにしてもよい。また、フロアリングスペクトル（ＦＳ）の場合と同様に、ノイズの周波数スペクトルが、ノイズ記憶部１６２に予め記憶されていてもよい。
【０１０７】
＜図２におけるフレームについて＞
また、図２の説明においては、各フレーム間にはオーバーラップがあるものとして説明した。しかし、これに限られるものではなく、各フレーム間にはオーバーラップがなくてもよい。たとえば、互いに隣接するフレームは、フレーム毎に独立するように期間を設定してもよい。
【０１０８】
なお、上記の図２の説明においては、（ａ）タイミング検出部１９１からタイミングを示す信号、すなわち、動作部が動作するタイミングを示す信号とは無関係に、音信号がフレームに分割されている場合について説明した（図２（ｃ）参照）。
【０１０９】
しかしこれに限るものではなく、信号処理部２５０は、（ａ）タイミング検出部１９１からタイミングを示す信号、すなわち、動作部が動作するタイミングを示す信号に応じてフレームを分割する位置を制御してもよい。たとえば、信号処理部２５０は、（ａ）タイミング検出部１９１からタイミングを示す信号、すなわち、動作部が動作するタイミングを示す信号がロウレベルからハイレベルに変化するタイミング（図２の符号Ｏ参照）と、音信号のフレームの境界とが一致するように、音信号に対してフレームを生成してもよい。
【０１１０】
そして、信号処理部２５０は、動作部が動作するタイミングを示す信号に応じて、動作部が動作する前の期間と、動作部が動作している期間とに基づいて、上述したノイズ低減処理を実行してもよい。
【０１１１】
なお、上記の説明においては、信号処理部２５０が、マイク２３０により収音された音信号に対して信号処理する場合について説明したが、本実施形態による上述した信号処理部２５０の処理は、このようにリアルタイムに収音された音信号に対してのみ適用されるものではない。
【０１１２】
たとえば、すでに録音されている音信号に対しても、この音信号と関連付けて、この音信号を録音した装置が備えている動作部が動作することを示すタイミングが、たとえば、記憶媒体２００などの記憶部に記録されている場合にも、本実施形態による信号処理部２５０は、上述した信号処理を同様に、実行することができる。
【０１１３】
なお、上記の説明においては、音信号の重畳するノイズとして、主に光学系４００が駆動することにより生じる音について説明したが、ノイズはこれに限るものではない。たとえば、操作部１８０に備えられているボタンなどを押下した場合に生じる音の場合も、同様である。この場合も、操作部１８０に備えられているボタンなどが押下されたことに応じた信号が、ＣＰＵ１９０のタイミング検出部１９１に入力される。よって、タイミング検出部１９１は、光学系４００が駆動する場合と同様に、操作部１８０などの動作タイミングを検出することができる。
【０１１４】
また、上記の説明においては、撮像装置１００が信号処理部２５０を備えている場合について説明したが、信号処理部２５０は、録音装置、携帯電話または通信端末に備えられていてもよい。
【０１１５】
なお、図１における信号処理部２５０、または、この信号処理部２５０が備える各部は、専用のハードウェアにより実現されるものであってもよく、また、メモリ及びマイクロプロセッサにより実現させるものであってもよい。
【０１１６】
なお、この信号処理部２５０、または、この信号処理部２５０が備える各部は、専用のハードウェアにより実現されるものであってもよく、また、この信号処理部２５０、または、この信号処理部２５０が備える各部はメモリ及びＣＰＵ（中央演算装置）により構成され、信号処理部２５０、または、この信号処理部２５０が備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
【０１１７】
また、図１における信号処理部２５０、または、この信号処理部２５０が備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、信号処理部２５０、または、この信号処理部２５０が備える各部による処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【０１１８】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、更に前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【０１１９】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【０１２０】
１００…撮像装置、２５０…信号処理部
【技術分野】
【０００１】
本発明は、信号処理装置、撮像装置、及び、プログラムに関する。
【背景技術】
【０００２】
従来、音声信号に混入している背景ノイズを除去するために、フレーム単位で時間領域信号から周波数領域信号に変換し、非音声部分の信号を用い推定ノイズを算出し、算出した推定ノイズを周波数領域信号から差し引くことでノイズを低減する手法が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許４１６２６０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、動画を撮影する際に、背景ノイズが状況を示す目的音となる場合がある。背景ノイズは常に存在することから、動画を撮影する際の目的音が常に存在することになる。そのため、動画を撮影する際には、目的音が混入していないタイミングを得ることができない。
しかしながら、特許文献１の技術にあっては、音声がない区間で推定した初期推定ノイズを基に低減すべきノイズ量を推定する。そのため、音声がない区間、すなわち目的音が混入していないタイミングにおいて、初期推定ノイズを推定することができない場合には、低減すべきノイズ量を推定することができず、ノイズ低減処理を行えないという問題があった。
【０００５】
本発明は、このような事情に鑑みてなされたもので、その目的は、適切にノイズを低減することができる信号処理装置、撮像装置、及び、プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
この発明は上述した課題を解決するためになされたもので、収音された音を、予め定められた時間間隔に分割されたフレームを単位として、該フレーム毎に複数の周波数領域に分割された周波数領域信号に変換する周波数領域信号変換部と、前記音の収音中にノイズが発生した時点を示すタイミング情報に従って、該ノイズが含まれていると判定された前記フレームの周波数領域信号、及び、該ノイズが含まれていると判定された前記フレームの周波数領域信号に対応する周波数領域信号であって、前記ノイズに対応する周波数領域信号であるノイズ周波数領域信号に基づいて、前記フレームの周波数領域信号から該ノイズを低減した周波数領域信号であるノイズ低減周波数領域信号を算出する信号処理部とを備え、前記信号処理部は、前記ノイズが含まれていると判定された前記フレームと異なる時間に収音され前記ノイズが含まれていないと判定された前記フレームの周波数領域信号に基づいた前記下限値、または、当該フレームより先に処理されたフレームの処理において算出された前記ノイズ低減周波数領域信号に基づいた前記下限値に制限することを特徴とする信号処理装置である。
【０００７】
また、この発明は、収音された音を、定められた時間間隔に分割されたフレームを単位として、該フレーム毎に複数の周波数領域に分割された周波数領域信号に変換する周波数領域信号変換部と、前記音の収音中にノイズが発生した時点を示すタイミング情報に従って、該ノイズが含まれていると判定された前記フレームの周波数領域信号、及び、該ノイズが含まれていると判定された前記フレームの周波数領域信号に対応する周波数領域信号であって、前記ノイズに対応する周波数領域信号であるノイズ周波数領域信号に基づいて、前記フレームの周波数領域信号から該ノイズを低減した周波数領域信号であるノイズ低減周波数領域信号を算出する信号処理部と、画像を撮像する際に駆動部を駆動させるように制御するとともに、前記信号処理部に前記タイミング信号を供給する制御部とを備え、前記信号処理部は、前記ノイズが含まれていると判定された前記フレームと異なる時間に収音され前記ノイズが含まれていないと判定された前記フレームの周波数領域信号に基づいた前記下限値、または、当該フレームより先に処理されたフレームの処理において算出された前記ノイズ低減周波数領域信号に基づいた前記下限値に制限することを特徴とする撮像装置である。
【０００８】
また、この発明は、信号処理装置が備えるコンピュータに、収音された音を、定められた時間間隔に分割されたフレームを単位として、該フレーム毎に複数の周波数領域に分割された周波数領域信号に変換する周波数領域信号変換部と、前記音の収音中にノイズが発生した時点を示すタイミング情報に従って、該ノイズが含まれていると判定された前記フレームの周波数領域信号、及び、該ノイズが含まれていると判定された前記フレームの周波数領域信号に対応する周波数領域信号であって、前記ノイズに対応する周波数領域信号であるノイズ周波数領域信号に基づいて、前記フレームの周波数領域信号から該ノイズを低減した周波数領域信号であるノイズ低減周波数領域信号を算出する信号処理部として機能させ、前記信号処理部は、前記ノイズが含まれていると判定された前記フレームと異なる時間に収音され前記ノイズが含まれていないと判定された前記フレームの周波数領域信号に基づいた前記下限値、または、当該フレームより先に処理されたフレームの処理において算出された前記ノイズ低減周波数領域信号に基づいた前記下限値に制限するためのプログラムである。
【発明の効果】
【０００９】
この発明によれば、適切にノイズを低減することができるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】この発明の一実施形態による撮像装置の構成の一例を示すブロック図である。
【図２】撮像装置により音信号を録音した場合の一例を示す動作図である。
【図３】信号処理部のフロアリングスペクトル推定部及びノイズ推定部が、フロアリングスペクトル及びノイズを算出する場合の一例を示す説明図である。
【図４】本実施形態におけるノイズ低減処理を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、本発明の実施の形態について説明する。
図１は、この発明の一実施形態による撮像装置の構成を示す概略ブロック図である。
この図１に示される撮像装置は、収音された音を処理する信号処理装置でもある。
【００１２】
この図１に示すとおり、本実施形態に係る撮像装置１００（信号処理装置、撮像装置）は、撮像部１１０と、ＣＰＵ（Central processing unit）１９０と、操作部１８０と、画像処理部１４０と、表示部１５０と、記憶部１６０と、バッファメモリ部１３０と、通信部１７０と、マイク２３０と、Ａ／Ｄ（Analog/Digital）変換部２４０と、周波数領域信号変換部２４５と、信号処理部２５０と、バス３００と、を備えている。
【００１３】
撮像部１１０は、光学系４００と、撮像素子１１９と、Ａ/Ｄ変換部１２０とを含み、設定された撮像条件（例えば絞り値、露出値等）に従ってＣＰＵ１９０により制御され、光学系４００による光学像を撮像素子１１９に結像させて、Ａ/Ｄ変換部１２０によってデジタル信号に変換された当該光学像に基づく画像データを生成する。
【００１４】
光学系４００は、ズームレンズ１１４と、手振れ防止用レンズ（以下、ＶＲ（Vibration Reduction）レンズという）１１３と、焦点調整レンズ（以下、ＡＦ（Auto Focus）レンズという）１１２と、ズームエンコーダ１１５と、レンズ駆動部１１６と、ＡＦエンコーダ１１７と、手振れ防止部１１８と、を備える。
【００１５】
この光学系４００は、ズームレンズ１１４、ＶＲレンズ１１３、及び、ＡＦレンズ１１２を通過した光学像を撮像素子１１９の受光面に導く。
【００１６】
レンズ駆動部１１６は、後述するＣＰＵ１９０から入力される駆動制御信号に基づいて、ズームレンズ１１４またはＡＦレンズ１１２の位置を制御する。
【００１７】
手振れ防止部１１８は、後述するＣＰＵ１９０から入力される駆動制御信号に基づいて、ＶＲレンズ１１３の位置を制御する。この手振れ防止部１１８は、ＶＲレンズ１１３の位置を検出していてもよい。
【００１８】
ズームエンコーダ１１５は、ズームレンズ１１４の位置を表わすズームポジションを検出し、検出したズームポジションをＣＰＵ１９０に出力する。
【００１９】
ＡＦエンコーダ１１７は、ＡＦレンズ１１２の位置を表わすフォーカスポジションを検出し、検出したフォーカスポジションをＣＰＵ１９０に出力する。
【００２０】
なお、上述した光学系４００は、撮像装置１００に取り付けられて一体とされていてもよいし、撮像装置１００に着脱可能に取り付けられてもよい。
【００２１】
撮像素子１１９は、たとえば、受光面に結像した光学像を電気信号に変換して、Ａ/Ｄ変換部１２０に出力する。
【００２２】
また、撮像素子１１９は、操作部１８０を介して撮影指示を受け付けた際に得られる画像データを、撮影された静止画の撮影画像データとして、Ａ/Ｄ変換部１２０や画像処理部１４０を介して、記憶媒体２００に記憶させる。
【００２３】
一方、撮像素子１１９は、たとえば、操作部１８０を介して撮像指示を受け付けていない状態において、連続的に得られる画像データをスルー画データとして、Ａ/Ｄ変換部１２０や画像処理部１４０を介して、ＣＰＵ１９０及び表示部１５０に出力する。
【００２４】
Ａ/Ｄ変換部１２０は、撮像素子１１９によって変換された電子信号をアナログ／デジタル変換し、この変換したデジタル信号である画像データを出力する。
【００２５】
操作部１８０は、たとえば、電源スイッチやシャッターボタン、その他の操作キーを含み、ユーザによって操作されることでユーザの操作入力を受け付け、ＣＰＵ１９０に出力する。
【００２６】
画像処理部１４０は、記憶部１６０に記憶されている画像処理条件を参照して、バッファメモリ部１３０、または、記憶媒体２００に記録されている画像データに対して画像処理をする。
【００２７】
表示部１５０は、たとえば液晶ディスプレイであって、撮像部１１０によって得られた画像データや、操作画面等を表示する。
【００２８】
記憶部１６０は、ＣＰＵ１９０によってシーン判定の際に参照される判定条件や、撮像条件等を記憶する。記憶部１６０は、フロアリングスペクトル記憶部１６１と、ノイズ記憶部１６２と、モード情報記憶部１６３とを備えている。
フロアリングスペクトル記憶部１６１には、後述するフロアリングスペクトルが記憶される。ノイズ記憶部１６２には、後述するノイズが記憶される。
【００２９】
モード情報記憶部１６３には、フロアリングスペクトルに基づいたノイズ低減処理の動作モードを選択するためのモード情報が記憶される。このモード情報を参照することにより、ノイズ成分を低減させるレベルを制限する下限値の設定方法を選択する。例えば、下限値の設定方法には２つの方法（モード）が定義されている。モード情報記憶部１６３に記憶されるモード情報は、上記の第１モードと第２モードとのうち、いずれのモードが選択されているかを示す情報である。
【００３０】
その第１モードにおいては、ノイズが含まれていると判定されたフレームと異なる時間に収音されノイズが含まれていないと判定されたフレームの周波数領域信号（フロアリングスペクトル）に基づいた下限値を設定する。
このような第１モードは、たとえば、時間の経過に応じたフロアリングスペクトルの変動が比較的少ない条件に適するモードである。
【００３１】
また、第２モードにおいては、当該フレームより先に処理されたフレームの処理において算出されたノイズ低減周波数領域信号に基づいた下限値を設定する。
このような第２のモードは、たとえば、時間の経過に応じたフロアリングスペクトルの変動が比較的多い条件に適するモードである。この第２のモードにおいては、時間経過に応じたフロアリングスペクトルの変動があった場合であっても、直前のフレームを処理した結果に応じて、上記の下限値を設定することができる。そのため、下限値を状態に応じて変更することが可能となり、歪の発生を低減することができる。
【００３２】
マイク２３０は、音を収音し、収音した音に応じた音信号に変換する。この音信号は、アナログ信号である。
【００３３】
Ａ／Ｄ変換部２４０は、マイク２３０によって変換されたアナログ信号である音信号を、デジタル信号である音信号に変換する。
周波数領域信号変換部（ＦＦＴ部）２４５は、Ａ／Ｄ変換部２４０によりデジタル信号に変換された音信号をフレームに分割し、分割した各フレームの音信号をフーリエ変換し、各フレームにおける音信号の周波数スペクトルを生成する。
また、周波数領域信号変換部２４５は、各フレームの音信号を周波数スペクトルに変換する場合、各フレームの音信号にハニングウィンドウなどの窓関数を乗じた後、周波数スペクトルに変換してもよい。また、周波数領域信号変換部２４５は、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）により、フーリエ変換してもよい。
【００３４】
信号処理部２５０は、Ａ／Ｄ変換部２４０によりデジタル信号に変換され、周波数領域信号変換部２４５により生成された音信号の周波数スペクトルに対して、たとえば、ノイズを低減するなどの音信号処理を実行し、この音信号処理した音信号を記憶媒体２００に記憶させる。なお、この信号処理部２５０は、ノイズを低減するなどの音信号処理を実行する場合、記憶部１５０のモード情報記憶部１６３に記憶されているモード情報に応じて、ノイズを低減するなどの音信号処理を実行する。また、信号処理部２５０は、Ａ／Ｄ変換部２４０によりデジタル信号に変換された音信号と、ノイズ低減処理された音信号とを切り替えて出力してもよい。この信号処理部２５０の詳細については、後述する。
【００３５】
なお、信号処理部２５０により音信号処理された音信号が記憶媒体２００に記憶される場合、撮像素子１１９により撮像された画像データと、時間的に関係付けられて記憶されてもよいし、音信号を含む動画として記憶されてもよい。
【００３６】
バッファメモリ部１３０は、撮像部１１０によって撮像された画像データや、信号処理部２５０により変換された音信号等を、一時的に記憶する。
【００３７】
通信部１７０は、カードメモリ等の取り外しが可能な記憶媒体２００と接続され、この記憶媒体２００への情報の書込み、読み出し、あるいは消去を行う。
【００３８】
記憶媒体２００は、撮像装置１００に対して着脱可能に接続される記憶部であって、たとえば、撮像部１１０によって生成された（撮影された）画像データや、信号処理部２５０により音信号処理された音信号を記憶する。
【００３９】
ＣＰＵ１９０は、撮像装置１００の全体を制御するが、一例としては、ズームエンコーダ１１５から入力されるズームポジション、及び、ＡＦエンコーダ１１７から入力されるフォーカスポジションと、操作部１８０から入力される操作入力に基づいて、ズームレンズ１１４及びＡＦレンズ１１２の位置を制御する駆動制御信号を生成する。ＣＰＵ１９０は、この駆動制御信号に基づいて、レンズ駆動部１１６を介してズームレンズ１１４及びＡＦレンズ１１２の位置を制御する。
【００４０】
また、このＣＰＵ１９０は、タイミング検出部１９１を備えている。このタイミング検出部１９１は、撮像装置１００が備えている動作部が動作するタイミングを検出する。
【００４１】
ここでいう動作部とは、一例としては、上述したズームレンズ１１４、ＶＲレンズ１１３、ＡＦレンズ１１２、または、操作部１８０のことであり、撮像装置１００が備えている構成のうち、動作することにより、または、動作されることにより、音が生じる（または、音が生じる可能性がある）構成である。
【００４２】
また、この動作部とは、撮像装置１００が備えている構成のうち、動作することにより生じた音、または、動作されることにより生じた音が、マイク２３０により収音される（または、収音される可能性のある）構成である。
【００４３】
このタイミング検出部１９１は、動作部を動作させる制御信号に基づいて、動作部が動作するタイミングを検出してもよい。この制御信号とは、動作部を動作させる動作部に対して、動作部を動作させるようにする制御信号、または、この動作部を駆動させる制御信号である。
【００４４】
たとえば、タイミング検出部１９１は、ズームレンズ１１４、ＶＲレンズ１１３、または、ＡＦレンズ１１２を駆動させるためにレンズ駆動部１１６または手振れ防止部１１８に入力される駆動制御信号に基づいて、または、ＣＰＵ１９０で生成される駆動制御信号に基づいて、動作部が動作するタイミングを検出してもよい。
また、ＣＰＵ１９０が駆動制御信号を生成する場合に、タイミング検出部１９１は、ＣＰＵ１９０内部で実行される処理やコマンドに基づいて、動作部が動作するタイミングを検出してもよい。
また、タイミング検出部１９１は、操作部１８０から入力されるズームレンズ１１４、または、ＡＦレンズ１１２を駆動させることを示す信号に基づいて、動作部が動作するタイミングを検出してもよい。
【００４５】
また、このタイミング検出部１９１は、動作部が動作されたことを示す信号に基づいて、動作部が動作するタイミングを検出してもよい。
【００４６】
たとえば、タイミング検出部１９１は、ズームエンコーダ１１５またはＡＦエンコーダ１１７の出力に基づいて、ズームレンズ１１４またはＡＦレンズ１１２が駆動されたことを検出することにより、動作部が動作するタイミングを検出してもよい。
また、タイミング検出部１９１は、手振れ防止部１１８からの出力に基づいて、ＶＲレンズ１１３が駆動されたことを検出することにより、動作部が動作するタイミングを検出してもよい。
また、このタイミング検出部１９１は、操作部１８０からの入力に基づいて、操作部１８０が操作されたことを検出することにより、動作部が動作するタイミングを検出してもよい。
【００４７】
そして、タイミング検出部１９１は、撮像装置１００が備えている動作部が動作するタイミングを検出し、この検出したタイミングを示す信号を、信号処理部２５０に出力する（後述する図２を参照）。
【００４８】
バス３００は、撮像部１１０と、ＣＰＵ１９０と、操作部１８０と、画像処理部１４０と、表示部１５０と、記憶部１６０と、バッファメモリ部１３０と、通信部１７０と、周波数領域信号変換部２４５と、信号処理部２５０とに接続され、各部から出力されたデータ等を転送する。
【００４９】
＜信号処理部２５０の詳細な構成＞
次に、図１の信号処理部２５０の詳細について、図２から図４を用いて説明する。図１の信号処理部２５０は、フロアリングスペクトル推定部２５１、ノイズ推定部２５２、判定部２５３、ノイズ低減処理部２５４、及び、置換部２５５を有している。
【００５０】
ここでは、図２のように信号処理部２５０に、タイミング検出部１９１からタイミングを示す信号が入力され、Ａ／Ｄ変換部２４０によりデジタル信号に変換された音信号が入力された場合について説明する。この図２において、上段から下段に向かって、（ａ）タイミング検出部１９１からタイミングを示す信号、すなわち、動作部が動作するタイミングを示す信号、（ｂ）時刻、（ｃ）フレーム番号、及び、（ｄ）Ａ／Ｄ変換部２４０から入力された音信号の波形が示されている。
【００５１】
この図２において、横軸は時間軸であり、縦軸は、たとえば、各信号の電圧、時刻、または、フレーム番号である。また、この図２（ｄ）に示されるように、たとえば、音声を収音した場合の音信号の場合、数十ミリ秒程度の短い時間内では、比較的に繰り返し信号が多い。
【００５２】
この図２の例においては、フレームと時刻との関係は、時刻ｔ０からｔ２までがフレーム番号４１に対応し、時刻ｔ１からｔ３までがフレーム番号４２に対応し、時刻ｔ２からｔ４までがフレーム番号４３に対応し、時刻ｔ３からｔ５までがフレーム番号４４に対応し、時刻ｔ４からｔ６までがフレーム番号４５に対応し、時刻ｔ５からｔ７までがフレーム番号４６に対応し、時刻ｔ６以降がフレーム番号４７に対応している。なお、各フレームの時間長は同じものとする。
【００５３】
また、この図２の例においては、時刻ｔ４より後であり、かつ、時刻ｔ５の前において、（ａ）タイミング検出部１９１からタイミングを示す信号が、ロウレベルからハイレベルに遷移している（図２の符号Ｏ参照）。なお、ここでは、ロウレベルは動作部が動作していないことを示し、ハイレベルは動作部が動作していることを示すものとする。このように、この図２の例においては、時刻ｔ４より後であり、かつ、時刻ｔ５の前において、動作部が動作しない状態から動作する状態へと遷移している。
【００５４】
そして、このような動作部の動作に応じて、（ｄ）Ａ／Ｄ変換部２４０によって変換された音信号の波形に、フレーム番号４４及び４５の途中以降から、ノイズが重畳している。ここで、各フレームとノイズ発生区間との関係について着目すると、フレーム番号４４及び４５の途中で検出信号が立ち上がっていることからフレーム番号４４以降（４４、４５、４６，４７…）においてノイズが収音されている。また、フレーム番号４６以降（４６，４７…）においては、フレームの全区間においてノイズが収音されている。一方、フレーム番号４３以前（４３，４２，４１…）にはノイズが全く収音されていない。
【００５５】
ここで、周波数領域信号変換部２４５は、Ａ／Ｄ変換部２４０によりデジタル信号に変換された音信号をフレームに分割し、分割した各フレームの音信号をフーリエ変換し、各フレームにおける音信号の周波数スペクトルを生成する。
また、信号処理部２５０が、後述するように、フレーム毎の音信号の周波数スペクトルに対して、ノイズ低減処理を実行する。
そして、その後、信号処理部２５０が、ノイズ低減処理した各フレームの周波数スペクトルを、逆フーリエ変換して、記憶媒体２００に記憶させるものとして説明する。
【００５６】
フロアリングスペクトル推定部２５１は、タイミング検出部１９１により検出された動作部が動作するタイミングに基づいて、Ａ／Ｄ変換部２４０によりデジタル信号に変換された音信号から、フロアリングスペクトルを推定する。そして、フロアリングスペクトル推定部２５１は、推定したフロアリングスペクトルを、フロアリングスペクトル記憶部１６１に記憶させる。
【００５７】
たとえば、フロアリングスペクトル推定部２５１は、タイミング検出部１９１により検出された動作部が動作するタイミングに基づいて、動作部が動作するタイミングを含まない直前のフレームにおける音信号の周波数スペクトルを、フロアリングスペクトルとして推定する。図２の場合、フロアリングスペクトル推定部２５１は、フレーム番号４３における音信号の周波数スペクトルをフロアリングスペクトルとして推定する。そして、フロアリングスペクトル推定部２５１は、このフレーム番号４３における音信号の周波数スペクトルをフロアリングスペクトルとして、フロアリングスペクトル記憶部１６１に記憶させる。
【００５８】
以降、フレーム番号４３における音信号の周波数スペクトル（＝Ｓ４３）をフロアリングスペクトルＦＳと称して説明する。また、フロアリングスペクトルＦＳの、各周波数ビン（各周波数領域）の強度を、低周波数から高周波数へ順にＦ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５と称して説明する（図３（ａ）参照）。なお、周波数ビンの数は、ノイズ低減処理において必要とされる周波数スペクトルの解像度に応じて設定することができる。
【００５９】
ノイズ推定部２５２は、タイミング検出部１９１により検出された動作部が動作するタイミングに基づいて、Ａ／Ｄ変換部２４０によりデジタル信号に変換された音信号から、ノイズを推定する。そして、ノイズ推定部２５２は、推定したノイズを、ノイズ記憶部１６２に記憶させる。
【００６０】
たとえば、ノイズ推定部２５２は、動作部が動作するとして検出されたタイミング情報に基づいて、動作部が動作を開始したタイミングの直後のフレーム（かつ、フレームの全ての期間に渡って動作部が動作しているフレーム）における音信号の周波数スペクトルと、動作部が動作を開始するタイミングの直前のフレーム（かつ、フレームの全ての期間に渡って動作部が動作していないフレーム）における音信号の周波数スペクトルとの差を、ノイズの周波数スペクトルとして推定する。
【００６１】
図２の場合、ノイズ推定部２５２は、フレーム番号４６における音信号の周波数スペクトルＳ４６（図３（ｂ）参照）から、フレーム番号４３における音信号の周波数スペクトル（すなわちフロアリングスペクトルＦＳ）（図３（ａ）参照）を、周波数ビン毎に減算する。
【００６２】
なお、フレーム番号４６における音信号の周波数スペクトルを、周波数スペクトルＳ４６（図３（ｂ）参照）と称して説明する。また、周波数スペクトルＳ４６の、各周波数ビンの強度を、低周波数から高周波数へ順にＢ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５と称して説明する（図３（ｂ）参照）。
【００６３】
そして、ノイズ推定部２５２は、減算により算出した周波数スペクトルを、ノイズの周波数スペクトルとして推定する（図３（ｄ）参照）。そして、ノイズ推定部２５２は、推定したノイズを、ノイズ記憶部１６２に記憶させる。
【００６４】
以降、ノイズ推定部２５２により推定されたノイズの周波数スペクトルを、ノイズＮＳと称して説明する。また、ノイズＮＳの、各周波数ビンの強度を、低周波数から高周波数へ順にＮ１、Ｎ２、Ｎ３、Ｎ４、Ｎ５と称して説明する(図３（ｄ）参照）。
【００６５】
なお、このようにして得られたノイズの周波数スペクトル（ノイズＮＳ）を、ノイズが含まれるフレーム（たとえば、フレーム番号４４、４５、４６、４７…）の周波数スペクトルより減算し、減算した結果を時間領域に変換することにより、ノイズが含まれるフレームにおけるノイズを低減（除去）することができる。
【００６６】
すなわち、信号処理部２５０は、ノイズの周波数スペクトルに基づいて、音信号にスペクトル減算（Spectral Subtraction）処理することにより、音信号のノイズを低減させる。
このスペクトル減算処理とは、まず、音信号をフーリエ変換により周波数領域に変換し、周波数領域でノイズを減じた後、逆フーリエ変換することにより、音信号のノイズを低減させる方法である。
なお、信号処理部２５０は、逆高速フーリエ変換（ＩＦＦＴ：Inverse Fast Fourier Transform）により、逆フーリエ変換してもよい。
【００６７】
図１の説明に戻り、信号処理部２５０が備えている各構成について説明する。ここでは、図２及び図３を用いて説明したフロアリングスペクトル（ＦＳ）が、フロアリングスペクトル推定部２５１により推定されているものとして、または、フロアリングスペクトル記憶部１６１に予め記憶されているものとする。また、ノイズが、ノイズ推定部２５２により推定されているものとして、または、ノイズ記憶部１６２に予め記憶されているものとして説明する。
【００６８】
また、以下に示すようなノイズ低減処理を行うことができる。
たとえば、収音する目的音が音声信号の場合など、数十ミリ秒程度の短い時間内では、図２に示すように繰り返し信号が比較的多くなる。収音中にカメラを操作した場合、カメラの操作に応じた駆動音が（たとえば、ＡＦ駆動音）が発生する。この駆動音は、カメラの操作に同期して発生することから、カメラにおいては駆動音の発生を事前に予測することができる。
図２に示した場合のフレームとノイズ発生区間の関係について着目すると、フレーム番号４４の終了間際に、駆動信号が立ち上がっていることからフレーム番号４４以降においてノイズが収音されていると判断できる。また、フレーム番号４３以前においてはノイズが収音されておらず、フレーム番号４６においては全区間においてノイズが収音されていることがわかる。
【００６９】
上記に示したように、発生するノイズのスペクトルが予めノイズ記憶部１６２に記憶されており、ノイズが収音されているフレームの周波数スペクトルＳ４６から、重畳して検出されるノイズＮＳの周波数スペクトルを減算することによりノイズ低減処理を行うことが可能となる。
【００７０】
ただし、ノイズＮＳの周波数スペクトルを減算する際に、所定の値以上に減算しすぎるとミュージカルノイズなどの好ましくないノイズが発生する場合がある。
このようなミュージカルノイズを発生させないために、減算後の値が０を下回って負の値になった場合に、減算後の周波数スペクトルに係数を乗じてフロアリングスペクトルを再設定する処理が考えられる。しかしながら、単に上記の方法によりフロアリングスペクトルを再設定する処理では、前述のミュージカルノイズなどを防止する点において良好な効果を得ることができない。そこで、本実施形態においては、以下に示すノイズ低減処理を行う。
【００７１】
以下、図４を参照して、本実施形態におけるノイズ低減処理について説明する。
図４は、本実施形態におけるノイズ低減処理を示す図である。
この図４に示される周波数スペクトルは、８個の周波数ビンを備えるものとする。また、図２、図３と同じ構成には、同じ符号を附す。
本実施形態におけるノイズ低減処理においては、ノイズが収音されているフレームの周波数スペクトルＳ４６から、重畳して検出されるノイズＮＳの周波数スペクトルを減算して得られる結果に下限値を設ける。この下限値の算出において、処理の異なる２つの動作モード（「第１モード」と「第２モード」）を選択することができる。まず、「第１モード」から説明する。
【００７２】
＜第１モードの説明＞
この図４（ａ）に示されている周波数スペクトルＳＡ（周波数領域信号）は、周波数領域信号変換部２４５によって変換された信号の周波数スペクトルであり、例えば、ノイズ成分を含むフレーム番号４４における周波数スペクトルＳ４４を示す。周波数スペクトルＳＡとして示される信号は、目的音にノイズが重畳した信号である。また、周波数スペクトルＳＡの、各周波数ビンの強度を、低周波数から高周波数へ順にＡ１、Ａ２、Ａ３、Ａ４、Ａ５、Ａ６、Ａ７、Ａ８と称して説明する。
前述の図２に示したように、フレーム番号４４は、フレームの期間の後縁に近いタイミングから期間の終了までノイズが重畳されている。ただし、ノイズ成分は、重畳されている期間が短い分、フレーム番号４６において検出される場合より小さな値として検出される。
【００７３】
図４（ｂ）に示されているノイズＮＳ（ノイズ周波数領域信号）は、たとえば、フレーム番号４６におけるノイズの周波数スペクトルを示す。また、ノイズＮＳの、各周波数ビンの強度を、低周波数から高周波数へ順にＮ１、Ｎ２、Ｎ３、Ｎ４、Ｎ５、Ｎ６、Ｎ７、Ｎ８と称して説明する。
例えば、ノイズ推定部２５２は、前述したようにノイズＮＳを周波数スペクトルＳ４６からフロアリングスペクトルＦＳを減算して得ることができる。
【００７４】
図４（ｃ）には、周波数スペクトルＳＣとフロアリングスペクトルＦＳとが示されている。
フロアリングスペクトルＦＳは、例えば、前述のようにノイズ成分を含まないフレーム番号４３における周波数スペクトルＳ４３を示す。また、フロアリングスペクトルＦＳの、各周波数ビンの強度を、低周波数から高周波数へ順にＦ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５、Ｆ６、Ｆ７、Ｆ８と称して説明する。
また、周波数スペクトルＳＣにおいて、周波数スペクトルＳＡからノイズＮＳを減算した結果の周波数ビンの強度を、低周波数から高周波数へ順にＣ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６、Ｃ７、Ｃ８と称して説明する。
ここで、ノイズ低減処理部２５４は、それぞれの周波数ビンの強度を、以下の関係式に基づいて算出する。その関係式は、低周波数から高周波数へ順並び順に、Ｃ１＝Ａ１−Ｎ１、Ｃ２＝Ａ２−Ｎ２、Ｃ３＝Ａ３−Ｎ３、Ｃ４＝Ａ４−Ｎ４、Ｃ５＝Ａ５−Ｎ５、Ｃ６＝Ａ６−Ｎ６、Ｃ７＝Ａ７−Ｎ７、Ｃ８＝Ａ８−Ｎ８として示される。
【００７５】
周波数スペクトルＳＡからノイズＮＳを単に減算した場合には、フロアリングスペクトルＦＳより強度が低くなる周波数ビン（周波数領域）が発生する場合がある。周波数スペクトルＳＣにおける周波数ビンの強度が、フロアリングスペクトルＦＳの周波数ビンより低くなる周波数ビンが存在する場合、フロアリングスペクトルＦＳ（周波数領域信号Ｓ４３）よりレベルが低くなる周波数領域が発生することがわかる。
【００７６】
そこで、目的音の変化を考慮して、周波数スペクトルＳＣの下限値を設定する。周波数スペクトルＳＣの下限値は、フロアリングスペクトルＦＳに予め定められる係数ｋを乗じた値に設定する。
図４（ｃ）に示すように、周波数スペクトルＳＣにおける周波数ビンの強度の下限値を、低周波数から高周波数へ順にＬ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５、Ｌ６、Ｌ７、Ｌ８と称して説明する。
例えば、各周波数ビンに共通する係数ｋを定める。それぞれの周波数ビンにおける下限値の大きさは、以下の関係式により表すことができる。その関係式は、低周波数から高周波数へ順並び順に、Ｌ１＝Ｆ１×ｋ、Ｌ２＝Ｆ２×ｋ、Ｌ３＝Ｆ３×ｋ、Ｌ４＝Ｆ４×ｋ、Ｌ５＝Ｆ５×ｋ、Ｌ６＝Ｆ６×ｋ、Ｌ７＝Ｆ７×ｋ、Ｌ８＝Ｆ８×ｋとして示される。
【００７７】
判定部２５３は、入力された音信号に基づいた周波数スペクトルＳＣの周波数ビンの強度（Ｃ１からＣ８）を、フロアリングスペクトルＦＳに基づいた下限値（Ｌ１からＬ８）を基準にして周波数ビン毎に比較する。判定部２５３は、その比較の結果から、周波数スペクトルＳＣの周波数ビンの強度（Ｃ１からＣ８）を対応する下限値（Ｌ１からＬ８）に制限するか否かを周波数ビン毎に判定する。なお、ここでいう「入力された音信号に基づいた周波数スペクトルＳＣ」とは、Ａ／Ｄ変換部２４０によりデジタル信号に変換された音信号が、周波数領域信号変換部２４５によりフレームに分割され、更に、各フレームにおける音信号が周波数スペクトルにフーリエ変換されたものである。
【００７８】
判定結果により周波数スペクトルＳＣの周波数ビンの強度Ｃ１からＣ８が、当該周波数ビンに対応する下限値Ｌ１からＬ８を下回ったと判定部２５３によって判定された場合、置換部２５５が、当該周波数ビン（周波数領域）の強度の値を当該下限値に置換する。このように、置換部２５５が下限値Ｌ１からＬ８より小さい値を示す周波数スペクトルＳＣの周波数ビンの強度（Ｃ１からＣ８）を、対応する下限値Ｌ１からＬ８に置換することにより、周波数スペクトルのフロアリング処理を行う。
【００７９】
例えば、図４に示す場合では、左から５番目の周波数ビン（スペクトル成分）において、周波数スペクトルＳＣの周波数ビンの強度Ｃ５が下限値Ｌ５を下回る。このような場合、当該周波数ビンにおいては、置換部２５５により、周波数スペクトルＳＣの周波数ビンの強度Ｃ５の値が下限値Ｌ５に置換される。そして、置換された結果の周波数ビンの強度は、低周波数から高周波数へ順にＣ１、Ｃ２、Ｃ３、Ｃ４、Ｌ５、Ｃ６、Ｃ７、Ｃ８となる。
【００８０】
更に、フレーム番号４５以降においても、信号処理部２５０は、上記のフレーム番号４４における処理と同様の処理を続けることにより、フロアリングスペクトルＦＳに応じた下限値を設けてノイズ低減処理を続けて行うことができる。
続いて、「第２モード」について説明する。
【００８１】
＜第２モードの説明＞
第２モードでは、たとえば直前のフレームにおいてノイズ低減処理された結果に基づいて、次のフレームにおけるノイズ低減処理のためのフロアリング処理の下限値を定める。
たとえば、ノイズ低減処理部２５４は、前述のようにフレーム番号４４におけるノイズ低減処理を終えた段階で、次に行うフレーム番号４５のノイズ低減処理のための下限値を変更する。
ノイズ低減処理部２５４は、次に行うフレーム番号４５のノイズ低減処理のための下限値として、フレーム番号４４におけるノイズ低減処理結果である周波数スペクトル（周波数領域信号）に予め定められる係数ｋを乗じた結果を次のフレームを処理する際の下限値として設定する。
このように、ノイズ低減処理部２５４が直前のフレーム番号のノイズ低減処理結果に基づいた下限値を設定することにより、フレーム間に生じる差を低減することができる。これにより、良好なフロアリング処理が可能となる。
なお、ノイズ低減処理を実時間で処理する場合には、ノイズ低減処理部２５４は、たとえば、前述のようにフレーム番号４４におけるノイズ低減処理を終えた段階で、後に行うフレーム番号４６のノイズ低減処理のための下限値を変更してもよい。
【００８２】
なお、第１モードと第２モードとをフレームごとに切り替えて実施することとしてもよい。
たとえば、ノイズが発生することが検知された最初のフレームの処理においては、第１モードを適用し、次のフレーム以降の処理おいては、第２モードに変更してノイズ低減処理を続けてもよい。
【００８３】
以上に示したような下限値に基づいて、ノイズが収音されているフレームの周波数スペクトルＳ４６から、重畳して検出されるノイズＮＳの周波数スペクトルを減算して得られる結果を制限する。
たとえば、置換部２５５は、判定部２５３により判定された周波数ビン毎の結果に基づいて、ノイズ低減処理部２５４により減算された周波数スペクトルＳＣの周波数ビンのうち、下限値に置換する周波数ビンの強度を下限値に置き換えることにより、下限値に制限することができる。
【００８４】
その後、信号処理部２５０は、下限値が制限された周波数スペクトルＳＣを逆フーリエ変換し、ノイズを低減した音信号として、通信部１７０を介して記憶媒体２００に記録する。なお信号処理部２５０は、音信号を記憶媒体２００に記録する場合に、撮像素子１１９により撮像された画像データと、時間的に関係付けられるようにして記憶してもよい。
【００８５】
図４を用いて説明したように、信号処理部２５０は、目的音自体を変更しないようにしつつ、ノイズを低減させることができる。すなわち、図４を用いて説明したように、信号処理部２５０は、適切にノイズを低減することができる。
【００８６】
このように、以上に示した本実施形態の撮像装置１００において、周波数領域信号変換部２４５は、収音された音を、予め定められた時間間隔に分割されたフレームを単位として、該フレーム毎に複数の周波数領域に分割された周波数スペクトル（周波数領域信号）に変換する。
信号処理部２５０は、音の収音中にノイズが発生した時点を示すタイミング情報に従って、該ノイズが含まれていると判定されたフレームの周波数領域信号（周波数ビンの強度）、及び、該ノイズが含まれていると判定されたフレームの周波数領域信号に対応する周波数領域信号であって、ノイズに対応する周波数領域信号であるノイズ周波数領域信号（ノイズＮＳ）に基づいて、フレームの周波数領域信号から該ノイズを低減した周波数領域信号であるノイズ低減周波数領域信号を算出する。
【００８７】
また、信号処理部２５０は、ノイズが含まれていると判定されたフレームと異なる時間に収音されノイズが含まれていないと判定されたフレームの周波数領域信号に基づいた下限値、または、当該フレームより先に処理されたフレームの処理において算出されたノイズ低減周波数領域信号に基づいた下限値に制限する。
【００８８】
また、信号処理部２５０は、ノイズが含まれていると判定されたフレームの周波数領域信号からノイズ周波数領域信号を周波数領域毎に減算し、減算結果が下限値を下回る場合には、減算結果を下限値に置換する。
また、信号処理部２５０は、ノイズが含まれていないと判定されたフレームの周波数領域信号、または、前のフレームにおいて算出されたノイズ低減周波数領域信号に予め定められる係数を乗じた下限値に減算結果を置換する。
また、信号処理部２５０は、ノイズが含まれていると判定されたフレームより前の時間において、ノイズが発生していないと判定されたフレームの周波数領域信号に基づいて設定された下限値に減算結果を置換する。
また、ノイズ推定部２５１（推定ノイズ生成部）は、検出されたノイズからノイズ周波数領域信号を生成してもよい。
【００８９】
このような撮像装置１００は、収音された音に対して適切にノイズを低減することができる。
【００９０】
以下、図１から図４を参照し、この発明の異なる実施態様について説明する。
＜信号処理部２５０＞
上記の図２及び図３を用いた説明においては、フロアリングスペクトル推定部２５１は、フレーム番号４３における音信号の周波数スペクトルをフロアリングスペクトル（ＦＳ）として推定するものとして説明した。しかし、フロアリングスペクトル推定部２５１によるフロアリングスペクトルの推定方法は、これに限られるものではない。
【００９１】
たとえば、フロアリングスペクトル推定部２５１は、タイミング検出部１９１により検出された動作部が動作するタイミングに基づいて、動作部が動作するタイミングの前の複数のフレームにおける音信号を周波数スペクトルにそれぞれ変換する。更に、フロアリングスペクトル推定部２５１は、この複数の周波数スペクトルを、周波数ビン毎に平均した周波数スペクトルを、フロアリングスペクトル（ＦＳ）として推定してもよい。
【００９２】
また、フロアリングスペクトル推定部２５１は、周波数ビン毎に複数の周波数スペクトルを平均する場合、重みを付けて平均を算出してもよい。この重みの値は、フロアリング処理の対象とする音信号のフレーム（開始フレーム）から遠ざかるに従い、軽くなるようにしてもよい。
【００９３】
なお、フロアリングスペクトル推定部２５１は、フロアリングスペクトル（ＦＳ）を推定する場合、少なくとも、直前に動作部が動作したタイミングよりも後のフレームに基づいて、フロアリングスペクトル（ＦＳ）を推定することが望ましい。これは、フロアリングスペクトル（ＦＳ）としては、動作部が動作していないフレームにおける音信号に対しての周波数スペクトルが望ましいからである。また、フロアリングスペクトル（ＦＳ）を生成する音信号のフレームが、フロアリング処理する対象となる音信号よりも、時間的に遠くなるに従い、この音信号に対してのフロアリングスペクトル（ＦＳ）としての適切さも低減するからである。
【００９４】
また、フロアリングスペクトル記憶部１６１に予めフロアリングスペクトル（ＦＳ）が記憶されていてもよい。たとえば、フロアリングスペクトル記憶部１６１には、撮影する場合の周囲の音の状況を示す環境情報、または、撮影モードを示す撮影モード情報と関連付けられて、それぞれの場合に応じたフロアリングスペクトル（ＦＳ）が予め記憶されていてもよい。そして、信号処理部２５０は、ユーザにより選択された環境情報または撮影モード情報に関連付けられているフロアリングスペクトル（ＦＳ）をフロアリングスペクトル記憶部１６１から読み出し、当該読み出したフロアリングスペクトル（ＦＳ）に基づいて、上記の図３と図４の説明において説明したノイズ低減処理を実行してもよい。
【００９５】
また、ノイズ低減処理を行う信号をバッファメモリ部１３０などに記憶させた場合には、発生していたノイズが消失した後の情報に基づいて、フロアリングスペクトル（ＦＳ）を算出することも可能となる。
このように、信号処理部２５０は、ノイズが含まれていると判定されたフレームより後の時間において、ノイズが発生していないと判定されたフレームの周波数スペクトル（周波数領域信号）に基づいた下限値を設定してもよい。
【００９６】
また、信号処理部２５０は、ノイズが含まれていると判定されたフレームと異なる時間に収音されノイズが含まれていないと判定された複数のフレームの周波数スペクトル（周波数領域信号）を平均した値に基づいた下限値を設定してもよい。
なお、この複数のフレームは、ノイズが含まれていないと判定されたフレームであればよく、ノイズが発生する前のフレームと、発生していたノイズが消失した後のフレームとを組み合わせて、それぞれの周波数スペクトルを平均してもよい。
また、信号処理部２５０は、ノイズが含まれていると判定されたフレームと異なる時間に収音されノイズが含まれていないと判定された複数のフレームから、前段に算出されたノイズ低減周波数領域信号を移動平均した値に基づいた下限値を設定してもよい。
【００９７】
上記に図１から図４を用いて説明したように、本実施形態による信号処理部２５０は、設定されたモード情報に応じて、音信号に対してのノイズ低減処理の方法を変更することができる。これにより、本実施形態による信号処理部２５０は、図４を用いて説明したように、音信号から適切にノイズを低減することができる。
【００９８】
また、本実施形態による信号処理部２５０の置換部２５５は、音質重視モードとノイズ低減重視モードとのいずれのモードの場合においても、ノイズ低減処理部２５４により周波数ビン毎に減算された周波数スペクトルと、フロアリングスペクトル（ＦＳ）とを周波数ビン毎に比較した結果に基づいて、ノイズ低減処理部２５４により周波数ビン毎に減算された周波数スペクトルを、下限値に制限された周波数ビンを周波数ビン毎に置き換えている。
【００９９】
なお、単に、音信号からノイズを減算した場合にはミュージカルノイズが生じる可能性がある。これに対して、上記に説明したように、信号処理部２５０の置換部２５５は、音信号からノイズを減算した後に、周波数スペクトルの下限値との比較結果に基づいて、いわゆるフロアリング処理を行っている。よって、信号処理部２５０の置換部２５５は、ミュージカルノイズが生じる可能性を低減することができる。
【０１００】
また、信号処理部２５０の置換部２５５は、単にフロアリング処理を行っているのみではなく、設定された動作モードに応じたフロアリング処理を行っている。これにより、音質重視、または、ノイズ低減重視であることを満たしつつ、更に、それぞれの場合に好適に、ミュージカルノイズが生じる可能性を低減することができる。
【０１０１】
また、ノイズ低減処理部２５４は、単に、入力された音信号の周波数スペクトルに対して、ノイズの周波数スペクトルを周波数ビン毎に減算するのではなく、判定部２５３により判定された周波数ビン毎の結果に基づいて、入力された音信号の周波数スペクトルに対して、ノイズの周波数スペクトルを周波数ビン毎に減算する。これにより、ノイズ低減処理部２５４は、入力された音信号から、適切に、ノイズを低減することができる。
【０１０２】
＜図２のフレーム番号４７以降に対しての処理について＞
上記の図３から図４の説明においては、信号処理部２５０が、フレーム番号４６の音信号に対して、ノイズ低減処理する場合について説明した。この信号処理部２５０は、フレーム番号４６の音信号の場合と同様に、フレーム番号４６よりも後の音信号であるフレーム番号４７以降の音信号に対しても、ノイズ低減処理することができる。
【０１０３】
＜ノイズの推定について＞
また、上記の図２及び図３を用いた説明においては、ノイズ推定部２５２は、フレーム番号４６における音信号の周波数スペクトルＳ４６（図３（ｂ）参照）から、フレーム番号４３における音信号の周波数スペクトル（すなわちフロアリングスペクトルＦＳ）（図３（ａ）参照）を、周波数ビン毎に減算して、ノイズの周波数スペクトルを推定するものとして説明した。しかし、ノイズ推定部２５２が、ノイズの周波数スペクトルを推定する方法は、これに限られるものではない。
【０１０４】
まず、ノイズ推定部２５２は、フレーム番号４３における音信号の周波数スペクトルであるフロアリングスペクトルＦＳに替えて、上記に説明したフロアリングスペクトル推定部２５１によりフロアリングスペクトルＦＳを推定する場合の任意の方法により、フロアリングスペクトルＦＳを推定することができる。
【０１０５】
また、ノイズ推定部２５２は、フレーム番号４６における音信号の周波数スペクトルＳ４６に替えて、タイミング検出部１９１により検出された動作部が動作するタイミングに基づいて、動作部が動作しているタイミングにおける複数のフレームにおける音信号の周波数スペクトルを、周波数ビン毎に平均した周波数スペクトルを用いてもよい。たとえば、ノイズ推定部２５２は、フレーム番号４６における音信号の周波数スペクトルＳ４６に替えて、フレーム４６、４７という複数のフレームにおける音信号の周波数スペクトルを、周波数ビン毎に平均した周波数スペクトルを用いてもよい。
【０１０６】
また、ノイズ推定部２５２は、周波数ビン毎に複数の周波数スペクトルを平均する場合、重みを付けて平均を算出してもよい。この重みの値は、フロアリング処理の対象とする音信号のフレーム（開始フレーム）から遠ざかるに従い、軽くなるようにしてもよい。また、フロアリングスペクトル（ＦＳ）の場合と同様に、ノイズの周波数スペクトルが、ノイズ記憶部１６２に予め記憶されていてもよい。
【０１０７】
＜図２におけるフレームについて＞
また、図２の説明においては、各フレーム間にはオーバーラップがあるものとして説明した。しかし、これに限られるものではなく、各フレーム間にはオーバーラップがなくてもよい。たとえば、互いに隣接するフレームは、フレーム毎に独立するように期間を設定してもよい。
【０１０８】
なお、上記の図２の説明においては、（ａ）タイミング検出部１９１からタイミングを示す信号、すなわち、動作部が動作するタイミングを示す信号とは無関係に、音信号がフレームに分割されている場合について説明した（図２（ｃ）参照）。
【０１０９】
しかしこれに限るものではなく、信号処理部２５０は、（ａ）タイミング検出部１９１からタイミングを示す信号、すなわち、動作部が動作するタイミングを示す信号に応じてフレームを分割する位置を制御してもよい。たとえば、信号処理部２５０は、（ａ）タイミング検出部１９１からタイミングを示す信号、すなわち、動作部が動作するタイミングを示す信号がロウレベルからハイレベルに変化するタイミング（図２の符号Ｏ参照）と、音信号のフレームの境界とが一致するように、音信号に対してフレームを生成してもよい。
【０１１０】
そして、信号処理部２５０は、動作部が動作するタイミングを示す信号に応じて、動作部が動作する前の期間と、動作部が動作している期間とに基づいて、上述したノイズ低減処理を実行してもよい。
【０１１１】
なお、上記の説明においては、信号処理部２５０が、マイク２３０により収音された音信号に対して信号処理する場合について説明したが、本実施形態による上述した信号処理部２５０の処理は、このようにリアルタイムに収音された音信号に対してのみ適用されるものではない。
【０１１２】
たとえば、すでに録音されている音信号に対しても、この音信号と関連付けて、この音信号を録音した装置が備えている動作部が動作することを示すタイミングが、たとえば、記憶媒体２００などの記憶部に記録されている場合にも、本実施形態による信号処理部２５０は、上述した信号処理を同様に、実行することができる。
【０１１３】
なお、上記の説明においては、音信号の重畳するノイズとして、主に光学系４００が駆動することにより生じる音について説明したが、ノイズはこれに限るものではない。たとえば、操作部１８０に備えられているボタンなどを押下した場合に生じる音の場合も、同様である。この場合も、操作部１８０に備えられているボタンなどが押下されたことに応じた信号が、ＣＰＵ１９０のタイミング検出部１９１に入力される。よって、タイミング検出部１９１は、光学系４００が駆動する場合と同様に、操作部１８０などの動作タイミングを検出することができる。
【０１１４】
また、上記の説明においては、撮像装置１００が信号処理部２５０を備えている場合について説明したが、信号処理部２５０は、録音装置、携帯電話または通信端末に備えられていてもよい。
【０１１５】
なお、図１における信号処理部２５０、または、この信号処理部２５０が備える各部は、専用のハードウェアにより実現されるものであってもよく、また、メモリ及びマイクロプロセッサにより実現させるものであってもよい。
【０１１６】
なお、この信号処理部２５０、または、この信号処理部２５０が備える各部は、専用のハードウェアにより実現されるものであってもよく、また、この信号処理部２５０、または、この信号処理部２５０が備える各部はメモリ及びＣＰＵ（中央演算装置）により構成され、信号処理部２５０、または、この信号処理部２５０が備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
【０１１７】
また、図１における信号処理部２５０、または、この信号処理部２５０が備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、信号処理部２５０、または、この信号処理部２５０が備える各部による処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【０１１８】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、更に前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【０１１９】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【０１２０】
１００…撮像装置、２５０…信号処理部
【特許請求の範囲】
【請求項１】
収音された音を、予め定められた時間間隔に分割されたフレームを単位として、該フレーム毎に複数の周波数領域に分割された周波数領域信号に変換する周波数領域信号変換部と、
前記音の収音中にノイズが発生した時点を示すタイミング情報に従って、該ノイズが含まれていると判定された前記フレームの周波数領域信号、及び、該ノイズが含まれていると判定された前記フレームの周波数領域信号に対応する周波数領域信号であって、前記ノイズに対応する周波数領域信号であるノイズ周波数領域信号に基づいて、前記フレームの周波数領域信号から該ノイズを低減した周波数領域信号であるノイズ低減周波数領域信号を算出する信号処理部と
を備え、
前記信号処理部は、
前記ノイズが含まれていると判定された前記フレームと異なる時間に収音され前記ノイズが含まれていないと判定された前記フレームの周波数領域信号に基づいた前記下限値、または、当該フレームより先に処理されたフレームの処理において算出された前記ノイズ低減周波数領域信号に基づいた前記下限値に制限する
ことを特徴とする信号処理装置。
【請求項２】
前記信号処理部は、
前記ノイズが含まれていると判定された前記フレームの周波数領域信号から前記ノイズ周波数領域信号を前記周波数領域毎に減算し、前記減算結果が前記下限値を下回る場合には、前記減算結果を前記下限値に置換する
ことを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記信号処理部は、
前記ノイズが含まれていないと判定された前記フレームの周波数領域信号、または、前記前のフレームにおいて算出された前記ノイズ低減周波数領域信号に予め定められる係数を乗じた前記下限値に前記減算結果を置換する
ことを特徴とする請求項１または請求項２に記載の信号処理装置。
【請求項４】
前記信号処理部は、
前記ノイズが含まれていると判定された前記フレームより前の時間において、前記ノイズが発生していないと判定された前記フレームの周波数領域信号に基づいた前記下限値に前記減算結果を置換する
ことを特徴とする請求項１から請求項３のいずれか１項に記載の信号処理装置。
【請求項５】
前記信号処理部は、
前記ノイズが含まれていると判定された前記フレームより後の時間において、前記ノイズが発生していないと判定された前記フレームの周波数領域信号に基づいた前記下限値に前記減算結果を置換する
ことを特徴とする請求項１から請求項４のいずれか１項に記載の信号処理装置。
【請求項６】
前記信号処理部は、
前記ノイズが含まれていると判定された前記フレームと異なる時間に収音され前記ノイズが含まれていないと判定された複数の前記フレームの周波数領域信号を平均した値に基づいた前記下限値、または、前段に算出された前記ノイズ低減周波数領域信号を移動平均した値に基づいた前記下限値に前記減算結果を置換する
ことを特徴とする請求項１から請求項５のいずれか１項に記載の信号処理装置。
【請求項７】
検出された前記ノイズから前記ノイズ周波数領域信号を生成する推定ノイズ生成部
を備えることを特徴とする請求項１から請求項６のいずれか１項に記載の信号処理装置。
【請求項８】
収音された音を、定められた時間間隔に分割されたフレームを単位として、該フレーム毎に複数の周波数領域に分割された周波数領域信号に変換する周波数領域信号変換部と、
前記音の収音中にノイズが発生した時点を示すタイミング情報に従って、該ノイズが含まれていると判定された前記フレームの周波数領域信号、及び、該ノイズが含まれていると判定された前記フレームの周波数領域信号に対応する周波数領域信号であって、前記ノイズに対応する周波数領域信号であるノイズ周波数領域信号に基づいて、前記フレームの周波数領域信号から該ノイズを低減した周波数領域信号であるノイズ低減周波数領域信号を算出する信号処理部と、
画像を撮像する際に駆動部を駆動させるように制御するとともに、前記信号処理部に前記タイミング信号を供給する制御部と
を備え、
前記信号処理部は、
前記ノイズが含まれていると判定された前記フレームと異なる時間に収音され前記ノイズが含まれていないと判定された前記フレームの周波数領域信号に基づいた前記下限値、または、当該フレームより先に処理されたフレームの処理において算出された前記ノイズ低減周波数領域信号に基づいた前記下限値に制限する
ことを特徴とする撮像装置。
【請求項９】
信号処理装置が備えるコンピュータに、
収音された音を、定められた時間間隔に分割されたフレームを単位として、該フレーム毎に複数の周波数領域に分割された周波数領域信号に変換する周波数領域信号変換部と、
前記音の収音中にノイズが発生した時点を示すタイミング情報に従って、該ノイズが含まれていると判定された前記フレームの周波数領域信号、及び、該ノイズが含まれていると判定された前記フレームの周波数領域信号に対応する周波数領域信号であって、前記ノイズに対応する周波数領域信号であるノイズ周波数領域信号に基づいて、前記フレームの周波数領域信号から該ノイズを低減した周波数領域信号であるノイズ低減周波数領域信号を算出する信号処理部と
して機能させ、
前記信号処理部は、
前記ノイズが含まれていると判定された前記フレームと異なる時間に収音され前記ノイズが含まれていないと判定された前記フレームの周波数領域信号に基づいた前記下限値、または、当該フレームより先に処理されたフレームの処理において算出された前記ノイズ低減周波数領域信号に基づいた前記下限値に制限する
ためのプログラム。
【請求項１】
収音された音を、予め定められた時間間隔に分割されたフレームを単位として、該フレーム毎に複数の周波数領域に分割された周波数領域信号に変換する周波数領域信号変換部と、
前記音の収音中にノイズが発生した時点を示すタイミング情報に従って、該ノイズが含まれていると判定された前記フレームの周波数領域信号、及び、該ノイズが含まれていると判定された前記フレームの周波数領域信号に対応する周波数領域信号であって、前記ノイズに対応する周波数領域信号であるノイズ周波数領域信号に基づいて、前記フレームの周波数領域信号から該ノイズを低減した周波数領域信号であるノイズ低減周波数領域信号を算出する信号処理部と
を備え、
前記信号処理部は、
前記ノイズが含まれていると判定された前記フレームと異なる時間に収音され前記ノイズが含まれていないと判定された前記フレームの周波数領域信号に基づいた前記下限値、または、当該フレームより先に処理されたフレームの処理において算出された前記ノイズ低減周波数領域信号に基づいた前記下限値に制限する
ことを特徴とする信号処理装置。
【請求項２】
前記信号処理部は、
前記ノイズが含まれていると判定された前記フレームの周波数領域信号から前記ノイズ周波数領域信号を前記周波数領域毎に減算し、前記減算結果が前記下限値を下回る場合には、前記減算結果を前記下限値に置換する
ことを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記信号処理部は、
前記ノイズが含まれていないと判定された前記フレームの周波数領域信号、または、前記前のフレームにおいて算出された前記ノイズ低減周波数領域信号に予め定められる係数を乗じた前記下限値に前記減算結果を置換する
ことを特徴とする請求項１または請求項２に記載の信号処理装置。
【請求項４】
前記信号処理部は、
前記ノイズが含まれていると判定された前記フレームより前の時間において、前記ノイズが発生していないと判定された前記フレームの周波数領域信号に基づいた前記下限値に前記減算結果を置換する
ことを特徴とする請求項１から請求項３のいずれか１項に記載の信号処理装置。
【請求項５】
前記信号処理部は、
前記ノイズが含まれていると判定された前記フレームより後の時間において、前記ノイズが発生していないと判定された前記フレームの周波数領域信号に基づいた前記下限値に前記減算結果を置換する
ことを特徴とする請求項１から請求項４のいずれか１項に記載の信号処理装置。
【請求項６】
前記信号処理部は、
前記ノイズが含まれていると判定された前記フレームと異なる時間に収音され前記ノイズが含まれていないと判定された複数の前記フレームの周波数領域信号を平均した値に基づいた前記下限値、または、前段に算出された前記ノイズ低減周波数領域信号を移動平均した値に基づいた前記下限値に前記減算結果を置換する
ことを特徴とする請求項１から請求項５のいずれか１項に記載の信号処理装置。
【請求項７】
検出された前記ノイズから前記ノイズ周波数領域信号を生成する推定ノイズ生成部
を備えることを特徴とする請求項１から請求項６のいずれか１項に記載の信号処理装置。
【請求項８】
収音された音を、定められた時間間隔に分割されたフレームを単位として、該フレーム毎に複数の周波数領域に分割された周波数領域信号に変換する周波数領域信号変換部と、
前記音の収音中にノイズが発生した時点を示すタイミング情報に従って、該ノイズが含まれていると判定された前記フレームの周波数領域信号、及び、該ノイズが含まれていると判定された前記フレームの周波数領域信号に対応する周波数領域信号であって、前記ノイズに対応する周波数領域信号であるノイズ周波数領域信号に基づいて、前記フレームの周波数領域信号から該ノイズを低減した周波数領域信号であるノイズ低減周波数領域信号を算出する信号処理部と、
画像を撮像する際に駆動部を駆動させるように制御するとともに、前記信号処理部に前記タイミング信号を供給する制御部と
を備え、
前記信号処理部は、
前記ノイズが含まれていると判定された前記フレームと異なる時間に収音され前記ノイズが含まれていないと判定された前記フレームの周波数領域信号に基づいた前記下限値、または、当該フレームより先に処理されたフレームの処理において算出された前記ノイズ低減周波数領域信号に基づいた前記下限値に制限する
ことを特徴とする撮像装置。
【請求項９】
信号処理装置が備えるコンピュータに、
収音された音を、定められた時間間隔に分割されたフレームを単位として、該フレーム毎に複数の周波数領域に分割された周波数領域信号に変換する周波数領域信号変換部と、
前記音の収音中にノイズが発生した時点を示すタイミング情報に従って、該ノイズが含まれていると判定された前記フレームの周波数領域信号、及び、該ノイズが含まれていると判定された前記フレームの周波数領域信号に対応する周波数領域信号であって、前記ノイズに対応する周波数領域信号であるノイズ周波数領域信号に基づいて、前記フレームの周波数領域信号から該ノイズを低減した周波数領域信号であるノイズ低減周波数領域信号を算出する信号処理部と
して機能させ、
前記信号処理部は、
前記ノイズが含まれていると判定された前記フレームと異なる時間に収音され前記ノイズが含まれていないと判定された前記フレームの周波数領域信号に基づいた前記下限値、または、当該フレームより先に処理されたフレームの処理において算出された前記ノイズ低減周波数領域信号に基づいた前記下限値に制限する
ためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１２−１８５４４５（Ｐ２０１２−１８５４４５Ａ）
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願番号】特願２０１１−５０１８３（Ｐ２０１１−５０１８３）
【出願日】平成２３年３月８日（２０１１．３．８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願日】平成２３年３月８日（２０１１．３．８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
[ Back to top ]