信号処理装置、撮像装置、及びプログラム
【課題】撮像された画像に関連付けられている音信号のノイズを適切に低減することができる信号処理装置を提供する。
【解決手段】信号処理装置は、撮像装置により撮像された画像に関連付けられている音信号に対して、画像が動画である場合と静止画である場合とに応じて、それぞれに応じたノイズ低減処理をする処理部、を備える。
【解決手段】信号処理装置は、撮像装置により撮像された画像に関連付けられている音信号に対して、画像が動画である場合と静止画である場合とに応じて、それぞれに応じたノイズ低減処理をする処理部、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置、撮像装置、及びプログラムに関する。
【背景技術】
【０００２】
従来、動画を撮像する撮像装置において発生するズーム駆動音またはフォーカス駆動音等のノイズを信号処理により低減する技術がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２１１４３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、動画及び静止画の両方を撮像可能な撮像装置において、静止画を撮像する際、動画を撮像する際と同様の信号処理によりノイズを低減すると、適切にノイズを低減することができないことがあった。
【０００５】
本発明は、このような事情に鑑みてなされたもので、その目的は、撮像された画像に関連付けられている音信号のノイズを適切に低減することができる信号処理装置、撮像装置、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
この発明は上述した課題を解決するためになされたもので、本発明は、撮像装置により撮像された画像に関連付けられている音信号に対して、前記画像が動画である場合と静止画である場合とに応じて、それぞれに応じたノイズ低減処理をする処理部、を備えることを特徴とする信号処理装置である。
【０００７】
また、本発明は、上述の信号処理装置、を備えることを特徴とする撮像装置である。
【０００８】
また、本発明は、信号処理装置としてのコンピュータに、撮像装置により撮像された画像に関連付けられている音信号に対して、前記画像が動画である場合と静止画である場合とに応じて、それぞれに応じたノイズ低減処理、を実行させるためのプログラムである。
【発明の効果】
【０００９】
この発明によれば、撮像された画像に関連付けられている音信号のノイズを適切に低減することができる。
【図面の簡単な説明】
【００１０】
【図１】この発明の第１実施形態による信号処理装置を備える撮像装置の構成を示す概略ブロック図である。
【図２】第１実施形態における音信号処理部の構成の一例を示す概略ブロック図である。
【図３】第１実施形態におけるノイズ低減処理の一例を示すフローチャートである。
【図４】第２実施形態における音信号処理部の構成の一例を示す概略ブロック図である。
【図５】第３実施形態における音信号処理部の構成の一例を示す概略ブロック図である。
【図６】第５実施形態における音信号処理部の構成の一例を示す概略ブロック図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、本発明の実施の形態について説明する。
＜第１実施形態＞
図１は、この発明の第１実施形態による信号処理装置を備える撮像装置１００の構成を示す概略ブロック図である。
この図１に示すとおり、第１実施形態に係る撮像装置１００は、撮像部１１０と、ＣＰＵ（Central processing unit）１９０と、操作部１８０、画像処理部１４０と、表示部１５０と、記憶部１６０と、バッファメモリ部１３０と、通信部１７０と、マイク２３０と、Ａ／Ｄ（Analog/Digital）変換部２４０と、音信号処理部（処理部）２５０と、バス３００と、を備えている。この撮像装置１００が備える構成のうち、例えば、音信号処理部２５０が信号処理装置に対応する。
【００１２】
撮像部１１０は、光学系１１１と、ミラー部１１９と、撮像素子１２０と、Ａ／Ｄ変換部１２１とを含み、設定された撮像条件（例えば絞り値、露出値等）に従ってＣＰＵ１９０により制御され、光学系１１１による光学像を撮像素子１２０に結像させて、Ａ／Ｄ変換部１２１によってデジタル信号に変換された当該光学像に基づく画像データを生成する。
【００１３】
光学系１１１は、ズームレンズ１１４と、手振れ防止用レンズ（以下、ＶＲ（Vibration Reduction）レンズという）１１３と、焦点調整レンズ（以下、ＡＦ（Auto Focus）レンズという）１１２と、ズームエンコーダ１１５と、レンズ駆動部１１６と、ＡＦエンコーダ１１７と、手振れ防止部１１８と、を備える。
【００１４】
この光学系１１１は、ズームレンズ１１４、ＶＲレンズ１１３、および、ＡＦレンズ１１２を通過した光学像を撮像素子１２０の受光面に導く。
【００１５】
レンズ駆動部１１６は、後述するＣＰＵ１９０から入力される駆動制御信号に基づいて、ズームレンズ１１４またはＡＦエンコーダ１１７の位置を制御する。
【００１６】
手振れ防止部１１８は、後述するＣＰＵ１９０から入力される駆動制御信号に基づいて、ＶＲレンズ１１３の位置を制御する。この手振れ防止部１１８は、ＶＲレンズ１１３の位置を検出していてもよい。
【００１７】
ズームエンコーダ１１５は、ズームレンズ１１４の位置を表わすズームポジションを検出し、検出したズームポジションをＣＰＵ１９０に出力する。
【００１８】
ＡＦエンコーダ１１７は、ＡＦレンズ１１２の位置を表わすフォーカスポジションを検出し、検出したフォーカスポジションをＣＰＵ１９０に出力する。
【００１９】
なお、上述した光学系１１１は、撮像装置１００に取り付けられて一体とされていてもよいし、撮像装置１００に着脱可能に取り付けられてもよい。
【００２０】
ミラー部１１９は、光学像を撮像素子１２０の受光面に導くか、または光学ファインダー（不図示）に導くかを切替えるための反射ミラーと、当該反射ミラーの切替え動作を駆動するミラー駆動部とを有している。例えば、ミラー部１１９の反射ミラーは、静止画撮像の操作入力に応じて静止画が撮像されるタイミングで切替わる。
【００２１】
撮像素子１２０は、例えば、受光面に結像した光学像を電気信号に変換して、Ａ／Ｄ変換部１２１に出力する。
【００２２】
また、撮像素子１２０は、操作部１８０を介して撮像指示を受け付けた際に得られる画像データを、撮像された静止画の撮像画像データとして、Ａ／Ｄ変換部１２１や画像処理部１４０を介して、記憶媒体２００に記憶させる。
【００２３】
一方、撮像素子１２０は、例えば、操作部１８０を介して撮像指示を受け付けていない状態において、連続的に得られる画像データをスルー画データとして、Ａ／Ｄ変換部１２１や画像処理部１４０を介して、ＣＰＵ１９０および表示部１５０に出力する。
【００２４】
Ａ／Ｄ変換部１２１は、撮像素子１２０によって変換された電子信号をアナログ／デジタル変換し、この変換したデジタル信号である画像データを出力する。
【００２５】
操作部１８０は、例えば、電源スイッチやシャッターボタン、その他の操作キーを含み、ユーザによって操作されることでユーザの操作入力を受け付け、ＣＰＵ１９０に出力する。
【００２６】
画像処理部１４０は、記憶部１６０に記憶されている画像処理条件を参照して、バッファメモリ部１３０、または、記憶媒体２００に記録されている画像データに対して画像処理をする。
【００２７】
表示部１５０は、例えば液晶ディスプレイであって、撮像部１１０によって得られた画像データや、操作画面等を表示する。
【００２８】
記憶部１６０は、ＣＰＵ１９０によってシーン判定の際に参照される判定条件や、撮像条件等を記憶する。また、記憶部１６０には、後述する音信号処理部２５０における音信号に対するノイズ低減処理の処理パラメータが記憶されている。例えば、記憶部１６０には、画像形式が動画と静止画との何れの画像形式であるかを示す識別情報と関連付けて、当該画像形式におけるノイズ低減処理のそれぞれの処理パラメータ（動画用の処理パラメータおよび静止画用の処理パラメータ）が予め記憶されている。
【００２９】
マイク２３０は、音を収音し、収音した音に応じた音信号を出力する。この音信号は、アナログ信号である。
【００３０】
Ａ／Ｄ変換部２４０は、マイク２３０から入力されたアナログ信号である音信号を、デジタル信号である音信号に、アナログデジタル変換する。
【００３１】
音信号処理部２５０は、Ａ／Ｄ変換部２４０によりデジタル信号に変換された音信号に対して、例えば、ノイズを低減するなどの音信号処理を実行し、この音信号処理した音信号を記憶媒体２００に記憶させる。なお、この音信号処理部２５０は、ノイズを低減するなどの音信号処理を実行する場合、撮像された画像に関連付けられている音信号に対して、画像が動画である場合と静止画である場合とに応じて、それぞれに応じたノイズ低減処理をする。この音信号処理部２５０の詳細については、後述する。
【００３２】
なお、音信号処理部２５０により音信号処理された音信号が記憶媒体２００に記憶される場合、撮像素子１２０により撮像された画像データと関連付けられて記憶される。例えば、音信号処理された音信号は、撮像された画像データと時間的に関連付けられて記憶されてもよいし、音信号を含む動画として記憶されてもよい。また、撮像された画像データに、後から録音されて音信号処理された音信号（例えば、静止画に対して付加される音声メモとして、後から録音された音信号）が関連付けられて記憶されてもよい。
【００３３】
バッファメモリ部１３０は、撮像部１１０によって撮像された画像データや、音信号処理部２５０により変換された音信号等を、一時的に記憶する。
【００３４】
通信部１７０は、カードメモリ等の取り外しが可能な記憶媒体２００と接続され、この記憶媒体２００への情報の書込み、読み出し、あるいは消去を行う。
【００３５】
記憶媒体２００は、撮像装置１００に対して着脱可能に接続される記憶部であって、例えば、撮像部１１０によって生成された（撮像された）画像データや、音信号処理部２５０により音信号処理された音信号を記憶する。
【００３６】
ＣＰＵ１９０は、撮像装置全体を制御するが、一例としては、ズームエンコーダ１１５から入力されるズームポジション、および、ＡＦエンコーダ１１７から入力されるフォーカスポジションと、操作部１８０から入力される操作入力とに基づいて、ズームレンズ１１４およびＡＦレンズ１１２の位置を制御する駆動制御信号を生成する。ＣＰＵ１９０は、この駆動制御信号に基づいて、レンズ駆動部１１６を介してズームレンズ１１４およびＡＦレンズ１１２の位置を制御する。また、ＣＰＵ１９０は、操作部１８０から入力される静止画撮像のレリーズ操作入力に基づいて、例えば、ミラー部１１９の動作を制御する。
【００３７】
また、このＣＰＵ１９０は、タイミング検出部１９１を備えている。このタイミング検出部１９１は、撮像装置１００が備えている動作部が動作するタイミングを検出する。
【００３８】
ここでいう動作部とは、一例としては、上述したズームレンズ１１４、ＶＲレンズ１１３、ＡＦレンズ１１２、ミラー部１１９、または、操作部１８０のことであり、撮像装置１００が備えている構成のうち、動作することにより、または、動作されることにより、音が生じる（または、音が生じる可能性がある）構成である。これらの動作部が動作することにより、例えば、ズーム音、フォーカス音、ミラー音、または、シャッター音等が生じる。
【００３９】
また、この動作部とは、撮像装置１００が備えている構成のうち、動作することにより生じた音、または、動作されることにより生じた音が、マイク２３０により収音される（または、収音される可能性のある）構成である。
【００４０】
このタイミング検出部１９１は、動作部を動作させる制御信号に基づいて、動作部が動作するタイミングを検出してもよい。この制御信号とは、動作部を動作させる駆動部に対して、動作部を動作させるようにする制御信号、または、この駆動部を駆動させる制御信号である。ここでいう駆動部とは、一例としては、レンズ駆動部１１６、手振れ防止部１１８、または、ミラー部１１９の有するミラー駆動部のことである。
【００４１】
例えば、タイミング検出部１９１は、ズームレンズ１１４、ＶＲレンズ１１３、ＡＦレンズ１１２、またはミラー部１１９を駆動させるために、レンズ駆動部１１６、手振れ防止部１１８、またはミラー部１１９に入力される駆動制御信号に基づいて、または、ＣＰＵ１９０で生成される駆動制御信号に基づいて、動作部が動作するタイミングを検出してもよい。
また、ＣＰＵ１９０が駆動制御信号を生成する場合に、タイミング検出部１９１は、ＣＰＵ１９０内部で実行される処理やコマンドに基づいて、動作部が動作するタイミングを検出してもよい。
また、タイミング検出部１９１は、操作部１８０から入力されるズームレンズ１１４、または、ＡＦレンズ１１２を駆動させることを示す信号に基づいて、動作部が動作するタイミングを検出してもよい。
【００４２】
また、このタイミング検出部１９１は、動作部が動作されたことを示す信号に基づいて、動作部が動作するタイミングを検出してもよい。
【００４３】
例えば、タイミング検出部１９１は、ズームエンコーダ１１５またはＡＦエンコーダ１１７の出力に基づいて、ズームレンズ１１４またはＡＦレンズ１１２が駆動されたことを検出することにより、動作部が動作するタイミングを検出してもよい。
また、タイミング検出部１９１は、手振れ防止部１１８からの出力に基づいて、ＶＲレンズ１１３が駆動されたことを検出することにより、動作部が動作するタイミングを検出してもよい。
また、このタイミング検出部１９１は、操作部１８０からの入力に基づいて、操作部１８０が操作されたことを検出することにより、動作部が動作するタイミングを検出してもよい。
【００４４】
そして、タイミング検出部１９１は、撮像装置１００が備えている動作部が動作するタイミングを検出し、この検出したタイミングを示す信号を、音信号処理部２５０に出力する。
【００４５】
また、タイミング検出部１９１は、撮像装置１００において、動画または静止画が撮像されるタイミングを検出する。例えば、操作部１８０から入力される動画または静止画の撮像動作を示す信号に基づいて、画像形式が動画と静止画との何れの画像形式であるかと、動画の撮像タイミングまたは静止画の撮像タイミングとをそれぞれ検出する。なお、タイミング検出部１９１は、撮像された静止画に後から音声メモとして関連付けて記録される音信号の録音タイミングを、操作部１８０から入力される録音動作を示す信号に基づいて検出してもよい。そして、タイミング検出部１９１は、検出した画像形式を示す識別情報と撮像タイミングとを示す信号を、音信号処理部２５０に出力する。
【００４６】
バス３００は、撮像部１１０と、ＣＰＵ１９０と、操作部１８０と、画像処理部１４０と、表示部１５０と、記憶部１６０と、バッファメモリ部１３０と、通信部１７０とに接続され、各部から出力されたデータ等を転送する。
【００４７】
（音信号処理部２５０の概要）
次に、音信号処理部２５０の概要について説明する。
音信号処理部２５０は、撮像された画像に関連付けられている音信号に対して、画像が動画である場合と静止画である場合とに応じて、それぞれに応じたノイズ低減処理をする。例えば、音信号処理部２５０は、撮像装置１００において、動画が撮像される際の音信号に対しては、動画に関連付けて記録される音信号に適したノイズ低減処理をし、静止画が撮像される際の音信号に対しては、静止画に関連付けて記録される音信号に適したノイズ低減処理をする。
【００４８】
例えば、音信号処理部２５０は、撮像された画像が動画である場合、当該画像に関連付けられている音信号に対して、ノイズ低減前の音信号が示す原音を残すようなノイズ低減処理をする。ここで、ノイズ低減前の音信号が示す原音とは、動画の撮像中にマイク２３０により収音された音であって、より正確には収音された音のうちノイズ以外の音である。ノイズとは、例えば、上述した撮像装置１００の動作部が動作することにより生じる音（例えば、ズーム音、またはフォーカス音等）であって、本来動画に関連付けて記録される必要がない音（ノイズ）である。すなわち、音信号処理部２５０は、撮像された画像が動画である場合、当該画像に関連付けられている音信号に対してノイズの低減処理をする際に、その低減処理によってノイズ以外の音信号の音質が変化してしまうことや環境音が消去されてしまうようなことが少ないような（原音を残すような）ノイズ低減処理をする。
【００４９】
一方、音信号処理部２５０は、撮像された画像が静止画である場合、当該画像に関連付けられている音信号に対して、音声が聞き取りやすくなるようなノイズ低減処理をする。
ここで、静止画に関連付けられている音の記録目的としては、撮像時の情報や被写体の説明等を音声メモとして付加する目的がある。例えば、静止画に関連付けられている音とは、予め設定されている期間であって、静止画の撮像タイミングに対応した期間（例えば、レリーズ押下前後の１０秒間等）に検出された音である（撮像の際に検出された会話や音声）。また、静止画に関連付けられている音とは、静止画が撮像された後、予め設定された期間において検出された音（後から録音された音声）であってもよい。このような、音声の記録を目的とする場合は、記録された音声が聞き取りやすい（話の意味が伝わりやすく聞こえる）ことが優先され、音声以外の音は記録される必要がない音（ノイズ）である。そのため、音信号処理部２５０は、撮像された画像が静止画である場合、当該画像に関連付けられている音信号に対してノイズの低減処理をする際に、その低減処理によって音声以外の音信号（すなわち、ノイズ）の音質が変化してしまうことや環境音が消去されてしまうことは許容して音声が聞き取りやすいようなノイズ低減処理をする。
【００５０】
例えば、音信号処理部２５０は、撮像された画像が動画である場合と静止画である場合とに応じて、それぞれに応じたノイズ低減強度のノイズ低減処理をする。具体的には、音信号処理部２５０は、ノイズ低減処理として、撮像された画像に関連付けられている音信号に対して周波数帯域フィルタによるノイズ低減処理をし、画像が静止画である場合、動画である場合に対比して周波数帯域フィルタのノイズ低減強度が大きい処理をする。
【００５１】
（音信号処理部２５０の詳細な構成）
次に、音信号処理部２５０の構成の詳細について説明する。
図２は、音信号処理部２５０の構成の一例を示す概略ブロック図である。音信号処理部２５０は、処理選択部２５１と、ノイズ低減処理部２５２と、を備えている。処理選択部２５１は、タイミング検出部１９１から入力された画像形式が動画と静止画との何れの画像形式であるかを示す識別情報に基づいて、当該識別情報に関連付けてられているノイズ低減処理のそれぞれの処理パラメータ（動画用の処理パラメータおよび静止画用の処理パラメータ）を記憶部１６０から読み出す。そして、処理選択部２５１は、選択した処理パラメータをノイズ低減処理部２５２に出力する。
【００５２】
ノイズ低減処理部２５２は、フィルタ処理部２５３と、フィルタ処理設定部２５４と、を備えており、処理選択部２５１により選択された処理パラメータに基づいて、音信号に対してノイズ低減処理を実行する。
【００５３】
フィルタ処理部２５３は、入力された音信号に対して帯域制限（若しくは、帯域通過）させる周波数帯域フィルタを有している。例えば、フィルタ処理部２５３は、ローパスフィルタ、ハイパスフィルタ、バンドパスフィルタ、または、その組み合わせによるフィルタ等の周波数帯域フィルタを有している。また、この周波数帯域フィルタは、デジタル回路により構成されている。なお、フィルタ処理部２５３の周波数帯域フィルタは、Ａ／Ｄ変換部２４０によりデジタル信号に変換される前のアナログの音信号に対して処理する構成とした場合には、アナログ回路により構成されている周波数帯域フィルタとしてもよい。
【００５４】
フィルタ処理設定部２５４は、フィルタ処理部２５３の有している周波数帯域フィルタにおける処理パラメータを設定する。この処理パラメータとは、例えば、帯域制限させる周波数帯域（遮断周波数）を設定するためのパラメータ、または、帯域制限による音信号の減衰量（低減強度）を設定するためのパラメータ等である。また、この処理パラメータは、動画用の処理パラメータおよび静止画用の処理パラメータとして記憶部１６０に予め記憶されている。そして、フィルタ処理設定部２５４は、処理選択部２５１により記憶部１６０から読み出された処理パラメータをフィルタ処理部２５３に設定する。
【００５５】
例えば、静止画用の処理パラメータは、動画用の処理パラメータに対比して低減強度の大きい減衰量となる処理パラメータである。処理選択部２５１は、動画である場合と静止画である場合とに応じて選択した動画用の処理パラメータまたは静止画用の処理パラメータを、記憶部１６０から読み出してフィルタ処理設定部２５４に出力する。フィルタ処理設定部２５４は、処理選択部２５１から入力された動画用の処理パラメータまたは静止画用の処理パラメータをフィルタ処理部２５３に設定する。これにより、音信号処理部２５０は、入力された音信号に対して、画像が静止画である場合、動画である場合に対比して周波数帯域フィルタのノイズ低減強度が大きい処理をする。
【００５６】
なお、動画用の処理パラメータは、ズーム音またはフォーカス音等による音信号の周波数帯域を低減させるような遮断周波数と、ノイズ以外の音信号の音質が変化してしまうことや環境音が消去されてしまうようなことが少ないような減衰量（静止画用の処理パラメータより低減強度の小さい減衰量）とが、処理パラメータとして設定されていてもよい。一方、静止画用の処理パラメータは、音声以外の音信号の周波数帯域を低減させるような遮断周波数と、動画用の処理パラメータより低減強度の大きい減衰量とが、処理パラメータとして設定されていてもよい。
【００５７】
次に、第１実施形態におけるノイズ低減処理の動作を説明する。
図３は、第１実施形態におけるノイズ低減処理の一例を示すフローチャートである。この図は、撮像装置１００において、動画が撮像されている途中に静止画の撮像がされる場合の動作を示している。
【００５８】
まず、操作部１８０における動画の撮像開始指示により、操作部１８０からＣＰＵ１９０に動画の撮像開始指示（動画の撮像開始動作を示す信号）が入力される。ＣＰＵ１９０のタイミング検出部１９１は、操作部１８０から入力された動画の撮像開始動作を示す信号に基づいて検出した画像形式が動画であることを示す識別情報と撮像開始タイミングとを示す信号を音信号処理部２５０に出力する（ステップＳ１１）。
【００５９】
次に、音信号処理部２５０の処理選択部２５１は、タイミング検出部１９１から画像形式が動画であることを示す識別情報と撮像開始タイミングとを示す信号が入力されたことに応じて、記憶部１６０から動画用の処理パラメータを読み出してフィルタ処理設定部２５４に出力する。フィルタ処理設定部２５４は、処理選択部２５１から入力された動画用の処理パラメータをフィルタ処理部２５３に設定する。そして、音信号処理部２５０は、動画が撮像されることに応じて入力される音信号に対して、動画用のノイズ低減処理を実行する。（ステップＳ１２）。音信号処理部２５０によりノイズ低減処理された音信号は、動画像に関連付けられて記録される。
【００６０】
続いて、動画が撮像されている期間において、ＣＰＵ１９０は、操作部１８０から動画の撮像終了指示（動画の撮像終了動作を示す信号）が入力されたか否かを判定する（ステップＳ１３）。ステップＳ１３において、操作部１８０から動画の撮像終了指示が入力されたと判定された場合、ＣＰＵ１９０は、撮像動作を終了する（ステップＳ１７）。一方、ステップＳ１３において、操作部１８０から動画の撮像終了指示が入力されていないと判定された場合、ＣＰＵ１９０は、操作部１８０から静止画の撮像開始指示（静止画の撮像開始動作を示す信号）が入力されたか否かを判定する（ステップＳ１４）。ステップＳ１４において、操作部１８０から静止画の撮像開始指示が入力されていないと判定された場合、ＣＰＵ１９０は、ステップＳ１２に処理を戻し動画の撮像動作を継続する。
【００６１】
一方、ステップＳ１４において、操作部１８０から静止画の撮像開始指示が入力されたと判定された場合、ＣＰＵ１９０は、動画の撮像動作を中断して、静止画の撮像動作と当該静止画に関連付けて記録される音信号を検出する制御を開始する。また、タイミング検出部１９１は、操作部１８０から入力された静止画の撮像開始動作を示す信号に基づいて検出した画像形式が静止画であることを示す識別情報と撮像開始タイミングとを示す信号を音信号処理部２５０に出力する。音信号処理部２５０の処理選択部２５１は、タイミング検出部１９１から画像形式が静止画であることを示す識別情報と撮像開始タイミングとを示す信号が入力されたことに応じて、記憶部１６０から静止画用の処理パラメータを読み出してフィルタ処理設定部２５４に出力する。フィルタ処理設定部２５４は、処理選択部２５１から入力された静止画用の処理パラメータをフィルタ処理部２５３に設定する。そして、音信号処理部２５０は、静止画が撮像されることに応じて入力される音信号に対して、静止画用のノイズ低減処理を実行する。（ステップＳ１５）。音信号処理部２５０によりノイズ低減処理された音信号は、静止画像に関連付けられて記録される。
【００６２】
続いて、ＣＰＵ１９０は、静止画に関連付けて記録される音信号の検出が終了したか否かを判定する（ステップＳ１６）。
なお、静止画に関連付けて記録される音信号の検出期間は、例えば、予め設定されている期間（例えば、レリーズ押下前後の１０秒間等）であり、この期間が経過したタイミングにおいて終了される。
【００６３】
ステップＳ１６において、静止画に関連付けて記録される音信号の検出が終了していないと判定された場合、ＣＰＵ１９０は、ステップＳ１５に処理を戻し、静止画に関連付けて記録される音信号の検出を継続する。一方、ステップＳ１６において、静止画に関連付けて記録される音信号の検出が終了したと判定された場合、ＣＰＵ１９０は、ステップＳ１２に処理を戻し、動画の撮像動作を再開する。また、タイミング検出部１９１は、静止画に関連付けて記録される音信号の検出が終了したと判定されたことに応じて、画像形式が動画であることを示す識別情報と動画の撮像開始タイミングを示す信号とを音信号処理部２５０に出力する。これにより、音信号処理部２５０は、動画の撮像が再開されることに応じて入力される音信号に対して、動画用のノイズ低減処理を実行する。
【００６４】
なお、図３を用いて、動画が撮像されている途中に静止画の撮像がされる場合の動作を説明したが、動画が撮像されている途中の動作に限られるものではない。例えば、動画の撮像動作、または静止画の撮像動作がそれぞれ単独で実行された場合においても、音信号処理部２５０は、同様に、それぞれ対応する動画用のノイズ低減処理、または静止画用のノイズ低減処理を実行する。
【００６５】
以上のように、音信号処理部２５０は、撮像装置１００において、動画が撮像される際の音信号に対しては、動画に関連付けて記録される音信号に適したノイズ低減処理をし、静止画が撮像される際の音信号に対しては、静止画に関連付けて記録される音信号に適したノイズ低減処理をする。例えば、音信号処理部２５０は、ノイズ低減処理として、撮像された画像に関連付けられている音信号に対して周波数帯域フィルタによるノイズ低減処理をし、画像が静止画である場合、動画である場合に対比して周波数帯域フィルタのノイズ低減強度が大きい処理をする。
【００６６】
これにより、音信号処理部２５０は、画像が動画である場合、ノイズ低減処理によってノイズ以外の音信号の音質が変化してしまうことや環境音が消去されてしまうようなことが少ないような（原音を残すような）ノイズ低減処理をすることができる。また、音信号処理部２５０は、画像が静止画である場合、ノイズ低減処理によって音声以外の音信号（すなわち、ノイズ）の音質が変化してしまうことや環境音が消去されてしまうことは許容して音声が聞き取りやすいようなノイズ低減処理をすることができる。よって、撮像装置１００は、撮像された画像に関連付けられている音信号のノイズを適切に低減することができる。
【００６７】
＜第２実施形態＞
次に、第２実施形態におけるノイズ低減処理について説明する。
図４は、第２実施形態における音信号処理部２５０の構成の一例を示す概略ブロック図である。
第２実施形態のノイズ低減処理部２５２は、フィルタ処理部２５３と、フィルタ処理設定部２５４と、に代えて、スペクトル減算処理部２５５と、スペクトル減算処理設定部２５６と、を備えていることが第１実施形態と異なる。その他の構成については、第１実施形態と同様であり説明を省略する。
【００６８】
スペクトル減算処理部２５５は、ノイズ低減処理として、画像に関連付けられている音信号の周波数スペクトルを算出して当該周波数スペクトル毎にノイズを低減するノイズ低減処理をする。すなわち、スペクトル減算処理部２５５は、ノイズの周波数スペクトルに基づいて、音信号にスペクトル減算（Spectral Subtraction）処理することにより、音信号のノイズを低減させる。このスペクトル減算処理とは、まず、音信号をフーリエ変換により周波数領域に変換し、周波数領域でノイズを減じた後、逆フーリエ変換することにより、音信号のノイズを低減させる方法である。なお、ノイズの周波数スペクトルは、例えば、予め推定して設定されており、記憶部１６０に記憶されている。以降、このノイズの周波数スペクトルを推定ノイズスペクトルとも記述する。
【００６９】
また、スペクトル減算処理部２５５は、フーリエ変換または逆フーリエ変換する場合に、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）、または、逆高速フーリエ変換（ＩＦＦＴ：Inverse Fast Fourier Transform）により、フーリエ変換または逆フーリエ変換してもよい。
【００７０】
スペクトル減算処理設定部２５６は、スペクトル減算処理部２５５において減算する推定ノイズスペクトルを設定する。また、スペクトル減算処理設定部２５６は、スペクトル減算処理部２５５において、音信号の周波数スペクトルから推定ノイズスペクトルを減算する際の減算係数（低減強度）を設定する。これら推定ノイズスペクトルおよび減算係数は、動画用と静止画用とのそれぞれの場合に対応する動画用の処理パラメータおよび静止画用の処理パラメータとして記憶部１６０に予め記憶されている。スペクトル減算処理設定部２５６は、処理選択部２５１により記憶部１６０から読み出された処理パラメータをスペクトル減算処理部２５５に設定する。
【００７１】
音信号処理部２５０は、スペクトル減算処理により、画像が静止画である場合、動画である場合に対比して当該音信号の周波数スペクトル毎にノイズを低減するノイズ低減強度が大きい処理をする。すなわち、音信号処理部２５０は、スペクトル減算処理により、画像が静止画である場合、動画である場合に対比して当該音信号の周波数スペクトル毎に推定ノイズスペクトルを減算する減算係数が大きい処理をする。
【００７２】
例えば、静止画用処理のパラメータは、動画用の処理パラメータに対比して低減強度の大きい減算係数となる処理パラメータである。処理選択部２５１は、動画である場合と静止画である場合とに応じて選択した動画用の処理パラメータまたは静止画用の処理パラメータを、記憶部１６０から読み出してスペクトル減算処理設定部２５６に出力する。スペクトル減算処理設定部２５６は、処理選択部２５１から入力された動画用の処理パラメータまたは静止画用の処理パラメータをスペクトル減算処理部２５５に設定する。これにより、音信号処理部２５０は、入力された音信号に対して、画像が静止画である場合、動画である場合に対比して当該音信号の周波数スペクトル毎にノイズを低減するノイズ低減強度が大きい処理をする。
【００７３】
以上のように、音信号処理部２５０は、撮像装置１００において、動画が撮像される際の音信号に対しては、動画に関連付けて記録される音信号に適したノイズ低減処理をし、静止画が撮像される際の音信号に対しては、静止画に関連付けて記録される音信号に適したノイズ低減処理をする。例えば、音信号処理部２５０は、ノイズ低減処理として、撮像された画像に関連付けられている音信号に対してスペクトル減算処理によるノイズ低減処理をし、画像が静止画である場合、動画である場合に対比して当該音信号の周波数スペクトル毎にノイズを低減するノイズ低減強度が大きい処理をする。
これにより、撮像装置１００は、第１実施形態と同様に、撮像された画像に関連付けられている音信号のノイズを適切に低減することができる。
【００７４】
＜第３実施形態＞
次に、第３実施形態におけるノイズ低減処理について説明する。
図５は、第３実施形態における音信号処理部２５０の構成の一例を示す概略ブロック図である。
第３実施形態のノイズ低減処理部２５２は、フィルタ処理部２５３と、フィルタ処理設定部２５４と、スペクトル減算処理部２５５と、スペクトル減算処理設定部２５６とを備えていることが、第１実施形態および第２実施形態と異なる。すなわち、ノイズ低減処理部２５２は、周波数帯域フィルタとスペクトル減算処理との両方のノイズ低減処理（ノイズ低減アルゴリズム）を備えている。その他の構成については、第１実施形態と同様であり説明を省略する。
【００７５】
音信号処理部２５０は、画像が動画である場合と静止画である場合とに応じて、それぞれに応じたアルゴリズムによるノイズ低減処理をする。例えば、音信号処理部２５０は、画像が動画である場合、ノイズ低減処理として周波数帯域フィルタによるノイズ低減処理をし、画像が静止画である場合、ノイズ低減処理としてスペクトル減算処理によるノイズ低減処理をする。
【００７６】
例えば、動画用の処理パラメータには、周波数帯域フィルタによるノイズ低減処理が選択されるように設定されている。また、静止画用の処理パラメータには、スペクトル減算処理によるノイズ低減処理が選択されるように設定されている。処理選択部２５１は、動画である場合と静止画である場合とに応じて選択した動画用の処理パラメータまたは静止画用の処理パラメータを、記憶部１６０から読み出してノイズ低減処理部２５２に出力する。
【００７７】
処理選択部２５１は、動画である場合、記憶部１６０から読み出した動画用の処理パラメータに基づいて、ノイズ低減処理部２５２において周波数帯域フィルタによるノイズ低減処理が実行されるように選択する。フィルタ処理設定部２５４は、処理選択部２５１により記憶部１６０から読み出された動画用の処理パラメータをフィルタ処理部２５３に設定する。
【００７８】
一方、処理選択部２５１は、静止画である場合、記憶部１６０から読み出した静止画用の処理パラメータに基づいて、ノイズ低減処理部２５２においてスペクトル減算処理によるノイズ低減処理が実行されるように選択する。スペクトル減算処理設定部２５６は、処理選択部２５１により記憶部１６０から読み出された静止画用の処理パラメータをスペクトル減算処理部２５５に設定する。
【００７９】
これにより、音信号処理部２５０は、画像が動画である場合、ノイズ低減処理として、スペクトル減算処理において生じる可能性があるミュージカルノイズ（例えば、ノイズを減算した際に除去しきれない周波数軸上で孤立した成分のノイズであって、不自然で耳障りな音として聞こえる人工的なノイズ）が発生しない周波数帯域フィルタによるノイズ低減処理をする。そのため、音信号処理部２５０は、画像が動画である場合、ノイズ低減処理によってノイズ以外の音信号の音質が変化してしまうことや環境音が消去されてしまうようなことが少ないような（原音を残すような）ノイズ低減処理をすることができる。
【００８０】
一方、音信号処理部２５０は、画像が静止画である場合、ノイズ低減処理として、ミュージカルノイズが発生する可能性はあるが周波数帯域フィルタに対比してノイズを低減させる効果が高いスペクトル減算処理によるノイズ低減処理をする。そのため、音信号処理部２５０は、画像が静止画である場合、ノイズ低減処理によって音声以外の音信号（すなわち、ノイズ）の音質が変化してしまうことや環境音が消去されてしまうことは許容して音声が聞き取りやすいようなノイズ低減処理をすることができる。
よって、撮像装置１００は、撮像された画像に関連付けられている音信号のノイズを適切に低減することができる。
【００８１】
＜第４実施形態＞
次に、第４実施形態におけるノイズ低減処理について説明する。
第４実施形態の音信号処理部２５０は、画像が動画である場合と静止画である場合とに応じて、それぞれの場合に応じた推定ノイズによりノイズ低減処理をする。ここでは、第２実施形態と同様に、ノイズ低減処理部２５２がスペクトル減算処理部２５５と、スペクトル減算処理設定部２５６と、を備えている構成であるとして説明する。
【００８２】
音信号処理部２５０は、画像が動画である場合、撮像装置１００において当該画像が撮像される期間において発生する撮像装置１００の機構音を推定ノイズとして、当該推定ノイズに基づいてノイズ低減処理をする。また、音信号処理部２５０は、画像が静止画である場合、当該画像に関連付けられている音信号が検出される期間における周囲の環境音を推定ノイズとして、当該推定ノイズに基づいてノイズ低減処理をする。
【００８３】
例えば、音信号処理部２５０は、画像が動画である場合、動画に応じた推定ノイズスペクトルによりスペクトル減算処理をし、静止画である場合、静止画に応じた推定ノイズスペクトルによりスペクトル減算処理をする。
【００８４】
この場合、例えば、記憶部１６０には、撮像装置１００の機構音をノイズとした推定ノイズスペクトルが動画用の処理パラメータとして予め記憶されている。この機構音とは、撮像装置１００において動画が撮像されている期間に動作部が動作することにより（または、動作されることにより）生じる音であり、例えば、ズーム音、またはフォーカス音等である。記憶部１６０には、ズーム音、またはフォーカス音等をノイズとした推定ノイズスペクトルが予め記憶されている。
【００８５】
また、記憶部１６０には、周囲の環境音をノイズとした推定ノイズスペクトルが静止画用の処理パラメータとして予め記憶されている。この周囲の環境音とは、撮像装置１００において静止画に関連付けられている音信号が検出される期間における周囲の環境音であって、例えば、音声以外の音である。記憶部１６０には、音声以外の音である周囲の環境音をノイズとした推定ノイズスペクトルが予め記憶されている。
【００８６】
これにより、音信号処理部２５０は、画像が動画である場合、動画が撮像されている期間に動作部が動作することにより生じる音（ズーム音、またはフォーカス音等の機構音）を推定ノイズスペクトルとして、音信号に対してスペクトル減算処理によるノイズ低減処理をすることができる。また、音信号処理部２５０は、画像が静止画である場合、静止画に関連付けられている音信号が検出される期間における周囲の環境音（音声以外の音）を推定ノイズスペクトルとして、音信号に対してスペクトル減算処理によるノイズ低減処理をすることができる。
よって、撮像装置１００は、画像が動画である場合と静止画である場合とに応じて、撮像された画像に関連付けられている音信号のノイズを適切に低減することができる。
【００８７】
なお、音信号処理部２５０は、画像が静止画ある場合、当該画像に関連付けられている音信号が検出される期間において発生する撮像装置１００の機構音を推定ノイズとして、当該推定ノイズに基づいてノイズ低減処理をしてもよい。この機構音とは、撮像装置１００において静止画が撮像されるタイミングに動作部が動作することにより生じる音であり、例えば、ミラー音、またはシャッター音等である。これにより、音信号処理部２５０は、画像が静止画である場合、静止画に関連付けられている音信号が検出される期間においてに動作部が動作することにより生じる音（ミラー音、またはシャッター音等の機構音）を推定ノイズスペクトルとして、音信号に対してスペクトル減算処理によるノイズ低減処理をすることができる。
【００８８】
なお、音信号処理部２５０は、第１実施形態と同様に、ノイズ低減処理部２５２がフィルタ処理部２５３と、フィルタ処理設定部２５４と、を備えている構成としてもよい。この場合、音信号処理部２５０は、画像が動画である場合の推定ノイズと静止画である場合の推定ノイズとに基づいて、周波数帯域フィルタの帯域制限させる周波数帯域（遮断周波数）をそれぞれの推定ノイズの周波数成分に対応して設定してもよい。
【００８９】
なお、動画が撮像されている期間に動作部が動作することにより（または、動作されることにより）生じる音を推定ノイズとする場合、ズーム音、またはフォーカス音の他に、ＶＲレンズ１１３の駆動音、または絞り機構（不図示）の駆動音等も、同様に推定ノイズとしてもよい。
【００９０】
＜第５実施形態＞
次に、第５実施形態におけるノイズ低減処理について説明する。
第５実施形態の音信号処理部２５０は、音信号の音量に応じてノイズ低減処理のノイズ低減強度を変更する。
図６は、第５実施形態の音信号処理部２５０の構成の一例を示す概略ブロック図である。この図において、音信号処理部２５０は、音量判定部２５７をさらに備えている。その他の構成については、前述した実施形態と同様である。なお、ノイズ低減処理部２５２は、フィルタ処理部２５３と、フィルタ処理設定部２５４と、を備えている構成としてもよいし、スペクトル減算処理部２５５と、スペクトル減算処理設定部２５６と、を備えている構成としてもよい。また、ノイズ低減処理部２５２は、フィルタ処理部２５３と、フィルタ処理設定部２５４と、スペクトル減算処理部２５５と、スペクトル減算処理設定部２５６と、を備えている構成としてもよい。
【００９１】
音信号処理部２５０は、画像に関連付けられている音信号の音量に応じて、ノイズ低減処理のノイズ低減強度を変更する。例えば、音信号処理部２５０は、画像が動画である場合、当該画像に関連付けられている音信号の音量が大きくなるのに応じて、当該音信号に対するノイズ低減処理のノイズ低減強度を小さくする。また、音信号処理部２５０は、画像が静止画である場合、当該画像に関連付けられている音信号の音量が大きくなるのに応じて、当該音信号に対するノイズ低減処理のノイズ低減強度を大きくする。
【００９２】
例えば、音信号の音量が大きい場合（検出された周囲の環境音等の音量が大きい場合）、動画が撮像されている期間に動作部が動作することにより生じる音（ズーム音、またはフォーカス音等の機構音）の音量は、相対的に小さくノイズとして目立たない音量となる。そのため、音信号処理部２５０は、動画に関連付けられている音信号の音量が大きくなるのに応じて、ノイズ低減強度を小さくして原音を残すようなノイズ低減処理をする。
【００９３】
また、音信号の音量が大きい場合（検出された周囲の環境音等の音量が大きい場合）、静止画に関連付けられている音信号における音声の音量は、相対的に小さく聞き取りにくい音量となる。そのため、音信号処理部２５０は、静止画に関連付けられている音信号の音量が大きくなるのに応じて、音声以外のノイズに対する低減強度を大きくして音声が聞き取りやすくなるようなノイズ低減処理をする。
【００９４】
これにより、音信号処理部２５０は、画像に関連付けられている音信号の音量に応じて、動画に関連付けられている音信号および静止画に関連付けられている音信号のそれぞれに対してノイズを適切に低減することができる。
【００９５】
以上説明してきたように、本実施形態における撮像装置１００は、動画が撮像される際の音信号に対しては、動画に関連付けて記録される音信号に適したノイズ低減処理をし、静止画が撮像される際の音信号に対しては、静止画に関連付けて記録される音信号に適したノイズ低減処理をするため、撮像された画像に関連付けられている音信号のノイズを適切に低減することができる。
【００９６】
なお、第１実施形態から第５実施形態において説明してきたノイズ低減処理は、それぞれのノイズ低減処理を組み合わせて実行されるものであってもよい。
【００９７】
なお、音信号処理部２５０は、撮像装置１００の動作音（機構音）に基づく推定ノイズを低減する処理をする場合、タイミング検出部１９１から入力された撮像装置１００の動作部が動作するタイミングに応じて、当該動作部が動作する期間に対して推定ノイズを低減する処理をしてもよい。また、音信号処理部２５０は、撮像装置１００のそれぞれの動作部の動作音（機構音）に基づくそれぞれの推定ノイズの中から、それぞれの動作部が動作するタイミングに応じた推定ノイズを選択し、選択した推定ノイズを低減する処理をしてもよい。
【００９８】
なお、静止画に関連付けられている音信号に対して、音声が聞き取りやすいようなノイズ低減処理をする場合、ノイズゲート（一定レベル以下の音信号を減衰させる低減処理）によるノイズ低減処理をしてもよい。
【００９９】
なお、静止画に関連付けられている音信号は、音声認識を用いて、音声が認識された期間において、検出されて記録されてもよい。また、静止画に関連付けられている音信号は、音声認識を用いて、特定の音声が認識された期間のみ検出されて記録されてもよい。
【０１００】
なお、上記実施形態において、撮像装置１００がミラー部１１９を備えている構成を例として説明したが、ミラー部１１９を備えていない構成であってもよい。
【０１０１】
なお、上述の音信号処理部２５０は専用のハードウェアにより実現されるものであってもよく、また、メモリおよびＣＰＵ（中央演算装置）により構成され、上述の音信号処理部２５０の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
【０１０２】
また、上述の音信号処理部２５０の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述の音信号処理部２５０を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【０１０３】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【０１０４】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【０１０５】
１００ 撮像装置、２５０ 音信号処理部（処理部）
【技術分野】
【０００１】
本発明は、信号処理装置、撮像装置、及びプログラムに関する。
【背景技術】
【０００２】
従来、動画を撮像する撮像装置において発生するズーム駆動音またはフォーカス駆動音等のノイズを信号処理により低減する技術がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２１１４３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、動画及び静止画の両方を撮像可能な撮像装置において、静止画を撮像する際、動画を撮像する際と同様の信号処理によりノイズを低減すると、適切にノイズを低減することができないことがあった。
【０００５】
本発明は、このような事情に鑑みてなされたもので、その目的は、撮像された画像に関連付けられている音信号のノイズを適切に低減することができる信号処理装置、撮像装置、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
この発明は上述した課題を解決するためになされたもので、本発明は、撮像装置により撮像された画像に関連付けられている音信号に対して、前記画像が動画である場合と静止画である場合とに応じて、それぞれに応じたノイズ低減処理をする処理部、を備えることを特徴とする信号処理装置である。
【０００７】
また、本発明は、上述の信号処理装置、を備えることを特徴とする撮像装置である。
【０００８】
また、本発明は、信号処理装置としてのコンピュータに、撮像装置により撮像された画像に関連付けられている音信号に対して、前記画像が動画である場合と静止画である場合とに応じて、それぞれに応じたノイズ低減処理、を実行させるためのプログラムである。
【発明の効果】
【０００９】
この発明によれば、撮像された画像に関連付けられている音信号のノイズを適切に低減することができる。
【図面の簡単な説明】
【００１０】
【図１】この発明の第１実施形態による信号処理装置を備える撮像装置の構成を示す概略ブロック図である。
【図２】第１実施形態における音信号処理部の構成の一例を示す概略ブロック図である。
【図３】第１実施形態におけるノイズ低減処理の一例を示すフローチャートである。
【図４】第２実施形態における音信号処理部の構成の一例を示す概略ブロック図である。
【図５】第３実施形態における音信号処理部の構成の一例を示す概略ブロック図である。
【図６】第５実施形態における音信号処理部の構成の一例を示す概略ブロック図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、本発明の実施の形態について説明する。
＜第１実施形態＞
図１は、この発明の第１実施形態による信号処理装置を備える撮像装置１００の構成を示す概略ブロック図である。
この図１に示すとおり、第１実施形態に係る撮像装置１００は、撮像部１１０と、ＣＰＵ（Central processing unit）１９０と、操作部１８０、画像処理部１４０と、表示部１５０と、記憶部１６０と、バッファメモリ部１３０と、通信部１７０と、マイク２３０と、Ａ／Ｄ（Analog/Digital）変換部２４０と、音信号処理部（処理部）２５０と、バス３００と、を備えている。この撮像装置１００が備える構成のうち、例えば、音信号処理部２５０が信号処理装置に対応する。
【００１２】
撮像部１１０は、光学系１１１と、ミラー部１１９と、撮像素子１２０と、Ａ／Ｄ変換部１２１とを含み、設定された撮像条件（例えば絞り値、露出値等）に従ってＣＰＵ１９０により制御され、光学系１１１による光学像を撮像素子１２０に結像させて、Ａ／Ｄ変換部１２１によってデジタル信号に変換された当該光学像に基づく画像データを生成する。
【００１３】
光学系１１１は、ズームレンズ１１４と、手振れ防止用レンズ（以下、ＶＲ（Vibration Reduction）レンズという）１１３と、焦点調整レンズ（以下、ＡＦ（Auto Focus）レンズという）１１２と、ズームエンコーダ１１５と、レンズ駆動部１１６と、ＡＦエンコーダ１１７と、手振れ防止部１１８と、を備える。
【００１４】
この光学系１１１は、ズームレンズ１１４、ＶＲレンズ１１３、および、ＡＦレンズ１１２を通過した光学像を撮像素子１２０の受光面に導く。
【００１５】
レンズ駆動部１１６は、後述するＣＰＵ１９０から入力される駆動制御信号に基づいて、ズームレンズ１１４またはＡＦエンコーダ１１７の位置を制御する。
【００１６】
手振れ防止部１１８は、後述するＣＰＵ１９０から入力される駆動制御信号に基づいて、ＶＲレンズ１１３の位置を制御する。この手振れ防止部１１８は、ＶＲレンズ１１３の位置を検出していてもよい。
【００１７】
ズームエンコーダ１１５は、ズームレンズ１１４の位置を表わすズームポジションを検出し、検出したズームポジションをＣＰＵ１９０に出力する。
【００１８】
ＡＦエンコーダ１１７は、ＡＦレンズ１１２の位置を表わすフォーカスポジションを検出し、検出したフォーカスポジションをＣＰＵ１９０に出力する。
【００１９】
なお、上述した光学系１１１は、撮像装置１００に取り付けられて一体とされていてもよいし、撮像装置１００に着脱可能に取り付けられてもよい。
【００２０】
ミラー部１１９は、光学像を撮像素子１２０の受光面に導くか、または光学ファインダー（不図示）に導くかを切替えるための反射ミラーと、当該反射ミラーの切替え動作を駆動するミラー駆動部とを有している。例えば、ミラー部１１９の反射ミラーは、静止画撮像の操作入力に応じて静止画が撮像されるタイミングで切替わる。
【００２１】
撮像素子１２０は、例えば、受光面に結像した光学像を電気信号に変換して、Ａ／Ｄ変換部１２１に出力する。
【００２２】
また、撮像素子１２０は、操作部１８０を介して撮像指示を受け付けた際に得られる画像データを、撮像された静止画の撮像画像データとして、Ａ／Ｄ変換部１２１や画像処理部１４０を介して、記憶媒体２００に記憶させる。
【００２３】
一方、撮像素子１２０は、例えば、操作部１８０を介して撮像指示を受け付けていない状態において、連続的に得られる画像データをスルー画データとして、Ａ／Ｄ変換部１２１や画像処理部１４０を介して、ＣＰＵ１９０および表示部１５０に出力する。
【００２４】
Ａ／Ｄ変換部１２１は、撮像素子１２０によって変換された電子信号をアナログ／デジタル変換し、この変換したデジタル信号である画像データを出力する。
【００２５】
操作部１８０は、例えば、電源スイッチやシャッターボタン、その他の操作キーを含み、ユーザによって操作されることでユーザの操作入力を受け付け、ＣＰＵ１９０に出力する。
【００２６】
画像処理部１４０は、記憶部１６０に記憶されている画像処理条件を参照して、バッファメモリ部１３０、または、記憶媒体２００に記録されている画像データに対して画像処理をする。
【００２７】
表示部１５０は、例えば液晶ディスプレイであって、撮像部１１０によって得られた画像データや、操作画面等を表示する。
【００２８】
記憶部１６０は、ＣＰＵ１９０によってシーン判定の際に参照される判定条件や、撮像条件等を記憶する。また、記憶部１６０には、後述する音信号処理部２５０における音信号に対するノイズ低減処理の処理パラメータが記憶されている。例えば、記憶部１６０には、画像形式が動画と静止画との何れの画像形式であるかを示す識別情報と関連付けて、当該画像形式におけるノイズ低減処理のそれぞれの処理パラメータ（動画用の処理パラメータおよび静止画用の処理パラメータ）が予め記憶されている。
【００２９】
マイク２３０は、音を収音し、収音した音に応じた音信号を出力する。この音信号は、アナログ信号である。
【００３０】
Ａ／Ｄ変換部２４０は、マイク２３０から入力されたアナログ信号である音信号を、デジタル信号である音信号に、アナログデジタル変換する。
【００３１】
音信号処理部２５０は、Ａ／Ｄ変換部２４０によりデジタル信号に変換された音信号に対して、例えば、ノイズを低減するなどの音信号処理を実行し、この音信号処理した音信号を記憶媒体２００に記憶させる。なお、この音信号処理部２５０は、ノイズを低減するなどの音信号処理を実行する場合、撮像された画像に関連付けられている音信号に対して、画像が動画である場合と静止画である場合とに応じて、それぞれに応じたノイズ低減処理をする。この音信号処理部２５０の詳細については、後述する。
【００３２】
なお、音信号処理部２５０により音信号処理された音信号が記憶媒体２００に記憶される場合、撮像素子１２０により撮像された画像データと関連付けられて記憶される。例えば、音信号処理された音信号は、撮像された画像データと時間的に関連付けられて記憶されてもよいし、音信号を含む動画として記憶されてもよい。また、撮像された画像データに、後から録音されて音信号処理された音信号（例えば、静止画に対して付加される音声メモとして、後から録音された音信号）が関連付けられて記憶されてもよい。
【００３３】
バッファメモリ部１３０は、撮像部１１０によって撮像された画像データや、音信号処理部２５０により変換された音信号等を、一時的に記憶する。
【００３４】
通信部１７０は、カードメモリ等の取り外しが可能な記憶媒体２００と接続され、この記憶媒体２００への情報の書込み、読み出し、あるいは消去を行う。
【００３５】
記憶媒体２００は、撮像装置１００に対して着脱可能に接続される記憶部であって、例えば、撮像部１１０によって生成された（撮像された）画像データや、音信号処理部２５０により音信号処理された音信号を記憶する。
【００３６】
ＣＰＵ１９０は、撮像装置全体を制御するが、一例としては、ズームエンコーダ１１５から入力されるズームポジション、および、ＡＦエンコーダ１１７から入力されるフォーカスポジションと、操作部１８０から入力される操作入力とに基づいて、ズームレンズ１１４およびＡＦレンズ１１２の位置を制御する駆動制御信号を生成する。ＣＰＵ１９０は、この駆動制御信号に基づいて、レンズ駆動部１１６を介してズームレンズ１１４およびＡＦレンズ１１２の位置を制御する。また、ＣＰＵ１９０は、操作部１８０から入力される静止画撮像のレリーズ操作入力に基づいて、例えば、ミラー部１１９の動作を制御する。
【００３７】
また、このＣＰＵ１９０は、タイミング検出部１９１を備えている。このタイミング検出部１９１は、撮像装置１００が備えている動作部が動作するタイミングを検出する。
【００３８】
ここでいう動作部とは、一例としては、上述したズームレンズ１１４、ＶＲレンズ１１３、ＡＦレンズ１１２、ミラー部１１９、または、操作部１８０のことであり、撮像装置１００が備えている構成のうち、動作することにより、または、動作されることにより、音が生じる（または、音が生じる可能性がある）構成である。これらの動作部が動作することにより、例えば、ズーム音、フォーカス音、ミラー音、または、シャッター音等が生じる。
【００３９】
また、この動作部とは、撮像装置１００が備えている構成のうち、動作することにより生じた音、または、動作されることにより生じた音が、マイク２３０により収音される（または、収音される可能性のある）構成である。
【００４０】
このタイミング検出部１９１は、動作部を動作させる制御信号に基づいて、動作部が動作するタイミングを検出してもよい。この制御信号とは、動作部を動作させる駆動部に対して、動作部を動作させるようにする制御信号、または、この駆動部を駆動させる制御信号である。ここでいう駆動部とは、一例としては、レンズ駆動部１１６、手振れ防止部１１８、または、ミラー部１１９の有するミラー駆動部のことである。
【００４１】
例えば、タイミング検出部１９１は、ズームレンズ１１４、ＶＲレンズ１１３、ＡＦレンズ１１２、またはミラー部１１９を駆動させるために、レンズ駆動部１１６、手振れ防止部１１８、またはミラー部１１９に入力される駆動制御信号に基づいて、または、ＣＰＵ１９０で生成される駆動制御信号に基づいて、動作部が動作するタイミングを検出してもよい。
また、ＣＰＵ１９０が駆動制御信号を生成する場合に、タイミング検出部１９１は、ＣＰＵ１９０内部で実行される処理やコマンドに基づいて、動作部が動作するタイミングを検出してもよい。
また、タイミング検出部１９１は、操作部１８０から入力されるズームレンズ１１４、または、ＡＦレンズ１１２を駆動させることを示す信号に基づいて、動作部が動作するタイミングを検出してもよい。
【００４２】
また、このタイミング検出部１９１は、動作部が動作されたことを示す信号に基づいて、動作部が動作するタイミングを検出してもよい。
【００４３】
例えば、タイミング検出部１９１は、ズームエンコーダ１１５またはＡＦエンコーダ１１７の出力に基づいて、ズームレンズ１１４またはＡＦレンズ１１２が駆動されたことを検出することにより、動作部が動作するタイミングを検出してもよい。
また、タイミング検出部１９１は、手振れ防止部１１８からの出力に基づいて、ＶＲレンズ１１３が駆動されたことを検出することにより、動作部が動作するタイミングを検出してもよい。
また、このタイミング検出部１９１は、操作部１８０からの入力に基づいて、操作部１８０が操作されたことを検出することにより、動作部が動作するタイミングを検出してもよい。
【００４４】
そして、タイミング検出部１９１は、撮像装置１００が備えている動作部が動作するタイミングを検出し、この検出したタイミングを示す信号を、音信号処理部２５０に出力する。
【００４５】
また、タイミング検出部１９１は、撮像装置１００において、動画または静止画が撮像されるタイミングを検出する。例えば、操作部１８０から入力される動画または静止画の撮像動作を示す信号に基づいて、画像形式が動画と静止画との何れの画像形式であるかと、動画の撮像タイミングまたは静止画の撮像タイミングとをそれぞれ検出する。なお、タイミング検出部１９１は、撮像された静止画に後から音声メモとして関連付けて記録される音信号の録音タイミングを、操作部１８０から入力される録音動作を示す信号に基づいて検出してもよい。そして、タイミング検出部１９１は、検出した画像形式を示す識別情報と撮像タイミングとを示す信号を、音信号処理部２５０に出力する。
【００４６】
バス３００は、撮像部１１０と、ＣＰＵ１９０と、操作部１８０と、画像処理部１４０と、表示部１５０と、記憶部１６０と、バッファメモリ部１３０と、通信部１７０とに接続され、各部から出力されたデータ等を転送する。
【００４７】
（音信号処理部２５０の概要）
次に、音信号処理部２５０の概要について説明する。
音信号処理部２５０は、撮像された画像に関連付けられている音信号に対して、画像が動画である場合と静止画である場合とに応じて、それぞれに応じたノイズ低減処理をする。例えば、音信号処理部２５０は、撮像装置１００において、動画が撮像される際の音信号に対しては、動画に関連付けて記録される音信号に適したノイズ低減処理をし、静止画が撮像される際の音信号に対しては、静止画に関連付けて記録される音信号に適したノイズ低減処理をする。
【００４８】
例えば、音信号処理部２５０は、撮像された画像が動画である場合、当該画像に関連付けられている音信号に対して、ノイズ低減前の音信号が示す原音を残すようなノイズ低減処理をする。ここで、ノイズ低減前の音信号が示す原音とは、動画の撮像中にマイク２３０により収音された音であって、より正確には収音された音のうちノイズ以外の音である。ノイズとは、例えば、上述した撮像装置１００の動作部が動作することにより生じる音（例えば、ズーム音、またはフォーカス音等）であって、本来動画に関連付けて記録される必要がない音（ノイズ）である。すなわち、音信号処理部２５０は、撮像された画像が動画である場合、当該画像に関連付けられている音信号に対してノイズの低減処理をする際に、その低減処理によってノイズ以外の音信号の音質が変化してしまうことや環境音が消去されてしまうようなことが少ないような（原音を残すような）ノイズ低減処理をする。
【００４９】
一方、音信号処理部２５０は、撮像された画像が静止画である場合、当該画像に関連付けられている音信号に対して、音声が聞き取りやすくなるようなノイズ低減処理をする。
ここで、静止画に関連付けられている音の記録目的としては、撮像時の情報や被写体の説明等を音声メモとして付加する目的がある。例えば、静止画に関連付けられている音とは、予め設定されている期間であって、静止画の撮像タイミングに対応した期間（例えば、レリーズ押下前後の１０秒間等）に検出された音である（撮像の際に検出された会話や音声）。また、静止画に関連付けられている音とは、静止画が撮像された後、予め設定された期間において検出された音（後から録音された音声）であってもよい。このような、音声の記録を目的とする場合は、記録された音声が聞き取りやすい（話の意味が伝わりやすく聞こえる）ことが優先され、音声以外の音は記録される必要がない音（ノイズ）である。そのため、音信号処理部２５０は、撮像された画像が静止画である場合、当該画像に関連付けられている音信号に対してノイズの低減処理をする際に、その低減処理によって音声以外の音信号（すなわち、ノイズ）の音質が変化してしまうことや環境音が消去されてしまうことは許容して音声が聞き取りやすいようなノイズ低減処理をする。
【００５０】
例えば、音信号処理部２５０は、撮像された画像が動画である場合と静止画である場合とに応じて、それぞれに応じたノイズ低減強度のノイズ低減処理をする。具体的には、音信号処理部２５０は、ノイズ低減処理として、撮像された画像に関連付けられている音信号に対して周波数帯域フィルタによるノイズ低減処理をし、画像が静止画である場合、動画である場合に対比して周波数帯域フィルタのノイズ低減強度が大きい処理をする。
【００５１】
（音信号処理部２５０の詳細な構成）
次に、音信号処理部２５０の構成の詳細について説明する。
図２は、音信号処理部２５０の構成の一例を示す概略ブロック図である。音信号処理部２５０は、処理選択部２５１と、ノイズ低減処理部２５２と、を備えている。処理選択部２５１は、タイミング検出部１９１から入力された画像形式が動画と静止画との何れの画像形式であるかを示す識別情報に基づいて、当該識別情報に関連付けてられているノイズ低減処理のそれぞれの処理パラメータ（動画用の処理パラメータおよび静止画用の処理パラメータ）を記憶部１６０から読み出す。そして、処理選択部２５１は、選択した処理パラメータをノイズ低減処理部２５２に出力する。
【００５２】
ノイズ低減処理部２５２は、フィルタ処理部２５３と、フィルタ処理設定部２５４と、を備えており、処理選択部２５１により選択された処理パラメータに基づいて、音信号に対してノイズ低減処理を実行する。
【００５３】
フィルタ処理部２５３は、入力された音信号に対して帯域制限（若しくは、帯域通過）させる周波数帯域フィルタを有している。例えば、フィルタ処理部２５３は、ローパスフィルタ、ハイパスフィルタ、バンドパスフィルタ、または、その組み合わせによるフィルタ等の周波数帯域フィルタを有している。また、この周波数帯域フィルタは、デジタル回路により構成されている。なお、フィルタ処理部２５３の周波数帯域フィルタは、Ａ／Ｄ変換部２４０によりデジタル信号に変換される前のアナログの音信号に対して処理する構成とした場合には、アナログ回路により構成されている周波数帯域フィルタとしてもよい。
【００５４】
フィルタ処理設定部２５４は、フィルタ処理部２５３の有している周波数帯域フィルタにおける処理パラメータを設定する。この処理パラメータとは、例えば、帯域制限させる周波数帯域（遮断周波数）を設定するためのパラメータ、または、帯域制限による音信号の減衰量（低減強度）を設定するためのパラメータ等である。また、この処理パラメータは、動画用の処理パラメータおよび静止画用の処理パラメータとして記憶部１６０に予め記憶されている。そして、フィルタ処理設定部２５４は、処理選択部２５１により記憶部１６０から読み出された処理パラメータをフィルタ処理部２５３に設定する。
【００５５】
例えば、静止画用の処理パラメータは、動画用の処理パラメータに対比して低減強度の大きい減衰量となる処理パラメータである。処理選択部２５１は、動画である場合と静止画である場合とに応じて選択した動画用の処理パラメータまたは静止画用の処理パラメータを、記憶部１６０から読み出してフィルタ処理設定部２５４に出力する。フィルタ処理設定部２５４は、処理選択部２５１から入力された動画用の処理パラメータまたは静止画用の処理パラメータをフィルタ処理部２５３に設定する。これにより、音信号処理部２５０は、入力された音信号に対して、画像が静止画である場合、動画である場合に対比して周波数帯域フィルタのノイズ低減強度が大きい処理をする。
【００５６】
なお、動画用の処理パラメータは、ズーム音またはフォーカス音等による音信号の周波数帯域を低減させるような遮断周波数と、ノイズ以外の音信号の音質が変化してしまうことや環境音が消去されてしまうようなことが少ないような減衰量（静止画用の処理パラメータより低減強度の小さい減衰量）とが、処理パラメータとして設定されていてもよい。一方、静止画用の処理パラメータは、音声以外の音信号の周波数帯域を低減させるような遮断周波数と、動画用の処理パラメータより低減強度の大きい減衰量とが、処理パラメータとして設定されていてもよい。
【００５７】
次に、第１実施形態におけるノイズ低減処理の動作を説明する。
図３は、第１実施形態におけるノイズ低減処理の一例を示すフローチャートである。この図は、撮像装置１００において、動画が撮像されている途中に静止画の撮像がされる場合の動作を示している。
【００５８】
まず、操作部１８０における動画の撮像開始指示により、操作部１８０からＣＰＵ１９０に動画の撮像開始指示（動画の撮像開始動作を示す信号）が入力される。ＣＰＵ１９０のタイミング検出部１９１は、操作部１８０から入力された動画の撮像開始動作を示す信号に基づいて検出した画像形式が動画であることを示す識別情報と撮像開始タイミングとを示す信号を音信号処理部２５０に出力する（ステップＳ１１）。
【００５９】
次に、音信号処理部２５０の処理選択部２５１は、タイミング検出部１９１から画像形式が動画であることを示す識別情報と撮像開始タイミングとを示す信号が入力されたことに応じて、記憶部１６０から動画用の処理パラメータを読み出してフィルタ処理設定部２５４に出力する。フィルタ処理設定部２５４は、処理選択部２５１から入力された動画用の処理パラメータをフィルタ処理部２５３に設定する。そして、音信号処理部２５０は、動画が撮像されることに応じて入力される音信号に対して、動画用のノイズ低減処理を実行する。（ステップＳ１２）。音信号処理部２５０によりノイズ低減処理された音信号は、動画像に関連付けられて記録される。
【００６０】
続いて、動画が撮像されている期間において、ＣＰＵ１９０は、操作部１８０から動画の撮像終了指示（動画の撮像終了動作を示す信号）が入力されたか否かを判定する（ステップＳ１３）。ステップＳ１３において、操作部１８０から動画の撮像終了指示が入力されたと判定された場合、ＣＰＵ１９０は、撮像動作を終了する（ステップＳ１７）。一方、ステップＳ１３において、操作部１８０から動画の撮像終了指示が入力されていないと判定された場合、ＣＰＵ１９０は、操作部１８０から静止画の撮像開始指示（静止画の撮像開始動作を示す信号）が入力されたか否かを判定する（ステップＳ１４）。ステップＳ１４において、操作部１８０から静止画の撮像開始指示が入力されていないと判定された場合、ＣＰＵ１９０は、ステップＳ１２に処理を戻し動画の撮像動作を継続する。
【００６１】
一方、ステップＳ１４において、操作部１８０から静止画の撮像開始指示が入力されたと判定された場合、ＣＰＵ１９０は、動画の撮像動作を中断して、静止画の撮像動作と当該静止画に関連付けて記録される音信号を検出する制御を開始する。また、タイミング検出部１９１は、操作部１８０から入力された静止画の撮像開始動作を示す信号に基づいて検出した画像形式が静止画であることを示す識別情報と撮像開始タイミングとを示す信号を音信号処理部２５０に出力する。音信号処理部２５０の処理選択部２５１は、タイミング検出部１９１から画像形式が静止画であることを示す識別情報と撮像開始タイミングとを示す信号が入力されたことに応じて、記憶部１６０から静止画用の処理パラメータを読み出してフィルタ処理設定部２５４に出力する。フィルタ処理設定部２５４は、処理選択部２５１から入力された静止画用の処理パラメータをフィルタ処理部２５３に設定する。そして、音信号処理部２５０は、静止画が撮像されることに応じて入力される音信号に対して、静止画用のノイズ低減処理を実行する。（ステップＳ１５）。音信号処理部２５０によりノイズ低減処理された音信号は、静止画像に関連付けられて記録される。
【００６２】
続いて、ＣＰＵ１９０は、静止画に関連付けて記録される音信号の検出が終了したか否かを判定する（ステップＳ１６）。
なお、静止画に関連付けて記録される音信号の検出期間は、例えば、予め設定されている期間（例えば、レリーズ押下前後の１０秒間等）であり、この期間が経過したタイミングにおいて終了される。
【００６３】
ステップＳ１６において、静止画に関連付けて記録される音信号の検出が終了していないと判定された場合、ＣＰＵ１９０は、ステップＳ１５に処理を戻し、静止画に関連付けて記録される音信号の検出を継続する。一方、ステップＳ１６において、静止画に関連付けて記録される音信号の検出が終了したと判定された場合、ＣＰＵ１９０は、ステップＳ１２に処理を戻し、動画の撮像動作を再開する。また、タイミング検出部１９１は、静止画に関連付けて記録される音信号の検出が終了したと判定されたことに応じて、画像形式が動画であることを示す識別情報と動画の撮像開始タイミングを示す信号とを音信号処理部２５０に出力する。これにより、音信号処理部２５０は、動画の撮像が再開されることに応じて入力される音信号に対して、動画用のノイズ低減処理を実行する。
【００６４】
なお、図３を用いて、動画が撮像されている途中に静止画の撮像がされる場合の動作を説明したが、動画が撮像されている途中の動作に限られるものではない。例えば、動画の撮像動作、または静止画の撮像動作がそれぞれ単独で実行された場合においても、音信号処理部２５０は、同様に、それぞれ対応する動画用のノイズ低減処理、または静止画用のノイズ低減処理を実行する。
【００６５】
以上のように、音信号処理部２５０は、撮像装置１００において、動画が撮像される際の音信号に対しては、動画に関連付けて記録される音信号に適したノイズ低減処理をし、静止画が撮像される際の音信号に対しては、静止画に関連付けて記録される音信号に適したノイズ低減処理をする。例えば、音信号処理部２５０は、ノイズ低減処理として、撮像された画像に関連付けられている音信号に対して周波数帯域フィルタによるノイズ低減処理をし、画像が静止画である場合、動画である場合に対比して周波数帯域フィルタのノイズ低減強度が大きい処理をする。
【００６６】
これにより、音信号処理部２５０は、画像が動画である場合、ノイズ低減処理によってノイズ以外の音信号の音質が変化してしまうことや環境音が消去されてしまうようなことが少ないような（原音を残すような）ノイズ低減処理をすることができる。また、音信号処理部２５０は、画像が静止画である場合、ノイズ低減処理によって音声以外の音信号（すなわち、ノイズ）の音質が変化してしまうことや環境音が消去されてしまうことは許容して音声が聞き取りやすいようなノイズ低減処理をすることができる。よって、撮像装置１００は、撮像された画像に関連付けられている音信号のノイズを適切に低減することができる。
【００６７】
＜第２実施形態＞
次に、第２実施形態におけるノイズ低減処理について説明する。
図４は、第２実施形態における音信号処理部２５０の構成の一例を示す概略ブロック図である。
第２実施形態のノイズ低減処理部２５２は、フィルタ処理部２５３と、フィルタ処理設定部２５４と、に代えて、スペクトル減算処理部２５５と、スペクトル減算処理設定部２５６と、を備えていることが第１実施形態と異なる。その他の構成については、第１実施形態と同様であり説明を省略する。
【００６８】
スペクトル減算処理部２５５は、ノイズ低減処理として、画像に関連付けられている音信号の周波数スペクトルを算出して当該周波数スペクトル毎にノイズを低減するノイズ低減処理をする。すなわち、スペクトル減算処理部２５５は、ノイズの周波数スペクトルに基づいて、音信号にスペクトル減算（Spectral Subtraction）処理することにより、音信号のノイズを低減させる。このスペクトル減算処理とは、まず、音信号をフーリエ変換により周波数領域に変換し、周波数領域でノイズを減じた後、逆フーリエ変換することにより、音信号のノイズを低減させる方法である。なお、ノイズの周波数スペクトルは、例えば、予め推定して設定されており、記憶部１６０に記憶されている。以降、このノイズの周波数スペクトルを推定ノイズスペクトルとも記述する。
【００６９】
また、スペクトル減算処理部２５５は、フーリエ変換または逆フーリエ変換する場合に、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）、または、逆高速フーリエ変換（ＩＦＦＴ：Inverse Fast Fourier Transform）により、フーリエ変換または逆フーリエ変換してもよい。
【００７０】
スペクトル減算処理設定部２５６は、スペクトル減算処理部２５５において減算する推定ノイズスペクトルを設定する。また、スペクトル減算処理設定部２５６は、スペクトル減算処理部２５５において、音信号の周波数スペクトルから推定ノイズスペクトルを減算する際の減算係数（低減強度）を設定する。これら推定ノイズスペクトルおよび減算係数は、動画用と静止画用とのそれぞれの場合に対応する動画用の処理パラメータおよび静止画用の処理パラメータとして記憶部１６０に予め記憶されている。スペクトル減算処理設定部２５６は、処理選択部２５１により記憶部１６０から読み出された処理パラメータをスペクトル減算処理部２５５に設定する。
【００７１】
音信号処理部２５０は、スペクトル減算処理により、画像が静止画である場合、動画である場合に対比して当該音信号の周波数スペクトル毎にノイズを低減するノイズ低減強度が大きい処理をする。すなわち、音信号処理部２５０は、スペクトル減算処理により、画像が静止画である場合、動画である場合に対比して当該音信号の周波数スペクトル毎に推定ノイズスペクトルを減算する減算係数が大きい処理をする。
【００７２】
例えば、静止画用処理のパラメータは、動画用の処理パラメータに対比して低減強度の大きい減算係数となる処理パラメータである。処理選択部２５１は、動画である場合と静止画である場合とに応じて選択した動画用の処理パラメータまたは静止画用の処理パラメータを、記憶部１６０から読み出してスペクトル減算処理設定部２５６に出力する。スペクトル減算処理設定部２５６は、処理選択部２５１から入力された動画用の処理パラメータまたは静止画用の処理パラメータをスペクトル減算処理部２５５に設定する。これにより、音信号処理部２５０は、入力された音信号に対して、画像が静止画である場合、動画である場合に対比して当該音信号の周波数スペクトル毎にノイズを低減するノイズ低減強度が大きい処理をする。
【００７３】
以上のように、音信号処理部２５０は、撮像装置１００において、動画が撮像される際の音信号に対しては、動画に関連付けて記録される音信号に適したノイズ低減処理をし、静止画が撮像される際の音信号に対しては、静止画に関連付けて記録される音信号に適したノイズ低減処理をする。例えば、音信号処理部２５０は、ノイズ低減処理として、撮像された画像に関連付けられている音信号に対してスペクトル減算処理によるノイズ低減処理をし、画像が静止画である場合、動画である場合に対比して当該音信号の周波数スペクトル毎にノイズを低減するノイズ低減強度が大きい処理をする。
これにより、撮像装置１００は、第１実施形態と同様に、撮像された画像に関連付けられている音信号のノイズを適切に低減することができる。
【００７４】
＜第３実施形態＞
次に、第３実施形態におけるノイズ低減処理について説明する。
図５は、第３実施形態における音信号処理部２５０の構成の一例を示す概略ブロック図である。
第３実施形態のノイズ低減処理部２５２は、フィルタ処理部２５３と、フィルタ処理設定部２５４と、スペクトル減算処理部２５５と、スペクトル減算処理設定部２５６とを備えていることが、第１実施形態および第２実施形態と異なる。すなわち、ノイズ低減処理部２５２は、周波数帯域フィルタとスペクトル減算処理との両方のノイズ低減処理（ノイズ低減アルゴリズム）を備えている。その他の構成については、第１実施形態と同様であり説明を省略する。
【００７５】
音信号処理部２５０は、画像が動画である場合と静止画である場合とに応じて、それぞれに応じたアルゴリズムによるノイズ低減処理をする。例えば、音信号処理部２５０は、画像が動画である場合、ノイズ低減処理として周波数帯域フィルタによるノイズ低減処理をし、画像が静止画である場合、ノイズ低減処理としてスペクトル減算処理によるノイズ低減処理をする。
【００７６】
例えば、動画用の処理パラメータには、周波数帯域フィルタによるノイズ低減処理が選択されるように設定されている。また、静止画用の処理パラメータには、スペクトル減算処理によるノイズ低減処理が選択されるように設定されている。処理選択部２５１は、動画である場合と静止画である場合とに応じて選択した動画用の処理パラメータまたは静止画用の処理パラメータを、記憶部１６０から読み出してノイズ低減処理部２５２に出力する。
【００７７】
処理選択部２５１は、動画である場合、記憶部１６０から読み出した動画用の処理パラメータに基づいて、ノイズ低減処理部２５２において周波数帯域フィルタによるノイズ低減処理が実行されるように選択する。フィルタ処理設定部２５４は、処理選択部２５１により記憶部１６０から読み出された動画用の処理パラメータをフィルタ処理部２５３に設定する。
【００７８】
一方、処理選択部２５１は、静止画である場合、記憶部１６０から読み出した静止画用の処理パラメータに基づいて、ノイズ低減処理部２５２においてスペクトル減算処理によるノイズ低減処理が実行されるように選択する。スペクトル減算処理設定部２５６は、処理選択部２５１により記憶部１６０から読み出された静止画用の処理パラメータをスペクトル減算処理部２５５に設定する。
【００７９】
これにより、音信号処理部２５０は、画像が動画である場合、ノイズ低減処理として、スペクトル減算処理において生じる可能性があるミュージカルノイズ（例えば、ノイズを減算した際に除去しきれない周波数軸上で孤立した成分のノイズであって、不自然で耳障りな音として聞こえる人工的なノイズ）が発生しない周波数帯域フィルタによるノイズ低減処理をする。そのため、音信号処理部２５０は、画像が動画である場合、ノイズ低減処理によってノイズ以外の音信号の音質が変化してしまうことや環境音が消去されてしまうようなことが少ないような（原音を残すような）ノイズ低減処理をすることができる。
【００８０】
一方、音信号処理部２５０は、画像が静止画である場合、ノイズ低減処理として、ミュージカルノイズが発生する可能性はあるが周波数帯域フィルタに対比してノイズを低減させる効果が高いスペクトル減算処理によるノイズ低減処理をする。そのため、音信号処理部２５０は、画像が静止画である場合、ノイズ低減処理によって音声以外の音信号（すなわち、ノイズ）の音質が変化してしまうことや環境音が消去されてしまうことは許容して音声が聞き取りやすいようなノイズ低減処理をすることができる。
よって、撮像装置１００は、撮像された画像に関連付けられている音信号のノイズを適切に低減することができる。
【００８１】
＜第４実施形態＞
次に、第４実施形態におけるノイズ低減処理について説明する。
第４実施形態の音信号処理部２５０は、画像が動画である場合と静止画である場合とに応じて、それぞれの場合に応じた推定ノイズによりノイズ低減処理をする。ここでは、第２実施形態と同様に、ノイズ低減処理部２５２がスペクトル減算処理部２５５と、スペクトル減算処理設定部２５６と、を備えている構成であるとして説明する。
【００８２】
音信号処理部２５０は、画像が動画である場合、撮像装置１００において当該画像が撮像される期間において発生する撮像装置１００の機構音を推定ノイズとして、当該推定ノイズに基づいてノイズ低減処理をする。また、音信号処理部２５０は、画像が静止画である場合、当該画像に関連付けられている音信号が検出される期間における周囲の環境音を推定ノイズとして、当該推定ノイズに基づいてノイズ低減処理をする。
【００８３】
例えば、音信号処理部２５０は、画像が動画である場合、動画に応じた推定ノイズスペクトルによりスペクトル減算処理をし、静止画である場合、静止画に応じた推定ノイズスペクトルによりスペクトル減算処理をする。
【００８４】
この場合、例えば、記憶部１６０には、撮像装置１００の機構音をノイズとした推定ノイズスペクトルが動画用の処理パラメータとして予め記憶されている。この機構音とは、撮像装置１００において動画が撮像されている期間に動作部が動作することにより（または、動作されることにより）生じる音であり、例えば、ズーム音、またはフォーカス音等である。記憶部１６０には、ズーム音、またはフォーカス音等をノイズとした推定ノイズスペクトルが予め記憶されている。
【００８５】
また、記憶部１６０には、周囲の環境音をノイズとした推定ノイズスペクトルが静止画用の処理パラメータとして予め記憶されている。この周囲の環境音とは、撮像装置１００において静止画に関連付けられている音信号が検出される期間における周囲の環境音であって、例えば、音声以外の音である。記憶部１６０には、音声以外の音である周囲の環境音をノイズとした推定ノイズスペクトルが予め記憶されている。
【００８６】
これにより、音信号処理部２５０は、画像が動画である場合、動画が撮像されている期間に動作部が動作することにより生じる音（ズーム音、またはフォーカス音等の機構音）を推定ノイズスペクトルとして、音信号に対してスペクトル減算処理によるノイズ低減処理をすることができる。また、音信号処理部２５０は、画像が静止画である場合、静止画に関連付けられている音信号が検出される期間における周囲の環境音（音声以外の音）を推定ノイズスペクトルとして、音信号に対してスペクトル減算処理によるノイズ低減処理をすることができる。
よって、撮像装置１００は、画像が動画である場合と静止画である場合とに応じて、撮像された画像に関連付けられている音信号のノイズを適切に低減することができる。
【００８７】
なお、音信号処理部２５０は、画像が静止画ある場合、当該画像に関連付けられている音信号が検出される期間において発生する撮像装置１００の機構音を推定ノイズとして、当該推定ノイズに基づいてノイズ低減処理をしてもよい。この機構音とは、撮像装置１００において静止画が撮像されるタイミングに動作部が動作することにより生じる音であり、例えば、ミラー音、またはシャッター音等である。これにより、音信号処理部２５０は、画像が静止画である場合、静止画に関連付けられている音信号が検出される期間においてに動作部が動作することにより生じる音（ミラー音、またはシャッター音等の機構音）を推定ノイズスペクトルとして、音信号に対してスペクトル減算処理によるノイズ低減処理をすることができる。
【００８８】
なお、音信号処理部２５０は、第１実施形態と同様に、ノイズ低減処理部２５２がフィルタ処理部２５３と、フィルタ処理設定部２５４と、を備えている構成としてもよい。この場合、音信号処理部２５０は、画像が動画である場合の推定ノイズと静止画である場合の推定ノイズとに基づいて、周波数帯域フィルタの帯域制限させる周波数帯域（遮断周波数）をそれぞれの推定ノイズの周波数成分に対応して設定してもよい。
【００８９】
なお、動画が撮像されている期間に動作部が動作することにより（または、動作されることにより）生じる音を推定ノイズとする場合、ズーム音、またはフォーカス音の他に、ＶＲレンズ１１３の駆動音、または絞り機構（不図示）の駆動音等も、同様に推定ノイズとしてもよい。
【００９０】
＜第５実施形態＞
次に、第５実施形態におけるノイズ低減処理について説明する。
第５実施形態の音信号処理部２５０は、音信号の音量に応じてノイズ低減処理のノイズ低減強度を変更する。
図６は、第５実施形態の音信号処理部２５０の構成の一例を示す概略ブロック図である。この図において、音信号処理部２５０は、音量判定部２５７をさらに備えている。その他の構成については、前述した実施形態と同様である。なお、ノイズ低減処理部２５２は、フィルタ処理部２５３と、フィルタ処理設定部２５４と、を備えている構成としてもよいし、スペクトル減算処理部２５５と、スペクトル減算処理設定部２５６と、を備えている構成としてもよい。また、ノイズ低減処理部２５２は、フィルタ処理部２５３と、フィルタ処理設定部２５４と、スペクトル減算処理部２５５と、スペクトル減算処理設定部２５６と、を備えている構成としてもよい。
【００９１】
音信号処理部２５０は、画像に関連付けられている音信号の音量に応じて、ノイズ低減処理のノイズ低減強度を変更する。例えば、音信号処理部２５０は、画像が動画である場合、当該画像に関連付けられている音信号の音量が大きくなるのに応じて、当該音信号に対するノイズ低減処理のノイズ低減強度を小さくする。また、音信号処理部２５０は、画像が静止画である場合、当該画像に関連付けられている音信号の音量が大きくなるのに応じて、当該音信号に対するノイズ低減処理のノイズ低減強度を大きくする。
【００９２】
例えば、音信号の音量が大きい場合（検出された周囲の環境音等の音量が大きい場合）、動画が撮像されている期間に動作部が動作することにより生じる音（ズーム音、またはフォーカス音等の機構音）の音量は、相対的に小さくノイズとして目立たない音量となる。そのため、音信号処理部２５０は、動画に関連付けられている音信号の音量が大きくなるのに応じて、ノイズ低減強度を小さくして原音を残すようなノイズ低減処理をする。
【００９３】
また、音信号の音量が大きい場合（検出された周囲の環境音等の音量が大きい場合）、静止画に関連付けられている音信号における音声の音量は、相対的に小さく聞き取りにくい音量となる。そのため、音信号処理部２５０は、静止画に関連付けられている音信号の音量が大きくなるのに応じて、音声以外のノイズに対する低減強度を大きくして音声が聞き取りやすくなるようなノイズ低減処理をする。
【００９４】
これにより、音信号処理部２５０は、画像に関連付けられている音信号の音量に応じて、動画に関連付けられている音信号および静止画に関連付けられている音信号のそれぞれに対してノイズを適切に低減することができる。
【００９５】
以上説明してきたように、本実施形態における撮像装置１００は、動画が撮像される際の音信号に対しては、動画に関連付けて記録される音信号に適したノイズ低減処理をし、静止画が撮像される際の音信号に対しては、静止画に関連付けて記録される音信号に適したノイズ低減処理をするため、撮像された画像に関連付けられている音信号のノイズを適切に低減することができる。
【００９６】
なお、第１実施形態から第５実施形態において説明してきたノイズ低減処理は、それぞれのノイズ低減処理を組み合わせて実行されるものであってもよい。
【００９７】
なお、音信号処理部２５０は、撮像装置１００の動作音（機構音）に基づく推定ノイズを低減する処理をする場合、タイミング検出部１９１から入力された撮像装置１００の動作部が動作するタイミングに応じて、当該動作部が動作する期間に対して推定ノイズを低減する処理をしてもよい。また、音信号処理部２５０は、撮像装置１００のそれぞれの動作部の動作音（機構音）に基づくそれぞれの推定ノイズの中から、それぞれの動作部が動作するタイミングに応じた推定ノイズを選択し、選択した推定ノイズを低減する処理をしてもよい。
【００９８】
なお、静止画に関連付けられている音信号に対して、音声が聞き取りやすいようなノイズ低減処理をする場合、ノイズゲート（一定レベル以下の音信号を減衰させる低減処理）によるノイズ低減処理をしてもよい。
【００９９】
なお、静止画に関連付けられている音信号は、音声認識を用いて、音声が認識された期間において、検出されて記録されてもよい。また、静止画に関連付けられている音信号は、音声認識を用いて、特定の音声が認識された期間のみ検出されて記録されてもよい。
【０１００】
なお、上記実施形態において、撮像装置１００がミラー部１１９を備えている構成を例として説明したが、ミラー部１１９を備えていない構成であってもよい。
【０１０１】
なお、上述の音信号処理部２５０は専用のハードウェアにより実現されるものであってもよく、また、メモリおよびＣＰＵ（中央演算装置）により構成され、上述の音信号処理部２５０の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
【０１０２】
また、上述の音信号処理部２５０の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述の音信号処理部２５０を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【０１０３】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【０１０４】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【０１０５】
１００ 撮像装置、２５０ 音信号処理部（処理部）
【特許請求の範囲】
【請求項１】
撮像装置により撮像された画像に関連付けられている音信号に対して、前記画像が動画である場合と静止画である場合とに応じて、それぞれに応じたノイズ低減処理をする処理部、
を備えることを特徴とする信号処理装置。
【請求項２】
前記処理部は、
前記画像が動画である場合、当該画像に関連付けられている音信号に対して、ノイズ低減前の音信号が示す原音を残すようなノイズ低減処理をし、
前記画像が静止画である場合、当該画像に関連付けられている音信号に対して、音声が聞き取りやすくなるようなノイズ低減処理をする
ことを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記処理部は、
前記画像が動画である場合と静止画である場合とに応じて、それぞれに応じたノイズ低減強度のノイズ低減処理をする
ことを特徴とする請求項１または請求項２に記載の信号処理装置。
【請求項４】
前記処理部は、
前記ノイズ低減処理として、前記画像に関連付けられている音信号に対して周波数帯域フィルタによるノイズ低減処理をし、
前記画像が静止画である場合、動画である場合に対比して前記周波数帯域フィルタのノイズ低減強度が大きい
ことを特徴とする請求項１から請求項３の何れか１項に記載の信号処理装置。
【請求項５】
前記処理部は、
前記ノイズ低減処理として、前記画像に関連付けられている音信号の周波数スペクトルを算出して当該周波数スペクトル毎にノイズを低減するノイズ低減処理をし、
前記画像が静止画である場合、動画である場合に対比して当該音信号の周波数スペクトル毎にノイズを低減するノイズ低減強度が大きい
ことを特徴とする請求項１から請求項３の何れか１項に記載の信号処理装置。
【請求項６】
前記処理部は、
前記画像が動画である場合と静止画である場合とに応じて、それぞれに応じたアルゴリズムによるノイズ低減処理をする
ことを特徴とする請求項１から請求項３の何れか１項に記載の信号処理装置。
【請求項７】
前記処理部は、
前記画像が動画である場合、前記ノイズ低減処理として周波数帯域フィルタによるノイズ低減処理をし、
前記画像が静止画である場合、前記ノイズ低減処理として当該画像に関連付けられている音信号の周波数スペクトルを算出して当該周波数スペクトル毎にノイズを低減するノイズ低減処理をする
ことを特徴とする請求項６に記載の信号処理装置。
【請求項８】
前記処理部は、
前記画像が動画である場合、前記撮像装置において当該画像が撮像される期間において発生する前記撮像装置の機構音を推定ノイズとして、当該推定ノイズに基づいてノイズ低減処理をし、
前記画像が静止画である場合、当該画像に関連付けられている音信号が検出される期間における周囲の環境音を推定ノイズとして、当該推定ノイズに基づいてノイズ低減処理をする
ことを特徴とする請求項１から請求項７の何れか１項に記載の信号処理装置。
【請求項９】
前記処理部は、
前記画像が動画である場合、前記撮像装置において当該画像が撮像される期間において発生する前記撮像装置の機構音を推定ノイズとして、当該推定ノイズに基づいてノイズ低減処理をし、
前記画像が静止画ある場合、当該画像に関連付けられている音信号が検出される期間において発生する前記撮像装置の機構音を推定ノイズとして、当該推定ノイズに基づいてノイズ低減処理をする
ことを特徴とする請求項１から請求項７の何れか１項に記載の信号処理装置。
【請求項１０】
前記処理部は、
前記画像に関連付けられている音信号の音量に応じて、前記ノイズ低減処理のノイズ低減強度を変更する
ことを特徴とする請求項１から請求項９の何れか１項に記載の信号処理装置。
【請求項１１】
前記処理部は、
前記画像が動画である場合、当該画像に関連付けられている音信号の音量が大きくなるのに応じて、当該音信号に対する前記ノイズ低減処理のノイズ低減強度を小さくする
ことを特徴とする請求項１から請求項１０の何れか１項に記載の信号処理装置。
【請求項１２】
前記処理部は、
前記画像が静止画である場合、当該画像に関連付けられている音信号の音量が大きくなるのに応じて、当該音信号に対する前記ノイズ低減処理のノイズ低減強度を大きくする
ことを特徴とする請求項１から請求項１１の何れか１項に記載の信号処理装置。
【請求項１３】
前記画像が静止画である場合、当該画像に関連付けられている音信号は、当該画像が撮像されるタイミングに対応して予め設定された期間において検出される音に基づく音信号、または当該画像が撮像された後、予め設定された期間において検出される音に基づく音信号である
ことを特徴とする請求項１から請求項１２の何れか１項に記載の信号処理装置。
【請求項１４】
請求項１から請求項１１の何れか１項に記載の信号処理装置、
を備えることを特徴とする撮像装置。
【請求項１５】
信号処理装置としてのコンピュータに、
撮像装置により撮像された画像に関連付けられている音信号に対して、前記画像が動画である場合と静止画である場合とに応じて、それぞれに応じたノイズ低減処理、
を実行させるためのプログラム。
【請求項１】
撮像装置により撮像された画像に関連付けられている音信号に対して、前記画像が動画である場合と静止画である場合とに応じて、それぞれに応じたノイズ低減処理をする処理部、
を備えることを特徴とする信号処理装置。
【請求項２】
前記処理部は、
前記画像が動画である場合、当該画像に関連付けられている音信号に対して、ノイズ低減前の音信号が示す原音を残すようなノイズ低減処理をし、
前記画像が静止画である場合、当該画像に関連付けられている音信号に対して、音声が聞き取りやすくなるようなノイズ低減処理をする
ことを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記処理部は、
前記画像が動画である場合と静止画である場合とに応じて、それぞれに応じたノイズ低減強度のノイズ低減処理をする
ことを特徴とする請求項１または請求項２に記載の信号処理装置。
【請求項４】
前記処理部は、
前記ノイズ低減処理として、前記画像に関連付けられている音信号に対して周波数帯域フィルタによるノイズ低減処理をし、
前記画像が静止画である場合、動画である場合に対比して前記周波数帯域フィルタのノイズ低減強度が大きい
ことを特徴とする請求項１から請求項３の何れか１項に記載の信号処理装置。
【請求項５】
前記処理部は、
前記ノイズ低減処理として、前記画像に関連付けられている音信号の周波数スペクトルを算出して当該周波数スペクトル毎にノイズを低減するノイズ低減処理をし、
前記画像が静止画である場合、動画である場合に対比して当該音信号の周波数スペクトル毎にノイズを低減するノイズ低減強度が大きい
ことを特徴とする請求項１から請求項３の何れか１項に記載の信号処理装置。
【請求項６】
前記処理部は、
前記画像が動画である場合と静止画である場合とに応じて、それぞれに応じたアルゴリズムによるノイズ低減処理をする
ことを特徴とする請求項１から請求項３の何れか１項に記載の信号処理装置。
【請求項７】
前記処理部は、
前記画像が動画である場合、前記ノイズ低減処理として周波数帯域フィルタによるノイズ低減処理をし、
前記画像が静止画である場合、前記ノイズ低減処理として当該画像に関連付けられている音信号の周波数スペクトルを算出して当該周波数スペクトル毎にノイズを低減するノイズ低減処理をする
ことを特徴とする請求項６に記載の信号処理装置。
【請求項８】
前記処理部は、
前記画像が動画である場合、前記撮像装置において当該画像が撮像される期間において発生する前記撮像装置の機構音を推定ノイズとして、当該推定ノイズに基づいてノイズ低減処理をし、
前記画像が静止画である場合、当該画像に関連付けられている音信号が検出される期間における周囲の環境音を推定ノイズとして、当該推定ノイズに基づいてノイズ低減処理をする
ことを特徴とする請求項１から請求項７の何れか１項に記載の信号処理装置。
【請求項９】
前記処理部は、
前記画像が動画である場合、前記撮像装置において当該画像が撮像される期間において発生する前記撮像装置の機構音を推定ノイズとして、当該推定ノイズに基づいてノイズ低減処理をし、
前記画像が静止画ある場合、当該画像に関連付けられている音信号が検出される期間において発生する前記撮像装置の機構音を推定ノイズとして、当該推定ノイズに基づいてノイズ低減処理をする
ことを特徴とする請求項１から請求項７の何れか１項に記載の信号処理装置。
【請求項１０】
前記処理部は、
前記画像に関連付けられている音信号の音量に応じて、前記ノイズ低減処理のノイズ低減強度を変更する
ことを特徴とする請求項１から請求項９の何れか１項に記載の信号処理装置。
【請求項１１】
前記処理部は、
前記画像が動画である場合、当該画像に関連付けられている音信号の音量が大きくなるのに応じて、当該音信号に対する前記ノイズ低減処理のノイズ低減強度を小さくする
ことを特徴とする請求項１から請求項１０の何れか１項に記載の信号処理装置。
【請求項１２】
前記処理部は、
前記画像が静止画である場合、当該画像に関連付けられている音信号の音量が大きくなるのに応じて、当該音信号に対する前記ノイズ低減処理のノイズ低減強度を大きくする
ことを特徴とする請求項１から請求項１１の何れか１項に記載の信号処理装置。
【請求項１３】
前記画像が静止画である場合、当該画像に関連付けられている音信号は、当該画像が撮像されるタイミングに対応して予め設定された期間において検出される音に基づく音信号、または当該画像が撮像された後、予め設定された期間において検出される音に基づく音信号である
ことを特徴とする請求項１から請求項１２の何れか１項に記載の信号処理装置。
【請求項１４】
請求項１から請求項１１の何れか１項に記載の信号処理装置、
を備えることを特徴とする撮像装置。
【請求項１５】
信号処理装置としてのコンピュータに、
撮像装置により撮像された画像に関連付けられている音信号に対して、前記画像が動画である場合と静止画である場合とに応じて、それぞれに応じたノイズ低減処理、
を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−１７８７８５（Ｐ２０１２−１７８７８５Ａ）
【公開日】平成２４年９月１３日（２０１２．９．１３）
【国際特許分類】
【出願番号】特願２０１１−４１５６７（Ｐ２０１１−４１５６７）
【出願日】平成２３年２月２８日（２０１１．２．２８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年９月１３日（２０１２．９．１３）
【国際特許分類】
【出願日】平成２３年２月２８日（２０１１．２．２８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]