撮像装置及び情報処理装置、これらの制御方法並びに雑音除去方法及びプログラム
【課題】
録音時のＡＬＣ増幅率を記録せずに記録後に音声信号の駆動雑音を低減する。
【解決手段】
レンズ（１０２）は駆動時に駆動雑音を発生する。カメラ制御部（１１９）はレンズ（１０２）の駆動時にスピーカ（１２０）から可聴音でない一定音圧の基準音を発生させる。マイク（１１５）は周囲音を取り込み、音声信号処理回路（１３７）はＡＬＣ回路によりマイク（１１５）の出力音声信号を音圧レベルに応じた増幅率で増幅する。増幅された音声信号はメモリ手段（１３４）に記録される。カメラ制御部（１１９）はメモリ手段（１３４）から音声信号を読み出し、含まれる基準音の音圧により記録時の増幅率を算定する。カメラ制御部（１１９）は、別途記憶する駆動雑音信号を算定増幅率で増幅し、メモリ手段（１３４）からの音声信号から減算する。減算の前後でＦＦＴ（フーリエ変換）と逆ＦＦＴを適用する。
録音時のＡＬＣ増幅率を記録せずに記録後に音声信号の駆動雑音を低減する。
【解決手段】
レンズ（１０２）は駆動時に駆動雑音を発生する。カメラ制御部（１１９）はレンズ（１０２）の駆動時にスピーカ（１２０）から可聴音でない一定音圧の基準音を発生させる。マイク（１１５）は周囲音を取り込み、音声信号処理回路（１３７）はＡＬＣ回路によりマイク（１１５）の出力音声信号を音圧レベルに応じた増幅率で増幅する。増幅された音声信号はメモリ手段（１３４）に記録される。カメラ制御部（１１９）はメモリ手段（１３４）から音声信号を読み出し、含まれる基準音の音圧により記録時の増幅率を算定する。カメラ制御部（１１９）は、別途記憶する駆動雑音信号を算定増幅率で増幅し、メモリ手段（１３４）からの音声信号から減算する。減算の前後でＦＦＴ（フーリエ変換）と逆ＦＦＴを適用する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び情報処理装置、これらの制御方法並びに雑音除去方法及びプログラムに関する。
【背景技術】
【０００２】
静止画撮影のほかに音声信号記録を伴う動画撮影を行う機能を有するデジタルカメラが登場してきている。しかし、動画撮影時にフォーカスレンズの駆動や手振れ防振機構など撮像装置駆動部の動作が行われると、記録すべき音声信号にこれら駆動部の発生する駆動音が雑音として混入してしまう。
【０００３】
このような駆動雑音を低減する様々な技術が知られている。特許文献１には、スペクトルサブトラクション法（ＳＳ法）と呼ばれる手法で駆動雑音を低減することが記載されている。予め撮影動作に伴う駆動雑音を周波数変換したデータを記憶しておく。動画撮影時には、駆動部へ駆動命令を発し駆動雑音が発生した区間の音声信号をフーリエ変換で周波数領域に変換する。周波数領域に変換した雑音混入信号から、予め記憶した対応する周波数領域の駆動雑音データに一定の係数をかけて減算し、逆フーリエ変換により時間領域の信号に戻す。マイクから取得した音声信号を一定長のフレームごとに区切った信号に対し、これを繰り返して行くことで、駆動雑音の低減を行っている。
【０００４】
スペクトルサブトラクション法（ＳＳ法）では、雑音成分に乗じる係数が適正値よりも小さいと、減算する雑音成分が不足し、十分な雑音低減ができない。一方、雑音成分に乗じる係数が適正値よりも大きい場合、雑音減算処理後の音声信号にミュージカルノイズと呼ばれる歪みが生じ、音質が低下する。つまり、スペクトルサブトラクション法（ＳＳ法）では、雑音成分に乗じる係数が適正でないと、雑音除去性能が低下してしまう。
【０００５】
一方、撮像装置の音声処理回路には、一般的にＡＬＣ（Auto-Level Control）と呼ばれる自動音圧レベル制御機能が搭載されている。これは、被写体音声の音圧レベルが小さいときはマイクからの信号レベルを上げ、被写体音声の音圧レベルが大きいときは信号レベルを下げる機能である。これにより、被写体の音声を常に適切な音声レベルで録音することが出来る。
【０００６】
しかし、ＡＬＣ機能により音圧レベルの利得が変動する撮像装置において、音声信号に駆動雑音が混入した場合、駆動雑音の音圧レベルもＡＬＣの増幅率によって変動する。このような音声信号に対してＳＳ法による雑音除去処理を適用すると、雑音成分の音圧レベルの変動により、雑音成分を減算しすぎたり、減算量が不足したりする。特許文献２には、ＡＬＣの音圧レベル増幅率を常時取得し、ＳＳ法による減算処理にＡＬＣの音圧レベル増幅率を加味して減算することが記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−２７９１８５号公報
【特許文献２】特開２００８−０５８３４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ＡＬＣ機能を使用する撮像装置で、ＳＳ法による駆動雑音除去処理を組み合わせると、以下のような問題点がある。
【０００９】
ＳＳ法は音声信号に対しフーリエ変換により周波数領域に変換し、さらに雑音成分の減算を行ったあと逆フーリエ変換により時間領域の信号に変換する。回路構成にもよるが、一般的にフーリエ変換及び逆フーリエ変換は演算負荷が高く、ＳＳ法のように音声信号に対し区切ったフレーム分だけ処理を繰り返すことは大きな演算量となる。
【００１０】
実際の動画撮影において、取得される音声信号に対し随時フレームごとにＳＳ法の処理をして音声記録部に書き込んでいくことは、現状の撮像装置の演算処理装置では困難である。また、取得される音声信号に対し随時フレームごとにＳＳ法の処理をする際にＡＬＣ制御量を常に監視し取得することは、演算処理装置への更なる負荷となる。
【００１１】
動画撮影時には音声信号に対しＳＳ法による駆動雑音除去処理を行わずにそののままの音声信号を記録し、撮影終了後（録音終了後）に適用することが考えられる。状況によっては、外部の処理能力の高い演算処理装置を利用することも可能になる。しかし、記録された音声信号にＳＳ法による雑音除去処理で適切な結果を得るには、ＡＬＣの音圧レベル増幅率を知る必要がある。しかし、音圧レベル増幅率を動画撮影時に音声信号に同期して記録すると、音圧レベル増幅率を記録する為に特殊な動画記録のフォーマットが必要になるだけでなく、記録データ量が増大する。
【００１２】
本発明は、ＡＬＣの増幅率を記憶すること無しに、音声信号から駆動雑音を適切に低減できる撮像装置及び情報処理装置、これらの制御方法並びに雑音除去方法及びプログラムを提示することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、本発明に係る撮像装置は、被写体像を結像する撮像光学系と、前記撮像光学系から導かれる被写体像を撮像する撮像素子と、前記撮像光学系を調整する際に駆動雑音を発生する撮像光学系駆動手段と、基準音を発生する基準音発生手段と、音声信号を取得する音声入力手段と、前記音声入力手段により取得される音声信号を、前記音声信号の音圧レベルに応じた増幅率で増幅する音声増幅手段と、前記音声増幅手段で増幅された音声信号を記録媒体に記録する録音手段と、前記記録媒体に記録された音声信号に重畳する前記基準音に基づいて前記音声増幅手段の前記増幅率を算出する増幅率算出手段と、前記撮像光学系駆動手段から発生する駆動雑音の周波数領域での雑音成分を記憶する駆動雑音記憶手段と、前記記録媒体に記録された音声信号を周波数領域に変換する周波数変換手段と、前記周波数変換手段の変換結果から、前記駆動雑音記憶手段に記憶される前記雑音成分に前記増幅率算出手段で算出される前記増幅率に相当する調整を施した結果を減算する減算手段と、前記減算手段の減算結果を時間領域に変換する時間領域変換手段とを有することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、記録された音声信号から、記録時に混入した雑音を効果的に低減することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施例の中央断面図である。
【図２】第１実施例の概略構成ブロック図である。
【図３】音声信号及び音圧レベル増幅率の変化例を示す模式図である。
【図４】一定区間の音声信号のスペクトラム図である。
【図５】一定区間の音声信号のスペクトラム図である。
【図７】雑音除去手段の概略構成ブロック図である。
【図６】第１実施例における録音動作のフローチャートである。
【図８】第１実施例における雑音除去処理のフローチャートである。
【図９】第１実施例における音声信号及び音圧レベル増幅率の変化例の模式図である。
【図１０】第１の実施例における音声信号のスペクトラム例である。
【図１１】第２実施例における録音動作のフローチャートである。
【図１２】第２実施例における雑音除去処理のフローチャートである。
【図１３】第２実施例における音声信号及び音圧レベル増幅率の変化例の模式図である。
【図１４】第２実施例における音声信号のスペクトラム例である。
【図１５】第３実施例におけるデジタル一眼レフカメラ及び情報処理装置の全体構成図である。
【図１６】第３実施例の概略構成ブロック図である。
【図１７】第３実施例における雑音除去処理のフローチャートである。
【図１８】メモリカードで音声データを転送する変更構成のシステム全体図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【００１７】
図１は、本発明に係る撮像装置の一実施例であるデジタル一眼レフカメラの中央断面図を示し、図２は、本実施例の概略構成ブロック図を示す。
【００１８】
１００は本発明の一実施例であるデジタル一眼レフカメラを示す。１０１はデジタル一眼レフカメラ１００のカメラボディを示す。１０２は撮影レンズを示す。撮影レンズ１０２は、レンズ鏡筒１０３内に光軸１０５を有する撮像光学系１０４を有する。撮像光学系１０４は、フォーカスレンズ群、手ブレ補正レンズユニット及び絞り機構、これらを駆動する光学系駆動部（撮像光学系駆動手段）１０６、並びに光学系駆動部１０６を制御するレンズ制御部１０７を有する。撮像光学系１０４は、レンズマウント接点１０８でカメラボディ１０１と電気的に接続する。撮影レンズ１０２は取り外し可能であり、焦点距離又はＦ値などの光学定数の異なるものに交換できる。
【００１９】
撮影レンズ１０２の前方から入射する被写体光学像は、光軸１０５を通ってカメラボディ１０１に入射する。入射光の一部は、ハーフミラーで構成された主ミラー１１０で反射され、フォーカルスクリーン１１７上に結像する。ユーザ又は撮影者は、フォーカルスクリーン１１７上に結象した光学象を、ペンタプリズム１１１を通して接眼窓１１２から視認出来る。これらは、光学ビューファインダ構成となる。
【００２０】
測光センサ１１６は、フォーカルスクリーン１１７上に結像した光学象の明るさを検出する。また、主ミラー１１０を透過した被写体光学像は、サブミラー１１３で反射され、焦点検出部１１４に入射する。焦点検出部１１４の出力は、被写体像の焦点検出演算に用いられる。測光センサ１１６は、フォーカルスクリーン１１７の全体、若しくは、１又は複数の所定部分の露光量を検出する。
【００２１】
カメラボディ１０１内にある不図示のレリーズボタンが操作され、撮影開始命令が発せられると、主ミラー１１０及びサブミラー１１３は、被写体光学像が撮像素子１１８に入射するように撮影光路から退避する。
【００２２】
焦点検出部１１４及び測光センサ１１６の検出出力、並びに撮像素子１１８の出力は、カメラ制御部１１９に供給される。カメラ制御部１１９は、これらの信号に従い、カメラ１００の全体を制御する。
【００２３】
動画撮影時には、音声入力手段であるマイク１１５が、外部の音声を取り込み、音声信号に変換してカメラ制御部１１９に供給する。この音声信号は、撮像素子１１８から出力される画像信号と同期して、記録処理される。
【００２４】
スピーカ１２０は、撮影動画の再生時に再生音声信号を出力するためと、撮影者に警告などを発するための警告音等を出力する。スピーカ１２０は、詳細は後述するが、録音された音声信号から録音時のＡＬＣ増幅率を検出するための一定音圧の基準音を発生する基準音発生手段としても機能する。
【００２５】
図２を参照してカメラ１００の構成と基本動作を説明する。カメラ１００は、撮像系、画像処理系、音声処理系、記録再生系及び制御系を有する。撮像系は、撮像光学系１０４及び撮像素子１１８を含む。画像処理系は、Ａ／Ｄ変換器１３１及び画像処理回路１３２を含む。音声処理系は、マイク１１５と、音声増幅手段としてのＡＬＣ回路を有する音声信号処理回路１３７を含む。記録再生系は、記録処理装置１３３及びメモリ１３４を含む。メモリ１３４には、駆動雑音周波数成分が予め記録されている。制御系は、光学系駆動部１０６、レンズ制御部１０７、カメラ制御部１１９、焦点検出部１１４、測光センサ１１６及び操作検出部１３５を含む。光学系駆動部１０６は、焦点レンズ駆動部１０６ａ、ブレ補正駆動部１０６ｂ及び絞り駆動部１０６ｃなどから構成されている。
【００２６】
カメラ制御部１１９は、駆動雑音除去のために、音声信号を周波数領域に変換する手段、周波数領域の音声信号を時間領域に変換する手段及び駆動雑音成分減算手段を有する。カメラ制御部１１９上で動作する雑音除去プログラムが、これら手段にそれぞれ対応する周波数領域変換機能、時間領域変換機能及び雑音除去機能をカメラ制御部１１９に実現させる。カメラ制御部１１９はまた、レンズ１０２の光学要素（ズーム、絞り、フォーカス）毎の駆動雑音を可聴音帯域の周波数成分に分解して記憶する駆動雑音記憶手段を内蔵する。
【００２７】
撮像系は、被写体などの物体からの光を撮像光学系１０４により撮像素子１１８の撮像面に結像する光学処理系である。エイミングなどの撮影予備動作中は、主ミラー１１０に設けられたミラーを介して、焦点検出部１１４にも光束の一部が導かれる。後述するように、制御系が適切に撮像光学系を調整することで、適切な光量の物体光が撮像素子１１８に入射するとともに、撮像素子１１８の近傍で被写体像が結像する。
【００２８】
Ａ／Ｄ変換器１３１は、撮像素子１１８の出力画像信号をデジタル化して、画像処理回路１３２に入力する。画像処理回路１３２は、Ａ／Ｄ変換器１３１からの画像データを処理する回路であり、ホワイトバランス回路、ガンマ補正回路、及び、補間演算による高解像度化を行う補間演算回路等を有する。
【００２９】
音声処理系では、音声信号処理回路１３７が、マイク１１５の出力信号をＡＬＣ回路により自動で適切な音圧レベルに調節する。なお、ＡＬＣ回路は、マイクからの音声信号の大きさによって音圧レベル増幅率Ｇｔを最小増幅率Ｇｍｉｎから最大増幅率Ｇｍａｘの範囲で変化させる。例えば、被写体音声がほとんどなく無音に近い状態が続くと、音圧レベル増幅率Ｇｔは最大増幅率Ｇｍａｘとなり、逆に音声信号の量子化可能な範囲を越える大きな音が続いている場合、最小増幅率Ｇｍｉｎとなる。音声信号処理回路１３７は更に、不要な低周波成分及び高周波成分をカットし、録音用音声信号を生成する。録音用生成信号は、後述する記録処理部により画像データとリンクして記録処理される。
【００３０】
記録処理装置１３３は、メモリ１３４に画像データを出力するとともに、画像表示装置１３６に出力すべき画像の画像データを生成し保存する。また、記録処理装置１３３は、所定の方法で画像データ、動画データ及び音声データをデータ圧縮し、記録媒体に記録する。
【００３１】
カメラ制御部１１９は、撮像の際のタイミング信号などを生成して出力する。焦点検出部１１４は、被写体のピント状態を検出し、露出検出部としての測光センサ１１６は、被写体の輝度を検出する。レンズ制御部１０７は、カメラ制御部１１９からの制御信号に応じて、撮像光学系１０４の焦点、ズーム及び絞りを調整する。
【００３２】
制御系は、外部操作に連動して撮像系、画像処理系及び記録再生系をそれぞれ制御する。例えば、操作検出部１３５は、不図示のシャッタレリーズ釦の押下を検出する。カメラ制御部１１９は、この検出出力に応じて、撮像素子１１８の駆動、画像処理回路１３２の動作、及び記録処理装置１３３の圧縮処理などを制御する。カメラ制御部１１９はまた、画像表示装置１３６を構成する光学ファインダ及び／又は液晶モニタ等による情報表示を行う情報表示装置の各セグメントを制御する。
【００３３】
撮像光学系の調整動作を説明する。カメラ制御部１１９は、焦点検出部１１４及び測光センサ１１６の検出出力に従い、適切な焦点位置と絞り位置を決定し、その位置への制御を示す制御信号をレンズ制御部１０７に供給する。レンズ制御部１０７は、カメラ制御部１１９からの制御信号に従い、焦点レンズ駆動部１０６ａ及び絞り駆動部１０６ｃにそれぞれ焦点レンズ及び絞りを駆動させる。
【００３４】
レンズ制御部１０７には、不図示の手ブレ検出センサが接続する。手ぶれ補正モードでは、レンズ制御部１０７は、手ブレ検出センサの検出出力に従いブレ補正駆動部１０６ｂを制御して手ブレを軽減させる。
【００３５】
動画撮影時には、主ミラー１１０及びサブミラー１１３が光軸１０５から撮像素子１１８に入射する光路から退避するので、焦点検出部１１４及び測光センサ１１６には、被写体光学像が入射しない。このとき、カメラ制御部１１９は、焦点レンズ駆動部１０６ａの駆動量と撮像素子１１８から出力される連続的な画像信号を用いて、いわゆる山登り方式と呼ばれる焦点検出方法で撮像光学系のピント状態を調節する。また、カメラ制御部１１９は、撮像素子１１８から出力される画像信号を用いて、被写体の輝度を算出し、絞りを調節する。
【００３６】
図３を参照して、音声信号処理回路１３７のＡＬＣ回路の動作を説明する。図３（ａ）は、レンズ駆動による雑音（駆動雑音）が混入した音声信号を時間領域で示す。横軸は時間を示し、縦軸は、音声信号の振幅を示す。図３（ｂ）は、図３（ａ）に示す音声信号に同期した制御されるＡＬＣ回路の音圧レベル増幅率Ｇｔを示す。マイク１１５から取得される音声信号が小さいときは徐々に音圧レベル増幅率を上げ、区間２０３のように大きな音声信号が入力されたときは急激に音圧レベル増幅率を下げる。図３（ａ）に示す音声信号は、約５秒間に及び被写体たる人物が話しているものであるが、その間に何度もＡＬＣ回路による音圧レベル増幅率の変動が発生している。
【００３７】
本実施例の雑音除去処理又は雑音低減処理を詳細に説明する。図４は、図３に示す音声信号の区間２０１の周波数特性例を示す。横軸は周波数を示し、縦軸は音声レベル（ｄＢ）を示す。図４（ａ）は、被写体音に駆動雑音２０１ｂが混入した音声信号２０１ａの周波数特特性を示す。音声信号２０１ａは、ＡＬＣの増幅率Ｇ１で増幅されている。図４（ｂ）に示す音声信号２０１ｃは、予め取得している駆動雑音成分に増幅率Ｇ１に相当する係数を乗算した、調整された駆動雑音（調整駆動雑音という）を示す。図４（ｃ）に示す音声信号２０１ｄは、駆動雑音成分を含まれない被写体音のみからなる音声信号を示す。すなわち、音声信号２０１ａは、音声信号２０１ｄに駆動雑音の音声信号２０１ｂを加算したものからなる。駆動雑音の音声信号２０１ｂは調整駆動雑音２０１ｃにほぼ一致する。従って、ＡＬＣ後の音声信号２０１ａから調整駆動雑音２０１ｃを減算することで、被写体音のみからなる音声信号２０１ｄを抽出できる。
【００３８】
図５は、図３に示す音声信号の区間２０２の周波数特性例を示す。横軸は周波数を示し、縦軸は音声レベル（ｄＢ）を示す。図５（ａ）は、被写体音に駆動雑音２０２ｂが混入した音声信号２０２ａの周波数特特性を示す。音声信号２０２ａは、ＡＬＣの増幅率Ｇ２で増幅されている。図５（ｂ）に示す音声信号２０２ｃは、予め取得している駆動雑音成分に増幅率Ｇ２に相当する係数を乗算した調整駆動雑音を示す。調整駆動雑音２０２ｃの周波数特性は、調整駆動雑音２０１ｃに対して音声レベルが異なるのみであり、調整駆動雑音２０１ｃをＧ２／Ｇ１倍すると、駆動調整雑音２０２ｃに一致するレベルとなる。図５（ｃ）に示す音声信号２０２ｄは、駆動雑音成分を含まれない被写体音のみからなる音声信号を示す。すなわち、音声信号２０２ａは、音声信号２０２ｄに駆動雑音の音声信号２０２ｂを加算したものからなる。駆動雑音の音声信号２０２ｂは調整駆動雑音２０２ｃにほぼ一致する。従って、ＡＬＣ後の音声信号２０２ａから調整駆動雑音２０２ｃを減算することで、被写体音のみからなる音声信号２０２ｄを抽出できる。
【００３９】
本実施例は、録音を伴う撮影時には、レンズ駆動時にスピーカ１２０から所定周波数の基準音を生成させ、被写体音声と共にこの基準音を記録する。図６は、録音中のレンズ駆動の制御フローチャートを示す。なお、カメラ制御部１１９は、撮影準備中又は撮影中に、撮影者によるレンズ１０２の光学系調整操作、及び合焦制御動作に従い、レンズ１０２のレンズ制御部１０７にレンズ駆動命令を供給する。
【００４０】
録音動作が開始されると、ステップＳ１００１で、カメラ制御部１１９は、レンズ制御部１０７にレンズ駆動命令を供給すべきイベントが発生したか否かを判別する。そのようなイベントが発生すると、カメラ制御部１１９は、ステップＳ１００２で、スピーカ１２０から基準音を発生させる。基準音は、例えば被写体音に含まれると予想される周波数帯域とは異なる周波数を持つ、発生音圧が一定な単波長音である。基準音の周波数は、音声信号処理回路１３７で量子化に使用されるサンプリング周波数の半分以下であり、人間の可聴帯域外であることが望ましい。例えば、音声信号処理回路１３７のサンプリング周波数が４４．１ｋＨである場合、人の可聴帯域を考慮して、基準音は約１０ｋＨｚ以上（で２２ｋＨｚ以下）の単波長音と設定すればよい。本実施例では、サンプリング周波数４４．１ｋＨｚとし、基準音を１８ｋＨｚの単波長音とする。単波長音の周波数はこれに限られるものではなく、所定の周波数であればよい。
【００４１】
ステップＳ１００３は、カメラ制御部１１９は、実際に、レンズ１０２にレンズ駆動命令を供給して、レンズ１０２の指定の光学要素の駆動を開始させる。光学系の調整が完了してレンズ駆動が終了すると（Ｓ１００４）、カメラ制御部１１９は、基準音の発生を終了する（Ｓ１００５）。
【００４２】
Ｓ１００６で録音スイッチのオフが検出されるまで（Ｓ１００６）、カメラ制御部１１９は、ステップＳ１００１に戻り、上記処理を繰り返す。ステップＳ１００６で録音スイッチのオフが検出されたら、カメラ制御部１１９は、録音動作を終了する。
【００４３】
録音動作が終了するまでの間に取得された音声信号は、順次、音声信号処理回路１３７により処理されて、メモリ手段１３４に記録される。
【００４４】
図７は、カメラ制御部１１９内の雑音除去手段の概略構成ブロック図を示す。図８は駆動雑音除去処理の動作フローチャートを示す。図９は、記録された音声信号波形、ＡＬＣの音圧レベル増幅率の変化及び基準音波形の一例を示す。
【００４５】
カメラ制御部１１９は、メモリ手段１３４に記録された音声データ３０１を読み出して、高速フーリエ変換装置（ＦＦＴ）３０２とバンドパスフィルタ３０３に供給する。ＦＦＴ３０２は、音声データ３０１をフーリエ変換により周波数領域に変換する周波数変換手段として機能し、周波数変換ステップ又は周波数変換機能を実現する。バンドパスフィルタ３０３の透過周波数は、基準音の周波数に一致する。バンドパスフィルタ３０３は、音声データ３０１から基準音を抽出する。バンドパスフィルタ３０３の出力レベルは、録音時のＡＬＣによる音圧レベル増幅率を示し、この点で、バンドパスフィルタ３０３は録音時の増幅率を算出する増幅率算出手段として機能する。増幅率算出手段に相当する増幅率算出ステップ及び増幅率算出機能が、カメラ制御部１１９上で実現される。
【００４６】
カメラ制御部１１９はまた、駆動雑音の周波数成分３０４を減残量調整手段３０５に供給する。減残量調整手段３０５は、バンドパスフィルタ３０３の出力レベルに応じて、駆動雑音の周波数成分３０４のレベルを調整する。具体的には、減残量調整手段３０５は、録音時のＡＬＣによる音圧レベル増幅率に相当する増幅率で、駆動雑音の各周波数成分３０４を増幅する利得可変増幅器である。
【００４７】
減算器３０６は、ＦＦＴ３０２の出力から、減残量調整手段３０５の対応する周波数成分の出力を減算する。逆フーリエ変換装置（ＩＦＦＴ）３０７は、減算器３０６の出力を逆フーリエ変換して、周波数領域から時間領域に戻す。減算器３０６に相当する減算ステップ及び減算機能が、カメラ制御部１１９上で実現される。
【００４８】
基準音がレンズ駆動タイミングと同期していることから、バンドパスフィルタ３０３は駆動雑音発生タイミングを検出する検出手段と評価することができる。減残量調整手段３０５、減算器３０６及びＩＦＦＴ３０７は、この検出手段の検出結果に基づいて駆動雑音を低減又は除去する駆動雑音除去手段とも言える。この駆動雑音除去手段に相当する駆動雑音除去ステップと駆動雑音除去機能が、カメラ制御部１１９により実現される。
【００４９】
図９（ａ）は、マイク１１５及び音声信号処理回路１３７を介して録音される音声信号の波形例を示す。横軸は時間を示し、縦軸は音声信号レベルを示す。図９（ｂ）は、図９（ａ）に対応するＡＬＣ回路における音圧レベル増幅率Ｇｔの変動を示す。レンズ駆動命令が発せられると、図９（ａ）の区間２０４に示すように、被写体音にレンズ駆動雑音と基準音が重畳する。区間２０４では、ＡＬＣ回路の音圧レベル増幅率Ｇｔも変動する。
【００５０】
図８を参照して、メモリ手段１３４に記録された音声信号に対する雑音除去処理を説明する。図８は、本実施例の雑音除去処理動作のフローチャートである。
【００５１】
ステップＳ１１０１で、カメラ制御部１１９は、メモリ手段１３４に記録された音声信号を読み込む。ステップＳ１１０２で、カメラ制御部１１９は、基準音を抽出するために、読み込んだ音声信号に基準音の周波数帯域を通過させる帯域通過フィルタ（バンドパスフィルタ）を適用する。本実施例では１８ｋＨｚの基準音を発生させるので、１８ｋＨｚの帯域を通過させる急峻なバンドパスフィルタを採用する。図１０（ｄ）は、適用するバンドパスフィルタの通過帯域２０５ｅを示す。
【００５２】
ステップＳ１１０３で、カメラ制御部１１９は、バンドパスフィルタにより抽出された基準音信号の音圧変化からＡＬＣの音圧レベル増幅率Ｇｔを算出する。図９（ｃ）は、ステップＳ１１０２で抽出された基準音信号の波形例を示す。抽出された基準音信号の音圧変化から、図９（ｂ）に示すＡＬＣ回路の音圧レベル増幅率Ｇｔを算出できる。
【００５３】
ステップＳ１１０４で、カメラ制御部１１９は、ステップＳ１１０１で読み込んだ音声データを一定フレーム長に分割し、各分割フレームに対し高速フーリエ変換（ＦＦＴ）を適用して周波数領域に変換する。ＦＦＴ処理では分割フレームごとに随時、周波数領域への変換を行っていくが、以下では、図９（ａ）に示すフレーム区間２０５における音声信号の処理例を説明する。
【００５４】
図１０は、サンプリング周波数４４．１ｋＨｚの音声信号を次数５１２点でＦＦＴ処理し、周波数領域で表現したもの及びバンドパスフィルタの特性を示す。横軸は周波数を示し、縦軸は各周波数における音圧レベル（ｄＢ）を示す。図１０（ａ）のスペクトル２０５ａは、図９（ａ）のフレーム区間２０５における音声信号を周波数領域で表現したものである。スペクトル２０５ｂは、フレーム区間２０５における駆動雑音と基準音のみからなる音声信号の周波数領域変換の結果を示す。図１０（ｂ）は、駆動雑音のみのスペクトル２０５ｃを示し、図１０（ｃ）は、基準音のみのスペクトル２０５ｄを示す。
【００５５】
図１０（ａ）に示すように、記録された音声信号のスペクトル２０５ａでは、基準音の周波数である周波数帯域２０６で基準音成分を示すピークが出現する。ステップＳ１１０４では、この基準音周波数成分を抽出する為に、図１０（ｄ）に示す透過特性のバンドパスフィルタを用いている。音圧レベル増幅率をＧｍｉｎとしたときのフレーム区間２０５のスペクトル２０５ｃ及び２０５ｄに相当するデータが予め取得され、メモリ手段１３４又はカメラ制御部１１９に記憶されている。
【００５６】
ステップＳ１１０５で、カメラ制御部１１９は、予め記憶された駆動雑音及び基準音の周波数成分をステップＳ１１０３で求めた音圧レベル増幅率Ｇｔに応じて調整する。そして、その調整結果をステップＳ１１０４で算出した周波数領域の変換結果から減算する。すなわち、
SS(f,n)=S(f,n)-NM(f,n)×Gt(n)/Gmin×α （１）
Ｓは取得（記録）された音声信号を示す。ＮＭは予め記憶された駆動雑音及び基準音を示す。ＳＳは雑音除去処理された音声信号を示す。各信号Ｓ，ＮＭ，ＳＳは周波数領域で表現され、括弧内のｆはＦＦＴ処理で分割し表現される周波数、ｎはＦＦＴ処理時の分割フレーム番を表す。Ｇｔは各フレームにおける音圧レベル増幅率である。αはＳＳ手法において雑音成分を減算する際に掛けるサブトラクト係数と呼ばれるもので、雑音成分を減算する重みｚを決定する。αは１としても良いが、減算する雑音成分によって調整を行った方が、雑音除去性能が向上する。本実施例では、αを固定値とするが、ＳＳ処理結果に対し評価関数を設け、その評価結果によりαの値をフィードバックして変更しても良い。
【００５７】
ステップＳ１１０５では結局、カメラ制御部１１９は、雑音成分の重畳したスペクトル２０５ａから駆動雑音成分及び基準音成分のスペクトル２０５ｃ，２０５ｄを減算することに相当する処理を実行する。これにより、雑音除去処理された音声信号スペクトルが算出される。
【００５８】
本実施例では、記録された音声信号に駆動雑音が混入したタイミングが分からなくても良い。駆動雑音が混入していない区間では、図９（ｃ）に示すように、抽出された基準音の音圧レベルが、音圧レベル増幅率Ｇｍｉｎのときのそれよりも明らかに低くなっているからである。調整後の駆動雑音が極小になるので、減算によっても、被写体音声から雑音成分を減算しすぎることはない。
【００５９】
ステップＳ１１０６で、カメラ制御部１１９は、雑音成分の減算結果に逆高速フーリエ変換（ＩＦＦＴ）を適用して時間領域の音声信号に戻す。すなわち、時間領域変換ステップ又は時間領域変換機能が、カメラ制御部１１９で実現される。得られた音声信号は、駆動雑音及び基準音を除去されたものになっている。
【００６０】
ステップＳ１１０７で、カメラ制御部１１９は、雑音除去処理を行った音声信号を、メモリ手段１３４に先に記録されていた駆動雑音及び基準音の重畳した音声信号に対し上書きして記録する。
【００６１】
このように、メモリ手段１３４に暫定的に記録した音声信号に順次、雑音除去処理を適用し、雑音除去処理した音声信号に変更する。勿論、雑音除去処理後の音声信号を、雑音除去処理前の音声信号とは別にメモリ手段１３４に記録しても良い。
【００６２】
以上説明したように、本実施例では、レンズ駆動時に音圧及び周波数が定常な基準音を発してその音声信号を被写体音と一緒に記録し、動画撮影終了後に雑音除去処理を行う。雑音除去処理では、基準音の音圧レベルから録音時の音圧レベル増幅率を検出し、駆動雑音レベルを調整して雑音除去処理を行っている。これにより、ＡＬＣ回路による音圧レベル変動を考慮した雑音除去が可能になる。また、暫定記録後の雑音除去になるので、演算負荷の高いＳＳ法を利用できる。ＡＬＣ回路による音圧レベル増幅率に相当する情報を記録するための特別なフォーマットを採用しなくて良いので、汎用性がある。動画撮影時にＡＬＣの音圧レベル増幅率の変化を常に監視及び取得しなくても良いので、動画撮影時の演算負荷の低減にも繋がる。
【００６３】
また、基準音の単波長音を可聴帯域に対して１８ｋＨｚと高周波に設定しているので、撮影者にとって撮影中にあまり耳障りではない。特に、人間の可聴特性にはＡ特性と呼ばれる４ｋＨｚよりも高周波な音は周波数が上がるにつれて聞き取りにくくなる特性がある。よって、図１０（ｃ）のスペクトラム２０５ａでしめすように基準音の周波数成分が大きくても人間の耳には聞こえることは少ない。
【００６４】
また、ＡＬＣ回路の音圧レベル増幅率はマイク１１５から取得される音声信号の音圧レベルによって決定されるので、基準音は音圧レベル増幅率を決定するのに影響のない音圧レベル以下でスピーカ１２０より発しなければいけない。しかし、ＡＬＣの音圧レベル増幅率を決定する際に、音声信号に対しＡ特性を掛けた信号により音圧レベルを決定することにより、基準音の音圧レベルがある程度大きくても、音圧レベル増幅率の決定には影響を与えないようにできる。
【００６５】
基準音の周波数帯域を通常のサンプリング周波数の半分より大きく、かつ完全に可聴帯域より大きい例えば２２ｋＨｚなどに設定し、基準音の発生時にのみサンプリング周波数を基準音の周波数帯域の２倍以上に変更して記録しても良い。
【００６６】
本実施例では、音圧レベル増幅率の変動を検出するのに、基準音の含まれた音声信号を基準音の周波数帯域を通過させるバンドパスフィルタに通して、フィルタ通過後の音声信号の音圧レベル変動を算出した。バンドパスフィルタを用いずに、ＦＦＴの結果から基準音の音圧を決定し、音圧レベル増幅率を算出しても良い。この場合、音圧レベル増幅率が最小（Ｇｍｉｎ）となる基準音の周波数成分の値を記憶し、各フレームのスペクトラムの基準音の周波数成分の値を相互に比較することで、音圧レベル増幅率を算出できる。
【００６７】
雑音周波数成分による減算を、音声信号に対して駆動雑音が混入したタイミング以外の区間で行うと、音声信号を劣化させてしまう。つまり、すでに録音された信号に対してＳＳ手法で雑音除去処理をしようとしても、駆動雑音の混入区間がわからないと、適正な雑音除去処理が出来ない。また、雑音混入のタイミングを記録しようとする音声信号に付加しようとすると、特殊な記録フォーマットが必要であったり、記録データ量の増大に繋がる。
【００６８】
本実施例では、基準音の音圧レベルを算出したプロセスで、駆動雑音が混入していない区間では明らかに音圧レベルが小さくなる。そして、音圧レベル増幅率を用いて雑音成分レベルを調整する際にその区間の調整量は極く小さいものとなるので、音声信号にほとんど影響は与えない。つまり、雑音混入のタイミングがわからない音声信号に対しても適切な雑音除去処理が可能である。
【００６９】
本実施例では、記録された基準音から雑音混入のタイミング、すなわち駆動雑音発生タイミングを検出できる。この駆動雑音発生タイミング検出機能は、その他の雑音除去処理にも有効である。例えば、雑音混入区間前後の音声信号から雑音混入区間の音声信号を予測補間するという、いわゆる予測処理による雑音除去処理手法が知られている。予測処理では、雑音混入区間がわからないと雑音去処理を行うことはできないので、記録された音声信号から事後的に雑音除去処理することは困難である。また、予測処理は高精度な予測補間を行おうとすると演算負荷が大きくなり、動画撮影時に雑音除去処理を行うことが困難になる。しかし、本実施例のように、基準音を同時に記録した音声信号から当該基準音を抽出することで雑音混入区間を検出することにより、適切なタイミングで雑音除去処理が可能である。よって、記録後に、演算負荷の大きな高精度な雑音除去処理を利用できる。また、予測処理以外のフィルタ処理による雑音除去においても、雑音混入区間が検出できれば、雑音混入区間にだけフィルタ処理を行えばよいので、他の区間の音声信号に影響を与えることがなくなる。
【実施例２】
【００７０】
レンズ駆動雑音に含まれる特定の周波数に着目し、その特定周波数の音声信号を、駆動雑音の混入タイミング及びＡＬＣの音圧レベル増幅率の決定に利用する実施例を説明する。ここでは、被写体の音声信号に動画撮影時に駆動する手振れ防振機構の駆動音が混入した場合における雑音除去処理を説明する。手振れ防振機構は、動画撮影が開始されると同時に手振れ防振駆動を開始され、動画撮影が終了するまで常時駆動されているとする。また、手振れ防振機構はクロック数１６ｋＨｚでのＰＷＭ制御（Ｐｕｌｓｅ Ｗｉｄｔｈ Ｍｏｄｕｌａｔｉｏｎ）により駆動されているとする。手振れ防振機構は、駆動時に機構が摺動等に伴う音を発生させる以外に、PWM制御の原理上、クロック周波数の帯域をもつ単波長音を発生する。この音は、手振れ状態に関係なく常に一定の音圧レベルを持つ。第２実施例では、ＰＷＭ制御に伴うクロック周波数の単波長音を基準音として用いて、音圧レベル増幅率の変動を検出する。
【００７１】
図１１は、本実施例における動画撮影時の録音動作のフローチャートを示す。図１１を参照して、本実施例の録音動作を説明する。
【００７２】
動画撮影が開始されるとフローがスタートし、ステップＳ２００１で、ＰＷＭ制御により手振れ防振機構の動作が開始される。手振れ防振動作が開始されると、ＰＷＭ制御のクロック周波数の単波長音を含む駆動雑音が発生する。
【００７３】
ステップＳ２００２で、カメラ制御部１１９は、録音動作を開始する。すなわち、音声信号処理回路１３７のＡＬＣ回路がマイク１１５の出力音声信号をその音圧レベルに応じて増幅し、増幅後の音声信号がメモリ手段１３４に記録される。
【００７４】
ステップＳ２００３でカメラ制御部１１９が撮影スイッチのオフを検出するまで、カメラ制御部１１９は、手振れ防振機構を駆動し続けると共に、ステップＳ２００２に戻り、録音動作を続行する。
【００７５】
ステップＳ２００３で撮影スイッチのオフが検出されると、カメラ制御部１１９は、ステップＳ２００４で録音動作を終了する。そして、ステップＳ２００５で、カメラ制御部１１９は手振れ防振駆動を終了し、フローを終了する。
【００７６】
図１３は、手振れ防振機構が駆動している際の信号波形例を示す。図１３（ａ）は音声信号処理回路１３７により音圧レベル調整されメモリ手段１３４に記録される音声信号の波形例を示す。横軸は時間を示し、建井軸は音声信号レベルを示す。図１３（ｂ）は、音声信号処理回路１３７のＡＬＣ回路の音圧レベル増幅率を示す。横軸は時間を示し、縦軸は音圧レベル増幅率を示す。
【００７７】
図１２を参照して、録音された音声信号に対する雑音除去処理動作を説明する。図１２は、第２実施例の雑音除去処理動作を示すフローチャートである。
【００７８】
ステップＳ２１０１で、カメラ制御部１１９は、メモリ手段１３４に記録された音声信号を読み込む。ステップＳ２１０２で、カメラ制御部１１９は、ＰＷＭ制御のクロック周波数である基準音を抽出するために、読み込んだ音声信号に対しクロック周波数の帯域を通過させる帯域通過フィルタ（バンドパスフィルタ）を適用する。図１４（ｃ）は、このバンドパスフィルタの通過帯域２０７ｃを示す。
【００７９】
ステップＳ２１０３で、カメラ制御部１１９は、バンドパスフィルタで抽出されたクロック周波数音信号の音圧変化からＡＬＣの音圧レベル増幅率Ｇｔを算出する。図１３（ｃ）は、ステップＳ２１０２で抽出された音声信号の波形例を示す。カメラ制御部１１９は、この音声信号の音圧変化を算出することで、図１３（ｂ）に示すＡＬＣ回路の音圧レベル増幅率Ｇｔを算出出来る。
【００８０】
ステップＳ２１０４からステップＳ２１０７の動作は、第１の実施例のステップＳ１１０４からステップＳ１１０７と同様のため、説明を省略する。図１４はサンプリング周波数４４．１ｋＨｚの音声信号を次数５１２点でＦＦＴ処理した場合のスペクトルを示す。横軸は周波数を示し、縦軸は音圧レベル（ｄＢ）を示す。図１４（ａ）のスペクトル２０７ａは、図１３（ａ）のフレーム区間２０７における音声信号のフーリエ変換結果を示す。図１４（ａ），（ｂ）のスペクトル２０７ｂは、フレーム区間２０７における駆動雑音のみの音声信号のフーリエ変換結果であり、スペクトル２０７ａに駆動雑音が重畳していることを表している。周波数２０８において駆動雑音に大きなピークが存在しており、これがＰＷＭ制御のクロック周波数音である。
【００８１】
ステップＳ２１０２において、カメラ制御部１１９は、駆動雑音のクロック周波数音成分を図１４（ｃ）に示すような急峻な透過特性のバンドパスフィルタにより抽出する。なお、メモリ手段１３４には、音圧レベル増幅率Ｇｍｉｎの時の図１４（ｂ）のスペクトル２０７ｂのような、駆動雑音の各周波数成分が予め格納されている。
【００８２】
ステップＳ２１０７で、雑音除去処理後の音声が書き込まれると、フローを終了する。
【００８３】
本実施例では、手振れ防振駆動のＰＷＭ制御に伴うクロック周波数音を基準音として利用し、動画撮影終了後にＳＳ法による雑音除去処理を行う。雑音除去処理時には、クロック周波数音の周波数帯域のみを帯域通過フィルタで抽出し、音圧レベル増幅率の変動を検出し、その結果を用いて雑音成分の減算量を調整して雑音除去処理を行う。駆動雑音内に基準音となるクロック周波数音が重畳しているので、スピーカから基準音を発することなくＡＬＣの音圧レベル増幅率を検出することができ、高精度な雑音除去処理を行うことが出来る。
【００８４】
本実施例では、手振れ防振駆動のＰＷＭ制御に伴うクロック周波数音を基準音として利用した。しかし、その他のレンズ駆動音においても被写体音が含まれない周波数帯域でクロック周波数音のようにある程度の音圧をもった駆動音の周波数帯域であれば、それを、ＡＬＣの音圧レベル増幅率を検出するための基準音又はパイロット信号とすることができる。
【００８５】
第２の実施例でも、第１の実施例で述べたのと同様に、記録されたクロック周波数音から雑音混入のタイミングを検出することは、その他の雑音除去処理を行う際にも有効である。
【実施例３】
【００８６】
図１５〜図１７を参照して第３実施例を説明する。撮影終了後に録音した音声信号の雑音除去処理を同じ機器上で行ったのでは、録音時間が長い場合に、次の撮影に移行できない。第３実施例では、録音した音声信号を撮像装置とは別体の、雑音除去装置を具備する情報処理装置に転送し、当該情報処理装置上で雑音を除去する。これにより、動画撮影時の操作に制限を設けることなく、演算負荷の高いＳＳ手法による雑音除去処理を行うことが出来る。また、撮像装置内にＳＳ手法による雑音除去処理機能を持たない場合においても、記録音声信号に対し雑音除去処理を行うことが出来る。
【００８７】
図１５は、第３実施例の概略構成図を示す。デジタル一眼レフカメラ１００ａと情報処理装置１７０が通信ケーブル１５１によって接続する。図１６は、図１５に示すシステムの機能ブロック図を示す。カメラ１００ａのカメラボディ１０１ａに外部装置との通信を行う通信コネクタ１４１を設け、カメラ制御部１１９ａは、通信コネクタ１４１を介して外部機器と通信する機能を具備し、メモリ手段１３４を外部機器にマスストレージとしてマウントさせる。通信コネクタ１４１は、通信ケーブル１５１で情報処理装置１７０の外部演算装置通信コネクタ１７４と電気的に接続する。図１５及び図１６において第１実施例と同じ機能を有する物には同一の符号を付し、その説明を省略する。
【００８８】
情報処理装置１７０は、制御部１７１、音声信号処理回路１７２、メモリ装置１７３、操作入力部１７５、音声再生装置１７６及び画像表示装置１７７を有する。制御部１７１は、通信コネクタ１７４を介してメモリ手段１３４に記録された音声信号を含む動画記録データを受信する。音声信号処理回路１７２は、メモリ手段１３４からの音声信号に雑音除去処理を施して、メモリ装置１７３に記録する。また、メモリ装置１７３には、予め複数の撮影レンズごとの駆動雑音成分及びＰＷＭ制御のクロック周波数音の情報が記憶されている。これは、一般に、駆動雑音成分及びＰＷＭ制御のクロック周波数音が撮影レンズ毎に異なるからである。
【００８９】
第３実施例の動作を説明する。カメラ１００ａにおける録音動作は、第２実施例と同様であるので、説明を省略する。なお、一般的な撮像装置において、撮影した動画データには画像信号及び音声信号の他に、撮影時刻及び撮影に使用された撮影レンズ１０２の情報等が記録される。
【００９０】
図１７を参照して、音声信号の雑音除去処理を説明する。図１７は、第３実施例における雑音除去動作のフローチャートを示す。図１５に示すように、カメラ１００ａに通信ケーブル１５１で情報処理装置１７０を接続する。そして、操作者が情報処理装置１７０の雑音除去処理アプリケーションによる雑音除去動作を選択すると、図１７に示すフローが開始する。
【００９１】
ステップＳ３１０１では、情報処理装置１７０が通信ケーブル１５１を通じカメラ１００ａとの通信を開始する。ステップ３１０２で、制御部１７１は、カメラ１００のメモリ手段１３４に記録された雑音除去処理を行うべき動画データの動画撮影時の撮影レンズ情報を読み込む。ステップＳ３１０３で、制御部１７１は、取得した撮影レンズ情報に対応する駆動雑音成分及びＰＷＭ制御のクロック周波数音の情報をメモリ装置１７３から読み込む。
【００９２】
ステップＳ３１０４で、制御部１７１は、メモリ手段１３４から雑音除去処理の対象となる音声信号を読み込む。ステップＳ３１０５で、制御部１７１は、ステップＳ３１０４で読み込んだ音声信号にステップＳ３１０３で読み込んだクロック周波数音帯域を通過させるバンドパスフィルタを適用し、基準音となるクロック周波数音の音声信号を抽出する。ステップＳ３１０６で、制御部１７１は、抽出したクロック周波数音の音声信号の音圧変化を検出し、音圧レベル増幅率を算出する。
【００９３】
ステップＳ３１０７で、制御部１７１は、ステップＳ３１０４で読み込んだ音声信号をＦＦＴ処理により周波数領域に変換する。ステップＳ３１０８で、制御部１７１は、ステップＳ３１０３で読み込んだ雑音成分をステップＳ３１０６で算出した音圧レベル増幅率でレベル調整し、その結果をステップＳ３１０７で周波数領域に変換した結果から減算する。これにより、動画撮影時の撮影レンズの駆動雑音に合わせた適切な雑音除去処理が出来る。
【００９４】
ステップＳ３１０９で、制御部１７１は、雑音減算結果の音声信号を逆ＦＦＴ処理により時間領域の音声信号に変換する。ステップＳ３１１０で、制御部１７１は、以上の処理により雑音除去処理された音声信号を、メモリ手段１３４の雑音除去処理前の音声信号に上書き記録する。これと同時に、カメラ１００ａから読み出した動画データを雑音除去処理後の音声信号と共にメモリ装置１７３に記録しても良い。ステップＳ３１１０の動作が完了すると、フローを終了する。
【００９５】
本実施例では、動画撮影時に基準音としてＰＷＭ制御のクロック周波数音を被写体音に重畳して記録しておき、撮影後に情報処理装置に記録音声信号を読み込んで雑音除去する。手振れ防振駆動のＰＷＭ制御に伴うクロック周波数音を基準音として用いて音圧レベル増幅率を検出するので、撮影後に撮像装置とは別体の情報処理装置で雑音除去処理が可能である。また、動画データに記録されたレンズ情報を用いてクロック周波数音情報と駆動雑音成分情報を決定するので、動画撮影時の撮影レンズに対応した駆動雑音除去が可能となる。基準音発生手段としてスピーカを持たない撮像装置で撮影した音声信号についても、撮影後に雑音除去処理が可能となる。
【００９６】
第１実施例と同様に、記録されたクロック周波数音から雑音混入のタイミングを検出することは、その他の雑音除去処理を行う際にも有効である。
【００９７】
通信ケーブル１５１を介してデジタル一眼レフカメラ１００ａから情報処理装置１７０に所望のデータを転送したが、着脱可能な記録媒体を使っても良いことは明らかである。図１８は、そのような変更構成の概略構成図を示す。図１８に示す構成では、カメラ１００のメモリ手段１３４が、メモリカード１３４ａとしてカメラボディ１０１から取り外し可能である。取り外したメモリカード１3４ａを情報処理装置１７０に接続するメモリカードリーダ１５２に接続する。情報処理装置１７０は、図１７を参照して説明したのと同様の手順で、メモリカード１３４ａに記録される動画データ及びレンズ情報を読み込み、音声信号を雑音除去する。
【００９８】
本発明は、その一部又は全部をソフトウエア処理によって実現することができる。例えば、上述した実施例の機能を実現するソフトウエア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する。
【技術分野】
【０００１】
本発明は、撮像装置及び情報処理装置、これらの制御方法並びに雑音除去方法及びプログラムに関する。
【背景技術】
【０００２】
静止画撮影のほかに音声信号記録を伴う動画撮影を行う機能を有するデジタルカメラが登場してきている。しかし、動画撮影時にフォーカスレンズの駆動や手振れ防振機構など撮像装置駆動部の動作が行われると、記録すべき音声信号にこれら駆動部の発生する駆動音が雑音として混入してしまう。
【０００３】
このような駆動雑音を低減する様々な技術が知られている。特許文献１には、スペクトルサブトラクション法（ＳＳ法）と呼ばれる手法で駆動雑音を低減することが記載されている。予め撮影動作に伴う駆動雑音を周波数変換したデータを記憶しておく。動画撮影時には、駆動部へ駆動命令を発し駆動雑音が発生した区間の音声信号をフーリエ変換で周波数領域に変換する。周波数領域に変換した雑音混入信号から、予め記憶した対応する周波数領域の駆動雑音データに一定の係数をかけて減算し、逆フーリエ変換により時間領域の信号に戻す。マイクから取得した音声信号を一定長のフレームごとに区切った信号に対し、これを繰り返して行くことで、駆動雑音の低減を行っている。
【０００４】
スペクトルサブトラクション法（ＳＳ法）では、雑音成分に乗じる係数が適正値よりも小さいと、減算する雑音成分が不足し、十分な雑音低減ができない。一方、雑音成分に乗じる係数が適正値よりも大きい場合、雑音減算処理後の音声信号にミュージカルノイズと呼ばれる歪みが生じ、音質が低下する。つまり、スペクトルサブトラクション法（ＳＳ法）では、雑音成分に乗じる係数が適正でないと、雑音除去性能が低下してしまう。
【０００５】
一方、撮像装置の音声処理回路には、一般的にＡＬＣ（Auto-Level Control）と呼ばれる自動音圧レベル制御機能が搭載されている。これは、被写体音声の音圧レベルが小さいときはマイクからの信号レベルを上げ、被写体音声の音圧レベルが大きいときは信号レベルを下げる機能である。これにより、被写体の音声を常に適切な音声レベルで録音することが出来る。
【０００６】
しかし、ＡＬＣ機能により音圧レベルの利得が変動する撮像装置において、音声信号に駆動雑音が混入した場合、駆動雑音の音圧レベルもＡＬＣの増幅率によって変動する。このような音声信号に対してＳＳ法による雑音除去処理を適用すると、雑音成分の音圧レベルの変動により、雑音成分を減算しすぎたり、減算量が不足したりする。特許文献２には、ＡＬＣの音圧レベル増幅率を常時取得し、ＳＳ法による減算処理にＡＬＣの音圧レベル増幅率を加味して減算することが記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−２７９１８５号公報
【特許文献２】特開２００８−０５８３４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ＡＬＣ機能を使用する撮像装置で、ＳＳ法による駆動雑音除去処理を組み合わせると、以下のような問題点がある。
【０００９】
ＳＳ法は音声信号に対しフーリエ変換により周波数領域に変換し、さらに雑音成分の減算を行ったあと逆フーリエ変換により時間領域の信号に変換する。回路構成にもよるが、一般的にフーリエ変換及び逆フーリエ変換は演算負荷が高く、ＳＳ法のように音声信号に対し区切ったフレーム分だけ処理を繰り返すことは大きな演算量となる。
【００１０】
実際の動画撮影において、取得される音声信号に対し随時フレームごとにＳＳ法の処理をして音声記録部に書き込んでいくことは、現状の撮像装置の演算処理装置では困難である。また、取得される音声信号に対し随時フレームごとにＳＳ法の処理をする際にＡＬＣ制御量を常に監視し取得することは、演算処理装置への更なる負荷となる。
【００１１】
動画撮影時には音声信号に対しＳＳ法による駆動雑音除去処理を行わずにそののままの音声信号を記録し、撮影終了後（録音終了後）に適用することが考えられる。状況によっては、外部の処理能力の高い演算処理装置を利用することも可能になる。しかし、記録された音声信号にＳＳ法による雑音除去処理で適切な結果を得るには、ＡＬＣの音圧レベル増幅率を知る必要がある。しかし、音圧レベル増幅率を動画撮影時に音声信号に同期して記録すると、音圧レベル増幅率を記録する為に特殊な動画記録のフォーマットが必要になるだけでなく、記録データ量が増大する。
【００１２】
本発明は、ＡＬＣの増幅率を記憶すること無しに、音声信号から駆動雑音を適切に低減できる撮像装置及び情報処理装置、これらの制御方法並びに雑音除去方法及びプログラムを提示することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、本発明に係る撮像装置は、被写体像を結像する撮像光学系と、前記撮像光学系から導かれる被写体像を撮像する撮像素子と、前記撮像光学系を調整する際に駆動雑音を発生する撮像光学系駆動手段と、基準音を発生する基準音発生手段と、音声信号を取得する音声入力手段と、前記音声入力手段により取得される音声信号を、前記音声信号の音圧レベルに応じた増幅率で増幅する音声増幅手段と、前記音声増幅手段で増幅された音声信号を記録媒体に記録する録音手段と、前記記録媒体に記録された音声信号に重畳する前記基準音に基づいて前記音声増幅手段の前記増幅率を算出する増幅率算出手段と、前記撮像光学系駆動手段から発生する駆動雑音の周波数領域での雑音成分を記憶する駆動雑音記憶手段と、前記記録媒体に記録された音声信号を周波数領域に変換する周波数変換手段と、前記周波数変換手段の変換結果から、前記駆動雑音記憶手段に記憶される前記雑音成分に前記増幅率算出手段で算出される前記増幅率に相当する調整を施した結果を減算する減算手段と、前記減算手段の減算結果を時間領域に変換する時間領域変換手段とを有することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、記録された音声信号から、記録時に混入した雑音を効果的に低減することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施例の中央断面図である。
【図２】第１実施例の概略構成ブロック図である。
【図３】音声信号及び音圧レベル増幅率の変化例を示す模式図である。
【図４】一定区間の音声信号のスペクトラム図である。
【図５】一定区間の音声信号のスペクトラム図である。
【図７】雑音除去手段の概略構成ブロック図である。
【図６】第１実施例における録音動作のフローチャートである。
【図８】第１実施例における雑音除去処理のフローチャートである。
【図９】第１実施例における音声信号及び音圧レベル増幅率の変化例の模式図である。
【図１０】第１の実施例における音声信号のスペクトラム例である。
【図１１】第２実施例における録音動作のフローチャートである。
【図１２】第２実施例における雑音除去処理のフローチャートである。
【図１３】第２実施例における音声信号及び音圧レベル増幅率の変化例の模式図である。
【図１４】第２実施例における音声信号のスペクトラム例である。
【図１５】第３実施例におけるデジタル一眼レフカメラ及び情報処理装置の全体構成図である。
【図１６】第３実施例の概略構成ブロック図である。
【図１７】第３実施例における雑音除去処理のフローチャートである。
【図１８】メモリカードで音声データを転送する変更構成のシステム全体図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【００１７】
図１は、本発明に係る撮像装置の一実施例であるデジタル一眼レフカメラの中央断面図を示し、図２は、本実施例の概略構成ブロック図を示す。
【００１８】
１００は本発明の一実施例であるデジタル一眼レフカメラを示す。１０１はデジタル一眼レフカメラ１００のカメラボディを示す。１０２は撮影レンズを示す。撮影レンズ１０２は、レンズ鏡筒１０３内に光軸１０５を有する撮像光学系１０４を有する。撮像光学系１０４は、フォーカスレンズ群、手ブレ補正レンズユニット及び絞り機構、これらを駆動する光学系駆動部（撮像光学系駆動手段）１０６、並びに光学系駆動部１０６を制御するレンズ制御部１０７を有する。撮像光学系１０４は、レンズマウント接点１０８でカメラボディ１０１と電気的に接続する。撮影レンズ１０２は取り外し可能であり、焦点距離又はＦ値などの光学定数の異なるものに交換できる。
【００１９】
撮影レンズ１０２の前方から入射する被写体光学像は、光軸１０５を通ってカメラボディ１０１に入射する。入射光の一部は、ハーフミラーで構成された主ミラー１１０で反射され、フォーカルスクリーン１１７上に結像する。ユーザ又は撮影者は、フォーカルスクリーン１１７上に結象した光学象を、ペンタプリズム１１１を通して接眼窓１１２から視認出来る。これらは、光学ビューファインダ構成となる。
【００２０】
測光センサ１１６は、フォーカルスクリーン１１７上に結像した光学象の明るさを検出する。また、主ミラー１１０を透過した被写体光学像は、サブミラー１１３で反射され、焦点検出部１１４に入射する。焦点検出部１１４の出力は、被写体像の焦点検出演算に用いられる。測光センサ１１６は、フォーカルスクリーン１１７の全体、若しくは、１又は複数の所定部分の露光量を検出する。
【００２１】
カメラボディ１０１内にある不図示のレリーズボタンが操作され、撮影開始命令が発せられると、主ミラー１１０及びサブミラー１１３は、被写体光学像が撮像素子１１８に入射するように撮影光路から退避する。
【００２２】
焦点検出部１１４及び測光センサ１１６の検出出力、並びに撮像素子１１８の出力は、カメラ制御部１１９に供給される。カメラ制御部１１９は、これらの信号に従い、カメラ１００の全体を制御する。
【００２３】
動画撮影時には、音声入力手段であるマイク１１５が、外部の音声を取り込み、音声信号に変換してカメラ制御部１１９に供給する。この音声信号は、撮像素子１１８から出力される画像信号と同期して、記録処理される。
【００２４】
スピーカ１２０は、撮影動画の再生時に再生音声信号を出力するためと、撮影者に警告などを発するための警告音等を出力する。スピーカ１２０は、詳細は後述するが、録音された音声信号から録音時のＡＬＣ増幅率を検出するための一定音圧の基準音を発生する基準音発生手段としても機能する。
【００２５】
図２を参照してカメラ１００の構成と基本動作を説明する。カメラ１００は、撮像系、画像処理系、音声処理系、記録再生系及び制御系を有する。撮像系は、撮像光学系１０４及び撮像素子１１８を含む。画像処理系は、Ａ／Ｄ変換器１３１及び画像処理回路１３２を含む。音声処理系は、マイク１１５と、音声増幅手段としてのＡＬＣ回路を有する音声信号処理回路１３７を含む。記録再生系は、記録処理装置１３３及びメモリ１３４を含む。メモリ１３４には、駆動雑音周波数成分が予め記録されている。制御系は、光学系駆動部１０６、レンズ制御部１０７、カメラ制御部１１９、焦点検出部１１４、測光センサ１１６及び操作検出部１３５を含む。光学系駆動部１０６は、焦点レンズ駆動部１０６ａ、ブレ補正駆動部１０６ｂ及び絞り駆動部１０６ｃなどから構成されている。
【００２６】
カメラ制御部１１９は、駆動雑音除去のために、音声信号を周波数領域に変換する手段、周波数領域の音声信号を時間領域に変換する手段及び駆動雑音成分減算手段を有する。カメラ制御部１１９上で動作する雑音除去プログラムが、これら手段にそれぞれ対応する周波数領域変換機能、時間領域変換機能及び雑音除去機能をカメラ制御部１１９に実現させる。カメラ制御部１１９はまた、レンズ１０２の光学要素（ズーム、絞り、フォーカス）毎の駆動雑音を可聴音帯域の周波数成分に分解して記憶する駆動雑音記憶手段を内蔵する。
【００２７】
撮像系は、被写体などの物体からの光を撮像光学系１０４により撮像素子１１８の撮像面に結像する光学処理系である。エイミングなどの撮影予備動作中は、主ミラー１１０に設けられたミラーを介して、焦点検出部１１４にも光束の一部が導かれる。後述するように、制御系が適切に撮像光学系を調整することで、適切な光量の物体光が撮像素子１１８に入射するとともに、撮像素子１１８の近傍で被写体像が結像する。
【００２８】
Ａ／Ｄ変換器１３１は、撮像素子１１８の出力画像信号をデジタル化して、画像処理回路１３２に入力する。画像処理回路１３２は、Ａ／Ｄ変換器１３１からの画像データを処理する回路であり、ホワイトバランス回路、ガンマ補正回路、及び、補間演算による高解像度化を行う補間演算回路等を有する。
【００２９】
音声処理系では、音声信号処理回路１３７が、マイク１１５の出力信号をＡＬＣ回路により自動で適切な音圧レベルに調節する。なお、ＡＬＣ回路は、マイクからの音声信号の大きさによって音圧レベル増幅率Ｇｔを最小増幅率Ｇｍｉｎから最大増幅率Ｇｍａｘの範囲で変化させる。例えば、被写体音声がほとんどなく無音に近い状態が続くと、音圧レベル増幅率Ｇｔは最大増幅率Ｇｍａｘとなり、逆に音声信号の量子化可能な範囲を越える大きな音が続いている場合、最小増幅率Ｇｍｉｎとなる。音声信号処理回路１３７は更に、不要な低周波成分及び高周波成分をカットし、録音用音声信号を生成する。録音用生成信号は、後述する記録処理部により画像データとリンクして記録処理される。
【００３０】
記録処理装置１３３は、メモリ１３４に画像データを出力するとともに、画像表示装置１３６に出力すべき画像の画像データを生成し保存する。また、記録処理装置１３３は、所定の方法で画像データ、動画データ及び音声データをデータ圧縮し、記録媒体に記録する。
【００３１】
カメラ制御部１１９は、撮像の際のタイミング信号などを生成して出力する。焦点検出部１１４は、被写体のピント状態を検出し、露出検出部としての測光センサ１１６は、被写体の輝度を検出する。レンズ制御部１０７は、カメラ制御部１１９からの制御信号に応じて、撮像光学系１０４の焦点、ズーム及び絞りを調整する。
【００３２】
制御系は、外部操作に連動して撮像系、画像処理系及び記録再生系をそれぞれ制御する。例えば、操作検出部１３５は、不図示のシャッタレリーズ釦の押下を検出する。カメラ制御部１１９は、この検出出力に応じて、撮像素子１１８の駆動、画像処理回路１３２の動作、及び記録処理装置１３３の圧縮処理などを制御する。カメラ制御部１１９はまた、画像表示装置１３６を構成する光学ファインダ及び／又は液晶モニタ等による情報表示を行う情報表示装置の各セグメントを制御する。
【００３３】
撮像光学系の調整動作を説明する。カメラ制御部１１９は、焦点検出部１１４及び測光センサ１１６の検出出力に従い、適切な焦点位置と絞り位置を決定し、その位置への制御を示す制御信号をレンズ制御部１０７に供給する。レンズ制御部１０７は、カメラ制御部１１９からの制御信号に従い、焦点レンズ駆動部１０６ａ及び絞り駆動部１０６ｃにそれぞれ焦点レンズ及び絞りを駆動させる。
【００３４】
レンズ制御部１０７には、不図示の手ブレ検出センサが接続する。手ぶれ補正モードでは、レンズ制御部１０７は、手ブレ検出センサの検出出力に従いブレ補正駆動部１０６ｂを制御して手ブレを軽減させる。
【００３５】
動画撮影時には、主ミラー１１０及びサブミラー１１３が光軸１０５から撮像素子１１８に入射する光路から退避するので、焦点検出部１１４及び測光センサ１１６には、被写体光学像が入射しない。このとき、カメラ制御部１１９は、焦点レンズ駆動部１０６ａの駆動量と撮像素子１１８から出力される連続的な画像信号を用いて、いわゆる山登り方式と呼ばれる焦点検出方法で撮像光学系のピント状態を調節する。また、カメラ制御部１１９は、撮像素子１１８から出力される画像信号を用いて、被写体の輝度を算出し、絞りを調節する。
【００３６】
図３を参照して、音声信号処理回路１３７のＡＬＣ回路の動作を説明する。図３（ａ）は、レンズ駆動による雑音（駆動雑音）が混入した音声信号を時間領域で示す。横軸は時間を示し、縦軸は、音声信号の振幅を示す。図３（ｂ）は、図３（ａ）に示す音声信号に同期した制御されるＡＬＣ回路の音圧レベル増幅率Ｇｔを示す。マイク１１５から取得される音声信号が小さいときは徐々に音圧レベル増幅率を上げ、区間２０３のように大きな音声信号が入力されたときは急激に音圧レベル増幅率を下げる。図３（ａ）に示す音声信号は、約５秒間に及び被写体たる人物が話しているものであるが、その間に何度もＡＬＣ回路による音圧レベル増幅率の変動が発生している。
【００３７】
本実施例の雑音除去処理又は雑音低減処理を詳細に説明する。図４は、図３に示す音声信号の区間２０１の周波数特性例を示す。横軸は周波数を示し、縦軸は音声レベル（ｄＢ）を示す。図４（ａ）は、被写体音に駆動雑音２０１ｂが混入した音声信号２０１ａの周波数特特性を示す。音声信号２０１ａは、ＡＬＣの増幅率Ｇ１で増幅されている。図４（ｂ）に示す音声信号２０１ｃは、予め取得している駆動雑音成分に増幅率Ｇ１に相当する係数を乗算した、調整された駆動雑音（調整駆動雑音という）を示す。図４（ｃ）に示す音声信号２０１ｄは、駆動雑音成分を含まれない被写体音のみからなる音声信号を示す。すなわち、音声信号２０１ａは、音声信号２０１ｄに駆動雑音の音声信号２０１ｂを加算したものからなる。駆動雑音の音声信号２０１ｂは調整駆動雑音２０１ｃにほぼ一致する。従って、ＡＬＣ後の音声信号２０１ａから調整駆動雑音２０１ｃを減算することで、被写体音のみからなる音声信号２０１ｄを抽出できる。
【００３８】
図５は、図３に示す音声信号の区間２０２の周波数特性例を示す。横軸は周波数を示し、縦軸は音声レベル（ｄＢ）を示す。図５（ａ）は、被写体音に駆動雑音２０２ｂが混入した音声信号２０２ａの周波数特特性を示す。音声信号２０２ａは、ＡＬＣの増幅率Ｇ２で増幅されている。図５（ｂ）に示す音声信号２０２ｃは、予め取得している駆動雑音成分に増幅率Ｇ２に相当する係数を乗算した調整駆動雑音を示す。調整駆動雑音２０２ｃの周波数特性は、調整駆動雑音２０１ｃに対して音声レベルが異なるのみであり、調整駆動雑音２０１ｃをＧ２／Ｇ１倍すると、駆動調整雑音２０２ｃに一致するレベルとなる。図５（ｃ）に示す音声信号２０２ｄは、駆動雑音成分を含まれない被写体音のみからなる音声信号を示す。すなわち、音声信号２０２ａは、音声信号２０２ｄに駆動雑音の音声信号２０２ｂを加算したものからなる。駆動雑音の音声信号２０２ｂは調整駆動雑音２０２ｃにほぼ一致する。従って、ＡＬＣ後の音声信号２０２ａから調整駆動雑音２０２ｃを減算することで、被写体音のみからなる音声信号２０２ｄを抽出できる。
【００３９】
本実施例は、録音を伴う撮影時には、レンズ駆動時にスピーカ１２０から所定周波数の基準音を生成させ、被写体音声と共にこの基準音を記録する。図６は、録音中のレンズ駆動の制御フローチャートを示す。なお、カメラ制御部１１９は、撮影準備中又は撮影中に、撮影者によるレンズ１０２の光学系調整操作、及び合焦制御動作に従い、レンズ１０２のレンズ制御部１０７にレンズ駆動命令を供給する。
【００４０】
録音動作が開始されると、ステップＳ１００１で、カメラ制御部１１９は、レンズ制御部１０７にレンズ駆動命令を供給すべきイベントが発生したか否かを判別する。そのようなイベントが発生すると、カメラ制御部１１９は、ステップＳ１００２で、スピーカ１２０から基準音を発生させる。基準音は、例えば被写体音に含まれると予想される周波数帯域とは異なる周波数を持つ、発生音圧が一定な単波長音である。基準音の周波数は、音声信号処理回路１３７で量子化に使用されるサンプリング周波数の半分以下であり、人間の可聴帯域外であることが望ましい。例えば、音声信号処理回路１３７のサンプリング周波数が４４．１ｋＨである場合、人の可聴帯域を考慮して、基準音は約１０ｋＨｚ以上（で２２ｋＨｚ以下）の単波長音と設定すればよい。本実施例では、サンプリング周波数４４．１ｋＨｚとし、基準音を１８ｋＨｚの単波長音とする。単波長音の周波数はこれに限られるものではなく、所定の周波数であればよい。
【００４１】
ステップＳ１００３は、カメラ制御部１１９は、実際に、レンズ１０２にレンズ駆動命令を供給して、レンズ１０２の指定の光学要素の駆動を開始させる。光学系の調整が完了してレンズ駆動が終了すると（Ｓ１００４）、カメラ制御部１１９は、基準音の発生を終了する（Ｓ１００５）。
【００４２】
Ｓ１００６で録音スイッチのオフが検出されるまで（Ｓ１００６）、カメラ制御部１１９は、ステップＳ１００１に戻り、上記処理を繰り返す。ステップＳ１００６で録音スイッチのオフが検出されたら、カメラ制御部１１９は、録音動作を終了する。
【００４３】
録音動作が終了するまでの間に取得された音声信号は、順次、音声信号処理回路１３７により処理されて、メモリ手段１３４に記録される。
【００４４】
図７は、カメラ制御部１１９内の雑音除去手段の概略構成ブロック図を示す。図８は駆動雑音除去処理の動作フローチャートを示す。図９は、記録された音声信号波形、ＡＬＣの音圧レベル増幅率の変化及び基準音波形の一例を示す。
【００４５】
カメラ制御部１１９は、メモリ手段１３４に記録された音声データ３０１を読み出して、高速フーリエ変換装置（ＦＦＴ）３０２とバンドパスフィルタ３０３に供給する。ＦＦＴ３０２は、音声データ３０１をフーリエ変換により周波数領域に変換する周波数変換手段として機能し、周波数変換ステップ又は周波数変換機能を実現する。バンドパスフィルタ３０３の透過周波数は、基準音の周波数に一致する。バンドパスフィルタ３０３は、音声データ３０１から基準音を抽出する。バンドパスフィルタ３０３の出力レベルは、録音時のＡＬＣによる音圧レベル増幅率を示し、この点で、バンドパスフィルタ３０３は録音時の増幅率を算出する増幅率算出手段として機能する。増幅率算出手段に相当する増幅率算出ステップ及び増幅率算出機能が、カメラ制御部１１９上で実現される。
【００４６】
カメラ制御部１１９はまた、駆動雑音の周波数成分３０４を減残量調整手段３０５に供給する。減残量調整手段３０５は、バンドパスフィルタ３０３の出力レベルに応じて、駆動雑音の周波数成分３０４のレベルを調整する。具体的には、減残量調整手段３０５は、録音時のＡＬＣによる音圧レベル増幅率に相当する増幅率で、駆動雑音の各周波数成分３０４を増幅する利得可変増幅器である。
【００４７】
減算器３０６は、ＦＦＴ３０２の出力から、減残量調整手段３０５の対応する周波数成分の出力を減算する。逆フーリエ変換装置（ＩＦＦＴ）３０７は、減算器３０６の出力を逆フーリエ変換して、周波数領域から時間領域に戻す。減算器３０６に相当する減算ステップ及び減算機能が、カメラ制御部１１９上で実現される。
【００４８】
基準音がレンズ駆動タイミングと同期していることから、バンドパスフィルタ３０３は駆動雑音発生タイミングを検出する検出手段と評価することができる。減残量調整手段３０５、減算器３０６及びＩＦＦＴ３０７は、この検出手段の検出結果に基づいて駆動雑音を低減又は除去する駆動雑音除去手段とも言える。この駆動雑音除去手段に相当する駆動雑音除去ステップと駆動雑音除去機能が、カメラ制御部１１９により実現される。
【００４９】
図９（ａ）は、マイク１１５及び音声信号処理回路１３７を介して録音される音声信号の波形例を示す。横軸は時間を示し、縦軸は音声信号レベルを示す。図９（ｂ）は、図９（ａ）に対応するＡＬＣ回路における音圧レベル増幅率Ｇｔの変動を示す。レンズ駆動命令が発せられると、図９（ａ）の区間２０４に示すように、被写体音にレンズ駆動雑音と基準音が重畳する。区間２０４では、ＡＬＣ回路の音圧レベル増幅率Ｇｔも変動する。
【００５０】
図８を参照して、メモリ手段１３４に記録された音声信号に対する雑音除去処理を説明する。図８は、本実施例の雑音除去処理動作のフローチャートである。
【００５１】
ステップＳ１１０１で、カメラ制御部１１９は、メモリ手段１３４に記録された音声信号を読み込む。ステップＳ１１０２で、カメラ制御部１１９は、基準音を抽出するために、読み込んだ音声信号に基準音の周波数帯域を通過させる帯域通過フィルタ（バンドパスフィルタ）を適用する。本実施例では１８ｋＨｚの基準音を発生させるので、１８ｋＨｚの帯域を通過させる急峻なバンドパスフィルタを採用する。図１０（ｄ）は、適用するバンドパスフィルタの通過帯域２０５ｅを示す。
【００５２】
ステップＳ１１０３で、カメラ制御部１１９は、バンドパスフィルタにより抽出された基準音信号の音圧変化からＡＬＣの音圧レベル増幅率Ｇｔを算出する。図９（ｃ）は、ステップＳ１１０２で抽出された基準音信号の波形例を示す。抽出された基準音信号の音圧変化から、図９（ｂ）に示すＡＬＣ回路の音圧レベル増幅率Ｇｔを算出できる。
【００５３】
ステップＳ１１０４で、カメラ制御部１１９は、ステップＳ１１０１で読み込んだ音声データを一定フレーム長に分割し、各分割フレームに対し高速フーリエ変換（ＦＦＴ）を適用して周波数領域に変換する。ＦＦＴ処理では分割フレームごとに随時、周波数領域への変換を行っていくが、以下では、図９（ａ）に示すフレーム区間２０５における音声信号の処理例を説明する。
【００５４】
図１０は、サンプリング周波数４４．１ｋＨｚの音声信号を次数５１２点でＦＦＴ処理し、周波数領域で表現したもの及びバンドパスフィルタの特性を示す。横軸は周波数を示し、縦軸は各周波数における音圧レベル（ｄＢ）を示す。図１０（ａ）のスペクトル２０５ａは、図９（ａ）のフレーム区間２０５における音声信号を周波数領域で表現したものである。スペクトル２０５ｂは、フレーム区間２０５における駆動雑音と基準音のみからなる音声信号の周波数領域変換の結果を示す。図１０（ｂ）は、駆動雑音のみのスペクトル２０５ｃを示し、図１０（ｃ）は、基準音のみのスペクトル２０５ｄを示す。
【００５５】
図１０（ａ）に示すように、記録された音声信号のスペクトル２０５ａでは、基準音の周波数である周波数帯域２０６で基準音成分を示すピークが出現する。ステップＳ１１０４では、この基準音周波数成分を抽出する為に、図１０（ｄ）に示す透過特性のバンドパスフィルタを用いている。音圧レベル増幅率をＧｍｉｎとしたときのフレーム区間２０５のスペクトル２０５ｃ及び２０５ｄに相当するデータが予め取得され、メモリ手段１３４又はカメラ制御部１１９に記憶されている。
【００５６】
ステップＳ１１０５で、カメラ制御部１１９は、予め記憶された駆動雑音及び基準音の周波数成分をステップＳ１１０３で求めた音圧レベル増幅率Ｇｔに応じて調整する。そして、その調整結果をステップＳ１１０４で算出した周波数領域の変換結果から減算する。すなわち、
SS(f,n)=S(f,n)-NM(f,n)×Gt(n)/Gmin×α （１）
Ｓは取得（記録）された音声信号を示す。ＮＭは予め記憶された駆動雑音及び基準音を示す。ＳＳは雑音除去処理された音声信号を示す。各信号Ｓ，ＮＭ，ＳＳは周波数領域で表現され、括弧内のｆはＦＦＴ処理で分割し表現される周波数、ｎはＦＦＴ処理時の分割フレーム番を表す。Ｇｔは各フレームにおける音圧レベル増幅率である。αはＳＳ手法において雑音成分を減算する際に掛けるサブトラクト係数と呼ばれるもので、雑音成分を減算する重みｚを決定する。αは１としても良いが、減算する雑音成分によって調整を行った方が、雑音除去性能が向上する。本実施例では、αを固定値とするが、ＳＳ処理結果に対し評価関数を設け、その評価結果によりαの値をフィードバックして変更しても良い。
【００５７】
ステップＳ１１０５では結局、カメラ制御部１１９は、雑音成分の重畳したスペクトル２０５ａから駆動雑音成分及び基準音成分のスペクトル２０５ｃ，２０５ｄを減算することに相当する処理を実行する。これにより、雑音除去処理された音声信号スペクトルが算出される。
【００５８】
本実施例では、記録された音声信号に駆動雑音が混入したタイミングが分からなくても良い。駆動雑音が混入していない区間では、図９（ｃ）に示すように、抽出された基準音の音圧レベルが、音圧レベル増幅率Ｇｍｉｎのときのそれよりも明らかに低くなっているからである。調整後の駆動雑音が極小になるので、減算によっても、被写体音声から雑音成分を減算しすぎることはない。
【００５９】
ステップＳ１１０６で、カメラ制御部１１９は、雑音成分の減算結果に逆高速フーリエ変換（ＩＦＦＴ）を適用して時間領域の音声信号に戻す。すなわち、時間領域変換ステップ又は時間領域変換機能が、カメラ制御部１１９で実現される。得られた音声信号は、駆動雑音及び基準音を除去されたものになっている。
【００６０】
ステップＳ１１０７で、カメラ制御部１１９は、雑音除去処理を行った音声信号を、メモリ手段１３４に先に記録されていた駆動雑音及び基準音の重畳した音声信号に対し上書きして記録する。
【００６１】
このように、メモリ手段１３４に暫定的に記録した音声信号に順次、雑音除去処理を適用し、雑音除去処理した音声信号に変更する。勿論、雑音除去処理後の音声信号を、雑音除去処理前の音声信号とは別にメモリ手段１３４に記録しても良い。
【００６２】
以上説明したように、本実施例では、レンズ駆動時に音圧及び周波数が定常な基準音を発してその音声信号を被写体音と一緒に記録し、動画撮影終了後に雑音除去処理を行う。雑音除去処理では、基準音の音圧レベルから録音時の音圧レベル増幅率を検出し、駆動雑音レベルを調整して雑音除去処理を行っている。これにより、ＡＬＣ回路による音圧レベル変動を考慮した雑音除去が可能になる。また、暫定記録後の雑音除去になるので、演算負荷の高いＳＳ法を利用できる。ＡＬＣ回路による音圧レベル増幅率に相当する情報を記録するための特別なフォーマットを採用しなくて良いので、汎用性がある。動画撮影時にＡＬＣの音圧レベル増幅率の変化を常に監視及び取得しなくても良いので、動画撮影時の演算負荷の低減にも繋がる。
【００６３】
また、基準音の単波長音を可聴帯域に対して１８ｋＨｚと高周波に設定しているので、撮影者にとって撮影中にあまり耳障りではない。特に、人間の可聴特性にはＡ特性と呼ばれる４ｋＨｚよりも高周波な音は周波数が上がるにつれて聞き取りにくくなる特性がある。よって、図１０（ｃ）のスペクトラム２０５ａでしめすように基準音の周波数成分が大きくても人間の耳には聞こえることは少ない。
【００６４】
また、ＡＬＣ回路の音圧レベル増幅率はマイク１１５から取得される音声信号の音圧レベルによって決定されるので、基準音は音圧レベル増幅率を決定するのに影響のない音圧レベル以下でスピーカ１２０より発しなければいけない。しかし、ＡＬＣの音圧レベル増幅率を決定する際に、音声信号に対しＡ特性を掛けた信号により音圧レベルを決定することにより、基準音の音圧レベルがある程度大きくても、音圧レベル増幅率の決定には影響を与えないようにできる。
【００６５】
基準音の周波数帯域を通常のサンプリング周波数の半分より大きく、かつ完全に可聴帯域より大きい例えば２２ｋＨｚなどに設定し、基準音の発生時にのみサンプリング周波数を基準音の周波数帯域の２倍以上に変更して記録しても良い。
【００６６】
本実施例では、音圧レベル増幅率の変動を検出するのに、基準音の含まれた音声信号を基準音の周波数帯域を通過させるバンドパスフィルタに通して、フィルタ通過後の音声信号の音圧レベル変動を算出した。バンドパスフィルタを用いずに、ＦＦＴの結果から基準音の音圧を決定し、音圧レベル増幅率を算出しても良い。この場合、音圧レベル増幅率が最小（Ｇｍｉｎ）となる基準音の周波数成分の値を記憶し、各フレームのスペクトラムの基準音の周波数成分の値を相互に比較することで、音圧レベル増幅率を算出できる。
【００６７】
雑音周波数成分による減算を、音声信号に対して駆動雑音が混入したタイミング以外の区間で行うと、音声信号を劣化させてしまう。つまり、すでに録音された信号に対してＳＳ手法で雑音除去処理をしようとしても、駆動雑音の混入区間がわからないと、適正な雑音除去処理が出来ない。また、雑音混入のタイミングを記録しようとする音声信号に付加しようとすると、特殊な記録フォーマットが必要であったり、記録データ量の増大に繋がる。
【００６８】
本実施例では、基準音の音圧レベルを算出したプロセスで、駆動雑音が混入していない区間では明らかに音圧レベルが小さくなる。そして、音圧レベル増幅率を用いて雑音成分レベルを調整する際にその区間の調整量は極く小さいものとなるので、音声信号にほとんど影響は与えない。つまり、雑音混入のタイミングがわからない音声信号に対しても適切な雑音除去処理が可能である。
【００６９】
本実施例では、記録された基準音から雑音混入のタイミング、すなわち駆動雑音発生タイミングを検出できる。この駆動雑音発生タイミング検出機能は、その他の雑音除去処理にも有効である。例えば、雑音混入区間前後の音声信号から雑音混入区間の音声信号を予測補間するという、いわゆる予測処理による雑音除去処理手法が知られている。予測処理では、雑音混入区間がわからないと雑音去処理を行うことはできないので、記録された音声信号から事後的に雑音除去処理することは困難である。また、予測処理は高精度な予測補間を行おうとすると演算負荷が大きくなり、動画撮影時に雑音除去処理を行うことが困難になる。しかし、本実施例のように、基準音を同時に記録した音声信号から当該基準音を抽出することで雑音混入区間を検出することにより、適切なタイミングで雑音除去処理が可能である。よって、記録後に、演算負荷の大きな高精度な雑音除去処理を利用できる。また、予測処理以外のフィルタ処理による雑音除去においても、雑音混入区間が検出できれば、雑音混入区間にだけフィルタ処理を行えばよいので、他の区間の音声信号に影響を与えることがなくなる。
【実施例２】
【００７０】
レンズ駆動雑音に含まれる特定の周波数に着目し、その特定周波数の音声信号を、駆動雑音の混入タイミング及びＡＬＣの音圧レベル増幅率の決定に利用する実施例を説明する。ここでは、被写体の音声信号に動画撮影時に駆動する手振れ防振機構の駆動音が混入した場合における雑音除去処理を説明する。手振れ防振機構は、動画撮影が開始されると同時に手振れ防振駆動を開始され、動画撮影が終了するまで常時駆動されているとする。また、手振れ防振機構はクロック数１６ｋＨｚでのＰＷＭ制御（Ｐｕｌｓｅ Ｗｉｄｔｈ Ｍｏｄｕｌａｔｉｏｎ）により駆動されているとする。手振れ防振機構は、駆動時に機構が摺動等に伴う音を発生させる以外に、PWM制御の原理上、クロック周波数の帯域をもつ単波長音を発生する。この音は、手振れ状態に関係なく常に一定の音圧レベルを持つ。第２実施例では、ＰＷＭ制御に伴うクロック周波数の単波長音を基準音として用いて、音圧レベル増幅率の変動を検出する。
【００７１】
図１１は、本実施例における動画撮影時の録音動作のフローチャートを示す。図１１を参照して、本実施例の録音動作を説明する。
【００７２】
動画撮影が開始されるとフローがスタートし、ステップＳ２００１で、ＰＷＭ制御により手振れ防振機構の動作が開始される。手振れ防振動作が開始されると、ＰＷＭ制御のクロック周波数の単波長音を含む駆動雑音が発生する。
【００７３】
ステップＳ２００２で、カメラ制御部１１９は、録音動作を開始する。すなわち、音声信号処理回路１３７のＡＬＣ回路がマイク１１５の出力音声信号をその音圧レベルに応じて増幅し、増幅後の音声信号がメモリ手段１３４に記録される。
【００７４】
ステップＳ２００３でカメラ制御部１１９が撮影スイッチのオフを検出するまで、カメラ制御部１１９は、手振れ防振機構を駆動し続けると共に、ステップＳ２００２に戻り、録音動作を続行する。
【００７５】
ステップＳ２００３で撮影スイッチのオフが検出されると、カメラ制御部１１９は、ステップＳ２００４で録音動作を終了する。そして、ステップＳ２００５で、カメラ制御部１１９は手振れ防振駆動を終了し、フローを終了する。
【００７６】
図１３は、手振れ防振機構が駆動している際の信号波形例を示す。図１３（ａ）は音声信号処理回路１３７により音圧レベル調整されメモリ手段１３４に記録される音声信号の波形例を示す。横軸は時間を示し、建井軸は音声信号レベルを示す。図１３（ｂ）は、音声信号処理回路１３７のＡＬＣ回路の音圧レベル増幅率を示す。横軸は時間を示し、縦軸は音圧レベル増幅率を示す。
【００７７】
図１２を参照して、録音された音声信号に対する雑音除去処理動作を説明する。図１２は、第２実施例の雑音除去処理動作を示すフローチャートである。
【００７８】
ステップＳ２１０１で、カメラ制御部１１９は、メモリ手段１３４に記録された音声信号を読み込む。ステップＳ２１０２で、カメラ制御部１１９は、ＰＷＭ制御のクロック周波数である基準音を抽出するために、読み込んだ音声信号に対しクロック周波数の帯域を通過させる帯域通過フィルタ（バンドパスフィルタ）を適用する。図１４（ｃ）は、このバンドパスフィルタの通過帯域２０７ｃを示す。
【００７９】
ステップＳ２１０３で、カメラ制御部１１９は、バンドパスフィルタで抽出されたクロック周波数音信号の音圧変化からＡＬＣの音圧レベル増幅率Ｇｔを算出する。図１３（ｃ）は、ステップＳ２１０２で抽出された音声信号の波形例を示す。カメラ制御部１１９は、この音声信号の音圧変化を算出することで、図１３（ｂ）に示すＡＬＣ回路の音圧レベル増幅率Ｇｔを算出出来る。
【００８０】
ステップＳ２１０４からステップＳ２１０７の動作は、第１の実施例のステップＳ１１０４からステップＳ１１０７と同様のため、説明を省略する。図１４はサンプリング周波数４４．１ｋＨｚの音声信号を次数５１２点でＦＦＴ処理した場合のスペクトルを示す。横軸は周波数を示し、縦軸は音圧レベル（ｄＢ）を示す。図１４（ａ）のスペクトル２０７ａは、図１３（ａ）のフレーム区間２０７における音声信号のフーリエ変換結果を示す。図１４（ａ），（ｂ）のスペクトル２０７ｂは、フレーム区間２０７における駆動雑音のみの音声信号のフーリエ変換結果であり、スペクトル２０７ａに駆動雑音が重畳していることを表している。周波数２０８において駆動雑音に大きなピークが存在しており、これがＰＷＭ制御のクロック周波数音である。
【００８１】
ステップＳ２１０２において、カメラ制御部１１９は、駆動雑音のクロック周波数音成分を図１４（ｃ）に示すような急峻な透過特性のバンドパスフィルタにより抽出する。なお、メモリ手段１３４には、音圧レベル増幅率Ｇｍｉｎの時の図１４（ｂ）のスペクトル２０７ｂのような、駆動雑音の各周波数成分が予め格納されている。
【００８２】
ステップＳ２１０７で、雑音除去処理後の音声が書き込まれると、フローを終了する。
【００８３】
本実施例では、手振れ防振駆動のＰＷＭ制御に伴うクロック周波数音を基準音として利用し、動画撮影終了後にＳＳ法による雑音除去処理を行う。雑音除去処理時には、クロック周波数音の周波数帯域のみを帯域通過フィルタで抽出し、音圧レベル増幅率の変動を検出し、その結果を用いて雑音成分の減算量を調整して雑音除去処理を行う。駆動雑音内に基準音となるクロック周波数音が重畳しているので、スピーカから基準音を発することなくＡＬＣの音圧レベル増幅率を検出することができ、高精度な雑音除去処理を行うことが出来る。
【００８４】
本実施例では、手振れ防振駆動のＰＷＭ制御に伴うクロック周波数音を基準音として利用した。しかし、その他のレンズ駆動音においても被写体音が含まれない周波数帯域でクロック周波数音のようにある程度の音圧をもった駆動音の周波数帯域であれば、それを、ＡＬＣの音圧レベル増幅率を検出するための基準音又はパイロット信号とすることができる。
【００８５】
第２の実施例でも、第１の実施例で述べたのと同様に、記録されたクロック周波数音から雑音混入のタイミングを検出することは、その他の雑音除去処理を行う際にも有効である。
【実施例３】
【００８６】
図１５〜図１７を参照して第３実施例を説明する。撮影終了後に録音した音声信号の雑音除去処理を同じ機器上で行ったのでは、録音時間が長い場合に、次の撮影に移行できない。第３実施例では、録音した音声信号を撮像装置とは別体の、雑音除去装置を具備する情報処理装置に転送し、当該情報処理装置上で雑音を除去する。これにより、動画撮影時の操作に制限を設けることなく、演算負荷の高いＳＳ手法による雑音除去処理を行うことが出来る。また、撮像装置内にＳＳ手法による雑音除去処理機能を持たない場合においても、記録音声信号に対し雑音除去処理を行うことが出来る。
【００８７】
図１５は、第３実施例の概略構成図を示す。デジタル一眼レフカメラ１００ａと情報処理装置１７０が通信ケーブル１５１によって接続する。図１６は、図１５に示すシステムの機能ブロック図を示す。カメラ１００ａのカメラボディ１０１ａに外部装置との通信を行う通信コネクタ１４１を設け、カメラ制御部１１９ａは、通信コネクタ１４１を介して外部機器と通信する機能を具備し、メモリ手段１３４を外部機器にマスストレージとしてマウントさせる。通信コネクタ１４１は、通信ケーブル１５１で情報処理装置１７０の外部演算装置通信コネクタ１７４と電気的に接続する。図１５及び図１６において第１実施例と同じ機能を有する物には同一の符号を付し、その説明を省略する。
【００８８】
情報処理装置１７０は、制御部１７１、音声信号処理回路１７２、メモリ装置１７３、操作入力部１７５、音声再生装置１７６及び画像表示装置１７７を有する。制御部１７１は、通信コネクタ１７４を介してメモリ手段１３４に記録された音声信号を含む動画記録データを受信する。音声信号処理回路１７２は、メモリ手段１３４からの音声信号に雑音除去処理を施して、メモリ装置１７３に記録する。また、メモリ装置１７３には、予め複数の撮影レンズごとの駆動雑音成分及びＰＷＭ制御のクロック周波数音の情報が記憶されている。これは、一般に、駆動雑音成分及びＰＷＭ制御のクロック周波数音が撮影レンズ毎に異なるからである。
【００８９】
第３実施例の動作を説明する。カメラ１００ａにおける録音動作は、第２実施例と同様であるので、説明を省略する。なお、一般的な撮像装置において、撮影した動画データには画像信号及び音声信号の他に、撮影時刻及び撮影に使用された撮影レンズ１０２の情報等が記録される。
【００９０】
図１７を参照して、音声信号の雑音除去処理を説明する。図１７は、第３実施例における雑音除去動作のフローチャートを示す。図１５に示すように、カメラ１００ａに通信ケーブル１５１で情報処理装置１７０を接続する。そして、操作者が情報処理装置１７０の雑音除去処理アプリケーションによる雑音除去動作を選択すると、図１７に示すフローが開始する。
【００９１】
ステップＳ３１０１では、情報処理装置１７０が通信ケーブル１５１を通じカメラ１００ａとの通信を開始する。ステップ３１０２で、制御部１７１は、カメラ１００のメモリ手段１３４に記録された雑音除去処理を行うべき動画データの動画撮影時の撮影レンズ情報を読み込む。ステップＳ３１０３で、制御部１７１は、取得した撮影レンズ情報に対応する駆動雑音成分及びＰＷＭ制御のクロック周波数音の情報をメモリ装置１７３から読み込む。
【００９２】
ステップＳ３１０４で、制御部１７１は、メモリ手段１３４から雑音除去処理の対象となる音声信号を読み込む。ステップＳ３１０５で、制御部１７１は、ステップＳ３１０４で読み込んだ音声信号にステップＳ３１０３で読み込んだクロック周波数音帯域を通過させるバンドパスフィルタを適用し、基準音となるクロック周波数音の音声信号を抽出する。ステップＳ３１０６で、制御部１７１は、抽出したクロック周波数音の音声信号の音圧変化を検出し、音圧レベル増幅率を算出する。
【００９３】
ステップＳ３１０７で、制御部１７１は、ステップＳ３１０４で読み込んだ音声信号をＦＦＴ処理により周波数領域に変換する。ステップＳ３１０８で、制御部１７１は、ステップＳ３１０３で読み込んだ雑音成分をステップＳ３１０６で算出した音圧レベル増幅率でレベル調整し、その結果をステップＳ３１０７で周波数領域に変換した結果から減算する。これにより、動画撮影時の撮影レンズの駆動雑音に合わせた適切な雑音除去処理が出来る。
【００９４】
ステップＳ３１０９で、制御部１７１は、雑音減算結果の音声信号を逆ＦＦＴ処理により時間領域の音声信号に変換する。ステップＳ３１１０で、制御部１７１は、以上の処理により雑音除去処理された音声信号を、メモリ手段１３４の雑音除去処理前の音声信号に上書き記録する。これと同時に、カメラ１００ａから読み出した動画データを雑音除去処理後の音声信号と共にメモリ装置１７３に記録しても良い。ステップＳ３１１０の動作が完了すると、フローを終了する。
【００９５】
本実施例では、動画撮影時に基準音としてＰＷＭ制御のクロック周波数音を被写体音に重畳して記録しておき、撮影後に情報処理装置に記録音声信号を読み込んで雑音除去する。手振れ防振駆動のＰＷＭ制御に伴うクロック周波数音を基準音として用いて音圧レベル増幅率を検出するので、撮影後に撮像装置とは別体の情報処理装置で雑音除去処理が可能である。また、動画データに記録されたレンズ情報を用いてクロック周波数音情報と駆動雑音成分情報を決定するので、動画撮影時の撮影レンズに対応した駆動雑音除去が可能となる。基準音発生手段としてスピーカを持たない撮像装置で撮影した音声信号についても、撮影後に雑音除去処理が可能となる。
【００９６】
第１実施例と同様に、記録されたクロック周波数音から雑音混入のタイミングを検出することは、その他の雑音除去処理を行う際にも有効である。
【００９７】
通信ケーブル１５１を介してデジタル一眼レフカメラ１００ａから情報処理装置１７０に所望のデータを転送したが、着脱可能な記録媒体を使っても良いことは明らかである。図１８は、そのような変更構成の概略構成図を示す。図１８に示す構成では、カメラ１００のメモリ手段１３４が、メモリカード１３４ａとしてカメラボディ１０１から取り外し可能である。取り外したメモリカード１3４ａを情報処理装置１７０に接続するメモリカードリーダ１５２に接続する。情報処理装置１７０は、図１７を参照して説明したのと同様の手順で、メモリカード１３４ａに記録される動画データ及びレンズ情報を読み込み、音声信号を雑音除去する。
【００９８】
本発明は、その一部又は全部をソフトウエア処理によって実現することができる。例えば、上述した実施例の機能を実現するソフトウエア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する。
【特許請求の範囲】
【請求項１】
被写体像を結像する撮像光学系と、
前記撮像光学系から導かれる被写体像を撮像する撮像素子と、
前記撮像光学系を調整する際に駆動雑音を発生する撮像光学系駆動手段と、
基準音を発生する基準音発生手段と、
音声信号を取得する音声入力手段と、
前記音声入力手段により取得される音声信号を、前記音声信号の音圧レベルに応じた増幅率で増幅する音声増幅手段と、
前記音声増幅手段で増幅された音声信号を記録媒体に記録する録音手段と、
前記記録媒体に記録された音声信号に重畳する前記基準音に基づいて前記音声増幅手段の前記増幅率を算出する増幅率算出手段と、
前記撮像光学系駆動手段から発生する駆動雑音の周波数領域での雑音成分を記憶する駆動雑音記憶手段と、
前記記録媒体に記録された音声信号を周波数領域に変換する周波数変換手段と、
前記周波数変換手段の変換結果から、前記駆動雑音記憶手段に記憶される前記雑音成分に前記増幅率算出手段で算出される前記増幅率に相当する調整を施した結果を減算する減算手段と、
前記減算手段の減算結果を時間領域に変換する時間領域変換手段
とを有することを特徴とする撮像装置。
【請求項２】
前記増幅率算出手段が、前記記録媒体に記録された音声信号から前記基準音の帯域を通過する帯域通過フィルタを具備し、前記帯域通過フィルタの出力から前記増幅率を算出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記基準音の周波数帯域が前記音声入力手段のサンプリング周波数の半分以下であることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記基準音の周波数帯域が人の可聴帯域外であることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記基準音の周波数帯域が１０ｋＨｚ以上であることを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記基準音発生手段が基準音を発生するときのみ、前記音声入力手段のサンプリング周波数を前記基準音の周波数帯域の２倍以上に設定することを特徴とする請求項１に記載の撮像装置。
【請求項７】
被写体像を結像する撮像光学系と、
前記撮像光学系から導かれる被写体像を撮像する撮像素子と、
前記撮像光学系を調整する際に駆動雑音を発生する撮像光学系駆動手段と、
基準音を発生する基準音発生手段と、
音声信号を取得する音声入力手段と、
前記音声入力手段により取得される音声信号を記録媒体に記録する録音手段と、
前記記録媒体に記録された音声信号に重畳する前記基準音に基づいて前記撮像光学系駆動手段の駆動雑音発生タイミングを検出する検出手段と、
前記検出手段の検出結果に基づいて、前記記録媒体に記録された音声信号に重畳する前記駆動雑音を低減する駆動雑音除去手段
とを有することを特徴とする撮像装置。
【請求項８】
被写体像を結像する撮像光学系と、
前記撮像光学系から導かれる被写体像を撮像する撮像素子と、
前記撮像光学系をＰＷＭ制御により駆動する撮像光学系駆動手段であって、前記ＰＷＭ制御に伴うクロック周波数音を含む駆動雑音を発生する撮像光学系駆動手段と、
音声信号を取得する音声入力手段と、
前記音声入力手段により取得される音声信号を、前記音声信号の音圧レベルに応じた増幅率で増幅する音声増幅手段と、
前記音声増幅手段で増幅された音声信号を記録媒体に記録する録音手段と、
前記記録媒体に記録された音声信号に重畳する前記クロック周波数音から前記音声増幅手段の前記増幅率を算出する増幅率算出手段と、
前記撮像光学系駆動手段から発生する駆動雑音の周波数領域での雑音成分を記憶する駆動雑音記憶手段と、
前記記録媒体に記録された音声信号を周波数領域に変換する周波数変換手段と、
前記周波数変換手段の変換結果から、前記駆動雑音記憶手段に記憶される前記雑音成分に前記増幅率算出手段で算出される前記増幅率に相当する調整を施した結果を減算する減算手段と、
前記減算手段の減算結果を時間領域に変換する時間領域変換手段
とを有することを特徴とする撮像装置。
【請求項９】
被写体像を結像する撮像光学系と、
前記撮像光学系から導かれる被写体像を撮像する撮像素子と、
前記撮像光学系をＰＷＭ制御により駆動する撮像光学系駆動手段であって、前記ＰＷＭ制御に伴うクロック周波数音を含む駆動雑音を発生する撮像光学系駆動手段と、
音声信号を取得する音声入力手段と、
前記音声入力手段により取得される音声信号を記録媒体に記録する録音手段と、
前記記録媒体に記録された音声信号に重畳する前記クロック周波数音に基づいて前記撮像光学系駆動手段の駆動雑音発生タイミングを検出する検出手段と、
前記検出手段の検出結果に基づいて、前記記録媒体に記録された音声信号に重畳する前記駆動雑音を低減する駆動雑音除去手段
とを有することを特徴とする撮像装置。
【請求項１０】
被写体像を結像する撮像光学系と、
前記撮像光学系から導かれる被写体像を撮像する撮像素子と、
前記撮像光学系をＰＷＭ制御により駆動する撮像光学系駆動手段であって、前記ＰＷＭ制御に伴うクロック周波数音を含む駆動雑音を発生する撮像光学系駆動手段と、
音声信号を取得する音声入力手段と、
前記音声入力手段により取得される音声信号を、前記音声信号の音圧レベルに応じた増幅率で増幅する音声増幅手段と、
前記音声増幅手段で増幅された音声信号を記録媒体に記録する録音手段
とを具備する撮像装置により前記記録媒体に記録された前記音声信号の雑音を低減する情報処理装置であって、
前記記録媒体に記録された音声信号に重畳する前記クロック周波数音から前記音声増幅手段の前記増幅率を算出する増幅率算出手段と、
前記撮像光学系駆動手段から発生する駆動雑音の周波数領域での雑音成分を記憶する駆動雑音記憶手段と、
前記記録媒体に記録された音声信号を周波数領域に変換する周波数変換手段と、
前記周波数変換手段の変換結果から、前記駆動雑音記憶手段に記憶される前記雑音成分に前記増幅率算出手段で算出される前記増幅率に相当する調整を施した結果を減算する減算手段と、
前記減算手段の減算結果を時間領域に変換する時間領域変換手段
とを有することを特徴とする情報処理装置。
【請求項１１】
被写体像を結像する撮像光学系と、
前記撮像光学系から導かれる被写体像を撮像する撮像素子と、
前記撮像光学系をＰＷＭ制御により駆動する撮像光学系駆動手段であって、前記ＰＷＭ制御に伴うクロック周波数音を含む駆動雑音を発生する撮像光学系駆動手段と、
音声信号を取得する音声入力手段と、
前記音声入力手段により取得される音声信号を記録媒体に記録する録音手段
とを具備する撮像装置により前記記録媒体に記録された前記音声信号の雑音を低減する情報処理装置であって、
前記記録媒体に記録された音声信号に重畳する前記クロック周波数音に基づいて前記撮像光学系駆動手段の駆動雑音発生タイミングを検出する検出手段と、
前記検出手段の検出結果に基づいて、前記記録媒体に記録された音声信号に重畳する前記駆動雑音を低減する駆動雑音除去手段
とを有することを特徴とする情報処理装置。
【請求項１２】
被写体像を結像する撮像光学系と、
前記撮像光学系から導かれる被写体像を撮像する撮像素子と、
前記撮像光学系を調整する際に駆動雑音を発生する撮像光学系駆動手段と、
基準音を発生する基準音発生手段と、
音声信号を取得する音声入力手段と、
前記音声入力手段により取得される音声信号を、前記音声信号の音圧レベルに応じた増幅率で増幅する音声増幅手段と、
前記音声増幅手段で増幅された音声信号を記録媒体に記録する録音手段
とを有する撮像装置の制御方法であって、
前記記録媒体に記録された音声信号に重畳する前記基準音に基づいて前記音声増幅手段の前記増幅率を算出する増幅率算出ステップと、
前記撮像光学系駆動手段から発生する駆動雑音の周波数領域での雑音成分を記憶する駆動雑音記憶手段から前記駆動雑音の周波数領域での雑音成分を読み出すステップと、
前記記録媒体に記録された音声信号を周波数領域に変換する周波数変換ステップと、
前記周波数変換ステップの変換結果から、前記駆動雑音記憶手段から読み出された前記雑音成分に前記増幅率算出ステップで算出される前記増幅率に相当する調整を施した結果を減算する減算ステップと、
前記減算ステップの減算結果を時間領域に変換する時間領域変換ステップ
とを有することを特徴とする撮像装置の制御方法。
【請求項１３】
被写体像を結像する撮像光学系と、
前記撮像光学系から導かれる被写体像を撮像する撮像素子と、
前記撮像光学系を調整する際に駆動雑音を発生する撮像光学系駆動手段と、
基準音を発生する基準音発生手段と、
音声信号を取得する音声入力手段と、
前記音声入力手段により取得される音声信号を記録媒体に記録する録音手段
とを有する撮像装置の制御方法であって、
前記記録媒体に記録された音声信号に重畳する前記基準音に基づいて前記撮像光学系駆動手段の駆動雑音発生タイミングを検出する検出ステップと、
前記検出ステップの検出結果に基づいて、前記記録媒体に記録された音声信号に重畳する前記駆動雑音を低減する駆動雑音除去ステップ
とを有することを特徴とする撮像装置の制御方法。
【請求項１４】
被写体像を結像する撮像光学系と、
前記撮像光学系から導かれる被写体像を撮像する撮像素子と、
前記撮像光学系をＰＷＭ制御により駆動する撮像光学系駆動手段であって、前記ＰＷＭ制御に伴うクロック周波数音を含む駆動雑音を発生する撮像光学系駆動手段と、
音声信号を取得する音声入力手段と、
前記音声入力手段により取得される音声信号を、前記音声信号の音圧レベルに応じた増幅率で増幅する音声増幅手段と、
前記音声増幅手段で増幅された音声信号を記録媒体に記録する録音手段
とを有する撮像装置の制御方法であって、
前記記録媒体に記録された音声信号に重畳する前記クロック周波数音から前記音声増幅手段の前記増幅率を算出する増幅率算出ステップと、
前記撮像光学系駆動手段から発生する駆動雑音の周波数領域での雑音成分を記憶する駆動雑音記憶手段から前記駆動雑音の周波数領域での雑音成分を読み出すステップと、
前記記録媒体に記録された音声信号を周波数領域に変換する周波数変換ステップと、
前記周波数変換ステップの変換結果から、前記駆動雑音記憶手段から読み出した前記雑音成分に前記増幅率算出ステップで算出される前記増幅率に相当する調整を施した結果を減算する減算ステップと、
前記減算ステップの減算結果を時間領域に変換する時間領域変換ステップ
とを有することを特徴とする撮像装置の制御方法。
【請求項１５】
被写体像を結像する撮像光学系と、
前記撮像光学系から導かれる被写体像を撮像する撮像素子と、
前記撮像光学系をＰＷＭ制御により駆動する撮像光学系駆動手段であって、前記ＰＷＭ制御に伴うクロック周波数音を含む駆動雑音を発生する撮像光学系駆動手段と、
音声信号を取得する音声入力手段と、
前記音声入力手段により取得される音声信号を記録媒体に記録する録音手段
とを有する撮像装置の制御方法であって、
前記記録媒体に記録された音声信号に重畳する前記クロック周波数音に基づいて前記撮像光学系駆動手段の駆動雑音発生タイミングを検出する検出ステップと、
前記検出ステップの検出結果に基づいて、前記記録媒体に記録された音声信号に重畳する前記駆動雑音を低減する駆動雑音除去ステップ
とを有することを特徴とする撮像装置の制御方法。
【請求項１６】
被写体像を結像する撮像光学系と、
前記撮像光学系から導かれる被写体像を撮像する撮像素子と、
前記撮像光学系をＰＷＭ制御により駆動する撮像光学系駆動手段であって、前記ＰＷＭ制御に伴うクロック周波数音を含む駆動雑音を発生する撮像光学系駆動手段と、
音声信号を取得する音声入力手段と、
前記音声入力手段により取得される音声信号を、前記音声信号の音圧レベルに応じた増幅率で増幅する音声増幅手段と、
前記音声増幅手段で増幅された音声信号を記録媒体に記録する録音手段
とを具備する撮像装置により前記記録媒体に記録された前記音声信号の雑音を低減する方法であって、
前記記録媒体に記録された音声信号に重畳する前記クロック周波数音から前記音声増幅手段の前記増幅率を算出する増幅率算出ステップと、
前記撮像光学系駆動手段から発生する駆動雑音の周波数領域での雑音成分を記憶する駆動雑音記憶手段から前記駆動雑音の周波数領域での雑音成分を読み出すステップと、
前記記録媒体に記録された音声信号を周波数領域に変換する周波数変換ステップと、
前記周波数変換ステップの変換結果から、前記駆動雑音記憶手段から読み出した前記雑音成分に前記増幅率算出ステップで算出される前記増幅率に相当する調整を施した結果を減算する減算ステップと、
前記減算ステップの減算結果を時間領域に変換する時間領域変換ステップ
とを有することを特徴とする雑音除去方法。
【請求項１７】
被写体像を結像する撮像光学系と、
前記撮像光学系から導かれる被写体像を撮像する撮像素子と、
前記撮像光学系をＰＷＭ制御により駆動する撮像光学系駆動手段であって、前記ＰＷＭ制御に伴うクロック周波数音を含む駆動雑音を発生する撮像光学系駆動手段と、
音声信号を取得する音声入力手段と、
前記音声入力手段により取得される音声信号を記録媒体に記録する録音手段
とを具備する撮像装置により前記記録媒体に記録された前記音声信号の雑音を低減する方法であって、
前記記録媒体に記録された音声信号に重畳する前記クロック周波数音に基づいて前記撮像光学系駆動手段の駆動雑音発生タイミングを検出する検出ステップと、
前記検出ステップの検出結果に基づいて、前記記録媒体に記録された音声信号に重畳する前記駆動雑音を低減する駆動雑音除去ステップ
とを有することを特徴とする雑音除去方法。
【請求項１８】
被写体像を結像する撮像光学系と、
前記撮像光学系から導かれる被写体像を撮像する撮像素子と、
前記撮像光学系をＰＷＭ制御により駆動する撮像光学系駆動手段であって、前記ＰＷＭ制御に伴うクロック周波数音を含む駆動雑音を発生する撮像光学系駆動手段と、
音声信号を取得する音声入力手段と、
前記音声入力手段により取得される音声信号を、前記音声信号の音圧レベルに応じた増幅率で増幅する音声増幅手段と、
前記音声増幅手段で増幅された音声信号を記録媒体に記録する録音手段
とを具備する撮像装置により前記記録媒体に記録された前記音声信号の雑音を低減する情報処理装置のプログラムであって、前記情報処理装置に、
前記記録媒体に記録された音声信号に重畳する前記クロック周波数音から前記音声増幅手段の前記増幅率を算出する増幅率算出機能と、
前記撮像光学系駆動手段から発生する駆動雑音の周波数領域での雑音成分を記憶する駆動雑音記憶手段から前記駆動雑音の周波数領域での雑音成分を読み出す機能と、
前記記録媒体に記録された音声信号を周波数領域に変換する周波数変換機能と、
前記周波数変換機能の変換結果から、前記駆動雑音記憶手段から読み出した前記雑音成分に前記増幅率算出機能で算出される前記増幅率に相当する調整を施した結果を減算する減算機能と、
前記減算機能の減算結果を時間領域に変換する時間領域変換機能
とを実現させることを特徴とする雑音除去プログラム。
【請求項１９】
被写体像を結像する撮像光学系と、
前記撮像光学系から導かれる被写体像を撮像する撮像素子と、
前記撮像光学系をＰＷＭ制御により駆動する撮像光学系駆動手段であって、前記ＰＷＭ制御に伴うクロック周波数音を含む駆動雑音を発生する撮像光学系駆動手段と、
音声信号を取得する音声入力手段と、
前記音声入力手段により取得される音声信号を記録媒体に記録する録音手段
とを具備する撮像装置により前記記録媒体に記録された前記音声信号の雑音を低減する情報処理装置のプログラムであって、前記情報処理装置に、
前記記録媒体に記録された音声信号に重畳する前記クロック周波数音に基づいて前記撮像光学系駆動手段の駆動雑音発生タイミングを検出する検出機能と、
前記検出機能の検出結果に基づいて、前記記録媒体に記録された音声信号に重畳する前記駆動雑音を低減する駆動雑音除去機能
とを実現させることを特徴とする雑音除去プログラム。
【請求項１】
被写体像を結像する撮像光学系と、
前記撮像光学系から導かれる被写体像を撮像する撮像素子と、
前記撮像光学系を調整する際に駆動雑音を発生する撮像光学系駆動手段と、
基準音を発生する基準音発生手段と、
音声信号を取得する音声入力手段と、
前記音声入力手段により取得される音声信号を、前記音声信号の音圧レベルに応じた増幅率で増幅する音声増幅手段と、
前記音声増幅手段で増幅された音声信号を記録媒体に記録する録音手段と、
前記記録媒体に記録された音声信号に重畳する前記基準音に基づいて前記音声増幅手段の前記増幅率を算出する増幅率算出手段と、
前記撮像光学系駆動手段から発生する駆動雑音の周波数領域での雑音成分を記憶する駆動雑音記憶手段と、
前記記録媒体に記録された音声信号を周波数領域に変換する周波数変換手段と、
前記周波数変換手段の変換結果から、前記駆動雑音記憶手段に記憶される前記雑音成分に前記増幅率算出手段で算出される前記増幅率に相当する調整を施した結果を減算する減算手段と、
前記減算手段の減算結果を時間領域に変換する時間領域変換手段
とを有することを特徴とする撮像装置。
【請求項２】
前記増幅率算出手段が、前記記録媒体に記録された音声信号から前記基準音の帯域を通過する帯域通過フィルタを具備し、前記帯域通過フィルタの出力から前記増幅率を算出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記基準音の周波数帯域が前記音声入力手段のサンプリング周波数の半分以下であることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記基準音の周波数帯域が人の可聴帯域外であることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記基準音の周波数帯域が１０ｋＨｚ以上であることを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記基準音発生手段が基準音を発生するときのみ、前記音声入力手段のサンプリング周波数を前記基準音の周波数帯域の２倍以上に設定することを特徴とする請求項１に記載の撮像装置。
【請求項７】
被写体像を結像する撮像光学系と、
前記撮像光学系から導かれる被写体像を撮像する撮像素子と、
前記撮像光学系を調整する際に駆動雑音を発生する撮像光学系駆動手段と、
基準音を発生する基準音発生手段と、
音声信号を取得する音声入力手段と、
前記音声入力手段により取得される音声信号を記録媒体に記録する録音手段と、
前記記録媒体に記録された音声信号に重畳する前記基準音に基づいて前記撮像光学系駆動手段の駆動雑音発生タイミングを検出する検出手段と、
前記検出手段の検出結果に基づいて、前記記録媒体に記録された音声信号に重畳する前記駆動雑音を低減する駆動雑音除去手段
とを有することを特徴とする撮像装置。
【請求項８】
被写体像を結像する撮像光学系と、
前記撮像光学系から導かれる被写体像を撮像する撮像素子と、
前記撮像光学系をＰＷＭ制御により駆動する撮像光学系駆動手段であって、前記ＰＷＭ制御に伴うクロック周波数音を含む駆動雑音を発生する撮像光学系駆動手段と、
音声信号を取得する音声入力手段と、
前記音声入力手段により取得される音声信号を、前記音声信号の音圧レベルに応じた増幅率で増幅する音声増幅手段と、
前記音声増幅手段で増幅された音声信号を記録媒体に記録する録音手段と、
前記記録媒体に記録された音声信号に重畳する前記クロック周波数音から前記音声増幅手段の前記増幅率を算出する増幅率算出手段と、
前記撮像光学系駆動手段から発生する駆動雑音の周波数領域での雑音成分を記憶する駆動雑音記憶手段と、
前記記録媒体に記録された音声信号を周波数領域に変換する周波数変換手段と、
前記周波数変換手段の変換結果から、前記駆動雑音記憶手段に記憶される前記雑音成分に前記増幅率算出手段で算出される前記増幅率に相当する調整を施した結果を減算する減算手段と、
前記減算手段の減算結果を時間領域に変換する時間領域変換手段
とを有することを特徴とする撮像装置。
【請求項９】
被写体像を結像する撮像光学系と、
前記撮像光学系から導かれる被写体像を撮像する撮像素子と、
前記撮像光学系をＰＷＭ制御により駆動する撮像光学系駆動手段であって、前記ＰＷＭ制御に伴うクロック周波数音を含む駆動雑音を発生する撮像光学系駆動手段と、
音声信号を取得する音声入力手段と、
前記音声入力手段により取得される音声信号を記録媒体に記録する録音手段と、
前記記録媒体に記録された音声信号に重畳する前記クロック周波数音に基づいて前記撮像光学系駆動手段の駆動雑音発生タイミングを検出する検出手段と、
前記検出手段の検出結果に基づいて、前記記録媒体に記録された音声信号に重畳する前記駆動雑音を低減する駆動雑音除去手段
とを有することを特徴とする撮像装置。
【請求項１０】
被写体像を結像する撮像光学系と、
前記撮像光学系から導かれる被写体像を撮像する撮像素子と、
前記撮像光学系をＰＷＭ制御により駆動する撮像光学系駆動手段であって、前記ＰＷＭ制御に伴うクロック周波数音を含む駆動雑音を発生する撮像光学系駆動手段と、
音声信号を取得する音声入力手段と、
前記音声入力手段により取得される音声信号を、前記音声信号の音圧レベルに応じた増幅率で増幅する音声増幅手段と、
前記音声増幅手段で増幅された音声信号を記録媒体に記録する録音手段
とを具備する撮像装置により前記記録媒体に記録された前記音声信号の雑音を低減する情報処理装置であって、
前記記録媒体に記録された音声信号に重畳する前記クロック周波数音から前記音声増幅手段の前記増幅率を算出する増幅率算出手段と、
前記撮像光学系駆動手段から発生する駆動雑音の周波数領域での雑音成分を記憶する駆動雑音記憶手段と、
前記記録媒体に記録された音声信号を周波数領域に変換する周波数変換手段と、
前記周波数変換手段の変換結果から、前記駆動雑音記憶手段に記憶される前記雑音成分に前記増幅率算出手段で算出される前記増幅率に相当する調整を施した結果を減算する減算手段と、
前記減算手段の減算結果を時間領域に変換する時間領域変換手段
とを有することを特徴とする情報処理装置。
【請求項１１】
被写体像を結像する撮像光学系と、
前記撮像光学系から導かれる被写体像を撮像する撮像素子と、
前記撮像光学系をＰＷＭ制御により駆動する撮像光学系駆動手段であって、前記ＰＷＭ制御に伴うクロック周波数音を含む駆動雑音を発生する撮像光学系駆動手段と、
音声信号を取得する音声入力手段と、
前記音声入力手段により取得される音声信号を記録媒体に記録する録音手段
とを具備する撮像装置により前記記録媒体に記録された前記音声信号の雑音を低減する情報処理装置であって、
前記記録媒体に記録された音声信号に重畳する前記クロック周波数音に基づいて前記撮像光学系駆動手段の駆動雑音発生タイミングを検出する検出手段と、
前記検出手段の検出結果に基づいて、前記記録媒体に記録された音声信号に重畳する前記駆動雑音を低減する駆動雑音除去手段
とを有することを特徴とする情報処理装置。
【請求項１２】
被写体像を結像する撮像光学系と、
前記撮像光学系から導かれる被写体像を撮像する撮像素子と、
前記撮像光学系を調整する際に駆動雑音を発生する撮像光学系駆動手段と、
基準音を発生する基準音発生手段と、
音声信号を取得する音声入力手段と、
前記音声入力手段により取得される音声信号を、前記音声信号の音圧レベルに応じた増幅率で増幅する音声増幅手段と、
前記音声増幅手段で増幅された音声信号を記録媒体に記録する録音手段
とを有する撮像装置の制御方法であって、
前記記録媒体に記録された音声信号に重畳する前記基準音に基づいて前記音声増幅手段の前記増幅率を算出する増幅率算出ステップと、
前記撮像光学系駆動手段から発生する駆動雑音の周波数領域での雑音成分を記憶する駆動雑音記憶手段から前記駆動雑音の周波数領域での雑音成分を読み出すステップと、
前記記録媒体に記録された音声信号を周波数領域に変換する周波数変換ステップと、
前記周波数変換ステップの変換結果から、前記駆動雑音記憶手段から読み出された前記雑音成分に前記増幅率算出ステップで算出される前記増幅率に相当する調整を施した結果を減算する減算ステップと、
前記減算ステップの減算結果を時間領域に変換する時間領域変換ステップ
とを有することを特徴とする撮像装置の制御方法。
【請求項１３】
被写体像を結像する撮像光学系と、
前記撮像光学系から導かれる被写体像を撮像する撮像素子と、
前記撮像光学系を調整する際に駆動雑音を発生する撮像光学系駆動手段と、
基準音を発生する基準音発生手段と、
音声信号を取得する音声入力手段と、
前記音声入力手段により取得される音声信号を記録媒体に記録する録音手段
とを有する撮像装置の制御方法であって、
前記記録媒体に記録された音声信号に重畳する前記基準音に基づいて前記撮像光学系駆動手段の駆動雑音発生タイミングを検出する検出ステップと、
前記検出ステップの検出結果に基づいて、前記記録媒体に記録された音声信号に重畳する前記駆動雑音を低減する駆動雑音除去ステップ
とを有することを特徴とする撮像装置の制御方法。
【請求項１４】
被写体像を結像する撮像光学系と、
前記撮像光学系から導かれる被写体像を撮像する撮像素子と、
前記撮像光学系をＰＷＭ制御により駆動する撮像光学系駆動手段であって、前記ＰＷＭ制御に伴うクロック周波数音を含む駆動雑音を発生する撮像光学系駆動手段と、
音声信号を取得する音声入力手段と、
前記音声入力手段により取得される音声信号を、前記音声信号の音圧レベルに応じた増幅率で増幅する音声増幅手段と、
前記音声増幅手段で増幅された音声信号を記録媒体に記録する録音手段
とを有する撮像装置の制御方法であって、
前記記録媒体に記録された音声信号に重畳する前記クロック周波数音から前記音声増幅手段の前記増幅率を算出する増幅率算出ステップと、
前記撮像光学系駆動手段から発生する駆動雑音の周波数領域での雑音成分を記憶する駆動雑音記憶手段から前記駆動雑音の周波数領域での雑音成分を読み出すステップと、
前記記録媒体に記録された音声信号を周波数領域に変換する周波数変換ステップと、
前記周波数変換ステップの変換結果から、前記駆動雑音記憶手段から読み出した前記雑音成分に前記増幅率算出ステップで算出される前記増幅率に相当する調整を施した結果を減算する減算ステップと、
前記減算ステップの減算結果を時間領域に変換する時間領域変換ステップ
とを有することを特徴とする撮像装置の制御方法。
【請求項１５】
被写体像を結像する撮像光学系と、
前記撮像光学系から導かれる被写体像を撮像する撮像素子と、
前記撮像光学系をＰＷＭ制御により駆動する撮像光学系駆動手段であって、前記ＰＷＭ制御に伴うクロック周波数音を含む駆動雑音を発生する撮像光学系駆動手段と、
音声信号を取得する音声入力手段と、
前記音声入力手段により取得される音声信号を記録媒体に記録する録音手段
とを有する撮像装置の制御方法であって、
前記記録媒体に記録された音声信号に重畳する前記クロック周波数音に基づいて前記撮像光学系駆動手段の駆動雑音発生タイミングを検出する検出ステップと、
前記検出ステップの検出結果に基づいて、前記記録媒体に記録された音声信号に重畳する前記駆動雑音を低減する駆動雑音除去ステップ
とを有することを特徴とする撮像装置の制御方法。
【請求項１６】
被写体像を結像する撮像光学系と、
前記撮像光学系から導かれる被写体像を撮像する撮像素子と、
前記撮像光学系をＰＷＭ制御により駆動する撮像光学系駆動手段であって、前記ＰＷＭ制御に伴うクロック周波数音を含む駆動雑音を発生する撮像光学系駆動手段と、
音声信号を取得する音声入力手段と、
前記音声入力手段により取得される音声信号を、前記音声信号の音圧レベルに応じた増幅率で増幅する音声増幅手段と、
前記音声増幅手段で増幅された音声信号を記録媒体に記録する録音手段
とを具備する撮像装置により前記記録媒体に記録された前記音声信号の雑音を低減する方法であって、
前記記録媒体に記録された音声信号に重畳する前記クロック周波数音から前記音声増幅手段の前記増幅率を算出する増幅率算出ステップと、
前記撮像光学系駆動手段から発生する駆動雑音の周波数領域での雑音成分を記憶する駆動雑音記憶手段から前記駆動雑音の周波数領域での雑音成分を読み出すステップと、
前記記録媒体に記録された音声信号を周波数領域に変換する周波数変換ステップと、
前記周波数変換ステップの変換結果から、前記駆動雑音記憶手段から読み出した前記雑音成分に前記増幅率算出ステップで算出される前記増幅率に相当する調整を施した結果を減算する減算ステップと、
前記減算ステップの減算結果を時間領域に変換する時間領域変換ステップ
とを有することを特徴とする雑音除去方法。
【請求項１７】
被写体像を結像する撮像光学系と、
前記撮像光学系から導かれる被写体像を撮像する撮像素子と、
前記撮像光学系をＰＷＭ制御により駆動する撮像光学系駆動手段であって、前記ＰＷＭ制御に伴うクロック周波数音を含む駆動雑音を発生する撮像光学系駆動手段と、
音声信号を取得する音声入力手段と、
前記音声入力手段により取得される音声信号を記録媒体に記録する録音手段
とを具備する撮像装置により前記記録媒体に記録された前記音声信号の雑音を低減する方法であって、
前記記録媒体に記録された音声信号に重畳する前記クロック周波数音に基づいて前記撮像光学系駆動手段の駆動雑音発生タイミングを検出する検出ステップと、
前記検出ステップの検出結果に基づいて、前記記録媒体に記録された音声信号に重畳する前記駆動雑音を低減する駆動雑音除去ステップ
とを有することを特徴とする雑音除去方法。
【請求項１８】
被写体像を結像する撮像光学系と、
前記撮像光学系から導かれる被写体像を撮像する撮像素子と、
前記撮像光学系をＰＷＭ制御により駆動する撮像光学系駆動手段であって、前記ＰＷＭ制御に伴うクロック周波数音を含む駆動雑音を発生する撮像光学系駆動手段と、
音声信号を取得する音声入力手段と、
前記音声入力手段により取得される音声信号を、前記音声信号の音圧レベルに応じた増幅率で増幅する音声増幅手段と、
前記音声増幅手段で増幅された音声信号を記録媒体に記録する録音手段
とを具備する撮像装置により前記記録媒体に記録された前記音声信号の雑音を低減する情報処理装置のプログラムであって、前記情報処理装置に、
前記記録媒体に記録された音声信号に重畳する前記クロック周波数音から前記音声増幅手段の前記増幅率を算出する増幅率算出機能と、
前記撮像光学系駆動手段から発生する駆動雑音の周波数領域での雑音成分を記憶する駆動雑音記憶手段から前記駆動雑音の周波数領域での雑音成分を読み出す機能と、
前記記録媒体に記録された音声信号を周波数領域に変換する周波数変換機能と、
前記周波数変換機能の変換結果から、前記駆動雑音記憶手段から読み出した前記雑音成分に前記増幅率算出機能で算出される前記増幅率に相当する調整を施した結果を減算する減算機能と、
前記減算機能の減算結果を時間領域に変換する時間領域変換機能
とを実現させることを特徴とする雑音除去プログラム。
【請求項１９】
被写体像を結像する撮像光学系と、
前記撮像光学系から導かれる被写体像を撮像する撮像素子と、
前記撮像光学系をＰＷＭ制御により駆動する撮像光学系駆動手段であって、前記ＰＷＭ制御に伴うクロック周波数音を含む駆動雑音を発生する撮像光学系駆動手段と、
音声信号を取得する音声入力手段と、
前記音声入力手段により取得される音声信号を記録媒体に記録する録音手段
とを具備する撮像装置により前記記録媒体に記録された前記音声信号の雑音を低減する情報処理装置のプログラムであって、前記情報処理装置に、
前記記録媒体に記録された音声信号に重畳する前記クロック周波数音に基づいて前記撮像光学系駆動手段の駆動雑音発生タイミングを検出する検出機能と、
前記検出機能の検出結果に基づいて、前記記録媒体に記録された音声信号に重畳する前記駆動雑音を低減する駆動雑音除去機能
とを実現させることを特徴とする雑音除去プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１３−１０６３２７（Ｐ２０１３−１０６３２７Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１１−２５１１０８（Ｐ２０１１−２５１１０８）
【出願日】平成２３年１１月１６日（２０１１．１１．１６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２３年１１月１６日（２０１１．１１．１６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]