撮像装置及びその音声処理方法並びに音声処理装置及び方法
【課題】
録音時の、機構部からの騒音を低減する。
【解決手段】
被写体認識部（７８）が、撮影画像から人物を認識する。撮影画面中に人物が含まれている場合で、ズームレンズ群（３２）、フォーカスレンズ群（３６）及びＮＤフィルタ進退機構（３８）の何れかが駆動されているとき、対応するフィルタ処理部（８４、８６、８８）で入力音から騒音を低減する。騒音を低減された音声が符号化復号化処理部（７６）で符号化され、記録媒体（７２）に記録される。
録音時の、機構部からの騒音を低減する。
【解決手段】
被写体認識部（７８）が、撮影画像から人物を認識する。撮影画面中に人物が含まれている場合で、ズームレンズ群（３２）、フォーカスレンズ群（３６）及びＮＤフィルタ進退機構（３８）の何れかが駆動されているとき、対応するフィルタ処理部（８４、８６、８８）で入力音から騒音を低減する。騒音を低減された音声が符号化復号化処理部（７６）で符号化され、記録媒体（７２）に記録される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びその音声処理方法並びに音声処理装置及び方法に関し、より具体的には、映像を参照して音声に含まれる騒音を低減する撮像装置及びその音声処理方法並びに音声処理装置及び方法に関する。
【背景技術】
【０００２】
近年、静止画を撮影するデジタルスチルカメラにおいても、ビデオカメラの様に動画が撮影可能となっていており、音声も同時記録できる。他方、ビデオカメラでも、高解像度の静止画を撮影可能になっている。すなわち、ビデオカメラとスチルカメラとの境界が曖昧になってきている。
【０００３】
スチルカメラ及びビデオカメラ等の撮像装置は、一般に、撮影画角変更用のズームレンズ、焦点の調節用のフォーカスレンズ、並びに、光量調整用のＮＤ（減光）フィルタ及び絞りを具備する。そして、撮像装置は、これらを機械的に駆動する駆動装置を具備する。これら機構部品は、動作時に不可避的に音を発生する。音声が記録可能な撮像装置では、これら機構部分の発生する音が、騒音として音声と共に記録されてしまうという問題がある。
【０００４】
このための対策として、従来、駆動源、特に主たる騒音源であるモータと、マイクとを離して配置したり、駆動源の周囲に防音材を配設したり、あるいは、作動音の比較的少ないモータを使用する方法が採用された。例えば、特許文献１には、スチルビデオカメラにおいて、音声入力手段の作動時に電気部品（モータ）を作動させないようにする技術が記載されている。
【０００５】
特許文献２には、モータの回転が始まると、単調にカメラ騒音域を低減して記録することが記載されている。また、被写体音と騒音周波数が同一時には、被写体音が大きい場合に騒音低減処理を動作させることが記載されている。
【０００６】
特許文献３には、撮影モードに応じて、マイクの指向性を変更することが記載されている。たとえば、ポートレートモードではマイク指向性を正面の感度を上げてこれを重点的にし、周囲の感度を落として周囲のノイズをカツトする。また、風景モード又はスポーツモード等では、指向性を広げて周囲の音も記録可能とする。
【特許文献１】特開平９−２３３４１４号公報
【特許文献２】特開２００６−１８６８１９号公報
【特許文献３】特開２００２−１９９２７２公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
マイクと駆動源を物理的に離して配置する方法は、撮像装置の大型化を招く事となり、撮像装置小型化の要求に反する。駆動源の周囲に防音部材を配置する方法では、撮像装置の価格上昇を招く。
【０００８】
特許文献１の技術では、動画像の撮影中には撮影画角の変更や焦点調節が行えなくなり、撮影者の意図する画像が得られなくなる。
【０００９】
特許文献２に記載の技術では、マイクで集音した音圧と騒音の音圧の大小関係で、騒音低減処理の有無を決定している。従って、撮影している被写体の重要性を考慮しておらず、被写体に応じた適切な騒音低減処理になっていない。
【００１０】
特許文献３に記載の技術では、撮影モードに応じてマイクの指向性を変更するようになっている。従って、撮影モードを手動で切り替える煩わしさがあると共に、モード設定を誤ると、録音音質も悪化する可能性がある。
【００１１】
本発明は、上記事情に鑑みてなされたもので、大型化やコストアップを抑制しつつ、記録すべき音声に対する駆動機構の動作による騒音の影響を効果的に低減する撮像装置及びその音声処理方法並びに音声処理装置及び方法を提示することを目的とする。
【課題を解決するための手段】
【００１２】
本発明に係る撮像装置は、撮像手段と、音声入力手段と、ズームレンズ駆動手段、フォーカスレンズ駆動手段、ＮＤフィルタ駆動手段及びシャッタ駆動手段の何れかを含む騒音源と、前記撮像手段により入力される画像から被写体を認識する被写体認識手段と、前記音声入力手段により入力される音声から前記騒音源からの騒音を低減する騒音低減手段と、前記被写体認識手段の認識に従い、前記騒音低減手段を制御する制御手段とを具備することを特徴とする。
【００１３】
本発明に係る撮像装置の音声処理方法は、撮像手段と、音声入力手段と、ズームレンズ駆動手段、フォーカスレンズ駆動手段、ＮＤフィルタ駆動手段及びシャッタ駆動手段の何れかを含む騒音源とを有する撮像装置において、前記撮像手段により入力される画像から被写体を認識する被写体認識ステップと、前記音声入力手段により入力される音声から、前記被写体認識ステップでの認識に従う騒音低減特性で前記騒音源からの騒音を低減する騒音低減ステップとを具備することを特徴とする。
【００１４】
本発明に係る音声処理装置は、画像入力手段と、音声入力手段と、前記画像入力手段により入力される画像から被写体を認識する被写体認識手段と、前記音声入力手段により入力される音声から騒音を低減する騒音低減手段と、前記被写体認識手段の認識に従い、前記騒音低減手段を制御する制御手段とを具備することを特徴とする。
【００１５】
本発明に係る音声処理方法は、画像を入力する画像入力ステップと、音声を入力する音声入力ステップと、前記画像入力ステップにより入力される画像から被写体を認識する被写体認識ステップと、前記音声入力ステップにより入力される音声から、前記被写体認識ステップの認識に従う騒音低減特性で騒音を低減する騒音低減ステップとを具備することを特徴とする。
【発明の効果】
【００１６】
本発明によれば、機構部等が発生する騒音を効果的に低減でき、録音品質又は再生品質を向上させることができる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【００１８】
図１は、本発明に係る撮像装置の第１実施例の正面図を示し、図２は、その背面図を示す。図３は、本実施例の概略構成ブロック図を示す。
【００１９】
本実施例の撮像装置１０は、カメラ本体部１２に、レンズ鏡筒１４、フラッシュ１６及びマイク（音入力手段）１８を具備する。カメラ本体部１２の上面には、シャッタボタン２０を具備する。カメラ本体部１２の背面には、図２に示すように、画像表示部２２、ズームボタン２４、電源ボタン２６、モード設定ボタン２８及びスピーカ（音出力手段）３０を備えている。画像表示部２２は、一般的には、液晶表示装置（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子からなる。
【００２０】
レンズ鏡筒１４には、図３に示すように、ズームレンズ群３２、シャッタ３４及びフォーカスレンズ群３６を有する撮影レンズが収納される。ズームレンズ群３２とシャッタ３４の間には、光軸上にＮＤフィルタを挿入又は退出させるＮＤフィルタ進退機構３８が配置される。ＮＤフィルタは、被写体が明るく、シャッタ速度変更や撮像素子４０の感度変更でも適正露光が得られないほど被写体が明るい場合に、被写体からの光量を減光するために使用される。撮影レンズは、ズームレンズ群３２により焦点距離を変更可能であり、フォーカスレンズ群３６による合焦度を調節可能である。
【００２１】
ズームレンズ群駆動回路４２が、駆動モータ及び減速機構からなる駆動機構４４により、ズームレンズ群３２を光軸方向に移動させる。シャッタ駆動回路４６が、駆動機構４８により、シャッタ３４のシャッタ羽根を開閉する。フォーカスレンズ群駆動回路５０が、駆動モータ及び減速機構からなる駆動機構５２により、フォーカスレンズ群３６を光軸方向に移動させる。ＮＤフィルタ駆動回路５４が、駆動モータ及び減速機構からなる駆動機構５６により、ＮＤフィルタ進退機構３８のＮＤフィルタを光軸上の位置と光軸から退避した位置との間で移動させる。
【００２２】
シャッタボタン２０は、スチルカメラで周知の通り、半押し状態と全押し状態の２段階に押下可能である。静止画撮影モードでは、シャッタボタン２０の半押しに対し、露光制御及び合焦制御が実行され、全押しに対して、被写体画像の静止画としての取り込みと録画が実行される。動画撮影モードでは、シャッタボタン２０の１回目の全押しに対して、被写体画像の動画としての取り込みと録画が実行され、２回目の全押しで録画が停止される。即ち、シャッタボタン２０は、録画開始と停止を指示するトグルボタンとして機能する。
【００２３】
詳細は後述するが、静止画撮影モードでは、シャッタボタン２０が操作されていないとき、所定の周期、例えば１／１５秒毎に被写体の光学像が取り込まれ、画像表示部２２の画面上にライブビュー画像として表示される。シャッタボタン２０の半押し段階で、露出制御値（シャッタスピード及び絞り値）が設定されると共に、被写体距離に撮影レンズのフォーカスが制御されて撮像待機状態となる。シャッタボタン２０の全押し段階で、露出制御値のシャッタスピードに応じた時間だけシャッタ３４が開放され、撮像素子４０が露光される。この露光により撮像素子４０で生成される画像信号は、後述する圧縮処理等を経て、記録媒体に記録される。
【００２４】
他方、動画撮影モードでは、シャッタボタン２０が操作されていないとき、露出と撮影レンズのフォーカスが継続的に自動制御される。勿論、露出制御を手動に切り替えたときには、露出制御は手動になる。同様に、合焦制御を手動に切り替えた場合も、合焦制御は手動になる。録画開始前も録画中も、撮像素子４０に入射する被写体画像が、画像表示部２２の画面にライブビュー画像として表示される。
【００２５】
フラッシュ１６は、被写体からの光量が不足する場合などに、被写体に撮影用の照明光を照射するために使用される。
【００２６】
マイク１８は、音声を電気信号（音声信号）に変換する素子であり、スピーカ３０は、音声信号を音響出力する素子である。
【００２７】
画像表示部２２は、撮影の際のファインダとして、また、録画中の画像及び再生画像をモニタする手段として使用される。画像表示部２２にはまた、動作パラメータ等を設定するため等の種々の設定画面が表示される。
【００２８】
ズームボタン２４は、ズームレンズ群３２のワイド方向への移動を指示するワイドボタン２４ａと、テレ方向への移動を指示するテレボタン２４ｂから成る。電源ボタン２６は、押下する毎に撮像装置１０の主電源のオン／オフが交互に切り換わる。モード設定ボタン２８は、被写体像の静止画撮影を行う静止画撮影モードと、被写体像の動画撮影を行う動画撮影モードと、記録画像を再生する再生モードを選択指定する。
【００２９】
撮像素子４０は、撮影レンズによる光学像を電気画像信号に変換する。撮像素子４０は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色成分を受光する画素をマトリックス状に複数有する例えばＣＭＯＳカラーエリアセンサからなる。なお、全体制御部６０が、撮像素子４０の露出開始／終了、及び各画素信号の読出しを制御する。
【００３０】
画像処理部６２は、撮像素子４０から出力される画像信号にカメラで公知の処理（ノイズ低減、黒レベル、色変換、ホワイトバランス調整及びガンマ補正等）を施す。具体的には、画像処理部６２は、画像信号のノイズを低減し、レベル調整した上で、所定ビット（例えば、各色８ビット）にデジタル化する。画像処理部６２は更に、画像データの黒レベルを基準値に補正し、Ｒ（赤）、Ｇ（緑）及びＢ（青）の各色成分の画素データを調整して全体のホワイトバランスを補正し、また、γ特性を補正する。
【００３１】
画像処理部６２で処理された画像データは、画像メモリ６４に一時格納される。撮影時には、画像メモリ６４は、画像処理部６２からの画像データに全体制御部６０による所定処理を施すための作業領域としても用いられる。再生モードでは、画像メモリ６４は、記録媒体から読み出され再生された画像データが一時格納する手段として使用される。
【００３２】
ＶＲＡＭ６６は、画像表示部２２で再生表示する画像データを記憶するビデオメモリであり、画像表示部２２の表示画素数に対応する画素数の画像データを格納できる。
【００３３】
音声処理部６８は、マイク１８からの音声信号を増幅しデジタル信号に変換する機能と、全体制御部６０からの音声データ（再生音声信号）をアナログ信号に変換してスピーカ３０に供給する機能を有する。
【００３４】
入力操作部７０は、シャッタボタン２０、ズームボタン２４、電源ボタン２６、モード設定ボタン２８及びその他の操作手段からなる。入力操作部７０の操作情報は、全体制御部６０に入力される。
【００３５】
記録媒体７２は、半導体記憶素子からなるメモリカードや、又は、ハードディスクなどからなり、全体制御部６０から供給される画像データ、音声データ又はこれらの多重データを記憶する。
【００３６】
全体制御部６０はマイクロコンピュータからなり、カメラ本体部１２内の各部を統括的に制御する。全体制御部６０は、ワークエリアとしてのＲＡＭと、各種機能プログラム等を記憶するＲＯＭを有する。全体制御部６０は、プログラムにより実現される複数の機能要素７４〜８９を有する。
【００３７】
撮像制御部７４は、撮像素子４０の露光動作を制御する。具体的には、動画撮影モードでは、シャッタボタン２０の全押しに応じて、撮像素子４０に露光と画像信号の読出しを所定の周期で繰り返し実行させ、この撮影画像データを記録媒体７２に記録させる。そして、再度のシャッタボタン２０の全押しに応じて、この動作を終了させる。
【００３８】
符号化復号化処理部７６は、撮影画像データ及び入力音声データの符号化処理（圧縮処理）と、記録媒体７２から読み出された圧縮画像データ及び圧縮音声データの復号化処理（伸長処理）を担当する。圧縮画像データと圧縮音声データを多重する場合には、そのための多重処理と、再生の際の分離処理を担当する。
【００３９】
駆動制御部７７は、ズームレンズ群駆動機構４４、フォーカスレンズ群駆動機構５２、ＮＤフィルタ進退駆動機構５６及びシャッタ駆動機構４８の動作を制御する。例えば、駆動制御部７７は、ズームボタン２４が操作されると、その操作時間に応じた期間、ズームレンズ群３２を光軸方向に駆動するようにズームレンズ群駆動回路４２を制御する。また、シャッタボタン２０の半押し操作に対し、駆動制御部７７は、フォーカスレンズ群３６を光軸方向に移動させるようにフォーカスレンズ群駆動回路５０に指示する。駆動制御部７７は、撮像素子４０に結像される光量に従い、ＮＤフィルタの進退をＮＤフィルタ駆動回路５４に指示する。
【００４０】
被写体認識部７８は、撮像素子４０から得られる撮影画像中に人物が存在するか否か、人物の人数、画面上の位置、性別、成人か子供か、口が動いているか否か等を認識する。
【００４１】
人物自動選択部８０は、被写体認識部７８で判別した人物の内、被写体として重要である人物を一定の基準に従い選択する。例えば、画面内で各人物が占める面積や、画面の中央にいるか周辺にいるか、シャッタボタン２０の半押し時にオートフォーカスした人物かどうか等の何れかまたはその組み合わせを基準とする。そして、このような基準に従い、動画撮影時に被写体として最も重要である人物を推測する。
【００４２】
なお、被写体認識と顔認識技術は、特開平６−１６０９４４号公報及び特開２００１−３３０８８２号公報等に記載されている。本実施例では、このような公知の被写体認識技術を被写体認識部７８及び人物自動選択部８０に使用する。被写体認識技術のこれ以上の詳細な説明は、省略する。
【００４３】
音声処理制御部８２は、音声処理部６８でのデータの流れを制御する。すなわち、動画撮影モードでは、シャッタボタン２０の全押しに応じて、マイク１８の出力音声信号を取り込み、デジタル化及びＰＣＭ符号化するように音声処理部６８を制御する。音声処理制御部８２はまた、ズームフィルタ処理部８４、フォーカスフィルタ処理部８６及びＮＤフィルタ処理部８８に、駆動機構４４，５６，４８，５２が発生する騒音成分を低減させる。再度、シャッタボタン２０が全押しされると、全体制御部６０は、音声処理部６８のこれらの処理を終了させる。
【００４４】
ズームフィルタ処理部８４は、マイク１８及び音声処理部６８を介して入力された音データから、ズームレンズ群駆動機構４４が発生する騒音の周波数帯域に属する周波数成分を低減する。
【００４５】
フォーカスフィルタ処理部８６は、マイク１８及び音声処理部６８を介して入力された音データから、フォーカスレンズ群駆動機構５２が発生する騒音の周波数帯域に属する周波数の音を低減する。
【００４６】
ＮＤフィルタ処理部８８は、マイク１８及び音声処理部６８を介して入力された音データから、ＮＤフィルタ進退駆動機構５６が発生する騒音の周波数帯域に属する周波数の音を低減する。
【００４７】
発声周波数帯域データ記憶部９０は、図４に示すように、男性／女性別及び成人／子供別に分類した計４通りの代表的なまたは平均的な低減周波数域と低減率のデータを記憶する。これらのデータは、予め計測されたものである。
【００４８】
姿勢補正係数記憶部９２は、騒音低減特性の補正係数として、図５に示すように、カメラ姿勢に対する低減周波数帯域の補正係数と低減率の補正係数を記憶する。カメラ姿勢は、図５に示す例では、通常撮影、上向き、及び下向きの３つ状態からなる。図５に示す例では、補正係数は０．８倍から１．１倍の範囲で与えられる。
【００４９】
温度補正係数記憶部９４は、騒音低減特性の補正係数として、図６に示すように、カメラ温度に対する低減周波数帯域の補正係数と低減率の補正係数を記憶する。図６に示す例では、カメラ温度は、−１０〜１０℃、１０〜３０℃及び３０〜４０℃の３つ状態のからなる。図６に示す例では、補正係数は０．８倍から１．２倍の値をとる。
【００５０】
基本騒音波形記憶部９６は、各種基本騒音波形を記憶する。図７（ａ）は、ズーム基本騒音波形の一例を示す。図７（ｂ）はフォーカス基本騒音波形の一例を示す。図７（ｃ）はＮＤフィルタ進退基本騒音波形の一例を示す。何れも、横軸が時間を示し、縦軸が音圧を示す。
【００５１】
姿勢センサ９８は、撮像装置の姿勢（向き）を測定するセンサである。姿勢センサ９８は、図５に示す例に対応して、撮像装置が上向きか、通常姿勢か、下向きかを検出する。
【００５２】
温度センサ１００は、撮像装置の温度を測定するセンサである。温度センサ１００は、図６に示す例に対応して、−１０〜１０℃、１０〜３０℃、３０〜４０℃の３つの温度範囲の何れに属する温度かを測定する。
【００５３】
具体的には、ズームレンズ群駆動機構４４からの騒音を除去する際に、発声周波数帯域データ記憶部９０から被写体に応じて発声周波数帯域データを読み出すか、又は、基本騒音波形記憶部９６からズーム騒音基本波形を読み出す。温度センサ１００が検出したカメラ温度を基に、温度補正係数記憶部９４から温度補正係数を読み出す。姿勢センサ９８が検出したカメラ姿勢を基に、姿勢補正係数記憶部９２から姿勢補正係数を読み出す。そして、読み出した発声周波数帯域データの音圧レベル低減周波数帯域と低減率を、温度補正係数と姿勢補正係数により補正する。ズームフィルタ処理部８４は、温度補正係数及び姿勢補正係数で補正された発生周波数帯域データに従い、音声処理部６８から入力される音声信号をフィルタリングする。
【００５４】
発声周波数帯域データ（音圧レベル低減周波数帯域と低減率）を温度に応じて補正する理由を説明する。各種駆動機構４８，５２，５６、ズームレンズ群３２、シャッタ３４、フォーカスレンズ群３６及びＮＤフィルタ進退機構３８は、それらを構成している部品が温度により伸縮する。その結果、部品相互の間隔や接触している部分の摩擦力が変化し、駆動中の各部品の挙動が変化する。また、各駆動源に要求される駆動力も変化するので、駆動スピードも変化する。これらの結果、各駆動機構が発する騒音の周波数や音圧が変化する。そこで、低減すべき周波数と低減率を温度に従って補正することで、より精密に騒音を低減できるようになる。
【００５５】
カメラ姿勢を考慮する理由は、以下の通りである。重力の影響があることから、カメラ姿勢によって駆動源への負荷が変化する。例えば、カメラを空方向である上向きにして、ズームレンズ群３２を上方向に繰り出そうとすると、ズームレンズ群３２を重力に逆らって駆動する必要がある。重力に逆らう分、ズームレンズ群駆動機構４４の駆動源への負荷が増大し、ズームスピードが遅くなり、ズーム騒音の周波数と音圧が変化する。従って、低減すべき周波数や低減率を姿勢に応じて補正することで、より精密に騒音を低減できるようになる。
【００５６】
また、外気温度によってマイク１８の音響／電気変換の周波数特性が変化するので、入力音声に温度補正を加えるのが好ましい。
【００５７】
フォーカスレンズ群駆動機構５２からの騒音を除去する際に、発声周波数帯域データ記憶部９０から被写体に応じて発声周波数帯域データを読み出すか、又は、基本騒音波形記憶部９６からフォーカス騒音基本波形を読み出す。温度センサ１００が検出したカメラ温度を基に、温度補正係数記憶部９４から温度補正係数を読み出す。姿勢センサ９８が検出したカメラ姿勢を基に、姿勢補正係数記憶部９２から姿勢補正係数を読み出す。読み出した発声周波数帯域データの音圧レベル低減周波数帯域と低減率を、温度補正係数と姿勢補正係数により補正する。フォーカスフィルタ処理部８６は、音声処理部６８から入力される音声の、補正された周波数帯を、補正された低減率でフィルタリングする。
【００５８】
ＮＤフィルタ進退駆動機構５６からの騒音を除去する際に、発声周波数帯域データ記憶部９０から被写体に応じて発声周波数帯域データを読み出すか、又は基本騒音波形記憶部９６からＮＤフィルタ進退騒音基本波形を読み出す。温度センサ１００が検出したカメラ温度を基に、温度補正係数記憶部９４から温度補正係数を読み出す。姿勢センサ９８が検出したカメラ姿勢を基に、姿勢補正係数記憶部９２から姿勢補正係数を読み出す。読み出した発声周波数帯域データの音圧レベル低減周波数帯域と低減率を、温度補正係数と姿勢補正係数により補正する。ＮＤフィルタ処理部８８は、音声処理部６８から入力される音声の、補正された周波数帯を補正された低減率でフィルタリングする。
【００５９】
フィルタ選択部８９は、動画撮影モードにおいてシャッタボタン２０の全押し操作が行われると、操作対象に応じて、騒音除去処理用に、ズームフィルタ処理部８４、フォーカスフィルタ処理部８６又はＮＤフィルタ処理部８８を選択する。例えば、ズームボタン２４が操作された場合、フィルタ選択部８９は、ズームフィルタ処理部８４に騒音の除去処理の実行を指示する。フォーカスレンズ群３６の駆動が開始すると、フォーカスフィルタ処理部８６がフォーカスレンズ群３６の駆動に応じた騒音除去処理を実行する。同様に、ＮＤフィルタの進退移動に対しては、ＮＤフィルタ処理部８８が騒音除去処理を実行する。
【００６０】
符号化復号化処理部７６は、ズームフィルタ処理部８４、フォーカスフィルタ処理部８６又はＮＤフィルタ処理部８８により騒音を除去された音声データを符号化する。符号化復号化処理部７６は、符号化した音声データを記録媒体７２に格納する。
【００６１】
図８を参照して、人間の発する音声の周波数特性及び各種駆動機構の発生する騒音の周波数特性を説明する。図８（ａ）は、女性の発生の周波数特性例を示す。図８（ｂ）は、男性の発声の周波数特性例を示す。図８（ｃ）は、ズーム騒音の周波数特性例を示す。図８（ｄ）は、ＮＤフィルタ進退騒音の周波数特性例を示す。
【００６２】
日本語の周波数帯域は、１００〜１５００Ｈｚという説があり、男性に対して女性の発声の周波数帯域はやや高くなっている。周波数特性の数値としては各種研究・測定結果があり、どれが最適であるか不明であるが、ここでは、本実施例の特徴を明確にする為に、数値を仮に設定して説明する。
【００６３】
図８（ａ）は、成人女性がある一定時間、会話した場合の周波数特性の一例を模式的に示す。横軸が周波数〔Ｈｚ〕を示し、縦軸が音圧〔ｄＢ〕を示す。周波数特性の曲線を見ると、１０Ｈｚ付近は音圧が低く、２００Ｈｚ付近で高くなり、２０００Ｈｚ付近で音圧が低下している。このように、図８（ａ）に示す例では、発声する音域が、２００〜２０００Ｈｚにある。
【００６４】
図８（ｂ）は、成人男性が、ある一定時間、会話した場合の周波数特性の一例を模式的に示す。横軸が周波数〔Ｈｚ〕を示し、縦軸が音圧〔ｄＢ〕を示す。周波数特性の曲線を見ると、１０Ｈｚ付近は音圧が低く、１００Ｈｚ付近で高くなり、１０００Ｈｚ付近で音圧が低下している。このように、図８（ｂ）に示す例では、発声する音域が１００〜１０００Ｈｚにある。
【００６５】
図８（ｃ）は、ズームレンズ群駆動機構４４がズームレンズ群３２を駆動する際に発生する騒音をマイク１８で取り込んだときの、マイク１８の出力音声の周波数特性を示す。横軸が周波数〔Ｈｚ〕を示し、縦軸が音圧〔ｄＢ〕を示す。周波数５Ｈｚから１０ｋＨｚにわたって一定の音圧で騒音を発生している。
【００６６】
図８（ｄ）は、ＮＤフィルタ進退駆動機構５６がＮＤフィルタを駆動した際に発生する騒音をマイク１８で取り込んだときの、マイク１８の出力音声の周波数特性を示す。横軸が周波数〔Ｈｚ〕を示し、縦軸が音圧〔ｄＢ〕を示す。周波数２０Ｈｚ近辺に第１のピークがあり、周波数２ｋＨｚ近辺に第２のピークがある。
【００６７】
図９及び図１０を参照して、本実施例の録音時の騒音低減処理の動作を詳細に説明する。図９及び図１０は、本実施例の、動画撮影モードにおける騒音低減処理の動作フローチャートを示す。
【００６８】
全体制御部６０は、シャッタボタン２０の半押しを検出すると（Ｓ１）、測距及び測光する（Ｓ２）。即ち、被写体までの距離をコントラスト方式ＡＦ（オートフォーカス）で測距し、撮像素子４０に入射する光量から適正露光となるシャッタ速度を決定する。そして、全体制御部６０は、測距結果に従い、フォーカスレンズ群駆動回路５０に指示して、フォーカスレンズ群３６を被写体にピントが合う位置まで移動させる（Ｓ３）。また、全体制御部６０は、測光結果に従い、被写体が明るすぎる場合は、減光の為、ＮＤフィルタ駆動回路５４に指示してＮＤフィルタを光路中に進入させる（Ｓ４）。
【００６９】
被写体認識部７８は、画面内の人物の存在不在を認識し（Ｓ５）、存在しない場合には、被写体に依存しない騒音低減処理を含む通常の撮影処理（Ｓ６）を実行する。図１１は、ステップＳ６の詳細なフローチャートを示す。
【００７０】
図１１に示すフローでは、撮像装置が発する騒音周波数の全域に対してフィルタのゲインを低減する。シャッタボタン２０の全押しに対し（Ｓ３１）、動画撮影（録画）を開始する（Ｓ３２）。
【００７１】
ズームボタン２４が押されている場合には（Ｓ３３）、ズームレンズ群の駆動中に発する騒音の周波数帯５〜１０００Ｈｚの録音レベルを−１５ｄＢ下げて、録音を続ける（Ｓ３４）。
【００７２】
フォーカスレンズ群を駆動している間は（Ｓ３５）、フォーカスレンズ群の駆動中に発する騒音の周波数帯１００〜１０００Ｈｚの録音レベルを−１３ｄＢ下げて、録音を続ける（Ｓ３６）。
【００７３】
ＮＤフィルタが進退駆動している間は（Ｓ３７）、ＮＤフィルタの進退駆動中に発する騒音の周波数３０Ｈｚ前後と２０００Ｈｚ前後の録音レベルを−８ｄＢ下げて、録音を続ける（Ｓ３８）。
【００７４】
シャッタボタン２０が再度、全押しされるまで（Ｓ３９）、以上のステップＳ３３〜Ｓ３８を繰り返し実行する。シャッタボタン２０が再度、全押しされると（Ｓ３９）、動画撮影を終了する（Ｓ４０）。
【００７５】
図９に戻る。画面内に人物が含まれている場合（Ｓ５）、画面内の人数の検出する（Ｓ７）。各人物が画面内でどの位置にいるかを検出する（Ｓ８）。ここでは、例えば、２名検出され、１名が中央に位置し、１名が右端に位置するとする。画面内の人物の大きさと配置から重要被写体となる人物を自動決定する（Ｓ９）。画面中央に大きめに人物Ａが正面顔で存在し、画面右隅に人物Ａより小さく人物Ｂが存在しているとすると、画面上の位置と大きさのいずれからも、人物Ａが重要被写体人物と判定される。決定された重要被写体人物の性別と年齢を判定する（Ｓ１０）。例えば、顔の目鼻口の距離比率から性別と年齢を判定でき、ここでは人物Ａが成人女性であると判定したとする。
【００７６】
シャッタボタン２０の全押しを待ち（Ｓ１１）、全押しに応じて、動画撮影（録画）を開始する（Ｓ１２）。
【００７７】
録画中のズームボタン２４の操作に対して（Ｓ１３）、発声周波数帯域データ記憶部９０から、重要被写体人物の性別と年齢に応じた音圧レベル低減周波数帯域と低減率を読み出す（Ｓ１４）。先に説明したように、重要被写体人物が成人女性であることから、図４に示すように、成人女性の制御データ（低減周波数帯域＝１０〜２００Ｈｚと１７００〜２４０００Ｈｚ、低減率＝４０％）を読み出す。
【００７８】
温度センサ１００による検出温度及び姿勢センサ９８により検出される姿勢に従い、温度補正係数を温度補正係数記憶部９４から読み出し、姿勢補正係数を姿勢補正係数記憶部９２から読み出す（Ｓ１５）。例えば、温度センサ１００の測定値が３２℃の場合、温度補正係数記憶部９４から、図６に示すように、低減周波数帯域の補正係数＝１．１、低減率の補正係数＝０．８を読み出す。そして、姿勢センサ９８により検出される現状姿勢が通常姿勢である場合、図５に示すように、低減周波数帯域の補正係数＝１、低減率の補正係数＝１を読み出す。
【００７９】
補正係数に従うフィルタ特性で入力音声をフィルタリングして、騒音を低減する（S１６）。そして、図１２に示すように、画像表示部（ＬＣＤ）６の左上に「騒音低減録音中」を表示して、撮影者に、ズーム騒音分の録音音声補正の開始を通知する。ズームフィルタ処理部８４は、マイク１８及び音声処理部６８を介して入力された被写体の音声の内、周波数帯（１０×１．１×１）〜（２００×１．１×１）Ｈｚの音声を（４０×０．８×１）％の低減率で加工する。また、周波数帯（１７００×１．１×１）〜（２４０００×１．１×１）Ｈｚの音声を（４０×０．８×１）％の低減率で加工する。そして、音声処理制御部８２は、その加工された音声データを記録媒体７２に記録する。
【００８０】
たまたま女性がカメラに向かって話し掛けていたとすると、ある時間内の平均では、図８（ａ）に示す女性発声の周波数特性の音声と、図８（ｃ）に示すズーム騒音周波数特性の音がマイク１８で集音されることになる。これらの合成音声の周波数特性は、図１３（ａ）に示すように、２００〜２０００Ｈｚが一段高い音圧の周波数特性になる。ズームフィルタ処理部８４での音声加工量は、図１３（ｂ）に示すように、２２０〜１８７０Ｈｚまでは加工されず、２２０Ｈｚ以下と１８７０Ｈｚ以上の音の音圧が３２％、低減加工される。すなわち、被写体となった人物の性別及び年齢に応じた発生周波数帯域以外で、騒音源に応じた騒音低減特性で騒音が低減される。その結果、図１０（ｃ）に示すように、成人女性の発声周波数に殆ど影響を与えないで、それ以外の周波数（２２０Ｈｚ以下と１８７０Ｈｚ以上）で騒音周波数部分を低減できる。
【００８１】
フォーカスレンズ群３６が駆動開始している場合には（Ｓ１７）、全体制御部６０は、発声周波数帯域データ記憶部９０から、重要被写体人物の性別と年齢に応じた音圧レベル低減周波数帯域と低減率を読み出す（Ｓ１８）。図４に示すように、成人女性の場合の制御データ（低減周波数帯域＝１０〜２００Ｈｚと１７００〜２４０００Ｈｚ、低減率＝４０％）を読み出すことになる。
【００８２】
温度センサ１００による検出温度及び姿勢センサ９８により検出される姿勢に従い、温度補正係数を温度補正係数記憶部９４から読み出し、姿勢補正係数を姿勢補正係数記憶部９２から読み出す（Ｓ１９）。例えば、温度センサ１００の測定値が３２℃の場合、温度補正係数記憶部９４から、図６に示すように、低減周波数帯域の補正係数＝１．１、低減率の補正係数＝０．８を読み出す。そして、姿勢センサ９８により検出される現状姿勢が通常姿勢である場合、図５に示すように、低減周波数帯域の補正係数＝１、低減率の補正係数＝１を読み出す。
【００８３】
図１２に示すように、画像表示部（ＬＣＤ）６の左上に「騒音低減録音中」を表示して、撮影者に、ズーム騒音分の録音音声補正の開始を通知する（Ｓ２０）。フォーカスフィルタ処理部８６は、マイク１８及び音声処理部６８を介して入力された被写体の音声の内、周波数帯（１０×１．１×１）〜（２００×１．１×１）Ｈｚの音声を（４０×０．８×１）％の低減率で加工する。また、周波数帯（１７００×１．１×１）〜（２４０００×１．１×１）Ｈｚの音声を（４０×０．８×１）％の低減率で加工する。そして、音声処理制御部８２は、その加工された音声データを記録媒体７２に記録する。
【００８４】
ＮＤフィルタが進退開始している場合には（Ｓ２１）、発声周波数帯域データ記憶部９０から、重要被写体人物の性別と年齢に応じた音圧レベル低減周波数帯域と低減率を読み出す（Ｓ２２）。先に説明したように、重要被写体人物が成人女性であることから、図４に示すように、成人女性の制御データ（低減周波数帯域＝１０〜２００Ｈｚと１７００〜２４０００Ｈｚ、低減率＝４０％）を読み出す。
【００８５】
温度センサ１００による検出温度及び姿勢センサ９８により検出される姿勢に従い、温度補正係数を温度補正係数記憶部９４から読み出し、姿勢補正係数を姿勢補正係数記憶部９２から読み出す（Ｓ２３）。例えば、温度センサ１００の測定値が３２℃の場合、温度補正係数記憶部９４から、図６に示すように、低減周波数帯域の補正係数＝１．１、低減率の補正係数＝０．８を読み出す。そして、姿勢センサ９８により検出される現状姿勢が通常姿勢である場合、図５に示すように、低減周波数帯域の補正係数＝１、低減率の補正係数＝１を読み出す。
【００８６】
補正係数に従うフィルタ特性で入力音声をフィルタリングして、騒音を低減する（Ｓ２４）。そして、図１２に示すように、画像表示部２２の左上に「騒音低減録音中」を表示して、撮影者に、ＮＤフィルタの進退に伴う騒音分の録音音声補正の開始を通知する。ＮＤフィルタ処理部８８は、マイク１８及び音声処理部６８を介して入力された被写体の音声の内、周波数帯（１０×１．１×１）〜（２００×１．１×１）Ｈｚの音声を（４０×０．８×１）％の低減率で加工する。また、周波数帯（１７００×１．１×１）〜（２４０００×１．１×１）Ｈｚの音声を（４０×０．８×１）％の低減率で加工する。そして、音声処理制御部８２は、その加工された音声データを記録媒体７２に記録する。
【００８７】
シャッタボタン２０が再度、全押しされるまで（Ｓ２５）、以上のステップＳ１３〜Ｓ２４を繰り返し実行する。シャッタボタン２０が再度、全押しされると（Ｓ２５）、動画撮影を終了する（Ｓ２６）。
【００８８】
本実施例では、画面内に人物がいる場合に、その人物が発するであろう音声に悪影響を与えないで、撮像装置が発する騒音（ズーム音、フォーカス音、ＮＤ進退音）を低減して、録音できる。
【００８９】
ズーム音、フォーカス音及びＮＤ進退音の３つの騒音を低減したが、必要に応じて一部の騒音のみの低減（例えば、ズーム音のみの低減）に限定してもよいことは明らかである。
【実施例２】
【００９０】
本発明の第２実施例を説明する。第２実施例では、重要被写体人物が発生しているときのみ、騒音低減を有効化する。図１４は、そのように図１０を変更した制御フローチャートを示す。ステップＳ１５とステップＳ１６の間に条件分岐のステップＳ１５−２を挿入し、ステップＳ１９とステップＳ２０の間に条件分岐のステップＳ１９−２を挿入している。
【００９１】
すなわち、被写体認識の１つとして、重要被写体の口が動いているか動いていないかを識別する。図１５（ａ），（ｂ）に破線で示すように、重要被写体人物の口の動きをモニタし、発声をしているか否かを判別する。図１５（ａ）は口を閉じている状態を示し、図１５（ｂ）は口を開いている状態を示す。撮影画像上、重要被写体人物の口が動いていて、且つマイク１８に音声が入力されている場合、被写体認識部７８は、重要被写体人物が発声していると判断する。重要被写体人物が発声している場合に（Ｓ１５−２，Ｓ１９−２）、騒音低減処理を実行する（Ｓ１６，Ｓ２０）。
【００９２】
なお、ＮＤフィルタ進退時の騒音は瞬間的な騒音であるので、この実施例では、発声の有無による騒音低減処理の有効化制御は行っていない。
【００９３】
本実施例では、人物が画面の中央に位置していても、発声や会話していないときには、駆動騒音を効果的に低減し、発声や会話しているときには、その音声を損なわないように、騒音を低減できる。被写体人物が発声している時のみ、撮像装置が発する騒音を低減するので、実施例１よりさらに違和感の少ない騒音低減録音を実現できる。
【実施例３】
【００９４】
本発明の第３実施例を説明する。この実施例では、基本騒音波形記憶部９６が、撮像装置が発声する代表的な騒音波形を記憶する。そして、録音時には、この代表的な騒音波形を音声変化及び姿勢変化に応じて補正した上で、マイク１８の入力音声（被写体音声と騒音）から減算する。
【００９５】
図１６は、基本騒音波形記憶部９６に記憶される基本騒音波形に対する温度補正係数表を示す。図１６に示す温度補正係数が、温度補正係数記憶部９４に記憶されている。図示例では、温度範囲が３段階に分類され、各温度範囲に対して、時間軸を係数倍する時間軸補正係数と、振幅を係数倍する振幅補正係数が格納されている。例えば、温度センサ１００により、撮像装置の周囲温度が８℃と測定された場合、温度範囲−１０〜１０℃の欄から、時間軸方向の補正係数として１．１が読み出される。これは、１秒間の騒音が１．１秒かかって発生すると予測して、基本騒音波形の騒音を補正することに相当する。また、振幅は１．２倍に補正される。
【００９６】
図１７は、基本騒音波形記憶部９６に記憶される基本騒音波形に対する姿勢補正係数表を示す。図１７に示す姿勢補正係数が、姿勢補正係数記憶部９２に記憶されている。図１７に示す例では、カメラの姿勢が３段階に分類され、各姿勢に対して、時間軸を係数倍する時間軸補正係数と、振幅を係数倍する振幅補正係数が格納されている。例えば、姿勢センサ９８により撮像装置の姿勢が上向きと測定された場合、図１７に示す姿勢補正係数表の「撮像装置上向き」の欄から、時間軸方向の姿勢補正係数として１．２が読み出される。これは、１秒間の騒音が１．２秒かかって発生すると予測して、基本騒音波形の騒音を補正することに相当する。また、振幅は１．１倍に補正される。
【００９７】
図１８は、図９に対応する第３実施例の騒音処理の変更部分のフローチャートを示す。
【００９８】
録画中のズームボタン２４の操作に対して（Ｓ１１３）、全体制御部６０は、基本騒音波形記憶部９６からズーム基本騒音波形データ（図７（ａ））を読み出す（Ｓ１１４）。温度センサ１００の検出温度に従い、温度補正係数記憶部９４から、対応する温度範囲の時間軸補正係数及び振幅補正係数を読み出す。また、姿勢センサ９８の検出姿勢に従い、姿勢補正係数記憶部９２から対応する姿勢に対する時間軸補正係数及び振幅補正係数を読み出す（Ｓ１１５）。
【００９９】
音声処理制御部８２は、読み出されたズーム基本騒音波形に温度と姿勢に関する時間軸補正係数と振幅補正係数を各々掛け合わせ、マイク１８で集音される音声から減算することで、騒音を低減する（Ｓ１１６）。音声処理制御部８２は、このように騒音を低減された音声データを記録媒体７２に記録する。
【０１００】
フォーカスレンズ群が駆動開始している場合には（Ｓ１１７）、全体制御部６０は、基本騒音波形記憶部９６からフォーカス基本騒音波形データ（図７（ｂ））を読み出す（Ｓ１１８）。温度センサ１００の検出温度に従い、温度補正係数記憶部９４から、対応する温度範囲の時間軸補正係数及び振幅補正係数を読み出す。また、姿勢センサ９８の検出姿勢に従い、姿勢補正係数記憶部９２から対応する姿勢に対する時間軸補正係数及び振幅補正係数を読み出す（Ｓ１１９）。
【０１０１】
音声処理制御部８２は、読み出されたフォーカス基本騒音波形に温度と姿勢に関する時間軸補正係数と振幅補正係数を各々掛け合わせ、マイク１８で集音される音声から減算することで、騒音を低減する（Ｓ１２０）。音声処理制御部８２は、このように騒音を低減された音声データを記録媒体７２に記録する。
【０１０２】
ＮＤフィルタが進退開始している場合には（Ｓ１２１）、全体制御部６０は、基本騒音波形記憶部９６からＮＤフィルタ進退基本騒音波形データ（図７（ｃ））を読み出す（Ｓ１２２）。温度センサ１００の検出温度に従い、温度補正係数記憶部９４から、対応する温度範囲の時間軸補正係数及び振幅補正係数を読み出す。また、姿勢センサ９８の検出姿勢に従い、姿勢補正係数記憶部９２から対応する姿勢に対する時間軸補正係数及び振幅補正係数を読み出す（Ｓ１２３）。
【０１０３】
音声処理制御部８２は、読み出されたＮＤフィルタ進退基本騒音波形に温度と姿勢に関する時間軸補正係数と振幅補正係数を各々掛け合わせ、マイク１８で集音される音声から減算することで、騒音を低減する（Ｓ１２４）。音声処理制御部８２は、このように騒音を低減された音声データを記録媒体７２に記録する。
【０１０４】
本実施例でも、録音低減処理を実行しながら、入力音声を録音している場合には、図１２に示すように、画像表示部（ＬＣＤ）６の左上に「騒音低減録音中」を表示する。
【０１０５】
シャッタボタン２０が再度、全押しされるまで（Ｓ１２５）、以上のステップＳ１１３〜Ｓ１２４を繰り返し実行する。シャッタボタン２０が再度、全押しされると（Ｓ１２５）、動画撮影を終了する（Ｓ１２６）。
【０１０６】
本実施例では、各種騒音の基本波形を使用環境（姿勢及び温度）に従って補正してから入力音声から減算するので、撮像装置で発声する騒音を低減して周囲音声を録音できる。
【実施例４】
【０１０７】
本発明の第４実施例を説明する。本実施例では、画面内の人物の配置に応じてマイクロ１０の指向性を変更制御する。これにより、撮像装置の発する騒音を極力低減できる。
【０１０８】
図１９（ａ）は、撮影視野内に人物が存在しないとき、又は、撮影対象の人物が口を閉じているときのマイク１８の指向性例を示す。図１９（ｂ）は、撮影対象の人物が発声中のマイク１８の指向性例を示す。円形グラフの上が被写体方向正面であり、円形グラフ右側が撮影画面右側を示し、円形グラフ左側が撮影画面右左側を示す。円形の半径方向がマイク１８の感度を示す。正面方向の感度を０ｄＢと正規化して、最外円が感度０ｄＢ、１つ内側の円が感度−１０ｄＢ、２つ目の円が感度−２０ｄＢを示す。
【０１０９】
図１９（ａ）では、実線で示される感度曲線は、左右対称形状で、左右７０度の角度方向で急激に感度が低下している。このように左右７０度という広い指向性を持っているので、撮影画面内と周辺の音声をまんべんなく集音可能である。
【０１１０】
図１９（ｂ）では、実線で示される感度曲線は、左右対称形状で、左右４５度の角度方向で急激に感度が低下している。このように左右４５度という狭い指向性を持っているので、マイク１８の左右側面や後方での音は集音されない。よって、それらの位置に撮像装置自体が発する騒音源があっても、マイク１８で集音されない。
【０１１１】
図２０及び図２１は、本実施例の、騒音低減処理を含む動画録画動作のフローチャートを示す。
【０１１２】
全体制御部６０は、シャッタボタン２０が半押しされたことを検出すると（Ｓ２０１）、測距及び測光する（Ｓ２０２）。即ち、被写体までの距離をコントラスト方式ＡＦ（オートフォーカス）で測距し、撮像素子４０に入射する光量から適正露光となるシャッタ速度を決定する。そして、全体制御部６０は、測距結果に従い、フォーカスレンズ群駆動回路５０に指示して、フォーカスレンズ群３６を被写体にピントが合う位置まで移動させる（Ｓ２０３）。また、全体制御部６０は、測光結果に従い、被写体が明るすぎる場合は、減光の為、ＮＤフィルタ駆動回路５４に指示してＮＤフィルタを光路中に進入させる（Ｓ２０４）。
【０１１３】
全体制御部６０は、シャッタボタン２０の全押しを待ち（Ｓ２０５）、全押しに応じて、動画撮影（録画）を開始する（Ｓ２０６）。
【０１１４】
録画中のズームボタン２４の操作に対して（Ｓ２０７）、被写体認識部７８が、撮影画面内に人物が存在するかどうかを認識する（Ｓ２０８）。人物が存在しない場合（Ｓ２０８）、全体制御部６０は、周波数帯５〜１０００Ｈｚの録音レベルを−１５ｄＢ下げて録音を続け、ステップＳ２０７に戻る。
【０１１５】
撮影画面内に人物が存在する場合（Ｓ２０８）、画面内の人数を検出し（Ｓ２１０）、検出された人物が画面内の中央にいるのか、周辺のどの位置にいるのかを検出する（Ｓ２１０）。例えば、ここで、２名検出され、中央に１名、右端に１名、位置しているとする。
【０１１６】
画面内の人物の大きさと配置から重要被写体となる人物を自動決定する（Ｓ２１２）。画面中央に大きめに人物Ａが正面顔で存在し、画面右隅に人物Ａより小さく人物Ｂが存在しているとすると、画面上の位置と大きさのいずれからも、人物Ａが重要被写体人物と判定される。決定された重要被写体人物の性別と年齢を判定する（Ｓ２１３）。例えば、顔の目鼻口の距離比率から性別と年齢を判定でき、ここでは人物Ａが成人女性であると判定したとする。
【０１１７】
重要被写体人物が発声しているか否かを判別する（Ｓ２１４）。撮影画像上で重要被写体人物の口が動いていて、且つマイク１８に音声が入力されている場合、被写体認識部７８は、重要被写体人物が発声していると判断する。
【０１１８】
重要被写体人物が発声している場合（Ｓ２１４）、全体制御部６０は、マイク１０の指向性を、図１９（ａ）に示す広指向性（又は無指向性）の状態から図１９（ｂ）に示す狭指向性の状態に切り替える（Ｓ２１５）。そして、図１５（ｂ）に示すように、画像表示部（ＬＣＤ）６の左上に「騒音低減録音中」を表示する。
【０１１９】
全体制御部６０は、発声周波数帯域データ記憶部９０から、重要被写体人物の性別と年齢に応じた音圧レベル低減周波数帯域と低減率を読み出す（Ｓ２１６）。ここでは、重要被写体人物が成人女性であることから、図４に示すように、成人女性の制御データ（低減周波数帯域＝１０〜２００Ｈｚと１７００〜２４０００Ｈｚ、低減率＝４０％）を読み出す。
【０１２０】
温度センサ１００による検出温度及び姿勢センサ９８により検出される姿勢に従い、温度補正係数を温度補正係数記憶部９４から読み出し、姿勢補正係数を姿勢補正係数記憶部９２から読み出す（Ｓ２１７）。例えば、温度センサ１００の測定値が３２℃の場合、温度補正係数記憶部９４から、図６に示すように、低減周波数帯域の補正係数＝１．１、低減率の補正係数＝０．８を読み出す。そして、姿勢センサ９８により検出される現状姿勢が通常姿勢である場合、図５に示すように、低減周波数帯域の補正係数＝１、低減率の補正係数＝１を読み出す。
【０１２１】
補正係数に従うフィルタ特性で入力音声をフィルタリングして、騒音を低減する（Ｓ２１８）。そして、図１２に示すように、画像表示部２２の左上に「騒音低減録音中」を表示して、撮影者に、ズーム騒音分の録音音声補正の開始を通知する。ズームフィルタ処理部８４は、マイク１８及び音声処理部６８を介して入力された被写体の音声の内、周波数帯（１０×１．１×１）〜（２００×１．１×１）Ｈｚの音声を（４０×０．８×１）％の低減率で加工する。また、周波数帯（１７００×１．１×１）〜（２４０００×１．１×１）Ｈｚの音声を（４０×０．８×１）％の低減率で加工する。このように加工された音声データが記録媒体７２に記録される。
【０１２２】
ズームボタン２４がオフになるか（Ｓ２１７）、又は、重要被写体人物が発声していないときには（Ｓ２１４）、全体制御部６０は、ズーム騒音の低減処理を終了する（Ｓ２１９）。
【０１２３】
シャッタボタン２０が再度、全押しされるまで（Ｓ２２０）、以上のステップＳ１２０７〜Ｓ２１９を繰り返し実行する。シャッタボタン２０が再度、全押しされると（Ｓ２２０）、動画撮影を終了する（Ｓ２２１）。
【０１２４】
本実施例では、人物被写体の有無と発声の有無により、マイクの指向性と雑音低減のフィルタ特性を制御することで、人物の音声への影響を抑えつつ、撮像装置の発するズーム騒音の影響を軽減できる。
【０１２５】
ビデオカメラに適用した実施例を説明したが、本発明は、録画済みの動画からの再生音声のノイズ低減にも適用可能である。即ち、再生画像から人物を検出し、その検出結果に従い、上記した実施例と同様の処理を経て、再生音声から騒音を低減する。この場合、撮影時の温度及び姿勢は、撮影画像及び音声に多重して記録され、再生時に分離出力される。画像・音声・姿勢データ・温度データを分離する手段が、画像入力手段、音声入力手段、姿勢情報入力手段及び温度情報入力手段に相当する。
【図面の簡単な説明】
【０１２６】
【図１】本発明の一実施例の正面図である。
【図２】本実施例の背面図である。
【図３】本実施例の概略構成ブロック図を示す。
【図４】発声周波数帯域データ記憶部９０の記憶データ例である。
【図５】姿勢補正係数記憶部９２に記憶される姿勢補正係数例である。
【図６】温度補正係数記憶部９４に記憶される温度補正係数例である。
【図７】基本騒音波形記憶部９６に記憶される基本騒音波形例である。
【図８】男性及び女性の発声音、ズーム騒音、並びにＮＤフィルタ進退騒音の周波数特性例を示す。
【図９】本実施例の騒音低減処理のフローチャートの一部を示す。
【図１０】本実施例の騒音低減処理のフローチャートの一部を示す。
【図１１】ステップＳ６の詳細なフローチャートを示す。
【図１２】騒音低減処理中の表示例である。
【図１３】入力音声、フィルタ加工量及び加工後の音声の各周波数特性を示す。
【図１４】第２実施例の騒音低減処理の変更部分を示すフローチャートである。
【図１５】図１４に示すフローの動作説明図である。
【図１６】基本騒音波形記憶部９６に記憶される基本騒音波形に対する温度補正係数表を示す。
【図１７】基本騒音波形記憶部９６に記憶される基本騒音波形に対する姿勢補正係数表を示す。
【図１８】第３実施例の騒音処理の変更部分のフローチャートを示す。
【図１９】第４実施例におけるマイク指向性の変化例を示す。
【図２０】第４本実施例の、騒音低減処理を含む動画録画動作のフローチャートの一部である。
【図２１】第４本実施例の、騒音低減処理を含む動画録画動作のフローチャートの一部である。
【符号の説明】
【０１２７】
１０：撮像装置
１２：カメラ本体部
１４：レンズ鏡筒
１６：フラッシュ
１８：マイク（音入力手段）
２０：シャッタボタン
２２：画像表示部
２４：ズームボタン
２４ａ：ワイドボタン
２４ｂ：テレボタン
２６：電源ボタン
２８：モード設定ボタン
３０：スピーカ（音出力手段）
３２：ズームレンズ群
３４：シャッタ機構
３６：フォーカスレンズ群
３８：ＮＤフィルタ進退機構
４０：撮像素子
４２：ズームレンズ群駆動回路
４４：駆動機構
４６：シャッタ駆動回路
４８：駆動機構
５０：フォーカスレンズ群駆動回路
５２：駆動機構
５４：ＮＤフィルタ駆動回路
５６：駆動機構
６０：全体制御部
６２：画像処理部
６４：画像メモリ
６６：ＶＲＡＭ
６８：音声処理部
７０：入力操作部
７２：記録媒体
７４：撮像制御部
７６：符号化復号化処理部
７７：駆動制御部
７８：被写体認識部
８０：人物自動選択部
８２：音声処理制御部
８４：ズームフィルタ処理部
８６：フォーカスフィルタ処理部
８８：ＮＤフィルタ処理部
９０：発声周波数帯域データ記憶部
９２：姿勢補正係数記憶部
９４：温度補正係数記憶部
９６：基本騒音波形記憶部
９８：姿勢センサ
１００：温度センサ
【技術分野】
【０００１】
本発明は、撮像装置及びその音声処理方法並びに音声処理装置及び方法に関し、より具体的には、映像を参照して音声に含まれる騒音を低減する撮像装置及びその音声処理方法並びに音声処理装置及び方法に関する。
【背景技術】
【０００２】
近年、静止画を撮影するデジタルスチルカメラにおいても、ビデオカメラの様に動画が撮影可能となっていており、音声も同時記録できる。他方、ビデオカメラでも、高解像度の静止画を撮影可能になっている。すなわち、ビデオカメラとスチルカメラとの境界が曖昧になってきている。
【０００３】
スチルカメラ及びビデオカメラ等の撮像装置は、一般に、撮影画角変更用のズームレンズ、焦点の調節用のフォーカスレンズ、並びに、光量調整用のＮＤ（減光）フィルタ及び絞りを具備する。そして、撮像装置は、これらを機械的に駆動する駆動装置を具備する。これら機構部品は、動作時に不可避的に音を発生する。音声が記録可能な撮像装置では、これら機構部分の発生する音が、騒音として音声と共に記録されてしまうという問題がある。
【０００４】
このための対策として、従来、駆動源、特に主たる騒音源であるモータと、マイクとを離して配置したり、駆動源の周囲に防音材を配設したり、あるいは、作動音の比較的少ないモータを使用する方法が採用された。例えば、特許文献１には、スチルビデオカメラにおいて、音声入力手段の作動時に電気部品（モータ）を作動させないようにする技術が記載されている。
【０００５】
特許文献２には、モータの回転が始まると、単調にカメラ騒音域を低減して記録することが記載されている。また、被写体音と騒音周波数が同一時には、被写体音が大きい場合に騒音低減処理を動作させることが記載されている。
【０００６】
特許文献３には、撮影モードに応じて、マイクの指向性を変更することが記載されている。たとえば、ポートレートモードではマイク指向性を正面の感度を上げてこれを重点的にし、周囲の感度を落として周囲のノイズをカツトする。また、風景モード又はスポーツモード等では、指向性を広げて周囲の音も記録可能とする。
【特許文献１】特開平９−２３３４１４号公報
【特許文献２】特開２００６−１８６８１９号公報
【特許文献３】特開２００２−１９９２７２公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
マイクと駆動源を物理的に離して配置する方法は、撮像装置の大型化を招く事となり、撮像装置小型化の要求に反する。駆動源の周囲に防音部材を配置する方法では、撮像装置の価格上昇を招く。
【０００８】
特許文献１の技術では、動画像の撮影中には撮影画角の変更や焦点調節が行えなくなり、撮影者の意図する画像が得られなくなる。
【０００９】
特許文献２に記載の技術では、マイクで集音した音圧と騒音の音圧の大小関係で、騒音低減処理の有無を決定している。従って、撮影している被写体の重要性を考慮しておらず、被写体に応じた適切な騒音低減処理になっていない。
【００１０】
特許文献３に記載の技術では、撮影モードに応じてマイクの指向性を変更するようになっている。従って、撮影モードを手動で切り替える煩わしさがあると共に、モード設定を誤ると、録音音質も悪化する可能性がある。
【００１１】
本発明は、上記事情に鑑みてなされたもので、大型化やコストアップを抑制しつつ、記録すべき音声に対する駆動機構の動作による騒音の影響を効果的に低減する撮像装置及びその音声処理方法並びに音声処理装置及び方法を提示することを目的とする。
【課題を解決するための手段】
【００１２】
本発明に係る撮像装置は、撮像手段と、音声入力手段と、ズームレンズ駆動手段、フォーカスレンズ駆動手段、ＮＤフィルタ駆動手段及びシャッタ駆動手段の何れかを含む騒音源と、前記撮像手段により入力される画像から被写体を認識する被写体認識手段と、前記音声入力手段により入力される音声から前記騒音源からの騒音を低減する騒音低減手段と、前記被写体認識手段の認識に従い、前記騒音低減手段を制御する制御手段とを具備することを特徴とする。
【００１３】
本発明に係る撮像装置の音声処理方法は、撮像手段と、音声入力手段と、ズームレンズ駆動手段、フォーカスレンズ駆動手段、ＮＤフィルタ駆動手段及びシャッタ駆動手段の何れかを含む騒音源とを有する撮像装置において、前記撮像手段により入力される画像から被写体を認識する被写体認識ステップと、前記音声入力手段により入力される音声から、前記被写体認識ステップでの認識に従う騒音低減特性で前記騒音源からの騒音を低減する騒音低減ステップとを具備することを特徴とする。
【００１４】
本発明に係る音声処理装置は、画像入力手段と、音声入力手段と、前記画像入力手段により入力される画像から被写体を認識する被写体認識手段と、前記音声入力手段により入力される音声から騒音を低減する騒音低減手段と、前記被写体認識手段の認識に従い、前記騒音低減手段を制御する制御手段とを具備することを特徴とする。
【００１５】
本発明に係る音声処理方法は、画像を入力する画像入力ステップと、音声を入力する音声入力ステップと、前記画像入力ステップにより入力される画像から被写体を認識する被写体認識ステップと、前記音声入力ステップにより入力される音声から、前記被写体認識ステップの認識に従う騒音低減特性で騒音を低減する騒音低減ステップとを具備することを特徴とする。
【発明の効果】
【００１６】
本発明によれば、機構部等が発生する騒音を効果的に低減でき、録音品質又は再生品質を向上させることができる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【００１８】
図１は、本発明に係る撮像装置の第１実施例の正面図を示し、図２は、その背面図を示す。図３は、本実施例の概略構成ブロック図を示す。
【００１９】
本実施例の撮像装置１０は、カメラ本体部１２に、レンズ鏡筒１４、フラッシュ１６及びマイク（音入力手段）１８を具備する。カメラ本体部１２の上面には、シャッタボタン２０を具備する。カメラ本体部１２の背面には、図２に示すように、画像表示部２２、ズームボタン２４、電源ボタン２６、モード設定ボタン２８及びスピーカ（音出力手段）３０を備えている。画像表示部２２は、一般的には、液晶表示装置（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子からなる。
【００２０】
レンズ鏡筒１４には、図３に示すように、ズームレンズ群３２、シャッタ３４及びフォーカスレンズ群３６を有する撮影レンズが収納される。ズームレンズ群３２とシャッタ３４の間には、光軸上にＮＤフィルタを挿入又は退出させるＮＤフィルタ進退機構３８が配置される。ＮＤフィルタは、被写体が明るく、シャッタ速度変更や撮像素子４０の感度変更でも適正露光が得られないほど被写体が明るい場合に、被写体からの光量を減光するために使用される。撮影レンズは、ズームレンズ群３２により焦点距離を変更可能であり、フォーカスレンズ群３６による合焦度を調節可能である。
【００２１】
ズームレンズ群駆動回路４２が、駆動モータ及び減速機構からなる駆動機構４４により、ズームレンズ群３２を光軸方向に移動させる。シャッタ駆動回路４６が、駆動機構４８により、シャッタ３４のシャッタ羽根を開閉する。フォーカスレンズ群駆動回路５０が、駆動モータ及び減速機構からなる駆動機構５２により、フォーカスレンズ群３６を光軸方向に移動させる。ＮＤフィルタ駆動回路５４が、駆動モータ及び減速機構からなる駆動機構５６により、ＮＤフィルタ進退機構３８のＮＤフィルタを光軸上の位置と光軸から退避した位置との間で移動させる。
【００２２】
シャッタボタン２０は、スチルカメラで周知の通り、半押し状態と全押し状態の２段階に押下可能である。静止画撮影モードでは、シャッタボタン２０の半押しに対し、露光制御及び合焦制御が実行され、全押しに対して、被写体画像の静止画としての取り込みと録画が実行される。動画撮影モードでは、シャッタボタン２０の１回目の全押しに対して、被写体画像の動画としての取り込みと録画が実行され、２回目の全押しで録画が停止される。即ち、シャッタボタン２０は、録画開始と停止を指示するトグルボタンとして機能する。
【００２３】
詳細は後述するが、静止画撮影モードでは、シャッタボタン２０が操作されていないとき、所定の周期、例えば１／１５秒毎に被写体の光学像が取り込まれ、画像表示部２２の画面上にライブビュー画像として表示される。シャッタボタン２０の半押し段階で、露出制御値（シャッタスピード及び絞り値）が設定されると共に、被写体距離に撮影レンズのフォーカスが制御されて撮像待機状態となる。シャッタボタン２０の全押し段階で、露出制御値のシャッタスピードに応じた時間だけシャッタ３４が開放され、撮像素子４０が露光される。この露光により撮像素子４０で生成される画像信号は、後述する圧縮処理等を経て、記録媒体に記録される。
【００２４】
他方、動画撮影モードでは、シャッタボタン２０が操作されていないとき、露出と撮影レンズのフォーカスが継続的に自動制御される。勿論、露出制御を手動に切り替えたときには、露出制御は手動になる。同様に、合焦制御を手動に切り替えた場合も、合焦制御は手動になる。録画開始前も録画中も、撮像素子４０に入射する被写体画像が、画像表示部２２の画面にライブビュー画像として表示される。
【００２５】
フラッシュ１６は、被写体からの光量が不足する場合などに、被写体に撮影用の照明光を照射するために使用される。
【００２６】
マイク１８は、音声を電気信号（音声信号）に変換する素子であり、スピーカ３０は、音声信号を音響出力する素子である。
【００２７】
画像表示部２２は、撮影の際のファインダとして、また、録画中の画像及び再生画像をモニタする手段として使用される。画像表示部２２にはまた、動作パラメータ等を設定するため等の種々の設定画面が表示される。
【００２８】
ズームボタン２４は、ズームレンズ群３２のワイド方向への移動を指示するワイドボタン２４ａと、テレ方向への移動を指示するテレボタン２４ｂから成る。電源ボタン２６は、押下する毎に撮像装置１０の主電源のオン／オフが交互に切り換わる。モード設定ボタン２８は、被写体像の静止画撮影を行う静止画撮影モードと、被写体像の動画撮影を行う動画撮影モードと、記録画像を再生する再生モードを選択指定する。
【００２９】
撮像素子４０は、撮影レンズによる光学像を電気画像信号に変換する。撮像素子４０は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色成分を受光する画素をマトリックス状に複数有する例えばＣＭＯＳカラーエリアセンサからなる。なお、全体制御部６０が、撮像素子４０の露出開始／終了、及び各画素信号の読出しを制御する。
【００３０】
画像処理部６２は、撮像素子４０から出力される画像信号にカメラで公知の処理（ノイズ低減、黒レベル、色変換、ホワイトバランス調整及びガンマ補正等）を施す。具体的には、画像処理部６２は、画像信号のノイズを低減し、レベル調整した上で、所定ビット（例えば、各色８ビット）にデジタル化する。画像処理部６２は更に、画像データの黒レベルを基準値に補正し、Ｒ（赤）、Ｇ（緑）及びＢ（青）の各色成分の画素データを調整して全体のホワイトバランスを補正し、また、γ特性を補正する。
【００３１】
画像処理部６２で処理された画像データは、画像メモリ６４に一時格納される。撮影時には、画像メモリ６４は、画像処理部６２からの画像データに全体制御部６０による所定処理を施すための作業領域としても用いられる。再生モードでは、画像メモリ６４は、記録媒体から読み出され再生された画像データが一時格納する手段として使用される。
【００３２】
ＶＲＡＭ６６は、画像表示部２２で再生表示する画像データを記憶するビデオメモリであり、画像表示部２２の表示画素数に対応する画素数の画像データを格納できる。
【００３３】
音声処理部６８は、マイク１８からの音声信号を増幅しデジタル信号に変換する機能と、全体制御部６０からの音声データ（再生音声信号）をアナログ信号に変換してスピーカ３０に供給する機能を有する。
【００３４】
入力操作部７０は、シャッタボタン２０、ズームボタン２４、電源ボタン２６、モード設定ボタン２８及びその他の操作手段からなる。入力操作部７０の操作情報は、全体制御部６０に入力される。
【００３５】
記録媒体７２は、半導体記憶素子からなるメモリカードや、又は、ハードディスクなどからなり、全体制御部６０から供給される画像データ、音声データ又はこれらの多重データを記憶する。
【００３６】
全体制御部６０はマイクロコンピュータからなり、カメラ本体部１２内の各部を統括的に制御する。全体制御部６０は、ワークエリアとしてのＲＡＭと、各種機能プログラム等を記憶するＲＯＭを有する。全体制御部６０は、プログラムにより実現される複数の機能要素７４〜８９を有する。
【００３７】
撮像制御部７４は、撮像素子４０の露光動作を制御する。具体的には、動画撮影モードでは、シャッタボタン２０の全押しに応じて、撮像素子４０に露光と画像信号の読出しを所定の周期で繰り返し実行させ、この撮影画像データを記録媒体７２に記録させる。そして、再度のシャッタボタン２０の全押しに応じて、この動作を終了させる。
【００３８】
符号化復号化処理部７６は、撮影画像データ及び入力音声データの符号化処理（圧縮処理）と、記録媒体７２から読み出された圧縮画像データ及び圧縮音声データの復号化処理（伸長処理）を担当する。圧縮画像データと圧縮音声データを多重する場合には、そのための多重処理と、再生の際の分離処理を担当する。
【００３９】
駆動制御部７７は、ズームレンズ群駆動機構４４、フォーカスレンズ群駆動機構５２、ＮＤフィルタ進退駆動機構５６及びシャッタ駆動機構４８の動作を制御する。例えば、駆動制御部７７は、ズームボタン２４が操作されると、その操作時間に応じた期間、ズームレンズ群３２を光軸方向に駆動するようにズームレンズ群駆動回路４２を制御する。また、シャッタボタン２０の半押し操作に対し、駆動制御部７７は、フォーカスレンズ群３６を光軸方向に移動させるようにフォーカスレンズ群駆動回路５０に指示する。駆動制御部７７は、撮像素子４０に結像される光量に従い、ＮＤフィルタの進退をＮＤフィルタ駆動回路５４に指示する。
【００４０】
被写体認識部７８は、撮像素子４０から得られる撮影画像中に人物が存在するか否か、人物の人数、画面上の位置、性別、成人か子供か、口が動いているか否か等を認識する。
【００４１】
人物自動選択部８０は、被写体認識部７８で判別した人物の内、被写体として重要である人物を一定の基準に従い選択する。例えば、画面内で各人物が占める面積や、画面の中央にいるか周辺にいるか、シャッタボタン２０の半押し時にオートフォーカスした人物かどうか等の何れかまたはその組み合わせを基準とする。そして、このような基準に従い、動画撮影時に被写体として最も重要である人物を推測する。
【００４２】
なお、被写体認識と顔認識技術は、特開平６−１６０９４４号公報及び特開２００１−３３０８８２号公報等に記載されている。本実施例では、このような公知の被写体認識技術を被写体認識部７８及び人物自動選択部８０に使用する。被写体認識技術のこれ以上の詳細な説明は、省略する。
【００４３】
音声処理制御部８２は、音声処理部６８でのデータの流れを制御する。すなわち、動画撮影モードでは、シャッタボタン２０の全押しに応じて、マイク１８の出力音声信号を取り込み、デジタル化及びＰＣＭ符号化するように音声処理部６８を制御する。音声処理制御部８２はまた、ズームフィルタ処理部８４、フォーカスフィルタ処理部８６及びＮＤフィルタ処理部８８に、駆動機構４４，５６，４８，５２が発生する騒音成分を低減させる。再度、シャッタボタン２０が全押しされると、全体制御部６０は、音声処理部６８のこれらの処理を終了させる。
【００４４】
ズームフィルタ処理部８４は、マイク１８及び音声処理部６８を介して入力された音データから、ズームレンズ群駆動機構４４が発生する騒音の周波数帯域に属する周波数成分を低減する。
【００４５】
フォーカスフィルタ処理部８６は、マイク１８及び音声処理部６８を介して入力された音データから、フォーカスレンズ群駆動機構５２が発生する騒音の周波数帯域に属する周波数の音を低減する。
【００４６】
ＮＤフィルタ処理部８８は、マイク１８及び音声処理部６８を介して入力された音データから、ＮＤフィルタ進退駆動機構５６が発生する騒音の周波数帯域に属する周波数の音を低減する。
【００４７】
発声周波数帯域データ記憶部９０は、図４に示すように、男性／女性別及び成人／子供別に分類した計４通りの代表的なまたは平均的な低減周波数域と低減率のデータを記憶する。これらのデータは、予め計測されたものである。
【００４８】
姿勢補正係数記憶部９２は、騒音低減特性の補正係数として、図５に示すように、カメラ姿勢に対する低減周波数帯域の補正係数と低減率の補正係数を記憶する。カメラ姿勢は、図５に示す例では、通常撮影、上向き、及び下向きの３つ状態からなる。図５に示す例では、補正係数は０．８倍から１．１倍の範囲で与えられる。
【００４９】
温度補正係数記憶部９４は、騒音低減特性の補正係数として、図６に示すように、カメラ温度に対する低減周波数帯域の補正係数と低減率の補正係数を記憶する。図６に示す例では、カメラ温度は、−１０〜１０℃、１０〜３０℃及び３０〜４０℃の３つ状態のからなる。図６に示す例では、補正係数は０．８倍から１．２倍の値をとる。
【００５０】
基本騒音波形記憶部９６は、各種基本騒音波形を記憶する。図７（ａ）は、ズーム基本騒音波形の一例を示す。図７（ｂ）はフォーカス基本騒音波形の一例を示す。図７（ｃ）はＮＤフィルタ進退基本騒音波形の一例を示す。何れも、横軸が時間を示し、縦軸が音圧を示す。
【００５１】
姿勢センサ９８は、撮像装置の姿勢（向き）を測定するセンサである。姿勢センサ９８は、図５に示す例に対応して、撮像装置が上向きか、通常姿勢か、下向きかを検出する。
【００５２】
温度センサ１００は、撮像装置の温度を測定するセンサである。温度センサ１００は、図６に示す例に対応して、−１０〜１０℃、１０〜３０℃、３０〜４０℃の３つの温度範囲の何れに属する温度かを測定する。
【００５３】
具体的には、ズームレンズ群駆動機構４４からの騒音を除去する際に、発声周波数帯域データ記憶部９０から被写体に応じて発声周波数帯域データを読み出すか、又は、基本騒音波形記憶部９６からズーム騒音基本波形を読み出す。温度センサ１００が検出したカメラ温度を基に、温度補正係数記憶部９４から温度補正係数を読み出す。姿勢センサ９８が検出したカメラ姿勢を基に、姿勢補正係数記憶部９２から姿勢補正係数を読み出す。そして、読み出した発声周波数帯域データの音圧レベル低減周波数帯域と低減率を、温度補正係数と姿勢補正係数により補正する。ズームフィルタ処理部８４は、温度補正係数及び姿勢補正係数で補正された発生周波数帯域データに従い、音声処理部６８から入力される音声信号をフィルタリングする。
【００５４】
発声周波数帯域データ（音圧レベル低減周波数帯域と低減率）を温度に応じて補正する理由を説明する。各種駆動機構４８，５２，５６、ズームレンズ群３２、シャッタ３４、フォーカスレンズ群３６及びＮＤフィルタ進退機構３８は、それらを構成している部品が温度により伸縮する。その結果、部品相互の間隔や接触している部分の摩擦力が変化し、駆動中の各部品の挙動が変化する。また、各駆動源に要求される駆動力も変化するので、駆動スピードも変化する。これらの結果、各駆動機構が発する騒音の周波数や音圧が変化する。そこで、低減すべき周波数と低減率を温度に従って補正することで、より精密に騒音を低減できるようになる。
【００５５】
カメラ姿勢を考慮する理由は、以下の通りである。重力の影響があることから、カメラ姿勢によって駆動源への負荷が変化する。例えば、カメラを空方向である上向きにして、ズームレンズ群３２を上方向に繰り出そうとすると、ズームレンズ群３２を重力に逆らって駆動する必要がある。重力に逆らう分、ズームレンズ群駆動機構４４の駆動源への負荷が増大し、ズームスピードが遅くなり、ズーム騒音の周波数と音圧が変化する。従って、低減すべき周波数や低減率を姿勢に応じて補正することで、より精密に騒音を低減できるようになる。
【００５６】
また、外気温度によってマイク１８の音響／電気変換の周波数特性が変化するので、入力音声に温度補正を加えるのが好ましい。
【００５７】
フォーカスレンズ群駆動機構５２からの騒音を除去する際に、発声周波数帯域データ記憶部９０から被写体に応じて発声周波数帯域データを読み出すか、又は、基本騒音波形記憶部９６からフォーカス騒音基本波形を読み出す。温度センサ１００が検出したカメラ温度を基に、温度補正係数記憶部９４から温度補正係数を読み出す。姿勢センサ９８が検出したカメラ姿勢を基に、姿勢補正係数記憶部９２から姿勢補正係数を読み出す。読み出した発声周波数帯域データの音圧レベル低減周波数帯域と低減率を、温度補正係数と姿勢補正係数により補正する。フォーカスフィルタ処理部８６は、音声処理部６８から入力される音声の、補正された周波数帯を、補正された低減率でフィルタリングする。
【００５８】
ＮＤフィルタ進退駆動機構５６からの騒音を除去する際に、発声周波数帯域データ記憶部９０から被写体に応じて発声周波数帯域データを読み出すか、又は基本騒音波形記憶部９６からＮＤフィルタ進退騒音基本波形を読み出す。温度センサ１００が検出したカメラ温度を基に、温度補正係数記憶部９４から温度補正係数を読み出す。姿勢センサ９８が検出したカメラ姿勢を基に、姿勢補正係数記憶部９２から姿勢補正係数を読み出す。読み出した発声周波数帯域データの音圧レベル低減周波数帯域と低減率を、温度補正係数と姿勢補正係数により補正する。ＮＤフィルタ処理部８８は、音声処理部６８から入力される音声の、補正された周波数帯を補正された低減率でフィルタリングする。
【００５９】
フィルタ選択部８９は、動画撮影モードにおいてシャッタボタン２０の全押し操作が行われると、操作対象に応じて、騒音除去処理用に、ズームフィルタ処理部８４、フォーカスフィルタ処理部８６又はＮＤフィルタ処理部８８を選択する。例えば、ズームボタン２４が操作された場合、フィルタ選択部８９は、ズームフィルタ処理部８４に騒音の除去処理の実行を指示する。フォーカスレンズ群３６の駆動が開始すると、フォーカスフィルタ処理部８６がフォーカスレンズ群３６の駆動に応じた騒音除去処理を実行する。同様に、ＮＤフィルタの進退移動に対しては、ＮＤフィルタ処理部８８が騒音除去処理を実行する。
【００６０】
符号化復号化処理部７６は、ズームフィルタ処理部８４、フォーカスフィルタ処理部８６又はＮＤフィルタ処理部８８により騒音を除去された音声データを符号化する。符号化復号化処理部７６は、符号化した音声データを記録媒体７２に格納する。
【００６１】
図８を参照して、人間の発する音声の周波数特性及び各種駆動機構の発生する騒音の周波数特性を説明する。図８（ａ）は、女性の発生の周波数特性例を示す。図８（ｂ）は、男性の発声の周波数特性例を示す。図８（ｃ）は、ズーム騒音の周波数特性例を示す。図８（ｄ）は、ＮＤフィルタ進退騒音の周波数特性例を示す。
【００６２】
日本語の周波数帯域は、１００〜１５００Ｈｚという説があり、男性に対して女性の発声の周波数帯域はやや高くなっている。周波数特性の数値としては各種研究・測定結果があり、どれが最適であるか不明であるが、ここでは、本実施例の特徴を明確にする為に、数値を仮に設定して説明する。
【００６３】
図８（ａ）は、成人女性がある一定時間、会話した場合の周波数特性の一例を模式的に示す。横軸が周波数〔Ｈｚ〕を示し、縦軸が音圧〔ｄＢ〕を示す。周波数特性の曲線を見ると、１０Ｈｚ付近は音圧が低く、２００Ｈｚ付近で高くなり、２０００Ｈｚ付近で音圧が低下している。このように、図８（ａ）に示す例では、発声する音域が、２００〜２０００Ｈｚにある。
【００６４】
図８（ｂ）は、成人男性が、ある一定時間、会話した場合の周波数特性の一例を模式的に示す。横軸が周波数〔Ｈｚ〕を示し、縦軸が音圧〔ｄＢ〕を示す。周波数特性の曲線を見ると、１０Ｈｚ付近は音圧が低く、１００Ｈｚ付近で高くなり、１０００Ｈｚ付近で音圧が低下している。このように、図８（ｂ）に示す例では、発声する音域が１００〜１０００Ｈｚにある。
【００６５】
図８（ｃ）は、ズームレンズ群駆動機構４４がズームレンズ群３２を駆動する際に発生する騒音をマイク１８で取り込んだときの、マイク１８の出力音声の周波数特性を示す。横軸が周波数〔Ｈｚ〕を示し、縦軸が音圧〔ｄＢ〕を示す。周波数５Ｈｚから１０ｋＨｚにわたって一定の音圧で騒音を発生している。
【００６６】
図８（ｄ）は、ＮＤフィルタ進退駆動機構５６がＮＤフィルタを駆動した際に発生する騒音をマイク１８で取り込んだときの、マイク１８の出力音声の周波数特性を示す。横軸が周波数〔Ｈｚ〕を示し、縦軸が音圧〔ｄＢ〕を示す。周波数２０Ｈｚ近辺に第１のピークがあり、周波数２ｋＨｚ近辺に第２のピークがある。
【００６７】
図９及び図１０を参照して、本実施例の録音時の騒音低減処理の動作を詳細に説明する。図９及び図１０は、本実施例の、動画撮影モードにおける騒音低減処理の動作フローチャートを示す。
【００６８】
全体制御部６０は、シャッタボタン２０の半押しを検出すると（Ｓ１）、測距及び測光する（Ｓ２）。即ち、被写体までの距離をコントラスト方式ＡＦ（オートフォーカス）で測距し、撮像素子４０に入射する光量から適正露光となるシャッタ速度を決定する。そして、全体制御部６０は、測距結果に従い、フォーカスレンズ群駆動回路５０に指示して、フォーカスレンズ群３６を被写体にピントが合う位置まで移動させる（Ｓ３）。また、全体制御部６０は、測光結果に従い、被写体が明るすぎる場合は、減光の為、ＮＤフィルタ駆動回路５４に指示してＮＤフィルタを光路中に進入させる（Ｓ４）。
【００６９】
被写体認識部７８は、画面内の人物の存在不在を認識し（Ｓ５）、存在しない場合には、被写体に依存しない騒音低減処理を含む通常の撮影処理（Ｓ６）を実行する。図１１は、ステップＳ６の詳細なフローチャートを示す。
【００７０】
図１１に示すフローでは、撮像装置が発する騒音周波数の全域に対してフィルタのゲインを低減する。シャッタボタン２０の全押しに対し（Ｓ３１）、動画撮影（録画）を開始する（Ｓ３２）。
【００７１】
ズームボタン２４が押されている場合には（Ｓ３３）、ズームレンズ群の駆動中に発する騒音の周波数帯５〜１０００Ｈｚの録音レベルを−１５ｄＢ下げて、録音を続ける（Ｓ３４）。
【００７２】
フォーカスレンズ群を駆動している間は（Ｓ３５）、フォーカスレンズ群の駆動中に発する騒音の周波数帯１００〜１０００Ｈｚの録音レベルを−１３ｄＢ下げて、録音を続ける（Ｓ３６）。
【００７３】
ＮＤフィルタが進退駆動している間は（Ｓ３７）、ＮＤフィルタの進退駆動中に発する騒音の周波数３０Ｈｚ前後と２０００Ｈｚ前後の録音レベルを−８ｄＢ下げて、録音を続ける（Ｓ３８）。
【００７４】
シャッタボタン２０が再度、全押しされるまで（Ｓ３９）、以上のステップＳ３３〜Ｓ３８を繰り返し実行する。シャッタボタン２０が再度、全押しされると（Ｓ３９）、動画撮影を終了する（Ｓ４０）。
【００７５】
図９に戻る。画面内に人物が含まれている場合（Ｓ５）、画面内の人数の検出する（Ｓ７）。各人物が画面内でどの位置にいるかを検出する（Ｓ８）。ここでは、例えば、２名検出され、１名が中央に位置し、１名が右端に位置するとする。画面内の人物の大きさと配置から重要被写体となる人物を自動決定する（Ｓ９）。画面中央に大きめに人物Ａが正面顔で存在し、画面右隅に人物Ａより小さく人物Ｂが存在しているとすると、画面上の位置と大きさのいずれからも、人物Ａが重要被写体人物と判定される。決定された重要被写体人物の性別と年齢を判定する（Ｓ１０）。例えば、顔の目鼻口の距離比率から性別と年齢を判定でき、ここでは人物Ａが成人女性であると判定したとする。
【００７６】
シャッタボタン２０の全押しを待ち（Ｓ１１）、全押しに応じて、動画撮影（録画）を開始する（Ｓ１２）。
【００７７】
録画中のズームボタン２４の操作に対して（Ｓ１３）、発声周波数帯域データ記憶部９０から、重要被写体人物の性別と年齢に応じた音圧レベル低減周波数帯域と低減率を読み出す（Ｓ１４）。先に説明したように、重要被写体人物が成人女性であることから、図４に示すように、成人女性の制御データ（低減周波数帯域＝１０〜２００Ｈｚと１７００〜２４０００Ｈｚ、低減率＝４０％）を読み出す。
【００７８】
温度センサ１００による検出温度及び姿勢センサ９８により検出される姿勢に従い、温度補正係数を温度補正係数記憶部９４から読み出し、姿勢補正係数を姿勢補正係数記憶部９２から読み出す（Ｓ１５）。例えば、温度センサ１００の測定値が３２℃の場合、温度補正係数記憶部９４から、図６に示すように、低減周波数帯域の補正係数＝１．１、低減率の補正係数＝０．８を読み出す。そして、姿勢センサ９８により検出される現状姿勢が通常姿勢である場合、図５に示すように、低減周波数帯域の補正係数＝１、低減率の補正係数＝１を読み出す。
【００７９】
補正係数に従うフィルタ特性で入力音声をフィルタリングして、騒音を低減する（S１６）。そして、図１２に示すように、画像表示部（ＬＣＤ）６の左上に「騒音低減録音中」を表示して、撮影者に、ズーム騒音分の録音音声補正の開始を通知する。ズームフィルタ処理部８４は、マイク１８及び音声処理部６８を介して入力された被写体の音声の内、周波数帯（１０×１．１×１）〜（２００×１．１×１）Ｈｚの音声を（４０×０．８×１）％の低減率で加工する。また、周波数帯（１７００×１．１×１）〜（２４０００×１．１×１）Ｈｚの音声を（４０×０．８×１）％の低減率で加工する。そして、音声処理制御部８２は、その加工された音声データを記録媒体７２に記録する。
【００８０】
たまたま女性がカメラに向かって話し掛けていたとすると、ある時間内の平均では、図８（ａ）に示す女性発声の周波数特性の音声と、図８（ｃ）に示すズーム騒音周波数特性の音がマイク１８で集音されることになる。これらの合成音声の周波数特性は、図１３（ａ）に示すように、２００〜２０００Ｈｚが一段高い音圧の周波数特性になる。ズームフィルタ処理部８４での音声加工量は、図１３（ｂ）に示すように、２２０〜１８７０Ｈｚまでは加工されず、２２０Ｈｚ以下と１８７０Ｈｚ以上の音の音圧が３２％、低減加工される。すなわち、被写体となった人物の性別及び年齢に応じた発生周波数帯域以外で、騒音源に応じた騒音低減特性で騒音が低減される。その結果、図１０（ｃ）に示すように、成人女性の発声周波数に殆ど影響を与えないで、それ以外の周波数（２２０Ｈｚ以下と１８７０Ｈｚ以上）で騒音周波数部分を低減できる。
【００８１】
フォーカスレンズ群３６が駆動開始している場合には（Ｓ１７）、全体制御部６０は、発声周波数帯域データ記憶部９０から、重要被写体人物の性別と年齢に応じた音圧レベル低減周波数帯域と低減率を読み出す（Ｓ１８）。図４に示すように、成人女性の場合の制御データ（低減周波数帯域＝１０〜２００Ｈｚと１７００〜２４０００Ｈｚ、低減率＝４０％）を読み出すことになる。
【００８２】
温度センサ１００による検出温度及び姿勢センサ９８により検出される姿勢に従い、温度補正係数を温度補正係数記憶部９４から読み出し、姿勢補正係数を姿勢補正係数記憶部９２から読み出す（Ｓ１９）。例えば、温度センサ１００の測定値が３２℃の場合、温度補正係数記憶部９４から、図６に示すように、低減周波数帯域の補正係数＝１．１、低減率の補正係数＝０．８を読み出す。そして、姿勢センサ９８により検出される現状姿勢が通常姿勢である場合、図５に示すように、低減周波数帯域の補正係数＝１、低減率の補正係数＝１を読み出す。
【００８３】
図１２に示すように、画像表示部（ＬＣＤ）６の左上に「騒音低減録音中」を表示して、撮影者に、ズーム騒音分の録音音声補正の開始を通知する（Ｓ２０）。フォーカスフィルタ処理部８６は、マイク１８及び音声処理部６８を介して入力された被写体の音声の内、周波数帯（１０×１．１×１）〜（２００×１．１×１）Ｈｚの音声を（４０×０．８×１）％の低減率で加工する。また、周波数帯（１７００×１．１×１）〜（２４０００×１．１×１）Ｈｚの音声を（４０×０．８×１）％の低減率で加工する。そして、音声処理制御部８２は、その加工された音声データを記録媒体７２に記録する。
【００８４】
ＮＤフィルタが進退開始している場合には（Ｓ２１）、発声周波数帯域データ記憶部９０から、重要被写体人物の性別と年齢に応じた音圧レベル低減周波数帯域と低減率を読み出す（Ｓ２２）。先に説明したように、重要被写体人物が成人女性であることから、図４に示すように、成人女性の制御データ（低減周波数帯域＝１０〜２００Ｈｚと１７００〜２４０００Ｈｚ、低減率＝４０％）を読み出す。
【００８５】
温度センサ１００による検出温度及び姿勢センサ９８により検出される姿勢に従い、温度補正係数を温度補正係数記憶部９４から読み出し、姿勢補正係数を姿勢補正係数記憶部９２から読み出す（Ｓ２３）。例えば、温度センサ１００の測定値が３２℃の場合、温度補正係数記憶部９４から、図６に示すように、低減周波数帯域の補正係数＝１．１、低減率の補正係数＝０．８を読み出す。そして、姿勢センサ９８により検出される現状姿勢が通常姿勢である場合、図５に示すように、低減周波数帯域の補正係数＝１、低減率の補正係数＝１を読み出す。
【００８６】
補正係数に従うフィルタ特性で入力音声をフィルタリングして、騒音を低減する（Ｓ２４）。そして、図１２に示すように、画像表示部２２の左上に「騒音低減録音中」を表示して、撮影者に、ＮＤフィルタの進退に伴う騒音分の録音音声補正の開始を通知する。ＮＤフィルタ処理部８８は、マイク１８及び音声処理部６８を介して入力された被写体の音声の内、周波数帯（１０×１．１×１）〜（２００×１．１×１）Ｈｚの音声を（４０×０．８×１）％の低減率で加工する。また、周波数帯（１７００×１．１×１）〜（２４０００×１．１×１）Ｈｚの音声を（４０×０．８×１）％の低減率で加工する。そして、音声処理制御部８２は、その加工された音声データを記録媒体７２に記録する。
【００８７】
シャッタボタン２０が再度、全押しされるまで（Ｓ２５）、以上のステップＳ１３〜Ｓ２４を繰り返し実行する。シャッタボタン２０が再度、全押しされると（Ｓ２５）、動画撮影を終了する（Ｓ２６）。
【００８８】
本実施例では、画面内に人物がいる場合に、その人物が発するであろう音声に悪影響を与えないで、撮像装置が発する騒音（ズーム音、フォーカス音、ＮＤ進退音）を低減して、録音できる。
【００８９】
ズーム音、フォーカス音及びＮＤ進退音の３つの騒音を低減したが、必要に応じて一部の騒音のみの低減（例えば、ズーム音のみの低減）に限定してもよいことは明らかである。
【実施例２】
【００９０】
本発明の第２実施例を説明する。第２実施例では、重要被写体人物が発生しているときのみ、騒音低減を有効化する。図１４は、そのように図１０を変更した制御フローチャートを示す。ステップＳ１５とステップＳ１６の間に条件分岐のステップＳ１５−２を挿入し、ステップＳ１９とステップＳ２０の間に条件分岐のステップＳ１９−２を挿入している。
【００９１】
すなわち、被写体認識の１つとして、重要被写体の口が動いているか動いていないかを識別する。図１５（ａ），（ｂ）に破線で示すように、重要被写体人物の口の動きをモニタし、発声をしているか否かを判別する。図１５（ａ）は口を閉じている状態を示し、図１５（ｂ）は口を開いている状態を示す。撮影画像上、重要被写体人物の口が動いていて、且つマイク１８に音声が入力されている場合、被写体認識部７８は、重要被写体人物が発声していると判断する。重要被写体人物が発声している場合に（Ｓ１５−２，Ｓ１９−２）、騒音低減処理を実行する（Ｓ１６，Ｓ２０）。
【００９２】
なお、ＮＤフィルタ進退時の騒音は瞬間的な騒音であるので、この実施例では、発声の有無による騒音低減処理の有効化制御は行っていない。
【００９３】
本実施例では、人物が画面の中央に位置していても、発声や会話していないときには、駆動騒音を効果的に低減し、発声や会話しているときには、その音声を損なわないように、騒音を低減できる。被写体人物が発声している時のみ、撮像装置が発する騒音を低減するので、実施例１よりさらに違和感の少ない騒音低減録音を実現できる。
【実施例３】
【００９４】
本発明の第３実施例を説明する。この実施例では、基本騒音波形記憶部９６が、撮像装置が発声する代表的な騒音波形を記憶する。そして、録音時には、この代表的な騒音波形を音声変化及び姿勢変化に応じて補正した上で、マイク１８の入力音声（被写体音声と騒音）から減算する。
【００９５】
図１６は、基本騒音波形記憶部９６に記憶される基本騒音波形に対する温度補正係数表を示す。図１６に示す温度補正係数が、温度補正係数記憶部９４に記憶されている。図示例では、温度範囲が３段階に分類され、各温度範囲に対して、時間軸を係数倍する時間軸補正係数と、振幅を係数倍する振幅補正係数が格納されている。例えば、温度センサ１００により、撮像装置の周囲温度が８℃と測定された場合、温度範囲−１０〜１０℃の欄から、時間軸方向の補正係数として１．１が読み出される。これは、１秒間の騒音が１．１秒かかって発生すると予測して、基本騒音波形の騒音を補正することに相当する。また、振幅は１．２倍に補正される。
【００９６】
図１７は、基本騒音波形記憶部９６に記憶される基本騒音波形に対する姿勢補正係数表を示す。図１７に示す姿勢補正係数が、姿勢補正係数記憶部９２に記憶されている。図１７に示す例では、カメラの姿勢が３段階に分類され、各姿勢に対して、時間軸を係数倍する時間軸補正係数と、振幅を係数倍する振幅補正係数が格納されている。例えば、姿勢センサ９８により撮像装置の姿勢が上向きと測定された場合、図１７に示す姿勢補正係数表の「撮像装置上向き」の欄から、時間軸方向の姿勢補正係数として１．２が読み出される。これは、１秒間の騒音が１．２秒かかって発生すると予測して、基本騒音波形の騒音を補正することに相当する。また、振幅は１．１倍に補正される。
【００９７】
図１８は、図９に対応する第３実施例の騒音処理の変更部分のフローチャートを示す。
【００９８】
録画中のズームボタン２４の操作に対して（Ｓ１１３）、全体制御部６０は、基本騒音波形記憶部９６からズーム基本騒音波形データ（図７（ａ））を読み出す（Ｓ１１４）。温度センサ１００の検出温度に従い、温度補正係数記憶部９４から、対応する温度範囲の時間軸補正係数及び振幅補正係数を読み出す。また、姿勢センサ９８の検出姿勢に従い、姿勢補正係数記憶部９２から対応する姿勢に対する時間軸補正係数及び振幅補正係数を読み出す（Ｓ１１５）。
【００９９】
音声処理制御部８２は、読み出されたズーム基本騒音波形に温度と姿勢に関する時間軸補正係数と振幅補正係数を各々掛け合わせ、マイク１８で集音される音声から減算することで、騒音を低減する（Ｓ１１６）。音声処理制御部８２は、このように騒音を低減された音声データを記録媒体７２に記録する。
【０１００】
フォーカスレンズ群が駆動開始している場合には（Ｓ１１７）、全体制御部６０は、基本騒音波形記憶部９６からフォーカス基本騒音波形データ（図７（ｂ））を読み出す（Ｓ１１８）。温度センサ１００の検出温度に従い、温度補正係数記憶部９４から、対応する温度範囲の時間軸補正係数及び振幅補正係数を読み出す。また、姿勢センサ９８の検出姿勢に従い、姿勢補正係数記憶部９２から対応する姿勢に対する時間軸補正係数及び振幅補正係数を読み出す（Ｓ１１９）。
【０１０１】
音声処理制御部８２は、読み出されたフォーカス基本騒音波形に温度と姿勢に関する時間軸補正係数と振幅補正係数を各々掛け合わせ、マイク１８で集音される音声から減算することで、騒音を低減する（Ｓ１２０）。音声処理制御部８２は、このように騒音を低減された音声データを記録媒体７２に記録する。
【０１０２】
ＮＤフィルタが進退開始している場合には（Ｓ１２１）、全体制御部６０は、基本騒音波形記憶部９６からＮＤフィルタ進退基本騒音波形データ（図７（ｃ））を読み出す（Ｓ１２２）。温度センサ１００の検出温度に従い、温度補正係数記憶部９４から、対応する温度範囲の時間軸補正係数及び振幅補正係数を読み出す。また、姿勢センサ９８の検出姿勢に従い、姿勢補正係数記憶部９２から対応する姿勢に対する時間軸補正係数及び振幅補正係数を読み出す（Ｓ１２３）。
【０１０３】
音声処理制御部８２は、読み出されたＮＤフィルタ進退基本騒音波形に温度と姿勢に関する時間軸補正係数と振幅補正係数を各々掛け合わせ、マイク１８で集音される音声から減算することで、騒音を低減する（Ｓ１２４）。音声処理制御部８２は、このように騒音を低減された音声データを記録媒体７２に記録する。
【０１０４】
本実施例でも、録音低減処理を実行しながら、入力音声を録音している場合には、図１２に示すように、画像表示部（ＬＣＤ）６の左上に「騒音低減録音中」を表示する。
【０１０５】
シャッタボタン２０が再度、全押しされるまで（Ｓ１２５）、以上のステップＳ１１３〜Ｓ１２４を繰り返し実行する。シャッタボタン２０が再度、全押しされると（Ｓ１２５）、動画撮影を終了する（Ｓ１２６）。
【０１０６】
本実施例では、各種騒音の基本波形を使用環境（姿勢及び温度）に従って補正してから入力音声から減算するので、撮像装置で発声する騒音を低減して周囲音声を録音できる。
【実施例４】
【０１０７】
本発明の第４実施例を説明する。本実施例では、画面内の人物の配置に応じてマイクロ１０の指向性を変更制御する。これにより、撮像装置の発する騒音を極力低減できる。
【０１０８】
図１９（ａ）は、撮影視野内に人物が存在しないとき、又は、撮影対象の人物が口を閉じているときのマイク１８の指向性例を示す。図１９（ｂ）は、撮影対象の人物が発声中のマイク１８の指向性例を示す。円形グラフの上が被写体方向正面であり、円形グラフ右側が撮影画面右側を示し、円形グラフ左側が撮影画面右左側を示す。円形の半径方向がマイク１８の感度を示す。正面方向の感度を０ｄＢと正規化して、最外円が感度０ｄＢ、１つ内側の円が感度−１０ｄＢ、２つ目の円が感度−２０ｄＢを示す。
【０１０９】
図１９（ａ）では、実線で示される感度曲線は、左右対称形状で、左右７０度の角度方向で急激に感度が低下している。このように左右７０度という広い指向性を持っているので、撮影画面内と周辺の音声をまんべんなく集音可能である。
【０１１０】
図１９（ｂ）では、実線で示される感度曲線は、左右対称形状で、左右４５度の角度方向で急激に感度が低下している。このように左右４５度という狭い指向性を持っているので、マイク１８の左右側面や後方での音は集音されない。よって、それらの位置に撮像装置自体が発する騒音源があっても、マイク１８で集音されない。
【０１１１】
図２０及び図２１は、本実施例の、騒音低減処理を含む動画録画動作のフローチャートを示す。
【０１１２】
全体制御部６０は、シャッタボタン２０が半押しされたことを検出すると（Ｓ２０１）、測距及び測光する（Ｓ２０２）。即ち、被写体までの距離をコントラスト方式ＡＦ（オートフォーカス）で測距し、撮像素子４０に入射する光量から適正露光となるシャッタ速度を決定する。そして、全体制御部６０は、測距結果に従い、フォーカスレンズ群駆動回路５０に指示して、フォーカスレンズ群３６を被写体にピントが合う位置まで移動させる（Ｓ２０３）。また、全体制御部６０は、測光結果に従い、被写体が明るすぎる場合は、減光の為、ＮＤフィルタ駆動回路５４に指示してＮＤフィルタを光路中に進入させる（Ｓ２０４）。
【０１１３】
全体制御部６０は、シャッタボタン２０の全押しを待ち（Ｓ２０５）、全押しに応じて、動画撮影（録画）を開始する（Ｓ２０６）。
【０１１４】
録画中のズームボタン２４の操作に対して（Ｓ２０７）、被写体認識部７８が、撮影画面内に人物が存在するかどうかを認識する（Ｓ２０８）。人物が存在しない場合（Ｓ２０８）、全体制御部６０は、周波数帯５〜１０００Ｈｚの録音レベルを−１５ｄＢ下げて録音を続け、ステップＳ２０７に戻る。
【０１１５】
撮影画面内に人物が存在する場合（Ｓ２０８）、画面内の人数を検出し（Ｓ２１０）、検出された人物が画面内の中央にいるのか、周辺のどの位置にいるのかを検出する（Ｓ２１０）。例えば、ここで、２名検出され、中央に１名、右端に１名、位置しているとする。
【０１１６】
画面内の人物の大きさと配置から重要被写体となる人物を自動決定する（Ｓ２１２）。画面中央に大きめに人物Ａが正面顔で存在し、画面右隅に人物Ａより小さく人物Ｂが存在しているとすると、画面上の位置と大きさのいずれからも、人物Ａが重要被写体人物と判定される。決定された重要被写体人物の性別と年齢を判定する（Ｓ２１３）。例えば、顔の目鼻口の距離比率から性別と年齢を判定でき、ここでは人物Ａが成人女性であると判定したとする。
【０１１７】
重要被写体人物が発声しているか否かを判別する（Ｓ２１４）。撮影画像上で重要被写体人物の口が動いていて、且つマイク１８に音声が入力されている場合、被写体認識部７８は、重要被写体人物が発声していると判断する。
【０１１８】
重要被写体人物が発声している場合（Ｓ２１４）、全体制御部６０は、マイク１０の指向性を、図１９（ａ）に示す広指向性（又は無指向性）の状態から図１９（ｂ）に示す狭指向性の状態に切り替える（Ｓ２１５）。そして、図１５（ｂ）に示すように、画像表示部（ＬＣＤ）６の左上に「騒音低減録音中」を表示する。
【０１１９】
全体制御部６０は、発声周波数帯域データ記憶部９０から、重要被写体人物の性別と年齢に応じた音圧レベル低減周波数帯域と低減率を読み出す（Ｓ２１６）。ここでは、重要被写体人物が成人女性であることから、図４に示すように、成人女性の制御データ（低減周波数帯域＝１０〜２００Ｈｚと１７００〜２４０００Ｈｚ、低減率＝４０％）を読み出す。
【０１２０】
温度センサ１００による検出温度及び姿勢センサ９８により検出される姿勢に従い、温度補正係数を温度補正係数記憶部９４から読み出し、姿勢補正係数を姿勢補正係数記憶部９２から読み出す（Ｓ２１７）。例えば、温度センサ１００の測定値が３２℃の場合、温度補正係数記憶部９４から、図６に示すように、低減周波数帯域の補正係数＝１．１、低減率の補正係数＝０．８を読み出す。そして、姿勢センサ９８により検出される現状姿勢が通常姿勢である場合、図５に示すように、低減周波数帯域の補正係数＝１、低減率の補正係数＝１を読み出す。
【０１２１】
補正係数に従うフィルタ特性で入力音声をフィルタリングして、騒音を低減する（Ｓ２１８）。そして、図１２に示すように、画像表示部２２の左上に「騒音低減録音中」を表示して、撮影者に、ズーム騒音分の録音音声補正の開始を通知する。ズームフィルタ処理部８４は、マイク１８及び音声処理部６８を介して入力された被写体の音声の内、周波数帯（１０×１．１×１）〜（２００×１．１×１）Ｈｚの音声を（４０×０．８×１）％の低減率で加工する。また、周波数帯（１７００×１．１×１）〜（２４０００×１．１×１）Ｈｚの音声を（４０×０．８×１）％の低減率で加工する。このように加工された音声データが記録媒体７２に記録される。
【０１２２】
ズームボタン２４がオフになるか（Ｓ２１７）、又は、重要被写体人物が発声していないときには（Ｓ２１４）、全体制御部６０は、ズーム騒音の低減処理を終了する（Ｓ２１９）。
【０１２３】
シャッタボタン２０が再度、全押しされるまで（Ｓ２２０）、以上のステップＳ１２０７〜Ｓ２１９を繰り返し実行する。シャッタボタン２０が再度、全押しされると（Ｓ２２０）、動画撮影を終了する（Ｓ２２１）。
【０１２４】
本実施例では、人物被写体の有無と発声の有無により、マイクの指向性と雑音低減のフィルタ特性を制御することで、人物の音声への影響を抑えつつ、撮像装置の発するズーム騒音の影響を軽減できる。
【０１２５】
ビデオカメラに適用した実施例を説明したが、本発明は、録画済みの動画からの再生音声のノイズ低減にも適用可能である。即ち、再生画像から人物を検出し、その検出結果に従い、上記した実施例と同様の処理を経て、再生音声から騒音を低減する。この場合、撮影時の温度及び姿勢は、撮影画像及び音声に多重して記録され、再生時に分離出力される。画像・音声・姿勢データ・温度データを分離する手段が、画像入力手段、音声入力手段、姿勢情報入力手段及び温度情報入力手段に相当する。
【図面の簡単な説明】
【０１２６】
【図１】本発明の一実施例の正面図である。
【図２】本実施例の背面図である。
【図３】本実施例の概略構成ブロック図を示す。
【図４】発声周波数帯域データ記憶部９０の記憶データ例である。
【図５】姿勢補正係数記憶部９２に記憶される姿勢補正係数例である。
【図６】温度補正係数記憶部９４に記憶される温度補正係数例である。
【図７】基本騒音波形記憶部９６に記憶される基本騒音波形例である。
【図８】男性及び女性の発声音、ズーム騒音、並びにＮＤフィルタ進退騒音の周波数特性例を示す。
【図９】本実施例の騒音低減処理のフローチャートの一部を示す。
【図１０】本実施例の騒音低減処理のフローチャートの一部を示す。
【図１１】ステップＳ６の詳細なフローチャートを示す。
【図１２】騒音低減処理中の表示例である。
【図１３】入力音声、フィルタ加工量及び加工後の音声の各周波数特性を示す。
【図１４】第２実施例の騒音低減処理の変更部分を示すフローチャートである。
【図１５】図１４に示すフローの動作説明図である。
【図１６】基本騒音波形記憶部９６に記憶される基本騒音波形に対する温度補正係数表を示す。
【図１７】基本騒音波形記憶部９６に記憶される基本騒音波形に対する姿勢補正係数表を示す。
【図１８】第３実施例の騒音処理の変更部分のフローチャートを示す。
【図１９】第４実施例におけるマイク指向性の変化例を示す。
【図２０】第４本実施例の、騒音低減処理を含む動画録画動作のフローチャートの一部である。
【図２１】第４本実施例の、騒音低減処理を含む動画録画動作のフローチャートの一部である。
【符号の説明】
【０１２７】
１０：撮像装置
１２：カメラ本体部
１４：レンズ鏡筒
１６：フラッシュ
１８：マイク（音入力手段）
２０：シャッタボタン
２２：画像表示部
２４：ズームボタン
２４ａ：ワイドボタン
２４ｂ：テレボタン
２６：電源ボタン
２８：モード設定ボタン
３０：スピーカ（音出力手段）
３２：ズームレンズ群
３４：シャッタ機構
３６：フォーカスレンズ群
３８：ＮＤフィルタ進退機構
４０：撮像素子
４２：ズームレンズ群駆動回路
４４：駆動機構
４６：シャッタ駆動回路
４８：駆動機構
５０：フォーカスレンズ群駆動回路
５２：駆動機構
５４：ＮＤフィルタ駆動回路
５６：駆動機構
６０：全体制御部
６２：画像処理部
６４：画像メモリ
６６：ＶＲＡＭ
６８：音声処理部
７０：入力操作部
７２：記録媒体
７４：撮像制御部
７６：符号化復号化処理部
７７：駆動制御部
７８：被写体認識部
８０：人物自動選択部
８２：音声処理制御部
８４：ズームフィルタ処理部
８６：フォーカスフィルタ処理部
８８：ＮＤフィルタ処理部
９０：発声周波数帯域データ記憶部
９２：姿勢補正係数記憶部
９４：温度補正係数記憶部
９６：基本騒音波形記憶部
９８：姿勢センサ
１００：温度センサ
【特許請求の範囲】
【請求項１】
撮像手段と、
音声入力手段と、
ズームレンズ群駆動手段、フォーカスレンズ群駆動手段、ＮＤフィルタ駆動手段及びシャッタ駆動手段の何れかを含む騒音源と、
前記撮像手段により入力される画像から被写体を認識する被写体認識手段と、
前記音声入力手段により入力される音声から前記騒音源からの騒音を低減する騒音低減手段と、
前記被写体認識手段の認識に従い、前記騒音低減手段を制御する制御手段
とを具備することを特徴とする撮像装置。
【請求項２】
前記被写体認識手段が、前記撮像手段により入力される画像中の人物を認識する手段であり、
前記制御手段は、前記被写体認識手段が前記人物を認識している間、人物の発生周波数帯域以外で、前記騒音の帯域を低減するように前記騒音低減手段を制御する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記被写体認識手段が、前記撮像手段により入力される画像中の人物及びその口の動きを認識する手段であり、
前記制御手段は、前記被写体認識手段が口を動かしている人物を認識している間、前記騒音低減手段を有効にする
ことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
更に、性別と年齢ごとの代表的な発声周波数帯域の値を記憶する発声周波数帯域データ記憶手段を具備し、
前記被写体認識手段が、前記撮像手段により入力される画像中の人物並びにその性別と年齢を認識する手段であり、
前記制御手段は、前記被写体認識手段が前記人物を認識している間、前記人物の前記性別と年齢に応じた発生周波数帯域以外で、前記騒音を低減するように前記騒音低減手段を制御する
ことを特徴とする請求項１に記載の撮像装置。
【請求項５】
更に、性別と年齢ごとの代表な発声周波数帯域の値を記憶する発声周波数帯域データ記憶手段を具備し、
前記被写体認識手段が、前記撮像手段により入力される画像中の人物並びにその性別と年齢を認識すると共に、認識された人物から重要被写体人物を決定する手段であり、
前記制御手段は、前記被写体認識手段が前記人物を認識している間、前記重要被写体人物の前記性別と年齢に応じた発生周波数帯域以外で、前記騒音を低減するように前記騒音低減手段を制御する
ことを特徴とする請求項１に記載の撮像装置。
【請求項６】
更に、騒音源の発生する騒音基本波形を記憶する基本騒音波形記憶部を具備し、
前記騒音低減手段は、前記音声入力手段からの音声信号から前記基本騒音波形記憶部からの前記騒音基本波形を減算する手段である
ことを特徴とする請求項１に記載の撮像装置。
【請求項７】
更に、温度センサを具備し、
前記制御手段は、前記温度センサからの温度情報に従い、前記騒音低減手段の騒音低減特性を補正する
ことを特徴とする請求項１乃至６の何れか１項に記載の撮像装置。
【請求項８】
更に、姿勢センサを具備し、
前記制御手段は、前記姿勢センサからの姿勢情報に従い、前記騒音低減手段の騒音低減特性を補正する
ことを特徴とする請求項１乃至７の何れか１項に記載の撮像装置。
【請求項９】
撮像手段と、
音声入力手段と、
ズームレンズ群駆動手段、フォーカスレンズ群駆動手段、ＮＤフィルタ駆動手段及びシャッタ駆動手段の何れかを含む騒音源
とを有する撮像装置において、
前記撮像手段により入力される画像から被写体を認識する被写体認識ステップと、
前記音声入力手段により入力される音声から、前記被写体認識ステップでの認識に従う騒音低減特性で前記騒音源からの騒音を低減する騒音低減ステップ
とを具備することを特徴とする撮像装置の音声処理方法。
【請求項１０】
前記被写体認識ステップが、前記撮像手段により入力される画像中の人物を認識するステップであり、
前記騒音低減ステップは、前記撮像手段により入力される画像中に前記人物が認識される間、人物の発生周波数帯域以外で、前記騒音源からの前記騒音の帯域を低減する
ことを特徴とする請求項９に記載の撮像装置の音声処理方法。
【請求項１１】
前記被写体認識ステップが、前記撮像手段により入力される画像中の人物及びその口の動きを認識するステップであり、
前記騒音低減ステップは、前記撮像手段により入力される画像中の人物が口を動かしている間、前記音声入力手段により入力される音声から前記騒音源からの前記騒音を低減する
ことを特徴とする請求項９又は１０に記載の撮像装置の音声処理方法。
【請求項１２】
前記被写体認識ステップが、
前記撮像手段により入力される画像中の人物を認識するステップと、
認識された人物の性別及び年齢を認識するステップ
とを具備し、
前記騒音低減ステップは、
前記被写体認識ステップで認識された人物の性別と年齢に対応する発生周波数帯域データを、性別と年齢ごとの代表的な発声周波数帯域の値を記憶する発声周波数帯域データ記憶手段から読み出し、
前記人物の前記性別と年齢に応じた発生周波数帯域以外で、前記騒音を低減する
ことを特徴とする請求項９に記載の撮像装置の音声処理方法。
【請求項１３】
前記被写体認識ステップが、
前記撮像手段により入力される画像中の人物を認識するステップと、
認識された人物から重要被写体人物を決定するステップと、
前記重要被写体人物の性別及び年齢を認識するステップ
とを具備し、
前記騒音低減ステップは、
前記被写体認識ステップで認識された前記重要被写体人物の性別と年齢に対応する発生周波数帯域データを、性別と年齢ごとの代表的な発声周波数帯域の値を記憶する発声周波数帯域データ記憶手段から読み出し、
前記重要被写体人物の前記性別と年齢に応じた発生周波数帯域以外で、前記騒音の帯域を低減する
ことを特徴とする請求項９に記載の撮像装置の音声処理方法。
【請求項１４】
前記騒音低減ステップは、前記騒音源の発生する騒音基本波形を記憶する基本騒音波形記憶部から前記騒音基本波形を読み出すステップと、
前記音声入力手段からの音声信号から前記基本騒音波形記憶部から読み出した前記騒音基本波形を減算するステップ
とを具備することを特徴とする請求項９に記載の撮像装置の音声処理方法。
【請求項１５】
更に、温度情報を入力するステップを具備し、
前記騒音低減ステップは、前記温度情報に従って補正された騒音低減特性で前記騒音を低減する
ことを特徴とする請求項９乃至１４の何れか１項に記載の撮像装置の音声処理方法。
【請求項１６】
更に、前記撮像装置の姿勢情報を入力するステップを具備し、
前記騒音低減ステップは、前記姿勢情報に従って補正された騒音低減特性で前記騒音を低減する
ことを特徴とする請求項９乃至１５の何れか１項に記載の撮像装置の音声処理方法。
【請求項１７】
画像入力手段と、
音声入力手段と、
前記画像入力手段により入力される画像から被写体を認識する被写体認識手段と、
前記音声入力手段により入力される音声から騒音を低減する騒音低減手段と、
前記被写体認識手段の認識に従い、前記騒音低減手段を制御する制御手段
とを具備することを特徴とする音声処理装置。
【請求項１８】
前記被写体認識手段が、前記画像入力手段により入力される画像中の人物を認識する手段であり、
前記制御手段は、前記被写体認識手段が前記人物を認識している間、人物の発生周波数帯域以外で、前記騒音の帯域を低減するように前記騒音低減手段を制御する
ことを特徴とする請求項１７に記載の音声処理装置。
【請求項１９】
前記被写体認識手段が、前記画像入力手段により入力される画像中の人物及びその口の動きを認識する手段であり、
前記制御手段は、前記被写体認識手段が口を動かしている人物を認識している間、前記騒音低減手段を有効化する
ことを特徴とする請求項１７又は１８に記載の音声処理装置。
【請求項２０】
更に、性別と年齢ごとの代表的な発声周波数帯域の値を記憶する発声周波数帯域データ記憶手段を具備し、
前記被写体認識手段が、前記画像入力手段により入力される画像中の人物並びにその性別と年齢を認識する手段であり、
前記制御手段は、前記被写体認識手段が前記人物を認識している間、前記人物の前記性別と年齢に応じた発生周波数帯域以外で、前記騒音の帯域を低減するように前記騒音低減手段を制御する
ことを特徴とする請求項１７に記載の音声処理装置。
【請求項２１】
更に、性別と年齢ごとの代表的な発声周波数帯域の値を記憶する発声周波数帯域データ記憶手段を具備し、
前記被写体認識手段が、前記画像入力手段により入力される画像中の人物並びにその性別と年齢を認識すると共に、認識された人物から重要被写体人物を決定する手段であり、
前記制御手段は、前記被写体認識手段が前記人物を認識している間、前記重要被写体人物の前記性別と年齢に応じた発生周波数帯域以外で、前記騒音の帯域を低減するように前記騒音低減手段を制御する
ことを特徴とする請求項１７に記載の音声処理装置。
【請求項２２】
更に、騒音源の発生する騒音基本波形を記憶する基本騒音波形記憶部を具備し、
前記騒音低減手段は、前記音声入力手段からの音声信号から前記基本騒音波形記憶部からの前記騒音基本波形を減算する手段である
ことを特徴とする請求項１７に記載の音声処理装置。
【請求項２３】
更に、前記音声入力手段により入力される音声の記録の際の温度情報を入力する温度情報入力手段を具備し、
前記制御手段は、前記温度情報入力手段からの前記温度情報に従い、前記騒音低減手段の騒音低減特性を補正する
ことを特徴とする請求項１７乃至２２の何れか１項に記載の音声処理装置。
【請求項２４】
前記画像入力手段により入力される画像の撮影時の姿勢情報を入力する姿勢情報入力手段を具備し、
前記制御手段は、前記姿勢情報入力手段からの前記姿勢情報に従い、前記騒音低減手段の騒音低減特性を補正する
ことを特徴とする請求項１７乃至２３の何れか１項に記載の音声処理装置。
【請求項２５】
前記音声処理装置が撮像装置に組み込まれており、前記騒音の源として、ズームレンズ群駆動手段、フォーカスレンズ群駆動手段、ＮＤフィルタ駆動手段及びシャッタ駆動手段の何れかを含む請求項１７乃至２４の何れか１項に記載の音声処理装置。
【請求項２６】
画像を入力する画像入力ステップと、
音声を入力する音声入力ステップと、
前記画像入力ステップにより入力される画像から被写体を認識する被写体認識ステップと、
前記音声入力ステップにより入力される音声から、前記被写体認識ステップの認識に従う騒音低減特性で騒音を低減する騒音低減ステップ
とを具備することを特徴とする音声処理方法。
【請求項２７】
前記被写体認識ステップが、前記画像入力ステップにより入力される画像中の人物を認識するステップであり、
前記騒音低減ステップは、前記被写体認識ステップにより前記人物が認識される間、前記人物の発生周波数帯域以外で、前記騒音の帯域を低減する
ことを特徴とする請求項２６に記載の音声処理方法。
【請求項２８】
前記被写体認識ステップが、前記画像入力ステップにより入力される画像中の人物及びその口の動きを認識するステップであり、
前記騒音低減ステップは、口を動かしている人物が認識されている間、前記騒音を低減する
ことを特徴とする請求項２６又は２７に記載の音声処理方法。
【請求項２９】
前記被写体認識ステップが、
前記画像入力ステップにより入力される画像中の人物を認識するステップと、
認識された人物の性別及び年齢を認識するステップ
とを具備し、
前記騒音低減ステップは、
前記被写体認識ステップで認識された人物の性別と年齢に対応する発生周波数帯域データを、性別と年齢ごとの代表的な発声周波数帯域の値を記憶する発声周波数帯域データ記憶手段から読み出し、
前記人物の前記性別と年齢に応じた発生周波数帯域以外で、前記騒音を低減する
ことを特徴とする請求項２６に記載の音声処理方法。
【請求項３０】
前記被写体認識ステップが、
前記画像入力ステップにより入力される画像中の人物を認識するステップと、
認識された人物から重要被写体人物を決定するステップと、
前記重要被写体人物の性別及び年齢を認識するステップ
とを具備し、
前記騒音低減ステップは、
前記被写体認識ステップで認識された前記重要被写体人物の性別と年齢に対応する発生周波数帯域データを、性別と年齢ごとの代表的な発声周波数帯域の値を記憶する発声周波数帯域データ記憶手段から読み出し、
前記重要被写体人物の前記性別と年齢に応じた発生周波数帯域以外で、前記騒音を低減する
ことを特徴とする請求項２６に記載の音声処理方法。
【請求項３１】
前記騒音低減ステップは、
騒音源ごとの騒音基本波形を記憶する基本騒音波形記憶部から前記騒音基本波形を読み出すステップと、
前記音声入力ステップにより入力される音声信号から前記基本騒音波形記憶部から読み出した前記騒音基本波形を減算するステップ
とを具備することを特徴とする請求項２６に記載の音声処理方法。
【請求項３２】
更に、温度情報を入力するステップを具備し、
前記騒音低減ステップは、前記温度情報に従って補正された騒音低減特性で前記騒音を低減する
ことを特徴とする請求項２６乃至３１の何れか１項に記載の音声処理方法。
【請求項３３】
更に、録音の際の姿勢情報を入力するステップを具備し、
前記騒音低減ステップは、前記姿勢情報に従って補正された騒音低減特性で前記騒音を低減する
ことを特徴とする請求項２６乃至３２の何れか１項に記載の音声処理方法。
【請求項１】
撮像手段と、
音声入力手段と、
ズームレンズ群駆動手段、フォーカスレンズ群駆動手段、ＮＤフィルタ駆動手段及びシャッタ駆動手段の何れかを含む騒音源と、
前記撮像手段により入力される画像から被写体を認識する被写体認識手段と、
前記音声入力手段により入力される音声から前記騒音源からの騒音を低減する騒音低減手段と、
前記被写体認識手段の認識に従い、前記騒音低減手段を制御する制御手段
とを具備することを特徴とする撮像装置。
【請求項２】
前記被写体認識手段が、前記撮像手段により入力される画像中の人物を認識する手段であり、
前記制御手段は、前記被写体認識手段が前記人物を認識している間、人物の発生周波数帯域以外で、前記騒音の帯域を低減するように前記騒音低減手段を制御する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記被写体認識手段が、前記撮像手段により入力される画像中の人物及びその口の動きを認識する手段であり、
前記制御手段は、前記被写体認識手段が口を動かしている人物を認識している間、前記騒音低減手段を有効にする
ことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
更に、性別と年齢ごとの代表的な発声周波数帯域の値を記憶する発声周波数帯域データ記憶手段を具備し、
前記被写体認識手段が、前記撮像手段により入力される画像中の人物並びにその性別と年齢を認識する手段であり、
前記制御手段は、前記被写体認識手段が前記人物を認識している間、前記人物の前記性別と年齢に応じた発生周波数帯域以外で、前記騒音を低減するように前記騒音低減手段を制御する
ことを特徴とする請求項１に記載の撮像装置。
【請求項５】
更に、性別と年齢ごとの代表な発声周波数帯域の値を記憶する発声周波数帯域データ記憶手段を具備し、
前記被写体認識手段が、前記撮像手段により入力される画像中の人物並びにその性別と年齢を認識すると共に、認識された人物から重要被写体人物を決定する手段であり、
前記制御手段は、前記被写体認識手段が前記人物を認識している間、前記重要被写体人物の前記性別と年齢に応じた発生周波数帯域以外で、前記騒音を低減するように前記騒音低減手段を制御する
ことを特徴とする請求項１に記載の撮像装置。
【請求項６】
更に、騒音源の発生する騒音基本波形を記憶する基本騒音波形記憶部を具備し、
前記騒音低減手段は、前記音声入力手段からの音声信号から前記基本騒音波形記憶部からの前記騒音基本波形を減算する手段である
ことを特徴とする請求項１に記載の撮像装置。
【請求項７】
更に、温度センサを具備し、
前記制御手段は、前記温度センサからの温度情報に従い、前記騒音低減手段の騒音低減特性を補正する
ことを特徴とする請求項１乃至６の何れか１項に記載の撮像装置。
【請求項８】
更に、姿勢センサを具備し、
前記制御手段は、前記姿勢センサからの姿勢情報に従い、前記騒音低減手段の騒音低減特性を補正する
ことを特徴とする請求項１乃至７の何れか１項に記載の撮像装置。
【請求項９】
撮像手段と、
音声入力手段と、
ズームレンズ群駆動手段、フォーカスレンズ群駆動手段、ＮＤフィルタ駆動手段及びシャッタ駆動手段の何れかを含む騒音源
とを有する撮像装置において、
前記撮像手段により入力される画像から被写体を認識する被写体認識ステップと、
前記音声入力手段により入力される音声から、前記被写体認識ステップでの認識に従う騒音低減特性で前記騒音源からの騒音を低減する騒音低減ステップ
とを具備することを特徴とする撮像装置の音声処理方法。
【請求項１０】
前記被写体認識ステップが、前記撮像手段により入力される画像中の人物を認識するステップであり、
前記騒音低減ステップは、前記撮像手段により入力される画像中に前記人物が認識される間、人物の発生周波数帯域以外で、前記騒音源からの前記騒音の帯域を低減する
ことを特徴とする請求項９に記載の撮像装置の音声処理方法。
【請求項１１】
前記被写体認識ステップが、前記撮像手段により入力される画像中の人物及びその口の動きを認識するステップであり、
前記騒音低減ステップは、前記撮像手段により入力される画像中の人物が口を動かしている間、前記音声入力手段により入力される音声から前記騒音源からの前記騒音を低減する
ことを特徴とする請求項９又は１０に記載の撮像装置の音声処理方法。
【請求項１２】
前記被写体認識ステップが、
前記撮像手段により入力される画像中の人物を認識するステップと、
認識された人物の性別及び年齢を認識するステップ
とを具備し、
前記騒音低減ステップは、
前記被写体認識ステップで認識された人物の性別と年齢に対応する発生周波数帯域データを、性別と年齢ごとの代表的な発声周波数帯域の値を記憶する発声周波数帯域データ記憶手段から読み出し、
前記人物の前記性別と年齢に応じた発生周波数帯域以外で、前記騒音を低減する
ことを特徴とする請求項９に記載の撮像装置の音声処理方法。
【請求項１３】
前記被写体認識ステップが、
前記撮像手段により入力される画像中の人物を認識するステップと、
認識された人物から重要被写体人物を決定するステップと、
前記重要被写体人物の性別及び年齢を認識するステップ
とを具備し、
前記騒音低減ステップは、
前記被写体認識ステップで認識された前記重要被写体人物の性別と年齢に対応する発生周波数帯域データを、性別と年齢ごとの代表的な発声周波数帯域の値を記憶する発声周波数帯域データ記憶手段から読み出し、
前記重要被写体人物の前記性別と年齢に応じた発生周波数帯域以外で、前記騒音の帯域を低減する
ことを特徴とする請求項９に記載の撮像装置の音声処理方法。
【請求項１４】
前記騒音低減ステップは、前記騒音源の発生する騒音基本波形を記憶する基本騒音波形記憶部から前記騒音基本波形を読み出すステップと、
前記音声入力手段からの音声信号から前記基本騒音波形記憶部から読み出した前記騒音基本波形を減算するステップ
とを具備することを特徴とする請求項９に記載の撮像装置の音声処理方法。
【請求項１５】
更に、温度情報を入力するステップを具備し、
前記騒音低減ステップは、前記温度情報に従って補正された騒音低減特性で前記騒音を低減する
ことを特徴とする請求項９乃至１４の何れか１項に記載の撮像装置の音声処理方法。
【請求項１６】
更に、前記撮像装置の姿勢情報を入力するステップを具備し、
前記騒音低減ステップは、前記姿勢情報に従って補正された騒音低減特性で前記騒音を低減する
ことを特徴とする請求項９乃至１５の何れか１項に記載の撮像装置の音声処理方法。
【請求項１７】
画像入力手段と、
音声入力手段と、
前記画像入力手段により入力される画像から被写体を認識する被写体認識手段と、
前記音声入力手段により入力される音声から騒音を低減する騒音低減手段と、
前記被写体認識手段の認識に従い、前記騒音低減手段を制御する制御手段
とを具備することを特徴とする音声処理装置。
【請求項１８】
前記被写体認識手段が、前記画像入力手段により入力される画像中の人物を認識する手段であり、
前記制御手段は、前記被写体認識手段が前記人物を認識している間、人物の発生周波数帯域以外で、前記騒音の帯域を低減するように前記騒音低減手段を制御する
ことを特徴とする請求項１７に記載の音声処理装置。
【請求項１９】
前記被写体認識手段が、前記画像入力手段により入力される画像中の人物及びその口の動きを認識する手段であり、
前記制御手段は、前記被写体認識手段が口を動かしている人物を認識している間、前記騒音低減手段を有効化する
ことを特徴とする請求項１７又は１８に記載の音声処理装置。
【請求項２０】
更に、性別と年齢ごとの代表的な発声周波数帯域の値を記憶する発声周波数帯域データ記憶手段を具備し、
前記被写体認識手段が、前記画像入力手段により入力される画像中の人物並びにその性別と年齢を認識する手段であり、
前記制御手段は、前記被写体認識手段が前記人物を認識している間、前記人物の前記性別と年齢に応じた発生周波数帯域以外で、前記騒音の帯域を低減するように前記騒音低減手段を制御する
ことを特徴とする請求項１７に記載の音声処理装置。
【請求項２１】
更に、性別と年齢ごとの代表的な発声周波数帯域の値を記憶する発声周波数帯域データ記憶手段を具備し、
前記被写体認識手段が、前記画像入力手段により入力される画像中の人物並びにその性別と年齢を認識すると共に、認識された人物から重要被写体人物を決定する手段であり、
前記制御手段は、前記被写体認識手段が前記人物を認識している間、前記重要被写体人物の前記性別と年齢に応じた発生周波数帯域以外で、前記騒音の帯域を低減するように前記騒音低減手段を制御する
ことを特徴とする請求項１７に記載の音声処理装置。
【請求項２２】
更に、騒音源の発生する騒音基本波形を記憶する基本騒音波形記憶部を具備し、
前記騒音低減手段は、前記音声入力手段からの音声信号から前記基本騒音波形記憶部からの前記騒音基本波形を減算する手段である
ことを特徴とする請求項１７に記載の音声処理装置。
【請求項２３】
更に、前記音声入力手段により入力される音声の記録の際の温度情報を入力する温度情報入力手段を具備し、
前記制御手段は、前記温度情報入力手段からの前記温度情報に従い、前記騒音低減手段の騒音低減特性を補正する
ことを特徴とする請求項１７乃至２２の何れか１項に記載の音声処理装置。
【請求項２４】
前記画像入力手段により入力される画像の撮影時の姿勢情報を入力する姿勢情報入力手段を具備し、
前記制御手段は、前記姿勢情報入力手段からの前記姿勢情報に従い、前記騒音低減手段の騒音低減特性を補正する
ことを特徴とする請求項１７乃至２３の何れか１項に記載の音声処理装置。
【請求項２５】
前記音声処理装置が撮像装置に組み込まれており、前記騒音の源として、ズームレンズ群駆動手段、フォーカスレンズ群駆動手段、ＮＤフィルタ駆動手段及びシャッタ駆動手段の何れかを含む請求項１７乃至２４の何れか１項に記載の音声処理装置。
【請求項２６】
画像を入力する画像入力ステップと、
音声を入力する音声入力ステップと、
前記画像入力ステップにより入力される画像から被写体を認識する被写体認識ステップと、
前記音声入力ステップにより入力される音声から、前記被写体認識ステップの認識に従う騒音低減特性で騒音を低減する騒音低減ステップ
とを具備することを特徴とする音声処理方法。
【請求項２７】
前記被写体認識ステップが、前記画像入力ステップにより入力される画像中の人物を認識するステップであり、
前記騒音低減ステップは、前記被写体認識ステップにより前記人物が認識される間、前記人物の発生周波数帯域以外で、前記騒音の帯域を低減する
ことを特徴とする請求項２６に記載の音声処理方法。
【請求項２８】
前記被写体認識ステップが、前記画像入力ステップにより入力される画像中の人物及びその口の動きを認識するステップであり、
前記騒音低減ステップは、口を動かしている人物が認識されている間、前記騒音を低減する
ことを特徴とする請求項２６又は２７に記載の音声処理方法。
【請求項２９】
前記被写体認識ステップが、
前記画像入力ステップにより入力される画像中の人物を認識するステップと、
認識された人物の性別及び年齢を認識するステップ
とを具備し、
前記騒音低減ステップは、
前記被写体認識ステップで認識された人物の性別と年齢に対応する発生周波数帯域データを、性別と年齢ごとの代表的な発声周波数帯域の値を記憶する発声周波数帯域データ記憶手段から読み出し、
前記人物の前記性別と年齢に応じた発生周波数帯域以外で、前記騒音を低減する
ことを特徴とする請求項２６に記載の音声処理方法。
【請求項３０】
前記被写体認識ステップが、
前記画像入力ステップにより入力される画像中の人物を認識するステップと、
認識された人物から重要被写体人物を決定するステップと、
前記重要被写体人物の性別及び年齢を認識するステップ
とを具備し、
前記騒音低減ステップは、
前記被写体認識ステップで認識された前記重要被写体人物の性別と年齢に対応する発生周波数帯域データを、性別と年齢ごとの代表的な発声周波数帯域の値を記憶する発声周波数帯域データ記憶手段から読み出し、
前記重要被写体人物の前記性別と年齢に応じた発生周波数帯域以外で、前記騒音を低減する
ことを特徴とする請求項２６に記載の音声処理方法。
【請求項３１】
前記騒音低減ステップは、
騒音源ごとの騒音基本波形を記憶する基本騒音波形記憶部から前記騒音基本波形を読み出すステップと、
前記音声入力ステップにより入力される音声信号から前記基本騒音波形記憶部から読み出した前記騒音基本波形を減算するステップ
とを具備することを特徴とする請求項２６に記載の音声処理方法。
【請求項３２】
更に、温度情報を入力するステップを具備し、
前記騒音低減ステップは、前記温度情報に従って補正された騒音低減特性で前記騒音を低減する
ことを特徴とする請求項２６乃至３１の何れか１項に記載の音声処理方法。
【請求項３３】
更に、録音の際の姿勢情報を入力するステップを具備し、
前記騒音低減ステップは、前記姿勢情報に従って補正された騒音低減特性で前記騒音を低減する
ことを特徴とする請求項２６乃至３２の何れか１項に記載の音声処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１０−１３５８７６（Ｐ２０１０−１３５８７６Ａ）
【公開日】平成２２年６月１７日（２０１０．６．１７）
【国際特許分類】
【出願番号】特願２００８−３０７０８８（Ｐ２００８−３０７０８８）
【出願日】平成２０年１２月２日（２００８．１２．２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２２年６月１７日（２０１０．６．１７）
【国際特許分類】
【出願日】平成２０年１２月２日（２００８．１２．２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]