撮像装置
【課題】動画撮影時の操作音を低減して集音する撮像装置を提供する。
【解決手段】撮像装置１には、マイク４１Ａが、周囲の音を検出して第１音情報を出力する。マイク４１Ｂは、その音を検出して第２音情報を出力する。音声信号処理回路４５は、第１音情報と第２音情報とを用いて、第１音情報と第２音情報とに含まれる共通の雑音信号を除去して、その音に対応した一つの音信号を生成する。
【解決手段】撮像装置１には、マイク４１Ａが、周囲の音を検出して第１音情報を出力する。マイク４１Ｂは、その音を検出して第２音情報を出力する。音声信号処理回路４５は、第１音情報と第２音情報とを用いて、第１音情報と第２音情報とに含まれる共通の雑音信号を除去して、その音に対応した一つの音信号を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画撮影時に集音する撮像装置に関する。
【背景技術】
【０００２】
撮像装置を操作することにより生じる操作音が、集音された音に含まれることにより、動画撮影に合わせて集音するときの雑音として検出されることがある。このような雑音を低減させるための雑音低減処理を行う撮像装置がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２４４６１３号公報
【非特許文献】
【０００４】
【非特許文献１】金田、「適応形雑音抑圧マイクロホンアレー（ＡＭＮＯＲ）の指向性特性」日本音響学会誌４４巻１号、Ｐ２３−３０、１９８８.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１によると、雑音を発生する場所を予め特定し、雑音を集音するためのマイクを雑音発生部の近傍に配置している。このような雑音の検出方法では、雑音発生箇所が分散する場合では、雑音発生箇所ごとにマイクを配置することが必要になる。例えば、レンズ交換式カメラのレンズ鏡筒に設けられるオートフォーカス機能などを駆動する駆動部が雑音発生箇所となる場合には、レンズ鏡筒内にマイクを配置する必要があるという問題がある。
【０００６】
本発明は、上記問題を解決すべくなされたもので、その目的は、動画撮影に合わせて集音するときの操作音を低減して集音する撮像装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記問題を解決するために、本発明は、周囲の音を検出して第１音情報を出力する第１集音部と、前記音を検出して第２音情報を出力する、前記第１集音部とは異なる第２集音部と、前記第１音情報と前記第２音情報とを用いて、前記第１音情報と前記第２音情報とに含まれる共通の雑音信号を除去して、前記音に対応した一つの音信号を生成する信号処理部とを備える撮像装置である。
また、本発明は、上記の発明において、前記信号処理部は、前記第１音情報に含まれる前記雑音信号と前記第２音情報に含まれる前記雑音信号との時間軸上の相違量と、前記第１音情報に含まれる前記音と前記第２音情報に含まれる前記音との時間軸上の相違量との差に基づいて、前記雑音信号を除去することを特徴とする。
【０００８】
また、本発明は、上記の発明において、前記信号処理部は、前記第１音情報に含まれる前記雑音信号と前記第２音情報に含まれる前記雑音信号とが同期するように、前記第１音情報と前記第２音情報とを相対的に時間シフトさせて前記雑音信号を除去することを特徴とする。
また、本発明は、上記の発明において、前記雑音信号となる雑音を発生させる雑音発生部を備え、前記信号処理部は、前記雑音発生部の位置情報に応じて前記第１音情報と前記第２音情報とを相対的に時間シフトさせることを特徴とする。
【０００９】
また、本発明は、上記の発明において、前記雑音発生部の位置情報は、前記雑音発生部から前記雑音が前記第１集音部に到達するまでの伝播時間と、前記雑音発生部から前記雑音が前記第２集音部に到達するまでの伝播時間との差に基づく情報であることを特徴とする。
また、本発明は、上記の発明において、前記雑音信号は、前記撮像装置の動作による動作音に基づくものであり、前記信号処理部は、前記動作の開始又は停止の少なくとも一方に基づいて、前記雑音信号を除去することを特徴とする。
【００１０】
また、本発明は、上記の発明において、前記信号処理部は、予め設定された、前記雑音信号の波形、周波数成分、音圧情報の少なくとも一つに基づいて、前記雑音信号を除去することを特徴とする。
また、本発明は、上記の発明において、前記第１集音部と前記第２集音部とは、前記撮像装置のレンズ光軸に対して略垂直な面内に配置され、前記レンズ光軸から前記第１集音部までの距離と、前記レンズ光軸から前記第２集音部までの距離とが異なることを特徴とする。
また、本発明は、上記の発明において、前記レンズ光軸に対して略垂直な面内において、前記レンズ光軸と前記第１集音部と前記第２集音部とは一つの直線上に順番に配置されることを特徴とする。
【発明の効果】
【００１１】
この本発明によれば、撮像装置において、第１集音部は、周囲の音を検出して第１音情報を出力する。第１集音部とは異なる第２集音部は、その音を検出して第２音情報を出力する。信号処理部は、第１集音部とは異なる第２集音部と、前記第１音情報と前記第２音情報とを用いて、前記第１音情報と前記第２音情報とに含まれる共通の雑音信号を除去して、前記音に対応した一つの音信号を生成する。
これにより、撮像装置は、振動にともなって発生する振動発生部からの雑音を２つの集音部によって検出し、２つの音情報に含まれる共通の雑音信号を除去して、雑音を低減した音信号を生成できる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態による撮像装置の外観図である。
【図２】同実施形態による撮像装置の構成を示すブロック図である。
【図３】同実施形態による音声処理部の構成を示す概略ブロック図である。
【図４】同実施形態による雑音低減処理を示す図である。
【図５】同実施形態による撮像装置の外観図である。
【図６】同実施形態による撮像装置における異なる利用形態を示す概略ブロック図である。
【発明を実施するための形態】
【００１３】
（第１実施形態）
以下、本発明の一実施形態について、図面を参照して説明する。
図１は、本実施形態による撮像装置１の外観図である。この図（ａ）と（ｂ）は、撮像装置１の上面と正面を示す。
撮像装置１は、カメラ本体１００と、カメラ本体１００に着脱可能なレンズ鏡筒２００を備えている。レンズ鏡筒２００は、カメラ本体１００の正面に設けられたレンズ・マウントを介して取り付けられる。
また、カメラ本体１００の正面には、マイク４１Ａとマイク４１Ｂが設けられる。マイク４１Ａとマイク４１Ｂは、レンズ鏡筒２００のレンズ光軸に対して略垂直な面内、すなわち、カメラ本体１００の正面側の面に設けられる。マイク４１Ａとマイク４１Ｂは、レンズ鏡筒２００のレンズ光軸からマイク４１Ａまでの距離ｄ１と、そのレンズ光軸からマイク４１Ｂまでの距離ｄ２とが異なるように配置される。
また、マイク４１Ａとマイク４１Ｂは、そのレンズ光軸に対して略垂直な面内においてレンズ鏡筒２００のレンズ光軸とマイク４１Ａとマイク４１Ｂとは一つの直線ｘ上に順番に配置される。
【００１４】
図２は、本実施形態による撮像装置の構成を示すブロック図である。この図に示される撮像装置１は、カメラ本体１００及びカメラ本体１００に取り付けられるレンズ鏡筒２００を備える。
撮像装置１においてレンズ鏡筒２００は、光学系２１０、光学系駆動部２２０、光学系制御部２３０を備える。
レンズ鏡筒２００における光学系２１０は、撮像素子８への光の出力を調整する光学素子と、その光学素子などを保護する構造を備えている。例えば、光学系２１０は、撮影画角を変更するズーム機能、通過する光量を調整する絞り機能、手ブレによる像揺れを補正する機能、焦点を調整する機能などを有し、それぞれの状態を検出する各種センサー、エンコーダなどが設けられる。光学系駆動部２２０は、制御部２０からの制御信号に応じて光学系２１０をモーターなどのアクチュエータによって駆動して、撮像素子８への光の出力を調整する。光学系制御部２３０は、光学系２１０に設けられた各種センサー、エンコーダの情報を収集し、制御部２０に通知する。光学系制御部２３０から通知される情報には、レンズ鏡筒２００の種別を示すレンズ種別情報、レンズ焦点距離情報、絞り機能によって設定された絞り値、レンズ鏡筒２００に設けられた距離環に基づく被写体距離情報などがある。
【００１５】
撮像装置１においてカメラ本体１００は、撮像処理部１０、不揮発メモリー１１、バッファメモリー１２、操作検出回路１３、モニター制御回路１４、モニター１５、メモリー制御回路１６、メモリー１７、制御部２０及び音声処理部４０を備える。
カメラ本体１００における撮像処理部１０は、撮像素子制御回路７、撮像素子８及び映像回路９を備える。撮像素子８は、ＣＣＤ（Charge Coupled Device）或いはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサーなどの受光素子であり、光学系２１０から出力され結像された像を電気信号に変換してアナログの画像信号を出力する。撮像素子８には、映像回路９と、撮像素子制御回路７とが接続されている。映像回路９は、撮像素子８が出力する画像信号を増幅し、デジタル信号に変換する。撮像素子制御回路７は、撮像素子８を駆動させ、撮像素子８により結像された像の画像信号への変換や、変換された画像信号の出力などの動作を制御する。
【００１６】
不揮発メモリー１１には、制御部２０を動作させるプログラムや、撮像され生成された画像データ、集音された音情報、ユーザーから入力された各種設定や撮像条件などの情報が記憶される。また、記憶される情報には、撮像装置１の動作音の特徴を示す情報として、動作音の時間に応じて変化する波形、周波数成分、音圧情報などが予め記録される。
バッファメモリー１２は、制御部２０の制御処理に用いられる一時的な情報の記憶領域であり、例えば、撮像素子８から出力される画像信号や、画像信号に応じて生成された画像データなどが制御部２０によって一時的に記憶される。
【００１７】
操作検出回路１３は、入力部に入力されたユーザーの操作を検出し、検出した操作情報を制御信号として制御部２０に入力する。入力部は、例えば電源スイッチ１３ａ、レリーズスイッチ１３ｂ、・・・、１３ｚなどを備える。入力部は、入力部を操作した操作感をユーザーに与えるために、必要に応じて板ばねなどを設けられる。入力部が所定の位置まで押下げられると板ばねが反り返してユーザーに「クリック感」を与える。この板ばねの反応により、微小な振動が生じてカメラ本体１００に伝播する。
また、操作検出回路１３には、オートフォーカス（ＡＦ）操作を制御するためのＡＦ操作手段１３ＡＦ、撮影モードなどの設定を行うセレクタボタン１３ＳＥＬなどがある。撮影中に行われた操作であっても、制御部２０は、入力された操作情報を受付けて、その操作情報に基づいた制御指示を出力するとともに、操作指示情報を不揮発メモリー１１に記憶する。
モニター制御回路１４は、例えば、モニター１５の点灯、消灯や明るさ調整などの表示制御や、制御部２０から出力される画像データをモニター１５に表示させる処理を行う。モニター１５は、画像データを表示し、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）で構成される。
【００１８】
メモリー制御回路１６は、制御部２０とメモリー１７との情報の入出力を制御し、例えば、制御部２０によって生成された画像データ、音データなどの情報をメモリー１７に記憶させる処理や、メモリー１７に記憶されている画像データ、音データなどの情報を読み出して制御部２０に出力する処理などを行う。メモリー１７は、例えば、メモリーカードなどカメラ本体１００から抜き差し可能な記憶媒体であり、制御部２０によって生成される画像データ、音データなどが記憶される。
【００１９】
音声処理部４０は、動画の撮像に合わせて記録する音情報をマイク４１Ａと４１Ｂで収集し、必要な信号処理を施して記録する音声を生成する。
図３は、音声処理部４０の一実施形態を示す概略ブロック図である。この図は、オートフォーカス操作を行うときの主な構成を示す。図１、図２に示した構成と同じ構成には同じ符号を付す。
音声処理部４０は、マイク４１Ａと４１Ｂ、増幅回路４２Ａと４２Ｂ、アナログ・デジタル（Ａ／Ｄ）変換回路４３Ａと４３Ｂ、遅延回路４４及び音声信号処理回路４５を備える。
音声処理部４０におけるマイク４１Ａと４１Ｂは、動画記録を行う際に集音した音を変換し音信号を出力する。
増幅回路４２Ａと４２Ｂは、マイク４１Ａと４１Ｂが変換した音信号を所定の増幅率で増幅する。それぞれの増幅率は、制御部２０からの設定によって定められる。
Ａ／Ｄ変換回路４３Ａと４３Ｂは、増幅された音情報をデジタル信号に変換する。
【００２０】
また、マイク４１Ａと増幅回路４２ＡとＡ／Ｄ変換回路４３Ａとにより形成される第１の系統から第１デジタル音信号が出力される。マイク４１Ｂと増幅回路４２ＢとＡ／Ｄ変換回路４３Ｂとにより形成される第２の系統から第２デジタル音信号が出力される。
第１の系統のマイク４１Ａと増幅回路４２ＡとＡ／Ｄ変換回路４３Ａ、並びに、第２の系統のマイク４１Ｂと増幅回路４２ＢとＡ／Ｄ変換回路４３Ｂは、対となって構成され、それぞれが同じ特性であることが望ましい。
遅延回路４４は、第２の系統で集音された第２デジタル音信号を、設定される遅延時間に基づいて遅延処理して遅延デジタル信号を出力する。
音声信号処理回路４５は、第１デジタル音信号と遅延デジタル信号が入力され、２つの信号に設定された時間差を保持したままで差分処理を行う。音声信号処理回路４５は、差分処理された結果に基づいて信号再生処理を行って再生した再生信号を記録情報として出力する。記録情報は、制御部２０に入力され、メモリー制御部１６を介してメモリー１７に書き込まれるが、この図では音声信号処理回路４５で信号再生処理された再生信号がメモリー１７に記録されることを簡略化して示す。
【００２１】
図２に戻り、制御部２０について示す。
制御部２０は、不揮発メモリー１１に記憶されたプログラムに基づいてカメラ本体１００の各部の動作を制御するＣＰＵ（Central Processing Unit）などからなる。例えば、制御部２０は、操作検出回路１３に入力されるユーザーからの操作情報に応じて、カメラ本体１００への電源の投入、光学系駆動部２２０を介した光学系２１０の駆動制御、撮像素子制御回路７を介した撮像素子８の駆動制御、モニター制御回路１４を介したモニター１５の表示制御、撮像素子８で検出した被写体の撮影処理、音声処理部４０で集音する音情報の信号処理の制御を行う。
【００２２】
制御部２０は、画像処理部２１、表示制御部２２、撮影制御部２３、操作検出処理部２４、雑音除去制御部２５及び録音制御部２６を備える。
制御部２０における画像処理部２１は、撮像素子８の撮像領域内に捉えられ映像回路９に出力された画像信号を読み出し、読み出した画像信号に基づいて画像データを生成する画像処理を行う。画像処理部２１は、画像処理により生成した画像データをバッファメモリー１２に記憶させる。表示制御部２２は、画像処理部２１によって生成されバッファメモリー１２に記憶された画像データを一定時間間隔ごとに読み出し、読み出した画像データをリアルタイムにモニター１５に出力する。ここで、一定時間間隔とは、例えば１／６０秒であり、この場合、表示制御部２２によって１秒間に６０フレームの画像データがスルー画としてモニター１５に表示され、動画像としてメモリー１７に記録される。
【００２３】
撮影制御部２３は、ユーザーの操作入力に基づいた撮影処理を制御するための撮影処理開始指令又は撮影処理終了指令などの制御信号が操作検出回路１３から入力されることに応じて、各部に対して必要な制御信号を出力する。撮影制御部２３は、撮像処理開始命令が入力されると光学系２１０を駆動させ、画像データを生成する撮像処理を行う。撮影制御部２３は、予めユーザーから入力された撮影条件に応じて、光学系制御部２３０を介して光学系２１０のフォーカシング、露出制御、ズーミングなどの制御を行う。
【００２４】
操作検出処理部２４は、操作検出回路１３が検出したユーザーの操作情報を判定し、判定した情報をメモリーに記録するとともに、必要とされる各種処理の制御指示を出力する。例えば、ＡＦ操作手段１３ＡＦによりオートフォーカス（ＡＦ）操作を検出すると、レンズ鏡筒２００における光学系駆動部２２０のＡＦ制御を行うＡＦ制御用のモーターを駆動して光学系２１０を調整することによりＡＦ制御を行う。
【００２５】
雑音除去制御部２５は、操作検出処理部２４によって検出されたユーザーの操作情報に応じて、雑音とその雑音が発生する箇所を判定し、その雑音が低減するように音声処理部４０を制御する。
録音制御部２６は、雑音除去制御部２５に制御される音声処理部４０において雑音の低減処理された音情報を動画情報と関連付けを行ってメモリーに書き込み記録する。
【００２６】
本実施形態の雑音低減処理について示す。
雑音除去制御部２５の処理によって低減される雑音は、光学系２１０の制御を行うために光学系駆動部２２０が駆動されたときに振動を発生するアクチュエータ（モーターなど）の駆動音と、操作検出回路１３の入力部に内蔵される板ばねが入力操作に応じて反り返る際に発生する操作音などがある。これらの雑音は、どちらもユーザーの操作に応じて発生することが特徴である。この雑音が発生する場所と時刻は、操作検出回路１３の入力部で検出された信号に基づいて導くことができる。
【００２７】
ところで、被写体のように撮像装置１から離れた場所からの音は、マイク４１Ａと４１Ｂ間の距離に対して被写体の場所からマイク４１Ａと４１Ｂまでの距離の差が少ないことから、同時に到達するものとみなすことができる。
一方、操作検出回路１３の操作に応じて振動を発生する光学系駆動部２２０は、図１に示したようにマイク４１Ａと４１Ｂ間の距離（ｄ１−ｄ２）、に対し近い距離に配置されることから、光学系駆動部２２０が発する音がマイク４１Ａと４１Ｂで集音されるまでの音の伝播時間が異なる。
光学系駆動部２２０とマイク４１Ａと４１Ｂの配置に応じて、マイク４１Ａと４１Ｂに到達するまでの駆動音の伝播時間を予め定めることができる。雑音除去制御部２５は、この伝播時間の差を利用して、雑音として特定した駆動音を低減させる制御を行う。
【００２８】
図４は、本実施形態による雑音低減処理を示す図である。この図に示される波形は、マイク４１Ａと４１Ｂで変換した音の音圧レベルを模式化したものであり、縦軸が音圧レベルを示し、横軸が時間の経過を示す。
図４（ａ）と（ｂ）は、マイク４１Ａと４１Ｂで集音された音を示す波形ＳＡとＳＢである。同じ位相で示される低い周波数で連続する基本波形は、遠方の被写体からの音を模式化した波形である。図４（ａ）と（ｂ）の波形ＳＡとＳＢの基本波形にそれぞれ時刻ｔ２と時刻ｔ１に重畳した基本波形より高い周波数成分で示される１周期の波形は、基本波形と一緒に検出された共通の雑音の波形を示し、それぞれ雑音ＮａとＮｂとする。この図では、説明しやすくするために雑音ＮａとＮｂを１周期で示したが連続する波形であっても良い。
雑音を検出した時刻を比較すると、光学系駆動部２２０から遠くに配置されるマイク４１Ａで検出された雑音Ｎａは、近くに配置されるマイク４１Ｂで検出された雑音Ｎｂに比べると時間ｔｄだけ遅れて検出される。この遅延時間は、音源とマイクの配置で定められ、予め特定できる制御変数として音源を示す情報に対比して記憶領域に予め記憶させておくことができる。
【００２９】
図４（ｃ）は、図４（ｂ）の波形ＳＢを遅延回路４４によって時間ｔｄだけ遅延させた波形ＳＢ’である。この遅延処理により、雑音Ｎｂを時間ｔｄだけ遅延させた雑音Ｎｂ’が導かれる。雑音Ｎａと雑音Ｎｂの位相をそろえ、すなわち、雑音Ｎａと同じタイミングに調整された雑音Ｎｂ’として同期させることができる。なお、時間ｔｄは、雑音除去制御部２５からの指示に基づいた値である。
【００３０】
図４（ｄ）は、音声信号処理回路４５において、図４（ａ）の波形ＳＡで示す振幅レベルから、図４（ｃ）の波形ＳＢ’で示す振幅レベルを減算する減算処理により生成された差信号の波形ＳＣである。
この減算処理により導かれた差信号では、雑音Ｎａと雑音Ｎｂとが相殺されたことにより、雑音成分を含まない信号となる。この差信号は、減算処理により原信号の基本波形と異なる歪んだ波形となる。
図４（ｅ）は、図４（ｄ）に示した減算処理の波形ＳＣに基づいて、音声信号処理回路４５において再生処理を施した波形ＳＣ’を示す。前述の減算処理までの処理を打ち消す逆の特性を示す処理を施すことにより、再生処理を行うことができる。
【００３１】
このように、雑音が混入した場合であっても２つのマイクで得られた信号に含まれる雑音を相殺できれば、雑音を除去した原信号を再生することができる。
また、雑音が発生する場所によって異なる遅延時間で雑音が重畳する。遅延時間が異なっても、雑音が発生する場所を特定し、その場所に応じた遅延時間を設定できる。
例えば、上記にＡＦ機能を駆動した場合に発生する例を示したが、同じレンズ鏡筒２００内にあるほかの機能を駆動するアクチュエータが発生する雑音を低減する場合にも適用できる。駆動するアクチュエータの位置が異なることにより、遅延時間が異なる場合がある。そのような場合であっても、駆動するアクチュエータの位置は、操作検出回路１３が検出した情報と、レンズ鏡筒２００の構造によって特定することができる。
【００３２】
上記の手順にしたがい、具体的な雑音の低減処理の一例を示す。
ＡＦ機構を動作させない期間は、第２の系統にある遅延回路４４などの処理を行わず、マイク４１Ａからの音声を記録する。
ＡＦ機構を動作させる期間は、雑音発生位置に応じた遅延時間を遅延回路４４により雑音低減処理を行う。
制御部２０は、操作検出回路１３で検出された操作入力に応じて予め定められた遅延時間を導く。遅延時間は、制御部２０から参照可能な不揮発メモリー１１に、操作入力情報をキーとするテーブルとして記憶されている。
制御部２０は、遅延回路に導かれた遅延時間を設定するとともに、第２の系統を機能させ、音声信号処理回路４５により２系統の音声信号の演算処理を行わせる。音声信号処理回路４５の演算処理により導かれた結果を、制御部２０は、メモリー１７に音声信号として記録する。音声信号は、第２の系統の遅延処理を行った遅延時間分の時間がシフトされる。制御部２０は、その遅延時間を吸収する補正を行って記録することにより、遅延時間の影響を受けて音声が途切れることなく、連続した音声を記録できる。
また、音声信号は、映像信号と同期させて記録することも必要である。制御部２０は、映像信号と音声信号とを同期させ、関連付けて記録する。
【００３３】
また、制御部２０は、レンズ鏡筒２００からレンズ種別を示すレンズ種別情報を得て、カメラ本体１００に取り付けられているレンズ鏡筒２００の種類を特定できる。レンズ種別情報に応じて、発生する動作音の特徴を示す情報を登録しておき、レンズ種別情報をキーとして必要な情報を参照することにより、発生する動作音を特定することができる。その動作音の特徴を示す情報として、各アクチュエータの位置情報、アクチュエータが駆動された振動によって生じる動作音の変化を示す波形の情報、その周波数成分の情報、動作音の音圧レベルの情報などがある。その各アクチュエータの位置情報は、物理的な配置を示す情報のほかに、各アクチュエータからそれぞれのマイクまでの動作音の到達時間を示す情報や、到達時間の時間差を示す情報とすることもできる。
この到達時間や到達時間の時間差情報は、予め定める値とするほかに、アクチュエータを駆動させてマイクで集音される音を測定して、その測定値に基づいて登録した値とすることもできる。
【００３４】
制御部２０は、入力された操作を特定し、アクチュエータに対して制御信号を出力することから、そのアクチュエータが動作するときのタイミングを検出することができ、アクチュエータから動作音がそれぞれのマイクに到達する前に、雑音低減のための雑音低減処理を有効とするように切り換えることもできる。雑音低減処理中の集音は、２つのマイクを利用し、雑音低減処理を停止中の集音は、１つのマイクを利用することもできる。
【００３５】
なお、上記の実施形態では、２つのマイクで変換した信号の時間差を調整して減算する処理を設定することにより複数のマイクを用いて適応的に集音された音に含まれる雑音を除去する。また、雑音処理の演算方法にAMNOR（Adaptive Microphone array for NOise Reduction）と呼ばれる手法がある。信号処理回路４５による雑音低減処理は、AMNOR法を用いて処理することもできる。
【００３６】
（第２実施形態）
以下、本発明の異なる実施形態について、図面を参照して説明する。
図５は、本実施形態による撮像装置１ａの外観図である。この図（ａ）と（ｂ）は、撮像装置１ａの上面と正面を示す。図１と同じ構成には同じ符号を付す。
撮像装置１ａは、カメラ本体１００ａと、カメラ本体１００ａに着脱可能なレンズ鏡筒２００を備えている。レンズ鏡筒２００は、カメラ本体１００ａの正面に設けられたレンズ・マウントを介して取り付けられる。
また、カメラ本体１００の正面と背面には、マイク４１Ａａとマイク４１Ｂａが設けられる。マイク４１Ａａとマイク４１Ｂａは、レンズ鏡筒２００のレンズ光軸と略平行な直線上に設けられる。すなわち、マイク４１Ａａとマイク４１Ｂａは、レンズ鏡筒２００の光軸から同じ距離ｄ１に配置される。
【００３７】
第２実施形態で示す撮像装置１ａでは、図１の撮像装置１とマイクの配置が異なるが、雑音処理のための構成は、図２、図３に示した構成を参照することができる。
カメラ本体１００ａ、音声処理部４０ａ、マイク４１Ａａと４１Ｂａは、カメラ本体１００、音声処理部４０、マイク４１Ａと４１Ｂと読み替えることができる。
動作音が２つのマイクに到達する音圧レベルが異なる場合には、増幅回路４２Ａと４２Ｂの増幅率を検出される音圧レベルに応じて設定する。増幅率を異なる値に設定することにより、２つの信号の遅延時間と雑音の振幅を合わせて合成することが必要になる。
遅延回路４４の遅延時間を、含まれる雑音の時間が合うように適正な値に設定することは変わらない。雑音が除去された差信号から再生する処理では、所望の音が２つのマイクで集音される時刻に時間差があり、その時間差を再生処理の変数として設定する。
【００３８】
（第３実施形態）
以下、本発明の異なる実施形態について、図面を参照して説明する。
図６は、本実施形態による撮像装置１における異なる利用形態を示す概略ブロック図である。この図は、モード設定などの選択操作を行うときの主な構成を示す。図１、図２、図３に示した構成と同じ構成には同じ符号を付す。
【００３９】
操作検出処理部２４（図１）は、例えば、セレクタボタン１３ＳＥＬの操作により選択入力操作を検出すると、検出された操作の情報をメモリーに記録する。操作検出処理部２４は、操作されたセレクタボタン１３ＳＥＬを特定する。操作されたセレクタボタン１３ＳＥＬは、板ばねを内部に備えることから、操作によって板ばねが反応して反り返りが生じる。その振動は、カメラ本体１００ａ全体に伝わり、その振動がマイク４１Ａａと４１Ｂａによって検出される。
【００４０】
この実施形態では、操作入力に応じて駆動されるアクチュエータがないため、その駆動音は発生しないが、操作入力の操作による振動が雑音発生源となる形態を示す。
発生する雑音は、カメラ本体１００ａを伝わって２つのマイクで集音される。雑音がそれぞれのマイクで集音されるまでの時間差を、遅延回路４４ａの遅延時間に設定して、第１実施形態のように、操作入力の検出に応じて雑音低減処理に切り換える。
【００４１】
なお、第１から第３の実施形態に以下に示す処理を付加することにより雑音低減効果を高めることができる。
音声信号処理回路４５は、駆動音及び操作音の時間に応じて変化する波形、周波数成分、音圧情報の少なくとも１つの特徴情報に基づいてそれぞれのマイクで集音された音情報から低減処理をする。駆動音及び操作音の時間に応じて変化する波形、周波数成分、音圧情報は、予め設定可能な特徴情報であり、不揮発メモリー１１などに記憶され、制御部２０から参照される。
それぞれのマイクで集音される雑音を、上記の特徴情報と比較することにより、雑音が含まれる時刻の特定を行うことができる。特定された時刻に基づいて遅延時間を導いて、予めテーブルに記憶しておく遅延時間情報とすることができる。
【００４２】
なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。本発明の撮像装置における、音声信号処理機能は遅延時間の調整を一方の信号を遅延させるものとして示したが、含まれる雑音の位相を合わせることができればよく、相対的に差がなくなるように時間シフトさせることで代用できる。
また、光学系駆動部２２０がＡＦ機構を駆動する形態を示したが、駆動される対象は、光学系２１０を制御する手ブレを補正する手ブレ補正機構、ズーム機構であっても良い。さらにＡＦ機構を駆動するアクチュエータ（モーター）をカメラ本体１００内に設け、機械的に駆動するカプリング駆動を行う形態であっても良い。それぞれの形態に合わせた遅延時間が予め不揮発メモリー１１などに記憶され、その遅延時間が設定されるものとする。
また、駆動音及び操作音の時間に応じて変化する波形、周波数成分、音圧情報などの特徴情報は、不揮発メモリー１１などに記憶されるとしたが、レンズ鏡筒２００内の光学系制御部２３０内の記憶部に記憶する形態であってもよい。
【００４３】
なお、本発明の実施形態において、撮像装置１は、マイク４１Ａが、周囲の音を検出して第１音情報を出力する。マイク４１Ａと異なるマイク４１Ｂは、その音を検出して第２音情報を出力する。音声信号処理回路４５は、第１音情報と第２音情報とを用いて、第１音情報と第２音情報とに含まれる共通の雑音信号を除去して、その音に対応した一つの音信号を生成する。
【００４４】
また、上記の実施形態において、音声信号処理回路４５は、第１音情報に含まれる雑音信号と第２音情報に含まれる雑音信号との時間軸上の相違量と、第１音情報に含まれる音と第２音情報に含まれる音との時間軸上の相違量との差に基づいて、雑音信号を除去する。
また、上記の実施形態において、音声信号処理回路４５は、第１音情報に含まれる雑音信号と第２音情報に含まれる雑音信号とが同期するように、第１音情報と第２音情報とを相対的に時間シフトさせて雑音信号を除去する。
【００４５】
また、上記の実施形態において、光学系駆動部２２０は、雑音信号となる雑音を発生させる。音声信号処理回路４５は、光学系駆動部２２０の位置情報に応じて第１音情報と第２音情報とを相対的に時間シフトさせる。
また、上記の実施形態において、光学系駆動部２２０の位置情報は、光学系駆動部２２０から雑音がマイク４１Ａに到達するまでの伝播時間と、光学系駆動部２２０から雑音がマイク４１Ｂに到達するまでの伝播時間との差に基づく情報である。
【００４６】
また、上記の実施形態において、雑音信号は、撮像装置１の動作による動作音に基づくものである。音声信号処理回路４５は、動作の開始又は停止の少なくとも一方に基づいて、雑音信号を除去する。
また、上記の実施形態において、信号処理部は、予め設定された、雑音信号の波形、周波数成分、音圧情報の少なくとも一つに基づいて、雑音信号を除去する。
【００４７】
また、上記の実施形態において、マイク４１Ａとマイク４１Ｂとは、撮像装置１のレンズ光軸に対して略垂直な面内に配置され、レンズ光軸からマイク４１Ａまでの距離と、レンズ光軸からマイク４１Ｂまでの距離とが異なる。
また、上記の実施形態において、レンズ光軸に対して略垂直な面内において、レンズ光軸とマイク４１Ａとマイク４１Ｂとは一つの直線上に順番に配置される。
【００４８】
なお、雑音検出用のマイクをレンズ鏡筒内に設ける場合、レンズ鏡筒からカメラ本体に雑音情報を伝送する必要があり、レンズ・マウントを変更する必要があるが、上記実施形態によれば、マイクをレンズ鏡筒内に設けないため、既存のレンズ・マウントを変更せずにそのまま利用することができる。そして、本実施形態に示したように、レンズ鏡洞内に雑音源が含まれる場合であっても、マイクをレンズ鏡筒内に配置しないため、既存の交換レンズを利用する場合にも適用できる。雑音源の位置情報がレンズ鏡筒から出力されない場合では、カメラ本体の不揮発メモリー１１などに対応する遅延時間の情報を予め設定することにより、同じように利用することができる。
【符号の説明】
【００４９】
１ 撮像装置
１００ カメラ本体
４１Ａ、４１Ｂ マイク
４４ 遅延処理回路
４５ 音声信号処理回路
【技術分野】
【０００１】
本発明は、動画撮影時に集音する撮像装置に関する。
【背景技術】
【０００２】
撮像装置を操作することにより生じる操作音が、集音された音に含まれることにより、動画撮影に合わせて集音するときの雑音として検出されることがある。このような雑音を低減させるための雑音低減処理を行う撮像装置がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２４４６１３号公報
【非特許文献】
【０００４】
【非特許文献１】金田、「適応形雑音抑圧マイクロホンアレー（ＡＭＮＯＲ）の指向性特性」日本音響学会誌４４巻１号、Ｐ２３−３０、１９８８.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１によると、雑音を発生する場所を予め特定し、雑音を集音するためのマイクを雑音発生部の近傍に配置している。このような雑音の検出方法では、雑音発生箇所が分散する場合では、雑音発生箇所ごとにマイクを配置することが必要になる。例えば、レンズ交換式カメラのレンズ鏡筒に設けられるオートフォーカス機能などを駆動する駆動部が雑音発生箇所となる場合には、レンズ鏡筒内にマイクを配置する必要があるという問題がある。
【０００６】
本発明は、上記問題を解決すべくなされたもので、その目的は、動画撮影に合わせて集音するときの操作音を低減して集音する撮像装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記問題を解決するために、本発明は、周囲の音を検出して第１音情報を出力する第１集音部と、前記音を検出して第２音情報を出力する、前記第１集音部とは異なる第２集音部と、前記第１音情報と前記第２音情報とを用いて、前記第１音情報と前記第２音情報とに含まれる共通の雑音信号を除去して、前記音に対応した一つの音信号を生成する信号処理部とを備える撮像装置である。
また、本発明は、上記の発明において、前記信号処理部は、前記第１音情報に含まれる前記雑音信号と前記第２音情報に含まれる前記雑音信号との時間軸上の相違量と、前記第１音情報に含まれる前記音と前記第２音情報に含まれる前記音との時間軸上の相違量との差に基づいて、前記雑音信号を除去することを特徴とする。
【０００８】
また、本発明は、上記の発明において、前記信号処理部は、前記第１音情報に含まれる前記雑音信号と前記第２音情報に含まれる前記雑音信号とが同期するように、前記第１音情報と前記第２音情報とを相対的に時間シフトさせて前記雑音信号を除去することを特徴とする。
また、本発明は、上記の発明において、前記雑音信号となる雑音を発生させる雑音発生部を備え、前記信号処理部は、前記雑音発生部の位置情報に応じて前記第１音情報と前記第２音情報とを相対的に時間シフトさせることを特徴とする。
【０００９】
また、本発明は、上記の発明において、前記雑音発生部の位置情報は、前記雑音発生部から前記雑音が前記第１集音部に到達するまでの伝播時間と、前記雑音発生部から前記雑音が前記第２集音部に到達するまでの伝播時間との差に基づく情報であることを特徴とする。
また、本発明は、上記の発明において、前記雑音信号は、前記撮像装置の動作による動作音に基づくものであり、前記信号処理部は、前記動作の開始又は停止の少なくとも一方に基づいて、前記雑音信号を除去することを特徴とする。
【００１０】
また、本発明は、上記の発明において、前記信号処理部は、予め設定された、前記雑音信号の波形、周波数成分、音圧情報の少なくとも一つに基づいて、前記雑音信号を除去することを特徴とする。
また、本発明は、上記の発明において、前記第１集音部と前記第２集音部とは、前記撮像装置のレンズ光軸に対して略垂直な面内に配置され、前記レンズ光軸から前記第１集音部までの距離と、前記レンズ光軸から前記第２集音部までの距離とが異なることを特徴とする。
また、本発明は、上記の発明において、前記レンズ光軸に対して略垂直な面内において、前記レンズ光軸と前記第１集音部と前記第２集音部とは一つの直線上に順番に配置されることを特徴とする。
【発明の効果】
【００１１】
この本発明によれば、撮像装置において、第１集音部は、周囲の音を検出して第１音情報を出力する。第１集音部とは異なる第２集音部は、その音を検出して第２音情報を出力する。信号処理部は、第１集音部とは異なる第２集音部と、前記第１音情報と前記第２音情報とを用いて、前記第１音情報と前記第２音情報とに含まれる共通の雑音信号を除去して、前記音に対応した一つの音信号を生成する。
これにより、撮像装置は、振動にともなって発生する振動発生部からの雑音を２つの集音部によって検出し、２つの音情報に含まれる共通の雑音信号を除去して、雑音を低減した音信号を生成できる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態による撮像装置の外観図である。
【図２】同実施形態による撮像装置の構成を示すブロック図である。
【図３】同実施形態による音声処理部の構成を示す概略ブロック図である。
【図４】同実施形態による雑音低減処理を示す図である。
【図５】同実施形態による撮像装置の外観図である。
【図６】同実施形態による撮像装置における異なる利用形態を示す概略ブロック図である。
【発明を実施するための形態】
【００１３】
（第１実施形態）
以下、本発明の一実施形態について、図面を参照して説明する。
図１は、本実施形態による撮像装置１の外観図である。この図（ａ）と（ｂ）は、撮像装置１の上面と正面を示す。
撮像装置１は、カメラ本体１００と、カメラ本体１００に着脱可能なレンズ鏡筒２００を備えている。レンズ鏡筒２００は、カメラ本体１００の正面に設けられたレンズ・マウントを介して取り付けられる。
また、カメラ本体１００の正面には、マイク４１Ａとマイク４１Ｂが設けられる。マイク４１Ａとマイク４１Ｂは、レンズ鏡筒２００のレンズ光軸に対して略垂直な面内、すなわち、カメラ本体１００の正面側の面に設けられる。マイク４１Ａとマイク４１Ｂは、レンズ鏡筒２００のレンズ光軸からマイク４１Ａまでの距離ｄ１と、そのレンズ光軸からマイク４１Ｂまでの距離ｄ２とが異なるように配置される。
また、マイク４１Ａとマイク４１Ｂは、そのレンズ光軸に対して略垂直な面内においてレンズ鏡筒２００のレンズ光軸とマイク４１Ａとマイク４１Ｂとは一つの直線ｘ上に順番に配置される。
【００１４】
図２は、本実施形態による撮像装置の構成を示すブロック図である。この図に示される撮像装置１は、カメラ本体１００及びカメラ本体１００に取り付けられるレンズ鏡筒２００を備える。
撮像装置１においてレンズ鏡筒２００は、光学系２１０、光学系駆動部２２０、光学系制御部２３０を備える。
レンズ鏡筒２００における光学系２１０は、撮像素子８への光の出力を調整する光学素子と、その光学素子などを保護する構造を備えている。例えば、光学系２１０は、撮影画角を変更するズーム機能、通過する光量を調整する絞り機能、手ブレによる像揺れを補正する機能、焦点を調整する機能などを有し、それぞれの状態を検出する各種センサー、エンコーダなどが設けられる。光学系駆動部２２０は、制御部２０からの制御信号に応じて光学系２１０をモーターなどのアクチュエータによって駆動して、撮像素子８への光の出力を調整する。光学系制御部２３０は、光学系２１０に設けられた各種センサー、エンコーダの情報を収集し、制御部２０に通知する。光学系制御部２３０から通知される情報には、レンズ鏡筒２００の種別を示すレンズ種別情報、レンズ焦点距離情報、絞り機能によって設定された絞り値、レンズ鏡筒２００に設けられた距離環に基づく被写体距離情報などがある。
【００１５】
撮像装置１においてカメラ本体１００は、撮像処理部１０、不揮発メモリー１１、バッファメモリー１２、操作検出回路１３、モニター制御回路１４、モニター１５、メモリー制御回路１６、メモリー１７、制御部２０及び音声処理部４０を備える。
カメラ本体１００における撮像処理部１０は、撮像素子制御回路７、撮像素子８及び映像回路９を備える。撮像素子８は、ＣＣＤ（Charge Coupled Device）或いはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサーなどの受光素子であり、光学系２１０から出力され結像された像を電気信号に変換してアナログの画像信号を出力する。撮像素子８には、映像回路９と、撮像素子制御回路７とが接続されている。映像回路９は、撮像素子８が出力する画像信号を増幅し、デジタル信号に変換する。撮像素子制御回路７は、撮像素子８を駆動させ、撮像素子８により結像された像の画像信号への変換や、変換された画像信号の出力などの動作を制御する。
【００１６】
不揮発メモリー１１には、制御部２０を動作させるプログラムや、撮像され生成された画像データ、集音された音情報、ユーザーから入力された各種設定や撮像条件などの情報が記憶される。また、記憶される情報には、撮像装置１の動作音の特徴を示す情報として、動作音の時間に応じて変化する波形、周波数成分、音圧情報などが予め記録される。
バッファメモリー１２は、制御部２０の制御処理に用いられる一時的な情報の記憶領域であり、例えば、撮像素子８から出力される画像信号や、画像信号に応じて生成された画像データなどが制御部２０によって一時的に記憶される。
【００１７】
操作検出回路１３は、入力部に入力されたユーザーの操作を検出し、検出した操作情報を制御信号として制御部２０に入力する。入力部は、例えば電源スイッチ１３ａ、レリーズスイッチ１３ｂ、・・・、１３ｚなどを備える。入力部は、入力部を操作した操作感をユーザーに与えるために、必要に応じて板ばねなどを設けられる。入力部が所定の位置まで押下げられると板ばねが反り返してユーザーに「クリック感」を与える。この板ばねの反応により、微小な振動が生じてカメラ本体１００に伝播する。
また、操作検出回路１３には、オートフォーカス（ＡＦ）操作を制御するためのＡＦ操作手段１３ＡＦ、撮影モードなどの設定を行うセレクタボタン１３ＳＥＬなどがある。撮影中に行われた操作であっても、制御部２０は、入力された操作情報を受付けて、その操作情報に基づいた制御指示を出力するとともに、操作指示情報を不揮発メモリー１１に記憶する。
モニター制御回路１４は、例えば、モニター１５の点灯、消灯や明るさ調整などの表示制御や、制御部２０から出力される画像データをモニター１５に表示させる処理を行う。モニター１５は、画像データを表示し、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）で構成される。
【００１８】
メモリー制御回路１６は、制御部２０とメモリー１７との情報の入出力を制御し、例えば、制御部２０によって生成された画像データ、音データなどの情報をメモリー１７に記憶させる処理や、メモリー１７に記憶されている画像データ、音データなどの情報を読み出して制御部２０に出力する処理などを行う。メモリー１７は、例えば、メモリーカードなどカメラ本体１００から抜き差し可能な記憶媒体であり、制御部２０によって生成される画像データ、音データなどが記憶される。
【００１９】
音声処理部４０は、動画の撮像に合わせて記録する音情報をマイク４１Ａと４１Ｂで収集し、必要な信号処理を施して記録する音声を生成する。
図３は、音声処理部４０の一実施形態を示す概略ブロック図である。この図は、オートフォーカス操作を行うときの主な構成を示す。図１、図２に示した構成と同じ構成には同じ符号を付す。
音声処理部４０は、マイク４１Ａと４１Ｂ、増幅回路４２Ａと４２Ｂ、アナログ・デジタル（Ａ／Ｄ）変換回路４３Ａと４３Ｂ、遅延回路４４及び音声信号処理回路４５を備える。
音声処理部４０におけるマイク４１Ａと４１Ｂは、動画記録を行う際に集音した音を変換し音信号を出力する。
増幅回路４２Ａと４２Ｂは、マイク４１Ａと４１Ｂが変換した音信号を所定の増幅率で増幅する。それぞれの増幅率は、制御部２０からの設定によって定められる。
Ａ／Ｄ変換回路４３Ａと４３Ｂは、増幅された音情報をデジタル信号に変換する。
【００２０】
また、マイク４１Ａと増幅回路４２ＡとＡ／Ｄ変換回路４３Ａとにより形成される第１の系統から第１デジタル音信号が出力される。マイク４１Ｂと増幅回路４２ＢとＡ／Ｄ変換回路４３Ｂとにより形成される第２の系統から第２デジタル音信号が出力される。
第１の系統のマイク４１Ａと増幅回路４２ＡとＡ／Ｄ変換回路４３Ａ、並びに、第２の系統のマイク４１Ｂと増幅回路４２ＢとＡ／Ｄ変換回路４３Ｂは、対となって構成され、それぞれが同じ特性であることが望ましい。
遅延回路４４は、第２の系統で集音された第２デジタル音信号を、設定される遅延時間に基づいて遅延処理して遅延デジタル信号を出力する。
音声信号処理回路４５は、第１デジタル音信号と遅延デジタル信号が入力され、２つの信号に設定された時間差を保持したままで差分処理を行う。音声信号処理回路４５は、差分処理された結果に基づいて信号再生処理を行って再生した再生信号を記録情報として出力する。記録情報は、制御部２０に入力され、メモリー制御部１６を介してメモリー１７に書き込まれるが、この図では音声信号処理回路４５で信号再生処理された再生信号がメモリー１７に記録されることを簡略化して示す。
【００２１】
図２に戻り、制御部２０について示す。
制御部２０は、不揮発メモリー１１に記憶されたプログラムに基づいてカメラ本体１００の各部の動作を制御するＣＰＵ（Central Processing Unit）などからなる。例えば、制御部２０は、操作検出回路１３に入力されるユーザーからの操作情報に応じて、カメラ本体１００への電源の投入、光学系駆動部２２０を介した光学系２１０の駆動制御、撮像素子制御回路７を介した撮像素子８の駆動制御、モニター制御回路１４を介したモニター１５の表示制御、撮像素子８で検出した被写体の撮影処理、音声処理部４０で集音する音情報の信号処理の制御を行う。
【００２２】
制御部２０は、画像処理部２１、表示制御部２２、撮影制御部２３、操作検出処理部２４、雑音除去制御部２５及び録音制御部２６を備える。
制御部２０における画像処理部２１は、撮像素子８の撮像領域内に捉えられ映像回路９に出力された画像信号を読み出し、読み出した画像信号に基づいて画像データを生成する画像処理を行う。画像処理部２１は、画像処理により生成した画像データをバッファメモリー１２に記憶させる。表示制御部２２は、画像処理部２１によって生成されバッファメモリー１２に記憶された画像データを一定時間間隔ごとに読み出し、読み出した画像データをリアルタイムにモニター１５に出力する。ここで、一定時間間隔とは、例えば１／６０秒であり、この場合、表示制御部２２によって１秒間に６０フレームの画像データがスルー画としてモニター１５に表示され、動画像としてメモリー１７に記録される。
【００２３】
撮影制御部２３は、ユーザーの操作入力に基づいた撮影処理を制御するための撮影処理開始指令又は撮影処理終了指令などの制御信号が操作検出回路１３から入力されることに応じて、各部に対して必要な制御信号を出力する。撮影制御部２３は、撮像処理開始命令が入力されると光学系２１０を駆動させ、画像データを生成する撮像処理を行う。撮影制御部２３は、予めユーザーから入力された撮影条件に応じて、光学系制御部２３０を介して光学系２１０のフォーカシング、露出制御、ズーミングなどの制御を行う。
【００２４】
操作検出処理部２４は、操作検出回路１３が検出したユーザーの操作情報を判定し、判定した情報をメモリーに記録するとともに、必要とされる各種処理の制御指示を出力する。例えば、ＡＦ操作手段１３ＡＦによりオートフォーカス（ＡＦ）操作を検出すると、レンズ鏡筒２００における光学系駆動部２２０のＡＦ制御を行うＡＦ制御用のモーターを駆動して光学系２１０を調整することによりＡＦ制御を行う。
【００２５】
雑音除去制御部２５は、操作検出処理部２４によって検出されたユーザーの操作情報に応じて、雑音とその雑音が発生する箇所を判定し、その雑音が低減するように音声処理部４０を制御する。
録音制御部２６は、雑音除去制御部２５に制御される音声処理部４０において雑音の低減処理された音情報を動画情報と関連付けを行ってメモリーに書き込み記録する。
【００２６】
本実施形態の雑音低減処理について示す。
雑音除去制御部２５の処理によって低減される雑音は、光学系２１０の制御を行うために光学系駆動部２２０が駆動されたときに振動を発生するアクチュエータ（モーターなど）の駆動音と、操作検出回路１３の入力部に内蔵される板ばねが入力操作に応じて反り返る際に発生する操作音などがある。これらの雑音は、どちらもユーザーの操作に応じて発生することが特徴である。この雑音が発生する場所と時刻は、操作検出回路１３の入力部で検出された信号に基づいて導くことができる。
【００２７】
ところで、被写体のように撮像装置１から離れた場所からの音は、マイク４１Ａと４１Ｂ間の距離に対して被写体の場所からマイク４１Ａと４１Ｂまでの距離の差が少ないことから、同時に到達するものとみなすことができる。
一方、操作検出回路１３の操作に応じて振動を発生する光学系駆動部２２０は、図１に示したようにマイク４１Ａと４１Ｂ間の距離（ｄ１−ｄ２）、に対し近い距離に配置されることから、光学系駆動部２２０が発する音がマイク４１Ａと４１Ｂで集音されるまでの音の伝播時間が異なる。
光学系駆動部２２０とマイク４１Ａと４１Ｂの配置に応じて、マイク４１Ａと４１Ｂに到達するまでの駆動音の伝播時間を予め定めることができる。雑音除去制御部２５は、この伝播時間の差を利用して、雑音として特定した駆動音を低減させる制御を行う。
【００２８】
図４は、本実施形態による雑音低減処理を示す図である。この図に示される波形は、マイク４１Ａと４１Ｂで変換した音の音圧レベルを模式化したものであり、縦軸が音圧レベルを示し、横軸が時間の経過を示す。
図４（ａ）と（ｂ）は、マイク４１Ａと４１Ｂで集音された音を示す波形ＳＡとＳＢである。同じ位相で示される低い周波数で連続する基本波形は、遠方の被写体からの音を模式化した波形である。図４（ａ）と（ｂ）の波形ＳＡとＳＢの基本波形にそれぞれ時刻ｔ２と時刻ｔ１に重畳した基本波形より高い周波数成分で示される１周期の波形は、基本波形と一緒に検出された共通の雑音の波形を示し、それぞれ雑音ＮａとＮｂとする。この図では、説明しやすくするために雑音ＮａとＮｂを１周期で示したが連続する波形であっても良い。
雑音を検出した時刻を比較すると、光学系駆動部２２０から遠くに配置されるマイク４１Ａで検出された雑音Ｎａは、近くに配置されるマイク４１Ｂで検出された雑音Ｎｂに比べると時間ｔｄだけ遅れて検出される。この遅延時間は、音源とマイクの配置で定められ、予め特定できる制御変数として音源を示す情報に対比して記憶領域に予め記憶させておくことができる。
【００２９】
図４（ｃ）は、図４（ｂ）の波形ＳＢを遅延回路４４によって時間ｔｄだけ遅延させた波形ＳＢ’である。この遅延処理により、雑音Ｎｂを時間ｔｄだけ遅延させた雑音Ｎｂ’が導かれる。雑音Ｎａと雑音Ｎｂの位相をそろえ、すなわち、雑音Ｎａと同じタイミングに調整された雑音Ｎｂ’として同期させることができる。なお、時間ｔｄは、雑音除去制御部２５からの指示に基づいた値である。
【００３０】
図４（ｄ）は、音声信号処理回路４５において、図４（ａ）の波形ＳＡで示す振幅レベルから、図４（ｃ）の波形ＳＢ’で示す振幅レベルを減算する減算処理により生成された差信号の波形ＳＣである。
この減算処理により導かれた差信号では、雑音Ｎａと雑音Ｎｂとが相殺されたことにより、雑音成分を含まない信号となる。この差信号は、減算処理により原信号の基本波形と異なる歪んだ波形となる。
図４（ｅ）は、図４（ｄ）に示した減算処理の波形ＳＣに基づいて、音声信号処理回路４５において再生処理を施した波形ＳＣ’を示す。前述の減算処理までの処理を打ち消す逆の特性を示す処理を施すことにより、再生処理を行うことができる。
【００３１】
このように、雑音が混入した場合であっても２つのマイクで得られた信号に含まれる雑音を相殺できれば、雑音を除去した原信号を再生することができる。
また、雑音が発生する場所によって異なる遅延時間で雑音が重畳する。遅延時間が異なっても、雑音が発生する場所を特定し、その場所に応じた遅延時間を設定できる。
例えば、上記にＡＦ機能を駆動した場合に発生する例を示したが、同じレンズ鏡筒２００内にあるほかの機能を駆動するアクチュエータが発生する雑音を低減する場合にも適用できる。駆動するアクチュエータの位置が異なることにより、遅延時間が異なる場合がある。そのような場合であっても、駆動するアクチュエータの位置は、操作検出回路１３が検出した情報と、レンズ鏡筒２００の構造によって特定することができる。
【００３２】
上記の手順にしたがい、具体的な雑音の低減処理の一例を示す。
ＡＦ機構を動作させない期間は、第２の系統にある遅延回路４４などの処理を行わず、マイク４１Ａからの音声を記録する。
ＡＦ機構を動作させる期間は、雑音発生位置に応じた遅延時間を遅延回路４４により雑音低減処理を行う。
制御部２０は、操作検出回路１３で検出された操作入力に応じて予め定められた遅延時間を導く。遅延時間は、制御部２０から参照可能な不揮発メモリー１１に、操作入力情報をキーとするテーブルとして記憶されている。
制御部２０は、遅延回路に導かれた遅延時間を設定するとともに、第２の系統を機能させ、音声信号処理回路４５により２系統の音声信号の演算処理を行わせる。音声信号処理回路４５の演算処理により導かれた結果を、制御部２０は、メモリー１７に音声信号として記録する。音声信号は、第２の系統の遅延処理を行った遅延時間分の時間がシフトされる。制御部２０は、その遅延時間を吸収する補正を行って記録することにより、遅延時間の影響を受けて音声が途切れることなく、連続した音声を記録できる。
また、音声信号は、映像信号と同期させて記録することも必要である。制御部２０は、映像信号と音声信号とを同期させ、関連付けて記録する。
【００３３】
また、制御部２０は、レンズ鏡筒２００からレンズ種別を示すレンズ種別情報を得て、カメラ本体１００に取り付けられているレンズ鏡筒２００の種類を特定できる。レンズ種別情報に応じて、発生する動作音の特徴を示す情報を登録しておき、レンズ種別情報をキーとして必要な情報を参照することにより、発生する動作音を特定することができる。その動作音の特徴を示す情報として、各アクチュエータの位置情報、アクチュエータが駆動された振動によって生じる動作音の変化を示す波形の情報、その周波数成分の情報、動作音の音圧レベルの情報などがある。その各アクチュエータの位置情報は、物理的な配置を示す情報のほかに、各アクチュエータからそれぞれのマイクまでの動作音の到達時間を示す情報や、到達時間の時間差を示す情報とすることもできる。
この到達時間や到達時間の時間差情報は、予め定める値とするほかに、アクチュエータを駆動させてマイクで集音される音を測定して、その測定値に基づいて登録した値とすることもできる。
【００３４】
制御部２０は、入力された操作を特定し、アクチュエータに対して制御信号を出力することから、そのアクチュエータが動作するときのタイミングを検出することができ、アクチュエータから動作音がそれぞれのマイクに到達する前に、雑音低減のための雑音低減処理を有効とするように切り換えることもできる。雑音低減処理中の集音は、２つのマイクを利用し、雑音低減処理を停止中の集音は、１つのマイクを利用することもできる。
【００３５】
なお、上記の実施形態では、２つのマイクで変換した信号の時間差を調整して減算する処理を設定することにより複数のマイクを用いて適応的に集音された音に含まれる雑音を除去する。また、雑音処理の演算方法にAMNOR（Adaptive Microphone array for NOise Reduction）と呼ばれる手法がある。信号処理回路４５による雑音低減処理は、AMNOR法を用いて処理することもできる。
【００３６】
（第２実施形態）
以下、本発明の異なる実施形態について、図面を参照して説明する。
図５は、本実施形態による撮像装置１ａの外観図である。この図（ａ）と（ｂ）は、撮像装置１ａの上面と正面を示す。図１と同じ構成には同じ符号を付す。
撮像装置１ａは、カメラ本体１００ａと、カメラ本体１００ａに着脱可能なレンズ鏡筒２００を備えている。レンズ鏡筒２００は、カメラ本体１００ａの正面に設けられたレンズ・マウントを介して取り付けられる。
また、カメラ本体１００の正面と背面には、マイク４１Ａａとマイク４１Ｂａが設けられる。マイク４１Ａａとマイク４１Ｂａは、レンズ鏡筒２００のレンズ光軸と略平行な直線上に設けられる。すなわち、マイク４１Ａａとマイク４１Ｂａは、レンズ鏡筒２００の光軸から同じ距離ｄ１に配置される。
【００３７】
第２実施形態で示す撮像装置１ａでは、図１の撮像装置１とマイクの配置が異なるが、雑音処理のための構成は、図２、図３に示した構成を参照することができる。
カメラ本体１００ａ、音声処理部４０ａ、マイク４１Ａａと４１Ｂａは、カメラ本体１００、音声処理部４０、マイク４１Ａと４１Ｂと読み替えることができる。
動作音が２つのマイクに到達する音圧レベルが異なる場合には、増幅回路４２Ａと４２Ｂの増幅率を検出される音圧レベルに応じて設定する。増幅率を異なる値に設定することにより、２つの信号の遅延時間と雑音の振幅を合わせて合成することが必要になる。
遅延回路４４の遅延時間を、含まれる雑音の時間が合うように適正な値に設定することは変わらない。雑音が除去された差信号から再生する処理では、所望の音が２つのマイクで集音される時刻に時間差があり、その時間差を再生処理の変数として設定する。
【００３８】
（第３実施形態）
以下、本発明の異なる実施形態について、図面を参照して説明する。
図６は、本実施形態による撮像装置１における異なる利用形態を示す概略ブロック図である。この図は、モード設定などの選択操作を行うときの主な構成を示す。図１、図２、図３に示した構成と同じ構成には同じ符号を付す。
【００３９】
操作検出処理部２４（図１）は、例えば、セレクタボタン１３ＳＥＬの操作により選択入力操作を検出すると、検出された操作の情報をメモリーに記録する。操作検出処理部２４は、操作されたセレクタボタン１３ＳＥＬを特定する。操作されたセレクタボタン１３ＳＥＬは、板ばねを内部に備えることから、操作によって板ばねが反応して反り返りが生じる。その振動は、カメラ本体１００ａ全体に伝わり、その振動がマイク４１Ａａと４１Ｂａによって検出される。
【００４０】
この実施形態では、操作入力に応じて駆動されるアクチュエータがないため、その駆動音は発生しないが、操作入力の操作による振動が雑音発生源となる形態を示す。
発生する雑音は、カメラ本体１００ａを伝わって２つのマイクで集音される。雑音がそれぞれのマイクで集音されるまでの時間差を、遅延回路４４ａの遅延時間に設定して、第１実施形態のように、操作入力の検出に応じて雑音低減処理に切り換える。
【００４１】
なお、第１から第３の実施形態に以下に示す処理を付加することにより雑音低減効果を高めることができる。
音声信号処理回路４５は、駆動音及び操作音の時間に応じて変化する波形、周波数成分、音圧情報の少なくとも１つの特徴情報に基づいてそれぞれのマイクで集音された音情報から低減処理をする。駆動音及び操作音の時間に応じて変化する波形、周波数成分、音圧情報は、予め設定可能な特徴情報であり、不揮発メモリー１１などに記憶され、制御部２０から参照される。
それぞれのマイクで集音される雑音を、上記の特徴情報と比較することにより、雑音が含まれる時刻の特定を行うことができる。特定された時刻に基づいて遅延時間を導いて、予めテーブルに記憶しておく遅延時間情報とすることができる。
【００４２】
なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。本発明の撮像装置における、音声信号処理機能は遅延時間の調整を一方の信号を遅延させるものとして示したが、含まれる雑音の位相を合わせることができればよく、相対的に差がなくなるように時間シフトさせることで代用できる。
また、光学系駆動部２２０がＡＦ機構を駆動する形態を示したが、駆動される対象は、光学系２１０を制御する手ブレを補正する手ブレ補正機構、ズーム機構であっても良い。さらにＡＦ機構を駆動するアクチュエータ（モーター）をカメラ本体１００内に設け、機械的に駆動するカプリング駆動を行う形態であっても良い。それぞれの形態に合わせた遅延時間が予め不揮発メモリー１１などに記憶され、その遅延時間が設定されるものとする。
また、駆動音及び操作音の時間に応じて変化する波形、周波数成分、音圧情報などの特徴情報は、不揮発メモリー１１などに記憶されるとしたが、レンズ鏡筒２００内の光学系制御部２３０内の記憶部に記憶する形態であってもよい。
【００４３】
なお、本発明の実施形態において、撮像装置１は、マイク４１Ａが、周囲の音を検出して第１音情報を出力する。マイク４１Ａと異なるマイク４１Ｂは、その音を検出して第２音情報を出力する。音声信号処理回路４５は、第１音情報と第２音情報とを用いて、第１音情報と第２音情報とに含まれる共通の雑音信号を除去して、その音に対応した一つの音信号を生成する。
【００４４】
また、上記の実施形態において、音声信号処理回路４５は、第１音情報に含まれる雑音信号と第２音情報に含まれる雑音信号との時間軸上の相違量と、第１音情報に含まれる音と第２音情報に含まれる音との時間軸上の相違量との差に基づいて、雑音信号を除去する。
また、上記の実施形態において、音声信号処理回路４５は、第１音情報に含まれる雑音信号と第２音情報に含まれる雑音信号とが同期するように、第１音情報と第２音情報とを相対的に時間シフトさせて雑音信号を除去する。
【００４５】
また、上記の実施形態において、光学系駆動部２２０は、雑音信号となる雑音を発生させる。音声信号処理回路４５は、光学系駆動部２２０の位置情報に応じて第１音情報と第２音情報とを相対的に時間シフトさせる。
また、上記の実施形態において、光学系駆動部２２０の位置情報は、光学系駆動部２２０から雑音がマイク４１Ａに到達するまでの伝播時間と、光学系駆動部２２０から雑音がマイク４１Ｂに到達するまでの伝播時間との差に基づく情報である。
【００４６】
また、上記の実施形態において、雑音信号は、撮像装置１の動作による動作音に基づくものである。音声信号処理回路４５は、動作の開始又は停止の少なくとも一方に基づいて、雑音信号を除去する。
また、上記の実施形態において、信号処理部は、予め設定された、雑音信号の波形、周波数成分、音圧情報の少なくとも一つに基づいて、雑音信号を除去する。
【００４７】
また、上記の実施形態において、マイク４１Ａとマイク４１Ｂとは、撮像装置１のレンズ光軸に対して略垂直な面内に配置され、レンズ光軸からマイク４１Ａまでの距離と、レンズ光軸からマイク４１Ｂまでの距離とが異なる。
また、上記の実施形態において、レンズ光軸に対して略垂直な面内において、レンズ光軸とマイク４１Ａとマイク４１Ｂとは一つの直線上に順番に配置される。
【００４８】
なお、雑音検出用のマイクをレンズ鏡筒内に設ける場合、レンズ鏡筒からカメラ本体に雑音情報を伝送する必要があり、レンズ・マウントを変更する必要があるが、上記実施形態によれば、マイクをレンズ鏡筒内に設けないため、既存のレンズ・マウントを変更せずにそのまま利用することができる。そして、本実施形態に示したように、レンズ鏡洞内に雑音源が含まれる場合であっても、マイクをレンズ鏡筒内に配置しないため、既存の交換レンズを利用する場合にも適用できる。雑音源の位置情報がレンズ鏡筒から出力されない場合では、カメラ本体の不揮発メモリー１１などに対応する遅延時間の情報を予め設定することにより、同じように利用することができる。
【符号の説明】
【００４９】
１ 撮像装置
１００ カメラ本体
４１Ａ、４１Ｂ マイク
４４ 遅延処理回路
４５ 音声信号処理回路
【特許請求の範囲】
【請求項１】
周囲の音を検出して第１音情報を出力する第１集音部と、
前記音を検出して第２音情報を出力する、前記第１集音部とは異なる第２集音部と、
前記第１音情報と前記第２音情報とを用いて、前記第１音情報と前記第２音情報とに含まれる共通の雑音信号を除去して、前記音に対応した一つの音信号を生成する信号処理部と
を備える撮像装置。
【請求項２】
前記信号処理部は、
前記第１音情報に含まれる前記雑音信号と前記第２音情報に含まれる前記雑音信号との時間軸上の相違量と、前記第１音情報に含まれる前記音と前記第２音情報に含まれる前記音との時間軸上の相違量との差に基づいて、前記雑音信号を除去する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記信号処理部は、
前記第１音情報に含まれる前記雑音信号と前記第２音情報に含まれる前記雑音信号とが同期するように、前記第１音情報と前記第２音情報とを相対的に時間シフトさせて前記雑音信号を除去する
ことを特徴とする請求項１又は請求項２に記載の撮像装置。
【請求項４】
前記雑音信号となる雑音を発生させる雑音発生部
を備え、
前記信号処理部は、
前記雑音発生部の位置情報に応じて前記第１音情報と前記第２音情報とを相対的に時間シフトさせる
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記雑音発生部の位置情報は、
前記雑音発生部から前記雑音が前記第１集音部に到達するまでの伝播時間と、前記雑音発生部から前記雑音が前記第２集音部に到達するまでの伝播時間との差に基づく情報である
ことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記雑音信号は、
前記撮像装置の動作による動作音に基づくものであり、
前記信号処理部は、
前記動作の開始又は停止の少なくとも一方に基づいて、前記雑音信号を除去する
ことを特徴とする請求項１から請求項５のいずれか一項に記載の撮像装置。
【請求項７】
前記信号処理部は、
予め設定された、前記雑音信号の波形、周波数成分、音圧情報の少なくとも一つに基づいて、前記雑音信号を除去する
ことを特徴とする請求項１から請求項６のいずれか一項に記載の撮像装置。
【請求項８】
前記第１集音部と前記第２集音部とは、
前記撮像装置のレンズ光軸に対して略垂直な面内に配置され、
前記レンズ光軸から前記第１集音部までの距離と、前記レンズ光軸から前記第２集音部までの距離とが異なる
ことを特徴とする請求項１から請求項７のいずれか一項に記載の撮像装置。
【請求項９】
前記レンズ光軸に対して略垂直な面内において、前記レンズ光軸と前記第１集音部と前記第２集音部とは一つの直線上に順番に配置される
ことを特徴とする請求項８に記載の撮像装置。
【請求項１】
周囲の音を検出して第１音情報を出力する第１集音部と、
前記音を検出して第２音情報を出力する、前記第１集音部とは異なる第２集音部と、
前記第１音情報と前記第２音情報とを用いて、前記第１音情報と前記第２音情報とに含まれる共通の雑音信号を除去して、前記音に対応した一つの音信号を生成する信号処理部と
を備える撮像装置。
【請求項２】
前記信号処理部は、
前記第１音情報に含まれる前記雑音信号と前記第２音情報に含まれる前記雑音信号との時間軸上の相違量と、前記第１音情報に含まれる前記音と前記第２音情報に含まれる前記音との時間軸上の相違量との差に基づいて、前記雑音信号を除去する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記信号処理部は、
前記第１音情報に含まれる前記雑音信号と前記第２音情報に含まれる前記雑音信号とが同期するように、前記第１音情報と前記第２音情報とを相対的に時間シフトさせて前記雑音信号を除去する
ことを特徴とする請求項１又は請求項２に記載の撮像装置。
【請求項４】
前記雑音信号となる雑音を発生させる雑音発生部
を備え、
前記信号処理部は、
前記雑音発生部の位置情報に応じて前記第１音情報と前記第２音情報とを相対的に時間シフトさせる
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記雑音発生部の位置情報は、
前記雑音発生部から前記雑音が前記第１集音部に到達するまでの伝播時間と、前記雑音発生部から前記雑音が前記第２集音部に到達するまでの伝播時間との差に基づく情報である
ことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記雑音信号は、
前記撮像装置の動作による動作音に基づくものであり、
前記信号処理部は、
前記動作の開始又は停止の少なくとも一方に基づいて、前記雑音信号を除去する
ことを特徴とする請求項１から請求項５のいずれか一項に記載の撮像装置。
【請求項７】
前記信号処理部は、
予め設定された、前記雑音信号の波形、周波数成分、音圧情報の少なくとも一つに基づいて、前記雑音信号を除去する
ことを特徴とする請求項１から請求項６のいずれか一項に記載の撮像装置。
【請求項８】
前記第１集音部と前記第２集音部とは、
前記撮像装置のレンズ光軸に対して略垂直な面内に配置され、
前記レンズ光軸から前記第１集音部までの距離と、前記レンズ光軸から前記第２集音部までの距離とが異なる
ことを特徴とする請求項１から請求項７のいずれか一項に記載の撮像装置。
【請求項９】
前記レンズ光軸に対して略垂直な面内において、前記レンズ光軸と前記第１集音部と前記第２集音部とは一つの直線上に順番に配置される
ことを特徴とする請求項８に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−１００７３（Ｐ２０１１−１００７３Ａ）
【公開日】平成２３年１月１３日（２０１１．１．１３）
【国際特許分類】
【出願番号】特願２００９−１５２０５１（Ｐ２００９−１５２０５１）
【出願日】平成２１年６月２６日（２００９．６．２６）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２３年１月１３日（２０１１．１．１３）
【国際特許分類】
【出願日】平成２１年６月２６日（２００９．６．２６）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]