動作タイミング判定装置、撮像装置およびプログラム
【課題】動作部によりノイズが発生したタイミングをより正確に判定すること。
【解決手段】構成部材の動作状態に応じた信号を出力するエンコーダと、前記動作検出部からの検出結果に基づき、予め決められた判定期間内において、予め決められた回数以上のパルス信号が前記動作検出部から出力されたか否かを判定し、前記判定期間内において前記回数以上のパルス信号の出力があったと判定された場合、前記構成部材が動作していると判定する動作タイミング判定部とを備えることを特徴とする。
【解決手段】構成部材の動作状態に応じた信号を出力するエンコーダと、前記動作検出部からの検出結果に基づき、予め決められた判定期間内において、予め決められた回数以上のパルス信号が前記動作検出部から出力されたか否かを判定し、前記判定期間内において前記回数以上のパルス信号の出力があったと判定された場合、前記構成部材が動作していると判定する動作タイミング判定部とを備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動作タイミング判定装置、撮像装置およびプログラムに関する。
【背景技術】
【０００２】
例えば、音声記録中のモータの制御信号を取得し、当該制御信号からモータによる雑音情報を算出し、算出された雑音情報を音声情報から除去する撮像装置がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２３３９５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、モータが実際に動作するタイミングは、制御信号が出力されるタイミングとずれる場合がある。この場合、モータによってノイズが発生したタイミングを正確に判定することができない。よって、制御信号に基づきノイズを除去した場合、ノイズ以外の音信号まで低減させてしまい、目的音の音質が劣化する問題がある。
【０００５】
本発明は、前記の点に鑑みてなされたものであり、構成部材が動作するタイミングをより正確に判定する動作タイミング判定装置、撮像装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一実施形態に係る動作タイミング判定装置は、上記の課題を解決するためになされたものであり、構成部材の動作状態に応じた信号を出力する動作検出部と、前記動作検出部からの検出結果に基づき、予め決められた判定期間内において、予め決められた回数以上のパルス信号が前記動作検出部から出力されたか否かを判定し、前記判定期間内において前記回数以上のパルス信号の出力があったと判定された場合、前記構成部材が動作していると判定する動作タイミング判定部とを備える。
【発明の効果】
【０００７】
本発明によれば、動作部によりノイズが発生したタイミングをより正確に判定することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係る撮像装置の構成の一例を示すブロック図である。
【図２】本発明の実施形態に係る動作状態検出対象部材の動作タイミングと音信号との関係の一例を説明するための参考図である。
【図３】図２に示す音信号について詳細に説明するための参考図である。
【図４】本発明の実施形態に係るズームエンコーダの出力の一例を説明するための図である。
【図５】図４に示すズームエンコーダの出力を詳細に説明するための図である。
【図６】本発明の実施形態に係るフォーカスエンコーダの出力の一例について説明するための図である。
【図７】本発明の実施形態に係るマルチセレクターの出力の一例について説明するための図である。
【図８】本発明の実施形態に係る撮像装置に搭載される記録装置の構成の一例を示す図である。
【図９】本発明の実施形態に係るフォーカスエンコーダの出力と動作タイミングとの関係を示す図である。
【図１０】本発明の実施形態に係る記録制御部が記録媒体に書き込む情報の一例を示す図である。
【図１１】本発明の実施形態に係る記録制御部が情報を書き込むファイルの一例を示す図である。
【図１２】本発明の実施形態に係る記録制御部が情報を書き込むファイルの他の例を示す図である。
【図１３】ノイズ低減処理部の構成の一例を示す図である。
【図１４】ノイズ低減制御情報の一例を示す図である。
【図１５】動作状態検出対象部材が動作した期間を示す図である。
【図１６】発明の第１実施形態に係る動作状態検出対象部材の動作タイミングと音信号との関係の一例を説明するための参考図である。
【図１７】本発明に係るノイズ情報記録処理方法の一例を示すフローチャートである。
【図１８】本発明に係るノイズ低減処理方法の一例を示すフローチャートである。
【図１９】ＣＰＵ１９０の顔認識の結果とノイズ低減処理について説明する。
【図２０】本発明に係る記録制御部１９４を備える交換レンズの一例を示す図である。
【図２１】本発明の実施形態に係る衝撃音ノイズ低減処理部が取得する第１周波数スペクトルと第２周波数スペクトルの一例を説明するための図である。
【図２２】図１５に示した各周波数スペクトルの周波数成分の一例を示す図である。
【図２３】本発明の実施形態に係る衝撃音ノイズ低減処理の一例について説明するための図である。
【図２４】本発明の本実施形態に係るノイズ低減処理方法の一例について説明するためのフローチャートである。
【図２５】本発明の本実施形態に係るタイミング判定方法の一例について説明するための図である。
【発明を実施するための形態】
【０００９】
［第１実施形態］
本発明の実施形態について図面を参照して詳細に説明する。図１には、本実施形態に係る撮像装置の構成を示すブロック図が示されている。
本実施形態に係る撮像装置は、構成部材の動作状態に応じた信号を検出し、この検出した信号に基づき、構成部材が動作したか否かを判定する。この構成部材が動作したか否かの判定結果としては、以下のようなさまざまな結果内容を取得することができる。
例えば、本実施形態に係る撮像装置は、構成部材が動作している状態であるか、あるいは、構成部材が停止している状態であるかを判定するものであってもよい。
また、本実施形態に係る撮像装置は、構成部材の動作状態が変化した動作タイミングを判定するものであってもよい。この動作タイミングとは、静止中の構成部材が動作を開始したタイミング、動作中の構成部材が動作を停止したタイミング、あるいは、動作中の構成部材の動作内容が変化したタイミングを示す。
なお、本実施形態では、構成部材が動作したことを示す情報として、構成部材の動作状態が変化した動作タイミングを検出する例について以下説明する。しかし、本願発明はこれに限られず、種々の方法により、構成部材が動作したか否かを判定するものである。
【００１０】
本実施形態において、動作状態を検出する対象である構成部材は、撮像装置１００を構成する構成部材であって、例えば、フォーカスレンズ、ＶＲレンズ、ズームレンズ、絞り機構等の光学系構造部材と、撮像装置の操作ボタン、シャッターボタン、開閉式のストロボ等の操作系構造部材と、撮像装置の筐体等の固定系構造部材とである。なお、これら光学系構造部材、操作系構造部材、および固定系構成部材を、以下、動作状態検出対象部材という。
光学系構造部材は、撮影時の条件に応じて撮像装置自身によって自動的に動作させられる場合（以下、オート動作という）と、ユーザが手動により動作させられる場合（以下、マニュアル動作という）とがある。いずれの場合も、動作による機械音（ノイズ）が発生する。
操作系構造部材は、ユーザの操作によって動作させられる。この場合、ボタン等が押下されたことによる動作音（ノイズ）が発生したり、ストロボが開閉したことによる動作音（ノイズ）が発生する。また、ストロボを発光させるための充電器が作動したことによる音（ノイズ）が発生する。
固定系構造部材は、ユーザの手や洋服等が撮像装置の筐体に接触することによる摩擦音（ノイズ）が発生する。また、撮像装置の筐体をぶつけることによっても音（ノイズ）が発生する。
本実施形態に係る撮像装置は、上述の動作状態検出対象部材の動作状態が変化したタイミングを判定し、これら動作状態検出対象部材の動作によるノイズの発生タイミングを検出する。
【００１１】
次に、図１を参照して、本実施形態に係る撮像装置１００の構成の一例について説明する。
図１に示す通り、撮像装置１００は、撮像部１１０と、バッファメモリ１３０と、画像処理部１４０と、表示部１５０と、記録部１６０と、通信部１７０と、操作部１８０と、ＣＰＵ１９０と、加速度センサー２１０と、計時部２２０と、マイク２３０と、Ａ/Ｄ変換部２４０と、低減処理部２５０と、電池２６０と、ストロボ２７０とを備える。この撮像装置１００は、通信部１７０を介して外部構成である記録媒体２００に対して、データの読み出し、あるいは、書き込みを行う。
本実施形態に係る撮像装置１００において、動作状態検出対象部材の動作状態を示す動作状態情報を検出する動作検出部は、例えば、加速度センサー２１０や撮像部１１０内に搭載されているエンコーダである。なお、この動作検出部については、後述する。
【００１２】
撮像装置１００は、撮像部１１０が撮像した画像データと、マイク２３０が収音したマイク音信号とを記録媒体２００に記録するとともに、動作状態検出対象部材の動作状態が変化したタイミングを示す動作タイミング情報とを記録部２００に記録する記録装置である。この撮像装置１００は、画像データを連続的に撮像して、動画データを撮影することができる。
本実施形態において、このように、画像データ（あるいは動画データ）、マイク音信号、および動作タイミング情報を記録媒体２００に記録する記録装置は、撮像装置１００に組み込まれているものとして説明する。しかし、本発明はこれに限られず、撮像装置本体から着脱可能な別構成の記録装置であってもよく、撮像装置本体から着脱可能な撮像部１１０に搭載されるものであってもよい。また、本実施形態において、低減処理部２５０は、撮像装置１００に内蔵されている例について説明するが、本発明はこれに限られず、撮像装置１００の外部装置であってもよい。さらに、記録媒体２００は、撮像装置１００に対して着脱可能な媒体であるが、本発明はこれに限られず、撮像装置１００に内蔵されているものであってもよい。
【００１３】
また、本実施形態に係るノイズ低減処理部２５０は、動作状態検出対象部材が動作することによって発生する動作音（ノイズ）を低減するためのノイズ低減処理を実行する。
例えば、撮像装置１００が、フォーカスレンズを動作されるＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）やＭＦ（Ｍａｎｕａｌ Ｆｏｃｕｓ）のフォーカス処理において、モータやフォーカスレンズが動くことによる動作音（ノイズ）が発生する。また、モータが回転方向を切り換えた場合、一時的に大きい音のノイズが発生する。
このように、動作状態検出対象部材である光学系やモータが動作した場合あるいは動作状態が変化した場合に、一時的に発生する大きい音を衝撃音という。一方、この衝撃音よりも小さく、動作状態検出対象部材である光学系やこの動作状態検出対象部材を動作させる構成部材であるモータが動いている状態において発生する音を駆動音という。つまり、駆動音は、衝撃音以外のノイズである。
また、撮像装置１００が、ズームレンズを動作させるズーム処理において、モータやズームレンズが動くことによる動作音（ノイズ）が発生する。なお、ズーム処理においては、衝撃音は発生しない。
本実施形態に係る低減処理部２５０は、少なくとも駆動音によるノイズを低減する駆動音ノイズ低減処理を実行するとともに、動作状態検出対象部材の種類に応じて、衝撃音によるノイズを低減する衝撃音ノイズ低減処理を実行する。
このノイズ低減処理部２５０は、外部装置に設けられているものであってもよい。
【００１４】
次に、撮像装置１００の各構成について詳細に説明する。
撮像部１１０は、光学系１１１と、撮像素子１１９と、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部１２０と、レンズ制御部１２１と、バッファメモリ部１２２と、通信部１２３とを備える。
この光学系１１１は、手動により、ユーザによって操作可能である。つまり、光学系１１１は、ＣＰＵ１９０による制御によって動作するとともに、ユーザの操作によって動作する。光学系１１１は、オート動作において、設定される撮像条件（例えば絞り値、露出値等）に応じて予め決められた動作パターンに従って、ＣＰＵ１９０により動作が制御される。一方、マニュアル動作において、光学系１１１は、操作によって変更された撮像条件に応じて動作する。
この撮像部１１０は、光学系１１１による光学像を撮像素子１１９に結像させて、Ａ／Ｄ変換部１２０によってデジタル信号に変換された光学像に基づく画像データを生成する。
【００１５】
光学系１１１は、焦点調整レンズ（以下、「フォーカスレンズ」という）１１２と、手ブレ補正レンズ（以下、「ＶＲ（Ｖｉｂｒａｔｉｏｎ Ｒｅｄｕｃｔｉｏｎ）レンズ」という）１１３と、ズームレンズ１１４と、ズームエンコーダ１１５と、レンズ駆動部１１６と、フォーカスエンコーダ１１７と、手ブレ補正部１１８とを備える。
これら光学系１１１の各構成は、オート動作において、ＣＰＵ１９０による焦点調整処理、手ブレ補正処理、およびズーム処理において、それぞれの動作パターンに従って、駆動する。また、マニュアル動作において、光学系１１１は、操作によって変更された撮像条件に応じて動作する。つまり、光学系１１１は、撮像装置１００における動作状態検出対象部材である。また、ズームレンズ１１４およびズームエンコーダ１１５は、動作状態検出対象部材の動作状態を検出する動作検出部である。
【００１６】
この光学系１１１は、ズームレンズ１１４から入射し、ズームレンズ１１４、ＶＲレンズ１１３、フォーカスレンズ１１２の順番で通過した光学像を、撮像素子１１９の受光面に導く。
レンズ駆動部１１６は、フォーカスレンズ１１２およびズームレンズ１１４の位置を制御するための駆動制御信号（コマンド）をＣＰＵ１９０から入力する。このレンズ駆動部１１６は、入力する駆動制御信号に応じて、フォーカスレンズ１１２およびズームレンズ１１４の位置を制御する。
つまり、この駆動制御信号がＣＰＵ１９０からレンズ駆動部１１６に入力されてレンズ駆動部１１６が駆動することにより、フォーカスレンズ１１２およびズームレンズ１１４が移動（動作）する。
【００１７】
ズームエンコーダ１１５は、ズームレンズ１１４の位置を表わすズームポジションを検出し、ＣＰＵ１９０に出力する。このズームエンコーダ１１５は、ズームレンズ１１４の移動を検出し、例えば、ズームレンズ１１４が光学系１１１内を移動している場合にパルス信号をＣＰＵ１９０に出力する。一方、停止している場合、ズームエンコーダ１１５は、パルス信号の出力を停止する。
【００１８】
フォーカスエンコーダ１１７は、フォーカスレンズ１１２の位置を表わすフォーカスポジションを検出し、ＣＰＵ１９０に出力する。このフォーカスエンコーダ１１７は、フォーカスレンズ１１２の移動を検出する。
【００１９】
なお、ズームエンコーダ１１５は、ズームポジションを検出するために、ズームレンズ１１４の駆動方向を検出するものであってもよい。また、フォーカスエンコーダ１１７は、フォーカスポジションを検出するために、フォーカスレンズ１１２の駆動方向を検出するものであってもよい。
例えば、ズームレンズ１１４やフォーカスレンズ１１２は、レンズ駆動部１１６によって駆動される駆動機構（例えばモータやカム等）が時計回り（ＣＷ）あるいは反時計回り（ＣＣＷ）に回転することにより光軸方向に移動する。ズームエンコーダ１１５およびフォーカスエンコーダ１１７は、それぞれ、駆動機構の回転方向（ここでは、時計回りあるいは反時計回り）を検出することよって、ズームレンズ１１４およびフォーカスレンズ１１２が移動していることを検出するものであってもよい。
【００２０】
手ブレ補正部１１８は、例えば振動ジャイロ機構を備え、光学系１１１による像の光軸ぶれを検出し、この光軸ぶれを打ち消す方向にＶＲレンズ１１３を動かす。この手ブレ補正部１１８は、例えばフォーカスレンズ１１２を動かしている状態においてハイレベルの信号をＣＰＵ１９０に出力する。一方、フォーカスレンズ１１２を停止させている状態において、手ブレ補正部１１８は、ローレベルの信号をＣＰＵ１９０に出力する。
【００２１】
撮像素子１１９は、例えば、光電変換面を備え、その受光面に結像した光学像を電気信号に変換して、Ａ／Ｄ変換部１２０に出力する。
この撮像素子１１９は、操作部１８０を介して撮影指示を受け付けた際に得られる画像データを、静止画又は動画の画像データとして、Ａ／Ｄ変換部１２０を介して記録媒体２００に記録させる。一方、撮像素子１１９は、操作部１８０を介して撮像指示を受け付けていない状態において、連続的に得られる画像データをスルー画データとして、Ａ／Ｄ変換部１２０を介してＣＰＵ１９０および表示部１５０に出力する。
【００２２】
Ａ／Ｄ変換部１２０は、撮像素子１１９によって変換された電気信号をデジタル化して、デジタル信号である画像データをバッファメモリ部１３０に出力する。
レンズ制御部１２１は、ズームエンコーダ１１５とフォーカスエンコーダ１１７からの出力をバッファメモリ部１２２に一時的に記憶する設定がなされている場合、ズームエンコーダ１１５とフォーカスエンコーダ１１７からの出力に、計時部２２０によって計時される時間情報を関連付けてバッファメモリ部１２２に記録する。
バッファメモリ部１２２は、ズームエンコーダ１１５とフォーカスエンコーダ１１７からの出力に時間情報を関連付けた情報を一時的に記録する。
通信部１２３は、定期的に、バッファメモリ部１２２に記録されている情報を読み出して、記録部１６０に記録する。
【００２３】
バッファメモリ部１３０は、撮像部１１０によって撮像された画像データ（あるいは動画データ）を、一時的に記録する。また、バッファメモリ部１３０は、マイク２３０が収音したマイク検出音に応じたマイク音信号を、一時的に記録する。なお、バッファメモリ部１３０は、マイク検出音が収音された時刻と、バッファメモリ部１３０における位置とを対応付けて、マイク検出音に応じたマイク音信号を記録してもよい。
【００２４】
画像処理部１４０は、記録部１６０に記録されている画像処理条件を参照して、バッファメモリ部１３０に一時的に記録されている画像データ（あるいは動画データ）に対して、画像処理をする。画像処理された画像データ（あるいは動画データ）は、通信部１７０を介して記録媒体２００に記録する。なお、画像処理部１４０は、記録媒体２００に記録されている画像データ（あるいは動画データ）に対して、画像処理をしてもよい。
【００２５】
表示部１５０は、例えば液晶ディスプレイであって、撮像部１００によって得られた画像データや操作画面等を表示する。
【００２６】
記録部１６０は、ＣＰＵ１９０によってシーン判定の際に参照される判定条件や、シーン判定によって判断されたシーン毎に対応付けられた撮像条件等を記録する。
【００２７】
通信部１７０は、カードメモリ等の取り外しが可能な記録媒体２００と接続され、この記録媒体２００への情報（画像データ、動画データ、あるいは音データ等）の書込み、読み出し、あるいは消去を行う。
【００２８】
操作部１８０は、マルチセレクター１８１と、マニュアル操作部１８２とを含む。
このマニュアルセレクター１８１は、例えば、電源スイッチ、シャッターボタン、セレクタキー（十字キー）、又はその他の操作キーを含み、ユーザによって操作されることでユーザの操作入力を受け付け、操作入力に応じた操作信号をＣＰＵ１９０に出力する。この操作部１８０は、ユーザによって押下される際、物理的な動作音を発生する場合がある。つまり、マルチセレクター１８１は、動作状態検出対象部材である。
【００２９】
マニュアル操作部１８２は、マニュアル動作によって動作するフォーカスレンズ１１２やズームレンズ１１４等をズーム調整やフォーカス調整を実行する際にユーザが動作させる構成である。このマニュアル操作部１８２は、例えば、撮像部１１０の鏡筒に取り付けられている。なお、マニュアル操作部１８２は、ユーザが当該マニュアル操作部１８２を動かすことによって、その動力が直接ズームレンズ１１４やフォーカスレンズ１１２を動かすものである。つまり、マルチセレクター１８１のように受け付けた操作に応じた操作信号を生成し、ＣＰＵ１９０に出力する構成ではない。言い換えると、ＣＰＵ１９０に入力する操作信号をモニタリングしているだけでは、このようなマニュアル動作によるズームレンズ１１４やフォーカスレンズ１１２の動作を検出することはできない。
【００３０】
ＣＰＵ１９０は、設定された撮像条件（例えば絞り値、露出値等）に応じた動作パターンに従って撮像部１１０を制御する。このＣＰＵ１９０は、ズームエンコーダ１１５から出力されるズームポジションおよびフォーカスエンコーダ１１７から出力されるフォーカスポジションに基づき、レンズ駆動部１１６を駆動する駆動制御信号を生成して、レンズ駆動部１１６に出力する。その生成アルゴリズムは、必要に応じて既存のアルゴリズムを適宜用いてよい。
【００３１】
記録媒体２００は、撮像装置１００に対して着脱可能に接続される記録部であって、例えば、撮像部１１０によって生成された（撮影された）画像データや動画データ、あるいは、低減処理部２５０により音信号処理された音信号を記録する。
【００３２】
バス２９０は、撮像部１１０と、バッファメモリ部１３０と、画像処理部１４０と、表示部１５０と、記録部１６０と、通信部１７０と、操作部１８０と、ＣＰＵ１９０と、加速度センサー２１０と、計時部２２０と、Ａ/Ｄ変換部２４０と、ノイズ低減処理部２５０と、ストロボ２７０と接続され、各構成部から出力されたデータ等を転送する。
【００３３】
加速度センサー２１０は、撮像装置１００における衝撃や振動を検出し、検出結果を示す出力をＣＰＵ１９０に出力する。
計時部２２０は、時間を計時して現時点に時間を示す時間情報を出力する。この計時部２２０は、一定間隔に出力されるクロックや音声サンプリングに使用するクロックをカウントして時間を計時するものであってもよく、日にちや時刻を計時して計時した日時を表わす日時情報を出力するものであってもよい。つまり、計時部２２０が計時した時間は、撮像部１１０によって撮影される動画データの撮影経過時間、マイク２３０によって収音される音声データの収音経過時間、および動作状態検出対象部材が動作した動作時間を一元的に管理する時間である。なお、この計時部２２０は、ＣＰＵ１９０に内蔵されている構成であってもよい。
【００３４】
マイク２３０は、周辺の音を収音し、この音のマイク音信号をＡ/Ｄ変換部２４０に出力する。このマイク２３０によって収音されるマイク検出音には、主に、収音対象である目的音と、動作状態検出対象部材による動作音（ノイズ）とが含まれている。
【００３５】
Ａ/Ｄ変換部２４０は、マイク２３０から入力されたアナログ信号であるマイク音信号をデジタル信号であるマイク音信号に変換する。このＡ/Ｄ変換部２４０は、デジタル信号であるマイク音信号を、低減処理部２５０に出力する。
また、Ａ/Ｄ変換部２４０は、デジタル信号であるマイク音信号を、バッファメモリ部１３０あるいは記録媒体２００に記録する構成であってもよい。
【００３６】
ノイズ低減処理部２５０は、Ａ／Ｄ変換部２４０によりデジタル信号に変換されたマイク音信号に対して、例えばフォーカスレンズ１１２、ＶＲレンズ１１３、ズームレンズ１１４等の動作部による動作音であるノイズを低減するなどのノイズ低減処理を実行し、このノイズ低減処理した音信号を記録媒体２００に記録する。
電池２６０は、撮像装置１００へ供給される電力を蓄電する。
ストロボ２７０は、例えば、開閉式の構造であって、発光する際には発光面が立ち上がるように開かれて、使用しない場合は閉じられて発光面は収納される。このストロボ２７０は、開閉動作の際に動作音（ノイズ）が発生する。また、発光の際に充電する充電音（ノイズ）が発生する。このストロボ２７０は、ＣＰＵ１９０と接続され、ＣＰＵ１９０から入力されるコマンドに従って動作する。
【００３７】
次に、マイク２３０によって取得されたマイク音信号について説明する、例えば、フォーカスレンズ１１２が動作された時に得られたマイク音信号の一例について、図２、３を参照して説明する。
図２（ａ）は、フォーカスエンコーダ１１７の出力と時間との関係の一例を示す。図２（ｂ）は、マイク音信号と時間の関係の一例を示す。なお、図２（ｂ）は、説明便宜のため、マイク音信号のうち、動作音の音信号のみを示し、目的音の音信号の図示を省略する。
【００３８】
図２（ａ）には、その縦軸に、フォーカスエンコーダ１１７出力から求めた、フォーカスレンズ１１２を駆動する駆動機構の回転方向を示す。
この焦点距離Ｐでピントを合わせるＡＦ処理を行う動作パターンでは、図２（ａ）に示す通り、フォーカスレンズ１１２を駆動する駆動機構が、時刻ｔ１１０〜ｔ１２０おいて、時計回りＣＷに回転して、その後、静止する。
つまり、時刻ｔ１１０は、フォーカスレンズ１１２の動作が開始したタイミングを、時刻ｔ１２０は、フォーカスレンズ１１２の動作が停止したタイミングを、それぞれ表わしている。なお、本実施形態において、動作が開始したタイミングの時刻ｔ１１０は、フォーカスレンズ１１２の動作が開始したことを示す信号をフォーカスエンコーダ１１７が出力したタイミングである。動作が停止したタイミングの時刻ｔ１２０は、動作中のフォーカスレンズ１１２の動作が停止したことを示す信号をフォーカスエンコーダ１１７が出力したタイミングである。
【００３９】
従って、図２（ｂ）に示す通り、時刻ｔ１１０〜ｔ１２０の期間で、マイク音信号にフォーカスレンズ１１２による動作音（ノイズ）が目的音に重畳している、又は、動作音（ノイズ）が目的音に重畳している可能性が高い。本実施形態においては、時刻ｔ１１０〜ｔ１２０の期間において、フォーカスレンズ１１２による動作音（ノイズ）が発生している場合について以下説明する。
また、図２（ｂ）に示す通り、時刻ｔ１１０、ｔ１２０においては、それぞれ衝撃音が発生している可能性が高い。本実施形態においては、時刻ｔ１１０、ｔ１２０において、フォーカスレンズ１１２による衝撃音が発生している場合について説明する。
【００４０】
また、衝撃音が発生した場合、その衝撃音が発生している可能性の高い時間は、各動作パターンに応じて予め決められている。例えば、焦点距離Ｐでピントを合わせるＡＦ処理を行う動作パターンでは、図３に示すような衝撃音の発生する時間、および当該衝撃音の音量が予め決められている。
図３は、焦点距離Ｐでピントを合わせるＡＦ処理を行う動作パターンでフォーカスレンズ１１２を駆動した際に、マイク２３０で収音されるマイク音信号の一例を示す。図３に示すグラフは、縦軸にマイク２３０によって収音された音信号を、横軸に時間を、それぞれ示す。なお、図３は、説明便宜のため、マイク２３０によって収音された音信号のうち、動作音（ノイズ）の音信号のみを示し、目的音の音信号の図示を省略する。
焦点距離Ｐでピントを合わせるＡＦ処理を行う動作パターンでは、時刻ｔ１１０〜ｔ１１１までの時間、および時刻ｔ１１９〜ｔ１２０までの時間が、それぞれ、衝撃音の発生する時間であると予め決められている。動作部が動作しない可能性の高い期間を非動作期間Ｔａとする。動作部の動作により衝撃音が発生する可能性の高い期間を衝撃音発生期間Ｔｂとする。動作部の動作により駆動音が発生する可能性の高い期間を駆動音発生期間Ｔｃとする。
時刻ｔ１１０以前の区間、ｔ１２０以降の区間が、非動作期間Ｔａである。時刻ｔ１１００〜ｔ１１１の区間、時刻ｔ１１９〜ｔ１２０の区間が、衝撃音発生期間Ｔｂである。時刻ｔ１１１〜ｔ１１９の区間が、駆動音発生期間Ｔｃである。
【００４１】
次に、図４〜７を参照して、動作状態検出対象部材の動作状態を検出する動作検出部の出力について説明する。この動作検出部の一例として、ズームエンコーダ１１５、フォーカスエンコーダ１１７、および操作部１８０の出力について説明する。なお、図４〜７に示す時間は、計時部２２０によって計時された時間である。
はじめに、図４を参照して、ズームエンコーダ１１５の検出結果について説明する。このズームエンコーダ１１５の検出結果は、ズームレンズ１１５から出力されるパルス信号に基づく判定されるズームレンズ１１４の動作を示す情報である。なお、このズームエンコーダ１１５の検出結果は、ズームエンコーダ１１５の出力であるパルス信号の組み合わせパターンに応じて予め決められており、例えば、ＣＰＵ１９０によって判定される。
図４（ａ）は、撮像部１１０によって撮像された撮影時間を示す。図４（ａ）に示すように、動画データが撮影された時間は、ｔ０〜ｔ１０までの時間である。なお、ｔ０〜ｔ１０までは、ｔ０からの経過時間を示す撮影経過時間を、例えば計時部２２０が計時する。この計時部２２０は、フレーム数や時刻等によって、撮影経過時間を計時する。なお、ｔ０は、撮影部１１０が撮影を開始したタイミングを示す。ｔ１０は、撮影部１１０が撮影を終了したタイミングを示す。
【００４２】
図４（ｂ）は、ズームエンコーダ１１５の検出結果と撮影経過時間との関係の一例を示す。図４（ｂ）に示すように、ｔ１０１〜ｔ１０６の期間でズームエンコーダ１１５は階段状の検出結果を出力している。つまり、このｔ１０１〜ｔ１０６において、ズームレンズ１１４が移動したことを示している。本実施形態において、ズームエンコーダ１１５の検出結果は、図５に示す通り、複数のズームポジション（焦点距離）ｆ１〜ｆ５を示す信号である。
図５は、ズームエンコーダ１１５の検出結果と焦点距離との関係を示す図である。図５において、実線は、ズームエンコーダ１１５の出力を示し、一点鎖線は、焦点距離を示す。
図５に示す通り、ｆ１が広角よりのズームポジション、ｆ５が遠望よりのズームポジションである。広角よりのズームポジションｆ１の方が、焦点距離が短い。望遠よりのズームポジションｆ５の方が、焦点距離が長い。
なお、ズームポジションは、説明便宜のため５段階に区分された値ｆ１〜ｆ５を例に説明するが、本発明はこれに限られず、５段階以上の値であってもよい。また、ズームポジションとは、ズームレンズ１１４の焦点距離範囲を複数個に分割した焦点距離を示す区分である。ズームレンズ１１４が移動すると、ズームエンコーダ１１５がズーム焦点距離範囲を示す信号を出力する。なお、ズームポジションｆ１〜ｆ５が変化するタイミング（動作状態変化タイミング）は、ｔ１０２〜ｔ１０５である。
【００４３】
ここで、図４に戻って、このｔ１０１は、ズームレンズ１１４が動作を開始したタイミングである。ｔ１０６は、ズームレンズ１１４が動作を停止したタイミングである。
なお、撮影開始時刻ｔ０とズームレンズ１１４が動作を開始したタイミングｔ１０１とは、ずれており、ズームレンズ１１４が動作を開始したタイミングｔ１０１の方が遅い。
図４（ｃ）は、マイク２３０の出力と撮影経過時間との関係の一例を示す。図４（ｃ）に示すように、ｔ１０１〜ｔ１０６の期間でノイズが重畳したマイク音信号を出力している。
【００４４】
次に、図６を参照して、フォーカスエンコーダ１１７の出力について説明する。
図６（ａ）は、撮像部１１０によって動画データが撮影された撮影時間を示す。図６（ａ）に示すように、撮影された時間は、ｔ０〜ｔ１０までの時間である。
図６（ｂ）は、フォーカスエンコーダ１１７の出力と撮影経過時間との関係の一例を示す。図６（ｂ）に示すように、ｔ１１０〜ｔ１２０の期間でパルス信号を出力している。つまり、このｔ１１０〜ｔ１２０において、フォーカスレンズ１１２が移動したことを示している。このｔ１１０は、フォーカスレンズ１１２が動作を開始したタイミングである。ｔ１２０は、フォーカスレンズ１１２が動作を停止したタイミングである。
なお、撮影開始時刻ｔ０とフォーカスレンズ１１２が動作を開始したタイミングｔ１１０とは、ずれており、フォーカスレンズ１１２が動作を開始したタイミングｔ１１０の方が遅い。
図６（ｃ）は、マイク２３０の出力と撮影経過時間との関係の一例を示す。図６（ｃ）に示すように、ｔ１１０〜ｔ１２０の期間でノイズが重畳したマイク音信号を出力している。
【００４５】
次に、図７を参照して、マルチセレクター１８１の出力について説明する。マルチセレクター１８１の出力は、このマルチセレクター１８１が出力する操作信号である。
図７（ａ）は、撮像部１１０によって撮像された撮影時間を示す。図７（ａ）に示すように、撮影された時間は、ｔ０〜ｔ１０までの時間である。
図７（ｂ）は、マルチセレクター１８１の出力と撮影経過時間との関係の一例を示す。図７（ｂ）に示すように、マルチセレクター１８１の出力である操作信号は、ｔ２１０〜ｔ２２０、ｔ２３０〜ｔ２４０の期間で出力している。つまり、このｔ２１０〜ｔ２２０、ｔ２３０〜ｔ２４０の期間において、マルチセレクター１８１が操作されたことを示している。このｔ２１０、ｔ２３０は、マルチセレクター１８１が動作を開始したタイミングを示す。ｔ２２０、ｔ２４０は、マルチセレクター１８１の動作が終了したタイミングを示す。
なお、撮影開始時刻ｔ０とマルチセレクター１８１が動作を開始したタイミングｔ２１０、ｔ２３０とは、ずれている。
図７（ｃ）は、マイク２３０の出力と撮影経過時間との関係の一例を示す。図７（ｃ）に示すように、ｔ２１０〜ｔ２２０、ｔ２３０〜ｔ２４０の期間でノイズが重畳したマイク音信号を出力している。
【００４６】
次に、図８を参照して、本実施形態に係る撮像装置１００の動作タイミング情報の記録装置としての機能について説明する。
図８は、撮像装置１００に搭載される記録装置としての最小限の構成の一例を示す図である。
図８に示す通り、撮像装置１００に搭載される記録装置は、動作検出部３００と、ＣＰＵ１９０と、計時部２２０とを備える。
動作検出部３００は、ズームエンコーダ１１５と、フォーカスエンコーダ１１７と、マルチセレクター１８１とを含み、動作状態検出対象部材の動作状態を示す動作情報をＣＰＵ１９０に出力する。この動作情報とは、動作検出部３００に含まれる各構成からの出力であり、例えば、図４（ｂ）に示したズームエンコーダ１１５の出力、図６（ｂ）に示したフォーカスエンコーダ１１７の出力、図７（ｂ）に示したマルチセレクター１８１の出力である。
【００４７】
ＣＰＵ１９０は、タイミング判定部１９１と記録制御部１９４とを備える。
タイミング判定部１９１は、動作タイミング判定部１９２と、制御タイミング判定部１９３とを含む。
動作タイミング判定部１９２は、動作検出部３００から入力する動作情報に基づき、動作状態検出対象部材が動作したか否かを判定する。この動作タイミング判定部１９２は、動作検出部３００から入力する動作情報に基づき、例えば、動作状態検出対象部材の動作が開始したタイミング、動作状態検出対象部材の動作が停止したタイミング、動作状態検出対象部材の動作状態が変更したタイミングを検出した場合、動作状態検出対象部材が動作したことを判定する。この動作タイミング判定部１９２は、動作状態検出対象部材が動作したことを判定した場合、この判定結果を記録制御部１９４に出力する。
【００４８】
例えば、動作タイミング判定部１９２は、図４（ｂ）に示したズームエンコーダ１１５の出力が入力された場合、ズームエンコーダ１１５の検出結果がｆ１からｆ２〜ｆ５に変化したタイミングｔ１０２〜ｔ１０５を検出する。そして、動作タイミング判定部１９２は、ｔ１０２、ｔ１０３、ｔ１０４、ｔ１０５がズームレンズ１１４の動作状態が変更したタイミングであると判定する。
【００４９】
また、動作タイミング判定部１９２は、動作検出部３００からの出力（動作情報）が入力された場合、予め決められた動作判定期間Ｍの間での動作検出部３００のぞれぞれの出力が、動作していると判定するための値（以下、動作出力閾値という）以上であるか否かを判定する。
例えば、フォーカスエンコーダ１１７からの出力が入力された場合について説明する。このフォーカスエンコーダ１１７から出力されるパルス信号のエッジ数が、予め決められている動作出力閾値以上であった場合、当該動作判定期間Ｍに対応する期間は、フォーカスレンズ１１２が動作していると判定する。一方、フォーカスエンコーダ１１７から出力されるパルス信号のエッジ数が、予め決められている動作出力閾値未満であった場合、当該動作判定期間Ｍに対応する期間は、フォーカスレンズ１１２が動作していないと判定する。
また、動作タイミング判定部１９２は、フォーカスレンズ１１２が動作していると判定した期間の最初を、フォーカスレンズ１１２の動作が開始したタイミングと判定し、フォーカスレンズ１１２が動作していると判定した期間の最後を、フォーカスレンズ１１２の動作が停止したタイミングと判定する。
なお、動作判定期間Ｍは、フォーカスエンコーダ１１７のパルス間隔よりも十分に広い時間であって、例えば、１０ｍｓｅｃである。
【００５０】
ここで、動作タイミング判定部１９２による動作状態検出対象部材が動作を開始したタイミングを検出する検出方法の一例について説明する。本実施形態において、動作タイミング判定部１９２は、以下に説明する２つの検出方法のうち少なくともいずれか一方を適用することができる。
図９は、フォーカスエンコーダ１１７の出力と動作タイミングとの関係を示す図である。
図９に示す例では、フォーカスエンコーダ１１７は、ｔ３１０にパルス信号を一時的に出力し、ｔ３２０から連続して出力している。
本実施形態において、ｔ３１０に発生した一時的なパルス信号は、フォーカスエンコーダ１１７に対して外乱振動が発生したことにより発生したパルス信号である。このように、検出対象であるフォーカスレンズ１１２の動作以外の振動であっても、フォーカスエンコーダ１１７からパルス信号が出力され、エッジ（ＬｏｗからＨｉｇｈまたはＨｉｇｈからＬｏｗ）が発生することがある。つまり、このｔ３１０におけるエッジが発生した時点をフォーカスレンズ１１２が動作したタイミングであると判定した場合、この判定は誤判定である。このように、パルス信号の発生時には、フォーカスレンズ１１２の動作時に発生するパルス信号以外の外乱振動等により発生するパルス信号のエッジにより、動作タイミングを誤判定してしまうおそれがある。
【００５１】
また、フォーカスレンズ１１２の動作終了時においては、パルス幅が広くなる。これは、フォーカスエンコーダ１１７のパルス幅が駆動速度に反比例するためである。そのため、フォーカスレンズ１１２がほとんど動作していない状態において発生されたパルス信号によりエッジを検出した場合、ほとんど動作していない状態においてフォーカスレンズ１１２が動作していると誤判定してしまうおそれがある。
【００５２】
動作タイミング判定部１９２は、ｔ３１０から動作判定期間Ｍの間にフォーカスエンコーダ１１７から出力されたパルス信号のエッジ数を算出する。この場合、パルス信号は「０」から「１」に変化し、その後「１」から「０」に変化している。つまり、動作タイミング判定部１９２は、このようなパルス信号の変化の回数を示すエッジ数を算出する。このため、動作タイミング判定部１９２は、フォーカスエンコーダ１１７から出力されるパルス信号のエッジ数が、予め決められている動作出力閾値未満であるため、ｔ３１０からの動作判定期間Ｍでは、フォーカスレンズ１１２が動作していないと判定する。
【００５３】
また、動作タイミング判定部１９２は、ｔ３２０から動作判定期間Ｍの間にフォーカスエンコーダ１１７から出力されたパルス信号の数を算出する。この場合、パルス信号は「１」と「０」とを連続して複数個のパルス信号が出力している。ここで、動作タイミング判定部１９２は、フォーカスエンコーダ１１７から出力されるパルス信号のエッジ数が、予め決められている動作出力閾値以上であるため、ｔ３２０からの動作判定期間Ｍでは、フォーカスレンズ１１２が動作していると判定する。同様にして、動作タイミング判定部１９２は、ｔ３３０からの動作判定期間Ｍ、ｔ３４０からの動作判定期間Ｍについても、フォーカスレンズ１１２が動作していると判定する。
さらに、動作タイミング判定部１９２は、ｔ３５０からの動作判定期間Ｍにフォーカスエンコーダ１１７から出力されたパルス信号のエッジ数を検出する。この場合、フォーカスエンコーダ１１７からパルス信号は出力されていない。このため、動作タイミング判定部１９２は、フォーカスエンコーダ１１７から出力されるパルス信号のエッジ数が、予め決められている動作出力閾値未満であるため、ｔ３５０からの動作判定期間Ｍでは、フォーカスレンズ１１２が動作していないと判定する。
【００５４】
ここで、動作状態検出対象部材が動作を開始したタイミングを検出する第１の検出方法では、以下のようにして、動作を開始したタイミングを検出する。この第１の検出方法は、リアルタイムの検出動作に適している。
動作タイミング判定部１９２は、フォーカスエンコーダ１１７からの出力信号に基づき、フォーカスエンコーダ１１７から入力するパルス信号の値が変化したか否かを判定する。なお、このとき、動作タイミング判定部１９２には、計時部２２０によって計時された時間を示す時間情報が入力されている。
例えば、動作タイミング判定部１９２は、ｔ３２０においてパルス信号の値が変化したことを判定した場合、この変化したタイミングｔ３２０からの動作判定期間Ｍ（つまり、ｔ３２０〜ｔ３３０の期間）で検出されるパルス信号のエッジ数をカウントする。そして、動作判定期間Ｍ（ｔ３２０〜ｔ３３０の期間）において検出されたパルス信号の数が予め決められた回数（動作出力閾値）以上であるか否かを判定する。ここで、動作判定期間Ｍ（ｔ３２０〜ｔ３３０の期間）において検出されたパルス信号のエッジ数は、予め決められた回数（動作出力閾値）以上であるため、動作タイミング判定部１９２は、ｔ３３０において、フォーカスレンズ１１２が動作していることを判定する。そして、動作タイミング判定部１９２は、この判定したタイミングｔ３３０の時間情報を取得する。
【００５５】
この動作タイミング判定部１９２は、フォーカスレンズ１１２が動作していることを判定したタイミングｔ３３０から、動作判定期間Ｍの時間長を減じたタイミングｔ３２０が、フォーカスレンズ１１２が動作を開始したタイミングであると判定する。つまり、動作タイミング判定部１９２は、動作していることを判定した時刻（ｔ３３０）から動作判定期間Ｍを減じた時刻（ｔ３２０）を、動作開始時刻と判定する。
これにより、フォーカスレンズ１１２が動作を開始したタイミングがずれ、この例においては、ｔ３３０の時点がフォーカスレンズ１１２の動作が開始したタイミングであると誤判定されることを防止することができる。
また、動作タイミング判定部１９２は、フォーカスレンズ１１２が動作している状態から動作していない状態に変化したことを判定したタイミングｔ３６０から、動作判定期間Ｍの時間長を減じたタイミングｔ３５０が、フォーカスレンズ１１２が動作を停止したタイミングであると判定する。つまり、動作タイミング判定部１９２は、動作している状態から動作していない状態に変化したことを判定した時刻（ｔ３６０）から動作判定期間Ｍを減じた時刻（ｔ３５０）を、動作停止時刻と判定する。
このようにして、動作タイミング判定部１９２は、フォーカスレンズ１１２の動作開始時刻と動作停止時刻を正確に検出することができる。つまり、ノイズ低減対象期間である動作開始時刻から動作停止時刻をより正確に検出することができるため、ノイズ以外の音信号まで低減させてしまうことによる目的音の音質が劣化を防止することができる。
【００５６】
なお、上述の通り、駆動速度が変化すると、エンコーダから出力されるパルス信号のパルス幅は広くなる。このため、動作部の速度に応じた動作部の動き（動作パターン）に応じて、動作判定期間Ｍを変更するようにしてもよい。例えば、動作部の動作速度が遅くなる期間が予めわかっている場合、例えば、動作終了直前においては、動作開始直後において動作タイミングを判定するための動作判定期間Ｍ１に比べて長い期間である動作判定期間Ｍ２を設定するものであってもよい。
【００５７】
次に、動作状態検出対象部材が動作を開始したタイミングを検出する第２の検出方法について説明する。
動作タイミング判定部１９２は、フォーカスエンコーダ１１７からの出力信号に基づき、フォーカスエンコーダ１１７から入力するパルス信号の値が変化したか否かを判定する。なお、このとき、動作タイミング判定部１９２には、計時部２２０によって計時された時間を示す時間情報が入力されている。
動作タイミング判定部１９２は、フォーカスエンコーダ１１７から入力するパルス信号の値が変化したと判定した場合、この判定したタイミングｔ３２０の時間情報を取得する。そして、動作タイミング判定部１９２は、このタイミングｔ３２０をトリガとして、タイミングｔ３２０からの動作判定期間Ｍ（つまり、ｔ３２０〜ｔ３３０の期間）で検出されるパルス信号の数をカウントする。そして、動作判定期間Ｍ（ｔ３２０〜ｔ３３０の期間）において検出されたパルス信号の数が予め決められた回数（動作出力閾値）以上であるか否かを判定する。ここで、動作判定期間Ｍ（ｔ３２０〜ｔ３３０の期間）において検出されたパルス信号の数は、予め決められた回数（動作出力閾値）以上であるため、動作タイミング判定部１９２は、ｔ３２０において、フォーカスレンズ１１２が動作していることを判定する。
【００５８】
この動作タイミング判定部１９２は、フォーカスレンズ１１２が動作していることを判定した場合、予め取得しているフォーカスエンコーダ１１７から入力するパルス信号の値が変化したと判定したタイミングｔ３２０を、フォーカスレンズ１１２が動作を開始したタイミングであると判定する。
この方法によっても、フォーカスレンズ１１２が動作を開始したタイミングがずれ、この例においては、ｔ３３０の時点がフォーカスレンズ１１２が動作を開始したタイミングであると誤判定されることを防止することができる。
【００５９】
動作タイミング判定部１９２は、上述のような処理を、図６（ｂ）に示したフォーカスエンコーダ１１７の出力に基づき実行することにより、ｔ１１０がフォーカスレンズ１１２の動作が開始したタイミングであり、ｔ１２０がフォーカスレンズ１１２の動作が停止したタイミングであると判定する。
【００６０】
動作タイミング判定部１９２は、図７（ｂ）に示したマルチセレクター１８１の操作信号が入力された場合、操作信号が検出されたタイミングｔ２１０、ｔ２３０をマルチセレクター１８１のクリック音が発生したタイミングと判定し、操作信号が検出されなくなったタイミングｔ２２０、ｔ２４０をマルチセレクター１８１のクリック音が発生したタイミングと判定する。
【００６１】
制御タイミング判定部１９３は、ＣＰＵ１９０が動作状態検出対象部材を動作させる駆動制御信号に基づいて、動作状態検出対象部材の動作状態が変化した動作タイミングを判定し、判定結果を記録制御部１９４に出力する。なお、この駆動制御信号とは、動作部を動作させる駆動部に対して、動作部を動作させるようにする駆動制御信号、または、この駆動部を駆動させる駆動制御信号である。
この制御タイミング判定部１９３は、例えば、ＣＰＵ１９０が出力するコマンドに基づいて、動作状態検出対象部材の動作タイミングを判定する。
この制御タイミング判定部１９３は、タイミング判定部１９１によって、動作タイミング判定部１９２の判定結果と、制御タイミング判定部１９３の判定結果とを組み合わせてタイミングを判定する場合に利用されてもよい。
【００６２】
記録制御部１９４は、タイミング判定部１９１の判定結果に基づき、動作状態検出対象部材が動作したことを判定した場合、当該動作状態検出対象部材の動作タイミングを記録媒体２００に書き込む。この記録制御部１９４は、動作タイミング判定部１９２によって動作状態検出対象部材が動作したことが判定された場合、動作状態検出対象部材が動作したことを示す情報と音信号とを関連付けて記録部に記録する。
具体的に説明すると、記録制御部１９４は、計時部２２０によって計時された時間情報に基づき、動作状態検出対象部材が動作した動作時刻と、音信号が収音された経過時間とを関連付ける。例えば、音信号の収音開始時刻を時刻０として、そこからの経過時間を動作時刻として記録する。
【００６３】
この記録制御部１９４が記録媒体２００に書き込む情報の一例を図１０に示す。
図１０（ａ）は、動作状態検出対象部材の種類ごとに、動作タイミングを書き込む例を説明するための図である。
図示の通り、記録制御部１９４は、動作状態検出対象部材の種類ごとに、動作タイミングを示す動作時間とその動作内容とを関連付けて、記録媒体２００に書き込む。
図示の例において、ズームレンズ１１４の動作内容は、ズームエンコーダ１１５の検出結果であるｆ１〜ｆ５で表現されている。フォーカスレンズ１１２の動作内容は、フォーカスエンコーダ１１７の出力であるＳＴＡＲＴ、ＳＴＯＰで表現されている。マルチセレクターの動作内容は、マルチセレクター１８１の出力である操作信号の入力開始（ＯＮ）と入力停止（ＯＦＦ）で表現されている。
【００６４】
図１０（ｂ）は、動作タイミングを示す動作時間ごとに、動作タイミングを書き込む例を説明するための図である。
図示の通り、記録制御部１９４は、動作タイミングを示す動作時間ごとに、動作タイミングを示す動作時間とその動作内容とを関連付けて、記録媒体２００に書き込む。この場合、動作内容に応じて、その動作の主体である動作状態検出対象部材の種類が判別できるように、その内容の表現が上述の通り、予め決められている。
【００６５】
例えば、記録制御部１９４は、ズームレンズ１１４の動作タイミングを示すズームエンコーダデータとして、ズームエンコーダ１１５の出力がｆ２〜ｆ５に変化したタイミングをｔ１０２〜ｔ１０５を書き込む。
また、記録制御部１９４は、フォーカスレンズ１１２の動作タイミングを示すフォーカスエンコーダデータとして、フォーカスレンズ１１２の動作が開始したタイミング（ＳＴＡＲＴ）をｔ１１０と、フォーカスレンズ１１２の動作が停止したタイミング（ＳＴＯＰ）をｔ１２０と、それぞれ書き込む。なお、初期状態においてフォーカスレンズ１１２は停止しているため、記録制御部１９４は、ｔ０がフォーカスレンズ１１２の動作が停止しているタイミング（ＳＴＯＰ）であることを書き込む。
さらに、記録制御部１９４は、マルチセレクター１８１の動作タイミングを示すマルチセレクターデータとして、マルチセレクター１８１の動作が開始したタイミング（ＯＮ）をｔ２１０、ｔ２３０と、マルチセレクター１８１の動作が停止したタイミング（ＯＦＦ）をｔ２２０、ｔ２４０と、それぞれ書き込む。なお、初期状態においてマルチセレクター１８１はユーザからの指示を何ら受け付けていないため、記録制御部１９４は、ｔ０がマルチセレクター１８１の動作が停止しているタイミング（ＯＦＦ）であることを書き込む。
【００６６】
次に、図１１を参照して、記録制御部１９４が情報を書き込むファイルの一例について説明する。
図１１（ａ）は、動作タイミング情報が、動画データ（あるいは画像データ）および音声データとは異なるファイルで記録される場合の一例を示す図である。
図１１（ａ）に示す通り、動画データと音声データは、動画音声データ用のファイルに格納される。
動作タイミング情報は、動作タイミング情報用のファイルに格納される。
このように、それぞれのファイルを別にすることによって、動画再生時に不具合が生じる可能性を低減させることができる。
【００６７】
なお、本発明はこれに限られず、動画データ、音声データおよび動作タイミング情報を、同一のファイルに一体にして格納してもよく、それぞれを別々のファイルに格納してもよい。
図１１（ｂ）は、動作タイミング情報が、動画データ（あるいは画像データ）および音声データと一体として、同一の一体保存ファイルに記録される場合の一例を示す図である。
【００６８】
次に、図１２を参照して、記録制御部１９４が情報を書き込むファイルの他の例について説明する。
図１２（ａ）は、動作タイミング情報が、動画データ（あるいは画像データ）および音声データとは異なるファイルで記録される場合の一例を示す図である。また、図１２（ｂ）は、動作タイミング情報が、動画データ（あるいは画像データ）および音声データと一体として、同一の一体保存ファイルに記録される場合の一例を示す図である。これらの図のように、記録制御部１９４は、図９で説明した動作判定期間Ｍを動作タイミング情報の一部として記録してもよい。この場合、後述のノイズ低減処理部２５０において、フォーカスレンズ１１２が動作していることを判定したタイミングｔ３３０から、動作判定期間Ｍの時間長を減じたタイミングｔ３２０が、フォーカスレンズ１１２が動作を開始したタイミングであると判定してもよい。
【００６９】
次に、ノイズ低減処理部２５０によるノイズ低減処理の一例について説明する。
図１３は、ノイズ低減処理部２５０の構成の一例を示す図である。
このノイズ低減処理部２５０は、ノイズ低減制御部２５１と、音信号処理部２５２と、衝撃音ノイズ低減処理部２５３と、駆動音ノイズ低減処理部２５４と、逆フーリエ変換部２５５とを含む。
このノイズ低減処理部２５０は、記録媒体２００に保存されている動作タイミング情報に基づき、この記録媒体２００に保存されている音声データに対してノイズ低減処理を実行する。この記録媒体２００には、ノイズ低減処理部２５０によって参照されるノイズ低減制御情報が保存されている。
【００７０】
このノイズ低減制御情報の一例を図１４に示す。図１４に示す通り、ノイズ低減制御情報は、動作状態検出対象部材名と、衝撃音ノイズ低減処理フラグと、駆動音ノイズ低減処理フラグと、設定ノイズとを対応付けるテーブルである。
動作状態検出対象部材名は、ノイズ低減処理部２５０がノイズ低減処理の対象とする動作状態検出対象部材を示す情報である。
衝撃音ノイズ低減処理フラグは、対応する動作状態検出対象部材が衝撃音ノイズ低減処理を実行する対象であるか否かを示す情報である。この衝撃音ノイズ低減処理フラグが立っている場合（図示においては、○が記載されている場合）、衝撃音ノイズ低減処理を実行することを示す。
駆動音ノイズ低減処理フラグは、対応する動作状態検出対象部材が駆動音ノイズ低減処理を実行する対象であるか否かを示す情報である。この駆動音ノイズ低減処理フラグが立っている場合（図示においては、○が記載されている場合）、駆動音ノイズ低減処理を実行することを示す。
設定ノイズは、対応する動作状態検出対象部材によって発生するノイズとして推定される値であって、予め決められている。
【００７１】
図１４に示す通り、ズームレンズ１１４をＣＰＵ１９０の制御によって動作させた場合＜ズームレンズ（オート）＞、ズームレンズ１１４を手動で動作させた場合＜ズームレンズ（マニュアル）＞、ＶＲレンズ１３３を動作させた場合＜ＶＲレンズ＞、ストロボが発光した場合＜ストロボ発光＞は、駆動音ノイズ低減処理のみを実行することが決められている。
フォーカスレンズ１１２をＣＰＵ１９０の制御によって動作させた場合＜フォーカスレンズ（オート）＞、フォーカスレンズ１１２を手動で動作させた場合＜フォーカスレンズ（マニュアル）＞は、衝撃音ノイズ低減処理および駆動音ノイズ低減処理の双方を実行することが決められている。
ユーザがマルチセレクター１８１を操作して動作させた場合＜マルチセレクター＞、撮像装置１００の筐体に衝撃が与えられた場合＜タッチノイズ＞、絞り機構が動作した場合＜絞り機構＞、開閉式のストロボが開いた場合＜ストロボポップアップ＞、動画撮影中に静止の撮像操作が指示された場合＜シャッター音＞は、衝撃音ノイズ低減処理のみを実行することが決められている。
【００７２】
ノイズ低減制御部２５１は、記録媒体２００から動作タイミング情報を読み出し、ノイズ低減制御情報を参照して、各動作状態検出対象部材に応じたノイズ低減をするよう衝撃音ノイズ低減処理部２５３と駆動音ノイズ低減処理部２５４とを制御する。
ここで、ノイズ低減制御部２５１によりノイズ低減される処理対象の一例について、図１４を参照して説明する。図１５は、図１０に示した動作タイミング情報に基づき、動作状態検出対象部材が動作した期間を示す図である。この図１５は、マイク２３０によって収音された目的音と動作状態検出対象部材による動作期間とを同一時間軸上に並べた図である。
図１５に示す通り、ズームレンズ１１４の動作処理Ｊ１、フォーカスレンズ１１２の動作処理Ｊ２、マルチセレクター１８１の操作処理Ｊ３の順番で、各動作状態検出対象部材による動作が発生している。つまり、この処理Ｊ１〜Ｊ３の期間において、動作状態検出対象部材によるノイズが発生している可能性が高い。
ノイズ低減処理部２５０は、図１５に示す各動作状態検出対象部材による動作期間において収音された目的音に対して、ノイズ低減処理を実行する。
【００７３】
ここで、図１６を参照して、音信号処理部２５２により算出される窓関数の各区間に対応する周波数スペクトルの一例について説明する。
音信号処理部２５２は、上述の通り、Ａ/Ｄ変換部２４０から出力されたマイク音信号に対して、図１６に示すように他の区間と半分ずつオーバーラップしている窓関数Ｗ１〜Ｗ１４で重み付けをする。これにより、マイク音信号は、窓関数のサイズに分割される。この音信号処理部２５２は、例えば窓関数Ｗ１〜Ｗ１４で重み付けされた各区間のマイク音信号ごとに、例えばフーリエ変換を行い、周波数領域における周波数スペクトルＳ１〜Ｓ１４を算出する。つまり、音信号処理部２５２によって算出される周波数スペクトルＳ１〜Ｓ１４は、窓関数Ｗ１〜Ｗ１４の区間にそれぞれ対応する周波数スペクトルである。
【００７４】
なお、図１６に示すマイク音信号は、図６において示したフォーカスレンズ１１２の動作により発生したノイズの一例を示す。なお、図１６は、説明便宜のため、マイク音信号のうち、フォーカスレンズ１１２の動作により発生するノイズのみを示し、目的音の音信号の図示を省略している。
図１６に示す通り、フォーカスレンズ１１２を動作させるフォーカス調整処理を行う場合の動作パターンにおいては、動作開始タイミングと動作停止タイミングにおいて衝撃音が発生する。
時刻ｔ１１０以前の区間、ｔ１２０以降の区間が、非動作期間Ｔａである。時刻ｔ１１０〜ｔ１１１の区間、時刻ｔ１１９〜ｔ１２０の区間が、衝撃音発生期間Ｔｂである。時刻ｔ１１１〜ｔ１１９の区間が、駆動音発生期間Ｔｃである。
【００７５】
本実施形態において、窓関数Ｗ１、Ｗ１３、Ｗ１４に対応する周波数スペクトルＳ１、Ｓ１３、Ｓ１４は、非動作期間Ｔａに取得されたマイク音信号の周波数スペクトルである。窓関数Ｗ５〜Ｗ８に対応する周波数スペクトルＳ５〜Ｓ８は、動作部が動作する可能性の高い期間のうち、駆動音発生期間Ｔｃに取得されたマイク音信号の周波数スペクトルである。
また、窓関数Ｗ２〜Ｗ４に対応する周波数スペクトルＳ２〜Ｓ４と、窓関数Ｗ９〜Ｗ１２に対応する周波数スペクトルＳ９〜Ｓ１２は、動作部が動作する可能性の高い期間のうち、衝撃音発生期間Ｔｂに取得されたマイク音信号の周波数スペクトルである。
【００７６】
ノイズ低減制御部２５１は、記録媒体２００に保存されている動作タイミング情報を参照して、動作状態検出対象部材による動作期間を判定する。このノイズ低減制御部２５１は、例えば、ｔ１１０〜１２０の期間が、フォーカスレンズ１１２の動作期間であると判定する。
このノイズ低減制御部２５１は、記録部１６０に保存されているノイズ低減制御情報を参照して、フォーカスレンズ１１２の動作処理については、動作開始タイミングと動作停止タイミングにおいて衝撃音ノイズ低減処理を実行するとともに、動作期間の全体に対して駆動音ノイズ低減処理とを実行すると判定する。
ノイズ低減制御部２５１は、このようにして判定した結果に基づき、衝撃音ノイズ低減処理部２５３と駆動音ノイズ低減処理部２５４とを制御する。
つまり、ノイズ低減制御部２５１は、ｔ１１０から予め決められた期間であるｔ１１０〜ｔ１１１の期間において、フォーカスレンズ１１２の衝撃音ノイズ低減処理を実行することを指示する制御信号を衝撃音ノイズ低減処理部２５３に出力する。また、ノイズ低減制御部２５１は、ｔ１２０までの予め決められた時間であるｔ１１９〜ｔ１２０の期間において、フォーカスレンズ１１２の衝撃音ノイズ低減処理を実行することを指示する制御信号を衝撃音ノイズ低減処理部２５３に出力する。
さらに、ノイズ低減制御部２５１は、ｔ１１０〜ｔ１２０の期間において、フォーカスレンズ１１２の駆動音ノイズ低減処理を実行することを指示する制御信号を駆動音ノイズ低減処理部２５４に出力する。
【００７７】
音信号処理部２５２は、Ａ/Ｄ変換部２４０から出力されたマイク音信号に対して、予め決められた区間ごとに窓関数で重み付けするとともに、この区間毎のマイク音信号を周波数領域で表わされるスペクトルに変換して、この周波数領域で表わされるスペクトル（周波数スペクトル）を衝撃音ノイズ低減処理部２５３と駆動音ノイズ低減処理部２５４に出力する。
この音信号処理部２５２は、例えば、マイク音信号にフーリエ変換、あるいは高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）を行うことで、マイク音信号を周波数領域に変換する。音信号処理部２５２は、例えば、マイク音信号にフーリエ変換を行うことで、窓関数の各区間に対応する周波数スペクトルを算出する。
ここで、窓関数において予め定められた区間とは、信号処理の単位（フレーム）であって、一定の間隔で繰り返される区間である。これらの窓関数の各区間は、他の窓関数の各区間と半分ずつオーバーラップしている。なお、窓関数は、例えば、ハニング窓（ハニングウィンドウ）関数が利用可能である。
【００７８】
衝撃音ノイズ低減処理部２５３は、ノイズ低減制御部２５１から入力する制御信号に基づき、衝撃音発生期間Ｔｂに対応するマイク音に対して、衝撃音ノイズ低減処理を実行する。なお、衝撃音ノイズ低減処理において低減するノイズは、動作状態検出対象部材ごとに予め決められており、ノイズ低減制御情報に規定されている。つまり、衝撃音ノイズ低減処理部２５３は、ノイズ低減制御部２５１から低減すべき設定ノイズが指示される。衝撃音ノイズ低減処理部２５３は、ノイズ低減制御部２５１の制御に従って、指示された動作期間に対して、指示された設定ノイズの低減を実行する。
例えば、衝撃音ノイズ低減処理部２５３は、周波数スペクトルＳ２、Ｓ３、Ｓ４、Ｓ９、Ｓ１０、Ｓ１１、Ｓ１２に対して、設定ノイズを周波数スペクトルに変換したものを減算するスペクトル減算を実行する。
この衝撃音ノイズ低減処理部２５３は、衝撃音ノイズ低減処理後の周波数スペクトルを駆動音ノイズ低減処理部２５４に出力する。
【００７９】
駆動音ノイズ低減処理部２５４は、ノイズ低減制御部２５１から入力する制御信号に基づき、少なくとも駆動音発生期間Ｔｃに対応するマイク音に対して、駆動音ノイズ低減処理を実行する。なお、駆動音ノイズ低減処理において低減するノイズは、動作状態検出対象部材ごとに予め決められており、ノイズ低減制御情報に規定されている。つまり、駆動音ノイズ低減処理部２５４は、ノイズ低減制御部２５１から低減すべき設定ノイズが指示される。駆動音ノイズ低減処理部２５４は、ノイズ低減制御部２５１の制御に従って、指示された動作期間に対して、指示された設定ノイズの低減を実行する。
例えば、駆動音ノイズ低減処理部２５４は、周波数スペクトルＳ２〜Ｓ１２に対して、設定ノイズを周波数スペクトルに変換したものを減算するスペクトル減算を実行する。
この駆動音ノイズ低減処理部２５４は、駆動音ノイズ低減処理後の周波数スペクトルを逆フーリエ変換部２５５に出力する。
【００８０】
なお、駆動音ノイズ低減処理部２５４は、衝撃音ノイズ低減処理と駆動音ノイズ低減処理の両方を実行することが予め決められている動作状態検出対象部材に対しては、衝撃音ノイズ低減処理部２５３から入力する衝撃音ノイズ低減処理後のマイク音信号に対して駆動音ノイズ低減処理を実行する。一方、駆動音ノイズ低減処理のみの実行が予め決められている動作状態検出対象部材に対しては、音信号処理部２５２から入力するマイク音信号に対して駆動音ノイズ低減処理を実行する。
【００８１】
逆フーリエ変換部２５５は、駆動音ノイズ低減処理部２５４から入力された周波数スペクトルに対して、例えば逆フーリエ変換、あるいは逆高速フーリエ変換（ＩＦＦＴ：Inverse Fast Fourier Transform）を行うことで、時間領域に変換する。
そして、通信部１７０は、この逆フーリエ変換部２５５によって時間領域に変換された音信号を記録媒体２００に記録させる。なお、通信部１７０は、時間領域に変換された音信号と、撮像素子１１９により撮像された画像データとを、対応する日時情報を有する同士で対応付けて、記録媒体２００に記録させてもよく、音信号を含む動画として記録してもよい。
【００８２】
次に、図１７を参照して、本発明に係るノイズ情報記録処理方法の一例について説明する。図１７は、本発明に係るノイズ情報記録処理方法の一例を示すフローチャートである。
例えば、操作部１８０の電源スイッチがＯＮされると、撮像装置１００に電源が投入され、電池２６０から各構成部に対して電力が供給される。本実施形態では、撮像装置１００に対して、撮像時の画像データと音声データとを対応付けて記録媒体２００に記録することが予め設定されている。
【００８３】
（ステップＳＴ１）
そして、操作部１８０により、例えば、動画の撮影を開始する指示が入力された場合、以下の処理を実行する。
マイク２３０は、例えば、電源がＯＮされると、収音されたマイク音信号をＡ/Ｄ変換部２４０に出力する。Ａ/Ｄ変換部２４０は、アナログ信号であるマイク音信号をデジタル変換したマイク音信号を低減処理部２５０に出力する。
低減処理部２５０は、Ａ/Ｄ変換部２４０からマイク音信号を入力する。
例えば、ユーザによってズームレンズ１１４を広角から望遠に変更する操作が実行された場合、マニュアル操作部１８２は、ユーザからの受けた動力をズームレンズ１１４に伝達する。これにより、ズームレンズ１１４は、例えば、ズームポジションｆ１からｆ５に移動する。
ズームレンズ１１４が動くと、ズームエンコーダ１１５は、ズームレンズ１１４のｆ１からｆ５への移動に応じた信号を動作タイミング判定部１９２に出力する。
【００８４】
（ステップＳＴ２）
動作タイミング判定部１９２は、動作検出部３００からの入力があるか否かを判定する。このとき、動作タイミング判定部１９２には、計時部２２０によって計時された時間を示す時間情報が入力されている。
例えば、ズームエンコーダ１１５からズームレンズ１１４のズームポジションが変化したことを示す信号が入力した場合、動作タイミング判定部１９２は、ズームレンズ１１４の動作が開始したことを検出する。そして、動作タイミング判定部１９２は、このズームエンコーダ１１５からズームレンズ１１４のズームポジションが変化したことを示す信号を入力したタイミングを、計時部２２０によって計時された時間に基づき取得する。また、ズームエンコーダ１１５からズームレンズ１１４のズームポジションが変化したことを示す信号の入力が終了した場合、動作タイミング判定部１９２は、ズームレンズ１１４の動作が停止したことを検出する。そして、動作タイミング判定部１９２は、このズームエンコーダ１１５からの信号の入力が終了したタイミングを、計時部２２０によって計時された時間に基づき取得する。
【００８５】
なお、フォーカスエンコーダ１１７からパルス信号が入力した場合、動作タイミング判定部１９２は、上述の第１の検出方法あるいは第２の検出方法を用いて、フォーカスエンコーダ１１７の動作が開始したタイミングとフォーカスエンコーダ１１７の動作が停止したタイミングを取得する。
さらに、マルチセレクター１８１が操作されたことを示す操作信号が入力した場合、動作タイミング判定部１９２は、マルチセレクター１８１が動作したことを検出する。そして、動作タイミング判定部１９２は、この操作信号が入力したタイミングを、計時部２２０によって計時された時間に基づき取得し、この操作信号の入力が終了したタイミングを、計時部２２０によって計時された時間に基づき取得する。
動作タイミング判定部１９２は、上述のようにして取得した動作タイミングを示す情報を記録制御部１９４に出力する。
【００８６】
（ステップＳＴ４）
記録制御部１９４は、動作タイミング判定部１９２からの判定結果に基づき、動作タイミング情報を、記録媒体２００内の予め決められたファイル内に記録する。この記録制御部１９４は、動作タイミング判定部１９２によって判定された動作タイミングである動作時間と動作内容を対応付けて記録媒体２００に書き込む。
なお、計時部２２０によって計時された時間は、マイク２３０によって収音され記録媒体に記録される音声データに対しても付与されている。よって、動作タイミング情報と音声データを記録媒体２００に書き込むことにより、記録制御部１９３は、動作状態検出対象部材が動作した動作時間とマイク音信号が収音された経過時間とを関連付けて記録することができる。
【００８７】
次に、図１８を参照して、本発明に係るノイズ低減処理方法の一例について説明する。図１８は、本発明に係るノイズ低減処理方法の一例を示すフローチャートである。
【００８８】
（ステップＳＴ１１）
ノイズ低減処理部２５０のノイズ低減制御部２５１は、記録媒体２００に記録されている音声データに対して関連付けられた動作タイミング情報が記録されているか否かを判定する。
【００８９】
（ステップＳＴ１２）
関連付けられた動作タイミング情報が記録されている場合、ノイズ低減制御部２５１は、この動作タイミング情報と音声データとを読み出す。
そして、ノイズ低減制御部２５１は、動作タイミング情報を参照して、ノイズ低減処理を実行する動作状態検出対象部材を決定する。
例えば、ノイズ低減制御部２５１は、動作タイミング情報に含まれるズームエンコーダデータに基づき、ノイズ低減処理の対象をズームレンズ１１４と決定する。
【００９０】
（ステップＳＴ１３）
次いで、ノイズ低減制御部２５１は、ノイズ低減制御情報を記録部１６０から読み出し、このノイズ低減制御情報の“動作状態検出対象部材名”の項目のズームレンズ（マニュアル）と対応付けられるノイズ低減処理の内容を確認する。
例えば、ノイズ低減制御部２５１は、ズームレンズ（マニュアル）と対応付けられる“衝撃音ノイズ低減処理フラグ”がたっているか否かを判定するとともに、“駆動音ノイズ低減処理フラグ”がたっているか否かを判定する。
【００９１】
（ステップＳＴ１４）
そして、“衝撃音ノイズ低減処理フラグ”が立っている場合、ノイズ低減制御部２５１は、動作タイミング情報が示す動作期間に対して、衝撃音ノイズ低減処理を実行する。また、“駆動音ノイズ低減処理フラグ”が立っている場合、ノイズ低減制御部２５１は、動作タイミング情報が示す動作期間に対して、駆動音ノイズ低減処理を実行する。
例えば、ノイズ低減制御部２５１は、動作タイミング情報に示されるズームレンズ１１４の動作期間であるｔ１０１〜ｔ１０６の動作期間に対して、駆動音ノイズ低減処理を実行するように、駆動音ノイズ低減処理部２５４を制御する。このとき、ノイズ低減制御部２５１は、ノイズ低減制御情報において対応付けられている設定ノイズを読み出し、この設定ノイズの周波数スペクトルを減じるスペクトル減算を実行することを指示する。
【００９２】
そして、衝撃音ノイズ低減処理部２５３は、ノイズ低減制御部２５１から衝撃音ノイズ低減処理の実行が指示された場合、音信号処理部２５２によって周波数スペクトルに変換された音信号のうち、衝撃音発生期間に対応する音信号の周波数スペクトルから、設定ノイズの周波数スペクトルを減じるスペクトル減算を実行する。そして、衝撃音ノイズ低減処理部２５３は、スペクトル減算を実行した音信号の周波数スペクトルを逆フーリエ変換部２５５に出力する。
また、駆動音ノイズ低減処理部２５４は、ノイズ低減制御部２５１から駆動音ノイズ低減処理の実行が指示された場合、音信号処理部２５２によって周波数スペクトルに変換された音信号のうち、駆動音発生期間に対応する音信号の周波数スペクトルから、設定ノイズの周波数スペクトルを減じるスペクトル減算を実行する。そして、駆動音ノイズ低減処理部２５４は、スペクトル減算を実行した音信号の周波数スペクトルを逆フーリエ変換部２５５に出力する。
【００９３】
逆フーリエ変換部２５５は、衝撃音ノイズ低減処理部２５３あるいは駆動音ノイズ低減処理部２５４から入力されたノイズ低減処理後の周波数スペクトルに対して、例えば逆フーリエ変換を行うことで、時間領域に変換する。この逆フーリエ変換部２５５は、時間領域に変換された音信号を記録媒体２００に記録させる。
【００９４】
以上説明したように、本実施形態に係る撮像装置１００の動作タイミング判定部１９２は、動作検出部３００の出力に基づき、動作状態検出対象部材が動作しているか否かを判定し、動作状態検出対象部材が動作していることが判定された場合、この動作状態検出対象部材が動作したことを示す情報（動作タイミング情報）と音信号とを関連付けて記録媒体２００に記録する。
この構成により、本実施形態に係る動作タイミング判定部１９２は、ユーザのマニュアル操作によって動作された動作状態検出対象部材の動作状態についても判定することができる。一方、例えば、動作タイミング判定部１９２を備えず、制御タイミング判定部１９３のみを備える場合、マニュアル操作によってフォーカスレンズ１１２やズームレンズ１１４が動作された場合、この動作があったことを検出することができない。
【００９５】
また、本実施形態に係る動作タイミング判定部１９２は、動作状態検出対象部材が動作したタイミングを確実に判定することができる。一方、ＣＰＵ１９０が動作状態検出対象部材の動作を制御したタイミング（つまり、ＣＰＵ１９０が動作状態検出対象部材にコマンドを出力するタイミング）は、動作状態検出対象部材が動作した可能性が高いタイミングであって、実際に動作状態検出対象部材が動作したタイミングとは異なる場合がある。例えば、制御に必要な演算時間や、モータ起動までの遅れ時間によって、制御したタイミングより実際の動作タイミングは遅れることが多い。また、モータの構造上、制御タイミング（動作を指示するコマンドが出力されたタイミング）と一定時間ずれる場合があるが、その制御タイミングと動作タイミングがずれる間隔は必ずしも一定とは限らない。
本実施形態に係る動作タイミング判定部１９２は、動作検出部３００の出力に基づき、動作状態検出対象部材が動作しているか否かを判定することにより、上述の問題を解決することができる。
これにより、動作タイミング情報を用いて音信号に対するノイズ低減処理を実行する際、ノイズが発生している期間の検出の精度が向上し、ノイズ低減処理の精度の向上につなげることができる。
【００９６】
また、本実施形態に係る撮像装置１００の記録制御部１９４は、動作状態検出対象部材が動作していることが判定された場合、この動作状態検出対象部材が動作したことを示す情報（動作タイミング情報）と音信号とを関連付けて記録媒体２００に記録する。これにより、リアルタイムでノイズ低減処理を実行する際の問題を解決できる。例えば、リアルタイムでノイズ低減処理を実行した場合、撮像装置１００の録画や録音のための電力を消耗してしまう問題や、誤ってノイズが発生していない場合にノイズ低減処理を実行した場合に元に戻せない問題がある。また、ノイズ低減処理のための構成を備えていない撮像装置１００に対しては、ノイズ低減処理部２５０を搭載させなければならないためコストもかかる。
しかしながら、本願発明に係る撮像装置１００のように、記録装置として機能し、取得した動作タイミング情報と音信号とを関連づけて記録媒体２００に記録することにより、例えばユーザが所望した希望のタイミングで、例えば、ユーザのパーソナルコンピュータを用いて、ノイズ低減処理を実行することができる。
【００９７】
なお、本発明は、上述の実施形態に限られない。
例えば、動作タイミング判定部１９２は、撮像部１１０の通信部１２３によって記録部１６０に記録されている情報、つまり、ズームエンコーダ１１５とフォーカスエンコーダ１１７からの出力に時間情報を関連付けた情報を読み出して、動作タイミング判定処理を実行するものであってもよい。
【００９８】
また、ノイズ低減処理装置２５０は、人物の音声について、以下のようなノイズ低減処理をするものであってもよい。動画撮影の機能として、画面内から顔を認識して顔にピントを合わせる顔認識機能がある。
ＣＰＵ１９０は、この顔認識機能を利用して、撮像部１１０によって撮像される画像データに基づき、画像データ内に顔があるか否かを判定する。このＣＰＵ１９０は、顔を認識していない状態から顔を認識した状態になった場合に、顔を認識したことを示す情報と、その顔を認識した時間を示す時間情報を関連付けて、記録媒体２００に記録する。また、ＣＰＵ１９０は、顔認識が解除になったことを示す情報とその時間を示す時間情報とを関連づけて記録部２００に記録する。
顔が認識されている時間は、画面内に人物がいるため、音声が記録されている可能性が高い。ノイズ低減処理部２５０は、顔が認識されている時間は、なるべく音声劣化を防止する条件（例えば、音声に含まれる周波数範囲を保存する処理）でノイズ低減処理を行うように処理を切り替えるものであってもよい。
【００９９】
ここで、図１９を参照して、ＣＰＵ１９０の顔認識の結果とノイズ低減処理について説明する。
図１９（ａ）は、撮像部１１０によって撮像された撮影時間を示す。図１９（ａ）に示すように、動画データが撮影された時間は、ｔ０〜ｔ１０までの時間である。なお、ｔ０〜ｔ１０までは、ｔ０からの経過時間を示す撮影経過時間を、例えば計時部２２０が計時する。
図１９（ｂ）は、ＣＰＵ１９０によって顔認識の結果と撮影経過時間との関係の一例を示す。図１９（ｂ）に示すように、ｔ４１０〜ｔ４２０の期間でＣＰＵ１９０は、顔を認識している。このｔ４１０が、顔を認識したタイミングであって、ｔ４２０が、顔認識を解除したタイミングである。
ノイズ低減処理部２５０は、このｔ４１０〜ｔ４２０の期間に収音された音声データに対してノイズ低減処理を行う場合、たとえば、人間の音声に近い周波数に対応する周波数スペクトルの周波数成分のスペクトル減算を実行せずに、人間の音声に近い周波数以外に対応する周波数スペクトルの周波数成分のスペクトル減算を実行する。
【０１００】
また、動画撮影中に撮影者が周囲の音圧レベルに応じて手動でマイク感度を変更する場合がある。この場合はマイク感度変更スイッチを押した情報に加えて、変更されたマイク感度情報も記録する。マイク感度情報はノイズ処理を行う際に利用する。例えば、マイク感度を半分に下げると、記録されるノイズ音も半分になるため、推定ノイズの値を半分にしてノイズ減算処理を行う。
録音時のマイク感度が自動的に変更される場合は、動画撮影開始時のマイク感度初期値およびマイク感度変更が発生したときの感度変更後の値を時刻情報と共に記録する。
内蔵マイク／外部マイクの使用状況を記録しても良い。動画撮影時の使用状況（例えば内蔵マイク使用）と動画撮影中の使用状況を記録し、内蔵マイク使用時のみノイズ低減処理を行っても良い。
【０１０１】
［第２実施形態］
なお、上述の第１実施形態に係る記録制御部１９４は、撮像装置に着脱可能な交換レンズに設けられる構成であってもよい。この交換レンズの一例について図２０を参照して説明する。
図２０は、本発明に係る記録制御部１９４を備える交換レンズの一例を示す図である。
図２０に示す通り、この交換レンズ４００は、光学系１１１と、撮像素子１１９と、Ａ／Ｄ変換部１２０と、動作タイミング判定部１９２と、記録制御部１９４と、動作検出部３１０と、バッファメモリ４０１とを備える。なお、第１実施形態と同様の構成については、同一の符号を付して、詳細な説明は省略する。
動作検出部３１０は、ズームエンコーダ１１５とフォーカスエンコーダ１１７とを含む。
計時部２２０は、計時した時間を示す時間情報を動作タイミング判定部１９２と、記録制御部１９４と、録音装置５０１とに出力する。この録音装置５０１は、マイクを搭載し、収音した音信データに計時部２２０から入力する時間情報を関連付けて記録部に記録する。
動作タイミング判定部１９２は、動作検出部３１０からの出力信号に基づきフォーカスレンズ１１２とズームレンズ１１４とが動作したことを判定し、動作したことを示す情報と計時部２２０から入力する時間情報とを関連づけて記録制御部１９４に出力する。
記録制御部１９４は、計時部２２０から入力する時間情報をＡ/Ｄ変換部１２０から出力される動画データに付与する。この記録制御部１９４は、動作タイミング判定部１９２から入力する動作したことを示す情報と、Ａ/Ｄ変換部１２０から入力する動画データとを、時間情報に基づき関連付けてバッファメモリ４０１に記録する。
【０１０２】
なお、本発明はこれに限られず、交換レンズ４００における動作タイミング判定部１９２がリアルタイムに動作タイミング判定を実行せずに、動作検出部３１０の出力に計時部２２０からの時間情報を関連付けてバッファメモリ４０１に一時的に保存しておく構成であってもよい。この場合、動作タイミング判定部１９２は、例えば、交換レンズ４００が取り付けられた撮像装置が充電中に動作タイミング判定処理を実行するものであってもよい。
【０１０３】
［第３実施形態］
本発明に係るノイズ低減処理部２５０の衝撃音ノイズ低減処理部２５３は、以下に説明するような衝撃音ノイズ低減処理を実行するものであってもよい。なお、ここで、ノイズ低減処理を実行する対象は、図１６に示したマイク音信号である。
以下、具体的に説明する。
【０１０４】
衝撃音ノイズ低減処理部２５３は、ノイズ低減制御部２５１から入力する制御信号に基づき、例えば、音信号処理部２５２から出力される周波数スペクトルＳ１〜Ｓ１４から、衝撃音が発生している可能性の高い衝撃音発生期間Ｔｂに対応する周波数スペクトル（以下、第１周波数スペクトルという）を取得する。例えば、衝撃音ノイズ低減処理部２５３は、動作開始タイミングｔ１１０に対応する衝撃音発生期間ｔ１１０〜ｔ１１１を示す情報に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ２〜Ｓ４を、第１周波数スペクトルとして取得する。なお、衝撃音発生期間の時間長は、動作状態検出対象部材毎に予め決められている。
衝撃音ノイズ低減処理部２５３は、動作停止タイミングｔ１２０に対応する衝撃音発生期間ｔ１１９〜ｔ１２０を示す情報に基づき、衝撃音が発生している可能性の高い衝撃音発生期間Ｔｂに対応する周波数スペクトルＳ９〜Ｓ１２を、第１周波数スペクトルとして取得する。なお、この衝撃音発生期間の時間長についても、動作状態検出対象部材毎に予め決められている。
【０１０５】
また、衝撃音ノイズ低減処理部２５３は、ノイズ低減制御部２５１から入力する制御信号に基づき、音信号処理部２５２から出力される周波数スペクトルＳ１〜Ｓ１４から、少なくとも衝撃音が発生していない可能性の高い期間（非動作期間Ｔａあるいは駆動音発生期間Ｔｃ）に対応する周波数スペクトル（以下、第２周波数スペクトルという）を取得する。この衝撃音ノイズ低減処理部２５３は、衝撃音を含んでいる可能性の高い第１周波数スペクトルごとに、この衝撃音を含む可能性の低い第２周波数スペクトルを取得する。本実施形態において、衝撃音ノイズ低減処理部２５３は、第１周波数スペクトルと時間軸方向において最も近い衝撃音を含む可能性の低い周波数スペクトルを第２周波数スペクトルとして取得する。つまり、衝撃音ノイズ低減処理部２５３は、第１周波数スペクトルと時間軸方向に隣接あるいは重複する周波数スペクトルを第２周波数スペクトルとして取得する。
【０１０６】
なお、本実施形態において、第２周波数スペクトルは、衝撃音が発生していない可能性の高い期間に対応する周波数スペクトルである。しかし、本発明はこれに限られず、第２周波数スペクトルは、動作部の動作によって発生するノイズ音（駆動音および衝撃音）が発生しない可能性の高い期間（非動作期間Ｔａ）に対応する周波数スペクトルであることが好ましい。
【０１０７】
ここで、図２１を参照して、衝撃音ノイズ低減処理部２５３が取得する第１周波数スペクトルと第２周波数スペクトルとの関係の一例について説明する。図２１は、衝撃音ノイズ低減処理部２５３が取得する第１周波数スペクトルと第２周波数スペクトルの一例を説明するための図である。
例えば、衝撃音ノイズ低減処理部２５３は、動作開始タイミングｔ１１０に対応する衝撃音発生期間ｔ１１０〜ｔ１１０を示す情報（ノイズ低減制御部２５１から入力する制御信号に含まれる）に基づき、第１周波数スペクトルである周波数スペクトルＳ２、Ｓ３に対応する第２周波数スペクトルとして、周波数スペクトルＳ２、３の時間軸の過去方向に最も近い周波数スペクトルＳ１を取得する。また、衝撃音ノイズ低減処理部２５３は、動作開始タイミングｔ１１０に対応する衝撃音発生期間ｔ１１０〜ｔ１１０を示す情報（ノイズ低減制御部２５１から入力する制御信号に含まれる）に基づき、第１周波数スペクトルである周波数スペクトルＳ４に対応する第２周波数スペクトルとして、周波数スペクトルＳ４の時間軸の未来方向に最も近い周波数スペクトルＳ５を取得する。
【０１０８】
また、衝撃音ノイズ低減処理部２５３は、動作停止タイミングｔ１２０に対応する衝撃音発生期間ｔ１１９〜ｔ１２０を示す情報に基づき、第１周波数スペクトルである周波数スペクトルＳ９、Ｓ１０に対応する第２周波数スペクトルとして、周波数スペクトルＳ９、１０の時間軸の過去方向に最も近い周波数スペクトルＳ８を取得する。また、衝撃音ノイズ低減処理部２５３は、動作停止タイミングｔ１２０に対応する衝撃音発生期間ｔ１１９〜ｔ１２０を示す情報に基づき、第１周波数スペクトルである周波数スペクトルＳ１１、１２に対応する第２周波数スペクトルとして、周波数スペクトルＳ１１、１２の時間軸の未来方向に最も近い周波数スペクトルＳ１３を取得する。
【０１０９】
さらに、衝撃音ノイズ低減処理部２５３は、第１周波数スペクトルの少なくとも一部を第２周波数スペクトルの対応する部分に置き換える。
例えば、衝撃音ノイズ低減処理部２５３は、第１周波数スペクトルのうち予め決められた閾値周波数以上の周波数スペクトルと、第２周波数スペクトルのうち予め決められた閾値周波数以上の周波数スペクトルとを、周波数成分ごとに比較して、第２周波数スペクトルの方が第１周波数スペクトルに比べて小さいと判定した場合に、第１周波数スペクトルにおける当該周波数成分を第２周波数スペクトルの周波数成分に置き換える。
【０１１０】
図２２を参照して詳細に説明する。図２２は、一部の周波数スペクトルの周波数成分の一例について説明するための図である。なお、本実施の形態では、説明便宜のため、図１６に示すマイク音信号のうち、窓関数Ｗ１，Ｗ３，Ｗ５，Ｗ７，Ｗ１１，Ｗ１３に対応する周波数スペクトルＳ１，Ｓ３，Ｓ５，Ｓ７，Ｓ１１，Ｓ１３について説明する。
図２２に示す通り、周波数スペクトルＳ１，Ｓ３，Ｓ５，Ｓ７，Ｓ１１，Ｓ１３は、それぞれ、周波数成分ｆ１〜ｆ９の周波数成分を含む。
例えば、衝撃音ノイズ低減処理部２５３は、各周波数スペクトルの閾値周波数以上の周波数成分として、周波数成分ｆ３〜ｆ９について、第１周波数スペクトルと第２周波数スペクトルを比較することが予め決められている。よって、衝撃音ノイズ低減処理部２５３は、周波数成分ｆ１，ｆ２については、第１周波数スペクトルと第２周波数スペクトルを比較しない。
【０１１１】
ここで、図２３を参照して、周波数スペクトルＳ１とＳ３について、衝撃音ノイズ低減処理部２５３による衝撃音ノイズ低減処理の一例について説明する。
図２３は、周波数スペクトルＳ１とＳ３の周波数成分ごとに、振幅の比較について説明するための図である。
例えば、衝撃音ノイズ低減処理部２５３は、周波数スペクトルＳ１の周波数成分ｆ３の振幅と、周波数スペクトルＳ３の周波数成分ｆ３の振幅とを比較する。この場合、周波数スペクトルＳ１の周波数成分ｆ３の振幅の方が、周波数スペクトルＳ３の周波数成分ｆ３の振幅に比べて小さい。よって、衝撃音ノイズ低減処理部２５３は、周波数スペクトルＳ３の周波数成分ｆ３を、周波数スペクトルＳ１の周波数成分ｆ３に置き換える。
また、衝撃音ノイズ低減処理部２５３は、周波数スペクトルＳ１の周波数成分ｆ４の振幅と、周波数スペクトルＳ３の周波数成分ｆ４の振幅とを比較する。この場合、周波数スペクトルＳ１の周波数成分ｆ４の振幅の方が、周波数スペクトルＳ３の周波数成分ｆ４の振幅に比べて大きい。よって、衝撃音ノイズ低減処理部２５３は、周波数スペクトルＳ３の周波数成分ｆ３を、周波数スペクトルＳ１の周波数成分ｆ３に置き換えない。
このようにして、衝撃音ノイズ低減処理部２５３は、周波数スペクトルＳ１の周波数成分の振幅の方が、周波数スペクトルＳ３の周波数成分の振幅に比べて小さい場合のみ、周波数スペクトルＳ３の周波数成分を周波数スペクトルＳ１の周波数成分に置き換える。
図２３に示す場合、衝撃音ノイズ低減処理部２５３は、周波数スペクトルＳ３の周波数成分ｆ３、ｆ６〜ｆ９を周波数スペクトルＳ１の周波数成分ｆ３、ｆ６〜ｆ９に置き換える。
【０１１２】
次に、図２４を参照して、本実施形態に係るノイズ低減処理方法の一例について説明する。図２４は、本実施形態に係るノイズ低減処理方法の一例を示すフローチャートである。
例えば、操作部１８０の電源スイッチがＯＮされると、撮像装置１００に電源が投入され、電池２６０から各構成部に対して電力が供給される。本実施形態では、撮像装置１００に対して、撮像時の画像データと音声データを対応付けて記憶媒体２００に記憶させることが予め設定されている。
【０１１３】
（ステップＳＴ２１）
衝撃音ノイズ低減処理部２５３は、ノイズ低減制御部２５１から衝撃音ノイズ低減処理を実行することを指示する制御信号が入力されたか否かを判定する。衝撃音ノイズ低減処理部２５３は、衝撃音ノイズ低減処理が指示された場合、ステップＳＴ２２に移行し、指示されていない場合、ステップＳＴ２６に移行する。
（ステップＳＴ２２）
一方、音信号処理部２５２は、Ａ／Ｄ変換部２４０から出力されたマイク音信号に対して、予め決められた区間ごとに窓関数で重み付けするとともに、この区間毎のマイク音信号を周波数領域で表わされる周波数スペクトルに変換する。音信号処理部２５２は、例えば、窓関数で重み付けされた音信号をフーリエ変換して、周波数スペクトルＳ１〜Ｓ１４を算出する。
【０１１４】
（ステップＳＴ２３）
そして、音信号処理部２５２は、動作タイミング信号に基づき、衝撃音発生期間に対応する周波数スペクトルの周波数成分の総和と、予め決められた閾値とを比較する。
例えば、音信号処理部２５２は、動作開始タイミングｔ１１０に対応する衝撃音発生期間ｔ１１０〜ｔ１１１を示す動作タイミング信号に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ２〜Ｓ４を取得する。そして、音信号処理部２５２は、周波数スペクトルＳ２〜Ｓ４ごとに、周波数成分の総和が予め決められた閾値未満であるか否かを判定する。また、音信号処理部２５２は、動作停止タイミングｔ１２０に対応する衝撃音発生期間ｔ１１９〜ｔ１２０を示す情報に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ９〜Ｓ１２を取得する。そして、音信号処理部２５２は、周波数スペクトルＳ９〜Ｓ１２ごとに、周波数成分の総和が予め決められた閾値未満であるか否かを判定する。
【０１１５】
そして、音信号処理部２５２は、周波数成分の総和が予め決められた閾値未満であった周波数スペクトルを衝撃音ノイズ低減処理部２５３に出力するとともに、この周波数スペクトルに対して衝撃音ノイズ低減処理を実行するよう衝撃音ノイズ低減処理部２５３を制御する。
【０１１６】
（ステップＳＴ２４）
次いで、衝撃音ノイズ低減処理部２５３は、音信号処理部２５２から衝撃音ノイズ低減処理を実行する制御に基づき、Ａ/Ｄ変換部２４０から入力するマイク音信号に対して衝撃音ノイズ低減処理を実行する。
例えば、衝撃音ノイズ低減処理部２５３は、動作開始タイミングｔ１１０に対応する衝撃音発生期間ｔ１１０〜ｔ１１１を示す動作タイミング信号に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ２〜Ｓ４を、第１周波数スペクトルとして取得する。
そして、衝撃音ノイズ低減処理部２５３は、動作開始タイミングｔ１１０に対応する衝撃音発生期間ｔ１１０〜ｔ１１１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ２、Ｓ３に対応する第２周波数スペクトルとして、周波数スペクトルＳ２、３の直前の周波数スペクトルＳ１を取得する。また、衝撃音ノイズ低減処理部２５３は、動作開始タイミングｔ１１０に対応する衝撃音発生期間ｔ１１０〜ｔ１１１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ４に対応する第２周波数スペクトルとして、周波数スペクトルＳ４の直後の周波数スペクトルＳ５を取得する。
【０１１７】
また、衝撃音ノイズ低減処理部２５３は、動作停止タイミングｔ１２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ９〜Ｓ１２を、第１周波数スペクトルとして取得する。
そして、衝撃音ノイズ低減処理部２５３は、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ９、Ｓ１０に対応する第２周波数スペクトルとして、周波数スペクトルＳ９、１０の直前の周波数スペクトルＳ８を取得する。また、衝撃音ノイズ低減処理部２５３は、動作開始タイミングｔ１２０に対応する衝撃音発生期間ｔ１１９〜ｔ１２０を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ１１、１２に対応する第２周波数スペクトルとして、周波数スペクトルＳ１１、１２の直後の周波数スペクトルＳ１３を取得する。
【０１１８】
（ステップＳＴ２５）
次いで、衝撃音ノイズ低減処理部２５３は、各周波数スペクトルの閾値周波数以上の周波数成分として、周波数成分ｆ３〜ｆ９について、第１周波数スペクトルと第２周波数スペクトルを比較する。
例えば、衝撃音ノイズ低減処理部２５３は、周波数スペクトルＳ１の周波数成分ｆ３の振幅と、周波数スペクトルＳ２の周波数成分ｆ３の振幅とを比較する。この場合、周波数スペクトルＳ１の周波数成分ｆ３の振幅の方が、周波数スペクトルＳ２の周波数成分ｆ３の振幅に比べて小さい。よって、衝撃音ノイズ低減処理部２５３は、周波数スペクトルＳ３の周波数成分ｆ３を、周波数スペクトルＳ１の周波数成分ｆ３に置き換える。
また、衝撃音ノイズ低減処理部２５３は、周波数スペクトルＳ１の周波数成分ｆ４の振幅と、周波数スペクトルＳ２の周波数成分ｆ４の振幅とを比較する。この場合、周波数スペクトルＳ１の周波数成分ｆ４の振幅の方が、周波数スペクトルＳ２の周波数成分ｆ４の振幅に比べて大きい。よって、衝撃音ノイズ低減処理部２５３は、周波数スペクトルＳ３の周波数成分ｆ３を、周波数スペクトルＳ１の周波数成分ｆ３に置き換えない。
このようにして、衝撃音ノイズ低減処理部２５３は、周波数スペクトルＳ１の周波数成分の振幅の方が、周波数スペクトルＳ３の周波数成分の振幅に比べて小さい場合のみ、周波数スペクトルＳ３の周波数成分を周波数スペクトルＳ１の周波数成分に置き換える。
そして、衝撃音ノイズ低減処理部２５３は、周波数スペクトルＳ３の周波数成分ｆ３、ｆ６〜ｆ９を、周波数成分を周波数スペクトルＳ１の周波数成分ｆ３、ｆ６〜ｆ９と置き換えて、衝撃音ノイズ低減処理後の周波数スペクトルＳ´３を駆動音ノイズ低減処理部２５４に出力する。
【０１１９】
衝撃音ノイズ低減処理部２５３は、同様にして、第１周波数スペクトルである周波数スペクトルＳ２と第２周波数スペクトルＳ１との比較と、第１周波数スペクトルである周波数スペクトルＳ４と第２周波数スペクトルＳ５との比較を行う。そして、第２周波数スペクトルＳ１、Ｓ５の周波数成分の振幅の方が、それぞれ、周波数スペクトルＳ２、Ｓ４の周波数成分の振幅に比べて小さい場合のみ、周波数スペクトルＳ２、Ｓ４の周波数成分をそれぞれ周波数スペクトルＳ１、Ｓ５の周波数成分に置き換えて、衝撃音ノイズ低減処理後の周波数スペクトルＳ´２、Ｓ´４を駆動音ノイズ低減処理部２５４に出力する。
【０１２０】
また、衝撃音ノイズ低減処理部２５３は、同様にして、第１周波数スペクトルである周波数スペクトルＳ９、Ｓ１０と第２周波数スペクトルＳ８との比較、および第１周波数スペクトルである周波数スペクトルＳ１１、Ｓ１２と第２周波数スペクトルＳ１３との比較を行う。そして、第２周波数スペクトルＳ８の周波数成分の振幅の方が、それぞれ、周波数スペクトルＳ９、Ｓ１０の周波数成分の振幅に比べて小さい場合のみ、周波数スペクトルＳ９、Ｓ１０の周波数成分をそれぞれ周波数スペクトルＳ８の周波数成分に置き換えて、衝撃音ノイズ低減処理後の周波数スペクトルＳ´９、Ｓ´１０を駆動音ノイズ低減処理部２５４に出力する。同様にして、第２周波数スペクトルＳ１３の周波数成分の振幅の方が、それぞれ、周波数スペクトルＳ１１、Ｓ１２の周波数成分の振幅に比べて小さい場合のみ、周波数スペクトルＳ１１、Ｓ１２の周波数成分をそれぞれ周波数スペクトルＳ１３の周波数成分に置き換えて、衝撃音ノイズ低減処理後の周波数スペクトルＳ´１１、Ｓ´１２を駆動音ノイズ低減処理部２５４に出力する。
【０１２１】
（ステップＳＴ２６）
駆動音ノイズ低減処理部２５４は、ノイズ低減制御部２５１から駆動音ノイズ低減処理を実行することを指示する制御信号が入力されたか否かを判定する。駆動音ノイズ低減処理部２５４は、駆動音ノイズ低減処理が指示された場合、ステップＳＴ２７に移行し、指示されていない場合、ステップＳＴ２８に移行する。
【０１２２】
（ステップＳＴ２７）
次いで、駆動音ノイズ低減処理部２５４は、音信号処理部２５２から入力するマイク音信号の周波数スペクトルと、衝撃音ノイズ低減処理部２５３から入力する衝撃音ノイズ低減処理後の周波数スペクトルに基づき、駆動音ノイズ低減処理を実行する。例えば、駆動音ノイズ低減処理部２５４は、動作開始タイミングｔ１１０に対応する衝撃音発生期間ｔ１１０〜ｔ１１１を示す動作タイミングと、動作停止タイミングｔ１２０に対応する衝撃音発生期間ｔ１１９〜ｔ１２０を示す動作タイミング信号に基づき、駆動音が発生している可能性のある期間に対応する周波数スペクトルＳ２〜Ｓ１２を、第３周波数スペクトルとして取得する。
この駆動音ノイズ低減処理部２５４は、取得した第３周波数スペクトルＳ２〜Ｓ１２のうち、衝撃音ノイズ低減処理後の周波数スペクトルに対応する周波数スペクトルをＳ２〜Ｓ４、Ｓ９〜Ｓ１２を、衝撃音ノイズ低減処理後の周波数スペクトルＳ´２、Ｓ´３、Ｓ´４、Ｓ´９、Ｓ´１０、Ｓ´１１、Ｓ´１２に置き換える。そして、駆動音ノイズ低減処理部２５４は、衝撃音ノイズ低減処理後の周波数スペクトルＳ´２、Ｓ´３、Ｓ´４、Ｓ´９、Ｓ´１０、Ｓ´１１、Ｓ´１２と、周波数スペクトルＳ５〜Ｓ７に対して駆動音ノイズ低減処理を実行する。つまり、駆動音ノイズ低減処理部２５４は、駆動パターンに応じて予め決められているノイズを表わす周波数スペクトルの周波数成分を、衝撃音ノイズ低減処理後の第３周波数スペクトルＳ´２〜Ｓ´４、Ｓ５〜７、Ｓ´９〜Ｓ´１２の周波数成分からそれぞれ減算する。駆動音ノイズ低減処理部２５４は、この駆動音ノイズ低減処理後の周波数スペクトルを逆フーリエ変換部２５４に出力する。
【０１２３】
（ステップＳＴ２８）
逆フーリエ変換部２５４は、駆動音ノイズ低減処理部２５４から入力された駆動音ノイズ低減処理後の周波数スペクトルに対して、例えば逆フーリエ変換を行うことで、時間領域に変換する。この逆フーリエ変換部２５４は、時間領域に変換された音信号を記憶媒体２００に記憶させる。
【０１２４】
次に、図２５を参照して、動作タイミング判定部１９２によって判定される動作開始タイミングの一例について説明する。
図２５には、例えば、コマンド出力と、フォーカスエンコーダ１１７の出力と、マイク２３０が出力するマイク音信号の一例を示す図である。
図示において、コマンド出力の波形の立ち上がり時（ＬｏｗからＨｉｇｈ）は、コマンドの送信開始時刻を示している。コマンド出力の波形の立ち下がり時（ＨｉｇｈからＬｏｗ）は、コマンドの送信終了時刻を示している。なお、制御タイミング判定部１９３は、コマンドの送信終了時刻（ｔ５０１）を動作開始タイミングであると判定する。この制御タイミング判定部１９３によって判定される動作開始タイミングは予め決められおり、ここでは、コマンド送信終了時刻と決められている。
【０１２５】
上述の通り、動作タイミング判定部１９２は、動作判定期間Ｍに対応する期間において、フォーカスエンコーダ１１７から出力されるパルス信号のエッジ数が、予め決められている動作出力閾値以上であった場合、当該動作判定期間Ｍに対応する期間は、フォーカスレンズ１１２が動作していると判定する。一方、フォーカスエンコーダ１１７から出力されるパルス信号のエッジ数が、予め決められている動作出力閾値未満であった場合、当該動作判定期間Ｍに対応する期間は、フォーカスレンズ１１２が動作していないと判定する。
このようにして、動作タイミング判定部１９２は、ｔ５０２が動作開始タイミングであり、ｔ５０３が動作停止タイミングであると判定する。
【０１２６】
しかし、図２５に示すように、フォーカスレンズ１１２の駆動系（ギア列等）のバックラッシュの影響で、フォーカスエンコーダ１１７の出力が、実際のフォーカスレンズ１１２の駆動系の動作開始タイミングとずれる場合がある。
図２５に示す通り、実際のフォーカスレンズ１１２の駆動系の動作開始タイミングは、動作タイミング判定部１９２によって動作開始タイミングと判定されたｔ５０２ではなく、コマンドの送信終了時刻ｔ５１０である。
【０１２７】
そこで、本実施形態に係るタイミング判定部１９１は、動作部の種類に応じて、動作開始タイミングについては、動作タイミング判定部１９２によって判定された動作開始タイミング（ｔ５０２）ではなく、制御タイミング判定部１９３によって判定された動作開始タイミング（ｔ５０１）を動作開始タイミングと決定する。なお、動作開始タイミングとして、動作タイミング判定部１９２によって決定されたタイミング、あるいは、制御タイミング判定部１９３によって判定されたタイミングを採用するかは、動作部の種類に応じて予め決められている。
これにより、タイミング判定部１９１は、図２５を用いて説明したとおり、駆動系の実際の開始タイミングとフォーカスエンコーダ１１７の出力とがずれてしまった場合であっても、動作部によるノイズが発生した期間を検出することができる。
なお、上述の通り、タイミング判定部１９１が動作タイミング判定部１９２による判定結果と制御タイミング判定部１９３による判定結果を用いて動作タイミングを決定する際、動作タイミング判定部１９２は、上述の動作状態検出対象部材が動作を開始したタイミングを検出する第１の検出方法あるいは第２の検出方法のいずれか一方を利用することができる。
【０１２８】
また、タイミング判定部１９１又はノイズ低減処理部２５０等による手順を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものであってもよい。
【０１２９】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記録装置のことをいう。
【０１３０】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記録装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【０１３１】
１００…撮像装置、１１０…撮像部、１９０…ＣＰＵ、１９１…タイミング判定部部、１９２…動作タイミング判定部、１９４…記録制御部、２００…記録媒体、２３０…マイク、２４０…Ａ/Ｄ変換部、２５０…ノイズ低減処理部、３００…動作検出部
【技術分野】
【０００１】
本発明は、動作タイミング判定装置、撮像装置およびプログラムに関する。
【背景技術】
【０００２】
例えば、音声記録中のモータの制御信号を取得し、当該制御信号からモータによる雑音情報を算出し、算出された雑音情報を音声情報から除去する撮像装置がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２３３９５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、モータが実際に動作するタイミングは、制御信号が出力されるタイミングとずれる場合がある。この場合、モータによってノイズが発生したタイミングを正確に判定することができない。よって、制御信号に基づきノイズを除去した場合、ノイズ以外の音信号まで低減させてしまい、目的音の音質が劣化する問題がある。
【０００５】
本発明は、前記の点に鑑みてなされたものであり、構成部材が動作するタイミングをより正確に判定する動作タイミング判定装置、撮像装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一実施形態に係る動作タイミング判定装置は、上記の課題を解決するためになされたものであり、構成部材の動作状態に応じた信号を出力する動作検出部と、前記動作検出部からの検出結果に基づき、予め決められた判定期間内において、予め決められた回数以上のパルス信号が前記動作検出部から出力されたか否かを判定し、前記判定期間内において前記回数以上のパルス信号の出力があったと判定された場合、前記構成部材が動作していると判定する動作タイミング判定部とを備える。
【発明の効果】
【０００７】
本発明によれば、動作部によりノイズが発生したタイミングをより正確に判定することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係る撮像装置の構成の一例を示すブロック図である。
【図２】本発明の実施形態に係る動作状態検出対象部材の動作タイミングと音信号との関係の一例を説明するための参考図である。
【図３】図２に示す音信号について詳細に説明するための参考図である。
【図４】本発明の実施形態に係るズームエンコーダの出力の一例を説明するための図である。
【図５】図４に示すズームエンコーダの出力を詳細に説明するための図である。
【図６】本発明の実施形態に係るフォーカスエンコーダの出力の一例について説明するための図である。
【図７】本発明の実施形態に係るマルチセレクターの出力の一例について説明するための図である。
【図８】本発明の実施形態に係る撮像装置に搭載される記録装置の構成の一例を示す図である。
【図９】本発明の実施形態に係るフォーカスエンコーダの出力と動作タイミングとの関係を示す図である。
【図１０】本発明の実施形態に係る記録制御部が記録媒体に書き込む情報の一例を示す図である。
【図１１】本発明の実施形態に係る記録制御部が情報を書き込むファイルの一例を示す図である。
【図１２】本発明の実施形態に係る記録制御部が情報を書き込むファイルの他の例を示す図である。
【図１３】ノイズ低減処理部の構成の一例を示す図である。
【図１４】ノイズ低減制御情報の一例を示す図である。
【図１５】動作状態検出対象部材が動作した期間を示す図である。
【図１６】発明の第１実施形態に係る動作状態検出対象部材の動作タイミングと音信号との関係の一例を説明するための参考図である。
【図１７】本発明に係るノイズ情報記録処理方法の一例を示すフローチャートである。
【図１８】本発明に係るノイズ低減処理方法の一例を示すフローチャートである。
【図１９】ＣＰＵ１９０の顔認識の結果とノイズ低減処理について説明する。
【図２０】本発明に係る記録制御部１９４を備える交換レンズの一例を示す図である。
【図２１】本発明の実施形態に係る衝撃音ノイズ低減処理部が取得する第１周波数スペクトルと第２周波数スペクトルの一例を説明するための図である。
【図２２】図１５に示した各周波数スペクトルの周波数成分の一例を示す図である。
【図２３】本発明の実施形態に係る衝撃音ノイズ低減処理の一例について説明するための図である。
【図２４】本発明の本実施形態に係るノイズ低減処理方法の一例について説明するためのフローチャートである。
【図２５】本発明の本実施形態に係るタイミング判定方法の一例について説明するための図である。
【発明を実施するための形態】
【０００９】
［第１実施形態］
本発明の実施形態について図面を参照して詳細に説明する。図１には、本実施形態に係る撮像装置の構成を示すブロック図が示されている。
本実施形態に係る撮像装置は、構成部材の動作状態に応じた信号を検出し、この検出した信号に基づき、構成部材が動作したか否かを判定する。この構成部材が動作したか否かの判定結果としては、以下のようなさまざまな結果内容を取得することができる。
例えば、本実施形態に係る撮像装置は、構成部材が動作している状態であるか、あるいは、構成部材が停止している状態であるかを判定するものであってもよい。
また、本実施形態に係る撮像装置は、構成部材の動作状態が変化した動作タイミングを判定するものであってもよい。この動作タイミングとは、静止中の構成部材が動作を開始したタイミング、動作中の構成部材が動作を停止したタイミング、あるいは、動作中の構成部材の動作内容が変化したタイミングを示す。
なお、本実施形態では、構成部材が動作したことを示す情報として、構成部材の動作状態が変化した動作タイミングを検出する例について以下説明する。しかし、本願発明はこれに限られず、種々の方法により、構成部材が動作したか否かを判定するものである。
【００１０】
本実施形態において、動作状態を検出する対象である構成部材は、撮像装置１００を構成する構成部材であって、例えば、フォーカスレンズ、ＶＲレンズ、ズームレンズ、絞り機構等の光学系構造部材と、撮像装置の操作ボタン、シャッターボタン、開閉式のストロボ等の操作系構造部材と、撮像装置の筐体等の固定系構造部材とである。なお、これら光学系構造部材、操作系構造部材、および固定系構成部材を、以下、動作状態検出対象部材という。
光学系構造部材は、撮影時の条件に応じて撮像装置自身によって自動的に動作させられる場合（以下、オート動作という）と、ユーザが手動により動作させられる場合（以下、マニュアル動作という）とがある。いずれの場合も、動作による機械音（ノイズ）が発生する。
操作系構造部材は、ユーザの操作によって動作させられる。この場合、ボタン等が押下されたことによる動作音（ノイズ）が発生したり、ストロボが開閉したことによる動作音（ノイズ）が発生する。また、ストロボを発光させるための充電器が作動したことによる音（ノイズ）が発生する。
固定系構造部材は、ユーザの手や洋服等が撮像装置の筐体に接触することによる摩擦音（ノイズ）が発生する。また、撮像装置の筐体をぶつけることによっても音（ノイズ）が発生する。
本実施形態に係る撮像装置は、上述の動作状態検出対象部材の動作状態が変化したタイミングを判定し、これら動作状態検出対象部材の動作によるノイズの発生タイミングを検出する。
【００１１】
次に、図１を参照して、本実施形態に係る撮像装置１００の構成の一例について説明する。
図１に示す通り、撮像装置１００は、撮像部１１０と、バッファメモリ１３０と、画像処理部１４０と、表示部１５０と、記録部１６０と、通信部１７０と、操作部１８０と、ＣＰＵ１９０と、加速度センサー２１０と、計時部２２０と、マイク２３０と、Ａ/Ｄ変換部２４０と、低減処理部２５０と、電池２６０と、ストロボ２７０とを備える。この撮像装置１００は、通信部１７０を介して外部構成である記録媒体２００に対して、データの読み出し、あるいは、書き込みを行う。
本実施形態に係る撮像装置１００において、動作状態検出対象部材の動作状態を示す動作状態情報を検出する動作検出部は、例えば、加速度センサー２１０や撮像部１１０内に搭載されているエンコーダである。なお、この動作検出部については、後述する。
【００１２】
撮像装置１００は、撮像部１１０が撮像した画像データと、マイク２３０が収音したマイク音信号とを記録媒体２００に記録するとともに、動作状態検出対象部材の動作状態が変化したタイミングを示す動作タイミング情報とを記録部２００に記録する記録装置である。この撮像装置１００は、画像データを連続的に撮像して、動画データを撮影することができる。
本実施形態において、このように、画像データ（あるいは動画データ）、マイク音信号、および動作タイミング情報を記録媒体２００に記録する記録装置は、撮像装置１００に組み込まれているものとして説明する。しかし、本発明はこれに限られず、撮像装置本体から着脱可能な別構成の記録装置であってもよく、撮像装置本体から着脱可能な撮像部１１０に搭載されるものであってもよい。また、本実施形態において、低減処理部２５０は、撮像装置１００に内蔵されている例について説明するが、本発明はこれに限られず、撮像装置１００の外部装置であってもよい。さらに、記録媒体２００は、撮像装置１００に対して着脱可能な媒体であるが、本発明はこれに限られず、撮像装置１００に内蔵されているものであってもよい。
【００１３】
また、本実施形態に係るノイズ低減処理部２５０は、動作状態検出対象部材が動作することによって発生する動作音（ノイズ）を低減するためのノイズ低減処理を実行する。
例えば、撮像装置１００が、フォーカスレンズを動作されるＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）やＭＦ（Ｍａｎｕａｌ Ｆｏｃｕｓ）のフォーカス処理において、モータやフォーカスレンズが動くことによる動作音（ノイズ）が発生する。また、モータが回転方向を切り換えた場合、一時的に大きい音のノイズが発生する。
このように、動作状態検出対象部材である光学系やモータが動作した場合あるいは動作状態が変化した場合に、一時的に発生する大きい音を衝撃音という。一方、この衝撃音よりも小さく、動作状態検出対象部材である光学系やこの動作状態検出対象部材を動作させる構成部材であるモータが動いている状態において発生する音を駆動音という。つまり、駆動音は、衝撃音以外のノイズである。
また、撮像装置１００が、ズームレンズを動作させるズーム処理において、モータやズームレンズが動くことによる動作音（ノイズ）が発生する。なお、ズーム処理においては、衝撃音は発生しない。
本実施形態に係る低減処理部２５０は、少なくとも駆動音によるノイズを低減する駆動音ノイズ低減処理を実行するとともに、動作状態検出対象部材の種類に応じて、衝撃音によるノイズを低減する衝撃音ノイズ低減処理を実行する。
このノイズ低減処理部２５０は、外部装置に設けられているものであってもよい。
【００１４】
次に、撮像装置１００の各構成について詳細に説明する。
撮像部１１０は、光学系１１１と、撮像素子１１９と、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部１２０と、レンズ制御部１２１と、バッファメモリ部１２２と、通信部１２３とを備える。
この光学系１１１は、手動により、ユーザによって操作可能である。つまり、光学系１１１は、ＣＰＵ１９０による制御によって動作するとともに、ユーザの操作によって動作する。光学系１１１は、オート動作において、設定される撮像条件（例えば絞り値、露出値等）に応じて予め決められた動作パターンに従って、ＣＰＵ１９０により動作が制御される。一方、マニュアル動作において、光学系１１１は、操作によって変更された撮像条件に応じて動作する。
この撮像部１１０は、光学系１１１による光学像を撮像素子１１９に結像させて、Ａ／Ｄ変換部１２０によってデジタル信号に変換された光学像に基づく画像データを生成する。
【００１５】
光学系１１１は、焦点調整レンズ（以下、「フォーカスレンズ」という）１１２と、手ブレ補正レンズ（以下、「ＶＲ（Ｖｉｂｒａｔｉｏｎ Ｒｅｄｕｃｔｉｏｎ）レンズ」という）１１３と、ズームレンズ１１４と、ズームエンコーダ１１５と、レンズ駆動部１１６と、フォーカスエンコーダ１１７と、手ブレ補正部１１８とを備える。
これら光学系１１１の各構成は、オート動作において、ＣＰＵ１９０による焦点調整処理、手ブレ補正処理、およびズーム処理において、それぞれの動作パターンに従って、駆動する。また、マニュアル動作において、光学系１１１は、操作によって変更された撮像条件に応じて動作する。つまり、光学系１１１は、撮像装置１００における動作状態検出対象部材である。また、ズームレンズ１１４およびズームエンコーダ１１５は、動作状態検出対象部材の動作状態を検出する動作検出部である。
【００１６】
この光学系１１１は、ズームレンズ１１４から入射し、ズームレンズ１１４、ＶＲレンズ１１３、フォーカスレンズ１１２の順番で通過した光学像を、撮像素子１１９の受光面に導く。
レンズ駆動部１１６は、フォーカスレンズ１１２およびズームレンズ１１４の位置を制御するための駆動制御信号（コマンド）をＣＰＵ１９０から入力する。このレンズ駆動部１１６は、入力する駆動制御信号に応じて、フォーカスレンズ１１２およびズームレンズ１１４の位置を制御する。
つまり、この駆動制御信号がＣＰＵ１９０からレンズ駆動部１１６に入力されてレンズ駆動部１１６が駆動することにより、フォーカスレンズ１１２およびズームレンズ１１４が移動（動作）する。
【００１７】
ズームエンコーダ１１５は、ズームレンズ１１４の位置を表わすズームポジションを検出し、ＣＰＵ１９０に出力する。このズームエンコーダ１１５は、ズームレンズ１１４の移動を検出し、例えば、ズームレンズ１１４が光学系１１１内を移動している場合にパルス信号をＣＰＵ１９０に出力する。一方、停止している場合、ズームエンコーダ１１５は、パルス信号の出力を停止する。
【００１８】
フォーカスエンコーダ１１７は、フォーカスレンズ１１２の位置を表わすフォーカスポジションを検出し、ＣＰＵ１９０に出力する。このフォーカスエンコーダ１１７は、フォーカスレンズ１１２の移動を検出する。
【００１９】
なお、ズームエンコーダ１１５は、ズームポジションを検出するために、ズームレンズ１１４の駆動方向を検出するものであってもよい。また、フォーカスエンコーダ１１７は、フォーカスポジションを検出するために、フォーカスレンズ１１２の駆動方向を検出するものであってもよい。
例えば、ズームレンズ１１４やフォーカスレンズ１１２は、レンズ駆動部１１６によって駆動される駆動機構（例えばモータやカム等）が時計回り（ＣＷ）あるいは反時計回り（ＣＣＷ）に回転することにより光軸方向に移動する。ズームエンコーダ１１５およびフォーカスエンコーダ１１７は、それぞれ、駆動機構の回転方向（ここでは、時計回りあるいは反時計回り）を検出することよって、ズームレンズ１１４およびフォーカスレンズ１１２が移動していることを検出するものであってもよい。
【００２０】
手ブレ補正部１１８は、例えば振動ジャイロ機構を備え、光学系１１１による像の光軸ぶれを検出し、この光軸ぶれを打ち消す方向にＶＲレンズ１１３を動かす。この手ブレ補正部１１８は、例えばフォーカスレンズ１１２を動かしている状態においてハイレベルの信号をＣＰＵ１９０に出力する。一方、フォーカスレンズ１１２を停止させている状態において、手ブレ補正部１１８は、ローレベルの信号をＣＰＵ１９０に出力する。
【００２１】
撮像素子１１９は、例えば、光電変換面を備え、その受光面に結像した光学像を電気信号に変換して、Ａ／Ｄ変換部１２０に出力する。
この撮像素子１１９は、操作部１８０を介して撮影指示を受け付けた際に得られる画像データを、静止画又は動画の画像データとして、Ａ／Ｄ変換部１２０を介して記録媒体２００に記録させる。一方、撮像素子１１９は、操作部１８０を介して撮像指示を受け付けていない状態において、連続的に得られる画像データをスルー画データとして、Ａ／Ｄ変換部１２０を介してＣＰＵ１９０および表示部１５０に出力する。
【００２２】
Ａ／Ｄ変換部１２０は、撮像素子１１９によって変換された電気信号をデジタル化して、デジタル信号である画像データをバッファメモリ部１３０に出力する。
レンズ制御部１２１は、ズームエンコーダ１１５とフォーカスエンコーダ１１７からの出力をバッファメモリ部１２２に一時的に記憶する設定がなされている場合、ズームエンコーダ１１５とフォーカスエンコーダ１１７からの出力に、計時部２２０によって計時される時間情報を関連付けてバッファメモリ部１２２に記録する。
バッファメモリ部１２２は、ズームエンコーダ１１５とフォーカスエンコーダ１１７からの出力に時間情報を関連付けた情報を一時的に記録する。
通信部１２３は、定期的に、バッファメモリ部１２２に記録されている情報を読み出して、記録部１６０に記録する。
【００２３】
バッファメモリ部１３０は、撮像部１１０によって撮像された画像データ（あるいは動画データ）を、一時的に記録する。また、バッファメモリ部１３０は、マイク２３０が収音したマイク検出音に応じたマイク音信号を、一時的に記録する。なお、バッファメモリ部１３０は、マイク検出音が収音された時刻と、バッファメモリ部１３０における位置とを対応付けて、マイク検出音に応じたマイク音信号を記録してもよい。
【００２４】
画像処理部１４０は、記録部１６０に記録されている画像処理条件を参照して、バッファメモリ部１３０に一時的に記録されている画像データ（あるいは動画データ）に対して、画像処理をする。画像処理された画像データ（あるいは動画データ）は、通信部１７０を介して記録媒体２００に記録する。なお、画像処理部１４０は、記録媒体２００に記録されている画像データ（あるいは動画データ）に対して、画像処理をしてもよい。
【００２５】
表示部１５０は、例えば液晶ディスプレイであって、撮像部１００によって得られた画像データや操作画面等を表示する。
【００２６】
記録部１６０は、ＣＰＵ１９０によってシーン判定の際に参照される判定条件や、シーン判定によって判断されたシーン毎に対応付けられた撮像条件等を記録する。
【００２７】
通信部１７０は、カードメモリ等の取り外しが可能な記録媒体２００と接続され、この記録媒体２００への情報（画像データ、動画データ、あるいは音データ等）の書込み、読み出し、あるいは消去を行う。
【００２８】
操作部１８０は、マルチセレクター１８１と、マニュアル操作部１８２とを含む。
このマニュアルセレクター１８１は、例えば、電源スイッチ、シャッターボタン、セレクタキー（十字キー）、又はその他の操作キーを含み、ユーザによって操作されることでユーザの操作入力を受け付け、操作入力に応じた操作信号をＣＰＵ１９０に出力する。この操作部１８０は、ユーザによって押下される際、物理的な動作音を発生する場合がある。つまり、マルチセレクター１８１は、動作状態検出対象部材である。
【００２９】
マニュアル操作部１８２は、マニュアル動作によって動作するフォーカスレンズ１１２やズームレンズ１１４等をズーム調整やフォーカス調整を実行する際にユーザが動作させる構成である。このマニュアル操作部１８２は、例えば、撮像部１１０の鏡筒に取り付けられている。なお、マニュアル操作部１８２は、ユーザが当該マニュアル操作部１８２を動かすことによって、その動力が直接ズームレンズ１１４やフォーカスレンズ１１２を動かすものである。つまり、マルチセレクター１８１のように受け付けた操作に応じた操作信号を生成し、ＣＰＵ１９０に出力する構成ではない。言い換えると、ＣＰＵ１９０に入力する操作信号をモニタリングしているだけでは、このようなマニュアル動作によるズームレンズ１１４やフォーカスレンズ１１２の動作を検出することはできない。
【００３０】
ＣＰＵ１９０は、設定された撮像条件（例えば絞り値、露出値等）に応じた動作パターンに従って撮像部１１０を制御する。このＣＰＵ１９０は、ズームエンコーダ１１５から出力されるズームポジションおよびフォーカスエンコーダ１１７から出力されるフォーカスポジションに基づき、レンズ駆動部１１６を駆動する駆動制御信号を生成して、レンズ駆動部１１６に出力する。その生成アルゴリズムは、必要に応じて既存のアルゴリズムを適宜用いてよい。
【００３１】
記録媒体２００は、撮像装置１００に対して着脱可能に接続される記録部であって、例えば、撮像部１１０によって生成された（撮影された）画像データや動画データ、あるいは、低減処理部２５０により音信号処理された音信号を記録する。
【００３２】
バス２９０は、撮像部１１０と、バッファメモリ部１３０と、画像処理部１４０と、表示部１５０と、記録部１６０と、通信部１７０と、操作部１８０と、ＣＰＵ１９０と、加速度センサー２１０と、計時部２２０と、Ａ/Ｄ変換部２４０と、ノイズ低減処理部２５０と、ストロボ２７０と接続され、各構成部から出力されたデータ等を転送する。
【００３３】
加速度センサー２１０は、撮像装置１００における衝撃や振動を検出し、検出結果を示す出力をＣＰＵ１９０に出力する。
計時部２２０は、時間を計時して現時点に時間を示す時間情報を出力する。この計時部２２０は、一定間隔に出力されるクロックや音声サンプリングに使用するクロックをカウントして時間を計時するものであってもよく、日にちや時刻を計時して計時した日時を表わす日時情報を出力するものであってもよい。つまり、計時部２２０が計時した時間は、撮像部１１０によって撮影される動画データの撮影経過時間、マイク２３０によって収音される音声データの収音経過時間、および動作状態検出対象部材が動作した動作時間を一元的に管理する時間である。なお、この計時部２２０は、ＣＰＵ１９０に内蔵されている構成であってもよい。
【００３４】
マイク２３０は、周辺の音を収音し、この音のマイク音信号をＡ/Ｄ変換部２４０に出力する。このマイク２３０によって収音されるマイク検出音には、主に、収音対象である目的音と、動作状態検出対象部材による動作音（ノイズ）とが含まれている。
【００３５】
Ａ/Ｄ変換部２４０は、マイク２３０から入力されたアナログ信号であるマイク音信号をデジタル信号であるマイク音信号に変換する。このＡ/Ｄ変換部２４０は、デジタル信号であるマイク音信号を、低減処理部２５０に出力する。
また、Ａ/Ｄ変換部２４０は、デジタル信号であるマイク音信号を、バッファメモリ部１３０あるいは記録媒体２００に記録する構成であってもよい。
【００３６】
ノイズ低減処理部２５０は、Ａ／Ｄ変換部２４０によりデジタル信号に変換されたマイク音信号に対して、例えばフォーカスレンズ１１２、ＶＲレンズ１１３、ズームレンズ１１４等の動作部による動作音であるノイズを低減するなどのノイズ低減処理を実行し、このノイズ低減処理した音信号を記録媒体２００に記録する。
電池２６０は、撮像装置１００へ供給される電力を蓄電する。
ストロボ２７０は、例えば、開閉式の構造であって、発光する際には発光面が立ち上がるように開かれて、使用しない場合は閉じられて発光面は収納される。このストロボ２７０は、開閉動作の際に動作音（ノイズ）が発生する。また、発光の際に充電する充電音（ノイズ）が発生する。このストロボ２７０は、ＣＰＵ１９０と接続され、ＣＰＵ１９０から入力されるコマンドに従って動作する。
【００３７】
次に、マイク２３０によって取得されたマイク音信号について説明する、例えば、フォーカスレンズ１１２が動作された時に得られたマイク音信号の一例について、図２、３を参照して説明する。
図２（ａ）は、フォーカスエンコーダ１１７の出力と時間との関係の一例を示す。図２（ｂ）は、マイク音信号と時間の関係の一例を示す。なお、図２（ｂ）は、説明便宜のため、マイク音信号のうち、動作音の音信号のみを示し、目的音の音信号の図示を省略する。
【００３８】
図２（ａ）には、その縦軸に、フォーカスエンコーダ１１７出力から求めた、フォーカスレンズ１１２を駆動する駆動機構の回転方向を示す。
この焦点距離Ｐでピントを合わせるＡＦ処理を行う動作パターンでは、図２（ａ）に示す通り、フォーカスレンズ１１２を駆動する駆動機構が、時刻ｔ１１０〜ｔ１２０おいて、時計回りＣＷに回転して、その後、静止する。
つまり、時刻ｔ１１０は、フォーカスレンズ１１２の動作が開始したタイミングを、時刻ｔ１２０は、フォーカスレンズ１１２の動作が停止したタイミングを、それぞれ表わしている。なお、本実施形態において、動作が開始したタイミングの時刻ｔ１１０は、フォーカスレンズ１１２の動作が開始したことを示す信号をフォーカスエンコーダ１１７が出力したタイミングである。動作が停止したタイミングの時刻ｔ１２０は、動作中のフォーカスレンズ１１２の動作が停止したことを示す信号をフォーカスエンコーダ１１７が出力したタイミングである。
【００３９】
従って、図２（ｂ）に示す通り、時刻ｔ１１０〜ｔ１２０の期間で、マイク音信号にフォーカスレンズ１１２による動作音（ノイズ）が目的音に重畳している、又は、動作音（ノイズ）が目的音に重畳している可能性が高い。本実施形態においては、時刻ｔ１１０〜ｔ１２０の期間において、フォーカスレンズ１１２による動作音（ノイズ）が発生している場合について以下説明する。
また、図２（ｂ）に示す通り、時刻ｔ１１０、ｔ１２０においては、それぞれ衝撃音が発生している可能性が高い。本実施形態においては、時刻ｔ１１０、ｔ１２０において、フォーカスレンズ１１２による衝撃音が発生している場合について説明する。
【００４０】
また、衝撃音が発生した場合、その衝撃音が発生している可能性の高い時間は、各動作パターンに応じて予め決められている。例えば、焦点距離Ｐでピントを合わせるＡＦ処理を行う動作パターンでは、図３に示すような衝撃音の発生する時間、および当該衝撃音の音量が予め決められている。
図３は、焦点距離Ｐでピントを合わせるＡＦ処理を行う動作パターンでフォーカスレンズ１１２を駆動した際に、マイク２３０で収音されるマイク音信号の一例を示す。図３に示すグラフは、縦軸にマイク２３０によって収音された音信号を、横軸に時間を、それぞれ示す。なお、図３は、説明便宜のため、マイク２３０によって収音された音信号のうち、動作音（ノイズ）の音信号のみを示し、目的音の音信号の図示を省略する。
焦点距離Ｐでピントを合わせるＡＦ処理を行う動作パターンでは、時刻ｔ１１０〜ｔ１１１までの時間、および時刻ｔ１１９〜ｔ１２０までの時間が、それぞれ、衝撃音の発生する時間であると予め決められている。動作部が動作しない可能性の高い期間を非動作期間Ｔａとする。動作部の動作により衝撃音が発生する可能性の高い期間を衝撃音発生期間Ｔｂとする。動作部の動作により駆動音が発生する可能性の高い期間を駆動音発生期間Ｔｃとする。
時刻ｔ１１０以前の区間、ｔ１２０以降の区間が、非動作期間Ｔａである。時刻ｔ１１００〜ｔ１１１の区間、時刻ｔ１１９〜ｔ１２０の区間が、衝撃音発生期間Ｔｂである。時刻ｔ１１１〜ｔ１１９の区間が、駆動音発生期間Ｔｃである。
【００４１】
次に、図４〜７を参照して、動作状態検出対象部材の動作状態を検出する動作検出部の出力について説明する。この動作検出部の一例として、ズームエンコーダ１１５、フォーカスエンコーダ１１７、および操作部１８０の出力について説明する。なお、図４〜７に示す時間は、計時部２２０によって計時された時間である。
はじめに、図４を参照して、ズームエンコーダ１１５の検出結果について説明する。このズームエンコーダ１１５の検出結果は、ズームレンズ１１５から出力されるパルス信号に基づく判定されるズームレンズ１１４の動作を示す情報である。なお、このズームエンコーダ１１５の検出結果は、ズームエンコーダ１１５の出力であるパルス信号の組み合わせパターンに応じて予め決められており、例えば、ＣＰＵ１９０によって判定される。
図４（ａ）は、撮像部１１０によって撮像された撮影時間を示す。図４（ａ）に示すように、動画データが撮影された時間は、ｔ０〜ｔ１０までの時間である。なお、ｔ０〜ｔ１０までは、ｔ０からの経過時間を示す撮影経過時間を、例えば計時部２２０が計時する。この計時部２２０は、フレーム数や時刻等によって、撮影経過時間を計時する。なお、ｔ０は、撮影部１１０が撮影を開始したタイミングを示す。ｔ１０は、撮影部１１０が撮影を終了したタイミングを示す。
【００４２】
図４（ｂ）は、ズームエンコーダ１１５の検出結果と撮影経過時間との関係の一例を示す。図４（ｂ）に示すように、ｔ１０１〜ｔ１０６の期間でズームエンコーダ１１５は階段状の検出結果を出力している。つまり、このｔ１０１〜ｔ１０６において、ズームレンズ１１４が移動したことを示している。本実施形態において、ズームエンコーダ１１５の検出結果は、図５に示す通り、複数のズームポジション（焦点距離）ｆ１〜ｆ５を示す信号である。
図５は、ズームエンコーダ１１５の検出結果と焦点距離との関係を示す図である。図５において、実線は、ズームエンコーダ１１５の出力を示し、一点鎖線は、焦点距離を示す。
図５に示す通り、ｆ１が広角よりのズームポジション、ｆ５が遠望よりのズームポジションである。広角よりのズームポジションｆ１の方が、焦点距離が短い。望遠よりのズームポジションｆ５の方が、焦点距離が長い。
なお、ズームポジションは、説明便宜のため５段階に区分された値ｆ１〜ｆ５を例に説明するが、本発明はこれに限られず、５段階以上の値であってもよい。また、ズームポジションとは、ズームレンズ１１４の焦点距離範囲を複数個に分割した焦点距離を示す区分である。ズームレンズ１１４が移動すると、ズームエンコーダ１１５がズーム焦点距離範囲を示す信号を出力する。なお、ズームポジションｆ１〜ｆ５が変化するタイミング（動作状態変化タイミング）は、ｔ１０２〜ｔ１０５である。
【００４３】
ここで、図４に戻って、このｔ１０１は、ズームレンズ１１４が動作を開始したタイミングである。ｔ１０６は、ズームレンズ１１４が動作を停止したタイミングである。
なお、撮影開始時刻ｔ０とズームレンズ１１４が動作を開始したタイミングｔ１０１とは、ずれており、ズームレンズ１１４が動作を開始したタイミングｔ１０１の方が遅い。
図４（ｃ）は、マイク２３０の出力と撮影経過時間との関係の一例を示す。図４（ｃ）に示すように、ｔ１０１〜ｔ１０６の期間でノイズが重畳したマイク音信号を出力している。
【００４４】
次に、図６を参照して、フォーカスエンコーダ１１７の出力について説明する。
図６（ａ）は、撮像部１１０によって動画データが撮影された撮影時間を示す。図６（ａ）に示すように、撮影された時間は、ｔ０〜ｔ１０までの時間である。
図６（ｂ）は、フォーカスエンコーダ１１７の出力と撮影経過時間との関係の一例を示す。図６（ｂ）に示すように、ｔ１１０〜ｔ１２０の期間でパルス信号を出力している。つまり、このｔ１１０〜ｔ１２０において、フォーカスレンズ１１２が移動したことを示している。このｔ１１０は、フォーカスレンズ１１２が動作を開始したタイミングである。ｔ１２０は、フォーカスレンズ１１２が動作を停止したタイミングである。
なお、撮影開始時刻ｔ０とフォーカスレンズ１１２が動作を開始したタイミングｔ１１０とは、ずれており、フォーカスレンズ１１２が動作を開始したタイミングｔ１１０の方が遅い。
図６（ｃ）は、マイク２３０の出力と撮影経過時間との関係の一例を示す。図６（ｃ）に示すように、ｔ１１０〜ｔ１２０の期間でノイズが重畳したマイク音信号を出力している。
【００４５】
次に、図７を参照して、マルチセレクター１８１の出力について説明する。マルチセレクター１８１の出力は、このマルチセレクター１８１が出力する操作信号である。
図７（ａ）は、撮像部１１０によって撮像された撮影時間を示す。図７（ａ）に示すように、撮影された時間は、ｔ０〜ｔ１０までの時間である。
図７（ｂ）は、マルチセレクター１８１の出力と撮影経過時間との関係の一例を示す。図７（ｂ）に示すように、マルチセレクター１８１の出力である操作信号は、ｔ２１０〜ｔ２２０、ｔ２３０〜ｔ２４０の期間で出力している。つまり、このｔ２１０〜ｔ２２０、ｔ２３０〜ｔ２４０の期間において、マルチセレクター１８１が操作されたことを示している。このｔ２１０、ｔ２３０は、マルチセレクター１８１が動作を開始したタイミングを示す。ｔ２２０、ｔ２４０は、マルチセレクター１８１の動作が終了したタイミングを示す。
なお、撮影開始時刻ｔ０とマルチセレクター１８１が動作を開始したタイミングｔ２１０、ｔ２３０とは、ずれている。
図７（ｃ）は、マイク２３０の出力と撮影経過時間との関係の一例を示す。図７（ｃ）に示すように、ｔ２１０〜ｔ２２０、ｔ２３０〜ｔ２４０の期間でノイズが重畳したマイク音信号を出力している。
【００４６】
次に、図８を参照して、本実施形態に係る撮像装置１００の動作タイミング情報の記録装置としての機能について説明する。
図８は、撮像装置１００に搭載される記録装置としての最小限の構成の一例を示す図である。
図８に示す通り、撮像装置１００に搭載される記録装置は、動作検出部３００と、ＣＰＵ１９０と、計時部２２０とを備える。
動作検出部３００は、ズームエンコーダ１１５と、フォーカスエンコーダ１１７と、マルチセレクター１８１とを含み、動作状態検出対象部材の動作状態を示す動作情報をＣＰＵ１９０に出力する。この動作情報とは、動作検出部３００に含まれる各構成からの出力であり、例えば、図４（ｂ）に示したズームエンコーダ１１５の出力、図６（ｂ）に示したフォーカスエンコーダ１１７の出力、図７（ｂ）に示したマルチセレクター１８１の出力である。
【００４７】
ＣＰＵ１９０は、タイミング判定部１９１と記録制御部１９４とを備える。
タイミング判定部１９１は、動作タイミング判定部１９２と、制御タイミング判定部１９３とを含む。
動作タイミング判定部１９２は、動作検出部３００から入力する動作情報に基づき、動作状態検出対象部材が動作したか否かを判定する。この動作タイミング判定部１９２は、動作検出部３００から入力する動作情報に基づき、例えば、動作状態検出対象部材の動作が開始したタイミング、動作状態検出対象部材の動作が停止したタイミング、動作状態検出対象部材の動作状態が変更したタイミングを検出した場合、動作状態検出対象部材が動作したことを判定する。この動作タイミング判定部１９２は、動作状態検出対象部材が動作したことを判定した場合、この判定結果を記録制御部１９４に出力する。
【００４８】
例えば、動作タイミング判定部１９２は、図４（ｂ）に示したズームエンコーダ１１５の出力が入力された場合、ズームエンコーダ１１５の検出結果がｆ１からｆ２〜ｆ５に変化したタイミングｔ１０２〜ｔ１０５を検出する。そして、動作タイミング判定部１９２は、ｔ１０２、ｔ１０３、ｔ１０４、ｔ１０５がズームレンズ１１４の動作状態が変更したタイミングであると判定する。
【００４９】
また、動作タイミング判定部１９２は、動作検出部３００からの出力（動作情報）が入力された場合、予め決められた動作判定期間Ｍの間での動作検出部３００のぞれぞれの出力が、動作していると判定するための値（以下、動作出力閾値という）以上であるか否かを判定する。
例えば、フォーカスエンコーダ１１７からの出力が入力された場合について説明する。このフォーカスエンコーダ１１７から出力されるパルス信号のエッジ数が、予め決められている動作出力閾値以上であった場合、当該動作判定期間Ｍに対応する期間は、フォーカスレンズ１１２が動作していると判定する。一方、フォーカスエンコーダ１１７から出力されるパルス信号のエッジ数が、予め決められている動作出力閾値未満であった場合、当該動作判定期間Ｍに対応する期間は、フォーカスレンズ１１２が動作していないと判定する。
また、動作タイミング判定部１９２は、フォーカスレンズ１１２が動作していると判定した期間の最初を、フォーカスレンズ１１２の動作が開始したタイミングと判定し、フォーカスレンズ１１２が動作していると判定した期間の最後を、フォーカスレンズ１１２の動作が停止したタイミングと判定する。
なお、動作判定期間Ｍは、フォーカスエンコーダ１１７のパルス間隔よりも十分に広い時間であって、例えば、１０ｍｓｅｃである。
【００５０】
ここで、動作タイミング判定部１９２による動作状態検出対象部材が動作を開始したタイミングを検出する検出方法の一例について説明する。本実施形態において、動作タイミング判定部１９２は、以下に説明する２つの検出方法のうち少なくともいずれか一方を適用することができる。
図９は、フォーカスエンコーダ１１７の出力と動作タイミングとの関係を示す図である。
図９に示す例では、フォーカスエンコーダ１１７は、ｔ３１０にパルス信号を一時的に出力し、ｔ３２０から連続して出力している。
本実施形態において、ｔ３１０に発生した一時的なパルス信号は、フォーカスエンコーダ１１７に対して外乱振動が発生したことにより発生したパルス信号である。このように、検出対象であるフォーカスレンズ１１２の動作以外の振動であっても、フォーカスエンコーダ１１７からパルス信号が出力され、エッジ（ＬｏｗからＨｉｇｈまたはＨｉｇｈからＬｏｗ）が発生することがある。つまり、このｔ３１０におけるエッジが発生した時点をフォーカスレンズ１１２が動作したタイミングであると判定した場合、この判定は誤判定である。このように、パルス信号の発生時には、フォーカスレンズ１１２の動作時に発生するパルス信号以外の外乱振動等により発生するパルス信号のエッジにより、動作タイミングを誤判定してしまうおそれがある。
【００５１】
また、フォーカスレンズ１１２の動作終了時においては、パルス幅が広くなる。これは、フォーカスエンコーダ１１７のパルス幅が駆動速度に反比例するためである。そのため、フォーカスレンズ１１２がほとんど動作していない状態において発生されたパルス信号によりエッジを検出した場合、ほとんど動作していない状態においてフォーカスレンズ１１２が動作していると誤判定してしまうおそれがある。
【００５２】
動作タイミング判定部１９２は、ｔ３１０から動作判定期間Ｍの間にフォーカスエンコーダ１１７から出力されたパルス信号のエッジ数を算出する。この場合、パルス信号は「０」から「１」に変化し、その後「１」から「０」に変化している。つまり、動作タイミング判定部１９２は、このようなパルス信号の変化の回数を示すエッジ数を算出する。このため、動作タイミング判定部１９２は、フォーカスエンコーダ１１７から出力されるパルス信号のエッジ数が、予め決められている動作出力閾値未満であるため、ｔ３１０からの動作判定期間Ｍでは、フォーカスレンズ１１２が動作していないと判定する。
【００５３】
また、動作タイミング判定部１９２は、ｔ３２０から動作判定期間Ｍの間にフォーカスエンコーダ１１７から出力されたパルス信号の数を算出する。この場合、パルス信号は「１」と「０」とを連続して複数個のパルス信号が出力している。ここで、動作タイミング判定部１９２は、フォーカスエンコーダ１１７から出力されるパルス信号のエッジ数が、予め決められている動作出力閾値以上であるため、ｔ３２０からの動作判定期間Ｍでは、フォーカスレンズ１１２が動作していると判定する。同様にして、動作タイミング判定部１９２は、ｔ３３０からの動作判定期間Ｍ、ｔ３４０からの動作判定期間Ｍについても、フォーカスレンズ１１２が動作していると判定する。
さらに、動作タイミング判定部１９２は、ｔ３５０からの動作判定期間Ｍにフォーカスエンコーダ１１７から出力されたパルス信号のエッジ数を検出する。この場合、フォーカスエンコーダ１１７からパルス信号は出力されていない。このため、動作タイミング判定部１９２は、フォーカスエンコーダ１１７から出力されるパルス信号のエッジ数が、予め決められている動作出力閾値未満であるため、ｔ３５０からの動作判定期間Ｍでは、フォーカスレンズ１１２が動作していないと判定する。
【００５４】
ここで、動作状態検出対象部材が動作を開始したタイミングを検出する第１の検出方法では、以下のようにして、動作を開始したタイミングを検出する。この第１の検出方法は、リアルタイムの検出動作に適している。
動作タイミング判定部１９２は、フォーカスエンコーダ１１７からの出力信号に基づき、フォーカスエンコーダ１１７から入力するパルス信号の値が変化したか否かを判定する。なお、このとき、動作タイミング判定部１９２には、計時部２２０によって計時された時間を示す時間情報が入力されている。
例えば、動作タイミング判定部１９２は、ｔ３２０においてパルス信号の値が変化したことを判定した場合、この変化したタイミングｔ３２０からの動作判定期間Ｍ（つまり、ｔ３２０〜ｔ３３０の期間）で検出されるパルス信号のエッジ数をカウントする。そして、動作判定期間Ｍ（ｔ３２０〜ｔ３３０の期間）において検出されたパルス信号の数が予め決められた回数（動作出力閾値）以上であるか否かを判定する。ここで、動作判定期間Ｍ（ｔ３２０〜ｔ３３０の期間）において検出されたパルス信号のエッジ数は、予め決められた回数（動作出力閾値）以上であるため、動作タイミング判定部１９２は、ｔ３３０において、フォーカスレンズ１１２が動作していることを判定する。そして、動作タイミング判定部１９２は、この判定したタイミングｔ３３０の時間情報を取得する。
【００５５】
この動作タイミング判定部１９２は、フォーカスレンズ１１２が動作していることを判定したタイミングｔ３３０から、動作判定期間Ｍの時間長を減じたタイミングｔ３２０が、フォーカスレンズ１１２が動作を開始したタイミングであると判定する。つまり、動作タイミング判定部１９２は、動作していることを判定した時刻（ｔ３３０）から動作判定期間Ｍを減じた時刻（ｔ３２０）を、動作開始時刻と判定する。
これにより、フォーカスレンズ１１２が動作を開始したタイミングがずれ、この例においては、ｔ３３０の時点がフォーカスレンズ１１２の動作が開始したタイミングであると誤判定されることを防止することができる。
また、動作タイミング判定部１９２は、フォーカスレンズ１１２が動作している状態から動作していない状態に変化したことを判定したタイミングｔ３６０から、動作判定期間Ｍの時間長を減じたタイミングｔ３５０が、フォーカスレンズ１１２が動作を停止したタイミングであると判定する。つまり、動作タイミング判定部１９２は、動作している状態から動作していない状態に変化したことを判定した時刻（ｔ３６０）から動作判定期間Ｍを減じた時刻（ｔ３５０）を、動作停止時刻と判定する。
このようにして、動作タイミング判定部１９２は、フォーカスレンズ１１２の動作開始時刻と動作停止時刻を正確に検出することができる。つまり、ノイズ低減対象期間である動作開始時刻から動作停止時刻をより正確に検出することができるため、ノイズ以外の音信号まで低減させてしまうことによる目的音の音質が劣化を防止することができる。
【００５６】
なお、上述の通り、駆動速度が変化すると、エンコーダから出力されるパルス信号のパルス幅は広くなる。このため、動作部の速度に応じた動作部の動き（動作パターン）に応じて、動作判定期間Ｍを変更するようにしてもよい。例えば、動作部の動作速度が遅くなる期間が予めわかっている場合、例えば、動作終了直前においては、動作開始直後において動作タイミングを判定するための動作判定期間Ｍ１に比べて長い期間である動作判定期間Ｍ２を設定するものであってもよい。
【００５７】
次に、動作状態検出対象部材が動作を開始したタイミングを検出する第２の検出方法について説明する。
動作タイミング判定部１９２は、フォーカスエンコーダ１１７からの出力信号に基づき、フォーカスエンコーダ１１７から入力するパルス信号の値が変化したか否かを判定する。なお、このとき、動作タイミング判定部１９２には、計時部２２０によって計時された時間を示す時間情報が入力されている。
動作タイミング判定部１９２は、フォーカスエンコーダ１１７から入力するパルス信号の値が変化したと判定した場合、この判定したタイミングｔ３２０の時間情報を取得する。そして、動作タイミング判定部１９２は、このタイミングｔ３２０をトリガとして、タイミングｔ３２０からの動作判定期間Ｍ（つまり、ｔ３２０〜ｔ３３０の期間）で検出されるパルス信号の数をカウントする。そして、動作判定期間Ｍ（ｔ３２０〜ｔ３３０の期間）において検出されたパルス信号の数が予め決められた回数（動作出力閾値）以上であるか否かを判定する。ここで、動作判定期間Ｍ（ｔ３２０〜ｔ３３０の期間）において検出されたパルス信号の数は、予め決められた回数（動作出力閾値）以上であるため、動作タイミング判定部１９２は、ｔ３２０において、フォーカスレンズ１１２が動作していることを判定する。
【００５８】
この動作タイミング判定部１９２は、フォーカスレンズ１１２が動作していることを判定した場合、予め取得しているフォーカスエンコーダ１１７から入力するパルス信号の値が変化したと判定したタイミングｔ３２０を、フォーカスレンズ１１２が動作を開始したタイミングであると判定する。
この方法によっても、フォーカスレンズ１１２が動作を開始したタイミングがずれ、この例においては、ｔ３３０の時点がフォーカスレンズ１１２が動作を開始したタイミングであると誤判定されることを防止することができる。
【００５９】
動作タイミング判定部１９２は、上述のような処理を、図６（ｂ）に示したフォーカスエンコーダ１１７の出力に基づき実行することにより、ｔ１１０がフォーカスレンズ１１２の動作が開始したタイミングであり、ｔ１２０がフォーカスレンズ１１２の動作が停止したタイミングであると判定する。
【００６０】
動作タイミング判定部１９２は、図７（ｂ）に示したマルチセレクター１８１の操作信号が入力された場合、操作信号が検出されたタイミングｔ２１０、ｔ２３０をマルチセレクター１８１のクリック音が発生したタイミングと判定し、操作信号が検出されなくなったタイミングｔ２２０、ｔ２４０をマルチセレクター１８１のクリック音が発生したタイミングと判定する。
【００６１】
制御タイミング判定部１９３は、ＣＰＵ１９０が動作状態検出対象部材を動作させる駆動制御信号に基づいて、動作状態検出対象部材の動作状態が変化した動作タイミングを判定し、判定結果を記録制御部１９４に出力する。なお、この駆動制御信号とは、動作部を動作させる駆動部に対して、動作部を動作させるようにする駆動制御信号、または、この駆動部を駆動させる駆動制御信号である。
この制御タイミング判定部１９３は、例えば、ＣＰＵ１９０が出力するコマンドに基づいて、動作状態検出対象部材の動作タイミングを判定する。
この制御タイミング判定部１９３は、タイミング判定部１９１によって、動作タイミング判定部１９２の判定結果と、制御タイミング判定部１９３の判定結果とを組み合わせてタイミングを判定する場合に利用されてもよい。
【００６２】
記録制御部１９４は、タイミング判定部１９１の判定結果に基づき、動作状態検出対象部材が動作したことを判定した場合、当該動作状態検出対象部材の動作タイミングを記録媒体２００に書き込む。この記録制御部１９４は、動作タイミング判定部１９２によって動作状態検出対象部材が動作したことが判定された場合、動作状態検出対象部材が動作したことを示す情報と音信号とを関連付けて記録部に記録する。
具体的に説明すると、記録制御部１９４は、計時部２２０によって計時された時間情報に基づき、動作状態検出対象部材が動作した動作時刻と、音信号が収音された経過時間とを関連付ける。例えば、音信号の収音開始時刻を時刻０として、そこからの経過時間を動作時刻として記録する。
【００６３】
この記録制御部１９４が記録媒体２００に書き込む情報の一例を図１０に示す。
図１０（ａ）は、動作状態検出対象部材の種類ごとに、動作タイミングを書き込む例を説明するための図である。
図示の通り、記録制御部１９４は、動作状態検出対象部材の種類ごとに、動作タイミングを示す動作時間とその動作内容とを関連付けて、記録媒体２００に書き込む。
図示の例において、ズームレンズ１１４の動作内容は、ズームエンコーダ１１５の検出結果であるｆ１〜ｆ５で表現されている。フォーカスレンズ１１２の動作内容は、フォーカスエンコーダ１１７の出力であるＳＴＡＲＴ、ＳＴＯＰで表現されている。マルチセレクターの動作内容は、マルチセレクター１８１の出力である操作信号の入力開始（ＯＮ）と入力停止（ＯＦＦ）で表現されている。
【００６４】
図１０（ｂ）は、動作タイミングを示す動作時間ごとに、動作タイミングを書き込む例を説明するための図である。
図示の通り、記録制御部１９４は、動作タイミングを示す動作時間ごとに、動作タイミングを示す動作時間とその動作内容とを関連付けて、記録媒体２００に書き込む。この場合、動作内容に応じて、その動作の主体である動作状態検出対象部材の種類が判別できるように、その内容の表現が上述の通り、予め決められている。
【００６５】
例えば、記録制御部１９４は、ズームレンズ１１４の動作タイミングを示すズームエンコーダデータとして、ズームエンコーダ１１５の出力がｆ２〜ｆ５に変化したタイミングをｔ１０２〜ｔ１０５を書き込む。
また、記録制御部１９４は、フォーカスレンズ１１２の動作タイミングを示すフォーカスエンコーダデータとして、フォーカスレンズ１１２の動作が開始したタイミング（ＳＴＡＲＴ）をｔ１１０と、フォーカスレンズ１１２の動作が停止したタイミング（ＳＴＯＰ）をｔ１２０と、それぞれ書き込む。なお、初期状態においてフォーカスレンズ１１２は停止しているため、記録制御部１９４は、ｔ０がフォーカスレンズ１１２の動作が停止しているタイミング（ＳＴＯＰ）であることを書き込む。
さらに、記録制御部１９４は、マルチセレクター１８１の動作タイミングを示すマルチセレクターデータとして、マルチセレクター１８１の動作が開始したタイミング（ＯＮ）をｔ２１０、ｔ２３０と、マルチセレクター１８１の動作が停止したタイミング（ＯＦＦ）をｔ２２０、ｔ２４０と、それぞれ書き込む。なお、初期状態においてマルチセレクター１８１はユーザからの指示を何ら受け付けていないため、記録制御部１９４は、ｔ０がマルチセレクター１８１の動作が停止しているタイミング（ＯＦＦ）であることを書き込む。
【００６６】
次に、図１１を参照して、記録制御部１９４が情報を書き込むファイルの一例について説明する。
図１１（ａ）は、動作タイミング情報が、動画データ（あるいは画像データ）および音声データとは異なるファイルで記録される場合の一例を示す図である。
図１１（ａ）に示す通り、動画データと音声データは、動画音声データ用のファイルに格納される。
動作タイミング情報は、動作タイミング情報用のファイルに格納される。
このように、それぞれのファイルを別にすることによって、動画再生時に不具合が生じる可能性を低減させることができる。
【００６７】
なお、本発明はこれに限られず、動画データ、音声データおよび動作タイミング情報を、同一のファイルに一体にして格納してもよく、それぞれを別々のファイルに格納してもよい。
図１１（ｂ）は、動作タイミング情報が、動画データ（あるいは画像データ）および音声データと一体として、同一の一体保存ファイルに記録される場合の一例を示す図である。
【００６８】
次に、図１２を参照して、記録制御部１９４が情報を書き込むファイルの他の例について説明する。
図１２（ａ）は、動作タイミング情報が、動画データ（あるいは画像データ）および音声データとは異なるファイルで記録される場合の一例を示す図である。また、図１２（ｂ）は、動作タイミング情報が、動画データ（あるいは画像データ）および音声データと一体として、同一の一体保存ファイルに記録される場合の一例を示す図である。これらの図のように、記録制御部１９４は、図９で説明した動作判定期間Ｍを動作タイミング情報の一部として記録してもよい。この場合、後述のノイズ低減処理部２５０において、フォーカスレンズ１１２が動作していることを判定したタイミングｔ３３０から、動作判定期間Ｍの時間長を減じたタイミングｔ３２０が、フォーカスレンズ１１２が動作を開始したタイミングであると判定してもよい。
【００６９】
次に、ノイズ低減処理部２５０によるノイズ低減処理の一例について説明する。
図１３は、ノイズ低減処理部２５０の構成の一例を示す図である。
このノイズ低減処理部２５０は、ノイズ低減制御部２５１と、音信号処理部２５２と、衝撃音ノイズ低減処理部２５３と、駆動音ノイズ低減処理部２５４と、逆フーリエ変換部２５５とを含む。
このノイズ低減処理部２５０は、記録媒体２００に保存されている動作タイミング情報に基づき、この記録媒体２００に保存されている音声データに対してノイズ低減処理を実行する。この記録媒体２００には、ノイズ低減処理部２５０によって参照されるノイズ低減制御情報が保存されている。
【００７０】
このノイズ低減制御情報の一例を図１４に示す。図１４に示す通り、ノイズ低減制御情報は、動作状態検出対象部材名と、衝撃音ノイズ低減処理フラグと、駆動音ノイズ低減処理フラグと、設定ノイズとを対応付けるテーブルである。
動作状態検出対象部材名は、ノイズ低減処理部２５０がノイズ低減処理の対象とする動作状態検出対象部材を示す情報である。
衝撃音ノイズ低減処理フラグは、対応する動作状態検出対象部材が衝撃音ノイズ低減処理を実行する対象であるか否かを示す情報である。この衝撃音ノイズ低減処理フラグが立っている場合（図示においては、○が記載されている場合）、衝撃音ノイズ低減処理を実行することを示す。
駆動音ノイズ低減処理フラグは、対応する動作状態検出対象部材が駆動音ノイズ低減処理を実行する対象であるか否かを示す情報である。この駆動音ノイズ低減処理フラグが立っている場合（図示においては、○が記載されている場合）、駆動音ノイズ低減処理を実行することを示す。
設定ノイズは、対応する動作状態検出対象部材によって発生するノイズとして推定される値であって、予め決められている。
【００７１】
図１４に示す通り、ズームレンズ１１４をＣＰＵ１９０の制御によって動作させた場合＜ズームレンズ（オート）＞、ズームレンズ１１４を手動で動作させた場合＜ズームレンズ（マニュアル）＞、ＶＲレンズ１３３を動作させた場合＜ＶＲレンズ＞、ストロボが発光した場合＜ストロボ発光＞は、駆動音ノイズ低減処理のみを実行することが決められている。
フォーカスレンズ１１２をＣＰＵ１９０の制御によって動作させた場合＜フォーカスレンズ（オート）＞、フォーカスレンズ１１２を手動で動作させた場合＜フォーカスレンズ（マニュアル）＞は、衝撃音ノイズ低減処理および駆動音ノイズ低減処理の双方を実行することが決められている。
ユーザがマルチセレクター１８１を操作して動作させた場合＜マルチセレクター＞、撮像装置１００の筐体に衝撃が与えられた場合＜タッチノイズ＞、絞り機構が動作した場合＜絞り機構＞、開閉式のストロボが開いた場合＜ストロボポップアップ＞、動画撮影中に静止の撮像操作が指示された場合＜シャッター音＞は、衝撃音ノイズ低減処理のみを実行することが決められている。
【００７２】
ノイズ低減制御部２５１は、記録媒体２００から動作タイミング情報を読み出し、ノイズ低減制御情報を参照して、各動作状態検出対象部材に応じたノイズ低減をするよう衝撃音ノイズ低減処理部２５３と駆動音ノイズ低減処理部２５４とを制御する。
ここで、ノイズ低減制御部２５１によりノイズ低減される処理対象の一例について、図１４を参照して説明する。図１５は、図１０に示した動作タイミング情報に基づき、動作状態検出対象部材が動作した期間を示す図である。この図１５は、マイク２３０によって収音された目的音と動作状態検出対象部材による動作期間とを同一時間軸上に並べた図である。
図１５に示す通り、ズームレンズ１１４の動作処理Ｊ１、フォーカスレンズ１１２の動作処理Ｊ２、マルチセレクター１８１の操作処理Ｊ３の順番で、各動作状態検出対象部材による動作が発生している。つまり、この処理Ｊ１〜Ｊ３の期間において、動作状態検出対象部材によるノイズが発生している可能性が高い。
ノイズ低減処理部２５０は、図１５に示す各動作状態検出対象部材による動作期間において収音された目的音に対して、ノイズ低減処理を実行する。
【００７３】
ここで、図１６を参照して、音信号処理部２５２により算出される窓関数の各区間に対応する周波数スペクトルの一例について説明する。
音信号処理部２５２は、上述の通り、Ａ/Ｄ変換部２４０から出力されたマイク音信号に対して、図１６に示すように他の区間と半分ずつオーバーラップしている窓関数Ｗ１〜Ｗ１４で重み付けをする。これにより、マイク音信号は、窓関数のサイズに分割される。この音信号処理部２５２は、例えば窓関数Ｗ１〜Ｗ１４で重み付けされた各区間のマイク音信号ごとに、例えばフーリエ変換を行い、周波数領域における周波数スペクトルＳ１〜Ｓ１４を算出する。つまり、音信号処理部２５２によって算出される周波数スペクトルＳ１〜Ｓ１４は、窓関数Ｗ１〜Ｗ１４の区間にそれぞれ対応する周波数スペクトルである。
【００７４】
なお、図１６に示すマイク音信号は、図６において示したフォーカスレンズ１１２の動作により発生したノイズの一例を示す。なお、図１６は、説明便宜のため、マイク音信号のうち、フォーカスレンズ１１２の動作により発生するノイズのみを示し、目的音の音信号の図示を省略している。
図１６に示す通り、フォーカスレンズ１１２を動作させるフォーカス調整処理を行う場合の動作パターンにおいては、動作開始タイミングと動作停止タイミングにおいて衝撃音が発生する。
時刻ｔ１１０以前の区間、ｔ１２０以降の区間が、非動作期間Ｔａである。時刻ｔ１１０〜ｔ１１１の区間、時刻ｔ１１９〜ｔ１２０の区間が、衝撃音発生期間Ｔｂである。時刻ｔ１１１〜ｔ１１９の区間が、駆動音発生期間Ｔｃである。
【００７５】
本実施形態において、窓関数Ｗ１、Ｗ１３、Ｗ１４に対応する周波数スペクトルＳ１、Ｓ１３、Ｓ１４は、非動作期間Ｔａに取得されたマイク音信号の周波数スペクトルである。窓関数Ｗ５〜Ｗ８に対応する周波数スペクトルＳ５〜Ｓ８は、動作部が動作する可能性の高い期間のうち、駆動音発生期間Ｔｃに取得されたマイク音信号の周波数スペクトルである。
また、窓関数Ｗ２〜Ｗ４に対応する周波数スペクトルＳ２〜Ｓ４と、窓関数Ｗ９〜Ｗ１２に対応する周波数スペクトルＳ９〜Ｓ１２は、動作部が動作する可能性の高い期間のうち、衝撃音発生期間Ｔｂに取得されたマイク音信号の周波数スペクトルである。
【００７６】
ノイズ低減制御部２５１は、記録媒体２００に保存されている動作タイミング情報を参照して、動作状態検出対象部材による動作期間を判定する。このノイズ低減制御部２５１は、例えば、ｔ１１０〜１２０の期間が、フォーカスレンズ１１２の動作期間であると判定する。
このノイズ低減制御部２５１は、記録部１６０に保存されているノイズ低減制御情報を参照して、フォーカスレンズ１１２の動作処理については、動作開始タイミングと動作停止タイミングにおいて衝撃音ノイズ低減処理を実行するとともに、動作期間の全体に対して駆動音ノイズ低減処理とを実行すると判定する。
ノイズ低減制御部２５１は、このようにして判定した結果に基づき、衝撃音ノイズ低減処理部２５３と駆動音ノイズ低減処理部２５４とを制御する。
つまり、ノイズ低減制御部２５１は、ｔ１１０から予め決められた期間であるｔ１１０〜ｔ１１１の期間において、フォーカスレンズ１１２の衝撃音ノイズ低減処理を実行することを指示する制御信号を衝撃音ノイズ低減処理部２５３に出力する。また、ノイズ低減制御部２５１は、ｔ１２０までの予め決められた時間であるｔ１１９〜ｔ１２０の期間において、フォーカスレンズ１１２の衝撃音ノイズ低減処理を実行することを指示する制御信号を衝撃音ノイズ低減処理部２５３に出力する。
さらに、ノイズ低減制御部２５１は、ｔ１１０〜ｔ１２０の期間において、フォーカスレンズ１１２の駆動音ノイズ低減処理を実行することを指示する制御信号を駆動音ノイズ低減処理部２５４に出力する。
【００７７】
音信号処理部２５２は、Ａ/Ｄ変換部２４０から出力されたマイク音信号に対して、予め決められた区間ごとに窓関数で重み付けするとともに、この区間毎のマイク音信号を周波数領域で表わされるスペクトルに変換して、この周波数領域で表わされるスペクトル（周波数スペクトル）を衝撃音ノイズ低減処理部２５３と駆動音ノイズ低減処理部２５４に出力する。
この音信号処理部２５２は、例えば、マイク音信号にフーリエ変換、あるいは高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）を行うことで、マイク音信号を周波数領域に変換する。音信号処理部２５２は、例えば、マイク音信号にフーリエ変換を行うことで、窓関数の各区間に対応する周波数スペクトルを算出する。
ここで、窓関数において予め定められた区間とは、信号処理の単位（フレーム）であって、一定の間隔で繰り返される区間である。これらの窓関数の各区間は、他の窓関数の各区間と半分ずつオーバーラップしている。なお、窓関数は、例えば、ハニング窓（ハニングウィンドウ）関数が利用可能である。
【００７８】
衝撃音ノイズ低減処理部２５３は、ノイズ低減制御部２５１から入力する制御信号に基づき、衝撃音発生期間Ｔｂに対応するマイク音に対して、衝撃音ノイズ低減処理を実行する。なお、衝撃音ノイズ低減処理において低減するノイズは、動作状態検出対象部材ごとに予め決められており、ノイズ低減制御情報に規定されている。つまり、衝撃音ノイズ低減処理部２５３は、ノイズ低減制御部２５１から低減すべき設定ノイズが指示される。衝撃音ノイズ低減処理部２５３は、ノイズ低減制御部２５１の制御に従って、指示された動作期間に対して、指示された設定ノイズの低減を実行する。
例えば、衝撃音ノイズ低減処理部２５３は、周波数スペクトルＳ２、Ｓ３、Ｓ４、Ｓ９、Ｓ１０、Ｓ１１、Ｓ１２に対して、設定ノイズを周波数スペクトルに変換したものを減算するスペクトル減算を実行する。
この衝撃音ノイズ低減処理部２５３は、衝撃音ノイズ低減処理後の周波数スペクトルを駆動音ノイズ低減処理部２５４に出力する。
【００７９】
駆動音ノイズ低減処理部２５４は、ノイズ低減制御部２５１から入力する制御信号に基づき、少なくとも駆動音発生期間Ｔｃに対応するマイク音に対して、駆動音ノイズ低減処理を実行する。なお、駆動音ノイズ低減処理において低減するノイズは、動作状態検出対象部材ごとに予め決められており、ノイズ低減制御情報に規定されている。つまり、駆動音ノイズ低減処理部２５４は、ノイズ低減制御部２５１から低減すべき設定ノイズが指示される。駆動音ノイズ低減処理部２５４は、ノイズ低減制御部２５１の制御に従って、指示された動作期間に対して、指示された設定ノイズの低減を実行する。
例えば、駆動音ノイズ低減処理部２５４は、周波数スペクトルＳ２〜Ｓ１２に対して、設定ノイズを周波数スペクトルに変換したものを減算するスペクトル減算を実行する。
この駆動音ノイズ低減処理部２５４は、駆動音ノイズ低減処理後の周波数スペクトルを逆フーリエ変換部２５５に出力する。
【００８０】
なお、駆動音ノイズ低減処理部２５４は、衝撃音ノイズ低減処理と駆動音ノイズ低減処理の両方を実行することが予め決められている動作状態検出対象部材に対しては、衝撃音ノイズ低減処理部２５３から入力する衝撃音ノイズ低減処理後のマイク音信号に対して駆動音ノイズ低減処理を実行する。一方、駆動音ノイズ低減処理のみの実行が予め決められている動作状態検出対象部材に対しては、音信号処理部２５２から入力するマイク音信号に対して駆動音ノイズ低減処理を実行する。
【００８１】
逆フーリエ変換部２５５は、駆動音ノイズ低減処理部２５４から入力された周波数スペクトルに対して、例えば逆フーリエ変換、あるいは逆高速フーリエ変換（ＩＦＦＴ：Inverse Fast Fourier Transform）を行うことで、時間領域に変換する。
そして、通信部１７０は、この逆フーリエ変換部２５５によって時間領域に変換された音信号を記録媒体２００に記録させる。なお、通信部１７０は、時間領域に変換された音信号と、撮像素子１１９により撮像された画像データとを、対応する日時情報を有する同士で対応付けて、記録媒体２００に記録させてもよく、音信号を含む動画として記録してもよい。
【００８２】
次に、図１７を参照して、本発明に係るノイズ情報記録処理方法の一例について説明する。図１７は、本発明に係るノイズ情報記録処理方法の一例を示すフローチャートである。
例えば、操作部１８０の電源スイッチがＯＮされると、撮像装置１００に電源が投入され、電池２６０から各構成部に対して電力が供給される。本実施形態では、撮像装置１００に対して、撮像時の画像データと音声データとを対応付けて記録媒体２００に記録することが予め設定されている。
【００８３】
（ステップＳＴ１）
そして、操作部１８０により、例えば、動画の撮影を開始する指示が入力された場合、以下の処理を実行する。
マイク２３０は、例えば、電源がＯＮされると、収音されたマイク音信号をＡ/Ｄ変換部２４０に出力する。Ａ/Ｄ変換部２４０は、アナログ信号であるマイク音信号をデジタル変換したマイク音信号を低減処理部２５０に出力する。
低減処理部２５０は、Ａ/Ｄ変換部２４０からマイク音信号を入力する。
例えば、ユーザによってズームレンズ１１４を広角から望遠に変更する操作が実行された場合、マニュアル操作部１８２は、ユーザからの受けた動力をズームレンズ１１４に伝達する。これにより、ズームレンズ１１４は、例えば、ズームポジションｆ１からｆ５に移動する。
ズームレンズ１１４が動くと、ズームエンコーダ１１５は、ズームレンズ１１４のｆ１からｆ５への移動に応じた信号を動作タイミング判定部１９２に出力する。
【００８４】
（ステップＳＴ２）
動作タイミング判定部１９２は、動作検出部３００からの入力があるか否かを判定する。このとき、動作タイミング判定部１９２には、計時部２２０によって計時された時間を示す時間情報が入力されている。
例えば、ズームエンコーダ１１５からズームレンズ１１４のズームポジションが変化したことを示す信号が入力した場合、動作タイミング判定部１９２は、ズームレンズ１１４の動作が開始したことを検出する。そして、動作タイミング判定部１９２は、このズームエンコーダ１１５からズームレンズ１１４のズームポジションが変化したことを示す信号を入力したタイミングを、計時部２２０によって計時された時間に基づき取得する。また、ズームエンコーダ１１５からズームレンズ１１４のズームポジションが変化したことを示す信号の入力が終了した場合、動作タイミング判定部１９２は、ズームレンズ１１４の動作が停止したことを検出する。そして、動作タイミング判定部１９２は、このズームエンコーダ１１５からの信号の入力が終了したタイミングを、計時部２２０によって計時された時間に基づき取得する。
【００８５】
なお、フォーカスエンコーダ１１７からパルス信号が入力した場合、動作タイミング判定部１９２は、上述の第１の検出方法あるいは第２の検出方法を用いて、フォーカスエンコーダ１１７の動作が開始したタイミングとフォーカスエンコーダ１１７の動作が停止したタイミングを取得する。
さらに、マルチセレクター１８１が操作されたことを示す操作信号が入力した場合、動作タイミング判定部１９２は、マルチセレクター１８１が動作したことを検出する。そして、動作タイミング判定部１９２は、この操作信号が入力したタイミングを、計時部２２０によって計時された時間に基づき取得し、この操作信号の入力が終了したタイミングを、計時部２２０によって計時された時間に基づき取得する。
動作タイミング判定部１９２は、上述のようにして取得した動作タイミングを示す情報を記録制御部１９４に出力する。
【００８６】
（ステップＳＴ４）
記録制御部１９４は、動作タイミング判定部１９２からの判定結果に基づき、動作タイミング情報を、記録媒体２００内の予め決められたファイル内に記録する。この記録制御部１９４は、動作タイミング判定部１９２によって判定された動作タイミングである動作時間と動作内容を対応付けて記録媒体２００に書き込む。
なお、計時部２２０によって計時された時間は、マイク２３０によって収音され記録媒体に記録される音声データに対しても付与されている。よって、動作タイミング情報と音声データを記録媒体２００に書き込むことにより、記録制御部１９３は、動作状態検出対象部材が動作した動作時間とマイク音信号が収音された経過時間とを関連付けて記録することができる。
【００８７】
次に、図１８を参照して、本発明に係るノイズ低減処理方法の一例について説明する。図１８は、本発明に係るノイズ低減処理方法の一例を示すフローチャートである。
【００８８】
（ステップＳＴ１１）
ノイズ低減処理部２５０のノイズ低減制御部２５１は、記録媒体２００に記録されている音声データに対して関連付けられた動作タイミング情報が記録されているか否かを判定する。
【００８９】
（ステップＳＴ１２）
関連付けられた動作タイミング情報が記録されている場合、ノイズ低減制御部２５１は、この動作タイミング情報と音声データとを読み出す。
そして、ノイズ低減制御部２５１は、動作タイミング情報を参照して、ノイズ低減処理を実行する動作状態検出対象部材を決定する。
例えば、ノイズ低減制御部２５１は、動作タイミング情報に含まれるズームエンコーダデータに基づき、ノイズ低減処理の対象をズームレンズ１１４と決定する。
【００９０】
（ステップＳＴ１３）
次いで、ノイズ低減制御部２５１は、ノイズ低減制御情報を記録部１６０から読み出し、このノイズ低減制御情報の“動作状態検出対象部材名”の項目のズームレンズ（マニュアル）と対応付けられるノイズ低減処理の内容を確認する。
例えば、ノイズ低減制御部２５１は、ズームレンズ（マニュアル）と対応付けられる“衝撃音ノイズ低減処理フラグ”がたっているか否かを判定するとともに、“駆動音ノイズ低減処理フラグ”がたっているか否かを判定する。
【００９１】
（ステップＳＴ１４）
そして、“衝撃音ノイズ低減処理フラグ”が立っている場合、ノイズ低減制御部２５１は、動作タイミング情報が示す動作期間に対して、衝撃音ノイズ低減処理を実行する。また、“駆動音ノイズ低減処理フラグ”が立っている場合、ノイズ低減制御部２５１は、動作タイミング情報が示す動作期間に対して、駆動音ノイズ低減処理を実行する。
例えば、ノイズ低減制御部２５１は、動作タイミング情報に示されるズームレンズ１１４の動作期間であるｔ１０１〜ｔ１０６の動作期間に対して、駆動音ノイズ低減処理を実行するように、駆動音ノイズ低減処理部２５４を制御する。このとき、ノイズ低減制御部２５１は、ノイズ低減制御情報において対応付けられている設定ノイズを読み出し、この設定ノイズの周波数スペクトルを減じるスペクトル減算を実行することを指示する。
【００９２】
そして、衝撃音ノイズ低減処理部２５３は、ノイズ低減制御部２５１から衝撃音ノイズ低減処理の実行が指示された場合、音信号処理部２５２によって周波数スペクトルに変換された音信号のうち、衝撃音発生期間に対応する音信号の周波数スペクトルから、設定ノイズの周波数スペクトルを減じるスペクトル減算を実行する。そして、衝撃音ノイズ低減処理部２５３は、スペクトル減算を実行した音信号の周波数スペクトルを逆フーリエ変換部２５５に出力する。
また、駆動音ノイズ低減処理部２５４は、ノイズ低減制御部２５１から駆動音ノイズ低減処理の実行が指示された場合、音信号処理部２５２によって周波数スペクトルに変換された音信号のうち、駆動音発生期間に対応する音信号の周波数スペクトルから、設定ノイズの周波数スペクトルを減じるスペクトル減算を実行する。そして、駆動音ノイズ低減処理部２５４は、スペクトル減算を実行した音信号の周波数スペクトルを逆フーリエ変換部２５５に出力する。
【００９３】
逆フーリエ変換部２５５は、衝撃音ノイズ低減処理部２５３あるいは駆動音ノイズ低減処理部２５４から入力されたノイズ低減処理後の周波数スペクトルに対して、例えば逆フーリエ変換を行うことで、時間領域に変換する。この逆フーリエ変換部２５５は、時間領域に変換された音信号を記録媒体２００に記録させる。
【００９４】
以上説明したように、本実施形態に係る撮像装置１００の動作タイミング判定部１９２は、動作検出部３００の出力に基づき、動作状態検出対象部材が動作しているか否かを判定し、動作状態検出対象部材が動作していることが判定された場合、この動作状態検出対象部材が動作したことを示す情報（動作タイミング情報）と音信号とを関連付けて記録媒体２００に記録する。
この構成により、本実施形態に係る動作タイミング判定部１９２は、ユーザのマニュアル操作によって動作された動作状態検出対象部材の動作状態についても判定することができる。一方、例えば、動作タイミング判定部１９２を備えず、制御タイミング判定部１９３のみを備える場合、マニュアル操作によってフォーカスレンズ１１２やズームレンズ１１４が動作された場合、この動作があったことを検出することができない。
【００９５】
また、本実施形態に係る動作タイミング判定部１９２は、動作状態検出対象部材が動作したタイミングを確実に判定することができる。一方、ＣＰＵ１９０が動作状態検出対象部材の動作を制御したタイミング（つまり、ＣＰＵ１９０が動作状態検出対象部材にコマンドを出力するタイミング）は、動作状態検出対象部材が動作した可能性が高いタイミングであって、実際に動作状態検出対象部材が動作したタイミングとは異なる場合がある。例えば、制御に必要な演算時間や、モータ起動までの遅れ時間によって、制御したタイミングより実際の動作タイミングは遅れることが多い。また、モータの構造上、制御タイミング（動作を指示するコマンドが出力されたタイミング）と一定時間ずれる場合があるが、その制御タイミングと動作タイミングがずれる間隔は必ずしも一定とは限らない。
本実施形態に係る動作タイミング判定部１９２は、動作検出部３００の出力に基づき、動作状態検出対象部材が動作しているか否かを判定することにより、上述の問題を解決することができる。
これにより、動作タイミング情報を用いて音信号に対するノイズ低減処理を実行する際、ノイズが発生している期間の検出の精度が向上し、ノイズ低減処理の精度の向上につなげることができる。
【００９６】
また、本実施形態に係る撮像装置１００の記録制御部１９４は、動作状態検出対象部材が動作していることが判定された場合、この動作状態検出対象部材が動作したことを示す情報（動作タイミング情報）と音信号とを関連付けて記録媒体２００に記録する。これにより、リアルタイムでノイズ低減処理を実行する際の問題を解決できる。例えば、リアルタイムでノイズ低減処理を実行した場合、撮像装置１００の録画や録音のための電力を消耗してしまう問題や、誤ってノイズが発生していない場合にノイズ低減処理を実行した場合に元に戻せない問題がある。また、ノイズ低減処理のための構成を備えていない撮像装置１００に対しては、ノイズ低減処理部２５０を搭載させなければならないためコストもかかる。
しかしながら、本願発明に係る撮像装置１００のように、記録装置として機能し、取得した動作タイミング情報と音信号とを関連づけて記録媒体２００に記録することにより、例えばユーザが所望した希望のタイミングで、例えば、ユーザのパーソナルコンピュータを用いて、ノイズ低減処理を実行することができる。
【００９７】
なお、本発明は、上述の実施形態に限られない。
例えば、動作タイミング判定部１９２は、撮像部１１０の通信部１２３によって記録部１６０に記録されている情報、つまり、ズームエンコーダ１１５とフォーカスエンコーダ１１７からの出力に時間情報を関連付けた情報を読み出して、動作タイミング判定処理を実行するものであってもよい。
【００９８】
また、ノイズ低減処理装置２５０は、人物の音声について、以下のようなノイズ低減処理をするものであってもよい。動画撮影の機能として、画面内から顔を認識して顔にピントを合わせる顔認識機能がある。
ＣＰＵ１９０は、この顔認識機能を利用して、撮像部１１０によって撮像される画像データに基づき、画像データ内に顔があるか否かを判定する。このＣＰＵ１９０は、顔を認識していない状態から顔を認識した状態になった場合に、顔を認識したことを示す情報と、その顔を認識した時間を示す時間情報を関連付けて、記録媒体２００に記録する。また、ＣＰＵ１９０は、顔認識が解除になったことを示す情報とその時間を示す時間情報とを関連づけて記録部２００に記録する。
顔が認識されている時間は、画面内に人物がいるため、音声が記録されている可能性が高い。ノイズ低減処理部２５０は、顔が認識されている時間は、なるべく音声劣化を防止する条件（例えば、音声に含まれる周波数範囲を保存する処理）でノイズ低減処理を行うように処理を切り替えるものであってもよい。
【００９９】
ここで、図１９を参照して、ＣＰＵ１９０の顔認識の結果とノイズ低減処理について説明する。
図１９（ａ）は、撮像部１１０によって撮像された撮影時間を示す。図１９（ａ）に示すように、動画データが撮影された時間は、ｔ０〜ｔ１０までの時間である。なお、ｔ０〜ｔ１０までは、ｔ０からの経過時間を示す撮影経過時間を、例えば計時部２２０が計時する。
図１９（ｂ）は、ＣＰＵ１９０によって顔認識の結果と撮影経過時間との関係の一例を示す。図１９（ｂ）に示すように、ｔ４１０〜ｔ４２０の期間でＣＰＵ１９０は、顔を認識している。このｔ４１０が、顔を認識したタイミングであって、ｔ４２０が、顔認識を解除したタイミングである。
ノイズ低減処理部２５０は、このｔ４１０〜ｔ４２０の期間に収音された音声データに対してノイズ低減処理を行う場合、たとえば、人間の音声に近い周波数に対応する周波数スペクトルの周波数成分のスペクトル減算を実行せずに、人間の音声に近い周波数以外に対応する周波数スペクトルの周波数成分のスペクトル減算を実行する。
【０１００】
また、動画撮影中に撮影者が周囲の音圧レベルに応じて手動でマイク感度を変更する場合がある。この場合はマイク感度変更スイッチを押した情報に加えて、変更されたマイク感度情報も記録する。マイク感度情報はノイズ処理を行う際に利用する。例えば、マイク感度を半分に下げると、記録されるノイズ音も半分になるため、推定ノイズの値を半分にしてノイズ減算処理を行う。
録音時のマイク感度が自動的に変更される場合は、動画撮影開始時のマイク感度初期値およびマイク感度変更が発生したときの感度変更後の値を時刻情報と共に記録する。
内蔵マイク／外部マイクの使用状況を記録しても良い。動画撮影時の使用状況（例えば内蔵マイク使用）と動画撮影中の使用状況を記録し、内蔵マイク使用時のみノイズ低減処理を行っても良い。
【０１０１】
［第２実施形態］
なお、上述の第１実施形態に係る記録制御部１９４は、撮像装置に着脱可能な交換レンズに設けられる構成であってもよい。この交換レンズの一例について図２０を参照して説明する。
図２０は、本発明に係る記録制御部１９４を備える交換レンズの一例を示す図である。
図２０に示す通り、この交換レンズ４００は、光学系１１１と、撮像素子１１９と、Ａ／Ｄ変換部１２０と、動作タイミング判定部１９２と、記録制御部１９４と、動作検出部３１０と、バッファメモリ４０１とを備える。なお、第１実施形態と同様の構成については、同一の符号を付して、詳細な説明は省略する。
動作検出部３１０は、ズームエンコーダ１１５とフォーカスエンコーダ１１７とを含む。
計時部２２０は、計時した時間を示す時間情報を動作タイミング判定部１９２と、記録制御部１９４と、録音装置５０１とに出力する。この録音装置５０１は、マイクを搭載し、収音した音信データに計時部２２０から入力する時間情報を関連付けて記録部に記録する。
動作タイミング判定部１９２は、動作検出部３１０からの出力信号に基づきフォーカスレンズ１１２とズームレンズ１１４とが動作したことを判定し、動作したことを示す情報と計時部２２０から入力する時間情報とを関連づけて記録制御部１９４に出力する。
記録制御部１９４は、計時部２２０から入力する時間情報をＡ/Ｄ変換部１２０から出力される動画データに付与する。この記録制御部１９４は、動作タイミング判定部１９２から入力する動作したことを示す情報と、Ａ/Ｄ変換部１２０から入力する動画データとを、時間情報に基づき関連付けてバッファメモリ４０１に記録する。
【０１０２】
なお、本発明はこれに限られず、交換レンズ４００における動作タイミング判定部１９２がリアルタイムに動作タイミング判定を実行せずに、動作検出部３１０の出力に計時部２２０からの時間情報を関連付けてバッファメモリ４０１に一時的に保存しておく構成であってもよい。この場合、動作タイミング判定部１９２は、例えば、交換レンズ４００が取り付けられた撮像装置が充電中に動作タイミング判定処理を実行するものであってもよい。
【０１０３】
［第３実施形態］
本発明に係るノイズ低減処理部２５０の衝撃音ノイズ低減処理部２５３は、以下に説明するような衝撃音ノイズ低減処理を実行するものであってもよい。なお、ここで、ノイズ低減処理を実行する対象は、図１６に示したマイク音信号である。
以下、具体的に説明する。
【０１０４】
衝撃音ノイズ低減処理部２５３は、ノイズ低減制御部２５１から入力する制御信号に基づき、例えば、音信号処理部２５２から出力される周波数スペクトルＳ１〜Ｓ１４から、衝撃音が発生している可能性の高い衝撃音発生期間Ｔｂに対応する周波数スペクトル（以下、第１周波数スペクトルという）を取得する。例えば、衝撃音ノイズ低減処理部２５３は、動作開始タイミングｔ１１０に対応する衝撃音発生期間ｔ１１０〜ｔ１１１を示す情報に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ２〜Ｓ４を、第１周波数スペクトルとして取得する。なお、衝撃音発生期間の時間長は、動作状態検出対象部材毎に予め決められている。
衝撃音ノイズ低減処理部２５３は、動作停止タイミングｔ１２０に対応する衝撃音発生期間ｔ１１９〜ｔ１２０を示す情報に基づき、衝撃音が発生している可能性の高い衝撃音発生期間Ｔｂに対応する周波数スペクトルＳ９〜Ｓ１２を、第１周波数スペクトルとして取得する。なお、この衝撃音発生期間の時間長についても、動作状態検出対象部材毎に予め決められている。
【０１０５】
また、衝撃音ノイズ低減処理部２５３は、ノイズ低減制御部２５１から入力する制御信号に基づき、音信号処理部２５２から出力される周波数スペクトルＳ１〜Ｓ１４から、少なくとも衝撃音が発生していない可能性の高い期間（非動作期間Ｔａあるいは駆動音発生期間Ｔｃ）に対応する周波数スペクトル（以下、第２周波数スペクトルという）を取得する。この衝撃音ノイズ低減処理部２５３は、衝撃音を含んでいる可能性の高い第１周波数スペクトルごとに、この衝撃音を含む可能性の低い第２周波数スペクトルを取得する。本実施形態において、衝撃音ノイズ低減処理部２５３は、第１周波数スペクトルと時間軸方向において最も近い衝撃音を含む可能性の低い周波数スペクトルを第２周波数スペクトルとして取得する。つまり、衝撃音ノイズ低減処理部２５３は、第１周波数スペクトルと時間軸方向に隣接あるいは重複する周波数スペクトルを第２周波数スペクトルとして取得する。
【０１０６】
なお、本実施形態において、第２周波数スペクトルは、衝撃音が発生していない可能性の高い期間に対応する周波数スペクトルである。しかし、本発明はこれに限られず、第２周波数スペクトルは、動作部の動作によって発生するノイズ音（駆動音および衝撃音）が発生しない可能性の高い期間（非動作期間Ｔａ）に対応する周波数スペクトルであることが好ましい。
【０１０７】
ここで、図２１を参照して、衝撃音ノイズ低減処理部２５３が取得する第１周波数スペクトルと第２周波数スペクトルとの関係の一例について説明する。図２１は、衝撃音ノイズ低減処理部２５３が取得する第１周波数スペクトルと第２周波数スペクトルの一例を説明するための図である。
例えば、衝撃音ノイズ低減処理部２５３は、動作開始タイミングｔ１１０に対応する衝撃音発生期間ｔ１１０〜ｔ１１０を示す情報（ノイズ低減制御部２５１から入力する制御信号に含まれる）に基づき、第１周波数スペクトルである周波数スペクトルＳ２、Ｓ３に対応する第２周波数スペクトルとして、周波数スペクトルＳ２、３の時間軸の過去方向に最も近い周波数スペクトルＳ１を取得する。また、衝撃音ノイズ低減処理部２５３は、動作開始タイミングｔ１１０に対応する衝撃音発生期間ｔ１１０〜ｔ１１０を示す情報（ノイズ低減制御部２５１から入力する制御信号に含まれる）に基づき、第１周波数スペクトルである周波数スペクトルＳ４に対応する第２周波数スペクトルとして、周波数スペクトルＳ４の時間軸の未来方向に最も近い周波数スペクトルＳ５を取得する。
【０１０８】
また、衝撃音ノイズ低減処理部２５３は、動作停止タイミングｔ１２０に対応する衝撃音発生期間ｔ１１９〜ｔ１２０を示す情報に基づき、第１周波数スペクトルである周波数スペクトルＳ９、Ｓ１０に対応する第２周波数スペクトルとして、周波数スペクトルＳ９、１０の時間軸の過去方向に最も近い周波数スペクトルＳ８を取得する。また、衝撃音ノイズ低減処理部２５３は、動作停止タイミングｔ１２０に対応する衝撃音発生期間ｔ１１９〜ｔ１２０を示す情報に基づき、第１周波数スペクトルである周波数スペクトルＳ１１、１２に対応する第２周波数スペクトルとして、周波数スペクトルＳ１１、１２の時間軸の未来方向に最も近い周波数スペクトルＳ１３を取得する。
【０１０９】
さらに、衝撃音ノイズ低減処理部２５３は、第１周波数スペクトルの少なくとも一部を第２周波数スペクトルの対応する部分に置き換える。
例えば、衝撃音ノイズ低減処理部２５３は、第１周波数スペクトルのうち予め決められた閾値周波数以上の周波数スペクトルと、第２周波数スペクトルのうち予め決められた閾値周波数以上の周波数スペクトルとを、周波数成分ごとに比較して、第２周波数スペクトルの方が第１周波数スペクトルに比べて小さいと判定した場合に、第１周波数スペクトルにおける当該周波数成分を第２周波数スペクトルの周波数成分に置き換える。
【０１１０】
図２２を参照して詳細に説明する。図２２は、一部の周波数スペクトルの周波数成分の一例について説明するための図である。なお、本実施の形態では、説明便宜のため、図１６に示すマイク音信号のうち、窓関数Ｗ１，Ｗ３，Ｗ５，Ｗ７，Ｗ１１，Ｗ１３に対応する周波数スペクトルＳ１，Ｓ３，Ｓ５，Ｓ７，Ｓ１１，Ｓ１３について説明する。
図２２に示す通り、周波数スペクトルＳ１，Ｓ３，Ｓ５，Ｓ７，Ｓ１１，Ｓ１３は、それぞれ、周波数成分ｆ１〜ｆ９の周波数成分を含む。
例えば、衝撃音ノイズ低減処理部２５３は、各周波数スペクトルの閾値周波数以上の周波数成分として、周波数成分ｆ３〜ｆ９について、第１周波数スペクトルと第２周波数スペクトルを比較することが予め決められている。よって、衝撃音ノイズ低減処理部２５３は、周波数成分ｆ１，ｆ２については、第１周波数スペクトルと第２周波数スペクトルを比較しない。
【０１１１】
ここで、図２３を参照して、周波数スペクトルＳ１とＳ３について、衝撃音ノイズ低減処理部２５３による衝撃音ノイズ低減処理の一例について説明する。
図２３は、周波数スペクトルＳ１とＳ３の周波数成分ごとに、振幅の比較について説明するための図である。
例えば、衝撃音ノイズ低減処理部２５３は、周波数スペクトルＳ１の周波数成分ｆ３の振幅と、周波数スペクトルＳ３の周波数成分ｆ３の振幅とを比較する。この場合、周波数スペクトルＳ１の周波数成分ｆ３の振幅の方が、周波数スペクトルＳ３の周波数成分ｆ３の振幅に比べて小さい。よって、衝撃音ノイズ低減処理部２５３は、周波数スペクトルＳ３の周波数成分ｆ３を、周波数スペクトルＳ１の周波数成分ｆ３に置き換える。
また、衝撃音ノイズ低減処理部２５３は、周波数スペクトルＳ１の周波数成分ｆ４の振幅と、周波数スペクトルＳ３の周波数成分ｆ４の振幅とを比較する。この場合、周波数スペクトルＳ１の周波数成分ｆ４の振幅の方が、周波数スペクトルＳ３の周波数成分ｆ４の振幅に比べて大きい。よって、衝撃音ノイズ低減処理部２５３は、周波数スペクトルＳ３の周波数成分ｆ３を、周波数スペクトルＳ１の周波数成分ｆ３に置き換えない。
このようにして、衝撃音ノイズ低減処理部２５３は、周波数スペクトルＳ１の周波数成分の振幅の方が、周波数スペクトルＳ３の周波数成分の振幅に比べて小さい場合のみ、周波数スペクトルＳ３の周波数成分を周波数スペクトルＳ１の周波数成分に置き換える。
図２３に示す場合、衝撃音ノイズ低減処理部２５３は、周波数スペクトルＳ３の周波数成分ｆ３、ｆ６〜ｆ９を周波数スペクトルＳ１の周波数成分ｆ３、ｆ６〜ｆ９に置き換える。
【０１１２】
次に、図２４を参照して、本実施形態に係るノイズ低減処理方法の一例について説明する。図２４は、本実施形態に係るノイズ低減処理方法の一例を示すフローチャートである。
例えば、操作部１８０の電源スイッチがＯＮされると、撮像装置１００に電源が投入され、電池２６０から各構成部に対して電力が供給される。本実施形態では、撮像装置１００に対して、撮像時の画像データと音声データを対応付けて記憶媒体２００に記憶させることが予め設定されている。
【０１１３】
（ステップＳＴ２１）
衝撃音ノイズ低減処理部２５３は、ノイズ低減制御部２５１から衝撃音ノイズ低減処理を実行することを指示する制御信号が入力されたか否かを判定する。衝撃音ノイズ低減処理部２５３は、衝撃音ノイズ低減処理が指示された場合、ステップＳＴ２２に移行し、指示されていない場合、ステップＳＴ２６に移行する。
（ステップＳＴ２２）
一方、音信号処理部２５２は、Ａ／Ｄ変換部２４０から出力されたマイク音信号に対して、予め決められた区間ごとに窓関数で重み付けするとともに、この区間毎のマイク音信号を周波数領域で表わされる周波数スペクトルに変換する。音信号処理部２５２は、例えば、窓関数で重み付けされた音信号をフーリエ変換して、周波数スペクトルＳ１〜Ｓ１４を算出する。
【０１１４】
（ステップＳＴ２３）
そして、音信号処理部２５２は、動作タイミング信号に基づき、衝撃音発生期間に対応する周波数スペクトルの周波数成分の総和と、予め決められた閾値とを比較する。
例えば、音信号処理部２５２は、動作開始タイミングｔ１１０に対応する衝撃音発生期間ｔ１１０〜ｔ１１１を示す動作タイミング信号に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ２〜Ｓ４を取得する。そして、音信号処理部２５２は、周波数スペクトルＳ２〜Ｓ４ごとに、周波数成分の総和が予め決められた閾値未満であるか否かを判定する。また、音信号処理部２５２は、動作停止タイミングｔ１２０に対応する衝撃音発生期間ｔ１１９〜ｔ１２０を示す情報に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ９〜Ｓ１２を取得する。そして、音信号処理部２５２は、周波数スペクトルＳ９〜Ｓ１２ごとに、周波数成分の総和が予め決められた閾値未満であるか否かを判定する。
【０１１５】
そして、音信号処理部２５２は、周波数成分の総和が予め決められた閾値未満であった周波数スペクトルを衝撃音ノイズ低減処理部２５３に出力するとともに、この周波数スペクトルに対して衝撃音ノイズ低減処理を実行するよう衝撃音ノイズ低減処理部２５３を制御する。
【０１１６】
（ステップＳＴ２４）
次いで、衝撃音ノイズ低減処理部２５３は、音信号処理部２５２から衝撃音ノイズ低減処理を実行する制御に基づき、Ａ/Ｄ変換部２４０から入力するマイク音信号に対して衝撃音ノイズ低減処理を実行する。
例えば、衝撃音ノイズ低減処理部２５３は、動作開始タイミングｔ１１０に対応する衝撃音発生期間ｔ１１０〜ｔ１１１を示す動作タイミング信号に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ２〜Ｓ４を、第１周波数スペクトルとして取得する。
そして、衝撃音ノイズ低減処理部２５３は、動作開始タイミングｔ１１０に対応する衝撃音発生期間ｔ１１０〜ｔ１１１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ２、Ｓ３に対応する第２周波数スペクトルとして、周波数スペクトルＳ２、３の直前の周波数スペクトルＳ１を取得する。また、衝撃音ノイズ低減処理部２５３は、動作開始タイミングｔ１１０に対応する衝撃音発生期間ｔ１１０〜ｔ１１１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ４に対応する第２周波数スペクトルとして、周波数スペクトルＳ４の直後の周波数スペクトルＳ５を取得する。
【０１１７】
また、衝撃音ノイズ低減処理部２５３は、動作停止タイミングｔ１２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、衝撃音が発生している可能性のある期間に対応する周波数スペクトルＳ９〜Ｓ１２を、第１周波数スペクトルとして取得する。
そして、衝撃音ノイズ低減処理部２５３は、動作停止タイミングｔ２０に対応する衝撃音発生期間ｔ２０〜ｔ２１を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ９、Ｓ１０に対応する第２周波数スペクトルとして、周波数スペクトルＳ９、１０の直前の周波数スペクトルＳ８を取得する。また、衝撃音ノイズ低減処理部２５３は、動作開始タイミングｔ１２０に対応する衝撃音発生期間ｔ１１９〜ｔ１２０を示す動作タイミング信号に基づき、第１周波数スペクトルである周波数スペクトルＳ１１、１２に対応する第２周波数スペクトルとして、周波数スペクトルＳ１１、１２の直後の周波数スペクトルＳ１３を取得する。
【０１１８】
（ステップＳＴ２５）
次いで、衝撃音ノイズ低減処理部２５３は、各周波数スペクトルの閾値周波数以上の周波数成分として、周波数成分ｆ３〜ｆ９について、第１周波数スペクトルと第２周波数スペクトルを比較する。
例えば、衝撃音ノイズ低減処理部２５３は、周波数スペクトルＳ１の周波数成分ｆ３の振幅と、周波数スペクトルＳ２の周波数成分ｆ３の振幅とを比較する。この場合、周波数スペクトルＳ１の周波数成分ｆ３の振幅の方が、周波数スペクトルＳ２の周波数成分ｆ３の振幅に比べて小さい。よって、衝撃音ノイズ低減処理部２５３は、周波数スペクトルＳ３の周波数成分ｆ３を、周波数スペクトルＳ１の周波数成分ｆ３に置き換える。
また、衝撃音ノイズ低減処理部２５３は、周波数スペクトルＳ１の周波数成分ｆ４の振幅と、周波数スペクトルＳ２の周波数成分ｆ４の振幅とを比較する。この場合、周波数スペクトルＳ１の周波数成分ｆ４の振幅の方が、周波数スペクトルＳ２の周波数成分ｆ４の振幅に比べて大きい。よって、衝撃音ノイズ低減処理部２５３は、周波数スペクトルＳ３の周波数成分ｆ３を、周波数スペクトルＳ１の周波数成分ｆ３に置き換えない。
このようにして、衝撃音ノイズ低減処理部２５３は、周波数スペクトルＳ１の周波数成分の振幅の方が、周波数スペクトルＳ３の周波数成分の振幅に比べて小さい場合のみ、周波数スペクトルＳ３の周波数成分を周波数スペクトルＳ１の周波数成分に置き換える。
そして、衝撃音ノイズ低減処理部２５３は、周波数スペクトルＳ３の周波数成分ｆ３、ｆ６〜ｆ９を、周波数成分を周波数スペクトルＳ１の周波数成分ｆ３、ｆ６〜ｆ９と置き換えて、衝撃音ノイズ低減処理後の周波数スペクトルＳ´３を駆動音ノイズ低減処理部２５４に出力する。
【０１１９】
衝撃音ノイズ低減処理部２５３は、同様にして、第１周波数スペクトルである周波数スペクトルＳ２と第２周波数スペクトルＳ１との比較と、第１周波数スペクトルである周波数スペクトルＳ４と第２周波数スペクトルＳ５との比較を行う。そして、第２周波数スペクトルＳ１、Ｓ５の周波数成分の振幅の方が、それぞれ、周波数スペクトルＳ２、Ｓ４の周波数成分の振幅に比べて小さい場合のみ、周波数スペクトルＳ２、Ｓ４の周波数成分をそれぞれ周波数スペクトルＳ１、Ｓ５の周波数成分に置き換えて、衝撃音ノイズ低減処理後の周波数スペクトルＳ´２、Ｓ´４を駆動音ノイズ低減処理部２５４に出力する。
【０１２０】
また、衝撃音ノイズ低減処理部２５３は、同様にして、第１周波数スペクトルである周波数スペクトルＳ９、Ｓ１０と第２周波数スペクトルＳ８との比較、および第１周波数スペクトルである周波数スペクトルＳ１１、Ｓ１２と第２周波数スペクトルＳ１３との比較を行う。そして、第２周波数スペクトルＳ８の周波数成分の振幅の方が、それぞれ、周波数スペクトルＳ９、Ｓ１０の周波数成分の振幅に比べて小さい場合のみ、周波数スペクトルＳ９、Ｓ１０の周波数成分をそれぞれ周波数スペクトルＳ８の周波数成分に置き換えて、衝撃音ノイズ低減処理後の周波数スペクトルＳ´９、Ｓ´１０を駆動音ノイズ低減処理部２５４に出力する。同様にして、第２周波数スペクトルＳ１３の周波数成分の振幅の方が、それぞれ、周波数スペクトルＳ１１、Ｓ１２の周波数成分の振幅に比べて小さい場合のみ、周波数スペクトルＳ１１、Ｓ１２の周波数成分をそれぞれ周波数スペクトルＳ１３の周波数成分に置き換えて、衝撃音ノイズ低減処理後の周波数スペクトルＳ´１１、Ｓ´１２を駆動音ノイズ低減処理部２５４に出力する。
【０１２１】
（ステップＳＴ２６）
駆動音ノイズ低減処理部２５４は、ノイズ低減制御部２５１から駆動音ノイズ低減処理を実行することを指示する制御信号が入力されたか否かを判定する。駆動音ノイズ低減処理部２５４は、駆動音ノイズ低減処理が指示された場合、ステップＳＴ２７に移行し、指示されていない場合、ステップＳＴ２８に移行する。
【０１２２】
（ステップＳＴ２７）
次いで、駆動音ノイズ低減処理部２５４は、音信号処理部２５２から入力するマイク音信号の周波数スペクトルと、衝撃音ノイズ低減処理部２５３から入力する衝撃音ノイズ低減処理後の周波数スペクトルに基づき、駆動音ノイズ低減処理を実行する。例えば、駆動音ノイズ低減処理部２５４は、動作開始タイミングｔ１１０に対応する衝撃音発生期間ｔ１１０〜ｔ１１１を示す動作タイミングと、動作停止タイミングｔ１２０に対応する衝撃音発生期間ｔ１１９〜ｔ１２０を示す動作タイミング信号に基づき、駆動音が発生している可能性のある期間に対応する周波数スペクトルＳ２〜Ｓ１２を、第３周波数スペクトルとして取得する。
この駆動音ノイズ低減処理部２５４は、取得した第３周波数スペクトルＳ２〜Ｓ１２のうち、衝撃音ノイズ低減処理後の周波数スペクトルに対応する周波数スペクトルをＳ２〜Ｓ４、Ｓ９〜Ｓ１２を、衝撃音ノイズ低減処理後の周波数スペクトルＳ´２、Ｓ´３、Ｓ´４、Ｓ´９、Ｓ´１０、Ｓ´１１、Ｓ´１２に置き換える。そして、駆動音ノイズ低減処理部２５４は、衝撃音ノイズ低減処理後の周波数スペクトルＳ´２、Ｓ´３、Ｓ´４、Ｓ´９、Ｓ´１０、Ｓ´１１、Ｓ´１２と、周波数スペクトルＳ５〜Ｓ７に対して駆動音ノイズ低減処理を実行する。つまり、駆動音ノイズ低減処理部２５４は、駆動パターンに応じて予め決められているノイズを表わす周波数スペクトルの周波数成分を、衝撃音ノイズ低減処理後の第３周波数スペクトルＳ´２〜Ｓ´４、Ｓ５〜７、Ｓ´９〜Ｓ´１２の周波数成分からそれぞれ減算する。駆動音ノイズ低減処理部２５４は、この駆動音ノイズ低減処理後の周波数スペクトルを逆フーリエ変換部２５４に出力する。
【０１２３】
（ステップＳＴ２８）
逆フーリエ変換部２５４は、駆動音ノイズ低減処理部２５４から入力された駆動音ノイズ低減処理後の周波数スペクトルに対して、例えば逆フーリエ変換を行うことで、時間領域に変換する。この逆フーリエ変換部２５４は、時間領域に変換された音信号を記憶媒体２００に記憶させる。
【０１２４】
次に、図２５を参照して、動作タイミング判定部１９２によって判定される動作開始タイミングの一例について説明する。
図２５には、例えば、コマンド出力と、フォーカスエンコーダ１１７の出力と、マイク２３０が出力するマイク音信号の一例を示す図である。
図示において、コマンド出力の波形の立ち上がり時（ＬｏｗからＨｉｇｈ）は、コマンドの送信開始時刻を示している。コマンド出力の波形の立ち下がり時（ＨｉｇｈからＬｏｗ）は、コマンドの送信終了時刻を示している。なお、制御タイミング判定部１９３は、コマンドの送信終了時刻（ｔ５０１）を動作開始タイミングであると判定する。この制御タイミング判定部１９３によって判定される動作開始タイミングは予め決められおり、ここでは、コマンド送信終了時刻と決められている。
【０１２５】
上述の通り、動作タイミング判定部１９２は、動作判定期間Ｍに対応する期間において、フォーカスエンコーダ１１７から出力されるパルス信号のエッジ数が、予め決められている動作出力閾値以上であった場合、当該動作判定期間Ｍに対応する期間は、フォーカスレンズ１１２が動作していると判定する。一方、フォーカスエンコーダ１１７から出力されるパルス信号のエッジ数が、予め決められている動作出力閾値未満であった場合、当該動作判定期間Ｍに対応する期間は、フォーカスレンズ１１２が動作していないと判定する。
このようにして、動作タイミング判定部１９２は、ｔ５０２が動作開始タイミングであり、ｔ５０３が動作停止タイミングであると判定する。
【０１２６】
しかし、図２５に示すように、フォーカスレンズ１１２の駆動系（ギア列等）のバックラッシュの影響で、フォーカスエンコーダ１１７の出力が、実際のフォーカスレンズ１１２の駆動系の動作開始タイミングとずれる場合がある。
図２５に示す通り、実際のフォーカスレンズ１１２の駆動系の動作開始タイミングは、動作タイミング判定部１９２によって動作開始タイミングと判定されたｔ５０２ではなく、コマンドの送信終了時刻ｔ５１０である。
【０１２７】
そこで、本実施形態に係るタイミング判定部１９１は、動作部の種類に応じて、動作開始タイミングについては、動作タイミング判定部１９２によって判定された動作開始タイミング（ｔ５０２）ではなく、制御タイミング判定部１９３によって判定された動作開始タイミング（ｔ５０１）を動作開始タイミングと決定する。なお、動作開始タイミングとして、動作タイミング判定部１９２によって決定されたタイミング、あるいは、制御タイミング判定部１９３によって判定されたタイミングを採用するかは、動作部の種類に応じて予め決められている。
これにより、タイミング判定部１９１は、図２５を用いて説明したとおり、駆動系の実際の開始タイミングとフォーカスエンコーダ１１７の出力とがずれてしまった場合であっても、動作部によるノイズが発生した期間を検出することができる。
なお、上述の通り、タイミング判定部１９１が動作タイミング判定部１９２による判定結果と制御タイミング判定部１９３による判定結果を用いて動作タイミングを決定する際、動作タイミング判定部１９２は、上述の動作状態検出対象部材が動作を開始したタイミングを検出する第１の検出方法あるいは第２の検出方法のいずれか一方を利用することができる。
【０１２８】
また、タイミング判定部１９１又はノイズ低減処理部２５０等による手順を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものであってもよい。
【０１２９】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記録装置のことをいう。
【０１３０】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記録装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【０１３１】
１００…撮像装置、１１０…撮像部、１９０…ＣＰＵ、１９１…タイミング判定部部、１９２…動作タイミング判定部、１９４…記録制御部、２００…記録媒体、２３０…マイク、２４０…Ａ/Ｄ変換部、２５０…ノイズ低減処理部、３００…動作検出部
【特許請求の範囲】
【請求項１】
構成部材の動作状態に応じた信号を出力する動作検出部と、
前記動作検出部からの検出結果に基づき、予め決められた判定期間内において、予め決められた回数以上のパルス信号が前記動作検出部から出力されたか否かを判定し、前記判定期間内において前記回数以上のパルス信号の出力があったと判定された場合、前記構成部材が動作していると判定する動作タイミング判定部とを備えることを特徴とする動作タイミング判定装置。
【請求項２】
音信号が収音された経過時間を計時する第１計時部をさらに備え、
前記動作タイミング判定部は、
前記動作検出部から出力された信号に基づき、予め決められた判定期間内において、予め決められた回数以上のパルス信号が前記動作検出部から出力されたか否かを判定し、前記判定期間内において前記回数以上のパルス信号の出力があったことを判定した期間を前記第１計時部によって計時された時間に基づき検出し、前記判定期間内において前記回数以上のパルス信号の出力があったことを判定した期間から前記判定期間の時間長を減じたタイミングを前記構成部材が動作したタイミングであると判定することを特徴とする請求項１に記載の動作タイミング判定装置。
【請求項３】
音信号が収音された経過時間を計時する第２計時部をさらに備え、
前記動作タイミング判定部は、
前記動作検出部からの出力が変化したタイミングを前記第２計時部によって計時された時刻に基づき検出し、当該動作検出部からの出力が変化した時刻から予め決められた判定期間内に、予め決められた回数以上のパルス信号の出力が前記動作検出部から出力されたか否かを判定し、前記判定期間内において前記回数以上のパルス信号の出力が前記動作検出部からあったことを判定した場合、前記動作検出部からの出力が変化した時刻を前記構成部材が動作したタイミングであると判定することを特徴とする請求項１に記載の動作タイミング判定装置。
【請求項４】
上述の請求項１から３のうちいずれか一項に記載の動作タイミング判定装置を含むことを特徴とする撮像装置。
【請求項５】
前記動作タイミング判定部によって前記構成部材が動作していると判定された場合、当該構成部材が動作したことを示す情報と前記判定期間の時間長を示す情報とを、前記音信号とを関連付けて記録部に記録する記録制御部をさらに備えることを特徴とする請求項４に記載の撮像装置。
【請求項６】
コンピュータを、
上述の請求項１から３に記載のうちいずれか一項に記載の動作タイミング判定装置によって判定された構成部材が動作したことを示す情報に基づき、音信号のうち前記当該構成部材が動作した期間に対してノイズ低減処理を実行するノイズ低減処理手段として機能させるためのプログラム。
【請求項１】
構成部材の動作状態に応じた信号を出力する動作検出部と、
前記動作検出部からの検出結果に基づき、予め決められた判定期間内において、予め決められた回数以上のパルス信号が前記動作検出部から出力されたか否かを判定し、前記判定期間内において前記回数以上のパルス信号の出力があったと判定された場合、前記構成部材が動作していると判定する動作タイミング判定部とを備えることを特徴とする動作タイミング判定装置。
【請求項２】
音信号が収音された経過時間を計時する第１計時部をさらに備え、
前記動作タイミング判定部は、
前記動作検出部から出力された信号に基づき、予め決められた判定期間内において、予め決められた回数以上のパルス信号が前記動作検出部から出力されたか否かを判定し、前記判定期間内において前記回数以上のパルス信号の出力があったことを判定した期間を前記第１計時部によって計時された時間に基づき検出し、前記判定期間内において前記回数以上のパルス信号の出力があったことを判定した期間から前記判定期間の時間長を減じたタイミングを前記構成部材が動作したタイミングであると判定することを特徴とする請求項１に記載の動作タイミング判定装置。
【請求項３】
音信号が収音された経過時間を計時する第２計時部をさらに備え、
前記動作タイミング判定部は、
前記動作検出部からの出力が変化したタイミングを前記第２計時部によって計時された時刻に基づき検出し、当該動作検出部からの出力が変化した時刻から予め決められた判定期間内に、予め決められた回数以上のパルス信号の出力が前記動作検出部から出力されたか否かを判定し、前記判定期間内において前記回数以上のパルス信号の出力が前記動作検出部からあったことを判定した場合、前記動作検出部からの出力が変化した時刻を前記構成部材が動作したタイミングであると判定することを特徴とする請求項１に記載の動作タイミング判定装置。
【請求項４】
上述の請求項１から３のうちいずれか一項に記載の動作タイミング判定装置を含むことを特徴とする撮像装置。
【請求項５】
前記動作タイミング判定部によって前記構成部材が動作していると判定された場合、当該構成部材が動作したことを示す情報と前記判定期間の時間長を示す情報とを、前記音信号とを関連付けて記録部に記録する記録制御部をさらに備えることを特徴とする請求項４に記載の撮像装置。
【請求項６】
コンピュータを、
上述の請求項１から３に記載のうちいずれか一項に記載の動作タイミング判定装置によって判定された構成部材が動作したことを示す情報に基づき、音信号のうち前記当該構成部材が動作した期間に対してノイズ低減処理を実行するノイズ低減処理手段として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【公開番号】特開２０１２−２４９１１０（Ｐ２０１２−２４９１１０Ａ）
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願番号】特願２０１１−１１９７６１（Ｐ２０１１−１１９７６１）
【出願日】平成２３年５月２７日（２０１１．５．２７）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願日】平成２３年５月２７日（２０１１．５．２７）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]