情報処理装置、撮像装置、情報処理方法およびプログラム
【課題】撮像動作時における設定内容を適切に決定する。
【解決手段】情報処理装置は、制御部を備える。制御部は、音取得部により取得された周囲の音と、撮像部により生成された画像とに基づいて、その撮像部の撮像動作時における設定内容を決定するための制御を行う。また、情報処理装置は、音取得部により取得された周囲の音に基づいてその音を発する対象物を判定する第１判定部と、撮像部により生成された画像に基づいてその画像に含まれる対象物を判定する第２判定部とをさらに具備するようにしてもよい。この場合に、制御部は、第１判定部による判定結果と、第２判定部による判定結果とに基づいて、その設定内容を決定する。
【解決手段】情報処理装置は、制御部を備える。制御部は、音取得部により取得された周囲の音と、撮像部により生成された画像とに基づいて、その撮像部の撮像動作時における設定内容を決定するための制御を行う。また、情報処理装置は、音取得部により取得された周囲の音に基づいてその音を発する対象物を判定する第１判定部と、撮像部により生成された画像に基づいてその画像に含まれる対象物を判定する第２判定部とをさらに具備するようにしてもよい。この場合に、制御部は、第１判定部による判定結果と、第２判定部による判定結果とに基づいて、その設定内容を決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置に関する。詳しくは、撮像動作を制御する情報処理装置、撮像装置および情報処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
近年、人物等の被写体を撮像して画像（画像データ）を生成し、この生成された画像（画像データ）を画像コンテンツ（画像ファイル）として記録する情報処理装置（例えば、デジタルスチルカメラ等の撮像装置）が普及している。この情報処理装置が撮像動作を行う場合には、記録される画像（画像データ）を綺麗に記録するため、その撮像動作に関する各パラメータを適切に設定することが重要となる。このため、撮像動作に関する各パラメータを適切に設定するための技術が多数提案されている。
【０００３】
また、例えば、被写体の撮像動作時に取得された音声信号の特徴量を分析し、この分析された音声信号の特徴量に基づいて、画像処理パラメータを制御する撮像装置が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１４７５８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の従来技術では、被写体の撮像動作時に取得された音声信号を用いて、その撮像動作に関する各パラメータを制御することができる。
【０００６】
しかしながら、例えば、撮像範囲に含まれる対象物以外の対象物（すなわち、撮像範囲に含まれない対象物）が音を発していることも想定される。また、撮像範囲に含まれる対象物のうち、主要対象物（例えば、撮影者がフォーカスを合わせている対象物）以外の対象物が音を発していることも想定される。このため、音を発している対象物と、この対象物以外の対象物との関係を考慮して、撮像動作時における設定内容を適切に決定することが重要である。
【０００７】
本技術はこのような状況に鑑みて生み出されたものであり、撮像動作時における設定内容を適切に決定することを目的とする。
【課題を解決するための手段】
【０００８】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、音取得部により取得された周囲の音と撮像部により生成された画像とに基づいて上記撮像部の撮像動作時における設定内容を決定するための制御を行う制御部を具備する情報処理装置およびその情報処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、音取得部により取得された周囲の音と、撮像部により生成された画像とに基づいて、撮像部の撮像動作時における設定内容を決定するという作用をもたらす。
【０００９】
また、この第１の側面において、上記音取得部により取得された周囲の音に基づいて当該音を発する対象物を判定する第１判定部と、上記撮像部により生成された画像に基づいて当該画像に含まれる対象物を判定する第２判定部とをさらに具備し、上記制御部は、上記第１判定部による判定結果と上記第２判定部による判定結果とに基づいて上記設定内容を決定するようにしてもよい。これにより、第１判定部による判定結果と、第２判定部による判定結果とに基づいて、撮像部の撮像動作時における設定内容を決定するという作用をもたらす。
【００１０】
また、この第１の側面において、上記制御部は、上記第１判定部により判定された対象物である第１対象物と、上記第２判定部により判定された対象物である第２対象物との比較結果に基づいて上記設定内容を決定するようにしてもよい。これにより、第１判定部により判定された対象物（第１対象物）と、第２判定部により判定された対象物（第２対象物）との比較結果に基づいて、撮像部の撮像動作時における設定内容を決定するという作用をもたらす。
【００１１】
また、この第１の側面において、上記制御部は、上記設定内容に関するパラメータである第１パラメータを上記第１対象物に基づいて決定し、上記設定内容に関するパラメータである第２パラメータを上記第２対象物に基づいて決定し、上記第１対象物および上記第２対象物が一致するか否かに基づいて上記第１パラメータおよび上記第２パラメータの何れかを用いて上記設定内容を決定するようにしてもよい。これにより、第１対象物および第２対象物が一致するか否かに基づいて、第１パラメータおよび第２パラメータの何れかを用いて、撮像部の撮像動作時における設定内容を決定するという作用をもたらす。
【００１２】
また、この第１の側面において、上記制御部は、上記第１対象物および上記第２対象物が一致する場合には上記第１パラメータを用いて上記設定内容を決定し、上記第１対象物および上記第２対象物が一致しない場合には上記第２パラメータを用いて上記設定内容を決定するようにしてもよい。これにより、第１対象物および第２対象物が一致する場合には、第１パラメータを用いて、撮像部の撮像動作時における設定内容を決定し、第１対象物および第２対象物が一致しない場合には、第２パラメータを用いて、撮像部の撮像動作時における設定内容を決定するという作用をもたらす。
【００１３】
また、この第１の側面において、上記第１判定部は、上記第１対象物と当該第１対象物に係る移動状態および被写体距離の少なくとも一方とを判定し、上記制御部は、上記第１対象物に係る移動状態および被写体距離の少なくとも一方に基づいて上記第１パラメータを補正するようにしてもよい。これにより、第１対象物に係る移動状態および被写体距離の少なくとも一方に基づいて第１パラメータを補正するという作用をもたらす。
【００１４】
また、この第１の側面において、上記第２判定部は、上記第２対象物と当該第２対象物に係る移動状態および被写体距離の少なくとも一方とを判定し、上記制御部は、上記第２対象物に係る移動状態および被写体距離の少なくとも一方に基づいて上記第２パラメータを補正するようにしてもよい。これにより、第２対象物に係る移動状態および被写体距離の少なくとも一方に基づいて第２パラメータを補正するという作用をもたらす。
【００１５】
また、この第１の側面において、上記撮像部により生成された画像に含まれる各対象物に係る被写体距離を取得する被写体距離取得部をさらに具備し、上記制御部は、上記第１対象物に係る被写体距離とは異なる被写体距離に係る他の対象物が上記撮像部により生成された画像に含まれるか否かに基づいて上記第１パラメータおよび上記第２パラメータの何れかを用いて上記設定内容を決定するようにしてもよい。これにより、第１対象物に係る被写体距離とは異なる被写体距離に係る他の対象物が、撮像部により生成された画像に含まれるか否かに基づいて、第１パラメータおよび第２パラメータの何れかを用いて、撮像部の撮像動作時における設定内容を決定するという作用をもたらす。
【００１６】
また、この第１の側面において、上記第２判定部は、上記撮像部により生成された画像に特定対象物が含まれるか否かを判定し、上記制御部は、上記撮像部により生成された画像に上記特定対象物が含まれるか否かに基づいて上記第１パラメータおよび上記第２パラメータの何れかを用いて上記設定内容を決定するようにしてもよい。これにより、撮像部により生成された画像に特定対象物が含まれるか否かに基づいて、第１パラメータおよび第２パラメータの何れかを用いて、撮像部の撮像動作時における設定内容を決定するという作用をもたらす。
【００１７】
また、この第１の側面において、上記第２判定部は、上記特定対象物として人物の顔が含まれるか否かを判定するようにしてもよい。これにより、特定対象物として人物の顔が含まれるか否かを判定するという作用をもたらす。
【００１８】
また、本技術の第２の側面は、周囲の音を取得する音取得部と、被写体を撮像して画像を生成する撮像部と、上記音取得部により取得された周囲の音と、上記撮像部により生成された画像とに基づいて上記撮像部の撮像動作時における設定内容を決定するための制御を行う制御部とを具備する撮像装置およびその制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、音取得部により取得された周囲の音と、撮像部により生成された画像とに基づいて、撮像部の撮像動作時における設定内容を決定するという作用をもたらす。
【発明の効果】
【００１９】
本技術によれば、撮像動作時における設定内容を適切に決定することができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００２０】
【図１】本技術の第１の実施の形態における撮像装置１００の内部構成例を示すブロック図である。
【図２】本技術の第１の実施の形態における撮像装置１００の機能構成例を示すブロック図である。
【図３】本技術の第１の実施の形態における画像判定情報記憶部３１０の記憶内容の一例を模式的に示す図である。
【図４】本技術の第１の実施の形態における音判定情報記憶部３２０の記憶内容の一例を模式的に示す図である。
【図５】本技術の第１の実施の形態におけるパラメータ補正情報記憶部３３０の記憶内容の一例を模式的に示す図である。
【図６】本技術の第１の実施の形態におけるプログラム線図記憶部３４０に記憶されているプログラム線図の一例を示す図である。
【図７】本技術の第１の実施の形態における撮像装置１００の撮像対象となる被写体と撮像範囲との関係を簡略化して示す図である。
【図８】本技術の第１の実施の形態における撮像装置１００の撮像対象となる被写体と撮像範囲との関係を簡略化して示す図である。
【図９】本技術の第１の実施の形態における撮像部２２０により生成された画像と、制御部２８０により決定されたカメラ制御パラメータとの関係を示す図である。
【図１０】本技術の第１の実施の形態における撮像部２２０により生成された画像と、制御部２８０により決定されたカメラ制御パラメータとの関係を示す図である。
【図１１】本技術の第１の実施の形態における撮像部２２０により生成された画像と、制御部２８０により決定されたカメラ制御パラメータとの関係を示す図である。
【図１２】本技術の第１の実施の形態における撮像装置１００によるカメラ制御パラメータ決定処理の処理手順の一例を示すフローチャートである。
【図１３】本技術の第２の実施の形態における撮像部２２０により生成された画像４３０と、画像４３０の奥行マップとの関係を示す図である。
【図１４】本技術の第２の実施の形態における撮像装置１００の撮像対象となる被写体と撮像範囲との関係を簡略化して示す図である。
【図１５】本技術の第２の実施の形態における撮像装置１００の撮像対象となる被写体と撮像範囲との関係を簡略化して示す図である。
【図１６】本技術の第２の実施の形態における撮像部２２０により生成された画像と、制御部２８０により決定されたカメラ制御パラメータとの関係を示す図である。
【図１７】本技術の第２の実施の形態における撮像部２２０により生成された画像と、制御部２８０により決定されたカメラ制御パラメータとの関係を示す図である。
【図１８】本技術の第２の実施の形態における撮像部２２０により生成された画像と、制御部２８０により決定されたカメラ制御パラメータとの関係を示す図である。
【図１９】本技術の第２の実施の形態における撮像装置１００によるカメラ制御パラメータ決定処理の処理手順の一例を示すフローチャートである。
【図２０】本技術の第３の実施の形態における撮像装置１００の撮像対象となる被写体と撮像範囲との関係を簡略化して示す図である。
【図２１】本技術の第３の実施の形態における撮像部２２０により生成された画像と、制御部２８０により決定されたカメラ制御パラメータとの関係を示す図である。
【図２２】本技術の第３の実施の形態における撮像部２２０により生成された画像と、制御部２８０により決定されたカメラ制御パラメータとの関係を示す図である。
【図２３】本技術の第３の実施の形態における撮像部２２０により生成された画像と、制御部２８０により決定されたカメラ制御パラメータとの関係を示す図である。
【図２４】本技術の第３の実施の形態における撮像装置１００によるカメラ制御パラメータ決定処理の処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００２１】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（カメラ制御パラメータ決定制御：撮像装置の周囲の音と、撮像部により生成された画像とに基づいてカメラ制御パラメータを決定する例）
２．第２の実施の形態（カメラ制御パラメータ決定制御：被写体距離が異なる複数の対象物が撮像範囲に含まれるか否かに基づいてカメラ制御パラメータを決定する例）
３．第３の実施の形態（カメラ制御パラメータ決定制御：撮像範囲に人物が含まれるか否かに基づいてカメラ制御パラメータを決定する例）
【００２２】
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本技術の第１の実施の形態における撮像装置１００の内部構成例を示すブロック図である。
【００２３】
撮像装置１００は、レンズ群１１１と、絞り１１２と、光学系制御部１１３と、シャッターユニット１２１と、シャッター制御部１２２と、撮像素子１３１と、ＡＦＥ（Analog Front End）１３２とを備える。また、撮像装置１００は、画像処理部１３３と、測光部１３５と、コンテンツ記憶部１４０と、マイクロフォン１５１と、Ａ／Ｄ（Analog/Digital）変換部１５２と、音声分析処理部１５３とを備える。また、撮像装置１００は、不揮発性メモリ１６０と、操作受付部１７０と、表示部１８０と、メイン制御部１９０とを備える。また、撮像装置１００は、例えば、被写体を撮像して画像データ（画像）を生成し、この生成された画像データを画像コンテンツ（静止画コンテンツまたは動画コンテンツ）として記録するデジタルスチルカメラにより実現される。なお、撮像装置１００は、特許請求の範囲に記載の情報処理装置および撮像装置の一例である。
【００２４】
レンズ群１１１は、被写体からの入射光を集光するレンズ群であり、これらのレンズ群により集光された光が絞り１１２を介して撮像素子１３１に入射される。なお、レンズ群１１１は、焦点を調整するためのフォーカスレンズや、画像に含まれる被写体の倍率を調整するためのズームレンズ等により構成されるが、これらの具体的な配置構成等については、図示および説明を省略する。また、レンズ群１１１を構成する各レンズは、光学系制御部１１３により駆動され、被写体に対して前後に移動する。これにより、フォーカス機能およびズーム機能が実現される。
【００２５】
絞り１１２は、レンズ群１１１を通過する入射光の光量を調整するものであり、その調整後の光が撮像素子１３１に入射される。すなわち、絞り１１２により、レンズ群１１１を通過する入射光の光量が調整され、撮像素子１３１に供給される光量（すなわち、露出）が決定される。また、絞り１１２は、光学系制御部１１３により駆動され、絞りの開度が調節される。
【００２６】
光学系制御部１１３は、メイン制御部１９０からの指示に基づいて、レンズ群１１１を構成する各レンズと、絞り１１２とを駆動させるものである。また、光学系制御部１１３は、レンズ群１１１を構成する各レンズの位置と、絞り１１２の状態（開閉の状態）とを取得し、これらをメイン制御部１９０に順次出力する。
【００２７】
シャッターユニット１２１は、撮像素子１３１に入射する被写体からの入射光の光路の開口および遮断を、上下方向に移動する幕体により行うものであり、シャッター制御部１２２により駆動される。例えば、シャッターユニット１２１は、光路が開口している場合には、被写体からの入射光を撮像素子１３１に供給する。
【００２８】
シャッター制御部１２２は、メイン制御部１９０からの指示に基づいて、シャッターユニット１２１を駆動させるものである。
【００２９】
撮像素子１３１は、被写体からの入射光を光電変換することにより電気信号（アナログ信号）を生成するものであり、生成された電気信号を画像信号としてＡＦＥ１３２に供給する。撮像素子１３１として、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いることができる。
【００３０】
また、撮像素子１３１として、例えば、射出瞳が異なる部分を透過した透過光を受光することにより、位相差検出方式の焦点検出（位相差ＡＦ（Auto Focus））を行う撮像素子を用いることができる。この位相差ＡＦを行う撮像素子からは、画像信号（アナログ信号）とともに、位相差検出信号が出力される。このため、画像処理部１３３は、撮像素子１３１から出力された位相差検出信号に基づいて、撮像素子１３１から出力された画像信号に対応する画像における各領域の被写体距離を算出することができる。なお、被写体距離は、撮像装置１００から被写体までの距離である。
【００３１】
ＡＦＥ１３２は、メイン制御部１９０からの指示に基づいて、撮像素子１３１から供給される画像信号（アナログ信号）に所定の信号処理を施すとともに、所定の信号処理が施された画像信号をデジタル信号に変換するものである。そして、ＡＦＥ１３２は、生成された画像信号（デジタル信号）を画像処理部１３３に供給する。例えば、ＡＦＥ１３２は、所定の信号処理として、画像信号（アナログ信号）に対してノイズ除去および信号増幅等の信号処理を行う。また、ＡＦＥ１３２は、メイン制御部１９０から供給される基準クロックに基づいて、撮像素子１３１の撮像動作に関するタイミングパルスを生成し、その生成したタイミングパルスを撮像素子１３１に供給する。
【００３２】
画像処理部１３３は、メイン制御部１９０からの指示に基づいて、ＡＦＥ１３２から供給された画像信号（デジタル信号）に対して所定の信号処理を施して画像データ（画像信号）を生成するものである。そして、画像処理部１３３は、生成された画像データを圧縮してコンテンツ記憶部１４０に供給する。例えば、画像処理部１３３は、所定の信号処理として、ＡＦＥ１３２から供給された画像信号（デジタル信号）に対してホワイトバランス補正、ガンマ補正、黒レベル補正、画像圧縮、画素補間処理、色変換処理等の信号処理を行う。また、画像処理部１３３は、生成された画像データ（画像信号）を用いて所定の演算処理を行い、コントラスト、明度、彩度、ホワイトバランス、シャープネス等の画像処理を行う。
【００３３】
測光部１３５は、自動露出処理を行うための測光部であり、被写体の周辺部の明るさを測る際に用いられる。すなわち、撮像素子１３１により光学像として結像された被写体の露出状態を測光部１３５により測定することができる。
【００３４】
コンテンツ記憶部１４０は、メイン制御部１９０からの指示に基づいて、画像処理部１３３から供給される画像データを画像コンテンツ（画像ファイル）として記憶するものである。
【００３５】
マイクロフォン１５１は、撮像装置１００に内蔵されているマイクロフォンであり、撮像装置１００の周囲の音を入力する。そして、マイクロフォン１５１は、入力された周囲の音を電気信号（アナログ信号）に変換し、この変換により生成された電気信号を音声信号（アナログ信号）としてＡ／Ｄ変換部１５２に供給する。
【００３６】
Ａ／Ｄ変換部１５２は、マイクロフォン１５１から出力された音声信号（アナログ信号）をデジタル信号に変換するものであり、この変換により生成された音声信号（デジタル信号）を音声分析処理部１５３に出力する。
【００３７】
音声分析処理部１５３は、Ａ／Ｄ変換部１５２から供給された音声信号を分析することにより、その音声信号から特徴量を抽出するものであり、抽出された特徴量をメイン制御部１９０に出力する。音声分析処理部１５３は、例えば、音声信号の特徴量として音声信号の音量や周波数分布を抽出することが可能なスペクトルアナライザ回路により実現される。
【００３８】
不揮発性メモリ１６０は、電源供給が行われていない状態でも記憶内容を保持することが可能な半導体メモリである。不揮発性メモリ１６０として、例えば、フラッシュメモリやＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）を用いることができる。
【００３９】
操作受付部１７０は、ユーザにより行われた操作を受け付ける操作受付部であり、受け付けられた操作内容に応じた制御信号（操作信号）をメイン制御部１９０に出力する。操作受付部１７０は、例えば、シャッターボタン１７１（図７（ａ）等に示す）、モードダイアル等に対応する。このモードダイアルは、各撮像モードを設定するための操作部材である。このモードダイアルにより、特定撮像モード（例えば、音／画像判定モード）が設定された場合には、本技術の第１の実施の形態に示す撮像モードが設定される。
【００４０】
シャッターボタン１７１は、静止画を記録するための各操作（半押し操作および全押し操作）を行う際に用いられるボタンである。半押し操作が行われた場合には、例えば、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュ調光）処理等が開始される。また、全押し操作が行われた場合には、撮像素子１３１から読み出された画像信号（アナログ信号）を画像コンテンツ（画像ファイル）としてコンテンツ記憶部１４０に記録するための各処理が行われる。
【００４１】
表示部１８０は、メイン制御部１９０からの指示に基づいて、画像処理部１３３から出力された画像データを表示する表示パネル（例えば、液晶ファインダー）である。例えば、表示部１８０は、各種設定を行うための設定画面や、撮像素子１３１により生成された画像（いわゆる、スルー画像、ライブビュー画像）を表示する。表示部１８０として、例えば、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electro Luminescence）パネル等の表示パネルを用いることができる。
【００４２】
メイン制御部１９０は、メモリ（例えば、不揮発性メモリ１６０）に格納されている制御プログラムに基づいて撮像装置１００における各部を制御するものである。メイン制御部１９０は、例えば、マイクロプロセッサにより構成される。
【００４３】
［撮像装置の機能構成例］
図２は、本技術の第１の実施の形態における撮像装置１００の機能構成例を示すブロック図である。
【００４４】
撮像装置１００は、操作受付部２１０と、撮像部２２０と、画像処理部２３０と、記録制御部２４０と、画像判定部２５０と、音取得部２６０と、音判定部２７０と、制御部２８０と、コンテンツ記憶部２９０とを備える。また、撮像装置１００は、画像判定情報記憶部３１０と、音判定情報記憶部３２０と、パラメータ補正情報記憶部３３０と、プログラム線図記憶部３４０とを備える。なお、操作受付部２１０は、例えば、図１に示す操作受付部１７０に対応し、コンテンツ記憶部２９０は、例えば、図１に示すコンテンツ記憶部１４０に対応する。
【００４５】
撮像部２２０は、制御部２８０からの指示に基づいて、被写体を撮像して画像（画像データ）を生成するものであり、生成された画像を画像処理部２３０と、画像判定部２５０と、制御部２８０とに供給する。また、撮像部２２０は、制御部２８０により決定された設定内容に基づいて撮像動作を行う。なお、撮像部２２０は、例えば、図１に示すレンズ群１１１と、絞り１１２と、光学系制御部１１３と、シャッターユニット１２１と、シャッター制御部１２２と、撮像素子１３１と、ＡＦＥ１３２とに対応する。
【００４６】
画像処理部２３０は、制御部２８０からの指示に基づいて、撮像部２２０から供給された画像（画像データ）に対して所定の信号処理を施すものであり、この信号処理が施された画像（画像データ）を記録制御部２４０に供給する。なお、画像処理部２３０は、例えば、図１に示す画像処理部１３３に対応する。
【００４７】
記録制御部２４０は、制御部２８０からの指示に基づいて、画像処理部２３０から供給された画像（画像データ）を圧縮して画像コンテンツ（画像ファイル）としてコンテンツ記憶部２９０に記録させるものである。なお、記録制御部２４０は、例えば、図１に示す画像処理部１３３、メイン制御部１９０に対応する。
【００４８】
画像判定部２５０は、画像判定情報記憶部３１０に記憶されている画像判定情報を用いて、撮像部２２０により生成された画像に含まれる対象物の種類を判定するものであり、その判定結果を制御部２８０に出力する。
【００４９】
例えば、対象物の種類を判定する判定方法として、マッチング処理を用いた判定方法を用いることができる。このマッチング処理は、比較対象となる２つの画像における特徴量を比較してこの比較結果に基づいて、２つの画像における特徴量の類似度を算出し、この類似度に基づいて、２つの画像が一致するか否かを判定する処理である。例えば、算出された類似度が閾値未満である場合には、比較対象となる２つの画像が不一致であると判定され、算出された類似度が閾値以上である場合には、比較対象となる２つの画像が一致すると判定される。このマッチング処理として、例えば、各対象物（例えば、馬、魚、人物の顔）の輝度分布情報が記録されているテンプレートと実画像とのマッチングによる判定方法（例えば、特開２００４−１３３６３７参照。）を用いることができる。また、判定対象となる対象物が人物の顔（特定対象物）である場合には、画像に含まれる肌色の部分や人間の顔の特徴量等に基づいた判定方法を用いることができる。
【００５０】
また、例えば、画像における輝度の勾配強度および勾配方向を用いて、画像に含まれる対象物（人体、動物、電車、車等）を検出する検出方法を用いることができる（例えば、特開２０１０−６７１０２号参照。）。
【００５１】
また、画像判定部２５０は、対象物の移動状態および被写体距離を判定する。対象物の移動状態は、例えば、時間軸において隣接する２つの画像を構成する画素間のマッチング処理（すなわち、同一対象物の領域を判別するマッチング処理）を行い、各画像間において移動された画素数を算出することにより判定することができる。また、対象物の被写体距離は、例えば、判定された対象物の画像におけるサイズに基づいて算出することができる。また、上述したように、制御部２８０が、撮像部２２０（撮像素子１３１）から出力された各情報に基づいて被写体距離を算出するようにしてもよい。なお、画像判定部２５０は、例えば、図１に示すメイン制御部１９０に対応する。また、画像判定部２５０は、特許請求の範囲に記載の第２判定部の一例である。
【００５２】
音取得部２６０は、撮像装置１００の周囲の音声を取得するものであり、取得された音データ（音）を音判定部２７０に出力する。なお、音取得部２６０は、例えば、図１に示すマイクロフォン１５１に対応する。
【００５３】
音判定部２７０は、音判定情報記憶部３２０に記憶されている音判定情報を用いて、音取得部２６０から出力された音データに基づいて、その音を発している被写体を判定するものであり、その判定結果を制御部２８０に出力する。例えば、音判定部２７０は、音取得部２６０から出力された音データから特徴量を抽出し、この抽出された特徴量と、音判定情報記憶部３２０に記憶されている音判定情報（音に関する特徴量）との比較により類似度を算出する。そして、音判定部２７０は、その算出された類似度が閾値を超えた場合には、その類似度が閾値を超えた音判定情報に関連付けられている対象物が存在すると判定する。例えば、音取得部２６０から出力された音データが、Ａ／Ｄ変換処理によりサンプリングされ、デジタルデータに変換される。また、このデジタルデータに対して、適当な時間間隔で周波数分析等の処理が施され、スペクトルやその他の音声の音響的特徴を表すパラメータに変換される。これにより、音声に関する時系列の特徴量が抽出される。そして、音判定情報記憶部３２０に記憶されている音判定情報（音に関する特徴量）を用いて、その抽出された時系列の特徴量とのマッチング処理を行ない、このマッチング処理の結果として判定結果が出力される。なお、音声の解析方法および認識方法については、他の公知の各種方法を用いるようにしてもよい。また、音取得部２６０は、判定された対象物の移動状態および被写体距離を判定することができる。なお、対象物の移動状態は、移動時に対象物が発する特徴的な音の特徴量等に基づいて判定することができる。また、対象物の被写体距離は、音の音量等に基づいて判定することができる。なお、音判定部２７０は、例えば、図１に示すＡ／Ｄ変換部１５２と、音声分析処理部１５３と、メイン制御部１９０とに対応する。また、音判定部２７０は、特許請求の範囲に記載の第１判定部の一例である。
【００５４】
制御部２８０は、各種制御プログラムに基づいて、撮像装置１００の各部を制御するものである。例えば、制御部２８０は、音取得部２６０により取得された周囲の音と、撮像部２２０により生成された画像とに基づいて、撮像部２２０の撮像動作時における設定内容を決定するための制御を行う。
【００５５】
具体的には、制御部２８０は、音判定部２７０による判定結果と、画像判定部２５０による判定結果とに基づいて、撮像部２２０の撮像動作時における設定内容を決定する。すなわち、制御部２８０は、音判定部２７０により判定された対象物（第１対象物）と、画像判定部２５０により判定された対象物（第２対象物）との比較結果に基づいて、撮像部２２０の撮像動作時における設定内容を決定する。
【００５６】
この場合に、制御部２８０は、その設定内容に関するパラメータ（第１パラメータ）を第１対象物に基づいて決定し、その設定内容に関するパラメータ（第２パラメータ）を第２対象物に基づいて決定する。なお、制御部２８０は、第１対象物に係る移動状態および被写体距離の少なくとも一方に基づいて第１パラメータを補正することができる。また、制御部２８０は、第２対象物に係る移動状態および被写体距離の少なくとも一方に基づいて第２パラメータを補正することができる。そして、制御部２８０は、第１対象物および第２対象物が一致するか否かに基づいて、第１パラメータおよび第２パラメータの何れかを用いて、撮像部２２０の撮像動作時における設定内容を決定する。具体的には、制御部２８０は、第１対象物および第２対象物が一致する場合には、第１パラメータを用いて、撮像部２２０の撮像動作時における設定内容を決定する。一方、制御部２８０は、第１対象物および第２対象物が一致しない場合には、第２パラメータを用いて、撮像部２２０の撮像動作時における設定内容を決定する。なお、制御部２８０は、例えば、図１に示すメイン制御部１９０に対応する。
【００５７】
画像判定情報記憶部３１０は、画像判定部２５０による判定処理に用いられる画像判定情報（画像に関する特徴量）を記憶するものであり、記憶されている画像判定情報を画像判定部２５０に供給する。なお、画像判定情報記憶部３１０の記憶内容については、図３を参照して詳細に説明する。また、画像判定情報記憶部３１０は、例えば、図１に示す不揮発性メモリ１６０に対応する。
【００５８】
音判定情報記憶部３２０は、音判定部２７０による判定処理に用いられる音判定情報（音に関する特徴量）を記憶するものであり、記憶されている音判定情報を音判定部２７０に供給する。なお、音判定情報記憶部３２０の記憶内容については、図４を参照して詳細に説明する。また、音判定情報記憶部３２０は、例えば、図１に示す不揮発性メモリ１６０に対応する。
【００５９】
パラメータ補正情報記憶部３３０は、制御部２８０によるカメラ制御パラメータ補正処理に用いられるパラメータ補正情報を記憶するものであり、記憶されているパラメータ補正情報を制御部２８０に供給する。なお、パラメータ補正情報記憶部３３０の記憶内容については、図５を参照して詳細に説明する。また、パラメータ補正情報記憶部３３０は、例えば、図１に示す不揮発性メモリ１６０に対応する。
【００６０】
プログラム線図記憶部３４０は、制御部２８０によるカメラ制御パラメータ決定処理に用いられるプログラム線図を記憶するものであり、記憶されているプログラム線図を制御部２８０に供給する。なお、プログラム線図については、図６を参照して詳細に説明する。また、プログラム線図記憶部３４０は、例えば、図１に示す不揮発性メモリ１６０に対応する。
【００６１】
［画像判定情報記憶部の内容例］
図３は、本技術の第１の実施の形態における画像判定情報記憶部３１０の記憶内容の一例を模式的に示す図である。
【００６２】
画像判定情報記憶部３１０は、撮像部２２０により生成された画像に含まれる対象物の種類を判定するための判定情報（画像に関する判定情報）を記憶するものである。画像判定情報記憶部３１０には、対象物の種類３１１と、特徴量３１２と、カメラ制御パラメータ３１３とが関連付けて記憶されている。
【００６３】
対象物の種類３１１は、撮像部２２０により生成された画像に含まれる対象物の種類である。なお、本技術の第１の実施の形態では、判定対象となる対象物の種類として、馬、魚、人物の顔等を一例として示す。
【００６４】
特徴量３１２は、撮像部２２０により生成された画像に含まれる対象物の種類を判定するための判定情報（画像識別データ）である。すなわち、画像判定部２５０は、特徴量３１２を用いて、撮像部２２０により生成された画像に含まれる対象物の種類を判定する。
【００６５】
上述したように、判定方法として、例えば、各被写体（例えば、馬、魚、人物の顔）の輝度分布情報が記録されているテンプレートと実画像とのマッチングによる判定方法を用いることができる。このように、判定方法としてマッチングによる判定方法を用いる場合には、各被写体の輝度分布情報が記録されているテンプレートが、特徴量３１２として格納される。
【００６６】
カメラ制御パラメータ３１３は、撮像部２２０の撮像動作時に設定されるカメラ制御パラメータである。カメラ制御パラメータ３１３として、例えば、プログラム線図記憶部３４０に記憶されているプログラム線図における位置に関する情報が格納される。
【００６７】
［音判定情報記憶部の内容例］
図４は、本技術の第１の実施の形態における音判定情報記憶部３２０の記憶内容の一例を模式的に示す図である。
【００６８】
音判定情報記憶部３２０は、音取得部２６０により取得された音を発している対象物の種類を判定するための判定情報（音に関する判定情報）を記憶するものである。音判定情報記憶部３２０には、対象物の種類３２１と、特徴量３２２と、カメラ制御パラメータ３２３とが関連付けて記憶されている。
【００６９】
対象物の種類３２１は、音取得部２６０により取得された音を発している対象物の種類である。なお、図４では、判定対象となる対象物の種類として、走る馬、滝、車等を一例として示す。
【００７０】
特徴量３２２は、音取得部２６０により取得された音を発している対象物の種類を判定するための判定情報（音識別データ）である。すなわち、音判定部２７０は、特徴量３２２を用いて、音取得部２６０により取得された音を発している対象物の種類を判定する。なお、図４では、説明の容易のため、特徴量として、対象物が発する音を文字で擬似的に示す。
【００７１】
上述したように、判定方法として、例えば、各対象物（例えば、馬、魚、人物の顔）が発する音に関する時系列の特徴量と、音取得部２６０により取得された音に関する時系列の特徴量とのマッチングによる判定方法を用いることができる。このように、判定方法としてマッチングによる判定方法を用いる場合には、各被写体が発する音に関する時系列の特徴量が、特徴量３２２として格納される。
【００７２】
カメラ制御パラメータ３２３は、撮像部２２０の撮像動作時に設定されるカメラ制御パラメータである。カメラ制御パラメータ３２３として、例えば、プログラム線図記憶部３４０に記憶されているプログラム線図における位置に関する情報が格納される。なお、図３に示すカメラ制御パラメータ３１３は、画像情報に基づいて決定されるカメラ制御パラメータであるのに対して、カメラ制御パラメータ３２３は、音情報に基づいて決定されるカメラ制御パラメータである。
【００７３】
［パラメータ補正情報記憶部の内容例］
図５は、本技術の第１の実施の形態におけるパラメータ補正情報記憶部３３０の記憶内容の一例を模式的に示す図である。
【００７４】
パラメータ補正情報記憶部３３０は、制御部２８０により決定されるカメラ制御パラメータ（第１パラメータ）を補正するためのパラメータ補正情報を記憶するものである。パラメータ補正情報記憶部３３０には、対象物の種類３３１およびパラメータ補正情報３３２が関連付けて記憶されている。
【００７５】
対象物の種類３３１は、音取得部２６０により取得された音を発している対象物の種類である。なお、本技術の第１の実施の形態では、判定対象となる対象物の種類として、移動する速度が速い物体、移動する速度が遅い物体等を一例として示す。
【００７６】
パラメータ補正情報３３２は、音取得部２６０により取得された音を発している対象物の種類に基づいて、カメラ制御パラメータ（第１パラメータ）を補正するための情報である。すなわち、制御部２８０は、音取得部２６０により取得された音に基づいて決定されたカメラ制御パラメータ（第１パラメータ）を、パラメータ補正情報３３２を用いて補正する。なお、カメラ制御パラメータ（第１パラメータ）の補正については、図６を参照して詳細に説明する。
【００７７】
［プログラム線図］
図６は、本技術の第１の実施の形態におけるプログラム線図記憶部３４０に記憶されているプログラム線図の一例を示す図である。なお、プログラム線図（プログラムＡＥ（Automatic Exposure））は、被写体の明るさに応じて、絞りおよびシャッター速度（シャッタースピード）を決定する際に用いられるものである。
【００７８】
図６に示すプログラム線図３４１において、縦軸は、レンズの絞り値（ＡＶ（Aperture Value））を示し、横軸は、シャッタースピード（ＴＶ（Time Value））を示す。また、斜線（点線で示す）は、露出値（ＥＶ（Exposure Value））を示す。
【００７９】
上述したように、制御部２８０は、音判定部２７０により判定された被写体と、プログラム線図記憶部３４０に記憶されているプログラム線図とに基づいて、音情報に基づくカメラ制御パラメータ（第１パラメータ）を決定する。
【００８０】
また、制御部２８０は、画像判定部２５０により判定された被写体と、プログラム線図記憶部３４０に記憶されているプログラム線図とに基づいて、画像情報に基づくカメラ制御パラメータ（第２パラメータ）を決定する。
【００８１】
例えば、音判定情報記憶部３２０において、対象物の種類３２１「馬」とカメラ制御パラメータ３２３「プログラム線図３４１における位置３４２」とが関連付けて記憶されている場合を想定する。この場合に、音判定部２７０により判定された被写体が馬である場合には、制御部２８０は、プログラム線図３４１における位置３４２に対応するカメラ制御パラメータ（第１パラメータ）を決定する。また、制御部２８０は、このように音情報に基づいて決定されたカメラ制御パラメータ（第１パラメータ）を、被写体（馬）の速度に応じて補正する。この被写体の速度については、音判定部２７０により判定することができる。例えば、音判定部２７０は、音判定情報記憶部３２０の音判定情報を用いて、速く走る馬（高速で移動する物体）と、遅く走る馬（低速で移動する物体）とを識別することができるものとする。
【００８２】
例えば、音判定部２７０により速く走る馬が検出された場合には、シャッタースピードを上げることが好ましい。このため、制御部２８０は、プログラム線図３４１における実線３４５において、位置３４２を左側の位置３４３に遷移させたカメラ制御パラメータ（第１パラメータ）を決定する。一方、例えば、音判定部２７０により遅く走る馬が検出された場合には、シャッタースピードを下げることが好ましい。このため、制御部２８０は、プログラム線図３４１における実線３４５において、位置３４２を右側の位置３４４に遷移させたカメラ制御パラメータ（第１パラメータ）を決定する。
【００８３】
このように、制御部２８０は、プログラム線図を用いて、音情報に基づくカメラ制御パラメータ（絞り値、シャッタースピード、露出値）を決定することができる。また、画像情報に基づくカメラ制御パラメータについても同様に決定することができる。
【００８４】
なお、本技術の第１の実施の形態では、音判定情報記憶部３２０におけるカメラ制御パラメータ３２３を用いて最初のパラメータを決定し、このパラメータを、音判定部２７０により判定された対象物の速度を用いて補正する例を示す。ただし、例えば、測光部１３５により取得された明るさ情報に基づいて、プログラム線図における位置に対応するパラメータを決定し、このパラメータを、音判定部２７０により判定された対象物の速度を用いて補正するようにしてもよい。また、画像情報に基づくカメラ制御パラメータについても、これを適用して補正することができる。
【００８５】
このように、制御部２８０は、対象物に係る移動状態および被写体距離の少なくとも一方に基づいて音情報に基づくカメラ制御パラメータを補正することができる。また、制御部２８０は、対象物に係る移動状態および被写体距離の少なくとも一方に基づいて画像情報に基づくカメラ制御パラメータを補正することができる。
【００８６】
なお、点線３４９における位置３４６乃至３４８の遷移については、本技術の第２の実施の形態で示す。
【００８７】
［撮像装置を用いた撮像状態例］
図７および図８は、本技術の第１の実施の形態における撮像装置１００の撮像対象となる被写体と撮像範囲との関係を簡略化して示す図である。
【００８８】
図７（ａ）および図８（ａ）には、撮像装置１００および被写体をその側面から見た場合を示す。また、図７（ｂ）および図８（ｂ）には、撮像装置１００の撮像対象となる被写体の撮像範囲を示す。
【００８９】
図７には、走る馬４０１およびその周辺（例えば、山々４０２）を被写体とする場合における被写体と撮像範囲との関係を示す。ここで、図７に示す例では、撮像装置１００と走る馬４０１との距離が比較的近いため、走る馬４０１の走る音（図７（ａ）では、「パッカパッカ」で示す）が音取得部２６０により取得可能である場合を想定して説明する。
【００９０】
ここで、図７（ｂ）に示すように、撮像範囲４０５には、走る馬４０１が含まれないのに対し、撮像範囲４０６には、走る馬４０１が含まれる。このため、撮像部２２０の撮像対象が撮像範囲４０６である場合には、音取得部２６０により取得される音により特定される対象物（走る馬）と、撮像部２２０により生成される画像により特定される対象物（馬）とが一致（略一致）することになる。しかしながら、撮像部２２０の撮像対象が撮像範囲４０５である場合には、音取得部２６０により取得される音により特定される対象物（走る馬）と、撮像部２２０により生成される画像により特定される対象物（山々、草原）とが一致しない。この場合に、例えば、音取得部２６０により取得された音のみによりカメラ制御パラメータを決定すると、撮像範囲に含まれていない対象物が発する音を用いてカメラ制御パラメータを決定することになる。このため、撮像範囲４０５に対応する画像については、適切なカメラ制御パラメータを設定することができないおそれがある。そこで、本技術の第１の実施の形態では、音情報とともに画像情報を用いてカメラ制御パラメータを決定する。
【００９１】
図８には、止まっている馬４１１およびその周辺（例えば、山々４１２）を被写体とする場合における被写体と撮像範囲との関係を示す。ここで、図８に示す例では、撮像装置１００と止まっている馬４１１との距離が比較的近いが、止まっている馬４１１から音が発生していないため、止まっている馬４１１に関する音を音取得部２６０が取得することができない場合を想定して説明する。また、馬以外からも音は発生していないものとする。
【００９２】
ここで、図８（ｂ）に示すように、撮像範囲４１５には、止まっている馬４１１が含まれないのに対し、撮像範囲４１６には、止まっている馬４１１が含まれる。しかしながら、撮像部２２０の撮像対象が撮像範囲４１６である場合でも、音取得部２６０により音（止まっている馬４１１に関する音）が取得されない。このため、音取得部２６０により取得される音により特定される対象物（なし）と、撮像部２２０により生成される画像により特定される対象物（馬）とが一致しない。なお、撮像部２２０の撮像対象が撮像範囲４１５である場合には、音取得部２６０により取得される音により特定される対象物（なし）と、撮像部２２０により生成される画像により特定される対象物（山々、草原）とが一致しない。これらの場合についても、例えば、音取得部２６０により取得された音のみによりカメラ制御パラメータを決定すると、図７に示す例と同様に、適切なカメラ制御パラメータを設定することができないおそれがある。
【００９３】
［被写体およびカメラ制御パラメータの関係例］
図９乃至図１１は、本技術の第１の実施の形態における撮像部２２０により生成された画像と、制御部２８０により決定されたカメラ制御パラメータとの関係を示す図である。
【００９４】
ここで、図９（ａ）に示す画像４２１は、図７（ｂ）に示す撮像範囲４０６に対応する画像である。また、図１０（ａ）に示す画像４２２は、図７（ｂ）に示す撮像範囲４０５と、図８（ｂ）に示す撮像範囲４１５とに対応する画像である。また、図１１（ａ）に示す画像４２３は、図８（ｂ）に示す撮像範囲４１６に対応する画像である。
【００９５】
図９（ｂ）に示すように、図９（ａ）に示す画像４２１の撮像動作時には、音取得部２６０により取得される音により特定される対象物（走る馬）と、撮像部２２０により生成される画像により特定される対象物（馬）とが一致（略一致）する。この場合には、制御部２８０は、撮像動作時における設定内容として、音情報に基づくカメラ制御パラメータ（第１パラメータ）を決定する。
【００９６】
ここで、図１０（ａ）に示す画像４２２が、図７（ｂ）に示す撮像範囲４０５に対応する画像である場合を想定する。この場合には、図１０（ｂ）に示すように、図１０（ａ）に示す画像４２２の撮像動作時には、音取得部２６０により取得される音により特定される対象物（走る馬）と、撮像部２２０により生成される画像により特定される対象物（草原、山々）とが一致しない。この場合には、制御部２８０は、撮像動作時における設定内容として、画像情報に基づくカメラ制御パラメータ（第２パラメータ）を決定する。
【００９７】
また、図１０（ａ）に示す画像４２２が、図８（ｂ）に示す撮像範囲４１５に対応する画像である場合を想定する。この場合には、図１０（ｃ）に示すように、図１０（ａ）に示す画像４２２の撮像動作時には、音取得部２６０により取得される音により特定される対象物（なし）と、撮像部２２０により生成される画像により特定される対象物（草原、山々）とが一致しない。この場合には、制御部２８０は、撮像動作時における設定内容として、画像情報に基づくカメラ制御パラメータ（第２パラメータ）を決定する。
【００９８】
また、図１１（ｂ）に示すように、図１１（ａ）に示す画像４２３の撮像動作時には、音取得部２６０により取得される音により特定される対象物（なし）と、撮像部２２０により生成される画像により特定される対象物（馬）とが一致しない。この場合には、制御部２８０は、撮像動作時における設定内容として、画像情報に基づくカメラ制御パラメータ（第２パラメータ）を決定する。
【００９９】
なお、馬が止まっている状態であっても、その馬が泣き声（例えば、ヒヒーン）を発していることも想定される。例えば、図１１に示す例において、馬が泣き声（例えば、ヒヒーン）を発している場合には、音取得部２６０により取得される音により特定される対象物（馬）と、撮像部２２０により生成される画像により特定される対象物（馬）とが一致する。この場合には、制御部２８０は、撮像動作時における設定内容として、音情報に基づくカメラ制御パラメータ（第１パラメータ）を決定することができる。
【０１００】
［撮像装置の動作例］
図１２は、本技術の第１の実施の形態における撮像装置１００によるカメラ制御パラメータ決定処理の処理手順の一例を示すフローチャートである。
【０１０１】
最初に、制御部２８０は、シャッターボタン１７１の半押し操作が行われたか否かを判断し（ステップＳ９０１）、シャッターボタン１７１の半押し操作が行われていない場合には、監視を継続して行う。シャッターボタン１７１の半押し操作が行われた場合には（ステップＳ９０１）、音取得部２６０は、撮像装置１００の周囲の音を取得する（ステップＳ９０２）。なお、ステップＳ９０２は、特許請求の範囲に記載の音取得手順の一例である。
【０１０２】
続いて、音判定部２７０は、音取得部２６０により取得された音を発している対象物の種類を判定する（ステップＳ９０３）。続いて、制御部２８０は、その判定結果に基づいて、音情報に基づくカメラ制御パラメータ（第１パラメータ）を決定する（ステップＳ９０４）。
【０１０３】
続いて、制御部２８０は、シャッターボタン１７１の全押し操作が行われたか否かを判断する（ステップＳ９０５）。そして、全押し操作が行われていない場合には（ステップＳ９０５）、制御部２８０は、シャッターボタン１７１の半押し操作が解除されたか否かを判断し（ステップＳ９１２）、半押し操作が解除された場合には、ステップＳ９０１に戻る。一方、シャッターボタン１７１の半押し操作が解除されていない（ステップＳ９１２）、ステップＳ９０２に戻る。また、シャッターボタン１７１の全押し操作が行われた場合には（ステップＳ９０５）、撮像部２２０は、被写体を撮像して画像を生成する（ステップＳ９０６）。なお、ステップＳ９０６は、特許請求の範囲に記載の画像取得手順の一例である。
【０１０４】
続いて、画像判定部２５０は、撮像部２２０により生成された画像に含まれる対象物の種類を判定する（ステップＳ９０７）。続いて、制御部２８０は、その判定結果に基づいて、画像情報に基づくカメラ制御パラメータ（第２パラメータ）を決定する（ステップＳ９０８）。
【０１０５】
続いて、制御部２８０は、音判定部２７０による判定結果と、画像判定部２５０による判定結果とを比較して、これらが一致（または、略一致）するか否かを判断する（ステップＳ９０９）。すなわち、音判定部２７０により判定された対象物と、画像判定部２５０により判定された対象物とが一致（または、略一致）するか否かが判断される。ここで、略一致する場合は、例えば、音判定部２７０により判定された対象物が「走る馬」であり、画像判定部２５０により判定された対象物が「馬」である場合である。すなわち、対象物の種類が同一であるが、その状態が異なるような場合を意味する。
【０１０６】
音判定部２７０による判定結果と、画像判定部２５０による判定結果とが一致（または、略一致）する場合には（ステップＳ９０９）、制御部２８０は、第１パラメータを用いた撮像動作を行うための制御を行う（ステップＳ９１０）。すなわち、これらの判定結果が一致（または、略一致）する場合には（ステップＳ９１０）、撮像動作時における設定内容として、音情報に基づくカメラ制御パラメータ（第１パラメータ）が決定される（ステップＳ９１０）。そして、第１パラメータに基づいて撮像動作が行われる。この撮像動作により生成された画像が、画像コンテンツとしてコンテンツ記憶部２９０に記憶される。
【０１０７】
また、音判定部２７０による判定結果と、画像判定部２５０による判定結果とが一致しない場合には（ステップＳ９０９）、制御部２８０は、第２パラメータを用いた撮像動作を行うための制御を行う（ステップＳ９１１）。すなわち、これらの判定結果が一致しない場合には（ステップＳ９１０）、撮像動作時における設定内容として、画像情報に基づくカメラ制御パラメータ（第２パラメータ）が決定される（ステップＳ９１１）。そして、第２パラメータに基づいて撮像動作が行われる。この撮像動作により生成された画像が、画像コンテンツとしてコンテンツ記憶部２９０に記憶される。なお、ステップＳ９０９乃至Ｓ９１１は、特許請求の範囲に記載の決定手順の一例である。
【０１０８】
例えば、図９に示すように、撮像範囲に走る馬４０１が含まれる場合には、音判定部２７０による判定結果と、画像判定部２５０による判定結果とが一致（略一致）する（ステップＳ９０９）。このため、制御部２８０は、音情報に基づくカメラ制御パラメータ（第１パラメータ）を決定し、これを用いた撮像動作を行うための制御を行う（ステップＳ９１０）。この音情報に基づくカメラ制御パラメータ（第１パラメータ）は、図６に示すように、シャッタースピードを上げる補正（位置３４２から位置３４３への補正）が行われたパラメータである。
【０１０９】
また、例えば、図１０に示すように、撮像範囲に走る馬４０１が含まれない場合（馬の走る音がある場合とない場合を含む）には、音判定部２７０による判定結果と、画像判定部２５０による判定結果とが一致しない（ステップＳ９０９）。このため、制御部２８０は、画像情報に基づくカメラ制御パラメータ（第２パラメータ）を決定し、これを用いた撮像動作を行うための制御を行う（ステップＳ９１１）。なお、この画像情報に基づくカメラ制御パラメータ（第２パラメータ）は、画像判定部２５０により判定された対象物の種類（草原や山々）に応じて設定されるパラメータである。
【０１１０】
また、例えば、図１１に示すように、撮像範囲に止まっている馬４１１が含まれる場合（ただし、馬の鳴く音がない場合）には、音判定部２７０による判定結果と、画像判定部２５０による判定結果とが一致しない（ステップＳ９０９）。このため、制御部２８０は、画像情報に基づくカメラ制御パラメータ（第２パラメータ）を決定し、これを用いた撮像動作を行うための制御を行う（ステップＳ９１１）。なお、上述したように、音取得部２６０により音が取得されない場合には、音情報に基づくカメラ制御パラメータ（第１パラメータ）は決定されない。また、この例で決定される画像情報に基づくカメラ制御パラメータ（第２パラメータ）は、画像判定部２５０により判定された対象物の種類（馬）に応じて設定されるパラメータである。
【０１１１】
このように、本技術の第１の実施の形態では、音取得部２６０により取得された音と、撮像部２２０により生成された画像とについて分析を行い、これらの分析結果を用いてカメラ制御パラメータを決定する。これにより、最適なカメラ制御パラメータを設定して撮像動作を行うことができる。例えば、音を発する対象物が撮像範囲に含まれている場合には、その対象物に対する最適なカメラ制御パラメータを設定して撮像動作を行うことができる。これにより、撮像範囲に含まれる対象物が発する音を考慮した臨場感のある画像を容易に得ることができる。また、音を発している対象物が撮像範囲外に存在する場合でも、撮像範囲内の画像情報に基づいて適切なカメラ制御パラメータを設定することができる。すなわち、音を発している対象物と、この対象物以外の対象物との関係を考慮して、撮像動作時における設定内容を適切に決定することができる。
【０１１２】
なお、本技術の第１の実施の形態では、音を発する対象物として山々を背景に位置する馬を例にして説明したが、音を発しない対象物と、音を発する対象物とが存在する他の状態において本技術の第１の実施の形態を適用することができる。例えば、音を発しない対象物が存在し、その手前に音を発する対象物が存在する状態において本技術の第１の実施の形態を適用することができる。例えば、飛行場における飛行機、レース場における車（モータースポーツ）等を撮像対象とする場合に本技術の第１の実施の形態を適用することができる。
【０１１３】
＜２．第２の実施の形態＞
本技術の第１の実施の形態では、音を発している対象物が画像に含まれている場合には、その音を考慮して撮像動作に用いられるカメラ制御パラメータを決定する例を示した。しかしながら、音を発している対象物が画像に含まれている場合であっても、その対象物以外の対象物が主要対象物（例えば、撮影者がフォーカスを合わせている対象物）となることも想定される。
【０１１４】
そこで、本技術の第２の実施の形態では、音を発している対象物が画像に含まれている場合であっても、その対象物以外の対象物がその画像に含まれている場合には、画像情報に基づくカメラ制御パラメータを決定する例を示す。なお、本技術の第２の実施の形態における撮像装置の構成については、図１および図２に示す例と略同様である。このため、本技術の第１の実施の形態と共通する部分については、その説明の一部を省略する。
【０１１５】
［複数の対象物を判定する例］
図１３は、本技術の第２の実施の形態における撮像部２２０により生成された画像４３０と、画像４３０の奥行マップとの関係を示す図である。
【０１１６】
図１３（ａ）には、撮像部２２０により生成された画像４３０を示す。画像４３０は、例えば、滝４３２の滝壺付近において、魚（例えば、鮭）４３１が飛び跳ねて川から飛び出た瞬間に撮影された画像であるものとする。このため、画像４３０には、空中に浮いている状態の魚４３１が含まれるものとする。
【０１１７】
図１３（ｂ）には、撮像部２２０により生成された画像４３０の奥行マップをヒストグラムにより示す。図１３（ｂ）に示すヒストグラムは、画像４３０に含まれる被写体に関する被写体距離の分布状況を示すヒストグラムである。
【０１１８】
ここで、制御部２８０は、撮像部２２０により生成された画像およびこの画像の生成時における各情報（例えば、レンズの位置および合焦位置）に基づいて、その画像に関する被写体距離を算出する。例えば、奥行マップ（いわゆる、デプスマップ（Depth Map））を生成し、この奥行マップに基づいて各領域に係る被写体距離を求めることができる。ここで、奥行マップは、被写体距離を表すデータにより構成されるマップである。この奥行マップの生成方法として、例えば、ＴＯＦ（Time of flight）方式やボケ量解析（Depth from Defocus）等の方法を用いることができる。例えば、ＴＯＦ方式は、光源から出射された光が対象物で反射し、センサに到達するまでの光の遅れ時間と光の速度とに基づいて被写体までの距離を算出する方法である。
【０１１９】
また、撮像素子１３１として、位相差ＡＦを行う撮像素子を用いる場合には、この撮像素子から出力された位相差検出信号に基づいて、制御部２８０が奥行マップを生成することができる。すなわち、制御部２８０は、撮像部２２０により生成された画像に含まれる各対象物に係る被写体距離を取得する。なお、制御部２８０は、特許請求の範囲に記載の被写体距離取得部の一例である。
【０１２０】
例えば、図１３（ａ）に示すように、画像４３０には、空中に浮いている魚４３１と、魚４３１の背景に存在する滝４３２およびその滝壺とが含まれる。このため、撮像装置１００からの距離は、魚４３１よりも、滝４３２およびその滝壺が遠い。
【０１２１】
このように、被写体距離が異なる複数の対象物が画像に含まれる場合には、被写体距離の分布状況を示すヒストグラムにおいて、対象物毎に山が形成される。具体的には、図１３（ｂ）に示すように、撮像装置１００から比較的近い魚４３１に対応する山４３５と、撮像装置１００から比較的遠い滝４３２およびその滝壺に対応する山４３６とが形成される。
【０１２２】
このように、ヒストグラムに複数の山が存在する場合において、例えば、点線で示す閾値４３７以上の山が複数存在する場合には、複数の対象物が存在すると判定することができる。ただし、ヒストグラムに複数の山が存在する場合であっても、遠方に存在する対象物（例えば、背景となる山々）に係る山である場合には、複数の対象物が存在すると判定しないようにすることができる。例えば、点線で示す閾値４３８以上の山が存在する場合には、その山に対応する対象物の存在を考慮せずに判定することができる。
【０１２３】
ここで、画像情報に基づくカメラ制御パラメータ（第２パラメータ）の決定方法について説明する。本技術の第２の実施の形態では、制御部２８０は、算出された被写体距離と、画像判定部２５０による判定結果とに基づいて、画像情報に基づくカメラ制御パラメータ（第２パラメータ）を決定する。具体的には、制御部２８０は、複数の対象物が存在すると判定された場合には、各対象物について算出された被写体距離に基づいて、画像情報に基づくカメラ制御パラメータ（第２パラメータ）を対象物毎に決定する。この場合でも、パラメータ補正情報記憶部３３０に記憶されているパラメータ補正情報に基づいて、画像情報に基づくカメラ制御パラメータ（第２パラメータ）を補正することができる。
【０１２４】
例えば、画像判定情報記憶部３１０において、対象物の種類３１１「魚」とカメラ制御パラメータ３１３「プログラム線図３４１における位置３４６」とが関連付けて記憶されている場合を想定する。この場合に、画像判定部２５０により判定された対象物が魚である場合には、制御部２８０は、プログラム線図３４１における位置３４６に対応するカメラ制御パラメータ（第２パラメータ）を決定する。また、制御部２８０は、このように画像情報に基づいて決定されたカメラ制御パラメータ（第２パラメータ）を、対象物（魚）の被写体距離に応じて補正する。
【０１２５】
例えば、被写体距離が近い場合には、シャッタースピードを上げることが好ましい。このため、制御部２８０は、プログラム線図３４１における点線３４９において、位置３４６を左側の位置３４７に遷移させたカメラ制御パラメータ（第２パラメータ）を決定する。一方、例えば、被写体距離が遠い場合には、シャッタースピードを下げることが好ましい。このため、制御部２８０は、プログラム線図３４１における点線３４９において、位置３４６を右側の位置３４８に遷移させたカメラ制御パラメータ（第２パラメータ）を決定する。
【０１２６】
このように、制御部２８０は、プログラム線図を用いて、画像情報に基づくカメラ制御パラメータ（絞り値、シャッタースピード、露出値）を決定することができる。
【０１２７】
［撮像装置を用いた撮像状態例］
図１４および図１５は、本技術の第２の実施の形態における撮像装置１００の撮像対象となる被写体と撮像範囲との関係を簡略化して示す図である。
【０１２８】
図１４（ａ）および図１５（ａ）には、撮像装置１００および被写体をその側面から見た場合を示す。また、図１４（ｂ）および図１５（ｂ）には、撮像装置１００の撮像対象となる被写体の撮像範囲を示す。
【０１２９】
図１４には、飛び跳ねて川から飛び出た魚（例えば、鮭）４４１と、滝４４２およびその滝壺付近とを被写体とする場合における被写体と撮像範囲との関係を示す。ここで、図１４に示す例では、撮像装置１００と滝４４２との距離が比較的近いため、滝４４２の流れる音（図１４（ａ）では、「ザーザー」で示す）を音取得部２６０により取得することができる場合を想定して説明する。
【０１３０】
ここで、図１４（ｂ）に示すように、撮像範囲４４５には、魚４４１が含まれないのに対し、撮像範囲４４６には、飛び跳ねて川から飛び出た魚４４１が含まれる。このため、撮像部２２０の撮像対象が撮像範囲４４６である場合には、音取得部２６０により取得される音により特定される対象物（滝）と、撮像部２２０により生成される画像により特定される対象物（滝、魚）とが一致（すなわち、一部が一致）する。また、撮像部２２０の撮像対象が撮像範囲４４５である場合には、音取得部２６０により取得される音により特定される対象物（滝）と、撮像部２２０により生成される画像により特定される対象物（滝）とが一致する。
【０１３１】
ここで、音取得部２６０により取得される音により特定される対象物と、撮像部２２０により生成される画像により特定される対象物とが一致する場合には、本技術の第１の実施の形態では、音情報に基づくカメラ制御パラメータを決定する例を示した。しかしながら、撮像部２２０の撮像対象が撮像範囲４４６である場合には、背景の滝４４２よりも、飛び跳ねて川から飛び出た魚４４１を主要対象物として撮像動作が行われている可能性が高いと想定される。
【０１３２】
すなわち、音取得部２６０により取得される音により特定される対象物（滝）よりも、撮像部２２０により生成される画像により特定される対象物（魚）が重要であると想定される。この場合に、例えば、音取得部２６０により取得された音のみによりカメラ制御パラメータを決定する場合には、撮像範囲４４６に含まれる被写体の画像については、適切なカメラ制御パラメータを設定することができないおそれがある。そこで、本技術の第２の実施の形態では、音により特定される対象物と画像により特定される対象物とが一致する場合であっても、撮像範囲に他の対象物が存在する場合には、画像情報に基づくカメラ制御パラメータを決定する例を示す。
【０１３３】
図１５には、滝４５２およびその滝壺付近を被写体とする場合における被写体と撮像範囲との関係を示す。ここで、図１５に示す例では、撮像装置１００と滝４５２との距離が比較的近いため、滝４５２の流れる音（図１５（ａ）では、「ザーザー」で示す）を音取得部２６０により取得することができる場合を想定して説明する。
【０１３４】
ここで、図１５（ｂ）に示すように、撮像範囲４５５には滝４５２が含まれる。この場合は、図１４（ｂ）に示す撮像範囲４４５と同様に、カメラ制御パラメータを決定することができる。
【０１３５】
［被写体およびカメラ制御パラメータの関係例］
図１６乃至図１８は、本技術の第２の実施の形態における撮像部２２０により生成された画像と、制御部２８０により決定されたカメラ制御パラメータとの関係を示す図である。
【０１３６】
ここで、図１６（ａ）に示す画像４６１は、図１４（ｂ）に示す撮像範囲４４６に対応する画像である。また、図１７（ａ）に示す画像４６２は、図１４（ｂ）に示す撮像範囲４４５に対応する画像である。また、図１８（ａ）に示す画像４６３は、図１５（ｂ）に示す撮像範囲４５５に対応する画像である。
【０１３７】
図１６（ｂ）に示すように、図１６（ａ）に示す画像４６１の撮像動作時には、音取得部２６０により取得される音により特定される対象物（滝）と、撮像部２２０により生成される画像により特定される対象物（魚、滝）とが一致（一部が一致）する。しかしながら、その一致する対象物（滝）に係る被写体距離（遠い）とは異なる被写体距離（近い）に係る他の対象物（魚）が、撮像部２２０により生成された画像に含まれている。この場合には、制御部２８０は、撮像動作時における設定内容として、画像情報に基づくカメラ制御パラメータ（第２パラメータ）を決定する。
【０１３８】
また、図１７（ｂ）に示すように、図１７（ａ）に示す画像４６２の撮像動作時には、音取得部２６０により取得される音により特定される対象物（滝）と、撮像部２２０により生成される画像により特定される対象物（滝）とが一致する。また、その一致する対象物（滝）に係る被写体距離とは異なる被写体距離に係る他の対象物が、撮像部２２０により生成された画像に含まれていない。この場合には、制御部２８０は、撮像動作時における設定内容として、音情報に基づくカメラ制御パラメータ（第１パラメータ）を決定する。
【０１３９】
また、図１８（ｂ）に示すように、図１８（ａ）に示す画像４６３の撮像動作時には、音取得部２６０により取得される音により特定される対象物（滝）と、撮像部２２０により生成される画像により特定される対象物（滝）とが一致する。また、その一致する対象物（滝）に係る被写体距離とは異なる被写体距離に係る他の対象物が、撮像部２２０により生成された画像に含まれていない。この場合には、制御部２８０は、撮像動作時における設定内容として、音情報に基づくカメラ制御パラメータ（第１パラメータ）を決定する。
【０１４０】
このように、制御部２８０は、第１対象物に係る被写体距離とは異なる被写体距離に係る他の対象物が、撮像部２２０により生成された画像に含まれるか否かに基づいてカメラ制御パラメータを決定する。
【０１４１】
［撮像装置の動作例］
図１９は、本技術の第２の実施の形態における撮像装置１００によるカメラ制御パラメータ決定処理の処理手順の一例を示すフローチャートである。なお、図１９は、図１２の変形例であるため、図１２と共通する部分については、同一の符号を付して、その説明の一部を省略する。
【０１４２】
撮像部２２０により生成された画像に含まれる対象物の種類が判定された後に（ステップＳ９０７）、制御部２８０は、撮像範囲に含まれる各対象物の被写体距離を算出する（ステップＳ９２１）。続いて、制御部２８０は、算出された被写体距離と、画像判定部２５０による判定結果とに基づいて、画像情報に基づくカメラ制御パラメータ（第２パラメータ）を決定する（ステップＳ９２２）。
【０１４３】
また、音判定部２７０による判定結果と、画像判定部２５０による判定結果とが一致（または、略一致）した場合には（ステップＳ９０９）、制御部２８０は、その一致した対象物以外の対象物が撮像範囲に存在するか否かを判断する（ステップＳ９２３）。その一致した対象物以外の対象物が撮像範囲に存在しない場合には（ステップＳ９２３）、制御部２８０は、第１パラメータを用いた撮像動作を行うための制御を行う（ステップＳ９１０）。一方、その一致した対象物以外の対象物が撮像範囲に存在する場合には（ステップＳ９２３）、制御部２８０は、第２パラメータを用いた撮像動作を行うための制御を行う（ステップＳ９１１）。
【０１４４】
例えば、図９に示すように、撮像範囲に走る馬４０１が含まれる場合には、音判定部２７０による判定結果と、画像判定部２５０による判定結果とが一致（略一致）する（ステップＳ９０９）。また、走る馬４０１の背景（草原や山々）については、上述したように、他の対象物であると判定されないため、走る馬４０１以外の対象物が存在しない（ステップＳ９２３）。このため、制御部２８０は、本技術の第１の実施の形態と同様に、音情報に基づくカメラ制御パラメータ（第１パラメータ）を決定し、これを用いた撮像動作を行うための制御を行う（ステップＳ９１０）。なお、音情報に基づくカメラ制御パラメータ（第１パラメータ）は、図６に示すように、シャッタースピードを上げる補正（位置３４２から位置３４３への補正）が行われたパラメータである。
【０１４５】
また、例えば、図１０に示すように、撮像範囲に走る馬４０１が含まれない場合（馬の走る音がある場合とない場合を含む）には、音判定部２７０による判定結果と、画像判定部２５０による判定結果とが一致しない（ステップＳ９０９）。このため、制御部２８０は、本技術の第１の実施の形態と同様に、画像情報に基づくカメラ制御パラメータ（第２パラメータ）を決定し、これを用いた撮像動作を行うための制御を行う（ステップＳ９１１）。ただし、本技術の第２の実施の形態で決定される画像情報に基づくカメラ制御パラメータ（第２パラメータ）は、画像判定部２５０により判定された対象物（草原や山々）に係る被写体距離に応じて設定されるパラメータである。
【０１４６】
また、例えば、図１１に示すように、撮像範囲に止まっている馬４１１が含まれる場合（ただし、馬の鳴く音がない場合）には、音判定部２７０による判定結果と、画像判定部２５０による判定結果とが一致しない（ステップＳ９０９）。このため、制御部２８０は、画像情報に基づくカメラ制御パラメータ（第２パラメータ）を決定し、これを用いた撮像動作を行うための制御を行う（ステップＳ９１１）。ただし、本技術の第２の実施の形態で決定される画像情報に基づくカメラ制御パラメータ（第２パラメータ）は、画像判定部２５０により判定された対象物（馬）に係る被写体距離に応じて設定されるパラメータである。
【０１４７】
また、例えば、図１６に示すように、滝４４２が撮像範囲に含まれる場合には、音判定部２７０による判定結果と、画像判定部２５０による判定結果とが一致（一部が一致）する（ステップＳ９０９）。しかしながら、上述したように、滝４４２以外の他の対象物（魚４４１）が存在すると判定される（ステップＳ９２３）。このため、制御部２８０は、画像情報に基づくカメラ制御パラメータ（第２パラメータ）を決定し、これを用いた撮像動作を行うための制御を行う（ステップＳ９１１）。
【０１４８】
なお、図１６に示す例では、２つの対象物が存在するため、画像情報に基づくカメラ制御パラメータ（第２パラメータ）として、２つのパラメータ（魚４４１に基づくパラメータ、滝４４２およびその滝壺に基づくパラメータ）が決定される。例えば、魚４４１に基づくパラメータは、図６に示すように、シャッタースピードを上げる補正（位置３４６から位置３４７への補正）が行われたパラメータである。一方、滝４４２およびその滝壺に基づくパラメータは、図６に示すように、シャッタースピードを下げる補正（位置３４６から位置３４８への補正）が行われたパラメータである。
【０１４９】
このように、画像情報に基づくカメラ制御パラメータ（第２パラメータ）として、２つのパラメータが決定されるため、制御部２８０は、これらのうちの何れかのパラメータを用いた撮像動作を行うための制御を行う（ステップＳ９１１）。例えば、撮像範囲の中心に位置する対象物を主要対象物とする設定がされている場合には、魚４４１に基づくパラメータを用いた撮像動作を行うための制御を行う。
【０１５０】
また、例えば、図１７に示すように、滝４４２のみが撮像範囲に含まれる場合には、音判定部２７０による判定結果と、画像判定部２５０による判定結果とが一致する（ステップＳ９０９）。また、滝４４２（その滝壷を含む）以外の対象物が存在しないため、複数の対象物が存在しないと判定される（ステップＳ９２３）。このため、制御部２８０は、音情報に基づくカメラ制御パラメータ（第１パラメータ）を決定し、これを用いた撮像動作を行うための制御を行う（ステップＳ９１０）。
【０１５１】
また、図１８に示す例についても、図１７と同様であるため、ここでの説明を省略する。
【０１５２】
このように、本技術の第２の実施の形態では、音を発している対象物が画像に含まれている場合であっても、その対象物以外の対象物がその画像に含まれている場合には、画像情報に基づくカメラ制御パラメータを決定する。これにより、音を発している対象物が画像に含まれている場合において、その対象物以外の対象物が主要対象物となる場合でも、その主要対象物に対する最適なカメラ制御パラメータを設定して撮像動作を行うことができる。すなわち、音を発している対象物と、この対象物以外の対象物との関係を考慮して、撮像動作時における設定内容を適切に決定することができる。
【０１５３】
なお、本技術の第２の実施の形態では、音を発する対象物として、魚の背景に位置する滝を例にして説明したが、背景に音を発する対象物が存在し、その手前に異なる対象物が存在する他の状態においても本技術の第２の実施の形態を適用することができる。例えば、ステージ上に存在する対象物（音を発しない）の背景に多数の観客が存在し、この多数の観客が音を発しているような状態において本技術の第２の実施の形態を適用することができる。
【０１５４】
＜３．第３の実施の形態＞
本技術の第１の実施の形態では、音を発している対象物が画像に含まれている場合には、その音を考慮して撮像動作に用いられるカメラ制御パラメータを決定する例を示した。しかしながら、音を発している対象物（人物以外）が画像に含まれている場合であっても、その画像に人物が含まれている場合には、その人物が主要対象物となることも想定される。
【０１５５】
そこで、本技術の第３の実施の形態では、音を発している対象物（人物以外）が画像に含まれている場合であっても、その画像に人物が含まれている場合には、画像情報に基づくカメラ制御パラメータを撮像動作に用いる例を示す。なお、本技術の第３の実施の形態における撮像装置の構成については、図１および図２に示す例と略同様である。このため、本技術の第１の実施の形態と共通する部分については、その説明の一部を省略する。
【０１５６】
［撮像装置を用いた撮像状態例］
図２０は、本技術の第３の実施の形態における撮像装置１００の撮像対象となる被写体と撮像範囲との関係を簡略化して示す図である。図２０（ａ）には、撮像装置１００および被写体をその側面から見た場合を示す。また、図２０（ｂ）には、撮像装置１００の撮像対象となる被写体の撮像範囲を示す。
【０１５７】
図２０には、滝４７２を背景にして立っている人物４７１と、滝４７２（その滝壺および川）付近とを被写体とする場合における被写体と撮像範囲との関係を示す。ここで、図２０に示す例では、撮像装置１００と滝４７２との距離が比較的近いため、滝４７２の流れる音（図２０（ａ）では、「ザーザー」で示す）を音取得部２６０により取得することができる場合を想定して説明する。
【０１５８】
ここで、図２０（ｂ）に示すように、撮像範囲４７５には滝４７２が含まれないのに対し、撮像範囲４７６、４７７には滝４７２が含まれる。このため、撮像部２２０の撮像対象が撮像範囲４７６である場合には、音取得部２６０により取得される音により特定される対象物（滝）と、撮像部２２０により生成される画像により特定される対象物（人物、滝）とが一致（すなわち、一部が一致）する。また、撮像部２２０の撮像対象が撮像範囲４７７である場合には、音取得部２６０により取得される音により特定される対象物（滝）と、撮像部２２０により生成される画像により特定される対象物（滝）とが一致する。
【０１５９】
ここで、音取得部２６０により取得される音により特定される対象物と、撮像部２２０により生成される画像により特定される対象物とが一致する場合には、本技術の第１の実施の形態では、音情報に基づくカメラ制御パラメータを決定する例を示した。しかしながら、撮像部２２０の撮像対象が撮像範囲４７６である場合には、背景の滝４７２よりも、その前に立っている人物４７１を主要対象物として撮像動作が行われている可能性が高いと想定される。
【０１６０】
すなわち、音取得部２６０により取得される音により特定される対象物（滝）よりも、撮像部２２０により生成される画像により特定される対象物（人物）が重要であると想定される。この場合に、例えば、音取得部２６０により取得された音のみによりカメラ制御パラメータを決定する場合には、撮像範囲４７６に含まれる被写体の画像については、適切なカメラ制御パラメータを設定することができないおそれがある。そこで、本技術の第３の実施の形態では、音により特定される対象物と画像により特定される対象物とが一致する場合であっても、撮像範囲に人物が存在する場合には、画像情報に基づくカメラ制御パラメータを決定する例を示す。
【０１６１】
また、撮像範囲４７５には人物４７１が含まれる。この場合についても同様に、画像情報に基づくカメラ制御パラメータを決定する。
【０１６２】
［被写体およびカメラ制御パラメータの関係例］
図２１乃至図２３は、本技術の第３の実施の形態における撮像部２２０により生成された画像と、制御部２８０により決定されたカメラ制御パラメータとの関係を示す図である。
【０１６３】
ここで、図２１（ａ）に示す画像４８１は、図２０（ｂ）に示す撮像範囲４７６に対応する画像である。また、図２２（ａ）に示す画像４８２は、図２０（ｂ）に示す撮像範囲４７５に対応する画像である。また、図２３（ａ）に示す画像４８３は、図２０（ｂ）に示す撮像範囲４７７に対応する画像である。
【０１６４】
図２１（ｂ）に示すように、図２１（ａ）に示す画像４８１の撮像動作時には、音取得部２６０により取得される音により特定される対象物（滝）と、撮像部２２０により生成される画像により特定される対象物（人物、滝）とが一致（一部が一致）する。しかしながら、撮像部２２０により生成される画像には人物４７１の顔が含まれている。この場合には、制御部２８０は、撮像動作時における設定内容として、画像情報に基づくカメラ制御パラメータ（第２パラメータ）を決定する。
【０１６５】
また、図２２（ｂ）に示すように、図２２（ａ）に示す画像４８２の撮像動作時には、音取得部２６０により取得される音により特定される対象物（滝）と、撮像部２２０により生成される画像により特定される対象物（人物、山々）とが一致しない。この場合には、制御部２８０は、撮像動作時における設定内容として、画像情報に基づくカメラ制御パラメータ（第２パラメータ）を決定する。
【０１６６】
また、図２３（ｂ）に示すように、図２３（ａ）に示す画像４８３の撮像動作時には、音取得部２６０により取得される音により特定される対象物（滝）と、撮像部２２０により生成される画像により特定される対象物（滝）とが一致する。また、撮像部２２０により生成される画像には人物の顔が含まれていない。この場合には、制御部２８０は、撮像動作時における設定内容として、音情報に基づくカメラ制御パラメータ（第１パラメータ）を決定する。
【０１６７】
このように、制御部２８０は、撮像部２２０により生成された画像に特定対象物（例えば、人物の顔）が含まれるか否かに基づいてカメラ制御パラメータを決定する。
【０１６８】
［撮像装置の動作例］
図２４は、本技術の第３の実施の形態における撮像装置１００によるカメラ制御パラメータ決定処理の処理手順の一例を示すフローチャートである。なお、図２４は、図１２の変形例であるため、図１２と共通する部分については、同一の符号を付して、その説明の一部を省略する。
【０１６９】
音判定部２７０による判定結果と、画像判定部２５０による判定結果とが一致（または、略一致）した場合には（ステップＳ９０９）、制御部２８０は、撮像範囲に人物（人物の顔）が存在するか否かを判断する（ステップＳ９３１）。撮像範囲に人物（人物の顔）が存在しない場合には（ステップＳ９３１）、制御部２８０は、第１パラメータを用いた撮像動作を行うための制御を行う（ステップＳ９１０）。一方、撮像範囲に人物（人物の顔）が存在する場合には（ステップＳ９３１）、制御部２８０は、第２パラメータを用いた撮像動作を行うための制御を行う（ステップＳ９１１）。
【０１７０】
例えば、図９乃至図１１に示す例では、撮像範囲に人物が含まれないため、本技術の第１の実施の形態と同様の決定処理が行われる。
【０１７１】
同様に、例えば、図１６乃至図１８に示す例では、撮像範囲に人物が含まれないため、本技術の第２の実施の形態と同様の決定処理が行われる。
【０１７２】
また、例えば、図２１に示すように、撮像範囲に滝４７２が含まれる場合には、音判定部２７０による判定結果と、画像判定部２５０による判定結果とが一致（一部が一致）する（ステップＳ９０９）。しかしながら、上述したように、撮像範囲に人物４７１が存在すると判定される（ステップＳ９３１）。このため、制御部２８０は、画像情報に基づくカメラ制御パラメータ（第２パラメータ）を決定し、これを用いた撮像動作を行うための制御を行う（ステップＳ９１１）。この場合には、制御部２８０は、人物４７１に基づくパラメータ（例えば、被写体情報を用いて決定されたパラメータ）を用いた撮像動作を行うための制御を行う（ステップＳ９１１）。
【０１７３】
また、例えば、図２２に示すように、滝４７２が撮像範囲に含まれない場合には、音判定部２７０による判定結果と、画像判定部２５０による判定結果とが一致しない（ステップＳ９０９）。このため、制御部２８０は、画像情報に基づくカメラ制御パラメータ（第２パラメータ）を決定し、これを用いた撮像動作を行うための制御を行う（ステップＳ９１１）。この場合についても、制御部２８０は、人物４７１に基づくパラメータを用いた撮像動作を行うための制御を行う（ステップＳ９１１）。
【０１７４】
また、例えば、図２３に示すように、撮像範囲に滝４７２が含まれる場合には、音判定部２７０による判定結果と、画像判定部２５０による判定結果とが一致（一部が一致）する（ステップＳ９０９）。また、この場合には、撮像範囲に人物４７１が存在しないと判定される（ステップＳ９３１）。このため、制御部２８０は、音情報に基づくカメラ制御パラメータ（第１パラメータ）を決定し、これを用いた撮像動作を行うための制御を行う（ステップＳ９１０）。
【０１７５】
このように、本技術の第３の実施の形態では、音を発している対象物が画像に含まれている場合であっても、その画像に人物が含まれている場合には、画像情報に基づくカメラ制御パラメータを決定する。これにより、音を発している対象物が画像に含まれている場合において、人物が主要対象物となる場合でも、その人物に対する最適なカメラ制御パラメータを設定して撮像動作を行うことができる。すなわち、音を発している対象物と、この対象物以外の対象物との関係を考慮して、撮像動作時における設定内容を適切に決定することができる。
【０１７６】
なお、本技術の実施の形態では、音判定部２７０により判定された対象物に基づいて決定されたパラメータについては、音判定部２７０による判定結果（例えば、その対象物の速度）を用いて補正する例を示した。ただし、音判定部２７０により判定された対象物に基づいて決定されたパラメータについて、画像判定部２５０による判定結果（例えば、その対象物の速度）を用いて補正するようにしてもよい。
【０１７７】
また、本技術の実施の形態では、画像判定部２５０により判定された対象物に基づいて決定されたパラメータについては、画像判定部２５０による判定結果（例えば、その対象物の速度）や被写体距離（その対象物の被写体距離）を用いて補正する例を示した。ただし、画像判定部２５０により判定された対象物に基づいて決定されたパラメータについて、音判定部２７０による判定結果（例えば、その対象物の速度や被写体距離）を用いて補正するようにしてもよい。
【０１７８】
また、制御部２８０は、音取得部２６０により取得された周囲の音と、撮像部２２０により生成された画像とに基づいて、他の決定方法により設定内容（撮像部２２０の撮像動作時における設定内容）を決定するようにしてもよい。
【０１７９】
例えば、制御部２８０は、音判定部２７０により花火の音が判定された場合には、画像判定部２５０により判定された対象物に基づいて決定されたパラメータを、花火に最適なパラメータとなるように補正するようにしてもよい。また、例えば、制御部２８０は、音判定部２７０により花火の音が判定された場合には、撮像モードとして花火モードを設定し、この花火モードの設定状態で、画像判定部２５０により判定された対象物に基づいて最適なパラメータを設定するようにしてもよい。これらにより、連続して打ち上げられる花火を撮影するような場合には、シャッターボタン１７１を半押し状態としておくことにより、花火に最適なパラメータを容易に設定することができる。
【０１８０】
また、本技術の実施の形態では、シャッターボタン１７１の半押し操作が行われてから全押し操作が行われるまでの期間を音判定期間とし、シャッターボタン１７１の全押し操作時を画像判定期間とする例を示す。ただし、静止画撮像モードが設定されている間を、音判定期間および画像判定期間として、音判定処理および画像判定処理を順次行うようにしてもよい。また、音判定期間および画像判定期間を、定期的または不定期に設定するようにしてもよく、撮像動作時において、カメラ制御パラメータを設定することが可能な他の期間に設定するようにしてもよい。
【０１８１】
また、本技術の実施の形態では、カメラ制御パラメータとして、絞り値、シャッタースピード、露出値を決定する例を示したが、他のカメラ制御パラメータを決定する場合についても、本技術の実施の形態を適用することができる。例えば、対象物に応じた最適な撮像パラメータや画像処理パラメータを対象物毎に関連付けて記憶しておき、これらの各パラメータを用いて撮像動作時における設定内容を決定することができる。
【０１８２】
なお、本技術の実施の形態では、撮像部を備える撮像装置１００を例にして説明したが、撮像部を着脱可能な情報処理装置に本技術の実施の形態を適用することができる。また、撮像機能付き携帯電話機や撮像機能付き携帯端末装置等の情報処理装置に本技術の実施の形態を適用することができる。
【０１８３】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１８４】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
【０１８５】
なお、本技術は以下のような構成もとることができる。
（１） 音取得部により取得された周囲の音と撮像部により生成された画像とに基づいて前記撮像部の撮像動作時における設定内容を決定するための制御を行う制御部を具備する情報処理装置。
（２） 前記音取得部により取得された周囲の音に基づいて当該音を発する対象物を判定する第１判定部と、
前記撮像部により生成された画像に基づいて当該画像に含まれる対象物を判定する第２判定部とをさらに具備し、
前記制御部は、前記第１判定部による判定結果と前記第２判定部による判定結果とに基づいて前記設定内容を決定する
前記（１）に記載の情報処理装置。
（３） 前記制御部は、前記第１判定部により判定された対象物である第１対象物と、前記第２判定部により判定された対象物である第２対象物との比較結果に基づいて前記設定内容を決定する前記（２）に記載の情報処理装置。
（４） 前記制御部は、前記設定内容に関するパラメータである第１パラメータを前記第１対象物に基づいて決定し、前記設定内容に関するパラメータである第２パラメータを前記第２対象物に基づいて決定し、前記第１対象物および前記第２対象物が一致するか否かに基づいて前記第１パラメータおよび前記第２パラメータの何れかを用いて前記設定内容を決定する前記（３）に記載の情報処理装置。
（５） 前記制御部は、前記第１対象物および前記第２対象物が一致する場合には前記第１パラメータを用いて前記設定内容を決定し、前記第１対象物および前記第２対象物が一致しない場合には前記第２パラメータを用いて前記設定内容を決定する前記（４）に記載の情報処理装置。
（６） 前記第１判定部は、前記第１対象物と当該第１対象物に係る移動状態および被写体距離の少なくとも一方とを判定し、
前記制御部は、前記第１対象物に係る移動状態および被写体距離の少なくとも一方に基づいて前記第１パラメータを補正する
前記（４）または（５）に記載の情報処理装置。
（７） 前記第２判定部は、前記第２対象物と当該第２対象物に係る移動状態および被写体距離の少なくとも一方とを判定し、
前記制御部は、前記第２対象物に係る移動状態および被写体距離の少なくとも一方に基づいて前記第２パラメータを補正する
前記（４）から（６）のいずれかに記載の情報処理装置。
（８） 前記撮像部により生成された画像に含まれる各対象物に係る被写体距離を取得する被写体距離取得部をさらに具備し、
前記制御部は、前記第１対象物に係る被写体距離とは異なる被写体距離に係る他の対象物が前記撮像部により生成された画像に含まれるか否かに基づいて前記第１パラメータおよび前記第２パラメータの何れかを用いて前記設定内容を決定する
前記（４）から（７）のいずれかに記載の情報処理装置。
（９） 前記第２判定部は、前記撮像部により生成された画像に特定対象物が含まれるか否かを判定し、
前記制御部は、前記撮像部により生成された画像に前記特定対象物が含まれるか否かに基づいて前記第１パラメータおよび前記第２パラメータの何れかを用いて前記設定内容を決定する
前記（４）から（７）のいずれかに記載の情報処理装置。
（１０） 前記第２判定部は、前記特定対象物として人物の顔が含まれるか否かを判定する前記（９）に記載の情報処理装置。
（１１） 周囲の音を取得する音取得部と、
被写体を撮像して画像を生成する撮像部と、
前記音取得部により取得された周囲の音と、前記撮像部により生成された画像とに基づいて前記撮像部の撮像動作時における設定内容を決定するための制御を行う制御部と
を具備する撮像装置。
（１２） 情報処理装置の周囲の音を取得する音取得手順と、
撮像部により生成された画像を取得する画像取得手順と、
前記取得された音と前記取得された画像とに基づいて前記撮像部の撮像動作時における設定内容を決定する決定手順と
を具備する情報処理方法。
（１３） 情報処理装置の周囲の音を取得する音取得手順と、
撮像部により生成された画像を取得する画像取得手順と、
前記取得された音と前記取得された画像とに基づいて前記撮像部の撮像動作時における設定内容を決定する決定手順と
をコンピュータに実行させるプログラム。
【符号の説明】
【０１８６】
１００ 撮像装置
１１１ レンズ群
１１２ 絞り
１１３ 光学系制御部
１２１ シャッターユニット
１２２ シャッター制御部
１３１ 撮像素子
１３２ ＡＦＥ
１３３ 画像処理部
１３５ 測光部
１４０ コンテンツ記憶部
１５１ マイクロフォン
１５２ Ａ／Ｄ変換部
１５３ 音声分析処理部
１６０ 不揮発性メモリ
１７０ 操作受付部
１７１ シャッターボタン
１８０ 表示部
１９０ メイン制御部
２１０ 操作受付部
２２０ 撮像部
２３０ 画像処理部
２４０ 記録制御部
２５０ 画像判定部
２６０ 音取得部
２７０ 音判定部
２８０ 制御部
２９０ コンテンツ記憶部
３１０ 画像判定情報記憶部
３２０ 音判定情報記憶部
３３０ パラメータ補正情報記憶部
３４０ プログラム線図記憶部
【技術分野】
【０００１】
本技術は、情報処理装置に関する。詳しくは、撮像動作を制御する情報処理装置、撮像装置および情報処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
近年、人物等の被写体を撮像して画像（画像データ）を生成し、この生成された画像（画像データ）を画像コンテンツ（画像ファイル）として記録する情報処理装置（例えば、デジタルスチルカメラ等の撮像装置）が普及している。この情報処理装置が撮像動作を行う場合には、記録される画像（画像データ）を綺麗に記録するため、その撮像動作に関する各パラメータを適切に設定することが重要となる。このため、撮像動作に関する各パラメータを適切に設定するための技術が多数提案されている。
【０００３】
また、例えば、被写体の撮像動作時に取得された音声信号の特徴量を分析し、この分析された音声信号の特徴量に基づいて、画像処理パラメータを制御する撮像装置が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１４７５８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の従来技術では、被写体の撮像動作時に取得された音声信号を用いて、その撮像動作に関する各パラメータを制御することができる。
【０００６】
しかしながら、例えば、撮像範囲に含まれる対象物以外の対象物（すなわち、撮像範囲に含まれない対象物）が音を発していることも想定される。また、撮像範囲に含まれる対象物のうち、主要対象物（例えば、撮影者がフォーカスを合わせている対象物）以外の対象物が音を発していることも想定される。このため、音を発している対象物と、この対象物以外の対象物との関係を考慮して、撮像動作時における設定内容を適切に決定することが重要である。
【０００７】
本技術はこのような状況に鑑みて生み出されたものであり、撮像動作時における設定内容を適切に決定することを目的とする。
【課題を解決するための手段】
【０００８】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、音取得部により取得された周囲の音と撮像部により生成された画像とに基づいて上記撮像部の撮像動作時における設定内容を決定するための制御を行う制御部を具備する情報処理装置およびその情報処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、音取得部により取得された周囲の音と、撮像部により生成された画像とに基づいて、撮像部の撮像動作時における設定内容を決定するという作用をもたらす。
【０００９】
また、この第１の側面において、上記音取得部により取得された周囲の音に基づいて当該音を発する対象物を判定する第１判定部と、上記撮像部により生成された画像に基づいて当該画像に含まれる対象物を判定する第２判定部とをさらに具備し、上記制御部は、上記第１判定部による判定結果と上記第２判定部による判定結果とに基づいて上記設定内容を決定するようにしてもよい。これにより、第１判定部による判定結果と、第２判定部による判定結果とに基づいて、撮像部の撮像動作時における設定内容を決定するという作用をもたらす。
【００１０】
また、この第１の側面において、上記制御部は、上記第１判定部により判定された対象物である第１対象物と、上記第２判定部により判定された対象物である第２対象物との比較結果に基づいて上記設定内容を決定するようにしてもよい。これにより、第１判定部により判定された対象物（第１対象物）と、第２判定部により判定された対象物（第２対象物）との比較結果に基づいて、撮像部の撮像動作時における設定内容を決定するという作用をもたらす。
【００１１】
また、この第１の側面において、上記制御部は、上記設定内容に関するパラメータである第１パラメータを上記第１対象物に基づいて決定し、上記設定内容に関するパラメータである第２パラメータを上記第２対象物に基づいて決定し、上記第１対象物および上記第２対象物が一致するか否かに基づいて上記第１パラメータおよび上記第２パラメータの何れかを用いて上記設定内容を決定するようにしてもよい。これにより、第１対象物および第２対象物が一致するか否かに基づいて、第１パラメータおよび第２パラメータの何れかを用いて、撮像部の撮像動作時における設定内容を決定するという作用をもたらす。
【００１２】
また、この第１の側面において、上記制御部は、上記第１対象物および上記第２対象物が一致する場合には上記第１パラメータを用いて上記設定内容を決定し、上記第１対象物および上記第２対象物が一致しない場合には上記第２パラメータを用いて上記設定内容を決定するようにしてもよい。これにより、第１対象物および第２対象物が一致する場合には、第１パラメータを用いて、撮像部の撮像動作時における設定内容を決定し、第１対象物および第２対象物が一致しない場合には、第２パラメータを用いて、撮像部の撮像動作時における設定内容を決定するという作用をもたらす。
【００１３】
また、この第１の側面において、上記第１判定部は、上記第１対象物と当該第１対象物に係る移動状態および被写体距離の少なくとも一方とを判定し、上記制御部は、上記第１対象物に係る移動状態および被写体距離の少なくとも一方に基づいて上記第１パラメータを補正するようにしてもよい。これにより、第１対象物に係る移動状態および被写体距離の少なくとも一方に基づいて第１パラメータを補正するという作用をもたらす。
【００１４】
また、この第１の側面において、上記第２判定部は、上記第２対象物と当該第２対象物に係る移動状態および被写体距離の少なくとも一方とを判定し、上記制御部は、上記第２対象物に係る移動状態および被写体距離の少なくとも一方に基づいて上記第２パラメータを補正するようにしてもよい。これにより、第２対象物に係る移動状態および被写体距離の少なくとも一方に基づいて第２パラメータを補正するという作用をもたらす。
【００１５】
また、この第１の側面において、上記撮像部により生成された画像に含まれる各対象物に係る被写体距離を取得する被写体距離取得部をさらに具備し、上記制御部は、上記第１対象物に係る被写体距離とは異なる被写体距離に係る他の対象物が上記撮像部により生成された画像に含まれるか否かに基づいて上記第１パラメータおよび上記第２パラメータの何れかを用いて上記設定内容を決定するようにしてもよい。これにより、第１対象物に係る被写体距離とは異なる被写体距離に係る他の対象物が、撮像部により生成された画像に含まれるか否かに基づいて、第１パラメータおよび第２パラメータの何れかを用いて、撮像部の撮像動作時における設定内容を決定するという作用をもたらす。
【００１６】
また、この第１の側面において、上記第２判定部は、上記撮像部により生成された画像に特定対象物が含まれるか否かを判定し、上記制御部は、上記撮像部により生成された画像に上記特定対象物が含まれるか否かに基づいて上記第１パラメータおよび上記第２パラメータの何れかを用いて上記設定内容を決定するようにしてもよい。これにより、撮像部により生成された画像に特定対象物が含まれるか否かに基づいて、第１パラメータおよび第２パラメータの何れかを用いて、撮像部の撮像動作時における設定内容を決定するという作用をもたらす。
【００１７】
また、この第１の側面において、上記第２判定部は、上記特定対象物として人物の顔が含まれるか否かを判定するようにしてもよい。これにより、特定対象物として人物の顔が含まれるか否かを判定するという作用をもたらす。
【００１８】
また、本技術の第２の側面は、周囲の音を取得する音取得部と、被写体を撮像して画像を生成する撮像部と、上記音取得部により取得された周囲の音と、上記撮像部により生成された画像とに基づいて上記撮像部の撮像動作時における設定内容を決定するための制御を行う制御部とを具備する撮像装置およびその制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、音取得部により取得された周囲の音と、撮像部により生成された画像とに基づいて、撮像部の撮像動作時における設定内容を決定するという作用をもたらす。
【発明の効果】
【００１９】
本技術によれば、撮像動作時における設定内容を適切に決定することができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００２０】
【図１】本技術の第１の実施の形態における撮像装置１００の内部構成例を示すブロック図である。
【図２】本技術の第１の実施の形態における撮像装置１００の機能構成例を示すブロック図である。
【図３】本技術の第１の実施の形態における画像判定情報記憶部３１０の記憶内容の一例を模式的に示す図である。
【図４】本技術の第１の実施の形態における音判定情報記憶部３２０の記憶内容の一例を模式的に示す図である。
【図５】本技術の第１の実施の形態におけるパラメータ補正情報記憶部３３０の記憶内容の一例を模式的に示す図である。
【図６】本技術の第１の実施の形態におけるプログラム線図記憶部３４０に記憶されているプログラム線図の一例を示す図である。
【図７】本技術の第１の実施の形態における撮像装置１００の撮像対象となる被写体と撮像範囲との関係を簡略化して示す図である。
【図８】本技術の第１の実施の形態における撮像装置１００の撮像対象となる被写体と撮像範囲との関係を簡略化して示す図である。
【図９】本技術の第１の実施の形態における撮像部２２０により生成された画像と、制御部２８０により決定されたカメラ制御パラメータとの関係を示す図である。
【図１０】本技術の第１の実施の形態における撮像部２２０により生成された画像と、制御部２８０により決定されたカメラ制御パラメータとの関係を示す図である。
【図１１】本技術の第１の実施の形態における撮像部２２０により生成された画像と、制御部２８０により決定されたカメラ制御パラメータとの関係を示す図である。
【図１２】本技術の第１の実施の形態における撮像装置１００によるカメラ制御パラメータ決定処理の処理手順の一例を示すフローチャートである。
【図１３】本技術の第２の実施の形態における撮像部２２０により生成された画像４３０と、画像４３０の奥行マップとの関係を示す図である。
【図１４】本技術の第２の実施の形態における撮像装置１００の撮像対象となる被写体と撮像範囲との関係を簡略化して示す図である。
【図１５】本技術の第２の実施の形態における撮像装置１００の撮像対象となる被写体と撮像範囲との関係を簡略化して示す図である。
【図１６】本技術の第２の実施の形態における撮像部２２０により生成された画像と、制御部２８０により決定されたカメラ制御パラメータとの関係を示す図である。
【図１７】本技術の第２の実施の形態における撮像部２２０により生成された画像と、制御部２８０により決定されたカメラ制御パラメータとの関係を示す図である。
【図１８】本技術の第２の実施の形態における撮像部２２０により生成された画像と、制御部２８０により決定されたカメラ制御パラメータとの関係を示す図である。
【図１９】本技術の第２の実施の形態における撮像装置１００によるカメラ制御パラメータ決定処理の処理手順の一例を示すフローチャートである。
【図２０】本技術の第３の実施の形態における撮像装置１００の撮像対象となる被写体と撮像範囲との関係を簡略化して示す図である。
【図２１】本技術の第３の実施の形態における撮像部２２０により生成された画像と、制御部２８０により決定されたカメラ制御パラメータとの関係を示す図である。
【図２２】本技術の第３の実施の形態における撮像部２２０により生成された画像と、制御部２８０により決定されたカメラ制御パラメータとの関係を示す図である。
【図２３】本技術の第３の実施の形態における撮像部２２０により生成された画像と、制御部２８０により決定されたカメラ制御パラメータとの関係を示す図である。
【図２４】本技術の第３の実施の形態における撮像装置１００によるカメラ制御パラメータ決定処理の処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００２１】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（カメラ制御パラメータ決定制御：撮像装置の周囲の音と、撮像部により生成された画像とに基づいてカメラ制御パラメータを決定する例）
２．第２の実施の形態（カメラ制御パラメータ決定制御：被写体距離が異なる複数の対象物が撮像範囲に含まれるか否かに基づいてカメラ制御パラメータを決定する例）
３．第３の実施の形態（カメラ制御パラメータ決定制御：撮像範囲に人物が含まれるか否かに基づいてカメラ制御パラメータを決定する例）
【００２２】
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本技術の第１の実施の形態における撮像装置１００の内部構成例を示すブロック図である。
【００２３】
撮像装置１００は、レンズ群１１１と、絞り１１２と、光学系制御部１１３と、シャッターユニット１２１と、シャッター制御部１２２と、撮像素子１３１と、ＡＦＥ（Analog Front End）１３２とを備える。また、撮像装置１００は、画像処理部１３３と、測光部１３５と、コンテンツ記憶部１４０と、マイクロフォン１５１と、Ａ／Ｄ（Analog/Digital）変換部１５２と、音声分析処理部１５３とを備える。また、撮像装置１００は、不揮発性メモリ１６０と、操作受付部１７０と、表示部１８０と、メイン制御部１９０とを備える。また、撮像装置１００は、例えば、被写体を撮像して画像データ（画像）を生成し、この生成された画像データを画像コンテンツ（静止画コンテンツまたは動画コンテンツ）として記録するデジタルスチルカメラにより実現される。なお、撮像装置１００は、特許請求の範囲に記載の情報処理装置および撮像装置の一例である。
【００２４】
レンズ群１１１は、被写体からの入射光を集光するレンズ群であり、これらのレンズ群により集光された光が絞り１１２を介して撮像素子１３１に入射される。なお、レンズ群１１１は、焦点を調整するためのフォーカスレンズや、画像に含まれる被写体の倍率を調整するためのズームレンズ等により構成されるが、これらの具体的な配置構成等については、図示および説明を省略する。また、レンズ群１１１を構成する各レンズは、光学系制御部１１３により駆動され、被写体に対して前後に移動する。これにより、フォーカス機能およびズーム機能が実現される。
【００２５】
絞り１１２は、レンズ群１１１を通過する入射光の光量を調整するものであり、その調整後の光が撮像素子１３１に入射される。すなわち、絞り１１２により、レンズ群１１１を通過する入射光の光量が調整され、撮像素子１３１に供給される光量（すなわち、露出）が決定される。また、絞り１１２は、光学系制御部１１３により駆動され、絞りの開度が調節される。
【００２６】
光学系制御部１１３は、メイン制御部１９０からの指示に基づいて、レンズ群１１１を構成する各レンズと、絞り１１２とを駆動させるものである。また、光学系制御部１１３は、レンズ群１１１を構成する各レンズの位置と、絞り１１２の状態（開閉の状態）とを取得し、これらをメイン制御部１９０に順次出力する。
【００２７】
シャッターユニット１２１は、撮像素子１３１に入射する被写体からの入射光の光路の開口および遮断を、上下方向に移動する幕体により行うものであり、シャッター制御部１２２により駆動される。例えば、シャッターユニット１２１は、光路が開口している場合には、被写体からの入射光を撮像素子１３１に供給する。
【００２８】
シャッター制御部１２２は、メイン制御部１９０からの指示に基づいて、シャッターユニット１２１を駆動させるものである。
【００２９】
撮像素子１３１は、被写体からの入射光を光電変換することにより電気信号（アナログ信号）を生成するものであり、生成された電気信号を画像信号としてＡＦＥ１３２に供給する。撮像素子１３１として、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いることができる。
【００３０】
また、撮像素子１３１として、例えば、射出瞳が異なる部分を透過した透過光を受光することにより、位相差検出方式の焦点検出（位相差ＡＦ（Auto Focus））を行う撮像素子を用いることができる。この位相差ＡＦを行う撮像素子からは、画像信号（アナログ信号）とともに、位相差検出信号が出力される。このため、画像処理部１３３は、撮像素子１３１から出力された位相差検出信号に基づいて、撮像素子１３１から出力された画像信号に対応する画像における各領域の被写体距離を算出することができる。なお、被写体距離は、撮像装置１００から被写体までの距離である。
【００３１】
ＡＦＥ１３２は、メイン制御部１９０からの指示に基づいて、撮像素子１３１から供給される画像信号（アナログ信号）に所定の信号処理を施すとともに、所定の信号処理が施された画像信号をデジタル信号に変換するものである。そして、ＡＦＥ１３２は、生成された画像信号（デジタル信号）を画像処理部１３３に供給する。例えば、ＡＦＥ１３２は、所定の信号処理として、画像信号（アナログ信号）に対してノイズ除去および信号増幅等の信号処理を行う。また、ＡＦＥ１３２は、メイン制御部１９０から供給される基準クロックに基づいて、撮像素子１３１の撮像動作に関するタイミングパルスを生成し、その生成したタイミングパルスを撮像素子１３１に供給する。
【００３２】
画像処理部１３３は、メイン制御部１９０からの指示に基づいて、ＡＦＥ１３２から供給された画像信号（デジタル信号）に対して所定の信号処理を施して画像データ（画像信号）を生成するものである。そして、画像処理部１３３は、生成された画像データを圧縮してコンテンツ記憶部１４０に供給する。例えば、画像処理部１３３は、所定の信号処理として、ＡＦＥ１３２から供給された画像信号（デジタル信号）に対してホワイトバランス補正、ガンマ補正、黒レベル補正、画像圧縮、画素補間処理、色変換処理等の信号処理を行う。また、画像処理部１３３は、生成された画像データ（画像信号）を用いて所定の演算処理を行い、コントラスト、明度、彩度、ホワイトバランス、シャープネス等の画像処理を行う。
【００３３】
測光部１３５は、自動露出処理を行うための測光部であり、被写体の周辺部の明るさを測る際に用いられる。すなわち、撮像素子１３１により光学像として結像された被写体の露出状態を測光部１３５により測定することができる。
【００３４】
コンテンツ記憶部１４０は、メイン制御部１９０からの指示に基づいて、画像処理部１３３から供給される画像データを画像コンテンツ（画像ファイル）として記憶するものである。
【００３５】
マイクロフォン１５１は、撮像装置１００に内蔵されているマイクロフォンであり、撮像装置１００の周囲の音を入力する。そして、マイクロフォン１５１は、入力された周囲の音を電気信号（アナログ信号）に変換し、この変換により生成された電気信号を音声信号（アナログ信号）としてＡ／Ｄ変換部１５２に供給する。
【００３６】
Ａ／Ｄ変換部１５２は、マイクロフォン１５１から出力された音声信号（アナログ信号）をデジタル信号に変換するものであり、この変換により生成された音声信号（デジタル信号）を音声分析処理部１５３に出力する。
【００３７】
音声分析処理部１５３は、Ａ／Ｄ変換部１５２から供給された音声信号を分析することにより、その音声信号から特徴量を抽出するものであり、抽出された特徴量をメイン制御部１９０に出力する。音声分析処理部１５３は、例えば、音声信号の特徴量として音声信号の音量や周波数分布を抽出することが可能なスペクトルアナライザ回路により実現される。
【００３８】
不揮発性メモリ１６０は、電源供給が行われていない状態でも記憶内容を保持することが可能な半導体メモリである。不揮発性メモリ１６０として、例えば、フラッシュメモリやＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）を用いることができる。
【００３９】
操作受付部１７０は、ユーザにより行われた操作を受け付ける操作受付部であり、受け付けられた操作内容に応じた制御信号（操作信号）をメイン制御部１９０に出力する。操作受付部１７０は、例えば、シャッターボタン１７１（図７（ａ）等に示す）、モードダイアル等に対応する。このモードダイアルは、各撮像モードを設定するための操作部材である。このモードダイアルにより、特定撮像モード（例えば、音／画像判定モード）が設定された場合には、本技術の第１の実施の形態に示す撮像モードが設定される。
【００４０】
シャッターボタン１７１は、静止画を記録するための各操作（半押し操作および全押し操作）を行う際に用いられるボタンである。半押し操作が行われた場合には、例えば、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュ調光）処理等が開始される。また、全押し操作が行われた場合には、撮像素子１３１から読み出された画像信号（アナログ信号）を画像コンテンツ（画像ファイル）としてコンテンツ記憶部１４０に記録するための各処理が行われる。
【００４１】
表示部１８０は、メイン制御部１９０からの指示に基づいて、画像処理部１３３から出力された画像データを表示する表示パネル（例えば、液晶ファインダー）である。例えば、表示部１８０は、各種設定を行うための設定画面や、撮像素子１３１により生成された画像（いわゆる、スルー画像、ライブビュー画像）を表示する。表示部１８０として、例えば、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electro Luminescence）パネル等の表示パネルを用いることができる。
【００４２】
メイン制御部１９０は、メモリ（例えば、不揮発性メモリ１６０）に格納されている制御プログラムに基づいて撮像装置１００における各部を制御するものである。メイン制御部１９０は、例えば、マイクロプロセッサにより構成される。
【００４３】
［撮像装置の機能構成例］
図２は、本技術の第１の実施の形態における撮像装置１００の機能構成例を示すブロック図である。
【００４４】
撮像装置１００は、操作受付部２１０と、撮像部２２０と、画像処理部２３０と、記録制御部２４０と、画像判定部２５０と、音取得部２６０と、音判定部２７０と、制御部２８０と、コンテンツ記憶部２９０とを備える。また、撮像装置１００は、画像判定情報記憶部３１０と、音判定情報記憶部３２０と、パラメータ補正情報記憶部３３０と、プログラム線図記憶部３４０とを備える。なお、操作受付部２１０は、例えば、図１に示す操作受付部１７０に対応し、コンテンツ記憶部２９０は、例えば、図１に示すコンテンツ記憶部１４０に対応する。
【００４５】
撮像部２２０は、制御部２８０からの指示に基づいて、被写体を撮像して画像（画像データ）を生成するものであり、生成された画像を画像処理部２３０と、画像判定部２５０と、制御部２８０とに供給する。また、撮像部２２０は、制御部２８０により決定された設定内容に基づいて撮像動作を行う。なお、撮像部２２０は、例えば、図１に示すレンズ群１１１と、絞り１１２と、光学系制御部１１３と、シャッターユニット１２１と、シャッター制御部１２２と、撮像素子１３１と、ＡＦＥ１３２とに対応する。
【００４６】
画像処理部２３０は、制御部２８０からの指示に基づいて、撮像部２２０から供給された画像（画像データ）に対して所定の信号処理を施すものであり、この信号処理が施された画像（画像データ）を記録制御部２４０に供給する。なお、画像処理部２３０は、例えば、図１に示す画像処理部１３３に対応する。
【００４７】
記録制御部２４０は、制御部２８０からの指示に基づいて、画像処理部２３０から供給された画像（画像データ）を圧縮して画像コンテンツ（画像ファイル）としてコンテンツ記憶部２９０に記録させるものである。なお、記録制御部２４０は、例えば、図１に示す画像処理部１３３、メイン制御部１９０に対応する。
【００４８】
画像判定部２５０は、画像判定情報記憶部３１０に記憶されている画像判定情報を用いて、撮像部２２０により生成された画像に含まれる対象物の種類を判定するものであり、その判定結果を制御部２８０に出力する。
【００４９】
例えば、対象物の種類を判定する判定方法として、マッチング処理を用いた判定方法を用いることができる。このマッチング処理は、比較対象となる２つの画像における特徴量を比較してこの比較結果に基づいて、２つの画像における特徴量の類似度を算出し、この類似度に基づいて、２つの画像が一致するか否かを判定する処理である。例えば、算出された類似度が閾値未満である場合には、比較対象となる２つの画像が不一致であると判定され、算出された類似度が閾値以上である場合には、比較対象となる２つの画像が一致すると判定される。このマッチング処理として、例えば、各対象物（例えば、馬、魚、人物の顔）の輝度分布情報が記録されているテンプレートと実画像とのマッチングによる判定方法（例えば、特開２００４−１３３６３７参照。）を用いることができる。また、判定対象となる対象物が人物の顔（特定対象物）である場合には、画像に含まれる肌色の部分や人間の顔の特徴量等に基づいた判定方法を用いることができる。
【００５０】
また、例えば、画像における輝度の勾配強度および勾配方向を用いて、画像に含まれる対象物（人体、動物、電車、車等）を検出する検出方法を用いることができる（例えば、特開２０１０−６７１０２号参照。）。
【００５１】
また、画像判定部２５０は、対象物の移動状態および被写体距離を判定する。対象物の移動状態は、例えば、時間軸において隣接する２つの画像を構成する画素間のマッチング処理（すなわち、同一対象物の領域を判別するマッチング処理）を行い、各画像間において移動された画素数を算出することにより判定することができる。また、対象物の被写体距離は、例えば、判定された対象物の画像におけるサイズに基づいて算出することができる。また、上述したように、制御部２８０が、撮像部２２０（撮像素子１３１）から出力された各情報に基づいて被写体距離を算出するようにしてもよい。なお、画像判定部２５０は、例えば、図１に示すメイン制御部１９０に対応する。また、画像判定部２５０は、特許請求の範囲に記載の第２判定部の一例である。
【００５２】
音取得部２６０は、撮像装置１００の周囲の音声を取得するものであり、取得された音データ（音）を音判定部２７０に出力する。なお、音取得部２６０は、例えば、図１に示すマイクロフォン１５１に対応する。
【００５３】
音判定部２７０は、音判定情報記憶部３２０に記憶されている音判定情報を用いて、音取得部２６０から出力された音データに基づいて、その音を発している被写体を判定するものであり、その判定結果を制御部２８０に出力する。例えば、音判定部２７０は、音取得部２６０から出力された音データから特徴量を抽出し、この抽出された特徴量と、音判定情報記憶部３２０に記憶されている音判定情報（音に関する特徴量）との比較により類似度を算出する。そして、音判定部２７０は、その算出された類似度が閾値を超えた場合には、その類似度が閾値を超えた音判定情報に関連付けられている対象物が存在すると判定する。例えば、音取得部２６０から出力された音データが、Ａ／Ｄ変換処理によりサンプリングされ、デジタルデータに変換される。また、このデジタルデータに対して、適当な時間間隔で周波数分析等の処理が施され、スペクトルやその他の音声の音響的特徴を表すパラメータに変換される。これにより、音声に関する時系列の特徴量が抽出される。そして、音判定情報記憶部３２０に記憶されている音判定情報（音に関する特徴量）を用いて、その抽出された時系列の特徴量とのマッチング処理を行ない、このマッチング処理の結果として判定結果が出力される。なお、音声の解析方法および認識方法については、他の公知の各種方法を用いるようにしてもよい。また、音取得部２６０は、判定された対象物の移動状態および被写体距離を判定することができる。なお、対象物の移動状態は、移動時に対象物が発する特徴的な音の特徴量等に基づいて判定することができる。また、対象物の被写体距離は、音の音量等に基づいて判定することができる。なお、音判定部２７０は、例えば、図１に示すＡ／Ｄ変換部１５２と、音声分析処理部１５３と、メイン制御部１９０とに対応する。また、音判定部２７０は、特許請求の範囲に記載の第１判定部の一例である。
【００５４】
制御部２８０は、各種制御プログラムに基づいて、撮像装置１００の各部を制御するものである。例えば、制御部２８０は、音取得部２６０により取得された周囲の音と、撮像部２２０により生成された画像とに基づいて、撮像部２２０の撮像動作時における設定内容を決定するための制御を行う。
【００５５】
具体的には、制御部２８０は、音判定部２７０による判定結果と、画像判定部２５０による判定結果とに基づいて、撮像部２２０の撮像動作時における設定内容を決定する。すなわち、制御部２８０は、音判定部２７０により判定された対象物（第１対象物）と、画像判定部２５０により判定された対象物（第２対象物）との比較結果に基づいて、撮像部２２０の撮像動作時における設定内容を決定する。
【００５６】
この場合に、制御部２８０は、その設定内容に関するパラメータ（第１パラメータ）を第１対象物に基づいて決定し、その設定内容に関するパラメータ（第２パラメータ）を第２対象物に基づいて決定する。なお、制御部２８０は、第１対象物に係る移動状態および被写体距離の少なくとも一方に基づいて第１パラメータを補正することができる。また、制御部２８０は、第２対象物に係る移動状態および被写体距離の少なくとも一方に基づいて第２パラメータを補正することができる。そして、制御部２８０は、第１対象物および第２対象物が一致するか否かに基づいて、第１パラメータおよび第２パラメータの何れかを用いて、撮像部２２０の撮像動作時における設定内容を決定する。具体的には、制御部２８０は、第１対象物および第２対象物が一致する場合には、第１パラメータを用いて、撮像部２２０の撮像動作時における設定内容を決定する。一方、制御部２８０は、第１対象物および第２対象物が一致しない場合には、第２パラメータを用いて、撮像部２２０の撮像動作時における設定内容を決定する。なお、制御部２８０は、例えば、図１に示すメイン制御部１９０に対応する。
【００５７】
画像判定情報記憶部３１０は、画像判定部２５０による判定処理に用いられる画像判定情報（画像に関する特徴量）を記憶するものであり、記憶されている画像判定情報を画像判定部２５０に供給する。なお、画像判定情報記憶部３１０の記憶内容については、図３を参照して詳細に説明する。また、画像判定情報記憶部３１０は、例えば、図１に示す不揮発性メモリ１６０に対応する。
【００５８】
音判定情報記憶部３２０は、音判定部２７０による判定処理に用いられる音判定情報（音に関する特徴量）を記憶するものであり、記憶されている音判定情報を音判定部２７０に供給する。なお、音判定情報記憶部３２０の記憶内容については、図４を参照して詳細に説明する。また、音判定情報記憶部３２０は、例えば、図１に示す不揮発性メモリ１６０に対応する。
【００５９】
パラメータ補正情報記憶部３３０は、制御部２８０によるカメラ制御パラメータ補正処理に用いられるパラメータ補正情報を記憶するものであり、記憶されているパラメータ補正情報を制御部２８０に供給する。なお、パラメータ補正情報記憶部３３０の記憶内容については、図５を参照して詳細に説明する。また、パラメータ補正情報記憶部３３０は、例えば、図１に示す不揮発性メモリ１６０に対応する。
【００６０】
プログラム線図記憶部３４０は、制御部２８０によるカメラ制御パラメータ決定処理に用いられるプログラム線図を記憶するものであり、記憶されているプログラム線図を制御部２８０に供給する。なお、プログラム線図については、図６を参照して詳細に説明する。また、プログラム線図記憶部３４０は、例えば、図１に示す不揮発性メモリ１６０に対応する。
【００６１】
［画像判定情報記憶部の内容例］
図３は、本技術の第１の実施の形態における画像判定情報記憶部３１０の記憶内容の一例を模式的に示す図である。
【００６２】
画像判定情報記憶部３１０は、撮像部２２０により生成された画像に含まれる対象物の種類を判定するための判定情報（画像に関する判定情報）を記憶するものである。画像判定情報記憶部３１０には、対象物の種類３１１と、特徴量３１２と、カメラ制御パラメータ３１３とが関連付けて記憶されている。
【００６３】
対象物の種類３１１は、撮像部２２０により生成された画像に含まれる対象物の種類である。なお、本技術の第１の実施の形態では、判定対象となる対象物の種類として、馬、魚、人物の顔等を一例として示す。
【００６４】
特徴量３１２は、撮像部２２０により生成された画像に含まれる対象物の種類を判定するための判定情報（画像識別データ）である。すなわち、画像判定部２５０は、特徴量３１２を用いて、撮像部２２０により生成された画像に含まれる対象物の種類を判定する。
【００６５】
上述したように、判定方法として、例えば、各被写体（例えば、馬、魚、人物の顔）の輝度分布情報が記録されているテンプレートと実画像とのマッチングによる判定方法を用いることができる。このように、判定方法としてマッチングによる判定方法を用いる場合には、各被写体の輝度分布情報が記録されているテンプレートが、特徴量３１２として格納される。
【００６６】
カメラ制御パラメータ３１３は、撮像部２２０の撮像動作時に設定されるカメラ制御パラメータである。カメラ制御パラメータ３１３として、例えば、プログラム線図記憶部３４０に記憶されているプログラム線図における位置に関する情報が格納される。
【００６７】
［音判定情報記憶部の内容例］
図４は、本技術の第１の実施の形態における音判定情報記憶部３２０の記憶内容の一例を模式的に示す図である。
【００６８】
音判定情報記憶部３２０は、音取得部２６０により取得された音を発している対象物の種類を判定するための判定情報（音に関する判定情報）を記憶するものである。音判定情報記憶部３２０には、対象物の種類３２１と、特徴量３２２と、カメラ制御パラメータ３２３とが関連付けて記憶されている。
【００６９】
対象物の種類３２１は、音取得部２６０により取得された音を発している対象物の種類である。なお、図４では、判定対象となる対象物の種類として、走る馬、滝、車等を一例として示す。
【００７０】
特徴量３２２は、音取得部２６０により取得された音を発している対象物の種類を判定するための判定情報（音識別データ）である。すなわち、音判定部２７０は、特徴量３２２を用いて、音取得部２６０により取得された音を発している対象物の種類を判定する。なお、図４では、説明の容易のため、特徴量として、対象物が発する音を文字で擬似的に示す。
【００７１】
上述したように、判定方法として、例えば、各対象物（例えば、馬、魚、人物の顔）が発する音に関する時系列の特徴量と、音取得部２６０により取得された音に関する時系列の特徴量とのマッチングによる判定方法を用いることができる。このように、判定方法としてマッチングによる判定方法を用いる場合には、各被写体が発する音に関する時系列の特徴量が、特徴量３２２として格納される。
【００７２】
カメラ制御パラメータ３２３は、撮像部２２０の撮像動作時に設定されるカメラ制御パラメータである。カメラ制御パラメータ３２３として、例えば、プログラム線図記憶部３４０に記憶されているプログラム線図における位置に関する情報が格納される。なお、図３に示すカメラ制御パラメータ３１３は、画像情報に基づいて決定されるカメラ制御パラメータであるのに対して、カメラ制御パラメータ３２３は、音情報に基づいて決定されるカメラ制御パラメータである。
【００７３】
［パラメータ補正情報記憶部の内容例］
図５は、本技術の第１の実施の形態におけるパラメータ補正情報記憶部３３０の記憶内容の一例を模式的に示す図である。
【００７４】
パラメータ補正情報記憶部３３０は、制御部２８０により決定されるカメラ制御パラメータ（第１パラメータ）を補正するためのパラメータ補正情報を記憶するものである。パラメータ補正情報記憶部３３０には、対象物の種類３３１およびパラメータ補正情報３３２が関連付けて記憶されている。
【００７５】
対象物の種類３３１は、音取得部２６０により取得された音を発している対象物の種類である。なお、本技術の第１の実施の形態では、判定対象となる対象物の種類として、移動する速度が速い物体、移動する速度が遅い物体等を一例として示す。
【００７６】
パラメータ補正情報３３２は、音取得部２６０により取得された音を発している対象物の種類に基づいて、カメラ制御パラメータ（第１パラメータ）を補正するための情報である。すなわち、制御部２８０は、音取得部２６０により取得された音に基づいて決定されたカメラ制御パラメータ（第１パラメータ）を、パラメータ補正情報３３２を用いて補正する。なお、カメラ制御パラメータ（第１パラメータ）の補正については、図６を参照して詳細に説明する。
【００７７】
［プログラム線図］
図６は、本技術の第１の実施の形態におけるプログラム線図記憶部３４０に記憶されているプログラム線図の一例を示す図である。なお、プログラム線図（プログラムＡＥ（Automatic Exposure））は、被写体の明るさに応じて、絞りおよびシャッター速度（シャッタースピード）を決定する際に用いられるものである。
【００７８】
図６に示すプログラム線図３４１において、縦軸は、レンズの絞り値（ＡＶ（Aperture Value））を示し、横軸は、シャッタースピード（ＴＶ（Time Value））を示す。また、斜線（点線で示す）は、露出値（ＥＶ（Exposure Value））を示す。
【００７９】
上述したように、制御部２８０は、音判定部２７０により判定された被写体と、プログラム線図記憶部３４０に記憶されているプログラム線図とに基づいて、音情報に基づくカメラ制御パラメータ（第１パラメータ）を決定する。
【００８０】
また、制御部２８０は、画像判定部２５０により判定された被写体と、プログラム線図記憶部３４０に記憶されているプログラム線図とに基づいて、画像情報に基づくカメラ制御パラメータ（第２パラメータ）を決定する。
【００８１】
例えば、音判定情報記憶部３２０において、対象物の種類３２１「馬」とカメラ制御パラメータ３２３「プログラム線図３４１における位置３４２」とが関連付けて記憶されている場合を想定する。この場合に、音判定部２７０により判定された被写体が馬である場合には、制御部２８０は、プログラム線図３４１における位置３４２に対応するカメラ制御パラメータ（第１パラメータ）を決定する。また、制御部２８０は、このように音情報に基づいて決定されたカメラ制御パラメータ（第１パラメータ）を、被写体（馬）の速度に応じて補正する。この被写体の速度については、音判定部２７０により判定することができる。例えば、音判定部２７０は、音判定情報記憶部３２０の音判定情報を用いて、速く走る馬（高速で移動する物体）と、遅く走る馬（低速で移動する物体）とを識別することができるものとする。
【００８２】
例えば、音判定部２７０により速く走る馬が検出された場合には、シャッタースピードを上げることが好ましい。このため、制御部２８０は、プログラム線図３４１における実線３４５において、位置３４２を左側の位置３４３に遷移させたカメラ制御パラメータ（第１パラメータ）を決定する。一方、例えば、音判定部２７０により遅く走る馬が検出された場合には、シャッタースピードを下げることが好ましい。このため、制御部２８０は、プログラム線図３４１における実線３４５において、位置３４２を右側の位置３４４に遷移させたカメラ制御パラメータ（第１パラメータ）を決定する。
【００８３】
このように、制御部２８０は、プログラム線図を用いて、音情報に基づくカメラ制御パラメータ（絞り値、シャッタースピード、露出値）を決定することができる。また、画像情報に基づくカメラ制御パラメータについても同様に決定することができる。
【００８４】
なお、本技術の第１の実施の形態では、音判定情報記憶部３２０におけるカメラ制御パラメータ３２３を用いて最初のパラメータを決定し、このパラメータを、音判定部２７０により判定された対象物の速度を用いて補正する例を示す。ただし、例えば、測光部１３５により取得された明るさ情報に基づいて、プログラム線図における位置に対応するパラメータを決定し、このパラメータを、音判定部２７０により判定された対象物の速度を用いて補正するようにしてもよい。また、画像情報に基づくカメラ制御パラメータについても、これを適用して補正することができる。
【００８５】
このように、制御部２８０は、対象物に係る移動状態および被写体距離の少なくとも一方に基づいて音情報に基づくカメラ制御パラメータを補正することができる。また、制御部２８０は、対象物に係る移動状態および被写体距離の少なくとも一方に基づいて画像情報に基づくカメラ制御パラメータを補正することができる。
【００８６】
なお、点線３４９における位置３４６乃至３４８の遷移については、本技術の第２の実施の形態で示す。
【００８７】
［撮像装置を用いた撮像状態例］
図７および図８は、本技術の第１の実施の形態における撮像装置１００の撮像対象となる被写体と撮像範囲との関係を簡略化して示す図である。
【００８８】
図７（ａ）および図８（ａ）には、撮像装置１００および被写体をその側面から見た場合を示す。また、図７（ｂ）および図８（ｂ）には、撮像装置１００の撮像対象となる被写体の撮像範囲を示す。
【００８９】
図７には、走る馬４０１およびその周辺（例えば、山々４０２）を被写体とする場合における被写体と撮像範囲との関係を示す。ここで、図７に示す例では、撮像装置１００と走る馬４０１との距離が比較的近いため、走る馬４０１の走る音（図７（ａ）では、「パッカパッカ」で示す）が音取得部２６０により取得可能である場合を想定して説明する。
【００９０】
ここで、図７（ｂ）に示すように、撮像範囲４０５には、走る馬４０１が含まれないのに対し、撮像範囲４０６には、走る馬４０１が含まれる。このため、撮像部２２０の撮像対象が撮像範囲４０６である場合には、音取得部２６０により取得される音により特定される対象物（走る馬）と、撮像部２２０により生成される画像により特定される対象物（馬）とが一致（略一致）することになる。しかしながら、撮像部２２０の撮像対象が撮像範囲４０５である場合には、音取得部２６０により取得される音により特定される対象物（走る馬）と、撮像部２２０により生成される画像により特定される対象物（山々、草原）とが一致しない。この場合に、例えば、音取得部２６０により取得された音のみによりカメラ制御パラメータを決定すると、撮像範囲に含まれていない対象物が発する音を用いてカメラ制御パラメータを決定することになる。このため、撮像範囲４０５に対応する画像については、適切なカメラ制御パラメータを設定することができないおそれがある。そこで、本技術の第１の実施の形態では、音情報とともに画像情報を用いてカメラ制御パラメータを決定する。
【００９１】
図８には、止まっている馬４１１およびその周辺（例えば、山々４１２）を被写体とする場合における被写体と撮像範囲との関係を示す。ここで、図８に示す例では、撮像装置１００と止まっている馬４１１との距離が比較的近いが、止まっている馬４１１から音が発生していないため、止まっている馬４１１に関する音を音取得部２６０が取得することができない場合を想定して説明する。また、馬以外からも音は発生していないものとする。
【００９２】
ここで、図８（ｂ）に示すように、撮像範囲４１５には、止まっている馬４１１が含まれないのに対し、撮像範囲４１６には、止まっている馬４１１が含まれる。しかしながら、撮像部２２０の撮像対象が撮像範囲４１６である場合でも、音取得部２６０により音（止まっている馬４１１に関する音）が取得されない。このため、音取得部２６０により取得される音により特定される対象物（なし）と、撮像部２２０により生成される画像により特定される対象物（馬）とが一致しない。なお、撮像部２２０の撮像対象が撮像範囲４１５である場合には、音取得部２６０により取得される音により特定される対象物（なし）と、撮像部２２０により生成される画像により特定される対象物（山々、草原）とが一致しない。これらの場合についても、例えば、音取得部２６０により取得された音のみによりカメラ制御パラメータを決定すると、図７に示す例と同様に、適切なカメラ制御パラメータを設定することができないおそれがある。
【００９３】
［被写体およびカメラ制御パラメータの関係例］
図９乃至図１１は、本技術の第１の実施の形態における撮像部２２０により生成された画像と、制御部２８０により決定されたカメラ制御パラメータとの関係を示す図である。
【００９４】
ここで、図９（ａ）に示す画像４２１は、図７（ｂ）に示す撮像範囲４０６に対応する画像である。また、図１０（ａ）に示す画像４２２は、図７（ｂ）に示す撮像範囲４０５と、図８（ｂ）に示す撮像範囲４１５とに対応する画像である。また、図１１（ａ）に示す画像４２３は、図８（ｂ）に示す撮像範囲４１６に対応する画像である。
【００９５】
図９（ｂ）に示すように、図９（ａ）に示す画像４２１の撮像動作時には、音取得部２６０により取得される音により特定される対象物（走る馬）と、撮像部２２０により生成される画像により特定される対象物（馬）とが一致（略一致）する。この場合には、制御部２８０は、撮像動作時における設定内容として、音情報に基づくカメラ制御パラメータ（第１パラメータ）を決定する。
【００９６】
ここで、図１０（ａ）に示す画像４２２が、図７（ｂ）に示す撮像範囲４０５に対応する画像である場合を想定する。この場合には、図１０（ｂ）に示すように、図１０（ａ）に示す画像４２２の撮像動作時には、音取得部２６０により取得される音により特定される対象物（走る馬）と、撮像部２２０により生成される画像により特定される対象物（草原、山々）とが一致しない。この場合には、制御部２８０は、撮像動作時における設定内容として、画像情報に基づくカメラ制御パラメータ（第２パラメータ）を決定する。
【００９７】
また、図１０（ａ）に示す画像４２２が、図８（ｂ）に示す撮像範囲４１５に対応する画像である場合を想定する。この場合には、図１０（ｃ）に示すように、図１０（ａ）に示す画像４２２の撮像動作時には、音取得部２６０により取得される音により特定される対象物（なし）と、撮像部２２０により生成される画像により特定される対象物（草原、山々）とが一致しない。この場合には、制御部２８０は、撮像動作時における設定内容として、画像情報に基づくカメラ制御パラメータ（第２パラメータ）を決定する。
【００９８】
また、図１１（ｂ）に示すように、図１１（ａ）に示す画像４２３の撮像動作時には、音取得部２６０により取得される音により特定される対象物（なし）と、撮像部２２０により生成される画像により特定される対象物（馬）とが一致しない。この場合には、制御部２８０は、撮像動作時における設定内容として、画像情報に基づくカメラ制御パラメータ（第２パラメータ）を決定する。
【００９９】
なお、馬が止まっている状態であっても、その馬が泣き声（例えば、ヒヒーン）を発していることも想定される。例えば、図１１に示す例において、馬が泣き声（例えば、ヒヒーン）を発している場合には、音取得部２６０により取得される音により特定される対象物（馬）と、撮像部２２０により生成される画像により特定される対象物（馬）とが一致する。この場合には、制御部２８０は、撮像動作時における設定内容として、音情報に基づくカメラ制御パラメータ（第１パラメータ）を決定することができる。
【０１００】
［撮像装置の動作例］
図１２は、本技術の第１の実施の形態における撮像装置１００によるカメラ制御パラメータ決定処理の処理手順の一例を示すフローチャートである。
【０１０１】
最初に、制御部２８０は、シャッターボタン１７１の半押し操作が行われたか否かを判断し（ステップＳ９０１）、シャッターボタン１７１の半押し操作が行われていない場合には、監視を継続して行う。シャッターボタン１７１の半押し操作が行われた場合には（ステップＳ９０１）、音取得部２６０は、撮像装置１００の周囲の音を取得する（ステップＳ９０２）。なお、ステップＳ９０２は、特許請求の範囲に記載の音取得手順の一例である。
【０１０２】
続いて、音判定部２７０は、音取得部２６０により取得された音を発している対象物の種類を判定する（ステップＳ９０３）。続いて、制御部２８０は、その判定結果に基づいて、音情報に基づくカメラ制御パラメータ（第１パラメータ）を決定する（ステップＳ９０４）。
【０１０３】
続いて、制御部２８０は、シャッターボタン１７１の全押し操作が行われたか否かを判断する（ステップＳ９０５）。そして、全押し操作が行われていない場合には（ステップＳ９０５）、制御部２８０は、シャッターボタン１７１の半押し操作が解除されたか否かを判断し（ステップＳ９１２）、半押し操作が解除された場合には、ステップＳ９０１に戻る。一方、シャッターボタン１７１の半押し操作が解除されていない（ステップＳ９１２）、ステップＳ９０２に戻る。また、シャッターボタン１７１の全押し操作が行われた場合には（ステップＳ９０５）、撮像部２２０は、被写体を撮像して画像を生成する（ステップＳ９０６）。なお、ステップＳ９０６は、特許請求の範囲に記載の画像取得手順の一例である。
【０１０４】
続いて、画像判定部２５０は、撮像部２２０により生成された画像に含まれる対象物の種類を判定する（ステップＳ９０７）。続いて、制御部２８０は、その判定結果に基づいて、画像情報に基づくカメラ制御パラメータ（第２パラメータ）を決定する（ステップＳ９０８）。
【０１０５】
続いて、制御部２８０は、音判定部２７０による判定結果と、画像判定部２５０による判定結果とを比較して、これらが一致（または、略一致）するか否かを判断する（ステップＳ９０９）。すなわち、音判定部２７０により判定された対象物と、画像判定部２５０により判定された対象物とが一致（または、略一致）するか否かが判断される。ここで、略一致する場合は、例えば、音判定部２７０により判定された対象物が「走る馬」であり、画像判定部２５０により判定された対象物が「馬」である場合である。すなわち、対象物の種類が同一であるが、その状態が異なるような場合を意味する。
【０１０６】
音判定部２７０による判定結果と、画像判定部２５０による判定結果とが一致（または、略一致）する場合には（ステップＳ９０９）、制御部２８０は、第１パラメータを用いた撮像動作を行うための制御を行う（ステップＳ９１０）。すなわち、これらの判定結果が一致（または、略一致）する場合には（ステップＳ９１０）、撮像動作時における設定内容として、音情報に基づくカメラ制御パラメータ（第１パラメータ）が決定される（ステップＳ９１０）。そして、第１パラメータに基づいて撮像動作が行われる。この撮像動作により生成された画像が、画像コンテンツとしてコンテンツ記憶部２９０に記憶される。
【０１０７】
また、音判定部２７０による判定結果と、画像判定部２５０による判定結果とが一致しない場合には（ステップＳ９０９）、制御部２８０は、第２パラメータを用いた撮像動作を行うための制御を行う（ステップＳ９１１）。すなわち、これらの判定結果が一致しない場合には（ステップＳ９１０）、撮像動作時における設定内容として、画像情報に基づくカメラ制御パラメータ（第２パラメータ）が決定される（ステップＳ９１１）。そして、第２パラメータに基づいて撮像動作が行われる。この撮像動作により生成された画像が、画像コンテンツとしてコンテンツ記憶部２９０に記憶される。なお、ステップＳ９０９乃至Ｓ９１１は、特許請求の範囲に記載の決定手順の一例である。
【０１０８】
例えば、図９に示すように、撮像範囲に走る馬４０１が含まれる場合には、音判定部２７０による判定結果と、画像判定部２５０による判定結果とが一致（略一致）する（ステップＳ９０９）。このため、制御部２８０は、音情報に基づくカメラ制御パラメータ（第１パラメータ）を決定し、これを用いた撮像動作を行うための制御を行う（ステップＳ９１０）。この音情報に基づくカメラ制御パラメータ（第１パラメータ）は、図６に示すように、シャッタースピードを上げる補正（位置３４２から位置３４３への補正）が行われたパラメータである。
【０１０９】
また、例えば、図１０に示すように、撮像範囲に走る馬４０１が含まれない場合（馬の走る音がある場合とない場合を含む）には、音判定部２７０による判定結果と、画像判定部２５０による判定結果とが一致しない（ステップＳ９０９）。このため、制御部２８０は、画像情報に基づくカメラ制御パラメータ（第２パラメータ）を決定し、これを用いた撮像動作を行うための制御を行う（ステップＳ９１１）。なお、この画像情報に基づくカメラ制御パラメータ（第２パラメータ）は、画像判定部２５０により判定された対象物の種類（草原や山々）に応じて設定されるパラメータである。
【０１１０】
また、例えば、図１１に示すように、撮像範囲に止まっている馬４１１が含まれる場合（ただし、馬の鳴く音がない場合）には、音判定部２７０による判定結果と、画像判定部２５０による判定結果とが一致しない（ステップＳ９０９）。このため、制御部２８０は、画像情報に基づくカメラ制御パラメータ（第２パラメータ）を決定し、これを用いた撮像動作を行うための制御を行う（ステップＳ９１１）。なお、上述したように、音取得部２６０により音が取得されない場合には、音情報に基づくカメラ制御パラメータ（第１パラメータ）は決定されない。また、この例で決定される画像情報に基づくカメラ制御パラメータ（第２パラメータ）は、画像判定部２５０により判定された対象物の種類（馬）に応じて設定されるパラメータである。
【０１１１】
このように、本技術の第１の実施の形態では、音取得部２６０により取得された音と、撮像部２２０により生成された画像とについて分析を行い、これらの分析結果を用いてカメラ制御パラメータを決定する。これにより、最適なカメラ制御パラメータを設定して撮像動作を行うことができる。例えば、音を発する対象物が撮像範囲に含まれている場合には、その対象物に対する最適なカメラ制御パラメータを設定して撮像動作を行うことができる。これにより、撮像範囲に含まれる対象物が発する音を考慮した臨場感のある画像を容易に得ることができる。また、音を発している対象物が撮像範囲外に存在する場合でも、撮像範囲内の画像情報に基づいて適切なカメラ制御パラメータを設定することができる。すなわち、音を発している対象物と、この対象物以外の対象物との関係を考慮して、撮像動作時における設定内容を適切に決定することができる。
【０１１２】
なお、本技術の第１の実施の形態では、音を発する対象物として山々を背景に位置する馬を例にして説明したが、音を発しない対象物と、音を発する対象物とが存在する他の状態において本技術の第１の実施の形態を適用することができる。例えば、音を発しない対象物が存在し、その手前に音を発する対象物が存在する状態において本技術の第１の実施の形態を適用することができる。例えば、飛行場における飛行機、レース場における車（モータースポーツ）等を撮像対象とする場合に本技術の第１の実施の形態を適用することができる。
【０１１３】
＜２．第２の実施の形態＞
本技術の第１の実施の形態では、音を発している対象物が画像に含まれている場合には、その音を考慮して撮像動作に用いられるカメラ制御パラメータを決定する例を示した。しかしながら、音を発している対象物が画像に含まれている場合であっても、その対象物以外の対象物が主要対象物（例えば、撮影者がフォーカスを合わせている対象物）となることも想定される。
【０１１４】
そこで、本技術の第２の実施の形態では、音を発している対象物が画像に含まれている場合であっても、その対象物以外の対象物がその画像に含まれている場合には、画像情報に基づくカメラ制御パラメータを決定する例を示す。なお、本技術の第２の実施の形態における撮像装置の構成については、図１および図２に示す例と略同様である。このため、本技術の第１の実施の形態と共通する部分については、その説明の一部を省略する。
【０１１５】
［複数の対象物を判定する例］
図１３は、本技術の第２の実施の形態における撮像部２２０により生成された画像４３０と、画像４３０の奥行マップとの関係を示す図である。
【０１１６】
図１３（ａ）には、撮像部２２０により生成された画像４３０を示す。画像４３０は、例えば、滝４３２の滝壺付近において、魚（例えば、鮭）４３１が飛び跳ねて川から飛び出た瞬間に撮影された画像であるものとする。このため、画像４３０には、空中に浮いている状態の魚４３１が含まれるものとする。
【０１１７】
図１３（ｂ）には、撮像部２２０により生成された画像４３０の奥行マップをヒストグラムにより示す。図１３（ｂ）に示すヒストグラムは、画像４３０に含まれる被写体に関する被写体距離の分布状況を示すヒストグラムである。
【０１１８】
ここで、制御部２８０は、撮像部２２０により生成された画像およびこの画像の生成時における各情報（例えば、レンズの位置および合焦位置）に基づいて、その画像に関する被写体距離を算出する。例えば、奥行マップ（いわゆる、デプスマップ（Depth Map））を生成し、この奥行マップに基づいて各領域に係る被写体距離を求めることができる。ここで、奥行マップは、被写体距離を表すデータにより構成されるマップである。この奥行マップの生成方法として、例えば、ＴＯＦ（Time of flight）方式やボケ量解析（Depth from Defocus）等の方法を用いることができる。例えば、ＴＯＦ方式は、光源から出射された光が対象物で反射し、センサに到達するまでの光の遅れ時間と光の速度とに基づいて被写体までの距離を算出する方法である。
【０１１９】
また、撮像素子１３１として、位相差ＡＦを行う撮像素子を用いる場合には、この撮像素子から出力された位相差検出信号に基づいて、制御部２８０が奥行マップを生成することができる。すなわち、制御部２８０は、撮像部２２０により生成された画像に含まれる各対象物に係る被写体距離を取得する。なお、制御部２８０は、特許請求の範囲に記載の被写体距離取得部の一例である。
【０１２０】
例えば、図１３（ａ）に示すように、画像４３０には、空中に浮いている魚４３１と、魚４３１の背景に存在する滝４３２およびその滝壺とが含まれる。このため、撮像装置１００からの距離は、魚４３１よりも、滝４３２およびその滝壺が遠い。
【０１２１】
このように、被写体距離が異なる複数の対象物が画像に含まれる場合には、被写体距離の分布状況を示すヒストグラムにおいて、対象物毎に山が形成される。具体的には、図１３（ｂ）に示すように、撮像装置１００から比較的近い魚４３１に対応する山４３５と、撮像装置１００から比較的遠い滝４３２およびその滝壺に対応する山４３６とが形成される。
【０１２２】
このように、ヒストグラムに複数の山が存在する場合において、例えば、点線で示す閾値４３７以上の山が複数存在する場合には、複数の対象物が存在すると判定することができる。ただし、ヒストグラムに複数の山が存在する場合であっても、遠方に存在する対象物（例えば、背景となる山々）に係る山である場合には、複数の対象物が存在すると判定しないようにすることができる。例えば、点線で示す閾値４３８以上の山が存在する場合には、その山に対応する対象物の存在を考慮せずに判定することができる。
【０１２３】
ここで、画像情報に基づくカメラ制御パラメータ（第２パラメータ）の決定方法について説明する。本技術の第２の実施の形態では、制御部２８０は、算出された被写体距離と、画像判定部２５０による判定結果とに基づいて、画像情報に基づくカメラ制御パラメータ（第２パラメータ）を決定する。具体的には、制御部２８０は、複数の対象物が存在すると判定された場合には、各対象物について算出された被写体距離に基づいて、画像情報に基づくカメラ制御パラメータ（第２パラメータ）を対象物毎に決定する。この場合でも、パラメータ補正情報記憶部３３０に記憶されているパラメータ補正情報に基づいて、画像情報に基づくカメラ制御パラメータ（第２パラメータ）を補正することができる。
【０１２４】
例えば、画像判定情報記憶部３１０において、対象物の種類３１１「魚」とカメラ制御パラメータ３１３「プログラム線図３４１における位置３４６」とが関連付けて記憶されている場合を想定する。この場合に、画像判定部２５０により判定された対象物が魚である場合には、制御部２８０は、プログラム線図３４１における位置３４６に対応するカメラ制御パラメータ（第２パラメータ）を決定する。また、制御部２８０は、このように画像情報に基づいて決定されたカメラ制御パラメータ（第２パラメータ）を、対象物（魚）の被写体距離に応じて補正する。
【０１２５】
例えば、被写体距離が近い場合には、シャッタースピードを上げることが好ましい。このため、制御部２８０は、プログラム線図３４１における点線３４９において、位置３４６を左側の位置３４７に遷移させたカメラ制御パラメータ（第２パラメータ）を決定する。一方、例えば、被写体距離が遠い場合には、シャッタースピードを下げることが好ましい。このため、制御部２８０は、プログラム線図３４１における点線３４９において、位置３４６を右側の位置３４８に遷移させたカメラ制御パラメータ（第２パラメータ）を決定する。
【０１２６】
このように、制御部２８０は、プログラム線図を用いて、画像情報に基づくカメラ制御パラメータ（絞り値、シャッタースピード、露出値）を決定することができる。
【０１２７】
［撮像装置を用いた撮像状態例］
図１４および図１５は、本技術の第２の実施の形態における撮像装置１００の撮像対象となる被写体と撮像範囲との関係を簡略化して示す図である。
【０１２８】
図１４（ａ）および図１５（ａ）には、撮像装置１００および被写体をその側面から見た場合を示す。また、図１４（ｂ）および図１５（ｂ）には、撮像装置１００の撮像対象となる被写体の撮像範囲を示す。
【０１２９】
図１４には、飛び跳ねて川から飛び出た魚（例えば、鮭）４４１と、滝４４２およびその滝壺付近とを被写体とする場合における被写体と撮像範囲との関係を示す。ここで、図１４に示す例では、撮像装置１００と滝４４２との距離が比較的近いため、滝４４２の流れる音（図１４（ａ）では、「ザーザー」で示す）を音取得部２６０により取得することができる場合を想定して説明する。
【０１３０】
ここで、図１４（ｂ）に示すように、撮像範囲４４５には、魚４４１が含まれないのに対し、撮像範囲４４６には、飛び跳ねて川から飛び出た魚４４１が含まれる。このため、撮像部２２０の撮像対象が撮像範囲４４６である場合には、音取得部２６０により取得される音により特定される対象物（滝）と、撮像部２２０により生成される画像により特定される対象物（滝、魚）とが一致（すなわち、一部が一致）する。また、撮像部２２０の撮像対象が撮像範囲４４５である場合には、音取得部２６０により取得される音により特定される対象物（滝）と、撮像部２２０により生成される画像により特定される対象物（滝）とが一致する。
【０１３１】
ここで、音取得部２６０により取得される音により特定される対象物と、撮像部２２０により生成される画像により特定される対象物とが一致する場合には、本技術の第１の実施の形態では、音情報に基づくカメラ制御パラメータを決定する例を示した。しかしながら、撮像部２２０の撮像対象が撮像範囲４４６である場合には、背景の滝４４２よりも、飛び跳ねて川から飛び出た魚４４１を主要対象物として撮像動作が行われている可能性が高いと想定される。
【０１３２】
すなわち、音取得部２６０により取得される音により特定される対象物（滝）よりも、撮像部２２０により生成される画像により特定される対象物（魚）が重要であると想定される。この場合に、例えば、音取得部２６０により取得された音のみによりカメラ制御パラメータを決定する場合には、撮像範囲４４６に含まれる被写体の画像については、適切なカメラ制御パラメータを設定することができないおそれがある。そこで、本技術の第２の実施の形態では、音により特定される対象物と画像により特定される対象物とが一致する場合であっても、撮像範囲に他の対象物が存在する場合には、画像情報に基づくカメラ制御パラメータを決定する例を示す。
【０１３３】
図１５には、滝４５２およびその滝壺付近を被写体とする場合における被写体と撮像範囲との関係を示す。ここで、図１５に示す例では、撮像装置１００と滝４５２との距離が比較的近いため、滝４５２の流れる音（図１５（ａ）では、「ザーザー」で示す）を音取得部２６０により取得することができる場合を想定して説明する。
【０１３４】
ここで、図１５（ｂ）に示すように、撮像範囲４５５には滝４５２が含まれる。この場合は、図１４（ｂ）に示す撮像範囲４４５と同様に、カメラ制御パラメータを決定することができる。
【０１３５】
［被写体およびカメラ制御パラメータの関係例］
図１６乃至図１８は、本技術の第２の実施の形態における撮像部２２０により生成された画像と、制御部２８０により決定されたカメラ制御パラメータとの関係を示す図である。
【０１３６】
ここで、図１６（ａ）に示す画像４６１は、図１４（ｂ）に示す撮像範囲４４６に対応する画像である。また、図１７（ａ）に示す画像４６２は、図１４（ｂ）に示す撮像範囲４４５に対応する画像である。また、図１８（ａ）に示す画像４６３は、図１５（ｂ）に示す撮像範囲４５５に対応する画像である。
【０１３７】
図１６（ｂ）に示すように、図１６（ａ）に示す画像４６１の撮像動作時には、音取得部２６０により取得される音により特定される対象物（滝）と、撮像部２２０により生成される画像により特定される対象物（魚、滝）とが一致（一部が一致）する。しかしながら、その一致する対象物（滝）に係る被写体距離（遠い）とは異なる被写体距離（近い）に係る他の対象物（魚）が、撮像部２２０により生成された画像に含まれている。この場合には、制御部２８０は、撮像動作時における設定内容として、画像情報に基づくカメラ制御パラメータ（第２パラメータ）を決定する。
【０１３８】
また、図１７（ｂ）に示すように、図１７（ａ）に示す画像４６２の撮像動作時には、音取得部２６０により取得される音により特定される対象物（滝）と、撮像部２２０により生成される画像により特定される対象物（滝）とが一致する。また、その一致する対象物（滝）に係る被写体距離とは異なる被写体距離に係る他の対象物が、撮像部２２０により生成された画像に含まれていない。この場合には、制御部２８０は、撮像動作時における設定内容として、音情報に基づくカメラ制御パラメータ（第１パラメータ）を決定する。
【０１３９】
また、図１８（ｂ）に示すように、図１８（ａ）に示す画像４６３の撮像動作時には、音取得部２６０により取得される音により特定される対象物（滝）と、撮像部２２０により生成される画像により特定される対象物（滝）とが一致する。また、その一致する対象物（滝）に係る被写体距離とは異なる被写体距離に係る他の対象物が、撮像部２２０により生成された画像に含まれていない。この場合には、制御部２８０は、撮像動作時における設定内容として、音情報に基づくカメラ制御パラメータ（第１パラメータ）を決定する。
【０１４０】
このように、制御部２８０は、第１対象物に係る被写体距離とは異なる被写体距離に係る他の対象物が、撮像部２２０により生成された画像に含まれるか否かに基づいてカメラ制御パラメータを決定する。
【０１４１】
［撮像装置の動作例］
図１９は、本技術の第２の実施の形態における撮像装置１００によるカメラ制御パラメータ決定処理の処理手順の一例を示すフローチャートである。なお、図１９は、図１２の変形例であるため、図１２と共通する部分については、同一の符号を付して、その説明の一部を省略する。
【０１４２】
撮像部２２０により生成された画像に含まれる対象物の種類が判定された後に（ステップＳ９０７）、制御部２８０は、撮像範囲に含まれる各対象物の被写体距離を算出する（ステップＳ９２１）。続いて、制御部２８０は、算出された被写体距離と、画像判定部２５０による判定結果とに基づいて、画像情報に基づくカメラ制御パラメータ（第２パラメータ）を決定する（ステップＳ９２２）。
【０１４３】
また、音判定部２７０による判定結果と、画像判定部２５０による判定結果とが一致（または、略一致）した場合には（ステップＳ９０９）、制御部２８０は、その一致した対象物以外の対象物が撮像範囲に存在するか否かを判断する（ステップＳ９２３）。その一致した対象物以外の対象物が撮像範囲に存在しない場合には（ステップＳ９２３）、制御部２８０は、第１パラメータを用いた撮像動作を行うための制御を行う（ステップＳ９１０）。一方、その一致した対象物以外の対象物が撮像範囲に存在する場合には（ステップＳ９２３）、制御部２８０は、第２パラメータを用いた撮像動作を行うための制御を行う（ステップＳ９１１）。
【０１４４】
例えば、図９に示すように、撮像範囲に走る馬４０１が含まれる場合には、音判定部２７０による判定結果と、画像判定部２５０による判定結果とが一致（略一致）する（ステップＳ９０９）。また、走る馬４０１の背景（草原や山々）については、上述したように、他の対象物であると判定されないため、走る馬４０１以外の対象物が存在しない（ステップＳ９２３）。このため、制御部２８０は、本技術の第１の実施の形態と同様に、音情報に基づくカメラ制御パラメータ（第１パラメータ）を決定し、これを用いた撮像動作を行うための制御を行う（ステップＳ９１０）。なお、音情報に基づくカメラ制御パラメータ（第１パラメータ）は、図６に示すように、シャッタースピードを上げる補正（位置３４２から位置３４３への補正）が行われたパラメータである。
【０１４５】
また、例えば、図１０に示すように、撮像範囲に走る馬４０１が含まれない場合（馬の走る音がある場合とない場合を含む）には、音判定部２７０による判定結果と、画像判定部２５０による判定結果とが一致しない（ステップＳ９０９）。このため、制御部２８０は、本技術の第１の実施の形態と同様に、画像情報に基づくカメラ制御パラメータ（第２パラメータ）を決定し、これを用いた撮像動作を行うための制御を行う（ステップＳ９１１）。ただし、本技術の第２の実施の形態で決定される画像情報に基づくカメラ制御パラメータ（第２パラメータ）は、画像判定部２５０により判定された対象物（草原や山々）に係る被写体距離に応じて設定されるパラメータである。
【０１４６】
また、例えば、図１１に示すように、撮像範囲に止まっている馬４１１が含まれる場合（ただし、馬の鳴く音がない場合）には、音判定部２７０による判定結果と、画像判定部２５０による判定結果とが一致しない（ステップＳ９０９）。このため、制御部２８０は、画像情報に基づくカメラ制御パラメータ（第２パラメータ）を決定し、これを用いた撮像動作を行うための制御を行う（ステップＳ９１１）。ただし、本技術の第２の実施の形態で決定される画像情報に基づくカメラ制御パラメータ（第２パラメータ）は、画像判定部２５０により判定された対象物（馬）に係る被写体距離に応じて設定されるパラメータである。
【０１４７】
また、例えば、図１６に示すように、滝４４２が撮像範囲に含まれる場合には、音判定部２７０による判定結果と、画像判定部２５０による判定結果とが一致（一部が一致）する（ステップＳ９０９）。しかしながら、上述したように、滝４４２以外の他の対象物（魚４４１）が存在すると判定される（ステップＳ９２３）。このため、制御部２８０は、画像情報に基づくカメラ制御パラメータ（第２パラメータ）を決定し、これを用いた撮像動作を行うための制御を行う（ステップＳ９１１）。
【０１４８】
なお、図１６に示す例では、２つの対象物が存在するため、画像情報に基づくカメラ制御パラメータ（第２パラメータ）として、２つのパラメータ（魚４４１に基づくパラメータ、滝４４２およびその滝壺に基づくパラメータ）が決定される。例えば、魚４４１に基づくパラメータは、図６に示すように、シャッタースピードを上げる補正（位置３４６から位置３４７への補正）が行われたパラメータである。一方、滝４４２およびその滝壺に基づくパラメータは、図６に示すように、シャッタースピードを下げる補正（位置３４６から位置３４８への補正）が行われたパラメータである。
【０１４９】
このように、画像情報に基づくカメラ制御パラメータ（第２パラメータ）として、２つのパラメータが決定されるため、制御部２８０は、これらのうちの何れかのパラメータを用いた撮像動作を行うための制御を行う（ステップＳ９１１）。例えば、撮像範囲の中心に位置する対象物を主要対象物とする設定がされている場合には、魚４４１に基づくパラメータを用いた撮像動作を行うための制御を行う。
【０１５０】
また、例えば、図１７に示すように、滝４４２のみが撮像範囲に含まれる場合には、音判定部２７０による判定結果と、画像判定部２５０による判定結果とが一致する（ステップＳ９０９）。また、滝４４２（その滝壷を含む）以外の対象物が存在しないため、複数の対象物が存在しないと判定される（ステップＳ９２３）。このため、制御部２８０は、音情報に基づくカメラ制御パラメータ（第１パラメータ）を決定し、これを用いた撮像動作を行うための制御を行う（ステップＳ９１０）。
【０１５１】
また、図１８に示す例についても、図１７と同様であるため、ここでの説明を省略する。
【０１５２】
このように、本技術の第２の実施の形態では、音を発している対象物が画像に含まれている場合であっても、その対象物以外の対象物がその画像に含まれている場合には、画像情報に基づくカメラ制御パラメータを決定する。これにより、音を発している対象物が画像に含まれている場合において、その対象物以外の対象物が主要対象物となる場合でも、その主要対象物に対する最適なカメラ制御パラメータを設定して撮像動作を行うことができる。すなわち、音を発している対象物と、この対象物以外の対象物との関係を考慮して、撮像動作時における設定内容を適切に決定することができる。
【０１５３】
なお、本技術の第２の実施の形態では、音を発する対象物として、魚の背景に位置する滝を例にして説明したが、背景に音を発する対象物が存在し、その手前に異なる対象物が存在する他の状態においても本技術の第２の実施の形態を適用することができる。例えば、ステージ上に存在する対象物（音を発しない）の背景に多数の観客が存在し、この多数の観客が音を発しているような状態において本技術の第２の実施の形態を適用することができる。
【０１５４】
＜３．第３の実施の形態＞
本技術の第１の実施の形態では、音を発している対象物が画像に含まれている場合には、その音を考慮して撮像動作に用いられるカメラ制御パラメータを決定する例を示した。しかしながら、音を発している対象物（人物以外）が画像に含まれている場合であっても、その画像に人物が含まれている場合には、その人物が主要対象物となることも想定される。
【０１５５】
そこで、本技術の第３の実施の形態では、音を発している対象物（人物以外）が画像に含まれている場合であっても、その画像に人物が含まれている場合には、画像情報に基づくカメラ制御パラメータを撮像動作に用いる例を示す。なお、本技術の第３の実施の形態における撮像装置の構成については、図１および図２に示す例と略同様である。このため、本技術の第１の実施の形態と共通する部分については、その説明の一部を省略する。
【０１５６】
［撮像装置を用いた撮像状態例］
図２０は、本技術の第３の実施の形態における撮像装置１００の撮像対象となる被写体と撮像範囲との関係を簡略化して示す図である。図２０（ａ）には、撮像装置１００および被写体をその側面から見た場合を示す。また、図２０（ｂ）には、撮像装置１００の撮像対象となる被写体の撮像範囲を示す。
【０１５７】
図２０には、滝４７２を背景にして立っている人物４７１と、滝４７２（その滝壺および川）付近とを被写体とする場合における被写体と撮像範囲との関係を示す。ここで、図２０に示す例では、撮像装置１００と滝４７２との距離が比較的近いため、滝４７２の流れる音（図２０（ａ）では、「ザーザー」で示す）を音取得部２６０により取得することができる場合を想定して説明する。
【０１５８】
ここで、図２０（ｂ）に示すように、撮像範囲４７５には滝４７２が含まれないのに対し、撮像範囲４７６、４７７には滝４７２が含まれる。このため、撮像部２２０の撮像対象が撮像範囲４７６である場合には、音取得部２６０により取得される音により特定される対象物（滝）と、撮像部２２０により生成される画像により特定される対象物（人物、滝）とが一致（すなわち、一部が一致）する。また、撮像部２２０の撮像対象が撮像範囲４７７である場合には、音取得部２６０により取得される音により特定される対象物（滝）と、撮像部２２０により生成される画像により特定される対象物（滝）とが一致する。
【０１５９】
ここで、音取得部２６０により取得される音により特定される対象物と、撮像部２２０により生成される画像により特定される対象物とが一致する場合には、本技術の第１の実施の形態では、音情報に基づくカメラ制御パラメータを決定する例を示した。しかしながら、撮像部２２０の撮像対象が撮像範囲４７６である場合には、背景の滝４７２よりも、その前に立っている人物４７１を主要対象物として撮像動作が行われている可能性が高いと想定される。
【０１６０】
すなわち、音取得部２６０により取得される音により特定される対象物（滝）よりも、撮像部２２０により生成される画像により特定される対象物（人物）が重要であると想定される。この場合に、例えば、音取得部２６０により取得された音のみによりカメラ制御パラメータを決定する場合には、撮像範囲４７６に含まれる被写体の画像については、適切なカメラ制御パラメータを設定することができないおそれがある。そこで、本技術の第３の実施の形態では、音により特定される対象物と画像により特定される対象物とが一致する場合であっても、撮像範囲に人物が存在する場合には、画像情報に基づくカメラ制御パラメータを決定する例を示す。
【０１６１】
また、撮像範囲４７５には人物４７１が含まれる。この場合についても同様に、画像情報に基づくカメラ制御パラメータを決定する。
【０１６２】
［被写体およびカメラ制御パラメータの関係例］
図２１乃至図２３は、本技術の第３の実施の形態における撮像部２２０により生成された画像と、制御部２８０により決定されたカメラ制御パラメータとの関係を示す図である。
【０１６３】
ここで、図２１（ａ）に示す画像４８１は、図２０（ｂ）に示す撮像範囲４７６に対応する画像である。また、図２２（ａ）に示す画像４８２は、図２０（ｂ）に示す撮像範囲４７５に対応する画像である。また、図２３（ａ）に示す画像４８３は、図２０（ｂ）に示す撮像範囲４７７に対応する画像である。
【０１６４】
図２１（ｂ）に示すように、図２１（ａ）に示す画像４８１の撮像動作時には、音取得部２６０により取得される音により特定される対象物（滝）と、撮像部２２０により生成される画像により特定される対象物（人物、滝）とが一致（一部が一致）する。しかしながら、撮像部２２０により生成される画像には人物４７１の顔が含まれている。この場合には、制御部２８０は、撮像動作時における設定内容として、画像情報に基づくカメラ制御パラメータ（第２パラメータ）を決定する。
【０１６５】
また、図２２（ｂ）に示すように、図２２（ａ）に示す画像４８２の撮像動作時には、音取得部２６０により取得される音により特定される対象物（滝）と、撮像部２２０により生成される画像により特定される対象物（人物、山々）とが一致しない。この場合には、制御部２８０は、撮像動作時における設定内容として、画像情報に基づくカメラ制御パラメータ（第２パラメータ）を決定する。
【０１６６】
また、図２３（ｂ）に示すように、図２３（ａ）に示す画像４８３の撮像動作時には、音取得部２６０により取得される音により特定される対象物（滝）と、撮像部２２０により生成される画像により特定される対象物（滝）とが一致する。また、撮像部２２０により生成される画像には人物の顔が含まれていない。この場合には、制御部２８０は、撮像動作時における設定内容として、音情報に基づくカメラ制御パラメータ（第１パラメータ）を決定する。
【０１６７】
このように、制御部２８０は、撮像部２２０により生成された画像に特定対象物（例えば、人物の顔）が含まれるか否かに基づいてカメラ制御パラメータを決定する。
【０１６８】
［撮像装置の動作例］
図２４は、本技術の第３の実施の形態における撮像装置１００によるカメラ制御パラメータ決定処理の処理手順の一例を示すフローチャートである。なお、図２４は、図１２の変形例であるため、図１２と共通する部分については、同一の符号を付して、その説明の一部を省略する。
【０１６９】
音判定部２７０による判定結果と、画像判定部２５０による判定結果とが一致（または、略一致）した場合には（ステップＳ９０９）、制御部２８０は、撮像範囲に人物（人物の顔）が存在するか否かを判断する（ステップＳ９３１）。撮像範囲に人物（人物の顔）が存在しない場合には（ステップＳ９３１）、制御部２８０は、第１パラメータを用いた撮像動作を行うための制御を行う（ステップＳ９１０）。一方、撮像範囲に人物（人物の顔）が存在する場合には（ステップＳ９３１）、制御部２８０は、第２パラメータを用いた撮像動作を行うための制御を行う（ステップＳ９１１）。
【０１７０】
例えば、図９乃至図１１に示す例では、撮像範囲に人物が含まれないため、本技術の第１の実施の形態と同様の決定処理が行われる。
【０１７１】
同様に、例えば、図１６乃至図１８に示す例では、撮像範囲に人物が含まれないため、本技術の第２の実施の形態と同様の決定処理が行われる。
【０１７２】
また、例えば、図２１に示すように、撮像範囲に滝４７２が含まれる場合には、音判定部２７０による判定結果と、画像判定部２５０による判定結果とが一致（一部が一致）する（ステップＳ９０９）。しかしながら、上述したように、撮像範囲に人物４７１が存在すると判定される（ステップＳ９３１）。このため、制御部２８０は、画像情報に基づくカメラ制御パラメータ（第２パラメータ）を決定し、これを用いた撮像動作を行うための制御を行う（ステップＳ９１１）。この場合には、制御部２８０は、人物４７１に基づくパラメータ（例えば、被写体情報を用いて決定されたパラメータ）を用いた撮像動作を行うための制御を行う（ステップＳ９１１）。
【０１７３】
また、例えば、図２２に示すように、滝４７２が撮像範囲に含まれない場合には、音判定部２７０による判定結果と、画像判定部２５０による判定結果とが一致しない（ステップＳ９０９）。このため、制御部２８０は、画像情報に基づくカメラ制御パラメータ（第２パラメータ）を決定し、これを用いた撮像動作を行うための制御を行う（ステップＳ９１１）。この場合についても、制御部２８０は、人物４７１に基づくパラメータを用いた撮像動作を行うための制御を行う（ステップＳ９１１）。
【０１７４】
また、例えば、図２３に示すように、撮像範囲に滝４７２が含まれる場合には、音判定部２７０による判定結果と、画像判定部２５０による判定結果とが一致（一部が一致）する（ステップＳ９０９）。また、この場合には、撮像範囲に人物４７１が存在しないと判定される（ステップＳ９３１）。このため、制御部２８０は、音情報に基づくカメラ制御パラメータ（第１パラメータ）を決定し、これを用いた撮像動作を行うための制御を行う（ステップＳ９１０）。
【０１７５】
このように、本技術の第３の実施の形態では、音を発している対象物が画像に含まれている場合であっても、その画像に人物が含まれている場合には、画像情報に基づくカメラ制御パラメータを決定する。これにより、音を発している対象物が画像に含まれている場合において、人物が主要対象物となる場合でも、その人物に対する最適なカメラ制御パラメータを設定して撮像動作を行うことができる。すなわち、音を発している対象物と、この対象物以外の対象物との関係を考慮して、撮像動作時における設定内容を適切に決定することができる。
【０１７６】
なお、本技術の実施の形態では、音判定部２７０により判定された対象物に基づいて決定されたパラメータについては、音判定部２７０による判定結果（例えば、その対象物の速度）を用いて補正する例を示した。ただし、音判定部２７０により判定された対象物に基づいて決定されたパラメータについて、画像判定部２５０による判定結果（例えば、その対象物の速度）を用いて補正するようにしてもよい。
【０１７７】
また、本技術の実施の形態では、画像判定部２５０により判定された対象物に基づいて決定されたパラメータについては、画像判定部２５０による判定結果（例えば、その対象物の速度）や被写体距離（その対象物の被写体距離）を用いて補正する例を示した。ただし、画像判定部２５０により判定された対象物に基づいて決定されたパラメータについて、音判定部２７０による判定結果（例えば、その対象物の速度や被写体距離）を用いて補正するようにしてもよい。
【０１７８】
また、制御部２８０は、音取得部２６０により取得された周囲の音と、撮像部２２０により生成された画像とに基づいて、他の決定方法により設定内容（撮像部２２０の撮像動作時における設定内容）を決定するようにしてもよい。
【０１７９】
例えば、制御部２８０は、音判定部２７０により花火の音が判定された場合には、画像判定部２５０により判定された対象物に基づいて決定されたパラメータを、花火に最適なパラメータとなるように補正するようにしてもよい。また、例えば、制御部２８０は、音判定部２７０により花火の音が判定された場合には、撮像モードとして花火モードを設定し、この花火モードの設定状態で、画像判定部２５０により判定された対象物に基づいて最適なパラメータを設定するようにしてもよい。これらにより、連続して打ち上げられる花火を撮影するような場合には、シャッターボタン１７１を半押し状態としておくことにより、花火に最適なパラメータを容易に設定することができる。
【０１８０】
また、本技術の実施の形態では、シャッターボタン１７１の半押し操作が行われてから全押し操作が行われるまでの期間を音判定期間とし、シャッターボタン１７１の全押し操作時を画像判定期間とする例を示す。ただし、静止画撮像モードが設定されている間を、音判定期間および画像判定期間として、音判定処理および画像判定処理を順次行うようにしてもよい。また、音判定期間および画像判定期間を、定期的または不定期に設定するようにしてもよく、撮像動作時において、カメラ制御パラメータを設定することが可能な他の期間に設定するようにしてもよい。
【０１８１】
また、本技術の実施の形態では、カメラ制御パラメータとして、絞り値、シャッタースピード、露出値を決定する例を示したが、他のカメラ制御パラメータを決定する場合についても、本技術の実施の形態を適用することができる。例えば、対象物に応じた最適な撮像パラメータや画像処理パラメータを対象物毎に関連付けて記憶しておき、これらの各パラメータを用いて撮像動作時における設定内容を決定することができる。
【０１８２】
なお、本技術の実施の形態では、撮像部を備える撮像装置１００を例にして説明したが、撮像部を着脱可能な情報処理装置に本技術の実施の形態を適用することができる。また、撮像機能付き携帯電話機や撮像機能付き携帯端末装置等の情報処理装置に本技術の実施の形態を適用することができる。
【０１８３】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１８４】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
【０１８５】
なお、本技術は以下のような構成もとることができる。
（１） 音取得部により取得された周囲の音と撮像部により生成された画像とに基づいて前記撮像部の撮像動作時における設定内容を決定するための制御を行う制御部を具備する情報処理装置。
（２） 前記音取得部により取得された周囲の音に基づいて当該音を発する対象物を判定する第１判定部と、
前記撮像部により生成された画像に基づいて当該画像に含まれる対象物を判定する第２判定部とをさらに具備し、
前記制御部は、前記第１判定部による判定結果と前記第２判定部による判定結果とに基づいて前記設定内容を決定する
前記（１）に記載の情報処理装置。
（３） 前記制御部は、前記第１判定部により判定された対象物である第１対象物と、前記第２判定部により判定された対象物である第２対象物との比較結果に基づいて前記設定内容を決定する前記（２）に記載の情報処理装置。
（４） 前記制御部は、前記設定内容に関するパラメータである第１パラメータを前記第１対象物に基づいて決定し、前記設定内容に関するパラメータである第２パラメータを前記第２対象物に基づいて決定し、前記第１対象物および前記第２対象物が一致するか否かに基づいて前記第１パラメータおよび前記第２パラメータの何れかを用いて前記設定内容を決定する前記（３）に記載の情報処理装置。
（５） 前記制御部は、前記第１対象物および前記第２対象物が一致する場合には前記第１パラメータを用いて前記設定内容を決定し、前記第１対象物および前記第２対象物が一致しない場合には前記第２パラメータを用いて前記設定内容を決定する前記（４）に記載の情報処理装置。
（６） 前記第１判定部は、前記第１対象物と当該第１対象物に係る移動状態および被写体距離の少なくとも一方とを判定し、
前記制御部は、前記第１対象物に係る移動状態および被写体距離の少なくとも一方に基づいて前記第１パラメータを補正する
前記（４）または（５）に記載の情報処理装置。
（７） 前記第２判定部は、前記第２対象物と当該第２対象物に係る移動状態および被写体距離の少なくとも一方とを判定し、
前記制御部は、前記第２対象物に係る移動状態および被写体距離の少なくとも一方に基づいて前記第２パラメータを補正する
前記（４）から（６）のいずれかに記載の情報処理装置。
（８） 前記撮像部により生成された画像に含まれる各対象物に係る被写体距離を取得する被写体距離取得部をさらに具備し、
前記制御部は、前記第１対象物に係る被写体距離とは異なる被写体距離に係る他の対象物が前記撮像部により生成された画像に含まれるか否かに基づいて前記第１パラメータおよび前記第２パラメータの何れかを用いて前記設定内容を決定する
前記（４）から（７）のいずれかに記載の情報処理装置。
（９） 前記第２判定部は、前記撮像部により生成された画像に特定対象物が含まれるか否かを判定し、
前記制御部は、前記撮像部により生成された画像に前記特定対象物が含まれるか否かに基づいて前記第１パラメータおよび前記第２パラメータの何れかを用いて前記設定内容を決定する
前記（４）から（７）のいずれかに記載の情報処理装置。
（１０） 前記第２判定部は、前記特定対象物として人物の顔が含まれるか否かを判定する前記（９）に記載の情報処理装置。
（１１） 周囲の音を取得する音取得部と、
被写体を撮像して画像を生成する撮像部と、
前記音取得部により取得された周囲の音と、前記撮像部により生成された画像とに基づいて前記撮像部の撮像動作時における設定内容を決定するための制御を行う制御部と
を具備する撮像装置。
（１２） 情報処理装置の周囲の音を取得する音取得手順と、
撮像部により生成された画像を取得する画像取得手順と、
前記取得された音と前記取得された画像とに基づいて前記撮像部の撮像動作時における設定内容を決定する決定手順と
を具備する情報処理方法。
（１３） 情報処理装置の周囲の音を取得する音取得手順と、
撮像部により生成された画像を取得する画像取得手順と、
前記取得された音と前記取得された画像とに基づいて前記撮像部の撮像動作時における設定内容を決定する決定手順と
をコンピュータに実行させるプログラム。
【符号の説明】
【０１８６】
１００ 撮像装置
１１１ レンズ群
１１２ 絞り
１１３ 光学系制御部
１２１ シャッターユニット
１２２ シャッター制御部
１３１ 撮像素子
１３２ ＡＦＥ
１３３ 画像処理部
１３５ 測光部
１４０ コンテンツ記憶部
１５１ マイクロフォン
１５２ Ａ／Ｄ変換部
１５３ 音声分析処理部
１６０ 不揮発性メモリ
１７０ 操作受付部
１７１ シャッターボタン
１８０ 表示部
１９０ メイン制御部
２１０ 操作受付部
２２０ 撮像部
２３０ 画像処理部
２４０ 記録制御部
２５０ 画像判定部
２６０ 音取得部
２７０ 音判定部
２８０ 制御部
２９０ コンテンツ記憶部
３１０ 画像判定情報記憶部
３２０ 音判定情報記憶部
３３０ パラメータ補正情報記憶部
３４０ プログラム線図記憶部
【特許請求の範囲】
【請求項１】
音取得部により取得された周囲の音と撮像部により生成された画像とに基づいて前記撮像部の撮像動作時における設定内容を決定するための制御を行う制御部を具備する情報処理装置。
【請求項２】
前記音取得部により取得された周囲の音に基づいて当該音を発する対象物を判定する第１判定部と、
前記撮像部により生成された画像に基づいて当該画像に含まれる対象物を判定する第２判定部とをさらに具備し、
前記制御部は、前記第１判定部による判定結果と前記第２判定部による判定結果とに基づいて前記設定内容を決定する
請求項１記載の情報処理装置。
【請求項３】
前記制御部は、前記第１判定部により判定された対象物である第１対象物と、前記第２判定部により判定された対象物である第２対象物との比較結果に基づいて前記設定内容を決定する請求項２記載の情報処理装置。
【請求項４】
前記制御部は、前記設定内容に関するパラメータである第１パラメータを前記第１対象物に基づいて決定し、前記設定内容に関するパラメータである第２パラメータを前記第２対象物に基づいて決定し、前記第１対象物および前記第２対象物が一致するか否かに基づいて前記第１パラメータおよび前記第２パラメータの何れかを用いて前記設定内容を決定する請求項３記載の情報処理装置。
【請求項５】
前記制御部は、前記第１対象物および前記第２対象物が一致する場合には前記第１パラメータを用いて前記設定内容を決定し、前記第１対象物および前記第２対象物が一致しない場合には前記第２パラメータを用いて前記設定内容を決定する請求項４記載の情報処理装置。
【請求項６】
前記第１判定部は、前記第１対象物と当該第１対象物に係る移動状態および被写体距離の少なくとも一方とを判定し、
前記制御部は、前記第１対象物に係る移動状態および被写体距離の少なくとも一方に基づいて前記第１パラメータを補正する
請求項４記載の情報処理装置。
【請求項７】
前記第２判定部は、前記第２対象物と当該第２対象物に係る移動状態および被写体距離の少なくとも一方とを判定し、
前記制御部は、前記第２対象物に係る移動状態および被写体距離の少なくとも一方に基づいて前記第２パラメータを補正する
請求項４記載の情報処理装置。
【請求項８】
前記撮像部により生成された画像に含まれる各対象物に係る被写体距離を取得する被写体距離取得部をさらに具備し、
前記制御部は、前記第１対象物に係る被写体距離とは異なる被写体距離に係る他の対象物が前記撮像部により生成された画像に含まれるか否かに基づいて前記第１パラメータおよび前記第２パラメータの何れかを用いて前記設定内容を決定する
請求項４記載の情報処理装置。
【請求項９】
前記第２判定部は、前記撮像部により生成された画像に特定対象物が含まれるか否かを判定し、
前記制御部は、前記撮像部により生成された画像に前記特定対象物が含まれるか否かに基づいて前記第１パラメータおよび前記第２パラメータの何れかを用いて前記設定内容を決定する
請求項４記載の情報処理装置。
【請求項１０】
前記第２判定部は、前記特定対象物として人物の顔が含まれるか否かを判定する請求項９記載の情報処理装置。
【請求項１１】
周囲の音を取得する音取得部と、
被写体を撮像して画像を生成する撮像部と、
前記音取得部により取得された周囲の音と、前記撮像部により生成された画像とに基づいて前記撮像部の撮像動作時における設定内容を決定するための制御を行う制御部と
を具備する撮像装置。
【請求項１２】
情報処理装置の周囲の音を取得する音取得手順と、
撮像部により生成された画像を取得する画像取得手順と、
前記取得された音と前記取得された画像とに基づいて前記撮像部の撮像動作時における設定内容を決定する決定手順と
を具備する情報処理方法。
【請求項１３】
情報処理装置の周囲の音を取得する音取得手順と、
撮像部により生成された画像を取得する画像取得手順と、
前記取得された音と前記取得された画像とに基づいて前記撮像部の撮像動作時における設定内容を決定する決定手順と
をコンピュータに実行させるプログラム。
【請求項１】
音取得部により取得された周囲の音と撮像部により生成された画像とに基づいて前記撮像部の撮像動作時における設定内容を決定するための制御を行う制御部を具備する情報処理装置。
【請求項２】
前記音取得部により取得された周囲の音に基づいて当該音を発する対象物を判定する第１判定部と、
前記撮像部により生成された画像に基づいて当該画像に含まれる対象物を判定する第２判定部とをさらに具備し、
前記制御部は、前記第１判定部による判定結果と前記第２判定部による判定結果とに基づいて前記設定内容を決定する
請求項１記載の情報処理装置。
【請求項３】
前記制御部は、前記第１判定部により判定された対象物である第１対象物と、前記第２判定部により判定された対象物である第２対象物との比較結果に基づいて前記設定内容を決定する請求項２記載の情報処理装置。
【請求項４】
前記制御部は、前記設定内容に関するパラメータである第１パラメータを前記第１対象物に基づいて決定し、前記設定内容に関するパラメータである第２パラメータを前記第２対象物に基づいて決定し、前記第１対象物および前記第２対象物が一致するか否かに基づいて前記第１パラメータおよび前記第２パラメータの何れかを用いて前記設定内容を決定する請求項３記載の情報処理装置。
【請求項５】
前記制御部は、前記第１対象物および前記第２対象物が一致する場合には前記第１パラメータを用いて前記設定内容を決定し、前記第１対象物および前記第２対象物が一致しない場合には前記第２パラメータを用いて前記設定内容を決定する請求項４記載の情報処理装置。
【請求項６】
前記第１判定部は、前記第１対象物と当該第１対象物に係る移動状態および被写体距離の少なくとも一方とを判定し、
前記制御部は、前記第１対象物に係る移動状態および被写体距離の少なくとも一方に基づいて前記第１パラメータを補正する
請求項４記載の情報処理装置。
【請求項７】
前記第２判定部は、前記第２対象物と当該第２対象物に係る移動状態および被写体距離の少なくとも一方とを判定し、
前記制御部は、前記第２対象物に係る移動状態および被写体距離の少なくとも一方に基づいて前記第２パラメータを補正する
請求項４記載の情報処理装置。
【請求項８】
前記撮像部により生成された画像に含まれる各対象物に係る被写体距離を取得する被写体距離取得部をさらに具備し、
前記制御部は、前記第１対象物に係る被写体距離とは異なる被写体距離に係る他の対象物が前記撮像部により生成された画像に含まれるか否かに基づいて前記第１パラメータおよび前記第２パラメータの何れかを用いて前記設定内容を決定する
請求項４記載の情報処理装置。
【請求項９】
前記第２判定部は、前記撮像部により生成された画像に特定対象物が含まれるか否かを判定し、
前記制御部は、前記撮像部により生成された画像に前記特定対象物が含まれるか否かに基づいて前記第１パラメータおよび前記第２パラメータの何れかを用いて前記設定内容を決定する
請求項４記載の情報処理装置。
【請求項１０】
前記第２判定部は、前記特定対象物として人物の顔が含まれるか否かを判定する請求項９記載の情報処理装置。
【請求項１１】
周囲の音を取得する音取得部と、
被写体を撮像して画像を生成する撮像部と、
前記音取得部により取得された周囲の音と、前記撮像部により生成された画像とに基づいて前記撮像部の撮像動作時における設定内容を決定するための制御を行う制御部と
を具備する撮像装置。
【請求項１２】
情報処理装置の周囲の音を取得する音取得手順と、
撮像部により生成された画像を取得する画像取得手順と、
前記取得された音と前記取得された画像とに基づいて前記撮像部の撮像動作時における設定内容を決定する決定手順と
を具備する情報処理方法。
【請求項１３】
情報処理装置の周囲の音を取得する音取得手順と、
撮像部により生成された画像を取得する画像取得手順と、
前記取得された音と前記取得された画像とに基づいて前記撮像部の撮像動作時における設定内容を決定する決定手順と
をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２０１３−１１０５５１（Ｐ２０１３−１１０５５１Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５３５４７（Ｐ２０１１−２５３５４７）
【出願日】平成２３年１１月２１日（２０１１．１１．２１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月２１日（２０１１．１１．２１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]