撮像装置
【課題】 本発明は、画像と音声とを取得し得る撮像装置を提供することを目的とする。
【解決手段】 本発明は、画像を撮像する撮像部と、画像に対応する音声を指向性を変化させて取得可能な音声取得部と、画像に含まれる被写体を判定する判定部と、判定部の判定結果に応じて音声取得部の指向性が変化するように制御する制御部とを含む。
【解決手段】 本発明は、画像を撮像する撮像部と、画像に対応する音声を指向性を変化させて取得可能な音声取得部と、画像に含まれる被写体を判定する判定部と、判定部の判定結果に応じて音声取得部の指向性が変化するように制御する制御部とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像と音声とを取得することができる撮像装置に関する。
【背景技術】
【０００２】
従来、デジタルカメラやビデオカメラ等において、動画撮像の際に画像と音声とを同時に記録することができるだけでなく、撮影状況に応じてマイクロフォンの指向性を制御する様々な技術が開発されている。
【０００３】
例えば、特許文献１では、周囲音がある状況において、デジタルカメラやビデオカメラ等の動きに影響されることなく、選択した所望の被写体からの音声を強調又は抑圧して録音する技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術は、デジタルカメラ等が向けられた被写体までの撮影距離や焦点距離等の焦点情報に基づいて、マイクロフォンの指向性を被写体に向くように、また特許文献１は、選択された被写体を追跡するように制御することはできるが、被写体の対象（以後、「シーン」という）の種類や場面に応じてマイクロフォンの指向性を変化させることはできない。
【０００５】
上記従来技術が有する問題に鑑み、本発明の目的は、画像と音声とを取得することができる撮像装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の撮像装置は、画像を撮像する撮像部と、画像に対応する音声を指向性を変化させて取得可能な音声取得部と、画像に含まれる被写体を判定する判定部と、判定部の判定結果に応じて音声取得部の指向性が変化するように制御する制御部とを含む。
【０００７】
また、撮影者により操作可能な操作部と、操作部の状態に応じて撮影条件を変更する撮影条件変更部とを含み、制御部は、判定部の判定結果、及び、操作部の状態に基づいて制御を行っても良い。
【０００８】
また、制御部は、操作部の状態よりも判定部の判定結果を優先して制御を行っても良い。
【０００９】
また、判定部は、画像から求めた特徴量に基づいてパターン認識をすることにより、画像に含まれる被写体を判定しても良い
また、判定部は、あらかじめ複数の被写体についての複数の画像を用いて、複数の画像各々の特徴量と複数の被写体の各々の対象とを、各対象を特徴付けるパターンに基づいて関係付ける複数の統計パラメータを有し、複数の統計パラメータを用いた統計処理によって、撮像部によって撮像された画像における被写体の対象を特徴付けるパターンを認識しても良い。
【００１０】
また、統計処理は、ニューラルネットであっても良い。
【００１１】
また、音声取得部は、音声の指向性を変更するための指向性変更回路を含んでも良い。
【００１２】
また、音声取得部は、それぞれ指向性の異なる複数のマイクロフォンを含み、制御部は、判定部の判定結果に応じて複数のマイクロフォンのゲインを制御しても良い。
【発明の効果】
【００１３】
本発明によれば、画像と音声とを取得し得る撮像装置を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態に係るデジタルカメラ１の構成例を示す模式図
【図２】本発明の第１の実施形態に係るデジタルカメラ１の被写体側から見た図と機能ブロック図
【図３】本発明の第１の実施形態に係るデジタルカメラ１における撮像処理の手順を示すフローチャート
【図４】本発明の第１の実施形態に係るデジタルカメラ１における階層型ニューラルネットの概念図
【図５】本発明の第２の実施形態に係るデジタルカメラ１における階層型ニューラルネットの概念図
【図６】本発明の第３の実施形態に係るデジタルカメラ５０の構成例を示す模式図
【図７】本発明の第３の実施形態に係るデジタルカメラ５０の被写体側から見た図と機能ブロック図
【図８】本発明の第４の実施形態に係るデジタルカメラ１の被写体側から見た図と機能ブロック図
【図９】本発明の第４の実施形態に係るデジタルカメラ１における撮像処理の手順を示すフローチャート
【図１０】本発明の第５の実施形態に係るデジタルカメラ１の被写体側から見た図と機能ブロック図
【図１１】本発明の第５の実施形態に係るデジタルカメラ１における撮像処理の手順を示すフローチャート
【発明を実施するための形態】
【００１５】
以下、図面を用いて本発明の実施形態について説明する。以下の実施形態では、本発明のカメラの一例として、一眼レフタイプのデジタルカメラを用いて説明する。
≪第１の実施形態≫
図１は、本発明の第１の実施形態に係るデジタルカメラ１の構成を示す図である。図１に示すように、デジタルカメラ１は、カメラ本体１ａと交換レンズ部１ｂとから構成される。
【００１６】
交換レンズ部１ｂは、撮像レンズ２、絞り３、焦点距離検出部４、距離検出部５、絞り制御部６及びレンズ側ＣＰＵ７から成る。一方、カメラ本体１ａは、ペンタプリズム８、再結像レンズ９、測光センサ１０、クイックリターンミラー１１、サブミラー１２、焦点板１３、シャッタ１４、接眼レンズ１５、撮像素子１６、表示部１７、本体側ＣＰＵ１８、焦点検出部１９、画像処理部２０、シャッタ制御部２１、記憶部２２、マイクロフォン２３ａ〜２３ｂの各部を備える。デジタルカメラ１の各構成要素は、交換レンズ部１ｂのレンズ側ＣＰＵ７又はカメラ本体１ａの本体側ＣＰＵ１８と情報伝達可能に接続される。そして、レンズ側ＣＰＵ７と本体側ＣＰＵ１８とは、接続点を介して接続されている。なお、図１はデジタルカメラ１の主要部分のみを示す。例えば、図１において、本体側ＣＰＵ１８の指令に従って、撮像素子１６に撮影指示のタイミングパルスを発するタイミングジェネレータ等は省略されている。
【００１７】
撮像レンズ２は、複数の光学レンズにより構成され、被写体からの光束を撮像素子１６の受光面に結像する。
【００１８】
測光センサ１０は、図１に示すようにクイックリターンミラー１１が下がった状態で、焦点板１３に結像されるファインダ像の画面を細かく分割（例えば、５分割等）して、測光する測光センサであり、画面内の明るさや色等といった測光情報を検出する。測光センサ１０は、撮像レンズ２からの光束に基づいて計測される輝度に基づいて、コントラスト方式による撮像レンズ２の焦点状態であるコントラストＡＦ情報を検出するとともに、再結像レンズ９によって結像され、撮像素子１６による被写体の撮像前の構図確認用で、表示部１７に表示される低解像度画像（スルー画）を生成する。
【００１９】
焦点検出部１９は、例えば、位相差方式による焦点検出を行い、結像される被写体像の複数の測定点における、撮像レンズ２の焦点状態であるデフォーカス量を検出する。本体側ＣＰＵ１８は、取得したそのような焦点状態に基づいて、レンズ側ＣＰＵ７を介して、撮像レンズ駆動部（不図示）や絞り制御部６に、撮像レンズ２及び絞り３をそれぞれ駆動させて、撮像素子１６の受光面に被写体を結像させる。本体側ＣＰＵ１８は、その時の焦点距離、被写体までの撮像距離及び絞り値を、レンズ側ＣＰＵ７を介して、焦点距離検出部４、距離検出部５及び絞り制御部６からそれぞれ取得する。なお、レンズ側ＣＰＵ７及び本体側ＣＰＵ１８は、一般的なコンピュータのＣＰＵを使用することができる。レンズ側ＣＰＵ７及び本体側ＣＰＵ１８のそれぞれには、各不図示のメモリが備えられ、各構成要素を制御するためのプログラムがあらかじめ記録されているものとする。
【００２０】
なお、位相差方式の焦点検出又はコントラスト方式の焦点検出のいずれかの焦点検出を行うかは、ユーザによる操作設定に応じて決めても良い。或いは、デジタルカメラ１は、位相差方式の焦点検出とコントラスト方式の焦点検出とを組み合わせて撮影レンズ２の焦点状態を検出する構成としても良い。
【００２１】
クイックリターンミラー１１は、撮影を行わない場合には、図１に示すように、撮影レンズ２および絞り３を通過してきた光束の方向に対して４５°の角度に配置される。そして、撮影レンズ２および絞り３を通過した光束は、クイックリターンミラー１１で反射され、焦点板１３上に結像してファインダ像が投影される。その投影されたファインダ像は、ペンタプリズム８を介して、測光センサ１０及び接眼レンズ１５に導かれる。ユーザは、接眼レンズ１５を介して被写体の像を目視することにより構図確認を行う。同時に、上述したように、再結像レンズ９を介して、測光センサ１０の撮像面上にも再結像される。また、クイックリターンミラー１１を透過した一部の光束は、サブミラー１２を介して焦点検出部１９に導かれる。
【００２２】
一方、撮影時には、本体側ＣＰＵ１８の指示に基づいて、クイックリターンミラー１１は、撮像レンズ２からの光束の光路から退避して、シャッタ制御部２１によってシャッタ１４が開放されると、撮影レンズ２からの光束は撮像素子１６に導かれる。
【００２３】
撮像素子１６は、本体側ＣＰＵ１８の指令を受けて、タイミングジェネレータ（不図示）が発するタイミングパルスに基づいて動作し、前方に設けられた撮像レンズ２によって結像された被写体を撮像する。撮像素子１６には、ＣＣＤやＣＭＯＳの半導体のイメージセンサ等を適宜選択して用いることができる。なお、本実施形態では、撮像素子１６は、静止画像の場合には全画素による撮像を行い、動画の場合には間引き読み出しによる撮像を行うものとする。
【００２４】
一方、デジタルカメラ１のカメラ本体１ａには、静止画像や動画の撮像時における音声取得のためのマイクロフォン２３ａ〜２３ｂが設けられている。図２（ａ）は、デジタルカメラ１を被写体側から見た図である。なお、図１における構成要素と同じものには、同じ符号を付している。図２（ａ）に示されるように、マイクロフォン２３ａ〜２３ｂは、カメラ本体１ａの全面の右上で水平に並んで設けられている。そして、本実施形態では、図２（ｂ）に示すように、マイクロフォン２３ａは指向性の狭い特性を有し、マイクロフォン２３ｂは広い指向性を有している。なお、図２（ｂ）は、デジタルカメラ１の機能ブロック図である。マイクロフォン２３ａ〜２３ｂは、デジタルカメラ１による静止画像又は動画撮影時において、撮像される被写体のシーンに応じて、マイクロフォン２３ａ〜２３ｂのいずれか又はその両方を用いて、周囲音や所定の被写体からの音声を効果的に捉える。
【００２５】
操作部材３０は、ユーザによる部材操作の内容に応じた操作信号を本体側ＣＰＵ１８に出力する。操作部材３０には、例えば、電源釦、撮影モード等のモード設定釦及びレリーズ釦等の操作部材を有する。なお、操作部材３０は、表示部１７の画面の前面に設けられるタッチパネル形式の釦であっても良い。また、表示部１７には、液晶モニタ等を適宜選択して用いることができる。
【００２６】
撮像素子１６によって撮像された画像データは、Ａ／Ｄ変換部（不図示）によってデジタル信号に変換されて画像処理部２０に取り込まれる。図２（ｂ）に示すように、画像処理部２０は、画像データ処理部２８と画像特徴量演算部２９とから構成されるデジタルフロントエンド回路であって、転送されてきた画像データは画像データ処理部２８と画像特徴量演算部２９とに入力される。画像データ処理部２８では、画像データに対して補間処理やホワイトバランス処理等の画像処理を施し、記憶部２２に記録するとともに、表示部１７に静止画像や動画等として表示する。
【００２７】
一方、画像特徴量演算部２９は、撮像された画像を、５０×５０又は１００×１００等の複数の領域に分割して、領域毎にＲ／Ｇ、Ｂ／Ｇ及び輝度等の画像特徴量の積算値を算出し、算出された各領域におけるそれらの画像特徴量から、それらの平均値や分散値等を求める。画像特徴量演算部２９によって算出されたそれらの平均値や分散値等の画像特徴量は、本体側ＣＰＵ１８へ転送される。
【００２８】
本体側ＣＰＵ１８は、画像特徴量演算部２９によって求められた画像特徴量に基づいて、撮像された被写体のシーンを判定するシーン判定部２６と、シーン判定部２６によって判定されたシーンに応じて、マイクロフォン２３ａ〜２３ｂの指向性を制御する指向性制御部２７とから構成される。なお、本実施形態では、上述したように、本体側ＣＰＵ１８に備えられたメモリ（不図示）に、各構成要素を制御するためのプログラムとともに、シーン判定部２６によるシーン判定及び指向性制御部２７による指向性制御を行うためのプログラムが、あらかじめ記録されているものとする。
【００２９】
Ａ／Ｄ変換部２４ａ〜２４ｂは、本実施形態において、増幅回路をアナログフロントエンドに備えたものであり、マイクロフォン２３ａ〜２３ｂから転送されてくるアナログの音声信号を、増幅してからデジタル信号に変換する。Ａ／Ｄ変換部２４ａ〜２４ｂの増幅回路の増幅率は、本体側ＣＰＵ１８の指向性制御部２７によって制御される。デジタル信号に変換されたマイクロフォン２３ａ〜２３ｂからの音声信号は、ミキサ２５によって合成され、画像データ処理部２８によって処理された画像と関連付けられて記憶部２２に記録される。
【００３０】
次に、本実施形態に係るデジタルカメラ１の撮像手順について、図３のフローチャートを参照しながら説明する。なお、以下の説明では、ユーザがデジタルカメラ１を用いて、動画を撮像するものとして説明する。即ち、ユーザによって、あらかじめ操作部材３０のモード設定釦によって、動画モードが選択設定されているものとする。
【００３１】
ユーザにより操作部材３０の電源釦が押されると、レンズ側ＣＰＵ７及び本体側ＣＰＵ１８は、それぞれの不図示のメモリに記憶されている制御プログラムを読み込み、デジタルカメラ１のカメラ本体１ａ及び交換レンズ部１ｂをそれぞれ初期化する。本体側ＣＰＵ１８は、レンズ側ＣＰＵ７を介して、焦点検出部４、距離検出部５及び絞り制御部６から焦点距離、撮像距離及び絞り値をそれぞれ取得するとともに、測光センサ１０及び焦点検出部１９から撮像レンズ２の焦点状態を取得する。同時に、本体側ＣＰＵ１８は、動画の撮像でのシーンに応じて、マイクロフォン２３ａ〜２３ｂによる音声録音の指向性を制御するプログラム、シーン判定部２６が撮像した画像に基づいてシーン判定するために用いる、ニューラルネットによる統計処理で必要な統計パラメータのデータ、及び各シーンに応じた各Ａ／Ｄ変換部２４ａ〜２４ｂの増幅率である指向性データを、それぞれ記憶部２２から読み込む。なお、本実施形態では、統計パラメータのデータ及び指向性データは、記憶部２２にあらかじめ記録されているものとする。そして、ステップＳ１０からの処理が行われる。
【００３２】
ステップＳ１０：本体側ＣＰＵ１８は、ユーザによって操作部材３０のレリーズ釦が押されて撮像開始指示の信号を受信すると、タイミングジェネレータ（不図示）を介して、クイックリターンミラー１１を、撮像レンズ２を通過してくる被写体からの光束の光路上から退避させて、シャッタ制御部２１にシャッタ１４を開放させるとともに、所定のフレームレート（例えば、３０ｆｐｓ）で、撮像素子１６に被写体を間引き読み出しによる動画撮像を開始させる。
【００３３】
ステップＳ１１：本体側ＣＰＵ１８は、上記フレームレートで取得された各フレームの画像を、撮像素子１６に順次出力させて、Ａ／Ｄ変換部（不図示）にアナログからデジタルの信号に変換させ、画像処理部２０に転送する。画像処理部２０は、転送されてきた画像を、画像データ処理部２８及び画像特徴量演算部２９に入力する。画像データ処理部２８は、その画像に対して、補間処理やホワイトバランス処理等の画像処理を施す。一方、画像特徴量演算部２９は、画像を、例えば、５０×５０の領域に分割して、各領域において複数の画像特徴量を算出し、各領域で求めた複数の画像特徴量を用いて、その画像における各画像特徴量の平均値と分散値とを算出する。画像特徴量演算部２９は、算出したそれら画像特徴量の平均値と分散値とを、本体側ＣＰＵ１８のシーン判定部２６へ転送する。
【００３４】
なお、本実施形態における複数の画像特徴量とは、Ｒ／Ｇ、Ｂ／Ｇ、輝度、画像の水平走査線（Ｘ軸）方向の動きベクトルＸ及び画像の垂直走査線（Ｙ軸）方向の動きベクトルＹである。また、本実施形態における、動きベクトルＸ及び動きベクトルＹの算出は、演算対象の画像とその１フレーム前の画像とを用い、分割した領域毎に相関を計算することによって求める。ただし、最初のフレームの画像に対しては、動きベクトルＸ及び動きベクトルＹを求めることができないので、それらの平均値及び分散値は、例えば０と設定する。
【００３５】
ステップＳ１２：本体側ＣＰＵ１８のシーン判定部２６は、ステップＳ１１で画像特徴量演算部２９が算出した複数の画像特徴量の平均値及び分散値と、あらかじめ読み込んだ統計パラメータのデータとを用いて、図４に示すような、ニューラルネットによる統計処理を行い、画像に撮像されているシーンが、ポートレート、風景、スナップ、スポーツ、舞台撮影又はその他等のいずれかを判定する。
【００３６】
ここで、図４は、ニューラルネット、特に階層型ニューラルネットによる統計処理の概念図を示す。この階層型ニューラルネットにおいて、ステップＳ１１で算出した各画像特徴量の平均値及び分散値を入力して、後述する統計パラメータを用いた重み付け処理によって、各シーンの適応度を示す値（例えば、ポートレート適応度＝０．８、風景適応度＝０．２及び他の適応度が全て０というような値）が算出される。そして、シーン判定部２６は、その適応度の値の大きさに応じて、その画像のシーンが何であるかを判定する。なお、本実施形態では、適応度を示す値は、その合計が１になるように規格化された値を用いる。
【００３７】
次に、統計パラメータのデータについて簡単に説明する。統計パラメータは、上述したように、入力される各画像特徴量の平均値及び分散値と各シーンとを、ニューラルネットという統計処理を介して、重ね合わせ処理よって求められる適応度に基づいて関係付けるために必要となるパラメータである。その統計パラメータを求めるためには、まず、あらかじめ複数の任意の被写体を撮像した画像を用意し、画像特徴量演算部２９と同様の処理に基づいて、各画像におけるＲ／Ｇ等の画像特徴量の平均値と分散値とを求める。これと同時に、あらかじめ各画像に撮像されている被写体のシーンが何であるかを決定する（例えば、ある画像のシーンがポートレートであるならば、ポートレート適応度を１として、他のシーンの適応度を０とする。これを教師値という）。そして、それら複数の画像の各々の各画像特徴量の平均値及び分散値と、あらかじめ決められた統計パラメータの初期値とを、図４に示す階層型ニューラルネットに代入して、各画像に対する各シーンの適応度を求める。各画像において求めた各シーン適応度と上記教師値とを比較することによって、各画像におけるシーンの適応度の値が教師値に近づくように統計パラメータを調整（これを学習過程という）し、最適な統計パラメータのデータを求める。求められた統計パラメータのデータが、記憶部２２に記録される。
【００３８】
ステップＳ１３：本体側ＣＰＵ１８の指向性制御部２７は、ステップＳ１２におけるシーン判定部２６によるシーン判定が適正か否かを判定する。本実施形態では、指向性制御部２７は、図４に示す各適応度の値のうち、一番大きい値が閾値０．５以上有り且つ２番目に大きな適応度の値との差が閾値０．２以上の場合、シーン判定部２６によるシーン判定は適正であると判定し、ステップＳ１４（ＹＥＳ側）へ移行する。一方、一番大きな適応度の値が閾値０．５より小さい又は２番目に大きな適応度の値との差が閾値０．２より小さい場合、シーン判定部２６によるシーン判定は適正ではないとして「不定」と判定して、ステップＳ１５（ＮＯ側）へ移行する。
【００３９】
例えば、ステップＳ１２において、フレームの画像に対するシーン判定部２６の判定が、ポートレート適応度＝０．８、風景適応度＝０．１、スナップ適応度＝０．１及びそれ以外の適応度が０の場合には、シーン判定部２６は、被写体のシーンはポートレートであると判定し、指向性制御部２７は、その判定が適正であると判定する。一方、ポートレート適応度＝０．５、風景適応度＝０．４、スナップ適応度＝０．１及びそれ以外の適応度が０の場合には、シーン判定部２６は、被写体のシーンはポートレートであると判定するが、指向性制御部２７は、その判定は適正でないとして「不定」と判定する。
【００４０】
ステップＳ１４：指向性制御部２７は、シーン判定部２６によるシーン判定の結果と指向性データとに基づいて、マイクロフォン２３ａ〜２３ｂの各々における指向性を制御するための各Ａ／Ｄ変換部２４ａ〜２４ｂの増幅率を決定する。
【００４１】
ここで、指向性データは、各シーンに応じたマイクロフォン２３ａ〜２３ｂを制御するためのＡ／Ｄ変換部２４ａ〜２４ｂの各々に対する増幅率が一覧表として記載されたものである。例えば、ポートレートのシーンの場合には、被写体が人物であることから、Ａ／Ｄ変換部２４ａ及びＡ／Ｄ変換部２４ｂの増幅率をそれぞれ１００対０として、指向性の狭いマイクロフォン２３ａのみを用いて、その人物だけの音声を録音する。また、風景のシーンの場合には、Ａ／Ｄ変換部２４ａ及びＡ／Ｄ変換部２４ｂの増幅率をそれぞれ０対１００として、指向性の広いマイクロフォン２３ｂを用いて周囲音を録音する。また、スポーツや演劇撮像のシーンの場合には、例えば、増幅率をそれぞれ７０対３０として、指向性の狭いマイクロフォン２３ａで競技者や演技者からの音声を主に録音するとともに、指向性の広いマイクロフォン２３ｂで観客の音声も録音する。最後に、その他の場合には、例えば、増幅率をそれぞれ５０対５０として、特定の音声とともに、周囲音も録音する。
【００４２】
ステップＳ１５：指向性制御部２７は、ステップＳ１３において、シーン判定部２６によるシーン判定の結果を「不定」と判定した場合には、Ａ／Ｄ変換部２４ａ〜２４ｂの各々の増幅率を０対１００として、指向性の広いマイクロフォン２３ｂのみによる音声の録音を行う。
【００４３】
ステップＳ１６：指向性制御部２７は、ステップＳ１４又はステップＳ１５で決定した増幅率を、各Ａ／Ｄ変換部２４ａ〜２４ｂに設定し、マイクロフォン２３ａ〜２３ｂの指向性を制御して音声を録音する。
【００４４】
ステップＳ１７：本体側ＣＰＵ１８は、ステップＳ１１で画像データ処理部２８によって処理された画像と、ステップＳ１６でマイクロフォン２３ａ〜２３ｂによって録音された音声データとを関連付けて、記憶部２２に順次記録する。
【００４５】
ステップＳ１８：本体側ＣＰＵ１８は、ユーザが押していたレリーズ釦が元の位置に戻される、或いは、ユーザが再度レリーズ釦を押すことによって、動画撮像の終了指令の信号を受信したか否かを判定する。撮像終了指令の信号を受信したと判定した場合（ＹＥＳ側）には、本体側ＣＰＵ１８は、タイミングジェネレータ（不図示）を介して、シャッタ制御部２１にシャッタ１４を閉じるとともに、クイックリターンミラー１１を、撮像レンズ２からの光束の光路上である元の位置に戻して、一連の動画撮像を終了する。一方、本体側ＣＰＵ１８が、動画撮像の終了指令が出されていないと判定した場合には、ステップＳ１１へ移行して、次のフレームの画像を取得して、ステップＳ１１〜ステップＳ１７の処理をユーザによって終了指令が出されるまで行い、一連の動画撮像を終了する。
【００４６】
このように本実施形態では、所定のフレームレートで撮像される動画の各フレームの画像毎に、撮影対象である被写体のシーンの種類や場面を判定し、その判定結果に応じてマイクロフォンの指向性を自動的に制御することで、シーンに応じて録音したい音声の方向が変化してしまう場合でも、最良な状態で音声を録音することができる。
≪第２の実施形態≫
本発明の第２の実施形態に係るデジタルカメラは、第１の実施形態に係るデジタルカメラ１と同じである。したがって、本実施形態におけるデジタルカメラとして、図１及び図２に示す第１の実施形態と同じデジタルカメラ１を用い、各構成要素についての詳細な説明は省略する。また、本実施形態に係るデジタルカメラ１の撮像手順についても、図３に示すステップＳ１０〜ステップＳ１８のフローチャートと同じである。
【００４７】
しかしながら、本実施形態におけるデジタルカメラ１が、第１の実施形態のデジタルカメラと異なる点は、ステップＳ１２における、階層型ニューラルネットによる統計処理において入力される画像特徴量のパラメータの数が増加する点にある。即ち、図５に示すように、入力される画像特徴量として、画像特徴量演算部２９が画像から求めるＲ／Ｇ、Ｂ／Ｇ、輝度、動きベクトルＸ及び動きベクトルＹの画像特徴量各々の平均値及び分散値の統計的な特徴量だけでなく、焦点検出部４による焦点距離、距離検出部５による撮影距離、焦点検出部１９による複数の測定点における位相差方式によって検出された撮像レンズ２の焦点状態であるデフォーカス量（焦点検出値）の分散値、及び撮像された画像において顔検出された顔サイズのパラメータを、新たに追加して行われる。
【００４８】
なお、これら画像特徴量の追加に伴って、記憶部２２にあらかじめ記憶される統計パラメータのデータは、第１の実施形態における画像特徴量とともに、本実施形態で追加された焦点距離、撮影距離、焦点検出値の分散及び顔サイズを用いて行った、学習過程に基づいて算出されたものを使用する。また、焦点検出値として、位相差方式によって検出される値を用いたが、山登り方式によって検出される値を用いても良い。さらに、画像における顔検出の方法は、任意の公知の手法を使用して行うことができる。
【００４９】
このように本実施形態では、所定のフレームレートで撮像される動画の各フレームの画像毎に、撮影対象である被写体のシーンの種類や場面を判定し、その判定結果に応じてマイクロフォンの指向性を自動的に制御することで、シーンに応じて録音したい音声の方向が変化してしまう場合でも、最良な状態で音声を録音することができる。
【００５０】
また、階層型ニューラルネットにおいて入力される特徴量が増えることにより、シーン判定部２６によるシーン判定をより正確に行うことができる。
≪第３の実施形態≫
本発明の第３の実施形態に係るデジタルカメラ５０は、図６及び図７に示すように、第１又は第２の実施形態に係るデジタルカメラ１の構成と基本的には同じである。したがって、本実施形態におけるデジタルカメラ５０の構成を示す図６及び図７において、第１又は第２の実施形態に係るデジタルカメラ１と同じ構成要素については詳細な説明を省略する。また、本実施形態に係るデジタルカメラ５０の撮像手順についても、図３に示すステップＳ１０〜ステップＳ１８のフローチャートと同じであり、詳細な説明は省略する。
【００５１】
ただし、本実施形態に係るデジタルカメラ５０と第１の実施形態に係るデジタルカメラ１と異なる点は、図６及び図７に示すように、マイクロフォン２３ｃが１つのみである。マイクロフォン２３ｃには、不図示であるが、マイクロフォン２３ｃが受信する音声の帯域を複数のバンドパスフィルタによって複数の帯域に分割して、その分割された各帯域のゲインを、指向性制御部２７からの指示に基づいて調節することによって、マイクロフォン２３ｃの指向性を変更する指向性変更回路が設けられている。したがって、本実施形態では、統計パラメータのデータとともに、各シーンに応じたＡ／Ｄ変換部２４ｃの増幅率と指向性変更回路（不図示）によるマイクロフォン２３ｃの各帯域に対応したバンドパスフィルタ毎のゲインとを一覧にした指向性データが、記憶部２２にあらかじめ記録されているものとする。
【００５２】
即ち、ステップＳ１３において、シーン判定部２６によるシーン判定が「不定」でないと判定された場合、ステップＳ１４（ＮＯ側）において、指向性制御部２７は、シーン判定部２６によるシーン判定結果と記憶部２２に記憶されている指向性データとに基づいて、Ａ／Ｄ変換部２４ｃの増幅率及び指向性変更回路（不図示）によるマイクロフォン２３ｃの各帯域に対応するバンドパスフィルタ毎のゲインを設定して、マイクロフォン２３ｃの指向性を制御する。一方、「不定」と判定された場合、ステップＳ１５（ＹＥＳ側）において、指向性制御部２７は、Ａ／Ｄ変換部２４ｃの増幅率とともに、指向性変更回路（不図示）にマイクロフォン２３ｃの全ての帯域を用いるように各バンドパスフィルタのゲインを設定し、最も広い指向性となるように制御する。
【００５３】
このように本実施形態では、所定のフレームレートで撮像される動画のフレーム画像毎に、撮影対象である被写体のシーンの種類や場面を判定し、その判定結果に応じてマイクロフォンの指向性を自動的に制御することで、シーンに応じて録音したい音声の方向が変化してしまう場合でも、最良な状態で音声を録音することができる。
【００５４】
また、マイクロフォン２３ｃが１つで済むことから、デジタルカメラ５０の回路規模を小さくすることが可能となる。
≪第４の実施形態≫
本発明の第４の実施形態に係るデジタルカメラは、第１の実施形態に係るデジタルカメラ１と基本的に同じである。ただし、図８（ｂ）に示すように、本実施形態におけるデジタルカメラ１における機能ブロックの構成が、図２（ｂ）に示す第１の実施形態係るデジタルカメラ１の機能ブロックの構成と異なる。即ち、本実施形態に係るデジタルカメラ１では、ユーザが操作部材３０のモード設定釦を用いて、ポートレートや風景等の撮像モードを選択設定することによって、指向性制御部２７が、その設定された撮像モードに対応するシーンに応じた各Ａ／Ｄ変換部２４ａ〜２４ｂの増幅率を指向性に基づいて決定し、マイクロフォン２３ａ〜２３ｂの指向性を制御する。これが、第１の実施形態のデジタルカメラと異なる点である。なお、本実施形態と第１の実施形態とのデジタルカメラ１において、同じ構成要素については、同じ符号を付し詳細な説明は省略する。
【００５５】
次に、本実施形態に係るデジタルカメラ１の撮像手順について、図９のフローチャートを参照しながら説明する。なお、以下の説明では、ユーザがデジタルカメラ１を用いて、動画を撮像するものとして説明する。即ち、ユーザによって、あらかじめ操作部材３０のモード設定釦によって、動画モードが選択設定されているものとする。
【００５６】
ユーザにより操作部材３０の電源釦が押されると、レンズ側ＣＰＵ７及び本体側ＣＰＵ１８は、それぞれの不図示のメモリに記憶されている制御プログラムを読み込み、デジタルカメラ１のカメラ本体１ａ及び交換レンズ部１ｂをそれぞれ初期化する。本体側ＣＰＵ１８は、レンズ側ＣＰＵ７を介して、焦点検出部４、距離検出部５及び絞り制御部６から焦点距離、撮像距離及び絞り値をそれぞれ取得するとともに、測光センサ１０及び焦点検出部１９から撮像レンズ２の焦点状態を取得する。同時に、本体側ＣＰＵ１８は、ユーザによる操作部材３０のモード選択釦によって設定される撮像モードに応じて、マイクロフォン２３ａ〜２３ｂによる音声録音の指向性を制御するプログラムとともに、各シーンに応じた各Ａ／Ｄ変換部２４ａ〜２４ｂの増幅率である指向性データを、記憶部２２から読み込む。なお、本実施形態において、指向性データは、記憶部２２にあらかじめ記録されているものとする。また、本実施形態における指向性データは、第１の実施形態及び第２の実施形態の指向性データと同じものである。そして、ステップＳ２０からの処理が行われる。
【００５７】
ステップＳ２０：ユーザは、操作部材３０のモード選択釦を用いて、撮像モードを選択設定する。
【００５８】
ステップＳ２１：本体側ＣＰＵ１８は、ユーザによって設定された撮像モードを識別し、本体側ＣＰＵ１８の指向性制御部２７は、識別された撮像モードに対応するシーンに応じた各Ａ／Ｄ変換部２４ａ〜２４ｂの増幅率を、指向性データに基づいて決定する。
【００５９】
ステップＳ２２：指向性制御部２７は、ステップＳ２１で決定した増幅率を、各Ａ／Ｄ変換部２４ａ〜２４ｂの増幅回路に設定し、マイクロフォン２３ａ〜２３ｂの指向性を制御する。
【００６０】
ステップＳ２３：本体側ＣＰＵ１８は、ユーザによって操作部材３０のレリーズ釦が押されて撮像開始指示の信号を受信すると、タイミングジェネレータ（不図示）を介して、クイックリターンミラー１１を、撮像レンズ２を通過してくる被写体からの光束の光路上から退避させて、シャッタ制御部２１にシャッタ１４を開放させるとともに、所定のフレームレート（例えば、３０ｆｐｓ）で、撮像素子１６に被写体を間引き読み出しによる動画撮像を開始させる。
【００６１】
ステップＳ２４：本体側ＣＰＵ１８は、上記フレームレートで取得された各フレームの画像を、撮像素子１６に順次出力させて、Ａ／Ｄ変換部（不図示）にアナログからデジタルの信号に変換させ、画像処理部２０に転送する。画像処理部２０は、転送されてきた画像を、画像データ処理部２８に入力して、その画像に対して、補間処理やホワイトバランス処理等の画像処理を施す。
【００６２】
ステップＳ２５：本体側ＣＰＵ１８は、ステップＳ２４で画像データ処理部２８によって処理された画像と、ステップＳ２２で指向性が制御されたマイクロフォン２３ａ〜２３ｂによって録音された音声データとを関連付けて、記憶部２２に順次記録する。
【００６３】
ステップＳ２６：本体側ＣＰＵ１８は、ユーザが押していたレリーズ釦が元の位置に戻される、或いは、ユーザが再度レリーズ釦を押すことによって、動画撮像の終了指令の信号を受信したか否かを判定する。撮像終了指令の信号を受信したと判定した場合（ＹＥＳ側）には、本体側ＣＰＵ１８は、タイミングジェネレータ（不図示）を介して、シャッタ制御部２１にシャッタ１４を閉じるとともに、クイックリターンミラー１１を、撮像レンズ２からの光束の光路上である元の位置に戻して、一連の動画撮像を終了する。一方、本体側ＣＰＵ１８が、動画撮像の終了指令が出されていないと判定した場合には、ステップＳ２４へ移行して、次のフレームの画像を取得して、ステップＳ２４〜ステップＳ２５の処理をユーザによって終了指令が出されるまで行い、一連の動画撮像を終了する。
【００６４】
このように本実施形態では、あらかじめユーザによって操作部材３０のモード選択釦で設定される撮像モードに対応する被写体のシーンに応じて、マイクロフォンの指向性を制御することにより、最良な状態で音声を録音することができる。
【００６５】
また、操作部材３０のモード選択釦による撮像モードによって、マイクロフォン２３ａ〜２３ｂの指向性の制御が行われることから、デジタルカメラ１の回路規模を小さくすることができる。
≪第５の実施形態≫
本発明の第５の実施形態に係るデジタルカメラは、基本的に、図１及び図２の第１の実施形態に係るデジタルカメラと、図８に示す第４の実施形態のデジタルカメラとを組み合わせたものであり、図１０に示すような機能ブロックとなる。
【００６６】
したがって、本実施形態に係るデジタルカメラ１は、最初に、ユーザが操作部材３０のモード設定釦を用いて、ポートレートや風景等の撮像モードを選択設定することによって、その設定された撮像モードに対応するシーンに応じた各Ａ／Ｄ変換部２４ａ〜２４ｂの増幅率が設定され、マイクロフォン２３ａ〜２３ｂの指向性が制御される。その後、デジタルカメラ１は、撮像される動画の各フレームの画像毎にシーン判定を行うことによって、その判定結果に応じて、Ａ／Ｄ変換部２４ａ〜２４ｂの増幅率を適宜変更して、マイクロフォン２３ａ〜２３ｂの指向性を制御される。この点が、第１の実施形態及び第４の実施形態のデジタルカメラ１と異なる点である。なお、本実施形態と第１の実施形態とのデジタルカメラ１において、同じ構成要素については、同じ符号を付して詳細な説明は省略する。
【００６７】
次に、本実施形態に係るデジタルカメラ１の撮像手順について、図１１のフローチャートを参照しながら説明する。なお、以下の説明では、ユーザがデジタルカメラ１を用いて、動画を撮像するものとして説明する。即ち、ユーザによって、あらかじめ操作部材３０のモード設定釦によって、動画モードが選択設定されているものとする。
【００６８】
ユーザにより操作部材３０の電源釦が押されると、レンズ側ＣＰＵ７及び本体側ＣＰＵ１８は、それぞれの不図示のメモリに記憶されている制御プログラムを読み込み、デジタルカメラ１のカメラ本体１ａ及び交換レンズ部１ｂをそれぞれ初期化する。本体側ＣＰＵ１８は、レンズ側ＣＰＵ７を介して、焦点検出部４、距離検出部５及び絞り制御部６から焦点距離、撮像距離及び絞り値をそれぞれ取得するとともに、測光センサ１０及び焦点検出部１９から撮像レンズ２の焦点状態を取得する。同時に、本体側ＣＰＵ１８は、ユーザによる操作部材３０のモード選択釦によって設定される撮像モード、又はシーン判定部２６によるシーン判定に応じて、マイクロフォン２３ａ〜２３ｂによる音声録音の指向性を制御するプログラム、シーン判定部２６が撮像した画像に基づいてシーン判定するために用いる、ニューラルネットによる統計処理で必要な統計パラメータのデータ、及び各シーンに応じた各Ａ／Ｄ変換部２４ａ〜２４ｂの増幅率である指向性データを、それぞれ記憶部２２から読み込む。なお、本実施形態では、統計パラメータのデータ及び指向性データは、記憶部２２にあらかじめ記録されているものとする。また、本実施形態における指向性データは、第１の実施形態、第２の実施形態及び第４の実施形態の指向性データと同じものである。そして、ステップＳ３０からの処理が行われる。
【００６９】
ステップＳ３０：ユーザは、操作部材３０のモード選択釦を用いて、撮像モードを選択設定する。
【００７０】
ステップＳ３１：本体側ＣＰＵ１８は、ユーザによって設定された撮像モードを識別し、本体側ＣＰＵ１８の指向性制御部２７は、識別された撮像モードに対応するシーンに応じた各Ａ／Ｄ変換部２４ａ〜２４ｂの増幅率を、指向性データに基づいて決定する。
【００７１】
ステップＳ３２：指向性制御部２７は、ステップＳ３１で決定した増幅率を、各Ａ／Ｄ変換部２４ａ〜２４ｂの増幅回路に設定し、マイクロフォン２３ａ〜２３ｂの指向性を制御する。
【００７２】
ステップＳ３３：本体側ＣＰＵ１８は、ユーザによって操作部材３０のレリーズ釦が押されて撮像開始指示の信号を受信すると、タイミングジェネレータ（不図示）を介して、クイックリターンミラー１１を、撮像レンズ２を通過してくる被写体からの光束の光路上から退避させて、シャッタ制御部２１にシャッタ１４を開放させるとともに、所定のフレームレート（例えば、３０ｆｐｓ）で、撮像素子１６に被写体を間引き読み出しによる動画撮像を開始させる。
【００７３】
ステップＳ３４：本体側ＣＰＵ１８は、上記フレームレートで取得された各フレームの画像を、撮像素子１６に順次出力させて、Ａ／Ｄ変換部（不図示）にアナログからデジタルの信号に変換させ、画像処理部２０に転送する。画像処理部２０は、転送されてきた画像を、画像データ処理部２８及び画像特徴量演算部２９に入力する。画像データ処理部２８は、その画像に対して、補間処理やホワイトバランス処理等の画像処理を施す。一方、画像特徴量演算部２９は、画像を、例えば、５０×５０の領域に分割して、各領域においてＲ／Ｇ、Ｂ／Ｇ、輝度、動きベクトルＸ及び動きベクトルＹの画像特徴量を算出し、各領域で求めたそれらの画像特徴量から、その画像における各画像特徴量の平均値と分散値とを算出する。画像特徴量演算部２９は、それら画像特徴量の平均値と分散値とを、本体側ＣＰＵ１８のシーン判定部２６へ転送する。
【００７４】
ステップＳ３５：本体側ＣＰＵ１８のシーン判定部２６は、ステップＳ３４で画像特徴量演算部２９が算出した複数の画像特徴量の平均値及び分散値と、あらかじめ読み込んだ統計パラメータのデータとを用いて、図４に示すような、ニューラルネットによる統計処理を行い、画像に撮像されているシーンが、ポートレート、風景、スナップ、スポーツ、舞台撮影又はその他等のいずれかを判定する。
【００７５】
ステップＳ３６：本体側ＣＰＵ１８の指向性制御部２７は、ステップＳ３５におけるシーン判定部２６によるシーン判定が適正か否かを判定する。本実施形態では、指向性制御部２７は、図４に示す各適応度の値のうち、一番大きな適応度の値が閾値０．５以上有り且つ２番目に大きな適応度の値の３倍以上の値である場合、シーン判定部２６によるシーン推定は適正であると判定し、ステップＳ３７（ＹＥＳ側）へ移行する。一方、一番大きな適応度の値が閾値０．５より小さい又は２番目に大きな適応度の値の３倍より小さい値である場合、指向性制御部２７は、シーン判定部２６によるシーン判定が適正ではないとして「不定」と判定して、ステップＳ３８（ＮＯ側）へ移行する。
【００７６】
ステップＳ３７：指向性制御部２７は、シーン判定部２６によるシーン判定の結果と指向性データに基づいて、マイクロフォン２３ａ〜２３ｂの各々における指向性を制御するためのＡ／Ｄ変換部２４ａ〜２４ｂの増幅率を決定する。
【００７７】
ステップＳ３８：指向性制御部２７は、ステップＳ３５において、シーン判定部２６によるシーン判定の結果を「不定」と判定した場合には、ステップＳ３２で設定された撮像モードに応じた増幅率を用いる決定を行う。
【００７８】
ステップＳ３９：指向性制御部２７は、ステップＳ３７又はステップＳ３８で決定した増幅率を、各Ａ／Ｄ変換部２４ａ〜２４ｂに設定して、マイクロフォン２３ａ〜２３ｂの指向性を制御して音声を録音する。
【００７９】
ステップＳ４０：本体側ＣＰＵ１８は、ステップＳ３４で画像データ処理部２８によって処理された画像と、ステップＳ３９でマイクロフォン２３ａ〜２３ｂによって録音された音声データとを関連付けて、記憶部２２に順次記録する。
【００８０】
ステップＳ４１：本体側ＣＰＵ１８は、ユーザが押していたレリーズ釦が元の位置に戻される、或いは、ユーザが再度レリーズ釦を押すことによって、動画撮像の終了指令の信号を受信したか否かを判定する。撮像終了指令の信号を受信したと判定した場合（ＹＥＳ側）には、本体側ＣＰＵ１８は、タイミングジェネレータ（不図示）を介して、シャッタ制御部２１にシャッタ１４を閉じるとともに、クイックリターンミラー１１を、撮像レンズ２からの光束の光路上である元の位置に戻して、一連の動画撮像を終了する。一方、本体側ＣＰＵ１８が、動画撮像の終了指令が出されていないと判定した場合には、ステップＳ１１へ移行して、次のフレームの画像を取得して、ステップＳ３４〜ステップＳ４０の処理をユーザによって終了指令が出されるまで行い、一連の動画撮像を終了する。
【００８１】
このように本実施形態では、あらかじめユーザによって操作部材３０のモード選択釦で設定される撮像モードによって決まるマイクロフォンの指向性、又は撮像される動画の各フレームの画像毎に、撮影対象である被写体のシーンの種類や場面の判定結果に応じて決まるマイクロフォンの指向性を選択しながら制御することによって、シーンに応じて録音したい音声の方向が変化してしまう場合でも、最良な状態で音声を録音することができる。
≪実施形態の補足事項≫
第１の実施形態、第２の実施形態、第４の実施形態及び第５の実施形態において、マイクロフォン２３ａ〜２３ｂの位置は、図２（ａ）、図８（ａ）及び図１０（ａ）に示すように、被写体側から見た場合、カメラ本体１ａの右上に２つ水平に並んで配置されたが、本発明はこれに限定されない。任意の位置にマイクロフォンを配置しても良い。
【００８２】
なお、第１の実施形態、第２の実施形態、第４の実施形態及び第５の実施形態において、音声の録音は２つの指向性の異なるマイクロフォン２３ａ〜２３ｂで行ったが、本発明はこれに限定されず、３つ以上の指向性の異なるマイクロフォンを用いて行っても良い。
【００８３】
なお、第１の実施形態、第２の実施形態、第４の実施形態及び第５の実施形態において、指向性データは、各シーンに応じたＡ／Ｄ変換部２４ａ〜２４ｂの各々に対する増幅率の一覧として、例えば、ポートレートのシーンの場合には、被写体が人物であることから、Ａ／Ｄ変換部２４ａ及びＡ／Ｄ変換部２４ｂの増幅率をそれぞれ１００対０等とするとしたが、本発明はこれに限定されず、各シーンに応じて、マイクロフォン２３ａ〜２３ｂの指向性を制御するための各Ａ／Ｄ変換部２４ａ〜２４ｂの増幅率の組み合わせは、シーンに応じて適宜決めることが好ましい。
【００８４】
なお、第１の実施形態、第２の実施形態及び第５の実施形態において、動画を撮像する場合について説明したが、本発明はこれに限定されず、静止画像の撮像の場合にも適用可能である。ただし、その場合には、静止画像を撮像する前に、マイクロフォン２３ａ〜２３ｂの指向性を制御するために、シーン判定部２６によるシーン判定に応じたＡ／Ｄ変換部２４ａ〜２４ｂの増幅率をあらかじめ決めておくことが好ましい。即ち、例えば、測光センサ１０によって撮像されるスルー画に基づいて、シーン判定部２６がシーン判定を行い、その判定結果と記憶部２２に記憶されている指向性データとに基づいて、指向性制御部２７が、静止画像の撮像前に、Ａ／Ｄ変換部２４ａ〜２４ｂの増幅率を決定する。
【００８５】
なお、第１の実施形態ないし第３の実施形態及び第５の実施形態において、画像特徴量演算部２９はフレーム画像を５０×５０の領域に分割して、画像特徴量を求める演算を行ったが、本発明はこれに限定されない。例えば、フレーム画像を１００×１００等の任意の数の領域に分割して演算を行っても良い。
【００８６】
なお、第１の実施形態ないし第３の実施形態及び第５の実施形態において、図４又は図５の階層型ニューラルネットの出力結果である各シーンの適応度の値が、全て足した値が１になるように規格化した値を用いたが、本発明はこれに限定されない。例えば、各適応度の値を百分率で表しても良いし、規格化されていない値で表しても良い。
【００８７】
なお、第１の実施形態ないし第３の実施形態及び第５の実施形態において、指向性制御部２７によるシーン判定部２６のシーン判定の可否を判定するために、基準となる閾値として０．５、０．２又は３倍の値を用いたが、本発明はこれに限定されず、任意の値を適宜選択して用いることが好ましい。
【００８８】
なお、第１の実施形態ないし第３の実施形態及び第５の実施形態において、図４又は図５に示すような、入力パラメータが１０個又は１４個の階層型ニューラルネットに基づいて、シーン判定部２６は画像のシーン判定をおこなったが、本発明はこれに限定されず、エッジ量等の他の画像特徴量を入力パラメータとして用いても良い。
【００８９】
なお、第１の実施形態ないし第３の実施形態及び第５の実施形態において、各シーンの適応度として、ポートレート適応度、風景適応度、スナップ適応度、スポーツ適応度、舞台撮影適応度、その他適応度の６つを用いたが、本発明はこれに限定されず、他の任意のシーンの適応度を追加しても良い。
【００９０】
なお、第３の実施形態及び第５の実施形態において、シーン判定部２６は、１０個の画像特徴量であるＲ／Ｇ、Ｂ／Ｇ、輝度、動きベクトルＸ及び動きベクトルＹの各々の平均値及び分散値を入力パラメータとした、図４に示す階層型ニューラルネットによる統計処理に基づいて、画像のシーン判定を行ったが、本発明はこれに限定されない。例えば、シーン判定部２６は、焦点検出部４による焦点距離、距離検出部５による撮影距離、焦点検出部１９による複数の測定点における位相差方式によって検出された撮像レンズ２の焦点状態である焦点検出値の分散値、及びフレーム画像において顔検出された顔サイズを加えた、図５に示す１４個の入力パラメータによる階層型ニューラルネットによる統計処理に基づいて、シーン判定を行っても良い。
【００９１】
なお、第３の実施形態において、マイクロフォン２３ｃの位置は、図７（ａ）に示すように、被写体側から見た場合、カメラ本体１ａの右上に配置されたが、本発明はこれに限定されない。任意の位置にマイクロフォンを配置しても良い。
【００９２】
なお、第３の実施形態において、各シーンに応じたＡ／Ｄ変換部２４ｃの増幅率及び指向性変更回路（不図示）によるマイクロフォン２３ｃの各帯域に対応するバンドパスフィルタのゲインの値の組み合わせは、シーンに応じて適宜決めることが好ましい。
【００９３】
なお、第３の実施形態において、動画を撮像する場合について説明したが、本発明はこれに限定されず、静止画像の撮像の場合にも適用可能である。ただし、その場合には、静止画像を撮像する前に、マイクロフォン２３ｃの指向性を制御するために、シーン判定部２６によるシーン判定に応じたＡ／Ｄ変換部２４ｃの増幅率及び指向性変更回路（不図示）によるマイクロフォン２３ｃの各帯域に対応するバンドパスフィルタのゲインをあらかじめ決めておくことが好ましい。即ち、例えば、測光センサ１０によって撮像されるスルー画に基づいて、シーン判定部２６がシーン判定を行い、その判定結果と記憶部２２に記憶されている指向性データとに基づいて、指向性制御部２７が、静止画像の撮像前に、Ａ／Ｄ変換部２４ｃの増幅率及び指向性変更回路（不図示）によるマイクロフォン２３ｃの各帯域に対応するバンドパスフィルタのゲインを決定する。
【００９４】
なお、第４の実施形態において、動画を撮像する場合について説明したが、本発明はこれに限定されず、静止画像の撮像の場合にも適用可能である。
【００９５】
なお、本発明は、スチルカメラ、ビデオカメラ、デジタルカメラが内蔵された携帯電話等に対しても適用可能である
本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈されてはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。
【符号の説明】
【００９６】
１ デジタルカメラ、１ａ カメラ本体、１ｂ 交換レンズ部１ｂ、２ 撮像レンズ、３絞り、４ 焦点距離検出部、５ 距離検出部、６ 絞り制御部、７ レンズ側ＣＰＵ、８ ペンタプリズム、９ 再結像レンズ、１０ 測光センサ、１１ クイックリターンミラー、１２ サブミラー、１３ 焦点板、１４ シャッタ、１５ 接眼レンズ、１６ 撮像素子、１７ 表示部、１８ 本体側ＣＰＵ、１９ 焦点検出部、２０ 画像処理部、２１ シャッタ制御部、２２ 記憶部、２３ａ〜２３ｂ マイクロフォン
【先行技術文献】
【特許文献】
【００９７】
【特許文献１】特開２００６−２２２６１８号公報
【技術分野】
【０００１】
本発明は、画像と音声とを取得することができる撮像装置に関する。
【背景技術】
【０００２】
従来、デジタルカメラやビデオカメラ等において、動画撮像の際に画像と音声とを同時に記録することができるだけでなく、撮影状況に応じてマイクロフォンの指向性を制御する様々な技術が開発されている。
【０００３】
例えば、特許文献１では、周囲音がある状況において、デジタルカメラやビデオカメラ等の動きに影響されることなく、選択した所望の被写体からの音声を強調又は抑圧して録音する技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術は、デジタルカメラ等が向けられた被写体までの撮影距離や焦点距離等の焦点情報に基づいて、マイクロフォンの指向性を被写体に向くように、また特許文献１は、選択された被写体を追跡するように制御することはできるが、被写体の対象（以後、「シーン」という）の種類や場面に応じてマイクロフォンの指向性を変化させることはできない。
【０００５】
上記従来技術が有する問題に鑑み、本発明の目的は、画像と音声とを取得することができる撮像装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の撮像装置は、画像を撮像する撮像部と、画像に対応する音声を指向性を変化させて取得可能な音声取得部と、画像に含まれる被写体を判定する判定部と、判定部の判定結果に応じて音声取得部の指向性が変化するように制御する制御部とを含む。
【０００７】
また、撮影者により操作可能な操作部と、操作部の状態に応じて撮影条件を変更する撮影条件変更部とを含み、制御部は、判定部の判定結果、及び、操作部の状態に基づいて制御を行っても良い。
【０００８】
また、制御部は、操作部の状態よりも判定部の判定結果を優先して制御を行っても良い。
【０００９】
また、判定部は、画像から求めた特徴量に基づいてパターン認識をすることにより、画像に含まれる被写体を判定しても良い
また、判定部は、あらかじめ複数の被写体についての複数の画像を用いて、複数の画像各々の特徴量と複数の被写体の各々の対象とを、各対象を特徴付けるパターンに基づいて関係付ける複数の統計パラメータを有し、複数の統計パラメータを用いた統計処理によって、撮像部によって撮像された画像における被写体の対象を特徴付けるパターンを認識しても良い。
【００１０】
また、統計処理は、ニューラルネットであっても良い。
【００１１】
また、音声取得部は、音声の指向性を変更するための指向性変更回路を含んでも良い。
【００１２】
また、音声取得部は、それぞれ指向性の異なる複数のマイクロフォンを含み、制御部は、判定部の判定結果に応じて複数のマイクロフォンのゲインを制御しても良い。
【発明の効果】
【００１３】
本発明によれば、画像と音声とを取得し得る撮像装置を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態に係るデジタルカメラ１の構成例を示す模式図
【図２】本発明の第１の実施形態に係るデジタルカメラ１の被写体側から見た図と機能ブロック図
【図３】本発明の第１の実施形態に係るデジタルカメラ１における撮像処理の手順を示すフローチャート
【図４】本発明の第１の実施形態に係るデジタルカメラ１における階層型ニューラルネットの概念図
【図５】本発明の第２の実施形態に係るデジタルカメラ１における階層型ニューラルネットの概念図
【図６】本発明の第３の実施形態に係るデジタルカメラ５０の構成例を示す模式図
【図７】本発明の第３の実施形態に係るデジタルカメラ５０の被写体側から見た図と機能ブロック図
【図８】本発明の第４の実施形態に係るデジタルカメラ１の被写体側から見た図と機能ブロック図
【図９】本発明の第４の実施形態に係るデジタルカメラ１における撮像処理の手順を示すフローチャート
【図１０】本発明の第５の実施形態に係るデジタルカメラ１の被写体側から見た図と機能ブロック図
【図１１】本発明の第５の実施形態に係るデジタルカメラ１における撮像処理の手順を示すフローチャート
【発明を実施するための形態】
【００１５】
以下、図面を用いて本発明の実施形態について説明する。以下の実施形態では、本発明のカメラの一例として、一眼レフタイプのデジタルカメラを用いて説明する。
≪第１の実施形態≫
図１は、本発明の第１の実施形態に係るデジタルカメラ１の構成を示す図である。図１に示すように、デジタルカメラ１は、カメラ本体１ａと交換レンズ部１ｂとから構成される。
【００１６】
交換レンズ部１ｂは、撮像レンズ２、絞り３、焦点距離検出部４、距離検出部５、絞り制御部６及びレンズ側ＣＰＵ７から成る。一方、カメラ本体１ａは、ペンタプリズム８、再結像レンズ９、測光センサ１０、クイックリターンミラー１１、サブミラー１２、焦点板１３、シャッタ１４、接眼レンズ１５、撮像素子１６、表示部１７、本体側ＣＰＵ１８、焦点検出部１９、画像処理部２０、シャッタ制御部２１、記憶部２２、マイクロフォン２３ａ〜２３ｂの各部を備える。デジタルカメラ１の各構成要素は、交換レンズ部１ｂのレンズ側ＣＰＵ７又はカメラ本体１ａの本体側ＣＰＵ１８と情報伝達可能に接続される。そして、レンズ側ＣＰＵ７と本体側ＣＰＵ１８とは、接続点を介して接続されている。なお、図１はデジタルカメラ１の主要部分のみを示す。例えば、図１において、本体側ＣＰＵ１８の指令に従って、撮像素子１６に撮影指示のタイミングパルスを発するタイミングジェネレータ等は省略されている。
【００１７】
撮像レンズ２は、複数の光学レンズにより構成され、被写体からの光束を撮像素子１６の受光面に結像する。
【００１８】
測光センサ１０は、図１に示すようにクイックリターンミラー１１が下がった状態で、焦点板１３に結像されるファインダ像の画面を細かく分割（例えば、５分割等）して、測光する測光センサであり、画面内の明るさや色等といった測光情報を検出する。測光センサ１０は、撮像レンズ２からの光束に基づいて計測される輝度に基づいて、コントラスト方式による撮像レンズ２の焦点状態であるコントラストＡＦ情報を検出するとともに、再結像レンズ９によって結像され、撮像素子１６による被写体の撮像前の構図確認用で、表示部１７に表示される低解像度画像（スルー画）を生成する。
【００１９】
焦点検出部１９は、例えば、位相差方式による焦点検出を行い、結像される被写体像の複数の測定点における、撮像レンズ２の焦点状態であるデフォーカス量を検出する。本体側ＣＰＵ１８は、取得したそのような焦点状態に基づいて、レンズ側ＣＰＵ７を介して、撮像レンズ駆動部（不図示）や絞り制御部６に、撮像レンズ２及び絞り３をそれぞれ駆動させて、撮像素子１６の受光面に被写体を結像させる。本体側ＣＰＵ１８は、その時の焦点距離、被写体までの撮像距離及び絞り値を、レンズ側ＣＰＵ７を介して、焦点距離検出部４、距離検出部５及び絞り制御部６からそれぞれ取得する。なお、レンズ側ＣＰＵ７及び本体側ＣＰＵ１８は、一般的なコンピュータのＣＰＵを使用することができる。レンズ側ＣＰＵ７及び本体側ＣＰＵ１８のそれぞれには、各不図示のメモリが備えられ、各構成要素を制御するためのプログラムがあらかじめ記録されているものとする。
【００２０】
なお、位相差方式の焦点検出又はコントラスト方式の焦点検出のいずれかの焦点検出を行うかは、ユーザによる操作設定に応じて決めても良い。或いは、デジタルカメラ１は、位相差方式の焦点検出とコントラスト方式の焦点検出とを組み合わせて撮影レンズ２の焦点状態を検出する構成としても良い。
【００２１】
クイックリターンミラー１１は、撮影を行わない場合には、図１に示すように、撮影レンズ２および絞り３を通過してきた光束の方向に対して４５°の角度に配置される。そして、撮影レンズ２および絞り３を通過した光束は、クイックリターンミラー１１で反射され、焦点板１３上に結像してファインダ像が投影される。その投影されたファインダ像は、ペンタプリズム８を介して、測光センサ１０及び接眼レンズ１５に導かれる。ユーザは、接眼レンズ１５を介して被写体の像を目視することにより構図確認を行う。同時に、上述したように、再結像レンズ９を介して、測光センサ１０の撮像面上にも再結像される。また、クイックリターンミラー１１を透過した一部の光束は、サブミラー１２を介して焦点検出部１９に導かれる。
【００２２】
一方、撮影時には、本体側ＣＰＵ１８の指示に基づいて、クイックリターンミラー１１は、撮像レンズ２からの光束の光路から退避して、シャッタ制御部２１によってシャッタ１４が開放されると、撮影レンズ２からの光束は撮像素子１６に導かれる。
【００２３】
撮像素子１６は、本体側ＣＰＵ１８の指令を受けて、タイミングジェネレータ（不図示）が発するタイミングパルスに基づいて動作し、前方に設けられた撮像レンズ２によって結像された被写体を撮像する。撮像素子１６には、ＣＣＤやＣＭＯＳの半導体のイメージセンサ等を適宜選択して用いることができる。なお、本実施形態では、撮像素子１６は、静止画像の場合には全画素による撮像を行い、動画の場合には間引き読み出しによる撮像を行うものとする。
【００２４】
一方、デジタルカメラ１のカメラ本体１ａには、静止画像や動画の撮像時における音声取得のためのマイクロフォン２３ａ〜２３ｂが設けられている。図２（ａ）は、デジタルカメラ１を被写体側から見た図である。なお、図１における構成要素と同じものには、同じ符号を付している。図２（ａ）に示されるように、マイクロフォン２３ａ〜２３ｂは、カメラ本体１ａの全面の右上で水平に並んで設けられている。そして、本実施形態では、図２（ｂ）に示すように、マイクロフォン２３ａは指向性の狭い特性を有し、マイクロフォン２３ｂは広い指向性を有している。なお、図２（ｂ）は、デジタルカメラ１の機能ブロック図である。マイクロフォン２３ａ〜２３ｂは、デジタルカメラ１による静止画像又は動画撮影時において、撮像される被写体のシーンに応じて、マイクロフォン２３ａ〜２３ｂのいずれか又はその両方を用いて、周囲音や所定の被写体からの音声を効果的に捉える。
【００２５】
操作部材３０は、ユーザによる部材操作の内容に応じた操作信号を本体側ＣＰＵ１８に出力する。操作部材３０には、例えば、電源釦、撮影モード等のモード設定釦及びレリーズ釦等の操作部材を有する。なお、操作部材３０は、表示部１７の画面の前面に設けられるタッチパネル形式の釦であっても良い。また、表示部１７には、液晶モニタ等を適宜選択して用いることができる。
【００２６】
撮像素子１６によって撮像された画像データは、Ａ／Ｄ変換部（不図示）によってデジタル信号に変換されて画像処理部２０に取り込まれる。図２（ｂ）に示すように、画像処理部２０は、画像データ処理部２８と画像特徴量演算部２９とから構成されるデジタルフロントエンド回路であって、転送されてきた画像データは画像データ処理部２８と画像特徴量演算部２９とに入力される。画像データ処理部２８では、画像データに対して補間処理やホワイトバランス処理等の画像処理を施し、記憶部２２に記録するとともに、表示部１７に静止画像や動画等として表示する。
【００２７】
一方、画像特徴量演算部２９は、撮像された画像を、５０×５０又は１００×１００等の複数の領域に分割して、領域毎にＲ／Ｇ、Ｂ／Ｇ及び輝度等の画像特徴量の積算値を算出し、算出された各領域におけるそれらの画像特徴量から、それらの平均値や分散値等を求める。画像特徴量演算部２９によって算出されたそれらの平均値や分散値等の画像特徴量は、本体側ＣＰＵ１８へ転送される。
【００２８】
本体側ＣＰＵ１８は、画像特徴量演算部２９によって求められた画像特徴量に基づいて、撮像された被写体のシーンを判定するシーン判定部２６と、シーン判定部２６によって判定されたシーンに応じて、マイクロフォン２３ａ〜２３ｂの指向性を制御する指向性制御部２７とから構成される。なお、本実施形態では、上述したように、本体側ＣＰＵ１８に備えられたメモリ（不図示）に、各構成要素を制御するためのプログラムとともに、シーン判定部２６によるシーン判定及び指向性制御部２７による指向性制御を行うためのプログラムが、あらかじめ記録されているものとする。
【００２９】
Ａ／Ｄ変換部２４ａ〜２４ｂは、本実施形態において、増幅回路をアナログフロントエンドに備えたものであり、マイクロフォン２３ａ〜２３ｂから転送されてくるアナログの音声信号を、増幅してからデジタル信号に変換する。Ａ／Ｄ変換部２４ａ〜２４ｂの増幅回路の増幅率は、本体側ＣＰＵ１８の指向性制御部２７によって制御される。デジタル信号に変換されたマイクロフォン２３ａ〜２３ｂからの音声信号は、ミキサ２５によって合成され、画像データ処理部２８によって処理された画像と関連付けられて記憶部２２に記録される。
【００３０】
次に、本実施形態に係るデジタルカメラ１の撮像手順について、図３のフローチャートを参照しながら説明する。なお、以下の説明では、ユーザがデジタルカメラ１を用いて、動画を撮像するものとして説明する。即ち、ユーザによって、あらかじめ操作部材３０のモード設定釦によって、動画モードが選択設定されているものとする。
【００３１】
ユーザにより操作部材３０の電源釦が押されると、レンズ側ＣＰＵ７及び本体側ＣＰＵ１８は、それぞれの不図示のメモリに記憶されている制御プログラムを読み込み、デジタルカメラ１のカメラ本体１ａ及び交換レンズ部１ｂをそれぞれ初期化する。本体側ＣＰＵ１８は、レンズ側ＣＰＵ７を介して、焦点検出部４、距離検出部５及び絞り制御部６から焦点距離、撮像距離及び絞り値をそれぞれ取得するとともに、測光センサ１０及び焦点検出部１９から撮像レンズ２の焦点状態を取得する。同時に、本体側ＣＰＵ１８は、動画の撮像でのシーンに応じて、マイクロフォン２３ａ〜２３ｂによる音声録音の指向性を制御するプログラム、シーン判定部２６が撮像した画像に基づいてシーン判定するために用いる、ニューラルネットによる統計処理で必要な統計パラメータのデータ、及び各シーンに応じた各Ａ／Ｄ変換部２４ａ〜２４ｂの増幅率である指向性データを、それぞれ記憶部２２から読み込む。なお、本実施形態では、統計パラメータのデータ及び指向性データは、記憶部２２にあらかじめ記録されているものとする。そして、ステップＳ１０からの処理が行われる。
【００３２】
ステップＳ１０：本体側ＣＰＵ１８は、ユーザによって操作部材３０のレリーズ釦が押されて撮像開始指示の信号を受信すると、タイミングジェネレータ（不図示）を介して、クイックリターンミラー１１を、撮像レンズ２を通過してくる被写体からの光束の光路上から退避させて、シャッタ制御部２１にシャッタ１４を開放させるとともに、所定のフレームレート（例えば、３０ｆｐｓ）で、撮像素子１６に被写体を間引き読み出しによる動画撮像を開始させる。
【００３３】
ステップＳ１１：本体側ＣＰＵ１８は、上記フレームレートで取得された各フレームの画像を、撮像素子１６に順次出力させて、Ａ／Ｄ変換部（不図示）にアナログからデジタルの信号に変換させ、画像処理部２０に転送する。画像処理部２０は、転送されてきた画像を、画像データ処理部２８及び画像特徴量演算部２９に入力する。画像データ処理部２８は、その画像に対して、補間処理やホワイトバランス処理等の画像処理を施す。一方、画像特徴量演算部２９は、画像を、例えば、５０×５０の領域に分割して、各領域において複数の画像特徴量を算出し、各領域で求めた複数の画像特徴量を用いて、その画像における各画像特徴量の平均値と分散値とを算出する。画像特徴量演算部２９は、算出したそれら画像特徴量の平均値と分散値とを、本体側ＣＰＵ１８のシーン判定部２６へ転送する。
【００３４】
なお、本実施形態における複数の画像特徴量とは、Ｒ／Ｇ、Ｂ／Ｇ、輝度、画像の水平走査線（Ｘ軸）方向の動きベクトルＸ及び画像の垂直走査線（Ｙ軸）方向の動きベクトルＹである。また、本実施形態における、動きベクトルＸ及び動きベクトルＹの算出は、演算対象の画像とその１フレーム前の画像とを用い、分割した領域毎に相関を計算することによって求める。ただし、最初のフレームの画像に対しては、動きベクトルＸ及び動きベクトルＹを求めることができないので、それらの平均値及び分散値は、例えば０と設定する。
【００３５】
ステップＳ１２：本体側ＣＰＵ１８のシーン判定部２６は、ステップＳ１１で画像特徴量演算部２９が算出した複数の画像特徴量の平均値及び分散値と、あらかじめ読み込んだ統計パラメータのデータとを用いて、図４に示すような、ニューラルネットによる統計処理を行い、画像に撮像されているシーンが、ポートレート、風景、スナップ、スポーツ、舞台撮影又はその他等のいずれかを判定する。
【００３６】
ここで、図４は、ニューラルネット、特に階層型ニューラルネットによる統計処理の概念図を示す。この階層型ニューラルネットにおいて、ステップＳ１１で算出した各画像特徴量の平均値及び分散値を入力して、後述する統計パラメータを用いた重み付け処理によって、各シーンの適応度を示す値（例えば、ポートレート適応度＝０．８、風景適応度＝０．２及び他の適応度が全て０というような値）が算出される。そして、シーン判定部２６は、その適応度の値の大きさに応じて、その画像のシーンが何であるかを判定する。なお、本実施形態では、適応度を示す値は、その合計が１になるように規格化された値を用いる。
【００３７】
次に、統計パラメータのデータについて簡単に説明する。統計パラメータは、上述したように、入力される各画像特徴量の平均値及び分散値と各シーンとを、ニューラルネットという統計処理を介して、重ね合わせ処理よって求められる適応度に基づいて関係付けるために必要となるパラメータである。その統計パラメータを求めるためには、まず、あらかじめ複数の任意の被写体を撮像した画像を用意し、画像特徴量演算部２９と同様の処理に基づいて、各画像におけるＲ／Ｇ等の画像特徴量の平均値と分散値とを求める。これと同時に、あらかじめ各画像に撮像されている被写体のシーンが何であるかを決定する（例えば、ある画像のシーンがポートレートであるならば、ポートレート適応度を１として、他のシーンの適応度を０とする。これを教師値という）。そして、それら複数の画像の各々の各画像特徴量の平均値及び分散値と、あらかじめ決められた統計パラメータの初期値とを、図４に示す階層型ニューラルネットに代入して、各画像に対する各シーンの適応度を求める。各画像において求めた各シーン適応度と上記教師値とを比較することによって、各画像におけるシーンの適応度の値が教師値に近づくように統計パラメータを調整（これを学習過程という）し、最適な統計パラメータのデータを求める。求められた統計パラメータのデータが、記憶部２２に記録される。
【００３８】
ステップＳ１３：本体側ＣＰＵ１８の指向性制御部２７は、ステップＳ１２におけるシーン判定部２６によるシーン判定が適正か否かを判定する。本実施形態では、指向性制御部２７は、図４に示す各適応度の値のうち、一番大きい値が閾値０．５以上有り且つ２番目に大きな適応度の値との差が閾値０．２以上の場合、シーン判定部２６によるシーン判定は適正であると判定し、ステップＳ１４（ＹＥＳ側）へ移行する。一方、一番大きな適応度の値が閾値０．５より小さい又は２番目に大きな適応度の値との差が閾値０．２より小さい場合、シーン判定部２６によるシーン判定は適正ではないとして「不定」と判定して、ステップＳ１５（ＮＯ側）へ移行する。
【００３９】
例えば、ステップＳ１２において、フレームの画像に対するシーン判定部２６の判定が、ポートレート適応度＝０．８、風景適応度＝０．１、スナップ適応度＝０．１及びそれ以外の適応度が０の場合には、シーン判定部２６は、被写体のシーンはポートレートであると判定し、指向性制御部２７は、その判定が適正であると判定する。一方、ポートレート適応度＝０．５、風景適応度＝０．４、スナップ適応度＝０．１及びそれ以外の適応度が０の場合には、シーン判定部２６は、被写体のシーンはポートレートであると判定するが、指向性制御部２７は、その判定は適正でないとして「不定」と判定する。
【００４０】
ステップＳ１４：指向性制御部２７は、シーン判定部２６によるシーン判定の結果と指向性データとに基づいて、マイクロフォン２３ａ〜２３ｂの各々における指向性を制御するための各Ａ／Ｄ変換部２４ａ〜２４ｂの増幅率を決定する。
【００４１】
ここで、指向性データは、各シーンに応じたマイクロフォン２３ａ〜２３ｂを制御するためのＡ／Ｄ変換部２４ａ〜２４ｂの各々に対する増幅率が一覧表として記載されたものである。例えば、ポートレートのシーンの場合には、被写体が人物であることから、Ａ／Ｄ変換部２４ａ及びＡ／Ｄ変換部２４ｂの増幅率をそれぞれ１００対０として、指向性の狭いマイクロフォン２３ａのみを用いて、その人物だけの音声を録音する。また、風景のシーンの場合には、Ａ／Ｄ変換部２４ａ及びＡ／Ｄ変換部２４ｂの増幅率をそれぞれ０対１００として、指向性の広いマイクロフォン２３ｂを用いて周囲音を録音する。また、スポーツや演劇撮像のシーンの場合には、例えば、増幅率をそれぞれ７０対３０として、指向性の狭いマイクロフォン２３ａで競技者や演技者からの音声を主に録音するとともに、指向性の広いマイクロフォン２３ｂで観客の音声も録音する。最後に、その他の場合には、例えば、増幅率をそれぞれ５０対５０として、特定の音声とともに、周囲音も録音する。
【００４２】
ステップＳ１５：指向性制御部２７は、ステップＳ１３において、シーン判定部２６によるシーン判定の結果を「不定」と判定した場合には、Ａ／Ｄ変換部２４ａ〜２４ｂの各々の増幅率を０対１００として、指向性の広いマイクロフォン２３ｂのみによる音声の録音を行う。
【００４３】
ステップＳ１６：指向性制御部２７は、ステップＳ１４又はステップＳ１５で決定した増幅率を、各Ａ／Ｄ変換部２４ａ〜２４ｂに設定し、マイクロフォン２３ａ〜２３ｂの指向性を制御して音声を録音する。
【００４４】
ステップＳ１７：本体側ＣＰＵ１８は、ステップＳ１１で画像データ処理部２８によって処理された画像と、ステップＳ１６でマイクロフォン２３ａ〜２３ｂによって録音された音声データとを関連付けて、記憶部２２に順次記録する。
【００４５】
ステップＳ１８：本体側ＣＰＵ１８は、ユーザが押していたレリーズ釦が元の位置に戻される、或いは、ユーザが再度レリーズ釦を押すことによって、動画撮像の終了指令の信号を受信したか否かを判定する。撮像終了指令の信号を受信したと判定した場合（ＹＥＳ側）には、本体側ＣＰＵ１８は、タイミングジェネレータ（不図示）を介して、シャッタ制御部２１にシャッタ１４を閉じるとともに、クイックリターンミラー１１を、撮像レンズ２からの光束の光路上である元の位置に戻して、一連の動画撮像を終了する。一方、本体側ＣＰＵ１８が、動画撮像の終了指令が出されていないと判定した場合には、ステップＳ１１へ移行して、次のフレームの画像を取得して、ステップＳ１１〜ステップＳ１７の処理をユーザによって終了指令が出されるまで行い、一連の動画撮像を終了する。
【００４６】
このように本実施形態では、所定のフレームレートで撮像される動画の各フレームの画像毎に、撮影対象である被写体のシーンの種類や場面を判定し、その判定結果に応じてマイクロフォンの指向性を自動的に制御することで、シーンに応じて録音したい音声の方向が変化してしまう場合でも、最良な状態で音声を録音することができる。
≪第２の実施形態≫
本発明の第２の実施形態に係るデジタルカメラは、第１の実施形態に係るデジタルカメラ１と同じである。したがって、本実施形態におけるデジタルカメラとして、図１及び図２に示す第１の実施形態と同じデジタルカメラ１を用い、各構成要素についての詳細な説明は省略する。また、本実施形態に係るデジタルカメラ１の撮像手順についても、図３に示すステップＳ１０〜ステップＳ１８のフローチャートと同じである。
【００４７】
しかしながら、本実施形態におけるデジタルカメラ１が、第１の実施形態のデジタルカメラと異なる点は、ステップＳ１２における、階層型ニューラルネットによる統計処理において入力される画像特徴量のパラメータの数が増加する点にある。即ち、図５に示すように、入力される画像特徴量として、画像特徴量演算部２９が画像から求めるＲ／Ｇ、Ｂ／Ｇ、輝度、動きベクトルＸ及び動きベクトルＹの画像特徴量各々の平均値及び分散値の統計的な特徴量だけでなく、焦点検出部４による焦点距離、距離検出部５による撮影距離、焦点検出部１９による複数の測定点における位相差方式によって検出された撮像レンズ２の焦点状態であるデフォーカス量（焦点検出値）の分散値、及び撮像された画像において顔検出された顔サイズのパラメータを、新たに追加して行われる。
【００４８】
なお、これら画像特徴量の追加に伴って、記憶部２２にあらかじめ記憶される統計パラメータのデータは、第１の実施形態における画像特徴量とともに、本実施形態で追加された焦点距離、撮影距離、焦点検出値の分散及び顔サイズを用いて行った、学習過程に基づいて算出されたものを使用する。また、焦点検出値として、位相差方式によって検出される値を用いたが、山登り方式によって検出される値を用いても良い。さらに、画像における顔検出の方法は、任意の公知の手法を使用して行うことができる。
【００４９】
このように本実施形態では、所定のフレームレートで撮像される動画の各フレームの画像毎に、撮影対象である被写体のシーンの種類や場面を判定し、その判定結果に応じてマイクロフォンの指向性を自動的に制御することで、シーンに応じて録音したい音声の方向が変化してしまう場合でも、最良な状態で音声を録音することができる。
【００５０】
また、階層型ニューラルネットにおいて入力される特徴量が増えることにより、シーン判定部２６によるシーン判定をより正確に行うことができる。
≪第３の実施形態≫
本発明の第３の実施形態に係るデジタルカメラ５０は、図６及び図７に示すように、第１又は第２の実施形態に係るデジタルカメラ１の構成と基本的には同じである。したがって、本実施形態におけるデジタルカメラ５０の構成を示す図６及び図７において、第１又は第２の実施形態に係るデジタルカメラ１と同じ構成要素については詳細な説明を省略する。また、本実施形態に係るデジタルカメラ５０の撮像手順についても、図３に示すステップＳ１０〜ステップＳ１８のフローチャートと同じであり、詳細な説明は省略する。
【００５１】
ただし、本実施形態に係るデジタルカメラ５０と第１の実施形態に係るデジタルカメラ１と異なる点は、図６及び図７に示すように、マイクロフォン２３ｃが１つのみである。マイクロフォン２３ｃには、不図示であるが、マイクロフォン２３ｃが受信する音声の帯域を複数のバンドパスフィルタによって複数の帯域に分割して、その分割された各帯域のゲインを、指向性制御部２７からの指示に基づいて調節することによって、マイクロフォン２３ｃの指向性を変更する指向性変更回路が設けられている。したがって、本実施形態では、統計パラメータのデータとともに、各シーンに応じたＡ／Ｄ変換部２４ｃの増幅率と指向性変更回路（不図示）によるマイクロフォン２３ｃの各帯域に対応したバンドパスフィルタ毎のゲインとを一覧にした指向性データが、記憶部２２にあらかじめ記録されているものとする。
【００５２】
即ち、ステップＳ１３において、シーン判定部２６によるシーン判定が「不定」でないと判定された場合、ステップＳ１４（ＮＯ側）において、指向性制御部２７は、シーン判定部２６によるシーン判定結果と記憶部２２に記憶されている指向性データとに基づいて、Ａ／Ｄ変換部２４ｃの増幅率及び指向性変更回路（不図示）によるマイクロフォン２３ｃの各帯域に対応するバンドパスフィルタ毎のゲインを設定して、マイクロフォン２３ｃの指向性を制御する。一方、「不定」と判定された場合、ステップＳ１５（ＹＥＳ側）において、指向性制御部２７は、Ａ／Ｄ変換部２４ｃの増幅率とともに、指向性変更回路（不図示）にマイクロフォン２３ｃの全ての帯域を用いるように各バンドパスフィルタのゲインを設定し、最も広い指向性となるように制御する。
【００５３】
このように本実施形態では、所定のフレームレートで撮像される動画のフレーム画像毎に、撮影対象である被写体のシーンの種類や場面を判定し、その判定結果に応じてマイクロフォンの指向性を自動的に制御することで、シーンに応じて録音したい音声の方向が変化してしまう場合でも、最良な状態で音声を録音することができる。
【００５４】
また、マイクロフォン２３ｃが１つで済むことから、デジタルカメラ５０の回路規模を小さくすることが可能となる。
≪第４の実施形態≫
本発明の第４の実施形態に係るデジタルカメラは、第１の実施形態に係るデジタルカメラ１と基本的に同じである。ただし、図８（ｂ）に示すように、本実施形態におけるデジタルカメラ１における機能ブロックの構成が、図２（ｂ）に示す第１の実施形態係るデジタルカメラ１の機能ブロックの構成と異なる。即ち、本実施形態に係るデジタルカメラ１では、ユーザが操作部材３０のモード設定釦を用いて、ポートレートや風景等の撮像モードを選択設定することによって、指向性制御部２７が、その設定された撮像モードに対応するシーンに応じた各Ａ／Ｄ変換部２４ａ〜２４ｂの増幅率を指向性に基づいて決定し、マイクロフォン２３ａ〜２３ｂの指向性を制御する。これが、第１の実施形態のデジタルカメラと異なる点である。なお、本実施形態と第１の実施形態とのデジタルカメラ１において、同じ構成要素については、同じ符号を付し詳細な説明は省略する。
【００５５】
次に、本実施形態に係るデジタルカメラ１の撮像手順について、図９のフローチャートを参照しながら説明する。なお、以下の説明では、ユーザがデジタルカメラ１を用いて、動画を撮像するものとして説明する。即ち、ユーザによって、あらかじめ操作部材３０のモード設定釦によって、動画モードが選択設定されているものとする。
【００５６】
ユーザにより操作部材３０の電源釦が押されると、レンズ側ＣＰＵ７及び本体側ＣＰＵ１８は、それぞれの不図示のメモリに記憶されている制御プログラムを読み込み、デジタルカメラ１のカメラ本体１ａ及び交換レンズ部１ｂをそれぞれ初期化する。本体側ＣＰＵ１８は、レンズ側ＣＰＵ７を介して、焦点検出部４、距離検出部５及び絞り制御部６から焦点距離、撮像距離及び絞り値をそれぞれ取得するとともに、測光センサ１０及び焦点検出部１９から撮像レンズ２の焦点状態を取得する。同時に、本体側ＣＰＵ１８は、ユーザによる操作部材３０のモード選択釦によって設定される撮像モードに応じて、マイクロフォン２３ａ〜２３ｂによる音声録音の指向性を制御するプログラムとともに、各シーンに応じた各Ａ／Ｄ変換部２４ａ〜２４ｂの増幅率である指向性データを、記憶部２２から読み込む。なお、本実施形態において、指向性データは、記憶部２２にあらかじめ記録されているものとする。また、本実施形態における指向性データは、第１の実施形態及び第２の実施形態の指向性データと同じものである。そして、ステップＳ２０からの処理が行われる。
【００５７】
ステップＳ２０：ユーザは、操作部材３０のモード選択釦を用いて、撮像モードを選択設定する。
【００５８】
ステップＳ２１：本体側ＣＰＵ１８は、ユーザによって設定された撮像モードを識別し、本体側ＣＰＵ１８の指向性制御部２７は、識別された撮像モードに対応するシーンに応じた各Ａ／Ｄ変換部２４ａ〜２４ｂの増幅率を、指向性データに基づいて決定する。
【００５９】
ステップＳ２２：指向性制御部２７は、ステップＳ２１で決定した増幅率を、各Ａ／Ｄ変換部２４ａ〜２４ｂの増幅回路に設定し、マイクロフォン２３ａ〜２３ｂの指向性を制御する。
【００６０】
ステップＳ２３：本体側ＣＰＵ１８は、ユーザによって操作部材３０のレリーズ釦が押されて撮像開始指示の信号を受信すると、タイミングジェネレータ（不図示）を介して、クイックリターンミラー１１を、撮像レンズ２を通過してくる被写体からの光束の光路上から退避させて、シャッタ制御部２１にシャッタ１４を開放させるとともに、所定のフレームレート（例えば、３０ｆｐｓ）で、撮像素子１６に被写体を間引き読み出しによる動画撮像を開始させる。
【００６１】
ステップＳ２４：本体側ＣＰＵ１８は、上記フレームレートで取得された各フレームの画像を、撮像素子１６に順次出力させて、Ａ／Ｄ変換部（不図示）にアナログからデジタルの信号に変換させ、画像処理部２０に転送する。画像処理部２０は、転送されてきた画像を、画像データ処理部２８に入力して、その画像に対して、補間処理やホワイトバランス処理等の画像処理を施す。
【００６２】
ステップＳ２５：本体側ＣＰＵ１８は、ステップＳ２４で画像データ処理部２８によって処理された画像と、ステップＳ２２で指向性が制御されたマイクロフォン２３ａ〜２３ｂによって録音された音声データとを関連付けて、記憶部２２に順次記録する。
【００６３】
ステップＳ２６：本体側ＣＰＵ１８は、ユーザが押していたレリーズ釦が元の位置に戻される、或いは、ユーザが再度レリーズ釦を押すことによって、動画撮像の終了指令の信号を受信したか否かを判定する。撮像終了指令の信号を受信したと判定した場合（ＹＥＳ側）には、本体側ＣＰＵ１８は、タイミングジェネレータ（不図示）を介して、シャッタ制御部２１にシャッタ１４を閉じるとともに、クイックリターンミラー１１を、撮像レンズ２からの光束の光路上である元の位置に戻して、一連の動画撮像を終了する。一方、本体側ＣＰＵ１８が、動画撮像の終了指令が出されていないと判定した場合には、ステップＳ２４へ移行して、次のフレームの画像を取得して、ステップＳ２４〜ステップＳ２５の処理をユーザによって終了指令が出されるまで行い、一連の動画撮像を終了する。
【００６４】
このように本実施形態では、あらかじめユーザによって操作部材３０のモード選択釦で設定される撮像モードに対応する被写体のシーンに応じて、マイクロフォンの指向性を制御することにより、最良な状態で音声を録音することができる。
【００６５】
また、操作部材３０のモード選択釦による撮像モードによって、マイクロフォン２３ａ〜２３ｂの指向性の制御が行われることから、デジタルカメラ１の回路規模を小さくすることができる。
≪第５の実施形態≫
本発明の第５の実施形態に係るデジタルカメラは、基本的に、図１及び図２の第１の実施形態に係るデジタルカメラと、図８に示す第４の実施形態のデジタルカメラとを組み合わせたものであり、図１０に示すような機能ブロックとなる。
【００６６】
したがって、本実施形態に係るデジタルカメラ１は、最初に、ユーザが操作部材３０のモード設定釦を用いて、ポートレートや風景等の撮像モードを選択設定することによって、その設定された撮像モードに対応するシーンに応じた各Ａ／Ｄ変換部２４ａ〜２４ｂの増幅率が設定され、マイクロフォン２３ａ〜２３ｂの指向性が制御される。その後、デジタルカメラ１は、撮像される動画の各フレームの画像毎にシーン判定を行うことによって、その判定結果に応じて、Ａ／Ｄ変換部２４ａ〜２４ｂの増幅率を適宜変更して、マイクロフォン２３ａ〜２３ｂの指向性を制御される。この点が、第１の実施形態及び第４の実施形態のデジタルカメラ１と異なる点である。なお、本実施形態と第１の実施形態とのデジタルカメラ１において、同じ構成要素については、同じ符号を付して詳細な説明は省略する。
【００６７】
次に、本実施形態に係るデジタルカメラ１の撮像手順について、図１１のフローチャートを参照しながら説明する。なお、以下の説明では、ユーザがデジタルカメラ１を用いて、動画を撮像するものとして説明する。即ち、ユーザによって、あらかじめ操作部材３０のモード設定釦によって、動画モードが選択設定されているものとする。
【００６８】
ユーザにより操作部材３０の電源釦が押されると、レンズ側ＣＰＵ７及び本体側ＣＰＵ１８は、それぞれの不図示のメモリに記憶されている制御プログラムを読み込み、デジタルカメラ１のカメラ本体１ａ及び交換レンズ部１ｂをそれぞれ初期化する。本体側ＣＰＵ１８は、レンズ側ＣＰＵ７を介して、焦点検出部４、距離検出部５及び絞り制御部６から焦点距離、撮像距離及び絞り値をそれぞれ取得するとともに、測光センサ１０及び焦点検出部１９から撮像レンズ２の焦点状態を取得する。同時に、本体側ＣＰＵ１８は、ユーザによる操作部材３０のモード選択釦によって設定される撮像モード、又はシーン判定部２６によるシーン判定に応じて、マイクロフォン２３ａ〜２３ｂによる音声録音の指向性を制御するプログラム、シーン判定部２６が撮像した画像に基づいてシーン判定するために用いる、ニューラルネットによる統計処理で必要な統計パラメータのデータ、及び各シーンに応じた各Ａ／Ｄ変換部２４ａ〜２４ｂの増幅率である指向性データを、それぞれ記憶部２２から読み込む。なお、本実施形態では、統計パラメータのデータ及び指向性データは、記憶部２２にあらかじめ記録されているものとする。また、本実施形態における指向性データは、第１の実施形態、第２の実施形態及び第４の実施形態の指向性データと同じものである。そして、ステップＳ３０からの処理が行われる。
【００６９】
ステップＳ３０：ユーザは、操作部材３０のモード選択釦を用いて、撮像モードを選択設定する。
【００７０】
ステップＳ３１：本体側ＣＰＵ１８は、ユーザによって設定された撮像モードを識別し、本体側ＣＰＵ１８の指向性制御部２７は、識別された撮像モードに対応するシーンに応じた各Ａ／Ｄ変換部２４ａ〜２４ｂの増幅率を、指向性データに基づいて決定する。
【００７１】
ステップＳ３２：指向性制御部２７は、ステップＳ３１で決定した増幅率を、各Ａ／Ｄ変換部２４ａ〜２４ｂの増幅回路に設定し、マイクロフォン２３ａ〜２３ｂの指向性を制御する。
【００７２】
ステップＳ３３：本体側ＣＰＵ１８は、ユーザによって操作部材３０のレリーズ釦が押されて撮像開始指示の信号を受信すると、タイミングジェネレータ（不図示）を介して、クイックリターンミラー１１を、撮像レンズ２を通過してくる被写体からの光束の光路上から退避させて、シャッタ制御部２１にシャッタ１４を開放させるとともに、所定のフレームレート（例えば、３０ｆｐｓ）で、撮像素子１６に被写体を間引き読み出しによる動画撮像を開始させる。
【００７３】
ステップＳ３４：本体側ＣＰＵ１８は、上記フレームレートで取得された各フレームの画像を、撮像素子１６に順次出力させて、Ａ／Ｄ変換部（不図示）にアナログからデジタルの信号に変換させ、画像処理部２０に転送する。画像処理部２０は、転送されてきた画像を、画像データ処理部２８及び画像特徴量演算部２９に入力する。画像データ処理部２８は、その画像に対して、補間処理やホワイトバランス処理等の画像処理を施す。一方、画像特徴量演算部２９は、画像を、例えば、５０×５０の領域に分割して、各領域においてＲ／Ｇ、Ｂ／Ｇ、輝度、動きベクトルＸ及び動きベクトルＹの画像特徴量を算出し、各領域で求めたそれらの画像特徴量から、その画像における各画像特徴量の平均値と分散値とを算出する。画像特徴量演算部２９は、それら画像特徴量の平均値と分散値とを、本体側ＣＰＵ１８のシーン判定部２６へ転送する。
【００７４】
ステップＳ３５：本体側ＣＰＵ１８のシーン判定部２６は、ステップＳ３４で画像特徴量演算部２９が算出した複数の画像特徴量の平均値及び分散値と、あらかじめ読み込んだ統計パラメータのデータとを用いて、図４に示すような、ニューラルネットによる統計処理を行い、画像に撮像されているシーンが、ポートレート、風景、スナップ、スポーツ、舞台撮影又はその他等のいずれかを判定する。
【００７５】
ステップＳ３６：本体側ＣＰＵ１８の指向性制御部２７は、ステップＳ３５におけるシーン判定部２６によるシーン判定が適正か否かを判定する。本実施形態では、指向性制御部２７は、図４に示す各適応度の値のうち、一番大きな適応度の値が閾値０．５以上有り且つ２番目に大きな適応度の値の３倍以上の値である場合、シーン判定部２６によるシーン推定は適正であると判定し、ステップＳ３７（ＹＥＳ側）へ移行する。一方、一番大きな適応度の値が閾値０．５より小さい又は２番目に大きな適応度の値の３倍より小さい値である場合、指向性制御部２７は、シーン判定部２６によるシーン判定が適正ではないとして「不定」と判定して、ステップＳ３８（ＮＯ側）へ移行する。
【００７６】
ステップＳ３７：指向性制御部２７は、シーン判定部２６によるシーン判定の結果と指向性データに基づいて、マイクロフォン２３ａ〜２３ｂの各々における指向性を制御するためのＡ／Ｄ変換部２４ａ〜２４ｂの増幅率を決定する。
【００７７】
ステップＳ３８：指向性制御部２７は、ステップＳ３５において、シーン判定部２６によるシーン判定の結果を「不定」と判定した場合には、ステップＳ３２で設定された撮像モードに応じた増幅率を用いる決定を行う。
【００７８】
ステップＳ３９：指向性制御部２７は、ステップＳ３７又はステップＳ３８で決定した増幅率を、各Ａ／Ｄ変換部２４ａ〜２４ｂに設定して、マイクロフォン２３ａ〜２３ｂの指向性を制御して音声を録音する。
【００７９】
ステップＳ４０：本体側ＣＰＵ１８は、ステップＳ３４で画像データ処理部２８によって処理された画像と、ステップＳ３９でマイクロフォン２３ａ〜２３ｂによって録音された音声データとを関連付けて、記憶部２２に順次記録する。
【００８０】
ステップＳ４１：本体側ＣＰＵ１８は、ユーザが押していたレリーズ釦が元の位置に戻される、或いは、ユーザが再度レリーズ釦を押すことによって、動画撮像の終了指令の信号を受信したか否かを判定する。撮像終了指令の信号を受信したと判定した場合（ＹＥＳ側）には、本体側ＣＰＵ１８は、タイミングジェネレータ（不図示）を介して、シャッタ制御部２１にシャッタ１４を閉じるとともに、クイックリターンミラー１１を、撮像レンズ２からの光束の光路上である元の位置に戻して、一連の動画撮像を終了する。一方、本体側ＣＰＵ１８が、動画撮像の終了指令が出されていないと判定した場合には、ステップＳ１１へ移行して、次のフレームの画像を取得して、ステップＳ３４〜ステップＳ４０の処理をユーザによって終了指令が出されるまで行い、一連の動画撮像を終了する。
【００８１】
このように本実施形態では、あらかじめユーザによって操作部材３０のモード選択釦で設定される撮像モードによって決まるマイクロフォンの指向性、又は撮像される動画の各フレームの画像毎に、撮影対象である被写体のシーンの種類や場面の判定結果に応じて決まるマイクロフォンの指向性を選択しながら制御することによって、シーンに応じて録音したい音声の方向が変化してしまう場合でも、最良な状態で音声を録音することができる。
≪実施形態の補足事項≫
第１の実施形態、第２の実施形態、第４の実施形態及び第５の実施形態において、マイクロフォン２３ａ〜２３ｂの位置は、図２（ａ）、図８（ａ）及び図１０（ａ）に示すように、被写体側から見た場合、カメラ本体１ａの右上に２つ水平に並んで配置されたが、本発明はこれに限定されない。任意の位置にマイクロフォンを配置しても良い。
【００８２】
なお、第１の実施形態、第２の実施形態、第４の実施形態及び第５の実施形態において、音声の録音は２つの指向性の異なるマイクロフォン２３ａ〜２３ｂで行ったが、本発明はこれに限定されず、３つ以上の指向性の異なるマイクロフォンを用いて行っても良い。
【００８３】
なお、第１の実施形態、第２の実施形態、第４の実施形態及び第５の実施形態において、指向性データは、各シーンに応じたＡ／Ｄ変換部２４ａ〜２４ｂの各々に対する増幅率の一覧として、例えば、ポートレートのシーンの場合には、被写体が人物であることから、Ａ／Ｄ変換部２４ａ及びＡ／Ｄ変換部２４ｂの増幅率をそれぞれ１００対０等とするとしたが、本発明はこれに限定されず、各シーンに応じて、マイクロフォン２３ａ〜２３ｂの指向性を制御するための各Ａ／Ｄ変換部２４ａ〜２４ｂの増幅率の組み合わせは、シーンに応じて適宜決めることが好ましい。
【００８４】
なお、第１の実施形態、第２の実施形態及び第５の実施形態において、動画を撮像する場合について説明したが、本発明はこれに限定されず、静止画像の撮像の場合にも適用可能である。ただし、その場合には、静止画像を撮像する前に、マイクロフォン２３ａ〜２３ｂの指向性を制御するために、シーン判定部２６によるシーン判定に応じたＡ／Ｄ変換部２４ａ〜２４ｂの増幅率をあらかじめ決めておくことが好ましい。即ち、例えば、測光センサ１０によって撮像されるスルー画に基づいて、シーン判定部２６がシーン判定を行い、その判定結果と記憶部２２に記憶されている指向性データとに基づいて、指向性制御部２７が、静止画像の撮像前に、Ａ／Ｄ変換部２４ａ〜２４ｂの増幅率を決定する。
【００８５】
なお、第１の実施形態ないし第３の実施形態及び第５の実施形態において、画像特徴量演算部２９はフレーム画像を５０×５０の領域に分割して、画像特徴量を求める演算を行ったが、本発明はこれに限定されない。例えば、フレーム画像を１００×１００等の任意の数の領域に分割して演算を行っても良い。
【００８６】
なお、第１の実施形態ないし第３の実施形態及び第５の実施形態において、図４又は図５の階層型ニューラルネットの出力結果である各シーンの適応度の値が、全て足した値が１になるように規格化した値を用いたが、本発明はこれに限定されない。例えば、各適応度の値を百分率で表しても良いし、規格化されていない値で表しても良い。
【００８７】
なお、第１の実施形態ないし第３の実施形態及び第５の実施形態において、指向性制御部２７によるシーン判定部２６のシーン判定の可否を判定するために、基準となる閾値として０．５、０．２又は３倍の値を用いたが、本発明はこれに限定されず、任意の値を適宜選択して用いることが好ましい。
【００８８】
なお、第１の実施形態ないし第３の実施形態及び第５の実施形態において、図４又は図５に示すような、入力パラメータが１０個又は１４個の階層型ニューラルネットに基づいて、シーン判定部２６は画像のシーン判定をおこなったが、本発明はこれに限定されず、エッジ量等の他の画像特徴量を入力パラメータとして用いても良い。
【００８９】
なお、第１の実施形態ないし第３の実施形態及び第５の実施形態において、各シーンの適応度として、ポートレート適応度、風景適応度、スナップ適応度、スポーツ適応度、舞台撮影適応度、その他適応度の６つを用いたが、本発明はこれに限定されず、他の任意のシーンの適応度を追加しても良い。
【００９０】
なお、第３の実施形態及び第５の実施形態において、シーン判定部２６は、１０個の画像特徴量であるＲ／Ｇ、Ｂ／Ｇ、輝度、動きベクトルＸ及び動きベクトルＹの各々の平均値及び分散値を入力パラメータとした、図４に示す階層型ニューラルネットによる統計処理に基づいて、画像のシーン判定を行ったが、本発明はこれに限定されない。例えば、シーン判定部２６は、焦点検出部４による焦点距離、距離検出部５による撮影距離、焦点検出部１９による複数の測定点における位相差方式によって検出された撮像レンズ２の焦点状態である焦点検出値の分散値、及びフレーム画像において顔検出された顔サイズを加えた、図５に示す１４個の入力パラメータによる階層型ニューラルネットによる統計処理に基づいて、シーン判定を行っても良い。
【００９１】
なお、第３の実施形態において、マイクロフォン２３ｃの位置は、図７（ａ）に示すように、被写体側から見た場合、カメラ本体１ａの右上に配置されたが、本発明はこれに限定されない。任意の位置にマイクロフォンを配置しても良い。
【００９２】
なお、第３の実施形態において、各シーンに応じたＡ／Ｄ変換部２４ｃの増幅率及び指向性変更回路（不図示）によるマイクロフォン２３ｃの各帯域に対応するバンドパスフィルタのゲインの値の組み合わせは、シーンに応じて適宜決めることが好ましい。
【００９３】
なお、第３の実施形態において、動画を撮像する場合について説明したが、本発明はこれに限定されず、静止画像の撮像の場合にも適用可能である。ただし、その場合には、静止画像を撮像する前に、マイクロフォン２３ｃの指向性を制御するために、シーン判定部２６によるシーン判定に応じたＡ／Ｄ変換部２４ｃの増幅率及び指向性変更回路（不図示）によるマイクロフォン２３ｃの各帯域に対応するバンドパスフィルタのゲインをあらかじめ決めておくことが好ましい。即ち、例えば、測光センサ１０によって撮像されるスルー画に基づいて、シーン判定部２６がシーン判定を行い、その判定結果と記憶部２２に記憶されている指向性データとに基づいて、指向性制御部２７が、静止画像の撮像前に、Ａ／Ｄ変換部２４ｃの増幅率及び指向性変更回路（不図示）によるマイクロフォン２３ｃの各帯域に対応するバンドパスフィルタのゲインを決定する。
【００９４】
なお、第４の実施形態において、動画を撮像する場合について説明したが、本発明はこれに限定されず、静止画像の撮像の場合にも適用可能である。
【００９５】
なお、本発明は、スチルカメラ、ビデオカメラ、デジタルカメラが内蔵された携帯電話等に対しても適用可能である
本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈されてはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。
【符号の説明】
【００９６】
１ デジタルカメラ、１ａ カメラ本体、１ｂ 交換レンズ部１ｂ、２ 撮像レンズ、３絞り、４ 焦点距離検出部、５ 距離検出部、６ 絞り制御部、７ レンズ側ＣＰＵ、８ ペンタプリズム、９ 再結像レンズ、１０ 測光センサ、１１ クイックリターンミラー、１２ サブミラー、１３ 焦点板、１４ シャッタ、１５ 接眼レンズ、１６ 撮像素子、１７ 表示部、１８ 本体側ＣＰＵ、１９ 焦点検出部、２０ 画像処理部、２１ シャッタ制御部、２２ 記憶部、２３ａ〜２３ｂ マイクロフォン
【先行技術文献】
【特許文献】
【００９７】
【特許文献１】特開２００６−２２２６１８号公報
【特許請求の範囲】
【請求項１】
画像を撮像する撮像部と、
前記画像に対応する音声を指向性を変化させて取得可能な音声取得部と、
前記画像に含まれる被写体を判定する判定部と、
前記判定部の判定結果に応じて前記音声取得部の指向性が変化するように制御する制御部とを含むことを特徴とする撮像装置。
【請求項２】
請求項1に記載された撮像装置であって、
撮影者により操作可能な操作部と、
前記操作部の状態に応じて撮影条件を変更する撮影条件変更部とを含み、
前記制御部は、前記判定部の判定結果、及び、前記操作部の状態に基づいて制御を行うことを特徴とする撮像装置。
【請求項３】
請求項２に記載された撮像装置であって、
前記制御部は、前記操作部の状態よりも前記判定部の判定結果を優先して制御を行うことを特徴とする撮像装置。
【請求項４】
請求項1から請求項３までの何れか1項に記載された撮像装置であって、
前記判定部は、前記画像から求めた特徴量に基づいてパターン認識をすることにより、前記画像に含まれる前記被写体を判定する
ことを特徴とする撮像装置。
【請求項５】
請求項４に記載された撮像装置であって、
前記判定部は、あらかじめ複数の被写体についての複数の画像を用いて、前記複数の画像各々の前記特徴量と前記複数の被写体の各々の対象とを、前記各対象を特徴付けるパターンに基づいて関係付ける複数の統計パラメータを有し、前記複数の統計パラメータを用いた統計処理によって、前記撮像部によって撮像された前記画像における前記被写体の対象を特徴付けるパターンを認識することを特徴とする撮像装置。
ことを特徴とする撮像装置。
【請求項６】
請求項５に記載された撮像装置であって、
前記統計処理は、ニューラルネットであることを特徴とする撮像装置。
【請求項７】
請求項１から請求項６までの何れか1項に記載された撮像装置であって、
前記音声取得部は、前記音声の指向性を変更するための指向性変更回路を含むことを特徴とする撮像装置。
【請求項８】
請求項1から請求項6までの何れか1項に記載された撮像装置であって、
前記音声取得部は、それぞれ指向性の異なる複数のマイクロフォンを含み、
前記制御部は、前記判定部の判定結果に応じて前記複数のマイクロフォンのゲインを制御することを特徴とする撮像装置。
【請求項１】
画像を撮像する撮像部と、
前記画像に対応する音声を指向性を変化させて取得可能な音声取得部と、
前記画像に含まれる被写体を判定する判定部と、
前記判定部の判定結果に応じて前記音声取得部の指向性が変化するように制御する制御部とを含むことを特徴とする撮像装置。
【請求項２】
請求項1に記載された撮像装置であって、
撮影者により操作可能な操作部と、
前記操作部の状態に応じて撮影条件を変更する撮影条件変更部とを含み、
前記制御部は、前記判定部の判定結果、及び、前記操作部の状態に基づいて制御を行うことを特徴とする撮像装置。
【請求項３】
請求項２に記載された撮像装置であって、
前記制御部は、前記操作部の状態よりも前記判定部の判定結果を優先して制御を行うことを特徴とする撮像装置。
【請求項４】
請求項1から請求項３までの何れか1項に記載された撮像装置であって、
前記判定部は、前記画像から求めた特徴量に基づいてパターン認識をすることにより、前記画像に含まれる前記被写体を判定する
ことを特徴とする撮像装置。
【請求項５】
請求項４に記載された撮像装置であって、
前記判定部は、あらかじめ複数の被写体についての複数の画像を用いて、前記複数の画像各々の前記特徴量と前記複数の被写体の各々の対象とを、前記各対象を特徴付けるパターンに基づいて関係付ける複数の統計パラメータを有し、前記複数の統計パラメータを用いた統計処理によって、前記撮像部によって撮像された前記画像における前記被写体の対象を特徴付けるパターンを認識することを特徴とする撮像装置。
ことを特徴とする撮像装置。
【請求項６】
請求項５に記載された撮像装置であって、
前記統計処理は、ニューラルネットであることを特徴とする撮像装置。
【請求項７】
請求項１から請求項６までの何れか1項に記載された撮像装置であって、
前記音声取得部は、前記音声の指向性を変更するための指向性変更回路を含むことを特徴とする撮像装置。
【請求項８】
請求項1から請求項6までの何れか1項に記載された撮像装置であって、
前記音声取得部は、それぞれ指向性の異なる複数のマイクロフォンを含み、
前記制御部は、前記判定部の判定結果に応じて前記複数のマイクロフォンのゲインを制御することを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１０−１８３２５２（Ｐ２０１０−１８３２５２Ａ）
【公開日】平成２２年８月１９日（２０１０．８．１９）
【国際特許分類】
【出願番号】特願２００９−２３７６２（Ｐ２００９−２３７６２）
【出願日】平成２１年２月４日（２００９．２．４）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２２年８月１９日（２０１０．８．１９）
【国際特許分類】
【出願日】平成２１年２月４日（２００９．２．４）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]