撮像装置およびその制御方法
【課題】被写体の画像データを記録しつつ被写体検出を行う際、処理負荷の増加により被写体検出処理が中断しないように防止する。
【解決手段】撮像装置は、撮像素子１０３による被写体の画像データの記録処理を行う記録I/F部１１２と、被写体の画像データを解析して被写体検出処理を行う被写体解析部１１４を備える。第１メモリ１２１は、画像データと、記録処理および被写体検出処理に用いるデータを記憶する。第２メモリ１２２は、被写体解析部１１４が被写体検出処理に用いるデータを記憶する負荷分散用メモリの機能をもつ。記録処理中に処理負荷が閾値より大きくなった場合、パワー制御部１１９は第２メモリ制御部１２０を介して第２メモリを動作させることで被写体解析部によるアクセスを可能とし、記録処理中に処理負荷が閾値以下になった場合、第２メモリを不動作とし、被写体解析部は第１メモリへのアクセスを行う。
【解決手段】撮像装置は、撮像素子１０３による被写体の画像データの記録処理を行う記録I/F部１１２と、被写体の画像データを解析して被写体検出処理を行う被写体解析部１１４を備える。第１メモリ１２１は、画像データと、記録処理および被写体検出処理に用いるデータを記憶する。第２メモリ１２２は、被写体解析部１１４が被写体検出処理に用いるデータを記憶する負荷分散用メモリの機能をもつ。記録処理中に処理負荷が閾値より大きくなった場合、パワー制御部１１９は第２メモリ制御部１２０を介して第２メモリを動作させることで被写体解析部によるアクセスを可能とし、記録処理中に処理負荷が閾値以下になった場合、第２メモリを不動作とし、被写体解析部は第１メモリへのアクセスを行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は被写体の画像データを記録しつつ被写体検出を行う際に用いる複数の記憶手段を備える撮像装置にてメモリ帯域を効率化する技術に関する。
【背景技術】
【０００２】
デジタルカメラやデジタルビデオカメラは、高解像度化および処理の高速化が進んでおり、システム内で共有するメモリへのアクセス帯域が逼迫し、操作応答性への影響が懸念されている。例えば、高機能化に関して被写体の検出、認識、属性（表情等）の解析についても高い精度が要求されるため、メモリへのアクセス頻度が多くなり、かつ高解像度記録処理との競合により応答性が低下することが考えられる。そこで、充分な帯域を確保するためにシステムの駆動クロック信号の周波数を上げて高速化した場合、消費電力の増加という新たな問題が生じる。
特許文献１に開示の装置では、電力消費や制御負荷による動作遅延を回避するため、再生モードにおける映像中の顔の有無情報により次回撮影時の顔検出フラグのＯＮ・ＯＦＦを切り換えている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１８７５２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の装置では、被写体の検出処理と高解像度の記録処理との間でメモリアクセスの競合が生じることにより、必要な帯域を確保できない可能性があるという問題が生じる。
図２（Ａ）は処理帯域と合焦度、被写体検出結果の関係を例示した図である。横軸は時間軸であり、縦軸にはメモリの処理帯域３０１、合焦度３０２を示す。処理帯域３０１では記録および表示処理に係るグラフを実線で示し、被写体検出処理に係るグラフを点線で示し、全体の処理に係るグラフを１点鎖線で示す。また被写体検出結果３０３については、検出処理が行われたことを「検出」で示し、検出処理が中断されたことを「打ち切り」で示す。ＦＲ０およびＦＲ１は記録開始前のフレームを示し、ＦＲ２からＦＲ６は記録開始後のフレームを示している。ＦＲ０からＦＲ４までの撮影画像は被写体にピントが合っておらず合焦度が低く、ＦＲ５およびＦＲ６の撮影画像は被写体にピントが合った状態であり、合焦度が高い。
ＦＲ０およびＦＲ１のフレームで示す記録トリガ前（ライブビュー）には、記録および表示処理に要する処理帯域は狭い。被写体にピントが合っていない場合、被写体検出の難易度が高く、メモリへのアクセス量が増えるため、フレーム周期ごとに検出結果を更新する際の処理帯域が広い。そこへ記録トリガがかかった際には、記録および表示用の処理帯域が上昇するので、記録処理中に全体の必要帯域が上限値を越えてしまう場合がある（ＦＲ２からＦＲ４参照）。結果として被写体検出はできなくなり、「打ち切り」となる。
この問題を解決するために、顔等の検出解像度を低くする方法や、処理周期を長くする方法、検出機能をオフにする方法が考えられる。しかし、これではカメラとしての機能低下につながる。また、別の解決方法として、メモリの増設や、駆動周波数を上げる方法もあるが、消費電力が増加するというデメリットがある。
そこで本発明は、被写体の画像データを記録しつつ被写体検出を行う際、処理負荷の増加により被写体検出処理が中断しないように防止することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために本発明に係る装置は、撮像素子による被写体の画像データの記録処理を行う記録処理手段と、前記被写体の画像データを解析して被写体検出処理を行う被写体解析手段と、前記画像データと、前記記録処理および前記被写体検出処理に用いるデータを記憶する第１記憶手段と、前記被写体解析手段が前記被写体検出処理に用いるデータを記憶する第２記憶手段と、記録処理中の前記被写体検出処理に係る処理負荷に応じて前記第２記憶手段の動作および不動作を制御する制御手段を備える。前記制御手段は、記録処理中に前記被写体検出処理に係る処理負荷が閾値より大きくなった場合、前記第２記憶手段を動作させることで前記被写体解析手段によるアクセスを可能とし、また記録処理中に前記被写体検出処理に係る処理負荷が閾値以下になった場合、前記第２記憶手段を不動作として前記被写体解析手段が前記第１記憶手段にアクセスを行うように制御する。
【発明の効果】
【０００６】
本発明によれば、被写体の画像データを記録しつつ被写体検出を行う際、処理負荷の増加により被写体検出処理が中断しないように防止することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施形態に係る撮像装置の要部の構成例を示す図である。
【図２】被写体検出処理の打ち切りを説明する図（Ａ）、および合焦度の変化に応じたメモリの動作制御を説明する図（Ｂ）である。
【図３】被写体の検出難易度の変化に応じたメモリの動作制御を説明する図（Ａ）、および検出処理量の変化に応じたメモリの動作制御を説明する図（Ｂ）である。
【図４】メモリの動作制御について処理例を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、図面を参照しながら本発明の実施形態を説明する。
図１は本実施形態に係る撮像装置の全体構成を例示した図である。
被写体からの光は、撮影レンズ１０１に入射し、絞り１０２で光量が調整されて、撮像素子１０３に結像する。撮像素子１０３は光電変換を行い、電気信号をＡＦＥ（Analog Front End）部１０４へ出力する。撮像信号処理を行うＡＦＥ部１０４は、入力信号を受け取り、デジタルデータへ変換して、画像処理コア１２３へ出力する。本実施形態では使用する複数の記憶手段のうち、第１記憶手段を「第１メモリ」とし、第１記憶手段よりも記憶容量の小さい第２記憶手段を「第２メモリ」とする。つまり、第２メモリは、必要最小限の時間のみ稼動する負荷分散用メモリの機能をもち、後述するように必要に応じて動作制御が行われる。画像処理コア１２３の外部に接続された第１メモリ１２１はシステム全体で処理するデータを一時的に保持する記憶手段である。これは、例えば2Gbitの記憶容量を有し、800Mbps×32bitで50Gbit/sの処理帯域をもつＬｏｗ ｐｏｗｅｒ ＤＤＲ２準拠の低消費電力メモリである。
【０００９】
次に、撮像素子１０３による被写体の画像データを処理する画像処理コア１２３の内部構成について説明する。
補正部１０５はＡＦＥ部１０４からの信号を処理してキズ補正を行う。カメラ信号処理部１０６は、いわゆる現像処理を行い、ノイズリダクション（ＮＲ）処理部１０７はノイズ除去を行う。記録用リサイズ処理部１０８は、記録画角へのリサイズ処理を行い、静止画符号化部１０９は静止画記録時の符号化処理を行い、動画符号化部１１０は動画記録時の符号化処理を行う。表示Ｉ／Ｆ部１１１は、表示デバイスに画像表示を行うためにＨＤＭＩ端子搭載機器やＥＶＦ、表示パネルなどに信号を出力するインタフェース部である。ＨＤＭＩは“High Definition Multimedia Interface”の略号であり、ＥＶＦは“Electronic View Finder”の略号である。
【００１０】
記録Ｉ／Ｆ部１１２は記録媒体へ被写体の画像データの記録処理を行うためのインタフェース部である。記録Ｉ／Ｆ部１１２は、例えばＳＡＴＡやＵＳＢ対応デバイス、メモリカードなどとの間でデータを送受する。ＳＡＴＡは“Serial Advanced Technology Attachment”の略号であり、ＵＳＢは“Universal Serial Bus”の略号である。解析用リサイズ処理部１１３は、被写体検出処理が実現可能な程度の画角へのリサイズ処理を行い、リサイズ処理された画像データは、被写体解析部１１４が読み込んで被写体検出処理を行う。第２メモリ１２２は画像処理コア１２３に内蔵されたＳＲＡＭ（Static Random Access Memory）である。第２メモリ制御部１２０は第２メモリ１２２へのアクセスを制御する。画像処理コア１２３で実行される各処理はメモリアサイン制御部１２４により調停され、第１メモリ１２１または第２メモリ１２２へのシーケンシャルなアクセスにより実行される。合焦度算出部１１６は被写体解析部１１４からの被写体解析結果および撮像素子１０３からＡＦＥ部１０４を介して画像データを取得してフォーカス制御やＡＥ（自動露出）制御のためのパラメータを算出し、撮影制御部１１５へ出力する。該パラメータには、焦点調節制御に用いるＡＦ（オートフォーカス）評価値が含まれ、ＡＦ評価値から合焦度情報が生成される。
撮影制御部１１５は前記パラメータおよび撮影者の操作指示による動画記録トリガ信号および静止画記録トリガ信号を受け取って、撮影レンズ１０１、絞り１０２、撮像素子１０３の駆動を制御する。超過帯域予測部１１８は合焦度算出部１１６からの合焦度情報と、被写体解析部１１４からの検出状況の情報を用いて制御負荷を推測し、第１メモリ１２１に係るアクセス帯域の超過の有無を判別する。合焦度情報とは被写体にピントが合っている度合いを表す情報であり、ピントが合っているほど高い値を示す。また検出状況の情報とは、例えば、被写体の数または撮影方向に対する被写体の角度などの情報である。超過帯域予測部１１８は、合焦度や検出状況の情報をフレーム単位での履歴情報として保持し、当該情報から処理負荷を推測する。パワー制御部１１９は、アクセス帯域超過の予測情報に基づき、第２メモリ制御部１２０を介して、第２メモリ１２２の動作（ＯＮ）および不動作（ＯＦＦ）を制御する。このように、超過帯域予測部１１８、パワー制御部１１９、第２メモリ制御部１２０は、記録処理中における被写体検出の処理負荷に応じて第２メモリ１２２の動作および不動作を制御する。
【００１１】
図２（Ｂ）は処理帯域と合焦度、第２メモリ１２２の動作状態、被写体検出結果の関係を例示した図である。横軸に時間軸をとり、縦軸には第１メモリ１２１に係る処理帯域４０１と、合焦度４０２を示し、さらに第２メモリ１２２のオン・オフ状態４０３、被写体検出結果４０４を示している。なお、フレームＦＲ０からＦＲ６については図２（Ａ）にて説明した通りである。超過帯域予測部１１８は、合焦度情報をフレーム単位での履歴情報として保持している。
合焦度４０２の推移から分かるように、フレームＦＲ０からＦＲ４までの間は被写体にピントが合っておらず、合焦度は判定レベル（閾値）以下である。その後、フレームＦＲ５およびＦＲ６では被写体にピントが合うので、合焦度が判定レベルより大きくなる。第２メモリ１２２のオン・オフ状態４０３の推移については、記録前のフレームＦＲ０およびＦＲ１でオフ状態である。記録が開始すると第２メモリ１２２がオン状態となる。記録開始後に合焦度が判定レベル以下である場合には、メモリアクセス頻度が多くなるため、第２メモリ制御部１２０は、次のフレーム処理で第２メモリ１２２をオン状態として動作させる。例えばフレームＦＲ２での合焦度は判定レベル以下であるため、次フレームＦＲ３で第２メモリ１２２がオン状態となる。被写体検出処理では第２メモリ１２２へのアクセスを行うことにより、第１メモリ１２１の負荷を軽減できる。一方、記録処理中に合焦度が判定レベルより大きい場合には、メモリアクセス頻度が少なくなるので、第２メモリ制御部１２０は第２メモリ１２２をオフ状態にする。この場合、被写体検出処理は第１メモリ１２１へのアクセスにより行われ、消費電力を節減できる。フレームＦＲ５で合焦度は判定レベルを超え、次フレームＦＲ６で第２メモリ制御部１２０は第２メモリ１２２をオフ状態とする。上記処理の結果、記録処理中に必要帯域が処理帯域４０１の上限値を超えることはないので、ＦＲ０からＦＲ６の期間中に被写体検出結果４０４が「打ち切り」になることはない。
【００１２】
図３（Ａ）は処理帯域５０１と検出難易度５０２、第２メモリ１２２の動作状態５０３、被写体検出結果５０４の関係を例示した図である。横軸に時間軸を示し、縦軸には第１メモリ１２１に係る処理帯域５０１と検出難易度５０２を示し、それらの下に第２メモリ１２２の動作状態と被写体検出結果５０４の推移を示す。
図３（Ａ）と、図２（Ａ）および（Ｂ）との相違点は、合焦度に代えて検出難易度５０２を用いて超過帯域予測部１１８およびパワー制御部１１９により、第２メモリ１２２の動作状態を制御していることである。この場合、検出難易度とは、被写体角度から推定される被写体検出の難易度であり、検出難易度が高いほど検出がより困難であることを示す。被写体角度については既知の方法により、例えば撮影方向、つまり正面に対して直交する方向を基準として、顔が向いている角度のずれが検出される。被写体角度が大きいほど、検出難易度が大きいものとする。フレームＦＲ０からＦＲ４では、主被写体である顔が正面とは異なる方向を向いている。つまり、被写体角度が正面からずれており、検出難易度は判定レベルより大きい。また、フレームＦＲ５およびＦＲ６では、主被写体である顔が正面を向いており、検出難易度が判定レベル以下である。超過帯域予測部１１８は、撮影方向に対する被写体の角度を示す情報または検出難易度の情報をフレーム単位での履歴情報として保持している。
第２メモリ１２２の動作状態５０３の推移において、フレームＦＲ０およびＦＲ１で示す記録前には第２メモリ１２２がオフ状態である。記録開始後、検出難易度が判定レベルより大きい場合、メモリアクセス頻度が多くなるため、次のフレーム処理で第２メモリ制御部１２０は第２メモリ１２２をオン状態とする。例えば、フレームＦＲ２での検出難易度は判定レベル以上であるため、次フレームＦＲ３で第２メモリ１２２はオン状態である。被写体検出処理では第２メモリ１２２へのアクセスが行われるので、第１メモリ１２１の負荷を軽減できる。また記録開始後に検出難易度が判定レベル未満であれば、メモリアクセス頻度が少なくなるので、第２メモリ制御部１２０は第２メモリ１２２をオフ状態にする。例えば、フレームＦＲ５での検出難易度は判定レベル以下であるため、次フレームＦＲ６での第２メモリ１２２はオフ状態となる。被写体検出処理では第１メモリ１２１へのアクセスが行われるので、消費電力を節減できる。上記処理の結果、記録処理中に必要帯域が処理帯域５０１の上限値を超えることはないので、ＦＲ０からＦＲ６の期間中に被写体検出結果５０４が「打ち切り」となることはない。
【００１３】
図３（Ｂ）は第１メモリ１２１に係る処理帯域６０１と検出処理量６０２、第２メモリ１２２の動作状態６０３、被写体検出結果６０４の関係を例示した図である。図３（Ａ）との相違点はＦＲ０からＦＲ４に示す撮像画像に複数の被写体が写っていることである。図３（Ｂ）では検出難易度に代えて検出処理量６０２の推移を示す。検出処理量とは、被写体の個数から推定される被写体検出に要する処理量であり、検出個数が多いほど検出処理量が大きくなるものとする。フレームＦＲ０からＦＲ４では被写体の検出処理量が判定レベルより大きく、フレームＦＲ５およびＦＲ６では被写体の検出処理量が判定レベル以下である。超過帯域予測部１１８は、被写体の数を示す情報または検出処理量の情報をフレーム単位での履歴情報として保持している。
記録開始前のフレームＦＲ０およびＦＲ１にて第２メモリ制御部１２０は第２メモリ１２２をオフ状態とする。記録開始後に検出処理量が判定レベルより大きい場合、メモリアクセス頻度が多くなるため、次のフレーム処理で第２メモリ制御部１２０は第２メモリ１２２をオン状態にする。例えば、フレームＦＲ２での検出処理量は判定レベルより大きいため、次フレームＦＲ３で第２メモリ１２２がオン状態である。被写体検出処理では第２メモリ１２２へのアクセスを行うことにより、第１メモリ１２１の負荷を軽減できる。また記録開始後、検出処理量が判定レベル以下になった場合、メモリアクセス頻度が少なくなるので、第２メモリ制御部１２０は第２メモリ１２２をオフ状態とする。例えば、フレームＦＲ５での検出処理量は判定レベル以下であるため、次フレームＦＲ６で第２メモリ１２２がオフ状態となる。被写体検出処理では第１メモリ１２１へのアクセスが行われ、消費電力を節減できる。上記処理の結果、記録処理中に必要帯域が処理帯域６０１の上限値を超えることはないので、ＦＲ０からＦＲ６の期間中に被写体検出結果６０４が「打ち切り」となることはない。
なお、図２（Ｂ）、図３（Ａ）および（Ｂ）に示す各処理では、フレームごとに取得した検出状況の情報を、次のフレームでのメモリ動作制御に反映させているが、複数のフレームに亘る履歴から得られる統計情報をメモリ動作制御に反映させてもよい。
【００１４】
次に図４のフローチャートを参照してメモリの動作制御について説明する。
ユーザの電源投入操作により装置の電源がオン状態となり（Ｓ７０１）、起動シーケンスが実行される（Ｓ７０２）。起動時には第２メモリ１２２はオフ状態である。撮影制御部１１５はフレーム同期パルスの有無について判定し（Ｓ７０３）、該パルスが検出された場合、Ｓ７０４に進み、未検出の場合にはＳ７０３の判定処理が繰り返される。
Ｓ７０４で、撮影制御部１１５は、記録トリガ信号の有無を判別することで、記録開始が指示されたか否かを判定する。記録開始の指示がないと判定された場合、Ｓ７０６に進み、解析用リサイズ処理部１１３は撮影画像のリサイズ処理を行う。次にＳ７０７に進み、被写体解析部１１４は被写体検出処理を行う。一方、Ｓ７０４で記録開始の指示があったと判定された場合、Ｓ７０５に処理を進め、記録および検出の並行処理が行われる。つまり、記録用リサイズや符号化などを含めた、撮影画像データの記録処理と、Ｓ７０６およびＳ７０７で説明した被写体検出処理が並列に実行される。
Ｓ７０５やＳ７０７の処理後、Ｓ７０８に進む。超過帯域予測部１１８は、合焦度、被写体の数、撮影方向に対する被写体の角度を示す情報をフレーム単位での履歴情報として保持している。超過帯域予測部１１８は合焦度算出部１１６から合焦度情報を取得して、閾値と比較することで合焦度判別を行う。合焦度が閾値未満の場合、Ｓ７１２に進み、閾値以上の場合、Ｓ７０９に進む。超過帯域予測部１１８は被写体解析部１１４からの検出状況の情報より、被写体人数を判別する。本例では被写体の検出処理量に関し、検出人数が閾値より大きいか、または閾値以下であるかについて判定される。記録処理中の被写体の検出人数が閾値より大きい場合、Ｓ７１１に進み、閾値以下の場合、Ｓ７１０に進む。超過帯域予測部１１８は被写体解析部１１４からの検出状況の情報より、被写体角度を判別する。記録処理中の被写体角度の検出値が閾値より大きい場合、Ｓ７１１に進み、閾値以下の場合、Ｓ７１２に進む。
【００１５】
「合焦度＜閾値」または「検出人数＞閾値」または「検出角度＞閾値」の場合、Ｓ７１１でパワー制御部１１９は、超過帯域予測部１１８からの予測情報に従い、第２メモリ制御部１２０を介して、第２メモリ１２２をオン状態にする。一方、「合焦度≧閾値」かつ「検出人数≦閾値」かつ「検出角度≦閾値」の場合、Ｓ７１２でパワー制御部１１９は、超過帯域予測部１１８からの予測情報に従い、第２メモリ制御部１２０を介して、第２メモリ１２２をオフ状態にする。Ｓ７１１やＳ７１２の処理後、Ｓ７０３に戻り、次のフレーム同期パルスが検出されるまでの間、待機状態となる。
本実施形態によれば、合焦度や被写体検出状況を参照し、必要最小限の期間のみ第２メモリ１２２を稼動させるにより、記録処理中における処理負荷の増加による被写体検出の中断を防止できる。また、処理負荷が低下した場合には、第２メモリ１２２を不動作とすることで消費電力を削減できる。
なお、上述の例では第１メモリ１２１を画像処理コア１２３に接続した外部メモリとし、第２メモリ１２２を画像処理コア１２３の内蔵メモリとした。つまり、画像処理コア１２３を構成する集積回路の外部に接続された第１メモリ１２１はＤＲＡＭ（Dynamic Random Access Memory）である。また、第２メモリ１２２は集積回路に内蔵されたＳＲＡＭ（Static Random Access Memory）である。
これに限らず、第１メモリ１２１および第２メモリ１２２を画像処理コア１２３の外部に設けた変形例も可能である。例えば、第１メモリ１２１は、800Mbps×32bitで25Gbit/sの処理帯域と2Gbitの容量を持ち、画像処理コア１２３の外部で接続されるＬｏｗ ｐｏｗｅｒ ＤＤＲ２準拠の低消費電力メモリである。また第２メモリ１２２（図１の破線枠参照）は、200Mbps×8bitで1.6Gbit/sの処理帯域と64Mbitの容量を持ち、被写体検出処理用のデータ保持に使用されるＭｏｂｉｌｅ ＤＤＲ準拠のメモリである。両メモリとも集積回路の外部で接続されるＤＲＡＭであるが、第１メモリ１２１の記憶容量に比して第２メモリ１２２の記憶容量は小さい。
【符号の説明】
【００１６】
１０３ 撮像素子
１１２ 記録Ｉ／Ｆ部
１１４ 被写体解析部
１１５ 撮影制御部
１１６ 合焦度算出部
１１７ 第１メモリ制御部
１１８ 超過帯域予測部
１１９ パワー制御部
１２０ 第２メモリ制御部
１２１ 第１メモリ
１２２ 第２メモリ
【技術分野】
【０００１】
本発明は被写体の画像データを記録しつつ被写体検出を行う際に用いる複数の記憶手段を備える撮像装置にてメモリ帯域を効率化する技術に関する。
【背景技術】
【０００２】
デジタルカメラやデジタルビデオカメラは、高解像度化および処理の高速化が進んでおり、システム内で共有するメモリへのアクセス帯域が逼迫し、操作応答性への影響が懸念されている。例えば、高機能化に関して被写体の検出、認識、属性（表情等）の解析についても高い精度が要求されるため、メモリへのアクセス頻度が多くなり、かつ高解像度記録処理との競合により応答性が低下することが考えられる。そこで、充分な帯域を確保するためにシステムの駆動クロック信号の周波数を上げて高速化した場合、消費電力の増加という新たな問題が生じる。
特許文献１に開示の装置では、電力消費や制御負荷による動作遅延を回避するため、再生モードにおける映像中の顔の有無情報により次回撮影時の顔検出フラグのＯＮ・ＯＦＦを切り換えている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１８７５２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の装置では、被写体の検出処理と高解像度の記録処理との間でメモリアクセスの競合が生じることにより、必要な帯域を確保できない可能性があるという問題が生じる。
図２（Ａ）は処理帯域と合焦度、被写体検出結果の関係を例示した図である。横軸は時間軸であり、縦軸にはメモリの処理帯域３０１、合焦度３０２を示す。処理帯域３０１では記録および表示処理に係るグラフを実線で示し、被写体検出処理に係るグラフを点線で示し、全体の処理に係るグラフを１点鎖線で示す。また被写体検出結果３０３については、検出処理が行われたことを「検出」で示し、検出処理が中断されたことを「打ち切り」で示す。ＦＲ０およびＦＲ１は記録開始前のフレームを示し、ＦＲ２からＦＲ６は記録開始後のフレームを示している。ＦＲ０からＦＲ４までの撮影画像は被写体にピントが合っておらず合焦度が低く、ＦＲ５およびＦＲ６の撮影画像は被写体にピントが合った状態であり、合焦度が高い。
ＦＲ０およびＦＲ１のフレームで示す記録トリガ前（ライブビュー）には、記録および表示処理に要する処理帯域は狭い。被写体にピントが合っていない場合、被写体検出の難易度が高く、メモリへのアクセス量が増えるため、フレーム周期ごとに検出結果を更新する際の処理帯域が広い。そこへ記録トリガがかかった際には、記録および表示用の処理帯域が上昇するので、記録処理中に全体の必要帯域が上限値を越えてしまう場合がある（ＦＲ２からＦＲ４参照）。結果として被写体検出はできなくなり、「打ち切り」となる。
この問題を解決するために、顔等の検出解像度を低くする方法や、処理周期を長くする方法、検出機能をオフにする方法が考えられる。しかし、これではカメラとしての機能低下につながる。また、別の解決方法として、メモリの増設や、駆動周波数を上げる方法もあるが、消費電力が増加するというデメリットがある。
そこで本発明は、被写体の画像データを記録しつつ被写体検出を行う際、処理負荷の増加により被写体検出処理が中断しないように防止することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために本発明に係る装置は、撮像素子による被写体の画像データの記録処理を行う記録処理手段と、前記被写体の画像データを解析して被写体検出処理を行う被写体解析手段と、前記画像データと、前記記録処理および前記被写体検出処理に用いるデータを記憶する第１記憶手段と、前記被写体解析手段が前記被写体検出処理に用いるデータを記憶する第２記憶手段と、記録処理中の前記被写体検出処理に係る処理負荷に応じて前記第２記憶手段の動作および不動作を制御する制御手段を備える。前記制御手段は、記録処理中に前記被写体検出処理に係る処理負荷が閾値より大きくなった場合、前記第２記憶手段を動作させることで前記被写体解析手段によるアクセスを可能とし、また記録処理中に前記被写体検出処理に係る処理負荷が閾値以下になった場合、前記第２記憶手段を不動作として前記被写体解析手段が前記第１記憶手段にアクセスを行うように制御する。
【発明の効果】
【０００６】
本発明によれば、被写体の画像データを記録しつつ被写体検出を行う際、処理負荷の増加により被写体検出処理が中断しないように防止することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施形態に係る撮像装置の要部の構成例を示す図である。
【図２】被写体検出処理の打ち切りを説明する図（Ａ）、および合焦度の変化に応じたメモリの動作制御を説明する図（Ｂ）である。
【図３】被写体の検出難易度の変化に応じたメモリの動作制御を説明する図（Ａ）、および検出処理量の変化に応じたメモリの動作制御を説明する図（Ｂ）である。
【図４】メモリの動作制御について処理例を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、図面を参照しながら本発明の実施形態を説明する。
図１は本実施形態に係る撮像装置の全体構成を例示した図である。
被写体からの光は、撮影レンズ１０１に入射し、絞り１０２で光量が調整されて、撮像素子１０３に結像する。撮像素子１０３は光電変換を行い、電気信号をＡＦＥ（Analog Front End）部１０４へ出力する。撮像信号処理を行うＡＦＥ部１０４は、入力信号を受け取り、デジタルデータへ変換して、画像処理コア１２３へ出力する。本実施形態では使用する複数の記憶手段のうち、第１記憶手段を「第１メモリ」とし、第１記憶手段よりも記憶容量の小さい第２記憶手段を「第２メモリ」とする。つまり、第２メモリは、必要最小限の時間のみ稼動する負荷分散用メモリの機能をもち、後述するように必要に応じて動作制御が行われる。画像処理コア１２３の外部に接続された第１メモリ１２１はシステム全体で処理するデータを一時的に保持する記憶手段である。これは、例えば2Gbitの記憶容量を有し、800Mbps×32bitで50Gbit/sの処理帯域をもつＬｏｗ ｐｏｗｅｒ ＤＤＲ２準拠の低消費電力メモリである。
【０００９】
次に、撮像素子１０３による被写体の画像データを処理する画像処理コア１２３の内部構成について説明する。
補正部１０５はＡＦＥ部１０４からの信号を処理してキズ補正を行う。カメラ信号処理部１０６は、いわゆる現像処理を行い、ノイズリダクション（ＮＲ）処理部１０７はノイズ除去を行う。記録用リサイズ処理部１０８は、記録画角へのリサイズ処理を行い、静止画符号化部１０９は静止画記録時の符号化処理を行い、動画符号化部１１０は動画記録時の符号化処理を行う。表示Ｉ／Ｆ部１１１は、表示デバイスに画像表示を行うためにＨＤＭＩ端子搭載機器やＥＶＦ、表示パネルなどに信号を出力するインタフェース部である。ＨＤＭＩは“High Definition Multimedia Interface”の略号であり、ＥＶＦは“Electronic View Finder”の略号である。
【００１０】
記録Ｉ／Ｆ部１１２は記録媒体へ被写体の画像データの記録処理を行うためのインタフェース部である。記録Ｉ／Ｆ部１１２は、例えばＳＡＴＡやＵＳＢ対応デバイス、メモリカードなどとの間でデータを送受する。ＳＡＴＡは“Serial Advanced Technology Attachment”の略号であり、ＵＳＢは“Universal Serial Bus”の略号である。解析用リサイズ処理部１１３は、被写体検出処理が実現可能な程度の画角へのリサイズ処理を行い、リサイズ処理された画像データは、被写体解析部１１４が読み込んで被写体検出処理を行う。第２メモリ１２２は画像処理コア１２３に内蔵されたＳＲＡＭ（Static Random Access Memory）である。第２メモリ制御部１２０は第２メモリ１２２へのアクセスを制御する。画像処理コア１２３で実行される各処理はメモリアサイン制御部１２４により調停され、第１メモリ１２１または第２メモリ１２２へのシーケンシャルなアクセスにより実行される。合焦度算出部１１６は被写体解析部１１４からの被写体解析結果および撮像素子１０３からＡＦＥ部１０４を介して画像データを取得してフォーカス制御やＡＥ（自動露出）制御のためのパラメータを算出し、撮影制御部１１５へ出力する。該パラメータには、焦点調節制御に用いるＡＦ（オートフォーカス）評価値が含まれ、ＡＦ評価値から合焦度情報が生成される。
撮影制御部１１５は前記パラメータおよび撮影者の操作指示による動画記録トリガ信号および静止画記録トリガ信号を受け取って、撮影レンズ１０１、絞り１０２、撮像素子１０３の駆動を制御する。超過帯域予測部１１８は合焦度算出部１１６からの合焦度情報と、被写体解析部１１４からの検出状況の情報を用いて制御負荷を推測し、第１メモリ１２１に係るアクセス帯域の超過の有無を判別する。合焦度情報とは被写体にピントが合っている度合いを表す情報であり、ピントが合っているほど高い値を示す。また検出状況の情報とは、例えば、被写体の数または撮影方向に対する被写体の角度などの情報である。超過帯域予測部１１８は、合焦度や検出状況の情報をフレーム単位での履歴情報として保持し、当該情報から処理負荷を推測する。パワー制御部１１９は、アクセス帯域超過の予測情報に基づき、第２メモリ制御部１２０を介して、第２メモリ１２２の動作（ＯＮ）および不動作（ＯＦＦ）を制御する。このように、超過帯域予測部１１８、パワー制御部１１９、第２メモリ制御部１２０は、記録処理中における被写体検出の処理負荷に応じて第２メモリ１２２の動作および不動作を制御する。
【００１１】
図２（Ｂ）は処理帯域と合焦度、第２メモリ１２２の動作状態、被写体検出結果の関係を例示した図である。横軸に時間軸をとり、縦軸には第１メモリ１２１に係る処理帯域４０１と、合焦度４０２を示し、さらに第２メモリ１２２のオン・オフ状態４０３、被写体検出結果４０４を示している。なお、フレームＦＲ０からＦＲ６については図２（Ａ）にて説明した通りである。超過帯域予測部１１８は、合焦度情報をフレーム単位での履歴情報として保持している。
合焦度４０２の推移から分かるように、フレームＦＲ０からＦＲ４までの間は被写体にピントが合っておらず、合焦度は判定レベル（閾値）以下である。その後、フレームＦＲ５およびＦＲ６では被写体にピントが合うので、合焦度が判定レベルより大きくなる。第２メモリ１２２のオン・オフ状態４０３の推移については、記録前のフレームＦＲ０およびＦＲ１でオフ状態である。記録が開始すると第２メモリ１２２がオン状態となる。記録開始後に合焦度が判定レベル以下である場合には、メモリアクセス頻度が多くなるため、第２メモリ制御部１２０は、次のフレーム処理で第２メモリ１２２をオン状態として動作させる。例えばフレームＦＲ２での合焦度は判定レベル以下であるため、次フレームＦＲ３で第２メモリ１２２がオン状態となる。被写体検出処理では第２メモリ１２２へのアクセスを行うことにより、第１メモリ１２１の負荷を軽減できる。一方、記録処理中に合焦度が判定レベルより大きい場合には、メモリアクセス頻度が少なくなるので、第２メモリ制御部１２０は第２メモリ１２２をオフ状態にする。この場合、被写体検出処理は第１メモリ１２１へのアクセスにより行われ、消費電力を節減できる。フレームＦＲ５で合焦度は判定レベルを超え、次フレームＦＲ６で第２メモリ制御部１２０は第２メモリ１２２をオフ状態とする。上記処理の結果、記録処理中に必要帯域が処理帯域４０１の上限値を超えることはないので、ＦＲ０からＦＲ６の期間中に被写体検出結果４０４が「打ち切り」になることはない。
【００１２】
図３（Ａ）は処理帯域５０１と検出難易度５０２、第２メモリ１２２の動作状態５０３、被写体検出結果５０４の関係を例示した図である。横軸に時間軸を示し、縦軸には第１メモリ１２１に係る処理帯域５０１と検出難易度５０２を示し、それらの下に第２メモリ１２２の動作状態と被写体検出結果５０４の推移を示す。
図３（Ａ）と、図２（Ａ）および（Ｂ）との相違点は、合焦度に代えて検出難易度５０２を用いて超過帯域予測部１１８およびパワー制御部１１９により、第２メモリ１２２の動作状態を制御していることである。この場合、検出難易度とは、被写体角度から推定される被写体検出の難易度であり、検出難易度が高いほど検出がより困難であることを示す。被写体角度については既知の方法により、例えば撮影方向、つまり正面に対して直交する方向を基準として、顔が向いている角度のずれが検出される。被写体角度が大きいほど、検出難易度が大きいものとする。フレームＦＲ０からＦＲ４では、主被写体である顔が正面とは異なる方向を向いている。つまり、被写体角度が正面からずれており、検出難易度は判定レベルより大きい。また、フレームＦＲ５およびＦＲ６では、主被写体である顔が正面を向いており、検出難易度が判定レベル以下である。超過帯域予測部１１８は、撮影方向に対する被写体の角度を示す情報または検出難易度の情報をフレーム単位での履歴情報として保持している。
第２メモリ１２２の動作状態５０３の推移において、フレームＦＲ０およびＦＲ１で示す記録前には第２メモリ１２２がオフ状態である。記録開始後、検出難易度が判定レベルより大きい場合、メモリアクセス頻度が多くなるため、次のフレーム処理で第２メモリ制御部１２０は第２メモリ１２２をオン状態とする。例えば、フレームＦＲ２での検出難易度は判定レベル以上であるため、次フレームＦＲ３で第２メモリ１２２はオン状態である。被写体検出処理では第２メモリ１２２へのアクセスが行われるので、第１メモリ１２１の負荷を軽減できる。また記録開始後に検出難易度が判定レベル未満であれば、メモリアクセス頻度が少なくなるので、第２メモリ制御部１２０は第２メモリ１２２をオフ状態にする。例えば、フレームＦＲ５での検出難易度は判定レベル以下であるため、次フレームＦＲ６での第２メモリ１２２はオフ状態となる。被写体検出処理では第１メモリ１２１へのアクセスが行われるので、消費電力を節減できる。上記処理の結果、記録処理中に必要帯域が処理帯域５０１の上限値を超えることはないので、ＦＲ０からＦＲ６の期間中に被写体検出結果５０４が「打ち切り」となることはない。
【００１３】
図３（Ｂ）は第１メモリ１２１に係る処理帯域６０１と検出処理量６０２、第２メモリ１２２の動作状態６０３、被写体検出結果６０４の関係を例示した図である。図３（Ａ）との相違点はＦＲ０からＦＲ４に示す撮像画像に複数の被写体が写っていることである。図３（Ｂ）では検出難易度に代えて検出処理量６０２の推移を示す。検出処理量とは、被写体の個数から推定される被写体検出に要する処理量であり、検出個数が多いほど検出処理量が大きくなるものとする。フレームＦＲ０からＦＲ４では被写体の検出処理量が判定レベルより大きく、フレームＦＲ５およびＦＲ６では被写体の検出処理量が判定レベル以下である。超過帯域予測部１１８は、被写体の数を示す情報または検出処理量の情報をフレーム単位での履歴情報として保持している。
記録開始前のフレームＦＲ０およびＦＲ１にて第２メモリ制御部１２０は第２メモリ１２２をオフ状態とする。記録開始後に検出処理量が判定レベルより大きい場合、メモリアクセス頻度が多くなるため、次のフレーム処理で第２メモリ制御部１２０は第２メモリ１２２をオン状態にする。例えば、フレームＦＲ２での検出処理量は判定レベルより大きいため、次フレームＦＲ３で第２メモリ１２２がオン状態である。被写体検出処理では第２メモリ１２２へのアクセスを行うことにより、第１メモリ１２１の負荷を軽減できる。また記録開始後、検出処理量が判定レベル以下になった場合、メモリアクセス頻度が少なくなるので、第２メモリ制御部１２０は第２メモリ１２２をオフ状態とする。例えば、フレームＦＲ５での検出処理量は判定レベル以下であるため、次フレームＦＲ６で第２メモリ１２２がオフ状態となる。被写体検出処理では第１メモリ１２１へのアクセスが行われ、消費電力を節減できる。上記処理の結果、記録処理中に必要帯域が処理帯域６０１の上限値を超えることはないので、ＦＲ０からＦＲ６の期間中に被写体検出結果６０４が「打ち切り」となることはない。
なお、図２（Ｂ）、図３（Ａ）および（Ｂ）に示す各処理では、フレームごとに取得した検出状況の情報を、次のフレームでのメモリ動作制御に反映させているが、複数のフレームに亘る履歴から得られる統計情報をメモリ動作制御に反映させてもよい。
【００１４】
次に図４のフローチャートを参照してメモリの動作制御について説明する。
ユーザの電源投入操作により装置の電源がオン状態となり（Ｓ７０１）、起動シーケンスが実行される（Ｓ７０２）。起動時には第２メモリ１２２はオフ状態である。撮影制御部１１５はフレーム同期パルスの有無について判定し（Ｓ７０３）、該パルスが検出された場合、Ｓ７０４に進み、未検出の場合にはＳ７０３の判定処理が繰り返される。
Ｓ７０４で、撮影制御部１１５は、記録トリガ信号の有無を判別することで、記録開始が指示されたか否かを判定する。記録開始の指示がないと判定された場合、Ｓ７０６に進み、解析用リサイズ処理部１１３は撮影画像のリサイズ処理を行う。次にＳ７０７に進み、被写体解析部１１４は被写体検出処理を行う。一方、Ｓ７０４で記録開始の指示があったと判定された場合、Ｓ７０５に処理を進め、記録および検出の並行処理が行われる。つまり、記録用リサイズや符号化などを含めた、撮影画像データの記録処理と、Ｓ７０６およびＳ７０７で説明した被写体検出処理が並列に実行される。
Ｓ７０５やＳ７０７の処理後、Ｓ７０８に進む。超過帯域予測部１１８は、合焦度、被写体の数、撮影方向に対する被写体の角度を示す情報をフレーム単位での履歴情報として保持している。超過帯域予測部１１８は合焦度算出部１１６から合焦度情報を取得して、閾値と比較することで合焦度判別を行う。合焦度が閾値未満の場合、Ｓ７１２に進み、閾値以上の場合、Ｓ７０９に進む。超過帯域予測部１１８は被写体解析部１１４からの検出状況の情報より、被写体人数を判別する。本例では被写体の検出処理量に関し、検出人数が閾値より大きいか、または閾値以下であるかについて判定される。記録処理中の被写体の検出人数が閾値より大きい場合、Ｓ７１１に進み、閾値以下の場合、Ｓ７１０に進む。超過帯域予測部１１８は被写体解析部１１４からの検出状況の情報より、被写体角度を判別する。記録処理中の被写体角度の検出値が閾値より大きい場合、Ｓ７１１に進み、閾値以下の場合、Ｓ７１２に進む。
【００１５】
「合焦度＜閾値」または「検出人数＞閾値」または「検出角度＞閾値」の場合、Ｓ７１１でパワー制御部１１９は、超過帯域予測部１１８からの予測情報に従い、第２メモリ制御部１２０を介して、第２メモリ１２２をオン状態にする。一方、「合焦度≧閾値」かつ「検出人数≦閾値」かつ「検出角度≦閾値」の場合、Ｓ７１２でパワー制御部１１９は、超過帯域予測部１１８からの予測情報に従い、第２メモリ制御部１２０を介して、第２メモリ１２２をオフ状態にする。Ｓ７１１やＳ７１２の処理後、Ｓ７０３に戻り、次のフレーム同期パルスが検出されるまでの間、待機状態となる。
本実施形態によれば、合焦度や被写体検出状況を参照し、必要最小限の期間のみ第２メモリ１２２を稼動させるにより、記録処理中における処理負荷の増加による被写体検出の中断を防止できる。また、処理負荷が低下した場合には、第２メモリ１２２を不動作とすることで消費電力を削減できる。
なお、上述の例では第１メモリ１２１を画像処理コア１２３に接続した外部メモリとし、第２メモリ１２２を画像処理コア１２３の内蔵メモリとした。つまり、画像処理コア１２３を構成する集積回路の外部に接続された第１メモリ１２１はＤＲＡＭ（Dynamic Random Access Memory）である。また、第２メモリ１２２は集積回路に内蔵されたＳＲＡＭ（Static Random Access Memory）である。
これに限らず、第１メモリ１２１および第２メモリ１２２を画像処理コア１２３の外部に設けた変形例も可能である。例えば、第１メモリ１２１は、800Mbps×32bitで25Gbit/sの処理帯域と2Gbitの容量を持ち、画像処理コア１２３の外部で接続されるＬｏｗ ｐｏｗｅｒ ＤＤＲ２準拠の低消費電力メモリである。また第２メモリ１２２（図１の破線枠参照）は、200Mbps×8bitで1.6Gbit/sの処理帯域と64Mbitの容量を持ち、被写体検出処理用のデータ保持に使用されるＭｏｂｉｌｅ ＤＤＲ準拠のメモリである。両メモリとも集積回路の外部で接続されるＤＲＡＭであるが、第１メモリ１２１の記憶容量に比して第２メモリ１２２の記憶容量は小さい。
【符号の説明】
【００１６】
１０３ 撮像素子
１１２ 記録Ｉ／Ｆ部
１１４ 被写体解析部
１１５ 撮影制御部
１１６ 合焦度算出部
１１７ 第１メモリ制御部
１１８ 超過帯域予測部
１１９ パワー制御部
１２０ 第２メモリ制御部
１２１ 第１メモリ
１２２ 第２メモリ
【特許請求の範囲】
【請求項１】
撮像素子による被写体の画像データの記録処理を行う記録処理手段と、
前記被写体の画像データを解析して被写体検出処理を行う被写体解析手段と、
前記画像データと、前記記録処理および前記被写体検出処理に用いるデータを記憶する第１記憶手段と、
前記被写体解析手段が前記被写体検出処理に用いるデータを記憶する第２記憶手段と、
記録処理中の前記被写体検出処理に係る処理負荷に応じて前記第２記憶手段の動作および不動作を制御する制御手段を備え、
前記制御手段は、記録処理中に前記被写体検出処理に係る処理負荷が閾値より大きくなった場合、前記第２記憶手段を動作させることで前記被写体解析手段によるアクセスを可能とし、また記録処理中に前記被写体検出処理に係る処理負荷が閾値以下になった場合、前記第２記憶手段を不動作として前記被写体解析手段が前記第１記憶手段にアクセスを行うように制御することを特徴とする撮像装置。
【請求項２】
前記被写体の画像データから算出した焦点調節に用いる評価値より合焦度情報を生成する合焦度算出手段をさらに備え、
前記制御手段は、前記合焦度算出手段から前記合焦度情報を取得して閾値と比較し、記録処理中の前記合焦度が閾値以下である場合、前記処理負荷が大きいと判定して前記第２記憶手段を動作させ、記録処理中の前記合焦度が閾値より大きい場合、前記処理負荷が小さいと判定して前記第２記憶手段を不動作とすることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記被写体解析手段は前記被写体の画像データから該被写体の数または撮影方向に対する該被写体の角度を検出することにより検出難易度を算出し、
前記制御手段は、前記検出難易度を取得して閾値と比較し、記録処理中の前記検出難易度が閾値より大きい場合、前記処理負荷が大きいと判定して前記第２記憶手段を動作させ、記録処理中の前記検出難易度が閾値以下である場合、前記処理負荷が小さいと判定して前記第２記憶手段を不動作とすることを特徴とする請求項１記載の撮像装置。
【請求項４】
前記被写体解析手段は、撮影方向に対する前記被写体の角度を検出し、撮影方向を基準とする前記被写体の角度のずれが大きいほど、前記検出難易度を大きくすることを特徴とする請求項３記載の撮像装置。
【請求項５】
前記被写体解析手段は、前記被写体の数を検出し、検出した前記被写体の数が多いほど、前記検出難易度を大きくすることを特徴とする請求項３記載の撮像装置。
【請求項６】
前記制御手段は、
前記第１記憶手段の処理帯域の超過を予測する予測手段と、
前記予測手段からの情報を取得して前記処理帯域が上限値を超えないように前記第２記憶手段の動作を制御するパワー制御手段を備え、
前記予測手段は前記合焦度または前記被写体の数または撮影方向に対する該被写体の角度を示す情報をフレーム単位での履歴情報として保持することを特徴とする請求項２から５のいずれか１項記載の撮像装置。
【請求項７】
前記第１記憶手段は、前記記録処理手段および前記被写体解析手段を含む集積回路に接続された外部メモリであり、
前記第２記憶手段は、前記集積回路に内蔵されたメモリ、または前記集積回路の外部に接続されたメモリであって、前記第１記憶手段に用いる外部メモリよりも記憶容量が小さいことを特徴とする請求項１から６のいずれか１項記載の撮像装置。
【請求項８】
前記被写体解析手段は前記被写体の顔の個数または撮影方向に対する顔の向きを検出することを特徴とする請求項３記載の撮像装置。
【請求項９】
撮像素子による被写体の画像データと、記録処理および被写体検出処理に用いるデータとを記憶する第１記憶手段と、前記被写体検出処理に用いるデータを記憶する第２記憶手段を備えた撮像装置にて実行される制御方法であって、
前記撮像素子による被写体の画像データの記録処理を行う記録処理ステップと、
被写体解析手段により前記被写体の画像データを解析して被写体検出処理を行う被写体解析ステップと、
記録処理中に並行して前記被写体解析手段により行われる被写体解析の処理負荷が閾値より大きくなった場合、前記第２記憶手段を動作させることで前記被写体解析手段によるアクセスを可能とし、また記録処理中に前記被写体検出処理に係る処理負荷が閾値以下になった場合、前記第２記憶手段を不動作として前記被写体解析手段が前記第１記憶手段にアクセスを行うように制御する制御ステップを有することを特徴とする撮像装置の制御方法。
【請求項１】
撮像素子による被写体の画像データの記録処理を行う記録処理手段と、
前記被写体の画像データを解析して被写体検出処理を行う被写体解析手段と、
前記画像データと、前記記録処理および前記被写体検出処理に用いるデータを記憶する第１記憶手段と、
前記被写体解析手段が前記被写体検出処理に用いるデータを記憶する第２記憶手段と、
記録処理中の前記被写体検出処理に係る処理負荷に応じて前記第２記憶手段の動作および不動作を制御する制御手段を備え、
前記制御手段は、記録処理中に前記被写体検出処理に係る処理負荷が閾値より大きくなった場合、前記第２記憶手段を動作させることで前記被写体解析手段によるアクセスを可能とし、また記録処理中に前記被写体検出処理に係る処理負荷が閾値以下になった場合、前記第２記憶手段を不動作として前記被写体解析手段が前記第１記憶手段にアクセスを行うように制御することを特徴とする撮像装置。
【請求項２】
前記被写体の画像データから算出した焦点調節に用いる評価値より合焦度情報を生成する合焦度算出手段をさらに備え、
前記制御手段は、前記合焦度算出手段から前記合焦度情報を取得して閾値と比較し、記録処理中の前記合焦度が閾値以下である場合、前記処理負荷が大きいと判定して前記第２記憶手段を動作させ、記録処理中の前記合焦度が閾値より大きい場合、前記処理負荷が小さいと判定して前記第２記憶手段を不動作とすることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記被写体解析手段は前記被写体の画像データから該被写体の数または撮影方向に対する該被写体の角度を検出することにより検出難易度を算出し、
前記制御手段は、前記検出難易度を取得して閾値と比較し、記録処理中の前記検出難易度が閾値より大きい場合、前記処理負荷が大きいと判定して前記第２記憶手段を動作させ、記録処理中の前記検出難易度が閾値以下である場合、前記処理負荷が小さいと判定して前記第２記憶手段を不動作とすることを特徴とする請求項１記載の撮像装置。
【請求項４】
前記被写体解析手段は、撮影方向に対する前記被写体の角度を検出し、撮影方向を基準とする前記被写体の角度のずれが大きいほど、前記検出難易度を大きくすることを特徴とする請求項３記載の撮像装置。
【請求項５】
前記被写体解析手段は、前記被写体の数を検出し、検出した前記被写体の数が多いほど、前記検出難易度を大きくすることを特徴とする請求項３記載の撮像装置。
【請求項６】
前記制御手段は、
前記第１記憶手段の処理帯域の超過を予測する予測手段と、
前記予測手段からの情報を取得して前記処理帯域が上限値を超えないように前記第２記憶手段の動作を制御するパワー制御手段を備え、
前記予測手段は前記合焦度または前記被写体の数または撮影方向に対する該被写体の角度を示す情報をフレーム単位での履歴情報として保持することを特徴とする請求項２から５のいずれか１項記載の撮像装置。
【請求項７】
前記第１記憶手段は、前記記録処理手段および前記被写体解析手段を含む集積回路に接続された外部メモリであり、
前記第２記憶手段は、前記集積回路に内蔵されたメモリ、または前記集積回路の外部に接続されたメモリであって、前記第１記憶手段に用いる外部メモリよりも記憶容量が小さいことを特徴とする請求項１から６のいずれか１項記載の撮像装置。
【請求項８】
前記被写体解析手段は前記被写体の顔の個数または撮影方向に対する顔の向きを検出することを特徴とする請求項３記載の撮像装置。
【請求項９】
撮像素子による被写体の画像データと、記録処理および被写体検出処理に用いるデータとを記憶する第１記憶手段と、前記被写体検出処理に用いるデータを記憶する第２記憶手段を備えた撮像装置にて実行される制御方法であって、
前記撮像素子による被写体の画像データの記録処理を行う記録処理ステップと、
被写体解析手段により前記被写体の画像データを解析して被写体検出処理を行う被写体解析ステップと、
記録処理中に並行して前記被写体解析手段により行われる被写体解析の処理負荷が閾値より大きくなった場合、前記第２記憶手段を動作させることで前記被写体解析手段によるアクセスを可能とし、また記録処理中に前記被写体検出処理に係る処理負荷が閾値以下になった場合、前記第２記憶手段を不動作として前記被写体解析手段が前記第１記憶手段にアクセスを行うように制御する制御ステップを有することを特徴とする撮像装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１３−７４３９８（Ｐ２０１３−７４３９８Ａ）
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願番号】特願２０１１−２１０９２０（Ｐ２０１１−２１０９２０）
【出願日】平成２３年９月２７日（２０１１．９．２７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願日】平成２３年９月２７日（２０１１．９．２７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]