画像処理装置、撮像装置およびプログラム
【課題】全体の符号量を削減しつつ、主被写体の周辺領域の画質を高画質に保つことができないという課題があった。
【解決手段】画像処理装置は、画像内の複数の画像領域の中から、主被写体の像を含む画像領域である主被写体領域を選択する主被写体領域選択部と、前記主被写体領域の周辺の画像領域である周辺領域を選択する周辺領域選択部と、前記主被写体領域および前記周辺領域の画像領域である第１領域より、前記第１領域以外の画像領域である第２領域を、高い圧縮強度で圧縮する圧縮部と、を備える。
【解決手段】画像処理装置は、画像内の複数の画像領域の中から、主被写体の像を含む画像領域である主被写体領域を選択する主被写体領域選択部と、前記主被写体領域の周辺の画像領域である周辺領域を選択する周辺領域選択部と、前記主被写体領域および前記周辺領域の画像領域である第１領域より、前記第１領域以外の画像領域である第２領域を、高い圧縮強度で圧縮する圧縮部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置およびプログラムに関する。
【背景技術】
【０００２】
画像から複数の特徴領域を検出して、検出した複数の特徴領域のそれぞれの画像に対する圧縮強度を、特徴領域の特徴に応じて制御する技術が知られている（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２００９−０４９９７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
全体の符号量を削減しつつ、主被写体の周辺領域の画質を高画質に保つことができないという課題があった。
【課題を解決するための手段】
【０００４】
本発明の第１の態様においては、画像処理装置は、画像内の複数の画像領域の中から、主被写体の像を含む画像領域である主被写体領域を選択する主被写体領域選択部と、主被写体領域の周辺の画像領域である周辺領域を選択する周辺領域選択部と、主被写体領域および周辺領域の画像領域である第１領域より、第１領域以外の画像領域である第２領域を、高い圧縮強度で圧縮する圧縮部と、を備える。
【０００５】
本発明の第２の態様においては、撮像装置は、画像を撮像する撮像部と、上記画像処理装置と、を備える。
【０００６】
本発明の第３の態様においては、画像内の複数の画像領域の中から、主被写体の像を含む画像領域である主被写体領域を選択するステップと、主被写体領域の周辺の画像領域である周辺領域を選択するステップと、主被写体領域および周辺領域の画像領域である第１領域より、第１領域以外の画像領域である第２領域を、高い圧縮強度で圧縮するステップと、をコンピュータに実行させる。
【０００７】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００８】
【図１】撮像装置１００のシステム構成図を示す。
【図２】ＡＳＩＣ１３５におけるブロック構成の一例を示す。
【図３】圧縮部２６０におけるブロック構成の一例を示す。
【図４】画像領域のグルーピング例を示す。
【図５】画像領域の他のグルーピング例を示す。
【図６】画像領域の更なる他のグルーピング例を示す。
【図７】画像領域の更なる他のグルーピング例を示す。
【図８】撮像装置１００の起動から終了までの処理フローを示す。
【図９】動画撮影における動作フローの一例を示す。
【図１０】圧縮部２６０がフレームを圧縮する動作フローの一例を示す。
【発明を実施するための形態】
【０００９】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１０】
図１は、撮像装置１００のシステム構成図を示す。撮像装置１００は、交換レンズ１２０およびカメラ本体１３０を備える。交換レンズ１２０は、レンズマウント接点１２１を有するレンズマウントを備え、カメラ本体１３０は、カメラマウント接点１３１を有するカメラマウントを備える。レンズマウントとカメラマウントが係合して交換レンズ１２０とカメラ本体１３０が一体化されると、レンズマウント接点１２１とカメラマウント接点１３１が接続される。撮像装置１００は、交換レンズ１２０とカメラ本体１３０とが一体化した状態で一眼レフカメラとして機能する。
【００１１】
被写体光は、光軸に沿って撮影光学系としてのレンズ群１２２を透過して、撮像素子１３２の受光面に結像する。レンズ群１２２は、レンズＭＰＵ１２３によって制御される。例えば、レンズＭＰＵ１２３は、フォーカスレンズモータを制御して、レンズ群１２２を構成するフォーカスレンズ群を移動させる。これにより、レンズ群１２２の焦点調節が行われる。撮像素子１３２は、レンズ群１２２を通過した被写体光により撮像する撮像部の一部として機能する。
【００１２】
レンズＭＰＵ１２３は、レンズマウント接点１２１およびカメラマウント接点１３１を介してカメラＭＰＵ１３３と接続され、相互に通信を実行しつつ協働して交換レンズ１２０とカメラ本体１３０を制御する。例えば、レンズＭＰＵ１２３は、カメラＭＰＵ１３３と協働して、画角内に設定された少なくとも１つの焦点調節領域の被写体に合焦するようレンズ群１２２の焦点調節を行う。焦点調節に用いた焦点調節領域の位置によりフォーカスポイントが定まる。
【００１３】
撮像素子１３２は、被写体像である光学像を光電変換する光電変換素子を有する。撮像素子１３２としては、例えばＣＭＯＳセンサ、ＣＣＤセンサ等の固体撮像素子を適用できる。撮像素子１３２は、被写体光束を受光することにより生じた蓄積電荷による画像信号としてのアナログ信号をＡ／Ｄ変換器１３４に供給する。Ａ／Ｄ変換器１３４は、撮像素子１３２から出力されたアナログの画像信号をデジタルの画像信号に変換して画像データとして出力する。撮像素子１３２は、カメラＭＰＵ１３３からの指示を受けた駆動部１４０により駆動される。
【００１４】
Ａ／Ｄ変換器１３４が出力した画像データは、ＳＤＲＡＭ１３６に記憶される。ＳＤＲＡＭ１３６の少なくとも一部のメモリ領域は、撮像により生成された画像データを一時的に記憶するバッファメモリとして使用される。撮像素子１３２が被写体光束で連続して撮像した場合、撮像により順次に生成される画像データはＳＤＲＡＭ１３６に順次に記憶される。例えば、被写体光束で連続して静止画を撮像することにより得られた複数の静止画の画像データが、ＳＤＲＡＭ１３６に順次に記憶される。また、被写体光束で動画を撮像することにより得られた動画を構成する複数の画像としてのフレームデータが、ＳＤＲＡＭ１３６に順次に記憶される。
【００１５】
ＡＳＩＣ１３５は、ＳＤＲＡＭ１３６に記憶された画像データを順次処理する。ＡＳＩＣ１３５は、画像処理機能に関連する回路を一つにまとめた集積回路である。ＡＳＩＣ１３５は、ＳＤＲＡＭ１３６の少なくとも一部のメモリ領域を画像処理用のワークエリアとして使用して画像処理を行う。
【００１６】
具体的には、ＡＳＩＣ１３５は、画像データを、規格化された画像フォーマットの画像データに変換して出力する。例えば、ＡＳＩＣ１３５は、静止画データとしてのＪＰＥＧファイルを生成するための画像処理を行う。また、ＡＳＩＣ１３５は、動画を構成する複数の画像のそれぞれの画像データから、動画データとしてのＭＰＥＧファイルを生成するための画像処理を行う。カメラＭＰＵ１３３は、ＡＳＩＣ１３５によって生成された静止画データ、動画データ等の画像データを、不揮発性の記録媒体としての外部メモリ１６０に転送して記録させる。外部メモリ１６０としては、例えばフラッシュメモリ等の半導体メモリを例示することができる。
【００１７】
ＡＳＩＣ１３５は、外部メモリ１６０への記録用に処理される画像データに並行して、表示用の画像データを生成する。生成された表示用の画像データは、表示制御部１３７の制御に従って表示画像信号に変換され、液晶ディスプレイ等の表示デバイスとしての表示部１３８に表示される。また、画像の表示と共に、もしくは画像を表示することなく、撮像装置１００の各種設定に関する様々なメニュー項目も、表示制御部１３７の制御により表示部１３８に表示することができる。カメラＭＰＵ１３３は、表示制御部１３７を制御して、メニュー項目を表示部１３８に表示させる。
【００１８】
撮像装置１００は、上記の画像処理における各々の要素も含めて、カメラＭＰＵ１３３により直接的または間接的に制御される。システムメモリ１３９は、電気的に消去・記憶可能な不揮発性メモリであり、例えばフラッシュＲＯＭ等により構成される。システムメモリ１３９は、撮像装置１００の動作時に必要な定数、変数、プログラム等を、撮像装置１００の非動作時にも失われないように記憶している。カメラＭＰＵ１３３は、定数、変数、プログラム等を適宜ＳＤＲＡＭ１３６に展開して、撮像装置１００の制御に利用する。カメラ本体１３０内の、ＡＳＩＣ１３５、ＳＤＲＡＭ１３６、システムメモリ１３９、表示制御部１３７、カメラＭＰＵ１３３、外部メモリ１６０は、バス等の接続インタフェース１４５により、相互に接続される。
【００１９】
操作入力部１４１は、ユーザによる設定操作等のユーザ操作を受け付ける。操作入力部１４１としては、電源スイッチ、レリーズボタン、動画撮影ボタン、各種操作ボタン、表示部１３８に一体に実装されたタッチパネル等を含む。カメラＭＰＵ１３３は、操作入力部１４１が操作されたことを検知して、操作に応じた動作を実行する。例えば、カメラＭＰＵ１３３は、レリーズボタンが操作された場合に、レリーズ動作を実行するよう撮像装置１００の各部を制御する。カメラＭＰＵ１３３は、動画撮影ボタンが操作された場合に、連続撮影の一例としての動画撮影を実行するよう撮像装置１００の各部を制御する。また、カメラＭＰＵ１３３は、表示部１３８に組み込まれたタッチパネルが操作された場合に、表示部１３８に表示されたメニュー項目および操作内容に応じた動作をするよう、撮像装置１００の各部を制御する。また、カメラＭＰＵ１３３は、タッチパネルを通じて、後述する主被写体の領域を指定するユーザ指示を受け付けることができる。
【００２０】
カメラ本体１３０の各要素および外部メモリ１６０は、電源１７０から電力供給を受ける。電源１７０としては、カメラ本体１３０に対して着脱できる例えばリチウムイオン電池などの二次電池、商用ＡＣ電源等を例示することができる。カメラＭＰＵ１３３は、電源１７０から撮像装置１００の各部への電力供給を制御する。なお、二次電池は、撮像装置１００を駆動する電池の一例である。電池とは、実質的に充電することができない非充電式の電池を含む。
【００２１】
図２は、ＡＳＩＣ１３５におけるブロック構成の一例を示す。ＡＳＩＣ１３５は、特徴領域特定部２００、向き特定部２１０、分割部２２０、主被写体選択部２３０、周辺領域選択部２４０、圧縮強度決定部２５０、圧縮部２６０および伸張部２６５を有する。ＡＳＩＣ１３５は、画像処理装置として機能する。
【００２２】
特徴領域特定部２００は、画像における特徴領域を特定する。具体的には、特徴領域特定部２００は、画像における複数の特徴領域を特定する。一例として特徴領域特定部２００は、人物像を含む画像領域を特徴領域として特定する。特徴領域特定部２００は、オブジェクト抽出等によって人物の目、鼻、口等の特徴的な形状のオブジェクトを検出することにより、人物像を含む画像領域を検出してよい。特徴領域特定部２００は、動物像を含む画像領域を特徴領域として特定してもよい。例えば、特徴領域特定部２００は、模様や耳等の形状等、動物が有する特徴的な形状のオブジェクトを検出することにより、動物像を含む画像領域を検出してよい。また、特徴領域特定部２００は、移動体の像を含む画像領域を、特徴領域として特定してもよい。例えば、特徴領域特定部２００は、動画撮影、連写撮影等のように、連続して得られた時系列の画像から被写体の動きを検出して、動きが検出された画像領域を、移動体の像を含む画像領域として特定してよい。移動体としては、自動車、電車等を例示することができる。動く人物、動物等を移動体として検出してよいことはいうまでもない。
【００２３】
向き特定部２１０は、特徴領域特定部２００によって特定された特徴領域内に撮像された被写体の向きを特定する。例えば、向き特定部２１０は、被写体が人物である場合、人物の顔の向きを特定する。例えば、向き特定部２１０は、人物の頭部領域と、頭部領域内の目、鼻、口、耳、髪等のオブジェクトの位置から、人物の顔の向きを特定してよい。被写体が動物である場合も同様に、動物の頭部領域と、頭部領域内の目、鼻、口、耳等のオブジェクトの位置から、動物の顔の向きを特定してよい。ここで、被写体の向きとは、移動の向きを含む概念である。具体的には、向き特定部２１０は、被写体が移動体である場合、移動の向きを被写体の向きとして特定してよい。向き特定部２１０は、連続して得られた時系列の画像内の移動体像の位置から、移動体の移動の向きを特定してよい。
【００２４】
分割部２２０は、複数の特徴領域以外の領域を複数の部分領域に分割する。すなわち、分割部２２０は、画像を、複数の特徴領域および複数の部分領域を含む複数の画像領域に分割する。具体的には、分割部２２０は、画像の全体領域内に、複数の画像領域の境界を設定する。一例として、分割部２２０は、矩形の画像領域を設定する場合、各画像領域の対角をなす点の座標を設定する。
【００２５】
主被写体選択部２３０は、画像内の複数の画像領域の中から、主被写体の像を含む画像領域である主被写体領域を選択する。具体的には、主被写体選択部２３０は、複数の特徴領域のうちの一部の特徴領域を、主被写体領域として選択する。例えば、主被写体選択部２３０は、複数の画像領域の中から、フォーカスポイントを含む画像領域を主被写体領域として選択する。フォーカスポイントは、カメラＭＰＵ１３３およびレンズＭＰＵ１２３によるＡＦ情報等の制御情報から特定されてよい。主被写体選択部２３０は、フォーカスポイントに基づく判断に替えて、特徴領域内に撮像された被写体に対する合焦度合いを画像から検出して、検出した合焦度合いに基づいて、より合焦した被写体の像を含む特徴領域を、主被写体領域としてより優先して特定してよい。主被写体選択部２３０は、フォーカスポイントに基づく判断に加えて、上述した合焦度合いに基づいて、主被写体領域を特定してもよい。このように、主被写体選択部２３０は、複数の特徴領域のうち、より合焦した被写体の像を含む画像領域を、より優先して主被写体領域として特定してよい。
【００２６】
主被写体選択部２３０は、上述したＡＦ情報の他、人物等の顔検出、動き検出、特定被写体の追尾情報等の検出結果に基づき、主被写体領域を選択してよい。例えば、撮像装置１００の撮像モードが人物撮影モードである場合、人物像が検出された領域を主被写体領域として選択してよい。撮像モードが動物撮影モードである場合、動物像が検出された領域を主被写体領域として選択してよい。例えば、撮像モードが動物撮影モードである場合に、動物像が検出された領域を、人物像が検出された領域よりも優先して主被写体領域として選択してよい。
【００２７】
また、複数の人物、複数の動物、自動車や電車等の複数の移動体等、類似の複数の被写体が検出される場合がある。この場合でも、上述したＡＦ情報、ユーザによる主被写体の指定等に従って、特定の主被写体が写り込んだ領域を主被写体領域として選択してもよい。
【００２８】
周辺領域選択部２４０は、主被写体領域の周辺の画像領域である周辺領域を選択する。例えば、周辺領域選択部２４０は、分割部２２０により分割された複数の部分領域のうち、主被写体領域の位置により近い部分領域を、周辺領域として優先して選択する。例えば、周辺領域選択部２４０は、主被写体領域の重心位置により近い重心位置を持つ部分領域を、周辺領域としてより優先して選択してよい。また、周辺領域選択部２４０は、主被写体の向きに位置する画像領域を、周辺領域として選択してもよい。例えば、主被写体が人物である場合、主被写体領域よりも顔の向きや移動の向きに位置する画像領域を、周辺領域として選択してもよい。
【００２９】
圧縮強度決定部２５０は、主被写体領域および周辺領域の画像領域である第１領域より、第１領域以外の画像領域である第２領域に、高い圧縮強度を決定する。圧縮部２６０は、圧縮強度決定部２５０が決定した圧縮強度に従って、各領域を圧縮する。すなわち、圧縮部２６０は、主被写体領域および周辺領域の画像領域である第１領域より、第１領域以外の画像領域である第２領域を、高い圧縮強度で圧縮する。このため、主被写体領域の周辺を、他の領域より高画質にすることができる。
【００３０】
伸張部２６５は、外部メモリ１６０から読み出した圧縮済みの画像データを伸張する。伸張部２６５により伸張された画像データは、表示部１３８への表示に供される。ＡＳＩＣ１３５は、伸張された画像データに対して、上述した特徴領域の特定、領域分割、圧縮強度の決定等の領域設定をして再圧縮してもよい。
【００３１】
図３は、圧縮部２６０のブロック構成の一例を示す。圧縮部２６０は、圧縮処理部２７０、合成制御部２８０、合成部２９０を有する。圧縮処理部２７０は、第１符号化部２７１および第２符号化部２７２を有する。
【００３２】
圧縮処理部２７０は、圧縮強度決定部２５０が決定した圧縮強度に従って、各画像領域に圧縮符号化を施す。圧縮処理部２７０は、第１領域および第２領域を並行して圧縮する。具体的には、第１符号化部２７１は、第１領域を圧縮し、第２符号化部２７２は、第２領域を圧縮する。第１符号化部２７１および第２符号化部２７２は、それぞれ第１領域および第２領域を並行して圧縮する。
【００３３】
圧縮処理部２７０は、画像領域をグルーピングする予め定められた数の符号化器を有する。本実施形態の撮像装置１００のように、主被写体領域および周辺領域を含む第１領域、および、第１領域以外の第２領域にグルーピングする場合、圧縮処理部２７０には２つの符号化部が設けられる。
【００３４】
一方、主被写体として第１主被写体と第２主被写体を設定する場合、第１主被写体の領域および第１主被写体の周辺領域を含む第１領域と、第２主被写体の領域および第２主被写体の周辺領域を含む第２領域と、第１領域および第２領域を除く第３領域との３つの領域にグルーピングしてよい。例えば主被写体として特定される数に１を加えた数の領域に画像領域をグルーピングしてよい。このように画像領域を３つの領域にグルーピングする場合、圧縮処理部２７０には３つの符号化器を設けてよい。例えば、主被写体として特定する数に１を加えた数の符号化器を、圧縮処理部２７０に設けてよい。
【００３５】
合成制御部２８０は、第１領域を圧縮することにより生成された第１圧縮データと、第２領域を圧縮することにより生成された第２圧縮データとを、合成部２９０に供給する。合成部２９０は、第１圧縮データと第２圧縮データとを合成して、１つの画像データを圧縮した圧縮データを生成する。合成制御部２８０は、合成部２９０に第１圧縮データおよび第２圧縮データを合成させるタイミングを制御する。例えば、合成制御部２８０は、第１符号化部２７１および第２符号化部２７２から出力される圧縮データをバッファし、全符号化部から圧縮データが出力された場合に、合成部２９０に圧縮データを一斉に出力する。合成制御部２８０により、各領域の圧縮に要する時間差を吸収することができる。このように、合成制御部２８０は、合成部２９０における圧縮データの合成を制御する。
【００３６】
図４は、画像領域のグルーピング例を示す。本例では、画像の一例としてのフレーム４００から、特徴領域４１０ａおよび特徴領域４１０ｂが抽出されている。
【００３７】
分割部２２０は、特徴領域４１０ａおよび特徴領域４１０ｂ以外の領域を、部分領域４２０ａおよび部分領域４２０ｂに分割する。例えば分割部２２０は、向き特定部２１０によって特定された被写体の移動方向に基づいて、部分領域４２０ａおよび部分領域４２０ｂに分割する。被写体の移動方向は、動画を構成する他のフレームから同一被写体を示す像の位置を特定し、特定した位置から被写体像の移動方向を判定することにより、特定することができる。
【００３８】
本例では、特徴領域４１０ａ内の被写体像の移動方向は右方向であり、特徴領域４１０ｂ内の被写体像は移動していないと判定される。この場合、分割部２２０は、移動している被写体像を含む特徴領域４１０ａよりも右方向に重心位置を持つ部分領域４２０ａと、特徴領域４１０ｂを左右の中央に含む部分領域４２０ｂとの２つの部分領域に分割する。これにより、フレーム４００の全体領域は、特徴領域４１０ａ、特徴領域４１０ｂ、部分領域４２０ａおよび部分領域４２０ｂの４個の画像領域に分割される。
【００３９】
本例において、主被写体選択部２３０は、特徴領域４１０ａおよび特徴領域４１０ｂのうち、特徴領域４１０ａを主被写体領域として選択する。例えば、主被写体選択部２３０は、フォーカスポイントを含む特徴領域４１０ａを主被写体領域として選択する。主被写体領域が選択されると、周辺領域選択部２４０は、特徴領域４１０ａの右方向に重心位置が存在する部分領域４２０ａを、周辺領域として選択する。すなわち、４個の画像領域は、特徴領域４１０ａおよび部分領域４２０ａを含む第１領域４０１と、特徴領域４１０ｂおよび部分領域４２０ｂを含む第２領域４０２とにグルーピングされる。
【００４０】
圧縮強度決定部２５０は、第１領域４０１に適用する圧縮強度を、第２領域４０２に適用する圧縮強度よりも低く設定する。具体的には、圧縮強度決定部２５０は、第１領域４０１を符号化する場合に適用する量子化ステップの値を、第２領域４０２を符号化する場合に適用する量子化ステップの値よりも小さく設定する。これにより、主被写体および主被写体の周辺の領域を、他の領域よりも高画質に保つことができる。
【００４１】
撮像装置１００によれば、多くの特徴領域が検出された場合でも、主被写体が写り込んだ特徴領域を特に主被写体領域として選択する。このため、全特徴領域を一律に高画質化する場合と比較して、符号量を削減することができる。また、特に主要な被写体およびその周辺領域に符号量を多く割り上げることができる。
【００４２】
図５は、画像領域の他のグルーピング例を示す。本例では、画像の一例としてのフレーム５００から、特徴領域５１０ａおよび特徴領域５１０ｂが抽出されている。
【００４３】
分割部２２０は、特徴領域５１０ａおよび特徴領域５１０ｂ以外の領域を、３以上の部分領域５２０ａ〜ｅに分割する。本例では、特徴領域５１０ａ内の被写体像の移動方向は右方向であり、特徴領域５１０ｂ内の被写体の移動方向は左方向であると判定される。この場合、分割部２２０は、特徴領域５１０ａよりも右方向に重心位置を持つ領域（部分領域５２０ａ、５２０ｃ、５２０ｄ）と、特徴領域５１０ｂよりも左方向に重心位置を持つ領域（部分領域５２０ｅ、５２０ｆ、５２０ｇ）と、特徴領域５１０ａに対して被写体像の移動方向の反対方向である左方向に重心位置を持ち、かつ、特徴領域５１０ｂに対して被写体像の移動方向の反対方向である右方向に重心位置を持つ領域（部分領域５２０ｂ）とに分割する。
【００４４】
本例において、分割部２２０は、特徴領域５１０ａよりも右方向に重心位置を持つ領域を、特徴領域５１０ａの重心位置に対して上にシフトした重心位置を持つ部分領域５２０ｃと、特徴領域５１０ａの重心位置に対して下にシフトした重心位置を持つ部分領域５２０ｄと、特徴領域５１０ａの重心位置に対して右にシフトした重心位置を持つ部分領域５２０ａとに分割する。同様に、分割部２２０は、特徴領域５１０ｂよりも左方向に重心位置を持つ領域を、特徴領域５１０ｂの重心位置に対して上にシフトした重心位置を持つ部分領域５２０ｆと、特徴領域５１０ｂの重心位置に対して下にシフトした重心位置を持つ部分領域５２０ｇと、特徴領域５１０ｂの重心位置に対して左にシフトした重心位置を持つ部分領域５２０ｅとに分割する。これにより、フレーム５００の全体領域は、特徴領域５１０ａ、特徴領域５１０ｂ、部分領域５２０ａ〜ｇの９個の画像領域に分割される。
【００４５】
本例において、特徴領域５１０ａが主被写体領域として選択された場合、周辺領域選択部２４０は、特徴領域５１０ａの右方向に重心位置が存在する部分領域５２０ａおよび特徴領域５１０ａの左方向に重心位置が存在する部分領域５２０ｂを、周辺領域として選択する。すなわち、９個の画像領域は、特徴領域５１０ａ、部分領域５２０ａ、部分領域５２０ｂを含む第１領域５０１と、第１領域以外の領域である第２領域とにグルーピングされる。
【００４６】
本例において、圧縮強度決定部２５０は、第１領域５０１に含まれる画像領域に適用する圧縮強度を異ならせる。例えば、圧縮強度決定部２５０は、特徴領域５１０ａに適用する圧縮強度を、部分領域５２０ａおよび部分領域５２０ｂに適用する圧縮強度より小さくする。したがって、圧縮部２６０は、主被写体領域である特徴領域５１０ａより周辺領域を、高い圧縮強度で圧縮する。このため、第１領域５０１内において、他の領域よりも特徴領域５１０ａの画質を高く保つことができる。
【００４７】
なお、圧縮強度決定部２５０は、第１領域５０１以外の領域である第２領域に適用する圧縮強度を、画像領域毎に異ならせてもよい。例えば、圧縮強度決定部２５０は、特徴領域５１０ｂに適用する圧縮強度を、部分領域５２０ｅに適用する圧縮強度より小さくする。したがって、圧縮部２６０は、第２領域内の特徴領域５１０ｂ以外の画像領域を、特徴領域５１０ｂの圧縮強度よりも高い圧縮強度で圧縮する。このため、第２領域内においては、特徴領域を他の領域より画質を高く保つことができる。なお、第１領域５０１に含まれる部分領域５２０ａおよび部分領域５２０ｂに適用する圧縮強度は、特徴領域５１０ｂに適用する圧縮強度よりも小さくする。すなわち、第２領域に適用する圧縮強度は、第１領域５０１のいずれの画像領域に適用する圧縮強度よりも高く設定される。
【００４８】
本例によれば、主被写体の移動方向の領域だけでなく主被写体が直前に存在した領域を、他の領域よりも高画質に保つことができる。また、動画を構成する複数のフレームのそれぞれについて特徴領域の特定、領域分割、グルーピング等の領域設定をしなくとも、主被写体の像を高画質化することができる場合がある。例えば、予め定められた数のフレーム毎に領域設定をして、前後のフレームに適用することができる場合がある。このため、領域設定に要する演算量を削減することができる場合がある。
【００４９】
図６は、画像領域の更なる他のグルーピング例を示す。本例において、画像の一例としてのフレーム６００から、特徴領域６１０ａおよび特徴領域６１０ｂが抽出されている。
【００５０】
本例において、特徴領域６１０ａおよび特徴領域６１０ｂが一部で重なっている。この場合、主被写体領域として特定された特徴領域６１０ａに含まれる領域については、特徴領域６１０ｂに含まれる場合でも、第１領域６０１として選択される。
【００５１】
具体的には、主被写体領域として特定された特徴領域６１０ａを基準として、各領域の圧縮強度を設定してよい。例えば、周辺領域選択部２４０は、特徴領域６１０ａ内の主被写体像の移動方向に基づき分割された部分領域６２０ａおよび部分領域６２０ｂのうち、主被写体像の移動方向に重心位置を持つ部分領域６２０ａを周辺領域として選択する。これにより、フレーム６００の全体領域は、特徴領域６１０ａ、部分領域６２０ａおよび部分領域６２０ｂの３個の画像領域に分割される。
【００５２】
そして、周辺領域選択部２４０は、特徴領域６１０ａの右方向に重心位置が存在する部分領域６２０ａを、周辺領域として選択する。すなわち、３個の画像領域は、特徴領域６１０ａおよび部分領域６２０ａを含む第１領域６０１と、特徴領域６１０ａを含まない第２領域とにグルーピングされる。そして、圧縮強度決定部２５０は、第１領域６０１に適用する圧縮強度を、第２領域に適用する圧縮強度よりも低く設定する。
【００５３】
なお、本例では、特徴領域６１０ａを基準として各領域の圧縮強度を設定するとした。しかし、主被写体領域として特定された特徴領域と一部で領域が重複する他の特徴領域が存在複する場合、主被写体選択部２３０は、主被写体領域として特定された特徴領域および他の特徴領域を包含する領域を、主被写体領域として選択してもよい。
【００５４】
図７は、画像領域の更なる他のグルーピング例を示す。本例では、画像の一例としてのフレーム７００から、一つの特徴領域７１０が抽出されている。
【００５５】
本例において、分割部２２０は、特徴領域７１０ａ以外の領域を、部分領域７２０ａ〜ｄに分割する。本例では、特徴領域７１０ａ内の被写体像の移動方向は右方向であると判定される。この場合、分割部２２０は、特徴領域７１０ａの重心位置に対して右にシフトした重心位置を持つ部分領域７２０ａと、特徴領域７１０ａの重心位置に対して被写体像の移動方向の反対方向である左にシフトした重心位置を持つ部分領域７２０ｂと、特徴領域７１０ａの重心位置よりも上にシフトした重心位置を持つ部分領域７２０ｃと、特徴領域７１０ａの重心位置よりも下にシフトした重心位置を持つ部分領域７２０ｄとに分割する。これにより、フレーム７００の全体領域は、特徴領域７１０ａ、部分領域７２０ａ〜ｄの５個の画像領域に分割される。
【００５６】
本例において、周辺領域選択部２４０は、特徴領域７１０ａの右方向に重心位置が存在する部分領域７２０ａおよび特徴領域７１０ａの左方向に重心位置が存在する部分領域７２０ｂを、周辺領域として選択する。すなわち、５個の画像領域は、特徴領域７１０ａ、部分領域７２０ａ、部分領域７２０ｂを含む第１領域７０１と、第１領域以外の領域である第２領域とにグルーピングされる。
【００５７】
本例によれば、図５の例と同様に、主被写体の移動方向の領域だけでなく主被写体が直前に存在した領域を、他の領域よりも高画質に保つことができる。このため、領域設定に要する演算量を削減することができる場合がある。なお、分割部２２０は、動画における主被写体の移動速度が速いほど、移動方向に位置する部分領域の幅および移動方向の反対方向に位置する部分領域の幅を大きく決定してもよい。ここで、部分領域の幅とは、移動方向の幅であってよい。
【００５８】
なお、図４から図７に関連して被写体の移動方向として、画像内の右方向または左方向を例示した。例えば、動画において被写体像が上方向に移動する場合には、周辺領域選択部２４０は、主被写体領域に対して上方向に重心位置を持つ部分領域を周辺領域として選択してよい。また、部分領域が左右方向にも分割されている場合、周辺領域選択部２４０は、主被写体領域に対して下にシフトした重心位置を持つ部分領域を周辺領域として更に選択してよい。以上の例では、左右方向、上下方向に被写体が移動する場合の領域設定について説明したが、斜め方向に被写体が移動する場合にも同様の領域設定を適用できることは言うまでもない。例えば、主被写体領域に対して被写体の移動方向に重心位置を持つ部分領域を、周辺領域として選択するようにすればよい。
【００５９】
なお、隣接する画像領域に異なる圧縮強度を適用する場合、当該隣接する画像領域の境界で圧縮強度の変化幅が予め定められた値以下になるよう、境界に接する一部領域の圧縮強度を漸増または漸減させてよい。例えば、圧縮部２６０は、第１領域および第２領域の境界の領域に適用する圧縮強度を漸減または漸増させることにより、第１領域および第２領域の境界の領域における圧縮強度の差を予め定められた値以下にしてよい。例えば、圧縮部２６０は、第２領域に隣接する第１領域内の一部の領域において、圧縮強度を境界に向けて漸増させてよい。圧縮部２６０は、第１領域に隣接する第２領域内の一部の領域において、圧縮強度を境界に向けて漸減させてよい。
【００６０】
図８は、撮像装置１００の起動から終了までの処理フローを示す。本フローは、操作入力部１４１の一部としての電源ボタンがＯＮされた場合に、開始される。本フローは、カメラＭＰＵ１３３が主体となって撮像装置１００の各部を制御することにより実行される。
【００６１】
ステップＳ８００において、カメラＭＰＵ１３３は、初期設定を開始する。例えば、カメラＭＰＵ１３３は、撮像装置１００を制御するための各種パラメータ等を、システムメモリ１３９からＳＤＲＡＭ１３６に展開する。そして、カメラＭＰＵ１３３は、例えば撮像モードスイッチ等を含む操作入力部１４１の状態、および、展開された各種パラメータに基づき、撮像装置１００の各部の動作条件を設定する。例えば、撮像モードスイッチの位置に応じて、撮像モードを設定する。また、撮像モードに応じて、撮像条件や画像処理条件を設定する。例えば、撮像モードとしては、人物撮影に適した人物撮影モード、動物撮影に適した動物撮影モード等を例示することができる。
【００６２】
続いて、ステップＳ８０２において、表示部１３８への表示を行う。例えば、カメラＭＰＵ１３３は、撮像モード、撮像条件および画像処理条件等を識別する設定情報を、表示部１３８に表示させる。
【００６３】
続いて、ステップＳ８０４において、カメラＭＰＵ１３３は、操作入力部１４１に対するユーザ指示を判断する。ユーザ指示が諸設定を実行する指示である場合、カメラＭＰＵ１３３が主体となって、指示された設定処理を行う（ステップＳ８０６）。設定処理としては、撮像モードを設定する処理、撮像条件を設定する処理、画像処理条件を設定する処理、動画撮影におけるフレームレートを設定する処理、上述した主被写体が存在すべき領域をユーザが指定する処理等を例示することができる。
【００６４】
ステップＳ８０４において、ユーザ指示が撮像実行に関する指示であると判断された場合、撮像実行に関する処理を行う（ステップＳ８１２）。撮影実行に関する指示としては、ライブビューボタン、動画撮影ボタン、レリーズボタンに対する操作等を例示することができる。ステップＳ８０４におけるユーザ指示が画像の再生を実行する指示である場合、再生処理を実行する（ステップＳ８２２）。再生処理としては、外部メモリ１６０に記録された画像をサムネイル表示する処理、ユーザにより指示された画像を表示する処理等を例示することができる。
【００６５】
ステップＳ８０４においてユーザ指示がない場合は、環境光を測光する測光処理を行う（ステップＳ８３２）。例えば、環境光の測光結果に基づき適正露出値を決定する。本測光処理は一定の時間間隔で実行され、現在の適正露出値が決定される。ステップＳ８３２で決定した現在の露出値を示す情報は、表示部１３８にリアルタイムに表示され、ユーザに提示される。
【００６６】
ステップＳ８０６、ステップＳ８１２、ステップＳ８２２、ステップＳ８３２の処理が完了すると、ステップＳ８０８に進み、電源をＯＦＦするか否かを判断する。例えば、電源ボタンがＯＦＦ位置に切り替えられた場合や、電源がＯＮされてから予め定められた期間、ユーザ指示無しの状態が継続した場合等に、電源をＯＦＦすると判断する。電源をＯＦＦすると判断した場合は動作を終了し、電源をＯＦＦしないと判断した場合はステップＳ８０４に処理を移行させる。
【００６７】
図９は、動画撮影における動作フローの一例を示す。本例では、ステップＳ８１２の一部の処理として、動画撮影が指示された場合の動作フローを示す。本フローは、動画撮影ボタンが押し込まれた場合に、開始される。
【００６８】
ステップＳ９０２において、カメラＭＰＵ１３３が撮像装置１００の各部に動画撮影を指示することにより、動画撮影が開始される。動画撮影が開始されると、フレームがＳＤＲＡＭ１３６に順次に取り込まれる。ＡＳＩＣ１３５において、画像処理対象のフレームがＳＤＲＡＭ１３６に取り込まれているか否かが判断される（ステップＳ９０４）。
【００６９】
画像処理対象のフレームが取り込まれた場合、特徴領域特定部２００により１以上の特徴領域の特定（ステップＳ９０６）と、向き特定部２１０による被写体の向きの特定（ステップＳ９０８）とが行われる。
【００７０】
ステップＳ９１０において、分割部２２０は、特徴領域特定部２００が特定した特徴領域以外の領域を、複数の部分領域に分割する。分割部２２０は、上述したように、特徴領域内の被写体の移動方向に基づいて、複数の部分領域に分割する。これにより、フレームの全体領域は、１以上の特徴領域および複数の部分領域により複数の画像領域に分割される。
【００７１】
ステップＳ９１２において、主被写体選択部２３０は、１以上の特徴領域の中から、主被写体領域を選択する。続いてステップＳ９１４において、周辺領域選択部２４０は、部分領域の中から周辺領域を選択する。周辺領域選択部２４０は、上述したように主被写体領域内の被写体の移動方向に基づいて、複数の部分領域のうちの一部の部分領域を周辺領域として選択する。これにより、複数の画像領域は、主被写体領域および周辺領域を包含する第１領域、および、第１領域以外の第２領域の２つの領域にグルーピングされる。
【００７２】
続いて、圧縮強度決定部２５０は、グルーピングされた各領域を選択して（ステップＳ９１６）、それぞれに圧縮強度を決定する。具体的には、圧縮強度決定部２５０は、主被写体領域および周辺領域のいずれかに属する領域には、予め定められた値以下の圧縮強度を設定し（ステップＳ９１８）、主被写体領域および周辺領域のいずれにも属さない領域には、予め定められた値より大きい圧縮強度を設定する（ステップＳ９２０）。
【００７３】
続いて、ステップＳ９２２において、圧縮部２６０は、圧縮強度決定部２５０が決定した圧縮強度に従って各領域を圧縮する。本処理の詳細については、図１０に関連して後述する。
【００７４】
続いて、ステップＳ９２４において、動画撮影の処理を終了するか否かを判断する。例えば、動画撮影ボタンが再度押し込まれ、かつ、画像処理対象のフレームが存在しない場合に、動画撮影の処理を終了すると判断する。動画撮影の処理を終了すると判断された場合、本動作フローを終了する。動画撮影の処理を終了しないと判断された場合、ステップＳ９０４に処理を進める。
【００７５】
図１０は、圧縮部２６０がフレームを圧縮する動作フローの一例を示す。本フローは、図９のステップＳ９２２における詳細な動作フローである。ステップＳ１１００２において、圧縮部２６０は、ＳＤＲＡＭ１３６からフレームを読み出す。続いて、第１符号化部２７１に主要被写体領域および周辺領域を包含する第１領域のデータが供給され（ステップＳ１００４）、第２符号化部２７２に第２領域のデータが供給される（ステップＳ１００６）。
【００７６】
第１符号化部２７１では、第１領域のデータに対して、例えば量子化を含む符号化処理が行われる。第１符号化部２７１では、ＤＣＴ変換、フレーム間圧縮またはフレーム内圧縮等の符号化処理が行われてもよい。第２符号化部２７２では、第２領域のデータに対して、第１符号化部２７１と同様の符号化処理が行われる。第１符号化部２７１および第２符号化部２７２は、例えば圧縮強度決定部２５０が各領域について決定した圧縮強度に対応する量子化ステップの値を適用して、それぞれの領域に対して量子化を行う。第１符号化部２７１および第２符号化部２７２によりそれぞれ符号化された各領域のデータは、圧縮データとしてＳＤＲＡＭ１３６に一時的に記憶される。第１符号化部２７１および第２符号化部２７２が符号化を完了した場合、符号化が完了した旨を合成制御部２８０に通知する。
【００７７】
ステップＳ１００８において、合成制御部２８０は、第１符号化部２７１および第２符号化部２７２の両方の符号化が完了したか否かを判断する。第１符号化部２７１および第２符号化部２７２の少なくとも一方の符号化が完了していない場合、ステップＳ１００８の判断を繰り返す。第１符号化部２７１および第２符号化部２７２の両方から符号化の完了通知があった場合、合成制御部２８０は、ＳＤＲＡＭ１３６に一時的に記憶された各領域の圧縮データを合成部２９０に供給して合成させる（ステップＳ１０１０）。続いて、合成部２９０が圧縮データを合成することで生成された１つのフレームの圧縮データが、ＳＤＲＡＭ１３６に記憶され（ステップＳ１０１２）、本動作フローは終了する。
【００７８】
以上に説明した撮像装置１００によれば、全体の符号量を削減しつつ、主被写体の周辺領域の画質を高画質に保つことができる。以上の説明では、動画を構成する画像の一例としてのフレームを圧縮する場合を特に取り上げて、撮像装置１００の各部の動作を説明した。しかし、画像としては動画を構成するフレームに限らず、静止画を適用の対象とすることができる。
【００７９】
本実施形態の撮像装置１００に関連して説明した処理は、撮像装置１００の各部、例えばカメラＭＰＵ１３３等のプロセッサがプログラムに従って動作することにより、実現することができる。すなわち当該処理を、いわゆるコンピュータ装置によって実現することができる。コンピュータ装置は、上述した処理の実行を制御するプログラムをロードして、読み込んだプログラムに従って動作して、当該処理を実行してよい。コンピュータ装置は、当該プログラムを記憶しているコンピュータ読取可能な記録媒体を読み込むことによって、当該プログラムをロードすることができる。
【００８０】
本実施形態において、レンズ交換式の一眼レフカメラとしての撮像装置１００を取り上げて説明した。撮像装置としては、コンパクトデジタルカメラ、ミラーレス一眼カメラ、ビデオカメラ、撮像機能付きの携帯電話機、撮像機能付きの携帯情報端末、撮像機能付きのゲーム機器等の娯楽装置等、撮像機能を有する種々の機器を適用の対象とすることができる。また、ＡＳＩＣ１３５における処理として説明した画像処理に対応する画像処理を実行する機器として、パーソナルコンピュータの他、記録機能付きのテレビ、レコーダ等の画像記録装置を適用の対象とすることができる。また、処理対象とする画像データは、ＲＡＷ画像のように実質的な画像処理が施されていない画像データだけでなく、圧縮等の種々の画像処理が施された画像データであってもよい。
【００８１】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００８２】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００８３】
１００ 撮像装置、１２０ 交換レンズ、１２１ レンズマウント接点、１３０ カメラ本体、１３１ カメラマウント接点、１２２ レンズ群、１３２ 撮像素子、１２３ レンズＭＰＵ、１３３ カメラＭＰＵ、１３４ Ａ／Ｄ変換器、１３５ ＡＳＩＣ、１３６ ＳＤＲＡＭ、１３７ 表示制御部、１３８ 表示部、１３９ システムメモリ、１４０ 駆動部、１４１ 操作入力部、１４５ 接続インタフェース、１７０ 電源、１６０ 外部メモリ、２００ 特徴領域特定部、２１０ 向き特定部、２２０ 分割部、２３０ 主被写体選択部、２４０ 周辺領域選択部、２５０ 圧縮強度決定部、２６０ 圧縮部、２７０ 圧縮処理部、２７１ 第１符号化部、２７２ 第２符号化部、２８０ 合成制御部、２９０ 合成部、４００、５００、６００、７００ フレーム、４１０、５１０、６１０、７１０ 特徴領域、４２０、５２０、６２０、７２０ 部分領域、４０１、５０１、６０１、７０１ 第１領域、４０２ 第２領域
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置およびプログラムに関する。
【背景技術】
【０００２】
画像から複数の特徴領域を検出して、検出した複数の特徴領域のそれぞれの画像に対する圧縮強度を、特徴領域の特徴に応じて制御する技術が知られている（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２００９−０４９９７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
全体の符号量を削減しつつ、主被写体の周辺領域の画質を高画質に保つことができないという課題があった。
【課題を解決するための手段】
【０００４】
本発明の第１の態様においては、画像処理装置は、画像内の複数の画像領域の中から、主被写体の像を含む画像領域である主被写体領域を選択する主被写体領域選択部と、主被写体領域の周辺の画像領域である周辺領域を選択する周辺領域選択部と、主被写体領域および周辺領域の画像領域である第１領域より、第１領域以外の画像領域である第２領域を、高い圧縮強度で圧縮する圧縮部と、を備える。
【０００５】
本発明の第２の態様においては、撮像装置は、画像を撮像する撮像部と、上記画像処理装置と、を備える。
【０００６】
本発明の第３の態様においては、画像内の複数の画像領域の中から、主被写体の像を含む画像領域である主被写体領域を選択するステップと、主被写体領域の周辺の画像領域である周辺領域を選択するステップと、主被写体領域および周辺領域の画像領域である第１領域より、第１領域以外の画像領域である第２領域を、高い圧縮強度で圧縮するステップと、をコンピュータに実行させる。
【０００７】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００８】
【図１】撮像装置１００のシステム構成図を示す。
【図２】ＡＳＩＣ１３５におけるブロック構成の一例を示す。
【図３】圧縮部２６０におけるブロック構成の一例を示す。
【図４】画像領域のグルーピング例を示す。
【図５】画像領域の他のグルーピング例を示す。
【図６】画像領域の更なる他のグルーピング例を示す。
【図７】画像領域の更なる他のグルーピング例を示す。
【図８】撮像装置１００の起動から終了までの処理フローを示す。
【図９】動画撮影における動作フローの一例を示す。
【図１０】圧縮部２６０がフレームを圧縮する動作フローの一例を示す。
【発明を実施するための形態】
【０００９】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１０】
図１は、撮像装置１００のシステム構成図を示す。撮像装置１００は、交換レンズ１２０およびカメラ本体１３０を備える。交換レンズ１２０は、レンズマウント接点１２１を有するレンズマウントを備え、カメラ本体１３０は、カメラマウント接点１３１を有するカメラマウントを備える。レンズマウントとカメラマウントが係合して交換レンズ１２０とカメラ本体１３０が一体化されると、レンズマウント接点１２１とカメラマウント接点１３１が接続される。撮像装置１００は、交換レンズ１２０とカメラ本体１３０とが一体化した状態で一眼レフカメラとして機能する。
【００１１】
被写体光は、光軸に沿って撮影光学系としてのレンズ群１２２を透過して、撮像素子１３２の受光面に結像する。レンズ群１２２は、レンズＭＰＵ１２３によって制御される。例えば、レンズＭＰＵ１２３は、フォーカスレンズモータを制御して、レンズ群１２２を構成するフォーカスレンズ群を移動させる。これにより、レンズ群１２２の焦点調節が行われる。撮像素子１３２は、レンズ群１２２を通過した被写体光により撮像する撮像部の一部として機能する。
【００１２】
レンズＭＰＵ１２３は、レンズマウント接点１２１およびカメラマウント接点１３１を介してカメラＭＰＵ１３３と接続され、相互に通信を実行しつつ協働して交換レンズ１２０とカメラ本体１３０を制御する。例えば、レンズＭＰＵ１２３は、カメラＭＰＵ１３３と協働して、画角内に設定された少なくとも１つの焦点調節領域の被写体に合焦するようレンズ群１２２の焦点調節を行う。焦点調節に用いた焦点調節領域の位置によりフォーカスポイントが定まる。
【００１３】
撮像素子１３２は、被写体像である光学像を光電変換する光電変換素子を有する。撮像素子１３２としては、例えばＣＭＯＳセンサ、ＣＣＤセンサ等の固体撮像素子を適用できる。撮像素子１３２は、被写体光束を受光することにより生じた蓄積電荷による画像信号としてのアナログ信号をＡ／Ｄ変換器１３４に供給する。Ａ／Ｄ変換器１３４は、撮像素子１３２から出力されたアナログの画像信号をデジタルの画像信号に変換して画像データとして出力する。撮像素子１３２は、カメラＭＰＵ１３３からの指示を受けた駆動部１４０により駆動される。
【００１４】
Ａ／Ｄ変換器１３４が出力した画像データは、ＳＤＲＡＭ１３６に記憶される。ＳＤＲＡＭ１３６の少なくとも一部のメモリ領域は、撮像により生成された画像データを一時的に記憶するバッファメモリとして使用される。撮像素子１３２が被写体光束で連続して撮像した場合、撮像により順次に生成される画像データはＳＤＲＡＭ１３６に順次に記憶される。例えば、被写体光束で連続して静止画を撮像することにより得られた複数の静止画の画像データが、ＳＤＲＡＭ１３６に順次に記憶される。また、被写体光束で動画を撮像することにより得られた動画を構成する複数の画像としてのフレームデータが、ＳＤＲＡＭ１３６に順次に記憶される。
【００１５】
ＡＳＩＣ１３５は、ＳＤＲＡＭ１３６に記憶された画像データを順次処理する。ＡＳＩＣ１３５は、画像処理機能に関連する回路を一つにまとめた集積回路である。ＡＳＩＣ１３５は、ＳＤＲＡＭ１３６の少なくとも一部のメモリ領域を画像処理用のワークエリアとして使用して画像処理を行う。
【００１６】
具体的には、ＡＳＩＣ１３５は、画像データを、規格化された画像フォーマットの画像データに変換して出力する。例えば、ＡＳＩＣ１３５は、静止画データとしてのＪＰＥＧファイルを生成するための画像処理を行う。また、ＡＳＩＣ１３５は、動画を構成する複数の画像のそれぞれの画像データから、動画データとしてのＭＰＥＧファイルを生成するための画像処理を行う。カメラＭＰＵ１３３は、ＡＳＩＣ１３５によって生成された静止画データ、動画データ等の画像データを、不揮発性の記録媒体としての外部メモリ１６０に転送して記録させる。外部メモリ１６０としては、例えばフラッシュメモリ等の半導体メモリを例示することができる。
【００１７】
ＡＳＩＣ１３５は、外部メモリ１６０への記録用に処理される画像データに並行して、表示用の画像データを生成する。生成された表示用の画像データは、表示制御部１３７の制御に従って表示画像信号に変換され、液晶ディスプレイ等の表示デバイスとしての表示部１３８に表示される。また、画像の表示と共に、もしくは画像を表示することなく、撮像装置１００の各種設定に関する様々なメニュー項目も、表示制御部１３７の制御により表示部１３８に表示することができる。カメラＭＰＵ１３３は、表示制御部１３７を制御して、メニュー項目を表示部１３８に表示させる。
【００１８】
撮像装置１００は、上記の画像処理における各々の要素も含めて、カメラＭＰＵ１３３により直接的または間接的に制御される。システムメモリ１３９は、電気的に消去・記憶可能な不揮発性メモリであり、例えばフラッシュＲＯＭ等により構成される。システムメモリ１３９は、撮像装置１００の動作時に必要な定数、変数、プログラム等を、撮像装置１００の非動作時にも失われないように記憶している。カメラＭＰＵ１３３は、定数、変数、プログラム等を適宜ＳＤＲＡＭ１３６に展開して、撮像装置１００の制御に利用する。カメラ本体１３０内の、ＡＳＩＣ１３５、ＳＤＲＡＭ１３６、システムメモリ１３９、表示制御部１３７、カメラＭＰＵ１３３、外部メモリ１６０は、バス等の接続インタフェース１４５により、相互に接続される。
【００１９】
操作入力部１４１は、ユーザによる設定操作等のユーザ操作を受け付ける。操作入力部１４１としては、電源スイッチ、レリーズボタン、動画撮影ボタン、各種操作ボタン、表示部１３８に一体に実装されたタッチパネル等を含む。カメラＭＰＵ１３３は、操作入力部１４１が操作されたことを検知して、操作に応じた動作を実行する。例えば、カメラＭＰＵ１３３は、レリーズボタンが操作された場合に、レリーズ動作を実行するよう撮像装置１００の各部を制御する。カメラＭＰＵ１３３は、動画撮影ボタンが操作された場合に、連続撮影の一例としての動画撮影を実行するよう撮像装置１００の各部を制御する。また、カメラＭＰＵ１３３は、表示部１３８に組み込まれたタッチパネルが操作された場合に、表示部１３８に表示されたメニュー項目および操作内容に応じた動作をするよう、撮像装置１００の各部を制御する。また、カメラＭＰＵ１３３は、タッチパネルを通じて、後述する主被写体の領域を指定するユーザ指示を受け付けることができる。
【００２０】
カメラ本体１３０の各要素および外部メモリ１６０は、電源１７０から電力供給を受ける。電源１７０としては、カメラ本体１３０に対して着脱できる例えばリチウムイオン電池などの二次電池、商用ＡＣ電源等を例示することができる。カメラＭＰＵ１３３は、電源１７０から撮像装置１００の各部への電力供給を制御する。なお、二次電池は、撮像装置１００を駆動する電池の一例である。電池とは、実質的に充電することができない非充電式の電池を含む。
【００２１】
図２は、ＡＳＩＣ１３５におけるブロック構成の一例を示す。ＡＳＩＣ１３５は、特徴領域特定部２００、向き特定部２１０、分割部２２０、主被写体選択部２３０、周辺領域選択部２４０、圧縮強度決定部２５０、圧縮部２６０および伸張部２６５を有する。ＡＳＩＣ１３５は、画像処理装置として機能する。
【００２２】
特徴領域特定部２００は、画像における特徴領域を特定する。具体的には、特徴領域特定部２００は、画像における複数の特徴領域を特定する。一例として特徴領域特定部２００は、人物像を含む画像領域を特徴領域として特定する。特徴領域特定部２００は、オブジェクト抽出等によって人物の目、鼻、口等の特徴的な形状のオブジェクトを検出することにより、人物像を含む画像領域を検出してよい。特徴領域特定部２００は、動物像を含む画像領域を特徴領域として特定してもよい。例えば、特徴領域特定部２００は、模様や耳等の形状等、動物が有する特徴的な形状のオブジェクトを検出することにより、動物像を含む画像領域を検出してよい。また、特徴領域特定部２００は、移動体の像を含む画像領域を、特徴領域として特定してもよい。例えば、特徴領域特定部２００は、動画撮影、連写撮影等のように、連続して得られた時系列の画像から被写体の動きを検出して、動きが検出された画像領域を、移動体の像を含む画像領域として特定してよい。移動体としては、自動車、電車等を例示することができる。動く人物、動物等を移動体として検出してよいことはいうまでもない。
【００２３】
向き特定部２１０は、特徴領域特定部２００によって特定された特徴領域内に撮像された被写体の向きを特定する。例えば、向き特定部２１０は、被写体が人物である場合、人物の顔の向きを特定する。例えば、向き特定部２１０は、人物の頭部領域と、頭部領域内の目、鼻、口、耳、髪等のオブジェクトの位置から、人物の顔の向きを特定してよい。被写体が動物である場合も同様に、動物の頭部領域と、頭部領域内の目、鼻、口、耳等のオブジェクトの位置から、動物の顔の向きを特定してよい。ここで、被写体の向きとは、移動の向きを含む概念である。具体的には、向き特定部２１０は、被写体が移動体である場合、移動の向きを被写体の向きとして特定してよい。向き特定部２１０は、連続して得られた時系列の画像内の移動体像の位置から、移動体の移動の向きを特定してよい。
【００２４】
分割部２２０は、複数の特徴領域以外の領域を複数の部分領域に分割する。すなわち、分割部２２０は、画像を、複数の特徴領域および複数の部分領域を含む複数の画像領域に分割する。具体的には、分割部２２０は、画像の全体領域内に、複数の画像領域の境界を設定する。一例として、分割部２２０は、矩形の画像領域を設定する場合、各画像領域の対角をなす点の座標を設定する。
【００２５】
主被写体選択部２３０は、画像内の複数の画像領域の中から、主被写体の像を含む画像領域である主被写体領域を選択する。具体的には、主被写体選択部２３０は、複数の特徴領域のうちの一部の特徴領域を、主被写体領域として選択する。例えば、主被写体選択部２３０は、複数の画像領域の中から、フォーカスポイントを含む画像領域を主被写体領域として選択する。フォーカスポイントは、カメラＭＰＵ１３３およびレンズＭＰＵ１２３によるＡＦ情報等の制御情報から特定されてよい。主被写体選択部２３０は、フォーカスポイントに基づく判断に替えて、特徴領域内に撮像された被写体に対する合焦度合いを画像から検出して、検出した合焦度合いに基づいて、より合焦した被写体の像を含む特徴領域を、主被写体領域としてより優先して特定してよい。主被写体選択部２３０は、フォーカスポイントに基づく判断に加えて、上述した合焦度合いに基づいて、主被写体領域を特定してもよい。このように、主被写体選択部２３０は、複数の特徴領域のうち、より合焦した被写体の像を含む画像領域を、より優先して主被写体領域として特定してよい。
【００２６】
主被写体選択部２３０は、上述したＡＦ情報の他、人物等の顔検出、動き検出、特定被写体の追尾情報等の検出結果に基づき、主被写体領域を選択してよい。例えば、撮像装置１００の撮像モードが人物撮影モードである場合、人物像が検出された領域を主被写体領域として選択してよい。撮像モードが動物撮影モードである場合、動物像が検出された領域を主被写体領域として選択してよい。例えば、撮像モードが動物撮影モードである場合に、動物像が検出された領域を、人物像が検出された領域よりも優先して主被写体領域として選択してよい。
【００２７】
また、複数の人物、複数の動物、自動車や電車等の複数の移動体等、類似の複数の被写体が検出される場合がある。この場合でも、上述したＡＦ情報、ユーザによる主被写体の指定等に従って、特定の主被写体が写り込んだ領域を主被写体領域として選択してもよい。
【００２８】
周辺領域選択部２４０は、主被写体領域の周辺の画像領域である周辺領域を選択する。例えば、周辺領域選択部２４０は、分割部２２０により分割された複数の部分領域のうち、主被写体領域の位置により近い部分領域を、周辺領域として優先して選択する。例えば、周辺領域選択部２４０は、主被写体領域の重心位置により近い重心位置を持つ部分領域を、周辺領域としてより優先して選択してよい。また、周辺領域選択部２４０は、主被写体の向きに位置する画像領域を、周辺領域として選択してもよい。例えば、主被写体が人物である場合、主被写体領域よりも顔の向きや移動の向きに位置する画像領域を、周辺領域として選択してもよい。
【００２９】
圧縮強度決定部２５０は、主被写体領域および周辺領域の画像領域である第１領域より、第１領域以外の画像領域である第２領域に、高い圧縮強度を決定する。圧縮部２６０は、圧縮強度決定部２５０が決定した圧縮強度に従って、各領域を圧縮する。すなわち、圧縮部２６０は、主被写体領域および周辺領域の画像領域である第１領域より、第１領域以外の画像領域である第２領域を、高い圧縮強度で圧縮する。このため、主被写体領域の周辺を、他の領域より高画質にすることができる。
【００３０】
伸張部２６５は、外部メモリ１６０から読み出した圧縮済みの画像データを伸張する。伸張部２６５により伸張された画像データは、表示部１３８への表示に供される。ＡＳＩＣ１３５は、伸張された画像データに対して、上述した特徴領域の特定、領域分割、圧縮強度の決定等の領域設定をして再圧縮してもよい。
【００３１】
図３は、圧縮部２６０のブロック構成の一例を示す。圧縮部２６０は、圧縮処理部２７０、合成制御部２８０、合成部２９０を有する。圧縮処理部２７０は、第１符号化部２７１および第２符号化部２７２を有する。
【００３２】
圧縮処理部２７０は、圧縮強度決定部２５０が決定した圧縮強度に従って、各画像領域に圧縮符号化を施す。圧縮処理部２７０は、第１領域および第２領域を並行して圧縮する。具体的には、第１符号化部２７１は、第１領域を圧縮し、第２符号化部２７２は、第２領域を圧縮する。第１符号化部２７１および第２符号化部２７２は、それぞれ第１領域および第２領域を並行して圧縮する。
【００３３】
圧縮処理部２７０は、画像領域をグルーピングする予め定められた数の符号化器を有する。本実施形態の撮像装置１００のように、主被写体領域および周辺領域を含む第１領域、および、第１領域以外の第２領域にグルーピングする場合、圧縮処理部２７０には２つの符号化部が設けられる。
【００３４】
一方、主被写体として第１主被写体と第２主被写体を設定する場合、第１主被写体の領域および第１主被写体の周辺領域を含む第１領域と、第２主被写体の領域および第２主被写体の周辺領域を含む第２領域と、第１領域および第２領域を除く第３領域との３つの領域にグルーピングしてよい。例えば主被写体として特定される数に１を加えた数の領域に画像領域をグルーピングしてよい。このように画像領域を３つの領域にグルーピングする場合、圧縮処理部２７０には３つの符号化器を設けてよい。例えば、主被写体として特定する数に１を加えた数の符号化器を、圧縮処理部２７０に設けてよい。
【００３５】
合成制御部２８０は、第１領域を圧縮することにより生成された第１圧縮データと、第２領域を圧縮することにより生成された第２圧縮データとを、合成部２９０に供給する。合成部２９０は、第１圧縮データと第２圧縮データとを合成して、１つの画像データを圧縮した圧縮データを生成する。合成制御部２８０は、合成部２９０に第１圧縮データおよび第２圧縮データを合成させるタイミングを制御する。例えば、合成制御部２８０は、第１符号化部２７１および第２符号化部２７２から出力される圧縮データをバッファし、全符号化部から圧縮データが出力された場合に、合成部２９０に圧縮データを一斉に出力する。合成制御部２８０により、各領域の圧縮に要する時間差を吸収することができる。このように、合成制御部２８０は、合成部２９０における圧縮データの合成を制御する。
【００３６】
図４は、画像領域のグルーピング例を示す。本例では、画像の一例としてのフレーム４００から、特徴領域４１０ａおよび特徴領域４１０ｂが抽出されている。
【００３７】
分割部２２０は、特徴領域４１０ａおよび特徴領域４１０ｂ以外の領域を、部分領域４２０ａおよび部分領域４２０ｂに分割する。例えば分割部２２０は、向き特定部２１０によって特定された被写体の移動方向に基づいて、部分領域４２０ａおよび部分領域４２０ｂに分割する。被写体の移動方向は、動画を構成する他のフレームから同一被写体を示す像の位置を特定し、特定した位置から被写体像の移動方向を判定することにより、特定することができる。
【００３８】
本例では、特徴領域４１０ａ内の被写体像の移動方向は右方向であり、特徴領域４１０ｂ内の被写体像は移動していないと判定される。この場合、分割部２２０は、移動している被写体像を含む特徴領域４１０ａよりも右方向に重心位置を持つ部分領域４２０ａと、特徴領域４１０ｂを左右の中央に含む部分領域４２０ｂとの２つの部分領域に分割する。これにより、フレーム４００の全体領域は、特徴領域４１０ａ、特徴領域４１０ｂ、部分領域４２０ａおよび部分領域４２０ｂの４個の画像領域に分割される。
【００３９】
本例において、主被写体選択部２３０は、特徴領域４１０ａおよび特徴領域４１０ｂのうち、特徴領域４１０ａを主被写体領域として選択する。例えば、主被写体選択部２３０は、フォーカスポイントを含む特徴領域４１０ａを主被写体領域として選択する。主被写体領域が選択されると、周辺領域選択部２４０は、特徴領域４１０ａの右方向に重心位置が存在する部分領域４２０ａを、周辺領域として選択する。すなわち、４個の画像領域は、特徴領域４１０ａおよび部分領域４２０ａを含む第１領域４０１と、特徴領域４１０ｂおよび部分領域４２０ｂを含む第２領域４０２とにグルーピングされる。
【００４０】
圧縮強度決定部２５０は、第１領域４０１に適用する圧縮強度を、第２領域４０２に適用する圧縮強度よりも低く設定する。具体的には、圧縮強度決定部２５０は、第１領域４０１を符号化する場合に適用する量子化ステップの値を、第２領域４０２を符号化する場合に適用する量子化ステップの値よりも小さく設定する。これにより、主被写体および主被写体の周辺の領域を、他の領域よりも高画質に保つことができる。
【００４１】
撮像装置１００によれば、多くの特徴領域が検出された場合でも、主被写体が写り込んだ特徴領域を特に主被写体領域として選択する。このため、全特徴領域を一律に高画質化する場合と比較して、符号量を削減することができる。また、特に主要な被写体およびその周辺領域に符号量を多く割り上げることができる。
【００４２】
図５は、画像領域の他のグルーピング例を示す。本例では、画像の一例としてのフレーム５００から、特徴領域５１０ａおよび特徴領域５１０ｂが抽出されている。
【００４３】
分割部２２０は、特徴領域５１０ａおよび特徴領域５１０ｂ以外の領域を、３以上の部分領域５２０ａ〜ｅに分割する。本例では、特徴領域５１０ａ内の被写体像の移動方向は右方向であり、特徴領域５１０ｂ内の被写体の移動方向は左方向であると判定される。この場合、分割部２２０は、特徴領域５１０ａよりも右方向に重心位置を持つ領域（部分領域５２０ａ、５２０ｃ、５２０ｄ）と、特徴領域５１０ｂよりも左方向に重心位置を持つ領域（部分領域５２０ｅ、５２０ｆ、５２０ｇ）と、特徴領域５１０ａに対して被写体像の移動方向の反対方向である左方向に重心位置を持ち、かつ、特徴領域５１０ｂに対して被写体像の移動方向の反対方向である右方向に重心位置を持つ領域（部分領域５２０ｂ）とに分割する。
【００４４】
本例において、分割部２２０は、特徴領域５１０ａよりも右方向に重心位置を持つ領域を、特徴領域５１０ａの重心位置に対して上にシフトした重心位置を持つ部分領域５２０ｃと、特徴領域５１０ａの重心位置に対して下にシフトした重心位置を持つ部分領域５２０ｄと、特徴領域５１０ａの重心位置に対して右にシフトした重心位置を持つ部分領域５２０ａとに分割する。同様に、分割部２２０は、特徴領域５１０ｂよりも左方向に重心位置を持つ領域を、特徴領域５１０ｂの重心位置に対して上にシフトした重心位置を持つ部分領域５２０ｆと、特徴領域５１０ｂの重心位置に対して下にシフトした重心位置を持つ部分領域５２０ｇと、特徴領域５１０ｂの重心位置に対して左にシフトした重心位置を持つ部分領域５２０ｅとに分割する。これにより、フレーム５００の全体領域は、特徴領域５１０ａ、特徴領域５１０ｂ、部分領域５２０ａ〜ｇの９個の画像領域に分割される。
【００４５】
本例において、特徴領域５１０ａが主被写体領域として選択された場合、周辺領域選択部２４０は、特徴領域５１０ａの右方向に重心位置が存在する部分領域５２０ａおよび特徴領域５１０ａの左方向に重心位置が存在する部分領域５２０ｂを、周辺領域として選択する。すなわち、９個の画像領域は、特徴領域５１０ａ、部分領域５２０ａ、部分領域５２０ｂを含む第１領域５０１と、第１領域以外の領域である第２領域とにグルーピングされる。
【００４６】
本例において、圧縮強度決定部２５０は、第１領域５０１に含まれる画像領域に適用する圧縮強度を異ならせる。例えば、圧縮強度決定部２５０は、特徴領域５１０ａに適用する圧縮強度を、部分領域５２０ａおよび部分領域５２０ｂに適用する圧縮強度より小さくする。したがって、圧縮部２６０は、主被写体領域である特徴領域５１０ａより周辺領域を、高い圧縮強度で圧縮する。このため、第１領域５０１内において、他の領域よりも特徴領域５１０ａの画質を高く保つことができる。
【００４７】
なお、圧縮強度決定部２５０は、第１領域５０１以外の領域である第２領域に適用する圧縮強度を、画像領域毎に異ならせてもよい。例えば、圧縮強度決定部２５０は、特徴領域５１０ｂに適用する圧縮強度を、部分領域５２０ｅに適用する圧縮強度より小さくする。したがって、圧縮部２６０は、第２領域内の特徴領域５１０ｂ以外の画像領域を、特徴領域５１０ｂの圧縮強度よりも高い圧縮強度で圧縮する。このため、第２領域内においては、特徴領域を他の領域より画質を高く保つことができる。なお、第１領域５０１に含まれる部分領域５２０ａおよび部分領域５２０ｂに適用する圧縮強度は、特徴領域５１０ｂに適用する圧縮強度よりも小さくする。すなわち、第２領域に適用する圧縮強度は、第１領域５０１のいずれの画像領域に適用する圧縮強度よりも高く設定される。
【００４８】
本例によれば、主被写体の移動方向の領域だけでなく主被写体が直前に存在した領域を、他の領域よりも高画質に保つことができる。また、動画を構成する複数のフレームのそれぞれについて特徴領域の特定、領域分割、グルーピング等の領域設定をしなくとも、主被写体の像を高画質化することができる場合がある。例えば、予め定められた数のフレーム毎に領域設定をして、前後のフレームに適用することができる場合がある。このため、領域設定に要する演算量を削減することができる場合がある。
【００４９】
図６は、画像領域の更なる他のグルーピング例を示す。本例において、画像の一例としてのフレーム６００から、特徴領域６１０ａおよび特徴領域６１０ｂが抽出されている。
【００５０】
本例において、特徴領域６１０ａおよび特徴領域６１０ｂが一部で重なっている。この場合、主被写体領域として特定された特徴領域６１０ａに含まれる領域については、特徴領域６１０ｂに含まれる場合でも、第１領域６０１として選択される。
【００５１】
具体的には、主被写体領域として特定された特徴領域６１０ａを基準として、各領域の圧縮強度を設定してよい。例えば、周辺領域選択部２４０は、特徴領域６１０ａ内の主被写体像の移動方向に基づき分割された部分領域６２０ａおよび部分領域６２０ｂのうち、主被写体像の移動方向に重心位置を持つ部分領域６２０ａを周辺領域として選択する。これにより、フレーム６００の全体領域は、特徴領域６１０ａ、部分領域６２０ａおよび部分領域６２０ｂの３個の画像領域に分割される。
【００５２】
そして、周辺領域選択部２４０は、特徴領域６１０ａの右方向に重心位置が存在する部分領域６２０ａを、周辺領域として選択する。すなわち、３個の画像領域は、特徴領域６１０ａおよび部分領域６２０ａを含む第１領域６０１と、特徴領域６１０ａを含まない第２領域とにグルーピングされる。そして、圧縮強度決定部２５０は、第１領域６０１に適用する圧縮強度を、第２領域に適用する圧縮強度よりも低く設定する。
【００５３】
なお、本例では、特徴領域６１０ａを基準として各領域の圧縮強度を設定するとした。しかし、主被写体領域として特定された特徴領域と一部で領域が重複する他の特徴領域が存在複する場合、主被写体選択部２３０は、主被写体領域として特定された特徴領域および他の特徴領域を包含する領域を、主被写体領域として選択してもよい。
【００５４】
図７は、画像領域の更なる他のグルーピング例を示す。本例では、画像の一例としてのフレーム７００から、一つの特徴領域７１０が抽出されている。
【００５５】
本例において、分割部２２０は、特徴領域７１０ａ以外の領域を、部分領域７２０ａ〜ｄに分割する。本例では、特徴領域７１０ａ内の被写体像の移動方向は右方向であると判定される。この場合、分割部２２０は、特徴領域７１０ａの重心位置に対して右にシフトした重心位置を持つ部分領域７２０ａと、特徴領域７１０ａの重心位置に対して被写体像の移動方向の反対方向である左にシフトした重心位置を持つ部分領域７２０ｂと、特徴領域７１０ａの重心位置よりも上にシフトした重心位置を持つ部分領域７２０ｃと、特徴領域７１０ａの重心位置よりも下にシフトした重心位置を持つ部分領域７２０ｄとに分割する。これにより、フレーム７００の全体領域は、特徴領域７１０ａ、部分領域７２０ａ〜ｄの５個の画像領域に分割される。
【００５６】
本例において、周辺領域選択部２４０は、特徴領域７１０ａの右方向に重心位置が存在する部分領域７２０ａおよび特徴領域７１０ａの左方向に重心位置が存在する部分領域７２０ｂを、周辺領域として選択する。すなわち、５個の画像領域は、特徴領域７１０ａ、部分領域７２０ａ、部分領域７２０ｂを含む第１領域７０１と、第１領域以外の領域である第２領域とにグルーピングされる。
【００５７】
本例によれば、図５の例と同様に、主被写体の移動方向の領域だけでなく主被写体が直前に存在した領域を、他の領域よりも高画質に保つことができる。このため、領域設定に要する演算量を削減することができる場合がある。なお、分割部２２０は、動画における主被写体の移動速度が速いほど、移動方向に位置する部分領域の幅および移動方向の反対方向に位置する部分領域の幅を大きく決定してもよい。ここで、部分領域の幅とは、移動方向の幅であってよい。
【００５８】
なお、図４から図７に関連して被写体の移動方向として、画像内の右方向または左方向を例示した。例えば、動画において被写体像が上方向に移動する場合には、周辺領域選択部２４０は、主被写体領域に対して上方向に重心位置を持つ部分領域を周辺領域として選択してよい。また、部分領域が左右方向にも分割されている場合、周辺領域選択部２４０は、主被写体領域に対して下にシフトした重心位置を持つ部分領域を周辺領域として更に選択してよい。以上の例では、左右方向、上下方向に被写体が移動する場合の領域設定について説明したが、斜め方向に被写体が移動する場合にも同様の領域設定を適用できることは言うまでもない。例えば、主被写体領域に対して被写体の移動方向に重心位置を持つ部分領域を、周辺領域として選択するようにすればよい。
【００５９】
なお、隣接する画像領域に異なる圧縮強度を適用する場合、当該隣接する画像領域の境界で圧縮強度の変化幅が予め定められた値以下になるよう、境界に接する一部領域の圧縮強度を漸増または漸減させてよい。例えば、圧縮部２６０は、第１領域および第２領域の境界の領域に適用する圧縮強度を漸減または漸増させることにより、第１領域および第２領域の境界の領域における圧縮強度の差を予め定められた値以下にしてよい。例えば、圧縮部２６０は、第２領域に隣接する第１領域内の一部の領域において、圧縮強度を境界に向けて漸増させてよい。圧縮部２６０は、第１領域に隣接する第２領域内の一部の領域において、圧縮強度を境界に向けて漸減させてよい。
【００６０】
図８は、撮像装置１００の起動から終了までの処理フローを示す。本フローは、操作入力部１４１の一部としての電源ボタンがＯＮされた場合に、開始される。本フローは、カメラＭＰＵ１３３が主体となって撮像装置１００の各部を制御することにより実行される。
【００６１】
ステップＳ８００において、カメラＭＰＵ１３３は、初期設定を開始する。例えば、カメラＭＰＵ１３３は、撮像装置１００を制御するための各種パラメータ等を、システムメモリ１３９からＳＤＲＡＭ１３６に展開する。そして、カメラＭＰＵ１３３は、例えば撮像モードスイッチ等を含む操作入力部１４１の状態、および、展開された各種パラメータに基づき、撮像装置１００の各部の動作条件を設定する。例えば、撮像モードスイッチの位置に応じて、撮像モードを設定する。また、撮像モードに応じて、撮像条件や画像処理条件を設定する。例えば、撮像モードとしては、人物撮影に適した人物撮影モード、動物撮影に適した動物撮影モード等を例示することができる。
【００６２】
続いて、ステップＳ８０２において、表示部１３８への表示を行う。例えば、カメラＭＰＵ１３３は、撮像モード、撮像条件および画像処理条件等を識別する設定情報を、表示部１３８に表示させる。
【００６３】
続いて、ステップＳ８０４において、カメラＭＰＵ１３３は、操作入力部１４１に対するユーザ指示を判断する。ユーザ指示が諸設定を実行する指示である場合、カメラＭＰＵ１３３が主体となって、指示された設定処理を行う（ステップＳ８０６）。設定処理としては、撮像モードを設定する処理、撮像条件を設定する処理、画像処理条件を設定する処理、動画撮影におけるフレームレートを設定する処理、上述した主被写体が存在すべき領域をユーザが指定する処理等を例示することができる。
【００６４】
ステップＳ８０４において、ユーザ指示が撮像実行に関する指示であると判断された場合、撮像実行に関する処理を行う（ステップＳ８１２）。撮影実行に関する指示としては、ライブビューボタン、動画撮影ボタン、レリーズボタンに対する操作等を例示することができる。ステップＳ８０４におけるユーザ指示が画像の再生を実行する指示である場合、再生処理を実行する（ステップＳ８２２）。再生処理としては、外部メモリ１６０に記録された画像をサムネイル表示する処理、ユーザにより指示された画像を表示する処理等を例示することができる。
【００６５】
ステップＳ８０４においてユーザ指示がない場合は、環境光を測光する測光処理を行う（ステップＳ８３２）。例えば、環境光の測光結果に基づき適正露出値を決定する。本測光処理は一定の時間間隔で実行され、現在の適正露出値が決定される。ステップＳ８３２で決定した現在の露出値を示す情報は、表示部１３８にリアルタイムに表示され、ユーザに提示される。
【００６６】
ステップＳ８０６、ステップＳ８１２、ステップＳ８２２、ステップＳ８３２の処理が完了すると、ステップＳ８０８に進み、電源をＯＦＦするか否かを判断する。例えば、電源ボタンがＯＦＦ位置に切り替えられた場合や、電源がＯＮされてから予め定められた期間、ユーザ指示無しの状態が継続した場合等に、電源をＯＦＦすると判断する。電源をＯＦＦすると判断した場合は動作を終了し、電源をＯＦＦしないと判断した場合はステップＳ８０４に処理を移行させる。
【００６７】
図９は、動画撮影における動作フローの一例を示す。本例では、ステップＳ８１２の一部の処理として、動画撮影が指示された場合の動作フローを示す。本フローは、動画撮影ボタンが押し込まれた場合に、開始される。
【００６８】
ステップＳ９０２において、カメラＭＰＵ１３３が撮像装置１００の各部に動画撮影を指示することにより、動画撮影が開始される。動画撮影が開始されると、フレームがＳＤＲＡＭ１３６に順次に取り込まれる。ＡＳＩＣ１３５において、画像処理対象のフレームがＳＤＲＡＭ１３６に取り込まれているか否かが判断される（ステップＳ９０４）。
【００６９】
画像処理対象のフレームが取り込まれた場合、特徴領域特定部２００により１以上の特徴領域の特定（ステップＳ９０６）と、向き特定部２１０による被写体の向きの特定（ステップＳ９０８）とが行われる。
【００７０】
ステップＳ９１０において、分割部２２０は、特徴領域特定部２００が特定した特徴領域以外の領域を、複数の部分領域に分割する。分割部２２０は、上述したように、特徴領域内の被写体の移動方向に基づいて、複数の部分領域に分割する。これにより、フレームの全体領域は、１以上の特徴領域および複数の部分領域により複数の画像領域に分割される。
【００７１】
ステップＳ９１２において、主被写体選択部２３０は、１以上の特徴領域の中から、主被写体領域を選択する。続いてステップＳ９１４において、周辺領域選択部２４０は、部分領域の中から周辺領域を選択する。周辺領域選択部２４０は、上述したように主被写体領域内の被写体の移動方向に基づいて、複数の部分領域のうちの一部の部分領域を周辺領域として選択する。これにより、複数の画像領域は、主被写体領域および周辺領域を包含する第１領域、および、第１領域以外の第２領域の２つの領域にグルーピングされる。
【００７２】
続いて、圧縮強度決定部２５０は、グルーピングされた各領域を選択して（ステップＳ９１６）、それぞれに圧縮強度を決定する。具体的には、圧縮強度決定部２５０は、主被写体領域および周辺領域のいずれかに属する領域には、予め定められた値以下の圧縮強度を設定し（ステップＳ９１８）、主被写体領域および周辺領域のいずれにも属さない領域には、予め定められた値より大きい圧縮強度を設定する（ステップＳ９２０）。
【００７３】
続いて、ステップＳ９２２において、圧縮部２６０は、圧縮強度決定部２５０が決定した圧縮強度に従って各領域を圧縮する。本処理の詳細については、図１０に関連して後述する。
【００７４】
続いて、ステップＳ９２４において、動画撮影の処理を終了するか否かを判断する。例えば、動画撮影ボタンが再度押し込まれ、かつ、画像処理対象のフレームが存在しない場合に、動画撮影の処理を終了すると判断する。動画撮影の処理を終了すると判断された場合、本動作フローを終了する。動画撮影の処理を終了しないと判断された場合、ステップＳ９０４に処理を進める。
【００７５】
図１０は、圧縮部２６０がフレームを圧縮する動作フローの一例を示す。本フローは、図９のステップＳ９２２における詳細な動作フローである。ステップＳ１１００２において、圧縮部２６０は、ＳＤＲＡＭ１３６からフレームを読み出す。続いて、第１符号化部２７１に主要被写体領域および周辺領域を包含する第１領域のデータが供給され（ステップＳ１００４）、第２符号化部２７２に第２領域のデータが供給される（ステップＳ１００６）。
【００７６】
第１符号化部２７１では、第１領域のデータに対して、例えば量子化を含む符号化処理が行われる。第１符号化部２７１では、ＤＣＴ変換、フレーム間圧縮またはフレーム内圧縮等の符号化処理が行われてもよい。第２符号化部２７２では、第２領域のデータに対して、第１符号化部２７１と同様の符号化処理が行われる。第１符号化部２７１および第２符号化部２７２は、例えば圧縮強度決定部２５０が各領域について決定した圧縮強度に対応する量子化ステップの値を適用して、それぞれの領域に対して量子化を行う。第１符号化部２７１および第２符号化部２７２によりそれぞれ符号化された各領域のデータは、圧縮データとしてＳＤＲＡＭ１３６に一時的に記憶される。第１符号化部２７１および第２符号化部２７２が符号化を完了した場合、符号化が完了した旨を合成制御部２８０に通知する。
【００７７】
ステップＳ１００８において、合成制御部２８０は、第１符号化部２７１および第２符号化部２７２の両方の符号化が完了したか否かを判断する。第１符号化部２７１および第２符号化部２７２の少なくとも一方の符号化が完了していない場合、ステップＳ１００８の判断を繰り返す。第１符号化部２７１および第２符号化部２７２の両方から符号化の完了通知があった場合、合成制御部２８０は、ＳＤＲＡＭ１３６に一時的に記憶された各領域の圧縮データを合成部２９０に供給して合成させる（ステップＳ１０１０）。続いて、合成部２９０が圧縮データを合成することで生成された１つのフレームの圧縮データが、ＳＤＲＡＭ１３６に記憶され（ステップＳ１０１２）、本動作フローは終了する。
【００７８】
以上に説明した撮像装置１００によれば、全体の符号量を削減しつつ、主被写体の周辺領域の画質を高画質に保つことができる。以上の説明では、動画を構成する画像の一例としてのフレームを圧縮する場合を特に取り上げて、撮像装置１００の各部の動作を説明した。しかし、画像としては動画を構成するフレームに限らず、静止画を適用の対象とすることができる。
【００７９】
本実施形態の撮像装置１００に関連して説明した処理は、撮像装置１００の各部、例えばカメラＭＰＵ１３３等のプロセッサがプログラムに従って動作することにより、実現することができる。すなわち当該処理を、いわゆるコンピュータ装置によって実現することができる。コンピュータ装置は、上述した処理の実行を制御するプログラムをロードして、読み込んだプログラムに従って動作して、当該処理を実行してよい。コンピュータ装置は、当該プログラムを記憶しているコンピュータ読取可能な記録媒体を読み込むことによって、当該プログラムをロードすることができる。
【００８０】
本実施形態において、レンズ交換式の一眼レフカメラとしての撮像装置１００を取り上げて説明した。撮像装置としては、コンパクトデジタルカメラ、ミラーレス一眼カメラ、ビデオカメラ、撮像機能付きの携帯電話機、撮像機能付きの携帯情報端末、撮像機能付きのゲーム機器等の娯楽装置等、撮像機能を有する種々の機器を適用の対象とすることができる。また、ＡＳＩＣ１３５における処理として説明した画像処理に対応する画像処理を実行する機器として、パーソナルコンピュータの他、記録機能付きのテレビ、レコーダ等の画像記録装置を適用の対象とすることができる。また、処理対象とする画像データは、ＲＡＷ画像のように実質的な画像処理が施されていない画像データだけでなく、圧縮等の種々の画像処理が施された画像データであってもよい。
【００８１】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００８２】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００８３】
１００ 撮像装置、１２０ 交換レンズ、１２１ レンズマウント接点、１３０ カメラ本体、１３１ カメラマウント接点、１２２ レンズ群、１３２ 撮像素子、１２３ レンズＭＰＵ、１３３ カメラＭＰＵ、１３４ Ａ／Ｄ変換器、１３５ ＡＳＩＣ、１３６ ＳＤＲＡＭ、１３７ 表示制御部、１３８ 表示部、１３９ システムメモリ、１４０ 駆動部、１４１ 操作入力部、１４５ 接続インタフェース、１７０ 電源、１６０ 外部メモリ、２００ 特徴領域特定部、２１０ 向き特定部、２２０ 分割部、２３０ 主被写体選択部、２４０ 周辺領域選択部、２５０ 圧縮強度決定部、２６０ 圧縮部、２７０ 圧縮処理部、２７１ 第１符号化部、２７２ 第２符号化部、２８０ 合成制御部、２９０ 合成部、４００、５００、６００、７００ フレーム、４１０、５１０、６１０、７１０ 特徴領域、４２０、５２０、６２０、７２０ 部分領域、４０１、５０１、６０１、７０１ 第１領域、４０２ 第２領域
【特許請求の範囲】
【請求項１】
画像内の複数の画像領域の中から、主被写体の像を含む画像領域である主被写体領域を選択する主被写体領域選択部と、
前記主被写体領域の周辺の画像領域である周辺領域を選択する周辺領域選択部と、
前記主被写体領域および前記周辺領域の画像領域である第１領域より、前記第１領域以外の画像領域である第２領域を、高い圧縮強度で圧縮する圧縮部と、
を備える画像処理装置。
【請求項２】
前記画像における複数の特徴領域を特定する特徴領域特定部
をさらに備え、
前記主被写体領域選択部は、前記複数の特徴領域のうちの一部の特徴領域を、前記主被写体領域として選択する
請求項１に記載の画像処理装置。
【請求項３】
前記圧縮部は、前記主被写体領域より前記周辺領域を高い圧縮強度で圧縮する
請求項２に記載の画像処理装置。
【請求項４】
前記圧縮部は、前記第２領域内の前記特徴領域以外の画像領域を、当該特徴領域の圧縮強度よりも高い圧縮強度で圧縮する
請求項３に記載の画像処理装置。
【請求項５】
前記複数の特徴領域以外の領域を複数の部分領域に分割することにより、前記画像を、前記複数の特徴領域および前記複数の部分領域を含む複数の画像領域に分割する分割部
をさらに備え、
前記周辺領域選択部は、前記分割部により分割された前記複数の部分領域のうち、前記主被写体領域の位置により近い部分領域を、前記周辺領域として優先して選択する
請求項２から４のいずれか一項に記載の画像処理装置。
【請求項６】
前記周辺領域選択部は、前記主被写体の向きに位置する画像領域を、前記周辺領域として選択する
請求項１から５のいずれか一項に記載の画像処理装置。
【請求項７】
前記主被写体領域選択部は、動画を構成する画像内の複数の画像領域から、前記主被写体領域を選択する
請求項１から６のいずれか一項に記載の画像処理装置。
【請求項８】
前記主被写体領域選択部は、前記複数の画像領域の中から、フォーカスポイントを含む画像領域を前記主被写体領域として選択する
請求項１から７のいずれか一項に記載の画像処理装置。
【請求項９】
前記圧縮部は、前記第１領域および前記第２領域の境界の領域に適用する圧縮強度を漸減または漸増させることにより、前記第１領域および前記第２領域の境界における圧縮強度の差を予め定められた値以下にする
請求項１から８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記圧縮部は、
前記第１領域および前記第２領域を並行して圧縮する圧縮処理部と、
前記第１領域を圧縮することにより生成された第１圧縮データと、前記第２領域を圧縮することにより生成された第２圧縮データとを合成する合成部と、
前記合成部に前記第１圧縮データおよび前記第２圧縮データを合成させるタイミングを制御する合成制御部と、
を有する請求項１から９のいずれか一項に記載の画像処理装置。
【請求項１１】
前記画像を撮像する撮像部と、
請求項１から１０のいずれか一項に記載の画像処理装置と、
を備える撮像装置。
【請求項１２】
画像内の複数の画像領域の中から、主被写体の像を含む画像領域である主被写体領域を選択するステップと、
前記主被写体領域の周辺の画像領域である周辺領域を選択するステップと、
前記主被写体領域および前記周辺領域の画像領域である第１領域より、前記第１領域以外の画像領域である第２領域を、高い圧縮強度で圧縮するステップと、
をコンピュータに実行させるプログラム。
【請求項１】
画像内の複数の画像領域の中から、主被写体の像を含む画像領域である主被写体領域を選択する主被写体領域選択部と、
前記主被写体領域の周辺の画像領域である周辺領域を選択する周辺領域選択部と、
前記主被写体領域および前記周辺領域の画像領域である第１領域より、前記第１領域以外の画像領域である第２領域を、高い圧縮強度で圧縮する圧縮部と、
を備える画像処理装置。
【請求項２】
前記画像における複数の特徴領域を特定する特徴領域特定部
をさらに備え、
前記主被写体領域選択部は、前記複数の特徴領域のうちの一部の特徴領域を、前記主被写体領域として選択する
請求項１に記載の画像処理装置。
【請求項３】
前記圧縮部は、前記主被写体領域より前記周辺領域を高い圧縮強度で圧縮する
請求項２に記載の画像処理装置。
【請求項４】
前記圧縮部は、前記第２領域内の前記特徴領域以外の画像領域を、当該特徴領域の圧縮強度よりも高い圧縮強度で圧縮する
請求項３に記載の画像処理装置。
【請求項５】
前記複数の特徴領域以外の領域を複数の部分領域に分割することにより、前記画像を、前記複数の特徴領域および前記複数の部分領域を含む複数の画像領域に分割する分割部
をさらに備え、
前記周辺領域選択部は、前記分割部により分割された前記複数の部分領域のうち、前記主被写体領域の位置により近い部分領域を、前記周辺領域として優先して選択する
請求項２から４のいずれか一項に記載の画像処理装置。
【請求項６】
前記周辺領域選択部は、前記主被写体の向きに位置する画像領域を、前記周辺領域として選択する
請求項１から５のいずれか一項に記載の画像処理装置。
【請求項７】
前記主被写体領域選択部は、動画を構成する画像内の複数の画像領域から、前記主被写体領域を選択する
請求項１から６のいずれか一項に記載の画像処理装置。
【請求項８】
前記主被写体領域選択部は、前記複数の画像領域の中から、フォーカスポイントを含む画像領域を前記主被写体領域として選択する
請求項１から７のいずれか一項に記載の画像処理装置。
【請求項９】
前記圧縮部は、前記第１領域および前記第２領域の境界の領域に適用する圧縮強度を漸減または漸増させることにより、前記第１領域および前記第２領域の境界における圧縮強度の差を予め定められた値以下にする
請求項１から８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記圧縮部は、
前記第１領域および前記第２領域を並行して圧縮する圧縮処理部と、
前記第１領域を圧縮することにより生成された第１圧縮データと、前記第２領域を圧縮することにより生成された第２圧縮データとを合成する合成部と、
前記合成部に前記第１圧縮データおよび前記第２圧縮データを合成させるタイミングを制御する合成制御部と、
を有する請求項１から９のいずれか一項に記載の画像処理装置。
【請求項１１】
前記画像を撮像する撮像部と、
請求項１から１０のいずれか一項に記載の画像処理装置と、
を備える撮像装置。
【請求項１２】
画像内の複数の画像領域の中から、主被写体の像を含む画像領域である主被写体領域を選択するステップと、
前記主被写体領域の周辺の画像領域である周辺領域を選択するステップと、
前記主被写体領域および前記周辺領域の画像領域である第１領域より、前記第１領域以外の画像領域である第２領域を、高い圧縮強度で圧縮するステップと、
をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−９０２２（Ｐ２０１３−９０２２Ａ）
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願番号】特願２０１１−１３８２６５（Ｐ２０１１−１３８２６５）
【出願日】平成２３年６月２２日（２０１１．６．２２）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願日】平成２３年６月２２日（２０１１．６．２２）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]