画像処理装置、撮像装置およびプログラム
【課題】撮像領域を変更する速度が大きい場合に符号量が増大してしまうこと。
【解決手段】画像処理装置は、動画において撮像領域の変更速度が予め定められた基準値を超える期間である第１期間を特定する期間特定部と、第１期間以外の期間である第２期間より第１期間に、高い圧縮強度を適用して動画を圧縮する圧縮部と、を備える。プログラムは、動画において撮像領域の変更速度が予め定められた基準値を超える期間である第１期間を特定するステップと、第１期間以外の期間である第２期間より第１期間に、高い圧縮強度を適用して動画を圧縮するステップと、をコンピュータに実行させる。
【解決手段】画像処理装置は、動画において撮像領域の変更速度が予め定められた基準値を超える期間である第１期間を特定する期間特定部と、第１期間以外の期間である第２期間より第１期間に、高い圧縮強度を適用して動画を圧縮する圧縮部と、を備える。プログラムは、動画において撮像領域の変更速度が予め定められた基準値を超える期間である第１期間を特定するステップと、第１期間以外の期間である第２期間より第１期間に、高い圧縮強度を適用して動画を圧縮するステップと、をコンピュータに実行させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置およびプログラムに関する。
【背景技術】
【０００２】
撮影のシーン判定を行い、判定されたシーン毎に圧縮率を決定する技術が知られている（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１０−１９９６５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
撮像領域を変更する速度が大きい場合、動画を構成する画像間の相関関係が小さくなるので、符号量が増大してしまう。画像内容に変化を与える撮像状条件を変更する速度が大きい場合も、符号量が増大してしまう。
【課題を解決するための手段】
【０００４】
本発明の第１の態様においては、画像処理装置は、動画において撮像領域の変更速度が予め定められた基準値を超える期間である第１期間を特定する期間特定部と、第１期間以外の期間である第２期間より第１期間に、高い圧縮強度を適用して動画を圧縮する圧縮部と、を備える。
【０００５】
本発明の第２の態様においては、画像処理装置は、動画において画像内容に変化を与える撮像条件の変更速度が予め定められた基準値を超える期間である第１期間を特定する期間特定部と、第１期間以外の期間である第２期間より第１期間に、高い圧縮強度を適用して動画を圧縮する圧縮部と、を備える。
【０００６】
本発明の第３の態様においては、撮像装置は、画像を撮像する撮像部と、上記画像処理装置と、を備える。
【０００７】
本発明の第４の態様においては、プログラムは、動画において撮像領域の変更速度が予め定められた基準値を超える期間である第１期間を特定するステップと、第１期間以外の期間である第２期間より第１期間に、高い圧縮強度を適用して動画を圧縮するステップと、をコンピュータに実行させる。
【０００８】
本発明の第５の態様においては、プログラムは、動画において画像内容に変化を与える撮像条件の変更速度が予め定められた基準値を超える期間である第１期間を特定するステップと、第１期間以外の期間である第２期間より第１期間に、高い圧縮強度を適用して動画を圧縮するステップと、をコンピュータに実行させる。
【０００９】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【００１０】
【図１】撮像装置１００のシステム構成図を示す。
【図２】ＡＳＩＣ１３５におけるブロック構成の一例を示す。
【図３】ズーム倍率に基づき圧縮強度を制御する期間を模式的に示す。
【図４】ズーム倍率の変更速度の算出例を示す。
【図５】ズーム倍率の変更速度に基づく圧縮制御の一例を示す。
【図６】ズーム倍率の変更速度に基づく圧縮制御の他の例を示す。
【図７】ズーム倍率の変更速度に基づく圧縮制御の他の例を示す。
【図８】焦点の変更速度に関する補正データの一例をテーブル形式で示す。
【図９】画像領域毎に変更速度を判断する場面の一例を模式的に示す。
【図１０】撮像装置１００の起動から終了までの処理フローを示す。
【図１１】動画撮影における動作フローの一例を示す。
【図１２】圧縮部２６０がフレームを圧縮する動作フローの一例を示す。
【発明を実施するための形態】
【００１１】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１２】
図１は、撮像装置１００のシステム構成図を示す。撮像装置１００は、交換レンズ１２０およびカメラ本体１３０を備える。交換レンズ１２０は、レンズマウント接点１２１を有するレンズマウントを備え、カメラ本体１３０は、カメラマウント接点１３１を有するカメラマウントを備える。レンズマウントとカメラマウントが係合して交換レンズ１２０とカメラ本体１３０が一体化されると、レンズマウント接点１２１とカメラマウント接点１３１が接続される。撮像装置１００は、交換レンズ１２０とカメラ本体１３０とが一体化した状態で一眼レフカメラとして機能する。
【００１３】
被写体光は、光軸に沿って撮影光学系としてのレンズ群１２２を透過して、撮像素子１３２の受光面に結像する。レンズ群１２２は、レンズＭＰＵ１２３によって制御される。例えば、レンズＭＰＵ１２３は、レンズモータを制御して、レンズ群１２２を構成するフォーカスレンズ群、変倍レンズ群を移動させる。これにより、レンズ群１２２の焦点調節、焦点距離の調節が行われる。
【００１４】
レンズＭＰＵ１２３は、レンズマウント接点１２１およびカメラマウント接点１３１を介してカメラＭＰＵ１３３と接続され、相互に通信を実行しつつ協働して交換レンズ１２０とカメラ本体１３０を制御する。例えば、レンズＭＰＵ１２３は、カメラＭＰＵ１３３と協働して、画角内に設定された少なくとも１つの焦点調節領域の被写体に合焦するようレンズ群１２２の焦点調節を行う。また、レンズＭＰＵ１２３は、カメラＭＰＵ１３３から取得したズーム倍率を変更する指示に従って、レンズ群１２２のズームを担う変倍レンズの光軸方向の位置を調節する。レンズＭＰＵ１２３は、レンズ群１２２の焦点位置を示す情報およびレンズ群１２２の焦点距離を示す情報を、カメラＭＰＵ１３３に供給する。
【００１５】
交換レンズ１２０は、ユーザが手動で焦点調整の操作を行うフォーカスリング２５を有する。フォーカスリング２５が操作されることで、フォーカスレンズ群が光軸方向に移動する。例えば、フォーカスレンズ群は、フォーカスリング２５の光軸周りの回転に応じて、光軸方向に直進する駆動力を得る。また、交換レンズ１２０は、ユーザが画角調整の操作を行うズームリング２４を有する。ユーザがズームリング２４を操作することにより、レンズ群１２２の焦点距離が調整される。例えば、変倍レンズ群は、ズームリング２４の光軸周りの回転に応じて、光軸方向に直進する駆動力を得る。レンズＭＰＵ１２３は、撮像装置１００による動画撮影中に、焦点位置を示す情報、焦点距離を示す情報等のレンズ情報をカメラＭＰＵ１３３に供給する。
【００１６】
撮像素子１３２は、レンズ群１２２を通過した被写体光により撮像する撮像部の一部として機能する。撮像素子１３２は、被写体像である光学像を光電変換する光電変換素子を有する。撮像素子１３２としては、例えばＣＭＯＳセンサ、ＣＣＤセンサ等の固体撮像素子を適用できる。撮像素子１３２は、被写体光束を受光することにより生じた蓄積電荷による画像信号としてのアナログ信号をＡ／Ｄ変換器１３４に供給する。Ａ／Ｄ変換器１３４は、撮像素子１３２から出力されたアナログの画像信号をデジタルの画像信号に変換して画像データとして出力する。撮像素子１３２は、カメラＭＰＵ１３３からの指示を受けた駆動部１４０により駆動される。
【００１７】
Ａ／Ｄ変換器１３４が出力した画像データは、ＳＤＲＡＭ１３６に記憶される。ＳＤＲＡＭ１３６の少なくとも一部のメモリ領域は、撮像により生成された画像データを一時的に記憶するバッファメモリとして使用される。撮像素子１３２が被写体光束で連続して撮像した場合、撮像により順次に生成される画像データはＳＤＲＡＭ１３６に順次に記憶される。例えば、被写体光束で連続して静止画を撮像することにより得られた複数の静止画の画像データが、ＳＤＲＡＭ１３６に順次に記憶される。また、被写体光束で動画を撮像することにより得られた動画を構成する複数の画像としてのフレームデータが、ＳＤＲＡＭ１３６に順次に記憶される。
【００１８】
ＡＳＩＣ１３５は、ＳＤＲＡＭ１３６に記憶された画像データを順次処理する。ＡＳＩＣ１３５は、画像処理機能に関連する回路を一つにまとめた集積回路である。ＡＳＩＣ１３５は、ＳＤＲＡＭ１３６の少なくとも一部のメモリ領域を画像処理用のワークエリアとして使用して画像処理を行う。
【００１９】
具体的には、ＡＳＩＣ１３５は、画像データを、規格化された画像フォーマットの画像データに変換して出力する。例えば、ＡＳＩＣ１３５は、静止画データとしてのＪＰＥＧファイルを生成するための画像処理を行う。また、ＡＳＩＣ１３５は、動画を構成する複数の画像のそれぞれの画像データから、動画データとしてのＭＰＥＧファイルを生成するための画像処理を行う。カメラＭＰＵ１３３は、ＡＳＩＣ１３５によって生成された静止画データ、動画データ等の画像データを、不揮発性の記録媒体としての外部メモリ１６０に転送して記録させる。外部メモリ１６０としては、例えばフラッシュメモリ等の半導体メモリを例示することができる。
【００２０】
ＡＳＩＣ１３５は、外部メモリ１６０への記録用に処理される画像データに並行して、表示用の画像データを生成する。生成された表示用の画像データは、表示制御部１３７の制御に従って表示画像信号に変換され、液晶ディスプレイ等の表示デバイスとしての表示部１３８に表示される。また、画像の表示と共に、もしくは画像を表示することなく、撮像装置１００の各種設定に関する様々なメニュー項目も、表示制御部１３７の制御により表示部１３８に表示することができる。カメラＭＰＵ１３３は、表示制御部１３７を制御して、メニュー項目を表示部１３８に表示させる。
【００２１】
撮像装置１００は、上記の画像処理における各々の要素も含めて、カメラＭＰＵ１３３により直接的または間接的に制御される。システムメモリ１３９は、電気的に消去・記憶可能な不揮発性メモリであり、例えばフラッシュＲＯＭ等により構成される。システムメモリ１３９は、撮像装置１００の動作時に必要な定数、変数、プログラム等を、撮像装置１００の非動作時にも失われないように記憶している。カメラＭＰＵ１３３は、定数、変数、プログラム等を適宜ＳＤＲＡＭ１３６に展開して、撮像装置１００の制御に利用する。カメラ本体１３０内の、ＡＳＩＣ１３５、ＳＤＲＡＭ１３６、システムメモリ１３９、表示制御部１３７、カメラＭＰＵ１３３、外部メモリ１６０は、バス等の接続インタフェース１４５により、相互に接続される。
【００２２】
操作入力部１４１は、ユーザによる設定操作等のユーザ操作を受け付ける。操作入力部１４１としては、電源スイッチ、レリーズボタン、動画撮影ボタン、各種操作ボタン、表示部１３８に一体に実装されたタッチパネル等を含む。カメラＭＰＵ１３３は、操作入力部１４１が操作されたことを検知して、操作に応じた動作を実行する。例えば、カメラＭＰＵ１３３は、レリーズボタンが操作された場合に、レリーズ動作を実行するよう撮像装置１００の各部を制御する。カメラＭＰＵ１３３は、動画撮影ボタンが操作された場合に、動画撮影を実行するよう撮像装置１００の各部を制御する。また、カメラＭＰＵ１３３は、表示部１３８に組み込まれたタッチパネルが操作された場合に、表示部１３８に表示されたメニュー項目および操作内容に応じた動作をするよう、撮像装置１００の各部を制御する。また、カメラＭＰＵ１３３は、タッチパネルを通じて、ズーム倍率、焦点位置を変更するユーザ操作を受け付けてよい。
【００２３】
センサ部１４２は、撮像領域の変更速度を検出する。例えば、センサ部１４２は、撮像装置１００のパンニング角、チルト角等を検出するためのジャイロセンサ、撮像装置１００の位置の変化を検出するための加速度センサ等、種々のセンサにより実装される。カメラＭＰＵ１３３は、センサ部１４２からのセンサ出力を取得して、パンニング角、チルト角、撮像位置の変化等を算出する。カメラＭＰＵ１３３は、算出した情報をＡＳＩＣ１３５に供給する。また、カメラＭＰＵ１３３は、ズーム倍率、焦点位置、被写界深度、絞り量等の撮像条件を示す情報を、ＡＳＩＣ１３５に供給する。カメラＭＰＵ１３３は、レンズＭＰＵ１２３から取得した焦点距離の情報に基づいて、ズーム倍率を算出してよい。カメラＭＰＵ１３３は、レンズＭＰＵ１２３から取得したフォーカスレンズ群の位置、フォーカスリング２５の回転角等に基づいて、焦点位置を算出してよい。また、カメラＭＰＵ１３３は、レンズＭＰＵ１２３から取得した絞り値に基づいて、被写界深度を算出してもよい。
【００２４】
ＡＳＩＣ１３５は、カメラＭＰＵ１３３から取得した情報を、画像データの付帯情報として画像データに付帯して記録する。また、ＡＳＩＣ１３５は、動画撮影中にカメラＭＰＵ１３３から取得した情報をフレームに対応づけて動画データに記録してよい。また、ＡＳＩＣ１３５は、後述するように、カメラＭＰＵ１３３から取得した情報に基づいて、動画のフレームを圧縮する圧縮強度を調節してよい。
【００２５】
カメラ本体１３０の各要素および外部メモリ１６０は、電源１７０から電力供給を受ける。電源１７０としては、カメラ本体１３０に対して着脱できる例えばリチウムイオン電池などの二次電池、商用ＡＣ電源等を例示することができる。カメラＭＰＵ１３３は、電源１７０から撮像装置１００の各部への電力供給を制御する。なお、二次電池は、撮像装置１００を駆動する電池の一例である。電池とは、実質的に充電することができない非充電式の電池を含む。
【００２６】
図２は、ＡＳＩＣ１３５におけるブロック構成の一例を示す。ＡＳＩＣ１３５は、変更速度特定部２１０、期間特定部２２０、変更領域特定部２３０、圧縮強度決定部２４０、圧縮部２６０を有する。変更速度特定部２１０、期間特定部２２０、変更領域特定部２３０、圧縮強度決定部２４０および圧縮部２６０の機能ブロックは、画像処理装置として機能し得る。
【００２７】
変更速度特定部２１０は、動画撮影におけるズームの変更速度、撮像方向の変更速度、撮像位置の変更速度を特定する。例えば、変更速度特定部２１０は、カメラＭＰＵ１３３から取得した情報に基づいて、動画撮影におけるズーム倍率の変更速度、パンニング角の変更速度、チルト角の変更速度を特定する。ズーム倍率の変更速度、パンニング角の変更速度、チルト角の変更速度は、動画における撮像領域の変更速度の一例である。
【００２８】
また、変更速度特定部２１０は、動画撮影における撮像条件の変更速度を特定する。例えば、変更速度特定部２１０は、カメラＭＰＵ１３３からズーム倍率、焦点位置、被写界深度等の撮像条件を示す情報を取得して、取得した情報に基づいて、動画撮影におけるズーム倍率の変更速度、焦点位置の変更速度、被写界深度の変更速度を特定する。ズーム倍率の変更速度、焦点位置の変更速度、被写界深度の変更速度等は、動画において画像内容に変化を与える撮像条件の一例である。
【００２９】
期間特定部２２０は、動画において撮像領域の変更速度が予め定められた基準値を超える期間である第１期間を特定する。具体的には、期間特定部２２０は、変更速度特定部２１０が特定した撮像領域の変更速度が、予め定められた基準値を超える期間である期間を、第１期間として特定する。また、期間特定部２２０は、動画において画像内容に変化を与える撮像条件の変更速度が予め定められた基準値を超える期間である第１期間を特定する。具体的には、変更速度特定部２１０が特定した撮像条件の変更速度が、予め定められた基準値を超える期間である期間を、第１期間として特定する。
【００３０】
変更領域特定部２３０は、撮像条件の変更速度に基づいて、画像内容に変化が生じた領域である変更領域を特定する。例えば、変更領域特定部２３０は、焦点位置の変更速度および焦点位置と、被写体までの距離とに基づいて、変更領域を特定する。例えば、特定被写体に合焦した状態では、焦点距離が少し変化するだけで特定被写体の像は比較的に大きく変化する。例えば、焦点距離が少し変化するだけで特定被写体の像は比較的に大きくボケる。一方、全く合焦していない被写体の像は、焦点距離が少し変化してもボケたままであり、画像内容として大きく変化しない。したがって、焦点位置が予め定められた基準値を超えて変化した場合に、変更領域特定部２３０は、より合焦した被写体の領域を変更領域としてより優先して特定してよい。
【００３１】
被写界深度は、絞りによって拡大または縮小する。このため、絞りが変更された場合、合焦した特定被写体の近傍に位置する被写体のうち、特定被写体から光軸方向に離れた位置に存在する被写体ほど、画像内容が大きく変化する場合がある。例えば、絞りが絞られた状態で実質的に合焦した被写体の像は、絞りを開くことで被写界深度から外れて、比較的にボケが大きくなる。変更領域特定部２３０は、焦点位置および絞りの少なくとも一方が変更された場合に、画像領域のうちの一部の領域を変更領域として特定する。一方、ズーム倍率、パンニング角、チルト角、撮像位置が変更された場合は、変更領域特定部２３０は全画像領域を変更領域として特定する。
【００３２】
圧縮強度決定部２４０は、圧縮部２６０による圧縮強度を制御する。具体的には、圧縮強度決定部２４０は、動画における第１期間以外の期間である第２期間より、第１期間に適用する圧縮する圧縮強度として、高い圧縮強度を決定する。圧縮部２６０は、圧縮強度決定部２４０が決定した圧縮強度に従って、各領域を圧縮する。すなわち、圧縮部２６０は、第２期間より第１期間に、高い圧縮強度を適用して動画を圧縮する。圧縮強度決定部２４０は、第１期間のフレームに、他のフレームとの間のフレーム相関を高めるフィルタ処理を適用すべき旨を決定する。また、圧縮強度決定部２４０は、第１期間のフレームに適用する量子化ステップの値を、第２期間のフレームに適用する量子化ステップの値より大きくする。このように、圧縮強度決定部２４０は、圧縮部２６０における不可逆圧縮の圧縮強度を決定する。圧縮強度は、上述したフィルタを適用するか否か、および、量子化ステップ等によって定められる。
【００３３】
例えばズーム倍率が高速に変更されている期間は、フレーム間で画像内容が大きく変化する。このため、動画を再生した場合、人の目にはフレームの画質の良し悪しを十分に認識することできない場合がある。撮像装置１００によれば、ズーム倍率が高速に変更されている期間に高い圧縮強度を適用する。このため、人の目に認識される画質に大きな影響を与えることなく、動画データをより高い圧縮強度で圧縮することができる。
【００３４】
圧縮部２６０の具体的な動作について説明する。圧縮部２６０は、フィルタ部２５０、符号化部２７０、合成制御部２８０、合成部２９０を有する。符号化部２７０は、第１符号化部２７１および第２符号化部２７２を有する。
【００３５】
フィルタ部２５０および符号化部２７０は、第１期間と第２期間とで異なる圧縮強度で圧縮する圧縮処理部として機能する。具体的には、フィルタ部２５０は、第１期間のフレームに、フレーム間の相関度を高めるフィルタ処理を適用する。例えば、フィルタ部２５０は、第２期間のフレームより第１期間のフレームに、より強い強度のノイズリダクションフィルタを適用してよい。このように、圧縮部２６０は、動画を構成する複数のフレームのうち、第１期間に撮像されたフレームに、フレーム間の相関度を高めるフィルタ処理を適用する。なお、フィルタ部２５０は、変更領域特定部２３０によって特定された変更領域に、当該フィルタ処理を適用してもよい。
【００３６】
符号化部２７０は、フレーム間符号化、フレーム内符号化、量子化、可変長符号化等の動画の符号化処理を行う。圧縮強度決定部２４０が決定した圧縮強度に従って、各画像領域に圧縮符号化を施してよい。例えば、圧縮強度決定部２４０は、各期間に適用する量子化ステップの値を決定してよい。符号化部２７０は、圧縮強度決定部２４０が決定した量子化ステップの値で量子化を施してよい。
【００３７】
符号化部２７０は、フレームの画像領域のうち、第１領域と第２領域とを並列して符号化する。一例として、変更領域以外の画像領域を第１領域として適用し、変更領域を第２領域として適用してよい。具体的には、第１符号化部２７１は、第１領域を圧縮し、第２符号化部２７２は、第２領域を圧縮する。すなわち、第１符号化部２７１および第２符号化部２７２は、それぞれ第１領域および第２領域を並行して圧縮する。
【００３８】
なお、符号化部２７０は、異なる圧縮強度を適用する画像領域の数だけ、符号化器を有してよい。例えば、変更領域と、変更領域以外の領域とで異なる圧縮を適用する場合、符号化部２７０には２つの符号化部が設けられる。
【００３９】
合成制御部２８０は、第１領域を圧縮することにより生成された第１圧縮データと、第２領域を圧縮することにより生成された第２圧縮データとを、合成部２９０に供給する。合成部２９０は、第１圧縮データと第２圧縮データとを合成して、１つの画像データを圧縮した圧縮データを生成する。合成制御部２８０は、合成部２９０に第１圧縮データおよび第２圧縮データを合成させるタイミングを制御する。例えば、合成制御部２８０は、第１符号化部２７１および第２符号化部２７２から出力される圧縮データをバッファし、全符号化部から圧縮データが出力された場合に、合成部２９０に圧縮データを一斉に出力する。合成制御部２８０により、各領域の圧縮に要する時間差を吸収することができる。このように、合成制御部２８０は、合成部２９０における圧縮データの合成を制御する。
【００４０】
以上に説明したように、圧縮部２６０は、第２期間より第１期間に、高い圧縮強度を適用して動画を圧縮する。このため、人の目に認識される画質に大きな影響を与えることなく、動画データにおける全体の符号量を削減することができる。また、圧縮部２６０は、動画データの全体の符号量を目標符号量に適合するようにビットレート等を調節してよい。全体の符号量を目標符号量に適合させるよう制御することで、ズーム倍率が変更されていない期間に多くの符号量を割り当てることができる。このため、画質が認識され易い期間の画質をより高めることができる。
【００４１】
図３は、ズーム倍率に基づき圧縮強度を制御する期間を模式的に示す。本図において、フレーム３００が撮影されてからフレーム３１０が撮影されるまでの間、ズーム倍率は変化しない。ＡＳＩＣ１３５は、この期間に撮影されたフレームに対して、ズーム倍率に基づく圧縮強度の制御をしない。具体的には、フィルタ部２５０は、この期間に撮影されたフレームには第１強度のノイズリダクションフィルタを適用する。また、符号化部２７０は、比較的に小さい量子化ステップの値を適用して量子化する。
【００４２】
本図において、フレーム３１１が撮影されてからフレーム３２１が撮影されるまでの間、ズーム倍率が変化する。ＡＳＩＣ１３５は、この期間に撮影されたフレームに対して、ズーム倍率の変化を判定して、ズーム倍率に基づき圧縮強度を可変に制御する。ズーム倍率に基づき圧縮強度を可変に制御する期間を、圧縮強度可変期間と呼ぶ場合がある。例えば、フィルタ部２５０は、ズーム倍率の変更速度が基準値を超える期間に撮影されたフレームに、第１強度より高い第２強度のノイズリダクションフィルタを適用する。また、符号化部２７０は、ズーム倍率の変更速度が基準値を超える期間に撮影されたフレームに、比較的に大きい量子化ステップの値を適用して量子化する。
【００４３】
図４は、ズーム倍率の変更速度の算出例を示す。ここでは、交換レンズ１２０が備えるレンズ群１２２の焦点距離の変更速度を、ズーム倍率の変更速度の指標値として用いる。本図の例では、時刻ｔ０まで焦点距離が一定であり、時刻ｔ０から焦点距離の変更が開始される。符号４１０は、時刻ｔ１で焦点距離の変更が終了した場合の変化速度を示し、符号４２０は、時刻ｔ２で焦点距離の変更が終了した場合を示す。
【００４４】
変更速度特定部２１０は、焦点距離の変更幅を、変更に要した時間幅で除算することにより、焦点距離の変更速度を算出する。例えば、ｆ１＝１８ｍｍ、ｆ６＝２００ｍｍであり、ｔ１−ｔ０＝２秒である場合、符号４１０で示す焦点距離の変更速度は９１ｍｍ／ｓとなる。一方、ｔ２−ｔ０＝４秒である場合、符号４２０で示す焦点距離の変更速度は４５．５ｍｍ／ｓとなる。
【００４５】
一例として、焦点距離の変化速度に関する基準値として９０ｍｍ／ｓを設定した場合、本図の実線で示す焦点距離の変化に対して、期間特定部２２０は、期間ｔ０〜ｔ１を第１期間として特定する。焦点距離の変更速度が９０ｍｍ／ｓ以下の期間、例えば時刻ｔ０までの期間および時刻ｔ１以降の期間は、第２期間となる。一方、符号４２０で示すように焦点距離が変更された場合、全期間を第２期間として特定する。
【００４６】
図５は、ズーム倍率の変更速度に基づく圧縮制御の一例を示す。本例は、ズームアップ操作に引き続きズームアウト操作をして元のズーム倍率まで戻した場合の圧縮制御の一例である。本図の縦軸および横軸のスケールは、図４と同様であるとする。本例では、時刻ｔ０から時刻ｔ１０までの期間が圧縮強度可変期間となる。
【００４７】
具体的には、焦点距離は時刻ｔ０から時刻ｔ５にかけてｆ１からｆ６まで長くされ、時刻ｔ５から時刻ｔ１０にかけてｆ６からｆ１まで短くされる。本例では、時刻ｔ０から時刻ｔ５までの期間では、焦点距離の増加速度が徐々に高まっている。また、時刻ｔ５から時刻ｔ１０までの期間では、焦点距離の低下速度が徐々に低くなっている。本例では、分かり易く説明することを目的として、焦点距離の時間発展が時刻ｔ５に関して対称であるとする。
【００４８】
本例において、焦点距離の変化速度に関する基準値として９０ｍｍ／ｓを設定した場合、圧縮強度可変期間（ｔ０〜ｔ１０）のうち、時刻ｔ３から時刻ｔ７までの期間が第１期間として特定される。すなわち、変更速度特定部２１０は、焦点距離の変更速度の大きさ、例えば、焦点距離の変更の速さが基準値を超える期間を、第１期間として特定する。時刻ｔ３までの期間、および、時刻ｔ７より後の期間は、第２期間となる。
【００４９】
例えばユーザがズームリング２４の回転速度を徐々に上げながらズームアップ操作をし、ズームリング２４の回転速度を徐々に下げながらズームアウト操作をした場合に、本例のような焦点距離の時間発展が得られる。本図に関連して説明した処理によれば、ズーム倍率の変更操作の速度が小さく、人の目に画質を容易に認識できるような期間には、低い圧縮強度を適用するので、動画における見た目の画質が大きく劣化することを未然に防ぐことができる。一方、ズーム倍率の変更操作の速度が大きく、人の目に画質を容易に認識でききない期間には、高い圧縮強度を適用するので、符号量を大きく削減しつつ、動画における見た目の画質が大きく劣化することを未然に防ぐことができる。ここで、ズーム倍率の変更速度が大きいほど、フレーム相関が小さくなって発生符号量は大きくなる。撮像装置１００によれば、発生符号量が大きい期間に高い圧縮強度を適用するので、全体の符号量を効果的に抑制することができる場合がある。
【００５０】
図６は、ズーム倍率の変更速度に基づく圧縮制御の他の例を示す。本例は、比較的に高速なズームアップ操作に引き続き、ゆっくりとズームアウト操作をして、ズーム倍率を少し小さくした場合の圧縮制御の一例である。本図の縦軸および横軸のスケールは、図５と同様であるとする。本例では、時刻ｔ０から時刻ｔ６までの期間が、圧縮強度可変期間となる。
【００５１】
具体的には、焦点距離は時刻ｔ０から時刻ｔ３にかけてｆ１からｆ６まで長くされ、時刻ｔ３から時刻ｔ６にかけてｆ６からｆ５まで短くされる。本例では、時刻ｔ０から時刻ｔ３までの期間は、焦点距離の増加速度は一定であるとする。また、時刻ｔ３から時刻ｔ６までの期間では、焦点距離の低下速度は一定であるとする。
【００５２】
本例において、焦点距離の変化速度に関する基準値として９０ｍｍ／ｓを設定した場合、圧縮強度可変期間（ｔ０〜ｔ５）のうち、時刻ｔ０から時刻ｔ３までの期間が第１期間として特定される。一方、時刻ｔ３以降の期間は、第２期間となる。
【００５３】
例えばユーザがズームリング２４を一気に回転させてズームアップ操作をした後に、ズームリング２４をゆっくりと戻してズームアウト操作をした場合に、本例のような焦点距離の時間発展が得られる。映像的な効果としては、ズーム倍率が最大のときに撮影されている被写体を強調するような効果が得られる。本例において、ズームリング２４をゆっくりと戻してズームアウトしている期間のフレームには、比較的に低い圧縮強度が適用される。このため、被写体が特に強調されるべき期間の画質が低くなることを未然に防ぐことができる。このため、ユーザの撮影意図に沿った圧縮強度を適用することができる。
【００５４】
なお、以上の説明では、焦点距離の変更速度にいわばリアルタイムに追随して、圧縮強度を制御するとした。しかし、一定の期間内における焦点距離の変更速度の平均値が基準値を超えるか否を判定してもよい。一例として、圧縮強度可変期間内の焦点距離の変更速度の平均値が、基準値を超えるか否かを判定してもよい。例えば、本例では、焦点距離の変更速度の平均値は、（ｆ６−ｆ１＋ｆ６−ｆ５）／（ｔ６−ｔ０）である。焦点距離の変化速度に関する基準値として９０ｍｍ／ｓを設定した場合、焦点距離の変更速度の平均値は基準値以下と判定される。したがって、時刻ｔ０から時刻ｔ６までの期間は全て第２期間として特定される。この場合、時刻ｔ０から時刻ｔ６までの期間の圧縮強度は比較的に小さくされ、高画質な動画となる。本例のような高速ズームアップ、低速ズームアウトの操作をする場合では、ズームアウト操作をゆっくりして時間をかけるほど、変更速度の平均値は小さくなる。このようにゆっくりしたズーミング操作された期間を含む場合、一連のズーム操作による映像効果を狙って撮影された可能性がある。したがって、一連のズーム操作が生じている期間にわたる変更速度に基づき圧縮強度を制御することで、ユーザの意図をきちんと画質に反映させることができる場合がある。
【００５５】
図７は、ズーム倍率の変更速度に基づく圧縮制御の他の例を示す。本例は、比較的に短時間で高速にズーミング操作した場合の圧縮制御の一例である。本図の縦軸および横軸のスケールは、図５と同様であるとする。本例では、時刻ｔ０から時刻ｔ１までの期間が、圧縮強度可変期間となる。
【００５６】
本例において、時刻ｔ０から時刻ｔ１までの期間における焦点距離の変更速度は、基準値を超える。しかし、焦点距離が変更されている期間は比較的に短時間であるため、第１期間としては特定されない。すなわち、期間特定部２２０は、変更速度が予め定められた時間長さより長い時間にわたって基準値を超える期間を、第１期間として特定する。
【００５７】
圧縮強度を高めることによる符号量の削減量は、圧縮強度を高める期間が短いほど小さくなる。したがって、基準値を超えて焦点距離が変更されている期間が短いほど、圧縮強度を高めることによる符号量の削減量は小さくなる。焦点距離の変更速度が予め定められた時間長さより長い時間にわたって基準値を超えることを条件として圧縮強度を高めるように制御することで、符号量の削減効果が大きい期間に限定して圧縮強度を高めることができる。また、圧縮強度が頻繁に変わってしまうことを未然に防ぐことができる。
【００５８】
なお、連続する期間に異なる圧縮強度を適用する場合、当該連続する期間の境界で圧縮強度の変化幅が予め定められた値以下になるよう、境界に接する一部期間の圧縮強度を漸増または漸減させてよい。例えば、圧縮部２６０は、第１期間および第２期間の境界の領域に適用する圧縮強度を漸減または漸増させることにより、第１期間および第２期間の境界の領域における圧縮強度の差を予め定められた値以下にしてよい。例えば、圧縮部２６０は、第１期間に続く第２期間内の一部の領域において、圧縮強度を境界に向けて漸増させてよい。圧縮部２６０は、第２期間に続く第１期間内の一部の領域において、圧縮強度を境界に向けて漸減させてよい。
【００５９】
図３から図７にかけて、ズーム倍率の変更速度の一例として、レンズ群１２２の焦点距離の変更速度を指標とした。しかし、撮像領域は、レンズ群１２２の焦点距離だけでなく、いわゆる電子ズーム、デジタルズーム等と呼ばれる画像処理による拡大倍率を変更することによっても変更される。したがって、ズーム倍率の変更速度とは、当該拡大倍率の変更速度を含む概念である。例えば、期間特定部２２０は、レンズ群１２２の焦点距離および拡大倍率の組み合わせに基づくズーム倍率の変更速度に基づき、第１期間を特定してよい。
【００６０】
図３から図７にかけて、撮像領域の変更速度の一例であるズーム倍率の変更速度に基づき、圧縮強度を高めるべき第１期間を特定する場合を説明した。上述したように、撮像領域の変更速度としては、ズーム倍率の変更速度の他に、動画撮影におけるパンニング角の変更速度、チルト角の変更速度、撮像位置の変更速度等を例示することができる。したがって、図３から図７にかけて説明した焦点距離の変更速度を指標として第１期間を特定することに替えて、パンニング角の変更速度を指標として第１期間を特定してもよい。また、チルト角の変更速度を指標として第１期間を特定してもよい。パンニング角の変更速度およびチルト角の変更速度は、撮像方向の変更速度の一例である。また、撮像位置の変更速度を指標として第１期間を特定してもよい。このように、動画撮影におけるいわゆる撮影シーン、構図の変更速度に基づき、第１期間を適切に決定することができる。
【００６１】
なお、ズーム倍率の変更速度は、画像内容に変化を与える撮像条件の変更速度の一例でもある。上述したように、画像内容に変化を与える撮像条件の変更速度としては、ズーム倍率の変更速度の他に、焦点位置の変更速度、被写界深度の変更速度等を例示することができる。したがって、図３から図７にかけて説明した焦点距離の変更速度を指標として第１期間を特定することに替えて、焦点位置の変更速度を指標として第１期間を特定してもよい。また、被写界深度の変更速度を指標として第１期間を特定してもよい。このように、画像内容の全体に変化を与える撮像条件の変更速度に基づき、第１期間を適切に決定することができる。
【００６２】
以上に説明したズーム倍率の変更速度、焦点位置の変更速度、被写界深度の変更速度、撮像方向の変更速度、撮像位置の変更速度の任意の組み合わせに基づき、第１期間を特定してよい。例えば、期間特定部２２０は、ズーム倍率の変更速度、焦点位置の変更速度、被写界深度の変更速度、撮像方向の変更速度、および撮像位置の変更速度の少なくともいずれかが基準値を超える期間を、第１期間として特定してよい。
【００６３】
図８は、焦点の変更速度に関する補正データの一例をテーブル形式で示す。本データは、一例として交換レンズ１２０内にレンズ固有情報の一部として格納される。例えば、本データは、レンズＭＰＵ１２３の不揮発性のシステムメモリ内に格納されてよい。本データは、レンズＭＰＵ１２３を介してカメラＭＰＵ１３３に提供される。
【００６４】
焦点位置の変更速度に基づき第１期間を特定する場合、焦点位置に関する指標値として、画像内容の変化量を適切に反映する指標値を用いることが望ましい。例えば、フォーカスリング２５の回転速度を焦点位置の変更速度の指標値として用いる場合、回転速度が同じでもレンズ群１２２の焦点距離によって画像内容の変化量が異なる場合がある。例えばテレ端とワイド端では、フォーカスリング２５の回転量に対応する画像の変化量が大きく異なる場合がある。
【００６５】
本データは、レンズ群１２２の焦点距離と、補正係数とを対応づける。例えば、より長い焦点距離に、値がより大きい補正係数を対応づける。一例として、焦点位置の指標値としてフォーカスリング２５の回転速度を用いた場合、変更速度特定部２１０は、レンズ群１２２の焦点距離に対応づけて格納されている補正係数を、フォーカスリング２５の回転速度に乗じた値を、変更速度として算出する。期間特定部２２０は、当該変更速度が基準値を超える期間を、第１期間として特定する。このため、期間特定部２２０は、焦点位置の変化速度の指標値として、レンズ群１２２の焦点距離を考慮して画像内容の変化度合いを適切に反映した指標値を用いて、第１期間を特定することができる。
【００６６】
図９は、画像領域毎に変更速度を判断する場面の一例を模式的に示す。フレーム９００は、動画を構成する一つのフレームである。本例では、人物に合焦しており、遠方の山、雲等の被写体には合焦していないとする。
【００６７】
ここで、遠方の被写体に合焦しない程度に焦点位置を人物の位置から少しずらした場合、遠方の被写体の像はあまり変化しない。一方、人物像のボケは大きく増大する。すなわち、焦点位置の操作により、合焦していない被写体が撮影された部分領域の画像内容よりも、合焦した被写体が撮影された部分領域の画像内容の方が大きく変化する。したがって、変更領域特定部２３０は、フレーム９００内の画像領域のうち合焦した被写体像を含む部分領域９１０を変化領域として特定する。圧縮部２６０は、変化領域以外の部分領域９２０である非変化領域よりも変化領域に、高い圧縮強度を適用する。したがって、撮像装置１００によれば、撮像条件の変更に応じて画像内容が高速に変化する部分領域を適切に特定して、その部分領域に他の部分領域よりも高い圧縮強度を適用することができる。
【００６８】
なお、隣接する画像領域に異なる圧縮強度を適用する場合、当該隣接する画像領域の境界で圧縮強度の変化幅が予め定められた値以下になるよう、境界に接する一部領域の圧縮強度を漸増または漸減させてよい。例えば、圧縮部２６０は、変化領域および非変化領域の境界の領域に適用する圧縮強度を漸減または漸増させることにより、変化領域および非変化領域の境界の領域における圧縮強度の差を予め定められた値以下にしてよい。例えば、圧縮部２６０は、変化領域に隣接する非変化領域内の一部の領域において、圧縮強度を境界に向けて漸増させてよい。圧縮部２６０は、非変化領域に隣接する変化領域内の一部の領域において、圧縮強度を境界に向けて漸減させてよい。
【００６９】
図１０は、撮像装置１００の起動から終了までの処理フローを示す。本フローは、操作入力部１４１の一部としての電源ボタンがＯＮされた場合に、開始される。本フローは、カメラＭＰＵ１３３が主体となって撮像装置１００の各部を制御することにより実行される。
【００７０】
ステップＳ１０００において、カメラＭＰＵ１３３は、初期設定を開始する。例えば、カメラＭＰＵ１３３は、撮像装置１００を制御するための各種パラメータ等を、システムメモリ１３９からＳＤＲＡＭ１３６に展開する。また、レンズ群１２２からレンズ固有情報を取得して、ＳＤＲＡＭ１３６にレンズパラメータとして展開する。レンズ固有情報としては、図８に関連して説明した補正係数を含む。そして、カメラＭＰＵ１３３は、例えば撮像モードスイッチ等を含む操作入力部１４１の状態、および、展開された各種パラメータに基づき、撮像装置１００の各部の動作条件を設定する。例えば、撮像モードスイッチの位置に応じて、撮像モードを設定する。また、撮像モードに応じて、撮像条件や画像処理条件を設定する。例えば、撮像モードとしては、人物撮影に適した人物撮影モード、動物撮影に適した動物撮影モード、風景撮影に適した風景撮影モード等を例示することができる。
【００７１】
続いて、ステップＳ１００２において、表示部１３８への表示を行う。例えば、カメラＭＰＵ１３３は、撮像モード、撮像条件および画像処理条件等を識別する設定情報を、表示部１３８に表示させる。
【００７２】
続いて、ステップＳ１００４において、カメラＭＰＵ１３３は、操作入力部１４１に対するユーザ指示を判断する。ユーザ指示が諸設定を実行する指示である場合、カメラＭＰＵ１３３が主体となって、指示された設定処理を行う（ステップＳ１００６）。設定処理としては、撮像モードを設定する処理、撮像条件を設定する処理、画像処理条件を設定する処理、動画撮影におけるフレームレートを設定する処理等を例示することができる。また、設定処理として、上述した撮像領域または撮像条件の変更速度に基づく圧縮強度の可変制御をするか否かをユーザが指定する処理を例示することができる。
【００７３】
ステップＳ１００４において、ユーザ指示が撮像実行に関する指示であると判断された場合、撮像実行に関する処理を行う（ステップＳ１０１２）。撮影実行に関する指示としては、ライブビューボタン、動画撮影ボタン、レリーズボタンに対する操作等を例示することができる。ステップＳ１００４におけるユーザ指示が画像の再生を実行する指示である場合、再生処理を実行する（ステップＳ１０２２）。再生処理としては、外部メモリ１６０に記録された画像をサムネイル表示する処理、ユーザにより指示された画像を表示する処理等を例示することができる。
【００７４】
ステップＳ１００４においてユーザ指示がない場合は、環境光を測光する測光処理を行う（ステップＳ１０３２）。例えば、環境光の測光結果に基づき適正露出値を決定する。本測光処理は一定の時間間隔で実行され、現在の適正露出値が決定される。ステップＳ１０３２で決定した現在の露出値を示す情報は、表示部１３８にリアルタイムに表示され、ユーザに提示される。
【００７５】
ステップＳ１００６、ステップＳ１０１２、ステップＳ１０２２、ステップＳ１０３２の処理が完了すると、ステップＳ１００８に進み、電源をＯＦＦするか否かを判断する。例えば、電源ボタンがＯＦＦ位置に切り替えられた場合や、電源がＯＮされてから予め定められた期間、ユーザ指示無しの状態が継続した場合等に、電源をＯＦＦすると判断する。電源をＯＦＦすると判断した場合は動作を終了し、電源をＯＦＦしないと判断した場合はステップＳ１００４に処理を移行させる。
【００７６】
図１１は、動画撮影における動作フローの一例を示す。本例では、ステップＳ１０１２の一部の処理として、動画撮影が指示された場合の動作フローを示す。本フローは、動画撮影ボタンが押し込まれた場合に、開始される。
【００７７】
ステップＳ１１０２において、カメラＭＰＵ１３３が撮像装置１００の各部に動画撮影を指示することにより、動画撮影が開始される。動画撮影が開始されると、フレームがＳＤＲＡＭ１３６に順次に取り込まれる。ＡＳＩＣ１３５において、画像処理対象のフレームがＳＤＲＡＭ１３６に取り込まれているか否かが判断される（ステップＳ１１０４）。
【００７８】
画像処理対象のフレームが取り込まれた場合、ＡＳＩＣ１３５は、当該フレームの撮影タイミングでズーム操作がなされていたか否かを判断する（ステップＳ１１０６）。例えば、カメラＭＰＵ１３３を通じて提供されるレンズ群１２２の焦点距離の変更を指示するズーム操作、いわゆるデジタルズームによる拡大倍率の変更を指示するズーム操作に基づき、ズーム操作がなされた期間を特定して、当該期間にフレームの撮影タイミングが含まれるか否かを判断する。
【００７９】
フレームの撮影タイミングにおいてズーム操作がなされていた場合、期間特定部２２０は当該期間内でズーム倍率の変更速度が基準値を超えるか否かを判断する（ステップＳ１１０８）。ズーム倍率の変更速度が基準値を超えると判断された場合、期間特定部２２０は、ズーム操作が予め定められた期間継続したか否かを判断する（ステップＳ１１１０）。ズーム操作が予め定められた期間継続した場合、圧縮強度決定部２４０は、圧縮強度を大に設定する（ステップＳ１１１２）。具体的には、フィルタ部２５０において強いノイズリダクション処理を適用する旨を設定する。
【００８０】
続いて、ステップＳ１１２０において、圧縮部２６０は、圧縮強度決定部２４０が決定した圧縮強度に従って各領域を圧縮する。本処理の詳細については、図１２に関連して後述する。
【００８１】
続いて、ステップＳ１１２２において、動画撮影の処理を終了するか否かを判断する。例えば、動画撮影ボタンが再度押し込まれ、かつ、画像処理対象のフレームが存在しない場合に、動画撮影の処理を終了すると判断する。動画撮影の処理を終了すると判断された場合、本動作フローを終了する。動画撮影の処理を終了しないと判断された場合、ステップＳ１１０４に処理を進める。
【００８２】
ステップＳ１１０６の判断において、撮影タイミングでズーム操作がなされていなかったと判断された場合、圧縮強度決定部２４０は圧縮強度を小に設定し（ステップＳ１１１４）、ステップＳ１１２０に処理を進める。また、ステップＳ１１０８の判断において、ズーム倍率の変更速度が基準値を超えないと判断された場合、圧縮強度決定部２４０は圧縮強度を小に設定し（ステップＳ１１１４）、ステップＳ１１２０に処理を進める。
【００８３】
ステップＳ１１１０の判断において、ズーム操作が予め定められた期間継続していないと判断された場合、圧縮強度決定部２４０は圧縮強度の設定および圧縮を保留し、ステップＳ１１０４に処理を進める。そして、後のフレームに対するステップＳ１１１０の判断において、ズーム操作が予め定められた期間継続したと判断された場合に、圧縮強度決定部２４０は圧縮強度の設定が保留されているフレームに対して、圧縮強度を高く設定する。一方、後のフレームに対するステップＳ１１０８の判断で、ズーム操作が予め定められた期間継続することなく変更速度が基準値以下になったと判断された場合（ステップＳ１１０８：Ｎ）、または、ステップＳ１１０６の判断でズーム操作がなされなくなったと判断された場合（ステップＳ１１０６：Ｎ）に、圧縮強度の設定が保留されているフレームに対して圧縮強度を小に設定し（ステップＳ１１１４）、ステップＳ１１２０に処理を進める。
【００８４】
図１２は、圧縮部２６０がフレームを圧縮する動作フローの一例を示す。本フローは、図１１のステップＳ１１２０における詳細な動作フローである。ここでは、図９に関連して説明したように、１フレームの画像領域の一部の領域が変更領域として特定された場合の動作について説明する。
【００８５】
ステップＳ１２００において、圧縮部２６０は、ＳＤＲＡＭ１３６からフレームを読み出す。続いて、ステップＳ１２０２において、フィルタ部２５０は、読み出したフレームにノイズリダクション処理を施す。フィルタ部２５０は、圧縮強度が大に設定されたフレームには第２強度のノイズリダクション処理を適用し、圧縮強度が小に設定されたフレームには、第２強度よりも小さい第１強度のノイズリダクション処理を適用する。ここで、フィルタ部２５０は、変更領域に第２強度のノイズリダクション処理を適用し、変更領域以外の領域には第１強度のノイズリダクション処理を適用してよい。
【００８６】
続いて、第１符号化部２７１に変更領域以外の領域のデータが供給され（ステップＳ１２０４）、第２符号化部２７２に変更領域のデータが供給される（ステップＳ１２０６）。
【００８７】
第１符号化部２７１では、変更領域以外の領域のデータに対して、例えば量子化を含む符号化処理が行われる。第１符号化部２７１では、ＤＣＴ変換、フレーム間圧縮またはフレーム内圧縮等の符号化処理が行われてもよい。第２符号化部２７２では、変更領域のデータに対して、第１符号化部２７１と同様の符号化処理が行われる。第１符号化部２７１および第２符号化部２７２は、例えば圧縮強度決定部２４０が各領域について決定した圧縮強度に対応する量子化ステップの値を適用して、それぞれの領域に対して量子化を行ってよい。第１符号化部２７１および第２符号化部２７２によりそれぞれ符号化された各領域のデータは、圧縮データとしてＳＤＲＡＭ１３６に一時的に記憶される。第１符号化部２７１および第２符号化部２７２が符号化を完了した場合、符号化が完了した旨を合成制御部２８０に通知する。
【００８８】
ステップＳ１２０８において、合成制御部２８０は、第１符号化部２７１および第２符号化部２７２の両方の符号化が完了したか否かを判断する。第１符号化部２７１および第２符号化部２７２の少なくとも一方の符号化が完了していない場合、ステップＳ１２０８の判断を繰り返す。第１符号化部２７１および第２符号化部２７２の両方から符号化の完了通知があった場合、合成制御部２８０は、ＳＤＲＡＭ１３６に一時的に記憶された各領域の圧縮データを合成部２９０に供給して合成させる（ステップＳ１２１０）。続いて、合成部２９０が圧縮データを合成することで生成された１つのフレームの圧縮データが、ＳＤＲＡＭ１３６に記憶され（ステップＳ１２１２）、本動作フローは終了する。
【００８９】
特に図１１、図１２において、動画の撮影をしながら圧縮強度を決定して圧縮するとした。しかし、例えば圧縮強度を大にする期間のフレームをマーキングしておき、マーキングしたフレームに対して高い圧縮強度を適用して圧縮してよい。例えば、動画撮影後に、当該マーキングしたフレームに対して高い圧縮を適用して圧縮してよい。具体的には、高い圧縮強度で圧縮されるべきフレームに、高い圧縮強度で圧縮されるべき旨の情報を付帯して、当該情報が付帯されたフレームに高い圧縮強度を適用して圧縮してよい。また、高い圧縮強度で圧縮されるべきフレームを特定する情報をＳＤＲＡＭ１３６等に一時的に記憶しておき、記憶された情報により特定されるフレームに対して高い圧縮強度を適用して圧縮してよい。マーキングした動画データを外部メモリ１６０に一旦記録した後に、記録された動画データを読み出して圧縮してもよい。
【００９０】
以上に説明した撮像装置１００によれば、画像内容の変化を与えるようなユーザ操作がなされた場合に高い圧縮強度を適用することで、見た目の画質が大きく劣化することを未然に防ぎつつ、全体の符号量を削減することができる。撮像装置１００によれば、例えばユーザ操作等に基づき判断するので、画像を実質的に解析することなく、圧縮高度を高める期間を特定することができる。
【００９１】
本実施形態の撮像装置１００に関連して説明した処理は、撮像装置１００の各部、例えばカメラＭＰＵ１３３等のプロセッサがプログラムに従って動作することにより、実現することができる。ＡＳＩＣ１３５による処理についても、プロセッサがプログラムに従って動作することにより、実現することができる。すなわち当該処理を、いわゆるコンピュータ装置によって実現することができる。コンピュータ装置は、上述した処理の実行を制御するプログラムをロードして、ロードしたプログラムに従ってハードウェアを制御することで、ソフトウェアとハードウェアとの協働動作により当該処理が実現される。コンピュータ装置は、当該プログラムを記憶しているコンピュータ読取可能な記録媒体を読み込むことによって、当該プログラムをロードすることができる。
【００９２】
本実施形態において、レンズ交換式の一眼レフカメラとしての撮像装置１００を取り上げて説明した。撮像装置としては、コンパクトデジタルカメラ、ミラーレス一眼カメラ、ビデオカメラ、撮像機能付きの携帯電話機、撮像機能付きの携帯情報端末、撮像機能付きのゲーム機器等の娯楽装置等、撮像機能を有する種々の機器を適用の対象とすることができる。また、ＡＳＩＣ１３５における処理として説明した画像処理に対応する画像処理を実行する機器として、パーソナルコンピュータの他、記録機能付きのテレビ、レコーダ等の画像記録装置を適用の対象とすることができる。また、処理対象とする画像データは、ＲＡＷ画像のように実質的な画像処理が施されていない画像データだけでなく、圧縮等の種々の画像処理が施された画像データであってもよい。
【００９３】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００９４】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００９５】
２４ ズームリング、２５ フォーカスリング、１００ 撮像装置、１２０ 交換レンズ、１２１ レンズマウント接点、１３０ カメラ本体、１３１ カメラマウント接点、１２２ レンズ群、１３２ 撮像素子、１２３ レンズＭＰＵ、１３３ カメラＭＰＵ、１３４ Ａ／Ｄ変換器、１３５ ＡＳＩＣ、１３６ ＳＤＲＡＭ、１３７ 表示制御部、１３８ 表示部、１３９ システムメモリ、１４０ 駆動部、１４１ 操作入力部、１４２ センサ部、１４５ 接続インタフェース、１７０ 電源、１６０ 外部メモリ、２１０ 変更速度特定部、２２０ 期間特定部、２３０ 変更領域特定部、２４０ 圧縮強度決定部、２５０ フィルタ部、２６０ 圧縮部、２７０ 符号化部、２７１ 第１符号化部、２７２ 第２符号化部、２８０ 合成制御部、２９０ 合成部、３００、３１０、３１１、３２１ フレーム、９００ フレーム、９１０ 部分領域、９２０ 部分領域
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置およびプログラムに関する。
【背景技術】
【０００２】
撮影のシーン判定を行い、判定されたシーン毎に圧縮率を決定する技術が知られている（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１０−１９９６５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
撮像領域を変更する速度が大きい場合、動画を構成する画像間の相関関係が小さくなるので、符号量が増大してしまう。画像内容に変化を与える撮像状条件を変更する速度が大きい場合も、符号量が増大してしまう。
【課題を解決するための手段】
【０００４】
本発明の第１の態様においては、画像処理装置は、動画において撮像領域の変更速度が予め定められた基準値を超える期間である第１期間を特定する期間特定部と、第１期間以外の期間である第２期間より第１期間に、高い圧縮強度を適用して動画を圧縮する圧縮部と、を備える。
【０００５】
本発明の第２の態様においては、画像処理装置は、動画において画像内容に変化を与える撮像条件の変更速度が予め定められた基準値を超える期間である第１期間を特定する期間特定部と、第１期間以外の期間である第２期間より第１期間に、高い圧縮強度を適用して動画を圧縮する圧縮部と、を備える。
【０００６】
本発明の第３の態様においては、撮像装置は、画像を撮像する撮像部と、上記画像処理装置と、を備える。
【０００７】
本発明の第４の態様においては、プログラムは、動画において撮像領域の変更速度が予め定められた基準値を超える期間である第１期間を特定するステップと、第１期間以外の期間である第２期間より第１期間に、高い圧縮強度を適用して動画を圧縮するステップと、をコンピュータに実行させる。
【０００８】
本発明の第５の態様においては、プログラムは、動画において画像内容に変化を与える撮像条件の変更速度が予め定められた基準値を超える期間である第１期間を特定するステップと、第１期間以外の期間である第２期間より第１期間に、高い圧縮強度を適用して動画を圧縮するステップと、をコンピュータに実行させる。
【０００９】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【００１０】
【図１】撮像装置１００のシステム構成図を示す。
【図２】ＡＳＩＣ１３５におけるブロック構成の一例を示す。
【図３】ズーム倍率に基づき圧縮強度を制御する期間を模式的に示す。
【図４】ズーム倍率の変更速度の算出例を示す。
【図５】ズーム倍率の変更速度に基づく圧縮制御の一例を示す。
【図６】ズーム倍率の変更速度に基づく圧縮制御の他の例を示す。
【図７】ズーム倍率の変更速度に基づく圧縮制御の他の例を示す。
【図８】焦点の変更速度に関する補正データの一例をテーブル形式で示す。
【図９】画像領域毎に変更速度を判断する場面の一例を模式的に示す。
【図１０】撮像装置１００の起動から終了までの処理フローを示す。
【図１１】動画撮影における動作フローの一例を示す。
【図１２】圧縮部２６０がフレームを圧縮する動作フローの一例を示す。
【発明を実施するための形態】
【００１１】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１２】
図１は、撮像装置１００のシステム構成図を示す。撮像装置１００は、交換レンズ１２０およびカメラ本体１３０を備える。交換レンズ１２０は、レンズマウント接点１２１を有するレンズマウントを備え、カメラ本体１３０は、カメラマウント接点１３１を有するカメラマウントを備える。レンズマウントとカメラマウントが係合して交換レンズ１２０とカメラ本体１３０が一体化されると、レンズマウント接点１２１とカメラマウント接点１３１が接続される。撮像装置１００は、交換レンズ１２０とカメラ本体１３０とが一体化した状態で一眼レフカメラとして機能する。
【００１３】
被写体光は、光軸に沿って撮影光学系としてのレンズ群１２２を透過して、撮像素子１３２の受光面に結像する。レンズ群１２２は、レンズＭＰＵ１２３によって制御される。例えば、レンズＭＰＵ１２３は、レンズモータを制御して、レンズ群１２２を構成するフォーカスレンズ群、変倍レンズ群を移動させる。これにより、レンズ群１２２の焦点調節、焦点距離の調節が行われる。
【００１４】
レンズＭＰＵ１２３は、レンズマウント接点１２１およびカメラマウント接点１３１を介してカメラＭＰＵ１３３と接続され、相互に通信を実行しつつ協働して交換レンズ１２０とカメラ本体１３０を制御する。例えば、レンズＭＰＵ１２３は、カメラＭＰＵ１３３と協働して、画角内に設定された少なくとも１つの焦点調節領域の被写体に合焦するようレンズ群１２２の焦点調節を行う。また、レンズＭＰＵ１２３は、カメラＭＰＵ１３３から取得したズーム倍率を変更する指示に従って、レンズ群１２２のズームを担う変倍レンズの光軸方向の位置を調節する。レンズＭＰＵ１２３は、レンズ群１２２の焦点位置を示す情報およびレンズ群１２２の焦点距離を示す情報を、カメラＭＰＵ１３３に供給する。
【００１５】
交換レンズ１２０は、ユーザが手動で焦点調整の操作を行うフォーカスリング２５を有する。フォーカスリング２５が操作されることで、フォーカスレンズ群が光軸方向に移動する。例えば、フォーカスレンズ群は、フォーカスリング２５の光軸周りの回転に応じて、光軸方向に直進する駆動力を得る。また、交換レンズ１２０は、ユーザが画角調整の操作を行うズームリング２４を有する。ユーザがズームリング２４を操作することにより、レンズ群１２２の焦点距離が調整される。例えば、変倍レンズ群は、ズームリング２４の光軸周りの回転に応じて、光軸方向に直進する駆動力を得る。レンズＭＰＵ１２３は、撮像装置１００による動画撮影中に、焦点位置を示す情報、焦点距離を示す情報等のレンズ情報をカメラＭＰＵ１３３に供給する。
【００１６】
撮像素子１３２は、レンズ群１２２を通過した被写体光により撮像する撮像部の一部として機能する。撮像素子１３２は、被写体像である光学像を光電変換する光電変換素子を有する。撮像素子１３２としては、例えばＣＭＯＳセンサ、ＣＣＤセンサ等の固体撮像素子を適用できる。撮像素子１３２は、被写体光束を受光することにより生じた蓄積電荷による画像信号としてのアナログ信号をＡ／Ｄ変換器１３４に供給する。Ａ／Ｄ変換器１３４は、撮像素子１３２から出力されたアナログの画像信号をデジタルの画像信号に変換して画像データとして出力する。撮像素子１３２は、カメラＭＰＵ１３３からの指示を受けた駆動部１４０により駆動される。
【００１７】
Ａ／Ｄ変換器１３４が出力した画像データは、ＳＤＲＡＭ１３６に記憶される。ＳＤＲＡＭ１３６の少なくとも一部のメモリ領域は、撮像により生成された画像データを一時的に記憶するバッファメモリとして使用される。撮像素子１３２が被写体光束で連続して撮像した場合、撮像により順次に生成される画像データはＳＤＲＡＭ１３６に順次に記憶される。例えば、被写体光束で連続して静止画を撮像することにより得られた複数の静止画の画像データが、ＳＤＲＡＭ１３６に順次に記憶される。また、被写体光束で動画を撮像することにより得られた動画を構成する複数の画像としてのフレームデータが、ＳＤＲＡＭ１３６に順次に記憶される。
【００１８】
ＡＳＩＣ１３５は、ＳＤＲＡＭ１３６に記憶された画像データを順次処理する。ＡＳＩＣ１３５は、画像処理機能に関連する回路を一つにまとめた集積回路である。ＡＳＩＣ１３５は、ＳＤＲＡＭ１３６の少なくとも一部のメモリ領域を画像処理用のワークエリアとして使用して画像処理を行う。
【００１９】
具体的には、ＡＳＩＣ１３５は、画像データを、規格化された画像フォーマットの画像データに変換して出力する。例えば、ＡＳＩＣ１３５は、静止画データとしてのＪＰＥＧファイルを生成するための画像処理を行う。また、ＡＳＩＣ１３５は、動画を構成する複数の画像のそれぞれの画像データから、動画データとしてのＭＰＥＧファイルを生成するための画像処理を行う。カメラＭＰＵ１３３は、ＡＳＩＣ１３５によって生成された静止画データ、動画データ等の画像データを、不揮発性の記録媒体としての外部メモリ１６０に転送して記録させる。外部メモリ１６０としては、例えばフラッシュメモリ等の半導体メモリを例示することができる。
【００２０】
ＡＳＩＣ１３５は、外部メモリ１６０への記録用に処理される画像データに並行して、表示用の画像データを生成する。生成された表示用の画像データは、表示制御部１３７の制御に従って表示画像信号に変換され、液晶ディスプレイ等の表示デバイスとしての表示部１３８に表示される。また、画像の表示と共に、もしくは画像を表示することなく、撮像装置１００の各種設定に関する様々なメニュー項目も、表示制御部１３７の制御により表示部１３８に表示することができる。カメラＭＰＵ１３３は、表示制御部１３７を制御して、メニュー項目を表示部１３８に表示させる。
【００２１】
撮像装置１００は、上記の画像処理における各々の要素も含めて、カメラＭＰＵ１３３により直接的または間接的に制御される。システムメモリ１３９は、電気的に消去・記憶可能な不揮発性メモリであり、例えばフラッシュＲＯＭ等により構成される。システムメモリ１３９は、撮像装置１００の動作時に必要な定数、変数、プログラム等を、撮像装置１００の非動作時にも失われないように記憶している。カメラＭＰＵ１３３は、定数、変数、プログラム等を適宜ＳＤＲＡＭ１３６に展開して、撮像装置１００の制御に利用する。カメラ本体１３０内の、ＡＳＩＣ１３５、ＳＤＲＡＭ１３６、システムメモリ１３９、表示制御部１３７、カメラＭＰＵ１３３、外部メモリ１６０は、バス等の接続インタフェース１４５により、相互に接続される。
【００２２】
操作入力部１４１は、ユーザによる設定操作等のユーザ操作を受け付ける。操作入力部１４１としては、電源スイッチ、レリーズボタン、動画撮影ボタン、各種操作ボタン、表示部１３８に一体に実装されたタッチパネル等を含む。カメラＭＰＵ１３３は、操作入力部１４１が操作されたことを検知して、操作に応じた動作を実行する。例えば、カメラＭＰＵ１３３は、レリーズボタンが操作された場合に、レリーズ動作を実行するよう撮像装置１００の各部を制御する。カメラＭＰＵ１３３は、動画撮影ボタンが操作された場合に、動画撮影を実行するよう撮像装置１００の各部を制御する。また、カメラＭＰＵ１３３は、表示部１３８に組み込まれたタッチパネルが操作された場合に、表示部１３８に表示されたメニュー項目および操作内容に応じた動作をするよう、撮像装置１００の各部を制御する。また、カメラＭＰＵ１３３は、タッチパネルを通じて、ズーム倍率、焦点位置を変更するユーザ操作を受け付けてよい。
【００２３】
センサ部１４２は、撮像領域の変更速度を検出する。例えば、センサ部１４２は、撮像装置１００のパンニング角、チルト角等を検出するためのジャイロセンサ、撮像装置１００の位置の変化を検出するための加速度センサ等、種々のセンサにより実装される。カメラＭＰＵ１３３は、センサ部１４２からのセンサ出力を取得して、パンニング角、チルト角、撮像位置の変化等を算出する。カメラＭＰＵ１３３は、算出した情報をＡＳＩＣ１３５に供給する。また、カメラＭＰＵ１３３は、ズーム倍率、焦点位置、被写界深度、絞り量等の撮像条件を示す情報を、ＡＳＩＣ１３５に供給する。カメラＭＰＵ１３３は、レンズＭＰＵ１２３から取得した焦点距離の情報に基づいて、ズーム倍率を算出してよい。カメラＭＰＵ１３３は、レンズＭＰＵ１２３から取得したフォーカスレンズ群の位置、フォーカスリング２５の回転角等に基づいて、焦点位置を算出してよい。また、カメラＭＰＵ１３３は、レンズＭＰＵ１２３から取得した絞り値に基づいて、被写界深度を算出してもよい。
【００２４】
ＡＳＩＣ１３５は、カメラＭＰＵ１３３から取得した情報を、画像データの付帯情報として画像データに付帯して記録する。また、ＡＳＩＣ１３５は、動画撮影中にカメラＭＰＵ１３３から取得した情報をフレームに対応づけて動画データに記録してよい。また、ＡＳＩＣ１３５は、後述するように、カメラＭＰＵ１３３から取得した情報に基づいて、動画のフレームを圧縮する圧縮強度を調節してよい。
【００２５】
カメラ本体１３０の各要素および外部メモリ１６０は、電源１７０から電力供給を受ける。電源１７０としては、カメラ本体１３０に対して着脱できる例えばリチウムイオン電池などの二次電池、商用ＡＣ電源等を例示することができる。カメラＭＰＵ１３３は、電源１７０から撮像装置１００の各部への電力供給を制御する。なお、二次電池は、撮像装置１００を駆動する電池の一例である。電池とは、実質的に充電することができない非充電式の電池を含む。
【００２６】
図２は、ＡＳＩＣ１３５におけるブロック構成の一例を示す。ＡＳＩＣ１３５は、変更速度特定部２１０、期間特定部２２０、変更領域特定部２３０、圧縮強度決定部２４０、圧縮部２６０を有する。変更速度特定部２１０、期間特定部２２０、変更領域特定部２３０、圧縮強度決定部２４０および圧縮部２６０の機能ブロックは、画像処理装置として機能し得る。
【００２７】
変更速度特定部２１０は、動画撮影におけるズームの変更速度、撮像方向の変更速度、撮像位置の変更速度を特定する。例えば、変更速度特定部２１０は、カメラＭＰＵ１３３から取得した情報に基づいて、動画撮影におけるズーム倍率の変更速度、パンニング角の変更速度、チルト角の変更速度を特定する。ズーム倍率の変更速度、パンニング角の変更速度、チルト角の変更速度は、動画における撮像領域の変更速度の一例である。
【００２８】
また、変更速度特定部２１０は、動画撮影における撮像条件の変更速度を特定する。例えば、変更速度特定部２１０は、カメラＭＰＵ１３３からズーム倍率、焦点位置、被写界深度等の撮像条件を示す情報を取得して、取得した情報に基づいて、動画撮影におけるズーム倍率の変更速度、焦点位置の変更速度、被写界深度の変更速度を特定する。ズーム倍率の変更速度、焦点位置の変更速度、被写界深度の変更速度等は、動画において画像内容に変化を与える撮像条件の一例である。
【００２９】
期間特定部２２０は、動画において撮像領域の変更速度が予め定められた基準値を超える期間である第１期間を特定する。具体的には、期間特定部２２０は、変更速度特定部２１０が特定した撮像領域の変更速度が、予め定められた基準値を超える期間である期間を、第１期間として特定する。また、期間特定部２２０は、動画において画像内容に変化を与える撮像条件の変更速度が予め定められた基準値を超える期間である第１期間を特定する。具体的には、変更速度特定部２１０が特定した撮像条件の変更速度が、予め定められた基準値を超える期間である期間を、第１期間として特定する。
【００３０】
変更領域特定部２３０は、撮像条件の変更速度に基づいて、画像内容に変化が生じた領域である変更領域を特定する。例えば、変更領域特定部２３０は、焦点位置の変更速度および焦点位置と、被写体までの距離とに基づいて、変更領域を特定する。例えば、特定被写体に合焦した状態では、焦点距離が少し変化するだけで特定被写体の像は比較的に大きく変化する。例えば、焦点距離が少し変化するだけで特定被写体の像は比較的に大きくボケる。一方、全く合焦していない被写体の像は、焦点距離が少し変化してもボケたままであり、画像内容として大きく変化しない。したがって、焦点位置が予め定められた基準値を超えて変化した場合に、変更領域特定部２３０は、より合焦した被写体の領域を変更領域としてより優先して特定してよい。
【００３１】
被写界深度は、絞りによって拡大または縮小する。このため、絞りが変更された場合、合焦した特定被写体の近傍に位置する被写体のうち、特定被写体から光軸方向に離れた位置に存在する被写体ほど、画像内容が大きく変化する場合がある。例えば、絞りが絞られた状態で実質的に合焦した被写体の像は、絞りを開くことで被写界深度から外れて、比較的にボケが大きくなる。変更領域特定部２３０は、焦点位置および絞りの少なくとも一方が変更された場合に、画像領域のうちの一部の領域を変更領域として特定する。一方、ズーム倍率、パンニング角、チルト角、撮像位置が変更された場合は、変更領域特定部２３０は全画像領域を変更領域として特定する。
【００３２】
圧縮強度決定部２４０は、圧縮部２６０による圧縮強度を制御する。具体的には、圧縮強度決定部２４０は、動画における第１期間以外の期間である第２期間より、第１期間に適用する圧縮する圧縮強度として、高い圧縮強度を決定する。圧縮部２６０は、圧縮強度決定部２４０が決定した圧縮強度に従って、各領域を圧縮する。すなわち、圧縮部２６０は、第２期間より第１期間に、高い圧縮強度を適用して動画を圧縮する。圧縮強度決定部２４０は、第１期間のフレームに、他のフレームとの間のフレーム相関を高めるフィルタ処理を適用すべき旨を決定する。また、圧縮強度決定部２４０は、第１期間のフレームに適用する量子化ステップの値を、第２期間のフレームに適用する量子化ステップの値より大きくする。このように、圧縮強度決定部２４０は、圧縮部２６０における不可逆圧縮の圧縮強度を決定する。圧縮強度は、上述したフィルタを適用するか否か、および、量子化ステップ等によって定められる。
【００３３】
例えばズーム倍率が高速に変更されている期間は、フレーム間で画像内容が大きく変化する。このため、動画を再生した場合、人の目にはフレームの画質の良し悪しを十分に認識することできない場合がある。撮像装置１００によれば、ズーム倍率が高速に変更されている期間に高い圧縮強度を適用する。このため、人の目に認識される画質に大きな影響を与えることなく、動画データをより高い圧縮強度で圧縮することができる。
【００３４】
圧縮部２６０の具体的な動作について説明する。圧縮部２６０は、フィルタ部２５０、符号化部２７０、合成制御部２８０、合成部２９０を有する。符号化部２７０は、第１符号化部２７１および第２符号化部２７２を有する。
【００３５】
フィルタ部２５０および符号化部２７０は、第１期間と第２期間とで異なる圧縮強度で圧縮する圧縮処理部として機能する。具体的には、フィルタ部２５０は、第１期間のフレームに、フレーム間の相関度を高めるフィルタ処理を適用する。例えば、フィルタ部２５０は、第２期間のフレームより第１期間のフレームに、より強い強度のノイズリダクションフィルタを適用してよい。このように、圧縮部２６０は、動画を構成する複数のフレームのうち、第１期間に撮像されたフレームに、フレーム間の相関度を高めるフィルタ処理を適用する。なお、フィルタ部２５０は、変更領域特定部２３０によって特定された変更領域に、当該フィルタ処理を適用してもよい。
【００３６】
符号化部２７０は、フレーム間符号化、フレーム内符号化、量子化、可変長符号化等の動画の符号化処理を行う。圧縮強度決定部２４０が決定した圧縮強度に従って、各画像領域に圧縮符号化を施してよい。例えば、圧縮強度決定部２４０は、各期間に適用する量子化ステップの値を決定してよい。符号化部２７０は、圧縮強度決定部２４０が決定した量子化ステップの値で量子化を施してよい。
【００３７】
符号化部２７０は、フレームの画像領域のうち、第１領域と第２領域とを並列して符号化する。一例として、変更領域以外の画像領域を第１領域として適用し、変更領域を第２領域として適用してよい。具体的には、第１符号化部２７１は、第１領域を圧縮し、第２符号化部２７２は、第２領域を圧縮する。すなわち、第１符号化部２７１および第２符号化部２７２は、それぞれ第１領域および第２領域を並行して圧縮する。
【００３８】
なお、符号化部２７０は、異なる圧縮強度を適用する画像領域の数だけ、符号化器を有してよい。例えば、変更領域と、変更領域以外の領域とで異なる圧縮を適用する場合、符号化部２７０には２つの符号化部が設けられる。
【００３９】
合成制御部２８０は、第１領域を圧縮することにより生成された第１圧縮データと、第２領域を圧縮することにより生成された第２圧縮データとを、合成部２９０に供給する。合成部２９０は、第１圧縮データと第２圧縮データとを合成して、１つの画像データを圧縮した圧縮データを生成する。合成制御部２８０は、合成部２９０に第１圧縮データおよび第２圧縮データを合成させるタイミングを制御する。例えば、合成制御部２８０は、第１符号化部２７１および第２符号化部２７２から出力される圧縮データをバッファし、全符号化部から圧縮データが出力された場合に、合成部２９０に圧縮データを一斉に出力する。合成制御部２８０により、各領域の圧縮に要する時間差を吸収することができる。このように、合成制御部２８０は、合成部２９０における圧縮データの合成を制御する。
【００４０】
以上に説明したように、圧縮部２６０は、第２期間より第１期間に、高い圧縮強度を適用して動画を圧縮する。このため、人の目に認識される画質に大きな影響を与えることなく、動画データにおける全体の符号量を削減することができる。また、圧縮部２６０は、動画データの全体の符号量を目標符号量に適合するようにビットレート等を調節してよい。全体の符号量を目標符号量に適合させるよう制御することで、ズーム倍率が変更されていない期間に多くの符号量を割り当てることができる。このため、画質が認識され易い期間の画質をより高めることができる。
【００４１】
図３は、ズーム倍率に基づき圧縮強度を制御する期間を模式的に示す。本図において、フレーム３００が撮影されてからフレーム３１０が撮影されるまでの間、ズーム倍率は変化しない。ＡＳＩＣ１３５は、この期間に撮影されたフレームに対して、ズーム倍率に基づく圧縮強度の制御をしない。具体的には、フィルタ部２５０は、この期間に撮影されたフレームには第１強度のノイズリダクションフィルタを適用する。また、符号化部２７０は、比較的に小さい量子化ステップの値を適用して量子化する。
【００４２】
本図において、フレーム３１１が撮影されてからフレーム３２１が撮影されるまでの間、ズーム倍率が変化する。ＡＳＩＣ１３５は、この期間に撮影されたフレームに対して、ズーム倍率の変化を判定して、ズーム倍率に基づき圧縮強度を可変に制御する。ズーム倍率に基づき圧縮強度を可変に制御する期間を、圧縮強度可変期間と呼ぶ場合がある。例えば、フィルタ部２５０は、ズーム倍率の変更速度が基準値を超える期間に撮影されたフレームに、第１強度より高い第２強度のノイズリダクションフィルタを適用する。また、符号化部２７０は、ズーム倍率の変更速度が基準値を超える期間に撮影されたフレームに、比較的に大きい量子化ステップの値を適用して量子化する。
【００４３】
図４は、ズーム倍率の変更速度の算出例を示す。ここでは、交換レンズ１２０が備えるレンズ群１２２の焦点距離の変更速度を、ズーム倍率の変更速度の指標値として用いる。本図の例では、時刻ｔ０まで焦点距離が一定であり、時刻ｔ０から焦点距離の変更が開始される。符号４１０は、時刻ｔ１で焦点距離の変更が終了した場合の変化速度を示し、符号４２０は、時刻ｔ２で焦点距離の変更が終了した場合を示す。
【００４４】
変更速度特定部２１０は、焦点距離の変更幅を、変更に要した時間幅で除算することにより、焦点距離の変更速度を算出する。例えば、ｆ１＝１８ｍｍ、ｆ６＝２００ｍｍであり、ｔ１−ｔ０＝２秒である場合、符号４１０で示す焦点距離の変更速度は９１ｍｍ／ｓとなる。一方、ｔ２−ｔ０＝４秒である場合、符号４２０で示す焦点距離の変更速度は４５．５ｍｍ／ｓとなる。
【００４５】
一例として、焦点距離の変化速度に関する基準値として９０ｍｍ／ｓを設定した場合、本図の実線で示す焦点距離の変化に対して、期間特定部２２０は、期間ｔ０〜ｔ１を第１期間として特定する。焦点距離の変更速度が９０ｍｍ／ｓ以下の期間、例えば時刻ｔ０までの期間および時刻ｔ１以降の期間は、第２期間となる。一方、符号４２０で示すように焦点距離が変更された場合、全期間を第２期間として特定する。
【００４６】
図５は、ズーム倍率の変更速度に基づく圧縮制御の一例を示す。本例は、ズームアップ操作に引き続きズームアウト操作をして元のズーム倍率まで戻した場合の圧縮制御の一例である。本図の縦軸および横軸のスケールは、図４と同様であるとする。本例では、時刻ｔ０から時刻ｔ１０までの期間が圧縮強度可変期間となる。
【００４７】
具体的には、焦点距離は時刻ｔ０から時刻ｔ５にかけてｆ１からｆ６まで長くされ、時刻ｔ５から時刻ｔ１０にかけてｆ６からｆ１まで短くされる。本例では、時刻ｔ０から時刻ｔ５までの期間では、焦点距離の増加速度が徐々に高まっている。また、時刻ｔ５から時刻ｔ１０までの期間では、焦点距離の低下速度が徐々に低くなっている。本例では、分かり易く説明することを目的として、焦点距離の時間発展が時刻ｔ５に関して対称であるとする。
【００４８】
本例において、焦点距離の変化速度に関する基準値として９０ｍｍ／ｓを設定した場合、圧縮強度可変期間（ｔ０〜ｔ１０）のうち、時刻ｔ３から時刻ｔ７までの期間が第１期間として特定される。すなわち、変更速度特定部２１０は、焦点距離の変更速度の大きさ、例えば、焦点距離の変更の速さが基準値を超える期間を、第１期間として特定する。時刻ｔ３までの期間、および、時刻ｔ７より後の期間は、第２期間となる。
【００４９】
例えばユーザがズームリング２４の回転速度を徐々に上げながらズームアップ操作をし、ズームリング２４の回転速度を徐々に下げながらズームアウト操作をした場合に、本例のような焦点距離の時間発展が得られる。本図に関連して説明した処理によれば、ズーム倍率の変更操作の速度が小さく、人の目に画質を容易に認識できるような期間には、低い圧縮強度を適用するので、動画における見た目の画質が大きく劣化することを未然に防ぐことができる。一方、ズーム倍率の変更操作の速度が大きく、人の目に画質を容易に認識でききない期間には、高い圧縮強度を適用するので、符号量を大きく削減しつつ、動画における見た目の画質が大きく劣化することを未然に防ぐことができる。ここで、ズーム倍率の変更速度が大きいほど、フレーム相関が小さくなって発生符号量は大きくなる。撮像装置１００によれば、発生符号量が大きい期間に高い圧縮強度を適用するので、全体の符号量を効果的に抑制することができる場合がある。
【００５０】
図６は、ズーム倍率の変更速度に基づく圧縮制御の他の例を示す。本例は、比較的に高速なズームアップ操作に引き続き、ゆっくりとズームアウト操作をして、ズーム倍率を少し小さくした場合の圧縮制御の一例である。本図の縦軸および横軸のスケールは、図５と同様であるとする。本例では、時刻ｔ０から時刻ｔ６までの期間が、圧縮強度可変期間となる。
【００５１】
具体的には、焦点距離は時刻ｔ０から時刻ｔ３にかけてｆ１からｆ６まで長くされ、時刻ｔ３から時刻ｔ６にかけてｆ６からｆ５まで短くされる。本例では、時刻ｔ０から時刻ｔ３までの期間は、焦点距離の増加速度は一定であるとする。また、時刻ｔ３から時刻ｔ６までの期間では、焦点距離の低下速度は一定であるとする。
【００５２】
本例において、焦点距離の変化速度に関する基準値として９０ｍｍ／ｓを設定した場合、圧縮強度可変期間（ｔ０〜ｔ５）のうち、時刻ｔ０から時刻ｔ３までの期間が第１期間として特定される。一方、時刻ｔ３以降の期間は、第２期間となる。
【００５３】
例えばユーザがズームリング２４を一気に回転させてズームアップ操作をした後に、ズームリング２４をゆっくりと戻してズームアウト操作をした場合に、本例のような焦点距離の時間発展が得られる。映像的な効果としては、ズーム倍率が最大のときに撮影されている被写体を強調するような効果が得られる。本例において、ズームリング２４をゆっくりと戻してズームアウトしている期間のフレームには、比較的に低い圧縮強度が適用される。このため、被写体が特に強調されるべき期間の画質が低くなることを未然に防ぐことができる。このため、ユーザの撮影意図に沿った圧縮強度を適用することができる。
【００５４】
なお、以上の説明では、焦点距離の変更速度にいわばリアルタイムに追随して、圧縮強度を制御するとした。しかし、一定の期間内における焦点距離の変更速度の平均値が基準値を超えるか否を判定してもよい。一例として、圧縮強度可変期間内の焦点距離の変更速度の平均値が、基準値を超えるか否かを判定してもよい。例えば、本例では、焦点距離の変更速度の平均値は、（ｆ６−ｆ１＋ｆ６−ｆ５）／（ｔ６−ｔ０）である。焦点距離の変化速度に関する基準値として９０ｍｍ／ｓを設定した場合、焦点距離の変更速度の平均値は基準値以下と判定される。したがって、時刻ｔ０から時刻ｔ６までの期間は全て第２期間として特定される。この場合、時刻ｔ０から時刻ｔ６までの期間の圧縮強度は比較的に小さくされ、高画質な動画となる。本例のような高速ズームアップ、低速ズームアウトの操作をする場合では、ズームアウト操作をゆっくりして時間をかけるほど、変更速度の平均値は小さくなる。このようにゆっくりしたズーミング操作された期間を含む場合、一連のズーム操作による映像効果を狙って撮影された可能性がある。したがって、一連のズーム操作が生じている期間にわたる変更速度に基づき圧縮強度を制御することで、ユーザの意図をきちんと画質に反映させることができる場合がある。
【００５５】
図７は、ズーム倍率の変更速度に基づく圧縮制御の他の例を示す。本例は、比較的に短時間で高速にズーミング操作した場合の圧縮制御の一例である。本図の縦軸および横軸のスケールは、図５と同様であるとする。本例では、時刻ｔ０から時刻ｔ１までの期間が、圧縮強度可変期間となる。
【００５６】
本例において、時刻ｔ０から時刻ｔ１までの期間における焦点距離の変更速度は、基準値を超える。しかし、焦点距離が変更されている期間は比較的に短時間であるため、第１期間としては特定されない。すなわち、期間特定部２２０は、変更速度が予め定められた時間長さより長い時間にわたって基準値を超える期間を、第１期間として特定する。
【００５７】
圧縮強度を高めることによる符号量の削減量は、圧縮強度を高める期間が短いほど小さくなる。したがって、基準値を超えて焦点距離が変更されている期間が短いほど、圧縮強度を高めることによる符号量の削減量は小さくなる。焦点距離の変更速度が予め定められた時間長さより長い時間にわたって基準値を超えることを条件として圧縮強度を高めるように制御することで、符号量の削減効果が大きい期間に限定して圧縮強度を高めることができる。また、圧縮強度が頻繁に変わってしまうことを未然に防ぐことができる。
【００５８】
なお、連続する期間に異なる圧縮強度を適用する場合、当該連続する期間の境界で圧縮強度の変化幅が予め定められた値以下になるよう、境界に接する一部期間の圧縮強度を漸増または漸減させてよい。例えば、圧縮部２６０は、第１期間および第２期間の境界の領域に適用する圧縮強度を漸減または漸増させることにより、第１期間および第２期間の境界の領域における圧縮強度の差を予め定められた値以下にしてよい。例えば、圧縮部２６０は、第１期間に続く第２期間内の一部の領域において、圧縮強度を境界に向けて漸増させてよい。圧縮部２６０は、第２期間に続く第１期間内の一部の領域において、圧縮強度を境界に向けて漸減させてよい。
【００５９】
図３から図７にかけて、ズーム倍率の変更速度の一例として、レンズ群１２２の焦点距離の変更速度を指標とした。しかし、撮像領域は、レンズ群１２２の焦点距離だけでなく、いわゆる電子ズーム、デジタルズーム等と呼ばれる画像処理による拡大倍率を変更することによっても変更される。したがって、ズーム倍率の変更速度とは、当該拡大倍率の変更速度を含む概念である。例えば、期間特定部２２０は、レンズ群１２２の焦点距離および拡大倍率の組み合わせに基づくズーム倍率の変更速度に基づき、第１期間を特定してよい。
【００６０】
図３から図７にかけて、撮像領域の変更速度の一例であるズーム倍率の変更速度に基づき、圧縮強度を高めるべき第１期間を特定する場合を説明した。上述したように、撮像領域の変更速度としては、ズーム倍率の変更速度の他に、動画撮影におけるパンニング角の変更速度、チルト角の変更速度、撮像位置の変更速度等を例示することができる。したがって、図３から図７にかけて説明した焦点距離の変更速度を指標として第１期間を特定することに替えて、パンニング角の変更速度を指標として第１期間を特定してもよい。また、チルト角の変更速度を指標として第１期間を特定してもよい。パンニング角の変更速度およびチルト角の変更速度は、撮像方向の変更速度の一例である。また、撮像位置の変更速度を指標として第１期間を特定してもよい。このように、動画撮影におけるいわゆる撮影シーン、構図の変更速度に基づき、第１期間を適切に決定することができる。
【００６１】
なお、ズーム倍率の変更速度は、画像内容に変化を与える撮像条件の変更速度の一例でもある。上述したように、画像内容に変化を与える撮像条件の変更速度としては、ズーム倍率の変更速度の他に、焦点位置の変更速度、被写界深度の変更速度等を例示することができる。したがって、図３から図７にかけて説明した焦点距離の変更速度を指標として第１期間を特定することに替えて、焦点位置の変更速度を指標として第１期間を特定してもよい。また、被写界深度の変更速度を指標として第１期間を特定してもよい。このように、画像内容の全体に変化を与える撮像条件の変更速度に基づき、第１期間を適切に決定することができる。
【００６２】
以上に説明したズーム倍率の変更速度、焦点位置の変更速度、被写界深度の変更速度、撮像方向の変更速度、撮像位置の変更速度の任意の組み合わせに基づき、第１期間を特定してよい。例えば、期間特定部２２０は、ズーム倍率の変更速度、焦点位置の変更速度、被写界深度の変更速度、撮像方向の変更速度、および撮像位置の変更速度の少なくともいずれかが基準値を超える期間を、第１期間として特定してよい。
【００６３】
図８は、焦点の変更速度に関する補正データの一例をテーブル形式で示す。本データは、一例として交換レンズ１２０内にレンズ固有情報の一部として格納される。例えば、本データは、レンズＭＰＵ１２３の不揮発性のシステムメモリ内に格納されてよい。本データは、レンズＭＰＵ１２３を介してカメラＭＰＵ１３３に提供される。
【００６４】
焦点位置の変更速度に基づき第１期間を特定する場合、焦点位置に関する指標値として、画像内容の変化量を適切に反映する指標値を用いることが望ましい。例えば、フォーカスリング２５の回転速度を焦点位置の変更速度の指標値として用いる場合、回転速度が同じでもレンズ群１２２の焦点距離によって画像内容の変化量が異なる場合がある。例えばテレ端とワイド端では、フォーカスリング２５の回転量に対応する画像の変化量が大きく異なる場合がある。
【００６５】
本データは、レンズ群１２２の焦点距離と、補正係数とを対応づける。例えば、より長い焦点距離に、値がより大きい補正係数を対応づける。一例として、焦点位置の指標値としてフォーカスリング２５の回転速度を用いた場合、変更速度特定部２１０は、レンズ群１２２の焦点距離に対応づけて格納されている補正係数を、フォーカスリング２５の回転速度に乗じた値を、変更速度として算出する。期間特定部２２０は、当該変更速度が基準値を超える期間を、第１期間として特定する。このため、期間特定部２２０は、焦点位置の変化速度の指標値として、レンズ群１２２の焦点距離を考慮して画像内容の変化度合いを適切に反映した指標値を用いて、第１期間を特定することができる。
【００６６】
図９は、画像領域毎に変更速度を判断する場面の一例を模式的に示す。フレーム９００は、動画を構成する一つのフレームである。本例では、人物に合焦しており、遠方の山、雲等の被写体には合焦していないとする。
【００６７】
ここで、遠方の被写体に合焦しない程度に焦点位置を人物の位置から少しずらした場合、遠方の被写体の像はあまり変化しない。一方、人物像のボケは大きく増大する。すなわち、焦点位置の操作により、合焦していない被写体が撮影された部分領域の画像内容よりも、合焦した被写体が撮影された部分領域の画像内容の方が大きく変化する。したがって、変更領域特定部２３０は、フレーム９００内の画像領域のうち合焦した被写体像を含む部分領域９１０を変化領域として特定する。圧縮部２６０は、変化領域以外の部分領域９２０である非変化領域よりも変化領域に、高い圧縮強度を適用する。したがって、撮像装置１００によれば、撮像条件の変更に応じて画像内容が高速に変化する部分領域を適切に特定して、その部分領域に他の部分領域よりも高い圧縮強度を適用することができる。
【００６８】
なお、隣接する画像領域に異なる圧縮強度を適用する場合、当該隣接する画像領域の境界で圧縮強度の変化幅が予め定められた値以下になるよう、境界に接する一部領域の圧縮強度を漸増または漸減させてよい。例えば、圧縮部２６０は、変化領域および非変化領域の境界の領域に適用する圧縮強度を漸減または漸増させることにより、変化領域および非変化領域の境界の領域における圧縮強度の差を予め定められた値以下にしてよい。例えば、圧縮部２６０は、変化領域に隣接する非変化領域内の一部の領域において、圧縮強度を境界に向けて漸増させてよい。圧縮部２６０は、非変化領域に隣接する変化領域内の一部の領域において、圧縮強度を境界に向けて漸減させてよい。
【００６９】
図１０は、撮像装置１００の起動から終了までの処理フローを示す。本フローは、操作入力部１４１の一部としての電源ボタンがＯＮされた場合に、開始される。本フローは、カメラＭＰＵ１３３が主体となって撮像装置１００の各部を制御することにより実行される。
【００７０】
ステップＳ１０００において、カメラＭＰＵ１３３は、初期設定を開始する。例えば、カメラＭＰＵ１３３は、撮像装置１００を制御するための各種パラメータ等を、システムメモリ１３９からＳＤＲＡＭ１３６に展開する。また、レンズ群１２２からレンズ固有情報を取得して、ＳＤＲＡＭ１３６にレンズパラメータとして展開する。レンズ固有情報としては、図８に関連して説明した補正係数を含む。そして、カメラＭＰＵ１３３は、例えば撮像モードスイッチ等を含む操作入力部１４１の状態、および、展開された各種パラメータに基づき、撮像装置１００の各部の動作条件を設定する。例えば、撮像モードスイッチの位置に応じて、撮像モードを設定する。また、撮像モードに応じて、撮像条件や画像処理条件を設定する。例えば、撮像モードとしては、人物撮影に適した人物撮影モード、動物撮影に適した動物撮影モード、風景撮影に適した風景撮影モード等を例示することができる。
【００７１】
続いて、ステップＳ１００２において、表示部１３８への表示を行う。例えば、カメラＭＰＵ１３３は、撮像モード、撮像条件および画像処理条件等を識別する設定情報を、表示部１３８に表示させる。
【００７２】
続いて、ステップＳ１００４において、カメラＭＰＵ１３３は、操作入力部１４１に対するユーザ指示を判断する。ユーザ指示が諸設定を実行する指示である場合、カメラＭＰＵ１３３が主体となって、指示された設定処理を行う（ステップＳ１００６）。設定処理としては、撮像モードを設定する処理、撮像条件を設定する処理、画像処理条件を設定する処理、動画撮影におけるフレームレートを設定する処理等を例示することができる。また、設定処理として、上述した撮像領域または撮像条件の変更速度に基づく圧縮強度の可変制御をするか否かをユーザが指定する処理を例示することができる。
【００７３】
ステップＳ１００４において、ユーザ指示が撮像実行に関する指示であると判断された場合、撮像実行に関する処理を行う（ステップＳ１０１２）。撮影実行に関する指示としては、ライブビューボタン、動画撮影ボタン、レリーズボタンに対する操作等を例示することができる。ステップＳ１００４におけるユーザ指示が画像の再生を実行する指示である場合、再生処理を実行する（ステップＳ１０２２）。再生処理としては、外部メモリ１６０に記録された画像をサムネイル表示する処理、ユーザにより指示された画像を表示する処理等を例示することができる。
【００７４】
ステップＳ１００４においてユーザ指示がない場合は、環境光を測光する測光処理を行う（ステップＳ１０３２）。例えば、環境光の測光結果に基づき適正露出値を決定する。本測光処理は一定の時間間隔で実行され、現在の適正露出値が決定される。ステップＳ１０３２で決定した現在の露出値を示す情報は、表示部１３８にリアルタイムに表示され、ユーザに提示される。
【００７５】
ステップＳ１００６、ステップＳ１０１２、ステップＳ１０２２、ステップＳ１０３２の処理が完了すると、ステップＳ１００８に進み、電源をＯＦＦするか否かを判断する。例えば、電源ボタンがＯＦＦ位置に切り替えられた場合や、電源がＯＮされてから予め定められた期間、ユーザ指示無しの状態が継続した場合等に、電源をＯＦＦすると判断する。電源をＯＦＦすると判断した場合は動作を終了し、電源をＯＦＦしないと判断した場合はステップＳ１００４に処理を移行させる。
【００７６】
図１１は、動画撮影における動作フローの一例を示す。本例では、ステップＳ１０１２の一部の処理として、動画撮影が指示された場合の動作フローを示す。本フローは、動画撮影ボタンが押し込まれた場合に、開始される。
【００７７】
ステップＳ１１０２において、カメラＭＰＵ１３３が撮像装置１００の各部に動画撮影を指示することにより、動画撮影が開始される。動画撮影が開始されると、フレームがＳＤＲＡＭ１３６に順次に取り込まれる。ＡＳＩＣ１３５において、画像処理対象のフレームがＳＤＲＡＭ１３６に取り込まれているか否かが判断される（ステップＳ１１０４）。
【００７８】
画像処理対象のフレームが取り込まれた場合、ＡＳＩＣ１３５は、当該フレームの撮影タイミングでズーム操作がなされていたか否かを判断する（ステップＳ１１０６）。例えば、カメラＭＰＵ１３３を通じて提供されるレンズ群１２２の焦点距離の変更を指示するズーム操作、いわゆるデジタルズームによる拡大倍率の変更を指示するズーム操作に基づき、ズーム操作がなされた期間を特定して、当該期間にフレームの撮影タイミングが含まれるか否かを判断する。
【００７９】
フレームの撮影タイミングにおいてズーム操作がなされていた場合、期間特定部２２０は当該期間内でズーム倍率の変更速度が基準値を超えるか否かを判断する（ステップＳ１１０８）。ズーム倍率の変更速度が基準値を超えると判断された場合、期間特定部２２０は、ズーム操作が予め定められた期間継続したか否かを判断する（ステップＳ１１１０）。ズーム操作が予め定められた期間継続した場合、圧縮強度決定部２４０は、圧縮強度を大に設定する（ステップＳ１１１２）。具体的には、フィルタ部２５０において強いノイズリダクション処理を適用する旨を設定する。
【００８０】
続いて、ステップＳ１１２０において、圧縮部２６０は、圧縮強度決定部２４０が決定した圧縮強度に従って各領域を圧縮する。本処理の詳細については、図１２に関連して後述する。
【００８１】
続いて、ステップＳ１１２２において、動画撮影の処理を終了するか否かを判断する。例えば、動画撮影ボタンが再度押し込まれ、かつ、画像処理対象のフレームが存在しない場合に、動画撮影の処理を終了すると判断する。動画撮影の処理を終了すると判断された場合、本動作フローを終了する。動画撮影の処理を終了しないと判断された場合、ステップＳ１１０４に処理を進める。
【００８２】
ステップＳ１１０６の判断において、撮影タイミングでズーム操作がなされていなかったと判断された場合、圧縮強度決定部２４０は圧縮強度を小に設定し（ステップＳ１１１４）、ステップＳ１１２０に処理を進める。また、ステップＳ１１０８の判断において、ズーム倍率の変更速度が基準値を超えないと判断された場合、圧縮強度決定部２４０は圧縮強度を小に設定し（ステップＳ１１１４）、ステップＳ１１２０に処理を進める。
【００８３】
ステップＳ１１１０の判断において、ズーム操作が予め定められた期間継続していないと判断された場合、圧縮強度決定部２４０は圧縮強度の設定および圧縮を保留し、ステップＳ１１０４に処理を進める。そして、後のフレームに対するステップＳ１１１０の判断において、ズーム操作が予め定められた期間継続したと判断された場合に、圧縮強度決定部２４０は圧縮強度の設定が保留されているフレームに対して、圧縮強度を高く設定する。一方、後のフレームに対するステップＳ１１０８の判断で、ズーム操作が予め定められた期間継続することなく変更速度が基準値以下になったと判断された場合（ステップＳ１１０８：Ｎ）、または、ステップＳ１１０６の判断でズーム操作がなされなくなったと判断された場合（ステップＳ１１０６：Ｎ）に、圧縮強度の設定が保留されているフレームに対して圧縮強度を小に設定し（ステップＳ１１１４）、ステップＳ１１２０に処理を進める。
【００８４】
図１２は、圧縮部２６０がフレームを圧縮する動作フローの一例を示す。本フローは、図１１のステップＳ１１２０における詳細な動作フローである。ここでは、図９に関連して説明したように、１フレームの画像領域の一部の領域が変更領域として特定された場合の動作について説明する。
【００８５】
ステップＳ１２００において、圧縮部２６０は、ＳＤＲＡＭ１３６からフレームを読み出す。続いて、ステップＳ１２０２において、フィルタ部２５０は、読み出したフレームにノイズリダクション処理を施す。フィルタ部２５０は、圧縮強度が大に設定されたフレームには第２強度のノイズリダクション処理を適用し、圧縮強度が小に設定されたフレームには、第２強度よりも小さい第１強度のノイズリダクション処理を適用する。ここで、フィルタ部２５０は、変更領域に第２強度のノイズリダクション処理を適用し、変更領域以外の領域には第１強度のノイズリダクション処理を適用してよい。
【００８６】
続いて、第１符号化部２７１に変更領域以外の領域のデータが供給され（ステップＳ１２０４）、第２符号化部２７２に変更領域のデータが供給される（ステップＳ１２０６）。
【００８７】
第１符号化部２７１では、変更領域以外の領域のデータに対して、例えば量子化を含む符号化処理が行われる。第１符号化部２７１では、ＤＣＴ変換、フレーム間圧縮またはフレーム内圧縮等の符号化処理が行われてもよい。第２符号化部２７２では、変更領域のデータに対して、第１符号化部２７１と同様の符号化処理が行われる。第１符号化部２７１および第２符号化部２７２は、例えば圧縮強度決定部２４０が各領域について決定した圧縮強度に対応する量子化ステップの値を適用して、それぞれの領域に対して量子化を行ってよい。第１符号化部２７１および第２符号化部２７２によりそれぞれ符号化された各領域のデータは、圧縮データとしてＳＤＲＡＭ１３６に一時的に記憶される。第１符号化部２７１および第２符号化部２７２が符号化を完了した場合、符号化が完了した旨を合成制御部２８０に通知する。
【００８８】
ステップＳ１２０８において、合成制御部２８０は、第１符号化部２７１および第２符号化部２７２の両方の符号化が完了したか否かを判断する。第１符号化部２７１および第２符号化部２７２の少なくとも一方の符号化が完了していない場合、ステップＳ１２０８の判断を繰り返す。第１符号化部２７１および第２符号化部２７２の両方から符号化の完了通知があった場合、合成制御部２８０は、ＳＤＲＡＭ１３６に一時的に記憶された各領域の圧縮データを合成部２９０に供給して合成させる（ステップＳ１２１０）。続いて、合成部２９０が圧縮データを合成することで生成された１つのフレームの圧縮データが、ＳＤＲＡＭ１３６に記憶され（ステップＳ１２１２）、本動作フローは終了する。
【００８９】
特に図１１、図１２において、動画の撮影をしながら圧縮強度を決定して圧縮するとした。しかし、例えば圧縮強度を大にする期間のフレームをマーキングしておき、マーキングしたフレームに対して高い圧縮強度を適用して圧縮してよい。例えば、動画撮影後に、当該マーキングしたフレームに対して高い圧縮を適用して圧縮してよい。具体的には、高い圧縮強度で圧縮されるべきフレームに、高い圧縮強度で圧縮されるべき旨の情報を付帯して、当該情報が付帯されたフレームに高い圧縮強度を適用して圧縮してよい。また、高い圧縮強度で圧縮されるべきフレームを特定する情報をＳＤＲＡＭ１３６等に一時的に記憶しておき、記憶された情報により特定されるフレームに対して高い圧縮強度を適用して圧縮してよい。マーキングした動画データを外部メモリ１６０に一旦記録した後に、記録された動画データを読み出して圧縮してもよい。
【００９０】
以上に説明した撮像装置１００によれば、画像内容の変化を与えるようなユーザ操作がなされた場合に高い圧縮強度を適用することで、見た目の画質が大きく劣化することを未然に防ぎつつ、全体の符号量を削減することができる。撮像装置１００によれば、例えばユーザ操作等に基づき判断するので、画像を実質的に解析することなく、圧縮高度を高める期間を特定することができる。
【００９１】
本実施形態の撮像装置１００に関連して説明した処理は、撮像装置１００の各部、例えばカメラＭＰＵ１３３等のプロセッサがプログラムに従って動作することにより、実現することができる。ＡＳＩＣ１３５による処理についても、プロセッサがプログラムに従って動作することにより、実現することができる。すなわち当該処理を、いわゆるコンピュータ装置によって実現することができる。コンピュータ装置は、上述した処理の実行を制御するプログラムをロードして、ロードしたプログラムに従ってハードウェアを制御することで、ソフトウェアとハードウェアとの協働動作により当該処理が実現される。コンピュータ装置は、当該プログラムを記憶しているコンピュータ読取可能な記録媒体を読み込むことによって、当該プログラムをロードすることができる。
【００９２】
本実施形態において、レンズ交換式の一眼レフカメラとしての撮像装置１００を取り上げて説明した。撮像装置としては、コンパクトデジタルカメラ、ミラーレス一眼カメラ、ビデオカメラ、撮像機能付きの携帯電話機、撮像機能付きの携帯情報端末、撮像機能付きのゲーム機器等の娯楽装置等、撮像機能を有する種々の機器を適用の対象とすることができる。また、ＡＳＩＣ１３５における処理として説明した画像処理に対応する画像処理を実行する機器として、パーソナルコンピュータの他、記録機能付きのテレビ、レコーダ等の画像記録装置を適用の対象とすることができる。また、処理対象とする画像データは、ＲＡＷ画像のように実質的な画像処理が施されていない画像データだけでなく、圧縮等の種々の画像処理が施された画像データであってもよい。
【００９３】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００９４】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００９５】
２４ ズームリング、２５ フォーカスリング、１００ 撮像装置、１２０ 交換レンズ、１２１ レンズマウント接点、１３０ カメラ本体、１３１ カメラマウント接点、１２２ レンズ群、１３２ 撮像素子、１２３ レンズＭＰＵ、１３３ カメラＭＰＵ、１３４ Ａ／Ｄ変換器、１３５ ＡＳＩＣ、１３６ ＳＤＲＡＭ、１３７ 表示制御部、１３８ 表示部、１３９ システムメモリ、１４０ 駆動部、１４１ 操作入力部、１４２ センサ部、１４５ 接続インタフェース、１７０ 電源、１６０ 外部メモリ、２１０ 変更速度特定部、２２０ 期間特定部、２３０ 変更領域特定部、２４０ 圧縮強度決定部、２５０ フィルタ部、２６０ 圧縮部、２７０ 符号化部、２７１ 第１符号化部、２７２ 第２符号化部、２８０ 合成制御部、２９０ 合成部、３００、３１０、３１１、３２１ フレーム、９００ フレーム、９１０ 部分領域、９２０ 部分領域
【特許請求の範囲】
【請求項１】
動画において撮像領域の変更速度が予め定められた基準値を超える期間である第１期間を特定する期間特定部と、
前記第１期間以外の期間である第２期間より前記第１期間に、高い圧縮強度を適用して動画を圧縮する圧縮部と、
を備える画像処理装置。
【請求項２】
動画において画像内容に変化を与える撮像条件の変更速度が予め定められた基準値を超える期間である第１期間を特定する期間特定部と、
前記第１期間以外の期間である第２期間より前記第１期間に、高い圧縮強度を適用して動画を圧縮する圧縮部と、
を備える画像処理装置。
【請求項３】
前記期間特定部は、前記変更速度が予め定められた時間長さより長い時間にわたって前記基準値を超える期間を、前記第１期間として特定する
請求項１または２に記載の画像処理装置。
【請求項４】
前記期間特定部は、ズーム倍率の変更速度、焦点位置の変更速度、被写界深度の変更速度、撮像方向の変更速度、および撮像位置の変更速度の少なくともいずれかが前記基準値を超える期間を、前記第１期間として特定する
請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
前記圧縮部は、前記動画を構成する複数のフレームのうち、前記第１期間に撮像されたフレームに、フレーム相関を高めるフィルタ処理を適用する
請求項１から４のいずれか一項に記載の画像処理装置。
【請求項６】
前記圧縮部は、前記第１期間および前記第２期間の境界の期間に適用する圧縮強度を漸減または漸増させることにより、前記第１期間および前記第２期間の境界における圧縮強度の差を予め定められた値以下にする
請求項１から５のいずれか一項に記載の画像処理装置。
【請求項７】
前記圧縮部は、
前記動画を構成する画像内の第１画像領域および第２画像領域を並行して圧縮する圧縮処理部と、
前記第１画像領域を圧縮することにより生成された第１圧縮データと、前記第２画像領域を圧縮することにより生成された第２圧縮データとを合成する合成部と、
前記合成部に前記第１圧縮データおよび前記第２圧縮データを合成させるタイミングを制御する合成制御部と、
を有する請求項１から６のいずれか一項に記載の画像処理装置。
【請求項８】
画像を撮像する撮像部と、
請求項１から７のいずれか一項に記載の画像処理装置と
を備える撮像装置。
【請求項９】
動画において撮像領域の変更速度が予め定められた基準値を超える期間である第１期間を特定するステップと、
前記第１期間以外の期間である第２期間より前記第１期間に、高い圧縮強度を適用して動画を圧縮するステップと、
をコンピュータに実行させるプログラム。
【請求項１０】
動画において画像内容に変化を与える撮像条件の変更速度が予め定められた基準値を超える期間である第１期間を特定するステップと、
前記第１期間以外の期間である第２期間より前記第１期間に、高い圧縮強度を適用して動画を圧縮するステップと、
をコンピュータに実行させるプログラム。
【請求項１】
動画において撮像領域の変更速度が予め定められた基準値を超える期間である第１期間を特定する期間特定部と、
前記第１期間以外の期間である第２期間より前記第１期間に、高い圧縮強度を適用して動画を圧縮する圧縮部と、
を備える画像処理装置。
【請求項２】
動画において画像内容に変化を与える撮像条件の変更速度が予め定められた基準値を超える期間である第１期間を特定する期間特定部と、
前記第１期間以外の期間である第２期間より前記第１期間に、高い圧縮強度を適用して動画を圧縮する圧縮部と、
を備える画像処理装置。
【請求項３】
前記期間特定部は、前記変更速度が予め定められた時間長さより長い時間にわたって前記基準値を超える期間を、前記第１期間として特定する
請求項１または２に記載の画像処理装置。
【請求項４】
前記期間特定部は、ズーム倍率の変更速度、焦点位置の変更速度、被写界深度の変更速度、撮像方向の変更速度、および撮像位置の変更速度の少なくともいずれかが前記基準値を超える期間を、前記第１期間として特定する
請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
前記圧縮部は、前記動画を構成する複数のフレームのうち、前記第１期間に撮像されたフレームに、フレーム相関を高めるフィルタ処理を適用する
請求項１から４のいずれか一項に記載の画像処理装置。
【請求項６】
前記圧縮部は、前記第１期間および前記第２期間の境界の期間に適用する圧縮強度を漸減または漸増させることにより、前記第１期間および前記第２期間の境界における圧縮強度の差を予め定められた値以下にする
請求項１から５のいずれか一項に記載の画像処理装置。
【請求項７】
前記圧縮部は、
前記動画を構成する画像内の第１画像領域および第２画像領域を並行して圧縮する圧縮処理部と、
前記第１画像領域を圧縮することにより生成された第１圧縮データと、前記第２画像領域を圧縮することにより生成された第２圧縮データとを合成する合成部と、
前記合成部に前記第１圧縮データおよび前記第２圧縮データを合成させるタイミングを制御する合成制御部と、
を有する請求項１から６のいずれか一項に記載の画像処理装置。
【請求項８】
画像を撮像する撮像部と、
請求項１から７のいずれか一項に記載の画像処理装置と
を備える撮像装置。
【請求項９】
動画において撮像領域の変更速度が予め定められた基準値を超える期間である第１期間を特定するステップと、
前記第１期間以外の期間である第２期間より前記第１期間に、高い圧縮強度を適用して動画を圧縮するステップと、
をコンピュータに実行させるプログラム。
【請求項１０】
動画において画像内容に変化を与える撮像条件の変更速度が予め定められた基準値を超える期間である第１期間を特定するステップと、
前記第１期間以外の期間である第２期間より前記第１期間に、高い圧縮強度を適用して動画を圧縮するステップと、
をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−８１１０１（Ｐ２０１３−８１１０１Ａ）
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願番号】特願２０１１−２２０３９３（Ｐ２０１１−２２０３９３）
【出願日】平成２３年１０月４日（２０１１．１０．４）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願日】平成２３年１０月４日（２０１１．１０．４）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]