説明

画像処理装置およびプログラム

【課題】被写体等の動きを考慮してフレームから代替フレームを生成すること。
【解決手段】画像処理装置は、フレームの撮像に代えて静止画が撮像されたタイミングを撮像期間内に含む動画を取得する画像取得部と、動画に含まれる複数のフレームのうち、静止画の前に撮像されたフレームおよび静止画の後に撮像されたフレームの少なくとも一方のフレームが撮像されたタイミングと、静止画が撮像されたタイミングとの間の被写体の動きを特定する動き特定部と、被写体の動きを用いて少なくとも一方のフレームを補正した補正画像を用いて、静止画を撮像することで撮像されなかったフレームを代替する代替フレームを生成するフレーム生成部と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置およびプログラムに関する。
【背景技術】
【0002】
静止画と動画の同時記録する画像を取り込む時に固体撮像素子の電子シャッタを通常よりも高速に設定するとともに、電子シャッタの設定に応じて、AGCゲイン制御とノイズリダクションのノイズ除去レベルを制御する技術が知られている(例えば、特許文献1参照)。
[先行技術文献]
[特許文献]
[特許文献1]特開2006−50308号公報
【発明の概要】
【発明が解決しようとする課題】
【0003】
静止画撮像時のシャッタ速度を高速にすることで、被写体のぶれが小さい静止画を撮像することができる。しかし、ぶれが小さい静止画を動画の代替フレームとして使用すると、鑑賞者の目には被写体の滑らかな動きに見えない場合がある。従来、被写体等の動きを考慮して、フレームから代替フレームを生成することができないという課題があった。
【課題を解決するための手段】
【0004】
本発明の第1の態様においては、画像処理装置は、フレームの撮像に代えて静止画が撮像されたタイミングを撮像期間内に含む動画を取得する画像取得部と、動画に含まれる複数のフレームのうち、静止画の前に撮像されたフレームおよび静止画の後に撮像されたフレームの少なくとも一方のフレームが撮像されたタイミングと、静止画が撮像されたタイミングとの間の被写体の動きを特定する動き特定部と、被写体の動きを用いて少なくとも一方のフレームを補正した補正画像を用いて、静止画を撮像することで撮像されなかったフレームを代替する代替フレームを生成するフレーム生成部と、を備える。
【0005】
本発明の第2の態様においては、プログラムは、フレームの撮像に代えて静止画が撮像されたタイミングを撮像期間内に含む動画を取得するステップと、動画に含まれる複数のフレームのうち、静止画の前に撮像されたフレームおよび静止画の後に撮像されたフレームの少なくとも一方のフレームが撮像されたタイミングと、静止画が撮像されたタイミングとの間の被写体の動きを特定するステップと、被写体の動きを用いて少なくとも一方のフレームを補正した補正画像を用いて、静止画を撮像することで撮像されなかったフレームを代替する代替フレームを生成するステップと、をコンピュータに実行させる。
【0006】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【0007】
【図1】撮像装置100のシステム構成図の一例を示す。
【図2】ASIC135が有する機能ブロック構成の一例を示す。
【図3】ASIC135における処理を模式的に示す。
【図4】ASIC135における処理を他の一例を模式的に示す。
【図5】ASIC135における処理の更なる他の一例を模式的に示す。
【図6】ASIC135における処理の更なる他の一例を模式的に示す。
【図7】撮像装置100の起動から終了までの処理フローを示す。
【図8】動画撮像における動作フローの一例を示す。
【図9】代替フレームを生成する処理フローの一例を示す。
【発明を実施するための形態】
【0008】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0009】
図1は、撮像装置100のシステム構成図の一例を示す。撮像装置100は、交換レンズ120およびカメラ本体130を備える。交換レンズ120は、レンズマウント接点121を有するレンズマウントを備え、カメラ本体130は、カメラマウント接点131を有するカメラマウントを備える。レンズマウントとカメラマウントが係合して交換レンズ120とカメラ本体130が一体化されると、レンズマウント接点121とカメラマウント接点131が接続される。撮像装置100は、交換レンズ120とカメラ本体130とが一体化した状態で一眼レフカメラとして機能する。
【0010】
被写体光は、光軸に沿って撮像光学系としてのレンズ群122を透過して、撮像部として機能する撮像素子132の受光面に結像する。レンズMPU123は、レンズマウント接点121およびカメラマウント接点131を介してカメラMPU133と接続され、相互に通信を実行しつつ協働して交換レンズ120とカメラ本体130を制御する。例えば、レンズMPU123は、カメラMPU133と協働して、画角内に設定された少なくとも1つの焦点調節領域の被写体に合焦するようレンズ群122の焦点調節を行う。例えば、レンズMPU123は、フォーカスレンズモータを制御して、レンズ群122を構成するフォーカスレンズ群を移動させる。これにより、レンズ群122の焦点調節が行われる。
【0011】
メインミラー150は、レンズ群122を通過した被写体光束を反射する。メインミラー150は、レンズ群122の光軸を中心とする被写体光束中に斜設される斜設状態と、被写体光束から退避する退避状態を取り得る。メインミラー150が斜設状態にある場合、反射された被写体光束は光学ファインダ部156に導かれて、ユーザに観察される。ユーザは、光学ファインダ部156を通じて撮像の構図等を設定することができる。
【0012】
斜設状態におけるメインミラー150の光軸近傍領域は、ハーフミラーとして形成されており、入射される被写体光束の一部が透過する。透過した被写体光束は、サブミラー151で反射されて、合焦センサ142へ導かれる。合焦センサ142は、被写体光束を受光する複数の光電変換素子列を有する。光電変換素子列は、合焦状態にある場合には位相が一致した信号を出力し、前ピン状態または後ピン状態にある場合には、位相ずれした信号を出力する。位相のずれ量は、焦点状態からのずれ量に対応する。合焦センサ142は、光電変換素子列の出力を相関演算することで位相差を検出して、位相差を示す位相差信号をカメラMPU133に出力する。
【0013】
カメラMPU133等の制御により、合焦センサ142からの位相差信号に基づき、レンズ群122の焦点状態が調節される。例えば、カメラMPU133によって、位相差信号に基づきフォーカスレンズ群の目標位置が決定され、レンズMPU123の制御により、決定された目標位置に向けてフォーカスレンズの位置が制御される。このように、レンズ群122は、位相差検出方式で焦点状態が検出されて焦点調節が行われる。すなわち、メインミラー150がダウンし斜設状態にある場合、位相差検出方式で焦点状態を検出して焦点調節する。なお、合焦センサ142は、被写体像の特定の領域に対応してそれぞれ設けられ、複数の焦点調整領域のそれぞれにおいて焦点状態を調節することができる。
【0014】
メインミラー150が被写体光束から退避すると、サブミラー151はメインミラー150に連動して被写体光束から退避する。メインミラー150が退避状態にある場合、レンズ群122を通過した被写体光束は、撮像素子132の受光面に入射する。撮像素子132は、レンズ群122を通過した被写体光束により被写体を撮像する。撮像素子132としては、例えばCMOSセンサ、CCDセンサ等の固体撮像素子を例示することができる。撮像素子132は、被写体光束を受光する複数の光電変換素子を有し、複数の光電変換素子でそれぞれ生じた蓄積電荷量に応じたアナログ信号を、画素信号としてA/D変換器134に順次に出力する。A/D変換器134は、撮像素子132から出力されたアナログの画像信号をデジタルの画像信号に変換して画像データとして出力する。撮像素子132は、カメラMPU133からの指示を受けた駆動部140により駆動される。
【0015】
A/D変換器134が出力した画像データは、SDRAM136に記憶される。SDRAM136の少なくとも一部のメモリ領域は、撮像により生成された画像データを一時的に記憶するバッファ領域として使用される。撮像素子132が被写体光束で連続して撮像した場合、撮像により順次に生成される画像データはバッファ領域に順次に記憶される。例えば、被写体光束で連続して静止画を撮像することにより得られた複数の静止画の画像データが、バッファ領域に順次に記憶される。また、被写体光束で動画を撮像することにより得られた動画を構成する複数の画像の画像データが、バッファ領域に順次に記憶される。なお、動画を構成する画像の画像データを、特にフレームと呼ぶ場合がある。SDRAM136は、動画を処理する場合にフレームを一時的に記憶するフレームメモリとしても機能する。
【0016】
ASIC135は、SDRAM136に記憶された画像データを順次処理する。ASIC135は、画像処理機能に関連する回路を一つにまとめた集積回路である。ASIC135は、画像処理装置の一部として機能する。ASIC135は、SDRAM136の少なくとも一部のメモリ領域を画像処理用のワークエリアとして使用して画像処理を行う。ASIC135は、例えば、撮像素子132から出力されたベイヤ配列の離散的な画像データから、色補間処理により各画素で各色の色を持つ画像データを生成する。その他、ASIC135は、色補正、ガンマ補正、ホワイトバランス補正、輪郭強調処理等、予め定められた画像処理を行う。
【0017】
また、ASIC135は、画像データを、規格化された画像フォーマットの画像データに変換して出力する。例えば、ASIC135は、静止画の画像データを、JPEG等の規格に準拠した符号化形式で符号化された静止画データを生成するための画像処理を行う。また、ASIC135は、複数のフレームを、H.264、MPEG2、Motion Jpeg等の規格に準拠した符号化方式で符号化された動画データを生成するための画像処理を行う。カメラMPU133は、ASIC135によって生成された静止画データ、動画データ等の画像データを、不揮発性の記録媒体の一例としての外部メモリ160に転送して記録させる。外部メモリ160としては、例えばフラッシュメモリ等の半導体メモリを例示することができる。なお、カメラMPU133は、動画データ、静止画データ等の画像データを外部メモリ160に記録させる他、画像データをネットワーク等の伝送路に出力させてもよい。
【0018】
ASIC135は、撮像時においては記録用の画像データの生成に並行して、表示用の画像データを生成する。ASIC135は、再生時においては外部メモリ160から画像データを読み出して表示用の画像データを生成する。生成された表示用の画像データは、表示制御部137の制御に従って表示画像信号に変換され、液晶ディスプレイ等の表示デバイスとしての表示部138に表示される。また、画像の表示と共に、もしくは画像を表示することなく、撮像装置100の各種設定に関する様々なメニュー項目も、表示制御部137の制御により表示部138に表示することができる。カメラMPU133は、表示制御部137を制御して、メニュー項目を表示部138に表示させる。
【0019】
撮像装置100は、上記に説明した制御を含めて、カメラMPU133により直接的または間接的に制御される。システムメモリ139は、電気的に消去・記憶可能な不揮発性メモリであり、例えばフラッシュROM等により構成される。システムメモリ139は、撮像装置100の動作に必要な定数、変数等の制御用のパラメータ、プログラム等を、撮像装置100の非動作時にも失われないように記憶している。カメラMPU133は、定数、変数、プログラム等をシステムメモリ139から適宜SDRAM136に展開して、撮像装置100の制御に利用する。カメラ本体130内の、ASIC135、SDRAM136、システムメモリ139、表示制御部137、カメラMPU133、外部メモリ160は、バス等の接続インタフェース145により、相互に接続される。
【0020】
操作入力部141は、ユーザ操作を受け付ける。操作入力部141は、電源ボタン、レリーズボタン、動画撮像ボタン、各種操作ボタン、表示部138に一体に実装されたタッチパネル等の部材を含む。カメラMPU133は、操作入力部141が操作されたことを検知して、操作に応じた動作を実行する。例えば、カメラMPU133は、レリーズボタンが操作された場合に、レリーズ動作を実行するよう撮像装置100の各部を制御する。例えば、カメラMPU133は、撮像モードが連写撮像モードに設定されている場合、連続撮像の一例としての連写撮像を実行するよう撮像装置100の各部を制御する。また、カメラMPU133は、動画撮像ボタンが操作された場合に、連続撮像の一例としての動画撮像を実行するよう撮像装置100の各部を制御する。また、カメラMPU133は、表示部138に組み込まれたタッチパネルが操作された場合に、表示部138に表示されたメニュー項目および操作内容に応じた動作をするよう、撮像装置100の各部を制御する。
【0021】
カメラ本体130の各要素および外部メモリ160は、電源170から電力供給を受ける。電源170としては、カメラ本体130に対して着脱できる例えばリチウムイオン電池等の二次電池、系統電源等からの交流電力を直流電力に変換する電力変換部等を例示することができる。カメラMPU133は、電源の状態を検出して、電源の状態に応じて撮像装置100の各部を制御する。例えば、カメラMPU133は、電源170が二次電池であるか否かを判断する。カメラMPU133は、電源170が二次電池であると判断した場合、二次電池の残存容量を検出して、残存容量に応じて撮像装置100の各部を制御する。また、カメラMPU133は、電源170から撮像装置100の各部への電力供給を制御する。なお、二次電池は電池の一例であり、電池とは、実質的に充電することができない非充電式の電池を含む。
【0022】
図2は、ASIC135が有する機能ブロック構成の一例を示す。ここでは、ASIC135が有する機能ブロックのうち、主として画像処理に関する機能ブロックを取り上げて示す。ASIC135は、画像取得部200、画像解析部230、フレーム生成部260、動画処理部270および静止画処理部280を有する。画像取得部200は、フレーム取得部210および静止画取得部220を含む。画像解析部230は、動き特定部240およびシーンチェンジ検出部250を含む。
【0023】
画像取得部200は、フレームの撮像に代えて静止画が撮像されたタイミングを撮像期間内に含む動画を取得する。具体的には、フレーム取得部210が、動画に含まれる複数のフレームをSDRAM136から読み出す。動き特定部240は、動画に含まれる複数のフレームのうち、静止画の前に撮像されたフレームおよび静止画の後に撮像されたフレームの少なくとも一方のフレームが撮像されたタイミングと、静止画が撮像されたタイミングとの間の被写体の動きを特定する。フレーム生成部260は、被写体の動きを用いて少なくとも一方のフレームを補正した補正画像を用いて、静止画を撮像することで撮像されなかったフレームを代替する代替フレームを生成する。
【0024】
例えば、動き特定部240は、静止画の次に撮像されたフレームである後フレームを撮像したタイミングと、静止画が撮像されたタイミングとの間の被写体の動きを特定する。具体的には、動き特定部240は、後フレームと静止画との間における動きベクトルを特定する。そして、フレーム生成部260は、後フレームを補正した補正画像と静止画とを合成することにより、静止画を撮像したときの露光時間より長い露光時間に対応する代替フレームを生成する。具体的には、フレーム生成部260は、補正画像と、動きを用いて静止画を補正した補正静止画とを合成することにより、代替フレームを生成する。
【0025】
シーンチェンジ検出部250は、動画撮像期間内のシーンチェンジを検出する。シーンチェンジ検出部250は、静止画の前に撮像されたフレームである前フレームと静止画との間の画像の差分量、静止画と後フレームとの間の画像の差分量に基づいて、シーンチェンジを検出してよい。シーンチェンジ検出部250は、予め定められた値を超える差分量が検出された場合に、画像間でシーンチェンジが生じた旨を検出してよい。
【0026】
フレーム生成部260は、静止画の前に撮像されたフレームである前フレームを撮像したタイミングと静止画が撮像されたタイミングとの間でシーンチェンジが検出された場合に、後フレームから補正画像を生成し、静止画が撮像されたタイミングと後フレームを撮像したタイミングとの間でシーンチェンジが検出された場合に、前フレームから補正画像を生成する。フレーム生成部260は、前フレームを撮像したタイミングと静止画が撮像されたタイミングとの間でシーンチェンジが検出され、静止画が撮像されたタイミングと後フレームを撮像したタイミングとの間でシーンチェンジが検出されなかった場合に、後フレームから補正画像を生成してよい。フレーム生成部260は、前フレームを撮像したタイミングと静止画が撮像されたタイミングとの間でシーンチェンジが検出されず、静止画が撮像されたタイミングと後フレームを撮像したタイミングとの間でシーンチェンジが検出された場合に、前フレームから補正画像を生成してよい。
【0027】
動画処理部270は、フレーム取得部210が取得したフレームおよびフレーム生成部260が生成した代替フレームを、動画として画像処理する。例えば、動画処理部270は、フレーム内圧縮、フレーム間圧縮等の圧縮符号化を各フレームに施す。静止画処理部280は、静止画取得部220が取得した静止画を静止画として画像処理する。例えば、静止画処理部280は、JPEG等の圧縮符号化を静止画に施す。
【0028】
図3は、ASIC135における処理を模式的に示す。本例において、フレーム301、静止画302、フレーム303の順で撮像されたとする。ここでは、時刻t1とt2との間の時間長さは、時刻t2と時刻t3との間の時間長さに等しいとする。すなわち、時刻t2からフレーム撮像用の露光時間T1で露光を開始することに替えて、静止画撮像用の露光時間T2で露光することにより静止画302が撮像される。
【0029】
ここで、フレーム301のオブジェクト311、静止画302内のオブジェクト312、および、フレーム303のオブジェクト313は、撮像装置100に対して動く被写体の像を示す。静止画撮像用の露光時間T2はフレーム撮像用の露光時間T1より短いため、オブジェクト312のぶれ幅は、オブジェクト311およびオブジェクト313のぶれ幅より小さい。したがって、静止画302をそのまま動画のフレームとすると、動画として再生した場合に、鑑賞者の目にはギクシャクした動きに見えてしまう。フレーム生成部260は、オブジェクト313のぶれ幅に近いぶれを持つ代替フレーム370を生成することで、動きが滑らかに見える動画を生成する。
【0030】
本図において、符号320は、静止画302を撮像したタイミングにおいて、オブジェクトが占めるべき範囲に該当する。フレーム生成部260は、時刻t3、露光時間T1およびフレーム303におけるぶれ幅と、時刻t2、露光時間T2および静止画302におけるぶれ幅とに基づいて、オブジェクトが占めるべき範囲を決定してよい。フレーム生成部260は、時刻t1およびフレーム301におけるぶれ幅をさらに考慮して、オブジェクトが占めるべき範囲を決定してもよい。そして、フレーム生成部260は、符号320で示したぶれ幅のオブジェクトを含むよう、フレーム303および静止画302を合成する。
【0031】
具体的には、動き特定部240が、フレーム303および静止画302の間の動きベクトル330を算出する。図において、符号332は、オブジェクト312に対応する。フレーム生成部260は、動きベクトル330の方向に、オブジェクト313をシフトさせる。一例として、フレーム生成部260は、オブジェクト313の一部の領域を動きベクトル330の方向にシフトさせる。シフトさせる一部の領域は、オブジェクト313のぶれ方向の一端から、動きベクトル330の向きに沿って選択されてよい。本例では、静止画が撮像されたタイミングのオブジェクトの位置に最も近い左端から、動きベクトル330の方向の反対向きに沿って選択される。ここで、オブジェクト313から選択する領域の幅に関して、フレーム生成部260は、オブジェクト312の幅と符号320で示す幅との差が大きいほど、より長い幅の領域をオブジェクト313から選択してよい。
【0032】
フレーム生成部260は、オブジェクト313から選択した一部の領域を、動きベクトル330の方向にシフトさせて、オブジェクト350を生成する。例えば、フレーム生成部260は、オブジェクト350の右端が符号320で示した右端の位置と一致するようにシフトさせる。また、フレーム生成部260は、静止画302からのオブジェクト312を、動きベクトル330の方向と逆向きの方向にシフトさせて、オブジェクト340を生成する。
【0033】
フレーム生成部260は、静止画302と、オブジェクト350と、オブジェクト340とを重ね合わせることにより、代替フレーム370を生成する。代替フレーム370において、オブジェクト380は、オブジェクトの動きに対応するぶれを持つ。このため、代替フレーム370が生成された後に、動画処理部270が、フレーム301、代替フレーム370、フレーム303が順に表示される動画を生成することで、動きが滑らかに見える動画が生成される。
【0034】
本図に関連して説明したように、フレーム生成部260は、後フレームから動きを補正した補正画像と、静止画における動きを補正した補正静止画と、静止画とを合成することにより、代替フレームを生成する。具体的には、フレーム生成部260は、後フレーム内のオブジェクトの位置を動きベクトルの向きにシフトさせて得られた補正画像と、静止画内のオブジェクトの位置を動きベクトルの向きとは逆向きにシフトさせた補正静止画と、静止画とを合成することにより、代替フレームを生成する。具体的には、フレーム生成部260は、動きベクトル、静止画が撮像されたタイミングおよび露光時間、およびフレームを撮像したタイミングおよび露光時間に基づいて、静止画を撮像したタイミングでフレームを撮像した場合に画像内でオブジェクトが占めるべき範囲を特定し、特定した範囲にオブジェクトが位置するようにシフトさせることにより、後フレームおよび静止画を補正する。
【0035】
図4は、ASIC135における処理を他の一例を模式的に示す。ここでは主として、図3で説明した処理との相違点について説明する。本処理例では、フレーム303およびフレーム301を用いて代替フレーム470を生成する。
【0036】
具体的には、動き特定部240が、フレーム303およびフレーム301の間の動きベクトル430を算出する。図において、符号432は、オブジェクト311に対応する。フレーム生成部260は、動きベクトル430の方向に、オブジェクト313をシフトさせる。図3に関連して説明した処理と同様に、フレーム生成部260は、オブジェクト313の一部の領域を動きベクトル430の方向にシフトさせる。フレーム生成部260は、オブジェクト313から選択した一部の領域を、動きベクトル430の方向にシフトさせて、オブジェクト450を生成する。例えば、フレーム生成部260は、オブジェクト450の右端が符号320で示した右端の位置と一致するようにシフトさせる。
【0037】
また、フレーム生成部260は、フレーム301からのオブジェクト311から選択した一部の領域を、動きベクトル430の方向と逆向きの方向にシフトさせて、オブジェクト440を生成する。例えば、フレーム生成部260は、オブジェクト440の左端が符号320で示した左端の位置と一致するようにシフトさせる。
【0038】
フレーム生成部260は、フレーム303と、フレーム301と、オブジェクト450と、オブジェクト440とを重ね合わせることにより、代替フレーム470を生成する。代替フレーム470において、オブジェクト480は、オブジェクトの動きに対応するぶれを持つ。このため、代替フレーム470が生成された後に、動画処理部270が、フレーム301、代替フレーム470、フレーム303が順に表示される動画を生成することで、動きが滑らかに見える動画が生成される。
【0039】
なお、本例のように、フレーム303とフレーム301とでオブジェクトの領域が重複しない場合、フレーム生成部260は、フレーム301のうちオブジェクト313を除く領域と、フレーム303のうちオブジェクト311を除く領域と、オブジェクト450と、オブジェクト440とを重ね合わせることにより、代替フレーム470を生成してよい。これにより、代替フレーム470に背景の像を含めることができる。フレーム301およびフレーム303を、オブジェクトを除くことなく合成してもよい。
【0040】
本図に関連して説明したように、動き特定部240は、静止画の前に撮像されたフレームである前フレームを撮像したタイミングと、静止画の次に撮像されたフレームである後フレームを撮像したタイミングとの間の被写体の動きを特定する。そして、フレーム生成部260は、後フレームを補正した補正画像と、前フレームを補正した補正画像とを合成することにより、代替フレームを生成する。
【0041】
なお、本処理によれば、静止画302が撮像された前後のフレームを用いて、代替フレーム470を生成するので、静止画302の撮像条件が動画の撮像条件と大きく異なる場合でも、動画の撮像条件に適合した代替フレーム470を生成することができる。したがって、フレーム生成部260は、静止画を撮像したときの撮像条件が、動画を撮像したときの撮像条件と異なる場合に、後フレームの少なくとも一部の領域の画像から得られた補正画像および前フレームの少なくとも一部の領域の画像から得られた補正画像を合成することにより、代替フレームを生成してよい。ここでいう撮像条件には露光時間を含まない。また、撮像条件として、画素数を含まなくてもよい。例えば、ここでいう撮像条件とは、ホワイトバランス等のように、画像内容に顕著な変化をもたらす撮像条件であってよい。
【0042】
図5は、ASIC135における処理の更なる他の一例を模式的に示す。ここでは主として、図3で説明した処理との相違点について説明する。本処理例では、フレーム303に替えて、フレーム301を用いて代替フレーム570を生成する。
【0043】
具体的には、動き特定部240が、フレーム301および静止画302の間の動きベクトルを算出する。フレーム生成部260は、動きベクトルの方向に、オブジェクト311をシフトさせる。一例として、フレーム生成部260は、オブジェクト311の一部の領域を動きベクトルの方向にシフトさせる。図3に関連して説明した処理と同様に、フレーム生成部260は、オブジェクト311の一部の領域を動きベクトル430の方向にシフトさせて、オブジェクト540を生成する。なお、オブジェクト550の左端がオブジェクト312の左端より右側に位置する程度にシフトさせてよい。また、オブジェクト550の右端が符号320の範囲の右端より左側に位置する程度にシフトさせてよい。
【0044】
また、フレーム生成部260は、静止画302からのオブジェクト312を、動きベクトルの方向にシフトさせて、オブジェクト540を生成する。ここで、オブジェクト540の右端が、符号320の右端と一致するように、オブジェクト312を動きベクトルの方向にシフトさせてよい。
【0045】
フレーム生成部260は、静止画302と、オブジェクト550と、オブジェクト540とを重ね合わせることにより、代替フレーム370を生成する。代替フレーム570において、オブジェクト580は、オブジェクトの動きに対応するぶれを持つ。このため、代替フレーム570が生成された後に、動画処理部270が、フレーム301、代替フレーム570、フレーム303が順に表示される動画を生成することで、動きが滑らかに見える動画が生成される。
【0046】
図3から図5に関連して、被写体が動いている場合の処理の一例を説明した。また、補正画像を生成する場合に、動きのあるオブジェクトをシフトさせるとして説明した。しかし、オブジェクトの動きに応じて、画像全体をシフトさせてもよい。また、動きを補正する対象となるオブジェクトとして、人物等の主被写体の像を適用してよい。主被写体は、ユーザが選択することによって特定されてよく、フレーム生成部260において人物検出等の画像認識処理に基づき特定されてよい。また、フレーム生成部260は、主被写体に対応するオブジェクト部分については、静止画に対するフレームの重みを小さくして合成してよい。合成におけるフレームの重みを低減することで、主被写体のオブジェクトに生じるゴーストを抑制することができる。主被写体が動いている場合、鑑賞者が主被写体のオブジェクトに注目することが予測されるが、合成におけるフレームの重みを低減することでゴーストを抑制することができるので、鑑賞者が感じる違和感を低減することが期待される。
【0047】
また、被写体が動いている場合だけでなく、撮像装置100でパンニングしながら動画および静止画を撮像した場合等のように、撮像装置100が被写体に対して相対的に動いている場合にも、上述した処理を適用できる。なお、パンニングしながら動画および静止画を撮像した場合、画像領域全体を合成の対象としてよい。具体的には、画像領域全体を、上述したオブジェクトの領域として適用してよい。この場合、動き特定部240は、パンニング撮像することにより生じた動きを特定する。パンニング撮像により生じた動きは、画像認識により検出してもよいし、撮像装置100に設けた加速度センサ等の出力に基づき特定してもよい。そして、フレーム生成部260は、補正画像と静止画とを、動きに応じて異なる重みで合成することにより、代替フレームを生成してよい。具体的には、フレーム生成部260は、動きが予め定められた値より小さい場合に、動きが予め定められた値以上である場合よりも、補正画像の合成の重みを小さくしてよい。例えば高速なパンニング速度で撮像した場合は、鑑賞者にとって画質が顕著に視認されにくいので、静止画とフレームとの重みを1:1で合成しても良い。しかし、比較液に低速なパンニング速度で撮像した場合は、重み1:1で合成するとゴーストが鑑賞者に見えやすくなる。しかし、フレームの重みを小さくすることで、ゴーストを見えにくくすることができる。このように、静止画およびフレームを用いて代替フレームを生成する場合、オブジェクトの動き速度を考慮して、オブジェクトの位置および合成の重みを制御することで、動画を観賞する鑑賞者が感じる違和感を低減することができる。
【0048】
図6は、ASIC135における処理の更なる他の一例を模式的に示す。ここでは、ズーム倍率の変化により大きさが変化したオブジェクトを合成する場合について説明する。本例において、フレーム601、静止画602、フレーム603の順で撮像されたとする。時刻t1〜t3、露光時間T1および露光時間T2については図3等と同様であるので、説明を省略する。
【0049】
ここで、フレーム601のオブジェクト611、静止画602内のオブジェクト612、および、フレーム603のオブジェクト613は、同一の被写体の像を示す。また、本図では、時間順にズーム倍率が増加した場合を例示する。ここではオブジェクトの大きさの変化を補正する処理について主として説明するため、オブジェクトのぶれについての図示を省略した。
【0050】
ズーム倍率の変化を考慮して合成する場合、動き特定部240は、フレーム603および静止画602の間のオブジェクトの大きさの変化率を算出する。動き特定部240は、ズーム倍率の変化率を、オブジェクトの大きさの変化率として算出してよい。フレーム生成部260は、変化率に基づきフレーム603を縮小することにより、補正フレーム650を生成する。また、フレーム生成部260は、変化率に基づき静止画602の画像領域622を拡大することにより、補正静止画640を生成する。ここで、フレーム生成部260は、オブジェクト642の大きさよりオブジェクト652の大きさが大きくなるよう、フレーム603の縮小率および静止画602の拡大率の少なくとも一方を決定する。
【0051】
フレーム生成部260は、静止画602、補正静止画640および補正フレーム650を重ね合わせることで、代替フレーム670を生成する。代替フレーム670において、オブジェクト660は、ズーム倍率の変化に対応するぶれを持つ。このため、代替フレーム670が生成された後に、動画処理部270が、フレーム601、代替フレーム670、フレーム603が順に表示される動画を生成することで、オブジェクトの大きさが滑らかに変化するように見える動画が生成される。
【0052】
なお、本図では、ズーム倍率が増加した場合の処理について説明したが、ズーム倍率が減少した場合にも、静止画に対する拡大処理に替えて縮小処理を適用し、後フレームに対する縮小処理に替えて拡大処理を適用することで、同様の処理を適用できる。同様に、前フレームおよび静止画を使用して代替フレームを生成することもできる。また、後フレームおよび前フレームを使用して代替フレームを生成することもできる。
【0053】
以上に説明したように、ズーム倍率の変化によるオブジェクトの大きさが変化する場合、動き特定部240は、後フレームが撮像されたタイミングと静止画が撮像されたタイミングとの間における撮像倍率の増加量を検出する。そして、フレーム生成部260は、撮像倍率の増加量に応じてオブジェクトを縮小させた補正画像と、静止画と、増加に応じて静止画を拡大させた補正静止画とを合成することにより、代替フレームを生成する。
【0054】
本図においては、ズーム倍率の変化によりオブジェクトの大きさが変化するとして説明した。しかし、撮像装置100による撮像中に、被写体が撮像装置100に近づく方向の動きをした場合も、オブジェクトの大きさが変化する。この場合でも、本図に関連して説明した処理と同様の処理を適用できる。なお、撮像装置100に対して被写体が相対的に動く場合は、オブジェクトの背景の画像は変化しない場合がある。このため、本図に関連して説明したフレーム等の拡大処理および縮小処理を、オブジェクトの領域に限定して適用してもよい。
【0055】
すなわち、オブジェクトの大きさの変化を補正する場合、動き特定部240は、静止画と後フレームとの間におけるオブジェクトの大きさの拡大量を特定する。拡大量とは、拡大率だけでなく縮小率を含む概念である。拡大量は、画像間で対応するオブジェクトの大きさの比から算出できる。また、ズーム倍率が変化した場合は、ズーム倍率の値から拡大量を算出できる。そして、フレーム生成部260は、拡大量に応じて後フレームを縮小させた補正画像と、静止画と、拡大量に応じて静止画を拡大させた補正静止画とを合成することにより、代替フレームを生成する。
【0056】
図7は、撮像装置100の起動から終了までの処理フローを示す。本フローは、例えば操作入力部141の一部としての電源ボタンが押し込まれた場合に、開始される。本フローは、カメラMPU133が主体となって撮像装置100の各部を制御することにより実行される。
【0057】
ステップS700において、カメラMPU133は、初期設定を開始する。例えば、カメラMPU133は、撮像装置100を制御するための各種パラメータ等を、システムメモリ139からSDRAM136に展開する。また、カメラMPU133は、例えば操作入力部141の一部としての撮像モードボタン等の状態、および、展開された各種パラメータに基づき、撮像装置100の各部の動作条件を設定する。例えば、カメラMPU133は、撮像モードボタンの位置に応じて、撮像モードを設定する。撮像モードとしては、人物撮像に適した人物撮像モード、動物撮像に適した動物撮像モード、風景撮像に適した風景撮像モード等を例示することができる。動作条件としては、撮像モードの他、シャッタ速度、撮像感度、ホワイトバランス等の画像処理条件を含む撮像条件、ビットレート等の圧縮条件、記録画素数等の記録条件等を例示することができる。撮像条件とは、動画用の撮像条件と、動画用の撮像条件とは異なる静止画用の撮像条件を含んでよい。
【0058】
続いて、ステップS702において、初期設定で設定した動作条件を表示部138に表示する。例えば、カメラMPU133は、設定した動作条件を、アイコン表示等の種々の形式で表示部138に表示させる。
【0059】
続いて、ステップS704において、カメラMPU133は、操作入力部141に対するユーザ指示を特定する。ユーザ指示が諸設定を実行する指示である場合、カメラMPU133が主体となって、指示された設定処理を行う(ステップS706)。設定処理としては、撮像モード、撮像条件、圧縮条件、記録条件を設定する処理等を例示することができる。また、設定処理として、動画用の撮像条件および静止画用の撮像条件を設定する処理を含んでよい。
【0060】
ステップS704において、ユーザ指示が撮像実行に関する指示であると判断された場合、撮像実行に関する処理を行う(ステップS712)。撮像実行に関する指示としては、ライブビューボタン、動画撮像ボタン、レリーズボタンに対する操作等を例示することができる。ステップS704におけるユーザ指示が画像の再生を実行する指示である場合、再生処理を実行する(ステップS722)。再生処理としては、外部メモリ160に記録された静止画、動画等の画像をサムネイル表示する処理、ユーザにより指示された画像を表示する処理等を例示することができる。
【0061】
ステップS704においてユーザ指示がない場合は、環境光を測光する測光処理を行う(ステップS732)。例えば、環境光の測光結果に基づき適正露出値を決定する。本測光処理は一定の時間間隔で実行され、現在の適正露出値が決定される。ステップS732で決定した現在の露出値を示す情報は、表示部138にリアルタイムに表示され、ユーザに提示される。
【0062】
ステップS706、ステップS712、ステップS722、ステップS732の処理が完了すると、ステップS708に進み、電源をOFFするか否かを判断する。例えば、電源ボタンが再度押し込まれた場合や、撮像装置100が動作を開始してから予め定められた期間、ユーザ指示が無い状態が継続した場合等に、電源をOFFすると判断する。電源をOFFすると判断した場合は本フローを終了し、電源をOFFしないと判断した場合はステップS704に処理を移行させる。
【0063】
図8は、動画撮像における動作フローの一例を示す。本例では、ステップS712の一部の処理として、動画撮像が指示された場合の動作フローを示す。例えば、本フローは、動画撮像ボタンが押し込まれた場合に、開始される。
【0064】
本フローが開始すると、動画用の撮像条件を設定し(ステップS802)、フレームを撮像する(ステップS804)。続いて、動画処理部270は、動画用の撮像条件に従って、撮像したフレームに動画用の画像処理を施す(ステップS806)。そして、カメラMPU133は、レリーズボタンが押し下げられたか否かを判断する(ステップS808)。レリーズボタンが押し下げられていない場合は、ステップS804に処理を移行し、次のフレームの撮像を行う。レリーズボタンが押し下げられた場合は、フレームの撮像に代えた静止画の撮像を行う。
【0065】
具体的には、静止画用の撮像条件を設定し(ステップS810)、静止画を撮像する(ステップS812)。例えば、撮像素子132の蓄積電荷のリセットから読み出しまでの時間長さをフレーム撮像時とは異ならせることで、フレーム撮像時とはシャッタ速度を切り替えて静止画を撮像する。撮像された静止画は、SDRAM136に保持される(ステップS814)。
【0066】
続いて、ステップS816において、フレーム生成部260は、フレーム変換用の画像処理を静止画に適用して、代替フレームの生成に用いる静止画を生成する(ステップS816)。本画像処理としては、フレームのシャッタ速度と、静止画のシャッタ速度を考慮した画像処理を例示することができる。例えば、静止画撮像用のシャッタ速度が1/120秒であり、フレーム撮像用のシャッタ速度が1/30秒である場合、4倍のゲインを静止画に適用する。また、ゲインを高めることで生じるノイズを抑制するために、強い強度のノイズ除去処理を静止画に適用する。また、静止画とフレームとで画素数が異なる場合、フレーム変換用の画像処理として、フレームの画素数に変換する画素数変換処理等を含んでよい。
【0067】
続いて、後フレームの撮像に進む。具体的には、動画用の撮像条件を設定して(ステップS818)、フレームを撮像し(ステップS820)、得られたフレームに対して、フレーム用の画像処理を適用する(ステップS822)。そして、フレーム生成部260は、代替フレームを生成する処理を行う(ステップS824)。本処理の詳細については後述する。
【0068】
続いて、ステップS826において、動画の撮像を終了するか否かを判断する。例えば、カメラMPU133は、動画撮影ボタンが再度押し込まれた場合に、動画の撮像を終了すると判断する。動画の撮像を終了しない場合、ステップS808に処理を移行して、動画または静止画の撮像を続ける。
【0069】
動画の撮像を終了する場合、静止画処理部280は、SDRAM136に保持された静止画に静止画用の画像処理を施して(ステップS828)、記録用の静止画データを生成する。静止画用の画像処理としては、JPEG符号化等の予め定められた静止画用の符号化処理を含む。また、動画処理部270は、撮像されたフレームおよびステップS824で生成された代替フレーム含む複数のフレームに対して、動画用の画像処理を行い(ステップS830)、記録用の動画データを生成する。動画用の画像処理としては、MPEG符号化等の動画用の符号化処理を含む。続いて、カメラMPU133は、記録用の静止画データおよび記録用の動画データを、外部メモリ160に転送して記録し(ステップS832)、本フローを終了する。
【0070】
なお、本図の例では、代替フレームの生成に静止画を使用する場合の撮像フローを例示した。しかし、代替フレームの生成に静止画を使用しない旨が設定されている場合は、静止画の撮像にメカニカルシャッタを用いても良い。この場合、静止画におけるいわゆるローリング歪みを抑制することが出来る。
【0071】
図9は、代替フレームを生成する処理フローの一例を示す。具体的には、図8のステップS824の詳細な処理フローである。
【0072】
本フローが開始すると、ステップS902において、フレーム生成部260は、静止画と後フレームとの間でシーンチェンジが生じたか否かを判断する。具体的には、シーンチェンジ検出部250は、静止画と後フレームとの間の画像の差分を算出して、差分量が予め定められた値を超えた場合に、シーンチェンジを検出してよい。
【0073】
シーンチェンジが生じていないと判断された場合、フレーム生成部260は、静止画用の撮像条件と動画用の撮像条件とが大きく異なるか否かを判断する(ステップS906)。静止画用の撮像条件と動画用の撮像条件とが大きく異なる場合、フレーム生成部260は、前フレームおよび後フレームを、代替フレームの生成に用いる画像として選択する。静止画用の撮像条件と動画用の撮像条件とが大きく異ならない場合、フレーム生成部260は、後フレームおよび静止画を、代替フレームの生成に用いる画像として選択する。
【0074】
ステップS902の判断において、シーンチェンジが生じていると判断された場合、フレーム生成部260は、前フレームおよび静止画を、代替フレームの生成に用いる画像として選択する(ステップS904)。
【0075】
ステップS904、ステップS908またはステップS910の処理が完了すると、動き特定部240は、代替フレームの生成用に選択された画像から、動きベクトルを検出する(ステップS912)。そして、フレーム生成部260は、動きベクトルを用いて動きを補正した補正画像を生成する(ステップS914)。そしてフレーム生成部260は、補正画像を含む代替フレーム生成用の画像を合成することにより、代替フレームを生成する(ステップS916)。ステップS914およびステップS916の処理については、図3から図5等に関連して説明した処理を適用できる。生成された代替フレームがSDRAM136に記憶されると(ステップS918)、本フローを終了する。なお、本フローのステップS912では、動きベクトルを被写体の動きとして検出するとして説明したが、図6に関連したように、オブジェクトの拡大量を検出してもよい。
【0076】
以上に説明した撮像装置100の動作および処理によれば、動画撮像中に撮像した静止画の画質を保持しつつ、静止画と前後のフレームとの間でのシャッタ速度の違いを考慮して、代替フレームを生成することができる。このため、動きが滑らかに見える動画を提供することができ、動画を鑑賞する観賞者の違和感を軽減することができる。
【0077】
上記の説明において、カメラMPU133の動作として説明した処理は、カメラMPU133がプログラムに従って撮像装置100が有する各ハードウェアを制御することにより実現される。また、上記の説明においてASIC135により実現される処理は、プロセッサによって実現することができる。例えば、ASIC135の動作として説明した処理は、プロセッサがプログラムに従って撮像装置100が有する各ハードウェアを制御することにより実現される。すなわち、本実施形態の撮像装置100に関連して説明した処理は、プロセッサがプログラムに従って動作して各ハードウェアを制御することにより、プロセッサ、メモリ等を含む各ハードウェアとプログラムとが協働して動作することにより実現することができる。すなわち、当該処理を、いわゆるコンピュータ装置によって実現することができる。コンピュータ装置は、上述した処理の実行を制御するプログラムをロードして、読み込んだプログラムに従って動作して、当該処理を実行してよい。コンピュータ装置は、当該プログラムを記憶しているコンピュータ読取可能な記録媒体から当該プログラムをロードすることができる。
【0078】
本実施形態において、一眼レフカメラとしての撮像装置100の機能および動作を説明した。撮像装置としては、一眼レフカメラの他に、ミラーレス一眼カメラ、コンパクトデジタルカメラ、ビデオカメラ、放送用の撮像機器、撮像機能付きの携帯電話機、撮像機能付きの携帯情報端末、撮像機能付きのゲーム機器等の娯楽装置等、撮像機能を有する種々の機器を適用の対象とすることができる。また、出力形態についても、動画、静止画等の画像データを記録媒体に記録するだけでなく、ネットワーク等の種々の伝送路に画像データを出力する機器等を、適用の対象とすることができる。また、撮像装置100に限らず、パーソナルコンピュータ、放送用の映像機器、テレビジョン装置、映像機器等の、対象となる画像データを取り込んで画像処理を施す電子機器を、適用の対象とすることができる。
【0079】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0080】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【0081】
100 撮像装置、120 交換レンズ、121 レンズマウント接点、122 レンズ群、123 レンズMPU、130 カメラ本体、131 カメラマウント接点、132 撮像素子、133 カメラMPU、134 A/D変換器、135 ASIC、136 SDRAM、137 表示制御部、138 表示部、139 システムメモリ、140 駆動部、141 操作入力部、142 合焦センサ、145 接続インタフェース、150 メインミラー、151 サブミラー、156 光学ファインダ部、160 外部メモリ、170 電源

【特許請求の範囲】
【請求項1】
フレームの撮像に代えて静止画が撮像されたタイミングを撮像期間内に含む動画を取得する画像取得部と、
前記動画に含まれる複数のフレームのうち、前記静止画の前に撮像されたフレームおよび前記静止画の後に撮像されたフレームの少なくとも一方のフレームが撮像されたタイミングと、前記静止画が撮像されたタイミングとの間の被写体の動きを特定する動き特定部と、
前記被写体の動きを用いて前記少なくとも一方のフレームを補正した補正画像を用いて、前記静止画を撮像することで撮像されなかったフレームを代替する代替フレームを生成するフレーム生成部と、
を備える画像処理装置。
【請求項2】
前記動き特定部は、前記静止画の次に撮像されたフレームである後フレームを撮像したタイミングと、前記静止画が撮像されたタイミングとの間の被写体の動きを特定し、
前記フレーム生成部は、前記後フレームを補正した前記補正画像と前記静止画とを合成することにより、前記静止画を撮像したときの露光時間より長い露光時間に対応する前記代替フレームを生成する
請求項1に記載の画像処理装置。
【請求項3】
前記フレーム生成部は、前記補正画像と、前記動きを用いて前記静止画を補正した補正静止画とを合成することにより、前記代替フレームを生成する
請求項2に記載の画像処理装置。
【請求項4】
前記フレーム生成部は、前記補正画像と、前記補正静止画と、前記静止画とを合成することにより、前記代替フレームを生成する
請求項3に記載の画像処理装置。
【請求項5】
前記動き特定部は、前記後フレームと前記静止画との間における動きベクトルを特定し、
前記フレーム生成部は、前記後フレーム内のオブジェクトの位置を前記動きベクトルの向きにシフトさせて得られた前記補正画像と、前記静止画内の前記オブジェクトの位置を前記動きベクトルの向きとは逆向きにシフトさせた前記補正静止画と、前記静止画とを合成することにより、前記代替フレームを生成する
請求項4に記載の画像処理装置。
【請求項6】
前記フレーム生成部は、前記動きベクトル、前記静止画が撮像されたタイミングおよび露光時間、および前記フレームを撮像したタイミングおよび露光時間に基づいて、前記静止画を撮像したタイミングでフレームを撮像した場合に画像内で前記オブジェクトが占めるべき範囲を特定し、特定した範囲に前記オブジェクトが位置するようにシフトさせることにより、前記後フレームおよび前記静止画を補正する
請求項5に記載の画像処理装置。
【請求項7】
前記動き特定部は、前記静止画の前に撮像されたフレームである前フレームを撮像したタイミングと、前記静止画の次に撮像されたフレームである後フレームを撮像したタイミングとの間の被写体の動きを特定し、
前記フレーム生成部は、前記後フレームを補正した前記補正画像と、前記前フレームを補正した前記補正画像とを合成することにより、前記代替フレームを生成する
請求項1に記載の画像処理装置。
【請求項8】
前記静止画を撮像したときの撮像条件が、前記動画を撮像したときの撮像条件と異なる場合に、前記後フレームの少なくとも一部の領域の画像から得られた前記補正画像および前記前フレームの少なくとも一部の領域の画像から得られた前記補正画像を合成することにより、前記代替フレームを生成する
請求項7に記載の画像処理装置。
【請求項9】
前記撮像期間内のシーンチェンジを検出するシーンチェンジ検出部
をさらに備え、
前記フレーム生成部は、前記静止画の前に撮像されたフレームである前フレームを撮像したタイミングと前記静止画が撮像されたタイミングとの間で前記シーンチェンジが検出された場合に、前記静止画の後に撮像されたフレームである後フレームから前記補正画像を生成し、前記静止画が撮像されたタイミングと前記後フレームを撮像したタイミングとの間で前記シーンチェンジが検出された場合に、前記前フレームから前記補正画像を生成する
請求項1から8のいずれか一項に記載の画像処理装置。
【請求項10】
前記動き特定部は、パンニング撮像することにより生じた動きを特定し、
前記フレーム生成部は、前記補正画像と前記静止画とを、前記動きに応じて異なる重みで合成することにより、前記代替フレームを生成する
請求項1から9のいずれか一項に記載の画像処理装置。
【請求項11】
前記フレーム生成部は、前記動きが予め定められた値より小さい場合に、前記動きが予め定められた値以上である場合よりも、前記補正画像の合成の重みを小さくする
請求項10に記載の画像処理装置。
【請求項12】
前記動き特定部は、前記静止画と前記後フレームとの間におけるオブジェクトの大きさの拡大量を特定し、
前記フレーム生成部は、前記拡大量に応じて前記後フレームを縮小させた前記補正画像と、前記静止画と、前記拡大量に応じて前記静止画を拡大させた前記補正静止画とを合成することにより、前記代替フレームを生成する
請求項4に記載の画像処理装置。
【請求項13】
前記動き特定部は、前記後フレームが撮像されたタイミングと前記静止画が撮像されたタイミングとの間における撮像倍率の増加量をさらに検出し、
をさらに備え、
前記フレーム生成部は、前記撮像倍率の増加量に応じてオブジェクトを縮小させた前記補正画像と、前記静止画と、前記増加に応じて静止画を拡大させた前記補正静止画とを合成することにより、前記代替フレームを生成する
請求項4に記載の画像処理装置。
【請求項14】
フレームの撮像に代えて静止画が撮像されたタイミングを撮像期間内に含む動画を取得するステップと、
前記動画に含まれる複数のフレームのうち、前記静止画の前に撮像されたフレームおよび前記静止画の後に撮像されたフレームの少なくとも一方のフレームが撮像されたタイミングと、前記静止画が撮像されたタイミングとの間の被写体の動きを特定するステップと、
前記被写体の動きを用いて前記少なくとも一方のフレームを補正した補正画像を用いて、前記静止画を撮像することで撮像されなかったフレームを代替する代替フレームを生成するステップと
をコンピュータに実行させるプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2013−98896(P2013−98896A)
【公開日】平成25年5月20日(2013.5.20)
【国際特許分類】
【出願番号】特願2011−242112(P2011−242112)
【出願日】平成23年11月4日(2011.11.4)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】