静止画を動画再生するための前処理を行う画像処理装置、プログラム、および方法
【課題】 撮影間隔の粗い静止画を素材にして、良質な動画再生を実現するための画像処理技術を提供する。
【解決手段】 本発明の画像処理装置は、静止画撮影された複数の静止画フレームからなる画像データを円滑に動画表示するための前処理を実施する画像処理装置であって、画像入力部、フレーム補間部、および合成部を備える。画像入力部は、複数の静止画フレームを取り込む。フレーム補間部は、複数の静止画フレームを撮影順の時間軸に沿ってフレーム補間を行い、補間フレームを生成する。合成部は、「静止画フレームおよび補間フレーム」または「複数の補間フレームどうし」について前記時間軸の方向に移動加算を行い、合成フレームを生成する。
【解決手段】 本発明の画像処理装置は、静止画撮影された複数の静止画フレームからなる画像データを円滑に動画表示するための前処理を実施する画像処理装置であって、画像入力部、フレーム補間部、および合成部を備える。画像入力部は、複数の静止画フレームを取り込む。フレーム補間部は、複数の静止画フレームを撮影順の時間軸に沿ってフレーム補間を行い、補間フレームを生成する。合成部は、「静止画フレームおよび補間フレーム」または「複数の補間フレームどうし」について前記時間軸の方向に移動加算を行い、合成フレームを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の静止画を円滑に動画表示するための画像処理技術に関する。
【背景技術】
【０００２】
従来、電子カメラで撮影された複数フレームの静止画を、ユーザーによるコマ送り釦の操作によって、順次にコマ送り再生する技術が知られている（例えば、特許文献１）。
【特許文献１】特開平９−１１６８５２号公報（段落０００８など）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明者は、持続的に撮影された複数フレームの静止画を素材にして、良質な動画再生を実現することを考えた。このような機能が実現すれば、インターネット上の電子アルバムやホームページ上において、静止画として格納された画像を動画として公開することが可能になり、画像鑑賞の楽しみ方が一段と拡がる。
【０００４】
また、画像編集ソフトなどにおいて複数フレームからなる静止画を動画像として再生した場合、膨大な数の静止画を短時間に観ることができる。また、この動画再生により、膨大な数の静止画の中から所望の静止画を迅速に見つけ出すことも可能になる。
ところで、映画やテレビのような滑らかな動きを表示するためには、１秒間当たり１８〜３０フレーム程度の画像が必要になる。
【０００５】
一方、上述した電子カメラの静止画撮影では、比較的高速な連続撮影モードであっても、１秒間当たり２〜８フレーム程度の撮影間隔となる。このような撮影間隔の静止画を単純にコマ送り再生した場合、画像の動きがぎこちなく、良質な動画再生は困難であった。
また、仮に連続撮影モードにおける撮像のフレームレートが１秒あたり３０フレームとなったとしても、静止画としての鑑賞に適したブレのない（撮像素子の蓄積効果の少ない）静止画を単純にコマ送り再生した場合、画像の動きがぎこちなく良質な動画再生は困難であった。
【０００６】
そこで、本発明は、撮影間隔の粗い静止画や静止画としての鑑賞に適したブレの少ない静止画を素材にして、良質な動画再生を実現するための画像処理技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
《１》
本発明の画像処理装置は、静止画撮影された複数の静止画フレームからなる画像データを円滑に動画表示するための前処理を実施する画像処理装置であって、画像入力部、フレーム補間部、および合成部を備える。
【０００８】
画像入力部は、複数の静止画フレームを取り込む。
フレーム補間部は、複数の静止画フレームを撮影順の時間軸に沿ってフレーム補間を行い、補間フレームを生成する。
合成部は、「静止画フレームおよび補間フレーム」または「複数の補間フレームどうし」について時間軸の方向に移動加算を行い、合成フレームを生成する。
【０００９】
《２》
なお好ましくは、合成部は、静止画フレームを撮影した際の電荷蓄積時間が短くなるに従って、合成フレームの高域空間周波数成分を抑制することにより、動画表示の円滑さを高める。
【００１０】
《３》
また好ましくは、合成部は、静止画フレームの撮影間隔が長くなるに従って、合成フレームの高域空間周波数成分を抑制することにより、動画表示の円滑さを高める。
【００１１】
《４》
なお好ましくは、合成部は、静止画フレーム間における画像の移動量（動き量）が大きいほど、合成フレームの高域空間周波数成分を抑制することにより、動画表示の円滑さを高める。
【００１２】
《５》
また好ましくは、画面内の複数箇所から求めた動きの内、最大の動き量が大きいほど、合成フレームの高域空間周波数成分を抑制する。
【００１３】
《６》
なお好ましくは、合成部は、動画表示の表示フレームレートが少ないほど、合成フレームの高域空間周波数成分を抑制することにより、動画表示の円滑さを高める。
【００１４】
《７》
また好ましくは、動画表示の表示ズーム倍率が大きくなるほど、合成フレームの高域空間周波数成分を抑制することにより、動画表示の円滑さを高める。
【００１５】
《８》
なお好ましくは、合成部は、フレーム補間部が生成する補間フレームのフレーム数を増やすことにより、合成フレームの高域空間周波数成分を抑制して動画表示の円滑さを高める。
【００１６】
《９》
また好ましくは、合成部は、移動加算するフレーム数を増やすことにより、合成フレームの高域空間周波数成分を抑制して動画表示の円滑さを高める。
【００１７】
《１０》
なお好ましくは、合成部は、時間的に隣り合う合成フレームを生成する際に、静止画フレーム、または補間フレームを共通して用いることで、動画表示の円滑さを高める。
【００１８】
《１１》
また好ましくは、合成部は、時間的に隣り合う合成フレームを生成する際に、共通して用いられる静止画フレーム、または補間フレームの数を増やして、合成フレームの高域空間周波数成分を抑制することにより、動画表示の円滑さを高める。
【００１９】
《１２》
また好ましくは、合成部は、完成した動画を、動画像ファイルとして記録する記録部を備える。
【００２０】
《１３》
本発明の画像処理プログラムは、コンピュータを、上記《１》〜《１２》のいずれか１つの画像入力部、フレーム補間部、合成部として機能させることを特徴とする。
【００２１】
《１４》
本発明の画像処理方法は、静止画撮影された複数の静止画フレームからなる画像データを円滑に動画表示するための前処理を実施する画像処理方法である。この画像処理方法は、次のステップを実行する。
ステップ１： 複数の静止画フレームを取り込むステップ。
ステップ２： 複数の静止画フレームを撮影順の時間軸に沿ってフレーム補間を行い、補間フレームを生成するステップ。
ステップ３： 静止画フレームと補間フレームとを時間軸の方向に移動加算して、合成フレームを順次生成するステップ。
【発明の効果】
【００２２】
［１］
本発明の画像処理装置は、まず、静止画撮影された複数の静止画フレームを取り込む。次に、画像処理装置は、これら静止画フレーム間を時間軸方向に補間し、補間フレームを生成する。画像処理装置は、これらの「静止画フレームおよび補間フレーム」または「複数の補間フレームどうし」について時間軸の方向に移動加算を行うことにより、合成フレームを生成する。
これらの合成フレームは、補間処理によって撮影間隔を擬似的に短縮した画像（動き）が重畳されたものとなる。この重畳により合成フレームには疑似的な像流れが付加され、動きの乖離が小さくなる。その結果、これらの合成フレームは動画再生に使用することによって、滑らかな動画再生が可能になる。
【００２３】
［２］
ところで、静止画フレームの撮影時の電荷蓄積時間が長くなると、動体被写体の像流れが大きくなる。この静止画フレームの自然な像流れにより、動きのぎこちなさが軽減される。逆に、静止画フレームの電荷蓄積時間が短くなると、像流れが小さくなって、動きの飛躍が大きく、ぎこちなくなる。
そこで、本発明では、静止画フレームを撮影した際の電荷蓄積時間が短くなるに従って、合成フレームの高域空間周波数成分を抑制することが好ましい。この高域空間周波数成分の抑制により、合成フレームの擬似的な像流れが大きくなり、電荷蓄積時間の短縮に伴う動きのぎこちなさを改善することが可能になる。
【００２４】
［３］
また、撮影間隔が長くなると、フレーム間において動体被写体の位置が離れ、動きがぎこちなくなる。
そこで、本発明では、静止画フレームの撮影間隔が長くなるに従って、合成フレームの高域空間周波数成分を抑制することが好ましい。この高域空間周波数成分の抑制により、合成フレームの擬似的な像流れが大きくなり、撮影間隔の拡大に伴う動きのぎこちなさを改善することが可能になる。
【００２５】
［４］
一方、被写体の動きが速い場合、フレーム間において被写体位置が離れ、動きがぎこちなくなる。
そこで、本発明では、静止画フレーム間における画像の移動量（動き量）が大きいほど、合成フレームの高域空間周波数成分を抑制することが好ましい。この高域空間周波数成分の抑制により、合成フレームの擬似的な像流れが大きくなり、被写体の高速移動に伴う動きのぎこちなさを改善することが可能になる。
【００２６】
［５］
なお、画面内の被写体が小さく、かつ１箇所のみの動き検出では、その被写体の高速移動を検出できないおそれがある。
そこで、本発明では、画面内の複数箇所から動きを求め、その動きの内、最大の動き量を検出することが好ましい。この処理により、被写体の高速移動に伴う動きのぎこちなさを確実に改善することが可能になる。
【００２７】
［６］
また、動画表示の表示フレームレートが少なくなると、被写体の動きが飛び飛びになり、動きがぎこちなくなる。
そこで、本発明では、動画表示の表示フレームレートが少ないほど、合成フレームの高域空間周波数成分を抑制することが好ましい。この高域空間周波数成分の抑制により、合成フレームの擬似的な像流れが大きくなり、表示フレームレートの不足に伴う動きのぎこちなさを改善することが可能になる。
【００２８】
［７］
さらに、動画表示の表示倍率が大きくなるほど、被写体の動き幅も大きくなり、動きがぎこちなくなる。
そこで、本発明では、動画表示の表示ズーム倍率が大きくなるほど、合成フレームの高域空間周波数成分を抑制することが好ましい。この高域空間周波数成分の抑制により、合成フレームの擬似的な像流れが大きくなり、表示の倍率変化に伴う動きのぎこちなさを改善することが可能になる。
【００２９】
［８］
なお、合成フレームの高域空間周波数成分を抑制する手法としては、補間フレームのフレーム数を増やすことが好ましい。
この場合、合成フレームに擬似的に現れる像流れを滑らかなものにすることができる。
【００３０】
［９］
また、合成フレームの高域空間周波数成分を抑制する手法としては、移動加算するフレーム数を増やすことも好ましい。
この場合、合成フレームに擬似的に現れる像流れを大きくすることができる。
【００３１】
［１０］
さらに、本発明では、時間的に隣り合う合成フレームを生成する際に、静止画フレームまたは補間フレームを共通して用いることが好ましい。
このような処理により、合成フレーム間に残像が生まれ、動画表示の円滑さを高めることができる。
【００３２】
［１１］
また、本発明では、時間的に隣り合う合成フレームを生成する際に、共通して用いられる静止画フレーム、または補間フレームの数を増やすことが好ましい。この場合、合成フレームの高域空間周波数成分を抑制して動画表示の円滑さを高めることができる。
【００３３】
［１２］
また、本発明では、完成した動画を、動画像ファイルとして記録することが好ましい。
【発明を実施するための最良の形態】
【００３４】
《実施形態の構成説明》
図１は、本実施形態の電子カメラ１００（画像処理装置を含む）を示すブロック図である。
図１において、電子カメラ１００には、撮影レンズ２が装着される。この撮影レンズ２の通過光束は、絞り１３を介して、撮像素子１に被写体像を結像する。この撮像素子１は、駆動部３からの駆動パルスによって駆動されることにより、静止画フレームの画像データを出力する。
【００３５】
この画像データは、第１処理部４に入力され、直流再生、Ａ／Ｄ変換、ホワイトバランス、ガンマ変換、電子ズーム等の信号処理が施される。
第１処理部４から出力される画像データは、圧縮復号部５で画像圧縮処理が施され、圧縮データに変換される。この圧縮データは、撮像素子１の蓄積時間情報や撮影時刻などの付帯情報と共にまとめられ、静止画ファイルとして記録媒体６に逐次記録される。
【００３６】
この記録媒体６に記録された静止画ファイルは、圧縮復号部５によって復号化され、静止画フレームの画像データとして、第２処理部１１に与えられる。なお、第２処理部１１は、第１処理部４で処理済みの画像データを直に受け取ることもできる。
この第２処理部１１では、動作モードに応じて、再生用の画像処理を実施する。例えば、静止画動画撮像モードの設定状態において、第２処理部１１は、静止画フレームの画像データ群に対して、後述する動画加工モードの画像処理を施し、動画表示用の合成フレームを生成する。これらの合成フレームは、表示部１２に、動画として再生表示される。また、これらの合成フレームは、圧縮復号部５で画像圧縮された後、動画ファイルとして記録媒体６に記録される。
【００３７】
その他、電子カメラ１００には、制御部１０および操作部材８が設けられ、電子カメラ１００の設定操作やシステム制御などが実施される。
なお、表示部１２や記録媒体６を、電子カメラ１００の外部装置として別途設ける形態も可能である。この場合、表示部１２や記録媒体６は、ケーブル接続や無線インターフェースによって、電子カメラ１００と信号接続される。
【００３８】
《電子カメラ１００の撮像動作の説明》
図２は、電子カメラ１００における静止画動画撮像モードの動作フローチャートである。
以下、図２に示すステップ番号に沿って、静止画動画撮像モードの動作を説明する。
【００３９】
ステップＳ１： 制御部１０は、操作部材８（レリーズ釦）から撮影開始の操作を受け付けると、駆動部３に対して連写撮影を指示する。
【００４０】
ステップＳ２： 駆動部３は、撮像素子１に対して、静止画像としての鑑賞が可能なブレの少ない良質な静止画像を得るために、予め定められた電荷蓄積時間を与えるシャッタ制御を実施し、静止画フレームを生成する。ここでのシャッタ制御は、電子シャッタ制御、機械シャッタ制御のどちらでもよい。駆動部３は、この静止画フレームの生成動作を、第１処理部４内の処理バッファが溢れない撮影間隔で繰り返す。
これらの静止画フレームは、第１処理部４および圧縮復号部５を介して処理され、静止画像ファイルとして記録媒体６に順次記録される。これら静止画像ファイル内には、静止画フレームの圧縮データ、電荷蓄積時間、および撮影時刻などが格納される。
【００４１】
ステップＳ３： 第１処理部４は、連続撮影される静止画フレーム間においてフレーム間差分演算を実施し、このフレーム間差分演算の結果をもとに静止画フレーム間の画像動き量を検出する。
【００４２】
ステップＳ４： 制御部１０は、第１処理部４から取得する画像動き量が大きいほど、被写体ブレを防ぐために、次に撮像する静止画フレームの電荷蓄積時間の設定を短縮する。この処理により、ブレの少ない良質な静止画フレームを得ることができる。
なお、撮像素子１が、画素ごとに蓄積時間の制御が可能な場合には、動きが検出された撮像面上の部分領域に相当する画素に限って上記の処理を行ってもよい。
この場合には、動き領域の信号レベルが、動きの検出されない領域に比較して小さいものとなるので、これを補正するように動き領域のデータに対してレベル補正処理が行われる。
【００４３】
ステップＳ５： 制御部１０は、操作部材８（レリーズ釦）から連続撮影終了の操作を受け付けるまで、ステップＳ２に動作を戻し、静止画フレームの連続撮影を繰り返す。
一方、連続撮影終了の操作を受け付けると、制御部１０は、静止画動画撮影モードの動作を終了し、上記のようにして得られた静止画フレームデータから、動きの滑らかな動画像フレームデータを生成する動画加工モード（後述）に動作を移行する。
【００４４】
《動画加工モードの動作説明》
図３は、動画加工モードの動作フローチャートである。
以下、図３に示すステップ番号に沿って、第２処理部１１が主として実行する動画加工モードの動作について説明する。
【００４５】
ステップＳ１１： ユーザーは、電子カメラ１００のカスタム設定機能を利用して、表示部１２の動画表示の表示フレームレートを予め適宜に設定することができる。第２処理部１１は、この表示フレームレートの設定を、制御部１０を介して情報取得する。
表示部１２が電子カメラ１００の外部装置として別途設けられている場合には、制御部１０は表示部１２との接続ケーブルなどを介してこの情報を取得する。
【００４６】
ステップＳ１２： 制御部１０は、記録媒体６内の静止画像ファイル群（静止画動画撮像モードで撮影された一連のファイル群）を逐次に読み出し、圧縮復号部５に与える。圧縮復号部５は、この静止画像ファイル群を逐次に復号化し、複数の静止画フレームを第２処理部１１に順次出力する。
第２処理部１１は、この各々の静止画像フレームの撮影時刻をファイル内から読み出すことにより、静止画フレーム間の撮影間隔情報を取得する。
【００４７】
ステップＳ１３： ユーザーは、電子カメラ１００の操作部材８を操作することにより、表示部１２上の動画表示時の表示ズーム倍率を変更することができる。第２処理部１１は、この表示ズーム倍率の現時点の設定を、制御部１０から情報取得する。
なお、表示部１２が電子カメラ１００の外部装置として別途設けられている場合には、制御部１０は表示部１２との接続ケーブルなどを介してこの情報を取得することができる。
第２処理部１１は、この表示ズーム倍率に合わせて、静止画フレームに対して、ズーム処理（トリミングおよび解像度変換）を実施する。
【００４８】
ステップＳ１４： 第２処理部１１は、時間的に隣り合う静止画フレーム（以下、前フレーム、後フレームという）間において、ブロックマッチングを実施する。ここでは、前フレームを複数ブロックに分解し、個々のブロックとパターンが近い領域を後フレームから探索する。図４Ａは、この探索により求めたブロックごとの動きベクトルの一例を示す図である。
なお、このように求めた動きベクトルを、隣接ブロック間で平滑化して、動きベクトルの空間連続性を高めてもよい。また、平滑化後の動きベクトルの新たな終点近傍で探索を行うことにより、動きベクトルの精度を高めてもよい。
また、動きベクトルが大きく非連続変化しているブロックについては、そのブロックを更に分割して新たなブロックを生成し、これらブロックごとに動きベクトルを求めることが好ましい。
【００４９】
ステップＳ１５： 第２処理部１１は、ここまでに得た情報に基づいて、静止画フレーム間ごとに、下記のルールに従って、動きの乖離度（ぎこちなさ）ＡＷを総合評価する。
【００５０】
（１）電荷蓄積時間Ｔｃが短いほど、乖離度を大きくする。
（２）撮影間隔Ｔｉが長くなるほど、乖離度を大きくする。
（３）画面内の最大の動きベクトルの大きさＭmaxが大きいほど、乖離度を大きくする。
（４）表示フレームレートＤＦが少ないほど、乖離度を大きくする。
（５）表示ズーム倍率ＤＺが大きいほど、乖離度を大きくする。
例えば、下記の評価式を用いて、乖離度ＡＷを求めてもよい。
ＡＷ＝ｗ１（１／Ｔｃ）＋ｗ２・Ｔｉ＋ｗ３・|Ｍmax|＋ｗ４（１／ＤＦ）＋ｗ５・ＤＺ
・・・（式１）
ただし、ｗ１〜ｗ５は、各々、上記（１）〜（５）の各要因が動画表示の際の動きのぎこちなさに与える影響度を示す係数であり、動画表示のぎこちなさを主観評価した実験などから決定すればよい。
【００５１】
ステップＳ１６： 第２処理部１１は、乖離度ＡＷの大きな静止画フレーム間ほど、補間フレーム数および加算フレーム数を増やすように設定する。具体的には、乖離度ＡＷの増加に応じて、補間フレーム数および加算フレーム数を比例増加または単調増加させればよい。また、乖離度ＡＷの増加に応じて、補間フレーム数および加算フレーム数を段階的に増加させてもよい。
【００５２】
ステップＳ１７： 第２処理部１１は、ブロックマッチングによって得た局所的な動きベクトルをステップＳ１６で設定された補間フレーム数で内分し、ブロックごとに内分位置（図４Ｂに示すＰ１，Ｐ２）を求める。
図４Ｂは、静止画フレームＫとこれより時間的に後に隣接する静止画フレームＮの２フレームと静止画フレームＫ中の局所領域Ｆの動きベクトルＶの関係を立体的に示したものである。
ここでは、前述の補間フレーム数が２であり、補間フレームＬ，Ｍを生成する場合について考える。この例では、静止画フレームＫ内の領域Ｆは、これより時間的に後の静止画フレームＮにおいては領域ＦＮに移動している。この領域Ｆの移動の様子を示すのが動きベクトルＶである。
補間フレーム（Ｌ，Ｍ）は、静止画フレームＫと静止画フレームＮとの間に時間的に等間隔となるように生成される。
【００５３】
従って、補間フレームＬ，Ｍにおける局所領域Ｆの位置は、各々、図４Ｂに示される動きベクトルＶと補間フレームＬ，Ｍとの交点Ｐ１，Ｐ２となる。すなわち、Ｐ１，Ｐ２は、動きベクトルＶを補間フレームの数に応じて内分した内分位置に相当する
第２処理部１１は、前後の静止画フレームＫ，Ｎから、動きベクトルＶの始終点Ｆ，ＦＮに該当する局所領域をそれぞれ抽出して内分位置（例えばＰ１，Ｐ２）に移動し、内分比に従って加重加算する（図４Ｂ参照）。
【００５４】
例えば、図４Ｂの例では、内分点Ｐ１における局所領域の画像データは、静止画フレームＫ中の局所領域Ｆと静止画フレームＮ中の局所領域ＦＮを、補間フレームＬの内分点Ｐ１に移動して、両局所領域の画像データを、各々、内分比に応じた２／３倍，１／３倍の加重比率で加算することによって求める。同様に、内分点Ｐ２における局所領域の画像データは、静止画フレームＫ中の局所領域Ｆと静止画フレームＮ中の局所領域ＦＮを、補間フレームＭの内分点Ｐ２に移動して、両局所領域の画像データを、各々、内分比に応じた１／３倍，２／３倍の加重比率で加算することによって求める。
【００５５】
この加重加算をフレーム全域にわたって実施することにより、前後の静止画フレーム間の動きを擬似的に中割（なかわり）した補間フレームを生成することができる。
このようにして生成された補間フレームを静止画フレームとともに記録媒体６に記録する構成とすれば、例えば表示フレームレートの設定が変更されるなどして、乖離度ＡＷが変化した場合に補間フレーム生成処理を行うことなく、後述する合成フレームを生成することができる。
【００５６】
ステップＳ１８： 第２処理部１１は、ステップＳ１１で得られた表示フレームレート情報に従って、撮影によって取得した静止画フレームおよびステップＳ１７で生成された補間フレームの中から、表示の核とする表示フレームを等間隔で選択する。
図５に示す表示フレームＤは、このようにして選択された表示の核とする表示フレームである。
【００５７】
ステップＳ１９： 第２処理部１１は、選択された表示の核とする表示フレームに対して、時間的に前後する静止画フレームおよび／または補間フレームをステップＳ１６で求められた加算フレーム数だけ抽出した上で、時間軸の方向に移動加算し、合成フレームを生成する。
なお、合成フレームの生成に際して、表示の核とする表示フレームに移動加算しているフレームは、表示の核とする表示フレームに時間的に前後するフレームだけに限定されず、時間的に前のフレームのみを用いるものであっても、時間的に後のフレームのみを用いるものであってもよい。
【００５８】
また、この移動加算の重み比率は、表示の核とする表示フレームを大きくし、表示の核とする表示フレームから離れるに従って小さくすることが好ましい。
例えば、図４Ｂの例において、加算フレーム数が３であり、表示の核とする表示フレームがＭの場合、フレームＬ，Ｍ，Ｎの画像データを各々１／４，１／２，１／４の加重比率で加算して合成フレームを得る。ここで、加算フレーム数は、ステップＳ１６で、乖離度ＡＷが大きいほど大きく設定されている。
【００５９】
このとき、前後の合成フレームおいて加算フレームの範囲をオーバーラップさせることにより、合成フレーム間に動きの繋がりを持たせることが好ましい。
例えば、図４Ｂの例において、加算フレーム数が５であり、表示の核とするフレームとして静止画フレームＫ，Ｎが選択されたとき、フレームＫの加算に用いられる後フレームとして補間フレームＬ，Ｍが使用され、フレームＮの加算に用いられる前フレームとして補間フレームＬ，Ｍが使用される。このように時間的に隣接する合成フレームの生成にあたり、共通のフレーム（ここでは補間フレームＬ，Ｍ）が用いられる。
【００６０】
これは、合成フレームを表示する際に、時間的に隣接する合成フレーム間で、移動する被写体像の領域がオーバーラップしていることを意味する。このオーバーラップの量が大きいほど、動きが滑らかに見える。
換言すれば、乖離度ＡＷが大きいほど、上記のオーバーラップの量（時間的に隣接する合成フレームの生成にあたり、重複して用いられるフレーム数）を大きくすることがのぞましい。このオーバーラップ量（フレーム数）は、ステップＳ１６で乖離度ＡＷが大きいほど大きく設定されている。
図５に示す合成フレームＣは、このようにして生成される合成フレームである。
図５の例では、表示の核として選択された表示フレームＤに対して、前後各々２フレームの画像データを加算して合成フレームＣが生成される様子を示している。
【００６１】
ステップＳ２０： 第２処理部１１は、画面内の最大の動きベクトルの大きさ|Ｍmax|が、閾値αより大きいか否かを判定する。この閾値αは、動画の１コマにダイナミックな動線表現を付加するか否かを決定する閾値であり、動画表示の自然さや表現意図などの観点から決定される。
大きさ|Ｍmax|が閾値αより大きい場合、第２処理部１１はステップＳ２１に動作を移行する。
一方、大きさ|Ｍmax|が閾値α以下の場合、第２処理部１１はステップＳ２２に動作を移行する。
【００６２】
ステップＳ２１： 第２処理部１１は、合成フレームに対して、動きベクトルの大きさおよび方向に合わせた平滑化フィルタをかける。この合成フレーム内のフィルタ処理により、動きベクトルに応じた動線表現を合成フレームに付加することができる。
なお、この平滑化フィルタの代わりに、合成フレームを圧縮符号化する段階で高域成分を除去することで平滑化を実施してもよい。例えば、ＪＰＥＧ方式の圧縮であれば、高域のＤＣＴ係数を一律ゼロに置き換えたり、高域の量子化ステップを大きくすることにより、高域成分の除去が可能になる。
また、上述の例では、画面内の最大の動きベクトルの大きさ|Ｍmax|が所定の閾値αより大きい場合に、合成フレーム内のフィルタ処理を行う例について説明したが、最大の動きベクトル|Ｍmax|の大きさに応じて、連続的に合成フレーム内のフィルタ処理特性を変更するものであってもかまわない。
なお、この場合にも、最大の動きベクトルの大きさ|Ｍmax|が大きいほど、合成フレーム内のフィルタの高域遮断特性がより低域から遮断するようにフィルタ処理特性を変更する。
【００６３】
ステップＳ２２： 第２処理部１１は、完成した合成フレームの群を、不図示の表示バッファに貯めるなどして、表示部１２に動画表示する。
【００６４】
ステップＳ２３： 第２処理部１１は、完成した合成フレームの群を、圧縮復号部５に与える。圧縮復号部５は、この合成フレームの群を圧縮符号化して動画ファイルを生成し、記録媒体６に記録する。
以上の処理により、静止画フレーム間の動きの乖離度が大きいほど、合成フレームの高域空間周波数成分が抑制される。その結果、円滑な動画表示が可能な合成フレーム（動画ファイル）を生成することができる。
【００６５】
なお、本実施形態では、主として静止画フレームと補間フレームとを時間軸方向に移動加算して合成フレームを生成する例について説明した。しかしながら、複数の補間フレームどうしを時間軸方向に加算して合成フレームを生成してもよい。
【００６６】
《実施形態の補足事項》
なお、本実施形態では、静止画フレームを一旦記録し、後処理により合成フレーム（動画ファイル）を生成している。しかしながら、本発明はこれに限定されるものではない。例えば、第１処理部４から出力される静止画フレームを第２処理部１１に与えることにより、直に合成フレーム（動画ファイル）を生成してもよい。
【００６７】
また、本実施形態では、本発明を電子カメラ１００に採用するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。例えば、図３に示す処理動作をプログラム化して、コンピュータに実行させてもよい。
さらに、本実施形態の画像処理を、インターネット上のサーバーマシンなどで方法実施することにより、電子アルバム等の画像処理サービスとして提供することも可能になる。
【産業上の利用可能性】
【００６８】
以上説明したように、本発明は、画像処理装置などに利用可能な技術である。
【図面の簡単な説明】
【００６９】
【図１】本実施形態の電子カメラ１００を示すブロック図である。
【図２】電子カメラ１００における静止画動画撮像モードの動作フローチャートである。
【図３】動画加工モードの動作フローチャートである。
【図４】動きベクトルの検出と、補間フレームの生成動作とを説明する図である。
【図５】合成フレームの生成動作を説明する図である。
【符号の説明】
【００７０】
１ 撮像素子
２ 撮影レンズ
３ 駆動部
４ 第１処理部
５ 圧縮復号部
６ 記録媒体
８ 操作部材
１０ 制御部
１１ 第２処理部
１２ 表示部
１３ 絞り
１５ レンズ駆動回路
１００ 電子カメラ
【技術分野】
【０００１】
本発明は、複数の静止画を円滑に動画表示するための画像処理技術に関する。
【背景技術】
【０００２】
従来、電子カメラで撮影された複数フレームの静止画を、ユーザーによるコマ送り釦の操作によって、順次にコマ送り再生する技術が知られている（例えば、特許文献１）。
【特許文献１】特開平９−１１６８５２号公報（段落０００８など）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明者は、持続的に撮影された複数フレームの静止画を素材にして、良質な動画再生を実現することを考えた。このような機能が実現すれば、インターネット上の電子アルバムやホームページ上において、静止画として格納された画像を動画として公開することが可能になり、画像鑑賞の楽しみ方が一段と拡がる。
【０００４】
また、画像編集ソフトなどにおいて複数フレームからなる静止画を動画像として再生した場合、膨大な数の静止画を短時間に観ることができる。また、この動画再生により、膨大な数の静止画の中から所望の静止画を迅速に見つけ出すことも可能になる。
ところで、映画やテレビのような滑らかな動きを表示するためには、１秒間当たり１８〜３０フレーム程度の画像が必要になる。
【０００５】
一方、上述した電子カメラの静止画撮影では、比較的高速な連続撮影モードであっても、１秒間当たり２〜８フレーム程度の撮影間隔となる。このような撮影間隔の静止画を単純にコマ送り再生した場合、画像の動きがぎこちなく、良質な動画再生は困難であった。
また、仮に連続撮影モードにおける撮像のフレームレートが１秒あたり３０フレームとなったとしても、静止画としての鑑賞に適したブレのない（撮像素子の蓄積効果の少ない）静止画を単純にコマ送り再生した場合、画像の動きがぎこちなく良質な動画再生は困難であった。
【０００６】
そこで、本発明は、撮影間隔の粗い静止画や静止画としての鑑賞に適したブレの少ない静止画を素材にして、良質な動画再生を実現するための画像処理技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
《１》
本発明の画像処理装置は、静止画撮影された複数の静止画フレームからなる画像データを円滑に動画表示するための前処理を実施する画像処理装置であって、画像入力部、フレーム補間部、および合成部を備える。
【０００８】
画像入力部は、複数の静止画フレームを取り込む。
フレーム補間部は、複数の静止画フレームを撮影順の時間軸に沿ってフレーム補間を行い、補間フレームを生成する。
合成部は、「静止画フレームおよび補間フレーム」または「複数の補間フレームどうし」について時間軸の方向に移動加算を行い、合成フレームを生成する。
【０００９】
《２》
なお好ましくは、合成部は、静止画フレームを撮影した際の電荷蓄積時間が短くなるに従って、合成フレームの高域空間周波数成分を抑制することにより、動画表示の円滑さを高める。
【００１０】
《３》
また好ましくは、合成部は、静止画フレームの撮影間隔が長くなるに従って、合成フレームの高域空間周波数成分を抑制することにより、動画表示の円滑さを高める。
【００１１】
《４》
なお好ましくは、合成部は、静止画フレーム間における画像の移動量（動き量）が大きいほど、合成フレームの高域空間周波数成分を抑制することにより、動画表示の円滑さを高める。
【００１２】
《５》
また好ましくは、画面内の複数箇所から求めた動きの内、最大の動き量が大きいほど、合成フレームの高域空間周波数成分を抑制する。
【００１３】
《６》
なお好ましくは、合成部は、動画表示の表示フレームレートが少ないほど、合成フレームの高域空間周波数成分を抑制することにより、動画表示の円滑さを高める。
【００１４】
《７》
また好ましくは、動画表示の表示ズーム倍率が大きくなるほど、合成フレームの高域空間周波数成分を抑制することにより、動画表示の円滑さを高める。
【００１５】
《８》
なお好ましくは、合成部は、フレーム補間部が生成する補間フレームのフレーム数を増やすことにより、合成フレームの高域空間周波数成分を抑制して動画表示の円滑さを高める。
【００１６】
《９》
また好ましくは、合成部は、移動加算するフレーム数を増やすことにより、合成フレームの高域空間周波数成分を抑制して動画表示の円滑さを高める。
【００１７】
《１０》
なお好ましくは、合成部は、時間的に隣り合う合成フレームを生成する際に、静止画フレーム、または補間フレームを共通して用いることで、動画表示の円滑さを高める。
【００１８】
《１１》
また好ましくは、合成部は、時間的に隣り合う合成フレームを生成する際に、共通して用いられる静止画フレーム、または補間フレームの数を増やして、合成フレームの高域空間周波数成分を抑制することにより、動画表示の円滑さを高める。
【００１９】
《１２》
また好ましくは、合成部は、完成した動画を、動画像ファイルとして記録する記録部を備える。
【００２０】
《１３》
本発明の画像処理プログラムは、コンピュータを、上記《１》〜《１２》のいずれか１つの画像入力部、フレーム補間部、合成部として機能させることを特徴とする。
【００２１】
《１４》
本発明の画像処理方法は、静止画撮影された複数の静止画フレームからなる画像データを円滑に動画表示するための前処理を実施する画像処理方法である。この画像処理方法は、次のステップを実行する。
ステップ１： 複数の静止画フレームを取り込むステップ。
ステップ２： 複数の静止画フレームを撮影順の時間軸に沿ってフレーム補間を行い、補間フレームを生成するステップ。
ステップ３： 静止画フレームと補間フレームとを時間軸の方向に移動加算して、合成フレームを順次生成するステップ。
【発明の効果】
【００２２】
［１］
本発明の画像処理装置は、まず、静止画撮影された複数の静止画フレームを取り込む。次に、画像処理装置は、これら静止画フレーム間を時間軸方向に補間し、補間フレームを生成する。画像処理装置は、これらの「静止画フレームおよび補間フレーム」または「複数の補間フレームどうし」について時間軸の方向に移動加算を行うことにより、合成フレームを生成する。
これらの合成フレームは、補間処理によって撮影間隔を擬似的に短縮した画像（動き）が重畳されたものとなる。この重畳により合成フレームには疑似的な像流れが付加され、動きの乖離が小さくなる。その結果、これらの合成フレームは動画再生に使用することによって、滑らかな動画再生が可能になる。
【００２３】
［２］
ところで、静止画フレームの撮影時の電荷蓄積時間が長くなると、動体被写体の像流れが大きくなる。この静止画フレームの自然な像流れにより、動きのぎこちなさが軽減される。逆に、静止画フレームの電荷蓄積時間が短くなると、像流れが小さくなって、動きの飛躍が大きく、ぎこちなくなる。
そこで、本発明では、静止画フレームを撮影した際の電荷蓄積時間が短くなるに従って、合成フレームの高域空間周波数成分を抑制することが好ましい。この高域空間周波数成分の抑制により、合成フレームの擬似的な像流れが大きくなり、電荷蓄積時間の短縮に伴う動きのぎこちなさを改善することが可能になる。
【００２４】
［３］
また、撮影間隔が長くなると、フレーム間において動体被写体の位置が離れ、動きがぎこちなくなる。
そこで、本発明では、静止画フレームの撮影間隔が長くなるに従って、合成フレームの高域空間周波数成分を抑制することが好ましい。この高域空間周波数成分の抑制により、合成フレームの擬似的な像流れが大きくなり、撮影間隔の拡大に伴う動きのぎこちなさを改善することが可能になる。
【００２５】
［４］
一方、被写体の動きが速い場合、フレーム間において被写体位置が離れ、動きがぎこちなくなる。
そこで、本発明では、静止画フレーム間における画像の移動量（動き量）が大きいほど、合成フレームの高域空間周波数成分を抑制することが好ましい。この高域空間周波数成分の抑制により、合成フレームの擬似的な像流れが大きくなり、被写体の高速移動に伴う動きのぎこちなさを改善することが可能になる。
【００２６】
［５］
なお、画面内の被写体が小さく、かつ１箇所のみの動き検出では、その被写体の高速移動を検出できないおそれがある。
そこで、本発明では、画面内の複数箇所から動きを求め、その動きの内、最大の動き量を検出することが好ましい。この処理により、被写体の高速移動に伴う動きのぎこちなさを確実に改善することが可能になる。
【００２７】
［６］
また、動画表示の表示フレームレートが少なくなると、被写体の動きが飛び飛びになり、動きがぎこちなくなる。
そこで、本発明では、動画表示の表示フレームレートが少ないほど、合成フレームの高域空間周波数成分を抑制することが好ましい。この高域空間周波数成分の抑制により、合成フレームの擬似的な像流れが大きくなり、表示フレームレートの不足に伴う動きのぎこちなさを改善することが可能になる。
【００２８】
［７］
さらに、動画表示の表示倍率が大きくなるほど、被写体の動き幅も大きくなり、動きがぎこちなくなる。
そこで、本発明では、動画表示の表示ズーム倍率が大きくなるほど、合成フレームの高域空間周波数成分を抑制することが好ましい。この高域空間周波数成分の抑制により、合成フレームの擬似的な像流れが大きくなり、表示の倍率変化に伴う動きのぎこちなさを改善することが可能になる。
【００２９】
［８］
なお、合成フレームの高域空間周波数成分を抑制する手法としては、補間フレームのフレーム数を増やすことが好ましい。
この場合、合成フレームに擬似的に現れる像流れを滑らかなものにすることができる。
【００３０】
［９］
また、合成フレームの高域空間周波数成分を抑制する手法としては、移動加算するフレーム数を増やすことも好ましい。
この場合、合成フレームに擬似的に現れる像流れを大きくすることができる。
【００３１】
［１０］
さらに、本発明では、時間的に隣り合う合成フレームを生成する際に、静止画フレームまたは補間フレームを共通して用いることが好ましい。
このような処理により、合成フレーム間に残像が生まれ、動画表示の円滑さを高めることができる。
【００３２】
［１１］
また、本発明では、時間的に隣り合う合成フレームを生成する際に、共通して用いられる静止画フレーム、または補間フレームの数を増やすことが好ましい。この場合、合成フレームの高域空間周波数成分を抑制して動画表示の円滑さを高めることができる。
【００３３】
［１２］
また、本発明では、完成した動画を、動画像ファイルとして記録することが好ましい。
【発明を実施するための最良の形態】
【００３４】
《実施形態の構成説明》
図１は、本実施形態の電子カメラ１００（画像処理装置を含む）を示すブロック図である。
図１において、電子カメラ１００には、撮影レンズ２が装着される。この撮影レンズ２の通過光束は、絞り１３を介して、撮像素子１に被写体像を結像する。この撮像素子１は、駆動部３からの駆動パルスによって駆動されることにより、静止画フレームの画像データを出力する。
【００３５】
この画像データは、第１処理部４に入力され、直流再生、Ａ／Ｄ変換、ホワイトバランス、ガンマ変換、電子ズーム等の信号処理が施される。
第１処理部４から出力される画像データは、圧縮復号部５で画像圧縮処理が施され、圧縮データに変換される。この圧縮データは、撮像素子１の蓄積時間情報や撮影時刻などの付帯情報と共にまとめられ、静止画ファイルとして記録媒体６に逐次記録される。
【００３６】
この記録媒体６に記録された静止画ファイルは、圧縮復号部５によって復号化され、静止画フレームの画像データとして、第２処理部１１に与えられる。なお、第２処理部１１は、第１処理部４で処理済みの画像データを直に受け取ることもできる。
この第２処理部１１では、動作モードに応じて、再生用の画像処理を実施する。例えば、静止画動画撮像モードの設定状態において、第２処理部１１は、静止画フレームの画像データ群に対して、後述する動画加工モードの画像処理を施し、動画表示用の合成フレームを生成する。これらの合成フレームは、表示部１２に、動画として再生表示される。また、これらの合成フレームは、圧縮復号部５で画像圧縮された後、動画ファイルとして記録媒体６に記録される。
【００３７】
その他、電子カメラ１００には、制御部１０および操作部材８が設けられ、電子カメラ１００の設定操作やシステム制御などが実施される。
なお、表示部１２や記録媒体６を、電子カメラ１００の外部装置として別途設ける形態も可能である。この場合、表示部１２や記録媒体６は、ケーブル接続や無線インターフェースによって、電子カメラ１００と信号接続される。
【００３８】
《電子カメラ１００の撮像動作の説明》
図２は、電子カメラ１００における静止画動画撮像モードの動作フローチャートである。
以下、図２に示すステップ番号に沿って、静止画動画撮像モードの動作を説明する。
【００３９】
ステップＳ１： 制御部１０は、操作部材８（レリーズ釦）から撮影開始の操作を受け付けると、駆動部３に対して連写撮影を指示する。
【００４０】
ステップＳ２： 駆動部３は、撮像素子１に対して、静止画像としての鑑賞が可能なブレの少ない良質な静止画像を得るために、予め定められた電荷蓄積時間を与えるシャッタ制御を実施し、静止画フレームを生成する。ここでのシャッタ制御は、電子シャッタ制御、機械シャッタ制御のどちらでもよい。駆動部３は、この静止画フレームの生成動作を、第１処理部４内の処理バッファが溢れない撮影間隔で繰り返す。
これらの静止画フレームは、第１処理部４および圧縮復号部５を介して処理され、静止画像ファイルとして記録媒体６に順次記録される。これら静止画像ファイル内には、静止画フレームの圧縮データ、電荷蓄積時間、および撮影時刻などが格納される。
【００４１】
ステップＳ３： 第１処理部４は、連続撮影される静止画フレーム間においてフレーム間差分演算を実施し、このフレーム間差分演算の結果をもとに静止画フレーム間の画像動き量を検出する。
【００４２】
ステップＳ４： 制御部１０は、第１処理部４から取得する画像動き量が大きいほど、被写体ブレを防ぐために、次に撮像する静止画フレームの電荷蓄積時間の設定を短縮する。この処理により、ブレの少ない良質な静止画フレームを得ることができる。
なお、撮像素子１が、画素ごとに蓄積時間の制御が可能な場合には、動きが検出された撮像面上の部分領域に相当する画素に限って上記の処理を行ってもよい。
この場合には、動き領域の信号レベルが、動きの検出されない領域に比較して小さいものとなるので、これを補正するように動き領域のデータに対してレベル補正処理が行われる。
【００４３】
ステップＳ５： 制御部１０は、操作部材８（レリーズ釦）から連続撮影終了の操作を受け付けるまで、ステップＳ２に動作を戻し、静止画フレームの連続撮影を繰り返す。
一方、連続撮影終了の操作を受け付けると、制御部１０は、静止画動画撮影モードの動作を終了し、上記のようにして得られた静止画フレームデータから、動きの滑らかな動画像フレームデータを生成する動画加工モード（後述）に動作を移行する。
【００４４】
《動画加工モードの動作説明》
図３は、動画加工モードの動作フローチャートである。
以下、図３に示すステップ番号に沿って、第２処理部１１が主として実行する動画加工モードの動作について説明する。
【００４５】
ステップＳ１１： ユーザーは、電子カメラ１００のカスタム設定機能を利用して、表示部１２の動画表示の表示フレームレートを予め適宜に設定することができる。第２処理部１１は、この表示フレームレートの設定を、制御部１０を介して情報取得する。
表示部１２が電子カメラ１００の外部装置として別途設けられている場合には、制御部１０は表示部１２との接続ケーブルなどを介してこの情報を取得する。
【００４６】
ステップＳ１２： 制御部１０は、記録媒体６内の静止画像ファイル群（静止画動画撮像モードで撮影された一連のファイル群）を逐次に読み出し、圧縮復号部５に与える。圧縮復号部５は、この静止画像ファイル群を逐次に復号化し、複数の静止画フレームを第２処理部１１に順次出力する。
第２処理部１１は、この各々の静止画像フレームの撮影時刻をファイル内から読み出すことにより、静止画フレーム間の撮影間隔情報を取得する。
【００４７】
ステップＳ１３： ユーザーは、電子カメラ１００の操作部材８を操作することにより、表示部１２上の動画表示時の表示ズーム倍率を変更することができる。第２処理部１１は、この表示ズーム倍率の現時点の設定を、制御部１０から情報取得する。
なお、表示部１２が電子カメラ１００の外部装置として別途設けられている場合には、制御部１０は表示部１２との接続ケーブルなどを介してこの情報を取得することができる。
第２処理部１１は、この表示ズーム倍率に合わせて、静止画フレームに対して、ズーム処理（トリミングおよび解像度変換）を実施する。
【００４８】
ステップＳ１４： 第２処理部１１は、時間的に隣り合う静止画フレーム（以下、前フレーム、後フレームという）間において、ブロックマッチングを実施する。ここでは、前フレームを複数ブロックに分解し、個々のブロックとパターンが近い領域を後フレームから探索する。図４Ａは、この探索により求めたブロックごとの動きベクトルの一例を示す図である。
なお、このように求めた動きベクトルを、隣接ブロック間で平滑化して、動きベクトルの空間連続性を高めてもよい。また、平滑化後の動きベクトルの新たな終点近傍で探索を行うことにより、動きベクトルの精度を高めてもよい。
また、動きベクトルが大きく非連続変化しているブロックについては、そのブロックを更に分割して新たなブロックを生成し、これらブロックごとに動きベクトルを求めることが好ましい。
【００４９】
ステップＳ１５： 第２処理部１１は、ここまでに得た情報に基づいて、静止画フレーム間ごとに、下記のルールに従って、動きの乖離度（ぎこちなさ）ＡＷを総合評価する。
【００５０】
（１）電荷蓄積時間Ｔｃが短いほど、乖離度を大きくする。
（２）撮影間隔Ｔｉが長くなるほど、乖離度を大きくする。
（３）画面内の最大の動きベクトルの大きさＭmaxが大きいほど、乖離度を大きくする。
（４）表示フレームレートＤＦが少ないほど、乖離度を大きくする。
（５）表示ズーム倍率ＤＺが大きいほど、乖離度を大きくする。
例えば、下記の評価式を用いて、乖離度ＡＷを求めてもよい。
ＡＷ＝ｗ１（１／Ｔｃ）＋ｗ２・Ｔｉ＋ｗ３・|Ｍmax|＋ｗ４（１／ＤＦ）＋ｗ５・ＤＺ
・・・（式１）
ただし、ｗ１〜ｗ５は、各々、上記（１）〜（５）の各要因が動画表示の際の動きのぎこちなさに与える影響度を示す係数であり、動画表示のぎこちなさを主観評価した実験などから決定すればよい。
【００５１】
ステップＳ１６： 第２処理部１１は、乖離度ＡＷの大きな静止画フレーム間ほど、補間フレーム数および加算フレーム数を増やすように設定する。具体的には、乖離度ＡＷの増加に応じて、補間フレーム数および加算フレーム数を比例増加または単調増加させればよい。また、乖離度ＡＷの増加に応じて、補間フレーム数および加算フレーム数を段階的に増加させてもよい。
【００５２】
ステップＳ１７： 第２処理部１１は、ブロックマッチングによって得た局所的な動きベクトルをステップＳ１６で設定された補間フレーム数で内分し、ブロックごとに内分位置（図４Ｂに示すＰ１，Ｐ２）を求める。
図４Ｂは、静止画フレームＫとこれより時間的に後に隣接する静止画フレームＮの２フレームと静止画フレームＫ中の局所領域Ｆの動きベクトルＶの関係を立体的に示したものである。
ここでは、前述の補間フレーム数が２であり、補間フレームＬ，Ｍを生成する場合について考える。この例では、静止画フレームＫ内の領域Ｆは、これより時間的に後の静止画フレームＮにおいては領域ＦＮに移動している。この領域Ｆの移動の様子を示すのが動きベクトルＶである。
補間フレーム（Ｌ，Ｍ）は、静止画フレームＫと静止画フレームＮとの間に時間的に等間隔となるように生成される。
【００５３】
従って、補間フレームＬ，Ｍにおける局所領域Ｆの位置は、各々、図４Ｂに示される動きベクトルＶと補間フレームＬ，Ｍとの交点Ｐ１，Ｐ２となる。すなわち、Ｐ１，Ｐ２は、動きベクトルＶを補間フレームの数に応じて内分した内分位置に相当する
第２処理部１１は、前後の静止画フレームＫ，Ｎから、動きベクトルＶの始終点Ｆ，ＦＮに該当する局所領域をそれぞれ抽出して内分位置（例えばＰ１，Ｐ２）に移動し、内分比に従って加重加算する（図４Ｂ参照）。
【００５４】
例えば、図４Ｂの例では、内分点Ｐ１における局所領域の画像データは、静止画フレームＫ中の局所領域Ｆと静止画フレームＮ中の局所領域ＦＮを、補間フレームＬの内分点Ｐ１に移動して、両局所領域の画像データを、各々、内分比に応じた２／３倍，１／３倍の加重比率で加算することによって求める。同様に、内分点Ｐ２における局所領域の画像データは、静止画フレームＫ中の局所領域Ｆと静止画フレームＮ中の局所領域ＦＮを、補間フレームＭの内分点Ｐ２に移動して、両局所領域の画像データを、各々、内分比に応じた１／３倍，２／３倍の加重比率で加算することによって求める。
【００５５】
この加重加算をフレーム全域にわたって実施することにより、前後の静止画フレーム間の動きを擬似的に中割（なかわり）した補間フレームを生成することができる。
このようにして生成された補間フレームを静止画フレームとともに記録媒体６に記録する構成とすれば、例えば表示フレームレートの設定が変更されるなどして、乖離度ＡＷが変化した場合に補間フレーム生成処理を行うことなく、後述する合成フレームを生成することができる。
【００５６】
ステップＳ１８： 第２処理部１１は、ステップＳ１１で得られた表示フレームレート情報に従って、撮影によって取得した静止画フレームおよびステップＳ１７で生成された補間フレームの中から、表示の核とする表示フレームを等間隔で選択する。
図５に示す表示フレームＤは、このようにして選択された表示の核とする表示フレームである。
【００５７】
ステップＳ１９： 第２処理部１１は、選択された表示の核とする表示フレームに対して、時間的に前後する静止画フレームおよび／または補間フレームをステップＳ１６で求められた加算フレーム数だけ抽出した上で、時間軸の方向に移動加算し、合成フレームを生成する。
なお、合成フレームの生成に際して、表示の核とする表示フレームに移動加算しているフレームは、表示の核とする表示フレームに時間的に前後するフレームだけに限定されず、時間的に前のフレームのみを用いるものであっても、時間的に後のフレームのみを用いるものであってもよい。
【００５８】
また、この移動加算の重み比率は、表示の核とする表示フレームを大きくし、表示の核とする表示フレームから離れるに従って小さくすることが好ましい。
例えば、図４Ｂの例において、加算フレーム数が３であり、表示の核とする表示フレームがＭの場合、フレームＬ，Ｍ，Ｎの画像データを各々１／４，１／２，１／４の加重比率で加算して合成フレームを得る。ここで、加算フレーム数は、ステップＳ１６で、乖離度ＡＷが大きいほど大きく設定されている。
【００５９】
このとき、前後の合成フレームおいて加算フレームの範囲をオーバーラップさせることにより、合成フレーム間に動きの繋がりを持たせることが好ましい。
例えば、図４Ｂの例において、加算フレーム数が５であり、表示の核とするフレームとして静止画フレームＫ，Ｎが選択されたとき、フレームＫの加算に用いられる後フレームとして補間フレームＬ，Ｍが使用され、フレームＮの加算に用いられる前フレームとして補間フレームＬ，Ｍが使用される。このように時間的に隣接する合成フレームの生成にあたり、共通のフレーム（ここでは補間フレームＬ，Ｍ）が用いられる。
【００６０】
これは、合成フレームを表示する際に、時間的に隣接する合成フレーム間で、移動する被写体像の領域がオーバーラップしていることを意味する。このオーバーラップの量が大きいほど、動きが滑らかに見える。
換言すれば、乖離度ＡＷが大きいほど、上記のオーバーラップの量（時間的に隣接する合成フレームの生成にあたり、重複して用いられるフレーム数）を大きくすることがのぞましい。このオーバーラップ量（フレーム数）は、ステップＳ１６で乖離度ＡＷが大きいほど大きく設定されている。
図５に示す合成フレームＣは、このようにして生成される合成フレームである。
図５の例では、表示の核として選択された表示フレームＤに対して、前後各々２フレームの画像データを加算して合成フレームＣが生成される様子を示している。
【００６１】
ステップＳ２０： 第２処理部１１は、画面内の最大の動きベクトルの大きさ|Ｍmax|が、閾値αより大きいか否かを判定する。この閾値αは、動画の１コマにダイナミックな動線表現を付加するか否かを決定する閾値であり、動画表示の自然さや表現意図などの観点から決定される。
大きさ|Ｍmax|が閾値αより大きい場合、第２処理部１１はステップＳ２１に動作を移行する。
一方、大きさ|Ｍmax|が閾値α以下の場合、第２処理部１１はステップＳ２２に動作を移行する。
【００６２】
ステップＳ２１： 第２処理部１１は、合成フレームに対して、動きベクトルの大きさおよび方向に合わせた平滑化フィルタをかける。この合成フレーム内のフィルタ処理により、動きベクトルに応じた動線表現を合成フレームに付加することができる。
なお、この平滑化フィルタの代わりに、合成フレームを圧縮符号化する段階で高域成分を除去することで平滑化を実施してもよい。例えば、ＪＰＥＧ方式の圧縮であれば、高域のＤＣＴ係数を一律ゼロに置き換えたり、高域の量子化ステップを大きくすることにより、高域成分の除去が可能になる。
また、上述の例では、画面内の最大の動きベクトルの大きさ|Ｍmax|が所定の閾値αより大きい場合に、合成フレーム内のフィルタ処理を行う例について説明したが、最大の動きベクトル|Ｍmax|の大きさに応じて、連続的に合成フレーム内のフィルタ処理特性を変更するものであってもかまわない。
なお、この場合にも、最大の動きベクトルの大きさ|Ｍmax|が大きいほど、合成フレーム内のフィルタの高域遮断特性がより低域から遮断するようにフィルタ処理特性を変更する。
【００６３】
ステップＳ２２： 第２処理部１１は、完成した合成フレームの群を、不図示の表示バッファに貯めるなどして、表示部１２に動画表示する。
【００６４】
ステップＳ２３： 第２処理部１１は、完成した合成フレームの群を、圧縮復号部５に与える。圧縮復号部５は、この合成フレームの群を圧縮符号化して動画ファイルを生成し、記録媒体６に記録する。
以上の処理により、静止画フレーム間の動きの乖離度が大きいほど、合成フレームの高域空間周波数成分が抑制される。その結果、円滑な動画表示が可能な合成フレーム（動画ファイル）を生成することができる。
【００６５】
なお、本実施形態では、主として静止画フレームと補間フレームとを時間軸方向に移動加算して合成フレームを生成する例について説明した。しかしながら、複数の補間フレームどうしを時間軸方向に加算して合成フレームを生成してもよい。
【００６６】
《実施形態の補足事項》
なお、本実施形態では、静止画フレームを一旦記録し、後処理により合成フレーム（動画ファイル）を生成している。しかしながら、本発明はこれに限定されるものではない。例えば、第１処理部４から出力される静止画フレームを第２処理部１１に与えることにより、直に合成フレーム（動画ファイル）を生成してもよい。
【００６７】
また、本実施形態では、本発明を電子カメラ１００に採用するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。例えば、図３に示す処理動作をプログラム化して、コンピュータに実行させてもよい。
さらに、本実施形態の画像処理を、インターネット上のサーバーマシンなどで方法実施することにより、電子アルバム等の画像処理サービスとして提供することも可能になる。
【産業上の利用可能性】
【００６８】
以上説明したように、本発明は、画像処理装置などに利用可能な技術である。
【図面の簡単な説明】
【００６９】
【図１】本実施形態の電子カメラ１００を示すブロック図である。
【図２】電子カメラ１００における静止画動画撮像モードの動作フローチャートである。
【図３】動画加工モードの動作フローチャートである。
【図４】動きベクトルの検出と、補間フレームの生成動作とを説明する図である。
【図５】合成フレームの生成動作を説明する図である。
【符号の説明】
【００７０】
１ 撮像素子
２ 撮影レンズ
３ 駆動部
４ 第１処理部
５ 圧縮復号部
６ 記録媒体
８ 操作部材
１０ 制御部
１１ 第２処理部
１２ 表示部
１３ 絞り
１５ レンズ駆動回路
１００ 電子カメラ
【特許請求の範囲】
【請求項１】
静止画撮影された複数の静止画フレームからなる画像データを円滑に動画表示するための前処理を実施する画像処理装置であって、
複数の前記静止画フレームを取り込む画像入力部と、
複数の前記静止画フレームを撮影順の時間軸に沿ってフレーム補間を行い、補間フレームを生成するフレーム補間部と、
「前記静止画フレームおよび前記補間フレーム」または「複数の前記補間フレームどうし」について前記時間軸の方向に移動加算を行い、合成フレームを生成する合成部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記合成部は、
前記静止画フレームを撮影した際の電荷蓄積時間が短くなるに従って、前記合成フレームの高域空間周波数成分を抑制することにより、前記動画表示の円滑さを高める
ことを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記合成部は、
前記静止画フレームの撮影間隔が長くなるに従って、前記合成フレームの高域空間周波数成分を抑制することにより、前記動画表示の円滑さを高める
ことを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置において、
前記合成部は、
前記静止画フレーム間における画像の移動量（動き量）が大きいほど、前記合成フレームの高域空間周波数成分を抑制することにより、前記動画表示の円滑さを高める
ことを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
画面内の複数箇所から求めた動きの内、最大の動き量が大きいほど、前記合成フレームの高域空間周波数成分を抑制する
ことを特徴とする画像処理装置。
【請求項６】
請求項１に記載の画像処理装置において、
前記合成部は、
前記動画表示の表示フレームレートが少ないほど、前記合成フレームの高域空間周波数成分を抑制することにより、前記動画表示の円滑さを高める
ことを特徴とする画像処理装置。
【請求項７】
請求項１に記載の画像処理装置において、
前記動画表示の表示ズーム倍率が大きくなるほど、前記合成フレームの高域空間周波数成分を抑制することにより、前記動画表示の円滑さを高める
ことを特徴とする画像処理装置。
【請求項８】
請求項２ないし請求項７のいずれか１項に記載の画像処理装置において、
前記合成部は、
前記フレーム補間部が生成する前記補間フレームのフレーム数を増やして、前記合成フレームの高域空間周波数成分を抑制することにより、前記動画表示の円滑さを高める
ことを特徴とする画像処理装置。
【請求項９】
請求項２ないし請求項７のいずれか１項に記載の画像処理装置において、
前記合成部は、
移動加算するフレーム数を増やして、前記合成フレームの高域空間周波数成分を抑制することにより、前記動画表示の円滑さを高める
ことを特徴とする画像処理装置。
【請求項１０】
請求項１ないし請求項９のいずれか１項に記載の画像処理装置において、
前記合成部は、
時間的に隣り合う前記合成フレームを生成する際に、前記静止画フレームまたは前記補間フレームを共通して用いることで、前記動画表示の円滑さを高める
ことを特徴とする画像処理装置。
【請求項１１】
請求項１０に記載の画像処理装置において、
前記合成部は、
時間的に隣り合う合成フレームを生成する際に、共通して用いられる静止画フレーム、または補間フレームの数を増やして、合成フレームの高域空間周波数成分を抑制することにより、動画表示の円滑さを高める
ことを特徴とする画像処理装置。
【請求項１２】
請求項１ないし請求項１１のいずれか１項に記載の画像処理装置において、
前記合成部は、
完成した前記動画を、動画像ファイルとして記録する記録部を備える
ことを特徴とする画像処理装置。
【請求項１３】
コンピュータを、請求項１ないし請求項１２のいずれか１項に記載の前記画像入力部、前記フレーム補間部、前記合成部として機能させるための画像処理プログラム。
【請求項１４】
静止画撮影された複数の静止画フレームからなる画像データを円滑に動画表示するための前処理を実施する画像処理方法であって、
複数の前記静止画フレームを取り込むステップと、
複数の前記静止画フレームを撮影順の時間軸に沿ってフレーム補間を行い、補間フレームを生成するステップと、
前記静止画フレームと前記補間フレームとを前記時間軸の方向に移動加算して、合成フレームを順次生成するステップと
を備えたことを特徴とする画像処理方法。
【請求項１】
静止画撮影された複数の静止画フレームからなる画像データを円滑に動画表示するための前処理を実施する画像処理装置であって、
複数の前記静止画フレームを取り込む画像入力部と、
複数の前記静止画フレームを撮影順の時間軸に沿ってフレーム補間を行い、補間フレームを生成するフレーム補間部と、
「前記静止画フレームおよび前記補間フレーム」または「複数の前記補間フレームどうし」について前記時間軸の方向に移動加算を行い、合成フレームを生成する合成部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記合成部は、
前記静止画フレームを撮影した際の電荷蓄積時間が短くなるに従って、前記合成フレームの高域空間周波数成分を抑制することにより、前記動画表示の円滑さを高める
ことを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記合成部は、
前記静止画フレームの撮影間隔が長くなるに従って、前記合成フレームの高域空間周波数成分を抑制することにより、前記動画表示の円滑さを高める
ことを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置において、
前記合成部は、
前記静止画フレーム間における画像の移動量（動き量）が大きいほど、前記合成フレームの高域空間周波数成分を抑制することにより、前記動画表示の円滑さを高める
ことを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
画面内の複数箇所から求めた動きの内、最大の動き量が大きいほど、前記合成フレームの高域空間周波数成分を抑制する
ことを特徴とする画像処理装置。
【請求項６】
請求項１に記載の画像処理装置において、
前記合成部は、
前記動画表示の表示フレームレートが少ないほど、前記合成フレームの高域空間周波数成分を抑制することにより、前記動画表示の円滑さを高める
ことを特徴とする画像処理装置。
【請求項７】
請求項１に記載の画像処理装置において、
前記動画表示の表示ズーム倍率が大きくなるほど、前記合成フレームの高域空間周波数成分を抑制することにより、前記動画表示の円滑さを高める
ことを特徴とする画像処理装置。
【請求項８】
請求項２ないし請求項７のいずれか１項に記載の画像処理装置において、
前記合成部は、
前記フレーム補間部が生成する前記補間フレームのフレーム数を増やして、前記合成フレームの高域空間周波数成分を抑制することにより、前記動画表示の円滑さを高める
ことを特徴とする画像処理装置。
【請求項９】
請求項２ないし請求項７のいずれか１項に記載の画像処理装置において、
前記合成部は、
移動加算するフレーム数を増やして、前記合成フレームの高域空間周波数成分を抑制することにより、前記動画表示の円滑さを高める
ことを特徴とする画像処理装置。
【請求項１０】
請求項１ないし請求項９のいずれか１項に記載の画像処理装置において、
前記合成部は、
時間的に隣り合う前記合成フレームを生成する際に、前記静止画フレームまたは前記補間フレームを共通して用いることで、前記動画表示の円滑さを高める
ことを特徴とする画像処理装置。
【請求項１１】
請求項１０に記載の画像処理装置において、
前記合成部は、
時間的に隣り合う合成フレームを生成する際に、共通して用いられる静止画フレーム、または補間フレームの数を増やして、合成フレームの高域空間周波数成分を抑制することにより、動画表示の円滑さを高める
ことを特徴とする画像処理装置。
【請求項１２】
請求項１ないし請求項１１のいずれか１項に記載の画像処理装置において、
前記合成部は、
完成した前記動画を、動画像ファイルとして記録する記録部を備える
ことを特徴とする画像処理装置。
【請求項１３】
コンピュータを、請求項１ないし請求項１２のいずれか１項に記載の前記画像入力部、前記フレーム補間部、前記合成部として機能させるための画像処理プログラム。
【請求項１４】
静止画撮影された複数の静止画フレームからなる画像データを円滑に動画表示するための前処理を実施する画像処理方法であって、
複数の前記静止画フレームを取り込むステップと、
複数の前記静止画フレームを撮影順の時間軸に沿ってフレーム補間を行い、補間フレームを生成するステップと、
前記静止画フレームと前記補間フレームとを前記時間軸の方向に移動加算して、合成フレームを順次生成するステップと
を備えたことを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００６−９４０５８（Ｐ２００６−９４０５８Ａ）
【公開日】平成１８年４月６日（２００６．４．６）
【国際特許分類】
【出願番号】特願２００４−２７６０６３（Ｐ２００４−２７６０６３）
【出願日】平成１６年９月２２日（２００４．９．２２）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成１８年４月６日（２００６．４．６）
【国際特許分類】
【出願日】平成１６年９月２２日（２００４．９．２２）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]