画像処理装置、動画生成方法、および、プログラム
【課題】より娯楽性や実用性のある画像表現を実現する。
【解決手段】動画データ取得部２１１は、撮像部１００の撮像動作によって、一連の動画シーケンスが記録された動画像データを取得すると、画像選択合成部２１２は、当該動画像データを構成しているフレーム画像を画像メモリ２３０のバッファ領域に時系列に展開する。画像選択合成部２１２は、展開したフレーム画像のうち、動画シーケンス上での記録タイミングが異なる２以上のフレーム画像を選択し、複数の表示枠のそれぞれに割り当てて合成する。動画データ生成部２１３は、合成された画像をフレーム画像とした動画像データを生成する。動画再生部２１４は、動画データ生成部２１３が生成した動画像データを再生し、再生中に表示枠が選択されることで、早送りや早戻しなどの画面遷移や静止画像の記録などをおこなう。
【解決手段】動画データ取得部２１１は、撮像部１００の撮像動作によって、一連の動画シーケンスが記録された動画像データを取得すると、画像選択合成部２１２は、当該動画像データを構成しているフレーム画像を画像メモリ２３０のバッファ領域に時系列に展開する。画像選択合成部２１２は、展開したフレーム画像のうち、動画シーケンス上での記録タイミングが異なる２以上のフレーム画像を選択し、複数の表示枠のそれぞれに割り当てて合成する。動画データ生成部２１３は、合成された画像をフレーム画像とした動画像データを生成する。動画再生部２１４は、動画データ生成部２１３が生成した動画像データを再生し、再生中に表示枠が選択されることで、早送りや早戻しなどの画面遷移や静止画像の記録などをおこなう。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、動画生成方法、および、プログラムに関し、特に、多様な画像表現に好適な画像処理装置、動画生成方法、および、プログラムに関する。
【背景技術】
【０００２】
スチルカメラやビデオカメラのデジタル化によって、撮像画像の加工が容易におこなえるようになり、多様な画像表現が可能となっている。この結果、娯楽性や実用性のある画像表現をおこなえることが、デジタルカメラなどの撮像装置における重要な付加価値となっている。
【０００３】
例えば、特許文献１には、動画再生時に早送りや逆早送りをおこなっている場合に、より容易に所望する位置から通常再生できるよう、親画面に表示されている動画とは時間差のある動画を子画面に表示する技術が開示されている。このような技術は、デジタル化によってもたらされた加工容易性により実現されたものであり、動画再生時の実用性向上に寄与している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３２４８５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、デジタル画像データの利点を活用して、より娯楽性や実用性のある画像表現を実現することのできる画像処理装置、動画生成方法、および、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の第１の観点にかかる画像処理装置は、
一連の動画シーケンスが記録された動画像データを取得する動画像データ取得手段と、
前記動画像データ取得手段が取得した動画像データを構成しているフレーム画像を、前記動画シーケンス上の時系列で展開してバッファするバッファ手段と、
前記バッファ手段が展開したフレーム画像から、前記動画シーケンス上での記録タイミングが異なる２以上のフレーム画像を選択する画像選択手段と、
複数の表示枠を有する表示画面を生成し、前記画像選択手段が選択した複数のフレーム画像のそれぞれを、前記表示枠のそれぞれに割り当てて合成する画像合成手段と、
前記画像合成手段によって合成された表示画面をフレーム画像とした動画像データを生成する動画生成手段と、
少なくとも、前記画像合成手段が生成した表示画面毎の識別情報と、該表示画面の表示枠それぞれを示す識別情報と、該表示枠に割り当てたフレーム画像を示す識別情報と、前記動画シーケンス上での時系列を示す時系列情報と、を対応づけた対応情報を生成し、前記動画生成手段が生成した動画像データとともに記録する対応情報記録手段と、
を備えることを特徴とする。
【０００７】
上記画像処理装置において、
前記画像選択手段は、前記バッファ手段が展開したフレーム画像の時系列に基づいて、所定の時間差で記録されたフレーム画像を複数選択することが望ましい。
【０００８】
上記画像処理装置において、
前記画像合成手段は、前記画像選択手段が選択したフレーム画像のうち、基準となる記録タイミングを起点としたシーケンスを構成するフレーム画像が割り当てられる少なくとも一の主表示枠と、該主表示枠に割り当てられたフレーム画像とは記録タイミングの異なるフレーム画像が割り当てられる１以上の副表示枠と、を有する表示画面を生成することが望ましい。
【０００９】
上記画像処理装置は、
前記動画生成手段が生成した動画像データを再生し、前記表示画面の副表示枠が選択可能となるよう表示装置に表示出力する再生手段をさらに備えていることが望ましく、この場合、
該再生手段は、表示出力する表示画面上で副表示枠が選択された場合、前記対応情報に基づいて、選択された副表示枠に割り当てられているフレーム画像が前記主表示枠に割り当てられている表示画面を特定し、該特定した表示画面から再生されるよう表示出力することが望ましい。
【００１０】
上記画像処理装置は、
前記動画生成手段が生成した動画像データを再生し、前記表示画面の副表示枠が選択可能となるよう表示装置に表示出力する再生手段をさらに備えていることが望ましく、この場合、
該再生手段は、表示出力する表示画面上で副表示枠が選択された場合、前記対応情報に基づいて、選択された副表示枠に割り当てられているフレーム画像が前記主表示枠に割り当てられている表示画面を特定し、該特定した表示画面の前記主表示枠に割り当てられているフレーム画像を記録することが望ましい。
【００１１】
上記画像処理装置において、
前記動画像データ取得手段は、
撮像動作によって一連の動画シーケンスを記録して前記動画像データを生成する撮像手段をさらに備えていてもよい。
【００１２】
上記目的を達成するため、本発明の第２の観点にかかる動画生成方法は、
一連の動画シーケンスが記録された動画像データを取得する動画像データ取得ステップと、
前記動画像データ取得ステップで取得された動画像データを構成しているフレーム画像を、前記動画シーケンス上の時系列で展開してバッファするバッファステップと、
前記バッファステップで展開されたフレーム画像から、前記動画シーケンス上での記録タイミングが異なる２以上のフレーム画像を選択する画像選択ステップと、
複数の表示枠を有する表示画面を生成し、前記画像選択ステップで選択された複数のフレーム画像のそれぞれを、前記表示枠のそれぞれに割り当てて合成する画像合成ステップと、
前記画像合成ステップで合成された表示画面をフレーム画像とした動画像データを生成する動画生成ステップと、
少なくとも、前記画像合成ステップで生成された表示画面毎の識別情報と、該表示画面の表示枠それぞれを示す識別情報と、該表示枠に割り当てたフレーム画像を示す識別情報と、前記動画シーケンス上での時系列を示す時系列情報と、を対応づけた対応情報を生成し、前記動画生成ステップで生成された動画像データとともに記録する画像情報記録ステップと、
を含むことを特徴とする。
【００１３】
上記目的を達成するため、本発明の第３の観点にかかるプログラムは、
コンピュータに、
一連の動画シーケンスが記録された動画像データを取得する機能と、
取得した動画像データを構成しているフレーム画像を、前記動画シーケンス上の時系列で展開してバッファする機能と、
展開されたフレーム画像から、前記動画シーケンス上での記録タイミングが異なる２以上のフレーム画像を選択する機能と、
複数の表示枠を有する表示画面を生成し、前記選択された複数のフレーム画像のそれぞれを、前記表示枠のそれぞれに割り当てて合成する機能と、
合成された表示画面をフレーム画像とした動画像データを生成する機能と、
少なくとも、生成した表示画面毎の識別情報と、該表示画面の表示枠それぞれを示す識別情報と、該表示枠に割り当てたフレーム画像を示す識別情報と、前記動画シーケンス上での時系列を示す時系列情報と、を対応づけた対応情報を生成し、前記生成した動画像データとともに記録する機能と、
を実現させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、より娯楽性や実用性のある画像表現を実現することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態にかかるデジタルカメラの構成を示すブロック図である。
【図２】図１に示す制御部によって実現される機能を示す機能ブロック図である。
【図３】本発明の実施形態にかかる第２のフレーム画像の構成例を説明するための図である。
【図４】図１に示す制御部によって生成される対応情報の例を示す図である。
【図５】本発明の実施形態１にかかる「多元同時再生用データ生成処理」を説明するためのフローチャートである。
【図６】本発明の実施形態２にかかる「多元同時再生処理」を説明するためのフローチャートである。
【図７】図６に示す「多元同時再生処理」での再生画面の例を示す図であり、（ａ）は、再生開始時に表示される画面の例を示し、（ｂ）および（ｃ）は、２フレーム以降が再生されている際の画面変化の例を示す。
【図８】図６に示す「多元同時再生処理」での再生画面の例を示す図であり、（ａ）は、副表示枠が選択された際の画面の例を示し、（ｂ）は、選択された副表示枠に基づいた画面遷移後の表示例を示す。
【発明を実施するための形態】
【００１６】
本発明にかかる実施形態を、図面を参照して以下に説明する。本実施形態では、本発明をデジタルカメラによって実現した場合を例示する。本実施形態にかかるデジタルカメラ１は、少なくとも、動画撮像機能を有しているものとする。すなわち、本実施形態にかかるデジタルカメラ１は、動画撮像を主機能とするデジタルビデオカメラによって実現可能であることはもとより、動画撮像機能を有するデジタルスチルカメラによって実現することもできる。
【００１７】
図１は、本発明の実施形態にかかるデジタルカメラ１の構成を示すブロック図である。本実施形態にかかるデジタルカメラ１の概略的構成は、図示するように、撮像部１００、データ処理部２００、Ｉ／Ｆ（インタフェース）部３００、などである。
【００１８】
撮像部１００は、デジタルカメラ１の撮像動作をおこなう部分であり、図示するように、光学装置１１０、光学駆動部１２０、イメージセンサ１３０、などから構成される。
【００１９】
光学装置１１０は、レンズや絞り機構などといった撮像にかかる光学部材から構成され、例えば、モータやアクチュエータ、駆動回路（ドライバ）などから構成された光学駆動部１２０によって駆動制御される。すなわち、光学駆動部１２０によって駆動制御された光学装置１１０の動作により、入射光が集光されるとともに、焦点距離や絞りなどといった、画角やピント、露出などにかかる光学的要素の調整がなされる。光学装置１１０によって集光された入射光は、イメージセンサ１３０上に結像される。
【００２０】
イメージセンサ１３０は、光学装置１１０によって結像された被写体像を示す電気信号を生成する固体撮像素子（例えば、ＣＣＤ（Charge Coupled Device：電荷結合素子）やＣＭＯＳ（Complementally Metal Oxide Semiconductor：相補型金属酸化物半導体）など）であり、画素に対応する受光素子（フォトダイオードなど）での露光に応じた電荷を発生させる光電変換をおこなうことで、被写体像を示す電気信号を生成する。
【００２１】
データ処理部２００は、撮像部１００による撮像動作によって生成された電気信号を処理し、撮像画像を示すデジタルデータを生成するとともに、撮像画像に対する画像処理などをおこなう。図１に示すように、データ処理部２００は、制御部２１０、アナログフロントエンド（ＡＦＥ：Analog Front-End）２２０、画像メモリ２３０、画像処理部２４０、画像出力部２５０、記憶部２６０、などから構成される。
【００２２】
制御部２１０は、例えば、ＣＰＵ（Central Processing Unit：中央演算処理装置）などのプロセッサや、ＲＡＭ（Random Access Memory）などの主記憶装置（メモリ）、などから構成され、後述する記憶部２６０などに格納されているプログラムを実行することで、デジタルカメラ１の各部を制御する。また、本実施形態では、所定のプログラムを実行することで、後述する各処理を実行するための機能が制御部２１０によって実現される。
【００２３】
ＡＦＥ２２０は、イメージセンサ１３０が出力するアナログ画像信号をデジタル画像データに変換する動作などをおこなう。この場合、ＡＦＥ２２０は、例えば、タイミングジェネレータやサンプルホールド回路、増幅回路、などから構成され、制御部２１０からの指示に基づいて動作することで、イメージセンサ１３０の動作と同調したデジタル変換処理をおこない、生成されたデジタル画像データを画像メモリ２３０に出力する。
【００２４】
画像メモリ２３０は、ＲＡＭやフラッシュメモリなどの半導体記憶装置から構成され、ＡＦＥ２２０によって変換されたデジタル画像データを展開する。また、本実施形態では、本発明にかかる処理（詳細後述）で用いられるバッファメモリとして画像メモリ２３０が機能する。すなわち、後述する処理で利用されるバッファ領域が、必要に応じて画像メモリ２３０内に確保される。
【００２５】
画像処理部２４０は、画像処理用のプロセッサ（いわゆる、画像処理エンジン）、などから構成され、画像メモリ２３０に展開されたデジタル画像データに対する各種の画像処理をおこなう。ここでは、ホワイトバランスや画質などの調整やデータ圧縮などがおこなわれる。
【００２６】
画像出力部２５０は、例えば、ＲＧＢ信号（画像信号）の生成回路などから構成され、画像メモリ２３０に展開されている画像処理後のデジタル画像データをＲＧＢ信号に変換し、後述する表示部３１０や外部Ｉ／Ｆ（インタフェース）３３０などに出力することで、撮像画像の表示出力をおこなう。
【００２７】
記憶部２６０は、例えば、ＲＯＭ（Read Only Memory）やフラッシュメモリなどの記憶装置から構成され、デジタルカメラ１の動作に必要なプログラムやデータなどを格納する。本実施形態では、制御部２１０などが実行する動作プログラムや処理に必要となるパラメータや演算式などが記憶部２６０に格納されているものとする。
【００２８】
Ｉ／Ｆ部３００は、デジタルカメラ１とその使用者あるいは外部装置とのインタフェースにかかる構成であり、図１に示すように、表示部３１０、操作部３２０、外部Ｉ／Ｆ（インタフェース）３３０、などから構成される。
【００２９】
表示部３１０は、例えば、液晶表示装置などから構成され、デジタルカメラ１を操作するために必要な種々の画面や、撮影時のライブビュー画像（ファインダ画像）、取得した画像の再生画面、などを表示出力する。本実施形態では、画像出力部２５０からの画像信号（ＲＧＢ信号）などに基づいて撮像画像等の表示出力がおこなわれる。
【００３０】
操作部３２０は、デジタルカメラ１の外面上に構成されている各種ボタンなどによって構成され、デジタルカメラ１の使用者による操作に応じた入力信号を生成して制御部２１０に入力する。操作部３２０を構成するボタンとして、例えば、撮像動作の開始・停止（動画像撮像時）などを指示するためのボタン（録画ボタンやシャッタボタン）や、デジタルカメラ１の動作モードを指定するためのモードボタン、各種設定をおこなうための十字キーや機能ボタン、などが含まれているものとする。
【００３１】
外部Ｉ／Ｆ３３０は、外部装置とのインタフェースであり、例えば、撮像画像を保存するメモリカードなどの外部記憶媒体が着脱されるカードスロットや、撮像した画像データをパーソナルコンピュータなどに転送するためのＵＳＢ（Universal Serial Bus）ポートなどから構成される。
【００３２】
以上が本実施形態にかかるデジタルカメラ１を構成している主要なハードウェア構成となるが、これらは本発明を実現するために必要な構成であり、デジタルカメラ（デジタルビデオカメラ、デジタルスチルカメラ）としての基本機能や種々の付加機能に用いられる構成は必要に応じて備えられているものとする。
【００３３】
以下、本発明を適用することによって、撮像した動画像における異なる撮像タイミングを起点とした複数の動画シーケンスを同時に１画面上で再生（以下、「多元同時再生」とする）することのできる動画像データを生成する手法を例示する。
【００３４】
このような動作を実現するための機能は、記憶部２６０に格納されているプログラムを制御部２１０が実行することで実現される。制御部２１０によって実現される機能構成を図２に示す。図２は、制御部２１０によって実現される機能を示した機能ブロック図であり、図示するように、制御部２１０は、動画データ取得部２１１、画像選択合成部２１２、動画データ生成部２１３、動画再生部２１４、などとして機能する。
【００３５】
動画データ取得部２１１は、多元同時再生の対象となる一連の動画シーケンス（以下、「フルシーケンスＦＳ」とする）を含んだ動画像データを取得する。本実施形態では、撮像部１００の撮像動作によって得られた動画像データを取得する。したがって、本実施形態にかかる動画データ取得部２１１は、デジタルカメラ１の撮像動作にかかる各種機能を制御するものであり、操作部３２０からの入力信号に基づいた動画撮像の開始・終了を示す指示に応じて撮像部１００やＡＦＥ２２０を制御し、デジタルカメラ１における動画撮像動作を実行させる。
【００３６】
このような動画撮像によって得られる動画像データを取得する場合、動画データ取得部２１１は、ＡＦＥ２２０によってデジタルデータに変換され画像メモリ２３０に展開されているフレーム画像を、多元同時再生用に複製し、画像メモリ２３０によって実現されているバッファ領域に展開する。このとき、動画データ取得部２１１は、取得したフレーム画像（以下、「第１のフレーム画像ＦＦ」とする）を、フルシーケンスＦＳ上の時系列に基づいて画像メモリ２３０に展開する。すなわち、第１のフレーム画像ＦＦがフルシーケンスＦＳ上で記録されたタイミングの順序で展開され、この時系列順となるよう各フレームに識別情報（以下、「フレーム番号ＦＮ１」とする）を付与する。なお、第１のフレーム画像ＦＦのそれぞれには、少なくともそのフレーム画像が記録（撮像）された時刻を示す情報（時系列情報）が撮像動作時に付されているものとする。
【００３７】
画像選択合成部２１２は、画像メモリ２３０のバッファ領域に展開された第１のフレーム画像ＦＦから、多元同時再生用の動画像データを構成する１フレーム分の表示画面に表示するフレーム画像（第１のフレーム画像ＦＦ）を選択し、選択した複数のフレーム画像（第１のフレーム画像ＦＦ）を合成して表示画面（以下、「第２のフレーム画像ＳＦ」とする）を生成する。
【００３８】
本実施形態では、例えば、図３に示すような表示画面（第２のフレーム画像ＳＦ）が画像選択合成部２１２によって生成される。図示するように、第２のフレーム画像ＳＦには、フルシーケンスＦＳにおいて基準となる記録タイミングを起点とした動画シーケンス（以下、「基準シーケンスＲＳ」とする）が表示される主表示枠ＭＷと、主表示枠ＭＷに表示される基準シーケンスＲＳと記録タイミングの異なる複数の動画シーケンスを表示するための複数の副表示枠ＳＷが配置されており、本実施形態では、主表示枠ＭＷのサイズが副表示枠ＳＷよりも大きいものとする。
【００３９】
本実施形態では、このような第２のフレーム画像ＳＦにより、記録タイミング（撮像時刻）が１秒ずつ異なる動画シーケンスを同時に表示させるための動画像データを生成することとする。この場合、主表示枠ＭＷには、基準となる記録タイミングが起点となる基準シーケンスＲＳを構成する第１のフレーム画像ＦＦが割り当てられ、副表示枠ＳＷのそれぞれには、基準シーケンスＲＳの前後で１秒間隔ずつシフトした動画シーケンスのそれぞれを構成する第１のフレーム画像ＦＦが割り当てられるものとする。
【００４０】
本実施形態では、基準シーケンスＲＳの前後４秒分の動画シーケンスが同時に再生される動画像データを生成するものとする。この場合、図３に示すように、第２のフレーム画像ＳＦには、以下のような８つの副表示枠ＳＷが配置される。
（１）基準シーケンスＲＳの４秒前の動画シーケンス（以下、「シーケンスＳＢ４」とする）を構成する第１のフレーム画像ＦＦが割り当てられる「副表示枠ＳＷ１」（２）基準シーケンスＲＳの３秒前の動画シーケンス（以下、「シーケンスＳＢ３」とする）を構成する第１のフレーム画像ＦＦが割り当てられる「副表示枠ＳＷ２」（３）基準シーケンスＲＳの２秒前の動画シーケンス（以下、「シーケンスＳＢ２」とする）を構成する第１のフレーム画像ＦＦが割り当てられる「副表示枠ＳＷ３」（４）基準シーケンスＲＳの１秒前の動画シーケンス（以下、「シーケンスＳＢ１」とする）を構成する第１のフレーム画像ＦＦが割り当てられる「副表示枠ＳＷ４」（５）基準シーケンスＲＳの１秒後の動画シーケンス（以下、「シーケンスＳＡ１」とする）を構成する第１のフレーム画像ＦＦが割り当てられる「副表示枠ＳＷ５」
（６）基準シーケンスＲＳの２秒後の動画シーケンス（以下、「シーケンスＳＡ２」とする）を構成する第１のフレーム画像ＦＦが割り当てられる「副表示枠ＳＷ６」
（７）基準シーケンスＲＳの３秒後の動画シーケンス（以下、「シーケンスＳＡ３」とする）を構成する第１のフレーム画像ＦＦが割り当てられる「副表示枠ＳＷ７」
（８）基準シーケンスＲＳの４秒後の動画シーケンス（以下、「シーケンスＳＡ４」とする）を構成する第１のフレーム画像ＦＦが割り当てられる「副表示枠ＳＷ８」
【００４１】
なお、このような副表示枠ＳＷと、主表示枠ＭＷとを含めた全ての表示枠についての通し番号（以下、「枠番号ＷＮ」とする）が付与されるものとする。ここでは、副表示枠ＳＷ１→主表示枠ＭＷ→副表示枠ＳＷ８の順に１〜９の枠番号ＷＮが付与されているものとする。
【００４２】
画像選択合成部２１２は、このような第２のフレーム画像ＳＦ（表示画面）を生成すると、第２のフレーム画像ＳＦに識別情報（以下、「フレーム番号ＦＮ２」とする）を付与する。そして、生成した第２のフレーム画像ＳＦと、当該第２のフレーム画像ＳＦ内の各表示枠に割り当てた第１のフレーム画像ＦＦとを、フルシーケンスＦＳ上での時系列によって対応づけた「対応情報」（以下、「対応情報ＬＴ」とする）を生成する。
【００４３】
画像選択合成部２１２によって生成される対応情報ＬＴの例を図４に示す。図示するように、対応情報ＬＴには、動画データ取得部２１１が取得した動画像データを構成しているフルシーケンスＦＳについての情報と画像選択合成部２１２によって生成された第２のフレーム画像ＳＦについての情報が対応づけられている。
【００４４】
フルシーケンスＦＳについての情報は、例えば、当該動画シーケンスの開始からの経過時間を示す情報（時系列情報）と、フルシーケンスＦＳを構成している第１のフレーム画像ＦＦを示すフレーム番号ＦＮ１（開始番号「１」）とが対応づけられている。ここで、フルシーケンスＦＳのフレームレートを３０ｆｐｓとした場合、時系列情報によって示される１秒間の間に３０フレーム分のフレーム番号ＦＮ１が記録されることになる。
【００４５】
第２のフレーム画像ＳＦについての情報は、例えば、生成された第２のフレーム画像ＳＦを示すフレーム番号ＦＮ２が記録されるとともに、対応する第２のフレーム画像ＳＦを構成している副表示枠ＳＷ１〜ＳＷ８および主表示枠ＭＷに割り当てられた第１のフレーム画像ＦＦがフレーム番号ＦＮ１によって記録されている。画像選択合成部２１２は、第１のフレーム画像ＦＦと同数の第２のフレーム画像ＳＦを順次生成しながら対応情報ＬＴを更新する。
【００４６】
動画データ生成部２１３は、画像選択合成部２１２によって生成された複数の第２のフレーム画像ＳＦを各フレームとした動画シーケンスとなる動画像データを生成する。すなわち、一連の動画シーケンスにおける異なるタイミングを始点とする複数の動画シーケンスが、図３に示すような表示画面によって同時に再生表示される動画像データ（以下、「多元同時再生用データ」とする）が生成される。この場合、動画データ生成部２１３は、所定の動画フォーマット（例えば、MPEGなどのような汎用的な動画フォーマット）に応じたエンコードをおこなうことで多元同時再生用データを生成し、対応情報ＬＴとともに、記憶部２６０もしくは外部Ｉ／Ｆ３３０に接続されているメモリカードなどに保存する。
【００４７】
動画再生部２１４は、動画データ生成部２１３によって生成された多元同時再生用データを含む動画ファイルを再生する動作をおこなう。すなわち、再生対象となる動画ファイルのフォーマットに応じたデコード動作をおこなうことでフレーム画像を順次再生し、画像出力部２５０を制御することで表示部３１０に表示出力する。この動作は、既知のデコードアルゴリズムなどを利用することで実現されるものとする。
【００４８】
以上が制御部２１０によって実現される機能である。なお、本実施形態では、制御部２１０がプログラムを実行することによる論理的処理で上述した各機能が実現されるものとするが、これらの機能を、例えば、ＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）などのハードウェアによって構成してもよい。
【００４９】
（実施形態１）
このような構成のデジタルカメラ１による動作例を以下に説明する。ここでは、デジタルカメラ１による動画撮像動作時に制御部２１０によって実行される「多元同時再生用データ生成処理」を、図５のフローチャートを参照して説明する。本実施形態にかかるデジタルカメラ１の動画撮像機能には、上述したような多元同時再生用データを生成するモードが用意されているものとし、このモードが選択されたことを契機に「多元同時再生用データ生成処理」が開始されるものとする。
【００５０】
処理が開始されると、動画データ取得部２１１が画像出力部２５０を制御することにより、本処理にて生成する多元同時再生用データについての設定を使用者におこなわせるための設定画面を表示部３１０に表示する（ステップＳ１０１）。
【００５１】
この設定画面では、例えば、多元同時再生用データの生成に用いられる動画のフレームレートの値（ｆｐｓ）や、生成される多元同時再生用データを再生したときに表示する表示枠の数、表示枠への画像割り当て規則、などについての入力項目が表示される。ここで、「表示枠への画像割り当て規則」は、例えば、「時間間隔：１秒」などの規則である。本実施形態では、上述したように、主表示枠ＭＷに表示する動画シーケンス（基準シーケンスＲＳ）の４秒前から４秒後の間の１秒間隔で、時間差のある動画シーケンスが各副表示枠ＳＷに表示されるものとする。この場合、表示枠数の設定は、「主表示枠：１、副表示枠：８」となる。また、フレームレートは、一般的なフレームレートである３０ｆｐｓとする。
【００５２】
デジタルカメラ１の使用者が、操作部３２０を操作することで、このような設定内容を入力し、入力内容の確定を示す操作をおこなうと（ステップＳ１０２：Ｙｅｓ）、操作部３２０により、当該入力操作に応じた入力信号が制御部２１０に入力される。この場合、動画データ取得部２１１は、入力された設定内容を画像選択合成部２１２に通知する。
【００５３】
動画データ取得部２１１からの通知に応じて、画像選択合成部２１２は、設定内容に応じた対応情報ＬＴのフォーマットを生成する（ステップＳ１０３）。すなわち、フレームレートに基づいて、単位時間（例えば、１秒間）に生成される第１のフレーム画像ＦＦの数を決定するとともに、所望される表示枠の数に応じて対応情報ＬＴのレコード数やフィールド数などを決定する。画像選択合成部２１２は、このような決定事項を反映したフォーマット（テーブル）を生成すると、制御部２１０のメモリ領域などに保持し、対応情報ＬＴのテーブル上でフレームを指定するフレームポインタＰを初期化する（ステップＳ１０４）。ここでは、先頭フレームのフレーム番号ＦＮ１を「１」とするので、初期値「１」がフレームポインタＰに指定される。
【００５４】
このようにして、対応情報ＬＴの準備ができると、画像選択合成部２１２はその旨を動画データ取得部２１１に通知する。動画データ取得部２１１は、画像出力部２５０を制御することで、動画撮像の開始可能である旨を表示部３１０に表示する。デジタルカメラ１の使用者は、この表示を視認した後、所望する撮像開始タイミングで操作部３２０の録画開始ボタンを操作する。
【００５５】
録画開始ボタンが操作されると、その旨を示す入力信号が操作部３２０から制御部２１０に入力され、動画データ取得部２１１は、撮像開始指示がなされたものと判別する（ステップＳ１０５：Ｙｅｓ）。この場合、動画データ取得部２１１が、撮像部１００およびＡＦＥ２２０を制御することで、動画撮像が開始される（ステップＳ１０６）。
【００５６】
動画撮像が開始されると、撮像によって生成された第１のフレーム画像ＦＦが順次画像メモリ２３０に展開され、時系列順にフレーム番号ＦＮ１が付与される。画像選択合成部２１２は、画像メモリ２３０にアクセスし、ステップＳ１０４で指定されたフレームポインタＰの値がフレーム番号ＦＮ１となっている第１のフレーム画像ＦＦを特定して取得する（ステップＳ１０７）。ここでは、取得した第１のフレーム画像ＦＦ（ＦＮ１＝Ｐ）を複製し、画像メモリ２３０に用意されているバッファ領域に展開する。
【００５７】
ここで、画像選択合成部２１２は、メモリに保持している対応情報ＬＴを更新する（ステップＳ１０８）。ここでは、図４に例示する対応情報ＬＴのうち、フルシーケンスＦＳについての経過時間と取得した第１のフレーム画像ＦＦのフレーム番号ＦＮ１とを対応づけて記録する。
【００５８】
本実施形態では、図３に示すような表示画面（第２のフレーム画像ＳＦ）により、基準シーケンスＲＳの４秒前からの毎秒と、基準シーケンスＲＳの４秒後までの毎秒についての動画シーケンスを同時に表示させるが、このような時間差のうち最も後になる動画シーケンス（本例の場合、基準シーケンスＲＳから４秒後となるシーケンスＳＡ４）が、該当する副表示枠ＳＷ（本例の場合、副表示枠ＳＷ８）で当初から表示され、１秒経過する毎に、基準シーケンスＲＳの３秒後であるシーケンスＳＡ３、２秒後のシーケンスＳＡ２、１秒後のシーケンスＳＡ１、基準シーケンスＲＳ、基準シーケンスＲＳの１秒前であるシーケンスＳＢ１、２秒前のシーケンスＳＢ２、３秒前のシーケンスＳＢ３、４秒前のシーケンスＳＢ４、という順で、各動画シーケンスの再生が順次開始されるものとする。
【００５９】
ここで、多元同時再生用データを構成する最初のフレーム（フレーム番号ＦＮ２が「１」となる第２のフレーム画像ＳＦ）のすべての表示枠には、フルシーケンスＦＳから取得された最初の第１のフレーム画像ＦＦ、すなわち、フレーム番号ＦＮ１が「１」の第１のフレーム画像ＦＦが表示されることとする。この場合、例えば、図４に示すように、フレーム番号ＦＮ２が「１」の第２のフレーム画像ＳＦの各表示枠には、フレーム番号ＦＮ１が「１」の第１のフレーム画像ＦＦを示す「１」が記録されることになる。
【００６０】
このように、フレーム番号ＦＮ１がＰの第１のフレーム画像ＦＦをステップＳ１０７で取得した段階で、その番号を割り当てる表示枠が明確である場合には、画像選択合成部２１２は、ステップＳ１０８の時点で割り当て可能な範囲で、Ｐ番目の第１のフレーム画像ＦＦがどの表示枠に割り当てられるかを対応情報ＬＴに記録する。
【００６１】
ここで、対応情報ＬＴ上においては、設定されたフレームレートと表示枠の数（＝枠番号ＷＮ）から、割り当てる画像のフレーム番号ＦＮ１を数式によって指定することができる。ここでは、フレームレートの数値をｆ、枠番号ＷＮの最大値をｗｍａｘ、割り当て対象となる表示枠の枠番号ＷＮをｗｔｇｔ、当該表示枠に割り当てる第１のフレーム画像ＦＦのフレーム番号ＦＮ１の値をｎ、当該第２のフレーム画像ＳＦのフレーム番号ＦＮ２の値をｍ、とした場合、以下の数式によってｎを求めることができる。
【００６２】
（数１）
ｎ＝ｍ−｛（ｗｍａｘ−ｗｔｇｔ）×ｆ｝
なお、ｎ＜１の場合は、ｎに１を代入（ｎ＝１）する。
【００６３】
多元同時再生用として画像メモリ２３０のバッファ領域に展開した第１のフレーム画像ＦＦについて、対応情報ＬＴ上で表示枠に割り当てると、画像選択合成部２１２は、図３に示すような第２のフレーム画像ＳＦを生成し、対応情報ＬＴに基づいて、各表示枠に当該第１のフレーム画像ＦＦを割り当てて合成する（ステップＳ１０９）。例えば、フレーム番号ＦＮ２が「１」の第２のフレーム画像ＳＦについては、フレーム番号ＦＮ１が「１」の第１のフレーム画像ＦＦをすべての表示枠に割り当てるので、画像選択合成部２１２は、画像メモリ２３０のバッファ領域に展開している当該第１のフレーム画像ＦＦを、各表示枠の大きさに合うようリサイズなどした上ではめ込んで合成する。
【００６４】
このようにして、１枚目の第１のフレーム画像ＦＦ（フレーム番号ＦＮ１：「１」）に対応する第２のフレーム画像ＳＦ（フレーム番号ＦＮ２：「１」）を生成すると、画像選択合成部２１２は、生成した第２のフレーム画像ＳＦの情報を対応情報ＬＴに記録して更新する（ステップＳ１１０）。
【００６５】
ここで、実行している動画撮像を終了する指示の入力がなければ（ステップＳ１１１：Ｎｏ）、画像選択合成部２１２は、フレームポインタＰを＋１し（ステップＳ１１２）、ステップＳ１０７以降の処理をおこなう。すなわち、フレーム番号ＦＮ１が「２」以降の各フレーム画像を順次取得し、対応情報ＬＴに基づいた表示枠への割り当てによって第２のフレーム画像ＳＦを順次生成し、画像メモリ２３０のバッファ領域に展開する。
【００６６】
デジタルカメラ１の使用者が操作部３２０を操作し、動画撮像の停止を指示すると（ステップＳ１１１：Ｙｅｓ）、動画データ取得部２１１は、撮像部１００およびＡＦＥ２２０を制御することで動画撮像動作を終了させる（ステップＳ１１３）。このとき動画データ取得部２１１は、動画撮像動作を終了させたことを画像選択合成部２１２と動画データ生成部２１３に通知する。
【００６７】
この場合、画像選択合成部２１２は、上述したような、取得した第１のフレーム画像ＦＦを表示枠に割り当てて第２のフレーム画像ＳＦを生成する動作を終了する。ここまで生成された複数の第２のフレーム画像ＳＦは、画像メモリ２３０のバッファ領域に展開されているので、動画データ生成部２１３は、これらの第２のフレーム画像ＳＦを、フレーム番号ＦＮ２の順に再生される動画ファイルとするためのエンコードをおこなう（ステップＳ１１４）。ここでは、汎用的な動画像フォーマット（例えば、MPEGなど）に基づいたエンコードをおこなうことで、第２のフレーム画像ＳＦをフレーム画像とした動画像データ（動画ファイル）が生成される。なお、動画データ生成部２１３は、生成した動画ファイルが再生される際に、各第２のフレーム画像ＳＦを構成している副表示枠ＳＷが選択可能となるようなエンコードをおこなうものとする。ここでは、既知のオーサリング手法などを用いることにより、表示枠が選択可能となるようエンコードする。
【００６８】
このようなエンコードによって、第２のフレーム画像ＳＦをフレーム画像とした動画ファイルを生成すると、動画データ生成部２１３は、当該動画ファイルを、画像選択合成部２１２が生成した対応情報ＬＴとともに保存して処理を終了する（ステップＳ１１５）。この場合、デジタルカメラ１の使用者が所望する保存先に保存するものとし、例えば、デジタルカメラ１の内部にある記憶部２６０が保存先に指定された場合は、画像選択合成部２１２および動画データ生成部２１３は、当該動画ファイルと、対応する対応情報ＬＴとを記憶部２６０内に保存する。また、メモリカードや他の機器内の記憶装置が保存先に指定されている場合は、外部Ｉ／Ｆ３３０を介して指定された保存先に、動画ファイルと対応情報ＬＴを保存する。
【００６９】
以上のように、本実施形態にかかる「多元同時再生用データ生成処理」をデジタルカメラ１でおこなうことで、デジタルカメラ１で撮像した動画像に含まれている一連の動画シーケンスから、複数の異なるタイミングで開始する複数の動画シーケンスが１画面上に同時に表示される画像効果を有する動画像データ（動画ファイル）を生成することができる。
【００７０】
この場合において、複数の表示枠にタイミングの異なる複数の動画シーケンスを表示させる画面となるよう撮像した動画データからフレーム画像を合成し、合成後の画面がフレームとなるよう汎用的な動画フォーマットで動画像データを生成するので、当該動画像データを生成したデジタルカメラ１だけでなく、他の再生装置でも同様の画像効果となる再生をおこなうことができる。
【００７１】
なお、上記本実施形態では、上述したような多元同時再生用データを生成する機能を備えた撮像装置（デジタルカメラ１）において、動画撮像と並行して多元同時再生用データを再生する場合を例示したが、多元同時再生用データを生成する装置は撮像装置に限られるものではない。すなわち、動画を構成しているフレーム画像を取得できるのであれば、すでに生成済の動画ファイルなどから多元同時再生用データを生成することができ、この場合は撮像機能を備えている必要はない。
【００７２】
このような既存の動画像データから多元同時再生用データを生成する場合においても、基本的には、上述したような「多元同時再生用データ生成処理」（図５）と同様の処理によって多元同時再生用データを生成することができる。この場合は、同処理における撮像動作に代えて、取得した動画像データを再生することで各フレーム画像（第１のフレーム画像ＦＦに相当）を展開し、これを多元同時再生用にバッファするようにすれば、第２のフレーム画像ＳＦに相当するフレーム画像が生成され、多元同時再生用データを生成することができる。
【００７３】
（実施形態２）
本実施形態では、上記実施形態１で生成された多元同時再生用データを再生する場合の処理や動作を説明する。上述したように、実施形態１で生成された多元同時再生用データ（動画ファイル）は、汎用的な動画フォーマットでエンコードされているため、デジタルカメラ１以外の装置であっても再生することができるが、本実施形態では、当該動画ファイルをデジタルカメラ１で再生する場合を例に説明する。
【００７４】
多元同時再生用データを再生する際にデジタルカメラ１で実行される「多元同時再生処理」を、図６に示すフローチャートを参照して説明する。この「多元同時再生処理」は、例えば、デジタルカメラ１の動画再生機能が有効となるよう操作され、再生対象として多元同時再生用データが選択されたことを契機に開始される。
【００７５】
処理が開始されると、動画再生部２１４は、選択された多元同時再生用データとともに保存されている対応情報ＬＴをロードし、制御部２１０のメモリに保持する（ステップＳ２０１）。
【００７６】
対応情報ＬＴをロードすると、動画再生部２１４は画像出力部２５０を制御し、多元同時再生に用意されている再生モードを使用者（操作者）に選択させるためのモード選択画面を表示部３１０に表示する（ステップＳ２０２）。
【００７７】
上記実施形態１で生成された多元同時再生用データは、上述したように、各第２のフレーム画像ＳＦ内の副表示枠ＳＷを選択可能に再生できるようエンコードされている。このような多元同時再生用データを再生する際の再生モードとして、本実施形態では、「画面遷移モード」と「静止画記録モード」が用意されているものとする。
【００７８】
「画面遷移モード」は、多元同時再生中に副表示枠ＳＷのいずれかが選択された場合、そのとき当該副表示枠ＳＷに表示されている画像が主表示枠ＭＷに表示されている第２のフレーム画像ＳＦに遷移することで、早戻し／早送りとなるように再生するモードである。
【００７９】
また、「静止画記録モード」は、再生中の動画を構成するフレーム画像を静止画像として記録する動作において、選択された副表示枠ＳＷに表示されている画像を記録するモードである。
【００８０】
デジタルカメラ１の使用者は、操作部３２０を操作することで、これらの再生モードのうち所望するモードを選択し、選択を確定する操作をおこなうと、当該操作を示す入力信号が操作部３２０から制御部２１０に入力され、動画再生部２１４は、再生モードが確定されたと判別する（ステップＳ２０３：Ｙｅｓ）。
【００８１】
再生モードが確定すると、動画再生部２１４は、対象となっている多元同時再生用データをデコードして再生を開始する（ステップＳ２０４）。この場合、動画再生部２１４は、デコードしたフレーム画像を画像メモリ２３０に順次展開し、画像出力部２５０を制御することで、図７（ａ）に示すような表示画面を表示部３１０に表示出力する。この場合において、動画再生部２１４は、動画データ生成部２１３でのエンコードに基づき、表示画面内の各副表示枠ＳＷが、使用者が操作部３２０を操作することで選択可能となるように表示出力する（ステップＳ２０５）。
【００８２】
このような再生動作により、一連の動画シーケンスにおける異なるタイミングを起点とする複数の動画シーケンスが、１画面上で同時に再生されることになる。例えば、上記実施形態１で例示したように、第２のフレーム画像ＳＦの先頭ではすべての表示枠にフレーム番号ＦＮ１が「１」となる画像が表示され、時間差が最も後になる表示枠から再生が開始されるとすると、当該動画ファイルの再生開始時（すなわち、フレーム番号ＦＮ２が「１」の第２のフレーム画像ＳＦが表示されたとき）には、図７（ａ）に示すように、すべての表示枠に同じ画像が表示され、フレーム番号ＦＮ２が「２」以降の第２のフレーム画像ＳＦでは、図７（ｂ）〜図７（ｃ）に示すように、副表示枠ＳＷ８のみが動画として表示されることになる（図７の例では、幾何学的な形状が１秒毎に変化する様子を撮影した動画ファイルを再生しているものとする）。各表示枠における動画シーケンスの開始タイミングは１秒ずつずれているので、再生開始から８秒後にすべての表示枠で動画表示となる。
【００８３】
すなわち、同じ動画シーケンスからの映像ではあるが、異なるタイミングで再生が開始された複数の動画シーケンスが１つの画面内に同時に表示される（＝多元同時再生）。このような多元同時再生のときに、デジタルカメラ１の使用者が操作部３２０を操作することで、例えば、図８（ａ）に示すように、表示されている複数の副表示枠ＳＷのうちの１を選択した場合（ステップＳ２０６：Ｙｅｓ）、動画再生部２１４は、その時点で再生を一時停止（ポーズ）する（ステップＳ２０７）。
【００８４】
この場合、動画再生部２１４は、ステップＳ２０２で表示したモード選択画面で選択された表示モードが「画面遷移モード」であるか否かを判別する（ステップＳ２０８）。
【００８５】
使用者が選択した表示モードが「画面遷移モード」である場合（ステップＳ２０８：Ｙｅｓ）、動画再生部２１４は、ステップＳ２０１でロードした対応情報ＬＴを参照することで、選択された副表示枠ＳＷで表示している第１のフレーム画像ＦＦを特定する（ステップＳ２０９）。ここでは、再生開始からの経過時間と同じ経過時間を示している対応情報ＬＴ上のレコードを特定し、当該レコードにおいて、選択された副表示枠ＳＷの欄に記録されているフレーム番号ＦＮ１により、第１のフレーム画像ＦＦを特定する。
【００８６】
選択された副表示枠ＳＷにおける第１のフレーム画像ＦＦを特定すると、動画再生部２１４は、当該第１のフレーム画像ＦＦが主表示枠ＭＷに表示されている第２のフレーム画像ＳＦがいずれであるかを特定する（ステップＳ２１０）。この場合、対応情報ＬＴの主表示枠ＭＷの欄を走査することで、特定した第１のフレーム画像ＦＦのフレーム番号ＦＮ１が記録されている箇所を探索するなどして、当該第１のフレーム画像ＦＦが主表示枠ＭＷに表示される第２のフレーム画像ＳＦを特定する。なお、以下の数式を演算することにより移動量を算出してもよい。ここでは、フレームレートの数値をｆ、主表示枠ＭＷの枠番号ＷＮをｗｒｅｆ、選択された副表示枠ＳＷの枠番号ＷＮをｗｓｅｌ、第２のフレーム画像ＳＦの移動数をｑ、とした場合、以下の数式によってｑを求めることができる。
【００８７】
（数２）
ｑ＝（ｗｓｅｌ−ｗｒｅｆ）×ｆ
【００８８】
本実施形態で例示している表示形態の場合、主表示枠ＭＷの枠番号ＷＮは「５」（＝ｗｒｅｆ）であり、フレームレートは３０ｆｐｓ（＝ｆ）としているので、図８（ａ）の例のように副表示枠ＳＷ７が選択された場合、副表示枠ＳＷ７の枠番号ＷＮが「８」（＝ｗｓｅｌ）になるので、上記数２の演算により、画面を遷移させるための移動数はｑ＝９０となる。この場合、図８（ａ）に示している第２のフレーム画像ＳＦのフレーム番号ＦＮ２に９０を加算した値がフレーム番号ＦＮ２となっている第２のフレーム画像ＳＦの主表示枠ＭＷに、図８（ａ）の副表示枠ＳＷ７で表示している画像が表示されていることになる。
【００８９】
なお、ｑの値が正の場合は、第２のフレーム画像ＳＦのフレーム番号ＦＮ２を＋ｑした第２のフレーム画像ＳＦの主表示枠ＭＷに、選択された副表示枠ＳＷに表示している画像が表示されていることになる。また、ｑの値が負の場合も同様に、第２のフレーム画像ＳＦのフレーム番号ＦＮ２を＋ｑした第２のフレーム画像ＳＦの主表示枠ＭＷに、選択された副表示枠ＳＷに表示している画像が表示されていることになる。
【００９０】
このようにして、選択された副表示枠ＳＷに表示されている画像が主表示枠ＭＷに表示されている第２のフレーム画像ＳＦを特定すると、動画再生部２１４は、特定した第２のフレーム画像ＳＦから再生を再開する（ステップＳ２１１）。
【００９１】
すなわち、主表示枠ＭＷに表示している基準シーケンスＲＳよりも時間的に後となる動画シーケンスを表示している副表示枠ＳＷ５〜ＳＷ８が選択された場合にはｑの値が正となり、この値の移動量で第２のフレーム画像ＳＦを遷移させると、主表示枠ＭＷには、時間的に後の映像が表示されることになるので、実質的に早送りをしたことになる。
【００９２】
一方、主表示枠ＭＷに表示している基準シーケンスＲＳよりも時間的に前となる動画シーケンスを表示している副表示枠ＳＷ１〜ＳＷ４が選択された場合にはｑの値が負となり、この値の移動量で第２のフレーム画像ＳＦを遷移させると、主表示枠ＭＷには、時間的に前の映像が表示されることになるので、実質的に早戻しをしたことになる。
【００９３】
また、使用者によって選択された再生モードが「静止画記録モード」である場合（ステップＳ２０８：Ｎｏ）、動画再生部２１４は、ステップＳ２０９およびステップＳ２１０と同様の動作によって、選択された副表示枠ＳＷに表示されている第１のフレーム画像ＦＦが主表示枠ＭＷに表示される第２のフレーム画像ＳＦを特定し（ステップＳ２１２）、当該第２のフレーム画像ＳＦの主表示枠ＭＷに割り当てられている第１のフレーム画像ＦＦを、静止画像の画像データとして保存する（ステップＳ２１３）。
【００９４】
本実施形態では、副表示枠ＳＷのサイズが主表示枠ＭＷよりも小さいため、副表示枠ＳＷに割り当てられた第１のフレーム画像ＦＦは縮小するようリサイズされている。よって、使用者が静止画像として記録したい画像を副表示枠ＳＷで見つけた場合にその画像をそのまま記録しては、サイズの小さい画像が記録されてしまう。このため、当該画像が主表示枠ＭＷに表示されている第２のフレーム画像ＳＦを特定し、縮小されていない画像を静止画像として記録する。
【００９５】
動画再生部２１４は、対象となる画像を、例えば、記憶部２６０やメモリカードなどに保存すると、ステップＳ２０７で一時停止させた第２のフレーム画像ＳＦから再生を再開する（ステップＳ２１４）。
【００９６】
このような再生動作は、所定の再生終了イベント（例えば、再生終了指示の入力や動画ファイルの再生完了、など）が発生するまでおこなわれ（ステップＳ２１５：Ｎｏ）、副表示枠ＳＷが選択される度に、ステップＳ２０９〜ステップＳ２１１またはステップＳ２１２〜ステップＳ２１４の動作がおこなわれる。
【００９７】
そして、再生終了イベントの発生により（ステップＳ２１５：Ｙｅｓ）、本処理は終了する。
【００９８】
このような多元同時再生により、同じ被写体の動画であっても、開始タイミングを異ならせた複数の動画シーケンスとして同時に表示することができるので、娯楽性のある画像効果のある動画再生とすることができる。この場合において、記録タイミングの異なるフレーム画像を合成した画面（画像）を新たなフレーム画像として動画像データを生成しているので、元の動画のフレームレートが再生時のフレームレートに影響しない。よって、例えば、３００ｆｐｓなどの高フレームレートで撮影された動画から多元同時再生用データを生成した場合、これを３０ｆｐｓで再生することもできる。このため、いわゆるハイスピード撮影した動画をスロー再生する場合などにも多元同時再生をおこなうことができる。
【００９９】
また、副表示枠ＳＷを選択することにより、早送りや早戻しなどの画面遷移をおこなうことができるので、より実用性をもった動画再生とすることができる。
【０１００】
さらに、再生中の動画から任意のシーンを静止画像（スチル画像）として取り出したい場合でも、同時に表示されている複数の動画シーケンスから所望する画像を選択することができるので、効率的に所望する画像を選択することができる。
【０１０１】
以上説明したように、本発明を上記実施形態の如く適用することにより、より娯楽性や実用性のある画像表現を実現することができる。
【０１０２】
上記実施形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。
【０１０３】
例えば、上記実施形態では、１つの主表示枠ＭＷと複数の副表示枠ＳＷが配置される第２のフレーム画像ＳＦの例を示したが、表示枠の数や配置位置やサイズなどは任意である。
【０１０４】
また、上記実施形態では、１秒毎にタイミングを異ならせた動画表示を例示したが、表示枠毎の再生を異ならせる条件はこれに限られない。例えば、取得した動画のフレーム間の変化量に基づいてシーンチェンジの箇所を判別することで、複数のシーンが同時に再生されるようにしてもよい。
【０１０５】
なお、上記実施形態のように、本発明を一般のデジタルカメラに適用することで、より娯楽性のある画像表現を実現できることはもとより、例えば、防犯カメラやドライブレコーダなどに本発明を適用することにより、記録された映像の解析をより効率的におこなうことができる。
【０１０６】
なお、本発明を上記実施形態で例示したデジタルカメラ１のような撮像装置で実現する場合においては、本発明にかかる構成や機能を予め備えた撮像装置として提供できる他、制御部２１０の各機能と同様の機能を実現するプログラムを適用することにより、既存の撮像装置を本発明にかかる画像処理装置として機能させることもできる。
【０１０７】
なお、上記実施形態では、撮像装置の例として、動画撮像機能を有するデジタルスチルカメラを示したが、撮像装置の形態は任意であり、単体のデジタルビデオカメラやデジタルスチルカメラで実現可能であることはもとより、これと同様の撮像機能を備えた種々の電子機器に本発明を適用してもよい。
【０１０８】
また、本発明を適用する装置は撮像装置でなくてもよく、動画ファイルを再生する機能のある装置であれば本発明を適用することで、上記実施形態で例示したような多元同時再生用データの生成や多元同時再生をおこなうことができる。
【０１０９】
いずれの場合でも、プログラムを適用することで、既存の装置を本発明にかかる画像処理装置として機能させることができる。
【０１１０】
このようなプログラムの適用方法は任意であり、例えば、ＣＤ−ＲＯＭやメモリカードなどの記憶媒体に格納して適用できる他、例えば、インターネットなどの通信媒体を介して適用することもできる。
【符号の説明】
【０１１１】
１…デジタルカメラ、１００…撮像部、１１０…光学装置、１２０…光学駆動部、１３０…イメージセンサ、２００…データ処理部、２１０…制御部、２１１…動画データ取得部、２１２…画像選択合成部、２１３…動画データ生成部、２１４…動画再生部、２２０…ＡＦＥ（アナログフロントエンド）、２３０…画像メモリ、２４０…画像処理部、２５０…画像出力部、２６０…記憶部、３００…Ｉ／Ｆ（インタフェース）部、３１０…表示部、３２０…操作部、３３０…外部Ｉ／Ｆ（インタフェース）、ＦＳ…フルシーケンス、ＦＦ…第１のフレーム画像、ＳＦ…第２のフレーム画像、ＲＳ…基準シーケンス、ＭＷ…主表示枠、ＳＷ…副表示枠、ＦＮ１…（第１のフレーム画像ＦＦの）フレーム番号、ＦＮ２…（第２のフレーム画像ＳＦの）フレーム番号、ＷＮ…枠番号
【技術分野】
【０００１】
本発明は、画像処理装置、動画生成方法、および、プログラムに関し、特に、多様な画像表現に好適な画像処理装置、動画生成方法、および、プログラムに関する。
【背景技術】
【０００２】
スチルカメラやビデオカメラのデジタル化によって、撮像画像の加工が容易におこなえるようになり、多様な画像表現が可能となっている。この結果、娯楽性や実用性のある画像表現をおこなえることが、デジタルカメラなどの撮像装置における重要な付加価値となっている。
【０００３】
例えば、特許文献１には、動画再生時に早送りや逆早送りをおこなっている場合に、より容易に所望する位置から通常再生できるよう、親画面に表示されている動画とは時間差のある動画を子画面に表示する技術が開示されている。このような技術は、デジタル化によってもたらされた加工容易性により実現されたものであり、動画再生時の実用性向上に寄与している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３２４８５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、デジタル画像データの利点を活用して、より娯楽性や実用性のある画像表現を実現することのできる画像処理装置、動画生成方法、および、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の第１の観点にかかる画像処理装置は、
一連の動画シーケンスが記録された動画像データを取得する動画像データ取得手段と、
前記動画像データ取得手段が取得した動画像データを構成しているフレーム画像を、前記動画シーケンス上の時系列で展開してバッファするバッファ手段と、
前記バッファ手段が展開したフレーム画像から、前記動画シーケンス上での記録タイミングが異なる２以上のフレーム画像を選択する画像選択手段と、
複数の表示枠を有する表示画面を生成し、前記画像選択手段が選択した複数のフレーム画像のそれぞれを、前記表示枠のそれぞれに割り当てて合成する画像合成手段と、
前記画像合成手段によって合成された表示画面をフレーム画像とした動画像データを生成する動画生成手段と、
少なくとも、前記画像合成手段が生成した表示画面毎の識別情報と、該表示画面の表示枠それぞれを示す識別情報と、該表示枠に割り当てたフレーム画像を示す識別情報と、前記動画シーケンス上での時系列を示す時系列情報と、を対応づけた対応情報を生成し、前記動画生成手段が生成した動画像データとともに記録する対応情報記録手段と、
を備えることを特徴とする。
【０００７】
上記画像処理装置において、
前記画像選択手段は、前記バッファ手段が展開したフレーム画像の時系列に基づいて、所定の時間差で記録されたフレーム画像を複数選択することが望ましい。
【０００８】
上記画像処理装置において、
前記画像合成手段は、前記画像選択手段が選択したフレーム画像のうち、基準となる記録タイミングを起点としたシーケンスを構成するフレーム画像が割り当てられる少なくとも一の主表示枠と、該主表示枠に割り当てられたフレーム画像とは記録タイミングの異なるフレーム画像が割り当てられる１以上の副表示枠と、を有する表示画面を生成することが望ましい。
【０００９】
上記画像処理装置は、
前記動画生成手段が生成した動画像データを再生し、前記表示画面の副表示枠が選択可能となるよう表示装置に表示出力する再生手段をさらに備えていることが望ましく、この場合、
該再生手段は、表示出力する表示画面上で副表示枠が選択された場合、前記対応情報に基づいて、選択された副表示枠に割り当てられているフレーム画像が前記主表示枠に割り当てられている表示画面を特定し、該特定した表示画面から再生されるよう表示出力することが望ましい。
【００１０】
上記画像処理装置は、
前記動画生成手段が生成した動画像データを再生し、前記表示画面の副表示枠が選択可能となるよう表示装置に表示出力する再生手段をさらに備えていることが望ましく、この場合、
該再生手段は、表示出力する表示画面上で副表示枠が選択された場合、前記対応情報に基づいて、選択された副表示枠に割り当てられているフレーム画像が前記主表示枠に割り当てられている表示画面を特定し、該特定した表示画面の前記主表示枠に割り当てられているフレーム画像を記録することが望ましい。
【００１１】
上記画像処理装置において、
前記動画像データ取得手段は、
撮像動作によって一連の動画シーケンスを記録して前記動画像データを生成する撮像手段をさらに備えていてもよい。
【００１２】
上記目的を達成するため、本発明の第２の観点にかかる動画生成方法は、
一連の動画シーケンスが記録された動画像データを取得する動画像データ取得ステップと、
前記動画像データ取得ステップで取得された動画像データを構成しているフレーム画像を、前記動画シーケンス上の時系列で展開してバッファするバッファステップと、
前記バッファステップで展開されたフレーム画像から、前記動画シーケンス上での記録タイミングが異なる２以上のフレーム画像を選択する画像選択ステップと、
複数の表示枠を有する表示画面を生成し、前記画像選択ステップで選択された複数のフレーム画像のそれぞれを、前記表示枠のそれぞれに割り当てて合成する画像合成ステップと、
前記画像合成ステップで合成された表示画面をフレーム画像とした動画像データを生成する動画生成ステップと、
少なくとも、前記画像合成ステップで生成された表示画面毎の識別情報と、該表示画面の表示枠それぞれを示す識別情報と、該表示枠に割り当てたフレーム画像を示す識別情報と、前記動画シーケンス上での時系列を示す時系列情報と、を対応づけた対応情報を生成し、前記動画生成ステップで生成された動画像データとともに記録する画像情報記録ステップと、
を含むことを特徴とする。
【００１３】
上記目的を達成するため、本発明の第３の観点にかかるプログラムは、
コンピュータに、
一連の動画シーケンスが記録された動画像データを取得する機能と、
取得した動画像データを構成しているフレーム画像を、前記動画シーケンス上の時系列で展開してバッファする機能と、
展開されたフレーム画像から、前記動画シーケンス上での記録タイミングが異なる２以上のフレーム画像を選択する機能と、
複数の表示枠を有する表示画面を生成し、前記選択された複数のフレーム画像のそれぞれを、前記表示枠のそれぞれに割り当てて合成する機能と、
合成された表示画面をフレーム画像とした動画像データを生成する機能と、
少なくとも、生成した表示画面毎の識別情報と、該表示画面の表示枠それぞれを示す識別情報と、該表示枠に割り当てたフレーム画像を示す識別情報と、前記動画シーケンス上での時系列を示す時系列情報と、を対応づけた対応情報を生成し、前記生成した動画像データとともに記録する機能と、
を実現させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、より娯楽性や実用性のある画像表現を実現することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態にかかるデジタルカメラの構成を示すブロック図である。
【図２】図１に示す制御部によって実現される機能を示す機能ブロック図である。
【図３】本発明の実施形態にかかる第２のフレーム画像の構成例を説明するための図である。
【図４】図１に示す制御部によって生成される対応情報の例を示す図である。
【図５】本発明の実施形態１にかかる「多元同時再生用データ生成処理」を説明するためのフローチャートである。
【図６】本発明の実施形態２にかかる「多元同時再生処理」を説明するためのフローチャートである。
【図７】図６に示す「多元同時再生処理」での再生画面の例を示す図であり、（ａ）は、再生開始時に表示される画面の例を示し、（ｂ）および（ｃ）は、２フレーム以降が再生されている際の画面変化の例を示す。
【図８】図６に示す「多元同時再生処理」での再生画面の例を示す図であり、（ａ）は、副表示枠が選択された際の画面の例を示し、（ｂ）は、選択された副表示枠に基づいた画面遷移後の表示例を示す。
【発明を実施するための形態】
【００１６】
本発明にかかる実施形態を、図面を参照して以下に説明する。本実施形態では、本発明をデジタルカメラによって実現した場合を例示する。本実施形態にかかるデジタルカメラ１は、少なくとも、動画撮像機能を有しているものとする。すなわち、本実施形態にかかるデジタルカメラ１は、動画撮像を主機能とするデジタルビデオカメラによって実現可能であることはもとより、動画撮像機能を有するデジタルスチルカメラによって実現することもできる。
【００１７】
図１は、本発明の実施形態にかかるデジタルカメラ１の構成を示すブロック図である。本実施形態にかかるデジタルカメラ１の概略的構成は、図示するように、撮像部１００、データ処理部２００、Ｉ／Ｆ（インタフェース）部３００、などである。
【００１８】
撮像部１００は、デジタルカメラ１の撮像動作をおこなう部分であり、図示するように、光学装置１１０、光学駆動部１２０、イメージセンサ１３０、などから構成される。
【００１９】
光学装置１１０は、レンズや絞り機構などといった撮像にかかる光学部材から構成され、例えば、モータやアクチュエータ、駆動回路（ドライバ）などから構成された光学駆動部１２０によって駆動制御される。すなわち、光学駆動部１２０によって駆動制御された光学装置１１０の動作により、入射光が集光されるとともに、焦点距離や絞りなどといった、画角やピント、露出などにかかる光学的要素の調整がなされる。光学装置１１０によって集光された入射光は、イメージセンサ１３０上に結像される。
【００２０】
イメージセンサ１３０は、光学装置１１０によって結像された被写体像を示す電気信号を生成する固体撮像素子（例えば、ＣＣＤ（Charge Coupled Device：電荷結合素子）やＣＭＯＳ（Complementally Metal Oxide Semiconductor：相補型金属酸化物半導体）など）であり、画素に対応する受光素子（フォトダイオードなど）での露光に応じた電荷を発生させる光電変換をおこなうことで、被写体像を示す電気信号を生成する。
【００２１】
データ処理部２００は、撮像部１００による撮像動作によって生成された電気信号を処理し、撮像画像を示すデジタルデータを生成するとともに、撮像画像に対する画像処理などをおこなう。図１に示すように、データ処理部２００は、制御部２１０、アナログフロントエンド（ＡＦＥ：Analog Front-End）２２０、画像メモリ２３０、画像処理部２４０、画像出力部２５０、記憶部２６０、などから構成される。
【００２２】
制御部２１０は、例えば、ＣＰＵ（Central Processing Unit：中央演算処理装置）などのプロセッサや、ＲＡＭ（Random Access Memory）などの主記憶装置（メモリ）、などから構成され、後述する記憶部２６０などに格納されているプログラムを実行することで、デジタルカメラ１の各部を制御する。また、本実施形態では、所定のプログラムを実行することで、後述する各処理を実行するための機能が制御部２１０によって実現される。
【００２３】
ＡＦＥ２２０は、イメージセンサ１３０が出力するアナログ画像信号をデジタル画像データに変換する動作などをおこなう。この場合、ＡＦＥ２２０は、例えば、タイミングジェネレータやサンプルホールド回路、増幅回路、などから構成され、制御部２１０からの指示に基づいて動作することで、イメージセンサ１３０の動作と同調したデジタル変換処理をおこない、生成されたデジタル画像データを画像メモリ２３０に出力する。
【００２４】
画像メモリ２３０は、ＲＡＭやフラッシュメモリなどの半導体記憶装置から構成され、ＡＦＥ２２０によって変換されたデジタル画像データを展開する。また、本実施形態では、本発明にかかる処理（詳細後述）で用いられるバッファメモリとして画像メモリ２３０が機能する。すなわち、後述する処理で利用されるバッファ領域が、必要に応じて画像メモリ２３０内に確保される。
【００２５】
画像処理部２４０は、画像処理用のプロセッサ（いわゆる、画像処理エンジン）、などから構成され、画像メモリ２３０に展開されたデジタル画像データに対する各種の画像処理をおこなう。ここでは、ホワイトバランスや画質などの調整やデータ圧縮などがおこなわれる。
【００２６】
画像出力部２５０は、例えば、ＲＧＢ信号（画像信号）の生成回路などから構成され、画像メモリ２３０に展開されている画像処理後のデジタル画像データをＲＧＢ信号に変換し、後述する表示部３１０や外部Ｉ／Ｆ（インタフェース）３３０などに出力することで、撮像画像の表示出力をおこなう。
【００２７】
記憶部２６０は、例えば、ＲＯＭ（Read Only Memory）やフラッシュメモリなどの記憶装置から構成され、デジタルカメラ１の動作に必要なプログラムやデータなどを格納する。本実施形態では、制御部２１０などが実行する動作プログラムや処理に必要となるパラメータや演算式などが記憶部２６０に格納されているものとする。
【００２８】
Ｉ／Ｆ部３００は、デジタルカメラ１とその使用者あるいは外部装置とのインタフェースにかかる構成であり、図１に示すように、表示部３１０、操作部３２０、外部Ｉ／Ｆ（インタフェース）３３０、などから構成される。
【００２９】
表示部３１０は、例えば、液晶表示装置などから構成され、デジタルカメラ１を操作するために必要な種々の画面や、撮影時のライブビュー画像（ファインダ画像）、取得した画像の再生画面、などを表示出力する。本実施形態では、画像出力部２５０からの画像信号（ＲＧＢ信号）などに基づいて撮像画像等の表示出力がおこなわれる。
【００３０】
操作部３２０は、デジタルカメラ１の外面上に構成されている各種ボタンなどによって構成され、デジタルカメラ１の使用者による操作に応じた入力信号を生成して制御部２１０に入力する。操作部３２０を構成するボタンとして、例えば、撮像動作の開始・停止（動画像撮像時）などを指示するためのボタン（録画ボタンやシャッタボタン）や、デジタルカメラ１の動作モードを指定するためのモードボタン、各種設定をおこなうための十字キーや機能ボタン、などが含まれているものとする。
【００３１】
外部Ｉ／Ｆ３３０は、外部装置とのインタフェースであり、例えば、撮像画像を保存するメモリカードなどの外部記憶媒体が着脱されるカードスロットや、撮像した画像データをパーソナルコンピュータなどに転送するためのＵＳＢ（Universal Serial Bus）ポートなどから構成される。
【００３２】
以上が本実施形態にかかるデジタルカメラ１を構成している主要なハードウェア構成となるが、これらは本発明を実現するために必要な構成であり、デジタルカメラ（デジタルビデオカメラ、デジタルスチルカメラ）としての基本機能や種々の付加機能に用いられる構成は必要に応じて備えられているものとする。
【００３３】
以下、本発明を適用することによって、撮像した動画像における異なる撮像タイミングを起点とした複数の動画シーケンスを同時に１画面上で再生（以下、「多元同時再生」とする）することのできる動画像データを生成する手法を例示する。
【００３４】
このような動作を実現するための機能は、記憶部２６０に格納されているプログラムを制御部２１０が実行することで実現される。制御部２１０によって実現される機能構成を図２に示す。図２は、制御部２１０によって実現される機能を示した機能ブロック図であり、図示するように、制御部２１０は、動画データ取得部２１１、画像選択合成部２１２、動画データ生成部２１３、動画再生部２１４、などとして機能する。
【００３５】
動画データ取得部２１１は、多元同時再生の対象となる一連の動画シーケンス（以下、「フルシーケンスＦＳ」とする）を含んだ動画像データを取得する。本実施形態では、撮像部１００の撮像動作によって得られた動画像データを取得する。したがって、本実施形態にかかる動画データ取得部２１１は、デジタルカメラ１の撮像動作にかかる各種機能を制御するものであり、操作部３２０からの入力信号に基づいた動画撮像の開始・終了を示す指示に応じて撮像部１００やＡＦＥ２２０を制御し、デジタルカメラ１における動画撮像動作を実行させる。
【００３６】
このような動画撮像によって得られる動画像データを取得する場合、動画データ取得部２１１は、ＡＦＥ２２０によってデジタルデータに変換され画像メモリ２３０に展開されているフレーム画像を、多元同時再生用に複製し、画像メモリ２３０によって実現されているバッファ領域に展開する。このとき、動画データ取得部２１１は、取得したフレーム画像（以下、「第１のフレーム画像ＦＦ」とする）を、フルシーケンスＦＳ上の時系列に基づいて画像メモリ２３０に展開する。すなわち、第１のフレーム画像ＦＦがフルシーケンスＦＳ上で記録されたタイミングの順序で展開され、この時系列順となるよう各フレームに識別情報（以下、「フレーム番号ＦＮ１」とする）を付与する。なお、第１のフレーム画像ＦＦのそれぞれには、少なくともそのフレーム画像が記録（撮像）された時刻を示す情報（時系列情報）が撮像動作時に付されているものとする。
【００３７】
画像選択合成部２１２は、画像メモリ２３０のバッファ領域に展開された第１のフレーム画像ＦＦから、多元同時再生用の動画像データを構成する１フレーム分の表示画面に表示するフレーム画像（第１のフレーム画像ＦＦ）を選択し、選択した複数のフレーム画像（第１のフレーム画像ＦＦ）を合成して表示画面（以下、「第２のフレーム画像ＳＦ」とする）を生成する。
【００３８】
本実施形態では、例えば、図３に示すような表示画面（第２のフレーム画像ＳＦ）が画像選択合成部２１２によって生成される。図示するように、第２のフレーム画像ＳＦには、フルシーケンスＦＳにおいて基準となる記録タイミングを起点とした動画シーケンス（以下、「基準シーケンスＲＳ」とする）が表示される主表示枠ＭＷと、主表示枠ＭＷに表示される基準シーケンスＲＳと記録タイミングの異なる複数の動画シーケンスを表示するための複数の副表示枠ＳＷが配置されており、本実施形態では、主表示枠ＭＷのサイズが副表示枠ＳＷよりも大きいものとする。
【００３９】
本実施形態では、このような第２のフレーム画像ＳＦにより、記録タイミング（撮像時刻）が１秒ずつ異なる動画シーケンスを同時に表示させるための動画像データを生成することとする。この場合、主表示枠ＭＷには、基準となる記録タイミングが起点となる基準シーケンスＲＳを構成する第１のフレーム画像ＦＦが割り当てられ、副表示枠ＳＷのそれぞれには、基準シーケンスＲＳの前後で１秒間隔ずつシフトした動画シーケンスのそれぞれを構成する第１のフレーム画像ＦＦが割り当てられるものとする。
【００４０】
本実施形態では、基準シーケンスＲＳの前後４秒分の動画シーケンスが同時に再生される動画像データを生成するものとする。この場合、図３に示すように、第２のフレーム画像ＳＦには、以下のような８つの副表示枠ＳＷが配置される。
（１）基準シーケンスＲＳの４秒前の動画シーケンス（以下、「シーケンスＳＢ４」とする）を構成する第１のフレーム画像ＦＦが割り当てられる「副表示枠ＳＷ１」（２）基準シーケンスＲＳの３秒前の動画シーケンス（以下、「シーケンスＳＢ３」とする）を構成する第１のフレーム画像ＦＦが割り当てられる「副表示枠ＳＷ２」（３）基準シーケンスＲＳの２秒前の動画シーケンス（以下、「シーケンスＳＢ２」とする）を構成する第１のフレーム画像ＦＦが割り当てられる「副表示枠ＳＷ３」（４）基準シーケンスＲＳの１秒前の動画シーケンス（以下、「シーケンスＳＢ１」とする）を構成する第１のフレーム画像ＦＦが割り当てられる「副表示枠ＳＷ４」（５）基準シーケンスＲＳの１秒後の動画シーケンス（以下、「シーケンスＳＡ１」とする）を構成する第１のフレーム画像ＦＦが割り当てられる「副表示枠ＳＷ５」
（６）基準シーケンスＲＳの２秒後の動画シーケンス（以下、「シーケンスＳＡ２」とする）を構成する第１のフレーム画像ＦＦが割り当てられる「副表示枠ＳＷ６」
（７）基準シーケンスＲＳの３秒後の動画シーケンス（以下、「シーケンスＳＡ３」とする）を構成する第１のフレーム画像ＦＦが割り当てられる「副表示枠ＳＷ７」
（８）基準シーケンスＲＳの４秒後の動画シーケンス（以下、「シーケンスＳＡ４」とする）を構成する第１のフレーム画像ＦＦが割り当てられる「副表示枠ＳＷ８」
【００４１】
なお、このような副表示枠ＳＷと、主表示枠ＭＷとを含めた全ての表示枠についての通し番号（以下、「枠番号ＷＮ」とする）が付与されるものとする。ここでは、副表示枠ＳＷ１→主表示枠ＭＷ→副表示枠ＳＷ８の順に１〜９の枠番号ＷＮが付与されているものとする。
【００４２】
画像選択合成部２１２は、このような第２のフレーム画像ＳＦ（表示画面）を生成すると、第２のフレーム画像ＳＦに識別情報（以下、「フレーム番号ＦＮ２」とする）を付与する。そして、生成した第２のフレーム画像ＳＦと、当該第２のフレーム画像ＳＦ内の各表示枠に割り当てた第１のフレーム画像ＦＦとを、フルシーケンスＦＳ上での時系列によって対応づけた「対応情報」（以下、「対応情報ＬＴ」とする）を生成する。
【００４３】
画像選択合成部２１２によって生成される対応情報ＬＴの例を図４に示す。図示するように、対応情報ＬＴには、動画データ取得部２１１が取得した動画像データを構成しているフルシーケンスＦＳについての情報と画像選択合成部２１２によって生成された第２のフレーム画像ＳＦについての情報が対応づけられている。
【００４４】
フルシーケンスＦＳについての情報は、例えば、当該動画シーケンスの開始からの経過時間を示す情報（時系列情報）と、フルシーケンスＦＳを構成している第１のフレーム画像ＦＦを示すフレーム番号ＦＮ１（開始番号「１」）とが対応づけられている。ここで、フルシーケンスＦＳのフレームレートを３０ｆｐｓとした場合、時系列情報によって示される１秒間の間に３０フレーム分のフレーム番号ＦＮ１が記録されることになる。
【００４５】
第２のフレーム画像ＳＦについての情報は、例えば、生成された第２のフレーム画像ＳＦを示すフレーム番号ＦＮ２が記録されるとともに、対応する第２のフレーム画像ＳＦを構成している副表示枠ＳＷ１〜ＳＷ８および主表示枠ＭＷに割り当てられた第１のフレーム画像ＦＦがフレーム番号ＦＮ１によって記録されている。画像選択合成部２１２は、第１のフレーム画像ＦＦと同数の第２のフレーム画像ＳＦを順次生成しながら対応情報ＬＴを更新する。
【００４６】
動画データ生成部２１３は、画像選択合成部２１２によって生成された複数の第２のフレーム画像ＳＦを各フレームとした動画シーケンスとなる動画像データを生成する。すなわち、一連の動画シーケンスにおける異なるタイミングを始点とする複数の動画シーケンスが、図３に示すような表示画面によって同時に再生表示される動画像データ（以下、「多元同時再生用データ」とする）が生成される。この場合、動画データ生成部２１３は、所定の動画フォーマット（例えば、MPEGなどのような汎用的な動画フォーマット）に応じたエンコードをおこなうことで多元同時再生用データを生成し、対応情報ＬＴとともに、記憶部２６０もしくは外部Ｉ／Ｆ３３０に接続されているメモリカードなどに保存する。
【００４７】
動画再生部２１４は、動画データ生成部２１３によって生成された多元同時再生用データを含む動画ファイルを再生する動作をおこなう。すなわち、再生対象となる動画ファイルのフォーマットに応じたデコード動作をおこなうことでフレーム画像を順次再生し、画像出力部２５０を制御することで表示部３１０に表示出力する。この動作は、既知のデコードアルゴリズムなどを利用することで実現されるものとする。
【００４８】
以上が制御部２１０によって実現される機能である。なお、本実施形態では、制御部２１０がプログラムを実行することによる論理的処理で上述した各機能が実現されるものとするが、これらの機能を、例えば、ＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）などのハードウェアによって構成してもよい。
【００４９】
（実施形態１）
このような構成のデジタルカメラ１による動作例を以下に説明する。ここでは、デジタルカメラ１による動画撮像動作時に制御部２１０によって実行される「多元同時再生用データ生成処理」を、図５のフローチャートを参照して説明する。本実施形態にかかるデジタルカメラ１の動画撮像機能には、上述したような多元同時再生用データを生成するモードが用意されているものとし、このモードが選択されたことを契機に「多元同時再生用データ生成処理」が開始されるものとする。
【００５０】
処理が開始されると、動画データ取得部２１１が画像出力部２５０を制御することにより、本処理にて生成する多元同時再生用データについての設定を使用者におこなわせるための設定画面を表示部３１０に表示する（ステップＳ１０１）。
【００５１】
この設定画面では、例えば、多元同時再生用データの生成に用いられる動画のフレームレートの値（ｆｐｓ）や、生成される多元同時再生用データを再生したときに表示する表示枠の数、表示枠への画像割り当て規則、などについての入力項目が表示される。ここで、「表示枠への画像割り当て規則」は、例えば、「時間間隔：１秒」などの規則である。本実施形態では、上述したように、主表示枠ＭＷに表示する動画シーケンス（基準シーケンスＲＳ）の４秒前から４秒後の間の１秒間隔で、時間差のある動画シーケンスが各副表示枠ＳＷに表示されるものとする。この場合、表示枠数の設定は、「主表示枠：１、副表示枠：８」となる。また、フレームレートは、一般的なフレームレートである３０ｆｐｓとする。
【００５２】
デジタルカメラ１の使用者が、操作部３２０を操作することで、このような設定内容を入力し、入力内容の確定を示す操作をおこなうと（ステップＳ１０２：Ｙｅｓ）、操作部３２０により、当該入力操作に応じた入力信号が制御部２１０に入力される。この場合、動画データ取得部２１１は、入力された設定内容を画像選択合成部２１２に通知する。
【００５３】
動画データ取得部２１１からの通知に応じて、画像選択合成部２１２は、設定内容に応じた対応情報ＬＴのフォーマットを生成する（ステップＳ１０３）。すなわち、フレームレートに基づいて、単位時間（例えば、１秒間）に生成される第１のフレーム画像ＦＦの数を決定するとともに、所望される表示枠の数に応じて対応情報ＬＴのレコード数やフィールド数などを決定する。画像選択合成部２１２は、このような決定事項を反映したフォーマット（テーブル）を生成すると、制御部２１０のメモリ領域などに保持し、対応情報ＬＴのテーブル上でフレームを指定するフレームポインタＰを初期化する（ステップＳ１０４）。ここでは、先頭フレームのフレーム番号ＦＮ１を「１」とするので、初期値「１」がフレームポインタＰに指定される。
【００５４】
このようにして、対応情報ＬＴの準備ができると、画像選択合成部２１２はその旨を動画データ取得部２１１に通知する。動画データ取得部２１１は、画像出力部２５０を制御することで、動画撮像の開始可能である旨を表示部３１０に表示する。デジタルカメラ１の使用者は、この表示を視認した後、所望する撮像開始タイミングで操作部３２０の録画開始ボタンを操作する。
【００５５】
録画開始ボタンが操作されると、その旨を示す入力信号が操作部３２０から制御部２１０に入力され、動画データ取得部２１１は、撮像開始指示がなされたものと判別する（ステップＳ１０５：Ｙｅｓ）。この場合、動画データ取得部２１１が、撮像部１００およびＡＦＥ２２０を制御することで、動画撮像が開始される（ステップＳ１０６）。
【００５６】
動画撮像が開始されると、撮像によって生成された第１のフレーム画像ＦＦが順次画像メモリ２３０に展開され、時系列順にフレーム番号ＦＮ１が付与される。画像選択合成部２１２は、画像メモリ２３０にアクセスし、ステップＳ１０４で指定されたフレームポインタＰの値がフレーム番号ＦＮ１となっている第１のフレーム画像ＦＦを特定して取得する（ステップＳ１０７）。ここでは、取得した第１のフレーム画像ＦＦ（ＦＮ１＝Ｐ）を複製し、画像メモリ２３０に用意されているバッファ領域に展開する。
【００５７】
ここで、画像選択合成部２１２は、メモリに保持している対応情報ＬＴを更新する（ステップＳ１０８）。ここでは、図４に例示する対応情報ＬＴのうち、フルシーケンスＦＳについての経過時間と取得した第１のフレーム画像ＦＦのフレーム番号ＦＮ１とを対応づけて記録する。
【００５８】
本実施形態では、図３に示すような表示画面（第２のフレーム画像ＳＦ）により、基準シーケンスＲＳの４秒前からの毎秒と、基準シーケンスＲＳの４秒後までの毎秒についての動画シーケンスを同時に表示させるが、このような時間差のうち最も後になる動画シーケンス（本例の場合、基準シーケンスＲＳから４秒後となるシーケンスＳＡ４）が、該当する副表示枠ＳＷ（本例の場合、副表示枠ＳＷ８）で当初から表示され、１秒経過する毎に、基準シーケンスＲＳの３秒後であるシーケンスＳＡ３、２秒後のシーケンスＳＡ２、１秒後のシーケンスＳＡ１、基準シーケンスＲＳ、基準シーケンスＲＳの１秒前であるシーケンスＳＢ１、２秒前のシーケンスＳＢ２、３秒前のシーケンスＳＢ３、４秒前のシーケンスＳＢ４、という順で、各動画シーケンスの再生が順次開始されるものとする。
【００５９】
ここで、多元同時再生用データを構成する最初のフレーム（フレーム番号ＦＮ２が「１」となる第２のフレーム画像ＳＦ）のすべての表示枠には、フルシーケンスＦＳから取得された最初の第１のフレーム画像ＦＦ、すなわち、フレーム番号ＦＮ１が「１」の第１のフレーム画像ＦＦが表示されることとする。この場合、例えば、図４に示すように、フレーム番号ＦＮ２が「１」の第２のフレーム画像ＳＦの各表示枠には、フレーム番号ＦＮ１が「１」の第１のフレーム画像ＦＦを示す「１」が記録されることになる。
【００６０】
このように、フレーム番号ＦＮ１がＰの第１のフレーム画像ＦＦをステップＳ１０７で取得した段階で、その番号を割り当てる表示枠が明確である場合には、画像選択合成部２１２は、ステップＳ１０８の時点で割り当て可能な範囲で、Ｐ番目の第１のフレーム画像ＦＦがどの表示枠に割り当てられるかを対応情報ＬＴに記録する。
【００６１】
ここで、対応情報ＬＴ上においては、設定されたフレームレートと表示枠の数（＝枠番号ＷＮ）から、割り当てる画像のフレーム番号ＦＮ１を数式によって指定することができる。ここでは、フレームレートの数値をｆ、枠番号ＷＮの最大値をｗｍａｘ、割り当て対象となる表示枠の枠番号ＷＮをｗｔｇｔ、当該表示枠に割り当てる第１のフレーム画像ＦＦのフレーム番号ＦＮ１の値をｎ、当該第２のフレーム画像ＳＦのフレーム番号ＦＮ２の値をｍ、とした場合、以下の数式によってｎを求めることができる。
【００６２】
（数１）
ｎ＝ｍ−｛（ｗｍａｘ−ｗｔｇｔ）×ｆ｝
なお、ｎ＜１の場合は、ｎに１を代入（ｎ＝１）する。
【００６３】
多元同時再生用として画像メモリ２３０のバッファ領域に展開した第１のフレーム画像ＦＦについて、対応情報ＬＴ上で表示枠に割り当てると、画像選択合成部２１２は、図３に示すような第２のフレーム画像ＳＦを生成し、対応情報ＬＴに基づいて、各表示枠に当該第１のフレーム画像ＦＦを割り当てて合成する（ステップＳ１０９）。例えば、フレーム番号ＦＮ２が「１」の第２のフレーム画像ＳＦについては、フレーム番号ＦＮ１が「１」の第１のフレーム画像ＦＦをすべての表示枠に割り当てるので、画像選択合成部２１２は、画像メモリ２３０のバッファ領域に展開している当該第１のフレーム画像ＦＦを、各表示枠の大きさに合うようリサイズなどした上ではめ込んで合成する。
【００６４】
このようにして、１枚目の第１のフレーム画像ＦＦ（フレーム番号ＦＮ１：「１」）に対応する第２のフレーム画像ＳＦ（フレーム番号ＦＮ２：「１」）を生成すると、画像選択合成部２１２は、生成した第２のフレーム画像ＳＦの情報を対応情報ＬＴに記録して更新する（ステップＳ１１０）。
【００６５】
ここで、実行している動画撮像を終了する指示の入力がなければ（ステップＳ１１１：Ｎｏ）、画像選択合成部２１２は、フレームポインタＰを＋１し（ステップＳ１１２）、ステップＳ１０７以降の処理をおこなう。すなわち、フレーム番号ＦＮ１が「２」以降の各フレーム画像を順次取得し、対応情報ＬＴに基づいた表示枠への割り当てによって第２のフレーム画像ＳＦを順次生成し、画像メモリ２３０のバッファ領域に展開する。
【００６６】
デジタルカメラ１の使用者が操作部３２０を操作し、動画撮像の停止を指示すると（ステップＳ１１１：Ｙｅｓ）、動画データ取得部２１１は、撮像部１００およびＡＦＥ２２０を制御することで動画撮像動作を終了させる（ステップＳ１１３）。このとき動画データ取得部２１１は、動画撮像動作を終了させたことを画像選択合成部２１２と動画データ生成部２１３に通知する。
【００６７】
この場合、画像選択合成部２１２は、上述したような、取得した第１のフレーム画像ＦＦを表示枠に割り当てて第２のフレーム画像ＳＦを生成する動作を終了する。ここまで生成された複数の第２のフレーム画像ＳＦは、画像メモリ２３０のバッファ領域に展開されているので、動画データ生成部２１３は、これらの第２のフレーム画像ＳＦを、フレーム番号ＦＮ２の順に再生される動画ファイルとするためのエンコードをおこなう（ステップＳ１１４）。ここでは、汎用的な動画像フォーマット（例えば、MPEGなど）に基づいたエンコードをおこなうことで、第２のフレーム画像ＳＦをフレーム画像とした動画像データ（動画ファイル）が生成される。なお、動画データ生成部２１３は、生成した動画ファイルが再生される際に、各第２のフレーム画像ＳＦを構成している副表示枠ＳＷが選択可能となるようなエンコードをおこなうものとする。ここでは、既知のオーサリング手法などを用いることにより、表示枠が選択可能となるようエンコードする。
【００６８】
このようなエンコードによって、第２のフレーム画像ＳＦをフレーム画像とした動画ファイルを生成すると、動画データ生成部２１３は、当該動画ファイルを、画像選択合成部２１２が生成した対応情報ＬＴとともに保存して処理を終了する（ステップＳ１１５）。この場合、デジタルカメラ１の使用者が所望する保存先に保存するものとし、例えば、デジタルカメラ１の内部にある記憶部２６０が保存先に指定された場合は、画像選択合成部２１２および動画データ生成部２１３は、当該動画ファイルと、対応する対応情報ＬＴとを記憶部２６０内に保存する。また、メモリカードや他の機器内の記憶装置が保存先に指定されている場合は、外部Ｉ／Ｆ３３０を介して指定された保存先に、動画ファイルと対応情報ＬＴを保存する。
【００６９】
以上のように、本実施形態にかかる「多元同時再生用データ生成処理」をデジタルカメラ１でおこなうことで、デジタルカメラ１で撮像した動画像に含まれている一連の動画シーケンスから、複数の異なるタイミングで開始する複数の動画シーケンスが１画面上に同時に表示される画像効果を有する動画像データ（動画ファイル）を生成することができる。
【００７０】
この場合において、複数の表示枠にタイミングの異なる複数の動画シーケンスを表示させる画面となるよう撮像した動画データからフレーム画像を合成し、合成後の画面がフレームとなるよう汎用的な動画フォーマットで動画像データを生成するので、当該動画像データを生成したデジタルカメラ１だけでなく、他の再生装置でも同様の画像効果となる再生をおこなうことができる。
【００７１】
なお、上記本実施形態では、上述したような多元同時再生用データを生成する機能を備えた撮像装置（デジタルカメラ１）において、動画撮像と並行して多元同時再生用データを再生する場合を例示したが、多元同時再生用データを生成する装置は撮像装置に限られるものではない。すなわち、動画を構成しているフレーム画像を取得できるのであれば、すでに生成済の動画ファイルなどから多元同時再生用データを生成することができ、この場合は撮像機能を備えている必要はない。
【００７２】
このような既存の動画像データから多元同時再生用データを生成する場合においても、基本的には、上述したような「多元同時再生用データ生成処理」（図５）と同様の処理によって多元同時再生用データを生成することができる。この場合は、同処理における撮像動作に代えて、取得した動画像データを再生することで各フレーム画像（第１のフレーム画像ＦＦに相当）を展開し、これを多元同時再生用にバッファするようにすれば、第２のフレーム画像ＳＦに相当するフレーム画像が生成され、多元同時再生用データを生成することができる。
【００７３】
（実施形態２）
本実施形態では、上記実施形態１で生成された多元同時再生用データを再生する場合の処理や動作を説明する。上述したように、実施形態１で生成された多元同時再生用データ（動画ファイル）は、汎用的な動画フォーマットでエンコードされているため、デジタルカメラ１以外の装置であっても再生することができるが、本実施形態では、当該動画ファイルをデジタルカメラ１で再生する場合を例に説明する。
【００７４】
多元同時再生用データを再生する際にデジタルカメラ１で実行される「多元同時再生処理」を、図６に示すフローチャートを参照して説明する。この「多元同時再生処理」は、例えば、デジタルカメラ１の動画再生機能が有効となるよう操作され、再生対象として多元同時再生用データが選択されたことを契機に開始される。
【００７５】
処理が開始されると、動画再生部２１４は、選択された多元同時再生用データとともに保存されている対応情報ＬＴをロードし、制御部２１０のメモリに保持する（ステップＳ２０１）。
【００７６】
対応情報ＬＴをロードすると、動画再生部２１４は画像出力部２５０を制御し、多元同時再生に用意されている再生モードを使用者（操作者）に選択させるためのモード選択画面を表示部３１０に表示する（ステップＳ２０２）。
【００７７】
上記実施形態１で生成された多元同時再生用データは、上述したように、各第２のフレーム画像ＳＦ内の副表示枠ＳＷを選択可能に再生できるようエンコードされている。このような多元同時再生用データを再生する際の再生モードとして、本実施形態では、「画面遷移モード」と「静止画記録モード」が用意されているものとする。
【００７８】
「画面遷移モード」は、多元同時再生中に副表示枠ＳＷのいずれかが選択された場合、そのとき当該副表示枠ＳＷに表示されている画像が主表示枠ＭＷに表示されている第２のフレーム画像ＳＦに遷移することで、早戻し／早送りとなるように再生するモードである。
【００７９】
また、「静止画記録モード」は、再生中の動画を構成するフレーム画像を静止画像として記録する動作において、選択された副表示枠ＳＷに表示されている画像を記録するモードである。
【００８０】
デジタルカメラ１の使用者は、操作部３２０を操作することで、これらの再生モードのうち所望するモードを選択し、選択を確定する操作をおこなうと、当該操作を示す入力信号が操作部３２０から制御部２１０に入力され、動画再生部２１４は、再生モードが確定されたと判別する（ステップＳ２０３：Ｙｅｓ）。
【００８１】
再生モードが確定すると、動画再生部２１４は、対象となっている多元同時再生用データをデコードして再生を開始する（ステップＳ２０４）。この場合、動画再生部２１４は、デコードしたフレーム画像を画像メモリ２３０に順次展開し、画像出力部２５０を制御することで、図７（ａ）に示すような表示画面を表示部３１０に表示出力する。この場合において、動画再生部２１４は、動画データ生成部２１３でのエンコードに基づき、表示画面内の各副表示枠ＳＷが、使用者が操作部３２０を操作することで選択可能となるように表示出力する（ステップＳ２０５）。
【００８２】
このような再生動作により、一連の動画シーケンスにおける異なるタイミングを起点とする複数の動画シーケンスが、１画面上で同時に再生されることになる。例えば、上記実施形態１で例示したように、第２のフレーム画像ＳＦの先頭ではすべての表示枠にフレーム番号ＦＮ１が「１」となる画像が表示され、時間差が最も後になる表示枠から再生が開始されるとすると、当該動画ファイルの再生開始時（すなわち、フレーム番号ＦＮ２が「１」の第２のフレーム画像ＳＦが表示されたとき）には、図７（ａ）に示すように、すべての表示枠に同じ画像が表示され、フレーム番号ＦＮ２が「２」以降の第２のフレーム画像ＳＦでは、図７（ｂ）〜図７（ｃ）に示すように、副表示枠ＳＷ８のみが動画として表示されることになる（図７の例では、幾何学的な形状が１秒毎に変化する様子を撮影した動画ファイルを再生しているものとする）。各表示枠における動画シーケンスの開始タイミングは１秒ずつずれているので、再生開始から８秒後にすべての表示枠で動画表示となる。
【００８３】
すなわち、同じ動画シーケンスからの映像ではあるが、異なるタイミングで再生が開始された複数の動画シーケンスが１つの画面内に同時に表示される（＝多元同時再生）。このような多元同時再生のときに、デジタルカメラ１の使用者が操作部３２０を操作することで、例えば、図８（ａ）に示すように、表示されている複数の副表示枠ＳＷのうちの１を選択した場合（ステップＳ２０６：Ｙｅｓ）、動画再生部２１４は、その時点で再生を一時停止（ポーズ）する（ステップＳ２０７）。
【００８４】
この場合、動画再生部２１４は、ステップＳ２０２で表示したモード選択画面で選択された表示モードが「画面遷移モード」であるか否かを判別する（ステップＳ２０８）。
【００８５】
使用者が選択した表示モードが「画面遷移モード」である場合（ステップＳ２０８：Ｙｅｓ）、動画再生部２１４は、ステップＳ２０１でロードした対応情報ＬＴを参照することで、選択された副表示枠ＳＷで表示している第１のフレーム画像ＦＦを特定する（ステップＳ２０９）。ここでは、再生開始からの経過時間と同じ経過時間を示している対応情報ＬＴ上のレコードを特定し、当該レコードにおいて、選択された副表示枠ＳＷの欄に記録されているフレーム番号ＦＮ１により、第１のフレーム画像ＦＦを特定する。
【００８６】
選択された副表示枠ＳＷにおける第１のフレーム画像ＦＦを特定すると、動画再生部２１４は、当該第１のフレーム画像ＦＦが主表示枠ＭＷに表示されている第２のフレーム画像ＳＦがいずれであるかを特定する（ステップＳ２１０）。この場合、対応情報ＬＴの主表示枠ＭＷの欄を走査することで、特定した第１のフレーム画像ＦＦのフレーム番号ＦＮ１が記録されている箇所を探索するなどして、当該第１のフレーム画像ＦＦが主表示枠ＭＷに表示される第２のフレーム画像ＳＦを特定する。なお、以下の数式を演算することにより移動量を算出してもよい。ここでは、フレームレートの数値をｆ、主表示枠ＭＷの枠番号ＷＮをｗｒｅｆ、選択された副表示枠ＳＷの枠番号ＷＮをｗｓｅｌ、第２のフレーム画像ＳＦの移動数をｑ、とした場合、以下の数式によってｑを求めることができる。
【００８７】
（数２）
ｑ＝（ｗｓｅｌ−ｗｒｅｆ）×ｆ
【００８８】
本実施形態で例示している表示形態の場合、主表示枠ＭＷの枠番号ＷＮは「５」（＝ｗｒｅｆ）であり、フレームレートは３０ｆｐｓ（＝ｆ）としているので、図８（ａ）の例のように副表示枠ＳＷ７が選択された場合、副表示枠ＳＷ７の枠番号ＷＮが「８」（＝ｗｓｅｌ）になるので、上記数２の演算により、画面を遷移させるための移動数はｑ＝９０となる。この場合、図８（ａ）に示している第２のフレーム画像ＳＦのフレーム番号ＦＮ２に９０を加算した値がフレーム番号ＦＮ２となっている第２のフレーム画像ＳＦの主表示枠ＭＷに、図８（ａ）の副表示枠ＳＷ７で表示している画像が表示されていることになる。
【００８９】
なお、ｑの値が正の場合は、第２のフレーム画像ＳＦのフレーム番号ＦＮ２を＋ｑした第２のフレーム画像ＳＦの主表示枠ＭＷに、選択された副表示枠ＳＷに表示している画像が表示されていることになる。また、ｑの値が負の場合も同様に、第２のフレーム画像ＳＦのフレーム番号ＦＮ２を＋ｑした第２のフレーム画像ＳＦの主表示枠ＭＷに、選択された副表示枠ＳＷに表示している画像が表示されていることになる。
【００９０】
このようにして、選択された副表示枠ＳＷに表示されている画像が主表示枠ＭＷに表示されている第２のフレーム画像ＳＦを特定すると、動画再生部２１４は、特定した第２のフレーム画像ＳＦから再生を再開する（ステップＳ２１１）。
【００９１】
すなわち、主表示枠ＭＷに表示している基準シーケンスＲＳよりも時間的に後となる動画シーケンスを表示している副表示枠ＳＷ５〜ＳＷ８が選択された場合にはｑの値が正となり、この値の移動量で第２のフレーム画像ＳＦを遷移させると、主表示枠ＭＷには、時間的に後の映像が表示されることになるので、実質的に早送りをしたことになる。
【００９２】
一方、主表示枠ＭＷに表示している基準シーケンスＲＳよりも時間的に前となる動画シーケンスを表示している副表示枠ＳＷ１〜ＳＷ４が選択された場合にはｑの値が負となり、この値の移動量で第２のフレーム画像ＳＦを遷移させると、主表示枠ＭＷには、時間的に前の映像が表示されることになるので、実質的に早戻しをしたことになる。
【００９３】
また、使用者によって選択された再生モードが「静止画記録モード」である場合（ステップＳ２０８：Ｎｏ）、動画再生部２１４は、ステップＳ２０９およびステップＳ２１０と同様の動作によって、選択された副表示枠ＳＷに表示されている第１のフレーム画像ＦＦが主表示枠ＭＷに表示される第２のフレーム画像ＳＦを特定し（ステップＳ２１２）、当該第２のフレーム画像ＳＦの主表示枠ＭＷに割り当てられている第１のフレーム画像ＦＦを、静止画像の画像データとして保存する（ステップＳ２１３）。
【００９４】
本実施形態では、副表示枠ＳＷのサイズが主表示枠ＭＷよりも小さいため、副表示枠ＳＷに割り当てられた第１のフレーム画像ＦＦは縮小するようリサイズされている。よって、使用者が静止画像として記録したい画像を副表示枠ＳＷで見つけた場合にその画像をそのまま記録しては、サイズの小さい画像が記録されてしまう。このため、当該画像が主表示枠ＭＷに表示されている第２のフレーム画像ＳＦを特定し、縮小されていない画像を静止画像として記録する。
【００９５】
動画再生部２１４は、対象となる画像を、例えば、記憶部２６０やメモリカードなどに保存すると、ステップＳ２０７で一時停止させた第２のフレーム画像ＳＦから再生を再開する（ステップＳ２１４）。
【００９６】
このような再生動作は、所定の再生終了イベント（例えば、再生終了指示の入力や動画ファイルの再生完了、など）が発生するまでおこなわれ（ステップＳ２１５：Ｎｏ）、副表示枠ＳＷが選択される度に、ステップＳ２０９〜ステップＳ２１１またはステップＳ２１２〜ステップＳ２１４の動作がおこなわれる。
【００９７】
そして、再生終了イベントの発生により（ステップＳ２１５：Ｙｅｓ）、本処理は終了する。
【００９８】
このような多元同時再生により、同じ被写体の動画であっても、開始タイミングを異ならせた複数の動画シーケンスとして同時に表示することができるので、娯楽性のある画像効果のある動画再生とすることができる。この場合において、記録タイミングの異なるフレーム画像を合成した画面（画像）を新たなフレーム画像として動画像データを生成しているので、元の動画のフレームレートが再生時のフレームレートに影響しない。よって、例えば、３００ｆｐｓなどの高フレームレートで撮影された動画から多元同時再生用データを生成した場合、これを３０ｆｐｓで再生することもできる。このため、いわゆるハイスピード撮影した動画をスロー再生する場合などにも多元同時再生をおこなうことができる。
【００９９】
また、副表示枠ＳＷを選択することにより、早送りや早戻しなどの画面遷移をおこなうことができるので、より実用性をもった動画再生とすることができる。
【０１００】
さらに、再生中の動画から任意のシーンを静止画像（スチル画像）として取り出したい場合でも、同時に表示されている複数の動画シーケンスから所望する画像を選択することができるので、効率的に所望する画像を選択することができる。
【０１０１】
以上説明したように、本発明を上記実施形態の如く適用することにより、より娯楽性や実用性のある画像表現を実現することができる。
【０１０２】
上記実施形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。
【０１０３】
例えば、上記実施形態では、１つの主表示枠ＭＷと複数の副表示枠ＳＷが配置される第２のフレーム画像ＳＦの例を示したが、表示枠の数や配置位置やサイズなどは任意である。
【０１０４】
また、上記実施形態では、１秒毎にタイミングを異ならせた動画表示を例示したが、表示枠毎の再生を異ならせる条件はこれに限られない。例えば、取得した動画のフレーム間の変化量に基づいてシーンチェンジの箇所を判別することで、複数のシーンが同時に再生されるようにしてもよい。
【０１０５】
なお、上記実施形態のように、本発明を一般のデジタルカメラに適用することで、より娯楽性のある画像表現を実現できることはもとより、例えば、防犯カメラやドライブレコーダなどに本発明を適用することにより、記録された映像の解析をより効率的におこなうことができる。
【０１０６】
なお、本発明を上記実施形態で例示したデジタルカメラ１のような撮像装置で実現する場合においては、本発明にかかる構成や機能を予め備えた撮像装置として提供できる他、制御部２１０の各機能と同様の機能を実現するプログラムを適用することにより、既存の撮像装置を本発明にかかる画像処理装置として機能させることもできる。
【０１０７】
なお、上記実施形態では、撮像装置の例として、動画撮像機能を有するデジタルスチルカメラを示したが、撮像装置の形態は任意であり、単体のデジタルビデオカメラやデジタルスチルカメラで実現可能であることはもとより、これと同様の撮像機能を備えた種々の電子機器に本発明を適用してもよい。
【０１０８】
また、本発明を適用する装置は撮像装置でなくてもよく、動画ファイルを再生する機能のある装置であれば本発明を適用することで、上記実施形態で例示したような多元同時再生用データの生成や多元同時再生をおこなうことができる。
【０１０９】
いずれの場合でも、プログラムを適用することで、既存の装置を本発明にかかる画像処理装置として機能させることができる。
【０１１０】
このようなプログラムの適用方法は任意であり、例えば、ＣＤ−ＲＯＭやメモリカードなどの記憶媒体に格納して適用できる他、例えば、インターネットなどの通信媒体を介して適用することもできる。
【符号の説明】
【０１１１】
１…デジタルカメラ、１００…撮像部、１１０…光学装置、１２０…光学駆動部、１３０…イメージセンサ、２００…データ処理部、２１０…制御部、２１１…動画データ取得部、２１２…画像選択合成部、２１３…動画データ生成部、２１４…動画再生部、２２０…ＡＦＥ（アナログフロントエンド）、２３０…画像メモリ、２４０…画像処理部、２５０…画像出力部、２６０…記憶部、３００…Ｉ／Ｆ（インタフェース）部、３１０…表示部、３２０…操作部、３３０…外部Ｉ／Ｆ（インタフェース）、ＦＳ…フルシーケンス、ＦＦ…第１のフレーム画像、ＳＦ…第２のフレーム画像、ＲＳ…基準シーケンス、ＭＷ…主表示枠、ＳＷ…副表示枠、ＦＮ１…（第１のフレーム画像ＦＦの）フレーム番号、ＦＮ２…（第２のフレーム画像ＳＦの）フレーム番号、ＷＮ…枠番号
【特許請求の範囲】
【請求項１】
一連の動画シーケンスが記録された動画像データを取得する動画像データ取得手段と、
前記動画像データ取得手段が取得した動画像データを構成しているフレーム画像を、前記動画シーケンス上の時系列で展開してバッファするバッファ手段と、
前記バッファ手段が展開したフレーム画像から、前記動画シーケンス上での記録タイミングが異なる２以上のフレーム画像を選択する画像選択手段と、
複数の表示枠を有する表示画面を生成し、前記画像選択手段が選択した複数のフレーム画像のそれぞれを、前記表示枠のそれぞれに割り当てて合成する画像合成手段と、
前記画像合成手段によって合成された表示画面をフレーム画像とした動画像データを生成する動画生成手段と、
少なくとも、前記画像合成手段が生成した表示画面毎の識別情報と、該表示画面の表示枠それぞれを示す識別情報と、該表示枠に割り当てたフレーム画像を示す識別情報と、前記動画シーケンス上での時系列を示す時系列情報と、を対応づけた対応情報を生成し、前記動画生成手段が生成した動画像データとともに記録する対応情報記録手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記画像選択手段は、前記バッファ手段が展開したフレーム画像の時系列に基づいて、所定の時間差で記録されたフレーム画像を複数選択する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像合成手段は、前記画像選択手段が選択したフレーム画像のうち、基準となる記録タイミングを起点としたシーケンスを構成するフレーム画像が割り当てられる少なくとも一の主表示枠と、該主表示枠に割り当てられたフレーム画像とは記録タイミングの異なるフレーム画像が割り当てられる１以上の副表示枠と、を有する表示画面を生成する、
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記動画生成手段が生成した動画像データを再生し、前記表示画面の副表示枠が選択可能となるよう表示装置に表示出力する再生手段をさらに備え、
該再生手段は、表示出力する表示画面上で副表示枠が選択された場合、前記対応情報に基づいて、選択された副表示枠に割り当てられているフレーム画像が前記主表示枠に割り当てられている表示画面を特定し、該特定した表示画面から再生されるよう表示出力する、
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記動画生成手段が生成した動画像データを再生し、前記表示画面の副表示枠が選択可能となるよう表示装置に表示出力する再生手段をさらに備え、
該再生手段は、表示出力する表示画面上で副表示枠が選択された場合、前記対応情報に基づいて、選択された副表示枠に割り当てられているフレーム画像が前記主表示枠に割り当てられている表示画面を特定し、該特定した表示画面の前記主表示枠に割り当てられているフレーム画像を記録する、
ことを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記動画像データ取得手段は、
撮像動作によって一連の動画シーケンスを記録して前記動画像データを生成する撮像手段をさらに備える、
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
一連の動画シーケンスが記録された動画像データを取得する動画像データ取得ステップと、
前記動画像データ取得ステップで取得された動画像データを構成しているフレーム画像を、前記動画シーケンス上の時系列で展開してバッファするバッファステップと、
前記バッファステップで展開されたフレーム画像から、前記動画シーケンス上での記録タイミングが異なる２以上のフレーム画像を選択する画像選択ステップと、
複数の表示枠を有する表示画面を生成し、前記画像選択ステップで選択された複数のフレーム画像のそれぞれを、前記表示枠のそれぞれに割り当てて合成する画像合成ステップと、
前記画像合成ステップで合成された表示画面をフレーム画像とした動画像データを生成する動画生成ステップと、
少なくとも、前記画像合成ステップで生成された表示画面毎の識別情報と、該表示画面の表示枠それぞれを示す識別情報と、該表示枠に割り当てたフレーム画像を示す識別情報と、前記動画シーケンス上での時系列を示す時系列情報と、を対応づけた対応情報を生成し、前記動画生成ステップで生成された動画像データとともに記録する画像情報記録ステップと、
を含むことを特徴とする動画生成方法。
【請求項８】
コンピュータに、
一連の動画シーケンスが記録された動画像データを取得する機能と、
取得した動画像データを構成しているフレーム画像を、前記動画シーケンス上の時系列で展開してバッファする機能と、
展開されたフレーム画像から、前記動画シーケンス上での記録タイミングが異なる２以上のフレーム画像を選択する機能と、
複数の表示枠を有する表示画面を生成し、前記選択された複数のフレーム画像のそれぞれを、前記表示枠のそれぞれに割り当てて合成する機能と、
合成された表示画面をフレーム画像とした動画像データを生成する機能と、
少なくとも、生成した表示画面毎の識別情報と、該表示画面の表示枠それぞれを示す識別情報と、該表示枠に割り当てたフレーム画像を示す識別情報と、前記動画シーケンス上での時系列を示す時系列情報と、を対応づけた対応情報を生成し、前記生成した動画像データとともに記録する機能と、
を実現させることを特徴とするプログラム。
【請求項１】
一連の動画シーケンスが記録された動画像データを取得する動画像データ取得手段と、
前記動画像データ取得手段が取得した動画像データを構成しているフレーム画像を、前記動画シーケンス上の時系列で展開してバッファするバッファ手段と、
前記バッファ手段が展開したフレーム画像から、前記動画シーケンス上での記録タイミングが異なる２以上のフレーム画像を選択する画像選択手段と、
複数の表示枠を有する表示画面を生成し、前記画像選択手段が選択した複数のフレーム画像のそれぞれを、前記表示枠のそれぞれに割り当てて合成する画像合成手段と、
前記画像合成手段によって合成された表示画面をフレーム画像とした動画像データを生成する動画生成手段と、
少なくとも、前記画像合成手段が生成した表示画面毎の識別情報と、該表示画面の表示枠それぞれを示す識別情報と、該表示枠に割り当てたフレーム画像を示す識別情報と、前記動画シーケンス上での時系列を示す時系列情報と、を対応づけた対応情報を生成し、前記動画生成手段が生成した動画像データとともに記録する対応情報記録手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記画像選択手段は、前記バッファ手段が展開したフレーム画像の時系列に基づいて、所定の時間差で記録されたフレーム画像を複数選択する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像合成手段は、前記画像選択手段が選択したフレーム画像のうち、基準となる記録タイミングを起点としたシーケンスを構成するフレーム画像が割り当てられる少なくとも一の主表示枠と、該主表示枠に割り当てられたフレーム画像とは記録タイミングの異なるフレーム画像が割り当てられる１以上の副表示枠と、を有する表示画面を生成する、
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記動画生成手段が生成した動画像データを再生し、前記表示画面の副表示枠が選択可能となるよう表示装置に表示出力する再生手段をさらに備え、
該再生手段は、表示出力する表示画面上で副表示枠が選択された場合、前記対応情報に基づいて、選択された副表示枠に割り当てられているフレーム画像が前記主表示枠に割り当てられている表示画面を特定し、該特定した表示画面から再生されるよう表示出力する、
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記動画生成手段が生成した動画像データを再生し、前記表示画面の副表示枠が選択可能となるよう表示装置に表示出力する再生手段をさらに備え、
該再生手段は、表示出力する表示画面上で副表示枠が選択された場合、前記対応情報に基づいて、選択された副表示枠に割り当てられているフレーム画像が前記主表示枠に割り当てられている表示画面を特定し、該特定した表示画面の前記主表示枠に割り当てられているフレーム画像を記録する、
ことを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記動画像データ取得手段は、
撮像動作によって一連の動画シーケンスを記録して前記動画像データを生成する撮像手段をさらに備える、
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
一連の動画シーケンスが記録された動画像データを取得する動画像データ取得ステップと、
前記動画像データ取得ステップで取得された動画像データを構成しているフレーム画像を、前記動画シーケンス上の時系列で展開してバッファするバッファステップと、
前記バッファステップで展開されたフレーム画像から、前記動画シーケンス上での記録タイミングが異なる２以上のフレーム画像を選択する画像選択ステップと、
複数の表示枠を有する表示画面を生成し、前記画像選択ステップで選択された複数のフレーム画像のそれぞれを、前記表示枠のそれぞれに割り当てて合成する画像合成ステップと、
前記画像合成ステップで合成された表示画面をフレーム画像とした動画像データを生成する動画生成ステップと、
少なくとも、前記画像合成ステップで生成された表示画面毎の識別情報と、該表示画面の表示枠それぞれを示す識別情報と、該表示枠に割り当てたフレーム画像を示す識別情報と、前記動画シーケンス上での時系列を示す時系列情報と、を対応づけた対応情報を生成し、前記動画生成ステップで生成された動画像データとともに記録する画像情報記録ステップと、
を含むことを特徴とする動画生成方法。
【請求項８】
コンピュータに、
一連の動画シーケンスが記録された動画像データを取得する機能と、
取得した動画像データを構成しているフレーム画像を、前記動画シーケンス上の時系列で展開してバッファする機能と、
展開されたフレーム画像から、前記動画シーケンス上での記録タイミングが異なる２以上のフレーム画像を選択する機能と、
複数の表示枠を有する表示画面を生成し、前記選択された複数のフレーム画像のそれぞれを、前記表示枠のそれぞれに割り当てて合成する機能と、
合成された表示画面をフレーム画像とした動画像データを生成する機能と、
少なくとも、生成した表示画面毎の識別情報と、該表示画面の表示枠それぞれを示す識別情報と、該表示枠に割り当てたフレーム画像を示す識別情報と、前記動画シーケンス上での時系列を示す時系列情報と、を対応づけた対応情報を生成し、前記生成した動画像データとともに記録する機能と、
を実現させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−６６７９６（Ｐ２０１１−６６７９６Ａ）
【公開日】平成２３年３月３１日（２０１１．３．３１）
【国際特許分類】
【出願番号】特願２００９−２１７３０６（Ｐ２００９−２１７３０６）
【出願日】平成２１年９月１８日（２００９．９．１８）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２３年３月３１日（２０１１．３．３１）
【国際特許分類】
【出願日】平成２１年９月１８日（２００９．９．１８）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]