画像処理装置及びプログラム
【課題】現実味のある合成動画を作成すること。
【解決手段】データ処理部１３は、第１のフレームレートを有する背景動画と、第２のフレームレートを有する前景動画を合成し、合成動画を生成する。この場合、フレーム複製部６３は、第１のフレームレートと第２のフレームレートとを比較し、前景動画及び背景動画のうち、高いフレームレートの方の動画の再生速度に合わせて、低いフレームレートの方の動画に含まれる各フレームの画像データを複製する。フレーム合成部６４は、再生時の再生速度が互いに適合するように、前景動画及び背景動画のうち、フレーム複製部６３により複製されたフレームを含む複数のフレームから構成される方の動画の画像データと、他方の動画の画像データとをフレーム単位で順次合成する。これにより、背景と前景が合成された正規の画角を有する複数のフレームから構成される合成動画の画像データが生成される。
【解決手段】データ処理部１３は、第１のフレームレートを有する背景動画と、第２のフレームレートを有する前景動画を合成し、合成動画を生成する。この場合、フレーム複製部６３は、第１のフレームレートと第２のフレームレートとを比較し、前景動画及び背景動画のうち、高いフレームレートの方の動画の再生速度に合わせて、低いフレームレートの方の動画に含まれる各フレームの画像データを複製する。フレーム合成部６４は、再生時の再生速度が互いに適合するように、前景動画及び背景動画のうち、フレーム複製部６３により複製されたフレームを含む複数のフレームから構成される方の動画の画像データと、他方の動画の画像データとをフレーム単位で順次合成する。これにより、背景と前景が合成された正規の画角を有する複数のフレームから構成される合成動画の画像データが生成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びプログラムに関し、特に、より現実味のある合成動画を作成することを可能にする技術に関する。
【背景技術】
【０００２】
従来より、フレームレートを共通にして撮像領域を分割して別個に動画撮影し、その後分割された各領域を合わせることにより、本来の撮像領域で撮像されたかのような合成動画を生成する技術が存在する（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２４４７９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術では、単に撮像領域を分割しただけなので、背景画像の内容（画角や明るさ）が互いに異なっていた場合、合成しても現実味が不足するという課題があった。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、より現実味のある合成動画を作成することを可能とする。
【課題を解決するための手段】
【０００６】
本発明の第１の観点によると、
正規の画角を有し第１のフレームレートを有する第１の動画の画像データと、正規の画角内に主要被写体像領域を含むと共に当該主要被写体像領域を除く領域を透過情報領域として含む、第２のフレームレートを有する第２の動画の画像データとを合成することによって、正規の画角を有した合成動画の画像データを生成する画像処理装置において、
前記第１のフレームレートと前記第２のフレームレートとを比較し、前記第１の動画及び前記第２の動画のうち、高いフレームレートの方の動画の再生速度に合わせて、低いフレームレートの方の動画に含まれる各フレームの画像データを複製する複製手段と、
再生時の再生速度が互いに適合するように、前記第１の動画及び前記第２の動画のうち、前記複製手段により複製されたフレームを含む複数のフレームから構成される方の動画の画像データと、他方の動画の画像データとをフレーム単位で順次合成することによって、前記合成動画の画像データを生成する合成手段と、
前記合成手段によって生成された前記合成動画の画像データを、新たな動画の画像データとして記録する記録手段と、
を備える画像処理装置を提供する。
【０００７】
本発明の第２の観点によると、
前記合成手段は、前記第２の動画の再生時間に相当するフレーム数について合成することによって、当該フレーム数のフレームからなる前記合成動画の画像データを生成する、
画像処理装置を提供する。
【０００８】
本発明の第３の観点によると、
前記第１のフレームレートと前記第２のフレームレートとの対応関係と、前記複製手段の処理内容又は前記合成手段の処理内容の少なくとも一方と、を対応付けた情報である処理内容情報を記憶する処理内容記憶手段をさらに備え、
前記複製手段又は前記合成手段の少なくとも一方は、合成対象の前記第１の動画の前記第１のフレームレートと合成対象の前記第２の動画の前記第２のフレームレートとの対応関係に対して対応づけられた処理内容を、前記処理内容記憶手段に記憶された前記処理内容情報から読み出して、読み出した前記処理内容に従った処理を実行する、
画像処理装置を提供する。
【０００９】
本発明の第４の観点によると、
前記第１のフレームレートと前記第２のフレームレートとから、前記複製手段によって複製されるフレームの数を演算する演算手段を、
さらに備える画像処理装置を提供する。
【００１０】
本発明の第５の観点によると、
前記正規の画角の範囲内で撮像する撮像手段と、
前記第１のフレームレート又は前記第２のフレームレートに基づいて前記撮像手段を連続駆動させることによって、複数の画像の画像データを取得し、取得した前記複数の画像の各々をフレームとして含む前記第１の動画又は前記第２の動画の画像データを生成すると共に、前記撮像手段が連続駆動したときのフレームレートを特定する情報を付加情報として、前記画像データに付与する画像取得手段と、
をさらに備える画像処理装置を提供する。
【００１１】
本発明の第６の観点によると、
前記第１の動画又は前記第２の動画の少なくとも一方には音声データが記録されており、
前記記録手段は、さらに、前記新たな動画の画像データに対して、前記音声データを付与して記録する、
画像処理装置を提供する。
【００１２】
本発明の第７の観点によると、
正規の画角を有し第１のフレームレートを有する第１の動画の画像データと、正規の画角内に主要被写体像領域を含むと共に当該主要被写体像領域を除く領域を透過情報領域として含む、第２のフレームレートを有する第２の動画の画像データとを合成することによって、正規の画角を有した合成動画の画像データを生成する画像処理装置を制御するコンピュータに、
前記第１のフレームレートと前記第２のフレームレートとを比較し、前記第１の動画及び前記第２の動画のうち、高いフレームレートの方の動画の再生速度に合わせて、低いフレームレートの方の動画に含まれる各フレームの画像データを複製する複製機能と、
再生時の再生速度が互いに適合するように、前記第１の動画及び前記第２の動画のうち、前記複製機能の実現により複製されたフレームを含む複数のフレームから構成される方の動画の画像データと、他方の動画の画像データとをフレーム単位で順次合成することによって、前記合成動画の画像データを生成する合成機能と、
前記合成機能の実現によって生成された前記合成動画の画像データを、新たな動画の画像データとして記録する記録制御機能と、
を実現させるためのプログラムを提供する。
【発明の効果】
【００１３】
本発明によれば、現実味のある合成動画を作成することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の画像処理装置の一実施形態に係るデジタルカメラのハードウェアの構成を示すブロック図である。
【図２】図１のデジタルカメラのデータ処理部の機能的構成を示す機能ブロック図である。
【図３】図２のデータ処理部が実行する合成動画生成処理の流れの一例を示すフローチャートである。
【図４】図２のデータ処理部が実行する合成動画生成処理の流れの一例を示すフローチャートである。
【図５】図３及び図４の合成動画生成処理中に表示される各種表示画像の具体例を示している。
【図６】図３及び図４の合成動画生成処理中に表示される各種表示画像の具体例を示している。
【図７】図２のデータ処理部によるフレームの複製と合成に関する処理内容情報のデータ構造の一例を示している。
【図８】図７の処理内容情報に従ってフレームの複製をする場合のスケジューリングの具体例を示している。
【図９】図７の処理内容情報に従ってフレームの複製をする場合のスケジューリングの具体例であって、図８とは異なる例を示している。
【図１０】本発明の画像処理装置の変形例に係る携帯電話の外観図であり、（ａ）は開状態正面図、（ｂ）は閉状態背面図である。
【図１１】図１０の携帯電話のハードウェアの構成を示すブロック図である。
【発明を実施するための形態】
【００１５】
以下、本発明の一実施形態を図面に基づいて説明する。
図１は、本発明の画像処理装置の一実施形態に係るデジタルカメラ１のハードウェアの構成を示す図である。
【００１６】
デジタルカメラ１は、撮像部１１と、音声入力部１２と、データ処理部１３と、ユーザインタフェース部１４と、を備える。
【００１７】
撮像部１１は、光学レンズ部２１と、イメージセンサ２２と、を備える。
【００１８】
光学レンズ部２１は、規定された画角（以下、「正規の画角」と呼ぶ）に含まれる被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズなどで構成される。フォーカスレンズは、イメージセンサ２２の受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。光学レンズ部２１にはまた、必要に応じて、焦点、露出、ホワイトバランスなどの設定パラメータを調整する周辺回路が設けられる。
【００１９】
イメージセンサ２２は、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）などから構成される。光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子などから構成される。光電変換素子には、光学レンズ部２１からシャッタ部（図示せず）を介して被写体像が入射される。そこで、光電変換素子は、一定時間毎に被写体像を光電変換（撮影）して画像信号を蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理などの各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、イメージセンサ２２の出力信号として出力される。なお、以下、画像信号のディジタル信号を、「画像データ」と呼ぶ。このように呼称すると、イメージセンサ２２からは画像データが出力されて、データ処理部１３に供給される。
【００２０】
音声入力部１２は、マイクロフォンや音声データ化部などで構成される。マイクロフォンは、撮像部１１による撮影時などに音声を入力し、アナログの音声信号として出力する。音声データ化部は、マイクロフォンから出力されたアナログの音声信号に対して、Ａ／Ｄ変換処理などの各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、音声入力部１２の出力信号として出力される。なお、以下、音声信号のディジタル信号を、「音声データ」と呼ぶ。このように呼称すると、音声入力部１２からは音声データが出力されて、データ処理部１３に供給される。
【００２１】
データ処理部１３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３３と、メモリ３４と、出力制御部３５と、画像処理部３６と、を備えている。
【００２２】
ＣＰＵ３１は、ＲＯＭ３２に記録されているプログラムに従って各種の処理を実行する。ＲＡＭ３３には、ＣＰＵ３１が各種の処理を実行する上において必要なデータなどが適宜記憶される。
【００２３】
本実施の形態では、後述する図２の画像取得部６１乃至ファイル化部６６の各機能を実現するプログラムが、ＲＯＭ３２に記憶されている。従って、ＣＰＵ３１が、このプログラムに従った処理を実行することで、画像取得部６１乃至ファイル化部６６の各機能を実現することができる。
【００２４】
メモリ３４は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などで構成され、イメージセンサ２２から出力された画像データや、音声入力部１２から出力された音声データを一時記憶する。また、メモリ３４は、各種画像処理や音声処理に必要な各種データ、例えば、画像データ、各種フラグの値、閾値なども記憶する。また、メモリ３４には、画像表示用の画像データ（以下、「表示画像データ」と呼ぶ）の保存と読み出しを行うための表示メモリ領域も含まれている。
【００２５】
出力制御部３５は、メモリ３４の表示メモリ領域に格納された表示画像データを読み出し、その表示画像データにより表現される画像（以下、「表示画像」と呼ぶ）を、ユーザインタフェース部１４の表示部４２に表示させる。例えば、出力制御部３５は、当該表示画像データに基づいてＲＧＢ信号を生成し、当該ＲＧＢ信号を表示部４２に供給することにより、表示画像を表示部４２に表示させる。なお、出力制御部３５により生成されたＲＧＢ信号は、ユーザインタフェース部１４の通信部４４によって、図示せぬ外部機器に出力させることもできる。これにより、外部機器、例えば、テレビジョン受像機、パーソナルコンピュータ、プロジェクタなどでも、表示画像の表示が可能になる。
【００２６】
出力制御部３５はまた、メモリ３４に記憶された音声データを読み出し、Ｄ／Ａ変換などの信号処理を実行してアナログの音声信号を生成し、当該アナログの音声信号を音声出力部４１に供給することにより、当該音声信号により表現される音声を音声出力部４１から出力させる。
【００２７】
画像処理部３６は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などで構成され、メモリ３４に記憶された画像データに対して、ホワイトバランス補正処理やγ補正処理などの各種画像処理を実行する。本実施形態では、後述する図２の画像取得部６１乃至ファイル化部６６が実行する各種画像処理のうち少なくとも一部が、画像処理部３６において実行され、残りの一部がＣＰＵ３１において実行される。即ち、本実施形態では、後述する図２の画像取得部６１乃至ファイル化部６６は、ＣＰＵ３１及び画像処理部３６というハードウェアと、ＲＯＭ３２に記憶されたプログラム（ソフトウェア）との組み合わせとして構成されている。
【００２８】
ユーザインタフェース部１４は、スピーカなどで構成される音声出力部４１と、液晶ディスプレイなどで構成される表示部４２と、ユーザの指示操作を受け付ける操作部４３と、外部機器との間での通信を制御する通信部４４と、リムーバブル記録媒体５１に対するデータの読み書きを行うドライブ４５と、を備えている。
【００２９】
このような構成を有するデジタルカメラ１の処理対象となる動画のうち、上記の正規の画角を有し第１のフレームレートを有する動画を、以下、「背景動画」と呼ぶ。また、上記の正規の画角内に主要被写体像領域を含むと共に当該主要被写体像領域を除く領域を透過情報領域として含む、第２のフレームレートを有する動画を、以下、「前景動画」と呼ぶ。デジタルカメラ１は、このような背景動画の画像データと前景動画の画像データとを合成することによって、正規の画角を有した合成動画の画像データを生成することができる。なお、このようなデジタルカメラ１の処理を、以下、「合成動画生成処理」と呼ぶ。
【００３０】
図２は、このような合成動画生成処理を実行するためのデータ処理部１３の機能的構成を示す機能ブロック図である。
【００３１】
データ処理部１３は、画像取得部６１と、合成条件決定部６２と、フレーム複製部６３と、フレーム合成部６４と、音声付加部６５と、ファイル化部６６と、を備えている。
【００３２】
また、データ処理部１３のＲＯＭ３２、ＲＡＭ３３、又はメモリ３４（図１）内には、インデックス記憶部７１と、前景動画記憶部７２と、複製処理内容記憶部７３と、背景動画記憶部７４と、合成動画記憶部７５と、が設けられている。
【００３３】
画像取得部６１は、撮像部１１により撮像された動画の画像データを取得する。例えば、画像取得部６１は、第１のフレームレートに基づいて撮像部１１を連続駆動させることによって、撮像部１１から順次供給される、正規の画角を有する複数の画像の画像データを取得する。即ち、本実施形態では、このようにして画像取得部６１により取得された複数の画像の画像データが、正規の画角を有し第１のフレームレートを有する背景動画の画像データとして取得される。なお、このように動画を構成する複数の画像の各々を、以下、「フレーム」と称する。即ち、１つの動画は、複数のフレームから構成される。
【００３４】
画像取得部６１は、このようにして取得した背景動画の画像データを、ファイル化して背景動画記憶部７４に記憶させる。即ち、背景動画の画像データを含む画像ファイルが生成され、背景動画記憶部７４に記憶される。画像取得部６１は、さらに、背景動画に関するメタ情報として、例えば、第１のフレームレートなどを特定する情報を生成し、当該画像ファイルに含めて背景動画記憶部７４に記憶させる。なお、所定のフレームレートを特定する情報を、以下、「フレームレート情報」と呼ぶ。即ち、背景動画記憶部７４に記憶される動画ファイルには、背景動画の画像データが、第１のフレームレートを特定するフレームレート情報などのメタ情報と共に含まれている。これにより、ユーザが撮影した動画を、背景動画として合成動画を作成することが容易に可能になり、このようにして作成された合成動画はより現実味のある動画になる。
【００３５】
また、画像取得部６１は、当該背景動画の画像データに対して、サムネイル化処理、縮小処理、間引き処理などを適宜実行することで、後述する合成条件の決定の際にユーザに提示するインデックス画像データを生成し、これを背景動画記憶部７４に記憶される各動画ファイルと対応付けるようにインデックス記憶部７１に記憶させる。
【００３６】
なお、本実施形態では、正規の画角内に主要被写体像領域を含むと共に当該主要被写体像領域を除く領域を透過情報領域として含む、第２のフレームレートを有する動画、即ち前景動画については、予め与えられているものとする。換言すると、本実施形態では、当該前景動画の画像データは、所定の画像ファイルに含められて前景動画記憶部７２に予め記憶されているものとする。また、当該所定の画像ファイルには、メタ情報として、第２のフレームレートを特定するフレームレート情報や、透過情報領域に関する透過情報なども含まれているものとする。また、当該前景動画のインデックス画像データは、透過情報などと対応付けて、前景動画記憶部７２に記憶される各動画ファイルと対応付けるようにインデックス記憶部７１に記憶させる。
【００３７】
画像取得部６１は、第２のフレームレートに基づいて撮像部１１を連続駆動させることによって、撮像部１１から供給される動画の画像データを、前景動画の画像データとして取得するようにしてもよい。この場合、ユーザが撮影した動画を、前景動画として合成動画を作成することが容易に可能になり、このようにして作成された合成動画はより現実味のある動画になる。
【００３８】
合成条件決定部６２は、合成動画を生成するための各種合成条件を決定する。合成条件としては、例えば、複数の背景動画のうちの何れの動画を合成対象とするのかという条件や、複数の前景動画のうちの何れの動画を合成対象とするのかという条件などが存在する。
【００３９】
本実施形態では、合成条件の多くはユーザによる設定が可能になっており、このようなユーザによる設定を支援すべく、インデックス記憶部７１には複数のインデックス画像データが記憶されている。そこで、合成条件決定部６２は、所定のインデックス画像データをインデックス記憶部７１から読み出して、出力制御部３５に供給する。すると、出力制御部３５は、当該インデックス画像データにより表現される画像を、表示部４２に表示させる。ユーザは、このインデックス画像データの画像を見ながら操作部４３を操作することで、所定の合成条件に対する指示操作を行うことができる。合成条件決定部６２は、当該指示操作に従って、当該所定の合成条件を決定する。なお、インデックス画像データの具体例や、合成条件の決定手法の具体例については、図３以降の図面を参照して後述する。
【００４０】
なお、合成条件決定部６２は、前景動画記憶部７２に記憶されている前景動画の画像データや、背景動画記憶部７４に記憶されている背景動画の画像データから直接、インデックス画像データを生成してもよい。この場合には、インデックス記憶部７１は省略してもよい。
【００４１】
このようにして、合成条件決定部６２により、合成条件として少なくとも、合成対象の背景動画及び前景動画が決定される。この場合、合成対象の背景動画の第１のフレームレートと、合成対象の前景動画の第２のフレームレートとが一致しているならば、当該背景動画及び当該前景動画をそのまま合成しても、適切な合成動画を生成することができる。
【００４２】
しかしながら、合成対象の背景動画の第１のフレームレートと、合成対象の前景動画の第２のフレームレートとが不一致の場合、当該背景動画及び当該前景動画をそのまま合成してしまうと、適切な合成動画を作成することができない。例えばフレームレートの高い方の再生速度にあわせて再生すると、フレームレートの低い方の動画の被写体像が素早く動いて再生されてしまうような合成動画が生成されてしまう。このため、適切な合成動画を生成するためには、当該背景動画及び当該前景動画のうち、高いフレームレートの方の動画の再生速度に合わせて、低いフレームレートの方の動画のフレーム数を増加させる必要がある。
【００４３】
この場合のフレーム数の増加手法は、特に限定されず、例えば、既存のフレーム間に補間フレームや新たに創造したフレームを挿入する手法などを採用することができる。本実施形態では、既存のフレーム間に、何れか一方から複製したフレームを挿入するという手法が採用されている。このため、データ処理部１３には、フレーム複製部６３が設けられている。
【００４４】
即ち、フレーム複製部６３は、第１のフレームレートと第２のフレームレートとを比較し、前景動画及び背景動画のうち、高いフレームレートの方の動画の再生速度に合わせて、低いフレームレートの方の動画に含まれる各フレームの画像データを複製する。
【００４５】
ここで、複製処理内容記憶部７３には、第１のフレームレートと第２のフレームレートとの対応関係と、フレーム複製部６３の処理内容又は後述するフレーム合成部６４の処理内容の少なくとも一方と、を対応付けた情報（以下、「処理内容情報」と呼ぶ）が記憶されている。そこで、フレーム複製部６３は、この処理内容情報を適宜参照して、上述したフレームの画像データを複製する処理を実行する。このように、処理内容情報を予め保持しておくことで、フレーム複製部６３の処理内容又は後述するフレーム合成部６４の処理内容を決定するために要する時間を短縮することが可能になり、ひいては、合成動画生成処理の処理時間を短縮することが可能になる。なお、処理内容情報の具体例については、図７乃至図９を参照して後述する。
【００４６】
なお、以下の説明では、説明の便宜上、背景動画の第１のフレームレートの方が、前景動画の第２のフレームレートよりも高いものとする。即ち、図２においては、実線の矢印に沿って、データが流れるものとする。従って、フレーム複製部６３は、前景動画に含まれる各フレームの画像データを複製する。これにより、既存の各フレーム間に、複製したフレームを挿入した動画の画像データが合成対象として得られ、フレーム合成部６４に供給される。一方、背景動画の画像データは、背景動画記憶部７４からフレーム合成部６４に供給される。
【００４７】
フレーム合成部６４は、再生時の再生速度が互いに適合するように、フレーム複製部６３により複製されたフレームを含む複数のフレームから構成される前景動画の画像データと、背景動画の画像データとをフレーム単位で順次合成する。この場合、フレーム合成部６４は、複製処理内容記憶部７３に記憶された処理内容情報を適宜参照して、フレームの画像データを合成する処理を実行する。これにより、背景動画と前景動画が合成された合成動画であって、正規の画角を有する複数のフレームから構成される合成動画の画像データが生成される。
【００４８】
なお、ここでは、説明の便宜上、背景動画の第１のフレームレートの方が、前景動画の第２のフレームレートよりも高いものとしているが、当然ながら、第１のフレームレートの方が第２のフレームレートよりも低い場合もあり得る。このような場合に対しても、フレーム複製部６３及びフレーム合成部６４は、上述した処理を同様に実行することで、合成動画の画像データを生成することができる。このような処理も可能であることを示すために、図２においては、背景動画記憶部７４からフレーム複製部６３までの間と、前景動画記憶部７２からフレーム合成部６４までの間とのそれぞれに対して、点線の矢印が引かれている。
【００４９】
ところで、前景動画又は背景動画の少なくとも一方に音声が記録されている場合もある。このような場合、音声付加部６５は、フレーム合成部６４により生成された合成動画の画像データに対して、前景動画又は背景動画に記録された音声の音声データを付加する。これにより、合成動画の再生時に、対応する音声も出力されるので、より一段と現実味のある合成動画を作成することが可能となる。
【００５０】
ファイル化部６６は、フレーム合成部６４により生成された合成動画の画像データと、音声付加部６５により必要に応じて付加された音声の音声データと、各種メタデータとを含むファイル（以下、「合成画像ファイル」と呼ぶ）を生成し、合成動画記憶部７５に記憶させる。
【００５１】
合成動画の再生時には、合成動画記憶部７５に記憶された合成画像ファイルに含まれる合成動画の画像データのうち、表示対象のフレームの画像データが、メモリ３４の表示メモリ領域に表示画像データとして格納される。すると、出力制御部３５は、当該表示画像データを読み出し、その表示画像データにより表現される画像、即ち、表示対象のフレームを表示部４２に表示させる。出力制御部３５は、このような処理を、再生速度にあわせて、合成動画を構成する各フレーム毎に実行することで、合成動画を再生することができる。さらに、合成画像ファイルに音声データが含まれている場合には、出力制御部３５は、当該音声データにより表現される音声を、音声出力部４１から出力させる。
【００５２】
次に、図３及び図４のフローチャートを参照して、このような機能的構成を有するデータ処理部１３が実行する合成動画生成処理について説明する。その際、合成動画生成処理の理解を容易なものとすべく、図５又は図６に示す表示画像を適宜参照する。
【００５３】
図３及び図４は、合成動画生成処理の流れの一例を示すフローチャートである。図５及び図６は、合成動画生成処理中に表示部４２に表示される各種表示画像の具体例を示している。
【００５４】
図３のステップＳ１において、データ処理部１３の合成条件決定部６２は、背景選択のモードの選択操作が検出されたか否かを判定する。
【００５５】
背景選択のモードが選択されていない場合、ステップＳ１においてＮＯであると判定されて、図４に示すように、合成動画生成処理は終了となる。
【００５６】
これに対して、例えば、図５に示すように、モニタ画像１０１などが表示部４２に表示されている状態で、操作部４３のうちの「ＭＥＮＹＵ釦（図示せず）」が押下され、ＰＬＡＹメニュー画像１０２が表示され、さらに、操作部４３のうちの「ＳＥＴ釦（図示せず）」により、「合成画像作成」という項目１２０が選択されると、合成条件決定部６２は、背景選択のモードの選択操作を検出する。これにより、図３のステップＳ１においてＹＥＳであると判定されて、処理はステップＳ２に進む。
【００５７】
ステップＳ２において、合成条件決定部６２は、インデックス記憶部７１を参照する。ステップＳ３において、合成条件決定部６２は、出力制御部３５を制御することによって、複数の画像ファイル（背景動画ファイル含む）に対応するインデックス画像データの画像をインデックス記憶部７１から読み出して表示部４２に表示させる。そして、ステップＳ４において、合成条件決定部６２は、選択の指示操作が検出されたか否かを判定する。
【００５８】
例えば、ステップＳ３の処理で、図５に示すように、所定の背景動画を示すインデックス画像データの画像１２１を含む選択画像１０４が、表示部４２に表示される。ユーザは、この選択画像１０４が表示されている状態で、操作部４３のうちの「左釦（図示せず）」又は「右釦（図示せず）」を押下することにより、選択画像１０４内の表示状態を、画像１２１から、別の背景動画又は背景静止画を示すインデックス画像データの画像に切り替えることができる。このようなユーザによる「左釦（図示せず）」、「右釦（図示せず）」の他、後述する「上釦（図示せず）」、「下釦（図示せず）」の押下操作による指示を、合成条件決定部６２からみた場合には「外部からの方向指示」と呼び、そのための上述した押下操作を「外部からの方向指示操作」と呼ぶ。ユーザは、外部からの方向指示操作を何度か繰り返すことにより、所望のインデックス画像データの画像を選択画像１０４内に表示させ、その後、操作部４３のうち「ＳＥＴ釦（図示せず）」を押下することで、当該所望のインデックス画像データの画像により示される背景動画又は背景静止画を選択することができる。
【００５９】
「ＳＥＴ釦（図示せず）」が押下されない場合、選択の指示操作が合成条件決定部６２において検出されないため、ステップＳ４においてＮＯであると判定されて、処理はステップＳ３に戻され、それ以降の処理が繰り返される。即ち、「ＳＥＴ釦（図示せず）」が押下されない限り、ステップＳ３，Ｓ４ＮＯのループ処理が繰り返される。その後、「ＳＥＴ釦（図示せず）」が押下されると、選択の指示操作が合成条件決定部６２において検出されるため、ステップＳ４においてＹＥＳであると判定されて、処理はステップＳ５に進む。
【００６０】
ステップＳ５において、合成条件決定部６２は、合成条件の１つとして、選択の指示操作が検出された時点に選択画像１０４内に表示されていたインデックス画像データの画像が示す背景動画又は背景静止画を、合成対象の背景画として決定する。例えば選択画像１０４が図５の表示状態のときに「ＳＥＴ釦（図示せず）」が押下されると、インデックス画像データの画像１２１により示される背景動画が、合成対象の背景動画として決定される。
【００６１】
ステップＳ６において、合成条件決定部６２は、インデックス記憶部７１を参照する。ステップＳ７において、合成条件決定部６２は、出力制御部３５を制御することによって、透過情報を含む複数の画像ファイル（前景動画ファイル含む）に対応するインデックス画像データに基づく画像をインデックス記憶部７１から読み出して表示部４２に表示させる。そして、ステップＳ８において、合成条件決定部６２は、選択の指示操作が検出されたか否かを判定する。
【００６２】
例えば、ステップＳ７の処理で、図５に示すように、所定の前景動画を示すインデックス画像データの画像１２２を含む選択画像１０５が、表示部４２に表示される。ユーザは、この選択画像１０５が表示されている状態で、外部からの方向指示操作を行うことにより、選択画像１０５内の表示状態を、画像１２２から、別の前景動画又は前景静止画を示すインデックス画像データの画像に切り替えることができる。
【００６３】
なお、本実施形態では、複数のキャラクターを主要被写体像として含む前景動画又は前景静止画の画像データが前景動画記憶部７２に予め記憶されている。このため、前景動画又は前景静止画の選択をユーザに促すために、図５に示すように、「使用する前景を選択してください」というメッセージが選択画像１０５内に表示される。例えば、インデックス画像データの画像１２２は、箒に乗った魔女が空を飛ぶように移動する前景動画を示している。
【００６４】
ユーザは、外部からの方向指示操作を何度か繰り返して、所望のインデックス画像データの画像を選択画像１０５内に表示させ、その後、操作部４３のうち「ＳＥＴ釦（図示せず）」を押下することで、当該所望の画像により示される前景動画又は前景静止画を選択することができる。
【００６５】
従って、「ＳＥＴ釦（図示せず）」が押下されない場合、選択の指示操作が合成条件決定部６２において検出されないため、ステップＳ８においてＮＯであると判定されて、処理はステップＳ７に戻され、それ以降の処理が繰り返される。即ち、「ＳＥＴ釦（図示せず）」が押下されない限り、ステップＳ７，Ｓ８ＮＯのループ処理が繰り返される。その後、「ＳＥＴ釦（図示せず）」が押下されると、選択の指示操作が合成条件決定部６２において検出されるため、ステップＳ８においてＹＥＳであると判定されて、処理はステップＳ９に進む。
【００６６】
ステップＳ９において、合成条件決定部６２は、出力制御部３５を制御することによって、インデックス画像データの画像同士を合成表示すると共に、合成可能な期間を差別化してタイムバーとして表示する。即ち、合成条件決定部６２は、合成条件の１つとして、選択の指示操作が検出された時点に選択画像１０５内に表示されていたインデックス画像データの画像が示す前景動画又は前景静止画を、合成対象の前景画として決定する。合成条件決定部６２は、当該合成対象の前景画と、先に合成対象として決定した背景動画とを合成した合成画像、及び、タイムバーを含む選択画像の画像データを生成する。そして、合成条件決定部６２は、出力制御部３５を制御することによって、当該選択画像を表示部４２に表示させる。
【００６７】
例えば選択画像１０５が図５の表示状態のときに「ＳＥＴ釦（図示せず）」が押下されると、合成条件の１つとして、画像１２２により示される前景動画が、合成対象の前景動画として決定される。このため、図６に示すように、合成対象の前景動画（魔女が移動する動画）を示す画像１２２及び合成対象の背景動画を示す画像１２１が合成された合成画像と、タイムバー１２３とを含む選択画像１０６が、表示部４２に表示される。
【００６８】
この選択画像１０６に表示されているタイムバー１２３は、前景動画と背景動画のうち再生時間が長い方の動画、本実施形態では背景動画の再生時間帯を示している。タイムバー１２３内のポインタ１２４は、前景動画と背景動画のうち再生時間が短い方の動画、本実施形態では前景動画の再生開始タイミングを示している。
【００６９】
ユーザは、この選択画像１０６が表示されている状態で、外部からの方向指示操作を行うことにより、選択画像１０６内のポインタ１２４の表示位置を、タイムバー１２３内で自在に移動させることができる。ユーザは、外部からの方向指示操作を何度か繰り返すことで、ポインタ１２４をタイムバー１２３内の所望の位置に表示させ、その後、操作部４３のうち「ＳＥＴ釦（図示せず）」を押下することで、当該所望の位置により示される背景動画の再生位置から、前景動画の合成（再生）を開始させる設定をすることができる。換言すると、前景動画と背景動画との合成を、前景動画を背景動画に埋め込むと把握するならば、ユーザは、上述の操作を行うことによって、前景動画の埋め込み開始タイミングを設定することができる。この場合、フレーム合成部６４は、前景動画の埋め込み開始タイミングから、当該前景動画の再生時間に相当するフレーム数について合成することになる。これにより、合成処理は、必要最低現の時間帯に対して実行されるので、処理時間の短縮を図ることが可能になり、場合によっては、生成される合成動画の画像データの容量を削減することも可能になる。なお、図示はしないが、ユーザの利便性のため、タイムバー１２３内に、さらに、前景動画の再生時間帯、いわゆる埋め込み時間帯に対応する長さのバーを表示させてもよい。
【００７０】
このようにして、ステップＳ９の処理で選択画像１０６を表示させた後、ステップＳ１０において、合成条件決定部６２は、出力制御部３５を制御することによって、外部からの方向指示検出結果をタイムバー１２３の表示位置に反映させる。換言すると、外部からの方向指示とは、上述の如く、前景動画の埋め込み開始タイミングの変更指示であり、当該変更指示の結果の検出結果に応じて、ポインタ１２４の表示位置がタイムバー１２３内で変化する。
【００７１】
ステップＳ１１において、合成条件決定部６２は、前景動画の埋め込み開始タイミングの決定の指示操作が検出されたか否かを判定する。
【００７２】
「ＳＥＴ釦（図示せず）」が押下されない場合、前景動画の埋め込み開始タイミングの決定の指示操作が合成条件決定部６２において検出されないため、ステップＳ１１においてＮＯであると判定されて、処理はステップＳ１０に戻され、それ以降の処理が繰り返される。即ち、「ＳＥＴ釦（図示せず）」が押下されない限り、ステップＳ１０，Ｓ１１ＮＯのループ処理が繰り返される。その後、「ＳＥＴ釦（図示せず）」が押下されると、決定の指示操作が合成条件決定部６２において検出されるため、ステップＳ１１においてＹＥＳであると判定される。
【００７３】
これにより、合成条件の１つとして、前景動画の埋め込み開始タイミングが決定される。次に、合成条件決定部６２は、合成条件の別の１つとして、前景動画の主要被写体像（図５や図６の例では箒に乗った魔女のキャラクター）の、背景動画内の合成位置を決定する必要がある。このため、図６に示すように、前景動画を示す画像１２２及び合成対象の背景動画を示す画像１２１が合成された合成画像と、前景動画の主要被写体像を囲む枠１２５とを含む選択画像１０７が、表示部４２に表示される。
【００７４】
ユーザは、この選択画像１０７が表示されている状態で、外部からの方向指示操作を行うことにより、選択画像１０７内の枠１２５の表示位置を、背景動画内、より正確には当該背景動画を示す画像１２１の範囲内で自在に移動させることができる。ユーザは、外部からの方向指示操作を何度か繰り返すことで、枠１２５内の前景動画の主要被写体像を背景画像内の所望の位置に表示させ、その後、操作部４３のうち「ＳＥＴ釦（図示せず）」を押下することで、前景動画の主要被写体像の、背景動画内の合成位置を決定することができる。さらに、ユーザは、操作部４３のうち「ＳＥＴ釦（図示せず）」を押下するまでの間は、操作部４３のうち「ズーム釦（図示せず）」を押下することで、合成条件のさらに別の１つである、前景動画の主要被写体像の合成サイズを変更することもできる。
【００７５】
即ち、ステップＳ１１の処理でＹＥＳであると判定して選択画像１０７を表示させた後、ステップＳ１２において、合成条件決定部６２は、出力制御部３５を制御することによって、外部からの方向指示検出結果を、前景動画の主要被写体像の合成位置に反映させる。換言すると、外部からの方向指示とは、上述の如く、前景動画の主要被写体像の合成位置の変更指示であり、当該変更指示の結果の検出結果に応じて、枠１２５及び前景動画の主要被写体像の表示位置が背景動画内で変化する。このような処理中に、前景動画及び背景動画を共にプレビュー再生させると、それぞれの主要被写体像が動くことになるので、ユーザにとっては完成後の合成動画をイメージしながら、前景動画の主要被写体像の合成位置を設定することが可能になる。
【００７６】
ステップＳ１３において、合成条件決定部６２は、前景動画の主要被写体像の合成位置の決定の指示操作が検出されたか否かを判定する。
【００７７】
「ＳＥＴ釦（図示せず）」が押下されない場合、前景動画の主要被写体像の合成位置の決定の指示操作が合成条件決定部６２において検出されないため、ステップＳ１３においてＮＯであると判定されて、処理はステップＳ１２に戻され、それ以降の処理が繰り返される。即ち、「ＳＥＴ釦（図示せず）」が押下されない限り、ステップＳ１２，Ｓ１３ＮＯのループ処理が繰り返される。その後、「ＳＥＴ釦（図示せず）」が押下されると、決定の指示操作が合成条件決定部６２において検出されるため、ステップＳ１３においてＹＥＳであると判定される。
【００７８】
このようにして、合成条件の１つとして、前景動画の主要被写体像の合成位置が決定され、必要に応じて合成条件の別の１つとして、前景動画の主要被写体像の合成サイズも決定される。これにより、本実施形態では、合成条件の全てが決定されたことになるので、処理は、図４のステップＳ１４に進む。
【００７９】
ステップＳ１４において、フレーム複製部６３は、合成対象の２つの画像ファイルに記憶されているフレームレート情報を、前景動画記憶部７２又は背景動画記憶部７４から読み出す。
【００８０】
ステップＳ１５において、フレーム複製部６３は、複製処理内容記憶部７３に記憶されている処理内容情報を参照して、フレームの画像データを複製する処理を実行する。即ち、本実施形態では、フレーム複製部６３は、フレームレート情報から第１のフレームレート及び第２のフレームレートを認識し、処理内容情報に従って、高いフレームレートの背景動画の再生速度に合わせて、低いフレームレートの前景動画に含まれる各フレームの画像データを複製する。
【００８１】
ステップＳ１６において、フレーム合成部６４は、複製処理内容記憶部７３に記憶されている処理内容情報を参照して、フレームを合成する合成処理を実行する。即ち、本実施形態では、処理内容情報に従って、再生時の再生速度が互いに適合するように、フレーム複製部６３により複製されたフレームを含む複数のフレームから構成される前景動画の画像データと、背景動画の画像データとをフレーム単位で順次合成する。これにより、背景動画と前景動画とが合成された合成動画であって、正規の画角を有する複数のフレームから構成される合成動画の画像データが生成される。
【００８２】
なお、ステップＳ１５及びＳ１６の具体例については、図７乃至図９を参照して後述する。
【００８３】
ステップＳ１７において、音声付加部６５は、合成対象の前景動画又は背景動画に音声が記録されていたか否かを判定する。
【００８４】
合成対象の前景動画及び背景動画の何れにも音声が記録されていない場合、ステップＳ１７においてＮＯであると判定されて、ステップＳ１８の処理は実行されずに、処理はステップＳ１９に進む。
【００８５】
これに対して、合成対象の前景動画又は背景動画の少なくとも一方に音声が記録されている場合、ステップＳ１７においてＹＥＳであると判定されて、処理はステップＳ１８に進む。ステップＳ１８において、音声付加部６５は、合成部分に対応する音声データを切り取り、合成動画の画像データに関連付ける。なお、本実施形態では、合成対象の前景動画及び背景動画の両者に音声が記録されている場合、背景動画の音声の音声データが優先的に切り取られて、合成動画の画像データに関連付けられるとする。
【００８６】
ステップＳ１９において、ファイル化部６６は、合成動画の各データをファイル化し、出力制御部３５を制御して、合成動画のプレビュー表示を行う。即ち、ファイル化部６６は、ステップＳ１６の処理で生成された合成動画の画像データと、ステップＳ１８の処理が実行された場合にはその処理で関連付けられた音声の音声データと、各種メタデータとを含む合成画像ファイルを生成し、合成動画記憶部７５に記憶させる。この間、表示部４２には、例えば図６に示すような画像１０８が表示されており、合成画像ファイルが合成動画記憶部７５に記憶されると、表示部４２の表示画像が、合成動画１２６のプレビュー表示を行う画像１０９に切り替わる。これにより、合成動画生成処理が終了になる。
【００８７】
さらに、以下、図７乃至図９を参照して、合成動画生成処理のうち、処理内容情報を参照して実行される、ステップＳ１５及びＳ１６の処理について具体的に説明する。
【００８８】
図７は、処理内容情報のデータ構造の一例を示している。図８及び図９の各々は、図７の処理内容情報に従ってフレームを複製する場合のスケジューリングの具体例を示している。
【００８９】
本実施形態において、処理内容情報は行列構造を有しているため、以下、図７中横方向の項目の集合体を「行」と称し、同図中縦方向の項目の集合体を「列」と称する。所定の行には、背景動画の第１のフレームレートの１つが対応付けられている。所定の列には、前景動画の第２のフレームレートの１つが対応付けられている。即ち、ｉ行ｊ列（ｉは１又は２の値であり、ｊは１乃至４のうちの何れかの値である）の項目には、ｉ行に対応付けられた第１のフレームレートと、ｊ行に対応付けられた第２のフレームレートとの組み合わせの場合における、フレーム複製部６３の処理内容（フレームの複製手法）及びフレーム合成部６４の処理内容（フレームの合成手法）が格納されている。
【００９０】
例えば図７において、背景動画の第１のフレームレートが１行目の２４（ＦＰＳ）であり、前景動画の第２のフレームレートが２列目の５（ＦＰＳ）である場合、１行２列の項目に格納されている処理内容、即ち、「前景動画の各フレームについて５回複製し、背景動画１フレームにつき前景動画１フレームを合成（このとき前景動画のフレームＮｏ．が同じもので背景動画のフレームＮｏ．が順次インクリメントしているものを連続６回生成）」という処理内容が、フレーム複製部６３及びフレーム合成部６４の各々により複製処理内容記憶部７３から読み出される。すると、フレーム複製部６３は、図８に示すスケジューリングに沿って前景動画の各フレームを複製し、フレーム合成部６４は、図８に示すスケジューリングに沿って、背景動画の各フレームと、前景動画の各フレーム（複製されたフレーム含む）とを合成していく。
【００９１】
なお、図８において、背景動画フレーム番号とは、背景動画を構成する各フレームの各々に対して再生順に付された番号であって、図７における「背景動画のフレームＮｏ．」のことをいう。また、前景動画フレーム番号とは、前景動画を構成する各フレームの各々に対して再生順に付された番号であって、図７における「前景動画のフレームＮｏ．」のことをいう。即ち、図８において、同一の前景動画フレーム番号が６つ存在することは、当該前景動画フレーム番号の元のフレームの後に、当該元のフレームが５回複製されたものが順次挿入されて、背景動画の対応するフレームと合成されることを意味している。この段落の記載事項は、図９についても同様に当てはまる。
【００９２】
また例えば図７において、背景動画の第１のフレームレートが２行目の３０（ＦＰＳ）であり、前景動画の第２のフレームレートが４列目の２０（ＦＰＳ）である場合、２行４列の項目に格納されている処理内容、即ち、「前景動画の各フレームについて５フレームおきに１回複製し、背景動画１フレームにつき前景動画１フレームを合成（このとき前景動画のフレームＮｏ．が同じもので背景動画のフレームＮｏ．が順次インクリメントして生成）」という処理内容が、フレーム複製部６３及びフレーム合成部６４の各々により複製処理内容記憶部７３から読み出される。すると、フレーム複製部６３は、図９に示すスケジューリングに沿って前景動画の各フレームを複製し、フレーム合成部６４は、図９に示すスケジューリングに沿って、背景動画の各フレームと、前景動画の各フレーム（複製されたフレーム含む）とを合成していく。
【００９３】
以上説明したように、本実施形態に係るデジタルカメラ１は、正規の画角を有し第１のフレームレートを有する動画を背景動画とし、正規の画角内に主要被写体像領域を含むと共に当該主要被写体像領域を除く領域を透過情報領域として含む、第２のフレームレートを有する動画を前景動画として、背景動画の画像データと前景動画の画像データとを合成し、正規の画角を有した合成動画の画像データを生成する。この場合、デジタルカメラ１のフレーム複製部６３は、第１のフレームレートと第２のフレームレートとを比較し、前景動画及び背景動画のうち、高いフレームレートの方の動画の再生速度に合わせて、低いフレームレートの方の動画に含まれる各フレームの画像データを複製する。デジタルカメラ１のフレーム合成部６４は、再生時の再生速度が互いに適合するように、前景動画及び背景動画のうち、フレーム複製部６３により複製されたフレームを含む複数のフレームから構成される方の動画の画像データと、他方の動画の画像データとをフレーム単位で順次合成する。これにより、背景動画と前景動画とが合成された合成動画であって、正規の画角を有する複数のフレームから構成される合成動画の画像データが生成される。そこで、デジタルカメラ１のファイル化部６６は、フレーム合成部６４により生成された合成動画の画像データを、新たな動画の画像データとして、合成画像ファイルに含めて合成動画記憶部７５に記憶させる。
【００９４】
このようにして、本実施形態に係るデジタルカメラ１は、現実味のある合成動画を作成することができる。
【００９５】
なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良などは本発明に含まれるものである。
【００９６】
例えば、上述した実施形態では、フレーム複製部６３の処理は、複製処理内容記憶部７３に記憶されている処理内容情報に従って実行されたが、特にこれに限定されない。例えば、前景動画１フレームあたりの表示時間を「Ｔｃ」と表記すると、５ＦＰＣであればＴｃ＝０．２（ｓ）となり、１０ＦＰＣであればＴｃ＝０．１（ｓ）となり、２０ＦＰＣであればＴｃ＝０．０５（ｓ）となる。一方、背景動画１フレームあたりの表示時間を「Ｔｂ」と表記すると、２４ＦＰＣであればＴｃ＝０．０４１６（ｓ）となり、３０ＦＰＣであればＴｃ＝０．０３３３（ｓ）となる。従って、図示はしないが、図２の機能ブロックに対してさらに演算部を設け、当該演算部が、（Ｔｃ／Ｔｂ）を演算することによって、前景動画１フレームあたり、何倍の長さで表示したらよいのか、即ち、複製するフレームの数はこの倍数に相当する数であることを求めることができる。そこで、フレーム複製部６３は、１フレーム毎に（若しくは交互に）、この倍数に相当する分だけ、前景動画のフレームの画像データを複製すればよい。これにより、処理内容情報などを予め保持しておく必要が無くなり、また、任意の第１のフレームレートや任意の第２のフレームレートについても、適切なフレームの複製が可能になる。
【００９７】
＜変形例＞
上記実施形態では、本願発明をデジタルカメラに適用させた場合について詳述したが、これに限らず、カメラ付き携帯電話など、撮像機能とメール送信機能やネットワークサーバへのアップロード機能を備えた無線通信機器に適用させてもよい。
【００９８】
以下、そのような機器に適用させた場合について説明する。なお、上記実施形態と動作や機能を同じくする構成については同一符号を付すことで説明を省略する。
【００９９】
図１０は、本変形例におけるカメラ付き携帯電話１１１の外観図を示すものであり、（ａ）は開状態の正面図、（ｂ）は閉状態の背面図を示す。
【０１００】
カメラ付き携帯電話１１１は、表示部４２を備える第１の筐体と、操作部４３を備える第２の筐体とからなり、第１の筐体と第２の筐体とは二軸の方向に回動するヒンジ部により、図１０（ａ）に示す開状態と、図１０（ｂ）に示す閉状態とを取ることができる。なお、同図において、符号４６は通話用スピーカを示す。
【０１０１】
この場合、背景画像や前景画像を撮像することにより取得する場合は、図１０（ａ）、（ｂ）の両形態で行う。また上記合成動画生成処理は図１０（ａ）の形態でのみ行う。
【０１０２】
図１１は、上記カメラ付き携帯電話１１１のハードウェアの構成を示す図である。
【０１０３】
カメラ付き携帯電話１１１は、上記デジタルカメラ１と比較し、大まかな点では、音声出力部として上記通話用スピーカ４６が追加され、通信部４４に代りＣＤＭＡなどの無線通信方式に対応する信号処理部を有する通信部４４０、アンテナ４４１が設けられている点で異なるが、この他、ＣＰＵ３１は画像処理以外に通信処理、電子メール作成処理、データアップロード、データダウンロード処理も行う。なお、当然のことながら、ＲＯＭ３２にはこれらの処理を実行するプログラムがさらに格納されている。
【０１０４】
また、図２におけるインデックス記憶部７１、前景動画記憶部７２、背景動画記憶部７４に記憶させるべき画像データ、動画ファイルは、画像取得部６１にて取得する他、無線通信ネットワーク（図示せず）を介して、アンテナ４４１、通信部４４０にて受信したものを記憶させることができる。
【０１０５】
また上記合成動画生成処理にて作成された合成動画ファイルは、電子メールへの添付処理、若しくは、直接的なネットワークサーバへのアップロード処理により、カメラ付き携帯電話１１１外部に出力することができる。
【０１０６】
このように変形例によれば、単に装置内部で現実味のある合成動画を生成できるだけでなく、合成に必要な前景動画、背景動画を無線通信ネットワークを介して簡単に入手できるだけでなく、生成された合成動画を外部に送信することも可能である。
【０１０７】
このように、本発明は、デジタルカメラに特に限定されず、電子機器一般に適用することができる。具体的には例えば、本発明は、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機などに適用可能である。
【０１０８】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
【０１０９】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータなどにネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【０１１０】
このようなプログラムを含む記録媒体は、図示はしないが、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体などで構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスクなどにより構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）などにより構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）などにより構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ３２や、図示せぬハードディスクなどで構成される。
【０１１１】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【符号の説明】
【０１１２】
１・・・デジタルカメラ、１１・・・撮像部、１２・・・音声入力部、１３・・・データ処理部、１４・・・ユーザインタフェース部、２１・・・光学レンズ部、２２・・・イメージセンサ、３１・・・ＣＰＵ、３２・・・ＲＯＭ、３３・・・ＲＡＭ、３４・・・メモリ、３５・・・出力制御部、３６・・・画像処理部、６１・・・画像取得部、６２・・・合成条件決定部、６３・・・フレーム複製部、６４・・・フレーム合成部、６５・・・音声付加部、６６・・・ファイル化部、７１・・・インデックス記憶部、７２・・・前景動画記憶部、７３・・・複製処理内容記憶部、７４・・・背景動画記憶部、７５・・・合成動画記憶部、１１１・・・カメラ付き携帯電話
【技術分野】
【０００１】
本発明は、画像処理装置及びプログラムに関し、特に、より現実味のある合成動画を作成することを可能にする技術に関する。
【背景技術】
【０００２】
従来より、フレームレートを共通にして撮像領域を分割して別個に動画撮影し、その後分割された各領域を合わせることにより、本来の撮像領域で撮像されたかのような合成動画を生成する技術が存在する（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２４４７９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術では、単に撮像領域を分割しただけなので、背景画像の内容（画角や明るさ）が互いに異なっていた場合、合成しても現実味が不足するという課題があった。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、より現実味のある合成動画を作成することを可能とする。
【課題を解決するための手段】
【０００６】
本発明の第１の観点によると、
正規の画角を有し第１のフレームレートを有する第１の動画の画像データと、正規の画角内に主要被写体像領域を含むと共に当該主要被写体像領域を除く領域を透過情報領域として含む、第２のフレームレートを有する第２の動画の画像データとを合成することによって、正規の画角を有した合成動画の画像データを生成する画像処理装置において、
前記第１のフレームレートと前記第２のフレームレートとを比較し、前記第１の動画及び前記第２の動画のうち、高いフレームレートの方の動画の再生速度に合わせて、低いフレームレートの方の動画に含まれる各フレームの画像データを複製する複製手段と、
再生時の再生速度が互いに適合するように、前記第１の動画及び前記第２の動画のうち、前記複製手段により複製されたフレームを含む複数のフレームから構成される方の動画の画像データと、他方の動画の画像データとをフレーム単位で順次合成することによって、前記合成動画の画像データを生成する合成手段と、
前記合成手段によって生成された前記合成動画の画像データを、新たな動画の画像データとして記録する記録手段と、
を備える画像処理装置を提供する。
【０００７】
本発明の第２の観点によると、
前記合成手段は、前記第２の動画の再生時間に相当するフレーム数について合成することによって、当該フレーム数のフレームからなる前記合成動画の画像データを生成する、
画像処理装置を提供する。
【０００８】
本発明の第３の観点によると、
前記第１のフレームレートと前記第２のフレームレートとの対応関係と、前記複製手段の処理内容又は前記合成手段の処理内容の少なくとも一方と、を対応付けた情報である処理内容情報を記憶する処理内容記憶手段をさらに備え、
前記複製手段又は前記合成手段の少なくとも一方は、合成対象の前記第１の動画の前記第１のフレームレートと合成対象の前記第２の動画の前記第２のフレームレートとの対応関係に対して対応づけられた処理内容を、前記処理内容記憶手段に記憶された前記処理内容情報から読み出して、読み出した前記処理内容に従った処理を実行する、
画像処理装置を提供する。
【０００９】
本発明の第４の観点によると、
前記第１のフレームレートと前記第２のフレームレートとから、前記複製手段によって複製されるフレームの数を演算する演算手段を、
さらに備える画像処理装置を提供する。
【００１０】
本発明の第５の観点によると、
前記正規の画角の範囲内で撮像する撮像手段と、
前記第１のフレームレート又は前記第２のフレームレートに基づいて前記撮像手段を連続駆動させることによって、複数の画像の画像データを取得し、取得した前記複数の画像の各々をフレームとして含む前記第１の動画又は前記第２の動画の画像データを生成すると共に、前記撮像手段が連続駆動したときのフレームレートを特定する情報を付加情報として、前記画像データに付与する画像取得手段と、
をさらに備える画像処理装置を提供する。
【００１１】
本発明の第６の観点によると、
前記第１の動画又は前記第２の動画の少なくとも一方には音声データが記録されており、
前記記録手段は、さらに、前記新たな動画の画像データに対して、前記音声データを付与して記録する、
画像処理装置を提供する。
【００１２】
本発明の第７の観点によると、
正規の画角を有し第１のフレームレートを有する第１の動画の画像データと、正規の画角内に主要被写体像領域を含むと共に当該主要被写体像領域を除く領域を透過情報領域として含む、第２のフレームレートを有する第２の動画の画像データとを合成することによって、正規の画角を有した合成動画の画像データを生成する画像処理装置を制御するコンピュータに、
前記第１のフレームレートと前記第２のフレームレートとを比較し、前記第１の動画及び前記第２の動画のうち、高いフレームレートの方の動画の再生速度に合わせて、低いフレームレートの方の動画に含まれる各フレームの画像データを複製する複製機能と、
再生時の再生速度が互いに適合するように、前記第１の動画及び前記第２の動画のうち、前記複製機能の実現により複製されたフレームを含む複数のフレームから構成される方の動画の画像データと、他方の動画の画像データとをフレーム単位で順次合成することによって、前記合成動画の画像データを生成する合成機能と、
前記合成機能の実現によって生成された前記合成動画の画像データを、新たな動画の画像データとして記録する記録制御機能と、
を実現させるためのプログラムを提供する。
【発明の効果】
【００１３】
本発明によれば、現実味のある合成動画を作成することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の画像処理装置の一実施形態に係るデジタルカメラのハードウェアの構成を示すブロック図である。
【図２】図１のデジタルカメラのデータ処理部の機能的構成を示す機能ブロック図である。
【図３】図２のデータ処理部が実行する合成動画生成処理の流れの一例を示すフローチャートである。
【図４】図２のデータ処理部が実行する合成動画生成処理の流れの一例を示すフローチャートである。
【図５】図３及び図４の合成動画生成処理中に表示される各種表示画像の具体例を示している。
【図６】図３及び図４の合成動画生成処理中に表示される各種表示画像の具体例を示している。
【図７】図２のデータ処理部によるフレームの複製と合成に関する処理内容情報のデータ構造の一例を示している。
【図８】図７の処理内容情報に従ってフレームの複製をする場合のスケジューリングの具体例を示している。
【図９】図７の処理内容情報に従ってフレームの複製をする場合のスケジューリングの具体例であって、図８とは異なる例を示している。
【図１０】本発明の画像処理装置の変形例に係る携帯電話の外観図であり、（ａ）は開状態正面図、（ｂ）は閉状態背面図である。
【図１１】図１０の携帯電話のハードウェアの構成を示すブロック図である。
【発明を実施するための形態】
【００１５】
以下、本発明の一実施形態を図面に基づいて説明する。
図１は、本発明の画像処理装置の一実施形態に係るデジタルカメラ１のハードウェアの構成を示す図である。
【００１６】
デジタルカメラ１は、撮像部１１と、音声入力部１２と、データ処理部１３と、ユーザインタフェース部１４と、を備える。
【００１７】
撮像部１１は、光学レンズ部２１と、イメージセンサ２２と、を備える。
【００１８】
光学レンズ部２１は、規定された画角（以下、「正規の画角」と呼ぶ）に含まれる被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズなどで構成される。フォーカスレンズは、イメージセンサ２２の受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。光学レンズ部２１にはまた、必要に応じて、焦点、露出、ホワイトバランスなどの設定パラメータを調整する周辺回路が設けられる。
【００１９】
イメージセンサ２２は、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）などから構成される。光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子などから構成される。光電変換素子には、光学レンズ部２１からシャッタ部（図示せず）を介して被写体像が入射される。そこで、光電変換素子は、一定時間毎に被写体像を光電変換（撮影）して画像信号を蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理などの各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、イメージセンサ２２の出力信号として出力される。なお、以下、画像信号のディジタル信号を、「画像データ」と呼ぶ。このように呼称すると、イメージセンサ２２からは画像データが出力されて、データ処理部１３に供給される。
【００２０】
音声入力部１２は、マイクロフォンや音声データ化部などで構成される。マイクロフォンは、撮像部１１による撮影時などに音声を入力し、アナログの音声信号として出力する。音声データ化部は、マイクロフォンから出力されたアナログの音声信号に対して、Ａ／Ｄ変換処理などの各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、音声入力部１２の出力信号として出力される。なお、以下、音声信号のディジタル信号を、「音声データ」と呼ぶ。このように呼称すると、音声入力部１２からは音声データが出力されて、データ処理部１３に供給される。
【００２１】
データ処理部１３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３３と、メモリ３４と、出力制御部３５と、画像処理部３６と、を備えている。
【００２２】
ＣＰＵ３１は、ＲＯＭ３２に記録されているプログラムに従って各種の処理を実行する。ＲＡＭ３３には、ＣＰＵ３１が各種の処理を実行する上において必要なデータなどが適宜記憶される。
【００２３】
本実施の形態では、後述する図２の画像取得部６１乃至ファイル化部６６の各機能を実現するプログラムが、ＲＯＭ３２に記憶されている。従って、ＣＰＵ３１が、このプログラムに従った処理を実行することで、画像取得部６１乃至ファイル化部６６の各機能を実現することができる。
【００２４】
メモリ３４は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などで構成され、イメージセンサ２２から出力された画像データや、音声入力部１２から出力された音声データを一時記憶する。また、メモリ３４は、各種画像処理や音声処理に必要な各種データ、例えば、画像データ、各種フラグの値、閾値なども記憶する。また、メモリ３４には、画像表示用の画像データ（以下、「表示画像データ」と呼ぶ）の保存と読み出しを行うための表示メモリ領域も含まれている。
【００２５】
出力制御部３５は、メモリ３４の表示メモリ領域に格納された表示画像データを読み出し、その表示画像データにより表現される画像（以下、「表示画像」と呼ぶ）を、ユーザインタフェース部１４の表示部４２に表示させる。例えば、出力制御部３５は、当該表示画像データに基づいてＲＧＢ信号を生成し、当該ＲＧＢ信号を表示部４２に供給することにより、表示画像を表示部４２に表示させる。なお、出力制御部３５により生成されたＲＧＢ信号は、ユーザインタフェース部１４の通信部４４によって、図示せぬ外部機器に出力させることもできる。これにより、外部機器、例えば、テレビジョン受像機、パーソナルコンピュータ、プロジェクタなどでも、表示画像の表示が可能になる。
【００２６】
出力制御部３５はまた、メモリ３４に記憶された音声データを読み出し、Ｄ／Ａ変換などの信号処理を実行してアナログの音声信号を生成し、当該アナログの音声信号を音声出力部４１に供給することにより、当該音声信号により表現される音声を音声出力部４１から出力させる。
【００２７】
画像処理部３６は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などで構成され、メモリ３４に記憶された画像データに対して、ホワイトバランス補正処理やγ補正処理などの各種画像処理を実行する。本実施形態では、後述する図２の画像取得部６１乃至ファイル化部６６が実行する各種画像処理のうち少なくとも一部が、画像処理部３６において実行され、残りの一部がＣＰＵ３１において実行される。即ち、本実施形態では、後述する図２の画像取得部６１乃至ファイル化部６６は、ＣＰＵ３１及び画像処理部３６というハードウェアと、ＲＯＭ３２に記憶されたプログラム（ソフトウェア）との組み合わせとして構成されている。
【００２８】
ユーザインタフェース部１４は、スピーカなどで構成される音声出力部４１と、液晶ディスプレイなどで構成される表示部４２と、ユーザの指示操作を受け付ける操作部４３と、外部機器との間での通信を制御する通信部４４と、リムーバブル記録媒体５１に対するデータの読み書きを行うドライブ４５と、を備えている。
【００２９】
このような構成を有するデジタルカメラ１の処理対象となる動画のうち、上記の正規の画角を有し第１のフレームレートを有する動画を、以下、「背景動画」と呼ぶ。また、上記の正規の画角内に主要被写体像領域を含むと共に当該主要被写体像領域を除く領域を透過情報領域として含む、第２のフレームレートを有する動画を、以下、「前景動画」と呼ぶ。デジタルカメラ１は、このような背景動画の画像データと前景動画の画像データとを合成することによって、正規の画角を有した合成動画の画像データを生成することができる。なお、このようなデジタルカメラ１の処理を、以下、「合成動画生成処理」と呼ぶ。
【００３０】
図２は、このような合成動画生成処理を実行するためのデータ処理部１３の機能的構成を示す機能ブロック図である。
【００３１】
データ処理部１３は、画像取得部６１と、合成条件決定部６２と、フレーム複製部６３と、フレーム合成部６４と、音声付加部６５と、ファイル化部６６と、を備えている。
【００３２】
また、データ処理部１３のＲＯＭ３２、ＲＡＭ３３、又はメモリ３４（図１）内には、インデックス記憶部７１と、前景動画記憶部７２と、複製処理内容記憶部７３と、背景動画記憶部７４と、合成動画記憶部７５と、が設けられている。
【００３３】
画像取得部６１は、撮像部１１により撮像された動画の画像データを取得する。例えば、画像取得部６１は、第１のフレームレートに基づいて撮像部１１を連続駆動させることによって、撮像部１１から順次供給される、正規の画角を有する複数の画像の画像データを取得する。即ち、本実施形態では、このようにして画像取得部６１により取得された複数の画像の画像データが、正規の画角を有し第１のフレームレートを有する背景動画の画像データとして取得される。なお、このように動画を構成する複数の画像の各々を、以下、「フレーム」と称する。即ち、１つの動画は、複数のフレームから構成される。
【００３４】
画像取得部６１は、このようにして取得した背景動画の画像データを、ファイル化して背景動画記憶部７４に記憶させる。即ち、背景動画の画像データを含む画像ファイルが生成され、背景動画記憶部７４に記憶される。画像取得部６１は、さらに、背景動画に関するメタ情報として、例えば、第１のフレームレートなどを特定する情報を生成し、当該画像ファイルに含めて背景動画記憶部７４に記憶させる。なお、所定のフレームレートを特定する情報を、以下、「フレームレート情報」と呼ぶ。即ち、背景動画記憶部７４に記憶される動画ファイルには、背景動画の画像データが、第１のフレームレートを特定するフレームレート情報などのメタ情報と共に含まれている。これにより、ユーザが撮影した動画を、背景動画として合成動画を作成することが容易に可能になり、このようにして作成された合成動画はより現実味のある動画になる。
【００３５】
また、画像取得部６１は、当該背景動画の画像データに対して、サムネイル化処理、縮小処理、間引き処理などを適宜実行することで、後述する合成条件の決定の際にユーザに提示するインデックス画像データを生成し、これを背景動画記憶部７４に記憶される各動画ファイルと対応付けるようにインデックス記憶部７１に記憶させる。
【００３６】
なお、本実施形態では、正規の画角内に主要被写体像領域を含むと共に当該主要被写体像領域を除く領域を透過情報領域として含む、第２のフレームレートを有する動画、即ち前景動画については、予め与えられているものとする。換言すると、本実施形態では、当該前景動画の画像データは、所定の画像ファイルに含められて前景動画記憶部７２に予め記憶されているものとする。また、当該所定の画像ファイルには、メタ情報として、第２のフレームレートを特定するフレームレート情報や、透過情報領域に関する透過情報なども含まれているものとする。また、当該前景動画のインデックス画像データは、透過情報などと対応付けて、前景動画記憶部７２に記憶される各動画ファイルと対応付けるようにインデックス記憶部７１に記憶させる。
【００３７】
画像取得部６１は、第２のフレームレートに基づいて撮像部１１を連続駆動させることによって、撮像部１１から供給される動画の画像データを、前景動画の画像データとして取得するようにしてもよい。この場合、ユーザが撮影した動画を、前景動画として合成動画を作成することが容易に可能になり、このようにして作成された合成動画はより現実味のある動画になる。
【００３８】
合成条件決定部６２は、合成動画を生成するための各種合成条件を決定する。合成条件としては、例えば、複数の背景動画のうちの何れの動画を合成対象とするのかという条件や、複数の前景動画のうちの何れの動画を合成対象とするのかという条件などが存在する。
【００３９】
本実施形態では、合成条件の多くはユーザによる設定が可能になっており、このようなユーザによる設定を支援すべく、インデックス記憶部７１には複数のインデックス画像データが記憶されている。そこで、合成条件決定部６２は、所定のインデックス画像データをインデックス記憶部７１から読み出して、出力制御部３５に供給する。すると、出力制御部３５は、当該インデックス画像データにより表現される画像を、表示部４２に表示させる。ユーザは、このインデックス画像データの画像を見ながら操作部４３を操作することで、所定の合成条件に対する指示操作を行うことができる。合成条件決定部６２は、当該指示操作に従って、当該所定の合成条件を決定する。なお、インデックス画像データの具体例や、合成条件の決定手法の具体例については、図３以降の図面を参照して後述する。
【００４０】
なお、合成条件決定部６２は、前景動画記憶部７２に記憶されている前景動画の画像データや、背景動画記憶部７４に記憶されている背景動画の画像データから直接、インデックス画像データを生成してもよい。この場合には、インデックス記憶部７１は省略してもよい。
【００４１】
このようにして、合成条件決定部６２により、合成条件として少なくとも、合成対象の背景動画及び前景動画が決定される。この場合、合成対象の背景動画の第１のフレームレートと、合成対象の前景動画の第２のフレームレートとが一致しているならば、当該背景動画及び当該前景動画をそのまま合成しても、適切な合成動画を生成することができる。
【００４２】
しかしながら、合成対象の背景動画の第１のフレームレートと、合成対象の前景動画の第２のフレームレートとが不一致の場合、当該背景動画及び当該前景動画をそのまま合成してしまうと、適切な合成動画を作成することができない。例えばフレームレートの高い方の再生速度にあわせて再生すると、フレームレートの低い方の動画の被写体像が素早く動いて再生されてしまうような合成動画が生成されてしまう。このため、適切な合成動画を生成するためには、当該背景動画及び当該前景動画のうち、高いフレームレートの方の動画の再生速度に合わせて、低いフレームレートの方の動画のフレーム数を増加させる必要がある。
【００４３】
この場合のフレーム数の増加手法は、特に限定されず、例えば、既存のフレーム間に補間フレームや新たに創造したフレームを挿入する手法などを採用することができる。本実施形態では、既存のフレーム間に、何れか一方から複製したフレームを挿入するという手法が採用されている。このため、データ処理部１３には、フレーム複製部６３が設けられている。
【００４４】
即ち、フレーム複製部６３は、第１のフレームレートと第２のフレームレートとを比較し、前景動画及び背景動画のうち、高いフレームレートの方の動画の再生速度に合わせて、低いフレームレートの方の動画に含まれる各フレームの画像データを複製する。
【００４５】
ここで、複製処理内容記憶部７３には、第１のフレームレートと第２のフレームレートとの対応関係と、フレーム複製部６３の処理内容又は後述するフレーム合成部６４の処理内容の少なくとも一方と、を対応付けた情報（以下、「処理内容情報」と呼ぶ）が記憶されている。そこで、フレーム複製部６３は、この処理内容情報を適宜参照して、上述したフレームの画像データを複製する処理を実行する。このように、処理内容情報を予め保持しておくことで、フレーム複製部６３の処理内容又は後述するフレーム合成部６４の処理内容を決定するために要する時間を短縮することが可能になり、ひいては、合成動画生成処理の処理時間を短縮することが可能になる。なお、処理内容情報の具体例については、図７乃至図９を参照して後述する。
【００４６】
なお、以下の説明では、説明の便宜上、背景動画の第１のフレームレートの方が、前景動画の第２のフレームレートよりも高いものとする。即ち、図２においては、実線の矢印に沿って、データが流れるものとする。従って、フレーム複製部６３は、前景動画に含まれる各フレームの画像データを複製する。これにより、既存の各フレーム間に、複製したフレームを挿入した動画の画像データが合成対象として得られ、フレーム合成部６４に供給される。一方、背景動画の画像データは、背景動画記憶部７４からフレーム合成部６４に供給される。
【００４７】
フレーム合成部６４は、再生時の再生速度が互いに適合するように、フレーム複製部６３により複製されたフレームを含む複数のフレームから構成される前景動画の画像データと、背景動画の画像データとをフレーム単位で順次合成する。この場合、フレーム合成部６４は、複製処理内容記憶部７３に記憶された処理内容情報を適宜参照して、フレームの画像データを合成する処理を実行する。これにより、背景動画と前景動画が合成された合成動画であって、正規の画角を有する複数のフレームから構成される合成動画の画像データが生成される。
【００４８】
なお、ここでは、説明の便宜上、背景動画の第１のフレームレートの方が、前景動画の第２のフレームレートよりも高いものとしているが、当然ながら、第１のフレームレートの方が第２のフレームレートよりも低い場合もあり得る。このような場合に対しても、フレーム複製部６３及びフレーム合成部６４は、上述した処理を同様に実行することで、合成動画の画像データを生成することができる。このような処理も可能であることを示すために、図２においては、背景動画記憶部７４からフレーム複製部６３までの間と、前景動画記憶部７２からフレーム合成部６４までの間とのそれぞれに対して、点線の矢印が引かれている。
【００４９】
ところで、前景動画又は背景動画の少なくとも一方に音声が記録されている場合もある。このような場合、音声付加部６５は、フレーム合成部６４により生成された合成動画の画像データに対して、前景動画又は背景動画に記録された音声の音声データを付加する。これにより、合成動画の再生時に、対応する音声も出力されるので、より一段と現実味のある合成動画を作成することが可能となる。
【００５０】
ファイル化部６６は、フレーム合成部６４により生成された合成動画の画像データと、音声付加部６５により必要に応じて付加された音声の音声データと、各種メタデータとを含むファイル（以下、「合成画像ファイル」と呼ぶ）を生成し、合成動画記憶部７５に記憶させる。
【００５１】
合成動画の再生時には、合成動画記憶部７５に記憶された合成画像ファイルに含まれる合成動画の画像データのうち、表示対象のフレームの画像データが、メモリ３４の表示メモリ領域に表示画像データとして格納される。すると、出力制御部３５は、当該表示画像データを読み出し、その表示画像データにより表現される画像、即ち、表示対象のフレームを表示部４２に表示させる。出力制御部３５は、このような処理を、再生速度にあわせて、合成動画を構成する各フレーム毎に実行することで、合成動画を再生することができる。さらに、合成画像ファイルに音声データが含まれている場合には、出力制御部３５は、当該音声データにより表現される音声を、音声出力部４１から出力させる。
【００５２】
次に、図３及び図４のフローチャートを参照して、このような機能的構成を有するデータ処理部１３が実行する合成動画生成処理について説明する。その際、合成動画生成処理の理解を容易なものとすべく、図５又は図６に示す表示画像を適宜参照する。
【００５３】
図３及び図４は、合成動画生成処理の流れの一例を示すフローチャートである。図５及び図６は、合成動画生成処理中に表示部４２に表示される各種表示画像の具体例を示している。
【００５４】
図３のステップＳ１において、データ処理部１３の合成条件決定部６２は、背景選択のモードの選択操作が検出されたか否かを判定する。
【００５５】
背景選択のモードが選択されていない場合、ステップＳ１においてＮＯであると判定されて、図４に示すように、合成動画生成処理は終了となる。
【００５６】
これに対して、例えば、図５に示すように、モニタ画像１０１などが表示部４２に表示されている状態で、操作部４３のうちの「ＭＥＮＹＵ釦（図示せず）」が押下され、ＰＬＡＹメニュー画像１０２が表示され、さらに、操作部４３のうちの「ＳＥＴ釦（図示せず）」により、「合成画像作成」という項目１２０が選択されると、合成条件決定部６２は、背景選択のモードの選択操作を検出する。これにより、図３のステップＳ１においてＹＥＳであると判定されて、処理はステップＳ２に進む。
【００５７】
ステップＳ２において、合成条件決定部６２は、インデックス記憶部７１を参照する。ステップＳ３において、合成条件決定部６２は、出力制御部３５を制御することによって、複数の画像ファイル（背景動画ファイル含む）に対応するインデックス画像データの画像をインデックス記憶部７１から読み出して表示部４２に表示させる。そして、ステップＳ４において、合成条件決定部６２は、選択の指示操作が検出されたか否かを判定する。
【００５８】
例えば、ステップＳ３の処理で、図５に示すように、所定の背景動画を示すインデックス画像データの画像１２１を含む選択画像１０４が、表示部４２に表示される。ユーザは、この選択画像１０４が表示されている状態で、操作部４３のうちの「左釦（図示せず）」又は「右釦（図示せず）」を押下することにより、選択画像１０４内の表示状態を、画像１２１から、別の背景動画又は背景静止画を示すインデックス画像データの画像に切り替えることができる。このようなユーザによる「左釦（図示せず）」、「右釦（図示せず）」の他、後述する「上釦（図示せず）」、「下釦（図示せず）」の押下操作による指示を、合成条件決定部６２からみた場合には「外部からの方向指示」と呼び、そのための上述した押下操作を「外部からの方向指示操作」と呼ぶ。ユーザは、外部からの方向指示操作を何度か繰り返すことにより、所望のインデックス画像データの画像を選択画像１０４内に表示させ、その後、操作部４３のうち「ＳＥＴ釦（図示せず）」を押下することで、当該所望のインデックス画像データの画像により示される背景動画又は背景静止画を選択することができる。
【００５９】
「ＳＥＴ釦（図示せず）」が押下されない場合、選択の指示操作が合成条件決定部６２において検出されないため、ステップＳ４においてＮＯであると判定されて、処理はステップＳ３に戻され、それ以降の処理が繰り返される。即ち、「ＳＥＴ釦（図示せず）」が押下されない限り、ステップＳ３，Ｓ４ＮＯのループ処理が繰り返される。その後、「ＳＥＴ釦（図示せず）」が押下されると、選択の指示操作が合成条件決定部６２において検出されるため、ステップＳ４においてＹＥＳであると判定されて、処理はステップＳ５に進む。
【００６０】
ステップＳ５において、合成条件決定部６２は、合成条件の１つとして、選択の指示操作が検出された時点に選択画像１０４内に表示されていたインデックス画像データの画像が示す背景動画又は背景静止画を、合成対象の背景画として決定する。例えば選択画像１０４が図５の表示状態のときに「ＳＥＴ釦（図示せず）」が押下されると、インデックス画像データの画像１２１により示される背景動画が、合成対象の背景動画として決定される。
【００６１】
ステップＳ６において、合成条件決定部６２は、インデックス記憶部７１を参照する。ステップＳ７において、合成条件決定部６２は、出力制御部３５を制御することによって、透過情報を含む複数の画像ファイル（前景動画ファイル含む）に対応するインデックス画像データに基づく画像をインデックス記憶部７１から読み出して表示部４２に表示させる。そして、ステップＳ８において、合成条件決定部６２は、選択の指示操作が検出されたか否かを判定する。
【００６２】
例えば、ステップＳ７の処理で、図５に示すように、所定の前景動画を示すインデックス画像データの画像１２２を含む選択画像１０５が、表示部４２に表示される。ユーザは、この選択画像１０５が表示されている状態で、外部からの方向指示操作を行うことにより、選択画像１０５内の表示状態を、画像１２２から、別の前景動画又は前景静止画を示すインデックス画像データの画像に切り替えることができる。
【００６３】
なお、本実施形態では、複数のキャラクターを主要被写体像として含む前景動画又は前景静止画の画像データが前景動画記憶部７２に予め記憶されている。このため、前景動画又は前景静止画の選択をユーザに促すために、図５に示すように、「使用する前景を選択してください」というメッセージが選択画像１０５内に表示される。例えば、インデックス画像データの画像１２２は、箒に乗った魔女が空を飛ぶように移動する前景動画を示している。
【００６４】
ユーザは、外部からの方向指示操作を何度か繰り返して、所望のインデックス画像データの画像を選択画像１０５内に表示させ、その後、操作部４３のうち「ＳＥＴ釦（図示せず）」を押下することで、当該所望の画像により示される前景動画又は前景静止画を選択することができる。
【００６５】
従って、「ＳＥＴ釦（図示せず）」が押下されない場合、選択の指示操作が合成条件決定部６２において検出されないため、ステップＳ８においてＮＯであると判定されて、処理はステップＳ７に戻され、それ以降の処理が繰り返される。即ち、「ＳＥＴ釦（図示せず）」が押下されない限り、ステップＳ７，Ｓ８ＮＯのループ処理が繰り返される。その後、「ＳＥＴ釦（図示せず）」が押下されると、選択の指示操作が合成条件決定部６２において検出されるため、ステップＳ８においてＹＥＳであると判定されて、処理はステップＳ９に進む。
【００６６】
ステップＳ９において、合成条件決定部６２は、出力制御部３５を制御することによって、インデックス画像データの画像同士を合成表示すると共に、合成可能な期間を差別化してタイムバーとして表示する。即ち、合成条件決定部６２は、合成条件の１つとして、選択の指示操作が検出された時点に選択画像１０５内に表示されていたインデックス画像データの画像が示す前景動画又は前景静止画を、合成対象の前景画として決定する。合成条件決定部６２は、当該合成対象の前景画と、先に合成対象として決定した背景動画とを合成した合成画像、及び、タイムバーを含む選択画像の画像データを生成する。そして、合成条件決定部６２は、出力制御部３５を制御することによって、当該選択画像を表示部４２に表示させる。
【００６７】
例えば選択画像１０５が図５の表示状態のときに「ＳＥＴ釦（図示せず）」が押下されると、合成条件の１つとして、画像１２２により示される前景動画が、合成対象の前景動画として決定される。このため、図６に示すように、合成対象の前景動画（魔女が移動する動画）を示す画像１２２及び合成対象の背景動画を示す画像１２１が合成された合成画像と、タイムバー１２３とを含む選択画像１０６が、表示部４２に表示される。
【００６８】
この選択画像１０６に表示されているタイムバー１２３は、前景動画と背景動画のうち再生時間が長い方の動画、本実施形態では背景動画の再生時間帯を示している。タイムバー１２３内のポインタ１２４は、前景動画と背景動画のうち再生時間が短い方の動画、本実施形態では前景動画の再生開始タイミングを示している。
【００６９】
ユーザは、この選択画像１０６が表示されている状態で、外部からの方向指示操作を行うことにより、選択画像１０６内のポインタ１２４の表示位置を、タイムバー１２３内で自在に移動させることができる。ユーザは、外部からの方向指示操作を何度か繰り返すことで、ポインタ１２４をタイムバー１２３内の所望の位置に表示させ、その後、操作部４３のうち「ＳＥＴ釦（図示せず）」を押下することで、当該所望の位置により示される背景動画の再生位置から、前景動画の合成（再生）を開始させる設定をすることができる。換言すると、前景動画と背景動画との合成を、前景動画を背景動画に埋め込むと把握するならば、ユーザは、上述の操作を行うことによって、前景動画の埋め込み開始タイミングを設定することができる。この場合、フレーム合成部６４は、前景動画の埋め込み開始タイミングから、当該前景動画の再生時間に相当するフレーム数について合成することになる。これにより、合成処理は、必要最低現の時間帯に対して実行されるので、処理時間の短縮を図ることが可能になり、場合によっては、生成される合成動画の画像データの容量を削減することも可能になる。なお、図示はしないが、ユーザの利便性のため、タイムバー１２３内に、さらに、前景動画の再生時間帯、いわゆる埋め込み時間帯に対応する長さのバーを表示させてもよい。
【００７０】
このようにして、ステップＳ９の処理で選択画像１０６を表示させた後、ステップＳ１０において、合成条件決定部６２は、出力制御部３５を制御することによって、外部からの方向指示検出結果をタイムバー１２３の表示位置に反映させる。換言すると、外部からの方向指示とは、上述の如く、前景動画の埋め込み開始タイミングの変更指示であり、当該変更指示の結果の検出結果に応じて、ポインタ１２４の表示位置がタイムバー１２３内で変化する。
【００７１】
ステップＳ１１において、合成条件決定部６２は、前景動画の埋め込み開始タイミングの決定の指示操作が検出されたか否かを判定する。
【００７２】
「ＳＥＴ釦（図示せず）」が押下されない場合、前景動画の埋め込み開始タイミングの決定の指示操作が合成条件決定部６２において検出されないため、ステップＳ１１においてＮＯであると判定されて、処理はステップＳ１０に戻され、それ以降の処理が繰り返される。即ち、「ＳＥＴ釦（図示せず）」が押下されない限り、ステップＳ１０，Ｓ１１ＮＯのループ処理が繰り返される。その後、「ＳＥＴ釦（図示せず）」が押下されると、決定の指示操作が合成条件決定部６２において検出されるため、ステップＳ１１においてＹＥＳであると判定される。
【００７３】
これにより、合成条件の１つとして、前景動画の埋め込み開始タイミングが決定される。次に、合成条件決定部６２は、合成条件の別の１つとして、前景動画の主要被写体像（図５や図６の例では箒に乗った魔女のキャラクター）の、背景動画内の合成位置を決定する必要がある。このため、図６に示すように、前景動画を示す画像１２２及び合成対象の背景動画を示す画像１２１が合成された合成画像と、前景動画の主要被写体像を囲む枠１２５とを含む選択画像１０７が、表示部４２に表示される。
【００７４】
ユーザは、この選択画像１０７が表示されている状態で、外部からの方向指示操作を行うことにより、選択画像１０７内の枠１２５の表示位置を、背景動画内、より正確には当該背景動画を示す画像１２１の範囲内で自在に移動させることができる。ユーザは、外部からの方向指示操作を何度か繰り返すことで、枠１２５内の前景動画の主要被写体像を背景画像内の所望の位置に表示させ、その後、操作部４３のうち「ＳＥＴ釦（図示せず）」を押下することで、前景動画の主要被写体像の、背景動画内の合成位置を決定することができる。さらに、ユーザは、操作部４３のうち「ＳＥＴ釦（図示せず）」を押下するまでの間は、操作部４３のうち「ズーム釦（図示せず）」を押下することで、合成条件のさらに別の１つである、前景動画の主要被写体像の合成サイズを変更することもできる。
【００７５】
即ち、ステップＳ１１の処理でＹＥＳであると判定して選択画像１０７を表示させた後、ステップＳ１２において、合成条件決定部６２は、出力制御部３５を制御することによって、外部からの方向指示検出結果を、前景動画の主要被写体像の合成位置に反映させる。換言すると、外部からの方向指示とは、上述の如く、前景動画の主要被写体像の合成位置の変更指示であり、当該変更指示の結果の検出結果に応じて、枠１２５及び前景動画の主要被写体像の表示位置が背景動画内で変化する。このような処理中に、前景動画及び背景動画を共にプレビュー再生させると、それぞれの主要被写体像が動くことになるので、ユーザにとっては完成後の合成動画をイメージしながら、前景動画の主要被写体像の合成位置を設定することが可能になる。
【００７６】
ステップＳ１３において、合成条件決定部６２は、前景動画の主要被写体像の合成位置の決定の指示操作が検出されたか否かを判定する。
【００７７】
「ＳＥＴ釦（図示せず）」が押下されない場合、前景動画の主要被写体像の合成位置の決定の指示操作が合成条件決定部６２において検出されないため、ステップＳ１３においてＮＯであると判定されて、処理はステップＳ１２に戻され、それ以降の処理が繰り返される。即ち、「ＳＥＴ釦（図示せず）」が押下されない限り、ステップＳ１２，Ｓ１３ＮＯのループ処理が繰り返される。その後、「ＳＥＴ釦（図示せず）」が押下されると、決定の指示操作が合成条件決定部６２において検出されるため、ステップＳ１３においてＹＥＳであると判定される。
【００７８】
このようにして、合成条件の１つとして、前景動画の主要被写体像の合成位置が決定され、必要に応じて合成条件の別の１つとして、前景動画の主要被写体像の合成サイズも決定される。これにより、本実施形態では、合成条件の全てが決定されたことになるので、処理は、図４のステップＳ１４に進む。
【００７９】
ステップＳ１４において、フレーム複製部６３は、合成対象の２つの画像ファイルに記憶されているフレームレート情報を、前景動画記憶部７２又は背景動画記憶部７４から読み出す。
【００８０】
ステップＳ１５において、フレーム複製部６３は、複製処理内容記憶部７３に記憶されている処理内容情報を参照して、フレームの画像データを複製する処理を実行する。即ち、本実施形態では、フレーム複製部６３は、フレームレート情報から第１のフレームレート及び第２のフレームレートを認識し、処理内容情報に従って、高いフレームレートの背景動画の再生速度に合わせて、低いフレームレートの前景動画に含まれる各フレームの画像データを複製する。
【００８１】
ステップＳ１６において、フレーム合成部６４は、複製処理内容記憶部７３に記憶されている処理内容情報を参照して、フレームを合成する合成処理を実行する。即ち、本実施形態では、処理内容情報に従って、再生時の再生速度が互いに適合するように、フレーム複製部６３により複製されたフレームを含む複数のフレームから構成される前景動画の画像データと、背景動画の画像データとをフレーム単位で順次合成する。これにより、背景動画と前景動画とが合成された合成動画であって、正規の画角を有する複数のフレームから構成される合成動画の画像データが生成される。
【００８２】
なお、ステップＳ１５及びＳ１６の具体例については、図７乃至図９を参照して後述する。
【００８３】
ステップＳ１７において、音声付加部６５は、合成対象の前景動画又は背景動画に音声が記録されていたか否かを判定する。
【００８４】
合成対象の前景動画及び背景動画の何れにも音声が記録されていない場合、ステップＳ１７においてＮＯであると判定されて、ステップＳ１８の処理は実行されずに、処理はステップＳ１９に進む。
【００８５】
これに対して、合成対象の前景動画又は背景動画の少なくとも一方に音声が記録されている場合、ステップＳ１７においてＹＥＳであると判定されて、処理はステップＳ１８に進む。ステップＳ１８において、音声付加部６５は、合成部分に対応する音声データを切り取り、合成動画の画像データに関連付ける。なお、本実施形態では、合成対象の前景動画及び背景動画の両者に音声が記録されている場合、背景動画の音声の音声データが優先的に切り取られて、合成動画の画像データに関連付けられるとする。
【００８６】
ステップＳ１９において、ファイル化部６６は、合成動画の各データをファイル化し、出力制御部３５を制御して、合成動画のプレビュー表示を行う。即ち、ファイル化部６６は、ステップＳ１６の処理で生成された合成動画の画像データと、ステップＳ１８の処理が実行された場合にはその処理で関連付けられた音声の音声データと、各種メタデータとを含む合成画像ファイルを生成し、合成動画記憶部７５に記憶させる。この間、表示部４２には、例えば図６に示すような画像１０８が表示されており、合成画像ファイルが合成動画記憶部７５に記憶されると、表示部４２の表示画像が、合成動画１２６のプレビュー表示を行う画像１０９に切り替わる。これにより、合成動画生成処理が終了になる。
【００８７】
さらに、以下、図７乃至図９を参照して、合成動画生成処理のうち、処理内容情報を参照して実行される、ステップＳ１５及びＳ１６の処理について具体的に説明する。
【００８８】
図７は、処理内容情報のデータ構造の一例を示している。図８及び図９の各々は、図７の処理内容情報に従ってフレームを複製する場合のスケジューリングの具体例を示している。
【００８９】
本実施形態において、処理内容情報は行列構造を有しているため、以下、図７中横方向の項目の集合体を「行」と称し、同図中縦方向の項目の集合体を「列」と称する。所定の行には、背景動画の第１のフレームレートの１つが対応付けられている。所定の列には、前景動画の第２のフレームレートの１つが対応付けられている。即ち、ｉ行ｊ列（ｉは１又は２の値であり、ｊは１乃至４のうちの何れかの値である）の項目には、ｉ行に対応付けられた第１のフレームレートと、ｊ行に対応付けられた第２のフレームレートとの組み合わせの場合における、フレーム複製部６３の処理内容（フレームの複製手法）及びフレーム合成部６４の処理内容（フレームの合成手法）が格納されている。
【００９０】
例えば図７において、背景動画の第１のフレームレートが１行目の２４（ＦＰＳ）であり、前景動画の第２のフレームレートが２列目の５（ＦＰＳ）である場合、１行２列の項目に格納されている処理内容、即ち、「前景動画の各フレームについて５回複製し、背景動画１フレームにつき前景動画１フレームを合成（このとき前景動画のフレームＮｏ．が同じもので背景動画のフレームＮｏ．が順次インクリメントしているものを連続６回生成）」という処理内容が、フレーム複製部６３及びフレーム合成部６４の各々により複製処理内容記憶部７３から読み出される。すると、フレーム複製部６３は、図８に示すスケジューリングに沿って前景動画の各フレームを複製し、フレーム合成部６４は、図８に示すスケジューリングに沿って、背景動画の各フレームと、前景動画の各フレーム（複製されたフレーム含む）とを合成していく。
【００９１】
なお、図８において、背景動画フレーム番号とは、背景動画を構成する各フレームの各々に対して再生順に付された番号であって、図７における「背景動画のフレームＮｏ．」のことをいう。また、前景動画フレーム番号とは、前景動画を構成する各フレームの各々に対して再生順に付された番号であって、図７における「前景動画のフレームＮｏ．」のことをいう。即ち、図８において、同一の前景動画フレーム番号が６つ存在することは、当該前景動画フレーム番号の元のフレームの後に、当該元のフレームが５回複製されたものが順次挿入されて、背景動画の対応するフレームと合成されることを意味している。この段落の記載事項は、図９についても同様に当てはまる。
【００９２】
また例えば図７において、背景動画の第１のフレームレートが２行目の３０（ＦＰＳ）であり、前景動画の第２のフレームレートが４列目の２０（ＦＰＳ）である場合、２行４列の項目に格納されている処理内容、即ち、「前景動画の各フレームについて５フレームおきに１回複製し、背景動画１フレームにつき前景動画１フレームを合成（このとき前景動画のフレームＮｏ．が同じもので背景動画のフレームＮｏ．が順次インクリメントして生成）」という処理内容が、フレーム複製部６３及びフレーム合成部６４の各々により複製処理内容記憶部７３から読み出される。すると、フレーム複製部６３は、図９に示すスケジューリングに沿って前景動画の各フレームを複製し、フレーム合成部６４は、図９に示すスケジューリングに沿って、背景動画の各フレームと、前景動画の各フレーム（複製されたフレーム含む）とを合成していく。
【００９３】
以上説明したように、本実施形態に係るデジタルカメラ１は、正規の画角を有し第１のフレームレートを有する動画を背景動画とし、正規の画角内に主要被写体像領域を含むと共に当該主要被写体像領域を除く領域を透過情報領域として含む、第２のフレームレートを有する動画を前景動画として、背景動画の画像データと前景動画の画像データとを合成し、正規の画角を有した合成動画の画像データを生成する。この場合、デジタルカメラ１のフレーム複製部６３は、第１のフレームレートと第２のフレームレートとを比較し、前景動画及び背景動画のうち、高いフレームレートの方の動画の再生速度に合わせて、低いフレームレートの方の動画に含まれる各フレームの画像データを複製する。デジタルカメラ１のフレーム合成部６４は、再生時の再生速度が互いに適合するように、前景動画及び背景動画のうち、フレーム複製部６３により複製されたフレームを含む複数のフレームから構成される方の動画の画像データと、他方の動画の画像データとをフレーム単位で順次合成する。これにより、背景動画と前景動画とが合成された合成動画であって、正規の画角を有する複数のフレームから構成される合成動画の画像データが生成される。そこで、デジタルカメラ１のファイル化部６６は、フレーム合成部６４により生成された合成動画の画像データを、新たな動画の画像データとして、合成画像ファイルに含めて合成動画記憶部７５に記憶させる。
【００９４】
このようにして、本実施形態に係るデジタルカメラ１は、現実味のある合成動画を作成することができる。
【００９５】
なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良などは本発明に含まれるものである。
【００９６】
例えば、上述した実施形態では、フレーム複製部６３の処理は、複製処理内容記憶部７３に記憶されている処理内容情報に従って実行されたが、特にこれに限定されない。例えば、前景動画１フレームあたりの表示時間を「Ｔｃ」と表記すると、５ＦＰＣであればＴｃ＝０．２（ｓ）となり、１０ＦＰＣであればＴｃ＝０．１（ｓ）となり、２０ＦＰＣであればＴｃ＝０．０５（ｓ）となる。一方、背景動画１フレームあたりの表示時間を「Ｔｂ」と表記すると、２４ＦＰＣであればＴｃ＝０．０４１６（ｓ）となり、３０ＦＰＣであればＴｃ＝０．０３３３（ｓ）となる。従って、図示はしないが、図２の機能ブロックに対してさらに演算部を設け、当該演算部が、（Ｔｃ／Ｔｂ）を演算することによって、前景動画１フレームあたり、何倍の長さで表示したらよいのか、即ち、複製するフレームの数はこの倍数に相当する数であることを求めることができる。そこで、フレーム複製部６３は、１フレーム毎に（若しくは交互に）、この倍数に相当する分だけ、前景動画のフレームの画像データを複製すればよい。これにより、処理内容情報などを予め保持しておく必要が無くなり、また、任意の第１のフレームレートや任意の第２のフレームレートについても、適切なフレームの複製が可能になる。
【００９７】
＜変形例＞
上記実施形態では、本願発明をデジタルカメラに適用させた場合について詳述したが、これに限らず、カメラ付き携帯電話など、撮像機能とメール送信機能やネットワークサーバへのアップロード機能を備えた無線通信機器に適用させてもよい。
【００９８】
以下、そのような機器に適用させた場合について説明する。なお、上記実施形態と動作や機能を同じくする構成については同一符号を付すことで説明を省略する。
【００９９】
図１０は、本変形例におけるカメラ付き携帯電話１１１の外観図を示すものであり、（ａ）は開状態の正面図、（ｂ）は閉状態の背面図を示す。
【０１００】
カメラ付き携帯電話１１１は、表示部４２を備える第１の筐体と、操作部４３を備える第２の筐体とからなり、第１の筐体と第２の筐体とは二軸の方向に回動するヒンジ部により、図１０（ａ）に示す開状態と、図１０（ｂ）に示す閉状態とを取ることができる。なお、同図において、符号４６は通話用スピーカを示す。
【０１０１】
この場合、背景画像や前景画像を撮像することにより取得する場合は、図１０（ａ）、（ｂ）の両形態で行う。また上記合成動画生成処理は図１０（ａ）の形態でのみ行う。
【０１０２】
図１１は、上記カメラ付き携帯電話１１１のハードウェアの構成を示す図である。
【０１０３】
カメラ付き携帯電話１１１は、上記デジタルカメラ１と比較し、大まかな点では、音声出力部として上記通話用スピーカ４６が追加され、通信部４４に代りＣＤＭＡなどの無線通信方式に対応する信号処理部を有する通信部４４０、アンテナ４４１が設けられている点で異なるが、この他、ＣＰＵ３１は画像処理以外に通信処理、電子メール作成処理、データアップロード、データダウンロード処理も行う。なお、当然のことながら、ＲＯＭ３２にはこれらの処理を実行するプログラムがさらに格納されている。
【０１０４】
また、図２におけるインデックス記憶部７１、前景動画記憶部７２、背景動画記憶部７４に記憶させるべき画像データ、動画ファイルは、画像取得部６１にて取得する他、無線通信ネットワーク（図示せず）を介して、アンテナ４４１、通信部４４０にて受信したものを記憶させることができる。
【０１０５】
また上記合成動画生成処理にて作成された合成動画ファイルは、電子メールへの添付処理、若しくは、直接的なネットワークサーバへのアップロード処理により、カメラ付き携帯電話１１１外部に出力することができる。
【０１０６】
このように変形例によれば、単に装置内部で現実味のある合成動画を生成できるだけでなく、合成に必要な前景動画、背景動画を無線通信ネットワークを介して簡単に入手できるだけでなく、生成された合成動画を外部に送信することも可能である。
【０１０７】
このように、本発明は、デジタルカメラに特に限定されず、電子機器一般に適用することができる。具体的には例えば、本発明は、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機などに適用可能である。
【０１０８】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
【０１０９】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータなどにネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【０１１０】
このようなプログラムを含む記録媒体は、図示はしないが、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体などで構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスクなどにより構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）などにより構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）などにより構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ３２や、図示せぬハードディスクなどで構成される。
【０１１１】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【符号の説明】
【０１１２】
１・・・デジタルカメラ、１１・・・撮像部、１２・・・音声入力部、１３・・・データ処理部、１４・・・ユーザインタフェース部、２１・・・光学レンズ部、２２・・・イメージセンサ、３１・・・ＣＰＵ、３２・・・ＲＯＭ、３３・・・ＲＡＭ、３４・・・メモリ、３５・・・出力制御部、３６・・・画像処理部、６１・・・画像取得部、６２・・・合成条件決定部、６３・・・フレーム複製部、６４・・・フレーム合成部、６５・・・音声付加部、６６・・・ファイル化部、７１・・・インデックス記憶部、７２・・・前景動画記憶部、７３・・・複製処理内容記憶部、７４・・・背景動画記憶部、７５・・・合成動画記憶部、１１１・・・カメラ付き携帯電話
【特許請求の範囲】
【請求項１】
正規の画角を有し第１のフレームレートを有する第１の動画の画像データと、正規の画角内に主要被写体像領域を含むと共に当該主要被写体像領域を除く領域を透過情報領域として含む、第２のフレームレートを有する第２の動画の画像データとを合成することによって、正規の画角を有した合成動画の画像データを生成する画像処理装置において、
前記第１のフレームレートと前記第２のフレームレートとを比較し、前記第１の動画及び前記第２の動画のうち、高いフレームレートの方の動画の再生速度に合わせて、低いフレームレートの方の動画に含まれる各フレームの画像データを複製する複製手段と、
再生時の再生速度が互いに適合するように、前記第１の動画及び前記第２の動画のうち、前記複製手段により複製されたフレームを含む複数のフレームから構成される方の動画の画像データと、他方の動画の画像データとをフレーム単位で順次合成することによって、前記合成動画の画像データを生成する合成手段と、
前記合成手段によって生成された前記合成動画の画像データを、新たな動画の画像データとして記録する記録手段と、
を備える画像処理装置。
【請求項２】
前記合成手段は、前記第２の動画の再生時間に相当するフレーム数について合成することによって、当該フレーム数のフレームからなる前記合成動画の画像データを生成する、
請求項１に記載の画像処理装置。
【請求項３】
前記第１のフレームレートと前記第２のフレームレートとの対応関係と、前記複製手段の処理内容又は前記合成手段の処理内容の少なくとも一方と、を対応付けた情報である処理内容情報を記憶する処理内容記憶手段をさらに備え、
前記複製手段又は前記合成手段の少なくとも一方は、合成対象の前記第１の動画の前記第１のフレームレートと合成対象の前記第２の動画の前記第２のフレームレートとの対応関係に対して対応づけられた処理内容を、前記処理内容記憶手段に記憶された前記処理内容情報から読み出して、読み出した前記処理内容に従った処理を実行する、
請求項１又は２に記載の画像処理装置。
【請求項４】
前記第１のフレームレートと前記第２のフレームレートとから、前記複製手段によって複製されるフレームの数を演算する演算手段を、
さらに備える請求項１又は２に記載の画像処理装置。
【請求項５】
前記正規の画角の範囲内で撮像する撮像手段と、
前記第１のフレームレート又は前記第２のフレームレートに基づいて前記撮像手段を連続駆動させることによって、複数の画像の画像データを取得し、取得した前記複数の画像の各々をフレームとして含む前記第１の動画又は前記第２の動画の画像データを生成すると共に、前記撮像手段が連続駆動したときのフレームレートを特定する情報を付加情報として、前記画像データに付与する画像取得手段と、
をさらに備える請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記第１の動画又は前記第２の動画の少なくとも一方には音声データが記録されており、
前記記録手段は、さらに、前記新たな動画の画像データに対して、前記音声データを付与して記録する、
請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
正規の画角を有し第１のフレームレートを有する第１の動画の画像データと、正規の画角内に主要被写体像領域を含むと共に当該主要被写体像領域を除く領域を透過情報領域として含む、第２のフレームレートを有する第２の動画の画像データとを合成することによって、正規の画角を有した合成動画の画像データを生成する画像処理装置を制御するコンピュータに、
前記第１のフレームレートと前記第２のフレームレートとを比較し、前記第１の動画及び前記第２の動画のうち、高いフレームレートの方の動画の再生速度に合わせて、低いフレームレートの方の動画に含まれる各フレームの画像データを複製する複製機能と、
再生時の再生速度が互いに適合するように、前記第１の動画及び前記第２の動画のうち、前記複製機能の実現により複製されたフレームを含む複数のフレームから構成される方の動画の画像データと、他方の動画の画像データとをフレーム単位で順次合成することによって、前記合成動画の画像データを生成する合成機能と、
前記合成機能の実現によって生成された前記合成動画の画像データを、新たな動画の画像データとして記録する記録制御機能と、
を実現させるためのプログラム。
【請求項１】
正規の画角を有し第１のフレームレートを有する第１の動画の画像データと、正規の画角内に主要被写体像領域を含むと共に当該主要被写体像領域を除く領域を透過情報領域として含む、第２のフレームレートを有する第２の動画の画像データとを合成することによって、正規の画角を有した合成動画の画像データを生成する画像処理装置において、
前記第１のフレームレートと前記第２のフレームレートとを比較し、前記第１の動画及び前記第２の動画のうち、高いフレームレートの方の動画の再生速度に合わせて、低いフレームレートの方の動画に含まれる各フレームの画像データを複製する複製手段と、
再生時の再生速度が互いに適合するように、前記第１の動画及び前記第２の動画のうち、前記複製手段により複製されたフレームを含む複数のフレームから構成される方の動画の画像データと、他方の動画の画像データとをフレーム単位で順次合成することによって、前記合成動画の画像データを生成する合成手段と、
前記合成手段によって生成された前記合成動画の画像データを、新たな動画の画像データとして記録する記録手段と、
を備える画像処理装置。
【請求項２】
前記合成手段は、前記第２の動画の再生時間に相当するフレーム数について合成することによって、当該フレーム数のフレームからなる前記合成動画の画像データを生成する、
請求項１に記載の画像処理装置。
【請求項３】
前記第１のフレームレートと前記第２のフレームレートとの対応関係と、前記複製手段の処理内容又は前記合成手段の処理内容の少なくとも一方と、を対応付けた情報である処理内容情報を記憶する処理内容記憶手段をさらに備え、
前記複製手段又は前記合成手段の少なくとも一方は、合成対象の前記第１の動画の前記第１のフレームレートと合成対象の前記第２の動画の前記第２のフレームレートとの対応関係に対して対応づけられた処理内容を、前記処理内容記憶手段に記憶された前記処理内容情報から読み出して、読み出した前記処理内容に従った処理を実行する、
請求項１又は２に記載の画像処理装置。
【請求項４】
前記第１のフレームレートと前記第２のフレームレートとから、前記複製手段によって複製されるフレームの数を演算する演算手段を、
さらに備える請求項１又は２に記載の画像処理装置。
【請求項５】
前記正規の画角の範囲内で撮像する撮像手段と、
前記第１のフレームレート又は前記第２のフレームレートに基づいて前記撮像手段を連続駆動させることによって、複数の画像の画像データを取得し、取得した前記複数の画像の各々をフレームとして含む前記第１の動画又は前記第２の動画の画像データを生成すると共に、前記撮像手段が連続駆動したときのフレームレートを特定する情報を付加情報として、前記画像データに付与する画像取得手段と、
をさらに備える請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記第１の動画又は前記第２の動画の少なくとも一方には音声データが記録されており、
前記記録手段は、さらに、前記新たな動画の画像データに対して、前記音声データを付与して記録する、
請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
正規の画角を有し第１のフレームレートを有する第１の動画の画像データと、正規の画角内に主要被写体像領域を含むと共に当該主要被写体像領域を除く領域を透過情報領域として含む、第２のフレームレートを有する第２の動画の画像データとを合成することによって、正規の画角を有した合成動画の画像データを生成する画像処理装置を制御するコンピュータに、
前記第１のフレームレートと前記第２のフレームレートとを比較し、前記第１の動画及び前記第２の動画のうち、高いフレームレートの方の動画の再生速度に合わせて、低いフレームレートの方の動画に含まれる各フレームの画像データを複製する複製機能と、
再生時の再生速度が互いに適合するように、前記第１の動画及び前記第２の動画のうち、前記複製機能の実現により複製されたフレームを含む複数のフレームから構成される方の動画の画像データと、他方の動画の画像データとをフレーム単位で順次合成することによって、前記合成動画の画像データを生成する合成機能と、
前記合成機能の実現によって生成された前記合成動画の画像データを、新たな動画の画像データとして記録する記録制御機能と、
を実現させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−１３９３００（Ｐ２０１１−１３９３００Ａ）
【公開日】平成２３年７月１４日（２０１１．７．１４）
【国際特許分類】
【出願番号】特願２００９−２９７９４２（Ｐ２００９−２９７９４２）
【出願日】平成２１年１２月２８日（２００９．１２．２８）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２３年７月１４日（２０１１．７．１４）
【国際特許分類】
【出願日】平成２１年１２月２８日（２００９．１２．２８）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]