画像処理装置、画像処理方法及びプログラム
【課題】より面白みのある動画を提供する。
【解決手段】撮像装置１００は、元画像Ｂから切り抜かれた第１画像Ｔ０を構成する複数の第２画像Ｔの数を特定する計数部６ｂと、複数の第２画像Ｔの数に基づいて、各々が少なくとも一の第２画像Ｔを含む複数の前景画像Ｃと背景画像Ｕの複数のフレームとを合成する合成部７ｄと、を備える。
【解決手段】撮像装置１００は、元画像Ｂから切り抜かれた第１画像Ｔ０を構成する複数の第２画像Ｔの数を特定する計数部６ｂと、複数の第２画像Ｔの数に基づいて、各々が少なくとも一の第２画像Ｔを含む複数の前景画像Ｃと背景画像Ｕの複数のフレームとを合成する合成部７ｄと、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来より、動画像に対して文字画像等の静止画像を合成して表示する画像処理装置がある（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−２６９６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の画像処理装置では、所定の動画フレームに合成対象である複数の文字画像を一括して合成して表示させるのみであり、面白みに欠けていた。
【０００５】
本発明の課題は、より面白みのある動画像を提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１に記載の発明は、画像処理装置であって、画像から合成すべき複数の合成対象の数を計数する計数手段と、この計数手段により計数された前記合成対象の数に基づいて、各々が少なくとも一の前記合成対象を含む複数の前景画像と背景画像とを対応付けて合成した合成フレームからなる合成動画を生成する合成手段と、を備えることを特徴とする。
【０００７】
請求項２に記載の発明は、請求項１に記載の画像処理装置であって、前記計数手段により計数された前記合成対象の数に基づいて、各々が少なくとも一の前記合成対象を含む複数の前景画像と、背景画像を構成する複数のフレームとを対応付ける対応付け情報を生成する第１の生成手段を更に備え、前記合成手段は、この第１の生成手段により生成された前記対応付け情報に基づいて、前記複数の前景画像と前記背景画像の前記複数のフレームとがそれぞれ合成された合成フレームからなる合成動画を生成することを特徴とする。
【０００８】
請求項３に記載の発明は、請求項２に記載の画像処理装置であって、前記第１の生成手段は、更に、前記背景画像を構成するフレームの数に基づいて、前記対応付け情報を生成することを特徴とする。
【０００９】
請求項４に記載の発明は、請求項３に記載の画像処理装置であって、前記第１の生成手段は、更に、前記合成対象の数が前記背景画像のフレームの数以下である場合に、前記複数の合成対象の各々をそれぞれ一の前景画像として前記対応付け情報を生成し、前記合成手段は、一の前景画像と前記背景画像の一のフレームとを合成することを特徴とする。
【００１０】
請求項５に記載の発明は、請求項３又は４に記載の画像処理装置であって、前記合成対象の数が前記背景画像のフレームの数よりも多い場合に、前記合成対象を前記背景画像のフレームの数以下の数の複数の組に組分けする組分け手段をさらに備え、前記第１の生成手段は、更に、前記組分け手段により複数の組に組分けされた各組の少なくとも一の前記合成対象を一の前景画像として前記対応付け情報を生成し、前記合成手段は、一の前景画像に含まれる少なくとも一の前記合成対象と前記背景画像の一のフレームとを合成するこ
とを特徴とする。
【００１１】
請求項６に記載の発明は、請求項１から５のいずれか一項に記載の画像処理装置であって、前記計数手段により計数された前記合成対象の数に基づいて、一の背景画像から複数のフレームを生成する第２の生成手段をさらに備え、前記第１の生成手段は、更に、前記複数の前景画像と、前記第２の生成手段により生成された背景画像の前記複数のフレームとを対応付ける前記対応付け情報を生成することを特徴とする。
【００１２】
請求項７に記載の発明は、請求項１から６のいずれか一項に記載の画像処理装置であって、前記複数の合成対象は、複数の文字画像を含み、前記第１の生成手段は、前記複数の文字画像の組み合わせに基づいて前記対応付け情報を生成することを特徴とする。
【００１３】
請求項８に記載の発明は、画像処理方法であって、画像処理装置を用いて、画像から合成すべき複数の合成対象の数を計数する処理と、この計数された前記合成対象の数に基づいて、各々が少なくとも一の前記合成対象を含む複数の前景画像と背景画像とを対応付けて合成した合成フレームからなる合成動画を生成する処理と、を実行することを特徴とする。
【００１４】
請求項９に記載の発明は、プログラムであって、画像処理装置のコンピュータを、画像から合成すべき複数の合成対象の数を計数する計数手段、この計数された前記合成対象の数に基づいて、各々が少なくとも一の前記合成対象を含む複数の前景画像と背景画像とを対応付けて合成した合成フレームからなる合成動画を生成する合成手段、
として機能させることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、より面白みのある動画像を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。
【図２】合成画像生成処理の一例を示すフローチャートである。
【図３】画像合成処理の一例を示すフローチャートである。
【図４】切抜画像生成部による前景画像の生成の一例を示す図である。
【図５】複数の前景画像の一例を示す図である。
【図６】複数のフレームを有する背景画像の一例を示す図である。
【図７】背景画像に対する前景画像の合成位置の決定例を示す図である。
【図８】複数の前景画像のそれぞれを背景画像の異なるフレームに対応付けた一例を示す図である。
【図９】複数の第２画像を背景画像のフレーム数以下の数の組に組分けして各組をそれぞれ背景画像の異なるフレームに対応付けた一例を示す図である。
【図１０】複数の前景画像をそれぞれ異なる動画のフレームに合成した一例を示す図である。
【図１１】組分けした前景画像を組ごとに背景画像の異なるフレームに合成した一例を示す図である。
【図１２】変形例の撮像装置の概略構成を示すブロック図である。
【図１３】背景画像複製部が第２画像の数に応じた複数のフレームを生成する場合の合成画像生成処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲
は、図示例に限定されない。
【００１８】
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
撮像装置１００は、画像から切り抜かれた第１画像Ｔ０を構成する複数の第２画像Ｔの数を特定（計数）する（図４、図５参照）。また、撮像装置１００は、特定された第２画像の数に基づいて、各々が少なくとも一の第２画像を含む複数の前景画像Ｃと、背景画像Ｕを構成する複数のフレームとを対応付ける対応付け情報を生成する（図８、図９参照）。そして、撮像装置１００は、対応付け情報に基づいて複数の前景画像Ｃと背景画像Ｕの複数のフレームとを合成する（図１０、図１１参照）。
【００１９】
具体的には、図１に示すように、撮像装置１００は、レンズ部１と、電子撮像部２と、撮像制御部３と、画像データ生成部４と、画像メモリ５と、切抜画像生成部６と、画像処理部７と、記録媒体９と、表示制御部１０と、表示部１１と、操作入力部１２と、ＣＰＵ１３とを備えている。
また、撮像制御部３と、切抜画像生成部６と、画像処理部７と、ＣＰＵ１３は、例えば、カスタムＬＳＩ１Ａとして設計されている。
【００２０】
レンズ部１は、複数のレンズから構成され、ズームレンズやフォーカスレンズ等を備えている。
また、レンズ部１は、図示は省略するが、撮像の際に、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えていても良い。
【００２１】
電子撮像部２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部１の各種レンズを通過した光学像を二次元の画像信号に変換する。
【００２２】
撮像制御部３は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部３は、タイミング発生器、ドライバにより電子撮像部２を走査駆動して、所定周期毎に光学像を電子撮像部２により二次元の画像信号に変換させ、当該電子撮像部２の撮像領域から１画面分ずつ画像フレームを読み出して画像データ生成部４に出力させる。
また、撮像制御部３は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の撮像条件の調整制御を行う。
【００２３】
画像データ生成部４は、電子撮像部２から転送された画像フレームのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用される画像メモリ５にＤＭＡ転送される。
【００２４】
なお、Ａ／Ｄ変換後のデジタルデータを現像するデモザイク部（図示略）が、カスタムＬＳＩ１Ａに実装されていても良い。
【００２５】
画像メモリ５は、例えば、ＤＲＡＭ等により構成され、切抜画像生成部６と、画像処理部７と、ＣＰＵ１３等によって処理されるデータ等を一時記憶する。
【００２６】
切抜画像生成部６は、画像（例えば、図４（ａ）の元画像Ｂ）から切り抜かれた第１画像Ｔ０（例えば図４（ｃ）の第１画像Ｔ０）を生成する。また、切抜画像生成部６は、第１画像を構成する複数の第２画像Ｔ（例えば図５に示す第２画像Ｔ１〜Ｔ５）を生成する。ここで、この複数の第２画像Ｔは、それぞれ後述の背景画像Ｕに合成すべき合成対象である。
切抜画像生成部６は、例えば、元画像Ｂの非平坦度が所定値以下である画像領域の情報に基づいて、当該元画像Ｂから元画像Ｂを抽出するための抽出用背景画像を生成し、この抽出用背景画像と元画像Ｂとの差分情報に基づいて、被写体Ｐ（例えば、図４（ａ）の被写体Ｐ）を抽出する。
さらに、切抜画像生成部６は、元画像Ｂから抽出された被写体Ｐの位置を特定して、元画像Ｂにおける被写体Ｐの位置を示す位置情報（例えば、図４（ｂ）のアルファマップＡ１）を生成する。アルファマップとは、元画像Ｂの各画素について、被写体Ｐを所定の背景に対してアルファブレンディングする際の重みをアルファ値（０≦α≦１）として表したものである。
そして、切抜画像生成部６は、アルファマップＡ１に基づいて、元画像Ｂの各画素のうち、アルファ値が１の画素を所定の単一色画像（図示略）に対して透過させず、且つ、アルファ値が０の画素を透過させ、且つ、アルファ値が０＜α＜１の画素を所定の単一色とブレンディングさせるように、被写体Ｐを所定の単一色画像と合成して第１画像Ｔ０（例えば図４（ｃ）の第１画像Ｔ０）の画像データを生成する。
【００２７】
また、切抜画像生成部６は、ＯＣＲ処理部６ａと、計数部６ｂとを有する。
ＯＣＲ処理部６ａは、第１画像Ｔ０に対してＯＣＲ（Optical Character Recognition）処理をかけ、被写体Ｐに含まれる文字を認識する処理を行う。ＯＣＲ処理部６ａは、被写体Ｐに複数の文字が含まれていると認識した場合、複数の文字を一文字単位で分割し、被写体Ｐを構成する文字の各々を含む複数の第２画像Ｔ（例えば図５の第２画像Ｔ）を生成する。なお、ＯＣＲ処理部６ａは、感嘆符や疑問符、その他の記号等についても１文字として扱う。
図５に示す例を用いて説明すると、ＯＣＲ処理部６ａは、文字Ｐ１〜Ｐ５の５文字からなる被写体Ｐを含む第１画像Ｔ０に対してＯＣＲ処理をかけた場合、文字Ｐ１〜Ｐ５のそれぞれ１文字ずつを含む第２画像Ｔ１、第２画像Ｔ２、第２画像Ｔ３、第２画像Ｔ４、第２画像Ｔ５をそれぞれ一の第２画像とする複数の第２画像Ｔを生成する。ここで、第２画像Ｔ１、第２画像Ｔ２、第２画像Ｔ３、第２画像Ｔ４、第２画像Ｔ５はそれぞれ文字画像であり、複数の第２画像Ｔは複数の文字画像を含む。
【００２８】
また、ＯＣＲ処理部６ａは、複数の第２画像Ｔ（図５の第２画像Ｔ１〜Ｔ５）に含まれる複数の文字画像（図５の文字Ｐ１〜Ｐ５）の組み合わせに基づいて複数の第２画像Ｔの並び順を設定する。
例えば、図５に示す文字Ｐ１〜Ｐ５は「あ」「つ」「い」「！」「！」の５文字を含み、文字Ｐ１、文字Ｐ２、文字Ｐ３、文字Ｐ４、文字Ｐ５の順で読み進めることで「あつい！！」という感嘆符を含む形容詞を構成する。ＯＣＲ処理部６ａは、ＯＣＲ処理をかける前の第１画像Ｔ０における文字の並び方向によって構成される意味に基づいて、複数の第２画像Ｔの並び順を設定する。図５に示す第２画像Ｔ１〜Ｔ５の場合、切抜画像生成部６は、文字Ｐ１、文字Ｐ２、文字Ｐ３、文字Ｐ４、文字Ｐ５の並びに応じ、第２画像Ｔ１、第２画像Ｔ２、第２画像Ｔ３、第２画像Ｔ４、第２画像Ｔ５の順で複数の第２画像Ｔの並び順を設定する。
【００２９】
また、切抜画像生成部６は、ＯＣＲ処理部６ａの処理結果に基づいて、複数の第２画像Ｔ（第２画像Ｔ１〜Ｔ５）の各々についてアルファマップを生成する。
【００３０】
計数部６ｂは、第１画像Ｔ０を構成する複数の第２画像Ｔの数を計数して特定する。
具体的には、計数部６ｂは、ＯＣＲ処理部６ａの処理結果に基づいて、複数の第２画像Ｔの数を特定する。例えば、図４、図５に示す例の場合、第１画像Ｔ０を構成する複数の第２画像Ｔ（図５の第２画像Ｔ１〜Ｔ５）の数は５である。
なお、計数部６ｂによる第２画像Ｔの数の特定方法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、第１画像Ｔ０が、分離した複数の画像領域から構成される画像である場合には、各画像領域を一の第２画像として計数しても良い。
【００３１】
なお、上記した切抜画像生成部６による第１画像Ｔ０の生成方法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、まず元画像Ｂに対してＯＣＲ処理を施して文字列、文字数、文字の並び方向等を認識してから、認識された文字列を被写体Ｐとする第１画像Ｔ０を生成するようにしてもよい。
【００３２】
画像処理部７は、合成位置決定部７ａと、対応付け情報生成部７ｂと、合成部７ｄと、を具備している。
【００３３】
合成位置決定部７ａは、背景画像Ｕに対する第１画像Ｔ０又は第２画像Ｔの各々の合成位置を決定するための処理を行う（図７参照）。背景画像Ｕは、例えば図６に示すように、複数のフレームを有する動画像データである。
具体的には、合成位置決定部７ａは、背景画像Ｕを読み出し、表示制御部１０を介して表示部１１に表示させ、第１画像Ｔ０又は第２画像Ｔの各々の合成位置に係るユーザからの入力指示を受けるまで待機する。操作入力部１２を介してユーザからの入力指示を受けると、合成位置決定部７ａは、当該入力指示内容に応じて背景画像Ｕに対する第１画像Ｔ０又は第２画像Ｔの各々の合成位置を決定する。
なお、合成位置決定部７ａが行う処理に際して表示部１１にて行われる背景画像Ｕの表示は、当該背景画像Ｕに含まれる所定の一フレームのみの表示であってもよいし、動画像データの複数のフレームを連続描画する再生表示等であってもよい。
【００３４】
図７では、一文字単位で分割する前の第１画像Ｔ０の位置を決定することで、複数の第２画像Ｔの各々（一文字単位での分割後の第２画像Ｔ１〜Ｔ５）の位置を決定しているが、複数の第２画像Ｔの各々について個別に位置を決定してもよい。
【００３５】
対応付け情報生成部７ｂは、計数部６ｂにより特定された第２画像の数に基づいて、各々が少なくとも一の第２画像を含む複数の前景画像Ｃと、背景画像Ｕを構成する複数のフレームとを対応付ける（図８、図９参照）。
ここで、計数部６ｂは、画像から合成すべき複数の合成対象（第２画像）の数を計数する計数手段として機能する。
【００３６】
具体的には、対応付け情報生成部７ｂは、複数の第２画像Ｔの数と背景画像Ｕを構成する複数のフレームの数とを比較する。そして、対応付け情報生成部７ｂは、複数の第２画像Ｔの数と背景画像Ｕを構成する複数のフレームの数との大小関係に応じた処理を行う。
【００３７】
複数の第２画像Ｔの数が背景画像Ｕを構成する複数のフレームの数以下である場合、対応付け情報生成部７ｂは、複数の第２画像Ｔの各々を一の前景画像Ｃとする。そして、対応付け情報生成部７ｂは、複数の前景画像Ｃと、背景画像Ｕを構成する複数のフレームとを対応付ける（図８参照）。
【００３８】
また、対応付け情報生成部７ｂは、組分け部７ｃを有する。
組分け部７ｃは、複数の第２画像Ｔの数が背景画像Ｕを構成する複数のフレームの数よ
りも多い場合に、複数の第２画像Ｔを背景画像Ｕのフレームの数以下の数の組に組分けする（図９参照）。
そして、対応付け情報生成部７ｂは、組分け部７ｃにより組分けされた複数の第２画像の組Ｃ１１〜Ｃ１３の各々を一の前景画像とする。そして、対応付け情報生成部７ｂは、複数の前景画像Ｃと、背景画像Ｕを構成する複数のフレームとを対応付ける（図９参照）。
ここで、組分け部７ｃは、合成対象の数が背景画像のフレームの数よりも多い場合に、合成対象を背景画像のフレームの数以下の数の複数の組に組分けする組分け手段として機能する。
【００３９】
また、対応付け情報生成部７ｂは、複数の第２画像Ｔが複数の文字画像を含む場合、複数の文字画像の組み合わせに基づいて対応付けを行う。
具体的には、対応付け情報生成部７ｂは、複数の前景画像Ｃと対応付けられる背景画像Ｕの複数のフレームの表示順と、ＯＣＲ処理部６ａにより設定された複数の第２画像Ｔの並び順とが対応するように対応付けを行う。
例えば、図５、図８、図９に示す複数の第２画像Ｔは、第２画像Ｔ１、第２画像Ｔ２、第２画像Ｔ３、第２画像Ｔ４、第２画像Ｔ５の順で並び順が設定されている。対応付け情報生成部７ｂは、当該並び順と背景画像Ｕの複数のフレームの表示順（フレームｆ１、フレームｆ２…の順）とが対応するように対応付けを行う。
【００４０】
さらに、本実施形態の対応付け情報生成部７ｂは、複数の前景画像Ｃを一括して表示する動画像のフレーム（一括表示フレーム）を設定するための対応付けを行い、その対応付けの内容を上記の対応付け情報に含ませる。本実施形態の対応付け情報生成部７ｂは、背景画像Ｕを構成する複数のフレームのうち最後のフレームを一括表示フレームとする対応付けを行う。
【００４１】
以下、図８及び図９を参照して、対応付け情報生成部７ｂの処理を説明する。
図８に示す例の場合、ＯＣＲ処理部６ａにより特定された第２画像Ｔの文字数（ｍ＝５）は、背景画像Ｕとなる動画のフレーム数（ｎ＝６）以下である。この場合、対応付け情報生成部７ｂは、例えば、第２画像Ｔ１を前景画像Ｃ１として背景画像Ｕのフレームｆ１と対応付け、同様に、第２画像Ｔ２を前景画像Ｃ２として背景画像Ｕのフレームｆ２と対応付け、同様に、第２画像Ｔ３を前景画像Ｃ３として背景画像Ｕのフレームｆ３と対応付け、同様に、第２画像Ｔ４を前景画像Ｃ４として背景画像Ｕのフレームｆ４と対応付け、同様に、第２画像Ｔ５を前景画像Ｃ５として背景画像Ｕのフレームｆ５と対応付ける。さらに、対応付け情報生成部７ｂは、最後のフレームｆ６を一括表示フレームとする。
【００４２】
図９に示す例の場合、ＯＣＲ処理部６ａにより特定された第２画像Ｔの文字数（ｍ＝５）は、背景画像Ｕとなる動画のフレーム数（ｎ＝４）より多い。この場合、組分け部７ｃが、複数の第２画像Ｔを背景画像Ｕのフレーム数以下の数に組分けする。図９に示す複数の第２画像Ｔ（第２画像Ｔ１〜Ｔ５）は３組（組Ｃ１１〜Ｃ１３）に組分けされており、組Ｃ１１は第２画像Ｔ１、第２画像Ｔ２を含み、組Ｃ１２は第２画像Ｔ３、第２画像Ｔ４を含み、組Ｃ１３は第２画像Ｔ５を含む。
そして、対応付け情報生成部７ｂは、組Ｃ１１、Ｃ１２、Ｃ１３の各々を一の前景画像Ｃとする。そして、対応付け情報生成部７ｂは、前景画像Ｃ（組Ｃ１１）と背景画像Ｕのフレームｆ１１とを対応付け、同様に、前景画像Ｃ（組Ｃ１２）と背景画像Ｕのフレームｆ１２とを対応付け、同様に、前景画像Ｃ（組Ｃ１３）と背景画像Ｕのフレームｆ１３とを対応付ける。さらに、対応付け情報生成部７ｂは、最後のフレームｆ１４を一括表示フレームとする。
【００４３】
対応付け情報生成部７ｂは、複数の第２画像Ｔの数と背景画像Ｕを構成する複数のフレ
ームの数との大小関係に応じた処理の後、複数の前景画像Ｃと背景画像Ｕの複数のフレームとの対応付け結果に応じた対応付け情報（図示略）を生成する。
このように、対応付け情報生成部７ｂは、合成対象の数に基づいて、各々が少なくとも一の合成対象を含む複数の前景画像と、背景画像を構成する複数のフレームとを対応付ける対応付け情報を生成する第１の生成手段として機能する。
【００４４】
図８、図９では、複数の前景画像Ｃを一括して表示するために合成する前景画像Ｃとして、ＯＣＲ処理前の第１画像Ｔ０を用いているが、複数の第２画像Ｔを再度合成して複数の前景画像Ｃを一括して表示するようにしてもよい。
【００４５】
合成部７ｄは、対応付け情報により対応付けられた前景画像Ｃと背景画像Ｕとを合成する（図１０、図１１参照）。
具体的には、合成部７ｄは、背景画像Ｕとなるフレーム画像の各画素のうち、前景画像Ｃに含まれる第２画像Ｔのアルファマップのアルファ値が０の画素は背景画像Ｕの画素値を透過させ、アルファ値が１の画素は第２画像Ｔの対応する画素の画素値で上書きする。また、アルファ値が０＜α＜１の画素の場合、合成部７ｄは、１の補数（１−α）を用いて被写体Ｐの領域を切り抜いた画像（背景画像×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて第２画像Ｔを生成した際に単一背景色とブレンドした値を計算し、当該値を第２画像Ｔから減算し、それを、被写体Ｐの領域を切り抜いた画像（背景画像×（１−α））と合成する。
【００４６】
図１０に示す例の場合、合成部７ｄは、前景画像Ｃ１と背景画像Ｕのフレームｆ１とを合成し、前景画像Ｃ２と背景画像Ｕのフレームｆ２とを合成し、前景画像Ｃ３と背景画像Ｕのフレームｆ３とを合成し、前景画像Ｃ４と背景画像Ｕのフレームｆ４とを合成し、前景画像Ｃ５と背景画像Ｕのフレームｆ５とを合成している。さらに、合成部７ｄは、一括表示フレームとして設定されたフレームｆ６と、当該フレームｆ６と対応付けられた第１画像Ｔ０とを合成している。これによって、合成後の動画像データは、「あつい！！」の文字列を、フレームの移り変わりに伴って「あ」、「つ」、「い」、「！」、「！」の順で表示し、最後に「あつい！！」の文字列を一括表示する動画像データとなる。
図１１に示す例の場合、合成部７ｄは、前景画像Ｃ１１と背景画像Ｕのフレームｆ１１とを合成し、前景画像Ｃ１２と背景画像Ｕのフレームｆ１２とを合成し、前景画像Ｃ１３と背景画像Ｕのフレームｆ１３とを合成している。さらに、合成部７ｄは、一括表示フレームとして設定されたフレームｆ１４と、当該フレームｆ１４と対応付けられた第１画像Ｔ０とを合成している。これによって、合成後の動画像データは、「あつい！！」の文字列が、フレームの移り変わりに伴って「あつ」、「い！」、「！」の順で表示し、最後に「あつい！！」の文字列を一括表示する動画像データとなる。
【００４７】
なお、背景画像Ｕに対する第１画像Ｔ０又は第２画像Ｔの各々の合成位置が決定された際に、背景画像Ｕとアルファマップとがずれてしまいアルファマップの範囲外となる領域については、α＝０としてアルファ値が存在しない領域を生じさせないようにする。
このように、合成部７ｄは、合成対象の数に基づいて、各々が少なくとも一の合成対象を含む複数の前景画像と背景画像とを対応付けて合成した合成フレームからなる合成動画を生成する合成手段として機能する。
【００４８】
また、本実施形態の画像処理部７は、合成位置決定部７ａによる第１画像Ｔ０又は第２画像Ｔの各々の位置決定処理において、所定時間以上ユーザからの入力指示が行われない場合、そのとき表示されている第１画像Ｔ０又は第２画像Ｔの各々と背景画像Ｕとの位置関係で合成を行った場合の再現表示（プレビュー）を行う。
【００４９】
記録媒体９は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、元画
像Ｂデータや切抜画像生成部６により生成された第１画像Ｔ０や複数の第２画像Ｔ、背景画像Ｕ、画像処理部７により生成された合成後の動画像データ等を記憶する。
【００５０】
表示制御部１０は、画像メモリ５に一時的に記憶されている表示用画像データを読み出して表示部１１に表示させる制御を行う。
具体的には、表示制御部１０は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、ＣＰＵ１３の制御下にて画像メモリ５から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部１１に出力する。
また、表示制御部１０は、撮像装置１００の他の構成の制御下で表示部１１の表示内容を制御する。例えば、画像処理部７の命令に基づいて、背景画像Ｕに対する第１画像Ｔ０又は第２画像Ｔの各々の合成位置決定のための表示や、合成後の動画データのプレビュー、合成後の動画データの表示等を表示部１１に行わせる。
【００５１】
表示部１１は、例えば、液晶表示装置であり、表示制御部１０からのビデオ信号に基づいて電子撮像部２により撮像された画像などを表示画面１１ａに表示する。具体的には、表示部１１は、撮像モードにて、レンズ部１、電子撮像部２及び撮像制御部３による撮像により生成された複数の画像フレームに基づいたライブビュー画像の表示や、本撮像画像として撮像されたレックビュー画像の表示等を行う。この他、表示部１１は、背景画像Ｕに対する第１画像Ｔ０又は第２画像Ｔの各々の合成位置決定のための表示や、合成後の動画データのプレビュー、合成後の動画データの表示等を行う。
【００５２】
操作入力部１２は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１２は、撮影指示に係るシャッタボタン１２ａ、メニュー画面にて撮像モードや機能等の選択指示に係るモードボタン１２ｂ、ズーム量の調整指示に係るズームボタン（図示略）、背景画像Ｕに対する第１画像Ｔ０又は第２画像Ｔの各々の合成位置決定等に用いる操作ボタン１２ｃや決定ボタン１２ｄ等を備え、これらのボタンの操作に応じて所定の操作信号をＣＰＵ１３に出力する。
【００５３】
ＣＰＵ１３は、撮像装置１００の各部を制御するものである。具体的には、ＣＰＵ１３は、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行うものである。撮像装置１００用の各種処理プログラムは、ＲＯＭ（図示略）等に記憶されており、処理内容に応じてＣＰＵ１３が読み出して実行処理する。
【００５４】
以下、撮像装置１００による合成画像生成処理について、図２のフローチャートを参照して説明する。
まず、切抜画像生成部６が、元画像Ｂから第１画像Ｔ０（図４の第１画像Ｔ０参照）を生成する（ステップＳ１）。具体的には、切抜画像生成部６が、元画像から被写体Ｐを抽出し、被写体Ｐの位置に応じたアルファマップを生成し、当該アルファマップに基づいて被写体Ｐと所定の単一色とを合成して第１画像Ｔ０を生成する。
次に、合成位置決定部７ａは、背景画像Ｕを読み出し、表示制御部１０を介して表示部１１に表示させ（ステップＳ２）、背景画像Ｕに対する第１画像Ｔ０又は第２画像Ｔの各々の合成位置についてユーザからの入力指示を受けるまで待機する（ステップＳ３；ＮＯ、ステップＳ４；ＮＯ）（図７参照）。
【００５５】
ここで、所定時間以上ユーザからの入力指示が行われない場合（ステップＳ４；ＹＥＳ）、画像処理部７は、そのとき表示されている第１画像Ｔ０と背景画像Ｕとの位置関係で合成を行った場合の再現表示（プレビュー）を行い（ステップＳ５）、ステップＳ３に戻る。
【００５６】
ユーザからの入力指示により、背景画像Ｕに対する第１画像Ｔ０の合成位置の決定がなされると（ステップＳ３；ＹＥＳ）、ステップＳ１で生成された第１画像Ｔ０に対してＯＣＲ処理部６ａがＯＣＲ処理を行い（ステップＳ６）、複数の第２画像Ｔ（図５の第２画像Ｔ１〜Ｔ５参照）を生成する（ステップＳ７）。このとき、ＯＣＲ処理部６ａが第２画像Ｔの並び順を特定し、計数部６ｂが第２画像Ｔの数を特定する。
【００５７】
次に、対応付け情報生成部７ｂが、複数の第２画像Ｔの数と背景画像Ｕを構成する複数のフレームの数とを比較し、複数の第２画像Ｔの数が背景画像Ｕのフレーム数以下であるか否かを判定する（ステップＳ８）。
【００５８】
複数の第２画像Ｔの数が背景画像Ｕフレーム数以下である場合（ステップＳ８；ＹＥＳ）、対応付け情報生成部７ｂは、複数の第２画像Ｔの各々を一の前景画像Ｃとし、複数の前景画像Ｃと背景画像Ｕの複数のフレームとを対応付ける対応付け情報を生成する（ステップＳ９）（図８参照）。
例えば、図８に示すように、計数部６ｂにより特定された第２画像Ｔの数（ｍ＝５）が、背景画像Ｕとなる動画のフレーム数（ｎ＝６）以下である場合、対応付け情報生成部７ｂは、第２画像Ｔ１を前景画像Ｃ１として背景画像Ｕのフレームｆ１と対応付け、同様に、第２画像Ｔ２を前景画像Ｃ２として背景画像Ｕのフレームｆ２と対応付け、同様に、第２画像Ｔ３を前景画像Ｃ３として背景画像Ｕのフレームｆ３と対応付け、同様に、第２画像Ｔ４を前景画像Ｃ４として背景画像Ｕのフレームｆ４と対応付け、同様に、第２画像Ｔ５を前景画像Ｃ５として背景画像Ｕのフレームｆ５と対応付ける対応付け情報を生成する。
【００５９】
一方、複数の第２画像Ｔの数が背景画像Ｕを構成する複数のフレームの数よりも多い場合（ステップＳ８；ＮＯ）組分け部７ｃが、複数の第２画像Ｔを背景画像Ｕのフレーム数以下の数の組に組分けする（図９参照）。そして、対応付け情報生成部７ｂが、組分けされた複数の第２画像の組Ｃ１１〜Ｃ１３の各々を一の前景画像とし、複数の前景画像Ｃと、背景画像Ｕの複数のフレームとを対応付ける対応付け情報を生成する（図９参照）。（ステップＳ１０）。
例えば、図９に示すように、計数部６ｂにより特定された第２画像Ｔの数（ｍ＝５）が、背景画像Ｕとなる動画のフレーム数（ｎ＝４）より多い場合、組分け部７ｃは、複数の第２画像Ｔを背景画像Ｕのフレーム数以下の数に組分けする（例えば組Ｃ１１〜Ｃ１３の３組）。そして、対応付け情報生成部７ｂは、組Ｃ１１、Ｃ１２、Ｃ１３の各々を一の前景画像Ｃとし、前景画像Ｃ（組Ｃ１１）と背景画像Ｕのフレームｆ１１とを対応付け、同様に、前景画像Ｃ（組Ｃ１２）と背景画像Ｕのフレームｆ１２とを対応付け、同様に、前景画像Ｃ（組Ｃ１３）と背景画像Ｕのフレームｆ１３とを対応付ける対応付け情報を生成する。
【００６０】
ステップＳ８又はステップＳ９の処理後、さらに、対応付け情報生成部７ｂは、一括表示フレームを設定するための対応付けを行い、その対応付けの内容を上記の対応付け情報に含ませる（ステップＳ１１）。
具体的には、対応付け情報生成部７ｂは、背景画像Ｕを構成する複数のフレームのうち最後のフレームを一括表示フレームとする対応付けを行う。
図８に示す例の場合、対応付け情報生成部７ｂは、最後のフレームｆ６を一括表示フレームとしている。また、図９に示す例の場合、対応付け情報生成部７ｂは、最後のフレームｆ１４を一括表示フレームとしている。
【００６１】
その後、合成部７ｄが、画像合成処理を行う（ステップＳ１２）。
ここで、画像合成処理について、図３のフローチャートを参照して説明する。
合成部７ｄは、複数の前景画像Ｃのうち、まだ画像合成処理を行っていない前景画像Ｃに含まれている第２画像Ｔの一つのアルファマップを読み出す（ステップＳ２１）。
また、合成部７ｄは、対応付け情報生成部７ｂによりステップＳ２１で読み出したアルファマップの第２画像Ｔを含む前景画像Ｃと対応付けられた背景画像Ｕのフレームを読み出す（ステップＳ２２）。
【００６２】
次に、合成部７ｄは、ステップＳ２２で読み出した背景画像Ｕの何れか一の画素（例えば、左上隅部の画素）を指定して（ステップＳ２３）、当該画素について、アルファマップのアルファ値に基づいて処理を分岐させる（ステップＳ２４、Ｓ２５）。
具体的には、合成部７ｄは、は、背景画像Ｕの何れか一の画素のうち、アルファ値が１の画素については（ステップＳ２４；ＹＥＳ）、第２画像Ｔの対応する画素の画素値で上書きし（ステップＳ２６）、アルファ値が１でなく（ステップＳ２４；ＮＯ）、０の画素については（ステップＳ２５；ＹＥＳ）、背景画像Ｕを透過させるようにする（ステップＳ２７）。
また、アルファ値が１でも０でもない（ステップＳ２４、Ｓ２５；ＮＯ）、即ちアルファ値が０＜α＜１の画素については、合成部７ｄは、１の補数（１−α）を用いて被写体Ｐの画像を切り抜いた画像（背景画像×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて第２画像Ｔを生成した際に単一背景色とブレンドした値を計算し、当該値を第２画像Ｔから減算し、それを、被写体Ｐの画像を切り抜いた画像（背景画像×（１−α））と合成する（ステップＳ２８）。
【００６３】
続けて、合成部７ｄは、背景画像Ｕの全ての画素について処理したか否かを判定する（ステップＳ２９）。
ここで、全ての画素について処理していないと判定すると（ステップＳ２９；ＮＯ）、合成部７ｄは、合成部７ｄは、処理対象として次の画素を指定して当該画素に処理対象を移動させて（ステップＳ３０）、Ｓ２４の処理に戻る。
上記の処理を、ステップＳ２９にて全ての画素について処理したと判定するまで繰り返すことで、合成部７ｄは、対応付け情報により対応付けられた前景画像Ｃと背景画像Ｕのフレームとを合成した合成フレームを生成する。
【００６４】
なお、組分けされた複数の第２画像Ｔを含む前景画像Ｃを背景画像Ｕの一のフレームに合成する場合、合成部７ｄは、前景画像Ｃに含まれる第２画像Ｔのいずれかと、当該前景画像Ｃに対応付けられた背景画像Ｕのフレームと、の合成を行った後、合成後の背景画像Ｕのフレームに対して当該前景画像Ｃの他の第２画像Ｔを合成するようにしてもよいし、一の前景画像Ｃに含まれる複数の第２画像Ｔを予め合成した一の画像を生成してから背景画像Ｕのフレームと合成するようにしてもよい。
【００６５】
ステップＳ２９にて全ての画素について処理したと判定すると（ステップＳ２９；ＹＥＳ）、合成部７ｄは、複数の前景画像Ｃの全てについて、対応付けられた背景画像Ｕのフレームと合成したか否かを判定する（ステップＳ３１）。ここで、複数の前景画像Ｃの全てについて合成を完了していないと判定すると（ステップＳ３１；ＮＯ）、合成部７ｄは、ステップＳ２１の処理に戻る。
上記の処理を、ステップＳ３１にて複数の前景画像Ｃの全てについて合成を完了したと判定するまで繰り返すことで、合成部７ｄは、複数の前景画像Ｃと背景画像Ｕの複数のフレームとを合成する。ステップＳ３１にて複数の前景画像Ｃの全てについて合成を完了したと判定すると（ステップＳ３１；ＹＥＳ）、合成部７ｄは、画像合成処理を終了する。
【００６６】
画像合成処理の終了後、画像処理部７は、複数の前景画像Ｃと背景画像Ｕの複数のフレームとを合成した動画像データを表示部１１に表示させ（ステップＳ１３）、合成画像生成処理を終了する。
【００６７】
例えば、図８に示す例のように、対応付け情報生成部７ｂが、第２画像Ｔ１を前景画像Ｃ１として背景画像Ｕのフレームｆ１と対応付け、同様に、第２画像Ｔ２を前景画像Ｃ２として背景画像Ｕのフレームｆ２と対応付け、同様に、第２画像Ｔ３を前景画像Ｃ３として背景画像Ｕのフレームｆ３と対応付け、同様に、第２画像Ｔ４を前景画像Ｃ４として背景画像Ｕのフレームｆ４と対応付け、同様に、第２画像Ｔ５を前景画像Ｃ５として背景画像Ｕのフレームｆ５と対応付け、最後のフレームｆ６を一括表示フレームとする対応付け情報を生成している場合、合成部７ｄにより複数の前景画像Ｃと背景画像Ｕの複数のフレームとの合成がなされた動画像データは、図１０に示す例のように、「あつい！！」の文字列を、フレームの移り変わりに伴って「あ」、「つ」、「い」、「！」、「！」の順で表示し、さらに最後のフレームで「あつい！！」の文字列を一括表示する動画像データとなる。
【００６８】
また、図９に示す例ように、対応付け情報生成部７ｂが、「あ」「つ」の２文字（文字Ｐ１、文字Ｐ２）に対応する第２画像Ｔ１、Ｔ２を含む組Ｃ１１、「い」「！」の２文字（文字Ｐ３、文字Ｐ４）に対応する第２画像Ｔ３、Ｔ４を含む組Ｃ１２、「！」の１文字（文字Ｐ５）に対応する第２画像Ｔ５を含む組Ｃ１３の各々を一の前景画像Ｃとし、前景画像Ｃ（組Ｃ１１）と背景画像Ｕのフレームｆ１１とを対応付け、前景画像Ｃ（組Ｃ１２）と背景画像Ｕのフレームｆ１２とを対応付け、前景画像Ｃ（組Ｃ１３）と背景画像Ｕのフレームｆ１３とを対応付け、最後のフレームｆ１４を一括表示フレームとする対応付け情報を生成している場合、合成部７ｄにより複数の前景画像Ｃと背景画像Ｕの複数のフレームとの合成がなされた動画像データは、図１１に示す例のように、「あつい！！」の文字列を、「あつ」、「い！」、「！」の順で表示し、さらに最後のフレームで「あつい！！」の文字列を一括表示する動画像データとなる。
【００６９】
以上のように、本実施形態の撮像装置１００によれば、各々が少なくとも一の第２画像Ｔを含む複数の前景画像Ｃと背景画像Ｕのフレームとを対応付ける対応付け情報に基づいて、合成部７ｄが、複数の前景画像Ｃと背景画像Ｕの複数のフレームとを合成する。これによって、複数の前景画像Ｃと背景画像Ｕの複数のフレームとを個別に合成することができ、複数の前景画像Ｃが合成された動画像データにおいて、連続的に描画させる等の変化を持たせて表示することができる。つまり、複数の前景画像Ｃを一括表示させるのみに留まらず、変化を持たせて表示することができ、より面白みのある動画像を生成することができる。
【００７０】
さらに、対応付け情報生成部７ｂは、複数の第２画像Ｔの数が背景画像Ｕのフレームの数以下である場合に、複数の第２画像Ｔの各々を一の前景画像として対応付け情報を生成する等、複数の第２画像Ｔの数と背景画像Ｕのフレームの数とに基づいて対応付け情報を生成する。これによって、複数の第２画像Ｔの数と背景画像Ｕのフレームの数とに応じて合成後の動画における複数の第２画像Ｔの表示パターンを決定することができ、複数の第２画像Ｔの合成パターンを明確に定めることができる。
【００７１】
さらに、複数の第２画像Ｔの数が背景画像Ｕのフレームの数よりも多い場合に、組分け部７ｃが、複数の第２画像Ｔを背景画像Ｕのフレームの数以下の数の組に組分けし、対応付け情報生成部７ｂが、組分けされた第２画像Ｔの組（組Ｃ１１〜Ｃ１３等）各々を一の前景画像として対応付け情報を生成する。これによって、複数の第２画像Ｔの数が背景画像Ｕのフレームの数よりも多い場合であっても、合成後の動画像データにおいて複数の第２画像Ｔを連続的に描画させる等の変化を持たせて表示することができる。
【００７２】
さらに、複数の第２画像Ｔが複数の文字（文字Ｐ１〜Ｐ５等）を含む場合、対応付け情報生成部７ｂは、ＯＣＲ処理部６ａにより設定された文字の組み合わせに基づいて並び順
を設定する。これによって、複数の文字画像を含む複数の第２画像Ｔを背景画像Ｕに合成する場合に、文字画像の組み合わせによる文字列の意味を保持したうえで、その表示方法に変化を持たせることができることとなり、より面白みのある動画像を生成することができる。
【００７３】
（変形例）
次に、本発明の実施形態の変形例について、図１２を用いて説明する。上記の実施形態と同様の構成については同じ符号を付して説明を省略する。
図１２に示すように、変形例の撮像装置１００Ａは、撮像装置１００の各構成に加えて、背景画像複製部７ｅをさらに備える。
【００７４】
背景画像複製部７ｅは、複数の第２画像Ｔの数に基づいて、一の背景画像から複数のフレームを生成する。
具体的には、背景画像複製部７ｅは、切抜画像生成部６により特定された複数の第２画像Ｔの数を取得し、一枚絵の画像（一の静止画像又は動画像の所定の一フレーム）を第２画像Ｔの数に応じて複製する。
本実施形態では、背景画像複製部７ｅは、複数の第２画像Ｔの数に１を加算した数のフレームを生成する。加算された１フレームは、一括表示フレームに割り当てられる。
ここで、背景画像複製部７ｅは、合成対象の数に基づいて、一の背景画像から背景画像の複数のフレームを生成する第２の生成手段として機能する。
変形例の画像処理部７は、背景画像複製部７ｅにより生成された複数のフレームを背景画像Ｕとして用いることができる。対応付け情報生成部７ｂは、複数の前景画像Ｃと背景画像複製部７ｅにより生成された複数のフレームとを対応付け、合成部７ｄは、複数の前景画像Ｃと背景画像複製部７ｅにより生成された複数のフレームとを合成する。
【００７５】
次に、背景画像複製部７ｅが第２画像Ｔの数に応じた複数のフレームを生成する場合の合成画像生成処理について、図１３のフローチャートを参照して説明する。図２のフローチャートと同様の処理については、同じステップ番号を付して説明を省略する。
背景画像複製部７ｅが第２画像Ｔの数に応じた複数のフレームを生成する場合の合成画像生成処理では、ステップＳ７の処理後、背景画像複製部７ｅが第２画像Ｔの数に応じたフレーム数を有する背景画像Ｕを生成する（ステップＳ４１）。その後、ステップＳ９の処理へ移行する。
【００７６】
即ち、ステップＳ７における複数の第２画像Ｔ（図５の第２画像Ｔ１〜Ｔ５参照）の生成後、計数部６ｂにより特定された第２画像Ｔの数に応じて背景画像複製部７ｅが第２画像Ｔの数に１を加算した複数のフレーム（例えば６フレーム）を生成する。そして、ステップＳ９の処理として、対応付け情報生成部７ｂが、複数の前景画像Ｃと背景画像複製部７ｅにより生成された複数のフレームとを対応付ける。つまり、図５の第２画像Ｔ１〜Ｔ５に対して、計数部６ｂが６フレームを生成し、図８に示す例と同様に、対応付け情報生成部７ｂが、第２画像Ｔ１を前景画像Ｃ１として背景画像Ｕの一番目のフレームと対応付け、同様に、第２画像Ｔ２を前景画像Ｃ２として背景画像Ｕの二番目のフレームと対応付け、同様に、第２画像Ｔ３を前景画像Ｃ３として背景画像Ｕの三番目のフレームと対応付け、同様に、第２画像Ｔ４を前景画像Ｃ４として背景画像Ｕの四番目のフレームと対応付け、同様に、第２画像Ｔ５を前景画像Ｃ５として背景画像Ｕの五番目のフレームと対応付ける対応付け情報を生成する。
【００７７】
ステップＳ９以降の処理は、図２、図３を参照して説明したフローチャートと同様である。
即ち、対応付け情報生成部７ｂが、一括表示フレームを設定するための対応付けを行い、その対応付けの内容を上記の対応付け情報に含ませる（ステップＳ１１）。例えば、図
８に示すように、対応付け情報生成部７ｂが、最後のフレームｆ６を一括表示フレームとする。
そして、合成部７ｄが、画像合成処理を行い（ステップＳ１２）、複数の前景画像Ｃと背景画像Ｕの複数のフレームとを合成した動画像データを表示部１１に表示させ（ステップＳ１３）、合成画像生成処理を終了する。例えば、上記の図８に示す例と同様の対応付け情報の場合、画像合成処理により生成される動画像データは、図１０に示す例と同様に、「あつい！！」の文字列を、フレームの移り変わりに伴って「あ」、「つ」、「い」、「！」、「！」の順で表示し、さらに最後のフレームで「あつい！！」の文字列を一括表示する動画像データとなる。
【００７８】
なお、背景画像複製部７ｅが生成するフレームの数は、第２画像Ｔの数に１を加算した数に限定されない。例えば、背景画像複製部７ｅが第２画像Ｔより少ない数のフレームを生成して、組分け部７ｃが第２画像Ｔを組分けしてもよい。この場合、対応付け情報生成部７ｂは、例えば図９に示す例と同様に第２画像Ｔの組の各々を一の前景画像Ｃとした対応付け情報を生成し、合成部７ｄは例えば図１１に示す例と同様に「あつい！！」の文字列を、「あつ」、「い！」、「！」の順で表示し、さらに最後のフレームで「あつい！！」の文字列を一括表示する動画像データを生成する。
【００７９】
以上、変形例によれば、背景画像複製部７ｅが、複数の第２画像Ｔの数に基づいて背景画像Ｕのフレームを生成するので、複数の第２画像Ｔの数に応じた複数のフレームを有する背景画像Ｕを容易に設けることができ、面白みのある動画像をより容易に生成することができる。
【００８０】
なお、本発明は、上記の各実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
【００８１】
例えば、複数の前景画像Ｃが合成される背景画像Ｕの複数のフレームの間に前景画像Ｃが合成されないフレームを挟んでもよい。また、同一の前景画像Ｃが合成されるフレームを複数設けるようにしてもよい。また、複数の第２画像Ｔの組分けを行う場合に、組分けされた各組に含まれる第２画像Ｔの数は均一、不均一を問わない。また、一組に含まれる第２画像の数と、一の前景画像とされる組に含まれる第２画像の数と背景画像のフレームの表示順との間に相関を設けても設けなくともよい。例えば、上述の実施形態のように、第２画像の数（ｍ＝５）を可能な限り均一とし、不均一な場合により先に表示される組に多くの第２画像を割り当てる組分け（２，２，１の３組）としてもよいし、これらの規則を設けることなく組分けしてもよい。
また、ＯＣＲ処理部６ａによる処理を経ずに、一又は複数の元画像から複数の第２画像Ｔを生成してもよい。
また、複数の第２画像Ｔの並び順は、ＯＣＲ処理部６ａによる文字画像の並び順に限らない。例えば、被写体の大きさ順（大きい方又は小さい方からから先に表示等）等によってもよいし、その他の所定の規則（例えばランダムや乱数等）で決定してもよい。
【００８２】
また、撮像装置１００に、抽出された第１画像Ｔ０や第２画像Ｔの色を変更する色変更手段（図示略）を設けてもよい。第１画像Ｔ０や第２画像Ｔの色は、例えば、所定のカラープリセットから選択された色に変更されるようにしてもよい。第１画像に色の変更を施した後に複数の第２画像を生成してもよいし、複数の第２画像の各々を個別に色変更してもよい。
即ち、第１画像Ｔ０や第２画像Ｔの色を変更することにより、一の画像（元画像Ｂ）から様々な色の第１画像Ｔ０や第２画像Ｔを得ることができ、第２画像Ｔの活用の可能性を大幅に広げることができることとなって、より面白みのある動画像を提供することができる。
【００８３】
また、上記実施形態にあっては、画像処理装置を適用した撮像装置１００の構成としたが、これに限られるものではなく、撮像する代わりに記録媒体から画像を読み出して、上記実施形態と同様の処理を実行する画像処理装置であっても良い。
【００８４】
また、上記実施形態では、対応付け情報の生成を行う処理工程を明確に含んでいるが、前景画像と背景画像とを合成する前に何らかの形で複数の前景画像と背景画像との対応付けを行えればよい。
【００８５】
加えて、上記実施形態にあっては、計数手段、合成手段としての機能を、ＣＰＵ１３の制御下にて、切抜画像生成部６、画像処理部８が駆動することにより実現される構成としたが、これに限られるものではなく、ＣＰＵ１３によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、計数処理ルーチン、対応付け情報生成処理ルーチン、合成処理ルーチンを含むプログラムを記憶しておく。そして、計数処理ルーチンによりＣＰＵ１３を、画像から合成すべき複数の合成対象の数を計数する計数手段として機能させるようにしても良い。また、合成処理ルーチンによりＣＰＵ１３を、計数された合成対象の数に基づいて、各々が少なくとも一の合成対象を含む複数の前景画像と背景画像とを対応付けて合成した合成フレームからなる合成動画を生成する合成手段として機能させるようにしても良い。
【００８６】
同様に、第１の生成手段、組分け手段、第２の生成手段についても、ＣＰＵ１３によって所定のプログラム等が実行されることにより実現される構成としても良い。
【００８７】
以上の説明では、本発明に係るプログラムのコンピュータ読み取り可能な媒体としてＲＯＭを使用した例を開示したが、この例に限定されない。
その他のコンピュータ読み取り可能な媒体として、フラッシュメモリ等の不揮発性メモリ、ＣＤ-ＲＯＭ等の可搬型記録媒体を適用することが可能である。
また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ（搬送波）も本発明に適用される。
【符号の説明】
【００８８】
６ 切抜画像生成部
６ａ ＯＣＲ処理部
６ｂ 計数部
７ 画像処理部
７ａ 合成位置決定部
７ｂ 対応付け情報生成部
７ｃ 組分け部
７ｄ 合成部
７ｅ 背景画像複製部
８ 画像処理部
９ 記録媒体
１２ 操作入力部
１００ 撮像装置
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来より、動画像に対して文字画像等の静止画像を合成して表示する画像処理装置がある（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−２６９６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の画像処理装置では、所定の動画フレームに合成対象である複数の文字画像を一括して合成して表示させるのみであり、面白みに欠けていた。
【０００５】
本発明の課題は、より面白みのある動画像を提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１に記載の発明は、画像処理装置であって、画像から合成すべき複数の合成対象の数を計数する計数手段と、この計数手段により計数された前記合成対象の数に基づいて、各々が少なくとも一の前記合成対象を含む複数の前景画像と背景画像とを対応付けて合成した合成フレームからなる合成動画を生成する合成手段と、を備えることを特徴とする。
【０００７】
請求項２に記載の発明は、請求項１に記載の画像処理装置であって、前記計数手段により計数された前記合成対象の数に基づいて、各々が少なくとも一の前記合成対象を含む複数の前景画像と、背景画像を構成する複数のフレームとを対応付ける対応付け情報を生成する第１の生成手段を更に備え、前記合成手段は、この第１の生成手段により生成された前記対応付け情報に基づいて、前記複数の前景画像と前記背景画像の前記複数のフレームとがそれぞれ合成された合成フレームからなる合成動画を生成することを特徴とする。
【０００８】
請求項３に記載の発明は、請求項２に記載の画像処理装置であって、前記第１の生成手段は、更に、前記背景画像を構成するフレームの数に基づいて、前記対応付け情報を生成することを特徴とする。
【０００９】
請求項４に記載の発明は、請求項３に記載の画像処理装置であって、前記第１の生成手段は、更に、前記合成対象の数が前記背景画像のフレームの数以下である場合に、前記複数の合成対象の各々をそれぞれ一の前景画像として前記対応付け情報を生成し、前記合成手段は、一の前景画像と前記背景画像の一のフレームとを合成することを特徴とする。
【００１０】
請求項５に記載の発明は、請求項３又は４に記載の画像処理装置であって、前記合成対象の数が前記背景画像のフレームの数よりも多い場合に、前記合成対象を前記背景画像のフレームの数以下の数の複数の組に組分けする組分け手段をさらに備え、前記第１の生成手段は、更に、前記組分け手段により複数の組に組分けされた各組の少なくとも一の前記合成対象を一の前景画像として前記対応付け情報を生成し、前記合成手段は、一の前景画像に含まれる少なくとも一の前記合成対象と前記背景画像の一のフレームとを合成するこ
とを特徴とする。
【００１１】
請求項６に記載の発明は、請求項１から５のいずれか一項に記載の画像処理装置であって、前記計数手段により計数された前記合成対象の数に基づいて、一の背景画像から複数のフレームを生成する第２の生成手段をさらに備え、前記第１の生成手段は、更に、前記複数の前景画像と、前記第２の生成手段により生成された背景画像の前記複数のフレームとを対応付ける前記対応付け情報を生成することを特徴とする。
【００１２】
請求項７に記載の発明は、請求項１から６のいずれか一項に記載の画像処理装置であって、前記複数の合成対象は、複数の文字画像を含み、前記第１の生成手段は、前記複数の文字画像の組み合わせに基づいて前記対応付け情報を生成することを特徴とする。
【００１３】
請求項８に記載の発明は、画像処理方法であって、画像処理装置を用いて、画像から合成すべき複数の合成対象の数を計数する処理と、この計数された前記合成対象の数に基づいて、各々が少なくとも一の前記合成対象を含む複数の前景画像と背景画像とを対応付けて合成した合成フレームからなる合成動画を生成する処理と、を実行することを特徴とする。
【００１４】
請求項９に記載の発明は、プログラムであって、画像処理装置のコンピュータを、画像から合成すべき複数の合成対象の数を計数する計数手段、この計数された前記合成対象の数に基づいて、各々が少なくとも一の前記合成対象を含む複数の前景画像と背景画像とを対応付けて合成した合成フレームからなる合成動画を生成する合成手段、
として機能させることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、より面白みのある動画像を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。
【図２】合成画像生成処理の一例を示すフローチャートである。
【図３】画像合成処理の一例を示すフローチャートである。
【図４】切抜画像生成部による前景画像の生成の一例を示す図である。
【図５】複数の前景画像の一例を示す図である。
【図６】複数のフレームを有する背景画像の一例を示す図である。
【図７】背景画像に対する前景画像の合成位置の決定例を示す図である。
【図８】複数の前景画像のそれぞれを背景画像の異なるフレームに対応付けた一例を示す図である。
【図９】複数の第２画像を背景画像のフレーム数以下の数の組に組分けして各組をそれぞれ背景画像の異なるフレームに対応付けた一例を示す図である。
【図１０】複数の前景画像をそれぞれ異なる動画のフレームに合成した一例を示す図である。
【図１１】組分けした前景画像を組ごとに背景画像の異なるフレームに合成した一例を示す図である。
【図１２】変形例の撮像装置の概略構成を示すブロック図である。
【図１３】背景画像複製部が第２画像の数に応じた複数のフレームを生成する場合の合成画像生成処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲
は、図示例に限定されない。
【００１８】
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
撮像装置１００は、画像から切り抜かれた第１画像Ｔ０を構成する複数の第２画像Ｔの数を特定（計数）する（図４、図５参照）。また、撮像装置１００は、特定された第２画像の数に基づいて、各々が少なくとも一の第２画像を含む複数の前景画像Ｃと、背景画像Ｕを構成する複数のフレームとを対応付ける対応付け情報を生成する（図８、図９参照）。そして、撮像装置１００は、対応付け情報に基づいて複数の前景画像Ｃと背景画像Ｕの複数のフレームとを合成する（図１０、図１１参照）。
【００１９】
具体的には、図１に示すように、撮像装置１００は、レンズ部１と、電子撮像部２と、撮像制御部３と、画像データ生成部４と、画像メモリ５と、切抜画像生成部６と、画像処理部７と、記録媒体９と、表示制御部１０と、表示部１１と、操作入力部１２と、ＣＰＵ１３とを備えている。
また、撮像制御部３と、切抜画像生成部６と、画像処理部７と、ＣＰＵ１３は、例えば、カスタムＬＳＩ１Ａとして設計されている。
【００２０】
レンズ部１は、複数のレンズから構成され、ズームレンズやフォーカスレンズ等を備えている。
また、レンズ部１は、図示は省略するが、撮像の際に、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えていても良い。
【００２１】
電子撮像部２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部１の各種レンズを通過した光学像を二次元の画像信号に変換する。
【００２２】
撮像制御部３は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部３は、タイミング発生器、ドライバにより電子撮像部２を走査駆動して、所定周期毎に光学像を電子撮像部２により二次元の画像信号に変換させ、当該電子撮像部２の撮像領域から１画面分ずつ画像フレームを読み出して画像データ生成部４に出力させる。
また、撮像制御部３は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の撮像条件の調整制御を行う。
【００２３】
画像データ生成部４は、電子撮像部２から転送された画像フレームのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用される画像メモリ５にＤＭＡ転送される。
【００２４】
なお、Ａ／Ｄ変換後のデジタルデータを現像するデモザイク部（図示略）が、カスタムＬＳＩ１Ａに実装されていても良い。
【００２５】
画像メモリ５は、例えば、ＤＲＡＭ等により構成され、切抜画像生成部６と、画像処理部７と、ＣＰＵ１３等によって処理されるデータ等を一時記憶する。
【００２６】
切抜画像生成部６は、画像（例えば、図４（ａ）の元画像Ｂ）から切り抜かれた第１画像Ｔ０（例えば図４（ｃ）の第１画像Ｔ０）を生成する。また、切抜画像生成部６は、第１画像を構成する複数の第２画像Ｔ（例えば図５に示す第２画像Ｔ１〜Ｔ５）を生成する。ここで、この複数の第２画像Ｔは、それぞれ後述の背景画像Ｕに合成すべき合成対象である。
切抜画像生成部６は、例えば、元画像Ｂの非平坦度が所定値以下である画像領域の情報に基づいて、当該元画像Ｂから元画像Ｂを抽出するための抽出用背景画像を生成し、この抽出用背景画像と元画像Ｂとの差分情報に基づいて、被写体Ｐ（例えば、図４（ａ）の被写体Ｐ）を抽出する。
さらに、切抜画像生成部６は、元画像Ｂから抽出された被写体Ｐの位置を特定して、元画像Ｂにおける被写体Ｐの位置を示す位置情報（例えば、図４（ｂ）のアルファマップＡ１）を生成する。アルファマップとは、元画像Ｂの各画素について、被写体Ｐを所定の背景に対してアルファブレンディングする際の重みをアルファ値（０≦α≦１）として表したものである。
そして、切抜画像生成部６は、アルファマップＡ１に基づいて、元画像Ｂの各画素のうち、アルファ値が１の画素を所定の単一色画像（図示略）に対して透過させず、且つ、アルファ値が０の画素を透過させ、且つ、アルファ値が０＜α＜１の画素を所定の単一色とブレンディングさせるように、被写体Ｐを所定の単一色画像と合成して第１画像Ｔ０（例えば図４（ｃ）の第１画像Ｔ０）の画像データを生成する。
【００２７】
また、切抜画像生成部６は、ＯＣＲ処理部６ａと、計数部６ｂとを有する。
ＯＣＲ処理部６ａは、第１画像Ｔ０に対してＯＣＲ（Optical Character Recognition）処理をかけ、被写体Ｐに含まれる文字を認識する処理を行う。ＯＣＲ処理部６ａは、被写体Ｐに複数の文字が含まれていると認識した場合、複数の文字を一文字単位で分割し、被写体Ｐを構成する文字の各々を含む複数の第２画像Ｔ（例えば図５の第２画像Ｔ）を生成する。なお、ＯＣＲ処理部６ａは、感嘆符や疑問符、その他の記号等についても１文字として扱う。
図５に示す例を用いて説明すると、ＯＣＲ処理部６ａは、文字Ｐ１〜Ｐ５の５文字からなる被写体Ｐを含む第１画像Ｔ０に対してＯＣＲ処理をかけた場合、文字Ｐ１〜Ｐ５のそれぞれ１文字ずつを含む第２画像Ｔ１、第２画像Ｔ２、第２画像Ｔ３、第２画像Ｔ４、第２画像Ｔ５をそれぞれ一の第２画像とする複数の第２画像Ｔを生成する。ここで、第２画像Ｔ１、第２画像Ｔ２、第２画像Ｔ３、第２画像Ｔ４、第２画像Ｔ５はそれぞれ文字画像であり、複数の第２画像Ｔは複数の文字画像を含む。
【００２８】
また、ＯＣＲ処理部６ａは、複数の第２画像Ｔ（図５の第２画像Ｔ１〜Ｔ５）に含まれる複数の文字画像（図５の文字Ｐ１〜Ｐ５）の組み合わせに基づいて複数の第２画像Ｔの並び順を設定する。
例えば、図５に示す文字Ｐ１〜Ｐ５は「あ」「つ」「い」「！」「！」の５文字を含み、文字Ｐ１、文字Ｐ２、文字Ｐ３、文字Ｐ４、文字Ｐ５の順で読み進めることで「あつい！！」という感嘆符を含む形容詞を構成する。ＯＣＲ処理部６ａは、ＯＣＲ処理をかける前の第１画像Ｔ０における文字の並び方向によって構成される意味に基づいて、複数の第２画像Ｔの並び順を設定する。図５に示す第２画像Ｔ１〜Ｔ５の場合、切抜画像生成部６は、文字Ｐ１、文字Ｐ２、文字Ｐ３、文字Ｐ４、文字Ｐ５の並びに応じ、第２画像Ｔ１、第２画像Ｔ２、第２画像Ｔ３、第２画像Ｔ４、第２画像Ｔ５の順で複数の第２画像Ｔの並び順を設定する。
【００２９】
また、切抜画像生成部６は、ＯＣＲ処理部６ａの処理結果に基づいて、複数の第２画像Ｔ（第２画像Ｔ１〜Ｔ５）の各々についてアルファマップを生成する。
【００３０】
計数部６ｂは、第１画像Ｔ０を構成する複数の第２画像Ｔの数を計数して特定する。
具体的には、計数部６ｂは、ＯＣＲ処理部６ａの処理結果に基づいて、複数の第２画像Ｔの数を特定する。例えば、図４、図５に示す例の場合、第１画像Ｔ０を構成する複数の第２画像Ｔ（図５の第２画像Ｔ１〜Ｔ５）の数は５である。
なお、計数部６ｂによる第２画像Ｔの数の特定方法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、第１画像Ｔ０が、分離した複数の画像領域から構成される画像である場合には、各画像領域を一の第２画像として計数しても良い。
【００３１】
なお、上記した切抜画像生成部６による第１画像Ｔ０の生成方法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、まず元画像Ｂに対してＯＣＲ処理を施して文字列、文字数、文字の並び方向等を認識してから、認識された文字列を被写体Ｐとする第１画像Ｔ０を生成するようにしてもよい。
【００３２】
画像処理部７は、合成位置決定部７ａと、対応付け情報生成部７ｂと、合成部７ｄと、を具備している。
【００３３】
合成位置決定部７ａは、背景画像Ｕに対する第１画像Ｔ０又は第２画像Ｔの各々の合成位置を決定するための処理を行う（図７参照）。背景画像Ｕは、例えば図６に示すように、複数のフレームを有する動画像データである。
具体的には、合成位置決定部７ａは、背景画像Ｕを読み出し、表示制御部１０を介して表示部１１に表示させ、第１画像Ｔ０又は第２画像Ｔの各々の合成位置に係るユーザからの入力指示を受けるまで待機する。操作入力部１２を介してユーザからの入力指示を受けると、合成位置決定部７ａは、当該入力指示内容に応じて背景画像Ｕに対する第１画像Ｔ０又は第２画像Ｔの各々の合成位置を決定する。
なお、合成位置決定部７ａが行う処理に際して表示部１１にて行われる背景画像Ｕの表示は、当該背景画像Ｕに含まれる所定の一フレームのみの表示であってもよいし、動画像データの複数のフレームを連続描画する再生表示等であってもよい。
【００３４】
図７では、一文字単位で分割する前の第１画像Ｔ０の位置を決定することで、複数の第２画像Ｔの各々（一文字単位での分割後の第２画像Ｔ１〜Ｔ５）の位置を決定しているが、複数の第２画像Ｔの各々について個別に位置を決定してもよい。
【００３５】
対応付け情報生成部７ｂは、計数部６ｂにより特定された第２画像の数に基づいて、各々が少なくとも一の第２画像を含む複数の前景画像Ｃと、背景画像Ｕを構成する複数のフレームとを対応付ける（図８、図９参照）。
ここで、計数部６ｂは、画像から合成すべき複数の合成対象（第２画像）の数を計数する計数手段として機能する。
【００３６】
具体的には、対応付け情報生成部７ｂは、複数の第２画像Ｔの数と背景画像Ｕを構成する複数のフレームの数とを比較する。そして、対応付け情報生成部７ｂは、複数の第２画像Ｔの数と背景画像Ｕを構成する複数のフレームの数との大小関係に応じた処理を行う。
【００３７】
複数の第２画像Ｔの数が背景画像Ｕを構成する複数のフレームの数以下である場合、対応付け情報生成部７ｂは、複数の第２画像Ｔの各々を一の前景画像Ｃとする。そして、対応付け情報生成部７ｂは、複数の前景画像Ｃと、背景画像Ｕを構成する複数のフレームとを対応付ける（図８参照）。
【００３８】
また、対応付け情報生成部７ｂは、組分け部７ｃを有する。
組分け部７ｃは、複数の第２画像Ｔの数が背景画像Ｕを構成する複数のフレームの数よ
りも多い場合に、複数の第２画像Ｔを背景画像Ｕのフレームの数以下の数の組に組分けする（図９参照）。
そして、対応付け情報生成部７ｂは、組分け部７ｃにより組分けされた複数の第２画像の組Ｃ１１〜Ｃ１３の各々を一の前景画像とする。そして、対応付け情報生成部７ｂは、複数の前景画像Ｃと、背景画像Ｕを構成する複数のフレームとを対応付ける（図９参照）。
ここで、組分け部７ｃは、合成対象の数が背景画像のフレームの数よりも多い場合に、合成対象を背景画像のフレームの数以下の数の複数の組に組分けする組分け手段として機能する。
【００３９】
また、対応付け情報生成部７ｂは、複数の第２画像Ｔが複数の文字画像を含む場合、複数の文字画像の組み合わせに基づいて対応付けを行う。
具体的には、対応付け情報生成部７ｂは、複数の前景画像Ｃと対応付けられる背景画像Ｕの複数のフレームの表示順と、ＯＣＲ処理部６ａにより設定された複数の第２画像Ｔの並び順とが対応するように対応付けを行う。
例えば、図５、図８、図９に示す複数の第２画像Ｔは、第２画像Ｔ１、第２画像Ｔ２、第２画像Ｔ３、第２画像Ｔ４、第２画像Ｔ５の順で並び順が設定されている。対応付け情報生成部７ｂは、当該並び順と背景画像Ｕの複数のフレームの表示順（フレームｆ１、フレームｆ２…の順）とが対応するように対応付けを行う。
【００４０】
さらに、本実施形態の対応付け情報生成部７ｂは、複数の前景画像Ｃを一括して表示する動画像のフレーム（一括表示フレーム）を設定するための対応付けを行い、その対応付けの内容を上記の対応付け情報に含ませる。本実施形態の対応付け情報生成部７ｂは、背景画像Ｕを構成する複数のフレームのうち最後のフレームを一括表示フレームとする対応付けを行う。
【００４１】
以下、図８及び図９を参照して、対応付け情報生成部７ｂの処理を説明する。
図８に示す例の場合、ＯＣＲ処理部６ａにより特定された第２画像Ｔの文字数（ｍ＝５）は、背景画像Ｕとなる動画のフレーム数（ｎ＝６）以下である。この場合、対応付け情報生成部７ｂは、例えば、第２画像Ｔ１を前景画像Ｃ１として背景画像Ｕのフレームｆ１と対応付け、同様に、第２画像Ｔ２を前景画像Ｃ２として背景画像Ｕのフレームｆ２と対応付け、同様に、第２画像Ｔ３を前景画像Ｃ３として背景画像Ｕのフレームｆ３と対応付け、同様に、第２画像Ｔ４を前景画像Ｃ４として背景画像Ｕのフレームｆ４と対応付け、同様に、第２画像Ｔ５を前景画像Ｃ５として背景画像Ｕのフレームｆ５と対応付ける。さらに、対応付け情報生成部７ｂは、最後のフレームｆ６を一括表示フレームとする。
【００４２】
図９に示す例の場合、ＯＣＲ処理部６ａにより特定された第２画像Ｔの文字数（ｍ＝５）は、背景画像Ｕとなる動画のフレーム数（ｎ＝４）より多い。この場合、組分け部７ｃが、複数の第２画像Ｔを背景画像Ｕのフレーム数以下の数に組分けする。図９に示す複数の第２画像Ｔ（第２画像Ｔ１〜Ｔ５）は３組（組Ｃ１１〜Ｃ１３）に組分けされており、組Ｃ１１は第２画像Ｔ１、第２画像Ｔ２を含み、組Ｃ１２は第２画像Ｔ３、第２画像Ｔ４を含み、組Ｃ１３は第２画像Ｔ５を含む。
そして、対応付け情報生成部７ｂは、組Ｃ１１、Ｃ１２、Ｃ１３の各々を一の前景画像Ｃとする。そして、対応付け情報生成部７ｂは、前景画像Ｃ（組Ｃ１１）と背景画像Ｕのフレームｆ１１とを対応付け、同様に、前景画像Ｃ（組Ｃ１２）と背景画像Ｕのフレームｆ１２とを対応付け、同様に、前景画像Ｃ（組Ｃ１３）と背景画像Ｕのフレームｆ１３とを対応付ける。さらに、対応付け情報生成部７ｂは、最後のフレームｆ１４を一括表示フレームとする。
【００４３】
対応付け情報生成部７ｂは、複数の第２画像Ｔの数と背景画像Ｕを構成する複数のフレ
ームの数との大小関係に応じた処理の後、複数の前景画像Ｃと背景画像Ｕの複数のフレームとの対応付け結果に応じた対応付け情報（図示略）を生成する。
このように、対応付け情報生成部７ｂは、合成対象の数に基づいて、各々が少なくとも一の合成対象を含む複数の前景画像と、背景画像を構成する複数のフレームとを対応付ける対応付け情報を生成する第１の生成手段として機能する。
【００４４】
図８、図９では、複数の前景画像Ｃを一括して表示するために合成する前景画像Ｃとして、ＯＣＲ処理前の第１画像Ｔ０を用いているが、複数の第２画像Ｔを再度合成して複数の前景画像Ｃを一括して表示するようにしてもよい。
【００４５】
合成部７ｄは、対応付け情報により対応付けられた前景画像Ｃと背景画像Ｕとを合成する（図１０、図１１参照）。
具体的には、合成部７ｄは、背景画像Ｕとなるフレーム画像の各画素のうち、前景画像Ｃに含まれる第２画像Ｔのアルファマップのアルファ値が０の画素は背景画像Ｕの画素値を透過させ、アルファ値が１の画素は第２画像Ｔの対応する画素の画素値で上書きする。また、アルファ値が０＜α＜１の画素の場合、合成部７ｄは、１の補数（１−α）を用いて被写体Ｐの領域を切り抜いた画像（背景画像×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて第２画像Ｔを生成した際に単一背景色とブレンドした値を計算し、当該値を第２画像Ｔから減算し、それを、被写体Ｐの領域を切り抜いた画像（背景画像×（１−α））と合成する。
【００４６】
図１０に示す例の場合、合成部７ｄは、前景画像Ｃ１と背景画像Ｕのフレームｆ１とを合成し、前景画像Ｃ２と背景画像Ｕのフレームｆ２とを合成し、前景画像Ｃ３と背景画像Ｕのフレームｆ３とを合成し、前景画像Ｃ４と背景画像Ｕのフレームｆ４とを合成し、前景画像Ｃ５と背景画像Ｕのフレームｆ５とを合成している。さらに、合成部７ｄは、一括表示フレームとして設定されたフレームｆ６と、当該フレームｆ６と対応付けられた第１画像Ｔ０とを合成している。これによって、合成後の動画像データは、「あつい！！」の文字列を、フレームの移り変わりに伴って「あ」、「つ」、「い」、「！」、「！」の順で表示し、最後に「あつい！！」の文字列を一括表示する動画像データとなる。
図１１に示す例の場合、合成部７ｄは、前景画像Ｃ１１と背景画像Ｕのフレームｆ１１とを合成し、前景画像Ｃ１２と背景画像Ｕのフレームｆ１２とを合成し、前景画像Ｃ１３と背景画像Ｕのフレームｆ１３とを合成している。さらに、合成部７ｄは、一括表示フレームとして設定されたフレームｆ１４と、当該フレームｆ１４と対応付けられた第１画像Ｔ０とを合成している。これによって、合成後の動画像データは、「あつい！！」の文字列が、フレームの移り変わりに伴って「あつ」、「い！」、「！」の順で表示し、最後に「あつい！！」の文字列を一括表示する動画像データとなる。
【００４７】
なお、背景画像Ｕに対する第１画像Ｔ０又は第２画像Ｔの各々の合成位置が決定された際に、背景画像Ｕとアルファマップとがずれてしまいアルファマップの範囲外となる領域については、α＝０としてアルファ値が存在しない領域を生じさせないようにする。
このように、合成部７ｄは、合成対象の数に基づいて、各々が少なくとも一の合成対象を含む複数の前景画像と背景画像とを対応付けて合成した合成フレームからなる合成動画を生成する合成手段として機能する。
【００４８】
また、本実施形態の画像処理部７は、合成位置決定部７ａによる第１画像Ｔ０又は第２画像Ｔの各々の位置決定処理において、所定時間以上ユーザからの入力指示が行われない場合、そのとき表示されている第１画像Ｔ０又は第２画像Ｔの各々と背景画像Ｕとの位置関係で合成を行った場合の再現表示（プレビュー）を行う。
【００４９】
記録媒体９は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、元画
像Ｂデータや切抜画像生成部６により生成された第１画像Ｔ０や複数の第２画像Ｔ、背景画像Ｕ、画像処理部７により生成された合成後の動画像データ等を記憶する。
【００５０】
表示制御部１０は、画像メモリ５に一時的に記憶されている表示用画像データを読み出して表示部１１に表示させる制御を行う。
具体的には、表示制御部１０は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、ＣＰＵ１３の制御下にて画像メモリ５から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部１１に出力する。
また、表示制御部１０は、撮像装置１００の他の構成の制御下で表示部１１の表示内容を制御する。例えば、画像処理部７の命令に基づいて、背景画像Ｕに対する第１画像Ｔ０又は第２画像Ｔの各々の合成位置決定のための表示や、合成後の動画データのプレビュー、合成後の動画データの表示等を表示部１１に行わせる。
【００５１】
表示部１１は、例えば、液晶表示装置であり、表示制御部１０からのビデオ信号に基づいて電子撮像部２により撮像された画像などを表示画面１１ａに表示する。具体的には、表示部１１は、撮像モードにて、レンズ部１、電子撮像部２及び撮像制御部３による撮像により生成された複数の画像フレームに基づいたライブビュー画像の表示や、本撮像画像として撮像されたレックビュー画像の表示等を行う。この他、表示部１１は、背景画像Ｕに対する第１画像Ｔ０又は第２画像Ｔの各々の合成位置決定のための表示や、合成後の動画データのプレビュー、合成後の動画データの表示等を行う。
【００５２】
操作入力部１２は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１２は、撮影指示に係るシャッタボタン１２ａ、メニュー画面にて撮像モードや機能等の選択指示に係るモードボタン１２ｂ、ズーム量の調整指示に係るズームボタン（図示略）、背景画像Ｕに対する第１画像Ｔ０又は第２画像Ｔの各々の合成位置決定等に用いる操作ボタン１２ｃや決定ボタン１２ｄ等を備え、これらのボタンの操作に応じて所定の操作信号をＣＰＵ１３に出力する。
【００５３】
ＣＰＵ１３は、撮像装置１００の各部を制御するものである。具体的には、ＣＰＵ１３は、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行うものである。撮像装置１００用の各種処理プログラムは、ＲＯＭ（図示略）等に記憶されており、処理内容に応じてＣＰＵ１３が読み出して実行処理する。
【００５４】
以下、撮像装置１００による合成画像生成処理について、図２のフローチャートを参照して説明する。
まず、切抜画像生成部６が、元画像Ｂから第１画像Ｔ０（図４の第１画像Ｔ０参照）を生成する（ステップＳ１）。具体的には、切抜画像生成部６が、元画像から被写体Ｐを抽出し、被写体Ｐの位置に応じたアルファマップを生成し、当該アルファマップに基づいて被写体Ｐと所定の単一色とを合成して第１画像Ｔ０を生成する。
次に、合成位置決定部７ａは、背景画像Ｕを読み出し、表示制御部１０を介して表示部１１に表示させ（ステップＳ２）、背景画像Ｕに対する第１画像Ｔ０又は第２画像Ｔの各々の合成位置についてユーザからの入力指示を受けるまで待機する（ステップＳ３；ＮＯ、ステップＳ４；ＮＯ）（図７参照）。
【００５５】
ここで、所定時間以上ユーザからの入力指示が行われない場合（ステップＳ４；ＹＥＳ）、画像処理部７は、そのとき表示されている第１画像Ｔ０と背景画像Ｕとの位置関係で合成を行った場合の再現表示（プレビュー）を行い（ステップＳ５）、ステップＳ３に戻る。
【００５６】
ユーザからの入力指示により、背景画像Ｕに対する第１画像Ｔ０の合成位置の決定がなされると（ステップＳ３；ＹＥＳ）、ステップＳ１で生成された第１画像Ｔ０に対してＯＣＲ処理部６ａがＯＣＲ処理を行い（ステップＳ６）、複数の第２画像Ｔ（図５の第２画像Ｔ１〜Ｔ５参照）を生成する（ステップＳ７）。このとき、ＯＣＲ処理部６ａが第２画像Ｔの並び順を特定し、計数部６ｂが第２画像Ｔの数を特定する。
【００５７】
次に、対応付け情報生成部７ｂが、複数の第２画像Ｔの数と背景画像Ｕを構成する複数のフレームの数とを比較し、複数の第２画像Ｔの数が背景画像Ｕのフレーム数以下であるか否かを判定する（ステップＳ８）。
【００５８】
複数の第２画像Ｔの数が背景画像Ｕフレーム数以下である場合（ステップＳ８；ＹＥＳ）、対応付け情報生成部７ｂは、複数の第２画像Ｔの各々を一の前景画像Ｃとし、複数の前景画像Ｃと背景画像Ｕの複数のフレームとを対応付ける対応付け情報を生成する（ステップＳ９）（図８参照）。
例えば、図８に示すように、計数部６ｂにより特定された第２画像Ｔの数（ｍ＝５）が、背景画像Ｕとなる動画のフレーム数（ｎ＝６）以下である場合、対応付け情報生成部７ｂは、第２画像Ｔ１を前景画像Ｃ１として背景画像Ｕのフレームｆ１と対応付け、同様に、第２画像Ｔ２を前景画像Ｃ２として背景画像Ｕのフレームｆ２と対応付け、同様に、第２画像Ｔ３を前景画像Ｃ３として背景画像Ｕのフレームｆ３と対応付け、同様に、第２画像Ｔ４を前景画像Ｃ４として背景画像Ｕのフレームｆ４と対応付け、同様に、第２画像Ｔ５を前景画像Ｃ５として背景画像Ｕのフレームｆ５と対応付ける対応付け情報を生成する。
【００５９】
一方、複数の第２画像Ｔの数が背景画像Ｕを構成する複数のフレームの数よりも多い場合（ステップＳ８；ＮＯ）組分け部７ｃが、複数の第２画像Ｔを背景画像Ｕのフレーム数以下の数の組に組分けする（図９参照）。そして、対応付け情報生成部７ｂが、組分けされた複数の第２画像の組Ｃ１１〜Ｃ１３の各々を一の前景画像とし、複数の前景画像Ｃと、背景画像Ｕの複数のフレームとを対応付ける対応付け情報を生成する（図９参照）。（ステップＳ１０）。
例えば、図９に示すように、計数部６ｂにより特定された第２画像Ｔの数（ｍ＝５）が、背景画像Ｕとなる動画のフレーム数（ｎ＝４）より多い場合、組分け部７ｃは、複数の第２画像Ｔを背景画像Ｕのフレーム数以下の数に組分けする（例えば組Ｃ１１〜Ｃ１３の３組）。そして、対応付け情報生成部７ｂは、組Ｃ１１、Ｃ１２、Ｃ１３の各々を一の前景画像Ｃとし、前景画像Ｃ（組Ｃ１１）と背景画像Ｕのフレームｆ１１とを対応付け、同様に、前景画像Ｃ（組Ｃ１２）と背景画像Ｕのフレームｆ１２とを対応付け、同様に、前景画像Ｃ（組Ｃ１３）と背景画像Ｕのフレームｆ１３とを対応付ける対応付け情報を生成する。
【００６０】
ステップＳ８又はステップＳ９の処理後、さらに、対応付け情報生成部７ｂは、一括表示フレームを設定するための対応付けを行い、その対応付けの内容を上記の対応付け情報に含ませる（ステップＳ１１）。
具体的には、対応付け情報生成部７ｂは、背景画像Ｕを構成する複数のフレームのうち最後のフレームを一括表示フレームとする対応付けを行う。
図８に示す例の場合、対応付け情報生成部７ｂは、最後のフレームｆ６を一括表示フレームとしている。また、図９に示す例の場合、対応付け情報生成部７ｂは、最後のフレームｆ１４を一括表示フレームとしている。
【００６１】
その後、合成部７ｄが、画像合成処理を行う（ステップＳ１２）。
ここで、画像合成処理について、図３のフローチャートを参照して説明する。
合成部７ｄは、複数の前景画像Ｃのうち、まだ画像合成処理を行っていない前景画像Ｃに含まれている第２画像Ｔの一つのアルファマップを読み出す（ステップＳ２１）。
また、合成部７ｄは、対応付け情報生成部７ｂによりステップＳ２１で読み出したアルファマップの第２画像Ｔを含む前景画像Ｃと対応付けられた背景画像Ｕのフレームを読み出す（ステップＳ２２）。
【００６２】
次に、合成部７ｄは、ステップＳ２２で読み出した背景画像Ｕの何れか一の画素（例えば、左上隅部の画素）を指定して（ステップＳ２３）、当該画素について、アルファマップのアルファ値に基づいて処理を分岐させる（ステップＳ２４、Ｓ２５）。
具体的には、合成部７ｄは、は、背景画像Ｕの何れか一の画素のうち、アルファ値が１の画素については（ステップＳ２４；ＹＥＳ）、第２画像Ｔの対応する画素の画素値で上書きし（ステップＳ２６）、アルファ値が１でなく（ステップＳ２４；ＮＯ）、０の画素については（ステップＳ２５；ＹＥＳ）、背景画像Ｕを透過させるようにする（ステップＳ２７）。
また、アルファ値が１でも０でもない（ステップＳ２４、Ｓ２５；ＮＯ）、即ちアルファ値が０＜α＜１の画素については、合成部７ｄは、１の補数（１−α）を用いて被写体Ｐの画像を切り抜いた画像（背景画像×（１−α））を生成した後、アルファマップにおける１の補数（１−α）を用いて第２画像Ｔを生成した際に単一背景色とブレンドした値を計算し、当該値を第２画像Ｔから減算し、それを、被写体Ｐの画像を切り抜いた画像（背景画像×（１−α））と合成する（ステップＳ２８）。
【００６３】
続けて、合成部７ｄは、背景画像Ｕの全ての画素について処理したか否かを判定する（ステップＳ２９）。
ここで、全ての画素について処理していないと判定すると（ステップＳ２９；ＮＯ）、合成部７ｄは、合成部７ｄは、処理対象として次の画素を指定して当該画素に処理対象を移動させて（ステップＳ３０）、Ｓ２４の処理に戻る。
上記の処理を、ステップＳ２９にて全ての画素について処理したと判定するまで繰り返すことで、合成部７ｄは、対応付け情報により対応付けられた前景画像Ｃと背景画像Ｕのフレームとを合成した合成フレームを生成する。
【００６４】
なお、組分けされた複数の第２画像Ｔを含む前景画像Ｃを背景画像Ｕの一のフレームに合成する場合、合成部７ｄは、前景画像Ｃに含まれる第２画像Ｔのいずれかと、当該前景画像Ｃに対応付けられた背景画像Ｕのフレームと、の合成を行った後、合成後の背景画像Ｕのフレームに対して当該前景画像Ｃの他の第２画像Ｔを合成するようにしてもよいし、一の前景画像Ｃに含まれる複数の第２画像Ｔを予め合成した一の画像を生成してから背景画像Ｕのフレームと合成するようにしてもよい。
【００６５】
ステップＳ２９にて全ての画素について処理したと判定すると（ステップＳ２９；ＹＥＳ）、合成部７ｄは、複数の前景画像Ｃの全てについて、対応付けられた背景画像Ｕのフレームと合成したか否かを判定する（ステップＳ３１）。ここで、複数の前景画像Ｃの全てについて合成を完了していないと判定すると（ステップＳ３１；ＮＯ）、合成部７ｄは、ステップＳ２１の処理に戻る。
上記の処理を、ステップＳ３１にて複数の前景画像Ｃの全てについて合成を完了したと判定するまで繰り返すことで、合成部７ｄは、複数の前景画像Ｃと背景画像Ｕの複数のフレームとを合成する。ステップＳ３１にて複数の前景画像Ｃの全てについて合成を完了したと判定すると（ステップＳ３１；ＹＥＳ）、合成部７ｄは、画像合成処理を終了する。
【００６６】
画像合成処理の終了後、画像処理部７は、複数の前景画像Ｃと背景画像Ｕの複数のフレームとを合成した動画像データを表示部１１に表示させ（ステップＳ１３）、合成画像生成処理を終了する。
【００６７】
例えば、図８に示す例のように、対応付け情報生成部７ｂが、第２画像Ｔ１を前景画像Ｃ１として背景画像Ｕのフレームｆ１と対応付け、同様に、第２画像Ｔ２を前景画像Ｃ２として背景画像Ｕのフレームｆ２と対応付け、同様に、第２画像Ｔ３を前景画像Ｃ３として背景画像Ｕのフレームｆ３と対応付け、同様に、第２画像Ｔ４を前景画像Ｃ４として背景画像Ｕのフレームｆ４と対応付け、同様に、第２画像Ｔ５を前景画像Ｃ５として背景画像Ｕのフレームｆ５と対応付け、最後のフレームｆ６を一括表示フレームとする対応付け情報を生成している場合、合成部７ｄにより複数の前景画像Ｃと背景画像Ｕの複数のフレームとの合成がなされた動画像データは、図１０に示す例のように、「あつい！！」の文字列を、フレームの移り変わりに伴って「あ」、「つ」、「い」、「！」、「！」の順で表示し、さらに最後のフレームで「あつい！！」の文字列を一括表示する動画像データとなる。
【００６８】
また、図９に示す例ように、対応付け情報生成部７ｂが、「あ」「つ」の２文字（文字Ｐ１、文字Ｐ２）に対応する第２画像Ｔ１、Ｔ２を含む組Ｃ１１、「い」「！」の２文字（文字Ｐ３、文字Ｐ４）に対応する第２画像Ｔ３、Ｔ４を含む組Ｃ１２、「！」の１文字（文字Ｐ５）に対応する第２画像Ｔ５を含む組Ｃ１３の各々を一の前景画像Ｃとし、前景画像Ｃ（組Ｃ１１）と背景画像Ｕのフレームｆ１１とを対応付け、前景画像Ｃ（組Ｃ１２）と背景画像Ｕのフレームｆ１２とを対応付け、前景画像Ｃ（組Ｃ１３）と背景画像Ｕのフレームｆ１３とを対応付け、最後のフレームｆ１４を一括表示フレームとする対応付け情報を生成している場合、合成部７ｄにより複数の前景画像Ｃと背景画像Ｕの複数のフレームとの合成がなされた動画像データは、図１１に示す例のように、「あつい！！」の文字列を、「あつ」、「い！」、「！」の順で表示し、さらに最後のフレームで「あつい！！」の文字列を一括表示する動画像データとなる。
【００６９】
以上のように、本実施形態の撮像装置１００によれば、各々が少なくとも一の第２画像Ｔを含む複数の前景画像Ｃと背景画像Ｕのフレームとを対応付ける対応付け情報に基づいて、合成部７ｄが、複数の前景画像Ｃと背景画像Ｕの複数のフレームとを合成する。これによって、複数の前景画像Ｃと背景画像Ｕの複数のフレームとを個別に合成することができ、複数の前景画像Ｃが合成された動画像データにおいて、連続的に描画させる等の変化を持たせて表示することができる。つまり、複数の前景画像Ｃを一括表示させるのみに留まらず、変化を持たせて表示することができ、より面白みのある動画像を生成することができる。
【００７０】
さらに、対応付け情報生成部７ｂは、複数の第２画像Ｔの数が背景画像Ｕのフレームの数以下である場合に、複数の第２画像Ｔの各々を一の前景画像として対応付け情報を生成する等、複数の第２画像Ｔの数と背景画像Ｕのフレームの数とに基づいて対応付け情報を生成する。これによって、複数の第２画像Ｔの数と背景画像Ｕのフレームの数とに応じて合成後の動画における複数の第２画像Ｔの表示パターンを決定することができ、複数の第２画像Ｔの合成パターンを明確に定めることができる。
【００７１】
さらに、複数の第２画像Ｔの数が背景画像Ｕのフレームの数よりも多い場合に、組分け部７ｃが、複数の第２画像Ｔを背景画像Ｕのフレームの数以下の数の組に組分けし、対応付け情報生成部７ｂが、組分けされた第２画像Ｔの組（組Ｃ１１〜Ｃ１３等）各々を一の前景画像として対応付け情報を生成する。これによって、複数の第２画像Ｔの数が背景画像Ｕのフレームの数よりも多い場合であっても、合成後の動画像データにおいて複数の第２画像Ｔを連続的に描画させる等の変化を持たせて表示することができる。
【００７２】
さらに、複数の第２画像Ｔが複数の文字（文字Ｐ１〜Ｐ５等）を含む場合、対応付け情報生成部７ｂは、ＯＣＲ処理部６ａにより設定された文字の組み合わせに基づいて並び順
を設定する。これによって、複数の文字画像を含む複数の第２画像Ｔを背景画像Ｕに合成する場合に、文字画像の組み合わせによる文字列の意味を保持したうえで、その表示方法に変化を持たせることができることとなり、より面白みのある動画像を生成することができる。
【００７３】
（変形例）
次に、本発明の実施形態の変形例について、図１２を用いて説明する。上記の実施形態と同様の構成については同じ符号を付して説明を省略する。
図１２に示すように、変形例の撮像装置１００Ａは、撮像装置１００の各構成に加えて、背景画像複製部７ｅをさらに備える。
【００７４】
背景画像複製部７ｅは、複数の第２画像Ｔの数に基づいて、一の背景画像から複数のフレームを生成する。
具体的には、背景画像複製部７ｅは、切抜画像生成部６により特定された複数の第２画像Ｔの数を取得し、一枚絵の画像（一の静止画像又は動画像の所定の一フレーム）を第２画像Ｔの数に応じて複製する。
本実施形態では、背景画像複製部７ｅは、複数の第２画像Ｔの数に１を加算した数のフレームを生成する。加算された１フレームは、一括表示フレームに割り当てられる。
ここで、背景画像複製部７ｅは、合成対象の数に基づいて、一の背景画像から背景画像の複数のフレームを生成する第２の生成手段として機能する。
変形例の画像処理部７は、背景画像複製部７ｅにより生成された複数のフレームを背景画像Ｕとして用いることができる。対応付け情報生成部７ｂは、複数の前景画像Ｃと背景画像複製部７ｅにより生成された複数のフレームとを対応付け、合成部７ｄは、複数の前景画像Ｃと背景画像複製部７ｅにより生成された複数のフレームとを合成する。
【００７５】
次に、背景画像複製部７ｅが第２画像Ｔの数に応じた複数のフレームを生成する場合の合成画像生成処理について、図１３のフローチャートを参照して説明する。図２のフローチャートと同様の処理については、同じステップ番号を付して説明を省略する。
背景画像複製部７ｅが第２画像Ｔの数に応じた複数のフレームを生成する場合の合成画像生成処理では、ステップＳ７の処理後、背景画像複製部７ｅが第２画像Ｔの数に応じたフレーム数を有する背景画像Ｕを生成する（ステップＳ４１）。その後、ステップＳ９の処理へ移行する。
【００７６】
即ち、ステップＳ７における複数の第２画像Ｔ（図５の第２画像Ｔ１〜Ｔ５参照）の生成後、計数部６ｂにより特定された第２画像Ｔの数に応じて背景画像複製部７ｅが第２画像Ｔの数に１を加算した複数のフレーム（例えば６フレーム）を生成する。そして、ステップＳ９の処理として、対応付け情報生成部７ｂが、複数の前景画像Ｃと背景画像複製部７ｅにより生成された複数のフレームとを対応付ける。つまり、図５の第２画像Ｔ１〜Ｔ５に対して、計数部６ｂが６フレームを生成し、図８に示す例と同様に、対応付け情報生成部７ｂが、第２画像Ｔ１を前景画像Ｃ１として背景画像Ｕの一番目のフレームと対応付け、同様に、第２画像Ｔ２を前景画像Ｃ２として背景画像Ｕの二番目のフレームと対応付け、同様に、第２画像Ｔ３を前景画像Ｃ３として背景画像Ｕの三番目のフレームと対応付け、同様に、第２画像Ｔ４を前景画像Ｃ４として背景画像Ｕの四番目のフレームと対応付け、同様に、第２画像Ｔ５を前景画像Ｃ５として背景画像Ｕの五番目のフレームと対応付ける対応付け情報を生成する。
【００７７】
ステップＳ９以降の処理は、図２、図３を参照して説明したフローチャートと同様である。
即ち、対応付け情報生成部７ｂが、一括表示フレームを設定するための対応付けを行い、その対応付けの内容を上記の対応付け情報に含ませる（ステップＳ１１）。例えば、図
８に示すように、対応付け情報生成部７ｂが、最後のフレームｆ６を一括表示フレームとする。
そして、合成部７ｄが、画像合成処理を行い（ステップＳ１２）、複数の前景画像Ｃと背景画像Ｕの複数のフレームとを合成した動画像データを表示部１１に表示させ（ステップＳ１３）、合成画像生成処理を終了する。例えば、上記の図８に示す例と同様の対応付け情報の場合、画像合成処理により生成される動画像データは、図１０に示す例と同様に、「あつい！！」の文字列を、フレームの移り変わりに伴って「あ」、「つ」、「い」、「！」、「！」の順で表示し、さらに最後のフレームで「あつい！！」の文字列を一括表示する動画像データとなる。
【００７８】
なお、背景画像複製部７ｅが生成するフレームの数は、第２画像Ｔの数に１を加算した数に限定されない。例えば、背景画像複製部７ｅが第２画像Ｔより少ない数のフレームを生成して、組分け部７ｃが第２画像Ｔを組分けしてもよい。この場合、対応付け情報生成部７ｂは、例えば図９に示す例と同様に第２画像Ｔの組の各々を一の前景画像Ｃとした対応付け情報を生成し、合成部７ｄは例えば図１１に示す例と同様に「あつい！！」の文字列を、「あつ」、「い！」、「！」の順で表示し、さらに最後のフレームで「あつい！！」の文字列を一括表示する動画像データを生成する。
【００７９】
以上、変形例によれば、背景画像複製部７ｅが、複数の第２画像Ｔの数に基づいて背景画像Ｕのフレームを生成するので、複数の第２画像Ｔの数に応じた複数のフレームを有する背景画像Ｕを容易に設けることができ、面白みのある動画像をより容易に生成することができる。
【００８０】
なお、本発明は、上記の各実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
【００８１】
例えば、複数の前景画像Ｃが合成される背景画像Ｕの複数のフレームの間に前景画像Ｃが合成されないフレームを挟んでもよい。また、同一の前景画像Ｃが合成されるフレームを複数設けるようにしてもよい。また、複数の第２画像Ｔの組分けを行う場合に、組分けされた各組に含まれる第２画像Ｔの数は均一、不均一を問わない。また、一組に含まれる第２画像の数と、一の前景画像とされる組に含まれる第２画像の数と背景画像のフレームの表示順との間に相関を設けても設けなくともよい。例えば、上述の実施形態のように、第２画像の数（ｍ＝５）を可能な限り均一とし、不均一な場合により先に表示される組に多くの第２画像を割り当てる組分け（２，２，１の３組）としてもよいし、これらの規則を設けることなく組分けしてもよい。
また、ＯＣＲ処理部６ａによる処理を経ずに、一又は複数の元画像から複数の第２画像Ｔを生成してもよい。
また、複数の第２画像Ｔの並び順は、ＯＣＲ処理部６ａによる文字画像の並び順に限らない。例えば、被写体の大きさ順（大きい方又は小さい方からから先に表示等）等によってもよいし、その他の所定の規則（例えばランダムや乱数等）で決定してもよい。
【００８２】
また、撮像装置１００に、抽出された第１画像Ｔ０や第２画像Ｔの色を変更する色変更手段（図示略）を設けてもよい。第１画像Ｔ０や第２画像Ｔの色は、例えば、所定のカラープリセットから選択された色に変更されるようにしてもよい。第１画像に色の変更を施した後に複数の第２画像を生成してもよいし、複数の第２画像の各々を個別に色変更してもよい。
即ち、第１画像Ｔ０や第２画像Ｔの色を変更することにより、一の画像（元画像Ｂ）から様々な色の第１画像Ｔ０や第２画像Ｔを得ることができ、第２画像Ｔの活用の可能性を大幅に広げることができることとなって、より面白みのある動画像を提供することができる。
【００８３】
また、上記実施形態にあっては、画像処理装置を適用した撮像装置１００の構成としたが、これに限られるものではなく、撮像する代わりに記録媒体から画像を読み出して、上記実施形態と同様の処理を実行する画像処理装置であっても良い。
【００８４】
また、上記実施形態では、対応付け情報の生成を行う処理工程を明確に含んでいるが、前景画像と背景画像とを合成する前に何らかの形で複数の前景画像と背景画像との対応付けを行えればよい。
【００８５】
加えて、上記実施形態にあっては、計数手段、合成手段としての機能を、ＣＰＵ１３の制御下にて、切抜画像生成部６、画像処理部８が駆動することにより実現される構成としたが、これに限られるものではなく、ＣＰＵ１３によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、計数処理ルーチン、対応付け情報生成処理ルーチン、合成処理ルーチンを含むプログラムを記憶しておく。そして、計数処理ルーチンによりＣＰＵ１３を、画像から合成すべき複数の合成対象の数を計数する計数手段として機能させるようにしても良い。また、合成処理ルーチンによりＣＰＵ１３を、計数された合成対象の数に基づいて、各々が少なくとも一の合成対象を含む複数の前景画像と背景画像とを対応付けて合成した合成フレームからなる合成動画を生成する合成手段として機能させるようにしても良い。
【００８６】
同様に、第１の生成手段、組分け手段、第２の生成手段についても、ＣＰＵ１３によって所定のプログラム等が実行されることにより実現される構成としても良い。
【００８７】
以上の説明では、本発明に係るプログラムのコンピュータ読み取り可能な媒体としてＲＯＭを使用した例を開示したが、この例に限定されない。
その他のコンピュータ読み取り可能な媒体として、フラッシュメモリ等の不揮発性メモリ、ＣＤ-ＲＯＭ等の可搬型記録媒体を適用することが可能である。
また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ（搬送波）も本発明に適用される。
【符号の説明】
【００８８】
６ 切抜画像生成部
６ａ ＯＣＲ処理部
６ｂ 計数部
７ 画像処理部
７ａ 合成位置決定部
７ｂ 対応付け情報生成部
７ｃ 組分け部
７ｄ 合成部
７ｅ 背景画像複製部
８ 画像処理部
９ 記録媒体
１２ 操作入力部
１００ 撮像装置
【特許請求の範囲】
【請求項１】
画像から合成すべき複数の合成対象の数を計数する計数手段と、
この計数手段により計数された前記合成対象の数に基づいて、各々が少なくとも一の前記合成対象を含む複数の前景画像と背景画像とを対応付けて合成した合成フレームからなる合成動画を生成する合成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記計数手段により計数された前記合成対象の数に基づいて、各々が少なくとも一の前記合成対象を含む複数の前景画像と、背景画像を構成する複数のフレームとを対応付ける対応付け情報を生成する第１の生成手段を更に備え、
前記合成手段は、この第１の生成手段により生成された前記対応付け情報に基づいて、前記複数の前景画像と前記背景画像の前記複数のフレームとがそれぞれ合成された合成フレームからなる合成動画を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の生成手段は、更に、前記背景画像を構成するフレームの数に基づいて、前記対応付け情報を生成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第１の生成手段は、更に、前記合成対象の数が前記背景画像のフレームの数以下である場合に、前記複数の合成対象の各々をそれぞれ一の前景画像として前記対応付け情報を生成し、
前記合成手段は、一の前景画像と前記背景画像の一のフレームとを合成することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記合成対象の数が前記背景画像のフレームの数よりも多い場合に、前記合成対象を前記背景画像のフレームの数以下の数の複数の組に組分けする組分け手段をさらに備え、
前記第１の生成手段は、更に、前記組分け手段により複数の組に組分けされた各組の少なくとも一の前記合成対象を一の前景画像として前記対応付け情報を生成し、
前記合成手段は、一の前景画像に含まれる少なくとも一の前記合成対象と前記背景画像の一のフレームとを合成することを特徴とする請求項３又は４に記載の画像処理装置。
【請求項６】
前記計数手段により計数された前記合成対象の数に基づいて、一の背景画像から複数のフレームを生成する第２の生成手段をさらに備え、
前記第１の生成手段は、更に、前記複数の前景画像と、前記第２の生成手段により生成された背景画像の前記複数のフレームとを対応付ける前記対応付け情報を生成することを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
【請求項７】
前記複数の合成対象は、複数の文字画像を含み、
前記第１の生成手段は、前記複数の文字画像の組み合わせに基づいて前記対応付け情報を生成することを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
【請求項８】
画像処理装置を用いて、
画像から合成すべき複数の合成対象の数を計数する処理と、
この計数された前記合成対象の数に基づいて、各々が少なくとも一の前記合成対象を含む複数の前景画像と背景画像とを対応付けて合成した合成フレームからなる合成動画を生成する処理と、
を実行することを特徴とする画像処理方法。
【請求項９】
画像処理装置のコンピュータを、
画像から合成すべき複数の合成対象の数を計数する計数手段、
この計数された前記合成対象の数に基づいて、各々が少なくとも一の前記合成対象を含む複数の前景画像と背景画像とを対応付けて合成した合成フレームからなる合成動画を生成する合成手段、
として機能させることを特徴とするプログラム。
【請求項１】
画像から合成すべき複数の合成対象の数を計数する計数手段と、
この計数手段により計数された前記合成対象の数に基づいて、各々が少なくとも一の前記合成対象を含む複数の前景画像と背景画像とを対応付けて合成した合成フレームからなる合成動画を生成する合成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記計数手段により計数された前記合成対象の数に基づいて、各々が少なくとも一の前記合成対象を含む複数の前景画像と、背景画像を構成する複数のフレームとを対応付ける対応付け情報を生成する第１の生成手段を更に備え、
前記合成手段は、この第１の生成手段により生成された前記対応付け情報に基づいて、前記複数の前景画像と前記背景画像の前記複数のフレームとがそれぞれ合成された合成フレームからなる合成動画を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の生成手段は、更に、前記背景画像を構成するフレームの数に基づいて、前記対応付け情報を生成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第１の生成手段は、更に、前記合成対象の数が前記背景画像のフレームの数以下である場合に、前記複数の合成対象の各々をそれぞれ一の前景画像として前記対応付け情報を生成し、
前記合成手段は、一の前景画像と前記背景画像の一のフレームとを合成することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記合成対象の数が前記背景画像のフレームの数よりも多い場合に、前記合成対象を前記背景画像のフレームの数以下の数の複数の組に組分けする組分け手段をさらに備え、
前記第１の生成手段は、更に、前記組分け手段により複数の組に組分けされた各組の少なくとも一の前記合成対象を一の前景画像として前記対応付け情報を生成し、
前記合成手段は、一の前景画像に含まれる少なくとも一の前記合成対象と前記背景画像の一のフレームとを合成することを特徴とする請求項３又は４に記載の画像処理装置。
【請求項６】
前記計数手段により計数された前記合成対象の数に基づいて、一の背景画像から複数のフレームを生成する第２の生成手段をさらに備え、
前記第１の生成手段は、更に、前記複数の前景画像と、前記第２の生成手段により生成された背景画像の前記複数のフレームとを対応付ける前記対応付け情報を生成することを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
【請求項７】
前記複数の合成対象は、複数の文字画像を含み、
前記第１の生成手段は、前記複数の文字画像の組み合わせに基づいて前記対応付け情報を生成することを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
【請求項８】
画像処理装置を用いて、
画像から合成すべき複数の合成対象の数を計数する処理と、
この計数された前記合成対象の数に基づいて、各々が少なくとも一の前記合成対象を含む複数の前景画像と背景画像とを対応付けて合成した合成フレームからなる合成動画を生成する処理と、
を実行することを特徴とする画像処理方法。
【請求項９】
画像処理装置のコンピュータを、
画像から合成すべき複数の合成対象の数を計数する計数手段、
この計数された前記合成対象の数に基づいて、各々が少なくとも一の前記合成対象を含む複数の前景画像と背景画像とを対応付けて合成した合成フレームからなる合成動画を生成する合成手段、
として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−１２８７０１（Ｐ２０１２−１２８７０１Ａ）
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願番号】特願２０１０−２８００４８（Ｐ２０１０−２８００４８）
【出願日】平成２２年１２月１６日（２０１０．１２．１６）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願日】平成２２年１２月１６日（２０１０．１２．１６）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]