合成画像出力装置および合成画像出力処理プログラム
【課題】動画撮影された人物画像を他のキャラクタ画像に置き換えた合成画像を生成して出力するための合成画像出力装置において、対象人物の意志に従い、対象人物の顔画像を付けた他のキャラクタ画像の変身合成画像を生成すること。
【解決手段】動画撮影された一連の撮影画像データＧが入力されると、当該撮影画像Ｇに含まれる人物画像（Ｐ，Ｋ）が抽出され、予め設定されたモーション（身振り）をしている人物画像（Ｋ）の有無が検出される。撮影画像Ｇに含まれる設定モーション（身振り）の人物画像（Ｋ）が検出されると、当該設定モーションのモデルデータに対応付けられて変身データメモリに記憶されている例えば美少女戦士の３Ｄ画像生成用の変身画像データ１４Ｇｕに基づき、前記撮影画像Ｇの人物画像（Ｋ）中の顔画像を除く画像部分をそのモーションを同じにした変身画像１４Ｇｕに置き換えられた顔画像付の合成画像ＧＧとして生成出力される。
【解決手段】動画撮影された一連の撮影画像データＧが入力されると、当該撮影画像Ｇに含まれる人物画像（Ｐ，Ｋ）が抽出され、予め設定されたモーション（身振り）をしている人物画像（Ｋ）の有無が検出される。撮影画像Ｇに含まれる設定モーション（身振り）の人物画像（Ｋ）が検出されると、当該設定モーションのモデルデータに対応付けられて変身データメモリに記憶されている例えば美少女戦士の３Ｄ画像生成用の変身画像データ１４Ｇｕに基づき、前記撮影画像Ｇの人物画像（Ｋ）中の顔画像を除く画像部分をそのモーションを同じにした変身画像１４Ｇｕに置き換えられた顔画像付の合成画像ＧＧとして生成出力される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画撮影された人物画像を他のキャラクタ画像に置き換えた合成画像を生成して出力するための合成画像出力装置および合成画像出力処理プログラムに関する。
【背景技術】
【０００２】
近年、特殊撮影の技術の進歩により、ミニチュア撮影、人物と背景画像の合成、コンピュータグラフィックと撮影画像の合成等により、現実にはない情景を画面上に作り出すことが可能となった。そして最近では、モーションキャプチャ技術と３Ｄ画像処理技術によって、予め動画撮影されたモデル（対象人物）の動きにそのまま対応させた任意のキャラクタ画像を動画表示させることができるようになっている。また動画にコメントを追加する画像合成もネットサービスを用いて一般に行なわれるようになってきた。
【０００３】
また従来、同一出願人において、デジタルカメラにより撮影された撮影画像に含まれる各画像部分までの距離情報に応じて、当該撮影画像から置き換え対象となる人物画像を抽出し、この抽出された対象人物画像のポーズ（姿勢）に応じた他のキャラクタ画像からなるまね画像を、当該対象人物画像に置き換え合成して表示する画像出力装置が考えられている（例えば、特許文献１参照。）。
【０００４】
また、同一出願人において、通信ネットワーク上の端末装置から送られてくる撮影された置き換え対象となる人物画像の姿勢を示すポーズ情報を受信し、このポーズ情報に対応した姿勢のキャラクタ画像をデータベースから読み出して前記端末装置へ送信提供する画像配信サーバも考えられている（例えば、特許文献２参照。）。
【０００５】
このような従来の画像出力装置や画像配信サーバによれば、撮影画像の中の任意の対象人物画像を他のキャラクタ画像に置き換え合成して表示あるいはプリントすることが可能となり、ユーザ本人や知人を他のキャラクタ画像に置き換えて楽しんだり、あるいは他人に見られてはいけない人物を対象に他のキャラクタ画像に置き換え偽装したりして、撮影画像を様々な状況でより効果的に利用することができる。
【０００６】
【特許文献１】特許第３９０１０１５号公報
【０００７】
【特許文献２】特許第３９１８６３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
前記従来における撮影人物画像の他のキャラクタ画像への置き換え合成技術では、静止画、動画、何れの場合でも、その対象人物画像をそのまま置き換え合成しているだけなので、特に、動画撮影された人物画像について、特撮やアニメーションのように対象人物の意志をもって、一連のシーンとなるような合成画像を生成することは困難な問題がある。近年、特に実写やアニメーションの映像の途中で顔画像はそのままでコスチューム（衣装）が変身画像になるシーンが多用されるようになっているが、このような変身画像を生成するには変身のための衣装の準備や撮影映像の編集等、多大な労力や専門技術が必要とされた。
【０００９】
本発明は、このような課題に鑑みなされたもので、動画撮影された人物画像について、その人物の意志に従って、撮影された人物の顔画像をつけた変身合成画像を生成することが可能になる合成画像出力装置および合成画像出力処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
請求項１に記載の合成画像出力装置は、予め設定された身振りのモデルデータと変身キャラクタの画像データとを対応付けて記憶する変身データ記憶手段と、動画撮影された一連の撮影画像データを取得する撮影画像取得手段と、この撮影画像取得手段により取得された一連の撮影画像データの中から人物画像を抽出する人物画像抽出手段と、この人物画像抽出手段により抽出された人物画像の中から、前記変身データ記憶手段により記憶されているモデルデータとその予め設定された身振りが一致する人物画像を検出する変身身振り検出手段と、この変身身振り検出手段により予め設定された身振りの人物画像が検出された撮影画像データについて、当該検出された人物画像中の顔画像を除く画像部分を、前記変身データ記憶手段により記憶されている変身キャラクタの画像データに基づき、当該人物画像と同じ姿勢の変身キャラクタの画像データに置き換えた顔画像付の合成画像データを生成する合成画像生成手段と、この合成画像生成手段により生成された一連の合成画像データを出力する合成画像出力手段と、を備えたことを特徴としている。
【００１１】
請求項２に記載の合成画像出力装置は、前記請求項１に記載の合成画像出力装置において、前記変身データ記憶手段は、予め設定された身振りのモデルデータと変身キャラクタの画像データと顔合成位置データとを対応付けて記憶し、前記合成画像生成手段は、前記変身身振り検出手段により検出された人物画像中の顔画像部分を抽出する顔画像部分抽出手段と、この顔画像部分抽出手段により抽出された顔画像部分を、前記顔合成位置データに対応する位置に合わせてサイズ変更して、変身キャラクタの画像データに合成する顔画像合成手段と、を備えたことを特徴としている。
【００１２】
請求項３に記載の合成画像出力装置は、前記請求項１に記載の合成画像出力装置において、前記変身データ記憶手段は、身振りのモデルデータとして、物品を用いて行う物品付身振りのモデルデータを含み、前記変身身振り検出手段は、前記変身データ記憶手段により記憶されている物品付身振りのモデルデータを含む身振りのモデルデータと身振りが一致する物品付きの人物画像を検出する手段を備えたことを特徴としている。
【００１３】
請求項４に記載の合成画像出力装置は、前記請求項１に記載の合成画像出力装置において、前記変身データ記憶手段は、予め設定された身振りのモデルデータと変身キャラクタの画像データおよび音声データとを対応付けて記憶し、前記合成画像生成手段は、前記変身身振り検出手段により予め設定された身振りの人物画像が検出された撮影画像データについて、当該検出された人物画像中の顔画像を除く画像部分を、前記変身データ記憶手段により記憶されている変身キャラクタの画像データに基づき、当該人物画像と同じ姿勢の変身キャラクタの画像データに置き換えると共に、当該変身キャラクタの音声データを対応付けた合成画像データを生成する、ことを特徴としている。
【００１４】
請求項５に記載の合成画像出力装置は、前記請求項１に記載の合成画像出力装置において、前記変身データ記憶手段は、予め設定された身振りのモデルデータと変身キャラクタの画像データおよび音声データと当該変身キャラクタを示すマークデータとを対応付けて記憶し、前記合成画像生成手段は、前記変身身振り検出手段により予め設定された身振りの人物画像が検出された撮影画像データについて、当該検出された人物画像に前記変身データ記憶手段により記憶されている変身キャラクタを示すマークデータを付加したマーク付き撮影画像データを生成するマーク付き撮影画像生成手段を有し、このマーク付き撮影画像生成手段により生成されたマーク付き撮影画像データについて、前記変身キャラクタを示すマークデータが付加された人物画像中の顔画像を除く画像部分を、前記変身データ記憶手段により記憶されている変身キャラクタの画像データに基づき、当該人物画像と同じ姿勢の変身キャラクタの画像データに置き換えると共に、該変身キャラクタの音声データを対応付けた合成画像データを生成し、前記撮影画像取得手段による一連の撮影画像データの取得に伴い、前記マーク付き撮影画像生成手段により生成されたマーク付き撮影画像データを表示させるマーク付き撮影画像表示制御手段と、このマーク付き撮影画像表示制御手段による前記マーク付き撮影画像データの表示制御に伴い、当該マーク付き撮影画像データのマークデータに対応付けられて前記変身データ記憶手段により記憶されている変身キャラクタの音声データを読み出して出力させる音声出力制御手段と、をさらに備えたことを特徴としている。
【００１５】
請求項６に記載の合成画像出力処理プログラムは、コンピュータを、予め設定された身振りのモデルデータと変身キャラクタの画像データとを対応付けてメモリに記憶する変身データ記憶手段、動画撮影された一連の撮影画像データを取得する撮影画像取得手段、この撮影画像取得手段により取得された一連の撮影画像データの中から人物画像を抽出する人物画像抽出手段、この人物画像抽出手段により抽出された人物画像の中から、前記変身データ記憶手段によりメモリに記憶されているモデルデータとその予め設定された身振りが一致する人物画像を検出する変身身振り検出手段、この変身身振り検出手段により予め設定された身振りの人物画像が検出された撮影画像データについて、当該検出された人物画像中の顔画像を除く画像部分を、前記変身データ記憶手段によりメモリに記憶されている変身キャラクタの画像データに基づき、当該人物画像と同じ姿勢の変身キャラクタの画像データに置き換えた顔画像付の合成画像データを生成する合成画像生成手段、この合成画像生成手段により生成された一連の合成画像データを出力する合成画像出力手段、として機能させることを特徴としている。
【００１６】
請求項７に記載の合成画像出力処理プログラムは、前記請求項６に記載の合成画像出力処理プログラムにおいて、前記変身データ記憶手段は、前記コンピュータを、予め設定された身振りのモデルデータと変身キャラクタの画像データとが対応付けられた複数種類の変身データを選択的にダウンロードしてメモリに記憶する手段として機能させることを特徴としている。
【発明の効果】
【００１７】
本発明によれば、動画撮影された人物画像について、その人物の意志に従って、撮影された人物の顔画像をつけた変身合成画像を生成することが可能になる合成画像出力装置および合成画像出力処理プログラムを提供できる。
【発明を実施するための最良の形態】
【００１８】
以下図面により本発明の実施の形態について説明する。
図１は、本発明の合成画像出力装置の実施形態に係るデジタルカメラ１０を利用した動画像の撮影状態と合成画像の生成状態を示す概念図である。
このデジタルカメラ１０は、その背面にＬＣＤ表示部１１、入力部１２、音声出力部（スピーカ）１３を備え、入力部１２の操作に応じて撮影される動画像（撮影画像）Ｇは、リアルタイムで表示部１１に表示される。
【００１９】
このデジタルカメラ１０は、主要な機能として、撮影中の動画像Ｇに含まれる人物画像（Ｐ，Ｊ，Ｋ）を抽出する機能、抽出された人物画像が予め登録された人物画像（Ｐ）であるか否かを顔画像を認識処理して識別する機能、抽出された人物画像が予め登録された人物画像（Ｐ）である場合にその登録人物画像（Ｐ）に対応付けて予め設定された役柄画像（２４Ｇｗ）のマーク（役柄変身マーク２４Ｍｗ）を付加する機能、前記役柄変身マーク２４Ｍｗの付加された人物画像（Ｐ）を同予め設定された役柄画像（２４Ｇｗ）に置き換える機能、抽出された人物画像の予め設定された身振り（モーション）を検出する機能、予め設定された身振りが検出された人物画像（Ｋ）について、予め設定された変身画像（１４Ｇｕ２）のマーク（変身マーク１４Ｍｕ２）を付加する機能、前記変身マーク１４Ｍｕの付加された人物画像（Ｋ）から顔画像（Ｋｆ）を抽出する機能、さらにこの顔画像のままで（Ｋｆ’）顔以外の部分を同予め設定された変身画像（１４Ｇｕ２）に置き換える機能、そして、前記抽出された人物画像（Ｐ，Ｋ）の動きを捉えて元の顔画像のまま前記役柄画像（２４Ｇｗ）や変身画像（１４Ｇｕ）の３Ｄ画像に変換するためのモーションキャプチャ処理機能、３Ｄ画像処理機能などを有する。
なお、前記顔画像認識処理、モーションキャプチャ処理、３Ｄ画像処理については、周知の画像処理技術であるためその詳細な説明を省略する。
このような主要な機能を有するデジタルカメラ１０を、例えば家族で利用してその男の子Ｐを死神役、妹Ｋを美少女戦士Ｂ役（主人公）、姉Ｊを美少女戦士Ａ役（脇役）とした一連のシーンを母親が動画撮影して遊ぶ場合に、当該デジタルカメラ１０において、男の子Ｐの顔画像を死神画像（役柄画像２４Ｇｗ）に対応付けて予め登録する。
【００２０】
そして、死神の鎌に見立てた棒Ｂを振って近づく男の子Ｐと、死神によって操られた設定でふらふら近づく姉Ｊに遭遇して、妹Ｋが魔法スティックに見立てたペンＤを振って変身のためのモーション（身振り）をして美少女戦士Ｂに変身しようとする一連のシーンを、母親がデジタルカメラ１０により動画撮影する。
撮影中の動画像Ｇは、図１（Ａ）に示すように、リアルタイムで表示部１１に表示されると共に、本デジタルカメラ１０が有する前記各種の機能によって解析され、男の子Ｐの人物画像には、対応する死神画像（役柄画像２４Ｇｗ）を示す役柄変身マーク２４Ｍｗが付加表示され、妹Ｋの人物画像には、予め設定された身振り（モーション）が検出された時点以降、対応する美少女戦士Ｂ（変身画像１４Ｇｕ２）を示す身振変身マーク１４Ｍｕ２が付加表示される。なお、姉Ｊの人物画像には、すでに予め設定された身振り（モーション）が検出されており、（変身画像１４Ｇｕ１）を示す変身マーク１４Ｍｕ１が付加表示されるとともに、死神によって装着された仮面画像（Ｇｋ）を示す仮面マークＭｋが付加表示される。
【００２１】
これにより撮影中の母親は、男の子Ｐや妹Ｋや姉Ｊの人物画像がその役柄通りに変身処理され、また姉Ｊの変身処理にさらに仮面画像処理がされていることがわかる。
またこの際、前記美少女戦士Ｂ（変身画像１４Ｇｕ２）と仮面付きの美少女戦士Ａ（変身画像１４Ｇｕ１）死神画像（役柄画像２４Ｇｗ）にそれぞれ対応付けられて予め記憶されている音声データ「キュート♪キュート♪」「クックック、」「ザクッ、ザクッ」が読み出され音声出力部１３から出力されることで、各役柄を演じている最中の妹Ｋや男の子Ｐや姉Ｊにあっても、自らがその役柄通りに変身処理されていることを容易に認識することができる。
【００２２】
なお、前記撮影された動画像（撮影画像）Ｇに対して役柄変身マーク２４Ｍｗや身振変身マーク１４Ｍｕ、が付加された動画像をマーク付き撮影画像Ｇｍと称する。
この後、前記一連のシーンの動画像Ｇの撮影が終了すると共にそのマーク付き撮影画像Ｇｍが生成されると、当該マーク付き撮影画像Ｇｍが前記各種の機能によって解析され、図１（Ｂ）に示すように、前記役柄変身マーク２４Ｍｗの付加された男の子Ｐの人物画像に対応する死神の役柄画像２４Ｇｗと、前記変身マーク１４Ｍｕ２の付加された妹Ｋの人物画像に対応する元の顔画像Ｋｆ’での美少女戦士Ｂの変身画像１４Ｇｕ２、前記変身マーク１４Ｍｕ１と仮面マークＭｋの付加された姉Ｊの人物画像に対応する仮面画像Ｇｋ付きの美少女戦士Ａの変身画像１４Ｇｕ１が、予め設定された背景画像ＢＧに合成されてなる合成動画像ＧＧが生成される。また、変身マークに対応する音声データを対応づけて保存するようにしたので、適切な効果音がついた合成画像を容易に作成することができる。
【００２３】
これによりユーザ家族は、容易に特撮風の合成動画像ＧＧを作ることができ、当該生成された合成動画像ＧＧを表示部１１に出力表示させて見たり、外部のモニタに出力させて視聴することで、これまでにない楽しみを得ることができる。また元の顔を付けて衣装を変えた変身画像を生成するようにしたので、撮影画像そのままの表情の変身画像が容易に作成できる。
【００２４】
図２は、前記デジタルカメラ１０（通信端末Ａ）の電子回路の構成を示すブロック図である。このデジタルカメラ１０は、コンピュータであるＣＰＵ１６を備えている。
ＣＰＵ１６は、メモリ１７に予め記憶されたシステムプログラム、あるいはメモリカードなどの外部記録媒体１８からカードスロットなどの記録媒体読取部１９を介して前記メモリ１７に読み込まれたカメラ制御プログラム、あるいは通信ネットワーク（Ｎ）上のサーバ装置３０（この場合はプログラムサーバ）から電送制御部２０を介して前記メモリ１７に読み込まれたカメラ制御プログラムに従い回路各部の動作を制御する。
【００２５】
ＣＰＵ１６には、前記ＬＣＤ表示部１１、入力部１２、音声出力部１３、メモリ１７、記録媒体読取部１９、電送制御部２０が接続される他に、固体撮像素子（ＣＣＤ）や撮像光学系および距離センサや照度センサを備えた画像撮影部２ｌが接続される。
前記メモリ１７のプログラムメモリ２２には、本デジタルカメラ１０の全体の動作を司るシステムプログラムや撮影動作を司るカメラ制御プログラム、通信ネットワークＮ上のサーバ装置３０や外部の通信端末Ｂ（ＰＣ:personal computer）４０との通信動作を司る通信制御プログラムが記憶されると共に、前記画像撮影部２１により撮影された撮影画像Ｇに基づいて、前述したマーク付き撮影画像Ｇｍや合成画像ＧＧを生成したり出力したりするための前記各種の機能を司る画像処理プログラムが予め記憶される。
【００２６】
そして、前記プログラムメモリ２２に記憶された各種のプログラムは、入力部１２からのキー入力信号や画像撮影部２１からの撮影入力信号、電送制御部２０を介した外部機器（３０，４０）からの受信入力信号に応じて起動される。
また、前記メモリ１７には、変身データメモリ１４、特殊効果データメモリ２３Ａ、防御効果データメモリ２３Ｂ、変身役柄データメモリ２４Ａ、役柄別変身状態メモリ２４Ｂ、撮影画像データメモリ２５、マーク付き撮影画像データメモリ２６、合成画像データメモリ２７、およびその他の作業用データメモリなどが備えられる。
【００２７】
図３は、前記デジタルカメラ１０の変身データメモリ１４に予め記憶される変身データの内容を示す図である。
この変身データメモリ１４は、変身モーションモデルデータ１４Ｐと変身画像データ１４Ｇｕと変身マークデータ１４Ｍｕの記憶領域を有し、変身画像データ１４Ｇｕの記憶領域には、複数種類の変身画像データ（変身キャラクタ）、その音声データおよび顔合成位置データが、例えば美少女戦士Ａの変身画像データ１４Ｇｕ１、その音声データ「レモン♪レモン♪」１４Ｓｕ１、および顔合成位置データ１４Ｆ１、美少女戦士Ｂの変身画像データ１４Ｇｕ２、その音声データ「キュート♪キュート♪」１４Ｓｕ２および顔合成位置データ１４Ｆ２として記憶される。また、変身マークデータ１４Ｍｕの記憶領域には、前記複数種類の変身画像データ１４Ｇｕ１，１４Ｇｕ２をそれぞれ簡易表現する変身マークデータ１４Ｍｕ１，１４Ｍｕ２が記憶される。そして、変身モーションモデルデータ１４Ｐの記憶領域には、前記複数種類の変身画像データ１４Ｇｕ１，１４Ｇｕ２にそれぞれ変身するための一連のモーション（身振り）からなる変身モーションモデルデータ１４Ｐ１ａ〜１４Ｐ１ｃ（回転しながら両手を丸く上げていくモーション），１４Ｐ２ａ〜１４Ｐ２ｃ（回転しながらペンを持つ右手を上げていくモーション）が記憶される。なお美少女戦士Ｂの変身モーションモデルデータ１４Ｐ２ａ〜１４Ｐ２ｃには、ペンを振るモーションモデルデータ部分１４Ｐ２ａＤ〜１４Ｐ２ｃＤが含まれており、ペンの物品を持って行われた特定モーションのみが変身モーションとして検出される。このため美少女戦士Ｂ役のペンを持った人のみが美少女戦士Ｂに変身できることとなる。
【００２８】
なお、前記変身画像データ１４Ｇｕ１，１４Ｇｕ２は、様々な動きを表現した画像データそのもの、又は手足の骨格や顔の特徴点の移動データと３Ｄ画像生成用データとの組み合わせとして記憶される。また前記変身モーションモデルデータ１４Ｐ１ａ〜１４Ｐ１ｃ，１４Ｐ２ａ〜１４Ｐ２ｃは、当該変身モーションを表現した画像データそのもの、又は手足の骨格や顔の特徴点の移動データとして記憶される。
【００２９】
図４は、前記デジタルカメラ１０の特殊効果データメモリ２３Ａに予め記憶される特殊効果データの内容を示す図である。本実施例の特殊効果には、相手を悩乱状態から正常状態に戻すキュア（癒し）効果２３Ｋ１，２３Ｋ２と、相手を正常状態から悩乱状態にするデス（死神）効果２３Ｋ３とがある。
前記特殊効果データメモリ２３Ａは、特殊効果モーションモデルデータ２３Ｐと特殊効果画像データ２３Ｇｕと効果の種類２３Ｗと特殊効果マークデータ２３Ｍｕの記憶領域を有し、特殊効果画像データ２３Ｇｕの記憶領域には、前記複数種類の変身画像データ１４Ｇｕ１，１４Ｇｕ２，２４Ｇｗにそれぞれ対応する特殊効果Ａ，Ｂ，Ｃについて、特殊効果画像データおよびその音声データが、例えば美少女戦士Ａ用の特殊効果画像データ２３Ｇｕ１およびその音声データ「キュアーハート」２３Ｓｕ１、美少女戦士Ｂ用の特殊効果画像データ２３Ｇｕ２およびその音声データ「キュアースター」２３Ｓｕ２、死神用の特殊効果画像データ２３Ｇｕ３およびその音声データ「デスムーン」２３Ｓｕ３として記憶される。
効果の内容２３Ｗの記憶領域は、効果の種類２３Ｋと効果の相手２３Ｔの記憶領域を有し、効果の種類２３Ｋの記憶領域には、相手を悩乱状態から正常状態に戻すキュア（癒し）効果２３Ｋ１，２３Ｋ２と、相手を正常状態から悩乱状態にするデス（死神）効果２３Ｋ３が記憶される。
効果の種類２３Ｗの記憶領域の中の効果の相手２３Ｔの記憶領域には、前記特殊効果Ａ，Ｂ，Ｃについて、「特殊効果が出る相手」として、例えば「特殊効果モーションを向けた相手」２３Ｔ１、「周辺の敵すべて」２３Ｔ２、「周辺の敵すべて」２３Ｔ３が記憶される。ここで周辺の敵とは、美少女戦士Ａ、美少女戦士Ｂに対しては、死神、仮面付（悩乱状態）の美少女戦士をいう。逆に死神、仮面付（悩乱状態）の美少女戦士に対しては、正常な美少女戦士Ａ、美少女戦士Ｂをいう。
また、特殊効果マークデータ２３Ｍｕの記憶領域には、前記複数種類の特殊効果画像データ２３Ｇｕ１，２３Ｇｕ２，２３Ｇｕ３をそれぞれ簡易表現する特殊効果マークデータ２３Ｍｕ１，２３Ｍｕ２，２３Ｍｕ３が記憶される。そして、特殊効果モーションモデルデータ２３Ｐの記憶領域には、前記複数種類の特殊効果画像データ２３Ｇｕ１，２３Ｇｕ２，２３Ｇｕ３をそれぞれ対応する変身画像データ１４Ｇｕ１，１４Ｇｕ２，２３Ｇｗの所定の位置から発生させて付加するための一連のモーション（身振り）からなる特殊効果モーションモデルデータ２３Ｐ１ａ〜２３Ｐ１ｃ（両腕を左右に離した状態から両手を手前で合わせて特殊効果を与える相手に向けて突き出すモーション），２３Ｐ２ａ〜２３Ｐ２ｃ（左手を腰につけて右手でペンを持ち頭上でくるくる回すモーション），２３Ｐ３ａ〜２３Ｐ３ｃ（右手で棒を前方に振り下ろすモーション）が記憶される。なお美少女戦士Ｂの特殊効果モーションモデルデータ２３Ｐ２ａ〜２３Ｐ２ｃには、ペンを振るモーションモデルデータ部分２３Ｐ２ａＤ〜２３Ｐ２ｃＤが含まれている。このため、ペンの物品を持って行われた特定モーションのみが特殊効果モーションとして検出されので、美少女戦士Ｂ役のペンを持った人のみが美少女戦士Ｂの特殊効果を出せることとなる。
【００３０】
なお、前記特殊効果画像データ２３Ｇｕ１，２３Ｇｕ２，２３Ｇｕ３は、画像データそのもの、又は３Ｄ画像生成用データとして記憶される。また前記特殊効果モーションモデルデータ２３Ｐ１ａ〜２３Ｐ１ｃ，２３Ｐ２ａ〜２３Ｐ２ｃ，２３Ｐ３ａ〜２３Ｐ３ｃは、当該特殊効果モーションを表現した画像データそのもの、又は手足の骨格や顔の特徴点の移動データとして記憶される。
【００３１】
図５は、前記デジタルカメラ１０の防御効果データメモリ２３Ｂに予め記憶される防御効果データの内容を示す図である。防御効果は、相手から受けた特殊効果を無効化する効果である。例えば相手の特殊効果モーションによって、「キュア効果」２３Ｋ１，２３Ｋ２や、デス効果２３Ｋ３等をされた人が、この防御効果モーションを行うことにより、相手の特殊効果を防御して、無効化するものである。
前記特殊効果とこの防御効果を用いることにより、例えば美少女戦士Ａが死神Ｐに向けてキュア効果モーション２３Ｐ１ａ〜２３Ｐ１ｃを行って、キュア効果２３Ｋ１を出したり（図１７）、死神Ｐが美少女戦士Ａから受けたキュア効果２３Ｋ１に対して、防御効果を出してキュア効果を無効化したり（図１７）、死神Ｐが美少女戦士Ａに対してデス効果２３Ｋ３を出して美少女戦士Ａを仮面付の悩乱状態にしたり（図１８）、美少女戦士Ｂが悩乱状態の美少女戦士Ａと死神Ｐに対して、キュア効果２３Ｋ２を出して（図２１）、美少女戦士Ａを仮面なしの正常状態にし、死神Ｐを王子Ｐに変身させたり（図２２）といったシナリオを、特殊効果モーションをつけて演技するだけで、事前の準備なしに、特撮風に撮影画像中の顔画像がついた変身合成画像の動画を作成できることとなる。
この防御効果データメモリ２３は、特殊効果モーションモデルデータ２３'Ｐと防御効果画像データ２３'Ｇｕと防御効果マークデータ２３'Ｍｕの記憶領域を有し、防御効果画像データ２３'Ｇｕの記憶領域には、防御効果Ａ，Ｂについて、防御効果画像データおよびその音声データが、例えば死神Ｐ用のデス特殊を無効にする効果画像データ２３'Ｇｕ１およびその音声データ「バキン」２３'Ｓｕ１、美少女戦士Ｂ用のキュア特殊を無効にする防御効果画像データ２３'Ｇｕ２およびその音声データ「パーン」２３'Ｓｕ２として記憶される。また、防御効果マークデータ２３'Ｍｕの記憶領域には、前記複数種類の防御効果画像データ２３'Ｇｕ１，２３'Ｇｕ２をそれぞれ簡易表現する防御効果マークデータ２３'Ｍｕ１，２３'Ｍｕ２が記憶される。そして、防御効果モーションモデルデータ２３'Ｐの記憶領域には、前記複数種類の特殊効果画像データ２３'Ｇｕ１，２３'Ｇｕ２をそれぞれ対応する変身画像データ１４Ｇｕ１，１４Ｇｕ２の所定の位置で防御するための一連のモーション（身振り）からなる防御効果モーションモデルデータ２３'Ｐ１ａ〜２３'Ｐ１ｃ（顔の前方で右手でペンを回転させるモーション），２３'Ｐ２ａ〜２３'Ｐ２ｃ（棒を突き出したり頭上手前に傾けたりするモーション）が記憶される。
【００３２】
なお美少女戦士Ｂの防御効果モーションモデルデータ２３'Ｐ１ａ〜２３Ｐ１ｃには、ペンを振るモーションモデルデータ部分２３'Ｐ１ａＤ〜２３'Ｐ１ｃＤが含まれている。そして、ペンの物品を持って行われた特定モーションのみが防御効果モーションとして検出され、美少女戦士Ｂ役のペンを持った人のみが美少女戦士Ｂの防御の防御効果を出せることとなる。また死神Ｐの防御効果モーションモデルデータ２３'Ｐ２ａ〜２３'Ｐ２ｃには、棒を振るモーションモデルデータ部分２３'Ｐ２ａＢ〜２３'Ｐ２ｃＢが含まれている。そして、棒の物品を持って行われた特定モーションのみが防御効果モーションとして検出され、死神役Ｐの棒を持った人のみが死神役Ｐの防御の防御効果を出せることとなる。
【００３３】
図６は、前記デジタルカメラ１０の役柄データメモリ２４Ａに記憶される役柄データの内容を示す図である。
この役柄データメモリ２４Ａは、ユーザ登録される変身対象画像データ２４Ｔ、変身（１）画像データ２４Ｇｗと変身（１）マークデータ２４Ｍｗ、変身（２）画像データ２４Ｇｗ′と変身（２）マークデータ２４Ｍｗ′、変身条件データ２４Ｈの記憶領域を有し、変身（１）画像データ２４Ｇｗの記憶領域には、複数種類の第１段階の変身画像データ（変身キャラクタ）およびその音声データが設定される。
変身対象画像データ２４Ｔの記憶領域には、役柄別に複数種類の変身画像データ２４Ｇｗに変身させて置き換えるための対象となる人物の顔画像が、例えば登録Ａ；男の子の顔画像Ｐとしてユーザ登録され記憶される。登録Ａの男の子Ｐの画像に対応して役柄-死神の変身（１）画像データ２４Ｇｗ１およびその音声データ「ザクッ、ザクッ」２４Ｓｗ１として記憶される。また、変身(１)マークデータ２４Ｍｗの記憶領域には、前記変身（１）画像データ２４Ｇｗ１を簡易表現する変身(１)マークデータ２４Ｍｗ１が記憶される。
また、変身（２）画像データ２４Ｇｗ′の記憶領域には、前記第１段階の変身画像データ２４Ｇｗ１に対応する第２段階の変身画像データ２４Ｇｗ１′およびその音声データ２４Ｓｗ１′が記憶される。また、変身（２）マークデータ２４Ｍｗ′の記憶領域には、前記変身（２）画像データ２４Ｇｗ１′を簡易表現する変身（２）マークデータ２４Ｍｗ１′が記憶される。さらに、変身条件データ２４Ｈの記憶領域には、前記第１段階の変身（１）画像データ２４Ｇｗ１から第２段階の変身（２）画像データ２４Ｇｗ１′に変身するための条件データ２４Ｈ１が記憶される。例えば、男の子（Ｐ）の画像に対応して役柄-王子の変身の画像データ２４Ｇｗ１’およびその音声データ「キラリ、キラリ、」が設定されている。また、変身条件データ２４Ｈ１として「美少女戦士Ｂのキュア効果」が設定されている。
【００３４】
また、図２の役柄別変身状態メモリ２４Ｂには、登録者（登録Ａ〜登録Ｄ）についての現時点での変身状態（変身（１）又は変身（２））を記憶しており、初期状態では、変身（１）を記憶している。各役柄別の変身条件が満たされた時点（たとえば、登録Ｃでは、「変身ポーズが検出された後」）で、この役柄別の変身状態が「変身（２）」に変更して記憶される。なお本実施例では、役柄の（登録Ｂ〜登録Ｄ）は、未登録となっている。
【００３５】
なお、前記変身（１）（２）画像データ２４Ｇｗ，２４Ｇｗ′は、様々な動きを表現した画像データそのもの、又は手足の骨格や顔の特徴点の移動データと３Ｄ画像生成用データとの組み合わせとして記憶される。
撮影画像データメモリ２５には、画像撮影部２１により静止画または動画撮影されて入力された撮影画像データＧが記憶される。
【００３６】
マーク付き撮影画像データメモリ２６には、前記撮影画像データメモリ２５に動画撮影されて記憶された撮影画像データＧに基づき、前記画像処理プログラムに従い撮影にリアルタイムで生成されたマーク付き撮影画像データＧｍ（図１（Ａ）参照）が順次記憶される。
【００３７】
合成画像データメモリ２７には、前記マーク付き撮影画像データメモリ２６に生成記憶されたマーク付き撮影画像データＧｍに基づき、前記画像処理プログラムに従い生成された合成画像データＧＧ（図１（Ｂ）参照）が記憶される。
なお、前記構成のデジタルカメラ１０は、当該デジタルカメラ１０自体により動画撮影される撮影画像データＧに基づいて、前記マーク付き撮影画像データＧｍ（図１（Ａ）参照）をリアルタイムに生成表示し、この後に当該マーク付き撮影画像データＧｍから前記合成画像データＧＧ（図１（Ｂ）参照）を生成して表示あるいは外部に出力するものである。これに対し、前記デジタルカメラ１０が有する撮影機能以外の前記動画撮影された撮影画像データＧからマーク付き撮影画像データＧｍ（図１（Ａ）参照）を生成し、このマーク付き撮影画像データＧｍから合成画像データＧＧ（図１（Ｂ）参照）を生成するための各種の機能を、通信ネットワークＮ上のサーバ装置３０に備えさせ、通信機能付きのデジタルカメラ（通信端末Ａ）１０′やＰＣ（通信端末Ｂ）４０から転送された動画撮影データＧに基づき、当該サーバ装置３０が前記マーク付き撮影画像データＧｍおよび合成画像データＧＧを生成し、前記各通信端末（Ａ）１０′，（Ｂ）４０に応答配信してサービスを提供する構成としてもよい。
【００３８】
図７は、本発明の合成画像出力装置の実施形態に係るサーバ装置３０の電子回路の構成を示すブロック図である。
このサーバ装置３０は、コンピュータであるＣＰＵ３１を備えている。
ＣＰＵ３１は、メモリ３２に予め記憶されたシステムプログラム、あるいはＣＤ−ＲＯＭなどの外部記録媒体３３から光ディスクドライブなどの記録媒体読取部３４を介して前記メモリ３２に読み込まれたサーバ制御プログラムに従い回路各部の動作を制御する。
【００３９】
ＣＰＵ３１には、前記メモリ３２、記録媒体読取部３４が接続される他に、通信ネットワークＮ上の通信端末Ａ（デジタルカメラ）１０′や通信端末Ｂ（ＰＣ）４０との間でデータの電送制御を行うための電送制御部３５、キーボード・マウスなどの入力部３６、ＬＣＤ表示部３７が接続される。
【００４０】
前記メモリ３２のプログラムメモリ３２Ａには、本サーバ装置３０の全体の動作を司るシステムプログラム、通信ネットワークＮ上の各通信端末Ａ（デジタルカメラ）１０′や通信端末Ｂ（ＰＣ）４０との通信動作を司る通信制御プログラムが記憶されると共に、当該外部の各通信端末Ａ１０′，Ｂ４０から転送された動画撮影画像データＧに基づいて、前述したデジタルカメラ１０と同様にマーク付き撮影画像Ｇｍや合成画像ＧＧを生成したり出力（配信）したりするための前記図１を参照して説明した各種の機能を司る画像処理プログラムが予め記憶される。
【００４１】
そして、前記プログラムメモリ３２Ａに記憶された各種のプログラムは、入力部３６からの入力信号、電送制御部３５を介した外部の各通信端末Ａ１０′，Ｂ４０からの受信入力信号に応じて起動される。
また、前記メモリ３２には、前記図１〜図６を参照して説明したデジタルカメラ１０におけるそれと略同一のデータ内容である、変身データメモリ３２Ｂ、特殊効果データメモリ３２ＣＡ、特殊効果データメモリ３２ＣＢ，破壊データメモリ３２Ｄ、変身役柄データメモリ３２Ｄ、役柄別変身状態メモリ３２Ｅ、撮影画像データメモリ３２Ｆ、マーク付き撮影画像データメモリ３２Ｇ、合成画像データメモリ３２Ｈ、およびその他の作業用データメモリなどが備えられる。
【００４２】
これにより、サーバ装置３０では、通信ネットワークＮに接続された通信端末Ａ（デジタルカメラ）１０′や通信端末Ｂ（ＰＣ）４０から転送された動画撮影画像データＧに基づき、前記同様のマーク付き撮影画像データＧｍ（図１（Ａ）参照）および合成画像データＧＧ（図１（Ｂ）参照）を生成すると共に、前記撮影画像データＧの転送元である各通信端末Ａ１０′，Ｂ４０に応答配信してサービスを提供できる。
【００４３】
次に、前記構成のデジタルカメラ１０あるいはサーバ装置３０による合成画像出力装置の動作について説明する。
図８は、前記合成画像出力装置による合成画像出力処理の全体過程を示すフローチャートである。
図９は、前記合成画像出力処理に伴い撮影画像（Ｇ）中に存在する人物（Ｐ，Ｊ，Ｋ）の対象画像を抽出する対象画像抽出処理を示すフローチャートである。
【００４４】
図１０は、前記合成画像出力処理に伴い役柄登録された人物画像（Ｐ）に変身マーク（２４Ｍｗ）を付加する役柄変身マーク処理を示すフローチャートである。
【００４５】
図１１は、前記合成画像出力処理に伴い変身モーション（１４Ｐ）の検出された人物画像（Ｊ，Ｋ）に変身マーク（１４Ｍｕ）を付加すると共に対応音声（１４Ｓｕ）を出力するモーション変身マーク処理を示すフローチャートである。
図１２は、前記合成画像出力処理に伴い特殊効果モーション（２３Ｐ）の検出された人物画像（Ｊ，Ｋ）に特殊効果マーク（２３Ｇｕ）を付加すると共に対応音声（２３Ｓｕ）を出力する特殊効果マーク処理を示すフローチャートである。
【００４６】
図１３は、前記合成画像出力処理に伴い変身マーク（２４Ｍｗ）（１４Ｍｕ）の付加された人物画像（Ｐ）（Ｊ，Ｋ）を変身画像（２４Ｇｗ）（１４Ｇｕ）に置き換え合成すると共に対応音声（２４Ｓｗ）（１４Ｓｕ）の出力を設定する変身マーク合成処理を示すフローチャートである。
【００４７】
図１４は、前記合成画像出力処理に伴い特殊効果マーク（２３Ｇｕ）の付加された人物画像（Ｋ）の所定位置に特殊効果画像２３Ｇｕを追加合成すると共に対応音声（２３Ｓｕ）の出力を設定する特殊効果マーク合成処理を示すフローチャートである。
【００４８】
図１５〜図２２は、前記合成画像出力処理に伴う動画撮影画像（Ｇ）に基づいた画像処理状態を順次代表的なコマ送り（その１）〜（その８）にして示す図であり、同図（Ａ）は撮影画像Ｇを示す図、同図（Ｂ）はマーク付き撮影画像Ｇｍを示す図、同図（Ｃ）は合成画像ＧＧを示す図である。
【００４９】
前記図８における合成画像出力処理のステップＳ１〜Ｓ３の処理は、前記図１５（Ａ）〜図２２（Ａ）に示すように、動画撮影される各コマの撮影画像（Ｇ）が取得されるのに伴い繰り返し実行され、前記図１５（Ｂ）〜図２２（Ｂ）に示すようなマーク付き撮影画像（Ｇｍ）が生成出力される。
【００５０】
そして、前記図８における合成画像出力処理のステップＳ４〜Ｓ７の処理は、前記図１５（Ｂ）〜図２２（Ｂ）に示すように生成された一連のマーク付き撮影画像（Ｇｍ）に基づき実行され、前記図１５（Ｃ）〜図２２（Ｃ）に示すような合成画像（ＧＧ）が生成出力される。
【００５１】
なお、ここでは前記デジタルカメラ１０（図２参照）において図８における合成画像出力処理を実行した場合を主体にして説明し、前記サーバ装置３０（図７参照）において同合成画像出力処理を実行した場合については、略同じ処理内容となるためその説明を省略する。
【００５２】
デジタルカメラ１０の画像撮影部１３により、例えば図１５（Ａ）〜図２２（Ａ）で示すように家族によって演じられる一連のシーンが撮影されると、その撮影画像Ｇ１〜Ｇ８は順次撮影画像データメモリ２５に記憶され保存され（ステップＳ１）、リアルタイムで図９における対象画像抽出処理へ移行される（ステップＳＡ）。
【００５３】
この対象画像抽出処理は、２通りの方式があり、図９（Ａ）に示す対象画像抽出処理（方式１）では、前記撮影画像データメモリ２５に順次保存される撮影画像データＧｎが作業用メモリに一時転送記憶され（ステップＡ１１）、前回の撮影画像データＧｎ−１と今回の撮影画像データＧｎとの画像の変化部分がブロック化されて抽出される（ステップＡ１２）。
【００５４】
すると、前記撮影画像データＧｎ上でブロック化された位置情報が、人物や物体である対象画像の位置情報となり、当該撮影画像データＧｎの付加情報として前記撮影画像データメモリ２５に記憶される（ステップＡ１３）。
【００５５】
一方、図９（Ｂ）に示す対象画像抽出処理（方式２）では、前記撮影画像データメモリ２５に順次保存される撮影画像データＧｎの付加情報である前記画像撮影部２１の距離センサにより取得された被写体までの距離情報が読み出され（ステップＡ２１）、その中で近距離に存在する画像部分がブロック化されて抽出される（ステップＡ２２）。
【００５６】
すると、前記撮影画像データＧｎ上でブロック化された位置情報が、人物や物体である対象画像の位置情報となり、当該撮影画像データＧｎの付加情報として前記撮影画像データメモリ２５に記憶される（ステップＡ２３）。
【００５７】
すなわち、図９（Ｂ）で示した対象画像抽出処理（方式２）は、撮影画像データＧｎの付加情報として被写体までの距離情報が必要になるため、デジタルカメラ１０での処理に適し、また、図９（Ａ）で示した対象画像抽出処理（方式１）は、逆に前記撮影画像データＧｎにおける被写体までの距離情報を必要としないので、サーバ装置３０での処理に適している。
【００５８】
このように、前記対象画像抽出処理（ステップＳＡ）により、撮影画像データＧｎの中に存在する人物画像（Ｊ，Ｐ，Ｋ）が抽出されると、図１０における役柄変身マーク処理へ移行される（ステップＳＢ）。
【００５９】
この役柄変身マーク処理では、前記対象画像抽出処理により抽出された撮影画像データＧｎの中の人物画像（Ｊ，Ｐ，Ｋ）について、前記役柄データメモリ２４Ａ（図６参照）にユーザ登録された変身対象（顔）画像データ２４Ｔとしての人物画像（Ｊ）が含まれるか否かが前記顔画像認識処理を用いて識別される（ステップＢ１）。
【００６０】
ここで、変身対象（顔）画像データ２４Ｔとしての男の子の人物画像Ｐが含まれていないことが識別されると（ステップＢ１（Ｎｏ））、本処理を終了し、モーション変身マーク処理（ＳＤ）に進む。また、図１５（Ａ）〜図２２（Ａ）の撮影画像データＧ１〜Ｇ８にそれぞれ示すように、変身対象（顔）画像データ２４Ｔとしての男の子の人物画像Ｐが含まれていることが識別されると（ステップＢ１（Ｙｅｓ））、メモリ２４Ｂの役柄別変身状態メモリ内のワークエリア内の役柄状態フラグが検出され、現在の男の子人物画像に対応する登録Ａの役柄状態フラグが検出される。
【００６１】
そして、変身（２）の状態でない（変身（１）の状態である）と判断されると（ステップＢ２（Ｎｏ））、ステップＢ６で変身対象画像が含まれる一連の撮影画像中に、特殊効果モーションが検出されたか否かが判断される。（この特殊効果については後述の特殊効果マーク処理で詳述する。）例えば図１５では、特殊効果モーションは検出されないので（ステップＢ６（Ｎｏ））、ステップＢ８へ処理が進み、前記役柄データメモリ２４Ａ（図６参照）に対応付けられて記憶されている変身（１）の死神Ａの変身マークデータ２４Ｍｗ１が読み出されると共に、前記識別された男の子の人物画像Ｐの顔画像認識された位置に対応して付加され、図１５（Ｂ）〜図２１（Ｂ）に示すようなマーク付き撮影画像データＧｍ１〜Ｇｍ８として作業用データメモリに一時保存されると共に表示部１１に表示される（ステップＢ８）。
【００６２】
なお、前記登録された人物画像Ｐの顔画像の位置に対応付加される変身マークデータ２４Ｍｗ１は、当該顔画像に重ねて付加されるか、または当該顔画像の近傍に付加されるかの何れであってもよい。
【００６３】
そして、現在デジタルカメラ１０による撮影中にあると判断された場合には（ステップＢ４（Ｙｅｓ））、前記役柄データメモリ２４Ａ（図６参照）に対応付けられて記憶されている音声データ「ザクッ、ザクッ」２４Ｓｗ１が読み出され、同図１５（Ｂ）〜図２１（Ｂ）に示すように音声出力部１３から出力される（ステップＢ５）。
【００６４】
また、現在の男の子人物画像に対応する登録Ａの変身状態が検出され変身（２）の状態でない（変身（１）の状態である）と判断されると（ステップＢ２（Ｎｏ））、ステップＢ６で変身対象画像が含まれる一連の撮影画像中に、特殊効果モーションが検出されたか否かが判断され、例えば、図２１に示すように特殊効果モーション２３Ｐ２ａが妹Ｋによって行われたことが検出された場合には、（ステップＢ６（Ｙｅｓ））→Ｂ７と処理が進み、メモリ２４Ｂの役柄別変身状態メモリ内のワークエリア内の役柄状態フラグが変身（２）の状態に変更され（ステップＢ７）、変身対象画像に対応する位置に変身（２）マーク２４Ｍｗ１’が付加され、図１５（Ｂ）〜図２２（Ｂ）に示すようなマーク付き撮影画像データＧｍ１〜Ｇｍ８として作業用データメモリに一時保存されると共に表示部１１に表示される（ステップＢ３）。
【００６５】
そして、現在デジタルカメラ１０による撮影中にあると判断された場合には（ステップＢ４（Ｙｅｓ））、前記役柄データメモリ２４Ａ（図６参照）に対応付けられて記憶されている音声データ「キラリ、キラリ」２４Ｓｗ１’が読み出され、同図２２（Ｂ）に示すように音声出力部１３から出力される（ステップＢ５）。
【００６６】
また、現在の男の子人物画像に対応する登録Ａの変身状態が検知され、変身（２）の状態であると判断されると（ステップＢ２（Ｙｅｓ））、変身対象画像に対応する位置に変身（２）マーク２４Ｍｗ１’が付加され、図１５（Ｂ）〜図２２（Ｂ）に示すようなマーク付き撮影画像データＧｍ１〜Ｇｍ８として作業用データメモリに一時保存されると共に表示部１１に表示される（ステップＢ３）。
【００６７】
そして、現在デジタルカメラ１０による撮影中にあると判断された場合には（ステップＢ４（Ｙｅｓ））、前記役柄データメモリ２４Ａ（図６参照）に対応付けられて記憶されている音声データ「キラリ、キラリ」２４Ｓｗ１’が読み出され、同図１５（Ｂ）〜図２１（Ｂ）に示すように音声出力部１３から出力される（ステップＢ５）。
【００６８】
すると次に、図１１におけるモーション変身マーク処理へ移行される（ステップＳＤ）。
このモーション変身マーク処理では、前記対象画像抽出処理により抽出される一連の撮影画像データＧｎの中の人物画像（Ｊ，Ｐ，Ｋ）について、前記変身データメモリ１４（図３参照）に予め記憶された美少女戦士Ａの一連の変身モーションモデルデータ１４Ｐ１ａ〜１４Ｐ１ｃや美少女戦士Ｂの一連の変身モーションモデルデータ１４Ｐ２ａ〜１４Ｐ２ｃと一致する画像部分が検出されたか否か判断される。この際変身モーションモデルデータ１４Ｐ２ａ〜１４Ｐ２ｃには、ペンを振るモーションモデルデータ部分１４Ｐ２ａＤ〜１４Ｐ２ｃＤが含まれているので、ペンの物品を持って行われた特定モーションのみが変身モーションとして検出される。このため美少女戦士Ｂ役のペンを持った人のみが美少女戦士Ｂに変身できることとなる。（ステップＤ１）。
【００６９】
ここで、図１６（Ａ）の撮影画像データＧ２に示すように、前記対象画像抽出処理により抽出される一連の姉の人物画像Ｊについて、前記変身データメモリ１４（図３参照）に予め記憶された美少女戦士Ａの一連の変身モーションモデルデータ１４Ｐ１ａ〜１４Ｐ１ｃと身振りが一致する画像部分であると検出されると（ステップＤ１（Ｙｅｓ））、当該変身データメモリ１４（図３参照）に対応付けられて記憶されている美少女戦士Ａの変身マークデータ１４Ｍｕ１が読み出されると共に、前記モーション検出された子供の人物画像Ｋの顔画像認識された位置に対応して付加され、図１６（Ｂ）に示すようなマーク付き撮影画像データＧｍ２として作業用データメモリに一時保存され表示部１１に表示される（ステップＤ２）。また、身振りが一致する画像部分が検出されない場合は（ステップＤ１（Ｎｏ））、本処理を終了し、特殊効果マーク処理（ＳＥ）に進む。
なお、前記モーション検出された人物画像Ｋの顔画像の位置に対応付加される変身マークデータ１４Ｍｕ１は、当該顔画像に重ねて付加されるか、または当該顔画像の近傍に付加されるかの何れであってもよい。
そして、現在デジタルカメラ１０による撮影中にあると判断された場合には（ステップＤ３（Ｙｅｓ））、前記変身データメモリ１４（図３参照）に対応付けられて記憶されている美少女戦士Ａの音声データ「レモン♪レモン♪」１４Ｓｕ１が読み出され、同図１６（Ｂ）に示すように音声出力部１３から出力される（ステップＤ４）。
【００７０】
また、図２０（Ａ）の撮影画像データＧ６に示すように、前記対象画像抽出処理により抽出される一連の妹の人物画像Ｋについて、前記変身データメモリ１４（図３参照）に予め記憶された美少女戦士Ｂの一連の変身モーションモデルデータ１４Ｐ１ａ〜１４Ｐ１ｃと身振りが一致する画像部分であるか否かが判断される。美少女戦士Ｂの変身モーションモデルデータ１４Ｐ２ａ〜１４Ｐ２ｃには、ペンを振るモーションモデルデータ部分１４Ｐ２ａＤ〜１４Ｐ２ｃＤが含まれており、ペンの物品を持って行われた特定モーションのみが変身モーションとして検出される。このため美少女戦士Ｂ役のペンを持った人のみが美少女戦士Ｂに変身できることとなる。一致すると判断されると（ステップＤ１（Ｙｅｓ））、当該変身データメモリ１４（図３参照）に対応付けられて記憶されている美少女戦士Ｂの変身マークデータ１４Ｍｕ２が読み出されると共に、前記モーション検出された子供の人物画像Ｋの顔画像認識された位置に対応して付加され、図２０（Ｂ）〜図２２（Ｂ）に示すようなマーク付き撮影画像データＧｍ６〜Ｇｍ８として作業用データメモリに一時保存され表示部１１に表示される（ステップＤ２）。
なお、前記モーション検出された人物画像Ｋの顔画像の位置に対応付加される変身マークデータ１４Ｍｕ２は、当該顔画像に重ねて付加されるか、または当該顔画像の近傍に付加されるかの何れであってもよい。
【００７１】
そして、現在デジタルカメラ１０による撮影中にあると判断された場合には（ステップＤ３（Ｙｅｓ））、前記変身データメモリ１４（図３参照）に対応付けられて記憶されている美少女戦士Ａの音声データ「キュート♪キュート♪」１４Ｓｕ２が読み出され、同図２０（Ｂ）〜図２２（Ｂ）に示すように音声出力部１３から出力される（ステップＤ４）。
【００７２】
すると次に、図１２における特殊効果マーク処理へ移行される（ステップＳＥ）。
本実施例では、特殊効果には、相手を悩乱状態から正常状態に戻すキュア（癒し）効果２３Ｋ１，２３Ｋ２と、相手を正常状態から悩乱状態にするデス（死神）効果２３Ｋ３とがある。
この特殊効果マーク処理では、前記対象画像抽出処理により抽出される一連の撮影画像データＧｎの中の人物画像（Ｐ，Ｊ，Ｋ）について、前記特殊効果データメモリ２３Ａ（図４参照）に予め記憶された特殊効果Ａの一連の変身モーションモデルデータ２３Ｐ１ａ〜２３Ｐ１ｃや特殊効果Ｂの一連の変身モーションモデルデータ２３Ｐ２ａ〜２３Ｐ２ｃや特殊効果Ｃの一連の変身モーションモデルデータ２３Ｐ３ａ〜２３Ｐ３ｃと一致する画像部分が検出されたか否か判断される。この際、特殊効果Ｂ，特殊効果Ｃのように、特殊効果モーションにペンや棒が含まれる場合は、ペンや棒を持つ人のみ特殊効果モーションとして検出される（ステップＥ１）。
【００７３】
ここで、図１７（Ａ）の撮影画像データＧ３に示すように、前記対象画像抽出処理により抽出される一連の姉の人物画像Ｊについて、前記特殊効果データメモリ２３Ａ（図４参照）に予め記憶された特殊効果Ａの一連の変身モーションモデルデータ２３Ｐ１ａ〜２３Ｐ１ｃと身振りが一致する画像部分であると検出されると（ステップＥ１（Ｙｅｓ））、当該特殊効果データメモリ２３Ａ（図４参照）に対応付けられて記憶されている特殊効果Ａの特殊効果マークデータ２３Ｍｕ１が読み出されると共に、前記モーション検出された姉の人物画像Ｊの所定位置（例えば画像上部から３分の１の位置）に対応して前記死神Ｐの変身マークデータ２４Ｍｗ１が付加されている人物画像（男の子）Ｐの方向へ向けて付加され、図１７（Ｂ）に示すようなマーク付き撮影画像データＧｍ３として作業用データメモリに一時保存され表示部１１に表示される（ステップＥ２）。
【００７４】
そして、現在デジタルカメラ１０による撮影中にあると判断された場合には（ステップＥ３（Ｙｅｓ））、前記特殊効果データメモリ２３Ａ（図４参照）に対応付けられて記憶されている特殊効果Ａの音声データ「キュアーハート」２３Ｓｕ１が読み出され、同図１７（Ｂ）に示すように音声出力部１３から出力される（ステップＥ４）。このようにデジタルカメラから特殊効果Ａの音声データ「キュアーハート」２３Ｓｕ１が出ることで、特殊効果の処理が適切にコンピュータに実行されていることが、演技者（姉、男の子）に、音により認識できる。また演技者は、特殊効果の音声データによりリアルな感覚で演技をすることができる。なお、前記モーション検出された人物画像Ｋの所定位置に対応付加される特殊効果マークデータ２４Ｍｕ１は、当該人物画像Ｋに重ねて付加されるか、または当該人物画像Ｋの近傍に付加されるかの何れであってもよい。これにより撮影中の母親は、姉Ｊが、特殊効果モーションを行った結果、コンピュータにより特殊効果処理が適切に実行され、特殊効果画像が付加された合成画像が作成されることを容易に認識することができる。
【００７５】
また同図１８（Ａ）の撮影画像データＧ４に示すように、前記対象画像抽出処理により抽出される一連の男の子の人物画像Ｐについて、前記特殊効果データメモリ２３Ａ（図４参照）に予め記憶された特殊効果Ｃの一連の変身モーションモデルデータ２３Ｐ３ａ〜２３Ｐ３ｃと、棒を持つ部分（２３Ｐ３ａＢ〜２３Ｐ３ｃＢ）も含めて、身振りが一致する画像部分であると検出されると（ステップＥ１（Ｙｅｓ））、当該特殊効果データメモリ２３Ａに対応付けられて記憶されている特殊効果の特殊効果マークデータ２３Ｍｕ３が読み出されると共に、前記モーション検出された子供の人物画像Ｐの所定位置（例えば画像上部から３分の１の位置）に対応して前記美少女戦士Ａの変身マークデータ２４Ｍｕ１が付加されている人物画像（姉）Ｊの方向へ向けて付加され、図１７（Ｂ）に示すようなマーク付き撮影画像データＧｍ４として作業用データメモリに一時保存され表示部１１に表示される（ステップＥ２）。そして、現在デジタルカメラ１０による撮影中にあると判断された場合には（ステップＥ３（Ｙｅｓ））、前記特殊効果データメモリ２３Ａ（図４参照）に対応付けられて記憶されている特殊効果Ｃの音声データ「デスムーン」２３Ｓｕ３が読み出され、同図１７（Ｂ）に示すように音声出力部１３から出力される（ステップＥ４）。このようにデジタルカメラから特殊効果Ａの音声データ「デスムーン」２３Ｓｕ３が出ることで、特殊効果の処理が適切にコンピュータに実行されていることが、演技者（姉、男の子）に、音により認識できる。
【００７６】
また同図２１（Ａ）の撮影画像データＧ７に示すように、前記対象画像抽出処理により抽出される一連の妹の人物画像Ｋについて、前記特殊効果データメモリ２３Ａに予め記憶された特殊効果Ｂの一連の特殊効果モーションモデルデータ２３Ｐ２ａ〜２３Ｐ２ｃと、ペンを持つ部分（２３Ｐ２ａＤ〜２３Ｐ２ｃＤ）も含めて、身振りが一致する画像部分であると検出されると（ステップＥ１（Ｙｅｓ））、当該特殊効果データメモリ２３Ａ（図４参照）に対応付けられて記憶されている特殊効果Ｂの特殊効果マークデータ２３Ｍｕ２が読み出されると共に、前記モーション検出された妹の人物画像Ｋの所定位置（例えば画像上部から３分の１の位置）に対応して前記仮面のマークデータＭｋが付加されている人物画像（姉）Ｊと死神Ｐの変身マークデータ２４Ｍｗ１が付加されている人物画像（男の子）Ｐの方向へ向けて付加され、図２１（Ｂ）に示すようなマーク付き撮影画像データＧｍ７として作業用データメモリに一時保存され表示部１１に表示される（ステップＥ２）。そして、現在デジタルカメラ１０による撮影中にあると判断された場合には（ステップＥ３（Ｙｅｓ））、前記特殊効果データメモリ２３Ａ（図４参照）に対応付けられて記憶されている特殊効果Ｂの音声データ「キュアースター」２３Ｓｕ２が読み出され、同図２１（Ｂ）に示すように音声出力部１３から出力される（ステップＥ４）。このようにデジタルカメラから特殊効果Ｂの音声データ「キュアースター」２３Ｓｕ２が出ることで、特殊効果の処理が適切にコンピュータに実行されていることが、演技者（妹、姉、男の子）に、音により認識できる。
【００７７】
上述のように特殊効果には、相手を悩乱状態から正常状態に戻すキュア（癒し）効果２３Ｋ１，２３Ｋ２と、相手を正常状態から悩乱状態にするデス（死神）効果２３Ｋ３があり、防御効果は、相手から受けた特殊効果を無効化する。この特殊効果や防御効果による変身処理（ステップＥ５〜Ｅ２３）について以下で説明する。
【００７８】
図１７のように姉Ｊの役の美少女戦士Ａが特殊効果Ａを出した場合、前記特殊効果データメモリ２３Ａ（図４参照）に予め記憶された特殊効果Ａの効果の相手２３Ｔは、特殊効果モーションを向けた相手２３Ｔ１であると判断されると（ステップＥ５（Ｎｏ））、画面内の特殊効果モーションを向けた敵役の人（美少女戦士に対して死神等）が検出され、特殊効果モーションを向けた敵役の人である男の子（死神役）Ｐが効果の相手者として設定される（ステップＥ１２）。このように人物画像の身振りで示した相手の人物画像を特殊効果の対象者として検出するようにしたので、特殊効果を行う演技者の思い通りの相手に、適宜、特殊効果を出せて相手を変身させる合成画像を容易に作成することができる。
そして、特殊効果Ａの効果の種類２３Ｔ１がキュア効果であると判断されると（ステップＥ７（Ｙｅｓ））ステップＥ１３へ進み、効果の相手者は仮面マークデータ付きの美少女戦士ではないと判断されると（ステップＥ１３（Ｎｏ））、ステップＥ１５へ進む。そして効果の相手者が死神マーク付きであると判断されると（ステップＥ１５（Ｙｅｓ））、ステップＥ１５へ進み、効果の相手者である男の子（死神役）Ｐにより防御効果モーションモデルデータ２３'Ｐ２ａ〜２３'Ｐ２ｃと、棒を持つ部分（２３'Ｐ２ａＢ〜２３'Ｐ２ｃＢ）も含めて、身振りが一致する画像部分であると検出されると（ステップＥ１６（Ｙｅｓ））、ハート形の特殊効果マーク２３Ｍｕ１の隣に、特殊効果が無効化されたことを示すハートが割れた形の防御効果マーク２３'Ｍｕ２を付ける（（ステップＥ１７）。この場合、男の子（死神役）Ｐの防御効果が出されたので、死神の変身状態が継続されることとなる。その後、防御効果マーク２３'Ｍｕ２に対応する音声データ「パーン」２３'Ｓｕ２が出力される（ステップＥ２２）。特殊効果が無効化されたことを示す防御効果マーク２３'Ｍｕ２によりカメラ画面を見て撮影している母親は、防御効果が適切に出され、特殊効果が無効化されたことを視覚的に確認できる。また、防御効果マーク２３'Ｍｕ２に対応する音声データ「パーン」の音により、母親や演技者全員は、防御効果が適切に出され、特殊効果が無効化されたことを聴覚的に確認できる。
【００７９】
図１８のように男の子（死神役）Ｐが、特殊効果Ｃを出した場合、前記特殊効果データメモリ２３Ａ（図４参照）に予め記憶された特殊効果Ｃの効果の相手２３Ｔは、周辺の敵全て２３Ｔ３であると判断されると（ステップＥ５（Ｎｏ））、画面内の敵である美少女戦士Ａ役の姉Ｊが効果の相手者として設定される（ステップＥ６）。そして、特殊効果Ｃの効果の種類２３Ｔ３がデス効果であると判断されると（ステップＥ７（Ｎｏ））ステップＥ８へ進み、効果の相手者は美少女戦士マークデータ付きである判断されると（ステップＥ８（Ｙｅｓ））、ステップＥ９へ進む。そして効果の相手者により防御効果モーションが検出されない場合には（ステップＥ９（Ｎｏ））、美少女戦士Ａマークデータ１４Ｍｕ１の隣に仮面マークデータＭｋを付ける（（ステップＥ１０）。この場合、美少女戦士Ａ（姉）Ｐは、デス（死神）効果により、悩乱状態になる仮面を付けられたことになる。そして仮面マークデータＭｋに対応する音声データ「クックック」Ｓｋが出力される（ステップＥ１９）。なお、美少女戦士Ａ（姉）Ｐにより防御効果モーションがにより防御効果モーションモデルデータ２３'Ｐ１ａ〜２３'Ｐ１ｃと、ペンを持つ部分（２３'Ｐ１ａＤ〜２３'Ｐ１ｃＤ）も含めて、身振りが一致する画像部分であると検出されると（ステップＥ１１（Ｙｅｓ））、特殊効果マーク２３Ｍｕ２の隣に防御効果マーク２３'Ｍｕ１を付ける（（ステップＥ１１）。この場合、姉（美少女戦士Ａ役）Ｊから防御効果が出されることとなり、美少女戦士Ａの変身状態が継続されることとなる。その後、防御効果マーク２３'Ｍｕ１に対応する音声データ「バキン」２３'Ｓｕ１が出力される（ステップＥ２０）。ただし、本実施例のように役柄上ペンを持つのは美少女戦士Ｂのみと決めた場合には、姉（美少女戦士Ａ役）Ｊは、ペンを持たず、防御効果モーションの身振りを行えず、この防御効果を出すことはできないことになる。
【００８０】
また、図２１のように妹（美少女戦士Ｂ役）Ｋが、特殊効果Ｂを出した場合、前記特殊効果データメモリ２３Ａ（図４参照）に予め記憶された特殊効果Ｂの効果の相手２３Ｔは、周辺の敵全て２３Ｔ２であると判断されると（ステップＥ５（Ｎｏ））、画面内の敵である悩乱した仮面付きの美少女戦士Ａ役の姉Ｊと、死神役（男の子）Ｐが効果の対象者として設定される（ステップＥ６）。そして、特殊効果Ｂの効果の種類２３Ｔ２がキュア効果であると判断されると（ステップＥ７（Ｎｏ））ステップＥ１３へ進み、効果の対象者は仮面マークデータ付き美少女戦士である判断されると（ステップＥ１３（Ｙｅｓ））、ステップＥ１４へ進む。そして、美少女戦士Ａの仮面マークデータを削除する（ステップ１４）。このように、キュア効果（癒し効果）によって、仮面付きの悩乱した美少女戦士Ａが元の正常な美少女戦士Ａに戻ることができたことになる。そして、元の美少女戦士Ａ変身マークデータ１４Ｍｕ１に対応する音声データ１４Ｓｕ１「レモン♪レモン♪」が出力される（ステップＥ２１）。
また、ステップ１５で効果の相手者が死神マーク付きであると判断されると（ステップ１５（Ｙｅｓ））、ステップ１６へ進み、効果の相手者による防御効果モーションの身振りがないと判断されると、（ステップ１６（Ｎｏ））、死神役（男の子）Ｐから死神マークデータ２４Ｍｗ１を削除し、星の王子マークデータ２４Ｍｗ１'を付ける。このように、キュア効果（癒し効果）によって、死神が元の星の王子に戻ることができたことになる。そして星の王子の変身役柄マークデータ２４Ｍｗ１’に対応する音声データ２４Ｓｗ１’「キラリ、キラリ」が出力される（ステップＥ２３）。
【００８１】
上記のように特殊効果や防御効果による変身処理（ステップＥ５〜Ｅ１８）が完了すると、前記図１５（Ｂ）〜図２２（Ｂ）で示したように、前記ステップＳＡ〜ＳＥの処理に従い作業用データメモリ上に生成されたマーク付きの連続した撮影画像データＧｍ１〜Ｇｍ８がマーク付き撮影画像データメモリ２６に記憶され保存される（ステップＳ２）。
【００８２】
そして、画像撮影部２１からの一連の撮影画像データＧ１〜Ｇ８の撮影入力が終了したと判断されると（ステップＳ３（Ｙｅｓ））、前記マーク付き撮影画像データメモリ２６に生成保存された一連のマーク付き撮影画像データＧｍ１〜Ｇｍ８に基づく合成画像の生成処理に進むか否か判断される（ステップＳ４）。
ここで、入力部１２に対する合成画像生成のためのユーザ操作に応じて、あるいは前記一連の撮影画像データの取得終了に伴い自動的に、合成画像の生成処理に進むと判断されると（ステップＳ４（Ｙｅｓ））、前記マーク付き撮影画像データメモリ２６から前記一連のマーク付き撮影画像データＧｍ１〜Ｇｍ８が作業用メモリに読み出され、図１４における変身マーク合成処理へ移行される（ステップＳＦ）。
【００８３】
この変身マーク合成処理では、まず、前記マーク付き撮影画像データメモリ２６から作業用メモリに読み出されたマーク付き撮影画像データＧｍ１〜Ｇｍ８について、前記変身役柄データメモリ２４（図６参照）に予め記憶されている変身マークデータ２４Ｍｗや前記変身データメモリ１４（図３参照）に予め記憶されている変身マークデータ１４ｍｕが付加された画像が含まれているか否か判断される（ステップＦ１）。
【００８４】
ここで、予め記憶されている変身マークデータ２４Ｍｗや前記変身データメモリ１４（図３参照）に予め記憶されている変身マークデータ１４ｍｕが付加された画像が含まれていないと判断されると（ステップＦ１（Ｎｏ））、本処理を終了し、特殊効果マーク合成処理（ＳＨ）に進む。また、図１５（Ｂ）〜図２１（Ｂ）で示すように死神の変身マークデータ２４Ｍｗ１が付加された画像、図２２（Ｂ）で示すように星の王子の変身マークデータ２４Ｍｗ１'が付加された画像、また、図１７（Ｂ）〜図２２（Ｂ）で示すように美少女戦士Ａの変身マークデータ１４Ｍｕ１が付加された画像、また、図２０（Ｂ）〜図２２（Ｂ）で示すように美少女戦士Ｂの変身マークデータ１４Ｍｕ２が付加された画像が存在すると判断された場合には（ステップＦ１（Ｙｅｓ））、当該各変身マークデータ２４Ｍｗ１，２４Ｍｗ１'，１４Ｍｕ１，１４Ｍｕ２が対応付加されている該マーク近傍の人物画像Ｐ，Ｊ，Ｋの位置が、前記対象画像抽出処理（ステップＳＡ）により撮影画像データＧｎの付加情報として得られているブロックの位置情報から特定される（ステップＦ２）。
【００８５】
すると、前記特定された人物画像Ｐ，Ｊ，Ｋがモーションキャプチャ処理され、変身役柄データメモリ２４Ａ（図６参照）に記憶されている前記死神の変身マークデータ２４Ｍｗ，２４Ｍｗ１'に対応するところの変身（１）画像データ２４Ｇｗ１，２４Ｇｗ１'、変身データメモリ１４（図３参照）に記憶されている前記美少女戦士Ａ，美少女戦士Ｂの変身マークデータ１４Ｍｕ１，１４Ｍｕ２に対応するところの変身画像データ１４Ｇｕ１，１４Ｇｕ２に基づき、図１５（Ｃ）〜図２１（Ｃ）に示すように当該人物画像（男の子）Ｐと同じポーズ（姿勢）の死神の変身画像データ２４Ｇｗ１、図２２（Ｃ）に示すように当該人物画像（男の子）Ｐと同じポーズ（姿勢）の星の王子の変身画像データ２４Ｇｗ１'、図１７（Ｃ）〜図２２（Ｃ）に示すように当該人物画像（姉）Ｊと同じポーズ（姿勢）の美少女戦士Ａの変身画像データ１４Ｇｕ１、図２０（Ｃ）〜図２２（Ｃ）に示すように当該人物画像（妹）Ｋと同じポーズ（姿勢）の美少女戦士Ｂの変身画像データ１４Ｇｕ２にそれぞれ予め設定された背景画像ＢＧ上で置き換えられて合成される（ステップＦ３）。この際、合成画像データＧＧ１〜ＧＧ８が生成される（ステップＦ３）。
【００８６】
そして各マークデータに対応した変身画像データに顔合成位置データがあるか否かが判断される。死神の変身マークデータ２４Ｍｗ１に対応する顔合成位置データは記憶されておらず、ステップＦ８へ進む。星の王子の変身マークデータ２４Ｍｗ１'に対応して顔合成位置データ２４Ｆ１'（図６参照）があると判断され、美少女戦士Ａの変身マークデータ１４Ｍｕ１に対応して顔合成位置データ１４Ｆ１（図３参照）があると判断され、美少女戦士Ｂの変身マークデータ１４Ｍｕ２に対応して顔合成位置データ１４Ｆ２（図３参照）があると判断されると（ステップＦ４（Ｙｅｓ））、顔合成位置データ２４Ｆ１'，１４Ｆ１，１４Ｆ２が読み出されて（ステップＦ５）、撮影画像の対象画像中の顔画像部分（Ｐｆ，Ｊｆ，Ｋｆ）が抽出され（ステップＦ６）、対象画像中の顔画像部分を顔合成位置に合わせてサイズ変更して（Ｐｆ'，Ｊｆ'，Ｋｆ'）変身キャラクタの画像データに合成する（図１６（Ｃ）〜図２２（Ｃ））。このように抽出された顔画像部分を、前記顔合成位置データに対応する位置に合わせてサイズ変更して、変身キャラクタの画像データ（２４Ｇｗ１'１４Ｇｕ１，１４Ｇｕ２）に合成するようにしたので、変身キャラクタの顔サイズに合わせて実写の顔部分が適切に合成され、実写の顔で変身キャラクタを適切に合成表示できることとなる。また変身キャラクタの顔のサイズを実写の顔のサイズに合わせる必要がないので、実写の顔のサイズが変身キャラクタに合わせて調整され、変身キャラクタを妖精のように小さく合成表示させたり、巨人のように大きく合成表示させることも容易に行えることになる。
なお、後から顔を合成するのではなく、変身画像データ２４Ｇｗ１'，１４Ｇｕ１，１４Ｇｕ２を、顔を隠さない範囲に限定して元の男の子Ｐ，姉Ｊ，妹Ｋの画像に合成するようにしても良い。この場合は元の顔部分がそのまま合成画像に残るので、顔を残した衣装部分のみを変更した簡易な合成画像を作成することができる。
【００８７】
次にステップＦ８へ進み、対象画像に仮面マークデータが含まれているかが判断される。図８（Ｂ）〜図２１（Ｂ）の美少女戦士Ｂ（姉Ｊ）に対して仮面マークデータＭｋが付けられていると判断されると、この画像中の顔画像部分に顔合成位置に合わせて仮面画像Ｇｋを合成する（図８（Ｃ）〜図２１（Ｃ））（ステップＦ９）。また、仮面マークデータＭｋが含まれていない場合には、この処理をスキップする。
そして、前記変身役柄データメモリ２４Ａ（図６参照）に対応付けられて記憶されている死神の音声データ「ザクッ、ザクッ」２４Ｓｗ１、星の王子の音声データ「キラリ、キラリ」２４Ｓｗ１'、前記変身データメモリ１４（図３参照）に対応付けられて記憶されている美少女戦士Ａ，美少女戦士Ｂの音声データ「レモン♪レモン♪」１４Ｓｕ１，「キュート♪キュート♪」１４Ｓｕ１２が読み出され前記図１５（Ｃ）〜図２２（Ｃ）に示すように生成された合成画像ＧＧ１〜ＧＧ８に対応付けられて保存される。なお仮面マークデータＭｋが含まれている場合には、美少女戦士Ａ，美少女戦士Ｂの音声データに替えて仮面マークデータＭｋに対応する音声データ「クックック」Ｓｋが合成画像ＧＧ１〜ＧＧ８に対応付けられて保存される。（ステップＦ１０）。
【００８８】
すると次に、図１４における特殊効果マーク合成処理へ移行される（ステップＳＨ）。
この特殊効果マーク合成処理では、まず、前記マーク付き撮影画像データメモリ２６から作業用メモリに読み出されたマーク付き撮影画像データＧｍ１〜Ｇｍ８について、前記特殊効果データメモリ２３Ａ（図４参照）に予め記憶されている特殊効果マークデータ２３Ｍｕまたは特殊効果データメモリ２３Ｂ（図５参照）に予め記憶されている防御効果マークデータ２３'Ｍｕが付加された画像が含まれているか否か判断される（ステップＨ１）。
【００８９】
ここで、特殊効果マークデータ２３Ｍｕや防御効果マークデータ２３'Ｍｕが検出されない場合は（ステップＨ１（Ｎｏ））、本処理を終了し、ステップＳ６に進む。また図１５（Ｂ），図１６（Ｂ），図１９（Ｂ），図２０（Ｂ）で示すように特殊効果Ａの特殊効果マークデータ２３Ｍｕまたは防御効果マークデータ２３'Ｍｕが付加された画像Ｇｍが存在しないと判断された場合には（ステップＨ１（Ｎｏ））処理を終了し、図１７（Ｂ），図１８（Ｂ），図２１（Ｂ），図２２（Ｂ）のように存在すると判断された場合には（ステップＨ１（Ｙｅｓ））、当該特殊効果マークデータ２３Ｍｕ１，２３Ｍｕ２，２３Ｍｕ３，または防御効果マークデータ２３'Ｍｕ２が対応付加されている該マーク近傍の人物画像（姉、妹、男の子）Ｊ，Ｐ，Ｋの位置が、前記対象画像抽出処理（ステップＳＡ）により撮影画像データＧｎの付加情報として得られているブロックの位置情報から特定される（ステップＨ２）。
【００９０】
すると、前記特殊効果データメモリ２３Ａ（図４参照）の特殊効果マークデータ２３Ｍｕ１，２３Ｍｕ２，２３Ｍｕ３，または特殊効果データメモリ２３Ｂ（図５参照）の防御効果マークデータ２３'Ｍｕ２に対応付けられて記憶されている特殊効果画像データ２３Ｇｕ１，２３Ｇｕ２，２３Ｇｕ３，または防御効果マークデータ２３'Ｇｕ２が読み出され、前記特定された人物画像の所定位置（例えば画像上部から３分の１の位置）に対応して、変身マークデータが付加されている敵役（相手）の人物画像の方向へ向けて追加合成され、合成画像データＧＧが生成される。例えば、図１７では、特殊効果画像データ２３Ｇｕ１が、美少女戦士Ａの腕の位置から、死神の方向に追加合成される。一方、防御効果データ２３'Ｇｕ３が、死神の上半身の位置から美少女戦士Ａの方向に追加合成される。図１８では、特殊効果画像データ２３Ｇｕ３が、死神の腕の位置から、美少女戦士Ａの方向に追加合成される。図２０，図２１では、特殊効果画像データ２３Ｇｕ２が、特殊効果画像データ２３Ｇｕ１が、美少女戦士Ｂの腕の位置から、悩乱した仮面付きの美少女戦士Ａの方向に追加合成される。（ステップＨ３）。
【００９１】
さらに、特殊効果によっては、その先端部を爆発効果画像にしてその部分が相手の人物画像変身画像データに到達する位置まで延長されて追加合成されるようにしてもよい（ステップＨ４）。
そして、前記特殊効果データメモリ２３Ａ（図４参照）に対応付けられて記憶されている特殊効果Ａの音声データ「キュアーハート」２３Ｓｕ１、特殊効果Ｂの音声データ「キュアースター」２３Ｓｕ２、特殊効果Ｃの音声データ「デスムーン」２３Ｓｕ３が読み出され、また前記防御効果データメモリ２３Ｂ（図５参照）に対応付けられて記憶されている防御効果Ｂの音声データ「パーン」２３'Ｓｕ２が読み出され、前記図１７（Ｃ），図１８（Ｃ），図２１（Ｃ），図２２（Ｃ）に示すように生成された合成画像ＧＧ３に対応付けられて保存される。（ステップＨ５）。
【００９２】
すると、前記図１５（Ｃ）〜図２２（Ｃ）で示したように、前記ステップＳＦ〜ＳＨの処理に従い作業用データメモリ上に生成された一連の合成画像データＧＧ１〜ＧＧ８が合成画像データメモリ２７に記憶され保存される（ステップＳ６）。
そして、前記合成画像データメモリ２７に記憶された一連の合成画像データ（対応付けられた音声データを含む）ＧＧ１〜ＧＧ８が、前記図１５（Ｃ）〜図２２（Ｃ）で示すように、表示部１１により再生表示されると共に音声出力部１３により再生出力される（ステップＳ７）。なお、本合成画像出力装置がサーバ装置３０（図７参照）として構成されている場合には、前記ステップＳ１において受信された一連の撮影画像データＧ１〜Ｇ８の送信元である通信ネットワークＮ上の通信端末Ａ（デジタルカメラ）１０′や通信端末Ｂ（ＰＣ）４０に対して、前記合成画像データメモリ２７に記憶された一連の合成画像データ（対応付けられた音声データを含む）ＧＧ１〜ＧＧ８が読み出されて応答送信される（ステップＳ７）。
【００９３】
したがって、前記構成のデジタルカメラ１０あるいはサーバ装置３０による合成画像出力装置によれば、画像撮影部２１により動画撮影された一連の撮影画像データＧｎが入力されると、当該撮影画像データＧｎに含まれる人物画像（Ｐ，Ｊ，Ｋ）が抽出され、予め設定されたモーション（身振り）をしている人物画像（Ｋ）の有無が検出される。そして、撮影画像データＧｎに含まれる予め設定されたモーション（身振り）をしている人物画像（Ｋ）が検出されると、当該設定モーションのモデルデータ１４Ｐに対応付けられて変身データメモリ１４に記憶されている例えば美少女戦士Ｂの３Ｄ画像生成用の変身画像データ１４Ｇｕ１に基づき、前記撮影画像データＧｎの人物画像（Ｊ，Ｋ）中の顔画像を除く画像部分を、そのモーションを同じにした変身画像データ１４Ｇｕに置き換えられた合成画像データＧＧｎとして生成出力されるので、前記動画撮影に際して被写体となる人物がアニメのヒーローなどに変身するためのモーション（身振り）をするだけで、当該被写体の人物画像を顔は撮影画像のままで衣装等を前記ヒーローの画像に置き換えた合成画像を容易に生成することができる。
また、撮影画像データＧｎに含まれる予め設定された特殊効果のモーション（身振り）をしている人物画像（Ｋ）が検出されると、当該設定モーションのモデルデータ２３Ｐに対応付けられて特殊効果データメモリ２３Ａに記憶されている例えば美少女戦士Ｂの特殊効果の内容２３Ｗ２のうちの効果の種類「キュア（癒し）効果２３Ｋ」と効果の相手「周辺の敵全て２３Ｔ２」に応じて、効果の対象者の人物画像（Ｊ，Ｋ）が検出され、前記撮影画像データＧｎの人物画像（Ｊ，Ｋ）を、そのモーションを同じにした変身画像データ（２４Ｇｗ１'，１４Ｇｕ１）に置き換えられた合成画像データＧＧｎとして生成出力されるので、前記動画撮影に際して被写体となる人物がアニメのヒーローとして魔法モーション（身振り）をするだけで、その魔法により、他の被写体の人物を姿勢はそのままで、変身させたキャラクタ画像に置き換えた合成画像を容易に生成することができる。
【００９４】
よって、動画撮影された人物画像について、対象人物の意志に従い他のキャラクタ画像に変化（変身）していく一連のシーンとなる合成画像を手軽に作成することができる。
これにより、例えばユーザ家族において子供をヒーロー役にした動画撮影を行えば、容易に特撮風の合成動画像ＧＧｎを作ることができ、当該生成された合成動画像ＧＧｎを表示部１１に出力表示させて見たり、外部のモニタに出力表示させて見たりすることで、これまでにない楽しみを得ることができる。
【００９５】
また、前記構成のデジタルカメラ１０あるいはサーバ装置３０による合成画像出力装置によれば、被写体となる人物画像（Ｋ）の予め設定されたモーション（身振り）を検出して、これに対応する例えば美少女戦士Ｂの変身画像データ１４Ｇｕ２に前記人物画像（Ｋ）を置き換え合成した合成画像ＧＧｎを生成した際には、前記変身データメモリ１４に記憶されている当該変身画像データ１４Ｇｕ２の音声データ「キュート♪キュート♪」１４Ｓｕ２を、前記合成画像ＧＧｎに対応付けて保存し出力させるので、容易且つよりリアルに特撮風の合成動画像ＧＧｎを作ることができる。また、被写体となる人物画像（Ｋ）の予め設定されたモーション（身振り）を検出して、これに対応する例えば美少女戦士Ｂの特殊効果画像データ２３Ｇｕ２を付加した合成画像ＧＧｎを生成した際には、前記特殊効果データメモリ２３Ａに記憶されている当該特殊効果画像データ１４Ｇｕ２の音声データ「キュアースター」２３Ｓｕ２を、前記合成画像ＧＧｎに対応付けて保存し出力させるので、容易且つよりリアルに特撮風の合成動画像ＧＧｎを作ることができる。
【００９６】
また、前記構成のデジタルカメラ１０による合成画像出力装置によれば、前記動画撮影中に表示部１１にリアルタイムに表示される撮影画像データＧｎについて、前記予め設定されたモーション（身振り）の人物画像（Ｋ）が検出された際には、当該人物画像（Ｋ）に対して例えば美少女戦士Ｂの変身画像データ１４Ｇｕ２への変身対象となったことを示す変身マークデータ１４Ｍｕ２を付加したマーク付き撮影画像データＧｍｎとして表示部１１に表示させ、しかも前記変身画像データ１４Ｇｕ２の音声データ「キュート♪キュート♪」１４Ｓｕ２も共に音声出力部１３から出力させるので、例えば撮影操作中の家族は、被写体の人物画像（子供）Ｋがその役柄通りに変身され置き換え処理されていることを容易に認識することができ、またこれを演じている最中の被写体自身（妹Ｋ）にあっても、自らがその役柄通りに変身処理されていることを音声により容易に認識することができる。
【００９７】
前記実施形態では、撮影画像データＧｎから対象画像として抽出される人物画像（Ｋ）の予め設定されたモーション（身振り）を検出するための特殊効果モーションモデルデータ２３Ｐと、これに対応する変身マークデータ２３Ｍｕおよび変身画像データ２３Ｇｕとを、変身データメモリ２３により予め記憶する構成としたが、通信ネットワークＮ上のサーバ装置３０（この場合はサービスサイトのデータ提供サーバ）から特殊効果画像データ（必殺技、攻撃等）の好みの種類を選択してダウンロードし、特殊効果データメモリ２３Ａとして新たに記憶させ前記同様に機能させる構成としてもよい。
【００９８】
なお、前記実施形態において記載した合成画像出力装置による各処理の手法、すなわち、図８のフローチャートに示す合成画像出力処理、図９のフローチャートに示す前記合成画像出力処理に伴う対象画像抽出処理、図１０のフローチャートに示す前記合成画像出力処理に伴う役柄変身マーク処理、図１１のフローチャートに示す前記合成画像出力処理に伴うモーション変身マーク処理、図１２のフローチャートに示す前記合成画像出力処理に伴う特殊効果マーク処理、図１３のフローチャートに示す前記合成画像出力処理に伴う変身マーク合成処理、図１４のフローチャートに示す前記合成画像出力処理に伴う破壊マーク合成処理、図１５のフローチャートに示す前記合成画像出力処理に伴う特殊効果マーク合成処理等の各手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶媒体１８（３３）に格納して配布することができる。そして、変身データ１４（３２Ｂ）、特殊効果データ２３Ａ（３２ＣＡ）、防御効果データ２３Ｂ（３２ＣＢ）、変身役柄データ２４Ａ（３２Ｄ）をメモリ１７（３２）に記憶した種々のコンピュータ端末は、この外部記憶媒体１８（３３）に記憶されたプログラムをプログラムメモリ２２（３２Ａ）に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記実施形態において説明した動画撮影画像データＧｎからの変身画像を用いた合成画像ＧＧｎの作成・出力機能を実現し、前述した手法による同様の処理を実行することができる。
【００９９】
また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク（インターネット）Ｎ上を伝送させることができ、この通信ネットワーク（インターネット）Ｎに接続されたコンピュータ端末（プログラムサーバ）から前記のプログラムデータを取り込み、前述した動画撮影画像データＧｎからの変身画像を用いた合成画像ＧＧｎの作成・出力機能を実現することもできる。
【０１００】
なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が異なる形態にして組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。
【図面の簡単な説明】
【０１０１】
【図１】本発明の合成画像出力装置の実施形態に係るデジタルカメラ１０を利用した動画像の撮影状態と合成画像の生成状態を示す概念図。
【図２】前記デジタルカメラ１０（通信端末Ａ）の電子回路の構成を示すブロック図。
【図３】前記デジタルカメラ１０の変身データメモリ１４に予め記憶される変身データの内容を示す図。
【図４】前記デジタルカメラ１０の特殊効果データメモリ２３Ａに予め記憶される特殊効果データ２３Ａの内容を示す図。
【図５】前記デジタルカメラ１０の防御効果データメモリ２３Ｂに予め記憶される防御効果データ２３Ｂの内容を示す図。
【図６】前記デジタルカメラ１０の変身役柄データメモリ２４Ａに記憶される変身役柄データの内容を示す図。
【図７】本発明の合成画像出力装置の実施形態に係るサーバ装置３０の電子回路の構成を示すブロック図。
【図８】前記合成画像出力装置による合成画像出力処理の全体過程を示すフローチャート。
【図９】前記合成画像出力処理に伴い撮影画像（Ｇ）中に存在する人物（Ｐ，Ｊ，Ｋ）の対象画像を抽出する対象画像抽出処理を示すフローチャート。
【図１０】前記合成画像出力処理に伴い役柄登録された人物画像（Ｐ）に変身マーク（２４Ｍｗ）を付加する役柄変身マーク処理を示すフローチャート。
【図１１】前記合成画像出力処理に伴い変身モーション（１４Ｐ）の検出された人物画像（Ｊ，Ｋ）に変身マーク（１４Ｍｕ）を付加すると共に対応音声（１４Ｓｕ）を出力するモーション変身マーク処理を示すフローチャート。
【図１２】前記合成画像出力処理に伴い特殊効果モーション（２３Ｐ）の検出された人物画像（Ｊ，Ｐ，Ｋ）に特殊効果マーク（２３Ｇｕ）を付加すると共に対応音声（２３Ｓｕ）を出力する特殊効果マーク処理を示すフローチャート。
【図１３】前記合成画像出力処理に伴い変身マーク（２４Ｍｗ）（１４Ｍｕ）の付加された人物画像（Ｊ，Ｐ）（Ｋ）を変身画像（２４Ｇｗ）（（１４Ｇｕ）に置き換え合成すると共に対応音声（２４Ｓｗ）（１４Ｓｕ）の出力を設定する変身マーク合成処理を示すフローチャート。
【図１４】前記合成画像出力処理に伴い特殊効果マーク（２３Ｇｕ）の付加された人物画像（Ｊ，Ｐ）（Ｋ）の所定位置に特殊効果画像２３Ｇｕを追加合成すると共に対応音声（２３Ｓｕ）の出力を設定する特殊効果マーク合成処理を示すフローチャート。
【図１５】前記合成画像出力処理に伴う動画撮影画像（Ｇ）に基づいた画像処理状態を順次代表的なコマ送りにして示す図（その１）であり、同図（Ａ）は撮影画像Ｇ１を示す図、同図（Ｂ）はマーク付き撮影画像Ｇｍ１を示す図、同図（Ｃ）は合成画像ＧＧ１を示す図。
【図１６】前記合成画像出力処理に伴う動画撮影画像（Ｇ）に基づいた画像処理状態を順次代表的なコマ送りにして示す図（その２）であり、同図（Ａ）は撮影画像Ｇ２を示す図、同図（Ｂ）はマーク付き撮影画像Ｇｍ２を示す図、同図（Ｃ）は合成画像ＧＧ２を示す図。
【図１７】前記合成画像出力処理に伴う動画撮影画像（Ｇ）に基づいた画像処理状態を順次代表的なコマ送りにして示す図（その３）であり、同図（Ａ）は撮影画像Ｇ３を示す図、同図（Ｂ）はマーク付き撮影画像Ｇｍ３を示す図、同図（Ｃ）は合成画像ＧＧ３を示す図。
【図１８】前記合成画像出力処理に伴う動画撮影画像（Ｇ）に基づいた画像処理状態を順次代表的なコマ送りにして示す図（その４）であり、同図（Ａ）は撮影画像Ｇ４を示す図、同図（Ｂ）はマーク付き撮影画像Ｇｍ４を示す図、同図（Ｃ）は合成画像ＧＧ４を示す図。
【図１９】前記合成画像出力処理に伴う動画撮影画像（Ｇ）に基づいた画像処理状態を順次代表的なコマ送りにして示す図（その５）であり、同図（Ａ）は撮影画像Ｇ５を示す図、同図（Ｂ）はマーク付き撮影画像Ｇｍ５を示す図、同図（Ｃ）は合成画像ＧＧ５を示す図。
【図２０】前記合成画像出力処理に伴う動画撮影画像（Ｇ）に基づいた画像処理状態を順次代表的なコマ送りにして示す図（その６）であり、同図（Ａ）は撮影画像Ｇ６を示す図、同図（Ｂ）はマーク付き撮影画像Ｇｍ６を示す図、同図（Ｃ）は合成画像ＧＧ６を示す図。
【図２１】前記合成画像出力処理に伴う動画撮影画像（Ｇ）に基づいた画像処理状態を順次代表的なコマ送りにして示す図（その７）であり、同図（Ａ）は撮影画像Ｇ７を示す図、同図（Ｂ）はマーク付き撮影画像Ｇｍ７を示す図、同図（Ｃ）は合成画像ＧＧ７を示す図。
【図２２】前記合成画像出力処理に伴う動画撮影画像（Ｇ）に基づいた画像処理状態を順次代表的なコマ送りにして示す図（その８）であり、同図（Ａ）は撮影画像Ｇ８を示す図、同図（Ｂ）はマーク付き撮影画像Ｇｍ８を示す図、同図（Ｃ）は合成画像ＧＧ８を示す図。
【符号の説明】
【０１０２】
１０ …デジタルカメラ（通信端末Ａ）
１１（３７）…表示部
１２（３６）…入力部
１３ …音声出力部
１４（３２Ｂ）…変身データメモリ
１４Ｐ…変身モーションモデルデータ
１４Ｇｕ…変身画像データ
１４Ｓｕ…変身音声データ
１４Ｍｕ…変身マークデータ
１５（３２Ｄ）…破壊データメモリ
１５Ｔ…破壊対象画像データ
１５Ｇ…破壊画像データ
１５Ｓ…破壊音声データ
１５Ｍ…破壊（前）マークデータ
１５Ｍ′…破壊（後）マークデータ
１６（３１）…ＣＰＵ
１７（３２）…メモリ
１８（３３）…外部記録媒体
１９（３４）…記録媒体読取部
２０（３５）…電送制御部
２１ …画像撮影部
２２（３２Ａ）…プログラムメモリ
２３Ａ（３２ＣＡ）…特殊効果データメモリ
２３Ｂ（３２ＣＢ）…防御効果データメモリ
２３'Ｐ…防御効果モーションモデルデータ
２３'Ｇｕ…防御効果画像データ
２３'Ｓｕ…防御効果音声データ
２３'Ｍｕ…防御効果マークデータ
Ｍk…仮面マークデータ
２４Ａ（３２Ｄ）…変身役柄データメモリ
２４Ｂ（３２Ｅ）…役柄別変身状態
２４Ｔ…変身対象（顔）画像データ
２４Ｇｗ…変身画像データ
２４Ｓｗ…変身音声データ
２４Ｍｗ…変身マークデータ
２４Ｈ …変身条件データ
２５（３２Ｆ）…撮影画像データメモリ
２６（３２Ｇ）…マーク付き撮影画像データメモリ
２７（３２Ｈ）…合成画像データメモリ
３０ …サーバ装置
４０ …通信端末Ｂ（ＰＣ）
Ｎ …通信ネットワーク（インターネット）
ＢＧ…背景画像データ
Ｇｎ…撮影画像データ
Ｇｍｎ…マーク付き撮影画像データ
ＧＧｎ…合成画像データ
Ｐ …人物画像（男の子）
Ｋ …人物画像（妹）
Ｊ …人物画像（姉）
【技術分野】
【０００１】
本発明は、動画撮影された人物画像を他のキャラクタ画像に置き換えた合成画像を生成して出力するための合成画像出力装置および合成画像出力処理プログラムに関する。
【背景技術】
【０００２】
近年、特殊撮影の技術の進歩により、ミニチュア撮影、人物と背景画像の合成、コンピュータグラフィックと撮影画像の合成等により、現実にはない情景を画面上に作り出すことが可能となった。そして最近では、モーションキャプチャ技術と３Ｄ画像処理技術によって、予め動画撮影されたモデル（対象人物）の動きにそのまま対応させた任意のキャラクタ画像を動画表示させることができるようになっている。また動画にコメントを追加する画像合成もネットサービスを用いて一般に行なわれるようになってきた。
【０００３】
また従来、同一出願人において、デジタルカメラにより撮影された撮影画像に含まれる各画像部分までの距離情報に応じて、当該撮影画像から置き換え対象となる人物画像を抽出し、この抽出された対象人物画像のポーズ（姿勢）に応じた他のキャラクタ画像からなるまね画像を、当該対象人物画像に置き換え合成して表示する画像出力装置が考えられている（例えば、特許文献１参照。）。
【０００４】
また、同一出願人において、通信ネットワーク上の端末装置から送られてくる撮影された置き換え対象となる人物画像の姿勢を示すポーズ情報を受信し、このポーズ情報に対応した姿勢のキャラクタ画像をデータベースから読み出して前記端末装置へ送信提供する画像配信サーバも考えられている（例えば、特許文献２参照。）。
【０００５】
このような従来の画像出力装置や画像配信サーバによれば、撮影画像の中の任意の対象人物画像を他のキャラクタ画像に置き換え合成して表示あるいはプリントすることが可能となり、ユーザ本人や知人を他のキャラクタ画像に置き換えて楽しんだり、あるいは他人に見られてはいけない人物を対象に他のキャラクタ画像に置き換え偽装したりして、撮影画像を様々な状況でより効果的に利用することができる。
【０００６】
【特許文献１】特許第３９０１０１５号公報
【０００７】
【特許文献２】特許第３９１８６３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
前記従来における撮影人物画像の他のキャラクタ画像への置き換え合成技術では、静止画、動画、何れの場合でも、その対象人物画像をそのまま置き換え合成しているだけなので、特に、動画撮影された人物画像について、特撮やアニメーションのように対象人物の意志をもって、一連のシーンとなるような合成画像を生成することは困難な問題がある。近年、特に実写やアニメーションの映像の途中で顔画像はそのままでコスチューム（衣装）が変身画像になるシーンが多用されるようになっているが、このような変身画像を生成するには変身のための衣装の準備や撮影映像の編集等、多大な労力や専門技術が必要とされた。
【０００９】
本発明は、このような課題に鑑みなされたもので、動画撮影された人物画像について、その人物の意志に従って、撮影された人物の顔画像をつけた変身合成画像を生成することが可能になる合成画像出力装置および合成画像出力処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
請求項１に記載の合成画像出力装置は、予め設定された身振りのモデルデータと変身キャラクタの画像データとを対応付けて記憶する変身データ記憶手段と、動画撮影された一連の撮影画像データを取得する撮影画像取得手段と、この撮影画像取得手段により取得された一連の撮影画像データの中から人物画像を抽出する人物画像抽出手段と、この人物画像抽出手段により抽出された人物画像の中から、前記変身データ記憶手段により記憶されているモデルデータとその予め設定された身振りが一致する人物画像を検出する変身身振り検出手段と、この変身身振り検出手段により予め設定された身振りの人物画像が検出された撮影画像データについて、当該検出された人物画像中の顔画像を除く画像部分を、前記変身データ記憶手段により記憶されている変身キャラクタの画像データに基づき、当該人物画像と同じ姿勢の変身キャラクタの画像データに置き換えた顔画像付の合成画像データを生成する合成画像生成手段と、この合成画像生成手段により生成された一連の合成画像データを出力する合成画像出力手段と、を備えたことを特徴としている。
【００１１】
請求項２に記載の合成画像出力装置は、前記請求項１に記載の合成画像出力装置において、前記変身データ記憶手段は、予め設定された身振りのモデルデータと変身キャラクタの画像データと顔合成位置データとを対応付けて記憶し、前記合成画像生成手段は、前記変身身振り検出手段により検出された人物画像中の顔画像部分を抽出する顔画像部分抽出手段と、この顔画像部分抽出手段により抽出された顔画像部分を、前記顔合成位置データに対応する位置に合わせてサイズ変更して、変身キャラクタの画像データに合成する顔画像合成手段と、を備えたことを特徴としている。
【００１２】
請求項３に記載の合成画像出力装置は、前記請求項１に記載の合成画像出力装置において、前記変身データ記憶手段は、身振りのモデルデータとして、物品を用いて行う物品付身振りのモデルデータを含み、前記変身身振り検出手段は、前記変身データ記憶手段により記憶されている物品付身振りのモデルデータを含む身振りのモデルデータと身振りが一致する物品付きの人物画像を検出する手段を備えたことを特徴としている。
【００１３】
請求項４に記載の合成画像出力装置は、前記請求項１に記載の合成画像出力装置において、前記変身データ記憶手段は、予め設定された身振りのモデルデータと変身キャラクタの画像データおよび音声データとを対応付けて記憶し、前記合成画像生成手段は、前記変身身振り検出手段により予め設定された身振りの人物画像が検出された撮影画像データについて、当該検出された人物画像中の顔画像を除く画像部分を、前記変身データ記憶手段により記憶されている変身キャラクタの画像データに基づき、当該人物画像と同じ姿勢の変身キャラクタの画像データに置き換えると共に、当該変身キャラクタの音声データを対応付けた合成画像データを生成する、ことを特徴としている。
【００１４】
請求項５に記載の合成画像出力装置は、前記請求項１に記載の合成画像出力装置において、前記変身データ記憶手段は、予め設定された身振りのモデルデータと変身キャラクタの画像データおよび音声データと当該変身キャラクタを示すマークデータとを対応付けて記憶し、前記合成画像生成手段は、前記変身身振り検出手段により予め設定された身振りの人物画像が検出された撮影画像データについて、当該検出された人物画像に前記変身データ記憶手段により記憶されている変身キャラクタを示すマークデータを付加したマーク付き撮影画像データを生成するマーク付き撮影画像生成手段を有し、このマーク付き撮影画像生成手段により生成されたマーク付き撮影画像データについて、前記変身キャラクタを示すマークデータが付加された人物画像中の顔画像を除く画像部分を、前記変身データ記憶手段により記憶されている変身キャラクタの画像データに基づき、当該人物画像と同じ姿勢の変身キャラクタの画像データに置き換えると共に、該変身キャラクタの音声データを対応付けた合成画像データを生成し、前記撮影画像取得手段による一連の撮影画像データの取得に伴い、前記マーク付き撮影画像生成手段により生成されたマーク付き撮影画像データを表示させるマーク付き撮影画像表示制御手段と、このマーク付き撮影画像表示制御手段による前記マーク付き撮影画像データの表示制御に伴い、当該マーク付き撮影画像データのマークデータに対応付けられて前記変身データ記憶手段により記憶されている変身キャラクタの音声データを読み出して出力させる音声出力制御手段と、をさらに備えたことを特徴としている。
【００１５】
請求項６に記載の合成画像出力処理プログラムは、コンピュータを、予め設定された身振りのモデルデータと変身キャラクタの画像データとを対応付けてメモリに記憶する変身データ記憶手段、動画撮影された一連の撮影画像データを取得する撮影画像取得手段、この撮影画像取得手段により取得された一連の撮影画像データの中から人物画像を抽出する人物画像抽出手段、この人物画像抽出手段により抽出された人物画像の中から、前記変身データ記憶手段によりメモリに記憶されているモデルデータとその予め設定された身振りが一致する人物画像を検出する変身身振り検出手段、この変身身振り検出手段により予め設定された身振りの人物画像が検出された撮影画像データについて、当該検出された人物画像中の顔画像を除く画像部分を、前記変身データ記憶手段によりメモリに記憶されている変身キャラクタの画像データに基づき、当該人物画像と同じ姿勢の変身キャラクタの画像データに置き換えた顔画像付の合成画像データを生成する合成画像生成手段、この合成画像生成手段により生成された一連の合成画像データを出力する合成画像出力手段、として機能させることを特徴としている。
【００１６】
請求項７に記載の合成画像出力処理プログラムは、前記請求項６に記載の合成画像出力処理プログラムにおいて、前記変身データ記憶手段は、前記コンピュータを、予め設定された身振りのモデルデータと変身キャラクタの画像データとが対応付けられた複数種類の変身データを選択的にダウンロードしてメモリに記憶する手段として機能させることを特徴としている。
【発明の効果】
【００１７】
本発明によれば、動画撮影された人物画像について、その人物の意志に従って、撮影された人物の顔画像をつけた変身合成画像を生成することが可能になる合成画像出力装置および合成画像出力処理プログラムを提供できる。
【発明を実施するための最良の形態】
【００１８】
以下図面により本発明の実施の形態について説明する。
図１は、本発明の合成画像出力装置の実施形態に係るデジタルカメラ１０を利用した動画像の撮影状態と合成画像の生成状態を示す概念図である。
このデジタルカメラ１０は、その背面にＬＣＤ表示部１１、入力部１２、音声出力部（スピーカ）１３を備え、入力部１２の操作に応じて撮影される動画像（撮影画像）Ｇは、リアルタイムで表示部１１に表示される。
【００１９】
このデジタルカメラ１０は、主要な機能として、撮影中の動画像Ｇに含まれる人物画像（Ｐ，Ｊ，Ｋ）を抽出する機能、抽出された人物画像が予め登録された人物画像（Ｐ）であるか否かを顔画像を認識処理して識別する機能、抽出された人物画像が予め登録された人物画像（Ｐ）である場合にその登録人物画像（Ｐ）に対応付けて予め設定された役柄画像（２４Ｇｗ）のマーク（役柄変身マーク２４Ｍｗ）を付加する機能、前記役柄変身マーク２４Ｍｗの付加された人物画像（Ｐ）を同予め設定された役柄画像（２４Ｇｗ）に置き換える機能、抽出された人物画像の予め設定された身振り（モーション）を検出する機能、予め設定された身振りが検出された人物画像（Ｋ）について、予め設定された変身画像（１４Ｇｕ２）のマーク（変身マーク１４Ｍｕ２）を付加する機能、前記変身マーク１４Ｍｕの付加された人物画像（Ｋ）から顔画像（Ｋｆ）を抽出する機能、さらにこの顔画像のままで（Ｋｆ’）顔以外の部分を同予め設定された変身画像（１４Ｇｕ２）に置き換える機能、そして、前記抽出された人物画像（Ｐ，Ｋ）の動きを捉えて元の顔画像のまま前記役柄画像（２４Ｇｗ）や変身画像（１４Ｇｕ）の３Ｄ画像に変換するためのモーションキャプチャ処理機能、３Ｄ画像処理機能などを有する。
なお、前記顔画像認識処理、モーションキャプチャ処理、３Ｄ画像処理については、周知の画像処理技術であるためその詳細な説明を省略する。
このような主要な機能を有するデジタルカメラ１０を、例えば家族で利用してその男の子Ｐを死神役、妹Ｋを美少女戦士Ｂ役（主人公）、姉Ｊを美少女戦士Ａ役（脇役）とした一連のシーンを母親が動画撮影して遊ぶ場合に、当該デジタルカメラ１０において、男の子Ｐの顔画像を死神画像（役柄画像２４Ｇｗ）に対応付けて予め登録する。
【００２０】
そして、死神の鎌に見立てた棒Ｂを振って近づく男の子Ｐと、死神によって操られた設定でふらふら近づく姉Ｊに遭遇して、妹Ｋが魔法スティックに見立てたペンＤを振って変身のためのモーション（身振り）をして美少女戦士Ｂに変身しようとする一連のシーンを、母親がデジタルカメラ１０により動画撮影する。
撮影中の動画像Ｇは、図１（Ａ）に示すように、リアルタイムで表示部１１に表示されると共に、本デジタルカメラ１０が有する前記各種の機能によって解析され、男の子Ｐの人物画像には、対応する死神画像（役柄画像２４Ｇｗ）を示す役柄変身マーク２４Ｍｗが付加表示され、妹Ｋの人物画像には、予め設定された身振り（モーション）が検出された時点以降、対応する美少女戦士Ｂ（変身画像１４Ｇｕ２）を示す身振変身マーク１４Ｍｕ２が付加表示される。なお、姉Ｊの人物画像には、すでに予め設定された身振り（モーション）が検出されており、（変身画像１４Ｇｕ１）を示す変身マーク１４Ｍｕ１が付加表示されるとともに、死神によって装着された仮面画像（Ｇｋ）を示す仮面マークＭｋが付加表示される。
【００２１】
これにより撮影中の母親は、男の子Ｐや妹Ｋや姉Ｊの人物画像がその役柄通りに変身処理され、また姉Ｊの変身処理にさらに仮面画像処理がされていることがわかる。
またこの際、前記美少女戦士Ｂ（変身画像１４Ｇｕ２）と仮面付きの美少女戦士Ａ（変身画像１４Ｇｕ１）死神画像（役柄画像２４Ｇｗ）にそれぞれ対応付けられて予め記憶されている音声データ「キュート♪キュート♪」「クックック、」「ザクッ、ザクッ」が読み出され音声出力部１３から出力されることで、各役柄を演じている最中の妹Ｋや男の子Ｐや姉Ｊにあっても、自らがその役柄通りに変身処理されていることを容易に認識することができる。
【００２２】
なお、前記撮影された動画像（撮影画像）Ｇに対して役柄変身マーク２４Ｍｗや身振変身マーク１４Ｍｕ、が付加された動画像をマーク付き撮影画像Ｇｍと称する。
この後、前記一連のシーンの動画像Ｇの撮影が終了すると共にそのマーク付き撮影画像Ｇｍが生成されると、当該マーク付き撮影画像Ｇｍが前記各種の機能によって解析され、図１（Ｂ）に示すように、前記役柄変身マーク２４Ｍｗの付加された男の子Ｐの人物画像に対応する死神の役柄画像２４Ｇｗと、前記変身マーク１４Ｍｕ２の付加された妹Ｋの人物画像に対応する元の顔画像Ｋｆ’での美少女戦士Ｂの変身画像１４Ｇｕ２、前記変身マーク１４Ｍｕ１と仮面マークＭｋの付加された姉Ｊの人物画像に対応する仮面画像Ｇｋ付きの美少女戦士Ａの変身画像１４Ｇｕ１が、予め設定された背景画像ＢＧに合成されてなる合成動画像ＧＧが生成される。また、変身マークに対応する音声データを対応づけて保存するようにしたので、適切な効果音がついた合成画像を容易に作成することができる。
【００２３】
これによりユーザ家族は、容易に特撮風の合成動画像ＧＧを作ることができ、当該生成された合成動画像ＧＧを表示部１１に出力表示させて見たり、外部のモニタに出力させて視聴することで、これまでにない楽しみを得ることができる。また元の顔を付けて衣装を変えた変身画像を生成するようにしたので、撮影画像そのままの表情の変身画像が容易に作成できる。
【００２４】
図２は、前記デジタルカメラ１０（通信端末Ａ）の電子回路の構成を示すブロック図である。このデジタルカメラ１０は、コンピュータであるＣＰＵ１６を備えている。
ＣＰＵ１６は、メモリ１７に予め記憶されたシステムプログラム、あるいはメモリカードなどの外部記録媒体１８からカードスロットなどの記録媒体読取部１９を介して前記メモリ１７に読み込まれたカメラ制御プログラム、あるいは通信ネットワーク（Ｎ）上のサーバ装置３０（この場合はプログラムサーバ）から電送制御部２０を介して前記メモリ１７に読み込まれたカメラ制御プログラムに従い回路各部の動作を制御する。
【００２５】
ＣＰＵ１６には、前記ＬＣＤ表示部１１、入力部１２、音声出力部１３、メモリ１７、記録媒体読取部１９、電送制御部２０が接続される他に、固体撮像素子（ＣＣＤ）や撮像光学系および距離センサや照度センサを備えた画像撮影部２ｌが接続される。
前記メモリ１７のプログラムメモリ２２には、本デジタルカメラ１０の全体の動作を司るシステムプログラムや撮影動作を司るカメラ制御プログラム、通信ネットワークＮ上のサーバ装置３０や外部の通信端末Ｂ（ＰＣ:personal computer）４０との通信動作を司る通信制御プログラムが記憶されると共に、前記画像撮影部２１により撮影された撮影画像Ｇに基づいて、前述したマーク付き撮影画像Ｇｍや合成画像ＧＧを生成したり出力したりするための前記各種の機能を司る画像処理プログラムが予め記憶される。
【００２６】
そして、前記プログラムメモリ２２に記憶された各種のプログラムは、入力部１２からのキー入力信号や画像撮影部２１からの撮影入力信号、電送制御部２０を介した外部機器（３０，４０）からの受信入力信号に応じて起動される。
また、前記メモリ１７には、変身データメモリ１４、特殊効果データメモリ２３Ａ、防御効果データメモリ２３Ｂ、変身役柄データメモリ２４Ａ、役柄別変身状態メモリ２４Ｂ、撮影画像データメモリ２５、マーク付き撮影画像データメモリ２６、合成画像データメモリ２７、およびその他の作業用データメモリなどが備えられる。
【００２７】
図３は、前記デジタルカメラ１０の変身データメモリ１４に予め記憶される変身データの内容を示す図である。
この変身データメモリ１４は、変身モーションモデルデータ１４Ｐと変身画像データ１４Ｇｕと変身マークデータ１４Ｍｕの記憶領域を有し、変身画像データ１４Ｇｕの記憶領域には、複数種類の変身画像データ（変身キャラクタ）、その音声データおよび顔合成位置データが、例えば美少女戦士Ａの変身画像データ１４Ｇｕ１、その音声データ「レモン♪レモン♪」１４Ｓｕ１、および顔合成位置データ１４Ｆ１、美少女戦士Ｂの変身画像データ１４Ｇｕ２、その音声データ「キュート♪キュート♪」１４Ｓｕ２および顔合成位置データ１４Ｆ２として記憶される。また、変身マークデータ１４Ｍｕの記憶領域には、前記複数種類の変身画像データ１４Ｇｕ１，１４Ｇｕ２をそれぞれ簡易表現する変身マークデータ１４Ｍｕ１，１４Ｍｕ２が記憶される。そして、変身モーションモデルデータ１４Ｐの記憶領域には、前記複数種類の変身画像データ１４Ｇｕ１，１４Ｇｕ２にそれぞれ変身するための一連のモーション（身振り）からなる変身モーションモデルデータ１４Ｐ１ａ〜１４Ｐ１ｃ（回転しながら両手を丸く上げていくモーション），１４Ｐ２ａ〜１４Ｐ２ｃ（回転しながらペンを持つ右手を上げていくモーション）が記憶される。なお美少女戦士Ｂの変身モーションモデルデータ１４Ｐ２ａ〜１４Ｐ２ｃには、ペンを振るモーションモデルデータ部分１４Ｐ２ａＤ〜１４Ｐ２ｃＤが含まれており、ペンの物品を持って行われた特定モーションのみが変身モーションとして検出される。このため美少女戦士Ｂ役のペンを持った人のみが美少女戦士Ｂに変身できることとなる。
【００２８】
なお、前記変身画像データ１４Ｇｕ１，１４Ｇｕ２は、様々な動きを表現した画像データそのもの、又は手足の骨格や顔の特徴点の移動データと３Ｄ画像生成用データとの組み合わせとして記憶される。また前記変身モーションモデルデータ１４Ｐ１ａ〜１４Ｐ１ｃ，１４Ｐ２ａ〜１４Ｐ２ｃは、当該変身モーションを表現した画像データそのもの、又は手足の骨格や顔の特徴点の移動データとして記憶される。
【００２９】
図４は、前記デジタルカメラ１０の特殊効果データメモリ２３Ａに予め記憶される特殊効果データの内容を示す図である。本実施例の特殊効果には、相手を悩乱状態から正常状態に戻すキュア（癒し）効果２３Ｋ１，２３Ｋ２と、相手を正常状態から悩乱状態にするデス（死神）効果２３Ｋ３とがある。
前記特殊効果データメモリ２３Ａは、特殊効果モーションモデルデータ２３Ｐと特殊効果画像データ２３Ｇｕと効果の種類２３Ｗと特殊効果マークデータ２３Ｍｕの記憶領域を有し、特殊効果画像データ２３Ｇｕの記憶領域には、前記複数種類の変身画像データ１４Ｇｕ１，１４Ｇｕ２，２４Ｇｗにそれぞれ対応する特殊効果Ａ，Ｂ，Ｃについて、特殊効果画像データおよびその音声データが、例えば美少女戦士Ａ用の特殊効果画像データ２３Ｇｕ１およびその音声データ「キュアーハート」２３Ｓｕ１、美少女戦士Ｂ用の特殊効果画像データ２３Ｇｕ２およびその音声データ「キュアースター」２３Ｓｕ２、死神用の特殊効果画像データ２３Ｇｕ３およびその音声データ「デスムーン」２３Ｓｕ３として記憶される。
効果の内容２３Ｗの記憶領域は、効果の種類２３Ｋと効果の相手２３Ｔの記憶領域を有し、効果の種類２３Ｋの記憶領域には、相手を悩乱状態から正常状態に戻すキュア（癒し）効果２３Ｋ１，２３Ｋ２と、相手を正常状態から悩乱状態にするデス（死神）効果２３Ｋ３が記憶される。
効果の種類２３Ｗの記憶領域の中の効果の相手２３Ｔの記憶領域には、前記特殊効果Ａ，Ｂ，Ｃについて、「特殊効果が出る相手」として、例えば「特殊効果モーションを向けた相手」２３Ｔ１、「周辺の敵すべて」２３Ｔ２、「周辺の敵すべて」２３Ｔ３が記憶される。ここで周辺の敵とは、美少女戦士Ａ、美少女戦士Ｂに対しては、死神、仮面付（悩乱状態）の美少女戦士をいう。逆に死神、仮面付（悩乱状態）の美少女戦士に対しては、正常な美少女戦士Ａ、美少女戦士Ｂをいう。
また、特殊効果マークデータ２３Ｍｕの記憶領域には、前記複数種類の特殊効果画像データ２３Ｇｕ１，２３Ｇｕ２，２３Ｇｕ３をそれぞれ簡易表現する特殊効果マークデータ２３Ｍｕ１，２３Ｍｕ２，２３Ｍｕ３が記憶される。そして、特殊効果モーションモデルデータ２３Ｐの記憶領域には、前記複数種類の特殊効果画像データ２３Ｇｕ１，２３Ｇｕ２，２３Ｇｕ３をそれぞれ対応する変身画像データ１４Ｇｕ１，１４Ｇｕ２，２３Ｇｗの所定の位置から発生させて付加するための一連のモーション（身振り）からなる特殊効果モーションモデルデータ２３Ｐ１ａ〜２３Ｐ１ｃ（両腕を左右に離した状態から両手を手前で合わせて特殊効果を与える相手に向けて突き出すモーション），２３Ｐ２ａ〜２３Ｐ２ｃ（左手を腰につけて右手でペンを持ち頭上でくるくる回すモーション），２３Ｐ３ａ〜２３Ｐ３ｃ（右手で棒を前方に振り下ろすモーション）が記憶される。なお美少女戦士Ｂの特殊効果モーションモデルデータ２３Ｐ２ａ〜２３Ｐ２ｃには、ペンを振るモーションモデルデータ部分２３Ｐ２ａＤ〜２３Ｐ２ｃＤが含まれている。このため、ペンの物品を持って行われた特定モーションのみが特殊効果モーションとして検出されので、美少女戦士Ｂ役のペンを持った人のみが美少女戦士Ｂの特殊効果を出せることとなる。
【００３０】
なお、前記特殊効果画像データ２３Ｇｕ１，２３Ｇｕ２，２３Ｇｕ３は、画像データそのもの、又は３Ｄ画像生成用データとして記憶される。また前記特殊効果モーションモデルデータ２３Ｐ１ａ〜２３Ｐ１ｃ，２３Ｐ２ａ〜２３Ｐ２ｃ，２３Ｐ３ａ〜２３Ｐ３ｃは、当該特殊効果モーションを表現した画像データそのもの、又は手足の骨格や顔の特徴点の移動データとして記憶される。
【００３１】
図５は、前記デジタルカメラ１０の防御効果データメモリ２３Ｂに予め記憶される防御効果データの内容を示す図である。防御効果は、相手から受けた特殊効果を無効化する効果である。例えば相手の特殊効果モーションによって、「キュア効果」２３Ｋ１，２３Ｋ２や、デス効果２３Ｋ３等をされた人が、この防御効果モーションを行うことにより、相手の特殊効果を防御して、無効化するものである。
前記特殊効果とこの防御効果を用いることにより、例えば美少女戦士Ａが死神Ｐに向けてキュア効果モーション２３Ｐ１ａ〜２３Ｐ１ｃを行って、キュア効果２３Ｋ１を出したり（図１７）、死神Ｐが美少女戦士Ａから受けたキュア効果２３Ｋ１に対して、防御効果を出してキュア効果を無効化したり（図１７）、死神Ｐが美少女戦士Ａに対してデス効果２３Ｋ３を出して美少女戦士Ａを仮面付の悩乱状態にしたり（図１８）、美少女戦士Ｂが悩乱状態の美少女戦士Ａと死神Ｐに対して、キュア効果２３Ｋ２を出して（図２１）、美少女戦士Ａを仮面なしの正常状態にし、死神Ｐを王子Ｐに変身させたり（図２２）といったシナリオを、特殊効果モーションをつけて演技するだけで、事前の準備なしに、特撮風に撮影画像中の顔画像がついた変身合成画像の動画を作成できることとなる。
この防御効果データメモリ２３は、特殊効果モーションモデルデータ２３'Ｐと防御効果画像データ２３'Ｇｕと防御効果マークデータ２３'Ｍｕの記憶領域を有し、防御効果画像データ２３'Ｇｕの記憶領域には、防御効果Ａ，Ｂについて、防御効果画像データおよびその音声データが、例えば死神Ｐ用のデス特殊を無効にする効果画像データ２３'Ｇｕ１およびその音声データ「バキン」２３'Ｓｕ１、美少女戦士Ｂ用のキュア特殊を無効にする防御効果画像データ２３'Ｇｕ２およびその音声データ「パーン」２３'Ｓｕ２として記憶される。また、防御効果マークデータ２３'Ｍｕの記憶領域には、前記複数種類の防御効果画像データ２３'Ｇｕ１，２３'Ｇｕ２をそれぞれ簡易表現する防御効果マークデータ２３'Ｍｕ１，２３'Ｍｕ２が記憶される。そして、防御効果モーションモデルデータ２３'Ｐの記憶領域には、前記複数種類の特殊効果画像データ２３'Ｇｕ１，２３'Ｇｕ２をそれぞれ対応する変身画像データ１４Ｇｕ１，１４Ｇｕ２の所定の位置で防御するための一連のモーション（身振り）からなる防御効果モーションモデルデータ２３'Ｐ１ａ〜２３'Ｐ１ｃ（顔の前方で右手でペンを回転させるモーション），２３'Ｐ２ａ〜２３'Ｐ２ｃ（棒を突き出したり頭上手前に傾けたりするモーション）が記憶される。
【００３２】
なお美少女戦士Ｂの防御効果モーションモデルデータ２３'Ｐ１ａ〜２３Ｐ１ｃには、ペンを振るモーションモデルデータ部分２３'Ｐ１ａＤ〜２３'Ｐ１ｃＤが含まれている。そして、ペンの物品を持って行われた特定モーションのみが防御効果モーションとして検出され、美少女戦士Ｂ役のペンを持った人のみが美少女戦士Ｂの防御の防御効果を出せることとなる。また死神Ｐの防御効果モーションモデルデータ２３'Ｐ２ａ〜２３'Ｐ２ｃには、棒を振るモーションモデルデータ部分２３'Ｐ２ａＢ〜２３'Ｐ２ｃＢが含まれている。そして、棒の物品を持って行われた特定モーションのみが防御効果モーションとして検出され、死神役Ｐの棒を持った人のみが死神役Ｐの防御の防御効果を出せることとなる。
【００３３】
図６は、前記デジタルカメラ１０の役柄データメモリ２４Ａに記憶される役柄データの内容を示す図である。
この役柄データメモリ２４Ａは、ユーザ登録される変身対象画像データ２４Ｔ、変身（１）画像データ２４Ｇｗと変身（１）マークデータ２４Ｍｗ、変身（２）画像データ２４Ｇｗ′と変身（２）マークデータ２４Ｍｗ′、変身条件データ２４Ｈの記憶領域を有し、変身（１）画像データ２４Ｇｗの記憶領域には、複数種類の第１段階の変身画像データ（変身キャラクタ）およびその音声データが設定される。
変身対象画像データ２４Ｔの記憶領域には、役柄別に複数種類の変身画像データ２４Ｇｗに変身させて置き換えるための対象となる人物の顔画像が、例えば登録Ａ；男の子の顔画像Ｐとしてユーザ登録され記憶される。登録Ａの男の子Ｐの画像に対応して役柄-死神の変身（１）画像データ２４Ｇｗ１およびその音声データ「ザクッ、ザクッ」２４Ｓｗ１として記憶される。また、変身(１)マークデータ２４Ｍｗの記憶領域には、前記変身（１）画像データ２４Ｇｗ１を簡易表現する変身(１)マークデータ２４Ｍｗ１が記憶される。
また、変身（２）画像データ２４Ｇｗ′の記憶領域には、前記第１段階の変身画像データ２４Ｇｗ１に対応する第２段階の変身画像データ２４Ｇｗ１′およびその音声データ２４Ｓｗ１′が記憶される。また、変身（２）マークデータ２４Ｍｗ′の記憶領域には、前記変身（２）画像データ２４Ｇｗ１′を簡易表現する変身（２）マークデータ２４Ｍｗ１′が記憶される。さらに、変身条件データ２４Ｈの記憶領域には、前記第１段階の変身（１）画像データ２４Ｇｗ１から第２段階の変身（２）画像データ２４Ｇｗ１′に変身するための条件データ２４Ｈ１が記憶される。例えば、男の子（Ｐ）の画像に対応して役柄-王子の変身の画像データ２４Ｇｗ１’およびその音声データ「キラリ、キラリ、」が設定されている。また、変身条件データ２４Ｈ１として「美少女戦士Ｂのキュア効果」が設定されている。
【００３４】
また、図２の役柄別変身状態メモリ２４Ｂには、登録者（登録Ａ〜登録Ｄ）についての現時点での変身状態（変身（１）又は変身（２））を記憶しており、初期状態では、変身（１）を記憶している。各役柄別の変身条件が満たされた時点（たとえば、登録Ｃでは、「変身ポーズが検出された後」）で、この役柄別の変身状態が「変身（２）」に変更して記憶される。なお本実施例では、役柄の（登録Ｂ〜登録Ｄ）は、未登録となっている。
【００３５】
なお、前記変身（１）（２）画像データ２４Ｇｗ，２４Ｇｗ′は、様々な動きを表現した画像データそのもの、又は手足の骨格や顔の特徴点の移動データと３Ｄ画像生成用データとの組み合わせとして記憶される。
撮影画像データメモリ２５には、画像撮影部２１により静止画または動画撮影されて入力された撮影画像データＧが記憶される。
【００３６】
マーク付き撮影画像データメモリ２６には、前記撮影画像データメモリ２５に動画撮影されて記憶された撮影画像データＧに基づき、前記画像処理プログラムに従い撮影にリアルタイムで生成されたマーク付き撮影画像データＧｍ（図１（Ａ）参照）が順次記憶される。
【００３７】
合成画像データメモリ２７には、前記マーク付き撮影画像データメモリ２６に生成記憶されたマーク付き撮影画像データＧｍに基づき、前記画像処理プログラムに従い生成された合成画像データＧＧ（図１（Ｂ）参照）が記憶される。
なお、前記構成のデジタルカメラ１０は、当該デジタルカメラ１０自体により動画撮影される撮影画像データＧに基づいて、前記マーク付き撮影画像データＧｍ（図１（Ａ）参照）をリアルタイムに生成表示し、この後に当該マーク付き撮影画像データＧｍから前記合成画像データＧＧ（図１（Ｂ）参照）を生成して表示あるいは外部に出力するものである。これに対し、前記デジタルカメラ１０が有する撮影機能以外の前記動画撮影された撮影画像データＧからマーク付き撮影画像データＧｍ（図１（Ａ）参照）を生成し、このマーク付き撮影画像データＧｍから合成画像データＧＧ（図１（Ｂ）参照）を生成するための各種の機能を、通信ネットワークＮ上のサーバ装置３０に備えさせ、通信機能付きのデジタルカメラ（通信端末Ａ）１０′やＰＣ（通信端末Ｂ）４０から転送された動画撮影データＧに基づき、当該サーバ装置３０が前記マーク付き撮影画像データＧｍおよび合成画像データＧＧを生成し、前記各通信端末（Ａ）１０′，（Ｂ）４０に応答配信してサービスを提供する構成としてもよい。
【００３８】
図７は、本発明の合成画像出力装置の実施形態に係るサーバ装置３０の電子回路の構成を示すブロック図である。
このサーバ装置３０は、コンピュータであるＣＰＵ３１を備えている。
ＣＰＵ３１は、メモリ３２に予め記憶されたシステムプログラム、あるいはＣＤ−ＲＯＭなどの外部記録媒体３３から光ディスクドライブなどの記録媒体読取部３４を介して前記メモリ３２に読み込まれたサーバ制御プログラムに従い回路各部の動作を制御する。
【００３９】
ＣＰＵ３１には、前記メモリ３２、記録媒体読取部３４が接続される他に、通信ネットワークＮ上の通信端末Ａ（デジタルカメラ）１０′や通信端末Ｂ（ＰＣ）４０との間でデータの電送制御を行うための電送制御部３５、キーボード・マウスなどの入力部３６、ＬＣＤ表示部３７が接続される。
【００４０】
前記メモリ３２のプログラムメモリ３２Ａには、本サーバ装置３０の全体の動作を司るシステムプログラム、通信ネットワークＮ上の各通信端末Ａ（デジタルカメラ）１０′や通信端末Ｂ（ＰＣ）４０との通信動作を司る通信制御プログラムが記憶されると共に、当該外部の各通信端末Ａ１０′，Ｂ４０から転送された動画撮影画像データＧに基づいて、前述したデジタルカメラ１０と同様にマーク付き撮影画像Ｇｍや合成画像ＧＧを生成したり出力（配信）したりするための前記図１を参照して説明した各種の機能を司る画像処理プログラムが予め記憶される。
【００４１】
そして、前記プログラムメモリ３２Ａに記憶された各種のプログラムは、入力部３６からの入力信号、電送制御部３５を介した外部の各通信端末Ａ１０′，Ｂ４０からの受信入力信号に応じて起動される。
また、前記メモリ３２には、前記図１〜図６を参照して説明したデジタルカメラ１０におけるそれと略同一のデータ内容である、変身データメモリ３２Ｂ、特殊効果データメモリ３２ＣＡ、特殊効果データメモリ３２ＣＢ，破壊データメモリ３２Ｄ、変身役柄データメモリ３２Ｄ、役柄別変身状態メモリ３２Ｅ、撮影画像データメモリ３２Ｆ、マーク付き撮影画像データメモリ３２Ｇ、合成画像データメモリ３２Ｈ、およびその他の作業用データメモリなどが備えられる。
【００４２】
これにより、サーバ装置３０では、通信ネットワークＮに接続された通信端末Ａ（デジタルカメラ）１０′や通信端末Ｂ（ＰＣ）４０から転送された動画撮影画像データＧに基づき、前記同様のマーク付き撮影画像データＧｍ（図１（Ａ）参照）および合成画像データＧＧ（図１（Ｂ）参照）を生成すると共に、前記撮影画像データＧの転送元である各通信端末Ａ１０′，Ｂ４０に応答配信してサービスを提供できる。
【００４３】
次に、前記構成のデジタルカメラ１０あるいはサーバ装置３０による合成画像出力装置の動作について説明する。
図８は、前記合成画像出力装置による合成画像出力処理の全体過程を示すフローチャートである。
図９は、前記合成画像出力処理に伴い撮影画像（Ｇ）中に存在する人物（Ｐ，Ｊ，Ｋ）の対象画像を抽出する対象画像抽出処理を示すフローチャートである。
【００４４】
図１０は、前記合成画像出力処理に伴い役柄登録された人物画像（Ｐ）に変身マーク（２４Ｍｗ）を付加する役柄変身マーク処理を示すフローチャートである。
【００４５】
図１１は、前記合成画像出力処理に伴い変身モーション（１４Ｐ）の検出された人物画像（Ｊ，Ｋ）に変身マーク（１４Ｍｕ）を付加すると共に対応音声（１４Ｓｕ）を出力するモーション変身マーク処理を示すフローチャートである。
図１２は、前記合成画像出力処理に伴い特殊効果モーション（２３Ｐ）の検出された人物画像（Ｊ，Ｋ）に特殊効果マーク（２３Ｇｕ）を付加すると共に対応音声（２３Ｓｕ）を出力する特殊効果マーク処理を示すフローチャートである。
【００４６】
図１３は、前記合成画像出力処理に伴い変身マーク（２４Ｍｗ）（１４Ｍｕ）の付加された人物画像（Ｐ）（Ｊ，Ｋ）を変身画像（２４Ｇｗ）（１４Ｇｕ）に置き換え合成すると共に対応音声（２４Ｓｗ）（１４Ｓｕ）の出力を設定する変身マーク合成処理を示すフローチャートである。
【００４７】
図１４は、前記合成画像出力処理に伴い特殊効果マーク（２３Ｇｕ）の付加された人物画像（Ｋ）の所定位置に特殊効果画像２３Ｇｕを追加合成すると共に対応音声（２３Ｓｕ）の出力を設定する特殊効果マーク合成処理を示すフローチャートである。
【００４８】
図１５〜図２２は、前記合成画像出力処理に伴う動画撮影画像（Ｇ）に基づいた画像処理状態を順次代表的なコマ送り（その１）〜（その８）にして示す図であり、同図（Ａ）は撮影画像Ｇを示す図、同図（Ｂ）はマーク付き撮影画像Ｇｍを示す図、同図（Ｃ）は合成画像ＧＧを示す図である。
【００４９】
前記図８における合成画像出力処理のステップＳ１〜Ｓ３の処理は、前記図１５（Ａ）〜図２２（Ａ）に示すように、動画撮影される各コマの撮影画像（Ｇ）が取得されるのに伴い繰り返し実行され、前記図１５（Ｂ）〜図２２（Ｂ）に示すようなマーク付き撮影画像（Ｇｍ）が生成出力される。
【００５０】
そして、前記図８における合成画像出力処理のステップＳ４〜Ｓ７の処理は、前記図１５（Ｂ）〜図２２（Ｂ）に示すように生成された一連のマーク付き撮影画像（Ｇｍ）に基づき実行され、前記図１５（Ｃ）〜図２２（Ｃ）に示すような合成画像（ＧＧ）が生成出力される。
【００５１】
なお、ここでは前記デジタルカメラ１０（図２参照）において図８における合成画像出力処理を実行した場合を主体にして説明し、前記サーバ装置３０（図７参照）において同合成画像出力処理を実行した場合については、略同じ処理内容となるためその説明を省略する。
【００５２】
デジタルカメラ１０の画像撮影部１３により、例えば図１５（Ａ）〜図２２（Ａ）で示すように家族によって演じられる一連のシーンが撮影されると、その撮影画像Ｇ１〜Ｇ８は順次撮影画像データメモリ２５に記憶され保存され（ステップＳ１）、リアルタイムで図９における対象画像抽出処理へ移行される（ステップＳＡ）。
【００５３】
この対象画像抽出処理は、２通りの方式があり、図９（Ａ）に示す対象画像抽出処理（方式１）では、前記撮影画像データメモリ２５に順次保存される撮影画像データＧｎが作業用メモリに一時転送記憶され（ステップＡ１１）、前回の撮影画像データＧｎ−１と今回の撮影画像データＧｎとの画像の変化部分がブロック化されて抽出される（ステップＡ１２）。
【００５４】
すると、前記撮影画像データＧｎ上でブロック化された位置情報が、人物や物体である対象画像の位置情報となり、当該撮影画像データＧｎの付加情報として前記撮影画像データメモリ２５に記憶される（ステップＡ１３）。
【００５５】
一方、図９（Ｂ）に示す対象画像抽出処理（方式２）では、前記撮影画像データメモリ２５に順次保存される撮影画像データＧｎの付加情報である前記画像撮影部２１の距離センサにより取得された被写体までの距離情報が読み出され（ステップＡ２１）、その中で近距離に存在する画像部分がブロック化されて抽出される（ステップＡ２２）。
【００５６】
すると、前記撮影画像データＧｎ上でブロック化された位置情報が、人物や物体である対象画像の位置情報となり、当該撮影画像データＧｎの付加情報として前記撮影画像データメモリ２５に記憶される（ステップＡ２３）。
【００５７】
すなわち、図９（Ｂ）で示した対象画像抽出処理（方式２）は、撮影画像データＧｎの付加情報として被写体までの距離情報が必要になるため、デジタルカメラ１０での処理に適し、また、図９（Ａ）で示した対象画像抽出処理（方式１）は、逆に前記撮影画像データＧｎにおける被写体までの距離情報を必要としないので、サーバ装置３０での処理に適している。
【００５８】
このように、前記対象画像抽出処理（ステップＳＡ）により、撮影画像データＧｎの中に存在する人物画像（Ｊ，Ｐ，Ｋ）が抽出されると、図１０における役柄変身マーク処理へ移行される（ステップＳＢ）。
【００５９】
この役柄変身マーク処理では、前記対象画像抽出処理により抽出された撮影画像データＧｎの中の人物画像（Ｊ，Ｐ，Ｋ）について、前記役柄データメモリ２４Ａ（図６参照）にユーザ登録された変身対象（顔）画像データ２４Ｔとしての人物画像（Ｊ）が含まれるか否かが前記顔画像認識処理を用いて識別される（ステップＢ１）。
【００６０】
ここで、変身対象（顔）画像データ２４Ｔとしての男の子の人物画像Ｐが含まれていないことが識別されると（ステップＢ１（Ｎｏ））、本処理を終了し、モーション変身マーク処理（ＳＤ）に進む。また、図１５（Ａ）〜図２２（Ａ）の撮影画像データＧ１〜Ｇ８にそれぞれ示すように、変身対象（顔）画像データ２４Ｔとしての男の子の人物画像Ｐが含まれていることが識別されると（ステップＢ１（Ｙｅｓ））、メモリ２４Ｂの役柄別変身状態メモリ内のワークエリア内の役柄状態フラグが検出され、現在の男の子人物画像に対応する登録Ａの役柄状態フラグが検出される。
【００６１】
そして、変身（２）の状態でない（変身（１）の状態である）と判断されると（ステップＢ２（Ｎｏ））、ステップＢ６で変身対象画像が含まれる一連の撮影画像中に、特殊効果モーションが検出されたか否かが判断される。（この特殊効果については後述の特殊効果マーク処理で詳述する。）例えば図１５では、特殊効果モーションは検出されないので（ステップＢ６（Ｎｏ））、ステップＢ８へ処理が進み、前記役柄データメモリ２４Ａ（図６参照）に対応付けられて記憶されている変身（１）の死神Ａの変身マークデータ２４Ｍｗ１が読み出されると共に、前記識別された男の子の人物画像Ｐの顔画像認識された位置に対応して付加され、図１５（Ｂ）〜図２１（Ｂ）に示すようなマーク付き撮影画像データＧｍ１〜Ｇｍ８として作業用データメモリに一時保存されると共に表示部１１に表示される（ステップＢ８）。
【００６２】
なお、前記登録された人物画像Ｐの顔画像の位置に対応付加される変身マークデータ２４Ｍｗ１は、当該顔画像に重ねて付加されるか、または当該顔画像の近傍に付加されるかの何れであってもよい。
【００６３】
そして、現在デジタルカメラ１０による撮影中にあると判断された場合には（ステップＢ４（Ｙｅｓ））、前記役柄データメモリ２４Ａ（図６参照）に対応付けられて記憶されている音声データ「ザクッ、ザクッ」２４Ｓｗ１が読み出され、同図１５（Ｂ）〜図２１（Ｂ）に示すように音声出力部１３から出力される（ステップＢ５）。
【００６４】
また、現在の男の子人物画像に対応する登録Ａの変身状態が検出され変身（２）の状態でない（変身（１）の状態である）と判断されると（ステップＢ２（Ｎｏ））、ステップＢ６で変身対象画像が含まれる一連の撮影画像中に、特殊効果モーションが検出されたか否かが判断され、例えば、図２１に示すように特殊効果モーション２３Ｐ２ａが妹Ｋによって行われたことが検出された場合には、（ステップＢ６（Ｙｅｓ））→Ｂ７と処理が進み、メモリ２４Ｂの役柄別変身状態メモリ内のワークエリア内の役柄状態フラグが変身（２）の状態に変更され（ステップＢ７）、変身対象画像に対応する位置に変身（２）マーク２４Ｍｗ１’が付加され、図１５（Ｂ）〜図２２（Ｂ）に示すようなマーク付き撮影画像データＧｍ１〜Ｇｍ８として作業用データメモリに一時保存されると共に表示部１１に表示される（ステップＢ３）。
【００６５】
そして、現在デジタルカメラ１０による撮影中にあると判断された場合には（ステップＢ４（Ｙｅｓ））、前記役柄データメモリ２４Ａ（図６参照）に対応付けられて記憶されている音声データ「キラリ、キラリ」２４Ｓｗ１’が読み出され、同図２２（Ｂ）に示すように音声出力部１３から出力される（ステップＢ５）。
【００６６】
また、現在の男の子人物画像に対応する登録Ａの変身状態が検知され、変身（２）の状態であると判断されると（ステップＢ２（Ｙｅｓ））、変身対象画像に対応する位置に変身（２）マーク２４Ｍｗ１’が付加され、図１５（Ｂ）〜図２２（Ｂ）に示すようなマーク付き撮影画像データＧｍ１〜Ｇｍ８として作業用データメモリに一時保存されると共に表示部１１に表示される（ステップＢ３）。
【００６７】
そして、現在デジタルカメラ１０による撮影中にあると判断された場合には（ステップＢ４（Ｙｅｓ））、前記役柄データメモリ２４Ａ（図６参照）に対応付けられて記憶されている音声データ「キラリ、キラリ」２４Ｓｗ１’が読み出され、同図１５（Ｂ）〜図２１（Ｂ）に示すように音声出力部１３から出力される（ステップＢ５）。
【００６８】
すると次に、図１１におけるモーション変身マーク処理へ移行される（ステップＳＤ）。
このモーション変身マーク処理では、前記対象画像抽出処理により抽出される一連の撮影画像データＧｎの中の人物画像（Ｊ，Ｐ，Ｋ）について、前記変身データメモリ１４（図３参照）に予め記憶された美少女戦士Ａの一連の変身モーションモデルデータ１４Ｐ１ａ〜１４Ｐ１ｃや美少女戦士Ｂの一連の変身モーションモデルデータ１４Ｐ２ａ〜１４Ｐ２ｃと一致する画像部分が検出されたか否か判断される。この際変身モーションモデルデータ１４Ｐ２ａ〜１４Ｐ２ｃには、ペンを振るモーションモデルデータ部分１４Ｐ２ａＤ〜１４Ｐ２ｃＤが含まれているので、ペンの物品を持って行われた特定モーションのみが変身モーションとして検出される。このため美少女戦士Ｂ役のペンを持った人のみが美少女戦士Ｂに変身できることとなる。（ステップＤ１）。
【００６９】
ここで、図１６（Ａ）の撮影画像データＧ２に示すように、前記対象画像抽出処理により抽出される一連の姉の人物画像Ｊについて、前記変身データメモリ１４（図３参照）に予め記憶された美少女戦士Ａの一連の変身モーションモデルデータ１４Ｐ１ａ〜１４Ｐ１ｃと身振りが一致する画像部分であると検出されると（ステップＤ１（Ｙｅｓ））、当該変身データメモリ１４（図３参照）に対応付けられて記憶されている美少女戦士Ａの変身マークデータ１４Ｍｕ１が読み出されると共に、前記モーション検出された子供の人物画像Ｋの顔画像認識された位置に対応して付加され、図１６（Ｂ）に示すようなマーク付き撮影画像データＧｍ２として作業用データメモリに一時保存され表示部１１に表示される（ステップＤ２）。また、身振りが一致する画像部分が検出されない場合は（ステップＤ１（Ｎｏ））、本処理を終了し、特殊効果マーク処理（ＳＥ）に進む。
なお、前記モーション検出された人物画像Ｋの顔画像の位置に対応付加される変身マークデータ１４Ｍｕ１は、当該顔画像に重ねて付加されるか、または当該顔画像の近傍に付加されるかの何れであってもよい。
そして、現在デジタルカメラ１０による撮影中にあると判断された場合には（ステップＤ３（Ｙｅｓ））、前記変身データメモリ１４（図３参照）に対応付けられて記憶されている美少女戦士Ａの音声データ「レモン♪レモン♪」１４Ｓｕ１が読み出され、同図１６（Ｂ）に示すように音声出力部１３から出力される（ステップＤ４）。
【００７０】
また、図２０（Ａ）の撮影画像データＧ６に示すように、前記対象画像抽出処理により抽出される一連の妹の人物画像Ｋについて、前記変身データメモリ１４（図３参照）に予め記憶された美少女戦士Ｂの一連の変身モーションモデルデータ１４Ｐ１ａ〜１４Ｐ１ｃと身振りが一致する画像部分であるか否かが判断される。美少女戦士Ｂの変身モーションモデルデータ１４Ｐ２ａ〜１４Ｐ２ｃには、ペンを振るモーションモデルデータ部分１４Ｐ２ａＤ〜１４Ｐ２ｃＤが含まれており、ペンの物品を持って行われた特定モーションのみが変身モーションとして検出される。このため美少女戦士Ｂ役のペンを持った人のみが美少女戦士Ｂに変身できることとなる。一致すると判断されると（ステップＤ１（Ｙｅｓ））、当該変身データメモリ１４（図３参照）に対応付けられて記憶されている美少女戦士Ｂの変身マークデータ１４Ｍｕ２が読み出されると共に、前記モーション検出された子供の人物画像Ｋの顔画像認識された位置に対応して付加され、図２０（Ｂ）〜図２２（Ｂ）に示すようなマーク付き撮影画像データＧｍ６〜Ｇｍ８として作業用データメモリに一時保存され表示部１１に表示される（ステップＤ２）。
なお、前記モーション検出された人物画像Ｋの顔画像の位置に対応付加される変身マークデータ１４Ｍｕ２は、当該顔画像に重ねて付加されるか、または当該顔画像の近傍に付加されるかの何れであってもよい。
【００７１】
そして、現在デジタルカメラ１０による撮影中にあると判断された場合には（ステップＤ３（Ｙｅｓ））、前記変身データメモリ１４（図３参照）に対応付けられて記憶されている美少女戦士Ａの音声データ「キュート♪キュート♪」１４Ｓｕ２が読み出され、同図２０（Ｂ）〜図２２（Ｂ）に示すように音声出力部１３から出力される（ステップＤ４）。
【００７２】
すると次に、図１２における特殊効果マーク処理へ移行される（ステップＳＥ）。
本実施例では、特殊効果には、相手を悩乱状態から正常状態に戻すキュア（癒し）効果２３Ｋ１，２３Ｋ２と、相手を正常状態から悩乱状態にするデス（死神）効果２３Ｋ３とがある。
この特殊効果マーク処理では、前記対象画像抽出処理により抽出される一連の撮影画像データＧｎの中の人物画像（Ｐ，Ｊ，Ｋ）について、前記特殊効果データメモリ２３Ａ（図４参照）に予め記憶された特殊効果Ａの一連の変身モーションモデルデータ２３Ｐ１ａ〜２３Ｐ１ｃや特殊効果Ｂの一連の変身モーションモデルデータ２３Ｐ２ａ〜２３Ｐ２ｃや特殊効果Ｃの一連の変身モーションモデルデータ２３Ｐ３ａ〜２３Ｐ３ｃと一致する画像部分が検出されたか否か判断される。この際、特殊効果Ｂ，特殊効果Ｃのように、特殊効果モーションにペンや棒が含まれる場合は、ペンや棒を持つ人のみ特殊効果モーションとして検出される（ステップＥ１）。
【００７３】
ここで、図１７（Ａ）の撮影画像データＧ３に示すように、前記対象画像抽出処理により抽出される一連の姉の人物画像Ｊについて、前記特殊効果データメモリ２３Ａ（図４参照）に予め記憶された特殊効果Ａの一連の変身モーションモデルデータ２３Ｐ１ａ〜２３Ｐ１ｃと身振りが一致する画像部分であると検出されると（ステップＥ１（Ｙｅｓ））、当該特殊効果データメモリ２３Ａ（図４参照）に対応付けられて記憶されている特殊効果Ａの特殊効果マークデータ２３Ｍｕ１が読み出されると共に、前記モーション検出された姉の人物画像Ｊの所定位置（例えば画像上部から３分の１の位置）に対応して前記死神Ｐの変身マークデータ２４Ｍｗ１が付加されている人物画像（男の子）Ｐの方向へ向けて付加され、図１７（Ｂ）に示すようなマーク付き撮影画像データＧｍ３として作業用データメモリに一時保存され表示部１１に表示される（ステップＥ２）。
【００７４】
そして、現在デジタルカメラ１０による撮影中にあると判断された場合には（ステップＥ３（Ｙｅｓ））、前記特殊効果データメモリ２３Ａ（図４参照）に対応付けられて記憶されている特殊効果Ａの音声データ「キュアーハート」２３Ｓｕ１が読み出され、同図１７（Ｂ）に示すように音声出力部１３から出力される（ステップＥ４）。このようにデジタルカメラから特殊効果Ａの音声データ「キュアーハート」２３Ｓｕ１が出ることで、特殊効果の処理が適切にコンピュータに実行されていることが、演技者（姉、男の子）に、音により認識できる。また演技者は、特殊効果の音声データによりリアルな感覚で演技をすることができる。なお、前記モーション検出された人物画像Ｋの所定位置に対応付加される特殊効果マークデータ２４Ｍｕ１は、当該人物画像Ｋに重ねて付加されるか、または当該人物画像Ｋの近傍に付加されるかの何れであってもよい。これにより撮影中の母親は、姉Ｊが、特殊効果モーションを行った結果、コンピュータにより特殊効果処理が適切に実行され、特殊効果画像が付加された合成画像が作成されることを容易に認識することができる。
【００７５】
また同図１８（Ａ）の撮影画像データＧ４に示すように、前記対象画像抽出処理により抽出される一連の男の子の人物画像Ｐについて、前記特殊効果データメモリ２３Ａ（図４参照）に予め記憶された特殊効果Ｃの一連の変身モーションモデルデータ２３Ｐ３ａ〜２３Ｐ３ｃと、棒を持つ部分（２３Ｐ３ａＢ〜２３Ｐ３ｃＢ）も含めて、身振りが一致する画像部分であると検出されると（ステップＥ１（Ｙｅｓ））、当該特殊効果データメモリ２３Ａに対応付けられて記憶されている特殊効果の特殊効果マークデータ２３Ｍｕ３が読み出されると共に、前記モーション検出された子供の人物画像Ｐの所定位置（例えば画像上部から３分の１の位置）に対応して前記美少女戦士Ａの変身マークデータ２４Ｍｕ１が付加されている人物画像（姉）Ｊの方向へ向けて付加され、図１７（Ｂ）に示すようなマーク付き撮影画像データＧｍ４として作業用データメモリに一時保存され表示部１１に表示される（ステップＥ２）。そして、現在デジタルカメラ１０による撮影中にあると判断された場合には（ステップＥ３（Ｙｅｓ））、前記特殊効果データメモリ２３Ａ（図４参照）に対応付けられて記憶されている特殊効果Ｃの音声データ「デスムーン」２３Ｓｕ３が読み出され、同図１７（Ｂ）に示すように音声出力部１３から出力される（ステップＥ４）。このようにデジタルカメラから特殊効果Ａの音声データ「デスムーン」２３Ｓｕ３が出ることで、特殊効果の処理が適切にコンピュータに実行されていることが、演技者（姉、男の子）に、音により認識できる。
【００７６】
また同図２１（Ａ）の撮影画像データＧ７に示すように、前記対象画像抽出処理により抽出される一連の妹の人物画像Ｋについて、前記特殊効果データメモリ２３Ａに予め記憶された特殊効果Ｂの一連の特殊効果モーションモデルデータ２３Ｐ２ａ〜２３Ｐ２ｃと、ペンを持つ部分（２３Ｐ２ａＤ〜２３Ｐ２ｃＤ）も含めて、身振りが一致する画像部分であると検出されると（ステップＥ１（Ｙｅｓ））、当該特殊効果データメモリ２３Ａ（図４参照）に対応付けられて記憶されている特殊効果Ｂの特殊効果マークデータ２３Ｍｕ２が読み出されると共に、前記モーション検出された妹の人物画像Ｋの所定位置（例えば画像上部から３分の１の位置）に対応して前記仮面のマークデータＭｋが付加されている人物画像（姉）Ｊと死神Ｐの変身マークデータ２４Ｍｗ１が付加されている人物画像（男の子）Ｐの方向へ向けて付加され、図２１（Ｂ）に示すようなマーク付き撮影画像データＧｍ７として作業用データメモリに一時保存され表示部１１に表示される（ステップＥ２）。そして、現在デジタルカメラ１０による撮影中にあると判断された場合には（ステップＥ３（Ｙｅｓ））、前記特殊効果データメモリ２３Ａ（図４参照）に対応付けられて記憶されている特殊効果Ｂの音声データ「キュアースター」２３Ｓｕ２が読み出され、同図２１（Ｂ）に示すように音声出力部１３から出力される（ステップＥ４）。このようにデジタルカメラから特殊効果Ｂの音声データ「キュアースター」２３Ｓｕ２が出ることで、特殊効果の処理が適切にコンピュータに実行されていることが、演技者（妹、姉、男の子）に、音により認識できる。
【００７７】
上述のように特殊効果には、相手を悩乱状態から正常状態に戻すキュア（癒し）効果２３Ｋ１，２３Ｋ２と、相手を正常状態から悩乱状態にするデス（死神）効果２３Ｋ３があり、防御効果は、相手から受けた特殊効果を無効化する。この特殊効果や防御効果による変身処理（ステップＥ５〜Ｅ２３）について以下で説明する。
【００７８】
図１７のように姉Ｊの役の美少女戦士Ａが特殊効果Ａを出した場合、前記特殊効果データメモリ２３Ａ（図４参照）に予め記憶された特殊効果Ａの効果の相手２３Ｔは、特殊効果モーションを向けた相手２３Ｔ１であると判断されると（ステップＥ５（Ｎｏ））、画面内の特殊効果モーションを向けた敵役の人（美少女戦士に対して死神等）が検出され、特殊効果モーションを向けた敵役の人である男の子（死神役）Ｐが効果の相手者として設定される（ステップＥ１２）。このように人物画像の身振りで示した相手の人物画像を特殊効果の対象者として検出するようにしたので、特殊効果を行う演技者の思い通りの相手に、適宜、特殊効果を出せて相手を変身させる合成画像を容易に作成することができる。
そして、特殊効果Ａの効果の種類２３Ｔ１がキュア効果であると判断されると（ステップＥ７（Ｙｅｓ））ステップＥ１３へ進み、効果の相手者は仮面マークデータ付きの美少女戦士ではないと判断されると（ステップＥ１３（Ｎｏ））、ステップＥ１５へ進む。そして効果の相手者が死神マーク付きであると判断されると（ステップＥ１５（Ｙｅｓ））、ステップＥ１５へ進み、効果の相手者である男の子（死神役）Ｐにより防御効果モーションモデルデータ２３'Ｐ２ａ〜２３'Ｐ２ｃと、棒を持つ部分（２３'Ｐ２ａＢ〜２３'Ｐ２ｃＢ）も含めて、身振りが一致する画像部分であると検出されると（ステップＥ１６（Ｙｅｓ））、ハート形の特殊効果マーク２３Ｍｕ１の隣に、特殊効果が無効化されたことを示すハートが割れた形の防御効果マーク２３'Ｍｕ２を付ける（（ステップＥ１７）。この場合、男の子（死神役）Ｐの防御効果が出されたので、死神の変身状態が継続されることとなる。その後、防御効果マーク２３'Ｍｕ２に対応する音声データ「パーン」２３'Ｓｕ２が出力される（ステップＥ２２）。特殊効果が無効化されたことを示す防御効果マーク２３'Ｍｕ２によりカメラ画面を見て撮影している母親は、防御効果が適切に出され、特殊効果が無効化されたことを視覚的に確認できる。また、防御効果マーク２３'Ｍｕ２に対応する音声データ「パーン」の音により、母親や演技者全員は、防御効果が適切に出され、特殊効果が無効化されたことを聴覚的に確認できる。
【００７９】
図１８のように男の子（死神役）Ｐが、特殊効果Ｃを出した場合、前記特殊効果データメモリ２３Ａ（図４参照）に予め記憶された特殊効果Ｃの効果の相手２３Ｔは、周辺の敵全て２３Ｔ３であると判断されると（ステップＥ５（Ｎｏ））、画面内の敵である美少女戦士Ａ役の姉Ｊが効果の相手者として設定される（ステップＥ６）。そして、特殊効果Ｃの効果の種類２３Ｔ３がデス効果であると判断されると（ステップＥ７（Ｎｏ））ステップＥ８へ進み、効果の相手者は美少女戦士マークデータ付きである判断されると（ステップＥ８（Ｙｅｓ））、ステップＥ９へ進む。そして効果の相手者により防御効果モーションが検出されない場合には（ステップＥ９（Ｎｏ））、美少女戦士Ａマークデータ１４Ｍｕ１の隣に仮面マークデータＭｋを付ける（（ステップＥ１０）。この場合、美少女戦士Ａ（姉）Ｐは、デス（死神）効果により、悩乱状態になる仮面を付けられたことになる。そして仮面マークデータＭｋに対応する音声データ「クックック」Ｓｋが出力される（ステップＥ１９）。なお、美少女戦士Ａ（姉）Ｐにより防御効果モーションがにより防御効果モーションモデルデータ２３'Ｐ１ａ〜２３'Ｐ１ｃと、ペンを持つ部分（２３'Ｐ１ａＤ〜２３'Ｐ１ｃＤ）も含めて、身振りが一致する画像部分であると検出されると（ステップＥ１１（Ｙｅｓ））、特殊効果マーク２３Ｍｕ２の隣に防御効果マーク２３'Ｍｕ１を付ける（（ステップＥ１１）。この場合、姉（美少女戦士Ａ役）Ｊから防御効果が出されることとなり、美少女戦士Ａの変身状態が継続されることとなる。その後、防御効果マーク２３'Ｍｕ１に対応する音声データ「バキン」２３'Ｓｕ１が出力される（ステップＥ２０）。ただし、本実施例のように役柄上ペンを持つのは美少女戦士Ｂのみと決めた場合には、姉（美少女戦士Ａ役）Ｊは、ペンを持たず、防御効果モーションの身振りを行えず、この防御効果を出すことはできないことになる。
【００８０】
また、図２１のように妹（美少女戦士Ｂ役）Ｋが、特殊効果Ｂを出した場合、前記特殊効果データメモリ２３Ａ（図４参照）に予め記憶された特殊効果Ｂの効果の相手２３Ｔは、周辺の敵全て２３Ｔ２であると判断されると（ステップＥ５（Ｎｏ））、画面内の敵である悩乱した仮面付きの美少女戦士Ａ役の姉Ｊと、死神役（男の子）Ｐが効果の対象者として設定される（ステップＥ６）。そして、特殊効果Ｂの効果の種類２３Ｔ２がキュア効果であると判断されると（ステップＥ７（Ｎｏ））ステップＥ１３へ進み、効果の対象者は仮面マークデータ付き美少女戦士である判断されると（ステップＥ１３（Ｙｅｓ））、ステップＥ１４へ進む。そして、美少女戦士Ａの仮面マークデータを削除する（ステップ１４）。このように、キュア効果（癒し効果）によって、仮面付きの悩乱した美少女戦士Ａが元の正常な美少女戦士Ａに戻ることができたことになる。そして、元の美少女戦士Ａ変身マークデータ１４Ｍｕ１に対応する音声データ１４Ｓｕ１「レモン♪レモン♪」が出力される（ステップＥ２１）。
また、ステップ１５で効果の相手者が死神マーク付きであると判断されると（ステップ１５（Ｙｅｓ））、ステップ１６へ進み、効果の相手者による防御効果モーションの身振りがないと判断されると、（ステップ１６（Ｎｏ））、死神役（男の子）Ｐから死神マークデータ２４Ｍｗ１を削除し、星の王子マークデータ２４Ｍｗ１'を付ける。このように、キュア効果（癒し効果）によって、死神が元の星の王子に戻ることができたことになる。そして星の王子の変身役柄マークデータ２４Ｍｗ１’に対応する音声データ２４Ｓｗ１’「キラリ、キラリ」が出力される（ステップＥ２３）。
【００８１】
上記のように特殊効果や防御効果による変身処理（ステップＥ５〜Ｅ１８）が完了すると、前記図１５（Ｂ）〜図２２（Ｂ）で示したように、前記ステップＳＡ〜ＳＥの処理に従い作業用データメモリ上に生成されたマーク付きの連続した撮影画像データＧｍ１〜Ｇｍ８がマーク付き撮影画像データメモリ２６に記憶され保存される（ステップＳ２）。
【００８２】
そして、画像撮影部２１からの一連の撮影画像データＧ１〜Ｇ８の撮影入力が終了したと判断されると（ステップＳ３（Ｙｅｓ））、前記マーク付き撮影画像データメモリ２６に生成保存された一連のマーク付き撮影画像データＧｍ１〜Ｇｍ８に基づく合成画像の生成処理に進むか否か判断される（ステップＳ４）。
ここで、入力部１２に対する合成画像生成のためのユーザ操作に応じて、あるいは前記一連の撮影画像データの取得終了に伴い自動的に、合成画像の生成処理に進むと判断されると（ステップＳ４（Ｙｅｓ））、前記マーク付き撮影画像データメモリ２６から前記一連のマーク付き撮影画像データＧｍ１〜Ｇｍ８が作業用メモリに読み出され、図１４における変身マーク合成処理へ移行される（ステップＳＦ）。
【００８３】
この変身マーク合成処理では、まず、前記マーク付き撮影画像データメモリ２６から作業用メモリに読み出されたマーク付き撮影画像データＧｍ１〜Ｇｍ８について、前記変身役柄データメモリ２４（図６参照）に予め記憶されている変身マークデータ２４Ｍｗや前記変身データメモリ１４（図３参照）に予め記憶されている変身マークデータ１４ｍｕが付加された画像が含まれているか否か判断される（ステップＦ１）。
【００８４】
ここで、予め記憶されている変身マークデータ２４Ｍｗや前記変身データメモリ１４（図３参照）に予め記憶されている変身マークデータ１４ｍｕが付加された画像が含まれていないと判断されると（ステップＦ１（Ｎｏ））、本処理を終了し、特殊効果マーク合成処理（ＳＨ）に進む。また、図１５（Ｂ）〜図２１（Ｂ）で示すように死神の変身マークデータ２４Ｍｗ１が付加された画像、図２２（Ｂ）で示すように星の王子の変身マークデータ２４Ｍｗ１'が付加された画像、また、図１７（Ｂ）〜図２２（Ｂ）で示すように美少女戦士Ａの変身マークデータ１４Ｍｕ１が付加された画像、また、図２０（Ｂ）〜図２２（Ｂ）で示すように美少女戦士Ｂの変身マークデータ１４Ｍｕ２が付加された画像が存在すると判断された場合には（ステップＦ１（Ｙｅｓ））、当該各変身マークデータ２４Ｍｗ１，２４Ｍｗ１'，１４Ｍｕ１，１４Ｍｕ２が対応付加されている該マーク近傍の人物画像Ｐ，Ｊ，Ｋの位置が、前記対象画像抽出処理（ステップＳＡ）により撮影画像データＧｎの付加情報として得られているブロックの位置情報から特定される（ステップＦ２）。
【００８５】
すると、前記特定された人物画像Ｐ，Ｊ，Ｋがモーションキャプチャ処理され、変身役柄データメモリ２４Ａ（図６参照）に記憶されている前記死神の変身マークデータ２４Ｍｗ，２４Ｍｗ１'に対応するところの変身（１）画像データ２４Ｇｗ１，２４Ｇｗ１'、変身データメモリ１４（図３参照）に記憶されている前記美少女戦士Ａ，美少女戦士Ｂの変身マークデータ１４Ｍｕ１，１４Ｍｕ２に対応するところの変身画像データ１４Ｇｕ１，１４Ｇｕ２に基づき、図１５（Ｃ）〜図２１（Ｃ）に示すように当該人物画像（男の子）Ｐと同じポーズ（姿勢）の死神の変身画像データ２４Ｇｗ１、図２２（Ｃ）に示すように当該人物画像（男の子）Ｐと同じポーズ（姿勢）の星の王子の変身画像データ２４Ｇｗ１'、図１７（Ｃ）〜図２２（Ｃ）に示すように当該人物画像（姉）Ｊと同じポーズ（姿勢）の美少女戦士Ａの変身画像データ１４Ｇｕ１、図２０（Ｃ）〜図２２（Ｃ）に示すように当該人物画像（妹）Ｋと同じポーズ（姿勢）の美少女戦士Ｂの変身画像データ１４Ｇｕ２にそれぞれ予め設定された背景画像ＢＧ上で置き換えられて合成される（ステップＦ３）。この際、合成画像データＧＧ１〜ＧＧ８が生成される（ステップＦ３）。
【００８６】
そして各マークデータに対応した変身画像データに顔合成位置データがあるか否かが判断される。死神の変身マークデータ２４Ｍｗ１に対応する顔合成位置データは記憶されておらず、ステップＦ８へ進む。星の王子の変身マークデータ２４Ｍｗ１'に対応して顔合成位置データ２４Ｆ１'（図６参照）があると判断され、美少女戦士Ａの変身マークデータ１４Ｍｕ１に対応して顔合成位置データ１４Ｆ１（図３参照）があると判断され、美少女戦士Ｂの変身マークデータ１４Ｍｕ２に対応して顔合成位置データ１４Ｆ２（図３参照）があると判断されると（ステップＦ４（Ｙｅｓ））、顔合成位置データ２４Ｆ１'，１４Ｆ１，１４Ｆ２が読み出されて（ステップＦ５）、撮影画像の対象画像中の顔画像部分（Ｐｆ，Ｊｆ，Ｋｆ）が抽出され（ステップＦ６）、対象画像中の顔画像部分を顔合成位置に合わせてサイズ変更して（Ｐｆ'，Ｊｆ'，Ｋｆ'）変身キャラクタの画像データに合成する（図１６（Ｃ）〜図２２（Ｃ））。このように抽出された顔画像部分を、前記顔合成位置データに対応する位置に合わせてサイズ変更して、変身キャラクタの画像データ（２４Ｇｗ１'１４Ｇｕ１，１４Ｇｕ２）に合成するようにしたので、変身キャラクタの顔サイズに合わせて実写の顔部分が適切に合成され、実写の顔で変身キャラクタを適切に合成表示できることとなる。また変身キャラクタの顔のサイズを実写の顔のサイズに合わせる必要がないので、実写の顔のサイズが変身キャラクタに合わせて調整され、変身キャラクタを妖精のように小さく合成表示させたり、巨人のように大きく合成表示させることも容易に行えることになる。
なお、後から顔を合成するのではなく、変身画像データ２４Ｇｗ１'，１４Ｇｕ１，１４Ｇｕ２を、顔を隠さない範囲に限定して元の男の子Ｐ，姉Ｊ，妹Ｋの画像に合成するようにしても良い。この場合は元の顔部分がそのまま合成画像に残るので、顔を残した衣装部分のみを変更した簡易な合成画像を作成することができる。
【００８７】
次にステップＦ８へ進み、対象画像に仮面マークデータが含まれているかが判断される。図８（Ｂ）〜図２１（Ｂ）の美少女戦士Ｂ（姉Ｊ）に対して仮面マークデータＭｋが付けられていると判断されると、この画像中の顔画像部分に顔合成位置に合わせて仮面画像Ｇｋを合成する（図８（Ｃ）〜図２１（Ｃ））（ステップＦ９）。また、仮面マークデータＭｋが含まれていない場合には、この処理をスキップする。
そして、前記変身役柄データメモリ２４Ａ（図６参照）に対応付けられて記憶されている死神の音声データ「ザクッ、ザクッ」２４Ｓｗ１、星の王子の音声データ「キラリ、キラリ」２４Ｓｗ１'、前記変身データメモリ１４（図３参照）に対応付けられて記憶されている美少女戦士Ａ，美少女戦士Ｂの音声データ「レモン♪レモン♪」１４Ｓｕ１，「キュート♪キュート♪」１４Ｓｕ１２が読み出され前記図１５（Ｃ）〜図２２（Ｃ）に示すように生成された合成画像ＧＧ１〜ＧＧ８に対応付けられて保存される。なお仮面マークデータＭｋが含まれている場合には、美少女戦士Ａ，美少女戦士Ｂの音声データに替えて仮面マークデータＭｋに対応する音声データ「クックック」Ｓｋが合成画像ＧＧ１〜ＧＧ８に対応付けられて保存される。（ステップＦ１０）。
【００８８】
すると次に、図１４における特殊効果マーク合成処理へ移行される（ステップＳＨ）。
この特殊効果マーク合成処理では、まず、前記マーク付き撮影画像データメモリ２６から作業用メモリに読み出されたマーク付き撮影画像データＧｍ１〜Ｇｍ８について、前記特殊効果データメモリ２３Ａ（図４参照）に予め記憶されている特殊効果マークデータ２３Ｍｕまたは特殊効果データメモリ２３Ｂ（図５参照）に予め記憶されている防御効果マークデータ２３'Ｍｕが付加された画像が含まれているか否か判断される（ステップＨ１）。
【００８９】
ここで、特殊効果マークデータ２３Ｍｕや防御効果マークデータ２３'Ｍｕが検出されない場合は（ステップＨ１（Ｎｏ））、本処理を終了し、ステップＳ６に進む。また図１５（Ｂ），図１６（Ｂ），図１９（Ｂ），図２０（Ｂ）で示すように特殊効果Ａの特殊効果マークデータ２３Ｍｕまたは防御効果マークデータ２３'Ｍｕが付加された画像Ｇｍが存在しないと判断された場合には（ステップＨ１（Ｎｏ））処理を終了し、図１７（Ｂ），図１８（Ｂ），図２１（Ｂ），図２２（Ｂ）のように存在すると判断された場合には（ステップＨ１（Ｙｅｓ））、当該特殊効果マークデータ２３Ｍｕ１，２３Ｍｕ２，２３Ｍｕ３，または防御効果マークデータ２３'Ｍｕ２が対応付加されている該マーク近傍の人物画像（姉、妹、男の子）Ｊ，Ｐ，Ｋの位置が、前記対象画像抽出処理（ステップＳＡ）により撮影画像データＧｎの付加情報として得られているブロックの位置情報から特定される（ステップＨ２）。
【００９０】
すると、前記特殊効果データメモリ２３Ａ（図４参照）の特殊効果マークデータ２３Ｍｕ１，２３Ｍｕ２，２３Ｍｕ３，または特殊効果データメモリ２３Ｂ（図５参照）の防御効果マークデータ２３'Ｍｕ２に対応付けられて記憶されている特殊効果画像データ２３Ｇｕ１，２３Ｇｕ２，２３Ｇｕ３，または防御効果マークデータ２３'Ｇｕ２が読み出され、前記特定された人物画像の所定位置（例えば画像上部から３分の１の位置）に対応して、変身マークデータが付加されている敵役（相手）の人物画像の方向へ向けて追加合成され、合成画像データＧＧが生成される。例えば、図１７では、特殊効果画像データ２３Ｇｕ１が、美少女戦士Ａの腕の位置から、死神の方向に追加合成される。一方、防御効果データ２３'Ｇｕ３が、死神の上半身の位置から美少女戦士Ａの方向に追加合成される。図１８では、特殊効果画像データ２３Ｇｕ３が、死神の腕の位置から、美少女戦士Ａの方向に追加合成される。図２０，図２１では、特殊効果画像データ２３Ｇｕ２が、特殊効果画像データ２３Ｇｕ１が、美少女戦士Ｂの腕の位置から、悩乱した仮面付きの美少女戦士Ａの方向に追加合成される。（ステップＨ３）。
【００９１】
さらに、特殊効果によっては、その先端部を爆発効果画像にしてその部分が相手の人物画像変身画像データに到達する位置まで延長されて追加合成されるようにしてもよい（ステップＨ４）。
そして、前記特殊効果データメモリ２３Ａ（図４参照）に対応付けられて記憶されている特殊効果Ａの音声データ「キュアーハート」２３Ｓｕ１、特殊効果Ｂの音声データ「キュアースター」２３Ｓｕ２、特殊効果Ｃの音声データ「デスムーン」２３Ｓｕ３が読み出され、また前記防御効果データメモリ２３Ｂ（図５参照）に対応付けられて記憶されている防御効果Ｂの音声データ「パーン」２３'Ｓｕ２が読み出され、前記図１７（Ｃ），図１８（Ｃ），図２１（Ｃ），図２２（Ｃ）に示すように生成された合成画像ＧＧ３に対応付けられて保存される。（ステップＨ５）。
【００９２】
すると、前記図１５（Ｃ）〜図２２（Ｃ）で示したように、前記ステップＳＦ〜ＳＨの処理に従い作業用データメモリ上に生成された一連の合成画像データＧＧ１〜ＧＧ８が合成画像データメモリ２７に記憶され保存される（ステップＳ６）。
そして、前記合成画像データメモリ２７に記憶された一連の合成画像データ（対応付けられた音声データを含む）ＧＧ１〜ＧＧ８が、前記図１５（Ｃ）〜図２２（Ｃ）で示すように、表示部１１により再生表示されると共に音声出力部１３により再生出力される（ステップＳ７）。なお、本合成画像出力装置がサーバ装置３０（図７参照）として構成されている場合には、前記ステップＳ１において受信された一連の撮影画像データＧ１〜Ｇ８の送信元である通信ネットワークＮ上の通信端末Ａ（デジタルカメラ）１０′や通信端末Ｂ（ＰＣ）４０に対して、前記合成画像データメモリ２７に記憶された一連の合成画像データ（対応付けられた音声データを含む）ＧＧ１〜ＧＧ８が読み出されて応答送信される（ステップＳ７）。
【００９３】
したがって、前記構成のデジタルカメラ１０あるいはサーバ装置３０による合成画像出力装置によれば、画像撮影部２１により動画撮影された一連の撮影画像データＧｎが入力されると、当該撮影画像データＧｎに含まれる人物画像（Ｐ，Ｊ，Ｋ）が抽出され、予め設定されたモーション（身振り）をしている人物画像（Ｋ）の有無が検出される。そして、撮影画像データＧｎに含まれる予め設定されたモーション（身振り）をしている人物画像（Ｋ）が検出されると、当該設定モーションのモデルデータ１４Ｐに対応付けられて変身データメモリ１４に記憶されている例えば美少女戦士Ｂの３Ｄ画像生成用の変身画像データ１４Ｇｕ１に基づき、前記撮影画像データＧｎの人物画像（Ｊ，Ｋ）中の顔画像を除く画像部分を、そのモーションを同じにした変身画像データ１４Ｇｕに置き換えられた合成画像データＧＧｎとして生成出力されるので、前記動画撮影に際して被写体となる人物がアニメのヒーローなどに変身するためのモーション（身振り）をするだけで、当該被写体の人物画像を顔は撮影画像のままで衣装等を前記ヒーローの画像に置き換えた合成画像を容易に生成することができる。
また、撮影画像データＧｎに含まれる予め設定された特殊効果のモーション（身振り）をしている人物画像（Ｋ）が検出されると、当該設定モーションのモデルデータ２３Ｐに対応付けられて特殊効果データメモリ２３Ａに記憶されている例えば美少女戦士Ｂの特殊効果の内容２３Ｗ２のうちの効果の種類「キュア（癒し）効果２３Ｋ」と効果の相手「周辺の敵全て２３Ｔ２」に応じて、効果の対象者の人物画像（Ｊ，Ｋ）が検出され、前記撮影画像データＧｎの人物画像（Ｊ，Ｋ）を、そのモーションを同じにした変身画像データ（２４Ｇｗ１'，１４Ｇｕ１）に置き換えられた合成画像データＧＧｎとして生成出力されるので、前記動画撮影に際して被写体となる人物がアニメのヒーローとして魔法モーション（身振り）をするだけで、その魔法により、他の被写体の人物を姿勢はそのままで、変身させたキャラクタ画像に置き換えた合成画像を容易に生成することができる。
【００９４】
よって、動画撮影された人物画像について、対象人物の意志に従い他のキャラクタ画像に変化（変身）していく一連のシーンとなる合成画像を手軽に作成することができる。
これにより、例えばユーザ家族において子供をヒーロー役にした動画撮影を行えば、容易に特撮風の合成動画像ＧＧｎを作ることができ、当該生成された合成動画像ＧＧｎを表示部１１に出力表示させて見たり、外部のモニタに出力表示させて見たりすることで、これまでにない楽しみを得ることができる。
【００９５】
また、前記構成のデジタルカメラ１０あるいはサーバ装置３０による合成画像出力装置によれば、被写体となる人物画像（Ｋ）の予め設定されたモーション（身振り）を検出して、これに対応する例えば美少女戦士Ｂの変身画像データ１４Ｇｕ２に前記人物画像（Ｋ）を置き換え合成した合成画像ＧＧｎを生成した際には、前記変身データメモリ１４に記憶されている当該変身画像データ１４Ｇｕ２の音声データ「キュート♪キュート♪」１４Ｓｕ２を、前記合成画像ＧＧｎに対応付けて保存し出力させるので、容易且つよりリアルに特撮風の合成動画像ＧＧｎを作ることができる。また、被写体となる人物画像（Ｋ）の予め設定されたモーション（身振り）を検出して、これに対応する例えば美少女戦士Ｂの特殊効果画像データ２３Ｇｕ２を付加した合成画像ＧＧｎを生成した際には、前記特殊効果データメモリ２３Ａに記憶されている当該特殊効果画像データ１４Ｇｕ２の音声データ「キュアースター」２３Ｓｕ２を、前記合成画像ＧＧｎに対応付けて保存し出力させるので、容易且つよりリアルに特撮風の合成動画像ＧＧｎを作ることができる。
【００９６】
また、前記構成のデジタルカメラ１０による合成画像出力装置によれば、前記動画撮影中に表示部１１にリアルタイムに表示される撮影画像データＧｎについて、前記予め設定されたモーション（身振り）の人物画像（Ｋ）が検出された際には、当該人物画像（Ｋ）に対して例えば美少女戦士Ｂの変身画像データ１４Ｇｕ２への変身対象となったことを示す変身マークデータ１４Ｍｕ２を付加したマーク付き撮影画像データＧｍｎとして表示部１１に表示させ、しかも前記変身画像データ１４Ｇｕ２の音声データ「キュート♪キュート♪」１４Ｓｕ２も共に音声出力部１３から出力させるので、例えば撮影操作中の家族は、被写体の人物画像（子供）Ｋがその役柄通りに変身され置き換え処理されていることを容易に認識することができ、またこれを演じている最中の被写体自身（妹Ｋ）にあっても、自らがその役柄通りに変身処理されていることを音声により容易に認識することができる。
【００９７】
前記実施形態では、撮影画像データＧｎから対象画像として抽出される人物画像（Ｋ）の予め設定されたモーション（身振り）を検出するための特殊効果モーションモデルデータ２３Ｐと、これに対応する変身マークデータ２３Ｍｕおよび変身画像データ２３Ｇｕとを、変身データメモリ２３により予め記憶する構成としたが、通信ネットワークＮ上のサーバ装置３０（この場合はサービスサイトのデータ提供サーバ）から特殊効果画像データ（必殺技、攻撃等）の好みの種類を選択してダウンロードし、特殊効果データメモリ２３Ａとして新たに記憶させ前記同様に機能させる構成としてもよい。
【００９８】
なお、前記実施形態において記載した合成画像出力装置による各処理の手法、すなわち、図８のフローチャートに示す合成画像出力処理、図９のフローチャートに示す前記合成画像出力処理に伴う対象画像抽出処理、図１０のフローチャートに示す前記合成画像出力処理に伴う役柄変身マーク処理、図１１のフローチャートに示す前記合成画像出力処理に伴うモーション変身マーク処理、図１２のフローチャートに示す前記合成画像出力処理に伴う特殊効果マーク処理、図１３のフローチャートに示す前記合成画像出力処理に伴う変身マーク合成処理、図１４のフローチャートに示す前記合成画像出力処理に伴う破壊マーク合成処理、図１５のフローチャートに示す前記合成画像出力処理に伴う特殊効果マーク合成処理等の各手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶媒体１８（３３）に格納して配布することができる。そして、変身データ１４（３２Ｂ）、特殊効果データ２３Ａ（３２ＣＡ）、防御効果データ２３Ｂ（３２ＣＢ）、変身役柄データ２４Ａ（３２Ｄ）をメモリ１７（３２）に記憶した種々のコンピュータ端末は、この外部記憶媒体１８（３３）に記憶されたプログラムをプログラムメモリ２２（３２Ａ）に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記実施形態において説明した動画撮影画像データＧｎからの変身画像を用いた合成画像ＧＧｎの作成・出力機能を実現し、前述した手法による同様の処理を実行することができる。
【００９９】
また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク（インターネット）Ｎ上を伝送させることができ、この通信ネットワーク（インターネット）Ｎに接続されたコンピュータ端末（プログラムサーバ）から前記のプログラムデータを取り込み、前述した動画撮影画像データＧｎからの変身画像を用いた合成画像ＧＧｎの作成・出力機能を実現することもできる。
【０１００】
なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が異なる形態にして組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。
【図面の簡単な説明】
【０１０１】
【図１】本発明の合成画像出力装置の実施形態に係るデジタルカメラ１０を利用した動画像の撮影状態と合成画像の生成状態を示す概念図。
【図２】前記デジタルカメラ１０（通信端末Ａ）の電子回路の構成を示すブロック図。
【図３】前記デジタルカメラ１０の変身データメモリ１４に予め記憶される変身データの内容を示す図。
【図４】前記デジタルカメラ１０の特殊効果データメモリ２３Ａに予め記憶される特殊効果データ２３Ａの内容を示す図。
【図５】前記デジタルカメラ１０の防御効果データメモリ２３Ｂに予め記憶される防御効果データ２３Ｂの内容を示す図。
【図６】前記デジタルカメラ１０の変身役柄データメモリ２４Ａに記憶される変身役柄データの内容を示す図。
【図７】本発明の合成画像出力装置の実施形態に係るサーバ装置３０の電子回路の構成を示すブロック図。
【図８】前記合成画像出力装置による合成画像出力処理の全体過程を示すフローチャート。
【図９】前記合成画像出力処理に伴い撮影画像（Ｇ）中に存在する人物（Ｐ，Ｊ，Ｋ）の対象画像を抽出する対象画像抽出処理を示すフローチャート。
【図１０】前記合成画像出力処理に伴い役柄登録された人物画像（Ｐ）に変身マーク（２４Ｍｗ）を付加する役柄変身マーク処理を示すフローチャート。
【図１１】前記合成画像出力処理に伴い変身モーション（１４Ｐ）の検出された人物画像（Ｊ，Ｋ）に変身マーク（１４Ｍｕ）を付加すると共に対応音声（１４Ｓｕ）を出力するモーション変身マーク処理を示すフローチャート。
【図１２】前記合成画像出力処理に伴い特殊効果モーション（２３Ｐ）の検出された人物画像（Ｊ，Ｐ，Ｋ）に特殊効果マーク（２３Ｇｕ）を付加すると共に対応音声（２３Ｓｕ）を出力する特殊効果マーク処理を示すフローチャート。
【図１３】前記合成画像出力処理に伴い変身マーク（２４Ｍｗ）（１４Ｍｕ）の付加された人物画像（Ｊ，Ｐ）（Ｋ）を変身画像（２４Ｇｗ）（（１４Ｇｕ）に置き換え合成すると共に対応音声（２４Ｓｗ）（１４Ｓｕ）の出力を設定する変身マーク合成処理を示すフローチャート。
【図１４】前記合成画像出力処理に伴い特殊効果マーク（２３Ｇｕ）の付加された人物画像（Ｊ，Ｐ）（Ｋ）の所定位置に特殊効果画像２３Ｇｕを追加合成すると共に対応音声（２３Ｓｕ）の出力を設定する特殊効果マーク合成処理を示すフローチャート。
【図１５】前記合成画像出力処理に伴う動画撮影画像（Ｇ）に基づいた画像処理状態を順次代表的なコマ送りにして示す図（その１）であり、同図（Ａ）は撮影画像Ｇ１を示す図、同図（Ｂ）はマーク付き撮影画像Ｇｍ１を示す図、同図（Ｃ）は合成画像ＧＧ１を示す図。
【図１６】前記合成画像出力処理に伴う動画撮影画像（Ｇ）に基づいた画像処理状態を順次代表的なコマ送りにして示す図（その２）であり、同図（Ａ）は撮影画像Ｇ２を示す図、同図（Ｂ）はマーク付き撮影画像Ｇｍ２を示す図、同図（Ｃ）は合成画像ＧＧ２を示す図。
【図１７】前記合成画像出力処理に伴う動画撮影画像（Ｇ）に基づいた画像処理状態を順次代表的なコマ送りにして示す図（その３）であり、同図（Ａ）は撮影画像Ｇ３を示す図、同図（Ｂ）はマーク付き撮影画像Ｇｍ３を示す図、同図（Ｃ）は合成画像ＧＧ３を示す図。
【図１８】前記合成画像出力処理に伴う動画撮影画像（Ｇ）に基づいた画像処理状態を順次代表的なコマ送りにして示す図（その４）であり、同図（Ａ）は撮影画像Ｇ４を示す図、同図（Ｂ）はマーク付き撮影画像Ｇｍ４を示す図、同図（Ｃ）は合成画像ＧＧ４を示す図。
【図１９】前記合成画像出力処理に伴う動画撮影画像（Ｇ）に基づいた画像処理状態を順次代表的なコマ送りにして示す図（その５）であり、同図（Ａ）は撮影画像Ｇ５を示す図、同図（Ｂ）はマーク付き撮影画像Ｇｍ５を示す図、同図（Ｃ）は合成画像ＧＧ５を示す図。
【図２０】前記合成画像出力処理に伴う動画撮影画像（Ｇ）に基づいた画像処理状態を順次代表的なコマ送りにして示す図（その６）であり、同図（Ａ）は撮影画像Ｇ６を示す図、同図（Ｂ）はマーク付き撮影画像Ｇｍ６を示す図、同図（Ｃ）は合成画像ＧＧ６を示す図。
【図２１】前記合成画像出力処理に伴う動画撮影画像（Ｇ）に基づいた画像処理状態を順次代表的なコマ送りにして示す図（その７）であり、同図（Ａ）は撮影画像Ｇ７を示す図、同図（Ｂ）はマーク付き撮影画像Ｇｍ７を示す図、同図（Ｃ）は合成画像ＧＧ７を示す図。
【図２２】前記合成画像出力処理に伴う動画撮影画像（Ｇ）に基づいた画像処理状態を順次代表的なコマ送りにして示す図（その８）であり、同図（Ａ）は撮影画像Ｇ８を示す図、同図（Ｂ）はマーク付き撮影画像Ｇｍ８を示す図、同図（Ｃ）は合成画像ＧＧ８を示す図。
【符号の説明】
【０１０２】
１０ …デジタルカメラ（通信端末Ａ）
１１（３７）…表示部
１２（３６）…入力部
１３ …音声出力部
１４（３２Ｂ）…変身データメモリ
１４Ｐ…変身モーションモデルデータ
１４Ｇｕ…変身画像データ
１４Ｓｕ…変身音声データ
１４Ｍｕ…変身マークデータ
１５（３２Ｄ）…破壊データメモリ
１５Ｔ…破壊対象画像データ
１５Ｇ…破壊画像データ
１５Ｓ…破壊音声データ
１５Ｍ…破壊（前）マークデータ
１５Ｍ′…破壊（後）マークデータ
１６（３１）…ＣＰＵ
１７（３２）…メモリ
１８（３３）…外部記録媒体
１９（３４）…記録媒体読取部
２０（３５）…電送制御部
２１ …画像撮影部
２２（３２Ａ）…プログラムメモリ
２３Ａ（３２ＣＡ）…特殊効果データメモリ
２３Ｂ（３２ＣＢ）…防御効果データメモリ
２３'Ｐ…防御効果モーションモデルデータ
２３'Ｇｕ…防御効果画像データ
２３'Ｓｕ…防御効果音声データ
２３'Ｍｕ…防御効果マークデータ
Ｍk…仮面マークデータ
２４Ａ（３２Ｄ）…変身役柄データメモリ
２４Ｂ（３２Ｅ）…役柄別変身状態
２４Ｔ…変身対象（顔）画像データ
２４Ｇｗ…変身画像データ
２４Ｓｗ…変身音声データ
２４Ｍｗ…変身マークデータ
２４Ｈ …変身条件データ
２５（３２Ｆ）…撮影画像データメモリ
２６（３２Ｇ）…マーク付き撮影画像データメモリ
２７（３２Ｈ）…合成画像データメモリ
３０ …サーバ装置
４０ …通信端末Ｂ（ＰＣ）
Ｎ …通信ネットワーク（インターネット）
ＢＧ…背景画像データ
Ｇｎ…撮影画像データ
Ｇｍｎ…マーク付き撮影画像データ
ＧＧｎ…合成画像データ
Ｐ …人物画像（男の子）
Ｋ …人物画像（妹）
Ｊ …人物画像（姉）
【特許請求の範囲】
【請求項１】
予め設定された身振りのモデルデータと変身キャラクタの画像データとを対応付けて記憶する変身データ記憶手段と、
動画撮影された一連の撮影画像データを取得する撮影画像取得手段と、
この撮影画像取得手段により取得された一連の撮影画像データの中から人物画像を抽出する人物画像抽出手段と、
この人物画像抽出手段により抽出された人物画像の中から、前記変身データ記憶手段により記憶されているモデルデータとその予め設定された身振りが一致する人物画像を検出する変身身振り検出手段と、
この変身身振り検出手段により予め設定された身振りの人物画像が検出された撮影画像データについて、当該検出された人物画像中の顔画像を除く画像部分を、前記変身データ記憶手段により記憶されている変身キャラクタの画像データに基づき、当該人物画像と同じ姿勢の変身キャラクタの画像データに置き換えた顔画像付の合成画像データを生成する合成画像生成手段と、
この合成画像生成手段により生成された一連の合成画像データを出力する合成画像出力手段と、
を備えたことを特徴とする合成画像出力装置。
【請求項２】
前記変身データ記憶手段は、予め設定された身振りのモデルデータと変身キャラクタの画像データと顔合成位置データとを対応付けて記憶し、
前記合成画像生成手段は、
前記変身身振り検出手段により検出された人物画像中の顔画像部分を抽出する顔画像部分抽出手段と、
この顔画像部分抽出手段により抽出された顔画像部分を、前記顔合成位置データに対応する位置に合わせてサイズ変更して、変身キャラクタの画像データに合成する顔画像合成手段と、
を備えたことを特徴とする請求項１に記載の合成画像出力装置。
【請求項３】
前記変身データ記憶手段は、身振りのモデルデータとして、物品を用いて行う物品付身振りのモデルデータを含み、
前記変身身振り検出手段は、前記変身データ記憶手段により記憶されている物品付身振りのモデルデータを含む身振りのモデルデータと身振りが一致する物品付きの人物画像を検出する手段を備えたことを特徴とする請求項１に記載の合成画像出力装置。
【請求項４】
前記変身データ記憶手段は、予め設定された身振りのモデルデータと変身キャラクタの画像データおよび音声データとを対応付けて記憶し、
前記合成画像生成手段は、前記変身身振り検出手段により予め設定された身振りの人物画像が検出された撮影画像データについて、当該検出された人物画像中の顔画像を除く画像部分を、前記変身データ記憶手段により記憶されている変身キャラクタの画像データに基づき、当該人物画像と同じ姿勢の変身キャラクタの画像データに置き換えると共に、当該変身キャラクタの音声データを対応付けた合成画像データを生成する、
ことを特徴とする請求項１に記載の合成画像出力装置。
【請求項５】
前記変身データ記憶手段は、予め設定された身振りのモデルデータと変身キャラクタの画像データおよび音声データと当該変身キャラクタを示すマークデータとを対応付けて記憶し、
前記合成画像生成手段は、
前記変身身振り検出手段により予め設定された身振りの人物画像が検出された撮影画像データについて、当該検出された人物画像に前記変身データ記憶手段により記憶されている変身キャラクタを示すマークデータを付加したマーク付き撮影画像データを生成するマーク付き撮影画像生成手段を有し、
このマーク付き撮影画像生成手段により生成されたマーク付き撮影画像データについて、前記変身キャラクタを示すマークデータが付加された人物画像中の顔画像を除く画像部分を、前記変身データ記憶手段により記憶されている変身キャラクタの画像データに基づき、当該人物画像と同じ姿勢の変身キャラクタの画像データに置き換えると共に、該変身キャラクタの音声データを対応付けた合成画像データを生成し、
前記撮影画像取得手段による一連の撮影画像データの取得に伴い、前記マーク付き撮影画像生成手段により生成されたマーク付き撮影画像データを表示させるマーク付き撮影画像表示制御手段と、
このマーク付き撮影画像表示制御手段による前記マーク付き撮影画像データの表示制御に伴い、当該マーク付き撮影画像データのマークデータに対応付けられて前記変身データ記憶手段により記憶されている変身キャラクタの音声データを読み出して出力させる音声出力制御手段と、
をさらに備えたことを特徴とする請求項１に記載の合成画像出力装置。
【請求項６】
コンピュータを、
予め設定された身振りのモデルデータと変身キャラクタの画像データとを対応付けてメモリに記憶する変身データ記憶手段、
動画撮影された一連の撮影画像データを取得する撮影画像取得手段、
この撮影画像取得手段により取得された一連の撮影画像データの中から人物画像を抽出する人物画像抽出手段、
この人物画像抽出手段により抽出された人物画像の中から、前記変身データ記憶手段によりメモリに記憶されているモデルデータとその予め設定された身振りが一致する人物画像を検出する変身身振り検出手段、
この変身身振り検出手段により予め設定された身振りの人物画像が検出された撮影画像データについて、当該検出された人物画像中の顔画像を除く画像部分を、前記変身データ記憶手段によりメモリに記憶されている変身キャラクタの画像データに基づき、当該人物画像と同じ姿勢の変身キャラクタの画像データに置き換えた顔画像付の合成画像データを生成する合成画像生成手段、
この合成画像生成手段により生成された一連の合成画像データを出力する合成画像出力手段、
として機能させるようにしたコンピュータ読み込み可能な合成画像出力処理プログラム。
【請求項７】
前記変身データ記憶手段は、前記コンピュータを、予め設定された身振りのモデルデータと変身キャラクタの画像データとが対応付けられた複数種類の変身データを選択的にダウンロードしてメモリに記憶する手段として機能させることを特徴とする請求項６に記載の合成画像出力処理プログラム。
【請求項１】
予め設定された身振りのモデルデータと変身キャラクタの画像データとを対応付けて記憶する変身データ記憶手段と、
動画撮影された一連の撮影画像データを取得する撮影画像取得手段と、
この撮影画像取得手段により取得された一連の撮影画像データの中から人物画像を抽出する人物画像抽出手段と、
この人物画像抽出手段により抽出された人物画像の中から、前記変身データ記憶手段により記憶されているモデルデータとその予め設定された身振りが一致する人物画像を検出する変身身振り検出手段と、
この変身身振り検出手段により予め設定された身振りの人物画像が検出された撮影画像データについて、当該検出された人物画像中の顔画像を除く画像部分を、前記変身データ記憶手段により記憶されている変身キャラクタの画像データに基づき、当該人物画像と同じ姿勢の変身キャラクタの画像データに置き換えた顔画像付の合成画像データを生成する合成画像生成手段と、
この合成画像生成手段により生成された一連の合成画像データを出力する合成画像出力手段と、
を備えたことを特徴とする合成画像出力装置。
【請求項２】
前記変身データ記憶手段は、予め設定された身振りのモデルデータと変身キャラクタの画像データと顔合成位置データとを対応付けて記憶し、
前記合成画像生成手段は、
前記変身身振り検出手段により検出された人物画像中の顔画像部分を抽出する顔画像部分抽出手段と、
この顔画像部分抽出手段により抽出された顔画像部分を、前記顔合成位置データに対応する位置に合わせてサイズ変更して、変身キャラクタの画像データに合成する顔画像合成手段と、
を備えたことを特徴とする請求項１に記載の合成画像出力装置。
【請求項３】
前記変身データ記憶手段は、身振りのモデルデータとして、物品を用いて行う物品付身振りのモデルデータを含み、
前記変身身振り検出手段は、前記変身データ記憶手段により記憶されている物品付身振りのモデルデータを含む身振りのモデルデータと身振りが一致する物品付きの人物画像を検出する手段を備えたことを特徴とする請求項１に記載の合成画像出力装置。
【請求項４】
前記変身データ記憶手段は、予め設定された身振りのモデルデータと変身キャラクタの画像データおよび音声データとを対応付けて記憶し、
前記合成画像生成手段は、前記変身身振り検出手段により予め設定された身振りの人物画像が検出された撮影画像データについて、当該検出された人物画像中の顔画像を除く画像部分を、前記変身データ記憶手段により記憶されている変身キャラクタの画像データに基づき、当該人物画像と同じ姿勢の変身キャラクタの画像データに置き換えると共に、当該変身キャラクタの音声データを対応付けた合成画像データを生成する、
ことを特徴とする請求項１に記載の合成画像出力装置。
【請求項５】
前記変身データ記憶手段は、予め設定された身振りのモデルデータと変身キャラクタの画像データおよび音声データと当該変身キャラクタを示すマークデータとを対応付けて記憶し、
前記合成画像生成手段は、
前記変身身振り検出手段により予め設定された身振りの人物画像が検出された撮影画像データについて、当該検出された人物画像に前記変身データ記憶手段により記憶されている変身キャラクタを示すマークデータを付加したマーク付き撮影画像データを生成するマーク付き撮影画像生成手段を有し、
このマーク付き撮影画像生成手段により生成されたマーク付き撮影画像データについて、前記変身キャラクタを示すマークデータが付加された人物画像中の顔画像を除く画像部分を、前記変身データ記憶手段により記憶されている変身キャラクタの画像データに基づき、当該人物画像と同じ姿勢の変身キャラクタの画像データに置き換えると共に、該変身キャラクタの音声データを対応付けた合成画像データを生成し、
前記撮影画像取得手段による一連の撮影画像データの取得に伴い、前記マーク付き撮影画像生成手段により生成されたマーク付き撮影画像データを表示させるマーク付き撮影画像表示制御手段と、
このマーク付き撮影画像表示制御手段による前記マーク付き撮影画像データの表示制御に伴い、当該マーク付き撮影画像データのマークデータに対応付けられて前記変身データ記憶手段により記憶されている変身キャラクタの音声データを読み出して出力させる音声出力制御手段と、
をさらに備えたことを特徴とする請求項１に記載の合成画像出力装置。
【請求項６】
コンピュータを、
予め設定された身振りのモデルデータと変身キャラクタの画像データとを対応付けてメモリに記憶する変身データ記憶手段、
動画撮影された一連の撮影画像データを取得する撮影画像取得手段、
この撮影画像取得手段により取得された一連の撮影画像データの中から人物画像を抽出する人物画像抽出手段、
この人物画像抽出手段により抽出された人物画像の中から、前記変身データ記憶手段によりメモリに記憶されているモデルデータとその予め設定された身振りが一致する人物画像を検出する変身身振り検出手段、
この変身身振り検出手段により予め設定された身振りの人物画像が検出された撮影画像データについて、当該検出された人物画像中の顔画像を除く画像部分を、前記変身データ記憶手段によりメモリに記憶されている変身キャラクタの画像データに基づき、当該人物画像と同じ姿勢の変身キャラクタの画像データに置き換えた顔画像付の合成画像データを生成する合成画像生成手段、
この合成画像生成手段により生成された一連の合成画像データを出力する合成画像出力手段、
として機能させるようにしたコンピュータ読み込み可能な合成画像出力処理プログラム。
【請求項７】
前記変身データ記憶手段は、前記コンピュータを、予め設定された身振りのモデルデータと変身キャラクタの画像データとが対応付けられた複数種類の変身データを選択的にダウンロードしてメモリに記憶する手段として機能させることを特徴とする請求項６に記載の合成画像出力処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２００９−８８７２９（Ｐ２００９−８８７２９Ａ）
【公開日】平成２１年４月２３日（２００９．４．２３）
【国際特許分類】
【出願番号】特願２００７−２５２９２２（Ｐ２００７−２５２９２２）
【出願日】平成１９年９月２８日（２００７．９．２８）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２１年４月２３日（２００９．４．２３）
【国際特許分類】
【出願日】平成１９年９月２８日（２００７．９．２８）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]