説明

被写体合成画像提供、被写体合成画像提供プログラム及び被写体合成画像提供方法

【課題】カメラ等の外部の電子機器の機能を軽減するとともに、ユーザ希望する多様な合成画像を供給することを可能にする。
【解決手段】(A)に示すように、ユーザーから送信された被写体込み画像204と背景画像203とを受信すると、(B)に示すように、これら被写体込み画像204と背景画像203とに基づいて被写体画像P1、P2からなる被写体のみ画像211を切り出す。(C)に示すように、この切り出された被写体のみ画像211に対して、(D)に示すように、ユーザが合成を希望した有名人画像、有名キャラクタ、またはストーリ画像を合成し、この合成画像212をユーザの携帯端末(例:携帯電話)に送信する。これにより、合成画像212をユーザに迅速かつ確実に提供する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被写体合成画像提供装置、被写体合成画像提供プログラム及び被写体合成画像提供方法に関する。
【背景技術】
【0002】
従来から背景のみの画像と被写体込みの画像とを用いて被写体のみの被写体画像の切り出し抽出を行う画像抽出技術が知られている(例えば、特許文献1参照)。
【0003】
この技術などを活用して、動く人物キャラクタ作成機能を備えたカメラが知られている。このカメラにおいて人物キャラクタ作成機能を用いる際には、ユーザは下記の手順で操作を行う。
(1)最初に1回目のシャッター操作を行って、動いている被写体を数秒間連写撮影する。
(2)連写撮影が終了したならば、前記動いている被写体がいない状態で、(1)の手順で撮影した際に画面上に半透明にて表示されている背景部分と現在の背景とが正しく重なるようにフレームを合わせる。
(3)この状態で2回目のシャッターを操作して、背景のみを撮影する。
【0004】
すると、カメラ内部における画像処理により、前記(1)で数秒間連写撮影した各画像中から、切り出し処理を行って(2)の背景を除いた被写体のみの連写画像を切り出す。したがって、この切り出された被写体のみからなる連写画像(この画像を「人物キャラクタ」という)と任意の背景画像(例えば、事前に撮影した静止画像または事前にカメラ内部に記憶されている静止画像)とを合成する合成処理により、前記被写体である人物が動く人物キャラクタを任意の背景画像上で動作するという合成動画を表示することが可能となる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平10−021408号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、従来における人物キャラクタ作成の実現に際しては、前述のようにカメラ内部において、前記切り出し処理と合成処理とを実行することにより、合成画像の表示を可能とする。したがって、当該カメラは切り出し処理機能と合成処理機能とを具備する必要があり、これによりカメラの構成が複雑化したりカメラが大型化したりするなどのデメリットが生ずる。
【0007】
また、動く人物キャラクタを合成する背景画像も当該カメラに予め記憶されている背景画像に限定されることから、各ユーザが希望する多様な合成画像を得ることができるものではなかった。
【0008】
本発明は、かかる従来の課題に鑑みてなされたものであり、カメラ等の外部の電子機器が具備すべき機能を軽減するとともに、ユーザが希望する多様な合成画像を供給することのできる被写体合成画像提供装置、被写体合成画像提供プログラム及び被写体合成画像提供方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
前記課題を解決するために、請求項1記載の発明に係る被写体合成画像提供装置にあっては、選択対象画像とこの選択対象画像を指定するための指定データとを対応付けて複数組記憶している記憶手段と、この記憶手段に記憶されている複数の選択対象画像を外部の電子機器に送信するように制御する第1の送信制御手段と、この第1の送信制御手段の制御により複数の選択対象画像が送信された後に、前記外部の電子機器から送信されてきた背景画像、当該背景画像内に被写体が存在する被写体込み動画画像、前記第1の送信制御手段の制御により送信された複数の選択対象画像の中から選択された選択対象画像に係る指定データを受信するように制御する受信制御手段と、この受信制御手段の制御により受信された背景画像と被写体込み動画画像とから、被写体のみからなる被写体画像を切り出す切出手段と、前記受信制御手段の制御により受信された指定データに対応する選択対象画像を前記記憶手段から読み出し、この読み出された選択対象画像と前記切出手段により切り出された被写体画像とを合成する合成手段と、この合成手段により合成された合成画像を前記外部の電子機器に送信するように制御する第2の送信制御手段と、を備えていることを特徴とする。
【0010】
また、請求項2記載の発明に係る被写体合成画像提供装置にあっては、前記合成手段は、前記第2の送信制御手段の制御により合成画像が送信された後に、前記被写体画像に対する前記選択対象画像の配置位置の変更指示が前記外部の電子機器側からなされたら、その変更指示に従って、前記被写体画像に対する前記選択対象画像の配置位置の変更を行い、その変更後の合成画像を前記外部の電子機器に送信するように制御する第3の送信制御手段を更に備えていることを特徴とする。
【0011】
また、請求項3記載の発明に係る被写体合成画像提供装置にあっては、前記受信制御手段は、複数種の前記指定データを受信するように制御することを特徴とする。
【0012】
また、請求項4記載の発明に係る被写体合成画像提プログラムにあっては、選択対象画像とこの選択対象画像を指定するための指定データとを対応付けて複数組記憶している記憶手段を有する装置が有するコンピュータを、前記記憶手段に記憶されている複数の選択対象画像を外部の電子機器に送信するように制御する第1の送信制御手段と、この第1の送信制御手段の制御により複数の選択対象画像が送信された後に、前記外部の電子機器から送信されてきた背景画像、当該背景画像内に被写体が存在する被写体込み動画画像、前記第1の送信制御手段の制御により送信された複数の選択対象画像の中から選択された選択対象画像に係る指定データを受信するように制御する受信制御手段と、この受信制御手段の制御により受信された背景画像と被写体込み動画画像とから、被写体のみからなる被写体画像を切り出す切出手段と、前記受信制御手段の制御により受信された指定データに対応する選択対象画像を前記記憶手段から読み出し、この読み出された選択対象画像と前記切出手段により切り出された被写体画像とを合成する合成手段と、この合成手段により合成された合成画像を前記外部の電子機器に送信するように制御する第2の送信制御手段と、して機能させることを特徴とする。
【0013】
また、請求項5記載の発明に係る被写体合成画像提供方法にあっては、選択対象画像とこの選択対象画像を指定するための指定データとを対応付けて複数組記憶している記憶手段を有する装置における被写体合成画像提供方法であって、前記記憶手段に記憶されている複数の選択対象画像を外部の電子機器に送信するように制御する第1の送信制御ステップと、この第1の送信制御ステップでの制御により複数の選択対象画像が送信された後に、前記外部の電子機器から送信されてきた背景画像、当該背景画像内に被写体が存在する被写体込み動画画像、前記第1の送信制御手段の制御により送信された複数の選択対象画像の中から選択された選択対象画像に係る指定データを受信するように制御する受信制御手ステップと、この受信制御ステップでの制御により受信された背景画像と被写体込み動画画像とから、被写体のみからなる被写体画像を切り出す切出ステップと、前記受信制御ステップでの制御により前記受信手段により受信された指定データに対応する選択対象画像を前記記憶手段から読み出し、この読み出された選択対象画像と前記切出手段により切り出された被写体画像とを合成する合成ステップと、この合成ステップにより合成された合成画像を前記外部の電子機器に送信するように制御する第2の送信制御ステップと、を含むことを特徴とする。
【0014】
また、請求項6記載の発明に係る被写体合成画像提供装置にあっては、外部の電子機器から送信されてきた背景画像と当該背景画像内に被写体が存在する被写体込み動画画像とを受信するように制御する受信制御手段と、 この受信制御手段の制御により受信された背景画像と被写体込み動画画像とから、被写体のみからなる被写体画像を切り出す切出手段と、この切出手段により切り出された被写体画像と予め記憶されている記憶画像とを合成する合成手段と、この合成手段により合成された合成画像を前記外部の電子機器に送信するように制御する送信制御手段と、を備えていることを特徴とする。
【0015】
また、請求項7記載の発明に係る被写体画像提供装置にあっては、外部の電子機器から送信されてきた背景画像と当該背景画像内に被写体が存在する被写体込み動画画像とを受信するように制御する受信制御手段と、この受信制御手段の制御により受信された背景画像と被写体込み動画画像とから、被写体のみからなる被写体画像を切り出す切出手段と、この切出手段により切り出された被写体画像を前記外部の電子機器に送信するように制御する送信制御手段と、を備えていることを特徴とする。
【発明の効果】
【0016】
請求項1、4、5に係る発明によれば、使用者端末等の外部の電子機器から送信されてきた(1)背景画像、(2)被写体込み動画画像、(3)指定データを受信すると、この受信された背景画像と被写体込み動画画像とから、被写体のみからなる被写体画像を切り出してくれる。このために、外部の電子機器は、画像の切り出し機能を持つ必要がないこととすることができる。
【0017】
そればかりでなく、この切り出された被写体画像と受信された指定データに対応する選択対象画像とを合成し、この合成された合成画像を前記外部の電子機器に送信することができる。この結果、使用者は背景画像、被写体込み動画画像を送り、かつ、複数の選択対象画像の中から選択対象画像を選択するのみで、希望する多様な合成画像を迅速かつ確実に得ることができる。
【0018】
また、請求項2に係る発明によれば、被写体画像に対する選択対象画像の配置位置の変更を行い、その変更後の合成画像を前記外部の電子機器に送信するので、細部に亘ってユーザの希望を取り入れた合成画像を提供することができる。
【0019】
また、請求項3に係る発明によれば、ユーザの希望を多様に取り入れたより多様な合成画像を提供することができる。
【0020】
請求項6に係る発明によれば、使用者端末等の外部の電子機器から送信されてきた(1)背景画像、(2)被写体込み動画画像を受信すると、この受信された背景画像と被写体込み動画画像とから、被写体のみからなる被写体画像を切り出してくれる。このために、外部の電子機器は、画像の切り出し機能を持つ必要がないこととすることができる。
【0021】
そればかりでなく、この切り出された被写体画像と予め記憶されている記憶画像とを合成し、この合成された合成画像を前記外部の電子機器に送信することができる。この結果、使用者は背景画像、被写体込み動画画像を送るのみで、希望する多様な合成画像を迅速かつ確実に得ることができる。
【0022】
請求項7に係る発明によれば、使用者端末等の外部の電子機器から送信されてきた(1)背景画像、(2)被写体込み動画画像を受信すると、この受信された背景画像と被写体込み動画画像とから、被写体のみからなる被写体画像を切り出してくれる。このために、外部の電子機器は、画像の切り出し機能を持つ必要がないこととすることができる。
【図面の簡単な説明】
【0023】
【図1】本発明の一実施の形態を適用した画像送受信システム全体を示すシステム構成図である。
【図2】図2に示す画像送受信システムに用いられる管理サーバ等の構成を示すブロック図である。
【図3】図2に示す画像送受信システムに用いられる使用者端末である携帯電話の構成を示すブロック図である。
【図4】図3に示す携帯電話の処理の手順を示すフローチャートである。
【図5】同携帯電話の背景画像処理における静止画の一例を示す図である。
【図6】同携帯電話の被写体込み画像処理における被写体込み画像の一例を示す図である。
【図7】同携帯電話の処理におけるネット初期画面の画面例を示す図である。
【図8】図7に続く画面例を示す図である。
【図9】図2に示す管理サーバの処理手順を示すフローチャートである。
【図10】同管理サーバにおける編集処理の手順を示すフローチャートである。
【図11】(A)および(B)は同管理サーバにおける編集処理の手順を示す説明図である。
【図12】(A)〜(D)は図11に続く説明図である。
【発明を実施するための形態】
【0024】
以下、本発明の一実施の形態を図に従って説明する。
図1は、本実施の形態に係る画像送受信システムの構成を示すブロック図である。
図において、本発明における外部の電子機器として機能する携帯電話1は、通話機能、静止画及び動画撮影機能、及び画像送受信機能を備えた使用者端末である。無線基地局2は、携帯電話1を当該携帯電話1が加入する通信サービス事業者(インターネットプロバイダを含む)4に接続する。
【0025】
通信サービス事業者(インターネットプロバイダを含む)4は、主なサービスとして提供している携帯電話サービスに必要とする通信回路処理部41の他、後述のWWW(インターネット)5に接続するためのシステム(Webサーバ43)、メールシステム(メールサーバ42)を備えている。また、無線基地局2をAP(アクセス・ポイント)として、携帯電話1をWWW5に接続させるための機能も備えている。画像提供サービス会社6は、WWW5に接続するためのシステム(Webサーバ61)、及び管理サーバ63を備えている。
【0026】
図2は、前記管理サーバ63の詳細を示すブロック図であり、前記Webサーバ61は、ハブ64を介して管理サーバ63に接続されている。管理サーバ63は、入力操作部(キーボード、マウス等)631、制御部(メインフレーム)632、システムプログラム記憶部633、画像データ管理テーブル62、表示部635、及び通信制御部636がシステムバスにより相互に接続されたシステムである。制御部632はワーク用のRAM634を備えている。そして、登録者が操作する携帯電話1に対し有料又は無料で、データ(画像情報)を配信したり、ダウンロードしたりするなどのサービスを行う。システムプログラム記憶部633には、後述するフローチャートにより示すプログラム等が格納されている。
【0027】
図3は、この実施の形態においける使用者端末としての携帯電話1の構成を示すブロック図である。
無線部121は、アンテナ103に接続されており、PSK方式に基づく変復調と、CDMA方式に基づく端末認証処理を含む通信処理を行う。制御部122は、当該機器を制御するとともにWWW接続制御を行うものであって、通信データ処理部1221、システムROM1222及びオーディオインターフェース1223を有しており、無論、計時手段を有している。通信データ処理部1221は、CELP系ボコーダ&音声復号処理回路、パケットデータ生成回路、及びパケットデータ復元回路を含み、通信プロトコルに沿ったデータ処理を行う。
【0028】
システムROM1222には、OSのような基本システムが格納されるとともに、加入者情報記憶部1224が設けられる。加入者情報記憶部1224は、基地局2とのネゴシエーションに必要となる当該携帯電話1に固有のIDである端末ID、加入者ID情報を記憶する。オーディオインターフェース1223は、通信データ処理部1221で処理される音声信号の入出力を行うものであって、前記スピーカ101、マイク114及び録音用マイク115が接続されている。なお、入力部104は、シャッターキー1a、テンキー1b、インターネット接続キー1c等(図1参照)で構成される。なお、シャッターキー1aは決定キーとしての機能も兼ねるものである。
【0029】
アドレス・データバス処理部123は、制御部122と周辺回路(破線枠内の回路)とのデータの入出力タイミング等を制御・管理するものである。RAM124は、アドレス帳データやメールデータ等、当該携帯電話1内で生成される各種データ等を記憶する。プログラムROM(NAND Flash)125は、後述するフローチャートに示すプログラム、メール処理プログラム、ブラウザを格納するウェブ処理系プログラム、JPEG、MPEG(−2、−4)方式に準拠した画像圧縮/伸張処理プログラム、ユーティリティ(環境ソフト)プログラム、及びその他アプリケーションプログラムを格納し、ユーザの操作に従い、これらのプログラムを選択して制御部122にロードする。音源IC126は、報知音の波形を記憶するとともに出力するものであって、アンプ127は音源IC126からの出力を増幅し、前記報知用スピーカ120はこれを再生する。
【0030】
表示モジュール系ドライバ128は、前記メイン表示部102、サブ表示部116、報知用LED117、及びフラッシュ用LED119を駆動するものである。撮像デバイス130は、AF機能を備えた撮像レンズ118により被写体像が結像されるCCD等からなり、DSP129は、この撮像デバイス130からの画像信号を前記シャッターキー1aの操作や動画撮影時におけるフレームレート等に応じて処理するものである。画像記憶部131は、このDSP129が処理した静止画や動画、あるいは管理サーバ63からダウンロードした合成画像(合成動画画像)を記憶するものである。
【0031】
次に、図4に示す使用者端末である携帯電話(撮影・送信処理)のフローチャートに従って、以上の構成に係る実施形態の動作について説明する。
携帯電話1は、図3に示すプログラムROM125に記憶されているプログラムに基づき、このフローチャートに示すように処理を実行する。
【0032】
すなわち、電源をオンにして撮影・送信モードを設定すると、図5に示すように、メイン表示部102に順次撮像される画像がライブビュー表示された状態となる。この状態で、ユーザがシャッターキー1aの1回目の操作を行うと、この操作に応答して、被写体(被写体人物)が除かれている背景を少なくとも1枚撮影し、この撮影した背景画像203をDSP129より取得する(ステップA1)。
【0033】
例えば結婚披露宴において、図5に示すように、新郎新婦(被写体人物)が入場する前に、ケーキ201付きのテーブル201や複数のテーブル202・・・が存在するシーンを撮影する。これにより、これらテーブル202・・・上のケーキ201や複数のテーブル202・・・が存在するが、被写体である新郎新婦が除かれている背景画像203が取得される。
しかる後に、この取得した静止画である背景画像203を記憶処理して、RAM124の背景画像エリア203Aに背景画像203を保存する(ステップA2;図3参照)。
【0034】
次に、ユーザよるシャッターキー1aの2回目の操作を行い、この操作に応答して、所定のフレームレートで所定時間、例えば30fpsで20秒間、背景内において動く被写体人物が存在する被写体(人物)込みの背景を連写撮影する。これにより、この被写体込み画像204がDSP129より取得される(ステップA3)。
例えば、図6に示すように、披露宴の進行に伴い、前記テーブル202・・・上のケーキ201や複数のテーブル202・・・が存在するシーンの中に、新郎新婦P2,P1が登場してケーキカットが行われている状態を同じ撮影位置でかつ同じ角度で連写する。すると、同図に示すように、前記背景画像203内に新郎新婦である被写体人物P1、P2によってケーキカットを行っている状態が所定のフレームレートで所定時間連写撮影される。
そして、この所定のフレームレートで所定時間連写撮影した被写体込み画像204を動画画像として記憶処理し、RAM124の被写体込み画像エリア204Aに被写体込み画像204を保存する(ステップA4;図3参照)。
【0035】
引き続き、ユーザによりインターネット接続キー1cが操作されると、基地局2、WWW5を介して、画像提供サービス会社6内の管理サーバ63の配信サービスサイトにアクセスし、後述するように当該配信サービスサイトから送信されてくるネット初期画面を受信し、メイン表示部102に表示する(ステップA5)。
【0036】
このステップA5での処理により、携帯電話1のメイン表示部102には、図7に示すように、「有名人または有名キャラクタ等を1つまたは2つ、選択してください」なる文字列205とともに、選択区分(a)(b)(c)が表示される。
【0037】
これら選択区分(a)(b)(c)において、選択区分(a)は各々異なる有名人の選択肢「有名人A」「有名人B」・・・「有名人Z」の顔画像で構成されている。その中は有名な「神父A」「神父B」の画像が含まれている。選択区分(b)は、「ケーキ付テーブル1」「ケーキ付テーブル2」の画像や「有名キャラクタ1」・・・「有名キャラクタ99」の画像で構成されている。選択区分(c)は、「ストーリ1」「ストーリ2」・・・「ストーリ99」の各々異なる鳩が飛び出すシーンで構成されている。
【0038】
また、各選択肢の下部には、チェックボックス206が付されている。そして、ユーザがいずれか1つまたは2つのチェックボックス206にカーソル207でチェックすると、制御部122はステップA5からステップA6に処理を進めて、前記ネット初期画面上に表示中の複数の有名人、複数のキャラクタ、複数のストーリからユーザが希望するチェックされた有名人、キャラクタまたはストーリを選択し、その選択情報である指定データを管理サーバ63に送信する(ステップA6)。
【0039】
したがって、図7に示した例においては、カーソル207でのチェックにより、選択区分(a)からは「有名人B(神父B)」が選択され、選択区分(b)からは「ケーキ付きテーブル1」が選択され、選択区分(c)からは「ストーリ1 鳩が飛び出すシーン1」が選択されたことから、ステップA6では、これら「有名人B(神父B)」の指定データと、「ケーキ付きテーブル1」の指定データと、「ストーリ1 鳩が飛び出すシーン1」の指定データとが管理サーバ63に送信されることとなる。
【0040】
なお、本実施の形態における記憶手段である管理サーバ63の画像データ管理テーブル62には、(1)選択区分(a)に属する選択肢「有名人A」「有名人B」・・・「有名人Z」の顔画像、(2)選択区分(b)に属する「ケーキ付テーブル1」「ケーキ付テーブル2」のテーブル画像や「有名キャラクタ1」・・・「有名キャラクタ99」のキャラクタ画像、(3)選択区分(c)に属する「ストーリ1」「ストーリ2」・・・「ストーリ99」の各々異なる鳩が飛び出すシーンのストーリ画像が記憶されている(図2参照)。これら、画像は例えば30fpsで20秒間の動画で構成されている。なお、図2に示す画像データ管理テーブル62は、複数の有名人の画像に対応する指定データは、YA〜YZまで、複数のキャラクタの画像に対応する指定データは、KK1〜K99まで、および複数のストーリの画像に対応する指定データは、S1〜S99まで記憶されている。
【0041】
このようにして、有名人、キャラクタまたはストーリの選択情報の送信が終了すると、制御部122は、図8に示すように、「あなたが撮影した背景画像と被写体込み画像とを送信してください」からなる文字列208と、前記ステップA2でRAM124の背景画像エリア203Aに記憶した背景画像203と、前記ステップA4でRAM124の被写体込み画像エリア204Aに記憶した動画画像である被写体込み画像204とをメイン表示部102に表示させる。
これを視認したユーザは、決定キーとしての機能も兼ねるシャッターキー1aを操作する。すると、制御部122はこれら被写体込み画像204と背景画像203とを管理サーバ63に送信する(ステップA7)。
【0042】
しかる後に、携帯電話1は、後述するように管理サーバ63側から送信されてくる合成画像(動画合成画像)受信する(ステップA8)。さらに、携帯電話1は、後述するように受信した編集希望催促に応じた合成画像に対する編集希望を送信する(ステップA9)。そして、この編集希望に応じて編集された最終の合成画像218を受信して、画像記憶部131に記憶する(ステップA10)。
【0043】
他方、こうした携帯電話1と接続される管理サーバ63は、図2に示すシステムプログラム記憶部633に記憶されているプログラムに基づき、図9の人物キャラクタ作成・配信処理のフローチャートに示す処理を実行する。
すなわち、前記ステップA5で説明したように、ユーザによりインターネット接続キー1cが操作されると、基地局2、WWW5を介して、携帯電話1は、画像提供サービス会社6内の管理サーバ63の配信サービスサイトにアクセスする。これを受けて、管理サーバ63は、ネット初期画面配信処理を実行して、図7に示したネット初期画面を送信する(ステップB1)。
【0044】
また、前記ステップA6の処理により、前記ネット初期画面上に表示中の複数の有名人、複数のキャラクタ、複数のストーリの中からユーザがチェックボックス206にカーソル207でチェックし、希望する有名人、キャラクタまたはストーリの画像が選択されて携帯電話1から、これらの希望有名人またはストーリの画像を指定するための指定データが送信されると、管理サーバ63は、この希望する有名人またはストーリの画像を指定するための指定データを受信する(ステップB2)。
本例においては、図7に示したようにカーソル207でのチェックボックス206に対するチェックにより、
(1)「有名人B(神父B)」
(2)「ケーキ付きテーブル1」
(3)「ストーリ1 鳩が飛び出すシーン1」
の各画像が選択されたことから、これら「有名人B(神父B)」の指定データYB、「ケーキ付きテーブル1」の指定データK2、及び「ストーリ1 鳩が飛び出すシーン1」の指定データS1が携帯電話1から送信される。管理サーバ63は、これらの指定データYB、K2、S1を受信する。
【0045】
また、前記ステップA7での処理により、携帯電話1から被写体込み画像204と背景画像203とが送信されてくると、管理サーバ63は、この送信されてきた被写体込み画像204と背景画像203とを受信する(ステップB3)。本例においては、携帯電話1から図8に示した被写体込み画像204と背景画像203とが送信されてきたことから、図11(A)に示すように、この被写体込み画像204と背景画像203とが受信されることとなる。
【0046】
そこで、次のステップB4においては、管理サーバ63は、これら受信された被写体込み画像204と背景画像203とに基づいて、動画画像である被写体込み画像204の各フレーム画像中から動く部分の被写体画像P1、P2を切り出す処理を実行する(図11(B))。つまり、図11(A)に示した一連のフレーム画像で構成される被写体込み画像204の各フレーム画像から、背景画像203が示す背景部分以外の部分である被写体画像P1、P2を各々切り出す。
したがって、このステップB4での処理により、図11(C)に示すように、被写体画像P1,P2からなる新郎新婦が切り出された複数のフレーム画像からなる被写体のみ画像211が生成される。
【0047】
よって、本実施の形態によれば、従来のようにカメラ内部(携帯電話1内部)において、前記切り出し処理と合成処理とを実行する必要がなく、これによりカメラの構成が複雑化したりカメラが大型化したりするデメリットを解消することができる。
【0048】
続くステップB5では、管理サーバ63は、合成記憶処理を実行し、前記生成した被写体のみ画像211と、ユーザが希望した有名人、キャラクタ、またはストーリの画像とを合成した後、この合成画像を画像データ管理テーブル62に記憶させる。
つまり、ステップA3で説明したように、携帯電話1から送信されてくる被写体込み動画画像204は、30fpsで20秒間の長さであるから、前記被写体のみ画像211も30fpsで20秒間の長さである。また、管理サーバ63の画像データ管理テーブル62に記憶されている合成用の画像データも30fpsで20秒間の長さである。
また、前述のように、管理サーバ63の画像データ管理テーブル62に記憶されている選択区分(a)(b)(c)に属する各画像データも30fpsで20秒間の動画データで構成されている。
【0049】
したがって、30fpsで20秒間の長さからなる被写体のみ画像211の各フレームと、選択された「有名人B(神父B)」、「ケーキ付きテーブル1」、「ストーリ1 鳩が飛び出すシーン1」のフレーム数とは同一数の「30×20=600フレーム」であるので、フレーム毎に合成することにより、合成動画を生成することができる。
【0050】
よって、本実施の形態によれば、動く人物キャラクタを合成する画像も当該カメラに予め記憶されている画像に限定されることがなく、各ユーザが希望する多様な合成画像を得ることができる。
【0051】
なお、このときの被写体のみ画像211に対する「有名人B(神父B)」、「ケーキ付きテーブル1」、「ストーリ1 鳩が飛び出すシーン1」の合成位置は、図11(D)に示すように、フレームの下部に羅列合成するだけでよい。
【0052】
このようにして、管理サーバ63は、合成した動画を生成したならば、この合成画像とともに、編集希望受領画面を携帯電話1に送信する(ステップB6)。図11(D)は、この編集希望受領画面を示す図である。
図示の場合は、フレーム212内に「あなたが合成を希望した有名人、キャラクタなどです。これらを画面のどの位置に配置しますか。カーソルを用いて希望する場所有名人などを移動して指定して下さい」からなる編集希望催促213と、選択された合成要素214、215、126とを有する編集希望受領画面を示す。
【0053】
そして、この画面を受信した携帯電話1から、前記ステップA9での処理により編集希望が送信されると、この編集希望を受信した後(ステップB7)、この受信した編集希望に応じた編集処理を実行する(ステップB8)。
【0054】
図10は、このステップB8の編集希望に応じた編集処理の詳細を示すフローチャートである。
まず、管理サーバ63は、前記携帯電話1から受信した編集希望において前記合成要素214、215、126配置位置変更が指示されたか否かを判断する(ステップB81)。
たとえば、図12(A)に示すように、ユーザーの操作にかかるカーソル207の指示によって、合成要素215である「鳩が飛び出すシーン1」の配置位置の変更が上方位置J1から左下方位置J2への指示がなされている場合には、当該指示に従って合成要素215の配置位置を変更し、この変更後の配置位置において、合成要素215と被写体のみ画像211との合成処理を実行する。また、図12(B)に示すように、ユーザーの操作にかかるカーソル207の指示によって、合成要素214である「有名人(B)(神父B)」の配置位置の変更が上方位置から左下方位置J3への指示がなされている場合には、当該指示に従って合成要素214の配置位置を変更し、この変更後の配置位置において、合成要素214と被写体のみ画像211との合成処理を実行する。他の合成要素216についても配置位置の変更が指示されている場合には、当該指示に従って他の合成要素216の配置位置を変更し、この変更後の配置位置において、他の合成要素216と被写体のみ画像211との合成処理を実行する(ステップB82)。
【0055】
これにより、図12(B)に示すように、新郎新婦である被写体画像P1,P2が切り出された複数のフレーム画像からなる被写体のみ画像211の周囲の位置に、合成要素214、215、126を配置した編集後の合成画像を生成することができ、多様に編集した画像を合成することができる。
【0056】
また、ステップB82の処理を完了したならば、再度ステップB81からの処理が実行された際に、ステップB81からステップB83に進み、被写体画像P1,P2の間の間隔調整がユーザーにより実行されたか否かを判断する。この被写体画像P1,P2の間の間隔調整は、たとえば、被写体画像P1,P2上に、ユーザーの操作にかかるカーソル207を移動させ、被写体画像P1,P2の間の間隔を離す、または狭める操作が行われたかを判断することにより行う。
【0057】
被写体画像のP1,P2の間の間隔調整がユーザにより実行されたと判断したならば、各被写体画像P1、P2の間の距離を、ユーザにより指定されている任意の距離に変更する(ステップB84)。これにより、人物キャラクタとなる被写体画像P1、P2間の距離をユーザの希望に応じて任意に伸長または短縮させた動画を合成することができる。
【0058】
また、ステップB84の処理を完了したならば、再度ステップB81からの処理が実行された際に、ステップB83からステップB85に進み、吹き出しコメントの挿入が指示されたか否かを判断する(ステップB85)。吹き出しコメントの挿入が指示されたならば、この指示とともに携帯電話1から送信された吹き出しコメントを指定された位置に合成する(ステップB86)。これにより、図12(B)に示すように、「私たち軽井沢会館で結婚しました H21/6/6」なる吹き出しコメント217が合成された合成画像(動画)を創作することができる。
【0059】
また、吹き出しコメントが選択されない場合には、指示されたその他の編集に基づくその他の合成処理を実行する(ステップB87)。これにより、図12(B)に示すように、被写体画像P1,P2からなる新郎新婦204が切り出された複数のフレーム画像からなる被写体のみ画像の所望の位置に、合成要素214、215、126を配置し、吹き出しコメント217が合成された最終の合成画像218を創作することができる。
【0060】
しかる後に、ユーザ希望の編集処理を全て終了したか否かを判断し(ステップB88)、終了してない場合には、ステップB81に戻る。したがって、ステップB81からの処理が繰り返されることにより、ユーザの希望を多様に取り入れた多様な合成画像を創作することができる。
【0061】
そして、編集を終了したならば記憶処理を行って、前記最終の合成画像218を画像データ管理テーブル62に記憶させ(ステップB89)、図9のメインルーチンにリターンする。
【0062】
すると、図9のメインルーチンにおいて、管理サーバ63は、ステップB8に続くステップB9で最終の合成画像送信処理を実行し、図12(B)に示した最終の合成画像218を携帯電話1に送信し、処理を終了する。したがって、携帯電話1は、これを受けて、前述のようにステップA10で、最終の合成画像218を受信して、画像記憶部131に記憶する。
【0063】
よって、携帯電話1側においては、シャッターキー1aを操作して撮影し、その後希望の編集指示を送信するという簡単なキー操作により、動画である最終の合成画像218をメイン表示部102に表示させて、観賞することができる。
【0064】
なお、この実施の形態の場合、一連の被写体込みの動画画像と背景画像とから、被写体のみからなる被写体画像P1、P2を切り出し、この切り出された被写体画像P1、P2を人物キャラクタとして合成画像を作成するようにしているが、被写体画像P1、P2が動物の場合は、動物の被写体を動物キャラクタとして作成してもよい。さらに、被写体画像P1、P2が自動車等の動く物体画像の場合は、物体の被写体を物体キャラクタとして作成してもよい。
【0065】
また、この実施の形態の場合、図11(A)に示すように、ユーザーの外部電子機器から送信された被写体込み画像204と背景画像203とを受信すると、図11(B)に示すように、これら被写体込み画像204と背景画像203とに基づいて被写体画像P1、P2からなる被写体のみ画像211を切り出す。図11(C)に示すように、この切り出された被写体のみ画像211に対して、図11(D)に示すように、ユーザが合成を希望した有名人画像、有名キャラクタ、またはストーリ画像を合成し、図12(B)に示すように、この合成画像212をユーザの携帯端末(例:携帯電話)に送信し、これにより、合成画像212をユーザに迅速かつ確実に提供するようにしているが、外部の電子機器から送信されてきた背景画像と当該背景画像内に被写体が存在する被写体込み動画画像とを受信すると、この受信された背景画像と被写体込み動画画像とから、被写体のみからなる被写体画像を切り出し、この切り出された被写体画像と予め記憶されている記憶画像(たとえば、ROMに事前に用意されている有名人画像、有名キャラクタ、またはストーリ画像)とを合成し、この合成された合成画像を前記外部の電子機器に送信するように制御するようにしてもよい。
【符号の説明】
【0066】
1 携帯電話
1a シャッターキー
1b テンキー
1c インターネット接続キー
41 通信回路処理部
42 メールサーバ
43 Webサーバ
61 Webサーバ
62 画像データ管理テーブル
63 管理サーバ
102 メイン表示部
103 アンテナ
104 入力部
118 撮像レンズ
119 フラッシュ用LED
121 無線部
122 制御部
124 RAM
125 プログラムROM
128 表示モジュール系ドライバ
129 DSP
130 撮像デバイス
131 画像記憶部
632 制御部
633 システムプログラム記憶部
634 RAM
635 表示部
636 通信制御部
1221 通信データ処理部
1222 システムROM

【特許請求の範囲】
【請求項1】
選択対象画像とこの選択対象画像を指定するための指定データとを対応付けて複数組記憶している記憶手段と、
この記憶手段に記憶されている複数の選択対象画像を外部の電子機器に送信するように制御する第1の送信制御手段と、
この第1の送信制御手段の制御により複数の選択対象画像が送信された後に、前記外部の電子機器から送信されてきた背景画像、当該背景画像内に被写体が存在する被写体込み動画画像、前記第1の送信制御手段の制御により送信された複数の選択対象画像の中から選択された選択対象画像に係る指定データを受信するように制御する受信制御手段と、
この受信制御手段の制御により受信された背景画像と被写体込み動画画像とから、被写体のみからなる被写体画像を切り出す切出手段と、
前記受信制御手段の制御により受信された指定データに対応する選択対象画像を前記記憶手段から読み出し、この読み出された選択対象画像と前記切出手段により切り出された被写体画像とを合成する合成手段と、
この合成手段により合成された合成画像を前記外部の電子機器に送信するように制御する第2の送信制御手段と、
を備えていることを特徴とする被写体合成画像提供装置。
【請求項2】
前記第2の送信制御手段の制御により合成画像が送信された後に、前記被写体画像に対する前記選択対象画像の配置位置の変更指示が前記外部の電子機器側からなされたら、その変更指示に従って、前記被写体画像に対する前記選択対象画像の配置位置の変更を行い、
その変更後の合成画像を前記外部の電子機器に送信するように制御する第3の送信制御手段を更に備えていることを特徴とする請求項1記載の被写体合成画像提供装置。
【請求項3】
前記受信制御手段は、複数種の前記指定データを受信するように制御することを特徴とする請求項1又は2記載の被写体合成画像提供装置。
【請求項4】
選択対象画像とこの選択対象画像を指定するための指定データとを対応付けて複数組記憶している記憶手段を有する装置が有するコンピュータを、
前記記憶手段に記憶されている複数の選択対象画像を外部の電子機器に送信するように制御する第1の送信制御手段と、
この第1の送信制御手段の制御により複数の選択対象画像が送信された後に、前記外部の電子機器から送信されてきた背景画像、当該背景画像内に被写体が存在する被写体込み動画画像、前記第1の送信制御手段の制御により送信された複数の選択対象画像の中から選択された選択対象画像に係る指定データを受信するように制御する受信制御手段と、
この受信制御手段の制御により受信された背景画像と被写体込み動画画像とから、被写体のみからなる被写体画像を切り出す切出手段と、
前記受信制御手段の制御により受信された指定データに対応する選択対象画像を前記記憶手段から読み出し、この読み出された選択対象画像と前記切出手段により切り出された被写体画像とを合成する合成手段と、
この合成手段により合成された合成画像を前記外部の電子機器に送信するように制御する第2の送信制御手段と、
して機能させることを特徴とする被写体合成画像提プログラム。
【請求項5】
選択対象画像とこの選択対象画像を指定するための指定データとを対応付けて複数組記憶している記憶手段を有する装置における被写体合成画像提供方法であって、
前記記憶手段に記憶されている複数の選択対象画像を外部の電子機器に送信するように制御する第1の送信制御ステップと、
この第1の送信制御ステップでの制御により複数の選択対象画像が送信された後に、前記外部の電子機器から送信されてきた背景画像、当該背景画像内に被写体が存在する被写体込み動画画像、前記第1の送信制御手段の制御により送信された複数の選択対象画像の中から選択された選択対象画像に係る指定データを受信するように制御する受信制御手ステップと、
この受信制御ステップでの制御により受信された背景画像と被写体込み動画画像とから、被写体のみからなる被写体画像を切り出す切出ステップと、
前記受信制御ステップでの制御により前記受信手段により受信された指定データに対応する選択対象画像を前記記憶手段から読み出し、この読み出された選択対象画像と前記切出手段により切り出された被写体画像とを合成する合成ステップと、
この合成ステップにより合成された合成画像を前記外部の電子機器に送信するように制御する第2の送信制御ステップと、
を含むことを特徴とする被写体合成画像提供方法。
【請求項6】
外部の電子機器から送信されてきた背景画像と当該背景画像内に被写体が存在する被写体込み動画画像とを受信するように制御する受信制御手段と、
この受信制御手段の制御により受信された背景画像と被写体込み動画画像とから、被写体のみからなる被写体画像を切り出す切出手段と、
この切出手段により切り出された被写体画像と予め記憶されている記憶画像とを合成する合成手段と、
この合成手段により合成された合成画像を前記外部の電子機器に送信するように制御する送信制御手段と、
を備えていることを特徴とする被写体合成画像提供装置。
【請求項7】
外部の電子機器から送信されてきた背景画像と当該背景画像内に被写体が存在する被写体込み動画画像とを受信するように制御する受信制御手段と、
この受信制御手段の制御により受信された背景画像と被写体込み動画画像とから、被写体のみからなる被写体画像を切り出す切出手段と、
この切出手段により切り出された被写体画像を前記外部の電子機器に送信するように制御する送信制御手段と、
を備えていることを特徴とする被写体画像提供装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate


【公開番号】特開2011−19145(P2011−19145A)
【公開日】平成23年1月27日(2011.1.27)
【国際特許分類】
【出願番号】特願2009−163289(P2009−163289)
【出願日】平成21年7月10日(2009.7.10)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.FLASH
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】