画像合成システム、撮像装置、画像合成方法、及びプログラム
【課題】メイン被写体に応じた適切な位置に付加画像を配置させた合成画像を生成する画像合成システム、撮像装置、画像合成方法、及びプログラムを提供する。
【解決手段】画像を合成する撮像装置であって、被写体を撮像する撮像部と、撮像した撮像画像内にある特定の被写体を検出する被写体検出部と、撮像装置の現在位置を示す位置情報を取得する位置情報取得部と、位置情報に応じた付加画像を取得する付加画像取得部と、撮像画像における、被写体検出部が検出した特定の被写体の位置に対して予め定められた位置に、付加画像を配置させた合成画像を生成する合成画像生成部とを備える。
【解決手段】画像を合成する撮像装置であって、被写体を撮像する撮像部と、撮像した撮像画像内にある特定の被写体を検出する被写体検出部と、撮像装置の現在位置を示す位置情報を取得する位置情報取得部と、位置情報に応じた付加画像を取得する付加画像取得部と、撮像画像における、被写体検出部が検出した特定の被写体の位置に対して予め定められた位置に、付加画像を配置させた合成画像を生成する合成画像生成部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を合成する画像合成システム、撮像装置、画像合成方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、ＧＰＳにより現在の位置を取得して、現在の位置の地名と撮影した画像とを合成する技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２３５７９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
現在の位置の地名を撮影した画像に単に合成すると、ユーザが撮影しようしている被写体に重畳して地名が合成される虞がある。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明の第１の態様においては、撮像装置とサーバとを有する画像合成システムであって、撮像装置は、被写体を撮像する撮像部と、撮像した撮像画像内にある特定の被写体を検出する被写体検出部と、撮像装置の現在位置を示す位置情報を取得する位置情報取得部と、取得した位置情報をサーバに送信する位置情報送信部と、位置情報に応じた付加画像をサーバから取得する付加画像取得部と、撮像画像における、被写体検出部が検出した特定の被写体の位置に対して予め定められた位置に、付加画像を配置させた合成画像を生成する合成画像生成部とを備え、サーバは、位置情報に対応付けて付加画像を記録した付加画像記録部と、位置情報送信部が送信した位置情報を受信する位置情報受信部と、付加画像記録部が記録している、受信した位置情報に対応する付加画像を撮像装置に送信する付加画像送信部とを備える。
【０００６】
撮像装置は、被写体検出部が検出した特定の被写体の大きさに応じて付加画像の大きさを変更する画像変更部をさらに備え、合成画像生成部は、撮像画像における、被写体検出部が検出した特定の被写体の位置に対して予め定められた位置に、画像変更部が変更した付加画像を配置させた合成画像を生成する。
【０００７】
付加画像記録部は、複数の位置情報及び時刻に対応付けて複数の付加画像を記録しており、付加画像送信部は、受信した位置情報及び時刻に応じた付加画像を撮像装置に送信し、付加画像取得部は、付加画像送信部が送信した付加画像を取得する。
【０００８】
撮像装置は、顔の表情を判断する表情判断部をさらに備え、被写体検出部は、特定の被写体として人物の顔を検出し、表情判断部は、被写体検出部が検出した人物の顔の表情を判断し、位置情報送信部は、取得した位置情報及び判断した顔の表情を送信し、付加画像記録部は、複数の位置情報及び複数の顔の表情に対応付けて複数の付加画像を記録しており、付加画像送信部は、受信した位置情報及び顔の表情に応じた付加画像を撮像装置に送信し、付加画像取得部は、付加画像送信部が送信した付加画像を取得する。
【０００９】
撮像装置は、合成画像を表示する表示部を備え、撮像部は、被写体を順次撮像し、付加画像取得部は、位置情報に応じた付加動画像を取得し、合成画像生成部は、順次撮像したそれぞれの撮像画像における、被写体検出部が検出した特定の被写体の位置に対して予め定められた付加動画像の位置に、付加動画像のフレーム画像を順次配置させた合成画像を順次生成し、表示部は、合成画像生成部が生成した合成画像を順次表示する。
【００１０】
撮像部は、被写体の動画像を撮像し、付加画像取得部は、位置情報に応じた付加動画像を取得し、合成画像生成部は、撮像動画像に対する、被写体検出部が検出した特定の被写体の位置に対して予め定められた付加動画像の位置に、付加動画像を配置させた合成動画像を生成する。
【００１１】
上記課題を解決するために、本発明の第２の態様においては、画像を合成する撮像装置であって、被写体を撮像する撮像部と、撮像した撮像画像内にある特定の被写体を検出する被写体検出部と、撮像装置の現在位置を示す位置情報を取得する位置情報取得部と、位置情報に応じた付加画像を取得する付加画像取得部と、撮像画像における、被写体検出部が検出した特定の被写体の位置に対して予め定められた位置に、付加画像を配置させた合成画像を生成する合成画像生成部とを備える。
【００１２】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【００１３】
【図１】実施の形態の画像合成システム１００の一例を示す。
【図２】撮像装置２００の構成の一例を示す。
【図３】サーバ３００の構成の一例を示す。
【図４】付加画像テーブル４００の一例を示す。
【図５】画像合成システム１００の動作のフローチャートを示す。
【図６】合成画像生成部２０８が生成した合成画像の一例を示す。
【図７】付加動画像の場合における合成画像生成部２０８が生成した合成動画像の一例を示す。
【図８】特定の被写体として文字を検出する場合における、撮像画像及び該撮像画像に付加画像が合成された合成画像の一例を示す。
【発明を実施するための形態】
【００１４】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１５】
図１は、実施の形態の画像合成システム１００の一例を示す。画像合成システム１００は、撮像装置２００、ネットワーク２５０、及びサーバ３００を備える。
【００１６】
撮像装置２００は、被写体を撮像して画像データを得る。撮像装置２００は、デジタルカメラに限られず、ビデオカメラ、携帯電話、ＰＤＡなどの被写体を撮像することができる電気機器であってよい。撮像装置２００及びサーバ３００は、携帯電話通信網、インターネット網等のネットワーク２５０と接続されている。撮像装置２００及びサーバ３００は、ネットワーク２５０を介して、相互に通信できる。
【００１７】
遊園地などのテーマパークの敷地内、市内、又は地域などを任意の複数のエリアに分ける。撮像装置２００が特定の被写体を撮像すると、撮像装置２００が存在するエリアに応じた付加画像をサーバ３００が撮像装置２００に送信する。例えば、エリア１内に存在する特定の被写体を撮像した撮像装置２００に、サーバ３００が送信する画像と、エリア２内に存在する特定の被写体を撮像した撮像装置２００に、サーバ３００が送信する画像とは異なる。撮像装置２００は、撮像した画像とサーバ３００が送信した付加画像とを合成する。なお、撮像装置２００は、プログラムを読み込んだ情報処理装置によって実現してもよい。また、サーバ３００は、プログラムを読み込んだ情報処理装置によって実現してもよい。また、撮像装置２００は、プログラムを記録した記録媒体を有してよい。また、サーバ３００は、プログラムを記録した記録媒体を有してもよい。
【００１８】
図２は、撮像装置２００の構成の一例を示す。撮像装置２００は、撮像部２０１、被写体検出部２０２、表情判断部２０３、位置情報取得部２０４、位置情報送信部２０５、付加画像取得部２０６、画像変更部２０７、合成画像生成部２０８、表示部２０９、及び記録部２１０を備える。
【００１９】
撮像部２０１は、被写体からの光を電気信号に変換して、画像データを得る。撮像部２０１は、撮像素子、Ａ／Ｄ変換器、撮像素子駆動ドライバ等を備える。撮像素子駆動ドライバは、撮像素子が蓄積した画像データを読み出す。Ａ／Ｄ変換器は、読み出したアナログ信号の画像データをデジタル信号の画像データに変換する。撮像部２０１は、デジタル信号の撮像画像を被写体検出部２０２、表情判断部２０３、及び合成画像生成部２０８に出力する。撮像素子駆動ドライバ及びＡ／Ｄ変換器は、情報処理装置によって制御される。
【００２０】
被写体検出部２０２は、撮像部２０１が撮像した撮像画像内にある特定の被写体を検出する。特定の被写体としては、人物の顔であってもよく、特定の人物の顔であってもよい。また、特定の被写体として、子供の顔であってもよい。さらに、特定の動物、特定の建物、特定の置物、特定の人形等を特定の被写体として検出してよい。被写体検出部２０２は、特定の被写体の特徴データを記録しておいてよく、撮像画像を解析して、特徴データとより一致する画像領域を検出してよい。被写体検出部２０２は、特定の被写体を検出した画像領域の情報を表情判断部２０３、及び画像変更部２０７に出力する。また、被写体検出部２０２は、複数種類の被写体を特定の被写体として検出してもよい。被写体検出部２０２は、ＣＰＵ等の情報処理装置によって実現してもよく、電子回路又は電気回路によって実現してもよい。
【００２１】
表情判断部２０３は、被写体検出部２０２が検出した人の顔の表情を判断する。表情判断部２０３は、撮像部２０１から送られてきた画像データのうち、被写体検出部２０２が検出した人の顔領域の画像データを解析して、表情を判断する。表情判断部２０３は、笑い、泣き、怒りなどのそれぞれの表情の特徴データを記録しておいてよく、どの特徴データとより一致するかを検出することにより、表情を判断してよい。表情判断部２０３は、判断した顔の表情を位置情報送信部２０５に出力する。表情判断部２０３は、ＣＰＵ等の情報処理装置によって実現してもよく、電子回路又は電気回路によって実現してもよい。
【００２２】
位置情報取得部２０４は、撮像装置２００の現在位置を取得する。位置情報取得部２０４は、ＧＰＳ等により現在の位置を取得してもよい。また、エリア毎に、エリアの位置を示す情報を無線通信により送信する位置情報送信部を設けてよく、位置情報取得部２０４は、位置情報送信部が送信した位置情報を取得してもよい。また、他の方法によって撮像装置２００の現在位置を取得してもよい。位置情報取得部２０４は、取得した位置情報を位置情報送信部２０５に出力する。位置情報取得部２０４は、ＣＰＵ等の情報処理装置によって実現してもよく、電子回路又は電気回路によって実現してもよい。
【００２３】
位置情報送信部２０５は、表情判断部２０３が判断した人物の顔の表情を示す情報、及び位置情報取得部２０４が取得した位置情報を、ネットワーク２５０を介してサーバに送信する。位置情報送信部２０５は、携帯電話通信網のパケット通信によりデータを送信してもよく、無線ＬＡＮによりデータを送信してもよい。付加画像取得部２０６は、サーバ３００が位置情報及び顔の表情に応じて送信した付加画像を、ネットワーク２５０を介して取得する。付加画像取得部２０６は、携帯電話通信網のパケット通信によりデータを取得してもよく、無線ＬＡＮによりデータを取得してもよい。付加画像取得部２０６は、取得した付加画像を画像変更部２０７に出力する。付加画像は、静止画像であってもよく、動画像であってもよい。つまり、付加画像とは、静止画像と動画像の両方を意味する。また、付加動画像は、動画の付加画像を示す。位置情報送信部２０５及び付加画像取得部２０６は、ＣＰＵ等の情報処理装置によって実現してもよく、電子回路又は電気回路によって実現してもよい。
【００２４】
画像変更部２０７は、被写体検出部２０２が検出した特定の被写体の大きさに応じて、付加画像取得部２０６が取得した付加画像の大きさを変更する。被写体検出部２０２が検出した特定の被写体の大きさが大きいほど、付加画像を大きくしてよい。画像変更部２０７は、被写体検出部２０２が検出した特定の被写体の撮像画像内における大きさに応じて付加画像の大きさを変更する。つまり、画像変更部２０７は、撮像画像内における被写体検出部２０２が検出した特定の被写体の画像領域の大きさに応じて付加画像の大きさを変更する。画像変更部２０７は、変更した付加画像を合成画像生成部２０８に出力する。画像変更部２０７は、ＣＰＵ等の情報処理装置によって実現してもよく、電子回路又は電気回路によって実現してもよい。
【００２５】
合成画像生成部２０８は、撮像部２０１が撮像した撮像画像と、付加画像取得部２０６が取得した付加画像とを合成して合成画像を生成する。合成画像生成部２０８は、撮像画像と画像変更部２０７が変更した付加画像とを合成して合成画像を生成してよい。合成画像生成部２０８は、撮像画像における特定の被写体の位置に対して予め定められた位置に、付加画像を配置させた合成画像を生成する。付加画像毎に予め定められた位置が異なってもよい。また、付加画像取得部２０６が付加動画像を取得した場合は、撮像画像における特定の被写体の位置に対して予め定められた付加動画像の位置に、付加動画像のフレーム画像を配置させた合成画像を生成してもよい。また、合成画像生成部２０８は、撮像動画像に対する、被写体検出部２０２が検出した被写体の位置に対して予め定められた付記動画像の位置に、付加動画像を配置させた合成動画像を生成してもよい。
【００２６】
また、撮像部２０１が所定のフレームレートで画像を撮像している場合、合成画像生成部２０８は、撮像された撮像画像順に付加画像を配置させた合成画像を順次生成してもよい。また、付加画像取得部２０６は、付加動画像を取得した場合は、順次撮像した撮像画像における特定の被写体の位置に対して予め定められた付加動画像の位置に、付加動画像のフレーム画像を順次配置させた合成画像を順次生成してもよい。つまり、撮像した１枚目の撮像画像と、付加動画像の１枚目のフレーム画像とを合成して、撮像した２枚目の撮像画像と、付加動画像の２枚目のフレーム画像とを合成するというように、撮像した撮像動画像と付加動画像とを合成する。合成画像生成部２０８は、ＣＰＵ等の情報処理装置によって実現してもよく、電子回路又は電気回路によって実現してもよい。
【００２７】
表示部２０９は、合成画像生成部２０８が生成した合成画像を表示する。表示部２０９は、液晶、有機ＥＬ、プラズマなどのディスプレイを有する。記録部２１０は、合成画像生成部２０８が生成した合成画像を記録する。記録部２１０は、ハードディスク、不揮発性メモリ等の記録媒体を有する。
【００２８】
図３は、サーバ３００の構成の一例を示す。サーバ３００は、位置情報受信部３０１、付加画像記録部３０２、及び付加画像送信部３０３を有する。位置情報受信部３０１は、ネットワーク２５０を介して、撮像装置２００が送信した位置情報及び顔の表情を受信する。位置情報受信部３０１は、携帯電話通信網のパケット通信によりデータを受信してもよく、無線ＬＡＮによりデータを受信してもよい。
【００２９】
付加画像記録部３０２は、複数の位置情報のそれぞれに対応づけて複数の付加画像を格納した付加画像テーブル４００を有する。付加画像記録部３０２は、位置情報受信部３０１が受信した位置情報に対応する付加画像を付加画像送信部３０３に出力する。付加画像記録部３０２は、複数の位置情報及び時刻に対応づけて複数の付加画像を記録してもよい。また、付加画像記録部３０２は、位置情報受信部３０１が受信した位置情報及び現在の時刻に対応する付加画像を付加画像送信部３０３に出力してもよい。現在の時刻とは、位置情報受信部３０１が位置情報を受信した時刻であってもよく、位置情報送信部２０５が位置情報を送信した時刻であってもよい。また、付加画像記録部３０２は、複数の位置情報及び複数の顔の表情に対応づけて複数の付加画像を記録してもよい。付加画像記録部３０２は、位置情報受信部３０１が受信した位置情報及び顔の表情に対応する付加画像を付加画像送信部３０３に出力してもよい。
【００３０】
付加画像送信部３０３は、付加画像記録部３０２から送られてきた付加画像をネットワーク２５０を介して撮像装置２００に送信する。詳しくは、付加画像送信部３０３は、位置情報受信部３０１が受信した位置情報に応じた付加画像を撮像装置２００に送信する。また、付加画像送信部３０３は、位置情報受信部３０１が受信した位置情報及び現在の時刻に応じた付加画像を撮像装置２００に送信してもよい。また、付加画像送信部３０３は、位置情報受信部３０１が受信した位置情報及び顔の表情に応じた付加画像を撮像装置２００に送信してもよい。なお、撮像装置２００が表情判断部２０３を有するのではなく、サーバ３００が表情判断部２０３を有してもよい。この場合は、位置情報送信部２０５は、位置情報と被写体検出部２０２が検出した被写体領域の画像データを送信する。そして、サーバ３００側にある表情判断部２０３は、位置情報受信部３０１が受信した被写体領域の画像データを解析して表情を判断してもよい。
【００３１】
図４は、付加画像テーブル４００の一例を示す。付加画像テーブル４００は、エリアごとに付加画像を記録している。また、付加画像テーブル４００は、それぞれのエリアごとに、時刻に応じた付加画像をそれぞれ記録している。また、付加画像テーブル４００は、それぞれの時刻毎に、顔の表情に応じた付加画像をそれぞれ記録している。また、付加画像テーブル４００は、それぞれの付加画像の合成位置を記録している。この合成位置は、撮像画像における、被写体検出部２０２が検出した特定の被写体の位置に対して予め定められた位置を示す。つまり、合成位置は、被写体検出部２０２が検出した被写体位置と、撮像画像における付加画像を配置させる位置との相対距離を示す。この合成位置が示す相対距離は、検出した被写体からの実距離を示す。撮像画像上における実距離は、検出した被写体の大きさから求めることができる。したがって、検出した被写体が小さく撮像された場合は、検出された被写体位置と、撮像画像における付加画像を配置させる位置との相対距離は短くなる。また、検出した被写体が大きく撮像された場合は、検出された被写体位置と、撮像画像における付加画像を配置させる位置との相対距離は長くなる。
【００３２】
エリア１の場合を例にとって説明すると、時刻がＡＭ９：００からＡＭ９：５９までの間は、顔の表情が「笑い」に対応する付加画像は、「ａａａ．ｊｐｇ」となり、顔の表情が「泣き」に対応する付加画像は、「ｂｂｂ．ｊｐｇ」となる。「ａａａ．ｊｐｇ」及び「ｂｂｂ．ｊｐｇ」は、例えば、キャラクターの画像であってもよい。「ａａａ．ｊｐｇ」の画像は、キャラクターが笑った画像であってもよく、「ｂｂｂ．ｊｐｇ」の画像は、キャラクターが泣いた画像であってもよい。つまり、顔の表情と同じ表情を有するキャラクター画像であってもよい。なお、付加画像は、キャラクターの画像でなくてもよく、文字画像、又はデザイン画像であってもよい。また、付加画像テーブル４００は、顔の表情に応じた付加画像を記録しなくてもよい。つまり、時刻に応じた付加画像を記録してもよい。
【００３３】
また、エリア１の時刻がＡＭ１０：００からＡＭ１０：５９までの間は、顔の表情が「笑い」に対応する付加画像は、「ａａａ．ｍｐｇ」となり、顔の表情が「泣き」に対応する付加画像は、「ｂｂｂ．ｍｐｇ」となる。ここで、「ａａａ．ｍｐｇ」は、「ｂｂｂ．ｍｐｇ」は、例えば、キャラクターの動画像であってもよい。「ａａａ．ｍｐｇ」の付加画像は、キャラクターが笑った動画像であってもよく、「ｂｂｂ．ｍｐｇ」の付加画像は、キャラクターが泣いた動画像であってもよい。つまり、顔の表情と同じ表情を有するキャラクターの動画像であってもよい。なお、付加画像は、キャラクターの動画像でなくてもよく、文字の動画像、又はデザインの動画像等の動画像であってもよい。
【００３４】
エリア１の時刻「ＡＭ９：００〜ＡＭ９：５９」に対応する付加画像の合成位置は、右方向に１０ｃｍとなる。つまり、検出した被写体から実距離で右方向に１０ｃｍ離れた位置が合成位置となる。ここで、右方向とは撮像画像上における検出した被写体からの方向であってもよい。この場合は、撮像画像の上を上方向として、右を右方向とする。また、エリア１の時刻「ＡＭ１０：００〜ＡＭ１０：５９」に対応する付加画像の合成位置は、周囲に２０ｃｍとなる。つまり、検出した被写体から実距離で周囲２０ｃｍ離れた位置が付加動画像の合成位置となる。また、付加動画像のそれぞれのフレーム画像毎に合成位置を記録してもよい。なお、時刻毎に、合成位置を変えるようにしたが、付加画像毎に合成位置を変えるようにしてもよい。また、付加画像テーブル４００では、時刻を「ＡＭ９：００〜ＡＭ９：５９」、「ＡＭ：１０：００〜ＡＭ１０：５９」と、１時間単位で区切り、１時間毎に付加画像を対応づけて記録するようにしたが、１分単位、１秒単位で、付加画像を対応づけて記録してもよい。
【００３５】
これにより、ユーザが撮影しようとしている被写体に応じた適切な位置に付加画像を配置させた合成画像を生成することできる。また、同じ位置であっても、時刻が違えば付加画像が異なるので、ユーザの興趣を高めることができる。例えば、昼の時刻は、キャラクターが外で遊んでいる付加画像を格納しておき、夜の時刻になると、寝ているキャラクターの付加画像を格納してもよい。また、顔の表情毎に異なる付加画像を格納しているので、特定の被写体の表情に応じたキャラクターの付加画像を合成させることができ、ユーザの興趣を高めることができる。
【００３６】
図５は、画像合成システム１００の動作のフローチャートを示す。図５の左側のフローチャートは撮像装置２００の動作を示す。図５の右側のフローチャートはサーバ３００の動作を示す。まず、撮像装置２００が起動すると、ステップＳ１で、位置情報取得部２０４は、撮像装置２００の現在位置を取得する。ステップＳ２で、撮像部２０１は、被写体を仮撮像する。この仮撮像とは、ユーザの撮影指示を行われるまで、スルー画像表示させる画像の撮像のことをいう。ステップＳ３で、被写体検出部２０２は、撮像部２０１が撮像した撮像画像内にある特定の被写体を検出する。被写体検出部２０２は、特定の被写体として人の顔を検出してもよい。ステップＳ４で、表情判断部２０３は、被写体検出部２０２が検出した人の顔の表情を判断する。ステップＳ５で、位置情報送信部２０５は、位置情報取得部２０４が取得した位置情報及び表情判断部２０３が判断した顔の表情を示す情報をネットワーク２５０を介して、サーバ３００に送信する。
【００３７】
撮像装置２００から位置情報及び顔の表情を示す情報がサーバ３００に送られてくると、ステップＳ６で、位置情報受信部３０１は、送られてきた位置情報及び顔の表情を示す情報を受信する。ステップＳ７で、付加画像送信部３０３は、付加画像記録部３０２に記録されている、位置情報受信部３０１が受信した位置情報、顔の表情、及び現在の時刻に応じた付加画像を撮像装置２００に送信する。付加画像送信部３０３は、送信する付加画像の合成位置を示す合成位置情報を付加画像と共に送ってもよい。なお、位置情報、顔の表情及び現在の時刻に対応する付加画像が付加動画像の場合は、付加画像送信部３０３は、対応する付加動画像のフレーム画像を送信してもよい。この送信するフレーム画像は、前回送信したフレーム画像の次に表示すべきフレーム画像であってよい。前回送信したフレーム画像がない場合、つまり、付加動画像のフレーム画像を初めて送信する場合は、１枚目のフレーム画像を送信してもよい。つまり、付加画像送信部３０３は、順々に付加動画像のフレーム画像を送信してもよい。これにより、例えば、スルー画像中に被写体の表情が変わった場合は、送信されるフレーム画像のキャラクターの表情も変わることになる。ステップＳ８で、付加画像取得部２０６は、サーバ３００から送られてきた付加画像を取得する。付加画像取得部２０６は、合成位置情報も取得してもよい。ステップＳ９で、被写体検出部２０２が検出した被写体の大きさに応じて、付加画像取得部２０６が取得した付加画像の大きさを変更する。例えば、特定の被写体より遥かに小さいキャラクターが付加画像の場合に、特定の被写体が小さく撮像された場合、付加画像を小さくするので、小さいキャラクターが特定の被写体より大きくなることはない。なお、逆に特定の被写体が小さいほど、付加画像を大きくしてもよい。
【００３８】
ステップＳ１０で、合成画像生成部２０８は、被写体検出部２０２が検出した被写体の位置に対して予め定められた位置に、取得した付加画像を配置させた合成画像を生成する。合成画像生成部２０８は、被写体検出部２０２が検出した被写体の位置に対して予め定められた位置に、画像変更部２０７が変更した付加画像を配置させた合成画像を生成してもよい。ステップＳ１１で、表示部２０９は、合成画像生成部２０８が生成した合成画像を表示する。ステップＳ１２で、撮像装置２００は、本撮影の指示があるか否かを判断して、本撮影の指示がない場合はステップＳ１に戻り、上記した動作を繰り返す。撮像装置２００は、撮影を指示する撮影指示ボタンを有してよく、撮影指示ボタンの操作が行われると、本撮影が指示されたと判断する。これにより、スルー画像表示時に合成画像を表示することができる。また、付加動画像が合成された動画の合成動画像を生成することができ、ユーザの興趣を高めることができる。
【００３９】
ステップＳ１２で、本撮影が指示されたと判断すると、撮像部２０１は、被写体を本撮像する。ステップＳ１３で、合成画像生成部２０８は、撮像画像と直近に取得した付加画像とを合成する。合成画像生成部２０８は、撮像画像と、画像変更部２０７が変更した付加画像とを合成してもよい。この場合も、合成画像生成部２０８は、撮像画像に対して、被写体検出部２０２が直近に検出した被写体の位置に対して予め定められた位置に、直近に取得した付加画像を配置させた合成画像を生成する。なお、本撮影の指示後に、付加画像取得部２０６が新たに付加画像を取得して、合成画像生成部２０８は、新たに取得した付加画像を用いて合成画像を生成してよい。また、被写体検出部２０２が本撮影の指示後に撮像した撮像画像内にある特定の被写体を検出してもよい。この場合は、合成画像生成部２０８は、本撮影の指示後に検出した被写体の位置に対して予め定められた位置に付加画像を配置させた合成画像を生成してもよい。ステップＳ１５で、記録部２１０は、ステップＳ１４で生成した合成画像を記録する。なお、表示部２０９は、ステップＳ１４で生成した合成画像を表示してもよい。
【００４０】
なお、ステップＳ１２の本撮影の指示が動画の本撮影の指示の場合は、本撮影の指示が終了するまで、ステップＳ１からステップＳ１１の動作を繰り返すと共に、ステップＳ１０で生成した合成画像を順次記録してもよい。
【００４１】
また、ステップＳ１０では、撮像画像における、検出された特定の被写体の位置に対して予め定められた位置に、取得した付加画像を配置させた合成画像を生成するようにしたが、ユーザが合成位置を変更できるようにしてもよい。撮像装置２００は、ユーザが画像の合成位置を指示する指示部を有してよい。この指示部は、カーソルキー、又はタッチパネル等であってよい。合成画像生成部２０８は、ユーザの指示部の操作によって合成位置が指示されると、指示された合成位置に付加画像を配置させる。この場合、合成画像生成部２０８は、ユーザによって合成位置が指示されると、検出された特定の被写体の位置に応じた合成位置ではなく、ユーザによって指示された合成位置に付加画像を配置させる。つまり、合成画像生成部２０８は、ユーザの指示に応じて合成位置を変更する。
【００４２】
スルー画像表示中は、検出された特定の被写体に対して予め定められた位置に付加画像が合成された合成画像が表示されるが、付加画像が示すキャラクターの位置がユーザの好みでない場合は、ユーザは合成位置の指示することができる。そして、合成位置が指示された後は、ステップＳ１０で、指示された合成位置に付加画像が配置された合成画像が生成されて、ステップＳ１１で合成画像が表示されることになる。また、本撮影の指示がされる前に、ユーザによって合成位置が指示された場合は、ステップＳ１４で、合成画像生成部２０８は、該指示された合成位置に付加画像を配置させた合成画像を生成する。なお、撮像装置２００は、解除キーを備えてもよい。ユーザが合成位置を指示した後に解除キーを操作すると、解除キー操作後は、合成画像生成部２０８は、検出された被写体の位置に対して予め定められた位置に付加画像を配置させた合成画像を生成する。
【００４３】
また、ステップＳ１４では、本撮像された撮像画像と付加画像とを合成して、ステップＳ１５で、合成画像を記録するようにしたが、ステップＳ１４の動作を行わずにステップＳ１５に進んでもよい。この場合は、ステップＳ１５で、記録部２１０は、本撮像された撮像画像と付加画像とを対応付けて記録する。そして、記録された撮像画像を表示するときに、対応づけて記録された付加画像を、検出された特定の被写体の位置に対して予め定められた位置に配置させて表示させる。そして、ユーザにより合成位置の指示があると、指示された合成位置に付加画像を配置させて記録された撮像画像を表示させてもよい。また、本撮影指示の前に、ユーザによって合成位置が指示された場合は、本撮像された撮像画像と付加画像とを合成せずに、記録部２１０は、撮像画像と付加画像とを対応づけて記録してもよい。このように、撮像画像と付加画像とを合成しないで記録するので、記録した撮像画像を表示させるときに、付加画像の表示位置を変更することができる。
【００４４】
図６は、合成画像生成部２０８が生成した合成画像の一例を示す。合成画像５０１は、被写体検出部２０２が検出した被写体６０１に対して予め定められた位置に付加画像６０２を配置された画像となる。図７は、付加動画像の場合における合成画像生成部２０８が生成した合成動画像の一例を示す。合成動画像５０２は、撮像動画像に対する、被写体検出部２０２が検出した被写体６０３に対して予め定められた付加動画像の位置に、付加動画像が配置された動画像となる。つまり、撮像部２０１が順次撮像したそれぞれのフレーム画像に対する、検出された被写体に対して予め定められた付加動画像の位置に、付加動画像のフレーム画像を順次配置させた合成画像を順次生成することにより合成動画像を生成する。ここでは、付加動画像の合成位置は、検出した被写体６０３から周囲２０ｃｍとして、付加動画像は蝶々の動画とすると、生成された合成動画像は、検出された被写体の周囲２０ｃｍに蝶々が飛んでいる合成動画像５０２となる。図７では、便宜上蝶々６０４の動きを表すことを目的として、蝶々６０４を複数描写しているが、合成動画像のそれぞれのフレーム画像上には蝶々６０４は１つとなる。この付加動画像の合成位置を基に、付加動画像のそれぞれのフレーム画像の合成位置が定まる。そして、被写体６０３が動くと、その動きに応じて、付加動画の合成位置も変わる。つまり、被写体６０３が動いても、蝶々６０４は、被写体の周囲２０ｃｍを動いた合成動画像５０３となる。
【００４５】
これにより、例えば、テーマパーク内のそれぞれのエリアに、テーマパークのキャラクターの付加画像を設けておく。そして、ユーザが該エリアに入って撮像装置で特定の被写体を撮像すると、現実ではいないキャラクターが撮像された撮像画像内にいることになる。また、サーバ３００は、キャラクターが仮想的に存在するエリアに撮像装置２００が入ると、撮像装置２００に、又は撮像装置２００を所有しているユーザの携帯電話にメールにより、「近くにキャラクターがいます」と知らせてもよい。このメールを受けて、ユーザが撮像装置２００で周囲を撮像すると、キャラクターが画像上に存在することになる。なお、サーバ３００から付加画像を取得するようにしたが、テーマパークに入場するときに、付加画像記録部３０２に格納されている付加画像テーブル４００を撮像装置２００に一括ダウンロードしてもよく、付加画像テーブル４００を格納した記録媒体を撮像装置２００に装着してもよい。これにより、サーバ３００と通信する必要がなくなる。また、図５のフローチャートでは、付加動画像のフレーム画像を逐次サーバ３００から取得するようにしたが、エリアに入ると付加動画像を一括して取得するようにしてもよい。また、特定の被写体として顔を検出した場合は、検出した顔の表情を判断するようにしたが、笑顔を判断しなくてもよい。
【００４６】
また、本実施の形態は、テーマパーク以外の場所でも適用できる。例えば、街にあるポスター、看板を撮像装置２００で撮像することによって初めて広告として意味を成すようにしてもよい。
【００４７】
図８は、特定の被写体として文字を検出する場合における、撮像画像及び該撮像画像に付加画像が合成された合成画像の一例を示す。被写体検出部２０２は、特定の被写体として、「Ａ Ｃ Ｅ Ｇ」という文字を検出する場合を例にとって説明する。被写体検出部２０２が「Ａ Ｃ Ｅ Ｇ」という文字を検出すると、現在の位置情報に応じた付加画像を取得することにより、「Ａ Ｃ Ｅ Ｇ」の撮像画像５０５と付加画像とを合成して、「ＡＢＣＤＥＦＧ」という合成画像５０６を生成するようにしてもよい。これにより、「Ａ Ｃ Ｅ Ｇ」単体では広告としては意味を成さない文字が、付加画像を合成することにより、初めて広告として機能する。したがって、ユーザの興趣を高めることができ、人の注意を広告に向けることができる。
【００４８】
また、被写体検出部２０２が特定の被写体としてマネキンを検出すると、現在の位置情報に応じた付加画像を取得して、マネキンの撮像画像と付加画像とを合成することにより、服を着たマネキンの合成画像を生成してもよい。また、被写体検出部２０２が特定の被写体として樅の木を検出すると、現在の位置情報に応じた付加画像を取得して、樅の木の撮像画像と付加画像とを合成することにより、クリスマスの飾り付けがされた樅の木の合成画像を生成してもよい。
【００４９】
さらに、検出した特定の被写体の種類及び位置情報等に応じて、取得する付加画像を変えるようにしてもよい。例えば、同じエリアであっても、検出した被写体の種類によって付加画像取得部２０６が取得する付加画像の内容を変えてもよい。例えば、子供の顔を検出した場合と、大人の顔を検出した場合とでは、取得する付加画像を変えるようにしてもよい。また、同じエリアであっても、特定の被写体として検出した文字が違う場合は、異なる付加画像を取得してもよい。また、オリエンテーションなどで、ある場所である被写体を撮像すると付加画像を取得できるようにしてもよい。また、宝探しゲームにおいて、検出した特定の被写体の種類に応じて、宝を表す付加画像を異ならせてもよい。この付加画像はまた、合成画像を記録するようにしたが、付加画像のみを記録できるようにしてもよい。また、位置情報に拘らずに被写体検出部２０２が検出した被写体の種類に応じた付加画像を取得するようにしてもよい。
【００５０】
また、特定の被写体を検出すると、付加画像取得部２０６は、位置情報に対応した付加画像を取得して、合成画像生成部２０８は、撮像画像と付加画像とを合成するようにしたが、特定の被写体の検出に関わらず、位置情報に対応した付加画像を取得してもよい。この場合、付加画像に対応した位置情報も取得する。この付加画像に対応した位置情報とは、例えば、経緯、緯度であってもよく、実際のエリアのどの位置であるかを示す情報であってもよい。また、撮像装置２００は、方位センサを有してよく、位置情報取得部２０４が取得した位置と方位センサによりどの範囲が撮像されているかを判断する。そして、取得した付加画像に対応する位置情報が示す位置が撮像されると、合成画像生成部２０８は、撮像した撮像画像と付加画像とを合成して表示してもよい。合成画像生成部２０８は、撮像装置２００の現在の位置及び方位センサにより検出された方位から、撮像画像における、付加画像に対応する位置情報が示す位置に付加画像を配置させて、合成画像を生成してもよい。これにより、ユーザが撮像装置２００をパーンして、付加画像に対応する位置が画角内に入ると突然キャラクターが出現して、付加画像に対応する位置が画角から外れるとキャラクターがいなくなる。つまり、仮想的にキャラクターがある位置に存在するように演出することができる。
【００５１】
また、合成画像生成部２０８は、仮撮像された撮像画像と付加画像とを合成するようにしたが、本撮像された撮像画像と付加画像とを合成するようにしてもよい。これにより、ユーザは、スルー画像表示中は、キャラクターなどの付加画像を見ることはできないが、撮影をしてみて初めてキャラクターなどの付加画像が合成された合成画像を見ることができる。また、ユーザの興趣を高めることができる。また、動画像を撮像した後に、動画像と付加動画像とを合成するようにしてもよい。
【００５２】
記録部２１０は、合成画像又は付加画像と、位置情報取得部２０４が取得した位置情報とを、対応づけて記録するようにしてもよい。この場合は、撮像装置２００は、合成画像又は付加画像を他の撮像装置２００、又は他の機器に送信した場合でも位置情報だけは送信できないように設定する。これにより、ユーザは、オリエンテーションなどで、付加画像を自分で集めずに、他人から付加画像又は合成画像をもらうという不正ができなくなる。つまり、ユーザは、合成画像又は付加画像と位置情報とにより、自分で合成画像又は付加画像を集めたということを証明できる。また、サーバが、付加画像を送信した撮像装置２００の識別情報と、送信した付加画像又は受信した位置情報の履歴を記録しておくようにしてもよい。
【００５３】
また、被写体検出部２０２が特定の被写体を検出してから、付加画像取得部２０６は、位置情報に対応する付加画像を取得するようにしたが、付加画像取得部２０６が付加画像を取得してから、被写体検出部２０２が特定の被写体を検出してもよい。特定の被写体が検出されなかった場合は、合成画像生成部２０８は、撮像画像と付加画像とを合成しなくてもよく、撮像画像の所定の位置に付加画像を配置させた合成画像を生成してもよい。
【００５４】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００５５】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００５６】
１００ 画像合成システム、２００ 撮像装置、２５０ ネットワーク、３００ サーバ、２０１ 撮像部、２０２ 被写体検出部、２０３ 表情判断部、２０４ 位置情報取得部、２０５ 位置情報送信部、２０６ 付加画像取得部、２０７ 画像変更部、２０８ 合成画像生成部、２０９ 表示部、２１０ 記録部、３０１ 位置情報受信部、３０２ 付加画像記録部、３０３ 付加画像送信部、４００ 付加画像テーブル、５０１ 合成画像、５０５ 撮像画像、５０６ 合成画像、６０１ 被写体、６０２ 付加画像、５０２ 合成動画像、５０３ 合成動画像、６０３ 被写体、６０４ 蝶々
【技術分野】
【０００１】
本発明は、画像を合成する画像合成システム、撮像装置、画像合成方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、ＧＰＳにより現在の位置を取得して、現在の位置の地名と撮影した画像とを合成する技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２３５７９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
現在の位置の地名を撮影した画像に単に合成すると、ユーザが撮影しようしている被写体に重畳して地名が合成される虞がある。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明の第１の態様においては、撮像装置とサーバとを有する画像合成システムであって、撮像装置は、被写体を撮像する撮像部と、撮像した撮像画像内にある特定の被写体を検出する被写体検出部と、撮像装置の現在位置を示す位置情報を取得する位置情報取得部と、取得した位置情報をサーバに送信する位置情報送信部と、位置情報に応じた付加画像をサーバから取得する付加画像取得部と、撮像画像における、被写体検出部が検出した特定の被写体の位置に対して予め定められた位置に、付加画像を配置させた合成画像を生成する合成画像生成部とを備え、サーバは、位置情報に対応付けて付加画像を記録した付加画像記録部と、位置情報送信部が送信した位置情報を受信する位置情報受信部と、付加画像記録部が記録している、受信した位置情報に対応する付加画像を撮像装置に送信する付加画像送信部とを備える。
【０００６】
撮像装置は、被写体検出部が検出した特定の被写体の大きさに応じて付加画像の大きさを変更する画像変更部をさらに備え、合成画像生成部は、撮像画像における、被写体検出部が検出した特定の被写体の位置に対して予め定められた位置に、画像変更部が変更した付加画像を配置させた合成画像を生成する。
【０００７】
付加画像記録部は、複数の位置情報及び時刻に対応付けて複数の付加画像を記録しており、付加画像送信部は、受信した位置情報及び時刻に応じた付加画像を撮像装置に送信し、付加画像取得部は、付加画像送信部が送信した付加画像を取得する。
【０００８】
撮像装置は、顔の表情を判断する表情判断部をさらに備え、被写体検出部は、特定の被写体として人物の顔を検出し、表情判断部は、被写体検出部が検出した人物の顔の表情を判断し、位置情報送信部は、取得した位置情報及び判断した顔の表情を送信し、付加画像記録部は、複数の位置情報及び複数の顔の表情に対応付けて複数の付加画像を記録しており、付加画像送信部は、受信した位置情報及び顔の表情に応じた付加画像を撮像装置に送信し、付加画像取得部は、付加画像送信部が送信した付加画像を取得する。
【０００９】
撮像装置は、合成画像を表示する表示部を備え、撮像部は、被写体を順次撮像し、付加画像取得部は、位置情報に応じた付加動画像を取得し、合成画像生成部は、順次撮像したそれぞれの撮像画像における、被写体検出部が検出した特定の被写体の位置に対して予め定められた付加動画像の位置に、付加動画像のフレーム画像を順次配置させた合成画像を順次生成し、表示部は、合成画像生成部が生成した合成画像を順次表示する。
【００１０】
撮像部は、被写体の動画像を撮像し、付加画像取得部は、位置情報に応じた付加動画像を取得し、合成画像生成部は、撮像動画像に対する、被写体検出部が検出した特定の被写体の位置に対して予め定められた付加動画像の位置に、付加動画像を配置させた合成動画像を生成する。
【００１１】
上記課題を解決するために、本発明の第２の態様においては、画像を合成する撮像装置であって、被写体を撮像する撮像部と、撮像した撮像画像内にある特定の被写体を検出する被写体検出部と、撮像装置の現在位置を示す位置情報を取得する位置情報取得部と、位置情報に応じた付加画像を取得する付加画像取得部と、撮像画像における、被写体検出部が検出した特定の被写体の位置に対して予め定められた位置に、付加画像を配置させた合成画像を生成する合成画像生成部とを備える。
【００１２】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【００１３】
【図１】実施の形態の画像合成システム１００の一例を示す。
【図２】撮像装置２００の構成の一例を示す。
【図３】サーバ３００の構成の一例を示す。
【図４】付加画像テーブル４００の一例を示す。
【図５】画像合成システム１００の動作のフローチャートを示す。
【図６】合成画像生成部２０８が生成した合成画像の一例を示す。
【図７】付加動画像の場合における合成画像生成部２０８が生成した合成動画像の一例を示す。
【図８】特定の被写体として文字を検出する場合における、撮像画像及び該撮像画像に付加画像が合成された合成画像の一例を示す。
【発明を実施するための形態】
【００１４】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１５】
図１は、実施の形態の画像合成システム１００の一例を示す。画像合成システム１００は、撮像装置２００、ネットワーク２５０、及びサーバ３００を備える。
【００１６】
撮像装置２００は、被写体を撮像して画像データを得る。撮像装置２００は、デジタルカメラに限られず、ビデオカメラ、携帯電話、ＰＤＡなどの被写体を撮像することができる電気機器であってよい。撮像装置２００及びサーバ３００は、携帯電話通信網、インターネット網等のネットワーク２５０と接続されている。撮像装置２００及びサーバ３００は、ネットワーク２５０を介して、相互に通信できる。
【００１７】
遊園地などのテーマパークの敷地内、市内、又は地域などを任意の複数のエリアに分ける。撮像装置２００が特定の被写体を撮像すると、撮像装置２００が存在するエリアに応じた付加画像をサーバ３００が撮像装置２００に送信する。例えば、エリア１内に存在する特定の被写体を撮像した撮像装置２００に、サーバ３００が送信する画像と、エリア２内に存在する特定の被写体を撮像した撮像装置２００に、サーバ３００が送信する画像とは異なる。撮像装置２００は、撮像した画像とサーバ３００が送信した付加画像とを合成する。なお、撮像装置２００は、プログラムを読み込んだ情報処理装置によって実現してもよい。また、サーバ３００は、プログラムを読み込んだ情報処理装置によって実現してもよい。また、撮像装置２００は、プログラムを記録した記録媒体を有してよい。また、サーバ３００は、プログラムを記録した記録媒体を有してもよい。
【００１８】
図２は、撮像装置２００の構成の一例を示す。撮像装置２００は、撮像部２０１、被写体検出部２０２、表情判断部２０３、位置情報取得部２０４、位置情報送信部２０５、付加画像取得部２０６、画像変更部２０７、合成画像生成部２０８、表示部２０９、及び記録部２１０を備える。
【００１９】
撮像部２０１は、被写体からの光を電気信号に変換して、画像データを得る。撮像部２０１は、撮像素子、Ａ／Ｄ変換器、撮像素子駆動ドライバ等を備える。撮像素子駆動ドライバは、撮像素子が蓄積した画像データを読み出す。Ａ／Ｄ変換器は、読み出したアナログ信号の画像データをデジタル信号の画像データに変換する。撮像部２０１は、デジタル信号の撮像画像を被写体検出部２０２、表情判断部２０３、及び合成画像生成部２０８に出力する。撮像素子駆動ドライバ及びＡ／Ｄ変換器は、情報処理装置によって制御される。
【００２０】
被写体検出部２０２は、撮像部２０１が撮像した撮像画像内にある特定の被写体を検出する。特定の被写体としては、人物の顔であってもよく、特定の人物の顔であってもよい。また、特定の被写体として、子供の顔であってもよい。さらに、特定の動物、特定の建物、特定の置物、特定の人形等を特定の被写体として検出してよい。被写体検出部２０２は、特定の被写体の特徴データを記録しておいてよく、撮像画像を解析して、特徴データとより一致する画像領域を検出してよい。被写体検出部２０２は、特定の被写体を検出した画像領域の情報を表情判断部２０３、及び画像変更部２０７に出力する。また、被写体検出部２０２は、複数種類の被写体を特定の被写体として検出してもよい。被写体検出部２０２は、ＣＰＵ等の情報処理装置によって実現してもよく、電子回路又は電気回路によって実現してもよい。
【００２１】
表情判断部２０３は、被写体検出部２０２が検出した人の顔の表情を判断する。表情判断部２０３は、撮像部２０１から送られてきた画像データのうち、被写体検出部２０２が検出した人の顔領域の画像データを解析して、表情を判断する。表情判断部２０３は、笑い、泣き、怒りなどのそれぞれの表情の特徴データを記録しておいてよく、どの特徴データとより一致するかを検出することにより、表情を判断してよい。表情判断部２０３は、判断した顔の表情を位置情報送信部２０５に出力する。表情判断部２０３は、ＣＰＵ等の情報処理装置によって実現してもよく、電子回路又は電気回路によって実現してもよい。
【００２２】
位置情報取得部２０４は、撮像装置２００の現在位置を取得する。位置情報取得部２０４は、ＧＰＳ等により現在の位置を取得してもよい。また、エリア毎に、エリアの位置を示す情報を無線通信により送信する位置情報送信部を設けてよく、位置情報取得部２０４は、位置情報送信部が送信した位置情報を取得してもよい。また、他の方法によって撮像装置２００の現在位置を取得してもよい。位置情報取得部２０４は、取得した位置情報を位置情報送信部２０５に出力する。位置情報取得部２０４は、ＣＰＵ等の情報処理装置によって実現してもよく、電子回路又は電気回路によって実現してもよい。
【００２３】
位置情報送信部２０５は、表情判断部２０３が判断した人物の顔の表情を示す情報、及び位置情報取得部２０４が取得した位置情報を、ネットワーク２５０を介してサーバに送信する。位置情報送信部２０５は、携帯電話通信網のパケット通信によりデータを送信してもよく、無線ＬＡＮによりデータを送信してもよい。付加画像取得部２０６は、サーバ３００が位置情報及び顔の表情に応じて送信した付加画像を、ネットワーク２５０を介して取得する。付加画像取得部２０６は、携帯電話通信網のパケット通信によりデータを取得してもよく、無線ＬＡＮによりデータを取得してもよい。付加画像取得部２０６は、取得した付加画像を画像変更部２０７に出力する。付加画像は、静止画像であってもよく、動画像であってもよい。つまり、付加画像とは、静止画像と動画像の両方を意味する。また、付加動画像は、動画の付加画像を示す。位置情報送信部２０５及び付加画像取得部２０６は、ＣＰＵ等の情報処理装置によって実現してもよく、電子回路又は電気回路によって実現してもよい。
【００２４】
画像変更部２０７は、被写体検出部２０２が検出した特定の被写体の大きさに応じて、付加画像取得部２０６が取得した付加画像の大きさを変更する。被写体検出部２０２が検出した特定の被写体の大きさが大きいほど、付加画像を大きくしてよい。画像変更部２０７は、被写体検出部２０２が検出した特定の被写体の撮像画像内における大きさに応じて付加画像の大きさを変更する。つまり、画像変更部２０７は、撮像画像内における被写体検出部２０２が検出した特定の被写体の画像領域の大きさに応じて付加画像の大きさを変更する。画像変更部２０７は、変更した付加画像を合成画像生成部２０８に出力する。画像変更部２０７は、ＣＰＵ等の情報処理装置によって実現してもよく、電子回路又は電気回路によって実現してもよい。
【００２５】
合成画像生成部２０８は、撮像部２０１が撮像した撮像画像と、付加画像取得部２０６が取得した付加画像とを合成して合成画像を生成する。合成画像生成部２０８は、撮像画像と画像変更部２０７が変更した付加画像とを合成して合成画像を生成してよい。合成画像生成部２０８は、撮像画像における特定の被写体の位置に対して予め定められた位置に、付加画像を配置させた合成画像を生成する。付加画像毎に予め定められた位置が異なってもよい。また、付加画像取得部２０６が付加動画像を取得した場合は、撮像画像における特定の被写体の位置に対して予め定められた付加動画像の位置に、付加動画像のフレーム画像を配置させた合成画像を生成してもよい。また、合成画像生成部２０８は、撮像動画像に対する、被写体検出部２０２が検出した被写体の位置に対して予め定められた付記動画像の位置に、付加動画像を配置させた合成動画像を生成してもよい。
【００２６】
また、撮像部２０１が所定のフレームレートで画像を撮像している場合、合成画像生成部２０８は、撮像された撮像画像順に付加画像を配置させた合成画像を順次生成してもよい。また、付加画像取得部２０６は、付加動画像を取得した場合は、順次撮像した撮像画像における特定の被写体の位置に対して予め定められた付加動画像の位置に、付加動画像のフレーム画像を順次配置させた合成画像を順次生成してもよい。つまり、撮像した１枚目の撮像画像と、付加動画像の１枚目のフレーム画像とを合成して、撮像した２枚目の撮像画像と、付加動画像の２枚目のフレーム画像とを合成するというように、撮像した撮像動画像と付加動画像とを合成する。合成画像生成部２０８は、ＣＰＵ等の情報処理装置によって実現してもよく、電子回路又は電気回路によって実現してもよい。
【００２７】
表示部２０９は、合成画像生成部２０８が生成した合成画像を表示する。表示部２０９は、液晶、有機ＥＬ、プラズマなどのディスプレイを有する。記録部２１０は、合成画像生成部２０８が生成した合成画像を記録する。記録部２１０は、ハードディスク、不揮発性メモリ等の記録媒体を有する。
【００２８】
図３は、サーバ３００の構成の一例を示す。サーバ３００は、位置情報受信部３０１、付加画像記録部３０２、及び付加画像送信部３０３を有する。位置情報受信部３０１は、ネットワーク２５０を介して、撮像装置２００が送信した位置情報及び顔の表情を受信する。位置情報受信部３０１は、携帯電話通信網のパケット通信によりデータを受信してもよく、無線ＬＡＮによりデータを受信してもよい。
【００２９】
付加画像記録部３０２は、複数の位置情報のそれぞれに対応づけて複数の付加画像を格納した付加画像テーブル４００を有する。付加画像記録部３０２は、位置情報受信部３０１が受信した位置情報に対応する付加画像を付加画像送信部３０３に出力する。付加画像記録部３０２は、複数の位置情報及び時刻に対応づけて複数の付加画像を記録してもよい。また、付加画像記録部３０２は、位置情報受信部３０１が受信した位置情報及び現在の時刻に対応する付加画像を付加画像送信部３０３に出力してもよい。現在の時刻とは、位置情報受信部３０１が位置情報を受信した時刻であってもよく、位置情報送信部２０５が位置情報を送信した時刻であってもよい。また、付加画像記録部３０２は、複数の位置情報及び複数の顔の表情に対応づけて複数の付加画像を記録してもよい。付加画像記録部３０２は、位置情報受信部３０１が受信した位置情報及び顔の表情に対応する付加画像を付加画像送信部３０３に出力してもよい。
【００３０】
付加画像送信部３０３は、付加画像記録部３０２から送られてきた付加画像をネットワーク２５０を介して撮像装置２００に送信する。詳しくは、付加画像送信部３０３は、位置情報受信部３０１が受信した位置情報に応じた付加画像を撮像装置２００に送信する。また、付加画像送信部３０３は、位置情報受信部３０１が受信した位置情報及び現在の時刻に応じた付加画像を撮像装置２００に送信してもよい。また、付加画像送信部３０３は、位置情報受信部３０１が受信した位置情報及び顔の表情に応じた付加画像を撮像装置２００に送信してもよい。なお、撮像装置２００が表情判断部２０３を有するのではなく、サーバ３００が表情判断部２０３を有してもよい。この場合は、位置情報送信部２０５は、位置情報と被写体検出部２０２が検出した被写体領域の画像データを送信する。そして、サーバ３００側にある表情判断部２０３は、位置情報受信部３０１が受信した被写体領域の画像データを解析して表情を判断してもよい。
【００３１】
図４は、付加画像テーブル４００の一例を示す。付加画像テーブル４００は、エリアごとに付加画像を記録している。また、付加画像テーブル４００は、それぞれのエリアごとに、時刻に応じた付加画像をそれぞれ記録している。また、付加画像テーブル４００は、それぞれの時刻毎に、顔の表情に応じた付加画像をそれぞれ記録している。また、付加画像テーブル４００は、それぞれの付加画像の合成位置を記録している。この合成位置は、撮像画像における、被写体検出部２０２が検出した特定の被写体の位置に対して予め定められた位置を示す。つまり、合成位置は、被写体検出部２０２が検出した被写体位置と、撮像画像における付加画像を配置させる位置との相対距離を示す。この合成位置が示す相対距離は、検出した被写体からの実距離を示す。撮像画像上における実距離は、検出した被写体の大きさから求めることができる。したがって、検出した被写体が小さく撮像された場合は、検出された被写体位置と、撮像画像における付加画像を配置させる位置との相対距離は短くなる。また、検出した被写体が大きく撮像された場合は、検出された被写体位置と、撮像画像における付加画像を配置させる位置との相対距離は長くなる。
【００３２】
エリア１の場合を例にとって説明すると、時刻がＡＭ９：００からＡＭ９：５９までの間は、顔の表情が「笑い」に対応する付加画像は、「ａａａ．ｊｐｇ」となり、顔の表情が「泣き」に対応する付加画像は、「ｂｂｂ．ｊｐｇ」となる。「ａａａ．ｊｐｇ」及び「ｂｂｂ．ｊｐｇ」は、例えば、キャラクターの画像であってもよい。「ａａａ．ｊｐｇ」の画像は、キャラクターが笑った画像であってもよく、「ｂｂｂ．ｊｐｇ」の画像は、キャラクターが泣いた画像であってもよい。つまり、顔の表情と同じ表情を有するキャラクター画像であってもよい。なお、付加画像は、キャラクターの画像でなくてもよく、文字画像、又はデザイン画像であってもよい。また、付加画像テーブル４００は、顔の表情に応じた付加画像を記録しなくてもよい。つまり、時刻に応じた付加画像を記録してもよい。
【００３３】
また、エリア１の時刻がＡＭ１０：００からＡＭ１０：５９までの間は、顔の表情が「笑い」に対応する付加画像は、「ａａａ．ｍｐｇ」となり、顔の表情が「泣き」に対応する付加画像は、「ｂｂｂ．ｍｐｇ」となる。ここで、「ａａａ．ｍｐｇ」は、「ｂｂｂ．ｍｐｇ」は、例えば、キャラクターの動画像であってもよい。「ａａａ．ｍｐｇ」の付加画像は、キャラクターが笑った動画像であってもよく、「ｂｂｂ．ｍｐｇ」の付加画像は、キャラクターが泣いた動画像であってもよい。つまり、顔の表情と同じ表情を有するキャラクターの動画像であってもよい。なお、付加画像は、キャラクターの動画像でなくてもよく、文字の動画像、又はデザインの動画像等の動画像であってもよい。
【００３４】
エリア１の時刻「ＡＭ９：００〜ＡＭ９：５９」に対応する付加画像の合成位置は、右方向に１０ｃｍとなる。つまり、検出した被写体から実距離で右方向に１０ｃｍ離れた位置が合成位置となる。ここで、右方向とは撮像画像上における検出した被写体からの方向であってもよい。この場合は、撮像画像の上を上方向として、右を右方向とする。また、エリア１の時刻「ＡＭ１０：００〜ＡＭ１０：５９」に対応する付加画像の合成位置は、周囲に２０ｃｍとなる。つまり、検出した被写体から実距離で周囲２０ｃｍ離れた位置が付加動画像の合成位置となる。また、付加動画像のそれぞれのフレーム画像毎に合成位置を記録してもよい。なお、時刻毎に、合成位置を変えるようにしたが、付加画像毎に合成位置を変えるようにしてもよい。また、付加画像テーブル４００では、時刻を「ＡＭ９：００〜ＡＭ９：５９」、「ＡＭ：１０：００〜ＡＭ１０：５９」と、１時間単位で区切り、１時間毎に付加画像を対応づけて記録するようにしたが、１分単位、１秒単位で、付加画像を対応づけて記録してもよい。
【００３５】
これにより、ユーザが撮影しようとしている被写体に応じた適切な位置に付加画像を配置させた合成画像を生成することできる。また、同じ位置であっても、時刻が違えば付加画像が異なるので、ユーザの興趣を高めることができる。例えば、昼の時刻は、キャラクターが外で遊んでいる付加画像を格納しておき、夜の時刻になると、寝ているキャラクターの付加画像を格納してもよい。また、顔の表情毎に異なる付加画像を格納しているので、特定の被写体の表情に応じたキャラクターの付加画像を合成させることができ、ユーザの興趣を高めることができる。
【００３６】
図５は、画像合成システム１００の動作のフローチャートを示す。図５の左側のフローチャートは撮像装置２００の動作を示す。図５の右側のフローチャートはサーバ３００の動作を示す。まず、撮像装置２００が起動すると、ステップＳ１で、位置情報取得部２０４は、撮像装置２００の現在位置を取得する。ステップＳ２で、撮像部２０１は、被写体を仮撮像する。この仮撮像とは、ユーザの撮影指示を行われるまで、スルー画像表示させる画像の撮像のことをいう。ステップＳ３で、被写体検出部２０２は、撮像部２０１が撮像した撮像画像内にある特定の被写体を検出する。被写体検出部２０２は、特定の被写体として人の顔を検出してもよい。ステップＳ４で、表情判断部２０３は、被写体検出部２０２が検出した人の顔の表情を判断する。ステップＳ５で、位置情報送信部２０５は、位置情報取得部２０４が取得した位置情報及び表情判断部２０３が判断した顔の表情を示す情報をネットワーク２５０を介して、サーバ３００に送信する。
【００３７】
撮像装置２００から位置情報及び顔の表情を示す情報がサーバ３００に送られてくると、ステップＳ６で、位置情報受信部３０１は、送られてきた位置情報及び顔の表情を示す情報を受信する。ステップＳ７で、付加画像送信部３０３は、付加画像記録部３０２に記録されている、位置情報受信部３０１が受信した位置情報、顔の表情、及び現在の時刻に応じた付加画像を撮像装置２００に送信する。付加画像送信部３０３は、送信する付加画像の合成位置を示す合成位置情報を付加画像と共に送ってもよい。なお、位置情報、顔の表情及び現在の時刻に対応する付加画像が付加動画像の場合は、付加画像送信部３０３は、対応する付加動画像のフレーム画像を送信してもよい。この送信するフレーム画像は、前回送信したフレーム画像の次に表示すべきフレーム画像であってよい。前回送信したフレーム画像がない場合、つまり、付加動画像のフレーム画像を初めて送信する場合は、１枚目のフレーム画像を送信してもよい。つまり、付加画像送信部３０３は、順々に付加動画像のフレーム画像を送信してもよい。これにより、例えば、スルー画像中に被写体の表情が変わった場合は、送信されるフレーム画像のキャラクターの表情も変わることになる。ステップＳ８で、付加画像取得部２０６は、サーバ３００から送られてきた付加画像を取得する。付加画像取得部２０６は、合成位置情報も取得してもよい。ステップＳ９で、被写体検出部２０２が検出した被写体の大きさに応じて、付加画像取得部２０６が取得した付加画像の大きさを変更する。例えば、特定の被写体より遥かに小さいキャラクターが付加画像の場合に、特定の被写体が小さく撮像された場合、付加画像を小さくするので、小さいキャラクターが特定の被写体より大きくなることはない。なお、逆に特定の被写体が小さいほど、付加画像を大きくしてもよい。
【００３８】
ステップＳ１０で、合成画像生成部２０８は、被写体検出部２０２が検出した被写体の位置に対して予め定められた位置に、取得した付加画像を配置させた合成画像を生成する。合成画像生成部２０８は、被写体検出部２０２が検出した被写体の位置に対して予め定められた位置に、画像変更部２０７が変更した付加画像を配置させた合成画像を生成してもよい。ステップＳ１１で、表示部２０９は、合成画像生成部２０８が生成した合成画像を表示する。ステップＳ１２で、撮像装置２００は、本撮影の指示があるか否かを判断して、本撮影の指示がない場合はステップＳ１に戻り、上記した動作を繰り返す。撮像装置２００は、撮影を指示する撮影指示ボタンを有してよく、撮影指示ボタンの操作が行われると、本撮影が指示されたと判断する。これにより、スルー画像表示時に合成画像を表示することができる。また、付加動画像が合成された動画の合成動画像を生成することができ、ユーザの興趣を高めることができる。
【００３９】
ステップＳ１２で、本撮影が指示されたと判断すると、撮像部２０１は、被写体を本撮像する。ステップＳ１３で、合成画像生成部２０８は、撮像画像と直近に取得した付加画像とを合成する。合成画像生成部２０８は、撮像画像と、画像変更部２０７が変更した付加画像とを合成してもよい。この場合も、合成画像生成部２０８は、撮像画像に対して、被写体検出部２０２が直近に検出した被写体の位置に対して予め定められた位置に、直近に取得した付加画像を配置させた合成画像を生成する。なお、本撮影の指示後に、付加画像取得部２０６が新たに付加画像を取得して、合成画像生成部２０８は、新たに取得した付加画像を用いて合成画像を生成してよい。また、被写体検出部２０２が本撮影の指示後に撮像した撮像画像内にある特定の被写体を検出してもよい。この場合は、合成画像生成部２０８は、本撮影の指示後に検出した被写体の位置に対して予め定められた位置に付加画像を配置させた合成画像を生成してもよい。ステップＳ１５で、記録部２１０は、ステップＳ１４で生成した合成画像を記録する。なお、表示部２０９は、ステップＳ１４で生成した合成画像を表示してもよい。
【００４０】
なお、ステップＳ１２の本撮影の指示が動画の本撮影の指示の場合は、本撮影の指示が終了するまで、ステップＳ１からステップＳ１１の動作を繰り返すと共に、ステップＳ１０で生成した合成画像を順次記録してもよい。
【００４１】
また、ステップＳ１０では、撮像画像における、検出された特定の被写体の位置に対して予め定められた位置に、取得した付加画像を配置させた合成画像を生成するようにしたが、ユーザが合成位置を変更できるようにしてもよい。撮像装置２００は、ユーザが画像の合成位置を指示する指示部を有してよい。この指示部は、カーソルキー、又はタッチパネル等であってよい。合成画像生成部２０８は、ユーザの指示部の操作によって合成位置が指示されると、指示された合成位置に付加画像を配置させる。この場合、合成画像生成部２０８は、ユーザによって合成位置が指示されると、検出された特定の被写体の位置に応じた合成位置ではなく、ユーザによって指示された合成位置に付加画像を配置させる。つまり、合成画像生成部２０８は、ユーザの指示に応じて合成位置を変更する。
【００４２】
スルー画像表示中は、検出された特定の被写体に対して予め定められた位置に付加画像が合成された合成画像が表示されるが、付加画像が示すキャラクターの位置がユーザの好みでない場合は、ユーザは合成位置の指示することができる。そして、合成位置が指示された後は、ステップＳ１０で、指示された合成位置に付加画像が配置された合成画像が生成されて、ステップＳ１１で合成画像が表示されることになる。また、本撮影の指示がされる前に、ユーザによって合成位置が指示された場合は、ステップＳ１４で、合成画像生成部２０８は、該指示された合成位置に付加画像を配置させた合成画像を生成する。なお、撮像装置２００は、解除キーを備えてもよい。ユーザが合成位置を指示した後に解除キーを操作すると、解除キー操作後は、合成画像生成部２０８は、検出された被写体の位置に対して予め定められた位置に付加画像を配置させた合成画像を生成する。
【００４３】
また、ステップＳ１４では、本撮像された撮像画像と付加画像とを合成して、ステップＳ１５で、合成画像を記録するようにしたが、ステップＳ１４の動作を行わずにステップＳ１５に進んでもよい。この場合は、ステップＳ１５で、記録部２１０は、本撮像された撮像画像と付加画像とを対応付けて記録する。そして、記録された撮像画像を表示するときに、対応づけて記録された付加画像を、検出された特定の被写体の位置に対して予め定められた位置に配置させて表示させる。そして、ユーザにより合成位置の指示があると、指示された合成位置に付加画像を配置させて記録された撮像画像を表示させてもよい。また、本撮影指示の前に、ユーザによって合成位置が指示された場合は、本撮像された撮像画像と付加画像とを合成せずに、記録部２１０は、撮像画像と付加画像とを対応づけて記録してもよい。このように、撮像画像と付加画像とを合成しないで記録するので、記録した撮像画像を表示させるときに、付加画像の表示位置を変更することができる。
【００４４】
図６は、合成画像生成部２０８が生成した合成画像の一例を示す。合成画像５０１は、被写体検出部２０２が検出した被写体６０１に対して予め定められた位置に付加画像６０２を配置された画像となる。図７は、付加動画像の場合における合成画像生成部２０８が生成した合成動画像の一例を示す。合成動画像５０２は、撮像動画像に対する、被写体検出部２０２が検出した被写体６０３に対して予め定められた付加動画像の位置に、付加動画像が配置された動画像となる。つまり、撮像部２０１が順次撮像したそれぞれのフレーム画像に対する、検出された被写体に対して予め定められた付加動画像の位置に、付加動画像のフレーム画像を順次配置させた合成画像を順次生成することにより合成動画像を生成する。ここでは、付加動画像の合成位置は、検出した被写体６０３から周囲２０ｃｍとして、付加動画像は蝶々の動画とすると、生成された合成動画像は、検出された被写体の周囲２０ｃｍに蝶々が飛んでいる合成動画像５０２となる。図７では、便宜上蝶々６０４の動きを表すことを目的として、蝶々６０４を複数描写しているが、合成動画像のそれぞれのフレーム画像上には蝶々６０４は１つとなる。この付加動画像の合成位置を基に、付加動画像のそれぞれのフレーム画像の合成位置が定まる。そして、被写体６０３が動くと、その動きに応じて、付加動画の合成位置も変わる。つまり、被写体６０３が動いても、蝶々６０４は、被写体の周囲２０ｃｍを動いた合成動画像５０３となる。
【００４５】
これにより、例えば、テーマパーク内のそれぞれのエリアに、テーマパークのキャラクターの付加画像を設けておく。そして、ユーザが該エリアに入って撮像装置で特定の被写体を撮像すると、現実ではいないキャラクターが撮像された撮像画像内にいることになる。また、サーバ３００は、キャラクターが仮想的に存在するエリアに撮像装置２００が入ると、撮像装置２００に、又は撮像装置２００を所有しているユーザの携帯電話にメールにより、「近くにキャラクターがいます」と知らせてもよい。このメールを受けて、ユーザが撮像装置２００で周囲を撮像すると、キャラクターが画像上に存在することになる。なお、サーバ３００から付加画像を取得するようにしたが、テーマパークに入場するときに、付加画像記録部３０２に格納されている付加画像テーブル４００を撮像装置２００に一括ダウンロードしてもよく、付加画像テーブル４００を格納した記録媒体を撮像装置２００に装着してもよい。これにより、サーバ３００と通信する必要がなくなる。また、図５のフローチャートでは、付加動画像のフレーム画像を逐次サーバ３００から取得するようにしたが、エリアに入ると付加動画像を一括して取得するようにしてもよい。また、特定の被写体として顔を検出した場合は、検出した顔の表情を判断するようにしたが、笑顔を判断しなくてもよい。
【００４６】
また、本実施の形態は、テーマパーク以外の場所でも適用できる。例えば、街にあるポスター、看板を撮像装置２００で撮像することによって初めて広告として意味を成すようにしてもよい。
【００４７】
図８は、特定の被写体として文字を検出する場合における、撮像画像及び該撮像画像に付加画像が合成された合成画像の一例を示す。被写体検出部２０２は、特定の被写体として、「Ａ Ｃ Ｅ Ｇ」という文字を検出する場合を例にとって説明する。被写体検出部２０２が「Ａ Ｃ Ｅ Ｇ」という文字を検出すると、現在の位置情報に応じた付加画像を取得することにより、「Ａ Ｃ Ｅ Ｇ」の撮像画像５０５と付加画像とを合成して、「ＡＢＣＤＥＦＧ」という合成画像５０６を生成するようにしてもよい。これにより、「Ａ Ｃ Ｅ Ｇ」単体では広告としては意味を成さない文字が、付加画像を合成することにより、初めて広告として機能する。したがって、ユーザの興趣を高めることができ、人の注意を広告に向けることができる。
【００４８】
また、被写体検出部２０２が特定の被写体としてマネキンを検出すると、現在の位置情報に応じた付加画像を取得して、マネキンの撮像画像と付加画像とを合成することにより、服を着たマネキンの合成画像を生成してもよい。また、被写体検出部２０２が特定の被写体として樅の木を検出すると、現在の位置情報に応じた付加画像を取得して、樅の木の撮像画像と付加画像とを合成することにより、クリスマスの飾り付けがされた樅の木の合成画像を生成してもよい。
【００４９】
さらに、検出した特定の被写体の種類及び位置情報等に応じて、取得する付加画像を変えるようにしてもよい。例えば、同じエリアであっても、検出した被写体の種類によって付加画像取得部２０６が取得する付加画像の内容を変えてもよい。例えば、子供の顔を検出した場合と、大人の顔を検出した場合とでは、取得する付加画像を変えるようにしてもよい。また、同じエリアであっても、特定の被写体として検出した文字が違う場合は、異なる付加画像を取得してもよい。また、オリエンテーションなどで、ある場所である被写体を撮像すると付加画像を取得できるようにしてもよい。また、宝探しゲームにおいて、検出した特定の被写体の種類に応じて、宝を表す付加画像を異ならせてもよい。この付加画像はまた、合成画像を記録するようにしたが、付加画像のみを記録できるようにしてもよい。また、位置情報に拘らずに被写体検出部２０２が検出した被写体の種類に応じた付加画像を取得するようにしてもよい。
【００５０】
また、特定の被写体を検出すると、付加画像取得部２０６は、位置情報に対応した付加画像を取得して、合成画像生成部２０８は、撮像画像と付加画像とを合成するようにしたが、特定の被写体の検出に関わらず、位置情報に対応した付加画像を取得してもよい。この場合、付加画像に対応した位置情報も取得する。この付加画像に対応した位置情報とは、例えば、経緯、緯度であってもよく、実際のエリアのどの位置であるかを示す情報であってもよい。また、撮像装置２００は、方位センサを有してよく、位置情報取得部２０４が取得した位置と方位センサによりどの範囲が撮像されているかを判断する。そして、取得した付加画像に対応する位置情報が示す位置が撮像されると、合成画像生成部２０８は、撮像した撮像画像と付加画像とを合成して表示してもよい。合成画像生成部２０８は、撮像装置２００の現在の位置及び方位センサにより検出された方位から、撮像画像における、付加画像に対応する位置情報が示す位置に付加画像を配置させて、合成画像を生成してもよい。これにより、ユーザが撮像装置２００をパーンして、付加画像に対応する位置が画角内に入ると突然キャラクターが出現して、付加画像に対応する位置が画角から外れるとキャラクターがいなくなる。つまり、仮想的にキャラクターがある位置に存在するように演出することができる。
【００５１】
また、合成画像生成部２０８は、仮撮像された撮像画像と付加画像とを合成するようにしたが、本撮像された撮像画像と付加画像とを合成するようにしてもよい。これにより、ユーザは、スルー画像表示中は、キャラクターなどの付加画像を見ることはできないが、撮影をしてみて初めてキャラクターなどの付加画像が合成された合成画像を見ることができる。また、ユーザの興趣を高めることができる。また、動画像を撮像した後に、動画像と付加動画像とを合成するようにしてもよい。
【００５２】
記録部２１０は、合成画像又は付加画像と、位置情報取得部２０４が取得した位置情報とを、対応づけて記録するようにしてもよい。この場合は、撮像装置２００は、合成画像又は付加画像を他の撮像装置２００、又は他の機器に送信した場合でも位置情報だけは送信できないように設定する。これにより、ユーザは、オリエンテーションなどで、付加画像を自分で集めずに、他人から付加画像又は合成画像をもらうという不正ができなくなる。つまり、ユーザは、合成画像又は付加画像と位置情報とにより、自分で合成画像又は付加画像を集めたということを証明できる。また、サーバが、付加画像を送信した撮像装置２００の識別情報と、送信した付加画像又は受信した位置情報の履歴を記録しておくようにしてもよい。
【００５３】
また、被写体検出部２０２が特定の被写体を検出してから、付加画像取得部２０６は、位置情報に対応する付加画像を取得するようにしたが、付加画像取得部２０６が付加画像を取得してから、被写体検出部２０２が特定の被写体を検出してもよい。特定の被写体が検出されなかった場合は、合成画像生成部２０８は、撮像画像と付加画像とを合成しなくてもよく、撮像画像の所定の位置に付加画像を配置させた合成画像を生成してもよい。
【００５４】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００５５】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００５６】
１００ 画像合成システム、２００ 撮像装置、２５０ ネットワーク、３００ サーバ、２０１ 撮像部、２０２ 被写体検出部、２０３ 表情判断部、２０４ 位置情報取得部、２０５ 位置情報送信部、２０６ 付加画像取得部、２０７ 画像変更部、２０８ 合成画像生成部、２０９ 表示部、２１０ 記録部、３０１ 位置情報受信部、３０２ 付加画像記録部、３０３ 付加画像送信部、４００ 付加画像テーブル、５０１ 合成画像、５０５ 撮像画像、５０６ 合成画像、６０１ 被写体、６０２ 付加画像、５０２ 合成動画像、５０３ 合成動画像、６０３ 被写体、６０４ 蝶々
【特許請求の範囲】
【請求項１】
撮像装置とサーバとを有する画像合成システムであって、
前記撮像装置は、
被写体を撮像する撮像部と、
撮像した撮像画像内にある特定の被写体を検出する被写体検出部と、
前記撮像装置の現在位置を示す位置情報を取得する位置情報取得部と、
取得した位置情報を前記サーバに送信する位置情報送信部と、
前記位置情報に応じた付加画像を前記サーバから取得する付加画像取得部と、
前記撮像画像における、前記被写体検出部が検出した前記特定の被写体の位置に対して予め定められた位置に、前記付加画像を配置させた合成画像を生成する合成画像生成部と
を備え、
前記サーバは、
前記位置情報に対応付けて前記付加画像を記録した付加画像記録部と、
前記位置情報送信部が送信した前記位置情報を受信する位置情報受信部と、
前記付加画像記録部が記録している、受信した前記位置情報に対応する前記付加画像を前記撮像装置に送信する付加画像送信部と
を備える画像合成システム。
【請求項２】
前記撮像装置は、
前記被写体検出部が検出した前記特定の被写体の大きさに応じて前記付加画像の大きさを変更する画像変更部をさらに備え、
前記合成画像生成部は、前記撮像画像における、前記被写体検出部が検出した前記特定の被写体の位置に対して予め定められた位置に、前記画像変更部が変更した前記付加画像を配置させた前記合成画像を生成する
請求項１に記載の画像合成システム。
【請求項３】
前記付加画像記録部は、前記複数の位置情報及び時刻に対応付けて前記複数の付加画像を記録しており、
前記付加画像送信部は、受信した前記位置情報及び時刻に応じた前記付加画像を前記撮像装置に送信し、
前記付加画像取得部は、前記付加画像送信部が送信した前記付加画像を取得する
請求項１又は２に記載の画像合成システム。
【請求項４】
前記撮像装置は、
顔の表情を判断する表情判断部をさらに備え、
前記被写体検出部は、前記特定の被写体として人物の顔を検出し、
前記表情判断部は、前記被写体検出部が検出した人物の顔の表情を判断し、
前記位置情報送信部は、取得した位置情報及び判断した顔の表情を送信し、
前記付加画像記録部は、前記複数の位置情報及び複数の前記顔の表情に対応付けて前記複数の付加画像を記録しており、
前記付加画像送信部は、受信した前記位置情報及び前記顔の表情に応じた前記付加画像を前記撮像装置に送信し、
前記付加画像取得部は、前記付加画像送信部が送信した前記付加画像を取得する
請求項１から３の何れかに記載の画像合成システム。
【請求項５】
前記撮像装置は、
前記合成画像を表示する表示部を備え、
前記撮像部は、被写体を順次撮像し、
前記付加画像取得部は、前記位置情報に応じた付加動画像を取得し、
前記合成画像生成部は、順次撮像したそれぞれの前記撮像画像における、前記被写体検出部が検出した前記特定の被写体の位置に対して予め定められた前記付加動画像の位置に、前記付加動画像のフレーム画像を順次配置させた前記合成画像を順次生成し、
前記表示部は、前記合成画像生成部が生成した前記合成画像を順次表示する
請求項１から４の何れかに記載の画像合成システム。
【請求項６】
前記撮像部は、被写体の動画像を撮像し、
前記付加画像取得部は、前記位置情報に応じた付加動画像を取得し、
前記合成画像生成部は、撮像動画像に対する、前記被写体検出部が検出した前記特定の被写体の位置に対して予め定められた前記付加動画像の位置に、前記付加動画像を配置させた合成動画像を生成する
請求項１から４の何れかに記載の画像合成システム。
【請求項７】
撮像装置とサーバとを有するシステムが画像を合成する画像合成方法であって、
前記撮像装置は、
被写体を撮像する撮像工程と、
撮像した撮像画像内にある特定の被写体を検出する被写体検出工程と、
前記撮像装置の現在位置を示す位置情報を取得する位置情報取得工程と、
取得した位置情報を前記サーバに送信する位置情報送信工程と、
前記位置情報に応じた付加画像を前記サーバから取得する付加画像取得工程と、
前記撮像画像における、前記被写体検出工程が検出した前記特定の被写体の位置に対して予め定められた位置に、前記付加画像を配置させた合成画像を生成する合成画像生成工程と
を備え、
前記サーバは、
前記位置情報に対応付けて前記付加画像を記録した付加画像記録部を備え、
前記位置情報送信工程が送信した前記位置情報を受信する位置情報受信工程と、
前記付加画像記録部が記録している、受信した前記位置情報に対応する前記付加画像を前記撮像装置に送信する付加画像送信工程と
を備える画像合成方法。
【請求項８】
画像を合成する撮像装置であって、
被写体を撮像する撮像部と、
撮像した撮像画像内にある特定の被写体を検出する被写体検出部と、
前記撮像装置の現在位置を示す位置情報を取得する位置情報取得部と、
前記位置情報に応じた付加画像を取得する付加画像取得部と、
前記撮像画像における、前記被写体検出部が検出した前記特定の被写体の位置に対して予め定められた位置に、前記付加画像を配置させた合成画像を生成する合成画像生成部と
を備える撮像装置。
【請求項９】
コンピュータを、
被写体を撮像する撮像部、
撮像した撮像画像内にある特定の被写体を検出する被写体検出部、
前記コンピュータの現在位置を示す位置情報を取得する位置情報取得部、
前記位置情報に応じた付加画像を取得する付加画像取得部、
前記撮像画像における、前記被写体検出部が検出した前記特定の被写体の位置に対して予め定められた位置に、前記付加画像を配置させた合成画像を生成する合成画像生成部
として機能させるプログラム。
【請求項１】
撮像装置とサーバとを有する画像合成システムであって、
前記撮像装置は、
被写体を撮像する撮像部と、
撮像した撮像画像内にある特定の被写体を検出する被写体検出部と、
前記撮像装置の現在位置を示す位置情報を取得する位置情報取得部と、
取得した位置情報を前記サーバに送信する位置情報送信部と、
前記位置情報に応じた付加画像を前記サーバから取得する付加画像取得部と、
前記撮像画像における、前記被写体検出部が検出した前記特定の被写体の位置に対して予め定められた位置に、前記付加画像を配置させた合成画像を生成する合成画像生成部と
を備え、
前記サーバは、
前記位置情報に対応付けて前記付加画像を記録した付加画像記録部と、
前記位置情報送信部が送信した前記位置情報を受信する位置情報受信部と、
前記付加画像記録部が記録している、受信した前記位置情報に対応する前記付加画像を前記撮像装置に送信する付加画像送信部と
を備える画像合成システム。
【請求項２】
前記撮像装置は、
前記被写体検出部が検出した前記特定の被写体の大きさに応じて前記付加画像の大きさを変更する画像変更部をさらに備え、
前記合成画像生成部は、前記撮像画像における、前記被写体検出部が検出した前記特定の被写体の位置に対して予め定められた位置に、前記画像変更部が変更した前記付加画像を配置させた前記合成画像を生成する
請求項１に記載の画像合成システム。
【請求項３】
前記付加画像記録部は、前記複数の位置情報及び時刻に対応付けて前記複数の付加画像を記録しており、
前記付加画像送信部は、受信した前記位置情報及び時刻に応じた前記付加画像を前記撮像装置に送信し、
前記付加画像取得部は、前記付加画像送信部が送信した前記付加画像を取得する
請求項１又は２に記載の画像合成システム。
【請求項４】
前記撮像装置は、
顔の表情を判断する表情判断部をさらに備え、
前記被写体検出部は、前記特定の被写体として人物の顔を検出し、
前記表情判断部は、前記被写体検出部が検出した人物の顔の表情を判断し、
前記位置情報送信部は、取得した位置情報及び判断した顔の表情を送信し、
前記付加画像記録部は、前記複数の位置情報及び複数の前記顔の表情に対応付けて前記複数の付加画像を記録しており、
前記付加画像送信部は、受信した前記位置情報及び前記顔の表情に応じた前記付加画像を前記撮像装置に送信し、
前記付加画像取得部は、前記付加画像送信部が送信した前記付加画像を取得する
請求項１から３の何れかに記載の画像合成システム。
【請求項５】
前記撮像装置は、
前記合成画像を表示する表示部を備え、
前記撮像部は、被写体を順次撮像し、
前記付加画像取得部は、前記位置情報に応じた付加動画像を取得し、
前記合成画像生成部は、順次撮像したそれぞれの前記撮像画像における、前記被写体検出部が検出した前記特定の被写体の位置に対して予め定められた前記付加動画像の位置に、前記付加動画像のフレーム画像を順次配置させた前記合成画像を順次生成し、
前記表示部は、前記合成画像生成部が生成した前記合成画像を順次表示する
請求項１から４の何れかに記載の画像合成システム。
【請求項６】
前記撮像部は、被写体の動画像を撮像し、
前記付加画像取得部は、前記位置情報に応じた付加動画像を取得し、
前記合成画像生成部は、撮像動画像に対する、前記被写体検出部が検出した前記特定の被写体の位置に対して予め定められた前記付加動画像の位置に、前記付加動画像を配置させた合成動画像を生成する
請求項１から４の何れかに記載の画像合成システム。
【請求項７】
撮像装置とサーバとを有するシステムが画像を合成する画像合成方法であって、
前記撮像装置は、
被写体を撮像する撮像工程と、
撮像した撮像画像内にある特定の被写体を検出する被写体検出工程と、
前記撮像装置の現在位置を示す位置情報を取得する位置情報取得工程と、
取得した位置情報を前記サーバに送信する位置情報送信工程と、
前記位置情報に応じた付加画像を前記サーバから取得する付加画像取得工程と、
前記撮像画像における、前記被写体検出工程が検出した前記特定の被写体の位置に対して予め定められた位置に、前記付加画像を配置させた合成画像を生成する合成画像生成工程と
を備え、
前記サーバは、
前記位置情報に対応付けて前記付加画像を記録した付加画像記録部を備え、
前記位置情報送信工程が送信した前記位置情報を受信する位置情報受信工程と、
前記付加画像記録部が記録している、受信した前記位置情報に対応する前記付加画像を前記撮像装置に送信する付加画像送信工程と
を備える画像合成方法。
【請求項８】
画像を合成する撮像装置であって、
被写体を撮像する撮像部と、
撮像した撮像画像内にある特定の被写体を検出する被写体検出部と、
前記撮像装置の現在位置を示す位置情報を取得する位置情報取得部と、
前記位置情報に応じた付加画像を取得する付加画像取得部と、
前記撮像画像における、前記被写体検出部が検出した前記特定の被写体の位置に対して予め定められた位置に、前記付加画像を配置させた合成画像を生成する合成画像生成部と
を備える撮像装置。
【請求項９】
コンピュータを、
被写体を撮像する撮像部、
撮像した撮像画像内にある特定の被写体を検出する被写体検出部、
前記コンピュータの現在位置を示す位置情報を取得する位置情報取得部、
前記位置情報に応じた付加画像を取得する付加画像取得部、
前記撮像画像における、前記被写体検出部が検出した前記特定の被写体の位置に対して予め定められた位置に、前記付加画像を配置させた合成画像を生成する合成画像生成部
として機能させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１０−１８７０５２（Ｐ２０１０−１８７０５２Ａ）
【公開日】平成２２年８月２６日（２０１０．８．２６）
【国際特許分類】
【出願番号】特願２００９−２８０７４（Ｐ２００９−２８０７４）
【出願日】平成２１年２月１０日（２００９．２．１０）
【出願人】（３０７０２２４２４）ソフトバンクテレコム株式会社 (42)
【出願人】（５０１４４０６８４）ソフトバンクモバイル株式会社 (654)
【Ｆターム（参考）】
【公開日】平成２２年８月２６日（２０１０．８．２６）
【国際特許分類】
【出願日】平成２１年２月１０日（２００９．２．１０）
【出願人】（３０７０２２４２４）ソフトバンクテレコム株式会社 (42)
【出願人】（５０１４４０６８４）ソフトバンクモバイル株式会社 (654)
【Ｆターム（参考）】
[ Back to top ]