撮像装置、画像合成方法、及びプログラム
【課題】現在の目に見える被写体の撮影だけではなく、被写体の未来や、過去を想定した画像を撮影することができ、単なる撮影を超えた撮影を楽しむことができる。
【解決手段】カメラ付き端末装置１は、目の前の風景を撮影し、撮影した画像Ａに対し、顔認識・分析機能により、画像Ａの顔部分を認識し、また、認識した顔部分や、風景などを分析し、性別（男女）、人数、顔表情の状況情報を取得する。カメラ付き端末装置１は、予め用意している複数のテンプレート画像から、顔認識・分析機能で取得した状況情報とユーザによる時間選択で指定された未来／過去の年代情報とに合致するテンプレート画像を抽出し、認識された顔部分を、指定された年代に合わせて修正を行うとともに、テンプレート画像の顔部分に合成し、最終的に未来画像Ｂを生成して表示する。
【解決手段】カメラ付き端末装置１は、目の前の風景を撮影し、撮影した画像Ａに対し、顔認識・分析機能により、画像Ａの顔部分を認識し、また、認識した顔部分や、風景などを分析し、性別（男女）、人数、顔表情の状況情報を取得する。カメラ付き端末装置１は、予め用意している複数のテンプレート画像から、顔認識・分析機能で取得した状況情報とユーザによる時間選択で指定された未来／過去の年代情報とに合致するテンプレート画像を抽出し、認識された顔部分を、指定された年代に合わせて修正を行うとともに、テンプレート画像の顔部分に合成し、最終的に未来画像Ｂを生成して表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像合成方法、及びプログラムに関する。
【背景技術】
【０００２】
特許文献１にあるように、撮影時の時刻、場所情報を画像管理サーバに送り、過去の同じ場所のデータを検索／取得したり、未来の同じ場所の撮影を予約したりする手法が提案されている。
【０００３】
また、特許文献２にあるように、過去の映像及び音声、または、未来の予想される映像、及び音声のデータを記憶するデータサーバを用意し、そのデータサーバより必要となるデータを検索し取得することで、過去、または未来の映像を取得することを可能としているシステムが提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許４３６６６０１号
【特許文献２】特開２００３−０１６４６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、近年、カメラ機能を有する端末は多く存在し、かつ画素数も向上し、高機能化が進んでおり、現実に見える風景などの撮影に係る技術は進歩している。しかしながら、上記特許文献１、２では、あくまで現時点での被写体（例えば人物）を画像として撮影するのみであり、未来や、過去を想定した撮影はできず、撮影のバリエーションに欠け、単なる撮影を超えた撮影を楽しむことができないという問題があった。
【０００６】
そこで本発明は、現在の目に見える被写体の撮影だけではなく、被写体の未来や、過去を想定した画像を撮影することができ、単なる撮影を超えた撮影を楽しむことができる撮像装置、画像合成方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、被写体を撮像して画像として取り込むカメラ部と、
複数のテンプレート画像を保持するテンプレート保持部と、
前記カメラ部によって撮影された画像から人物の顔部分を認識する顔認識部と、
前記顔認識部にて認識された顔部分を分析し、少なくとも、人数、男女、顔表情からなる状況情報を取得する状況解析部と、
前記カメラ部によって撮影された画像の被写体に対し、最終的に得られる画像の時間指定を行う時間選択部と、
前記テンプレート保持部に保持されている複数のテンプレート画像の中から、前記状況解析部にて取得した状況情報と、前記時間選択部により指定された時間とに応じたテンプレート画像を抽出するテンプレート抽出部と、
前記顔認識部にて認識された顔部分を、前記テンプレート抽出部にて抽出されたテンプレート画像の顔部分に合成した合成画像を生成する画像合成部と
を備えることを特徴とする撮像装置である。
【０００８】
本発明の画像合成方法は、被写体を撮像して画像として取り込む撮像ステップと、
前記カメラ部によって撮影された画像から人物の顔部分を認識する顔認識ステップと、
前記認識された顔部分を分析し、少なくとも、人数、男女、顔表情からなる状況情報を取得する状況解析ステップと、
前記撮影された画像の被写体に対し、最終的に得られる画像の時間指定を行う時間選択ステップと、
予め保持されている複数のテンプレート画像の中から、前記取得した状況情報と、前記指定された時間とに応じたテンプレート画像を抽出するテンプレート抽出ステップと、
前記認識された顔部分を、前記抽出されたテンプレート画像の顔部分に合成した合成画像を生成する画像合成ステップと
を含むことを特徴とする画像合成方法である。
【０００９】
本発明のプログラムは、被写体を撮像して画像として取り込む撮像手段を備える撮像装置のコンピュータに、
前記カメラ部によって撮影された画像から人物の顔部分を認識する顔認識機能、
前記認識された顔部分を分析し、少なくとも、人数、男女、顔表情からなる状況情報を取得する状況解析機能、
前記撮影された画像の被写体に対し、最終的に得られる画像の時間指定を行う時間選択機能、
予め保持されている複数のテンプレート画像の中から、前記取得した状況情報と、前記指定された時間とに応じたテンプレート画像を抽出するテンプレート抽出機能、
前記認識された顔部分を、前記抽出されたテンプレート画像の顔部分に合成した合成画像を生成する画像合成機能
を実行させることを特徴とするプログラムである。
【発明の効果】
【００１０】
この発明によれば、現在の目に見える被写体の撮影だけではなく、被写体の未来や、過去を想定した画像を撮影することができ、単なる撮影を超えた撮影を楽しむことができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態による撮影から、画像処理を経て最終画像の表示までの全体の流れ（概要）を示す概念図である。
【図２】本実施形態によるカメラ付き携帯端末の構成を示すブロック図である。
【図３】本実施形態による、テンプレート保持部５に保持されているテンプレートの一般的な保持例を示す概念図である。
【図４】本実施形態による、テンプレート保持部５に保持されているテンプレート画像の具体的なデザイン例を示す概念図である。
【図５】本実施形態によるカメラ付き携帯端末１の動作を説明するためのフローチャートである。
【図６】本実施形態による、テンプレート合成例を示す模式図である。
【図７】付記１の構成図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態を、図面を参照して説明する。
【００１３】
図１は、本発明の実施形態による撮影から、画像処理を経て最終画像の表示までの全体の流れ（概要）を示す概念図である。図１において、カメラ付き端末装置１は、画像を撮影可能な端末であり、顔認識・分析機能を備えている。カメラ付き端末装置１にて、目の前の風景（例えば：男女の子供二人）を撮影し、画像Ａとして取り込む。撮影した画像Ａに対し、顔認識・分析機能により、画像Ａの顔部分を認識し、また、認識した顔部分や、風景などを分析することにより、性別（男女）、人数、顔表情（笑っている、泣いている等）の状況情報を取得する（ステップＳａ１０）。図示の例では、画像Ａにおいて、子供の男女二人が微笑んでいるという情報が取得される。
【００１４】
次に、ユーザによる時間選択により、撮影したい（画像として生成したい）年代情報（未来／過去、何年前／何年後等）の指定を行う（ステップＳａ１２）。図示の例では、２０年後（２０〜３０代）を指定したとする。なお、年代情報は、自動的にランダム等で指定されてもよい。
【００１５】
次に、カメラ付き端末装置１では、予め用意している複数のテンプレート画像から、顔認識・分析機能で取得した性別（男女）、人数、顔表情などの状況情報とユーザによる時間選択で指定された未来／過去の年代情報とに合致するテンプレート画像を抽出する（ステップＳａ１４）。図示の例では、状況情報と年代情報とにより、「男女二人で」、「微笑んでいる」ことから、２０〜３０代の男女の明るい未来の様子を表すテンプレート画像を抽出する。なお、このテンプレート抽出では、候補のテンプレート画像を表示してユーザが選択しても良いし、候補の中からランダムで抽出してもよい。
【００１６】
次に、カメラ付き端末装置１では、顔認識・分析機能で認識された顔部分を、指定された年代に合わせて大人にする／子供にする（年代指定が２０代であれば２０代の顔にする）という修正を行うとともに、抽出されたテンプレート画像の顔部分に対し、その修正された顔部分の画像を合成し、最終的に未来画像Ｂを生成して表示する（ステップＳａ１６）。
【００１７】
図示の例では、画像Ａの男女二人の顔を、２０〜３０代の男女の顔に修正するとともに、明るい未来の様子を表すテンプレート画像（結婚式での男女）の顔部分に、その修正された顔部分の画像を合成して未来画像Ｂを生成して表示する。同様に、時間選択で過去を指定した場合には、過去の年代に合わせて顔を修正し、テンプレート画像に顔部分を合成し、最終的に過去画像（図示略）を生成する。
【００１８】
図２は、本実施形態によるカメラ付き携帯端末の構成を示すブロック図である。図２において、カメラ付き携帯端末１は、ＣＰＵ２、カメラ部３、画像保持部４、テンプレート保持部５、顔認識部６、顔情報解析部７、時間選択部８、テンプレート抽出部９、画像合成部１０、及び表示部１１から構成されている。
【００１９】
ＣＰＵ２は、所定のプログラムを実行することにより、カメラ付き携帯端末の各部の動作を制御する。カメラ部３は、レンズなどの光学系、撮像素子などからなり、被写体を撮像して画像として取り込む。画像保持部４は、カメラ部３で撮影された画像を格納（保持）する。テンプレート保持部５は、明るい、または暗い過去の画像や、明るい、または暗い未来の画像を生成するための複数のテンプレート画像を保持する。
【００２０】
顔認識部６は、撮影された画像から人物の顔部分を認識する。顔情報解析部７は、顔認識部６にて認識された顔部分や、風景などを分析し、人数、男女、顔表情、あるいは天気等の状況情報を取得する。時間選択部８は、撮影された画像の被写体に対し、いつの未来や、過去とするかの時間指定（年代指定）を行う。年代としては、幼少期、小学生期、中学〜高校期、大学生期、２０〜３０代、４０〜５０代、６０代以上が用意されている。テンプレート抽出部９は、テンプレート保持部５に保持されている複数のテンプレート画像の中から、顔情報解析部７にて取得した状況情報と時間選択部８により指定された時間（年代）とに応じたテンプレート画像を抽出する。
【００２１】
画像合成部１０は、顔認識部６にて認識された顔部分を、時間選択部８にて指定された時間（年代）に応じて修正（幼少の顔を２０代にする等）するとともに、その修正された顔部分を、テンプレート抽出部９にて抽出されたテンプレート画像の顔部分に合成することで、未来画像、または過去画像を生成する。表示部１１は、画像合成部１０にて合成された未来画像、または過去画像を表示する。
【００２２】
図３は、本実施形態による、テンプレート保持部５に保持されているテンプレート画像の一般的な保持例を示す概念図である。テンプレート保持部５は、縦に人物の年代（幼少期、小学生期、中学〜高校期、大学生期、２０〜３０代、４０〜５０代、６０代以上）、横に「明るい未来／過去」、「暗い未来／過去」としたマトリックスにて、それぞれテンプレート画像を保持している。
【００２３】
図４は、本実施形態による、テンプレート保持部５に保持されているテンプレート画像の具体的なデザイン例を示す概念図である。便宜上、簡易的に図３に示す例から、「小学生期」、「２０〜３０代」、「４０〜５０代」のみを例として挙げている。例えば、「小学生期」には、「明るい未来／過去」として、「仲良く遊ぶ１」、「仲良く遊ぶ２」のテンプレート画像を保持し、「暗い未来／過去」として、「喧嘩している二人」のテンプレート画像を保持している。
【００２４】
同様にして、「２０〜３０代」には、「明るい未来／過去」として、「スキーで活躍」、「パーティー」、「ラブラブ」、「結婚式」、「二人で引越し」のテンプレート画像を保持し、「暗い未来／過去」として、「失恋」、「別々な二人」のテンプレート画像を保持している。また、「４０〜５０代」には、「明るい未来／過去」として、「いたわる二人」、「ダンスな二人」、「スキーを楽しむ」のテンプレート用の画像データを保持し、「暗い未来／過去」として、「一人寂しく」、「黙々と仕事」のテンプレート画像を保持している。
【００２５】
このように、テンプレート画像とは、それぞれの年代で、明るい未来／過去、または暗い未来／過去という状況を表わす画像データである。テンプレート画像は、テンプレート保持部５に予めメーカが設定したものを登録しておいてもよいし、後からユーザが任意に登録するようにしてもよい。また、テンプレート画像は、年代や、明るい未来／過去、または暗い未来／過去で分類されているが、その中で、一人の状況を表しているものや、二人の状況を表しているもの、様々な性別の組合わせ（男女、男男、女女）のものなどがある。これらは、それぞれのテンプレート画像の属性として画像内に保持されており、テンプレート画像の抽出の際に、状況情報に合うテンプレート画像を抽出できるように参照されるようになっている。
【００２６】
図５は、本実施形態によるカメラ付き携帯端末１の動作を説明するためのフローチャートである。まず、カメラ部３により、目の前の風景を撮影し、画像Ａを取り込み、画像保持部４に保持する（ステップＳｂ１０）。次に、顔認識部６により、上記撮影された画像Ａ中の人物の認識（顔認識）を行い（ステップＳｂ１２）、顔情報解析部７により、上記認識された顔部分を解析し、人数、男女、顔表情、天気等の状況情報を取得する（ステップＳｂ１４）。
【００２７】
次に、時間選択部８により、撮影したい未来や、過去の時間指定（幼少期、小学生期、中学〜高校期、大学生期、２０〜３０代、４０〜５０代、６０代以上などの年代指定）を行う（ステップＳｂ１６）。例えば、表示部１１に幼少期、小学生期、中学〜高校期、大学生期、２０〜３０代、４０〜５０代、６０代以上などメニューを表示するなどしてユーザに指定させる。
【００２８】
次に、ステップＳｂ１４での顔情報解析にて取得した人数、男女、表情等の状況情報と、ステップＳｂ１６での時間指定（年代指定）とに基づいて、テンプレート保持部５に保持されている複数のテンプレート画像の中から、適合するテンプレート画像を抽出する（ステップＳｂ１８）。
【００２９】
ステップＳｂ１８でのテンプレート抽出において、例えば、図３に示すテンプレート画像に対しては、以下（１）、（２）により、マトリックス上のテンプレート候補を確定する。
【００３０】
（１）「明るい未来／過去」、「暗い未来／過去」の選択
ステップＳｂ１４での顔情報解析により、被写体の顔の表情が、「明るい未来／過去」であるか、「暗い未来／過去」であるかを決定する。例えば、被写体の顔の表情が笑っている、あるいは、微笑んでいる場合などには、「明るい未来／過去」を選択し、被写体の顔の表情が笑っていない、怒っている、あるいは、泣いている場合などには、「暗い未来／過去」を選択する。
【００３１】
また、上述したように、顔情報からではなく、撮影した画像の背景などから取得した天気情報を元に、例えば、晴れであれば、「明るい未来／過去」を選択し、曇りや雨であれば、「暗い未来／過去」としても良い。
【００３２】
（２）年代の選択
ステップＳｂ１６での時間選択により、「小学生期」、「２０〜３０代」、「６０代以上」等を決定する。
【００３３】
上記（１）、（２）の組合わせから、図３、または図４に示すマトリックス上の位置を特定し、特定した位置上のテンプレート画像を抽出する。なお、特定した位置上にテンプレート候補が複数ある場合には、ユーザによる選択を可能としてもよいし、ランダム等により自動で選択してもよい。
【００３４】
例えば、図４に示すテンプレート画像の場合には、例えば、ステップＳｂ１４での顔情報解析により、「男女」、「二名」、「微笑んでいる（明るい未来／過去）」という情報が取得され、ステップＳｂ１６での時間選択により「２０〜３０代」が指定された場合には、図４に示す「２０〜３０代」と「明るい未来／過去」とが交差するテンプレート画像中の男女２名のテンプレート画像「パーティー」、「ラブラブ」、「結婚式」、「二人で引越し」が候補として抽出されることになる。これら候補のどれを用いるかは、上述したように、ユーザによって選択してもよいし、ランダム等により自動で選択してもよい。
【００３５】
テンプレート抽出後、画像合成部１０により、撮影した画像Ａから、顔認識部６により認識した顔部分の取得（顔領域の画像の切り取り）を行う（ステップＳｂ２０）。次に、画像合成部１０により、上記切り取った顔部分の画像を、ステップＳｂ１６での時間選択にて指定された時間（年代）に応じて修正（幼少の顔を２０代にする等）するとともに、その修正された顔部分を、ステップＳｂ１８で抽出されたテンプレート画像の顔部分に合成する（ステップＳｂ２２）。そして、合成された画像を表示部１１に表示する（ステップＳｂ２４）。
【００３６】
図６は、本実施形態による、テンプレート合成例を示す模式図である。図６において、まず、目の前の風景を撮影し、画像Ａとして取り込んだ場合、顔認識部６による顔認識により丸枠２０ａ、２０ｂで示す２つの顔部分を認識し、顔情報解析部７による顔情報解析により、子供の男女２名、微笑んでいる、という状況情報を取得する。
【００３７】
次に、ユーザが、時間選択部８により２０〜３０代（の未来画像）を選択（または自動選択）したとすると、テンプレート抽出部９は、上記顔情報解析により取得した、子供の男女２名、微笑んでいるという状況情報に従って、図４に示すテンプレート画像の中から、「明るい未来」で、２０〜３０代のテンプレート画像のうち、例えば、テンプレート画像「結婚式」２１を抽出する。
【００３８】
図６において、第１の合成例での画像Ｂ１は、テンプレート画像「結婚式」２１の丸枠２２ａ、２２ｂで示す顔部分を、実際の風景を撮影した画像Ａから抜き出した丸枠２０ａ、２０ｂで示す顔部分を年代に合わせた修正（２０〜３０代にする修正）を行った上で差し替えて合成した未来画像の例である。この場合、画像Ｂ１の背景などは、テンプレート画像「結婚式」２１の背景をそのまま用いている。
【００３９】
一方、第２の合成例での画像Ｂ２は、画像Ａの実際の風景を背景として残し、人物部分のみをテンプレート画像「結婚式」２１の人物部分に差し替え、かつ、丸枠２２ａ、２２ｂで示す顔部分を、画像Ａから抜き出した丸枠２０ａ、２０ｂで示す顔部分を年代に合わせた修正（２０〜３０代にする修正）を行った上で差し替えて合成した未来画像の例である。なお、該第２の合成例では、画像Ｂ２の背景画像を、撮影時のＧＰＳ（Global
Positioning System）等の場所情報を元に、ご当地の画像などをサーバ等から取得するようにしてもよい。
【００４０】
上述した実施形態によれば、カメラ付き携帯端末において、顔認識・分析技術によりカメラ撮影時の被写体の人数、男女、顔表情、あるいは天気等の状況を判別し、該被写体の人数、男女、顔表情、あるいは天気等の状況に応じ、かつ選択された年代に応じたテンプレート画像を選択的に抽出し、実際の被写体の顔部分を、テンプレート画像の顔部分に合成することで、現在の目に見える被写体を単に撮影するだけでなく、判別した被写体の状況から予想される、過去や、未来のある状況における被写体の未来画像、または過去画像を容易に生成することができる。ゆえに、単なる撮影を超えた撮影を楽しむことができる。
【００４１】
また、本実施形態によれば、実際の被写体の顔部分を、テンプレート画像の顔部分に合成する際に、顔部分を選択された年代に合わせて修正するようにしたので、よりリアリティを得ることができる。
【００４２】
また、本実施形態によれば、実際の被写体の顔部分を、テンプレート画像の顔部分に合成する際に、実際の風景を背景とする合成を行うようにすれば、よりリアリティを得ることができる。
【００４３】
以下、本発明の特徴を付記する。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
図７は、付記１の構成図である。この図に示すように、付記１記載の発明は、
被写体を撮像して画像として取り込むカメラ部５１と、
複数のテンプレート画像を保持するテンプレート保持部５２と、
前記カメラ部５１によって撮影された画像から人物の顔部分を認識する顔認識部５３と、
前記顔認識部５３にて認識された顔部分を分析し、少なくとも、人数、男女、顔表情からなる状況情報を取得する状況解析部５４と、
前記カメラ部５１によって撮影された画像の被写体に対し、最終的に得られる画像の時間指定を行う時間選択部５６と、
前記テンプレート保持部５２に保持されている複数のテンプレート画像の中から、前記状況解析部５４にて取得した状況情報と、前記時間選択部５６により指定された時間とに応じたテンプレート画像を抽出するテンプレート抽出部５７と、
前記顔認識部５３にて認識された顔部分を、前記テンプレート抽出部５７にて抽出されたテンプレート画像の顔部分に合成した合成画像を生成する画像合成部５８と
を備えることを特徴とする撮像装置である。
【００４４】
（付記２）
前記画像合成部は、前記顔認識部にて認識された顔部分を、前記時間選択部にて指定された時間に応じて修正することを特徴とする付記１に記載の撮像装置である。
【００４５】
（付記３）
前記状況解析部は、前記カメラ部によって撮影された画像を分析し、撮影時の天気を表す状況情報を取得することを特徴とする付記１または２に記載の撮像装置である。
【００４６】
（付記４）
前記画像合成部は、前記テンプレート抽出部にて抽出されたテンプレート画像の背景を、前記合成画像の背景とすることを特徴とする付記１から３のいずれかに記載の撮像装置である。
【００４７】
（付記５）
前記画像合成部は、前記カメラ部によって撮影された画像の背景を、前記合成画像の背景とすることを特徴とする付記１から３のいずれかに記載の撮像装置である。
【００４８】
（付記６）
被写体を撮像して画像として取り込む撮像ステップと、
前記カメラ部によって撮影された画像から人物の顔部分を認識する顔認識ステップと、
前記認識された顔部分を分析し、少なくとも、人数、男女、顔表情からなる状況情報を取得する状況解析ステップと、
前記撮影された画像の被写体に対し、最終的に得られる画像の時間指定を行う時間選択ステップと、
予め保持されている複数のテンプレート画像の中から、前記取得した状況情報と、前記指定された時間とに応じたテンプレート画像を抽出するテンプレート抽出ステップと、
前記認識された顔部分を、前記抽出されたテンプレート画像の顔部分に合成した合成画像を生成する画像合成ステップと
を含むことを特徴とする画像合成方法である。
【００４９】
（付記７）
被写体を撮像して画像として取り込む撮像手段を備える撮像装置のコンピュータに、
前記カメラ部によって撮影された画像から人物の顔部分を認識する顔認識機能、
前記認識された顔部分を分析し、少なくとも、人数、男女、顔表情からなる状況情報を取得する状況解析機能、
前記撮影された画像の被写体に対し、最終的に得られる画像の時間指定を行う時間選択機能、
予め保持されている複数のテンプレート画像の中から、前記取得した状況情報と、前記指定された時間とに応じたテンプレート画像を抽出するテンプレート抽出機能、
前記認識された顔部分を、前記抽出されたテンプレート画像の顔部分に合成した合成画像を生成する画像合成機能
を実行させることを特徴とするプログラムである。
【００５０】
（付記８）
前記画像合成部は、当該撮像装置の位置情報に基づいて、その場所の画像をネットワークを介してサーバから取得し、該取得した画像を、前記合成画像の背景とすることを特徴とする付記１から３のいずれかに記載の撮像装置。
【符号の説明】
【００５１】
１ カメラ付き携帯端末
２ ＣＰＵ
３ カメラ部
４ 画像保持部
５ テンプレート保持部
６ 顔認識部
７ 顔情報解析部
８ 時間選択部
９ テンプレート抽出部
１０ 画像合成部
１１ 表示部
【技術分野】
【０００１】
本発明は、撮像装置、画像合成方法、及びプログラムに関する。
【背景技術】
【０００２】
特許文献１にあるように、撮影時の時刻、場所情報を画像管理サーバに送り、過去の同じ場所のデータを検索／取得したり、未来の同じ場所の撮影を予約したりする手法が提案されている。
【０００３】
また、特許文献２にあるように、過去の映像及び音声、または、未来の予想される映像、及び音声のデータを記憶するデータサーバを用意し、そのデータサーバより必要となるデータを検索し取得することで、過去、または未来の映像を取得することを可能としているシステムが提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許４３６６６０１号
【特許文献２】特開２００３−０１６４６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、近年、カメラ機能を有する端末は多く存在し、かつ画素数も向上し、高機能化が進んでおり、現実に見える風景などの撮影に係る技術は進歩している。しかしながら、上記特許文献１、２では、あくまで現時点での被写体（例えば人物）を画像として撮影するのみであり、未来や、過去を想定した撮影はできず、撮影のバリエーションに欠け、単なる撮影を超えた撮影を楽しむことができないという問題があった。
【０００６】
そこで本発明は、現在の目に見える被写体の撮影だけではなく、被写体の未来や、過去を想定した画像を撮影することができ、単なる撮影を超えた撮影を楽しむことができる撮像装置、画像合成方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、被写体を撮像して画像として取り込むカメラ部と、
複数のテンプレート画像を保持するテンプレート保持部と、
前記カメラ部によって撮影された画像から人物の顔部分を認識する顔認識部と、
前記顔認識部にて認識された顔部分を分析し、少なくとも、人数、男女、顔表情からなる状況情報を取得する状況解析部と、
前記カメラ部によって撮影された画像の被写体に対し、最終的に得られる画像の時間指定を行う時間選択部と、
前記テンプレート保持部に保持されている複数のテンプレート画像の中から、前記状況解析部にて取得した状況情報と、前記時間選択部により指定された時間とに応じたテンプレート画像を抽出するテンプレート抽出部と、
前記顔認識部にて認識された顔部分を、前記テンプレート抽出部にて抽出されたテンプレート画像の顔部分に合成した合成画像を生成する画像合成部と
を備えることを特徴とする撮像装置である。
【０００８】
本発明の画像合成方法は、被写体を撮像して画像として取り込む撮像ステップと、
前記カメラ部によって撮影された画像から人物の顔部分を認識する顔認識ステップと、
前記認識された顔部分を分析し、少なくとも、人数、男女、顔表情からなる状況情報を取得する状況解析ステップと、
前記撮影された画像の被写体に対し、最終的に得られる画像の時間指定を行う時間選択ステップと、
予め保持されている複数のテンプレート画像の中から、前記取得した状況情報と、前記指定された時間とに応じたテンプレート画像を抽出するテンプレート抽出ステップと、
前記認識された顔部分を、前記抽出されたテンプレート画像の顔部分に合成した合成画像を生成する画像合成ステップと
を含むことを特徴とする画像合成方法である。
【０００９】
本発明のプログラムは、被写体を撮像して画像として取り込む撮像手段を備える撮像装置のコンピュータに、
前記カメラ部によって撮影された画像から人物の顔部分を認識する顔認識機能、
前記認識された顔部分を分析し、少なくとも、人数、男女、顔表情からなる状況情報を取得する状況解析機能、
前記撮影された画像の被写体に対し、最終的に得られる画像の時間指定を行う時間選択機能、
予め保持されている複数のテンプレート画像の中から、前記取得した状況情報と、前記指定された時間とに応じたテンプレート画像を抽出するテンプレート抽出機能、
前記認識された顔部分を、前記抽出されたテンプレート画像の顔部分に合成した合成画像を生成する画像合成機能
を実行させることを特徴とするプログラムである。
【発明の効果】
【００１０】
この発明によれば、現在の目に見える被写体の撮影だけではなく、被写体の未来や、過去を想定した画像を撮影することができ、単なる撮影を超えた撮影を楽しむことができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態による撮影から、画像処理を経て最終画像の表示までの全体の流れ（概要）を示す概念図である。
【図２】本実施形態によるカメラ付き携帯端末の構成を示すブロック図である。
【図３】本実施形態による、テンプレート保持部５に保持されているテンプレートの一般的な保持例を示す概念図である。
【図４】本実施形態による、テンプレート保持部５に保持されているテンプレート画像の具体的なデザイン例を示す概念図である。
【図５】本実施形態によるカメラ付き携帯端末１の動作を説明するためのフローチャートである。
【図６】本実施形態による、テンプレート合成例を示す模式図である。
【図７】付記１の構成図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態を、図面を参照して説明する。
【００１３】
図１は、本発明の実施形態による撮影から、画像処理を経て最終画像の表示までの全体の流れ（概要）を示す概念図である。図１において、カメラ付き端末装置１は、画像を撮影可能な端末であり、顔認識・分析機能を備えている。カメラ付き端末装置１にて、目の前の風景（例えば：男女の子供二人）を撮影し、画像Ａとして取り込む。撮影した画像Ａに対し、顔認識・分析機能により、画像Ａの顔部分を認識し、また、認識した顔部分や、風景などを分析することにより、性別（男女）、人数、顔表情（笑っている、泣いている等）の状況情報を取得する（ステップＳａ１０）。図示の例では、画像Ａにおいて、子供の男女二人が微笑んでいるという情報が取得される。
【００１４】
次に、ユーザによる時間選択により、撮影したい（画像として生成したい）年代情報（未来／過去、何年前／何年後等）の指定を行う（ステップＳａ１２）。図示の例では、２０年後（２０〜３０代）を指定したとする。なお、年代情報は、自動的にランダム等で指定されてもよい。
【００１５】
次に、カメラ付き端末装置１では、予め用意している複数のテンプレート画像から、顔認識・分析機能で取得した性別（男女）、人数、顔表情などの状況情報とユーザによる時間選択で指定された未来／過去の年代情報とに合致するテンプレート画像を抽出する（ステップＳａ１４）。図示の例では、状況情報と年代情報とにより、「男女二人で」、「微笑んでいる」ことから、２０〜３０代の男女の明るい未来の様子を表すテンプレート画像を抽出する。なお、このテンプレート抽出では、候補のテンプレート画像を表示してユーザが選択しても良いし、候補の中からランダムで抽出してもよい。
【００１６】
次に、カメラ付き端末装置１では、顔認識・分析機能で認識された顔部分を、指定された年代に合わせて大人にする／子供にする（年代指定が２０代であれば２０代の顔にする）という修正を行うとともに、抽出されたテンプレート画像の顔部分に対し、その修正された顔部分の画像を合成し、最終的に未来画像Ｂを生成して表示する（ステップＳａ１６）。
【００１７】
図示の例では、画像Ａの男女二人の顔を、２０〜３０代の男女の顔に修正するとともに、明るい未来の様子を表すテンプレート画像（結婚式での男女）の顔部分に、その修正された顔部分の画像を合成して未来画像Ｂを生成して表示する。同様に、時間選択で過去を指定した場合には、過去の年代に合わせて顔を修正し、テンプレート画像に顔部分を合成し、最終的に過去画像（図示略）を生成する。
【００１８】
図２は、本実施形態によるカメラ付き携帯端末の構成を示すブロック図である。図２において、カメラ付き携帯端末１は、ＣＰＵ２、カメラ部３、画像保持部４、テンプレート保持部５、顔認識部６、顔情報解析部７、時間選択部８、テンプレート抽出部９、画像合成部１０、及び表示部１１から構成されている。
【００１９】
ＣＰＵ２は、所定のプログラムを実行することにより、カメラ付き携帯端末の各部の動作を制御する。カメラ部３は、レンズなどの光学系、撮像素子などからなり、被写体を撮像して画像として取り込む。画像保持部４は、カメラ部３で撮影された画像を格納（保持）する。テンプレート保持部５は、明るい、または暗い過去の画像や、明るい、または暗い未来の画像を生成するための複数のテンプレート画像を保持する。
【００２０】
顔認識部６は、撮影された画像から人物の顔部分を認識する。顔情報解析部７は、顔認識部６にて認識された顔部分や、風景などを分析し、人数、男女、顔表情、あるいは天気等の状況情報を取得する。時間選択部８は、撮影された画像の被写体に対し、いつの未来や、過去とするかの時間指定（年代指定）を行う。年代としては、幼少期、小学生期、中学〜高校期、大学生期、２０〜３０代、４０〜５０代、６０代以上が用意されている。テンプレート抽出部９は、テンプレート保持部５に保持されている複数のテンプレート画像の中から、顔情報解析部７にて取得した状況情報と時間選択部８により指定された時間（年代）とに応じたテンプレート画像を抽出する。
【００２１】
画像合成部１０は、顔認識部６にて認識された顔部分を、時間選択部８にて指定された時間（年代）に応じて修正（幼少の顔を２０代にする等）するとともに、その修正された顔部分を、テンプレート抽出部９にて抽出されたテンプレート画像の顔部分に合成することで、未来画像、または過去画像を生成する。表示部１１は、画像合成部１０にて合成された未来画像、または過去画像を表示する。
【００２２】
図３は、本実施形態による、テンプレート保持部５に保持されているテンプレート画像の一般的な保持例を示す概念図である。テンプレート保持部５は、縦に人物の年代（幼少期、小学生期、中学〜高校期、大学生期、２０〜３０代、４０〜５０代、６０代以上）、横に「明るい未来／過去」、「暗い未来／過去」としたマトリックスにて、それぞれテンプレート画像を保持している。
【００２３】
図４は、本実施形態による、テンプレート保持部５に保持されているテンプレート画像の具体的なデザイン例を示す概念図である。便宜上、簡易的に図３に示す例から、「小学生期」、「２０〜３０代」、「４０〜５０代」のみを例として挙げている。例えば、「小学生期」には、「明るい未来／過去」として、「仲良く遊ぶ１」、「仲良く遊ぶ２」のテンプレート画像を保持し、「暗い未来／過去」として、「喧嘩している二人」のテンプレート画像を保持している。
【００２４】
同様にして、「２０〜３０代」には、「明るい未来／過去」として、「スキーで活躍」、「パーティー」、「ラブラブ」、「結婚式」、「二人で引越し」のテンプレート画像を保持し、「暗い未来／過去」として、「失恋」、「別々な二人」のテンプレート画像を保持している。また、「４０〜５０代」には、「明るい未来／過去」として、「いたわる二人」、「ダンスな二人」、「スキーを楽しむ」のテンプレート用の画像データを保持し、「暗い未来／過去」として、「一人寂しく」、「黙々と仕事」のテンプレート画像を保持している。
【００２５】
このように、テンプレート画像とは、それぞれの年代で、明るい未来／過去、または暗い未来／過去という状況を表わす画像データである。テンプレート画像は、テンプレート保持部５に予めメーカが設定したものを登録しておいてもよいし、後からユーザが任意に登録するようにしてもよい。また、テンプレート画像は、年代や、明るい未来／過去、または暗い未来／過去で分類されているが、その中で、一人の状況を表しているものや、二人の状況を表しているもの、様々な性別の組合わせ（男女、男男、女女）のものなどがある。これらは、それぞれのテンプレート画像の属性として画像内に保持されており、テンプレート画像の抽出の際に、状況情報に合うテンプレート画像を抽出できるように参照されるようになっている。
【００２６】
図５は、本実施形態によるカメラ付き携帯端末１の動作を説明するためのフローチャートである。まず、カメラ部３により、目の前の風景を撮影し、画像Ａを取り込み、画像保持部４に保持する（ステップＳｂ１０）。次に、顔認識部６により、上記撮影された画像Ａ中の人物の認識（顔認識）を行い（ステップＳｂ１２）、顔情報解析部７により、上記認識された顔部分を解析し、人数、男女、顔表情、天気等の状況情報を取得する（ステップＳｂ１４）。
【００２７】
次に、時間選択部８により、撮影したい未来や、過去の時間指定（幼少期、小学生期、中学〜高校期、大学生期、２０〜３０代、４０〜５０代、６０代以上などの年代指定）を行う（ステップＳｂ１６）。例えば、表示部１１に幼少期、小学生期、中学〜高校期、大学生期、２０〜３０代、４０〜５０代、６０代以上などメニューを表示するなどしてユーザに指定させる。
【００２８】
次に、ステップＳｂ１４での顔情報解析にて取得した人数、男女、表情等の状況情報と、ステップＳｂ１６での時間指定（年代指定）とに基づいて、テンプレート保持部５に保持されている複数のテンプレート画像の中から、適合するテンプレート画像を抽出する（ステップＳｂ１８）。
【００２９】
ステップＳｂ１８でのテンプレート抽出において、例えば、図３に示すテンプレート画像に対しては、以下（１）、（２）により、マトリックス上のテンプレート候補を確定する。
【００３０】
（１）「明るい未来／過去」、「暗い未来／過去」の選択
ステップＳｂ１４での顔情報解析により、被写体の顔の表情が、「明るい未来／過去」であるか、「暗い未来／過去」であるかを決定する。例えば、被写体の顔の表情が笑っている、あるいは、微笑んでいる場合などには、「明るい未来／過去」を選択し、被写体の顔の表情が笑っていない、怒っている、あるいは、泣いている場合などには、「暗い未来／過去」を選択する。
【００３１】
また、上述したように、顔情報からではなく、撮影した画像の背景などから取得した天気情報を元に、例えば、晴れであれば、「明るい未来／過去」を選択し、曇りや雨であれば、「暗い未来／過去」としても良い。
【００３２】
（２）年代の選択
ステップＳｂ１６での時間選択により、「小学生期」、「２０〜３０代」、「６０代以上」等を決定する。
【００３３】
上記（１）、（２）の組合わせから、図３、または図４に示すマトリックス上の位置を特定し、特定した位置上のテンプレート画像を抽出する。なお、特定した位置上にテンプレート候補が複数ある場合には、ユーザによる選択を可能としてもよいし、ランダム等により自動で選択してもよい。
【００３４】
例えば、図４に示すテンプレート画像の場合には、例えば、ステップＳｂ１４での顔情報解析により、「男女」、「二名」、「微笑んでいる（明るい未来／過去）」という情報が取得され、ステップＳｂ１６での時間選択により「２０〜３０代」が指定された場合には、図４に示す「２０〜３０代」と「明るい未来／過去」とが交差するテンプレート画像中の男女２名のテンプレート画像「パーティー」、「ラブラブ」、「結婚式」、「二人で引越し」が候補として抽出されることになる。これら候補のどれを用いるかは、上述したように、ユーザによって選択してもよいし、ランダム等により自動で選択してもよい。
【００３５】
テンプレート抽出後、画像合成部１０により、撮影した画像Ａから、顔認識部６により認識した顔部分の取得（顔領域の画像の切り取り）を行う（ステップＳｂ２０）。次に、画像合成部１０により、上記切り取った顔部分の画像を、ステップＳｂ１６での時間選択にて指定された時間（年代）に応じて修正（幼少の顔を２０代にする等）するとともに、その修正された顔部分を、ステップＳｂ１８で抽出されたテンプレート画像の顔部分に合成する（ステップＳｂ２２）。そして、合成された画像を表示部１１に表示する（ステップＳｂ２４）。
【００３６】
図６は、本実施形態による、テンプレート合成例を示す模式図である。図６において、まず、目の前の風景を撮影し、画像Ａとして取り込んだ場合、顔認識部６による顔認識により丸枠２０ａ、２０ｂで示す２つの顔部分を認識し、顔情報解析部７による顔情報解析により、子供の男女２名、微笑んでいる、という状況情報を取得する。
【００３７】
次に、ユーザが、時間選択部８により２０〜３０代（の未来画像）を選択（または自動選択）したとすると、テンプレート抽出部９は、上記顔情報解析により取得した、子供の男女２名、微笑んでいるという状況情報に従って、図４に示すテンプレート画像の中から、「明るい未来」で、２０〜３０代のテンプレート画像のうち、例えば、テンプレート画像「結婚式」２１を抽出する。
【００３８】
図６において、第１の合成例での画像Ｂ１は、テンプレート画像「結婚式」２１の丸枠２２ａ、２２ｂで示す顔部分を、実際の風景を撮影した画像Ａから抜き出した丸枠２０ａ、２０ｂで示す顔部分を年代に合わせた修正（２０〜３０代にする修正）を行った上で差し替えて合成した未来画像の例である。この場合、画像Ｂ１の背景などは、テンプレート画像「結婚式」２１の背景をそのまま用いている。
【００３９】
一方、第２の合成例での画像Ｂ２は、画像Ａの実際の風景を背景として残し、人物部分のみをテンプレート画像「結婚式」２１の人物部分に差し替え、かつ、丸枠２２ａ、２２ｂで示す顔部分を、画像Ａから抜き出した丸枠２０ａ、２０ｂで示す顔部分を年代に合わせた修正（２０〜３０代にする修正）を行った上で差し替えて合成した未来画像の例である。なお、該第２の合成例では、画像Ｂ２の背景画像を、撮影時のＧＰＳ（Global
Positioning System）等の場所情報を元に、ご当地の画像などをサーバ等から取得するようにしてもよい。
【００４０】
上述した実施形態によれば、カメラ付き携帯端末において、顔認識・分析技術によりカメラ撮影時の被写体の人数、男女、顔表情、あるいは天気等の状況を判別し、該被写体の人数、男女、顔表情、あるいは天気等の状況に応じ、かつ選択された年代に応じたテンプレート画像を選択的に抽出し、実際の被写体の顔部分を、テンプレート画像の顔部分に合成することで、現在の目に見える被写体を単に撮影するだけでなく、判別した被写体の状況から予想される、過去や、未来のある状況における被写体の未来画像、または過去画像を容易に生成することができる。ゆえに、単なる撮影を超えた撮影を楽しむことができる。
【００４１】
また、本実施形態によれば、実際の被写体の顔部分を、テンプレート画像の顔部分に合成する際に、顔部分を選択された年代に合わせて修正するようにしたので、よりリアリティを得ることができる。
【００４２】
また、本実施形態によれば、実際の被写体の顔部分を、テンプレート画像の顔部分に合成する際に、実際の風景を背景とする合成を行うようにすれば、よりリアリティを得ることができる。
【００４３】
以下、本発明の特徴を付記する。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
図７は、付記１の構成図である。この図に示すように、付記１記載の発明は、
被写体を撮像して画像として取り込むカメラ部５１と、
複数のテンプレート画像を保持するテンプレート保持部５２と、
前記カメラ部５１によって撮影された画像から人物の顔部分を認識する顔認識部５３と、
前記顔認識部５３にて認識された顔部分を分析し、少なくとも、人数、男女、顔表情からなる状況情報を取得する状況解析部５４と、
前記カメラ部５１によって撮影された画像の被写体に対し、最終的に得られる画像の時間指定を行う時間選択部５６と、
前記テンプレート保持部５２に保持されている複数のテンプレート画像の中から、前記状況解析部５４にて取得した状況情報と、前記時間選択部５６により指定された時間とに応じたテンプレート画像を抽出するテンプレート抽出部５７と、
前記顔認識部５３にて認識された顔部分を、前記テンプレート抽出部５７にて抽出されたテンプレート画像の顔部分に合成した合成画像を生成する画像合成部５８と
を備えることを特徴とする撮像装置である。
【００４４】
（付記２）
前記画像合成部は、前記顔認識部にて認識された顔部分を、前記時間選択部にて指定された時間に応じて修正することを特徴とする付記１に記載の撮像装置である。
【００４５】
（付記３）
前記状況解析部は、前記カメラ部によって撮影された画像を分析し、撮影時の天気を表す状況情報を取得することを特徴とする付記１または２に記載の撮像装置である。
【００４６】
（付記４）
前記画像合成部は、前記テンプレート抽出部にて抽出されたテンプレート画像の背景を、前記合成画像の背景とすることを特徴とする付記１から３のいずれかに記載の撮像装置である。
【００４７】
（付記５）
前記画像合成部は、前記カメラ部によって撮影された画像の背景を、前記合成画像の背景とすることを特徴とする付記１から３のいずれかに記載の撮像装置である。
【００４８】
（付記６）
被写体を撮像して画像として取り込む撮像ステップと、
前記カメラ部によって撮影された画像から人物の顔部分を認識する顔認識ステップと、
前記認識された顔部分を分析し、少なくとも、人数、男女、顔表情からなる状況情報を取得する状況解析ステップと、
前記撮影された画像の被写体に対し、最終的に得られる画像の時間指定を行う時間選択ステップと、
予め保持されている複数のテンプレート画像の中から、前記取得した状況情報と、前記指定された時間とに応じたテンプレート画像を抽出するテンプレート抽出ステップと、
前記認識された顔部分を、前記抽出されたテンプレート画像の顔部分に合成した合成画像を生成する画像合成ステップと
を含むことを特徴とする画像合成方法である。
【００４９】
（付記７）
被写体を撮像して画像として取り込む撮像手段を備える撮像装置のコンピュータに、
前記カメラ部によって撮影された画像から人物の顔部分を認識する顔認識機能、
前記認識された顔部分を分析し、少なくとも、人数、男女、顔表情からなる状況情報を取得する状況解析機能、
前記撮影された画像の被写体に対し、最終的に得られる画像の時間指定を行う時間選択機能、
予め保持されている複数のテンプレート画像の中から、前記取得した状況情報と、前記指定された時間とに応じたテンプレート画像を抽出するテンプレート抽出機能、
前記認識された顔部分を、前記抽出されたテンプレート画像の顔部分に合成した合成画像を生成する画像合成機能
を実行させることを特徴とするプログラムである。
【００５０】
（付記８）
前記画像合成部は、当該撮像装置の位置情報に基づいて、その場所の画像をネットワークを介してサーバから取得し、該取得した画像を、前記合成画像の背景とすることを特徴とする付記１から３のいずれかに記載の撮像装置。
【符号の説明】
【００５１】
１ カメラ付き携帯端末
２ ＣＰＵ
３ カメラ部
４ 画像保持部
５ テンプレート保持部
６ 顔認識部
７ 顔情報解析部
８ 時間選択部
９ テンプレート抽出部
１０ 画像合成部
１１ 表示部
【特許請求の範囲】
【請求項１】
被写体を撮像して画像として取り込むカメラ部と、
複数のテンプレート画像を保持するテンプレート保持部と、
前記カメラ部によって撮影された画像から人物の顔部分を認識する顔認識部と、
前記顔認識部にて認識された顔部分を分析し、少なくとも、人数、男女、顔表情からなる状況情報を取得する状況解析部と、
前記カメラ部によって撮影された画像の被写体に対し、最終的に得られる画像の時間指定を行う時間選択部と、
前記テンプレート保持部に保持されている複数のテンプレート画像の中から、前記状況解析部にて取得した状況情報と、前記時間選択部により指定された時間とに応じたテンプレート画像を抽出するテンプレート抽出部と、
前記顔認識部にて認識された顔部分を、前記テンプレート抽出部にて抽出されたテンプレート画像の顔部分に合成した合成画像を生成する画像合成部と
を備えることを特徴とする撮像装置。
【請求項２】
前記画像合成部は、前記顔認識部にて認識された顔部分を、前記時間選択部にて指定された時間に応じて修正することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記状況解析部は、前記カメラ部によって撮影された画像を分析し、撮影時の天気を表す状況情報を取得することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記画像合成部は、前記テンプレート抽出部にて抽出されたテンプレート画像の背景を、前記合成画像の背景とすることを特徴とする請求項１から３のいずれかに記載の撮像装置。
【請求項５】
前記画像合成部は、前記カメラ部によって撮影された画像の背景を、前記合成画像の背景とすることを特徴とする請求項１から３のいずれかに記載の撮像装置。
【請求項６】
被写体を撮像して画像として取り込む撮像ステップと、
前記カメラ部によって撮影された画像から人物の顔部分を認識する顔認識ステップと、
前記認識された顔部分を分析し、少なくとも、人数、男女、顔表情からなる状況情報を取得する状況解析ステップと、
前記撮影された画像の被写体に対し、最終的に得られる画像の時間指定を行う時間選択ステップと、
予め保持されている複数のテンプレート画像の中から、前記取得した状況情報と、前記指定された時間とに応じたテンプレート画像を抽出するテンプレート抽出ステップと、
前記認識された顔部分を、前記抽出されたテンプレート画像の顔部分に合成した合成画像を生成する画像合成ステップと
を含むことを特徴とする画像合成方法。
【請求項７】
被写体を撮像して画像として取り込む撮像手段を備える撮像装置のコンピュータに、
前記カメラ部によって撮影された画像から人物の顔部分を認識する顔認識機能、
前記認識された顔部分を分析し、少なくとも、人数、男女、顔表情からなる状況情報を取得する状況解析機能、
前記撮影された画像の被写体に対し、最終的に得られる画像の時間指定を行う時間選択機能、
予め保持されている複数のテンプレート画像の中から、前記取得した状況情報と、前記指定された時間とに応じたテンプレート画像を抽出するテンプレート抽出機能、
前記認識された顔部分を、前記抽出されたテンプレート画像の顔部分に合成した合成画像を生成する画像合成機能
を実行させることを特徴とするプログラム。
【請求項１】
被写体を撮像して画像として取り込むカメラ部と、
複数のテンプレート画像を保持するテンプレート保持部と、
前記カメラ部によって撮影された画像から人物の顔部分を認識する顔認識部と、
前記顔認識部にて認識された顔部分を分析し、少なくとも、人数、男女、顔表情からなる状況情報を取得する状況解析部と、
前記カメラ部によって撮影された画像の被写体に対し、最終的に得られる画像の時間指定を行う時間選択部と、
前記テンプレート保持部に保持されている複数のテンプレート画像の中から、前記状況解析部にて取得した状況情報と、前記時間選択部により指定された時間とに応じたテンプレート画像を抽出するテンプレート抽出部と、
前記顔認識部にて認識された顔部分を、前記テンプレート抽出部にて抽出されたテンプレート画像の顔部分に合成した合成画像を生成する画像合成部と
を備えることを特徴とする撮像装置。
【請求項２】
前記画像合成部は、前記顔認識部にて認識された顔部分を、前記時間選択部にて指定された時間に応じて修正することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記状況解析部は、前記カメラ部によって撮影された画像を分析し、撮影時の天気を表す状況情報を取得することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記画像合成部は、前記テンプレート抽出部にて抽出されたテンプレート画像の背景を、前記合成画像の背景とすることを特徴とする請求項１から３のいずれかに記載の撮像装置。
【請求項５】
前記画像合成部は、前記カメラ部によって撮影された画像の背景を、前記合成画像の背景とすることを特徴とする請求項１から３のいずれかに記載の撮像装置。
【請求項６】
被写体を撮像して画像として取り込む撮像ステップと、
前記カメラ部によって撮影された画像から人物の顔部分を認識する顔認識ステップと、
前記認識された顔部分を分析し、少なくとも、人数、男女、顔表情からなる状況情報を取得する状況解析ステップと、
前記撮影された画像の被写体に対し、最終的に得られる画像の時間指定を行う時間選択ステップと、
予め保持されている複数のテンプレート画像の中から、前記取得した状況情報と、前記指定された時間とに応じたテンプレート画像を抽出するテンプレート抽出ステップと、
前記認識された顔部分を、前記抽出されたテンプレート画像の顔部分に合成した合成画像を生成する画像合成ステップと
を含むことを特徴とする画像合成方法。
【請求項７】
被写体を撮像して画像として取り込む撮像手段を備える撮像装置のコンピュータに、
前記カメラ部によって撮影された画像から人物の顔部分を認識する顔認識機能、
前記認識された顔部分を分析し、少なくとも、人数、男女、顔表情からなる状況情報を取得する状況解析機能、
前記撮影された画像の被写体に対し、最終的に得られる画像の時間指定を行う時間選択機能、
予め保持されている複数のテンプレート画像の中から、前記取得した状況情報と、前記指定された時間とに応じたテンプレート画像を抽出するテンプレート抽出機能、
前記認識された顔部分を、前記抽出されたテンプレート画像の顔部分に合成した合成画像を生成する画像合成機能
を実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図５】
【図７】
【図４】
【図６】
【図２】
【図３】
【図５】
【図７】
【図４】
【図６】
【公開番号】特開２０１２−２４４２２６（Ｐ２０１２−２４４２２６Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１０９３９５（Ｐ２０１１−１０９３９５）
【出願日】平成２３年５月１６日（２０１１．５．１６）
【出願人】（３１０００６８５５）ＮＥＣカシオモバイルコミュニケーションズ株式会社 (1,081)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月１６日（２０１１．５．１６）
【出願人】（３１０００６８５５）ＮＥＣカシオモバイルコミュニケーションズ株式会社 (1,081)
【Ｆターム（参考）】
[ Back to top ]