画像生成システムおよび画像生成方法
【課題】現在の画像に基づいて被写体の未来の行動を予測し、予測した被写体の未来の行動に関連する画像を生成することができる画像生成システムおよび画像生成方法を提供する。
【解決手段】被写体の撮影を行う撮影部と、撮像部が撮影した画像中の被写体として人物が写っているか否か判断し、被写体として人物が写っている場合には、画像中の人物の領域の画像データを人物画像として抽出する人物抽出部と、撮影したときの撮影場所を表す位置情報を取得する位置情報取得部と、撮影したときの時間を表す時間情報を取得する時間情報取得部と、人物抽出部によって抽出された人物の特徴を表す特徴情報を抽出する画像認識部と、位置情報と時間情報と特徴情報とに基づいて、所定の画像データベースを検索する画像検索部と、人物画像と検索された画像データとを合成した合成画像を生成する画像合成部と、を備える。
【解決手段】被写体の撮影を行う撮影部と、撮像部が撮影した画像中の被写体として人物が写っているか否か判断し、被写体として人物が写っている場合には、画像中の人物の領域の画像データを人物画像として抽出する人物抽出部と、撮影したときの撮影場所を表す位置情報を取得する位置情報取得部と、撮影したときの時間を表す時間情報を取得する時間情報取得部と、人物抽出部によって抽出された人物の特徴を表す特徴情報を抽出する画像認識部と、位置情報と時間情報と特徴情報とに基づいて、所定の画像データベースを検索する画像検索部と、人物画像と検索された画像データとを合成した合成画像を生成する画像合成部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体に関連する情報に基づいた画像を生成する画像生成システムおよび画像生成方法に関する。
【背景技術】
【０００２】
従来、画像を生成するシステムとして、例えば、特許文献１のように、顔画像を作成する顔画像作成装置が提案されている。特許文献１に開示された顔画像作成装置は、年齢を指定すると、その年齢に応じた顔画像を自動的に作成するものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平６−３３３００５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示された顔画像作成装置では、様々な顔のパーツを組み合わせることによって、入力した年齢に応じた未来の顔画像を作成することができる。しかしながら、生成することができる被写体は顔のみであり、例えば、被写体の未来の行動に関連する画像を作成することはできない。このため、より楽しい画像を生成するための画像生成システムの実現に対する余地が残されている。
【０００５】
本発明は、上記の課題認識に基づいてなされたものであり、現在の画像に基づいて被写体の未来の行動を予測し、予測した被写体の未来の行動に関連する画像を生成することができる画像生成システムおよび画像生成方法を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記の課題を解決するため、本発明の画像生成システムは、被写体の撮影を行う撮影部と、前記撮像部が撮影した画像中の被写体として人物が写っているか否か判断し、被写体として人物が写っている場合には、前記画像中の人物の領域の画像データを人物画像として抽出する人物抽出部と、前記撮像部が撮影したときの撮影場所を表す位置情報を取得する位置情報取得部と、前記撮像部が撮影したときの時間を表す時間情報を取得する時間情報取得部と、前記人物抽出部によって抽出された前記人物の特徴を表す特徴情報を抽出する画像認識部と、前記位置情報取得部が取得した前記位置情報と、前記時間情報取得部が取得した前記時間情報と、前記画像認識部が抽出した前記特徴情報とに基づいて、所定の画像データベースを検索する画像検索部と、前記人物画像と、前記画像検索部によって検索された画像データとを合成した合成画像を生成する画像合成部と、を備えることを特徴とする。
【０００７】
また、本発明の前記画像認識部によって抽出される前記特徴情報は、前記撮像部が撮影した被写体である人物の服装および持ち物を表す情報である、ことを特徴とする。
【０００８】
また、本発明の前記位置情報取得部は、前記撮影部が撮影する位置を認識する位置認識センサを具備する、ことを特徴とする。
【０００９】
また、本発明の画像生成システムは、前記画像合成部によって生成された前記合成画像を記録する記録部、を、さらに備える、ことを特徴とする。
【００１０】
また、本発明の画像生成システムは、前記画像合成部によって生成された前記合成画像を表示する表示部、を、さらに備える、ことを特徴とする。
【００１１】
また、本発明の画像生成方法は、撮像部が被写体の撮影を行う撮影ステップと、前記撮像部が撮影した画像中の被写体として人物が写っているか否か判断し、被写体として人物が写っている場合には、前記画像中の人物の領域の画像データを人物画像として抽出する人物抽出ステップと、前記撮像部が撮影したときの撮影場所を表す位置情報を取得する位置情報取得ステップと、前記撮像部が撮影したときの時間を表す時間情報を取得する時間情報取得ステップと、前記人物抽出ステップによって抽出された前記人物の特徴を表す特徴情報を抽出する画像認識ステップと、前記位置情報取得ステップによって取得した前記位置情報と、前記時間情報取得ステップによって取得した前記時間情報と、前記画像認識ステップによって抽出した前記特徴情報とに基づいて、所定の画像データベースを検索する画像検索ステップと、前記人物画像と、前記画像検索ステップによって検索された画像データとを合成した合成画像を生成する画像合成ステップと、を含むことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、現在の画像に基づいて被写体の未来の行動を予測し、予測した被写体の未来の行動に関連する画像を生成することができるという効果が得られる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態における画像生成システムの概略構成を示したブロック図である。
【図２】本実施形態の画像生成システムにおける画像合成処理の手順を示したフローチャートである。
【図３】本実施形態の画像生成システムに備えた関連画像データベースに記憶している画像のデータ構成を説明する図である。
【図４】本実施形態の画像生成システムによる画像合成によって生成される画像の一例を示した図である。
【図５】本実施形態の画像生成システムにおいて被写体の特徴を判断する第１の画像認識処理の手順を示したフローチャートである。
【図６】本実施形態の画像生成システムの第１の画像認識処理によって判断される被写体の状態の一例を示した図である。
【図７】本実施形態の画像生成システムにおいて被写体の特徴を判断する第２の画像認識処理の手順を示したフローチャートである。
【図８】本実施形態の画像生成システムの第２の画像認識処理によって認識される被写体の状態の一例を示した図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について、図面を参照して説明する。図１は、本実施形態における画像生成システムの概略構成を示したブロック図である。図１は、例えば、デジタルスチルカメラなどの撮像装置に、本実施形態の画像生成システムを適用した場合の一例を示している。図１に示した画像生成システム１００は、制御部１と、撮影部２と、画像信号処理部３と、人物判断部４と、人物抽出部５と、位置情報取得部６と、時間情報取得部７と、画像認識部８と、関連画像データベース９と、画像合成部１０と、記録部１１と、出力部１２と、表示部１３とから構成されている。
【００１５】
制御部１は、画像生成システム１００のユーザーによる図示しない操作部の操作に応じて、画像生成システム１００全体の制御を行う。撮影部２は、撮影を行い、撮影した画像信号を画像信号処理部３に出力する。画像信号処理部３は、撮影部２から入力された画像信号に対して、予め定めた画像処理を行い、画像生成システム１００によって処理する元画像を生成する。画像信号処理部３は、生成した元画像を、人物判断部４、画像認識部８、および画像合成部１０に出力する。
【００１６】
人物判断部４は、画像信号処理部３から入力された元画像内に人物が写っているか否かを判断する。そして、画像信号処理部３から入力された元画像に判断結果を付加して人物抽出部５に出力する。
【００１７】
人物抽出部５は、人物判断部４から入力された人物が写っているか否かの判断結果が付加された元画像に、人物が写っていると判断された情報が含まれている場合に、元画像から人物の領域のデータを抽出する。そして、抽出した人物のみの画像データ（以下、「人物画像」という）を、画像認識部８および画像合成部１０に出力する。
【００１８】
画像認識部８は、画像信号処理部３から入力された元画像と、人物抽出部５から入力された人物画像とに基づいて画像認識を行い、人物の特徴（例えば、服装や持ち物）を抽出する。そして、抽出した人物の特徴を表す情報（以下、「人物特徴情報」という）を、関連画像データベース９に出力する。なお、画像認識部８による画像認識に関する詳細な説明は、後述する。
【００１９】
位置情報取得部６は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサを備え、撮影部２が撮影したときの位置情報、すなわち、元画像が撮影された場所の情報を取得する。そして、取得した元画像が撮影された場所の情報（以下、「撮影場所情報」という）を、関連画像データベース９に出力する。
【００２０】
時間情報取得部７は、画像生成システム１００が適用されたデジタルスチルカメラなどの電子機器の時計部などから、撮影部２が撮影したときの時間情報、すなわち、元画像が撮影された時間の情報を取得する。そして、取得した元画像が撮影された時間の情報（以下、「撮影時間情報」という）を、関連画像データベース９に出力する。
【００２１】
関連画像データベース９は、画像データを記憶している。また、関連画像データベース９は、位置情報取得部６から入力された撮影場所情報と、時間情報取得部７から入力された撮影時間情報と、画像認識部８から入力された人物特徴情報とに基づいて、記憶している画像データの検索を行い、元画像に関連する画像データ（以下「関連画像」という）を選択する。関連画像データベース９は、選択した関連画像を、画像合成部１０に出力する。
【００２２】
画像合成部１０は、人物抽出部５から入力された人物画像と、関連画像データベース９から入力された関連画像とに基づいて画像合成処理を行い、合成画像を生成する。画像合成部１０は、生成した合成画像を、記録部１１および出力部１２に出力する。なお、画像合成部１０は、ユーザーの操作に応じた制御部１から合成画像を生成しない指示が入力されている場合には、合成画像を生成せず、画像信号処理部３から入力された元画像を、記録部１１および出力部１２に出力する。
【００２３】
記録部１１は、画像合成部１０から入力された合成画像を、例えば、メモリカードなどの画像記録媒体に記録する。また、記録部１１は、画像記録媒体から読み出した画像を、出力部１２に出力する。出力部１２は、画像合成部１０から入力された合成画像、または記録部１１から入力された画像を、表示部１３に出力する。表示部１３は、例えば、液晶などの表示装置であり、出力部１２から入力された合成画像を表示する。
【００２４】
次に、本実施形態の画像生成システム１００における画像合成処理について説明する。図２は、本実施形態の画像生成システム１００における画像合成処理の手順を示したフローチャートである。なお、画像生成システム１００では、ユーザーによる操作に応じた制御部１が、それぞれの構成要素を制御することによって画像合成処理を行うが、以下の説明においては、説明を容易にするため、ユーザーの操作に応じた制御部１が各構成要素を制御するための制御方法に関する詳細な説明を省略して説明を行う。
【００２５】
まず、ステップＳ２０において、撮影部２が撮影を行い、その後、画像信号処理部３が予め定めた画像処理を行って元画像を生成する。また、位置情報取得部６は、撮影場所情報を取得する。また、時間情報取得部７は、撮影時間情報を取得する。
【００２６】
続いて、ステップＳ２１において、人物判断部４は、元画像内に人物が写っているか否かを判断する。そして、元画像内に人物が写っていると判断した場合、人物判断部４が、元画像に人物が写っていることを表す情報を付加して、ステップＳ２２に進む。また、元画像内に人物が写っていないと判断した場合は、画像合成処理を終了する。
【００２７】
続いて、ステップＳ２２において、人物抽出部５は、元画像から人物画像を抽出する。続いて、ステップＳ２３において、画像認識部８は、元画像と人物画像とに基づいて、人物の特徴を抽出し、人物特徴情報を関連画像データベース９に出力する。
【００２８】
続いて、ステップＳ２４において、関連画像データベース９は、位置情報取得部６が取得した撮影場所情報と、時間情報取得部７が取得した撮影時間情報と、画像認識部８から入力された人物特徴情報とに基づいて、元画像の画像合成処理に最適な関連画像の検索を行う。
【００２９】
続いて、ステップＳ２５において、制御部１は、ユーザーの操作に応じて、検索した関連画像と人物画像との画像合成処理を行うか否かの決定結果を受け付ける。そして、ユーザーによって関連画像と人物画像との画像合成処理を行わない決定結果が指示された場合には、画像合成部１０は、画像信号処理部３から入力された元画像を、画像記録媒体に記録、または表示部１３に表示し、画像合成処理を終了する。
【００３０】
また、ステップＳ２５において、ユーザーによって関連画像と人物画像との画像合成処理を行う決定結果が指示された場合には、ステップＳ２６に進む。そして、ステップＳ２６において、画像合成部１０は、人物抽出部５から入力された人物画像と、関連画像データベース９から入力された関連画像とに基づいて画像合成処理を行い、合成画像を生成する。そして、生成した合成画像を、画像記録媒体に記録、または表示部１３に表示し、画像合成処理を終了する。
【００３１】
次に、本実施形態の画像生成システム１００における関連画像データベース９に記憶している関連画像のデータ構成について説明する。図３は、本実施形態の画像生成システム１００に備えた関連画像データベース９に記憶している関連画像のデータ構成を説明する図である。
【００３２】
関連画像データベース９に記憶されている画像データは、元画像の撮影場所情報および撮影時間情報や、元画像から抽出された人物画像の人物特徴情報から、被写体である人物の未来の行動を予測し、予測した人物の未来の行動に関連する関連画像が選択できるように構成されている。例えば、図３に示したように、関連画像データベース９には、位置（場所）、時間、服装、および持ち物の情報に基づいた多数の画像データが登録されている。
【００３３】
なお、関連画像データベース９は、撮影場所、人物の服装、人物の持ち物が同じ場合であっても、撮影時間が異なる場合には、別の画像を選択する。図３に示した例では、例えば、撮影場所が登山口、服装がズボン、持ち物がバックパックであり、撮影時間が９時であるため、山頂の写真（画像データ）が選択される。しかし、同様に、撮影場所が登山口、服装がズボン、持ち物がバックパックであっても、撮影時間が１２時である場合には、下山している画像、すなわち、撮影時間が９時であるときに選択された山頂とは別の画像データが選択される。
【００３４】
そして、画像合成部１０は、関連画像データベース９によって選択された画像に、人物抽出部５から入力された人物画像を画像合成処理する。ここで、画像合成部１０が画像合成処理する場合の一例について説明する。図４は、本実施形態の画像生成システム１００による画像合成によって生成される画像の一例を示した図である。
【００３５】
元画像が、図４（ａ）に示したような、登山口で午前９時に撮影され、被写体の人物の服装がズボンで、バックパックを持っている場合を想定する。図４（ａ）に示した元画像から、人物判断部４は、人物が写っていると判断し、人物抽出部５によって、図４（ｂ）に示したように人物画像が抽出される。そして、画像認識部８は、図４（ｂ）に示した人物画像に基づいて画像認識を行い、「服装がズボン、持ち物がバックパック」という人物特徴情報を関連画像データベース９に出力する。なお、元画像に人物が２人以上写っている場合には、ユーザーの操作によって注目する人物を選択し、画像認識部８は、選択した人物の服装や持ち物などの人物特徴情報を関連画像データベース９に出力する構成とすることもできる。
【００３６】
また、位置情報取得部６は、「撮影場所が登山口」という撮影場所情報を関連画像データベース９に出力する。また、時間情報取得部７は、「撮影時間が午前９時」という撮影時間情報を関連画像データベース９に出力する。
【００３７】
関連画像データベース９は、位置情報取得部６から入力された撮影場所情報と、時間情報取得部７から入力された撮影時間情報と、画像認識部８から入力された人物特徴情報（服装および持ち物の情報）とに基づいて、図４（ｃ）に示したような山頂の写真（画像データ）を関連画像として選択する。なお、撮影場所情報と、撮影時間情報と、服装および持ち物の４つの情報を用いて、関連画像データベース９が被写体である人物の未来の行動を予測した１枚の関連画像を選択する場合について説明したが、関連画像を選択するための情報が少ない（例えば、上記の４つの情報の内、３つ以下の情報しか得ることができなかった）場合には、複数の関連画像の候補を選択し、ユーザーが画像合成処理に用いる関連画像を選択する構成とすることもできる。このようにすることによって、元画像から得られた情報に基づいて、容易に合成画像を生成することができる。
【００３８】
画像合成部１０は、関連画像データベース９によって選択された山頂の画像データと、人物抽出部５によって抽出された人物画像とを画像合成処理し、図４（ｄ）に示したような合成画像を生成する。なお、関連画像データベース９によって選択された関連画像に、すでに人物が写っている場合には、人物抽出部５によって抽出された人物画像の顔の部分を、関連画像に写っている人物の顔と差し替えた合成画像を生成することもできる。
【００３９】
なお、画像合成部１０による画像合成処理においては、合成する人物画像の大きさや位置を、ユーザーの操作に応じて変更することができる。例えば、図４（ｅ）に示したように、人物画像の大きさを好みの大きさに変更して画像合成することや、図４（ｆ）に示したように、人物画像の位置を好みの位置に移動して画像合成することができる。なお、人物画像の大きさや位置の変更は、例えば、図示しない操作部に備えた十字キーやタッチパネルなどを、ユーザーが操作することによって行うことができる。
【００４０】
次に、本実施形態の画像生成システム１００における人物特徴情報の抽出処理について説明する。画像生成システム１００による人物特徴情報の抽出処理では、画像認識部８が、様々な画像認識を行うことによって、様々な人物特徴情報が抽出される。そして、人物特徴情報を抽出するための画像認識の処理は、それぞれ別々の処理として行われる。例えば、人物の服装を判断する画像認識の処理と、人物の持ち物を認識する画像認識の処理とは、画像認識部８によって、それぞれ別々の処理として行われる。
【００４１】
まず、画像認識部８が被写体である人物の服装を判断する場合の一例について説明する。図５は、本実施形態の画像生成システム１００において被写体の特徴を判断する第１の画像認識処理（服装判断処理）の手順を示したフローチャートである。図６は、本実施形態の画像生成システム１００の第１の画像認識処理（服装判断処理）によって判断される被写体の状態の一例を示した図である。図５に示した画像生成システム１００における服装判断処理の手順の説明においては、図６に示した人物の状態を参照する。
【００４２】
まず、ステップＳ４１において、人物抽出部５は、元画像から人物の輪郭を抽出する。そして、抽出した人物の輪郭の情報を画像認識部８に出力する。
【００４３】
続いて、ステップＳ４２において、画像認識部８は、人物抽出部５から入力された人物の輪郭の情報に基づいて、人物の高さａを設定する。これにより、図６に示した人物の高さａが設定される。
【００４４】
続いて、ステップＳ４３において、画像認識部８は、設定した高さａの上から３／５の位置を、人物の横幅ｘに設定する。これにより、図６に示した人物の横幅ｘが設定される。続いて、ステップＳ４４において、画像認識部８は、設定した高さａの上から４／５の位置を、人物の横幅ｙに設定する。これにより、図６に示した人物の横幅ｙが設定される。
【００４５】
続いて、ステップＳ４５において、画像認識部８は、設定した高さａと横幅ｘとに基づいて、人物が立っている状態であるか、座っている状態であるかを判断する。例えば、ａ−３ｘ＞０である場合、画像認識部８は、人物が立っていると判断し、ａ−３ｘ＞０でない、すなわち、ａ−３ｘ≦０である場合に、人物が座っていると判断する。図６に示した例では、ａ−３ｘ＞０であるため、人物が立っていると判断される。そして、人物が立っていると判断した場合には、ステップＳ４６に進み、人物が座っていると判断した場合には、ステップＳ４９に進む。
【００４６】
続いて、ステップＳ４５において、人物が立っていると判断した場合、ステップＳ４６において、画像認識部８は、設定した横幅ｘと横幅ｙとに基づいて、その人物の服装に、スカート特有の広がりがあるか否かを判断する。例えば、ｙ−ｘ＞０である場合、スカート特有の広がりがあると判断し、ｙ−ｘ＞０でない、すなわち、ｙ−ｘ≦０である場合には、スカート特有の広がりがないと判断する。そして、スカート特有の広がりがあると判断した場合には、ステップＳ４７に進み、スカート特有の広がりがないと判断した場合には、ステップＳ４８に進む。
【００４７】
ステップＳ４６において、スカート特有の広がりがあると判断した場合、画像認識部８は、ステップＳ４７において、人物の「服装がスカート」であるという情報を人物特徴情報に加える。また、ステップＳ４６において、スカート特有の広がりがないと判断した場合、画像認識部８は、ステップＳ４８において、人物の「服装がズボン」であるという情報を人物特徴情報に加え、ステップＳ４９に進む。
【００４８】
ステップＳ４５において人物が座っていると判断した場合、またはステップＳ４８において「服装がズボン」であるという情報を人物特徴情報に加えた後、ステップＳ４９において、画像認識部８は、人物の性別（男性であるか女性であるか）を判断する。ステップＳ４９においては、例えば、人物の顔認識の処理を行い、認識された顔の特徴量に基づいて、人物の性別を判断する。
【００４９】
ステップＳ４９において、人物が女性である（ステップＳ４９において“ＮＯ”である）と判断した場合、画像認識部８は、ステップＳ５０において、人物は「女性」であるという情報を人物特徴情報に加え、被写体の特徴判断の処理を終了する。ステップＳ４９において、人物が男性である（ステップＳ４９において“ＹＥＳ”である）と判断した場合、画像認識部８は、ステップＳ５１において、人物は「男性」であるという情報を人物特徴情報に加ええ、被写体の特徴判断の処理を終了する。図６に示した例では、ステップＳ４６における判断が、ｙ−ｘ＞０であるため、スカート特有の広がりがあると判断される。そして、ステップＳ４７において人物の「服装がスカート」であるという情報が人物特徴情報に加えられ、さらに、ステップＳ５０において人物は「女性」であるという情報が人物特徴情報に加えられる。
【００５０】
図５に示した被写体の特徴判断の処理において、被写体である人物が男性であるか女性であるかを判断した結果は、関連画像データベース９によって選択された関連画像の中に人物が写っている場合に使用される。例えば、関連画像データベース９は、被写体である人物が男性である場合には、男性が写っている関連画像を選択し、被写体である人物が女性である場合には、男性が写っている関連画像を選択する。
【００５１】
次に、画像認識部８が被写体である人物の持ち物を認識する場合の一例について説明する。図７は、本実施形態の画像生成システム１００において被写体の特徴を判断する第２の画像認識処理（持ち物認識処理）の手順を示したフローチャートである。図８は、本実施形態の画像生成システム１００の第２の画像認識処理（持ち物認識処理）によって認識される被写体の状態の一例を示した図である。図７に示した画像生成システム１００における持ち物認識処理の手順の説明においては、図８に示した人物の状態を参照し、人物が背負っているバックパック、および人物が手に持っている持ち物を認識する場合の例を説明する。
【００５２】
まず、ステップＳ６１において、画像認識部８は、人物抽出部５から入力された人物画像に基づいて、人物の向きを検出し、物が正面を向いている場合に、ステップＳ６２に進む。これは、人物が背負っているバックパックの検出は、被写体が正面を向いている場合に行うためである。
【００５３】
続いて、ステップＳ６２において、画像認識部８は、人物の体の前面に、図８に示したような２本のバックパックの線ｂがあるか否かを判断する。そして、バックパックの線ｂがあると判断した場合には、ステップＳ６３に進み、バックパックの線ｂがないと判断した場合には、ステップＳ６４に進む。
【００５４】
続いて、ステップＳ６２において、バックパックの線ｂがあると判断した場合、ステップＳ６３において、画像認識部８は、被写体である人物がバックパックを持っていると判断し、人物の持ち物に「バックパックあり」という情報を人物特徴情報に加える。また、ステップＳ６２において、バックパックの線ｂがないと判断した場合、ステップＳ６４において、画像認識部８は、被写体である人物がバックパックを持っていないと判断し、人物の持ち物に「バックパックなし」という情報を人物特徴情報に加える。
【００５５】
続いて、ステップＳ６５において、画像認識部８は、被写体である人物の持ち物のテンプレートマッチング（照合）の処理を行い、人物の持ち物を検出する。ステップＳ６５におけるテンプレートマッチングの処理では、まず、人物の手の部分を検出し、検出した手に接する部分に、例えば、ラケット、ボール、またはカバンなどのテンプレートに類似する形状があるか否かを検出する。そして、テンプレートに類似する形状がある場合に、人物がテンプレートと同じものを持っていると判断する。
【００５６】
より具体的には、例えば、人の肌色特性に基づいて手の領域の候補を、人物抽出部５から入力された人物画像から抽出し、抽出された手の領域の候補の形状複雑度を算出する。そして、算出した形状複雑度に基づいて、手の領域の候補から手の領域を検出する。そして、検出した手の領域に接する部分の輪郭（以下、「持ち物輪郭」という）を抽出し、抽出した持ち物輪郭にテンプレートに類似する形状が含まれているか否かを比較する。なお、持ち物輪郭とテンプレートとの比較を行う際には、例えば、テンプレートの大きさと同じ大きさになるように、持ち物輪郭を拡大処理または縮小処理を行って、一致率を算出する。そして、例えば、持ち物輪郭とテンプレートとの一致率が７０％以上である場合に、その持ち物輪郭のものは、テンプレートと同じものであると判断する。なお、この一致率は、ユーザーによって設定可能な構成とすることもできる。
【００５７】
続いて、ステップＳ６５において、テンプレートと同じものを被写体である人物が持っていると判断した場合、ステップＳ６６において、画像認識部８は、一致したテンプレートの情報に基づいて、人物の持ち物が何であるかを表す情報を人物特徴情報に加え、被写体の特徴判断の処理（持ち物認識処理）を終了する。
【００５８】
このように、画像認識部８が、様々な画像認識を行うことによって、様々な人物特徴情報を抽出することができる。そして、抽出した人物特徴情報に基づいて関連画像データベース９が関連画像を検出することによって、より現実味がある画像合成処理に最適な関連画像を容易に検索することができる。
【００５９】
上記に述べたとおり、本発明を実施するための形態によれば、撮影した元画像に基づいて被写体である人物の未来の行動を予測し、予測した人物の未来の行動に関連する関連画像を容易に検索することができる。そして、検索した関連画像と、元画像に含まれる人物の画像とを画像合成処理した合成画像を生成することができる。これにより、被写体である人物の未来の行動に関連した画像を楽しむことができる。
【００６０】
また、本発明を実施するための形態によれば、生成した合成画像を表示部に表示することにより、すぐに確認することができる。これにより、現在の画像のみではなく、合成画像をすぐに楽しむことができる。
【００６１】
なお、本実施形態においては、関連画像を検出するための人物特徴情報として、服装や持ち物の情報を抽出する場合の例について説明したが、人物特徴情報として抽出する情報は、本実施形態に限定されるものではなく、関連画像データベース９に記憶している画像を検索するために用いられる情報であれば、どのような情報でもよく、その情報を抽出するための方法も本実施形態に限定されるものではない。
【００６２】
また、本実施形態においては、画像生成システムをデジタルスチルカメラなどの撮像装置に適用した場合について説明したが、画像生成システムを適用するシステムは、本実施形態に限定されるものではなく、どのようなシステムも適用することができる。また、画像生成システムのみを単独で構成し、すでに用意してある元画像に含まれる被写体と、関連画像とを合成した合成画像を生成する構成とすることもできる。
【００６３】
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
【符号の説明】
【００６４】
１００・・・画像生成システム
１・・・制御部（画像生成システム）
２・・・撮影部
３・・・画像信号処理部（撮影部）
４・・・人物判断部（人物抽出部）
５・・・人物抽出部（人物抽出部）
６・・・位置情報取得部
７・・・時間情報取得部
８・・・画像認識部
９・・・関連画像データベース（画像検索部）
１０・・・画像合成部
１１・・・記録部
１２・・・出力部（表示部）
１３・・・表示部（表示部）
【技術分野】
【０００１】
本発明は、被写体に関連する情報に基づいた画像を生成する画像生成システムおよび画像生成方法に関する。
【背景技術】
【０００２】
従来、画像を生成するシステムとして、例えば、特許文献１のように、顔画像を作成する顔画像作成装置が提案されている。特許文献１に開示された顔画像作成装置は、年齢を指定すると、その年齢に応じた顔画像を自動的に作成するものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平６−３３３００５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示された顔画像作成装置では、様々な顔のパーツを組み合わせることによって、入力した年齢に応じた未来の顔画像を作成することができる。しかしながら、生成することができる被写体は顔のみであり、例えば、被写体の未来の行動に関連する画像を作成することはできない。このため、より楽しい画像を生成するための画像生成システムの実現に対する余地が残されている。
【０００５】
本発明は、上記の課題認識に基づいてなされたものであり、現在の画像に基づいて被写体の未来の行動を予測し、予測した被写体の未来の行動に関連する画像を生成することができる画像生成システムおよび画像生成方法を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記の課題を解決するため、本発明の画像生成システムは、被写体の撮影を行う撮影部と、前記撮像部が撮影した画像中の被写体として人物が写っているか否か判断し、被写体として人物が写っている場合には、前記画像中の人物の領域の画像データを人物画像として抽出する人物抽出部と、前記撮像部が撮影したときの撮影場所を表す位置情報を取得する位置情報取得部と、前記撮像部が撮影したときの時間を表す時間情報を取得する時間情報取得部と、前記人物抽出部によって抽出された前記人物の特徴を表す特徴情報を抽出する画像認識部と、前記位置情報取得部が取得した前記位置情報と、前記時間情報取得部が取得した前記時間情報と、前記画像認識部が抽出した前記特徴情報とに基づいて、所定の画像データベースを検索する画像検索部と、前記人物画像と、前記画像検索部によって検索された画像データとを合成した合成画像を生成する画像合成部と、を備えることを特徴とする。
【０００７】
また、本発明の前記画像認識部によって抽出される前記特徴情報は、前記撮像部が撮影した被写体である人物の服装および持ち物を表す情報である、ことを特徴とする。
【０００８】
また、本発明の前記位置情報取得部は、前記撮影部が撮影する位置を認識する位置認識センサを具備する、ことを特徴とする。
【０００９】
また、本発明の画像生成システムは、前記画像合成部によって生成された前記合成画像を記録する記録部、を、さらに備える、ことを特徴とする。
【００１０】
また、本発明の画像生成システムは、前記画像合成部によって生成された前記合成画像を表示する表示部、を、さらに備える、ことを特徴とする。
【００１１】
また、本発明の画像生成方法は、撮像部が被写体の撮影を行う撮影ステップと、前記撮像部が撮影した画像中の被写体として人物が写っているか否か判断し、被写体として人物が写っている場合には、前記画像中の人物の領域の画像データを人物画像として抽出する人物抽出ステップと、前記撮像部が撮影したときの撮影場所を表す位置情報を取得する位置情報取得ステップと、前記撮像部が撮影したときの時間を表す時間情報を取得する時間情報取得ステップと、前記人物抽出ステップによって抽出された前記人物の特徴を表す特徴情報を抽出する画像認識ステップと、前記位置情報取得ステップによって取得した前記位置情報と、前記時間情報取得ステップによって取得した前記時間情報と、前記画像認識ステップによって抽出した前記特徴情報とに基づいて、所定の画像データベースを検索する画像検索ステップと、前記人物画像と、前記画像検索ステップによって検索された画像データとを合成した合成画像を生成する画像合成ステップと、を含むことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、現在の画像に基づいて被写体の未来の行動を予測し、予測した被写体の未来の行動に関連する画像を生成することができるという効果が得られる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態における画像生成システムの概略構成を示したブロック図である。
【図２】本実施形態の画像生成システムにおける画像合成処理の手順を示したフローチャートである。
【図３】本実施形態の画像生成システムに備えた関連画像データベースに記憶している画像のデータ構成を説明する図である。
【図４】本実施形態の画像生成システムによる画像合成によって生成される画像の一例を示した図である。
【図５】本実施形態の画像生成システムにおいて被写体の特徴を判断する第１の画像認識処理の手順を示したフローチャートである。
【図６】本実施形態の画像生成システムの第１の画像認識処理によって判断される被写体の状態の一例を示した図である。
【図７】本実施形態の画像生成システムにおいて被写体の特徴を判断する第２の画像認識処理の手順を示したフローチャートである。
【図８】本実施形態の画像生成システムの第２の画像認識処理によって認識される被写体の状態の一例を示した図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について、図面を参照して説明する。図１は、本実施形態における画像生成システムの概略構成を示したブロック図である。図１は、例えば、デジタルスチルカメラなどの撮像装置に、本実施形態の画像生成システムを適用した場合の一例を示している。図１に示した画像生成システム１００は、制御部１と、撮影部２と、画像信号処理部３と、人物判断部４と、人物抽出部５と、位置情報取得部６と、時間情報取得部７と、画像認識部８と、関連画像データベース９と、画像合成部１０と、記録部１１と、出力部１２と、表示部１３とから構成されている。
【００１５】
制御部１は、画像生成システム１００のユーザーによる図示しない操作部の操作に応じて、画像生成システム１００全体の制御を行う。撮影部２は、撮影を行い、撮影した画像信号を画像信号処理部３に出力する。画像信号処理部３は、撮影部２から入力された画像信号に対して、予め定めた画像処理を行い、画像生成システム１００によって処理する元画像を生成する。画像信号処理部３は、生成した元画像を、人物判断部４、画像認識部８、および画像合成部１０に出力する。
【００１６】
人物判断部４は、画像信号処理部３から入力された元画像内に人物が写っているか否かを判断する。そして、画像信号処理部３から入力された元画像に判断結果を付加して人物抽出部５に出力する。
【００１７】
人物抽出部５は、人物判断部４から入力された人物が写っているか否かの判断結果が付加された元画像に、人物が写っていると判断された情報が含まれている場合に、元画像から人物の領域のデータを抽出する。そして、抽出した人物のみの画像データ（以下、「人物画像」という）を、画像認識部８および画像合成部１０に出力する。
【００１８】
画像認識部８は、画像信号処理部３から入力された元画像と、人物抽出部５から入力された人物画像とに基づいて画像認識を行い、人物の特徴（例えば、服装や持ち物）を抽出する。そして、抽出した人物の特徴を表す情報（以下、「人物特徴情報」という）を、関連画像データベース９に出力する。なお、画像認識部８による画像認識に関する詳細な説明は、後述する。
【００１９】
位置情報取得部６は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサを備え、撮影部２が撮影したときの位置情報、すなわち、元画像が撮影された場所の情報を取得する。そして、取得した元画像が撮影された場所の情報（以下、「撮影場所情報」という）を、関連画像データベース９に出力する。
【００２０】
時間情報取得部７は、画像生成システム１００が適用されたデジタルスチルカメラなどの電子機器の時計部などから、撮影部２が撮影したときの時間情報、すなわち、元画像が撮影された時間の情報を取得する。そして、取得した元画像が撮影された時間の情報（以下、「撮影時間情報」という）を、関連画像データベース９に出力する。
【００２１】
関連画像データベース９は、画像データを記憶している。また、関連画像データベース９は、位置情報取得部６から入力された撮影場所情報と、時間情報取得部７から入力された撮影時間情報と、画像認識部８から入力された人物特徴情報とに基づいて、記憶している画像データの検索を行い、元画像に関連する画像データ（以下「関連画像」という）を選択する。関連画像データベース９は、選択した関連画像を、画像合成部１０に出力する。
【００２２】
画像合成部１０は、人物抽出部５から入力された人物画像と、関連画像データベース９から入力された関連画像とに基づいて画像合成処理を行い、合成画像を生成する。画像合成部１０は、生成した合成画像を、記録部１１および出力部１２に出力する。なお、画像合成部１０は、ユーザーの操作に応じた制御部１から合成画像を生成しない指示が入力されている場合には、合成画像を生成せず、画像信号処理部３から入力された元画像を、記録部１１および出力部１２に出力する。
【００２３】
記録部１１は、画像合成部１０から入力された合成画像を、例えば、メモリカードなどの画像記録媒体に記録する。また、記録部１１は、画像記録媒体から読み出した画像を、出力部１２に出力する。出力部１２は、画像合成部１０から入力された合成画像、または記録部１１から入力された画像を、表示部１３に出力する。表示部１３は、例えば、液晶などの表示装置であり、出力部１２から入力された合成画像を表示する。
【００２４】
次に、本実施形態の画像生成システム１００における画像合成処理について説明する。図２は、本実施形態の画像生成システム１００における画像合成処理の手順を示したフローチャートである。なお、画像生成システム１００では、ユーザーによる操作に応じた制御部１が、それぞれの構成要素を制御することによって画像合成処理を行うが、以下の説明においては、説明を容易にするため、ユーザーの操作に応じた制御部１が各構成要素を制御するための制御方法に関する詳細な説明を省略して説明を行う。
【００２５】
まず、ステップＳ２０において、撮影部２が撮影を行い、その後、画像信号処理部３が予め定めた画像処理を行って元画像を生成する。また、位置情報取得部６は、撮影場所情報を取得する。また、時間情報取得部７は、撮影時間情報を取得する。
【００２６】
続いて、ステップＳ２１において、人物判断部４は、元画像内に人物が写っているか否かを判断する。そして、元画像内に人物が写っていると判断した場合、人物判断部４が、元画像に人物が写っていることを表す情報を付加して、ステップＳ２２に進む。また、元画像内に人物が写っていないと判断した場合は、画像合成処理を終了する。
【００２７】
続いて、ステップＳ２２において、人物抽出部５は、元画像から人物画像を抽出する。続いて、ステップＳ２３において、画像認識部８は、元画像と人物画像とに基づいて、人物の特徴を抽出し、人物特徴情報を関連画像データベース９に出力する。
【００２８】
続いて、ステップＳ２４において、関連画像データベース９は、位置情報取得部６が取得した撮影場所情報と、時間情報取得部７が取得した撮影時間情報と、画像認識部８から入力された人物特徴情報とに基づいて、元画像の画像合成処理に最適な関連画像の検索を行う。
【００２９】
続いて、ステップＳ２５において、制御部１は、ユーザーの操作に応じて、検索した関連画像と人物画像との画像合成処理を行うか否かの決定結果を受け付ける。そして、ユーザーによって関連画像と人物画像との画像合成処理を行わない決定結果が指示された場合には、画像合成部１０は、画像信号処理部３から入力された元画像を、画像記録媒体に記録、または表示部１３に表示し、画像合成処理を終了する。
【００３０】
また、ステップＳ２５において、ユーザーによって関連画像と人物画像との画像合成処理を行う決定結果が指示された場合には、ステップＳ２６に進む。そして、ステップＳ２６において、画像合成部１０は、人物抽出部５から入力された人物画像と、関連画像データベース９から入力された関連画像とに基づいて画像合成処理を行い、合成画像を生成する。そして、生成した合成画像を、画像記録媒体に記録、または表示部１３に表示し、画像合成処理を終了する。
【００３１】
次に、本実施形態の画像生成システム１００における関連画像データベース９に記憶している関連画像のデータ構成について説明する。図３は、本実施形態の画像生成システム１００に備えた関連画像データベース９に記憶している関連画像のデータ構成を説明する図である。
【００３２】
関連画像データベース９に記憶されている画像データは、元画像の撮影場所情報および撮影時間情報や、元画像から抽出された人物画像の人物特徴情報から、被写体である人物の未来の行動を予測し、予測した人物の未来の行動に関連する関連画像が選択できるように構成されている。例えば、図３に示したように、関連画像データベース９には、位置（場所）、時間、服装、および持ち物の情報に基づいた多数の画像データが登録されている。
【００３３】
なお、関連画像データベース９は、撮影場所、人物の服装、人物の持ち物が同じ場合であっても、撮影時間が異なる場合には、別の画像を選択する。図３に示した例では、例えば、撮影場所が登山口、服装がズボン、持ち物がバックパックであり、撮影時間が９時であるため、山頂の写真（画像データ）が選択される。しかし、同様に、撮影場所が登山口、服装がズボン、持ち物がバックパックであっても、撮影時間が１２時である場合には、下山している画像、すなわち、撮影時間が９時であるときに選択された山頂とは別の画像データが選択される。
【００３４】
そして、画像合成部１０は、関連画像データベース９によって選択された画像に、人物抽出部５から入力された人物画像を画像合成処理する。ここで、画像合成部１０が画像合成処理する場合の一例について説明する。図４は、本実施形態の画像生成システム１００による画像合成によって生成される画像の一例を示した図である。
【００３５】
元画像が、図４（ａ）に示したような、登山口で午前９時に撮影され、被写体の人物の服装がズボンで、バックパックを持っている場合を想定する。図４（ａ）に示した元画像から、人物判断部４は、人物が写っていると判断し、人物抽出部５によって、図４（ｂ）に示したように人物画像が抽出される。そして、画像認識部８は、図４（ｂ）に示した人物画像に基づいて画像認識を行い、「服装がズボン、持ち物がバックパック」という人物特徴情報を関連画像データベース９に出力する。なお、元画像に人物が２人以上写っている場合には、ユーザーの操作によって注目する人物を選択し、画像認識部８は、選択した人物の服装や持ち物などの人物特徴情報を関連画像データベース９に出力する構成とすることもできる。
【００３６】
また、位置情報取得部６は、「撮影場所が登山口」という撮影場所情報を関連画像データベース９に出力する。また、時間情報取得部７は、「撮影時間が午前９時」という撮影時間情報を関連画像データベース９に出力する。
【００３７】
関連画像データベース９は、位置情報取得部６から入力された撮影場所情報と、時間情報取得部７から入力された撮影時間情報と、画像認識部８から入力された人物特徴情報（服装および持ち物の情報）とに基づいて、図４（ｃ）に示したような山頂の写真（画像データ）を関連画像として選択する。なお、撮影場所情報と、撮影時間情報と、服装および持ち物の４つの情報を用いて、関連画像データベース９が被写体である人物の未来の行動を予測した１枚の関連画像を選択する場合について説明したが、関連画像を選択するための情報が少ない（例えば、上記の４つの情報の内、３つ以下の情報しか得ることができなかった）場合には、複数の関連画像の候補を選択し、ユーザーが画像合成処理に用いる関連画像を選択する構成とすることもできる。このようにすることによって、元画像から得られた情報に基づいて、容易に合成画像を生成することができる。
【００３８】
画像合成部１０は、関連画像データベース９によって選択された山頂の画像データと、人物抽出部５によって抽出された人物画像とを画像合成処理し、図４（ｄ）に示したような合成画像を生成する。なお、関連画像データベース９によって選択された関連画像に、すでに人物が写っている場合には、人物抽出部５によって抽出された人物画像の顔の部分を、関連画像に写っている人物の顔と差し替えた合成画像を生成することもできる。
【００３９】
なお、画像合成部１０による画像合成処理においては、合成する人物画像の大きさや位置を、ユーザーの操作に応じて変更することができる。例えば、図４（ｅ）に示したように、人物画像の大きさを好みの大きさに変更して画像合成することや、図４（ｆ）に示したように、人物画像の位置を好みの位置に移動して画像合成することができる。なお、人物画像の大きさや位置の変更は、例えば、図示しない操作部に備えた十字キーやタッチパネルなどを、ユーザーが操作することによって行うことができる。
【００４０】
次に、本実施形態の画像生成システム１００における人物特徴情報の抽出処理について説明する。画像生成システム１００による人物特徴情報の抽出処理では、画像認識部８が、様々な画像認識を行うことによって、様々な人物特徴情報が抽出される。そして、人物特徴情報を抽出するための画像認識の処理は、それぞれ別々の処理として行われる。例えば、人物の服装を判断する画像認識の処理と、人物の持ち物を認識する画像認識の処理とは、画像認識部８によって、それぞれ別々の処理として行われる。
【００４１】
まず、画像認識部８が被写体である人物の服装を判断する場合の一例について説明する。図５は、本実施形態の画像生成システム１００において被写体の特徴を判断する第１の画像認識処理（服装判断処理）の手順を示したフローチャートである。図６は、本実施形態の画像生成システム１００の第１の画像認識処理（服装判断処理）によって判断される被写体の状態の一例を示した図である。図５に示した画像生成システム１００における服装判断処理の手順の説明においては、図６に示した人物の状態を参照する。
【００４２】
まず、ステップＳ４１において、人物抽出部５は、元画像から人物の輪郭を抽出する。そして、抽出した人物の輪郭の情報を画像認識部８に出力する。
【００４３】
続いて、ステップＳ４２において、画像認識部８は、人物抽出部５から入力された人物の輪郭の情報に基づいて、人物の高さａを設定する。これにより、図６に示した人物の高さａが設定される。
【００４４】
続いて、ステップＳ４３において、画像認識部８は、設定した高さａの上から３／５の位置を、人物の横幅ｘに設定する。これにより、図６に示した人物の横幅ｘが設定される。続いて、ステップＳ４４において、画像認識部８は、設定した高さａの上から４／５の位置を、人物の横幅ｙに設定する。これにより、図６に示した人物の横幅ｙが設定される。
【００４５】
続いて、ステップＳ４５において、画像認識部８は、設定した高さａと横幅ｘとに基づいて、人物が立っている状態であるか、座っている状態であるかを判断する。例えば、ａ−３ｘ＞０である場合、画像認識部８は、人物が立っていると判断し、ａ−３ｘ＞０でない、すなわち、ａ−３ｘ≦０である場合に、人物が座っていると判断する。図６に示した例では、ａ−３ｘ＞０であるため、人物が立っていると判断される。そして、人物が立っていると判断した場合には、ステップＳ４６に進み、人物が座っていると判断した場合には、ステップＳ４９に進む。
【００４６】
続いて、ステップＳ４５において、人物が立っていると判断した場合、ステップＳ４６において、画像認識部８は、設定した横幅ｘと横幅ｙとに基づいて、その人物の服装に、スカート特有の広がりがあるか否かを判断する。例えば、ｙ−ｘ＞０である場合、スカート特有の広がりがあると判断し、ｙ−ｘ＞０でない、すなわち、ｙ−ｘ≦０である場合には、スカート特有の広がりがないと判断する。そして、スカート特有の広がりがあると判断した場合には、ステップＳ４７に進み、スカート特有の広がりがないと判断した場合には、ステップＳ４８に進む。
【００４７】
ステップＳ４６において、スカート特有の広がりがあると判断した場合、画像認識部８は、ステップＳ４７において、人物の「服装がスカート」であるという情報を人物特徴情報に加える。また、ステップＳ４６において、スカート特有の広がりがないと判断した場合、画像認識部８は、ステップＳ４８において、人物の「服装がズボン」であるという情報を人物特徴情報に加え、ステップＳ４９に進む。
【００４８】
ステップＳ４５において人物が座っていると判断した場合、またはステップＳ４８において「服装がズボン」であるという情報を人物特徴情報に加えた後、ステップＳ４９において、画像認識部８は、人物の性別（男性であるか女性であるか）を判断する。ステップＳ４９においては、例えば、人物の顔認識の処理を行い、認識された顔の特徴量に基づいて、人物の性別を判断する。
【００４９】
ステップＳ４９において、人物が女性である（ステップＳ４９において“ＮＯ”である）と判断した場合、画像認識部８は、ステップＳ５０において、人物は「女性」であるという情報を人物特徴情報に加え、被写体の特徴判断の処理を終了する。ステップＳ４９において、人物が男性である（ステップＳ４９において“ＹＥＳ”である）と判断した場合、画像認識部８は、ステップＳ５１において、人物は「男性」であるという情報を人物特徴情報に加ええ、被写体の特徴判断の処理を終了する。図６に示した例では、ステップＳ４６における判断が、ｙ−ｘ＞０であるため、スカート特有の広がりがあると判断される。そして、ステップＳ４７において人物の「服装がスカート」であるという情報が人物特徴情報に加えられ、さらに、ステップＳ５０において人物は「女性」であるという情報が人物特徴情報に加えられる。
【００５０】
図５に示した被写体の特徴判断の処理において、被写体である人物が男性であるか女性であるかを判断した結果は、関連画像データベース９によって選択された関連画像の中に人物が写っている場合に使用される。例えば、関連画像データベース９は、被写体である人物が男性である場合には、男性が写っている関連画像を選択し、被写体である人物が女性である場合には、男性が写っている関連画像を選択する。
【００５１】
次に、画像認識部８が被写体である人物の持ち物を認識する場合の一例について説明する。図７は、本実施形態の画像生成システム１００において被写体の特徴を判断する第２の画像認識処理（持ち物認識処理）の手順を示したフローチャートである。図８は、本実施形態の画像生成システム１００の第２の画像認識処理（持ち物認識処理）によって認識される被写体の状態の一例を示した図である。図７に示した画像生成システム１００における持ち物認識処理の手順の説明においては、図８に示した人物の状態を参照し、人物が背負っているバックパック、および人物が手に持っている持ち物を認識する場合の例を説明する。
【００５２】
まず、ステップＳ６１において、画像認識部８は、人物抽出部５から入力された人物画像に基づいて、人物の向きを検出し、物が正面を向いている場合に、ステップＳ６２に進む。これは、人物が背負っているバックパックの検出は、被写体が正面を向いている場合に行うためである。
【００５３】
続いて、ステップＳ６２において、画像認識部８は、人物の体の前面に、図８に示したような２本のバックパックの線ｂがあるか否かを判断する。そして、バックパックの線ｂがあると判断した場合には、ステップＳ６３に進み、バックパックの線ｂがないと判断した場合には、ステップＳ６４に進む。
【００５４】
続いて、ステップＳ６２において、バックパックの線ｂがあると判断した場合、ステップＳ６３において、画像認識部８は、被写体である人物がバックパックを持っていると判断し、人物の持ち物に「バックパックあり」という情報を人物特徴情報に加える。また、ステップＳ６２において、バックパックの線ｂがないと判断した場合、ステップＳ６４において、画像認識部８は、被写体である人物がバックパックを持っていないと判断し、人物の持ち物に「バックパックなし」という情報を人物特徴情報に加える。
【００５５】
続いて、ステップＳ６５において、画像認識部８は、被写体である人物の持ち物のテンプレートマッチング（照合）の処理を行い、人物の持ち物を検出する。ステップＳ６５におけるテンプレートマッチングの処理では、まず、人物の手の部分を検出し、検出した手に接する部分に、例えば、ラケット、ボール、またはカバンなどのテンプレートに類似する形状があるか否かを検出する。そして、テンプレートに類似する形状がある場合に、人物がテンプレートと同じものを持っていると判断する。
【００５６】
より具体的には、例えば、人の肌色特性に基づいて手の領域の候補を、人物抽出部５から入力された人物画像から抽出し、抽出された手の領域の候補の形状複雑度を算出する。そして、算出した形状複雑度に基づいて、手の領域の候補から手の領域を検出する。そして、検出した手の領域に接する部分の輪郭（以下、「持ち物輪郭」という）を抽出し、抽出した持ち物輪郭にテンプレートに類似する形状が含まれているか否かを比較する。なお、持ち物輪郭とテンプレートとの比較を行う際には、例えば、テンプレートの大きさと同じ大きさになるように、持ち物輪郭を拡大処理または縮小処理を行って、一致率を算出する。そして、例えば、持ち物輪郭とテンプレートとの一致率が７０％以上である場合に、その持ち物輪郭のものは、テンプレートと同じものであると判断する。なお、この一致率は、ユーザーによって設定可能な構成とすることもできる。
【００５７】
続いて、ステップＳ６５において、テンプレートと同じものを被写体である人物が持っていると判断した場合、ステップＳ６６において、画像認識部８は、一致したテンプレートの情報に基づいて、人物の持ち物が何であるかを表す情報を人物特徴情報に加え、被写体の特徴判断の処理（持ち物認識処理）を終了する。
【００５８】
このように、画像認識部８が、様々な画像認識を行うことによって、様々な人物特徴情報を抽出することができる。そして、抽出した人物特徴情報に基づいて関連画像データベース９が関連画像を検出することによって、より現実味がある画像合成処理に最適な関連画像を容易に検索することができる。
【００５９】
上記に述べたとおり、本発明を実施するための形態によれば、撮影した元画像に基づいて被写体である人物の未来の行動を予測し、予測した人物の未来の行動に関連する関連画像を容易に検索することができる。そして、検索した関連画像と、元画像に含まれる人物の画像とを画像合成処理した合成画像を生成することができる。これにより、被写体である人物の未来の行動に関連した画像を楽しむことができる。
【００６０】
また、本発明を実施するための形態によれば、生成した合成画像を表示部に表示することにより、すぐに確認することができる。これにより、現在の画像のみではなく、合成画像をすぐに楽しむことができる。
【００６１】
なお、本実施形態においては、関連画像を検出するための人物特徴情報として、服装や持ち物の情報を抽出する場合の例について説明したが、人物特徴情報として抽出する情報は、本実施形態に限定されるものではなく、関連画像データベース９に記憶している画像を検索するために用いられる情報であれば、どのような情報でもよく、その情報を抽出するための方法も本実施形態に限定されるものではない。
【００６２】
また、本実施形態においては、画像生成システムをデジタルスチルカメラなどの撮像装置に適用した場合について説明したが、画像生成システムを適用するシステムは、本実施形態に限定されるものではなく、どのようなシステムも適用することができる。また、画像生成システムのみを単独で構成し、すでに用意してある元画像に含まれる被写体と、関連画像とを合成した合成画像を生成する構成とすることもできる。
【００６３】
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
【符号の説明】
【００６４】
１００・・・画像生成システム
１・・・制御部（画像生成システム）
２・・・撮影部
３・・・画像信号処理部（撮影部）
４・・・人物判断部（人物抽出部）
５・・・人物抽出部（人物抽出部）
６・・・位置情報取得部
７・・・時間情報取得部
８・・・画像認識部
９・・・関連画像データベース（画像検索部）
１０・・・画像合成部
１１・・・記録部
１２・・・出力部（表示部）
１３・・・表示部（表示部）
【特許請求の範囲】
【請求項１】
被写体の撮影を行う撮影部と、
前記撮像部が撮影した画像中の被写体として人物が写っているか否か判断し、被写体として人物が写っている場合には、前記画像中の人物の領域の画像データを人物画像として抽出する人物抽出部と、
前記撮像部が撮影したときの撮影場所を表す位置情報を取得する位置情報取得部と、
前記撮像部が撮影したときの時間を表す時間情報を取得する時間情報取得部と、
前記人物抽出部によって抽出された前記人物の特徴を表す特徴情報を抽出する画像認識部と、
前記位置情報取得部が取得した前記位置情報と、前記時間情報取得部が取得した前記時間情報と、前記画像認識部が抽出した前記特徴情報とに基づいて、所定の画像データベースを検索する画像検索部と、
前記人物画像と、前記画像検索部によって検索された画像データとを合成した合成画像を生成する画像合成部と、
を備えることを特徴とする画像生成システム。
【請求項２】
前記画像認識部によって抽出される前記特徴情報は、
前記撮像部が撮影した被写体である人物の服装および持ち物を表す情報である、
ことを特徴とする請求項１に記載の画像生成システム。
【請求項３】
前記位置情報取得部は、
前記撮影部が撮影する位置を認識する位置認識センサを具備する、
ことを特徴とする請求項２に記載の画像生成システム。
【請求項４】
前記画像合成部によって生成された前記合成画像を記録する記録部、
を、さらに備える、
ことを特徴とする請求項３に記載の画像生成システム。
【請求項５】
前記画像合成部によって生成された前記合成画像を表示する表示部、
を、さらに備える、
ことを特徴とする請求項４に記載の画像生成システム。
【請求項６】
撮像部が被写体の撮影を行う撮影ステップと、
前記撮像部が撮影した画像中の被写体として人物が写っているか否か判断し、被写体として人物が写っている場合には、前記画像中の人物の領域の画像データを人物画像として抽出する人物抽出ステップと、
前記撮像部が撮影したときの撮影場所を表す位置情報を取得する位置情報取得ステップと、
前記撮像部が撮影したときの時間を表す時間情報を取得する時間情報取得ステップと、
前記人物抽出ステップによって抽出された前記人物の特徴を表す特徴情報を抽出する画像認識ステップと、
前記位置情報取得ステップによって取得した前記位置情報と、前記時間情報取得ステップによって取得した前記時間情報と、前記画像認識ステップによって抽出した前記特徴情報とに基づいて、所定の画像データベースを検索する画像検索ステップと、
前記人物画像と、前記画像検索ステップによって検索された画像データとを合成した合成画像を生成する画像合成ステップと、
を含むことを特徴とする画像生成方法。
【請求項１】
被写体の撮影を行う撮影部と、
前記撮像部が撮影した画像中の被写体として人物が写っているか否か判断し、被写体として人物が写っている場合には、前記画像中の人物の領域の画像データを人物画像として抽出する人物抽出部と、
前記撮像部が撮影したときの撮影場所を表す位置情報を取得する位置情報取得部と、
前記撮像部が撮影したときの時間を表す時間情報を取得する時間情報取得部と、
前記人物抽出部によって抽出された前記人物の特徴を表す特徴情報を抽出する画像認識部と、
前記位置情報取得部が取得した前記位置情報と、前記時間情報取得部が取得した前記時間情報と、前記画像認識部が抽出した前記特徴情報とに基づいて、所定の画像データベースを検索する画像検索部と、
前記人物画像と、前記画像検索部によって検索された画像データとを合成した合成画像を生成する画像合成部と、
を備えることを特徴とする画像生成システム。
【請求項２】
前記画像認識部によって抽出される前記特徴情報は、
前記撮像部が撮影した被写体である人物の服装および持ち物を表す情報である、
ことを特徴とする請求項１に記載の画像生成システム。
【請求項３】
前記位置情報取得部は、
前記撮影部が撮影する位置を認識する位置認識センサを具備する、
ことを特徴とする請求項２に記載の画像生成システム。
【請求項４】
前記画像合成部によって生成された前記合成画像を記録する記録部、
を、さらに備える、
ことを特徴とする請求項３に記載の画像生成システム。
【請求項５】
前記画像合成部によって生成された前記合成画像を表示する表示部、
を、さらに備える、
ことを特徴とする請求項４に記載の画像生成システム。
【請求項６】
撮像部が被写体の撮影を行う撮影ステップと、
前記撮像部が撮影した画像中の被写体として人物が写っているか否か判断し、被写体として人物が写っている場合には、前記画像中の人物の領域の画像データを人物画像として抽出する人物抽出ステップと、
前記撮像部が撮影したときの撮影場所を表す位置情報を取得する位置情報取得ステップと、
前記撮像部が撮影したときの時間を表す時間情報を取得する時間情報取得ステップと、
前記人物抽出ステップによって抽出された前記人物の特徴を表す特徴情報を抽出する画像認識ステップと、
前記位置情報取得ステップによって取得した前記位置情報と、前記時間情報取得ステップによって取得した前記時間情報と、前記画像認識ステップによって抽出した前記特徴情報とに基づいて、所定の画像データベースを検索する画像検索ステップと、
前記人物画像と、前記画像検索ステップによって検索された画像データとを合成した合成画像を生成する画像合成ステップと、
を含むことを特徴とする画像生成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−１１８６２０（Ｐ２０１２−１１８６２０Ａ）
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願番号】特願２０１０−２６５５４０（Ｐ２０１０−２６５５４０）
【出願日】平成２２年１１月２９日（２０１０．１１．２９）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願日】平成２２年１１月２９日（２０１０．１１．２９）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]