画像合成方法
【課題】仮想画像が対応づけられた画像対応被写体が含まれない撮影範囲であっても、当該画像対応被写体にて対応づけられた実画像上の位置に仮想画像を合成することが可能な画像合成方法を提供する。
【解決手段】複数回の撮影により撮影された実画像を構成する画像データを、撮影毎に解析し、当該実画像に含まれ画像対応被写体を検出し、実画像を構成する画像データと、検出した画像対応被写体の仮想画像の画像データとを合成し、連続する２回の撮影における、先の撮影により検出された画像対応被写体であって、後の撮影により検出されなかった画像対応被写体の、先の撮影にて撮影されていた位置が、後の撮影の撮影範囲外に位置する場合には、後の撮影により検出されなかった画像対応被写体に対応づけられた仮想画像の画像データを、後の撮影後に合成された画像データに合成する。
【解決手段】複数回の撮影により撮影された実画像を構成する画像データを、撮影毎に解析し、当該実画像に含まれ画像対応被写体を検出し、実画像を構成する画像データと、検出した画像対応被写体の仮想画像の画像データとを合成し、連続する２回の撮影における、先の撮影により検出された画像対応被写体であって、後の撮影により検出されなかった画像対応被写体の、先の撮影にて撮影されていた位置が、後の撮影の撮影範囲外に位置する場合には、後の撮影により検出されなかった画像対応被写体に対応づけられた仮想画像の画像データを、後の撮影後に合成された画像データに合成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影した実画像と生成した仮想画像とを合成する画像合成方法に関する。
【背景技術】
【０００２】
撮影した実画像と生成した仮想画像とを合成する画像合成方法としては、例えば、撮影した撮影画像に含まれる特定の被写体と対応づけられた付加画像を、特定の被写体の位置に応じて撮影画像上に配置して合成画像を生成する画像合成方法が知られている（例えば、特許文献１参照）。このような画像合成方法にて合成された合成画像は、たとえば表示画面等に表示される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０―１８７０５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来の画像合成方法は、特定の被写体の位置に応じて撮影画像上の位置に付加画像を配置するので、例えば前記特定の被写体（以下、画像対応被写体という）が撮影範囲内に存在する場合には付加画像としての仮想画像が配置されるが、画像対応被写体が撮影範囲から外れた場合には、表示画面内に仮想画像の一部が表示されるべき場合であっても、撮影範囲内に画像対応被写体がないため仮想画像は表示されないという課題がある。
【０００５】
本発明は、かかる課題に鑑みてなされたものであり、その目的とするところは、仮想画像が対応づけられた画像対応被写体が含まれない撮影範囲であっても、当該画像対応被写体にて対応づけられた実画像上の位置に仮想画像を合成することが可能な画像合成方法を提供することにある。
【課題を解決するための手段】
【０００６】
かかる目的を達成するために本発明の画像合成方法は、被写体を撮影した実画像と既に生成されている仮想画像とを合成する画像合成方法であって、複数回の撮影により撮影された前記実画像を構成する画像データを、前記撮影毎に解析して、当該実画像に含まれ、前記仮想画像が対応づけられた画像対応被写体を検出する画像対応被写体検出工程と、前記実画像を構成する前記画像データと、検出した前記画像対応被写体に対応づけられている前記仮想画像の画像データとを合成する画像合成工程と、前記複数回の撮影のうちの、連続する２回の前記撮影における、先の前記撮影により検出された前記画像対応被写体と、後の前記撮影により検出された前記画像対応被写体とを比較する比較工程と、前記先の撮影により検出された前記画像対応被写体であって、前記後の撮影により検出されなかった前記画像対応被写体の、前記先の撮影にて撮影されていた位置が、前記後の撮影の撮影範囲外に位置する場合には、前記先の撮影にて撮影されていた位置に配置した、前記後の撮影により検出されなかった前記画像対応被写体に対応づけられた前記仮想画像の前記画像データを、前記後の撮影後の前記画像合成工程にて合成された画像データに合成する画像再合成工程と、を有することを特徴とする画像合成方法である。
【０００７】
このような画像合成方法によれば、連続する２回の撮影において、先の撮影により検出された画像対応被写体と、後の撮影により検出された画像対応被写体とを比較して、先の撮影により検出された画像対応被写体が、後の撮影にて検出されなかった場合には、２回の撮影の間に、撮影範囲が移動して画像対応被写体が撮影範囲から外れてしまった場合と、画像対応被写体が実際に取り除かれてしまった場合とが考えられる。このとき、画像対応被写体が取り除かれた場合には、画像対応被写体に対応づけられた仮想画像を実画像と合成する必要はないが、撮影範囲が移動して画像対応被写体が撮影範囲から外れてしまった場合には、撮影範囲内に画像対応被写体が存在しなかったとしても、画像対応被写体に対応づけられた仮想画像の一部でも撮影範囲に含まれる場合には、仮想画像の撮影範囲に含まれる部位は、実画像と合成されていることが望ましい。このため、先の撮影により検出された画像対応被写体が、後の撮影により検出されなかった場合であって、検出されなかった画像対応被写体の、先の撮影にて撮影されていた位置が、後の撮影の撮影範囲の外に位置する場合には、先の撮影にて撮影されていた位置に配置した、後の撮影により検出されなかった画像対応被写体に対応づけられた仮想画像の画像データを、後の撮影後の画像合成工程にて合成された画像データに合成するので、連続する２回の撮影の間に撮影範囲を移動して画像対応被写体が撮影範囲から外れたとしても、後の撮影にて検出されなかった画像対応被写体に対応づけられた仮想画像の、撮影範囲に含まれる部位が合成された合成画像を形成することが可能である。
【０００８】
かかる画像合成方法であって、前記先の撮影により検出された前記画像対応被写体であって、前記後の撮影により検出されなかった前記画像対応被写体の、前記先の撮影にて撮影されていた位置が、前記後の撮影の撮影範囲内に位置する場合には、前記後の撮影により検出されなかった前記画像対応被写体に対応づけられた前記仮想画像の画像データを、前記後の撮影後の前記画像合成工程にて合成された画像データに合成しないことを有することが望ましい。
【０００９】
このような画像合成方法によれば、先の撮影により検出された画像対応被写体が、後の撮影により検出されなかった場合であって、検出されなかった画像対応被写体の、先の撮影にて撮影されていた位置が、後の撮影の撮影範囲内に位置する場合には、実際に画像対応被写体が取り除かれている。そして、実際に画像対応被写体が取り除かれている場合には、後の撮影により検出されなかった画像対応被写体に対応づけられた仮想画像の画像データは合成されない。このため、現実の被写体の状態に合わせた合成画像を生成することが可能である。
【００１０】
かかる画像合成方法であって、前記画像対応被写体は、前記先の撮影による前記実画像に複数含まれており、複数含まれている前記画像対応被写体のうちの２つの前記画像対応被写体間の相対位置が記憶されていることが望ましい。
【００１１】
このような画像合成方法によれば、各々の画像対応被写体の正確な位置がわからない状態であっても、実画像を解析して２つの画像対応被写体の相対位置を記憶しておくことにより、一方の画像対応被写体の位置から他方の画像対応被写体の位置を特定することが可能である。このため、各々の画像対応被写体を正確に配置しなくとも、仮想画像が配置される位置を特定することが可能である。
【００１２】
かかる画像合成方法であって、撮影された前記実画像を構成する前記画像データが記憶され、記憶された前記画像データが撮影される毎に更新される画像仮想展開領域と、検出された前記画像対応被写体と、検出された前記画像対応被写体に対応づけられた前記仮想画像と、前記相対位置とを対応づけた仮想画像情報が記憶され、前記画像仮想展開領域の前記画像データに対応して書き換えられる情報記憶領域と、を有することが望ましい。
【００１３】
このような画像合成方法によれば、撮影された実画像の画像データが記憶され、撮影される毎に更新される画像仮想展開領域の画像データから検出された画像対応被写体と、検出された画像対応被写体に対応づけられた仮想画像と、相対位置とを対応づけた情報記憶領域の仮想画像情報は、画像仮想展開領域の画像データに対応して書き換えられるので、情報記憶領域には、画像仮想展開領域の画像データに合わせた最新の仮想画像情報を記憶しておくことが可能である。
【００１４】
かかる画像合成方法であって、前記比較工程では、前記先の撮影にて記憶された前記情報記憶領域の仮想画像情報と、前記後の撮影にて検出された画像対応被写体の仮想画像情報と、を比較することが望ましい。
【００１５】
このような画像合成方法によれば、情報記憶領域の仮想画像情報に基づいて、画像対応被写体の変化を検出するので、正確かつ容易に合成画像を生成することが可能である。
【発明の効果】
【００１６】
本発明によれば、仮想画像が対応づけられた画像対応被写体が含まれない撮影範囲であっても、当該画像対応被写体にて対応づけられた実画像上の位置に仮想画像を合成することが可能である。
【図面の簡単な説明】
【００１７】
【図１】本発明に係る画像合成方法を実現するための装置の一例を示すブロック図である。
【図２】本実施形態の画像合成方法を説明するためのフローチャートである。
【図３】図３（ａ）は、先の撮影の撮影範囲を示す図であり、図３（ｂ）は、先の撮影による実画像と仮想画像とが合成された合成画像を示す図である。
【図４】図４（ａ）は、後の撮影の撮影範囲を示す図であり、図４（ｂ）は、後の撮影の撮影範囲からマーカーが外れた場合の、後の撮影による実画像と仮想画像とが合成された合成画像を示す図である。
【図５】後の撮影時にＢマーカーが外された場合の、後の撮影による実画像と仮想画像とが合成された合成画像を示す図である。
【図６】後の撮影の撮影時にＢマーカーが移動された場合の、後の撮影による実画像と仮想画像とが合成された合成画像を示す図である。
【発明を実施するための形態】
【００１８】
まず、本発明の概要について説明する。
本実施形態の画像合成方法は、予め生成されている仮想画像の情報が対応づけられた画像対応被写体を含む被写体を連続して撮影し、撮影される毎に、撮影された画像対応被写体の情報に基づく仮想画像と、撮影した実画像とを合成する。このとき、連続する２回の撮影において、先に撮影した実画像に含まれる画像対応被写体と、後に撮影した実画像に含まれる画像対応被写体とを比較し、先の撮影による実画像に含まれていた画像対応被写体が後の撮影による実画像に含まれていなかった場合に、当該含まれていなかった画像対応被写体が、後の撮影の撮影範囲から外れたのか、または、画像対応被写体が実際に取り除かれたのか、に応じて合成画像を生成するものである。たとえば、後の撮影による実画像にて含まれなくなった画像対応被写体の、先の撮影にて設けられていた位置が、後の撮影の撮影範囲内である場合には、実際に画像対応被写体が取り除かれている。このため、後の撮影による実画像にて含まれなくなった画像対応被写体に対応づけられた仮想画像は、後の撮影による実画像に合成しない。一方、後の撮影による実画像にて含まれなくなった画像対応被写体が、先の撮影にて設けられていた位置が後の撮影の撮影範囲外である場合には、後の実画像の撮影範囲では先の撮影の実画像と変化はない。このため、先の撮影の状態が継続されている、すなわち、後の撮影による実画像にて含まれなくなった画像対応被写体が、先の撮影時に配置されていた位置に存在するとして、後の撮影による実画像にて含まれなくなった画像対応被写体に対応づけられた仮想画像を後の撮影による実画像と合成する。
【００１９】
以下、本発明の一実施形態について図面を用いて詳細に説明する。
図１は、本発明に係る画像合成方法を実現するための装置の一例を示すブロック図である。
【００２０】
本実施形態の画像合成方法を実現するための画像合成装置１は、被写体を撮影する撮像部１０と、撮影した被写体の実画像と予め形成されている仮想画像とを合成する処理を含み画像合成装置１を制御する制御部１２と、画像を合成するために必要な各種情報やデータが記憶される記憶部１４と、合成された合成画像を表示する表示部１６と、本画像合成装置１を操作するための操作部１８と、を有している。
【００２１】
本実施形態の画像合成装置１は、例えば、撮像部１０と、撮影した画像を表示する表示部１６とを有し持ち運び可能な、例えばデジタルカメラ、デジタルビデオカメラ、携帯電話、携帯情報端末（ＰＤＡ）、モバイルコンピュータなどに、画像合成処理が実行可能なプログラムが記憶されている。
【００２２】
そして、画像合成装置１の使用者が、被写体を撮影すると、表示部１６に撮影された実画像が表示される。このとき、撮影された実画像２０（図３）に、予め設定された、例えば、ＱＲコード(登録商標)やバーコードなどの、所定の合成情報を示す画像対応被写体としてのマーカー２１が含まれていた場合には、マーカー２１を検出して情報を取得し、取得した情報に基づいて、撮影した実画像２０と予め記憶されている仮想画像２３（図３）とを合成した合成画像２４（図３）を生成し合成画像２４が表示部１６に表示されるように構成されている。
【００２３】
撮像部１０は、例えば、デジタルカメラやデジタルビデオカメラのような、撮影により、画像を構成する複数の画素の各画像データを生成するＣＣＤセンサーなどの撮像素子により、光情報を電気情報に変換するように構成されている。
【００２４】
表示部１６は、画像を構成する複数の画素の画像データを、各素子に対応させて表示することが可能な、例えば液晶パネルなどにて構成されている。ここで、各画素の画像データとは、例えば、各画素をＲ（レッド）成分、Ｇ（グリーン）成分、Ｂ（ブルー）成分に分解した各成分を示すデータである。
【００２５】
操作部１８は、画像合成装置１を使用する使用者が、画像合成装置１に対し撮影等の操作を行ったり、設定を変更するなどの操作を行う部位であり、少なくとも実画像２０を撮影するための所謂シャッターを有している。
【００２６】
記憶部１４は、本画像合成装置１にて合成画像を生成するための各種情報が記憶されており、また、情報が記憶される情報記憶領域１４ａと、合成画像を生成する処理の中で画像データが書き換えられていく作業領域となる画像仮想展開領域１４ｂとを有している。
【００２７】
情報記憶領域１４ａには、被写体に含まれているマーカー２１に対応づけられた仮想画像２３を特定する情報、仮想画像２３の画像データ、仮想画像２３の実画像２０に対して配置すべき位置を示す位置情報、などが記憶されている。また、情報記憶領域１４ａには、撮影時に測定された撮像部１０の視点から被写体までの距離を示す情報、実画像に含まれる複数のマーカー２１のうちの各々２つのマーカー２１間の相対位置を示す位置情報等、算出された情報も記憶される。
【００２８】
また、情報記憶領域１４ａには、画像仮想展開領域１４ｂの画像データに含まれるマーカー２１、当該マーカー２１に対応づけられた仮想画像２３を特定する情報、複数のマーカー２１間の相対位置を示す位置情報を対応づけた仮想画像情報を記憶する２つの仮想画像情報記憶領域１４ｃが設けられている。２つの仮想画像情報記憶領域１４ｃには連続して撮影される各撮影において生成された合成画像２４の仮想画像情報が交互に書き換えられていく。
【００２９】
画像仮想展開領域１４ｂは、撮影された画像データが画素毎に記憶される記憶領域である。上述したように、各画素の画像データはＲ，Ｇ，Ｂの３つの成分を示すデータを有するので、画像仮想展開領域１４ｂは、合成画像を構成する画素数の３倍の記憶領域を有している。
【００３０】
画像仮想展開領域１４ｂに記憶される画像データは、合成画像を生成する際には必要に応じて対応する画素の画像データが書き換えられる。そして、画像仮想展開領域１４ｂに画素毎に記憶された３つのデータは、各画素の画像データが書き換えられる場合には、Ｒ成分、Ｇ成分、Ｂ成分の各データがそれぞれ書き換えられる。このとき、画像仮想展開領域１４ｂは、記憶領域が表示部１６または撮像部１０の素子と同様に配列されている必要はなく、各記憶領域の画像データが、表示部１６または撮像部１０の素子と対応づけられて記憶されていればよい。
【００３１】
制御部１２は、使用者により操作部１８が操作されることにより、撮像部１０や表示部１６を制御したり、撮影された実画像２０の画像データからマーカー２１を検出し、マーカー２１にて示される情報を解析する解析処理、解析された情報に基づいて、実画像２０と記憶部１４に記憶されている仮想画像２３とを合成する画像合成処理等の各種処理を実行する。
【００３２】
次に、制御部１２による画像合成方法について説明する。
本実施形態の画像合成方法は、画像合成装置１に設けられ、撮像部１０にて撮影するための操作部１８であるシャッターが操作されて処理が開始される。このとき、画像合成装置１が、デジタルカメラなどのように、単に実画像を撮影するときと、合成画像を生成するときとで処理を切り替えるスイッチが操作部１８に設けられていてもよい。また、常に合成画像を生成する処理が実行されるように設定されており、撮影された実画像にマーカー２１が検出されたときのみ合成画像を生成する処理を実行することとしてもよい。
【００３３】
また、本画像合成装置１は、電源が投入されたとき、撮影を開始するスイッチが切り替えられたときなど、最初に撮影する前に、記憶部１４の２つの仮想画像情報記憶領域１４ｃが初期化されるように構成されている。
【００３４】
本実施形態は、前述したように、画像合成装置１の撮像部１０にて撮影するときに、撮影範囲内に、ＱＲコード(登録商標)やバーコードなどの情報を示す画像対応被写体としてのマーカー２１が含まれる状態に応じて合成画像２４を生成する。本実施形態では、互いに異なる仮想画像が対応づけられた２つのマーカー２１を用いて説明する。２つのマーカー２１を区別するために、一方のマーカー２１をＡマーカー２１ａ、他方のマーカー２１をＢマーカー２１ｂとして説明する。ここでは、例えば、Ａマーカー２１ａにはソファの仮想画像２３ａが対応づけられており、Ｂマーカー２１ｂにはピアノの仮想画像２３ｂが対応づけられており、例えば、撮影される室内にソファとピアノをどのように配置するかを検討する場合などに用いられる。
【００３５】
図２は、本実施形態の画像合成方法を説明するためのフローチャートである。図３（ａ）は、先の撮影の撮影範囲を示す図であり、図３（ｂ）は、先の撮影による実画像と仮想画像とが合成された合成画像を示す図である。図４（ａ）は、後の撮影の撮影範囲を示す図であり、図４（ｂ）は、後の撮影の撮影範囲からマーカーが外れた場合の、後の撮影による実画像と仮想画像とが合成された合成画像を示す図である。
【００３６】
制御部１２は、シャッターが操作されると撮像部１０にて被写体を撮影し、撮影された実画像２０を構成する各画素の画像データを生成し（Ｓ１）、生成した画像データを記憶部１４の画像仮想展開領域１４ｂに記憶する（Ｓ２）。この撮影が先の撮影に相当する。ここでは、図３（ａ）に示すような撮影範囲Ｆ１にて撮影されたとする。また、このとき、制御部１２は実画像の撮影時に撮像部１０から取得した情報に基づき、一般的なカメラにも搭載されているオートフォーカス機構の原理を利用して、例えば、レンズの上半分と下半分にて生じる重心位置の違いを利用して被写体と、撮像部１０の視点位置との距離を計測し、計測した距離情報を記憶部１４に記憶する。
【００３７】
次に制御部１２は、撮影した実画像２０の画像データに画像対応被写体としてのマーカー２１が撮影されているか否かを解析する（画像対応被写体検出工程Ｓ３）。このとき、実画像２０の画像データにマーカー２１が撮影されていた場合には（Ｓ４）、マーカー２１に対応づけられている情報を記憶部１４から取得する（Ｓ５）。ここで、取得される情報には、マーカー２１に対応づけられている仮想画像２３を特定する情報、撮影した実画像２０と仮想画像２３とを合成するための位置情報、等が含まれる。
【００３８】
また、撮影した実画像２０の画像データを解析し、実画像２０の画像データにマーカー２１が撮影されていなかった場合には、画像仮想展開領域１４ｂに記憶されている実画像２０の画像データに基づいて、実画像２０が表示部１６に表示される（Ｓ１３）。
【００３９】
本実施形態の場合には、撮影した実画像２０の画像データを解析して（Ｓ３）、実画像２０の画像データにＡマーカー２１ａ及びＢマーカー２１ｂが検出され（Ｓ４）、Ａマーカー２１ａに対応づけられている情報及びＢマーカー２１ｂに対応づけられている情報が記憶部１４から取得される（Ｓ５）。このとき、撮影した実画像２０と合成するソファの仮想画像２３ａ及びピアノの仮想画像２３ｂとを合成するための位置情報、すなわち、Ａマーカー２１ａの位置に位置あわせてソファの仮想画像２３ａが配置され、Ｂマーカー２１ｂの位置に合わせてピアノの仮想画像２３ｂが配置されることを示す情報が取得される（Ｓ５）。
【００４０】
次に制御部１２は、取得した情報に基づいて、画像仮想展開領域１４ｂに記憶されている実画像２０の対象となる画素の画像データを、マーカー２１に対応づけられて情報記憶領域１４ａに記憶されている仮想画像２３の画像データに書き換えて合成画像２４を生成する（画像合成工程Ｓ６）。そして、生成された合成画像に含まれているマーカー２１の仮想画像情報を一方の仮想画像情報記憶領域１４ｃに記憶する（Ｓ７）。
【００４１】
本実施形態の場合には、画像仮想展開領域１４ｂに記憶されている実画像２０の対象となる画素の画像データを、Ａマーカー２１ａに対応づけられて情報記憶領域１４ａに記憶されているソファの仮想画像２３ａ、Ｂマーカー２１ｂに対応づけられて情報記憶領域１４ａに記憶されているピアノの仮想画像２３ｂの画像データに書き換えて合成画像２４を生成する（Ｓ６）。そして、生成された合成画像に含まれているＡマーカー２１ａ及びＢマーカー２１ｂの仮想画像情報を仮想画像情報記憶領域１４ｃに記憶する（Ｓ７）。
【００４２】
次に制御部１２は、この撮影が最初の撮影か否かを判定する（Ｓ８）。本実施形態の場合には最初の撮影なので、画像仮想展開領域１４ｂにて合成された、図３（ｂ）に示すような合成画像２４を表示部１６に表示する（Ｓ１３）。
【００４３】
次に、画像合成装置１の向きが、撮影範囲Ｆ２が図４（ａ）に示すように左方向に変更されて撮影されたとする。この撮影が後の撮影に相当する。このとき、Ｂマーカー２１ｂは撮影範囲Ｆ２から外れている。
【００４４】
撮像部１０により、図４（ａ）に示すような撮影範囲にて被写体を撮影し、撮影された実画像２０を構成する各画素の画像データを生成し（Ｓ１）、生成した画像データを記憶部１４の画像仮想展開領域１４ｂに記憶する（Ｓ２）。このときも、制御部１２は実画像の撮影時に撮像部１０から取得した情報に基づき、被写体と、撮像部１０の視点位置との距離を計測し、計測した距離情報を記憶部１４に記憶する。
【００４５】
次に制御部１２は、実画像２０の画像データに画像対応被写体としてのマーカー２１が撮影されているか否かを解析する（画像対応被写体検出工程Ｓ３）。このとき、実画像２０の画像データにＡマーカー２１ａが撮影されているので、Ａマーカー２１ａが検出され（Ｓ４）、Ａマーカー２１ａに対応づけられている情報を記憶部１４から取得する（Ｓ５）。このとき、撮影した実画像２０と合成するソファの仮想画像２３ａとを合成するための位置情報、すなわち、Ａマーカー２１ａの位置に位置あわせてソファの仮想画像２３ａが配置されることを示す情報が取得される（Ｓ５）。
【００４６】
次に制御部１２は、取得した情報に基づいて、画像仮想展開領域１４ｂに記憶されている実画像２０の対象となる画素の画像データを、Ａマーカー２１ａに対応づけられて情報記憶領域１４ａに記憶されているソファの仮想画像２３ａの画像データに書き換えて合成画像２４を生成する（画像合成工程Ｓ６）。そして、生成された合成画像に含まれているＡマーカー２１ａの仮想画像情報を仮想画像情報記憶領域１４ｃに記憶する（Ｓ７）。
【００４７】
次に制御部１２は、この撮影が最初の撮影か否かを判定する（Ｓ８）。この場合には、２回目の撮影（以下、後の撮影という）なので、後の撮影にて生成された合成画像の仮想画像情報と、後の撮影の直前の撮影（以下、先の撮影という）にて生成された合成画像２４の仮想画像情報とを比較する（比較工程Ｓ９）。
【００４８】
このとき、先の撮影にて生成された合成画像２４の仮想画像情報には含まれていたが、後の撮影にて生成された合成画像の仮想画像情報に含まれていないマーカー２１がある場合には、含まれなくなったマーカー（以下、非含有マーカーという）２１の位置情報に基づいて、非含有マーカー２１が設けられていた位置が後の撮影の撮影範囲内に含まれているか否かを判定する（Ｓ１０）。
【００４９】
そして、非含有マーカー２１が設けられていた位置が、後の撮影の撮影範囲内に含まれている場合には、マーカー２１が実際に取り除かれているので、仮想画像情報から非含有マーカー２１の仮想画像情報を削除して（Ｓ１２）、画像仮想展開領域１４ｂにて合成されている合成画像２４を表示部１６に表示する（Ｓ１３）。
【００５０】
一方、非含有マーカー２１が設けられていた位置が、後の撮影の撮影範囲内に含まれていない場合には、マーカー２１の状態が変更されたことは検出されないので、先の撮影時と同じ位置に非含有マーカー２１に対応づけられた仮想画像２３が配置されるように、画像仮想展開領域１４ｂに記憶されている実画像２０の対象となる画素の画像データを書き換え（画像再合成工程Ｓ１１）、画像仮想展開領域１４ｂにて合成された合成画像２４を表示部１６に表示する（Ｓ１３）。
【００５１】
本実施形態の場合には、後の撮影にて生成された合成画像２４の仮想画像情報と、先の撮影にて生成された合成画像２４の仮想画像情報とを比較する（比較工程Ｓ９）。このとき、Ｂマーカー２１ｂは、先の撮影にて生成された合成画像２４の仮想画像情報には含まれていたが、後の撮影にて生成された合成画像２４の仮想画像情報に含まれていない。このため、Ｂマーカー２１ｂが後の撮影の撮影範囲Ｆ２内に含まれているか否かを判定する（Ｓ１０）。このとき、先の撮影時に算出したＡマーカー２１ａとＢマーカー２１ｂとの相対位置を示す位置情報を情報記憶領域１４ａから取得し、後の撮影の撮影範囲Ｆ２に含まれているＡマーカー２１ａの位置と取得した相対位置とにより、Ｂマーカー２１ｂが設けられていた位置を特定し、特定した位置が後の撮影の撮影範囲Ｆ２内に含まれているか否かを判定する。このとき、先の撮影にてＢマーカー２１ｂが設けられていた位置は、後の撮影の撮影範囲の外側なので、先の撮影時と同じ位置にＢマーカー２１ｂに対応づけられたピアノの仮想画像２３ｂが配置されるように、画像仮想展開領域１４ｂに記憶されている実画像２０の対象となる画素の画像データを書き換える（画像再合成工程Ｓ１１）。そして、画像仮想展開領域１４ｂにて合成された、図４（ｂ）に示すような、ソファの仮想画像２３ａとピアノの仮想画像２３ｂとが合成された合成画像２４を表示部１６に表示する（Ｓ１３）。
【００５２】
図５は、後の撮影時にＢマーカーが外された場合の、後の撮影による実画像と仮想画像とが合成された合成画像を示す図である。図６は、後の撮影の撮影時にＢマーカーが移動された場合の、後の撮影による実画像と仮想画像とが合成された合成画像を示す図である。
【００５３】
このとき、先の撮影にてＢマーカー２１ｂが設けられていた位置が、後の撮影の撮影範囲内の場合には、Ｂマーカー２１ｂが取り外された状態となるので、図５に示すような、ソファの仮想画像２３ａのみが合成された合成画像２４を表示部１６に表示する（Ｓ１３）。また、後の撮影にてＢマーカー２１ｂが移動されて後の撮影の撮影範囲内に存在する場合には、撮影された実画像のＡマーカー２１ａの位置にソファの仮想画像２３ａを、Ｂマーカー２１ｂの位置にピアノの仮想画像２３ｂを合成した、図６に示すような合成画像２４を表示部１６に表示する（Ｓ１３）。
【００５４】
本実施形態の画像合成方法によれば、連続する２回の撮影において、先の撮影により検出されたＡマーカー２１ａ及びＢマーカー２１ｂと、後の撮影により検出されたＡマーカー２１ａとを比較して、先の撮影により検出されたＢマーカー２１ｂが、後の撮影にて検出されなかった場合には、２回の撮影の間に、撮影範囲Ｆ１が移動してＢマーカー２１ｂが撮影範囲Ｆ２から外れてしまった場合と、Ｂマーカー２１ｂが取り除かれた場合とが考えられる。このとき、Ｂマーカー２１ｂが取り除かれた場合には、Ｂマーカー２１ｂに対応づけられたピアノの仮想画像２３ｂを実画像２０と合成する必要はないが、撮影範囲Ｆ１が移動してＢマーカー２１ｂが撮影範囲Ｆ２から外れてしまった場合であって、撮影範囲Ｆ２内にＢマーカー２１ｂが無かったとしても、Ｂマーカー２１ｂに対応づけられたピアノの仮想画像２３ｂが撮影範囲Ｆ２に含まれる場合には、ピアノの仮想画像２３ｂが合成されることが望ましい。このため、先の撮影により検出されたＢマーカー２１ｂが、後の撮影により検出されなかった場合であって、Ｂマーカー２１ｂの、先の撮影にて撮影されていた位置が、後の撮影の撮影範囲Ｆ２外に位置する場合には、先の撮影にて撮影されていた位置に配置した、Ｂマーカー２１ｂに対応づけられたピアノの仮想画像２３ｂの画像データを、後の撮影後に合成された画像データに追加して合成するので、連続する２回の撮影の間に撮影範囲をＦ１からＦ２移動してＢマーカー２１ｂが撮影範囲Ｆ２から外れたとしても、後の撮影にて検出されなかったＢマーカー２１ｂに対応づけられたピアノの仮想画像２３ｂが合成された合成画像２４を形成することが可能である。
【００５５】
また、先の撮影により検出されたＢマーカー２１ｂが、後の撮影により検出されなかった場合であって、Ｂマーカー２１ｂの、先の撮影にて撮影されていた位置が、後の撮影の撮影範囲Ｆ２内に位置する場合には、実際にＢマーカー２１ｂが取り除かれている。そして、実際にＢマーカー２１ｂが取り除かれている場合には、後の撮影により検出されなかったＢマーカー２１ｂに対応づけられたピアノの仮想画像２３ｂの画像データを、後の撮影後に合成された画像データに合成しないので、生成される合成画像２４に検出されなかったＢマーカー２１ｂに対応づけられたピアノの仮想画像２３ｂは合成されない。このため、現実の被写体の状態に合わせた合成画像２４を生成することが可能である。
【００５６】
また、各々のＡマーカー２１ａ及びＢマーカー２１ｂの正確な位置がわからない状態であっても、実画像２０の画像データを解析して、Ａマーカー２１ａとＢマーカー２１ｂとの相対位置を記憶しておくことにより、Ａマーカー２１ａの位置からＢマーカー２１ｂの位置を特定することが可能である。このため、各々のＡマーカー２１ａ及びＢマーカー２１ｂを正確に配置しなくとも、ソファの仮想画像２３ａ及びピアノの仮想画像２３ｂが配置される位置を特定することが可能である。
【００５７】
また、撮影された実画像２０の画像データが記憶され、撮影される毎に更新される画像仮想展開領域１４ｂの画像データから、検出されたＡマーカー２１ａ及びＢマーカー２１ｂと、検出されたＡマーカー２１ａ及びＢマーカー２１ｂに対応づけられたソファの仮想画像２３ａ及びピアノの仮想画像２３ｂと、相対位置とを対応づけた、情報記憶領域１４ａの仮想画像情報は、画像仮想展開領域１４ｂの画像データに対応して書き換えられるので、情報記憶領域１４ａには、画像仮想展開領域１４ｂの画像データに合わせた最新の仮想画像情報を記憶しておくことが可能である。
【００５８】
また、情報記憶領域１４ａに記憶されている最新の仮想画像情報に基づいて、Ａマーカー２１ａ及びＢマーカー２１ｂの変化を検出するので、正確かつ容易に合成画像２４を生成することが可能である。
【００５９】
上記実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることはいうまでもない。
【００６０】
上記実施形態においては、画像対応被写体としてＡマーカー２１ａ及びＢマーカー２１ｂの２つを用いた例について説明したが、これに限らず、３つ以上のマーカー２１を用いても良い。
【００６１】
また、上記実施形態においては、各々のマーカー２１の位置を示す位置情報を、２つのマーカー２１の相対位置とする例について説明したが、１つのマーカー２１が被写体、例えば床との相対位置情報を有しており、この相対位置情報を有するマーカーとの相対位置から、各々のマーカーの被写体との相対位置を求めることにより、各々のマーカー２１の被写体に対する絶対位置を記憶しておいても良い。
【００６２】
上記実施形態では、静止画像を合成する例について説明したが、動画を合成する場合には、動画のフレームレートに合わせて、合成した画像を生成して表示すればよい。例えば、フレームレートが１５ｆｐｓであれば、１秒間に１５回、上記のように画像の合成処理を繰り返し表示部の画像を書き換えることにより実現可能である。
【符号の説明】
【００６３】
１ 画像合成装置
１０ 撮像部
１２ 制御部
１４ 記憶部
１４ａ 情報記憶領域
１４ｂ 画像仮想展開領域
１４ｃ 仮想画像情報記憶領域
１６ 表示部
１８ 操作部
２０ 実画像
２１ マーカー
２１ａ Ａマーカー
２１ｂ Ｂマーカー
２３ 仮想画像
２３ａ ソファの仮想画像
２３ｂ ピアノの仮想画像
２４ 合成画像
Ｆ１ 先の撮影における撮影範囲
Ｆ２ 後の撮影における撮影範囲
【技術分野】
【０００１】
本発明は、撮影した実画像と生成した仮想画像とを合成する画像合成方法に関する。
【背景技術】
【０００２】
撮影した実画像と生成した仮想画像とを合成する画像合成方法としては、例えば、撮影した撮影画像に含まれる特定の被写体と対応づけられた付加画像を、特定の被写体の位置に応じて撮影画像上に配置して合成画像を生成する画像合成方法が知られている（例えば、特許文献１参照）。このような画像合成方法にて合成された合成画像は、たとえば表示画面等に表示される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０―１８７０５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来の画像合成方法は、特定の被写体の位置に応じて撮影画像上の位置に付加画像を配置するので、例えば前記特定の被写体（以下、画像対応被写体という）が撮影範囲内に存在する場合には付加画像としての仮想画像が配置されるが、画像対応被写体が撮影範囲から外れた場合には、表示画面内に仮想画像の一部が表示されるべき場合であっても、撮影範囲内に画像対応被写体がないため仮想画像は表示されないという課題がある。
【０００５】
本発明は、かかる課題に鑑みてなされたものであり、その目的とするところは、仮想画像が対応づけられた画像対応被写体が含まれない撮影範囲であっても、当該画像対応被写体にて対応づけられた実画像上の位置に仮想画像を合成することが可能な画像合成方法を提供することにある。
【課題を解決するための手段】
【０００６】
かかる目的を達成するために本発明の画像合成方法は、被写体を撮影した実画像と既に生成されている仮想画像とを合成する画像合成方法であって、複数回の撮影により撮影された前記実画像を構成する画像データを、前記撮影毎に解析して、当該実画像に含まれ、前記仮想画像が対応づけられた画像対応被写体を検出する画像対応被写体検出工程と、前記実画像を構成する前記画像データと、検出した前記画像対応被写体に対応づけられている前記仮想画像の画像データとを合成する画像合成工程と、前記複数回の撮影のうちの、連続する２回の前記撮影における、先の前記撮影により検出された前記画像対応被写体と、後の前記撮影により検出された前記画像対応被写体とを比較する比較工程と、前記先の撮影により検出された前記画像対応被写体であって、前記後の撮影により検出されなかった前記画像対応被写体の、前記先の撮影にて撮影されていた位置が、前記後の撮影の撮影範囲外に位置する場合には、前記先の撮影にて撮影されていた位置に配置した、前記後の撮影により検出されなかった前記画像対応被写体に対応づけられた前記仮想画像の前記画像データを、前記後の撮影後の前記画像合成工程にて合成された画像データに合成する画像再合成工程と、を有することを特徴とする画像合成方法である。
【０００７】
このような画像合成方法によれば、連続する２回の撮影において、先の撮影により検出された画像対応被写体と、後の撮影により検出された画像対応被写体とを比較して、先の撮影により検出された画像対応被写体が、後の撮影にて検出されなかった場合には、２回の撮影の間に、撮影範囲が移動して画像対応被写体が撮影範囲から外れてしまった場合と、画像対応被写体が実際に取り除かれてしまった場合とが考えられる。このとき、画像対応被写体が取り除かれた場合には、画像対応被写体に対応づけられた仮想画像を実画像と合成する必要はないが、撮影範囲が移動して画像対応被写体が撮影範囲から外れてしまった場合には、撮影範囲内に画像対応被写体が存在しなかったとしても、画像対応被写体に対応づけられた仮想画像の一部でも撮影範囲に含まれる場合には、仮想画像の撮影範囲に含まれる部位は、実画像と合成されていることが望ましい。このため、先の撮影により検出された画像対応被写体が、後の撮影により検出されなかった場合であって、検出されなかった画像対応被写体の、先の撮影にて撮影されていた位置が、後の撮影の撮影範囲の外に位置する場合には、先の撮影にて撮影されていた位置に配置した、後の撮影により検出されなかった画像対応被写体に対応づけられた仮想画像の画像データを、後の撮影後の画像合成工程にて合成された画像データに合成するので、連続する２回の撮影の間に撮影範囲を移動して画像対応被写体が撮影範囲から外れたとしても、後の撮影にて検出されなかった画像対応被写体に対応づけられた仮想画像の、撮影範囲に含まれる部位が合成された合成画像を形成することが可能である。
【０００８】
かかる画像合成方法であって、前記先の撮影により検出された前記画像対応被写体であって、前記後の撮影により検出されなかった前記画像対応被写体の、前記先の撮影にて撮影されていた位置が、前記後の撮影の撮影範囲内に位置する場合には、前記後の撮影により検出されなかった前記画像対応被写体に対応づけられた前記仮想画像の画像データを、前記後の撮影後の前記画像合成工程にて合成された画像データに合成しないことを有することが望ましい。
【０００９】
このような画像合成方法によれば、先の撮影により検出された画像対応被写体が、後の撮影により検出されなかった場合であって、検出されなかった画像対応被写体の、先の撮影にて撮影されていた位置が、後の撮影の撮影範囲内に位置する場合には、実際に画像対応被写体が取り除かれている。そして、実際に画像対応被写体が取り除かれている場合には、後の撮影により検出されなかった画像対応被写体に対応づけられた仮想画像の画像データは合成されない。このため、現実の被写体の状態に合わせた合成画像を生成することが可能である。
【００１０】
かかる画像合成方法であって、前記画像対応被写体は、前記先の撮影による前記実画像に複数含まれており、複数含まれている前記画像対応被写体のうちの２つの前記画像対応被写体間の相対位置が記憶されていることが望ましい。
【００１１】
このような画像合成方法によれば、各々の画像対応被写体の正確な位置がわからない状態であっても、実画像を解析して２つの画像対応被写体の相対位置を記憶しておくことにより、一方の画像対応被写体の位置から他方の画像対応被写体の位置を特定することが可能である。このため、各々の画像対応被写体を正確に配置しなくとも、仮想画像が配置される位置を特定することが可能である。
【００１２】
かかる画像合成方法であって、撮影された前記実画像を構成する前記画像データが記憶され、記憶された前記画像データが撮影される毎に更新される画像仮想展開領域と、検出された前記画像対応被写体と、検出された前記画像対応被写体に対応づけられた前記仮想画像と、前記相対位置とを対応づけた仮想画像情報が記憶され、前記画像仮想展開領域の前記画像データに対応して書き換えられる情報記憶領域と、を有することが望ましい。
【００１３】
このような画像合成方法によれば、撮影された実画像の画像データが記憶され、撮影される毎に更新される画像仮想展開領域の画像データから検出された画像対応被写体と、検出された画像対応被写体に対応づけられた仮想画像と、相対位置とを対応づけた情報記憶領域の仮想画像情報は、画像仮想展開領域の画像データに対応して書き換えられるので、情報記憶領域には、画像仮想展開領域の画像データに合わせた最新の仮想画像情報を記憶しておくことが可能である。
【００１４】
かかる画像合成方法であって、前記比較工程では、前記先の撮影にて記憶された前記情報記憶領域の仮想画像情報と、前記後の撮影にて検出された画像対応被写体の仮想画像情報と、を比較することが望ましい。
【００１５】
このような画像合成方法によれば、情報記憶領域の仮想画像情報に基づいて、画像対応被写体の変化を検出するので、正確かつ容易に合成画像を生成することが可能である。
【発明の効果】
【００１６】
本発明によれば、仮想画像が対応づけられた画像対応被写体が含まれない撮影範囲であっても、当該画像対応被写体にて対応づけられた実画像上の位置に仮想画像を合成することが可能である。
【図面の簡単な説明】
【００１７】
【図１】本発明に係る画像合成方法を実現するための装置の一例を示すブロック図である。
【図２】本実施形態の画像合成方法を説明するためのフローチャートである。
【図３】図３（ａ）は、先の撮影の撮影範囲を示す図であり、図３（ｂ）は、先の撮影による実画像と仮想画像とが合成された合成画像を示す図である。
【図４】図４（ａ）は、後の撮影の撮影範囲を示す図であり、図４（ｂ）は、後の撮影の撮影範囲からマーカーが外れた場合の、後の撮影による実画像と仮想画像とが合成された合成画像を示す図である。
【図５】後の撮影時にＢマーカーが外された場合の、後の撮影による実画像と仮想画像とが合成された合成画像を示す図である。
【図６】後の撮影の撮影時にＢマーカーが移動された場合の、後の撮影による実画像と仮想画像とが合成された合成画像を示す図である。
【発明を実施するための形態】
【００１８】
まず、本発明の概要について説明する。
本実施形態の画像合成方法は、予め生成されている仮想画像の情報が対応づけられた画像対応被写体を含む被写体を連続して撮影し、撮影される毎に、撮影された画像対応被写体の情報に基づく仮想画像と、撮影した実画像とを合成する。このとき、連続する２回の撮影において、先に撮影した実画像に含まれる画像対応被写体と、後に撮影した実画像に含まれる画像対応被写体とを比較し、先の撮影による実画像に含まれていた画像対応被写体が後の撮影による実画像に含まれていなかった場合に、当該含まれていなかった画像対応被写体が、後の撮影の撮影範囲から外れたのか、または、画像対応被写体が実際に取り除かれたのか、に応じて合成画像を生成するものである。たとえば、後の撮影による実画像にて含まれなくなった画像対応被写体の、先の撮影にて設けられていた位置が、後の撮影の撮影範囲内である場合には、実際に画像対応被写体が取り除かれている。このため、後の撮影による実画像にて含まれなくなった画像対応被写体に対応づけられた仮想画像は、後の撮影による実画像に合成しない。一方、後の撮影による実画像にて含まれなくなった画像対応被写体が、先の撮影にて設けられていた位置が後の撮影の撮影範囲外である場合には、後の実画像の撮影範囲では先の撮影の実画像と変化はない。このため、先の撮影の状態が継続されている、すなわち、後の撮影による実画像にて含まれなくなった画像対応被写体が、先の撮影時に配置されていた位置に存在するとして、後の撮影による実画像にて含まれなくなった画像対応被写体に対応づけられた仮想画像を後の撮影による実画像と合成する。
【００１９】
以下、本発明の一実施形態について図面を用いて詳細に説明する。
図１は、本発明に係る画像合成方法を実現するための装置の一例を示すブロック図である。
【００２０】
本実施形態の画像合成方法を実現するための画像合成装置１は、被写体を撮影する撮像部１０と、撮影した被写体の実画像と予め形成されている仮想画像とを合成する処理を含み画像合成装置１を制御する制御部１２と、画像を合成するために必要な各種情報やデータが記憶される記憶部１４と、合成された合成画像を表示する表示部１６と、本画像合成装置１を操作するための操作部１８と、を有している。
【００２１】
本実施形態の画像合成装置１は、例えば、撮像部１０と、撮影した画像を表示する表示部１６とを有し持ち運び可能な、例えばデジタルカメラ、デジタルビデオカメラ、携帯電話、携帯情報端末（ＰＤＡ）、モバイルコンピュータなどに、画像合成処理が実行可能なプログラムが記憶されている。
【００２２】
そして、画像合成装置１の使用者が、被写体を撮影すると、表示部１６に撮影された実画像が表示される。このとき、撮影された実画像２０（図３）に、予め設定された、例えば、ＱＲコード(登録商標)やバーコードなどの、所定の合成情報を示す画像対応被写体としてのマーカー２１が含まれていた場合には、マーカー２１を検出して情報を取得し、取得した情報に基づいて、撮影した実画像２０と予め記憶されている仮想画像２３（図３）とを合成した合成画像２４（図３）を生成し合成画像２４が表示部１６に表示されるように構成されている。
【００２３】
撮像部１０は、例えば、デジタルカメラやデジタルビデオカメラのような、撮影により、画像を構成する複数の画素の各画像データを生成するＣＣＤセンサーなどの撮像素子により、光情報を電気情報に変換するように構成されている。
【００２４】
表示部１６は、画像を構成する複数の画素の画像データを、各素子に対応させて表示することが可能な、例えば液晶パネルなどにて構成されている。ここで、各画素の画像データとは、例えば、各画素をＲ（レッド）成分、Ｇ（グリーン）成分、Ｂ（ブルー）成分に分解した各成分を示すデータである。
【００２５】
操作部１８は、画像合成装置１を使用する使用者が、画像合成装置１に対し撮影等の操作を行ったり、設定を変更するなどの操作を行う部位であり、少なくとも実画像２０を撮影するための所謂シャッターを有している。
【００２６】
記憶部１４は、本画像合成装置１にて合成画像を生成するための各種情報が記憶されており、また、情報が記憶される情報記憶領域１４ａと、合成画像を生成する処理の中で画像データが書き換えられていく作業領域となる画像仮想展開領域１４ｂとを有している。
【００２７】
情報記憶領域１４ａには、被写体に含まれているマーカー２１に対応づけられた仮想画像２３を特定する情報、仮想画像２３の画像データ、仮想画像２３の実画像２０に対して配置すべき位置を示す位置情報、などが記憶されている。また、情報記憶領域１４ａには、撮影時に測定された撮像部１０の視点から被写体までの距離を示す情報、実画像に含まれる複数のマーカー２１のうちの各々２つのマーカー２１間の相対位置を示す位置情報等、算出された情報も記憶される。
【００２８】
また、情報記憶領域１４ａには、画像仮想展開領域１４ｂの画像データに含まれるマーカー２１、当該マーカー２１に対応づけられた仮想画像２３を特定する情報、複数のマーカー２１間の相対位置を示す位置情報を対応づけた仮想画像情報を記憶する２つの仮想画像情報記憶領域１４ｃが設けられている。２つの仮想画像情報記憶領域１４ｃには連続して撮影される各撮影において生成された合成画像２４の仮想画像情報が交互に書き換えられていく。
【００２９】
画像仮想展開領域１４ｂは、撮影された画像データが画素毎に記憶される記憶領域である。上述したように、各画素の画像データはＲ，Ｇ，Ｂの３つの成分を示すデータを有するので、画像仮想展開領域１４ｂは、合成画像を構成する画素数の３倍の記憶領域を有している。
【００３０】
画像仮想展開領域１４ｂに記憶される画像データは、合成画像を生成する際には必要に応じて対応する画素の画像データが書き換えられる。そして、画像仮想展開領域１４ｂに画素毎に記憶された３つのデータは、各画素の画像データが書き換えられる場合には、Ｒ成分、Ｇ成分、Ｂ成分の各データがそれぞれ書き換えられる。このとき、画像仮想展開領域１４ｂは、記憶領域が表示部１６または撮像部１０の素子と同様に配列されている必要はなく、各記憶領域の画像データが、表示部１６または撮像部１０の素子と対応づけられて記憶されていればよい。
【００３１】
制御部１２は、使用者により操作部１８が操作されることにより、撮像部１０や表示部１６を制御したり、撮影された実画像２０の画像データからマーカー２１を検出し、マーカー２１にて示される情報を解析する解析処理、解析された情報に基づいて、実画像２０と記憶部１４に記憶されている仮想画像２３とを合成する画像合成処理等の各種処理を実行する。
【００３２】
次に、制御部１２による画像合成方法について説明する。
本実施形態の画像合成方法は、画像合成装置１に設けられ、撮像部１０にて撮影するための操作部１８であるシャッターが操作されて処理が開始される。このとき、画像合成装置１が、デジタルカメラなどのように、単に実画像を撮影するときと、合成画像を生成するときとで処理を切り替えるスイッチが操作部１８に設けられていてもよい。また、常に合成画像を生成する処理が実行されるように設定されており、撮影された実画像にマーカー２１が検出されたときのみ合成画像を生成する処理を実行することとしてもよい。
【００３３】
また、本画像合成装置１は、電源が投入されたとき、撮影を開始するスイッチが切り替えられたときなど、最初に撮影する前に、記憶部１４の２つの仮想画像情報記憶領域１４ｃが初期化されるように構成されている。
【００３４】
本実施形態は、前述したように、画像合成装置１の撮像部１０にて撮影するときに、撮影範囲内に、ＱＲコード(登録商標)やバーコードなどの情報を示す画像対応被写体としてのマーカー２１が含まれる状態に応じて合成画像２４を生成する。本実施形態では、互いに異なる仮想画像が対応づけられた２つのマーカー２１を用いて説明する。２つのマーカー２１を区別するために、一方のマーカー２１をＡマーカー２１ａ、他方のマーカー２１をＢマーカー２１ｂとして説明する。ここでは、例えば、Ａマーカー２１ａにはソファの仮想画像２３ａが対応づけられており、Ｂマーカー２１ｂにはピアノの仮想画像２３ｂが対応づけられており、例えば、撮影される室内にソファとピアノをどのように配置するかを検討する場合などに用いられる。
【００３５】
図２は、本実施形態の画像合成方法を説明するためのフローチャートである。図３（ａ）は、先の撮影の撮影範囲を示す図であり、図３（ｂ）は、先の撮影による実画像と仮想画像とが合成された合成画像を示す図である。図４（ａ）は、後の撮影の撮影範囲を示す図であり、図４（ｂ）は、後の撮影の撮影範囲からマーカーが外れた場合の、後の撮影による実画像と仮想画像とが合成された合成画像を示す図である。
【００３６】
制御部１２は、シャッターが操作されると撮像部１０にて被写体を撮影し、撮影された実画像２０を構成する各画素の画像データを生成し（Ｓ１）、生成した画像データを記憶部１４の画像仮想展開領域１４ｂに記憶する（Ｓ２）。この撮影が先の撮影に相当する。ここでは、図３（ａ）に示すような撮影範囲Ｆ１にて撮影されたとする。また、このとき、制御部１２は実画像の撮影時に撮像部１０から取得した情報に基づき、一般的なカメラにも搭載されているオートフォーカス機構の原理を利用して、例えば、レンズの上半分と下半分にて生じる重心位置の違いを利用して被写体と、撮像部１０の視点位置との距離を計測し、計測した距離情報を記憶部１４に記憶する。
【００３７】
次に制御部１２は、撮影した実画像２０の画像データに画像対応被写体としてのマーカー２１が撮影されているか否かを解析する（画像対応被写体検出工程Ｓ３）。このとき、実画像２０の画像データにマーカー２１が撮影されていた場合には（Ｓ４）、マーカー２１に対応づけられている情報を記憶部１４から取得する（Ｓ５）。ここで、取得される情報には、マーカー２１に対応づけられている仮想画像２３を特定する情報、撮影した実画像２０と仮想画像２３とを合成するための位置情報、等が含まれる。
【００３８】
また、撮影した実画像２０の画像データを解析し、実画像２０の画像データにマーカー２１が撮影されていなかった場合には、画像仮想展開領域１４ｂに記憶されている実画像２０の画像データに基づいて、実画像２０が表示部１６に表示される（Ｓ１３）。
【００３９】
本実施形態の場合には、撮影した実画像２０の画像データを解析して（Ｓ３）、実画像２０の画像データにＡマーカー２１ａ及びＢマーカー２１ｂが検出され（Ｓ４）、Ａマーカー２１ａに対応づけられている情報及びＢマーカー２１ｂに対応づけられている情報が記憶部１４から取得される（Ｓ５）。このとき、撮影した実画像２０と合成するソファの仮想画像２３ａ及びピアノの仮想画像２３ｂとを合成するための位置情報、すなわち、Ａマーカー２１ａの位置に位置あわせてソファの仮想画像２３ａが配置され、Ｂマーカー２１ｂの位置に合わせてピアノの仮想画像２３ｂが配置されることを示す情報が取得される（Ｓ５）。
【００４０】
次に制御部１２は、取得した情報に基づいて、画像仮想展開領域１４ｂに記憶されている実画像２０の対象となる画素の画像データを、マーカー２１に対応づけられて情報記憶領域１４ａに記憶されている仮想画像２３の画像データに書き換えて合成画像２４を生成する（画像合成工程Ｓ６）。そして、生成された合成画像に含まれているマーカー２１の仮想画像情報を一方の仮想画像情報記憶領域１４ｃに記憶する（Ｓ７）。
【００４１】
本実施形態の場合には、画像仮想展開領域１４ｂに記憶されている実画像２０の対象となる画素の画像データを、Ａマーカー２１ａに対応づけられて情報記憶領域１４ａに記憶されているソファの仮想画像２３ａ、Ｂマーカー２１ｂに対応づけられて情報記憶領域１４ａに記憶されているピアノの仮想画像２３ｂの画像データに書き換えて合成画像２４を生成する（Ｓ６）。そして、生成された合成画像に含まれているＡマーカー２１ａ及びＢマーカー２１ｂの仮想画像情報を仮想画像情報記憶領域１４ｃに記憶する（Ｓ７）。
【００４２】
次に制御部１２は、この撮影が最初の撮影か否かを判定する（Ｓ８）。本実施形態の場合には最初の撮影なので、画像仮想展開領域１４ｂにて合成された、図３（ｂ）に示すような合成画像２４を表示部１６に表示する（Ｓ１３）。
【００４３】
次に、画像合成装置１の向きが、撮影範囲Ｆ２が図４（ａ）に示すように左方向に変更されて撮影されたとする。この撮影が後の撮影に相当する。このとき、Ｂマーカー２１ｂは撮影範囲Ｆ２から外れている。
【００４４】
撮像部１０により、図４（ａ）に示すような撮影範囲にて被写体を撮影し、撮影された実画像２０を構成する各画素の画像データを生成し（Ｓ１）、生成した画像データを記憶部１４の画像仮想展開領域１４ｂに記憶する（Ｓ２）。このときも、制御部１２は実画像の撮影時に撮像部１０から取得した情報に基づき、被写体と、撮像部１０の視点位置との距離を計測し、計測した距離情報を記憶部１４に記憶する。
【００４５】
次に制御部１２は、実画像２０の画像データに画像対応被写体としてのマーカー２１が撮影されているか否かを解析する（画像対応被写体検出工程Ｓ３）。このとき、実画像２０の画像データにＡマーカー２１ａが撮影されているので、Ａマーカー２１ａが検出され（Ｓ４）、Ａマーカー２１ａに対応づけられている情報を記憶部１４から取得する（Ｓ５）。このとき、撮影した実画像２０と合成するソファの仮想画像２３ａとを合成するための位置情報、すなわち、Ａマーカー２１ａの位置に位置あわせてソファの仮想画像２３ａが配置されることを示す情報が取得される（Ｓ５）。
【００４６】
次に制御部１２は、取得した情報に基づいて、画像仮想展開領域１４ｂに記憶されている実画像２０の対象となる画素の画像データを、Ａマーカー２１ａに対応づけられて情報記憶領域１４ａに記憶されているソファの仮想画像２３ａの画像データに書き換えて合成画像２４を生成する（画像合成工程Ｓ６）。そして、生成された合成画像に含まれているＡマーカー２１ａの仮想画像情報を仮想画像情報記憶領域１４ｃに記憶する（Ｓ７）。
【００４７】
次に制御部１２は、この撮影が最初の撮影か否かを判定する（Ｓ８）。この場合には、２回目の撮影（以下、後の撮影という）なので、後の撮影にて生成された合成画像の仮想画像情報と、後の撮影の直前の撮影（以下、先の撮影という）にて生成された合成画像２４の仮想画像情報とを比較する（比較工程Ｓ９）。
【００４８】
このとき、先の撮影にて生成された合成画像２４の仮想画像情報には含まれていたが、後の撮影にて生成された合成画像の仮想画像情報に含まれていないマーカー２１がある場合には、含まれなくなったマーカー（以下、非含有マーカーという）２１の位置情報に基づいて、非含有マーカー２１が設けられていた位置が後の撮影の撮影範囲内に含まれているか否かを判定する（Ｓ１０）。
【００４９】
そして、非含有マーカー２１が設けられていた位置が、後の撮影の撮影範囲内に含まれている場合には、マーカー２１が実際に取り除かれているので、仮想画像情報から非含有マーカー２１の仮想画像情報を削除して（Ｓ１２）、画像仮想展開領域１４ｂにて合成されている合成画像２４を表示部１６に表示する（Ｓ１３）。
【００５０】
一方、非含有マーカー２１が設けられていた位置が、後の撮影の撮影範囲内に含まれていない場合には、マーカー２１の状態が変更されたことは検出されないので、先の撮影時と同じ位置に非含有マーカー２１に対応づけられた仮想画像２３が配置されるように、画像仮想展開領域１４ｂに記憶されている実画像２０の対象となる画素の画像データを書き換え（画像再合成工程Ｓ１１）、画像仮想展開領域１４ｂにて合成された合成画像２４を表示部１６に表示する（Ｓ１３）。
【００５１】
本実施形態の場合には、後の撮影にて生成された合成画像２４の仮想画像情報と、先の撮影にて生成された合成画像２４の仮想画像情報とを比較する（比較工程Ｓ９）。このとき、Ｂマーカー２１ｂは、先の撮影にて生成された合成画像２４の仮想画像情報には含まれていたが、後の撮影にて生成された合成画像２４の仮想画像情報に含まれていない。このため、Ｂマーカー２１ｂが後の撮影の撮影範囲Ｆ２内に含まれているか否かを判定する（Ｓ１０）。このとき、先の撮影時に算出したＡマーカー２１ａとＢマーカー２１ｂとの相対位置を示す位置情報を情報記憶領域１４ａから取得し、後の撮影の撮影範囲Ｆ２に含まれているＡマーカー２１ａの位置と取得した相対位置とにより、Ｂマーカー２１ｂが設けられていた位置を特定し、特定した位置が後の撮影の撮影範囲Ｆ２内に含まれているか否かを判定する。このとき、先の撮影にてＢマーカー２１ｂが設けられていた位置は、後の撮影の撮影範囲の外側なので、先の撮影時と同じ位置にＢマーカー２１ｂに対応づけられたピアノの仮想画像２３ｂが配置されるように、画像仮想展開領域１４ｂに記憶されている実画像２０の対象となる画素の画像データを書き換える（画像再合成工程Ｓ１１）。そして、画像仮想展開領域１４ｂにて合成された、図４（ｂ）に示すような、ソファの仮想画像２３ａとピアノの仮想画像２３ｂとが合成された合成画像２４を表示部１６に表示する（Ｓ１３）。
【００５２】
図５は、後の撮影時にＢマーカーが外された場合の、後の撮影による実画像と仮想画像とが合成された合成画像を示す図である。図６は、後の撮影の撮影時にＢマーカーが移動された場合の、後の撮影による実画像と仮想画像とが合成された合成画像を示す図である。
【００５３】
このとき、先の撮影にてＢマーカー２１ｂが設けられていた位置が、後の撮影の撮影範囲内の場合には、Ｂマーカー２１ｂが取り外された状態となるので、図５に示すような、ソファの仮想画像２３ａのみが合成された合成画像２４を表示部１６に表示する（Ｓ１３）。また、後の撮影にてＢマーカー２１ｂが移動されて後の撮影の撮影範囲内に存在する場合には、撮影された実画像のＡマーカー２１ａの位置にソファの仮想画像２３ａを、Ｂマーカー２１ｂの位置にピアノの仮想画像２３ｂを合成した、図６に示すような合成画像２４を表示部１６に表示する（Ｓ１３）。
【００５４】
本実施形態の画像合成方法によれば、連続する２回の撮影において、先の撮影により検出されたＡマーカー２１ａ及びＢマーカー２１ｂと、後の撮影により検出されたＡマーカー２１ａとを比較して、先の撮影により検出されたＢマーカー２１ｂが、後の撮影にて検出されなかった場合には、２回の撮影の間に、撮影範囲Ｆ１が移動してＢマーカー２１ｂが撮影範囲Ｆ２から外れてしまった場合と、Ｂマーカー２１ｂが取り除かれた場合とが考えられる。このとき、Ｂマーカー２１ｂが取り除かれた場合には、Ｂマーカー２１ｂに対応づけられたピアノの仮想画像２３ｂを実画像２０と合成する必要はないが、撮影範囲Ｆ１が移動してＢマーカー２１ｂが撮影範囲Ｆ２から外れてしまった場合であって、撮影範囲Ｆ２内にＢマーカー２１ｂが無かったとしても、Ｂマーカー２１ｂに対応づけられたピアノの仮想画像２３ｂが撮影範囲Ｆ２に含まれる場合には、ピアノの仮想画像２３ｂが合成されることが望ましい。このため、先の撮影により検出されたＢマーカー２１ｂが、後の撮影により検出されなかった場合であって、Ｂマーカー２１ｂの、先の撮影にて撮影されていた位置が、後の撮影の撮影範囲Ｆ２外に位置する場合には、先の撮影にて撮影されていた位置に配置した、Ｂマーカー２１ｂに対応づけられたピアノの仮想画像２３ｂの画像データを、後の撮影後に合成された画像データに追加して合成するので、連続する２回の撮影の間に撮影範囲をＦ１からＦ２移動してＢマーカー２１ｂが撮影範囲Ｆ２から外れたとしても、後の撮影にて検出されなかったＢマーカー２１ｂに対応づけられたピアノの仮想画像２３ｂが合成された合成画像２４を形成することが可能である。
【００５５】
また、先の撮影により検出されたＢマーカー２１ｂが、後の撮影により検出されなかった場合であって、Ｂマーカー２１ｂの、先の撮影にて撮影されていた位置が、後の撮影の撮影範囲Ｆ２内に位置する場合には、実際にＢマーカー２１ｂが取り除かれている。そして、実際にＢマーカー２１ｂが取り除かれている場合には、後の撮影により検出されなかったＢマーカー２１ｂに対応づけられたピアノの仮想画像２３ｂの画像データを、後の撮影後に合成された画像データに合成しないので、生成される合成画像２４に検出されなかったＢマーカー２１ｂに対応づけられたピアノの仮想画像２３ｂは合成されない。このため、現実の被写体の状態に合わせた合成画像２４を生成することが可能である。
【００５６】
また、各々のＡマーカー２１ａ及びＢマーカー２１ｂの正確な位置がわからない状態であっても、実画像２０の画像データを解析して、Ａマーカー２１ａとＢマーカー２１ｂとの相対位置を記憶しておくことにより、Ａマーカー２１ａの位置からＢマーカー２１ｂの位置を特定することが可能である。このため、各々のＡマーカー２１ａ及びＢマーカー２１ｂを正確に配置しなくとも、ソファの仮想画像２３ａ及びピアノの仮想画像２３ｂが配置される位置を特定することが可能である。
【００５７】
また、撮影された実画像２０の画像データが記憶され、撮影される毎に更新される画像仮想展開領域１４ｂの画像データから、検出されたＡマーカー２１ａ及びＢマーカー２１ｂと、検出されたＡマーカー２１ａ及びＢマーカー２１ｂに対応づけられたソファの仮想画像２３ａ及びピアノの仮想画像２３ｂと、相対位置とを対応づけた、情報記憶領域１４ａの仮想画像情報は、画像仮想展開領域１４ｂの画像データに対応して書き換えられるので、情報記憶領域１４ａには、画像仮想展開領域１４ｂの画像データに合わせた最新の仮想画像情報を記憶しておくことが可能である。
【００５８】
また、情報記憶領域１４ａに記憶されている最新の仮想画像情報に基づいて、Ａマーカー２１ａ及びＢマーカー２１ｂの変化を検出するので、正確かつ容易に合成画像２４を生成することが可能である。
【００５９】
上記実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることはいうまでもない。
【００６０】
上記実施形態においては、画像対応被写体としてＡマーカー２１ａ及びＢマーカー２１ｂの２つを用いた例について説明したが、これに限らず、３つ以上のマーカー２１を用いても良い。
【００６１】
また、上記実施形態においては、各々のマーカー２１の位置を示す位置情報を、２つのマーカー２１の相対位置とする例について説明したが、１つのマーカー２１が被写体、例えば床との相対位置情報を有しており、この相対位置情報を有するマーカーとの相対位置から、各々のマーカーの被写体との相対位置を求めることにより、各々のマーカー２１の被写体に対する絶対位置を記憶しておいても良い。
【００６２】
上記実施形態では、静止画像を合成する例について説明したが、動画を合成する場合には、動画のフレームレートに合わせて、合成した画像を生成して表示すればよい。例えば、フレームレートが１５ｆｐｓであれば、１秒間に１５回、上記のように画像の合成処理を繰り返し表示部の画像を書き換えることにより実現可能である。
【符号の説明】
【００６３】
１ 画像合成装置
１０ 撮像部
１２ 制御部
１４ 記憶部
１４ａ 情報記憶領域
１４ｂ 画像仮想展開領域
１４ｃ 仮想画像情報記憶領域
１６ 表示部
１８ 操作部
２０ 実画像
２１ マーカー
２１ａ Ａマーカー
２１ｂ Ｂマーカー
２３ 仮想画像
２３ａ ソファの仮想画像
２３ｂ ピアノの仮想画像
２４ 合成画像
Ｆ１ 先の撮影における撮影範囲
Ｆ２ 後の撮影における撮影範囲
【特許請求の範囲】
【請求項１】
被写体を撮影した実画像と既に生成されている仮想画像とを合成する画像合成方法であって、
複数回の撮影により撮影された前記実画像を構成する画像データを、前記撮影毎に解析して、当該実画像に含まれ、前記仮想画像が対応づけられた画像対応被写体を検出する画像対応被写体検出工程と、
前記実画像を構成する前記画像データと、検出した前記画像対応被写体に対応づけられている前記仮想画像の画像データとを合成する画像合成工程と、
前記複数回の撮影のうちの、連続する２回の前記撮影における、先の前記撮影により検出された前記画像対応被写体と、後の前記撮影により検出された前記画像対応被写体とを比較する比較工程と、
前記先の撮影により検出された前記画像対応被写体であって、前記後の撮影により検出されなかった前記画像対応被写体の、前記先の撮影にて撮影されていた位置が、前記後の撮影の撮影範囲外に位置する場合には、前記先の撮影にて撮影されていた位置に配置した、前記後の撮影により検出されなかった前記画像対応被写体に対応づけられた前記仮想画像の前記画像データを、前記後の撮影後の前記画像合成工程にて合成された画像データに合成する画像再合成工程と、
を有することを特徴とする画像合成方法。
【請求項２】
請求項１に記載の画像合成方法であって、
前記先の撮影により検出された前記画像対応被写体であって、前記後の撮影により検出されなかった前記画像対応被写体の、前記先の撮影にて撮影されていた位置が、前記後の撮影の撮影範囲内に位置する場合には、前記後の撮影により検出されなかった前記画像対応被写体に対応づけられた前記仮想画像の画像データを、前記後の撮影後の前記画像合成工程にて合成された画像データに合成しないことを特徴とする画像合成方法。
【請求項３】
請求項１または請求項２に記載の画像合成方法であって、
前記画像対応被写体は、前記先の撮影による前記実画像に複数含まれており、
複数含まれている前記画像対応被写体のうちの２つの前記画像対応被写体間の相対位置が記憶されていることを特徴とする画像合成方法。
【請求項４】
請求項３に記載の画像合成方法であって、
撮影された前記実画像を構成する前記画像データが記憶され、記憶された前記画像データが撮影される毎に更新される画像仮想展開領域と、
検出された前記画像対応被写体と、検出された前記画像対応被写体に対応づけられた前記仮想画像と、前記相対位置とを対応づけた仮想画像情報が記憶され、前記画像仮想展開領域の前記画像データに対応して書き換えられる情報記憶領域と、を有することを特徴とする画像合成方法。
【請求項５】
請求項４に記載の画像合成方法であって、
前記比較工程では、前記先の撮影にて記憶された前記情報記憶領域の前記仮想画像情報と、
前記後の撮影にて検出された前記画像対応被写体の前記仮想画像情報と、を比較することを特徴とする画像合成方法。
【請求項１】
被写体を撮影した実画像と既に生成されている仮想画像とを合成する画像合成方法であって、
複数回の撮影により撮影された前記実画像を構成する画像データを、前記撮影毎に解析して、当該実画像に含まれ、前記仮想画像が対応づけられた画像対応被写体を検出する画像対応被写体検出工程と、
前記実画像を構成する前記画像データと、検出した前記画像対応被写体に対応づけられている前記仮想画像の画像データとを合成する画像合成工程と、
前記複数回の撮影のうちの、連続する２回の前記撮影における、先の前記撮影により検出された前記画像対応被写体と、後の前記撮影により検出された前記画像対応被写体とを比較する比較工程と、
前記先の撮影により検出された前記画像対応被写体であって、前記後の撮影により検出されなかった前記画像対応被写体の、前記先の撮影にて撮影されていた位置が、前記後の撮影の撮影範囲外に位置する場合には、前記先の撮影にて撮影されていた位置に配置した、前記後の撮影により検出されなかった前記画像対応被写体に対応づけられた前記仮想画像の前記画像データを、前記後の撮影後の前記画像合成工程にて合成された画像データに合成する画像再合成工程と、
を有することを特徴とする画像合成方法。
【請求項２】
請求項１に記載の画像合成方法であって、
前記先の撮影により検出された前記画像対応被写体であって、前記後の撮影により検出されなかった前記画像対応被写体の、前記先の撮影にて撮影されていた位置が、前記後の撮影の撮影範囲内に位置する場合には、前記後の撮影により検出されなかった前記画像対応被写体に対応づけられた前記仮想画像の画像データを、前記後の撮影後の前記画像合成工程にて合成された画像データに合成しないことを特徴とする画像合成方法。
【請求項３】
請求項１または請求項２に記載の画像合成方法であって、
前記画像対応被写体は、前記先の撮影による前記実画像に複数含まれており、
複数含まれている前記画像対応被写体のうちの２つの前記画像対応被写体間の相対位置が記憶されていることを特徴とする画像合成方法。
【請求項４】
請求項３に記載の画像合成方法であって、
撮影された前記実画像を構成する前記画像データが記憶され、記憶された前記画像データが撮影される毎に更新される画像仮想展開領域と、
検出された前記画像対応被写体と、検出された前記画像対応被写体に対応づけられた前記仮想画像と、前記相対位置とを対応づけた仮想画像情報が記憶され、前記画像仮想展開領域の前記画像データに対応して書き換えられる情報記憶領域と、を有することを特徴とする画像合成方法。
【請求項５】
請求項４に記載の画像合成方法であって、
前記比較工程では、前記先の撮影にて記憶された前記情報記憶領域の前記仮想画像情報と、
前記後の撮影にて検出された前記画像対応被写体の前記仮想画像情報と、を比較することを特徴とする画像合成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−１７５６６６（Ｐ２０１２−１７５６６６Ａ）
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願番号】特願２０１１−３８７４９（Ｐ２０１１−３８７４９）
【出願日】平成２３年２月２４日（２０１１．２．２４）
【出願人】（００００００５４９）株式会社大林組 (1,758)
【Ｆターム（参考）】
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願日】平成２３年２月２４日（２０１１．２．２４）
【出願人】（００００００５４９）株式会社大林組 (1,758)
【Ｆターム（参考）】
[ Back to top ]