画像合成方法
【課題】仮想画像を撮影された実画像により正確に配置して容易に合成することが可能な画像合成方法を提供する。
【解決手段】第１領域を撮影する際の撮影範囲内に、位置を特定可能な第１位置情報被写体を含ませて前記第１領域を撮影して第１領域画像の画像データを生成する撮影工程と、前記第１領域画像と、前記第１位置情報被写体にて特定される第１位置と、を対応づけて記憶する記憶工程と、前記第１領域を含む第２領域に第２位置情報被写体を含ませて前記第２領域を撮影した第２領域画像の画像データに、前記第２位置情報被写体にて特定される第２位置と前記第１位置とに基づいて位置決めして前記第１領域画像の画像データを合成する。
【解決手段】第１領域を撮影する際の撮影範囲内に、位置を特定可能な第１位置情報被写体を含ませて前記第１領域を撮影して第１領域画像の画像データを生成する撮影工程と、前記第１領域画像と、前記第１位置情報被写体にて特定される第１位置と、を対応づけて記憶する記憶工程と、前記第１領域を含む第２領域に第２位置情報被写体を含ませて前記第２領域を撮影した第２領域画像の画像データに、前記第２位置情報被写体にて特定される第２位置と前記第１位置とに基づいて位置決めして前記第１領域画像の画像データを合成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影した実画像と予め用意した仮想画像とを合成する画像合成方法に関する。
【背景技術】
【０００２】
撮影した実画像と予め用意した仮想画像などの付加画像とを合成する画像合成方法としては、例えば、撮影する被写体がマーカーを有しており、マーカーが配置されている実表面に仮想画像を、実質的に同一平面となるように合成して合成画像を生成する画像合成方法が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０―４９６９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来の画像合成方法は、仮想画像を、実表面に同一平面となるように配置しているが、実画像と仮想画像とは、同一平面内における位置も、より正確に合わせて合成したい場合がある。このため、予め用意した仮想画像の各画素のデータを撮影した実画像上の正確な位置に配置する場合には、作業が煩雑で、多大な時間とコストを費やさなければならないという課題がある。
【０００５】
本発明は、かかる課題に鑑みてなされたものであり、その目的とするところは、仮想画像を、撮影された実画像により正確かつ容易に配置して合成することが可能な画像合成方法を提供することにある。
【課題を解決するための手段】
【０００６】
かかる目的を達成するために本発明の画像合成方法は、第１領域を撮影する際の撮影範囲内に、位置を特定可能な第１位置情報被写体を含ませて前記第１領域を撮影して第１領域画像の画像データを生成する撮影工程と、前記第１領域画像と、前記第１位置情報被写体にて特定される第１位置と、を対応づけて記憶する記憶工程と、前記第１領域を含む第２領域に第２位置情報被写体を含ませて前記第２領域を撮影した第２領域画像の画像データに、前記第２位置情報被写体にて特定される第２位置と前記第１位置とに基づいて位置決めして前記第１領域画像の画像データを合成する画像合成工程と、を有することを特徴とする画像合成方法である。
【０００７】
このような画像合成方法によれば、第１位置情報被写体により位置が特定された第１領域画像と、第２位置情報被写体により位置が特定され、第１領域を含む第２領域を撮影した第２領域画像と、が第２位置と第１位置とに基づいて位置決めして合成されるので、第１領域画像を第２領域画像の、より正確な位置に合成することが可能である。このとき、第１領域画像には第１位置情報被写体が含まれており、第２領域画像には第２位置情報被写体が含まれているので、第１領域画像及び第２領域画像を撮影するだけで第１領域画像及び第２領域画像の位置を容易に特定し、第１領域画像と第２領域画像とを位置的に対応づけることが可能である。このため、第１領域画像を第２領域画像に、より正確かつ容易に配置して合成することが可能である。
【０００８】
かかる画像合成方法であって、前記第１領域の撮影時及び前記第２領域の撮影時には、撮影の視点と前記第１位置情報被写体及び前記第２位置情報被写体との距離を計測するとともに撮影の方向を特定し、特定した前記視点との距離、前記撮影方向、及び、前記第１位置情報被写体及び前記第２位置情報被写体のマーカー位置情報に基づいて、前記第２領域画像の画像データに合成する前記第１領域画像の画像データを加工して、前記第１領域画像と合成することが望ましい。
【０００９】
このような画像合成方法によれば、第２領域画像の画像データに合成する第１領域画像の画像データは、第１領域の撮影時及び第２領域の撮影時に計測した、撮影の視点と第１位置情報被写体及び第２位置情報被写体との距離、撮影の方向、及び、第１位置情報被写体と第２位置情報被写体のマーカー位置情報に基づいて加工するので、第２領域画像と第１領域画像とが、撮影する際の距離及び撮影方向が互いに相違したとしても、第１領域画像を第２領域画像に対応させて加工し、同じ距離及び同じ方向から撮影したような画像とすることが可能であり、一度に撮影したような合成画像を生成することが可能である。
【００１０】
かかる画像合成方法であって、前記第１領域画像は、前記第１位置情報被写体に対応づけられたマーカー位置情報、撮影時に計測された前記視点との距離、及び、前記撮影の方向に基づいて、撮影する被写体を立体的にモデル化した立体モデルに対応づけて記憶されていることが望ましい。
【００１１】
このような画像合成装置によれば、第１領域画像は、第１位置情報被写体に対応づけられたマーカー位置情報、撮影時に計測された視点との距離、及び、撮影の方向に基づいて、立体モデルに対応づけて記憶されているので、撮影された二次元の第１領域画像を、撮影する被写体を立体的にモデル化した立体モデルに対応づけることにより、第１領域画像に三次元の座標情報を付して記憶しておくことが可能である。
【発明の効果】
【００１２】
本発明によれば、仮想画像を撮影された実画像により正確に配置して容易に合成することが可能な画像合成方法を提供することが可能である。
【図面の簡単な説明】
【００１３】
【図１】本発明に係る画像合成方法を実現するための装置の一例を示すブロック図である。
【図２】本実施形態の画像合成方法の施工時における処理を説明するためのフローチャートである。
【図３】本実施形態の画像合成方法の竣工後における処理を説明するためのフローチャートである。
【図４】施工時実画像及びその撮影範囲を示す図である。
【図５】施工時実画像の画像データ、Ａマーカーの位置情報、撮影情報を３Ｄモデルと対応づけるイメージを示す図である。
【図６】図６（ａ）は、竣工後実画像の撮影範囲を示す図であり、図６（ｂ）は、使用者による領域の指定がなされた際の表示を説明するための図であり、図６（ｃ）は、表示部に表示された合成画像を示す図である。
【図７】施工前実画像の撮影方向を竣工後の撮影方向と合わせた仮想画像を示す図である。
【発明を実施するための形態】
【００１４】
本実施形態の画像合成方法は、例えば、竣工後のコンクリート構造物の壁などを撮影して、撮影した壁の施工時における配筋の状況を合成画像にて表示する場合などに用いられる。
【００１５】
以下、本発明の一実施形態について図面を用いて詳細に説明する。
図１は、本発明に係る画像合成方法を実現するための装置の一例を示すブロック図である。
【００１６】
本実施形態の画像合成方法を実現するための画像合成装置１は、被写体を撮影する撮像部１０と、撮影した被写体の実画像と予め形成されている仮想画像とを合成する処理を含み画像合成装置１を制御する制御部１２と、画像を合成するために必要な各種情報やデータが記憶される記憶部１４と、合成された合成画像を表示する表示部１６と、本画像合成装置１を操作するための操作部１８と、を有している。
【００１７】
本実施形態の画像合成装置１は、例えば、撮像部１０と、撮影した画像を表示する表示部１６とを有し持ち運び可能な、例えばデジタルカメラ、デジタルビデオカメラ、携帯電話、携帯情報端末（ＰＤＡ）、モバイルコンピュータなどに、画像合成処理が実行可能なプログラムが記憶されている。
【００１８】
そして、画像合成装置１の使用者が、被写体を撮影すると、表示部１６に撮影された実画像が表示される。このとき、撮影された実画像２０（図４）に、予め設定された、例えば、ＱＲコード(登録商標)やバーコードなどの、所定の合成情報が対応づけられた画像対応被写体としてのマーカー２１が含まれていた場合には、マーカー２１を検出して情報を取得し、取得した情報に基づいて、撮影した実画像２０と予め記憶されている仮想画像２３（図６）とを合成した合成画像２４（図６）を生成し合成画像２４が表示部１６に表示されるように構成されている。
【００１９】
撮像部１０は、例えば、デジタルカメラやデジタルビデオカメラのような、撮影により、画像を構成する複数の画素の各画像データを生成するＣＣＤセンサーなどの撮像素子により、光情報を電気情報に変換するように構成されている。
【００２０】
表示部１６は、画像を構成する複数の画素の画像データを、各素子に対応させて表示することが可能な、例えば液晶パネル１６ａであり、液晶パネル１６ａの表面には重ねて設けられた透光性を有するタッチパネル１８ａとを有している。ここで、各画素の画像データとは、例えば、各画素をＲ（レッド）成分、Ｇ（グリーン）成分、Ｂ（ブルー）成分に分解した各成分を示すデータである。
【００２１】
操作部１８は、画像合成装置１を使用する使用者が、画像合成装置１に対し撮影等の操作を行ったり、設定を変更するなどの操作を行う部位であり、少なくとも実画像２０を撮影するための所謂シャッターを有している。ここで、タッチパネル１８ａも操作部１８に含まれる。
【００２２】
記憶部１４は、本画像合成装置１にて合成画像を生成するための各種情報が記憶されており、また、情報が記憶される情報記憶領域１４ａと、合成画像を生成する処理の中で画像データが書き換えられていく作業領域となる画像仮想展開領域１４ｂとを有している。
【００２３】
情報記憶領域１４ａには、位置情報に対応づけられた仮想画像２３を特定する情報、仮想画像２３の画像データ、仮想画像２３の実画像２０に対して配置すべき位置を示す位置情報、などが記憶されている。また、情報記憶領域１４ａには、撮影時に計測された撮像部１０の視点から被写体までの距離を示す情報等、算出された情報も記憶される。また、情報記憶領域１４ａには、被写体となるコンクリート構造物を立体的にモデル化した立体モデルとしての３Ｄモデルのデータも記憶されている。
【００２４】
画像仮想展開領域１４ｂは、撮影された画像データが画素毎に記憶される記憶領域である。上述したように、各画素の画像データはＲ，Ｇ，Ｂの３つの成分を示すデータを有するので、画像仮想展開領域１４ｂは、合成画像を構成する画素数の３倍の記憶領域を有している。
【００２５】
画像仮想展開領域１４ｂに記憶される画像データは、合成画像を生成する際には必要に応じて対応する画素の画像データが書き換えられる。そして、画像仮想展開領域１４ｂに画素毎に記憶された３つのデータは、各画素の画像データが書き換えられる場合には、Ｒ成分、Ｇ成分、Ｂ成分の各データがそれぞれ書き換えられる。このとき、画像仮想展開領域１４ｂは、記憶領域が表示部１６または撮像部１０の素子と同様に配列されている必要はなく、各記憶領域の画像データが、表示部１６または撮像部１０の素子と対応づけられて記憶されていればよい。
【００２６】
制御部１２は、使用者により操作部１８が操作されることにより、撮像部１０や表示部１６を制御したり、撮影された実画像２０の画像データからマーカー２１を検出し、マーカー２１にて示される情報を解析する解析処理、解析された情報に基づいて、実画像２０と記憶部１４に記憶されている仮想画像２３とを合成する画像合成処理等の各種処理を実行する。
【００２７】
次に、制御部１２による画像合成方法について説明する。
本実施形態の画像合成方法は、画像合成装置１に設けられ、撮像部１０にて撮影するための操作部１８であるシャッターが操作されて処理が開始される。このとき、画像合成装置１が、デジタルカメラなどのように、単に実画像を撮影するときと、合成画像を生成するときとで処理を切り替えるスイッチが操作部１８に設けられていてもよい。また、常に合成画像を生成する処理が実行されるように設定されており、撮影された実画像にマーカー２１が検出されたときのみ合成画像を生成する処理を実行することとしてもよい。
【００２８】
本実施形態は、前述したように、画像合成装置１の撮像部１０にて撮影するときに、撮影範囲内に、ＱＲコード(登録商標)やバーコードなどの位置情報が対応づけられた位置情報被写体としてのマーカー２１に対応づけられた情報に基づいて合成画像２４を生成する。
【００２９】
本実施形態では、互いに異なる位置情報が対応づけられた２つのマーカー２１を用いて説明する。２つのマーカー２１を区別するために、一方のマーカー２１をＡマーカー２１ａ、他方のマーカー２１をＢマーカー２１ｂとして説明する。ここで、Ａマーカー２１ａ及びＢマーカー２１ｂには、マーカー位置情報として、設けられている位置のｘ座標、ｙ座標、ｚ座標と、Ａマーカー２１ａ及びＢマーカー２１ｂの実際の大きさを示す情報が対応付けられている。
【００３０】
図２は、本実施形態の画像合成方法の施工時における処理を説明するためのフローチャートである。図３は、本実施形態の画像合成方法の竣工後における処理を説明するためのフローチャートである。図４は、施工時実画像およびその撮影範囲を示す図である。図５は、施工時実画像の画像データ、Ａマーカーの位置情報、撮影情報を３Ｄモデルと対応づけるイメージを示す図である。
【００３１】
本実施形態では、まず、コンクリート構造物の施工時に、例えば壁３０のコンクリートが打設される前の状態を撮影する。このとき、撮影する撮影範囲内に第１位置情報被写体としてのＡマーカー２１ａが含まれるように撮影する。Ａマーカー２１ａには、Ａマーカー２１ａが設けられている地球上の位置、または、コンクリート構造物上の位置がｘ座標、ｙ座標、ｚ座標にて示されるマーカー位置情報として対応づけられている。このＡマーカー２１ａは、対応づけられているｘ座標、ｙ座標、ｚ座標が第１位置に相当し、ｘ座標、ｙ座標、ｚ座標のマーカー位置情報に基づいて、ＧＰＳ、位置センサーなどにより、位置が正確に計測されて配置されている。ここで、施工時におけるコンクリートが打設される前の鉄筋３１が配筋された部位及びＡマーカー２１ａを含む領域が第１領域に相当する。
【００３２】
制御部１２は、シャッターが操作されると撮像部１０にて被写体となる第１領域を撮影し、撮影された第１領域画像としての施工時実画像２０ａを構成する各画素の画像データを生成し（撮影工程Ｓ１）、生成した施工時実画像２０ａの画像データを記憶部１４の情報記憶領域１４ａに記憶する（記憶工程Ｓ２）。ここでは、図４に示すような撮影範囲Ｆ１にて撮影されたとする。図４に示すように、壁３０が形成される部位には、縦横に鉄筋３１が配筋されている。
【００３３】
このとき、制御部１２は実画像の撮影時に撮像部１０から取得した情報に基づき、一般的なカメラにも搭載されているオートフォーカス機構の原理を利用して、例えば、レンズの上半分と下半分にて生じる重心位置の違いを利用して被写体と、撮像部１０の視点位置との距離を計測する（Ｓ３）。また、デジタルコンパスなどを用いて、画像合成装置１による撮影方向を特定する（Ｓ３）。計測した距離と特定した撮影方向とを撮影位置情報として記憶部１４の情報記憶領域１４ａに記憶する（Ｓ４）。
【００３４】
このように、コンクリート構造物の所望の位置にて撮影し生成した施工時実画像２０ａの画像データを、撮影する毎にマーカー２１のｘ座標、ｙ座標、ｚ座標を示すマーカー位置情報と、撮影時の被写体との距離及び方向を示す撮影位置情報とともに、図５に示すような情報記憶領域１４ａに記憶されているコンクリート構造物の３Ｄモデル３３上に対応づけて記憶する（Ｓ５）。ここで、コンクリート構造物の施工時に撮影する被写体は、配筋状態を示すものに限らず、配管状態、配線状態などであっても構わない。
【００３５】
図６（ａ）は、竣工後実画像の撮影範囲を示す図であり、図６（ｂ）は、使用者による領域の指定がなされた際の表示を説明するための図であり、図６（ｃ）は、表示部に表示された合成画像を示す図である。図７は、施工前実画像の撮影方向を竣工後の撮影方向と合わせた仮想画像を示す図である。
【００３６】
次に、図６に示すように、例えば、コンクリート構造物の竣工後に、施工時にＡマーカー２１ａとともに配筋状態を撮影した壁３０に第２位置情報被写体としてのＢマーカー２１ｂを貼り付け、このＢマーカー２１ｂが撮影範囲に含まれるように撮影する。Ｂマーカー２１ｂには、Ｂマーカー２１ｂが設けられている地球上の位置、または、コンクリート構造物上の位置がｘ座標、ｙ座標、ｚ座標にて示されるマーカー位置情報として対応づけられている。このＢマーカー２１ｂは、対応づけられているｘ座標、ｙ座標、ｚ座標が第２位置に相当し、ｘ座標、ｙ座標、ｚ座標のマーカー位置情報に基づいて、ＧＰＳ、位置センサーなどにより正確に計測して配置する。ここで、竣工後におけるコンクリートが打設された後の壁３０及びＢマーカー２１ｂを含む領域が第２領域に相当する。
【００３７】
制御部１２は、シャッターが操作されると撮像部１０にて被写体を撮影し、撮影された竣工後実画像２０ｂを構成する各画素の画像データを生成し（Ｓ１１）、生成した竣工後実画像２０ｂの画像データを記憶部１４の画像仮想展開領域１４ｂに記憶する（Ｓ１２）。ここでは、図６（ａ）に示すような撮影範囲Ｆ２にて撮影されたとする。図６（ａ）に示すように、Ｂマーカー２１ｂが貼り付けられた壁３０が、施工時実画像２０ａと相違する角度、例えば正面から撮影されている。
【００３８】
このとき、制御部１２は、Ｂマーカー２１ｂに対応づけられたマーカー位置情報を取得するとともに、壁３０と撮像部１０の視点位置との距離を計測し、また、デジタルコンパスなどを用いて、画像合成装置１による撮影方向を特定し、特定した撮影方向と計測された距離とを撮影位置情報として記憶部１４の情報記憶領域１４ａに記憶する（Ｓ１３）。
【００３９】
次に、制御部１２は、竣工後の撮影時の撮影位置及び撮影方向に基づいて、情報記憶領域１４ａに記憶されているコンクリート構造物の３Ｄモデル３３上にて、撮影方向に含まれる位置に対応づけられた施工時実画像２０ａの有無を判定する（Ｓ１４）。このとき、竣工後実画像２０ｂにてＢマーカー２１ｂが貼り付けられた壁３０は、施工時にＡマーカー２１ａが設けられていた配筋が埋設されている壁３０なので、Ａマーカー２１ａとともに撮影された施工時実画像２０ａが検出される。このとき、撮影方向に含まれる位置に対応づけられた施工時実画像２０ａが情報記憶領域１４ａに記憶されていない場合には、処理を終了し、竣工後実画像が表示部１６に表示されている。
【００４０】
Ａマーカー２１ａに対応づけられた施工時実画像２０ａが検出されると、制御部１２は、画像仮想展開領域１４ｂに記憶された竣工後実画像２０ｂの画像データに基づいて、表示部１６に竣工後実画像２０ｂを表示するとともに、施工時の配筋の状態を見たい領域をタッチパネルから入力することを促すメッセージを表示する（Ｓ１５）。
【００４１】
使用者は、このメッセージに従い、タッチパネルから、例えば、図６（ｂ）に示すように壁３０が表示された領域に枠３２を描くようになぞり、配筋状態を見たい領域を指定する。このとき、表示部１６の画像には、使用者がなぞった枠が描かれる。
【００４２】
次に、Ａマーカー２１ａとともに撮影された施工時実画像２０ａに対応づけて記憶されているマーカー位置情報及び撮影位置情報を情報記憶領域１４ａから取得し（Ｓ１６）、施工時実画像２０ａの画像データを解析して撮影方向に対する壁３０の傾きを算出する（Ｓ１７）。たとえば、施工時実画像２０ａは、図２に示すように、表示部１６上にて壁３０の右端側の高さを示す長さが壁３０の左端側の高さを示す長さより短く表示されている。このため、Ａマーカー２１ａの右端側の長さ、Ａマーカー２１ａの左端側の長さ、及び、Ａマーカー２１ａの幅を施工時実画像２０ａの画像データから計測する。計測した値と、情報記憶領域１４ａに記憶されているＡマーカー２１ａの実際の大きさから撮影方向に対する壁３０の傾きを算出する。
【００４３】
次に、Ｂマーカー２１ｂとともに撮影された竣工後実画像２０ｂに対応づけて記憶されているマーカー位置情報及び撮影位置情報を情報記憶領域１４ａから取得し、竣工後実画像２０ｂの画像データを解析して撮影方向に対する壁３０の傾きを算出する（Ｓ１８）。このとき、竣工後実画像２０ｂは、図６に示すように、壁３０の右端側の高さと壁３０の左端側の高さとが等しいので、竣工後実画像２０ｂの撮影方向は壁３０に対して直交する正面からの撮影であることが検出される。また、算出した施工時実画像２０ａと竣工後実画像２０ｂの撮影方向及び傾きと、Ａマーカー２１ａ及びＢマーカー２１ｂのマーカー位置情報とから、施工時実画像２０ａと竣工後実画像２０ｂとの撮影位置のズレを算出する。
【００４４】
そして、施工時実画像２０ａと竣工後実画像２０ｂの撮影方向及び傾きと、施工時実画像２０ａと竣工後実画像２０ｂとの撮影位置のズレとに基づいて、施工時実画像２０ａの画像データを加工して、図７に示すように、施工時実画像２０ａを、竣工後実画像２０ｂの撮影方向と同じ方向から撮影したように位置決めした仮想画像２３に加工する（Ｓ１９）。
【００４５】
次に、施工時実画像２０ａを加工した仮想画像２３を、使用者によりタッチパネルから指定された領域の大きさにすべく、指定された領域の外側の画像を削除し（Ｓ２０）、指定された領域の画像に加工された仮想画像２３の画像データを、画像仮想展開領域１４ｂに記憶されている竣工後実画像２０ｂの画像データを書き換える（Ｓ２１）。これにより、図６（ｃ）に示すように、竣工後実画像の指定された領域に配筋の状態が示された仮想画像が合成された合成画像２４が生成される。ここで、図３におけるＳ１９〜Ｓ２１の処理が画像合成工程に相当する。
【００４６】
最後に、画像仮想展開領域１４ｂに記憶されている合成画像２４の画像データに基づいて合成画像２４を表示部１６に表示する（Ｓ２２）。
【００４７】
本実施形態の画像合成方法によれば、Ａマーカー２１ａにより位置が特定された施工時実画像２０ａと、Ｂマーカー２１ｂにより位置が特定され、施工時にＡマーカー２１ａとともに撮影された領域を含み、竣工後にＢマーカー２１ｂを含む領域を撮影した竣工後実画像２０ｂと、をＡマーカー２１ａに対応づけられたｘ座標、ｙ座標、ｚ座標とＢマーカー２１ｂに対応づけられたｘ座標、ｙ座標、ｚ座標とに基づいて位置決めし、使用者に指定された領域に合わせた仮想画像２３を形成して合成するので、施工時実画像２０ａから加工した仮想画像２３を竣工後実画像２０ｂの、より正確な位置に合成することが可能である。このとき、施工時実画像２０ａにはＡマーカー２１ａが含まれており、竣工後実画像２０ｂにはＢマーカー２１ｂが含まれているので、施工時実画像２０ａ及び竣工後実画像２０ｂを撮影するだけで施工時実画像２０ａから加工した仮想画像２３及び竣工後実画像２０ｂの位置を容易に特定し、施工時実画像２０ａから加工した仮想画像２３と竣工後実画像２０ｂとを位置的に対応づけることが可能である。このため、施工時実画像２０ａから加工した仮想画像２３を竣工後実画像２０ｂに、より正確に配置して容易に合成することが可能である。
【００４８】
また、竣工後実画像２０ｂの画像データに合成する施工時実画像２０ａの画像データは、施工時と竣工後の撮影時の、撮影位置、視点からの距離及び撮影方向が互いに相違したとしても、施工時実画像２０ａを竣工後実画像２０ｂの撮影位置、視点からの距離及び撮影方向に対応させて加工するので、施工時実画像２０ａを竣工後実画像２０ｂと同じ距離及び同じ方向から撮影したような仮想画像２３として生成することが可能である。そして、生成した仮想画像２３を竣工後実画像２０に合成するので、一度に撮影したように重ね合わせられた合成画像を生成することが可能である。
【００４９】
また、施工時実画像２０ａは、Ａマーカー２１ａに対応づけられたマーカー位置情報、撮影時に計測された視点との距離、及び、撮影の方向に基づいて、３Ｄモデル３３に対応づけて記憶されているので、撮影された二次元の施工時実画像２０ａを、撮影する被写体を立体的にモデル化した３Ｄモデル３３に対応づけることにより、施工時実画像２０ａに三次元の座標情報を付して記憶しておくことが可能である。
【００５０】
上記実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることはいうまでもない。
【００５１】
上記実施形態においては、Ａマーカー２１ａを正確な位置に配置した例について説明したが、必ずしもＡマーカー２１ａが正確に計測された位置に設けられている必要はなく、たとえば、Ａマーカー２１ａとは異なり正確に計測された基準マーカー等が設けられており、基準マーカーとＡマーカー２１ａとが撮影範囲に含まれるように撮影した実画像を解析して、Ａマーカー２１ａの正確な位置を算出しても構わない。
【００５２】
上記実施形態では、静止画像を合成する例について説明したが、動画を合成する場合には、動画のフレームレートに合わせて、合成した画像を生成して表示すればよい。例えば、フレームレートが１５ｆｐｓであれば、１秒間に１５回、上記のように画像の合成処理を繰り返し表示部の画像を書き換えることにより実現可能である。
【符号の説明】
【００５３】
１ 画像合成装置
１０ 撮像部
１２ 制御部
１４ 記憶部
１４ａ 情報記憶領域
１４ｂ 画像仮想展開領域
１６ 表示部
１６ａ 液晶パネル
１８ 操作部
１８ａ タッチパネル
２０ 実画像
２０ａ 施工時実画像
２０ｂ 竣工後実画像
２１ マーカー
２１ａ Ａマーカー
２１ｂ Ｂマーカー
２３ 仮想画像
２４ 合成画像
３０ 壁
３１ 鉄筋
３２ 枠
３３ ３Ｄモデル
Ｆ１ 施工時における撮影範囲
Ｆ２ 竣工後における撮影範囲
【技術分野】
【０００１】
本発明は、撮影した実画像と予め用意した仮想画像とを合成する画像合成方法に関する。
【背景技術】
【０００２】
撮影した実画像と予め用意した仮想画像などの付加画像とを合成する画像合成方法としては、例えば、撮影する被写体がマーカーを有しており、マーカーが配置されている実表面に仮想画像を、実質的に同一平面となるように合成して合成画像を生成する画像合成方法が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０―４９６９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来の画像合成方法は、仮想画像を、実表面に同一平面となるように配置しているが、実画像と仮想画像とは、同一平面内における位置も、より正確に合わせて合成したい場合がある。このため、予め用意した仮想画像の各画素のデータを撮影した実画像上の正確な位置に配置する場合には、作業が煩雑で、多大な時間とコストを費やさなければならないという課題がある。
【０００５】
本発明は、かかる課題に鑑みてなされたものであり、その目的とするところは、仮想画像を、撮影された実画像により正確かつ容易に配置して合成することが可能な画像合成方法を提供することにある。
【課題を解決するための手段】
【０００６】
かかる目的を達成するために本発明の画像合成方法は、第１領域を撮影する際の撮影範囲内に、位置を特定可能な第１位置情報被写体を含ませて前記第１領域を撮影して第１領域画像の画像データを生成する撮影工程と、前記第１領域画像と、前記第１位置情報被写体にて特定される第１位置と、を対応づけて記憶する記憶工程と、前記第１領域を含む第２領域に第２位置情報被写体を含ませて前記第２領域を撮影した第２領域画像の画像データに、前記第２位置情報被写体にて特定される第２位置と前記第１位置とに基づいて位置決めして前記第１領域画像の画像データを合成する画像合成工程と、を有することを特徴とする画像合成方法である。
【０００７】
このような画像合成方法によれば、第１位置情報被写体により位置が特定された第１領域画像と、第２位置情報被写体により位置が特定され、第１領域を含む第２領域を撮影した第２領域画像と、が第２位置と第１位置とに基づいて位置決めして合成されるので、第１領域画像を第２領域画像の、より正確な位置に合成することが可能である。このとき、第１領域画像には第１位置情報被写体が含まれており、第２領域画像には第２位置情報被写体が含まれているので、第１領域画像及び第２領域画像を撮影するだけで第１領域画像及び第２領域画像の位置を容易に特定し、第１領域画像と第２領域画像とを位置的に対応づけることが可能である。このため、第１領域画像を第２領域画像に、より正確かつ容易に配置して合成することが可能である。
【０００８】
かかる画像合成方法であって、前記第１領域の撮影時及び前記第２領域の撮影時には、撮影の視点と前記第１位置情報被写体及び前記第２位置情報被写体との距離を計測するとともに撮影の方向を特定し、特定した前記視点との距離、前記撮影方向、及び、前記第１位置情報被写体及び前記第２位置情報被写体のマーカー位置情報に基づいて、前記第２領域画像の画像データに合成する前記第１領域画像の画像データを加工して、前記第１領域画像と合成することが望ましい。
【０００９】
このような画像合成方法によれば、第２領域画像の画像データに合成する第１領域画像の画像データは、第１領域の撮影時及び第２領域の撮影時に計測した、撮影の視点と第１位置情報被写体及び第２位置情報被写体との距離、撮影の方向、及び、第１位置情報被写体と第２位置情報被写体のマーカー位置情報に基づいて加工するので、第２領域画像と第１領域画像とが、撮影する際の距離及び撮影方向が互いに相違したとしても、第１領域画像を第２領域画像に対応させて加工し、同じ距離及び同じ方向から撮影したような画像とすることが可能であり、一度に撮影したような合成画像を生成することが可能である。
【００１０】
かかる画像合成方法であって、前記第１領域画像は、前記第１位置情報被写体に対応づけられたマーカー位置情報、撮影時に計測された前記視点との距離、及び、前記撮影の方向に基づいて、撮影する被写体を立体的にモデル化した立体モデルに対応づけて記憶されていることが望ましい。
【００１１】
このような画像合成装置によれば、第１領域画像は、第１位置情報被写体に対応づけられたマーカー位置情報、撮影時に計測された視点との距離、及び、撮影の方向に基づいて、立体モデルに対応づけて記憶されているので、撮影された二次元の第１領域画像を、撮影する被写体を立体的にモデル化した立体モデルに対応づけることにより、第１領域画像に三次元の座標情報を付して記憶しておくことが可能である。
【発明の効果】
【００１２】
本発明によれば、仮想画像を撮影された実画像により正確に配置して容易に合成することが可能な画像合成方法を提供することが可能である。
【図面の簡単な説明】
【００１３】
【図１】本発明に係る画像合成方法を実現するための装置の一例を示すブロック図である。
【図２】本実施形態の画像合成方法の施工時における処理を説明するためのフローチャートである。
【図３】本実施形態の画像合成方法の竣工後における処理を説明するためのフローチャートである。
【図４】施工時実画像及びその撮影範囲を示す図である。
【図５】施工時実画像の画像データ、Ａマーカーの位置情報、撮影情報を３Ｄモデルと対応づけるイメージを示す図である。
【図６】図６（ａ）は、竣工後実画像の撮影範囲を示す図であり、図６（ｂ）は、使用者による領域の指定がなされた際の表示を説明するための図であり、図６（ｃ）は、表示部に表示された合成画像を示す図である。
【図７】施工前実画像の撮影方向を竣工後の撮影方向と合わせた仮想画像を示す図である。
【発明を実施するための形態】
【００１４】
本実施形態の画像合成方法は、例えば、竣工後のコンクリート構造物の壁などを撮影して、撮影した壁の施工時における配筋の状況を合成画像にて表示する場合などに用いられる。
【００１５】
以下、本発明の一実施形態について図面を用いて詳細に説明する。
図１は、本発明に係る画像合成方法を実現するための装置の一例を示すブロック図である。
【００１６】
本実施形態の画像合成方法を実現するための画像合成装置１は、被写体を撮影する撮像部１０と、撮影した被写体の実画像と予め形成されている仮想画像とを合成する処理を含み画像合成装置１を制御する制御部１２と、画像を合成するために必要な各種情報やデータが記憶される記憶部１４と、合成された合成画像を表示する表示部１６と、本画像合成装置１を操作するための操作部１８と、を有している。
【００１７】
本実施形態の画像合成装置１は、例えば、撮像部１０と、撮影した画像を表示する表示部１６とを有し持ち運び可能な、例えばデジタルカメラ、デジタルビデオカメラ、携帯電話、携帯情報端末（ＰＤＡ）、モバイルコンピュータなどに、画像合成処理が実行可能なプログラムが記憶されている。
【００１８】
そして、画像合成装置１の使用者が、被写体を撮影すると、表示部１６に撮影された実画像が表示される。このとき、撮影された実画像２０（図４）に、予め設定された、例えば、ＱＲコード(登録商標)やバーコードなどの、所定の合成情報が対応づけられた画像対応被写体としてのマーカー２１が含まれていた場合には、マーカー２１を検出して情報を取得し、取得した情報に基づいて、撮影した実画像２０と予め記憶されている仮想画像２３（図６）とを合成した合成画像２４（図６）を生成し合成画像２４が表示部１６に表示されるように構成されている。
【００１９】
撮像部１０は、例えば、デジタルカメラやデジタルビデオカメラのような、撮影により、画像を構成する複数の画素の各画像データを生成するＣＣＤセンサーなどの撮像素子により、光情報を電気情報に変換するように構成されている。
【００２０】
表示部１６は、画像を構成する複数の画素の画像データを、各素子に対応させて表示することが可能な、例えば液晶パネル１６ａであり、液晶パネル１６ａの表面には重ねて設けられた透光性を有するタッチパネル１８ａとを有している。ここで、各画素の画像データとは、例えば、各画素をＲ（レッド）成分、Ｇ（グリーン）成分、Ｂ（ブルー）成分に分解した各成分を示すデータである。
【００２１】
操作部１８は、画像合成装置１を使用する使用者が、画像合成装置１に対し撮影等の操作を行ったり、設定を変更するなどの操作を行う部位であり、少なくとも実画像２０を撮影するための所謂シャッターを有している。ここで、タッチパネル１８ａも操作部１８に含まれる。
【００２２】
記憶部１４は、本画像合成装置１にて合成画像を生成するための各種情報が記憶されており、また、情報が記憶される情報記憶領域１４ａと、合成画像を生成する処理の中で画像データが書き換えられていく作業領域となる画像仮想展開領域１４ｂとを有している。
【００２３】
情報記憶領域１４ａには、位置情報に対応づけられた仮想画像２３を特定する情報、仮想画像２３の画像データ、仮想画像２３の実画像２０に対して配置すべき位置を示す位置情報、などが記憶されている。また、情報記憶領域１４ａには、撮影時に計測された撮像部１０の視点から被写体までの距離を示す情報等、算出された情報も記憶される。また、情報記憶領域１４ａには、被写体となるコンクリート構造物を立体的にモデル化した立体モデルとしての３Ｄモデルのデータも記憶されている。
【００２４】
画像仮想展開領域１４ｂは、撮影された画像データが画素毎に記憶される記憶領域である。上述したように、各画素の画像データはＲ，Ｇ，Ｂの３つの成分を示すデータを有するので、画像仮想展開領域１４ｂは、合成画像を構成する画素数の３倍の記憶領域を有している。
【００２５】
画像仮想展開領域１４ｂに記憶される画像データは、合成画像を生成する際には必要に応じて対応する画素の画像データが書き換えられる。そして、画像仮想展開領域１４ｂに画素毎に記憶された３つのデータは、各画素の画像データが書き換えられる場合には、Ｒ成分、Ｇ成分、Ｂ成分の各データがそれぞれ書き換えられる。このとき、画像仮想展開領域１４ｂは、記憶領域が表示部１６または撮像部１０の素子と同様に配列されている必要はなく、各記憶領域の画像データが、表示部１６または撮像部１０の素子と対応づけられて記憶されていればよい。
【００２６】
制御部１２は、使用者により操作部１８が操作されることにより、撮像部１０や表示部１６を制御したり、撮影された実画像２０の画像データからマーカー２１を検出し、マーカー２１にて示される情報を解析する解析処理、解析された情報に基づいて、実画像２０と記憶部１４に記憶されている仮想画像２３とを合成する画像合成処理等の各種処理を実行する。
【００２７】
次に、制御部１２による画像合成方法について説明する。
本実施形態の画像合成方法は、画像合成装置１に設けられ、撮像部１０にて撮影するための操作部１８であるシャッターが操作されて処理が開始される。このとき、画像合成装置１が、デジタルカメラなどのように、単に実画像を撮影するときと、合成画像を生成するときとで処理を切り替えるスイッチが操作部１８に設けられていてもよい。また、常に合成画像を生成する処理が実行されるように設定されており、撮影された実画像にマーカー２１が検出されたときのみ合成画像を生成する処理を実行することとしてもよい。
【００２８】
本実施形態は、前述したように、画像合成装置１の撮像部１０にて撮影するときに、撮影範囲内に、ＱＲコード(登録商標)やバーコードなどの位置情報が対応づけられた位置情報被写体としてのマーカー２１に対応づけられた情報に基づいて合成画像２４を生成する。
【００２９】
本実施形態では、互いに異なる位置情報が対応づけられた２つのマーカー２１を用いて説明する。２つのマーカー２１を区別するために、一方のマーカー２１をＡマーカー２１ａ、他方のマーカー２１をＢマーカー２１ｂとして説明する。ここで、Ａマーカー２１ａ及びＢマーカー２１ｂには、マーカー位置情報として、設けられている位置のｘ座標、ｙ座標、ｚ座標と、Ａマーカー２１ａ及びＢマーカー２１ｂの実際の大きさを示す情報が対応付けられている。
【００３０】
図２は、本実施形態の画像合成方法の施工時における処理を説明するためのフローチャートである。図３は、本実施形態の画像合成方法の竣工後における処理を説明するためのフローチャートである。図４は、施工時実画像およびその撮影範囲を示す図である。図５は、施工時実画像の画像データ、Ａマーカーの位置情報、撮影情報を３Ｄモデルと対応づけるイメージを示す図である。
【００３１】
本実施形態では、まず、コンクリート構造物の施工時に、例えば壁３０のコンクリートが打設される前の状態を撮影する。このとき、撮影する撮影範囲内に第１位置情報被写体としてのＡマーカー２１ａが含まれるように撮影する。Ａマーカー２１ａには、Ａマーカー２１ａが設けられている地球上の位置、または、コンクリート構造物上の位置がｘ座標、ｙ座標、ｚ座標にて示されるマーカー位置情報として対応づけられている。このＡマーカー２１ａは、対応づけられているｘ座標、ｙ座標、ｚ座標が第１位置に相当し、ｘ座標、ｙ座標、ｚ座標のマーカー位置情報に基づいて、ＧＰＳ、位置センサーなどにより、位置が正確に計測されて配置されている。ここで、施工時におけるコンクリートが打設される前の鉄筋３１が配筋された部位及びＡマーカー２１ａを含む領域が第１領域に相当する。
【００３２】
制御部１２は、シャッターが操作されると撮像部１０にて被写体となる第１領域を撮影し、撮影された第１領域画像としての施工時実画像２０ａを構成する各画素の画像データを生成し（撮影工程Ｓ１）、生成した施工時実画像２０ａの画像データを記憶部１４の情報記憶領域１４ａに記憶する（記憶工程Ｓ２）。ここでは、図４に示すような撮影範囲Ｆ１にて撮影されたとする。図４に示すように、壁３０が形成される部位には、縦横に鉄筋３１が配筋されている。
【００３３】
このとき、制御部１２は実画像の撮影時に撮像部１０から取得した情報に基づき、一般的なカメラにも搭載されているオートフォーカス機構の原理を利用して、例えば、レンズの上半分と下半分にて生じる重心位置の違いを利用して被写体と、撮像部１０の視点位置との距離を計測する（Ｓ３）。また、デジタルコンパスなどを用いて、画像合成装置１による撮影方向を特定する（Ｓ３）。計測した距離と特定した撮影方向とを撮影位置情報として記憶部１４の情報記憶領域１４ａに記憶する（Ｓ４）。
【００３４】
このように、コンクリート構造物の所望の位置にて撮影し生成した施工時実画像２０ａの画像データを、撮影する毎にマーカー２１のｘ座標、ｙ座標、ｚ座標を示すマーカー位置情報と、撮影時の被写体との距離及び方向を示す撮影位置情報とともに、図５に示すような情報記憶領域１４ａに記憶されているコンクリート構造物の３Ｄモデル３３上に対応づけて記憶する（Ｓ５）。ここで、コンクリート構造物の施工時に撮影する被写体は、配筋状態を示すものに限らず、配管状態、配線状態などであっても構わない。
【００３５】
図６（ａ）は、竣工後実画像の撮影範囲を示す図であり、図６（ｂ）は、使用者による領域の指定がなされた際の表示を説明するための図であり、図６（ｃ）は、表示部に表示された合成画像を示す図である。図７は、施工前実画像の撮影方向を竣工後の撮影方向と合わせた仮想画像を示す図である。
【００３６】
次に、図６に示すように、例えば、コンクリート構造物の竣工後に、施工時にＡマーカー２１ａとともに配筋状態を撮影した壁３０に第２位置情報被写体としてのＢマーカー２１ｂを貼り付け、このＢマーカー２１ｂが撮影範囲に含まれるように撮影する。Ｂマーカー２１ｂには、Ｂマーカー２１ｂが設けられている地球上の位置、または、コンクリート構造物上の位置がｘ座標、ｙ座標、ｚ座標にて示されるマーカー位置情報として対応づけられている。このＢマーカー２１ｂは、対応づけられているｘ座標、ｙ座標、ｚ座標が第２位置に相当し、ｘ座標、ｙ座標、ｚ座標のマーカー位置情報に基づいて、ＧＰＳ、位置センサーなどにより正確に計測して配置する。ここで、竣工後におけるコンクリートが打設された後の壁３０及びＢマーカー２１ｂを含む領域が第２領域に相当する。
【００３７】
制御部１２は、シャッターが操作されると撮像部１０にて被写体を撮影し、撮影された竣工後実画像２０ｂを構成する各画素の画像データを生成し（Ｓ１１）、生成した竣工後実画像２０ｂの画像データを記憶部１４の画像仮想展開領域１４ｂに記憶する（Ｓ１２）。ここでは、図６（ａ）に示すような撮影範囲Ｆ２にて撮影されたとする。図６（ａ）に示すように、Ｂマーカー２１ｂが貼り付けられた壁３０が、施工時実画像２０ａと相違する角度、例えば正面から撮影されている。
【００３８】
このとき、制御部１２は、Ｂマーカー２１ｂに対応づけられたマーカー位置情報を取得するとともに、壁３０と撮像部１０の視点位置との距離を計測し、また、デジタルコンパスなどを用いて、画像合成装置１による撮影方向を特定し、特定した撮影方向と計測された距離とを撮影位置情報として記憶部１４の情報記憶領域１４ａに記憶する（Ｓ１３）。
【００３９】
次に、制御部１２は、竣工後の撮影時の撮影位置及び撮影方向に基づいて、情報記憶領域１４ａに記憶されているコンクリート構造物の３Ｄモデル３３上にて、撮影方向に含まれる位置に対応づけられた施工時実画像２０ａの有無を判定する（Ｓ１４）。このとき、竣工後実画像２０ｂにてＢマーカー２１ｂが貼り付けられた壁３０は、施工時にＡマーカー２１ａが設けられていた配筋が埋設されている壁３０なので、Ａマーカー２１ａとともに撮影された施工時実画像２０ａが検出される。このとき、撮影方向に含まれる位置に対応づけられた施工時実画像２０ａが情報記憶領域１４ａに記憶されていない場合には、処理を終了し、竣工後実画像が表示部１６に表示されている。
【００４０】
Ａマーカー２１ａに対応づけられた施工時実画像２０ａが検出されると、制御部１２は、画像仮想展開領域１４ｂに記憶された竣工後実画像２０ｂの画像データに基づいて、表示部１６に竣工後実画像２０ｂを表示するとともに、施工時の配筋の状態を見たい領域をタッチパネルから入力することを促すメッセージを表示する（Ｓ１５）。
【００４１】
使用者は、このメッセージに従い、タッチパネルから、例えば、図６（ｂ）に示すように壁３０が表示された領域に枠３２を描くようになぞり、配筋状態を見たい領域を指定する。このとき、表示部１６の画像には、使用者がなぞった枠が描かれる。
【００４２】
次に、Ａマーカー２１ａとともに撮影された施工時実画像２０ａに対応づけて記憶されているマーカー位置情報及び撮影位置情報を情報記憶領域１４ａから取得し（Ｓ１６）、施工時実画像２０ａの画像データを解析して撮影方向に対する壁３０の傾きを算出する（Ｓ１７）。たとえば、施工時実画像２０ａは、図２に示すように、表示部１６上にて壁３０の右端側の高さを示す長さが壁３０の左端側の高さを示す長さより短く表示されている。このため、Ａマーカー２１ａの右端側の長さ、Ａマーカー２１ａの左端側の長さ、及び、Ａマーカー２１ａの幅を施工時実画像２０ａの画像データから計測する。計測した値と、情報記憶領域１４ａに記憶されているＡマーカー２１ａの実際の大きさから撮影方向に対する壁３０の傾きを算出する。
【００４３】
次に、Ｂマーカー２１ｂとともに撮影された竣工後実画像２０ｂに対応づけて記憶されているマーカー位置情報及び撮影位置情報を情報記憶領域１４ａから取得し、竣工後実画像２０ｂの画像データを解析して撮影方向に対する壁３０の傾きを算出する（Ｓ１８）。このとき、竣工後実画像２０ｂは、図６に示すように、壁３０の右端側の高さと壁３０の左端側の高さとが等しいので、竣工後実画像２０ｂの撮影方向は壁３０に対して直交する正面からの撮影であることが検出される。また、算出した施工時実画像２０ａと竣工後実画像２０ｂの撮影方向及び傾きと、Ａマーカー２１ａ及びＢマーカー２１ｂのマーカー位置情報とから、施工時実画像２０ａと竣工後実画像２０ｂとの撮影位置のズレを算出する。
【００４４】
そして、施工時実画像２０ａと竣工後実画像２０ｂの撮影方向及び傾きと、施工時実画像２０ａと竣工後実画像２０ｂとの撮影位置のズレとに基づいて、施工時実画像２０ａの画像データを加工して、図７に示すように、施工時実画像２０ａを、竣工後実画像２０ｂの撮影方向と同じ方向から撮影したように位置決めした仮想画像２３に加工する（Ｓ１９）。
【００４５】
次に、施工時実画像２０ａを加工した仮想画像２３を、使用者によりタッチパネルから指定された領域の大きさにすべく、指定された領域の外側の画像を削除し（Ｓ２０）、指定された領域の画像に加工された仮想画像２３の画像データを、画像仮想展開領域１４ｂに記憶されている竣工後実画像２０ｂの画像データを書き換える（Ｓ２１）。これにより、図６（ｃ）に示すように、竣工後実画像の指定された領域に配筋の状態が示された仮想画像が合成された合成画像２４が生成される。ここで、図３におけるＳ１９〜Ｓ２１の処理が画像合成工程に相当する。
【００４６】
最後に、画像仮想展開領域１４ｂに記憶されている合成画像２４の画像データに基づいて合成画像２４を表示部１６に表示する（Ｓ２２）。
【００４７】
本実施形態の画像合成方法によれば、Ａマーカー２１ａにより位置が特定された施工時実画像２０ａと、Ｂマーカー２１ｂにより位置が特定され、施工時にＡマーカー２１ａとともに撮影された領域を含み、竣工後にＢマーカー２１ｂを含む領域を撮影した竣工後実画像２０ｂと、をＡマーカー２１ａに対応づけられたｘ座標、ｙ座標、ｚ座標とＢマーカー２１ｂに対応づけられたｘ座標、ｙ座標、ｚ座標とに基づいて位置決めし、使用者に指定された領域に合わせた仮想画像２３を形成して合成するので、施工時実画像２０ａから加工した仮想画像２３を竣工後実画像２０ｂの、より正確な位置に合成することが可能である。このとき、施工時実画像２０ａにはＡマーカー２１ａが含まれており、竣工後実画像２０ｂにはＢマーカー２１ｂが含まれているので、施工時実画像２０ａ及び竣工後実画像２０ｂを撮影するだけで施工時実画像２０ａから加工した仮想画像２３及び竣工後実画像２０ｂの位置を容易に特定し、施工時実画像２０ａから加工した仮想画像２３と竣工後実画像２０ｂとを位置的に対応づけることが可能である。このため、施工時実画像２０ａから加工した仮想画像２３を竣工後実画像２０ｂに、より正確に配置して容易に合成することが可能である。
【００４８】
また、竣工後実画像２０ｂの画像データに合成する施工時実画像２０ａの画像データは、施工時と竣工後の撮影時の、撮影位置、視点からの距離及び撮影方向が互いに相違したとしても、施工時実画像２０ａを竣工後実画像２０ｂの撮影位置、視点からの距離及び撮影方向に対応させて加工するので、施工時実画像２０ａを竣工後実画像２０ｂと同じ距離及び同じ方向から撮影したような仮想画像２３として生成することが可能である。そして、生成した仮想画像２３を竣工後実画像２０に合成するので、一度に撮影したように重ね合わせられた合成画像を生成することが可能である。
【００４９】
また、施工時実画像２０ａは、Ａマーカー２１ａに対応づけられたマーカー位置情報、撮影時に計測された視点との距離、及び、撮影の方向に基づいて、３Ｄモデル３３に対応づけて記憶されているので、撮影された二次元の施工時実画像２０ａを、撮影する被写体を立体的にモデル化した３Ｄモデル３３に対応づけることにより、施工時実画像２０ａに三次元の座標情報を付して記憶しておくことが可能である。
【００５０】
上記実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることはいうまでもない。
【００５１】
上記実施形態においては、Ａマーカー２１ａを正確な位置に配置した例について説明したが、必ずしもＡマーカー２１ａが正確に計測された位置に設けられている必要はなく、たとえば、Ａマーカー２１ａとは異なり正確に計測された基準マーカー等が設けられており、基準マーカーとＡマーカー２１ａとが撮影範囲に含まれるように撮影した実画像を解析して、Ａマーカー２１ａの正確な位置を算出しても構わない。
【００５２】
上記実施形態では、静止画像を合成する例について説明したが、動画を合成する場合には、動画のフレームレートに合わせて、合成した画像を生成して表示すればよい。例えば、フレームレートが１５ｆｐｓであれば、１秒間に１５回、上記のように画像の合成処理を繰り返し表示部の画像を書き換えることにより実現可能である。
【符号の説明】
【００５３】
１ 画像合成装置
１０ 撮像部
１２ 制御部
１４ 記憶部
１４ａ 情報記憶領域
１４ｂ 画像仮想展開領域
１６ 表示部
１６ａ 液晶パネル
１８ 操作部
１８ａ タッチパネル
２０ 実画像
２０ａ 施工時実画像
２０ｂ 竣工後実画像
２１ マーカー
２１ａ Ａマーカー
２１ｂ Ｂマーカー
２３ 仮想画像
２４ 合成画像
３０ 壁
３１ 鉄筋
３２ 枠
３３ ３Ｄモデル
Ｆ１ 施工時における撮影範囲
Ｆ２ 竣工後における撮影範囲
【特許請求の範囲】
【請求項１】
第１領域を撮影する際の撮影範囲内に、位置を特定可能な第１位置情報被写体を含ませて前記第１領域を撮影して第１領域画像の画像データを生成する撮影工程と、
前記第１領域画像と、前記第１位置情報被写体にて特定される第１位置と、を対応づけて記憶する記憶工程と、
前記第１領域を含む第２領域に第２位置情報被写体を含ませて前記第２領域を撮影した第２領域画像の画像データに、前記第２位置情報被写体にて特定される第２位置と前記第１位置とに基づいて位置決めして前記第１領域画像の画像データを合成する画像合成工程と、
を有することを特徴とする画像合成方法。
【請求項２】
請求項１に記載の画像合成方法であって、
前記第１領域の撮影時及び前記第２領域の撮影時には、撮影の視点と前記第１位置情報被写体及び前記第２位置情報被写体との距離を計測するとともに撮影の方向を特定し、
特定した前記視点との距離、前記撮影の方向、及び、前記第１位置情報被写体及び前記第２位置情報被写体のマーカー位置情報に基づいて、前記第２領域画像の画像データに合成する前記第１領域画像の画像データを加工して、前記第１領域画像と合成することを特徴とする画像合成方法。
【請求項３】
請求項２に記載の画像合成方法であって、
前記第１領域画像は、前記第１位置情報被写体に対応づけられたマーカー位置情報、撮影時に計測された前記視点との距離、及び、前記撮影の方向に基づいて、撮影する被写体を立体的にモデル化した立体モデルに対応づけて記憶されていることを特徴とする画像合成方法。
【請求項１】
第１領域を撮影する際の撮影範囲内に、位置を特定可能な第１位置情報被写体を含ませて前記第１領域を撮影して第１領域画像の画像データを生成する撮影工程と、
前記第１領域画像と、前記第１位置情報被写体にて特定される第１位置と、を対応づけて記憶する記憶工程と、
前記第１領域を含む第２領域に第２位置情報被写体を含ませて前記第２領域を撮影した第２領域画像の画像データに、前記第２位置情報被写体にて特定される第２位置と前記第１位置とに基づいて位置決めして前記第１領域画像の画像データを合成する画像合成工程と、
を有することを特徴とする画像合成方法。
【請求項２】
請求項１に記載の画像合成方法であって、
前記第１領域の撮影時及び前記第２領域の撮影時には、撮影の視点と前記第１位置情報被写体及び前記第２位置情報被写体との距離を計測するとともに撮影の方向を特定し、
特定した前記視点との距離、前記撮影の方向、及び、前記第１位置情報被写体及び前記第２位置情報被写体のマーカー位置情報に基づいて、前記第２領域画像の画像データに合成する前記第１領域画像の画像データを加工して、前記第１領域画像と合成することを特徴とする画像合成方法。
【請求項３】
請求項２に記載の画像合成方法であって、
前記第１領域画像は、前記第１位置情報被写体に対応づけられたマーカー位置情報、撮影時に計測された前記視点との距離、及び、前記撮影の方向に基づいて、撮影する被写体を立体的にモデル化した立体モデルに対応づけて記憶されていることを特徴とする画像合成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−１７５６６７（Ｐ２０１２−１７５６６７Ａ）
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願番号】特願２０１１−３８７５０（Ｐ２０１１−３８７５０）
【出願日】平成２３年２月２４日（２０１１．２．２４）
【出願人】（００００００５４９）株式会社大林組 (1,758)
【Ｆターム（参考）】
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願日】平成２３年２月２４日（２０１１．２．２４）
【出願人】（００００００５４９）株式会社大林組 (1,758)
【Ｆターム（参考）】
[ Back to top ]