画像合成装置および方法
【課題】ＡＲの技術を利用して、カメラで撮影された実写画像に含まれる対象物体の画像を実写画像から仮想的に消去することのできる画像合成装置を提供する。
【解決手段】画像合成装置１は、コピーマーカ２の位置を利用してサンプリング領域を設定し、サンプリング領域に含まれる画像からテクスチャを生成する。そして、画像合成装置１は、ペーストマーカ３の位置に合わせて、このテクスチャがシームレス化されて貼り付けられた仮想平面を実写画像に合成することで、対象物体４の画像を実写画像から仮想的に消去する。
【解決手段】画像合成装置１は、コピーマーカ２の位置を利用してサンプリング領域を設定し、サンプリング領域に含まれる画像からテクスチャを生成する。そして、画像合成装置１は、ペーストマーカ３の位置に合わせて、このテクスチャがシームレス化されて貼り付けられた仮想平面を実写画像に合成することで、対象物体４の画像を実写画像から仮想的に消去する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、実写映像にコンピュータグラフィックスを合成する拡張現実感（Augmented Reality）技術に関し、更に詳しくは、拡張現実感の技術を利用して、コンピュータグラフィックスを合成するときに邪魔になる物体の画像を、実写画像から仮想的に消去する技術に関する。
【背景技術】
【０００２】
拡張現実感（AR: Augmented Reality）とは、実写画像にコンピュータグラフィックス（CG: Computer Graphics）を合成することによって、人の知覚を補助したり、臨場感ある画像体験を実現したりするのに用いられる技術である。
【０００３】
非特許文献１および非特許文献２などに記載されているように、拡張現実感を実施する一般的なコンピュータ装置では、模様が印刷されたマーカを含むように実写画像をカメラで撮影し、コンピュータ装置が、マーカの模様からマーカの位置や傾きを演算し、マーカの位置とマーカの傾きに合わせてカメラが撮影した実写画像にＣＧを合成する。
【０００４】
しかし、マーカに対してＣＧのサイズが小さいと、ＣＧを合成した後に実写画像において、マーカがＣＧからはみ出して見えてしまうため、特許文献１では、マーカを消去するためのマーカ隠蔽用画像を予め用意しておき、カメラが撮影画像中のマーカ位置にＣＧを合成する際に、マーカ隠蔽用画像を撮影画像のマーカ位置に合成した上にＣＧを合成することで、マーカがＣＧからはみ出して見えてしまうことを防止する発明が開示されている。
【０００５】
しかしながら、ＣＧからはみ出して見えて困る画像はマーカだけではなく、実写画像に含まれる物体（例えば、机）の代わりにＣＧを合成させたいとき、実写画像に撮影されている物体の画像がＣＧからはみ出して見えてしまうことがある。
【０００６】
例えば、拡張現実感を利用して、何もない広い床面に机のＣＧを合成した場合、机のＣＧは床面に自然に合成されて見えるが、マーカ付近に実物の机や椅子など実在する物体が存在している場合、机のＣＧを合成した後の画像に実在する物体の画像の一部が残ってしまうと、不自然な印象を与えてしまう。
【０００７】
実物の机や椅子などの物体を移動させることができれば問題ないが、実在する物体を移動させることは困難な場合も多くあるため、実写画像にＣＧを合成するときには、ＣＧを合成するときに邪魔になる物体の画像を仮想的に実写画像から消去できることが望ましい。
【０００８】
【非特許文献１】Kato, H., Billinghurst, M. (1999)Marker Tracking and HMD Calibration for a video-based Augmented Reality Conferencing System.In Proceedings of the 2nd International Workshop on Augmented Reality (IWAR 99). October, San Francisco, USA.
【非特許文献２】Kato, H., Billinghurst, M., Poupyrev, I., Imamoto, K., Tachibana, K. (2000)Virtual Object Manipulation on a Table-Top AR Environment.In proceedings of the International Symposium on Augmented Reality, pp.111-119, (ISAR 2000),Munich, Germany.
【特許文献１】特開２００５−２３４７５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
そこで、本発明は、拡張現実感（AR: Augmented Reality）の技術を利用して、カメラで撮影された実写画像に含まれる対象物体の画像を実写画像から仮想的に消去することのできる画像合成装置および画像合成方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決する第１の発明は、拡張現実感（AR: Augmented Reality）で利用されるマーカの模様を記憶し、マーカの模様を利用して、カメラで撮影された実写画像に含まれる前記マーカを認識するマーカ認識手段と、前記マーカ認識手段が認識したマーカの模様から、前記マーカ認識手段が認識したマーカのマーカ座標系を演算し、それぞれのマーカ座標系からカメラ座標系への変換行列を演算する変換行列演算手段と、コピー元の画像を指定する前記マーカ（コピーマーカ）の位置と定められたオフセット値を利用して、前記コピーマーカのマーカ座標系のＸＹ平面に所定サイズのサンプリング領域を設定し、前記コピーマーカのマーカ座標系からカメラ座標系への変換行列を利用して、前記サンプリング領域に含まれる前記実写画像の画素から、定められたサイズのテクスチャを生成するテクスチャ生成手段と、ペースト先を指定する前記マーカ（ペーストマーカ）の座標原点を利用して、前記実写画像に合成する仮想平面を配置する前記コピーマーカのマーカ座標系上の座標点を演算する配置座標演算手段と、前記配置座標演算手段が演算した座標点を中心点とし、前記テクスチャ生成手段が生成した前記テクスチャを貼り付けた所定サイズの仮想平面を形成する仮想平面形成手段と、前記コピーマーカのマーカ座標系からカメラ座標系への変換行列を利用して、前記仮想平面形成手段が形成した前記仮想平面を前記実写画像に合成する画像合成手段と、を備えたことを特徴とする画像合成装置である。
【００１１】
第１の発明によれば、前記実写画像から仮想的に消去する対象物体（例えば、机）の上などに前記ペーストマーカを置き、対象物体の画像を仮想的に消去するときに利用する物体（例えば、床面）に前記コピーマーカを置けば、前記コピーマーカ近傍の画像（例えば、床面の画像）から生成される前記テクスチャが貼り付けられた前記仮想平面が、前記ペーストマーカ近辺に合成されるため、対象物体（例えば、机）の画像を前記実写画像から仮想的に消去することが可能になる。
【００１２】
更に、第２の発明は、第１の発明に記載の画像合成装置であって、前記配置座標演算手段は、前記仮想平面を配置する前記コピーマーカのマーカ座標系上の座標点として、前記ペーストマーカの座標原点と前記カメラの座標原点を通過する直線が前記コピーマーカのＸＹ座標面面と同一平面と交差する点を演算することを特徴とする画像合成装置である。
【００１３】
第２の発明によれば、前記ペーストマーカの座標原点と前記カメラの座標原点を通過する直線が前記コピーマーカのＸＹ座標面面と同一平面と交差する点を、前記仮想平面を配置する前記コピーマーカのマーカ座標系上の座標点とすることで、仮想平面を実写映像に合成したとき、実写映像に対する仮想平面の奥行きを合わせることができるようになる。
【００１４】
例えば、前記コピーマーカが床面に置かれているとき、前記コピーマーカのマーカ座標系におけるＸＹ平面は床面になるため、カメラの視点からペーストマーカの中心点に向かう延長線が、前記コピーマーカのマーカ座標系のＸＹ平面と交差する点を中心に仮想平面を形成すれば、前記カメラの視点から奥行き感が調整された位置に前記仮想平面が形成されることになる。
【００１５】
更に、第３の発明は、第１の発明または第２の発明に記載の画像合成装置であって、前記変換行列演算手段は、前記マーカ認識手段が認識した前記マーカのマーカ座標系からカメラ座標系への変換行列に加え、前記コピーマーカと前記ペーストマーカのマーカ座標系相互間の変換行列を演算・記憶し、前記コピーマーカと前記ペーストマーカのマーカ座標系間の変換行列を演算・記憶した後に、前記マーカ認識手段が、前記コピーマーカ或いは前記ペーストマーカのいずれ一つしか前記実写画像から検出できないとき、前記変換行列演算手段は、前記コピーマーカと前記ペーストマーカのマーカ座標系相互間の変換行列を用いて、前記実写画像から検出できなかった前記マーカに係わる変換行列を演算することを特徴とする画像合成装置である。
【００１６】
第３の発明によれば、例えば、前記画像合成装置が映像を処理するとき、人影などで、前記コピーマーカと前記ペーストマーカのいずれか一つが前記実写画像に含まれていなくとも、処理を実行することができるようになる。
【００１７】
更に、第４の発明は、拡張現実感（AR: Augmented Reality）を利用した画像合成方法であって、コンピュータ装置画、拡張現実感で利用されるマーカに印刷された模様を利用して、カメラで撮影された実写画像に含まれる前記マーカを認識するステップａと、前記コンピュータ装置が、認識したマーカの模様から、前記マーカ認識手段が認識したマーカのマーカ座標系を演算し、それぞれのマーカ座標系からカメラ座標系への変換行列を演算するステップｂと、前記コンピュータ装置が、コピー元の画像を指定する前記マーカ（コピーマーカ）の位置と定められたオフセット値を利用して、前記コピーマーカのマーカ座標系のＸＹ平面に所定サイズのサンプリング領域を設定し、前記コピーマーカのマーカ座標系からカメラ座標系への変換行列を利用して、前記サンプリング領域に含まれる前記実写画像の画素から、定められたサイズのテクスチャを生成するステップｃと、前記コンピュータ装置が、ペースト先を指定する前記マーカ（ペーストマーカ）の座標原点を利用して、前記実写画像に合成する仮想平面を配置する前記コピーマーカのマーカ座標系上の座標点を演算するステップｄと、前記コンピュータ装置が、前記ステップｄで演算した座標点を中心点とし、前記テクスチャ生成手段が生成した前記テクスチャを貼り付けた所定サイズの仮想平面を形成するステップｅと、前記コンピュータ装置が、前記コピーマーカのマーカ座標系からカメラ座標系への変換行列を利用して、前記仮想平面形成手段が形成した前記仮想平面を前記実写画像に合成するステップｆと、を備えたことを特徴とする画像合成方法である。
【００１８】
更に、第５の発明は、第４の発明に記載の画像合成方法であって、前記ステップｄにおいて、前記コンピュータ装置は、前記仮想平面を配置する前記コピーマーカのマーカ座標系上の座標点として、前記ペーストマーカの座標原点と前記カメラの座標原点を通過する直線が前記コピーマーカのＸＹ座標面面と同一平面と交差する点を演算することを特徴とする画像合成方法である。
【００１９】
更に、第６の発明は、第４の発明または第５の発明に記載の画像合成方法であって、前記ステップｂにおいて、前記コンピュータ装置は、前記マーカのマーカ座標系からカメラ座標系への変換行列に加え、前記コピーマーカと前記ペーストマーカのマーカ座標系相互間の変換行列を演算・記憶し、前記コピーマーカと前記ペーストマーカのマーカ座標系間の変換行列を演算・記憶した後に、前記ステップａにおいて、前記コピーマーカ或いは前記ペーストマーカのいずれ一つしか前記実写画像から検出できないとき、前記コンピュータ装置は、前記ステップｂにおいて、前記コピーマーカと前記ペーストマーカのマーカ座標系相互間の変換行列を用いて、前記実写画像から検出できなかった前記マーカに係わる変換行列を演算することを特徴とする画像合成方法である。
【００２０】
上述した第４の発明から第６の発明によれば、第１の発明から第３の発明と同様の効果を得ることができる。
【発明の効果】
【００２１】
上述したように、本発明によれば、ＡＲの技術を利用して、カメラで撮影された実写画像に含まれる対象物体の画像を実写画像から仮想的に消去することのできる画像合成装置および画像合成方法を提供できる。
【発明を実施するための最良の形態】
【００２２】
ここから、本発明に係わる画像合成装置１および画像合成方法について、図を参照しながら詳細に説明する。図１は、本発明に係わる画像合成装置１の利用形態を説明する図である。
【００２３】
図１で図示したように、パーソナルコンピュータやサーバなどのコンピュータ装置で実現される画像合成装置１には、実写画像を撮影するカメラ１ａが接続され、画像合成装置１には、コンピュータプログラムとして、カメラ１ａで撮影された画像の中から、特殊な模様が印刷されたマーカを検出し、検出したマーカの位置にマーカの向きに合わせて、予め用意された３次元コンピュータグラッフィクス（3DGC: 3 Dimensional Computer Graphics）を合成する一般的な拡張現実感（AR: Augmented Reality）の機能を実現するコンピュータプログラムに加え、３ＤＣＧを合成するときに邪魔になる対象物体４（図１では机）の画像を、ＡＲ技術を利用して実写画像から仮想的に消去する機能を実現させるためのコンピュータプログラムが実装されている。
【００２４】
本実施形態において、画像合成装置１は、実写画像の一部の領域であるサンプリング領域に含まれる画像からテクスチャを生成し、このテクスチャがシームレス化されて貼り付けられた仮想平面を形成し、形成した仮想平面を実写画像の指定された位置に合成することで、対象物体の画像を実写画像から仮想的に消去する。
【００２５】
対象物体の画像を実写画像から仮想的に消去するときに利用されるマーカは、コピーマーカ２とペーストマーカ３の２つのマーカで、コピーマーカ２は、サンプリング領域を指定するために利用されるマーカで、ペーストマーカ３は、仮想平面の合成する位置を指定するために利用されるマーカである。コピーマーカ２とペーストマーカ３は、それぞれＡＲ技術で利用される一般的なマーカで、特別な技術的な特徴を有するものではないが、それぞれのマーカを画像合成装置１が認識できる様に、コピーマーカ２とペーストマーカ３に印刷されている模様は異なっている。
【００２６】
図１に図示したように、カメラ１ａ、コピーマーカ２およびペーストマーカ３はそれぞれ３次元の座標系（Coordinate）を有し、今後、カメラ１ａの座標系をカメラ座標系と記し、コピーマーカ２の座標系をコピーマーカ座標系と記し、ペーストマーカ３の座標系をペーストマーカ座標系と記す。
【００２７】
ここから、画像合成装置１が、カメラ１ａが撮影した実写画像から対象物体の画像を仮想的に消去する処理について詳細に説明する。図２は、対象物体を画像から仮想的に消去するときの処理を説明するときのフロー図で、この説明は、本発明に関わる画像合成方法の説明も兼ねている。
【００２８】
画像合成装置１は、まず、カメラ１ａが撮影した実写画像から対象物体４の画像を仮想的に消去する処理を実施するときに必要なパラメータを取得する（図２のＳ１）。画像合成装置１がパラメータを取得する手法は任意でよく、キーボード類による入力、ファイルからの読み込み、その併用などが挙げられる。
【００２９】
図３は、画像合成装置１が、カメラ１ａが撮影した実写画像から対象物体４の画像を仮想的に消去する処理を実施するときに必要なパラメータの一例を説明する図である。
【００３０】
図３において、画像合成装置１が取得するパラメータには、テクスチャに係わる項目として、画像合成装置１が生成するテクスチャのサイズ、テクスチャとなる画像を取得するサンプリング領域の大きさ（ここでは、半径ｒ１）、コピーマーカ２の中心からサンプリング領域の中心までのオフセット値、テクスチャをシームレス化処理するための重なりサイズが含まれる。
【００３１】
更に、図３において、画像合成装置１が取得するパラメータには、仮想平面に係わる項目として、仮想平面のサイズが含まれる。仮想平面のサイズは、仮想平面の形状に依存し、仮想平面の形状が一意に決定付けられるように記述される。例えば、仮想平面の形状が長方形ならば、長方形のサイズを決定付けるデータとして、長方形の縦横サイズ（単位はピクセル）が記述されるが、ここでは、仮想平面の形状は円形で、円形のサイズを決定付けるデータとして、画像合成装置１は、仮想平面の半径ｒ２（単位は、ピクセル）を取得する。
【００３２】
なお、図３は、画像合成装置１が取得するパラメータの一例示にしか過ぎず、当然のことながら、画像合成装置１の実現内容によって異なる。
【００３３】
画像合成装置１は、カメラ１ａが撮影した実写画像から対象物体４の画像を仮想的に消去する処理を実施するときに必要なパラメータを取得すると、カメラが撮影している実写画像をリアルタイムで読み込んだり、カメラ１ａが撮影した実写画像が記憶されているファイルを読み込みなどして、画像合成装置１は、処理対象となる実写画像を取得する（図２のＳ２）。
【００３４】
図４は、実写画像の一例を説明する図である。図４で図示した実写画像には、消去対象となる対象物体４の画像（ここでは、机の画像）に加え、コピーマーカ２とペーストマーカ３が含まれ、図４では、ペーストマーカ３は机の上に置かれ、コピーマーカ２は机が設置されている床面に置かれている。
【００３５】
図５は、コピーマーカ２とペーストマーカ３を説明する図で、図５（ａ）はコピーマーカ２で、図５（ｂ）はペーストマーカ３である。図５に図示したように、コピーマーカ２およびペーストマーカ３で印刷される模様は異なり、図５（ａ）に図示したように、コピーマーカ２の模様を文字「Ｃ」を囲む四角枠とし、図５（ｂ）に図示したように、ペーストマーカ３の模様を文字「Ｐ」を囲む四角枠としている。画像合成装置１は、コピーマーカ２およびペーストマーカ３で印刷される模様を予め記憶し、これらの模様を利用して実写画像を解析し、実写画像に含まれるマーカを認識する。
【００３６】
画像合成装置１は、実写画像を取得すると、初期化処理が実施済みであるか確認し、初期化処理が実施済みであるか否かによって処理を分岐させる（図２のＳ３）。まず、初期化処理を実施するときの流れについて説明する。図２のＳ３で、初期化処理が未実施と判断した場合、図２のＳ１０に進み、画像合成装置１は初期化処理を実施開始する。
【００３７】
本実施形態において、画像合成装置１は初期化処理として、コピーマーカ２とペーストマーカ３の相対位置関係を演算・記憶する処理と、テクスチャを生成・記憶する処理を実施する。後述するように、対象物体の画像を実写画像から仮想的に消去するためには、コピーマーカ２およびペースマーカの２つが必要になるが、コピーマーカ２とペーストマーカ３の相対位置関係が既知であれば、コピーマーカ２或いはペーストマーカ３のいずれが実写画像に含まれていれば、対象物体の画像を仮想的に消去する処理が可能になる。
【００３８】
図２のＳ３で、初期化処理が未実施と判断した場合、画像合成装置１は、コピーマーカ２とペーストマーカ３の２つが共に実写画像に含まれているか確認し、確認した内容によって処理を分岐させる（図２のＳ１０）。
【００３９】
画像合成装置１が、コピーマーカ２とペーストマーカ３の２つが同時に存在するか確認する手法は、ＡＲ技術で利用されている一般的な手法で、画像合成装置１は、例えば、図５（ａ）、（ｂ）で図示した四角枠を利用して、実写画像に含まれるマーカを認識し、更に、この四角枠内に含まれる文字（ここでは、「Ｐ」或いは「Ｃ」）から、実写画像に含まれるマーカの種別を認識する。
【００４０】
コピーマーカ２とペーストマーカ３の２つが共に実写画像に存在する場合は、画像合成装置１は初期化処理の実施が可能と判断し、図２のＳ１１に進む。また、コピーマーカ２とペーストマーカ３の２つが共に存在しない場合は、画像合成装置１は初期化処理の実施が不可能と判断し、図２のＳ２に戻る。
【００４１】
初期化処理として、まず、画像合成装置１は、コピーマーカ２とペーストマーカ３の相対位置関係を示す情報として、コピーマーカ座標系からペーストマーカ座標系への変換行列Ｔｃｐおよびペーストマーカ座標系からコピー座標系への変換行列Ｔｐｃを演算し、演算した変換行列Ｔｃｐ、Ｔｐｃを記憶する（図２のＳ１１）。
【００４２】
図６は、図２のＳ１１の処理を説明するためのフロー図で、変換行列Ｔｃｐと変換行列Ｔｐｃを算出する処理のフロー図である。画像合成装置１は、変換行列Ｔｃｐと変換行列Ｔｐｃを算出するために、コピーマーカ座標系からカメラ座標系への変換行列Ｔｃｅと、コピーマーカ座標系からカメラ座標系への変換行列Ｔｐｅを演算する（図６のＳ４０）。
【００４３】
画像合成装置１は、一般的なＡＲ技術を利用して、コピーマーカ２に印刷された模様（ここでは、四角枠）から、コピーマーカ座標系からカメラ座標系への変換行列Ｔｃｅと、コピーマーカ座標系からカメラ座標系への変換行列Ｔｐｅを演算する。
【００４４】
なお、本実施形態において、画像合成装置１は、一般的な３ＤＣＧを扱うときと同様に、３次元座標系値の次元を一つ繰り上げ４次元として取り扱うため、変換行列Ｔｃｅおよび変換行列Ｔｐｅは４行４列の行列となる。例えば、コピーマーカ座標系からカメラ座標系への変換式は数式１で表記される。
【数１】
【００４５】
次に、画像合成装置１は、逆行列の演算を用いて、カメラ座標系からコピーマーカ座標系への変換行列Ｔｅｃとカメラ座標系からペーストマーカ座標系への変換行列Ｔｅｐを、数式２に従い演算する（図６のＳ４１）。
【数２】
【００４６】
そして、画像合成装置１は、これまで演算した変換行列を用い、数式３に従い、コピーマーカ座標系からペーストマーカ座標系への変換行列Ｔｃｐとペーストマーカ座標系からコピーマーカ座標系への変換行列Ｔｐｃを演算し、変換行列Ｔｃｐと変換行列Ｔｐｃを記憶する（図６のＳ４２）。
【数３】
【００４７】
ここから、図２の説明に戻る。画像合成装置１は、コピーマーカ２とペーストマーカ３の相対位置関係を示す情報として、コピーマーカ座標系からペーストマーカ座標系への変換行列Ｔｃｐと、ペーストマーカ座標系からコピーマーカ座標系への変換行列Ｔｐｃを演算し記憶すると、次に、画像合成装置１は、仮想平面に貼り付けるテクスチャを生成する（図２のＳ１２）。
【００４８】
画像合成装置１が、仮想領域に貼り付けるテクスチャを生成するときに、図２のＳ１で取得したパラメータが用いられる。画像合成装置１は、コピーマーカ座標の原点から、パラメータに含まれるオフセット値だけずれた点を中心とし、半径ｒ１内の領域をサンプリング領域としてコピーマーカ座標系に設定する。
【００４９】
そして、画像合成装置１は、変換行列Ｔｃｅを用いて、サンプリング領域から抽出した実写画像の画素から、パラメータのテクスチャサイズと重なりサイズを用いて、コンピュータ分野において広く知られる既知技術によってシームレス化したテクスチャを生成する。
【００５０】
画像合成装置１は、テクスチャを生成すると、初期化処理済みであることを示すフラグを記憶し（図２のＳ１３）、初期化処理を終了する。
【００５１】
画像合成装置１は、初期化処理を実施すると、コピーマーカ座標系における仮想平面の中心点となる座標点を演算する（図２のＳ３０）。コピーマーカ座標系における仮想平面の中心点は任意の座標点でよいが、ここでは、画像合成装置１は、カメラの視点からペーストマーカ３の中心を通過する線が、コピーマーカ座標系におけるＸＹ平面と交差する点を、仮想平面の中心点となる座標点して求める。コピーマーカ座標系におけるＸＹ平面上に仮想平面を形成することで、仮想平面を実写映像に合成したとき、実写映像に対する仮想平面の奥行きを合わせることができるようになる。
【００５２】
例えば、図４では、コピーマーカ２が床面に置かれているため、コピーマーカ座標系におけるＸＹ平面は床面になる。よって、カメラの視点からペーストマーカ３の中心点に向かう延長線が、コピーマーカ座標系のＸＹ平面と交差する点を中心に仮想平面を形成すれば、カメラの視点から奥行き感が調整された位置に仮想平面が形成されることになる。
【００５３】
図７は、仮想平面の中心点となるコピーマーカ座標系の座標点を演算する内容を説明するためのフロー図である。画像合成装置１は、ペーストマーカ座標系からコピーマーカ座標系への変換行列Ｔｐｃから、ＡＲの技術分野で良く知られた理論を用いて、コピーマーカ座標系におけるペーストマーカ座標系の原点座標Ｖｐ〔ｐｘ、ｐｙ、ｐｚ〕を数式４に従い抽出する（図７のＳ５０）。
【数４】
【００５４】
次に、画像合成装置１は、カメラ座標系からコピーマーカ座標系への変換行列Ｔｅｃから、ＡＲの技術分野で良く知られた理論を用いて、コピーマーカ座標系におけるカメラ座標系の原点座標Ｖｅ〔ｅｘ、ｅｙ、ｅｚ〕を数式５に従い抽出する（図７のＳ５１）。
【数５】
【００５５】
そして、コピーマーカ座標系におけるペーストマーカ座標系の原点座標Ｖｐ〔ｐｘ、ｐｙ、ｐｚ〕とコピーマーカ座標系におけるカメラ座標系の原点座標Ｖｅ〔ｅｘ、ｅｙ、ｅｚ〕から、画像合成装置１は、仮想平面を配置するコピーマーカ座標系による座標Ｖｆ〔ｆｘ、ｆｙ、ｆｚ〕を数式６に従い演算する（図７のＳ５２）。
【数６】
【００５６】
図２の説明に戻る。画像合成装置１は、仮想平面の中心点となるコピーマーカ座標系における座標点を演算すると、コピーマーカ座標系のＸＹ平面に仮想平面を生成する（図２のＳ３１）。例えば、画像合成装置１は、中心点が座標Ｖｆ、図２のＳ１で取得した半径ｒ２の領域内に、テクスチャをシームレス化処理して貼り付けることで、画像合成装置１は、コピーマーカ座標系のＸＹ平面に仮想平面を生成する。
【００５７】
そして、画像合成装置１は、仮想平面を生成すると、コピーマーカ座標系のＸＹ平面に形成した仮想平面に含まれる座標点を、コピーマーカ座標系からカメラ座標系への変換行列 Ｔｃｅを用いて、カメラ座標系の座標点に変換することで、実写画像に仮想平面をレンダリングし、仮想平面を合成した実写画像を画像合成装置１のディスプレイに出力する（図２のＳ３２）。
【００５８】
仮想平面を合成した実写画像を画像合成装置１のディスプレイに出力した後、次の処理を実施するか確認し、次の処理を実施するときは図２のＳ２に戻り、次の処理を実施しないときは、図２で図示したフローを終了する（図２のＳ３３）。
【００５９】
ここから、初期化処理が実施済みのとき処理について説明する。図２のステップＳ３において、画像合成装置１が、初期化処理が実施済みであると判断した場合、すなわち、初期化処理済みのフラグが立っている場合、画像合成装置１は、コピーマーカ２に印刷された模様を利用して、実写画像にコピーマーカ２が含まれているかどうかを判定する（図２のＳ２０）。
【００６０】
実写画像にコピーマーカ２が含まれている場合、画像合成装置１は、コピーマーカ２に印刷された模様から、コピーマーカ座標系からカメラ座標系への変換行列Ｔｃｅを演算する（図２のＳ２１）。
【００６１】
また、実写画像にコピーマーカ２が含まれていないと判定した場合、画像合成装置１は、ペーストマーカ３に印刷された模様を利用して、実写画像にペーストマーカ３が含まれているか判定し（図２のＳ２２）、実写画像にペーストマーカ３が含まれていない場合は、図２のステップＳ２に戻る。
【００６２】
実写画像にペーストマーカ３が含まれている場合、画像合成装置１は、初期化処理で生成・記憶している変換行列Ｔｐｃを利用して、コピーマーカ座標系からカメラ座標系への変換行列Ｔｃｅを算出する（図２のＳ２３）。
【００６３】
図８は、図２のＳ２２の詳細内容を説明するフロー図である。初期化処理で生成・記憶している変換行列Ｔｐｃを利用して、コピーマーカ座標系からカメラ座標系への変換行列Ｔｃｅを算出するとき、まず、画像合成装置１は、ペーストマーカ３に印刷された模様から、ペーストマーカ座標系からカメラ座標系への変換行列Ｔｐｅを算出する（図８のＳ６０）。
【００６４】
そして、初期化処理によって演算・記憶したペーストマーカ座標系からコピーマーカ座標系への変換行列Ｔｐｃを利用してコピーマーカ座標系からカメラ座標系への変換行列ＴＴｃｅを数式７に従い演算する（図８のＳ６１）。
【数７】
【００６５】
図２のＳ２１或いは図２のＳ２３を実施した後、画像合成装置１は、図２のＳ３０に進み、仮想平面を形成した後、実写画像に仮想平面を合成する。
【００６６】
次に、本発明に係わる画像合成装置１に備えられた機能について説明する。図９は、画像合成装置１のハードウェアブロック図で、図１０は、画像合成装置１の機能ブロック図である。画像合成装置１は、パーソナルコンピュータやサーバなどのコンピュータ装置で実現され、図９に図示したように、画像合成装置１は、画像合成装置１全体を制御するＣＰＵ１０と、メインメモリであるＲＡＭ１１と、大容量のデータ記憶装置であるハードディスク１２と、カメラ１ａから取得した実写画像を処理するための画像処理ボード１３を備え、カメラ１ａ、キーボード１ｂおよびディプレイ１ｃなどが接続されている。
【００６７】
図１０に図示したように、３ＤＣＧを合成するときに邪魔になる対象物体４の画像を、ＡＲの技術を利用して実写画像から仮想的に消去するために、画像合成装置１は、対象物体４の画像を仮想的に実写映像から消去するときに利用するパラメータを取得するパラメータ取得手段１０１と、実写画像を取得する実写画像取得手段１０２と、拡張現実感で利用されるマーカの模様を記憶し、マーカの模様を利用して、カメラ１ａで撮影された実写画像に含まれるマーカを認識するマーカ認識手段１０３と、マーカ認識手段１０３が認識したマーカの模様から、マーカ認識手段１０３が認識したマーカのマーカ座標系を演算し、それぞれのマーカ座標系からカメラ座標系への変換行列を演算する変換行列演算手段１０４と、コピー元の画像を指定するコピーマーカ２の位置と定められたオフセット値を利用して、コピーマーカ２のマーカ座標系のＸＹ平面に所定サイズのサンプリング領域を設定し、コピーマーカ２のマーカ座標系からカメラ座標系への変換行列を利用して、サンプリング領域に含まれる実写画像の画素から、定められたサイズのテクスチャを生成するテクスチャ生成手段１０５と、ペースト先を指定するペーストマーカ３の座標原点を利用して、実写画像に合成する仮想平面を配置するコピーマーカのマーカ座標系上の座標点を演算する配置座標演算手段１０６と、配置座標演算手段１０６が演算した座標点を中心点とし、テクスチャ生成手段１０５が生成したテクスチャを貼り付けた所定サイズの仮想平面を形成する仮想平面形成手段１０７と、コピーマーカ２のマーカ座標系からカメラ座標系への変換行列を利用して、仮想平面形成手段１０７が形成した仮想平面を実写画像に合成する画像合成手段１０８と、これらの手段を制御し、図２で図示した手順を実行する制御手段１００を備えている。
【００６８】
画像合成装置１のパラメータ取得手段１０１は、図２のＳ１を実行するための手段で、画像合成装置１のパラメータ取得手段１０１は様々な形態で実現可能である。例えば、ディスプレイ１ｃにパラメータを入力するための画面を表示させ、キーボード１ｂから入力されたデータを取得する形態や、ディスプレイ１ｃにファイル名を入力するための画面を表示させ、ハードディスク１２に記憶されたファイルの中から、ファイル名で特定されるファイルからデータを読み込む形態などで実現される。
【００６９】
画像合成装置１の実写画像取得手段１０２は、図２のＳ２を実行するための手段で、画像合成装置１に接続されたカメラ１ａから実写画像をリアルタイムでＲＡＭ１１に読み込む形態や、ハードディスク１２に記憶されている画像ファイルをＲＡＭ１１に読み込む形態などで実現される。
【００７０】
画像合成装置１のマーカ認識手段１０３は、図２のＳ１０、Ｓ２０およびＳ２２を実行するための手段で、一般的なＡＲ技術と同様に、図５（ａ）、（ｂ）で図示したような四角枠を認識することで、実写画像に含まれるマーカを認識し、更に、この四角枠内に含まれる文字（ここでは、「Ｐ」或いは「Ｃ」）から、実写画像に含まれるマーカの種別を認識する手段である。
【００７１】
画像合成装置１の変換行列演算手段１０４は、図２のＳ１１、Ｓ２１およびＳ２３を実行するための手段で、図２のＳ１１、Ｓ２１およびＳ２３を実行するとき、一般的なＡＲ技術と同様に、マーカ認識手段が認識したマーカに印刷された模様（ここでは、四角枠）から、マーカ座標系からカメラ座標系への変換行列Ｔｃｅや変換行列Ｔｐｅを演算する。
【００７２】
更に、変換行列演算手段１０４は、図２のＳ１１を実行するときに、コピーマーカ座標系からカメラ座標系への変換行列Ｔｃｅと、ペーストマーカ座標系からカメラ座標系への変換行列Ｔｐｅを用いて行列演算を行い、カメラ座標系からコピーマーカ座標系への変換行列Ｔｅｃとカメラ座標系からペーストマーカ座標系への変換行列Ｔｅｐを演算する。
【００７３】
画像合成装置１のテクスチャ生成手段１０５は、図２のＳ１２を実行する手段で、コピーマーカ座標の原点から、パラメータ取得手段１０１が取得したパラメータに含まれるオフセット値だけずれた点を中心とし、パラメータに含まれるサイズ（例えば、半径ｒ１）の領域をサンプリング領域としてコピーマーカ座標系に設定し、変換行列Ｔｃｅを用いて、サンプリング領域から抽出した実写画像の画素から、パラメータのテクスチャサイズと重なりサイズを用いて、コンピュータ分野において広く知られる既知技術によってシームレス化したテクスチャを生成する手段である。
【００７４】
画像合成装置１の配置座標演算手段１０６は、図２のＳ３０を実行する手段で、図７で示した手順に従い、コピーマーカ座標系のＸＹ平面において、仮想平面の中心点となる座標点を演算する手段である。
【００７５】
画像合成装置１の仮想平面形成手段１０７は、図２のＳ３１を実行する手段で、テクスチャ生成手段１０７が生成したテクスチャをシームレス化処理して貼り付けることで、配置座標演算手段１０６が演算したコピーマーカ座標系のＸＹ平面の座標点を中心に、定められたサイズの仮想平面を生成する手段である。
【００７６】
画像合成装置１の画像合成手段１０８は、図２のＳ３２を実行する手段で、コピーマーカ座標系からカメラ座標系への変換行列 Ｔｃｅを用いて、仮想平面形成手段１０７が形成した仮想平面を、カメラ座標系の座標点に変換することで、実写画像に仮想平面をレンダリングし、仮想平面を合成した実写画像を画像合成装置１のディスプレイに出力する手段である。
【００７７】
画像合成装置１の制御手段１００は、上述した手段を制御し、図２で図示した手順を実行するための手段である。
【００７８】
画像合成装置１に備えられた各手段は、画像合成装置１を各手段として機能させるためのコンピュータプログラムで実現され、画像合成装置１のハードディスク１２や画像処理ボード１３には、このコンピュータプログラムのプログラムコードが実装されている。なお、画像合成装置１の制御手段１００は、コンピュータプログラムのメインルーチンに相当し、制御手段１００以外の手段は、メインルーチンから呼び出されるサブルーチンに相当する。
【００７９】
これまで述べた様に、画像合成装置１が、３ＤＣＧを合成するときに邪魔になる対象物体４の画像を実写画像から仮想的に消去した後に、ＡＲの技術を用いて３ＤＣＧを合成すれば、自然さを失うことなく３ＤＣＧを実写画像に合成することが可能になる。
【図面の簡単な説明】
【００８０】
【図１】本発明に係わる画像合成装置の利用形態を説明する図。
【図２】対象物体を画像から仮想的に消去するときの処理を説明するときのフロー図。
【図３】画像合成装置が取得するパラメータの一例を説明する図。
【図４】実写画像の一例を説明する図。
【図５】コピーマーカとペーストマーカを説明する図。
【図６】図２のＳ１１の処理を説明するためのフロー図。
【図７】仮想平面の中心点となるコピーマーカ座標系の座標点を演算するフロー図。
【図８】図２のＳ２２の詳細内容を説明するフロー図。
【図９】画像合成装置のハードウェアブロック図。
【図１０】画像合成装置の機能ブロック図。
【符号の説明】
【００８１】
１ 画像合成装置
２ コピーマーカ
３ ペーストマーカ
４ 対象物体
【技術分野】
【０００１】
本発明は、実写映像にコンピュータグラフィックスを合成する拡張現実感（Augmented Reality）技術に関し、更に詳しくは、拡張現実感の技術を利用して、コンピュータグラフィックスを合成するときに邪魔になる物体の画像を、実写画像から仮想的に消去する技術に関する。
【背景技術】
【０００２】
拡張現実感（AR: Augmented Reality）とは、実写画像にコンピュータグラフィックス（CG: Computer Graphics）を合成することによって、人の知覚を補助したり、臨場感ある画像体験を実現したりするのに用いられる技術である。
【０００３】
非特許文献１および非特許文献２などに記載されているように、拡張現実感を実施する一般的なコンピュータ装置では、模様が印刷されたマーカを含むように実写画像をカメラで撮影し、コンピュータ装置が、マーカの模様からマーカの位置や傾きを演算し、マーカの位置とマーカの傾きに合わせてカメラが撮影した実写画像にＣＧを合成する。
【０００４】
しかし、マーカに対してＣＧのサイズが小さいと、ＣＧを合成した後に実写画像において、マーカがＣＧからはみ出して見えてしまうため、特許文献１では、マーカを消去するためのマーカ隠蔽用画像を予め用意しておき、カメラが撮影画像中のマーカ位置にＣＧを合成する際に、マーカ隠蔽用画像を撮影画像のマーカ位置に合成した上にＣＧを合成することで、マーカがＣＧからはみ出して見えてしまうことを防止する発明が開示されている。
【０００５】
しかしながら、ＣＧからはみ出して見えて困る画像はマーカだけではなく、実写画像に含まれる物体（例えば、机）の代わりにＣＧを合成させたいとき、実写画像に撮影されている物体の画像がＣＧからはみ出して見えてしまうことがある。
【０００６】
例えば、拡張現実感を利用して、何もない広い床面に机のＣＧを合成した場合、机のＣＧは床面に自然に合成されて見えるが、マーカ付近に実物の机や椅子など実在する物体が存在している場合、机のＣＧを合成した後の画像に実在する物体の画像の一部が残ってしまうと、不自然な印象を与えてしまう。
【０００７】
実物の机や椅子などの物体を移動させることができれば問題ないが、実在する物体を移動させることは困難な場合も多くあるため、実写画像にＣＧを合成するときには、ＣＧを合成するときに邪魔になる物体の画像を仮想的に実写画像から消去できることが望ましい。
【０００８】
【非特許文献１】Kato, H., Billinghurst, M. (1999)Marker Tracking and HMD Calibration for a video-based Augmented Reality Conferencing System.In Proceedings of the 2nd International Workshop on Augmented Reality (IWAR 99). October, San Francisco, USA.
【非特許文献２】Kato, H., Billinghurst, M., Poupyrev, I., Imamoto, K., Tachibana, K. (2000)Virtual Object Manipulation on a Table-Top AR Environment.In proceedings of the International Symposium on Augmented Reality, pp.111-119, (ISAR 2000),Munich, Germany.
【特許文献１】特開２００５−２３４７５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
そこで、本発明は、拡張現実感（AR: Augmented Reality）の技術を利用して、カメラで撮影された実写画像に含まれる対象物体の画像を実写画像から仮想的に消去することのできる画像合成装置および画像合成方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決する第１の発明は、拡張現実感（AR: Augmented Reality）で利用されるマーカの模様を記憶し、マーカの模様を利用して、カメラで撮影された実写画像に含まれる前記マーカを認識するマーカ認識手段と、前記マーカ認識手段が認識したマーカの模様から、前記マーカ認識手段が認識したマーカのマーカ座標系を演算し、それぞれのマーカ座標系からカメラ座標系への変換行列を演算する変換行列演算手段と、コピー元の画像を指定する前記マーカ（コピーマーカ）の位置と定められたオフセット値を利用して、前記コピーマーカのマーカ座標系のＸＹ平面に所定サイズのサンプリング領域を設定し、前記コピーマーカのマーカ座標系からカメラ座標系への変換行列を利用して、前記サンプリング領域に含まれる前記実写画像の画素から、定められたサイズのテクスチャを生成するテクスチャ生成手段と、ペースト先を指定する前記マーカ（ペーストマーカ）の座標原点を利用して、前記実写画像に合成する仮想平面を配置する前記コピーマーカのマーカ座標系上の座標点を演算する配置座標演算手段と、前記配置座標演算手段が演算した座標点を中心点とし、前記テクスチャ生成手段が生成した前記テクスチャを貼り付けた所定サイズの仮想平面を形成する仮想平面形成手段と、前記コピーマーカのマーカ座標系からカメラ座標系への変換行列を利用して、前記仮想平面形成手段が形成した前記仮想平面を前記実写画像に合成する画像合成手段と、を備えたことを特徴とする画像合成装置である。
【００１１】
第１の発明によれば、前記実写画像から仮想的に消去する対象物体（例えば、机）の上などに前記ペーストマーカを置き、対象物体の画像を仮想的に消去するときに利用する物体（例えば、床面）に前記コピーマーカを置けば、前記コピーマーカ近傍の画像（例えば、床面の画像）から生成される前記テクスチャが貼り付けられた前記仮想平面が、前記ペーストマーカ近辺に合成されるため、対象物体（例えば、机）の画像を前記実写画像から仮想的に消去することが可能になる。
【００１２】
更に、第２の発明は、第１の発明に記載の画像合成装置であって、前記配置座標演算手段は、前記仮想平面を配置する前記コピーマーカのマーカ座標系上の座標点として、前記ペーストマーカの座標原点と前記カメラの座標原点を通過する直線が前記コピーマーカのＸＹ座標面面と同一平面と交差する点を演算することを特徴とする画像合成装置である。
【００１３】
第２の発明によれば、前記ペーストマーカの座標原点と前記カメラの座標原点を通過する直線が前記コピーマーカのＸＹ座標面面と同一平面と交差する点を、前記仮想平面を配置する前記コピーマーカのマーカ座標系上の座標点とすることで、仮想平面を実写映像に合成したとき、実写映像に対する仮想平面の奥行きを合わせることができるようになる。
【００１４】
例えば、前記コピーマーカが床面に置かれているとき、前記コピーマーカのマーカ座標系におけるＸＹ平面は床面になるため、カメラの視点からペーストマーカの中心点に向かう延長線が、前記コピーマーカのマーカ座標系のＸＹ平面と交差する点を中心に仮想平面を形成すれば、前記カメラの視点から奥行き感が調整された位置に前記仮想平面が形成されることになる。
【００１５】
更に、第３の発明は、第１の発明または第２の発明に記載の画像合成装置であって、前記変換行列演算手段は、前記マーカ認識手段が認識した前記マーカのマーカ座標系からカメラ座標系への変換行列に加え、前記コピーマーカと前記ペーストマーカのマーカ座標系相互間の変換行列を演算・記憶し、前記コピーマーカと前記ペーストマーカのマーカ座標系間の変換行列を演算・記憶した後に、前記マーカ認識手段が、前記コピーマーカ或いは前記ペーストマーカのいずれ一つしか前記実写画像から検出できないとき、前記変換行列演算手段は、前記コピーマーカと前記ペーストマーカのマーカ座標系相互間の変換行列を用いて、前記実写画像から検出できなかった前記マーカに係わる変換行列を演算することを特徴とする画像合成装置である。
【００１６】
第３の発明によれば、例えば、前記画像合成装置が映像を処理するとき、人影などで、前記コピーマーカと前記ペーストマーカのいずれか一つが前記実写画像に含まれていなくとも、処理を実行することができるようになる。
【００１７】
更に、第４の発明は、拡張現実感（AR: Augmented Reality）を利用した画像合成方法であって、コンピュータ装置画、拡張現実感で利用されるマーカに印刷された模様を利用して、カメラで撮影された実写画像に含まれる前記マーカを認識するステップａと、前記コンピュータ装置が、認識したマーカの模様から、前記マーカ認識手段が認識したマーカのマーカ座標系を演算し、それぞれのマーカ座標系からカメラ座標系への変換行列を演算するステップｂと、前記コンピュータ装置が、コピー元の画像を指定する前記マーカ（コピーマーカ）の位置と定められたオフセット値を利用して、前記コピーマーカのマーカ座標系のＸＹ平面に所定サイズのサンプリング領域を設定し、前記コピーマーカのマーカ座標系からカメラ座標系への変換行列を利用して、前記サンプリング領域に含まれる前記実写画像の画素から、定められたサイズのテクスチャを生成するステップｃと、前記コンピュータ装置が、ペースト先を指定する前記マーカ（ペーストマーカ）の座標原点を利用して、前記実写画像に合成する仮想平面を配置する前記コピーマーカのマーカ座標系上の座標点を演算するステップｄと、前記コンピュータ装置が、前記ステップｄで演算した座標点を中心点とし、前記テクスチャ生成手段が生成した前記テクスチャを貼り付けた所定サイズの仮想平面を形成するステップｅと、前記コンピュータ装置が、前記コピーマーカのマーカ座標系からカメラ座標系への変換行列を利用して、前記仮想平面形成手段が形成した前記仮想平面を前記実写画像に合成するステップｆと、を備えたことを特徴とする画像合成方法である。
【００１８】
更に、第５の発明は、第４の発明に記載の画像合成方法であって、前記ステップｄにおいて、前記コンピュータ装置は、前記仮想平面を配置する前記コピーマーカのマーカ座標系上の座標点として、前記ペーストマーカの座標原点と前記カメラの座標原点を通過する直線が前記コピーマーカのＸＹ座標面面と同一平面と交差する点を演算することを特徴とする画像合成方法である。
【００１９】
更に、第６の発明は、第４の発明または第５の発明に記載の画像合成方法であって、前記ステップｂにおいて、前記コンピュータ装置は、前記マーカのマーカ座標系からカメラ座標系への変換行列に加え、前記コピーマーカと前記ペーストマーカのマーカ座標系相互間の変換行列を演算・記憶し、前記コピーマーカと前記ペーストマーカのマーカ座標系間の変換行列を演算・記憶した後に、前記ステップａにおいて、前記コピーマーカ或いは前記ペーストマーカのいずれ一つしか前記実写画像から検出できないとき、前記コンピュータ装置は、前記ステップｂにおいて、前記コピーマーカと前記ペーストマーカのマーカ座標系相互間の変換行列を用いて、前記実写画像から検出できなかった前記マーカに係わる変換行列を演算することを特徴とする画像合成方法である。
【００２０】
上述した第４の発明から第６の発明によれば、第１の発明から第３の発明と同様の効果を得ることができる。
【発明の効果】
【００２１】
上述したように、本発明によれば、ＡＲの技術を利用して、カメラで撮影された実写画像に含まれる対象物体の画像を実写画像から仮想的に消去することのできる画像合成装置および画像合成方法を提供できる。
【発明を実施するための最良の形態】
【００２２】
ここから、本発明に係わる画像合成装置１および画像合成方法について、図を参照しながら詳細に説明する。図１は、本発明に係わる画像合成装置１の利用形態を説明する図である。
【００２３】
図１で図示したように、パーソナルコンピュータやサーバなどのコンピュータ装置で実現される画像合成装置１には、実写画像を撮影するカメラ１ａが接続され、画像合成装置１には、コンピュータプログラムとして、カメラ１ａで撮影された画像の中から、特殊な模様が印刷されたマーカを検出し、検出したマーカの位置にマーカの向きに合わせて、予め用意された３次元コンピュータグラッフィクス（3DGC: 3 Dimensional Computer Graphics）を合成する一般的な拡張現実感（AR: Augmented Reality）の機能を実現するコンピュータプログラムに加え、３ＤＣＧを合成するときに邪魔になる対象物体４（図１では机）の画像を、ＡＲ技術を利用して実写画像から仮想的に消去する機能を実現させるためのコンピュータプログラムが実装されている。
【００２４】
本実施形態において、画像合成装置１は、実写画像の一部の領域であるサンプリング領域に含まれる画像からテクスチャを生成し、このテクスチャがシームレス化されて貼り付けられた仮想平面を形成し、形成した仮想平面を実写画像の指定された位置に合成することで、対象物体の画像を実写画像から仮想的に消去する。
【００２５】
対象物体の画像を実写画像から仮想的に消去するときに利用されるマーカは、コピーマーカ２とペーストマーカ３の２つのマーカで、コピーマーカ２は、サンプリング領域を指定するために利用されるマーカで、ペーストマーカ３は、仮想平面の合成する位置を指定するために利用されるマーカである。コピーマーカ２とペーストマーカ３は、それぞれＡＲ技術で利用される一般的なマーカで、特別な技術的な特徴を有するものではないが、それぞれのマーカを画像合成装置１が認識できる様に、コピーマーカ２とペーストマーカ３に印刷されている模様は異なっている。
【００２６】
図１に図示したように、カメラ１ａ、コピーマーカ２およびペーストマーカ３はそれぞれ３次元の座標系（Coordinate）を有し、今後、カメラ１ａの座標系をカメラ座標系と記し、コピーマーカ２の座標系をコピーマーカ座標系と記し、ペーストマーカ３の座標系をペーストマーカ座標系と記す。
【００２７】
ここから、画像合成装置１が、カメラ１ａが撮影した実写画像から対象物体の画像を仮想的に消去する処理について詳細に説明する。図２は、対象物体を画像から仮想的に消去するときの処理を説明するときのフロー図で、この説明は、本発明に関わる画像合成方法の説明も兼ねている。
【００２８】
画像合成装置１は、まず、カメラ１ａが撮影した実写画像から対象物体４の画像を仮想的に消去する処理を実施するときに必要なパラメータを取得する（図２のＳ１）。画像合成装置１がパラメータを取得する手法は任意でよく、キーボード類による入力、ファイルからの読み込み、その併用などが挙げられる。
【００２９】
図３は、画像合成装置１が、カメラ１ａが撮影した実写画像から対象物体４の画像を仮想的に消去する処理を実施するときに必要なパラメータの一例を説明する図である。
【００３０】
図３において、画像合成装置１が取得するパラメータには、テクスチャに係わる項目として、画像合成装置１が生成するテクスチャのサイズ、テクスチャとなる画像を取得するサンプリング領域の大きさ（ここでは、半径ｒ１）、コピーマーカ２の中心からサンプリング領域の中心までのオフセット値、テクスチャをシームレス化処理するための重なりサイズが含まれる。
【００３１】
更に、図３において、画像合成装置１が取得するパラメータには、仮想平面に係わる項目として、仮想平面のサイズが含まれる。仮想平面のサイズは、仮想平面の形状に依存し、仮想平面の形状が一意に決定付けられるように記述される。例えば、仮想平面の形状が長方形ならば、長方形のサイズを決定付けるデータとして、長方形の縦横サイズ（単位はピクセル）が記述されるが、ここでは、仮想平面の形状は円形で、円形のサイズを決定付けるデータとして、画像合成装置１は、仮想平面の半径ｒ２（単位は、ピクセル）を取得する。
【００３２】
なお、図３は、画像合成装置１が取得するパラメータの一例示にしか過ぎず、当然のことながら、画像合成装置１の実現内容によって異なる。
【００３３】
画像合成装置１は、カメラ１ａが撮影した実写画像から対象物体４の画像を仮想的に消去する処理を実施するときに必要なパラメータを取得すると、カメラが撮影している実写画像をリアルタイムで読み込んだり、カメラ１ａが撮影した実写画像が記憶されているファイルを読み込みなどして、画像合成装置１は、処理対象となる実写画像を取得する（図２のＳ２）。
【００３４】
図４は、実写画像の一例を説明する図である。図４で図示した実写画像には、消去対象となる対象物体４の画像（ここでは、机の画像）に加え、コピーマーカ２とペーストマーカ３が含まれ、図４では、ペーストマーカ３は机の上に置かれ、コピーマーカ２は机が設置されている床面に置かれている。
【００３５】
図５は、コピーマーカ２とペーストマーカ３を説明する図で、図５（ａ）はコピーマーカ２で、図５（ｂ）はペーストマーカ３である。図５に図示したように、コピーマーカ２およびペーストマーカ３で印刷される模様は異なり、図５（ａ）に図示したように、コピーマーカ２の模様を文字「Ｃ」を囲む四角枠とし、図５（ｂ）に図示したように、ペーストマーカ３の模様を文字「Ｐ」を囲む四角枠としている。画像合成装置１は、コピーマーカ２およびペーストマーカ３で印刷される模様を予め記憶し、これらの模様を利用して実写画像を解析し、実写画像に含まれるマーカを認識する。
【００３６】
画像合成装置１は、実写画像を取得すると、初期化処理が実施済みであるか確認し、初期化処理が実施済みであるか否かによって処理を分岐させる（図２のＳ３）。まず、初期化処理を実施するときの流れについて説明する。図２のＳ３で、初期化処理が未実施と判断した場合、図２のＳ１０に進み、画像合成装置１は初期化処理を実施開始する。
【００３７】
本実施形態において、画像合成装置１は初期化処理として、コピーマーカ２とペーストマーカ３の相対位置関係を演算・記憶する処理と、テクスチャを生成・記憶する処理を実施する。後述するように、対象物体の画像を実写画像から仮想的に消去するためには、コピーマーカ２およびペースマーカの２つが必要になるが、コピーマーカ２とペーストマーカ３の相対位置関係が既知であれば、コピーマーカ２或いはペーストマーカ３のいずれが実写画像に含まれていれば、対象物体の画像を仮想的に消去する処理が可能になる。
【００３８】
図２のＳ３で、初期化処理が未実施と判断した場合、画像合成装置１は、コピーマーカ２とペーストマーカ３の２つが共に実写画像に含まれているか確認し、確認した内容によって処理を分岐させる（図２のＳ１０）。
【００３９】
画像合成装置１が、コピーマーカ２とペーストマーカ３の２つが同時に存在するか確認する手法は、ＡＲ技術で利用されている一般的な手法で、画像合成装置１は、例えば、図５（ａ）、（ｂ）で図示した四角枠を利用して、実写画像に含まれるマーカを認識し、更に、この四角枠内に含まれる文字（ここでは、「Ｐ」或いは「Ｃ」）から、実写画像に含まれるマーカの種別を認識する。
【００４０】
コピーマーカ２とペーストマーカ３の２つが共に実写画像に存在する場合は、画像合成装置１は初期化処理の実施が可能と判断し、図２のＳ１１に進む。また、コピーマーカ２とペーストマーカ３の２つが共に存在しない場合は、画像合成装置１は初期化処理の実施が不可能と判断し、図２のＳ２に戻る。
【００４１】
初期化処理として、まず、画像合成装置１は、コピーマーカ２とペーストマーカ３の相対位置関係を示す情報として、コピーマーカ座標系からペーストマーカ座標系への変換行列Ｔｃｐおよびペーストマーカ座標系からコピー座標系への変換行列Ｔｐｃを演算し、演算した変換行列Ｔｃｐ、Ｔｐｃを記憶する（図２のＳ１１）。
【００４２】
図６は、図２のＳ１１の処理を説明するためのフロー図で、変換行列Ｔｃｐと変換行列Ｔｐｃを算出する処理のフロー図である。画像合成装置１は、変換行列Ｔｃｐと変換行列Ｔｐｃを算出するために、コピーマーカ座標系からカメラ座標系への変換行列Ｔｃｅと、コピーマーカ座標系からカメラ座標系への変換行列Ｔｐｅを演算する（図６のＳ４０）。
【００４３】
画像合成装置１は、一般的なＡＲ技術を利用して、コピーマーカ２に印刷された模様（ここでは、四角枠）から、コピーマーカ座標系からカメラ座標系への変換行列Ｔｃｅと、コピーマーカ座標系からカメラ座標系への変換行列Ｔｐｅを演算する。
【００４４】
なお、本実施形態において、画像合成装置１は、一般的な３ＤＣＧを扱うときと同様に、３次元座標系値の次元を一つ繰り上げ４次元として取り扱うため、変換行列Ｔｃｅおよび変換行列Ｔｐｅは４行４列の行列となる。例えば、コピーマーカ座標系からカメラ座標系への変換式は数式１で表記される。
【数１】
【００４５】
次に、画像合成装置１は、逆行列の演算を用いて、カメラ座標系からコピーマーカ座標系への変換行列Ｔｅｃとカメラ座標系からペーストマーカ座標系への変換行列Ｔｅｐを、数式２に従い演算する（図６のＳ４１）。
【数２】
【００４６】
そして、画像合成装置１は、これまで演算した変換行列を用い、数式３に従い、コピーマーカ座標系からペーストマーカ座標系への変換行列Ｔｃｐとペーストマーカ座標系からコピーマーカ座標系への変換行列Ｔｐｃを演算し、変換行列Ｔｃｐと変換行列Ｔｐｃを記憶する（図６のＳ４２）。
【数３】
【００４７】
ここから、図２の説明に戻る。画像合成装置１は、コピーマーカ２とペーストマーカ３の相対位置関係を示す情報として、コピーマーカ座標系からペーストマーカ座標系への変換行列Ｔｃｐと、ペーストマーカ座標系からコピーマーカ座標系への変換行列Ｔｐｃを演算し記憶すると、次に、画像合成装置１は、仮想平面に貼り付けるテクスチャを生成する（図２のＳ１２）。
【００４８】
画像合成装置１が、仮想領域に貼り付けるテクスチャを生成するときに、図２のＳ１で取得したパラメータが用いられる。画像合成装置１は、コピーマーカ座標の原点から、パラメータに含まれるオフセット値だけずれた点を中心とし、半径ｒ１内の領域をサンプリング領域としてコピーマーカ座標系に設定する。
【００４９】
そして、画像合成装置１は、変換行列Ｔｃｅを用いて、サンプリング領域から抽出した実写画像の画素から、パラメータのテクスチャサイズと重なりサイズを用いて、コンピュータ分野において広く知られる既知技術によってシームレス化したテクスチャを生成する。
【００５０】
画像合成装置１は、テクスチャを生成すると、初期化処理済みであることを示すフラグを記憶し（図２のＳ１３）、初期化処理を終了する。
【００５１】
画像合成装置１は、初期化処理を実施すると、コピーマーカ座標系における仮想平面の中心点となる座標点を演算する（図２のＳ３０）。コピーマーカ座標系における仮想平面の中心点は任意の座標点でよいが、ここでは、画像合成装置１は、カメラの視点からペーストマーカ３の中心を通過する線が、コピーマーカ座標系におけるＸＹ平面と交差する点を、仮想平面の中心点となる座標点して求める。コピーマーカ座標系におけるＸＹ平面上に仮想平面を形成することで、仮想平面を実写映像に合成したとき、実写映像に対する仮想平面の奥行きを合わせることができるようになる。
【００５２】
例えば、図４では、コピーマーカ２が床面に置かれているため、コピーマーカ座標系におけるＸＹ平面は床面になる。よって、カメラの視点からペーストマーカ３の中心点に向かう延長線が、コピーマーカ座標系のＸＹ平面と交差する点を中心に仮想平面を形成すれば、カメラの視点から奥行き感が調整された位置に仮想平面が形成されることになる。
【００５３】
図７は、仮想平面の中心点となるコピーマーカ座標系の座標点を演算する内容を説明するためのフロー図である。画像合成装置１は、ペーストマーカ座標系からコピーマーカ座標系への変換行列Ｔｐｃから、ＡＲの技術分野で良く知られた理論を用いて、コピーマーカ座標系におけるペーストマーカ座標系の原点座標Ｖｐ〔ｐｘ、ｐｙ、ｐｚ〕を数式４に従い抽出する（図７のＳ５０）。
【数４】
【００５４】
次に、画像合成装置１は、カメラ座標系からコピーマーカ座標系への変換行列Ｔｅｃから、ＡＲの技術分野で良く知られた理論を用いて、コピーマーカ座標系におけるカメラ座標系の原点座標Ｖｅ〔ｅｘ、ｅｙ、ｅｚ〕を数式５に従い抽出する（図７のＳ５１）。
【数５】
【００５５】
そして、コピーマーカ座標系におけるペーストマーカ座標系の原点座標Ｖｐ〔ｐｘ、ｐｙ、ｐｚ〕とコピーマーカ座標系におけるカメラ座標系の原点座標Ｖｅ〔ｅｘ、ｅｙ、ｅｚ〕から、画像合成装置１は、仮想平面を配置するコピーマーカ座標系による座標Ｖｆ〔ｆｘ、ｆｙ、ｆｚ〕を数式６に従い演算する（図７のＳ５２）。
【数６】
【００５６】
図２の説明に戻る。画像合成装置１は、仮想平面の中心点となるコピーマーカ座標系における座標点を演算すると、コピーマーカ座標系のＸＹ平面に仮想平面を生成する（図２のＳ３１）。例えば、画像合成装置１は、中心点が座標Ｖｆ、図２のＳ１で取得した半径ｒ２の領域内に、テクスチャをシームレス化処理して貼り付けることで、画像合成装置１は、コピーマーカ座標系のＸＹ平面に仮想平面を生成する。
【００５７】
そして、画像合成装置１は、仮想平面を生成すると、コピーマーカ座標系のＸＹ平面に形成した仮想平面に含まれる座標点を、コピーマーカ座標系からカメラ座標系への変換行列 Ｔｃｅを用いて、カメラ座標系の座標点に変換することで、実写画像に仮想平面をレンダリングし、仮想平面を合成した実写画像を画像合成装置１のディスプレイに出力する（図２のＳ３２）。
【００５８】
仮想平面を合成した実写画像を画像合成装置１のディスプレイに出力した後、次の処理を実施するか確認し、次の処理を実施するときは図２のＳ２に戻り、次の処理を実施しないときは、図２で図示したフローを終了する（図２のＳ３３）。
【００５９】
ここから、初期化処理が実施済みのとき処理について説明する。図２のステップＳ３において、画像合成装置１が、初期化処理が実施済みであると判断した場合、すなわち、初期化処理済みのフラグが立っている場合、画像合成装置１は、コピーマーカ２に印刷された模様を利用して、実写画像にコピーマーカ２が含まれているかどうかを判定する（図２のＳ２０）。
【００６０】
実写画像にコピーマーカ２が含まれている場合、画像合成装置１は、コピーマーカ２に印刷された模様から、コピーマーカ座標系からカメラ座標系への変換行列Ｔｃｅを演算する（図２のＳ２１）。
【００６１】
また、実写画像にコピーマーカ２が含まれていないと判定した場合、画像合成装置１は、ペーストマーカ３に印刷された模様を利用して、実写画像にペーストマーカ３が含まれているか判定し（図２のＳ２２）、実写画像にペーストマーカ３が含まれていない場合は、図２のステップＳ２に戻る。
【００６２】
実写画像にペーストマーカ３が含まれている場合、画像合成装置１は、初期化処理で生成・記憶している変換行列Ｔｐｃを利用して、コピーマーカ座標系からカメラ座標系への変換行列Ｔｃｅを算出する（図２のＳ２３）。
【００６３】
図８は、図２のＳ２２の詳細内容を説明するフロー図である。初期化処理で生成・記憶している変換行列Ｔｐｃを利用して、コピーマーカ座標系からカメラ座標系への変換行列Ｔｃｅを算出するとき、まず、画像合成装置１は、ペーストマーカ３に印刷された模様から、ペーストマーカ座標系からカメラ座標系への変換行列Ｔｐｅを算出する（図８のＳ６０）。
【００６４】
そして、初期化処理によって演算・記憶したペーストマーカ座標系からコピーマーカ座標系への変換行列Ｔｐｃを利用してコピーマーカ座標系からカメラ座標系への変換行列ＴＴｃｅを数式７に従い演算する（図８のＳ６１）。
【数７】
【００６５】
図２のＳ２１或いは図２のＳ２３を実施した後、画像合成装置１は、図２のＳ３０に進み、仮想平面を形成した後、実写画像に仮想平面を合成する。
【００６６】
次に、本発明に係わる画像合成装置１に備えられた機能について説明する。図９は、画像合成装置１のハードウェアブロック図で、図１０は、画像合成装置１の機能ブロック図である。画像合成装置１は、パーソナルコンピュータやサーバなどのコンピュータ装置で実現され、図９に図示したように、画像合成装置１は、画像合成装置１全体を制御するＣＰＵ１０と、メインメモリであるＲＡＭ１１と、大容量のデータ記憶装置であるハードディスク１２と、カメラ１ａから取得した実写画像を処理するための画像処理ボード１３を備え、カメラ１ａ、キーボード１ｂおよびディプレイ１ｃなどが接続されている。
【００６７】
図１０に図示したように、３ＤＣＧを合成するときに邪魔になる対象物体４の画像を、ＡＲの技術を利用して実写画像から仮想的に消去するために、画像合成装置１は、対象物体４の画像を仮想的に実写映像から消去するときに利用するパラメータを取得するパラメータ取得手段１０１と、実写画像を取得する実写画像取得手段１０２と、拡張現実感で利用されるマーカの模様を記憶し、マーカの模様を利用して、カメラ１ａで撮影された実写画像に含まれるマーカを認識するマーカ認識手段１０３と、マーカ認識手段１０３が認識したマーカの模様から、マーカ認識手段１０３が認識したマーカのマーカ座標系を演算し、それぞれのマーカ座標系からカメラ座標系への変換行列を演算する変換行列演算手段１０４と、コピー元の画像を指定するコピーマーカ２の位置と定められたオフセット値を利用して、コピーマーカ２のマーカ座標系のＸＹ平面に所定サイズのサンプリング領域を設定し、コピーマーカ２のマーカ座標系からカメラ座標系への変換行列を利用して、サンプリング領域に含まれる実写画像の画素から、定められたサイズのテクスチャを生成するテクスチャ生成手段１０５と、ペースト先を指定するペーストマーカ３の座標原点を利用して、実写画像に合成する仮想平面を配置するコピーマーカのマーカ座標系上の座標点を演算する配置座標演算手段１０６と、配置座標演算手段１０６が演算した座標点を中心点とし、テクスチャ生成手段１０５が生成したテクスチャを貼り付けた所定サイズの仮想平面を形成する仮想平面形成手段１０７と、コピーマーカ２のマーカ座標系からカメラ座標系への変換行列を利用して、仮想平面形成手段１０７が形成した仮想平面を実写画像に合成する画像合成手段１０８と、これらの手段を制御し、図２で図示した手順を実行する制御手段１００を備えている。
【００６８】
画像合成装置１のパラメータ取得手段１０１は、図２のＳ１を実行するための手段で、画像合成装置１のパラメータ取得手段１０１は様々な形態で実現可能である。例えば、ディスプレイ１ｃにパラメータを入力するための画面を表示させ、キーボード１ｂから入力されたデータを取得する形態や、ディスプレイ１ｃにファイル名を入力するための画面を表示させ、ハードディスク１２に記憶されたファイルの中から、ファイル名で特定されるファイルからデータを読み込む形態などで実現される。
【００６９】
画像合成装置１の実写画像取得手段１０２は、図２のＳ２を実行するための手段で、画像合成装置１に接続されたカメラ１ａから実写画像をリアルタイムでＲＡＭ１１に読み込む形態や、ハードディスク１２に記憶されている画像ファイルをＲＡＭ１１に読み込む形態などで実現される。
【００７０】
画像合成装置１のマーカ認識手段１０３は、図２のＳ１０、Ｓ２０およびＳ２２を実行するための手段で、一般的なＡＲ技術と同様に、図５（ａ）、（ｂ）で図示したような四角枠を認識することで、実写画像に含まれるマーカを認識し、更に、この四角枠内に含まれる文字（ここでは、「Ｐ」或いは「Ｃ」）から、実写画像に含まれるマーカの種別を認識する手段である。
【００７１】
画像合成装置１の変換行列演算手段１０４は、図２のＳ１１、Ｓ２１およびＳ２３を実行するための手段で、図２のＳ１１、Ｓ２１およびＳ２３を実行するとき、一般的なＡＲ技術と同様に、マーカ認識手段が認識したマーカに印刷された模様（ここでは、四角枠）から、マーカ座標系からカメラ座標系への変換行列Ｔｃｅや変換行列Ｔｐｅを演算する。
【００７２】
更に、変換行列演算手段１０４は、図２のＳ１１を実行するときに、コピーマーカ座標系からカメラ座標系への変換行列Ｔｃｅと、ペーストマーカ座標系からカメラ座標系への変換行列Ｔｐｅを用いて行列演算を行い、カメラ座標系からコピーマーカ座標系への変換行列Ｔｅｃとカメラ座標系からペーストマーカ座標系への変換行列Ｔｅｐを演算する。
【００７３】
画像合成装置１のテクスチャ生成手段１０５は、図２のＳ１２を実行する手段で、コピーマーカ座標の原点から、パラメータ取得手段１０１が取得したパラメータに含まれるオフセット値だけずれた点を中心とし、パラメータに含まれるサイズ（例えば、半径ｒ１）の領域をサンプリング領域としてコピーマーカ座標系に設定し、変換行列Ｔｃｅを用いて、サンプリング領域から抽出した実写画像の画素から、パラメータのテクスチャサイズと重なりサイズを用いて、コンピュータ分野において広く知られる既知技術によってシームレス化したテクスチャを生成する手段である。
【００７４】
画像合成装置１の配置座標演算手段１０６は、図２のＳ３０を実行する手段で、図７で示した手順に従い、コピーマーカ座標系のＸＹ平面において、仮想平面の中心点となる座標点を演算する手段である。
【００７５】
画像合成装置１の仮想平面形成手段１０７は、図２のＳ３１を実行する手段で、テクスチャ生成手段１０７が生成したテクスチャをシームレス化処理して貼り付けることで、配置座標演算手段１０６が演算したコピーマーカ座標系のＸＹ平面の座標点を中心に、定められたサイズの仮想平面を生成する手段である。
【００７６】
画像合成装置１の画像合成手段１０８は、図２のＳ３２を実行する手段で、コピーマーカ座標系からカメラ座標系への変換行列 Ｔｃｅを用いて、仮想平面形成手段１０７が形成した仮想平面を、カメラ座標系の座標点に変換することで、実写画像に仮想平面をレンダリングし、仮想平面を合成した実写画像を画像合成装置１のディスプレイに出力する手段である。
【００７７】
画像合成装置１の制御手段１００は、上述した手段を制御し、図２で図示した手順を実行するための手段である。
【００７８】
画像合成装置１に備えられた各手段は、画像合成装置１を各手段として機能させるためのコンピュータプログラムで実現され、画像合成装置１のハードディスク１２や画像処理ボード１３には、このコンピュータプログラムのプログラムコードが実装されている。なお、画像合成装置１の制御手段１００は、コンピュータプログラムのメインルーチンに相当し、制御手段１００以外の手段は、メインルーチンから呼び出されるサブルーチンに相当する。
【００７９】
これまで述べた様に、画像合成装置１が、３ＤＣＧを合成するときに邪魔になる対象物体４の画像を実写画像から仮想的に消去した後に、ＡＲの技術を用いて３ＤＣＧを合成すれば、自然さを失うことなく３ＤＣＧを実写画像に合成することが可能になる。
【図面の簡単な説明】
【００８０】
【図１】本発明に係わる画像合成装置の利用形態を説明する図。
【図２】対象物体を画像から仮想的に消去するときの処理を説明するときのフロー図。
【図３】画像合成装置が取得するパラメータの一例を説明する図。
【図４】実写画像の一例を説明する図。
【図５】コピーマーカとペーストマーカを説明する図。
【図６】図２のＳ１１の処理を説明するためのフロー図。
【図７】仮想平面の中心点となるコピーマーカ座標系の座標点を演算するフロー図。
【図８】図２のＳ２２の詳細内容を説明するフロー図。
【図９】画像合成装置のハードウェアブロック図。
【図１０】画像合成装置の機能ブロック図。
【符号の説明】
【００８１】
１ 画像合成装置
２ コピーマーカ
３ ペーストマーカ
４ 対象物体
【特許請求の範囲】
【請求項１】
拡張現実感（AR: Augmented Reality）で利用されるマーカの模様を記憶し、マーカの模様を利用して、カメラで撮影された実写画像に含まれる前記マーカを認識するマーカ認識手段と、前記マーカ認識手段が認識したマーカの模様から、前記マーカ認識手段が認識したマーカのマーカ座標系を演算し、それぞれのマーカ座標系からカメラ座標系への変換行列を演算する変換行列演算手段と、コピー元の画像を指定する前記マーカ（コピーマーカ）の位置と定められたオフセット値を利用して、前記コピーマーカのマーカ座標系のＸＹ平面に所定サイズのサンプリング領域を設定し、前記コピーマーカのマーカ座標系からカメラ座標系への変換行列を利用して、前記サンプリング領域に含まれる前記実写画像の画素から、定められたサイズのテクスチャを生成するテクスチャ生成手段と、ペースト先を指定する前記マーカ（ペーストマーカ）の座標原点を利用して、前記実写画像に合成する仮想平面を配置する前記コピーマーカのマーカ座標系上の座標点を演算する配置座標演算手段と、前記配置座標演算手段が演算した座標点を中心点とし、前記テクスチャ生成手段が生成した前記テクスチャを貼り付けた所定サイズの仮想平面を形成する仮想平面形成手段と、前記コピーマーカのマーカ座標系からカメラ座標系への変換行列を利用して、前記仮想平面形成手段が形成した前記仮想平面を前記実写画像に合成する画像合成手段と、を備えたことを特徴とする画像合成装置。
【請求項２】
請求項１に記載の画像合成装置であって、前記配置座標演算手段は、前記仮想平面を配置する前記コピーマーカのマーカ座標系上の座標点として、前記ペーストマーカの座標原点と前記カメラの座標原点を通過する直線が前記コピーマーカのＸＹ座標面面と同一平面と交差する点を演算することを特徴とする画像合成装置。
【請求項３】
請求項１または請求項２に記載の画像合成装置であって、前記変換行列演算手段は、前記マーカ認識手段が認識した前記マーカのマーカ座標系からカメラ座標系への変換行列に加え、前記コピーマーカと前記ペーストマーカのマーカ座標系相互間の変換行列を演算・記憶し、前記コピーマーカと前記ペーストマーカのマーカ座標系間の変換行列を演算・記憶した後に、前記マーカ認識手段が、前記コピーマーカ或いは前記ペーストマーカのいずれ一つしか前記実写画像から検出できないとき、前記変換行列演算手段は、前記コピーマーカと前記ペーストマーカのマーカ座標系相互間の変換行列を用いて、前記実写画像から検出できなかった前記マーカに係わる変換行列を演算することを特徴とする画像合成装置。
【請求項４】
拡張現実感（AR: Augmented Reality）を利用した画像合成方法であって、コンピュータ装置画、拡張現実感で利用されるマーカに印刷された模様を利用して、カメラで撮影された実写画像に含まれる前記マーカを認識するステップａと、前記コンピュータ装置が、認識したマーカの模様から、前記マーカ認識手段が認識したマーカのマーカ座標系を演算し、それぞれのマーカ座標系からカメラ座標系への変換行列を演算するステップｂと、前記コンピュータ装置が、コピー元の画像を指定する前記マーカ（コピーマーカ）の位置と定められたオフセット値を利用して、前記コピーマーカのマーカ座標系のＸＹ平面に所定サイズのサンプリング領域を設定し、前記コピーマーカのマーカ座標系からカメラ座標系への変換行列を利用して、前記サンプリング領域に含まれる前記実写画像の画素から、定められたサイズのテクスチャを生成するステップｃと、前記コンピュータ装置画、ペースト先を指定する前記マーカ（ペーストマーカ）の座標原点を利用して、前記実写画像に合成する仮想平面を配置する前記コピーマーカのマーカ座標系上の座標点を演算するステップｄと、前記コンピュータ装置が、前記ステップｄで演算した座標点を中心点とし、前記テクスチャ生成手段が生成した前記テクスチャを貼り付けた所定サイズの仮想平面を形成するステップｅと、前記コンピュータ装置が、前記コピーマーカのマーカ座標系からカメラ座標系への変換行列を利用して、前記仮想平面形成手段が形成した前記仮想平面を前記実写画像に合成するステップｆと、を備えたことを特徴とする画像合成方法。
【請求項５】
請求項４に記載の画像合成方法であって、前記ステップｄにおいて、前記コンピュータ装置は、前記仮想平面を配置する前記コピーマーカのマーカ座標系上の座標点として、前記ペーストマーカの座標原点と前記カメラの座標原点を通過する直線が前記コピーマーカのＸＹ座標面面と同一平面と交差する点を演算することを特徴とする画像合成方法。
【請求項６】
請求項４または請求項５に記載の画像合成方法であって、前記ステップｂにおいて、前記コンピュータ装置は、前記マーカのマーカ座標系からカメラ座標系への変換行列に加え、前記コピーマーカと前記ペーストマーカのマーカ座標系相互間の変換行列を演算・記憶し、前記コピーマーカと前記ペーストマーカのマーカ座標系間の変換行列を演算・記憶した後に、前記ステップａにおいて、前記コピーマーカ或いは前記ペーストマーカのいずれ一つしか前記実写画像から検出できないとき、前記コンピュータ装置は、前記ステップｂにおいて、前記コピーマーカと前記ペーストマーカのマーカ座標系相互間の変換行列を用いて、前記実写画像から検出できなかった前記マーカに係わる変換行列を演算することを特徴とする画像合成方法。
【請求項１】
拡張現実感（AR: Augmented Reality）で利用されるマーカの模様を記憶し、マーカの模様を利用して、カメラで撮影された実写画像に含まれる前記マーカを認識するマーカ認識手段と、前記マーカ認識手段が認識したマーカの模様から、前記マーカ認識手段が認識したマーカのマーカ座標系を演算し、それぞれのマーカ座標系からカメラ座標系への変換行列を演算する変換行列演算手段と、コピー元の画像を指定する前記マーカ（コピーマーカ）の位置と定められたオフセット値を利用して、前記コピーマーカのマーカ座標系のＸＹ平面に所定サイズのサンプリング領域を設定し、前記コピーマーカのマーカ座標系からカメラ座標系への変換行列を利用して、前記サンプリング領域に含まれる前記実写画像の画素から、定められたサイズのテクスチャを生成するテクスチャ生成手段と、ペースト先を指定する前記マーカ（ペーストマーカ）の座標原点を利用して、前記実写画像に合成する仮想平面を配置する前記コピーマーカのマーカ座標系上の座標点を演算する配置座標演算手段と、前記配置座標演算手段が演算した座標点を中心点とし、前記テクスチャ生成手段が生成した前記テクスチャを貼り付けた所定サイズの仮想平面を形成する仮想平面形成手段と、前記コピーマーカのマーカ座標系からカメラ座標系への変換行列を利用して、前記仮想平面形成手段が形成した前記仮想平面を前記実写画像に合成する画像合成手段と、を備えたことを特徴とする画像合成装置。
【請求項２】
請求項１に記載の画像合成装置であって、前記配置座標演算手段は、前記仮想平面を配置する前記コピーマーカのマーカ座標系上の座標点として、前記ペーストマーカの座標原点と前記カメラの座標原点を通過する直線が前記コピーマーカのＸＹ座標面面と同一平面と交差する点を演算することを特徴とする画像合成装置。
【請求項３】
請求項１または請求項２に記載の画像合成装置であって、前記変換行列演算手段は、前記マーカ認識手段が認識した前記マーカのマーカ座標系からカメラ座標系への変換行列に加え、前記コピーマーカと前記ペーストマーカのマーカ座標系相互間の変換行列を演算・記憶し、前記コピーマーカと前記ペーストマーカのマーカ座標系間の変換行列を演算・記憶した後に、前記マーカ認識手段が、前記コピーマーカ或いは前記ペーストマーカのいずれ一つしか前記実写画像から検出できないとき、前記変換行列演算手段は、前記コピーマーカと前記ペーストマーカのマーカ座標系相互間の変換行列を用いて、前記実写画像から検出できなかった前記マーカに係わる変換行列を演算することを特徴とする画像合成装置。
【請求項４】
拡張現実感（AR: Augmented Reality）を利用した画像合成方法であって、コンピュータ装置画、拡張現実感で利用されるマーカに印刷された模様を利用して、カメラで撮影された実写画像に含まれる前記マーカを認識するステップａと、前記コンピュータ装置が、認識したマーカの模様から、前記マーカ認識手段が認識したマーカのマーカ座標系を演算し、それぞれのマーカ座標系からカメラ座標系への変換行列を演算するステップｂと、前記コンピュータ装置が、コピー元の画像を指定する前記マーカ（コピーマーカ）の位置と定められたオフセット値を利用して、前記コピーマーカのマーカ座標系のＸＹ平面に所定サイズのサンプリング領域を設定し、前記コピーマーカのマーカ座標系からカメラ座標系への変換行列を利用して、前記サンプリング領域に含まれる前記実写画像の画素から、定められたサイズのテクスチャを生成するステップｃと、前記コンピュータ装置画、ペースト先を指定する前記マーカ（ペーストマーカ）の座標原点を利用して、前記実写画像に合成する仮想平面を配置する前記コピーマーカのマーカ座標系上の座標点を演算するステップｄと、前記コンピュータ装置が、前記ステップｄで演算した座標点を中心点とし、前記テクスチャ生成手段が生成した前記テクスチャを貼り付けた所定サイズの仮想平面を形成するステップｅと、前記コンピュータ装置が、前記コピーマーカのマーカ座標系からカメラ座標系への変換行列を利用して、前記仮想平面形成手段が形成した前記仮想平面を前記実写画像に合成するステップｆと、を備えたことを特徴とする画像合成方法。
【請求項５】
請求項４に記載の画像合成方法であって、前記ステップｄにおいて、前記コンピュータ装置は、前記仮想平面を配置する前記コピーマーカのマーカ座標系上の座標点として、前記ペーストマーカの座標原点と前記カメラの座標原点を通過する直線が前記コピーマーカのＸＹ座標面面と同一平面と交差する点を演算することを特徴とする画像合成方法。
【請求項６】
請求項４または請求項５に記載の画像合成方法であって、前記ステップｂにおいて、前記コンピュータ装置は、前記マーカのマーカ座標系からカメラ座標系への変換行列に加え、前記コピーマーカと前記ペーストマーカのマーカ座標系相互間の変換行列を演算・記憶し、前記コピーマーカと前記ペーストマーカのマーカ座標系間の変換行列を演算・記憶した後に、前記ステップａにおいて、前記コピーマーカ或いは前記ペーストマーカのいずれ一つしか前記実写画像から検出できないとき、前記コンピュータ装置は、前記ステップｂにおいて、前記コピーマーカと前記ペーストマーカのマーカ座標系相互間の変換行列を用いて、前記実写画像から検出できなかった前記マーカに係わる変換行列を演算することを特徴とする画像合成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−３３３９７（Ｐ２０１０−３３３９７Ａ）
【公開日】平成２２年２月１２日（２０１０．２．１２）
【国際特許分類】
【出願番号】特願２００８−１９５７３４（Ｐ２００８−１９５７３４）
【出願日】平成２０年７月３０日（２００８．７．３０）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
【公開日】平成２２年２月１２日（２０１０．２．１２）
【国際特許分類】
【出願日】平成２０年７月３０日（２００８．７．３０）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
[ Back to top ]