室内調度品購入支援システム、方法、プログラム、媒体
【課題】本発明の課題は、絵画の寸法に対応した額縁デザインの画像を合成でき、携帯端末装置が限定されず柔軟のあるシミュレーションを提供する室内調度品購入支援システムを提供することである。
【解決手段】カメラ部が作成した絵画と基準マーカを含む動画像から順次にフレームを取得し、そのフレームが第１フレームであれば、基準マーカを用いて、第１フレームを正規化して、絵画を検出して、絵画の位置と特徴点と特徴点の位置を絵画追跡辞書に登録し、取得したフレームが第２フレーム以降のフレームであれば、画追跡辞書の絵画位置を用いて、このフレームにおける絵画位置を予測して、絵画を予測検出して、絵画追跡辞書を更新し、絵画追跡辞書の特徴点位置と絵画検出辞書の特徴点の座標と透視変換行列とを用いて、額縁画像を座標変換してフレームに合成して額縁シミュレーション動画像を表示することを特徴とする額縁選択装置である。
【解決手段】カメラ部が作成した絵画と基準マーカを含む動画像から順次にフレームを取得し、そのフレームが第１フレームであれば、基準マーカを用いて、第１フレームを正規化して、絵画を検出して、絵画の位置と特徴点と特徴点の位置を絵画追跡辞書に登録し、取得したフレームが第２フレーム以降のフレームであれば、画追跡辞書の絵画位置を用いて、このフレームにおける絵画位置を予測して、絵画を予測検出して、絵画追跡辞書を更新し、絵画追跡辞書の特徴点位置と絵画検出辞書の特徴点の座標と透視変換行列とを用いて、額縁画像を座標変換してフレームに合成して額縁シミュレーション動画像を表示することを特徴とする額縁選択装置である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、室内に調和する調度品の購入を支援するシステム、方法、プログラム、媒体に関するものである。
本発明は特に、絵画の額縁を購入検討するときに、額縁が絵画や室内に調和するか否かを検討する場合に有用である。
【背景技術】
【０００２】
快適な部屋を実現するためには、部屋の雰囲気にあって、部屋と調和がとれる調度品を選ぶことが大切である。
たとえば、額縁付きの絵画を部屋に掛ける場合に、額縁によって絵画の印象は大きく変わってくるので、額縁選びは大変重要である。
以下に、絵画に合った額縁の選び方とその問題点について説明する。
【０００３】
《１．絵画に合う額縁の選び方》
絵画と額縁の調和を検討する場合には、絵の寸法に合う額縁が、販売店舗（たとえば、画廊や額縁販売店など）に在庫しているとは限らず額縁に絵を入れることができないので、額縁の切れ端見本を見て額縁に入れた絵の印象を想像して、額縁を選択している。
従って、実際に、額に絵をはめ込むと、想像した印象と異なり不具合を感じるなど、額縁の切れ端見本と絵を見比べるだけでは、適切な額縁を選むことは難しい。
《２．部屋に合う額縁の選び方》
部屋と額縁の調和を検討する場合には、たとえば、額縁カタログを持ち帰って、額縁付きの絵画を壁に掛けた状況を想像して、額縁を選択している。
従って、実際に、額縁付きの絵画を壁に掛けると、壁の質感や色と調和が取れないことや、部屋の雰囲気と調和が取れないなど、額縁カタログと部屋を見比べるだけでは、部屋に調和する額縁を選ぶことは難しい。
《３．コンピュータ・シミュレーション》
そこで、絵画や部屋に合う額縁を選ぶときに、ＡＲ技術を用いて、実写画像に３次元仮想モデル画像を合成したシミュレーションによる額縁選択方法が考えられる。
たとえば、非特許文献１では、撮影した現実世界に含まれるマーカ画像（＝壁にマーカを貼った部屋の実写映像）から撮影角度と撮影距離とを算出して、マーカに対応する仮想物体（＝額縁付きの絵画）に対して、算出した角度と距離の情報を適用して３次元加工して、この３次元加工した対象画像を、撮影動画像のマーカの位置にリアルタイムで重畳して合成動画像を作成して再生する技術が開示されている。
あるいは、特許文献１では、実写映像の各フレームの特徴点を求めて、そのマーカ位置を手がかりにして、次のフレームの基準点マーカの位置を予測して、検知することで、効率よく、基準点マーカを追跡できる技術が開示されている。
ここで、ＡＲとは、Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙの略である。ＡＲは、日本語では、拡張現実や、強化現実と称する。
ＡＲ技術により現実を動画撮影した実写映像に仮想物体をリアルタイムで重畳することで、あたかも、現実空間に仮想物体があるかのような映像を再生させることができる。
また、ＡＲ技術で用いるマーカとは、二次元コード画像である。
【０００４】
【特許文献１】特開２００７−５０７７２２号公報（段落００１１−００１７、図１５）
【非特許文献１】加藤博一、外３名、「マーカー追跡に基づく拡張現実感システムとそのキャリブレーション」、論文誌、日本バーチャルリアリティ学会、１９９９、第４巻、第４号、ｐ．３−５
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１や非特許文献１では、実写した絵画画像の大きさに合わせて、額縁画像を拡大縮小変形させて合成しているので、額のデザインが絵画の寸法に対応していないという不具合が生じる。
また、特許文献１や非特許文献１では、撮影動画像のマーカの位置に仮想物体を重畳するときには、マーカに対応した仮想物体を予め記憶した装置を用いなければならないので、ＡＲを利用する装置が限定されて、柔軟なＡＲ利用ができないという欠点があった。
【０００６】
本発明は以上のような点を解決するためになされたものであって、本発明の課題は、絵画の寸法に対応した額縁デザインの画像を選んで合成できる、さらに、使用する携帯端末装置が限定されず柔軟のあるシミュレーション環境を提供することができる、室内調度品購入支援システム、方法、プログラム、媒体を提供することである。
【課題を解決するための手段】
【０００７】
まず、用語の説明をする。
「フレーム」とは、カメラが撮影した二次元静止画像である。フレームを所定の順番で表示することにより、動画を再生することができる。（図１５、図２９を参照）
「特徴点」とは、フレーム中の画像パターンが有する端点、頂点、角などである。（図９を参照）
「マーカ」とは、識別のパターンと方形枠とを有する図形である。マーカ図形の寸法は、既知である。（図５を参照）
「透視変換」とは、フレーム中の二次元画像の座標情報（＝観測画面座標系の座標情報）を、カメラ座標系の座標情報に変換することである。（図２１を参照）
「射影変換」とは、カメラ座標系の座標情報を、フレーム中の二次元画像の座標情報に変換することである。
「座標変換」とは、マーカを表現するマーカ座標系の座標情報を、カメラ座標系に座標情報に変換することである。（図２２を参照）
「カメラ座標系」とは、マーカに対するカメラの位置を原点とする座標系である。（図２３を参照）
【０００８】
本発明は、以下の各態様に記載の手段により、前記課題を解決する。
すなわち、本願発明の第１の発明は、絵画の特徴点情報と、その特徴点の座標情報（＝マーカ座標系における座標情報）と、を含む絵画検出辞書を記憶する絵画検出辞書格納部と、
絵画の位置情報（＝観測画面座標系の座標情報）と、絵画の特徴点情報と、特徴点の位置情報（＝観測画面座標系の座標情報）とを含む絵画追跡辞書を記憶する絵画追跡辞書格納部と、
四頂点座標情報（＝マーカ座標系における座標情報）を含む基準マーカ情報を記憶する基準マーカ格納部と、
額縁画像を含む額縁データを記憶する額縁格納部と、
透視変換行列情報と射影変換行列情報とを記憶する透視変換行列格納部と、
を含む記憶部と、
フレームから構成される動画像を作成するカメラ部と、
カメラ部が作成した絵画と基準マーカを含む動画像から順次にフレーム（＝観測画面座標系の座標情報）を取得するフレーム取得手段と、
フレーム取得手段が取得したフレームが第１フレームであれば、第１フレームの基準マーカ画像の四頂点座標情報と、基準マーカ格納部の四頂点座標情報と、を用いて、第１フレームを正規化して、特徴点情報を抽出する第１フレーム特徴点抽出手段と、
第１フレーム特徴点抽出手段が抽出した特徴点情報を用いて、絵画検出辞書格納部の絵画検出辞書と照合して、第１フレームの絵画を検出する絵画検出手段と、
絵画検出手段が検出した絵画から、絵画の位置情報と特徴点情報と特徴点の位置情報と、を算出し、これらを含む絵画追跡辞書を作成して絵画追跡辞書格納部に登録する追跡辞書登録手段と、
フレーム取得手段が取得したフレームが第２フレーム以降のフレームであれば、画追跡辞書格納部が記憶する絵画位置情報を用いて、このフレームにおける絵画位置を予測して、予測した絵画位置にあるフレームの特徴点情報を抽出する絵画予測特徴点抽出手段と、
絵画予測特徴点抽出手段が抽出した特徴点を用いて、画追跡辞書格納部が記憶する絵画追跡辞書の特徴点と照合して、フレーム取得手段が取得したフレームの絵画を検出する絵画予測検出手段と、
絵画予測検出手段が検出した絵画から、絵画の位置情報と特徴点情報と特徴点位置情報と、を算出して、これらを含む絵画追跡辞書を作成して絵画追跡辞書格納部の絵画追跡辞書を更新する追跡辞書更新手段と、
絵画追跡辞書の特徴点位置情報（＝観測画面座標系の座標情報）と、絵画検出辞書の特徴点の座標情報（＝マーカ座標系の座標情報）と、透視変換行列格納部の透視変換行列情報と、を用いて、座標変換行列を算出して、これを額縁格納部の額縁画像（＝マーカ座標系における座標情報）に適用して、座標変換した額縁画像（＝カメラ座標系における座標情報）を作成して、この座標変換した額縁画像に透視変換行列格納部の射影変換行列情報を適用して、射影変換した額縁画像（＝観測画面座標系の座標情報）を作成して、フレーム取得手段が取得したフレームに合成する額縁合成フレーム作成手段と、
額縁合成フレーム手段が合成したフレームから構成される額縁シミュレーション動画像を作成して表示する額縁シミュレーション表示手段と、
を備えることを特徴とする額縁選択装置である。
【０００９】
このように、絵画と基準マーカを同時に撮影することで、撮影した絵画画像を正規化することが可能となる。
【００１０】
本願発明の第２の発明は、前記額縁合成フレーム作成手段は、
絵画追跡辞書に含まれる特徴点位置情報の中から、４箇所の特徴点の位置情報（＝観測画面座標系の座標情報）を取得するフレーム特徴点取得手段と、
絵画検出辞書格納部が記憶する絵画検出辞書を参照して、フレーム特徴点取得手段が取得した４箇所の特徴点に対応する４個の特徴点の座標情報（＝マーカ座標系の座標情報）を取得する辞書特徴点座標取得手段と、
フレーム特徴点取得手段が取得した４箇所の特徴点の位置情報に対して、透視変換行列格納部の透視変換行列情報を適用して、座標変換行列の回転成分を算出し、次に、算出した座標変換行列の回転成分と、フレーム特徴点取得手段が取得した４箇所の特徴点の位置情報と、辞書特徴点座標取得手段が取得した４個の特徴点の座標情報とを用いて、座標変換行列の平行移動成分を算出し、最後に、算出した回転成分と平行移動成分とを用いて、座標変換行列を算出する座標変換算出手段と、
座標変換算出手段が算出した座標変換行列を、額縁格納部の額縁データが有する額縁画像に適用して、座標変換した額縁画像を作成し、座標変換した額縁画像に射影変換行列情報を適用して、射影変換した額縁画像を作成して、フレーム取得手段が取得したフレームの絵画に合成する合成手段と、
から構成されることを特徴とする請求項１に記載の額縁選択装置である。
【００１１】
本願発明の第３の発明は、前記第１フレーム特徴点抽出手段が、
フレーム取得手段が取得したフレームが第１フレームであれば、第１フレームの基準マーカ画像の四頂点座標情報と、基準マーカ格納部の四頂点座標情報と、を用いて、第１フレームの基準マーカ画像の形状が、基準マーカ格納部の四頂点座標情報により形成する基準マーカ形状と、相似形になるように、第１フレームを変形して、正規化した第１フレームを作成して、作成した正規化した第１フレームから特徴点情報を抽出する、
ことを特徴とする請求項１に記載の額縁選択装置である。
【００１２】
本願発明の第４の発明は、絵画領域とその寸法とを含む絵画指定情報の入力を受け付けて、フレーム取得手段が取得したフレームから絵画の特徴点情報を抽出して、入力された絵画指定情報を用いて、抽出された特徴点の絵画上の座標情報を算出して、抽出された特徴点と算出された特徴点座標情報を含む絵画検出辞書を作成して、絵画検出辞書格納部に登録する絵画検出辞書登録手段、
を備えることを特徴とする請求項１に記載の額縁選択装置である。
【００１３】
本願発明の第５の発明は、登録指示の入力を受け付けて、額縁画像と絵画画像を合成した画像を作成して、これにマーカ識別情報を関連付けた額付き絵画画像を作成して、データサーバ装置に送信する額付き絵画画像送信手段と、
マーカ識別情報を符号化した画像を含むマーカを印刷するマーカ印刷手段と、
を備えることを特徴とする請求項１に記載の額縁選択装置である。
【００１４】
本願発明の第６の発明は、寸法情報を含む額縁選択情報の入力を受け付けて、入力された額縁選択情報を含むデータベース検索クエリを構成して、データサーバ装置に送信して、返信された額縁画像を含む額縁データを受信して、これを額縁格納部に記憶する額縁取得手段、
を備えることを特徴とする請求項１に記載の額縁選択装置である。
【００１５】
すなわち、絵画の寸法に対応した額縁デザインを用いるので、本物と同等の額縁デザインの額縁画像を絵画に合成することができる。
【００１６】
本願発明の第７の発明は、寸法情報を含む額縁選択情報と額縁画像とを対応付けた額縁情報を記憶する額縁データベースと、
マーカ識別情報と額縁と絵画を合成した画像とを対応付けた額付き絵画画像を保持する額付き絵画画像データベースと、
を記憶する記憶部と、
額縁選択装置が送信する額縁選択情報を含むデータベース検索クエリを受信して、記憶部のデータベースを検索して、抽出した額縁画像を含む額縁データを返信する額縁返信手段と、
額縁選択装置が送信する額付き絵画画像を額付き絵画画像データベースに登録する額付き絵画画像登録手段と、
携帯端末装置が送信するマーカ識別情報を含むデータベース検索クエリを受信して、額付き絵画画像データベースを検索して、該当する額付き絵画画像を取得して、これを携帯端末装置に返信する額付き絵画画像返信手段と、
を備えることを特徴とするデータサーバ装置である。
である。
【００１７】
本願発明の第８の発明は、額縁選択装置とデータサーバ装置がネットワーク接続されて構成される室内調度品購入支援システムにおいて、
前記額縁選択装置は、
絵画の特徴点情報と、その特徴点の座標情報と、を含む絵画検出辞書を記憶する絵画検出辞書格納部と、
絵画の位置情報と、絵画の特徴点情報と、この特徴点の座標情報とを含む絵画追跡辞書を記憶する絵画追跡辞書格納部と、
四頂点座標情報を含む基準マーカ情報を記憶する基準マーカ格納部と、
額縁画像を含む額縁データを記憶する額縁格納部と、
透視変換行列情報と射影変換行列情報とを記憶する透視変換行列格納部と、
を含む記憶部と、
フレームから構成される動画像を作成するカメラ部と、
寸法情報を含む額縁選択情報の入力を受け付けて、入力された額縁選択情報を含むデータベース検索クエリを構成して、データサーバ装置に送信して、返信された額縁データを受信して、額縁データを額縁格納部に記憶する額縁取得手段と、
カメラ部が作成した絵画と基準マーカを含む動画像から順次にフレームを取得するフレーム取得手段と、
フレーム取得手段が取得したフレームが第１フレームであれば、第１フレームの基準マーカ画像の四頂点座標情報と、基準マーカ格納部の四頂点座標情報と、を用いて、第１フレームを正規化して、正規化した第１フレームから特徴点情報を抽出する第１フレーム特徴点抽出手段と、
第１フレーム特徴点抽出手段が抽出した特徴点情報を用いて、絵画検出辞書格納部の絵画検出辞書と照合して、第１フレームの絵画を検出する絵画検出手段と、
絵画検出手段が検出した絵画の位置情報と特徴点情報と、この特徴点の位置情報と、を算出して、これらを含む絵画追跡辞書を作成して絵画追跡辞書格納部に登録する追跡辞書登録手段と、
フレーム取得手段が取得したフレームが第２フレーム以降のフレームであれば、画追跡辞書格納部が記憶する絵画位置情報を用いて、このフレームの絵画位置を予測して、予測した絵画位置にあるフレーム上の特徴点情報を抽出する絵画予測特徴点抽出手段と、
絵画予測特徴点抽出手段が抽出した特徴点を用いて、画追跡辞書格納部が記憶する絵画追跡辞書の特徴点と照合して、フレーム取得手段が取得したフレームの絵画を検出する絵画予測検出手段と、
絵画予測検出手段が検出した絵画の位置情報と特徴点情報と、この特徴点の位置情報を算出して、これらを含む絵画追跡辞書を作成して絵画追跡辞書格納部の絵画追跡辞書を更新する追跡辞書更新手段と、
絵画追跡辞書の特徴点の位置座標情報と、絵画検出辞書の特徴点の座標情報と、透視変換行列格納部の透視変換行列情報と、を用いて、座標変換行列を算出して、これを額縁格納部の額縁画像に適用して、座標変換した額縁画像を作成して、この座標変換した額縁画像に射影変換行列情報を適用して、射影変換した額縁画像を作成して、フレーム取得手段が取得したフレームに合成する額縁合成フレーム作成手段と、
額縁合成フレーム手段が合成したフレームから構成される額縁シミュレーション動画像を作成して表示する額縁シミュレーション表示手段と、
を備える選択装置であって、
前記データサーバ装置は、
寸法情報を含む額縁選択情報と額縁画像とを対応付けた額縁情報を記憶する額縁データベースとを記憶する記憶部と、
額縁選択装置が送信する額縁選択情報を含むデータベース検索クエリを受信して、記憶部のデータベースを検索して、抽出した額縁画像を返信する額縁返信手段、
を備えるサーバ装置である、
ことを特徴とする室内調度品購入支援システムである。
【００１８】
本願発明の第９の発明は、前記額縁選択装置において、
前記額縁合成フレーム作成手段は、
絵画追跡辞書に含まれる特徴点位置情報の中から、４箇所の特徴点の位置情報を取得するフレーム特徴点取得手段と、
絵画検出辞書格納部が記憶する絵画検出辞書を参照して、フレーム特徴点取得手段が取得した４箇所の特徴点に対応する４個の特徴点の座標情報を取得する辞書特徴点座標取得手段と、
フレーム特徴点取得手段が取得した４箇所の特徴点位置情報に対して、透視変換行列格納部の透視変換行列情報を適用して、額縁用座標変換行列の回転成分を算出し、次に、算出した額縁用座標変換行列の回転成分と、フレーム特徴点取得手段が取得した４箇の特徴点位置情報と、辞書特徴点座標取得手段が取得した４個の特徴点の座標情報とを用いて、額縁用座標変換行列の平行移動成分を算出し、最後に、算出した回転成分と平行移動成分とを用いて、額縁用座標変換行列を算出する座標変換算出手段と、
座標変換算出手段が算出した額縁用座標変換行列を、額縁格納部の額縁データが有する額縁画像に適用して、座標変換した額縁画像を作成し、座標変換した額縁画像に射影変換行列情報を適用して、射影変換した額縁画像を作成して、フレーム取得手段が取得したフレームの絵画に合成する合成手段と、
とから構成される手段である、
ことを特徴とする請求項８に記載の室内調度品購入支援システムである。
である。
【００１９】
本願発明の第１０の発明は、前記額縁選択装置において、
前記第１フレーム特徴点抽出手段が、
フレーム取得手段が取得したフレームが第１フレームであれば、第１フレームの基準マーカ画像の四頂点座標情報と、基準マーカ格納部の四頂点座標情報と、を用いて、第１フレームの基準マーカ画像の形状と、基準マーカ格納部の四頂点座標情報により形成される基準マーカ形状と、を比較して両者が相似形になるように第１フレームを変形して、正規化した第１フレームを作成して、作成した正規化した第１フレームから特徴点情報を抽出する、
ことを特徴とする請求項８に記載の室内調度品購入支援システムである。
【００２０】
本願発明の第１１の発明は、前記額縁選択装置は、さらに、
絵画領域とその寸法とを含む絵画指定情報の入力を受け付けて、カメラで撮影した絵画のフレームから絵画の特徴点情報を抽出して、入力された絵画指定情報を用いて、抽出された特徴点の絵画上の座標情報を算出して、抽出した特徴点情報と、算出した特徴点の座標情報と、を含む絵画検出辞書を作成して、絵画検出辞書格納部に登録する絵画検出辞書登録手段、
を備えることを特徴とする請求項８に記載の室内調度品購入支援システムである。
【００２１】
本願発明の第１２の発明は、前記室内調度品購入支援システムは、さらにカメラを備える携帯端末装置とがネットワーク接続されて、
前記額縁選択装置は、
登録指示の入力を受け付けて、額縁画像と絵画画像を合成した画像を作成して、これにマーカ識別情報を関連付けた額付き絵画画像を作成して、データサーバ装置に送信する額付き絵画画像送信手段と、
マーカ識別情報を符号化した画像を含むマーカを印刷するマーカ印刷手段と、
を備える選択装置であって、
前記データサーバ装置は、
前記記憶部は、さらに、マーカ識別情報と額縁と絵画を合成した画像とを対応付けた額付き絵画画像を保持する額付き絵画画像データベースを記憶して、
額縁選択装置が送信する額付き絵画画像を額付き絵画画像データベースに登録する額付き絵画画像登録手段と、
携帯端末装置が送信するマーカ識別情報を含むデータベース検索クエリを受信して、額付き絵画画像データベースを検索して、該当する額付き絵画画像を取得して、これを携帯端末装置に返信する額付き絵画画像返信手段と、
を備えるサーバ装置であって、
前記携帯端末装置は、
額縁画像と絵画画像を合成した画像にマーカ識別情報を関連付けた額付き絵画画像を記憶する額付き絵画画像格納部と、
四頂点座標情報を含むマーカ情報を記憶するマーカ格納部と、
透視変換行列と射影変換行列とを記憶する透視変換行列格納部と、
座標変換行列を記憶する座標変換行列格納部と、
を有する記憶部と、
マーカを含む室内を撮影したフレームから構成される動画像を作成するカメラ部と
カメラ部が作成した動画像から順次にフレームを取得するフレーム取得手段と、
フレーム取得手段が取得したフレームからマーカ画像を取り出すマーカ画像取出手段と、
マーカ画像取出手段が取り出したマーカ画像の四頂点座標情報と、マーカ格納部が記憶する四頂点座標情報と、を用いて、マーカ画像を正規化して、正規化したマーカ画像からマーカ識別情報を復号するＩＤ復号手段と、
フレーム取得手段が取得したフレームが第１フレームであれば、復号したマーカ識別情報を含むデータベース検索クエリを構成して、データサーバ装置に送信して、返信された額付き絵画画像を受信して、額付き絵画画像格納部に格納する額付き絵画画像受信手段と、
マーカ格納部が記憶する四頂点座標情報と、マーカ画像取出手段が取り出したマーカ画像が有する四頂点の座標情報と、透視変換行列格納部の透視変換行列情報と、を用いて、座標変換行列を算出して、これを額付き絵画画像格納部に格納された額付き絵画画像に適用して、座標変換した額付き絵画画像を作成して、この座標変換した額付き絵画画像に射影変換行列を適用して射影変換した額付き絵画画像を作成して、この射影変換した額付き絵画画像をフレーム取得手段が取得したフレームに合成する合成フレーム作成手段と、
合成フレーム手段が合成したフレームから構成される室内シミュレーション動画像を作成して表示する室内シミュレーション表示手段と、
を備える端末装置である、
ことを特徴とする請求項８に記載の室内調度品購入支援システムである。
【００２２】
本願発明の第１３の発明は、前記携帯端末装置において、
前記ＩＤ復号手段は、
マーカ画像取出手段が取り出したマーカ画像の四頂点座標情報と、マーカ格納部の四頂点座標情報と、を用いて、第１フレームの基準マーカ画像の形状と、マーカ格納部の四頂点座標情報により形成される基準マーカ形状と、を比較して両者が相似形になるようにマーカ画像を変形して、正規化したマーカ画像を作成するマーカ正規化手段と、
マーカ正規化手段が正規化したマーカ画像からマーカ識別情報を復号する復号手段と、
から構成される手段である、
ことを特徴とする請求項１２に記載の室内調度品購入支援システムである。
【００２３】
本願発明の第１４の発明は、前記携帯端末装置において、
前記合成フレーム作成手段は、
マーカ画像取出手段が取り出したマーカ画像に対して、透視変換行列格納部が記憶する透視変換行列を適用して、透視変換したマーカ画像を作成する３次元マーカ作成手段と、
マーカ画像取出手段が取り出したマーカ画像の４頂点座標情報を算出して、算出した４頂点座標情報に対して、透視変換行列格納部が記憶する透視変換行列情報を適用して、座標変換行列の回転成分を算出する回転成分算出手段と、
回転成分算出手段が算出した座標変換行列の回転成分と、マーカ画像取出手段が算出したマーカ画像の４頂点座標情報と、マーカ格納部が記憶するマーカの４頂点座標情報と、を用いて、座標変換行列の平行移動成分を算出する平行移動成分手段と、
回転成分算出手段が算出した回転成分と平行移動成分手段が算出した平行移動成分とを用いて、座標変換行列を作成する行列算出手段と、
額付き絵画画像格納部が記憶する額縁と絵画を合成した画像に対して、行列算出手段が算出した座標変換行列を適用して、座標変換した額付き絵画画像を作成して、この座標変換した額付き絵画画像に射影変換行列を適用して射影変換した額付き絵画画像を作成して、この射影変換した額付き絵画画像を、フレーム取得手段が取得したフレームに合成する合成手段と、
から構成される手段である、
ことを特徴とする請求項１２に記載の室内調度品購入支援システムである。
【００２４】
本願発明の第１５の発明は、前記携帯端末装置において、
前記回転成分算出手段は、
マーカ画像取出手段が算出したマーカ画像の正方形枠の四頂点座標情報に対して、透視変換行列格納部が記憶する透視変換行列を適用して、マーカの正方形枠を底面としてカメラ部位置を頂点とする四角錘を作成して、この四角錘の向かい合う２枚の側面の法線ベクトルの組（Ｕ1、Ｕ2）と（Ｕ3、Ｕ4）とを算出して、それぞれの組の法線ベクトルの外積Ｖ1と外積Ｖ2とを算出して、さらに、この２つの外積Ｖ1とＶ2とから外積Ｖ3を算出して、最後に、３つの外積Ｖ1とＶ2とＶ3とから転置ベクトル［ Ｖ1t Ｖ2t Ｖ3t ］を算出して、これを回転成分情報とする、
ことを特徴とする請求項１４に記載の室内調度品購入支援システムである。
【００２５】
本願発明の第１６の発明は、四頂点座標情報を含む基準マーカ検出情報と、
額縁選択情報と、寸法情報と額縁画像を含む額縁情報と、対応付けて記憶する額縁データベースと、
絵画の特徴点と特徴点座標情報を含む絵画検出辞書と、
座標変換行列と射影変換行列と、
額縁画像と、
を用いる室内調度品購入支援方法であって、
（１）額縁選択装置が、絵画と基準マーカを撮影したフレームから構成される動画像を作成するカメラから動画像を受け取り、動画像から順次にフレームを取得するフレーム取得ステップと、
（２）額縁選択装置が取得したフレームが第１フレームであれば以下の処理を行なうステップと、
（３−１）第１フレームから基準マーカ画像を取り出して、基準マーカ画像の四頂点座標情報と、基準マーカ情報の四頂点座標情報と、を用いて、第１フレームを正規化して、正規化した第１フレームから特徴点情報を抽出する第１フレーム特徴点抽出する第１フレーム特徴点抽出ステップと、
（３−２）抽出した特徴点情報を用いて、登録した絵画検出辞書と照合して、第１フレームの絵画を検出する絵画検出ステップと、
（３−３）検出した絵画の位置情報と特徴点情報と、特徴点の位置情報と、を算出し、これらを含む絵画追跡辞書を作成する絵画追跡辞書作成ステップと、
（４）額縁選択装置が取得したフレームが第２フレーム以降のフレームであれば以下の処理を行なうステップと、
（５−１）絵画追跡辞書の絵画位置情報を用いて、このフレームにおける絵画位置を予測して、予測した絵画位置にあるフレームの特徴点情報を抽出する絵画予測特徴点抽出ステップと、
（５−２）抽出した特徴点を用いて、絵画追跡辞書の特徴点と照合して、取得したフレームの絵画を検出する絵画予測検出ステップと、
（５−３）検出した絵画から、絵画の位置情報と特徴点情報と、この特徴点の位置情報と、を算出し、これらを含む絵画追跡辞書を作成して、既存の絵画追跡辞書を更新する絵画追跡辞書更新ステップと、
（６）額縁選択装置が、絵画追跡辞書の特徴点位置情報と、絵画検出辞書の特徴点座標情報と、透視変換行列格納部の透視変換行列情報と、を用いて、座標変換行列を算出して、この算出した座標変換行列を、額縁格納部の額縁画像に適用して、座標変換した額縁画像を作成して、座標変換した額縁画像に射影変換行列を適用して、射影変換した額縁画像を作成して、これを、取得したフレームに合成する額縁合成フレーム作成ステップと、
（７）額縁選択装置が、合成したフレームから構成される額縁シミュレーション動画像を作成して表示する額縁シミュレーション表示ステップと、
を含んだ手順でなされることを特徴とする室内調度品購入支援方法である。
【００２６】
本願発明の第１７の発明は、前記額縁合成フレーム作成ステップが、
（１）額縁選択装置が、算出した特徴点位置情報の中から、４箇所の特徴点の位置情報を取得するフレーム特徴点取得ステップと、
（２）絵画検出辞書を参照して、フレーム特徴点取得ステップにて取得した４箇所の特徴点に対応する４個の特徴点の座標情報を取得する辞書特徴点座標取得ステップと、
（３）取得した４箇所の特徴点位置情報に対して、透視変換行列格納部の透視変換行列情報を適用して、座標変換行列の回転成分を算出する回転成分算出ステップと、
（４）算出した座標変換行列の回転成分と、フレーム特徴点取得ステップにて取得した４箇所の特徴点位置情報と、辞書特徴点座標取得ステップにて取得した４個の特徴点の座標情報とを用いて、座標変換行列の平行移動成分を算出する平行成分算出ステップと、
（５）算出した回転成分と平行移動成分とを用いて、額縁用座標変換行列を算出する座標変換行列算出ステップと、
（６）算出した額縁用座標変換行列を、額縁データが有する額縁画像に適用して、座標変換した額縁画像を作成し、座標変換した額縁画像に射影変換行列を適用して、射影変換した額縁画像を作成して、これを、取得したフレームの絵画に合成する合成ステップと、
から構成されるステップ、
を含んだ手順でなされることを特徴とする請求項１６に記載の室内調度品購入支援方法である。
【００２７】
本願発明の第１８の発明は、前記第１フレーム特徴点抽出ステップが、
第１フレームから取り出した基準マーカ画像の四頂点座標情報と、基準マーカ格納部の基準マーカ情報と、を用いて、第１フレームの基準マーカ画像の形状が、基準マーカ格納部の基準マーカ情報の四頂点座標情報が形成する形状とは、相似形になるように、第１フレームを変形して、正規化した第１フレームを作成して、作成した正規化した第１フレームから特徴点情報を抽出する、
ことを特徴とする請求項１６に記載の室内調度品購入支援方法である。
【００２８】
本願発明の第１９の発明は、前記室内調度品購入支援方法は、さらに、
（１）額縁選択装置が、絵画領域とその寸法とを含む絵画指定情報の入力を受け付けて、カメラで撮影したフレームから絵画の特徴点情報を抽出して、入力された絵画指定情報を用いて、抽出された特徴点の絵画上の座標情報を算出して、抽出された特徴点と算出された特徴点座標情報を含む絵画検出辞書を作成して、登録する絵画検出辞書登録ステップと、
を含んだ手順でなされることを特徴とする請求項１６に記載の室内調度品購入支援方法である。
【００２９】
本願発明の第２０の発明は、前記室内調度品購入支援方法は、さらに、
（１）額縁選択装置が、寸法情報を含む額縁選択情報の入力を受け付けて、入力された額縁選択情報を含むデータベース検索クエリを構成して、額縁データベースを検索して、額縁データを取得する額縁取得ステップと、
を含んだ手順でなされることを特徴とする請求項１６に記載の室内調度品購入支援方法である。
【００３０】
本願発明の第２１の発明は、前記室内調度品購入支援方法は、さらに、四頂点座標情報を含むマーカ情報を用いる購入支援方法であって、
（１）額縁選択装置が、登録指示の入力を受け付けて、額縁画像と絵画画像を合成した画像を作成して、これにマーカ識別情報を関連付けた額付き絵画画像を作成して、データサーバ装置に送信する額付き絵画画像送信ステップと、
（２）データサーバ装置は、額縁選択装置が送信する額付き絵画画像を額付き絵画画像データベースに登録する額付き絵画画像登録テップと、
（３）調度品選択装置がマーカ識別情報を符号化した画像を含むマーカを印刷するマーカ印刷ステップと、
（４）携帯端末装置が、印刷されたマーカを含む室内を撮影したフレームから構成される動画像を作成するカメラ部が作成した動画像から順次にフレームを取得して、以下の処理をするフレーム取得ステップと、
（５）携帯端末装置が、取得したフレームから取り出したマーカ画像の四頂点座標情報と、基準マーカ情報の四頂点座標情報と、を用いて、マーカ画像を正規化して、正規化したマーカ画像からマーカ識別情報を復号するＩＤ復号ステップと、
サブ
（５）携帯端末装置が、取得したフレームから取り出したマーカ画像の形状が、基準マーカ情報の四頂点座標情報により形成する基準マーカ形状と相似形になるように、マーカ画像を変形して、正規化するマーカ正規化作成ステップと、
（６）携帯端末装置が、正規化したマーカ画像からマーカ識別情報を復号する復号ステップと、
（７）携帯端末装置が取得したフレームが第１フレームであれば、以下の処理をするフレーム取得ステップと、
（７−１）復号したマーカ識別情報を含むデータベース検索クエリを構成して、額付き絵画画像データベースを検索して、額付き絵画画像を取得する額付き絵画画像検索ステップと、
（８）携帯端末装置が取得したフレームが第２フレーム以降であれば、以下の処理をするフレーム取得ステップと、
（８−１）マーカ識別情報が第１フレームのマーカ識別情報と等しいか否かを判定するステップと、
（８−２）マーカ識別情報が第１フレームのマーカ識別情報と等しくない場合には、当該フレームを第１フレームとして（７）に進む。
（８−３）マーカ識別情報が第１フレームのマーカ識別情報と等しい場合には、次のステップに進む。
（９）携帯端末装置がマーカ情報の四頂点座標情報と、フレームから取り出したマーカ画像が有する四頂点の座標情報と、透視変換行列情報と、を用いて、座標変換行列を算出して、これを取得された額付き絵画画像に適用して、座標変換した額付き絵画画像を作成して、この座標変換した額付き絵画画像に射影変換行列を適用して射影変換した額付き絵画画像を作成して、この射影変換した額付き絵画画像を、取得したフレームに合成する合成フレーム作成ステップと、
（１０）携帯端末装置が、合成したフレームから構成される室内シミュレーション動画像を作成して表示する室内シミュレーション表示ステップと、
を含んだ手順でなされることを特徴とする請求項１６に記載の室内調度品購入支援方法である。
【００３１】
本願発明の第２２の発明は、前記ＩＤ復号ステップは、
（１）携帯端末装置が、取り出したマーカ画像を、マーカ情報の形状と相似形になるように変形して正規化するマーカ正規化ステップと、
（２）正規化したマーカ画像からマーカ識別情報を復号する復号ステップと、
を含んだ手順でなされることを特徴とする請求項２１に記載の室内調度品購入支援方法である。
【００３２】
本願発明の第２３の発明は、前記合成フレーム作成ステップは、
（１）携帯端末装置が、取り出したマーカ画像に対して、透視変換行列を適用して、透視変換したマーカ画像を作成する３次元マーカ作成ステップと、
（２）携帯端末装置が、マーカ画像の４頂点座標情報を算出して、算出した４頂点座標情報に対して、透視変換行列情報を適用して、座標変換行列の回転成分を算出する回転成分算出ステップと、
（３）携帯端末装置が、算出した座標変換行列の回転成分と、算出したマーカ画像の４頂点座標情報と、マーカの４頂点座標情報と、を用いて、座標変換行列の平行移動成分を算出する平行移動成分ステップと、
（４）携帯端末装置が、回転成分算出手段が算出した回転成分と平行移動成分手段が算出した平行移動成分とを用いて、座標変換行列を作成する行列算出ステップと、
（５）携帯端末装置が、額付き絵画画像格納部が記憶する額縁と絵画を合成した画像に対して、行列算出手段が算出した座標変換行列を適用して、座標変換した額付き絵画画像を作成して、この座標変換した額付き絵画画像に射影変換行列を適用して射影変換した額付き絵画画像を作成して、この射影変換した額付き絵画画像をフレーム取得手段が取得したフレームに合成する合成ステップと、
を含んだ手順でなされることを特徴とする請求項２１に記載の室内調度品購入支援方法である。
【００３３】
本願発明の第２４の発明は、前記回転成分算出ステップは
携帯端末装置が、取り出したマーカ画像を用いて、マーカの正方形枠の辺を底辺としてカメラ部位置を頂点とする四角錘を作成して、この四角錘の向かい合う２枚の側面の法線ベクトルの組（Ｕ1、Ｕ2）と（Ｕ3、Ｕ4）とを算出して、それぞれの組の法線ベクトルの外積Ｖ1と外積Ｖ2とを算出して、さらに、この２つの外積Ｖ1とＶ2とから外積Ｖ3を算出して、３つの外積Ｖ1とＶ2とＶ3とを用いて転置ベクトル［ Ｖ1t Ｖ2t Ｖ3t ］を算出して回転成分情報として、
前記平行移動成分算出ステップは、携帯端末装置が、取得したフレームのマーカ画像に対して、透視変換行列を適用して、透視変換したマーカ画像を作成して、算出した回転成分情報を適用して、透視変換したマーカ画像を回転させて、回転させたマーカ画像の４頂点の座標情報と、マーカ情報の４頂点座標情報と、を対比させて、平行移動成分情報を算出する
ことを特徴とする請求項２３に記載の室内調度品購入支援方法である。
【００３４】
本願発明の第２５の発明は、コンピュータに組込むことによって、コンピュータを請求項１から請求項６のいずれか１項に記載の額縁選択装置として動作させるコンピュータプログラムである。
【００３５】
本願発明の第２６の発明は、コンピュータに組込むことによって、コンピュータを請求項７に記載のデータサーバ装置として動作させるコンピュータプログラムである。
【００３６】
本願発明の第２７の発明は、コンピュータに組込むことによって、コンピュータを請求項８から請求項１５のいずれか１項に記載の室内調度品購入支援システムとして動作させるコンピュータプログラムである。
【００３７】
本願発明の第２８の発明は、請求項２５から請求項２７のいずれか１項に記載のコンピュータプログラムを記録したコンピュータ読取り可能な記録媒体である。
【発明の効果】
【００３８】
本願発明によれば、
（１）絵画の寸法に相応しい額縁画像を用いて、絵画に額縁を合わせる額縁シミュレーションが可能である。
（２）所望の携帯端末装置を用いて、室内に額縁付き絵画を置く室内シミュレーションが可能である。
従って、本発明によれば、絵画に相応しく、室内で調和の取れた額縁を選択することができるという効果がある。
【発明を実施するための最良の形態】
【００３９】
以下、図面等を参照しながら、本発明の実施の形態について、更に詳しく説明する。
【００４０】
図１は、本発明による室内調度品購入支援システム１の概要を説明する図である。
室内調度品購入支援システム１は、額縁選択装置１００と、データサーバ装置３００と、携帯端末装置５００とが、ネットワーク９００で接続されて構成される。
【００４１】
額縁選択装置１００は、カメラ１０６と、印刷機１４とを備える。
額縁選択装置１００は、パーソナルコンピュータに、後述する専用プログラムを搭載したものである。
データサーバ装置３００は、既存のデータベース管理プログラムを備えたサーバコンピュータに、後述する専用プログラムを搭載したものである。
携帯端末装置５００の例としては、カメラ付き携帯電話などがある。
携帯端末装置５００は、基地局６００と無線電話で接続して、ゲートウェー８００を介して、ネットワーク９００と接続する。
【００４２】
図２は、室内調度品購入支援システム１の大まかな処理の流れを説明する。
以下に、購入する室内調度品として、額縁を例に説明する。室内調度品は、テーブルや椅子、など室内調度品であれば、何でも良い。
《１．室内調度品の選択》
画廊の販売者や額縁店の販売者（以下、額縁販売者）は、額縁選択装置１００のカメラ１０６で絵画を撮影して、辞書に登録する（図２（１））。
額縁販売者は、額縁選択装置１００のカメラ１０６で絵画を撮影して、辞書を用いて実写動画から絵画を検出して、室内調度品（＝額縁）をリアルタイムに合成させて額縁シミュレーション動画を表示させる（同（２））。
【００４３】
《２．室内シミュレーション》
額縁購入者は、気に入った額を絵画に合成して、データサーバ装置３００に登録する（同（３））。
額縁販売者は、登録した額付絵画画像に対応したマーカを、額縁選択装置の印刷機１４で印刷して、額縁購入者に渡す（同（４））。
額縁購入者は、カメラ付き携帯端末装置５００を用いて、マーカを貼った壁を動画撮影して、データサーバ装置３００からマーカに対応した額付絵画画像を取得して、壁の実写動画に、額付絵画画像をリアルタイムに合成させて室内シミュレーション動画を表示させる（同（５））。
【００４４】
なお、額縁購入者は、シミュレーション結果を参考にして、購入する額縁を決定すればよい。
【００４５】
図３は、額縁データ３９２を説明する図である。
図３の（ａ）は、額縁データ３９２の形式を説明する図である。
額縁データ３９２は、額縁識別情報３９２ａと、寸法データ３９２ｂと、額縁パターンデータ３９２ｃとから構成される。
額縁識別情報３９２ａは、ユニークな文字列である。
寸法データ３９２ｂは、数値データである。
額縁パターンデータ３９２ｃは、３次元画像データである。
【００４６】
図３の（ｂ）は、額縁データ３９２の例を説明する図である。
図３の（ｂ）に例示された額縁データ３９２は、額縁識別情報３９２ａが「クラッシック０２」と、寸法データ３９２ｂが「８号」と、額縁パターンデータ３９２ｃが「寸法「８号」の額縁の外観画像データ」である。
【００４７】
この例の意味は、図示された額縁パターンデータは、額縁デザインが「クラッシック０２」で、額縁寸法「８号」の額縁の３次元画像データであるということである。
【００４８】
図４は、額付き絵画画像１９３を説明する図である。
図４の（ａ）は、額付き絵画画像１９３の形式を説明する図である。
額付き絵画画像１９３は、マークＩＤ１９３ａと、額縁を絵画に合成した画像１９３ｂと、から構成される。
マークＩＤ１９３ａは、ユニークな文字列である。
額縁を絵画に合成した画像１９３ｂは、３次元画像データである。
【００４９】
図４の（ｂ）は、額付き絵画画像１９３の例を説明する図である。
図４の（ｂ）に例示された額付き絵画画像１９３は、マークＩＤ１９３ａが「ｍ００３２」で、額縁を絵画に合成した画像１９３ｂが「あるデザインの額縁に収めた絵画の３次元画像データ」である。なお、この額縁は、絵画の寸法に対応するサイズの額縁の外観画像データである。
この例の意味は、図示された額縁を絵画に合成した画像のマークＩＤは「ｍ００３２」であるということである。
【００５０】
図４の（ｃ）は、額付き絵画画像１９３の例を説明する図である。
図４の（ｃ）に例示された額付き絵画画像１９３は、マークＩＤ１９３ａが「Ｍ６４３０」で、額縁を絵画に合成した画像１９３ｂが「（ｂ）とは異なるデザインの額縁に収めた絵画の３次元画像データ」である
この例の意味は、図示された額縁を絵画に合成した画像のマークＩＤは「Ｍ６４３０」であるということである。
【００５１】
図５は、印刷されたマーカ画像１６の例である。
マーカ画像１６は、正方形枠を有する図形である。
正方形枠の内部には、２次元コードパターンを備える。
マーカ画像１６の２次元コードパターンは、額付き絵画画像のマークＩＤ１９３ａを符号化したものである。
マーカの大きさ（たとえば、正方形の１辺の長さ「Ｌ」）は、事前に定められた既知の値である。
【００５２】
次に、図６と図７とを用いて、絵画に額縁を合わせるシミュレーション処理の流れを説明する。
【００５３】
図６は、絵画に合う額縁を選択する手順を説明する図である。
《１．額縁の選択》
《１−１．絵画の登録》
額縁選択装置１００は、カメラ１０６が絵画を撮影して作成したフレームの絵画画像から特徴点（たとえば、フレームの画像パターンが有する端点、頂点、角など）を抽出する。
さらに、額縁選択装置１００は、絵画寸法情報の入力を受け付けて、受け付けた絵画寸法を元にから抽出した特徴点の座標値を求める。額縁選択装置１００は、抽出した特徴点と算出した特徴点の座標値とを含む絵画抽出辞書を作成して登録する（図６（１−１））。
【００５４】
《１−２．額縁画像の取得》
額縁選択装置１００は、絵画寸法情報と額縁選択情報の入力を受け付けて、これらを含む額縁要求をデータサーバ装置３００に発行して、返信された額縁データ３９２を取得する（同（２−１））。
【００５５】
すなわち、額縁データ３９２は、絵画の寸法に対応した額縁デザインのものを取得している。
【００５６】
《１−３．絵画と額縁の合成》
額縁選択装置１００は、カメラ１０６で絵画と標準マーカ１６を動画撮影する（同（２−２））。
額縁選択装置１００は、動画の第一フレームを用いて、標準マーカの４頂点が正方形になるように、フレーム全体を変形させて正規化する。
正規化した第一フレームと絵画抽出辞書とを照合して、第一フレームの絵画を検出する（同（２−３））。
【００５７】
額縁選択装置１００は、透視変換した第一フレームから検出した絵画の任意の４個の特徴点の座標情報と、対応する検出辞書の４個の特徴点の座標情報と、から、座標変換行列を算出して、算出した座標変換行列と射影変換行列とを額縁画像に適用して、額縁画像を座標変換して、第一フレームの絵画に合成して、動画表示１０３する（同（２−４））。
【００５８】
このように、絵画と標準マーカを一緒に撮影して、絵画の位置に額縁画像をリアルタイムに合成することに、技術的な特徴がある。
なお、座標変換の詳細は後述する。
【００５９】
額縁選択装置１００は、第一フレームの絵画の座標情報を用いて、第二フレームの絵画の位置を予測して、絵画を検出する範囲を絞り込んで、第二フレームの絵画を検出する（同（２−５））。
なお、絵画を検出する範囲を絞り込んでいるので、検出処理の能率を高めることができる。
【００６０】
第一フレームのときと同様にして、額縁選択装置１００は、透視変換した第二フレームから検出した絵画の任意の４個の特徴点の座標情報と、対応する検出辞書の４個の特徴点の座標情報と、から、座標変換行列を算出して、算出した座標変換行列と射影変換行列とを額縁画像に適用して、額縁画像を座標変換して、座標変換した額縁画像を第二フレームの絵画に合成して、動画表示１０３する（同（２−６））。
なお、動画の第三フレーム以降では、額縁選択装置１００は、直前のフレームの絵画の座標情報から当該フレームの絵画を検出して、透視変換した当該フレームから検出した絵画の任意の４個の特徴点の座標情報と、対応する検出辞書の４個の特徴点の座標情報とを額縁画像に適用して、座標変換した額縁画像を作成して、さらに射影変換行列を適用して当該フレームの絵画に合成して、表示１０３する（同（２−７））。
【００６１】
図７は、携帯端末装置５００を用いた室内シミュレーションの手順を説明する図である。
【００６２】
《２．室内シミュレーション》
《２−１．額付き絵画の登録》
額縁選択装置１００は、登録指示を受け付けて、マークＩＤを有する額付き絵画画像１９３を、データサーバ装置３００に登録する（同（３））。
《２−２．マーカの印刷》
額縁選択装置１００は、データサーバ装置３００に登録した額付き絵画画像のマークＩＤを符号化したマーカ１６を印刷する（同（４））。
《２−３．額付き絵画画像の受信》
カメラ付き携帯端末装置５００は、カメラで、壁に貼られたマーカ１６を動画撮影する（図７（５−１））。
携帯端末装置５００は、動画の第一フレームのマーカ画像に対して、既知のマーカ寸法を適用して正規化して、正規化したマーカ画像からマーカＩＤを復号して、データサーバ装置３００に送信して、対応する額付き絵画画像１９３を受信する（同（５−２））。
《２−４．額付き絵画画像と室内映像との合成》
携帯端末装置５００は、動画の各フレームを透視変換して、透視変換したフレームから検出したマーカの４個の頂点座標情報と、マーカ情報の４個の頂点座標情報と、から座標変換行列を算出して、算出した座標変換行列と射影変換行列とを額縁画像に適用して、額付き絵画画像を座標変換して、当該フレームに合成して、動画表示１０３する（同（５−３））。
【００６３】
なお、第二フレーム以降の各フレームに対して、マーカ画像からマーカＩＤを復号して、第一フレームのマーカＩＤど同一であることを確認して、受信した額付き絵画画像を座標変換して、当該フレームに合成して、動画表示１０３しても良い。
【００６４】
ここで、まず、額縁選択装置１００の詳細を説明する。
図８は、額縁選択装置１００の詳細な構成図である。
額縁選択装置１００は、ＣＰＵ１０１と、表示部１０３と、入力部１０２と、ネットワーク通信部１０４と、印刷機接続部１０５と、カメラ部１０６と、記憶部１０９と専用プログラムとを備える。
【００６５】
ＣＰＵ１０１は、中央演算装置である。
入力部１０２は、キーボードやマウスや表示部１０３に表示されたソフトキーボードである。
表示部１０３は、液晶表示装置や有機ＥＬ表示装置である。
【００６６】
印刷機接続部１０５は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクタのような通信コネクタである。通信コネクタはプリンタと接続する。
ネットワーク通信部１０４は、ＬＡＮコネクタである。
ネットワーク通信部１０４が、印刷機接続部１０５の代わりにネットワークプリンタと接続していても良い。
【００６７】
カメラ部１０６は、電子カメラである。
カメラ部１０６は、撮影対象を撮影したフレームから構成される動画像を作成する。
【００６８】
記憶部１０９は、半導体メモリや磁気メモリである。
記憶部１０９は、
絵画検出辞書格納部１０９ａと、絵画追跡辞書格納部１０９ｂと、基準マーカ格納部１０９ｃと、額縁格納部１０９ｄと、透視変換行列格納部１０９ｅと、を備えて、専用プログラムを記憶する。
絵画検出辞書格納部１０９ａは、絵画の特徴点情報と、その特徴点の座標情報と、を含む絵画検出辞書を記憶する領域である。
絵画追跡辞書格納部１０９ｂは、絵画の位置情報と、絵画の特徴点情報と、特徴点位置座標情報とを含む絵画追跡辞書を記憶する領域である。
基準マーカ格納部１０９ｃは、四頂点座標情報を含む基準マーカ情報１９６を記憶する領域である。
額縁格納部１０９ｄは、額縁画像を含む額縁データ３９２を記憶する領域である。
透視変換行列格納部１０９ｅは、透視変換行列情報１９１と射影変換行列情報１９１ｂを記憶する領域である。
透視変換行列情報１９１と射影変換行列情報１９１ｂは、カメラキャリブレーションにより算出した行列である。詳細は後述する。
【００６９】
このほかに、絵画検出辞書登録手段１１０と、額縁取得手段１２０と、フレーム取得手段１３０と、第１フレーム特徴点抽出手段１５５と、絵画検出手段１６５と、登録特徴点抽出手段１４５と、絵画追跡辞書登録手段１１５と、絵画予測特徴点抽出手段１５７と、絵画予測検出手段１６７と、更新特徴点抽出手段１４７と、絵画追跡辞書更新手段１１７と、フレーム特徴点取得手段１７４と、辞書特徴点取得手段１７５と、座標変換算出手段１７６と、合成手段１７８と、から構成される額縁合成フレーム作成手段１７０と、額縁シミュレーション表示手段１８０と、額付き絵画画像送信手段１２５と、マーカ印刷手段１２７と、を備える。これらの各手段は、それぞれの専用プログラムによって実現され、専用プログラムがＣＰＵ１０１に解釈・実行されることによって機能する。
【００７０】
絵画検出辞書登録手段１１０は、絵画領域とその寸法とを含む絵画指定情報の入力を受け付けて、カメラで撮影した絵画のフレームから絵画の特徴点情報（頂点や端点、角など）を抽出して、入力された絵画指定情報を用いて、抽出された特徴点の絵画上の座標情報（＝マーカ座標系における位置座標値）を算出して、抽出された特徴点と算出された特徴点座標情報を含む絵画検出辞書を作成して、絵画検出辞書格納部１０９ａに登録する。
【００７１】
額縁取得手段１２０は、寸法情報を含む額縁選択情報の入力を受け付けて、入力された額縁選択情報を含むデータベース検索クエリを構成して、データサーバ装置に送信して、返信された額縁データ３９２を受信して、額縁データ３９２を額縁格納部１０９ｄに記憶する。
【００７２】
フレーム取得手段１３０は、カメラ部が作成した絵画と基準マーカを含む動画像から順次にフレームを取得する。
【００７３】
第１フレーム特徴点抽出手段１５５は、フレーム取得手段１３０が取得したフレームが第１フレームであれば、そのフレームから基準マーカ画像を取り出して、基準マーカ画像の四頂点座標情報と、基準マーカ格納部１０９ｃに記憶する基準マーカ情報の四頂点座標情報と、を用いて、正規化行列情報を算出して、第１フレームにこの正規化行列情報を適用して、第１フレームの画像を正規化して、正規化した第１フレームから特徴点情報を抽出する。
【００７４】
絵画検出手段１６５は、第１フレーム正規化作成手段１５５が正規化した第１フレームから抽出した特徴点情報を用いて、絵画検出辞書格納部１０９ａの絵画検出辞書と照合して、辞書に含まれる特徴点との類似度を算出して、類似度の高い特徴点情報を用いて、第１フレームの絵画を検出する。
【００７５】
追跡辞書登録手段１１６は、登録特徴点抽出手段１４５と絵画追跡辞書登録手段１１５とから構成される。
追跡辞書登録手段１１６は、絵画検出手段が検出した絵画の位置情報と特徴点情報と、この特徴点の位置情報を算出し、これらを含む絵画追跡辞書を作成して絵画追跡辞書格納部に登録する。
登録特徴点抽出手段１４５は、絵画検出手段１６５が検出した第１フレームの絵画の位置情報を算出し、絵画が有する特徴点情報を抽出し、この抽出した特徴点の特徴点フレーム座標情報（＝観測画面座標系の座標情報）を算出する。
絵画追跡辞書登録手段１１５は、登録特徴点抽出手段１４５が算出した絵画の位置情報と抽出した特徴点情報と算出した特徴点位置情報とを含む絵画追跡辞書を作成して、絵画追跡辞書格納部１０９ｂに登録する。
【００７６】
絵画予測特徴点抽出手段１５７は、フレーム取得手段１３０が取得したフレームが第２フレーム以降のフレームであれば、画追跡辞書格納部１０９ｂが記憶する絵画追跡辞書の絵画位置情報を用いて、取得したフレームにおける絵画位置を予測して、予測した絵画位置にあるフレーム上の特徴点情報を抽出して、この抽出した特徴点の特徴点位置情報（＝観測画面座標系の座標情報）を算出する。
ここで、予測した絵画位置とは、絵画の位置とその近傍を含む位置である。
絵画予測検出手段１６７は、絵画予測特徴点抽出手段１５７が抽出した特徴点を用いて、画追跡辞書格納部１０９ｂが記憶する絵画追跡辞書の特徴点と照合して、辞書に含まれる特徴点との類似度を算出して、類似度の高い特徴点情報を用いて、該当するフレームの絵画を検出する。
【００７７】
追跡辞書更新手段１１８は、更新特徴点抽出手段１４７と絵画追跡辞書更新手段１１７とから構成される。
追跡辞書更新手段１１８は、絵画予測検出手段が検出した絵画の位置情報と特徴点情報と特徴点位置情報を算出して、これらを含む絵画追跡辞書を作成して絵画追跡辞書格納部の絵画追跡辞書を更新する。
更新特徴点抽出手段１４７は、絵画予測検出手段１６７が検出した該当するフレームの絵画の位置情報を算出し、絵画が有する特徴点情報を抽出し、この抽出した特徴点の特徴点フレーム座標情報（＝観測画面座標系の座標情報）を算出する。
絵画追跡辞書更新手段１１７は、更新特徴点抽出手段１４７が算出した絵画の位置情報と特徴点情報と特徴点位置情報（＝観測画面座標系の座標情報）とを含む絵画追跡辞書を作成して絵画追跡辞書格納部１０９ｂに記録して絵画追跡辞書を更新する。
【００７８】
額縁合成フレーム作成手段１７０は、フレーム特徴点取得手段１７４と、辞書特徴点取得手段１７５と、座標変換算出手段１７６と、合成手段１７８と、から構成される。
額縁合成フレーム作成手段１７０は、登録特徴点抽出手段１４５、もしくは、更新特徴点抽出手段１４７が算出した特徴点位置情報の中から、４箇所の特徴点の位置情報を取得して、絵画検出辞書格納部１０９ａが記憶する絵画検出辞書の中から、この４箇所の特徴点に対応する４個の特徴点が有する座標情報を取得して、４箇所の特徴点位置情報と、４個の特徴点座標値と、透視変換行列格納部１０９ｅが記憶する透視変換行列情報１９１とを、額縁画像に適用して、座標変換した額縁画像を作成して、これに射影変換行列情報１９１ｂを適用して射影変換した額縁画像を作成して、射影変換した額縁画像をフレーム取得手段が取得したフレームの絵画に合成する。
【００７９】
フレーム特徴点取得手段１７４は、登録特徴点抽出手段１４５、もしくは、更新特徴点抽出手段１４７が算出した特徴点位置情報の中から、４箇所の特徴点の特徴点位置情報（＝観測画面座標系の座標情報）を取得する。
辞書特徴点座標取得手段１７５は、絵画検出辞書格納部が記憶する絵画検出辞書を参照して、フレーム特徴点取得手段１７４が取得した４箇所の特徴点に対応する４個の特徴点の座標情報（＝マーカ座標系の座標情報）を取得する。
【００８０】
座標変換算出手段１７６は、フレーム特徴点取得手段１７４が取得した４箇所の特徴点位置情報と、透視変換行列格納部１０９ｅの透視変換行列情報１９１と、辞書特徴点座標取得手段１７５が取得した４個の特徴点の座標情報と、を用いて、額縁用座標変換行列を算出する。
詳細には、座標変換算出手段１７６は、フレーム特徴点取得手段１７４が取得した４箇所の特徴点位置情報に対して、透視変換行列格納部１０９ｅの透視変換行列情報１９１を適用して、額縁用座標変換行列の回転成分を算出する。
さらに、座標変換算出手段１７６は、算出した額縁用座標変換行列の回転成分と、フレーム特徴点取得手段１７４が取得した４箇所の特徴点位置情報（＝観測面座標系の座標情報）と、辞書特徴点座標取得手段１７５が取得した４個の特徴点の座標情報（＝マーカ座標系の座標情報）とを用いて、額縁用座標変換行列の平行移動成分を算出する。
最後に、座標変換算出手段１７６は、算出した回転成分と平行移動成分とを用いて、額縁用座標変換行列を算出する。
【００８１】
なお、額縁用座標変換行列を算出する手順の詳細は後述する。このとき、後述する座標変換行列を算出する手順では、マーカの４個の頂点座標情報を用いるので、座標変換算出手段１７６では、頂点座標情報の代わりに特徴点座標情報を用いて、額縁用座標変換行列を算出する。
【００８２】
合成手段１７８は、座標変換算出手段１７６が算出した額縁用座標変換行列を、額縁画像に適用して、座標変換した額縁画像を作成して、この座標変換した額縁画像に射影変換行列情報１９１ｂを適用して射影変換した額縁画像を作成して、射影変換した額縁画像をフレーム取得手段が取得したフレームの絵画に合成する。
【００８３】
額縁シミュレーション表示手段１８０は、額縁合成フレーム作成手段１７０が合成したフレームから構成される額縁シミュレーション動画を表示する。
【００８４】
額付き絵画画像送信手段１２５は、登録指示の入力を受け付けて、額縁画像と絵画画像を合成した画像を作成して、これにマーカ識別情報を関連付けた額付き絵画画像１９３を作成して、データサーバ装置に送信する。
マーカ印刷手段１２７は、マーカ識別情報を符号化した画像を含むマーカを印刷する。
【００８５】
図９は、絵画検出辞書が有する特徴点の座標値の説明図である。
図９には、絵画画像の特徴点と特徴点座標が例示されている。
絵画画像１１には、４箇の特徴点１１ａ／ｂ／ｃ／ｄが示されている。
特徴点１１ａは、頂点である。
特徴点１１ｂ／ｄは、端点である。
特徴点１１ｃは、角である。
特徴点１１ａの座標情報（たとえば座標値）は、（α、β）である。特徴点１１ｂの座標値は、（Ｌ／２、γ）である。特徴点１１ｃの座標値は、（−Ｌ／２、−Ｍ／２）である。、特徴点１１ｄの座標値は、（−Ｌ／２、δ）である。（０＜α＜Ｌ、０＜β、γ、δ＜Ｍ）
この特徴点の座標値を用いて、絵画検出辞書が作成される。
ここで、絵画画像１１の寸法は、縦×横＝Ｍ×Ｌである。
なお、特徴点の座標値は、マーカ座標系における座標値である。
【００８６】
図１０は、絵画検出辞書の登録手順を説明する図である。
《１−１．絵画の登録》
《ａ．特徴点の抽出》
絵画検出辞書登録手段１１０は、カメラで撮影したフレーム１０６ａから絵画の特徴点（頂点や端点、角など）を抽出する（図１０（１））。
《ｂ．特徴点の座標》
絵画検出辞書登録手段１１０は、カメラで撮影したフレーム上の絵画領域を指定する情報と絵画寸法とを含む絵画指定情報の入力を受け付けて、入力された絵画指定情報の絵画領域とその寸法と用いて、特徴点の絵画上の座標情報（＝マーカ座標系における座標情報。たとえば座標値）を算出する（同（２））。
《ｃ．辞書登録》
絵画検出辞書登録手段１１０は、抽出された特徴点と算出された特徴点座標情報を用いて、絵画検出辞書を作成して、絵画検出辞書格納部１０９ａに登録する（同（３））。
【００８７】
ここで、図１１から図１４を用いて、絵画と基準マーカ画像から構成されるフレームに額縁画像を合成する例を説明する。
【００８８】
図１１には、カメラと絵画とが正対した状態で撮影されたフレームが例示されている。
撮影されたフレーム１０６ａには、絵画画像１１と、正方形の基準マーカ画像１６とが撮影されている。
なお、この基準マーカ画像１６は、二次元コードパターンを有さなくて良い。
【００８９】
図１２には、カメラと絵画とが正対していない状態で撮影されたフレームが例示されている。フレーム１０６ａには、撮影角度の変化に応じて変形した絵画画像１１と基準マーカ画像１６とが含まれて構成されている。
【００９０】
図１３は、変形した基準マーカ画像１６を正規化する説明図である。
変形した基準マーカ画像１６の４個の頂点１６１／１６２／１６３／１６４を、正方形１６の４個の頂点１６１ｓ／１６２ｓ／１６３ｓ／１６４ｓに座標変換することで正規化した基準マーカ画像１６ｓを得ることができる。この正規化する座標変換をフレーム１０６ａに適用することで、正規化されたフレームを得ることができる。正規化されたフレームを、絵画検出辞書格納部１０９ａに登録された絵画検出辞書と照合することで、フレーム内の絵画画像を検出することが可能となる。
【００９１】
図１４は、額縁付き絵画画像の額縁シミュレーション動画の表示例である。
図１４には、撮影された絵画画像１１に変形された額縁画像が合成されたフレーム１０６ｂが表示された例が示されている。
フレーム１０６ｂは、撮影により変形された絵画画像１１と、絵画画像の変形度合に応じて変形した額縁画像３９２ｃとが合成されたフレームである。
【００９２】
次に、図１５から図１７までを用いて、額縁合成処理の手順を説明する。
【００９３】
図１５は、額縁合成処理の概要を説明する図である。
《１．額縁の選択》
《１−３．絵画と額縁の合成》
額縁選択装置１００のカメラ部１０６は、絵画を撮影したフレーム１０６ａから構成される動画像を作成する（図１５（１））。
フレーム取得手段１３０は、カメラ部が作成した絵画と基準マーカを含む動画像から順次にフレーム１０６ａを取得する。
フレーム取得手段１３０が取得したフレーム１０６ａが第１フレームであれば、第１フレーム合成処理を行なって、合成した第１フレーム１０６ｂを作成する（同（２））。
フレーム取得手段が取得したフレーム１０６ａが第２フレーム以降のフレームであれば、第２フレーム以降の合成処理を行なって、第２フレーム以降の合成したフレーム１０６ｂを作成する（同（３））。
額縁シミュレーション表示手段１８０は、合成したフレーム１０６ｂから構成される額縁シミュレーション動画１０６ｂを作成して表示する（同（４））。
【００９４】
図１６は、額縁合成処理の第１フレーム合成処理を説明する図である。
【００９５】
《第１フレーム合成処理》
《ａ．絵画画像の検出》
第１フレーム特徴点抽出手段１５５は、第１フレーム１０６ａから基準マーカ画像１６を取り出して、取り出した基準マーカ画像１６の四頂点座標情報と、基準マーカ格納部１０９ｃに記憶する基準マーカ情報１９６の四頂点座標情報と、を用いて、正規化行列情報を算出して、第１フレームにこの正規化行列情報を適用して、第１フレームの画像を正規化する（図１６（１））。
【００９６】
第１フレーム特徴点抽出手段１５５は、正規化した第１フレームから特徴点情報（頂点や端点、角など）を抽出する。
絵画検出手段１６５は、第１フレーム正規化作成手段１５５が抽出した特徴点情報を用いて、絵画検出辞書格納部１０９ａの絵画検出辞書と照合して、辞書に含まれる特徴点との類似度を算出して、類似度の高い特徴点情報を用いて、絵画を検出する（同（２））。
登録特徴点抽出手段１４５は、絵画検出手段１６５が検出した絵画の第１フレーム上の位置情報を算出する。
登録特徴点抽出手段１４５は、絵画検出手段１６５が検出した第１フレームの絵画が有する特徴点情報と、この特徴点の位置情報（＝観測画面座標系の座標情報）とを算出する（同（３））。
【００９７】
《ｂ．絵画追跡辞書登録》
絵画追跡辞書登録手段１１５は、登録特徴点抽出手段１４５が算出した絵画の位置情報と、登録特徴点抽出手段１４５が抽出した特徴点情報と、登録特徴点抽出手段１４５が算出した特徴点位置情報と、を含む絵画追跡辞書を作成し、絵画追跡辞書格納部１０９ｂに登録する（同（４））。
【００９８】
《ｃ．特徴点の取得》
フレーム特徴点取得手段１７４は、登録特徴点抽出手段１４５が算出した特徴点位置情報の中から、あるいは、絵画追跡辞書格納部１０９ｂが記憶する絵画追跡辞書の中から、４箇所の特徴点の特徴点位置情報（＝観測画面座標系の座標情報）を取得する（同（５））。
辞書特徴点座標取得手段１７５は、絵画検出辞書格納部が記憶する絵画検出辞書を参照して、フレーム特徴点取得手段１７４が取得した４箇所の特徴点に対応する４個の特徴点の座標情報（＝マーカ座標系の座標情報）を取得する（同（６））。
【００９９】
なお、４箇所の特徴点の位置関係は、正方形に近い位置関係であるとより望ましい。
【０１００】
《ｄ．座標変換》
座標変換算出手段１７６は、フレーム特徴点取得手段１７４が取得した４箇所のレーム特徴点座標情報と、透視変換行列格納部１０９ｅの透視変換行列情報１９１と、辞書特徴点座標取得手段１７５が取得した４個の特徴点の座標情報と、を用いて、額縁用座標変換行列を算出する（同（７））。
合成手段１７８は、額縁画像３９２ｃに対して、座標変換算出手段１７６が算出した座標変換行列を適用して、座標変換した額縁画像を作成して、この座標変換した額縁画像に射影変換行列情報１９１ｂを適用して射影変換した額縁画像を作成する（同（８））。
【０１０１】
《ｅ．フレーム合成》
合成手段１７８は、作成した射影変換した額縁画像を用いて、フレーム取得手段が取得したフレームの絵画に合成する（同（９））。
【０１０２】
図１７は、額縁合成処理の第２フレーム以降の合成処理を説明する図である。
【０１０３】
《第２フレーム以降の合成処理》
《ａ．絵画画像の抽出》
フレーム取得手段が取得したフレームが第２フレーム以降のフレームであれば、
絵画予測特徴点抽出手段１５７は、そのフレームから画追跡辞書格納部１０９ｂが記憶する絵画追跡辞書のフレームの絵画の座標情報を用いて絵画位置を予測して、予測した絵画位置から特徴点を抽出する（図１７（１））。
次に、絵画予測検出手段１６７は、絵画予測特徴点抽出手段１５７が抽出した特徴点を用いて、画追跡辞書格納部１０９ｂが記憶する絵画追跡辞書の特徴点と照合して、類似度を算出して、類似度の高い特徴点情報を抽出して、該当するフレームの絵画を検出する（同（２））。
更新特徴点抽出手段１４７は、検出した絵画の位置情報を算出する。
更新特徴点抽出手段１４７は、絵画予測検出手段１６７が検出した絵画が有する特徴点情報を算出して、この特徴点の特徴点位置情報（＝観測画面座標系の座標情報）を算出する（同（３））。
【０１０４】
このように、第二フレーム以降の処理では、基準マーカを用いずに、前のフレームで検知した絵画位置の近傍のみの特徴点を辞書と照合するので、処理時間を節約することができる。
あるいは、第二フレーム以降の処理では、フレームを正規化せずにフレームの絵画を検出できるので、同様に、処理時間を節約することができる。
【０１０５】
《ｂ．絵画追跡辞書更新》
絵画追跡辞書更新手段１１７は、更新特徴点抽出手段１４７が算出した絵画の位置情報と、更新特徴点抽出手段１４７が抽出した特徴点情報と、更新特徴点抽出手段１４７が算出した特徴点位置情報（＝観測画面座標系の座標情報）と、を含む絵画追跡辞書を作成して絵画追跡辞書格納部１０９ｂに記録して絵画追跡辞書を更新する（同（４））。
【０１０６】
《ｃ．特徴点の取得》
フレーム特徴点取得手段１７４は、更新特徴点抽出手段１４７が算出した特徴点位置情報の中から、あるいは、絵画追跡辞書格納部１０９ｂが記憶する絵画追跡辞書の中から、４箇所の特徴点の特徴点位置情報を取得する（同（５））。
辞書特徴点座標取得手段１７５は、絵画検出辞書格納部が記憶する絵画検出辞書の絵画の特徴点を参照して、フレーム特徴点取得手段１７４が取得した４箇所の特徴点に対応する４個の特徴点の座標情報を取得する（同（６））。
【０１０７】
《ｄ．座標変換》
第１フレーム合成処理における座標変換処理と同じ手順（図１６（７））と（図１６（８））で、座標変換した額縁画像を作成する（同（７））と（同（８））。
《ｅ．フレーム合成》
第１フレーム合成処理におけるフレーム合成処理と同じ手順（図１６（９））で、座標変換・射影変換した額縁画像をフレームの絵画に合成する（同（９））。
【０１０８】
図１８は、額縁合成処理のフローチャートである。
（１）絵画検出辞書登録手段１１０は、抽出された特徴点と算出された特徴点座標値を用いて、絵画検出辞書を作成して、絵画検出辞書格納部１０９ａに登録する。
（ステップＳ１１０）
（２）額縁選択装置１００は、カメラ部１０６が撮影対象を撮影中か否かを判定する。
撮影中であれば、ステップＳ１３０に進む。
撮影中で無ければ（撮影終了であれば）、終了する。（ステップＳ１２０）
（３）フレーム取得手段１３０は、カメラ部１０６が作成した絵画と基準マーカを含む動画像から順次にフレームを取得する。（ステップＳ１３０）
（４）額縁選択装置１００は、取得したフレームが第一フレームであるか否かを判定する。第一フレームであれば、ステップＳ１５０に進む。第二フレーム以降であれば、ステップＳ１６０に進む。（ステップＳ１４０）
（５）第一フレーム合成処理（図１６にて説明した合成処理）を行なう。ステップＳ１１０に戻る。（ステップＳ１５０）
（６）第二フレーム以降合成処理（図１７にて説明した合成処理）を行なう。ステップＳ１１０に戻る。（ステップＳ１６０）
【０１０９】
図１９は、データサーバ装置３００の詳細な構成図である。
データサーバ装置３００は、ＣＰＵ３０１と、ネットワーク通信部３０４と、記憶部３０９と専用プログラムとを備える。
【０１１０】
ＣＰＵ３０１は、中央演算装置である。
ネットワーク通信部３０４は、ＬＡＮコネクタである。
【０１１１】
記憶部３０９は、半導体メモリや磁気メモリである。
記憶部３０９は、額縁データベース３９１と、額付き絵画画像データベース３９３と、専用プログラムを記憶する。
額縁データベース３９１は、寸法情報を含む額縁選択情報と額縁画像とを対応付けた額縁データ３９２を記憶する。
額付き絵画画像データベース３９３は、マーカ識別情報と額縁と絵画を合成した画像とを対応付けた額付き絵画画像を記憶する。
【０１１２】
このほかに、額縁返信手段３１０と、額付き絵画画像登録手段３２０と、額付き絵画画像返信手段３４０とを備える。これらの各手段は、それぞれの専用プログラムによって実現され、専用プログラムがＣＰＵ３０１に解釈・実行されることによって機能する。
【０１１３】
額縁返信手段３１０は、額縁選択装置が送信する額縁選択情報を含むデータベース検索クエリを受信して、記憶部のデータベースを検索して、抽出した額縁画像を返信する。
額付き絵画画像登録手段３２０は、額縁選択装置が送信する額付き絵画画像を額付き絵画画像データベース３９３に登録する。
額付き絵画画像返信手段３４０は、携帯端末装置が送信するマーカ識別情報を含むデータベース検索クエリを受信して、額付き絵画画像データベース３９３を検索して、該当する額付き絵画画像を取得して、これを携帯端末装置に返信する。
【０１１４】
図２０は、携帯端末装置５００の詳細な構成図である。
携帯端末装置５００は、ＣＰＵ５０１と、表示部５０３と、入力部５０２と、ネットワーク通信部５０４と、カメラ部５０６と、記憶部５０９と専用プログラムとを備える。
【０１１５】
ＣＰＵ５０１は、中央演算装置である。
入力部５０２は、キーボードやマウスや表示部５０３に表示されたソフトキーボードである。
表示部５０３は、液晶表示装置や有機ＥＬ表示装置である。
ネットワーク通信部５０４は、ＬＡＮコネクタである。
【０１１６】
カメラ部５０６は、電子カメラである。
カメラ部５０６は、マーカを含む室内を撮影したフレームから構成される動画像を作成する。
【０１１７】
記憶部５０９は、半導体メモリや磁気メモリである。
記憶部５０９は、額付き絵画画像格納領域５０９ａと、マーカ格納部５０９ｂと、透視変換行列格納部５０９ｃと、座標変換行列格納部５０９ｄと、専用プログラムを記憶する。
額付き絵画画像格納部５０９ａは、額縁画像と絵画画像を合成した画像にマーカ識別情報を関連付けた額付き絵画画像１９３を記憶する領域である。
マーカ格納部５０９ｂは、四頂点座標情報（＝マーカ座標系の座標情報）を含むマーカ情報３９６を記憶する領域である。
透視変換行列格納部５０９ｃは、透視変換行列３９５と射影変換行列３９５ｂを記憶する領域である。
座標変換行列格納部５０９ｄは、座標変換行列３９７を記憶する領域である。
【０１１８】
このほかに、フレーム取得手段５１０と、マーカ画像取出手段５２０と、ＩＤ復号手段５３０と、額付き絵画画像受信手段５４０と、合成フレーム作成手段５７０と、室内シミュレーション表示手段５８０と、を備える。これらの各手段は、それぞれの専用プログラムによって実現され、専用プログラムがＣＰＵ５０１に解釈・実行されることによって機能する。
【０１１９】
フレーム取得手段５１０は、カメラ部が作成した動画像から順次にフレームを取得する。
【０１２０】
マーカ画像取出手段５２０は、フレーム取得手段５１０が取得したフレームからマーカ画像を取り出し、取り出したマーカ画像の正方形枠の４頂点座標情報（＝観測画面系の座標情報）を算出する。
【０１２１】
ＩＤ復号手段５３０は、マーカ正規化手段５３２と、復号手段５３４と、から構成される。
ＩＤ復号手段５３０は、マーカ画像取出手段が取り出したマーカ画像の四頂点座標情報と、マーカ格納部が記憶する四頂点座標情報と、を用いて、マーカ画像を正規化して、正規化したマーカ画像からマーカ識別情報を復号する。
【０１２２】
マーカ正規化手段５３２は、マーカ画像取出手段５２０が算出したマーカ画像の正方形枠の四頂点座標情報と、マーカ格納部５０９ｂが記憶するマーカ情報の四頂点座標情報（＝マーカ座標系の座標情報）と、を用いて、正規化行列情報を作成して、マーカ画像取出手段５２０が取り出したマーカ画像にこの正規化行列情報を適用して、正規化する。
復号手段５３４は、マーカ正規化手段５３２が正規化したマーカ画像からマーカ識別情報を復号する。
【０１２３】
額付き絵画画像受信手段５４０は、フレーム取得手段５１０が取得したフレームが第１フレームであれば、復号したマーカ識別情報を含むデータベース検索クエリを構成して、データサーバ装置に送信して、返信された額付き絵画画像を受信する。
【０１２４】
合成フレーム作成手段５７０は、３次元マーカ作成手段５５０と、回転成分算出手段５６２と、平行移動成分算出手段５６４と、行列算出手段５６６と、合成手段５６８と、から構成される。
合成フレーム作成手段５７０は、マーカ格納部５０９ｂが記憶する四頂点座標情報と、マーカ画像取出手段が取り出したマーカ画像が有する四頂点の座標情報と、透視変換行列格納部５０９ｃの透視変換行列情報３９５と、を用いて、座標変換行列３９７を算出して、これを額付き絵画画像格納部に格納された額付き絵画画像に適用して、座標変換した額付き絵画画像を作成して、この座標変換した額付き絵画画像に射影変換行列情報３９５ｂを適用して射影変換した額付き絵画画像を作成して、射影変換した額付き絵画画像を、フレーム取得手段が取得したフレームに合成する。
【０１２５】
３次元マーカ作成手段５５０は、マーカ画像取出手段５２０が取り出したマーカ画像に対して、透視変換行列格納部５０９ｃが記憶する透視変換行列３９５を適用して、透視変換したマーカ画像（＝カメラから見た３次元マーカ画像）を作成する。
【０１２６】
回転成分算出手段５６２は、マーカ画像取出手段５２０が算出したマーカ画像の正方形枠の四頂点座標情報（＝観測画面系の座標情報）に対して、透視変換行列格納部５０９ｃが記憶する透視変換行列３９５を適用して、マーカの正方形枠を底面としてカメラ部位置を頂点とする四角錘を作成して、この四角錘の向かい合う２枚の側面の法線ベクトルの組（Ｕ1、Ｕ2）と（Ｕ3、Ｕ4）とを算出して、それぞれの組の法線ベクトルの外積Ｖ1と外積Ｖ2とを算出して、さらに、この２つの外積Ｖ1とＶ2とから外積Ｖ3を算出して、３つの外積Ｖ1とＶ2とＶ3との転置ベクトルを回転成分情報として算出する。
【０１２７】
平行移動成分算出手段５６４は、３次元マーカ作成手段５５０が作成した３次元マーカ画像の４頂点座標情報に対して、回転成分算出手段５６２が算出した回転成分情報を適用して、回転させた３次元マーカ画像を作成して、回転させた３次元マーカの４頂点座標情報（＝カメラ座標系の座標情報）と、マーカ格納部５０９ｂが記憶するマーカの４頂点座標情報（＝マーカ座標系の座標情報）と、を対比させて、平行移動成分情報を算出する。
【０１２８】
行列算出手段５６６は、回転成分算出手段５６２が算出した回転成分情報と、平行移動成分算出手段５６４が算出した平行移動成分情報と、を用いて、座標変換行列３９７を算出する。
【０１２９】
合成手段５６８は、額付き絵画画像格納部５０９ｃが記憶する額縁と絵画を合成した画像１９３ｂに対して、行列算出手段５６６が算出した座標変換行列を適用して、座標変換した額付き絵画画像を作成して、この座標変換した額付き絵画画像に射影変換行列情報３９５ｂを適用して射影変換した額付き絵画画像を作成して、射影変換した額付き絵画画像を、フレーム取得手段が取得したフレームに合成する。
室内シミュレーション表示手段５８０は、この合成したフレームから構成される室内シミュレーション動画像を作成して表示する。
【０１３０】
ここで、図２１と図２２とを用いて、座標変換と透視変換の計算方法の説明をする。
図２１は、透視変換の説明図である。
図２１の（ａ）は、透視変換行列３９５の説明図である。
「Ｐ」３９５は、透視変換行列である。
透視変換行列「Ｐ」３９５は、透視変換行列要素「Ｐij」から構成される４行１列の行列である。
【０１３１】
なお、透視変換行列３９５は、カメラキャリブレーションにより算出した行列である。ここで、カメラキャリブレーションとは、カメラによる三次元測量を可能にするために、観測画面座標系（２次元）（＝カメラによる撮影画像の表示面）からカメラ座標系（３次元）への座標値変換の関係を求めることである。
なお、カメラキャリブレーションによる透視変換行列３９５の算出方法は、たとえば、非特許文献１（ｐ．６−７）に記載されている。
なお、射影変換行列３９５ｂは、透視変換行列３９５と同様の変換行列要素から構成される４行１列の行列である。
【０１３２】
図２１の（ｂ）は、透視変換行列を用いて透視変換する関係式「式１」の説明図である。関係式「式１」は、マーク画像上（＝観測画面座標系）の点の座標値とカメラ座標系の座標値とを変換する関係式である。
関係式「式１」は、透視変換行列「Ｐ」３９５と、観測画面座標系の座標行列３９７と、カメラ座標系の座標行列３９６と、から構成される。
透視変換行列「Ｐ」３９５は、マーク画像上の座標値（Ｘp、Ｙp）を、カメラ座標系の座標値（Ｘc、Ｙc、Ｚc）に変換する行列である。
マーク画像上の観測画面座標系の座標行列３９７は、マーク画像上（＝観測画面座標系）の点の座標値（Ｘp、Ｙp）を含む「ｈＸp、ｈＹp、ｈ、１」を要素とする４行１列の行列である。
カメラ座標系の座標行列３９６は、カメラ座標系の座標値（Ｘc、Ｙc、Ｚc）を含む「Ｘc、Ｙc、Ｚc、１」を要素とする４行１列の行列である。
ここで、マーク画像上の座標値（Ｘp、Ｙp）は、観測画面座標系の２次元座標（＝Ｘ座標、Ｙ座標）である。
カメラ座標系の座標値（Ｘc、Ｙc、Ｚc）は、３次元座標（＝Ｘ座標、Ｙ座標、Ｚ座標）である。
ｈは、観測画面とカメラの距離を変数とする値である。
なお、射影変換行列３９５ｂを用いて透視変換する関係式は、透視変換行列３９５を用いて透視変換する関係式と同様である。
【０１３３】
図２２は、座標変換の計算式の説明図である。
図２２は、座標変換行列を用いて座標変換する関係式「式２」の説明図である。
関係式「式２」は、マーク座標系の座標値とカメラ座標系の座標値とを変換する関係式である。
関係式「式２」は、座標変換行列「Ｔcm」３９７と、カメラ座標系の座標行列３９６と、マーク座標系の座標行列３９８と、から構成される。
座標変換行列「Ｔcm」３９７は、マーク座標系の座標値（Ｘm、Ｙm、Ｚm）をカメラ座標系の座標値（Ｘc、Ｙc、Ｚc）に変換する行列である。
カメラ座標系の座標行列３９６は、カメラ座標系の座標値（Ｘc、Ｙc、Ｚc）を含む「Ｘc、Ｙc、Ｚc、１」を要素とする４行１列の行列である。
マーク座標系の座標行列３９８は、マーク座標系の座標値（Ｘm、Ｙm、Ｚm）を含む「Ｘm、Ｙm、Ｚm、１」を要素とする４行１列の行列である。
座標変換行列「Ｔcm」３９７は、回転成分行列「Ｒ3X3」３９７ａと、平行移動成分行列「Ｔ3X1」３９７ｂと、を含む４行４列の行列である。
回転成分行列Ｒ3X3は、３行３列の回転成分要素Ｒijで構成される。
平行移動成分行列Ｔ3X1は、３行１列の平行移動成分要素Ｔjを含む４行１列の行列である。（ｉ，ｊ＝１、２、３）
【０１３４】
次に、図２３から図２５までを用いて、カメラ座標系とマーク座標系と観測画面座標系の関係について図解する。
【０１３５】
図２３は、マーカ座標系とカメラ座標系と観測画面座標系を説明する図である。
マーカ座標系は、マーカ１６がＸＹ平面の原点に置いた３次元空間である。
カメラ座標系は、マーカ１６を撮影するカメラ２０の位置を原点とする３次元空間である。
観測画面座標系は、カメラ２０が撮影したマーカ１６の画像を投影表示する２次元平面である。
カメラ座標系と観測画面座標系との変換関係が透視変換である。
マーカ座標系とカメラ座標系との変換関係が座標変換である。
【０１３６】
図２４は、マーカ座標系におけるマーカの説明図である。
マーカ１６は、マーカの中心をマーカ座標系の原点に一致させて配置されている。
マーカ１６は、一辺が「Ｌ」の正方形である。
マーカの４個の頂点１６ａ／１６ｂ／１６ｃ／１６ｄの座標値は、それぞれ、（Ｌ／２、Ｌ／２、０）と、（−Ｌ／２、Ｌ／２、０）と、（−Ｌ／２、−Ｌ／２、０）と、（Ｌ／２、−Ｌ／２、０）とである。
【０１３７】
図２５は、四角錘２２の説明図である。
四角錘２２は、マーカ１６の正方形枠を底面としてカメラ部２０を頂点とする四角錘である。四角錘２２には、観測画面２１が含まれる。この観測画面２１は、カメラが撮影するマーカ画像を表示する２次元平面である。
【０１３８】
次に、図２６から図２８までを用いて、室内シミュレーション画面を説明する。
【０１３９】
図２６は、観測画面２１の例である。
図２６には、印刷されたマーカ１６を壁に貼った室内の撮影画像から構成されるフレームが例示されている。
室内の壁には、額縁選択装置１００が印刷したマーカが貼られている。マーカは、絵画を飾りたい位置に貼られている。マーカが有する二次元コードは、マーカ識別情報を符号化したものである。撮影画像は、マーカに正対していないので、マーカ画像は変形している。
【０１４０】
図２７は、変形したマーカ画像１６ｐを正規化する説明図である。
変形したマーカ画像１６ｐの４個の頂点１６１ｐ／１６２ｐ／１６３ｐ／１６４ｐを、正方形１６の４個の頂点１６１／１６２／１６３／１６４に透視変換して正規化することで、変形したマーカ画像１６ｐ内の２次元コードパターンを正規化したコードパターンに座標変換することができる。正規化したコードパターンを用いることで、マーカ識別情報を復号することができる。
【０１４１】
図２８は、室内シミュレーション動画の例である。
図２８には、室内シミュレーション動画のフレーム５０３ａが例示されている。
室内シミュレーション動画のフレーム５０３ａには、座標変換された額付き絵画画像がマーカ１６の位置に合成されている。
【０１４２】
図２９と図３０と図３８とを用いて、室内合成処理の手順を説明する。
【０１４３】
図２９は、室内合成処理の概要を説明する図である。
《２．室内シミュレーション》
携帯端末装置５００のカメラ部５０６は、マーカを含む室内を撮影したフレームから構成される動画像５０６ａを作成する（図２９（１））。
フレーム取得手段５１０は、カメラ部５０６が作成したマーカを含む動画像５０６ａから順次にフレームを取得する。
【０１４４】
携帯端末装置５００は、フレーム取得手段５１０が取得したフレームが第１フレームであれば、第１フレーム合成処理を行なって、合成した第１フレーム１０６ｂを作成する（同（２））。
携帯端末装置５００は、フレーム取得手段５１０が取得したフレームが第２フレーム以降のフレームであれば、第２フレーム以降の合成処理を行なって、合成した第２フレーム以降のフレーム１０６ｂを作成する（同（３））。
室内シミュレーション表示手段５８０は、合成したフレーム１０６ｂを用いて、これらから構成される室内シミュレーション動画を表示する（同（４））。
【０１４５】
図３０は、室内合成処理の第１フレーム合成処理を説明する図である。
【０１４６】
《２−２．額付き絵画画像の受信》
携帯端末装置５００のマーカ画像取出手段５２０は、フレーム取得手段５１０が取得したフレームからマーカ画像を取り出し、取り出したマーカ画像の正方形枠の４頂点座標情報（＝観測画面系の座標情報）を算出する。
マーカ正規化手段５３２は、マーカ画像取出手段５２０が算出したマーカ画像の正方形枠の四頂点座標情報と、マーカ格納部５０９ｂが記憶するマーカ情報の四頂点座標情報（＝マーカ座標系の座標情報）と、を用いて、正規化行列情報を作成して、マーカ画像取出手段５２０が取り出したマーカ画像にこの正規化行列情報を適用して、正規化する（図３０（１））。
復号手段５３４は、マーカ正規化手段５３２が正規化したマーカ画像からマーカＩＤを復号する（同（２））。
絵画画像受信手段５４０は、フレーム取得手段５１０が取得したフレームが第１フレームであれば、復号したマーカＩＤを含むデータベース検索クエリを構成して、データサーバ装置３００に送信して、返信された額付き絵画画像１９３を受信する（同（３））。
【０１４７】
《２−３．額付き絵画画像と室内映像との合成》
【０１４８】
《ａ．座標変換行列算出》
マーカ画像取出手段５２０は、フレーム取得手段５１０が取得した第１フレームからマーカ画像取り出し、マーカ画像の正方形枠の４頂点座標情報（＝観測画面系の座標情報）を算出する（同（４））。
【０１４９】
合成フレーム作成手段５７０は、マーカ画像取出手段５２０が算出したマーカ画像の正方形枠の４頂点座標情報と、透視変換行列格納部５０９ｃが記憶する透視変換行列情報３９５と、マーカ格納部５０９ｂが記憶するマーカ情報３９７の４頂点座標情報と、を用いて、座標変換行列３９７を作成する（同（５））。
【０１５０】
なお、座標変換行列算出の詳細は後述する。
【０１５１】
《ｂ．合成》
合成手段５６８は、額付き絵画画像格納部５０９ｃが記憶する額縁と絵画を合成した画像１９３ｂに対して、行列算出手段５６６が算出した座標変換行列を適用して、座標変換した額付き絵画画像を作成する。次に、合成手段５６８は、作成した座標変換した額付き絵画画像に射影変換行列情報３９５ｂを適用して射影変換した額付き絵画画像を作成する（同（６）。
合成手段５６８は、作成した射影変換した額付き絵画画像を、フレーム取得手段５１０が取得したフレームに合成する（同（７））。
【０１５２】
ここで、図３１から図３７までを用いて、座標変換行列算出を説明する。
【０１５３】
図３１は、座標変換行列を算出する手順の概要を説明する図である。
回転成分算出手段５６２は、透視変換行列格納部５０９ｃが記憶する透視変換行列３９５と、３次元マーカ作成手段５５０が作成した３次元マーカ画像と、を用いて、回転成分を算出する（図３１（１））。
平行移動成分算出手段５６４は、マーカ情報と回転成分とを用いて、平行移動成分を算出する（同（２））。
行列算出手段５６６は、回転成分算出手段５６２が算出した回転成分情報と、平行移動成分算出手段５６４が算出した平行移動成分情報と、を用いて、座標変換行列３９７を算出する（同（３））。
【０１５４】
図３２は、回転成分を算出する手順の詳細を説明する図である。
回転成分算出手段５６２は、マーカ画像取出手段５２０が算出した第１フレームのマーカ画像の正方形枠の４頂点座標情報（＝観測画面座標系の座標情報）に対して、透視変換行列格納部５０９ｃが記憶する透視変換行列３９５を適用して、マーカを底面としてカメラ部位置を頂点とする四角錘を作成する（図３２（１））。
次に、
回転成分算出手段５６２は、この四角錘の向かい合う２枚の側面の法線ベクトルの組（Ｕ1、Ｕ2）を算出して、その組の法線ベクトルの組の外積Ｖ1を算出する（同（２））。
【０１５５】
ここで、図３３と図３４とを用いて、外積Ｖ1を算出する手順を図解する。
【０１５６】
図３３は、四角錘の側面２２ｐを説明する図である。
図３３には、マーカ１６の正方形枠を底面としてカメラ２０を頂点とする四角錘２２が図示されている。
四角錘２２は、側面２２ｐを有する。
側面２２ｐは、マーカ１６の正方形枠の辺に沿った直線１６ａに接する。
【０１５７】
図３４は、四角錘の側面の法線ベクトルを説明する図である。
四角錘２２の向かい合う２枚の側面２２ｐと側面２２ｑとは、それぞれ法線ベクトル２２ａ「Ｕ1」と、法線ベクトル２２ｂ「Ｕ2」とを有する。法線ベクトル２２ａ「Ｕ1」と、法線ベクトル２２ｂ「Ｕ2」との外積２３は「Ｖ1」である。
【０１５８】
図３２の説明に戻る。
【０１５９】
同様にして、回転成分算出手段５６２は、四角錘の他の向かい合う２側面の法線ベクトルの組（Ｕ3、Ｕ4）を算出して、その組の法線ベクトルの組の外積Ｖ2を算出する（同（３））。
さらに、回転成分算出手段５６２は、この２つの算出した外積Ｖ1とＶ2から、外積Ｖ3を算出する（同（４））。
最後に、回転成分算出手段５６２は、３つの算出した外積Ｖ1とＶ2とＶ3の転置ベクトルを算出して、回転成分情報とする（同（５））。
【０１６０】
次に、図３５と図３６を用いて、計算式回転移動成分の計算手順を説明する。
【０１６１】
図３５は、法線ベクトルの計算手順を説明する図である。
回転成分算出手段５６２は、以下の手順で計算を行なう。すなわち、
回転成分算出手段５６２は、マーカ情報３９７が有するマーカ画像の正方形枠の４頂点座標情報（＝観測画面座標系の座標情報）を用いて、マーカ枠の辺を含む直線の方程式１６ａ「ａ1Ｘp +ｂ1Ｙp +ｃ1 = 0」を算出する（図３５（１））。
回転成分算出手段５６２は、算出した直線の方程式の各項に Ｚc を掛けて、「ａ1ＸpＺc+ｂ1ＹpＺc +ｃ1 Ｚc= 0」を算出する（同（２））。
回転成分算出手段５６２は、透視変換の関係式「式１」を変形して、３式「hＸp = Ｐ11 + Ｐ12Ｙc + Ｐ13Ｚc」「hＹp = Ｐ22Ｙc +Ｐ23 Ｚc」「h = Ｚc」を算出する（同（３））。
回転成分算出手段５６２は、算出した３式からｈを消去して２式「ＸｐＺｃ = Ｐ１１Ｘｃ + Ｐ１２Ｙｃ + Ｐ１３Ｚｃ」「ＹpＺc = Ｐ22Ｙc + Ｐ23Ｚc」を算出する（同（４））。
回転成分算出手段５６２は、Ｘｐ, Ｙｐを消去して、式「ａ1（Ｐ11Ｘc + Ｐ12Ｙc + Ｐ13Ｚc)+ｂ1（Ｐ22Ｙc +Ｐ23)+ｃ1Ｚc = 0」を算出する（同（５））。
回転成分算出手段５６２は、項の順序を整理して、四角錐の側面を含む平面の式「ａ1Ｐ11Ｘc + (ａ1Ｐ12+ｂ1Ｐ22)Ｙc + (ａ1Ｐ13+ｂ1Ｐ23+ｃ1)Ｚc = 0」を算出する（同（６））。
回転成分算出手段５６２は、平面の法線単位ベクトル２２ａ「Ｕ1」を算出する（同（７））。
なお、四角錐の側面の式は、マーカ画像の枠をカメラ座標系(Ｘc, Ｙc, Ｚc)を使って表したものであって、Ｚcはカメラ原点から観測画面までの距離を表す変数hと同等である。
【０１６２】
図３６は、転置行列の計算手順を説明する図である。
回転成分算出手段５６２は、以下の手順で計算を行なう。すなわち、
回転成分算出手段５６２は、マーカ１６の枠の向かい合う他の１辺の直線の方程式１６ｂ「ａ2Ｘp + ｂ2Ｙp + ｃ2 = 0」を算出する（図３６（１））。
同様にして、回転成分算出手段５６２は、計算することで、四角錐の向かい合う側面を含む平面の式「ａ2Ｐ11Ｘc + (ａ2Ｐ12+ｂ2Ｐ22)Yc + (ａ2Ｐ13+ｂ2Ｐ23+ｃ2)Ｚc = 0」を算出する（同（２））。
回転成分算出手段５６２は、この平面の法線単位ベクトル２２ｂ「Ｕ2」を算出する（同（３））。
回転成分算出手段５６２は、四角錐の他の向かい合う２辺から、同様にして、法線単位ベクトル２２ｃ「Ｕ3」と、法線単位ベクトル２２ｄ「Ｕ4」を算出する（同（４））。
回転成分算出手段５６２は、２本の法線ベクトル「Ｕ1」と「Ｕ2」の外積「Ｖ1」を算出する（同（５））。
同様に、回転成分算出手段５６２は、四角錘の他の向かい合う２枚の側面の法線ベクトル「Ｕ3」と「Ｕ4」の外積「Ｖ2」を算出する。
さらに、回転成分算出手段５６２は、この２つの外積「Ｖ1」と「Ｖ2」の外積「Ｖ3」（図示せず）を算出する（同（６））。
最後に、回転成分算出手段５６２は、３つの外積「Ｖ1」、「Ｖ2」、「Ｖ3」から、転置行列３９７ａ［ Ｖ1t Ｖ2t Ｖ3t ］作成して、回転成分を算出する（同（７））。
【０１６３】
図３７は、平行成分を算出する手順を説明する図である。
平行移動成分算出手段５６４は、マーカ座標系のマーカの４頂点座標値（＝マーカの寸法情報）を、算出した回転移動成分を用いて座標変換して、カメラ座標系の４頂点座標値を算出する（図３７（１））。
なお、カメラ座標系の４頂点は、回転移動のみを考慮するので、寸法は変化しない。
平行移動成分算出手段５６４は、観測画面座標系のマーカ画像の４頂点の座標値を測定して、透視変換行列３９５を用いて透視変換してカメラ座標系の３次元マーカ画像を求めて、この３次元マーカ画像の４頂点座標値を算出する（同（２））。
平行移動成分算出手段５６４は、回転移動した４頂点座標値と、透視変換した４頂点座標値とを用いて、両者を対比させてそのから、平行移動成分を算出する（同（３））。
【０１６４】
図３８は、室内合成処理の第２フレーム以降の合成処理を説明する図である。
【０１６５】
《第２フレーム以降の合成処理》
《マーカＩＤの判定》
マーカ画像取出手段５２０は、フレーム取得手段５１０が取得したフレームからマーカ画像を取り出す。
マーカ正規化手段５３２は、マーカ画像取出手段５２０が取り出したマーカ画像の四頂点座標情報と、基準マーカ情報の四頂点座標情報と、を用いて、正規化行列情報を作成して、取り出したマーカ画像にこの正規化行列情報を適用して、正規化する（図３８（１））。
復号手段５３４は、正規化したマーカ画像からマーカＩＤを復号する（同（２））。
復号されたマーカＩＤが第１フレームのマーカＩＤと同一であるか否かを確認する。同一であれば、第１フレーム合成処理で受信した額付き絵画画像を用いる（同（３））。
なお、復号されたマーカＩＤが第１フレームのマーカＩＤと同一でなければ、当該フレームを第１フレームとして、室内合成処理の第１フレーム合成処理（図３０）を実行して終了すればよい。
【０１６６】
《２−３．額付き絵画画像と室内映像との合成》
《ａ．座標変換行列算出》
第１フレーム合成処理における座標変換行列算出と同じ処理手順で、座標変換行列３９７を作成する（同（４）））から（同（６）））。
《ａ．合成》
第１フレーム合成処理における合成処理と同じ処理手順で、座標変換・射影変換した額縁と絵画を合成した画像を、フレーム取得手段５１０が取得したフレームに合成する（同（７）））。
【０１６７】
図３９は、室内合成処理のフローチャートである。
（１）携帯端末装置５００は、カメラ部５０６が撮影対象を撮影中か否かを判定する。
撮影中であれば、ステップＳ５２０に進む。撮影中で無ければ（撮影終了であれば）、終了する。（ステップＳ５１０）
（２）フレーム取得フレーム取得手段５２０は、カメラ部５０６が作成したマーカを含む動画像から順次にフレームを取得する。（ステップＳ５２０）
（３）携帯端末装置５００は、取得したフレームが第一フレームであるか否かを判定する。第一フレームであれば、ステップＳ５４０に進む。第二フレーム以降であれば、ステップＳ５５０に進む。（ステップＳ５３０）
（４）第一フレーム合成処理（図３０にて説明した合成処理）を行なう。ステップＳ５６０に進む。（ステップＳ５４０）
（５−１）携帯端末装置５００は、当該フレームのマーカＩＤが第一フレームのマーカＩＤと等しいか否かを判定する。等しければ、ステップＳ５５４に進む。等しくなければ、ステップＳ５５６に進む。（ステップＳ５５０）
（５−２）第二フレーム以降合成処理（図３８にて説明した合成処理）を行なう。ステップＳ５６０に進む。（ステップＳ５５４）
（５−３）当該フレームを第一フレームに設定する。ステップＳ５４０に戻る。（ステップＳ５５６）
（６）携帯端末装置５００は、カメラ部５０６が撮影対象を撮影中か否かを判定する。
撮影中であれば、ステップＳ５７０に進む。
撮影中で無ければ（撮影終了であれば）、終了する。（ステップＳ５６０）
（７）フレーム取得手段５２０は、カメラ部５０６が作成したマーカを含む動画像から順次にフレームを取得する。ステップＳ５５０に戻る。（ステップＳ５７０）
【図面の簡単な説明】
【０１６８】
【図１】本発明による室内調度品購入支援システム１の概要を説明する図
【図２】室内調度品購入支援システム１の大まかな処理の流れを説明する図
【図３】額縁データ３９２を説明する図
【図４】額付き絵画画像１９３を説明する図
【図５】マーカ１６の例
【図６】絵画に合う額縁を選択する額縁シミュレーション処理の流れを説明する図
【図７】携帯端末装置５００を用いた室内シミュレーション処理の流れを説明する図
【図８】額縁選択装置１００の詳細な構成図
【図９】絵画検出辞書が有する特徴点の座標値の説明図
【図１０】絵画検出辞書の登録手順を説明する図
【図１１】絵画１１と基準マーカ１６の例（正対）
【図１２】絵画１１と基準マーカ１６の例（斜視）
【図１３】変形した基準マーカ画像１６ｐを正規化する説明図
【図１４】額縁シミュレーション画面の表示例
【図１５】額縁シミュレーション手順の概要を説明する図
【図１６】額縁シミュレーションの第１フレーム合成手順を説明する図
【図１７】額縁シミュレーションの第２フレーム以降の合成手順を説明する図
【図１８】額縁シミュレーション処理のフローチャート
【図１９】データサーバ装置３００の詳細な構成図
【図２０】携帯端末装置５００の詳細な構成図
【図２１】透視変換行列
【図２２】座標変換式
【図２３】座標系を説明する図
【図２４】マーカとカメラと観測画面との位置関係を説明する図
【図２５】マーカ座標系におけるマーカの説明図
【図２６】室内に貼られたマーカの例
【図２７】室内に貼られたマーカの正規化
【図２８】室内シミュレーション画面の表示例
【図２９】室内シミュレーション手順の概要を説明する図
【図３０】室内シミュレーションの第１フレーム合成手順を説明する図
【図３１】座標変換行列を算出する手順の概要を説明する図
【図３２】回転成分を算出する手順を説明する図
【図３３】四角錘の形状の説明図
【図３４】四角錘のベクトルの説明図
【図３５】数式導出の手順を説明する図
【図３６】回転成分をあらわす転置行列
【図３７】平行成分を算出する手順を説明する図
【図３８】室内シミュレーションの第２フレーム以降の合成手順を説明する図
【図３９】室内シミュレーション処理のフローチャート
【符号の説明】
【０１６９】
１ 室内調度品購入支援システム
１１ 絵画画像
１６ マーカ画像
１００ 額縁選択装置
１０６ カメラ
１０９ａ 絵画検出辞書格納部
１０９ｂ 絵画追跡辞書格納部
１０９ｃ 基準マーカ格納部
１０９ｄ 額縁格納部
１０９ｅ 透視変換行列格納部
１１０ 絵画検出辞書登録手段
１１５ 絵画追跡辞書登録手段
１１６ 追跡辞書登録手段
１１７ 絵画追跡辞書更新手段
１１８ 追跡辞書更新手段
１２０ 額縁取得手段
１２５ 額付き絵画画像送信手段
１２７ マーカ印刷手段
１３０ フレーム取得手段
１４５ 登録特徴点抽出手段
１４７ 更新特徴点抽出手段
１５５ 第１フレーム特徴点抽出手段
１５７ 絵画予測特徴点抽出手段
１６５ 絵画検出手段
１６７ 絵画予測検出手段
１７０ 額縁合成フレーム作成手段
１７４ フレーム特徴点取得手段
１７５ 辞書特徴点取得手段
１７６ 座標変換算出手段
１７８ 合成手段
１８０ 額縁シミュレーション表示手段
１９１ 透視変換行列
１９１ｂ 射影変換行列
１９３ 額付き絵画画像
１９６ 基準マーカ情報
３００ データサーバ装置
３１０ 額縁返信手段
３２０ 額付き絵画画像登録手段
３４０ 額付き絵画画像返信手段
３９１ 額縁データベース
３９２ 額縁データ
３９２ｃ 額縁画像
３９３ 額付き絵画画像データベース
３９５ 透視変換行列
３９５ｂ 射影変換行列
３９６ マーカ情報
３９７ 座標変換行列
５００ 携帯端末装置
５０９ 記憶部
５０９ａ 額付き絵画画像格納領域
５０９ｂ マーカ格納部
５０９ｃ 透視変換行列格納部
５０９ｄ 座標変換行列格納部
５１０ フレーム取得手段
５２０ マーカ画像取出手段
５３０ ＩＤ復号手段
５３２ マーカ正規化手段
５３４ 復号手段
５４０ 額付き絵画画像受信手段
５５０ ３次元マーカ作成手段
５６２ 回転成分算出手段
５６４ 平行移動成分算出手段
５６６ 行列算出手段
５６８ 合成手段
５７０ 合成フレーム作成手段
５８０ 室内シミュレーション表示手段
９００ ネットワーク
【技術分野】
【０００１】
本発明は、室内に調和する調度品の購入を支援するシステム、方法、プログラム、媒体に関するものである。
本発明は特に、絵画の額縁を購入検討するときに、額縁が絵画や室内に調和するか否かを検討する場合に有用である。
【背景技術】
【０００２】
快適な部屋を実現するためには、部屋の雰囲気にあって、部屋と調和がとれる調度品を選ぶことが大切である。
たとえば、額縁付きの絵画を部屋に掛ける場合に、額縁によって絵画の印象は大きく変わってくるので、額縁選びは大変重要である。
以下に、絵画に合った額縁の選び方とその問題点について説明する。
【０００３】
《１．絵画に合う額縁の選び方》
絵画と額縁の調和を検討する場合には、絵の寸法に合う額縁が、販売店舗（たとえば、画廊や額縁販売店など）に在庫しているとは限らず額縁に絵を入れることができないので、額縁の切れ端見本を見て額縁に入れた絵の印象を想像して、額縁を選択している。
従って、実際に、額に絵をはめ込むと、想像した印象と異なり不具合を感じるなど、額縁の切れ端見本と絵を見比べるだけでは、適切な額縁を選むことは難しい。
《２．部屋に合う額縁の選び方》
部屋と額縁の調和を検討する場合には、たとえば、額縁カタログを持ち帰って、額縁付きの絵画を壁に掛けた状況を想像して、額縁を選択している。
従って、実際に、額縁付きの絵画を壁に掛けると、壁の質感や色と調和が取れないことや、部屋の雰囲気と調和が取れないなど、額縁カタログと部屋を見比べるだけでは、部屋に調和する額縁を選ぶことは難しい。
《３．コンピュータ・シミュレーション》
そこで、絵画や部屋に合う額縁を選ぶときに、ＡＲ技術を用いて、実写画像に３次元仮想モデル画像を合成したシミュレーションによる額縁選択方法が考えられる。
たとえば、非特許文献１では、撮影した現実世界に含まれるマーカ画像（＝壁にマーカを貼った部屋の実写映像）から撮影角度と撮影距離とを算出して、マーカに対応する仮想物体（＝額縁付きの絵画）に対して、算出した角度と距離の情報を適用して３次元加工して、この３次元加工した対象画像を、撮影動画像のマーカの位置にリアルタイムで重畳して合成動画像を作成して再生する技術が開示されている。
あるいは、特許文献１では、実写映像の各フレームの特徴点を求めて、そのマーカ位置を手がかりにして、次のフレームの基準点マーカの位置を予測して、検知することで、効率よく、基準点マーカを追跡できる技術が開示されている。
ここで、ＡＲとは、Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙの略である。ＡＲは、日本語では、拡張現実や、強化現実と称する。
ＡＲ技術により現実を動画撮影した実写映像に仮想物体をリアルタイムで重畳することで、あたかも、現実空間に仮想物体があるかのような映像を再生させることができる。
また、ＡＲ技術で用いるマーカとは、二次元コード画像である。
【０００４】
【特許文献１】特開２００７−５０７７２２号公報（段落００１１−００１７、図１５）
【非特許文献１】加藤博一、外３名、「マーカー追跡に基づく拡張現実感システムとそのキャリブレーション」、論文誌、日本バーチャルリアリティ学会、１９９９、第４巻、第４号、ｐ．３−５
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１や非特許文献１では、実写した絵画画像の大きさに合わせて、額縁画像を拡大縮小変形させて合成しているので、額のデザインが絵画の寸法に対応していないという不具合が生じる。
また、特許文献１や非特許文献１では、撮影動画像のマーカの位置に仮想物体を重畳するときには、マーカに対応した仮想物体を予め記憶した装置を用いなければならないので、ＡＲを利用する装置が限定されて、柔軟なＡＲ利用ができないという欠点があった。
【０００６】
本発明は以上のような点を解決するためになされたものであって、本発明の課題は、絵画の寸法に対応した額縁デザインの画像を選んで合成できる、さらに、使用する携帯端末装置が限定されず柔軟のあるシミュレーション環境を提供することができる、室内調度品購入支援システム、方法、プログラム、媒体を提供することである。
【課題を解決するための手段】
【０００７】
まず、用語の説明をする。
「フレーム」とは、カメラが撮影した二次元静止画像である。フレームを所定の順番で表示することにより、動画を再生することができる。（図１５、図２９を参照）
「特徴点」とは、フレーム中の画像パターンが有する端点、頂点、角などである。（図９を参照）
「マーカ」とは、識別のパターンと方形枠とを有する図形である。マーカ図形の寸法は、既知である。（図５を参照）
「透視変換」とは、フレーム中の二次元画像の座標情報（＝観測画面座標系の座標情報）を、カメラ座標系の座標情報に変換することである。（図２１を参照）
「射影変換」とは、カメラ座標系の座標情報を、フレーム中の二次元画像の座標情報に変換することである。
「座標変換」とは、マーカを表現するマーカ座標系の座標情報を、カメラ座標系に座標情報に変換することである。（図２２を参照）
「カメラ座標系」とは、マーカに対するカメラの位置を原点とする座標系である。（図２３を参照）
【０００８】
本発明は、以下の各態様に記載の手段により、前記課題を解決する。
すなわち、本願発明の第１の発明は、絵画の特徴点情報と、その特徴点の座標情報（＝マーカ座標系における座標情報）と、を含む絵画検出辞書を記憶する絵画検出辞書格納部と、
絵画の位置情報（＝観測画面座標系の座標情報）と、絵画の特徴点情報と、特徴点の位置情報（＝観測画面座標系の座標情報）とを含む絵画追跡辞書を記憶する絵画追跡辞書格納部と、
四頂点座標情報（＝マーカ座標系における座標情報）を含む基準マーカ情報を記憶する基準マーカ格納部と、
額縁画像を含む額縁データを記憶する額縁格納部と、
透視変換行列情報と射影変換行列情報とを記憶する透視変換行列格納部と、
を含む記憶部と、
フレームから構成される動画像を作成するカメラ部と、
カメラ部が作成した絵画と基準マーカを含む動画像から順次にフレーム（＝観測画面座標系の座標情報）を取得するフレーム取得手段と、
フレーム取得手段が取得したフレームが第１フレームであれば、第１フレームの基準マーカ画像の四頂点座標情報と、基準マーカ格納部の四頂点座標情報と、を用いて、第１フレームを正規化して、特徴点情報を抽出する第１フレーム特徴点抽出手段と、
第１フレーム特徴点抽出手段が抽出した特徴点情報を用いて、絵画検出辞書格納部の絵画検出辞書と照合して、第１フレームの絵画を検出する絵画検出手段と、
絵画検出手段が検出した絵画から、絵画の位置情報と特徴点情報と特徴点の位置情報と、を算出し、これらを含む絵画追跡辞書を作成して絵画追跡辞書格納部に登録する追跡辞書登録手段と、
フレーム取得手段が取得したフレームが第２フレーム以降のフレームであれば、画追跡辞書格納部が記憶する絵画位置情報を用いて、このフレームにおける絵画位置を予測して、予測した絵画位置にあるフレームの特徴点情報を抽出する絵画予測特徴点抽出手段と、
絵画予測特徴点抽出手段が抽出した特徴点を用いて、画追跡辞書格納部が記憶する絵画追跡辞書の特徴点と照合して、フレーム取得手段が取得したフレームの絵画を検出する絵画予測検出手段と、
絵画予測検出手段が検出した絵画から、絵画の位置情報と特徴点情報と特徴点位置情報と、を算出して、これらを含む絵画追跡辞書を作成して絵画追跡辞書格納部の絵画追跡辞書を更新する追跡辞書更新手段と、
絵画追跡辞書の特徴点位置情報（＝観測画面座標系の座標情報）と、絵画検出辞書の特徴点の座標情報（＝マーカ座標系の座標情報）と、透視変換行列格納部の透視変換行列情報と、を用いて、座標変換行列を算出して、これを額縁格納部の額縁画像（＝マーカ座標系における座標情報）に適用して、座標変換した額縁画像（＝カメラ座標系における座標情報）を作成して、この座標変換した額縁画像に透視変換行列格納部の射影変換行列情報を適用して、射影変換した額縁画像（＝観測画面座標系の座標情報）を作成して、フレーム取得手段が取得したフレームに合成する額縁合成フレーム作成手段と、
額縁合成フレーム手段が合成したフレームから構成される額縁シミュレーション動画像を作成して表示する額縁シミュレーション表示手段と、
を備えることを特徴とする額縁選択装置である。
【０００９】
このように、絵画と基準マーカを同時に撮影することで、撮影した絵画画像を正規化することが可能となる。
【００１０】
本願発明の第２の発明は、前記額縁合成フレーム作成手段は、
絵画追跡辞書に含まれる特徴点位置情報の中から、４箇所の特徴点の位置情報（＝観測画面座標系の座標情報）を取得するフレーム特徴点取得手段と、
絵画検出辞書格納部が記憶する絵画検出辞書を参照して、フレーム特徴点取得手段が取得した４箇所の特徴点に対応する４個の特徴点の座標情報（＝マーカ座標系の座標情報）を取得する辞書特徴点座標取得手段と、
フレーム特徴点取得手段が取得した４箇所の特徴点の位置情報に対して、透視変換行列格納部の透視変換行列情報を適用して、座標変換行列の回転成分を算出し、次に、算出した座標変換行列の回転成分と、フレーム特徴点取得手段が取得した４箇所の特徴点の位置情報と、辞書特徴点座標取得手段が取得した４個の特徴点の座標情報とを用いて、座標変換行列の平行移動成分を算出し、最後に、算出した回転成分と平行移動成分とを用いて、座標変換行列を算出する座標変換算出手段と、
座標変換算出手段が算出した座標変換行列を、額縁格納部の額縁データが有する額縁画像に適用して、座標変換した額縁画像を作成し、座標変換した額縁画像に射影変換行列情報を適用して、射影変換した額縁画像を作成して、フレーム取得手段が取得したフレームの絵画に合成する合成手段と、
から構成されることを特徴とする請求項１に記載の額縁選択装置である。
【００１１】
本願発明の第３の発明は、前記第１フレーム特徴点抽出手段が、
フレーム取得手段が取得したフレームが第１フレームであれば、第１フレームの基準マーカ画像の四頂点座標情報と、基準マーカ格納部の四頂点座標情報と、を用いて、第１フレームの基準マーカ画像の形状が、基準マーカ格納部の四頂点座標情報により形成する基準マーカ形状と、相似形になるように、第１フレームを変形して、正規化した第１フレームを作成して、作成した正規化した第１フレームから特徴点情報を抽出する、
ことを特徴とする請求項１に記載の額縁選択装置である。
【００１２】
本願発明の第４の発明は、絵画領域とその寸法とを含む絵画指定情報の入力を受け付けて、フレーム取得手段が取得したフレームから絵画の特徴点情報を抽出して、入力された絵画指定情報を用いて、抽出された特徴点の絵画上の座標情報を算出して、抽出された特徴点と算出された特徴点座標情報を含む絵画検出辞書を作成して、絵画検出辞書格納部に登録する絵画検出辞書登録手段、
を備えることを特徴とする請求項１に記載の額縁選択装置である。
【００１３】
本願発明の第５の発明は、登録指示の入力を受け付けて、額縁画像と絵画画像を合成した画像を作成して、これにマーカ識別情報を関連付けた額付き絵画画像を作成して、データサーバ装置に送信する額付き絵画画像送信手段と、
マーカ識別情報を符号化した画像を含むマーカを印刷するマーカ印刷手段と、
を備えることを特徴とする請求項１に記載の額縁選択装置である。
【００１４】
本願発明の第６の発明は、寸法情報を含む額縁選択情報の入力を受け付けて、入力された額縁選択情報を含むデータベース検索クエリを構成して、データサーバ装置に送信して、返信された額縁画像を含む額縁データを受信して、これを額縁格納部に記憶する額縁取得手段、
を備えることを特徴とする請求項１に記載の額縁選択装置である。
【００１５】
すなわち、絵画の寸法に対応した額縁デザインを用いるので、本物と同等の額縁デザインの額縁画像を絵画に合成することができる。
【００１６】
本願発明の第７の発明は、寸法情報を含む額縁選択情報と額縁画像とを対応付けた額縁情報を記憶する額縁データベースと、
マーカ識別情報と額縁と絵画を合成した画像とを対応付けた額付き絵画画像を保持する額付き絵画画像データベースと、
を記憶する記憶部と、
額縁選択装置が送信する額縁選択情報を含むデータベース検索クエリを受信して、記憶部のデータベースを検索して、抽出した額縁画像を含む額縁データを返信する額縁返信手段と、
額縁選択装置が送信する額付き絵画画像を額付き絵画画像データベースに登録する額付き絵画画像登録手段と、
携帯端末装置が送信するマーカ識別情報を含むデータベース検索クエリを受信して、額付き絵画画像データベースを検索して、該当する額付き絵画画像を取得して、これを携帯端末装置に返信する額付き絵画画像返信手段と、
を備えることを特徴とするデータサーバ装置である。
である。
【００１７】
本願発明の第８の発明は、額縁選択装置とデータサーバ装置がネットワーク接続されて構成される室内調度品購入支援システムにおいて、
前記額縁選択装置は、
絵画の特徴点情報と、その特徴点の座標情報と、を含む絵画検出辞書を記憶する絵画検出辞書格納部と、
絵画の位置情報と、絵画の特徴点情報と、この特徴点の座標情報とを含む絵画追跡辞書を記憶する絵画追跡辞書格納部と、
四頂点座標情報を含む基準マーカ情報を記憶する基準マーカ格納部と、
額縁画像を含む額縁データを記憶する額縁格納部と、
透視変換行列情報と射影変換行列情報とを記憶する透視変換行列格納部と、
を含む記憶部と、
フレームから構成される動画像を作成するカメラ部と、
寸法情報を含む額縁選択情報の入力を受け付けて、入力された額縁選択情報を含むデータベース検索クエリを構成して、データサーバ装置に送信して、返信された額縁データを受信して、額縁データを額縁格納部に記憶する額縁取得手段と、
カメラ部が作成した絵画と基準マーカを含む動画像から順次にフレームを取得するフレーム取得手段と、
フレーム取得手段が取得したフレームが第１フレームであれば、第１フレームの基準マーカ画像の四頂点座標情報と、基準マーカ格納部の四頂点座標情報と、を用いて、第１フレームを正規化して、正規化した第１フレームから特徴点情報を抽出する第１フレーム特徴点抽出手段と、
第１フレーム特徴点抽出手段が抽出した特徴点情報を用いて、絵画検出辞書格納部の絵画検出辞書と照合して、第１フレームの絵画を検出する絵画検出手段と、
絵画検出手段が検出した絵画の位置情報と特徴点情報と、この特徴点の位置情報と、を算出して、これらを含む絵画追跡辞書を作成して絵画追跡辞書格納部に登録する追跡辞書登録手段と、
フレーム取得手段が取得したフレームが第２フレーム以降のフレームであれば、画追跡辞書格納部が記憶する絵画位置情報を用いて、このフレームの絵画位置を予測して、予測した絵画位置にあるフレーム上の特徴点情報を抽出する絵画予測特徴点抽出手段と、
絵画予測特徴点抽出手段が抽出した特徴点を用いて、画追跡辞書格納部が記憶する絵画追跡辞書の特徴点と照合して、フレーム取得手段が取得したフレームの絵画を検出する絵画予測検出手段と、
絵画予測検出手段が検出した絵画の位置情報と特徴点情報と、この特徴点の位置情報を算出して、これらを含む絵画追跡辞書を作成して絵画追跡辞書格納部の絵画追跡辞書を更新する追跡辞書更新手段と、
絵画追跡辞書の特徴点の位置座標情報と、絵画検出辞書の特徴点の座標情報と、透視変換行列格納部の透視変換行列情報と、を用いて、座標変換行列を算出して、これを額縁格納部の額縁画像に適用して、座標変換した額縁画像を作成して、この座標変換した額縁画像に射影変換行列情報を適用して、射影変換した額縁画像を作成して、フレーム取得手段が取得したフレームに合成する額縁合成フレーム作成手段と、
額縁合成フレーム手段が合成したフレームから構成される額縁シミュレーション動画像を作成して表示する額縁シミュレーション表示手段と、
を備える選択装置であって、
前記データサーバ装置は、
寸法情報を含む額縁選択情報と額縁画像とを対応付けた額縁情報を記憶する額縁データベースとを記憶する記憶部と、
額縁選択装置が送信する額縁選択情報を含むデータベース検索クエリを受信して、記憶部のデータベースを検索して、抽出した額縁画像を返信する額縁返信手段、
を備えるサーバ装置である、
ことを特徴とする室内調度品購入支援システムである。
【００１８】
本願発明の第９の発明は、前記額縁選択装置において、
前記額縁合成フレーム作成手段は、
絵画追跡辞書に含まれる特徴点位置情報の中から、４箇所の特徴点の位置情報を取得するフレーム特徴点取得手段と、
絵画検出辞書格納部が記憶する絵画検出辞書を参照して、フレーム特徴点取得手段が取得した４箇所の特徴点に対応する４個の特徴点の座標情報を取得する辞書特徴点座標取得手段と、
フレーム特徴点取得手段が取得した４箇所の特徴点位置情報に対して、透視変換行列格納部の透視変換行列情報を適用して、額縁用座標変換行列の回転成分を算出し、次に、算出した額縁用座標変換行列の回転成分と、フレーム特徴点取得手段が取得した４箇の特徴点位置情報と、辞書特徴点座標取得手段が取得した４個の特徴点の座標情報とを用いて、額縁用座標変換行列の平行移動成分を算出し、最後に、算出した回転成分と平行移動成分とを用いて、額縁用座標変換行列を算出する座標変換算出手段と、
座標変換算出手段が算出した額縁用座標変換行列を、額縁格納部の額縁データが有する額縁画像に適用して、座標変換した額縁画像を作成し、座標変換した額縁画像に射影変換行列情報を適用して、射影変換した額縁画像を作成して、フレーム取得手段が取得したフレームの絵画に合成する合成手段と、
とから構成される手段である、
ことを特徴とする請求項８に記載の室内調度品購入支援システムである。
である。
【００１９】
本願発明の第１０の発明は、前記額縁選択装置において、
前記第１フレーム特徴点抽出手段が、
フレーム取得手段が取得したフレームが第１フレームであれば、第１フレームの基準マーカ画像の四頂点座標情報と、基準マーカ格納部の四頂点座標情報と、を用いて、第１フレームの基準マーカ画像の形状と、基準マーカ格納部の四頂点座標情報により形成される基準マーカ形状と、を比較して両者が相似形になるように第１フレームを変形して、正規化した第１フレームを作成して、作成した正規化した第１フレームから特徴点情報を抽出する、
ことを特徴とする請求項８に記載の室内調度品購入支援システムである。
【００２０】
本願発明の第１１の発明は、前記額縁選択装置は、さらに、
絵画領域とその寸法とを含む絵画指定情報の入力を受け付けて、カメラで撮影した絵画のフレームから絵画の特徴点情報を抽出して、入力された絵画指定情報を用いて、抽出された特徴点の絵画上の座標情報を算出して、抽出した特徴点情報と、算出した特徴点の座標情報と、を含む絵画検出辞書を作成して、絵画検出辞書格納部に登録する絵画検出辞書登録手段、
を備えることを特徴とする請求項８に記載の室内調度品購入支援システムである。
【００２１】
本願発明の第１２の発明は、前記室内調度品購入支援システムは、さらにカメラを備える携帯端末装置とがネットワーク接続されて、
前記額縁選択装置は、
登録指示の入力を受け付けて、額縁画像と絵画画像を合成した画像を作成して、これにマーカ識別情報を関連付けた額付き絵画画像を作成して、データサーバ装置に送信する額付き絵画画像送信手段と、
マーカ識別情報を符号化した画像を含むマーカを印刷するマーカ印刷手段と、
を備える選択装置であって、
前記データサーバ装置は、
前記記憶部は、さらに、マーカ識別情報と額縁と絵画を合成した画像とを対応付けた額付き絵画画像を保持する額付き絵画画像データベースを記憶して、
額縁選択装置が送信する額付き絵画画像を額付き絵画画像データベースに登録する額付き絵画画像登録手段と、
携帯端末装置が送信するマーカ識別情報を含むデータベース検索クエリを受信して、額付き絵画画像データベースを検索して、該当する額付き絵画画像を取得して、これを携帯端末装置に返信する額付き絵画画像返信手段と、
を備えるサーバ装置であって、
前記携帯端末装置は、
額縁画像と絵画画像を合成した画像にマーカ識別情報を関連付けた額付き絵画画像を記憶する額付き絵画画像格納部と、
四頂点座標情報を含むマーカ情報を記憶するマーカ格納部と、
透視変換行列と射影変換行列とを記憶する透視変換行列格納部と、
座標変換行列を記憶する座標変換行列格納部と、
を有する記憶部と、
マーカを含む室内を撮影したフレームから構成される動画像を作成するカメラ部と
カメラ部が作成した動画像から順次にフレームを取得するフレーム取得手段と、
フレーム取得手段が取得したフレームからマーカ画像を取り出すマーカ画像取出手段と、
マーカ画像取出手段が取り出したマーカ画像の四頂点座標情報と、マーカ格納部が記憶する四頂点座標情報と、を用いて、マーカ画像を正規化して、正規化したマーカ画像からマーカ識別情報を復号するＩＤ復号手段と、
フレーム取得手段が取得したフレームが第１フレームであれば、復号したマーカ識別情報を含むデータベース検索クエリを構成して、データサーバ装置に送信して、返信された額付き絵画画像を受信して、額付き絵画画像格納部に格納する額付き絵画画像受信手段と、
マーカ格納部が記憶する四頂点座標情報と、マーカ画像取出手段が取り出したマーカ画像が有する四頂点の座標情報と、透視変換行列格納部の透視変換行列情報と、を用いて、座標変換行列を算出して、これを額付き絵画画像格納部に格納された額付き絵画画像に適用して、座標変換した額付き絵画画像を作成して、この座標変換した額付き絵画画像に射影変換行列を適用して射影変換した額付き絵画画像を作成して、この射影変換した額付き絵画画像をフレーム取得手段が取得したフレームに合成する合成フレーム作成手段と、
合成フレーム手段が合成したフレームから構成される室内シミュレーション動画像を作成して表示する室内シミュレーション表示手段と、
を備える端末装置である、
ことを特徴とする請求項８に記載の室内調度品購入支援システムである。
【００２２】
本願発明の第１３の発明は、前記携帯端末装置において、
前記ＩＤ復号手段は、
マーカ画像取出手段が取り出したマーカ画像の四頂点座標情報と、マーカ格納部の四頂点座標情報と、を用いて、第１フレームの基準マーカ画像の形状と、マーカ格納部の四頂点座標情報により形成される基準マーカ形状と、を比較して両者が相似形になるようにマーカ画像を変形して、正規化したマーカ画像を作成するマーカ正規化手段と、
マーカ正規化手段が正規化したマーカ画像からマーカ識別情報を復号する復号手段と、
から構成される手段である、
ことを特徴とする請求項１２に記載の室内調度品購入支援システムである。
【００２３】
本願発明の第１４の発明は、前記携帯端末装置において、
前記合成フレーム作成手段は、
マーカ画像取出手段が取り出したマーカ画像に対して、透視変換行列格納部が記憶する透視変換行列を適用して、透視変換したマーカ画像を作成する３次元マーカ作成手段と、
マーカ画像取出手段が取り出したマーカ画像の４頂点座標情報を算出して、算出した４頂点座標情報に対して、透視変換行列格納部が記憶する透視変換行列情報を適用して、座標変換行列の回転成分を算出する回転成分算出手段と、
回転成分算出手段が算出した座標変換行列の回転成分と、マーカ画像取出手段が算出したマーカ画像の４頂点座標情報と、マーカ格納部が記憶するマーカの４頂点座標情報と、を用いて、座標変換行列の平行移動成分を算出する平行移動成分手段と、
回転成分算出手段が算出した回転成分と平行移動成分手段が算出した平行移動成分とを用いて、座標変換行列を作成する行列算出手段と、
額付き絵画画像格納部が記憶する額縁と絵画を合成した画像に対して、行列算出手段が算出した座標変換行列を適用して、座標変換した額付き絵画画像を作成して、この座標変換した額付き絵画画像に射影変換行列を適用して射影変換した額付き絵画画像を作成して、この射影変換した額付き絵画画像を、フレーム取得手段が取得したフレームに合成する合成手段と、
から構成される手段である、
ことを特徴とする請求項１２に記載の室内調度品購入支援システムである。
【００２４】
本願発明の第１５の発明は、前記携帯端末装置において、
前記回転成分算出手段は、
マーカ画像取出手段が算出したマーカ画像の正方形枠の四頂点座標情報に対して、透視変換行列格納部が記憶する透視変換行列を適用して、マーカの正方形枠を底面としてカメラ部位置を頂点とする四角錘を作成して、この四角錘の向かい合う２枚の側面の法線ベクトルの組（Ｕ1、Ｕ2）と（Ｕ3、Ｕ4）とを算出して、それぞれの組の法線ベクトルの外積Ｖ1と外積Ｖ2とを算出して、さらに、この２つの外積Ｖ1とＶ2とから外積Ｖ3を算出して、最後に、３つの外積Ｖ1とＶ2とＶ3とから転置ベクトル［ Ｖ1t Ｖ2t Ｖ3t ］を算出して、これを回転成分情報とする、
ことを特徴とする請求項１４に記載の室内調度品購入支援システムである。
【００２５】
本願発明の第１６の発明は、四頂点座標情報を含む基準マーカ検出情報と、
額縁選択情報と、寸法情報と額縁画像を含む額縁情報と、対応付けて記憶する額縁データベースと、
絵画の特徴点と特徴点座標情報を含む絵画検出辞書と、
座標変換行列と射影変換行列と、
額縁画像と、
を用いる室内調度品購入支援方法であって、
（１）額縁選択装置が、絵画と基準マーカを撮影したフレームから構成される動画像を作成するカメラから動画像を受け取り、動画像から順次にフレームを取得するフレーム取得ステップと、
（２）額縁選択装置が取得したフレームが第１フレームであれば以下の処理を行なうステップと、
（３−１）第１フレームから基準マーカ画像を取り出して、基準マーカ画像の四頂点座標情報と、基準マーカ情報の四頂点座標情報と、を用いて、第１フレームを正規化して、正規化した第１フレームから特徴点情報を抽出する第１フレーム特徴点抽出する第１フレーム特徴点抽出ステップと、
（３−２）抽出した特徴点情報を用いて、登録した絵画検出辞書と照合して、第１フレームの絵画を検出する絵画検出ステップと、
（３−３）検出した絵画の位置情報と特徴点情報と、特徴点の位置情報と、を算出し、これらを含む絵画追跡辞書を作成する絵画追跡辞書作成ステップと、
（４）額縁選択装置が取得したフレームが第２フレーム以降のフレームであれば以下の処理を行なうステップと、
（５−１）絵画追跡辞書の絵画位置情報を用いて、このフレームにおける絵画位置を予測して、予測した絵画位置にあるフレームの特徴点情報を抽出する絵画予測特徴点抽出ステップと、
（５−２）抽出した特徴点を用いて、絵画追跡辞書の特徴点と照合して、取得したフレームの絵画を検出する絵画予測検出ステップと、
（５−３）検出した絵画から、絵画の位置情報と特徴点情報と、この特徴点の位置情報と、を算出し、これらを含む絵画追跡辞書を作成して、既存の絵画追跡辞書を更新する絵画追跡辞書更新ステップと、
（６）額縁選択装置が、絵画追跡辞書の特徴点位置情報と、絵画検出辞書の特徴点座標情報と、透視変換行列格納部の透視変換行列情報と、を用いて、座標変換行列を算出して、この算出した座標変換行列を、額縁格納部の額縁画像に適用して、座標変換した額縁画像を作成して、座標変換した額縁画像に射影変換行列を適用して、射影変換した額縁画像を作成して、これを、取得したフレームに合成する額縁合成フレーム作成ステップと、
（７）額縁選択装置が、合成したフレームから構成される額縁シミュレーション動画像を作成して表示する額縁シミュレーション表示ステップと、
を含んだ手順でなされることを特徴とする室内調度品購入支援方法である。
【００２６】
本願発明の第１７の発明は、前記額縁合成フレーム作成ステップが、
（１）額縁選択装置が、算出した特徴点位置情報の中から、４箇所の特徴点の位置情報を取得するフレーム特徴点取得ステップと、
（２）絵画検出辞書を参照して、フレーム特徴点取得ステップにて取得した４箇所の特徴点に対応する４個の特徴点の座標情報を取得する辞書特徴点座標取得ステップと、
（３）取得した４箇所の特徴点位置情報に対して、透視変換行列格納部の透視変換行列情報を適用して、座標変換行列の回転成分を算出する回転成分算出ステップと、
（４）算出した座標変換行列の回転成分と、フレーム特徴点取得ステップにて取得した４箇所の特徴点位置情報と、辞書特徴点座標取得ステップにて取得した４個の特徴点の座標情報とを用いて、座標変換行列の平行移動成分を算出する平行成分算出ステップと、
（５）算出した回転成分と平行移動成分とを用いて、額縁用座標変換行列を算出する座標変換行列算出ステップと、
（６）算出した額縁用座標変換行列を、額縁データが有する額縁画像に適用して、座標変換した額縁画像を作成し、座標変換した額縁画像に射影変換行列を適用して、射影変換した額縁画像を作成して、これを、取得したフレームの絵画に合成する合成ステップと、
から構成されるステップ、
を含んだ手順でなされることを特徴とする請求項１６に記載の室内調度品購入支援方法である。
【００２７】
本願発明の第１８の発明は、前記第１フレーム特徴点抽出ステップが、
第１フレームから取り出した基準マーカ画像の四頂点座標情報と、基準マーカ格納部の基準マーカ情報と、を用いて、第１フレームの基準マーカ画像の形状が、基準マーカ格納部の基準マーカ情報の四頂点座標情報が形成する形状とは、相似形になるように、第１フレームを変形して、正規化した第１フレームを作成して、作成した正規化した第１フレームから特徴点情報を抽出する、
ことを特徴とする請求項１６に記載の室内調度品購入支援方法である。
【００２８】
本願発明の第１９の発明は、前記室内調度品購入支援方法は、さらに、
（１）額縁選択装置が、絵画領域とその寸法とを含む絵画指定情報の入力を受け付けて、カメラで撮影したフレームから絵画の特徴点情報を抽出して、入力された絵画指定情報を用いて、抽出された特徴点の絵画上の座標情報を算出して、抽出された特徴点と算出された特徴点座標情報を含む絵画検出辞書を作成して、登録する絵画検出辞書登録ステップと、
を含んだ手順でなされることを特徴とする請求項１６に記載の室内調度品購入支援方法である。
【００２９】
本願発明の第２０の発明は、前記室内調度品購入支援方法は、さらに、
（１）額縁選択装置が、寸法情報を含む額縁選択情報の入力を受け付けて、入力された額縁選択情報を含むデータベース検索クエリを構成して、額縁データベースを検索して、額縁データを取得する額縁取得ステップと、
を含んだ手順でなされることを特徴とする請求項１６に記載の室内調度品購入支援方法である。
【００３０】
本願発明の第２１の発明は、前記室内調度品購入支援方法は、さらに、四頂点座標情報を含むマーカ情報を用いる購入支援方法であって、
（１）額縁選択装置が、登録指示の入力を受け付けて、額縁画像と絵画画像を合成した画像を作成して、これにマーカ識別情報を関連付けた額付き絵画画像を作成して、データサーバ装置に送信する額付き絵画画像送信ステップと、
（２）データサーバ装置は、額縁選択装置が送信する額付き絵画画像を額付き絵画画像データベースに登録する額付き絵画画像登録テップと、
（３）調度品選択装置がマーカ識別情報を符号化した画像を含むマーカを印刷するマーカ印刷ステップと、
（４）携帯端末装置が、印刷されたマーカを含む室内を撮影したフレームから構成される動画像を作成するカメラ部が作成した動画像から順次にフレームを取得して、以下の処理をするフレーム取得ステップと、
（５）携帯端末装置が、取得したフレームから取り出したマーカ画像の四頂点座標情報と、基準マーカ情報の四頂点座標情報と、を用いて、マーカ画像を正規化して、正規化したマーカ画像からマーカ識別情報を復号するＩＤ復号ステップと、
サブ
（５）携帯端末装置が、取得したフレームから取り出したマーカ画像の形状が、基準マーカ情報の四頂点座標情報により形成する基準マーカ形状と相似形になるように、マーカ画像を変形して、正規化するマーカ正規化作成ステップと、
（６）携帯端末装置が、正規化したマーカ画像からマーカ識別情報を復号する復号ステップと、
（７）携帯端末装置が取得したフレームが第１フレームであれば、以下の処理をするフレーム取得ステップと、
（７−１）復号したマーカ識別情報を含むデータベース検索クエリを構成して、額付き絵画画像データベースを検索して、額付き絵画画像を取得する額付き絵画画像検索ステップと、
（８）携帯端末装置が取得したフレームが第２フレーム以降であれば、以下の処理をするフレーム取得ステップと、
（８−１）マーカ識別情報が第１フレームのマーカ識別情報と等しいか否かを判定するステップと、
（８−２）マーカ識別情報が第１フレームのマーカ識別情報と等しくない場合には、当該フレームを第１フレームとして（７）に進む。
（８−３）マーカ識別情報が第１フレームのマーカ識別情報と等しい場合には、次のステップに進む。
（９）携帯端末装置がマーカ情報の四頂点座標情報と、フレームから取り出したマーカ画像が有する四頂点の座標情報と、透視変換行列情報と、を用いて、座標変換行列を算出して、これを取得された額付き絵画画像に適用して、座標変換した額付き絵画画像を作成して、この座標変換した額付き絵画画像に射影変換行列を適用して射影変換した額付き絵画画像を作成して、この射影変換した額付き絵画画像を、取得したフレームに合成する合成フレーム作成ステップと、
（１０）携帯端末装置が、合成したフレームから構成される室内シミュレーション動画像を作成して表示する室内シミュレーション表示ステップと、
を含んだ手順でなされることを特徴とする請求項１６に記載の室内調度品購入支援方法である。
【００３１】
本願発明の第２２の発明は、前記ＩＤ復号ステップは、
（１）携帯端末装置が、取り出したマーカ画像を、マーカ情報の形状と相似形になるように変形して正規化するマーカ正規化ステップと、
（２）正規化したマーカ画像からマーカ識別情報を復号する復号ステップと、
を含んだ手順でなされることを特徴とする請求項２１に記載の室内調度品購入支援方法である。
【００３２】
本願発明の第２３の発明は、前記合成フレーム作成ステップは、
（１）携帯端末装置が、取り出したマーカ画像に対して、透視変換行列を適用して、透視変換したマーカ画像を作成する３次元マーカ作成ステップと、
（２）携帯端末装置が、マーカ画像の４頂点座標情報を算出して、算出した４頂点座標情報に対して、透視変換行列情報を適用して、座標変換行列の回転成分を算出する回転成分算出ステップと、
（３）携帯端末装置が、算出した座標変換行列の回転成分と、算出したマーカ画像の４頂点座標情報と、マーカの４頂点座標情報と、を用いて、座標変換行列の平行移動成分を算出する平行移動成分ステップと、
（４）携帯端末装置が、回転成分算出手段が算出した回転成分と平行移動成分手段が算出した平行移動成分とを用いて、座標変換行列を作成する行列算出ステップと、
（５）携帯端末装置が、額付き絵画画像格納部が記憶する額縁と絵画を合成した画像に対して、行列算出手段が算出した座標変換行列を適用して、座標変換した額付き絵画画像を作成して、この座標変換した額付き絵画画像に射影変換行列を適用して射影変換した額付き絵画画像を作成して、この射影変換した額付き絵画画像をフレーム取得手段が取得したフレームに合成する合成ステップと、
を含んだ手順でなされることを特徴とする請求項２１に記載の室内調度品購入支援方法である。
【００３３】
本願発明の第２４の発明は、前記回転成分算出ステップは
携帯端末装置が、取り出したマーカ画像を用いて、マーカの正方形枠の辺を底辺としてカメラ部位置を頂点とする四角錘を作成して、この四角錘の向かい合う２枚の側面の法線ベクトルの組（Ｕ1、Ｕ2）と（Ｕ3、Ｕ4）とを算出して、それぞれの組の法線ベクトルの外積Ｖ1と外積Ｖ2とを算出して、さらに、この２つの外積Ｖ1とＶ2とから外積Ｖ3を算出して、３つの外積Ｖ1とＶ2とＶ3とを用いて転置ベクトル［ Ｖ1t Ｖ2t Ｖ3t ］を算出して回転成分情報として、
前記平行移動成分算出ステップは、携帯端末装置が、取得したフレームのマーカ画像に対して、透視変換行列を適用して、透視変換したマーカ画像を作成して、算出した回転成分情報を適用して、透視変換したマーカ画像を回転させて、回転させたマーカ画像の４頂点の座標情報と、マーカ情報の４頂点座標情報と、を対比させて、平行移動成分情報を算出する
ことを特徴とする請求項２３に記載の室内調度品購入支援方法である。
【００３４】
本願発明の第２５の発明は、コンピュータに組込むことによって、コンピュータを請求項１から請求項６のいずれか１項に記載の額縁選択装置として動作させるコンピュータプログラムである。
【００３５】
本願発明の第２６の発明は、コンピュータに組込むことによって、コンピュータを請求項７に記載のデータサーバ装置として動作させるコンピュータプログラムである。
【００３６】
本願発明の第２７の発明は、コンピュータに組込むことによって、コンピュータを請求項８から請求項１５のいずれか１項に記載の室内調度品購入支援システムとして動作させるコンピュータプログラムである。
【００３７】
本願発明の第２８の発明は、請求項２５から請求項２７のいずれか１項に記載のコンピュータプログラムを記録したコンピュータ読取り可能な記録媒体である。
【発明の効果】
【００３８】
本願発明によれば、
（１）絵画の寸法に相応しい額縁画像を用いて、絵画に額縁を合わせる額縁シミュレーションが可能である。
（２）所望の携帯端末装置を用いて、室内に額縁付き絵画を置く室内シミュレーションが可能である。
従って、本発明によれば、絵画に相応しく、室内で調和の取れた額縁を選択することができるという効果がある。
【発明を実施するための最良の形態】
【００３９】
以下、図面等を参照しながら、本発明の実施の形態について、更に詳しく説明する。
【００４０】
図１は、本発明による室内調度品購入支援システム１の概要を説明する図である。
室内調度品購入支援システム１は、額縁選択装置１００と、データサーバ装置３００と、携帯端末装置５００とが、ネットワーク９００で接続されて構成される。
【００４１】
額縁選択装置１００は、カメラ１０６と、印刷機１４とを備える。
額縁選択装置１００は、パーソナルコンピュータに、後述する専用プログラムを搭載したものである。
データサーバ装置３００は、既存のデータベース管理プログラムを備えたサーバコンピュータに、後述する専用プログラムを搭載したものである。
携帯端末装置５００の例としては、カメラ付き携帯電話などがある。
携帯端末装置５００は、基地局６００と無線電話で接続して、ゲートウェー８００を介して、ネットワーク９００と接続する。
【００４２】
図２は、室内調度品購入支援システム１の大まかな処理の流れを説明する。
以下に、購入する室内調度品として、額縁を例に説明する。室内調度品は、テーブルや椅子、など室内調度品であれば、何でも良い。
《１．室内調度品の選択》
画廊の販売者や額縁店の販売者（以下、額縁販売者）は、額縁選択装置１００のカメラ１０６で絵画を撮影して、辞書に登録する（図２（１））。
額縁販売者は、額縁選択装置１００のカメラ１０６で絵画を撮影して、辞書を用いて実写動画から絵画を検出して、室内調度品（＝額縁）をリアルタイムに合成させて額縁シミュレーション動画を表示させる（同（２））。
【００４３】
《２．室内シミュレーション》
額縁購入者は、気に入った額を絵画に合成して、データサーバ装置３００に登録する（同（３））。
額縁販売者は、登録した額付絵画画像に対応したマーカを、額縁選択装置の印刷機１４で印刷して、額縁購入者に渡す（同（４））。
額縁購入者は、カメラ付き携帯端末装置５００を用いて、マーカを貼った壁を動画撮影して、データサーバ装置３００からマーカに対応した額付絵画画像を取得して、壁の実写動画に、額付絵画画像をリアルタイムに合成させて室内シミュレーション動画を表示させる（同（５））。
【００４４】
なお、額縁購入者は、シミュレーション結果を参考にして、購入する額縁を決定すればよい。
【００４５】
図３は、額縁データ３９２を説明する図である。
図３の（ａ）は、額縁データ３９２の形式を説明する図である。
額縁データ３９２は、額縁識別情報３９２ａと、寸法データ３９２ｂと、額縁パターンデータ３９２ｃとから構成される。
額縁識別情報３９２ａは、ユニークな文字列である。
寸法データ３９２ｂは、数値データである。
額縁パターンデータ３９２ｃは、３次元画像データである。
【００４６】
図３の（ｂ）は、額縁データ３９２の例を説明する図である。
図３の（ｂ）に例示された額縁データ３９２は、額縁識別情報３９２ａが「クラッシック０２」と、寸法データ３９２ｂが「８号」と、額縁パターンデータ３９２ｃが「寸法「８号」の額縁の外観画像データ」である。
【００４７】
この例の意味は、図示された額縁パターンデータは、額縁デザインが「クラッシック０２」で、額縁寸法「８号」の額縁の３次元画像データであるということである。
【００４８】
図４は、額付き絵画画像１９３を説明する図である。
図４の（ａ）は、額付き絵画画像１９３の形式を説明する図である。
額付き絵画画像１９３は、マークＩＤ１９３ａと、額縁を絵画に合成した画像１９３ｂと、から構成される。
マークＩＤ１９３ａは、ユニークな文字列である。
額縁を絵画に合成した画像１９３ｂは、３次元画像データである。
【００４９】
図４の（ｂ）は、額付き絵画画像１９３の例を説明する図である。
図４の（ｂ）に例示された額付き絵画画像１９３は、マークＩＤ１９３ａが「ｍ００３２」で、額縁を絵画に合成した画像１９３ｂが「あるデザインの額縁に収めた絵画の３次元画像データ」である。なお、この額縁は、絵画の寸法に対応するサイズの額縁の外観画像データである。
この例の意味は、図示された額縁を絵画に合成した画像のマークＩＤは「ｍ００３２」であるということである。
【００５０】
図４の（ｃ）は、額付き絵画画像１９３の例を説明する図である。
図４の（ｃ）に例示された額付き絵画画像１９３は、マークＩＤ１９３ａが「Ｍ６４３０」で、額縁を絵画に合成した画像１９３ｂが「（ｂ）とは異なるデザインの額縁に収めた絵画の３次元画像データ」である
この例の意味は、図示された額縁を絵画に合成した画像のマークＩＤは「Ｍ６４３０」であるということである。
【００５１】
図５は、印刷されたマーカ画像１６の例である。
マーカ画像１６は、正方形枠を有する図形である。
正方形枠の内部には、２次元コードパターンを備える。
マーカ画像１６の２次元コードパターンは、額付き絵画画像のマークＩＤ１９３ａを符号化したものである。
マーカの大きさ（たとえば、正方形の１辺の長さ「Ｌ」）は、事前に定められた既知の値である。
【００５２】
次に、図６と図７とを用いて、絵画に額縁を合わせるシミュレーション処理の流れを説明する。
【００５３】
図６は、絵画に合う額縁を選択する手順を説明する図である。
《１．額縁の選択》
《１−１．絵画の登録》
額縁選択装置１００は、カメラ１０６が絵画を撮影して作成したフレームの絵画画像から特徴点（たとえば、フレームの画像パターンが有する端点、頂点、角など）を抽出する。
さらに、額縁選択装置１００は、絵画寸法情報の入力を受け付けて、受け付けた絵画寸法を元にから抽出した特徴点の座標値を求める。額縁選択装置１００は、抽出した特徴点と算出した特徴点の座標値とを含む絵画抽出辞書を作成して登録する（図６（１−１））。
【００５４】
《１−２．額縁画像の取得》
額縁選択装置１００は、絵画寸法情報と額縁選択情報の入力を受け付けて、これらを含む額縁要求をデータサーバ装置３００に発行して、返信された額縁データ３９２を取得する（同（２−１））。
【００５５】
すなわち、額縁データ３９２は、絵画の寸法に対応した額縁デザインのものを取得している。
【００５６】
《１−３．絵画と額縁の合成》
額縁選択装置１００は、カメラ１０６で絵画と標準マーカ１６を動画撮影する（同（２−２））。
額縁選択装置１００は、動画の第一フレームを用いて、標準マーカの４頂点が正方形になるように、フレーム全体を変形させて正規化する。
正規化した第一フレームと絵画抽出辞書とを照合して、第一フレームの絵画を検出する（同（２−３））。
【００５７】
額縁選択装置１００は、透視変換した第一フレームから検出した絵画の任意の４個の特徴点の座標情報と、対応する検出辞書の４個の特徴点の座標情報と、から、座標変換行列を算出して、算出した座標変換行列と射影変換行列とを額縁画像に適用して、額縁画像を座標変換して、第一フレームの絵画に合成して、動画表示１０３する（同（２−４））。
【００５８】
このように、絵画と標準マーカを一緒に撮影して、絵画の位置に額縁画像をリアルタイムに合成することに、技術的な特徴がある。
なお、座標変換の詳細は後述する。
【００５９】
額縁選択装置１００は、第一フレームの絵画の座標情報を用いて、第二フレームの絵画の位置を予測して、絵画を検出する範囲を絞り込んで、第二フレームの絵画を検出する（同（２−５））。
なお、絵画を検出する範囲を絞り込んでいるので、検出処理の能率を高めることができる。
【００６０】
第一フレームのときと同様にして、額縁選択装置１００は、透視変換した第二フレームから検出した絵画の任意の４個の特徴点の座標情報と、対応する検出辞書の４個の特徴点の座標情報と、から、座標変換行列を算出して、算出した座標変換行列と射影変換行列とを額縁画像に適用して、額縁画像を座標変換して、座標変換した額縁画像を第二フレームの絵画に合成して、動画表示１０３する（同（２−６））。
なお、動画の第三フレーム以降では、額縁選択装置１００は、直前のフレームの絵画の座標情報から当該フレームの絵画を検出して、透視変換した当該フレームから検出した絵画の任意の４個の特徴点の座標情報と、対応する検出辞書の４個の特徴点の座標情報とを額縁画像に適用して、座標変換した額縁画像を作成して、さらに射影変換行列を適用して当該フレームの絵画に合成して、表示１０３する（同（２−７））。
【００６１】
図７は、携帯端末装置５００を用いた室内シミュレーションの手順を説明する図である。
【００６２】
《２．室内シミュレーション》
《２−１．額付き絵画の登録》
額縁選択装置１００は、登録指示を受け付けて、マークＩＤを有する額付き絵画画像１９３を、データサーバ装置３００に登録する（同（３））。
《２−２．マーカの印刷》
額縁選択装置１００は、データサーバ装置３００に登録した額付き絵画画像のマークＩＤを符号化したマーカ１６を印刷する（同（４））。
《２−３．額付き絵画画像の受信》
カメラ付き携帯端末装置５００は、カメラで、壁に貼られたマーカ１６を動画撮影する（図７（５−１））。
携帯端末装置５００は、動画の第一フレームのマーカ画像に対して、既知のマーカ寸法を適用して正規化して、正規化したマーカ画像からマーカＩＤを復号して、データサーバ装置３００に送信して、対応する額付き絵画画像１９３を受信する（同（５−２））。
《２−４．額付き絵画画像と室内映像との合成》
携帯端末装置５００は、動画の各フレームを透視変換して、透視変換したフレームから検出したマーカの４個の頂点座標情報と、マーカ情報の４個の頂点座標情報と、から座標変換行列を算出して、算出した座標変換行列と射影変換行列とを額縁画像に適用して、額付き絵画画像を座標変換して、当該フレームに合成して、動画表示１０３する（同（５−３））。
【００６３】
なお、第二フレーム以降の各フレームに対して、マーカ画像からマーカＩＤを復号して、第一フレームのマーカＩＤど同一であることを確認して、受信した額付き絵画画像を座標変換して、当該フレームに合成して、動画表示１０３しても良い。
【００６４】
ここで、まず、額縁選択装置１００の詳細を説明する。
図８は、額縁選択装置１００の詳細な構成図である。
額縁選択装置１００は、ＣＰＵ１０１と、表示部１０３と、入力部１０２と、ネットワーク通信部１０４と、印刷機接続部１０５と、カメラ部１０６と、記憶部１０９と専用プログラムとを備える。
【００６５】
ＣＰＵ１０１は、中央演算装置である。
入力部１０２は、キーボードやマウスや表示部１０３に表示されたソフトキーボードである。
表示部１０３は、液晶表示装置や有機ＥＬ表示装置である。
【００６６】
印刷機接続部１０５は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクタのような通信コネクタである。通信コネクタはプリンタと接続する。
ネットワーク通信部１０４は、ＬＡＮコネクタである。
ネットワーク通信部１０４が、印刷機接続部１０５の代わりにネットワークプリンタと接続していても良い。
【００６７】
カメラ部１０６は、電子カメラである。
カメラ部１０６は、撮影対象を撮影したフレームから構成される動画像を作成する。
【００６８】
記憶部１０９は、半導体メモリや磁気メモリである。
記憶部１０９は、
絵画検出辞書格納部１０９ａと、絵画追跡辞書格納部１０９ｂと、基準マーカ格納部１０９ｃと、額縁格納部１０９ｄと、透視変換行列格納部１０９ｅと、を備えて、専用プログラムを記憶する。
絵画検出辞書格納部１０９ａは、絵画の特徴点情報と、その特徴点の座標情報と、を含む絵画検出辞書を記憶する領域である。
絵画追跡辞書格納部１０９ｂは、絵画の位置情報と、絵画の特徴点情報と、特徴点位置座標情報とを含む絵画追跡辞書を記憶する領域である。
基準マーカ格納部１０９ｃは、四頂点座標情報を含む基準マーカ情報１９６を記憶する領域である。
額縁格納部１０９ｄは、額縁画像を含む額縁データ３９２を記憶する領域である。
透視変換行列格納部１０９ｅは、透視変換行列情報１９１と射影変換行列情報１９１ｂを記憶する領域である。
透視変換行列情報１９１と射影変換行列情報１９１ｂは、カメラキャリブレーションにより算出した行列である。詳細は後述する。
【００６９】
このほかに、絵画検出辞書登録手段１１０と、額縁取得手段１２０と、フレーム取得手段１３０と、第１フレーム特徴点抽出手段１５５と、絵画検出手段１６５と、登録特徴点抽出手段１４５と、絵画追跡辞書登録手段１１５と、絵画予測特徴点抽出手段１５７と、絵画予測検出手段１６７と、更新特徴点抽出手段１４７と、絵画追跡辞書更新手段１１７と、フレーム特徴点取得手段１７４と、辞書特徴点取得手段１７５と、座標変換算出手段１７６と、合成手段１７８と、から構成される額縁合成フレーム作成手段１７０と、額縁シミュレーション表示手段１８０と、額付き絵画画像送信手段１２５と、マーカ印刷手段１２７と、を備える。これらの各手段は、それぞれの専用プログラムによって実現され、専用プログラムがＣＰＵ１０１に解釈・実行されることによって機能する。
【００７０】
絵画検出辞書登録手段１１０は、絵画領域とその寸法とを含む絵画指定情報の入力を受け付けて、カメラで撮影した絵画のフレームから絵画の特徴点情報（頂点や端点、角など）を抽出して、入力された絵画指定情報を用いて、抽出された特徴点の絵画上の座標情報（＝マーカ座標系における位置座標値）を算出して、抽出された特徴点と算出された特徴点座標情報を含む絵画検出辞書を作成して、絵画検出辞書格納部１０９ａに登録する。
【００７１】
額縁取得手段１２０は、寸法情報を含む額縁選択情報の入力を受け付けて、入力された額縁選択情報を含むデータベース検索クエリを構成して、データサーバ装置に送信して、返信された額縁データ３９２を受信して、額縁データ３９２を額縁格納部１０９ｄに記憶する。
【００７２】
フレーム取得手段１３０は、カメラ部が作成した絵画と基準マーカを含む動画像から順次にフレームを取得する。
【００７３】
第１フレーム特徴点抽出手段１５５は、フレーム取得手段１３０が取得したフレームが第１フレームであれば、そのフレームから基準マーカ画像を取り出して、基準マーカ画像の四頂点座標情報と、基準マーカ格納部１０９ｃに記憶する基準マーカ情報の四頂点座標情報と、を用いて、正規化行列情報を算出して、第１フレームにこの正規化行列情報を適用して、第１フレームの画像を正規化して、正規化した第１フレームから特徴点情報を抽出する。
【００７４】
絵画検出手段１６５は、第１フレーム正規化作成手段１５５が正規化した第１フレームから抽出した特徴点情報を用いて、絵画検出辞書格納部１０９ａの絵画検出辞書と照合して、辞書に含まれる特徴点との類似度を算出して、類似度の高い特徴点情報を用いて、第１フレームの絵画を検出する。
【００７５】
追跡辞書登録手段１１６は、登録特徴点抽出手段１４５と絵画追跡辞書登録手段１１５とから構成される。
追跡辞書登録手段１１６は、絵画検出手段が検出した絵画の位置情報と特徴点情報と、この特徴点の位置情報を算出し、これらを含む絵画追跡辞書を作成して絵画追跡辞書格納部に登録する。
登録特徴点抽出手段１４５は、絵画検出手段１６５が検出した第１フレームの絵画の位置情報を算出し、絵画が有する特徴点情報を抽出し、この抽出した特徴点の特徴点フレーム座標情報（＝観測画面座標系の座標情報）を算出する。
絵画追跡辞書登録手段１１５は、登録特徴点抽出手段１４５が算出した絵画の位置情報と抽出した特徴点情報と算出した特徴点位置情報とを含む絵画追跡辞書を作成して、絵画追跡辞書格納部１０９ｂに登録する。
【００７６】
絵画予測特徴点抽出手段１５７は、フレーム取得手段１３０が取得したフレームが第２フレーム以降のフレームであれば、画追跡辞書格納部１０９ｂが記憶する絵画追跡辞書の絵画位置情報を用いて、取得したフレームにおける絵画位置を予測して、予測した絵画位置にあるフレーム上の特徴点情報を抽出して、この抽出した特徴点の特徴点位置情報（＝観測画面座標系の座標情報）を算出する。
ここで、予測した絵画位置とは、絵画の位置とその近傍を含む位置である。
絵画予測検出手段１６７は、絵画予測特徴点抽出手段１５７が抽出した特徴点を用いて、画追跡辞書格納部１０９ｂが記憶する絵画追跡辞書の特徴点と照合して、辞書に含まれる特徴点との類似度を算出して、類似度の高い特徴点情報を用いて、該当するフレームの絵画を検出する。
【００７７】
追跡辞書更新手段１１８は、更新特徴点抽出手段１４７と絵画追跡辞書更新手段１１７とから構成される。
追跡辞書更新手段１１８は、絵画予測検出手段が検出した絵画の位置情報と特徴点情報と特徴点位置情報を算出して、これらを含む絵画追跡辞書を作成して絵画追跡辞書格納部の絵画追跡辞書を更新する。
更新特徴点抽出手段１４７は、絵画予測検出手段１６７が検出した該当するフレームの絵画の位置情報を算出し、絵画が有する特徴点情報を抽出し、この抽出した特徴点の特徴点フレーム座標情報（＝観測画面座標系の座標情報）を算出する。
絵画追跡辞書更新手段１１７は、更新特徴点抽出手段１４７が算出した絵画の位置情報と特徴点情報と特徴点位置情報（＝観測画面座標系の座標情報）とを含む絵画追跡辞書を作成して絵画追跡辞書格納部１０９ｂに記録して絵画追跡辞書を更新する。
【００７８】
額縁合成フレーム作成手段１７０は、フレーム特徴点取得手段１７４と、辞書特徴点取得手段１７５と、座標変換算出手段１７６と、合成手段１７８と、から構成される。
額縁合成フレーム作成手段１７０は、登録特徴点抽出手段１４５、もしくは、更新特徴点抽出手段１４７が算出した特徴点位置情報の中から、４箇所の特徴点の位置情報を取得して、絵画検出辞書格納部１０９ａが記憶する絵画検出辞書の中から、この４箇所の特徴点に対応する４個の特徴点が有する座標情報を取得して、４箇所の特徴点位置情報と、４個の特徴点座標値と、透視変換行列格納部１０９ｅが記憶する透視変換行列情報１９１とを、額縁画像に適用して、座標変換した額縁画像を作成して、これに射影変換行列情報１９１ｂを適用して射影変換した額縁画像を作成して、射影変換した額縁画像をフレーム取得手段が取得したフレームの絵画に合成する。
【００７９】
フレーム特徴点取得手段１７４は、登録特徴点抽出手段１４５、もしくは、更新特徴点抽出手段１４７が算出した特徴点位置情報の中から、４箇所の特徴点の特徴点位置情報（＝観測画面座標系の座標情報）を取得する。
辞書特徴点座標取得手段１７５は、絵画検出辞書格納部が記憶する絵画検出辞書を参照して、フレーム特徴点取得手段１７４が取得した４箇所の特徴点に対応する４個の特徴点の座標情報（＝マーカ座標系の座標情報）を取得する。
【００８０】
座標変換算出手段１７６は、フレーム特徴点取得手段１７４が取得した４箇所の特徴点位置情報と、透視変換行列格納部１０９ｅの透視変換行列情報１９１と、辞書特徴点座標取得手段１７５が取得した４個の特徴点の座標情報と、を用いて、額縁用座標変換行列を算出する。
詳細には、座標変換算出手段１７６は、フレーム特徴点取得手段１７４が取得した４箇所の特徴点位置情報に対して、透視変換行列格納部１０９ｅの透視変換行列情報１９１を適用して、額縁用座標変換行列の回転成分を算出する。
さらに、座標変換算出手段１７６は、算出した額縁用座標変換行列の回転成分と、フレーム特徴点取得手段１７４が取得した４箇所の特徴点位置情報（＝観測面座標系の座標情報）と、辞書特徴点座標取得手段１７５が取得した４個の特徴点の座標情報（＝マーカ座標系の座標情報）とを用いて、額縁用座標変換行列の平行移動成分を算出する。
最後に、座標変換算出手段１７６は、算出した回転成分と平行移動成分とを用いて、額縁用座標変換行列を算出する。
【００８１】
なお、額縁用座標変換行列を算出する手順の詳細は後述する。このとき、後述する座標変換行列を算出する手順では、マーカの４個の頂点座標情報を用いるので、座標変換算出手段１７６では、頂点座標情報の代わりに特徴点座標情報を用いて、額縁用座標変換行列を算出する。
【００８２】
合成手段１７８は、座標変換算出手段１７６が算出した額縁用座標変換行列を、額縁画像に適用して、座標変換した額縁画像を作成して、この座標変換した額縁画像に射影変換行列情報１９１ｂを適用して射影変換した額縁画像を作成して、射影変換した額縁画像をフレーム取得手段が取得したフレームの絵画に合成する。
【００８３】
額縁シミュレーション表示手段１８０は、額縁合成フレーム作成手段１７０が合成したフレームから構成される額縁シミュレーション動画を表示する。
【００８４】
額付き絵画画像送信手段１２５は、登録指示の入力を受け付けて、額縁画像と絵画画像を合成した画像を作成して、これにマーカ識別情報を関連付けた額付き絵画画像１９３を作成して、データサーバ装置に送信する。
マーカ印刷手段１２７は、マーカ識別情報を符号化した画像を含むマーカを印刷する。
【００８５】
図９は、絵画検出辞書が有する特徴点の座標値の説明図である。
図９には、絵画画像の特徴点と特徴点座標が例示されている。
絵画画像１１には、４箇の特徴点１１ａ／ｂ／ｃ／ｄが示されている。
特徴点１１ａは、頂点である。
特徴点１１ｂ／ｄは、端点である。
特徴点１１ｃは、角である。
特徴点１１ａの座標情報（たとえば座標値）は、（α、β）である。特徴点１１ｂの座標値は、（Ｌ／２、γ）である。特徴点１１ｃの座標値は、（−Ｌ／２、−Ｍ／２）である。、特徴点１１ｄの座標値は、（−Ｌ／２、δ）である。（０＜α＜Ｌ、０＜β、γ、δ＜Ｍ）
この特徴点の座標値を用いて、絵画検出辞書が作成される。
ここで、絵画画像１１の寸法は、縦×横＝Ｍ×Ｌである。
なお、特徴点の座標値は、マーカ座標系における座標値である。
【００８６】
図１０は、絵画検出辞書の登録手順を説明する図である。
《１−１．絵画の登録》
《ａ．特徴点の抽出》
絵画検出辞書登録手段１１０は、カメラで撮影したフレーム１０６ａから絵画の特徴点（頂点や端点、角など）を抽出する（図１０（１））。
《ｂ．特徴点の座標》
絵画検出辞書登録手段１１０は、カメラで撮影したフレーム上の絵画領域を指定する情報と絵画寸法とを含む絵画指定情報の入力を受け付けて、入力された絵画指定情報の絵画領域とその寸法と用いて、特徴点の絵画上の座標情報（＝マーカ座標系における座標情報。たとえば座標値）を算出する（同（２））。
《ｃ．辞書登録》
絵画検出辞書登録手段１１０は、抽出された特徴点と算出された特徴点座標情報を用いて、絵画検出辞書を作成して、絵画検出辞書格納部１０９ａに登録する（同（３））。
【００８７】
ここで、図１１から図１４を用いて、絵画と基準マーカ画像から構成されるフレームに額縁画像を合成する例を説明する。
【００８８】
図１１には、カメラと絵画とが正対した状態で撮影されたフレームが例示されている。
撮影されたフレーム１０６ａには、絵画画像１１と、正方形の基準マーカ画像１６とが撮影されている。
なお、この基準マーカ画像１６は、二次元コードパターンを有さなくて良い。
【００８９】
図１２には、カメラと絵画とが正対していない状態で撮影されたフレームが例示されている。フレーム１０６ａには、撮影角度の変化に応じて変形した絵画画像１１と基準マーカ画像１６とが含まれて構成されている。
【００９０】
図１３は、変形した基準マーカ画像１６を正規化する説明図である。
変形した基準マーカ画像１６の４個の頂点１６１／１６２／１６３／１６４を、正方形１６の４個の頂点１６１ｓ／１６２ｓ／１６３ｓ／１６４ｓに座標変換することで正規化した基準マーカ画像１６ｓを得ることができる。この正規化する座標変換をフレーム１０６ａに適用することで、正規化されたフレームを得ることができる。正規化されたフレームを、絵画検出辞書格納部１０９ａに登録された絵画検出辞書と照合することで、フレーム内の絵画画像を検出することが可能となる。
【００９１】
図１４は、額縁付き絵画画像の額縁シミュレーション動画の表示例である。
図１４には、撮影された絵画画像１１に変形された額縁画像が合成されたフレーム１０６ｂが表示された例が示されている。
フレーム１０６ｂは、撮影により変形された絵画画像１１と、絵画画像の変形度合に応じて変形した額縁画像３９２ｃとが合成されたフレームである。
【００９２】
次に、図１５から図１７までを用いて、額縁合成処理の手順を説明する。
【００９３】
図１５は、額縁合成処理の概要を説明する図である。
《１．額縁の選択》
《１−３．絵画と額縁の合成》
額縁選択装置１００のカメラ部１０６は、絵画を撮影したフレーム１０６ａから構成される動画像を作成する（図１５（１））。
フレーム取得手段１３０は、カメラ部が作成した絵画と基準マーカを含む動画像から順次にフレーム１０６ａを取得する。
フレーム取得手段１３０が取得したフレーム１０６ａが第１フレームであれば、第１フレーム合成処理を行なって、合成した第１フレーム１０６ｂを作成する（同（２））。
フレーム取得手段が取得したフレーム１０６ａが第２フレーム以降のフレームであれば、第２フレーム以降の合成処理を行なって、第２フレーム以降の合成したフレーム１０６ｂを作成する（同（３））。
額縁シミュレーション表示手段１８０は、合成したフレーム１０６ｂから構成される額縁シミュレーション動画１０６ｂを作成して表示する（同（４））。
【００９４】
図１６は、額縁合成処理の第１フレーム合成処理を説明する図である。
【００９５】
《第１フレーム合成処理》
《ａ．絵画画像の検出》
第１フレーム特徴点抽出手段１５５は、第１フレーム１０６ａから基準マーカ画像１６を取り出して、取り出した基準マーカ画像１６の四頂点座標情報と、基準マーカ格納部１０９ｃに記憶する基準マーカ情報１９６の四頂点座標情報と、を用いて、正規化行列情報を算出して、第１フレームにこの正規化行列情報を適用して、第１フレームの画像を正規化する（図１６（１））。
【００９６】
第１フレーム特徴点抽出手段１５５は、正規化した第１フレームから特徴点情報（頂点や端点、角など）を抽出する。
絵画検出手段１６５は、第１フレーム正規化作成手段１５５が抽出した特徴点情報を用いて、絵画検出辞書格納部１０９ａの絵画検出辞書と照合して、辞書に含まれる特徴点との類似度を算出して、類似度の高い特徴点情報を用いて、絵画を検出する（同（２））。
登録特徴点抽出手段１４５は、絵画検出手段１６５が検出した絵画の第１フレーム上の位置情報を算出する。
登録特徴点抽出手段１４５は、絵画検出手段１６５が検出した第１フレームの絵画が有する特徴点情報と、この特徴点の位置情報（＝観測画面座標系の座標情報）とを算出する（同（３））。
【００９７】
《ｂ．絵画追跡辞書登録》
絵画追跡辞書登録手段１１５は、登録特徴点抽出手段１４５が算出した絵画の位置情報と、登録特徴点抽出手段１４５が抽出した特徴点情報と、登録特徴点抽出手段１４５が算出した特徴点位置情報と、を含む絵画追跡辞書を作成し、絵画追跡辞書格納部１０９ｂに登録する（同（４））。
【００９８】
《ｃ．特徴点の取得》
フレーム特徴点取得手段１７４は、登録特徴点抽出手段１４５が算出した特徴点位置情報の中から、あるいは、絵画追跡辞書格納部１０９ｂが記憶する絵画追跡辞書の中から、４箇所の特徴点の特徴点位置情報（＝観測画面座標系の座標情報）を取得する（同（５））。
辞書特徴点座標取得手段１７５は、絵画検出辞書格納部が記憶する絵画検出辞書を参照して、フレーム特徴点取得手段１７４が取得した４箇所の特徴点に対応する４個の特徴点の座標情報（＝マーカ座標系の座標情報）を取得する（同（６））。
【００９９】
なお、４箇所の特徴点の位置関係は、正方形に近い位置関係であるとより望ましい。
【０１００】
《ｄ．座標変換》
座標変換算出手段１７６は、フレーム特徴点取得手段１７４が取得した４箇所のレーム特徴点座標情報と、透視変換行列格納部１０９ｅの透視変換行列情報１９１と、辞書特徴点座標取得手段１７５が取得した４個の特徴点の座標情報と、を用いて、額縁用座標変換行列を算出する（同（７））。
合成手段１７８は、額縁画像３９２ｃに対して、座標変換算出手段１７６が算出した座標変換行列を適用して、座標変換した額縁画像を作成して、この座標変換した額縁画像に射影変換行列情報１９１ｂを適用して射影変換した額縁画像を作成する（同（８））。
【０１０１】
《ｅ．フレーム合成》
合成手段１７８は、作成した射影変換した額縁画像を用いて、フレーム取得手段が取得したフレームの絵画に合成する（同（９））。
【０１０２】
図１７は、額縁合成処理の第２フレーム以降の合成処理を説明する図である。
【０１０３】
《第２フレーム以降の合成処理》
《ａ．絵画画像の抽出》
フレーム取得手段が取得したフレームが第２フレーム以降のフレームであれば、
絵画予測特徴点抽出手段１５７は、そのフレームから画追跡辞書格納部１０９ｂが記憶する絵画追跡辞書のフレームの絵画の座標情報を用いて絵画位置を予測して、予測した絵画位置から特徴点を抽出する（図１７（１））。
次に、絵画予測検出手段１６７は、絵画予測特徴点抽出手段１５７が抽出した特徴点を用いて、画追跡辞書格納部１０９ｂが記憶する絵画追跡辞書の特徴点と照合して、類似度を算出して、類似度の高い特徴点情報を抽出して、該当するフレームの絵画を検出する（同（２））。
更新特徴点抽出手段１４７は、検出した絵画の位置情報を算出する。
更新特徴点抽出手段１４７は、絵画予測検出手段１６７が検出した絵画が有する特徴点情報を算出して、この特徴点の特徴点位置情報（＝観測画面座標系の座標情報）を算出する（同（３））。
【０１０４】
このように、第二フレーム以降の処理では、基準マーカを用いずに、前のフレームで検知した絵画位置の近傍のみの特徴点を辞書と照合するので、処理時間を節約することができる。
あるいは、第二フレーム以降の処理では、フレームを正規化せずにフレームの絵画を検出できるので、同様に、処理時間を節約することができる。
【０１０５】
《ｂ．絵画追跡辞書更新》
絵画追跡辞書更新手段１１７は、更新特徴点抽出手段１４７が算出した絵画の位置情報と、更新特徴点抽出手段１４７が抽出した特徴点情報と、更新特徴点抽出手段１４７が算出した特徴点位置情報（＝観測画面座標系の座標情報）と、を含む絵画追跡辞書を作成して絵画追跡辞書格納部１０９ｂに記録して絵画追跡辞書を更新する（同（４））。
【０１０６】
《ｃ．特徴点の取得》
フレーム特徴点取得手段１７４は、更新特徴点抽出手段１４７が算出した特徴点位置情報の中から、あるいは、絵画追跡辞書格納部１０９ｂが記憶する絵画追跡辞書の中から、４箇所の特徴点の特徴点位置情報を取得する（同（５））。
辞書特徴点座標取得手段１７５は、絵画検出辞書格納部が記憶する絵画検出辞書の絵画の特徴点を参照して、フレーム特徴点取得手段１７４が取得した４箇所の特徴点に対応する４個の特徴点の座標情報を取得する（同（６））。
【０１０７】
《ｄ．座標変換》
第１フレーム合成処理における座標変換処理と同じ手順（図１６（７））と（図１６（８））で、座標変換した額縁画像を作成する（同（７））と（同（８））。
《ｅ．フレーム合成》
第１フレーム合成処理におけるフレーム合成処理と同じ手順（図１６（９））で、座標変換・射影変換した額縁画像をフレームの絵画に合成する（同（９））。
【０１０８】
図１８は、額縁合成処理のフローチャートである。
（１）絵画検出辞書登録手段１１０は、抽出された特徴点と算出された特徴点座標値を用いて、絵画検出辞書を作成して、絵画検出辞書格納部１０９ａに登録する。
（ステップＳ１１０）
（２）額縁選択装置１００は、カメラ部１０６が撮影対象を撮影中か否かを判定する。
撮影中であれば、ステップＳ１３０に進む。
撮影中で無ければ（撮影終了であれば）、終了する。（ステップＳ１２０）
（３）フレーム取得手段１３０は、カメラ部１０６が作成した絵画と基準マーカを含む動画像から順次にフレームを取得する。（ステップＳ１３０）
（４）額縁選択装置１００は、取得したフレームが第一フレームであるか否かを判定する。第一フレームであれば、ステップＳ１５０に進む。第二フレーム以降であれば、ステップＳ１６０に進む。（ステップＳ１４０）
（５）第一フレーム合成処理（図１６にて説明した合成処理）を行なう。ステップＳ１１０に戻る。（ステップＳ１５０）
（６）第二フレーム以降合成処理（図１７にて説明した合成処理）を行なう。ステップＳ１１０に戻る。（ステップＳ１６０）
【０１０９】
図１９は、データサーバ装置３００の詳細な構成図である。
データサーバ装置３００は、ＣＰＵ３０１と、ネットワーク通信部３０４と、記憶部３０９と専用プログラムとを備える。
【０１１０】
ＣＰＵ３０１は、中央演算装置である。
ネットワーク通信部３０４は、ＬＡＮコネクタである。
【０１１１】
記憶部３０９は、半導体メモリや磁気メモリである。
記憶部３０９は、額縁データベース３９１と、額付き絵画画像データベース３９３と、専用プログラムを記憶する。
額縁データベース３９１は、寸法情報を含む額縁選択情報と額縁画像とを対応付けた額縁データ３９２を記憶する。
額付き絵画画像データベース３９３は、マーカ識別情報と額縁と絵画を合成した画像とを対応付けた額付き絵画画像を記憶する。
【０１１２】
このほかに、額縁返信手段３１０と、額付き絵画画像登録手段３２０と、額付き絵画画像返信手段３４０とを備える。これらの各手段は、それぞれの専用プログラムによって実現され、専用プログラムがＣＰＵ３０１に解釈・実行されることによって機能する。
【０１１３】
額縁返信手段３１０は、額縁選択装置が送信する額縁選択情報を含むデータベース検索クエリを受信して、記憶部のデータベースを検索して、抽出した額縁画像を返信する。
額付き絵画画像登録手段３２０は、額縁選択装置が送信する額付き絵画画像を額付き絵画画像データベース３９３に登録する。
額付き絵画画像返信手段３４０は、携帯端末装置が送信するマーカ識別情報を含むデータベース検索クエリを受信して、額付き絵画画像データベース３９３を検索して、該当する額付き絵画画像を取得して、これを携帯端末装置に返信する。
【０１１４】
図２０は、携帯端末装置５００の詳細な構成図である。
携帯端末装置５００は、ＣＰＵ５０１と、表示部５０３と、入力部５０２と、ネットワーク通信部５０４と、カメラ部５０６と、記憶部５０９と専用プログラムとを備える。
【０１１５】
ＣＰＵ５０１は、中央演算装置である。
入力部５０２は、キーボードやマウスや表示部５０３に表示されたソフトキーボードである。
表示部５０３は、液晶表示装置や有機ＥＬ表示装置である。
ネットワーク通信部５０４は、ＬＡＮコネクタである。
【０１１６】
カメラ部５０６は、電子カメラである。
カメラ部５０６は、マーカを含む室内を撮影したフレームから構成される動画像を作成する。
【０１１７】
記憶部５０９は、半導体メモリや磁気メモリである。
記憶部５０９は、額付き絵画画像格納領域５０９ａと、マーカ格納部５０９ｂと、透視変換行列格納部５０９ｃと、座標変換行列格納部５０９ｄと、専用プログラムを記憶する。
額付き絵画画像格納部５０９ａは、額縁画像と絵画画像を合成した画像にマーカ識別情報を関連付けた額付き絵画画像１９３を記憶する領域である。
マーカ格納部５０９ｂは、四頂点座標情報（＝マーカ座標系の座標情報）を含むマーカ情報３９６を記憶する領域である。
透視変換行列格納部５０９ｃは、透視変換行列３９５と射影変換行列３９５ｂを記憶する領域である。
座標変換行列格納部５０９ｄは、座標変換行列３９７を記憶する領域である。
【０１１８】
このほかに、フレーム取得手段５１０と、マーカ画像取出手段５２０と、ＩＤ復号手段５３０と、額付き絵画画像受信手段５４０と、合成フレーム作成手段５７０と、室内シミュレーション表示手段５８０と、を備える。これらの各手段は、それぞれの専用プログラムによって実現され、専用プログラムがＣＰＵ５０１に解釈・実行されることによって機能する。
【０１１９】
フレーム取得手段５１０は、カメラ部が作成した動画像から順次にフレームを取得する。
【０１２０】
マーカ画像取出手段５２０は、フレーム取得手段５１０が取得したフレームからマーカ画像を取り出し、取り出したマーカ画像の正方形枠の４頂点座標情報（＝観測画面系の座標情報）を算出する。
【０１２１】
ＩＤ復号手段５３０は、マーカ正規化手段５３２と、復号手段５３４と、から構成される。
ＩＤ復号手段５３０は、マーカ画像取出手段が取り出したマーカ画像の四頂点座標情報と、マーカ格納部が記憶する四頂点座標情報と、を用いて、マーカ画像を正規化して、正規化したマーカ画像からマーカ識別情報を復号する。
【０１２２】
マーカ正規化手段５３２は、マーカ画像取出手段５２０が算出したマーカ画像の正方形枠の四頂点座標情報と、マーカ格納部５０９ｂが記憶するマーカ情報の四頂点座標情報（＝マーカ座標系の座標情報）と、を用いて、正規化行列情報を作成して、マーカ画像取出手段５２０が取り出したマーカ画像にこの正規化行列情報を適用して、正規化する。
復号手段５３４は、マーカ正規化手段５３２が正規化したマーカ画像からマーカ識別情報を復号する。
【０１２３】
額付き絵画画像受信手段５４０は、フレーム取得手段５１０が取得したフレームが第１フレームであれば、復号したマーカ識別情報を含むデータベース検索クエリを構成して、データサーバ装置に送信して、返信された額付き絵画画像を受信する。
【０１２４】
合成フレーム作成手段５７０は、３次元マーカ作成手段５５０と、回転成分算出手段５６２と、平行移動成分算出手段５６４と、行列算出手段５６６と、合成手段５６８と、から構成される。
合成フレーム作成手段５７０は、マーカ格納部５０９ｂが記憶する四頂点座標情報と、マーカ画像取出手段が取り出したマーカ画像が有する四頂点の座標情報と、透視変換行列格納部５０９ｃの透視変換行列情報３９５と、を用いて、座標変換行列３９７を算出して、これを額付き絵画画像格納部に格納された額付き絵画画像に適用して、座標変換した額付き絵画画像を作成して、この座標変換した額付き絵画画像に射影変換行列情報３９５ｂを適用して射影変換した額付き絵画画像を作成して、射影変換した額付き絵画画像を、フレーム取得手段が取得したフレームに合成する。
【０１２５】
３次元マーカ作成手段５５０は、マーカ画像取出手段５２０が取り出したマーカ画像に対して、透視変換行列格納部５０９ｃが記憶する透視変換行列３９５を適用して、透視変換したマーカ画像（＝カメラから見た３次元マーカ画像）を作成する。
【０１２６】
回転成分算出手段５６２は、マーカ画像取出手段５２０が算出したマーカ画像の正方形枠の四頂点座標情報（＝観測画面系の座標情報）に対して、透視変換行列格納部５０９ｃが記憶する透視変換行列３９５を適用して、マーカの正方形枠を底面としてカメラ部位置を頂点とする四角錘を作成して、この四角錘の向かい合う２枚の側面の法線ベクトルの組（Ｕ1、Ｕ2）と（Ｕ3、Ｕ4）とを算出して、それぞれの組の法線ベクトルの外積Ｖ1と外積Ｖ2とを算出して、さらに、この２つの外積Ｖ1とＶ2とから外積Ｖ3を算出して、３つの外積Ｖ1とＶ2とＶ3との転置ベクトルを回転成分情報として算出する。
【０１２７】
平行移動成分算出手段５６４は、３次元マーカ作成手段５５０が作成した３次元マーカ画像の４頂点座標情報に対して、回転成分算出手段５６２が算出した回転成分情報を適用して、回転させた３次元マーカ画像を作成して、回転させた３次元マーカの４頂点座標情報（＝カメラ座標系の座標情報）と、マーカ格納部５０９ｂが記憶するマーカの４頂点座標情報（＝マーカ座標系の座標情報）と、を対比させて、平行移動成分情報を算出する。
【０１２８】
行列算出手段５６６は、回転成分算出手段５６２が算出した回転成分情報と、平行移動成分算出手段５６４が算出した平行移動成分情報と、を用いて、座標変換行列３９７を算出する。
【０１２９】
合成手段５６８は、額付き絵画画像格納部５０９ｃが記憶する額縁と絵画を合成した画像１９３ｂに対して、行列算出手段５６６が算出した座標変換行列を適用して、座標変換した額付き絵画画像を作成して、この座標変換した額付き絵画画像に射影変換行列情報３９５ｂを適用して射影変換した額付き絵画画像を作成して、射影変換した額付き絵画画像を、フレーム取得手段が取得したフレームに合成する。
室内シミュレーション表示手段５８０は、この合成したフレームから構成される室内シミュレーション動画像を作成して表示する。
【０１３０】
ここで、図２１と図２２とを用いて、座標変換と透視変換の計算方法の説明をする。
図２１は、透視変換の説明図である。
図２１の（ａ）は、透視変換行列３９５の説明図である。
「Ｐ」３９５は、透視変換行列である。
透視変換行列「Ｐ」３９５は、透視変換行列要素「Ｐij」から構成される４行１列の行列である。
【０１３１】
なお、透視変換行列３９５は、カメラキャリブレーションにより算出した行列である。ここで、カメラキャリブレーションとは、カメラによる三次元測量を可能にするために、観測画面座標系（２次元）（＝カメラによる撮影画像の表示面）からカメラ座標系（３次元）への座標値変換の関係を求めることである。
なお、カメラキャリブレーションによる透視変換行列３９５の算出方法は、たとえば、非特許文献１（ｐ．６−７）に記載されている。
なお、射影変換行列３９５ｂは、透視変換行列３９５と同様の変換行列要素から構成される４行１列の行列である。
【０１３２】
図２１の（ｂ）は、透視変換行列を用いて透視変換する関係式「式１」の説明図である。関係式「式１」は、マーク画像上（＝観測画面座標系）の点の座標値とカメラ座標系の座標値とを変換する関係式である。
関係式「式１」は、透視変換行列「Ｐ」３９５と、観測画面座標系の座標行列３９７と、カメラ座標系の座標行列３９６と、から構成される。
透視変換行列「Ｐ」３９５は、マーク画像上の座標値（Ｘp、Ｙp）を、カメラ座標系の座標値（Ｘc、Ｙc、Ｚc）に変換する行列である。
マーク画像上の観測画面座標系の座標行列３９７は、マーク画像上（＝観測画面座標系）の点の座標値（Ｘp、Ｙp）を含む「ｈＸp、ｈＹp、ｈ、１」を要素とする４行１列の行列である。
カメラ座標系の座標行列３９６は、カメラ座標系の座標値（Ｘc、Ｙc、Ｚc）を含む「Ｘc、Ｙc、Ｚc、１」を要素とする４行１列の行列である。
ここで、マーク画像上の座標値（Ｘp、Ｙp）は、観測画面座標系の２次元座標（＝Ｘ座標、Ｙ座標）である。
カメラ座標系の座標値（Ｘc、Ｙc、Ｚc）は、３次元座標（＝Ｘ座標、Ｙ座標、Ｚ座標）である。
ｈは、観測画面とカメラの距離を変数とする値である。
なお、射影変換行列３９５ｂを用いて透視変換する関係式は、透視変換行列３９５を用いて透視変換する関係式と同様である。
【０１３３】
図２２は、座標変換の計算式の説明図である。
図２２は、座標変換行列を用いて座標変換する関係式「式２」の説明図である。
関係式「式２」は、マーク座標系の座標値とカメラ座標系の座標値とを変換する関係式である。
関係式「式２」は、座標変換行列「Ｔcm」３９７と、カメラ座標系の座標行列３９６と、マーク座標系の座標行列３９８と、から構成される。
座標変換行列「Ｔcm」３９７は、マーク座標系の座標値（Ｘm、Ｙm、Ｚm）をカメラ座標系の座標値（Ｘc、Ｙc、Ｚc）に変換する行列である。
カメラ座標系の座標行列３９６は、カメラ座標系の座標値（Ｘc、Ｙc、Ｚc）を含む「Ｘc、Ｙc、Ｚc、１」を要素とする４行１列の行列である。
マーク座標系の座標行列３９８は、マーク座標系の座標値（Ｘm、Ｙm、Ｚm）を含む「Ｘm、Ｙm、Ｚm、１」を要素とする４行１列の行列である。
座標変換行列「Ｔcm」３９７は、回転成分行列「Ｒ3X3」３９７ａと、平行移動成分行列「Ｔ3X1」３９７ｂと、を含む４行４列の行列である。
回転成分行列Ｒ3X3は、３行３列の回転成分要素Ｒijで構成される。
平行移動成分行列Ｔ3X1は、３行１列の平行移動成分要素Ｔjを含む４行１列の行列である。（ｉ，ｊ＝１、２、３）
【０１３４】
次に、図２３から図２５までを用いて、カメラ座標系とマーク座標系と観測画面座標系の関係について図解する。
【０１３５】
図２３は、マーカ座標系とカメラ座標系と観測画面座標系を説明する図である。
マーカ座標系は、マーカ１６がＸＹ平面の原点に置いた３次元空間である。
カメラ座標系は、マーカ１６を撮影するカメラ２０の位置を原点とする３次元空間である。
観測画面座標系は、カメラ２０が撮影したマーカ１６の画像を投影表示する２次元平面である。
カメラ座標系と観測画面座標系との変換関係が透視変換である。
マーカ座標系とカメラ座標系との変換関係が座標変換である。
【０１３６】
図２４は、マーカ座標系におけるマーカの説明図である。
マーカ１６は、マーカの中心をマーカ座標系の原点に一致させて配置されている。
マーカ１６は、一辺が「Ｌ」の正方形である。
マーカの４個の頂点１６ａ／１６ｂ／１６ｃ／１６ｄの座標値は、それぞれ、（Ｌ／２、Ｌ／２、０）と、（−Ｌ／２、Ｌ／２、０）と、（−Ｌ／２、−Ｌ／２、０）と、（Ｌ／２、−Ｌ／２、０）とである。
【０１３７】
図２５は、四角錘２２の説明図である。
四角錘２２は、マーカ１６の正方形枠を底面としてカメラ部２０を頂点とする四角錘である。四角錘２２には、観測画面２１が含まれる。この観測画面２１は、カメラが撮影するマーカ画像を表示する２次元平面である。
【０１３８】
次に、図２６から図２８までを用いて、室内シミュレーション画面を説明する。
【０１３９】
図２６は、観測画面２１の例である。
図２６には、印刷されたマーカ１６を壁に貼った室内の撮影画像から構成されるフレームが例示されている。
室内の壁には、額縁選択装置１００が印刷したマーカが貼られている。マーカは、絵画を飾りたい位置に貼られている。マーカが有する二次元コードは、マーカ識別情報を符号化したものである。撮影画像は、マーカに正対していないので、マーカ画像は変形している。
【０１４０】
図２７は、変形したマーカ画像１６ｐを正規化する説明図である。
変形したマーカ画像１６ｐの４個の頂点１６１ｐ／１６２ｐ／１６３ｐ／１６４ｐを、正方形１６の４個の頂点１６１／１６２／１６３／１６４に透視変換して正規化することで、変形したマーカ画像１６ｐ内の２次元コードパターンを正規化したコードパターンに座標変換することができる。正規化したコードパターンを用いることで、マーカ識別情報を復号することができる。
【０１４１】
図２８は、室内シミュレーション動画の例である。
図２８には、室内シミュレーション動画のフレーム５０３ａが例示されている。
室内シミュレーション動画のフレーム５０３ａには、座標変換された額付き絵画画像がマーカ１６の位置に合成されている。
【０１４２】
図２９と図３０と図３８とを用いて、室内合成処理の手順を説明する。
【０１４３】
図２９は、室内合成処理の概要を説明する図である。
《２．室内シミュレーション》
携帯端末装置５００のカメラ部５０６は、マーカを含む室内を撮影したフレームから構成される動画像５０６ａを作成する（図２９（１））。
フレーム取得手段５１０は、カメラ部５０６が作成したマーカを含む動画像５０６ａから順次にフレームを取得する。
【０１４４】
携帯端末装置５００は、フレーム取得手段５１０が取得したフレームが第１フレームであれば、第１フレーム合成処理を行なって、合成した第１フレーム１０６ｂを作成する（同（２））。
携帯端末装置５００は、フレーム取得手段５１０が取得したフレームが第２フレーム以降のフレームであれば、第２フレーム以降の合成処理を行なって、合成した第２フレーム以降のフレーム１０６ｂを作成する（同（３））。
室内シミュレーション表示手段５８０は、合成したフレーム１０６ｂを用いて、これらから構成される室内シミュレーション動画を表示する（同（４））。
【０１４５】
図３０は、室内合成処理の第１フレーム合成処理を説明する図である。
【０１４６】
《２−２．額付き絵画画像の受信》
携帯端末装置５００のマーカ画像取出手段５２０は、フレーム取得手段５１０が取得したフレームからマーカ画像を取り出し、取り出したマーカ画像の正方形枠の４頂点座標情報（＝観測画面系の座標情報）を算出する。
マーカ正規化手段５３２は、マーカ画像取出手段５２０が算出したマーカ画像の正方形枠の四頂点座標情報と、マーカ格納部５０９ｂが記憶するマーカ情報の四頂点座標情報（＝マーカ座標系の座標情報）と、を用いて、正規化行列情報を作成して、マーカ画像取出手段５２０が取り出したマーカ画像にこの正規化行列情報を適用して、正規化する（図３０（１））。
復号手段５３４は、マーカ正規化手段５３２が正規化したマーカ画像からマーカＩＤを復号する（同（２））。
絵画画像受信手段５４０は、フレーム取得手段５１０が取得したフレームが第１フレームであれば、復号したマーカＩＤを含むデータベース検索クエリを構成して、データサーバ装置３００に送信して、返信された額付き絵画画像１９３を受信する（同（３））。
【０１４７】
《２−３．額付き絵画画像と室内映像との合成》
【０１４８】
《ａ．座標変換行列算出》
マーカ画像取出手段５２０は、フレーム取得手段５１０が取得した第１フレームからマーカ画像取り出し、マーカ画像の正方形枠の４頂点座標情報（＝観測画面系の座標情報）を算出する（同（４））。
【０１４９】
合成フレーム作成手段５７０は、マーカ画像取出手段５２０が算出したマーカ画像の正方形枠の４頂点座標情報と、透視変換行列格納部５０９ｃが記憶する透視変換行列情報３９５と、マーカ格納部５０９ｂが記憶するマーカ情報３９７の４頂点座標情報と、を用いて、座標変換行列３９７を作成する（同（５））。
【０１５０】
なお、座標変換行列算出の詳細は後述する。
【０１５１】
《ｂ．合成》
合成手段５６８は、額付き絵画画像格納部５０９ｃが記憶する額縁と絵画を合成した画像１９３ｂに対して、行列算出手段５６６が算出した座標変換行列を適用して、座標変換した額付き絵画画像を作成する。次に、合成手段５６８は、作成した座標変換した額付き絵画画像に射影変換行列情報３９５ｂを適用して射影変換した額付き絵画画像を作成する（同（６）。
合成手段５６８は、作成した射影変換した額付き絵画画像を、フレーム取得手段５１０が取得したフレームに合成する（同（７））。
【０１５２】
ここで、図３１から図３７までを用いて、座標変換行列算出を説明する。
【０１５３】
図３１は、座標変換行列を算出する手順の概要を説明する図である。
回転成分算出手段５６２は、透視変換行列格納部５０９ｃが記憶する透視変換行列３９５と、３次元マーカ作成手段５５０が作成した３次元マーカ画像と、を用いて、回転成分を算出する（図３１（１））。
平行移動成分算出手段５６４は、マーカ情報と回転成分とを用いて、平行移動成分を算出する（同（２））。
行列算出手段５６６は、回転成分算出手段５６２が算出した回転成分情報と、平行移動成分算出手段５６４が算出した平行移動成分情報と、を用いて、座標変換行列３９７を算出する（同（３））。
【０１５４】
図３２は、回転成分を算出する手順の詳細を説明する図である。
回転成分算出手段５６２は、マーカ画像取出手段５２０が算出した第１フレームのマーカ画像の正方形枠の４頂点座標情報（＝観測画面座標系の座標情報）に対して、透視変換行列格納部５０９ｃが記憶する透視変換行列３９５を適用して、マーカを底面としてカメラ部位置を頂点とする四角錘を作成する（図３２（１））。
次に、
回転成分算出手段５６２は、この四角錘の向かい合う２枚の側面の法線ベクトルの組（Ｕ1、Ｕ2）を算出して、その組の法線ベクトルの組の外積Ｖ1を算出する（同（２））。
【０１５５】
ここで、図３３と図３４とを用いて、外積Ｖ1を算出する手順を図解する。
【０１５６】
図３３は、四角錘の側面２２ｐを説明する図である。
図３３には、マーカ１６の正方形枠を底面としてカメラ２０を頂点とする四角錘２２が図示されている。
四角錘２２は、側面２２ｐを有する。
側面２２ｐは、マーカ１６の正方形枠の辺に沿った直線１６ａに接する。
【０１５７】
図３４は、四角錘の側面の法線ベクトルを説明する図である。
四角錘２２の向かい合う２枚の側面２２ｐと側面２２ｑとは、それぞれ法線ベクトル２２ａ「Ｕ1」と、法線ベクトル２２ｂ「Ｕ2」とを有する。法線ベクトル２２ａ「Ｕ1」と、法線ベクトル２２ｂ「Ｕ2」との外積２３は「Ｖ1」である。
【０１５８】
図３２の説明に戻る。
【０１５９】
同様にして、回転成分算出手段５６２は、四角錘の他の向かい合う２側面の法線ベクトルの組（Ｕ3、Ｕ4）を算出して、その組の法線ベクトルの組の外積Ｖ2を算出する（同（３））。
さらに、回転成分算出手段５６２は、この２つの算出した外積Ｖ1とＶ2から、外積Ｖ3を算出する（同（４））。
最後に、回転成分算出手段５６２は、３つの算出した外積Ｖ1とＶ2とＶ3の転置ベクトルを算出して、回転成分情報とする（同（５））。
【０１６０】
次に、図３５と図３６を用いて、計算式回転移動成分の計算手順を説明する。
【０１６１】
図３５は、法線ベクトルの計算手順を説明する図である。
回転成分算出手段５６２は、以下の手順で計算を行なう。すなわち、
回転成分算出手段５６２は、マーカ情報３９７が有するマーカ画像の正方形枠の４頂点座標情報（＝観測画面座標系の座標情報）を用いて、マーカ枠の辺を含む直線の方程式１６ａ「ａ1Ｘp +ｂ1Ｙp +ｃ1 = 0」を算出する（図３５（１））。
回転成分算出手段５６２は、算出した直線の方程式の各項に Ｚc を掛けて、「ａ1ＸpＺc+ｂ1ＹpＺc +ｃ1 Ｚc= 0」を算出する（同（２））。
回転成分算出手段５６２は、透視変換の関係式「式１」を変形して、３式「hＸp = Ｐ11 + Ｐ12Ｙc + Ｐ13Ｚc」「hＹp = Ｐ22Ｙc +Ｐ23 Ｚc」「h = Ｚc」を算出する（同（３））。
回転成分算出手段５６２は、算出した３式からｈを消去して２式「ＸｐＺｃ = Ｐ１１Ｘｃ + Ｐ１２Ｙｃ + Ｐ１３Ｚｃ」「ＹpＺc = Ｐ22Ｙc + Ｐ23Ｚc」を算出する（同（４））。
回転成分算出手段５６２は、Ｘｐ, Ｙｐを消去して、式「ａ1（Ｐ11Ｘc + Ｐ12Ｙc + Ｐ13Ｚc)+ｂ1（Ｐ22Ｙc +Ｐ23)+ｃ1Ｚc = 0」を算出する（同（５））。
回転成分算出手段５６２は、項の順序を整理して、四角錐の側面を含む平面の式「ａ1Ｐ11Ｘc + (ａ1Ｐ12+ｂ1Ｐ22)Ｙc + (ａ1Ｐ13+ｂ1Ｐ23+ｃ1)Ｚc = 0」を算出する（同（６））。
回転成分算出手段５６２は、平面の法線単位ベクトル２２ａ「Ｕ1」を算出する（同（７））。
なお、四角錐の側面の式は、マーカ画像の枠をカメラ座標系(Ｘc, Ｙc, Ｚc)を使って表したものであって、Ｚcはカメラ原点から観測画面までの距離を表す変数hと同等である。
【０１６２】
図３６は、転置行列の計算手順を説明する図である。
回転成分算出手段５６２は、以下の手順で計算を行なう。すなわち、
回転成分算出手段５６２は、マーカ１６の枠の向かい合う他の１辺の直線の方程式１６ｂ「ａ2Ｘp + ｂ2Ｙp + ｃ2 = 0」を算出する（図３６（１））。
同様にして、回転成分算出手段５６２は、計算することで、四角錐の向かい合う側面を含む平面の式「ａ2Ｐ11Ｘc + (ａ2Ｐ12+ｂ2Ｐ22)Yc + (ａ2Ｐ13+ｂ2Ｐ23+ｃ2)Ｚc = 0」を算出する（同（２））。
回転成分算出手段５６２は、この平面の法線単位ベクトル２２ｂ「Ｕ2」を算出する（同（３））。
回転成分算出手段５６２は、四角錐の他の向かい合う２辺から、同様にして、法線単位ベクトル２２ｃ「Ｕ3」と、法線単位ベクトル２２ｄ「Ｕ4」を算出する（同（４））。
回転成分算出手段５６２は、２本の法線ベクトル「Ｕ1」と「Ｕ2」の外積「Ｖ1」を算出する（同（５））。
同様に、回転成分算出手段５６２は、四角錘の他の向かい合う２枚の側面の法線ベクトル「Ｕ3」と「Ｕ4」の外積「Ｖ2」を算出する。
さらに、回転成分算出手段５６２は、この２つの外積「Ｖ1」と「Ｖ2」の外積「Ｖ3」（図示せず）を算出する（同（６））。
最後に、回転成分算出手段５６２は、３つの外積「Ｖ1」、「Ｖ2」、「Ｖ3」から、転置行列３９７ａ［ Ｖ1t Ｖ2t Ｖ3t ］作成して、回転成分を算出する（同（７））。
【０１６３】
図３７は、平行成分を算出する手順を説明する図である。
平行移動成分算出手段５６４は、マーカ座標系のマーカの４頂点座標値（＝マーカの寸法情報）を、算出した回転移動成分を用いて座標変換して、カメラ座標系の４頂点座標値を算出する（図３７（１））。
なお、カメラ座標系の４頂点は、回転移動のみを考慮するので、寸法は変化しない。
平行移動成分算出手段５６４は、観測画面座標系のマーカ画像の４頂点の座標値を測定して、透視変換行列３９５を用いて透視変換してカメラ座標系の３次元マーカ画像を求めて、この３次元マーカ画像の４頂点座標値を算出する（同（２））。
平行移動成分算出手段５６４は、回転移動した４頂点座標値と、透視変換した４頂点座標値とを用いて、両者を対比させてそのから、平行移動成分を算出する（同（３））。
【０１６４】
図３８は、室内合成処理の第２フレーム以降の合成処理を説明する図である。
【０１６５】
《第２フレーム以降の合成処理》
《マーカＩＤの判定》
マーカ画像取出手段５２０は、フレーム取得手段５１０が取得したフレームからマーカ画像を取り出す。
マーカ正規化手段５３２は、マーカ画像取出手段５２０が取り出したマーカ画像の四頂点座標情報と、基準マーカ情報の四頂点座標情報と、を用いて、正規化行列情報を作成して、取り出したマーカ画像にこの正規化行列情報を適用して、正規化する（図３８（１））。
復号手段５３４は、正規化したマーカ画像からマーカＩＤを復号する（同（２））。
復号されたマーカＩＤが第１フレームのマーカＩＤと同一であるか否かを確認する。同一であれば、第１フレーム合成処理で受信した額付き絵画画像を用いる（同（３））。
なお、復号されたマーカＩＤが第１フレームのマーカＩＤと同一でなければ、当該フレームを第１フレームとして、室内合成処理の第１フレーム合成処理（図３０）を実行して終了すればよい。
【０１６６】
《２−３．額付き絵画画像と室内映像との合成》
《ａ．座標変換行列算出》
第１フレーム合成処理における座標変換行列算出と同じ処理手順で、座標変換行列３９７を作成する（同（４）））から（同（６）））。
《ａ．合成》
第１フレーム合成処理における合成処理と同じ処理手順で、座標変換・射影変換した額縁と絵画を合成した画像を、フレーム取得手段５１０が取得したフレームに合成する（同（７）））。
【０１６７】
図３９は、室内合成処理のフローチャートである。
（１）携帯端末装置５００は、カメラ部５０６が撮影対象を撮影中か否かを判定する。
撮影中であれば、ステップＳ５２０に進む。撮影中で無ければ（撮影終了であれば）、終了する。（ステップＳ５１０）
（２）フレーム取得フレーム取得手段５２０は、カメラ部５０６が作成したマーカを含む動画像から順次にフレームを取得する。（ステップＳ５２０）
（３）携帯端末装置５００は、取得したフレームが第一フレームであるか否かを判定する。第一フレームであれば、ステップＳ５４０に進む。第二フレーム以降であれば、ステップＳ５５０に進む。（ステップＳ５３０）
（４）第一フレーム合成処理（図３０にて説明した合成処理）を行なう。ステップＳ５６０に進む。（ステップＳ５４０）
（５−１）携帯端末装置５００は、当該フレームのマーカＩＤが第一フレームのマーカＩＤと等しいか否かを判定する。等しければ、ステップＳ５５４に進む。等しくなければ、ステップＳ５５６に進む。（ステップＳ５５０）
（５−２）第二フレーム以降合成処理（図３８にて説明した合成処理）を行なう。ステップＳ５６０に進む。（ステップＳ５５４）
（５−３）当該フレームを第一フレームに設定する。ステップＳ５４０に戻る。（ステップＳ５５６）
（６）携帯端末装置５００は、カメラ部５０６が撮影対象を撮影中か否かを判定する。
撮影中であれば、ステップＳ５７０に進む。
撮影中で無ければ（撮影終了であれば）、終了する。（ステップＳ５６０）
（７）フレーム取得手段５２０は、カメラ部５０６が作成したマーカを含む動画像から順次にフレームを取得する。ステップＳ５５０に戻る。（ステップＳ５７０）
【図面の簡単な説明】
【０１６８】
【図１】本発明による室内調度品購入支援システム１の概要を説明する図
【図２】室内調度品購入支援システム１の大まかな処理の流れを説明する図
【図３】額縁データ３９２を説明する図
【図４】額付き絵画画像１９３を説明する図
【図５】マーカ１６の例
【図６】絵画に合う額縁を選択する額縁シミュレーション処理の流れを説明する図
【図７】携帯端末装置５００を用いた室内シミュレーション処理の流れを説明する図
【図８】額縁選択装置１００の詳細な構成図
【図９】絵画検出辞書が有する特徴点の座標値の説明図
【図１０】絵画検出辞書の登録手順を説明する図
【図１１】絵画１１と基準マーカ１６の例（正対）
【図１２】絵画１１と基準マーカ１６の例（斜視）
【図１３】変形した基準マーカ画像１６ｐを正規化する説明図
【図１４】額縁シミュレーション画面の表示例
【図１５】額縁シミュレーション手順の概要を説明する図
【図１６】額縁シミュレーションの第１フレーム合成手順を説明する図
【図１７】額縁シミュレーションの第２フレーム以降の合成手順を説明する図
【図１８】額縁シミュレーション処理のフローチャート
【図１９】データサーバ装置３００の詳細な構成図
【図２０】携帯端末装置５００の詳細な構成図
【図２１】透視変換行列
【図２２】座標変換式
【図２３】座標系を説明する図
【図２４】マーカとカメラと観測画面との位置関係を説明する図
【図２５】マーカ座標系におけるマーカの説明図
【図２６】室内に貼られたマーカの例
【図２７】室内に貼られたマーカの正規化
【図２８】室内シミュレーション画面の表示例
【図２９】室内シミュレーション手順の概要を説明する図
【図３０】室内シミュレーションの第１フレーム合成手順を説明する図
【図３１】座標変換行列を算出する手順の概要を説明する図
【図３２】回転成分を算出する手順を説明する図
【図３３】四角錘の形状の説明図
【図３４】四角錘のベクトルの説明図
【図３５】数式導出の手順を説明する図
【図３６】回転成分をあらわす転置行列
【図３７】平行成分を算出する手順を説明する図
【図３８】室内シミュレーションの第２フレーム以降の合成手順を説明する図
【図３９】室内シミュレーション処理のフローチャート
【符号の説明】
【０１６９】
１ 室内調度品購入支援システム
１１ 絵画画像
１６ マーカ画像
１００ 額縁選択装置
１０６ カメラ
１０９ａ 絵画検出辞書格納部
１０９ｂ 絵画追跡辞書格納部
１０９ｃ 基準マーカ格納部
１０９ｄ 額縁格納部
１０９ｅ 透視変換行列格納部
１１０ 絵画検出辞書登録手段
１１５ 絵画追跡辞書登録手段
１１６ 追跡辞書登録手段
１１７ 絵画追跡辞書更新手段
１１８ 追跡辞書更新手段
１２０ 額縁取得手段
１２５ 額付き絵画画像送信手段
１２７ マーカ印刷手段
１３０ フレーム取得手段
１４５ 登録特徴点抽出手段
１４７ 更新特徴点抽出手段
１５５ 第１フレーム特徴点抽出手段
１５７ 絵画予測特徴点抽出手段
１６５ 絵画検出手段
１６７ 絵画予測検出手段
１７０ 額縁合成フレーム作成手段
１７４ フレーム特徴点取得手段
１７５ 辞書特徴点取得手段
１７６ 座標変換算出手段
１７８ 合成手段
１８０ 額縁シミュレーション表示手段
１９１ 透視変換行列
１９１ｂ 射影変換行列
１９３ 額付き絵画画像
１９６ 基準マーカ情報
３００ データサーバ装置
３１０ 額縁返信手段
３２０ 額付き絵画画像登録手段
３４０ 額付き絵画画像返信手段
３９１ 額縁データベース
３９２ 額縁データ
３９２ｃ 額縁画像
３９３ 額付き絵画画像データベース
３９５ 透視変換行列
３９５ｂ 射影変換行列
３９６ マーカ情報
３９７ 座標変換行列
５００ 携帯端末装置
５０９ 記憶部
５０９ａ 額付き絵画画像格納領域
５０９ｂ マーカ格納部
５０９ｃ 透視変換行列格納部
５０９ｄ 座標変換行列格納部
５１０ フレーム取得手段
５２０ マーカ画像取出手段
５３０ ＩＤ復号手段
５３２ マーカ正規化手段
５３４ 復号手段
５４０ 額付き絵画画像受信手段
５５０ ３次元マーカ作成手段
５６２ 回転成分算出手段
５６４ 平行移動成分算出手段
５６６ 行列算出手段
５６８ 合成手段
５７０ 合成フレーム作成手段
５８０ 室内シミュレーション表示手段
９００ ネットワーク
【特許請求の範囲】
【請求項１】
絵画の特徴点情報と、その特徴点の座標情報と、を含む絵画検出辞書を記憶する絵画検出辞書格納部と、
絵画の位置情報と、絵画の特徴点情報と、特徴点の位置情報とを含む絵画追跡辞書を記憶する絵画追跡辞書格納部と、
四頂点座標情報を含む基準マーカ情報を記憶する基準マーカ格納部と、
額縁画像を含む額縁データを記憶する額縁格納部と、
透視変換行列情報と射影変換行列情報とを記憶する透視変換行列格納部と、
を含む記憶部と、
フレームから構成される動画像を作成するカメラ部と、
カメラ部が作成した絵画と基準マーカを含む動画像から順次にフレームを取得するフレーム取得手段と、
フレーム取得手段が取得したフレームが第１フレームであれば、第１フレームの基準マーカ画像の四頂点座標情報と、基準マーカ格納部の四頂点座標情報と、を用いて、第１フレームを正規化して、特徴点情報を抽出する第１フレーム特徴点抽出手段と、
第１フレーム特徴点抽出手段が抽出した特徴点情報を用いて、絵画検出辞書格納部の絵画検出辞書と照合して、第１フレームの絵画を検出する絵画検出手段と、
絵画検出手段が検出した絵画から、絵画の位置情報と特徴点情報と特徴点の位置情報とを算出し、これらを含む絵画追跡辞書を作成して絵画追跡辞書格納部に登録する追跡辞書登録手段と、
フレーム取得手段が取得したフレームが第２フレーム以降のフレームであれば、画追跡辞書格納部が記憶する絵画位置情報を用いて、このフレームにおける絵画位置を予測して、予測した絵画位置にあるフレームの特徴点情報を抽出する絵画予測特徴点抽出手段と、
絵画予測特徴点抽出手段が抽出した特徴点を用いて、画追跡辞書格納部が記憶する絵画追跡辞書の特徴点と照合して、フレーム取得手段が取得したフレームの絵画を検出する絵画予測検出手段と、
絵画予測検出手段が検出した絵画から、絵画の位置情報と特徴点情報と特徴点位置情報と、を算出して、これらを含む絵画追跡辞書を作成して絵画追跡辞書格納部の絵画追跡辞書を更新する追跡辞書更新手段と、
絵画追跡辞書の特徴点位置情報と、絵画検出辞書の特徴点の座標情報と、透視変換行列格納部の透視変換行列情報と、を用いて、座標変換行列を算出して、これを額縁格納部の額縁画像に適用して、座標変換した額縁画像を作成して、この座標変換した額縁画像に透視変換行列格納部の射影変換行列情報を適用して、射影変換した額縁画像を作成して、フレーム取得手段が取得したフレームに合成する額縁合成フレーム作成手段と、
額縁合成フレーム手段が合成したフレームから構成される額縁シミュレーション動画像を作成して表示する額縁シミュレーション表示手段と、
を備えることを特徴とする額縁選択装置。
【請求項２】
前記額縁合成フレーム作成手段は、
絵画追跡辞書に含まれる特徴点位置情報の中から、４箇所の特徴点の位置情報を取得するフレーム特徴点取得手段と、
絵画検出辞書格納部が記憶する絵画検出辞書を参照して、フレーム特徴点取得手段が取得した４箇所の特徴点に対応する４個の特徴点の座標情報を取得する辞書特徴点座標取得手段と、
フレーム特徴点取得手段が取得した４箇所の特徴点の位置情報に対して、透視変換行列格納部の透視変換行列情報を適用して、座標変換行列の回転成分を算出し、次に、算出した座標変換行列の回転成分と、フレーム特徴点取得手段が取得した４箇所の特徴点の位置情報と、辞書特徴点座標取得手段が取得した４個の特徴点の座標情報とを用いて、座標変換行列の平行移動成分を算出し、最後に、算出した回転成分と平行移動成分とを用いて、座標変換行列を算出する座標変換算出手段と、
座標変換算出手段が算出した座標変換行列を、額縁格納部の額縁データが有する額縁画像に適用して、座標変換した額縁画像を作成し、座標変換した額縁画像に射影変換行列情報を適用して、射影変換した額縁画像を作成して、フレーム取得手段が取得したフレームの絵画に合成する合成手段と、
から構成されることを特徴とする請求項１に記載の額縁選択装置。
【請求項３】
前記第１フレーム特徴点抽出手段が、
フレーム取得手段が取得したフレームが第１フレームであれば、第１フレームの基準マーカ画像の四頂点座標情報と、基準マーカ格納部の四頂点座標情報と、を用いて、第１フレームの基準マーカ画像の形状が、基準マーカ格納部の四頂点座標情報により形成する基準マーカ形状と、相似形になるように、第１フレームを変形して、正規化した第１フレームを作成して、作成した正規化した第１フレームから特徴点情報を抽出する、
ことを特徴とする請求項１に記載の額縁選択装置。
【請求項４】
絵画領域とその寸法とを含む絵画指定情報の入力を受け付けて、フレーム取得手段が取得したフレームから絵画の特徴点情報を抽出して、入力された絵画指定情報を用いて、抽出された特徴点の絵画上の座標情報を算出して、抽出された特徴点と算出された特徴点座標情報を含む絵画検出辞書を作成して、絵画検出辞書格納部に登録する絵画検出辞書登録手段、
を備えることを特徴とする請求項１に記載の額縁選択装置。
【請求項５】
登録指示の入力を受け付けて、額縁画像と絵画画像を合成した画像を作成して、これにマーカ識別情報を関連付けた額付き絵画画像を作成して、データサーバ装置に送信する額付き絵画画像送信手段と、
マーカ識別情報を符号化した画像を含むマーカを印刷するマーカ印刷手段と、
を備えることを特徴とする請求項１に記載の額縁選択装置。
【請求項６】
寸法情報を含む額縁選択情報の入力を受け付けて、入力された額縁選択情報を含むデータベース検索クエリを構成して、データサーバ装置に送信して、返信された額縁画像を含む額縁データを受信して、これを額縁格納部に記憶する額縁取得手段、
を備えることを特徴とする請求項１に記載の額縁選択装置。
【請求項７】
寸法情報を含む額縁選択情報と額縁画像とを対応付けた額縁情報を記憶する額縁データベースと、
マーカ識別情報と額縁と絵画を合成した画像とを対応付けた額付き絵画画像を保持する額付き絵画画像データベースと、
を記憶する記憶部と、
額縁選択装置が送信する額縁選択情報を含むデータベース検索クエリを受信して、記憶部のデータベースを検索して、抽出した額縁画像を含む額縁データを返信する額縁返信手段と、
額縁選択装置が送信する額付き絵画画像を額付き絵画画像データベースに登録する額付き絵画画像登録手段と、
携帯端末装置が送信するマーカ識別情報を含むデータベース検索クエリを受信して、額付き絵画画像データベースを検索して、該当する額付き絵画画像を取得して、これを携帯端末装置に返信する額付き絵画画像返信手段と、
を備えることを特徴とするデータサーバ装置。
【請求項８】
額縁選択装置とデータサーバ装置がネットワーク接続されて構成される室内調度品購入支援システムにおいて、
前記額縁選択装置は、
絵画の特徴点情報と、その特徴点の座標情報と、を含む絵画検出辞書を記憶する絵画検出辞書格納部と、
絵画の位置情報と、絵画の特徴点情報と、この特徴点の座標情報とを含む絵画追跡辞書を記憶する絵画追跡辞書格納部と、
四頂点座標情報を含む基準マーカ情報を記憶する基準マーカ格納部と、
額縁画像を含む額縁データを記憶する額縁格納部と、
透視変換行列情報と射影変換行列情報とを記憶する透視変換行列格納部と、
を含む記憶部と、
フレームから構成される動画像を作成するカメラ部と、
寸法情報を含む額縁選択情報の入力を受け付けて、入力された額縁選択情報を含むデータベース検索クエリを構成して、データサーバ装置に送信して、返信された額縁データを受信して、額縁データを額縁格納部に記憶する額縁取得手段と、
カメラ部が作成した絵画と基準マーカを含む動画像から順次にフレームを取得するフレーム取得手段と、
フレーム取得手段が取得したフレームが第１フレームであれば、第１フレームの基準マーカ画像の四頂点座標情報と、基準マーカ格納部の四頂点座標情報と、を用いて、第１フレームを正規化して、正規化した第１フレームから特徴点情報を抽出する第１フレーム特徴点抽出手段と、
第１フレーム特徴点抽出手段が抽出した特徴点情報を用いて、絵画検出辞書格納部の絵画検出辞書と照合して、第１フレームの絵画を検出する絵画検出手段と、
絵画検出手段が検出した絵画の位置情報と特徴点情報と、この特徴点の位置情報と、を算出して、これらを含む絵画追跡辞書を作成して絵画追跡辞書格納部に登録する追跡辞書登録手段と、
フレーム取得手段が取得したフレームが第２フレーム以降のフレームであれば、画追跡辞書格納部が記憶する絵画位置情報を用いて、このフレームの絵画位置を予測して、予測した絵画位置にあるフレーム上の特徴点情報を抽出する絵画予測特徴点抽出手段と、
絵画予測特徴点抽出手段が抽出した特徴点を用いて、画追跡辞書格納部が記憶する絵画追跡辞書の特徴点と照合して、フレーム取得手段が取得したフレームの絵画を検出する絵画予測検出手段と、
絵画予測検出手段が検出した絵画の位置情報と特徴点情報と、この特徴点の位置情報を算出して、これらを含む絵画追跡辞書を作成して絵画追跡辞書格納部の絵画追跡辞書を更新する追跡辞書更新手段と、
絵画追跡辞書の特徴点の位置座標情報と、絵画検出辞書の特徴点の座標情報と、透視変換行列格納部の透視変換行列情報と、を用いて、座標変換行列を算出して、これを額縁格納部の額縁画像に適用して、座標変換した額縁画像を作成して、この座標変換した額縁画像に射影変換行列情報を適用して、射影変換した額縁画像を作成して、フレーム取得手段が取得したフレームに合成する額縁合成フレーム作成手段と、
額縁合成フレーム手段が合成したフレームから構成される額縁シミュレーション動画像を作成して表示する額縁シミュレーション表示手段と、
を備える選択装置であって、
前記データサーバ装置は、
寸法情報を含む額縁選択情報と額縁画像とを対応付けた額縁情報を記憶する額縁データベースとを記憶する記憶部と、
額縁選択装置が送信する額縁選択情報を含むデータベース検索クエリを受信して、記憶部のデータベースを検索して、抽出した額縁画像を返信する額縁返信手段、
を備えるサーバ装置である、
ことを特徴とする室内調度品購入支援システム。
【請求項９】
前記額縁選択装置において、
前記額縁合成フレーム作成手段は、
絵画追跡辞書に含まれる特徴点位置情報の中から、４箇所の特徴点の位置情報を取得するフレーム特徴点取得手段と、
絵画検出辞書格納部が記憶する絵画検出辞書を参照して、フレーム特徴点取得手段が取得した４箇所の特徴点に対応する４個の特徴点の座標情報を取得する辞書特徴点座標取得手段と、
フレーム特徴点取得手段が取得した４箇所の特徴点位置情報に対して、透視変換行列格納部の透視変換行列情報を適用して、額縁用座標変換行列の回転成分を算出し、次に、算出した額縁用座標変換行列の回転成分と、フレーム特徴点取得手段が取得した４箇の特徴点位置情報と、辞書特徴点座標取得手段が取得した４個の特徴点の座標情報とを用いて、額縁用座標変換行列の平行移動成分を算出し、最後に、算出した回転成分と平行移動成分とを用いて、額縁用座標変換行列を算出する座標変換算出手段と、
座標変換算出手段が算出した額縁用座標変換行列を、額縁格納部の額縁データが有する額縁画像に適用して、座標変換した額縁画像を作成し、座標変換した額縁画像に射影変換行列情報を適用して、射影変換した額縁画像を作成して、フレーム取得手段が取得したフレームの絵画に合成する合成手段と、
とから構成される手段である、
ことを特徴とする請求項８に記載の室内調度品購入支援システム。
【請求項１０】
前記額縁選択装置において、
前記第１フレーム特徴点抽出手段が、
フレーム取得手段が取得したフレームが第１フレームであれば、第１フレームの基準マーカ画像の四頂点座標情報と、基準マーカ格納部の四頂点座標情報と、を用いて、第１フレームの基準マーカ画像の形状と、基準マーカ格納部の四頂点座標情報により形成される基準マーカ形状と、を比較して両者が相似形になるように第１フレームを変形して、正規化した第１フレームを作成して、作成した正規化した第１フレームから特徴点情報を抽出する、
ことを特徴とする請求項８に記載の室内調度品購入支援システム。
【請求項１１】
前記額縁選択装置は、さらに、
絵画領域とその寸法とを含む絵画指定情報の入力を受け付けて、カメラで撮影した絵画のフレームから絵画の特徴点情報を抽出して、入力された絵画指定情報を用いて、抽出された特徴点の絵画上の座標情報を算出して、抽出した特徴点情報と、算出した特徴点の座標情報と、を含む絵画検出辞書を作成して、絵画検出辞書格納部に登録する絵画検出辞書登録手段、
を備えることを特徴とする請求項８に記載の室内調度品購入支援システム。
【請求項１２】
前記室内調度品購入支援システムは、さらにカメラを備える携帯端末装置とがネットワーク接続されて、
前記額縁選択装置は、
登録指示の入力を受け付けて、額縁画像と絵画画像を合成した画像を作成して、これにマーカ識別情報を関連付けた額付き絵画画像を作成して、データサーバ装置に送信する額付き絵画画像送信手段と、
マーカ識別情報を符号化した画像を含むマーカを印刷するマーカ印刷手段と、
を備える選択装置であって、
前記データサーバ装置は、
前記記憶部は、さらに、マーカ識別情報と額縁と絵画を合成した画像とを対応付けた額付き絵画画像を保持する額付き絵画画像データベースを記憶して、
額縁選択装置が送信する額付き絵画画像を額付き絵画画像データベースに登録する額付き絵画画像登録手段と、
携帯端末装置が送信するマーカ識別情報を含むデータベース検索クエリを受信して、額付き絵画画像データベースを検索して、該当する額付き絵画画像を取得して、これを携帯端末装置に返信する額付き絵画画像返信手段と、
を備えるサーバ装置であって、
前記携帯端末装置は、
額縁画像と絵画画像を合成した画像にマーカ識別情報を関連付けた額付き絵画画像を記憶する額付き絵画画像格納部と、
四頂点座標情報を含むマーカ情報を記憶するマーカ格納部と、
透視変換行列と射影変換行列とを記憶する透視変換行列格納部と、
座標変換行列を記憶する座標変換行列格納部と、
を有する記憶部と、
マーカを含む室内を撮影したフレームから構成される動画像を作成するカメラ部と
カメラ部が作成した動画像から順次にフレームを取得するフレーム取得手段と、
フレーム取得手段が取得したフレームからマーカ画像を取り出すマーカ画像取出手段と、
マーカ画像取出手段が取り出したマーカ画像の四頂点座標情報と、マーカ格納部が記憶する四頂点座標情報と、を用いて、マーカ画像を正規化して、正規化したマーカ画像からマーカ識別情報を復号するＩＤ復号手段と、
フレーム取得手段が取得したフレームが第１フレームであれば、復号したマーカ識別情報を含むデータベース検索クエリを構成して、データサーバ装置に送信して、返信された額付き絵画画像を受信して、額付き絵画画像格納部に格納する額付き絵画画像受信手段と、
マーカ格納部が記憶する四頂点座標情報と、マーカ画像取出手段が取り出したマーカ画像が有する四頂点の座標情報と、透視変換行列格納部の透視変換行列情報と、を用いて、座標変換行列を算出して、これを額付き絵画画像格納部に格納された額付き絵画画像に適用して、座標変換した額付き絵画画像に射影変換行列を適用して射影変換した額付き絵画画像を作成して、この射影変換した額付き絵画画像を、フレーム取得手段が取得したフレームに合成する合成フレーム作成手段と、
合成フレーム手段が合成したフレームから構成される室内シミュレーション動画像を作成して表示する室内シミュレーション表示手段と、
を備える端末装置である、
ことを特徴とする請求項８に記載の室内調度品購入支援システム。
【請求項１３】
前記携帯端末装置において、
前記ＩＤ復号手段は、
マーカ画像取出手段が取り出したマーカ画像の四頂点座標情報と、マーカ格納部の四頂点座標情報と、を用いて、第１フレームの基準マーカ画像の形状と、マーカ格納部の四頂点座標情報により形成される基準マーカ形状と、を比較して両者が相似形になるようにマーカ画像を変形して、正規化したマーカ画像を作成するマーカ正規化手段と、
マーカ正規化手段が正規化したマーカ画像からマーカ識別情報を復号する復号手段と、
から構成される手段である、
ことを特徴とする請求項１２に記載の室内調度品購入支援システム。
【請求項１４】
前記携帯端末装置において、
前記合成フレーム作成手段は、
マーカ画像取出手段が取り出したマーカ画像に対して、透視変換行列格納部が記憶する透視変換行列を適用して、透視変換したマーカ画像を作成する３次元マーカ作成手段と、
マーカ画像取出手段が取り出したマーカ画像の４頂点座標情報を算出して、算出した４頂点座標情報に対して、透視変換行列格納部が記憶する透視変換行列情報を適用して、座標変換行列の回転成分を算出する回転成分算出手段と、
回転成分算出手段が算出した座標変換行列の回転成分と、マーカ画像取出手段が算出したマーカ画像の４頂点座標情報と、マーカ格納部が記憶するマーカの４頂点座標情報と、を用いて、座標変換行列の平行移動成分を算出する平行移動成分手段と、
回転成分算出手段が算出した回転成分と平行移動成分手段が算出した平行移動成分とを用いて、座標変換行列を作成する行列算出手段と、
額付き絵画画像格納部が記憶する額縁と絵画を合成した画像に対して、行列算出手段が算出した座標変換行列を適用して、座標変換した額付き絵画画像を作成して、この座標変換した額付き絵画画像に射影変換行列を適用して射影変換した額付き絵画画像を作成して、この射影変換した額付き絵画画像を、フレーム取得手段が取得したフレームに合成する合成手段と、
から構成される手段である、
ことを特徴とする請求項１２に記載の室内調度品購入支援システム。
【請求項１５】
前記携帯端末装置において、
前記回転成分算出手段は、
マーカ画像取出手段が算出したマーカ画像の正方形枠の四頂点座標情報に対して、透視変換行列格納部が記憶する透視変換行列を適用して、マーカの正方形枠を底面としてカメラ部位置を頂点とする四角錘を作成して、この四角錘の向かい合う２枚の側面の法線ベクトルの組（Ｕ1、Ｕ2）と（Ｕ3、Ｕ4）とを算出して、それぞれの組の法線ベクトルの外積Ｖ1と外積Ｖ2とを算出して、さらに、この２つの外積Ｖ1とＶ2とから外積Ｖ3を算出して、最後に、３つの外積Ｖ1とＶ2とＶ3とから転置ベクトル［ Ｖ1t Ｖ2t Ｖ3t ］を算出して、これを回転成分情報とする、
ことを特徴とする請求項１４に記載の室内調度品購入支援システム。
【請求項１６】
四頂点座標情報を含む基準マーカ検出情報と、
額縁選択情報と、寸法情報と額縁画像を含む額縁情報と、対応付けて記憶する額縁データベースと、
絵画の特徴点と特徴点座標情報を含む絵画検出辞書と、
座標変換行列と射影変換行列と、
額縁画像と、
を用いる室内調度品購入支援方法であって、
（１）額縁選択装置が、絵画と基準マーカを撮影したフレームから構成される動画像を作成するカメラから動画像を受け取り、動画像から順次にフレームを取得するフレーム取得ステップと、
（２）額縁選択装置が取得したフレームが第１フレームであれば以下の処理を行なうステップと、
（３−１）第１フレームから基準マーカ画像を取り出して、基準マーカ画像の四頂点座標情報と、基準マーカ情報の四頂点座標情報と、を用いて、第１フレームを正規化して、正規化した第１フレームから特徴点情報を抽出する第１フレーム特徴点抽出する第１フレーム特徴点抽出ステップと、
（３−２）抽出した特徴点情報を用いて、登録した絵画検出辞書と照合して、第１フレームの絵画を検出する絵画検出ステップと、
（３−３）検出した絵画の位置情報と特徴点情報と、特徴点の位置情報と、を算出し、これらを含む絵画追跡辞書を作成する絵画追跡辞書作成ステップと、
（４）額縁選択装置が取得したフレームが第２フレーム以降のフレームであれば以下の処理を行なうステップと、
（５−１）絵画追跡辞書の絵画位置情報を用いて、このフレームにおける絵画位置を予測して、予測した絵画位置にあるフレームの特徴点情報を抽出する絵画予測特徴点抽出ステップと、
（５−２）抽出した特徴点を用いて、絵画追跡辞書の特徴点と照合して、取得したフレームの絵画を検出する絵画予測検出ステップと、
（５−３）検出した絵画から、絵画の位置情報と特徴点情報と、この特徴点の位置情報と、を算出し、これらを含む絵画追跡辞書を作成して、既存の絵画追跡辞書を更新する絵画追跡辞書更新ステップと、
（６）額縁選択装置が、絵画追跡辞書の特徴点位置情報と、絵画検出辞書の特徴点座標情報と、透視変換行列格納部の透視変換行列情報と、を用いて、座標変換行列を算出して、この算出した座標変換行列を、額縁格納部の額縁画像に適用して、座標変換した額縁画像を作成して、座標変換した額縁画像に射影変換行列を適用して、射影変換した額縁画像を作成して、これを、取得したフレームに合成する額縁合成フレーム作成ステップと、
（７）額縁選択装置が、合成したフレームから構成される額縁シミュレーション動画像を作成して表示する額縁シミュレーション表示ステップと、
を含んだ手順でなされることを特徴とする室内調度品購入支援方法。
【請求項１７】
前記額縁合成フレーム作成ステップが、
（１）額縁選択装置が、算出した特徴点位置情報の中から、４箇所の特徴点の位置情報を取得するフレーム特徴点取得ステップと、
（２）絵画検出辞書を参照して、フレーム特徴点取得ステップにて取得した４箇所の特徴点に対応する４個の特徴点の座標情報を取得する辞書特徴点座標取得ステップと、
（３）取得した４箇所の特徴点位置情報に対して、透視変換行列格納部の透視変換行列情報を適用して、座標変換行列の回転成分を算出する回転成分算出ステップと、
（４）算出した座標変換行列の回転成分と、フレーム特徴点取得ステップにて取得した４箇所の特徴点位置情報と、辞書特徴点座標取得ステップにて取得した４個の特徴点の座標情報とを用いて、座標変換行列の平行移動成分を算出する平行成分算出ステップと、
（５）算出した回転成分と平行移動成分とを用いて、額縁用座標変換行列を算出する座標変換行列算出ステップと、
（６）算出した額縁用座標変換行列を、額縁データが有する額縁画像に適用して、座標変換した額縁画像を作成し、座標変換した額縁画像に射影変換行列を適用して、射影変換した額縁画像を作成して、これを、取得したフレームの絵画に合成する合成ステップと、
から構成されるステップ、
を含んだ手順でなされることを特徴とする請求項１６に記載の室内調度品購入支援方法。
【請求項１８】
前記第１フレーム特徴点抽出ステップが、
第１フレームから取り出した基準マーカ画像の四頂点座標情報と、基準マーカ格納部の基準マーカ情報と、を用いて、第１フレームの基準マーカ画像の形状が、基準マーカ格納部の基準マーカ情報の四頂点座標情報が形成する形状とは、相似形になるように、第１フレームを変形して、正規化した第１フレームを作成して、作成した正規化した第１フレームから特徴点情報を抽出する、
ことを特徴とする請求項１６に記載の室内調度品購入支援方法。
【請求項１９】
前記室内調度品購入支援方法は、さらに、
（１）額縁選択装置が、絵画領域とその寸法とを含む絵画指定情報の入力を受け付けて、カメラで撮影したフレームから絵画の特徴点情報を抽出して、入力された絵画指定情報を用いて、抽出された特徴点の絵画上の座標情報を算出して、抽出された特徴点と算出された特徴点座標情報を含む絵画検出辞書を作成して、登録する絵画検出辞書登録ステップと、
を含んだ手順でなされることを特徴とする請求項１６に記載の室内調度品購入支援方法。
【請求項２０】
前記室内調度品購入支援方法は、さらに、
（１）額縁選択装置が、寸法情報を含む額縁選択情報の入力を受け付けて、入力された額縁選択情報を含むデータベース検索クエリを構成して、額縁データベースを検索して、額縁データを取得する額縁取得ステップと、
を含んだ手順でなされることを特徴とする請求項１６に記載の室内調度品購入支援方法。
【請求項２１】
前記室内調度品購入支援方法は、さらに、四頂点座標情報を含むマーカ情報を用いる購入支援方法であって、
（１）額縁選択装置が、登録指示の入力を受け付けて、額縁画像と絵画画像を合成した画像を作成して、これにマーカ識別情報を関連付けた額付き絵画画像を作成して、データサーバ装置に送信する額付き絵画画像送信ステップと、
（２）データサーバ装置は、額縁選択装置が送信する額付き絵画画像を額付き絵画画像データベースに登録する額付き絵画画像登録テップと、
（３）調度品選択装置がマーカ識別情報を符号化した画像を含むマーカを印刷するマーカ印刷ステップと、
（４）携帯端末装置が、印刷されたマーカを含む室内を撮影したフレームから構成される動画像を作成するカメラ部が作成した動画像から順次にフレームを取得して、以下の処理をするフレーム取得ステップと、
（５）携帯端末装置が、取得したフレームから取り出したマーカ画像の四頂点座標情報と、基準マーカ情報の四頂点座標情報と、を用いて、マーカ画像を正規化して、正規化したマーカ画像からマーカ識別情報を復号するＩＤ復号ステップと、
サブ
（５）携帯端末装置が、取得したフレームから取り出したマーカ画像の形状が、基準マーカ情報の四頂点座標情報により形成する基準マーカ形状と相似形になるように、マーカ画像を変形して、正規化するマーカ正規化作成ステップと、
（６）携帯端末装置が、正規化したマーカ画像からマーカ識別情報を復号する復号ステップと、
（７）携帯端末装置が取得したフレームが第１フレームであれば、以下の処理をするフレーム取得ステップと、
（７−１）復号したマーカ識別情報を含むデータベース検索クエリを構成して、額付き絵画画像データベースを検索して、額付き絵画画像を取得する額付き絵画画像検索ステップと、
（８）携帯端末装置が取得したフレームが第２フレーム以降であれば、以下の処理をするフレーム取得ステップと、
（８−１）マーカ識別情報が第１フレームのマーカ識別情報と等しいか否かを判定するステップと、
（８−２）マーカ識別情報が第１フレームのマーカ識別情報と等しくない場合には、当該フレームを第１フレームとして（７）に進む。
（８−３）マーカ識別情報が第１フレームのマーカ識別情報と等しい場合には、次のステップに進む。
（９）携帯端末装置がマーカ情報の四頂点座標情報と、フレームから取り出したマーカ画像が有する四頂点の座標情報と、透視変換行列情報と、を用いて、座標変換行列を算出して、これを取得された額付き絵画画像に適用して、座標変換した額付き絵画画像を作成して、この座標変換した額付き絵画画像に射影変換行列を適用して射影変換した額付き絵画画像を作成して、この射影変換した額付き絵画画像を、取得したフレームに合成する合成フレーム作成ステップと、
（１０）携帯端末装置が、合成したフレームから構成される室内シミュレーション動画像を作成して表示する室内シミュレーション表示ステップと、
を含んだ手順でなされることを特徴とする請求項１６に記載の室内調度品購入支援方法。
【請求項２２】
前記ＩＤ復号ステップは、
（１）携帯端末装置が、取り出したマーカ画像を、マーカ情報の形状と相似形になるように変形して正規化するマーカ正規化ステップと、
（２）正規化したマーカ画像からマーカ識別情報を復号する復号ステップと、
を含んだ手順でなされることを特徴とする請求項２１に記載の室内調度品購入支援方法。
【請求項２３】
前記合成フレーム作成ステップは、
（１）携帯端末装置が、取り出したマーカ画像に対して、透視変換行列を適用して、透視変換したマーカ画像を作成する３次元マーカ作成ステップと、
（２）携帯端末装置が、マーカ画像の４頂点座標情報を算出して、算出した４頂点座標情報に対して、透視変換行列情報を適用して、座標変換行列の回転成分を算出する回転成分算出ステップと、
（３）携帯端末装置が、算出した座標変換行列の回転成分と、算出したマーカ画像の４頂点座標情報と、マーカの４頂点座標情報と、を用いて、座標変換行列の平行移動成分を算出する平行移動成分ステップと、
（４）携帯端末装置が、回転成分算出手段が算出した回転成分と平行移動成分手段が算出した平行移動成分とを用いて、座標変換行列を作成する行列算出ステップと、
（５）携帯端末装置が、額付き絵画画像格納部が記憶する額縁と絵画を合成した画像に対して、行列算出手段が算出した座標変換行列を適用して、座標変換した額付き絵画画像を作成して、この座標変換した額付き絵画画像に射影変換行列を適用して射影変換した額付き絵画画像を作成して、この射影変換した額付き絵画画像を、フレーム取得手段が取得したフレームに合成する合成ステップと、
を含んだ手順でなされることを特徴とする請求項２１に記載の室内調度品購入支援方法。
【請求項２４】
前記回転成分算出ステップは、
携帯端末装置が、取り出したマーカ画像を用いて、マーカの正方形枠の辺を底辺としてカメラ部位置を頂点とする四角錘を作成して、この四角錘の向かい合う２枚の側面の法線ベクトルの組（Ｕ1、Ｕ2）と（Ｕ3、Ｕ4）とを算出して、それぞれの組の法線ベクトルの外積Ｖ1と外積Ｖ2とを算出して、さらに、この２つの外積Ｖ1とＶ2とから外積Ｖ3を算出して、３つの外積Ｖ1とＶ2とＶ3とを用いて転置ベクトル［ Ｖ1t Ｖ2t Ｖ3t ］を算出して回転成分情報として、
前記平行移動成分算出ステップは、
携帯端末装置が、取得したフレームのマーカ画像に対して、透視変換行列を適用して、透視変換したマーカ画像を作成して、算出した回転成分情報を適用して、透視変換したマーカ画像を回転させて、回転させたマーカ画像の４頂点の座標情報と、マーカ情報の４頂点座標情報と、を対比させて、平行移動成分情報を算出する、
ことを特徴とする請求項２３に記載の室内調度品購入支援方法。
【請求項２５】
コンピュータに組込むことによって、コンピュータを請求項１から請求項６のいずれか１項に記載の額縁選択装置として動作させるコンピュータプログラム。
【請求項２６】
コンピュータに組込むことによって、コンピュータを請求項７に記載のデータサーバ装置として動作させるコンピュータプログラム。
【請求項２７】
コンピュータに組込むことによって、コンピュータを請求項８から請求項１５のいずれか１項に記載の室内調度品購入支援システムとして動作させるコンピュータプログラム。
【請求項２８】
請求項２５から請求項２７のいずれか１項に記載のコンピュータプログラムを記録したコンピュータ読取り可能な記録媒体。
【請求項１】
絵画の特徴点情報と、その特徴点の座標情報と、を含む絵画検出辞書を記憶する絵画検出辞書格納部と、
絵画の位置情報と、絵画の特徴点情報と、特徴点の位置情報とを含む絵画追跡辞書を記憶する絵画追跡辞書格納部と、
四頂点座標情報を含む基準マーカ情報を記憶する基準マーカ格納部と、
額縁画像を含む額縁データを記憶する額縁格納部と、
透視変換行列情報と射影変換行列情報とを記憶する透視変換行列格納部と、
を含む記憶部と、
フレームから構成される動画像を作成するカメラ部と、
カメラ部が作成した絵画と基準マーカを含む動画像から順次にフレームを取得するフレーム取得手段と、
フレーム取得手段が取得したフレームが第１フレームであれば、第１フレームの基準マーカ画像の四頂点座標情報と、基準マーカ格納部の四頂点座標情報と、を用いて、第１フレームを正規化して、特徴点情報を抽出する第１フレーム特徴点抽出手段と、
第１フレーム特徴点抽出手段が抽出した特徴点情報を用いて、絵画検出辞書格納部の絵画検出辞書と照合して、第１フレームの絵画を検出する絵画検出手段と、
絵画検出手段が検出した絵画から、絵画の位置情報と特徴点情報と特徴点の位置情報とを算出し、これらを含む絵画追跡辞書を作成して絵画追跡辞書格納部に登録する追跡辞書登録手段と、
フレーム取得手段が取得したフレームが第２フレーム以降のフレームであれば、画追跡辞書格納部が記憶する絵画位置情報を用いて、このフレームにおける絵画位置を予測して、予測した絵画位置にあるフレームの特徴点情報を抽出する絵画予測特徴点抽出手段と、
絵画予測特徴点抽出手段が抽出した特徴点を用いて、画追跡辞書格納部が記憶する絵画追跡辞書の特徴点と照合して、フレーム取得手段が取得したフレームの絵画を検出する絵画予測検出手段と、
絵画予測検出手段が検出した絵画から、絵画の位置情報と特徴点情報と特徴点位置情報と、を算出して、これらを含む絵画追跡辞書を作成して絵画追跡辞書格納部の絵画追跡辞書を更新する追跡辞書更新手段と、
絵画追跡辞書の特徴点位置情報と、絵画検出辞書の特徴点の座標情報と、透視変換行列格納部の透視変換行列情報と、を用いて、座標変換行列を算出して、これを額縁格納部の額縁画像に適用して、座標変換した額縁画像を作成して、この座標変換した額縁画像に透視変換行列格納部の射影変換行列情報を適用して、射影変換した額縁画像を作成して、フレーム取得手段が取得したフレームに合成する額縁合成フレーム作成手段と、
額縁合成フレーム手段が合成したフレームから構成される額縁シミュレーション動画像を作成して表示する額縁シミュレーション表示手段と、
を備えることを特徴とする額縁選択装置。
【請求項２】
前記額縁合成フレーム作成手段は、
絵画追跡辞書に含まれる特徴点位置情報の中から、４箇所の特徴点の位置情報を取得するフレーム特徴点取得手段と、
絵画検出辞書格納部が記憶する絵画検出辞書を参照して、フレーム特徴点取得手段が取得した４箇所の特徴点に対応する４個の特徴点の座標情報を取得する辞書特徴点座標取得手段と、
フレーム特徴点取得手段が取得した４箇所の特徴点の位置情報に対して、透視変換行列格納部の透視変換行列情報を適用して、座標変換行列の回転成分を算出し、次に、算出した座標変換行列の回転成分と、フレーム特徴点取得手段が取得した４箇所の特徴点の位置情報と、辞書特徴点座標取得手段が取得した４個の特徴点の座標情報とを用いて、座標変換行列の平行移動成分を算出し、最後に、算出した回転成分と平行移動成分とを用いて、座標変換行列を算出する座標変換算出手段と、
座標変換算出手段が算出した座標変換行列を、額縁格納部の額縁データが有する額縁画像に適用して、座標変換した額縁画像を作成し、座標変換した額縁画像に射影変換行列情報を適用して、射影変換した額縁画像を作成して、フレーム取得手段が取得したフレームの絵画に合成する合成手段と、
から構成されることを特徴とする請求項１に記載の額縁選択装置。
【請求項３】
前記第１フレーム特徴点抽出手段が、
フレーム取得手段が取得したフレームが第１フレームであれば、第１フレームの基準マーカ画像の四頂点座標情報と、基準マーカ格納部の四頂点座標情報と、を用いて、第１フレームの基準マーカ画像の形状が、基準マーカ格納部の四頂点座標情報により形成する基準マーカ形状と、相似形になるように、第１フレームを変形して、正規化した第１フレームを作成して、作成した正規化した第１フレームから特徴点情報を抽出する、
ことを特徴とする請求項１に記載の額縁選択装置。
【請求項４】
絵画領域とその寸法とを含む絵画指定情報の入力を受け付けて、フレーム取得手段が取得したフレームから絵画の特徴点情報を抽出して、入力された絵画指定情報を用いて、抽出された特徴点の絵画上の座標情報を算出して、抽出された特徴点と算出された特徴点座標情報を含む絵画検出辞書を作成して、絵画検出辞書格納部に登録する絵画検出辞書登録手段、
を備えることを特徴とする請求項１に記載の額縁選択装置。
【請求項５】
登録指示の入力を受け付けて、額縁画像と絵画画像を合成した画像を作成して、これにマーカ識別情報を関連付けた額付き絵画画像を作成して、データサーバ装置に送信する額付き絵画画像送信手段と、
マーカ識別情報を符号化した画像を含むマーカを印刷するマーカ印刷手段と、
を備えることを特徴とする請求項１に記載の額縁選択装置。
【請求項６】
寸法情報を含む額縁選択情報の入力を受け付けて、入力された額縁選択情報を含むデータベース検索クエリを構成して、データサーバ装置に送信して、返信された額縁画像を含む額縁データを受信して、これを額縁格納部に記憶する額縁取得手段、
を備えることを特徴とする請求項１に記載の額縁選択装置。
【請求項７】
寸法情報を含む額縁選択情報と額縁画像とを対応付けた額縁情報を記憶する額縁データベースと、
マーカ識別情報と額縁と絵画を合成した画像とを対応付けた額付き絵画画像を保持する額付き絵画画像データベースと、
を記憶する記憶部と、
額縁選択装置が送信する額縁選択情報を含むデータベース検索クエリを受信して、記憶部のデータベースを検索して、抽出した額縁画像を含む額縁データを返信する額縁返信手段と、
額縁選択装置が送信する額付き絵画画像を額付き絵画画像データベースに登録する額付き絵画画像登録手段と、
携帯端末装置が送信するマーカ識別情報を含むデータベース検索クエリを受信して、額付き絵画画像データベースを検索して、該当する額付き絵画画像を取得して、これを携帯端末装置に返信する額付き絵画画像返信手段と、
を備えることを特徴とするデータサーバ装置。
【請求項８】
額縁選択装置とデータサーバ装置がネットワーク接続されて構成される室内調度品購入支援システムにおいて、
前記額縁選択装置は、
絵画の特徴点情報と、その特徴点の座標情報と、を含む絵画検出辞書を記憶する絵画検出辞書格納部と、
絵画の位置情報と、絵画の特徴点情報と、この特徴点の座標情報とを含む絵画追跡辞書を記憶する絵画追跡辞書格納部と、
四頂点座標情報を含む基準マーカ情報を記憶する基準マーカ格納部と、
額縁画像を含む額縁データを記憶する額縁格納部と、
透視変換行列情報と射影変換行列情報とを記憶する透視変換行列格納部と、
を含む記憶部と、
フレームから構成される動画像を作成するカメラ部と、
寸法情報を含む額縁選択情報の入力を受け付けて、入力された額縁選択情報を含むデータベース検索クエリを構成して、データサーバ装置に送信して、返信された額縁データを受信して、額縁データを額縁格納部に記憶する額縁取得手段と、
カメラ部が作成した絵画と基準マーカを含む動画像から順次にフレームを取得するフレーム取得手段と、
フレーム取得手段が取得したフレームが第１フレームであれば、第１フレームの基準マーカ画像の四頂点座標情報と、基準マーカ格納部の四頂点座標情報と、を用いて、第１フレームを正規化して、正規化した第１フレームから特徴点情報を抽出する第１フレーム特徴点抽出手段と、
第１フレーム特徴点抽出手段が抽出した特徴点情報を用いて、絵画検出辞書格納部の絵画検出辞書と照合して、第１フレームの絵画を検出する絵画検出手段と、
絵画検出手段が検出した絵画の位置情報と特徴点情報と、この特徴点の位置情報と、を算出して、これらを含む絵画追跡辞書を作成して絵画追跡辞書格納部に登録する追跡辞書登録手段と、
フレーム取得手段が取得したフレームが第２フレーム以降のフレームであれば、画追跡辞書格納部が記憶する絵画位置情報を用いて、このフレームの絵画位置を予測して、予測した絵画位置にあるフレーム上の特徴点情報を抽出する絵画予測特徴点抽出手段と、
絵画予測特徴点抽出手段が抽出した特徴点を用いて、画追跡辞書格納部が記憶する絵画追跡辞書の特徴点と照合して、フレーム取得手段が取得したフレームの絵画を検出する絵画予測検出手段と、
絵画予測検出手段が検出した絵画の位置情報と特徴点情報と、この特徴点の位置情報を算出して、これらを含む絵画追跡辞書を作成して絵画追跡辞書格納部の絵画追跡辞書を更新する追跡辞書更新手段と、
絵画追跡辞書の特徴点の位置座標情報と、絵画検出辞書の特徴点の座標情報と、透視変換行列格納部の透視変換行列情報と、を用いて、座標変換行列を算出して、これを額縁格納部の額縁画像に適用して、座標変換した額縁画像を作成して、この座標変換した額縁画像に射影変換行列情報を適用して、射影変換した額縁画像を作成して、フレーム取得手段が取得したフレームに合成する額縁合成フレーム作成手段と、
額縁合成フレーム手段が合成したフレームから構成される額縁シミュレーション動画像を作成して表示する額縁シミュレーション表示手段と、
を備える選択装置であって、
前記データサーバ装置は、
寸法情報を含む額縁選択情報と額縁画像とを対応付けた額縁情報を記憶する額縁データベースとを記憶する記憶部と、
額縁選択装置が送信する額縁選択情報を含むデータベース検索クエリを受信して、記憶部のデータベースを検索して、抽出した額縁画像を返信する額縁返信手段、
を備えるサーバ装置である、
ことを特徴とする室内調度品購入支援システム。
【請求項９】
前記額縁選択装置において、
前記額縁合成フレーム作成手段は、
絵画追跡辞書に含まれる特徴点位置情報の中から、４箇所の特徴点の位置情報を取得するフレーム特徴点取得手段と、
絵画検出辞書格納部が記憶する絵画検出辞書を参照して、フレーム特徴点取得手段が取得した４箇所の特徴点に対応する４個の特徴点の座標情報を取得する辞書特徴点座標取得手段と、
フレーム特徴点取得手段が取得した４箇所の特徴点位置情報に対して、透視変換行列格納部の透視変換行列情報を適用して、額縁用座標変換行列の回転成分を算出し、次に、算出した額縁用座標変換行列の回転成分と、フレーム特徴点取得手段が取得した４箇の特徴点位置情報と、辞書特徴点座標取得手段が取得した４個の特徴点の座標情報とを用いて、額縁用座標変換行列の平行移動成分を算出し、最後に、算出した回転成分と平行移動成分とを用いて、額縁用座標変換行列を算出する座標変換算出手段と、
座標変換算出手段が算出した額縁用座標変換行列を、額縁格納部の額縁データが有する額縁画像に適用して、座標変換した額縁画像を作成し、座標変換した額縁画像に射影変換行列情報を適用して、射影変換した額縁画像を作成して、フレーム取得手段が取得したフレームの絵画に合成する合成手段と、
とから構成される手段である、
ことを特徴とする請求項８に記載の室内調度品購入支援システム。
【請求項１０】
前記額縁選択装置において、
前記第１フレーム特徴点抽出手段が、
フレーム取得手段が取得したフレームが第１フレームであれば、第１フレームの基準マーカ画像の四頂点座標情報と、基準マーカ格納部の四頂点座標情報と、を用いて、第１フレームの基準マーカ画像の形状と、基準マーカ格納部の四頂点座標情報により形成される基準マーカ形状と、を比較して両者が相似形になるように第１フレームを変形して、正規化した第１フレームを作成して、作成した正規化した第１フレームから特徴点情報を抽出する、
ことを特徴とする請求項８に記載の室内調度品購入支援システム。
【請求項１１】
前記額縁選択装置は、さらに、
絵画領域とその寸法とを含む絵画指定情報の入力を受け付けて、カメラで撮影した絵画のフレームから絵画の特徴点情報を抽出して、入力された絵画指定情報を用いて、抽出された特徴点の絵画上の座標情報を算出して、抽出した特徴点情報と、算出した特徴点の座標情報と、を含む絵画検出辞書を作成して、絵画検出辞書格納部に登録する絵画検出辞書登録手段、
を備えることを特徴とする請求項８に記載の室内調度品購入支援システム。
【請求項１２】
前記室内調度品購入支援システムは、さらにカメラを備える携帯端末装置とがネットワーク接続されて、
前記額縁選択装置は、
登録指示の入力を受け付けて、額縁画像と絵画画像を合成した画像を作成して、これにマーカ識別情報を関連付けた額付き絵画画像を作成して、データサーバ装置に送信する額付き絵画画像送信手段と、
マーカ識別情報を符号化した画像を含むマーカを印刷するマーカ印刷手段と、
を備える選択装置であって、
前記データサーバ装置は、
前記記憶部は、さらに、マーカ識別情報と額縁と絵画を合成した画像とを対応付けた額付き絵画画像を保持する額付き絵画画像データベースを記憶して、
額縁選択装置が送信する額付き絵画画像を額付き絵画画像データベースに登録する額付き絵画画像登録手段と、
携帯端末装置が送信するマーカ識別情報を含むデータベース検索クエリを受信して、額付き絵画画像データベースを検索して、該当する額付き絵画画像を取得して、これを携帯端末装置に返信する額付き絵画画像返信手段と、
を備えるサーバ装置であって、
前記携帯端末装置は、
額縁画像と絵画画像を合成した画像にマーカ識別情報を関連付けた額付き絵画画像を記憶する額付き絵画画像格納部と、
四頂点座標情報を含むマーカ情報を記憶するマーカ格納部と、
透視変換行列と射影変換行列とを記憶する透視変換行列格納部と、
座標変換行列を記憶する座標変換行列格納部と、
を有する記憶部と、
マーカを含む室内を撮影したフレームから構成される動画像を作成するカメラ部と
カメラ部が作成した動画像から順次にフレームを取得するフレーム取得手段と、
フレーム取得手段が取得したフレームからマーカ画像を取り出すマーカ画像取出手段と、
マーカ画像取出手段が取り出したマーカ画像の四頂点座標情報と、マーカ格納部が記憶する四頂点座標情報と、を用いて、マーカ画像を正規化して、正規化したマーカ画像からマーカ識別情報を復号するＩＤ復号手段と、
フレーム取得手段が取得したフレームが第１フレームであれば、復号したマーカ識別情報を含むデータベース検索クエリを構成して、データサーバ装置に送信して、返信された額付き絵画画像を受信して、額付き絵画画像格納部に格納する額付き絵画画像受信手段と、
マーカ格納部が記憶する四頂点座標情報と、マーカ画像取出手段が取り出したマーカ画像が有する四頂点の座標情報と、透視変換行列格納部の透視変換行列情報と、を用いて、座標変換行列を算出して、これを額付き絵画画像格納部に格納された額付き絵画画像に適用して、座標変換した額付き絵画画像に射影変換行列を適用して射影変換した額付き絵画画像を作成して、この射影変換した額付き絵画画像を、フレーム取得手段が取得したフレームに合成する合成フレーム作成手段と、
合成フレーム手段が合成したフレームから構成される室内シミュレーション動画像を作成して表示する室内シミュレーション表示手段と、
を備える端末装置である、
ことを特徴とする請求項８に記載の室内調度品購入支援システム。
【請求項１３】
前記携帯端末装置において、
前記ＩＤ復号手段は、
マーカ画像取出手段が取り出したマーカ画像の四頂点座標情報と、マーカ格納部の四頂点座標情報と、を用いて、第１フレームの基準マーカ画像の形状と、マーカ格納部の四頂点座標情報により形成される基準マーカ形状と、を比較して両者が相似形になるようにマーカ画像を変形して、正規化したマーカ画像を作成するマーカ正規化手段と、
マーカ正規化手段が正規化したマーカ画像からマーカ識別情報を復号する復号手段と、
から構成される手段である、
ことを特徴とする請求項１２に記載の室内調度品購入支援システム。
【請求項１４】
前記携帯端末装置において、
前記合成フレーム作成手段は、
マーカ画像取出手段が取り出したマーカ画像に対して、透視変換行列格納部が記憶する透視変換行列を適用して、透視変換したマーカ画像を作成する３次元マーカ作成手段と、
マーカ画像取出手段が取り出したマーカ画像の４頂点座標情報を算出して、算出した４頂点座標情報に対して、透視変換行列格納部が記憶する透視変換行列情報を適用して、座標変換行列の回転成分を算出する回転成分算出手段と、
回転成分算出手段が算出した座標変換行列の回転成分と、マーカ画像取出手段が算出したマーカ画像の４頂点座標情報と、マーカ格納部が記憶するマーカの４頂点座標情報と、を用いて、座標変換行列の平行移動成分を算出する平行移動成分手段と、
回転成分算出手段が算出した回転成分と平行移動成分手段が算出した平行移動成分とを用いて、座標変換行列を作成する行列算出手段と、
額付き絵画画像格納部が記憶する額縁と絵画を合成した画像に対して、行列算出手段が算出した座標変換行列を適用して、座標変換した額付き絵画画像を作成して、この座標変換した額付き絵画画像に射影変換行列を適用して射影変換した額付き絵画画像を作成して、この射影変換した額付き絵画画像を、フレーム取得手段が取得したフレームに合成する合成手段と、
から構成される手段である、
ことを特徴とする請求項１２に記載の室内調度品購入支援システム。
【請求項１５】
前記携帯端末装置において、
前記回転成分算出手段は、
マーカ画像取出手段が算出したマーカ画像の正方形枠の四頂点座標情報に対して、透視変換行列格納部が記憶する透視変換行列を適用して、マーカの正方形枠を底面としてカメラ部位置を頂点とする四角錘を作成して、この四角錘の向かい合う２枚の側面の法線ベクトルの組（Ｕ1、Ｕ2）と（Ｕ3、Ｕ4）とを算出して、それぞれの組の法線ベクトルの外積Ｖ1と外積Ｖ2とを算出して、さらに、この２つの外積Ｖ1とＶ2とから外積Ｖ3を算出して、最後に、３つの外積Ｖ1とＶ2とＶ3とから転置ベクトル［ Ｖ1t Ｖ2t Ｖ3t ］を算出して、これを回転成分情報とする、
ことを特徴とする請求項１４に記載の室内調度品購入支援システム。
【請求項１６】
四頂点座標情報を含む基準マーカ検出情報と、
額縁選択情報と、寸法情報と額縁画像を含む額縁情報と、対応付けて記憶する額縁データベースと、
絵画の特徴点と特徴点座標情報を含む絵画検出辞書と、
座標変換行列と射影変換行列と、
額縁画像と、
を用いる室内調度品購入支援方法であって、
（１）額縁選択装置が、絵画と基準マーカを撮影したフレームから構成される動画像を作成するカメラから動画像を受け取り、動画像から順次にフレームを取得するフレーム取得ステップと、
（２）額縁選択装置が取得したフレームが第１フレームであれば以下の処理を行なうステップと、
（３−１）第１フレームから基準マーカ画像を取り出して、基準マーカ画像の四頂点座標情報と、基準マーカ情報の四頂点座標情報と、を用いて、第１フレームを正規化して、正規化した第１フレームから特徴点情報を抽出する第１フレーム特徴点抽出する第１フレーム特徴点抽出ステップと、
（３−２）抽出した特徴点情報を用いて、登録した絵画検出辞書と照合して、第１フレームの絵画を検出する絵画検出ステップと、
（３−３）検出した絵画の位置情報と特徴点情報と、特徴点の位置情報と、を算出し、これらを含む絵画追跡辞書を作成する絵画追跡辞書作成ステップと、
（４）額縁選択装置が取得したフレームが第２フレーム以降のフレームであれば以下の処理を行なうステップと、
（５−１）絵画追跡辞書の絵画位置情報を用いて、このフレームにおける絵画位置を予測して、予測した絵画位置にあるフレームの特徴点情報を抽出する絵画予測特徴点抽出ステップと、
（５−２）抽出した特徴点を用いて、絵画追跡辞書の特徴点と照合して、取得したフレームの絵画を検出する絵画予測検出ステップと、
（５−３）検出した絵画から、絵画の位置情報と特徴点情報と、この特徴点の位置情報と、を算出し、これらを含む絵画追跡辞書を作成して、既存の絵画追跡辞書を更新する絵画追跡辞書更新ステップと、
（６）額縁選択装置が、絵画追跡辞書の特徴点位置情報と、絵画検出辞書の特徴点座標情報と、透視変換行列格納部の透視変換行列情報と、を用いて、座標変換行列を算出して、この算出した座標変換行列を、額縁格納部の額縁画像に適用して、座標変換した額縁画像を作成して、座標変換した額縁画像に射影変換行列を適用して、射影変換した額縁画像を作成して、これを、取得したフレームに合成する額縁合成フレーム作成ステップと、
（７）額縁選択装置が、合成したフレームから構成される額縁シミュレーション動画像を作成して表示する額縁シミュレーション表示ステップと、
を含んだ手順でなされることを特徴とする室内調度品購入支援方法。
【請求項１７】
前記額縁合成フレーム作成ステップが、
（１）額縁選択装置が、算出した特徴点位置情報の中から、４箇所の特徴点の位置情報を取得するフレーム特徴点取得ステップと、
（２）絵画検出辞書を参照して、フレーム特徴点取得ステップにて取得した４箇所の特徴点に対応する４個の特徴点の座標情報を取得する辞書特徴点座標取得ステップと、
（３）取得した４箇所の特徴点位置情報に対して、透視変換行列格納部の透視変換行列情報を適用して、座標変換行列の回転成分を算出する回転成分算出ステップと、
（４）算出した座標変換行列の回転成分と、フレーム特徴点取得ステップにて取得した４箇所の特徴点位置情報と、辞書特徴点座標取得ステップにて取得した４個の特徴点の座標情報とを用いて、座標変換行列の平行移動成分を算出する平行成分算出ステップと、
（５）算出した回転成分と平行移動成分とを用いて、額縁用座標変換行列を算出する座標変換行列算出ステップと、
（６）算出した額縁用座標変換行列を、額縁データが有する額縁画像に適用して、座標変換した額縁画像を作成し、座標変換した額縁画像に射影変換行列を適用して、射影変換した額縁画像を作成して、これを、取得したフレームの絵画に合成する合成ステップと、
から構成されるステップ、
を含んだ手順でなされることを特徴とする請求項１６に記載の室内調度品購入支援方法。
【請求項１８】
前記第１フレーム特徴点抽出ステップが、
第１フレームから取り出した基準マーカ画像の四頂点座標情報と、基準マーカ格納部の基準マーカ情報と、を用いて、第１フレームの基準マーカ画像の形状が、基準マーカ格納部の基準マーカ情報の四頂点座標情報が形成する形状とは、相似形になるように、第１フレームを変形して、正規化した第１フレームを作成して、作成した正規化した第１フレームから特徴点情報を抽出する、
ことを特徴とする請求項１６に記載の室内調度品購入支援方法。
【請求項１９】
前記室内調度品購入支援方法は、さらに、
（１）額縁選択装置が、絵画領域とその寸法とを含む絵画指定情報の入力を受け付けて、カメラで撮影したフレームから絵画の特徴点情報を抽出して、入力された絵画指定情報を用いて、抽出された特徴点の絵画上の座標情報を算出して、抽出された特徴点と算出された特徴点座標情報を含む絵画検出辞書を作成して、登録する絵画検出辞書登録ステップと、
を含んだ手順でなされることを特徴とする請求項１６に記載の室内調度品購入支援方法。
【請求項２０】
前記室内調度品購入支援方法は、さらに、
（１）額縁選択装置が、寸法情報を含む額縁選択情報の入力を受け付けて、入力された額縁選択情報を含むデータベース検索クエリを構成して、額縁データベースを検索して、額縁データを取得する額縁取得ステップと、
を含んだ手順でなされることを特徴とする請求項１６に記載の室内調度品購入支援方法。
【請求項２１】
前記室内調度品購入支援方法は、さらに、四頂点座標情報を含むマーカ情報を用いる購入支援方法であって、
（１）額縁選択装置が、登録指示の入力を受け付けて、額縁画像と絵画画像を合成した画像を作成して、これにマーカ識別情報を関連付けた額付き絵画画像を作成して、データサーバ装置に送信する額付き絵画画像送信ステップと、
（２）データサーバ装置は、額縁選択装置が送信する額付き絵画画像を額付き絵画画像データベースに登録する額付き絵画画像登録テップと、
（３）調度品選択装置がマーカ識別情報を符号化した画像を含むマーカを印刷するマーカ印刷ステップと、
（４）携帯端末装置が、印刷されたマーカを含む室内を撮影したフレームから構成される動画像を作成するカメラ部が作成した動画像から順次にフレームを取得して、以下の処理をするフレーム取得ステップと、
（５）携帯端末装置が、取得したフレームから取り出したマーカ画像の四頂点座標情報と、基準マーカ情報の四頂点座標情報と、を用いて、マーカ画像を正規化して、正規化したマーカ画像からマーカ識別情報を復号するＩＤ復号ステップと、
サブ
（５）携帯端末装置が、取得したフレームから取り出したマーカ画像の形状が、基準マーカ情報の四頂点座標情報により形成する基準マーカ形状と相似形になるように、マーカ画像を変形して、正規化するマーカ正規化作成ステップと、
（６）携帯端末装置が、正規化したマーカ画像からマーカ識別情報を復号する復号ステップと、
（７）携帯端末装置が取得したフレームが第１フレームであれば、以下の処理をするフレーム取得ステップと、
（７−１）復号したマーカ識別情報を含むデータベース検索クエリを構成して、額付き絵画画像データベースを検索して、額付き絵画画像を取得する額付き絵画画像検索ステップと、
（８）携帯端末装置が取得したフレームが第２フレーム以降であれば、以下の処理をするフレーム取得ステップと、
（８−１）マーカ識別情報が第１フレームのマーカ識別情報と等しいか否かを判定するステップと、
（８−２）マーカ識別情報が第１フレームのマーカ識別情報と等しくない場合には、当該フレームを第１フレームとして（７）に進む。
（８−３）マーカ識別情報が第１フレームのマーカ識別情報と等しい場合には、次のステップに進む。
（９）携帯端末装置がマーカ情報の四頂点座標情報と、フレームから取り出したマーカ画像が有する四頂点の座標情報と、透視変換行列情報と、を用いて、座標変換行列を算出して、これを取得された額付き絵画画像に適用して、座標変換した額付き絵画画像を作成して、この座標変換した額付き絵画画像に射影変換行列を適用して射影変換した額付き絵画画像を作成して、この射影変換した額付き絵画画像を、取得したフレームに合成する合成フレーム作成ステップと、
（１０）携帯端末装置が、合成したフレームから構成される室内シミュレーション動画像を作成して表示する室内シミュレーション表示ステップと、
を含んだ手順でなされることを特徴とする請求項１６に記載の室内調度品購入支援方法。
【請求項２２】
前記ＩＤ復号ステップは、
（１）携帯端末装置が、取り出したマーカ画像を、マーカ情報の形状と相似形になるように変形して正規化するマーカ正規化ステップと、
（２）正規化したマーカ画像からマーカ識別情報を復号する復号ステップと、
を含んだ手順でなされることを特徴とする請求項２１に記載の室内調度品購入支援方法。
【請求項２３】
前記合成フレーム作成ステップは、
（１）携帯端末装置が、取り出したマーカ画像に対して、透視変換行列を適用して、透視変換したマーカ画像を作成する３次元マーカ作成ステップと、
（２）携帯端末装置が、マーカ画像の４頂点座標情報を算出して、算出した４頂点座標情報に対して、透視変換行列情報を適用して、座標変換行列の回転成分を算出する回転成分算出ステップと、
（３）携帯端末装置が、算出した座標変換行列の回転成分と、算出したマーカ画像の４頂点座標情報と、マーカの４頂点座標情報と、を用いて、座標変換行列の平行移動成分を算出する平行移動成分ステップと、
（４）携帯端末装置が、回転成分算出手段が算出した回転成分と平行移動成分手段が算出した平行移動成分とを用いて、座標変換行列を作成する行列算出ステップと、
（５）携帯端末装置が、額付き絵画画像格納部が記憶する額縁と絵画を合成した画像に対して、行列算出手段が算出した座標変換行列を適用して、座標変換した額付き絵画画像を作成して、この座標変換した額付き絵画画像に射影変換行列を適用して射影変換した額付き絵画画像を作成して、この射影変換した額付き絵画画像を、フレーム取得手段が取得したフレームに合成する合成ステップと、
を含んだ手順でなされることを特徴とする請求項２１に記載の室内調度品購入支援方法。
【請求項２４】
前記回転成分算出ステップは、
携帯端末装置が、取り出したマーカ画像を用いて、マーカの正方形枠の辺を底辺としてカメラ部位置を頂点とする四角錘を作成して、この四角錘の向かい合う２枚の側面の法線ベクトルの組（Ｕ1、Ｕ2）と（Ｕ3、Ｕ4）とを算出して、それぞれの組の法線ベクトルの外積Ｖ1と外積Ｖ2とを算出して、さらに、この２つの外積Ｖ1とＶ2とから外積Ｖ3を算出して、３つの外積Ｖ1とＶ2とＶ3とを用いて転置ベクトル［ Ｖ1t Ｖ2t Ｖ3t ］を算出して回転成分情報として、
前記平行移動成分算出ステップは、
携帯端末装置が、取得したフレームのマーカ画像に対して、透視変換行列を適用して、透視変換したマーカ画像を作成して、算出した回転成分情報を適用して、透視変換したマーカ画像を回転させて、回転させたマーカ画像の４頂点の座標情報と、マーカ情報の４頂点座標情報と、を対比させて、平行移動成分情報を算出する、
ことを特徴とする請求項２３に記載の室内調度品購入支援方法。
【請求項２５】
コンピュータに組込むことによって、コンピュータを請求項１から請求項６のいずれか１項に記載の額縁選択装置として動作させるコンピュータプログラム。
【請求項２６】
コンピュータに組込むことによって、コンピュータを請求項７に記載のデータサーバ装置として動作させるコンピュータプログラム。
【請求項２７】
コンピュータに組込むことによって、コンピュータを請求項８から請求項１５のいずれか１項に記載の室内調度品購入支援システムとして動作させるコンピュータプログラム。
【請求項２８】
請求項２５から請求項２７のいずれか１項に記載のコンピュータプログラムを記録したコンピュータ読取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【公開番号】特開２００９−２７１８２２（Ｐ２００９−２７１８２２Ａ）
【公開日】平成２１年１１月１９日（２００９．１１．１９）
【国際特許分類】
【出願番号】特願２００８−１２３２０８（Ｐ２００８−１２３２０８）
【出願日】平成２０年５月９日（２００８．５．９）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
【公開日】平成２１年１１月１９日（２００９．１１．１９）
【国際特許分類】
【出願日】平成２０年５月９日（２００８．５．９）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
[ Back to top ]