家具シミュレーション方法、装置、プログラム、記録媒体
【課題】本発明の課題は、家具を撮影した後にカメラの内部パラメーターを校正することで、室内実写画像に違和感のない家具ＣＧ画像を重畳できる家具シミュレーション方法を提供することである。
【解決手段】操作者が、（１）デジタルカメラで、標準マーカーを置いた室内を撮影するステップと、（２）室内を撮影した時と同じ焦点距離を設定したデジタルカメラで、校正パターンを撮影するステップと、家具シミュレーション装置が、（１）校正パターン撮影画像から、カメラ内部パラメーターを導出するステップと、（２）室内撮影画像の標準マーカー画像にカメラ内部パラメーターを適用して、三次元正射影変換関係式を導出するステップと、（３）家具モデルデータに三次元正射影変換関係式を適用して、家具ＣＧ画像データを生成して、室内撮影画像データに重畳して表示するステップと、を含んだ手順でなされることを特徴とする家具シミュレーション方法である。
【解決手段】操作者が、（１）デジタルカメラで、標準マーカーを置いた室内を撮影するステップと、（２）室内を撮影した時と同じ焦点距離を設定したデジタルカメラで、校正パターンを撮影するステップと、家具シミュレーション装置が、（１）校正パターン撮影画像から、カメラ内部パラメーターを導出するステップと、（２）室内撮影画像の標準マーカー画像にカメラ内部パラメーターを適用して、三次元正射影変換関係式を導出するステップと、（３）家具モデルデータに三次元正射影変換関係式を適用して、家具ＣＧ画像データを生成して、室内撮影画像データに重畳して表示するステップと、を含んだ手順でなされることを特徴とする家具シミュレーション方法である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、室内の撮影画像に家具のコンピュータグラフィックス画像(以下、ＣＧ画像)を合成して表示する家具シミュレーション方法、装置、プログラム、記録媒体に関するものである。
本発明は特に、家具を購入検討する時に、家具が室内に調和するか否かを検討する場合に有用である。
【背景技術】
【０００２】
快適な部屋を実現するためには、部屋の雰囲気にあって、部屋と調和が取れる調度品を選ぶことが大切である。
たとえば、家具を部屋に設置する場合に、家具の形や色によって部屋の印象は大きく変わってくるので、家具選びは大変重要である。
以下に、代表的な家具の選び方について説明する。
【０００３】
《Ａ．家具カタログ》
部屋と家具の調和を検討する場合には、たとえば、家具カタログを閲覧して、家具を部屋に設置した状況を想像して、家具を選択している。
あるいは、家具カタログを用いる代わりに、家具展示場にて、家具の実物をみて、家具を部屋に設置した状況を想像して、家具を選択する場合もある。
【０００４】
《Ｂ．コンピュータ・シミュレーション》
部屋に合う家具を選ぶ時に、ＡＲ技術を用いて、部屋の実写画像に家具の三次元ＣＧ画像を合成したシミュレーションによる家具選択方法が考えられる。
たとえば、非特許文献１では、カメラ校正処理したデジタルカメラを用いて、撮影した現実世界（＝マーカーを置いた部屋の実写映像）に含まれるマーカー画像から撮影角度と撮影距離とを算出して、仮想物体（＝家具モデルデータ）に対して、算出した角度と距離の情報を適用してレンダリング処理して、三次元ＣＧ画像を生成して、この三次元ＣＧ画像を、撮影動画像のマーカーの位置にリアルタイムで重畳して合成動画像を作成して再生する技術が開示されている。
ここで、ＡＲとは、Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙの略である。ＡＲは、日本語では、拡張現実や、強化現実と称する。ＡＲ技術により現実を動画撮影した実写映像に仮想物体をリアルタイムで重畳することで、あたかも、現実空間に仮想物体があるかのような映像を再生させることができる。
また、ＡＲ技術で用いるマーカーとは、点対称とならない図柄を有する正方形の図形である。マーカーの寸法と図柄が分かっているので、撮影されたマーカー形状の大きさと変形の程度から、カメラの撮影距離や撮影角度などの撮影条件情報を算出することができる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】加藤博一、外３名、「マーカー追跡に基づく拡張現実感システムとそのキャリブレーション」、論文誌、日本バーチャルリアリティ学会、１９９９、第４巻、第４号、ｐ．３−５
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、《Ａ．家具カタログ》による家具の選び方では、実際に、家具を部屋に設置すると、家具の形や色が部屋と調和が取れず、部屋の雰囲気に合った家具を選ぶことに失敗することがある。
また、《Ｂ．コンピュータ・シミュレーション》による家具の選び方では実写画像にＣＧ画像を所定の位置に違和感のない形状で重畳させるためには、カメラの内部パラメーターを校正しておく必要がある。このカメラの内部パラメーターは、撮影条件に依存するので、あらゆる撮影条件を想定して校正しなければならず、多大な校正作業を要する。
【０００７】
本発明は以上のような点を解決するためになされたものであって、本発明の課題は、家具を撮影した後に、家具の撮影条件に対応したカメラの内部パラメーターを校正することで、室内実写画像に違和感のないＣＧ画像を、簡単で容易で確実に重畳できる家具シミュレーション方法、装置、プログラム、記録媒体を提供することである。
【課題を解決するための手段】
【０００８】
本発明は、以下の各態様に記載の手段により、前記課題を解決する。
すなわち、本願発明の第１の発明は、寸法と図柄が既知の標準マーカーと、標準校正パターンと、家具モデルデータと、を用いる家具シミュレーション方法であって、
操作者が、デジタルカメラにより、前記標準マーカーを置いた室内を撮影して、室内撮影画像データを生成する室内撮像ステップと、
操作者が、デジタルカメラに、室内を撮影した時と同じ焦点距離を設定して、標準校正パターンを撮影して、校正パターン撮影画像データを生成する校正パターン撮像ステップと、
家具シミュレーション装置が、少なくとも３つの校正パターン撮影画像データから、カメラ座標系と撮影平面座標系との関係を表すカメラ内部パラメーターを導出するカメラ校正ステップと、
家具シミュレーション装置が、標準マーカーの図柄情報を用いて、室内撮影画像から標準マーカー画像を検出するマーカー検出ステップと、
家具シミュレーション装置が、前記カメラ内部パラメーターを用いて、検出した標準マーカー画像を三次元マーカー画像に変換して、変換した三次元マーカー画像と標準マーカーの寸法情報とを用いて、三次元正射影変換関係式を導出する正射影変換式導出ステップと、
家具シミュレーション装置が、家具モデルデータに対して三次元正射影変換関係式を適用して、レンダリング処理して、家具ＣＧ画像データを生成して、これを室内撮影画像データに重畳して合成して、表示部に表示する合成画面作成表示ステップと、
を含んだ手順でなされることを特徴とする家具シミュレーション方法である。
【０００９】
このように、室内を撮影した後で、カメラの内部パラメーターを簡単で容易に校正することが可能である。
また、カメラ校正作業は、室内撮影時と同じ焦点距離に対応したカメラの内部パラメーターを校正するだけでよいので、最小限の作業量である。
また、室内撮影時と同じ焦点距離に対応したカメラの内部パラメーターを校正できるので、室内撮影画像に重畳して合成する家具ＣＧ画像データを、正確に生成することができる。
【００１０】
本願発明の第２の発明は、寸法と図柄が既知の標準マーカーと、標準校正パターンと、家具モデルデータと、を用いる家具シミュレーション方法であって、
顧客が、デジタルカメラにより、前記標準マーカーを置いた室内を撮影して、室内撮影画像データを生成する室内撮像ステップと、
顧客が、室内を撮影したデジタルカメラと、室内撮影画像データを店舗に持参する店舗持参ステップと、
店員が、デジタルカメラに、室内を撮影した時と同じ焦点距離を設定して、標準校正パターンを撮影して、校正パターン撮影画像データを生成する校正パターン撮像ステップと、
家具シミュレーション装置が、少なくとも３つの校正パターン撮影画像データから、カメラ座標系と撮影平面座標系との関係を表すカメラ内部パラメーターを導出するカメラ校正ステップと、
家具シミュレーション装置が、標準マーカーの図柄情報を用いて、室内撮影画像からマーカー画像を検出するマーカー検出ステップと、
家具シミュレーション装置が、前記カメラ内部パラメーターを用いて、検出したマーカー画像を三次元マーカー画像に変換して、変換した三次元マーカー画像と標準マーカーの寸法情報とを用いて、三次元正射影変換関係式を導出する正射影変換式導出ステップと、
家具シミュレーション装置が、家具モデルデータに対して三次元正射影変換関係式を適用して、レンダリング処理して、家具ＣＧ画像データを生成して、これを室内撮影画像データに重畳して合成して、表示部に表示する合成画面作成表示ステップと、
を含んだ手順でなされることを特徴とする家具シミュレーション方法である。
【００１１】
本願発明の第３の発明は、第１の発明または第２の発明における家具シミュレーション方法において、
前記カメラ校正ステップが、さらに、
少なくとも３つの校正パターン撮影画像データからパターンの特徴点情報を抽出する特徴点抽出工程と、
抽出した特徴点情報と標準校正パターン情報を、ホモグラフィー行列式に代入して、少なくとも３組のホモグラフィー行列要素を算出するホモグラフィー行列算出工程と、
少なくとも３組のホモグラフィー行列要素を、ホモグラフィー内部パラメーター関係式に代入して、カメラ内部パラメーターを算出する内部パラメーター算出工程と、
を含んだ手順でなされることを特徴とする家具シミュレーション方法である。
【００１２】
本願発明の第４の発明は、寸法情報と図柄情報が既知の標準マーカー情報を格納する標準マーカー格納領域と、
家具モデルデータを格納する家具モデル格納領域と、
標準校正パターン情報を格納する標準校正パターン格納領域と、
を備える記憶手段と、
焦点距離を設定したデジタルカメラが、前記標準マーカーを置いた室内を撮影して生成した室内撮影画像データと、
室内を撮影した時と同じ焦点距離を設定したデジタルカメラが、校正パターンを撮影して生成した校正パターン撮影画像データを、入力する撮影画像入力手段と、
少なくとも３つの校正パターン撮影画像データからパターンの特徴点情報を抽出して、抽出した特徴点情報と標準校正パターン情報を用いて、少なくとも３つのホモグラフィー行列を算出して、これらのホモグラフィー行列式を解いて、カメラ内部パラメーターを導出するカメラ校正手段と、
標準マーカー情報の図柄情報を用いて、室内撮影画像データからマーカー画像データを検出するマーカー検出手段と、
前記カメラ内部パラメーターを用いて、検出したマーカー画像を三次元マーカー画像に変換して、変換した三次元マーカー画像と標準マーカーの寸法情報とを用いて、三次元正射影変換関係式を導出する正射影変換式導出手段と、
家具モデルデータに対して三次元正射影変換関係式を適用して、レンダリング処理して、これを撮影画像データに重畳して合成して、表示部に表示する合成画面作成表示手段と、
を備えることを特徴とする家具シミュレーション装置である。
【００１３】
本願発明の第５の発明は、第４の発明における家具シミュレーション装置において、
前記カメラ校正手段が、さらに、
少なくとも３つの校正パターン撮影画像データからパターンの特徴点情報を抽出する特徴点抽出機能と、
抽出した特徴点情報と標準校正パターン情報を、ホモグラフィー行列式に代入して、少なくとも３組のホモグラフィー行列要素を算出するホモグラフィー行列算出機能と、
少なくとも３組のホモグラフィー行列要素を、ホモグラフィー内部パラメーター関係式に代入して、カメラ内部パラメーターを算出する内部パラメーター算出機能と、
を備えることを特徴とする家具シミュレーション装置である。
【００１４】
本願発明の第６の発明は、コンピュータに組込むことによって、コンピュータを請求項４または第５の発明に記載の家具シミュレーション装置として動作させるコンピュータプログラムである。
【００１５】
本願発明の第７の発明は、第６の発明に記載のコンピュータプログラムを記録したコンピュータ読取り可能な記録媒体である。
【発明の効果】
【００１６】
本願発明によれば、
（１）室内を撮影した後で、室内撮影時と同じ焦点距離で、カメラの内部パラメーターを簡単で容易に校正することが可能である。
（２）室内実写画像に違和感なく重畳できる家具ＣＧ画像を、確実に生成することが可能である。
従って、本発明によれば、部屋の雰囲気に合った家具を選ぶことが可能である。
【図面の簡単な説明】
【００１７】
【図１】図１は、本発明の実施の形態による家具シミュレーションシステム１の概要を説明する図である。（実施例１）
【図２】図２は、家具シミュレーションシステム１の大まかな作業と処理の流れを説明する図である。
【図３】図３は、マーカー２００の例である。
【図４】図４は、室内撮影画像の例である。
【図５】図５は、校正パターン４００の説明図である。
【図６】図６は、（校正パターンの撮影台８００を説明する図である。
【図７】図７は、校正パターンの撮影画像の表示例である。
【図８】図８は、室内撮影画像と家具ＣＧ画像３００の合成表示画面の例である。
【図９】図９は、家具シミュレーションシステム１が扱う３つの座標系を説明する図である。
【図１０】図１０は、（３）《校正パターン撮影作業》のフローチャートである。
【図１１】図１１は、（７）《カメラ校正処理》の詳細な流れを説明する図である。
【図１２】図１２は、（８）《マーカーの切り出し処理》と（９）《 座標変換式算出処理》の詳細な流れを説明する図である。
【図１３】図１３は、デジタルカメラ１００の詳細な構成図である。
【図１４】図１４は、家具シミュレーション装置３００の詳細な構成図である。
【図１５】図１５は、撮影平面座標系（ｘp 、ｙp ）と、撮影画像の画素の座標を表すカメラ内部座標系（ｕ 、ｖ ）との関連を説明する図である。
【発明を実施するための形態】
【００１８】
以下、図面等を参照しながら、本発明の実施の形態について、更に詳しく説明する。
【実施例１】
【００１９】
図１は、本発明の実施の形態による家具シミュレーションシステム１の概要を説明する図である。
家具シミュレーションシステム１は、家具シミュレーション装置３００と、デジタルカメラ（たとえば、電子スチルカメラ）１００と、マーカー２００と、校正パターン４００とから構成される。
【００２０】
家具シミュレーション装置３００は、周知の三次元ＣＧプログラムを備えたパーソナルコンピューターに、後述する専用プログラムを搭載したものである。
デジタルカメラ１００は、既存のデジタルスチルカメラまたはデジタルビデオカメラである。
マーカー２００は、既知の寸法の平面図形である。また、マーカー２００は、既知の図柄の平面図形である。
校正パターン４００は、既知の幾何特性を有する平面図形である。
【００２１】
図２は、家具シミュレーションシステム１の大まかな作業と処理の流れを説明する。
（１）《 室内撮影作業》 顧客が家具を設置したい位置にマーカー２００を置いて、デジタルカメラ１００を用いて室内を撮影する。
（２）《 室内撮影画像生成処理》デジタルカメラ１００は、室内を撮像して、室内撮影画像データを生成する。
（３）《校正パターン撮影作業》
店員は、顧客のデジタルカメラに対して、室内を撮像した時と同じ焦点距離ｆに設定して、校正パターン（＝平面パターン）を少なくとも３つの異なる回転姿勢（たとえば、水平、垂直、４５度に傾けた姿勢）で撮影する。
ここで、室内を撮像した時の焦点距離ｆは、室内撮影画像のｅｘｉｆ（Exchangeable Image File Format）参照すれば、これを読み取ることができる。
また、校正パターンの撮影に於いては、校正パターンを、デジタルカメラの光軸に対して垂直に設置する。
（４）《校正パターン撮影画像生成処理》
デジタルカメラ１００は、校正パターンを撮像して、校正パターン撮影画像データを生成する。
（５）《撮像画像出力処理》
デジタルカメラ１００は、撮像画像データ（＝室内撮像画像データと校正パターン撮影画像データ）を、家具シミュレーション装置３００に出力する。
（６）《撮像画像入力処理》家具シミュレーション装置３００は、デジタルカメラ１００が出力した撮像画像データを入力する。
（７）《カメラ校正処理》
家具シミュレーション装置３００は、入力した校正パターン撮影画像データを用いてカメラ校正処理を行って、設定された焦点距離ｆに対応するカメラの内部パラメーターＫを導出する。（詳細は後述する）
（８）《 マーカーの切り出し処理》家具シミュレーション装置３００は、室内撮影画像データからマーカー画像を切り出す。（詳細は後述する）
（９）《 座標変換式算出処理》家具シミュレーション装置３００は、マーカー画像に対して、カメラの内部パラメーターＫと標準マーカー情報を適用して、三次元画像正射影変換関係式（以下、正射影変換関係式）を算出する。（詳細は後述する）
（１０）《表示処理》家具シミュレーション装置３００は、家具のモデルデータに対して正射影変換関係式を適用して、レンダリング処理をして家具ＣＧ画像データを作成して、これを室内撮影画像に重畳させて表示する。
このとき、室内撮影画像が動画の場合には、家具シミュレーション装置３００は、家具ＣＧ画像データを実時間で室内撮影画像に重畳させて表示する。
なお、店員は、家具のモデルデータを指定してもよい。
（１１）《顧客による作業 》顧客は、表示された家具ＣＧ画像が重畳された室内画像を閲覧して、家具の購入を決定する。
【００２２】
なお、内部パラメーターを導出するためには、非特許文献１の技術では、使用が想定されるカメラ焦点距離ｆに対応した内部パラメーターＫを全て導出しておくことが必要であるが、本願の発明では、その必要がない。
【００２３】
図３は、マーカー２００の例である。
マーカー２００は、点対称とならない図柄を有する正方形の平面図形である。
点対称とならない図柄には、二次元コードパターンや絵柄や文字などを用いる。点対称とならない図形を用いるので、１８０度回転しても、同じ図形とはならない。
マーカーの正方形枠の寸法は、事前に定められた既知の値（たとえば、正方形の１辺の長さ「Ｌ」）である。
ここで、マーカーの寸法と図柄が分かっているので、撮影されたマーカー形状の大きさと変形の程度から、カメラの撮影距離や撮影角度などを算出することができる。（詳細は後述する）
【００２４】
図４は、室内撮影画像の表示例である。
例示された室内撮影画像には、マーカー画像２０１が含まれている。
マーカー画像２０１は、マーカー２００がデジタルカメラ１００の撮影条件（撮影方向や撮影距離など）に従って透視投影された画像である。
【００２５】
図５は、校正パターン４００の説明図である。
校正パターン４００は、たとえば、白矩形と黒矩形が交互に配列した市松模様を幾何学特性とした平面図形である。このとき、市松模様の縦線と横線の交差点の間隔は、事前に定められた既知の値（たとえば、交差点の間隔「Ｍ」）である。ここで、市松模様の黒矩形の縦と横の配列個数が、一方を奇数個として、他方を偶数個とする市松模様を用いると、９０度回転しても、同じ図形とはならない。
図５には、白矩形と黒矩形との配列個数が３個と４個である市松模様の校正パターンが例示されている。例示されている校正パターンは、９０度回転しても、同じ図形とはならない。
ここで、市松模様の間隔（＝幾何学特性）が分かっているので、撮影された校正パターンの大きさと変形の程度から、デジタルカメラを校正することができる。（詳細は後述する）
【００２６】
図６は、校正パターンの撮影台８００を説明する図である。
校正パターン撮影台８００は、校正パターン回転台８１０とカメラ台８３０とから構成される。
校正パターン回転台８１０は、校正パターン４００を貼付する平面板が回転する回転台である。校正パターン回転台８１０の回転軸は、校正パターン回転台８１０が定める平面と垂直に交わる。
カメラ台８３０は、デジタルカメラ１００を設置する台である。
カメラ台８３０に設置されたデジタルカメラ１００の光軸は、校正パターン回転台８１０の回転軸と平行である。
【００２７】
図７は、校正パターンの撮影画像の表示例である。
図７の（ａ）は、回転姿勢が水平（あるいは、垂直）である校正パターン撮影画像４１０の表示例である。校正パターンの市松模様の縦線と横線が水平と垂直である。
図７の（ｂ）は、回転姿勢が斜め４５度である校正パターン撮影画像４１０の表示例である。回転姿勢が斜め４５度である校正パターン撮影画像４１０は、校正パターンの市松模様の縦線と横線が、水平に対して４５度に斜いている。
【００２８】
図８は、室内撮影画像と家具ＣＧ画像２５０の合成表示画面の例である。
例示されている合成表示画面には、家具ＣＧ画像２５０がマーカー画像２０１の位置に、マーカー画像２０１の方向に向けて撮影画像と重畳されて合成されている。
【００２９】
ここで、図９を用いて、家具シミュレーションシステム１が扱う３つの座標系の説明をする。
家具シミュレーションシステム１が扱う３つの座標系は、室内空間座標系（Ｘm、Ｙm 、Ｚm ）と、カメラ座標系（Ｘc 、Ｙc 、Ｚc ）と、撮影画像平面座標系（ｘp 、ｙp ）とである。
室内空間座標系（Ｘm、Ｙm 、Ｚm ）は、マーカー２００を原点とする三次元空間で、撮影される室内を形成する空間である。ここで、マーカー２００は、Ｘ軸とＹ軸がなす平面内に配置される。室内空間座標系には、撮影対象物（マーカー２００や部屋の調度品など）と、デジタルカメラ１００が配置されている。
カメラ座標系（Ｘc 、Ｙc 、Ｚc ）は、デジタルカメラ１００を原点とする三次元空間である。
撮影画像平面座標系（ｘp 、ｙp ）は、デジタルカメラ１００が撮影して生成した撮影画像を現わす二次元平面である。このデジタルカメラが撮影した撮影画像は、室内空間座標系に配置された撮影対象物を透視変換した二次元画像である。
【００３０】
図１０は、（３）《校正パターン撮影作業》のフローチャートである。
（１）店員は、室内撮影画像のｅｘｉｆ（Exchangeable Image File Format）参照して、焦点距離の値ｆを読み取り、顧客のデジタルカメラ１００の焦点距離を読み取った焦点距離の値ｆに設定する。（ステップＳ１１０）
（２）店員は、顧客のデジタルカメラ１００を校正パターン撮影台８００のカメラ台８３０に設置する。（ステップＳ１２０）
（３）店員は、校正パターン回転台８１０を回転させて、校正パターンを所定の回転姿勢にする。（ステップＳ１３０）
（４）店員は、顧客のデジタルカメラ１００を用いて、所定の回転姿勢の校正パターンを撮影する。（ステップＳ１４０）
（５）店員は、全ての回転姿勢（たとえば、水平と、垂直と、斜め４５度との３つの回転姿勢）で、校正パターンを撮影したか否かを判定する。
全ての回転姿勢の校正パターンを撮影していれば、デジタルカメラ１００を家具シミュレーション装置３００に接続して、撮影画像の出力を指示して、撮影作業を終了する。
全ての回転姿勢の校正パターンの撮影が否であれば、ステップＳ１３０に戻る。（ステップＳ１５０）
【００３１】
図１１は、（７）《カメラ校正処理》の詳細な流れを説明する図である。
以下に、図２における（７）《カメラ校正処理》の詳細な流れを説明する。
（７−１）《交差点抽出処理》家具シミュレーション装置３００は、３つの異なる回転姿勢の校正パターン撮影画像（二次元画像）に対して、二値化処理（詳細は後述する）して二値化画像を生成して、二値化画像に対して輪郭部画素抽出処理（詳細は後述する）して輪郭部画素を抽出して、輪郭部画素に対して折れ線近似処理（詳細は後述する）して市松模様の縦線と横線を算出して、この縦線と横線の交差点を抽出する。
【００３２】
（７−２）《ホモグラフィー行列算出処理》家具シミュレーション装置３００は、３つの回転姿勢の校正パターンの市松模様の交差点座標と、それぞれの回転姿勢の校正パターンの撮影画像の交差点座標に対して、ホモグラフィー行列算出処理して、３組のホモグラフィー行列Ｈの行列要素の値を算出する。
ここで、ホモグラフィー行列算出処理とは、たとえば、２つの平面上の座標間にはホモグラフィー座標変換関係が成立することが数学的にすでに分かっているホモグラフィー行列式（下記の数式１）を用いて、以下の手順にて、ホモグラフィー行列Ｈの９つの行列要素Ｈij（ｉ、ｊ＝１、２、３）の値を算出すればよい。
（ａ）１つの校正パターン撮影画像の市松模様の交差点から、少なくとも４つの交差点の座標情報「ｘpk 、ｙpk 」（ｋ＝１、２、３、４）を算出する。
（ｂ）家具シミュレーション装置３００は、この校正パターン撮影画像の４つの交差点に対応する校正パターン（二次元平面）上の４つの交差点の座標情報（＝室内空間座標系）「Ｘmk 、Ｙmk 」（ｋ＝１、２、３、４）を、標準校正パターン情報の交差点間隔値を適用して算出する。
（ｃ）家具シミュレーション装置３００は、二次元平面の４つの交差点の座標情報「ｘｐｋ 、ｙpk 」を二次元画像の「Ｘmk 、Ｙmk 」にホモグラフィー変換する二次元座標変換関係式（たとえば、２つの二次元画像の関係が成立することが数学的にすでに分かっている下記のホモグラフィー行列Ｈを用いた（数式１）に代入して、９つの式を作成して、これらを解いて、ホモグラフィー行列Ｈの９つの行列要素Ｈi（ｉ＝１〜９）の値を算出する。
（ｄ）他の２つの異なる回転姿勢の校正パターン撮影画像に対しても、（ａ）〜（ｃ）の処理を繰り返すことで、それぞれの校正パターン撮影画像からホモグラフィー行列要素Ｈijの値を算出して、合計３組のホモグラフィー行列Ｈの行列要素の値Ｈij（ｉ＝１〜９、ｊ＝１、２、３）を算出する。
【数１】
ここで、ｘpは、校正パターンの交差点の撮影画像平面座標系のｘ座標値である。ｙpは、校正パターンの交差点の撮影画像平面座標系のｙ座標値である。Ｘmは、校正パターンの交差点の室内空間座標系のＸ座標値である。Ｙmは、校正パターンの交差点の室内空間座標系のＹ座標値である。
【００３３】
（７−３）《カメラ内部パラメーター行列導出処理》家具シミュレーション装置３００は、３組の行列要素Ｈijの値を用いて、以下の手順でカメラを校正して、カメラ内部パラメーター行列Ｋ（下記の数式２）を導出する。
ここで、カメラ内部パラメーター行列とは、カメラに固有のもので、特定のカメラ内部パラメーター行列を求めることをカメラ校正という。
（ａ）３組の行列要素Ｈijの値を下記の数式３と数式４に代入して、６つの線形方程式を作成する。
ここで、数式３と数式４との２つを組合せた式（＝ホモグラフィー内部パラメーター関係式）は、成立することが数学的にすでに分かっている関係式であって、詳細については、以下の非特許文献に記載がある。「佐川立昌、外１名、“２つの平行光の観測による内部パラメーターの安定なキャリブレーション”、画像の認識・理解シンポジウム（ＭＩＲＵ２００７）、２００７年７月、ｐ．２−３」。
（ｂ）６つの線形方程式を解いて、５つパラメーター「αu、αv、ｕ0、ｖ0、ｂ」の値を算出する。
（ｃ）５つパラメーター「αu、αv、ｕ0、ｖ0、ｂ」の値をカメラ内部パラメーター行列Ｋに設定する。
【数２】
【数３】
【数４】
ここで、行列の上付き記号「−１」は、逆行列を示す。行列の上付き記号「Ｔ」は、転置列を示す。行列の上付き記号「−Ｔ」は、転置した逆行列を示す。
【００３４】
次に、図１５と、下記の数式５から数式７と、を用いて、カメラ内部パラメーター行列Ｋと、焦点距離ｆとの関係を、補足説明する。
【００３５】
撮影平面座標系（ｘp 、ｙp ）とカメラ座標系（Ｘc、Ｙc 、Ｚc ）の関係において、カメラ座標系の原点と撮影平面との距離は、焦点距離ｆに相当する。このとき、２つの座標系の座標間には、下記の数式５が成立することが数学的にすでに分かっている。（詳細については、以下の非特許文献に記載がある。徐剛、外１名著、「３次元ビジョン」、共立出版株式会社、初版、１９９８年４月２０日、ｐ．１０−１１）。
【数５】
【００３６】
図１５は、撮影平面座標系（ｘp 、ｙp ）と、撮影画像の画素の座標を表すカメラ内部座標系（ｕ 、ｖ ）との関連を説明する図である。
撮影平面座標系においては、２つの座標軸、ｘp軸６０１とｙp軸６０２は、直交する。軸のスケールは同じである（軸のスケールが同じとは、画素が正方形であることを意味する）。
カメラ内部座標系においては、２つの座標軸、ｕ軸６９１とｖ軸６９２がなす角度は、θである。単位長をそれぞれ、ｋuとｋvとする（一般的には、ｕ軸とｖ軸のスケールは異なる）。また、カメラ内部座標系の中心座標（＝カメラの光軸がカメラ内部座標系の画素平面と交わる交点座標）は、［ｕ0、ｖ0］tである。
このとき、この２つの座標系の間には、下記の数式６が成立することが数学的にすでに分かっている。（詳細については、以下の非特許文献に記載がある。徐剛、外１名著、「３次元ビジョン」、共立出版株式会社、初版、１９９８年４月２０日、ｐ．１２−１３）
【数６】
【００３７】
次に、数式６に数式５を代入して、下記の数式７を導くと、カメラ内部パラメーター行列Ｋの中の３つのパラメーター「αu 、ｂ、αv」は、それぞれ、αu ＝ｆｋu 、ｂ＝−ｆｋu cotθ、αv＝ｆｋv /sinθの関係が成立することが分かる。このことは、カメラ内部パラメーター行列Ｋは、焦点距離ｆに依存していることを意味している。
ちなみに、数式７において、ｆｋuとｆｋvが残っているのは、焦点距離ｆの変化と軸のスケールｋu、ｋvの変化（＝画素サイズの変化）が区別して取り出せないことを意味している。
【数７】
【００３８】
なお、たとえば、画像処理プログラミングライブラリーであるＯｐｅｎＣＶの関数cvFindChessboardCornersを用いることにより、校正パターンの交差点の座標情報「ｘpk 、ｙpk 」を検出することができる。また、この校正パターンの交差点の座標情報「ｘpk 、ｙpk 」を、関数cvCalibrateCamera2に代入することで、カメラ内部行列Ｋを算出することができる。ここで、ＯｐｅｎＣＶは、Ｉｎｔｅｌ（登録商標）社が開発提供するオープンソースのプログラミングライブラリーである。
【００３９】
図１２は、（８）《マーカーの切り出し処理》と（９）《 座標変換式算出処理》の詳細な流れを説明する図である。
【００４０】
以下に、まず、図２における（８）《マーカーの切り出し処理》の詳細な流れを説明する。
（８−１）《室内撮影画像の二値化処理》家具シミュレーション装置３００は、室内撮影画像の明度情報に対して、適切な閾値（たとえば、明度情報の最高値の２分の１など）を適用して二値化処理して、マーカー枠を形成する罫線の二値化画素を含む二値化画像を生成する。
なお、撮影画像の明度情報は、たとえば撮影画像がグレースケールの場合には、明度情報として、グレースケール値を用いる。また、撮影画像がＲＧＢ値で構成される場合には、この撮影画像のＲＧＢ値の相加平均や加重平均などにより算出すれば良い。
【００４１】
（８−２）《輪郭部画素抽出処理》家具シミュレーション装置３００は、二値化画像に対して、以下に説明する周知の隣接領域探索アルゴリズムを用いて、黒画素を抽出して、この抽出した黒画素を輪郭部画素とする。
ここで、隣接領域探索アルゴリズムは、二値化画像を端から走査して、検出した未追跡黒画素を始点の輪郭部画素として、この画素を次の中心にして、４連結または８連結の画素を隣接する画素の定義として、隣接する画素を探索して黒画素を検出して、始点に戻るまでこれを繰り返えすものである。
あるいは、隣接領域探索アルゴリズムは、二値化画像に対して、周知の微分フィルターを適用した空間フィルタリング処理により、エッジを抽出して、このエッジの画素を輪郭部画素として抽出するものでも良い。このとき、微分フィルターとしては、一次微分フィルター(たとえば、ソーベル・フィルターなど)や二次微分フィルター（たとえば、四方向ラプラシアン・フィルターや、八方向ラプラシアン・フィルターなど）を用いれば良い。
【００４２】
（８−３）《四角形画像の切り出し処理》家具シミュレーション装置３００は、輪郭部画素に対して、折れ線近似処理して線分を算出して、４本の算出された線分で囲まれた四角形画像を抽出する。
ここで、折れ線近似処理とは、たとえば、多数の輪郭部画素の並びから直線を検出できるということが数学的にすでに分かっているハフ変換式（下記の数式８）を用いて、以下の手順にて、画素を通る直線（下記の数式９）を算出すればよい。
（ａ）輪郭部画素に対してハフ変換式（下記の数式１）を適用して正弦曲線に変換する。
（ｂ）正弦曲線を画素に対応付ける。
（ｃ）所定の本数以上の正弦曲線が交差する点の座標（ρ0、θ0）を抽出する。
（ｄ）抽出した点の座標（ρ0、θ0）をハフ変換式（下記の数式８）に代入して、この点に交差する正弦曲線に対応する画素を通る直線（下記の数式９）を算出する。
【数８】
【数９】
【００４３】
（８−４）《透視変換関係式導出処理》家具シミュレーション装置３００は、四角形画像の４本の線分（＝算出された数式７）の４つの交点座標（＝４つの頂点座標）と、マーカー２００の正方形枠の４つの頂点座標とに対して、透視変換関係式（室内空間座標系のＸ軸とＹ軸がなす面の座標（Ｘm 、Ｙm）を撮影画像平面座標系の座標（ｘp 、ｙp）に透視投影する関係式であることが数学的にすでに分かっている下記の数式１０）を適用して、８つの式を作成して、数式１８の８つのＣijを算出して、二次元画像透視変換関係式（下記の数式１１）を導出する。
ところで、マーカー２００の正方形枠の４つの頂点座標は、正方形枠の中心を原点とする座標値であって、既知の値である、正方形の１辺の長さ「Ｌ」から、算出すればよい。
【数１０】
ここで、ｘp は、撮影画像平面座標系における画像のＸ座標値である。ｙp は、撮影画像平面座標系における画像のＹ座標値である。
ｈは、カメラ原点と画像平面の距離を変数とする値である。
Ｘmは、室内空間座標系における画像のＸ座標値である。Ｙm は、室内空間座標系における画像のＹ座標値である。
Ｃijは、二次元画像透視変換関係式の行列要素である。ここで、ｉ，ｊ＝１、２，３である。
【数１１】
ここで、Ｃa 、Ｃb 、・・、Ｃh は、算出した二次元画像透視変換関係式の行列要素である。
【００４４】
（８−５）《四角形画像の変形処理》家具シミュレーション装置３００は、この導出した二次元画像透視変換関係式を用いて、四角形画像を変形する。
【００４５】
（８−６）《画素数正規化処理》家具シミュレーション装置３００は、変形した四角形画像の横方向と縦方向を独立して拡大／縮小処理して、標準マーカーテンプレート（二次元画像）の横方向と縦方向の画素数と一致させたマーカー候補画像を生成する。ここで、マーカーの図柄を識別するためには、たとえば、６４×６４画素の標準マーカーテンプレートを用いればよい。
【００４６】
（８−７）《マーカー認識処理》家具シミュレーション装置３００は、マーカー候補画像を標準マーカーテンプレートと照合して、テンプレートマッチングしてマーカーを認識し、同時にマーカー回転方向を検出して、このマーカー回転方向情報を保持する。
ここで、テンプレートマッチングでは、相互相関関数（たとえば、類似度を算出できるということが数学的にすでに分かっている下記の数式１２）を用いて、マーカー候補画像と標準マーカーテンプレートの類似度を算出して、最も類似度の高いマーカー候補画像をマーカーとして認識すればよい。
また、マーカーの回転に対応するために、標準マーカーテンプレートとして、９０度おきに回転したテンプレートを４つ用意することで、テンプレートマッチングでマーカーを認識したときのテンプレートから回転方向を検出することができる。
【数１２】
ここで、ｔは、テンプレート画像である。
Ｍは、テンプレート画像の横方向の画素数である。
Ｎは、テンプレート画像の縦方向の画素数である。
ｆは、マーカー候補画像である。
ｋは、マーカー候補画像ｆまたは標準マーカーテンプレートｔの横方向の画素位置である。
ｌは、マーカー候補画像ｆまたは標準マーカーテンプレートｔの縦方向の画素位置である。
ｆ［ｋ］［ｌ］は、マーカー候補画像ｆの画素位置（ｋ、ｌ）の画素値（０または１）である。
ｔ［ｋ］［ｌ］は、標準マーカーテンプレートｔの画素位置（ｋ、ｌ）の画素値（０または１）である。
オーバーライン付ｆは、マーカー候補画像ｆの画素値の平均値である。
オーバーライン付ｔは、標準マーカーテンプレートｔの画素値の平均値である。
【００４７】
なお、たとえば、拡張現実感プログラミングライブラリーであるARToolKitのarDetectMarkerを用いることにより、撮影画像からマーカーを容易に抽出することができる。ここで、ARToolKitは、the University of Washingtonのthe Human Interface Technology Laboratoryが開発提供するオープンソースのプログラミングライブラリーである。
【００４８】
以下に、次に、図２における（９）《 座標変換式算出処理》の詳細な流れを説明する。
（９−１）《二次元撮影画像の三次元座標変換》
家具シミュレーション装置３００は、（７）《カメラ校正処理》により算出したカメラ内部行列Ｋを設定した座標変換式（数式１３）を用いて、撮影画像平面座標系（ｘp 、ｙp ）の、撮影画像から切り取ったマーカー画像２０１の座標値（ｘp 、ｙp ）を、カメラ座標系の座標値（Ｘc 、Ｙc 、Ｚc ）に透視変換する。
【数１３】
ｘpは、撮影画像平面座標系における撮影画像のｘ座標値である。ｙpは、撮影画像平面座標系における撮影画像のｙ座標値である。
Ｘcは、カメラ座標系における撮影画像のＸ座標値である。Ｙcは、カメラ座標系における撮影画像のＹ座標値である。Ｚcは、カメラ座標系における撮影画像のＺ座標値である。
Ｋは、校正したカメラ内部行列である。αu、αv、ｕ0、ｖ0、ｂは、カメラ内部行列Ｋの５つパラメーターの値である。ｈは、カメラ原点と画像平面の距離である。
【００４９】
（９−２）《正射影変換関係式の導出》
家具シミュレーション装置３００は、正射影変換関係式（たとえば、正射影変換(＝アフィン変換)行列関係式として、すでに数学的に分かっている下記の数式１４）に対して、カメラ座標系の室内撮影画像のマーカー画像２０１の４つの頂点座標値［Ｘck 、Ｙck 、Ｚck ］（ｋ＝１、２、３、４）と、室内空間座標系のマーカー２００の４つの頂点座標値［Ｘmk、Ｙmk 、Ｚmk ］（ｋ＝１、２、３、４）とを対応付けて代入して１２個の式を作成して、これらを解いて、座標変換行列の回転移動成分の９つの行列要素Ｒij （ｉ，ｊ＝１、２，３）と、座標変換行列の平行移動成分の３つの行列要素Ｔi （ｉ＝１、２，３）と、を算出して、デジタルカメラ座標系（Ｘc 、Ｙc 、Ｚc ）と室内空間座標系（Ｘm、Ｙm 、Ｚm ）との三次元正射影変換関係式（下記の数式１５）を導出して、この式を撮影条件の三次元座標変換式に設定する。
【数１４】
Ｘc は、カメラ座標系における画像のＸ座標値である。Ｙc は、カメラ座標系における画像のＹ座標値である。Ｚc は、カメラ座標系における画像のＺ座標値である。
Ｘmは、室内空間座標系における画像のＸ座標値である。Ｙm は、室内空間座標系における画像のＹ座標値である。Ｚm は、室内空間座標系における画像のＺ座標値である。
Ｒij は、正射影変換関係式の行列要素の回転移動成分である。
Ｔi は、正射影変換関係式の行列要素の平行移動成分である。
ここで、ｉ，ｊ＝１、２，３である。
【数１５】
Ｒa 、Ｒb 、・・、Ｒi は、算出した回転移動成分の行列要素である。Ｔa 、Ｔb 、Ｔc は、算出した平行移動成分の行列要素である。
【００５０】
なお、たとえば、前述したＡＲＴｏｏｌＫｉｔのarGetTransMat を用いることにより、室内撮影画像データのマーカー画像を適用して、正射影変換関係式を、容易に求めることができる。
【００５１】
図１３は、デジタルカメラ１００の詳細な構成図である。
デジタルカメラ１００は、マイクロコンピューター１１０と、レンズ１６１と、レンズ位置制御部１７０と、撮像部１６０と、Ａ／Ｄ変換部１２０と、照明部１５０と、操作部１３０と、表示部１４０と、接続部１８０と、電源部１８３と、画像記録部１９０などから構成される。
【００５２】
マイクロコンピューター１１０は、デジタルカメラの各種の機能を実現するプログラムやハードウェアを有する大規模集積回路（ＬＳＩ）である。
【００５３】
レンズ１６１は、入射した光を屈折させて実像を撮像部に結像させるための光学素子である。
レンズ位置制御部１７０は、マイクロコンピューター１１０の指示に従って、レンズ１６１を移動させるモーターである。
【００５４】
撮像部１６０は、レンズを通過した光学的信号を電気的信号に変換して、アナログ信号の画像データを生成するＣＣＤやＣＭＯＳである。
Ａ／Ｄ変換部：アナログ信号の画像データからデジタル信号の撮影画像データ１９５に変換して、マイクロプロセッサーに出力する。
【００５５】
照明部１５０は、マイクロコンピューター１１０の指示に従って、発光するストロボである。
【００５６】
表示部１４０は、撮影画像データやデジタルカメラの設定情報などを表示する液晶表示装置やＥＬデバイスなどである。
操作部１３０は、焦点距離情報などのデジタルカメラの設定情報を入力または変更するメニューボタンや、電源スイッチなどから構成される。
【００５７】
画像記録部１９０は、撮影画像データ１９５を記憶する半導体メモリーである。
【００５８】
接続部１８０は、ホスト機器（＝家具シミュレーション装置３００）に接続するためのＵＳＢ（Universal Serial Bus）アダプターである。
接続部１８０は、ＵＳＢ接続した家具シミュレーション装置３００に画像データを出力する。
電源部１８３は、二次電池である。
【００５９】
そのほかに、図示はしないが、絞りリングや、マイクロコンピューターの指示に従って、モーターを駆動させて、絞りリングの開口面積を変更する絞り機構部などを有する。
【００６０】
デジタルカメラ１００は、マイクロコンピューター１１０が、操作部１３０から入力された撮像光学系Ｌの焦点距離情報ｆをレンズの移動距離に換算して、このレンズの移動距離をモーターの回転量情報に変換して、このモーターの回転量情報を含む指示をレンズ位置制御部１７０に出力する。
デジタルカメラ１００は、撮像部１６０が、レンズ１６１を通過した光学的信号をアナログ信号に変換して、アナログ信号の画像データを生成する。次に、Ａ／Ｄ変換部１２０が、デジタル信号の撮影画像データ１９５に変換して、マイクロプロセッサー１１０に出力する。
マイクロプロセッサー１１０は、入力した撮影画像データ１９５を表示部１４０や画像記録部１９０に出力する。
【００６１】
図１４は、家具シミュレーション装置３００の詳細な構成図である。
家具シミュレーション装置３００は、ＣＰＵ３０１と、表示部３０２と、操作部３０４と、接続部３０８と、記憶部３０９と専用プログラムなどを備える。
ＣＰＵ３０１と、表示部１０２と、操作部３０４と、接続部３０８と、記憶部３０９とは、ＢＵＳ３９９で接続される。
【００６２】
ＣＰＵ３０１は、中央演算装置である。
表示部３０２は、液晶表示装置や有機ＥＬ表示装置である。
操作部３０４は、キーボードやマウスである。
接続部３０８は、ＵＳＢアダプターである。
【００６３】
記憶部３０９は、半導体メモリーや磁気メモリーである。
記憶部３０９は、標準マーカー格納領域３０９１と、内部パラメーター格納領域３０９２と、標準校正パターン格納領域３０９３と、正射影変換関係式格納領域３０９４と、撮影画像格納領域３０９５と、合成用画像格納領域３０９７と、を備えて、オペレーティングシステム３８５と、三次元ＣＧプログラム３８０と、専用プログラムとを記憶する。
【００６４】
標準マーカー格納領域３０９１は、寸法情報と標準マーカーテンプレート（たとえば、図柄情報）を含む標準マーカー情報３９１を格納する。
家具モデル格納領域３０９２は、家具モデルデータ３９２を格納する。
標準校正パターン格納領域３０９３は、標準校正パターン情報３９３を格納する。
正射影変換関係式格納領域３０９４は、正射影変換関係式情報３９８（数式１５）を格納する。
撮影画像格納領域３０９５は、室内撮影画像データと校正パターン撮影画像データとから校正される撮影画像データ１９５を格納する。
合成用画像格納領域３０９６は、家具ＣＧ画像データ３９６を格納する。
内部パラメーター格納領域３０９７は、内部パラメーター情報３９７（数式２）を格納する。
【００６５】
オペレーティングシステム３８５は、家具シミュレーション装置３００のハードウェア（たとえば、ＣＰＵ３０１と、表示部３０２と、接続部３０８と、記憶部３０９と、ＢＵＳ３９９など）を管理・制御して、応用ソフトウエア（たとえば、専用プログラム）に対して、これらのハードウェアを利用できるようなサービスを提供する基本ソフトウエアである。
三次元ＣＧプログラム３８０は、既存のプログラムであって、レンダリング処理のアルゴリズムは、限定されず、入手可能なものを用いればよい。
【００６６】
このほかに、撮影画像入力手段３１０と、カメラ校正手段３２０と、マーカー検出手段３３０と、正射影変換式導出手段３４０と、合成画面作成表示手段３５０と、を備える。これらの各手段は、それぞれの専用プログラムによって実現され、専用プログラムがＣＰＵ３０１に解釈・実行されることによって機能する。
【００６７】
撮影画像入力手段３１０は、デジタルカメラ１００が出力する室内撮影画像と校正パターン撮影画像データを有する撮影画像データを、接続部３０８を経由して入力する。
【００６８】
カメラ校正手段３２０は、入力した校正パターン撮影画像データと標準校正パターン情報を用いて、カメラの内部パラメーターＫ（数式２）を導出する。
カメラ校正手段３２０の処理の詳細は、図１１の（７）《カメラ校正処理》の詳細な流れを説明する項で述べた。
【００６９】
マーカー検出手段３３０は、標準マーカー情報の標準マーカーテンプレートを用いて、室内撮影画像からマーカー画像２０１を検出して切り出す。
なお、マーカー検出手段３３０の処理の詳細は、図１２の（８）《マーカーの切り出し処理》の詳細な流れを説明する項で述べた。
【００７０】
正射影変換式導出手段３４０は、検出したマーカー画像の４つの頂点座標と標準マーカー情報の寸法情報を用いて、正射影変換関係式（数式１５）を導出する。
なお、正射影変換式導出手段３４０の処理の詳細は、図１２の（９）《座標変換式算出処理》の詳細な流れを説明する項で述べた。
【００７１】
合成画面作成表示手段３５０は、家具モデルデータに対して正射影変換関係式を適用して、三次元ＣＧプログラム３８０を呼び出して、レンダリング処理させてマーカーの方向に対応付けられた家具ＣＧ動画データを作成させて、これを室内撮影画像データに重畳して合成して、表示部に表示する。
ここで、室内撮影画像データが動画の場合には、合成画面作成表示手段３５０は、生成した家具ＣＧ動画データを、実時間で室内撮影画像データに重畳して合成して、表示部に表示する。
【符号の説明】
【００７２】
１００ デジタルカメラ
１１０ マイクロコンピューター
１６１ レンズ
１７０ レンズ位置制御部
１６０ 撮像部
１２０ Ａ／Ｄ変換部
１５０ 照明部
１３０ 操作部
１４０ 表示部
１８０ 接続部
１９５ 撮影画像データ
２００ マーカー
２０１ マーカー画像
３００ 家具シミュレーション装置
３１０ 撮影画像入力手段
３２０ カメラ校正手段
３３０ マーカー検出手段
３４０ 正射影変換式導出手段
３５０ 合成画面作成表示手段
３８０ 三次元ＣＧプログラム
４００ 校正パターン
【技術分野】
【０００１】
本発明は、室内の撮影画像に家具のコンピュータグラフィックス画像(以下、ＣＧ画像)を合成して表示する家具シミュレーション方法、装置、プログラム、記録媒体に関するものである。
本発明は特に、家具を購入検討する時に、家具が室内に調和するか否かを検討する場合に有用である。
【背景技術】
【０００２】
快適な部屋を実現するためには、部屋の雰囲気にあって、部屋と調和が取れる調度品を選ぶことが大切である。
たとえば、家具を部屋に設置する場合に、家具の形や色によって部屋の印象は大きく変わってくるので、家具選びは大変重要である。
以下に、代表的な家具の選び方について説明する。
【０００３】
《Ａ．家具カタログ》
部屋と家具の調和を検討する場合には、たとえば、家具カタログを閲覧して、家具を部屋に設置した状況を想像して、家具を選択している。
あるいは、家具カタログを用いる代わりに、家具展示場にて、家具の実物をみて、家具を部屋に設置した状況を想像して、家具を選択する場合もある。
【０００４】
《Ｂ．コンピュータ・シミュレーション》
部屋に合う家具を選ぶ時に、ＡＲ技術を用いて、部屋の実写画像に家具の三次元ＣＧ画像を合成したシミュレーションによる家具選択方法が考えられる。
たとえば、非特許文献１では、カメラ校正処理したデジタルカメラを用いて、撮影した現実世界（＝マーカーを置いた部屋の実写映像）に含まれるマーカー画像から撮影角度と撮影距離とを算出して、仮想物体（＝家具モデルデータ）に対して、算出した角度と距離の情報を適用してレンダリング処理して、三次元ＣＧ画像を生成して、この三次元ＣＧ画像を、撮影動画像のマーカーの位置にリアルタイムで重畳して合成動画像を作成して再生する技術が開示されている。
ここで、ＡＲとは、Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙの略である。ＡＲは、日本語では、拡張現実や、強化現実と称する。ＡＲ技術により現実を動画撮影した実写映像に仮想物体をリアルタイムで重畳することで、あたかも、現実空間に仮想物体があるかのような映像を再生させることができる。
また、ＡＲ技術で用いるマーカーとは、点対称とならない図柄を有する正方形の図形である。マーカーの寸法と図柄が分かっているので、撮影されたマーカー形状の大きさと変形の程度から、カメラの撮影距離や撮影角度などの撮影条件情報を算出することができる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】加藤博一、外３名、「マーカー追跡に基づく拡張現実感システムとそのキャリブレーション」、論文誌、日本バーチャルリアリティ学会、１９９９、第４巻、第４号、ｐ．３−５
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、《Ａ．家具カタログ》による家具の選び方では、実際に、家具を部屋に設置すると、家具の形や色が部屋と調和が取れず、部屋の雰囲気に合った家具を選ぶことに失敗することがある。
また、《Ｂ．コンピュータ・シミュレーション》による家具の選び方では実写画像にＣＧ画像を所定の位置に違和感のない形状で重畳させるためには、カメラの内部パラメーターを校正しておく必要がある。このカメラの内部パラメーターは、撮影条件に依存するので、あらゆる撮影条件を想定して校正しなければならず、多大な校正作業を要する。
【０００７】
本発明は以上のような点を解決するためになされたものであって、本発明の課題は、家具を撮影した後に、家具の撮影条件に対応したカメラの内部パラメーターを校正することで、室内実写画像に違和感のないＣＧ画像を、簡単で容易で確実に重畳できる家具シミュレーション方法、装置、プログラム、記録媒体を提供することである。
【課題を解決するための手段】
【０００８】
本発明は、以下の各態様に記載の手段により、前記課題を解決する。
すなわち、本願発明の第１の発明は、寸法と図柄が既知の標準マーカーと、標準校正パターンと、家具モデルデータと、を用いる家具シミュレーション方法であって、
操作者が、デジタルカメラにより、前記標準マーカーを置いた室内を撮影して、室内撮影画像データを生成する室内撮像ステップと、
操作者が、デジタルカメラに、室内を撮影した時と同じ焦点距離を設定して、標準校正パターンを撮影して、校正パターン撮影画像データを生成する校正パターン撮像ステップと、
家具シミュレーション装置が、少なくとも３つの校正パターン撮影画像データから、カメラ座標系と撮影平面座標系との関係を表すカメラ内部パラメーターを導出するカメラ校正ステップと、
家具シミュレーション装置が、標準マーカーの図柄情報を用いて、室内撮影画像から標準マーカー画像を検出するマーカー検出ステップと、
家具シミュレーション装置が、前記カメラ内部パラメーターを用いて、検出した標準マーカー画像を三次元マーカー画像に変換して、変換した三次元マーカー画像と標準マーカーの寸法情報とを用いて、三次元正射影変換関係式を導出する正射影変換式導出ステップと、
家具シミュレーション装置が、家具モデルデータに対して三次元正射影変換関係式を適用して、レンダリング処理して、家具ＣＧ画像データを生成して、これを室内撮影画像データに重畳して合成して、表示部に表示する合成画面作成表示ステップと、
を含んだ手順でなされることを特徴とする家具シミュレーション方法である。
【０００９】
このように、室内を撮影した後で、カメラの内部パラメーターを簡単で容易に校正することが可能である。
また、カメラ校正作業は、室内撮影時と同じ焦点距離に対応したカメラの内部パラメーターを校正するだけでよいので、最小限の作業量である。
また、室内撮影時と同じ焦点距離に対応したカメラの内部パラメーターを校正できるので、室内撮影画像に重畳して合成する家具ＣＧ画像データを、正確に生成することができる。
【００１０】
本願発明の第２の発明は、寸法と図柄が既知の標準マーカーと、標準校正パターンと、家具モデルデータと、を用いる家具シミュレーション方法であって、
顧客が、デジタルカメラにより、前記標準マーカーを置いた室内を撮影して、室内撮影画像データを生成する室内撮像ステップと、
顧客が、室内を撮影したデジタルカメラと、室内撮影画像データを店舗に持参する店舗持参ステップと、
店員が、デジタルカメラに、室内を撮影した時と同じ焦点距離を設定して、標準校正パターンを撮影して、校正パターン撮影画像データを生成する校正パターン撮像ステップと、
家具シミュレーション装置が、少なくとも３つの校正パターン撮影画像データから、カメラ座標系と撮影平面座標系との関係を表すカメラ内部パラメーターを導出するカメラ校正ステップと、
家具シミュレーション装置が、標準マーカーの図柄情報を用いて、室内撮影画像からマーカー画像を検出するマーカー検出ステップと、
家具シミュレーション装置が、前記カメラ内部パラメーターを用いて、検出したマーカー画像を三次元マーカー画像に変換して、変換した三次元マーカー画像と標準マーカーの寸法情報とを用いて、三次元正射影変換関係式を導出する正射影変換式導出ステップと、
家具シミュレーション装置が、家具モデルデータに対して三次元正射影変換関係式を適用して、レンダリング処理して、家具ＣＧ画像データを生成して、これを室内撮影画像データに重畳して合成して、表示部に表示する合成画面作成表示ステップと、
を含んだ手順でなされることを特徴とする家具シミュレーション方法である。
【００１１】
本願発明の第３の発明は、第１の発明または第２の発明における家具シミュレーション方法において、
前記カメラ校正ステップが、さらに、
少なくとも３つの校正パターン撮影画像データからパターンの特徴点情報を抽出する特徴点抽出工程と、
抽出した特徴点情報と標準校正パターン情報を、ホモグラフィー行列式に代入して、少なくとも３組のホモグラフィー行列要素を算出するホモグラフィー行列算出工程と、
少なくとも３組のホモグラフィー行列要素を、ホモグラフィー内部パラメーター関係式に代入して、カメラ内部パラメーターを算出する内部パラメーター算出工程と、
を含んだ手順でなされることを特徴とする家具シミュレーション方法である。
【００１２】
本願発明の第４の発明は、寸法情報と図柄情報が既知の標準マーカー情報を格納する標準マーカー格納領域と、
家具モデルデータを格納する家具モデル格納領域と、
標準校正パターン情報を格納する標準校正パターン格納領域と、
を備える記憶手段と、
焦点距離を設定したデジタルカメラが、前記標準マーカーを置いた室内を撮影して生成した室内撮影画像データと、
室内を撮影した時と同じ焦点距離を設定したデジタルカメラが、校正パターンを撮影して生成した校正パターン撮影画像データを、入力する撮影画像入力手段と、
少なくとも３つの校正パターン撮影画像データからパターンの特徴点情報を抽出して、抽出した特徴点情報と標準校正パターン情報を用いて、少なくとも３つのホモグラフィー行列を算出して、これらのホモグラフィー行列式を解いて、カメラ内部パラメーターを導出するカメラ校正手段と、
標準マーカー情報の図柄情報を用いて、室内撮影画像データからマーカー画像データを検出するマーカー検出手段と、
前記カメラ内部パラメーターを用いて、検出したマーカー画像を三次元マーカー画像に変換して、変換した三次元マーカー画像と標準マーカーの寸法情報とを用いて、三次元正射影変換関係式を導出する正射影変換式導出手段と、
家具モデルデータに対して三次元正射影変換関係式を適用して、レンダリング処理して、これを撮影画像データに重畳して合成して、表示部に表示する合成画面作成表示手段と、
を備えることを特徴とする家具シミュレーション装置である。
【００１３】
本願発明の第５の発明は、第４の発明における家具シミュレーション装置において、
前記カメラ校正手段が、さらに、
少なくとも３つの校正パターン撮影画像データからパターンの特徴点情報を抽出する特徴点抽出機能と、
抽出した特徴点情報と標準校正パターン情報を、ホモグラフィー行列式に代入して、少なくとも３組のホモグラフィー行列要素を算出するホモグラフィー行列算出機能と、
少なくとも３組のホモグラフィー行列要素を、ホモグラフィー内部パラメーター関係式に代入して、カメラ内部パラメーターを算出する内部パラメーター算出機能と、
を備えることを特徴とする家具シミュレーション装置である。
【００１４】
本願発明の第６の発明は、コンピュータに組込むことによって、コンピュータを請求項４または第５の発明に記載の家具シミュレーション装置として動作させるコンピュータプログラムである。
【００１５】
本願発明の第７の発明は、第６の発明に記載のコンピュータプログラムを記録したコンピュータ読取り可能な記録媒体である。
【発明の効果】
【００１６】
本願発明によれば、
（１）室内を撮影した後で、室内撮影時と同じ焦点距離で、カメラの内部パラメーターを簡単で容易に校正することが可能である。
（２）室内実写画像に違和感なく重畳できる家具ＣＧ画像を、確実に生成することが可能である。
従って、本発明によれば、部屋の雰囲気に合った家具を選ぶことが可能である。
【図面の簡単な説明】
【００１７】
【図１】図１は、本発明の実施の形態による家具シミュレーションシステム１の概要を説明する図である。（実施例１）
【図２】図２は、家具シミュレーションシステム１の大まかな作業と処理の流れを説明する図である。
【図３】図３は、マーカー２００の例である。
【図４】図４は、室内撮影画像の例である。
【図５】図５は、校正パターン４００の説明図である。
【図６】図６は、（校正パターンの撮影台８００を説明する図である。
【図７】図７は、校正パターンの撮影画像の表示例である。
【図８】図８は、室内撮影画像と家具ＣＧ画像３００の合成表示画面の例である。
【図９】図９は、家具シミュレーションシステム１が扱う３つの座標系を説明する図である。
【図１０】図１０は、（３）《校正パターン撮影作業》のフローチャートである。
【図１１】図１１は、（７）《カメラ校正処理》の詳細な流れを説明する図である。
【図１２】図１２は、（８）《マーカーの切り出し処理》と（９）《 座標変換式算出処理》の詳細な流れを説明する図である。
【図１３】図１３は、デジタルカメラ１００の詳細な構成図である。
【図１４】図１４は、家具シミュレーション装置３００の詳細な構成図である。
【図１５】図１５は、撮影平面座標系（ｘp 、ｙp ）と、撮影画像の画素の座標を表すカメラ内部座標系（ｕ 、ｖ ）との関連を説明する図である。
【発明を実施するための形態】
【００１８】
以下、図面等を参照しながら、本発明の実施の形態について、更に詳しく説明する。
【実施例１】
【００１９】
図１は、本発明の実施の形態による家具シミュレーションシステム１の概要を説明する図である。
家具シミュレーションシステム１は、家具シミュレーション装置３００と、デジタルカメラ（たとえば、電子スチルカメラ）１００と、マーカー２００と、校正パターン４００とから構成される。
【００２０】
家具シミュレーション装置３００は、周知の三次元ＣＧプログラムを備えたパーソナルコンピューターに、後述する専用プログラムを搭載したものである。
デジタルカメラ１００は、既存のデジタルスチルカメラまたはデジタルビデオカメラである。
マーカー２００は、既知の寸法の平面図形である。また、マーカー２００は、既知の図柄の平面図形である。
校正パターン４００は、既知の幾何特性を有する平面図形である。
【００２１】
図２は、家具シミュレーションシステム１の大まかな作業と処理の流れを説明する。
（１）《 室内撮影作業》 顧客が家具を設置したい位置にマーカー２００を置いて、デジタルカメラ１００を用いて室内を撮影する。
（２）《 室内撮影画像生成処理》デジタルカメラ１００は、室内を撮像して、室内撮影画像データを生成する。
（３）《校正パターン撮影作業》
店員は、顧客のデジタルカメラに対して、室内を撮像した時と同じ焦点距離ｆに設定して、校正パターン（＝平面パターン）を少なくとも３つの異なる回転姿勢（たとえば、水平、垂直、４５度に傾けた姿勢）で撮影する。
ここで、室内を撮像した時の焦点距離ｆは、室内撮影画像のｅｘｉｆ（Exchangeable Image File Format）参照すれば、これを読み取ることができる。
また、校正パターンの撮影に於いては、校正パターンを、デジタルカメラの光軸に対して垂直に設置する。
（４）《校正パターン撮影画像生成処理》
デジタルカメラ１００は、校正パターンを撮像して、校正パターン撮影画像データを生成する。
（５）《撮像画像出力処理》
デジタルカメラ１００は、撮像画像データ（＝室内撮像画像データと校正パターン撮影画像データ）を、家具シミュレーション装置３００に出力する。
（６）《撮像画像入力処理》家具シミュレーション装置３００は、デジタルカメラ１００が出力した撮像画像データを入力する。
（７）《カメラ校正処理》
家具シミュレーション装置３００は、入力した校正パターン撮影画像データを用いてカメラ校正処理を行って、設定された焦点距離ｆに対応するカメラの内部パラメーターＫを導出する。（詳細は後述する）
（８）《 マーカーの切り出し処理》家具シミュレーション装置３００は、室内撮影画像データからマーカー画像を切り出す。（詳細は後述する）
（９）《 座標変換式算出処理》家具シミュレーション装置３００は、マーカー画像に対して、カメラの内部パラメーターＫと標準マーカー情報を適用して、三次元画像正射影変換関係式（以下、正射影変換関係式）を算出する。（詳細は後述する）
（１０）《表示処理》家具シミュレーション装置３００は、家具のモデルデータに対して正射影変換関係式を適用して、レンダリング処理をして家具ＣＧ画像データを作成して、これを室内撮影画像に重畳させて表示する。
このとき、室内撮影画像が動画の場合には、家具シミュレーション装置３００は、家具ＣＧ画像データを実時間で室内撮影画像に重畳させて表示する。
なお、店員は、家具のモデルデータを指定してもよい。
（１１）《顧客による作業 》顧客は、表示された家具ＣＧ画像が重畳された室内画像を閲覧して、家具の購入を決定する。
【００２２】
なお、内部パラメーターを導出するためには、非特許文献１の技術では、使用が想定されるカメラ焦点距離ｆに対応した内部パラメーターＫを全て導出しておくことが必要であるが、本願の発明では、その必要がない。
【００２３】
図３は、マーカー２００の例である。
マーカー２００は、点対称とならない図柄を有する正方形の平面図形である。
点対称とならない図柄には、二次元コードパターンや絵柄や文字などを用いる。点対称とならない図形を用いるので、１８０度回転しても、同じ図形とはならない。
マーカーの正方形枠の寸法は、事前に定められた既知の値（たとえば、正方形の１辺の長さ「Ｌ」）である。
ここで、マーカーの寸法と図柄が分かっているので、撮影されたマーカー形状の大きさと変形の程度から、カメラの撮影距離や撮影角度などを算出することができる。（詳細は後述する）
【００２４】
図４は、室内撮影画像の表示例である。
例示された室内撮影画像には、マーカー画像２０１が含まれている。
マーカー画像２０１は、マーカー２００がデジタルカメラ１００の撮影条件（撮影方向や撮影距離など）に従って透視投影された画像である。
【００２５】
図５は、校正パターン４００の説明図である。
校正パターン４００は、たとえば、白矩形と黒矩形が交互に配列した市松模様を幾何学特性とした平面図形である。このとき、市松模様の縦線と横線の交差点の間隔は、事前に定められた既知の値（たとえば、交差点の間隔「Ｍ」）である。ここで、市松模様の黒矩形の縦と横の配列個数が、一方を奇数個として、他方を偶数個とする市松模様を用いると、９０度回転しても、同じ図形とはならない。
図５には、白矩形と黒矩形との配列個数が３個と４個である市松模様の校正パターンが例示されている。例示されている校正パターンは、９０度回転しても、同じ図形とはならない。
ここで、市松模様の間隔（＝幾何学特性）が分かっているので、撮影された校正パターンの大きさと変形の程度から、デジタルカメラを校正することができる。（詳細は後述する）
【００２６】
図６は、校正パターンの撮影台８００を説明する図である。
校正パターン撮影台８００は、校正パターン回転台８１０とカメラ台８３０とから構成される。
校正パターン回転台８１０は、校正パターン４００を貼付する平面板が回転する回転台である。校正パターン回転台８１０の回転軸は、校正パターン回転台８１０が定める平面と垂直に交わる。
カメラ台８３０は、デジタルカメラ１００を設置する台である。
カメラ台８３０に設置されたデジタルカメラ１００の光軸は、校正パターン回転台８１０の回転軸と平行である。
【００２７】
図７は、校正パターンの撮影画像の表示例である。
図７の（ａ）は、回転姿勢が水平（あるいは、垂直）である校正パターン撮影画像４１０の表示例である。校正パターンの市松模様の縦線と横線が水平と垂直である。
図７の（ｂ）は、回転姿勢が斜め４５度である校正パターン撮影画像４１０の表示例である。回転姿勢が斜め４５度である校正パターン撮影画像４１０は、校正パターンの市松模様の縦線と横線が、水平に対して４５度に斜いている。
【００２８】
図８は、室内撮影画像と家具ＣＧ画像２５０の合成表示画面の例である。
例示されている合成表示画面には、家具ＣＧ画像２５０がマーカー画像２０１の位置に、マーカー画像２０１の方向に向けて撮影画像と重畳されて合成されている。
【００２９】
ここで、図９を用いて、家具シミュレーションシステム１が扱う３つの座標系の説明をする。
家具シミュレーションシステム１が扱う３つの座標系は、室内空間座標系（Ｘm、Ｙm 、Ｚm ）と、カメラ座標系（Ｘc 、Ｙc 、Ｚc ）と、撮影画像平面座標系（ｘp 、ｙp ）とである。
室内空間座標系（Ｘm、Ｙm 、Ｚm ）は、マーカー２００を原点とする三次元空間で、撮影される室内を形成する空間である。ここで、マーカー２００は、Ｘ軸とＹ軸がなす平面内に配置される。室内空間座標系には、撮影対象物（マーカー２００や部屋の調度品など）と、デジタルカメラ１００が配置されている。
カメラ座標系（Ｘc 、Ｙc 、Ｚc ）は、デジタルカメラ１００を原点とする三次元空間である。
撮影画像平面座標系（ｘp 、ｙp ）は、デジタルカメラ１００が撮影して生成した撮影画像を現わす二次元平面である。このデジタルカメラが撮影した撮影画像は、室内空間座標系に配置された撮影対象物を透視変換した二次元画像である。
【００３０】
図１０は、（３）《校正パターン撮影作業》のフローチャートである。
（１）店員は、室内撮影画像のｅｘｉｆ（Exchangeable Image File Format）参照して、焦点距離の値ｆを読み取り、顧客のデジタルカメラ１００の焦点距離を読み取った焦点距離の値ｆに設定する。（ステップＳ１１０）
（２）店員は、顧客のデジタルカメラ１００を校正パターン撮影台８００のカメラ台８３０に設置する。（ステップＳ１２０）
（３）店員は、校正パターン回転台８１０を回転させて、校正パターンを所定の回転姿勢にする。（ステップＳ１３０）
（４）店員は、顧客のデジタルカメラ１００を用いて、所定の回転姿勢の校正パターンを撮影する。（ステップＳ１４０）
（５）店員は、全ての回転姿勢（たとえば、水平と、垂直と、斜め４５度との３つの回転姿勢）で、校正パターンを撮影したか否かを判定する。
全ての回転姿勢の校正パターンを撮影していれば、デジタルカメラ１００を家具シミュレーション装置３００に接続して、撮影画像の出力を指示して、撮影作業を終了する。
全ての回転姿勢の校正パターンの撮影が否であれば、ステップＳ１３０に戻る。（ステップＳ１５０）
【００３１】
図１１は、（７）《カメラ校正処理》の詳細な流れを説明する図である。
以下に、図２における（７）《カメラ校正処理》の詳細な流れを説明する。
（７−１）《交差点抽出処理》家具シミュレーション装置３００は、３つの異なる回転姿勢の校正パターン撮影画像（二次元画像）に対して、二値化処理（詳細は後述する）して二値化画像を生成して、二値化画像に対して輪郭部画素抽出処理（詳細は後述する）して輪郭部画素を抽出して、輪郭部画素に対して折れ線近似処理（詳細は後述する）して市松模様の縦線と横線を算出して、この縦線と横線の交差点を抽出する。
【００３２】
（７−２）《ホモグラフィー行列算出処理》家具シミュレーション装置３００は、３つの回転姿勢の校正パターンの市松模様の交差点座標と、それぞれの回転姿勢の校正パターンの撮影画像の交差点座標に対して、ホモグラフィー行列算出処理して、３組のホモグラフィー行列Ｈの行列要素の値を算出する。
ここで、ホモグラフィー行列算出処理とは、たとえば、２つの平面上の座標間にはホモグラフィー座標変換関係が成立することが数学的にすでに分かっているホモグラフィー行列式（下記の数式１）を用いて、以下の手順にて、ホモグラフィー行列Ｈの９つの行列要素Ｈij（ｉ、ｊ＝１、２、３）の値を算出すればよい。
（ａ）１つの校正パターン撮影画像の市松模様の交差点から、少なくとも４つの交差点の座標情報「ｘpk 、ｙpk 」（ｋ＝１、２、３、４）を算出する。
（ｂ）家具シミュレーション装置３００は、この校正パターン撮影画像の４つの交差点に対応する校正パターン（二次元平面）上の４つの交差点の座標情報（＝室内空間座標系）「Ｘmk 、Ｙmk 」（ｋ＝１、２、３、４）を、標準校正パターン情報の交差点間隔値を適用して算出する。
（ｃ）家具シミュレーション装置３００は、二次元平面の４つの交差点の座標情報「ｘｐｋ 、ｙpk 」を二次元画像の「Ｘmk 、Ｙmk 」にホモグラフィー変換する二次元座標変換関係式（たとえば、２つの二次元画像の関係が成立することが数学的にすでに分かっている下記のホモグラフィー行列Ｈを用いた（数式１）に代入して、９つの式を作成して、これらを解いて、ホモグラフィー行列Ｈの９つの行列要素Ｈi（ｉ＝１〜９）の値を算出する。
（ｄ）他の２つの異なる回転姿勢の校正パターン撮影画像に対しても、（ａ）〜（ｃ）の処理を繰り返すことで、それぞれの校正パターン撮影画像からホモグラフィー行列要素Ｈijの値を算出して、合計３組のホモグラフィー行列Ｈの行列要素の値Ｈij（ｉ＝１〜９、ｊ＝１、２、３）を算出する。
【数１】
ここで、ｘpは、校正パターンの交差点の撮影画像平面座標系のｘ座標値である。ｙpは、校正パターンの交差点の撮影画像平面座標系のｙ座標値である。Ｘmは、校正パターンの交差点の室内空間座標系のＸ座標値である。Ｙmは、校正パターンの交差点の室内空間座標系のＹ座標値である。
【００３３】
（７−３）《カメラ内部パラメーター行列導出処理》家具シミュレーション装置３００は、３組の行列要素Ｈijの値を用いて、以下の手順でカメラを校正して、カメラ内部パラメーター行列Ｋ（下記の数式２）を導出する。
ここで、カメラ内部パラメーター行列とは、カメラに固有のもので、特定のカメラ内部パラメーター行列を求めることをカメラ校正という。
（ａ）３組の行列要素Ｈijの値を下記の数式３と数式４に代入して、６つの線形方程式を作成する。
ここで、数式３と数式４との２つを組合せた式（＝ホモグラフィー内部パラメーター関係式）は、成立することが数学的にすでに分かっている関係式であって、詳細については、以下の非特許文献に記載がある。「佐川立昌、外１名、“２つの平行光の観測による内部パラメーターの安定なキャリブレーション”、画像の認識・理解シンポジウム（ＭＩＲＵ２００７）、２００７年７月、ｐ．２−３」。
（ｂ）６つの線形方程式を解いて、５つパラメーター「αu、αv、ｕ0、ｖ0、ｂ」の値を算出する。
（ｃ）５つパラメーター「αu、αv、ｕ0、ｖ0、ｂ」の値をカメラ内部パラメーター行列Ｋに設定する。
【数２】
【数３】
【数４】
ここで、行列の上付き記号「−１」は、逆行列を示す。行列の上付き記号「Ｔ」は、転置列を示す。行列の上付き記号「−Ｔ」は、転置した逆行列を示す。
【００３４】
次に、図１５と、下記の数式５から数式７と、を用いて、カメラ内部パラメーター行列Ｋと、焦点距離ｆとの関係を、補足説明する。
【００３５】
撮影平面座標系（ｘp 、ｙp ）とカメラ座標系（Ｘc、Ｙc 、Ｚc ）の関係において、カメラ座標系の原点と撮影平面との距離は、焦点距離ｆに相当する。このとき、２つの座標系の座標間には、下記の数式５が成立することが数学的にすでに分かっている。（詳細については、以下の非特許文献に記載がある。徐剛、外１名著、「３次元ビジョン」、共立出版株式会社、初版、１９９８年４月２０日、ｐ．１０−１１）。
【数５】
【００３６】
図１５は、撮影平面座標系（ｘp 、ｙp ）と、撮影画像の画素の座標を表すカメラ内部座標系（ｕ 、ｖ ）との関連を説明する図である。
撮影平面座標系においては、２つの座標軸、ｘp軸６０１とｙp軸６０２は、直交する。軸のスケールは同じである（軸のスケールが同じとは、画素が正方形であることを意味する）。
カメラ内部座標系においては、２つの座標軸、ｕ軸６９１とｖ軸６９２がなす角度は、θである。単位長をそれぞれ、ｋuとｋvとする（一般的には、ｕ軸とｖ軸のスケールは異なる）。また、カメラ内部座標系の中心座標（＝カメラの光軸がカメラ内部座標系の画素平面と交わる交点座標）は、［ｕ0、ｖ0］tである。
このとき、この２つの座標系の間には、下記の数式６が成立することが数学的にすでに分かっている。（詳細については、以下の非特許文献に記載がある。徐剛、外１名著、「３次元ビジョン」、共立出版株式会社、初版、１９９８年４月２０日、ｐ．１２−１３）
【数６】
【００３７】
次に、数式６に数式５を代入して、下記の数式７を導くと、カメラ内部パラメーター行列Ｋの中の３つのパラメーター「αu 、ｂ、αv」は、それぞれ、αu ＝ｆｋu 、ｂ＝−ｆｋu cotθ、αv＝ｆｋv /sinθの関係が成立することが分かる。このことは、カメラ内部パラメーター行列Ｋは、焦点距離ｆに依存していることを意味している。
ちなみに、数式７において、ｆｋuとｆｋvが残っているのは、焦点距離ｆの変化と軸のスケールｋu、ｋvの変化（＝画素サイズの変化）が区別して取り出せないことを意味している。
【数７】
【００３８】
なお、たとえば、画像処理プログラミングライブラリーであるＯｐｅｎＣＶの関数cvFindChessboardCornersを用いることにより、校正パターンの交差点の座標情報「ｘpk 、ｙpk 」を検出することができる。また、この校正パターンの交差点の座標情報「ｘpk 、ｙpk 」を、関数cvCalibrateCamera2に代入することで、カメラ内部行列Ｋを算出することができる。ここで、ＯｐｅｎＣＶは、Ｉｎｔｅｌ（登録商標）社が開発提供するオープンソースのプログラミングライブラリーである。
【００３９】
図１２は、（８）《マーカーの切り出し処理》と（９）《 座標変換式算出処理》の詳細な流れを説明する図である。
【００４０】
以下に、まず、図２における（８）《マーカーの切り出し処理》の詳細な流れを説明する。
（８−１）《室内撮影画像の二値化処理》家具シミュレーション装置３００は、室内撮影画像の明度情報に対して、適切な閾値（たとえば、明度情報の最高値の２分の１など）を適用して二値化処理して、マーカー枠を形成する罫線の二値化画素を含む二値化画像を生成する。
なお、撮影画像の明度情報は、たとえば撮影画像がグレースケールの場合には、明度情報として、グレースケール値を用いる。また、撮影画像がＲＧＢ値で構成される場合には、この撮影画像のＲＧＢ値の相加平均や加重平均などにより算出すれば良い。
【００４１】
（８−２）《輪郭部画素抽出処理》家具シミュレーション装置３００は、二値化画像に対して、以下に説明する周知の隣接領域探索アルゴリズムを用いて、黒画素を抽出して、この抽出した黒画素を輪郭部画素とする。
ここで、隣接領域探索アルゴリズムは、二値化画像を端から走査して、検出した未追跡黒画素を始点の輪郭部画素として、この画素を次の中心にして、４連結または８連結の画素を隣接する画素の定義として、隣接する画素を探索して黒画素を検出して、始点に戻るまでこれを繰り返えすものである。
あるいは、隣接領域探索アルゴリズムは、二値化画像に対して、周知の微分フィルターを適用した空間フィルタリング処理により、エッジを抽出して、このエッジの画素を輪郭部画素として抽出するものでも良い。このとき、微分フィルターとしては、一次微分フィルター(たとえば、ソーベル・フィルターなど)や二次微分フィルター（たとえば、四方向ラプラシアン・フィルターや、八方向ラプラシアン・フィルターなど）を用いれば良い。
【００４２】
（８−３）《四角形画像の切り出し処理》家具シミュレーション装置３００は、輪郭部画素に対して、折れ線近似処理して線分を算出して、４本の算出された線分で囲まれた四角形画像を抽出する。
ここで、折れ線近似処理とは、たとえば、多数の輪郭部画素の並びから直線を検出できるということが数学的にすでに分かっているハフ変換式（下記の数式８）を用いて、以下の手順にて、画素を通る直線（下記の数式９）を算出すればよい。
（ａ）輪郭部画素に対してハフ変換式（下記の数式１）を適用して正弦曲線に変換する。
（ｂ）正弦曲線を画素に対応付ける。
（ｃ）所定の本数以上の正弦曲線が交差する点の座標（ρ0、θ0）を抽出する。
（ｄ）抽出した点の座標（ρ0、θ0）をハフ変換式（下記の数式８）に代入して、この点に交差する正弦曲線に対応する画素を通る直線（下記の数式９）を算出する。
【数８】
【数９】
【００４３】
（８−４）《透視変換関係式導出処理》家具シミュレーション装置３００は、四角形画像の４本の線分（＝算出された数式７）の４つの交点座標（＝４つの頂点座標）と、マーカー２００の正方形枠の４つの頂点座標とに対して、透視変換関係式（室内空間座標系のＸ軸とＹ軸がなす面の座標（Ｘm 、Ｙm）を撮影画像平面座標系の座標（ｘp 、ｙp）に透視投影する関係式であることが数学的にすでに分かっている下記の数式１０）を適用して、８つの式を作成して、数式１８の８つのＣijを算出して、二次元画像透視変換関係式（下記の数式１１）を導出する。
ところで、マーカー２００の正方形枠の４つの頂点座標は、正方形枠の中心を原点とする座標値であって、既知の値である、正方形の１辺の長さ「Ｌ」から、算出すればよい。
【数１０】
ここで、ｘp は、撮影画像平面座標系における画像のＸ座標値である。ｙp は、撮影画像平面座標系における画像のＹ座標値である。
ｈは、カメラ原点と画像平面の距離を変数とする値である。
Ｘmは、室内空間座標系における画像のＸ座標値である。Ｙm は、室内空間座標系における画像のＹ座標値である。
Ｃijは、二次元画像透視変換関係式の行列要素である。ここで、ｉ，ｊ＝１、２，３である。
【数１１】
ここで、Ｃa 、Ｃb 、・・、Ｃh は、算出した二次元画像透視変換関係式の行列要素である。
【００４４】
（８−５）《四角形画像の変形処理》家具シミュレーション装置３００は、この導出した二次元画像透視変換関係式を用いて、四角形画像を変形する。
【００４５】
（８−６）《画素数正規化処理》家具シミュレーション装置３００は、変形した四角形画像の横方向と縦方向を独立して拡大／縮小処理して、標準マーカーテンプレート（二次元画像）の横方向と縦方向の画素数と一致させたマーカー候補画像を生成する。ここで、マーカーの図柄を識別するためには、たとえば、６４×６４画素の標準マーカーテンプレートを用いればよい。
【００４６】
（８−７）《マーカー認識処理》家具シミュレーション装置３００は、マーカー候補画像を標準マーカーテンプレートと照合して、テンプレートマッチングしてマーカーを認識し、同時にマーカー回転方向を検出して、このマーカー回転方向情報を保持する。
ここで、テンプレートマッチングでは、相互相関関数（たとえば、類似度を算出できるということが数学的にすでに分かっている下記の数式１２）を用いて、マーカー候補画像と標準マーカーテンプレートの類似度を算出して、最も類似度の高いマーカー候補画像をマーカーとして認識すればよい。
また、マーカーの回転に対応するために、標準マーカーテンプレートとして、９０度おきに回転したテンプレートを４つ用意することで、テンプレートマッチングでマーカーを認識したときのテンプレートから回転方向を検出することができる。
【数１２】
ここで、ｔは、テンプレート画像である。
Ｍは、テンプレート画像の横方向の画素数である。
Ｎは、テンプレート画像の縦方向の画素数である。
ｆは、マーカー候補画像である。
ｋは、マーカー候補画像ｆまたは標準マーカーテンプレートｔの横方向の画素位置である。
ｌは、マーカー候補画像ｆまたは標準マーカーテンプレートｔの縦方向の画素位置である。
ｆ［ｋ］［ｌ］は、マーカー候補画像ｆの画素位置（ｋ、ｌ）の画素値（０または１）である。
ｔ［ｋ］［ｌ］は、標準マーカーテンプレートｔの画素位置（ｋ、ｌ）の画素値（０または１）である。
オーバーライン付ｆは、マーカー候補画像ｆの画素値の平均値である。
オーバーライン付ｔは、標準マーカーテンプレートｔの画素値の平均値である。
【００４７】
なお、たとえば、拡張現実感プログラミングライブラリーであるARToolKitのarDetectMarkerを用いることにより、撮影画像からマーカーを容易に抽出することができる。ここで、ARToolKitは、the University of Washingtonのthe Human Interface Technology Laboratoryが開発提供するオープンソースのプログラミングライブラリーである。
【００４８】
以下に、次に、図２における（９）《 座標変換式算出処理》の詳細な流れを説明する。
（９−１）《二次元撮影画像の三次元座標変換》
家具シミュレーション装置３００は、（７）《カメラ校正処理》により算出したカメラ内部行列Ｋを設定した座標変換式（数式１３）を用いて、撮影画像平面座標系（ｘp 、ｙp ）の、撮影画像から切り取ったマーカー画像２０１の座標値（ｘp 、ｙp ）を、カメラ座標系の座標値（Ｘc 、Ｙc 、Ｚc ）に透視変換する。
【数１３】
ｘpは、撮影画像平面座標系における撮影画像のｘ座標値である。ｙpは、撮影画像平面座標系における撮影画像のｙ座標値である。
Ｘcは、カメラ座標系における撮影画像のＸ座標値である。Ｙcは、カメラ座標系における撮影画像のＹ座標値である。Ｚcは、カメラ座標系における撮影画像のＺ座標値である。
Ｋは、校正したカメラ内部行列である。αu、αv、ｕ0、ｖ0、ｂは、カメラ内部行列Ｋの５つパラメーターの値である。ｈは、カメラ原点と画像平面の距離である。
【００４９】
（９−２）《正射影変換関係式の導出》
家具シミュレーション装置３００は、正射影変換関係式（たとえば、正射影変換(＝アフィン変換)行列関係式として、すでに数学的に分かっている下記の数式１４）に対して、カメラ座標系の室内撮影画像のマーカー画像２０１の４つの頂点座標値［Ｘck 、Ｙck 、Ｚck ］（ｋ＝１、２、３、４）と、室内空間座標系のマーカー２００の４つの頂点座標値［Ｘmk、Ｙmk 、Ｚmk ］（ｋ＝１、２、３、４）とを対応付けて代入して１２個の式を作成して、これらを解いて、座標変換行列の回転移動成分の９つの行列要素Ｒij （ｉ，ｊ＝１、２，３）と、座標変換行列の平行移動成分の３つの行列要素Ｔi （ｉ＝１、２，３）と、を算出して、デジタルカメラ座標系（Ｘc 、Ｙc 、Ｚc ）と室内空間座標系（Ｘm、Ｙm 、Ｚm ）との三次元正射影変換関係式（下記の数式１５）を導出して、この式を撮影条件の三次元座標変換式に設定する。
【数１４】
Ｘc は、カメラ座標系における画像のＸ座標値である。Ｙc は、カメラ座標系における画像のＹ座標値である。Ｚc は、カメラ座標系における画像のＺ座標値である。
Ｘmは、室内空間座標系における画像のＸ座標値である。Ｙm は、室内空間座標系における画像のＹ座標値である。Ｚm は、室内空間座標系における画像のＺ座標値である。
Ｒij は、正射影変換関係式の行列要素の回転移動成分である。
Ｔi は、正射影変換関係式の行列要素の平行移動成分である。
ここで、ｉ，ｊ＝１、２，３である。
【数１５】
Ｒa 、Ｒb 、・・、Ｒi は、算出した回転移動成分の行列要素である。Ｔa 、Ｔb 、Ｔc は、算出した平行移動成分の行列要素である。
【００５０】
なお、たとえば、前述したＡＲＴｏｏｌＫｉｔのarGetTransMat を用いることにより、室内撮影画像データのマーカー画像を適用して、正射影変換関係式を、容易に求めることができる。
【００５１】
図１３は、デジタルカメラ１００の詳細な構成図である。
デジタルカメラ１００は、マイクロコンピューター１１０と、レンズ１６１と、レンズ位置制御部１７０と、撮像部１６０と、Ａ／Ｄ変換部１２０と、照明部１５０と、操作部１３０と、表示部１４０と、接続部１８０と、電源部１８３と、画像記録部１９０などから構成される。
【００５２】
マイクロコンピューター１１０は、デジタルカメラの各種の機能を実現するプログラムやハードウェアを有する大規模集積回路（ＬＳＩ）である。
【００５３】
レンズ１６１は、入射した光を屈折させて実像を撮像部に結像させるための光学素子である。
レンズ位置制御部１７０は、マイクロコンピューター１１０の指示に従って、レンズ１６１を移動させるモーターである。
【００５４】
撮像部１６０は、レンズを通過した光学的信号を電気的信号に変換して、アナログ信号の画像データを生成するＣＣＤやＣＭＯＳである。
Ａ／Ｄ変換部：アナログ信号の画像データからデジタル信号の撮影画像データ１９５に変換して、マイクロプロセッサーに出力する。
【００５５】
照明部１５０は、マイクロコンピューター１１０の指示に従って、発光するストロボである。
【００５６】
表示部１４０は、撮影画像データやデジタルカメラの設定情報などを表示する液晶表示装置やＥＬデバイスなどである。
操作部１３０は、焦点距離情報などのデジタルカメラの設定情報を入力または変更するメニューボタンや、電源スイッチなどから構成される。
【００５７】
画像記録部１９０は、撮影画像データ１９５を記憶する半導体メモリーである。
【００５８】
接続部１８０は、ホスト機器（＝家具シミュレーション装置３００）に接続するためのＵＳＢ（Universal Serial Bus）アダプターである。
接続部１８０は、ＵＳＢ接続した家具シミュレーション装置３００に画像データを出力する。
電源部１８３は、二次電池である。
【００５９】
そのほかに、図示はしないが、絞りリングや、マイクロコンピューターの指示に従って、モーターを駆動させて、絞りリングの開口面積を変更する絞り機構部などを有する。
【００６０】
デジタルカメラ１００は、マイクロコンピューター１１０が、操作部１３０から入力された撮像光学系Ｌの焦点距離情報ｆをレンズの移動距離に換算して、このレンズの移動距離をモーターの回転量情報に変換して、このモーターの回転量情報を含む指示をレンズ位置制御部１７０に出力する。
デジタルカメラ１００は、撮像部１６０が、レンズ１６１を通過した光学的信号をアナログ信号に変換して、アナログ信号の画像データを生成する。次に、Ａ／Ｄ変換部１２０が、デジタル信号の撮影画像データ１９５に変換して、マイクロプロセッサー１１０に出力する。
マイクロプロセッサー１１０は、入力した撮影画像データ１９５を表示部１４０や画像記録部１９０に出力する。
【００６１】
図１４は、家具シミュレーション装置３００の詳細な構成図である。
家具シミュレーション装置３００は、ＣＰＵ３０１と、表示部３０２と、操作部３０４と、接続部３０８と、記憶部３０９と専用プログラムなどを備える。
ＣＰＵ３０１と、表示部１０２と、操作部３０４と、接続部３０８と、記憶部３０９とは、ＢＵＳ３９９で接続される。
【００６２】
ＣＰＵ３０１は、中央演算装置である。
表示部３０２は、液晶表示装置や有機ＥＬ表示装置である。
操作部３０４は、キーボードやマウスである。
接続部３０８は、ＵＳＢアダプターである。
【００６３】
記憶部３０９は、半導体メモリーや磁気メモリーである。
記憶部３０９は、標準マーカー格納領域３０９１と、内部パラメーター格納領域３０９２と、標準校正パターン格納領域３０９３と、正射影変換関係式格納領域３０９４と、撮影画像格納領域３０９５と、合成用画像格納領域３０９７と、を備えて、オペレーティングシステム３８５と、三次元ＣＧプログラム３８０と、専用プログラムとを記憶する。
【００６４】
標準マーカー格納領域３０９１は、寸法情報と標準マーカーテンプレート（たとえば、図柄情報）を含む標準マーカー情報３９１を格納する。
家具モデル格納領域３０９２は、家具モデルデータ３９２を格納する。
標準校正パターン格納領域３０９３は、標準校正パターン情報３９３を格納する。
正射影変換関係式格納領域３０９４は、正射影変換関係式情報３９８（数式１５）を格納する。
撮影画像格納領域３０９５は、室内撮影画像データと校正パターン撮影画像データとから校正される撮影画像データ１９５を格納する。
合成用画像格納領域３０９６は、家具ＣＧ画像データ３９６を格納する。
内部パラメーター格納領域３０９７は、内部パラメーター情報３９７（数式２）を格納する。
【００６５】
オペレーティングシステム３８５は、家具シミュレーション装置３００のハードウェア（たとえば、ＣＰＵ３０１と、表示部３０２と、接続部３０８と、記憶部３０９と、ＢＵＳ３９９など）を管理・制御して、応用ソフトウエア（たとえば、専用プログラム）に対して、これらのハードウェアを利用できるようなサービスを提供する基本ソフトウエアである。
三次元ＣＧプログラム３８０は、既存のプログラムであって、レンダリング処理のアルゴリズムは、限定されず、入手可能なものを用いればよい。
【００６６】
このほかに、撮影画像入力手段３１０と、カメラ校正手段３２０と、マーカー検出手段３３０と、正射影変換式導出手段３４０と、合成画面作成表示手段３５０と、を備える。これらの各手段は、それぞれの専用プログラムによって実現され、専用プログラムがＣＰＵ３０１に解釈・実行されることによって機能する。
【００６７】
撮影画像入力手段３１０は、デジタルカメラ１００が出力する室内撮影画像と校正パターン撮影画像データを有する撮影画像データを、接続部３０８を経由して入力する。
【００６８】
カメラ校正手段３２０は、入力した校正パターン撮影画像データと標準校正パターン情報を用いて、カメラの内部パラメーターＫ（数式２）を導出する。
カメラ校正手段３２０の処理の詳細は、図１１の（７）《カメラ校正処理》の詳細な流れを説明する項で述べた。
【００６９】
マーカー検出手段３３０は、標準マーカー情報の標準マーカーテンプレートを用いて、室内撮影画像からマーカー画像２０１を検出して切り出す。
なお、マーカー検出手段３３０の処理の詳細は、図１２の（８）《マーカーの切り出し処理》の詳細な流れを説明する項で述べた。
【００７０】
正射影変換式導出手段３４０は、検出したマーカー画像の４つの頂点座標と標準マーカー情報の寸法情報を用いて、正射影変換関係式（数式１５）を導出する。
なお、正射影変換式導出手段３４０の処理の詳細は、図１２の（９）《座標変換式算出処理》の詳細な流れを説明する項で述べた。
【００７１】
合成画面作成表示手段３５０は、家具モデルデータに対して正射影変換関係式を適用して、三次元ＣＧプログラム３８０を呼び出して、レンダリング処理させてマーカーの方向に対応付けられた家具ＣＧ動画データを作成させて、これを室内撮影画像データに重畳して合成して、表示部に表示する。
ここで、室内撮影画像データが動画の場合には、合成画面作成表示手段３５０は、生成した家具ＣＧ動画データを、実時間で室内撮影画像データに重畳して合成して、表示部に表示する。
【符号の説明】
【００７２】
１００ デジタルカメラ
１１０ マイクロコンピューター
１６１ レンズ
１７０ レンズ位置制御部
１６０ 撮像部
１２０ Ａ／Ｄ変換部
１５０ 照明部
１３０ 操作部
１４０ 表示部
１８０ 接続部
１９５ 撮影画像データ
２００ マーカー
２０１ マーカー画像
３００ 家具シミュレーション装置
３１０ 撮影画像入力手段
３２０ カメラ校正手段
３３０ マーカー検出手段
３４０ 正射影変換式導出手段
３５０ 合成画面作成表示手段
３８０ 三次元ＣＧプログラム
４００ 校正パターン
【特許請求の範囲】
【請求項１】
寸法と図柄が既知の標準マーカーと、標準校正パターンと、家具モデルデータと、を用いる家具シミュレーション方法であって、
操作者が、デジタルカメラにより、前記標準マーカーを置いた室内を撮影して、室内撮影画像データを生成する室内撮像ステップと、
操作者が、デジタルカメラに、室内を撮影した時と同じ焦点距離を設定して、標準校正パターンを撮影して、校正パターン撮影画像データを生成する校正パターン撮像ステップと、
家具シミュレーション装置が、少なくとも３つの校正パターン撮影画像データから、カメラ座標系と撮影平面座標系との関係を表すカメラ内部パラメーターを導出するカメラ校正ステップと、
家具シミュレーション装置が、標準マーカーの図柄情報を用いて、室内撮影画像から標準マーカー画像を検出するマーカー検出ステップと、
家具シミュレーション装置が、前記カメラ内部パラメーターを用いて、検出した標準マーカー画像を三次元マーカー画像に変換して、変換した三次元マーカー画像と標準マーカーの寸法情報とを用いて、三次元正射影変換関係式を導出する正射影変換式導出ステップと、
家具シミュレーション装置が、家具モデルデータに対して三次元正射影変換関係式を適用して、レンダリング処理して、家具ＣＧ画像データを生成して、これを室内撮影画像データに重畳して合成して、表示部に表示する合成画面作成表示ステップと、
を含んだ手順でなされることを特徴とする家具シミュレーション方法。
【請求項２】
寸法と図柄が既知の標準マーカーと、標準校正パターンと、家具モデルデータと、を用いる家具シミュレーション方法であって、
顧客が、デジタルカメラにより、前記標準マーカーを置いた室内を撮影して、室内撮影画像データを生成する室内撮像ステップと、
顧客が、室内を撮影したデジタルカメラと、室内撮影画像データを店舗に持参する店舗持参ステップと、
店員が、デジタルカメラに、室内を撮影した時と同じ焦点距離を設定して、標準校正パターンを撮影して、校正パターン撮影画像データを生成する校正パターン撮像ステップと、
家具シミュレーション装置が、少なくとも３つの校正パターン撮影画像データから、カメラ座標系と撮影平面座標系との関係を表すカメラ内部パラメーターを導出するカメラ校正ステップと、
家具シミュレーション装置が、標準マーカーの図柄情報を用いて、室内撮影画像からマーカー画像を検出するマーカー検出ステップと、
家具シミュレーション装置が、前記カメラ内部パラメーターを用いて、検出したマーカー画像を三次元マーカー画像に変換して、変換した三次元マーカー画像と標準マーカーの寸法情報とを用いて、三次元正射影変換関係式を導出する正射影変換式導出ステップと、
家具シミュレーション装置が、家具モデルデータに対して三次元正射影変換関係式を適用して、レンダリング処理して、家具ＣＧ画像データを生成して、これを室内撮影画像データに重畳して合成して、表示部に表示する合成画面作成表示ステップと、
を含んだ手順でなされることを特徴とする家具シミュレーション方法。
【請求項３】
請求項１または請求項２における家具シミュレーション方法において、
前記カメラ校正ステップが、さらに、
少なくとも３つの校正パターン撮影画像データからパターンの特徴点情報を抽出する特徴点抽出工程と、
抽出した特徴点情報と標準校正パターン情報を、ホモグラフィー行列式に代入して、少なくとも３組のホモグラフィー行列要素を算出するホモグラフィー行列算出工程と、
少なくとも３組のホモグラフィー行列要素を、ホモグラフィー内部パラメーター関係式に代入して、カメラ内部パラメーターを算出する内部パラメーター算出工程と、
を含んだ手順でなされることを特徴とする家具シミュレーション方法。
【請求項４】
寸法情報と図柄情報が既知の標準マーカー情報を格納する標準マーカー格納領域と、
家具モデルデータを格納する家具モデル格納領域と、
標準校正パターン情報を格納する標準校正パターン格納領域と、
を備える記憶手段と、
焦点距離を設定したデジタルカメラが、前記標準マーカーを置いた室内を撮影して生成した室内撮影画像データと、
室内を撮影した時と同じ焦点距離を設定したデジタルカメラが、校正パターンを撮影して生成した校正パターン撮影画像データを、入力する撮影画像入力手段と、
少なくとも３つの校正パターン撮影画像データからパターンの特徴点情報を抽出して、抽出した特徴点情報と標準校正パターン情報を用いて、少なくとも３つのホモグラフィー行列を算出して、これらのホモグラフィー行列式を解いて、カメラ内部パラメーターを導出するカメラ校正手段と、
標準マーカー情報の図柄情報を用いて、室内撮影画像データからマーカー画像データを検出するマーカー検出手段と、
前記カメラ内部パラメーターを用いて、検出したマーカー画像を三次元マーカー画像に変換して、変換した三次元マーカー画像と標準マーカーの寸法情報とを用いて、三次元正射影変換関係式を導出する正射影変換式導出手段と、
家具モデルデータに対して三次元正射影変換関係式を適用して、レンダリング処理して、これを撮影画像データに重畳して合成して、表示部に表示する合成画面作成表示手段と、
を備えることを特徴とする家具シミュレーション装置。
【請求項５】
請求項４における家具シミュレーション装置において、
前記カメラ校正手段が、さらに、
少なくとも３つの校正パターン撮影画像データからパターンの特徴点情報を抽出する特徴点抽出機能と、
抽出した特徴点情報と標準校正パターン情報を、ホモグラフィー行列式に代入して、少なくとも３組のホモグラフィー行列要素を算出するホモグラフィー行列算出機能と、
少なくとも３組のホモグラフィー行列要素を、ホモグラフィー内部パラメーター関係式に代入して、カメラ内部パラメーターを算出する内部パラメーター算出機能と、
を備えることを特徴とする家具シミュレーション装置。
【請求項６】
コンピュータに組込むことによって、コンピュータを請求項４または請求項５に記載の家具シミュレーション装置として動作させるコンピュータプログラム。
【請求項７】
請求項６に記載のコンピュータプログラムを記録したコンピュータ読取り可能な記録媒体。
【請求項１】
寸法と図柄が既知の標準マーカーと、標準校正パターンと、家具モデルデータと、を用いる家具シミュレーション方法であって、
操作者が、デジタルカメラにより、前記標準マーカーを置いた室内を撮影して、室内撮影画像データを生成する室内撮像ステップと、
操作者が、デジタルカメラに、室内を撮影した時と同じ焦点距離を設定して、標準校正パターンを撮影して、校正パターン撮影画像データを生成する校正パターン撮像ステップと、
家具シミュレーション装置が、少なくとも３つの校正パターン撮影画像データから、カメラ座標系と撮影平面座標系との関係を表すカメラ内部パラメーターを導出するカメラ校正ステップと、
家具シミュレーション装置が、標準マーカーの図柄情報を用いて、室内撮影画像から標準マーカー画像を検出するマーカー検出ステップと、
家具シミュレーション装置が、前記カメラ内部パラメーターを用いて、検出した標準マーカー画像を三次元マーカー画像に変換して、変換した三次元マーカー画像と標準マーカーの寸法情報とを用いて、三次元正射影変換関係式を導出する正射影変換式導出ステップと、
家具シミュレーション装置が、家具モデルデータに対して三次元正射影変換関係式を適用して、レンダリング処理して、家具ＣＧ画像データを生成して、これを室内撮影画像データに重畳して合成して、表示部に表示する合成画面作成表示ステップと、
を含んだ手順でなされることを特徴とする家具シミュレーション方法。
【請求項２】
寸法と図柄が既知の標準マーカーと、標準校正パターンと、家具モデルデータと、を用いる家具シミュレーション方法であって、
顧客が、デジタルカメラにより、前記標準マーカーを置いた室内を撮影して、室内撮影画像データを生成する室内撮像ステップと、
顧客が、室内を撮影したデジタルカメラと、室内撮影画像データを店舗に持参する店舗持参ステップと、
店員が、デジタルカメラに、室内を撮影した時と同じ焦点距離を設定して、標準校正パターンを撮影して、校正パターン撮影画像データを生成する校正パターン撮像ステップと、
家具シミュレーション装置が、少なくとも３つの校正パターン撮影画像データから、カメラ座標系と撮影平面座標系との関係を表すカメラ内部パラメーターを導出するカメラ校正ステップと、
家具シミュレーション装置が、標準マーカーの図柄情報を用いて、室内撮影画像からマーカー画像を検出するマーカー検出ステップと、
家具シミュレーション装置が、前記カメラ内部パラメーターを用いて、検出したマーカー画像を三次元マーカー画像に変換して、変換した三次元マーカー画像と標準マーカーの寸法情報とを用いて、三次元正射影変換関係式を導出する正射影変換式導出ステップと、
家具シミュレーション装置が、家具モデルデータに対して三次元正射影変換関係式を適用して、レンダリング処理して、家具ＣＧ画像データを生成して、これを室内撮影画像データに重畳して合成して、表示部に表示する合成画面作成表示ステップと、
を含んだ手順でなされることを特徴とする家具シミュレーション方法。
【請求項３】
請求項１または請求項２における家具シミュレーション方法において、
前記カメラ校正ステップが、さらに、
少なくとも３つの校正パターン撮影画像データからパターンの特徴点情報を抽出する特徴点抽出工程と、
抽出した特徴点情報と標準校正パターン情報を、ホモグラフィー行列式に代入して、少なくとも３組のホモグラフィー行列要素を算出するホモグラフィー行列算出工程と、
少なくとも３組のホモグラフィー行列要素を、ホモグラフィー内部パラメーター関係式に代入して、カメラ内部パラメーターを算出する内部パラメーター算出工程と、
を含んだ手順でなされることを特徴とする家具シミュレーション方法。
【請求項４】
寸法情報と図柄情報が既知の標準マーカー情報を格納する標準マーカー格納領域と、
家具モデルデータを格納する家具モデル格納領域と、
標準校正パターン情報を格納する標準校正パターン格納領域と、
を備える記憶手段と、
焦点距離を設定したデジタルカメラが、前記標準マーカーを置いた室内を撮影して生成した室内撮影画像データと、
室内を撮影した時と同じ焦点距離を設定したデジタルカメラが、校正パターンを撮影して生成した校正パターン撮影画像データを、入力する撮影画像入力手段と、
少なくとも３つの校正パターン撮影画像データからパターンの特徴点情報を抽出して、抽出した特徴点情報と標準校正パターン情報を用いて、少なくとも３つのホモグラフィー行列を算出して、これらのホモグラフィー行列式を解いて、カメラ内部パラメーターを導出するカメラ校正手段と、
標準マーカー情報の図柄情報を用いて、室内撮影画像データからマーカー画像データを検出するマーカー検出手段と、
前記カメラ内部パラメーターを用いて、検出したマーカー画像を三次元マーカー画像に変換して、変換した三次元マーカー画像と標準マーカーの寸法情報とを用いて、三次元正射影変換関係式を導出する正射影変換式導出手段と、
家具モデルデータに対して三次元正射影変換関係式を適用して、レンダリング処理して、これを撮影画像データに重畳して合成して、表示部に表示する合成画面作成表示手段と、
を備えることを特徴とする家具シミュレーション装置。
【請求項５】
請求項４における家具シミュレーション装置において、
前記カメラ校正手段が、さらに、
少なくとも３つの校正パターン撮影画像データからパターンの特徴点情報を抽出する特徴点抽出機能と、
抽出した特徴点情報と標準校正パターン情報を、ホモグラフィー行列式に代入して、少なくとも３組のホモグラフィー行列要素を算出するホモグラフィー行列算出機能と、
少なくとも３組のホモグラフィー行列要素を、ホモグラフィー内部パラメーター関係式に代入して、カメラ内部パラメーターを算出する内部パラメーター算出機能と、
を備えることを特徴とする家具シミュレーション装置。
【請求項６】
コンピュータに組込むことによって、コンピュータを請求項４または請求項５に記載の家具シミュレーション装置として動作させるコンピュータプログラム。
【請求項７】
請求項６に記載のコンピュータプログラムを記録したコンピュータ読取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１０−２８７１７４（Ｐ２０１０−２８７１７４Ａ）
【公開日】平成２２年１２月２４日（２０１０．１２．２４）
【国際特許分類】
【出願番号】特願２００９−１４２５３０（Ｐ２００９−１４２５３０）
【出願日】平成２１年６月１５日（２００９．６．１５）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
【公開日】平成２２年１２月２４日（２０１０．１２．２４）
【国際特許分類】
【出願日】平成２１年６月１５日（２００９．６．１５）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
[ Back to top ]