正面画像データをコンピュータによって生成する方法及びそのコンピュータプログラム、並びに３次元ＣＧモデルの作成方法及びそのコンピュータプログラム
【課題】 簡便に正面画像を得る。
【解決手段】 物体が斜めに写っている原画像データから当該物体の正面画像データをコンピュータによって生成する方法であって、前記原画像データにおいて正面としたい物体の面と平行な矩形領域の４頂点が存在する座標を設定するステップＳ３と、前記４頂点の座標に基づいて、原画像を撮影したカメラと前記物体との幾何学的関係、及び前記カメラの内部パラメータを算出するステップＳ４〜Ｓ６と、前記幾何学的関係、及び前記内部パラメータを用いて、前記原画像データを正面画像データに変換するステップＳ７と、を有する。
【解決手段】 物体が斜めに写っている原画像データから当該物体の正面画像データをコンピュータによって生成する方法であって、前記原画像データにおいて正面としたい物体の面と平行な矩形領域の４頂点が存在する座標を設定するステップＳ３と、前記４頂点の座標に基づいて、原画像を撮影したカメラと前記物体との幾何学的関係、及び前記カメラの内部パラメータを算出するステップＳ４〜Ｓ６と、前記幾何学的関係、及び前記内部パラメータを用いて、前記原画像データを正面画像データに変換するステップＳ７と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
正面画像データをコンピュータによって生成する方法及びそのコンピュータプログラム、並びに３次元ＣＧモデルの作成方法及びそのコンピュータプログラムに関するものである。
【背景技術】
【０００２】
リアルな仮想空間を実現するためには、表面の質感、現実感を高精度に表現する３次元モデルが必要となる。そのため、実物体に忠実な３次元形状モデルを自動生成する方法の確立が期待されている。
最近では、飛行機からレーザースキャナーを用いて、３次元点群データをスキャンしてリアルな３次元地図を作成するということも行われている。そして、このような３次元モデルに、質感、現実感を与えるには、テクスチャが必要となり、テクスチャを貼るには、人からの視点による観測データを用いた方が、より現実感を与えることができ、より自然な３次元モデルができるはずである。
【０００３】
コンピュータグラフィックス（ＣＧ）において、３次元モデリングされた物体へテクスチャマッピングする場合には、高速化のためにテクスチャをアフィン変換し貼り付けることでマッピングが行われている。テクスチャデータを作成するには、ペイントソフトで作成したり、実際の写真や映像を用いる場合の２通りの方法がある。
ペイントソフトを用いた場合は、正面画像になっているため画像の歪みはあまり問題とはならない。しかし、ペイントソフトを利用する場合、誰もが簡単に作成できるわけではなく、デザイナー等が作成しなければ表面の質感、現実感をリアルに表現することは難しい。
そこで、比較的容易に得られる写真や映像を用いることが要望される。
【０００４】
ところが、実際の画像を用いて、そのままテクスチャとして貼ると、大きな歪みが生じる場合がある。特に、対象平面を斜めから撮影した写真を用いるとひどい歪みが生じる。
この画像の歪みを減少させるためには、対象物体を正面からみた画像が必要である。
しかし、実際にマッピングする面に合わせた真正面からの画像を入手することは一般に不可能である。
そこで、３次元モデルへ実画像をマッピングするには、その３次元モデルに対応している面を真正面から見ているような正面画像に合うように変換する必要がある。これが可能となれば、任意の角度、視点から写真を撮影するだけでテクスチャを作成でき、３次元地図のような大規模な３次元モデルへのテクスチャ作成時に大幅に人の労力を軽減することができる。
【０００５】
正面画像生成方法の従来の手法としては、非特許文献１に記載されているものがある。まず、３次元形状が既知のモデルと撮影した写真との間の関係を定める射影行列を求める。そして、求めた射影行列からカメラ座標系と物体の座標系との回転行列と並進ベクトルを求める。更に、それを利用して各パッチにおける射影行列を求め、物体の面にあわせた正面画像を生成する。
この従来の手法では、３次元モデルの座標が既知でなければならないという前提条件が必要であるという問題がある。
【非特許文献１】松井裕司、徐剛、“実画像を用いた３次元物体への正面テクスチャマップの作成”、情報処理学会研究報告、Ｖｏｌ９９、Ｎｏ．３、ｐ２５−ｐ３２、１９９９
【発明の開示】
【発明が解決しようとする課題】
【０００６】
そこで、本発明は、対象平面の形状を矩形に限定することによって、簡便な手法により、正面画像を生成することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、物体が斜めに写っている原画像データから当該物体の正面画像データをコンピュータによって生成する方法であって、前記原画像データにおいて正面としたい物体の面と平行な矩形領域の４頂点が存在する座標を設定するステップと、前記４頂点の座標に基づいて、原画像を撮影したカメラと前記物体との幾何学的関係、及び前記カメラの内部パラメータを算出するステップと、前記幾何学的関係、及び前記内部パラメータを用いて、前記原画像データを正面画像データに変換するステップと、を有することを特徴とする方法である。
本発明では、３次元モデルの多くが矩形であることを利用して、原画像データにおける矩形領域の４頂点の歪んだ配置から、正面画像を生成することができる。
【０００８】
ここで、前記幾何学的関係は、回転行列及び並進ベクトルに基づくものとすることができる。前記内部パラメータは、カメラの焦点距離を持つものとすることができる。
また、前記幾何学的関係、及び前記内部パラメータの算出は、前記４頂点の座標から、前記カメラの焦点からの前記各頂点の奥行きを算出し、当該奥行きに基づく演算によって行うことができる。
【０００９】
４頂点の座標の設定は、前記原画像データを表示装置に表示しておき、表示された原画像上で、前記矩形領域の４頂点の位置を指定することによって行うのが簡便である。
また、表示装置に表示された原画像上に、４頂点を指定するための頂点指定用表示体を表示し、当該頂点指定用表示体を、ユーザの操作によって、表示された原画像上の矩形領域の４頂点に移動させることによって、４頂点の位置を指定すれば、一層簡便に４頂点の座標設定が行える。
【００１０】
コンピュータプログラムに係る本発明は、物体が斜めに写っている原画像データから当該物体の正面画像データを生成するためのコンピュータプログラムであって、コンピュータに、前記原画像データにおいて正面としたい物体の面と平行な矩形領域の４頂点が存在する座標を設定するステップと、前記４頂点の座標に基づいて、原画像を撮影したカメラと前記物体との幾何学的関係、及び前記カメラの内部パラメータを算出するステップと、前記幾何学的関係、及び前記内部パラメータを用いて、前記原画像データを正面画像データに変換するステップと、を実行させるためのものである。
【００１１】
３次元ＣＧモデルの作成方法に係る本発明は、物体が斜めに写っている原画像データにおいて正面としたい物体の面と平行な矩形領域の４頂点が存在する座標を設定するステップと、前記４頂点の座標に基づいて、原画像を撮影したカメラと前記物体との幾何学的関係、及び前記カメラの内部パラメータを算出するステップと、前記幾何学的関係、及び前記内部パラメータを用いて、前記原画像データを正面画像データに変換するステップと、当該正面画像データを３次元ＣＧモデルに貼り付けるステップと、を有することを特徴とする。この方法によれば、簡便に正面画像が得られ、これを３次元ＣＧモデルに貼り付けることによって、簡単にリアルな３次元ＣＧモデルを得ることができる。
【００１２】
また、３次元ＣＧモデルの作成用のコンピュータプログラムに係る本発明は、コンピュータに、物体が斜めに写っている原画像データにおいて正面としたい物体の面と平行な矩形領域の４頂点が存在する座標を設定するステップと、前記４頂点の座標に基づいて、原画像を撮影したカメラと前記物体との幾何学的関係、及び前記カメラの内部パラメータを算出するステップと、前記幾何学的関係、及び前記内部パラメータを用いて、前記原画像データを正面画像データに変換するステップと、当該正面画像データを３次元ＣＧモデルに貼り付けるステップと、を実行させるためのものである。
【発明の効果】
【００１３】
本発明によれば、３次元モデルを形成する面の多くが矩形であることを利用して、原画像データにおける矩形領域の４頂点の歪んだ配置から、正面画像を簡便に生成することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の好ましい実施形態を図面に基づいて説明する。
図１は、本発明の正面画像生成方法を実行できる正面画像生成装置１と、この正面画像生成装置１を用いた３次元ＣＧモデル作成装置１０の概念図を示している。３次元ＣＧモデル作成装置１０は、建物等の地図上の構造物が立体的に表された３次元地図などに用いるために、建物等のリアルな３次元ＣＧモデルを作成するためのものである。
正面画像生成装置１及び３次元ＣＧモデル作成装置１０は、コンピュータの記憶装置に、以下で説明する方法をコンピュータに実行させるためのコンピュータプログラムを記憶させ、そのコンピュータプログラムの実行により機能するものである。
なお、正面画像生成装置１及び３次元ＣＧモデル作成装置１０は、様々な処理を実行する演算装置、記憶装置、画面表示可能な表示装置、そして、キーボード・マウスなどの入力装置を有している。
【００１５】
原画像データ（デジタル画像データ）は、ビルなどの建物を真正面ではなく斜めからカメラで撮影したものであり、この原画像データを正面画像生成装置１によって処理すると、所定の正面画像データを生成することができる。この正面画像データ（テクスチャ）は、テクスチャマッピング部２によって、３次元ＣＧモデルの対応する面に貼り付けられ、これにより、建物Ｂ（物体）のリアルな３次元モデルを生成することができる。
【００１６】
図２は、３次元ＣＧモデル作成装置１０において、原画像データから、正面画像を生成し、３次元モデルを作成するための手順を示している。
まず、装置１０の記憶装置に記憶されている原画像データをディスプレイ装置等の表示装置に画面表示させる（ステップＳ１；図３参照）。この原画像においては、建物Ｂが写っているが、この建物Ｂは真正面から撮影されたものではなく、斜めから撮影されたものである。なお、建物は、多くの場合、矩形面（長方形面）を持つものであり、本発明に係る方法の適用に適している。
【００１７】
この原画像データから、建物Ｂの正面領域Ｆの正面画像を得たい場合、正面画像が必要な領域である建物正面Ｆの範囲を、ユーザが画面を見ながらマウス等の入力装置によって入力する（ステップＳ２）。正面画像が必要な領域の入力は、例えば、図４に示すように、当該範囲Ｆを囲む線の各頂点Ｒ１〜Ｒ６をマウスによって画面上で指定することによって行うことができ、この領域は矩形に限られない。この指定により、建物正面Ｆの範囲を囲む線の各頂点Ｒ１〜Ｒ６の原画像データ上の座標が得られ、この座標データは、後の画像切出しのためにメモリに記憶される。
なお、各頂点Ｒ１〜Ｒ６が指定されると、当該各頂点Ｒ１〜Ｒ６を示す点表示及び／又は各頂点Ｒ１〜Ｒ６を結ぶ線表示を、原画像上に表示させるようにすることで、指定された範囲Ｆがオペレータにとって分かり易くなり、操作性が向上する。
【００１８】
続いて、正面画像が必要な領域Ｆのうち、実際の建物Ｂにおいて矩形（直角四辺形）形状である物の４頂点の指定を行う（ステップＳ３）。４頂点の指定は、ユーザが画面を見ながらマウス等の入力装置によって入力することで行える。例えば、図５に示すように、建物正面Ｆには、建物外壁を構成する複数の矩形パネルが存在し、複数の矩形パネルを合わせた矩形領域（頂点Ｐ１〜Ｐ４で示される領域）が存在するので、この矩形領域の４頂点Ｐ１，Ｐ２，Ｐ３，Ｐ４を指定すればよい。この指定により、建物正面Ｆにおける矩形領域の４頂点の原画像データ上の座標が得られ、これらの４頂点の座標は、後のパラメータ算出のためにメモリに記憶される。
各頂点Ｐ１〜Ｐ４が指定されると、当該各頂点Ｐ１〜Ｐ４を示す点表示及び／又は各頂点Ｐ１〜Ｐ４を結ぶ線表示を、原画像上に表示させることで、指定された頂点がオペレータにとって分かり易くなり、操作性が向上する。
なお、４頂点の指定は、正面画像が必要な領域Ｆのどの位置で行っても良い。
また、ステップＳ２とステップＳ３の実行順序は、逆でもよい。
【００１９】
４頂点の指定をより正確に行うため、エッジ抽出など適宜の特徴点抽出のための画像処理を原画像に施すことにより、頂点の候補となる点を自動生成して原画像上に表示し、オペレータは、頂点候補の中から４頂点を選択するようにしてもよい。このように、頂点候補を自動生成して、オペレータがそれを選択するようにすることで、頂点の位置自体をオペレータがマウスなどの操作によって指定する場合よりも、誤差を少なくして４頂点を指定できる。この結果、より正確な正面画像が得られることになる。
【００２０】
指定された４頂点の座標に基づいて、原画像データを正面画像データに変換するためのパラメータの算出が行われる。具体的には、焦点距離ｆの算出（ステップＳ４）、矩形の縦横比の算出（ステップＳ５）、回転行列Ｈ・並進ベクトルｔの算出（ステップＳ６）が行われ、その後、正面画像データの生成が行われる（ステップＳ７）。なお、これらについての詳細は、後述する。
原画像データには、実際の建物正面Ｆにおける矩形領域Ｐ１，Ｐ２，Ｐ３，Ｐ４は、矩形ではなく歪んだ四角形として写っているが、正面画像生成処理（ステップＳ７）によって、矩形形状となる。
なお、正面画像生成処理は、ステップＳ２で指定された領域Ｆだけでなく、原画像データ全体に対して行われる。この際、ステップＳ２で指定された領域Ｆ以外であっても、当該領域Ｆと平行な平面であれば正面画像化される。つまり、正面画像化したい領域内で矩形４頂点を指定しにくい場合には、正面画像化したい面領域以外の領域において、正面としたい物体の面と平行な矩形領域の４頂点を指定してもよい。
正面画像化したい面領域以外の領域で４頂点を指定してもよいので、矩形面を有しない物体に対しても、本発明の方法は適用可能である。例えば、彫刻などの正面画像を得るためにも用いることができる。また、絵画のアーカイブ等にも利用することもできる。
【００２１】
正面画像化処理と同様に、座標Ｒ１〜Ｒ６も原画像での座標から正面画像データでの座標に変換され、正面画像データでの建物正面領域Ｆも決定される。正面画像データでの建物正面領域Ｆに基づいて、正面画像データから建物正面領域Ｆの画像が切り出される（ステップＳ８；図７参照）。切り出された建物正面Ｆの正面画像データは、予め用意された建物Ｂの３次元ＣＧモデルの正面に貼り付けられる（ステップＳ９；図８参照）。建物Ｂの正面Ｆ以外の側面についても、同様に正面画像を得て、３次元ＣＧモデルに貼り付けることで、建物のリアルな３次元ＣＧモデルを完成できる。
なお、正面画像に変換しないで３次元ＣＧモデルに画像を貼り付けると、大きな歪みが生じたが、正面画像に変換することにより、歪みを低減できた。
【００２２】
［正面画像生成に関する詳細な説明］
正面画像データは、原画像を撮影したカメラと前記矩形物体との幾何学的関係、及び前記カメラの内部パラメータを求め、これらのパラメータに基づいて、原画像データを変換することによって得られる。以下、これらのパラメータを求める演算式について説明する。
【００２３】
前述の原画像データは、デジタル画像とよばれるものである。図９に示すように、デジタル画像の座標系では、座標の原点は左上にあり、右方向が横軸ｕ、下方向が縦軸ｖである。
しかし、射影関係を記述する場合には、正規化画像座標系を用いた方が便利であるので、デジタル画像座標系を正規化画像座標系へ変換する。変換式は以下のように表される。なお、「~」は、拡張ベクトルを示す。
【数１】
【００２４】
ここで、
【数２】
【数３】
はそれぞれデジタル画像座標（ｕ，ｖ）と正規化画像座標（ｘ，ｙ）の拡張ベクトルである。行列Ａ１は、カメラ内部行列であり、以下のように表される。なお、［ｕ０，ｖ０］は画像中心、αｕ，αｖは画像の両座標軸の間の単位長と焦点距離の積、ｂは両座標軸のスキュー（skew）である。
【数４】
【００２５】
しかし、最近のカメラの性能の向上により、行列Ａ１は以下の行列Ａ２のように表すこともでき、ここでも行列Ａ２を採用する。また、［ｕ０，ｖ０］は、デジタル画像の、縦・横のサイズの半分の値とする。ｆはカメラの焦点距離である
【数５】
更に、
【数６】
と定義すると、
【数７】
となり、
【数８】
と表すこともできる。
【００２６】
次に、正規化座標系を世界座標系に変換する。正規化座標系における座標をＭｃ、世界座標系における座標をＭｗ、回転行列をＲ、並進ベクトルをｔとすると、次式のように表すことができる。
【数９】
矩形（長方形）が画像に射影される様子を図１０に示す。長方形の各頂点と焦点を結ぶと、図１０のような四角形が画像上に射影される。
【００２７】
次に、図１０の長方形の面をＸＹ平面とし、長方形の中心の座標を（０，０，０）、長方形の縦、横の長さを２ａ，２ｂとすることで、図１１のように長方形の４頂点を定義する。すなわち、図１１のＸＹＺ座標系において、長方形の各頂点（１）（２）（３）（４）のうち、頂点（１）は（ａ，ｂ，０）、頂点（２）は（−ａ，ｂ，０）、頂点（３）は（ａ，−ｂ，０）、頂点（４）は（−ａ，−ｂ，０）と定義される。
【００２８】
すると、［式（１）（数１）］と、［式（２）（数９）］より、［式（３）（数１３）］のようにデジタル画像と座標と世界座標との関係を表すことができる。
【数１０】
ここで、回転行列Ｒは、
【数１１】
並進ベクトルはｔとする。
ここで、
【数１２】
とすると［（数７）］より、以下の式（３）ように、表される。
【数１３】
【００２９】
よって、各頂点に対しての関係式は以下の４つの式となる。なお、ｓｉは、カメラ焦点から図１１の各頂点（１）（２）（３）（４）までの奥行きを表し、それぞれの式で表されている数式記号中の番号（ｉ＝１〜４）は、図１１で示した頂点番号と対応している。
【数１４】
【数１５】
【数１６】
【数１７】
【００３０】
長方形の各頂点における４つの式から、焦点距離ｆと長方形の縦横比（アスペクト比）を算出することができる。各頂点における式（４）等で用いられている未知数の数は、焦点距離ｆ、回転ベクトルｒ１，ｒ２、並進ベクトルｔ、長方形の縦と横の長さの半分であるａとｂの計８つである。式（４）〜（７）から８個の方程式が得られるため、これらの未知数を求めることは可能である。
また、回転ベクトルのｒ３も、ｒ１，ｒ２に直交するので、算出することは可能である。
【００３１】
焦点距離ｆと縦横比ａ：ｂの算出をする。まず、［式（４）（数１４）］と［式（７）（数１７）］の和と、［式５（数１５）］と［式６（数１６）］の和とは等しくなるので次式が成り立つ。
【数１８】
となり、これを変形すると、
【数１９】
となる。
これにより、
【数２０】
とすると、ＢＴＢの最小固有値に対応する固有ベクトルとして、ｓ１，ｓ２，ｓ３，ｓ４を求めることができる。なお、Ｂの添え字の「Ｔ」は転置を示している。
空間の尺度は本来確定できないが、ｓ１，ｓ２，ｓ３，ｓ４の自乗和が１であることにより、とりあえず求めることができる。このように、各頂点の座標が与えられると、演算により、４頂点の奥行きｓ１，ｓ２，ｓ３，ｓ４を求めることができる。
【００３２】
次に、式（４）〜式（７）をそれぞれ以下の４式となるように変形する。
【数２１】
【数２２】
【数２３】
【数２４】
【００３３】
［式（９）（数２２）］と［式（１１）（数２４）］の差より、次式が得られる。
【数２５】
ここで、
【数２６】
とする。
【００３４】
さらに、［式（１０）（数２３）］と［式（１１）（数２４）］の差より、次式が得られる。
【数２７】
ここで、
【数２８】
とする。
【００３５】
さらに、［式（９）（数２２）］と［式（１０）（数２３）］の和より、次式が得られる。
【数２９】
【００３６】
次に、［式（１２）（数２５）］と［式（１４）（数２７）］の内積をとると次式が得られる。
【数３０】
【００３７】
次に、［式（１２）（数２５）］同士の内積をとると次式が得られる。
【数３１】
【００３８】
次に、［式（１４）（数２７）］同士の内積をとると次式が得られる。
【数３２】
【００３９】
［式（１７）（数３０）］に、［式（１３）（数２６）］と［式（１５）（数２８）］を代入すると次式が得られる。
【数３３】
これをｆについて解くと以下のようになる。
【数３４】
【００４０】
この［式（２０）（数３４）］を解くことで、焦点距離ｆが求められる（ステップＳ４）。すなわち、各頂点の座標と、各頂点の奥行きとから、焦点距離ｆを演算することができる。
なお、デジタル画像に写っている四角形の形状によっては、正確な焦点距離ｆを求めることができない場合がある。すなわち、［式（２０）（数３４）］の分母が０や限りなく０に近い場合に、ｆを正確に求めることができなくなる。この点については後述する。
【００４１】
焦点距離ｆが算出されると、ｆを［式（１８）（数３１）］［式（１９）（数３２）］に代入し、長方形の縦横の長さの半分であるａ，ｂを求めることができる（ステップＳ５）。
そして、算出された焦点距離ｆ、長方形の縦横の長さの半分ａ，ｂ、を［式（１２）（数２５）］［式（１４）（数２７）］［式（１６）（数２９）］に代入すると、行列Ｈ＝［ｒ１，ｒ２，ｔ］を求めることができる（ステップＳ６）。また、ｒ３＝ｒ１×ｒ２として回転行列Ｒと並進ベクトルｔに分解することもできる。
回転行列Ｒと並進ベクトルｔは、原画像を撮影したカメラと前記矩形物体との幾何学的関係を示すものであり、行列Ｈは、回転行列と並進ベクトルｔに基づくものであるから、この行列Ｈも、原画像を撮影したカメラと前記矩形物体との幾何学的関係を示したものとなっている。
【００４２】
デジタル画像を正面画像に変換するための式は、以下のように表される。なお、正面画像生成装置１に入力されるデジタル画像の座標をｍ＝［ｕ，ｖ，１］Ｔ、正面画像変換後のデジタル画像の座標をｍ’＝［ｕ’，ｖ’，１］Ｔ、とする。
【数３５】
なお、上記式において、ｓは、上記式の右辺の演算結果、同左辺のｍ’＝［ｕ’，ｖ’，ｊ］Ｔにおけるｊが１になるように、座標ごとに決定される。
【００４３】
以上をまとめると次のようになる。まず、矩形物体の４頂点の座標が与えられると、各頂点の奥行きｓが求められる。
続いて、頂点座標及び頂点の奥行きｓから焦点距離ｆが求まって、カメラの内部パラメータＡが得られる。
しかも、頂点座標、頂点の奥行きｓ、及びカメラの内部パラメータＡから長方形の縦横比ａ：ｂが求まる。
さらに、頂点座標、頂点の奥行きｓ、長方形の縦横比ａ：ｂ、カメラの内部パラメータＡから、行列Ｈ＝［ｒ１，ｒ２，ｔ］が求まる。この行列Ｈは、回転行列Ｒと並進ベクトルｔに基づくものであって、カメラと矩形物体との幾何学的関係を表している。
そして、カメラの内部パラメータＡと行列Ｈを用いて、［式（２１）（数３５）］から、原画像であるデジタル画像を正面画像に変換することができる。
【００４４】
上記方法によって、正面画像の生成を行うと、その正面画像は、矩形物体の実際の縦横比を、ほぼ正確に保持していることが確認された。
【００４５】
なお、焦点距離、回転行列、並進ベクトルなどのパラメータを求める手法は、カメラキャリブレーション手法としても研究されており、例えば、消失点（ＦＯＥ）を用いた手法がある。３次元空間で平行線である２つの線は、画像平面に射影されると、それらの延長線上で１点に交わる。この点は消失点（ＦＯＥ）と呼ばれている。そして、カメラの焦点から消失点に延びる直線が直行することを利用し方程式を立てることができ、その方程式を解くことで、焦点距離、回転行列、並進ベクトルといったパラメータを求めることができるが、上記実施形態の方法では、消失点を求めることなく、各パラメータを求めることができる。
【００４６】
［［式（２０）（数３４）］の分母が０の場合］
式２０の焦点距離ｆの算出のときに、分母となるα３β３のいずれかが０となっていればこの式は成立しない。ここで、α３＝（ｓ２−ｓ４），β３＝（ｓ３−ｓ４）であり、ｓ２＝ｓ４または、ｓ３＝ｓ４であれば、α３またはβ３は０になる。ｓｉはカメラ焦点から各頂点までの奥行きであり、ｓ２とｓ４が等しい、または、ｓ３とｓ４が等しいということは、同じ奥行き、つまり画像平面に対してそれぞれの頂点を結んだ直線が平行であることを意味する。
そこで、α３，β３の値が０又は０に近い所定範囲の値であれば平行であると判定し、焦点距離ｆの値が不安定であることを検出し、必要であれば不適切な原画像である旨を出力する。
以上から、原画像は、ｓ２＝ｓ４またはｓ３＝ｓ４とならないように撮影したものが好ましい。
ただし、この焦点距離ｆの値を算出できない場合、つまり式２０の分母が０となる際に、以下の３つに場合分けをすることで、焦点距離ｆを求めずに、いくつかのパラメータを算出することが可能となる。
【００４７】
（条件１）α３＝０かつβ３≠０の場合
［式（１２）（数２５）］をｒ２の式になるように変形し、α３に０を代入すると次式が得られる。
【数３６】
すると||ｒ２||＝１からｂｆを求める（|| ||はベクトルのノルム）。ｂｆを用いてｒ２を求めることができる。ただし、ｒ１は一意に求まらない。
（条件２）α３≠０かつβ３＝０の場合
上記（条件１）と同様に、［式（１４）（数２７）］を変形し、β３に０を代入すると次式が得られる。
【数３７】
そして、||ｒ１||＝１からａｆを求める。求めたａｆを用いてｒ１を求めることができる。ただし、ｒ２は一意に求まらない。
（条件３）α３＝０かつβ３＝０の場合
上記（条件１）（条件２）と同様にして、ａｆ，ｒ２，ｂｆ，ｒ１を求める。ｒ１とｒ２よりｒ２を求めることができる。更に、ａｆとｂｆの両方が求まるので、ａとｂの比（縦横比）が求まる。
また、並進ベクトルｔについては、３つすべての条件下で、焦点距離を含んだ並進ベクトルであれば、［式（１６）（数２９）］より求めることができる。
【００４８】
図１２は、画面表示された原画像上で、４頂点を指定するための変形例を示している。ここでは、４頂点を指定する際には、表示装置に表示された原画像上に、４頂点を指定するための頂点指定用表示体が表示される。図示の頂点指定用表示体Ｄは、４つの指定用頂点Ｄ１，Ｄ２，Ｄ３，Ｄ４を有し、各頂点Ｄ１，Ｄ２，Ｄ３，Ｄ４が線分で連結された矩形状とされている。画面表示された各頂点Ｄ１，Ｄ２，Ｄ３，Ｄ４を原画像中の適当な矩形物体の４頂点に移動させることにより、矩形物体の４頂点が指定される。
このような頂点指定表表示体があることで、原画像上で単に４頂点を指定するよりも、オペレータにとって視覚的に分かり易く、操作性が向上する。
【００４９】
なお、本発明は、上記実施形態に限定されるものではない。本発明は、特許請求の範囲に記載された事項の範囲内で様々な変形が可能である。
【図面の簡単な説明】
【００５０】
【図１】３次元ＣＧモデル作成装置のブロック図である。
【図２】３次元ＣＧモデル作成の手順を示すフローチャートである。
【図３】原画像を示す図である。
【図４】原画像上で正面画像が必要な領域を指定した状態を示す図である。
【図５】原画像上で４頂点を指定した状態を示す図である。
【図６】変換された正面画像である。
【図７】切り出された正面画像である。
【図８】３次元ＣＧモデルに切り出された正面画像を貼り付ける様子を示す図である。
【図９】デジタル画像座標系を示す図である。
【図１０】長方形の射影を示す図である。
【図１１】原画像と３次元モデルの関係を示す図である。
【図１２】４頂点の指定方法の典型例を示す図である。
【符号の説明】
【００５１】
１ 正面画像生成装置
２ テクスチャマッピング部
１０ ３次元ＣＧモデル生成装置。
【技術分野】
【０００１】
正面画像データをコンピュータによって生成する方法及びそのコンピュータプログラム、並びに３次元ＣＧモデルの作成方法及びそのコンピュータプログラムに関するものである。
【背景技術】
【０００２】
リアルな仮想空間を実現するためには、表面の質感、現実感を高精度に表現する３次元モデルが必要となる。そのため、実物体に忠実な３次元形状モデルを自動生成する方法の確立が期待されている。
最近では、飛行機からレーザースキャナーを用いて、３次元点群データをスキャンしてリアルな３次元地図を作成するということも行われている。そして、このような３次元モデルに、質感、現実感を与えるには、テクスチャが必要となり、テクスチャを貼るには、人からの視点による観測データを用いた方が、より現実感を与えることができ、より自然な３次元モデルができるはずである。
【０００３】
コンピュータグラフィックス（ＣＧ）において、３次元モデリングされた物体へテクスチャマッピングする場合には、高速化のためにテクスチャをアフィン変換し貼り付けることでマッピングが行われている。テクスチャデータを作成するには、ペイントソフトで作成したり、実際の写真や映像を用いる場合の２通りの方法がある。
ペイントソフトを用いた場合は、正面画像になっているため画像の歪みはあまり問題とはならない。しかし、ペイントソフトを利用する場合、誰もが簡単に作成できるわけではなく、デザイナー等が作成しなければ表面の質感、現実感をリアルに表現することは難しい。
そこで、比較的容易に得られる写真や映像を用いることが要望される。
【０００４】
ところが、実際の画像を用いて、そのままテクスチャとして貼ると、大きな歪みが生じる場合がある。特に、対象平面を斜めから撮影した写真を用いるとひどい歪みが生じる。
この画像の歪みを減少させるためには、対象物体を正面からみた画像が必要である。
しかし、実際にマッピングする面に合わせた真正面からの画像を入手することは一般に不可能である。
そこで、３次元モデルへ実画像をマッピングするには、その３次元モデルに対応している面を真正面から見ているような正面画像に合うように変換する必要がある。これが可能となれば、任意の角度、視点から写真を撮影するだけでテクスチャを作成でき、３次元地図のような大規模な３次元モデルへのテクスチャ作成時に大幅に人の労力を軽減することができる。
【０００５】
正面画像生成方法の従来の手法としては、非特許文献１に記載されているものがある。まず、３次元形状が既知のモデルと撮影した写真との間の関係を定める射影行列を求める。そして、求めた射影行列からカメラ座標系と物体の座標系との回転行列と並進ベクトルを求める。更に、それを利用して各パッチにおける射影行列を求め、物体の面にあわせた正面画像を生成する。
この従来の手法では、３次元モデルの座標が既知でなければならないという前提条件が必要であるという問題がある。
【非特許文献１】松井裕司、徐剛、“実画像を用いた３次元物体への正面テクスチャマップの作成”、情報処理学会研究報告、Ｖｏｌ９９、Ｎｏ．３、ｐ２５−ｐ３２、１９９９
【発明の開示】
【発明が解決しようとする課題】
【０００６】
そこで、本発明は、対象平面の形状を矩形に限定することによって、簡便な手法により、正面画像を生成することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、物体が斜めに写っている原画像データから当該物体の正面画像データをコンピュータによって生成する方法であって、前記原画像データにおいて正面としたい物体の面と平行な矩形領域の４頂点が存在する座標を設定するステップと、前記４頂点の座標に基づいて、原画像を撮影したカメラと前記物体との幾何学的関係、及び前記カメラの内部パラメータを算出するステップと、前記幾何学的関係、及び前記内部パラメータを用いて、前記原画像データを正面画像データに変換するステップと、を有することを特徴とする方法である。
本発明では、３次元モデルの多くが矩形であることを利用して、原画像データにおける矩形領域の４頂点の歪んだ配置から、正面画像を生成することができる。
【０００８】
ここで、前記幾何学的関係は、回転行列及び並進ベクトルに基づくものとすることができる。前記内部パラメータは、カメラの焦点距離を持つものとすることができる。
また、前記幾何学的関係、及び前記内部パラメータの算出は、前記４頂点の座標から、前記カメラの焦点からの前記各頂点の奥行きを算出し、当該奥行きに基づく演算によって行うことができる。
【０００９】
４頂点の座標の設定は、前記原画像データを表示装置に表示しておき、表示された原画像上で、前記矩形領域の４頂点の位置を指定することによって行うのが簡便である。
また、表示装置に表示された原画像上に、４頂点を指定するための頂点指定用表示体を表示し、当該頂点指定用表示体を、ユーザの操作によって、表示された原画像上の矩形領域の４頂点に移動させることによって、４頂点の位置を指定すれば、一層簡便に４頂点の座標設定が行える。
【００１０】
コンピュータプログラムに係る本発明は、物体が斜めに写っている原画像データから当該物体の正面画像データを生成するためのコンピュータプログラムであって、コンピュータに、前記原画像データにおいて正面としたい物体の面と平行な矩形領域の４頂点が存在する座標を設定するステップと、前記４頂点の座標に基づいて、原画像を撮影したカメラと前記物体との幾何学的関係、及び前記カメラの内部パラメータを算出するステップと、前記幾何学的関係、及び前記内部パラメータを用いて、前記原画像データを正面画像データに変換するステップと、を実行させるためのものである。
【００１１】
３次元ＣＧモデルの作成方法に係る本発明は、物体が斜めに写っている原画像データにおいて正面としたい物体の面と平行な矩形領域の４頂点が存在する座標を設定するステップと、前記４頂点の座標に基づいて、原画像を撮影したカメラと前記物体との幾何学的関係、及び前記カメラの内部パラメータを算出するステップと、前記幾何学的関係、及び前記内部パラメータを用いて、前記原画像データを正面画像データに変換するステップと、当該正面画像データを３次元ＣＧモデルに貼り付けるステップと、を有することを特徴とする。この方法によれば、簡便に正面画像が得られ、これを３次元ＣＧモデルに貼り付けることによって、簡単にリアルな３次元ＣＧモデルを得ることができる。
【００１２】
また、３次元ＣＧモデルの作成用のコンピュータプログラムに係る本発明は、コンピュータに、物体が斜めに写っている原画像データにおいて正面としたい物体の面と平行な矩形領域の４頂点が存在する座標を設定するステップと、前記４頂点の座標に基づいて、原画像を撮影したカメラと前記物体との幾何学的関係、及び前記カメラの内部パラメータを算出するステップと、前記幾何学的関係、及び前記内部パラメータを用いて、前記原画像データを正面画像データに変換するステップと、当該正面画像データを３次元ＣＧモデルに貼り付けるステップと、を実行させるためのものである。
【発明の効果】
【００１３】
本発明によれば、３次元モデルを形成する面の多くが矩形であることを利用して、原画像データにおける矩形領域の４頂点の歪んだ配置から、正面画像を簡便に生成することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の好ましい実施形態を図面に基づいて説明する。
図１は、本発明の正面画像生成方法を実行できる正面画像生成装置１と、この正面画像生成装置１を用いた３次元ＣＧモデル作成装置１０の概念図を示している。３次元ＣＧモデル作成装置１０は、建物等の地図上の構造物が立体的に表された３次元地図などに用いるために、建物等のリアルな３次元ＣＧモデルを作成するためのものである。
正面画像生成装置１及び３次元ＣＧモデル作成装置１０は、コンピュータの記憶装置に、以下で説明する方法をコンピュータに実行させるためのコンピュータプログラムを記憶させ、そのコンピュータプログラムの実行により機能するものである。
なお、正面画像生成装置１及び３次元ＣＧモデル作成装置１０は、様々な処理を実行する演算装置、記憶装置、画面表示可能な表示装置、そして、キーボード・マウスなどの入力装置を有している。
【００１５】
原画像データ（デジタル画像データ）は、ビルなどの建物を真正面ではなく斜めからカメラで撮影したものであり、この原画像データを正面画像生成装置１によって処理すると、所定の正面画像データを生成することができる。この正面画像データ（テクスチャ）は、テクスチャマッピング部２によって、３次元ＣＧモデルの対応する面に貼り付けられ、これにより、建物Ｂ（物体）のリアルな３次元モデルを生成することができる。
【００１６】
図２は、３次元ＣＧモデル作成装置１０において、原画像データから、正面画像を生成し、３次元モデルを作成するための手順を示している。
まず、装置１０の記憶装置に記憶されている原画像データをディスプレイ装置等の表示装置に画面表示させる（ステップＳ１；図３参照）。この原画像においては、建物Ｂが写っているが、この建物Ｂは真正面から撮影されたものではなく、斜めから撮影されたものである。なお、建物は、多くの場合、矩形面（長方形面）を持つものであり、本発明に係る方法の適用に適している。
【００１７】
この原画像データから、建物Ｂの正面領域Ｆの正面画像を得たい場合、正面画像が必要な領域である建物正面Ｆの範囲を、ユーザが画面を見ながらマウス等の入力装置によって入力する（ステップＳ２）。正面画像が必要な領域の入力は、例えば、図４に示すように、当該範囲Ｆを囲む線の各頂点Ｒ１〜Ｒ６をマウスによって画面上で指定することによって行うことができ、この領域は矩形に限られない。この指定により、建物正面Ｆの範囲を囲む線の各頂点Ｒ１〜Ｒ６の原画像データ上の座標が得られ、この座標データは、後の画像切出しのためにメモリに記憶される。
なお、各頂点Ｒ１〜Ｒ６が指定されると、当該各頂点Ｒ１〜Ｒ６を示す点表示及び／又は各頂点Ｒ１〜Ｒ６を結ぶ線表示を、原画像上に表示させるようにすることで、指定された範囲Ｆがオペレータにとって分かり易くなり、操作性が向上する。
【００１８】
続いて、正面画像が必要な領域Ｆのうち、実際の建物Ｂにおいて矩形（直角四辺形）形状である物の４頂点の指定を行う（ステップＳ３）。４頂点の指定は、ユーザが画面を見ながらマウス等の入力装置によって入力することで行える。例えば、図５に示すように、建物正面Ｆには、建物外壁を構成する複数の矩形パネルが存在し、複数の矩形パネルを合わせた矩形領域（頂点Ｐ１〜Ｐ４で示される領域）が存在するので、この矩形領域の４頂点Ｐ１，Ｐ２，Ｐ３，Ｐ４を指定すればよい。この指定により、建物正面Ｆにおける矩形領域の４頂点の原画像データ上の座標が得られ、これらの４頂点の座標は、後のパラメータ算出のためにメモリに記憶される。
各頂点Ｐ１〜Ｐ４が指定されると、当該各頂点Ｐ１〜Ｐ４を示す点表示及び／又は各頂点Ｐ１〜Ｐ４を結ぶ線表示を、原画像上に表示させることで、指定された頂点がオペレータにとって分かり易くなり、操作性が向上する。
なお、４頂点の指定は、正面画像が必要な領域Ｆのどの位置で行っても良い。
また、ステップＳ２とステップＳ３の実行順序は、逆でもよい。
【００１９】
４頂点の指定をより正確に行うため、エッジ抽出など適宜の特徴点抽出のための画像処理を原画像に施すことにより、頂点の候補となる点を自動生成して原画像上に表示し、オペレータは、頂点候補の中から４頂点を選択するようにしてもよい。このように、頂点候補を自動生成して、オペレータがそれを選択するようにすることで、頂点の位置自体をオペレータがマウスなどの操作によって指定する場合よりも、誤差を少なくして４頂点を指定できる。この結果、より正確な正面画像が得られることになる。
【００２０】
指定された４頂点の座標に基づいて、原画像データを正面画像データに変換するためのパラメータの算出が行われる。具体的には、焦点距離ｆの算出（ステップＳ４）、矩形の縦横比の算出（ステップＳ５）、回転行列Ｈ・並進ベクトルｔの算出（ステップＳ６）が行われ、その後、正面画像データの生成が行われる（ステップＳ７）。なお、これらについての詳細は、後述する。
原画像データには、実際の建物正面Ｆにおける矩形領域Ｐ１，Ｐ２，Ｐ３，Ｐ４は、矩形ではなく歪んだ四角形として写っているが、正面画像生成処理（ステップＳ７）によって、矩形形状となる。
なお、正面画像生成処理は、ステップＳ２で指定された領域Ｆだけでなく、原画像データ全体に対して行われる。この際、ステップＳ２で指定された領域Ｆ以外であっても、当該領域Ｆと平行な平面であれば正面画像化される。つまり、正面画像化したい領域内で矩形４頂点を指定しにくい場合には、正面画像化したい面領域以外の領域において、正面としたい物体の面と平行な矩形領域の４頂点を指定してもよい。
正面画像化したい面領域以外の領域で４頂点を指定してもよいので、矩形面を有しない物体に対しても、本発明の方法は適用可能である。例えば、彫刻などの正面画像を得るためにも用いることができる。また、絵画のアーカイブ等にも利用することもできる。
【００２１】
正面画像化処理と同様に、座標Ｒ１〜Ｒ６も原画像での座標から正面画像データでの座標に変換され、正面画像データでの建物正面領域Ｆも決定される。正面画像データでの建物正面領域Ｆに基づいて、正面画像データから建物正面領域Ｆの画像が切り出される（ステップＳ８；図７参照）。切り出された建物正面Ｆの正面画像データは、予め用意された建物Ｂの３次元ＣＧモデルの正面に貼り付けられる（ステップＳ９；図８参照）。建物Ｂの正面Ｆ以外の側面についても、同様に正面画像を得て、３次元ＣＧモデルに貼り付けることで、建物のリアルな３次元ＣＧモデルを完成できる。
なお、正面画像に変換しないで３次元ＣＧモデルに画像を貼り付けると、大きな歪みが生じたが、正面画像に変換することにより、歪みを低減できた。
【００２２】
［正面画像生成に関する詳細な説明］
正面画像データは、原画像を撮影したカメラと前記矩形物体との幾何学的関係、及び前記カメラの内部パラメータを求め、これらのパラメータに基づいて、原画像データを変換することによって得られる。以下、これらのパラメータを求める演算式について説明する。
【００２３】
前述の原画像データは、デジタル画像とよばれるものである。図９に示すように、デジタル画像の座標系では、座標の原点は左上にあり、右方向が横軸ｕ、下方向が縦軸ｖである。
しかし、射影関係を記述する場合には、正規化画像座標系を用いた方が便利であるので、デジタル画像座標系を正規化画像座標系へ変換する。変換式は以下のように表される。なお、「~」は、拡張ベクトルを示す。
【数１】
【００２４】
ここで、
【数２】
【数３】
はそれぞれデジタル画像座標（ｕ，ｖ）と正規化画像座標（ｘ，ｙ）の拡張ベクトルである。行列Ａ１は、カメラ内部行列であり、以下のように表される。なお、［ｕ０，ｖ０］は画像中心、αｕ，αｖは画像の両座標軸の間の単位長と焦点距離の積、ｂは両座標軸のスキュー（skew）である。
【数４】
【００２５】
しかし、最近のカメラの性能の向上により、行列Ａ１は以下の行列Ａ２のように表すこともでき、ここでも行列Ａ２を採用する。また、［ｕ０，ｖ０］は、デジタル画像の、縦・横のサイズの半分の値とする。ｆはカメラの焦点距離である
【数５】
更に、
【数６】
と定義すると、
【数７】
となり、
【数８】
と表すこともできる。
【００２６】
次に、正規化座標系を世界座標系に変換する。正規化座標系における座標をＭｃ、世界座標系における座標をＭｗ、回転行列をＲ、並進ベクトルをｔとすると、次式のように表すことができる。
【数９】
矩形（長方形）が画像に射影される様子を図１０に示す。長方形の各頂点と焦点を結ぶと、図１０のような四角形が画像上に射影される。
【００２７】
次に、図１０の長方形の面をＸＹ平面とし、長方形の中心の座標を（０，０，０）、長方形の縦、横の長さを２ａ，２ｂとすることで、図１１のように長方形の４頂点を定義する。すなわち、図１１のＸＹＺ座標系において、長方形の各頂点（１）（２）（３）（４）のうち、頂点（１）は（ａ，ｂ，０）、頂点（２）は（−ａ，ｂ，０）、頂点（３）は（ａ，−ｂ，０）、頂点（４）は（−ａ，−ｂ，０）と定義される。
【００２８】
すると、［式（１）（数１）］と、［式（２）（数９）］より、［式（３）（数１３）］のようにデジタル画像と座標と世界座標との関係を表すことができる。
【数１０】
ここで、回転行列Ｒは、
【数１１】
並進ベクトルはｔとする。
ここで、
【数１２】
とすると［（数７）］より、以下の式（３）ように、表される。
【数１３】
【００２９】
よって、各頂点に対しての関係式は以下の４つの式となる。なお、ｓｉは、カメラ焦点から図１１の各頂点（１）（２）（３）（４）までの奥行きを表し、それぞれの式で表されている数式記号中の番号（ｉ＝１〜４）は、図１１で示した頂点番号と対応している。
【数１４】
【数１５】
【数１６】
【数１７】
【００３０】
長方形の各頂点における４つの式から、焦点距離ｆと長方形の縦横比（アスペクト比）を算出することができる。各頂点における式（４）等で用いられている未知数の数は、焦点距離ｆ、回転ベクトルｒ１，ｒ２、並進ベクトルｔ、長方形の縦と横の長さの半分であるａとｂの計８つである。式（４）〜（７）から８個の方程式が得られるため、これらの未知数を求めることは可能である。
また、回転ベクトルのｒ３も、ｒ１，ｒ２に直交するので、算出することは可能である。
【００３１】
焦点距離ｆと縦横比ａ：ｂの算出をする。まず、［式（４）（数１４）］と［式（７）（数１７）］の和と、［式５（数１５）］と［式６（数１６）］の和とは等しくなるので次式が成り立つ。
【数１８】
となり、これを変形すると、
【数１９】
となる。
これにより、
【数２０】
とすると、ＢＴＢの最小固有値に対応する固有ベクトルとして、ｓ１，ｓ２，ｓ３，ｓ４を求めることができる。なお、Ｂの添え字の「Ｔ」は転置を示している。
空間の尺度は本来確定できないが、ｓ１，ｓ２，ｓ３，ｓ４の自乗和が１であることにより、とりあえず求めることができる。このように、各頂点の座標が与えられると、演算により、４頂点の奥行きｓ１，ｓ２，ｓ３，ｓ４を求めることができる。
【００３２】
次に、式（４）〜式（７）をそれぞれ以下の４式となるように変形する。
【数２１】
【数２２】
【数２３】
【数２４】
【００３３】
［式（９）（数２２）］と［式（１１）（数２４）］の差より、次式が得られる。
【数２５】
ここで、
【数２６】
とする。
【００３４】
さらに、［式（１０）（数２３）］と［式（１１）（数２４）］の差より、次式が得られる。
【数２７】
ここで、
【数２８】
とする。
【００３５】
さらに、［式（９）（数２２）］と［式（１０）（数２３）］の和より、次式が得られる。
【数２９】
【００３６】
次に、［式（１２）（数２５）］と［式（１４）（数２７）］の内積をとると次式が得られる。
【数３０】
【００３７】
次に、［式（１２）（数２５）］同士の内積をとると次式が得られる。
【数３１】
【００３８】
次に、［式（１４）（数２７）］同士の内積をとると次式が得られる。
【数３２】
【００３９】
［式（１７）（数３０）］に、［式（１３）（数２６）］と［式（１５）（数２８）］を代入すると次式が得られる。
【数３３】
これをｆについて解くと以下のようになる。
【数３４】
【００４０】
この［式（２０）（数３４）］を解くことで、焦点距離ｆが求められる（ステップＳ４）。すなわち、各頂点の座標と、各頂点の奥行きとから、焦点距離ｆを演算することができる。
なお、デジタル画像に写っている四角形の形状によっては、正確な焦点距離ｆを求めることができない場合がある。すなわち、［式（２０）（数３４）］の分母が０や限りなく０に近い場合に、ｆを正確に求めることができなくなる。この点については後述する。
【００４１】
焦点距離ｆが算出されると、ｆを［式（１８）（数３１）］［式（１９）（数３２）］に代入し、長方形の縦横の長さの半分であるａ，ｂを求めることができる（ステップＳ５）。
そして、算出された焦点距離ｆ、長方形の縦横の長さの半分ａ，ｂ、を［式（１２）（数２５）］［式（１４）（数２７）］［式（１６）（数２９）］に代入すると、行列Ｈ＝［ｒ１，ｒ２，ｔ］を求めることができる（ステップＳ６）。また、ｒ３＝ｒ１×ｒ２として回転行列Ｒと並進ベクトルｔに分解することもできる。
回転行列Ｒと並進ベクトルｔは、原画像を撮影したカメラと前記矩形物体との幾何学的関係を示すものであり、行列Ｈは、回転行列と並進ベクトルｔに基づくものであるから、この行列Ｈも、原画像を撮影したカメラと前記矩形物体との幾何学的関係を示したものとなっている。
【００４２】
デジタル画像を正面画像に変換するための式は、以下のように表される。なお、正面画像生成装置１に入力されるデジタル画像の座標をｍ＝［ｕ，ｖ，１］Ｔ、正面画像変換後のデジタル画像の座標をｍ’＝［ｕ’，ｖ’，１］Ｔ、とする。
【数３５】
なお、上記式において、ｓは、上記式の右辺の演算結果、同左辺のｍ’＝［ｕ’，ｖ’，ｊ］Ｔにおけるｊが１になるように、座標ごとに決定される。
【００４３】
以上をまとめると次のようになる。まず、矩形物体の４頂点の座標が与えられると、各頂点の奥行きｓが求められる。
続いて、頂点座標及び頂点の奥行きｓから焦点距離ｆが求まって、カメラの内部パラメータＡが得られる。
しかも、頂点座標、頂点の奥行きｓ、及びカメラの内部パラメータＡから長方形の縦横比ａ：ｂが求まる。
さらに、頂点座標、頂点の奥行きｓ、長方形の縦横比ａ：ｂ、カメラの内部パラメータＡから、行列Ｈ＝［ｒ１，ｒ２，ｔ］が求まる。この行列Ｈは、回転行列Ｒと並進ベクトルｔに基づくものであって、カメラと矩形物体との幾何学的関係を表している。
そして、カメラの内部パラメータＡと行列Ｈを用いて、［式（２１）（数３５）］から、原画像であるデジタル画像を正面画像に変換することができる。
【００４４】
上記方法によって、正面画像の生成を行うと、その正面画像は、矩形物体の実際の縦横比を、ほぼ正確に保持していることが確認された。
【００４５】
なお、焦点距離、回転行列、並進ベクトルなどのパラメータを求める手法は、カメラキャリブレーション手法としても研究されており、例えば、消失点（ＦＯＥ）を用いた手法がある。３次元空間で平行線である２つの線は、画像平面に射影されると、それらの延長線上で１点に交わる。この点は消失点（ＦＯＥ）と呼ばれている。そして、カメラの焦点から消失点に延びる直線が直行することを利用し方程式を立てることができ、その方程式を解くことで、焦点距離、回転行列、並進ベクトルといったパラメータを求めることができるが、上記実施形態の方法では、消失点を求めることなく、各パラメータを求めることができる。
【００４６】
［［式（２０）（数３４）］の分母が０の場合］
式２０の焦点距離ｆの算出のときに、分母となるα３β３のいずれかが０となっていればこの式は成立しない。ここで、α３＝（ｓ２−ｓ４），β３＝（ｓ３−ｓ４）であり、ｓ２＝ｓ４または、ｓ３＝ｓ４であれば、α３またはβ３は０になる。ｓｉはカメラ焦点から各頂点までの奥行きであり、ｓ２とｓ４が等しい、または、ｓ３とｓ４が等しいということは、同じ奥行き、つまり画像平面に対してそれぞれの頂点を結んだ直線が平行であることを意味する。
そこで、α３，β３の値が０又は０に近い所定範囲の値であれば平行であると判定し、焦点距離ｆの値が不安定であることを検出し、必要であれば不適切な原画像である旨を出力する。
以上から、原画像は、ｓ２＝ｓ４またはｓ３＝ｓ４とならないように撮影したものが好ましい。
ただし、この焦点距離ｆの値を算出できない場合、つまり式２０の分母が０となる際に、以下の３つに場合分けをすることで、焦点距離ｆを求めずに、いくつかのパラメータを算出することが可能となる。
【００４７】
（条件１）α３＝０かつβ３≠０の場合
［式（１２）（数２５）］をｒ２の式になるように変形し、α３に０を代入すると次式が得られる。
【数３６】
すると||ｒ２||＝１からｂｆを求める（|| ||はベクトルのノルム）。ｂｆを用いてｒ２を求めることができる。ただし、ｒ１は一意に求まらない。
（条件２）α３≠０かつβ３＝０の場合
上記（条件１）と同様に、［式（１４）（数２７）］を変形し、β３に０を代入すると次式が得られる。
【数３７】
そして、||ｒ１||＝１からａｆを求める。求めたａｆを用いてｒ１を求めることができる。ただし、ｒ２は一意に求まらない。
（条件３）α３＝０かつβ３＝０の場合
上記（条件１）（条件２）と同様にして、ａｆ，ｒ２，ｂｆ，ｒ１を求める。ｒ１とｒ２よりｒ２を求めることができる。更に、ａｆとｂｆの両方が求まるので、ａとｂの比（縦横比）が求まる。
また、並進ベクトルｔについては、３つすべての条件下で、焦点距離を含んだ並進ベクトルであれば、［式（１６）（数２９）］より求めることができる。
【００４８】
図１２は、画面表示された原画像上で、４頂点を指定するための変形例を示している。ここでは、４頂点を指定する際には、表示装置に表示された原画像上に、４頂点を指定するための頂点指定用表示体が表示される。図示の頂点指定用表示体Ｄは、４つの指定用頂点Ｄ１，Ｄ２，Ｄ３，Ｄ４を有し、各頂点Ｄ１，Ｄ２，Ｄ３，Ｄ４が線分で連結された矩形状とされている。画面表示された各頂点Ｄ１，Ｄ２，Ｄ３，Ｄ４を原画像中の適当な矩形物体の４頂点に移動させることにより、矩形物体の４頂点が指定される。
このような頂点指定表表示体があることで、原画像上で単に４頂点を指定するよりも、オペレータにとって視覚的に分かり易く、操作性が向上する。
【００４９】
なお、本発明は、上記実施形態に限定されるものではない。本発明は、特許請求の範囲に記載された事項の範囲内で様々な変形が可能である。
【図面の簡単な説明】
【００５０】
【図１】３次元ＣＧモデル作成装置のブロック図である。
【図２】３次元ＣＧモデル作成の手順を示すフローチャートである。
【図３】原画像を示す図である。
【図４】原画像上で正面画像が必要な領域を指定した状態を示す図である。
【図５】原画像上で４頂点を指定した状態を示す図である。
【図６】変換された正面画像である。
【図７】切り出された正面画像である。
【図８】３次元ＣＧモデルに切り出された正面画像を貼り付ける様子を示す図である。
【図９】デジタル画像座標系を示す図である。
【図１０】長方形の射影を示す図である。
【図１１】原画像と３次元モデルの関係を示す図である。
【図１２】４頂点の指定方法の典型例を示す図である。
【符号の説明】
【００５１】
１ 正面画像生成装置
２ テクスチャマッピング部
１０ ３次元ＣＧモデル生成装置。
【特許請求の範囲】
【請求項１】
物体が斜めに写っている原画像データから当該物体の正面画像データをコンピュータによって生成する方法であって、
前記原画像データにおいて正面としたい物体の面と平行な矩形領域の４頂点が存在する座標を設定するステップと、
前記４頂点の座標に基づいて、原画像を撮影したカメラと前記物体との幾何学的関係、及び前記カメラの内部パラメータを算出するステップと、
前記幾何学的関係、及び前記内部パラメータを用いて、前記原画像データを正面画像データに変換するステップと、
を有することを特徴とする方法。
【請求項２】
前記幾何学的関係は、回転行列及び並進ベクトルに基づくものであることを特徴とする請求項１記載の方法。
【請求項３】
前記内部パラメータは、カメラの焦点距離を持つものであることを特徴とする請求項１又は２記載の方法。
【請求項４】
前記４頂点の座標から、前記カメラの焦点からの前記各頂点の奥行きを算出し、
当該奥行きに基づいて、前記幾何学的関係、及び前記内部パラメータを算出することを特徴とする請求項１〜３のいずれかに記載の方法。
【請求項５】
前記原画像データを表示装置に表示し、表示された原画像上で、前記矩形領域の４頂点の位置を指定することによって、４頂点の座標を設定することを特徴とする請求項１〜４のいずれかに記載の方法。
【請求項６】
表示装置に表示された原画像上に、４頂点を指定するための頂点指定用表示体を表示し、当該頂点指定用表示体を、ユーザの操作によって、表示された原画像上の矩形領域の４頂点に移動させることによって、４頂点の位置を指定することを特徴とする請求項５記載の方法。
【請求項７】
物体が斜めに写っている原画像データから当該物体の正面画像データを生成するためのコンピュータプログラムであって、
コンピュータに、
前記原画像データにおいて正面としたい物体の面と平行な矩形領域の４頂点が存在する座標を設定するステップと、
前記４頂点の座標に基づいて、原画像を撮影したカメラと前記物体との幾何学的関係、及び前記カメラの内部パラメータを算出するステップと、
前記幾何学的関係、及び前記内部パラメータを用いて、前記原画像データを正面画像データに変換するステップと、
を実行させるためのコンピュータプログラム。
【請求項８】
物体が斜めに写っている原画像データにおいて正面としたい物体の面と平行な矩形領域の４頂点が存在する座標を設定するステップと、
前記４頂点の座標に基づいて、原画像を撮影したカメラと前記物体との幾何学的関係、及び前記カメラの内部パラメータを算出するステップと、
前記幾何学的関係、及び前記内部パラメータを用いて、前記原画像データを正面画像データに変換するステップと、
当該正面画像データを３次元ＣＧモデルに貼り付けるステップと、
を有することを特徴とする３次元ＣＧモデルの作成方法。
【請求項９】
コンピュータに、
物体が斜めに写っている原画像データにおいて正面としたい物体の面と平行な矩形領域の４頂点が存在する座標を設定するステップと、
前記４頂点の座標に基づいて、原画像を撮影したカメラと前記物体との幾何学的関係、及び前記カメラの内部パラメータを算出するステップと、
前記幾何学的関係、及び前記内部パラメータを用いて、前記原画像データを正面画像データに変換するステップと、
当該正面画像データを３次元ＣＧモデルに貼り付けるステップと、
を実行させるためのコンピュータプログラム。
【請求項１】
物体が斜めに写っている原画像データから当該物体の正面画像データをコンピュータによって生成する方法であって、
前記原画像データにおいて正面としたい物体の面と平行な矩形領域の４頂点が存在する座標を設定するステップと、
前記４頂点の座標に基づいて、原画像を撮影したカメラと前記物体との幾何学的関係、及び前記カメラの内部パラメータを算出するステップと、
前記幾何学的関係、及び前記内部パラメータを用いて、前記原画像データを正面画像データに変換するステップと、
を有することを特徴とする方法。
【請求項２】
前記幾何学的関係は、回転行列及び並進ベクトルに基づくものであることを特徴とする請求項１記載の方法。
【請求項３】
前記内部パラメータは、カメラの焦点距離を持つものであることを特徴とする請求項１又は２記載の方法。
【請求項４】
前記４頂点の座標から、前記カメラの焦点からの前記各頂点の奥行きを算出し、
当該奥行きに基づいて、前記幾何学的関係、及び前記内部パラメータを算出することを特徴とする請求項１〜３のいずれかに記載の方法。
【請求項５】
前記原画像データを表示装置に表示し、表示された原画像上で、前記矩形領域の４頂点の位置を指定することによって、４頂点の座標を設定することを特徴とする請求項１〜４のいずれかに記載の方法。
【請求項６】
表示装置に表示された原画像上に、４頂点を指定するための頂点指定用表示体を表示し、当該頂点指定用表示体を、ユーザの操作によって、表示された原画像上の矩形領域の４頂点に移動させることによって、４頂点の位置を指定することを特徴とする請求項５記載の方法。
【請求項７】
物体が斜めに写っている原画像データから当該物体の正面画像データを生成するためのコンピュータプログラムであって、
コンピュータに、
前記原画像データにおいて正面としたい物体の面と平行な矩形領域の４頂点が存在する座標を設定するステップと、
前記４頂点の座標に基づいて、原画像を撮影したカメラと前記物体との幾何学的関係、及び前記カメラの内部パラメータを算出するステップと、
前記幾何学的関係、及び前記内部パラメータを用いて、前記原画像データを正面画像データに変換するステップと、
を実行させるためのコンピュータプログラム。
【請求項８】
物体が斜めに写っている原画像データにおいて正面としたい物体の面と平行な矩形領域の４頂点が存在する座標を設定するステップと、
前記４頂点の座標に基づいて、原画像を撮影したカメラと前記物体との幾何学的関係、及び前記カメラの内部パラメータを算出するステップと、
前記幾何学的関係、及び前記内部パラメータを用いて、前記原画像データを正面画像データに変換するステップと、
当該正面画像データを３次元ＣＧモデルに貼り付けるステップと、
を有することを特徴とする３次元ＣＧモデルの作成方法。
【請求項９】
コンピュータに、
物体が斜めに写っている原画像データにおいて正面としたい物体の面と平行な矩形領域の４頂点が存在する座標を設定するステップと、
前記４頂点の座標に基づいて、原画像を撮影したカメラと前記物体との幾何学的関係、及び前記カメラの内部パラメータを算出するステップと、
前記幾何学的関係、及び前記内部パラメータを用いて、前記原画像データを正面画像データに変換するステップと、
当該正面画像データを３次元ＣＧモデルに貼り付けるステップと、
を実行させるためのコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００６−１３４１３７（Ｐ２００６−１３４１３７Ａ）
【公開日】平成１８年５月２５日（２００６．５．２５）
【国際特許分類】
【出願番号】特願２００４−３２３５５０（Ｐ２００４−３２３５５０）
【出願日】平成１６年１１月８日（２００４．１１．８）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り ２００４年５月６日から７日 社団法人情報処理学会発行の「情報処理学会研究報告 情処研報Ｖｏｌ．２００４ Ｎｏ．４０」に発表
【出願人】（５９３００６６３０）学校法人立命館 (359)
【Ｆターム（参考）】
【公開日】平成１８年５月２５日（２００６．５．２５）
【国際特許分類】
【出願日】平成１６年１１月８日（２００４．１１．８）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り ２００４年５月６日から７日 社団法人情報処理学会発行の「情報処理学会研究報告 情処研報Ｖｏｌ．２００４ Ｎｏ．４０」に発表
【出願人】（５９３００６６３０）学校法人立命館 (359)
【Ｆターム（参考）】
[ Back to top ]