説明

2次元実写映像から3次元モデルを生成する方法及び装置

【課題】 2次元実写映像から3次元モデルを生成する方法及び装置を提供する。
【解決手段】 2次元実写映像のいずれか一つの客体内の少なくとも一つ以上の消失点に収斂するエッジ延長線の直線方程式を利用して、この消失点に対応する面の平面方程式を算出し、それを利用して客体に対する3次元モデルを生成することによって、3次元モデル生成過程での3次元幾何情報の算出のための計算が簡単であり、かつ正確に3次元モデルを生成できる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンピュータビジョン分野での映像処理に係り、特に2次元実写映像から3次元モデルを生成する方法及び装置に関する。
【背景技術】
【0002】
3次元モデリング技術は、コンピュータグラフィックス分野やコンピュータビジョン分野で多くの研究が進められている。コンピュータグラフィックス分野は、3次元空間での客体の幾何情報及び質感情報をモデリングする精巧なCAD(Computer Aided Design)システムを開発する方向に進められてきた。しかし、かかる方式は、実際の世界での客体の幾何情報が非常に複雑であり、照明効果を正確にモデリングしがたいため、写実的な映像を生成しがたいという問題点があった。
【0003】
コンピュータビジョン分野は、2次元映像から3次元の幾何情報を算出し、実際の映像を利用して実際の世界の照明条件下で客体の質感情報を算出する方向に進められてきた。かかる2次元映像から3次元の幾何情報を算出する従来の方式としては、“Single view metrology”(Criminisi,1999)、“Image−based modeling and photo editing”(Byong Mok Oh,2001)、“Using Geometric Constraints Through Parallelepipeds for Calibration and 3D Modelling”(Wilczkowiak,2005)などがある。しかし、かかる方式は、3次元の幾何情報の算出のための計算が非常に複雑であるという問題点があった。
【0004】
2002年に“Derek Hoeim”により発表された“AutomaticPhoto Pop−up”方式は、前記された方式よりその計算が非常に簡単なものであって、本を開けば、絵が飛び出す子供のポップアップブックに着眼したものである。すなわち、この方式は、2次元実写映像を地面、垂直及び空領域に区分し、映像内の地面と垂直との境界を推定する。次いで、この方式は、このように推定された境界を基準として2次元実写映像を構成する客体をカットして折ることによって、3次元モデルを生成する。しかし、この方式も、地面と垂直との境界が正しく設定されなければ、正確な3次元モデルが得られないという問題点があった。例えば、客体が建物であれば、建物と地面との間に自動車などが位置し、これにより、地面と垂直との境界が正しく設定されない。
【発明の開示】
【発明が解決しようとする課題】
【0005】
本発明が解決しようとする課題は、3次元モデルの生成過程での3次元の幾何情報の算出のための計算が簡単であり、かつ建物と地面との間に自動車などが位置する場合にも正確に3次元モデルを生成可能にする装置及び方法を提供するところにある。
【0006】
本発明が解決しようとする他の課題は、前記方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供するところにある。
【0007】
本発明が解決しようとする課題は、前記したような課題に限定されず、さらに他の課題が存在しうる。これは、当業者ならば、下記の記載から明確に理解される。
【課題を解決するための手段】
【0008】
前記課題を解決するための本発明による3次元モデルの生成方法は、2次元映像のいずれか一つの客体内で、映像情報の変化が臨界値以上である地点に該当するエッジを検出するステップと、前記検出されたエッジの延長線が交差する地点である少なくとも一つ以上の消失点に収斂するエッジ延長線の幾何情報を利用して、前記消失点に対応する前記客体の面の幾何情報を算出するステップと、前記2次元映像のデータ及び前記算出された面の幾何情報を利用して、前記客体に対する3次元モデルを生成するステップとを含む。
【0009】
前記他の課題を解決するために、本発明は、前記した3次元モデルの生成方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【0010】
前記課題を解決するための本発明による3次元モデル生成装置は、2次元映像のいずれか一つの客体内で、映像情報の変化が臨界値以上である地点に該当するエッジを検出するエッジ検出部と、前記検出されたエッジの延長線が交差する地点である少なくとも一つ以上の消失点に収斂するエッジ延長線の幾何情報を利用して、前記消失点に対応する前記客体の面の幾何情報を算出する面情報算出部と、前記2次元映像のデータ及び前記算出された面の幾何情報を利用して、前記客体に対する3次元モデルを生成する3次元モデル生成部とを備える。
【0011】
前記さらに他の課題を解決するための本発明によるナビゲーションシステムでのナビゲーション方法は、2次元映像のいずれか一つの客体内で、映像情報の変化が臨界値以上である地点に該当するエッジの延長線が交差する地点に基づいて前記客体の面の幾何情報を算出することによって、前記客体に対する3次元モデルを生成するステップと、前記生成された3次元モデルを含む3次元モデルのうち、前記ナビゲーションシステムの現在位置情報に該当する3次元モデルを抽出し、前記抽出された3次元モデルを前記ナビゲーションシステムが装着された移動体の進行方向に該当する2次元平面上にレンダリングするステップとを含む。
【0012】
前記さらに他の課題を解決するための本発明によるナビゲーションシステムは、2次元映像のいずれか一つの客体内で、映像情報の変化が臨界値以上である地点に該当するエッジの延長線が交差する地点に基づいて前記客体の面の幾何情報を算出することによって、前記客体に対する3次元モデルを生成する3次元モデル生成装置と、前記生成された3次元モデルを保存するメモリと、前記メモリに保存された3次元モデルのうち、前記ナビゲーションシステムの現在位置情報に該当する3次元モデルを抽出し、前記抽出された3次元モデルを前記ナビゲーションシステムが装着された移動体の進行方向に該当する2次元平面上にレンダリングするレンダリング装置とを備える。
【発明の効果】
【0013】
本発明によれば、2次元実写映像のいずれか一つの客体内の少なくとも一つ以上の消失点に収斂するエッジ延長線の直線方程式を利用して、この消失点に対応する面の平面方程式を算出し、それを利用して客体に対する3次元モデルを生成することによって、3次元モデル生成過程での3次元幾何情報の算出のための計算が簡単である。特に、本発明によれば、消失点に収斂するエッジ延長線のうち、客体内で最も中間に位置したエッジ延長線の直線方程式を利用して、前記客体の面の平面方程式を算出することによって、建物と地面との間に自動車などが位置する場合にも正確に3次元モデルを生成できる。
【0014】
また、本発明によれば、客体内のエッジの形態に基づいて客体の複雑度を決定し、これにより、本発明による面の幾何情報算出方式、従来の3次元モデリング方式または今後開発される3次元モデリング方式を選択的に適用可能にすることによって、最適の3次元モデリング過程をなした。また、前記したように、本発明による3次元モデリング方式は、その計算が簡単であり、かつ正確であるため、ナビゲーションシステムの内部に直接適用される場合に、3次元モデルを保存するメモリの容量を低減でき、ユーザーにさらに正確なナビゲーション画面を提供できる。
【発明を実施するための最良の形態】
【0015】
以下、図面を参照して、本発明の望ましい実施形態を詳細に説明する。
【0016】
図1は、本発明の望ましい一実施形態による3次元モデル生成装置の構成図である。図1に示すように、本実施形態による3次元モデル生成装置は、客体特定部11、ユーザーインターフェース12、エッジ検出部13、客体分類部14、面情報算出部15、第1 3次元モデル生成部16及び第2 3次元モデル生成部17から構成される。
【0017】
客体特定部11は、2次元実写映像内の映像特性の変化及びユーザーインターフェース12に入力されたユーザー入力情報のうち少なくとも一つ以上に基づいて、2次元実写映像を構成する少なくとも一つ以上の客体を特定する。すなわち、客体特定部11は、2次元実写映像内の映像特性の変化に基づいて自動的に客体を特定してもよく、ユーザーインターフェース12に入力されたユーザー入力情報に基づいて手動的に客体を特定してもよく、この両者に基づいて半自動的に客体を特定してもよい。
【0018】
特に、本実施形態では、客体を特定するために色々な2次元実写映像特性のうちテクスチャーを使用する。本実施形態でのテクスチャーは、3次元モデルを表現するための情報のうち幾何情報を除いたあらゆる情報を意味する。以下でも同様である。すなわち、客体特定部11は、2次元実写映像を構成する画素間のテクスチャーが異なる領域の境界に該当する客体の境界を検出し、その検出結果に基づいて客体を特定する。
【0019】
図2は、図1に示した客体特定部が自動的に客体を特定する場合を示す図である。図2の(a)は、デジタルカメラを使用して撮影された都心の2次元実写映像である。この2次元実写映像は、地面、建物及び空から構成される。図2の(a)を参照するに、地面、建物及び空のテクスチャーは異なるということが分かる。したがって、客体特定部11は、2次元実写映像の画素間のテクスチャーが異なる領域の境界に該当する地面の境界、建物の境界、空の境界を検出する。図2の(b)は、客体特定部11により検出された地面の境界21、建物の境界22、空の境界23を示したものである。また、客体特定部11は、このように検出された建物の境界を地面方向に延びることによって、建物の境界24を特定できる。
【0020】
また、客体特定部11は、ユーザーインターフェース12に入力されたユーザー入力情報に基づいて手動的に客体を特定できるが、この場合には、ユーザーがユーザーインターフェース12、例えばタッチスクリーン入力装置などを利用して客体の境界いずれをも描く場合である。また、客体特定部11は、2次元実写映像内の映像特性の変化及びユーザーインターフェース12に入力されたユーザー入力情報に基づいて、2次元実写映像を構成する少なくとも一つ以上の客体を特定できる。自動的に客体を特定する方式は、ユーザーの立場では便利であるが、速度が遅いか、またはエラーが発生し、手動的に客体の境界を特定する方式は、ユーザーに多くの負担を与える。
【0021】
図3は、図1に示した客体特定部が半自動的に客体を特定する場合を示す図である。図3の(a)に示したように、ユーザーがユーザーインターフェース12を利用して、2次元実写映像のうち客体を特定するための検索領域31を指定する。これにより、客体特定部11は、ユーザーインターフェース12に入力されたユーザー入力情報が指定する検索領域に対してのみ客体を特定することによって、完全自動方式よりさらに迅速に客体を特定できる。図3の(b)には、ユーザーにより指定された検索領域に基づいて特定された客体の左右境界32が示されている。
【0022】
図3の(c)に示したように、ユーザーがユーザーインターフェース12を利用して、2次元実写映像のうち客体のトップライン33を描く。これにより、客体特定部11は、ユーザーインターフェース12に入力されたユーザー入力情報が表す客体のトップラインと、2次元実写映像内のテクスチャーの変化とに基づいて客体を特定することによって、完全自動方式よりさらに正確に客体を特定できる。図3の(d)には、ユーザーにより描かれた客体のトップラインに基づいて特定された客体の境界34が示されている。一方、図3の(e)には、ユーザーにより描かれた客体の概略的な境界35が示されている。このように、ユーザーとの相互作用を通じて客体の境界を半自動的に特定できる。
【0023】
エッジ検出部13は、客体特定部11により特定された少なくとも一つ以上の客体のうち、現在3次元モデリングしようとする客体(以下、“現在の客体”という)内で、映像情報の変化が臨界値以上である地点を表すエッジを検出する。ここで、臨界値は、本実施形態を数回実行し、その結果に基づいて、本実施形態のユーザーまたは設計者などにより適切に特定される。特に、本実施形態では、現在の客体内でエッジを検出するために色々な映像情報のうち光度を使用する。すなわち、エッジ検出部13は、現在の客体内で光度の変化が臨界値以上である地点を表すエッジを検出する。建物を例として挙げれば、建物は、複数個の窓を備える。したがって、エッジ検出部13は、建物内で光度の変化が臨界値以上である地点に該当する建物のコンクリート表面と窓との境界をエッジとして検出する。
【0024】
客体分類部14は、エッジ検出部13により検出されたエッジの延長線の形態に基づいて現在の客体の複雑度を決定し、このように決定された現在の客体の複雑度によって、現在の客体を簡単な客体及び複雑な客体のうちいずれか一つに分類する。一般的に、3次元空間でいずれか一面は、その面に存在する三地点と定義される。二地点は、一つの直線に対応するため、3次元空間でいずれか一面は、その面に存在する一地点及び一つの直線と定義されるといえる。したがって、エッジ検出部13により検出されたエッジの延長線の形態が直線であり、この直線を含む面に存在する一地点が決定されるならば、このエッジ延長線に対応する建物の面が定義される。すなわち、客体分類部14は、エッジ検出部13により検出されたエッジの延長線の形態が直線であり、かかる直線形態のエッジの延長線を含む面が2次元の実写映像の地面に垂直である場合に、現在の客体を簡単な客体に分類し、その他の場合に複雑な客体に分類する。
【0025】
図4Aないし図4Cは、図1に示した客体分類部14での客体分類過程を示す図である。図4Aに示すように、図4Aの(a)に示した現在の客体は、2次元実写映像の地面に対して垂直な一面で構成されている。また、図4Aの(b)に示した現在の客体は、2次元実写映像の地面に対して垂直な二面で構成されている。また、図4Aの(c)に示した現在の客体は、2次元実写映像の地面に対して垂直な三面で構成されている。図4Aに示した客体は、エッジ検出部13により検出されたエッジの延長線の形態が直線であり、かかる直線形態のエッジの延長線を含む面が2次元実写映像の地面に垂直である場合であるため、客体分類部14により簡単な客体に分類される。
【0026】
図4Bに示すように、図4Bの(a)に示した現在の客体は、2次元実写映像の地面に対して垂直な一面と垂直でない他の面とで構成されている。図4Bの(b)に示した現在の客体は、2次元実写映像の地面に対して垂直な面で構成されているが、エッジ検出部13により検出されたエッジの延長線の形態が直線でない。図4Cに示すように、図4Cに示した現在の客体の面のうちいずれかは2次元実写映像の地面に対して垂直であり、その他は垂直でない。また、図4Cに示した現在の客体に対して、エッジ検出部13により検出されたエッジの延長線のうち一部は、その形態が直線であり、その他は直線でない。
【0027】
図4B及び図4Cに示した客体は、エッジ検出部13により検出されたエッジの延長線の形態が直線であり、かかる直線形態のエッジの延長線を含む面が2次元実写映像の地面に垂直である場合ではないため、客体分類部14により複雑な客体に分類される。ただし、前記したような客体分類基準は、下記される本実施形態によって建物の面方程式の算出が可能であるか否かを考慮したものである。したがって、前記した本実施形態ではない他の方式によって建物の面方程式が算出される場合には、前記した客体分類基準は変わるということを当業者ならば理解できる。
【0028】
面情報算出部15は、客体分類部14により現在の客体が簡単な客体に分類された場合、エッジ検出部13により検出されたエッジの延長線が交差する地点である少なくとも一つ以上の消失点を検出する。
【0029】
図5は、3次元空間での正六面体に対する2点透視図である。図5に示すように、3次元空間での正六面体が2次元空間の二つの消失点を基準とする透視図法を使用して示されている。透視図は、人間の目により客体が見られる原理が適用された方式で客体の立体感が表現される。特に、3次元空間での正六面体が2次元平面上に投影されれば、正六面体の各面の境界のうち互いに平行な境界は、いずれか一つの共通点で交差する線として投影されるということが分かる。この共通点を消失点という。消失点は、2次元空間で有限点であってもよく、無限点であってもよい。図5に示したように、正六面体の各面の境界のうち互いに平行な水平境界は、有限消失点を有する。一方、正六面体の各面の境界のうち互いに平行な垂直境界は、無限消失点を有する。本実施形態での消失点とは、有限消失点を意味する。
【0030】
図5から、一つの消失点は、客体の一面に対応するということが分かる。すなわち、面情報算出部15は、このように検出された消失点に収斂するエッジ延長線の幾何情報を利用して、この消失点に対応する客体の面の幾何情報を算出する。本実施形態において、エッジ延長線の幾何情報は、エッジ延長線の直線方程式を意味し、客体の面の幾何情報を客体の面の平面方程式を意味する。ただし、当業者ならば、エッジ延長線の幾何情報または客体の面の幾何情報は、前記した方程式でない他の種類の幾何情報となるということを理解できる。
【0031】
さらに詳細に説明すると、面情報算出部15は、このように検出された消失点に収斂するエッジ延長線のうち、現在の客体の境界内で最も中間に位置したエッジ延長線(以下、“中間線”という)の直線方程式と、現在の客体と地面との境界(以下、“現在の客体の下線”という)上の任意の一地点の座標値を利用して、この消失点に対応する客体の面の平面方程式とを算出する。特に、消失点の個数が複数個である場合、面情報算出部15は、複数個の消失点のうち第1消失点に収斂するエッジ延長線のうち中間線の直線方程式と、第1消失点に対応する第1面の下線上の任意の一地点の座標値を利用して、第1消失点に対応する第1面の平面方程式とを算出し、複数個の消失点のうち第2消失点に収斂するエッジ延長線のうち中間線の直線方程式と、第2消失点に対応する第2面の下線上の任意の一地点の座標値を利用して、第2消失点に対応する第2面の平面方程式とを算出する。複数個の消失点のうち残りに対しても同様である。
【0032】
図6及び図7は、図1に示した面情報算出部15での面幾何情報の算出方式を説明するための建物を示す図である。
【0033】
図6の(a)には、客体特定部11により検出された現在の客体61の境界が示されている。前記したように、3次元空間でいずれか一面は、その面に存在する一地点及び一つの直線と定義されるため、現在の客体の下線上のいずれか一点が決定されねばならない。これにより、面情報算出部15は、図6の(a)に示した現在の客体の下線上の一点62を決定する。特に、現在の客体と地面との境界上に自動車のような障害物が存在して、正しい現在の客体の下線を検出しがたい場合には、ユーザーがこの点を指定することもできる。この場合、面情報算出部15は、ユーザーインターフェース12に入力されたユーザー入力情報に基づいて、図6の(a)に示した現在の客体の下線上の一点62を決定する。また、図6の(b)には、エッジ検出部13により検出されたエッジの延長線が示されている。このエッジ延長線のうち、右側消失点(図示せず)に収斂するエッジ延長線63は、前記で決定された一点62を含む現在の客体61の面に存在する。
【0034】
図7の(a)には、エッジ検出部13により検出されたエッジの延長線が示されている。このエッジ延長線のうち、左側消失点71に収斂するエッジ延長線72は、現在の客体の左側面に対応し、右側消失点(図示せず)に収斂するエッジ延長線63は、現在の客体の右側面に対応する。図7の(b)には、右側消失点に対応する現在の客体の右側面の平面方程式が算出される過程が示されている。すなわち、面情報算出部15は、右側消失点に収斂するエッジ延長線のうち、現在の客体の境界内で中間に位置した中間線を決定し、この中間線の直線方程式と現在の客体の右側面の下線のうち任意の一地点とを決定し、このように決定された中間線の直線方程式と下線の3次元座標値とを利用して、客体の右側面の平面方程式を算出する。
【0035】
図8及び図9は、図1に示した面情報算出部15でのいずれか一面の平面方程式を算出する方式を示す図である。
【0036】
図8に示すように、図8に示した建物は、三面で構成されている。この三面の境界とこの三面それぞれの中間線とが交差する地点がA,B,C及びDで表示されている。この三面のうち左側面を例として挙げれば、この左側面は、線分ABとこの左側面の下線のうちいずれか一点Gとで決定される。以下では、面情報算出部15が線分ABの直線方程式と点Gの3次元座標値とを利用して、左側面の平面方程式を算出する方式を説明する。
【0037】
図9に示すように、3次元空間でのカメラの位置はOである。ここで、3次元空間とは、2次元実写映像が撮影された実際空間を意味し、カメラの位置は、2次元実写映像を撮影したカメラの位置を意味し、2次元実写映像の中央点となる。特に、カメラは、針穴カメラであって、完壁な投影が可能なものと仮定する。実際のカメラは、かかる針穴カメラではないため、若干の誤差がありうる。線分A’B’を含む建物の面は、3次元空間での実際の建物の面であるが、これは、カメラの焦点距離位置に線分ABを含む建物の面、すなわち2次元実写映像の建物の面として投影される。
【0038】
線分OAと線分OBとの延長線は、3次元空間の建物の面のA’とB’を通過する。線分CA’と線分DB’とは、地面に対する高さが同一であるため、DB’:OO’=CA’:OO’及びOB’:OB”=OA’:OA”が成立する。これから、線分A’B’と線分A”B”とは、互いに平行であるということが分かる。建物の面C’A’B’D’は、地面に垂直であるため、建物の面の法線は地面に平行である。したがって、線分A”B”に垂直なベクトルが建物の面に垂直なベクトルとなるということが分かる。
【0039】
面情報算出部15は、カメラの位置Oの3次元座標値及び建物の境界と中間線との交差点Aの3次元座標値から、直線OAの方程式を算出する。また、面情報算出部15は、カメラの位置Oの3次元座標値及び建物の境界と中間線との交差点Bの3次元座標値から、直線OBの方程式を算出する。ここで、カメラの位置O、交差点A及びBの3次元座標値は、この地点に対する2次元実写映像での2次元座標値とカメラの焦点距離とから推定される。
【0040】
また、面情報算出部15は、このように算出された直線OAの方程式を利用して、直線OAと地面との交差点A”の3次元座標値及び直線OBと地面との交差点B”の3次元座標値を算出し、このように算出された交差点A”及びB”の3次元座標値から、直線A”B”の方程式を算出する。また、面情報算出部15は、このように算出された直線A”B”の方程式を利用して、地面に存在する直線A”B”に垂直なベクトルNを算出する。
【0041】
また、面情報算出部15は、カメラの位置Oの3次元座標値及び建物の下線のうち任意の一点Gの3次元座標値から、直線OGの方程式を算出する。また、面情報算出部15は、このように算出された直線OGの方程式を利用して、直線OGと3次元空間地面との交差点Gの3次元座標値を算出する。いずれか一面の方程式は、その面に存在するいずれか一点の3次元座標値及びその面に垂直ないずれか一つのベクトル値を知れば算出される。すなわち、ある面に存在する一点が(x0,y0,z0)であり、この面に垂直なベクトルn=ai+bi+ckであれば、この面の方程式は、次の数式の通りである。
【0042】
a(x−x0)+b(y−y0)+c(z−z0)=0
したがって、面情報算出部15は、このように算出されたベクトルNと交差点Gとの3次元座標値を利用して、中央線ABを含む建物の左側面の平面方程式を算出できる。
【0043】
第1 3次元モデル生成部16は、2次元実写映像のデータ及び面情報算出部15により算出された面幾何情報を利用して、現在の客体に対する3次元モデルを生成する。ここで、2次元実写映像のデータは、2次元実写映像を構成する画素の2次元座標値及びテクスチャーを意味し、面情報算出部15により算出された面幾何情報は、その面の平面方程式を意味する。さらに詳細に説明すれば、第1 3次元モデル生成部16は、面情報算出部15により算出された各面の平面方程式に、2次元実写映像の現在の客体を構成する画素の2次元座標値、すなわちx座標値、y座標値を代入することによって、現在の客体の各面を構成する画素の3次元座標値、すなわちx座標値、y座標値、z座標値を算出する。また、第1 3次元モデル生成部16は、このように算出された現在の客体の各面を構成する画素の3次元座標値ごとに、この画素それぞれに対応する2次元実写映像のテクスチャーをマッピングすることによって、3次元客体に対する3次元モデルを生成する。
【0044】
図10は、図1に示した第1 3次元モデル生成部16でのテクスチャーマッピング方式を示す図である。図10に示すように、第1 3次元モデル生成部16は、現在の客体の各面を構成する画素の3次元座標値ごとに、現在の客体の各面に対向するカメラにより撮影されたテクスチャーをマッピングする。さらに詳細に説明すれば、第1 3次元モデル生成部16は、カメラが現在の客体101の左側面102に対しては左側面102に対向するようにカメラの位置を設定し、このように設定された位置のカメラにより撮影された2次元実写映像のテクスチャーを左側面102にマッピングし、カメラが現在の客体101の右側面103に対しては右側面103に対向するようにカメラの位置を設定し、このように設定された位置のカメラにより撮影された2次元実写映像のテクスチャーを右側面103にマッピングする。
【0045】
第2 3次元モデル生成部17は、客体分類部14により現在の客体が複雑な客体に分類された場合、前述した本実施形態による3次元モデリング方式でない従来の3次元モデリング方式を利用して、現在の客体に対する3次元モデルを生成する。例えば、第2 3次元モデル生成部17は、客体分類部14により複雑な客体に分類された客体に対しては、本明細書の従来技術部分で説明されたオートポップアップアルゴリズムを利用して、この客体に対する3次元モデルを生成できる。
【0046】
図11は、本発明の望ましい一実施形態による3次元モデルの生成方法のフローチャートである。図11に示すように、本実施形態による3次元モデルの生成方法は、図1に示した3次元モデル生成装置で時系列的に処理されるステップで構成される。したがって、以下で省略した内容であっても、図1に示した3次元モデル生成装置に関して前述した内容は、本実施形態による3次元モデルの生成方法にも適用される。
【0047】
ステップ111で、3次元モデル生成装置は、2次元実写映像内のテクスチャーの変化及びユーザーインターフェース12に入力されたユーザー入力情報のうち少なくとも一つ以上に基づいて、2次元実写映像を構成する少なくとも一つ以上の客体を特定する。
【0048】
ステップ112で、3次元モデル生成装置は、ステップ111で特定された少なくとも一つ以上の客体のうち現在の客体内で、光度の変化が臨界値以上である地点を表すエッジを検出する。
【0049】
ステップ113で、3次元モデル生成装置は、ステップ112で検出されたエッジの延長線の形態に基づいて、現在の客体の複雑度を決定し、このように決定された現在の客体の複雑度によって、現在の客体を簡単な客体及び複雑な客体のうちいずれか一つに分類する。
【0050】
ステップ114で、3次元モデル生成装置は、ステップ113で現在の客体が簡単な客体に分類された場合には、ステップ115に進み、ステップ113で現在の客体が複雑な客体に分類された場合には、ステップ118に進む。
【0051】
ステップ115で、3次元モデル生成装置は、ステップ112で検出されたエッジの延長線が交差する地点である少なくとも一つ以上の消失点を検出し、このように検出された消失点に収斂するエッジ延長線のうち中間線の直線方程式と、この消失点に対応する面の下線上の任意の一地点の座標値とを利用して、この消失点に対応する客体の面の平面方程式を算出する。
【0052】
ステップ116で、3次元モデル生成装置は、ステップ115で算出された各面の平面方程式に、2次元実写映像の現在の客体を構成する画素の2次元座標値、すなわちx座標値、y座標値を代入することによって、現在の客体の各面を構成する画素の3次元座標値、すなわちx座標値、y座標値、z座標値を算出する。
【0053】
ステップ117で、3次元モデル生成装置は、ステップ116で算出された現在の客体の各面を構成する画素の3次元座標値ごとに、この画素それぞれに対応する2次元実写映像のテクスチャーをマッピングすることによって、3次元客体に対する3次元モデルを生成する。
【0054】
ステップ118で、3次元モデル生成装置は、前述した本実施形態による3次元モデリング方式でない従来の3次元モデリング方式を利用して、現在の客体に対する3次元モデルを生成する。
【0055】
図12は、図1に示した3次元モデル生成装置を使用したナビゲーションシステムの構成図である。図12に示すように、図1に示した3次元モデル生成装置を使用したナビゲーションシステムは、カメラ121、3次元モデル生成装置122、メモリ123、GPS(Global Positioning System)124、レンダリング装置125及びディスプレイ装置126から構成される。3次元モデル生成装置122は、図1に示した3次元モデル生成装置と同じものであり、これに関する詳細な説明は、前述したので省略する。
【0056】
カメラ121は、実際の世界のいずれか一つの場面を撮影することによって、2次元実写映像を生成する。カメラ121は、移動体(例えば、自動車)の進行方向に該当する場面が撮影されるように、移動体の前部分に設置されねばならない。
【0057】
3次元モデル生成装置122は、カメラ121により生成された2次元実写映像を構成する客体のうちいずれか一つの客体内で、映像情報の変化が臨界値以上である地点に該当するエッジの延長線が交差する地点に基づいて、前記客体の面の幾何情報を算出することによって、前記客体に対する3次元モデルを生成する。
【0058】
メモリ123は、3次元モデル生成装置122により生成された3次元モデルを保存する。したがって、メモリ123には、カメラ122により撮影された2次元実写映像それぞれに対する3次元モデルが保存されている。
【0059】
ただし、本実施形態によるナビゲーションシステムは、カメラ121、3次元モデル生成装置122を備えず、本実施形態によるナビゲーションシステムでない他の装置であらかじめ生成された3次元モデルが保存されたメモリ123のみを備えることもできるということを当業者ならば理解できる。しかし、本実施形態による3次元モデル生成装置122は、3次元幾何情報の算出のための計算が簡単であるため、移動体が移動可能なあらゆる地域の3次元モデルが保存された大容量のメモリを備えず、移動体が現在に位置した場面の2次元実写映像を直ちに3次元モデリングし、メモリ123に保存された3次元モデルのうち移動体から遠くなった地域の3次元モデルを削除することによって、少容量のメモリのみでも十分でありうる。
【0060】
GPS 124は、少なくとも一つ以上のGPS衛星から移動体に装着されたナビゲーションシステムの現在位置情報を受信する。
【0061】
レンダリング装置125は、メモリ123に保存された3次元モデルのうち、GPS 124により受信されたナビゲーションシステムの現在位置情報に該当する3次元モデルを抽出し、このように抽出された3次元モデルをナビゲーションシステムが装着された移動体の進行方向に該当する2次元平面上にレンダリングする。
【0062】
ディスプレイ装置126は、レンダリング装置125によりレンダリングされた結果をディスプレイする。
【0063】
図13は、本発明の望ましい一実施形態によるナビゲーション方法のフローチャートである。図13に示すように、本実施形態によるナビゲーション方法は、図12に示したナビゲーションシステムで時系列的に処理されるステップで構成される。したがって、以下で省略した内容であっても、図12に示したナビゲーションシステムに関して前述した内容は、本実施形態によるナビゲーション方法にも適用される。
【0064】
ステップ131で、ナビゲーションシステムは、実際の世界のいずれか一つの場面を撮影することによって、2次元実写映像を生成する。
【0065】
ステップ132で、ナビゲーションシステムは、ステップ131で生成された2次元実写映像を構成する客体のうちいずれか一つの客体内で、映像情報の変化が臨界値以上である地点に該当するエッジの延長線が交差する地点に基づいて、前記客体の面の幾何情報を算出することによって、前記客体に対する3次元モデルを生成する。
【0066】
ステップ133で、ナビゲーションシステムは、ステップ132で生成された3次元モデルを保存する。
【0067】
ステップ134で、ナビゲーションシステムは、少なくとも一つ以上のGPS衛星から移動体に装着されたナビゲーションシステムの現在位置情報を受信する。
【0068】
ステップ135で、ナビゲーションシステムは、ステップ133で保存された3次元モデルを含む3次元モデルのうち、ステップ134で受信されたナビゲーションシステムの現在位置情報に該当する3次元モデルを抽出し、このように抽出された3次元モデルをナビゲーションシステムが装着された移動体の進行方向に該当する2次元平面上にレンダリングする。
【0069】
ステップ136で、ナビゲーションシステムは、ステップ135でレンダリングされた結果をディスプレイする。
【0070】
一方、前述した本発明の実施形態は、コンピュータで実行できるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現されうる。また、前述した本発明の実施形態で使われたデータの構造は、コンピュータで読み取り可能な記録媒体に色々な手段を通じて記録される。前記コンピュータで読み取り可能な記録媒体は、磁気記録媒体(例えば、ROM(リードオンリメモリ)、フロッピー(登録商標)ディスク、ハードディスクなど)、光学的な読み取り媒体(例えば、CD−ROM、DVDなど)のような記録媒体を含む。
【0071】
これまで、本発明について、その望ましい実施形態を中心に述べた。当業者は、本発明が、本発明の本質的な特性から逸脱しない範囲で変形された形態に具現可能であるということを理解できるであろう。したがって、開示された実施形態は、限定的な観点ではなく、説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく、特許請求の範囲に表れており、それと同等な範囲内にあるあらゆる相違点は、本発明に含まれていると解釈されねばならない。
【産業上の利用可能性】
【0072】
本発明は、2次元実写映像から3次元モデルを生成する装置及び方法関連の技術、例えばナビゲーションシステムなどに適用可能である。
【図面の簡単な説明】
【0073】
【図1】本発明の望ましい一実施形態による3次元モデル生成装置の構成図である。
【図2】図1に示した客体特定部が自動的に客体を特定する場合を示す図である。
【図3】図1に示した客体特定部が半自動的に客体を特定する場合を示す図である。
【図4A】図1に示した客体分類部での客体分類過程を示す図である。
【図4B】図1に示した客体分類部での客体分類過程を示す図である。
【図4C】図1に示した客体分類部での客体分類過程を示す図である。
【図5】3次元空間での正六面体に対する2点透視図である。
【図6】図1に示した面情報算出部での面幾何情報算出方式を説明するための建物を示す図である。
【図7】図1に示した面情報算出部での面幾何情報算出方式を説明するための建物を示す図である。
【図8】図1に示した面情報算出部でのいずれか一面の平面方程式を算出する方式を示す図である。
【図9】図1に示した面情報算出部でのいずれか一面の平面方程式を算出する方式を示す図である。
【図10】図1に示した第1 3次元モデル生成部でのテクスチャーマッピング方式を示す図である。
【図11】本発明の望ましい一実施形態による3次元モデル生成方法のフローチャートである。
【図12】図1に示した3次元モデル生成装置を使用したナビゲーションシステムの構成図である。
【図13】本発明の望ましい一実施形態によるナビゲーション方法のフローチャートである。
【符号の説明】
【0074】
11 客体特定部
12 ユーザーインターフェース
13 エッジ検出部
14 客体分類部
15 面情報算出部
16 第1 3次元モデル生成部
17 第2 3次元モデル生成部
121 カメラ
122 3次元モデル生成装置
123 メモリ
124 GPS
125 レンダリング装置
126 ディスプレイ装置

【特許請求の範囲】
【請求項1】
(a)2次元映像のいずれか一つの客体内で、映像情報の変化が臨界値以上の地点に該当するエッジを検出するステップと、
(b)前記検出されたエッジの延長線が交差する地点である少なくとも一つ以上の消失点に収斂するエッジ延長線の幾何情報を利用して、前記消失点に対応する前記客体の面の幾何情報を算出するステップと、
(c)前記2次元映像のデータ及び前記算出された面の幾何情報を利用して、前記客体に対する3次元モデルを生成するステップと、を含むことを特徴とする3次元モデルの生成方法。
【請求項2】
前記エッジ延長線の幾何情報は、前記エッジ延長線の直線方程式であり、前記面の幾何情報は、前記面の平面方程式であることを特徴とする請求項1に記載の3次元モデルの生成方法。
【請求項3】
前記(b)ステップは、前記エッジ延長線の直線方程式及び前記面のいずれか一地点の座標値を利用して、前記面の平面方程式を算出することを特徴とする請求項2に記載の3次元モデルの生成方法。
【請求項4】
前記(b)ステップは、前記消失点に収斂するエッジ延長線のうち、前記客体内で最も中間に位置したエッジ延長線の幾何情報を利用して、前記客体の面の幾何情報を算出することを特徴とする請求項1に記載の3次元モデルの生成方法。
【請求項5】
前記消失点が複数個である場合、
前記(b)ステップは、前記複数個の消失点のうち第1消失点に収斂するエッジ延長線の幾何情報を利用して、前記第1消失点に対応する前記客体の第1面の幾何情報を算出し、前記複数個の消失点のうち第2消失点に収斂するエッジ延長線の幾何情報を利用して、前記第2消失点に対応する前記客体の第2面の幾何情報を算出することを特徴とする請求項1に記載の3次元モデルの生成方法。
【請求項6】
前記検出されたエッジの形態に基づいて、前記客体の複雑度を決定するステップをさらに含み、
前記決定された客体の複雑度によって選択的に前記面の幾何情報を算出することを特徴とする請求項1に記載の3次元モデルの生成方法。
【請求項7】
前記2次元映像内の映像特性の変化及びユーザー入力情報のうち少なくとも一つ以上に基づいて、前記2次元映像を構成する少なくとも一つ以上の客体を特定するステップをさらに含み、
前記(a)ステップは、前記特定された客体のうちいずれか一つの客体内で、前記映像情報の変化が臨界値以上である地点に該当するエッジを検出することを特徴とする請求項1に記載の3次元モデルの生成方法。
【請求項8】
前記2次元映像のデータは、前記2次元映像を構成する画素の2次元座標値及びテクスチャーであり、前記面の幾何情報は、前記面の平面方程式であり、
前記(c)ステップは、前記面の平面方程式に前記2次元座標値を代入することによって、前記面を構成する画素の3次元座標値を算出し、前記算出された画素の3次元座標値ごとに前記画素それぞれに対応するテクスチャーをマッピングすることを特徴とする請求項1に記載の3次元モデルの生成方法。
【請求項9】
前記(c)ステップは、前記客体の各面を構成する画素の3次元座標値ごとに、前記現在の客体の各面に対向するカメラにより撮影されたテクスチャーをマッピングすることを特徴とする請求項8に記載の3次元モデルの生成方法。
【請求項10】
ナビゲーションシステムでのナビゲーション方法において、
2次元映像のいずれか一つの客体内で、映像情報の変化が臨界値以上である地点に該当するエッジの延長線が交差する地点に基づいて前記客体の面の幾何情報を算出することによって、前記客体に対する3次元モデルを生成するステップと、
前記生成された3次元モデルを含む3次元モデルのうち、前記ナビゲーションシステムの現在位置情報に該当する3次元モデルを抽出し、前記抽出された3次元モデルを前記ナビゲーションシステムが装着された移動体の進行方向に該当する2次元平面上にレンダリングするステップと、を含むことを特徴とするナビゲーション方法。
【請求項11】
映像内のエッジを検出することによって、前記映像内の客体を識別するステップと、
前記映像の所定の地面に関して前記識別された客体の検出された地点に基づいて、前記識別された客体の複雑度を決定するステップと、
前記決定された複雑度に基づいて選択的に前記識別された客体の少なくとも一つの対応面に対する少なくとも一つの消失点を識別し、前記映像の前記少なくとも一つの対応面の決定された点それぞれに関して前記識別された少なくとも一つの消失点を分析することによって、3次元モデルに対する前記少なくとも一面を生成するステップと、
3次元空間で前記少なくとも一面を組み合わせることによって、前記3次元モデルを生成するステップと、を含むことを特徴とするモデリング方法。
【請求項12】
映像内のエッジを検出することによって、前記映像内の客体を識別するステップと、
前記識別された客体の少なくとも一つの対応面に対する少なくとも一つの消失点を識別し、前記映像の前記少なくとも一つの対応面の決定された点それぞれと、前記映像の下面に実質的に平行なラインに実質的に垂直な二つのエッジ線の間の各面を横切る中間線である各面内の各対応線に関して、前記識別された少なくとも一つの消失点とを分析することによって、3次元モデルに対する前記少なくとも一面を生成するステップと、
3次元空間で前記少なくとも一面を組み合わせることによって、前記3次元モデルを生成するステップと、を含むことを特徴とするモデリング方法。

【図1】
image rotate

【図5】
image rotate

【図9】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4A】
image rotate

【図4B】
image rotate

【図4C】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図10】
image rotate


【公開番号】特開2008−204458(P2008−204458A)
【公開日】平成20年9月4日(2008.9.4)
【国際特許分類】
【出願番号】特願2008−34898(P2008−34898)
【出願日】平成20年2月15日(2008.2.15)
【出願人】(390019839)三星電子株式会社 (8,520)
【氏名又は名称原語表記】SAMSUNG ELECTRONICS CO.,LTD.
【住所又は居所原語表記】416,Maetan−dong,Yeongtong−gu,Suwon−si,Gyeonggi−do 442−742(KR)
【Fターム(参考)】