３次元情報取得方法、３次元情報取得装置、および３次元情報取得プログラム
【課題】被写体を２次元で表現する画像に基づき被写体の３次元空間内における奥行きを示す３次元情報の検出精度を高めること。
【解決手段】３次元の対象物を２次元で表わす画像の画像データを入力する画像入力ステップと、前記画像データに基づき前記画像の特徴量を示す特徴量情報を、前記画像を複数個に分割した分割エリア毎に取得する特徴量取得ステップと、３次元の対象物を２次元で表わす画像内における任意のサンプリングポイント毎に、当該サンプリングポイントの画像の特徴量を示すサンプリングポイント特徴量情報と、仮想３次元空間において前記対象物を表現した場合の前記サンプリングポイント同士の水平方向の間隔を示す３次元情報とをそれぞれ対応付ける３次元情報テーブルを参照して、前記特徴量情報が示す前記分割エリアの画像の特徴量と対応する前記３次元情報を取得する３次元情報取得ステップと、を含むことを特徴とする。
【解決手段】３次元の対象物を２次元で表わす画像の画像データを入力する画像入力ステップと、前記画像データに基づき前記画像の特徴量を示す特徴量情報を、前記画像を複数個に分割した分割エリア毎に取得する特徴量取得ステップと、３次元の対象物を２次元で表わす画像内における任意のサンプリングポイント毎に、当該サンプリングポイントの画像の特徴量を示すサンプリングポイント特徴量情報と、仮想３次元空間において前記対象物を表現した場合の前記サンプリングポイント同士の水平方向の間隔を示す３次元情報とをそれぞれ対応付ける３次元情報テーブルを参照して、前記特徴量情報が示す前記分割エリアの画像の特徴量と対応する前記３次元情報を取得する３次元情報取得ステップと、を含むことを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を２次元で表わす画像データに基づき被写体の３次元空間内における奥行きを示す３次元情報を取得する３次元情報取得方法、３次元情報取得装置、および３次元情報取得プログラムに関するものである。
【背景技術】
【０００２】
一枚の写真の画像データからエッジ抽出をおこない、透視投影モデルを利用して消失点の位置を推定し、推定される消失点に基づき、３次元空間における被写体の位置を示す３次元情報を算出する手法がある（例えば、非特許文献１参照）。
これは、建物を直方体と仮定して、エッジ抽出によりテクスチャが変化する境界部分（以下、エッジという）を抽出し、このエッジが立方体である建物の一辺を構成しているとの考えによるものである。よって、非特許文献１において、テクスチャが変化する境界部分の直線を延ばした仮想線が消失線であり、この仮想線である消失線の交わるところが消失点であると仮定し、奥行きを示す３次元情報を算出する。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】情報処理学会研究報告．ＣＶＩＭ，“１枚の画像からの３次元復元の統計的最適化"，２００４(１１３)，１１７-１２４，２００４-１１-１１．
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、被写体として屋内を撮影した場合、天井や壁のほかにも、看板や空調といった建物を構成している面以外の物体が数多く存在している。このため、複数のエッジの中から消失点を形成するエッジを見分けるのが難しく、正しく消失点を出すのは困難である。
つまり、このような被写体を含む画像に基づき検出されたエッジには、建物を構成する面の消失線以外の直線も含まれているため、これら複数のエッジから建物の３次元空間を表わす消失点を取得することが困難であるという問題があった。
本発明は、上記課題を解決するものであり、被写体を２次元で表現する画像に基づき被写体の３次元空間内における奥行きを示す３次元情報の検出精度を高める３次元情報取得方法、３次元情報取得装置、および３次元情報取得プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述の課題を鑑み、本発明に係る３次元情報取得方法は、本発明に係る３次元の対象物を２次元で表わす画像の画像データを入力する画像入力ステップと、前記画像データに基づき前記画像の特徴量を示す特徴量情報を、前記画像を複数個に分割した分割エリア毎に取得する特徴量取得ステップと、３次元の対象物を２次元で表わす画像内における任意のサンプリングポイント毎に、当該サンプリングポイントの画像の特徴量を示すサンプリングポイント特徴量情報と、仮想３次元空間において前記対象物を表現した場合の前記サンプリングポイント同士の水平方向の間隔を示す３次元情報とをそれぞれ対応付ける３次元情報テーブルを参照して、前記特徴量情報が示す前記分割エリアの画像の特徴量と対応する前記３次元情報を取得する３次元情報取得ステップと、を含むことを特徴とする。
【０００６】
上述の３次元情報取得方法において、前記サンプリングポイントは、前記画像内において画像のテクスチャが変化する境界部分に対応する画素であることを特徴とする。
【０００７】
上述の３次元情報取得方法は、前記対象物を２次元の画像内において立体的に表現するための立体モデルデータを参照して、前記３次元情報に基づき、前記対象物を立体的に表現した２次元の画像データを作成する立体画像作成ステップとをさらに備えることを特徴とする。
【０００８】
上述の３次元情報取得方法は、前記特徴量取得ステップにおいて、エッジを検出し、前記立体画像作成ステップにおいて、検出されたエッジのうち、最も長さが長いエッジとこのエッジに対応するエッジに基づき、前記対象物の３次元空間を示す消失点を算出することを特徴とする。
【０００９】
上述の３次元情報取得方法は、前記立体画像作成ステップにおいて、検出されたエッジに基づき、画像内のオブジェクトを検出することを特徴とする。
【００１０】
上述の課題を鑑み、本発明に係る３次元情報取得装置は、３次元の対象物を２次元で表わす画像の画像データを入力する画像入力手段と、前記画像データに基づき前記画像の特徴量を示す特徴量情報を、前記画像を複数個に分割した分割エリア毎に取得する特徴量取得手段と、３次元の対象物を２次元で表わす画像内における任意のサンプリングポイント毎に、当該サンプリングポイントの画像の特徴量を示すサンプリングポイント特徴量情報と、仮想３次元空間において前記対象物を表現した場合の前記サンプリングポイント同士の水平方向の間隔を示す３次元情報とをそれぞれ対応付ける３次元情報テーブルを参照して、前記特徴量情報が示す前記分割エリアの画像の特徴量と対応する前記３次元情報を取得する３次元情報取得手段と、を含むことを特徴とする。
【００１１】
上述の課題を鑑み、本発明に係る３次元情報取得プログラムは、コンピュータに、上述に記載のステップを実行させるための３次元情報取得プログラムであることを特徴とする。
【発明の効果】
【００１２】
本発明によると、被写体を２次元で表現する画像に基づき被写体の３次元空間内における奥行きを示す３次元情報の検出精度を高めることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る３次元情報取得システムの構成の一例を示すブロック図である。
【図２】本発明の実施形態に係る３次元情報テーブルの一例を示す図である。
【図３】本発明の実施形態に係る学習用の撮影画像と特徴量画像の一例を示す図である。
【図４】本発明の実施形態に係る照合手段の構成の一例を示す図である。
【図５】本発明の実施形態に係る奥行推定値生成の一例について説明するための図である。
【図６】本発明の実施形態に係る奥行推定値生成の他の例について説明するための図である。
【発明を実施するための形態】
【００１４】
［第１実施形態］
以下、本発明の一実施形態にかかる３次元情報取得システムの一例について説明する。図１は、本実施形態にかかる３次元情報取得システムの構成の一例を示すブロック図である。
図１に示す通り、３次元情報取得システムは、３次元情報データベース生成装置１００と、３次元情報データベース２００と、３次元情報取得装置３００とを含む。この３次元情報取得装置３００は、画像入力手段３０１と、照合手段３０２と、出力手段３０３とを含む。
【００１５】
本実施形態にかかる３次元情報取得システムにおいて、３次元情報データベース生成装置１００は、ある構造体である対象物Ｏを撮影した学習画像の画像データに基づき、仮想３次元空間における撮影地点からの対象物Ｏの奥行きを示す３次元情報（奥行き情報）と、学習画像の特徴量を示す特徴量情報とを対応付けた３次元情報テーブルを作成し、３次元情報データベース２００に記憶させる。この３次元情報と特徴量情報は、対象物Ｏにおける任意の部分（以下、サンプリングポイントという）毎に取得され、３次元情報テーブルにおいてサンプリングポイント毎に対応づけられている。本実施形態において、３次元情報として、奥行きを示す奥行き情報を例に以下説明するが、本発明はこれに限られず、仮想３次元空間における対象物Ｏのサンプリングポイント同士の水平方向の距離を示す情報であればよい。
【００１６】
なお、３次元情報データベース生成装置１００は、３次元情報テーブルを作成するための学習用データである学習画像の画像データとして、対象物Ｏを撮影した画像を１枚または複数枚用意する。つまり、３次元情報データベース生成装置１００は、対象物Ｏを撮影した学習画像の画像データに基づき、画像内における対象物Ｏの画像特徴量と仮想３次元空間における水平方向における対象物Ｏのサンプリングポイント同士の距離とを紐付けるテーブルを事前に作成する。
【００１７】
３次元情報取得装置３００の画像入力手段３０１は、対象物Ｏを撮影した対象画像の画像データを、例えばカメラ等の外部装置から入力する。この対象画像は、３次元情報取得装置３００による３次元情報を取得する対象の画像である。
３次元情報取得装置３００の照合手段３０２は、画像入力手段３０１から入力する対象画像の画像データに基づき画像の特徴量を示す特徴量情報を算出し、３次元情報テーブルを参照して、対象画像の特徴量に対応する３次元情報（奥行き情報）を取得する。
３次元情報取得装置３００の出力手段３０３は、取得した３次元情報に基づき対象画像内のおける対象物Ｏの仮想３次元空間を推定して、２次元の画像内において対象物Ｏを立体的に表わした立体画像を作成して出力する。この出力手段３０３は、例えば、自身の記憶部に記憶されている対象物Ｏを２次元の画像内において立体的に表現するための立体モデルデータを参照して、照合手段３０２から入力する３次元情報に基づき、対象物Ｏを立体的に表現した２次元の立体画像の画像データを作成する。
【００１８】
本実施形態にかかる「ある構造の対象物Ｏ」は、図建物内の廊下や通路といった面で構成されている建造物の内部である。以下に学習画像の画像データとして、このような構造を有する対象物Ｏが撮影されて得られた画像データが、３次元情報データベース生成装置１００に入力された場合について説明する。
【００１９】
次に、３次元情報データベース生成装置１００の構成について詳細に説明する。
３次元情報データベース生成装置１００は、画像上の任意の各点（サンプリングポイントＰＬ１〜ＰＬｎ）の特徴量情報と各点（サンプリングポイントＰＬ１〜ＰＬｎ）のもつ奥行き情報とを対応づけて３次元情報テーブルを作成する。
この３次元情報テーブルの一例を図２に示す。図２に示す通り、３次元情報テーブルは、例えば、画像内における対象物Ｏの任意のサンプリングポイントＰＬ１〜ＰＬｎ毎に、このサンプリングポイントＰＬ１〜ＰＬｎの画像の特徴量を示す特徴量情報と、２次元の画像から予測される仮想３次元空間内における対象物Ｏのサンプリングポイント同士の水平方向の間隔を表わす３次元情報とをそれぞれ対応付けるテーブルである。
このサンプリングポイントＰＬ１〜ＰＬｎは、学習画像のエッジ部分に対応する位置であることが好ましい。この場合、サンプリングポイントＰＬ１〜ＰＬｎの特徴量情報は、画像のエッジ部分に対応する位置の画素値であり、サンプリングポイントＰＬ１〜ＰＬｎにおける奥行き情報は、当該学習画像が撮影された際の撮影位置からの実空間におけるサンプリングポイントＰＬ１〜ＰＬｎに対応する位置までの距離を示す。
【００２０】
また、３次元情報データベース生成装置１００は、学習画像の画像データに基づき画像の特徴量を算出し、この特徴量が示す画像のテクスチャが変化する境界部分を示す箇所をサンプリングポイントＰＬ１〜ＰＬｎとして決定する。３次元情報データベース生成装置１００は、このサンプリングポイントＰＬ１〜ＰＬｎにおける特徴量として、例えば、画像テクスチャを示すテクスチャ情報を算出する。なお、このサンプリングポイントＰＬ１〜ＰＬｎは、画像のテクスチャが変化する境界部分の位置や、エッジ検出により検出されるエッジ等の構造体である対象物Ｏにおける辺に相当する部分を示すものであってもよい。また、このサンプリングポイントＰＬ１〜ＰＬｎは、画像のテクスチャが変化する境界部分やエッジにより区分された構造体である対象物Ｏにおける面に相当する部分を示すものであってもよい。
【００２１】
また、３次元情報データベース生成装置１００は、例えば、当該学習画像が撮影された位置から対象物Ｏとの距離を計測するレーザー等の距離計から対象物Ｏと撮影位置との距離を示す距離情報を入力する。この３次元情報データベース生成装置１００は、距離情報に基づき、実空間におけるサンプリングポイントＰＬ１〜ＰＬｎに対応する位置と撮影位置との距離を算出し、この距離により仮想３次元空間における対象物Ｏの水平方向の位置関係を示す奥行き情報を３次元情報として算出する。
３次元情報データベース生成装置１００は、上述のようにして算出したテクスチャ情報（特徴量情報）と奥行き情報（３次元情報）とを、サンプリングポイントＰＬ１〜ＰＬｎ毎に対応付けて、３次元情報テーブルを作成する。
【００２２】
テクスチャ情報（特徴量情報）について説明する。このテクスチャ情報としては、仮想３次元空間内におけるサンプリングポイントＰＬ１〜ＰＬｎ間の水平方向の間隔（距離）や位置関係を示す奥行き情報に応じて変化する特徴量を用いることが望ましい。画像上のサンプリングポイントＰＬ１〜ＰＬｎ毎のテクスチャ情報は、画素値でもよい。
例えば、エッジ強度は、画像内における奥行きが遠くなるほど小さくなる性質がある。よって、３次元情報データベース生成装置１００は、入力する学習画像の画像データに対してエッジ検出を行いエッジ画像を作成する。このエッジ画像により得られるエッジ強度をテクスチャ情報としてもよい。なお、エッジ画像やエッジ強度の算出方法は、非特許文献２にある方法でもよいし、独自に算出式を設けて予め３次元情報データベース生成装置１００の記憶部保存しておき、３次元情報データベース生成装置１００が、この算出式に基づきエッジ強度等を算出するものであってもよい。
＜非特許文献２＞ 画像標準テキストブック 画像処理標準テキストブック編集委員会監修 平成9年発行財団法人画像情報教育振興協会 p.176
【００２３】
また、３次元情報データベース生成装置１００は、エッジ強度の値そのものだけをテクスチャ情報とするものであってもよく、予め基準点として決められているエッジ強度と各点（サンプリングポイントＰＬ１〜ＰＬｎ）でのエッジ強度との比率をテクスチャ情報としてもよい。
また、３次元情報データベース生成装置１００は、奥行きが遠くなるほど濃淡値が薄くなることを利用し、基準点と各点（サンプリングポイントＰＬ１〜ＰＬｎ）との濃淡値の比率を用いてテクスチャ情報を算出するものであってもよい。
【００２４】
さらに、３次元情報データベース生成装置１００は、ハフ変換等により線分を検出し、検出された線分上のみの画素値やエッジ強度をテクスチャ情報として算出するものであってもよい。
さらに、３次元情報データベース生成装置１００は、奥行きに応じて変化する適切な特徴量であれば、それをテクスチャ情報として用いてよい。また、３次元情報データベース生成装置１００は、画素値とエッジ強度との両方をテクスチャ情報として生成するなど、複数の値をテクスチャ情報として生成するものであってもよい。
【００２５】
次に、３次元情報データベース２００において、テクスチャ情報（特徴量情報）と対応付けられる奥行き情報（３次元情報）について説明する。この奥行き情報は、レーザー等の距離計で取得した値でもよく、また手動でサンプリングポイント間の相対的な距離を入力した値でもよい。奥行き情報は、仮想３次元空間内における座標でもよく、サンプリングポイント間における相対的な奥行き（距離・間隔）のみを示す値等でもよい。
【００２６】
次に、３次元情報データベース２００について説明する。この３次元情報データベース２００は、３次元情報データベース生成装置１００によって生成された３次元情報テーブルを記憶する。つまり、３次元情報データベース２００は、上記のようにして得られた画像上のサンプリングポイントＰＬ１〜ＰＬｎのテクスチャ情報（特徴量情報）とサンプリングポイントＰＬ１〜ＰＬｎの奥行き情報（３次元情報）とをセットで記憶する。
【００２７】
このテクスチャ情報とその奥行き情報とのセットを有する３次元情報テーブルの一例について、図３を参照して説明する。図３（ａ）は、３次元情報データベース生成装置１００の学習用の撮影画像Ｄ１０の一例を示す図である。図３（ｂ）は、学習用の撮影画像の特徴量を示す特徴量画像Ｄ１２の一例を示す図である。
【００２８】
図３（ｂ）に示す特徴量画像Ｄ１２は、３次元情報データベース生成装置１００によるエッジ検出によって生成された画像の明るさに応じた変化を示すエッジ画像である。この特徴量画像Ｄ１２において、薄い色（ここでは無色）の直線で示す部分がエッジであり、破線で囲まれた部分に１つのエッジが存在している。
【００２９】
本実施形態において、３次元情報テーブルは、この特徴量画像Ｄ１２中の白い点線で囲まれたエッジ上のエッジ強度（特徴量情報）と奥行き情報（３次元情報）とを対応付けたテーブルである。この奥行き情報は、サンプリングポイントＰＬ１〜ＰＬｎと撮影位置とのそれぞれの距離を相対的に示す相対値であって、撮影者からの奥行きを示している。図３（ｂ）に示す通り、エッジ強度は、撮影位置から遠ざかるほど、つまり、奥行値が大きくなるほど、エッジ強度が弱くなっている。なお、エッジ強度は、薄い色で示すほど強く、濃い色で示す部分ほど弱い。このように、３次元情報データベース生成装置１００は、３次元情報テーブルにおける特徴量情報として、奥行きに応じて変化するテクスチャ情報を用いることが望ましい。
【００３０】
なお、本実施形態において、３次元情報テーブルは、特徴量情報としてのテクスチャ情報と、３次元情報としての奥行き情報と対応づけるテーブルを例に説明したが、本発明はこれに限定されない。つまり、３次元情報データベース生成装置１００は、３次元情報として、奥行きと連動する値ではなく撮影位置からの距離を２値化した情報で割り当てるものであってもよい。
例えば、３次元情報データベース生成装置１００は、学習画像の撮影地点から予め決められた距離よりも遠ざかっている面に存在するサンプリングポイントの３次元情報としては「１」を、撮影地点に平行な面に存在するサンプリングポイントであってあまり撮影位置からの距離が変化しない場合や、撮影位置から予め決められた距離もよりも撮影位置に近い面に存在するサンプリングポイントの３次元情報としては「０」を、それぞれ割り振ってもよい。
【００３１】
また、３次元情報データベース生成装置１００は、ハフ変換等により検出された線分上のエッジ強度を調べ、エッジ強度の変化量が大きい場合は３次元情報として「１」を、エッジ強度が線分上でほぼ変化しない場合は３次元情報として「０」を、それぞれ割り振っても良い。なお、３次元情報データベース生成装置１００は、このときの変化量の閾値を経験的あるいは実験的得られた値を設定してもよいし、学習画像の画像データからエッジ強度などのテクスチャ情報の線分上における変化量とその頻度のヒストグラムを作成し、判別分析法などにより閾値を決定してもよい。
【００３２】
次に、３次元情報取得装置３００の照合手段３０２について説明する。
照合手段３０２は、図４に示すように、特徴量画像作成手段（特徴量取得手段）３２１とテクスチャ情報比較手段（３次元情報取得手段）３２２と奥行推定値算出手段３２３とを含む。
特徴量画像作成手段３２１は、入力する対象画像から３次元情報テーブルの作成時と同様の特徴量画像を作成する。たとえば、３次元情報データベース２００に登録されている特徴量情報がエッジ画像から取得されたエッジ強度である場合、この特徴量画像作成手段３２２は、対象画像の画像データに基づき、特徴量画像としてエッジ画像を生成し、エッジ強度を求める。
【００３３】
テクスチャ情報比較手段３２２は、特徴量画像の各点（以下、照合ポイントＰＣ１〜ＰＣｎという）でのテクスチャ情報と３次元情報データベース２００内の特徴量情報（テクスチャ情報）とを比較し、マッチするデータを検索する。
【００３４】
図２に示す３次元情報テーブルを例にとると、あるサンプリングポイントＰＬ１では、そのエッジ強度「５１０」と、３次元情報「１」とが対応付けられている。この３次元情報テーブルのように、特徴量情報（エッジ強度）が連続値で求められ、３次元情報（奥行き情報）が離散的であった場合、テクスチャ情報比較手段３２２は、この３次元情報テーブルを参照して、特徴量画像作成手段３２１によって取得された画像特徴量（エッジ強度）に対応する３次元情報（奥行き情報）を検索する。
このテクスチャ情報比較手段３２２は、例えば、特徴量画像作成手段３２１によって取得された画像特徴量（エッジ強度）と最も近傍する画像特徴量（エッジ強度）を３次元情報テーブルから探索し、その画像特徴量（エッジ強度）に対応する３次元情報（奥行き情報）を取得するものであっても良い。また、テクスチャ情報比較手段３２２は、線形補間法により連続的に画像特徴量（エッジ強度）と３次元情報（奥行き情報）との関係を推定してもよい。また他にも、テクスチャ情報比較手段３２２は、例えば、基準点と各点でのエッジ強度の比をもとに検索を行ってもよい。また、テクスチャ情報比較手段３２２は、ハフ変換等により線分を検出し、画像中の一番長い線分に注目し、その線分の端点を基準点とし、エッジ上の各点のエッジ強度と基準点でのエッジ強度との比を観測する。各点のエッジ強度比と値の近いエッジ強度比を奥行データベース上で検索してもよい。
【００３５】
その他、特徴量画像作成手段３２１は、３次元情報データベース２００に、エッジ画像から得られたテクスチャ情報が特徴量情報として保持されている場合、入力する対象画像の画像データに基づきエッジ画像を作成し、テクスチャ情報比較手段３２２に出力する。このテクスチャ情報比較手段３２２は、この対象画像に基づくエッジ画像と、学習画像に基づくエッジ画像から得られた３次元情報テーブルにおけるエッジ強度とのそれぞれの複数画素の集合からなる小領域どうしの正規化相関値を求め、正規化相関値が１に近くなるよう特徴量情報（テクスチャ情報）の検索をおこなってもよい。
【００３６】
奥行推定値算出手段３２３は、検索においてマッチしたテクスチャ情報に割り振られている奥行き情報を用いて、適切な奥行推定値を割り当てる。つまり、奥行推定値算出手段３２３は、３次元情報テーブルにおける３次元情報（奥行き情報）の値に対応する奥行きとして予め決められている奥行推定値を参照して、現実空間における奥行きの長さを取得する。３次元情報（奥行き情報）の値に対応する奥行きとして予め決められている奥行推定値は、予め３次元情報データベース２００に保存されている。
【００３７】
次に、出力手段３０３について説明する。
出力手段３０３は、入力画像中の全点（照合ポイントＰＣ１〜ＰＣｎ）において奥行推定値を算出したときは、その奥行推定値に基づいて、立体表示を出力してもよい。この奥行推定値の一例について、図５を参照して説明する。
図５（ａ）は、対象画像Ｄ２０における壁と天井の境界部分を示すエッジ５０１を示す。
図５（ａ）において、点線で示すエッジ５０１は、対象画像Ｄ２０から検出された最も長い直線である。このエッジ５０１は、一方の端に照合ポイントＰＣ５１を、他の端に照合ポイントＰＣ５２を有する。
図５（ｂ）は、撮影位置と奥行きについて説明する図である。図５（ｂ）に示す通り、ｘ軸−ｙ軸で規定される面が撮影位置と平行な面である。ｚ軸は、奥行きを示す。図５（ｂ）に示す仮想３次元空間５０２は、対象画像Ｄ２０に含まれる対象物Ｏの立体空間を示す。
出力手段３０３は、照合手段３０２によって取得された３次元情報に基づき、対象画像内の照合ポイントＰＣ５１とＰＣ５２を仮想３次元空間５０２内の座標（ｘ，ｙ，ｚ）で示す奥行推定値を算出し、立体画像を作成する。
【００３８】
また、出力手段３０３は、ハフ変換により検出した線分上の各点の奥行推定値を算出した場合、シーンの構造を推定することが可能となる。例えば、撮影地点からみて遠ざかっている直線（奥行きのある直線）とカメラ位置に対して平行な直線（奥行きのない直線）が存在する場合、出力手段３０３は、奥行きのある直線は天井と壁の境界線とする。また、出力手段３０３は、カメラ位置に対して平行な直線は、カメラに対して平行な面を形成していると推定し、擬似的な立体表現をしてもよい。
さらに、出力手段３０３は、立方体モデルを基本モデル保持し、線分を立方体の各線分に割り振ってもより、立方体モデルに対応させて出力してもよい。
【００３９】
また、出力手段３０３は、奥行推定値を利用して、セグメンテーションをすることも可能である。例えば、画像中の看板を抽出したい場合、看板と向き合って撮影した画像が（撮影地点に平行に立っていると分かっている場合）、カメラ位置に対して平行な直線群を抽出し、看板抽出をおこない、看板にあたる領域を出力してもよい。
このセグメンテーションについて、図６を参照して説明する。図６（ａ）は、対象画像Ｄ３０を示す。図６（ｂ）は、この対象画像Ｄ３０から検出された複数のエッジ６０１〜６０６を示す。
照合手段３０２は、図６（ｂ）に示す通り、最も長さが長いエッジ６０１に基づき、照合ポイントＰＣ６１と照合ポイントＰＣ６２を選択し、３次元情報データベース２００の３次元情報テーブルを参照して、この照合ポイントＰＣ６１と照合ポイントＰＣ６２の特徴量と対応する３次元情報を取得し、出力手段３０３に出力する。また、照合手段３０２は、検出した全てのエッジ６０１〜６０６を示す情報を出力手段３０３に出力する。
この出力手段３０３は、この３次元情報に基づき、この照合ポイントＰＣ６１と照合ポイントＰＣ６２に対応する奥行推定値を算出する。また、出力手段３０３は、エッジ６０１〜６０６を示す情報に基づき、図５（ｂ）に示したような仮想３次元空間内５０２におけるｘ軸あるいはｙ軸の値が一定あるいはほぼ一定（ずれが予め決められた一定の許容範囲内）となるエッジがあるいか否かを判断する。ここで、出力手段３０２は、ｘ軸の値が一定であるエッジ６０５と、ｙ軸の値が一定であるエッジ６０６とを検出する。そして、出力手段３０２は、このエッジ６０５と６０６とで規定される画像領域が看板にあたる領域であると判断する。
【００４０】
なお、出力手段３０３は、エッジ６０５とエッジ６０６のように、各直線の一端が接触しており、１つの閉じられた領域を構成する画像領域６０７を、画像内におけるオブジェクトとして検出するものであってもよい。また、出力手段３０３は、エッジ６０１〜６０６によって画像内の領域を分割し、分割された分割領域をオブジェクトとして検出してもよい。
【００４１】
また、出力手段３０２は、検出したエッジ６０１〜６０６のうち、最も長さが長いエッジ６０１を選択し、このエッジ６０１の角度等に応じて、消失点を算出するためのエッジを選択する。本実施形態において、エッジ６０１を伸ばした仮想線と、エッジ６０４を伸ばした仮想線とが交わる箇所が消失点であることが予め決められて、自身が内蔵するメモリに記録されている。出力手段３０２は、このメモリ内の情報を参照して、消失点をの位置を算出することができる。
【００４２】
本発明に係る３次元情報取得装置３００によれば、ある構造をもつ対象物Ｏ（本実施形態においては、風景シーン）を撮影した学習画像を用いて３次元情報テーブルを学習させることによって、一枚の非立体画像（つまり、奥行き情報が不明な２次元画像）から奥行き情報を推定することができる。これによって、２次元の画像から擬似的に立体画像を生成することはもちろん、奥行き情報を用いて画像のセグメンテーションを行い、所望の領域を抽出することも可能となる。
【００４３】
また、上述の通り、本発明は、ある構造体である対象物Ｏを撮影した学習画像とその画像の奥行き情報とを学習用データとして１枚または複数枚用意し、画像上の各点のテクスチャ情報とその点のもつ奥行き情報とのセットを３次元情報テーブルとして作成する。入力画像中の各画素、または線分上の各点のテクスチャ情報と、３次元情報テーブル上のテクスチャ情報とを比較し、該当する奥行き情報を当該画素値または各点に与える。
これにより、消失点を算出したい場合でも、エッジ上の各点の奥行き情報を算出することにより、消失点を形成するエッジをより正確に抽出することが可能となり、精密に消失点の位置を算出することが可能となる。また、３次元情報テーブルを用意することにより、奥行き情報が与えられていない一枚の画像からであっても、ある程度の奥行き精度を保つことが可能となる。
【００４４】
なお、上述の３次元情報データベース生成装置１００および３次元情報取得装置３００は、内部にコンピュータシステムを有している。そして、３次元情報データベース生成装置１００および３次元情報取得装置３００の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいう「コンピュータシステム」とは、ＣＰＵ及び各種メモリやＯＳ、周辺機器等のハードウェアを含むものである。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００４５】
また、各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、また、図１に示す３次元情報データベース生成装置１００および３次元情報取得装置３００の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、検出対象物の形状情報の推定値を算出する処理を行ってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００４６】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００４７】
１００・・・３次元情報データベース生成装置、２００・・・３次元情報データベース、３００・・・３次元情報取得装置、３０１・・・画像入力手段、３０２・・・照合手段、３０３・・・出力手段、３２１・・・特徴量画像作成手段（特徴量取得手段）、３２２・・・テクスチャ情報比較手段（３次元情報取得手段）、３２３・・・奥行推定値生成手段
【技術分野】
【０００１】
本発明は、被写体を２次元で表わす画像データに基づき被写体の３次元空間内における奥行きを示す３次元情報を取得する３次元情報取得方法、３次元情報取得装置、および３次元情報取得プログラムに関するものである。
【背景技術】
【０００２】
一枚の写真の画像データからエッジ抽出をおこない、透視投影モデルを利用して消失点の位置を推定し、推定される消失点に基づき、３次元空間における被写体の位置を示す３次元情報を算出する手法がある（例えば、非特許文献１参照）。
これは、建物を直方体と仮定して、エッジ抽出によりテクスチャが変化する境界部分（以下、エッジという）を抽出し、このエッジが立方体である建物の一辺を構成しているとの考えによるものである。よって、非特許文献１において、テクスチャが変化する境界部分の直線を延ばした仮想線が消失線であり、この仮想線である消失線の交わるところが消失点であると仮定し、奥行きを示す３次元情報を算出する。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】情報処理学会研究報告．ＣＶＩＭ，“１枚の画像からの３次元復元の統計的最適化"，２００４(１１３)，１１７-１２４，２００４-１１-１１．
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、被写体として屋内を撮影した場合、天井や壁のほかにも、看板や空調といった建物を構成している面以外の物体が数多く存在している。このため、複数のエッジの中から消失点を形成するエッジを見分けるのが難しく、正しく消失点を出すのは困難である。
つまり、このような被写体を含む画像に基づき検出されたエッジには、建物を構成する面の消失線以外の直線も含まれているため、これら複数のエッジから建物の３次元空間を表わす消失点を取得することが困難であるという問題があった。
本発明は、上記課題を解決するものであり、被写体を２次元で表現する画像に基づき被写体の３次元空間内における奥行きを示す３次元情報の検出精度を高める３次元情報取得方法、３次元情報取得装置、および３次元情報取得プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述の課題を鑑み、本発明に係る３次元情報取得方法は、本発明に係る３次元の対象物を２次元で表わす画像の画像データを入力する画像入力ステップと、前記画像データに基づき前記画像の特徴量を示す特徴量情報を、前記画像を複数個に分割した分割エリア毎に取得する特徴量取得ステップと、３次元の対象物を２次元で表わす画像内における任意のサンプリングポイント毎に、当該サンプリングポイントの画像の特徴量を示すサンプリングポイント特徴量情報と、仮想３次元空間において前記対象物を表現した場合の前記サンプリングポイント同士の水平方向の間隔を示す３次元情報とをそれぞれ対応付ける３次元情報テーブルを参照して、前記特徴量情報が示す前記分割エリアの画像の特徴量と対応する前記３次元情報を取得する３次元情報取得ステップと、を含むことを特徴とする。
【０００６】
上述の３次元情報取得方法において、前記サンプリングポイントは、前記画像内において画像のテクスチャが変化する境界部分に対応する画素であることを特徴とする。
【０００７】
上述の３次元情報取得方法は、前記対象物を２次元の画像内において立体的に表現するための立体モデルデータを参照して、前記３次元情報に基づき、前記対象物を立体的に表現した２次元の画像データを作成する立体画像作成ステップとをさらに備えることを特徴とする。
【０００８】
上述の３次元情報取得方法は、前記特徴量取得ステップにおいて、エッジを検出し、前記立体画像作成ステップにおいて、検出されたエッジのうち、最も長さが長いエッジとこのエッジに対応するエッジに基づき、前記対象物の３次元空間を示す消失点を算出することを特徴とする。
【０００９】
上述の３次元情報取得方法は、前記立体画像作成ステップにおいて、検出されたエッジに基づき、画像内のオブジェクトを検出することを特徴とする。
【００１０】
上述の課題を鑑み、本発明に係る３次元情報取得装置は、３次元の対象物を２次元で表わす画像の画像データを入力する画像入力手段と、前記画像データに基づき前記画像の特徴量を示す特徴量情報を、前記画像を複数個に分割した分割エリア毎に取得する特徴量取得手段と、３次元の対象物を２次元で表わす画像内における任意のサンプリングポイント毎に、当該サンプリングポイントの画像の特徴量を示すサンプリングポイント特徴量情報と、仮想３次元空間において前記対象物を表現した場合の前記サンプリングポイント同士の水平方向の間隔を示す３次元情報とをそれぞれ対応付ける３次元情報テーブルを参照して、前記特徴量情報が示す前記分割エリアの画像の特徴量と対応する前記３次元情報を取得する３次元情報取得手段と、を含むことを特徴とする。
【００１１】
上述の課題を鑑み、本発明に係る３次元情報取得プログラムは、コンピュータに、上述に記載のステップを実行させるための３次元情報取得プログラムであることを特徴とする。
【発明の効果】
【００１２】
本発明によると、被写体を２次元で表現する画像に基づき被写体の３次元空間内における奥行きを示す３次元情報の検出精度を高めることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る３次元情報取得システムの構成の一例を示すブロック図である。
【図２】本発明の実施形態に係る３次元情報テーブルの一例を示す図である。
【図３】本発明の実施形態に係る学習用の撮影画像と特徴量画像の一例を示す図である。
【図４】本発明の実施形態に係る照合手段の構成の一例を示す図である。
【図５】本発明の実施形態に係る奥行推定値生成の一例について説明するための図である。
【図６】本発明の実施形態に係る奥行推定値生成の他の例について説明するための図である。
【発明を実施するための形態】
【００１４】
［第１実施形態］
以下、本発明の一実施形態にかかる３次元情報取得システムの一例について説明する。図１は、本実施形態にかかる３次元情報取得システムの構成の一例を示すブロック図である。
図１に示す通り、３次元情報取得システムは、３次元情報データベース生成装置１００と、３次元情報データベース２００と、３次元情報取得装置３００とを含む。この３次元情報取得装置３００は、画像入力手段３０１と、照合手段３０２と、出力手段３０３とを含む。
【００１５】
本実施形態にかかる３次元情報取得システムにおいて、３次元情報データベース生成装置１００は、ある構造体である対象物Ｏを撮影した学習画像の画像データに基づき、仮想３次元空間における撮影地点からの対象物Ｏの奥行きを示す３次元情報（奥行き情報）と、学習画像の特徴量を示す特徴量情報とを対応付けた３次元情報テーブルを作成し、３次元情報データベース２００に記憶させる。この３次元情報と特徴量情報は、対象物Ｏにおける任意の部分（以下、サンプリングポイントという）毎に取得され、３次元情報テーブルにおいてサンプリングポイント毎に対応づけられている。本実施形態において、３次元情報として、奥行きを示す奥行き情報を例に以下説明するが、本発明はこれに限られず、仮想３次元空間における対象物Ｏのサンプリングポイント同士の水平方向の距離を示す情報であればよい。
【００１６】
なお、３次元情報データベース生成装置１００は、３次元情報テーブルを作成するための学習用データである学習画像の画像データとして、対象物Ｏを撮影した画像を１枚または複数枚用意する。つまり、３次元情報データベース生成装置１００は、対象物Ｏを撮影した学習画像の画像データに基づき、画像内における対象物Ｏの画像特徴量と仮想３次元空間における水平方向における対象物Ｏのサンプリングポイント同士の距離とを紐付けるテーブルを事前に作成する。
【００１７】
３次元情報取得装置３００の画像入力手段３０１は、対象物Ｏを撮影した対象画像の画像データを、例えばカメラ等の外部装置から入力する。この対象画像は、３次元情報取得装置３００による３次元情報を取得する対象の画像である。
３次元情報取得装置３００の照合手段３０２は、画像入力手段３０１から入力する対象画像の画像データに基づき画像の特徴量を示す特徴量情報を算出し、３次元情報テーブルを参照して、対象画像の特徴量に対応する３次元情報（奥行き情報）を取得する。
３次元情報取得装置３００の出力手段３０３は、取得した３次元情報に基づき対象画像内のおける対象物Ｏの仮想３次元空間を推定して、２次元の画像内において対象物Ｏを立体的に表わした立体画像を作成して出力する。この出力手段３０３は、例えば、自身の記憶部に記憶されている対象物Ｏを２次元の画像内において立体的に表現するための立体モデルデータを参照して、照合手段３０２から入力する３次元情報に基づき、対象物Ｏを立体的に表現した２次元の立体画像の画像データを作成する。
【００１８】
本実施形態にかかる「ある構造の対象物Ｏ」は、図建物内の廊下や通路といった面で構成されている建造物の内部である。以下に学習画像の画像データとして、このような構造を有する対象物Ｏが撮影されて得られた画像データが、３次元情報データベース生成装置１００に入力された場合について説明する。
【００１９】
次に、３次元情報データベース生成装置１００の構成について詳細に説明する。
３次元情報データベース生成装置１００は、画像上の任意の各点（サンプリングポイントＰＬ１〜ＰＬｎ）の特徴量情報と各点（サンプリングポイントＰＬ１〜ＰＬｎ）のもつ奥行き情報とを対応づけて３次元情報テーブルを作成する。
この３次元情報テーブルの一例を図２に示す。図２に示す通り、３次元情報テーブルは、例えば、画像内における対象物Ｏの任意のサンプリングポイントＰＬ１〜ＰＬｎ毎に、このサンプリングポイントＰＬ１〜ＰＬｎの画像の特徴量を示す特徴量情報と、２次元の画像から予測される仮想３次元空間内における対象物Ｏのサンプリングポイント同士の水平方向の間隔を表わす３次元情報とをそれぞれ対応付けるテーブルである。
このサンプリングポイントＰＬ１〜ＰＬｎは、学習画像のエッジ部分に対応する位置であることが好ましい。この場合、サンプリングポイントＰＬ１〜ＰＬｎの特徴量情報は、画像のエッジ部分に対応する位置の画素値であり、サンプリングポイントＰＬ１〜ＰＬｎにおける奥行き情報は、当該学習画像が撮影された際の撮影位置からの実空間におけるサンプリングポイントＰＬ１〜ＰＬｎに対応する位置までの距離を示す。
【００２０】
また、３次元情報データベース生成装置１００は、学習画像の画像データに基づき画像の特徴量を算出し、この特徴量が示す画像のテクスチャが変化する境界部分を示す箇所をサンプリングポイントＰＬ１〜ＰＬｎとして決定する。３次元情報データベース生成装置１００は、このサンプリングポイントＰＬ１〜ＰＬｎにおける特徴量として、例えば、画像テクスチャを示すテクスチャ情報を算出する。なお、このサンプリングポイントＰＬ１〜ＰＬｎは、画像のテクスチャが変化する境界部分の位置や、エッジ検出により検出されるエッジ等の構造体である対象物Ｏにおける辺に相当する部分を示すものであってもよい。また、このサンプリングポイントＰＬ１〜ＰＬｎは、画像のテクスチャが変化する境界部分やエッジにより区分された構造体である対象物Ｏにおける面に相当する部分を示すものであってもよい。
【００２１】
また、３次元情報データベース生成装置１００は、例えば、当該学習画像が撮影された位置から対象物Ｏとの距離を計測するレーザー等の距離計から対象物Ｏと撮影位置との距離を示す距離情報を入力する。この３次元情報データベース生成装置１００は、距離情報に基づき、実空間におけるサンプリングポイントＰＬ１〜ＰＬｎに対応する位置と撮影位置との距離を算出し、この距離により仮想３次元空間における対象物Ｏの水平方向の位置関係を示す奥行き情報を３次元情報として算出する。
３次元情報データベース生成装置１００は、上述のようにして算出したテクスチャ情報（特徴量情報）と奥行き情報（３次元情報）とを、サンプリングポイントＰＬ１〜ＰＬｎ毎に対応付けて、３次元情報テーブルを作成する。
【００２２】
テクスチャ情報（特徴量情報）について説明する。このテクスチャ情報としては、仮想３次元空間内におけるサンプリングポイントＰＬ１〜ＰＬｎ間の水平方向の間隔（距離）や位置関係を示す奥行き情報に応じて変化する特徴量を用いることが望ましい。画像上のサンプリングポイントＰＬ１〜ＰＬｎ毎のテクスチャ情報は、画素値でもよい。
例えば、エッジ強度は、画像内における奥行きが遠くなるほど小さくなる性質がある。よって、３次元情報データベース生成装置１００は、入力する学習画像の画像データに対してエッジ検出を行いエッジ画像を作成する。このエッジ画像により得られるエッジ強度をテクスチャ情報としてもよい。なお、エッジ画像やエッジ強度の算出方法は、非特許文献２にある方法でもよいし、独自に算出式を設けて予め３次元情報データベース生成装置１００の記憶部保存しておき、３次元情報データベース生成装置１００が、この算出式に基づきエッジ強度等を算出するものであってもよい。
＜非特許文献２＞ 画像標準テキストブック 画像処理標準テキストブック編集委員会監修 平成9年発行財団法人画像情報教育振興協会 p.176
【００２３】
また、３次元情報データベース生成装置１００は、エッジ強度の値そのものだけをテクスチャ情報とするものであってもよく、予め基準点として決められているエッジ強度と各点（サンプリングポイントＰＬ１〜ＰＬｎ）でのエッジ強度との比率をテクスチャ情報としてもよい。
また、３次元情報データベース生成装置１００は、奥行きが遠くなるほど濃淡値が薄くなることを利用し、基準点と各点（サンプリングポイントＰＬ１〜ＰＬｎ）との濃淡値の比率を用いてテクスチャ情報を算出するものであってもよい。
【００２４】
さらに、３次元情報データベース生成装置１００は、ハフ変換等により線分を検出し、検出された線分上のみの画素値やエッジ強度をテクスチャ情報として算出するものであってもよい。
さらに、３次元情報データベース生成装置１００は、奥行きに応じて変化する適切な特徴量であれば、それをテクスチャ情報として用いてよい。また、３次元情報データベース生成装置１００は、画素値とエッジ強度との両方をテクスチャ情報として生成するなど、複数の値をテクスチャ情報として生成するものであってもよい。
【００２５】
次に、３次元情報データベース２００において、テクスチャ情報（特徴量情報）と対応付けられる奥行き情報（３次元情報）について説明する。この奥行き情報は、レーザー等の距離計で取得した値でもよく、また手動でサンプリングポイント間の相対的な距離を入力した値でもよい。奥行き情報は、仮想３次元空間内における座標でもよく、サンプリングポイント間における相対的な奥行き（距離・間隔）のみを示す値等でもよい。
【００２６】
次に、３次元情報データベース２００について説明する。この３次元情報データベース２００は、３次元情報データベース生成装置１００によって生成された３次元情報テーブルを記憶する。つまり、３次元情報データベース２００は、上記のようにして得られた画像上のサンプリングポイントＰＬ１〜ＰＬｎのテクスチャ情報（特徴量情報）とサンプリングポイントＰＬ１〜ＰＬｎの奥行き情報（３次元情報）とをセットで記憶する。
【００２７】
このテクスチャ情報とその奥行き情報とのセットを有する３次元情報テーブルの一例について、図３を参照して説明する。図３（ａ）は、３次元情報データベース生成装置１００の学習用の撮影画像Ｄ１０の一例を示す図である。図３（ｂ）は、学習用の撮影画像の特徴量を示す特徴量画像Ｄ１２の一例を示す図である。
【００２８】
図３（ｂ）に示す特徴量画像Ｄ１２は、３次元情報データベース生成装置１００によるエッジ検出によって生成された画像の明るさに応じた変化を示すエッジ画像である。この特徴量画像Ｄ１２において、薄い色（ここでは無色）の直線で示す部分がエッジであり、破線で囲まれた部分に１つのエッジが存在している。
【００２９】
本実施形態において、３次元情報テーブルは、この特徴量画像Ｄ１２中の白い点線で囲まれたエッジ上のエッジ強度（特徴量情報）と奥行き情報（３次元情報）とを対応付けたテーブルである。この奥行き情報は、サンプリングポイントＰＬ１〜ＰＬｎと撮影位置とのそれぞれの距離を相対的に示す相対値であって、撮影者からの奥行きを示している。図３（ｂ）に示す通り、エッジ強度は、撮影位置から遠ざかるほど、つまり、奥行値が大きくなるほど、エッジ強度が弱くなっている。なお、エッジ強度は、薄い色で示すほど強く、濃い色で示す部分ほど弱い。このように、３次元情報データベース生成装置１００は、３次元情報テーブルにおける特徴量情報として、奥行きに応じて変化するテクスチャ情報を用いることが望ましい。
【００３０】
なお、本実施形態において、３次元情報テーブルは、特徴量情報としてのテクスチャ情報と、３次元情報としての奥行き情報と対応づけるテーブルを例に説明したが、本発明はこれに限定されない。つまり、３次元情報データベース生成装置１００は、３次元情報として、奥行きと連動する値ではなく撮影位置からの距離を２値化した情報で割り当てるものであってもよい。
例えば、３次元情報データベース生成装置１００は、学習画像の撮影地点から予め決められた距離よりも遠ざかっている面に存在するサンプリングポイントの３次元情報としては「１」を、撮影地点に平行な面に存在するサンプリングポイントであってあまり撮影位置からの距離が変化しない場合や、撮影位置から予め決められた距離もよりも撮影位置に近い面に存在するサンプリングポイントの３次元情報としては「０」を、それぞれ割り振ってもよい。
【００３１】
また、３次元情報データベース生成装置１００は、ハフ変換等により検出された線分上のエッジ強度を調べ、エッジ強度の変化量が大きい場合は３次元情報として「１」を、エッジ強度が線分上でほぼ変化しない場合は３次元情報として「０」を、それぞれ割り振っても良い。なお、３次元情報データベース生成装置１００は、このときの変化量の閾値を経験的あるいは実験的得られた値を設定してもよいし、学習画像の画像データからエッジ強度などのテクスチャ情報の線分上における変化量とその頻度のヒストグラムを作成し、判別分析法などにより閾値を決定してもよい。
【００３２】
次に、３次元情報取得装置３００の照合手段３０２について説明する。
照合手段３０２は、図４に示すように、特徴量画像作成手段（特徴量取得手段）３２１とテクスチャ情報比較手段（３次元情報取得手段）３２２と奥行推定値算出手段３２３とを含む。
特徴量画像作成手段３２１は、入力する対象画像から３次元情報テーブルの作成時と同様の特徴量画像を作成する。たとえば、３次元情報データベース２００に登録されている特徴量情報がエッジ画像から取得されたエッジ強度である場合、この特徴量画像作成手段３２２は、対象画像の画像データに基づき、特徴量画像としてエッジ画像を生成し、エッジ強度を求める。
【００３３】
テクスチャ情報比較手段３２２は、特徴量画像の各点（以下、照合ポイントＰＣ１〜ＰＣｎという）でのテクスチャ情報と３次元情報データベース２００内の特徴量情報（テクスチャ情報）とを比較し、マッチするデータを検索する。
【００３４】
図２に示す３次元情報テーブルを例にとると、あるサンプリングポイントＰＬ１では、そのエッジ強度「５１０」と、３次元情報「１」とが対応付けられている。この３次元情報テーブルのように、特徴量情報（エッジ強度）が連続値で求められ、３次元情報（奥行き情報）が離散的であった場合、テクスチャ情報比較手段３２２は、この３次元情報テーブルを参照して、特徴量画像作成手段３２１によって取得された画像特徴量（エッジ強度）に対応する３次元情報（奥行き情報）を検索する。
このテクスチャ情報比較手段３２２は、例えば、特徴量画像作成手段３２１によって取得された画像特徴量（エッジ強度）と最も近傍する画像特徴量（エッジ強度）を３次元情報テーブルから探索し、その画像特徴量（エッジ強度）に対応する３次元情報（奥行き情報）を取得するものであっても良い。また、テクスチャ情報比較手段３２２は、線形補間法により連続的に画像特徴量（エッジ強度）と３次元情報（奥行き情報）との関係を推定してもよい。また他にも、テクスチャ情報比較手段３２２は、例えば、基準点と各点でのエッジ強度の比をもとに検索を行ってもよい。また、テクスチャ情報比較手段３２２は、ハフ変換等により線分を検出し、画像中の一番長い線分に注目し、その線分の端点を基準点とし、エッジ上の各点のエッジ強度と基準点でのエッジ強度との比を観測する。各点のエッジ強度比と値の近いエッジ強度比を奥行データベース上で検索してもよい。
【００３５】
その他、特徴量画像作成手段３２１は、３次元情報データベース２００に、エッジ画像から得られたテクスチャ情報が特徴量情報として保持されている場合、入力する対象画像の画像データに基づきエッジ画像を作成し、テクスチャ情報比較手段３２２に出力する。このテクスチャ情報比較手段３２２は、この対象画像に基づくエッジ画像と、学習画像に基づくエッジ画像から得られた３次元情報テーブルにおけるエッジ強度とのそれぞれの複数画素の集合からなる小領域どうしの正規化相関値を求め、正規化相関値が１に近くなるよう特徴量情報（テクスチャ情報）の検索をおこなってもよい。
【００３６】
奥行推定値算出手段３２３は、検索においてマッチしたテクスチャ情報に割り振られている奥行き情報を用いて、適切な奥行推定値を割り当てる。つまり、奥行推定値算出手段３２３は、３次元情報テーブルにおける３次元情報（奥行き情報）の値に対応する奥行きとして予め決められている奥行推定値を参照して、現実空間における奥行きの長さを取得する。３次元情報（奥行き情報）の値に対応する奥行きとして予め決められている奥行推定値は、予め３次元情報データベース２００に保存されている。
【００３７】
次に、出力手段３０３について説明する。
出力手段３０３は、入力画像中の全点（照合ポイントＰＣ１〜ＰＣｎ）において奥行推定値を算出したときは、その奥行推定値に基づいて、立体表示を出力してもよい。この奥行推定値の一例について、図５を参照して説明する。
図５（ａ）は、対象画像Ｄ２０における壁と天井の境界部分を示すエッジ５０１を示す。
図５（ａ）において、点線で示すエッジ５０１は、対象画像Ｄ２０から検出された最も長い直線である。このエッジ５０１は、一方の端に照合ポイントＰＣ５１を、他の端に照合ポイントＰＣ５２を有する。
図５（ｂ）は、撮影位置と奥行きについて説明する図である。図５（ｂ）に示す通り、ｘ軸−ｙ軸で規定される面が撮影位置と平行な面である。ｚ軸は、奥行きを示す。図５（ｂ）に示す仮想３次元空間５０２は、対象画像Ｄ２０に含まれる対象物Ｏの立体空間を示す。
出力手段３０３は、照合手段３０２によって取得された３次元情報に基づき、対象画像内の照合ポイントＰＣ５１とＰＣ５２を仮想３次元空間５０２内の座標（ｘ，ｙ，ｚ）で示す奥行推定値を算出し、立体画像を作成する。
【００３８】
また、出力手段３０３は、ハフ変換により検出した線分上の各点の奥行推定値を算出した場合、シーンの構造を推定することが可能となる。例えば、撮影地点からみて遠ざかっている直線（奥行きのある直線）とカメラ位置に対して平行な直線（奥行きのない直線）が存在する場合、出力手段３０３は、奥行きのある直線は天井と壁の境界線とする。また、出力手段３０３は、カメラ位置に対して平行な直線は、カメラに対して平行な面を形成していると推定し、擬似的な立体表現をしてもよい。
さらに、出力手段３０３は、立方体モデルを基本モデル保持し、線分を立方体の各線分に割り振ってもより、立方体モデルに対応させて出力してもよい。
【００３９】
また、出力手段３０３は、奥行推定値を利用して、セグメンテーションをすることも可能である。例えば、画像中の看板を抽出したい場合、看板と向き合って撮影した画像が（撮影地点に平行に立っていると分かっている場合）、カメラ位置に対して平行な直線群を抽出し、看板抽出をおこない、看板にあたる領域を出力してもよい。
このセグメンテーションについて、図６を参照して説明する。図６（ａ）は、対象画像Ｄ３０を示す。図６（ｂ）は、この対象画像Ｄ３０から検出された複数のエッジ６０１〜６０６を示す。
照合手段３０２は、図６（ｂ）に示す通り、最も長さが長いエッジ６０１に基づき、照合ポイントＰＣ６１と照合ポイントＰＣ６２を選択し、３次元情報データベース２００の３次元情報テーブルを参照して、この照合ポイントＰＣ６１と照合ポイントＰＣ６２の特徴量と対応する３次元情報を取得し、出力手段３０３に出力する。また、照合手段３０２は、検出した全てのエッジ６０１〜６０６を示す情報を出力手段３０３に出力する。
この出力手段３０３は、この３次元情報に基づき、この照合ポイントＰＣ６１と照合ポイントＰＣ６２に対応する奥行推定値を算出する。また、出力手段３０３は、エッジ６０１〜６０６を示す情報に基づき、図５（ｂ）に示したような仮想３次元空間内５０２におけるｘ軸あるいはｙ軸の値が一定あるいはほぼ一定（ずれが予め決められた一定の許容範囲内）となるエッジがあるいか否かを判断する。ここで、出力手段３０２は、ｘ軸の値が一定であるエッジ６０５と、ｙ軸の値が一定であるエッジ６０６とを検出する。そして、出力手段３０２は、このエッジ６０５と６０６とで規定される画像領域が看板にあたる領域であると判断する。
【００４０】
なお、出力手段３０３は、エッジ６０５とエッジ６０６のように、各直線の一端が接触しており、１つの閉じられた領域を構成する画像領域６０７を、画像内におけるオブジェクトとして検出するものであってもよい。また、出力手段３０３は、エッジ６０１〜６０６によって画像内の領域を分割し、分割された分割領域をオブジェクトとして検出してもよい。
【００４１】
また、出力手段３０２は、検出したエッジ６０１〜６０６のうち、最も長さが長いエッジ６０１を選択し、このエッジ６０１の角度等に応じて、消失点を算出するためのエッジを選択する。本実施形態において、エッジ６０１を伸ばした仮想線と、エッジ６０４を伸ばした仮想線とが交わる箇所が消失点であることが予め決められて、自身が内蔵するメモリに記録されている。出力手段３０２は、このメモリ内の情報を参照して、消失点をの位置を算出することができる。
【００４２】
本発明に係る３次元情報取得装置３００によれば、ある構造をもつ対象物Ｏ（本実施形態においては、風景シーン）を撮影した学習画像を用いて３次元情報テーブルを学習させることによって、一枚の非立体画像（つまり、奥行き情報が不明な２次元画像）から奥行き情報を推定することができる。これによって、２次元の画像から擬似的に立体画像を生成することはもちろん、奥行き情報を用いて画像のセグメンテーションを行い、所望の領域を抽出することも可能となる。
【００４３】
また、上述の通り、本発明は、ある構造体である対象物Ｏを撮影した学習画像とその画像の奥行き情報とを学習用データとして１枚または複数枚用意し、画像上の各点のテクスチャ情報とその点のもつ奥行き情報とのセットを３次元情報テーブルとして作成する。入力画像中の各画素、または線分上の各点のテクスチャ情報と、３次元情報テーブル上のテクスチャ情報とを比較し、該当する奥行き情報を当該画素値または各点に与える。
これにより、消失点を算出したい場合でも、エッジ上の各点の奥行き情報を算出することにより、消失点を形成するエッジをより正確に抽出することが可能となり、精密に消失点の位置を算出することが可能となる。また、３次元情報テーブルを用意することにより、奥行き情報が与えられていない一枚の画像からであっても、ある程度の奥行き精度を保つことが可能となる。
【００４４】
なお、上述の３次元情報データベース生成装置１００および３次元情報取得装置３００は、内部にコンピュータシステムを有している。そして、３次元情報データベース生成装置１００および３次元情報取得装置３００の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいう「コンピュータシステム」とは、ＣＰＵ及び各種メモリやＯＳ、周辺機器等のハードウェアを含むものである。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００４５】
また、各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、また、図１に示す３次元情報データベース生成装置１００および３次元情報取得装置３００の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、検出対象物の形状情報の推定値を算出する処理を行ってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００４６】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００４７】
１００・・・３次元情報データベース生成装置、２００・・・３次元情報データベース、３００・・・３次元情報取得装置、３０１・・・画像入力手段、３０２・・・照合手段、３０３・・・出力手段、３２１・・・特徴量画像作成手段（特徴量取得手段）、３２２・・・テクスチャ情報比較手段（３次元情報取得手段）、３２３・・・奥行推定値生成手段
【特許請求の範囲】
【請求項１】
３次元の対象物を２次元で表わす画像の画像データを入力する画像入力ステップと、
前記画像データに基づき前記画像の特徴量を示す特徴量情報を、前記画像を複数個に分割した分割エリア毎に取得する特徴量取得ステップと、
３次元の対象物を２次元で表わす画像内における任意のサンプリングポイント毎に、当該サンプリングポイントの画像の特徴量を示すサンプリングポイント特徴量情報と、仮想３次元空間において前記対象物を表現した場合の前記サンプリングポイント同士の水平方向の間隔を示す３次元情報とをそれぞれ対応付ける３次元情報テーブルを参照して、前記特徴量情報が示す前記分割エリアの画像の特徴量と対応する前記３次元情報を取得する３次元情報取得ステップと、
を含むことを特徴とする３次元情報取得方法。
【請求項２】
前記サンプリングポイントは、前記画像内において画像のテクスチャが変化する境界部分に対応する画素であることを特徴とする請求項１に記載の３次元情報取得方法。
【請求項３】
前記対象物を２次元の画像内において立体的に表現するための立体モデルデータを参照して、前記３次元情報に基づき、前記対象物を立体的に表現した２次元の画像データを作成する立体画像作成ステップとをさらに備えることを特徴とする請求項１あるいは２に記載の３次元情報取得方法。
【請求項４】
前記特徴量取得ステップにおいて、エッジを検出し、
前記立体画像作成ステップにおいて、検出されたエッジのうち、最も長さが長いエッジとこのエッジに対応するエッジに基づき、前記対象物の３次元空間を示す消失点を算出することを特徴とする請求項３に記載の３次元情報取得方法。
【請求項５】
前記立体画像作成ステップにおいて、検出されたエッジに基づき、画像内のオブジェクトを検出することを特徴とする請求項４に記載の３次元情報取得方法。
【請求項６】
３次元の対象物を２次元で表わす画像の画像データを入力する画像入力手段と、
前記画像データに基づき前記画像の特徴量を示す特徴量情報を、前記画像を複数個に分割した分割エリア毎に取得する特徴量取得手段と、
３次元の対象物を２次元で表わす画像内における任意のサンプリングポイント毎に、当該サンプリングポイントの画像の特徴量を示すサンプリングポイント特徴量情報と、仮想３次元空間において前記対象物を表現した場合の前記サンプリングポイント同士の水平方向の間隔を示す３次元情報とをそれぞれ対応付ける３次元情報テーブルを参照して、前記特徴量情報が示す前記分割エリアの画像の特徴量と対応する前記３次元情報を取得する３次元情報取得手段と、
を含むことを特徴とする３次元情報取得装置。
【請求項７】
コンピュータに
請求項１〜５のうちいずれか一項に記載のステップを実行させるための３次元情報取得プログラム。
【請求項１】
３次元の対象物を２次元で表わす画像の画像データを入力する画像入力ステップと、
前記画像データに基づき前記画像の特徴量を示す特徴量情報を、前記画像を複数個に分割した分割エリア毎に取得する特徴量取得ステップと、
３次元の対象物を２次元で表わす画像内における任意のサンプリングポイント毎に、当該サンプリングポイントの画像の特徴量を示すサンプリングポイント特徴量情報と、仮想３次元空間において前記対象物を表現した場合の前記サンプリングポイント同士の水平方向の間隔を示す３次元情報とをそれぞれ対応付ける３次元情報テーブルを参照して、前記特徴量情報が示す前記分割エリアの画像の特徴量と対応する前記３次元情報を取得する３次元情報取得ステップと、
を含むことを特徴とする３次元情報取得方法。
【請求項２】
前記サンプリングポイントは、前記画像内において画像のテクスチャが変化する境界部分に対応する画素であることを特徴とする請求項１に記載の３次元情報取得方法。
【請求項３】
前記対象物を２次元の画像内において立体的に表現するための立体モデルデータを参照して、前記３次元情報に基づき、前記対象物を立体的に表現した２次元の画像データを作成する立体画像作成ステップとをさらに備えることを特徴とする請求項１あるいは２に記載の３次元情報取得方法。
【請求項４】
前記特徴量取得ステップにおいて、エッジを検出し、
前記立体画像作成ステップにおいて、検出されたエッジのうち、最も長さが長いエッジとこのエッジに対応するエッジに基づき、前記対象物の３次元空間を示す消失点を算出することを特徴とする請求項３に記載の３次元情報取得方法。
【請求項５】
前記立体画像作成ステップにおいて、検出されたエッジに基づき、画像内のオブジェクトを検出することを特徴とする請求項４に記載の３次元情報取得方法。
【請求項６】
３次元の対象物を２次元で表わす画像の画像データを入力する画像入力手段と、
前記画像データに基づき前記画像の特徴量を示す特徴量情報を、前記画像を複数個に分割した分割エリア毎に取得する特徴量取得手段と、
３次元の対象物を２次元で表わす画像内における任意のサンプリングポイント毎に、当該サンプリングポイントの画像の特徴量を示すサンプリングポイント特徴量情報と、仮想３次元空間において前記対象物を表現した場合の前記サンプリングポイント同士の水平方向の間隔を示す３次元情報とをそれぞれ対応付ける３次元情報テーブルを参照して、前記特徴量情報が示す前記分割エリアの画像の特徴量と対応する前記３次元情報を取得する３次元情報取得手段と、
を含むことを特徴とする３次元情報取得装置。
【請求項７】
コンピュータに
請求項１〜５のうちいずれか一項に記載のステップを実行させるための３次元情報取得プログラム。
【図１】
【図２】
【図４】
【図３】
【図５】
【図６】
【図２】
【図４】
【図３】
【図５】
【図６】
【公開番号】特開２０１２−１２２８１６（Ｐ２０１２−１２２８１６Ａ）
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願番号】特願２０１０−２７３００１（Ｐ２０１０−２７３００１）
【出願日】平成２２年１２月７日（２０１０．１２．７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願日】平成２２年１２月７日（２０１０．１２．７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]