関数算出装置、デプスマップ生成装置、関数算出方法及び関数算出プログラム
【課題】ノイズの影響等を軽減させて、ステレオペアの相関関数を精度良く算出することができる関数算出装置、デプスマップ生成装置、関数算出方法及び関数算出プログラムを提供する。
【解決手段】関数算出装置１１０は、参照視点画像及び複数の近傍視点画像を受信する正規化部１１１と、参照視点画像及び近傍視点画像をステレオペア毎に平行化する正規化部１１１と、平行化したステレオペアの視差を正規化する正規化部１１１と、視差を正規化したステレオペアの参照視点画像及び近傍視点画像に、マッチングウィンドウを定めるウィンドウ設定部１１２と、マッチングウィンドウ間の１次元ＰＯＣ関数を、視差を正規化したステレオペア毎に算出する関数算出部１１３と、１次元ＰＯＣ関数のうち、相関ピークの高さが閾値以上である１次元ＰＯＣ関数を統合する関数統合部１１４と、を備える。
【解決手段】関数算出装置１１０は、参照視点画像及び複数の近傍視点画像を受信する正規化部１１１と、参照視点画像及び近傍視点画像をステレオペア毎に平行化する正規化部１１１と、平行化したステレオペアの視差を正規化する正規化部１１１と、視差を正規化したステレオペアの参照視点画像及び近傍視点画像に、マッチングウィンドウを定めるウィンドウ設定部１１２と、マッチングウィンドウ間の１次元ＰＯＣ関数を、視差を正規化したステレオペア毎に算出する関数算出部１１３と、１次元ＰＯＣ関数のうち、相関ピークの高さが閾値以上である１次元ＰＯＣ関数を統合する関数統合部１１４と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の相関関数を算出する関数算出装置、デプスマップ生成装置、関数算出方法及び関数算出プログラムに関する。
【背景技術】
【０００２】
多方向から物体が撮像されている複数の２次元画像（以下、「多視点画像」という）に基づいて、その物体の表面形状を復元する３次元復元技術がある。近年、３次元復元技術の発達に伴い、復元された物体の表面形状を表すメッシュモデル（３次元形状モデル）が、多視点画像のみに基づいて、高精度に生成されるようになった。
【０００３】
多視点画像に基づく３次元復元技術は、コンピュータビジョンの研究コミュニティだけでなく、文化財のデジタルアーカイブやエンターテイメント産業など、幅広い分野で注目されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１５２５３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示された３次元形状復元装置は、隣接した２点から撮影された画像のみに基づいて視差を算出している。このため、特許文献１に開示された３次元形状復元装置は、ノイズの影響を受けやすい等、条件によっては、ステレオペア（画像ペア）の相関関数を精度良く算出することができない場合があるという問題がある。ステレオペアの相関関数が精度良く算出されなければ、相関関数に基づくデプスマップ（奥行きマップ）の精度が低下してしまうので、そのデプスマップに基づくメッシュモデルの精度も低下してしまうこととなる。
【０００６】
本発明は、前記の点に鑑みてなされたものであり、ノイズの影響等を軽減させて、ステレオペアの相関関数を精度良く算出することができる関数算出装置、デプスマップ生成装置、関数算出方法及び関数算出プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上記の課題を解決するためになされたものであり、所定方向から物体を撮像した画像である第１視点画像、及び前記所定方向以外から前記物体を撮像した画像である複数の第２視点画像を受信する受信部と、前記第１視点画像及び前記第２視点画像をステレオペア毎に平行化する平行化部と、平行化したステレオペアの視差を正規化する正規化部と、前記視差を正規化したステレオペアを構成する前記第１視点画像及び前記第２視点画像に、それぞれマッチングウィンドウを定めるウィンドウ設定部と、前記マッチングウィンドウ間の相関関数を、前記視差を正規化したステレオペア毎に算出する関数算出部と、前記算出された相関関数のうち、相関ピークの高さが閾値以上である相関関数を統合する関数統合部と、を備えることを特徴とする関数算出装置である。
【０００８】
また、本発明は、前記正規化部が、前記平行化したステレオペアの視差に応じた倍率を算出することにより、前記平行化したステレオペアの視差を正規化し、前記ウィンドウ設定部は、前記倍率に基づいて、前記マッチングウィンドウのサイズを定めることを特徴とする関数算出装置である。
【０００９】
また、本発明は、前記ウィンドウ設定部が、前記物体の表面形状に応じたサイズとなるように、前記マッチングウィンドウを拡大又は縮小することを特徴とする関数算出装置である。
【００１０】
また、本発明は、前記ウィンドウ設定部が、３視点以上の多視点画像に基づいて、他のステレオペアのウィンドウサイズを互いに比較することにより、前記マッチングウィンドウのサイズに制約を加えることを特徴とする関数算出装置である。
【００１１】
また、本発明は、前記関数算出部が、前記マッチングウィンドウ間の相関関数として、位相限定相関法に基づく相関関数を算出することを特徴とする関数算出装置である。
【００１２】
また、本発明は、前記関数算出部が、画像ピラミッドの階層に応じて相関関数を算出することを特徴とする関数算出装置である。
【００１３】
また、本発明は、関数算出装置が統合した相関関数に基づいて、デプスマップを生成するデプスマップ生成装置である。
【００１４】
また、本発明は、関数算出装置における関数算出方法であって、受信部が、所定方向から物体を撮像した画像である第１視点画像、及び前記所定方向以外から前記物体を撮像した画像である複数の第２視点画像を受信するステップと、平行化部が、前記第１視点画像及び前記第２視点画像をステレオペア毎に平行化するステップと、正規化部が、平行化したステレオペアの視差を正規化するステップと、ウィンドウ設定部が、前記視差を正規化したステレオペアを構成する前記第１視点画像及び前記第２視点画像に、それぞれマッチングウィンドウを定めるステップと、関数算出部が、前記マッチングウィンドウ間の相関関数を、前記視差を正規化したステレオペア毎に算出するステップと、関数統合部が、前記算出された相関関数のうち、相関ピークの高さが閾値以上である相関関数を統合するステップと、を有することを特徴とする関数算出方法である。
【００１５】
また、本発明は、コンピュータに、所定方向から物体を撮像した画像である第１視点画像、及び前記所定方向以外から前記物体を撮像した画像である複数の第２視点画像を受信する手順と、前記第１視点画像及び前記第２視点画像をステレオペア毎に平行化する手順と、平行化したステレオペアの視差を正規化する手順と、前記視差を正規化したステレオペアを構成する前記第１視点画像及び前記第２視点画像に、それぞれマッチングウィンドウを定める手順と、前記マッチングウィンドウ間の相関関数を、前記視差を正規化したステレオペア毎に算出する手順と、前記算出された相関関数のうち、相関ピークの高さが閾値以上である相関関数を統合する手順と、を実行させるための関数算出プログラムである。
【発明の効果】
【００１６】
本発明によれば、関数算出装置は、平行化したステレオペアの視差を正規化部が正規化し、ステレオペア毎に算出した相関関数を統合する。これにより、関数算出装置は、多視点画像を撮像するカメラの設置位置が制限された場合でも、ステレオペアの相関関数を精度良く算出することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態における、演算処理装置の構成を表す図である。
【図２】本発明の一実施形態における、１次元位相限定相関法の概要を表す図である。
【図３】本発明の一実施形態における、３次元点と視差との関係を表す図である。
【図４】本発明の一実施形態における、１次元位相限定相関法による相関関数をステレオペア毎に表す図である。
【図５】本発明の一実施形態における、関数算出装置の動作手順を表すフローチャートである。
【図６】本発明の一実施形態における、画像ピラミッドの各階層での関数算出装置の動作手順を表す図である。
【図７】本発明の一実施形態における、奥行きの探索手順を表すフローチャートである。
【図８】本発明の一実施形態における、メッシュモデルを生成する実験例の結果を示す表である。
【図９】本発明の一実施形態における、生成されたメッシュモデルの例を表す図である。
【発明を実施するための形態】
【００１８】
本発明の一実施形態について図面を参照して詳細に説明する。図１には、演算処理装置の構成が表されている。演算処理装置１００は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、バス４００を介して記憶装置２００及び出力装置３００に接続されている。
【００１９】
演算処理装置１００は、多視点画像を記憶装置２００から読み込み、これら多視点画像を構成するステレオペアの視差を正規化する。ここで、正規化とは、例えば、同一平面上に設置されていない複数のカメラから物体が撮像されたステレオペアの視差を、参照視点と、参照視点の近傍に仮想的に設置されたカメラからの視点（近傍視点）との視差となるように、カメラパラメータ（例えば、座標系、焦点距離）を用いて、視差を変換することである。正規化の詳細については、図３を用いて後述する。
【００２０】
また、演算処理装置１００は、視差が正規化されたステレオペアからマッチングウィンドウを切り出し、切り出したマッチングウィンドウ毎にステレオペアの相関関数を算出する。また、演算処理装置１００は、マッチングウィンドウ毎に算出した相関関数のうち、相関値マップｃｏｒｒ及び信頼値マップｃｏｎｆが高い相関関数のみを統合し、統合した相関関数に基づいてデプスマップｄｅｐを生成する。ここで、デプスマップとは、多視点画像に撮像されている物体の表面形状の奥行きを表すマップ情報である。また、演算処理装置１００は、生成したデプスマップｄｅｐに基づいて、物体の表面形状が復元されたメッシュモデルを生成し、生成したメッシュモデルを表すデータを出力装置３００に出力する。
【００２１】
以下では、画像信号の位相成分に着目した画像マッチング手法である位置限定相関法（Ｐｈａｓｅ−Ｏｎｌｙ Ｃｏｒｒｅｌａｔｉｏｎ: ＰＯＣ）に基づく相関関数（以下、「ＰＯＣ関数」という）が、相関関数の一例として用いられるものとして説明を続ける。
【００２２】
まず、１次元位相限定相関法（１次元ＰＯＣ）に基づく画像マッチング手法について説明する。
平行化されたステレオペアでは、ステレオペアの一方の画像（以下、「参照視点画像」という）から切り出されたマッチングウィンドウの幅方向と、ステレオペアの他方の画像（以下、「近傍視点画像」という）から切り出されたマッチングウィンドウの幅方向とが一致する。この場合、切り出された各マッチングウィンドウが１次元方向に並ぶので、演算処理装置１００は、１次元ＰＯＣ関数に基づいて、物体表面の注目点が撮像されたマッチングウィンドウにおける対応点の平行移動量を、高精度に算出することができる。
【００２３】
図２には、１次元位相限定相関法の概要が表されている。１次元画像におけるＮ（Ｎは、整数）個の点について、１次元画像信号ｆ(ｎ)、及び１次元画像信号ｇ（ｎ）が与えられた場合、１次元画像信号ｆ(ｎ) 及び１次元画像信号ｇ（ｎ）間の平行移動量は、１次元ＰＯＣに基づいて算出される。ここで、１次元画像信号の離散時間インデックスｎは、ｎ＝−Ｍ，…，Ｍ（Ｍは、正の整数）であるとする。また、Ｎ＝２Ｍ＋１とする。
【００２４】
１次元画像信号ｆ(ｎ)の１次元離散フーリエ変換（Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ: ＤＦＴ) 結果は、式（１）により表される。また、１次元画像信号ｇ(ｎ) の１次元離散フーリエ変換結果は、式（２）により表される。
【００２５】
【数１】
【００２６】
ここで、ｋ＝−Ｍ，…，Ｍは、離散周波数インデックスである。また、ＷＮ＝ｅ−ｊ２π／Ｎは、回転因子である。また、ＡＦ (ｋ) 及びＡＧ(ｋ) は、振幅スペクトルである。また、θＦ（ｋ）及びθＧ（ｋ）は、位相スペクトルである。また、正規化相互パワースペクトルＲ（ｋ）は、式（３）により表される。
【００２７】
【数２】
【００２８】
ここで、上付き線が付いているＧ（ｋ）は、Ｇ（ｋ）の複素共役である。また、θＦ（ｋ）−θＧ（ｋ）は、１次元画像信号ｆ(ｎ) 及び１次元画像信号ｇ（ｎ）間の位相差スペクトルである。
【００２９】
また、１次元ＰＯＣ関数ｒ（ｎ）は、正規化相互パワースペクトルＲ（ｋ）の１次元逆離散フーリエ変換(Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ: ＩＤＦＴ) として、式（４）により表される。
【００３０】
【数３】
【００３１】
ステレオペアである１次元画像信号ｆ（ｎ）及び１次元画像信号ｇ（ｎ）が、微小な平行移動量δだけ互いに平行移動した関係にある場合、１次元画像信号ｆ(ｎ) 及び１次元画像信号ｇ(ｎ) のＰＯＣ関数ｒ(ｎ) は、式（５）により表される。
【００３２】
【数４】
【００３３】
式（５）は、１次元画像信号が平行移動量δだけ微小に平行移動した場合のＰＯＣ関数の一般形を表している。ここで、αは、相関ピークの高さ（ピーク値）を表現するために導入されたパラメータである。無相関なノイズが画像に加わると、相関ピークの高さαの値が減少するため、実際にはα≦１となる。この場合、ＰＯＣ関数の相関ピークの高さαは、１次元画像信号ｆ(ｎ) 及び１次元画像信号ｇ(ｎ)の類似度の指標に相当する。また、相関ピークの位置座標は、１次元画像信号ｆ(ｎ) 及び１次元画像信号ｇ(ｎ) の平行移動量δに相当する。
【００３４】
したがって、１次元画像信号間の類似度は、相関ピークの高さαに基づいて算出される。また、１次元画像信号間の平行移動量δは、相関ピークの位置座標に基づいて、サブピクセル精度で算出される。
【００３５】
実際の多視点画像では、視点の基線長の変化に伴う歪み、及びデジタル画像に生じるノイズの影響により、平行移動量δに推定誤差が生じることがある。そこで、１次元ＰＯＣ関数を用いて平行移動量δを算出する際に重要となる各種の高精度化手法について、以下に説明する。
【００３６】
１次元離散フーリエ変換（Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ：ＤＦＴ）では、信号波形が周期的に循環することを仮定するため、信号波形の端点での不連続性が問題となる。この不連続性の影響を軽減するため、１次元画像信号ｆ(ｎ) 及びｇ(ｎ) に対して窓関数ｗ（ｎ）を適用する。以下では、窓関数として、式（６）に示す１次元ハニング窓を用いるものとする。
【００３７】
【数５】
【００３８】
また、自然画像では一般に低周波数成分にエネルギーが集中し、高周波数成分のエネルギーは低周波数成分と比較して小さくなることが知られている。このため、エイリアシング（周波数成分の折り返し）、雑音（ノイズ）、歪みなどの外乱が画像に加わった場合、高周波数成分の信号対雑音比（ＳＮ比）は大幅に低下する。
【００３９】
そこで、演算処理装置１００（図１を参照）は、信頼性の低い高周波数成分の影響を抑制するため、正規化相互パワースペクトルＲ（ｋ）を算出する際に、低域通過型のスペクトル重み付け関数Ｈ(ｋ)を適用する。以下では、ペクトル重み付け関数として、式（７）に表されるガウス関数を用いるものとする。
【００４０】
【数６】
【００４１】
ここで、σは、ガウス関数の幅を表す定数である。以下では、一例として、σ＝√（０．５）とする。この場合、相関ピークモデルは、式（８）に表されるガウス型になる。
【００４２】
【数７】
【００４３】
平行移動量δは一般に実数値であるため、ＰＯＣ関数の相関ピークの位置座標は、サンプリング格子点の間、すなわち、画像のピクセル間に存在する。そこで、演算処理装置１００は、相関ピークモデルを表す式（８）を、実際に算出されたＰＯＣ関数の数値データに対してフィッティングすることにより、画像のピクセル間に存在する相関ピークの位置座標を推定する。この場合、相関ピークの高さα、及び平行移動量δが、フィッティングパラメータとなる。以下では、フィッティング手法として、非線型最小２乗問題の解法の一つである「Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法」を用いるものとする。
【００４４】
演算処理装置１００は、ＰＯＣ関数に基づく画像マッチング手法をステレオペア間の対応付けに適用する場合、物体表面の注目点が撮像された画像における対応点の座標を中心にマッチングウィンドウを切り出し、切り出したウィンドウ間のＰＯＣ関数を算出する。この場合、わずか１組のウィンドウに基づいてＰＯＣ関数の相関ピークの位置座標を高精度に算出することは、ノイズの影響もあることから困難である。
【００４５】
そこで、演算処理装置１００は、注目点が撮像された複数のステレオペアからマッチングウィンドウをそれぞれ切り出し、切り出した複数のマッチングウィンドウから１次元画像信号を抽出する。また、１次元画像信号に基づく１次元ＰＯＣ関数は、複数のステレオペアに基づいて平均化されることで統合される。以下、平均化されたＰＯＣ関数を「平均ＰＯＣ関数」という。相関ピークα及び平行移動量δの算出に平均ＰＯＣ関数を用いることで、ノイズの影響を抑えることが可能となる。
以上が、１次元位相限定相関法（１次元ＰＯＣ）に基づく画像マッチング手法についての説明である。
【００４６】
図１に戻り、演算処理装置１００の構成の説明を続ける。演算処理装置１００は、関数算出装置１１０と、デプスマップ生成装置１２０と、メッシュモデル生成装置１３０とを備える。関数算出装置１１０は、ＰＯＣ関数の相関ピークの位置座標、すなわち、マッチングウィンドウの平行移動量δに基づいて、画像に撮像された３次元点（注目点）の座標を算出する。関数算出装置１１０は、正規化部１１１と、ウィンドウ設定部１１２と、関数算出部１１３と、関数統合部１１４とを備える。
【００４７】
正規化部１１１は、ステレオペアを構成する参照視点画像及び近傍視点画像を平行化する。また、正規化部１１１は、１次元位相限定相関法（１次元ＰＯＣ）に基づいて、複数のステレオペアの視差を正規化し、視差を正規化した複数のステレオペアによる平均ＰＯＣ関数を算出する。複数のステレオペアの視差を正規化することにより、関数算出装置１１０は、カメラが同一平面上に設置されていない場合でも、相関関数を統合することができる。
【００４８】
正規化部１１１は、カメラパラメータ（例えば、座標系、焦点距離）が既知である多視点画像Ｖ＝｛Ｖ０，…，ＶＬ−１｝のうち、参照視点画像ＶＲ∈Ｖと、その近傍の視点から撮像された近傍視点画像Ｃ＝｛Ｃ０，…，ＣＫ−１｝⊂Ｖ−｛ＶＲ｝とを、記憶装置２００から読み込む。ここで、Ｌは、多視点画像の枚数である。また、Ｋは、近傍視点画像Ｃの枚数である。
【００４９】
正規化部１１１は、近傍視点画像Ｃのいずれかと参照視点画像ＶＲとの組から成るＫ組のステレオペアを、カメラパラメータにより平行化する。また、関数算出装置１１０は、平行化したステレオペアを構成する参照視点画像及び近傍視点画像からマッチングウィンドウを切り出し、切り出したマッチングウィンドウの視差を正規化する。
【００５０】
正規化部１１１は、ステレオペアから切り出されたマッチングウィンドウの視差を、次のように正規化する。ここで、予め定められた世界座標と一致するように、参照視点画像ＶＲのカメラ座標が予め定められる。
【００５１】
正規化部１１１は、平行化したステレオペアＶＲ-Ｃｉ（Ｃｉ∈Ｃ）におけるマッチングウィンドウの視差を、３次元点Ｍ＝（Ｘ，Ｙ，Ｚ）について算出する場合、参照視点画像ＶＲ及び近傍視点画像Ｃｉを、カメラパラメータにより平行化する。ここで、参照視点画像ＶＲのカメラ座標に対する回転行列Ｒｉは、式（９）により表される。
【００５２】
【数８】
【００５３】
この場合、平行化したステレオペアにおける３次元点Ｍｉ＝（Ｘｉ，Ｙｉ，Ｚｉ）と、３次元点Ｍとの関係は、式（１０）により表される。
【００５４】
【数９】
【００５５】
また、平行化したステレオペアＶＲ-Ｃｉにおける３次元点Ｍｉ＝（Ｘｉ，Ｙｉ，Ｚｉ）と、視差ｄｉとの関係は、式（１１）により表される。
【００５６】
【数１０】
【００５７】
ここで、（ｕｉ，ｖｉ）は、平行化した参照視点画像ＶＲにおける、３次元点Ｍｉの対応点のピクセル座標を表す。また、（ｕ０ｉ，ｖ０ｉ）は、平行化した参照視点画像ＶＲにおける画角中心を表す。また、βｉは焦点距離を表す。また、Ｂｉは、ステレオペア間の基線長を表す。
【００５８】
３次元点Ｍと視差ｄｉとの関係は、式（１０）及び式（１１）に基づいて、式（１２）により表される。
【００５９】
【数１１】
【００６０】
また、参照視点画像ＶＲと近傍視点画像Ｃｊ∈Ｃ−｛Ｃｉ｝との間には、式（１３）により示される関係が成り立つ。
【００６１】
【数１２】
【００６２】
また、予め定められた世界座標における３次元点Ｍの座標は、式（１２）及び式（１３）に基づいて、式（１４）〜（１６）により表される。
【００６３】
【数１３】
【００６４】
平行化したステレオペアＶＲ-Ｃｉの視差ｄｉと、平行化したステレオペアＶＲ-Ｃｊの視差ｄｊとには、式（１７）により表される関係が成り立つ。
【００６５】
【数１４】
【００６６】
したがって、平行化したステレオペアＶＲ-Ｃｉにおける視差ｄｉと、平行化したステレオペアＶＲ-Ｃｊにおける視差ｄｊとは、参照視点画像ＶＲにおける対応点のピクセル座標と、カメラパラメータとに依存する視差の倍率ｓにより関係付けられる。ここで、カメラパラメータは、焦点距離βｉ、及びステレオペア間の基線長Ｂｉである。
【００６７】
つまり、正規化された視差ｄは、各ステレオペアの視差の倍率ｓが考慮されることにより定められる。平行化したステレオペアＶＲ-Ｃｉ(ｉ＝０，…，Ｋ−１) が与えられた場合、平行化した各ステレオペアの視差ｄｉと、正規化された視差ｄとには、式（１８）により表される関係が成り立つ。式（１８）により、正規化部１１１は、平行化したステレオペアの視差を正規化する。
【００６８】
【数１５】
【００６９】
ここで、ｓｉは、平行化した各ステレオペアの視差の倍率である。また、平行化していない参照視点画像ＶＲにおける対応点のピクセル座標（ｕ，ｖ）について、平行化した各ステレオペアの視差の倍率ｓｉは、式（１７）に基づいて式（１９）により表される。
【００７０】
【数１６】
【００７１】
ここで、｜ｓ｜は、式（２０）により表される。
【００７２】
【数１７】
【００７３】
この場合、平行化したステレオペアＶＲ-Ｃｉにおける３次元点Ｍｉは、式（２１）により表される。
【００７４】
【数１８】
【００７５】
また、ウィンドウ設定部１１２は、物体表面の注目点が撮像された画像における対応点を中心に、マッチングウィンドウを切り出す。また、関数算出部１１３は、ウィンドウ設定部１１２が切り出したマッチングウィンドウ間のＰＯＣ関数を算出する。また、関数統合部１１４は、関数算出部１１３が算出した複数のＰＯＣ関数を統合する。
【００７６】
図３には、３次元点と視差との関係が表されている。平行化したステレオペアＶＲ-Ｃｉ（Ｃｉ∈Ｃ）における視差は、３次元点Ｍ及び参照視点画像ＶＲを通る視線方向に、３次元点Ｍから微小量ΔＭ＝（ΔＸ，ΔＹ，ΔＺ）だけずれた位置に在る点Ｍ’（＝Ｍ＋ΔＭ）に基づいて定められる。
【００７７】
この場合、３次元点Ｍ’は、平行化したステレオペアＶＲ-Ｃｉにおける視差ｄｉと、式（１２）とに基づいて、式（２２）により表される。
【００７８】
【数１９】
【００７９】
ここで、平行化したステレオペアＶＲ-Ｃｉにおける、真の位置に在る３次元点Ｍの視差ｄｉに対して、３次元点Ｍの視差ｄｉに誤差δｉが生じた場合、３次元点Ｍの視差ｄｉと、３次元点Ｍ’の視差ｄ’ｉとには、式（２３）により表される関係が成り立つ。
【００８０】
【数２０】
【００８１】
以下、局所的な画像変形は平行移動による画像変形のみである、と仮定する。参照視点画像ＶＲにおける対応点を中心に切り出したマッチングウィンドウｆｉと、近傍視点画像Ｃｉにおける対応点を中心に切り出したマッチングウィンドウｇｉとの平行移動量δｉは、マッチングウィンドウｆｉ及びマッチングウィンドウｇｉ間の１次元ＰＯＣ関数の相関ピークの位置座標に基づいて算出される。
【００８２】
ここで、平行化したステレオペアＶＲ-Ｃｉにおける平行移動量δiと、平行化したステレオペアＶＲ-Ｃｊ（Ｃｊ∈Ｃ−｛Ｃｉ}) における平行移動量δj とが一致しない場合には、平行化したステレオペアＶＲ-Ｃｉに基づく相関ピークの位置座標と、平行化したステレオペアＶＲ-Ｃｊに基づく相関ピークの位置座標とは、一致しない。
【００８３】
例えば、図３では、平行化したステレオペアＶＲ‐Ｃ０の基線長Ｂ０よりも、平行化したステレオペアＶＲ‐Ｃ１の基線長Ｂ１の方が長い。このため、奥行き方向への同じ変化量ΔＺに対しては、平行化したステレオペアＶＲ‐Ｃ１における対応点の平行移動量δ１は、平行化したステレオペアＶＲ‐Ｃ０における対応点の平行移動量δ０より大きい。
【００８４】
図１に戻り、演算処理装置１００の構成の説明を続ける。ウィンドウ設定部１１２は、平行化した各ステレオペアから切り出したマッチングウィンドウを、正規化された視差に基づいて拡大又は縮小する。関数算出部１１３は、ウィンドウ設定部１１２が切り出したマッチングウィンドウ間の１次元ＰＯＣ関数を算出する。
【００８５】
関数統合部１１４は、関数算出部１１３が算出した１次元ＰＯＣ関数をステレオペア間で平均化することにより、１次元ＰＯＣ関数を統合する。これにより、マッチングウィンドウ毎に算出された１次元ＰＯＣ関数の相関ピークの位置座標は、ステレオペア間で統一される。ここで、３次元点Ｍについて正規化された視差ｄと、３次元点Ｍ’について正規化された視差ｄ’（＝ｄ＋δ）とに基づいて、３次元点Ｍ’は、式（２４）により表される。
【００８６】
【数２１】
【００８７】
したがって、平行化したステレオペアＶＲ‐Ｃiにおける対応点を中心に切り出したマッチングウィンドウｆｉと、近傍視点画像Ｃｉにおける対応点を中心に切り出したマッチングウィンドウｇｉとの平行移動量は、Ｓｉδとなる。そこで、マッチングウィンドウｆｉ及びマッチングウィンドウｇｉのウィンドウサイズは、それぞれＳｉｗと定められる。ここで、ウィンドウサイズｗは、予め定められた基準サイズである。
【００８８】
また、ウィンドウサイズＳｉｗが（１／Ｓｉ）倍に拡大又は縮小されることで、１次元画像信号のマッチングウィンドウのウィンドウサイズは、ウィンドウサイズｗに共通化される。以下、ウィンドウサイズＳｉｗが（１／Ｓｉ）倍に拡大又は縮小されたマッチングウィンドウｆｉを、マッチングウィンドウｆｉ’と表記する。同様に、ウィンドウサイズＳｉｗが（１／Ｓｉ）倍に拡大又は縮小されたマッチングウィンドウｇｉを、マッチングウィンドウｇｉ’と表記する。
【００８９】
マッチングウィンドウｆｉ’及びマッチングウィンドウｇｉ’に基づいて算出された１次元ＰＯＣ関数の相関ピークの位置座標は、マッチングウィンドウｆｉ’及びマッチングウィンドウｇｉ’間の平行移動量δに相当する。ここで、平行化したステレオペアＶＲ‐Ｃｊ（Ｃｊ∈Ｃ−｛Ｃｉ｝）から切り出したマッチングウィンドウのサイズは、ウィンドウサイズＳｊｗである。平行化したステレオペアＶＲ‐Ｃｊの１次元ＰＯＣ関数の相関ピークは、ウィンドウサイズＳｉｗとは異なるウィンドウサイズＳｊｗが（１／Ｓｊ）倍に拡大又は縮小されることで、平行化したステレオペアＶＲ‐Ｃｉの１次元ＰＯＣ関数の相関ピークと一致するようになる。
【００９０】
また、ウィンドウ設定部１１２は、上記に説明したマッチングウィンドウの拡大又は縮小に加えて、対象物体の表面形状に応じたウィンドウサイズとなるように、マッチングウィンドウをさらに拡大又は縮小してもよい。
【００９１】
また、ウィンドウ設定部１１２は、上記に説明したマッチングウィンドウの拡大又は縮小の拡大縮小率を決定する際に、ウィンドウサイズ（拡大縮小率）を変化させた複数のマッチングウィンドウ毎に画像マッチングを実行し、１次元ＰＯＣ関数の相関ピークが最も高くなるウィンドウサイズを採用してもよい。
【００９２】
なお、多視点画像に基づいて３次元復元することを考慮すれば、複数のステレオペアにおいて、それぞれの左右の画像から切り出されたマッチングウィンドウのウィンドウサイズには、ステレオペア間で互いに関係性がある（例えば、近い位置に在るステレオペア同士では、同じようなウィンドウサイズとなる）。そこで、ウィンドウ設定部１１２は、３視点以上の多視点画像に基づいて、他のステレオペアのウィンドウサイズを互いに比較することにより、マッチングウィンドウのサイズに制約を加えてもよい。
【００９３】
図４には、１次元位相限定相関法による相関関数（１次元ＰＯＣ関数）が、ステレオペア毎に表されている。図４（Ａ）には、正規化された視差の倍率ｓが考慮されず、平行化したすべてのステレオペアから、同じウィンドウサイズｗでマッチングウィンドウを切り出した場合における、１次元ＰＯＣ関数が表されている。この場合、マッチングウィンドウ間の平行移動量δｉは、ステレオペア毎に異なる。すなわち、算出された１次元ＰＯＣ関数の相関ピークの位置座標は、ステレオペア間で一致しない。
【００９４】
一方、図４（Ｂ）には、正規化された視差の倍率ｓが考慮され、平行化した各ステレオペアから、同じウィンドウサイズｓｉｗでマッチングウィンドウを切り出した場合における、１次元ＰＯＣ関数が表されている。この場合、正規化された視差の倍率ｓが考慮されたことで、マッチングウィンドウ間の平行移動量δｉは、ステレオペア毎で同じになる。すなわち、算出された１次元ＰＯＣ関数の相関ピークの位置座標は、ステレオペア間で一致する。したがって、平行化した各ステレオペアに基づいて算出された１次元ＰＯＣ関数は、位置座標がステレオペア間で一致しているので統合可能である。
【００９５】
関数統合部１１４は、ステレオペア毎に算出された１次元ＰＯＣ関数を、複数のステレオペア間で平均化することにより統合する。予め定められた世界座標における３次元点Ｍ（注目点）の座標は、統合した１次元ＰＯＣ関数の相関ピークの位置座標に基づく平行移動量δを用いて、式（２５）により表される。
【００９６】
【数２２】
【００９７】
ここで、オクルージョン（手前に在る物体が、背後に在る物体を隠す状態）により、３次元点Ｍが近傍視点画像Ｃｉ∈Ｃに写っていない場合、又は、物体境界において複数の視差を持つ領域からマッチングウィンドウが切り出された場合、そのマッチングウィンドウから算出される１次元ＰＯＣ関数の相関ピークの位置座標に、非常に大きい誤差が生じることが予想される。また、マッチングウィンドウ間の画像変形が平行移動のみによって近似できない場合、そのマッチングウィンドウから算出されるＰＯＣ関数の相関ピークの高さαが低くなることが、実験的に知られている。
【００９８】
そこで、関数統合部１１４は、統合した１次元ＰＯＣ関数のうち、相関ピークの高さαが閾値ｔｈｃｏｒｒ以上である（画像の類似度が高い）１次元ＰＯＣ関数のみを、デプスマップ生成装置１２０に出力する。
【００９９】
デプスマップ生成装置１２０は、関数統合部１１４が出力した１次元ＰＯＣ関数に基づいて、デプスマップを生成する。これにより、デプスマップ生成装置は、オクルージョン及び物体境界などの影響を抑えながら、デプスマップを生成することができる。
【０１００】
メッシュモデル生成装置１３０は、デプスマップ生成装置１２０が算出したデプスマップに基づいてメッシュモデルを生成し、生成したメッシュモデルを表すデータを記憶装置２００及び出力装置３００に出力する。
【０１０１】
記憶装置２００は、参照視点画像ＶＲと、近傍視点画像Ｃと、デプスマップを表すデータと、メッシュモデルを表すデータとを記憶する。また、記憶装置２００は、処理に用いられる各種パラメータ、及びプログラムを記憶する。
【０１０２】
出力装置３００には、メッシュモデルを表すデータが入力される。出力装置３００は、メッシュモデルを表すデータに基づいて、復元された物体の表面形状を表示する。出力装置３００は、例えば、液晶ディスプレイ装置である。
【０１０３】
次に、関数算出装置の動作手順について説明する。
図５は、関数算出装置の動作手順を表すフローチャートである。関数算出装置１１０の正規化部１１１（図１を参照）は、参照視点画像ＶＲ及び近傍視点画像Ｃを、記憶装置２００から読み込む（ステップＳ１）。正規化部１１１は、ステレオペアを構成する参照視点画像ＶＲ及び近傍視点画像Ｃを平行化し、平行化したステレオペアの視差を正規化する（ステップＳ２）。
【０１０４】
ウィンドウ設定部１１２（図１を参照）は、ステレオペアから切り出すマッチングウィンドウのウィンドウサイズを、視差の倍率に基づいて拡大又は縮小する（ステップＳ３）。関数算出部１１３は（図１を参照）、拡大又は縮小されたマッチングウィンドウ間の１次元ＰＯＣ関数を算出する（ステップＳ４）。
【０１０５】
関数統合部１１４（図１を参照）は、算出された１次元ＰＯＣ関数のうち、相関ピークの高さが閾値以上である１次元ＰＯＣ関数を統合する（ステップＳ５）。デプスマップ生成装置１２０（図１を参照）は、統合された１次元ＰＯＣ関数に基づいて、デプスマップを生成する（ステップＳ６）。メッシュモデル生成装置１３０は、デプスマップに基づいて、メッシュモデルを生成する（ステップＳ７）。
【０１０６】
＜画像ピラミッドを用いて奥行きを探索する方法について＞
関数算出装置１１０は、３次元点Ｍの奥行きを探索する（座標を算出する）場合、画像ピラミッドを用いた粗密探索を組み合わせてもよい。これにより、デプスマップ生成装置１２０は、画像ピラミッドを用いない場合と比較して少ないマッチング回数で、３次元点Ｍ群の世界座標を表すデプスマップを算出することができる。
【０１０７】
図６には、画像ピラミッドの各階層での関数算出装置の動作手順が表されている。ここで、奥行き探索処理への入力情報は、参照視点画像ＶＲと、その近傍視点画像Ｃ＝{Ｃ０，…，ＣＫ−１} である。また、奥行き探索処理からの出力情報は、デプスマップｄｅｐと、相関値マップｃｏｒｒと、信頼値マップｃｏｎｆである。また、デプスマップ算出処理に用いられる各パラメータは、相関ピークの高さの閾値ｔｈｃｏｒｒと、画像ピラミッドの階層数Ｈと、基準サイズであるウィンドウサイズｗと、平均ＰＯＣ関数を算出する処理に用いるライン数ｌである。
【０１０８】
正規化部１１１（図１を参照）は、参照視点画像ＶＲと、その近傍の視点から撮像された近傍視点画像Ｃとを、記憶装置２００から読み込む。そして、正規化部１１１は、ステレオペアＶＲ-Ｃｉ（ｉ＝０，…，Ｋ−１）を平行化する。さらに、関数算出部１１３は、平行化したステレオペアＶＲ-Ｃｉの画像ピラミッド（階層画像）を生成する。
【０１０９】
以下、平行化したステレオペアＶＲ-Ｃｉを構成する参照視点画像をＶｒｅｃｔ，ｉ，０と、近傍視点画像をＣｒｅｃｔ，ｉ，０と表記する。また、画像ピラミッドの階層ｈ＝１，…，Ｈ−１について、参照視点画像Ｖｒｅｃｔ，ｉ，０を（２−ｈ）倍した画像を、参照視点画像Ｖｒｅｃｔ，ｉ，ｈと表記する。また、画像ピラミッドの階層ｈ＝１，…，Ｈ−１について、近傍視点画像Ｃｒｅｃｔ，ｉ，０を（２−ｈ）倍した画像を、近傍視点画像Ｃｒｅｃｔ，ｉ，ｈと表記する。
【０１１０】
関数算出部１１３（図１を参照）は、画像ピラミッドの最上層Ｈ−１に対して、画像全体のマッチングを実行することにより、奥行きを探索する開始座標Ｚｉｎｉｔを定める。この開始座標Ｚｉｎｉｔは、参照視点画像Ｖｒｅｃｔ，ｉ，Ｈ−１と、近傍視点画像Ｃｒｅｃｔ，ｉ，Ｈ−１との１次元ＰＯＣ関数の相関ピークの位置座標に基づいて、各ステレオペア（ｉ＝０，…，Ｋ−１）について視差が算出されることにより定められる。
【０１１１】
関数算出部１１３は、参照視点画像ＶＲにおける任意の点ｍ＝ (ｕ，ｖ）について、奥行き（デプス）、相関値及び信頼値を算出し、デプスマップｄｅｐ(ｍ)と、相関値マップｃｏｒｒ(ｍ)と、信頼値マップｃｏｎｆ(ｍ)とを、記憶装置２００に記憶させる。ここで、関数算出部１１３は、参照視点画像ＶＲにおける任意の点ｍの座標を、参照視点画像ＶＲ上で変化させながら処理を繰り返すことで、デプスマップｄｅｐ(ｍ)と、相関値マップｃｏｒｒ(ｍ)と、信頼値マップｃｏｎｆ(ｍ)とを算出する。
【０１１２】
以下、ステレオペアの一方を構成する参照視点画像Ｖｒｅｃｔ，ｉ，ｈ（ｉ＝０，…，Ｋ−１）に３次元点Ｍが投影された対応点を、ｍｉ，ｈ＝ (ｕｉ，ｈ， ｖｉ，ｈ)と表記する。また、ステレオペアの他方を構成する近傍視点画像Ｃｒｅｃｔ，ｉ，ｈ（ｉ＝０，…，Ｋ−１）に３次元点Ｍが投影された対応点を、ｍ’ｉ，ｈ＝ (ｕ’ｉ，ｈ，ｖ’ｉ，ｈ) と表記する。
【０１１３】
図７は、奥行きの探索手順を表すフローチャートである。正規化部１１１は、参照視点画像ＶＲ上の任意の点ｍにおける視差の倍率ｓｉ（ｉ＝０，…，Ｋ−１）を、式（１９）に基づいて算出する。この場合、平行化した参照視点画像Ｖｒｅｃｔ，ｉ，０における対応点ｍｉ＝ (ｕｉ，ｖｉ）は、平行化したステレオペアを構成する画像の変形に用いられる射影行列に基づいて算出される（ステップＳａ１）。
【０１１４】
関数算出部１１３は、画像ピラミッドの階層ｈ＝Ｈ−１、及び３次元点Ｍ＝Ｍｉｎｉｔと初期設定し、世界座標における３次元点Ｍの座標の探索を、画像ピラミッドの最上層Ｈ−１から開始する。ここで、Ｍｉｎｉｔは、参照視点画像ＶＲにおいて、任意の点ｍの座標を通る視線上で奥行きがＺｉｎｉｔの位置に在る３次元点である（ステップＳａ２）。
【０１１５】
ウィンドウ設定部１１２は、ウィンドウサイズｓｉｗ×ライン数ｌの大きさで、対応点ｍｉ，ｈを中心に参照視点画像Ｖｒｅｃｔ，ｉ，ｈからマッチングウィンドウｆｉ，ｈを切り出す。また、ウィンドウ設定部１１２は、ウィンドウサイズｓｉｗ×ライン数ｌの大きさで、対応点ｍｉ，ｈを中心に近傍視点画像Ｖｒｅｃｔ，ｉ，ｈからマッチングウィンドウｇｉ，ｈを切り出す。関数算出部１１３は、切り出されたマッチングウィンドウｆｉ，ｈ及びマッチングウィンドウｇｉ，ｈに基づいて、1次元ＰＯＣ関数ｒｉ，ｈを算出する（ステップＳａ３）。
【０１１６】
関数統合部１１４は、1次元ＰＯＣ関数ｒｉ，ｈのうち、相関ピークの高さαi≧閾値ｔｈｃｏｒｒである1次元ＰＯＣ関数を平均化することにより、平均ＰＯＣ関数ｒａｖｅ，ｈを算出する（ステップＳａ４）。以下、相関ピークの高さαｉ≧閾値ｔｈｃｏｒｒとなる1次元ＰＯＣ関数の個数を、Ｋ’と表記する。
【０１１７】
関数統合部１１４は、平均ＰＯＣ関数ｒａｖｅ，ｈに対して関数フィッティングを実行することにより、平均ＰＯＣ関数の相関ピークの高さαと、平均ＰＯＣ関数の相関ピークの位置座標（平行移動量δに相当）とを算出する。関数統合部１１４は、平行移動量δ及び式（２５）に基づいて、世界座標（参照視点画像のカメラ座標）における３次元点Ｍの座標を更新する（ステップＳａ５）。
【０１１８】
関数統合部１１４は、画像ピラミッドの階層が最下層であるか否かを判定する（ステップＳａ６）。画像ピラミッドの階層が最下層である場合（ステップＳａ６−Ｙｅｓ）、デプスマップ生成装置１２０は、相関値マップｃｏｒｒ及び信頼値マップｃｏｎｆが閾値以上である３次元点Ｍ群のデプスマップを生成する（ステップＳａ７）。
【０１１９】
ここで、デプスマップｄｅｐ(ｍ)は、階層ｈ＝０（最下層）である場合における１次元ＰＯＣ関数ｒａｖｅ，０と、３次元点Ｍ＝ (Ｘ，Ｙ，Ｚ) とを用いて、式（２６）のように予め定義される。同様に、相関値マップｃｏｒｒ(ｍ)は、式（２７）のように予め定義される。また、同様に、信頼値マップｃｏｎｆ(ｍ)は、式（２８）のように予め定義される。
【０１２０】
【数２３】
【０１２１】
一方、ステップＳａ６において、画像ピラミッドの階層が最下層でない場合（ステップＳａ６−Ｎｏ）、関数統合部１１４は、階層ｈから値１を減算し、ステップＳａ３に処理を戻す（ステップＳａ８）。
【０１２２】
以上により、デプスマップ生成装置１２０は、閾値以上である相関値マップｃｏｒｒ及び信頼値マップｃｏｎｆに基づいてデプスマップｄｅｐを生成することにより、３次元点Ｍ群について信頼性が高い座標を算出することができる。
【０１２３】
＜メッシュモデルを生成する実験の結果について＞
図８には、メッシュモデルを生成する実験例の結果が、表により示されている。この表には、奥行き方向への変化量ΔＺと、復元点数と、誤対応点数と、誤対応率［％］と、二乗平均平方根（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ：ＲＭＳ）誤差［ｍｍ］と、処理時間［ｓ］とについて、Ｇｏｅｓｅｌｅらの手法と、関数算出装置１１０（図１を参照）が実行する提案手法とが、比較できるように示されている。
【０１２４】
また、図９には、生成されたメッシュモデルの例が表されている。ここで、図９（Ａ）には、比較のため、Ｇｏｅｓｅｌｅらの手法（正規化相互相関(Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ‐Ｃｏｒｒｅｌａｔｉｏｎ: ＮＣＣ)）（ΔＺ＝２００［ｍｍ］）により生成されたメッシュモデルの例が表されている。また、図９（Ｂ）には、比較のため、Ｇｏｅｓｅｌｅらの手法（ΔＺ＝１０［ｍｍ］）により生成されたメッシュモデルの例が表されている。また、図９（Ｃ）には、提案手法により生成されたメッシュモデルの例が表されている。また、図９（Ｄ）には、真値のメッシュモデルの例が表されている。
【０１２５】
まず、図８に戻り、復元点数と誤対応点数について比較する。まず、提案手法は、Ｇｏｅｓｅｌｅらの手法に比べ復元点数が多く、誤対応点が少ないという結果が、図８に示されている。なお、Ｇｏｅｓｅｌｅらの手法において、復元する点の信頼値の閾値を上げることで誤対応点数を減らすことは可能であるが、その場合、復元点数も減少してしまうこととなる。一方、提案手法では、そのようなことが無い。したがって、提案手法を実行する関数算出装置１１０（図１を参照）は、格別の効果を奏するものである。
【０１２６】
この比較結果は、図９からも確認をすることができる。提案手法を実行する関数算出装置１１０は、画像ピラミッドの上位層においてウィンドウサイズを大きくし、マッチングウィンドウから多くの情報を用いることで、大きな誤対応が発生することを抑制している。また、ＰＯＣ関数に基づく画像マッチングでは、周波数領域での重み付けによりノイズの影響が抑えられるため、関数算出装置１１０は、テクスチャの少ない領域でも、ノイズの影響を受けることなく、高精度なマッチングを実行することができるという格別の効果を奏するものである。
【０１２７】
次に、図８に戻り、復元された３次元点群の精度（ＲＭＳ誤差）、及び処理時間について比較する。提案手法を実行する関数算出装置１１０は、Ｇｏｅｓｅｌｅらの手法におけるΔＺ＝１０［ｍｍ］の場合よりも、高精度に３次元点群を算出することができる。また、その場合の処理速度は、２０倍以上も高速である。
【０１２８】
また，Ｇｏｅｓｅｌｅらの手法におけるΔＺ＝２００［ｍｍ］の場合、処理時間について、提案手法とＧｏｅｓｅｌｅらの手法とは、ほぼ同じである。それにもかかわらず、復元精度（ＲＭＳ誤差）について、提案手法の方がＧｏｅｓｅｌｅらの手法よりも２倍以上も高精度である。したがって、提案手法を実行する関数算出装置１１０は、格別の効果を奏するものである。
【０１２９】
なお、Ｇｏｅｓｅｌｅらの手法におけるΔＺ＝２００［ｍｍ］の場合に、奥行きの分解能が不十分であることは、図９（Ａ）に復元された物体の表面形状が粗くなっていることからも確認することができる。
【０１３０】
また、提案手法を実行する関数算出装置１１０は、Ｇｏｅｓｅｌｅらの手法と比較して高速に奥行き探索を実行することができる。これは、提案手法の方が、Ｇｏｅｓｅｌｅらの手法と比較してマッチング回数が非常に少ないためである。
【０１３１】
例えば、Ｇｏｅｓｅｌｅらの手法による奥行き探索では、１点の注目点につき、ΔＺ＝２００［ｍｍ］の場合（図９（Ａ）を参照）、８５回のマッチングを実行することが必要である。また、ΔＺ＝１０［ｍｍ］の場合（図９（Ｂ）を参照）、１，７０１回のマッチングを実行することが必要である。なお、これらの値は、一例である。
【０１３２】
一方、提案手法による奥行き探索では、画像ピラミッドの各階層でマッチングを１回ずつ実行するのみであるため、１点の注目点につき、わずか４回という非常に少ない回数のマッチングにより、高精度な奥行き探索の結果を得ることができる。したがって、提案手法を実行する関数算出装置１１０は、Ｇｏｅｓｅｌｅらの手法に比べ、高速かつ高精度なデプスマップを生成することができるという格別の効果を奏するものである。
【０１３３】
以上のように、関数算出装置１１０は、所定方向から物体を撮像した画像である参照視点画像、及び前記所定方向以外から前記物体を撮像した画像である複数の近傍視点画像を受信する正規化部１１１（受信部）と、前記参照視点画像及び前記近傍視点画像をステレオペア毎に平行化する正規化部１１１（平行化部）と、平行化したステレオペアの視差を正規化する正規化部１１１と、前記視差を正規化したステレオペアを構成する前記参照視点画像及び前記近傍視点画像に、それぞれマッチングウィンドウを定めるウィンドウ設定部１１２と、前記マッチングウィンドウ間の相関関数（１次元ＰＯＣ関数）を、前記視差を正規化したステレオペア毎に算出する関数算出部１１３と、前記算出された相関関数のうち、相関ピークの高さαが閾値以上である相関関数を統合する関数統合部１１４と、を備える。
この構成により、関数算出装置は、平行化したステレオペアの視差を正規化し、ステレオペア毎に算出した相関関数を統合する。これにより、関数算出装置は、ノイズの影響等を軽減させて、ステレオペアの相関関数を精度良く算出することができる。また、物体の３次元形状をデジタル情報化して保存するデジタルアーカイブでは、多視点画像を撮像するカメラの設置位置が制限され、同一平面上にカメラを設置できないことがある。この場合でも、関数算出装置は、ステレオペアの相関関数を精度良く算出することができる。また、関数算出装置は、奥行き推定に必要なマッチング回数を大幅に削減することができる。また、関数算出装置は、複数のステレオカメラペアについて算出される視差マップを、仮想的に設置されたステレオカメラの視差マップに統合することができる。
【０１３４】
なお、正規化視差に基づき相関関数を統合した場合、それぞれの相関関数は、２次元画像座標上で統合される。このため、統合された相関関数では、相関ピークの値の他に、相関ピークの位置を利用することができる。そこで、多視点画像からのデプスマップ生成において、この正規化視差に基づく相関関数の統合を用いることで、相関関数のピーク値だけでなくピーク位置を用いて、奥行きを決定することが可能であり、１回の奥行き推定に必要なマッチング回数を、大幅に削減することができる。これにより、デプスマップは、少ない計算コストで生成される。
【０１３５】
また、正規化部１１１は、前記平行化したステレオペアの視差ｄｉに応じた倍率ｓｉを算出することにより、前記平行化したステレオペアの視差を正規化し、ウィンドウ設定部１１２は、前記倍率ｓｉに基づいて、前記マッチングウィンドウのサイズｓｉｗを定める。
この構成により、正規化部１１１は、平行化したステレオペアの視差に応じた倍率を算出することにより、平行化したステレオペアの視差を正規化する。これにより、関数算出装置は、統合した相関関数により定まる平行移動量に基づいて、正規化された視差を算出することができる。
【０１３６】
ウィンドウ設定部１１２は、前記物体の表面形状に応じたサイズとなるように、前記マッチングウィンドウを（１／Ｓｉ）倍に拡大又は縮小する。
この構成により、ウィンドウ設定部１１２は、マッチングウィンドウを拡大又は縮小する。これにより、関数算出装置は、基線長の長いステレオペアに基づいて、すなわち、より自由に設置されたカメラからの多視点画像に基づいて、ステレオペアの相関関数を精度良く算出することができる。
【０１３７】
ウィンドウ設定部１１２は、３視点以上の多視点画像に基づいて、他のステレオペアのウィンドウサイズを互いに比較することにより、前記マッチングウィンドウのサイズに制約を加える。
この構成により、ウィンドウ設定部１１２は、マッチングウィンドウのサイズに幾何学的制約を加える。複数のステレオペアにおいて、それぞれの左右の画像のマッチングウィンドウの拡大縮小率には、互いに関係性があるので、これにより、関数算出装置は、マッチング回数を多くすることなく、ステレオペアの相関関数を精度良く算出することができる。
【０１３８】
関数算出部１１３は、前記マッチングウィンドウ間の相関関数として、位相限定相関法に基づく相関関数（ＰＯＣ関数）を算出する。
この構成により、関数算出部１１３は、ＰＯＣ関数を算出する。これにより、関数算出装置は、位相限定相関関数のピーク形状が理論的に既知であることを利用し、算出される位相限定相関関数に対してピーク形状の理論値を関数フィッティングすることで、入力される画像に依らない高精度な平行移動量推定を行うことが可能である。また、関数算出装置は、この位相限定相関法用いた画像マッチングを、正規化された視差に基づく相関関数の統合手法に適用することで、複数のステレオペアから計算される位相限定相関関数を統合することができる。また、関数算出装置は、基線長の長いステレオ画像（マッチングウィンドウ）間の高精度かつロバストなマッチング（平行移動量の推定）を実行することができる。
【０１３９】
関数算出部１１３は、画像ピラミッドの階層に応じて相関関数を算出する。
この構成により、関数算出部１１３は、正規化視差に基づく相関関数の統合による奥行き探索と、画像ピラミッドを用いた粗密戦略とを組み合わせて、相関関数を算出する。これにより、関数算出装置は、マッチングウィンドウのサイズを大きくすることなく、且つ、マッチング回数を多くすることなく、ステレオ画像（マッチングウィンドウ）間の高精度かつロバストなマッチング（平行移動量の推定）を実行することができる。また、関数算出装置は、大きな誤対応の発生を防ぐことができる。
【０１４０】
なお、この画像ピラミッドを用いた粗密戦略は、マッチングウィンドウの拡大縮小に適用することも可能である。この場合、上記のような利点の他に、拡大縮小率推定の計算コスト削減といった利点も期待できる。
【０１４１】
デプスマップ生成装置１２０は、関数算出装置１１０が統合した相関関数（１次元ＰＯＣ関数）に基づいて、デプスマップを生成する。
これにより、デプスマップ生成装置は、少ない計算コストでデプスマップを生成することができる。
【０１４２】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【０１４３】
例えば、関数算出部１１３は、原画像に対して縮小画像を再帰的に生成することで、画像ピラミッドを作成し、画像ピラミッドの上位層ではおおまかな奥行き探索（相関関数の算出）を実行し、一方、画像ピラミッドの下位層では精密な奥行き探索を実行してもよい。これにより。小さいウィンドウサイズ、及び、少ないマッチング回数でロバストな奥行き探索が可能となる。また、画像ピラミッドを用いた粗密戦略を用いることで、大きな誤対応が発生することを防ぐこともできる。この画像ピラミッドを用いた粗密戦略は、マッチングウィンドウの拡大縮小に適用することも可能である。この場合、上記のような利点の他に、拡大縮小率推定の計算コスト削減といった利点も期待できる。
【０１４４】
また、上記に説明した各装置を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
【０１４５】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【０１４６】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【０１４７】
１００…演算処理装置、１１０…関数算出装置、１１１…正規化部（受信部、平行化部）、１１２…ウィンドウ設定部、１１３…関数算出部、１１４…関数統合部、１２０…デプスマップ生成装置、１３０…メッシュモデル生成装置、２００…記憶装置、３００…出力装置、４００…バス
【技術分野】
【０００１】
本発明は、画像の相関関数を算出する関数算出装置、デプスマップ生成装置、関数算出方法及び関数算出プログラムに関する。
【背景技術】
【０００２】
多方向から物体が撮像されている複数の２次元画像（以下、「多視点画像」という）に基づいて、その物体の表面形状を復元する３次元復元技術がある。近年、３次元復元技術の発達に伴い、復元された物体の表面形状を表すメッシュモデル（３次元形状モデル）が、多視点画像のみに基づいて、高精度に生成されるようになった。
【０００３】
多視点画像に基づく３次元復元技術は、コンピュータビジョンの研究コミュニティだけでなく、文化財のデジタルアーカイブやエンターテイメント産業など、幅広い分野で注目されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１５２５３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示された３次元形状復元装置は、隣接した２点から撮影された画像のみに基づいて視差を算出している。このため、特許文献１に開示された３次元形状復元装置は、ノイズの影響を受けやすい等、条件によっては、ステレオペア（画像ペア）の相関関数を精度良く算出することができない場合があるという問題がある。ステレオペアの相関関数が精度良く算出されなければ、相関関数に基づくデプスマップ（奥行きマップ）の精度が低下してしまうので、そのデプスマップに基づくメッシュモデルの精度も低下してしまうこととなる。
【０００６】
本発明は、前記の点に鑑みてなされたものであり、ノイズの影響等を軽減させて、ステレオペアの相関関数を精度良く算出することができる関数算出装置、デプスマップ生成装置、関数算出方法及び関数算出プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上記の課題を解決するためになされたものであり、所定方向から物体を撮像した画像である第１視点画像、及び前記所定方向以外から前記物体を撮像した画像である複数の第２視点画像を受信する受信部と、前記第１視点画像及び前記第２視点画像をステレオペア毎に平行化する平行化部と、平行化したステレオペアの視差を正規化する正規化部と、前記視差を正規化したステレオペアを構成する前記第１視点画像及び前記第２視点画像に、それぞれマッチングウィンドウを定めるウィンドウ設定部と、前記マッチングウィンドウ間の相関関数を、前記視差を正規化したステレオペア毎に算出する関数算出部と、前記算出された相関関数のうち、相関ピークの高さが閾値以上である相関関数を統合する関数統合部と、を備えることを特徴とする関数算出装置である。
【０００８】
また、本発明は、前記正規化部が、前記平行化したステレオペアの視差に応じた倍率を算出することにより、前記平行化したステレオペアの視差を正規化し、前記ウィンドウ設定部は、前記倍率に基づいて、前記マッチングウィンドウのサイズを定めることを特徴とする関数算出装置である。
【０００９】
また、本発明は、前記ウィンドウ設定部が、前記物体の表面形状に応じたサイズとなるように、前記マッチングウィンドウを拡大又は縮小することを特徴とする関数算出装置である。
【００１０】
また、本発明は、前記ウィンドウ設定部が、３視点以上の多視点画像に基づいて、他のステレオペアのウィンドウサイズを互いに比較することにより、前記マッチングウィンドウのサイズに制約を加えることを特徴とする関数算出装置である。
【００１１】
また、本発明は、前記関数算出部が、前記マッチングウィンドウ間の相関関数として、位相限定相関法に基づく相関関数を算出することを特徴とする関数算出装置である。
【００１２】
また、本発明は、前記関数算出部が、画像ピラミッドの階層に応じて相関関数を算出することを特徴とする関数算出装置である。
【００１３】
また、本発明は、関数算出装置が統合した相関関数に基づいて、デプスマップを生成するデプスマップ生成装置である。
【００１４】
また、本発明は、関数算出装置における関数算出方法であって、受信部が、所定方向から物体を撮像した画像である第１視点画像、及び前記所定方向以外から前記物体を撮像した画像である複数の第２視点画像を受信するステップと、平行化部が、前記第１視点画像及び前記第２視点画像をステレオペア毎に平行化するステップと、正規化部が、平行化したステレオペアの視差を正規化するステップと、ウィンドウ設定部が、前記視差を正規化したステレオペアを構成する前記第１視点画像及び前記第２視点画像に、それぞれマッチングウィンドウを定めるステップと、関数算出部が、前記マッチングウィンドウ間の相関関数を、前記視差を正規化したステレオペア毎に算出するステップと、関数統合部が、前記算出された相関関数のうち、相関ピークの高さが閾値以上である相関関数を統合するステップと、を有することを特徴とする関数算出方法である。
【００１５】
また、本発明は、コンピュータに、所定方向から物体を撮像した画像である第１視点画像、及び前記所定方向以外から前記物体を撮像した画像である複数の第２視点画像を受信する手順と、前記第１視点画像及び前記第２視点画像をステレオペア毎に平行化する手順と、平行化したステレオペアの視差を正規化する手順と、前記視差を正規化したステレオペアを構成する前記第１視点画像及び前記第２視点画像に、それぞれマッチングウィンドウを定める手順と、前記マッチングウィンドウ間の相関関数を、前記視差を正規化したステレオペア毎に算出する手順と、前記算出された相関関数のうち、相関ピークの高さが閾値以上である相関関数を統合する手順と、を実行させるための関数算出プログラムである。
【発明の効果】
【００１６】
本発明によれば、関数算出装置は、平行化したステレオペアの視差を正規化部が正規化し、ステレオペア毎に算出した相関関数を統合する。これにより、関数算出装置は、多視点画像を撮像するカメラの設置位置が制限された場合でも、ステレオペアの相関関数を精度良く算出することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態における、演算処理装置の構成を表す図である。
【図２】本発明の一実施形態における、１次元位相限定相関法の概要を表す図である。
【図３】本発明の一実施形態における、３次元点と視差との関係を表す図である。
【図４】本発明の一実施形態における、１次元位相限定相関法による相関関数をステレオペア毎に表す図である。
【図５】本発明の一実施形態における、関数算出装置の動作手順を表すフローチャートである。
【図６】本発明の一実施形態における、画像ピラミッドの各階層での関数算出装置の動作手順を表す図である。
【図７】本発明の一実施形態における、奥行きの探索手順を表すフローチャートである。
【図８】本発明の一実施形態における、メッシュモデルを生成する実験例の結果を示す表である。
【図９】本発明の一実施形態における、生成されたメッシュモデルの例を表す図である。
【発明を実施するための形態】
【００１８】
本発明の一実施形態について図面を参照して詳細に説明する。図１には、演算処理装置の構成が表されている。演算処理装置１００は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、バス４００を介して記憶装置２００及び出力装置３００に接続されている。
【００１９】
演算処理装置１００は、多視点画像を記憶装置２００から読み込み、これら多視点画像を構成するステレオペアの視差を正規化する。ここで、正規化とは、例えば、同一平面上に設置されていない複数のカメラから物体が撮像されたステレオペアの視差を、参照視点と、参照視点の近傍に仮想的に設置されたカメラからの視点（近傍視点）との視差となるように、カメラパラメータ（例えば、座標系、焦点距離）を用いて、視差を変換することである。正規化の詳細については、図３を用いて後述する。
【００２０】
また、演算処理装置１００は、視差が正規化されたステレオペアからマッチングウィンドウを切り出し、切り出したマッチングウィンドウ毎にステレオペアの相関関数を算出する。また、演算処理装置１００は、マッチングウィンドウ毎に算出した相関関数のうち、相関値マップｃｏｒｒ及び信頼値マップｃｏｎｆが高い相関関数のみを統合し、統合した相関関数に基づいてデプスマップｄｅｐを生成する。ここで、デプスマップとは、多視点画像に撮像されている物体の表面形状の奥行きを表すマップ情報である。また、演算処理装置１００は、生成したデプスマップｄｅｐに基づいて、物体の表面形状が復元されたメッシュモデルを生成し、生成したメッシュモデルを表すデータを出力装置３００に出力する。
【００２１】
以下では、画像信号の位相成分に着目した画像マッチング手法である位置限定相関法（Ｐｈａｓｅ−Ｏｎｌｙ Ｃｏｒｒｅｌａｔｉｏｎ: ＰＯＣ）に基づく相関関数（以下、「ＰＯＣ関数」という）が、相関関数の一例として用いられるものとして説明を続ける。
【００２２】
まず、１次元位相限定相関法（１次元ＰＯＣ）に基づく画像マッチング手法について説明する。
平行化されたステレオペアでは、ステレオペアの一方の画像（以下、「参照視点画像」という）から切り出されたマッチングウィンドウの幅方向と、ステレオペアの他方の画像（以下、「近傍視点画像」という）から切り出されたマッチングウィンドウの幅方向とが一致する。この場合、切り出された各マッチングウィンドウが１次元方向に並ぶので、演算処理装置１００は、１次元ＰＯＣ関数に基づいて、物体表面の注目点が撮像されたマッチングウィンドウにおける対応点の平行移動量を、高精度に算出することができる。
【００２３】
図２には、１次元位相限定相関法の概要が表されている。１次元画像におけるＮ（Ｎは、整数）個の点について、１次元画像信号ｆ(ｎ)、及び１次元画像信号ｇ（ｎ）が与えられた場合、１次元画像信号ｆ(ｎ) 及び１次元画像信号ｇ（ｎ）間の平行移動量は、１次元ＰＯＣに基づいて算出される。ここで、１次元画像信号の離散時間インデックスｎは、ｎ＝−Ｍ，…，Ｍ（Ｍは、正の整数）であるとする。また、Ｎ＝２Ｍ＋１とする。
【００２４】
１次元画像信号ｆ(ｎ)の１次元離散フーリエ変換（Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ: ＤＦＴ) 結果は、式（１）により表される。また、１次元画像信号ｇ(ｎ) の１次元離散フーリエ変換結果は、式（２）により表される。
【００２５】
【数１】
【００２６】
ここで、ｋ＝−Ｍ，…，Ｍは、離散周波数インデックスである。また、ＷＮ＝ｅ−ｊ２π／Ｎは、回転因子である。また、ＡＦ (ｋ) 及びＡＧ(ｋ) は、振幅スペクトルである。また、θＦ（ｋ）及びθＧ（ｋ）は、位相スペクトルである。また、正規化相互パワースペクトルＲ（ｋ）は、式（３）により表される。
【００２７】
【数２】
【００２８】
ここで、上付き線が付いているＧ（ｋ）は、Ｇ（ｋ）の複素共役である。また、θＦ（ｋ）−θＧ（ｋ）は、１次元画像信号ｆ(ｎ) 及び１次元画像信号ｇ（ｎ）間の位相差スペクトルである。
【００２９】
また、１次元ＰＯＣ関数ｒ（ｎ）は、正規化相互パワースペクトルＲ（ｋ）の１次元逆離散フーリエ変換(Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ: ＩＤＦＴ) として、式（４）により表される。
【００３０】
【数３】
【００３１】
ステレオペアである１次元画像信号ｆ（ｎ）及び１次元画像信号ｇ（ｎ）が、微小な平行移動量δだけ互いに平行移動した関係にある場合、１次元画像信号ｆ(ｎ) 及び１次元画像信号ｇ(ｎ) のＰＯＣ関数ｒ(ｎ) は、式（５）により表される。
【００３２】
【数４】
【００３３】
式（５）は、１次元画像信号が平行移動量δだけ微小に平行移動した場合のＰＯＣ関数の一般形を表している。ここで、αは、相関ピークの高さ（ピーク値）を表現するために導入されたパラメータである。無相関なノイズが画像に加わると、相関ピークの高さαの値が減少するため、実際にはα≦１となる。この場合、ＰＯＣ関数の相関ピークの高さαは、１次元画像信号ｆ(ｎ) 及び１次元画像信号ｇ(ｎ)の類似度の指標に相当する。また、相関ピークの位置座標は、１次元画像信号ｆ(ｎ) 及び１次元画像信号ｇ(ｎ) の平行移動量δに相当する。
【００３４】
したがって、１次元画像信号間の類似度は、相関ピークの高さαに基づいて算出される。また、１次元画像信号間の平行移動量δは、相関ピークの位置座標に基づいて、サブピクセル精度で算出される。
【００３５】
実際の多視点画像では、視点の基線長の変化に伴う歪み、及びデジタル画像に生じるノイズの影響により、平行移動量δに推定誤差が生じることがある。そこで、１次元ＰＯＣ関数を用いて平行移動量δを算出する際に重要となる各種の高精度化手法について、以下に説明する。
【００３６】
１次元離散フーリエ変換（Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ：ＤＦＴ）では、信号波形が周期的に循環することを仮定するため、信号波形の端点での不連続性が問題となる。この不連続性の影響を軽減するため、１次元画像信号ｆ(ｎ) 及びｇ(ｎ) に対して窓関数ｗ（ｎ）を適用する。以下では、窓関数として、式（６）に示す１次元ハニング窓を用いるものとする。
【００３７】
【数５】
【００３８】
また、自然画像では一般に低周波数成分にエネルギーが集中し、高周波数成分のエネルギーは低周波数成分と比較して小さくなることが知られている。このため、エイリアシング（周波数成分の折り返し）、雑音（ノイズ）、歪みなどの外乱が画像に加わった場合、高周波数成分の信号対雑音比（ＳＮ比）は大幅に低下する。
【００３９】
そこで、演算処理装置１００（図１を参照）は、信頼性の低い高周波数成分の影響を抑制するため、正規化相互パワースペクトルＲ（ｋ）を算出する際に、低域通過型のスペクトル重み付け関数Ｈ(ｋ)を適用する。以下では、ペクトル重み付け関数として、式（７）に表されるガウス関数を用いるものとする。
【００４０】
【数６】
【００４１】
ここで、σは、ガウス関数の幅を表す定数である。以下では、一例として、σ＝√（０．５）とする。この場合、相関ピークモデルは、式（８）に表されるガウス型になる。
【００４２】
【数７】
【００４３】
平行移動量δは一般に実数値であるため、ＰＯＣ関数の相関ピークの位置座標は、サンプリング格子点の間、すなわち、画像のピクセル間に存在する。そこで、演算処理装置１００は、相関ピークモデルを表す式（８）を、実際に算出されたＰＯＣ関数の数値データに対してフィッティングすることにより、画像のピクセル間に存在する相関ピークの位置座標を推定する。この場合、相関ピークの高さα、及び平行移動量δが、フィッティングパラメータとなる。以下では、フィッティング手法として、非線型最小２乗問題の解法の一つである「Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法」を用いるものとする。
【００４４】
演算処理装置１００は、ＰＯＣ関数に基づく画像マッチング手法をステレオペア間の対応付けに適用する場合、物体表面の注目点が撮像された画像における対応点の座標を中心にマッチングウィンドウを切り出し、切り出したウィンドウ間のＰＯＣ関数を算出する。この場合、わずか１組のウィンドウに基づいてＰＯＣ関数の相関ピークの位置座標を高精度に算出することは、ノイズの影響もあることから困難である。
【００４５】
そこで、演算処理装置１００は、注目点が撮像された複数のステレオペアからマッチングウィンドウをそれぞれ切り出し、切り出した複数のマッチングウィンドウから１次元画像信号を抽出する。また、１次元画像信号に基づく１次元ＰＯＣ関数は、複数のステレオペアに基づいて平均化されることで統合される。以下、平均化されたＰＯＣ関数を「平均ＰＯＣ関数」という。相関ピークα及び平行移動量δの算出に平均ＰＯＣ関数を用いることで、ノイズの影響を抑えることが可能となる。
以上が、１次元位相限定相関法（１次元ＰＯＣ）に基づく画像マッチング手法についての説明である。
【００４６】
図１に戻り、演算処理装置１００の構成の説明を続ける。演算処理装置１００は、関数算出装置１１０と、デプスマップ生成装置１２０と、メッシュモデル生成装置１３０とを備える。関数算出装置１１０は、ＰＯＣ関数の相関ピークの位置座標、すなわち、マッチングウィンドウの平行移動量δに基づいて、画像に撮像された３次元点（注目点）の座標を算出する。関数算出装置１１０は、正規化部１１１と、ウィンドウ設定部１１２と、関数算出部１１３と、関数統合部１１４とを備える。
【００４７】
正規化部１１１は、ステレオペアを構成する参照視点画像及び近傍視点画像を平行化する。また、正規化部１１１は、１次元位相限定相関法（１次元ＰＯＣ）に基づいて、複数のステレオペアの視差を正規化し、視差を正規化した複数のステレオペアによる平均ＰＯＣ関数を算出する。複数のステレオペアの視差を正規化することにより、関数算出装置１１０は、カメラが同一平面上に設置されていない場合でも、相関関数を統合することができる。
【００４８】
正規化部１１１は、カメラパラメータ（例えば、座標系、焦点距離）が既知である多視点画像Ｖ＝｛Ｖ０，…，ＶＬ−１｝のうち、参照視点画像ＶＲ∈Ｖと、その近傍の視点から撮像された近傍視点画像Ｃ＝｛Ｃ０，…，ＣＫ−１｝⊂Ｖ−｛ＶＲ｝とを、記憶装置２００から読み込む。ここで、Ｌは、多視点画像の枚数である。また、Ｋは、近傍視点画像Ｃの枚数である。
【００４９】
正規化部１１１は、近傍視点画像Ｃのいずれかと参照視点画像ＶＲとの組から成るＫ組のステレオペアを、カメラパラメータにより平行化する。また、関数算出装置１１０は、平行化したステレオペアを構成する参照視点画像及び近傍視点画像からマッチングウィンドウを切り出し、切り出したマッチングウィンドウの視差を正規化する。
【００５０】
正規化部１１１は、ステレオペアから切り出されたマッチングウィンドウの視差を、次のように正規化する。ここで、予め定められた世界座標と一致するように、参照視点画像ＶＲのカメラ座標が予め定められる。
【００５１】
正規化部１１１は、平行化したステレオペアＶＲ-Ｃｉ（Ｃｉ∈Ｃ）におけるマッチングウィンドウの視差を、３次元点Ｍ＝（Ｘ，Ｙ，Ｚ）について算出する場合、参照視点画像ＶＲ及び近傍視点画像Ｃｉを、カメラパラメータにより平行化する。ここで、参照視点画像ＶＲのカメラ座標に対する回転行列Ｒｉは、式（９）により表される。
【００５２】
【数８】
【００５３】
この場合、平行化したステレオペアにおける３次元点Ｍｉ＝（Ｘｉ，Ｙｉ，Ｚｉ）と、３次元点Ｍとの関係は、式（１０）により表される。
【００５４】
【数９】
【００５５】
また、平行化したステレオペアＶＲ-Ｃｉにおける３次元点Ｍｉ＝（Ｘｉ，Ｙｉ，Ｚｉ）と、視差ｄｉとの関係は、式（１１）により表される。
【００５６】
【数１０】
【００５７】
ここで、（ｕｉ，ｖｉ）は、平行化した参照視点画像ＶＲにおける、３次元点Ｍｉの対応点のピクセル座標を表す。また、（ｕ０ｉ，ｖ０ｉ）は、平行化した参照視点画像ＶＲにおける画角中心を表す。また、βｉは焦点距離を表す。また、Ｂｉは、ステレオペア間の基線長を表す。
【００５８】
３次元点Ｍと視差ｄｉとの関係は、式（１０）及び式（１１）に基づいて、式（１２）により表される。
【００５９】
【数１１】
【００６０】
また、参照視点画像ＶＲと近傍視点画像Ｃｊ∈Ｃ−｛Ｃｉ｝との間には、式（１３）により示される関係が成り立つ。
【００６１】
【数１２】
【００６２】
また、予め定められた世界座標における３次元点Ｍの座標は、式（１２）及び式（１３）に基づいて、式（１４）〜（１６）により表される。
【００６３】
【数１３】
【００６４】
平行化したステレオペアＶＲ-Ｃｉの視差ｄｉと、平行化したステレオペアＶＲ-Ｃｊの視差ｄｊとには、式（１７）により表される関係が成り立つ。
【００６５】
【数１４】
【００６６】
したがって、平行化したステレオペアＶＲ-Ｃｉにおける視差ｄｉと、平行化したステレオペアＶＲ-Ｃｊにおける視差ｄｊとは、参照視点画像ＶＲにおける対応点のピクセル座標と、カメラパラメータとに依存する視差の倍率ｓにより関係付けられる。ここで、カメラパラメータは、焦点距離βｉ、及びステレオペア間の基線長Ｂｉである。
【００６７】
つまり、正規化された視差ｄは、各ステレオペアの視差の倍率ｓが考慮されることにより定められる。平行化したステレオペアＶＲ-Ｃｉ(ｉ＝０，…，Ｋ−１) が与えられた場合、平行化した各ステレオペアの視差ｄｉと、正規化された視差ｄとには、式（１８）により表される関係が成り立つ。式（１８）により、正規化部１１１は、平行化したステレオペアの視差を正規化する。
【００６８】
【数１５】
【００６９】
ここで、ｓｉは、平行化した各ステレオペアの視差の倍率である。また、平行化していない参照視点画像ＶＲにおける対応点のピクセル座標（ｕ，ｖ）について、平行化した各ステレオペアの視差の倍率ｓｉは、式（１７）に基づいて式（１９）により表される。
【００７０】
【数１６】
【００７１】
ここで、｜ｓ｜は、式（２０）により表される。
【００７２】
【数１７】
【００７３】
この場合、平行化したステレオペアＶＲ-Ｃｉにおける３次元点Ｍｉは、式（２１）により表される。
【００７４】
【数１８】
【００７５】
また、ウィンドウ設定部１１２は、物体表面の注目点が撮像された画像における対応点を中心に、マッチングウィンドウを切り出す。また、関数算出部１１３は、ウィンドウ設定部１１２が切り出したマッチングウィンドウ間のＰＯＣ関数を算出する。また、関数統合部１１４は、関数算出部１１３が算出した複数のＰＯＣ関数を統合する。
【００７６】
図３には、３次元点と視差との関係が表されている。平行化したステレオペアＶＲ-Ｃｉ（Ｃｉ∈Ｃ）における視差は、３次元点Ｍ及び参照視点画像ＶＲを通る視線方向に、３次元点Ｍから微小量ΔＭ＝（ΔＸ，ΔＹ，ΔＺ）だけずれた位置に在る点Ｍ’（＝Ｍ＋ΔＭ）に基づいて定められる。
【００７７】
この場合、３次元点Ｍ’は、平行化したステレオペアＶＲ-Ｃｉにおける視差ｄｉと、式（１２）とに基づいて、式（２２）により表される。
【００７８】
【数１９】
【００７９】
ここで、平行化したステレオペアＶＲ-Ｃｉにおける、真の位置に在る３次元点Ｍの視差ｄｉに対して、３次元点Ｍの視差ｄｉに誤差δｉが生じた場合、３次元点Ｍの視差ｄｉと、３次元点Ｍ’の視差ｄ’ｉとには、式（２３）により表される関係が成り立つ。
【００８０】
【数２０】
【００８１】
以下、局所的な画像変形は平行移動による画像変形のみである、と仮定する。参照視点画像ＶＲにおける対応点を中心に切り出したマッチングウィンドウｆｉと、近傍視点画像Ｃｉにおける対応点を中心に切り出したマッチングウィンドウｇｉとの平行移動量δｉは、マッチングウィンドウｆｉ及びマッチングウィンドウｇｉ間の１次元ＰＯＣ関数の相関ピークの位置座標に基づいて算出される。
【００８２】
ここで、平行化したステレオペアＶＲ-Ｃｉにおける平行移動量δiと、平行化したステレオペアＶＲ-Ｃｊ（Ｃｊ∈Ｃ−｛Ｃｉ}) における平行移動量δj とが一致しない場合には、平行化したステレオペアＶＲ-Ｃｉに基づく相関ピークの位置座標と、平行化したステレオペアＶＲ-Ｃｊに基づく相関ピークの位置座標とは、一致しない。
【００８３】
例えば、図３では、平行化したステレオペアＶＲ‐Ｃ０の基線長Ｂ０よりも、平行化したステレオペアＶＲ‐Ｃ１の基線長Ｂ１の方が長い。このため、奥行き方向への同じ変化量ΔＺに対しては、平行化したステレオペアＶＲ‐Ｃ１における対応点の平行移動量δ１は、平行化したステレオペアＶＲ‐Ｃ０における対応点の平行移動量δ０より大きい。
【００８４】
図１に戻り、演算処理装置１００の構成の説明を続ける。ウィンドウ設定部１１２は、平行化した各ステレオペアから切り出したマッチングウィンドウを、正規化された視差に基づいて拡大又は縮小する。関数算出部１１３は、ウィンドウ設定部１１２が切り出したマッチングウィンドウ間の１次元ＰＯＣ関数を算出する。
【００８５】
関数統合部１１４は、関数算出部１１３が算出した１次元ＰＯＣ関数をステレオペア間で平均化することにより、１次元ＰＯＣ関数を統合する。これにより、マッチングウィンドウ毎に算出された１次元ＰＯＣ関数の相関ピークの位置座標は、ステレオペア間で統一される。ここで、３次元点Ｍについて正規化された視差ｄと、３次元点Ｍ’について正規化された視差ｄ’（＝ｄ＋δ）とに基づいて、３次元点Ｍ’は、式（２４）により表される。
【００８６】
【数２１】
【００８７】
したがって、平行化したステレオペアＶＲ‐Ｃiにおける対応点を中心に切り出したマッチングウィンドウｆｉと、近傍視点画像Ｃｉにおける対応点を中心に切り出したマッチングウィンドウｇｉとの平行移動量は、Ｓｉδとなる。そこで、マッチングウィンドウｆｉ及びマッチングウィンドウｇｉのウィンドウサイズは、それぞれＳｉｗと定められる。ここで、ウィンドウサイズｗは、予め定められた基準サイズである。
【００８８】
また、ウィンドウサイズＳｉｗが（１／Ｓｉ）倍に拡大又は縮小されることで、１次元画像信号のマッチングウィンドウのウィンドウサイズは、ウィンドウサイズｗに共通化される。以下、ウィンドウサイズＳｉｗが（１／Ｓｉ）倍に拡大又は縮小されたマッチングウィンドウｆｉを、マッチングウィンドウｆｉ’と表記する。同様に、ウィンドウサイズＳｉｗが（１／Ｓｉ）倍に拡大又は縮小されたマッチングウィンドウｇｉを、マッチングウィンドウｇｉ’と表記する。
【００８９】
マッチングウィンドウｆｉ’及びマッチングウィンドウｇｉ’に基づいて算出された１次元ＰＯＣ関数の相関ピークの位置座標は、マッチングウィンドウｆｉ’及びマッチングウィンドウｇｉ’間の平行移動量δに相当する。ここで、平行化したステレオペアＶＲ‐Ｃｊ（Ｃｊ∈Ｃ−｛Ｃｉ｝）から切り出したマッチングウィンドウのサイズは、ウィンドウサイズＳｊｗである。平行化したステレオペアＶＲ‐Ｃｊの１次元ＰＯＣ関数の相関ピークは、ウィンドウサイズＳｉｗとは異なるウィンドウサイズＳｊｗが（１／Ｓｊ）倍に拡大又は縮小されることで、平行化したステレオペアＶＲ‐Ｃｉの１次元ＰＯＣ関数の相関ピークと一致するようになる。
【００９０】
また、ウィンドウ設定部１１２は、上記に説明したマッチングウィンドウの拡大又は縮小に加えて、対象物体の表面形状に応じたウィンドウサイズとなるように、マッチングウィンドウをさらに拡大又は縮小してもよい。
【００９１】
また、ウィンドウ設定部１１２は、上記に説明したマッチングウィンドウの拡大又は縮小の拡大縮小率を決定する際に、ウィンドウサイズ（拡大縮小率）を変化させた複数のマッチングウィンドウ毎に画像マッチングを実行し、１次元ＰＯＣ関数の相関ピークが最も高くなるウィンドウサイズを採用してもよい。
【００９２】
なお、多視点画像に基づいて３次元復元することを考慮すれば、複数のステレオペアにおいて、それぞれの左右の画像から切り出されたマッチングウィンドウのウィンドウサイズには、ステレオペア間で互いに関係性がある（例えば、近い位置に在るステレオペア同士では、同じようなウィンドウサイズとなる）。そこで、ウィンドウ設定部１１２は、３視点以上の多視点画像に基づいて、他のステレオペアのウィンドウサイズを互いに比較することにより、マッチングウィンドウのサイズに制約を加えてもよい。
【００９３】
図４には、１次元位相限定相関法による相関関数（１次元ＰＯＣ関数）が、ステレオペア毎に表されている。図４（Ａ）には、正規化された視差の倍率ｓが考慮されず、平行化したすべてのステレオペアから、同じウィンドウサイズｗでマッチングウィンドウを切り出した場合における、１次元ＰＯＣ関数が表されている。この場合、マッチングウィンドウ間の平行移動量δｉは、ステレオペア毎に異なる。すなわち、算出された１次元ＰＯＣ関数の相関ピークの位置座標は、ステレオペア間で一致しない。
【００９４】
一方、図４（Ｂ）には、正規化された視差の倍率ｓが考慮され、平行化した各ステレオペアから、同じウィンドウサイズｓｉｗでマッチングウィンドウを切り出した場合における、１次元ＰＯＣ関数が表されている。この場合、正規化された視差の倍率ｓが考慮されたことで、マッチングウィンドウ間の平行移動量δｉは、ステレオペア毎で同じになる。すなわち、算出された１次元ＰＯＣ関数の相関ピークの位置座標は、ステレオペア間で一致する。したがって、平行化した各ステレオペアに基づいて算出された１次元ＰＯＣ関数は、位置座標がステレオペア間で一致しているので統合可能である。
【００９５】
関数統合部１１４は、ステレオペア毎に算出された１次元ＰＯＣ関数を、複数のステレオペア間で平均化することにより統合する。予め定められた世界座標における３次元点Ｍ（注目点）の座標は、統合した１次元ＰＯＣ関数の相関ピークの位置座標に基づく平行移動量δを用いて、式（２５）により表される。
【００９６】
【数２２】
【００９７】
ここで、オクルージョン（手前に在る物体が、背後に在る物体を隠す状態）により、３次元点Ｍが近傍視点画像Ｃｉ∈Ｃに写っていない場合、又は、物体境界において複数の視差を持つ領域からマッチングウィンドウが切り出された場合、そのマッチングウィンドウから算出される１次元ＰＯＣ関数の相関ピークの位置座標に、非常に大きい誤差が生じることが予想される。また、マッチングウィンドウ間の画像変形が平行移動のみによって近似できない場合、そのマッチングウィンドウから算出されるＰＯＣ関数の相関ピークの高さαが低くなることが、実験的に知られている。
【００９８】
そこで、関数統合部１１４は、統合した１次元ＰＯＣ関数のうち、相関ピークの高さαが閾値ｔｈｃｏｒｒ以上である（画像の類似度が高い）１次元ＰＯＣ関数のみを、デプスマップ生成装置１２０に出力する。
【００９９】
デプスマップ生成装置１２０は、関数統合部１１４が出力した１次元ＰＯＣ関数に基づいて、デプスマップを生成する。これにより、デプスマップ生成装置は、オクルージョン及び物体境界などの影響を抑えながら、デプスマップを生成することができる。
【０１００】
メッシュモデル生成装置１３０は、デプスマップ生成装置１２０が算出したデプスマップに基づいてメッシュモデルを生成し、生成したメッシュモデルを表すデータを記憶装置２００及び出力装置３００に出力する。
【０１０１】
記憶装置２００は、参照視点画像ＶＲと、近傍視点画像Ｃと、デプスマップを表すデータと、メッシュモデルを表すデータとを記憶する。また、記憶装置２００は、処理に用いられる各種パラメータ、及びプログラムを記憶する。
【０１０２】
出力装置３００には、メッシュモデルを表すデータが入力される。出力装置３００は、メッシュモデルを表すデータに基づいて、復元された物体の表面形状を表示する。出力装置３００は、例えば、液晶ディスプレイ装置である。
【０１０３】
次に、関数算出装置の動作手順について説明する。
図５は、関数算出装置の動作手順を表すフローチャートである。関数算出装置１１０の正規化部１１１（図１を参照）は、参照視点画像ＶＲ及び近傍視点画像Ｃを、記憶装置２００から読み込む（ステップＳ１）。正規化部１１１は、ステレオペアを構成する参照視点画像ＶＲ及び近傍視点画像Ｃを平行化し、平行化したステレオペアの視差を正規化する（ステップＳ２）。
【０１０４】
ウィンドウ設定部１１２（図１を参照）は、ステレオペアから切り出すマッチングウィンドウのウィンドウサイズを、視差の倍率に基づいて拡大又は縮小する（ステップＳ３）。関数算出部１１３は（図１を参照）、拡大又は縮小されたマッチングウィンドウ間の１次元ＰＯＣ関数を算出する（ステップＳ４）。
【０１０５】
関数統合部１１４（図１を参照）は、算出された１次元ＰＯＣ関数のうち、相関ピークの高さが閾値以上である１次元ＰＯＣ関数を統合する（ステップＳ５）。デプスマップ生成装置１２０（図１を参照）は、統合された１次元ＰＯＣ関数に基づいて、デプスマップを生成する（ステップＳ６）。メッシュモデル生成装置１３０は、デプスマップに基づいて、メッシュモデルを生成する（ステップＳ７）。
【０１０６】
＜画像ピラミッドを用いて奥行きを探索する方法について＞
関数算出装置１１０は、３次元点Ｍの奥行きを探索する（座標を算出する）場合、画像ピラミッドを用いた粗密探索を組み合わせてもよい。これにより、デプスマップ生成装置１２０は、画像ピラミッドを用いない場合と比較して少ないマッチング回数で、３次元点Ｍ群の世界座標を表すデプスマップを算出することができる。
【０１０７】
図６には、画像ピラミッドの各階層での関数算出装置の動作手順が表されている。ここで、奥行き探索処理への入力情報は、参照視点画像ＶＲと、その近傍視点画像Ｃ＝{Ｃ０，…，ＣＫ−１} である。また、奥行き探索処理からの出力情報は、デプスマップｄｅｐと、相関値マップｃｏｒｒと、信頼値マップｃｏｎｆである。また、デプスマップ算出処理に用いられる各パラメータは、相関ピークの高さの閾値ｔｈｃｏｒｒと、画像ピラミッドの階層数Ｈと、基準サイズであるウィンドウサイズｗと、平均ＰＯＣ関数を算出する処理に用いるライン数ｌである。
【０１０８】
正規化部１１１（図１を参照）は、参照視点画像ＶＲと、その近傍の視点から撮像された近傍視点画像Ｃとを、記憶装置２００から読み込む。そして、正規化部１１１は、ステレオペアＶＲ-Ｃｉ（ｉ＝０，…，Ｋ−１）を平行化する。さらに、関数算出部１１３は、平行化したステレオペアＶＲ-Ｃｉの画像ピラミッド（階層画像）を生成する。
【０１０９】
以下、平行化したステレオペアＶＲ-Ｃｉを構成する参照視点画像をＶｒｅｃｔ，ｉ，０と、近傍視点画像をＣｒｅｃｔ，ｉ，０と表記する。また、画像ピラミッドの階層ｈ＝１，…，Ｈ−１について、参照視点画像Ｖｒｅｃｔ，ｉ，０を（２−ｈ）倍した画像を、参照視点画像Ｖｒｅｃｔ，ｉ，ｈと表記する。また、画像ピラミッドの階層ｈ＝１，…，Ｈ−１について、近傍視点画像Ｃｒｅｃｔ，ｉ，０を（２−ｈ）倍した画像を、近傍視点画像Ｃｒｅｃｔ，ｉ，ｈと表記する。
【０１１０】
関数算出部１１３（図１を参照）は、画像ピラミッドの最上層Ｈ−１に対して、画像全体のマッチングを実行することにより、奥行きを探索する開始座標Ｚｉｎｉｔを定める。この開始座標Ｚｉｎｉｔは、参照視点画像Ｖｒｅｃｔ，ｉ，Ｈ−１と、近傍視点画像Ｃｒｅｃｔ，ｉ，Ｈ−１との１次元ＰＯＣ関数の相関ピークの位置座標に基づいて、各ステレオペア（ｉ＝０，…，Ｋ−１）について視差が算出されることにより定められる。
【０１１１】
関数算出部１１３は、参照視点画像ＶＲにおける任意の点ｍ＝ (ｕ，ｖ）について、奥行き（デプス）、相関値及び信頼値を算出し、デプスマップｄｅｐ(ｍ)と、相関値マップｃｏｒｒ(ｍ)と、信頼値マップｃｏｎｆ(ｍ)とを、記憶装置２００に記憶させる。ここで、関数算出部１１３は、参照視点画像ＶＲにおける任意の点ｍの座標を、参照視点画像ＶＲ上で変化させながら処理を繰り返すことで、デプスマップｄｅｐ(ｍ)と、相関値マップｃｏｒｒ(ｍ)と、信頼値マップｃｏｎｆ(ｍ)とを算出する。
【０１１２】
以下、ステレオペアの一方を構成する参照視点画像Ｖｒｅｃｔ，ｉ，ｈ（ｉ＝０，…，Ｋ−１）に３次元点Ｍが投影された対応点を、ｍｉ，ｈ＝ (ｕｉ，ｈ， ｖｉ，ｈ)と表記する。また、ステレオペアの他方を構成する近傍視点画像Ｃｒｅｃｔ，ｉ，ｈ（ｉ＝０，…，Ｋ−１）に３次元点Ｍが投影された対応点を、ｍ’ｉ，ｈ＝ (ｕ’ｉ，ｈ，ｖ’ｉ，ｈ) と表記する。
【０１１３】
図７は、奥行きの探索手順を表すフローチャートである。正規化部１１１は、参照視点画像ＶＲ上の任意の点ｍにおける視差の倍率ｓｉ（ｉ＝０，…，Ｋ−１）を、式（１９）に基づいて算出する。この場合、平行化した参照視点画像Ｖｒｅｃｔ，ｉ，０における対応点ｍｉ＝ (ｕｉ，ｖｉ）は、平行化したステレオペアを構成する画像の変形に用いられる射影行列に基づいて算出される（ステップＳａ１）。
【０１１４】
関数算出部１１３は、画像ピラミッドの階層ｈ＝Ｈ−１、及び３次元点Ｍ＝Ｍｉｎｉｔと初期設定し、世界座標における３次元点Ｍの座標の探索を、画像ピラミッドの最上層Ｈ−１から開始する。ここで、Ｍｉｎｉｔは、参照視点画像ＶＲにおいて、任意の点ｍの座標を通る視線上で奥行きがＺｉｎｉｔの位置に在る３次元点である（ステップＳａ２）。
【０１１５】
ウィンドウ設定部１１２は、ウィンドウサイズｓｉｗ×ライン数ｌの大きさで、対応点ｍｉ，ｈを中心に参照視点画像Ｖｒｅｃｔ，ｉ，ｈからマッチングウィンドウｆｉ，ｈを切り出す。また、ウィンドウ設定部１１２は、ウィンドウサイズｓｉｗ×ライン数ｌの大きさで、対応点ｍｉ，ｈを中心に近傍視点画像Ｖｒｅｃｔ，ｉ，ｈからマッチングウィンドウｇｉ，ｈを切り出す。関数算出部１１３は、切り出されたマッチングウィンドウｆｉ，ｈ及びマッチングウィンドウｇｉ，ｈに基づいて、1次元ＰＯＣ関数ｒｉ，ｈを算出する（ステップＳａ３）。
【０１１６】
関数統合部１１４は、1次元ＰＯＣ関数ｒｉ，ｈのうち、相関ピークの高さαi≧閾値ｔｈｃｏｒｒである1次元ＰＯＣ関数を平均化することにより、平均ＰＯＣ関数ｒａｖｅ，ｈを算出する（ステップＳａ４）。以下、相関ピークの高さαｉ≧閾値ｔｈｃｏｒｒとなる1次元ＰＯＣ関数の個数を、Ｋ’と表記する。
【０１１７】
関数統合部１１４は、平均ＰＯＣ関数ｒａｖｅ，ｈに対して関数フィッティングを実行することにより、平均ＰＯＣ関数の相関ピークの高さαと、平均ＰＯＣ関数の相関ピークの位置座標（平行移動量δに相当）とを算出する。関数統合部１１４は、平行移動量δ及び式（２５）に基づいて、世界座標（参照視点画像のカメラ座標）における３次元点Ｍの座標を更新する（ステップＳａ５）。
【０１１８】
関数統合部１１４は、画像ピラミッドの階層が最下層であるか否かを判定する（ステップＳａ６）。画像ピラミッドの階層が最下層である場合（ステップＳａ６−Ｙｅｓ）、デプスマップ生成装置１２０は、相関値マップｃｏｒｒ及び信頼値マップｃｏｎｆが閾値以上である３次元点Ｍ群のデプスマップを生成する（ステップＳａ７）。
【０１１９】
ここで、デプスマップｄｅｐ(ｍ)は、階層ｈ＝０（最下層）である場合における１次元ＰＯＣ関数ｒａｖｅ，０と、３次元点Ｍ＝ (Ｘ，Ｙ，Ｚ) とを用いて、式（２６）のように予め定義される。同様に、相関値マップｃｏｒｒ(ｍ)は、式（２７）のように予め定義される。また、同様に、信頼値マップｃｏｎｆ(ｍ)は、式（２８）のように予め定義される。
【０１２０】
【数２３】
【０１２１】
一方、ステップＳａ６において、画像ピラミッドの階層が最下層でない場合（ステップＳａ６−Ｎｏ）、関数統合部１１４は、階層ｈから値１を減算し、ステップＳａ３に処理を戻す（ステップＳａ８）。
【０１２２】
以上により、デプスマップ生成装置１２０は、閾値以上である相関値マップｃｏｒｒ及び信頼値マップｃｏｎｆに基づいてデプスマップｄｅｐを生成することにより、３次元点Ｍ群について信頼性が高い座標を算出することができる。
【０１２３】
＜メッシュモデルを生成する実験の結果について＞
図８には、メッシュモデルを生成する実験例の結果が、表により示されている。この表には、奥行き方向への変化量ΔＺと、復元点数と、誤対応点数と、誤対応率［％］と、二乗平均平方根（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ：ＲＭＳ）誤差［ｍｍ］と、処理時間［ｓ］とについて、Ｇｏｅｓｅｌｅらの手法と、関数算出装置１１０（図１を参照）が実行する提案手法とが、比較できるように示されている。
【０１２４】
また、図９には、生成されたメッシュモデルの例が表されている。ここで、図９（Ａ）には、比較のため、Ｇｏｅｓｅｌｅらの手法（正規化相互相関(Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ‐Ｃｏｒｒｅｌａｔｉｏｎ: ＮＣＣ)）（ΔＺ＝２００［ｍｍ］）により生成されたメッシュモデルの例が表されている。また、図９（Ｂ）には、比較のため、Ｇｏｅｓｅｌｅらの手法（ΔＺ＝１０［ｍｍ］）により生成されたメッシュモデルの例が表されている。また、図９（Ｃ）には、提案手法により生成されたメッシュモデルの例が表されている。また、図９（Ｄ）には、真値のメッシュモデルの例が表されている。
【０１２５】
まず、図８に戻り、復元点数と誤対応点数について比較する。まず、提案手法は、Ｇｏｅｓｅｌｅらの手法に比べ復元点数が多く、誤対応点が少ないという結果が、図８に示されている。なお、Ｇｏｅｓｅｌｅらの手法において、復元する点の信頼値の閾値を上げることで誤対応点数を減らすことは可能であるが、その場合、復元点数も減少してしまうこととなる。一方、提案手法では、そのようなことが無い。したがって、提案手法を実行する関数算出装置１１０（図１を参照）は、格別の効果を奏するものである。
【０１２６】
この比較結果は、図９からも確認をすることができる。提案手法を実行する関数算出装置１１０は、画像ピラミッドの上位層においてウィンドウサイズを大きくし、マッチングウィンドウから多くの情報を用いることで、大きな誤対応が発生することを抑制している。また、ＰＯＣ関数に基づく画像マッチングでは、周波数領域での重み付けによりノイズの影響が抑えられるため、関数算出装置１１０は、テクスチャの少ない領域でも、ノイズの影響を受けることなく、高精度なマッチングを実行することができるという格別の効果を奏するものである。
【０１２７】
次に、図８に戻り、復元された３次元点群の精度（ＲＭＳ誤差）、及び処理時間について比較する。提案手法を実行する関数算出装置１１０は、Ｇｏｅｓｅｌｅらの手法におけるΔＺ＝１０［ｍｍ］の場合よりも、高精度に３次元点群を算出することができる。また、その場合の処理速度は、２０倍以上も高速である。
【０１２８】
また，Ｇｏｅｓｅｌｅらの手法におけるΔＺ＝２００［ｍｍ］の場合、処理時間について、提案手法とＧｏｅｓｅｌｅらの手法とは、ほぼ同じである。それにもかかわらず、復元精度（ＲＭＳ誤差）について、提案手法の方がＧｏｅｓｅｌｅらの手法よりも２倍以上も高精度である。したがって、提案手法を実行する関数算出装置１１０は、格別の効果を奏するものである。
【０１２９】
なお、Ｇｏｅｓｅｌｅらの手法におけるΔＺ＝２００［ｍｍ］の場合に、奥行きの分解能が不十分であることは、図９（Ａ）に復元された物体の表面形状が粗くなっていることからも確認することができる。
【０１３０】
また、提案手法を実行する関数算出装置１１０は、Ｇｏｅｓｅｌｅらの手法と比較して高速に奥行き探索を実行することができる。これは、提案手法の方が、Ｇｏｅｓｅｌｅらの手法と比較してマッチング回数が非常に少ないためである。
【０１３１】
例えば、Ｇｏｅｓｅｌｅらの手法による奥行き探索では、１点の注目点につき、ΔＺ＝２００［ｍｍ］の場合（図９（Ａ）を参照）、８５回のマッチングを実行することが必要である。また、ΔＺ＝１０［ｍｍ］の場合（図９（Ｂ）を参照）、１，７０１回のマッチングを実行することが必要である。なお、これらの値は、一例である。
【０１３２】
一方、提案手法による奥行き探索では、画像ピラミッドの各階層でマッチングを１回ずつ実行するのみであるため、１点の注目点につき、わずか４回という非常に少ない回数のマッチングにより、高精度な奥行き探索の結果を得ることができる。したがって、提案手法を実行する関数算出装置１１０は、Ｇｏｅｓｅｌｅらの手法に比べ、高速かつ高精度なデプスマップを生成することができるという格別の効果を奏するものである。
【０１３３】
以上のように、関数算出装置１１０は、所定方向から物体を撮像した画像である参照視点画像、及び前記所定方向以外から前記物体を撮像した画像である複数の近傍視点画像を受信する正規化部１１１（受信部）と、前記参照視点画像及び前記近傍視点画像をステレオペア毎に平行化する正規化部１１１（平行化部）と、平行化したステレオペアの視差を正規化する正規化部１１１と、前記視差を正規化したステレオペアを構成する前記参照視点画像及び前記近傍視点画像に、それぞれマッチングウィンドウを定めるウィンドウ設定部１１２と、前記マッチングウィンドウ間の相関関数（１次元ＰＯＣ関数）を、前記視差を正規化したステレオペア毎に算出する関数算出部１１３と、前記算出された相関関数のうち、相関ピークの高さαが閾値以上である相関関数を統合する関数統合部１１４と、を備える。
この構成により、関数算出装置は、平行化したステレオペアの視差を正規化し、ステレオペア毎に算出した相関関数を統合する。これにより、関数算出装置は、ノイズの影響等を軽減させて、ステレオペアの相関関数を精度良く算出することができる。また、物体の３次元形状をデジタル情報化して保存するデジタルアーカイブでは、多視点画像を撮像するカメラの設置位置が制限され、同一平面上にカメラを設置できないことがある。この場合でも、関数算出装置は、ステレオペアの相関関数を精度良く算出することができる。また、関数算出装置は、奥行き推定に必要なマッチング回数を大幅に削減することができる。また、関数算出装置は、複数のステレオカメラペアについて算出される視差マップを、仮想的に設置されたステレオカメラの視差マップに統合することができる。
【０１３４】
なお、正規化視差に基づき相関関数を統合した場合、それぞれの相関関数は、２次元画像座標上で統合される。このため、統合された相関関数では、相関ピークの値の他に、相関ピークの位置を利用することができる。そこで、多視点画像からのデプスマップ生成において、この正規化視差に基づく相関関数の統合を用いることで、相関関数のピーク値だけでなくピーク位置を用いて、奥行きを決定することが可能であり、１回の奥行き推定に必要なマッチング回数を、大幅に削減することができる。これにより、デプスマップは、少ない計算コストで生成される。
【０１３５】
また、正規化部１１１は、前記平行化したステレオペアの視差ｄｉに応じた倍率ｓｉを算出することにより、前記平行化したステレオペアの視差を正規化し、ウィンドウ設定部１１２は、前記倍率ｓｉに基づいて、前記マッチングウィンドウのサイズｓｉｗを定める。
この構成により、正規化部１１１は、平行化したステレオペアの視差に応じた倍率を算出することにより、平行化したステレオペアの視差を正規化する。これにより、関数算出装置は、統合した相関関数により定まる平行移動量に基づいて、正規化された視差を算出することができる。
【０１３６】
ウィンドウ設定部１１２は、前記物体の表面形状に応じたサイズとなるように、前記マッチングウィンドウを（１／Ｓｉ）倍に拡大又は縮小する。
この構成により、ウィンドウ設定部１１２は、マッチングウィンドウを拡大又は縮小する。これにより、関数算出装置は、基線長の長いステレオペアに基づいて、すなわち、より自由に設置されたカメラからの多視点画像に基づいて、ステレオペアの相関関数を精度良く算出することができる。
【０１３７】
ウィンドウ設定部１１２は、３視点以上の多視点画像に基づいて、他のステレオペアのウィンドウサイズを互いに比較することにより、前記マッチングウィンドウのサイズに制約を加える。
この構成により、ウィンドウ設定部１１２は、マッチングウィンドウのサイズに幾何学的制約を加える。複数のステレオペアにおいて、それぞれの左右の画像のマッチングウィンドウの拡大縮小率には、互いに関係性があるので、これにより、関数算出装置は、マッチング回数を多くすることなく、ステレオペアの相関関数を精度良く算出することができる。
【０１３８】
関数算出部１１３は、前記マッチングウィンドウ間の相関関数として、位相限定相関法に基づく相関関数（ＰＯＣ関数）を算出する。
この構成により、関数算出部１１３は、ＰＯＣ関数を算出する。これにより、関数算出装置は、位相限定相関関数のピーク形状が理論的に既知であることを利用し、算出される位相限定相関関数に対してピーク形状の理論値を関数フィッティングすることで、入力される画像に依らない高精度な平行移動量推定を行うことが可能である。また、関数算出装置は、この位相限定相関法用いた画像マッチングを、正規化された視差に基づく相関関数の統合手法に適用することで、複数のステレオペアから計算される位相限定相関関数を統合することができる。また、関数算出装置は、基線長の長いステレオ画像（マッチングウィンドウ）間の高精度かつロバストなマッチング（平行移動量の推定）を実行することができる。
【０１３９】
関数算出部１１３は、画像ピラミッドの階層に応じて相関関数を算出する。
この構成により、関数算出部１１３は、正規化視差に基づく相関関数の統合による奥行き探索と、画像ピラミッドを用いた粗密戦略とを組み合わせて、相関関数を算出する。これにより、関数算出装置は、マッチングウィンドウのサイズを大きくすることなく、且つ、マッチング回数を多くすることなく、ステレオ画像（マッチングウィンドウ）間の高精度かつロバストなマッチング（平行移動量の推定）を実行することができる。また、関数算出装置は、大きな誤対応の発生を防ぐことができる。
【０１４０】
なお、この画像ピラミッドを用いた粗密戦略は、マッチングウィンドウの拡大縮小に適用することも可能である。この場合、上記のような利点の他に、拡大縮小率推定の計算コスト削減といった利点も期待できる。
【０１４１】
デプスマップ生成装置１２０は、関数算出装置１１０が統合した相関関数（１次元ＰＯＣ関数）に基づいて、デプスマップを生成する。
これにより、デプスマップ生成装置は、少ない計算コストでデプスマップを生成することができる。
【０１４２】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【０１４３】
例えば、関数算出部１１３は、原画像に対して縮小画像を再帰的に生成することで、画像ピラミッドを作成し、画像ピラミッドの上位層ではおおまかな奥行き探索（相関関数の算出）を実行し、一方、画像ピラミッドの下位層では精密な奥行き探索を実行してもよい。これにより。小さいウィンドウサイズ、及び、少ないマッチング回数でロバストな奥行き探索が可能となる。また、画像ピラミッドを用いた粗密戦略を用いることで、大きな誤対応が発生することを防ぐこともできる。この画像ピラミッドを用いた粗密戦略は、マッチングウィンドウの拡大縮小に適用することも可能である。この場合、上記のような利点の他に、拡大縮小率推定の計算コスト削減といった利点も期待できる。
【０１４４】
また、上記に説明した各装置を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
【０１４５】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【０１４６】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【０１４７】
１００…演算処理装置、１１０…関数算出装置、１１１…正規化部（受信部、平行化部）、１１２…ウィンドウ設定部、１１３…関数算出部、１１４…関数統合部、１２０…デプスマップ生成装置、１３０…メッシュモデル生成装置、２００…記憶装置、３００…出力装置、４００…バス
【特許請求の範囲】
【請求項１】
所定方向から物体を撮像した画像である第１視点画像、及び前記所定方向以外から前記物体を撮像した画像である複数の第２視点画像を受信する受信部と、
前記第１視点画像及び前記第２視点画像をステレオペア毎に平行化する平行化部と、
平行化したステレオペアの視差を正規化する正規化部と、
前記視差を正規化したステレオペアを構成する前記第１視点画像及び前記第２視点画像に、それぞれマッチングウィンドウを定めるウィンドウ設定部と、
前記マッチングウィンドウ間の相関関数を、前記視差を正規化したステレオペア毎に算出する関数算出部と、
前記算出された相関関数のうち、相関ピークの高さが閾値以上である相関関数を統合する関数統合部と、
を備えることを特徴とする関数算出装置。
【請求項２】
前記正規化部は、前記平行化したステレオペアの視差に応じた倍率を算出することにより、前記平行化したステレオペアの視差を正規化し、
前記ウィンドウ設定部は、前記倍率に基づいて、前記マッチングウィンドウのサイズを定めることを特徴とする請求項１に記載の関数算出装置。
【請求項３】
前記ウィンドウ設定部は、前記物体の表面形状に応じたサイズとなるように、前記マッチングウィンドウを拡大又は縮小することを特徴とする請求項１又は請求項２に記載の関数算出装置。
【請求項４】
前記ウィンドウ設定部は、３視点以上の多視点画像に基づいて、他のステレオペアのウィンドウサイズを互いに比較することにより、前記マッチングウィンドウのサイズに制約を加えることを特徴とする請求項３に記載の関数算出装置。
【請求項５】
前記関数算出部は、前記マッチングウィンドウ間の相関関数として、位相限定相関法に基づく相関関数を算出することを特徴とする請求項１から請求項４のいずれか一項に記載の関数算出装置。
【請求項６】
前記関数算出部は、画像ピラミッドの階層に応じて相関関数を算出することを特徴とする請求項１から請求項５のいずれか一項に記載の関数算出装置。
【請求項７】
請求項１から請求項６のいずれか一項に記載の関数算出装置が統合した相関関数に基づいて、デプスマップを生成するデプスマップ生成装置。
【請求項８】
関数算出装置における関数算出方法であって、
受信部が、所定方向から物体を撮像した画像である第１視点画像、及び前記所定方向以外から前記物体を撮像した画像である複数の第２視点画像を受信するステップと、
平行化部が、前記第１視点画像及び前記第２視点画像をステレオペア毎に平行化するステップと、
正規化部が、平行化したステレオペアの視差を正規化するステップと、
ウィンドウ設定部が、前記視差を正規化したステレオペアを構成する前記第１視点画像及び前記第２視点画像に、それぞれマッチングウィンドウを定めるステップと、
関数算出部が、前記マッチングウィンドウ間の相関関数を、前記視差を正規化したステレオペア毎に算出するステップと、
関数統合部が、前記算出された相関関数のうち、相関ピークの高さが閾値以上である相関関数を統合するステップと、
を有することを特徴とする関数算出方法。
【請求項９】
コンピュータに、
所定方向から物体を撮像した画像である第１視点画像、及び前記所定方向以外から前記物体を撮像した画像である複数の第２視点画像を受信する手順と、
前記第１視点画像及び前記第２視点画像をステレオペア毎に平行化する手順と、
平行化したステレオペアの視差を正規化する手順と、
前記視差を正規化したステレオペアを構成する前記第１視点画像及び前記第２視点画像に、それぞれマッチングウィンドウを定める手順と、
前記マッチングウィンドウ間の相関関数を、前記視差を正規化したステレオペア毎に算出する手順と、
前記算出された相関関数のうち、相関ピークの高さが閾値以上である相関関数を統合する手順と、
を実行させるための関数算出プログラム。
【請求項１】
所定方向から物体を撮像した画像である第１視点画像、及び前記所定方向以外から前記物体を撮像した画像である複数の第２視点画像を受信する受信部と、
前記第１視点画像及び前記第２視点画像をステレオペア毎に平行化する平行化部と、
平行化したステレオペアの視差を正規化する正規化部と、
前記視差を正規化したステレオペアを構成する前記第１視点画像及び前記第２視点画像に、それぞれマッチングウィンドウを定めるウィンドウ設定部と、
前記マッチングウィンドウ間の相関関数を、前記視差を正規化したステレオペア毎に算出する関数算出部と、
前記算出された相関関数のうち、相関ピークの高さが閾値以上である相関関数を統合する関数統合部と、
を備えることを特徴とする関数算出装置。
【請求項２】
前記正規化部は、前記平行化したステレオペアの視差に応じた倍率を算出することにより、前記平行化したステレオペアの視差を正規化し、
前記ウィンドウ設定部は、前記倍率に基づいて、前記マッチングウィンドウのサイズを定めることを特徴とする請求項１に記載の関数算出装置。
【請求項３】
前記ウィンドウ設定部は、前記物体の表面形状に応じたサイズとなるように、前記マッチングウィンドウを拡大又は縮小することを特徴とする請求項１又は請求項２に記載の関数算出装置。
【請求項４】
前記ウィンドウ設定部は、３視点以上の多視点画像に基づいて、他のステレオペアのウィンドウサイズを互いに比較することにより、前記マッチングウィンドウのサイズに制約を加えることを特徴とする請求項３に記載の関数算出装置。
【請求項５】
前記関数算出部は、前記マッチングウィンドウ間の相関関数として、位相限定相関法に基づく相関関数を算出することを特徴とする請求項１から請求項４のいずれか一項に記載の関数算出装置。
【請求項６】
前記関数算出部は、画像ピラミッドの階層に応じて相関関数を算出することを特徴とする請求項１から請求項５のいずれか一項に記載の関数算出装置。
【請求項７】
請求項１から請求項６のいずれか一項に記載の関数算出装置が統合した相関関数に基づいて、デプスマップを生成するデプスマップ生成装置。
【請求項８】
関数算出装置における関数算出方法であって、
受信部が、所定方向から物体を撮像した画像である第１視点画像、及び前記所定方向以外から前記物体を撮像した画像である複数の第２視点画像を受信するステップと、
平行化部が、前記第１視点画像及び前記第２視点画像をステレオペア毎に平行化するステップと、
正規化部が、平行化したステレオペアの視差を正規化するステップと、
ウィンドウ設定部が、前記視差を正規化したステレオペアを構成する前記第１視点画像及び前記第２視点画像に、それぞれマッチングウィンドウを定めるステップと、
関数算出部が、前記マッチングウィンドウ間の相関関数を、前記視差を正規化したステレオペア毎に算出するステップと、
関数統合部が、前記算出された相関関数のうち、相関ピークの高さが閾値以上である相関関数を統合するステップと、
を有することを特徴とする関数算出方法。
【請求項９】
コンピュータに、
所定方向から物体を撮像した画像である第１視点画像、及び前記所定方向以外から前記物体を撮像した画像である複数の第２視点画像を受信する手順と、
前記第１視点画像及び前記第２視点画像をステレオペア毎に平行化する手順と、
平行化したステレオペアの視差を正規化する手順と、
前記視差を正規化したステレオペアを構成する前記第１視点画像及び前記第２視点画像に、それぞれマッチングウィンドウを定める手順と、
前記マッチングウィンドウ間の相関関数を、前記視差を正規化したステレオペア毎に算出する手順と、
前記算出された相関関数のうち、相関ピークの高さが閾値以上である相関関数を統合する手順と、
を実行させるための関数算出プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−１９８０１（Ｐ２０１３−１９８０１Ａ）
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願番号】特願２０１１−１５４０３７（Ｐ２０１１−１５４０３７）
【出願日】平成２３年７月１２日（２０１１．７．１２）
【出願人】（５０４１５７０２４）国立大学法人東北大学 (2,297)
【出願人】（０００００３１９３）凸版印刷株式会社 (10,630)
【Ｆターム（参考）】
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願日】平成２３年７月１２日（２０１１．７．１２）
【出願人】（５０４１５７０２４）国立大学法人東北大学 (2,297)
【出願人】（０００００３１９３）凸版印刷株式会社 (10,630)
【Ｆターム（参考）】
[ Back to top ]