画像処理方法および装置
【課題】高密度かつ高速に運動する物体の形状計測を可能にするための画像処理方法および装置を提供する。
【解決手段】投影装置により観測対象上に投影される、周期パターンからなる投影パターンを撮影装置により撮影し、投影パターンを含む入力画像から形状復元を行う画像処理方法において、投影装置より投影された投影パターンを撮影装置により撮影された入力画像から検出するステップと、検出された投影パターンの相対位相を検出するステップと、検出された投影パターンの絶対位相を、基準位置からの相対的な位相と、基準位置の絶対的な位相との和により表すと、複数の投影パターンの絶対位相により計算した奥行きが一致するという第１条件が検出された投影パターンの各画素について成立することに基づき基準位置の絶対的な位相を計算するステップとを備える。
【解決手段】投影装置により観測対象上に投影される、周期パターンからなる投影パターンを撮影装置により撮影し、投影パターンを含む入力画像から形状復元を行う画像処理方法において、投影装置より投影された投影パターンを撮影装置により撮影された入力画像から検出するステップと、検出された投影パターンの相対位相を検出するステップと、検出された投影パターンの絶対位相を、基準位置からの相対的な位相と、基準位置の絶対的な位相との和により表すと、複数の投影パターンの絶対位相により計算した奥行きが一致するという第１条件が検出された投影パターンの各画素について成立することに基づき基準位置の絶対的な位相を計算するステップとを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法および装置に関し、より詳細には、平行線投影を用いた連続領域の検出による高密度なワンショット形状復元を行う画像処理方法および装置に関する。
【背景技術】
【０００２】
従来、プロジェクターとカメラとを用いて形状復元する方法は、カメラにより撮影された画像から、プロジェクターにより観測対象上に投影されたパターン同士の交点を取得する。取得された交点を含む２つの平面の制約条件と、プロジェクターとカメラとの位置関係から取得される制約条件とを用いて自由度を含んでいる解を算出して、１次元探索により自由度が解消された解を取得することによって、形状復元している（例えば、特許文献１参照。）。
【０００３】
さらに、グリッドベース３次元形状復元方法において、別々のプロジェクターから平行線パターンを投影して、投影される平行線が等間隔であるという拘束条件を追加することにより、計算を安定化させる方法がある。
【０００４】
固定されたパターン光を投影し、１枚の画像から形状復元を行うアクティブ形状計測法（ワンショット形状計測）は、他の方法と比べて独自の利点を持っている。すなわち、観測対象が非常に速い動きを持つ場合でも、カメラのフレームレートとシャッタースピードを上げるだけで形状計測が行えるという点である。例えば、ダイナミックに動く流体や、爆発といった非常に速い動きで利用できる可能性がある。このため、これまで多くの研究
が行われ、実用化が図られてきた（例えば、非特許文献１参照。）。
【０００５】
近年、グリッドパターンベースのワンショット形状計測法が提案されている。相互に接続されたグリッド線に位置情報をコード化することにより、精度と安定性において良い結果が得られている。
【０００６】
プロジェクターとカメラを用いて形状復元する手法はこれまで広く研究されてきた（例えば、非特許文献２参照。）。プロジェクター−カメラ形状計測システムにおける主たる問題は、どのように対応点を得るか、ということである。その解決法は大きく分けて時間コード化法と空間コード化法の２つに分けられる。
【０００７】
時間コード化法は、実装が容易、高精度、高密度、安定ということから、これまで良く用いられてきた方法である（例えば、非特許文献３〜５参照。）。近年、高速に形状を計測する手法が提案されており、ＤＬＰプロジェクターと高速度カメラを用いる手法がある（例えば、非特許文献６、７参照。）。さらに、時間・空間エンコードを利用して投影するパターンを削減する方法もある（例えば、非特許文献８、９参照。）。また、プロジェクターを用いてパターンを変えながら観測対象に投影して対象表面にテクスチャを与え、パッシブなステレオ形状計測法によって３次元形状を復元する方法がある（例えば、非特許文献１０、１１参照。）。
【０００８】
これに対し空間コード化法は単一の画像のみを用いるため、高速に動く対象の計測に適している（例えば、非特許文献１２、１３参照。）。一方、この方法では、複雑なパターンや多数の色を用いて幾何的な情報をコード化する必要がある。近年、パターンが複雑になるという問題に対し、単純なグリッドパターンを用いる手法が提案されている（例えば、非特許文献１４〜１６参照。）。この方法では、線の交点の接続性を用いて幾何情報を埋め込んでいる。
【０００９】
また、従来、位相シフトによって形状復元する手法では、繰り返し現れる同じ位相に対して、グレイコードや低周波パターン、ステレオカメラなど追加的な情報を用いることにより、推定した位相の曖昧性を解決していた（例えば、非特許文献６、１７参照。）。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００９−３００２７７号公報
【非特許文献】
【００１１】
【非特許文献１】Microsoft、“Xbox 360 Kinect”、［online］、Microsoft、[平成２３年７月６日検索]、インターネット＜URL：http://www.xbox.com/en-US/kinect＞
【非特許文献２】J. Batlle, E. Mouaddib and J. Salvi: “Recent progress in coded structured light as a technique to solve the correspondence problem: a survey”, Pattern Recognition, 31, 7, pp. 963-982 (1998)
【非特許文献３】D. Caspi, N. Kiryati and J. Shamir: “Range imaging with adaptive color structured light”, IEEE Trans. on PAMI, 20, 5, pp. 470-480 (1998)
【非特許文献４】S. Inokuchi, K. Sato and F. Matsuda: “Range imaging system for 3-D object recognition”, ICPR, pp. 806-808 (1984)
【非特許文献５】K. L. Boyer and A. C. Kak: “Color-encoded structured light for rapid active ranging”, IEEE Trans. on PAMI, 9, 1, pp. 14-28 (1987)
【非特許文献６】T.Weise, B. Leibe and L. V. Gool: “Fast 3D scanning with automatic motion compensation”, Proc. IEEE Conference on Computer Vision and Pattern Recognition, pp. 1-8 (2007)
【非特許文献７】S. Narasimhan, S. Koppal and S. Yamazaki: “Temporal dithering of illumination for fast active vision”, European Conference on Computer Vision, Vol. 4, pp. 830-844 (2008)
【非特許文献８】O. Hall-Holt and S. Rusinkiewicz: “Stripe boundary codes for real-time structured-light range scanning of moving objects”, ICCV, Vol. 2, pp. 359-366 (2001)
【非特許文献９】M. Young, E. Beeson, J. Davis, S. Rusinkiewicz and R. Ramamoorthi: “Viewpoint-coded structured light”, IEEE Computer Society Conference onComputer Vision and Pattern Recognition (CVPR) (2007)
【非特許文献１０】J. Davis, D. Nehab, R. Ramamoorthi and S. Rusinkiewicz: “Spacetime stereo: A unifying framework for depth from triangulation”, IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), 27, 2, pp. 296-302 (2005)
【非特許文献１１】L. Zhang, N. Snavely, B. Curless and S. M. Seitz: “Spacetime faces: High-resolution capture for modeling and animation”, ACM Annual Conference on Computer Graphics, pp. 548-558 (2004)
【非特許文献１２】C. Je, S. W. Lee and R.H. Park: “High-contrast color-stripe pattern for rapid structured-light range imaging”, ECCV, Vol. 1, pp. 95-107 (2004)
【非特許文献１３】P. Vuylsteke and A. Oosterlinck: “Range image acquisition with a single binary-encoded light pattern”, IEEE Trans. Pattern Anal. Mach. Intell., 12, 2, pp. 148-164 (1990)
【非特許文献１４】H. Kawasaki, R. Furukawa, R. Sagawa and Y. Yagi: “Dynamic scene shape reconstruction using a single structured light pattern”, CVPR, pp. 1-8 (2008)
【非特許文献１５】R. Sagawa, Y. Ota, Y. Yagi, R. Furukawa, N. Asada and H. Kawasaki: “Dense 3d reconstruction method using a single pattern for fast moving object”, ICCV (2009)
【非特許文献１６】A. O. Ulusoy, F. Calakli and G. Taubin: “One-shot scanning using de bruijn spaced grids”, The 7th IEEE Conf. 3DIM (2009)
【非特許文献１７】J. G¨uhring: “Dense 3-d surface acquisition by structured light using off-the-shelf components”, Videometrics and Optical Methods for 3D Shape Measurement, Vol. 4309, pp. 220-231 (2001)
【非特許文献１８】R. Furukawa, H. Kawasaki, R. Sagawa and Y. Yagi: “Shape from grid pattern based on coplanarity constraints for one-shot scanning”, IPSJ Transaction on Computer Vision and Applications, 1, pp. 139-157 (2009)
【非特許文献１９】J. Salvi, J. Batlle and E. M. Mouaddib: “A robust-coded pattern projection for dynamic 3D scene measurement”, Pattern Recognition, 19, 11, pp. 1055-1065 (1998)
【非特許文献２０】H. Kawasaki, R. Furukawa, R. Sagawa, Y. Ohta, K. Sakashita, R. Zushi, Y. Yagi and N. Asada: “Linear solution for oneshot active 3d reconstruction using two projectors”, 3DPVT (2010)
【非特許文献２１】P. Teunissen: “The least-squares ambiguity decorrelation adjustment: a method for fast GPS ambiguity estimation”, Journal of Geodegy, 70, pp. 65-82 (1995)
【非特許文献２２】X.-W. Chang and T. Zhou: “MILES: MATLAB package for solving Mixed Integer LEast Squares problems”, GPS Solutions, 11, 4, pp. 289-294 (2007)
【非特許文献２３】“The Stanford 3D Scanning Repository”、［online］、平成２２年１２月２２日、スタンフォード大学、形状モデルデータベース、[平成２３年７月６日検索]、インターネット＜URL：http://www.graphics.stanford.edu/data/3Dscanrep/＞
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、特許文献１の方法は、グリット線の交点のみを用いて復元の計算を行っていたため、連続領域内にある全ての画素を用いて復元することができず、密度と安定性とを向上させることができないという問題があった。
【００１３】
また、特許文献１の方法は、縦・横のグリッド線が交点を持たない領域において、連続的な領域として検出することができないため、復元可能な領域を大幅に増やすことができず、計算を安定化させることができないという問題もあった。
【００１４】
非特許文献１の技術は、モーションキャプチャやジェスチャ認識を目的としているため、原理的に精度向上が難しく、検査やモデリングなどの用途には向いていないという問題があった。
【００１５】
グリッドパターンベースのワンショット形状計測法は、検出されたグリッド線の形状のみを復元する手法のため、その形状の解像度はグリッド線の間隔によって決まり、復元される形状の解像度が低くなるという問題がある。また、グリッド線の接続が少ない場合は正しく復元されないため、最終的に復元される形状も減少するという問題もあった。
【００１６】
非特許文献３〜５の時間コード化法は、異なるパターンを観測対象に投影する必要があるため、高速に運動する対象の形状計測には向かないという問題がある。非特許文献６〜９の方法は、観測対象の動く速度の制限や、剛体であるという仮定が必要であるという問題もある。非特許文献１０、１１の方法は、厳密には構造化光投影法ではないが、対応点を一意に決定するために複数のパターンを必要とするため、高速に動く対象の形状計測には適当ではないという問題もあった。
【００１７】
非特許文献１２、１３の方法は、複雑なパターンや多数の色を用いて幾何的な情報をコード化する必要があるという問題があった。空間コード化によって一意に対応点を決めるためには、そのコードのサイズが大きくなる。そのようなパターンはテクスチャや不連続な形状、表面の傾きによるパターンの圧縮などによる影響を受けやすい。従って、パターンの密度が低下することが避けられず、復元される形状が疎になる。非特許文献１４〜１６の方法は、投影された線がカメラ画像中で曲線として検出される必要があるため、グリッド線の間隔が画素幅の数倍程度に広くなり、１画素単位での高密度化が困難であるという問題もあった。
【００１８】
本発明は、このような問題に鑑みてなされたもので、その目的とするところは、高密度かつ高速に運動する物体の形状計測を可能にするための、画像処理方法および装置を提供することにある。
【００１９】
また、非特許文献６、１７の従来手法は、推定した位相の曖昧性を解決する際、大域的な位相推定のために複数の画像が必要であるという問題もあった。本発明は、幾何情報（エピポーラ拘束）を用いて位相の曖昧性を解決して、１枚の画像から２つの位相画像を生成するだけで形状復元する。
【課題を解決するための手段】
【００２０】
本発明は、このような目的を達成するために、本発明は、投影装置により観測対象上に投影される、周期パターンからなる投影パターンを撮影装置により撮影し、投影パターンを含む入力画像から形状復元を行う画像処理方法において、投影装置より投影された投影パターンを撮影装置により撮影された入力画像から検出するステップと、検出された投影パターンの相対位相を検出するステップと、検出された投影パターンの絶対位相を、基準位置からの相対的な位相と、基準位置の絶対的な位相との和により表すと、複数の投影パターンの絶対位相により計算した奥行きが一致するという第１条件が検出された投影パターンの各画素について成立することに基づき基準位置の絶対的な位相を計算するステップとを備えたことを特徴とする。
【００２１】
この構成によれば、高密度かつ高速に運動する物体の形状計測が可能となる。
【発明の効果】
【００２２】
以上説明したように、本発明によれば、投影装置より投影された投影パターンを撮影装置により撮影された入力画像から検出するステップと、検出された投影パターンの相対位相を検出するステップと、検出された投影パターンの絶対位相を、基準位置からの相対的な位相と、基準位置の絶対的な位相との和により表すと、複数の投影パターンの絶対位相により計算した奥行きが一致するという第１条件が検出された投影パターンの各画素について成立することに基づき基準位置の絶対的な位相を計算するステップとを備えたので、高密度かつ高速に運動する物体の形状計測が可能となる。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施形態にかかる１カメラ・１プロジェクターのシステムを示す構成図である。
【図２】本発明の一実施形態にかかる１カメラ・２プロジェクターのシステムを示す構成図である。
【図３】本発明の一実施形態にかかる画像処理システムを示すブロック図である。
【図４】本発明の一実施形態にかかる画像処理装置を示すブロック図である。
【図５】本発明の一実施形態にかかる画像処理方法を示すフローチャートである。
【図６】本発明の一実施形態にかかる画像処理方法における連続領域抽出処理を示すフローチャートである。
【図７】本発明の一実施形態にかかる画像処理の各ステップにおける結果の例を示す図である。
【図８】本発明の一実施形態にかかる１台のプロジェクターを用いる場合の画像処理の相対プロジェクター座標の例を示す図である。
【図９】本発明の一実施形態にかかる２台のプロジェクターを用いる場合の画像処理の相対プロジェクター座標の例を示す図である。
【図１０】本発明の一実施形態にかかる隣接フレーム間における領域の対応付けの例を示す図である。
【図１１】本発明の一実施形態にかかる画像処理の結果および誤差の例を示す図である。
【図１２】本発明の一実施形態にかかる２台および３台のプロジェクターを用いた場合の入力画像の例を示す図である。
【図１３】本発明の一実施形態にかかる対応点のＲＭＳ誤差を１、２、３台のプロジェクターの場合について比較した例を示す図である。
【図１４】本発明の一実施形態にかかる３つのデータに関する入力画像および結果の４フレームの例を示す図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照しながら本発明の実施形態について詳細に説明する。
【００２５】
（概要およびシステム構成）
図１、２に示すように、本発明のシステムは、１台のカメラと、１台あるいは複数のプロジェクターから構成される。カメラおよびプロジェクターは校正済みであり、内部・外部パラメーターは既知であると仮定する。また、本発明の方法は、固定パターンをプロジェクターから投影するため、カメラ−プロジェクター間の同期は不要である。
【００２６】
図１は、本発明の一実施形態にかかる１カメラ・１プロジェクターのシステムを示す構成図である。１台のプロジェクターを用いる場合、プロジェクターは画像の縦・横軸に沿った２種類の平行線パターンを投影する。
【００２７】
図２は、本発明の一実施形態にかかる１カメラ・２プロジェクターのシステムを示す構成図である。２台のプロジェクターを用いる場合、それぞれのプロジェクターは、１種類の平行線パターンを投影する。
【００２８】
図１、２のどちらの場合でも、投影されたパターンは、観測対象の表面上でグリッドパターンを作り、カメラによりそのパターンを撮影することによって、観測対象の形状を復元する。
【００２９】
非特許文献１８において最初に提案されたグリッドパターンからの形状復元手法は、付加的な情報無しに形状復元可能なアルゴリズムであった。これに、非特許文献１２、１９において提案されたデブルーイン系列などの周期的なカラーコードを、グリッドパターンに導入することで形状復元の安定性を高める手法が、非特許文献１５において提案されている。本発明においても、デブルーイン系列によるカラーコードを用いるが、本発明では、解の安定性向上に加えて、連続領域の高精度な抽出にも利用する。
【００３０】
図３は、本発明の一実施形態にかかる画像処理システムを示すブロック図である。平行線投影を用いた連続領域の検出による高密度なワンショット形状復元を行う画像処理システム３０１は、観測対象上にパターンを投影する手段であるプロジェクター１ ３０５、プロジェクター２ ３０６、プロジェクターｗ ３０７を含むプロジェクター群３０４と、観測対象を撮影する手段であるカメラ３０３と、カメラ３０３の出力に接続され、カメラ３０３により撮影された画像から観測対象の形状復元を行う画像処理装置３０２とを含む。ただし、ｗは自然数である。
【００３１】
プロジェクター群３０４は、観測対象に対して少なくとも２方向の平行線パターンを投影する。例として、２方向の平行線パターンは、縦方向の平行線パターンと、横方向の平行線パターンとがある。プロジェクター群３０４は、観測対象上にグリッドパターンを形成する。平行線パターンには、デブルーイン系列による周期的なカラーコードをグリッドパターンに導入可能なカラーパターンを用いる。
【００３２】
カメラ３０３は、プロジェクター群３０４により観測対象上に形成されたグリッドパターンを撮影する。限定ではないが、本発明の方法のようなワンショット形状計測の利点は、高速運動する観測対象の形状計測が行える点にあるので、例として、カメラ３０３には、ハイスピードカメラを用いてもよい。
【００３３】
画像処理装置３０２は、カメラ３０３により撮影されたグリッドパターンから、観測対象の形状を復元する。画像処理装置３０２の構成の詳細は、図４を参照して後述する。なお、図３は、画像処理装置３０２の入力と、カメラ３０３の出力とが接続された画像処理システムの例を示しているが、カメラ３０３による撮影と、画像処理装置３０２による形状復元との間にリアルタイム性が要求されないなどの場合、画像処理装置３０２の入力は、カメラ３０３の出力と接続する必要がなく、カメラ３０３により撮影された画像を、記録媒体を介して画像処理装置３０２に供給してもよい。
【００３４】
このような構成により、高密度かつ高速に運動する物体の形状計測を可能にする画像処理システムを提供する。
【００３５】
図４は、本発明の一実施形態にかかる画像処理装置を示すブロック図である。画像処理装置３０２は、各ブロックを制御する中央処理装置４０１と、プログラムおよびデータを記憶するメモリ４０２と、カメラ３０３により撮影された画像を保存する記憶装置４０３と、入力を処理する入力装置４０４と、出力を表示する画面表示装置４０５と、ネットワークに接続するネットワーク接続装置４０６とが、バスを介して相互に接続されている。
【００３６】
中央処理装置４０１は、メモリ４０２に記憶された形状復元のためのプログラムを実行する。中央処理装置４０１は、入力装置４０４から形状復元の要求を受信すると、基本ソフトウェア４１１と、アプリケーション４１２と、データ４１３とによって、記憶装置４０３に保存された画像から、観測対象の形状を復元し、復元した形状を画面表示装置４０５に表示させる。
【００３７】
このような構成により、高密度かつ高速に運動する物体の形状計測を可能にする画像処理装置を提供する。
【００３８】
図５は、本発明の一実施形態にかかる画像処理システムを示すブロック図である。本発明の方法は、最初に、ステップＳ５０１においてカラーコードによる連続領域の抽出を行い、次に、ステップＳ５０２において抽出された領域ごとにピクセルベースのグリッド復元を行う、という大きく２ステップからなる。それぞれのステップについて以下で詳細を述べる。
【００３９】
（色を用いてコード化された平行線パターンからの連続領域の抽出）
図６は、本発明の一実施形態にかかる画像処理方法における連続領域抽出処理を示すフローチャートである。
【００４０】
本発明では、プロジェクターから色を用いてコード化されたパターンが観測対象に投影される。図６を参照して、撮影されたパターンからカメラ画像中の連続領域を抽出する方法を説明する。連続領域を抽出する方法は、以下に挙げるステップからなる。
【００４１】
ステップＳ６０１において、プロジェクター画像の平行線の投影パターンとなる曲線をカメラ画像から検出して、ステップＳ６０２に進む。
【００４２】
ステップＳ６０２において、色を用いてコード化された周期パターンをデコードして、ステップＳ６０３に進む。
【００４３】
ステップＳ６０３において、検出されたコードを補間することにより、周期パターンの位相を各画素について計算して、ステップＳ６０４に進む。
【００４４】
ステップＳ６０４において、位相が連続となる領域を検出して、ステップＳ６０５に進む。
【００４５】
ステップＳ６０５において、各連続領域の位相をアンラップする。
【００４６】
図７は、本発明の一実施形態にかかる画像処理の各ステップにおける結果の例を示す図である。図７（ａ）は、２種類の平行線パターンが投影されている入力画像である。図７（ｂ）は、その一方の平行線集合に対して曲線検出を行った結果である。図７（ｃ）では、各線に割り当てられた周期カラーコードのＩＤが色を使って表されている。そのＩＤを補間することによって各画素に位相を計算した結果が図７（ｄ）となる。その位相情報を用いて連続な領域を検出した結果が図７（ｅ）である。各領域について位相の周期境界において連続するようにアンラップした結果が図７（ｆ）であり、シフト量の１自由度が残っている。この１自由度の曖昧性は、図８、９、１０を参照して後述する方法により解消される。
【００４７】
一例として、赤、青、黄の色をコードとしてコード化された周期パターンがプロジェクターにより観測対象に投影され、投影された周期パターンをデコードすると、観測対象上の赤、青、黄の色のピークが抽出される。さらに、一例として、連続領域の位相をアンラップすると、観測対象上の赤、青、黄の色が取り除かれている、シフト量が未知数の観測対象の投影画像が得られる。
【００４８】
（プロジェクターから投影された平行線パターンの検出）
Ｓ６０１について説明する。１台あるいは複数台のプロジェクターから投影されるパターンは複数の平行線集合となる。最初に、ある平行線の集合を他の集合と区別して、カメラ画像中の曲線として検出を行う。本発明では、曲線の方向と色を用いて区別を行う。
【００４９】
曲線検出の方法は、非特許文献１５で提案されている方法に基づいている。その方法では、画像のＸ軸あるいはＹ軸に沿った輝度値の微分に基づいて、各画素を３種類（正、負、ほぼ０）に分類する。曲線の位置は輝度値のピークとなるので、正、負のラベルに分類された境界として検出される。非特許文献１５では、確率伝搬法（belief propagation）のコスト関数を用いてサブピクセル精度の位置を計算したが、本発明では、後述する曲線の補間によってサブピクセル位置を計算する。従って、本論文では、微分が正（Ｐ）と負（Ｎ）の２種類の領域に分類に単純化し、エネルギー最小化を以下のように定義し、グラフカットで最小化する。
【００５０】
ここで、カメラ画像中でほぼ縦軸に近い向きの曲線を検出すると仮定する。他の方向の曲線を検出する場合には、画像を事前に回転する。また、各線は２つの色を使ってコード化されている。例えば、青とシアンの場合、全ての線はＲＧＢのうち青の要素を持つため、カメラ画像の青プレーンを使って線検出を行う。グラフカットのエネルギー関数は次のように定義する。
【００５１】
【数１】
【００５２】
ここで、Ｖは画素の集合であり、Ｅは４近傍の画素の組の集合である。ｌpは、画素ｐに割り当てられたラベルであり、λは、ユーザ定義のパラメーターである。データ項g（p)は、次のように定義する。
【００５３】
【数２】
【００５４】
ここで、Ｄ（ｐ）は、水平軸に沿った輝度値の微分である。不連続コストｈ（ｌp，ｌp'）は、
【００５５】
【数３】
【００５６】
の向きに依存し、縦軸と平行な場合、ラベルが等しい場合ｈ（ｌp，ｌp'）＝０、そうでなければ、ｈ（ｌp，ｌp'）＝１となる。水平軸と平行な場合は、以下のように定義する。
【００５７】
【数４】
【００５８】
グラフカットを用いてラベルを決定した後、曲線は、ラベルＰとＮの境界として検出される。
【００５９】
（周期カラーパターンのデコード）
Ｓ６０２について説明する。各線は、デブルーイン系列に基づいた周期パターンでコード化されている。この系列は、色数ｑとコード長ｎとにより定義され、隣接するｎ個の曲線の色が決定されれば、周期qnのパターンのうちどの線か決定することができるものである。本明細書において、ｑ＝２、ｎ＝３を用いる。
【００６０】
この周期コードを、非特許文献１５で提案された手法に基づいて検出する。非特許文献１５では縦横のパターンを検出して得た、交点情報に基づいてグラフ構造を作り、確率伝搬法を用いて周期コードを決定した。それに対し本発明では、検出した縦方向の曲線と画像の横軸に沿った線でグラフを作り、異なる平行線集合に属する曲線は別々にデコードを行う。従って、平行線集合の数が増えた場合でも手続きを変更することなく適用することができる。
【００６１】
（周期パターンの位相計算）
Ｓ６０３について説明する。１周期に含まれる線の数はｑn＝８本であるので、曲線のＩＤは０から７に割り当てられる。これらは整数値であり、曲線上の画素に割り当てられる。曲線上にない画素の値は、補間によって計算することができ、周期関数の位相であると考えることができる。
【００６２】
本発明では、縦方向の曲線集合に対し、横軸に沿った輝度値の変化を見た場合、正弦関数になっていると仮定する。従って、２つの曲線の間の位相情報を、複素ガボールフィルターを使って計算することができる。２つの曲線間がＬ画素である場合、水平軸に沿って波長Ｌの１次元ガボールフィルターを適用すると、その結果として複素数ｚが得られ、その位相ψはψ＝ａｒｃｔａｎ（Ｒｅ（ｚ）／Ｉｍ（ｚ））として計算することができる。２つの曲線のＩＤをｋ、（ｋ＋１）ｍｏｄ ｑnとすると、周期パターンの位相φはφ＝ｋ＋ψ／２πとなる。この計算は曲線上の点についても行い、曲線位置をサブピクセル精度で計算する。
【００６３】
（連続領域の検出と位相のアンラップ）
Ｓ６０４、Ｓ６０５について説明する。各画素の位相を計算した後、位相が連続する領域を抽出し領域分割する。４近傍において隣接する２つの画素が次の式を満たす場合、それらの画素の位相は連続していると判断する。
【００６４】
【数５】
【００６５】
ここで、ｄ＝φ1−φ2であり、φ1とφ2は、それぞれの画素の位相、τは、ユーザ定義の閾値である。領域分割のアルゴリズムは、２パスラベリングアルゴリズムに基づいている。最初のパスでは、式（４）を満たす隣接画素を同じ領域ラベルとして割り当て、異なるラベルが同一のものを表しているかどうかの情報を保持しておく。次のパスでは、ラベルの同一性情報を用いて、ラベルの再割り当てを行う。また、領域分割後の面積が閾値よりも小さい場合、ノイズであると判断し、後の処理を行う対象から取り除く。
【００６６】
連続領域を抽出した後、各領域において位相のアンラップを行う。その結果、各領域の画素は、プロジェクター画像の画素との対応関係を得る。ただし、大域的な位相を決定するためのシフト量が未知数として残っている。そのシフト量を後述する方法で決定すると、対応点が一意に決定でき、三角測量によって３次元位置が復元される。そこで以下では、アンラップされた位相を相対プロジェクター座標と呼ぶことにする。
【００６７】
最後に、相対プロジェクター座標を、プロジェクター座標における平行線間の距離を用いてスケーリングする。これにより、相対プロジェクター座標のスケールがプロジェクター画像の座標系と一致する。
【００６８】
（連続領域を用いたグリッドベース３次元形状復元の定式化）
グリッドベース３次元形状復元では、カメラ画像中の曲線とプロジェクター画像中の直線との対応を推定する。非特許文献１８の従来の方法では、それぞれの曲線についてパラメーターを推定するため、推定すべきパラメーター数は曲線の数に等しい。それに対して本発明では、上述の画像処理によってグリッドパターンを用いて連続領域を抽出しているため、未知数は、各領域に対して、たかだか１つである。以下に、連続領域を用いたパラメーター推定の定式化について説明する。
【００６９】
（１台のプロジェクターを用いる場合の定式化）
まず１台のプロジェクターを用いる場合について述べる。この場合、プロジェクター画像の縦、横軸に沿った２種類の平行線集合が投影される。
【００７０】
図８は、本発明の一実施形態にかかる１台のプロジェクターを用いる場合の画像処理の相対プロジェクター座標の例を示す図である。画像中のある画素において、縦・横のパターンの領域の両方が検出されているとすると、その座標（ｘc，ｙc）と検出した相対プロジェクター座標（ｕ，ｖ）とには、次のエピポーラ拘束が成り立つ。ここで、ｕとｖは、それぞれ縦・横の曲線から計算された相対プロジェクター座標である。
【００７１】
【数６】
【００７２】
ここで、Ｆはカメラとプロジェクター間の基礎行列、ｓ、ｔは縦・横のパターンについてのシフトパラメータである。この式の中で未知変数はｓ、ｔのみであるため、式（５）はｓ、ｔに関する１次式となる。上述の拘束式は（ｕ，ｖ）が得られた点の数だけ立てられ、パラメーターｓ、ｔは同じ領域内では共通となる。縦・横の曲線から計算された領域の数がそれぞれＮs、Ｎtの場合、以下の連立方程式が得られる。
【００７３】
【数７】
【００７４】
ここで、Ａは係数行列、ｂは定数項である。変数の数は、Ｎs＋Ｎtとなり、カメラ画像中の曲線の数と比べると非常に小さくなる。
【００７５】
Ａが非退化であれば、一意に解を求められる。Ａの各行はプロジェクター座標（ｕ＋ｓ，ｖ＋ｔ）におけるエピポーラ線であるので、それらが全て平行でなければＡは非退化である。非特許文献１８の従来の定式化では、線形方程式の解には１自由度が残った。そのため、投影パターンの線間隔をランダムにし、その線間隔が既知であるという知識を使って、投影パターンと推定したパターンのマッチングを行い、残った自由度を決定する、というステップが必要であった。それに対し本発明では、連続領域を検出する際に、投影パターンの間隔が一定という知識を使って位相を計算するため、線形解法のみで一意に解を決定することが可能である。
【００７６】
上記式（５）のエピポーラ拘束が成り立つことは、縦・横のパターンから奥行きを計算すると、それらが一致することと等しい。よって、エピポーラ拘束を、縦・横のパターンから計算された奥行きが等しいという条件で代用することができる。
【００７７】
（複数のプロジェクターを用いる場合の定式化）
次に、グリッドベース３次元形状復元のうち、別々のプロジェクターから平行線パターンを投影する非特許文献２０の手法の場合を考える。以下では、２台のプロジェクター用いた場合について定式化を行う。
【００７８】
図９は、本発明の一実施形態にかかる２台のプロジェクターを用いる場合の画像処理の相対プロジェクター座標の例を示す図である。カメラ座標（ｘc，ｙc）に対応するプロジェクター１、２の点を（ｕ＋ｓ，ｓ’)、（ｖ＋ｔ、ｔ’）とすると、エピポーラ拘束は、次のように表される。
【００７９】
【数８】
【００８０】
この定式化では、それぞれのプロジェクターはプロジェクター画像の縦軸に沿った平行線パターンを投影すると仮定する。異なる場合は、プロジェクター画像点の表現を線の向きに合わせて変更する。対応点は３つのエピポーラ線によって定義される。領域検出によって得られたｕ、ｖを用いると、ｓ’、ｔ’は式（７）、式（８）から、それぞれｓ，ｔの１次式で表される。それらの１次式を式（９）に代入すると、ｓｔ、ｓ、ｔの項、および定数項から構成される式となる。
【００８１】
その式（９）はｓｔの項があるため、このままでは線形方程式ではない。そこで新しい変数ｒ＝ｓｔを導入することにより、ｒ、ｓ、ｔに関する１次連立方程式とする。すると式（６）と同様にｒ、ｓ、ｔは全ての点に関する拘束式を用いて求めることができる。
【００８２】
非特許文献２０の従来の方法では、線が等間隔であるという拘束条件を追加し、計算を安定化させる方法が提案されていた。それに対し本発明では、領域検出においてこの拘束条件を利用する、という点が異なる。また、従来の方法では、この追加条件を利用する際にカメラ配置に制約が存在したが、本発明では、カメラ配置に制約なく、線形方程式によって解を求めることが可能となった。
【００８３】
この定式化は３台以上のプロジェクターからパターンを投影する場合にも拡張することができる。ｍ台のプロジェクターを用いる場合、そのうち２つを選んで上記の拘束式を作ることができる。従って、mＣ2通りの組み合わせから連立方程式を作る。
【００８４】
上記の線型解法では、ｒ＝ｓｔという制約を省いて解を求めるが、解がその制約を満たさない場合がある。特に、３つ以上のプロジェクターを用いてパターンを投影する場合にその可能性が高い。そのため、線形方程式の解を初期解として、式（９）の非線形最小化により解を修正することを行う。
【００８５】
（隣接フレーム間での領域の対応付け）
図１０は、本発明の一実施形態にかかる隣接フレーム間における領域の対応付けの例を示す図である。連続して撮影された複数のフレーム（画像）を用いて、同時に形状復元する手法について説明する。隣接する２フレームにおいて、それぞれのフレームで検出した領域の相対プロジェクター座標の関係を得ることができれば、同じシフト量を用いて、形状復元を行うことができ、推定するパラメーターの削減と、サンプル点の増加による計算の安定化とを図ることができる。
【００８６】
カメラとプロジェクターとの相対位置は固定しているため、隣接フレーム間で対応を見つけるには、エピポーラ線上に沿って探索すればよい。図１０において、点ｐの対応する点の候補は、点ｐのエピポーラ線上にあるｐ’とｐ”となる。投影された各線には周期ＩＤが計算されており、補間によって各画素点には周期パターンの位相が計算されている。従って、エピポーラ線上にある点のうちで、その周期位相が一致する一致する点を対応点とする。その対応点の相対プロジェクター座標の差をｄとすると、２フレームのシフト量ｓ1、ｓ2は、ｓ2＝Ｓ1＋ｄと表せ、ｓ2を推定パラメーターから取り除くことができる。
【００８７】
位相が一致する点が複数ある場合や、位相検出エラーにより間違った点が対応づけられる場合がある。同一領域内では、フレーム間での対応点の相対プロジェクター座標の差が一定となるべきことから、相対プロジェクター座標の差ｄについて投票を行い、もっとも多くの画像点の投票を得た座標差ｄを採用する。
【００８８】
（整数最小二乗法を用いた解法）
推定したプロジェクター座標（ｕ＋ｓ、ｖ＋ｔ）は領域検出によって計算された周期パターンの位相と一致するはずであるが、カメラ校正や画像処理の検出誤差のため、線形方程式で求めた解と検出された位相は必ずしも一致しない。そこで、推定結果と検出された位相が一致した解を得るために、まず変数を下記のように変換する。
【００８９】
【数９】
【００９０】
ここで、Ｌはプロジェクター画像上での線間隔であり、本明細書では、５または１０画素である。新たな変数
【００９１】
【数１０】
【００９２】
、
【００９３】
【数１１】
【００９４】
を用いた拘束式では、これらの変数が整数の場合、位相が一致した解が得られる。
【００９５】
これは解が整数である条件の下で線形方程式を解く、という整数最小二乗法（integer least square，ILS）の問題とみなすことができる。この問題は、ＧＰＳの計測において発生する問題であることが非特許文献２１により知られている。そこで、本発明では、ＩＬＳ解法の１つである非特許文献２２のＭＩＬＥＳを用いて、
【００９６】
【数１２】
【００９７】
、
【００９８】
【数１３】
【００９９】
の整数解を求める。
【０１００】
本実施形態によれば、カラーコードによる連続領域の抽出を行い、抽出された領域ごとにピクセルベースのグリッド復元を行うことができ、高密度かつ高速に運動する物体の形状計測が可能となる。
【０１０１】
（実験）
実験においては、単一あるいは複数のプロジェクターと１台のカメラからなるシステムに対して、本発明の方法の定性的・定量的な精度評価および動体の形状計測を行った。
【０１０２】
本発明の方法の貢献は、次の通りとなる。
（１）グラフカット、ガボールフィルター、デブルーイン系列を用いた周期パターンの位相推定と連続領域検出の実現
（２）幾何制約（エピポーラ拘束）を用いた位相の曖昧性を解決する手法の定式化の提案
（３）求める解を安定化するための整数解法の導入
（４）位相シフトなどで問題となる大域的な位相推定の新たな解法としての意味づけ
【０１０３】
実験ではまず、シミュレーションによって本発明の方法を評価する。レイトレーシングツールを使い、観測対象と光源をシミュレートし、仮想的なカメラ画像を生成する。観測対象としては、非特許文献２３のスタンフォード大学の形状モデルデータベースにあるウサギのモデルを用いた。
【０１０４】
図１１は、本発明の一実施形態にかかる画像処理の結果および誤差の例を示す図である。１台のプロジェクターの場合の入力画像は図７（ａ）であり、プロジェクターの画像軸に沿った２種類の平行線集合が対象に投影されている。一方の平行線集合に対する領域検出の結果は図７（ｅ）および（ｆ）であり、もう一方の平行線集合に対知る結果は図１１（ａ）および（ｂ）である。検出された領域の数はそれぞれ４と５である。従って式（６）の変数の数は９となり、ノンパラメトリックな３次元形状の復元における対応点探索問題としては非常に小さい数である。復元した形状を図１１（ｃ）に示す。
【０１０５】
本発明の方法の精度を評価するために、推定されたプロジェクター座標と、その真値を比較した。図１１（ｄ）は、その誤差を明るさで表したものであり、明るい画素ほど誤差が大きいことを示す。これより、オクルーディング境界に近い部分では誤差が大きいことが分かる。観測対象上の全ての画素を用いた場合、プロジェクター座標の平方二乗平均誤差（root-mean-square error，ＲＭＳ誤差）は１．０２画素となり、オクルーディング境界を除いた場合では、０．１７５画素であった。従って、カラーパターンから位相を計算するために十分表面がカメラとプロジェクターの方を向いている場合、サブピクセル精度で対応の計算が可能であることが確認できた。
【０１０６】
図１１（ｅ）は、非特許文献１５において提案された線検出法を用い、線間を線型補間して得たモデルである。単純な線型補間では形状が滑らかではないというアーチファクトが見られる。図１１（ｆ）は、プロジェクター座標の真値との比較であり、カメラから傾いた表面部分では本発明の方法と比べて、誤差が大きくなっていることが分かる。ＲＭＳ誤差は全ての画素を用いた場合、オクルーディング境界を除いた場合でそれぞれ、１．０９画素、０．１９８画素となり、本発明の方法が１２％程度良い結果となった。
【０１０７】
図１２は、本発明の一実施形態にかかる２台および３台のプロジェクターを用いた場合の入力画像の例を示す図である。複数のプロジェクターを用いた３次元形状復元について評価を行う。図１２（ａ）および（ｂ）は、それぞれ２台および３台のプロジェクターを用いた場合の入力画像である。その内１つのプロジェクターは、１台のプロジェクターを用いた場合と共通の配置である。カラーコードが正しく検出された場合、対応点誤差は主に校正誤差が原因となる。そこで、校正誤差としてカメラの焦点距離に誤差を加え、対応点の安定性を評価した。
【０１０８】
図１３は、本発明の一実施形態にかかる対応点のＲＭＳ誤差を１、２、３台のプロジェクターの場合について比較した例を示す図である。図１３は、対応点のＲＭＳ誤差を１、２、３台のプロジェクターの場合について比較したものである。この実験ではカメラの画角は約５６度であり、焦点距離の真値に対して、１、２、３、５％の誤差を加えて評価した。この結果より、３台のプロジェクターを用いた場合、ほとんどの領域について正しく周期が推定されており、最も安定していることが分かる。これは、式（７）、（８）、（９）を解くために必要な情報が冗長に与えられているためであると考えられる。
【０１０９】
２台のプロジェクターを用いた場合では、図１３（右）に示すように、校正誤差が２％より大きい場合では、周期の推定に誤差が発生する場合があった。同様に１台のプロジェクターを用いた場合、１％よりも焦点距離の校正誤差が大きい場合に周期推定に誤差が発生した。
【０１１０】
平行線パターンは、それぞれ３次元空間中で平面をなし、ある１本の直線を軸として共有する（例えば、非特許文献１８参照。）。１台と２台のプロジェクターを用いた場合の違いは、その軸が交差するか、ねじれの位置にあるかの違いである。非特許文献２０において議論されているように、軸がねじれの位置にある場合、線形解の安定性が改善する。この点が上記の結果において、２台のプロジェクターの場合が良い結果となった理由であると考えられる。この点について、さらに詳しい分析を行うことは今後の課題である。
【０１１１】
次に、実際のカメラとプロジェクターを使って本発明の方法の実験を行う。導入部で述べたように、ワンショット形状計測の利点は、高速に動く対象の形状計測に適しているという点である。この実験では観測対象として、水しぶき、波打つ布、変形する顔の皮膚を選んだ。１台のプロジェクターを用いてパターンを投影し、入力画像はハイスピードカメラを用いて６０〜２５０コマ／秒で撮影した。カメラとプロジェクターの画像サイズは、それぞれ１０２４×１０２４、１０２４×７６８画素である。
【０１１２】
図１４は、本発明の一実施形態にかかる３つのデータに関する入力画像および結果の４フレームの例を示す図である。３つのデータについて、入力画像と結果のうち４フレームを図１４に示す。図１４（ａ）の水しぶきの場合、白濁した水を用い、表面でパターンが反射するようにした。本発明の方法によって、ボールが水に落ちた際の水しぶきの形状計測を行うことに成功した。
【０１１３】
図１４（ｂ）の波打つ布を計測した場合では、布表面の波および折り目を計測することができた。図１４（ｃ）の頬を手で叩いたシーンを観測した場合、復元した結果からその変形を観測することができる。本発明の方法の利点は、観測対象の動きが高速でも計測可能であり、また表面にテクスチャがない場合でも適用可能であることである。この実験では計算時間はＩｎｔｅｌ（登録商標） Ｘｅｏｎ（登録商標）２．４ＧＨｚを用いて、それぞれ１フレームあたり５．００、６．１５、３．１５秒であった。
【０１１４】
（まとめ）
本明細書では、グリッドパターンを投影した観測対象の１枚の画像から高密度な形状復元を行う手法について説明した。本発明の方法では、周期的なカラーパターンによってコード化された平行線集合を用い、その密な位相情報を計算することによって、連続な領域を検出する。形状復元に必要なパラメーターは各領域にたかだか１つであるため、パラメーター数を非常に小さくすることができる。カメラ−プロジェクター間の対応を決定する方法は、エピポーラ幾何に基づいた連立方程式に定式化され、整数最小二乗法によって解を求める。
【０１１５】
この定式化は、大域的な位相推定問題に対する新たな解法と位置づけられる。この定式化を１台および複数のプロジェクターを用いる場合の両方について行い、プロジェクター台数が対応点の推定精度にどのような影響を与えるかについて評価した。実際のカメラとプロジェクターを用いて観測対象の形状計測を行い、高速に動く物体の高密度な形状計測を実現した。今後の研究においては、実時間復元に向けて計算時間の改善を目指す。
【産業上の利用可能性】
【０１１６】
本発明は、高速に動く対象の形状計測に利用することができる。
【符号の説明】
【０１１７】
１０１ カメラ
１０２ プロジェクター
１０３ 観測対象
２０１ カメラ
２０２ プロジェクター１
２０３ プロジェクター２
２０４ 観測対象
【技術分野】
【０００１】
本発明は、画像処理方法および装置に関し、より詳細には、平行線投影を用いた連続領域の検出による高密度なワンショット形状復元を行う画像処理方法および装置に関する。
【背景技術】
【０００２】
従来、プロジェクターとカメラとを用いて形状復元する方法は、カメラにより撮影された画像から、プロジェクターにより観測対象上に投影されたパターン同士の交点を取得する。取得された交点を含む２つの平面の制約条件と、プロジェクターとカメラとの位置関係から取得される制約条件とを用いて自由度を含んでいる解を算出して、１次元探索により自由度が解消された解を取得することによって、形状復元している（例えば、特許文献１参照。）。
【０００３】
さらに、グリッドベース３次元形状復元方法において、別々のプロジェクターから平行線パターンを投影して、投影される平行線が等間隔であるという拘束条件を追加することにより、計算を安定化させる方法がある。
【０００４】
固定されたパターン光を投影し、１枚の画像から形状復元を行うアクティブ形状計測法（ワンショット形状計測）は、他の方法と比べて独自の利点を持っている。すなわち、観測対象が非常に速い動きを持つ場合でも、カメラのフレームレートとシャッタースピードを上げるだけで形状計測が行えるという点である。例えば、ダイナミックに動く流体や、爆発といった非常に速い動きで利用できる可能性がある。このため、これまで多くの研究
が行われ、実用化が図られてきた（例えば、非特許文献１参照。）。
【０００５】
近年、グリッドパターンベースのワンショット形状計測法が提案されている。相互に接続されたグリッド線に位置情報をコード化することにより、精度と安定性において良い結果が得られている。
【０００６】
プロジェクターとカメラを用いて形状復元する手法はこれまで広く研究されてきた（例えば、非特許文献２参照。）。プロジェクター−カメラ形状計測システムにおける主たる問題は、どのように対応点を得るか、ということである。その解決法は大きく分けて時間コード化法と空間コード化法の２つに分けられる。
【０００７】
時間コード化法は、実装が容易、高精度、高密度、安定ということから、これまで良く用いられてきた方法である（例えば、非特許文献３〜５参照。）。近年、高速に形状を計測する手法が提案されており、ＤＬＰプロジェクターと高速度カメラを用いる手法がある（例えば、非特許文献６、７参照。）。さらに、時間・空間エンコードを利用して投影するパターンを削減する方法もある（例えば、非特許文献８、９参照。）。また、プロジェクターを用いてパターンを変えながら観測対象に投影して対象表面にテクスチャを与え、パッシブなステレオ形状計測法によって３次元形状を復元する方法がある（例えば、非特許文献１０、１１参照。）。
【０００８】
これに対し空間コード化法は単一の画像のみを用いるため、高速に動く対象の計測に適している（例えば、非特許文献１２、１３参照。）。一方、この方法では、複雑なパターンや多数の色を用いて幾何的な情報をコード化する必要がある。近年、パターンが複雑になるという問題に対し、単純なグリッドパターンを用いる手法が提案されている（例えば、非特許文献１４〜１６参照。）。この方法では、線の交点の接続性を用いて幾何情報を埋め込んでいる。
【０００９】
また、従来、位相シフトによって形状復元する手法では、繰り返し現れる同じ位相に対して、グレイコードや低周波パターン、ステレオカメラなど追加的な情報を用いることにより、推定した位相の曖昧性を解決していた（例えば、非特許文献６、１７参照。）。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００９−３００２７７号公報
【非特許文献】
【００１１】
【非特許文献１】Microsoft、“Xbox 360 Kinect”、［online］、Microsoft、[平成２３年７月６日検索]、インターネット＜URL：http://www.xbox.com/en-US/kinect＞
【非特許文献２】J. Batlle, E. Mouaddib and J. Salvi: “Recent progress in coded structured light as a technique to solve the correspondence problem: a survey”, Pattern Recognition, 31, 7, pp. 963-982 (1998)
【非特許文献３】D. Caspi, N. Kiryati and J. Shamir: “Range imaging with adaptive color structured light”, IEEE Trans. on PAMI, 20, 5, pp. 470-480 (1998)
【非特許文献４】S. Inokuchi, K. Sato and F. Matsuda: “Range imaging system for 3-D object recognition”, ICPR, pp. 806-808 (1984)
【非特許文献５】K. L. Boyer and A. C. Kak: “Color-encoded structured light for rapid active ranging”, IEEE Trans. on PAMI, 9, 1, pp. 14-28 (1987)
【非特許文献６】T.Weise, B. Leibe and L. V. Gool: “Fast 3D scanning with automatic motion compensation”, Proc. IEEE Conference on Computer Vision and Pattern Recognition, pp. 1-8 (2007)
【非特許文献７】S. Narasimhan, S. Koppal and S. Yamazaki: “Temporal dithering of illumination for fast active vision”, European Conference on Computer Vision, Vol. 4, pp. 830-844 (2008)
【非特許文献８】O. Hall-Holt and S. Rusinkiewicz: “Stripe boundary codes for real-time structured-light range scanning of moving objects”, ICCV, Vol. 2, pp. 359-366 (2001)
【非特許文献９】M. Young, E. Beeson, J. Davis, S. Rusinkiewicz and R. Ramamoorthi: “Viewpoint-coded structured light”, IEEE Computer Society Conference onComputer Vision and Pattern Recognition (CVPR) (2007)
【非特許文献１０】J. Davis, D. Nehab, R. Ramamoorthi and S. Rusinkiewicz: “Spacetime stereo: A unifying framework for depth from triangulation”, IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), 27, 2, pp. 296-302 (2005)
【非特許文献１１】L. Zhang, N. Snavely, B. Curless and S. M. Seitz: “Spacetime faces: High-resolution capture for modeling and animation”, ACM Annual Conference on Computer Graphics, pp. 548-558 (2004)
【非特許文献１２】C. Je, S. W. Lee and R.H. Park: “High-contrast color-stripe pattern for rapid structured-light range imaging”, ECCV, Vol. 1, pp. 95-107 (2004)
【非特許文献１３】P. Vuylsteke and A. Oosterlinck: “Range image acquisition with a single binary-encoded light pattern”, IEEE Trans. Pattern Anal. Mach. Intell., 12, 2, pp. 148-164 (1990)
【非特許文献１４】H. Kawasaki, R. Furukawa, R. Sagawa and Y. Yagi: “Dynamic scene shape reconstruction using a single structured light pattern”, CVPR, pp. 1-8 (2008)
【非特許文献１５】R. Sagawa, Y. Ota, Y. Yagi, R. Furukawa, N. Asada and H. Kawasaki: “Dense 3d reconstruction method using a single pattern for fast moving object”, ICCV (2009)
【非特許文献１６】A. O. Ulusoy, F. Calakli and G. Taubin: “One-shot scanning using de bruijn spaced grids”, The 7th IEEE Conf. 3DIM (2009)
【非特許文献１７】J. G¨uhring: “Dense 3-d surface acquisition by structured light using off-the-shelf components”, Videometrics and Optical Methods for 3D Shape Measurement, Vol. 4309, pp. 220-231 (2001)
【非特許文献１８】R. Furukawa, H. Kawasaki, R. Sagawa and Y. Yagi: “Shape from grid pattern based on coplanarity constraints for one-shot scanning”, IPSJ Transaction on Computer Vision and Applications, 1, pp. 139-157 (2009)
【非特許文献１９】J. Salvi, J. Batlle and E. M. Mouaddib: “A robust-coded pattern projection for dynamic 3D scene measurement”, Pattern Recognition, 19, 11, pp. 1055-1065 (1998)
【非特許文献２０】H. Kawasaki, R. Furukawa, R. Sagawa, Y. Ohta, K. Sakashita, R. Zushi, Y. Yagi and N. Asada: “Linear solution for oneshot active 3d reconstruction using two projectors”, 3DPVT (2010)
【非特許文献２１】P. Teunissen: “The least-squares ambiguity decorrelation adjustment: a method for fast GPS ambiguity estimation”, Journal of Geodegy, 70, pp. 65-82 (1995)
【非特許文献２２】X.-W. Chang and T. Zhou: “MILES: MATLAB package for solving Mixed Integer LEast Squares problems”, GPS Solutions, 11, 4, pp. 289-294 (2007)
【非特許文献２３】“The Stanford 3D Scanning Repository”、［online］、平成２２年１２月２２日、スタンフォード大学、形状モデルデータベース、[平成２３年７月６日検索]、インターネット＜URL：http://www.graphics.stanford.edu/data/3Dscanrep/＞
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、特許文献１の方法は、グリット線の交点のみを用いて復元の計算を行っていたため、連続領域内にある全ての画素を用いて復元することができず、密度と安定性とを向上させることができないという問題があった。
【００１３】
また、特許文献１の方法は、縦・横のグリッド線が交点を持たない領域において、連続的な領域として検出することができないため、復元可能な領域を大幅に増やすことができず、計算を安定化させることができないという問題もあった。
【００１４】
非特許文献１の技術は、モーションキャプチャやジェスチャ認識を目的としているため、原理的に精度向上が難しく、検査やモデリングなどの用途には向いていないという問題があった。
【００１５】
グリッドパターンベースのワンショット形状計測法は、検出されたグリッド線の形状のみを復元する手法のため、その形状の解像度はグリッド線の間隔によって決まり、復元される形状の解像度が低くなるという問題がある。また、グリッド線の接続が少ない場合は正しく復元されないため、最終的に復元される形状も減少するという問題もあった。
【００１６】
非特許文献３〜５の時間コード化法は、異なるパターンを観測対象に投影する必要があるため、高速に運動する対象の形状計測には向かないという問題がある。非特許文献６〜９の方法は、観測対象の動く速度の制限や、剛体であるという仮定が必要であるという問題もある。非特許文献１０、１１の方法は、厳密には構造化光投影法ではないが、対応点を一意に決定するために複数のパターンを必要とするため、高速に動く対象の形状計測には適当ではないという問題もあった。
【００１７】
非特許文献１２、１３の方法は、複雑なパターンや多数の色を用いて幾何的な情報をコード化する必要があるという問題があった。空間コード化によって一意に対応点を決めるためには、そのコードのサイズが大きくなる。そのようなパターンはテクスチャや不連続な形状、表面の傾きによるパターンの圧縮などによる影響を受けやすい。従って、パターンの密度が低下することが避けられず、復元される形状が疎になる。非特許文献１４〜１６の方法は、投影された線がカメラ画像中で曲線として検出される必要があるため、グリッド線の間隔が画素幅の数倍程度に広くなり、１画素単位での高密度化が困難であるという問題もあった。
【００１８】
本発明は、このような問題に鑑みてなされたもので、その目的とするところは、高密度かつ高速に運動する物体の形状計測を可能にするための、画像処理方法および装置を提供することにある。
【００１９】
また、非特許文献６、１７の従来手法は、推定した位相の曖昧性を解決する際、大域的な位相推定のために複数の画像が必要であるという問題もあった。本発明は、幾何情報（エピポーラ拘束）を用いて位相の曖昧性を解決して、１枚の画像から２つの位相画像を生成するだけで形状復元する。
【課題を解決するための手段】
【００２０】
本発明は、このような目的を達成するために、本発明は、投影装置により観測対象上に投影される、周期パターンからなる投影パターンを撮影装置により撮影し、投影パターンを含む入力画像から形状復元を行う画像処理方法において、投影装置より投影された投影パターンを撮影装置により撮影された入力画像から検出するステップと、検出された投影パターンの相対位相を検出するステップと、検出された投影パターンの絶対位相を、基準位置からの相対的な位相と、基準位置の絶対的な位相との和により表すと、複数の投影パターンの絶対位相により計算した奥行きが一致するという第１条件が検出された投影パターンの各画素について成立することに基づき基準位置の絶対的な位相を計算するステップとを備えたことを特徴とする。
【００２１】
この構成によれば、高密度かつ高速に運動する物体の形状計測が可能となる。
【発明の効果】
【００２２】
以上説明したように、本発明によれば、投影装置より投影された投影パターンを撮影装置により撮影された入力画像から検出するステップと、検出された投影パターンの相対位相を検出するステップと、検出された投影パターンの絶対位相を、基準位置からの相対的な位相と、基準位置の絶対的な位相との和により表すと、複数の投影パターンの絶対位相により計算した奥行きが一致するという第１条件が検出された投影パターンの各画素について成立することに基づき基準位置の絶対的な位相を計算するステップとを備えたので、高密度かつ高速に運動する物体の形状計測が可能となる。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施形態にかかる１カメラ・１プロジェクターのシステムを示す構成図である。
【図２】本発明の一実施形態にかかる１カメラ・２プロジェクターのシステムを示す構成図である。
【図３】本発明の一実施形態にかかる画像処理システムを示すブロック図である。
【図４】本発明の一実施形態にかかる画像処理装置を示すブロック図である。
【図５】本発明の一実施形態にかかる画像処理方法を示すフローチャートである。
【図６】本発明の一実施形態にかかる画像処理方法における連続領域抽出処理を示すフローチャートである。
【図７】本発明の一実施形態にかかる画像処理の各ステップにおける結果の例を示す図である。
【図８】本発明の一実施形態にかかる１台のプロジェクターを用いる場合の画像処理の相対プロジェクター座標の例を示す図である。
【図９】本発明の一実施形態にかかる２台のプロジェクターを用いる場合の画像処理の相対プロジェクター座標の例を示す図である。
【図１０】本発明の一実施形態にかかる隣接フレーム間における領域の対応付けの例を示す図である。
【図１１】本発明の一実施形態にかかる画像処理の結果および誤差の例を示す図である。
【図１２】本発明の一実施形態にかかる２台および３台のプロジェクターを用いた場合の入力画像の例を示す図である。
【図１３】本発明の一実施形態にかかる対応点のＲＭＳ誤差を１、２、３台のプロジェクターの場合について比較した例を示す図である。
【図１４】本発明の一実施形態にかかる３つのデータに関する入力画像および結果の４フレームの例を示す図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照しながら本発明の実施形態について詳細に説明する。
【００２５】
（概要およびシステム構成）
図１、２に示すように、本発明のシステムは、１台のカメラと、１台あるいは複数のプロジェクターから構成される。カメラおよびプロジェクターは校正済みであり、内部・外部パラメーターは既知であると仮定する。また、本発明の方法は、固定パターンをプロジェクターから投影するため、カメラ−プロジェクター間の同期は不要である。
【００２６】
図１は、本発明の一実施形態にかかる１カメラ・１プロジェクターのシステムを示す構成図である。１台のプロジェクターを用いる場合、プロジェクターは画像の縦・横軸に沿った２種類の平行線パターンを投影する。
【００２７】
図２は、本発明の一実施形態にかかる１カメラ・２プロジェクターのシステムを示す構成図である。２台のプロジェクターを用いる場合、それぞれのプロジェクターは、１種類の平行線パターンを投影する。
【００２８】
図１、２のどちらの場合でも、投影されたパターンは、観測対象の表面上でグリッドパターンを作り、カメラによりそのパターンを撮影することによって、観測対象の形状を復元する。
【００２９】
非特許文献１８において最初に提案されたグリッドパターンからの形状復元手法は、付加的な情報無しに形状復元可能なアルゴリズムであった。これに、非特許文献１２、１９において提案されたデブルーイン系列などの周期的なカラーコードを、グリッドパターンに導入することで形状復元の安定性を高める手法が、非特許文献１５において提案されている。本発明においても、デブルーイン系列によるカラーコードを用いるが、本発明では、解の安定性向上に加えて、連続領域の高精度な抽出にも利用する。
【００３０】
図３は、本発明の一実施形態にかかる画像処理システムを示すブロック図である。平行線投影を用いた連続領域の検出による高密度なワンショット形状復元を行う画像処理システム３０１は、観測対象上にパターンを投影する手段であるプロジェクター１ ３０５、プロジェクター２ ３０６、プロジェクターｗ ３０７を含むプロジェクター群３０４と、観測対象を撮影する手段であるカメラ３０３と、カメラ３０３の出力に接続され、カメラ３０３により撮影された画像から観測対象の形状復元を行う画像処理装置３０２とを含む。ただし、ｗは自然数である。
【００３１】
プロジェクター群３０４は、観測対象に対して少なくとも２方向の平行線パターンを投影する。例として、２方向の平行線パターンは、縦方向の平行線パターンと、横方向の平行線パターンとがある。プロジェクター群３０４は、観測対象上にグリッドパターンを形成する。平行線パターンには、デブルーイン系列による周期的なカラーコードをグリッドパターンに導入可能なカラーパターンを用いる。
【００３２】
カメラ３０３は、プロジェクター群３０４により観測対象上に形成されたグリッドパターンを撮影する。限定ではないが、本発明の方法のようなワンショット形状計測の利点は、高速運動する観測対象の形状計測が行える点にあるので、例として、カメラ３０３には、ハイスピードカメラを用いてもよい。
【００３３】
画像処理装置３０２は、カメラ３０３により撮影されたグリッドパターンから、観測対象の形状を復元する。画像処理装置３０２の構成の詳細は、図４を参照して後述する。なお、図３は、画像処理装置３０２の入力と、カメラ３０３の出力とが接続された画像処理システムの例を示しているが、カメラ３０３による撮影と、画像処理装置３０２による形状復元との間にリアルタイム性が要求されないなどの場合、画像処理装置３０２の入力は、カメラ３０３の出力と接続する必要がなく、カメラ３０３により撮影された画像を、記録媒体を介して画像処理装置３０２に供給してもよい。
【００３４】
このような構成により、高密度かつ高速に運動する物体の形状計測を可能にする画像処理システムを提供する。
【００３５】
図４は、本発明の一実施形態にかかる画像処理装置を示すブロック図である。画像処理装置３０２は、各ブロックを制御する中央処理装置４０１と、プログラムおよびデータを記憶するメモリ４０２と、カメラ３０３により撮影された画像を保存する記憶装置４０３と、入力を処理する入力装置４０４と、出力を表示する画面表示装置４０５と、ネットワークに接続するネットワーク接続装置４０６とが、バスを介して相互に接続されている。
【００３６】
中央処理装置４０１は、メモリ４０２に記憶された形状復元のためのプログラムを実行する。中央処理装置４０１は、入力装置４０４から形状復元の要求を受信すると、基本ソフトウェア４１１と、アプリケーション４１２と、データ４１３とによって、記憶装置４０３に保存された画像から、観測対象の形状を復元し、復元した形状を画面表示装置４０５に表示させる。
【００３７】
このような構成により、高密度かつ高速に運動する物体の形状計測を可能にする画像処理装置を提供する。
【００３８】
図５は、本発明の一実施形態にかかる画像処理システムを示すブロック図である。本発明の方法は、最初に、ステップＳ５０１においてカラーコードによる連続領域の抽出を行い、次に、ステップＳ５０２において抽出された領域ごとにピクセルベースのグリッド復元を行う、という大きく２ステップからなる。それぞれのステップについて以下で詳細を述べる。
【００３９】
（色を用いてコード化された平行線パターンからの連続領域の抽出）
図６は、本発明の一実施形態にかかる画像処理方法における連続領域抽出処理を示すフローチャートである。
【００４０】
本発明では、プロジェクターから色を用いてコード化されたパターンが観測対象に投影される。図６を参照して、撮影されたパターンからカメラ画像中の連続領域を抽出する方法を説明する。連続領域を抽出する方法は、以下に挙げるステップからなる。
【００４１】
ステップＳ６０１において、プロジェクター画像の平行線の投影パターンとなる曲線をカメラ画像から検出して、ステップＳ６０２に進む。
【００４２】
ステップＳ６０２において、色を用いてコード化された周期パターンをデコードして、ステップＳ６０３に進む。
【００４３】
ステップＳ６０３において、検出されたコードを補間することにより、周期パターンの位相を各画素について計算して、ステップＳ６０４に進む。
【００４４】
ステップＳ６０４において、位相が連続となる領域を検出して、ステップＳ６０５に進む。
【００４５】
ステップＳ６０５において、各連続領域の位相をアンラップする。
【００４６】
図７は、本発明の一実施形態にかかる画像処理の各ステップにおける結果の例を示す図である。図７（ａ）は、２種類の平行線パターンが投影されている入力画像である。図７（ｂ）は、その一方の平行線集合に対して曲線検出を行った結果である。図７（ｃ）では、各線に割り当てられた周期カラーコードのＩＤが色を使って表されている。そのＩＤを補間することによって各画素に位相を計算した結果が図７（ｄ）となる。その位相情報を用いて連続な領域を検出した結果が図７（ｅ）である。各領域について位相の周期境界において連続するようにアンラップした結果が図７（ｆ）であり、シフト量の１自由度が残っている。この１自由度の曖昧性は、図８、９、１０を参照して後述する方法により解消される。
【００４７】
一例として、赤、青、黄の色をコードとしてコード化された周期パターンがプロジェクターにより観測対象に投影され、投影された周期パターンをデコードすると、観測対象上の赤、青、黄の色のピークが抽出される。さらに、一例として、連続領域の位相をアンラップすると、観測対象上の赤、青、黄の色が取り除かれている、シフト量が未知数の観測対象の投影画像が得られる。
【００４８】
（プロジェクターから投影された平行線パターンの検出）
Ｓ６０１について説明する。１台あるいは複数台のプロジェクターから投影されるパターンは複数の平行線集合となる。最初に、ある平行線の集合を他の集合と区別して、カメラ画像中の曲線として検出を行う。本発明では、曲線の方向と色を用いて区別を行う。
【００４９】
曲線検出の方法は、非特許文献１５で提案されている方法に基づいている。その方法では、画像のＸ軸あるいはＹ軸に沿った輝度値の微分に基づいて、各画素を３種類（正、負、ほぼ０）に分類する。曲線の位置は輝度値のピークとなるので、正、負のラベルに分類された境界として検出される。非特許文献１５では、確率伝搬法（belief propagation）のコスト関数を用いてサブピクセル精度の位置を計算したが、本発明では、後述する曲線の補間によってサブピクセル位置を計算する。従って、本論文では、微分が正（Ｐ）と負（Ｎ）の２種類の領域に分類に単純化し、エネルギー最小化を以下のように定義し、グラフカットで最小化する。
【００５０】
ここで、カメラ画像中でほぼ縦軸に近い向きの曲線を検出すると仮定する。他の方向の曲線を検出する場合には、画像を事前に回転する。また、各線は２つの色を使ってコード化されている。例えば、青とシアンの場合、全ての線はＲＧＢのうち青の要素を持つため、カメラ画像の青プレーンを使って線検出を行う。グラフカットのエネルギー関数は次のように定義する。
【００５１】
【数１】
【００５２】
ここで、Ｖは画素の集合であり、Ｅは４近傍の画素の組の集合である。ｌpは、画素ｐに割り当てられたラベルであり、λは、ユーザ定義のパラメーターである。データ項g（p)は、次のように定義する。
【００５３】
【数２】
【００５４】
ここで、Ｄ（ｐ）は、水平軸に沿った輝度値の微分である。不連続コストｈ（ｌp，ｌp'）は、
【００５５】
【数３】
【００５６】
の向きに依存し、縦軸と平行な場合、ラベルが等しい場合ｈ（ｌp，ｌp'）＝０、そうでなければ、ｈ（ｌp，ｌp'）＝１となる。水平軸と平行な場合は、以下のように定義する。
【００５７】
【数４】
【００５８】
グラフカットを用いてラベルを決定した後、曲線は、ラベルＰとＮの境界として検出される。
【００５９】
（周期カラーパターンのデコード）
Ｓ６０２について説明する。各線は、デブルーイン系列に基づいた周期パターンでコード化されている。この系列は、色数ｑとコード長ｎとにより定義され、隣接するｎ個の曲線の色が決定されれば、周期qnのパターンのうちどの線か決定することができるものである。本明細書において、ｑ＝２、ｎ＝３を用いる。
【００６０】
この周期コードを、非特許文献１５で提案された手法に基づいて検出する。非特許文献１５では縦横のパターンを検出して得た、交点情報に基づいてグラフ構造を作り、確率伝搬法を用いて周期コードを決定した。それに対し本発明では、検出した縦方向の曲線と画像の横軸に沿った線でグラフを作り、異なる平行線集合に属する曲線は別々にデコードを行う。従って、平行線集合の数が増えた場合でも手続きを変更することなく適用することができる。
【００６１】
（周期パターンの位相計算）
Ｓ６０３について説明する。１周期に含まれる線の数はｑn＝８本であるので、曲線のＩＤは０から７に割り当てられる。これらは整数値であり、曲線上の画素に割り当てられる。曲線上にない画素の値は、補間によって計算することができ、周期関数の位相であると考えることができる。
【００６２】
本発明では、縦方向の曲線集合に対し、横軸に沿った輝度値の変化を見た場合、正弦関数になっていると仮定する。従って、２つの曲線の間の位相情報を、複素ガボールフィルターを使って計算することができる。２つの曲線間がＬ画素である場合、水平軸に沿って波長Ｌの１次元ガボールフィルターを適用すると、その結果として複素数ｚが得られ、その位相ψはψ＝ａｒｃｔａｎ（Ｒｅ（ｚ）／Ｉｍ（ｚ））として計算することができる。２つの曲線のＩＤをｋ、（ｋ＋１）ｍｏｄ ｑnとすると、周期パターンの位相φはφ＝ｋ＋ψ／２πとなる。この計算は曲線上の点についても行い、曲線位置をサブピクセル精度で計算する。
【００６３】
（連続領域の検出と位相のアンラップ）
Ｓ６０４、Ｓ６０５について説明する。各画素の位相を計算した後、位相が連続する領域を抽出し領域分割する。４近傍において隣接する２つの画素が次の式を満たす場合、それらの画素の位相は連続していると判断する。
【００６４】
【数５】
【００６５】
ここで、ｄ＝φ1−φ2であり、φ1とφ2は、それぞれの画素の位相、τは、ユーザ定義の閾値である。領域分割のアルゴリズムは、２パスラベリングアルゴリズムに基づいている。最初のパスでは、式（４）を満たす隣接画素を同じ領域ラベルとして割り当て、異なるラベルが同一のものを表しているかどうかの情報を保持しておく。次のパスでは、ラベルの同一性情報を用いて、ラベルの再割り当てを行う。また、領域分割後の面積が閾値よりも小さい場合、ノイズであると判断し、後の処理を行う対象から取り除く。
【００６６】
連続領域を抽出した後、各領域において位相のアンラップを行う。その結果、各領域の画素は、プロジェクター画像の画素との対応関係を得る。ただし、大域的な位相を決定するためのシフト量が未知数として残っている。そのシフト量を後述する方法で決定すると、対応点が一意に決定でき、三角測量によって３次元位置が復元される。そこで以下では、アンラップされた位相を相対プロジェクター座標と呼ぶことにする。
【００６７】
最後に、相対プロジェクター座標を、プロジェクター座標における平行線間の距離を用いてスケーリングする。これにより、相対プロジェクター座標のスケールがプロジェクター画像の座標系と一致する。
【００６８】
（連続領域を用いたグリッドベース３次元形状復元の定式化）
グリッドベース３次元形状復元では、カメラ画像中の曲線とプロジェクター画像中の直線との対応を推定する。非特許文献１８の従来の方法では、それぞれの曲線についてパラメーターを推定するため、推定すべきパラメーター数は曲線の数に等しい。それに対して本発明では、上述の画像処理によってグリッドパターンを用いて連続領域を抽出しているため、未知数は、各領域に対して、たかだか１つである。以下に、連続領域を用いたパラメーター推定の定式化について説明する。
【００６９】
（１台のプロジェクターを用いる場合の定式化）
まず１台のプロジェクターを用いる場合について述べる。この場合、プロジェクター画像の縦、横軸に沿った２種類の平行線集合が投影される。
【００７０】
図８は、本発明の一実施形態にかかる１台のプロジェクターを用いる場合の画像処理の相対プロジェクター座標の例を示す図である。画像中のある画素において、縦・横のパターンの領域の両方が検出されているとすると、その座標（ｘc，ｙc）と検出した相対プロジェクター座標（ｕ，ｖ）とには、次のエピポーラ拘束が成り立つ。ここで、ｕとｖは、それぞれ縦・横の曲線から計算された相対プロジェクター座標である。
【００７１】
【数６】
【００７２】
ここで、Ｆはカメラとプロジェクター間の基礎行列、ｓ、ｔは縦・横のパターンについてのシフトパラメータである。この式の中で未知変数はｓ、ｔのみであるため、式（５）はｓ、ｔに関する１次式となる。上述の拘束式は（ｕ，ｖ）が得られた点の数だけ立てられ、パラメーターｓ、ｔは同じ領域内では共通となる。縦・横の曲線から計算された領域の数がそれぞれＮs、Ｎtの場合、以下の連立方程式が得られる。
【００７３】
【数７】
【００７４】
ここで、Ａは係数行列、ｂは定数項である。変数の数は、Ｎs＋Ｎtとなり、カメラ画像中の曲線の数と比べると非常に小さくなる。
【００７５】
Ａが非退化であれば、一意に解を求められる。Ａの各行はプロジェクター座標（ｕ＋ｓ，ｖ＋ｔ）におけるエピポーラ線であるので、それらが全て平行でなければＡは非退化である。非特許文献１８の従来の定式化では、線形方程式の解には１自由度が残った。そのため、投影パターンの線間隔をランダムにし、その線間隔が既知であるという知識を使って、投影パターンと推定したパターンのマッチングを行い、残った自由度を決定する、というステップが必要であった。それに対し本発明では、連続領域を検出する際に、投影パターンの間隔が一定という知識を使って位相を計算するため、線形解法のみで一意に解を決定することが可能である。
【００７６】
上記式（５）のエピポーラ拘束が成り立つことは、縦・横のパターンから奥行きを計算すると、それらが一致することと等しい。よって、エピポーラ拘束を、縦・横のパターンから計算された奥行きが等しいという条件で代用することができる。
【００７７】
（複数のプロジェクターを用いる場合の定式化）
次に、グリッドベース３次元形状復元のうち、別々のプロジェクターから平行線パターンを投影する非特許文献２０の手法の場合を考える。以下では、２台のプロジェクター用いた場合について定式化を行う。
【００７８】
図９は、本発明の一実施形態にかかる２台のプロジェクターを用いる場合の画像処理の相対プロジェクター座標の例を示す図である。カメラ座標（ｘc，ｙc）に対応するプロジェクター１、２の点を（ｕ＋ｓ，ｓ’)、（ｖ＋ｔ、ｔ’）とすると、エピポーラ拘束は、次のように表される。
【００７９】
【数８】
【００８０】
この定式化では、それぞれのプロジェクターはプロジェクター画像の縦軸に沿った平行線パターンを投影すると仮定する。異なる場合は、プロジェクター画像点の表現を線の向きに合わせて変更する。対応点は３つのエピポーラ線によって定義される。領域検出によって得られたｕ、ｖを用いると、ｓ’、ｔ’は式（７）、式（８）から、それぞれｓ，ｔの１次式で表される。それらの１次式を式（９）に代入すると、ｓｔ、ｓ、ｔの項、および定数項から構成される式となる。
【００８１】
その式（９）はｓｔの項があるため、このままでは線形方程式ではない。そこで新しい変数ｒ＝ｓｔを導入することにより、ｒ、ｓ、ｔに関する１次連立方程式とする。すると式（６）と同様にｒ、ｓ、ｔは全ての点に関する拘束式を用いて求めることができる。
【００８２】
非特許文献２０の従来の方法では、線が等間隔であるという拘束条件を追加し、計算を安定化させる方法が提案されていた。それに対し本発明では、領域検出においてこの拘束条件を利用する、という点が異なる。また、従来の方法では、この追加条件を利用する際にカメラ配置に制約が存在したが、本発明では、カメラ配置に制約なく、線形方程式によって解を求めることが可能となった。
【００８３】
この定式化は３台以上のプロジェクターからパターンを投影する場合にも拡張することができる。ｍ台のプロジェクターを用いる場合、そのうち２つを選んで上記の拘束式を作ることができる。従って、mＣ2通りの組み合わせから連立方程式を作る。
【００８４】
上記の線型解法では、ｒ＝ｓｔという制約を省いて解を求めるが、解がその制約を満たさない場合がある。特に、３つ以上のプロジェクターを用いてパターンを投影する場合にその可能性が高い。そのため、線形方程式の解を初期解として、式（９）の非線形最小化により解を修正することを行う。
【００８５】
（隣接フレーム間での領域の対応付け）
図１０は、本発明の一実施形態にかかる隣接フレーム間における領域の対応付けの例を示す図である。連続して撮影された複数のフレーム（画像）を用いて、同時に形状復元する手法について説明する。隣接する２フレームにおいて、それぞれのフレームで検出した領域の相対プロジェクター座標の関係を得ることができれば、同じシフト量を用いて、形状復元を行うことができ、推定するパラメーターの削減と、サンプル点の増加による計算の安定化とを図ることができる。
【００８６】
カメラとプロジェクターとの相対位置は固定しているため、隣接フレーム間で対応を見つけるには、エピポーラ線上に沿って探索すればよい。図１０において、点ｐの対応する点の候補は、点ｐのエピポーラ線上にあるｐ’とｐ”となる。投影された各線には周期ＩＤが計算されており、補間によって各画素点には周期パターンの位相が計算されている。従って、エピポーラ線上にある点のうちで、その周期位相が一致する一致する点を対応点とする。その対応点の相対プロジェクター座標の差をｄとすると、２フレームのシフト量ｓ1、ｓ2は、ｓ2＝Ｓ1＋ｄと表せ、ｓ2を推定パラメーターから取り除くことができる。
【００８７】
位相が一致する点が複数ある場合や、位相検出エラーにより間違った点が対応づけられる場合がある。同一領域内では、フレーム間での対応点の相対プロジェクター座標の差が一定となるべきことから、相対プロジェクター座標の差ｄについて投票を行い、もっとも多くの画像点の投票を得た座標差ｄを採用する。
【００８８】
（整数最小二乗法を用いた解法）
推定したプロジェクター座標（ｕ＋ｓ、ｖ＋ｔ）は領域検出によって計算された周期パターンの位相と一致するはずであるが、カメラ校正や画像処理の検出誤差のため、線形方程式で求めた解と検出された位相は必ずしも一致しない。そこで、推定結果と検出された位相が一致した解を得るために、まず変数を下記のように変換する。
【００８９】
【数９】
【００９０】
ここで、Ｌはプロジェクター画像上での線間隔であり、本明細書では、５または１０画素である。新たな変数
【００９１】
【数１０】
【００９２】
、
【００９３】
【数１１】
【００９４】
を用いた拘束式では、これらの変数が整数の場合、位相が一致した解が得られる。
【００９５】
これは解が整数である条件の下で線形方程式を解く、という整数最小二乗法（integer least square，ILS）の問題とみなすことができる。この問題は、ＧＰＳの計測において発生する問題であることが非特許文献２１により知られている。そこで、本発明では、ＩＬＳ解法の１つである非特許文献２２のＭＩＬＥＳを用いて、
【００９６】
【数１２】
【００９７】
、
【００９８】
【数１３】
【００９９】
の整数解を求める。
【０１００】
本実施形態によれば、カラーコードによる連続領域の抽出を行い、抽出された領域ごとにピクセルベースのグリッド復元を行うことができ、高密度かつ高速に運動する物体の形状計測が可能となる。
【０１０１】
（実験）
実験においては、単一あるいは複数のプロジェクターと１台のカメラからなるシステムに対して、本発明の方法の定性的・定量的な精度評価および動体の形状計測を行った。
【０１０２】
本発明の方法の貢献は、次の通りとなる。
（１）グラフカット、ガボールフィルター、デブルーイン系列を用いた周期パターンの位相推定と連続領域検出の実現
（２）幾何制約（エピポーラ拘束）を用いた位相の曖昧性を解決する手法の定式化の提案
（３）求める解を安定化するための整数解法の導入
（４）位相シフトなどで問題となる大域的な位相推定の新たな解法としての意味づけ
【０１０３】
実験ではまず、シミュレーションによって本発明の方法を評価する。レイトレーシングツールを使い、観測対象と光源をシミュレートし、仮想的なカメラ画像を生成する。観測対象としては、非特許文献２３のスタンフォード大学の形状モデルデータベースにあるウサギのモデルを用いた。
【０１０４】
図１１は、本発明の一実施形態にかかる画像処理の結果および誤差の例を示す図である。１台のプロジェクターの場合の入力画像は図７（ａ）であり、プロジェクターの画像軸に沿った２種類の平行線集合が対象に投影されている。一方の平行線集合に対する領域検出の結果は図７（ｅ）および（ｆ）であり、もう一方の平行線集合に対知る結果は図１１（ａ）および（ｂ）である。検出された領域の数はそれぞれ４と５である。従って式（６）の変数の数は９となり、ノンパラメトリックな３次元形状の復元における対応点探索問題としては非常に小さい数である。復元した形状を図１１（ｃ）に示す。
【０１０５】
本発明の方法の精度を評価するために、推定されたプロジェクター座標と、その真値を比較した。図１１（ｄ）は、その誤差を明るさで表したものであり、明るい画素ほど誤差が大きいことを示す。これより、オクルーディング境界に近い部分では誤差が大きいことが分かる。観測対象上の全ての画素を用いた場合、プロジェクター座標の平方二乗平均誤差（root-mean-square error，ＲＭＳ誤差）は１．０２画素となり、オクルーディング境界を除いた場合では、０．１７５画素であった。従って、カラーパターンから位相を計算するために十分表面がカメラとプロジェクターの方を向いている場合、サブピクセル精度で対応の計算が可能であることが確認できた。
【０１０６】
図１１（ｅ）は、非特許文献１５において提案された線検出法を用い、線間を線型補間して得たモデルである。単純な線型補間では形状が滑らかではないというアーチファクトが見られる。図１１（ｆ）は、プロジェクター座標の真値との比較であり、カメラから傾いた表面部分では本発明の方法と比べて、誤差が大きくなっていることが分かる。ＲＭＳ誤差は全ての画素を用いた場合、オクルーディング境界を除いた場合でそれぞれ、１．０９画素、０．１９８画素となり、本発明の方法が１２％程度良い結果となった。
【０１０７】
図１２は、本発明の一実施形態にかかる２台および３台のプロジェクターを用いた場合の入力画像の例を示す図である。複数のプロジェクターを用いた３次元形状復元について評価を行う。図１２（ａ）および（ｂ）は、それぞれ２台および３台のプロジェクターを用いた場合の入力画像である。その内１つのプロジェクターは、１台のプロジェクターを用いた場合と共通の配置である。カラーコードが正しく検出された場合、対応点誤差は主に校正誤差が原因となる。そこで、校正誤差としてカメラの焦点距離に誤差を加え、対応点の安定性を評価した。
【０１０８】
図１３は、本発明の一実施形態にかかる対応点のＲＭＳ誤差を１、２、３台のプロジェクターの場合について比較した例を示す図である。図１３は、対応点のＲＭＳ誤差を１、２、３台のプロジェクターの場合について比較したものである。この実験ではカメラの画角は約５６度であり、焦点距離の真値に対して、１、２、３、５％の誤差を加えて評価した。この結果より、３台のプロジェクターを用いた場合、ほとんどの領域について正しく周期が推定されており、最も安定していることが分かる。これは、式（７）、（８）、（９）を解くために必要な情報が冗長に与えられているためであると考えられる。
【０１０９】
２台のプロジェクターを用いた場合では、図１３（右）に示すように、校正誤差が２％より大きい場合では、周期の推定に誤差が発生する場合があった。同様に１台のプロジェクターを用いた場合、１％よりも焦点距離の校正誤差が大きい場合に周期推定に誤差が発生した。
【０１１０】
平行線パターンは、それぞれ３次元空間中で平面をなし、ある１本の直線を軸として共有する（例えば、非特許文献１８参照。）。１台と２台のプロジェクターを用いた場合の違いは、その軸が交差するか、ねじれの位置にあるかの違いである。非特許文献２０において議論されているように、軸がねじれの位置にある場合、線形解の安定性が改善する。この点が上記の結果において、２台のプロジェクターの場合が良い結果となった理由であると考えられる。この点について、さらに詳しい分析を行うことは今後の課題である。
【０１１１】
次に、実際のカメラとプロジェクターを使って本発明の方法の実験を行う。導入部で述べたように、ワンショット形状計測の利点は、高速に動く対象の形状計測に適しているという点である。この実験では観測対象として、水しぶき、波打つ布、変形する顔の皮膚を選んだ。１台のプロジェクターを用いてパターンを投影し、入力画像はハイスピードカメラを用いて６０〜２５０コマ／秒で撮影した。カメラとプロジェクターの画像サイズは、それぞれ１０２４×１０２４、１０２４×７６８画素である。
【０１１２】
図１４は、本発明の一実施形態にかかる３つのデータに関する入力画像および結果の４フレームの例を示す図である。３つのデータについて、入力画像と結果のうち４フレームを図１４に示す。図１４（ａ）の水しぶきの場合、白濁した水を用い、表面でパターンが反射するようにした。本発明の方法によって、ボールが水に落ちた際の水しぶきの形状計測を行うことに成功した。
【０１１３】
図１４（ｂ）の波打つ布を計測した場合では、布表面の波および折り目を計測することができた。図１４（ｃ）の頬を手で叩いたシーンを観測した場合、復元した結果からその変形を観測することができる。本発明の方法の利点は、観測対象の動きが高速でも計測可能であり、また表面にテクスチャがない場合でも適用可能であることである。この実験では計算時間はＩｎｔｅｌ（登録商標） Ｘｅｏｎ（登録商標）２．４ＧＨｚを用いて、それぞれ１フレームあたり５．００、６．１５、３．１５秒であった。
【０１１４】
（まとめ）
本明細書では、グリッドパターンを投影した観測対象の１枚の画像から高密度な形状復元を行う手法について説明した。本発明の方法では、周期的なカラーパターンによってコード化された平行線集合を用い、その密な位相情報を計算することによって、連続な領域を検出する。形状復元に必要なパラメーターは各領域にたかだか１つであるため、パラメーター数を非常に小さくすることができる。カメラ−プロジェクター間の対応を決定する方法は、エピポーラ幾何に基づいた連立方程式に定式化され、整数最小二乗法によって解を求める。
【０１１５】
この定式化は、大域的な位相推定問題に対する新たな解法と位置づけられる。この定式化を１台および複数のプロジェクターを用いる場合の両方について行い、プロジェクター台数が対応点の推定精度にどのような影響を与えるかについて評価した。実際のカメラとプロジェクターを用いて観測対象の形状計測を行い、高速に動く物体の高密度な形状計測を実現した。今後の研究においては、実時間復元に向けて計算時間の改善を目指す。
【産業上の利用可能性】
【０１１６】
本発明は、高速に動く対象の形状計測に利用することができる。
【符号の説明】
【０１１７】
１０１ カメラ
１０２ プロジェクター
１０３ 観測対象
２０１ カメラ
２０２ プロジェクター１
２０３ プロジェクター２
２０４ 観測対象
【特許請求の範囲】
【請求項１】
投影装置により観測対象上に投影される、周期パターンからなる投影パターンを撮影装置により撮影し、前記投影パターンを含む入力画像から形状復元を行う画像処理方法において、
前記投影装置より投影された投影パターンを前記撮影装置により撮影された入力画像から検出するステップと、
前記検出された投影パターンの相対位相を検出するステップと、
前記検出された投影パターンの絶対位相を、基準位置からの相対的な位相と、前記基準位置の絶対的な位相との和により表すと、複数の投影パターンの絶対位相により計算した奥行きが一致するという第１条件が前記検出された投影パターンの各画素について成立することに基づき前記基準位置の絶対的な位相を計算するステップと
を備えたことを特徴とする画像処理方法。
【請求項２】
前記基準位置の絶対的な位相は、投影パターンの持つ周期性に基づき離散的な数値集合として表せて、
前記第１条件は、離散的な最小化問題として解かれることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記入力画像から検出するステップは、
前記検出された投影パターンの隣接性を決定するステップと、
前記決定された隣接した投影パターンを補間することにより、前記周期パターンの相対位相を画素の各々について計算するステップと、
近傍画素の位相差が小さい場合、位相が連続する領域として検出するステップと、
前記検出された領域毎に前記絶対的な位相を計算するステップと
を含むことを特徴とする請求項１または２に記載の画像処理方法。
【請求項４】
投影装置により観測対象上に投影される、周期パターンからなる投影パターンを撮影装置により撮影し、前記投影パターンを含む入力画像から形状復元を行う画像処理装置において、
前記投影装置より投影された投影パターンを前記撮影装置により撮影された入力画像から検出する手段と、
前記検出された投影パターンの相対位相を検出する手段と、
前記検出された投影パターンの絶対位相を、基準位置からの相対的な位相と、前記基準位置の絶対的な位相との和により表すと、複数の投影パターンの絶対位相により計算した奥行きが一致するという第１条件が前記検出された投影パターンの各画素について成立することに基づき前記基準位置の絶対的な位相を計算する手段と
を備えたことを特徴とする画像処理装置。
【請求項５】
前記基準位置の絶対的な位相は、投影パターンの持つ周期性に基づき離散的な数値集合として表せて、
前記第１条件は、離散的な最小化問題として解かれることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記入力画像から検出する手段は、
前記検出された投影パターンの隣接性を決定する手段と、
前記決定された隣接した投影パターンを補間することにより、前記周期パターンの相対位相を画素の各々について計算する手段と、
近傍画素の位相差が小さい場合、位相が連続する領域として検出する手段と、
前記検出された領域毎に前記絶対的な位相を計算する手段と
を含むことを特徴とする請求項４または５に記載の画像処理装置。
【請求項７】
投影装置により観測対象上に投影される、周期パターンからなる投影パターンを撮影装置により撮影し、前記投影パターンを含む入力画像から形状復元を行う画像処理のプログラムにおいて、コンピューターに、
前記投影装置より投影された投影パターンを前記撮影装置により撮影された入力画像から検出する手順と、
前記検出された投影パターンの相対位相を検出する手順と、
前記検出された投影パターンの絶対位相を、基準位置からの相対的な位相と、前記基準位置の絶対的な位相との和により表すと、複数の投影パターンの絶対位相により計算した奥行きが一致するという第１条件が前記検出された投影パターンの各画素について成立することに基づき前記基準位置の絶対的な位相を計算する手順と
を実行させるためのプログラム。
【請求項８】
前記基準位置の絶対的な位相は、投影パターンの持つ周期性に基づき離散的な数値集合として表せて、
前記第１条件は、離散的な最小化問題として解かれることを特徴とする請求項７に記載のプログラム。
【請求項９】
前記入力画像から検出する手順は、
前記検出された投影パターンの隣接性を決定する手順と、
前記決定された隣接した投影パターンを補間することにより、前記周期パターンの相対位相を画素の各々について計算する手順と、
近傍画素の位相差が小さい場合、位相が連続する領域として検出する手順と、
前記検出された領域毎に前記絶対的な位相を計算する手順と
を含むことを特徴とする請求項７または８に記載のプログラム。
【請求項１】
投影装置により観測対象上に投影される、周期パターンからなる投影パターンを撮影装置により撮影し、前記投影パターンを含む入力画像から形状復元を行う画像処理方法において、
前記投影装置より投影された投影パターンを前記撮影装置により撮影された入力画像から検出するステップと、
前記検出された投影パターンの相対位相を検出するステップと、
前記検出された投影パターンの絶対位相を、基準位置からの相対的な位相と、前記基準位置の絶対的な位相との和により表すと、複数の投影パターンの絶対位相により計算した奥行きが一致するという第１条件が前記検出された投影パターンの各画素について成立することに基づき前記基準位置の絶対的な位相を計算するステップと
を備えたことを特徴とする画像処理方法。
【請求項２】
前記基準位置の絶対的な位相は、投影パターンの持つ周期性に基づき離散的な数値集合として表せて、
前記第１条件は、離散的な最小化問題として解かれることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記入力画像から検出するステップは、
前記検出された投影パターンの隣接性を決定するステップと、
前記決定された隣接した投影パターンを補間することにより、前記周期パターンの相対位相を画素の各々について計算するステップと、
近傍画素の位相差が小さい場合、位相が連続する領域として検出するステップと、
前記検出された領域毎に前記絶対的な位相を計算するステップと
を含むことを特徴とする請求項１または２に記載の画像処理方法。
【請求項４】
投影装置により観測対象上に投影される、周期パターンからなる投影パターンを撮影装置により撮影し、前記投影パターンを含む入力画像から形状復元を行う画像処理装置において、
前記投影装置より投影された投影パターンを前記撮影装置により撮影された入力画像から検出する手段と、
前記検出された投影パターンの相対位相を検出する手段と、
前記検出された投影パターンの絶対位相を、基準位置からの相対的な位相と、前記基準位置の絶対的な位相との和により表すと、複数の投影パターンの絶対位相により計算した奥行きが一致するという第１条件が前記検出された投影パターンの各画素について成立することに基づき前記基準位置の絶対的な位相を計算する手段と
を備えたことを特徴とする画像処理装置。
【請求項５】
前記基準位置の絶対的な位相は、投影パターンの持つ周期性に基づき離散的な数値集合として表せて、
前記第１条件は、離散的な最小化問題として解かれることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記入力画像から検出する手段は、
前記検出された投影パターンの隣接性を決定する手段と、
前記決定された隣接した投影パターンを補間することにより、前記周期パターンの相対位相を画素の各々について計算する手段と、
近傍画素の位相差が小さい場合、位相が連続する領域として検出する手段と、
前記検出された領域毎に前記絶対的な位相を計算する手段と
を含むことを特徴とする請求項４または５に記載の画像処理装置。
【請求項７】
投影装置により観測対象上に投影される、周期パターンからなる投影パターンを撮影装置により撮影し、前記投影パターンを含む入力画像から形状復元を行う画像処理のプログラムにおいて、コンピューターに、
前記投影装置より投影された投影パターンを前記撮影装置により撮影された入力画像から検出する手順と、
前記検出された投影パターンの相対位相を検出する手順と、
前記検出された投影パターンの絶対位相を、基準位置からの相対的な位相と、前記基準位置の絶対的な位相との和により表すと、複数の投影パターンの絶対位相により計算した奥行きが一致するという第１条件が前記検出された投影パターンの各画素について成立することに基づき前記基準位置の絶対的な位相を計算する手順と
を実行させるためのプログラム。
【請求項８】
前記基準位置の絶対的な位相は、投影パターンの持つ周期性に基づき離散的な数値集合として表せて、
前記第１条件は、離散的な最小化問題として解かれることを特徴とする請求項７に記載のプログラム。
【請求項９】
前記入力画像から検出する手順は、
前記検出された投影パターンの隣接性を決定する手順と、
前記決定された隣接した投影パターンを補間することにより、前記周期パターンの相対位相を画素の各々について計算する手順と、
近傍画素の位相差が小さい場合、位相が連続する領域として検出する手順と、
前記検出された領域毎に前記絶対的な位相を計算する手順と
を含むことを特徴とする請求項７または８に記載のプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図７】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図７】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−２４６５５（Ｐ２０１３−２４６５５Ａ）
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願番号】特願２０１１−１５８１７５（Ｐ２０１１−１５８１７５）
【出願日】平成２３年７月１９日（２０１１．７．１９）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２２年度、総務省委託研究「４次元メディアシステムの研究開発」産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（３０１０２１５３３）独立行政法人産業技術総合研究所 (6,529)
【出願人】（３０２０１０６２２）有限会社テクノドリーム二十一 (6)
【Ｆターム（参考）】
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願日】平成２３年７月１９日（２０１１．７．１９）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２２年度、総務省委託研究「４次元メディアシステムの研究開発」産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（３０１０２１５３３）独立行政法人産業技術総合研究所 (6,529)
【出願人】（３０２０１０６２２）有限会社テクノドリーム二十一 (6)
【Ｆターム（参考）】
[ Back to top ]