画像処理装置、画像処理方法およびプログラム
【課題】動きのある対象の形状を高密度かつ高フレームレートに計測可能な画像処理装置、画像処理方法およびプログラムを提供する。
【解決手段】画像処理装置１０と、カメラ２８と、プロジェクタ２４と、プロジェクタ２６とで、３次元空間中に存在する物体３０の２次元画像を撮影し、撮影された２次元画像から物体の３次元形状を復元している。プロジェクタ２４は物体３０に対して横方向のパターンを照射し、プロジェクタ２６は物体３０に対して縦方向のパターンを照射している。そして、これらのパターンが物体３０で反射したパターン光をカメラ２８で撮影することで２次元画像を取得し、この２次元画像から画像処理装置１０により３次元画像を復元している。
【解決手段】画像処理装置１０と、カメラ２８と、プロジェクタ２４と、プロジェクタ２６とで、３次元空間中に存在する物体３０の２次元画像を撮影し、撮影された２次元画像から物体の３次元形状を復元している。プロジェクタ２４は物体３０に対して横方向のパターンを照射し、プロジェクタ２６は物体３０に対して縦方向のパターンを照射している。そして、これらのパターンが物体３０で反射したパターン光をカメラ２８で撮影することで２次元画像を取得し、この２次元画像から画像処理装置１０により３次元画像を復元している。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびプログラムに関し、特に、入力された２次元画像に映し出された物体の３次元形状を復元する画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
高密度かつ高フレームレートでダイナミックな動きのある対象物体の３次元計測が必要とされている。例えば、運動する人物の筋肉の変化や、物体が破裂する瞬間の構造解析などは、高密度で高フレームレートでの形状復元が望まれている。
【０００３】
このような、実用的な３次元計測ではこれまで、アクティブ計測法が主な解決策と考えられてきた。特にダイナミックに変化するオブジェクトに関しては、短時間に広範囲を取得可能なプロジェクタを利用した方法が適している。しかし、プロジェクタによるアクティブ手法を、動物体の高密度な形状計測に用いることには、本質的な課題がある。
【０００４】
プロジェクタを用いた３次元計測として、主に、時間エンコード法と空間エンコード法の２つが知られている。時間エンコード法は複数のパターンを投影する手法のため、動いている物体の高フレームレートでの計測には本質的に適していない。また、広い範囲をカバーしようとして複数のプロジェクタを利用する場合、同期を取ることが難しい。一方で、空間エンコード手法の場合、各プロジェクタの投影パターンは不変であり、撮影画像も一枚で済むため動きのある物体の計測には適しているが、パターン自体が複雑なため、物体表面の色や形状との干渉などの問題が生じ、しばしば画像処理が困難となる。
【０００５】
もし、固定された単色ラインパターンを投影した１フレームの画像から形状復元できれば、上記問題を全て解消することができる。そのような手法として、縦・横の直線からなるグリッドパターンを用いた、共面性拘束原理（ｃｏｐｌａｎａｒｉｔｙ ｃｏｎｓｔｒａｉｎｔ：ＣＯＰ）に基づくワンショット復元手法（ｓｈａｐｅ ｆｒｏｍ ｇｒｉｄ ｐａｔｔｅｒｎ：ＳＦＧ）が最近提案されている（非特許文献１）、（非特許文献２）、（非特許文献３）。
【０００６】
実用的な３次元計測ではセンサから光を投影するアクティブ手法が多く利用されてきた。特に、効率化のためにビデオプロジェクタを用いた手法が多く提案されている（非特許文献４）、（非特許文献５）。プロジェクタを用いたアクティブ手法に関して、これまでに大きく分けて、時間エンコード法と空間エンコード法の２種類の手法が提案されてきた。
【０００７】
近年、ハイスピードカメラとＤＬＰプロジェクタを用いて、ダイナミックシーンを形状復元する研究が行われている。Ｗｅｉｓｅらは位相シフト法に基づいたパターン投影とステレオ視を組み合わせたシステムを提案した（非特許文献６）。ＮａｒａｓｉｍｈａｎらはＤＬＰプロジェクタが生成する高速な時系列パターンを識別して形状復元を行う方法を提案した（非特許文献７）。また、形状の復元に必要なパターン数を削減する研究も行われている（非特許文献８）、（非特許文献５）。
【０００８】
一方で、空間エンコード法では、パターンが固定されているため、映像中の１フレームのみから形状復元が可能であり、ダイナミックシーンの計測に適している（非特許文献９）、（非特許文献１０）、（非特許文献１１）、（非特許文献１２）、（非特許文献１３）。
【０００９】
更にまた、上記した問題の対処方法の一つが特許文献１に記載されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００９−３００２７７号公報
【非特許文献】
【００１１】
【非特許文献１】Ｈｉｒｏｓｈｉ Ｋａｗａｓａｋｉ， Ｒｙｏ Ｆｕｒｕｋａｗａ， ， Ｒｙｕｓｕｋｅ Ｓａｇａｗａ， ａｎｄ Ｙａｓｕｓｈｉ Ｙａｇｉ． Ｄｙｎａｍｉｃ ｓｃｅｎｅ ｓｈａｐｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｕｓｉｎｇ ａ ｓｉｎｇｌｅ ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ ｐａｔｔｅｒｎ． ＩｎＣＶＰＲ， ｐａｇｅｓ １ ８， Ｊｕｎｅ ２３−２８ ２００８．
【非特許文献２】Ｒｙｕｓｕｋｅ Ｓａｇａｗａ， Ｙｕｉｃｈｉ Ｏｔａ， Ｙａｓｕｓｈｉ Ｙａｇｉ， Ｒｙｏ Ｆｕｒｕｋａｗａ， Ｎａｏｋｉ Ａｓａｄａ， ａｎｄ Ｈｉｒｏｓｈｉ Ｋａｗａｓａｋｉ． Ｄｅｎｓｅ ３ｄ ｒｅｃｏｎｓｔｒｕｃ−ｔｉｏｎ ｍｅｔｈｏｄ ｕｓｉｎｇ ａ ｓｉｎｇｌｅ ｐａｔｔｅｒｎ ｆｏｒ ｆａｓｔ ｍｏｖｉｎｇ ｏｂｊｅｃｔ． Ｉｎ ＩＣＣＶ， ２００９．
【非特許文献３】Ａｌｉ Ｏｓｍａｎ Ｕｌｕｓｏｙ， Ｆａｔｉｈ Ｃａｌａｋｌｉ， ａｎｄ Ｇａｂｒｉｅｌ Ｔａｕｂｉｎ． Ｏｎｅ−ｓｈｏｔ ｓｃａｎｎｉｎｇ ｕｓｉｎｇ ｄｅ ｂｒｕｉｊｎ ｓｐａｃｅｄ ｇｒｉｄｓ． ＩｎＴｈｅ ７ｔｈ ＩＥＥＥ Ｃｏｎｆ． ３ＤＩＭ， ２００９．
【非特許文献４】Ｊ． Ｂａｔｌｌｅ， Ｅ． Ｍｏｕａｄｄｉｂ， ａｎｄ Ｊ． Ｓａｌｖｉ． Ｒｅｃｅｎｔ ｐｒｏｇｒｅｓｓ ｉｎｃｏｄｅｄ ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ ａｓ ａ ｔｅｃｈｎｉｑｕｅ ｔｏ ｓｏｌｖｅ ｔｈｅ ｃｏｒｒｅｓｐｏｎ−ｄｅｎｃｅ ｐｒｏｂｌｅｍ： ａ ｓｕｒｖｅｙ．Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ３１（７）：９６３ ９８２， １９９８．
【非特許文献５】Ｍａｒｋ Ｙｏｕｎｇ， Ｅｒｉｋ Ｂｅｅｓｏｎ， Ｊａｍｅｓ Ｄａｖｉｓ， Ｓｚｙｍｏｎ Ｒｕｓｉｎｋｉｅｗｉｃｚ， ａｎｄ Ｒａｖｉ Ｒａｍａｍｏｏｒｔｈｉ． Ｖｉｅｗｐｏｉｎｔ−ｃｏｄｅｄ ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ． ＩｎＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）， Ｊｕｎｅ ２００７．
【非特許文献６】Ｔ． Ｗｅｉｓｅ， Ｂ． Ｌｅｉｂｅ， ａｎｄ Ｌ． Ｖａｎ Ｇｏｏｌ． Ｆａｓｔ ３ｄ ｓｃａｎｎｉｎｇ ｗｉｔｈ ａｕｔｏｍａｔｉｃ ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ． ＩｎＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ’０７）， ｐａｇｅｓ １ ８， Ｊｕｎｅ ２００７．
【非特許文献７】Ｓ．Ｇ． Ｎａｒａｓｉｍｈａｎ， Ｓ．Ｊ． Ｋｏｐｐａｌ， ａｎｄ Ｓ． Ｙａｍａｚａｋｉ． Ｔｅｍｐｏｒａｌ ｄｉｔｈｅｒｉｎｇ ｏｆ ｉｌｌｕｍｉｎａｔｉｏｎ ｆｏｒ ｆａｓｔ ａｃｔｉｖｅ ｖｉｓｉｏｎ． ＩｎＥｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ｖｏｌｕｍｅ ４， ｐａｇｅｓ ８３０ ８４４，Ｏｃｔｏｂｅｒ ２００８．
【非特許文献８】Ｏ． Ｈａｌｌ−Ｈｏｌｔ ａｎｄ Ｓ． Ｒｕｓｉｎｋｉｅｗｉｃｚ． Ｓｔｒｉｐｅ ｂｏｕｎｄａｒｙ ｃｏｄｅｓ ｆｏｒ ｒｅａｌ−ｔｉｍｅ ｓｔｒｕｃｔｕｒｅｄ−ｌｉｇｈｔ ｒａｎｇｅ ｓｃａｎｎｉｎｇ ｏｆ ｍｏｖｉｎｇ ｏｂ−ｊｅｃｔｓ． ＩｎＩＣＣＶ， ｖｏｌｕｍｅ ２， ｐａｇｅｓ ３５９ ３６６， ２００１．
【非特許文献９】Ｃ． Ｆｒｕｅｈ ａｎｄ Ａ． Ｚａｋｈｏｒ． Ｃａｐｔｕｒｉｎｇ２１／２ｄ ｄｅｐｔｈ ａｎｄ ｔｅｘ−ｔｕｒｅ ｏｆ ｔｉｍｅ−ｖａｒｙｉｎｇ ｓｃｅｎｅｓ ｕｓｉｎｇ ｓｔｒｕｃｔｕｒｅｄ ｉｎｆｒａｒｅｄ ｌｉｇｈｔ． ＩｎＰｒｏｃ． ｔｈｅ ５ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ３−Ｄ Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｍｏｄｅｌｉｎｇ， ｐａｇｅｓ ３１８ ３２５， ２００５．
【非特許文献１０】Ｃｈａｎｇｓｏｏ Ｊｅ， Ｓａｎｇ Ｗｏｏｋ Ｌｅｅ， ａｎｄ Ｒａｅ−Ｈｏｎｇ Ｐａｒｋ． Ｈｉｇｈ−ｃｏｎｔｒａｓｔ ｃｏｌｏｒ−ｓｔｒｉｐｅ ｐａｔｔｅｒｎ ｆｏｒ ｒａｐｉｄ ｓｔｒｕｃｔｕｒｅｄ−ｌｉｇｈｔ ｒａｎｇｅ ｉｍａｇｉｎｇ． ＩｎＥＣＣＶ， ｖｏｌｕｍｅ １， ｐａｇｅｓ ９５ １０７， ２００４．
【非特許文献１１】Ｔｈｏｍａｓ Ｐ． Ｋｏｎｉｎｃｋｘ ａｎｄ Ｌｕｃ Ｖａｎ Ｇｏｏｌ． Ｒｅａｌ−ｔｉｍｅ ｒａｎｇｅ ａｃ−ｑｕｉｓｉｔｉｏｎ ｂｙ ａｄａｐｔｉｖｅ ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ．ＩＥＥＥ Ｔｒａｎｓ． ｏｎ ＰＡＭＩ， ２８（３）：４３２ ４４５， Ｍａｒｃｈ ２００６．
【非特許文献１２】Ｐ． Ｖｕｙｌｓｔｅｋｅ ａｎｄ Ａ． Ｏｏｓｔｅｒｌｉｎｃｋ． Ｒａｎｇｅ ｉｍａｇｅ ａｃｑｕｉｓｉｔｉｏｎ ｗｉｔｈ ａ ｓｉｎｇｌｅ ｂｉｎａｒｙ−ｅｎｃｏｄｅｄ ｌｉｇｈｔ ｐａｔｔｅｒｎ．ＩＥＥＥ Ｔｒａｎｓ． Ｐａｔ−ｔｅｒｎ Ａｎａｌ． Ｍａｃｈ． Ｉｎｔｅｌｌ．， １２（２）：１４８ １６４， １９９０．
【非特許文献１３】Ｌ． Ｚｈａｎｇ， Ｂ． Ｃｕｒｌｅｓｓ， ａｎｄ Ｓ． Ｓｅｉｔｚ． Ｒａｐｉｄ ｓｈａｐｅ ａｃｑｕｉｓｉｔｉｏｎ ｕｓｉｎｇ ｃｏｌｏｒ ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ ａｎｄ ｍｕｌｔｉ−ｐａｓｓ ｄｙｎａｍｉｃｐｒｏｇｒａｍｍｉｎｇ． ＩｎＰｒｏｃ． Ｆｉｒｓｔ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ３ＤＤａｔａ Ｐｒｏｃｅｓｓｉｎｇ Ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ Ｔｒａｎｓｍｉｓｓｉｏｎ， ｐａｇｅｓ ２４ ３６， ２００２．
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、上記した文献に記載された技術には以下のような問題があった。
【００１３】
非特許文献１〜非特許文献３に記載のＳＦＧでは、唯一の解を得るために、パターンの線の間隔の粗密情報を利用する。このため、縦横両方のパターンを十分密にすることが出来ないという制約があった。これは、計測の密度低下の原因になるばかりでなく、細い、あるいは小さな形状において、交点が不足しやすくなり、形状復元が行えなくなるという問題を生じさせる。
【００１４】
非特許文献４および非特許文献５に記載された技術事項では、時間エンコード法を利用する場合、静的シーンでは安定した高精度の復元が可能であるが、複数の異なるパターンを投影することが必要なため、ダイナミックなシーンに利用することが本質的に難しい。
【００１５】
非特許文献６〜非特許文献８に記載された手法では、これらの手法は高フレームレートで奥行き情報を取得することができるが、時系列コードを認識する必要があるため、画像中の観測対象の動きは一定速度以下である必要がある。さらに、使用する機器の高精度な同期が必要となる。
【００１６】
非特許文献９〜非特許文献１３に記載された手法では、多くの場合、複雑なパターンを用いるため、観測対象のテクスチャに影響されたり、奥行きエッジの部分で空間的なパターン情報を識別できず誤差が大きくなる、という問題が発生する。さらに、広い範囲を計測するために、複数のプロジェクタからパターンが同じ観測対象に投影された場合、パターンが干渉し合うため、その分離は容易ではなくなる。
【００１７】
更に、特許文献１に記載された手法では、残存している１次元の不定性を、投影したパターンと得られた解とのマッチングを行うことで解消していたが、マッチングが必要とされる分計算時間が増大していた。
【００１８】
本発明は、上記した種々の課題を解決するために成されたものであり、本発明の主たる目的は、動きのある物体の形状を高密度かつ高フレームレートに計測し、この結果得られた２次元画像に映し出された物体の３次元形状を適切に復元する画像処理装置、画像処理方法およびプログラムを提供することにある。
【課題を解決するための手段】
【００１９】
本発明は、２次元画像から３次元形状を復元する画像処理装置であり、前記２次元画像は、３次元空間に存在する物体に対して第１パターンを投光する第１投光手段と、前記第１パターンと前記物体の表面で交わる第２パターンを前記物体に対して投光する第２投光手段と、前記物体で反射した前記第１パターン光および前記第２パターン光を撮影して２次元画像を得る撮影手段とで取得され、前記２次元画像にて前記物体に投影された前記第１パターンである第１曲線と、前記２次元画像にて前記物体に投影された前記第２パターンである第２曲線とを検出し、前記第１曲線と前記第２曲線との交点の座標である交点座標を算出する第１計算部と、前記交点座標、前記第１投光手段および前記第２投光手段のパラメータ、および前記撮影手段のパラメータから、前記第１曲線と前記第１パターンとの対応である第１対応および、前記第２曲線と前記第２パターンとの対応である第２対応を決定する第２計算部と、前記第１対応、前記第２対応又はその両方から、第１パターン光および前記第２パターン光が照射された部分の前記物体の３次元座標を算出することで、前記３次元形状を復元する第３計算部と、を備えることを特徴とする。
【００２０】
更に本発明は、２次元画像から３次元形状を復元する画像処理方法であり、前記２次元画像は、３次元空間に存在する物体に対して第１パターンを投光する第１投光手段と、前記第１パターンと前記物体の表面で交わる第２パターンを前記物体に対して投光する第２投光手段と、前記物体で反射した前記第１パターン光および前記第２パターン光を撮影して２次元画像を得る撮影手段とで取得され、前記２次元画像にて前記物体に投影された前記第１パターンである第１曲線と、前記２次元画像にて前記物体に投影された前記第２パターンである第２曲線とを検出し、前記第１曲線と前記第２曲線との交点の座標である交点座標を算出する第１ステップと、前記交点座標、前記第１投光手段および前記第２投光手段のパラメータ、および前記撮影手段のパラメータから、前記第１曲線と前記第１パターンとの対応である第１対応および、前記第２曲線と前記第２パターンとの対応である第２対応を決定する第２ステップと、前記第１対応、前記第２対応又はその両方から、第１パターン光および前記第２パターン光が照射された部分の前記物体の３次元座標を算出することで、前記３次元形状を復元する第３ステップと、を備えることを特徴とする画像処理方法。
【００２１】
更に本発明は、２次元画像から３次元形状を復元する機能を画像処理装置に実行させるプログラムであり、前記２次元画像は、３次元空間に存在する物体に対して第１パターンを投光する第１投光手段と、前記第１パターンと前記物体の表面で交わる第２パターンを前記物体に対して投光する第２投光手段と、前記物体で反射した前記第１パターン光および前記第２パターン光を撮影して２次元画像を得る撮影手段とで取得され、前記２次元画像にて前記物体に投影された前記第１パターンである第１曲線と、前記２次元画像にて前記物体に投影された前記第２パターンである第２曲線とを検出し、前記第１曲線と前記第２曲線との交点の座標である交点座標を算出する第１機能と、前記交点座標、前記第１投光手段および前記第２投光手段のパラメータ、および前記撮影手段のパラメータから、前記第１曲線と前記第１パターンとの対応である第１対応および、前記第２曲線と前記第２パターンとの対応である第２対応を決定する第２機能と、前記第１対応、前記第２対応又はその両方から、第１パターン光および前記第２パターン光が照射された部分の前記物体の３次元座標を算出することで、前記３次元形状を復元する第３機能と、を実行させることを特徴とするプログラム。
【発明の効果】
【００２２】
本発明は、物体に投影されたパターン同士の交点の情報のみから、不定性のない解を得ることができる。従って、パターンの粗密情報を利用する必要がないため、縦横両方のパターンを密にすることができる。背景技術では、特に細い領域の復元などにおいて、グリッドパターンの接続関係の検出が困難になり、復元が失敗する場合があったが、本発明ではこの問題が大きく軽減される。
【００２３】
更に本発明では、複数のプロジェクタを用いるため、パターンが遮蔽されて形状計測できない部分を大きく減らすことが可能となる。
【００２４】
更にまた、本発明では、解の精度向上のためデブルーイン（ｄｅ Ｂｒｕｉｊｎ）系列に基づいた線ＩＤを用いる手法を採用した。更には、検出された線の隣接情報を用いる手法を採用している。このようにすることで、複数のプロジェクタと１つのカメラ方式を用いた密なワンショット形状計測が実現された。更に、グリッドパターンを用いたワンショット復元の線形解法が実現された。更には、高フレームレートで動物体を計測することが可能となった。
【図面の簡単な説明】
【００２５】
【図１】（Ａ）は本発明の画像処理装置を用いて物体の２次元画像を取得する状態を示す図であり、（Ｂ）は画像処理装置の構成を示す図である。
【図２】本発明の画像処理方法を示すフローチャートである。
【図３】本発明の画像処理装置に含まれるカメラとプロジェクタの位置関係を示す図である。
【図４】本発明の画像処理装置に於いて、プロジェクタの画像面上でのパターン位置を示す図である。
【図５】本発明の画像処理装置を用いた実験シーンを示す図である。
【図６】評価実験のセットアップを示す図であり、（Ａ）は入力画像を示し、（Ｂ）はプロジェクタの配置を示す上面図であり、（Ｃ）はその側面図である。
【図７】本発明を用いて３つの手法による復元結果を同じ座標系に表示した図であり、（Ａ）はグリッドポイントの拘束のみを用いた方法Ａによる復元結果であり、（Ｂ）は隣接情報による拘束を加えた方法Ｂによる復元結果であり、（Ｃ）は隣接情報および線ＩＤを利用した方法Ｃによる復元結果である。
【図８】本発明を用いて２つのペンシルの軸どうしの距離が短い場合に対する評価実験を示す図であり、（Ａ）は入力画像であり、（Ｂ）はプロジェクタの配置を示す図であり、（Ｃ）は側面図である。
【図９】（Ａ）および（Ｂ）は、隣接情報と線ＩＤの利用による精度向上を示す表である。
【図１０】本発明の効果を示す図であり、左側に配置された画像は背景技術によるものであり、右側に配置された画像は本形態によるものであり、上段の画像は入力画像であり、中断の画像は線検出によって得られたグリッドグラフであり、下段の画像は３次元形状復元結果である。
【図１１】本発明の効果を示す図であり、左側に配置された図は入力画像であり、中央に配置された図は検出されたグリッドパターンであり、右側に配置された図は３次元形状復元結果である。
【発明を実施するための形態】
【００２６】
＜第１の実施の形態：画像処理装置＞
図１を参照して、本発明の実施の形態に係る画像処理装置１０の構成を説明する。図１（Ａ）は本形態による装置全体の一例を示す図であり、図１（Ｂ）は画像処理装置１０の構成を示す図である。
【００２７】
図１（Ａ）を参照して、本形態では、画像処理装置１０と、カメラ２８（撮影手段）と、プロジェクタ２４（第１投光手段）と、プロジェクタ２６（第２投光手段）とで、３次元空間中に存在する物体３０の２次元画像を撮影し、撮影された２次元画像から物体の３次元形状を復元している。ここで、カメラ２８とプロジェクタ２４、２６は校正済みである。すなわち、それぞれの内部パラメータおよび、機器間の剛体変換パラメータは既知である。更にまた、カメラ２８、プロジェクタ２４、２６および画像処理装置１０を、本形態の画像処理装置とみなしても良い。
【００２８】
プロジェクタ２４は、被写体である物体３０に対して横パターンを含む光を投光する機能を有し、例えば、ビデオプロジェクタ等の装置が考えられる。その他、ラインレーザ投光機を並べたり組み合わせたりしても良い。あるいはレーザ光源をプリズムやビームスプリッターなどで複数方向に分けて照射しても良い。
【００２９】
プロジェクタ２６は、物体３０に対して縦パターンを投光する。その他のプロジェクタ２６の特徴はプロジェクタ２４と同様である。なお、各プロジェクタからは固定したパターンが投影されるため、カメラ２８とプロジェクタ２４、２６との間で同期の必要が無い。
【００３０】
プロジェクタ２４により投光されたパターン光と、プロジェクタ２６から投光されたパターン光とは物体３０の表面にて交わる。この交わる角度は任意である。
【００３１】
ここで、本形態では、２つのプロジェクタは本質的には単色のパターンでの形状復元が可能であるが、精度と安定性の向上のためにカラーパターンを利用する。具体的には、ｂｅｌｉｅｆｐｒｏｐａｇａｔｉｏｎに基づく線検出と、周期的なパターンであるデブルーイン系列に基づいたカラーコードを用いて、安定した縦・横の線検出と分離を実現する。この方法は、例えば上記した非特許文献１０や非特許文献１３に記載されている。更には、当該事項はＪｏａｑｕｉｍ Ｓａｌｖｉ， Ｊｏａｎ Ｂａｔｌｌｅ， ａｎｄ Ｅｌ Ｍｕｓｔａｐｈａ Ｍｏｕａｄｄｉｂ． Ａｒｏｂｕｓｔ−ｃｏｄｅｄ ｐａｔｔｅｒｎ ｐｒｏｊｅｃｔｉｏｎ ｆｏｒ ｄｙｎａｍｉｃ ３Ｄ ｓｃｅｎｅ ｍｅａ−ｓｕｒｅｍｅｎｔ．Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， １９（１１）：１０５５ １０６５， １９９８．）にも記載されている。
【００３２】
カメラ２８は、物体３０を撮影する手段であり、例えばＣＣＤイメージセンサ等の固体撮像装置が採用される。具体的には、カメラ２８は、プロジェクタ２４、２６から投光されたパターンが物体３０で反射したパターン光を撮影する。更には、これらのパターン光が交わる交点もカメラ２８により撮影される。カメラ２８により２次元画像が撮影され、この２次元画像に基づくデータが画像処理装置１０により画像処理されることで、物体３０の３次元形状が復元される。
【００３３】
図１（Ｂ）を参照して、２次元画像から３次元形状を復元する画像処理装置１０の構成を説明する。
【００３４】
本実施の形態の画像処理装置１０は、画像処理部１２と、制御部１４と、入力部１６と、記憶部１８と、表示部２０と、操作部２２とを主要に具備する。画像処理装置１０の概略的機能は、入力された２次元画像を画像処理して、３次元形状を復元して出力することにある。また、具現化された画像処理装置１０としては、所定の機能を実行するアプリケーション（プログラム）がインストールされたパーソナルコンピュータ等のコンピュータでも良いし、所定の機能を実行するように構成された画像処理専用の機器として構成されても良い。更にまた、画像処理装置１０を構成する各部位は、バスを経由して相互に電気的に接続される。
【００３５】
画像処理部１２は、主たる画像処理の機能を果たす部位であり、第１計算部１２Ａと、第２計算部１２Ｂと、第３計算部１２Ｃとを含む。
【００３６】
第１計算部１２Ａは、撮影された２次元画像から、物体３０に投影された縦パターンの縦曲線および横パターンの横曲線と、両パターンの交点座標を算出する機能を備えている。
【００３７】
第２計算部１２Ｂは、各プロジェクタのパラメータ、カメラのパラメータおよび前記光点座標から、対応を決定する機能を備えている。具体的には、プロジェクタ２６から投影される縦パターンと画像から検出された縦曲線との第１対応およびプロジェクタ２４から投影される横パターンと画像から検出された横曲線との第２対応を決定している。
【００３８】
第３計算部１２Ｃは、得られた第１対応、第２対応またはこれらの両方から、両パターン光が照射された部分の３次元座標を決定する機能を備えている。
【００３９】
上記した画像処理部を構成する各部位の詳細は、画像処理方法として以下に詳述する。ここで、画像処理部１２に含まれる計算部は必ずしも上記した３つである必要はなく、必要に応じて計算部の個数は増減されても良い。
【００４０】
制御部１４は、画像処理装置１０全体（画像処理部１２、入力部１６、記憶部１８、表示部２０）の動作を制御している部位である。
【００４１】
入力部１６は、外部から画像処理装置１０に情報が入力される部位である。本実施の形態では、２次元画像である動画像または静止画像が入力される。
【００４２】
記憶部１８は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）に代表される固定式の記憶ディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）やＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等の着脱式記憶ディスク、固定式あるいは着脱式の半導体メモリ等である。本実施の形態では、記憶部１８には、処理前の２次元画像、当該２次元画像から復元された３次元形状或いは処置途中のデータ等が記憶される。
【００４３】
更に、記憶部１８には、下記する画像処理方法を画像処理装置１０に実行させるためのプログラムが格納される。このプログラムは、使用者が操作部２２を操作することにより呼び出されて、入力された２次元画像のデータから、３次元形状のデータを復元するように、上記した各部位の機能を実行させる。
【００４４】
表示部２０は、例えば液晶ディスプレイ、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ビデオプロジェクタであり、入力された２次元画像や、この２次元画像を基に復元された３次元形状が表示される。
【００４５】
操作部２２は、例えば、キーボードやマウスであり、使用者がこの操作部２２を操作することにより、画像処理装置１０は２次元画像から３次元形状を復元する。
【００４６】
＜第２の実施の形態：画像処理方法＞
上記構成の画像処理装置１０を用いて２次元画像に映し出された物体の３次元形状を復元する方法を以下に説明する。
【００４７】
図２を参照して、本形態の画像処理方法は、物体の２次元画像を撮影するステップＳ１０と、撮影された２次元画像から縦パターン曲線と横パターン曲線とを抽出するステップＳ１１と、これらのパターン曲線の交点を検出するステップＳ１２と、この交点からパターン曲線の連立方程式を導出するステップＳ１３と、連立方程式からパターン曲線の３次元形状を得るステップＳ１４とを備えている。ここで、ステップＳ１３にて連立方程式を導出することは、各パターンと各曲線との対応関係を決定することと等価である。
【００４８】
本形態の具現化された画像処理手法を以下にて説明する。
【００４９】
先ず、ステップＳ１０では、図１に示したシステムを用いて、プロジェクタ２４おおよびプロジェクタ２６からパターン光を物体３０に向けて投光する。ここでは、プロジェクタ２４から、横方向に直線状に伸びる横パターン光を物体３０に投光する。そしてプロジェクタ２６から、縦方向に直線状に伸びる横パターン光を物体３０に投光する。この結果、物体３０の表面に両パターン光が投光され、両パターン光の交点が物体３０の表面に存在する。この状態の物体３０をカメラ２８で撮影する。このことにより、各パターン光が照射された物体３０の２次元画像が得られる。この２次元画像に基づく画像データは、画像処理装置１０に伝送される。
【００５０】
次にステップＳ１１では、２次元画像から縦パターン曲線および横パターン曲線を抽出する。２次元画像からカラーコードを安定に検出するには、全体の色数を減らすことが望ましい。そこで、縦・横のパターンに同じ色を用いつつ、それらを識別するために、非特許文献２において提案された線検出法を用いる。
【００５１】
本形態で使用されるデブルーイン系列は、それぞれの線に与えられた線ＩＤの決定に用いられる。長さｎ、記号数ｑのデブルーイン系列は、長さｑｎの数列であり、長さｎの部分数列を観測すれば、数列中の位置が一意に特定可能という特徴を持つ。投影パターンを画像中で区別できる２つ以上の記号でコード化した場合、投影パターンと観測パターン間の対応が長さｎの数列のマッチングによって一意に決まる。非特許文献１０、非特許文献１０、非特許文献１３ではグローバルに一意なＩＤを決定するため、大きなｑとｎの値が用いられていたが、本形態では非特許文献２のように、小さな値を用いて生成されたパターンを用いる。
【００５２】
これは、本形態ではデブルーインＩＤは、ノイズなどの影響による誤推定の修正にのみ利用されるため、局所的な一意性が確保されれば十分なためである。小さいｑとｎのため、ＩＤを決定するために必要な連続パターン数が少なくて済み、少数の色でＩＤを表現できるので、形状の凹凸や、画像処理の影響を受けにくくなる。本形態では色数ｑ＝２、およびコードの長さｎ＝３を用いた。すなわち、カラーパターンの周期は８本となり、各線に与えられる線ＩＤは０から７となる。また、オクルーディングエッジなどにおいて起こる線の誤接続も、このデブルーインＩＤを用いて解消することができる。
【００５３】
縦パターンと横パターンの交点の位置はサブピクセル精度で計算される（ステップＳ１２）。また検出された線の連続性を用いて、隣接する交点が分かるので、線検出の結果として、交点を格子状に接続したグリッドグラフが得られる。この交点座標と、交点の接続情報であるグリッドグラフにより、以下で述べる手法により３次元復元が実現される。
【００５４】
ここで、最小構成である２つのプロジェクタと１つのカメラを用いた復元方法について述べる。あるプロジェクタから一組の平行線を投影すると、各線の３次元空間中での軌跡は平面であり、その全ての平面はある一つの直線を共有する。すなわち、この直線を軸とするｐｅｎｃｉｌ ｏｆ ｐｌａｎｅｓ（同一の直線を共有する面の集合を表し、以下ペンシルと表記する）の要素である。平面を３個のパラメータで表し、その３次元ベクトルを３次元空間の点と見なした時、この点を平面の双対と呼び、その空間を双対空間と呼ぶ。平面の双対は点であり、ペンシルの双対は直線となる。このことから、直線中の点を１パラメータで表現するのと同じように、特定のペンシル中の平面を１パラメータで表現できる。この時、グリッドの交点位置から、パターン平面のパラメータに関する線形方程式を作成することが可能である（ステップＳ１３）。
【００５５】
これまで非特許文献２において、単一のプロジェクタによって縦・横の線を投影し、３次元復元する手法が提案されている。また、この方法はＲｙｏ Ｆｕｒｕｋａｗａ， Ｈｉｒｏｓｈｉ Ｋａｗａｓａｋｉ， Ｒｙｕｓｕｋｅ Ｓａｇａｗａ， ａｎｄ Ｙａｓｕｓｈｉ Ｙａｇｉ． Ｓｈａｐｅ ｆｒｏｍ ｇｒｉｄ ｐａｔｔｅｒｎ ｂａｓｅｄ ｏｎ ｃｏｐｌａ−ｎａｒｉｔｙ ｃｏｎｓｔｒａｉｎｔｓ ｆｏｒ ｏｎｅ−ｓｈｏｔ ｓｃａｎｎｉｎｇ．ＩＰＳＪ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ， １：１３９ １５７， ２００９．でも述べられている。
【００５６】
上記文献において、縦・横の線の交点はグリッドポイントと呼ばれる。上記文献より、縦パターン平面が通過する軸と、横パターン平面が通過する軸は、プロジェクタの光学中心で交わる。これにより、グリッドポイントの情報から得られる線形方程式の定数項が消去されるため、構成される連立方程式は、必ず不定性を持つ方程式となる。
【００５７】
上記文献においては、線の粗密情報をパターンに付与し、残っている１次元の不定性を、投影したパターンと得られた解とのマッチングを行うことで解消する手法としていた。また、非特許文献３は、デブルーインＩＤにより、この不定性を解消している。
【００５８】
これに対して、本形態では、複数のプロジェクタを利用し、縦平面と横平面を異なるプロジェクタで投影することで一意な解を得る。即ち、図３に示すように、縦パターン平面は、プロジェクタの光学中心を通る直線ｌｖを共有する（つまり、ｌｖを軸とするペンシルである。）。同様に横パターン平面はｌｈを共有する。カメラで観測された、縦横のパターン光で照射された曲線が、それぞれ、プロジェクタから投影されたどのパターンに対応するかは未知である。この情報を、観測された曲線についての方程式から復元する。ｌｖとｌｈがねじれの位置になるようにプロジェクタを配置すると、得られる方程式は、定数項を持つ線形方程式となり、一般に解は不定性を持たない。このため、線形方程式のみから一意に解を定めることが出来る。
パターン平面ｐを
【００５９】
【数１】
で表す。このとき、３次元ベクトルｐ＝（ｐ１、ｐ２、ｐ３）Ｔは、平面のパラメータベクトルである。ベクトルｐは、元の平面の双対ベクトルとも呼ばれる。ベクトルｐの空間は、元の空間の双対空間とも呼ばれる。ある縦パターン平面をｖａとし、ｖａと異なる縦パターン平面をｖｂとする。このとき、ｖａ、ｖｂの交線であるｌｖを含む平面の集合は、以下の式で表現される。
【００６０】
【数２】
この式は、３次元空間中における直線の式と同じ形をしており、縦パターン平面の集合が、双対空間中でｖａ、ｖｂを通る直線に含まれることを表す。この直線を表現するために、直線上の任意の点ｖ０と、直線の方向ベクトル（あるいは無限遠点を正規化したもの）ｖｉｎｆを用いて、
【００６１】
【数３】
と表現することが出来る。ここで、μは、プロジェクタで投影する画像上の各ラインに対して定義できるパラメータである。
【００６２】
ｖ０はｌｖを含む平面の集合から任意に選ぶことが出来る。また、ｌｖを含む平面には、カメラの光学中心を通過する唯一の平面が存在するが、ｖｉｎｆは、その平面の法線ベクトルに一致する。式（１）は、平面がカメラの光学中心を通らないことを仮定しているが、カメラの光学中心に平面が近づくと、パラメータｐは双対空間中でｖｉｎｆの方向の無限遠点に近づく。
【００６３】
横パターンの集合も、同様に、
【００６４】
【数４】
と表されるとする。
【００６５】
ある縦パターンｖと横パターンｈの交点が、正規化カメラ座標において（ｓ、ｔ）で観測されたとする。この時、ｖ、ｈの双対ベクトルをｖ、ｈとし、ｕ＝（ｓ、ｔ、−１）Ｔとすると、
【００６６】
【数５】
である。式（４）、（２）を代入して、
【００６７】
【数６】
を得る。
【００６８】
上記の式はグリッドポイントごとに得られるので、これから線形連立１次方程式を作ることが出来る。ｉ番目の縦平面について、式（２）のパラメータμをμｉ、同様にｊ番目の横平面について、式（４）のパラメータρをρｊとする。また、Ｋ個のグリッドポイントが検出されたとして、そのうちｋ番目のグリッドポイントｕｋ＝（ｓｋ、ｔｋ、−１）が、α（ｋ）番目の縦平面とβ（ｋ）番目の横平面との交点であるとする。この時、
【００６９】
【数７】
がｋ＝１、・・・、Ｋについて成立する。
【００７０】
数式７と類似の数式は、非特許文献２でも与えられるが、上記文献との大きな違いとして、本形態においては、数式７には定数項があり、この項は、変数の置き換えなどによって消去されない。非特許文献２では、そのままで、あるいは変数の置き換えによって、定数項を消去することが出来るので、線形方程式の解が唯一ではなかったが、本形態では唯一の解が線形方程式から求められる。
【００７１】
さらに、パターン同士の隣接情報が与えられている場合、それを利用した拘束式を作ることが出来る。特に、パターン上の隣接するラインどうしのμの差が一定値の場合（パターン平面の集合が、双対空間中で等間隔に並ぶ場合に相当する）は、拘束式が以下に述べるように線形となり都合が良い。そこで、本形態では、このように、μは隣接するパターンにおいて一定間隔で変化するという線形関係があると仮定し、以下議論を進める。
【００７２】
後述するように、これは投影するパターンの間隔を調整するか、プロジェクタの配置を工夫することで常に成立させることが出来るため、この仮定により手法の一般性が失われることはない。Ｌ個のパターンのペアが隣接する場合を考える。ｌ番目のペアがγ（ｌ）番目の縦平面とδ（ｌ）番目の縦平面である場合、
【００７３】
【数８】
となる。Ｄは定数であり、ｖ０、ｖｉｎｆの取り方と、μγ（ｌ）、μδ（ｌ）の順序関係からあらかじめ決定できる。
【００７４】
式（７）、（８）から得られるμｉとρｊに関する線形連立方程式を解くことで、検出された各曲線のパターン平面を決定できる。
【００７５】
実際の計算においては、行列方程式Ａｘ＝ｂを生成する。ただしｘは、検出された縦パターン及び横パターンのパラメータμｉ、ρｊを並べてベクトルにしたものである。十分な交点と隣接情報があれば、Ａの行数は列数より大きいので、擬似逆行列を用いてｘ＝（ＡＴＡ）−１ＡＴｃによって解を求める。（ＡＴＡ）−１の計算にはＬＵ分解による方程式解法を利用すればよい。
【００７６】
上記方程式で得られる解は、縦パターンまたは横パターンの、観測された曲線について、対応するパターン平面の位置情報を表すものである。この情報が求められると、三角測量の原理によって、その曲線を３次元復元できる。ここで、縦パターンおよび横パターンの両方で観測された曲線が用いられても良い（ステップＳ１４）。
【００７７】
上記の位置情報は、方程式から得られた解をそのまま利用してもよいが、投影されるパターン平面は有限であり、位置は既知であるので、これらの既知の平面集合と照合し、近い平面を、対応する平面としても良い。これにより、方程式から得られた解の精度が高ければ、校正誤差以外の誤差のない３次元復元を行うことが出来る。
【００７８】
次に、プロジェクタとカメラの配置について説明する。
【００７９】
一般に、プロジェクタの画像上のラインパターンが一定間隔であっても、式（３）におけるμはパターン座標に比例した値とはならない（つまり、パターン平面の双対が一定間隔にならない）。このため、μがパターンに応じて線形となるためには、プロジェクタとカメラとの間の剛体変換に従って、投影するパターンを毎回計算する必要がある。この場合、プロジェクタとカメラの位置関係を変更する度にパターンを変更することになり利便性が損なわれる。
【００８０】
もう一つの方法として、一定間隔のパターンを投影した場合であっても、μと、プロジェクタの画像面上での位置関係が線型となるような配置が考えられる。プロジェクタの光学中心を通り、プロジェクタの画像面に平行な平面を、Ｏ． Ｆａｕｇｅｒａｓ．Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ： Ａ ｇｅｏ−ｍｅｔｒｉｃ ｖｉｅｗｐｏｉｎｔ． Ｔｈｅ ＭＩＴ ｐｒｅｓｓ， Ｃａｍｂｒｉｄｇｅ， ＭＡ， １９９３．に倣ってプロジェクタの焦点面（ｆｏｃａｌ ｐｌａｎｅ）と呼ぶことにする。
【００８１】
図４に示すように、プロジェクタの焦点面にカメラの光学中心が含まれるようにし、さらにプロジェクタの光軸を含むパターン平面の双対を、ｖ０とする。この時、等間隔のグリッドから生成される縦パターン平面の集合が、双対空間中でも等間隔の点となる。このことは、直感的には、画像面上でのパターンの無限遠の位置と、双対空間中での無限遠点（カメラの光学中心を含む平面）が一致することから示される。本形態ではプロジェクタとカメラが、このように配置されているとすると、パターンの隣接関係を線形方程式に組み入れることが出来る。
【００８２】
このような配置の例としては、縦パターンプロジェクタ（第１投光手段）の正面方向と、カメラから、縦パターンプロジェクタ（第１投光手段）光学中心に向かう方向とが直交し、かつ、横パターンプロジェクタ（第２投光手段）の正面方向と、カメラから、横パターンプロジェクタ（第２投光手段）光学中心に向かう方向とが、直交する配置がある。
【００８３】
上記の配置が満たされないばあい、隣接関係は線形方程式にはならないが、解の非線形な制約条件としては利用できる。
次に、デブルーイン系列を用いた精度向上に関して説明する。上記したように、線型連立方程式から、検出された曲線を含むパターン平面の３次元位置を一意に決定できる。しかし、実際には、画像処理における誤差の影響で誤った線およびグリッドポイントが検出された場合、得られる解に誤差が生じることが生じる。そこで本形態では、デブルーイン系列によって曲線に付けられた周期的な線ＩＤを利用して、解の誤差を修正する。本形態ではカメラとプロジェクタは校正済みであると仮定しているため、プロジェクターから投影されるパターン平面のパラメータと、それぞれの平面のデブルーイン系列の線ＩＤは既知である。このとき、可能な解はこれらの平面に対して面の位置と線ＩＤが一致するものに限られる。この原理を利用して解の修正を行う。具体的には、上記で得られた検出された曲線についての解の周辺で、投影パターンのＩＤが一致するものと対応させ、各交点の条件である式（５）が成立しているかどうかを調べる。この条件は、実際には２枚の平面の交線をカメラに投影したものと、検出されたグリッドポイントとの画像上での距離が０であることを表す。そこで、これらの距離を各グリッドポイントについて求め、それらの二乗和を求め、それが小さい解を選べば良い。
【００８４】
上記の手順において、「曲線についての解の周辺」を探索する場合、全ての平面について変数を変化させると、大きな次元の空間を探索する必要がある。計算時間の短縮のためには、線形方程式の係数行列Ａについて、（ＡＴＡ）の最小固有値に対応する固有ベクトルを求め、このベクトルの方向に解を探索すると、効率がよい。これは、上記の方程式において、誤差が出やすい方向は、多くの場合１次元空間であることから正当化される。隣接関係が非線形な制約条件となるばあい、上記の精度向上と同様な方法で、精度向上の手段として、隣接関係を利用しても良い。
【００８５】
パターン同士の隣接関係を線形方程式に利用した場合、縦パターンが共有する直線（第１投光手段の軸）と、縦パターンが共有する直線（第２投光手段の軸）とは、特殊な場合を除いて、交わっていても唯一の解が求められる。しかし、パターン同士の隣接関係を線形方程式に利用しない場合には、これらの軸が交わる場合、方程式に不定性が生じる。このため、隣接関係が得られない場合、これらの軸が交わらないようにプロジェクタを配置する必要がある。
【００８６】
上記のように、線形方程式を直接解く手法とは異なる解法も考えられる。既に述べたように、投影されるパターン平面は有限であり、位置は既知であるので、解（観測された曲線と、投影される既知のパターン平面との対応）の候補は有限である。そこで、数式７、数式８が成立する解を、組み合わせ最適化による探索で求めても良い。この場合、ある曲線Ａについての対応を仮説として採用すると、その曲線の位置が決定し、数式７、数式８から、曲線Ａと交わる曲線Ｂや、あるいは、曲線Ａと隣接する曲線Ｃについての位置情報が得られ、ＢあるいはＣの対応の仮説も限定される。このようにして、次々と曲線に対するパターン平面の対応を求めることで、限定された仮説の中から、数式７，８の条件を最もよく満たす仮説を求めることで、解を求めることもできる。
【００８７】
＜第３の実施の形態：実験結果＞
本形態では、上記した本形態の画像処理装置および画像処理方法を用いた実験結果を説明する。
【００８８】
本形態の実験では、図５に示すように、１台のカメラと２台のプロジェクタを配置し計測を行った。各装置の配置は観測対象によって毎回調整を行い、人物の計測においては、カメラ−プロジェクタの間隔は約１ｍ、相対角は約２５度とした。カメラの解像度は１２８０ｘ９６０ピクセルでフレームレートは１５ＦＰＳ、プロジェクタの解像度は１０２４ｘ７６８ピクセルである。
【００８９】
先ず、隣接情報および線ＩＤを用いた解の精度向上の評価を説明する。具体的には、隣接情報および線ＩＤを用いて形状復元を行う効果について、次の３つの条件で立方体を観測し、３次元復元結果を比較した。
（方法Ａ）：グリッドポイントから得られる拘束のみの利用
（方法Ｂ）：グリッドポイントと隣接情報の拘束の利用
（方法Ｃ）：グリッドポイントと隣接情報の拘束に加え、線ＩＤを用いた解修正の利用
復元した点データを２つの平面に当てはめ、面当てはめの二乗平均平方根誤差（ｒｏｏｔ ｍｅａｎ ｓｑｕａｒｅ ｅｒｒｏｒ、 ＲＭＳＥ）と２面間の角度を評価した。実験環境においてカメラから観測対象までの距離は１．６ｍであった。
【００９０】
入力画像とプロジェクタの配置を図６に示す。立方体の２面を３次元形状復元した結果を図７に示し、平面間の角度および平面当てはめにおけるＲＭＳ誤差を図９（Ａ）の表に示す。これらの結果より、２面間の角度は、隣接情報（方法Ｂ）、線ＩＤ（方法Ｃ）を使うことにより、９０度に近づくため、形状の精度が改善されていることが分かる。グレイコードを使った時間エンコード法と比較すると、方法Ｃでは、線ＩＤを用いた対応付けによって、正しい対応が得られたため線検出による誤差を除き、グレイコード法と同じ結果が得られた。
【００９１】
３次元形状復元結果を平面に当てはめた際のＲＭＳ誤差は追加情報を与える毎に大きくなった。これは以下の理由により、自然な結果である。追加情報がない場合には縦線と横線それぞれを復元すると、交点においてその間の距離を最小化する最適化のため、縦線と横線のずれが小さくなり、結果として平面当てはめ時のＲＭＳ誤差は小さくなる。逆に隣接関係や線ＩＤの拘束を追加する場合、縦線と横線のずれが大きくなり、平面当てはめ時の誤差が大きくなる。これは、実際のシステムにおいては、画面全体にわたりサブピクセル以下の精度で校正を行うことが困難なためである。
【００９２】
次に、図８に示したプロジェクタの配置を用いて、２つのペンシルの軸どうしの距離が短い場合について評価を行った。同様に立方体の計測を行い、３次元形状復元した結果を２個の平面に当てはめ、面間の角度および当てはめ時のＲＭＳ誤差を図９（Ｂ）に示す。カメラと観測対象間の距離は３．７ｍであった。この条件の下では、方法Ａはランク落ちにより失敗したが、方法Ｂ、Ｃでは、隣接情報による拘束を用いることで３次元形状復元が可能となることが示された。
【００９３】
次に、小物体の形状復元に関して説明する。具体的には、１プロジェクタのみを用いる従来法によるワンショット形状復元（非特許文献２）との比較を行った。従来法では線形解法で残っていた１自由度を決定するために１次元探索が必要であったが、本形態では必要ないため、非特許文献２と比べて密なパターンが利用できる。その利点は細い指などの細かな形状の復元が容易になることである。
【００９４】
図１０は両手法による結果の比較である。上段は入力画像、中段は線検出によって得られたグリッドグラフ、下段は３次元形状復元結果である。左側に示す従来法ではパターンの不足から指が欠けているのに対し、右側に示す本形態では、指が欠けることなく形状復元できていることが分かる。
【００９５】
最後に、人体の密な形状計測を確認するために、動いている人物の上半身を計測した。図１１は、複数のポーズについての形状復元結果である。この図において、列（Ａ）は入力画像であり、線検出処理によって線検出およびラインＩＤを決定した結果が列（Ｂ）である。各線の色（ここでは濃淡）によってラインＩＤを表している。列（Ｃ）は線検出結果を用いた形状復元結果の結果である。脇腹や肩といったいくつかの部分では、片方のプロジェクタから死角になっており、縦あるいは横のパターンしか投影されていない部分がある。しかし、そのパターンが死角になっていない部分とつながることにより、形状復元されていることが分かる。これは、複数のプロジェクタを用いる本形態の利点の１つと言える。
【符号の説明】
【００９６】
１０ 画像処理装置
１２ 画像処理部
１２Ａ 第１計算部
１２Ｂ 第２計算部
１２Ｃ 第３計算部
１４ 制御部
１６ 入力部
１８ 記憶部
２０ 表示部
２２ 操作部
２４ プロジェクタ
２６ プロジェクタ
２８ カメラ
３０ 物体
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびプログラムに関し、特に、入力された２次元画像に映し出された物体の３次元形状を復元する画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
高密度かつ高フレームレートでダイナミックな動きのある対象物体の３次元計測が必要とされている。例えば、運動する人物の筋肉の変化や、物体が破裂する瞬間の構造解析などは、高密度で高フレームレートでの形状復元が望まれている。
【０００３】
このような、実用的な３次元計測ではこれまで、アクティブ計測法が主な解決策と考えられてきた。特にダイナミックに変化するオブジェクトに関しては、短時間に広範囲を取得可能なプロジェクタを利用した方法が適している。しかし、プロジェクタによるアクティブ手法を、動物体の高密度な形状計測に用いることには、本質的な課題がある。
【０００４】
プロジェクタを用いた３次元計測として、主に、時間エンコード法と空間エンコード法の２つが知られている。時間エンコード法は複数のパターンを投影する手法のため、動いている物体の高フレームレートでの計測には本質的に適していない。また、広い範囲をカバーしようとして複数のプロジェクタを利用する場合、同期を取ることが難しい。一方で、空間エンコード手法の場合、各プロジェクタの投影パターンは不変であり、撮影画像も一枚で済むため動きのある物体の計測には適しているが、パターン自体が複雑なため、物体表面の色や形状との干渉などの問題が生じ、しばしば画像処理が困難となる。
【０００５】
もし、固定された単色ラインパターンを投影した１フレームの画像から形状復元できれば、上記問題を全て解消することができる。そのような手法として、縦・横の直線からなるグリッドパターンを用いた、共面性拘束原理（ｃｏｐｌａｎａｒｉｔｙ ｃｏｎｓｔｒａｉｎｔ：ＣＯＰ）に基づくワンショット復元手法（ｓｈａｐｅ ｆｒｏｍ ｇｒｉｄ ｐａｔｔｅｒｎ：ＳＦＧ）が最近提案されている（非特許文献１）、（非特許文献２）、（非特許文献３）。
【０００６】
実用的な３次元計測ではセンサから光を投影するアクティブ手法が多く利用されてきた。特に、効率化のためにビデオプロジェクタを用いた手法が多く提案されている（非特許文献４）、（非特許文献５）。プロジェクタを用いたアクティブ手法に関して、これまでに大きく分けて、時間エンコード法と空間エンコード法の２種類の手法が提案されてきた。
【０００７】
近年、ハイスピードカメラとＤＬＰプロジェクタを用いて、ダイナミックシーンを形状復元する研究が行われている。Ｗｅｉｓｅらは位相シフト法に基づいたパターン投影とステレオ視を組み合わせたシステムを提案した（非特許文献６）。ＮａｒａｓｉｍｈａｎらはＤＬＰプロジェクタが生成する高速な時系列パターンを識別して形状復元を行う方法を提案した（非特許文献７）。また、形状の復元に必要なパターン数を削減する研究も行われている（非特許文献８）、（非特許文献５）。
【０００８】
一方で、空間エンコード法では、パターンが固定されているため、映像中の１フレームのみから形状復元が可能であり、ダイナミックシーンの計測に適している（非特許文献９）、（非特許文献１０）、（非特許文献１１）、（非特許文献１２）、（非特許文献１３）。
【０００９】
更にまた、上記した問題の対処方法の一つが特許文献１に記載されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００９−３００２７７号公報
【非特許文献】
【００１１】
【非特許文献１】Ｈｉｒｏｓｈｉ Ｋａｗａｓａｋｉ， Ｒｙｏ Ｆｕｒｕｋａｗａ， ， Ｒｙｕｓｕｋｅ Ｓａｇａｗａ， ａｎｄ Ｙａｓｕｓｈｉ Ｙａｇｉ． Ｄｙｎａｍｉｃ ｓｃｅｎｅ ｓｈａｐｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｕｓｉｎｇ ａ ｓｉｎｇｌｅ ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ ｐａｔｔｅｒｎ． ＩｎＣＶＰＲ， ｐａｇｅｓ １ ８， Ｊｕｎｅ ２３−２８ ２００８．
【非特許文献２】Ｒｙｕｓｕｋｅ Ｓａｇａｗａ， Ｙｕｉｃｈｉ Ｏｔａ， Ｙａｓｕｓｈｉ Ｙａｇｉ， Ｒｙｏ Ｆｕｒｕｋａｗａ， Ｎａｏｋｉ Ａｓａｄａ， ａｎｄ Ｈｉｒｏｓｈｉ Ｋａｗａｓａｋｉ． Ｄｅｎｓｅ ３ｄ ｒｅｃｏｎｓｔｒｕｃ−ｔｉｏｎ ｍｅｔｈｏｄ ｕｓｉｎｇ ａ ｓｉｎｇｌｅ ｐａｔｔｅｒｎ ｆｏｒ ｆａｓｔ ｍｏｖｉｎｇ ｏｂｊｅｃｔ． Ｉｎ ＩＣＣＶ， ２００９．
【非特許文献３】Ａｌｉ Ｏｓｍａｎ Ｕｌｕｓｏｙ， Ｆａｔｉｈ Ｃａｌａｋｌｉ， ａｎｄ Ｇａｂｒｉｅｌ Ｔａｕｂｉｎ． Ｏｎｅ−ｓｈｏｔ ｓｃａｎｎｉｎｇ ｕｓｉｎｇ ｄｅ ｂｒｕｉｊｎ ｓｐａｃｅｄ ｇｒｉｄｓ． ＩｎＴｈｅ ７ｔｈ ＩＥＥＥ Ｃｏｎｆ． ３ＤＩＭ， ２００９．
【非特許文献４】Ｊ． Ｂａｔｌｌｅ， Ｅ． Ｍｏｕａｄｄｉｂ， ａｎｄ Ｊ． Ｓａｌｖｉ． Ｒｅｃｅｎｔ ｐｒｏｇｒｅｓｓ ｉｎｃｏｄｅｄ ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ ａｓ ａ ｔｅｃｈｎｉｑｕｅ ｔｏ ｓｏｌｖｅ ｔｈｅ ｃｏｒｒｅｓｐｏｎ−ｄｅｎｃｅ ｐｒｏｂｌｅｍ： ａ ｓｕｒｖｅｙ．Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ３１（７）：９６３ ９８２， １９９８．
【非特許文献５】Ｍａｒｋ Ｙｏｕｎｇ， Ｅｒｉｋ Ｂｅｅｓｏｎ， Ｊａｍｅｓ Ｄａｖｉｓ， Ｓｚｙｍｏｎ Ｒｕｓｉｎｋｉｅｗｉｃｚ， ａｎｄ Ｒａｖｉ Ｒａｍａｍｏｏｒｔｈｉ． Ｖｉｅｗｐｏｉｎｔ−ｃｏｄｅｄ ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ． ＩｎＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）， Ｊｕｎｅ ２００７．
【非特許文献６】Ｔ． Ｗｅｉｓｅ， Ｂ． Ｌｅｉｂｅ， ａｎｄ Ｌ． Ｖａｎ Ｇｏｏｌ． Ｆａｓｔ ３ｄ ｓｃａｎｎｉｎｇ ｗｉｔｈ ａｕｔｏｍａｔｉｃ ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ． ＩｎＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ’０７）， ｐａｇｅｓ １ ８， Ｊｕｎｅ ２００７．
【非特許文献７】Ｓ．Ｇ． Ｎａｒａｓｉｍｈａｎ， Ｓ．Ｊ． Ｋｏｐｐａｌ， ａｎｄ Ｓ． Ｙａｍａｚａｋｉ． Ｔｅｍｐｏｒａｌ ｄｉｔｈｅｒｉｎｇ ｏｆ ｉｌｌｕｍｉｎａｔｉｏｎ ｆｏｒ ｆａｓｔ ａｃｔｉｖｅ ｖｉｓｉｏｎ． ＩｎＥｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ｖｏｌｕｍｅ ４， ｐａｇｅｓ ８３０ ８４４，Ｏｃｔｏｂｅｒ ２００８．
【非特許文献８】Ｏ． Ｈａｌｌ−Ｈｏｌｔ ａｎｄ Ｓ． Ｒｕｓｉｎｋｉｅｗｉｃｚ． Ｓｔｒｉｐｅ ｂｏｕｎｄａｒｙ ｃｏｄｅｓ ｆｏｒ ｒｅａｌ−ｔｉｍｅ ｓｔｒｕｃｔｕｒｅｄ−ｌｉｇｈｔ ｒａｎｇｅ ｓｃａｎｎｉｎｇ ｏｆ ｍｏｖｉｎｇ ｏｂ−ｊｅｃｔｓ． ＩｎＩＣＣＶ， ｖｏｌｕｍｅ ２， ｐａｇｅｓ ３５９ ３６６， ２００１．
【非特許文献９】Ｃ． Ｆｒｕｅｈ ａｎｄ Ａ． Ｚａｋｈｏｒ． Ｃａｐｔｕｒｉｎｇ２１／２ｄ ｄｅｐｔｈ ａｎｄ ｔｅｘ−ｔｕｒｅ ｏｆ ｔｉｍｅ−ｖａｒｙｉｎｇ ｓｃｅｎｅｓ ｕｓｉｎｇ ｓｔｒｕｃｔｕｒｅｄ ｉｎｆｒａｒｅｄ ｌｉｇｈｔ． ＩｎＰｒｏｃ． ｔｈｅ ５ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ３−Ｄ Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｍｏｄｅｌｉｎｇ， ｐａｇｅｓ ３１８ ３２５， ２００５．
【非特許文献１０】Ｃｈａｎｇｓｏｏ Ｊｅ， Ｓａｎｇ Ｗｏｏｋ Ｌｅｅ， ａｎｄ Ｒａｅ−Ｈｏｎｇ Ｐａｒｋ． Ｈｉｇｈ−ｃｏｎｔｒａｓｔ ｃｏｌｏｒ−ｓｔｒｉｐｅ ｐａｔｔｅｒｎ ｆｏｒ ｒａｐｉｄ ｓｔｒｕｃｔｕｒｅｄ−ｌｉｇｈｔ ｒａｎｇｅ ｉｍａｇｉｎｇ． ＩｎＥＣＣＶ， ｖｏｌｕｍｅ １， ｐａｇｅｓ ９５ １０７， ２００４．
【非特許文献１１】Ｔｈｏｍａｓ Ｐ． Ｋｏｎｉｎｃｋｘ ａｎｄ Ｌｕｃ Ｖａｎ Ｇｏｏｌ． Ｒｅａｌ−ｔｉｍｅ ｒａｎｇｅ ａｃ−ｑｕｉｓｉｔｉｏｎ ｂｙ ａｄａｐｔｉｖｅ ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ．ＩＥＥＥ Ｔｒａｎｓ． ｏｎ ＰＡＭＩ， ２８（３）：４３２ ４４５， Ｍａｒｃｈ ２００６．
【非特許文献１２】Ｐ． Ｖｕｙｌｓｔｅｋｅ ａｎｄ Ａ． Ｏｏｓｔｅｒｌｉｎｃｋ． Ｒａｎｇｅ ｉｍａｇｅ ａｃｑｕｉｓｉｔｉｏｎ ｗｉｔｈ ａ ｓｉｎｇｌｅ ｂｉｎａｒｙ−ｅｎｃｏｄｅｄ ｌｉｇｈｔ ｐａｔｔｅｒｎ．ＩＥＥＥ Ｔｒａｎｓ． Ｐａｔ−ｔｅｒｎ Ａｎａｌ． Ｍａｃｈ． Ｉｎｔｅｌｌ．， １２（２）：１４８ １６４， １９９０．
【非特許文献１３】Ｌ． Ｚｈａｎｇ， Ｂ． Ｃｕｒｌｅｓｓ， ａｎｄ Ｓ． Ｓｅｉｔｚ． Ｒａｐｉｄ ｓｈａｐｅ ａｃｑｕｉｓｉｔｉｏｎ ｕｓｉｎｇ ｃｏｌｏｒ ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ ａｎｄ ｍｕｌｔｉ−ｐａｓｓ ｄｙｎａｍｉｃｐｒｏｇｒａｍｍｉｎｇ． ＩｎＰｒｏｃ． Ｆｉｒｓｔ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ３ＤＤａｔａ Ｐｒｏｃｅｓｓｉｎｇ Ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ Ｔｒａｎｓｍｉｓｓｉｏｎ， ｐａｇｅｓ ２４ ３６， ２００２．
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、上記した文献に記載された技術には以下のような問題があった。
【００１３】
非特許文献１〜非特許文献３に記載のＳＦＧでは、唯一の解を得るために、パターンの線の間隔の粗密情報を利用する。このため、縦横両方のパターンを十分密にすることが出来ないという制約があった。これは、計測の密度低下の原因になるばかりでなく、細い、あるいは小さな形状において、交点が不足しやすくなり、形状復元が行えなくなるという問題を生じさせる。
【００１４】
非特許文献４および非特許文献５に記載された技術事項では、時間エンコード法を利用する場合、静的シーンでは安定した高精度の復元が可能であるが、複数の異なるパターンを投影することが必要なため、ダイナミックなシーンに利用することが本質的に難しい。
【００１５】
非特許文献６〜非特許文献８に記載された手法では、これらの手法は高フレームレートで奥行き情報を取得することができるが、時系列コードを認識する必要があるため、画像中の観測対象の動きは一定速度以下である必要がある。さらに、使用する機器の高精度な同期が必要となる。
【００１６】
非特許文献９〜非特許文献１３に記載された手法では、多くの場合、複雑なパターンを用いるため、観測対象のテクスチャに影響されたり、奥行きエッジの部分で空間的なパターン情報を識別できず誤差が大きくなる、という問題が発生する。さらに、広い範囲を計測するために、複数のプロジェクタからパターンが同じ観測対象に投影された場合、パターンが干渉し合うため、その分離は容易ではなくなる。
【００１７】
更に、特許文献１に記載された手法では、残存している１次元の不定性を、投影したパターンと得られた解とのマッチングを行うことで解消していたが、マッチングが必要とされる分計算時間が増大していた。
【００１８】
本発明は、上記した種々の課題を解決するために成されたものであり、本発明の主たる目的は、動きのある物体の形状を高密度かつ高フレームレートに計測し、この結果得られた２次元画像に映し出された物体の３次元形状を適切に復元する画像処理装置、画像処理方法およびプログラムを提供することにある。
【課題を解決するための手段】
【００１９】
本発明は、２次元画像から３次元形状を復元する画像処理装置であり、前記２次元画像は、３次元空間に存在する物体に対して第１パターンを投光する第１投光手段と、前記第１パターンと前記物体の表面で交わる第２パターンを前記物体に対して投光する第２投光手段と、前記物体で反射した前記第１パターン光および前記第２パターン光を撮影して２次元画像を得る撮影手段とで取得され、前記２次元画像にて前記物体に投影された前記第１パターンである第１曲線と、前記２次元画像にて前記物体に投影された前記第２パターンである第２曲線とを検出し、前記第１曲線と前記第２曲線との交点の座標である交点座標を算出する第１計算部と、前記交点座標、前記第１投光手段および前記第２投光手段のパラメータ、および前記撮影手段のパラメータから、前記第１曲線と前記第１パターンとの対応である第１対応および、前記第２曲線と前記第２パターンとの対応である第２対応を決定する第２計算部と、前記第１対応、前記第２対応又はその両方から、第１パターン光および前記第２パターン光が照射された部分の前記物体の３次元座標を算出することで、前記３次元形状を復元する第３計算部と、を備えることを特徴とする。
【００２０】
更に本発明は、２次元画像から３次元形状を復元する画像処理方法であり、前記２次元画像は、３次元空間に存在する物体に対して第１パターンを投光する第１投光手段と、前記第１パターンと前記物体の表面で交わる第２パターンを前記物体に対して投光する第２投光手段と、前記物体で反射した前記第１パターン光および前記第２パターン光を撮影して２次元画像を得る撮影手段とで取得され、前記２次元画像にて前記物体に投影された前記第１パターンである第１曲線と、前記２次元画像にて前記物体に投影された前記第２パターンである第２曲線とを検出し、前記第１曲線と前記第２曲線との交点の座標である交点座標を算出する第１ステップと、前記交点座標、前記第１投光手段および前記第２投光手段のパラメータ、および前記撮影手段のパラメータから、前記第１曲線と前記第１パターンとの対応である第１対応および、前記第２曲線と前記第２パターンとの対応である第２対応を決定する第２ステップと、前記第１対応、前記第２対応又はその両方から、第１パターン光および前記第２パターン光が照射された部分の前記物体の３次元座標を算出することで、前記３次元形状を復元する第３ステップと、を備えることを特徴とする画像処理方法。
【００２１】
更に本発明は、２次元画像から３次元形状を復元する機能を画像処理装置に実行させるプログラムであり、前記２次元画像は、３次元空間に存在する物体に対して第１パターンを投光する第１投光手段と、前記第１パターンと前記物体の表面で交わる第２パターンを前記物体に対して投光する第２投光手段と、前記物体で反射した前記第１パターン光および前記第２パターン光を撮影して２次元画像を得る撮影手段とで取得され、前記２次元画像にて前記物体に投影された前記第１パターンである第１曲線と、前記２次元画像にて前記物体に投影された前記第２パターンである第２曲線とを検出し、前記第１曲線と前記第２曲線との交点の座標である交点座標を算出する第１機能と、前記交点座標、前記第１投光手段および前記第２投光手段のパラメータ、および前記撮影手段のパラメータから、前記第１曲線と前記第１パターンとの対応である第１対応および、前記第２曲線と前記第２パターンとの対応である第２対応を決定する第２機能と、前記第１対応、前記第２対応又はその両方から、第１パターン光および前記第２パターン光が照射された部分の前記物体の３次元座標を算出することで、前記３次元形状を復元する第３機能と、を実行させることを特徴とするプログラム。
【発明の効果】
【００２２】
本発明は、物体に投影されたパターン同士の交点の情報のみから、不定性のない解を得ることができる。従って、パターンの粗密情報を利用する必要がないため、縦横両方のパターンを密にすることができる。背景技術では、特に細い領域の復元などにおいて、グリッドパターンの接続関係の検出が困難になり、復元が失敗する場合があったが、本発明ではこの問題が大きく軽減される。
【００２３】
更に本発明では、複数のプロジェクタを用いるため、パターンが遮蔽されて形状計測できない部分を大きく減らすことが可能となる。
【００２４】
更にまた、本発明では、解の精度向上のためデブルーイン（ｄｅ Ｂｒｕｉｊｎ）系列に基づいた線ＩＤを用いる手法を採用した。更には、検出された線の隣接情報を用いる手法を採用している。このようにすることで、複数のプロジェクタと１つのカメラ方式を用いた密なワンショット形状計測が実現された。更に、グリッドパターンを用いたワンショット復元の線形解法が実現された。更には、高フレームレートで動物体を計測することが可能となった。
【図面の簡単な説明】
【００２５】
【図１】（Ａ）は本発明の画像処理装置を用いて物体の２次元画像を取得する状態を示す図であり、（Ｂ）は画像処理装置の構成を示す図である。
【図２】本発明の画像処理方法を示すフローチャートである。
【図３】本発明の画像処理装置に含まれるカメラとプロジェクタの位置関係を示す図である。
【図４】本発明の画像処理装置に於いて、プロジェクタの画像面上でのパターン位置を示す図である。
【図５】本発明の画像処理装置を用いた実験シーンを示す図である。
【図６】評価実験のセットアップを示す図であり、（Ａ）は入力画像を示し、（Ｂ）はプロジェクタの配置を示す上面図であり、（Ｃ）はその側面図である。
【図７】本発明を用いて３つの手法による復元結果を同じ座標系に表示した図であり、（Ａ）はグリッドポイントの拘束のみを用いた方法Ａによる復元結果であり、（Ｂ）は隣接情報による拘束を加えた方法Ｂによる復元結果であり、（Ｃ）は隣接情報および線ＩＤを利用した方法Ｃによる復元結果である。
【図８】本発明を用いて２つのペンシルの軸どうしの距離が短い場合に対する評価実験を示す図であり、（Ａ）は入力画像であり、（Ｂ）はプロジェクタの配置を示す図であり、（Ｃ）は側面図である。
【図９】（Ａ）および（Ｂ）は、隣接情報と線ＩＤの利用による精度向上を示す表である。
【図１０】本発明の効果を示す図であり、左側に配置された画像は背景技術によるものであり、右側に配置された画像は本形態によるものであり、上段の画像は入力画像であり、中断の画像は線検出によって得られたグリッドグラフであり、下段の画像は３次元形状復元結果である。
【図１１】本発明の効果を示す図であり、左側に配置された図は入力画像であり、中央に配置された図は検出されたグリッドパターンであり、右側に配置された図は３次元形状復元結果である。
【発明を実施するための形態】
【００２６】
＜第１の実施の形態：画像処理装置＞
図１を参照して、本発明の実施の形態に係る画像処理装置１０の構成を説明する。図１（Ａ）は本形態による装置全体の一例を示す図であり、図１（Ｂ）は画像処理装置１０の構成を示す図である。
【００２７】
図１（Ａ）を参照して、本形態では、画像処理装置１０と、カメラ２８（撮影手段）と、プロジェクタ２４（第１投光手段）と、プロジェクタ２６（第２投光手段）とで、３次元空間中に存在する物体３０の２次元画像を撮影し、撮影された２次元画像から物体の３次元形状を復元している。ここで、カメラ２８とプロジェクタ２４、２６は校正済みである。すなわち、それぞれの内部パラメータおよび、機器間の剛体変換パラメータは既知である。更にまた、カメラ２８、プロジェクタ２４、２６および画像処理装置１０を、本形態の画像処理装置とみなしても良い。
【００２８】
プロジェクタ２４は、被写体である物体３０に対して横パターンを含む光を投光する機能を有し、例えば、ビデオプロジェクタ等の装置が考えられる。その他、ラインレーザ投光機を並べたり組み合わせたりしても良い。あるいはレーザ光源をプリズムやビームスプリッターなどで複数方向に分けて照射しても良い。
【００２９】
プロジェクタ２６は、物体３０に対して縦パターンを投光する。その他のプロジェクタ２６の特徴はプロジェクタ２４と同様である。なお、各プロジェクタからは固定したパターンが投影されるため、カメラ２８とプロジェクタ２４、２６との間で同期の必要が無い。
【００３０】
プロジェクタ２４により投光されたパターン光と、プロジェクタ２６から投光されたパターン光とは物体３０の表面にて交わる。この交わる角度は任意である。
【００３１】
ここで、本形態では、２つのプロジェクタは本質的には単色のパターンでの形状復元が可能であるが、精度と安定性の向上のためにカラーパターンを利用する。具体的には、ｂｅｌｉｅｆｐｒｏｐａｇａｔｉｏｎに基づく線検出と、周期的なパターンであるデブルーイン系列に基づいたカラーコードを用いて、安定した縦・横の線検出と分離を実現する。この方法は、例えば上記した非特許文献１０や非特許文献１３に記載されている。更には、当該事項はＪｏａｑｕｉｍ Ｓａｌｖｉ， Ｊｏａｎ Ｂａｔｌｌｅ， ａｎｄ Ｅｌ Ｍｕｓｔａｐｈａ Ｍｏｕａｄｄｉｂ． Ａｒｏｂｕｓｔ−ｃｏｄｅｄ ｐａｔｔｅｒｎ ｐｒｏｊｅｃｔｉｏｎ ｆｏｒ ｄｙｎａｍｉｃ ３Ｄ ｓｃｅｎｅ ｍｅａ−ｓｕｒｅｍｅｎｔ．Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， １９（１１）：１０５５ １０６５， １９９８．）にも記載されている。
【００３２】
カメラ２８は、物体３０を撮影する手段であり、例えばＣＣＤイメージセンサ等の固体撮像装置が採用される。具体的には、カメラ２８は、プロジェクタ２４、２６から投光されたパターンが物体３０で反射したパターン光を撮影する。更には、これらのパターン光が交わる交点もカメラ２８により撮影される。カメラ２８により２次元画像が撮影され、この２次元画像に基づくデータが画像処理装置１０により画像処理されることで、物体３０の３次元形状が復元される。
【００３３】
図１（Ｂ）を参照して、２次元画像から３次元形状を復元する画像処理装置１０の構成を説明する。
【００３４】
本実施の形態の画像処理装置１０は、画像処理部１２と、制御部１４と、入力部１６と、記憶部１８と、表示部２０と、操作部２２とを主要に具備する。画像処理装置１０の概略的機能は、入力された２次元画像を画像処理して、３次元形状を復元して出力することにある。また、具現化された画像処理装置１０としては、所定の機能を実行するアプリケーション（プログラム）がインストールされたパーソナルコンピュータ等のコンピュータでも良いし、所定の機能を実行するように構成された画像処理専用の機器として構成されても良い。更にまた、画像処理装置１０を構成する各部位は、バスを経由して相互に電気的に接続される。
【００３５】
画像処理部１２は、主たる画像処理の機能を果たす部位であり、第１計算部１２Ａと、第２計算部１２Ｂと、第３計算部１２Ｃとを含む。
【００３６】
第１計算部１２Ａは、撮影された２次元画像から、物体３０に投影された縦パターンの縦曲線および横パターンの横曲線と、両パターンの交点座標を算出する機能を備えている。
【００３７】
第２計算部１２Ｂは、各プロジェクタのパラメータ、カメラのパラメータおよび前記光点座標から、対応を決定する機能を備えている。具体的には、プロジェクタ２６から投影される縦パターンと画像から検出された縦曲線との第１対応およびプロジェクタ２４から投影される横パターンと画像から検出された横曲線との第２対応を決定している。
【００３８】
第３計算部１２Ｃは、得られた第１対応、第２対応またはこれらの両方から、両パターン光が照射された部分の３次元座標を決定する機能を備えている。
【００３９】
上記した画像処理部を構成する各部位の詳細は、画像処理方法として以下に詳述する。ここで、画像処理部１２に含まれる計算部は必ずしも上記した３つである必要はなく、必要に応じて計算部の個数は増減されても良い。
【００４０】
制御部１４は、画像処理装置１０全体（画像処理部１２、入力部１６、記憶部１８、表示部２０）の動作を制御している部位である。
【００４１】
入力部１６は、外部から画像処理装置１０に情報が入力される部位である。本実施の形態では、２次元画像である動画像または静止画像が入力される。
【００４２】
記憶部１８は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）に代表される固定式の記憶ディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）やＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等の着脱式記憶ディスク、固定式あるいは着脱式の半導体メモリ等である。本実施の形態では、記憶部１８には、処理前の２次元画像、当該２次元画像から復元された３次元形状或いは処置途中のデータ等が記憶される。
【００４３】
更に、記憶部１８には、下記する画像処理方法を画像処理装置１０に実行させるためのプログラムが格納される。このプログラムは、使用者が操作部２２を操作することにより呼び出されて、入力された２次元画像のデータから、３次元形状のデータを復元するように、上記した各部位の機能を実行させる。
【００４４】
表示部２０は、例えば液晶ディスプレイ、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ビデオプロジェクタであり、入力された２次元画像や、この２次元画像を基に復元された３次元形状が表示される。
【００４５】
操作部２２は、例えば、キーボードやマウスであり、使用者がこの操作部２２を操作することにより、画像処理装置１０は２次元画像から３次元形状を復元する。
【００４６】
＜第２の実施の形態：画像処理方法＞
上記構成の画像処理装置１０を用いて２次元画像に映し出された物体の３次元形状を復元する方法を以下に説明する。
【００４７】
図２を参照して、本形態の画像処理方法は、物体の２次元画像を撮影するステップＳ１０と、撮影された２次元画像から縦パターン曲線と横パターン曲線とを抽出するステップＳ１１と、これらのパターン曲線の交点を検出するステップＳ１２と、この交点からパターン曲線の連立方程式を導出するステップＳ１３と、連立方程式からパターン曲線の３次元形状を得るステップＳ１４とを備えている。ここで、ステップＳ１３にて連立方程式を導出することは、各パターンと各曲線との対応関係を決定することと等価である。
【００４８】
本形態の具現化された画像処理手法を以下にて説明する。
【００４９】
先ず、ステップＳ１０では、図１に示したシステムを用いて、プロジェクタ２４おおよびプロジェクタ２６からパターン光を物体３０に向けて投光する。ここでは、プロジェクタ２４から、横方向に直線状に伸びる横パターン光を物体３０に投光する。そしてプロジェクタ２６から、縦方向に直線状に伸びる横パターン光を物体３０に投光する。この結果、物体３０の表面に両パターン光が投光され、両パターン光の交点が物体３０の表面に存在する。この状態の物体３０をカメラ２８で撮影する。このことにより、各パターン光が照射された物体３０の２次元画像が得られる。この２次元画像に基づく画像データは、画像処理装置１０に伝送される。
【００５０】
次にステップＳ１１では、２次元画像から縦パターン曲線および横パターン曲線を抽出する。２次元画像からカラーコードを安定に検出するには、全体の色数を減らすことが望ましい。そこで、縦・横のパターンに同じ色を用いつつ、それらを識別するために、非特許文献２において提案された線検出法を用いる。
【００５１】
本形態で使用されるデブルーイン系列は、それぞれの線に与えられた線ＩＤの決定に用いられる。長さｎ、記号数ｑのデブルーイン系列は、長さｑｎの数列であり、長さｎの部分数列を観測すれば、数列中の位置が一意に特定可能という特徴を持つ。投影パターンを画像中で区別できる２つ以上の記号でコード化した場合、投影パターンと観測パターン間の対応が長さｎの数列のマッチングによって一意に決まる。非特許文献１０、非特許文献１０、非特許文献１３ではグローバルに一意なＩＤを決定するため、大きなｑとｎの値が用いられていたが、本形態では非特許文献２のように、小さな値を用いて生成されたパターンを用いる。
【００５２】
これは、本形態ではデブルーインＩＤは、ノイズなどの影響による誤推定の修正にのみ利用されるため、局所的な一意性が確保されれば十分なためである。小さいｑとｎのため、ＩＤを決定するために必要な連続パターン数が少なくて済み、少数の色でＩＤを表現できるので、形状の凹凸や、画像処理の影響を受けにくくなる。本形態では色数ｑ＝２、およびコードの長さｎ＝３を用いた。すなわち、カラーパターンの周期は８本となり、各線に与えられる線ＩＤは０から７となる。また、オクルーディングエッジなどにおいて起こる線の誤接続も、このデブルーインＩＤを用いて解消することができる。
【００５３】
縦パターンと横パターンの交点の位置はサブピクセル精度で計算される（ステップＳ１２）。また検出された線の連続性を用いて、隣接する交点が分かるので、線検出の結果として、交点を格子状に接続したグリッドグラフが得られる。この交点座標と、交点の接続情報であるグリッドグラフにより、以下で述べる手法により３次元復元が実現される。
【００５４】
ここで、最小構成である２つのプロジェクタと１つのカメラを用いた復元方法について述べる。あるプロジェクタから一組の平行線を投影すると、各線の３次元空間中での軌跡は平面であり、その全ての平面はある一つの直線を共有する。すなわち、この直線を軸とするｐｅｎｃｉｌ ｏｆ ｐｌａｎｅｓ（同一の直線を共有する面の集合を表し、以下ペンシルと表記する）の要素である。平面を３個のパラメータで表し、その３次元ベクトルを３次元空間の点と見なした時、この点を平面の双対と呼び、その空間を双対空間と呼ぶ。平面の双対は点であり、ペンシルの双対は直線となる。このことから、直線中の点を１パラメータで表現するのと同じように、特定のペンシル中の平面を１パラメータで表現できる。この時、グリッドの交点位置から、パターン平面のパラメータに関する線形方程式を作成することが可能である（ステップＳ１３）。
【００５５】
これまで非特許文献２において、単一のプロジェクタによって縦・横の線を投影し、３次元復元する手法が提案されている。また、この方法はＲｙｏ Ｆｕｒｕｋａｗａ， Ｈｉｒｏｓｈｉ Ｋａｗａｓａｋｉ， Ｒｙｕｓｕｋｅ Ｓａｇａｗａ， ａｎｄ Ｙａｓｕｓｈｉ Ｙａｇｉ． Ｓｈａｐｅ ｆｒｏｍ ｇｒｉｄ ｐａｔｔｅｒｎ ｂａｓｅｄ ｏｎ ｃｏｐｌａ−ｎａｒｉｔｙ ｃｏｎｓｔｒａｉｎｔｓ ｆｏｒ ｏｎｅ−ｓｈｏｔ ｓｃａｎｎｉｎｇ．ＩＰＳＪ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ， １：１３９ １５７， ２００９．でも述べられている。
【００５６】
上記文献において、縦・横の線の交点はグリッドポイントと呼ばれる。上記文献より、縦パターン平面が通過する軸と、横パターン平面が通過する軸は、プロジェクタの光学中心で交わる。これにより、グリッドポイントの情報から得られる線形方程式の定数項が消去されるため、構成される連立方程式は、必ず不定性を持つ方程式となる。
【００５７】
上記文献においては、線の粗密情報をパターンに付与し、残っている１次元の不定性を、投影したパターンと得られた解とのマッチングを行うことで解消する手法としていた。また、非特許文献３は、デブルーインＩＤにより、この不定性を解消している。
【００５８】
これに対して、本形態では、複数のプロジェクタを利用し、縦平面と横平面を異なるプロジェクタで投影することで一意な解を得る。即ち、図３に示すように、縦パターン平面は、プロジェクタの光学中心を通る直線ｌｖを共有する（つまり、ｌｖを軸とするペンシルである。）。同様に横パターン平面はｌｈを共有する。カメラで観測された、縦横のパターン光で照射された曲線が、それぞれ、プロジェクタから投影されたどのパターンに対応するかは未知である。この情報を、観測された曲線についての方程式から復元する。ｌｖとｌｈがねじれの位置になるようにプロジェクタを配置すると、得られる方程式は、定数項を持つ線形方程式となり、一般に解は不定性を持たない。このため、線形方程式のみから一意に解を定めることが出来る。
パターン平面ｐを
【００５９】
【数１】
で表す。このとき、３次元ベクトルｐ＝（ｐ１、ｐ２、ｐ３）Ｔは、平面のパラメータベクトルである。ベクトルｐは、元の平面の双対ベクトルとも呼ばれる。ベクトルｐの空間は、元の空間の双対空間とも呼ばれる。ある縦パターン平面をｖａとし、ｖａと異なる縦パターン平面をｖｂとする。このとき、ｖａ、ｖｂの交線であるｌｖを含む平面の集合は、以下の式で表現される。
【００６０】
【数２】
この式は、３次元空間中における直線の式と同じ形をしており、縦パターン平面の集合が、双対空間中でｖａ、ｖｂを通る直線に含まれることを表す。この直線を表現するために、直線上の任意の点ｖ０と、直線の方向ベクトル（あるいは無限遠点を正規化したもの）ｖｉｎｆを用いて、
【００６１】
【数３】
と表現することが出来る。ここで、μは、プロジェクタで投影する画像上の各ラインに対して定義できるパラメータである。
【００６２】
ｖ０はｌｖを含む平面の集合から任意に選ぶことが出来る。また、ｌｖを含む平面には、カメラの光学中心を通過する唯一の平面が存在するが、ｖｉｎｆは、その平面の法線ベクトルに一致する。式（１）は、平面がカメラの光学中心を通らないことを仮定しているが、カメラの光学中心に平面が近づくと、パラメータｐは双対空間中でｖｉｎｆの方向の無限遠点に近づく。
【００６３】
横パターンの集合も、同様に、
【００６４】
【数４】
と表されるとする。
【００６５】
ある縦パターンｖと横パターンｈの交点が、正規化カメラ座標において（ｓ、ｔ）で観測されたとする。この時、ｖ、ｈの双対ベクトルをｖ、ｈとし、ｕ＝（ｓ、ｔ、−１）Ｔとすると、
【００６６】
【数５】
である。式（４）、（２）を代入して、
【００６７】
【数６】
を得る。
【００６８】
上記の式はグリッドポイントごとに得られるので、これから線形連立１次方程式を作ることが出来る。ｉ番目の縦平面について、式（２）のパラメータμをμｉ、同様にｊ番目の横平面について、式（４）のパラメータρをρｊとする。また、Ｋ個のグリッドポイントが検出されたとして、そのうちｋ番目のグリッドポイントｕｋ＝（ｓｋ、ｔｋ、−１）が、α（ｋ）番目の縦平面とβ（ｋ）番目の横平面との交点であるとする。この時、
【００６９】
【数７】
がｋ＝１、・・・、Ｋについて成立する。
【００７０】
数式７と類似の数式は、非特許文献２でも与えられるが、上記文献との大きな違いとして、本形態においては、数式７には定数項があり、この項は、変数の置き換えなどによって消去されない。非特許文献２では、そのままで、あるいは変数の置き換えによって、定数項を消去することが出来るので、線形方程式の解が唯一ではなかったが、本形態では唯一の解が線形方程式から求められる。
【００７１】
さらに、パターン同士の隣接情報が与えられている場合、それを利用した拘束式を作ることが出来る。特に、パターン上の隣接するラインどうしのμの差が一定値の場合（パターン平面の集合が、双対空間中で等間隔に並ぶ場合に相当する）は、拘束式が以下に述べるように線形となり都合が良い。そこで、本形態では、このように、μは隣接するパターンにおいて一定間隔で変化するという線形関係があると仮定し、以下議論を進める。
【００７２】
後述するように、これは投影するパターンの間隔を調整するか、プロジェクタの配置を工夫することで常に成立させることが出来るため、この仮定により手法の一般性が失われることはない。Ｌ個のパターンのペアが隣接する場合を考える。ｌ番目のペアがγ（ｌ）番目の縦平面とδ（ｌ）番目の縦平面である場合、
【００７３】
【数８】
となる。Ｄは定数であり、ｖ０、ｖｉｎｆの取り方と、μγ（ｌ）、μδ（ｌ）の順序関係からあらかじめ決定できる。
【００７４】
式（７）、（８）から得られるμｉとρｊに関する線形連立方程式を解くことで、検出された各曲線のパターン平面を決定できる。
【００７５】
実際の計算においては、行列方程式Ａｘ＝ｂを生成する。ただしｘは、検出された縦パターン及び横パターンのパラメータμｉ、ρｊを並べてベクトルにしたものである。十分な交点と隣接情報があれば、Ａの行数は列数より大きいので、擬似逆行列を用いてｘ＝（ＡＴＡ）−１ＡＴｃによって解を求める。（ＡＴＡ）−１の計算にはＬＵ分解による方程式解法を利用すればよい。
【００７６】
上記方程式で得られる解は、縦パターンまたは横パターンの、観測された曲線について、対応するパターン平面の位置情報を表すものである。この情報が求められると、三角測量の原理によって、その曲線を３次元復元できる。ここで、縦パターンおよび横パターンの両方で観測された曲線が用いられても良い（ステップＳ１４）。
【００７７】
上記の位置情報は、方程式から得られた解をそのまま利用してもよいが、投影されるパターン平面は有限であり、位置は既知であるので、これらの既知の平面集合と照合し、近い平面を、対応する平面としても良い。これにより、方程式から得られた解の精度が高ければ、校正誤差以外の誤差のない３次元復元を行うことが出来る。
【００７８】
次に、プロジェクタとカメラの配置について説明する。
【００７９】
一般に、プロジェクタの画像上のラインパターンが一定間隔であっても、式（３）におけるμはパターン座標に比例した値とはならない（つまり、パターン平面の双対が一定間隔にならない）。このため、μがパターンに応じて線形となるためには、プロジェクタとカメラとの間の剛体変換に従って、投影するパターンを毎回計算する必要がある。この場合、プロジェクタとカメラの位置関係を変更する度にパターンを変更することになり利便性が損なわれる。
【００８０】
もう一つの方法として、一定間隔のパターンを投影した場合であっても、μと、プロジェクタの画像面上での位置関係が線型となるような配置が考えられる。プロジェクタの光学中心を通り、プロジェクタの画像面に平行な平面を、Ｏ． Ｆａｕｇｅｒａｓ．Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ： Ａ ｇｅｏ−ｍｅｔｒｉｃ ｖｉｅｗｐｏｉｎｔ． Ｔｈｅ ＭＩＴ ｐｒｅｓｓ， Ｃａｍｂｒｉｄｇｅ， ＭＡ， １９９３．に倣ってプロジェクタの焦点面（ｆｏｃａｌ ｐｌａｎｅ）と呼ぶことにする。
【００８１】
図４に示すように、プロジェクタの焦点面にカメラの光学中心が含まれるようにし、さらにプロジェクタの光軸を含むパターン平面の双対を、ｖ０とする。この時、等間隔のグリッドから生成される縦パターン平面の集合が、双対空間中でも等間隔の点となる。このことは、直感的には、画像面上でのパターンの無限遠の位置と、双対空間中での無限遠点（カメラの光学中心を含む平面）が一致することから示される。本形態ではプロジェクタとカメラが、このように配置されているとすると、パターンの隣接関係を線形方程式に組み入れることが出来る。
【００８２】
このような配置の例としては、縦パターンプロジェクタ（第１投光手段）の正面方向と、カメラから、縦パターンプロジェクタ（第１投光手段）光学中心に向かう方向とが直交し、かつ、横パターンプロジェクタ（第２投光手段）の正面方向と、カメラから、横パターンプロジェクタ（第２投光手段）光学中心に向かう方向とが、直交する配置がある。
【００８３】
上記の配置が満たされないばあい、隣接関係は線形方程式にはならないが、解の非線形な制約条件としては利用できる。
次に、デブルーイン系列を用いた精度向上に関して説明する。上記したように、線型連立方程式から、検出された曲線を含むパターン平面の３次元位置を一意に決定できる。しかし、実際には、画像処理における誤差の影響で誤った線およびグリッドポイントが検出された場合、得られる解に誤差が生じることが生じる。そこで本形態では、デブルーイン系列によって曲線に付けられた周期的な線ＩＤを利用して、解の誤差を修正する。本形態ではカメラとプロジェクタは校正済みであると仮定しているため、プロジェクターから投影されるパターン平面のパラメータと、それぞれの平面のデブルーイン系列の線ＩＤは既知である。このとき、可能な解はこれらの平面に対して面の位置と線ＩＤが一致するものに限られる。この原理を利用して解の修正を行う。具体的には、上記で得られた検出された曲線についての解の周辺で、投影パターンのＩＤが一致するものと対応させ、各交点の条件である式（５）が成立しているかどうかを調べる。この条件は、実際には２枚の平面の交線をカメラに投影したものと、検出されたグリッドポイントとの画像上での距離が０であることを表す。そこで、これらの距離を各グリッドポイントについて求め、それらの二乗和を求め、それが小さい解を選べば良い。
【００８４】
上記の手順において、「曲線についての解の周辺」を探索する場合、全ての平面について変数を変化させると、大きな次元の空間を探索する必要がある。計算時間の短縮のためには、線形方程式の係数行列Ａについて、（ＡＴＡ）の最小固有値に対応する固有ベクトルを求め、このベクトルの方向に解を探索すると、効率がよい。これは、上記の方程式において、誤差が出やすい方向は、多くの場合１次元空間であることから正当化される。隣接関係が非線形な制約条件となるばあい、上記の精度向上と同様な方法で、精度向上の手段として、隣接関係を利用しても良い。
【００８５】
パターン同士の隣接関係を線形方程式に利用した場合、縦パターンが共有する直線（第１投光手段の軸）と、縦パターンが共有する直線（第２投光手段の軸）とは、特殊な場合を除いて、交わっていても唯一の解が求められる。しかし、パターン同士の隣接関係を線形方程式に利用しない場合には、これらの軸が交わる場合、方程式に不定性が生じる。このため、隣接関係が得られない場合、これらの軸が交わらないようにプロジェクタを配置する必要がある。
【００８６】
上記のように、線形方程式を直接解く手法とは異なる解法も考えられる。既に述べたように、投影されるパターン平面は有限であり、位置は既知であるので、解（観測された曲線と、投影される既知のパターン平面との対応）の候補は有限である。そこで、数式７、数式８が成立する解を、組み合わせ最適化による探索で求めても良い。この場合、ある曲線Ａについての対応を仮説として採用すると、その曲線の位置が決定し、数式７、数式８から、曲線Ａと交わる曲線Ｂや、あるいは、曲線Ａと隣接する曲線Ｃについての位置情報が得られ、ＢあるいはＣの対応の仮説も限定される。このようにして、次々と曲線に対するパターン平面の対応を求めることで、限定された仮説の中から、数式７，８の条件を最もよく満たす仮説を求めることで、解を求めることもできる。
【００８７】
＜第３の実施の形態：実験結果＞
本形態では、上記した本形態の画像処理装置および画像処理方法を用いた実験結果を説明する。
【００８８】
本形態の実験では、図５に示すように、１台のカメラと２台のプロジェクタを配置し計測を行った。各装置の配置は観測対象によって毎回調整を行い、人物の計測においては、カメラ−プロジェクタの間隔は約１ｍ、相対角は約２５度とした。カメラの解像度は１２８０ｘ９６０ピクセルでフレームレートは１５ＦＰＳ、プロジェクタの解像度は１０２４ｘ７６８ピクセルである。
【００８９】
先ず、隣接情報および線ＩＤを用いた解の精度向上の評価を説明する。具体的には、隣接情報および線ＩＤを用いて形状復元を行う効果について、次の３つの条件で立方体を観測し、３次元復元結果を比較した。
（方法Ａ）：グリッドポイントから得られる拘束のみの利用
（方法Ｂ）：グリッドポイントと隣接情報の拘束の利用
（方法Ｃ）：グリッドポイントと隣接情報の拘束に加え、線ＩＤを用いた解修正の利用
復元した点データを２つの平面に当てはめ、面当てはめの二乗平均平方根誤差（ｒｏｏｔ ｍｅａｎ ｓｑｕａｒｅ ｅｒｒｏｒ、 ＲＭＳＥ）と２面間の角度を評価した。実験環境においてカメラから観測対象までの距離は１．６ｍであった。
【００９０】
入力画像とプロジェクタの配置を図６に示す。立方体の２面を３次元形状復元した結果を図７に示し、平面間の角度および平面当てはめにおけるＲＭＳ誤差を図９（Ａ）の表に示す。これらの結果より、２面間の角度は、隣接情報（方法Ｂ）、線ＩＤ（方法Ｃ）を使うことにより、９０度に近づくため、形状の精度が改善されていることが分かる。グレイコードを使った時間エンコード法と比較すると、方法Ｃでは、線ＩＤを用いた対応付けによって、正しい対応が得られたため線検出による誤差を除き、グレイコード法と同じ結果が得られた。
【００９１】
３次元形状復元結果を平面に当てはめた際のＲＭＳ誤差は追加情報を与える毎に大きくなった。これは以下の理由により、自然な結果である。追加情報がない場合には縦線と横線それぞれを復元すると、交点においてその間の距離を最小化する最適化のため、縦線と横線のずれが小さくなり、結果として平面当てはめ時のＲＭＳ誤差は小さくなる。逆に隣接関係や線ＩＤの拘束を追加する場合、縦線と横線のずれが大きくなり、平面当てはめ時の誤差が大きくなる。これは、実際のシステムにおいては、画面全体にわたりサブピクセル以下の精度で校正を行うことが困難なためである。
【００９２】
次に、図８に示したプロジェクタの配置を用いて、２つのペンシルの軸どうしの距離が短い場合について評価を行った。同様に立方体の計測を行い、３次元形状復元した結果を２個の平面に当てはめ、面間の角度および当てはめ時のＲＭＳ誤差を図９（Ｂ）に示す。カメラと観測対象間の距離は３．７ｍであった。この条件の下では、方法Ａはランク落ちにより失敗したが、方法Ｂ、Ｃでは、隣接情報による拘束を用いることで３次元形状復元が可能となることが示された。
【００９３】
次に、小物体の形状復元に関して説明する。具体的には、１プロジェクタのみを用いる従来法によるワンショット形状復元（非特許文献２）との比較を行った。従来法では線形解法で残っていた１自由度を決定するために１次元探索が必要であったが、本形態では必要ないため、非特許文献２と比べて密なパターンが利用できる。その利点は細い指などの細かな形状の復元が容易になることである。
【００９４】
図１０は両手法による結果の比較である。上段は入力画像、中段は線検出によって得られたグリッドグラフ、下段は３次元形状復元結果である。左側に示す従来法ではパターンの不足から指が欠けているのに対し、右側に示す本形態では、指が欠けることなく形状復元できていることが分かる。
【００９５】
最後に、人体の密な形状計測を確認するために、動いている人物の上半身を計測した。図１１は、複数のポーズについての形状復元結果である。この図において、列（Ａ）は入力画像であり、線検出処理によって線検出およびラインＩＤを決定した結果が列（Ｂ）である。各線の色（ここでは濃淡）によってラインＩＤを表している。列（Ｃ）は線検出結果を用いた形状復元結果の結果である。脇腹や肩といったいくつかの部分では、片方のプロジェクタから死角になっており、縦あるいは横のパターンしか投影されていない部分がある。しかし、そのパターンが死角になっていない部分とつながることにより、形状復元されていることが分かる。これは、複数のプロジェクタを用いる本形態の利点の１つと言える。
【符号の説明】
【００９６】
１０ 画像処理装置
１２ 画像処理部
１２Ａ 第１計算部
１２Ｂ 第２計算部
１２Ｃ 第３計算部
１４ 制御部
１６ 入力部
１８ 記憶部
２０ 表示部
２２ 操作部
２４ プロジェクタ
２６ プロジェクタ
２８ カメラ
３０ 物体
【特許請求の範囲】
【請求項１】
２次元画像から３次元形状を復元する画像処理装置であり、
前記２次元画像は、３次元空間に存在する物体に対して第１パターンを投光する第１投光手段と、前記第１パターンと前記物体の表面で交わる第２パターンを前記物体に対して投光する第２投光手段と、前記物体で反射した前記第１パターン光および前記第２パターン光を撮影して２次元画像を得る撮影手段とで取得され、
前記２次元画像にて前記物体に投影された前記第１パターンである第１曲線と、前記２次元画像にて前記物体に投影された前記第２パターンである第２曲線とを検出し、前記第１曲線と前記第２曲線との交点の座標である交点座標を算出する第１計算部と、
前記交点座標、前記第１投光手段および前記第２投光手段のパラメータ、および前記撮影手段のパラメータから、前記第１曲線と前記第１パターンとの対応である第１対応および、前記第２曲線と前記第２パターンとの対応である第２対応を決定する第２計算部と、
前記第１対応、前記第２対応又はその両方から、第１パターン光および前記第２パターン光が照射された部分の前記物体の３次元座標を算出することで、前記３次元形状を復元する第３計算部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１投光手段および前記第２投光手段が、複数の線分の画像である第１パターン画像および第２パターン画像を３次元空間に投影する装置であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第３計算部では、前記交点座標、前記第１投光手段および前記第２投光手段のパラメータから得られる第１線形方程式を解くことで、前記３次元形状を算出することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記第３計算部では、前記第１計算部で検出された前記交点座標を制約として、前記各対応を決定する組み合わせ最適化問題として解くことで、前記３次元形状を算出することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項５】
前記第１投光手段の軸と前記第２投光手段の軸とが、３次元空間中で交わらないことを特徴とする請求項１から請求項４の何れかに記載の画像処理装置。
【請求項６】
前記第１パターンあるいは前記第２パターンが３次元空間中で通過する平面の集合が、双対空間中で等間隔に並ぶという第１条件が満たされるように、
前記第１投光手段および前記第２投光手段を配置することを特徴とする請求項１から請求項５の何れかに記載の画像処理装置。
【請求項７】
前記第１条件が、前記第１投光手段の正面と前記撮影手段から前記第１投光手段への方向ベクトルとが直角になると共に、前記第２投光手段の正面と前記撮影手段から前記第２投光手段への方向ベクトルが直角になる状態で、前記２次元画像を取得することで満たされることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記第１パターンまたは前記第２パターンには、個々の前記パターンを幾つかのクラスに識別可能な識別情報が付与されており、
前記第３計算部では、前記識別情報と前記第１パターンまたは前記第２パターンのクラスが一致するという制約条件が用いられることを特徴とする請求項１から請求項７の何れかに記載の画像処理装置。
【請求項９】
前記第１パターンまたは前記第２パターンに含まれるパターンの色を、２色以上とすることにより前記識別情報を持たせることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記第２計算部では、隣接する前記第１パターン同士または隣接する前記第２パターン同士の関係式を用いて前記第１対応あるいは前記第２対応、あるいはその両方を求めることを特徴とする請求項１から請求項９の何れかに記載の画像処理装置。
【請求項１１】
２次元画像から３次元形状を復元する画像処理方法であり、
前記２次元画像は、３次元空間に存在する物体に対して第１パターンを投光する第１投光手段と、前記第１パターンと前記物体の表面で交わる第２パターンを前記物体に対して投光する第２投光手段と、前記物体で反射した前記第１パターン光および前記第２パターン光を撮影して２次元画像を得る撮影手段とで取得され、
前記２次元画像にて前記物体に投影された前記第１パターンである第１曲線と、前記２次元画像にて前記物体に投影された前記第２パターンである第２曲線とを検出し、前記第１曲線と前記第２曲線との交点の座標である交点座標を算出する第１ステップと、
前記交点座標、前記第１投光手段および前記第２投光手段のパラメータ、および前記撮影手段のパラメータから、前記第１曲線と前記第１パターンとの対応である第１対応および、前記第２曲線と前記第２パターンとの対応である第２対応を決定する第２ステップと、
前記第１対応、前記第２対応又はその両方から、第１パターン光および前記第２パターン光が照射された部分の前記物体の３次元座標を算出することで、前記３次元形状を復元する第３ステップと、
を備えることを特徴とする画像処理方法。
【請求項１２】
２次元画像から３次元形状を復元する機能を画像処理装置に実行させるプログラムであり、
前記２次元画像は、３次元空間に存在する物体に対して第１パターンを投光する第１投光手段と、前記第１パターンと前記物体の表面で交わる第２パターンを前記物体に対して投光する第２投光手段と、前記物体で反射した前記第１パターン光および前記第２パターン光を撮影して２次元画像を得る撮影手段とで取得され、
前記２次元画像にて前記物体に投影された前記第１パターンである第１曲線と、前記２次元画像にて前記物体に投影された前記第２パターンである第２曲線とを検出し、前記第１曲線と前記第２曲線との交点の座標である交点座標を算出する第１機能と、
前記交点座標、前記第１投光手段および前記第２投光手段のパラメータ、および前記撮影手段のパラメータから、前記第１曲線と前記第１パターンとの対応である第１対応および、前記第２曲線と前記第２パターンとの対応である第２対応を決定する第２機能と、
前記第１対応、前記第２対応又はその両方から、第１パターン光および前記第２パターン光が照射された部分の前記物体の３次元座標を算出することで、前記３次元形状を復元する第３機能と、
を実行させることを特徴とするプログラム。
【請求項１】
２次元画像から３次元形状を復元する画像処理装置であり、
前記２次元画像は、３次元空間に存在する物体に対して第１パターンを投光する第１投光手段と、前記第１パターンと前記物体の表面で交わる第２パターンを前記物体に対して投光する第２投光手段と、前記物体で反射した前記第１パターン光および前記第２パターン光を撮影して２次元画像を得る撮影手段とで取得され、
前記２次元画像にて前記物体に投影された前記第１パターンである第１曲線と、前記２次元画像にて前記物体に投影された前記第２パターンである第２曲線とを検出し、前記第１曲線と前記第２曲線との交点の座標である交点座標を算出する第１計算部と、
前記交点座標、前記第１投光手段および前記第２投光手段のパラメータ、および前記撮影手段のパラメータから、前記第１曲線と前記第１パターンとの対応である第１対応および、前記第２曲線と前記第２パターンとの対応である第２対応を決定する第２計算部と、
前記第１対応、前記第２対応又はその両方から、第１パターン光および前記第２パターン光が照射された部分の前記物体の３次元座標を算出することで、前記３次元形状を復元する第３計算部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１投光手段および前記第２投光手段が、複数の線分の画像である第１パターン画像および第２パターン画像を３次元空間に投影する装置であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第３計算部では、前記交点座標、前記第１投光手段および前記第２投光手段のパラメータから得られる第１線形方程式を解くことで、前記３次元形状を算出することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記第３計算部では、前記第１計算部で検出された前記交点座標を制約として、前記各対応を決定する組み合わせ最適化問題として解くことで、前記３次元形状を算出することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項５】
前記第１投光手段の軸と前記第２投光手段の軸とが、３次元空間中で交わらないことを特徴とする請求項１から請求項４の何れかに記載の画像処理装置。
【請求項６】
前記第１パターンあるいは前記第２パターンが３次元空間中で通過する平面の集合が、双対空間中で等間隔に並ぶという第１条件が満たされるように、
前記第１投光手段および前記第２投光手段を配置することを特徴とする請求項１から請求項５の何れかに記載の画像処理装置。
【請求項７】
前記第１条件が、前記第１投光手段の正面と前記撮影手段から前記第１投光手段への方向ベクトルとが直角になると共に、前記第２投光手段の正面と前記撮影手段から前記第２投光手段への方向ベクトルが直角になる状態で、前記２次元画像を取得することで満たされることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記第１パターンまたは前記第２パターンには、個々の前記パターンを幾つかのクラスに識別可能な識別情報が付与されており、
前記第３計算部では、前記識別情報と前記第１パターンまたは前記第２パターンのクラスが一致するという制約条件が用いられることを特徴とする請求項１から請求項７の何れかに記載の画像処理装置。
【請求項９】
前記第１パターンまたは前記第２パターンに含まれるパターンの色を、２色以上とすることにより前記識別情報を持たせることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記第２計算部では、隣接する前記第１パターン同士または隣接する前記第２パターン同士の関係式を用いて前記第１対応あるいは前記第２対応、あるいはその両方を求めることを特徴とする請求項１から請求項９の何れかに記載の画像処理装置。
【請求項１１】
２次元画像から３次元形状を復元する画像処理方法であり、
前記２次元画像は、３次元空間に存在する物体に対して第１パターンを投光する第１投光手段と、前記第１パターンと前記物体の表面で交わる第２パターンを前記物体に対して投光する第２投光手段と、前記物体で反射した前記第１パターン光および前記第２パターン光を撮影して２次元画像を得る撮影手段とで取得され、
前記２次元画像にて前記物体に投影された前記第１パターンである第１曲線と、前記２次元画像にて前記物体に投影された前記第２パターンである第２曲線とを検出し、前記第１曲線と前記第２曲線との交点の座標である交点座標を算出する第１ステップと、
前記交点座標、前記第１投光手段および前記第２投光手段のパラメータ、および前記撮影手段のパラメータから、前記第１曲線と前記第１パターンとの対応である第１対応および、前記第２曲線と前記第２パターンとの対応である第２対応を決定する第２ステップと、
前記第１対応、前記第２対応又はその両方から、第１パターン光および前記第２パターン光が照射された部分の前記物体の３次元座標を算出することで、前記３次元形状を復元する第３ステップと、
を備えることを特徴とする画像処理方法。
【請求項１２】
２次元画像から３次元形状を復元する機能を画像処理装置に実行させるプログラムであり、
前記２次元画像は、３次元空間に存在する物体に対して第１パターンを投光する第１投光手段と、前記第１パターンと前記物体の表面で交わる第２パターンを前記物体に対して投光する第２投光手段と、前記物体で反射した前記第１パターン光および前記第２パターン光を撮影して２次元画像を得る撮影手段とで取得され、
前記２次元画像にて前記物体に投影された前記第１パターンである第１曲線と、前記２次元画像にて前記物体に投影された前記第２パターンである第２曲線とを検出し、前記第１曲線と前記第２曲線との交点の座標である交点座標を算出する第１機能と、
前記交点座標、前記第１投光手段および前記第２投光手段のパラメータ、および前記撮影手段のパラメータから、前記第１曲線と前記第１パターンとの対応である第１対応および、前記第２曲線と前記第２パターンとの対応である第２対応を決定する第２機能と、
前記第１対応、前記第２対応又はその両方から、第１パターン光および前記第２パターン光が照射された部分の前記物体の３次元座標を算出することで、前記３次元形状を復元する第３機能と、
を実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図９】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図９】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【公開番号】特開２０１１−２４２１８３（Ｐ２０１１−２４２１８３Ａ）
【公開日】平成２３年１２月１日（２０１１．１２．１）
【国際特許分類】
【出願番号】特願２０１０−１１２７５３（Ｐ２０１０−１１２７５３）
【出願日】平成２２年５月１７日（２０１０．５．１７）
【出願人】（５１０１０８９５１）公立大学法人広島市立大学 (11)
【出願人】（５０４１９０５４８）国立大学法人埼玉大学 (292)
【出願人】（５１０１３６２３１）
【出願人】（３０２０１０６２２）有限会社テクノドリーム二十一 (6)
【Ｆターム（参考）】
【公開日】平成２３年１２月１日（２０１１．１２．１）
【国際特許分類】
【出願日】平成２２年５月１７日（２０１０．５．１７）
【出願人】（５１０１０８９５１）公立大学法人広島市立大学 (11)
【出願人】（５０４１９０５４８）国立大学法人埼玉大学 (292)
【出願人】（５１０１３６２３１）
【出願人】（３０２０１０６２２）有限会社テクノドリーム二十一 (6)
【Ｆターム（参考）】
[ Back to top ]