画像処理装置、画像処理方法およびプログラム
【課題】高密度な復元が可能であり、画像処理に対しても頑健な画像処理装置、画像処理方法およびプログラムを提供する。
【解決手段】本発明の画像処理装置１０は、投影手段としてのプロジェクタ１２と、撮影手段としてのカメラ１４と、例えばパーソナルコンピュータから構成される画像処理手段１６とから主要に構成されている。そして、画像処理手段１６では、撮影された画像からパターン同士の交点を獲得し、この交点を含む第１暫定平面および第２暫定平面の制約条件と、プロジェクタ１２とカメラ１４との位置関係から得られる制約条件を用いて自由度を含む第１解を算出している。１次的な探索によりこの自由度を解消することで、３次元形状を復元している。
【解決手段】本発明の画像処理装置１０は、投影手段としてのプロジェクタ１２と、撮影手段としてのカメラ１４と、例えばパーソナルコンピュータから構成される画像処理手段１６とから主要に構成されている。そして、画像処理手段１６では、撮影された画像からパターン同士の交点を獲得し、この交点を含む第１暫定平面および第２暫定平面の制約条件と、プロジェクタ１２とカメラ１４との位置関係から得られる制約条件を用いて自由度を含む第１解を算出している。１次的な探索によりこの自由度を解消することで、３次元形状を復元している。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびプログラムに関し、特に、入力された２次元画像を用いて３次元形状を復元する画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
動きのあるシーンや物体、例えば顔などを計測するためには、計測の高速性、高密度の点群の獲得、正確性、などが重要となる。パッシブステレオにおいては、テクスチャの無い形状表面を、密かつ正確に再構成することは難しい。このため、アクティブ３次元計測手法、特にパターンコード化法を高速化することで動きのあるシーンの形状取得を行なうというアプローチが近年盛んに研究されている。
【０００３】
パターンコード化法では、プロジェクタで単一又は複数のパターンをシーンに投影し、撮影することで３次元復元を行なう。このために、投影パターンの特徴点と撮影されたシーンとの対応関係が必要である。多くのパターンコード化方式では、プロジェクタの画素の位置情報を複数のパターンに時間的にコード化することでこれを行なう。この方式において、必要なパターンの数を減らし、さらに、パターンの速度を上げることで、動きのあるシーンの３次元形状の獲得を行なう方法がある。この方法では、必要な数のパターンを投影する間、シーンの時間的な移動量が非常に少ないことを仮定しているので、動きが速い場合には正確な形状が得られず、また、高速に同期して動作する機器の構築のためにシステムが複雑化するという問題点がある。
【０００４】
一方で、プロジェクタから投影される画像に、各々の画素位置を同定するための情報を空間的なパターンとしてコード化し埋め込むことで、一度の撮影画像のみからシーンを復元する（ワンショットスキャン）手法がある。この方法では、局所的な領域に、位置情報を一意にコード化する必要性から、パターンが複雑になりやすく、また、複数の画素に単一の位置情報をコード化することから解像度が低くなるという問題がある。さらに、コードのパターンが複雑になると、対象物の反射率により色情報が乱されたり、対象物の形状によってパターンの歪みや不連続性などが起きやすく、コード化された情報の抽出が不安定となる問題もある。
【０００５】
パターンコード化法において、対応点の決定に一般に利用される制約条件としてエピポーラ拘束がある。しかし、特徴点の数が多い場合や、特徴点の配列などの条件によってエピポーラ線上に複数の特徴点がある場合には、一意に対応付けることはできない。
【０００６】
パターン光による形状復元では、投影されるパターンの時間的あるいは空間的変化にプロジェクタの画素の位置情報をコード化する。画像の時間的変化のみを利用する方法は、画素ごとに実装が容易なため、古くから利用されている（下記非特許文献１）。
【０００７】
一方で、パターンの空間的コードのみを利用する方法（下記非特許文献２〜下記非特許文献４）では、単一フレーム画像のみによる計測（ワンショットスキャン）が可能である。
【０００８】
下記非特許文献５では、時間的変化と空間的変化の両方を利用して、必要なパターンの数を減らした。
【０００９】
また、厳密にはパターンコード化法では無いが、動きも含めた時空間ステレオマッチングにより復元をする研究もある（下記非特許文献６および下記非特許文献７）。
【００１０】
一方で、非特許文献８では、直線状パターンの集合という単純なパターンを用いて、画像一枚から密な形状復元が可能な方法が提案されている。
【非特許文献１】Ｓ． Ｉｎｏｋｕｃｈｉ， Ｋ． Ｓａｔｏ， ａｎｄ Ｆ． Ｍａｔｓｕｄａ． Ｒａｎｇｅ ｉｍａｇｉｎｇ ｓｙｓｔｅｍ ｆｏｒ ３−Ｄ ｏｂｊｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ． Ｉｎ ＩＣＰＲ， ｐａｇｅｓ ８０６−８０８， １９８４．２
【非特許文献２】Ｃ． Ｊｅ， Ｓ． Ｗ． Ｌｅｅ， ａｎｄ Ｒ．−Ｈ． Ｐａｒｋ． Ｈｉｇｈ−ｃｏｎｔｒａｓｔ ｃｏｌｏｒ−ｓｔｒｉｐｅ ｐａｔｔｅｒｎ ｆｏｒ ｒａｐｉｄ ｓｔｒｕｃｔｕｒｅｄ−ｌｉｇｈｔ ｒａｎｇｅ ｉｍａｇｉｎｇ． Ｉｎ ＥＣＣＶ， ｖｏｌｕｍｅ １， ｐａｇｅｓ ９５−１０７， ２００４． ２， ５
【非特許文献３】Ｊ． Ｐａｎ， Ｐ． Ｓ． Ｈｕａｎｇ， ａｎｄ Ｆ．−Ｐ． Ｃｈｉａｎｇ． Ｃｏｌｏｒ−ｃｏｄｅｄ ｂｉｎａｒｙ ｆｒｉｎｇｅ ｐｒｏｊｅｃｔｉｏｎ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ３−ｄ ｓｈａｐｅ ｍｅａｓｕｒｅｍｅｎｔ． Ｏｐｔｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ， ４４（２）：２３６０６−２３６１５， ２００５．
【非特許文献４】Ｊ． Ｓａｌｖｉ， Ｊ． Ｂａｔｌｌｅ， ａｎｄ Ｅ． Ｍ． Ｍｏｕａｄｄｉｂ． Ａ ｒｏｂｕｓｔ−ｃｏｄｅｄ ｐａｔｔｅｒｎ ｐｒｏｊｅｃｔｉｏｎ ｆｏｒ ｄｙｎａｍｉｃ ３ｄ ｓｃｅｎｅ ｍｅａｓｕｒｅｍｅｎｔ． Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， １９（１１）：１０５５−１０６５， １９９８．
【非特許文献５】Ｓ．Ｒｕｓｉｎｋｅｉｗｉｃｚ： "Ｒｅａｌ−ｔｉｍｅ ３Ｄ ｍｏｄｅｌ ａｃｑｕｉｓｉｔｉｏｎ" ， ＡＣＭ ＳＩＧＧＲＡＰＨ，ｐｐ．４３８−４４６ （２００２）．
【非特許文献６】Ｏ． Ｈａｌｌ−Ｈｏｌｔ ａｎｄ Ｓ． Ｒｕｓｉｎｋｉｅｗｉｃｚ． Ｓｔｒｉｐｅ ｂｏｕｎｄａｒｙ ｃｏｄｅｓ ｆｏｒ ｒｅａｌ−ｔｉｍｅ ｓｔｒｕｃｔｕｒｅｄ−ｌｉｇｈｔ ｒａｎｇｅ ｓｃａｎｎｉｎｇ ｏｆ ｍｏｖｉｎｇ ｏｂｊｅｃｔｓ． Ｉｎ ＩＣＣＶ， ｖｏｌｕｍｅ ２， ｐａｇｅｓ ３５９−３６６， ２００１．
【非特許文献７】Ｌ． Ｚｈａｎｇ， Ｎ． Ｓｎａｖｅｌｙ， Ｂ． Ｃｕｒｌｅｓｓ， ａｎｄ Ｓ．Ｍ． Ｓｅｉｔｚ． Ｓｐａｃｅｔｉｍｅ ｆａｃｅｓ： Ｈｉｇｈ−ｒｅｓｏｌｕｔｉｏｎ ｃａｐｔｕｒｅ ｆｏｒ ｍｏｄｅｌｉｎｇ ａｎｄ ａｎｉｍａｔｉｏｎ． Ｉｎ ＡＣＭ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ， ｐａｇｅｓ ５４８−５５８， Ａｕｇｕｓｔ ２００４． ２
【非特許文献８】Ｔ． Ｐ． Ｋｏｎｉｎｃｋｘ ａｎｄ Ｌ． Ｖ． Ｇｏｏｌ． Ｒｅａｌ−ｔｉｍｅ ｒａｎｇｅ ａｃｑｕｉｓｉｔｉｏｎ ｂｙ ａｄａｐｔｉｖｅ ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ． ＩＥＥＥ Ｔｒａｎｓ． ｏｎ ＰＡＭＩ， ２８（３）：４３２−４４５， Ｍａｒｃｈ ２００６．
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、上記した背景技術では、以下のような問題があった。
【００１２】
具体的には、特許文献１に記載された技術では、位置情報のコード化に必要なパターンの枚数が多く、高速なキャプチャに不向きである問題があった。
【００１３】
非特許文献２〜非特許文献４に記載された技術では、空間的な広がりのあるパターンにコード化するため解像度が落ちてしまう問題があった。また、パターンが各画素の周囲で局所的かつ一意的にコード化される必要性から、これを実現するためのパターンは比較的複雑なものとなり、抽出のための画像処理も複雑となる。このため、物体の色や形状の影響によりコード化された情報の抽出に失敗することが起こりやすく、結果不安定になりやすい問題があった。
【００１４】
非特許文献５に記載された発明では、複数枚のパターンを照射する間、シーンが事実上静止していなければならないという制約がある。また、動きの遅い剛体物に限り、位置あわせによる解決手法を提案してはいるものの、人間の顔や体の動きなど、剛体以外の対象に動きがある場合には対応できない。
【００１５】
非特許文献６および非特許文献７に記載された技術では、カメラペアのステレオにおいて、プロジェクタは時間的に変化するテクスチャを与えることのみに使用される。この技術では物体の運動の連続性が仮定されており、時空間画像上で不連続性が生じるような速い動きがある場合には正しく復元されないという問題がある。
【００１６】
また、非特許文献５〜非特許文献７に共通する課題として、早い動きに対応するために非常に高速同期して動作するシステムを構築しなければならない点や、処理が比較的重いという問題もある。
【００１７】
特許文献８に開示された技術では、密な縞模様パターン（直線状パターンの繰り返し）の抽出による局所的な形状構成を基本とし、これに補助的な疎な直線状パターン抽出によるグローバルな位置推定を組み合わせることで、ユークリッドな形状の復元を実現している。このため、この疎な直線状パターンの検出に失敗するか、縞模様の抽出に失敗すると再構成が出来ないという問題があった。
【００１８】
本発明は、上記した種々の課題を解決するために成されたものであり、本発明の主たる目的は、高密度な復元が可能であり、画像処理に対しても頑健な画像処理装置、画像処理方法およびプログラムを提供することにある。
【課題を解決するための手段】
【００１９】
本発明では、ラインレーザによって照射される点の共面性条件を解くことで３次元形状の復元が実現される手法を応用し、プロジェクタ（投影手段）から照射される２種類の直線状パターンについて、これらパターンどうしの交点に共面性条件が成立することを利用して、３次元形状の復元を行う。この復元の方法は、例えば、Ｋａｗａｓａｋｉ Ｈｉｒｏｓｈｉ、Ｆｕｒｕｋａｗａ Ｒｙｏ “Ｓｈａｐｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｒｏｍ Ｃａｓｔ Ｓｈａｄｏｗｓ ｕｓｉｎｇ Ｃｏｐｌａｎａｒｉｔｉｅｓ ａｎｄ Ｍｅｔｒｉｃ Ｃｏｎｓｔｒａｉｎｔｓ”，ＡＣＣＶ， Ｐａｒｔ ＩＩ， ＬＮＣＳ ４８４３，ｐｐ．８４７−８５７， ２００７ に記載されている。
【００２０】
具体的には、本発明は、３次元空間中で、平面状のパターン光を投影する光源を用いて、共通の制約条件である第１制約条件が存在するように配置された１つ以上の第１パターンと、前記第１パターンと交わり、共通の制約条件である第２制約条件が存在するように配置された１つ以上の第２パターンとを物体に対して投影する投影手段と、前記パターン光を前記物体に投影することにより前記物体から反射された光を撮影して２次元画像を得る撮影手段と、前記２次元画像から前記物体の３次元形状を復元する画像処理手段と、を備え、前記画像処理手段は、前記２次元画像において、前記第１パターンを反射光として観測した観測第１パターンと、前記第２パターンを反射光として観測した観測第２パターンとの交点を獲得する第１計算部と、前記観測第１パターンを含む空間中の第１暫定平面と、前記観測第２パターンを含む空間中の第２暫定平面が、前記交点を共有することから得られる制約条件と、前記第１制約条件と、前記第２制約条件と、前記投影手段と前記撮影手段との相対位置関係である第１相対位置関係とを用いて、前記第１暫定平面あるいは前記第２暫定平面について自由度を含む第１解を算出する第２計算部と、を備えることを特徴とする。
【発明の効果】
【００２１】
本発明では、縦と横のみが識別可能な多数の直線で構成された単純なグリッドパターンを用いて、その交点を特徴点とすることで３次元復元を実現する。このような特徴点を用いれば、縦と横の接続関係という特徴点どうしの情報が得られるため、共面性からの形状復元を応用して、縦線と横線の交点として矛盾のない形状を、パラメータの解集合として作成することができる。また、この解の自由度は、グリッドパターンが既知である場合１であるため、１次元探索により高速に決定することが出来る。従って、動きのあるシーンや物体を密に３次元計測することができる。
【００２２】
更に本発明では、一意な対応付けに十分な数の接続情報さえ得られれば形状がグローバルに滑らかである必要が無く、オクルージョンによる急激なデプスの変化等があっても復元できるという利点がある。また、多数の直線で構成された単純なグリッドパターンにおいて、縦と横のみが識別可能であれば良いため、画像処理の問題も少ない。
【発明を実施するための最良の形態】
【００２３】
＜第１の実施の形態：画像処理装置＞
図１を参照して、本発明の実施の形態に係る画像処理装置１０の構成を説明する。図１（Ａ）は画像処理装置１０の構成の一例を示す図であり、図１（Ｂ）は画像処理手段１６の構成を示す図である。
【００２４】
図１（Ａ）を参照して、画像処理装置１０は、投影手段としてのプロジェクタ１２と、撮影手段としてのカメラ１４と、例えばパーソナルコンピュータから構成される画像処理手段１６とから主要に構成されている。
【００２５】
プロジェクタ１２は、被写体である物体１８に対して所定のパターンを含む光を投影する機能を有し、例えば、ビデオプロジェクタ等の装置が考えられる。その他、ラインレーザ投光機を並べたり組み合わせたりしても良い。あるいはレーザ光源をプリズムやビームスプリッターなどで複数方向に分けて照射しても良い。プロジェクタ１２は、被写体に対して、縦方向および横方向の２種類のパターンを投影している。ここで、縦方向のパターン（第１パターン）と横方向のパターン（第２パターン）とは、互いに直交するパターンであり、色などにより識別される。本発明では、２パターンの識別が可能であればよいので、これらのパターンの色としては、ＲＧＢ（赤、緑、青）のうち２色が選択されて採用されても良い。更に、横方向のパターンと縦方向のパターンとでは、波長が異なる光が採用されれば良く、例えば可視光以外の光（例えば赤外線）が採用されても良い。また、このように特定の波長の光源を用いる場合には、狭帯域バンドパスフィルタ等を用いて撮影すれば容易に高精度な識別が実現できる。更にまた、縦方向のパターンと横方向のパターンとは、互いに交わる交点が生成されれば良く、必ずしも直交する必要はない。また、色以外にも、パターンの太さや、パターンの角度によって、２種類のパターンを識別しても良い。また、投写するパターンは、縦方向の線と横方向の線が抽出できるものであればよいので、格子状に配置された線を投写し、その線をそのまま画像から抽出しても良いし、あるいは、線よりも太さのある帯を投写し、その境界部を抽出しても良い。帯の境界部を抽出する方法には、観測された帯の２倍の数のパターンを抽出できるという利点がある。あるいは、チェッカーボード模様（市松模様）を投写し、その境界部を抽出してもよい。
【００２６】
カメラ１４は、プロジェクタ１２で光を投影することで物体から反射された光を撮影する手段であり、例えばＣＣＤイメージセンサ等の固体撮像装置が採用される。カメラ１４により２次元画像が撮影され、この２次元画像に基づくデータが画像処理手段１６により画像処理されることで、物体１８の３次元形状が復元される。ここで、カメラ１４とプロジェクタ１２との相対的な位置関係は、事前に校正するか、あるいはオンラインで校正するか、または自校正することなどにより、既知であると仮定する。
【００２７】
図１（Ｂ）を参照して、２次元画像から３次元形状を復元する画像処理手段１６の構成を説明する。
【００２８】
本実施の形態の画像処理手段１６は、画像処理部３０と、制御部２０と、入力部２２と、記憶部２４と、表示部２６と、操作部２８とを主要に具備する。画像処理手段１６の全体的な概略的機能は、入力された２次元画像を画像処理して、３次元形状を復元して出力することにある。また、具現化された画像処理手段１６としては、所定の機能を実行するアプリケーション（プログラム）がインストールされたパーソナルコンピュータ等のコンピュータでも良いし、所定の機能を実行するように構成された画像処理専用の機器として構成されても良い。更にまた、画像処理手段１６を構成する各部位は、バスを経由して相互に電気的に接続される。
【００２９】
画像処理部３０は、主たる画像処理の機能を果たす部位であり、交点獲得部３２と、第１解算出部３４と、第２解算出部３６と、３次元形状復元部３８とを含む。
【００３０】
交点獲得部３２（第１計算部）は、カメラ１４により撮影された２次元画像から、縦パターンを観測したパターンと、横パターンを検出したパターンとの交点を獲得する部位である。
【００３１】
第１解算出部３４（第２計算部）は、前記両パターンが交点を共有する制約条件や、パターンを含む平面が所定の線を通ることによる制約条件や、カメラ１４とプロジェクタ１２との位置関係から得られる条件等を基に、自由度を含む第１解を算出する部位である。
【００３２】
第２解算出部３６（第３計算部）は、第１算出部により算出された第１解の自由度を解消して第２解を算出する部位である。
【００３３】
３次元形状復元部３８は、算出された第２解を基に、撮影された物体の３次元形状を復元する部位である。
【００３４】
上記した画像処理部を構成する各部位の詳細は、画像処理方法として以下に詳述する。
【００３５】
制御部２０は、画像処理手段１６全体（画像処理部３０、入力部２２、記憶部２４、表示部２６）の動作を制御している部位である。
【００３６】
入力部２２は、外部から画像処理手段１６に情報が入力される部位である。本実施の形態では、２次元画像である動画像または静止画像が入力される。
【００３７】
記憶部２４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）に代表される固定式の記憶ディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）やＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等の着脱式記憶ディスク、固定式あるいは着脱式の半導体メモリ等である。本実施の形態では、記憶部２４には、処理前の２次元画像、当該２次元画像から復元された３次元形状が記憶される。
【００３８】
更に、記憶部２４には、下記する画像処理方法を実行するためのプログラムが格納される。このプログラムは、使用者が操作部２８を操作することにより呼び出されて、上記した各部位の機能を実行させる。具体的には、入力された２次元画像のデータから、３次元形状のデータを復元するように、プログラムは各部位を動作させる。
【００３９】
表示部２６は、例えば液晶ディスプレイ、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ビデオプロジェクタであり、入力された２次元画像や、この２次元画像を基に復元された３次元形状が表示される。
【００４０】
操作部２８は、例えば、キーボードやマウスであり、使用者がこの操作部２８を操作することにより、画像処理手段１６は２次元画像から３次元形状を復元する。
【００４１】
＜第２の実施の形態：画像処理方法＞
本発明の画像処理方法を説明する前に、プロジェクタにより投影されるパターンに関する平面を定義する。
【００４２】
図３を参照して、プロジェクタ１２によって投影された直線状パターンは、空間中に平面を定義する。つまり、プロジェクタ１２によって投影された直線状パターンは、空間中の平面を通過する。縦パターンと、横パターンで表される平面を、それぞれｖｅｒｔｉｃａｌ ｐａｔｔｅｒｎ ｐｌａｎｅ（ＶＰＰ）、ｈｏｒｉｚｏｎｔａｌ ｐａｔｔｅｒｎ ｐｌａｎｅ（ＨＰＰ）と表記する。プロジェクタ１２とカメラ１４の内部パラメータは既知であり、プロジェクタ１２とカメラ１４との相対位置も外部キャリブレーション等の手法によって既知であると仮定する。つまり、空間中に存在するＶＰＰとＨＰＰは、全てカメラ座標系での平面の位置とパラメータが既知である（以下の記述では、平面、直線等のパラメータ、点の３次元位置は、全てカメラ座標系で表すものとする）。これら、位置パラメータが既知であるようなＶＰＰ及びＨＰＰを、ＣＶＰＰ（ｃａｌｉｂｒａｔｅｄ ＶＰＰ）及びＣＨＰＰと呼ぶ。また、全てのＣＶＰＰは、プロジェクタの光学中心を含む単一の直線を共有する。また、ＣＨＰＰも、同様に、単一の直線を共有する。これらの直線を、それぞれ、Ｌｖ、Ｌｈと表記する。これらの直線の交点は、プロジェクタの光学中心Ｏｐと一致する。Ｏｐと、Ｌｖ、Ｌｈの方向ベクトルは、プロジェクタ１２とカメラ１４との相対位置が既知であれば計算により求めることが出来る。対象シーン（物体）の表面に投影された縦パターンと、横パターンを、カメラ１４で撮影した２次元曲線を、それぞれ「検出された縦パターン」「検出された横パターン」と呼ぶ。ここで、検出された縦パターンと検出された横パターンの交点を、カメラ１４で撮影された画像から特徴点として抽出する。これらの特徴点を、「キャプチャされた交点」と呼ぶ。本発明では、画像処理によって、これらの交点同士の接続関係を抽出する。ここでは、交点同士の関係として、同一の検出された縦パターンや、検出された横パターン上にある、という関係を利用する。同一の検出された縦パターン上にある交点は、「同一のＶＰＰ上にある」と言うことが出来る。ただし、それぞれの交点が存在するＶＰＰ、ＨＰＰが、具体的にどのＣＶＰＰあるいはＣＨＰＰであるかは、最初は分からない。このように、検出された縦パターンが表すＶＰＰは、観測時点ではＣＶＰＰに対応づけられていないので、これをＵＶＰＰ（ｕｎｋｎｏｗｎ ＶＰＰ）と呼ぶ（図４参照）。同様に、検出された横パターンが表すＨＰＰを、ＵＨＰＰと呼ぶ。最終的に、全てのＵＶＰＰおよびＵＨＰＰを、ＣＶＰＰ、ＣＨＰＰに対応づける（これをＵＶＰＰ、ＵＨＰＰを同定するという）ことが本発明の目的である。ＵＶＰＰは検出された縦パターンと１対１で対応しており、ＣＶＰＰは既知の３次元平面であるから、ＵＶＰＰとＣＶＰＰの対応づけが得られれば、光切断法によって、縦パターン上の点の３次元位置を求めることができる。単一のＣＶＰＰに照射された点が、オクルージョンなどによって画像面上で不連続になると、複数の縦パターンとして観測される。この場合、複数のＵＶＰＰが、一つのＣＶＰＰに対応することになる。ＵＨＰＰとＣＨＰＰについても同様である。
【００４３】
以下に、画像処理方法の詳細を説明する。図２を参照して、本発明の画像処理方法は、物体の３次元形状を復元するために必要とされるデータを獲得するステップＳ１０と、ＵＶＰＰあるいはＵＨＰＰについて成立する共面性の条件等から解を算出するステップＳ１１と、ＵＶＰＰ及びＵＨＰＰの集合と、ＣＶＰＰ及びＵＶＰＰの集合とのマッチングによって解の自由度を解消するステップＳ１２と、求められた解から物体の３次元形状を復元するステップＳ１３とから構成されている。本発明では、ステップＳ１１で求められる解の不定性の自由度が１であることから、ステップＳ１２にて、一つのパラメータを決定することで、全てのＵＶＰＰ、ＵＨＰＰの位置が決まる。この処理は、例えば平面どうしのマッチング誤差を定義し、その和が最小となるパラメータを１次元探索することで行なわれる。
【００４４】
各ステップの詳細を以下にて説明する。
【００４５】
ステップＳ１０
本ステップでは、図１に示される画像処理装置１０を用いて物体１８の３次元形状復元に必要とされるデータを獲得する。具体的には、直交する複数のパターンを含むパターン光を、物体１８に対して照射する。ここでは、例えば図７（Ａ）に示すような、互いに直交する縦パターンおよび横パターンから成るパターン光がプロジェクタ１２から投影されている。そして、物体により反射された光をカメラ１４により撮影する。カメラ１４により撮影された２次元画像に基づく情報は、画像処理手段１６に入力される。そして、画像処理手段１６に入力された２次元画像を画像処理することにより、パターン同士の交点の画像上での位置を抽出する。図７（Ｂ）にパターンや交点を実際に検出した例を示す。
【００４６】
ステップＳ１１
本ステップでは、キャプチャされた交点の集合から、ＵＶＰＰ、ＵＨＰＰに関する拘束式を得て、それらの平面に関する解（第１解）を１自由度を除いて得る方法を述べる。まず、関係する平面（ＣＶＰＰ、ＣＨＰＰ、ＵＶＰＰ、ＵＨＰＰ）を表すための記号を定義する。投影されるパターンから得られたＣＶＰＰの集合をＶ１、Ｖ２、・・・、ＶＭと表し、ＣＨＰＰの集合を、Ｈ１、Ｈ２、・・・、ＨＮと表す。また、画像から得られたＵＶＰＰ、ＵＨＰＰの集合を、それぞれ、ｖ１、ｖ２、・・・、ｖｍ、及び、ｈ１、ｈ２、・・・、ｈｎと表記する。
【００４７】
ｖｋとｈｊの交点がキャプチャされ、画像上での位置が正規化カメラの座標表記でｕｋ、ｌ＝［ｓｋ、ｌ、ｔｋ、ｌ］Ｔであるとする。ｖｋとｈｊの２個の平面は、次の式で表される。
【００４８】
【数１】
ここで３次元ベクトルｖｋ及びｈｋは平面のパラメータを表し、ｘは平面上の任意の点を表す。キャプチャされた交点ｕｋ、ｌの３次元位置をｘｋ、ｌとすると、ｘｋ、ｌはｕｋ、ｌを利用して、
【００４９】
【数２】
と表される。方程式（１）にｘ＝ｘｋ、ｌを代入して、式（１）と（２）からｘｋ、ｌとγを消去すると、
【００５０】
【数３】
が得られる。この式は、ｖｋ、ｈｌを変数とする一次方程式であり、この方程式を全てのキャプチャされた交点について並べると、ｖ１、・・・、ｖｍ、ｈ１、・・・、ｈｎを変数とする連立一次方程式となる。これを行列形式で表現したとき、Ａｑ＝０と表されるとする。ただし、ｑ＝［ｖ１Ｔ、・・・、ｖｍＴ、ｈｌＴ、・・・、ｈｎＴ］Ｔである。
【００５１】
方程式（３）には差（ｖｋ−ｈｌ）のみが現れるので、連立方程式Ａｑ＝０の解ｑ＝［ｖT１、・・・、ｖTｍ、ｈT１、・・・、ｈTｎ］Tについて、そのスカラー倍、ｓｑ＝［ｓｖT１、・・・、ｓｖTｍ、ｓｈT１、・・・、ｓｈTｎ］Tもまた解である。さらに、任意の３次元定数ベクトルｃを並べたベクトルを加算したものｑ＋［ｃT、ｃT、・・・、ｃT］T＝［ｖT１＋ｃT、・・・、ｖTｍ＋ｃT、ｈT１＋ｃT、・・・、ｈTｎ＋ｃT］Tもやはり解となる。これより、連立方程式Ａｑ＝０の一般解は、
【００５２】
【数４】
と表される。ただし、ｑ’＝［ｖ’T１、・・・、ｖ’Tｍ、ｈ’T１、・・・、ｈ’Tｎ］TはＡｑ＝０の特殊解である。
【００５３】
本発明では、全てのＵＶＰＰは直線Ｌｖを含み、全てのＵＨＰＰは直線Ｌｈを含む、という条件が存在する。さらに、ＬｖとＬｈは点Ｏｐで交わる。これらの条件から、式（４）の任意変数ｓとｃには拘束が生じ、解の不定性の自由度が減る。以下に、上記の条件を考慮した一般解の求め方を述べる。２個の直線ＬｖとＬｈを含む平面を、ｐｒｏｊｅｃｔｏｒ ｆｏｃａｌ ｐｌａｎｅ（ＰＦＰ）と呼び、その平面パラメータをｐと表記する。直線ＬｖとＬｈの方向ベクトルを、それぞれｌｖ及びｌｈと表記する。また、プロジェクタの光学中心Ｏｐの３次元位置をｏｐと表記する。全てのＵＶＰＰは直線Ｌｖを含み、全てのＵＨＰＰは直線Ｌｈを含む。また、全てのＵＶＰＰ及びＵＨＰＰは点Ｏｐを含む。これより、
【００５４】
【数５】
が得られる。また、前述の特殊解ｑ０も上記の条件を満たすとする。つまり、
【００５５】
【数６】
である。また、ＰＦＰは、直線Ｌｖ、Ｌｈと点Ｏｐを含むので、
【００５６】
【数７】
が成立する。式（５）、（６）、（７）より、
【００５７】
【数８】
が得られる。これらの式から、ｖｋ−ｐとｖ’ｋ−ｐが、両方ともｌｖ及びｏｐに直交することがわかる。ｌｖとｏｐは一般には平行でないので、これらの両方に直交するベクトルは、スケーリングを除いて一意に決まる。これより、
【００５８】
【数９】
が得られる。同様に、
【００５９】
【数１０】
である。式（９）、（１０）より、方程式（３）及び（５）の一般解は、
【００６０】
【数１１】
の形で表される。既に述べたように、［ｖ’T１、・・・、ｖ’Tｍ、ｈ’T１、・・・、ｈ’Tｎ］Tは特殊解の一つであり、ｐは平面ＰＦＰのパラメータベクトルである。式（４）の一般解の不定性がＬｖ及びＬｈの条件により減少した結果、式（１１）における不定性は、スカラー値ｓによる１自由度のみとなったことが分かる。
【００６１】
式（１１）は、縦パターンと横パターンとの交点の像から、それらに対応する平面、つまりＵＶＰＰ及びＵＨＰＰ全体の位置の解が、１自由度を除いて求められることを表す。実際には、このような解が求められるためには条件がある。これを以下に述べる。あるＵＶＰＰとＵＨＰＰの交線上の点が画像上で観測されているとき、これらは連結している、と定義する。また、この意味で平面ａとｂが連結しており、かつ、平面ｂとｃが連結しているとき、平面ａとｃは連結していると定義する。あるＵＶＰＰ及びＵＨＰＰの集合があり、その任意の要素が他の全ての要素と連結しているとき、これを連結集合と呼ぶことにする。図５に連結集合の例を示す。この時、あるＵＶＰＰ及びＵＨＰＰの集合が連結集合ならば、その集合全体の位置の解は式（１１）の形で求められる。
【００６２】
これは、直観的には、以下のように証明できる。ある一つのＵＶＰＰｖｆに着目すると、ｖｆは直線Ｌｖを含むことから、その位置の不定性は１自由度である。ここで、ｖｆの不定な１個のパラメータを仮に定め、ｖｆと交点のあるＵＨＰＰｈｇを考える。ｖｆの位置を定めると、交点の位置が定まり、かつｈｇは直線Ｌｈを含むため、ｈｇの位置も定まる。このように、ある平面を定めると、その平面と交点を持つ平面が定められるため、これを繰り返すと連結集合全体の解が定まる。この時、不定性は、最初の平面の１自由度のみであり、式（１１）はこの解の形式を表す。逆に、ＵＶＰＰ及びＵＨＰＰの集合が連結集合でないならば、連結集合でない平面同士には拘束条件がないので、全体としての解は２自由度以上になる。よって、平面の集合全体が解は式（１１）の形で求められる必要十分条件は、その集合が連結集合であることである。
【００６３】
本発明では、ＵＶＰＰ及びＵＨＰＰの集合が連結集合であると仮定する。もし、対象シーンから複数の連結集合が得られる場合には、それぞれの連結集合ごとに提案手法を適用すればよいので、このことは本手法の一般性を損なわない。連結集合ごとに分けるには、画像処理でラベリング処理により容易に行うことができる他、検出された縦パターンと検出された横パターンとキャプチャされた交点からなるグラフにおいて接続関係を調べることでも効率よく実現できる。
【００６４】
さらに、想定する応用例によっては、本ステップＳ１１で得られる、１自由度を残した解でも役に立つ場合もある。例えば、プロジェクタ光源の焦点距離が長く、光源が平行光源に近い場合、１自由度を残した解について、残りのパラメータを適当に定めても形状の歪みは比較的少ない。このような時、形状に陰影を付けて表示するなどの限定的な利用に関しては、ステップＳ１０までの処理の出力が、結果として十分利用できる場合がある。特に、２次元ディスプレイ上に表示するだけであれば違和感なく表示可能であり、映画やゲーム、デジタルアーカイブなどでそのまま利用できる。よって、場合によっては、ステップＳ１１の出力を結果としてもよい。
【００６５】
ステップＳ１２
本工程では、この先ステップで得られた解と、ＣＶＰＰ及びＣＨＰＰとのマッチングを行なうことで、ＵＶＰＰとＣＶＰＰ、あるいはＵＨＰＰとＣＨＰＰとの対応関係を求める。つまり、この先ステップで得られた解と、ＣＶＰＰ及びＣＨＰＰとが一致するような解のパラメータを求める。前ステップの解は、ＵＶＰＰ、ＵＨＰＰに関して、キャプチャされた交点のみから得られ、ＣＶＰＰ及びＣＨＰＰの情報は利用されていない。解の自由度が１であることから、マッチングを１次元探索によって効率的に行なうことで、自由度が解消された解（第２解）を得る。
【００６６】
まず、ＵＶＰＰとＣＶＰＰの対応を表すための表記方法を定義する。ｋ番目のＵＶＰＰｖｋが、ｉ番目のＣＶＰＰＶｉに対応することを、ｖｋ→Ｖｉと表記する。これは、ｖｋがＶｉに同定されたことを意味する。
【００６７】
具体的なマッチング処理について述べる。最初に、適当なＵＶＰＰを選ぶ。例えば、ｖ１０が選ばれたとする。次に、ｖ１０に対して、ＣＶＰＰＶ１を対応させ、この対応から、全てのＵＶＰＰ、ＵＨＰＰの位置、つまりｖ１、・・・、ｖｍ、ｈ１、・・・、ｈｎの位置を求める。この時、得られたＵＶＰＰ、ＵＨＰＰ（ｖ１、・・・、ｖｍ、ｈ１、・・・、ｈｎ）の位置が、全体としてＣＶＰＰ、ＣＨＰＰ（Ｖ１、・・・、ＶＭ、Ｈ１、・・・、ｈＮ）に一致しているかどうかを評価する。
【００６８】
同様に、ｖ１０に対応させるＣＶＰＰを、Ｖ２、Ｖ３・・・と変化させ、それぞれの対応について得られたＵＶＰＰ、ＵＨＰＰの位置が、全体としてＣＶＰＰ、ＣＨＰＰに一致しているかどうかを評価する。
【００６９】
ＵＶＰＰ、ＵＨＰＰの位置が、全体として最もＣＶＰＰ、ＣＨＰＰに一致していると判断される時のＵＶＰＰとＣＶＰＰの対応関係、及びＵＨＰＰとＣＨＰＰの対応関係を、求める対応関係として出力する。
【００７０】
一致しているかどうかを判断する手法について以下に述べる。式（１１）はパラメータｓによる不定性を持つが、特定のＵＶＰＰとＣＶＰＰの対応を仮定すると、以下に述べる計算によりこのパラメータが決定される。仮に、ｋ’番目のＵＶＰＰが、ｉ’番目のＣＶＰＰに対応する（つまりｖｋ’→Ｖｉ’）とすると、
【００７１】
【数１２】
が成り立つ。ただし、Ｖｉ’はＣＶＰＰＶｉ’のパラメータベクトルである。この式から、ｓは、
【００７２】
【数１３】
と計算される。計算されたｓによって、ｖｋ’→Ｖｉ’の対応関係を仮定した場合の全てのＵＶＰＰ及びＵＨＰＰを計算することが出来る。
【００７３】
式（１３）のｓをｓ（ｋ’、ｉ’）と表記する。そして、ｖｋ’→Ｖｉ’の対応関係を仮定して計算されたｖｋ及びｈｌを、ｖｋ（ｋ’、ｉ’）、ｈｌ（ｋ’、ｉ’）と表記する。すると、これらの平面は、
【００７４】
【数１４】
で表される。
【００７５】
次のステップとして、計算されたＵＶＰＰ（又はＵＨＰＰ）と、ＣＶＰＰ（又はＣＨＰＰ）を比較する。これには、それぞれのＵＶＰＰについて、そのＵＶＰＰと、そのＵＶＰＰに最も近いＣＨＰＰとの差を誤差として利用する。これにより、対応関係ｖｋ’→Ｖｉ’に関する一致度を、全てのＵＶＰＰについての誤差の自乗和として定義できる（誤差の自乗和が小さいほど一致度は高い）。誤差関数が最小となるような対応関係を探索することで、ＵＶＰＰ（又はＵＨＰＰ）とＣＶＰＰ（又はＣＨＰＰ）との最適な対応を求めることが出来る。
【００７６】
上記の比較は、ＵＶＰＰの集合ｖｋ（ｋ’、ｉ’）、（ｋ＝１、・・・、ｍ）とＣＶＰＰの集合Ｖｉ、（ｉ＝１、・・・、Ｍ）の間、及び、ＵＨＰＰの集合ｈｌ（ｋ’、ｉ’）、（ｌ＝１、・・・、ｎ）とＣＨＰＰの集合Ｈｊ、（ｊ＝１、・・・、Ｎ）の間で行なわれる。本発明では、これらの平面の比較は、平面同士の角度差によって行なわれる。すなわち、誤差関数は具体的には以下のように定義される。
【００７７】
【数１５】
ただし、Ｄは２個の平面の成す角度を表し、以下のように定義される。
【００７８】
【数１６】
これにより最終的に、
【００７９】
【数１７】
による探索の結果、得られた平面の集合ｖｋ（ｋ’、ｉ’ｍｉｎ）、（ｋ＝１、２、・・・、ｍ）とｈｌ（ｋ’、ｉ’ｍｉｎ）、（ｌ＝１、２、・・・、ｎ）が解となる。
【００８０】
計算されたＵＶＰＰおよびＵＨＰＰと、ＣＶＰＰおよびＣＨＰＰを比較する方法としては、別な方法も考えられる。例えば、ＵＶＰＰおよびＵＨＰＰの間の交線の集合（ＵＶＰＰおよびＵＨＰＰが複数あるので、交線も複数存在する）と、ＣＶＰＰとＣＨＰＰの間の交線の集合との一致度を調べてもよい。前者の集合をＩＵＰＰ（Ｉｎｔｅｒｓｅｃｔｉｏｎｓ ｂｅｔｗｅｅｎ Ｕｎｃａｌｉｂｒａｔｅｄ Ｐｒｏｊｅｃｔｏｒ Ｐｌａｎｅｓ）、後者の集合をＩＣＰＰ（Ｉｎｔｅｒｓｅｃｔｉｏｎｓ ｂｅｔｗｅｅｎ Ｃａｌｉｂｒａｔｅｄ Ｐｒｏｊｅｃｔｏｒ Ｐｌａｎｅｓ）と呼ぶことにする。一致度を表す基準として、ＩＵＰＰの各交線ｈについて、ＩＣＰＰの要素を探索し、ｄ（ｇ，ｈ）が最小となるようなｇ∈ＩＣＰＰを選び出す。ただし、ｄ（ｇ，ｈ）は、直線ｇとｈの方向ベクトルの角度差を表す。全てのｈについて、同様の処理を行ない、角度差ｄ（ｇ，ｈ）の自乗和を計算したものを誤差関数とする。このような誤差関数が最小となるようなパラメータを、ステップＳ１２と同様に求めればよい。
【００８１】
さらに、観測されるパターンを、既知のパターンと比較する方法があれば、それを上記の比較に利用しても良い。例えば、帯状のパターンの境界線を、検出された縦パターンとしている場合、あるＵＶＰＰによる縦パターンが、帯の左側の境界であるか、右側の境界であるかは、対応するＣＶＰＰと一致している必要がある。つまり、境界の右側のＵＶＰＰは、境界の右側のＣＶＰＰに対応させる必要があるので、これを一致度を評価する誤差関数に反映させたり、一致するパラメータの探索に利用してもよい。また、交点についても、特定の交点の集合を他の交点と見分ける方法があれば、それを一致度の評価に反映させても良い。例えば、幾つかの交点に、丸印などのマーカーを付けたパターンを利用し、丸印の一致を、ＵＶＰＰおよびＵＨＰＰと、ＣＶＰＰおよびＣＨＰＰの一致度の評価に利用することができる。
【００８２】
ステップＳ１３
本ステップでは、以上の処理により全てのＵＶＰＰが同定されたため、光切断法により形状の復元を行う。具体的には、図６のように、平面パラメータと、検出されたエッジとカメラ１４の中心とを結ぶ視線との交点として物体１８の３次元座標が計算される。
【００８３】
以上のステップを経ることにより、カメラにより撮影された物体の３次元形状が復元される。
【００８４】
＜第３の実施の形態：カメラとプロジェクタの位置関係＞
カメラとプロジェクタの位置関係は、事前に精密に計測しておくと精度の高い計測が可能となる。その際、校正儀を用いてキャリブレーションを行い、そのパラメータを用いることが出来る。一方で、事前の校正は負担の多い作業のため、計測の時に、静止物にパターンを複数回投影し自校正で求めておくと利便性が高い。この方法は、例えば、Ｒｙｏ Ｆｕｒｕｋａｗａ， Ｈｉｒｏｓｈｉ Ｋａｗａｓａｋｉ， "Ｄｅｎｓｅ ３Ｄ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｗｉｔｈ ａｎ Ｕｎｃａｌｉｂｒａｔｅｄ Ｓｔｅｒｅｏ Ｓｙｓｔｅｍ ｕｓｉｎｇ Ｃｏｄｅｄ Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ，" ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ'０５） Ｗｏｒｋｓｈｏｐ ｏｎ Ｐｒｏｊｅｃｔｏｒ−Ｃａｍｅｒａ Ｓｙｓｔｅｍｓ， ｐ． １０７， ２００５． に記載されている。
【００８５】
＜第４の実施の形態：投影されるパターンの配置＞
次に、プロジェクタ１２により投影されるパターンに関して説明する。
【００８６】
投影パターンであるＣＶＰＰ、ＣＨＰＰの配置は、式（１７）の探索の安定性に影響する。仮に、平面の真の対応が、ｖ１T→Ｖ１、・・・、ｖｍT→Ｖｍ、ｈ１→Ｈ１、・・・、ｈｎ→Ｈｎであるとする。このとき、解に誤差が無いとすると、式（１１）の真のｓについて、Ｖ１＝ｖ１、・・・、Ｖｍ＝ｖｍ、Ｈ１＝ｈ１、・・・、Ｈｎ＝ｈｎである。ここで、式（１１）の真の値とは違うある値ｓ’を代入して、真の位置とは別のＵＶＰＰ及びＵＨＰＰ（ｖ１、・・・、ｖｍ、ｈ１、・・・、ｈｎ）を定めたとき、任意のｋ、ｉについてＶｑ＝ｖｋ、（ｋ≠ｑ）、Ｈｒ＝ｈｉ、（ｉ≠ｒ）となるようなｑ、ｒが存在すると、このｓ’は真の値ｓと見分けが付かず、唯一解を求めることが出来なくなる。
【００８７】
このような状況は一般には起こらないものの、ＣＶＰＰ、ＣＨＰＰが規則的に配置されている場合などには、対応関係が１つずれても評価関数に大きな差が現れないため、解が不安定になることがある。これを防ぐ方法としては、ＣＶＰＰ、ＣＨＰＰをプロジェクタの画像面上で不規則な間隔で配置することが挙げられる。この場合、Ｖｑ、Ｈｒの集合の配置が不規則なものになるため、上式の条件が成立しにくくなる。実際には縦および横の両方が不規則である必要はなく、例えば、ＣＨＰＰは不規則な間隔で配置し、ＣＶＰＰはＣＨＰＰよりも高密度に規則的（等間隔）に配置することが考えられる。このようなパターンにすると、ＣＨＰＰの不規則性によって探索の安定性が確保され、ＣＶＰＰの密度によって再構成される形状の密度が高くなる利点がある。このようなパターンの例を図７に示す。また、ＣＨＰＰの配置が不規則でなく、ある規則に基づいたものであっても、間隔が均一でなければ、探索の安定性の向上に効果があるので、そのようにしてもよい。
【００８８】
本発明は、一般的なのワンショットスキャンのように、個々にパターンを同定する訳ではないため、ｄｅＢｒｕｉｊｎ系列のようにコード化可能なパターンである必要性が無く、しかも１色だけで良い。このように単色で良いため、対象物体表面のテクスチャの影響を受けにくくなり、簡単な画像処理で、安定した検出が可能となる。また空間的にエンコードされる訳ではないため１ピクセル幅のパターンで良く、非常に密な形状復元が可能となる。
【００８９】
更に、本発明は、単色パターンを縦か横か識別するだけでよいため、テクスチャ等に関してはロバストになるものの、形状に関する問題は残る。例えば、円筒のように、正面と側面で視点からの法線方向が大きく異なる形状の場合、同じ周波数のパターンを投影したとしても、撮影画像上では側面付近のパターンが圧縮され潰れてしまうことで計測出来なくなることが起こりうる。そこで、本発明では周波数の異なるパターンを追加することで解決する。今回は、市販のプロジェクタおよびカメラを前提としているため、ＲＧＢの３色のみによる識別を考え、１色を疎で不規則な横パターン、他の２色を疎・密の規則的な縦パターンとすることができる。実際に作成したパターンを図８（Ａ）に示す。このパターンを利用して縦横パターンを検出した結果を図８（Ｂ）および図８（Ｃ）に示す。疎なグリッドと密なグリッドがそれぞれ識別されていることが分かる。この様なパターンの配置を以下の説明では、ｃｏａｒｓｅ−ｔｏ−ｆｉｎｅと呼ぶ。
【００９０】
ｃｏａｒｓｅ−ｔｏ−ｆｉｎｅに用いる複数のパターンは、異なるパターンどうしはそれぞれ平行で疎密だけ異なるパターンでも良いし、全く独立したパターンを用いても良い。
【００９１】
また、さらにｃｏａｒｓｅ−ｔｏ−ｆｉｎｅを効率化するためにさらに疎密の異なるパターンを増やすことも考えられる。ただし、その場合であっても、提案手法はあくまでも空間周波数を上げる目的であるため、カメラの解像度が１０２４の場合、最悪のケース（最も多くパターン数を要するケース）を想定しても、１０２４＝１０ビットで足りることから、１０パターンだけ識別できれば良く、過去の空間に情報をコード化する方式とは根本的に異なる。１０パターン程度であれば、狭帯域バンドパスフィルタなどを用いれば容易に実現できる。
【００９２】
復元に際しては、図８（Ｂ）と図８（Ｃ）、それぞれで独立して復元を行い、それらをマージすれば良い。マージの手法としては、実装が容易な単純な集合和をとる手法が考えられる。その他にも、疎密で共有しているラインの整合性を統計的に取れば、なお高い精度での復元が実現できる。
【００９３】
また、二つのパターンについて独立に復元する方法の他に、横パターンと、疎な縦パターン、密な縦パターンを全て利用して復元を行なう方法もある。図８（Ａ）の例のように疎な縦パターンと密な縦パターンが平行な場合には、疎な縦パターンと密な縦パターンをあわせて、すべて縦パターンの集合として扱えばよい。
【００９４】
また、解の精度を高めるために、基本的な格子状のパターンに、さらに別の直線状のパターンを追加しても良い、追加した直線については、上記の方法と同様に、数式１のように平面パラメータで表し、全てのパターンの交点について数式３と同様に線形方程式を作り、また、それぞれのパターンを表す平面は、パターンの方向によって決まる共通な直線を含むので、数式９、１０と同様に線形方程式を作ることで、連立方程式を作ることができる。これを解くことで、３個以上の方向の直線を持つパターンについて、復元を行なうことができる。この方法を用いると、図８（Ａ）の例と違って、疎な縦パターンと密な縦パターンが平行でない場合でも、まとめて一つの方程式として解くことができる。
【００９５】
＜第５の実施の形態：平行な平面を投影する投影手段の利用＞
第２の実施の形態において、縦パターンおよび横パターンに対応する平面の集合は、それぞれ同一の直線を通る平面の集合であるとしたが、かわりに平行な平面の集合としてもよい。この場合、平面が同一の直線を通る、という条件を、平面が「同一の無限遠直線を通る」という条件に置き換えればよい。この時、第２の実施の形態における直線Ｌｖおよび直線Ｌｈは、同一の無限遠点Ｏｐを通ると考えて良い。このように考えると、式５の方程式ＯｐＴｖk＝−１は、ＯｐＴｖk＝０という式に、置き換えられる。同様に、式５、６、７の方程式で右辺が−１の式を、全て右辺を０に置き換えた方程式にすれば、平行な平面の集合が満たす制約式になる。これを制約式として解くことで、第２の実施の形態と同様に１自由度の解を得ることができる。
【００９６】
実際のシステムとしては、ラインレーザ光源を平行に並べることで実現できる。このような配置の場合、光源から遠くに離れても同じ間隔のパターン光を得られるため、対象物体から離れて光源を設置することができ、３次元計測における利便性が高まる。
【００９７】
＜第６の実施の形態：パターンの検出アルゴリズム＞
赤と青でそれぞれ縦横の投影パターンとした場合、撮影した画像を赤・青のプレーンで分離した画像からラインを検出し、交点を検出する。ラインの検出方法としては、画像全体に対して単純な閾値処理を行うことも考えられるが、光源からの距離の違いや物体の法線方向の違いにより、明るさが変化してしまうため、画像全体を通して精度の高いライン検出が困難となることが起こる。そこで、Ｃａｎｎｙフィルタのようなエッジフィルタを用いると、安定した処理が実現できる。しかしエッジフィルタを用いると、テクスチャにエッジがある場合や、物体境界のエッジが撮影されていると、それらが検出され誤検出の原因となることもある。これらの回避方法としては、画像全体を細かいサブブロックに分割し、そのサブブロック内で個別の閾値を算出し、閾値処理によってラインを検出する方式が考えられる。
【００９８】
また、カメラとプロジェクタの向きは平行なままで、斜め４５度の方向にずらして配置すれば、縦と横に直交した投影パターンが、カメラ座標系においても縦横平行に直交したままのため、撮影した画像上で縦や横方向にスキャンした場合、同一パターンを２回以上通ることが無くなる。このような配置でスキャンライン上でピーク（複数）を検出するアルゴリズムとすれば、上記の単純な閾値による問題や、テクスチャや物体境界エッジの問題を解決することが出来る。
【００９９】
＜第７の実施の形態：方程式の削減＞
上記した第２の実施の形態では、ｍをＵＶＰＰの数、ｎをＵＨＰＰの数とした場合、方程式に含まれる変数の数は、３（ｍ＋ｎ）であった。この変数の数を削減したら、画像処理に必要とされる時間を大幅に短くすることができる。以下のように方程式の変数を削減することにより、自由度を含む解を算出するステップ（図２に示すステップＳ１１）に必要とされる時間を１／１００００程度にして、高速に３次元形状が復元される。
【０１００】
以下では、全てが共通な平面を通る性質を利用して、平面のパラメータを１つの変数にて表現することで、変数の数を１／３に削減して、３次元形状を復元するのに必要とされる処理時間を短縮している。
【０１０１】
具体的には、ｖｋ、ｈｌは、どちらもｏｐ（ＰＨＰであり、ｐで表される）を通り、それぞれｌｖ、ｌｈに法線が垂直な平面である。これは、
【０１０２】
【数１８】
として、
【０１０３】
【数１９】
と表せる。ここで、式１９では、ｖｋおよびｈｌが１つのパラーメータ（ηｋ、ρｌ）により表現されている。よって、式（３）から、
【０１０４】
【数２０】
である。ｉ番目の交点が、ｖｋとｈｌの交点であるとき、α（ｉ）≡ｋ、β（ｉ）≡ｌとする。また、すると、ｉ番目の交点の式は、
【０１０５】
【数２１】
と表される。
【０１０６】
この条件は、ｍをＵＶＰＰの数、ｎをＵＨＰＰの数、Ｋを交点数として、
【０１０７】
【数２２】
【０１０８】
【数２３】
【０１０９】
【数２４】
という定義を用いて、
【０１１０】
【数２５】
という斉次線形方程式になる。この方程式は、式（３）の条件を表したものであり、式（１９）によって、ＵＶＰＰがＬｖを含み、ＵＨＰＰがＬｈを含むという条件が表されることから、この方程式を解くことで前節の一般解を得ることができる。この方程式の変数ベクトルｑはｍ＋ｎ次元ベクトルであるから、これによって、３（ｍ＋ｎ）個の変数を、ｍ＋ｎ個に削減できたことになる。
【０１１１】
次に、上記した方程式を、例えば横平面（ＵＨＰＰ）のみのパラメータを変数とする方程式に変換して、変数の数を横平面の数まで削減する方法を説明する。
【０１１２】
先ず、誤差を考慮して、方程式（２５）の左辺のノルムを最小化することでこの方程式を解く。左辺のノルムの自乗をＥｐ≡‖Ｐｑ‖２と書くと、
【０１１３】
【数２６】
である。これを、ηｊについて偏微分する。α-１（ｊ）≡｛ｋ｜α（ｋ）＝ｊ｝とすると、
【０１１４】
【数２７】
Ｅｐを最小化するために∂Ｅｐ／∂ρｊと置くと、
【０１１５】
【数２８】
より
【０１１６】
【数２９】
が得られる。よって、ρｊはηｋの線形結合で表される。これを行列で表すと、
【０１１７】
【数３０】
である。ただし、
【０１１８】
【数３１】
【０１１９】
【数３２】
【０１２０】
【数３３】
【０１２１】
【数３４】
【０１２２】
【数３５】
の定義を利用した。Ｔの定義において、列番号ｋ１、ｋ２、・・・は、α-１（ｊ）の要素、つまり、ｊ番目のＵＶＰＰと交点を持つ全てのＵＨＰＰの番号を表す。この時、
【０１２３】
【数３６】
より
【０１２４】
【数３７】
と定義すると、‖Ｐｑ‖２の最小化は
【０１２５】
【数３８】
の最小化となる。この式の最小化は、誤差のある線形方程式
【０１２６】
【数３９】
を誤差の自乗和を最小化する意味で解くことに相当し、これは、ＲＴＰＴＰＲＴの最小固有値に対応する固有ベクトルを求めることに帰着される。ＲＴＰＴＰＲＴは、ｎ×ｎ行列である。縦パターンを密に、横パターンを疎にした場合、ｎ（ＵＨＰＰの数）はｍ（ＵＶＰＰの数）よりずっと小さい。この場合、上記の問題は、元の‖Ｐｑ‖２をｑについて最小化する問題より、はるかに効率的に解くことができる。
【０１２７】
＜第８の実施の形態：実験結果＞
最初に提案手法の有効性を示すために、シミュレーションにより作成されたデータを用いて本手法の検証を行なった。シミュレーションは、複数のグリッドパターンを用いて行った。第１のパターンは均一な間隔のパターンとし、第２のパターンは、第１のパターンにおいて、水平パターンの間隔を意図的に乱数によって乱したものを利用した。第２のパターンは、上述した理由によって、対応探索の安定性が上がると考えられる。それぞれのパターンを仮定して生成されたシミュレーション画像を図９（Ａ）、図９（Ｂ）に示す。これらの画像において、縦パターンの間隔は約５画素であった。グリッドパターンの交点を画像から抽出し、ＵＨＰＰ及びＵＶＰＰからＣＶＰＰ及びＣＨＰＰへの対応関係を提案手法によって抽出した。それぞれのパターンにおいて、ＵＨＰＰとＵＶＰＰの正しい対応関係が抽出され、再構成された形状は、真の形状に一致した。第２のパターンの画像での再構成結果と真の形状を図９（Ｃ）に示す。
【０１２８】
次に、入力データ（画像からキャプチャされた交点集合の位置）にノイズを加えた場合の、提案手法の安定性を調べるための実験を行なった。本手法の安定性は、投影するパターンによって変化するので、図９（Ａ）、図９（Ｂ）に示される２種類のパターンについて実験を行なった。キャプチャされた交点の位置には、様々な大きさの分散を持った、等方的な２次元ガウシアンノイズを加え、それぞれの分散値ごとに、提案手法による３次元再構成を２０回ずつ行った。ｉ’ｍｉｎの探索の失敗の割合を、図１０に示す。この結果から、不規則な間隔を持ったパターンを利用することで、アルゴリズムの安定性が向上したことがわかる。
【０１２９】
次に、図１１に示す実験装置を用いて実物体の計測実験を行った。投光パターンの解像度は１０２４ｘ７６８であり、これを７２０ｘ４８０画素の解像度のＣＣＤカメラで撮影し、３次元復元を行った。
【０１３０】
図１２に、計測対象と計測結果の例を示す。実験では、複雑な形状を持った物体や、テクスチャの付いた物体などを用いて計測を行ったが、いずれも密で正確な形状を復元することができた。具体的には、図１２（Ａ）は対象物体を示し、図１２（Ｂ）−図１２（Ｅ）は再構成結果を示す。更に、図１２（Ｆ）は対象物体を示し、図１２（Ｇ）−図１２（Ｉ）は再構成結果を示す。
【０１３１】
次に、図１３を参照して、箱（大きさ：０．４ｍｘ０．３ｍｘ０．３ｍ）と円筒（高さ：０．２ｍ、半径：０．２ｍ）のシーンを、上記したｃｏａｒｓｅ−ｔｏ−ｆｉｎｅによる手法で計測した。評価のために、同一のシーンをパターンコード化法によって計測し、真の形状とした。ここで、図１３（Ａ）は撮影された物体を示し、図１３（Ｂ）および図１３（Ｃ）入力された画像を示し、図１３（Ｄ）は検出された横パターンを示し、図１３（Ｅ）は検出された密な縦パターンを示し、図１３（Ｆ）は検出された疎な縦パターンを示し、図１３（Ｇ）は密パターンの交点を示し、図１３（Ｈ）は疎なパターンの交点を示し、図１３（Ｉ）は密パターンの復元を示し、図１３（Ｊ）は疎なパターンの復元を示し、図１３（Ｋ）は統合結果を示している。そして、図１３（Ｌ）−図１３（Ｎ）は、復元された形状と真の形状とを重ねて示している。
【０１３２】
疎密を組み合わせた縦パターンを用いることで、法線方向が大きく異なる形状を欠損無く密に計測できていることが分かる。また、復元結果には少しずれが観測されるものの、この実験におけるＲＭＳ誤差は０．５２ｍｍであり、高い精度で復元できたことが分かる。
【０１３３】
最後に、図１４を参照して、変形する物体の３次元計測実験として、人物の顔の形状計測を行った。実験の様子を図１４（Ａ）、図１４（Ｂ）に示す。また、計測結果として３つの表情の復元例を同図（Ｃ）−（Ｅ）に示す。それぞれ複雑な表情が密で正確な形状として復元できていることが分かる。
【図面の簡単な説明】
【０１３４】
【図１】（Ａ）は本発明の画像処理装置を示す図であり、（Ｂ）は画像処理手段の構成を示す図である。
【図２】本発明の画像処理方法を示す図である。
【図３】本発明の画像処理方法を示す図であり、プロジェクタから照射されるパターンの平面に関連する平面を示す図である。
【図４】本発明の画像処理方法を示す図であり、プロジェクタから照射されるパターンの平面に関連する平面を示す図である。
【図５】本発明の画像処理方法を示す図であり、プロジェクタから照射されるパターンの平面の集合を示す図である。
【図６】本発明の画像処理方法を示す図であり、３次元形状復元の方法を示す図である。
【図７】本発明の画像処理方法を示す図であり、（Ａ）は照射されるパターンを示し、（Ｂ）は、抽出された線状パターンを示している。
【図８】本発明の画像処理方法を示す図であり、（Ａ）は縦パターンに疎なパターンと密なパターンの両方を採用したパターンを示し、（Ｂ）は検出された疎なパターンを示し、（Ｃ）は検出された密なパターンを示す。
【図９】本発明の画像処理方法を示す図であり、（Ａ）は均等なパターンによる入力画像であり、（Ｂ）は乱雑な間隔のパターンによる入力画像、（Ｃ）は乱雑な間隔のパターンによる画像の処理結果である。
【図１０】本発明の画像処理方法を示す図であり、雑音の大きさに対する誤り率を示すグラフである。
【図１１】本発明の画像処理方法を示す図であり、スキャンを行う際の装置を撮影した画像である。
【図１２】本発明の画像処理方法を示す図であり、（Ａ）および（Ｂ）は対象物体を示す図であり、（Ｃ）（Ｄ）および（Ｅ）は再構成結果を示し、（Ｆ）は対象物体であり、（Ｇ）および（Ｈ）は再構成結果を示し、（Ｉ）はテクスチャマッピングされたモデルである。
【図１３】本発明の画像処理方法を示す図であり、（Ａ）は撮影された物体を示し、（Ｂ）および（Ｃ）入力された画像を示し、（Ｄ）は検出された横パターンを示し、（Ｅ）は検出された密な縦パターンを示し、（Ｆ）は検出された疎な縦パターンを示し、（Ｇ）は密パターンの交点を示し、（Ｈ）は疎なパターンの交点を示し、（Ｉ）は密パターンの復元を示し、（Ｊ）は疎なパターンの復元を示し、（Ｋ）は統合結果を示している。そして、（Ｌ）−（Ｎ）は、復元された形状と真の形状とを重ねて示している。
【図１４】本発明の画像処理方法を示す図であり、（Ａ）は入力シーンを示し、（Ｂ）は入力画像を示し、（Ｃ）−（Ｅ）は３つの表情の復元例を示す。
【符号の説明】
【０１３５】
１０ 画像処理装置
１２ プロジェクタ
１４ カメラ
１６ 画像処理手段
１８ 物体
２０ 制御部
２２ 入力部
２４ 記憶部
２６ 表示部
２８ 操作部
３０ 画像処理部
３２ 交点獲得部
３４ 第１解算出部
３６ 第２解算出部
３８ ３次元形状復元部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびプログラムに関し、特に、入力された２次元画像を用いて３次元形状を復元する画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
動きのあるシーンや物体、例えば顔などを計測するためには、計測の高速性、高密度の点群の獲得、正確性、などが重要となる。パッシブステレオにおいては、テクスチャの無い形状表面を、密かつ正確に再構成することは難しい。このため、アクティブ３次元計測手法、特にパターンコード化法を高速化することで動きのあるシーンの形状取得を行なうというアプローチが近年盛んに研究されている。
【０００３】
パターンコード化法では、プロジェクタで単一又は複数のパターンをシーンに投影し、撮影することで３次元復元を行なう。このために、投影パターンの特徴点と撮影されたシーンとの対応関係が必要である。多くのパターンコード化方式では、プロジェクタの画素の位置情報を複数のパターンに時間的にコード化することでこれを行なう。この方式において、必要なパターンの数を減らし、さらに、パターンの速度を上げることで、動きのあるシーンの３次元形状の獲得を行なう方法がある。この方法では、必要な数のパターンを投影する間、シーンの時間的な移動量が非常に少ないことを仮定しているので、動きが速い場合には正確な形状が得られず、また、高速に同期して動作する機器の構築のためにシステムが複雑化するという問題点がある。
【０００４】
一方で、プロジェクタから投影される画像に、各々の画素位置を同定するための情報を空間的なパターンとしてコード化し埋め込むことで、一度の撮影画像のみからシーンを復元する（ワンショットスキャン）手法がある。この方法では、局所的な領域に、位置情報を一意にコード化する必要性から、パターンが複雑になりやすく、また、複数の画素に単一の位置情報をコード化することから解像度が低くなるという問題がある。さらに、コードのパターンが複雑になると、対象物の反射率により色情報が乱されたり、対象物の形状によってパターンの歪みや不連続性などが起きやすく、コード化された情報の抽出が不安定となる問題もある。
【０００５】
パターンコード化法において、対応点の決定に一般に利用される制約条件としてエピポーラ拘束がある。しかし、特徴点の数が多い場合や、特徴点の配列などの条件によってエピポーラ線上に複数の特徴点がある場合には、一意に対応付けることはできない。
【０００６】
パターン光による形状復元では、投影されるパターンの時間的あるいは空間的変化にプロジェクタの画素の位置情報をコード化する。画像の時間的変化のみを利用する方法は、画素ごとに実装が容易なため、古くから利用されている（下記非特許文献１）。
【０００７】
一方で、パターンの空間的コードのみを利用する方法（下記非特許文献２〜下記非特許文献４）では、単一フレーム画像のみによる計測（ワンショットスキャン）が可能である。
【０００８】
下記非特許文献５では、時間的変化と空間的変化の両方を利用して、必要なパターンの数を減らした。
【０００９】
また、厳密にはパターンコード化法では無いが、動きも含めた時空間ステレオマッチングにより復元をする研究もある（下記非特許文献６および下記非特許文献７）。
【００１０】
一方で、非特許文献８では、直線状パターンの集合という単純なパターンを用いて、画像一枚から密な形状復元が可能な方法が提案されている。
【非特許文献１】Ｓ． Ｉｎｏｋｕｃｈｉ， Ｋ． Ｓａｔｏ， ａｎｄ Ｆ． Ｍａｔｓｕｄａ． Ｒａｎｇｅ ｉｍａｇｉｎｇ ｓｙｓｔｅｍ ｆｏｒ ３−Ｄ ｏｂｊｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ． Ｉｎ ＩＣＰＲ， ｐａｇｅｓ ８０６−８０８， １９８４．２
【非特許文献２】Ｃ． Ｊｅ， Ｓ． Ｗ． Ｌｅｅ， ａｎｄ Ｒ．−Ｈ． Ｐａｒｋ． Ｈｉｇｈ−ｃｏｎｔｒａｓｔ ｃｏｌｏｒ−ｓｔｒｉｐｅ ｐａｔｔｅｒｎ ｆｏｒ ｒａｐｉｄ ｓｔｒｕｃｔｕｒｅｄ−ｌｉｇｈｔ ｒａｎｇｅ ｉｍａｇｉｎｇ． Ｉｎ ＥＣＣＶ， ｖｏｌｕｍｅ １， ｐａｇｅｓ ９５−１０７， ２００４． ２， ５
【非特許文献３】Ｊ． Ｐａｎ， Ｐ． Ｓ． Ｈｕａｎｇ， ａｎｄ Ｆ．−Ｐ． Ｃｈｉａｎｇ． Ｃｏｌｏｒ−ｃｏｄｅｄ ｂｉｎａｒｙ ｆｒｉｎｇｅ ｐｒｏｊｅｃｔｉｏｎ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ３−ｄ ｓｈａｐｅ ｍｅａｓｕｒｅｍｅｎｔ． Ｏｐｔｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ， ４４（２）：２３６０６−２３６１５， ２００５．
【非特許文献４】Ｊ． Ｓａｌｖｉ， Ｊ． Ｂａｔｌｌｅ， ａｎｄ Ｅ． Ｍ． Ｍｏｕａｄｄｉｂ． Ａ ｒｏｂｕｓｔ−ｃｏｄｅｄ ｐａｔｔｅｒｎ ｐｒｏｊｅｃｔｉｏｎ ｆｏｒ ｄｙｎａｍｉｃ ３ｄ ｓｃｅｎｅ ｍｅａｓｕｒｅｍｅｎｔ． Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， １９（１１）：１０５５−１０６５， １９９８．
【非特許文献５】Ｓ．Ｒｕｓｉｎｋｅｉｗｉｃｚ： "Ｒｅａｌ−ｔｉｍｅ ３Ｄ ｍｏｄｅｌ ａｃｑｕｉｓｉｔｉｏｎ" ， ＡＣＭ ＳＩＧＧＲＡＰＨ，ｐｐ．４３８−４４６ （２００２）．
【非特許文献６】Ｏ． Ｈａｌｌ−Ｈｏｌｔ ａｎｄ Ｓ． Ｒｕｓｉｎｋｉｅｗｉｃｚ． Ｓｔｒｉｐｅ ｂｏｕｎｄａｒｙ ｃｏｄｅｓ ｆｏｒ ｒｅａｌ−ｔｉｍｅ ｓｔｒｕｃｔｕｒｅｄ−ｌｉｇｈｔ ｒａｎｇｅ ｓｃａｎｎｉｎｇ ｏｆ ｍｏｖｉｎｇ ｏｂｊｅｃｔｓ． Ｉｎ ＩＣＣＶ， ｖｏｌｕｍｅ ２， ｐａｇｅｓ ３５９−３６６， ２００１．
【非特許文献７】Ｌ． Ｚｈａｎｇ， Ｎ． Ｓｎａｖｅｌｙ， Ｂ． Ｃｕｒｌｅｓｓ， ａｎｄ Ｓ．Ｍ． Ｓｅｉｔｚ． Ｓｐａｃｅｔｉｍｅ ｆａｃｅｓ： Ｈｉｇｈ−ｒｅｓｏｌｕｔｉｏｎ ｃａｐｔｕｒｅ ｆｏｒ ｍｏｄｅｌｉｎｇ ａｎｄ ａｎｉｍａｔｉｏｎ． Ｉｎ ＡＣＭ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ， ｐａｇｅｓ ５４８−５５８， Ａｕｇｕｓｔ ２００４． ２
【非特許文献８】Ｔ． Ｐ． Ｋｏｎｉｎｃｋｘ ａｎｄ Ｌ． Ｖ． Ｇｏｏｌ． Ｒｅａｌ−ｔｉｍｅ ｒａｎｇｅ ａｃｑｕｉｓｉｔｉｏｎ ｂｙ ａｄａｐｔｉｖｅ ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ． ＩＥＥＥ Ｔｒａｎｓ． ｏｎ ＰＡＭＩ， ２８（３）：４３２−４４５， Ｍａｒｃｈ ２００６．
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、上記した背景技術では、以下のような問題があった。
【００１２】
具体的には、特許文献１に記載された技術では、位置情報のコード化に必要なパターンの枚数が多く、高速なキャプチャに不向きである問題があった。
【００１３】
非特許文献２〜非特許文献４に記載された技術では、空間的な広がりのあるパターンにコード化するため解像度が落ちてしまう問題があった。また、パターンが各画素の周囲で局所的かつ一意的にコード化される必要性から、これを実現するためのパターンは比較的複雑なものとなり、抽出のための画像処理も複雑となる。このため、物体の色や形状の影響によりコード化された情報の抽出に失敗することが起こりやすく、結果不安定になりやすい問題があった。
【００１４】
非特許文献５に記載された発明では、複数枚のパターンを照射する間、シーンが事実上静止していなければならないという制約がある。また、動きの遅い剛体物に限り、位置あわせによる解決手法を提案してはいるものの、人間の顔や体の動きなど、剛体以外の対象に動きがある場合には対応できない。
【００１５】
非特許文献６および非特許文献７に記載された技術では、カメラペアのステレオにおいて、プロジェクタは時間的に変化するテクスチャを与えることのみに使用される。この技術では物体の運動の連続性が仮定されており、時空間画像上で不連続性が生じるような速い動きがある場合には正しく復元されないという問題がある。
【００１６】
また、非特許文献５〜非特許文献７に共通する課題として、早い動きに対応するために非常に高速同期して動作するシステムを構築しなければならない点や、処理が比較的重いという問題もある。
【００１７】
特許文献８に開示された技術では、密な縞模様パターン（直線状パターンの繰り返し）の抽出による局所的な形状構成を基本とし、これに補助的な疎な直線状パターン抽出によるグローバルな位置推定を組み合わせることで、ユークリッドな形状の復元を実現している。このため、この疎な直線状パターンの検出に失敗するか、縞模様の抽出に失敗すると再構成が出来ないという問題があった。
【００１８】
本発明は、上記した種々の課題を解決するために成されたものであり、本発明の主たる目的は、高密度な復元が可能であり、画像処理に対しても頑健な画像処理装置、画像処理方法およびプログラムを提供することにある。
【課題を解決するための手段】
【００１９】
本発明では、ラインレーザによって照射される点の共面性条件を解くことで３次元形状の復元が実現される手法を応用し、プロジェクタ（投影手段）から照射される２種類の直線状パターンについて、これらパターンどうしの交点に共面性条件が成立することを利用して、３次元形状の復元を行う。この復元の方法は、例えば、Ｋａｗａｓａｋｉ Ｈｉｒｏｓｈｉ、Ｆｕｒｕｋａｗａ Ｒｙｏ “Ｓｈａｐｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｒｏｍ Ｃａｓｔ Ｓｈａｄｏｗｓ ｕｓｉｎｇ Ｃｏｐｌａｎａｒｉｔｉｅｓ ａｎｄ Ｍｅｔｒｉｃ Ｃｏｎｓｔｒａｉｎｔｓ”，ＡＣＣＶ， Ｐａｒｔ ＩＩ， ＬＮＣＳ ４８４３，ｐｐ．８４７−８５７， ２００７ に記載されている。
【００２０】
具体的には、本発明は、３次元空間中で、平面状のパターン光を投影する光源を用いて、共通の制約条件である第１制約条件が存在するように配置された１つ以上の第１パターンと、前記第１パターンと交わり、共通の制約条件である第２制約条件が存在するように配置された１つ以上の第２パターンとを物体に対して投影する投影手段と、前記パターン光を前記物体に投影することにより前記物体から反射された光を撮影して２次元画像を得る撮影手段と、前記２次元画像から前記物体の３次元形状を復元する画像処理手段と、を備え、前記画像処理手段は、前記２次元画像において、前記第１パターンを反射光として観測した観測第１パターンと、前記第２パターンを反射光として観測した観測第２パターンとの交点を獲得する第１計算部と、前記観測第１パターンを含む空間中の第１暫定平面と、前記観測第２パターンを含む空間中の第２暫定平面が、前記交点を共有することから得られる制約条件と、前記第１制約条件と、前記第２制約条件と、前記投影手段と前記撮影手段との相対位置関係である第１相対位置関係とを用いて、前記第１暫定平面あるいは前記第２暫定平面について自由度を含む第１解を算出する第２計算部と、を備えることを特徴とする。
【発明の効果】
【００２１】
本発明では、縦と横のみが識別可能な多数の直線で構成された単純なグリッドパターンを用いて、その交点を特徴点とすることで３次元復元を実現する。このような特徴点を用いれば、縦と横の接続関係という特徴点どうしの情報が得られるため、共面性からの形状復元を応用して、縦線と横線の交点として矛盾のない形状を、パラメータの解集合として作成することができる。また、この解の自由度は、グリッドパターンが既知である場合１であるため、１次元探索により高速に決定することが出来る。従って、動きのあるシーンや物体を密に３次元計測することができる。
【００２２】
更に本発明では、一意な対応付けに十分な数の接続情報さえ得られれば形状がグローバルに滑らかである必要が無く、オクルージョンによる急激なデプスの変化等があっても復元できるという利点がある。また、多数の直線で構成された単純なグリッドパターンにおいて、縦と横のみが識別可能であれば良いため、画像処理の問題も少ない。
【発明を実施するための最良の形態】
【００２３】
＜第１の実施の形態：画像処理装置＞
図１を参照して、本発明の実施の形態に係る画像処理装置１０の構成を説明する。図１（Ａ）は画像処理装置１０の構成の一例を示す図であり、図１（Ｂ）は画像処理手段１６の構成を示す図である。
【００２４】
図１（Ａ）を参照して、画像処理装置１０は、投影手段としてのプロジェクタ１２と、撮影手段としてのカメラ１４と、例えばパーソナルコンピュータから構成される画像処理手段１６とから主要に構成されている。
【００２５】
プロジェクタ１２は、被写体である物体１８に対して所定のパターンを含む光を投影する機能を有し、例えば、ビデオプロジェクタ等の装置が考えられる。その他、ラインレーザ投光機を並べたり組み合わせたりしても良い。あるいはレーザ光源をプリズムやビームスプリッターなどで複数方向に分けて照射しても良い。プロジェクタ１２は、被写体に対して、縦方向および横方向の２種類のパターンを投影している。ここで、縦方向のパターン（第１パターン）と横方向のパターン（第２パターン）とは、互いに直交するパターンであり、色などにより識別される。本発明では、２パターンの識別が可能であればよいので、これらのパターンの色としては、ＲＧＢ（赤、緑、青）のうち２色が選択されて採用されても良い。更に、横方向のパターンと縦方向のパターンとでは、波長が異なる光が採用されれば良く、例えば可視光以外の光（例えば赤外線）が採用されても良い。また、このように特定の波長の光源を用いる場合には、狭帯域バンドパスフィルタ等を用いて撮影すれば容易に高精度な識別が実現できる。更にまた、縦方向のパターンと横方向のパターンとは、互いに交わる交点が生成されれば良く、必ずしも直交する必要はない。また、色以外にも、パターンの太さや、パターンの角度によって、２種類のパターンを識別しても良い。また、投写するパターンは、縦方向の線と横方向の線が抽出できるものであればよいので、格子状に配置された線を投写し、その線をそのまま画像から抽出しても良いし、あるいは、線よりも太さのある帯を投写し、その境界部を抽出しても良い。帯の境界部を抽出する方法には、観測された帯の２倍の数のパターンを抽出できるという利点がある。あるいは、チェッカーボード模様（市松模様）を投写し、その境界部を抽出してもよい。
【００２６】
カメラ１４は、プロジェクタ１２で光を投影することで物体から反射された光を撮影する手段であり、例えばＣＣＤイメージセンサ等の固体撮像装置が採用される。カメラ１４により２次元画像が撮影され、この２次元画像に基づくデータが画像処理手段１６により画像処理されることで、物体１８の３次元形状が復元される。ここで、カメラ１４とプロジェクタ１２との相対的な位置関係は、事前に校正するか、あるいはオンラインで校正するか、または自校正することなどにより、既知であると仮定する。
【００２７】
図１（Ｂ）を参照して、２次元画像から３次元形状を復元する画像処理手段１６の構成を説明する。
【００２８】
本実施の形態の画像処理手段１６は、画像処理部３０と、制御部２０と、入力部２２と、記憶部２４と、表示部２６と、操作部２８とを主要に具備する。画像処理手段１６の全体的な概略的機能は、入力された２次元画像を画像処理して、３次元形状を復元して出力することにある。また、具現化された画像処理手段１６としては、所定の機能を実行するアプリケーション（プログラム）がインストールされたパーソナルコンピュータ等のコンピュータでも良いし、所定の機能を実行するように構成された画像処理専用の機器として構成されても良い。更にまた、画像処理手段１６を構成する各部位は、バスを経由して相互に電気的に接続される。
【００２９】
画像処理部３０は、主たる画像処理の機能を果たす部位であり、交点獲得部３２と、第１解算出部３４と、第２解算出部３６と、３次元形状復元部３８とを含む。
【００３０】
交点獲得部３２（第１計算部）は、カメラ１４により撮影された２次元画像から、縦パターンを観測したパターンと、横パターンを検出したパターンとの交点を獲得する部位である。
【００３１】
第１解算出部３４（第２計算部）は、前記両パターンが交点を共有する制約条件や、パターンを含む平面が所定の線を通ることによる制約条件や、カメラ１４とプロジェクタ１２との位置関係から得られる条件等を基に、自由度を含む第１解を算出する部位である。
【００３２】
第２解算出部３６（第３計算部）は、第１算出部により算出された第１解の自由度を解消して第２解を算出する部位である。
【００３３】
３次元形状復元部３８は、算出された第２解を基に、撮影された物体の３次元形状を復元する部位である。
【００３４】
上記した画像処理部を構成する各部位の詳細は、画像処理方法として以下に詳述する。
【００３５】
制御部２０は、画像処理手段１６全体（画像処理部３０、入力部２２、記憶部２４、表示部２６）の動作を制御している部位である。
【００３６】
入力部２２は、外部から画像処理手段１６に情報が入力される部位である。本実施の形態では、２次元画像である動画像または静止画像が入力される。
【００３７】
記憶部２４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）に代表される固定式の記憶ディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）やＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等の着脱式記憶ディスク、固定式あるいは着脱式の半導体メモリ等である。本実施の形態では、記憶部２４には、処理前の２次元画像、当該２次元画像から復元された３次元形状が記憶される。
【００３８】
更に、記憶部２４には、下記する画像処理方法を実行するためのプログラムが格納される。このプログラムは、使用者が操作部２８を操作することにより呼び出されて、上記した各部位の機能を実行させる。具体的には、入力された２次元画像のデータから、３次元形状のデータを復元するように、プログラムは各部位を動作させる。
【００３９】
表示部２６は、例えば液晶ディスプレイ、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ビデオプロジェクタであり、入力された２次元画像や、この２次元画像を基に復元された３次元形状が表示される。
【００４０】
操作部２８は、例えば、キーボードやマウスであり、使用者がこの操作部２８を操作することにより、画像処理手段１６は２次元画像から３次元形状を復元する。
【００４１】
＜第２の実施の形態：画像処理方法＞
本発明の画像処理方法を説明する前に、プロジェクタにより投影されるパターンに関する平面を定義する。
【００４２】
図３を参照して、プロジェクタ１２によって投影された直線状パターンは、空間中に平面を定義する。つまり、プロジェクタ１２によって投影された直線状パターンは、空間中の平面を通過する。縦パターンと、横パターンで表される平面を、それぞれｖｅｒｔｉｃａｌ ｐａｔｔｅｒｎ ｐｌａｎｅ（ＶＰＰ）、ｈｏｒｉｚｏｎｔａｌ ｐａｔｔｅｒｎ ｐｌａｎｅ（ＨＰＰ）と表記する。プロジェクタ１２とカメラ１４の内部パラメータは既知であり、プロジェクタ１２とカメラ１４との相対位置も外部キャリブレーション等の手法によって既知であると仮定する。つまり、空間中に存在するＶＰＰとＨＰＰは、全てカメラ座標系での平面の位置とパラメータが既知である（以下の記述では、平面、直線等のパラメータ、点の３次元位置は、全てカメラ座標系で表すものとする）。これら、位置パラメータが既知であるようなＶＰＰ及びＨＰＰを、ＣＶＰＰ（ｃａｌｉｂｒａｔｅｄ ＶＰＰ）及びＣＨＰＰと呼ぶ。また、全てのＣＶＰＰは、プロジェクタの光学中心を含む単一の直線を共有する。また、ＣＨＰＰも、同様に、単一の直線を共有する。これらの直線を、それぞれ、Ｌｖ、Ｌｈと表記する。これらの直線の交点は、プロジェクタの光学中心Ｏｐと一致する。Ｏｐと、Ｌｖ、Ｌｈの方向ベクトルは、プロジェクタ１２とカメラ１４との相対位置が既知であれば計算により求めることが出来る。対象シーン（物体）の表面に投影された縦パターンと、横パターンを、カメラ１４で撮影した２次元曲線を、それぞれ「検出された縦パターン」「検出された横パターン」と呼ぶ。ここで、検出された縦パターンと検出された横パターンの交点を、カメラ１４で撮影された画像から特徴点として抽出する。これらの特徴点を、「キャプチャされた交点」と呼ぶ。本発明では、画像処理によって、これらの交点同士の接続関係を抽出する。ここでは、交点同士の関係として、同一の検出された縦パターンや、検出された横パターン上にある、という関係を利用する。同一の検出された縦パターン上にある交点は、「同一のＶＰＰ上にある」と言うことが出来る。ただし、それぞれの交点が存在するＶＰＰ、ＨＰＰが、具体的にどのＣＶＰＰあるいはＣＨＰＰであるかは、最初は分からない。このように、検出された縦パターンが表すＶＰＰは、観測時点ではＣＶＰＰに対応づけられていないので、これをＵＶＰＰ（ｕｎｋｎｏｗｎ ＶＰＰ）と呼ぶ（図４参照）。同様に、検出された横パターンが表すＨＰＰを、ＵＨＰＰと呼ぶ。最終的に、全てのＵＶＰＰおよびＵＨＰＰを、ＣＶＰＰ、ＣＨＰＰに対応づける（これをＵＶＰＰ、ＵＨＰＰを同定するという）ことが本発明の目的である。ＵＶＰＰは検出された縦パターンと１対１で対応しており、ＣＶＰＰは既知の３次元平面であるから、ＵＶＰＰとＣＶＰＰの対応づけが得られれば、光切断法によって、縦パターン上の点の３次元位置を求めることができる。単一のＣＶＰＰに照射された点が、オクルージョンなどによって画像面上で不連続になると、複数の縦パターンとして観測される。この場合、複数のＵＶＰＰが、一つのＣＶＰＰに対応することになる。ＵＨＰＰとＣＨＰＰについても同様である。
【００４３】
以下に、画像処理方法の詳細を説明する。図２を参照して、本発明の画像処理方法は、物体の３次元形状を復元するために必要とされるデータを獲得するステップＳ１０と、ＵＶＰＰあるいはＵＨＰＰについて成立する共面性の条件等から解を算出するステップＳ１１と、ＵＶＰＰ及びＵＨＰＰの集合と、ＣＶＰＰ及びＵＶＰＰの集合とのマッチングによって解の自由度を解消するステップＳ１２と、求められた解から物体の３次元形状を復元するステップＳ１３とから構成されている。本発明では、ステップＳ１１で求められる解の不定性の自由度が１であることから、ステップＳ１２にて、一つのパラメータを決定することで、全てのＵＶＰＰ、ＵＨＰＰの位置が決まる。この処理は、例えば平面どうしのマッチング誤差を定義し、その和が最小となるパラメータを１次元探索することで行なわれる。
【００４４】
各ステップの詳細を以下にて説明する。
【００４５】
ステップＳ１０
本ステップでは、図１に示される画像処理装置１０を用いて物体１８の３次元形状復元に必要とされるデータを獲得する。具体的には、直交する複数のパターンを含むパターン光を、物体１８に対して照射する。ここでは、例えば図７（Ａ）に示すような、互いに直交する縦パターンおよび横パターンから成るパターン光がプロジェクタ１２から投影されている。そして、物体により反射された光をカメラ１４により撮影する。カメラ１４により撮影された２次元画像に基づく情報は、画像処理手段１６に入力される。そして、画像処理手段１６に入力された２次元画像を画像処理することにより、パターン同士の交点の画像上での位置を抽出する。図７（Ｂ）にパターンや交点を実際に検出した例を示す。
【００４６】
ステップＳ１１
本ステップでは、キャプチャされた交点の集合から、ＵＶＰＰ、ＵＨＰＰに関する拘束式を得て、それらの平面に関する解（第１解）を１自由度を除いて得る方法を述べる。まず、関係する平面（ＣＶＰＰ、ＣＨＰＰ、ＵＶＰＰ、ＵＨＰＰ）を表すための記号を定義する。投影されるパターンから得られたＣＶＰＰの集合をＶ１、Ｖ２、・・・、ＶＭと表し、ＣＨＰＰの集合を、Ｈ１、Ｈ２、・・・、ＨＮと表す。また、画像から得られたＵＶＰＰ、ＵＨＰＰの集合を、それぞれ、ｖ１、ｖ２、・・・、ｖｍ、及び、ｈ１、ｈ２、・・・、ｈｎと表記する。
【００４７】
ｖｋとｈｊの交点がキャプチャされ、画像上での位置が正規化カメラの座標表記でｕｋ、ｌ＝［ｓｋ、ｌ、ｔｋ、ｌ］Ｔであるとする。ｖｋとｈｊの２個の平面は、次の式で表される。
【００４８】
【数１】
ここで３次元ベクトルｖｋ及びｈｋは平面のパラメータを表し、ｘは平面上の任意の点を表す。キャプチャされた交点ｕｋ、ｌの３次元位置をｘｋ、ｌとすると、ｘｋ、ｌはｕｋ、ｌを利用して、
【００４９】
【数２】
と表される。方程式（１）にｘ＝ｘｋ、ｌを代入して、式（１）と（２）からｘｋ、ｌとγを消去すると、
【００５０】
【数３】
が得られる。この式は、ｖｋ、ｈｌを変数とする一次方程式であり、この方程式を全てのキャプチャされた交点について並べると、ｖ１、・・・、ｖｍ、ｈ１、・・・、ｈｎを変数とする連立一次方程式となる。これを行列形式で表現したとき、Ａｑ＝０と表されるとする。ただし、ｑ＝［ｖ１Ｔ、・・・、ｖｍＴ、ｈｌＴ、・・・、ｈｎＴ］Ｔである。
【００５１】
方程式（３）には差（ｖｋ−ｈｌ）のみが現れるので、連立方程式Ａｑ＝０の解ｑ＝［ｖT１、・・・、ｖTｍ、ｈT１、・・・、ｈTｎ］Tについて、そのスカラー倍、ｓｑ＝［ｓｖT１、・・・、ｓｖTｍ、ｓｈT１、・・・、ｓｈTｎ］Tもまた解である。さらに、任意の３次元定数ベクトルｃを並べたベクトルを加算したものｑ＋［ｃT、ｃT、・・・、ｃT］T＝［ｖT１＋ｃT、・・・、ｖTｍ＋ｃT、ｈT１＋ｃT、・・・、ｈTｎ＋ｃT］Tもやはり解となる。これより、連立方程式Ａｑ＝０の一般解は、
【００５２】
【数４】
と表される。ただし、ｑ’＝［ｖ’T１、・・・、ｖ’Tｍ、ｈ’T１、・・・、ｈ’Tｎ］TはＡｑ＝０の特殊解である。
【００５３】
本発明では、全てのＵＶＰＰは直線Ｌｖを含み、全てのＵＨＰＰは直線Ｌｈを含む、という条件が存在する。さらに、ＬｖとＬｈは点Ｏｐで交わる。これらの条件から、式（４）の任意変数ｓとｃには拘束が生じ、解の不定性の自由度が減る。以下に、上記の条件を考慮した一般解の求め方を述べる。２個の直線ＬｖとＬｈを含む平面を、ｐｒｏｊｅｃｔｏｒ ｆｏｃａｌ ｐｌａｎｅ（ＰＦＰ）と呼び、その平面パラメータをｐと表記する。直線ＬｖとＬｈの方向ベクトルを、それぞれｌｖ及びｌｈと表記する。また、プロジェクタの光学中心Ｏｐの３次元位置をｏｐと表記する。全てのＵＶＰＰは直線Ｌｖを含み、全てのＵＨＰＰは直線Ｌｈを含む。また、全てのＵＶＰＰ及びＵＨＰＰは点Ｏｐを含む。これより、
【００５４】
【数５】
が得られる。また、前述の特殊解ｑ０も上記の条件を満たすとする。つまり、
【００５５】
【数６】
である。また、ＰＦＰは、直線Ｌｖ、Ｌｈと点Ｏｐを含むので、
【００５６】
【数７】
が成立する。式（５）、（６）、（７）より、
【００５７】
【数８】
が得られる。これらの式から、ｖｋ−ｐとｖ’ｋ−ｐが、両方ともｌｖ及びｏｐに直交することがわかる。ｌｖとｏｐは一般には平行でないので、これらの両方に直交するベクトルは、スケーリングを除いて一意に決まる。これより、
【００５８】
【数９】
が得られる。同様に、
【００５９】
【数１０】
である。式（９）、（１０）より、方程式（３）及び（５）の一般解は、
【００６０】
【数１１】
の形で表される。既に述べたように、［ｖ’T１、・・・、ｖ’Tｍ、ｈ’T１、・・・、ｈ’Tｎ］Tは特殊解の一つであり、ｐは平面ＰＦＰのパラメータベクトルである。式（４）の一般解の不定性がＬｖ及びＬｈの条件により減少した結果、式（１１）における不定性は、スカラー値ｓによる１自由度のみとなったことが分かる。
【００６１】
式（１１）は、縦パターンと横パターンとの交点の像から、それらに対応する平面、つまりＵＶＰＰ及びＵＨＰＰ全体の位置の解が、１自由度を除いて求められることを表す。実際には、このような解が求められるためには条件がある。これを以下に述べる。あるＵＶＰＰとＵＨＰＰの交線上の点が画像上で観測されているとき、これらは連結している、と定義する。また、この意味で平面ａとｂが連結しており、かつ、平面ｂとｃが連結しているとき、平面ａとｃは連結していると定義する。あるＵＶＰＰ及びＵＨＰＰの集合があり、その任意の要素が他の全ての要素と連結しているとき、これを連結集合と呼ぶことにする。図５に連結集合の例を示す。この時、あるＵＶＰＰ及びＵＨＰＰの集合が連結集合ならば、その集合全体の位置の解は式（１１）の形で求められる。
【００６２】
これは、直観的には、以下のように証明できる。ある一つのＵＶＰＰｖｆに着目すると、ｖｆは直線Ｌｖを含むことから、その位置の不定性は１自由度である。ここで、ｖｆの不定な１個のパラメータを仮に定め、ｖｆと交点のあるＵＨＰＰｈｇを考える。ｖｆの位置を定めると、交点の位置が定まり、かつｈｇは直線Ｌｈを含むため、ｈｇの位置も定まる。このように、ある平面を定めると、その平面と交点を持つ平面が定められるため、これを繰り返すと連結集合全体の解が定まる。この時、不定性は、最初の平面の１自由度のみであり、式（１１）はこの解の形式を表す。逆に、ＵＶＰＰ及びＵＨＰＰの集合が連結集合でないならば、連結集合でない平面同士には拘束条件がないので、全体としての解は２自由度以上になる。よって、平面の集合全体が解は式（１１）の形で求められる必要十分条件は、その集合が連結集合であることである。
【００６３】
本発明では、ＵＶＰＰ及びＵＨＰＰの集合が連結集合であると仮定する。もし、対象シーンから複数の連結集合が得られる場合には、それぞれの連結集合ごとに提案手法を適用すればよいので、このことは本手法の一般性を損なわない。連結集合ごとに分けるには、画像処理でラベリング処理により容易に行うことができる他、検出された縦パターンと検出された横パターンとキャプチャされた交点からなるグラフにおいて接続関係を調べることでも効率よく実現できる。
【００６４】
さらに、想定する応用例によっては、本ステップＳ１１で得られる、１自由度を残した解でも役に立つ場合もある。例えば、プロジェクタ光源の焦点距離が長く、光源が平行光源に近い場合、１自由度を残した解について、残りのパラメータを適当に定めても形状の歪みは比較的少ない。このような時、形状に陰影を付けて表示するなどの限定的な利用に関しては、ステップＳ１０までの処理の出力が、結果として十分利用できる場合がある。特に、２次元ディスプレイ上に表示するだけであれば違和感なく表示可能であり、映画やゲーム、デジタルアーカイブなどでそのまま利用できる。よって、場合によっては、ステップＳ１１の出力を結果としてもよい。
【００６５】
ステップＳ１２
本工程では、この先ステップで得られた解と、ＣＶＰＰ及びＣＨＰＰとのマッチングを行なうことで、ＵＶＰＰとＣＶＰＰ、あるいはＵＨＰＰとＣＨＰＰとの対応関係を求める。つまり、この先ステップで得られた解と、ＣＶＰＰ及びＣＨＰＰとが一致するような解のパラメータを求める。前ステップの解は、ＵＶＰＰ、ＵＨＰＰに関して、キャプチャされた交点のみから得られ、ＣＶＰＰ及びＣＨＰＰの情報は利用されていない。解の自由度が１であることから、マッチングを１次元探索によって効率的に行なうことで、自由度が解消された解（第２解）を得る。
【００６６】
まず、ＵＶＰＰとＣＶＰＰの対応を表すための表記方法を定義する。ｋ番目のＵＶＰＰｖｋが、ｉ番目のＣＶＰＰＶｉに対応することを、ｖｋ→Ｖｉと表記する。これは、ｖｋがＶｉに同定されたことを意味する。
【００６７】
具体的なマッチング処理について述べる。最初に、適当なＵＶＰＰを選ぶ。例えば、ｖ１０が選ばれたとする。次に、ｖ１０に対して、ＣＶＰＰＶ１を対応させ、この対応から、全てのＵＶＰＰ、ＵＨＰＰの位置、つまりｖ１、・・・、ｖｍ、ｈ１、・・・、ｈｎの位置を求める。この時、得られたＵＶＰＰ、ＵＨＰＰ（ｖ１、・・・、ｖｍ、ｈ１、・・・、ｈｎ）の位置が、全体としてＣＶＰＰ、ＣＨＰＰ（Ｖ１、・・・、ＶＭ、Ｈ１、・・・、ｈＮ）に一致しているかどうかを評価する。
【００６８】
同様に、ｖ１０に対応させるＣＶＰＰを、Ｖ２、Ｖ３・・・と変化させ、それぞれの対応について得られたＵＶＰＰ、ＵＨＰＰの位置が、全体としてＣＶＰＰ、ＣＨＰＰに一致しているかどうかを評価する。
【００６９】
ＵＶＰＰ、ＵＨＰＰの位置が、全体として最もＣＶＰＰ、ＣＨＰＰに一致していると判断される時のＵＶＰＰとＣＶＰＰの対応関係、及びＵＨＰＰとＣＨＰＰの対応関係を、求める対応関係として出力する。
【００７０】
一致しているかどうかを判断する手法について以下に述べる。式（１１）はパラメータｓによる不定性を持つが、特定のＵＶＰＰとＣＶＰＰの対応を仮定すると、以下に述べる計算によりこのパラメータが決定される。仮に、ｋ’番目のＵＶＰＰが、ｉ’番目のＣＶＰＰに対応する（つまりｖｋ’→Ｖｉ’）とすると、
【００７１】
【数１２】
が成り立つ。ただし、Ｖｉ’はＣＶＰＰＶｉ’のパラメータベクトルである。この式から、ｓは、
【００７２】
【数１３】
と計算される。計算されたｓによって、ｖｋ’→Ｖｉ’の対応関係を仮定した場合の全てのＵＶＰＰ及びＵＨＰＰを計算することが出来る。
【００７３】
式（１３）のｓをｓ（ｋ’、ｉ’）と表記する。そして、ｖｋ’→Ｖｉ’の対応関係を仮定して計算されたｖｋ及びｈｌを、ｖｋ（ｋ’、ｉ’）、ｈｌ（ｋ’、ｉ’）と表記する。すると、これらの平面は、
【００７４】
【数１４】
で表される。
【００７５】
次のステップとして、計算されたＵＶＰＰ（又はＵＨＰＰ）と、ＣＶＰＰ（又はＣＨＰＰ）を比較する。これには、それぞれのＵＶＰＰについて、そのＵＶＰＰと、そのＵＶＰＰに最も近いＣＨＰＰとの差を誤差として利用する。これにより、対応関係ｖｋ’→Ｖｉ’に関する一致度を、全てのＵＶＰＰについての誤差の自乗和として定義できる（誤差の自乗和が小さいほど一致度は高い）。誤差関数が最小となるような対応関係を探索することで、ＵＶＰＰ（又はＵＨＰＰ）とＣＶＰＰ（又はＣＨＰＰ）との最適な対応を求めることが出来る。
【００７６】
上記の比較は、ＵＶＰＰの集合ｖｋ（ｋ’、ｉ’）、（ｋ＝１、・・・、ｍ）とＣＶＰＰの集合Ｖｉ、（ｉ＝１、・・・、Ｍ）の間、及び、ＵＨＰＰの集合ｈｌ（ｋ’、ｉ’）、（ｌ＝１、・・・、ｎ）とＣＨＰＰの集合Ｈｊ、（ｊ＝１、・・・、Ｎ）の間で行なわれる。本発明では、これらの平面の比較は、平面同士の角度差によって行なわれる。すなわち、誤差関数は具体的には以下のように定義される。
【００７７】
【数１５】
ただし、Ｄは２個の平面の成す角度を表し、以下のように定義される。
【００７８】
【数１６】
これにより最終的に、
【００７９】
【数１７】
による探索の結果、得られた平面の集合ｖｋ（ｋ’、ｉ’ｍｉｎ）、（ｋ＝１、２、・・・、ｍ）とｈｌ（ｋ’、ｉ’ｍｉｎ）、（ｌ＝１、２、・・・、ｎ）が解となる。
【００８０】
計算されたＵＶＰＰおよびＵＨＰＰと、ＣＶＰＰおよびＣＨＰＰを比較する方法としては、別な方法も考えられる。例えば、ＵＶＰＰおよびＵＨＰＰの間の交線の集合（ＵＶＰＰおよびＵＨＰＰが複数あるので、交線も複数存在する）と、ＣＶＰＰとＣＨＰＰの間の交線の集合との一致度を調べてもよい。前者の集合をＩＵＰＰ（Ｉｎｔｅｒｓｅｃｔｉｏｎｓ ｂｅｔｗｅｅｎ Ｕｎｃａｌｉｂｒａｔｅｄ Ｐｒｏｊｅｃｔｏｒ Ｐｌａｎｅｓ）、後者の集合をＩＣＰＰ（Ｉｎｔｅｒｓｅｃｔｉｏｎｓ ｂｅｔｗｅｅｎ Ｃａｌｉｂｒａｔｅｄ Ｐｒｏｊｅｃｔｏｒ Ｐｌａｎｅｓ）と呼ぶことにする。一致度を表す基準として、ＩＵＰＰの各交線ｈについて、ＩＣＰＰの要素を探索し、ｄ（ｇ，ｈ）が最小となるようなｇ∈ＩＣＰＰを選び出す。ただし、ｄ（ｇ，ｈ）は、直線ｇとｈの方向ベクトルの角度差を表す。全てのｈについて、同様の処理を行ない、角度差ｄ（ｇ，ｈ）の自乗和を計算したものを誤差関数とする。このような誤差関数が最小となるようなパラメータを、ステップＳ１２と同様に求めればよい。
【００８１】
さらに、観測されるパターンを、既知のパターンと比較する方法があれば、それを上記の比較に利用しても良い。例えば、帯状のパターンの境界線を、検出された縦パターンとしている場合、あるＵＶＰＰによる縦パターンが、帯の左側の境界であるか、右側の境界であるかは、対応するＣＶＰＰと一致している必要がある。つまり、境界の右側のＵＶＰＰは、境界の右側のＣＶＰＰに対応させる必要があるので、これを一致度を評価する誤差関数に反映させたり、一致するパラメータの探索に利用してもよい。また、交点についても、特定の交点の集合を他の交点と見分ける方法があれば、それを一致度の評価に反映させても良い。例えば、幾つかの交点に、丸印などのマーカーを付けたパターンを利用し、丸印の一致を、ＵＶＰＰおよびＵＨＰＰと、ＣＶＰＰおよびＣＨＰＰの一致度の評価に利用することができる。
【００８２】
ステップＳ１３
本ステップでは、以上の処理により全てのＵＶＰＰが同定されたため、光切断法により形状の復元を行う。具体的には、図６のように、平面パラメータと、検出されたエッジとカメラ１４の中心とを結ぶ視線との交点として物体１８の３次元座標が計算される。
【００８３】
以上のステップを経ることにより、カメラにより撮影された物体の３次元形状が復元される。
【００８４】
＜第３の実施の形態：カメラとプロジェクタの位置関係＞
カメラとプロジェクタの位置関係は、事前に精密に計測しておくと精度の高い計測が可能となる。その際、校正儀を用いてキャリブレーションを行い、そのパラメータを用いることが出来る。一方で、事前の校正は負担の多い作業のため、計測の時に、静止物にパターンを複数回投影し自校正で求めておくと利便性が高い。この方法は、例えば、Ｒｙｏ Ｆｕｒｕｋａｗａ， Ｈｉｒｏｓｈｉ Ｋａｗａｓａｋｉ， "Ｄｅｎｓｅ ３Ｄ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｗｉｔｈ ａｎ Ｕｎｃａｌｉｂｒａｔｅｄ Ｓｔｅｒｅｏ Ｓｙｓｔｅｍ ｕｓｉｎｇ Ｃｏｄｅｄ Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ，" ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ'０５） Ｗｏｒｋｓｈｏｐ ｏｎ Ｐｒｏｊｅｃｔｏｒ−Ｃａｍｅｒａ Ｓｙｓｔｅｍｓ， ｐ． １０７， ２００５． に記載されている。
【００８５】
＜第４の実施の形態：投影されるパターンの配置＞
次に、プロジェクタ１２により投影されるパターンに関して説明する。
【００８６】
投影パターンであるＣＶＰＰ、ＣＨＰＰの配置は、式（１７）の探索の安定性に影響する。仮に、平面の真の対応が、ｖ１T→Ｖ１、・・・、ｖｍT→Ｖｍ、ｈ１→Ｈ１、・・・、ｈｎ→Ｈｎであるとする。このとき、解に誤差が無いとすると、式（１１）の真のｓについて、Ｖ１＝ｖ１、・・・、Ｖｍ＝ｖｍ、Ｈ１＝ｈ１、・・・、Ｈｎ＝ｈｎである。ここで、式（１１）の真の値とは違うある値ｓ’を代入して、真の位置とは別のＵＶＰＰ及びＵＨＰＰ（ｖ１、・・・、ｖｍ、ｈ１、・・・、ｈｎ）を定めたとき、任意のｋ、ｉについてＶｑ＝ｖｋ、（ｋ≠ｑ）、Ｈｒ＝ｈｉ、（ｉ≠ｒ）となるようなｑ、ｒが存在すると、このｓ’は真の値ｓと見分けが付かず、唯一解を求めることが出来なくなる。
【００８７】
このような状況は一般には起こらないものの、ＣＶＰＰ、ＣＨＰＰが規則的に配置されている場合などには、対応関係が１つずれても評価関数に大きな差が現れないため、解が不安定になることがある。これを防ぐ方法としては、ＣＶＰＰ、ＣＨＰＰをプロジェクタの画像面上で不規則な間隔で配置することが挙げられる。この場合、Ｖｑ、Ｈｒの集合の配置が不規則なものになるため、上式の条件が成立しにくくなる。実際には縦および横の両方が不規則である必要はなく、例えば、ＣＨＰＰは不規則な間隔で配置し、ＣＶＰＰはＣＨＰＰよりも高密度に規則的（等間隔）に配置することが考えられる。このようなパターンにすると、ＣＨＰＰの不規則性によって探索の安定性が確保され、ＣＶＰＰの密度によって再構成される形状の密度が高くなる利点がある。このようなパターンの例を図７に示す。また、ＣＨＰＰの配置が不規則でなく、ある規則に基づいたものであっても、間隔が均一でなければ、探索の安定性の向上に効果があるので、そのようにしてもよい。
【００８８】
本発明は、一般的なのワンショットスキャンのように、個々にパターンを同定する訳ではないため、ｄｅＢｒｕｉｊｎ系列のようにコード化可能なパターンである必要性が無く、しかも１色だけで良い。このように単色で良いため、対象物体表面のテクスチャの影響を受けにくくなり、簡単な画像処理で、安定した検出が可能となる。また空間的にエンコードされる訳ではないため１ピクセル幅のパターンで良く、非常に密な形状復元が可能となる。
【００８９】
更に、本発明は、単色パターンを縦か横か識別するだけでよいため、テクスチャ等に関してはロバストになるものの、形状に関する問題は残る。例えば、円筒のように、正面と側面で視点からの法線方向が大きく異なる形状の場合、同じ周波数のパターンを投影したとしても、撮影画像上では側面付近のパターンが圧縮され潰れてしまうことで計測出来なくなることが起こりうる。そこで、本発明では周波数の異なるパターンを追加することで解決する。今回は、市販のプロジェクタおよびカメラを前提としているため、ＲＧＢの３色のみによる識別を考え、１色を疎で不規則な横パターン、他の２色を疎・密の規則的な縦パターンとすることができる。実際に作成したパターンを図８（Ａ）に示す。このパターンを利用して縦横パターンを検出した結果を図８（Ｂ）および図８（Ｃ）に示す。疎なグリッドと密なグリッドがそれぞれ識別されていることが分かる。この様なパターンの配置を以下の説明では、ｃｏａｒｓｅ−ｔｏ−ｆｉｎｅと呼ぶ。
【００９０】
ｃｏａｒｓｅ−ｔｏ−ｆｉｎｅに用いる複数のパターンは、異なるパターンどうしはそれぞれ平行で疎密だけ異なるパターンでも良いし、全く独立したパターンを用いても良い。
【００９１】
また、さらにｃｏａｒｓｅ−ｔｏ−ｆｉｎｅを効率化するためにさらに疎密の異なるパターンを増やすことも考えられる。ただし、その場合であっても、提案手法はあくまでも空間周波数を上げる目的であるため、カメラの解像度が１０２４の場合、最悪のケース（最も多くパターン数を要するケース）を想定しても、１０２４＝１０ビットで足りることから、１０パターンだけ識別できれば良く、過去の空間に情報をコード化する方式とは根本的に異なる。１０パターン程度であれば、狭帯域バンドパスフィルタなどを用いれば容易に実現できる。
【００９２】
復元に際しては、図８（Ｂ）と図８（Ｃ）、それぞれで独立して復元を行い、それらをマージすれば良い。マージの手法としては、実装が容易な単純な集合和をとる手法が考えられる。その他にも、疎密で共有しているラインの整合性を統計的に取れば、なお高い精度での復元が実現できる。
【００９３】
また、二つのパターンについて独立に復元する方法の他に、横パターンと、疎な縦パターン、密な縦パターンを全て利用して復元を行なう方法もある。図８（Ａ）の例のように疎な縦パターンと密な縦パターンが平行な場合には、疎な縦パターンと密な縦パターンをあわせて、すべて縦パターンの集合として扱えばよい。
【００９４】
また、解の精度を高めるために、基本的な格子状のパターンに、さらに別の直線状のパターンを追加しても良い、追加した直線については、上記の方法と同様に、数式１のように平面パラメータで表し、全てのパターンの交点について数式３と同様に線形方程式を作り、また、それぞれのパターンを表す平面は、パターンの方向によって決まる共通な直線を含むので、数式９、１０と同様に線形方程式を作ることで、連立方程式を作ることができる。これを解くことで、３個以上の方向の直線を持つパターンについて、復元を行なうことができる。この方法を用いると、図８（Ａ）の例と違って、疎な縦パターンと密な縦パターンが平行でない場合でも、まとめて一つの方程式として解くことができる。
【００９５】
＜第５の実施の形態：平行な平面を投影する投影手段の利用＞
第２の実施の形態において、縦パターンおよび横パターンに対応する平面の集合は、それぞれ同一の直線を通る平面の集合であるとしたが、かわりに平行な平面の集合としてもよい。この場合、平面が同一の直線を通る、という条件を、平面が「同一の無限遠直線を通る」という条件に置き換えればよい。この時、第２の実施の形態における直線Ｌｖおよび直線Ｌｈは、同一の無限遠点Ｏｐを通ると考えて良い。このように考えると、式５の方程式ＯｐＴｖk＝−１は、ＯｐＴｖk＝０という式に、置き換えられる。同様に、式５、６、７の方程式で右辺が−１の式を、全て右辺を０に置き換えた方程式にすれば、平行な平面の集合が満たす制約式になる。これを制約式として解くことで、第２の実施の形態と同様に１自由度の解を得ることができる。
【００９６】
実際のシステムとしては、ラインレーザ光源を平行に並べることで実現できる。このような配置の場合、光源から遠くに離れても同じ間隔のパターン光を得られるため、対象物体から離れて光源を設置することができ、３次元計測における利便性が高まる。
【００９７】
＜第６の実施の形態：パターンの検出アルゴリズム＞
赤と青でそれぞれ縦横の投影パターンとした場合、撮影した画像を赤・青のプレーンで分離した画像からラインを検出し、交点を検出する。ラインの検出方法としては、画像全体に対して単純な閾値処理を行うことも考えられるが、光源からの距離の違いや物体の法線方向の違いにより、明るさが変化してしまうため、画像全体を通して精度の高いライン検出が困難となることが起こる。そこで、Ｃａｎｎｙフィルタのようなエッジフィルタを用いると、安定した処理が実現できる。しかしエッジフィルタを用いると、テクスチャにエッジがある場合や、物体境界のエッジが撮影されていると、それらが検出され誤検出の原因となることもある。これらの回避方法としては、画像全体を細かいサブブロックに分割し、そのサブブロック内で個別の閾値を算出し、閾値処理によってラインを検出する方式が考えられる。
【００９８】
また、カメラとプロジェクタの向きは平行なままで、斜め４５度の方向にずらして配置すれば、縦と横に直交した投影パターンが、カメラ座標系においても縦横平行に直交したままのため、撮影した画像上で縦や横方向にスキャンした場合、同一パターンを２回以上通ることが無くなる。このような配置でスキャンライン上でピーク（複数）を検出するアルゴリズムとすれば、上記の単純な閾値による問題や、テクスチャや物体境界エッジの問題を解決することが出来る。
【００９９】
＜第７の実施の形態：方程式の削減＞
上記した第２の実施の形態では、ｍをＵＶＰＰの数、ｎをＵＨＰＰの数とした場合、方程式に含まれる変数の数は、３（ｍ＋ｎ）であった。この変数の数を削減したら、画像処理に必要とされる時間を大幅に短くすることができる。以下のように方程式の変数を削減することにより、自由度を含む解を算出するステップ（図２に示すステップＳ１１）に必要とされる時間を１／１００００程度にして、高速に３次元形状が復元される。
【０１００】
以下では、全てが共通な平面を通る性質を利用して、平面のパラメータを１つの変数にて表現することで、変数の数を１／３に削減して、３次元形状を復元するのに必要とされる処理時間を短縮している。
【０１０１】
具体的には、ｖｋ、ｈｌは、どちらもｏｐ（ＰＨＰであり、ｐで表される）を通り、それぞれｌｖ、ｌｈに法線が垂直な平面である。これは、
【０１０２】
【数１８】
として、
【０１０３】
【数１９】
と表せる。ここで、式１９では、ｖｋおよびｈｌが１つのパラーメータ（ηｋ、ρｌ）により表現されている。よって、式（３）から、
【０１０４】
【数２０】
である。ｉ番目の交点が、ｖｋとｈｌの交点であるとき、α（ｉ）≡ｋ、β（ｉ）≡ｌとする。また、すると、ｉ番目の交点の式は、
【０１０５】
【数２１】
と表される。
【０１０６】
この条件は、ｍをＵＶＰＰの数、ｎをＵＨＰＰの数、Ｋを交点数として、
【０１０７】
【数２２】
【０１０８】
【数２３】
【０１０９】
【数２４】
という定義を用いて、
【０１１０】
【数２５】
という斉次線形方程式になる。この方程式は、式（３）の条件を表したものであり、式（１９）によって、ＵＶＰＰがＬｖを含み、ＵＨＰＰがＬｈを含むという条件が表されることから、この方程式を解くことで前節の一般解を得ることができる。この方程式の変数ベクトルｑはｍ＋ｎ次元ベクトルであるから、これによって、３（ｍ＋ｎ）個の変数を、ｍ＋ｎ個に削減できたことになる。
【０１１１】
次に、上記した方程式を、例えば横平面（ＵＨＰＰ）のみのパラメータを変数とする方程式に変換して、変数の数を横平面の数まで削減する方法を説明する。
【０１１２】
先ず、誤差を考慮して、方程式（２５）の左辺のノルムを最小化することでこの方程式を解く。左辺のノルムの自乗をＥｐ≡‖Ｐｑ‖２と書くと、
【０１１３】
【数２６】
である。これを、ηｊについて偏微分する。α-１（ｊ）≡｛ｋ｜α（ｋ）＝ｊ｝とすると、
【０１１４】
【数２７】
Ｅｐを最小化するために∂Ｅｐ／∂ρｊと置くと、
【０１１５】
【数２８】
より
【０１１６】
【数２９】
が得られる。よって、ρｊはηｋの線形結合で表される。これを行列で表すと、
【０１１７】
【数３０】
である。ただし、
【０１１８】
【数３１】
【０１１９】
【数３２】
【０１２０】
【数３３】
【０１２１】
【数３４】
【０１２２】
【数３５】
の定義を利用した。Ｔの定義において、列番号ｋ１、ｋ２、・・・は、α-１（ｊ）の要素、つまり、ｊ番目のＵＶＰＰと交点を持つ全てのＵＨＰＰの番号を表す。この時、
【０１２３】
【数３６】
より
【０１２４】
【数３７】
と定義すると、‖Ｐｑ‖２の最小化は
【０１２５】
【数３８】
の最小化となる。この式の最小化は、誤差のある線形方程式
【０１２６】
【数３９】
を誤差の自乗和を最小化する意味で解くことに相当し、これは、ＲＴＰＴＰＲＴの最小固有値に対応する固有ベクトルを求めることに帰着される。ＲＴＰＴＰＲＴは、ｎ×ｎ行列である。縦パターンを密に、横パターンを疎にした場合、ｎ（ＵＨＰＰの数）はｍ（ＵＶＰＰの数）よりずっと小さい。この場合、上記の問題は、元の‖Ｐｑ‖２をｑについて最小化する問題より、はるかに効率的に解くことができる。
【０１２７】
＜第８の実施の形態：実験結果＞
最初に提案手法の有効性を示すために、シミュレーションにより作成されたデータを用いて本手法の検証を行なった。シミュレーションは、複数のグリッドパターンを用いて行った。第１のパターンは均一な間隔のパターンとし、第２のパターンは、第１のパターンにおいて、水平パターンの間隔を意図的に乱数によって乱したものを利用した。第２のパターンは、上述した理由によって、対応探索の安定性が上がると考えられる。それぞれのパターンを仮定して生成されたシミュレーション画像を図９（Ａ）、図９（Ｂ）に示す。これらの画像において、縦パターンの間隔は約５画素であった。グリッドパターンの交点を画像から抽出し、ＵＨＰＰ及びＵＶＰＰからＣＶＰＰ及びＣＨＰＰへの対応関係を提案手法によって抽出した。それぞれのパターンにおいて、ＵＨＰＰとＵＶＰＰの正しい対応関係が抽出され、再構成された形状は、真の形状に一致した。第２のパターンの画像での再構成結果と真の形状を図９（Ｃ）に示す。
【０１２８】
次に、入力データ（画像からキャプチャされた交点集合の位置）にノイズを加えた場合の、提案手法の安定性を調べるための実験を行なった。本手法の安定性は、投影するパターンによって変化するので、図９（Ａ）、図９（Ｂ）に示される２種類のパターンについて実験を行なった。キャプチャされた交点の位置には、様々な大きさの分散を持った、等方的な２次元ガウシアンノイズを加え、それぞれの分散値ごとに、提案手法による３次元再構成を２０回ずつ行った。ｉ’ｍｉｎの探索の失敗の割合を、図１０に示す。この結果から、不規則な間隔を持ったパターンを利用することで、アルゴリズムの安定性が向上したことがわかる。
【０１２９】
次に、図１１に示す実験装置を用いて実物体の計測実験を行った。投光パターンの解像度は１０２４ｘ７６８であり、これを７２０ｘ４８０画素の解像度のＣＣＤカメラで撮影し、３次元復元を行った。
【０１３０】
図１２に、計測対象と計測結果の例を示す。実験では、複雑な形状を持った物体や、テクスチャの付いた物体などを用いて計測を行ったが、いずれも密で正確な形状を復元することができた。具体的には、図１２（Ａ）は対象物体を示し、図１２（Ｂ）−図１２（Ｅ）は再構成結果を示す。更に、図１２（Ｆ）は対象物体を示し、図１２（Ｇ）−図１２（Ｉ）は再構成結果を示す。
【０１３１】
次に、図１３を参照して、箱（大きさ：０．４ｍｘ０．３ｍｘ０．３ｍ）と円筒（高さ：０．２ｍ、半径：０．２ｍ）のシーンを、上記したｃｏａｒｓｅ−ｔｏ−ｆｉｎｅによる手法で計測した。評価のために、同一のシーンをパターンコード化法によって計測し、真の形状とした。ここで、図１３（Ａ）は撮影された物体を示し、図１３（Ｂ）および図１３（Ｃ）入力された画像を示し、図１３（Ｄ）は検出された横パターンを示し、図１３（Ｅ）は検出された密な縦パターンを示し、図１３（Ｆ）は検出された疎な縦パターンを示し、図１３（Ｇ）は密パターンの交点を示し、図１３（Ｈ）は疎なパターンの交点を示し、図１３（Ｉ）は密パターンの復元を示し、図１３（Ｊ）は疎なパターンの復元を示し、図１３（Ｋ）は統合結果を示している。そして、図１３（Ｌ）−図１３（Ｎ）は、復元された形状と真の形状とを重ねて示している。
【０１３２】
疎密を組み合わせた縦パターンを用いることで、法線方向が大きく異なる形状を欠損無く密に計測できていることが分かる。また、復元結果には少しずれが観測されるものの、この実験におけるＲＭＳ誤差は０．５２ｍｍであり、高い精度で復元できたことが分かる。
【０１３３】
最後に、図１４を参照して、変形する物体の３次元計測実験として、人物の顔の形状計測を行った。実験の様子を図１４（Ａ）、図１４（Ｂ）に示す。また、計測結果として３つの表情の復元例を同図（Ｃ）−（Ｅ）に示す。それぞれ複雑な表情が密で正確な形状として復元できていることが分かる。
【図面の簡単な説明】
【０１３４】
【図１】（Ａ）は本発明の画像処理装置を示す図であり、（Ｂ）は画像処理手段の構成を示す図である。
【図２】本発明の画像処理方法を示す図である。
【図３】本発明の画像処理方法を示す図であり、プロジェクタから照射されるパターンの平面に関連する平面を示す図である。
【図４】本発明の画像処理方法を示す図であり、プロジェクタから照射されるパターンの平面に関連する平面を示す図である。
【図５】本発明の画像処理方法を示す図であり、プロジェクタから照射されるパターンの平面の集合を示す図である。
【図６】本発明の画像処理方法を示す図であり、３次元形状復元の方法を示す図である。
【図７】本発明の画像処理方法を示す図であり、（Ａ）は照射されるパターンを示し、（Ｂ）は、抽出された線状パターンを示している。
【図８】本発明の画像処理方法を示す図であり、（Ａ）は縦パターンに疎なパターンと密なパターンの両方を採用したパターンを示し、（Ｂ）は検出された疎なパターンを示し、（Ｃ）は検出された密なパターンを示す。
【図９】本発明の画像処理方法を示す図であり、（Ａ）は均等なパターンによる入力画像であり、（Ｂ）は乱雑な間隔のパターンによる入力画像、（Ｃ）は乱雑な間隔のパターンによる画像の処理結果である。
【図１０】本発明の画像処理方法を示す図であり、雑音の大きさに対する誤り率を示すグラフである。
【図１１】本発明の画像処理方法を示す図であり、スキャンを行う際の装置を撮影した画像である。
【図１２】本発明の画像処理方法を示す図であり、（Ａ）および（Ｂ）は対象物体を示す図であり、（Ｃ）（Ｄ）および（Ｅ）は再構成結果を示し、（Ｆ）は対象物体であり、（Ｇ）および（Ｈ）は再構成結果を示し、（Ｉ）はテクスチャマッピングされたモデルである。
【図１３】本発明の画像処理方法を示す図であり、（Ａ）は撮影された物体を示し、（Ｂ）および（Ｃ）入力された画像を示し、（Ｄ）は検出された横パターンを示し、（Ｅ）は検出された密な縦パターンを示し、（Ｆ）は検出された疎な縦パターンを示し、（Ｇ）は密パターンの交点を示し、（Ｈ）は疎なパターンの交点を示し、（Ｉ）は密パターンの復元を示し、（Ｊ）は疎なパターンの復元を示し、（Ｋ）は統合結果を示している。そして、（Ｌ）−（Ｎ）は、復元された形状と真の形状とを重ねて示している。
【図１４】本発明の画像処理方法を示す図であり、（Ａ）は入力シーンを示し、（Ｂ）は入力画像を示し、（Ｃ）−（Ｅ）は３つの表情の復元例を示す。
【符号の説明】
【０１３５】
１０ 画像処理装置
１２ プロジェクタ
１４ カメラ
１６ 画像処理手段
１８ 物体
２０ 制御部
２２ 入力部
２４ 記憶部
２６ 表示部
２８ 操作部
３０ 画像処理部
３２ 交点獲得部
３４ 第１解算出部
３６ 第２解算出部
３８ ３次元形状復元部
【特許請求の範囲】
【請求項１】
３次元空間中で、平面状のパターン光を投影する光源を用いて、共通の制約条件である第１制約条件が存在するように配置された１つ以上の第１パターンと、前記第１パターンと交わり、共通の制約条件である第２制約条件が存在するように配置された１つ以上の第２パターンとを物体に対して投影する投影手段と、
前記パターン光を前記物体に投影することにより前記物体から反射された光を撮影して２次元画像を得る撮影手段と、
前記２次元画像から前記物体の３次元形状を復元する画像処理手段と、を備え、
前記画像処理手段は、
前記２次元画像において、前記第１パターンを反射光として観測した観測第１パターンと、前記第２パターンを反射光として観測した観測第２パターンとの交点を獲得する第１計算部と、
前記観測第１パターンを含む空間中の第１暫定平面と、前記観測第２パターンを含む空間中の第２暫定平面が、前記交点を共有することから得られる制約条件と、前記第１制約条件と、前記第２制約条件と、前記投影手段と前記撮影手段との相対位置関係である第１相対位置関係とを用いて、前記第１暫定平面あるいは前記第２暫定平面について自由度を含む第１解を算出する第２計算部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１制約条件は、平面状の前記第１パターンが同一の第１共有直線を通る制約条件または前記第１パターン同士が互いに平行である制約条件であり、
前記第２制約条件は、平面状の前記第２パターンが同一の第２共有直線を通る制約条件または前記第２パターン同士が互いに平行である制約条件である、ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記第２計算部で用いられる前記第１相対位置関係は、事前にキャリブレーションして獲得されていることを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記第２計算部では、
前記交点の位置座標と前記第１暫定平面のパラメータと前記第２暫定平面のパラメータから得られる第１方程式と、前記第１制約条件と前記第１相対位置関係から得られる第２方程式と、前記第２制約条件と前記第１相対位置関係から得られる第３方程式とを連立方程式として解くことで、前記交点、前記第１暫定平面あるいは前記第２暫定平面について自由度を含む第１解を算出することを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記第２計算部では、
前記第１暫定平面が前記第１共有直線を通るかまたは互いに平行であることを利用して、前記第１暫定平面を１つのパラメータでパラメータ表現し、
前記第２暫定平面が前記第２共有直線を通るかまたは互いに平行であることを利用して、前記第２暫定平面を１つのパラメータでパラメータ表現し、
前記交点の位置座標と前記第１暫定平面のパラメータ表現と前記第２暫定平面のパラメータ表現から得られる方程式を第1連立線形方程式として解くことで、前記交点、前記第１暫定平面あるいは前記第２暫定平面について自由度を含む第１解を算出することを特徴とする請求項２記載の画像処理装置。
【請求項６】
前記第２計算部では、
前記第１暫定平面が前記第１共有直線を通るかまたは互いに平行であることを利用して、前記第１暫定平面を１つのパラメータでパラメータ表現し、
前記第２暫定平面が前記第２共有直線を通るかまたは互いに平行であることを利用して、前記第２暫定平面を１つのパラメータでパラメータ表現し、
前記交点の位置座標と前記第１暫定平面のパラメータ表現と前記第２暫定平面のパラメータ表現から得られる第1連立線形方程式が成立する、あるいは前記第１連立線形方程式の誤差が最小になる時に、前記第２暫定平面のパラメータ表現のパラメータが前記第１暫定平面のパラメータ表現のパラメータの線形結合で表されることと、前記第１連立線形方程式とから得られる、前記第１暫定平面のパラメータ表現のパラメータのみを変数として持つ第２連立線形方程式を解くことで、前記交点、前記第１暫定平面あるいは前記第２暫定平面について自由度を含む第１解を算出することを特徴とする請求項２記載の画像処理装置。
【請求項７】
前記画像処理手段は、
前記第１パターンの前記投影手段との相対位置関係である第２相対位置関係および前記第１相対位置関係から得られる第１確定平面と、前記第１暫定平面との対応関係と、前記第２パターンの前記投影手段との相対位置関係である第３相対位置関係および前記第１相対位置関係から得られる第２確定平面と、前記第２暫定平面との対応関係、の両方あるいはいずれか片方を比較し対応付けることで、前記第１解の自由度を解消した解である、第２解を算出する第３計算部を備えることを特徴とする請求項１記載の画像処理装置。
【請求項８】
前記画像処理手段は、
前記第１暫定平面と前記第２暫定平面との交線の集合と、
前記第１パターンの前記投影手段との相対位置関係である第２相対位置関係および前記第１相対位置関係から得られる第１確定平面と、前記第２パターンの前記投影手段との相対位置関係である第３相対位置関係および前記第１相対位置関係から得られる第２確定平面との交線の集合とを比較し対応付けることで、前記第１解の自由度を解消した解である、第２解を算出する第３計算部を備えることを特徴とする請求項１記載の画像処理装置。
【請求項９】
前記第３計算部では、
前記第１解の自由度を定めることで得られる、前記第１暫定平面あるいは前記第２暫定平面と、前記第１確定平面あるいは前記第２確定平面とを対応させた時の差が全体として最小となるように前記第１解の自由度を決定する、ことを特徴とする請求項７記載の画像処理装置。
【請求項１０】
前記第１パターンまたは前記第２パターンの両方あるいは何れか一方を不均一な間隔で配置することを特徴とする請求項１記載の画像処理装置。
【請求項１１】
前記投影手段は、前記第２パターンに加えて、前記第２パターンとは異なる第３パターンを前記物体に対して投影し、
前記画像処理手段では、前記第１パターンおよび前記第２パターンを用いた３次元形状の復元とは別に、前記第２パターンの代わりに前記第３パターンを用いた３次元形状復元を行うことを特徴とする請求項１記載の画像処理装置。
【請求項１２】
前記投影手段は、前記第１パターンおよび第２パターンに加えて、共通の制約条件である第３制約条件が存在するように配置された１つ以上の第３パターンを前記物体に対して投影し、
前記第１計算部は、前記第３パターンを観測した観測第３パターンを獲得し、かつ前記第１計算部は、前記観測第１パターン、前記観測第２パターンおよび前記観測第３パターンの相互の交点を獲得し、
前記第２計算部は、前記第１暫定平面と、前記第２暫定平面と、前記観測第３パターンを含む空間中の第３暫定平面のいずれかが前記交点を共有することから得られる制約条件と、前記第１制約条件と、前記第２制約条件と、前記第３制約条件と、前記第１相対位置関係とを用いて、前記第１暫定平面、前記第２暫定平面あるいは前記第３暫定平面について自由度を含む第１解を算出することを特徴とする請求項１の画像処理装置。
【請求項１３】
前記第２計算部で算出される前記第１解は、１つの自由度を含むことを特徴とする請求項１記載の画像処理装置。
【請求項１４】
３次元空間中で、平面状のパターン光を投影する光源を用いて、共通の制約条件である第１制約条件が存在するように配置された１つ以上の第１パターンと、前記第１パターンと交わり、共通の制約条件である第２制約条件が存在するように配置された１つ以上の第２パターンとを物体に対して投影するステップと、
前記パターン光を前記物体に投影することにより前記物体から反射された光を撮影して２次元画像を得るステップと、
前記２次元画像から前記物体の３次元形状を復元するステップと、を備え、
前記復元するステップは、
前記２次元画像において、前記第１パターンを反射光として観測した観測第１パターンと、前記第２パターンを反射光として観測した観測第２パターンとの交点を獲得するステップと、
前記観測第１パターンを含む空間中の第１暫定平面と、前記観測第２パターンを含む空間中の第２暫定平面が、前記交点を共有することから得られる制約条件と、前記第１制約条件と、前記第２制約条件と、前記投影手段と前記撮影手段との相対位置関係である第１相対位置関係とを用いて、前記第１暫定平面あるいは前記第２暫定平面について自由度を含む第１解を算出するステップと、
を備えることを特徴とする画像処理方法。
【請求項１５】
入力された２次元画像から３次元形状を復元する機能を画像処理装置に実行させるプログラムであり、
前記２次元画像は、
３次元空間中で、平面状のパターン光を投影する光源を用いて、共通の制約条件である第１制約条件が存在するように配置された１つ以上の第１パターンと、前記第１パターンと交わり、共通の制約条件である第２制約条件が存在するように配置された１つ以上の第２パターンとを物体に対して投影する投影手段と、
前記パターン光を前記物体に投影することにより前記物体から反射された光を撮影して２次元画像を得る撮影手段と、を用いて撮影され、
前記画像処理装置に、
前記２次元画像において、前記第１パターンを反射光として観測した観測第１パターンと、前記第２パターンを反射光として観測した観測第２パターンとの交点を獲得する機能と、
前記観測第１パターンを含む空間中の第１暫定平面と、前記観測第２パターンを含む空間中の第２暫定平面が、前記交点を共有することから得られる制約条件と、前記第１制約条件と、前記第２制約条件と、前記投影手段と前記撮影手段との相対位置関係である第１相対位置関係とを用いて、前記第１暫定平面あるいは前記第２暫定平面について自由度を含む第１解を算出する機能と、
を実行させることを特徴とするプログラム。
【請求項１】
３次元空間中で、平面状のパターン光を投影する光源を用いて、共通の制約条件である第１制約条件が存在するように配置された１つ以上の第１パターンと、前記第１パターンと交わり、共通の制約条件である第２制約条件が存在するように配置された１つ以上の第２パターンとを物体に対して投影する投影手段と、
前記パターン光を前記物体に投影することにより前記物体から反射された光を撮影して２次元画像を得る撮影手段と、
前記２次元画像から前記物体の３次元形状を復元する画像処理手段と、を備え、
前記画像処理手段は、
前記２次元画像において、前記第１パターンを反射光として観測した観測第１パターンと、前記第２パターンを反射光として観測した観測第２パターンとの交点を獲得する第１計算部と、
前記観測第１パターンを含む空間中の第１暫定平面と、前記観測第２パターンを含む空間中の第２暫定平面が、前記交点を共有することから得られる制約条件と、前記第１制約条件と、前記第２制約条件と、前記投影手段と前記撮影手段との相対位置関係である第１相対位置関係とを用いて、前記第１暫定平面あるいは前記第２暫定平面について自由度を含む第１解を算出する第２計算部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１制約条件は、平面状の前記第１パターンが同一の第１共有直線を通る制約条件または前記第１パターン同士が互いに平行である制約条件であり、
前記第２制約条件は、平面状の前記第２パターンが同一の第２共有直線を通る制約条件または前記第２パターン同士が互いに平行である制約条件である、ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記第２計算部で用いられる前記第１相対位置関係は、事前にキャリブレーションして獲得されていることを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記第２計算部では、
前記交点の位置座標と前記第１暫定平面のパラメータと前記第２暫定平面のパラメータから得られる第１方程式と、前記第１制約条件と前記第１相対位置関係から得られる第２方程式と、前記第２制約条件と前記第１相対位置関係から得られる第３方程式とを連立方程式として解くことで、前記交点、前記第１暫定平面あるいは前記第２暫定平面について自由度を含む第１解を算出することを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記第２計算部では、
前記第１暫定平面が前記第１共有直線を通るかまたは互いに平行であることを利用して、前記第１暫定平面を１つのパラメータでパラメータ表現し、
前記第２暫定平面が前記第２共有直線を通るかまたは互いに平行であることを利用して、前記第２暫定平面を１つのパラメータでパラメータ表現し、
前記交点の位置座標と前記第１暫定平面のパラメータ表現と前記第２暫定平面のパラメータ表現から得られる方程式を第1連立線形方程式として解くことで、前記交点、前記第１暫定平面あるいは前記第２暫定平面について自由度を含む第１解を算出することを特徴とする請求項２記載の画像処理装置。
【請求項６】
前記第２計算部では、
前記第１暫定平面が前記第１共有直線を通るかまたは互いに平行であることを利用して、前記第１暫定平面を１つのパラメータでパラメータ表現し、
前記第２暫定平面が前記第２共有直線を通るかまたは互いに平行であることを利用して、前記第２暫定平面を１つのパラメータでパラメータ表現し、
前記交点の位置座標と前記第１暫定平面のパラメータ表現と前記第２暫定平面のパラメータ表現から得られる第1連立線形方程式が成立する、あるいは前記第１連立線形方程式の誤差が最小になる時に、前記第２暫定平面のパラメータ表現のパラメータが前記第１暫定平面のパラメータ表現のパラメータの線形結合で表されることと、前記第１連立線形方程式とから得られる、前記第１暫定平面のパラメータ表現のパラメータのみを変数として持つ第２連立線形方程式を解くことで、前記交点、前記第１暫定平面あるいは前記第２暫定平面について自由度を含む第１解を算出することを特徴とする請求項２記載の画像処理装置。
【請求項７】
前記画像処理手段は、
前記第１パターンの前記投影手段との相対位置関係である第２相対位置関係および前記第１相対位置関係から得られる第１確定平面と、前記第１暫定平面との対応関係と、前記第２パターンの前記投影手段との相対位置関係である第３相対位置関係および前記第１相対位置関係から得られる第２確定平面と、前記第２暫定平面との対応関係、の両方あるいはいずれか片方を比較し対応付けることで、前記第１解の自由度を解消した解である、第２解を算出する第３計算部を備えることを特徴とする請求項１記載の画像処理装置。
【請求項８】
前記画像処理手段は、
前記第１暫定平面と前記第２暫定平面との交線の集合と、
前記第１パターンの前記投影手段との相対位置関係である第２相対位置関係および前記第１相対位置関係から得られる第１確定平面と、前記第２パターンの前記投影手段との相対位置関係である第３相対位置関係および前記第１相対位置関係から得られる第２確定平面との交線の集合とを比較し対応付けることで、前記第１解の自由度を解消した解である、第２解を算出する第３計算部を備えることを特徴とする請求項１記載の画像処理装置。
【請求項９】
前記第３計算部では、
前記第１解の自由度を定めることで得られる、前記第１暫定平面あるいは前記第２暫定平面と、前記第１確定平面あるいは前記第２確定平面とを対応させた時の差が全体として最小となるように前記第１解の自由度を決定する、ことを特徴とする請求項７記載の画像処理装置。
【請求項１０】
前記第１パターンまたは前記第２パターンの両方あるいは何れか一方を不均一な間隔で配置することを特徴とする請求項１記載の画像処理装置。
【請求項１１】
前記投影手段は、前記第２パターンに加えて、前記第２パターンとは異なる第３パターンを前記物体に対して投影し、
前記画像処理手段では、前記第１パターンおよび前記第２パターンを用いた３次元形状の復元とは別に、前記第２パターンの代わりに前記第３パターンを用いた３次元形状復元を行うことを特徴とする請求項１記載の画像処理装置。
【請求項１２】
前記投影手段は、前記第１パターンおよび第２パターンに加えて、共通の制約条件である第３制約条件が存在するように配置された１つ以上の第３パターンを前記物体に対して投影し、
前記第１計算部は、前記第３パターンを観測した観測第３パターンを獲得し、かつ前記第１計算部は、前記観測第１パターン、前記観測第２パターンおよび前記観測第３パターンの相互の交点を獲得し、
前記第２計算部は、前記第１暫定平面と、前記第２暫定平面と、前記観測第３パターンを含む空間中の第３暫定平面のいずれかが前記交点を共有することから得られる制約条件と、前記第１制約条件と、前記第２制約条件と、前記第３制約条件と、前記第１相対位置関係とを用いて、前記第１暫定平面、前記第２暫定平面あるいは前記第３暫定平面について自由度を含む第１解を算出することを特徴とする請求項１の画像処理装置。
【請求項１３】
前記第２計算部で算出される前記第１解は、１つの自由度を含むことを特徴とする請求項１記載の画像処理装置。
【請求項１４】
３次元空間中で、平面状のパターン光を投影する光源を用いて、共通の制約条件である第１制約条件が存在するように配置された１つ以上の第１パターンと、前記第１パターンと交わり、共通の制約条件である第２制約条件が存在するように配置された１つ以上の第２パターンとを物体に対して投影するステップと、
前記パターン光を前記物体に投影することにより前記物体から反射された光を撮影して２次元画像を得るステップと、
前記２次元画像から前記物体の３次元形状を復元するステップと、を備え、
前記復元するステップは、
前記２次元画像において、前記第１パターンを反射光として観測した観測第１パターンと、前記第２パターンを反射光として観測した観測第２パターンとの交点を獲得するステップと、
前記観測第１パターンを含む空間中の第１暫定平面と、前記観測第２パターンを含む空間中の第２暫定平面が、前記交点を共有することから得られる制約条件と、前記第１制約条件と、前記第２制約条件と、前記投影手段と前記撮影手段との相対位置関係である第１相対位置関係とを用いて、前記第１暫定平面あるいは前記第２暫定平面について自由度を含む第１解を算出するステップと、
を備えることを特徴とする画像処理方法。
【請求項１５】
入力された２次元画像から３次元形状を復元する機能を画像処理装置に実行させるプログラムであり、
前記２次元画像は、
３次元空間中で、平面状のパターン光を投影する光源を用いて、共通の制約条件である第１制約条件が存在するように配置された１つ以上の第１パターンと、前記第１パターンと交わり、共通の制約条件である第２制約条件が存在するように配置された１つ以上の第２パターンとを物体に対して投影する投影手段と、
前記パターン光を前記物体に投影することにより前記物体から反射された光を撮影して２次元画像を得る撮影手段と、を用いて撮影され、
前記画像処理装置に、
前記２次元画像において、前記第１パターンを反射光として観測した観測第１パターンと、前記第２パターンを反射光として観測した観測第２パターンとの交点を獲得する機能と、
前記観測第１パターンを含む空間中の第１暫定平面と、前記観測第２パターンを含む空間中の第２暫定平面が、前記交点を共有することから得られる制約条件と、前記第１制約条件と、前記第２制約条件と、前記投影手段と前記撮影手段との相対位置関係である第１相対位置関係とを用いて、前記第１暫定平面あるいは前記第２暫定平面について自由度を含む第１解を算出する機能と、
を実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図１０】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図１０】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００９−３００２７７（Ｐ２００９−３００２７７Ａ）
【公開日】平成２１年１２月２４日（２００９．１２．２４）
【国際特許分類】
【出願番号】特願２００８−１５５６０５（Ｐ２００８−１５５６０５）
【出願日】平成２０年６月１３日（２００８．６．１３）
【出願人】（５０４１９０５４８）国立大学法人埼玉大学 (292)
【出願人】（５９６０５３０７９）
【出願人】（３０２０１０６２２）有限会社テクノドリーム二十一 (6)
【Ｆターム（参考）】
【公開日】平成２１年１２月２４日（２００９．１２．２４）
【国際特許分類】
【出願日】平成２０年６月１３日（２００８．６．１３）
【出願人】（５０４１９０５４８）国立大学法人埼玉大学 (292)
【出願人】（５９６０５３０７９）
【出願人】（３０２０１０６２２）有限会社テクノドリーム二十一 (6)
【Ｆターム（参考）】
[ Back to top ]