三次元計測装置、三次元計測装置の制御方法、情報処理装置、情報処理装置の制御方法、およびプログラム
【課題】特徴の認識性能を向上する。
【解決手段】計測用パターンと特徴パターンとを有するパターンを被写体へ投影する投影部と、パターンが投影された被写体を撮像する撮像部と、パターンにおける計測用パターンと、投影部と撮像部との位置関係に基づいて決定される複数のエピポーラ線とによって、撮像部により撮像された画像を複数の領域に分割して、分割された複数の領域のうち所定の領域をグループ化するグループ化部と、所定の領域のそれぞれにおける特徴パターンの差異に基づいて当該特徴パターンを認識する特徴認識部と、特徴認識部により認識された特徴パターンに基づいて被写体の三次元形状を算出する三次元形状算出部と、を備える。
【解決手段】計測用パターンと特徴パターンとを有するパターンを被写体へ投影する投影部と、パターンが投影された被写体を撮像する撮像部と、パターンにおける計測用パターンと、投影部と撮像部との位置関係に基づいて決定される複数のエピポーラ線とによって、撮像部により撮像された画像を複数の領域に分割して、分割された複数の領域のうち所定の領域をグループ化するグループ化部と、所定の領域のそれぞれにおける特徴パターンの差異に基づいて当該特徴パターンを認識する特徴認識部と、特徴認識部により認識された特徴パターンに基づいて被写体の三次元形状を算出する三次元形状算出部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元計測装置、三次元計測装置の制御方法、情報処理装置、情報処理装置の制御方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、動的シーンに対応した三次元計測装置において、複数スリットを投影した光切断法が知られている。複数スリットを投影した光切断法は一般的に全て同一形状のスリットを投影する。そのため、測定距離範囲に限定を加えるなどしない限り、撮像されたスリットと投影されたスリットとを一意に対応付ける事は困難である。
【０００３】
そこで、特許文献１に記載の手法では、複数スリットに加えて、投影軸及び視軸の少なくとも１つの点によって形成された平面に直交して変動する少なくとも１つの構成要素を備えた少なくとも１つのコード化された特徴部を有する画像を投影し、そして、撮像された特徴部から符号を抽出し、投影側の符号と比較する。この比較結果に基づいて、撮像されたスリットと投影されたスリットとの対応付けを行っている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２７６７４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の構成では、撮影装置の光学系によるボケや投影装置の光学系によるボケの要因で、隣接した符号同士が重畳してしまう可能性がある。また、投影軸及び視軸の少なくとも１つの点によって形成された平面に直交して変動する特徴を抽出するため、特徴同士が重なり合うと符号が判別できなくなり、計測不可能な領域が発生してしまう可能性がある。すなわち、特許文献１に記載の構成では、特徴の認識性能が低下する可能性があるという課題がある。
【０００６】
上記の課題に鑑み、本発明は、より特徴の認識性能を向上することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成する本発明に係る三次元計測装置は、
計測用パターンと特徴パターンとを有するパターンを被写体へ投影する投影手段と、
前記パターンが投影された前記被写体を撮像する撮像手段と、
前記パターンにおける前記計測用パターンと、前記投影手段と前記撮像手段との位置関係に基づいて決定される複数のエピポーラ線とによって、前記撮像手段により撮像された画像を複数の領域に分割して、分割された複数の領域のうち所定の領域をグループ化するグループ化手段と、
前記所定の領域のそれぞれにおける前記特徴パターンの差異に基づいて当該特徴パターンを認識する特徴認識手段と、
前記特徴認識手段により認識された前記特徴パターンに基づいて前記被写体の三次元形状を算出する三次元形状算出手段と、
を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、より特徴の認識性能を向上することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】三次元計測装置の全体構成を示す図。
【図２】第１実施形態に係る三次元計測装置の投影パターンを示す図。
【図３】特徴認識部１０６による認識処理の説明図。
【図４】特徴認識部１０６による認識処理の説明図。
【図５】特徴認識部１０６による認識処理の説明図。
【図６】三次元計測装置の処理の手順を示すフローチャート。
【図７】第２実施形態に係る三次元計測装置の投影パターンを示す図。
【図８】第２実施形態に係る三次元計測装置の投影パターンを示す図。
【図９】第２実施形態に係る三次元計測装置の投影パターンを示す図。
【図１０】第３実施形態に係る三次元計測装置の投影パターンを示す図。
【図１１】第３実施形態に係る三次元計測装置の投影パターンを示す図。
【図１２】第３実施形態に係る三次元計測装置の投影パターンを示す図。
【図１３】第３実施形態に係る三次元計測装置の投影パターンを示す図。
【図１４】第３実施形態に係る三次元計測装置の投影パターンを示す図。
【発明を実施するための形態】
【００１０】
（第１実施形態）
図１を参照して、本実施形態に係る三次元計測装置１０の構成を説明する。本実施形態に係る三次元計測装置１０は、撮像部１０１と、投影部１０２と、投影パターン生成部１０３と、制御部１０４と、記憶部１０５と、特徴認識部１０６と、三次元形状算出部１０７とを備える。 撮像部１０１は、光学系と撮像素子とを有し、被写体１０８を撮像する。また、撮像部１０１は、撮像した画像を記憶部１０５に出力する。また、撮像部１０１は、投影部１０２の投影方向とは異なる方向から被写体１０８を撮像する。
【００１１】
投影部１０２は、レーザープロジェクタや液晶プロジェクタなどのパターンを投影可能であり、パターンを投影可能であれば投影部１０２の構成は限定されない。投影部１０２は、投影パターン生成部１０３から入力されるパターンの情報に基づいて、被写体１０８へパターンを投影する。
【００１２】
投影パターン生成部１０３は、投影部１０２が被写体１０８へ投影するパターンを生成する。制御部１０４は、投影パターン生成部１０３によるパターンの投影タイミングを制御する。また、制御部１０４は、投影部１０２がパターンの投影を開始するタイミングに基づいて、撮像を開始するように撮像部１０１を制御する。
【００１３】
記憶部１０５は、撮像部１０１から取得した撮像画像を記憶するメモリである。そしてその撮像画像を特徴認識部１０６へ出力する。
【００１４】
特徴認識部１０６は、記憶部１０５から取得した撮像画像から計測用パターンと特徴パターンとを抽出して特徴を認識する。認識された特徴に基づいて、特徴認識部１０６は、符号列を生成し、三次元形状算出部１０７へ出力する。
【００１５】
三次元形状算出部１０７は、特徴認識部１０６から取得した符号列と、パターンを構成する元の符号列との対応関係から、撮像部１０１により撮像される計測用パターンの位置と、投影部１０２により投影される計測用パターンの位置とを対応付ける。そして、対応付けられた計測用パターン同士の位置に基づいて三角測量の原理で三次元形状を算出する。
【００１６】
まず図２（ａ）および図２（ｂ）を参照して、投影パターン生成部１０３により生成されるパターンの一例について説明する。
【００１７】
図２（ａ）において、投影パターン生成部１０３により生成されるパターンはパターン２１０９のようなパターンである。パターン２１０９の一部は、計測用パターン２１０１、計測用パターン２１０２、および特徴パターン２１０３により構成されている。ここで、図２（ａ）の計測用パターン２１０１および計測用パターン２１０２は、例えばスリットパターンである。また、計測用パターンと、特徴パターンとは、同時に被写体１０８へ投影してもよいし、順次切り替えて別々に投影することも可能である。パターン２１０９は、符号列２１１０に基づいて生成される特徴パターンである。ここで、符号列２１１０は、例えば、Ｍ系列（Ｍａｘｉｍｕｍ ｌｅｎｇｔｈ ｓｅｑｕｅｎｃｅ）でもよいし、デブルーイン系列（ｄｅ Ｂｒｕｉｊｉｎ ｓｅｑｕｅｎｃｅ）でもよい。Ｍ系列とは、最大周期列といわれる疑似乱数列のひとつである。また、デブルーイン系列は，周期系列であり、長さｎの部分系列を観測すれば、系列中の位置が一意に特定可能という特徴を有する符号列である。符号列２１１０として、Ｍ系列やデブルーイン系列以外の符号列を用いてもよいが、任意で選択した部分系列が他の部分系列に対して一意に特定可能であることが望ましい。
【００１８】
次に、パターン２１０９を構成するために配置された特徴パターンについて説明する。
【００１９】
図２（ａ）において、エピポーラ線２１０４、２１０５、２１０６、および２１０７は、撮像部１０１と投影部１０２との位置関係によって決定されるエピポーラ平面と、投影部１０２の投影素子とが交わる線である。エピポーラ線２１０４、２１０５、２１０６、および２１０７は、実際にはパターン２１０９を構成する線としては表示されないが、特徴パターンの説明の為に、点線で表示している。またグループ２１０８は、エピポーラ線２１０４、２１０５、２１０６、および２１０７と、計測用パターン２１０１および計測用パターン２１０２と、により囲まれる３つの領域をグループ化して点線で示した領域である。グループ２１０８と同形状のグループが、パターン２１０９中に複数配置されており、一つのグループに対して、符号列２１１０の中の対応する１つの符号が割り当てられている。
【００２０】
次に図２（ｂ）を参照して、グループ２１０８における符号に対する特徴の種類について説明する。パターン２２０１、パターン２２０５、およびパターン２２０７は、グループ２１０８における異なる種類の特徴を表している。パターン２２０１、パターン２２０５、およびパターン２２０７には、スリット２２０２と、スリット２２０３と、撮像部１０１と投影部１０２とによって決定されるエピポーラ線と、により囲まれる領域２２０９、領域２２１０、領域２２１１が定義されている。パターン２２０１では、領域２２０９に特徴パターン２２０４が、パターン２２０５では、領域２２１０に特徴パターン２２０６が、パターン２２０７では、領域２２１１に特徴パターン２２０８がそれぞれ配置されている。パターン２２０１、パターン２２０５、およびパターン２２０７では、領域２２０９、領域２２１０、および領域２２１１の各面積と、領域２２０９、領域２２１０、および領域２２１１上の各特徴パターンの面積の比の差異により３種類に識別できる。
【００２１】
加えて、パターン２２０１、パターン２２０５、およびパターン２２０７において、特徴パターンが配置された領域に応じて１、２、３のような数字を対応付ける事も可能である。
【００２２】
さらに、投影パターン生成部１０３は、必ずしも三次元計測装置１０の一部である必要はなく、本発明で説明する各種投影パターンを生成する投影パターン生成装置（情報処理装置）として独立して使用することが可能である。投影パターン生成部１０３を独立した投影パターン生成装置として用いる場合、生成される投影パターンは、必ずしもエピポーラ線で領域を区切られる必要はなく、計測用パターンと異なる方向の区画線で区切れられていればよい。
【００２３】
次に、図３および図４（ａ）−（ｄ）を参照して、特徴認識部１０６について説明する。図３において、記憶部１０５から取得した画像２３０１についてパターン抽出を行い、計測用パターンと特徴パターンとを抽出した画像が２３０２である。複数のエピポーラ線２３０３と、計測用パターン２３０８とによりパターンを分割して、複数の領域を定義する。さらに分割された複数の領域のうち所定の領域をグループ化し、グループ２３０４、グループ２３０５、グループ２３０６、グループ２３０７を定義する。すなわち、分割された複数の領域のうち計測用パターンの方向に隣接している複数の領域を１つのグループとしてグループ化する。グループ２３０４、グループ２３０５、グループ２３０６、グループ２３０７には、それぞれ特徴パターン２３０９、特徴パターン２３１０、特徴パターン２３１１、特徴パターン２３１２が配置されている。各グループにおいて、グループ内の各領域の面積とグループ内の各領域上の特徴パターンの面積の比に基づき、特徴を認識して、符号を割りつける。なお、領域分割処理と、グループ化処理とは、特徴認識部１０６が行う処理であってもよいが、別の処理部を設けて当該別の処理部により実行されてもよい。その場合特徴認識部１０６は、各グループにおいて、グループ内の各領域の面積とグループ内の各領域上の特徴パターンの面積の比に基づき、特徴を認識して、符号を割りつける処理のみを実行することになる。
【００２４】
ここで、図４（ａ）−（ｄ）を参照して、特徴の認識方法について詳細に説明する。まず図４（ａ）において、パターン２４０１は、計測用パターン２４０２、計測用パターン２４０３と、特徴パターン２４０６、特徴パターン２４０７とにより構成されている。また、計測用パターン２４０２、計測用パターン２４０３と、エピポーラ線とにより区切られた領域２４０８、領域２４０９、領域２４１０、領域２４１１、領域２４１２、領域２４１３を定義することができる。加えて、領域２４０８、領域２４０９、領域２４１０をグループ化してグループ２４０４を定義する。また、領域２４１１、領域２４１２、領域２４１３をグループ化してグループ２４０５を定義する。
【００２５】
まず、グループ２４０４の特徴についての認識方法を説明する。グループ２４０４を構成する、領域２４０８、領域２４０９、領域２４１０の面積を求める。次に領域２４０８、領域２４０９、領域２４１０内の特徴パターン２４０６の面積を求める。領域２４０８、領域２４０９、領域２４１０の面積と、領域２４０８、領域２４０９、領域２４１０内の特徴パターン２４０６の面積との比を求め、他の領域と比べて特徴パターン２４０６の面積の占める領域が大きい領域に特徴パターンが存在すると認識できる。同様にグループ２４０５では、領域２４１１に特徴パターンが存在すると認識される。
【００２６】
ここで、特徴パターンと領域との面積の比を用いたパターンの認識方法について具体的な面積値を用いて説明する。パターン２４０１のグループ２４０４において、特徴パターン２４０６の面積が２、領域２４０８、領域２４０９、領域２４１０の面積が、全て４だとする。そして、各領域２４０８、領域２４０９、領域２４１０に領域上の特徴パターンの面積を各領域の面積で除算する。その結果、特徴パターンと領域との面積の比は、領域２４０８と領域２４０９が０（０／４）、領域２４１０が１／２（２／４）になる。各領域の面積の比を比べると領域２４１０が最も面積の比が大きい事が分かる。よって、領域２４１０上に特徴パターン２４０６が存在すると推定できる。ここで、領域間で面積の比の差異を大きくすることで特徴パターンの認識率が向上する。そのため、投影パターン生成部１０３により生成される特徴パターンの形状がエピポーラ線に対して平行または略平行な方向に延びていると領域内での面積を大きく配置することが可能であり、認識率を向上させることができる。
【００２７】
次に、図４（ｂ）を参照して、撮像部１０１の光学系によるボケの影響や、投影部１０２の光学系によるボケの影響によって、特徴パターン同士が重なり合う場合について説明する。パターン２４１４は、計測用パターン２４１５、計測用パターン２４１６と、特徴パターン２４１９、特徴パターン２４２０とにより構成されている。特徴パターン２４１９と特徴パターン２４２０とは、ボケの影響により、パターン同士が重畳している。また、計測用パターン２４１５、計測用パターン２４１６とエピポーラ線とにより区切られた領域２４２１、領域２４２２、領域２４２３、領域２４２４、領域２４２５、領域２４２６を定義することができる。加えて、領域２４２１、領域２４２２、領域２４２３をグループ化してグループ２４１７を定義する。また、領域２４２４、領域２４２５、領域２４２６をグループ化してグループ２４１８を定義する。
【００２８】
まず、グループ２４１７の特徴について認識方法を説明する。最初に、グループ２４１７を構成する、領域２４２１、領域２４２２、領域２４２３の各面積を求める。次に領域２４２１、領域２４２２、領域２４２３内の特徴パターン２４１９の面積を求める。領域２４２１、領域２４２２、領域２４２３の面積と、領域２４２１、領域２４２２、領域２４２３内の特徴パターン２４１９の面積との比を求め、他の領域と比べて特徴パターン２４１９の面積の占める領域が大きい領域に特徴パターンが存在すると認識する。つまり、グループ２４１７では、領域２４２３に特徴パターンが存在すると認識される。ここで、ボケにより、特徴パターン２４１９が領域２４２２の小領域に特徴パターンが存在したとしても、領域２４２２では、他の領域と比べて特徴パターン２４１９の面積の占める領域が少ない為、正確に特徴を認識できる。同様にグループ２４１８では、領域２４２４に特徴パターンが存在すると認識される。このように本実施形態に係る三次元計測装置は、撮像部１０１の光学系によるボケの影響や、投影部１０２の光学系によるボケの影響によって特徴パターン同士が重なり合う場合においても、特徴を認識できる可能性が向上する。
【００２９】
次に、図４（ｃ）−（ｄ）を参照して、領域の面積と特徴パターンの面積との比を用いることによる特徴認識について説明する。領域の面積と特徴パターンの面積との比を用いることによって、図４（ｃ）に示すようなパターン２４２７、および、図４（ｄ）に示すようなパターン２４２８の場合でも特徴を認識できる。パターン２４２７のように被写体１０８の形状に起因して特徴パターン２４０６の面積が減少した場合においても、撮像部１０１と投影部１０２との幾何的関係から、領域２４１０の面積も減少する。そのため、面積の比はパターン２４０１のグループ２４０４の領域２４１０の面積と特徴パターン２４０６の面積の比と同様の値となり、パターン２４２７においても特徴パターンが配置された領域を認識可能である。もちろん被写体１０８の形状がある程度平面に近ければ、領域の面積と特徴パターンの面積との比ではなく、特徴パターンの面積自体を比較することによって特徴パターンが存在する領域を認識してもよい。また、パターン２４２８において、撮影時のノイズにより、ノイズ２４２９が加えられたとする。その場合でも各領域の面積と特徴パターンの面積との面積の比を比べると領域２４１０が最も面積の比が大きいことから特徴パターンが配置された領域を認識可能である。
【００３０】
再び図３に戻ると、特徴認識部１０６は、グループ２３０４、グループ２３０５、グループ２３０６、グループ２３０７のグループ毎に認識された特徴の認識結果として、符号列２３１３を生成する。図３の例では、グループ２３０４については２、グループ２３０５については１、グループ２３０６については２、グループ２３０７については３である。特徴認識部１０６は、生成された符号列２３１３を、三次元形状算出部１０７へ出力する。
【００３１】
図５を参照して、三次元形状算出部１０７について説明する。三次元形状算出部１０７は、特徴認識部１０６から符号列２３１３を取得する。次に、図２（ａ）で示したパターン２１０９を構成する元の符号列２１１０と、符号列２３１３との対応を探索し、図５の点線で囲まれる対応位置２５０１を導く。符号列同士の対応から撮像部１０１により撮像される計測用パターンの位置と、投影部１０２により投影される計測用パターンの位置とが対応付けられる。そして、上述したように、対応付けられた計測用パターンの位置に基づいて三角測量の原理で被写体１０８の三次元形状を算出する。ここで、三角測量の基本的な原理には、特許文献２に開示されている。
【００３２】
次に、図６のフローチャートを参照して、本実施形態に係る三次元計測装置の処理の手順を説明する。
【００３３】
Ｓ６０１において、投影部１０２は、制御部１０４により投影パターン生成部１０３へ送信されたパターンを出力するための信号に基づいて投影パターン生成部１０３が生成するパターンを、被写体１０８へ投影する。Ｓ６０２において、撮像部１０１は、制御部１０４により撮像部１０１へ、投影が開始されるタイミングで送信された撮像信号に基づいて、被写体１０８を撮像する。また、撮像部１０１は、撮像画像を記憶部１０５に記憶する。
【００３４】
Ｓ６０３において、特徴認識部１０６は、記憶部１０５から取得した撮像画像から、計測用パターンと特徴パターンとを抽出する。Ｓ６０４において、特徴認識部１０６は、Ｓ６０３で抽出された計測用パターンと特徴パターンとから符号列を抽出し、当該符号列を三次元形状算出部１０７へ出力する。
【００３５】
Ｓ６０５において、三次元形状算出部１０７は、抽出された符号列と対応する符号列を探索する。Ｓ６０６において、三次元形状算出部１０７は、撮像部１０１により撮像された計測用パターンの位置と、投影部１０２により投影される計測用パターンの位置とを対応付ける。
【００３６】
Ｓ６０７において、三次元形状算出部１０７は、対応付けられた計測用パターンの位置と、撮像部１０１および投影部１０２の位置関係と、に基づいて三角測量の原理で被写体１０８の三次元形状を算出する。以上で図６のフローチャートの各処理が終了する。
【００３７】
本実施形態によれば、撮像部の光学系によるボケの影響や、投影部の光学系によるボケの影響によって特徴パターン同士が重なり合う場合においても、特徴を認識できる可能性を向上することができる。
【００３８】
（第２実施形態）
本実施形態に係る三次元計測装置は、第１実施形態で説明した三次元計測装置１０の構成と同様であるため説明を省略する。図７（ａ）−（ｂ）、図８（ａ）−（ｂ）、および図９（ａ）−（ｂ）を参照して、本実施形態に係る投影パターン生成部１０３により生成されるパターンについて、図２（ａ）のパターン２１０９で説明したグループ２１０８の定義とは異なるグループの定義の仕方を説明する。
【００３９】
まず図７（ａ）のパターン４１０１に対して、グループ４１０２のように、計測用パターンに対して垂直方向にグループを定義している。すなわち、複数の領域のうちエピポーラ線の方向に隣接している複数の領域を１つのグループとしてグループ化する。これにより、グループ４１０２において、図７（ｂ）に示されるパターン４２０１、パターン４２０２、パターン４２０３のような異なる特徴を認識できる。それぞれ、特徴パターンが配置された領域に応じて１、２、３のような数字を対応付けることが可能である。ここではパターン４２０１に対して１、パターン４２０２に対して２、パターン４２０３に対して３が対応づけられる。
【００４０】
次に図８（ａ）のパターン４３０１に対して、グループ４３０２のように、計測用パターンに対して平行方向かつ垂直方向に渡る所定の領域をグループとして定義している。すなわち、複数の領域のうち計測用パターンの方向およびエピポーラ線の方向に隣接している複数の領域を矩形領域としてグループ化する。これにより、グループ４３０２において、図８（ｂ）に示されるパターン４４０１、パターン４４０２、パターン４４０３、パターン４４０４のような異なる特徴を認識できる。それぞれ、特徴パターンが配置された領域に応じて１、２、３、４のような数字を対応付けることが可能である。ここではパターン４４０１に対して１、パターン４４０２に対して２、パターン４４０３に対して３、パターン４４０４に対して４が対応づけられる。
【００４１】
次に図９（ａ）のパターン４５０１に対して、グループ４５０２のように、計測用パターンに対して斜め方向に存在する所定の領域をグループとして定義している。すなわち、複数の領域のうち計測用パターンの方向またはエピポーラ線の方向の何れの方向にも隣接していない斜め方向の複数の領域をグループ化する。なお、斜め方向であれば、４５度方向または１３５度方向に限定されない。グループは、座標系を定義した場合、４５度方向ならｘ方向に１ブロックかつｙ方向に１ブロックずれた方向（１、１方向）にある複数の領域であるが、例えばｘ方向に２ブロックかつｙ方向に１ブロックずれた方向（２、１方向）にある複数の領域をグループ化してもよい。これにより、グループ４５０２において、図９（ｂ）に示されるパターン４６０１、パターン４６０２、パターン４６０３のような異なる特徴を認識できる。それぞれ、特徴パターンが配置された領域に応じて１、２、３のような数字を対応付けることが可能である。ここではパターン４６０１に対して１、パターン４６０２に対して２、パターン４６０３に対して３が対応づけられる。
【００４２】
また、図２（ｂ）における、隣接する領域２２０９、２２１０、２２１１は、必ずしも隣接している必要はなく、領域２２０９と２２１０の間、領域２２１０、２２１１の間にグループ化されていない領域を間に挿入しても良い。グループ化されていない領域を間に挿入した場合、グループ化される領域同士の間隔は、被写体１０８の連続している面の面積に基づいて決定しても良い。ここで、図３の２３０１のように物体の形状により、投影されるパターンが、歪むため、グループ化される領域同士の間隔は連続している面の面積が投影されるパターンと比較して相対的に小さい場合は、グループ化される領域同士の間隔を小さくすることで、同一グループとして認識可能である可能性が高くなる。
【００４３】
加えて、グループ化されていない領域を間に挿入した場合、グループ化される領域同士の間隔は、被写体１０８の形状に基づいて決定しても良い。形状の起伏が大きい場合、グループ化される領域同士の間隔を小さくすることで、同一グループとして認識可能である可能性が高くなる。
【００４４】
また、グループ化されていない領域を間に挿入した場合、グループ化される領域同士の間隔は、撮像手段の解像度に基づいて決定しても良い。撮像手段の解像度がパターンの特徴パターンの配置される間隔と比べて低い場合、グループ化される領域同士の間隔を広げる事で同一グループとして認識可能である可能性が高くなる。
【００４５】
このように近傍のいくつかの領域をグループとして定義することによって、被写体１０８が連続した表面部分をあまり有しないような形状であっても、効率的に符号を抽出できる。本実施形態で説明したパターンを用いて、第１実施形態で説明したように被写体１０８の三次元形状を算出できる。
【００４６】
本実施形態によれば、撮像部の光学系によるボケの影響や、投影部の光学系によるボケの影響によって特徴パターン同士が重なり合う場合においても、特徴を認識できる可能性を向上することができる。
【００４７】
（第３実施形態）
本実施形態に係る三次元計測装置は、第１実施形態で説明した三次元計測装置１０の構成と同様であるため説明を省略する。図１０乃至図１４を参照して、本実施形態に係る投影パターン生成部１０３により生成されるパターンについて、図２（ａ）のパターン２１０９で説明した特徴パターン２１０３とは異なる特徴パターンを説明する。
【００４８】
図１０に示すパターン５１０１のように、投影パターン生成部１０３により生成されるパターンは、特徴パターン５１０２と特徴パターン５１０３とで特徴パターンの面積に差異のある特徴パターンを用いてもよい。また、特徴パターンの差異は、グループ化された複数の領域のそれぞれに配置された特徴パターンの、エピポーラ線と平行方向の長さの差異であってもよい。図１０の例では、特徴パターン５１０２と特徴パターン５１０３とでエピポーラ線と平行方向の長さに差異がある。すなわち特徴パターンの面積の差異またはエピポーラ線と平行方向の長さの差異により特徴を認識することができる。
【００４９】
また、図１１に示すパターン５２０１のように、投影パターン生成部１０３により生成されるパターンは、特徴パターン５２０２と特徴パターン５２０３とで特徴の光の波長または光の輝度に差異のある特徴パターンを用いてもよい。すなわち、光の波長の差異または光の輝度の差異に基づいて特徴を認識することができる。
【００５０】
また、図１２に示すパターン５３０１のように、投影パターン生成部１０３により生成されるパターンは、特徴パターン５３０２が近傍領域５３０３に重畳していてもよい。特徴認識部１０６は、定義されたグループ５３０４内の領域で特徴の差異が存在すれば、特徴パターン同士が重畳していても特徴を認識できる。
【００５１】
また、図１３に示すパターン５４０１のように、投影パターン生成部１０３により生成されるパターンは、特徴パターン５４０２と特徴パターン５４０３とで、エピポーラ線と平行方向に差異のある特徴を用いてもよい。図１３の場合、特徴パターン５４０２は面積が特徴パターン５４０３よりも大きい。
【００５２】
また、図１４に示すパターン５５０１のように、投影パターン生成部１０３により生成されるパターンは、図２（ａ）のグループ２１０８の特徴パターン２１０３を、特徴パターン５５０３のように形状を円形に変えた特徴パターンである。特徴パターン５５０３は、グループ５５０２の中で特徴の面積に差異がある。そのため、特徴の形状が異なる場合でも特徴を認識可能であり、投影パターン生成部１０３を用いて生成されるパターンは、特徴パターン５５０３を用いてもよい。
【００５３】
本実施形態で説明したパターンを用いて、第１実施形態で説明したように被写体１０８の三次元形状を算出できる。
【００５４】
本実施形態によれば、撮像部の光学系によるボケの影響や、投影部の光学系によるボケの影響によって特徴パターン同士が重なり合う場合においても、特徴を認識できる可能性を向上することができる。
【００５５】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、三次元計測装置、三次元計測装置の制御方法、情報処理装置、情報処理装置の制御方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、動的シーンに対応した三次元計測装置において、複数スリットを投影した光切断法が知られている。複数スリットを投影した光切断法は一般的に全て同一形状のスリットを投影する。そのため、測定距離範囲に限定を加えるなどしない限り、撮像されたスリットと投影されたスリットとを一意に対応付ける事は困難である。
【０００３】
そこで、特許文献１に記載の手法では、複数スリットに加えて、投影軸及び視軸の少なくとも１つの点によって形成された平面に直交して変動する少なくとも１つの構成要素を備えた少なくとも１つのコード化された特徴部を有する画像を投影し、そして、撮像された特徴部から符号を抽出し、投影側の符号と比較する。この比較結果に基づいて、撮像されたスリットと投影されたスリットとの対応付けを行っている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２７６７４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の構成では、撮影装置の光学系によるボケや投影装置の光学系によるボケの要因で、隣接した符号同士が重畳してしまう可能性がある。また、投影軸及び視軸の少なくとも１つの点によって形成された平面に直交して変動する特徴を抽出するため、特徴同士が重なり合うと符号が判別できなくなり、計測不可能な領域が発生してしまう可能性がある。すなわち、特許文献１に記載の構成では、特徴の認識性能が低下する可能性があるという課題がある。
【０００６】
上記の課題に鑑み、本発明は、より特徴の認識性能を向上することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成する本発明に係る三次元計測装置は、
計測用パターンと特徴パターンとを有するパターンを被写体へ投影する投影手段と、
前記パターンが投影された前記被写体を撮像する撮像手段と、
前記パターンにおける前記計測用パターンと、前記投影手段と前記撮像手段との位置関係に基づいて決定される複数のエピポーラ線とによって、前記撮像手段により撮像された画像を複数の領域に分割して、分割された複数の領域のうち所定の領域をグループ化するグループ化手段と、
前記所定の領域のそれぞれにおける前記特徴パターンの差異に基づいて当該特徴パターンを認識する特徴認識手段と、
前記特徴認識手段により認識された前記特徴パターンに基づいて前記被写体の三次元形状を算出する三次元形状算出手段と、
を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、より特徴の認識性能を向上することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】三次元計測装置の全体構成を示す図。
【図２】第１実施形態に係る三次元計測装置の投影パターンを示す図。
【図３】特徴認識部１０６による認識処理の説明図。
【図４】特徴認識部１０６による認識処理の説明図。
【図５】特徴認識部１０６による認識処理の説明図。
【図６】三次元計測装置の処理の手順を示すフローチャート。
【図７】第２実施形態に係る三次元計測装置の投影パターンを示す図。
【図８】第２実施形態に係る三次元計測装置の投影パターンを示す図。
【図９】第２実施形態に係る三次元計測装置の投影パターンを示す図。
【図１０】第３実施形態に係る三次元計測装置の投影パターンを示す図。
【図１１】第３実施形態に係る三次元計測装置の投影パターンを示す図。
【図１２】第３実施形態に係る三次元計測装置の投影パターンを示す図。
【図１３】第３実施形態に係る三次元計測装置の投影パターンを示す図。
【図１４】第３実施形態に係る三次元計測装置の投影パターンを示す図。
【発明を実施するための形態】
【００１０】
（第１実施形態）
図１を参照して、本実施形態に係る三次元計測装置１０の構成を説明する。本実施形態に係る三次元計測装置１０は、撮像部１０１と、投影部１０２と、投影パターン生成部１０３と、制御部１０４と、記憶部１０５と、特徴認識部１０６と、三次元形状算出部１０７とを備える。 撮像部１０１は、光学系と撮像素子とを有し、被写体１０８を撮像する。また、撮像部１０１は、撮像した画像を記憶部１０５に出力する。また、撮像部１０１は、投影部１０２の投影方向とは異なる方向から被写体１０８を撮像する。
【００１１】
投影部１０２は、レーザープロジェクタや液晶プロジェクタなどのパターンを投影可能であり、パターンを投影可能であれば投影部１０２の構成は限定されない。投影部１０２は、投影パターン生成部１０３から入力されるパターンの情報に基づいて、被写体１０８へパターンを投影する。
【００１２】
投影パターン生成部１０３は、投影部１０２が被写体１０８へ投影するパターンを生成する。制御部１０４は、投影パターン生成部１０３によるパターンの投影タイミングを制御する。また、制御部１０４は、投影部１０２がパターンの投影を開始するタイミングに基づいて、撮像を開始するように撮像部１０１を制御する。
【００１３】
記憶部１０５は、撮像部１０１から取得した撮像画像を記憶するメモリである。そしてその撮像画像を特徴認識部１０６へ出力する。
【００１４】
特徴認識部１０６は、記憶部１０５から取得した撮像画像から計測用パターンと特徴パターンとを抽出して特徴を認識する。認識された特徴に基づいて、特徴認識部１０６は、符号列を生成し、三次元形状算出部１０７へ出力する。
【００１５】
三次元形状算出部１０７は、特徴認識部１０６から取得した符号列と、パターンを構成する元の符号列との対応関係から、撮像部１０１により撮像される計測用パターンの位置と、投影部１０２により投影される計測用パターンの位置とを対応付ける。そして、対応付けられた計測用パターン同士の位置に基づいて三角測量の原理で三次元形状を算出する。
【００１６】
まず図２（ａ）および図２（ｂ）を参照して、投影パターン生成部１０３により生成されるパターンの一例について説明する。
【００１７】
図２（ａ）において、投影パターン生成部１０３により生成されるパターンはパターン２１０９のようなパターンである。パターン２１０９の一部は、計測用パターン２１０１、計測用パターン２１０２、および特徴パターン２１０３により構成されている。ここで、図２（ａ）の計測用パターン２１０１および計測用パターン２１０２は、例えばスリットパターンである。また、計測用パターンと、特徴パターンとは、同時に被写体１０８へ投影してもよいし、順次切り替えて別々に投影することも可能である。パターン２１０９は、符号列２１１０に基づいて生成される特徴パターンである。ここで、符号列２１１０は、例えば、Ｍ系列（Ｍａｘｉｍｕｍ ｌｅｎｇｔｈ ｓｅｑｕｅｎｃｅ）でもよいし、デブルーイン系列（ｄｅ Ｂｒｕｉｊｉｎ ｓｅｑｕｅｎｃｅ）でもよい。Ｍ系列とは、最大周期列といわれる疑似乱数列のひとつである。また、デブルーイン系列は，周期系列であり、長さｎの部分系列を観測すれば、系列中の位置が一意に特定可能という特徴を有する符号列である。符号列２１１０として、Ｍ系列やデブルーイン系列以外の符号列を用いてもよいが、任意で選択した部分系列が他の部分系列に対して一意に特定可能であることが望ましい。
【００１８】
次に、パターン２１０９を構成するために配置された特徴パターンについて説明する。
【００１９】
図２（ａ）において、エピポーラ線２１０４、２１０５、２１０６、および２１０７は、撮像部１０１と投影部１０２との位置関係によって決定されるエピポーラ平面と、投影部１０２の投影素子とが交わる線である。エピポーラ線２１０４、２１０５、２１０６、および２１０７は、実際にはパターン２１０９を構成する線としては表示されないが、特徴パターンの説明の為に、点線で表示している。またグループ２１０８は、エピポーラ線２１０４、２１０５、２１０６、および２１０７と、計測用パターン２１０１および計測用パターン２１０２と、により囲まれる３つの領域をグループ化して点線で示した領域である。グループ２１０８と同形状のグループが、パターン２１０９中に複数配置されており、一つのグループに対して、符号列２１１０の中の対応する１つの符号が割り当てられている。
【００２０】
次に図２（ｂ）を参照して、グループ２１０８における符号に対する特徴の種類について説明する。パターン２２０１、パターン２２０５、およびパターン２２０７は、グループ２１０８における異なる種類の特徴を表している。パターン２２０１、パターン２２０５、およびパターン２２０７には、スリット２２０２と、スリット２２０３と、撮像部１０１と投影部１０２とによって決定されるエピポーラ線と、により囲まれる領域２２０９、領域２２１０、領域２２１１が定義されている。パターン２２０１では、領域２２０９に特徴パターン２２０４が、パターン２２０５では、領域２２１０に特徴パターン２２０６が、パターン２２０７では、領域２２１１に特徴パターン２２０８がそれぞれ配置されている。パターン２２０１、パターン２２０５、およびパターン２２０７では、領域２２０９、領域２２１０、および領域２２１１の各面積と、領域２２０９、領域２２１０、および領域２２１１上の各特徴パターンの面積の比の差異により３種類に識別できる。
【００２１】
加えて、パターン２２０１、パターン２２０５、およびパターン２２０７において、特徴パターンが配置された領域に応じて１、２、３のような数字を対応付ける事も可能である。
【００２２】
さらに、投影パターン生成部１０３は、必ずしも三次元計測装置１０の一部である必要はなく、本発明で説明する各種投影パターンを生成する投影パターン生成装置（情報処理装置）として独立して使用することが可能である。投影パターン生成部１０３を独立した投影パターン生成装置として用いる場合、生成される投影パターンは、必ずしもエピポーラ線で領域を区切られる必要はなく、計測用パターンと異なる方向の区画線で区切れられていればよい。
【００２３】
次に、図３および図４（ａ）−（ｄ）を参照して、特徴認識部１０６について説明する。図３において、記憶部１０５から取得した画像２３０１についてパターン抽出を行い、計測用パターンと特徴パターンとを抽出した画像が２３０２である。複数のエピポーラ線２３０３と、計測用パターン２３０８とによりパターンを分割して、複数の領域を定義する。さらに分割された複数の領域のうち所定の領域をグループ化し、グループ２３０４、グループ２３０５、グループ２３０６、グループ２３０７を定義する。すなわち、分割された複数の領域のうち計測用パターンの方向に隣接している複数の領域を１つのグループとしてグループ化する。グループ２３０４、グループ２３０５、グループ２３０６、グループ２３０７には、それぞれ特徴パターン２３０９、特徴パターン２３１０、特徴パターン２３１１、特徴パターン２３１２が配置されている。各グループにおいて、グループ内の各領域の面積とグループ内の各領域上の特徴パターンの面積の比に基づき、特徴を認識して、符号を割りつける。なお、領域分割処理と、グループ化処理とは、特徴認識部１０６が行う処理であってもよいが、別の処理部を設けて当該別の処理部により実行されてもよい。その場合特徴認識部１０６は、各グループにおいて、グループ内の各領域の面積とグループ内の各領域上の特徴パターンの面積の比に基づき、特徴を認識して、符号を割りつける処理のみを実行することになる。
【００２４】
ここで、図４（ａ）−（ｄ）を参照して、特徴の認識方法について詳細に説明する。まず図４（ａ）において、パターン２４０１は、計測用パターン２４０２、計測用パターン２４０３と、特徴パターン２４０６、特徴パターン２４０７とにより構成されている。また、計測用パターン２４０２、計測用パターン２４０３と、エピポーラ線とにより区切られた領域２４０８、領域２４０９、領域２４１０、領域２４１１、領域２４１２、領域２４１３を定義することができる。加えて、領域２４０８、領域２４０９、領域２４１０をグループ化してグループ２４０４を定義する。また、領域２４１１、領域２４１２、領域２４１３をグループ化してグループ２４０５を定義する。
【００２５】
まず、グループ２４０４の特徴についての認識方法を説明する。グループ２４０４を構成する、領域２４０８、領域２４０９、領域２４１０の面積を求める。次に領域２４０８、領域２４０９、領域２４１０内の特徴パターン２４０６の面積を求める。領域２４０８、領域２４０９、領域２４１０の面積と、領域２４０８、領域２４０９、領域２４１０内の特徴パターン２４０６の面積との比を求め、他の領域と比べて特徴パターン２４０６の面積の占める領域が大きい領域に特徴パターンが存在すると認識できる。同様にグループ２４０５では、領域２４１１に特徴パターンが存在すると認識される。
【００２６】
ここで、特徴パターンと領域との面積の比を用いたパターンの認識方法について具体的な面積値を用いて説明する。パターン２４０１のグループ２４０４において、特徴パターン２４０６の面積が２、領域２４０８、領域２４０９、領域２４１０の面積が、全て４だとする。そして、各領域２４０８、領域２４０９、領域２４１０に領域上の特徴パターンの面積を各領域の面積で除算する。その結果、特徴パターンと領域との面積の比は、領域２４０８と領域２４０９が０（０／４）、領域２４１０が１／２（２／４）になる。各領域の面積の比を比べると領域２４１０が最も面積の比が大きい事が分かる。よって、領域２４１０上に特徴パターン２４０６が存在すると推定できる。ここで、領域間で面積の比の差異を大きくすることで特徴パターンの認識率が向上する。そのため、投影パターン生成部１０３により生成される特徴パターンの形状がエピポーラ線に対して平行または略平行な方向に延びていると領域内での面積を大きく配置することが可能であり、認識率を向上させることができる。
【００２７】
次に、図４（ｂ）を参照して、撮像部１０１の光学系によるボケの影響や、投影部１０２の光学系によるボケの影響によって、特徴パターン同士が重なり合う場合について説明する。パターン２４１４は、計測用パターン２４１５、計測用パターン２４１６と、特徴パターン２４１９、特徴パターン２４２０とにより構成されている。特徴パターン２４１９と特徴パターン２４２０とは、ボケの影響により、パターン同士が重畳している。また、計測用パターン２４１５、計測用パターン２４１６とエピポーラ線とにより区切られた領域２４２１、領域２４２２、領域２４２３、領域２４２４、領域２４２５、領域２４２６を定義することができる。加えて、領域２４２１、領域２４２２、領域２４２３をグループ化してグループ２４１７を定義する。また、領域２４２４、領域２４２５、領域２４２６をグループ化してグループ２４１８を定義する。
【００２８】
まず、グループ２４１７の特徴について認識方法を説明する。最初に、グループ２４１７を構成する、領域２４２１、領域２４２２、領域２４２３の各面積を求める。次に領域２４２１、領域２４２２、領域２４２３内の特徴パターン２４１９の面積を求める。領域２４２１、領域２４２２、領域２４２３の面積と、領域２４２１、領域２４２２、領域２４２３内の特徴パターン２４１９の面積との比を求め、他の領域と比べて特徴パターン２４１９の面積の占める領域が大きい領域に特徴パターンが存在すると認識する。つまり、グループ２４１７では、領域２４２３に特徴パターンが存在すると認識される。ここで、ボケにより、特徴パターン２４１９が領域２４２２の小領域に特徴パターンが存在したとしても、領域２４２２では、他の領域と比べて特徴パターン２４１９の面積の占める領域が少ない為、正確に特徴を認識できる。同様にグループ２４１８では、領域２４２４に特徴パターンが存在すると認識される。このように本実施形態に係る三次元計測装置は、撮像部１０１の光学系によるボケの影響や、投影部１０２の光学系によるボケの影響によって特徴パターン同士が重なり合う場合においても、特徴を認識できる可能性が向上する。
【００２９】
次に、図４（ｃ）−（ｄ）を参照して、領域の面積と特徴パターンの面積との比を用いることによる特徴認識について説明する。領域の面積と特徴パターンの面積との比を用いることによって、図４（ｃ）に示すようなパターン２４２７、および、図４（ｄ）に示すようなパターン２４２８の場合でも特徴を認識できる。パターン２４２７のように被写体１０８の形状に起因して特徴パターン２４０６の面積が減少した場合においても、撮像部１０１と投影部１０２との幾何的関係から、領域２４１０の面積も減少する。そのため、面積の比はパターン２４０１のグループ２４０４の領域２４１０の面積と特徴パターン２４０６の面積の比と同様の値となり、パターン２４２７においても特徴パターンが配置された領域を認識可能である。もちろん被写体１０８の形状がある程度平面に近ければ、領域の面積と特徴パターンの面積との比ではなく、特徴パターンの面積自体を比較することによって特徴パターンが存在する領域を認識してもよい。また、パターン２４２８において、撮影時のノイズにより、ノイズ２４２９が加えられたとする。その場合でも各領域の面積と特徴パターンの面積との面積の比を比べると領域２４１０が最も面積の比が大きいことから特徴パターンが配置された領域を認識可能である。
【００３０】
再び図３に戻ると、特徴認識部１０６は、グループ２３０４、グループ２３０５、グループ２３０６、グループ２３０７のグループ毎に認識された特徴の認識結果として、符号列２３１３を生成する。図３の例では、グループ２３０４については２、グループ２３０５については１、グループ２３０６については２、グループ２３０７については３である。特徴認識部１０６は、生成された符号列２３１３を、三次元形状算出部１０７へ出力する。
【００３１】
図５を参照して、三次元形状算出部１０７について説明する。三次元形状算出部１０７は、特徴認識部１０６から符号列２３１３を取得する。次に、図２（ａ）で示したパターン２１０９を構成する元の符号列２１１０と、符号列２３１３との対応を探索し、図５の点線で囲まれる対応位置２５０１を導く。符号列同士の対応から撮像部１０１により撮像される計測用パターンの位置と、投影部１０２により投影される計測用パターンの位置とが対応付けられる。そして、上述したように、対応付けられた計測用パターンの位置に基づいて三角測量の原理で被写体１０８の三次元形状を算出する。ここで、三角測量の基本的な原理には、特許文献２に開示されている。
【００３２】
次に、図６のフローチャートを参照して、本実施形態に係る三次元計測装置の処理の手順を説明する。
【００３３】
Ｓ６０１において、投影部１０２は、制御部１０４により投影パターン生成部１０３へ送信されたパターンを出力するための信号に基づいて投影パターン生成部１０３が生成するパターンを、被写体１０８へ投影する。Ｓ６０２において、撮像部１０１は、制御部１０４により撮像部１０１へ、投影が開始されるタイミングで送信された撮像信号に基づいて、被写体１０８を撮像する。また、撮像部１０１は、撮像画像を記憶部１０５に記憶する。
【００３４】
Ｓ６０３において、特徴認識部１０６は、記憶部１０５から取得した撮像画像から、計測用パターンと特徴パターンとを抽出する。Ｓ６０４において、特徴認識部１０６は、Ｓ６０３で抽出された計測用パターンと特徴パターンとから符号列を抽出し、当該符号列を三次元形状算出部１０７へ出力する。
【００３５】
Ｓ６０５において、三次元形状算出部１０７は、抽出された符号列と対応する符号列を探索する。Ｓ６０６において、三次元形状算出部１０７は、撮像部１０１により撮像された計測用パターンの位置と、投影部１０２により投影される計測用パターンの位置とを対応付ける。
【００３６】
Ｓ６０７において、三次元形状算出部１０７は、対応付けられた計測用パターンの位置と、撮像部１０１および投影部１０２の位置関係と、に基づいて三角測量の原理で被写体１０８の三次元形状を算出する。以上で図６のフローチャートの各処理が終了する。
【００３７】
本実施形態によれば、撮像部の光学系によるボケの影響や、投影部の光学系によるボケの影響によって特徴パターン同士が重なり合う場合においても、特徴を認識できる可能性を向上することができる。
【００３８】
（第２実施形態）
本実施形態に係る三次元計測装置は、第１実施形態で説明した三次元計測装置１０の構成と同様であるため説明を省略する。図７（ａ）−（ｂ）、図８（ａ）−（ｂ）、および図９（ａ）−（ｂ）を参照して、本実施形態に係る投影パターン生成部１０３により生成されるパターンについて、図２（ａ）のパターン２１０９で説明したグループ２１０８の定義とは異なるグループの定義の仕方を説明する。
【００３９】
まず図７（ａ）のパターン４１０１に対して、グループ４１０２のように、計測用パターンに対して垂直方向にグループを定義している。すなわち、複数の領域のうちエピポーラ線の方向に隣接している複数の領域を１つのグループとしてグループ化する。これにより、グループ４１０２において、図７（ｂ）に示されるパターン４２０１、パターン４２０２、パターン４２０３のような異なる特徴を認識できる。それぞれ、特徴パターンが配置された領域に応じて１、２、３のような数字を対応付けることが可能である。ここではパターン４２０１に対して１、パターン４２０２に対して２、パターン４２０３に対して３が対応づけられる。
【００４０】
次に図８（ａ）のパターン４３０１に対して、グループ４３０２のように、計測用パターンに対して平行方向かつ垂直方向に渡る所定の領域をグループとして定義している。すなわち、複数の領域のうち計測用パターンの方向およびエピポーラ線の方向に隣接している複数の領域を矩形領域としてグループ化する。これにより、グループ４３０２において、図８（ｂ）に示されるパターン４４０１、パターン４４０２、パターン４４０３、パターン４４０４のような異なる特徴を認識できる。それぞれ、特徴パターンが配置された領域に応じて１、２、３、４のような数字を対応付けることが可能である。ここではパターン４４０１に対して１、パターン４４０２に対して２、パターン４４０３に対して３、パターン４４０４に対して４が対応づけられる。
【００４１】
次に図９（ａ）のパターン４５０１に対して、グループ４５０２のように、計測用パターンに対して斜め方向に存在する所定の領域をグループとして定義している。すなわち、複数の領域のうち計測用パターンの方向またはエピポーラ線の方向の何れの方向にも隣接していない斜め方向の複数の領域をグループ化する。なお、斜め方向であれば、４５度方向または１３５度方向に限定されない。グループは、座標系を定義した場合、４５度方向ならｘ方向に１ブロックかつｙ方向に１ブロックずれた方向（１、１方向）にある複数の領域であるが、例えばｘ方向に２ブロックかつｙ方向に１ブロックずれた方向（２、１方向）にある複数の領域をグループ化してもよい。これにより、グループ４５０２において、図９（ｂ）に示されるパターン４６０１、パターン４６０２、パターン４６０３のような異なる特徴を認識できる。それぞれ、特徴パターンが配置された領域に応じて１、２、３のような数字を対応付けることが可能である。ここではパターン４６０１に対して１、パターン４６０２に対して２、パターン４６０３に対して３が対応づけられる。
【００４２】
また、図２（ｂ）における、隣接する領域２２０９、２２１０、２２１１は、必ずしも隣接している必要はなく、領域２２０９と２２１０の間、領域２２１０、２２１１の間にグループ化されていない領域を間に挿入しても良い。グループ化されていない領域を間に挿入した場合、グループ化される領域同士の間隔は、被写体１０８の連続している面の面積に基づいて決定しても良い。ここで、図３の２３０１のように物体の形状により、投影されるパターンが、歪むため、グループ化される領域同士の間隔は連続している面の面積が投影されるパターンと比較して相対的に小さい場合は、グループ化される領域同士の間隔を小さくすることで、同一グループとして認識可能である可能性が高くなる。
【００４３】
加えて、グループ化されていない領域を間に挿入した場合、グループ化される領域同士の間隔は、被写体１０８の形状に基づいて決定しても良い。形状の起伏が大きい場合、グループ化される領域同士の間隔を小さくすることで、同一グループとして認識可能である可能性が高くなる。
【００４４】
また、グループ化されていない領域を間に挿入した場合、グループ化される領域同士の間隔は、撮像手段の解像度に基づいて決定しても良い。撮像手段の解像度がパターンの特徴パターンの配置される間隔と比べて低い場合、グループ化される領域同士の間隔を広げる事で同一グループとして認識可能である可能性が高くなる。
【００４５】
このように近傍のいくつかの領域をグループとして定義することによって、被写体１０８が連続した表面部分をあまり有しないような形状であっても、効率的に符号を抽出できる。本実施形態で説明したパターンを用いて、第１実施形態で説明したように被写体１０８の三次元形状を算出できる。
【００４６】
本実施形態によれば、撮像部の光学系によるボケの影響や、投影部の光学系によるボケの影響によって特徴パターン同士が重なり合う場合においても、特徴を認識できる可能性を向上することができる。
【００４７】
（第３実施形態）
本実施形態に係る三次元計測装置は、第１実施形態で説明した三次元計測装置１０の構成と同様であるため説明を省略する。図１０乃至図１４を参照して、本実施形態に係る投影パターン生成部１０３により生成されるパターンについて、図２（ａ）のパターン２１０９で説明した特徴パターン２１０３とは異なる特徴パターンを説明する。
【００４８】
図１０に示すパターン５１０１のように、投影パターン生成部１０３により生成されるパターンは、特徴パターン５１０２と特徴パターン５１０３とで特徴パターンの面積に差異のある特徴パターンを用いてもよい。また、特徴パターンの差異は、グループ化された複数の領域のそれぞれに配置された特徴パターンの、エピポーラ線と平行方向の長さの差異であってもよい。図１０の例では、特徴パターン５１０２と特徴パターン５１０３とでエピポーラ線と平行方向の長さに差異がある。すなわち特徴パターンの面積の差異またはエピポーラ線と平行方向の長さの差異により特徴を認識することができる。
【００４９】
また、図１１に示すパターン５２０１のように、投影パターン生成部１０３により生成されるパターンは、特徴パターン５２０２と特徴パターン５２０３とで特徴の光の波長または光の輝度に差異のある特徴パターンを用いてもよい。すなわち、光の波長の差異または光の輝度の差異に基づいて特徴を認識することができる。
【００５０】
また、図１２に示すパターン５３０１のように、投影パターン生成部１０３により生成されるパターンは、特徴パターン５３０２が近傍領域５３０３に重畳していてもよい。特徴認識部１０６は、定義されたグループ５３０４内の領域で特徴の差異が存在すれば、特徴パターン同士が重畳していても特徴を認識できる。
【００５１】
また、図１３に示すパターン５４０１のように、投影パターン生成部１０３により生成されるパターンは、特徴パターン５４０２と特徴パターン５４０３とで、エピポーラ線と平行方向に差異のある特徴を用いてもよい。図１３の場合、特徴パターン５４０２は面積が特徴パターン５４０３よりも大きい。
【００５２】
また、図１４に示すパターン５５０１のように、投影パターン生成部１０３により生成されるパターンは、図２（ａ）のグループ２１０８の特徴パターン２１０３を、特徴パターン５５０３のように形状を円形に変えた特徴パターンである。特徴パターン５５０３は、グループ５５０２の中で特徴の面積に差異がある。そのため、特徴の形状が異なる場合でも特徴を認識可能であり、投影パターン生成部１０３を用いて生成されるパターンは、特徴パターン５５０３を用いてもよい。
【００５３】
本実施形態で説明したパターンを用いて、第１実施形態で説明したように被写体１０８の三次元形状を算出できる。
【００５４】
本実施形態によれば、撮像部の光学系によるボケの影響や、投影部の光学系によるボケの影響によって特徴パターン同士が重なり合う場合においても、特徴を認識できる可能性を向上することができる。
【００５５】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
計測用パターンと特徴パターンとを有するパターンを被写体へ投影する投影手段と、
前記パターンが投影された前記被写体を撮像する撮像手段と、
前記パターンにおける前記計測用パターンと、前記投影手段と前記撮像手段との位置関係に基づいて決定される複数のエピポーラ線とによって、前記撮像手段により撮像された画像を複数の領域に分割して、分割された複数の領域のうち所定の領域をグループ化するグループ化手段と、
前記所定の領域のそれぞれにおける前記特徴パターンの差異に基づいて当該特徴パターンを認識する特徴認識手段と、
前記特徴認識手段により認識された前記特徴パターンに基づいて前記被写体の三次元形状を算出する三次元形状算出手段と、
を備えることを特徴とする三次元計測装置。
【請求項２】
前記グループ化手段は、前記複数の領域のうち前記計測用パターンの方向に隣接している複数の領域をグループ化することを特徴とする請求項１に記載の三次元計測装置。
【請求項３】
前記グループ化手段は、前記複数の領域のうち前記エピポーラ線の方向に隣接している複数の領域をグループ化することを特徴とする請求項１に記載の三次元計測装置。
【請求項４】
前記グループ化手段は、前記複数の領域のうち前記計測用パターンの方向および前記エピポーラ線の方向に隣接している複数の領域を矩形領域としてグループ化することを特徴とする請求項１に記載の三次元計測装置。
【請求項５】
前記グループ化手段は、前記複数の領域のうち前記計測用パターンの方向または前記エピポーラ線の方向の何れの方向にも隣接していない複数の領域をグループ化することを特徴とする請求項１に記載の三次元計測装置。
【請求項６】
前記グループ化手段は、前記被写体の連続している面の面積に基づいてグループ化する領域の間隔を決定することを特徴とする請求項１に記載の三次元計測装置。
【請求項７】
前記グループ化手段は、前記被写体の形状に基づいてグループ化する領域の間隔を決定することを特徴とする請求項１に記載の三次元計測装置。
【請求項８】
前記グループ化手段は、前記撮像手段の解像度に基づいてグループ化する領域の間隔を決定することを特徴とする請求項１に記載の三次元計測装置。
【請求項９】
前記特徴パターンの差異は、前記グループ化された複数の領域のそれぞれの面積と、前記グループ化された複数の領域のそれぞれにおける前記特徴パターンの面積との比の差異あることを特徴とする請求項１乃至８の何れか１項に記載の三次元計測装置。
【請求項１０】
前記特徴パターンの差異は、前記グループ化された複数の領域のそれぞれにおける前記特徴パターンの面積の差異であることを特徴とする請求項１乃至８の何れか１項に記載の三次元計測装置。
【請求項１１】
前記特徴パターンの差異は、前記グループ化された複数の領域のそれぞれに配置された前記特徴パターンの、前記エピポーラ線と平行方向の長さの差異であることを特徴とする請求項１乃至８の何れか１項に記載の三次元計測装置。
【請求項１２】
前記特徴パターンの差異は、前記グループ化された複数の領域のそれぞれに配置された前記特徴パターンの、光の輝度の差異であることを特徴とする請求項１乃至８の何れか１項に記載の三次元計測装置。
【請求項１３】
前記特徴パターンの差異は、前記グループ化された複数の領域のそれぞれに配置された前記特徴パターンの、光の波長の差異であることを特徴とする請求項１乃至８の何れか１項に記載の三次元計測装置。
【請求項１４】
前記投影手段は、前記計測用パターンと前記特徴パターンとを同時にパターンとして前記被写体へ投影することを特徴とする請求項１乃至１３の何れか１項に記載の三次元計測装置。
【請求項１５】
前記投影手段は、前記計測用パターンと前記特徴パターンとを順次切り替えてパターンとして前記被写体へ投影することを特徴とする請求項１乃至１３の何れか１項に記載の三次元計測装置。
【請求項１６】
前記計測用パターンは、スリットパターンであることを特徴とする請求項１乃至１５の何れか１項に記載の三次元計測装置。
【請求項１７】
計測用パターンと、前記計測用パターンの方向とは異なる方向の複数の区画線と、に基づいて構成される複数の領域をグループ化して、当該グループ化された複数の領域の少なくとも１つに特徴パターンを配置することにより、前記計測用パターンと前記特徴パターンとを有する投影パターンを生成する生成手段を備えることを特徴とする情報処理装置。
【請求項１８】
前記区画線はエピポーラ線であることを特徴とする請求項１７に記載の情報処理装置。
【請求項１９】
投影手段と、撮像手段と、グループ化手段と、特徴認識手段と、三次元形状算出手段とを備える三次元計測装置の制御方法であって、
前記投影手段が、計測用パターンと特徴パターンとを有するパターンを被写体へ投影する投影工程と、
前記撮像手段が、前記パターンが投影された前記被写体を撮像する撮像工程と、
前記グループ化手段が、前記パターンにおける前記計測用パターンと、前記投影手段と前記撮像手段との位置関係に基づいて決定される複数のエピポーラ線とによって、前記撮像工程で撮像された画像を複数の領域に分割して、分割された複数の領域のうち所定の領域をグループ化するグループ化工程と、
前記特徴認識手段が、前記所定の領域のそれぞれにおける前記特徴パターンの差異に基づいて当該特徴パターンを認識する特徴認識工程と、
前記三次元形状算出手段が、前記特徴認識工程で認識された前記特徴パターンに基づいて前記被写体の三次元形状を算出する三次元形状算出工程と、
を有することを特徴とする三次元計測装置の制御方法。
【請求項２０】
請求項１９に記載の三次元計測装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項２１】
生成手段を備える情報処理装置の制御方法であって、
前記生成手段が、計測用パターンと、前記計測用パターンの方向とは異なる方向の複数の区画線と、に基づいて構成される複数の領域をグループ化して、当該グループ化された複数の領域の少なくとも１つに特徴パターンを配置することにより、前記計測用パターンと前記特徴パターンとを有する投影パターンを生成する生成工程を有することを特徴とする情報処理装置の制御方法。
【請求項２２】
請求項２１に記載の情報処理装置の制御方法の工程をコンピュータに実行させるためのプログラム。
【請求項１】
計測用パターンと特徴パターンとを有するパターンを被写体へ投影する投影手段と、
前記パターンが投影された前記被写体を撮像する撮像手段と、
前記パターンにおける前記計測用パターンと、前記投影手段と前記撮像手段との位置関係に基づいて決定される複数のエピポーラ線とによって、前記撮像手段により撮像された画像を複数の領域に分割して、分割された複数の領域のうち所定の領域をグループ化するグループ化手段と、
前記所定の領域のそれぞれにおける前記特徴パターンの差異に基づいて当該特徴パターンを認識する特徴認識手段と、
前記特徴認識手段により認識された前記特徴パターンに基づいて前記被写体の三次元形状を算出する三次元形状算出手段と、
を備えることを特徴とする三次元計測装置。
【請求項２】
前記グループ化手段は、前記複数の領域のうち前記計測用パターンの方向に隣接している複数の領域をグループ化することを特徴とする請求項１に記載の三次元計測装置。
【請求項３】
前記グループ化手段は、前記複数の領域のうち前記エピポーラ線の方向に隣接している複数の領域をグループ化することを特徴とする請求項１に記載の三次元計測装置。
【請求項４】
前記グループ化手段は、前記複数の領域のうち前記計測用パターンの方向および前記エピポーラ線の方向に隣接している複数の領域を矩形領域としてグループ化することを特徴とする請求項１に記載の三次元計測装置。
【請求項５】
前記グループ化手段は、前記複数の領域のうち前記計測用パターンの方向または前記エピポーラ線の方向の何れの方向にも隣接していない複数の領域をグループ化することを特徴とする請求項１に記載の三次元計測装置。
【請求項６】
前記グループ化手段は、前記被写体の連続している面の面積に基づいてグループ化する領域の間隔を決定することを特徴とする請求項１に記載の三次元計測装置。
【請求項７】
前記グループ化手段は、前記被写体の形状に基づいてグループ化する領域の間隔を決定することを特徴とする請求項１に記載の三次元計測装置。
【請求項８】
前記グループ化手段は、前記撮像手段の解像度に基づいてグループ化する領域の間隔を決定することを特徴とする請求項１に記載の三次元計測装置。
【請求項９】
前記特徴パターンの差異は、前記グループ化された複数の領域のそれぞれの面積と、前記グループ化された複数の領域のそれぞれにおける前記特徴パターンの面積との比の差異あることを特徴とする請求項１乃至８の何れか１項に記載の三次元計測装置。
【請求項１０】
前記特徴パターンの差異は、前記グループ化された複数の領域のそれぞれにおける前記特徴パターンの面積の差異であることを特徴とする請求項１乃至８の何れか１項に記載の三次元計測装置。
【請求項１１】
前記特徴パターンの差異は、前記グループ化された複数の領域のそれぞれに配置された前記特徴パターンの、前記エピポーラ線と平行方向の長さの差異であることを特徴とする請求項１乃至８の何れか１項に記載の三次元計測装置。
【請求項１２】
前記特徴パターンの差異は、前記グループ化された複数の領域のそれぞれに配置された前記特徴パターンの、光の輝度の差異であることを特徴とする請求項１乃至８の何れか１項に記載の三次元計測装置。
【請求項１３】
前記特徴パターンの差異は、前記グループ化された複数の領域のそれぞれに配置された前記特徴パターンの、光の波長の差異であることを特徴とする請求項１乃至８の何れか１項に記載の三次元計測装置。
【請求項１４】
前記投影手段は、前記計測用パターンと前記特徴パターンとを同時にパターンとして前記被写体へ投影することを特徴とする請求項１乃至１３の何れか１項に記載の三次元計測装置。
【請求項１５】
前記投影手段は、前記計測用パターンと前記特徴パターンとを順次切り替えてパターンとして前記被写体へ投影することを特徴とする請求項１乃至１３の何れか１項に記載の三次元計測装置。
【請求項１６】
前記計測用パターンは、スリットパターンであることを特徴とする請求項１乃至１５の何れか１項に記載の三次元計測装置。
【請求項１７】
計測用パターンと、前記計測用パターンの方向とは異なる方向の複数の区画線と、に基づいて構成される複数の領域をグループ化して、当該グループ化された複数の領域の少なくとも１つに特徴パターンを配置することにより、前記計測用パターンと前記特徴パターンとを有する投影パターンを生成する生成手段を備えることを特徴とする情報処理装置。
【請求項１８】
前記区画線はエピポーラ線であることを特徴とする請求項１７に記載の情報処理装置。
【請求項１９】
投影手段と、撮像手段と、グループ化手段と、特徴認識手段と、三次元形状算出手段とを備える三次元計測装置の制御方法であって、
前記投影手段が、計測用パターンと特徴パターンとを有するパターンを被写体へ投影する投影工程と、
前記撮像手段が、前記パターンが投影された前記被写体を撮像する撮像工程と、
前記グループ化手段が、前記パターンにおける前記計測用パターンと、前記投影手段と前記撮像手段との位置関係に基づいて決定される複数のエピポーラ線とによって、前記撮像工程で撮像された画像を複数の領域に分割して、分割された複数の領域のうち所定の領域をグループ化するグループ化工程と、
前記特徴認識手段が、前記所定の領域のそれぞれにおける前記特徴パターンの差異に基づいて当該特徴パターンを認識する特徴認識工程と、
前記三次元形状算出手段が、前記特徴認識工程で認識された前記特徴パターンに基づいて前記被写体の三次元形状を算出する三次元形状算出工程と、
を有することを特徴とする三次元計測装置の制御方法。
【請求項２０】
請求項１９に記載の三次元計測装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項２１】
生成手段を備える情報処理装置の制御方法であって、
前記生成手段が、計測用パターンと、前記計測用パターンの方向とは異なる方向の複数の区画線と、に基づいて構成される複数の領域をグループ化して、当該グループ化された複数の領域の少なくとも１つに特徴パターンを配置することにより、前記計測用パターンと前記特徴パターンとを有する投影パターンを生成する生成工程を有することを特徴とする情報処理装置の制御方法。
【請求項２２】
請求項２１に記載の情報処理装置の制御方法の工程をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−８８２６０（Ｐ２０１３−８８２６０Ａ）
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１１−２２８２７２（Ｐ２０１１−２２８２７２）
【出願日】平成２３年１０月１７日（２０１１．１０．１７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２３年１０月１７日（２０１１．１０．１７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]