説明

三次元計測装置及び三次元計測方法

【課題】計測対象の信号に発生するノイズを低減し、当該計測対象の三次元形状の計測精度を向上する。
【解決手段】空間を2分割する複数のパターン217〜220を順次計測対象に投射し、そのときの計測対象の画像データを得る。次に、アダマール行例に基づいて符号化された複数のパターン220〜223を順次計測対象に投射し、そのときの計測対象の画像データを得る。次に、アダマール行列の逆行列を用いて、アダマール行例に基づいて符号化されたパターン220〜223を投射して得られた画像データを、複数のスリット光からなるパターンのスリット位置をシフトさせた複数のパターンを投射して得られる画像データに変換する。次に、当該変換した画像データと、空間を2分割するパターン217〜220を投射して得られた画像データとに基づいて、三角測量の原理で計測対象の三次元形状を得る。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、三次元計測装置及び三次元計測方法に関し、特に、計測対象に光を投射して当該計測対象の三次元形状を計測するために用いて好適なものである。
【背景技術】
【0002】
計測対象の三次元計測を行う方式として、一般的に、光切断法や、空間符号化法等が知られている。
光切断法では、まず、計測対象にレーザスリット光を当て、レーザスリット光を反射している計測対象の位置を撮像装置で撮像する。そして、レーザスリット光の照射角度と撮像装置の結像位置との対応を求め、その結果に基づいて、三角測量の原理で計測対象の三次元情報を復元する。しかし、光切断法では、一般的にレーザスリット光を走査しながら撮像するため、密な三次元計測を行うには時間がかかる。
【0003】
空間符号化法は、光切断法における問題(レーザスリット光の走査に時間を要する問題)に対して、2次元のパターンを有する光を投射可能なプロジェクタを用いることで、プロジェクタと撮像装置との対応を効率的に求めて、三次元計測をする手法である。空間符号化では、一般的にグレイコードを投射して空間を分割する。グレイコードは空間をN分割するのに(logN)回撮像すればよいので光切断法よりも高速に撮像できる。しかし、空間符号化では、撮像素子の分解能や、物体の形状によって、パターンを認識しにくくなる場合があり、計測精度が落ちてしまう問題があった。そこで、特許文献1記載の手法では、グレイコード等の空間符号化パターンで空間を粗に分割し、より密に空間を分割する場合には、複数のスリット光を計測対象に投射することにより、計測精度を向上させている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2005−3409号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、以上のような、空間符号化パターンと複数のスリット光パターンとの投射を組み合わせた三次元計測装置では、スリット光を投射するため、パターンの光量が減少してしまい、ノイズが増大してしまうという問題点があった。
本発明は、このような問題点に鑑みてなされたものであり、計測対象に光を投射して当該計測対象の三次元形状を計測するに際し、当該計測対象の信号に発生するノイズを低減し、当該計測対象の三次元形状の計測精度を向上することを目的とする。
【課題を解決するための手段】
【0006】
本発明の三次元計測装置は、光強度の分布を有する複数の投影パターンの光を計測対象に投影する投影手段と、前記投影手段による光の投影方向と異なる方向から、前記投影パターンが投影された計測対象を撮像する撮像手段と、前記撮像手段により撮像された画像に基づいて、前記計測対象の三次元形状を算出する三次元形状算出手段と、を有し、前記投影手段は、アダマール行列に基づいて光強度の分布が定められた複数の投影パターンを前記計測対象に投影することを特徴とする。
【発明の効果】
【0007】
本発明によれば、アダマール行列に基づいて光強度の分布が定められた複数の投影パターンを計測対象に投影するようにしたので、当該計測対象の信号に発生するノイズを低減し、当該計測対象の三次元形状の計測精度を向上することができる。
【図面の簡単な説明】
【0008】
【図1】三次元計測装置の構成を示す図である。
【図2】従来のパターンを示す図である。
【図3】本実施形態のパターンの一例を示す図である。
【図4】アダマール符号を用いたパターンを削減できることを説明する図である。
【図5】図2(c)に示すパターンを投射して得られた撮像画像の輝度の真値と実際値を示す図である。
【図6】図3(b)に示すパターンを投射して得られた撮像画像の輝度の実際値と推定値を示す図である。
【図7】三次元計測装置の処理の流れを説明するフローチャートである。
【発明を実施するための形態】
【0009】
図1は、本実施の形態に係る三次元計測装置の構成の一例を示す図である。
三次元計測装置は、光学系101、投影部102、撮像素子103、露光タイミング制御部104、投影パターン制御部105、制御部106、記憶部107、パターン認識部108、及び三次元形状算出部109を備えて構成される。また、110は計測対象である。
次に、三次元計測装置の各部位についての詳細な説明を行う。
光学系101は、計測対象110で一部反射された光を撮像素子103へ導くものである。
投影部102は、例えば、レーザープロジェクタや液晶プロジェクタであり、光強度の異なるパターン(投影パターン)を計測対象110に投影(投射)可能な装置である。投影部102は、投影パターン制御部105から入力される投影パターンの情報に基づいて、パターンを投影する。投影部102を用いて投影されるパターンについての詳細は後述する。
撮像素子103は、光学系101を用いて導かれた像を記憶部107に出力する。撮像素子103は、投影部102によるパターンの投影方向と異なる方向から計測対象110を撮像する。
【0010】
露光タイミング制御部104は、制御部106から入力される制御信号に基づいて、撮像素子103を制御する。また、露光タイミング制御部104は、撮像が完了したことを示す信号を制御部106に出力する。
投影パターン制御部105は、制御部106からの制御信号に基づいて、投影部102を制御する。また、投影パターン制御部105は、投影パターンを生成すると共に、投影が完了したことを示す信号を制御部106に出力する。
【0011】
制御部106は、投影パターン制御部105及び露光タイミング制御部104に制御信号を出力する。また、制御部106は、投光パターン制御部105からの投影が完了したことを示す信号の受信に同期して露光タイミング制御部104に制御信号を出力する。
記憶部107は、撮像素子103から入力した画像データを記憶する。そして記憶した画像データをパターン認識部108に出力する。
パターン認識部108は、記憶部107から入力された画像データを解析し、アダマール行列に基づいて計測対象に投影されたパターンを、その逆行列を用いて、スリット光(スリット位置)がシフトした画像に変換する。パターン認識部108は、空間を分割するパターンを撮像することにより得られた画像と、スリット光がシフトした画像とに基づいて、撮像素子103の位置と投影部102の位置との対応関係を求めてパターンの位置情報を得、三次元形状算出部109に出力する。
三次元形状算出部109は、パターン認識部108から出力された、スリット光がシフトした画像の位置情報に基づいて三角測量の原理で計測対象110の三次元形状を算出する。
【0012】
尚、情報処理装置111は、露光タイミング制御部104、投影パターン制御部105、制御部106、記憶部107、パターン認識部108、及び三次元形状算出部109を備える。情報処理装置111は、例えば、CPU、ROM、RAM、HDD、及び各種のインターフェースを備えた装置(例えばPC)により実現できる。また、撮像部112は、光学系101及び撮像素子103を備える。撮像部112には、光学系101及び撮像素子103以外にも、被写体(計測対象110)を撮像するのに必要な公知の部品が備わっている。
【0013】
図2は、三次元計則のために投影部102を用いて投影される従来のパターンを示す図である。
図2(a)は、一般的な空間符号化のパターンを示す図である。空間符号化は、パターン201〜205のような、空間を順次2分割するパターンを投影し、空間を唯一識別可能な符号を空間に対して付与し、撮像部と投影部との対応を求め三角測量の原理で三次元計測を行う方式である。
【0014】
図2(b)、(c)は、特許文献1に記載の技術で用いられているパターンを示す図である。
図2(a)に示した空間符号化のパターン205のような高周波なパターンを計測対象110に投影した場合には、計測対象110上でのパターンが撮像素子103の分解能を超えてしまう可能性があるため、計測対象110を認識しにくくなるという問題点がある。特許文献1に記載の技術は、このような問題点を改善するようにしている。特許文献1では、低周波のパターン206〜208として、図2(a)に示したような、通常の空間符号化と同一のパターンを用いて、空間を分割する。次に、図2(b)に示すパターン209〜212のように、複数のスリット光からなるパターンのスリット位置をシフトさせることにより得られた複数のパターン209〜212を計測対象110に投射する。パターン209〜212のようなパターンを用いるのは、計測対象110上でのパターンが撮像素子103の分解能を超える領域を減少させ、計測精度が下がることを防ぐ為である。
図2(c)に示すパターン213〜216は、図2(b)に示すパターン209〜212の最小単位のパターンを切り出したパターンである。
【0015】
図3は、三次元計則のために投影部102を用いて投影される本実施形態のパターンの一例を示す図である。
特許文献1に記載の技術で用いられるパターンでは、スリット光を投射するため、パターンの光量が減少し、計測対象110の信号(画像データ)に含まれるノイズが増大してしまう問題点がある。そこで、本実施形態の投影部102を用いて投影されるパターンとして、低周波のパターン217〜219として、図2(a)、図2(b)に示したような、通常の空間符号化と同一の(単一又は複数の)パターンを用いて、空間を分割する。さらに、本実施形態では、投影部102は、パターン220〜223として、アダマール符号を用いた複数のパターン(アダマール行例に基づいて決定される複数のパターン)を計測対象110に投射する。
図3(b)は、図3(a)に示す、アダマール符号を用いたパターン220〜223の最小単位のパターン224〜227を示す図である。パターン認識部108は、アダマール符号を用いたパターン224〜227を、パターン213〜216を投射した画像に擬似的に変換して三次元計測を行う。ただし、このようにパターン認識部108によって、アダマール符号を用いたパターン224〜227から変換された画像データは、パターン213〜216を投射したときに得られる画像データよりもノイズが低減されている。尚、図3(b)に示す、アダマール符号を用いたパターン224〜227を用いることで、画像データに発生するノイズが減少することについては後述する。
【0016】
図4は、空間を分割するパターンとして、明暗(光強度)が相互に反転した複数のパターンを用いた場合に、アダマール符号を用いたパターンを1パターン削減することが可能であることを説明する図である。空間符号化では、一般的に、計測対象110となる物体の反射率をキャンセルするために、パターン228、229、パターン230、231、パターン232、233のように、明暗が反転したパターンを用いる。そこで、明暗が反転したパターンを投影した画像を互いに加算(合成)することで、パターン237のように、図3(a)に示すパターン220を擬似的に作成することができる。よって、空間を分割するパターンとして、明暗の反転した複数のパターンを用いた場合、アダマール符号を用いたパターンを1パターン削減することが可能である。
【0017】
次に、図3(b)に示す、アダマール行列を用いたパターン224〜227について説明する。
投影パターンに使用するアダマール行列は、S型H行列であり、n次のS型H行列の要素Hnは、以下の(1)式、(2)式、(3)式で求めることができる。
【0018】
【数1】

【0019】
本実施形態の図3(b)に示すパターン224〜227は、以下の(4)式で示される4次のアダマール行列に基づいて決定されている。
【0020】
【数2】

【0021】
具体的には、図3(a)に示すパターン220〜223及び図3(b)に示すパターン224〜227は、以下の(5)式に示す規則で2進アダマール行列に変換した後、補符号をとった行列であり、(6)式に示すような行列となる。(6)式の行列は4次のアダマール行列の分類では00型補正規系のアダマール行列であり、主対角元素が一様な行列である。もちろん、行列の要素が1である時、パターンの輝度を下げ、行列の要素が0である時、パターンの輝度を上げた場合、00型補正規系のアダマール行列の代わりに、00型正規系のアダマール行列を用いてもよい。
【0022】
【数3】

【0023】
ここで、図3(b)に示すパターン224〜227を用いることで、計測対象110の画像データに含まれるノイズが減少することを説明する。
まず、図3(b)に示すパターン224〜227ではなく、図2(c)に示すパターン213〜216を投射して撮像した場合について説明する。
図5は、図2(c)に示すパターンを投射して得られた撮像画像の輝度の真値(図5(a))と実際値(図5(b))の一例を示す図である。
撮像画像の輝度の真値をs1、s2、s3、s4とし、撮像時のノイズをn1、n2、n3、n4とする。ただし、撮像時のノイズは信号に依存しないものとし、平均0、分散σ2(σは標準偏差)とする。パターン213〜216を計測対象110に投射した場合に撮像される撮像画像の輝度値y1、y2、y3、y4は、以下の(7)式〜(10)式のようになる。
y1=s1+n1 ・・・(7)
y2=s2+n2 ・・・(8)
y3=s3+n3 ・・・(9)
y4=s4+n4 ・・・(10)
【0024】
ここで、撮像画像の輝度の真値と推定値の平均二乗誤差の期待値Eは、以下の(11)式のようになる。
【0025】
【数4】

【0026】
図6は、図3(b)に示すパターン224〜227を投射して得られた撮像画像の輝度の実際値(図6(a))と推定値(図6(b))の一例を示す図である。
図3(b)に示すパターン224〜227を計測対象110に投射した場合に実際に観測される撮像画像の輝度値x1、x2、x3、x4は、以下の(12)式〜(15)式のようになる。
x1=s1+s2+s3+s4+n1 ・・・(12)
x2=s1+s3+n2 ・・・(13)
x3=s1+s2+n3 ・・・(14)
x4=s1+s4+n4 ・・・(15)
【0027】
ここで、(6)式に示した行列の逆行列は、以下の(16)式で表され、撮像画像の輝度の推定値s1'、s2'、s3'、s4'は、以下の(17)式〜(20)式のようになる。
【0028】
【数5】

【0029】
ここで、撮像画像の輝度の真値s1、s2、s3、s4と推定値s1'、s2'、s3'、s4'との平均二乗誤差の期待値Eは、以下の(21)式のようになり、(11)式に示した期待値Eと比べて1/2倍となる。よって、(6)式の行列に基づいて符号化されたパターンを用いた場合、画像データに発生するノイズが1/2倍になることが分かる。
【数6】

【0030】
また、図3(b)に示すパターン224〜227は、アダマール行列から生成されるS行列を用いても良い。S行列は、アダマール行列の第一行及び第一列の要素を1に正規化し、第一行及び第一列の要素を除き、1を0、−1を1に置き換えた行列である。また、S行列の逆行列は、以下の(22)式で求めることができる。ここで、1nは、全ての要素が1であるn×nの行列である。また、STは、Sの転置行列である。
【数7】

【0031】
次に、図7のフローチャートを参照しながら、三次元計測装置の処理の流れの一例について説明する。
まず、制御部106は、投影パターンを出力することを指示する制御信号を投影パターン制御部105に送る。この制御信号を受けた投影パターン制御部105は、投影部102を制御して、空間を分割するパターンを計測対象110に投影させる。ここで、空間を分割する投影パターンとは、例えば、図3(a)に示すパターン217〜219である。投影パターン制御部105は、投影が完了するタイミングで、投影が完了したことを示す信号を制御部106に送る。
【0032】
この信号を受けた制御部106は、撮像を指示する制御信号を露光タイミング制御部104に送る。この制御信号を受けた露光タイミング制御部104は、撮像素子103に電荷を蓄積させる。露光タイミング制御部104は、撮像素子103を制御し、撮像素子103で蓄積された電荷に基づくアナログ信号をA/D変換することにより得られた画像データを記憶部107に記録させる(ステップS701)。
【0033】
次に、制御部106は、空間を分割するパターンの全ての投影及び撮像が終了したか否かを判定する(ステップS702)。この判定の結果、空間を分割するパターンの全ての投影及び撮像が終了していない場合には、ステップS701の処理に戻る。そして、次のパターンの投影と、その投影に同期した撮像と、その撮像により得られた画像データの記録とを行う。例えば、図3(a)に示すパターン217〜219を、この順で順番に投影する。
【0034】
そして、空間を分割するパターンの全ての投影及び撮像が終了すると、ステップS703の処理に進む。制御部106は、アダマール行列に基づいて符号化されたパターンを出力することを指示する制御信号を投影パターン制御部105に送る。この制御信号を受けた投影パターン制御部105は、投影部102を制御して、アダマール行列に基づくパターンを計測対象110に投影させる。ここで、アダマール行列に基づくパターンとは、例えば、図3(b)に示す220〜223である。投影パターン制御部105は、投影が完了するタイミングで、投影が完了したことを示す信号を制御部106に送る。
【0035】
この信号を受けた制御部106は、撮像を指示する制御信号を露光タイミング制御部104に送る。この制御信号を受けた露光タイミング制御部104は、撮像素子103に電荷を蓄積させる。露光タイミング制御部104は、撮像素子103を制御し、撮像素子103で蓄積された電荷に基づくアナログ信号をA/D変換することにより得られた画像データを記憶部107に記録させる(ステップS703)。
【0036】
次に、制御部106は、アダマール行列に基づくパターンの全ての投影及び撮像が終了したか否かを判定する(ステップS704)。この判定の結果、アダマール行列に基づくパターンの全ての投影及び撮像が終了していない場合には、ステップS703の処理に戻る。そして、次のパターンの投影と、その投影に同期した撮像と、その撮像により得られた画像データの記録とを行う。例えば、図3(a)に示すパターン220〜223を、この順で順番に投影する。
【0037】
そして、アダマール行列に基づくパターンの全ての投影及び撮像が終了すると、ステップS705に進む。パターン認識部108は、アダマール行列に基づくパターンを撮像することにより得られた画像データを記憶部107から読み出し、読み出した画像データを、スリット光がシフトした画像データに変換する(ステップS705)。
次に、パターン認識部108は、空間を分割するパターンを撮像して得られた画像データと、スリット光がシフトした画像データとを元に、撮像素子103の位置と、投影部102の位置との対応を求め、パターンの位置情報を得る(ステップS706)。
次に、三次元形状算出部109は、パターン認識部108で求めた、撮像素子103の位置と投影部102の位置との対応に基づいて、三角測量の原理で、計測対象110の三次元形状を算出する(ステップS707)。
最後に、三次元形状算出部109は、算出した三次元形状の情報を出力する(ステップS708)。
【0038】
以上のように本実施形態では、まず、空間を2分割する複数のパターン217〜219を順次(個別に)計測対象110に投射し、そのときの計測対象110の画像データを得る。次に、アダマール行例に基づいて符号化され、光強度の分布が定められた複数のパターン220〜223を順次(個別に)計測対象110に投射し、そのときの計測対象110の画像データを得る。次に、アダマール行列の逆行列を用いて、アダマール行例に基づいて符号化されたパターン220〜223を投射して得られた画像データを、複数のスリット光からなるパターンのスリット位置をシフトさせた複数のパターンを投射して得られる画像データに変換する。次に、当該変換した画像データと、空間を2分割するパターン217〜220を投射して得られた画像データとに基づいて、三角測量の原理で計測対象110の三次元形状を得る。したがって、パターンの光量を減少させることなく、画像データに含まれるノイズを低減することができるので、計測対象110の三次元形状の計測精度を向上させることができる。
【0039】
また、本実施形態では、空間を2分割する複数のパターンとして、隣接する領域の光強度を反転させた強度分布を持つパターンを用いるようにした。したがって、アダマール符号を用いたパターンを1パターン削減することができ、当該パターンの画像データを取得する必要がなくなる。
【0040】
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【0041】
(その他の実施例)
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア(コンピュータプログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)が当該コンピュータプログラムを読み出して実行する。
【符号の説明】
【0042】
102 投影部、111 情報処理装置、112 撮像部

【特許請求の範囲】
【請求項1】
光強度の分布を有する複数の投影パターンの光を計測対象に投影する投影手段と、
前記投影手段による光の投影方向と異なる方向から、前記投影パターンが投影された計測対象を撮像する撮像手段と、
前記撮像手段により撮像された画像に基づいて、前記計測対象の三次元形状を算出する三次元形状算出手段と、を有し、
前記投影手段は、アダマール行列に基づいて光強度の分布が定められた複数の投影パターンを前記計測対象に投影することを特徴とする三次元計測装置。
【請求項2】
前記投影手段は、空間を分割する単一又は複数の投影パターンと、アダマール行列に基づいて光強度の分布が定められた複数の投影パターンとのそれぞれを個別に前記計測対象に投影することを特徴とする請求項1に記載の三次元計測装置。
【請求項3】
前記空間を分割する複数の投影パターンは、光の強度分布が相互に反転された投影パターンを含むことを特徴とする請求項2に記載の三次元計測装置。
【請求項4】
前記三次元形状算出手段は、前記光の強度分布が相互に反転された投影パターンが前記撮像手段により撮像されることによって得られた画像を合成することを特徴とする請求項3に記載の三次元計測装置。
【請求項5】
前記アダマール行列に基づいて光強度の分布が定められた投影パターンは、2進アダマール行列に基づいて光強度の分布が定められた投影パターンであることを特徴とする請求項1〜4の何れか1項に記載の三次元計測装置。
【請求項6】
前記2進アダマール行列は、00型正規系のアダマール行列、又は00型補正規系のアダマール行列であることを特徴とする請求項5に記載の三次元計測装置。
【請求項7】
前記アダマール行列に基づいて決定される複数のパターンは、アダマール行列から作成されるS行列に基づいて決定されるパターンであることを特徴とする請求項1〜4の何れか1項に記載の三次元計測装置。
【請求項8】
光強度の分布を有する複数の投影パターンの光を計測対象に投影する投影工程と、
前記投影工程による光の投影方向と異なる方向から、前記投影パターンが投影された計測対象を撮像する撮像工程と、
前記撮像工程により撮像された画像に基づいて、前記計測対象の三次元形状を算出する三次元形状算出工程と、を有し、
前記投影工程は、アダマール行列に基づいて光強度の分布が定められた複数の投影パターンを前記計測対象に投影することを特徴とする三次元計測方法。
【請求項9】
前記投影工程は、空間を分割する単一又は複数の投影パターンと、アダマール行列に基づいて光強度の分布が定められた複数の投影パターンとのそれぞれを個別に前記計測対象に投影することを特徴とする請求項8に記載の三次元計測方法。
【請求項10】
前記空間を分割する複数の投影パターンは、光の強度分布が相互に反転された投影パターンを含むことを特徴とする請求項9に記載の三次元計測方法。
【請求項11】
前記三次元形状算出工程は、前記光の強度分布が相互に反転された投影パターンが前記撮像工程により撮像されることによって得られた画像を合成することを特徴とする請求項10に記載の三次元計測方法。
【請求項12】
前記アダマール行列に基づいて光強度の分布が定められた投影パターンは、2進アダマール行列に基づいて光強度の分布が定められた投影パターンであることを特徴とする請求項8〜11の何れか1項に記載の三次元計測方法。
【請求項13】
前記2進アダマール行列は、00型正規系のアダマール行列、又は00型補正規系のアダマール行列であることを特徴とする請求項12に記載の三次元計測方法。
【請求項14】
前記アダマール行列に基づいて決定される複数のパターンは、アダマール行列から作成されるS行列に基づいて決定されるパターンであることを特徴とする請求項8〜11の何れか1項に記載の三次元計測方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2012−42332(P2012−42332A)
【公開日】平成24年3月1日(2012.3.1)
【国際特許分類】
【出願番号】特願2010−183683(P2010−183683)
【出願日】平成22年8月19日(2010.8.19)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】