三次元計測装置、三次元計測方法、およびプログラム
【課題】同じ領域を連続して三次元計測する場合に、事前に得た情報を有効に活用することにより、迅速に計測を行う装置を提供する。
【解決手段】測定対象100にパターン光を照射する光照射部101と、測定対象100を撮像する撮像部102と、撮像された画像に基づいて測定対象100の三次元形状を計測する計測部と、を備える三次元計測装置であって、撮像された画像のうち、撮像部102により予め撮像された画像の状態から変化した変化領域を抽出する変化領域抽出部107と、変化領域抽出部107により抽出された変化領域に基づいて、光照射部101により照射されるパターン光の特性を設定する光特性設定部109と、備え、計測部は、光特性設定部により設定された特性のパターン光が照射され、撮像部により撮像された画像の変化領域に対して、測定対象の三次元形状を計測する。
【解決手段】測定対象100にパターン光を照射する光照射部101と、測定対象100を撮像する撮像部102と、撮像された画像に基づいて測定対象100の三次元形状を計測する計測部と、を備える三次元計測装置であって、撮像された画像のうち、撮像部102により予め撮像された画像の状態から変化した変化領域を抽出する変化領域抽出部107と、変化領域抽出部107により抽出された変化領域に基づいて、光照射部101により照射されるパターン光の特性を設定する光特性設定部109と、備え、計測部は、光特性設定部により設定された特性のパターン光が照射され、撮像部により撮像された画像の変化領域に対して、測定対象の三次元形状を計測する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、三次元計測装置、三次元計測方法、およびプログラムに関する。
【背景技術】
【0002】
測定対象物にパターン光を投影し、パターン光が投影された測定対象物を撮像し、三角測量の原理で測定対象物の三次元形状を計測する方式として、パターン投影法がある。パターン投影法による高精度な三次元計測を行う手法としては、空間符号化法、位相シフト法、光切断法等が代表的なものである。例えば空間符号化法は複数の縞パターン光を測定対象物に時系列に投影し、撮像するため、三次元計測を行うのに撮像枚数分の時間がかかる。位相シフト法も計測領域に応じて複数枚撮像するため時間がかかる。光切断法は領域をライン投影しながらスキャンして撮影するため多数の撮影枚数が必要となる。少しでも計測時間を削減するため、三次元計測する領域を限定する対策も考えられている。
【0003】
その従来技術の例としては、以下の技術がある。これは、測定対象物に対して、あらかじめ二次元画像から得られる特徴を抽出する領域と三次元計測を行う領域との関係を記憶しておき、三次元計測時に二次元画像から部品の特徴を抽出し、抽出結果から該当する三次元計測領域に光照射を行い、三次元情報を得るものである(特許文献1)。
【0004】
また、有効な投影するパターンを制御する従来技術としては、以下の技術がある。これは、測定対象物にパターンを投影して、撮影した画像の特徴量やこれらの変化量に応じて、光空間変調素子によって投影するパターンの種類および数を適応制御するものである(特許文献2)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第3859571号公報
【特許文献2】特開2006−292385号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
従来のパターン投影法では、事前に得た三次元情報を有効に利用し、必要な領域のみを三次元計測することは行われていないため、範囲全域で三次元計測を行わねばならず、変化していない領域も再度三次元計測を行う必要がある。このため撮影枚数や画素数が多い場合は計測に時間を要する。二次元画像から領域を限定する方式では三次元計測以外の計測系を搭載しなければならず、測定系や処理系が複雑になるという課題があった。
【0007】
上記の課題に鑑み、本発明は、事前に得た三次元情報を有効に利用することにより、高速に三次元計測を行うことを目的とする。
【課題を解決するための手段】
【0008】
上記の目的を達成する本発明に係る三次元計測装置は、
測定対象にパターン光を照射する光照射手段と、前記光照射手段により前記パターン光が照射された前記測定対象を撮像する撮像手段と、前記撮像手段により撮像された画像に基づいて前記測定対象の三次元形状を計測する計測手段と、を備える三次元計測装置であって、
前記撮像手段により撮像された前記測定対象の画像のうち、前記撮像手段により予め撮像された画像の状態から変化した変化領域を抽出する変化領域抽出手段と、
前記変化領域抽出手段により抽出された前記変化領域に基づいて、前記光照射手段により照射される前記パターン光の特性を設定する光特性設定手段と、備え、
前記計測手段は、前記光特性設定手段により設定された前記特性のパターン光が照射され、前記撮像手段により撮像された画像の前記変化領域に対して、前記測定対象の三次元形状を計測することを特徴とする。
【発明の効果】
【0009】
本発明によれば、事前に得た三次元情報を有効に利用することにより、高速に三次元計測を行うことができる。
【図面の簡単な説明】
【0010】
【図1】第1実施形態に係る三次元計測装置の構成を示す図。
【図2】第1実施形態に係る三次元計測装置の処理の流れを示すフローチャート。
【図3】第1実施形態に係る三次元計測装置の処理の流れを示すフローチャート。
【図4】第1実施形態に係る三次元計測装置の処理の流れを示すフローチャート。
【図5】第1実施形態に係る空間符号化法による縞パターン光と奥行きとの関係を示す図。
【図6】第1実施形態に係る空間符号化法による縞パターン光を示す図。
【図7】第1実施形態に係る空間符号化法による縞パターン光の照射範囲を説明する図。
【図8】第2実施形態に係る空間符号化法による縞パターン光を示す図。
【図9】第2実施形態に係る空間符号化法による縞パターン光の照射範囲を説明する図。
【図10】第3実施形態に係る位相シフト法による縞パターン光の照射範囲を説明する図。
【図11】第3実施形態に係る光切断法による縞パターン光の照射範囲を説明する図。
【図12】三次元計測装置の構成および三次元計測方法の概念図。
【図13】グレイコードによる空間符号化法の投影する縞パターン光を示す図。
【図14】第1実施形態に係る空間符号化法による縞パターン光の変化領域の抽出方法を説明する図。
【図15】位相シフト法の説明図。
【発明を実施するための形態】
【0011】
(第1実施形態)
三次元情報にかかわる事前情報として、事前に計測した三次元画像を用いる場合の第一の実施形態を示す。三次元計測手法としては、高精度な三次元形状計測手法の代表的な空間符号化法に適用した例である。以下、図面を参照して本発明の第一の実施形態を説明する。
【0012】
先ず、空間符号化の原理について説明する。本手法は三次元形状を算出する手法として、明部と暗部が任意の幅で交互に配置する縞パターン光を照射して空間を2進符号化する空間符号化し、対応する符号の位置ずれ量から三角測量の原理で3次元形状を求めるものである。
【0013】
図12は、三次元計測装置の構成および計測方法の概念を示す。三次元計測装置の構成は、測定対象物にパターンを照射するプロジェクタ1201、反射パターンを撮像するカメラ1202から構成されるのが一般的である。プロジェクタ1201から測定対象物1203に向けて明部と暗部が任意の幅で交互に配置する縞パターン光を照射する。縞パターン光はあらかじめ決められた複数のパターン形状があり、それらが各々照射され、そのたび撮像して画像データとして取得する。測定対象物1203の明部と暗部の境界位置を(X,Y,Z)とし、境界位置(X,Y,Z)とプロジェクタ1201、カメラ1202を結んだ時のプロジェクタ1201の主点位置を(X1,Y1)、カメラ1202の主点位置を(X2,Y2)とする。カメラ1202の主点位置(X2,Y2)はカメラ1202の撮像センサ(CCDやCMOSなど)の水平座標によって求まる。水平座標とは撮像センサの水平幅と垂直幅によって決まり、例えば640×480の撮像センサであれば、水平方向のx座標は0から640、垂直方向のy座標は0から480の値を有する。プロジェクタ1201の主点位置(X1,Y1)も同様に投光センサの水平座標によって求まる。またプロジェクタ1201とカメラ1202間のLは基線長となり、装置の構成条件から定められる。これらのパラメータから三角測量の原理によって測定対象物1203の境界位置(X,Y,Z)を求めることができる。測定対象物1203全面に対してそれぞれの境界位置(X,Y,Z)を求めることで、測定対象物1203の三次元形状を計測することができる。
【0014】
次に縞パターン光の形状について説明する。図13では、符号化誤り耐性のあるグレイコードと呼ばれる2進符号の縞パターン光を示す。撮像された反射パターンで黒く観察された部分は0、白く観察された部分は1に対応する。図13aでは全体を2分割し、2つの領域で1、0と符号化する。図13bでは明部と暗部の4つの領域を1、0、0、1と符号化し、対応する縞パターン光を照射および撮像する。さらに図13cでは8つの領域を1、0、0、1、1、0、0、1と符号化し、対応する縞パターン光を照射および撮像する。こうして各領域に符号化された領域番号が付与されるので、各領域を判断することができる。図13では各領域は(1,1,1)、(1,1,0)、(1,0,0)、(1,0,1)、(0,0,1)、(0,0,0)、(0,1,0)、(0,1,1)として判断できる。このようにして3枚の縞パターン光を使い、空間を8分割することができるため、この空間符号化を3bitの空間符号化と呼び、図13a、図13b、図13cの縞パターン光をそれぞれ1bitの縞パターン光、2bitの縞パターン光、3bitの縞パターン光と呼ぶ。
【0015】
さらに詳細に形状計測を行う場合には、明部と暗部の領域を次々に縮小しながらn枚の縞パターン光を照射すると、プロジェクタの照射領域を2nに分割した領域番号を付与し、各領域を判断できる。たとえば領域を1024分割する三次元計測においては10bitの空間符号化が行われる。
【0016】
グレイコードの利点は、縞パターン光のずれやぼけなどで領域境界に符号化の誤りが発生しても、最悪でも隣接領域と判断されるだけで、大きくずれた領域として符号化誤りを生じないことである。そのためグレイコードによる空間符号化は一般に用いられている方法である。
【0017】
次に空間符号化法に本発明による事前画像と新たに三次元計測用に撮像した画像を用いる事により、必要最低限の投影・計算を行うシステム構成について説明する。図1は、パターン投影により測定対象物の三次元形状を測定するシステムの構成を示す図である。
【0018】
測定対象物100は、本実施形態における測定装置で測定される測定対象である。光照射部101は、測定対象物100にパターン光を照射するための手段である。撮像部102は、測定対象物100を撮像するための手段である。画像記憶部103は、撮像部102で撮像した画像を記憶するための手段であり、画像を複数枚記憶するだけの充分な容量がある。三次元形状算出部104は、光照射部101が測定対象物100に対しパターン光を照射し、照射された測定対象物100を撮像部102が撮像することにより、測定対象物100の三次元形状を算出するための手段である。出力部105は、三次元形状算出部104による算出結果を出力する。出力部105は、算出結果を表示するためのモニタ、プリンタなどを有する。記録部106は、三次元形状算出部104による算出結果を記録するための手段である。記録部106は、算出結果のデータを記録するためのハードディスク、フラッシュメモリなどを備える。変化領域抽出部107は、三次元形状算出部104により三次元形状が算出された後に、測定対象物100の状態に変化があった領域を抽出するための手段である。測定対象物100の状態の変化としては、例えば、測定対象物100が複数の対象物から成り立っていて、そこに新たな対象物が追加されたり、そこから対象物が取り除かれたりする場合が相当する。変化領域を抽出する方法としては、例えば、前回に撮像部102で撮像した画像と今回撮像した画像との差分を取る方法がある。また、図示しないロボットアームなどにより対象物の追加や取り除きが行われた位置を記憶しておき、それを利用する方法もある。以上は、自動的に変化領域を抽出する方法であるが、測定対象物100の画像が出力された出力部105を見ながらユーザが手動で変化領域を指定する方法もある。これらの他にも、変化領域を抽出する方法であれば、いずれの方法でも良い。照射範囲設定部108は、変化領域抽出部107により抽出された変化領域に応じて光照射部101が測定対象物100にパターン光を照射する範囲を設定するための手段である。これにより変化領域以外にはパターン光を照射されなくなる。光特性設定部109は、照射範囲設定部108により設定された照射範囲に応じたパターン光特性を設定するための手段である。記憶部110は、三次元形状算出部104により算出された三次元形状の情報や、変化領域抽出部107により抽出された変化領域の情報や、照射範囲設定部108により設定された照射範囲の情報などを記憶する。また、制御部111による制御情報なども記憶する。制御部111は、光照射部101、撮像部102、光特性設定部109、変化領域抽出部107、照射範囲設定部108、記憶部110、三次元形状算出部104、出力部105、記録部106の動作を制御する。制御部111は、CPU、RAM、各種制御プログラムが格納されたROMなどを備える。
【0019】
ROMに格納された各種プログラムは、光照射部101が照射するパターン光特性を制御するための制御プログラム、撮像部102を制御するための制御プログラム、光特性設定部109を制御するための制御プログラムなどが含まれる。また、変化領域抽出部107を制御するための制御プログラム、照射範囲設定部108を制御するための制御プログラム、三次元形状算出部104を制御するための制御プログラムなども含まれる。また、各種プログラムには、出力部105を制御するための制御プログラム、記録部106を制御するための制御プログラムなどが含まれても良い。
【0020】
図2は、本実施形態における測定装置の処理の流れを示した図である。図2を用いて、本実施形態における処理の流れを説明する。図2は、測定対象物の三次元計測を最初に行う場合の処理の流れを示す。
【0021】
(ステップ201)ステップ201では、制御部111が撮像部102に撮像部102が撮像できる範囲すべてを撮像するよう全領域撮像信号を送り、撮像部102が複数のパターン光を照射して測定対象物100を含んだ全領域を撮像する。
【0022】
(ステップ202)ステップ202では、制御部111が画像記憶部103に撮像した画像を記憶させる。
【0023】
(ステップ203)ステップ203では、三次元形状算出部104が三次元形状を算出するのに必要なパターン光を光照射部101がすべて照射したか否か判定する。三次元形状を算出するのに必要なパターン光を光照射部101がすべて照射したと判定した時は、ステップ205に処理が移る。三次元形状を算出するのに必要なパターン光を光照射部101がすべて照射していないと判定した時は、ステップ204に処理が移る。
【0024】
(ステップ204)ステップ204では、制御部111が光照射部101に次のパターン光を全領域に照射させる。
【0025】
(ステップ205)ステップ205では、制御部111が三次元形状算出部104に撮像部102が撮影した測定対象物100の全パターン照射画像を使って測定対象物100の三次元形状を算出させる。
【0026】
(ステップ206)ステップ206では、制御部111の制御により、出力部105および記録部106が、測定対象物100の三次元形状結果の出力と記録を行う。出力部105は、測定対象物100の三次元形状結果をモニタなどに表示する。記録部106は、測定対象物100の三次元形状結果をデジタルデータとして、ハードディスク、フラッシュメモリなどに格納する。
【0027】
図3は、測定対象物の三次元計測を一度行った後に、次に三次元計測を行う場合の処理の流れを示す。
【0028】
(ステップ301)ステップ301では、制御部111が撮像部102に撮像部102が撮像できる範囲すべてを撮像するよう全領域撮像信号を送り、撮像部102が測定対象物100を含んだ全領域を撮像する。
【0029】
(ステップ302)ステップ302では、制御部111が画像記憶部103に撮像した画像を記憶させる。
【0030】
(ステップ303)ステップ303では、制御部111が画像記憶部103に撮像した画像と、前回に撮像し、画像記憶部103に記憶させた画像とを比較させる。
【0031】
(ステップ304)ステップ304では、制御部111が変化領域抽出部107に比較した画像から変化領域が有るか否かを判定させる。制御部111が変化領域抽出部107に比較した画像から変化領域が有ると判定した時は、ステップ305に処理が移る。制御部111が変化領域抽出部107に比較した画像から変化領域が無いと判定した時は、処理を終了する。
【0032】
(ステップ305)ステップ305では、制御部111が変化領域抽出部107に比較した画像から変化領域を抽出させる。変化領域を抽出する方法については、後述する。
【0033】
(ステップ306)ステップ306では、制御部111が照射範囲設定部108に抽出した変化領域からパターン光の照射範囲を設定させる。照射範囲を設定する方法については、後述する。
【0034】
(ステップ307)ステップ307では、制御部111が光特性設定部109に設定した照射範囲に応じたパターン光特性を設定させ、光照射部101にパターン光を照射させる。照射範囲に応じたパターン光特性を設定する方法については、後述する。
【0035】
(ステップ308)ステップ308では、制御部111が光照射部101に照射範囲に応じたパターン光を変化領域に照射させる。
【0036】
(ステップ309)ステップ309では、制御部111が撮像部102にパターン光が照射された照射範囲である変化領域を撮像させる。
【0037】
(ステップ310)ステップ310では、制御部111が画像記憶部103に撮像した画像を記憶させる。
【0038】
(ステップ311)ステップ311では、三次元形状算出部104が三次元形状を算出するのに必要なパターン光を光照射部101がすべて照射したか否か判定する。三次元形状を算出するのに必要なパターン光を光照射部101がすべて照射したと判定した時は、ステップ312に処理が移る。三次元形状を算出するのに必要なパターン光を光照射部101がすべて照射していないと判定した時は、ステップ308に処理が移る。
【0039】
(ステップ312)ステップ312では、制御部111が三次元形状算出部104に撮像部102が撮影した測定対象物100の全パターン照射画像を使って測定対象物100の三次元形状を算出させる。
【0040】
(ステップ313)ステップ313では、制御部111が三次元形状算出部104に測定対象物100の前回の全体の三次元計測結果と、今回の変化領域の三次元計測結果とを統合して測定対象物100の今回の全体の三次元計測結果を生成させる。
【0041】
(ステップ314)ステップ314では、制御部111の制御により、出力部105および記録部106が、測定対象物100の三次元形状結果の出力と記録を行う。出力部105は、測定対象物100の三次元形状結果をモニタなどに表示する。記録部106は、測定対象物100の三次元形状結果をデジタルデータとして、ハードディスク、フラッシュメモリなどに格納する。
【0042】
次に、変化領域を抽出する方法について説明する。変化領域を抽出する方法としては、上述したように、前回に撮像部102で撮像した画像と今回撮像した画像との差分を取る方法がある。また、図示しないロボットアームなどにより対象物の追加や取り除きが行われた位置を記憶しておき、それを利用する方法もある。その他に、空間符号化法の縞パターン光を利用した方法もあるので、以下で説明する。
【0043】
図14の(a)は、平面に対し空間符号化法による三次元計測を行っている途中で、最も細い縞パターン光を平面に照射し、それを撮像する時の撮像部102と光照射部101との配置関係および撮像部102で撮像された画像を示す図である。撮像画像には、光照射部101から照射された縞パターン光が規則的に並んでいる状態が撮影されている。
【0044】
図14の(b)は、平面上にある測定対象物100に対し空間符号化法による三次元計測を行っている途中で、最も細い縞パターン光を測定対象物100に照射し、それを撮像する時の撮像部102と光照射部101との配置関係および撮像部102で撮像された画像を示す図である。測定対象物100は高さがあるため、撮像部102と光照射部101との視差により、光照射部101から照射された縞パターン光が平面上の縞パターン光と位置ずれが生じている状態が撮影されている。
【0045】
図14の(a)、(b)とから、最も細い縞パターン光を照射して撮像した画像を比較することにより、変化領域を抽出することができる。さらに、太い縞パターン光を使用した場合に比べ、変化領域をより詳細に抽出することが可能となる。
【0046】
この方法の利点としては、変化領域を抽出するために特化したプロセスを経ることなく、三次元計測を行うプロセスの一部を利用して、変化領域を抽出することができるため、余計な処理負荷をかけないですむところである。つまり、三次元計測の高速化に寄与する。
【0047】
図4は、測定対象物の三次元計測を一度行った後に、次に三次元計測を行う場合の照射範囲を設定する処理の流れを示す。
【0048】
(ステップ401)ステップ401では、制御部111が照射範囲設定部108に変化領域抽出部107が抽出した変化領域の変化前の三次元位置を取得させる。
【0049】
(ステップ402)ステップ402では、制御部111が照射範囲設定部108に取得させた変化領域の変化前の三次元位置から奥行き範囲を設定させる。
【0050】
(ステップ403)ステップ403では、制御部111が照射範囲設定部108に設定させた奥行き範囲から最も細い縞パターン光での照射範囲を設定させる(照射制御処理)。
【0051】
照射範囲を設定する方法について具体的に説明する。図5の(a)は、平面に対し空間符号化法による三次元計測を行っている途中で、ある縞パターン光を平面に照射し、それを撮像する時の撮像部102と光照射部101との配置関係および撮像部102で撮像された画像を示す図である。撮像画像には、光照射部101から照射された縞パターン光が規則的に並んでいる状態が撮影されている。
【0052】
図5の(b)は、平面上にある測定対象物100に対し空間符号化法による三次元計測を行っている途中で、ある縞パターン光を測定対象物100に照射し、それを撮像する時の撮像部102と光照射部101との配置関係および撮像部102で撮像された画像を示す図である。測定対象物100は高さがあるため、撮像部102と光照射部101との視差により、光照射部101から照射された縞パターン光が平面上の縞パターン光と位置ずれが生じている状態が撮影されている。この時、照射する縞パターン光の範囲は、位置ずれを考慮した範囲に設定する。
【0053】
図5の(c)は、平面上にある測定対象物100のうち上方部が取り除かれた後に、空間符号化法による三次元計測を行っている途中で、ある縞パターン光を測定対象物100に照射し、それを撮像する時の撮像部102と光照射部101との配置関係および撮像部102で撮像された画像を示す図である。(b)の時と比べて測定対象物100の高さが低くなったため、撮像部102と光照射部101との視差による光照射部101から照射された縞パターン光と平面上の縞パターン光との位置ずれ量が異なった状態で撮影されている。
【0054】
これら図5の(a)〜(c)から、同じ縞パターン光を照射する場合でも、測定対象物の奥行きによっては、対応する縞パターン光が異なることが判る。したがって、照射する縞パターン光の範囲を設定するためには、抽出した変化領域と以前に算出した三次元計測結果を利用する。
【0055】
照射範囲に応じたパターン光特性を設定する方法について説明する。図6は、測定対象物100に対し空間符号化による三次元計測を行っている際の、縞パターン光を測定対象物100に照射し、それを撮像部102で撮像された画像を示す図である。ただし、実際に撮像される画像は、測定対象物上の縞はその高さに応じてずれるが、図の簡略化のために照射する縞パターン光をそのまま描写している。空間符号化では、太い縞パターン光から順番に照射し、一番細い縞パターン光まで照射していく。
【0056】
図7は、測定対象物100のうち一部が取り除かれた後に、空間符号化による三次元計測を行っている際の、縞パターン光を測定対象物100に照射し、それを撮像部102で撮像された画像を示す図である。ただし、実際に撮像される画像は、測定対象物上の縞はその高さに応じてずれるが、図の簡略化のために照射する縞パターン光をそのまま描写している。一部が取り除かれた領域は、変化領域抽出部107により変化領域として抽出され、照射範囲設定部108により縞パターン光の照射範囲が設定される。設定された照射範囲以外の領域は、三次元形状に変化がないため三次元計測を行わなくても良い。つまり設定された照射範囲外の太い縞パターン光は、三次元計測に使わなくて良い。その際、照射範囲内で縞パターン光が一様でなくなったところから、それより細い縞パターン光を使って三次元計測が可能となる。なお、図では、抽出された変化領域に応じて設定された照射範囲外の上下方向にも縞パターン光が照射されているが、照射範囲外の上下方向への照射は行わなくても構わない。
【0057】
以上のように、変化領域のみを照射範囲に応じたパターン光特性を設定することにより、照射する縞パターン光の数を減らすことができ、撮像する枚数も減らすことができるため、撮像領域全体を三次元計測する場合に比べて格段に高速化が図れる。
【0058】
(第2実施形態)
以下、図面を参照して本発明の第二の実施形態を説明する。第一の実施形態と異なる点は、縞パターン光を照射する順番を一番細い縞から行い、照射範囲に応じて最大縞パターン光を決定することである。
【0059】
装置の構成は、第一の実施形態における図1の装置の構成と同じであるため、省略する。また、第一の実施形態における図2〜4の処理の流れも同じであるため、省略する。以下に、異なる点を説明する。
【0060】
照射範囲に応じたパターン光特性を設定する方法について説明する。図8は、測定対象物100に対し空間符号化による三次元計測を行う際の、縞パターン光を測定対象物100に照射し、それを撮像部102で撮像された画像を示す図である。ただし、実際に撮像される画像は、測定対象物上の縞はその高さに応じてずれるが、図の簡略化のために照射する縞パターン光をそのまま描写している。この実施例の空間符号化では、細い縞パターン光から順番に照射し、一番太い縞パターン光まで照射していく。
【0061】
図9は、測定対象物100のうち一部が取り除かれた後に、空間符号化による三次元計測を行う際の、縞パターン光を測定対象物100に照射し、それを撮像部102で撮像された画像を示す図である。ただし、実際に撮像される画像は、測定対象物上の縞はその高さに応じてずれるが、図の簡略化のために照射する縞パターン光をそのまま描写している。
【0062】
一部が取り除かれた領域は、変化領域抽出部107により変化領域として抽出され、照射範囲設定部108により縞パターン光の照射範囲が設定される。設定された照射範囲以外の領域は、三次元形状に変化がないため三次元計測を行わなくても良い。つまり設定された照射範囲外の太い縞パターン光は、三次元計測に使わなくて良い。その際、細い縞パターン光から見て照射範囲内で縞パターン光が一様になるところまでの縞パターン光を使って三次元計測が可能となる。
【0063】
なお、図では、抽出された変化領域に応じて設定された照射範囲外の上下方向にも縞パターン光が照射されているが、照射範囲外の上下方向への照射は行わなくても構わない。以上のように、変化領域のみを照射範囲に応じたパターン光特性を設定することにより、照射する縞パターン光の数を減らすことができ、撮像する枚数も減らすことができるため、撮像領域全体を三次元計測する場合に比べて格段に高速化が図れる。
【0064】
(第3実施形態)
以下、図面を参照して本発明の第三の実施形態を説明する。第一、二の実施形態と異なる点は、変化領域抽出部107により変化領域を抽出され、照射範囲設定部108によりパターン光の照射範囲が設定された後、照射範囲の照射パターン方法を変更することである。具体的には実際に計測手法を空間符号化法から位相シフト法に変更したものである。
【0065】
装置の構成は、第一の実施形態における図1の装置の構成と同じであるため、省略する。また、第一の実施形態における図2〜4の処理の流れも同じであるため、省略する。以下に、異なる点を説明する。
【0066】
照射範囲に応じたパターン光特性を設定する方法について説明する。図10は、変化領域抽出部107により変化領域を抽出され、照射範囲設定部108によりパターン光の照射範囲が設定された後、照射範囲に位相シフト法による縞パターン光を測定対象物100に照射し、それを撮像部102で撮像された画像を示す図である。ただし、実際に撮像される画像は、測定対象物上の縞はその高さに応じてずれるが、図の簡略化のために照射する縞パターン光をそのまま描写している。
【0067】
図10の(a)は空間符号化法で縞パターン光を照射した際に、変化領域抽出部107により変化領域として抽出され、照射範囲設定部108により縞パターン光の照射範囲が設定される図を示す。照射範囲が設定されると、図10の(b)で示すように、照射範囲内を位相シフト法による縞パターン光を照射する。図10の(c)は、位相シフト法による縞パターン光が移動した図を示す。
【0068】
ここで図15を用いて位相シフト法について説明する。位相シフト法では、明度が正弦波状に変化する縞パターン光を測定対象物に照射し、縞パターン光の位相をπ/2ずつ、ずらして撮像部で撮像する。これを、位相が2πになるまで計4枚撮像する。4枚の画像上の同じ位置での明度をA、B、C、Dとすると、その位置でのパターンの位相αは、式(1)のように表される。
【0069】
【数1】
【0070】
この位相を基に三角測量の原理により三次元計測することができる。位相シフト法では一位相内であれば空間符号化に比べ連続的に三次元形状情報を得ることができるが、一位相を超えると三次元位置の接続を行う必要がある。したがって、位相シフト法による縞パターン光を一位相で照射範囲内を照射することにより、変化領域の三次元形状を位相接続することなしに計測することが可能となる。
【0071】
なお、図10では、抽出された変化領域に応じて設定された照射範囲外の上下方向にも縞パターン光が照射されているが、照射範囲外の上下方向への照射は行わなくても構わない。なお、異なる周波数の位相シフト法により、広い領域への適用を図る位相接続法を用いた三次元形状計測法に適用しても良い。これは、周波数の異なる計測処理を行う中で、最大高周波位相シフトパターンから順次計測し、事前情報を用いる事により、変化がなくなった時点で、低周波計測を打ち切る手法を取っても良い。
【0072】
(第4実施形態)
以下、図面を参照して本発明の第四の実施形態を説明する。第一から第三の実施形態と異なる点は、変化領域抽出部107により変化領域を抽出され、照射範囲設定部108によりパターン光の照射範囲が設定された後、照射範囲の照射パターン方法を変更することである。具体的には実際に計測手法を空間符号化法から光切断法に変更したものである。
【0073】
図11は、変化領域抽出部107により変化領域を抽出され、照射範囲設定部108によりパターン光の照射範囲が設定された後、照射範囲に光切断法によるパターン光を測定対象物100に照射し、それを撮像部102で撮像された画像を示す図である。ただし、実際に撮像される画像は、測定対象物上の縞はその高さに応じてずれるが、図の簡略化のために照射する縞パターン光をそのまま描写している。
【0074】
光切断法では、パターン光を移動させて撮像するため、一般的に時間がかかるが、変化領域のみを照射範囲とすることにより高速化が図れる。また、変化領域が複数存在する場合には、マルチラインの光切断法を利用して、複数の変化領域を同時に測定することにより、一つの変化領域の時と同様に高速化が図れる。なお、図では、抽出された変化領域に応じて設定された照射範囲外の上下方向にも縞パターン光が照射されているが、照射範囲外の上下方向への照射は行わなくても構わない。
【0075】
以上のように、変化領域のみを照射範囲に応じたパターン光特性を設定することにより、照射する縞パターン光の数を減らすことができ、撮像する枚数も減らすことができるため、撮像領域全体を三次元計測する場合に比べて格段に高速化が図れる。
【0076】
(第5実施形態)
以下、本発明の第五の実施形態を説明する。第一から第四の実施形態と異なる点は、変化領域抽出部107により変化領域が抽出された後、光特性設定部109がパターン光特性を設定して、三次元計測する奥行き範囲と計測時間を設定することである。
【0077】
変化領域抽出部107で抽出された変化領域に対し、光特性設定部109が設定する縞パターン光の太さおよびどこまで細い縞パターン光を設定するかに応じて、三次元計測する奥行き範囲を設定することが可能となる。併せて、その設定する縞パターン光から計測時間を設定することが可能となる。設定するパターン光特性は、抽出された変化領域から自動的に設定してもよいし、ユーザが手動で指定してもよい。
【0078】
(第6実施形態)
以下、本発明の第六の実施形態を説明する。第一から第五の実施形態と異なる点は、照射範囲設定部108により照射範囲を設定し、三次元計測する奥行き範囲を設定して、光特性設定部109がパターン光特性を設定することである。
【0079】
照射範囲設定部108により設定する照射範囲と、設定する三次元計測する奥行き範囲に応じて、縞パターン光の太さおよびどこまで細い縞パターン光を使うか設定することが可能となる。併せて、その設定する縞パターン光から計測時間を設定することが可能となる。
【0080】
照射範囲設定部108は、変化領域抽出部107により抽出された変化領域に基づかずに照射範囲を設定してもよい。三次元計測する奥行き範囲は、制御部111が設定してもよい。設定する照射範囲および設定する奥行き範囲は、自動的に設定してもよいし、ユーザが手動で指定してもよい。
【0081】
(第7実施形態)
以下、本発明の第七の実施形態を説明する。第一から第六の実施形態と異なる点は、光特性設定部109がパターン光特性を設定して、三次元計測する奥行き範囲と計測時間を設定することである。
【0082】
光特性設定部109が設定する縞パターン光の太さおよびどこまで細い縞パターン光を設定するかに応じて、三次元計測する奥行き範囲を設定することが可能となる。併せて、その設定する縞パターン光から計測時間を設定することが可能となる。
【0083】
光特性設定部109は、変化領域抽出部107により抽出された変化領域に基づかずにパターン光特性を設定してもよい。設定するパターン光特性は、自動的に設定してもよいし、ユーザが手動で指定してもよい。
【0084】
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
【技術分野】
【0001】
本発明は、三次元計測装置、三次元計測方法、およびプログラムに関する。
【背景技術】
【0002】
測定対象物にパターン光を投影し、パターン光が投影された測定対象物を撮像し、三角測量の原理で測定対象物の三次元形状を計測する方式として、パターン投影法がある。パターン投影法による高精度な三次元計測を行う手法としては、空間符号化法、位相シフト法、光切断法等が代表的なものである。例えば空間符号化法は複数の縞パターン光を測定対象物に時系列に投影し、撮像するため、三次元計測を行うのに撮像枚数分の時間がかかる。位相シフト法も計測領域に応じて複数枚撮像するため時間がかかる。光切断法は領域をライン投影しながらスキャンして撮影するため多数の撮影枚数が必要となる。少しでも計測時間を削減するため、三次元計測する領域を限定する対策も考えられている。
【0003】
その従来技術の例としては、以下の技術がある。これは、測定対象物に対して、あらかじめ二次元画像から得られる特徴を抽出する領域と三次元計測を行う領域との関係を記憶しておき、三次元計測時に二次元画像から部品の特徴を抽出し、抽出結果から該当する三次元計測領域に光照射を行い、三次元情報を得るものである(特許文献1)。
【0004】
また、有効な投影するパターンを制御する従来技術としては、以下の技術がある。これは、測定対象物にパターンを投影して、撮影した画像の特徴量やこれらの変化量に応じて、光空間変調素子によって投影するパターンの種類および数を適応制御するものである(特許文献2)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第3859571号公報
【特許文献2】特開2006−292385号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
従来のパターン投影法では、事前に得た三次元情報を有効に利用し、必要な領域のみを三次元計測することは行われていないため、範囲全域で三次元計測を行わねばならず、変化していない領域も再度三次元計測を行う必要がある。このため撮影枚数や画素数が多い場合は計測に時間を要する。二次元画像から領域を限定する方式では三次元計測以外の計測系を搭載しなければならず、測定系や処理系が複雑になるという課題があった。
【0007】
上記の課題に鑑み、本発明は、事前に得た三次元情報を有効に利用することにより、高速に三次元計測を行うことを目的とする。
【課題を解決するための手段】
【0008】
上記の目的を達成する本発明に係る三次元計測装置は、
測定対象にパターン光を照射する光照射手段と、前記光照射手段により前記パターン光が照射された前記測定対象を撮像する撮像手段と、前記撮像手段により撮像された画像に基づいて前記測定対象の三次元形状を計測する計測手段と、を備える三次元計測装置であって、
前記撮像手段により撮像された前記測定対象の画像のうち、前記撮像手段により予め撮像された画像の状態から変化した変化領域を抽出する変化領域抽出手段と、
前記変化領域抽出手段により抽出された前記変化領域に基づいて、前記光照射手段により照射される前記パターン光の特性を設定する光特性設定手段と、備え、
前記計測手段は、前記光特性設定手段により設定された前記特性のパターン光が照射され、前記撮像手段により撮像された画像の前記変化領域に対して、前記測定対象の三次元形状を計測することを特徴とする。
【発明の効果】
【0009】
本発明によれば、事前に得た三次元情報を有効に利用することにより、高速に三次元計測を行うことができる。
【図面の簡単な説明】
【0010】
【図1】第1実施形態に係る三次元計測装置の構成を示す図。
【図2】第1実施形態に係る三次元計測装置の処理の流れを示すフローチャート。
【図3】第1実施形態に係る三次元計測装置の処理の流れを示すフローチャート。
【図4】第1実施形態に係る三次元計測装置の処理の流れを示すフローチャート。
【図5】第1実施形態に係る空間符号化法による縞パターン光と奥行きとの関係を示す図。
【図6】第1実施形態に係る空間符号化法による縞パターン光を示す図。
【図7】第1実施形態に係る空間符号化法による縞パターン光の照射範囲を説明する図。
【図8】第2実施形態に係る空間符号化法による縞パターン光を示す図。
【図9】第2実施形態に係る空間符号化法による縞パターン光の照射範囲を説明する図。
【図10】第3実施形態に係る位相シフト法による縞パターン光の照射範囲を説明する図。
【図11】第3実施形態に係る光切断法による縞パターン光の照射範囲を説明する図。
【図12】三次元計測装置の構成および三次元計測方法の概念図。
【図13】グレイコードによる空間符号化法の投影する縞パターン光を示す図。
【図14】第1実施形態に係る空間符号化法による縞パターン光の変化領域の抽出方法を説明する図。
【図15】位相シフト法の説明図。
【発明を実施するための形態】
【0011】
(第1実施形態)
三次元情報にかかわる事前情報として、事前に計測した三次元画像を用いる場合の第一の実施形態を示す。三次元計測手法としては、高精度な三次元形状計測手法の代表的な空間符号化法に適用した例である。以下、図面を参照して本発明の第一の実施形態を説明する。
【0012】
先ず、空間符号化の原理について説明する。本手法は三次元形状を算出する手法として、明部と暗部が任意の幅で交互に配置する縞パターン光を照射して空間を2進符号化する空間符号化し、対応する符号の位置ずれ量から三角測量の原理で3次元形状を求めるものである。
【0013】
図12は、三次元計測装置の構成および計測方法の概念を示す。三次元計測装置の構成は、測定対象物にパターンを照射するプロジェクタ1201、反射パターンを撮像するカメラ1202から構成されるのが一般的である。プロジェクタ1201から測定対象物1203に向けて明部と暗部が任意の幅で交互に配置する縞パターン光を照射する。縞パターン光はあらかじめ決められた複数のパターン形状があり、それらが各々照射され、そのたび撮像して画像データとして取得する。測定対象物1203の明部と暗部の境界位置を(X,Y,Z)とし、境界位置(X,Y,Z)とプロジェクタ1201、カメラ1202を結んだ時のプロジェクタ1201の主点位置を(X1,Y1)、カメラ1202の主点位置を(X2,Y2)とする。カメラ1202の主点位置(X2,Y2)はカメラ1202の撮像センサ(CCDやCMOSなど)の水平座標によって求まる。水平座標とは撮像センサの水平幅と垂直幅によって決まり、例えば640×480の撮像センサであれば、水平方向のx座標は0から640、垂直方向のy座標は0から480の値を有する。プロジェクタ1201の主点位置(X1,Y1)も同様に投光センサの水平座標によって求まる。またプロジェクタ1201とカメラ1202間のLは基線長となり、装置の構成条件から定められる。これらのパラメータから三角測量の原理によって測定対象物1203の境界位置(X,Y,Z)を求めることができる。測定対象物1203全面に対してそれぞれの境界位置(X,Y,Z)を求めることで、測定対象物1203の三次元形状を計測することができる。
【0014】
次に縞パターン光の形状について説明する。図13では、符号化誤り耐性のあるグレイコードと呼ばれる2進符号の縞パターン光を示す。撮像された反射パターンで黒く観察された部分は0、白く観察された部分は1に対応する。図13aでは全体を2分割し、2つの領域で1、0と符号化する。図13bでは明部と暗部の4つの領域を1、0、0、1と符号化し、対応する縞パターン光を照射および撮像する。さらに図13cでは8つの領域を1、0、0、1、1、0、0、1と符号化し、対応する縞パターン光を照射および撮像する。こうして各領域に符号化された領域番号が付与されるので、各領域を判断することができる。図13では各領域は(1,1,1)、(1,1,0)、(1,0,0)、(1,0,1)、(0,0,1)、(0,0,0)、(0,1,0)、(0,1,1)として判断できる。このようにして3枚の縞パターン光を使い、空間を8分割することができるため、この空間符号化を3bitの空間符号化と呼び、図13a、図13b、図13cの縞パターン光をそれぞれ1bitの縞パターン光、2bitの縞パターン光、3bitの縞パターン光と呼ぶ。
【0015】
さらに詳細に形状計測を行う場合には、明部と暗部の領域を次々に縮小しながらn枚の縞パターン光を照射すると、プロジェクタの照射領域を2nに分割した領域番号を付与し、各領域を判断できる。たとえば領域を1024分割する三次元計測においては10bitの空間符号化が行われる。
【0016】
グレイコードの利点は、縞パターン光のずれやぼけなどで領域境界に符号化の誤りが発生しても、最悪でも隣接領域と判断されるだけで、大きくずれた領域として符号化誤りを生じないことである。そのためグレイコードによる空間符号化は一般に用いられている方法である。
【0017】
次に空間符号化法に本発明による事前画像と新たに三次元計測用に撮像した画像を用いる事により、必要最低限の投影・計算を行うシステム構成について説明する。図1は、パターン投影により測定対象物の三次元形状を測定するシステムの構成を示す図である。
【0018】
測定対象物100は、本実施形態における測定装置で測定される測定対象である。光照射部101は、測定対象物100にパターン光を照射するための手段である。撮像部102は、測定対象物100を撮像するための手段である。画像記憶部103は、撮像部102で撮像した画像を記憶するための手段であり、画像を複数枚記憶するだけの充分な容量がある。三次元形状算出部104は、光照射部101が測定対象物100に対しパターン光を照射し、照射された測定対象物100を撮像部102が撮像することにより、測定対象物100の三次元形状を算出するための手段である。出力部105は、三次元形状算出部104による算出結果を出力する。出力部105は、算出結果を表示するためのモニタ、プリンタなどを有する。記録部106は、三次元形状算出部104による算出結果を記録するための手段である。記録部106は、算出結果のデータを記録するためのハードディスク、フラッシュメモリなどを備える。変化領域抽出部107は、三次元形状算出部104により三次元形状が算出された後に、測定対象物100の状態に変化があった領域を抽出するための手段である。測定対象物100の状態の変化としては、例えば、測定対象物100が複数の対象物から成り立っていて、そこに新たな対象物が追加されたり、そこから対象物が取り除かれたりする場合が相当する。変化領域を抽出する方法としては、例えば、前回に撮像部102で撮像した画像と今回撮像した画像との差分を取る方法がある。また、図示しないロボットアームなどにより対象物の追加や取り除きが行われた位置を記憶しておき、それを利用する方法もある。以上は、自動的に変化領域を抽出する方法であるが、測定対象物100の画像が出力された出力部105を見ながらユーザが手動で変化領域を指定する方法もある。これらの他にも、変化領域を抽出する方法であれば、いずれの方法でも良い。照射範囲設定部108は、変化領域抽出部107により抽出された変化領域に応じて光照射部101が測定対象物100にパターン光を照射する範囲を設定するための手段である。これにより変化領域以外にはパターン光を照射されなくなる。光特性設定部109は、照射範囲設定部108により設定された照射範囲に応じたパターン光特性を設定するための手段である。記憶部110は、三次元形状算出部104により算出された三次元形状の情報や、変化領域抽出部107により抽出された変化領域の情報や、照射範囲設定部108により設定された照射範囲の情報などを記憶する。また、制御部111による制御情報なども記憶する。制御部111は、光照射部101、撮像部102、光特性設定部109、変化領域抽出部107、照射範囲設定部108、記憶部110、三次元形状算出部104、出力部105、記録部106の動作を制御する。制御部111は、CPU、RAM、各種制御プログラムが格納されたROMなどを備える。
【0019】
ROMに格納された各種プログラムは、光照射部101が照射するパターン光特性を制御するための制御プログラム、撮像部102を制御するための制御プログラム、光特性設定部109を制御するための制御プログラムなどが含まれる。また、変化領域抽出部107を制御するための制御プログラム、照射範囲設定部108を制御するための制御プログラム、三次元形状算出部104を制御するための制御プログラムなども含まれる。また、各種プログラムには、出力部105を制御するための制御プログラム、記録部106を制御するための制御プログラムなどが含まれても良い。
【0020】
図2は、本実施形態における測定装置の処理の流れを示した図である。図2を用いて、本実施形態における処理の流れを説明する。図2は、測定対象物の三次元計測を最初に行う場合の処理の流れを示す。
【0021】
(ステップ201)ステップ201では、制御部111が撮像部102に撮像部102が撮像できる範囲すべてを撮像するよう全領域撮像信号を送り、撮像部102が複数のパターン光を照射して測定対象物100を含んだ全領域を撮像する。
【0022】
(ステップ202)ステップ202では、制御部111が画像記憶部103に撮像した画像を記憶させる。
【0023】
(ステップ203)ステップ203では、三次元形状算出部104が三次元形状を算出するのに必要なパターン光を光照射部101がすべて照射したか否か判定する。三次元形状を算出するのに必要なパターン光を光照射部101がすべて照射したと判定した時は、ステップ205に処理が移る。三次元形状を算出するのに必要なパターン光を光照射部101がすべて照射していないと判定した時は、ステップ204に処理が移る。
【0024】
(ステップ204)ステップ204では、制御部111が光照射部101に次のパターン光を全領域に照射させる。
【0025】
(ステップ205)ステップ205では、制御部111が三次元形状算出部104に撮像部102が撮影した測定対象物100の全パターン照射画像を使って測定対象物100の三次元形状を算出させる。
【0026】
(ステップ206)ステップ206では、制御部111の制御により、出力部105および記録部106が、測定対象物100の三次元形状結果の出力と記録を行う。出力部105は、測定対象物100の三次元形状結果をモニタなどに表示する。記録部106は、測定対象物100の三次元形状結果をデジタルデータとして、ハードディスク、フラッシュメモリなどに格納する。
【0027】
図3は、測定対象物の三次元計測を一度行った後に、次に三次元計測を行う場合の処理の流れを示す。
【0028】
(ステップ301)ステップ301では、制御部111が撮像部102に撮像部102が撮像できる範囲すべてを撮像するよう全領域撮像信号を送り、撮像部102が測定対象物100を含んだ全領域を撮像する。
【0029】
(ステップ302)ステップ302では、制御部111が画像記憶部103に撮像した画像を記憶させる。
【0030】
(ステップ303)ステップ303では、制御部111が画像記憶部103に撮像した画像と、前回に撮像し、画像記憶部103に記憶させた画像とを比較させる。
【0031】
(ステップ304)ステップ304では、制御部111が変化領域抽出部107に比較した画像から変化領域が有るか否かを判定させる。制御部111が変化領域抽出部107に比較した画像から変化領域が有ると判定した時は、ステップ305に処理が移る。制御部111が変化領域抽出部107に比較した画像から変化領域が無いと判定した時は、処理を終了する。
【0032】
(ステップ305)ステップ305では、制御部111が変化領域抽出部107に比較した画像から変化領域を抽出させる。変化領域を抽出する方法については、後述する。
【0033】
(ステップ306)ステップ306では、制御部111が照射範囲設定部108に抽出した変化領域からパターン光の照射範囲を設定させる。照射範囲を設定する方法については、後述する。
【0034】
(ステップ307)ステップ307では、制御部111が光特性設定部109に設定した照射範囲に応じたパターン光特性を設定させ、光照射部101にパターン光を照射させる。照射範囲に応じたパターン光特性を設定する方法については、後述する。
【0035】
(ステップ308)ステップ308では、制御部111が光照射部101に照射範囲に応じたパターン光を変化領域に照射させる。
【0036】
(ステップ309)ステップ309では、制御部111が撮像部102にパターン光が照射された照射範囲である変化領域を撮像させる。
【0037】
(ステップ310)ステップ310では、制御部111が画像記憶部103に撮像した画像を記憶させる。
【0038】
(ステップ311)ステップ311では、三次元形状算出部104が三次元形状を算出するのに必要なパターン光を光照射部101がすべて照射したか否か判定する。三次元形状を算出するのに必要なパターン光を光照射部101がすべて照射したと判定した時は、ステップ312に処理が移る。三次元形状を算出するのに必要なパターン光を光照射部101がすべて照射していないと判定した時は、ステップ308に処理が移る。
【0039】
(ステップ312)ステップ312では、制御部111が三次元形状算出部104に撮像部102が撮影した測定対象物100の全パターン照射画像を使って測定対象物100の三次元形状を算出させる。
【0040】
(ステップ313)ステップ313では、制御部111が三次元形状算出部104に測定対象物100の前回の全体の三次元計測結果と、今回の変化領域の三次元計測結果とを統合して測定対象物100の今回の全体の三次元計測結果を生成させる。
【0041】
(ステップ314)ステップ314では、制御部111の制御により、出力部105および記録部106が、測定対象物100の三次元形状結果の出力と記録を行う。出力部105は、測定対象物100の三次元形状結果をモニタなどに表示する。記録部106は、測定対象物100の三次元形状結果をデジタルデータとして、ハードディスク、フラッシュメモリなどに格納する。
【0042】
次に、変化領域を抽出する方法について説明する。変化領域を抽出する方法としては、上述したように、前回に撮像部102で撮像した画像と今回撮像した画像との差分を取る方法がある。また、図示しないロボットアームなどにより対象物の追加や取り除きが行われた位置を記憶しておき、それを利用する方法もある。その他に、空間符号化法の縞パターン光を利用した方法もあるので、以下で説明する。
【0043】
図14の(a)は、平面に対し空間符号化法による三次元計測を行っている途中で、最も細い縞パターン光を平面に照射し、それを撮像する時の撮像部102と光照射部101との配置関係および撮像部102で撮像された画像を示す図である。撮像画像には、光照射部101から照射された縞パターン光が規則的に並んでいる状態が撮影されている。
【0044】
図14の(b)は、平面上にある測定対象物100に対し空間符号化法による三次元計測を行っている途中で、最も細い縞パターン光を測定対象物100に照射し、それを撮像する時の撮像部102と光照射部101との配置関係および撮像部102で撮像された画像を示す図である。測定対象物100は高さがあるため、撮像部102と光照射部101との視差により、光照射部101から照射された縞パターン光が平面上の縞パターン光と位置ずれが生じている状態が撮影されている。
【0045】
図14の(a)、(b)とから、最も細い縞パターン光を照射して撮像した画像を比較することにより、変化領域を抽出することができる。さらに、太い縞パターン光を使用した場合に比べ、変化領域をより詳細に抽出することが可能となる。
【0046】
この方法の利点としては、変化領域を抽出するために特化したプロセスを経ることなく、三次元計測を行うプロセスの一部を利用して、変化領域を抽出することができるため、余計な処理負荷をかけないですむところである。つまり、三次元計測の高速化に寄与する。
【0047】
図4は、測定対象物の三次元計測を一度行った後に、次に三次元計測を行う場合の照射範囲を設定する処理の流れを示す。
【0048】
(ステップ401)ステップ401では、制御部111が照射範囲設定部108に変化領域抽出部107が抽出した変化領域の変化前の三次元位置を取得させる。
【0049】
(ステップ402)ステップ402では、制御部111が照射範囲設定部108に取得させた変化領域の変化前の三次元位置から奥行き範囲を設定させる。
【0050】
(ステップ403)ステップ403では、制御部111が照射範囲設定部108に設定させた奥行き範囲から最も細い縞パターン光での照射範囲を設定させる(照射制御処理)。
【0051】
照射範囲を設定する方法について具体的に説明する。図5の(a)は、平面に対し空間符号化法による三次元計測を行っている途中で、ある縞パターン光を平面に照射し、それを撮像する時の撮像部102と光照射部101との配置関係および撮像部102で撮像された画像を示す図である。撮像画像には、光照射部101から照射された縞パターン光が規則的に並んでいる状態が撮影されている。
【0052】
図5の(b)は、平面上にある測定対象物100に対し空間符号化法による三次元計測を行っている途中で、ある縞パターン光を測定対象物100に照射し、それを撮像する時の撮像部102と光照射部101との配置関係および撮像部102で撮像された画像を示す図である。測定対象物100は高さがあるため、撮像部102と光照射部101との視差により、光照射部101から照射された縞パターン光が平面上の縞パターン光と位置ずれが生じている状態が撮影されている。この時、照射する縞パターン光の範囲は、位置ずれを考慮した範囲に設定する。
【0053】
図5の(c)は、平面上にある測定対象物100のうち上方部が取り除かれた後に、空間符号化法による三次元計測を行っている途中で、ある縞パターン光を測定対象物100に照射し、それを撮像する時の撮像部102と光照射部101との配置関係および撮像部102で撮像された画像を示す図である。(b)の時と比べて測定対象物100の高さが低くなったため、撮像部102と光照射部101との視差による光照射部101から照射された縞パターン光と平面上の縞パターン光との位置ずれ量が異なった状態で撮影されている。
【0054】
これら図5の(a)〜(c)から、同じ縞パターン光を照射する場合でも、測定対象物の奥行きによっては、対応する縞パターン光が異なることが判る。したがって、照射する縞パターン光の範囲を設定するためには、抽出した変化領域と以前に算出した三次元計測結果を利用する。
【0055】
照射範囲に応じたパターン光特性を設定する方法について説明する。図6は、測定対象物100に対し空間符号化による三次元計測を行っている際の、縞パターン光を測定対象物100に照射し、それを撮像部102で撮像された画像を示す図である。ただし、実際に撮像される画像は、測定対象物上の縞はその高さに応じてずれるが、図の簡略化のために照射する縞パターン光をそのまま描写している。空間符号化では、太い縞パターン光から順番に照射し、一番細い縞パターン光まで照射していく。
【0056】
図7は、測定対象物100のうち一部が取り除かれた後に、空間符号化による三次元計測を行っている際の、縞パターン光を測定対象物100に照射し、それを撮像部102で撮像された画像を示す図である。ただし、実際に撮像される画像は、測定対象物上の縞はその高さに応じてずれるが、図の簡略化のために照射する縞パターン光をそのまま描写している。一部が取り除かれた領域は、変化領域抽出部107により変化領域として抽出され、照射範囲設定部108により縞パターン光の照射範囲が設定される。設定された照射範囲以外の領域は、三次元形状に変化がないため三次元計測を行わなくても良い。つまり設定された照射範囲外の太い縞パターン光は、三次元計測に使わなくて良い。その際、照射範囲内で縞パターン光が一様でなくなったところから、それより細い縞パターン光を使って三次元計測が可能となる。なお、図では、抽出された変化領域に応じて設定された照射範囲外の上下方向にも縞パターン光が照射されているが、照射範囲外の上下方向への照射は行わなくても構わない。
【0057】
以上のように、変化領域のみを照射範囲に応じたパターン光特性を設定することにより、照射する縞パターン光の数を減らすことができ、撮像する枚数も減らすことができるため、撮像領域全体を三次元計測する場合に比べて格段に高速化が図れる。
【0058】
(第2実施形態)
以下、図面を参照して本発明の第二の実施形態を説明する。第一の実施形態と異なる点は、縞パターン光を照射する順番を一番細い縞から行い、照射範囲に応じて最大縞パターン光を決定することである。
【0059】
装置の構成は、第一の実施形態における図1の装置の構成と同じであるため、省略する。また、第一の実施形態における図2〜4の処理の流れも同じであるため、省略する。以下に、異なる点を説明する。
【0060】
照射範囲に応じたパターン光特性を設定する方法について説明する。図8は、測定対象物100に対し空間符号化による三次元計測を行う際の、縞パターン光を測定対象物100に照射し、それを撮像部102で撮像された画像を示す図である。ただし、実際に撮像される画像は、測定対象物上の縞はその高さに応じてずれるが、図の簡略化のために照射する縞パターン光をそのまま描写している。この実施例の空間符号化では、細い縞パターン光から順番に照射し、一番太い縞パターン光まで照射していく。
【0061】
図9は、測定対象物100のうち一部が取り除かれた後に、空間符号化による三次元計測を行う際の、縞パターン光を測定対象物100に照射し、それを撮像部102で撮像された画像を示す図である。ただし、実際に撮像される画像は、測定対象物上の縞はその高さに応じてずれるが、図の簡略化のために照射する縞パターン光をそのまま描写している。
【0062】
一部が取り除かれた領域は、変化領域抽出部107により変化領域として抽出され、照射範囲設定部108により縞パターン光の照射範囲が設定される。設定された照射範囲以外の領域は、三次元形状に変化がないため三次元計測を行わなくても良い。つまり設定された照射範囲外の太い縞パターン光は、三次元計測に使わなくて良い。その際、細い縞パターン光から見て照射範囲内で縞パターン光が一様になるところまでの縞パターン光を使って三次元計測が可能となる。
【0063】
なお、図では、抽出された変化領域に応じて設定された照射範囲外の上下方向にも縞パターン光が照射されているが、照射範囲外の上下方向への照射は行わなくても構わない。以上のように、変化領域のみを照射範囲に応じたパターン光特性を設定することにより、照射する縞パターン光の数を減らすことができ、撮像する枚数も減らすことができるため、撮像領域全体を三次元計測する場合に比べて格段に高速化が図れる。
【0064】
(第3実施形態)
以下、図面を参照して本発明の第三の実施形態を説明する。第一、二の実施形態と異なる点は、変化領域抽出部107により変化領域を抽出され、照射範囲設定部108によりパターン光の照射範囲が設定された後、照射範囲の照射パターン方法を変更することである。具体的には実際に計測手法を空間符号化法から位相シフト法に変更したものである。
【0065】
装置の構成は、第一の実施形態における図1の装置の構成と同じであるため、省略する。また、第一の実施形態における図2〜4の処理の流れも同じであるため、省略する。以下に、異なる点を説明する。
【0066】
照射範囲に応じたパターン光特性を設定する方法について説明する。図10は、変化領域抽出部107により変化領域を抽出され、照射範囲設定部108によりパターン光の照射範囲が設定された後、照射範囲に位相シフト法による縞パターン光を測定対象物100に照射し、それを撮像部102で撮像された画像を示す図である。ただし、実際に撮像される画像は、測定対象物上の縞はその高さに応じてずれるが、図の簡略化のために照射する縞パターン光をそのまま描写している。
【0067】
図10の(a)は空間符号化法で縞パターン光を照射した際に、変化領域抽出部107により変化領域として抽出され、照射範囲設定部108により縞パターン光の照射範囲が設定される図を示す。照射範囲が設定されると、図10の(b)で示すように、照射範囲内を位相シフト法による縞パターン光を照射する。図10の(c)は、位相シフト法による縞パターン光が移動した図を示す。
【0068】
ここで図15を用いて位相シフト法について説明する。位相シフト法では、明度が正弦波状に変化する縞パターン光を測定対象物に照射し、縞パターン光の位相をπ/2ずつ、ずらして撮像部で撮像する。これを、位相が2πになるまで計4枚撮像する。4枚の画像上の同じ位置での明度をA、B、C、Dとすると、その位置でのパターンの位相αは、式(1)のように表される。
【0069】
【数1】
【0070】
この位相を基に三角測量の原理により三次元計測することができる。位相シフト法では一位相内であれば空間符号化に比べ連続的に三次元形状情報を得ることができるが、一位相を超えると三次元位置の接続を行う必要がある。したがって、位相シフト法による縞パターン光を一位相で照射範囲内を照射することにより、変化領域の三次元形状を位相接続することなしに計測することが可能となる。
【0071】
なお、図10では、抽出された変化領域に応じて設定された照射範囲外の上下方向にも縞パターン光が照射されているが、照射範囲外の上下方向への照射は行わなくても構わない。なお、異なる周波数の位相シフト法により、広い領域への適用を図る位相接続法を用いた三次元形状計測法に適用しても良い。これは、周波数の異なる計測処理を行う中で、最大高周波位相シフトパターンから順次計測し、事前情報を用いる事により、変化がなくなった時点で、低周波計測を打ち切る手法を取っても良い。
【0072】
(第4実施形態)
以下、図面を参照して本発明の第四の実施形態を説明する。第一から第三の実施形態と異なる点は、変化領域抽出部107により変化領域を抽出され、照射範囲設定部108によりパターン光の照射範囲が設定された後、照射範囲の照射パターン方法を変更することである。具体的には実際に計測手法を空間符号化法から光切断法に変更したものである。
【0073】
図11は、変化領域抽出部107により変化領域を抽出され、照射範囲設定部108によりパターン光の照射範囲が設定された後、照射範囲に光切断法によるパターン光を測定対象物100に照射し、それを撮像部102で撮像された画像を示す図である。ただし、実際に撮像される画像は、測定対象物上の縞はその高さに応じてずれるが、図の簡略化のために照射する縞パターン光をそのまま描写している。
【0074】
光切断法では、パターン光を移動させて撮像するため、一般的に時間がかかるが、変化領域のみを照射範囲とすることにより高速化が図れる。また、変化領域が複数存在する場合には、マルチラインの光切断法を利用して、複数の変化領域を同時に測定することにより、一つの変化領域の時と同様に高速化が図れる。なお、図では、抽出された変化領域に応じて設定された照射範囲外の上下方向にも縞パターン光が照射されているが、照射範囲外の上下方向への照射は行わなくても構わない。
【0075】
以上のように、変化領域のみを照射範囲に応じたパターン光特性を設定することにより、照射する縞パターン光の数を減らすことができ、撮像する枚数も減らすことができるため、撮像領域全体を三次元計測する場合に比べて格段に高速化が図れる。
【0076】
(第5実施形態)
以下、本発明の第五の実施形態を説明する。第一から第四の実施形態と異なる点は、変化領域抽出部107により変化領域が抽出された後、光特性設定部109がパターン光特性を設定して、三次元計測する奥行き範囲と計測時間を設定することである。
【0077】
変化領域抽出部107で抽出された変化領域に対し、光特性設定部109が設定する縞パターン光の太さおよびどこまで細い縞パターン光を設定するかに応じて、三次元計測する奥行き範囲を設定することが可能となる。併せて、その設定する縞パターン光から計測時間を設定することが可能となる。設定するパターン光特性は、抽出された変化領域から自動的に設定してもよいし、ユーザが手動で指定してもよい。
【0078】
(第6実施形態)
以下、本発明の第六の実施形態を説明する。第一から第五の実施形態と異なる点は、照射範囲設定部108により照射範囲を設定し、三次元計測する奥行き範囲を設定して、光特性設定部109がパターン光特性を設定することである。
【0079】
照射範囲設定部108により設定する照射範囲と、設定する三次元計測する奥行き範囲に応じて、縞パターン光の太さおよびどこまで細い縞パターン光を使うか設定することが可能となる。併せて、その設定する縞パターン光から計測時間を設定することが可能となる。
【0080】
照射範囲設定部108は、変化領域抽出部107により抽出された変化領域に基づかずに照射範囲を設定してもよい。三次元計測する奥行き範囲は、制御部111が設定してもよい。設定する照射範囲および設定する奥行き範囲は、自動的に設定してもよいし、ユーザが手動で指定してもよい。
【0081】
(第7実施形態)
以下、本発明の第七の実施形態を説明する。第一から第六の実施形態と異なる点は、光特性設定部109がパターン光特性を設定して、三次元計測する奥行き範囲と計測時間を設定することである。
【0082】
光特性設定部109が設定する縞パターン光の太さおよびどこまで細い縞パターン光を設定するかに応じて、三次元計測する奥行き範囲を設定することが可能となる。併せて、その設定する縞パターン光から計測時間を設定することが可能となる。
【0083】
光特性設定部109は、変化領域抽出部107により抽出された変化領域に基づかずにパターン光特性を設定してもよい。設定するパターン光特性は、自動的に設定してもよいし、ユーザが手動で指定してもよい。
【0084】
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項1】
測定対象にパターン光を照射する光照射手段と、前記光照射手段により前記パターン光が照射された前記測定対象を撮像する撮像手段と、前記撮像手段により撮像された画像に基づいて前記測定対象の三次元形状を計測する計測手段と、を備える三次元計測装置であって、
前記撮像手段により撮像された前記測定対象の画像のうち、前記撮像手段により予め撮像された画像の状態から変化した変化領域を抽出する変化領域抽出手段と、
前記変化領域抽出手段により抽出された前記変化領域に基づいて、前記光照射手段により照射される前記パターン光の特性を設定する光特性設定手段と、備え、
前記計測手段は、前記光特性設定手段により設定された前記特性のパターン光が照射され、前記撮像手段により撮像された画像の前記変化領域に対して、前記測定対象の三次元形状を計測することを特徴とする三次元計測装置。
【請求項2】
前記パターン光が縞パターンであり、
前記変化領域抽出手段により抽出された前記変化領域の大きさに基づいて、前記パターン光の縞パターンの幅を前記変化領域の幅よりも小さい幅に制御する制御手段をさらに備えることを特徴とする請求項1に記載の三次元計測装置。
【請求項3】
前記変化領域抽出手段により抽出された前記変化領域の大きさに基づいて、前記光照射手段により照射される前記パターン光の照射範囲を制御する照射制御手段をさらに備えることを特徴とする請求項1または2に記載の三次元計測装置。
【請求項4】
前記光特性設定手段により設定される前記パターン光の特性は、空間符号化法と、位相シフト法と、光切断法とのいずれか1つの特性を示すことを特徴とする請求項1乃至3の何れか1項に記載の三次元計測装置。
【請求項5】
前記光特性設定手段は、前記変化領域抽出手段により抽出された前記変化領域に対して前記計測手段により計測された三次元計測結果と、前記撮像手段により撮像された前記変化領域の画像とに基づいて、前記パターン光の特性を設定することを特徴とする請求項1に記載の三次元計測装置。
【請求項6】
前記計測手段は、前記測定対象に対する三次元計測結果と、前記測定対象の前記変化領域に対する三次元計測結果とに基づいて、次の前記測定対象の三次元形状を計測することを特徴とする請求項1に記載の三次元計測装置。
【請求項7】
測定対象にパターン光を照射する光照射手段と、前記光照射手段により前記パターン光が照射された前記測定対象を撮像する撮像手段と、前記撮像手段により撮像された撮像画像に基づいて前記測定対象の三次元形状を計測する計測手段とを備える三次元計測装置であって、
前記測定対象の三次元形状に対する事前情報と、前記計測手段により計測された前記測定対象の三次元計測結果とに基づいて、前記計測手段による前記測定対象の次の三次元計測の際に使用される、前記光照射手段により照射されるパターン光の特性を設定する設定手段を備えることを特徴とする三次元計測装置。
【請求項8】
前記測定対象の三次元形状に対する事前情報は、前記測定手段により三次元計測が行われる前に予め計測された三次元計測結果であることを特徴とする請求項7に記載の三次元計測装置。
【請求項9】
光照射手段と、撮像手段と、計測手段と、変化領域抽出手段と、光特性設定手段と、を備える三次元計測装置における三次元計測方法であって、
前記光照射手段が、測定対象にパターン光を照射する光照射工程と、
前記撮像手段が、前記光照射手段により前記パターン光が照射された前記測定対象を撮像する撮像工程と、
前記計測手段が、前記撮像手段により撮像された画像に基づいて前記測定対象の三次元形状を計測する計測工程と、
前記変化領域抽出手段が、前記撮像手段により撮像された前記測定対象の画像のうち、前記撮像手段により予め撮像された画像の状態から変化した変化領域を抽出する変化領域抽出工程と、
前記光特性設定手段が、前記変化領域抽出工程により抽出された前記変化領域に基づいて、前記光照射手段により照射される前記パターン光の特性を設定する光特性設定工程と、備え、
前記計測工程では、前記光特性設定手段により設定された前記特性のパターン光が照射され、前記撮像手段により撮像された画像の前記変化領域に対して、前記測定対象の三次元形状を計測することを特徴とする三次元計測方法。
【請求項10】
コンピュータに請求項9に記載の三次元計測方法の各工程を実行させるためのプログラム。
【請求項1】
測定対象にパターン光を照射する光照射手段と、前記光照射手段により前記パターン光が照射された前記測定対象を撮像する撮像手段と、前記撮像手段により撮像された画像に基づいて前記測定対象の三次元形状を計測する計測手段と、を備える三次元計測装置であって、
前記撮像手段により撮像された前記測定対象の画像のうち、前記撮像手段により予め撮像された画像の状態から変化した変化領域を抽出する変化領域抽出手段と、
前記変化領域抽出手段により抽出された前記変化領域に基づいて、前記光照射手段により照射される前記パターン光の特性を設定する光特性設定手段と、備え、
前記計測手段は、前記光特性設定手段により設定された前記特性のパターン光が照射され、前記撮像手段により撮像された画像の前記変化領域に対して、前記測定対象の三次元形状を計測することを特徴とする三次元計測装置。
【請求項2】
前記パターン光が縞パターンであり、
前記変化領域抽出手段により抽出された前記変化領域の大きさに基づいて、前記パターン光の縞パターンの幅を前記変化領域の幅よりも小さい幅に制御する制御手段をさらに備えることを特徴とする請求項1に記載の三次元計測装置。
【請求項3】
前記変化領域抽出手段により抽出された前記変化領域の大きさに基づいて、前記光照射手段により照射される前記パターン光の照射範囲を制御する照射制御手段をさらに備えることを特徴とする請求項1または2に記載の三次元計測装置。
【請求項4】
前記光特性設定手段により設定される前記パターン光の特性は、空間符号化法と、位相シフト法と、光切断法とのいずれか1つの特性を示すことを特徴とする請求項1乃至3の何れか1項に記載の三次元計測装置。
【請求項5】
前記光特性設定手段は、前記変化領域抽出手段により抽出された前記変化領域に対して前記計測手段により計測された三次元計測結果と、前記撮像手段により撮像された前記変化領域の画像とに基づいて、前記パターン光の特性を設定することを特徴とする請求項1に記載の三次元計測装置。
【請求項6】
前記計測手段は、前記測定対象に対する三次元計測結果と、前記測定対象の前記変化領域に対する三次元計測結果とに基づいて、次の前記測定対象の三次元形状を計測することを特徴とする請求項1に記載の三次元計測装置。
【請求項7】
測定対象にパターン光を照射する光照射手段と、前記光照射手段により前記パターン光が照射された前記測定対象を撮像する撮像手段と、前記撮像手段により撮像された撮像画像に基づいて前記測定対象の三次元形状を計測する計測手段とを備える三次元計測装置であって、
前記測定対象の三次元形状に対する事前情報と、前記計測手段により計測された前記測定対象の三次元計測結果とに基づいて、前記計測手段による前記測定対象の次の三次元計測の際に使用される、前記光照射手段により照射されるパターン光の特性を設定する設定手段を備えることを特徴とする三次元計測装置。
【請求項8】
前記測定対象の三次元形状に対する事前情報は、前記測定手段により三次元計測が行われる前に予め計測された三次元計測結果であることを特徴とする請求項7に記載の三次元計測装置。
【請求項9】
光照射手段と、撮像手段と、計測手段と、変化領域抽出手段と、光特性設定手段と、を備える三次元計測装置における三次元計測方法であって、
前記光照射手段が、測定対象にパターン光を照射する光照射工程と、
前記撮像手段が、前記光照射手段により前記パターン光が照射された前記測定対象を撮像する撮像工程と、
前記計測手段が、前記撮像手段により撮像された画像に基づいて前記測定対象の三次元形状を計測する計測工程と、
前記変化領域抽出手段が、前記撮像手段により撮像された前記測定対象の画像のうち、前記撮像手段により予め撮像された画像の状態から変化した変化領域を抽出する変化領域抽出工程と、
前記光特性設定手段が、前記変化領域抽出工程により抽出された前記変化領域に基づいて、前記光照射手段により照射される前記パターン光の特性を設定する光特性設定工程と、備え、
前記計測工程では、前記光特性設定手段により設定された前記特性のパターン光が照射され、前記撮像手段により撮像された画像の前記変化領域に対して、前記測定対象の三次元形状を計測することを特徴とする三次元計測方法。
【請求項10】
コンピュータに請求項9に記載の三次元計測方法の各工程を実行させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図12】
【図13】
【図15】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図14】
【図2】
【図3】
【図4】
【図12】
【図13】
【図15】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図14】
【公開番号】特開2012−141206(P2012−141206A)
【公開日】平成24年7月26日(2012.7.26)
【国際特許分類】
【出願番号】特願2010−293804(P2010−293804)
【出願日】平成22年12月28日(2010.12.28)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成24年7月26日(2012.7.26)
【国際特許分類】
【出願日】平成22年12月28日(2010.12.28)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]