３次元形状計測方法及び３次元形状計測装置
【課題】信頼性の高い３次元形状計測結果を得る。
【解決手段】３次元形状計測装置２０は、対象物体を含む測定空間を分割する空間コードに対応した複数の投影パターンを、対象物体に順次投影して撮像した複数の撮像画像を用いて、各画素を輝度値に応じて２値化して空間コードに変換する空間コード算出手段２３と、変換した空間コードを用いた三角測量により画素毎に３次元情報を算出して対象物体の３次元形状を求める三角測量手段２６と、画素毎の３次元情報に基づいて、注目画素と隣接画素の高さを比較し、高さの差が所定範囲内の画素同士を連結して連結領域を設定し、連結領域の面積が所定値より小さい場合にノイズと判定するノイズ判定手段２４と、ノイズと判定された連結領域の３次元情報を除去するノイズ除去手段２５とを備える。
【解決手段】３次元形状計測装置２０は、対象物体を含む測定空間を分割する空間コードに対応した複数の投影パターンを、対象物体に順次投影して撮像した複数の撮像画像を用いて、各画素を輝度値に応じて２値化して空間コードに変換する空間コード算出手段２３と、変換した空間コードを用いた三角測量により画素毎に３次元情報を算出して対象物体の３次元形状を求める三角測量手段２６と、画素毎の３次元情報に基づいて、注目画素と隣接画素の高さを比較し、高さの差が所定範囲内の画素同士を連結して連結領域を設定し、連結領域の面積が所定値より小さい場合にノイズと判定するノイズ判定手段２４と、ノイズと判定された連結領域の３次元情報を除去するノイズ除去手段２５とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、物体の撮像画像を用いてその物体の３次元形状を計算する３次元形状計測方法及び装置に関するものである。
【背景技術】
【０００２】
従来、三角測量に基づいて対象物体の３次元形状を得る計測方法が複数提案されている。この計測方法のひとつにパターン光投影法がある（例えば、特許文献１参照）。パターン光投影法では、コード化された複数の投影パターンを対象物体に照射した状態で撮像し、各投影パターンの撮像画像を画素毎に明暗で２値化し、２値化パターンの内容に基づいて三角測量により対象物体の３次元形状を演算するようにしていた。また、特許文献２に係る３次元形状計測装置では、パターン光投影法のひとつである空間コード化法を用いて、対象物体の３次元形状を計測する。
【０００３】
図８及び図９は、従来の、空間コード化法により三角測量を行う３次元形状計測装置の構成を示す図であり、ｘ軸、ｙ軸及びｚ軸を仮想的に設定した３次元の測定空間のうち、ｘ−ｚ平面を図８に示し、ｙ−ｚ平面を図９に示す。対象物体Ｐに対して、プロジェクタ１２を用いて投影パターンを照射し、カメラ１１が視野範囲全面を撮像する。カメラ１１は床面Ｇから高さＨ１の位置に固定され、固定位置を測定空間の原点Ｏとする。また、プロジェクタ１２は床面Ｇから高さＨ２、カメラ１１から距離ｄの位置に固定される。ここで、三角測量を行うには、図８及び図９に示す角度α，β，θを求める必要がある。角度α，θは、カメラ１１が撮像した撮像画像中の対象物体Ｐの位置を利用して求めることができるが、角度βはプロジェクタ１２の情報を利用して求める必要がある。
【０００４】
この角度βを求めるために、プロジェクタ１２から規則に従った投影パターンをＮ枚投影して、投影領域を２Ｎ個に分割する。カメラ１１は、対象物体Ｐに投影パターンを照射した状態で撮像し、３次元形状計測装置がＮ枚の撮像画像を用いて、分割した個々の領域に対する投影光の角度βを算出し、三角測量を行う。
【０００５】
投影パターンは、光が当たる領域（以下、明領域）と当たらない領域（以下、暗領域）からなり、明領域を「１」、暗領域を「０」としてＮパターン投影すれば、測定空間の投影領域を２Ｎ個に分割してコード化する、即ち各領域に空間コードを割り振ることができる。投影パターンは様々なものが提案されているが、グレイコード（交番２進コード）が一般的である。ここでは、先ずバイナリコードを説明し、その後にグレイコードを説明する。
【０００６】
図１０は、従来の３次元形状計測装置で用いるバイナリコード投影パターンを示す図である。このバイナリコード投影パターンは、後述する図１１のように付与するコード値の２進数を縦方向同一位置に並べたときの、横方向に並んだ各２進数を利用したものである。例えば、投影領域を８個（＝２３）に分割してコード化するためには、バイナリコード投影パターンが３枚必要となる。図１０に示す投影パターン１〜３において、白い部分を明領域、黒い部分を暗領域とする。
図１０に示すバイナリコード投影パターン１〜３それぞれをプロジェクタ１２が投影し、カメラ１１が撮像する。３次元形状計測装置は、投影パターン１〜３の撮像画像の各画素の輝度値に基づいて明暗を「１」、「０」に２値化して、図１１に示すように、投影パターン１〜３の同一領域を３ビット長の２進数からなるバイナリコードにし、各バイナリコードを１０進数のコード値（空間コード）に変換する。例えば、左端の投影領域のバイナリコードは「１１１」なので、１０進数に変換すればコード値「７」となる。３次元形状計測装置はこのようにして投影領域を「０」〜「７」の８個にコード化する。
【０００７】
以下、空間コード化法による３次元形状計測装置の動作を、図１２に示すフローチャートを用いて説明する。
図１３は、従来の３次元形状計測装置で用いるグレイコード投影パターンを示す図である。グレイコード投影パターンは、付与するコード値の２進数を「最上位桁から１であれば残り下桁を反転、０であれば残り下桁を反転させない」というルールに従って変換する。すると、グレイコードで投影領域を８個に分割してコード化する場合の投影パターン１〜３は図１３のようになる。
【０００８】
３次元形状計測装置は、図１３に示すグレイコード投影パターン１〜３を読み込んで（ステップＳＴ１）、プロジェクタ１２から測定空間へ向けて各投影パターンを投影し、カメラ１１でそれぞれ撮像させる（ステップＳＴ２）。
続いて、３次元形状計測装置が、上述のバイナリコート投影パターンと同様に、投影パターン１〜３の撮像画像の同一領域の明暗を「１」、「０」で２値化して（ステップＳＴ３）、図１４に示すように、投影パターン１〜３の同一領域を３ビット長の２進数からなるグレイコードに変換する（ステップＳＴ４）。
【０００９】
グレイコード投影パターンを用いる場合は、空間コード取得の際に、グレイコードをバイナリコードに変換するコード変換処理が必要になる。コード変換処理では「最上位ビットはそのまま、以下は全てグレイコードの該当ビットとバイナリコードの１桁上のビットとの排他的論理和を求める」という変換ルールに従ってグレイコードをバイナリコードに変換し、このバイナリコードを１０進数に変換してコード値にする（ステップＳＴ５）。例えば、左端の投影領域のグレイコードは「１００」なので、バイナリコードに変換すると「１１１」となり、１０進数に変換すればコード値「７」となる。
【００１０】
ステップＳＴ６にて、３次元形状計測装置が、分割された投影領域それぞれの空間コードの値と、撮像画像中の位置情報とから、各投影領域に対する投影光の角度βを求め、下式（１）より対象物体Ｐの３次元座標（ＸＰ，ＹＰ，ＺＰ）を算出する。なお、空間コード化法による三角測量は特許文献２等に記載された方法を用いればよいため、ここでは詳細な説明を省略する。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開昭６４−５４２０８号公報
【特許文献２】特開２０００−６５５４７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
従来の３次元形状計測方法は以上のように構成されているので、対象物体の表面に凹凸がある場合、投影パターンを照射しても光の当たらない陰の領域が発生してしまい、三角測量に基づいて演算した結果が信頼できないものとなってしまう課題があった。
また、投影パターンの照射時に外乱光及び対象物体の反射光等があると、２値化する際にノイズとなり、投影パターンの誤認識が生じてしまう課題があった。
【００１３】
この発明は、上記のような課題を解決するためになされたもので、投影パターンを照射しても光の当たらない陰領域に由来する情報をノイズとして除去することにより、信頼性の高い３次元形状計測結果を得ることを目的とする。
【課題を解決するための手段】
【００１４】
この発明に係る３次元形状計測方法は、画素毎の３次元情報に基づいて、注目画素と隣接画素の高さを比較し、高さの差が所定範囲内の画素同士を連結して連結領域を設定する連結領域設定ステップと、連結領域設定ステップで設定された連結領域の面積が所定値より小さい場合にノイズと判定するノイズ判定ステップと、ノイズ判定ステップでノイズと判定した連結領域の３次元情報を除去するノイズ除去ステップとを備えるものである。
【００１５】
この発明に係る３次元形状計測方法は、複数の撮像画像それぞれの各画素について、光が投影された場合と光が投影されない場合での輝度値の変動幅が所定範囲内の画素を抽出し、１枚の画像上に統合して統合画像を生成する統合画像生成ステップと、統合画像生成ステップで生成した統合画像を膨張処理及び収縮処理して、各画素が結合した領域をノイズと判定するノイズ判定ステップと、ノイズ判定ステップでノイズと判定した領域内の画素を複数の撮像画像から除去するノイズ除去ステップとを備えるものである。
【００１６】
この発明に係る３次元形状計測方法は、変換した空間コードが同一の画素が集合した領域のうち、領域幅が所定値より広い領域をノイズと判定して抽出するノイズ判定ステップと、ノイズ判定ステップで抽出された領域の空間コードを除去するノイズ除去ステップとを備えるものである。
【００１７】
この発明に係る３次元形状計測装置は、画素毎の３次元情報に基づいて、注目画素と隣接画素の高さを比較し、高さの差が所定範囲内の画素同士を連結して連結領域を設定し、当該連結領域の面積が所定値より小さい場合にノイズと判定するノイズ判定手段と、ノイズ判定手段がノイズと判定した連結領域の３次元情報を除去するノイズ除去手段とを備えるものである。
【００１８】
この発明に係る３次元形状計測装置は、複数の撮像画像それぞれの各画素について、光が投影された場合と光が投影されない場合での輝度値の変動幅が所定範囲内の画素を抽出し、１枚の画像上に統合して統合画像を生成し、当該統合画像を膨張処理及び収縮処理して、各画素が結合した領域をノイズと判定するノイズ判定手段と、ノイズ判定手段がノイズと判定した領域内の画素を複数の撮像画像から除去するノイズ除去手段とを備えるものである。
【００１９】
この発明に係る３次元形状計測装置は、変換した空間コードが同一の画素が集合した領域のうち、領域幅が所定値より広い領域をノイズと判定して抽出するノイズ判定手段と、ノイズ判定手段が抽出した領域の空間コードを除去するノイズ除去手段とを備えるものである。
【発明の効果】
【００２０】
この発明によれば、３次元情報に基づいて高さの差が所定範囲内の画素同士を連結し、連結領域の面積が所定値より小さい場合にノイズと判定して除去するようにしたので、計測結果が近傍の計測結果と比較して大きく変動している場合に陰領域に由来するノイズとして除去できるようになり、この結果、信頼性の高い３次元形状計測結果を得ることができる。
【００２１】
この発明によれば、撮像画像から輝度値の変動幅が所定範囲内の画素を抽出し、膨張処理及び収縮処理して結合した領域をノイズと判定して除去するようにしたので、外乱光及び反射光等によって陰領域の輝度値が変動するという原理に基づいて陰領域を判定して撮像画像から除去できるようになり、この結果、信頼性の高い３次元形状計測結果を得ることができる。
【００２２】
この発明によれば、空間コードが同一の画素が集合した領域のうち、領域幅が所定値より広い領域をノイズと判定して除去するようにしたので、陰領域に由来する空間コードを除去できるようになり、この結果、信頼性の高い３次元形状計測結果を得ることができる。
【図面の簡単な説明】
【００２３】
【図１】この発明の実施の形態１に係る３次元形状計測装置２０の構成を示すブロック図である。
【図２】この発明の実施の形態１に係る３次元形状計測装置２０の動作を示すフローチャートである。
【図３】三角測量により得た各画素の３次元座標位置を示す図である。
【図４】ノイズ判定手段２４が注目画素と隣接画素が同一領域か否かを判別する同一領域判断処理を説明する図であり、図４（ａ）は同一領域の例、図４（ｂ）は異なる領域の例を示す。
【図５】この発明の実施の形態２に係る３次元形状計測装置２０の動作を示すフローチャートである。
【図６】この発明の実施の形態３に係る３次元形状計測装置２０の動作を示すフローチャートである。
【図７】対象物体を撮像した撮像画像において、同一空間コードを持つ領域を示す図であり、図７（ａ）正しい空間コードを持つ領域の例、図７（ｂ）は誤った空間コードを持つ領域の例を示す。
【図８】空間コード化法により三角測量を行う３次元形状計測装置の構成を示すｘ−ｙ平面図である。
【図９】図８に示す３次元形状計測装置のｙ−ｚ平面図である。
【図１０】バイナリコード投影パターンを示す図である。
【図１１】図１０に示すバイナリコード投影パターンに対応する空間コードを示す図である。
【図１２】従来の３次元形状計測装置の動作を示すフローチャートである。
【図１３】グレイコード投影パターンを示す図である。
【図１４】図１３に示すグレイコード投影パターンに対応する空間コードを示す図である。
【発明を実施するための形態】
【００２４】
実施の形態１．
図１は、この発明の実施の形態１に係る３次元形状計測装置２０の構成を示すブロック図である。この３次元形状計測装置２０は、例えばロボットを制御して部品の組み立て、加工等を行い製品の製造を行うラインにおいて、整列配置されていない山積みの部品から、ロボットを用いて部品のピッキングを行って、加工、成型等を行う場合を想定したものである。
【００２５】
図１に示す３次元形状計測装置２０は、先立って説明した図８及び図９に示す配置のカメラ１１及びプロジェクタ１２を使用するものであり、カメラ１１に接続する画像処理手段２１と、プロジェクタ１２に接続する投影パターン照射手段２２と、空間コード算出手段２３と、ノイズ判定手段２４と、ノイズ除去手段２５と、三角測量手段２６とを備える。
【００２６】
図２は、本実施の形態１に係る３次元形状計測装置２０の動作を示すフローチャートである。なお、図２に示すステップＳＴ１〜ＳＴ６は、図１２に示すステップＳＴ１〜ＳＴ６と同一の処理であるため、詳細な説明は省略する。
投影パターン照射手段２２は、プロジェクタ１２に接続し、Ｎ枚の投影パターンを読み込んでプロジェクタ１２から対象物体に照射させる（ステップＳＴ１）。画像処理手段２１は、カメラ１１に接続し、各投影パターンが照射された対象物体をカメラ１１に撮像させ、Ｎ枚の撮像画像を取得する（ステップＳＴ２）。なお、この例では投影パターンとして、図１３に示すようなグレイコード投影パターンを用いる。
空間コード算出手段２３は、画像処理手段２１が取得したＮ枚の撮像画像の各画素の明暗を「１」、「０」で２値化して（ステップＳＴ３）、図１４に示すようなＮビット長の２進数からなるグレイコードに変換し（ステップＳＴ４）、さらに、空間コードに変換する（ステップＳＴ５）。
三角測量手段２６は、空間コード算出手段２３が算出した空間コードを用いて、三角測量により対象物体の各画素の３次元座標を算出し、対象物体の３次元形状を得る（ステップＳＴ６）。
【００２７】
ここで、対象物体の表面に凹凸がある場合、投影パターンを照射しても光の当たらない陰領域が発生する。この陰領域から得られる計測結果には誤った情報が含まれているため、周辺の計測結果と比較して大きく変動する特徴がある。そこで、撮像画像の各画素から算出した３次元座標に基づいて所定範囲の高さの画素同士を連結する。すると、陰領域は連結領域の面積が小さいという性質があるので、面積が小さい連結領域を陰領域、即ちノイズとして検出して除去することができる。
【００２８】
ノイズ判定手段２４は、三角測量手段２６が３次元座標を算出した撮像画像をラスタスキャンして未処理画素を探す（ステップＳＴ７）。ノイズ判定手段２４は、発見した未処理画素を注目画素に設定して次のステップＳＴ８へ進み（ステップＳＴ７“ＹＥＳ”）、未処理画素がなくなればステップＳＴ１０へ進む（ステップＳＴ７“ＮＯ”）。
図３は、三角測量により得た各画素の３次元座標位置を示す図である。ノイズ判定手段２４は、図中の画素１００を開始点にして各画素のラスタスキャンを行い、例えば画素１００が未処理画素であれば先ず画素１００を注目画素に設定する。
【００２９】
続くステップＳＴ８にてノイズ判定手段２４が、各画素の３次元座標に基づいて、注目画素に接する隣接画素を探索する。このときの探索は、注目画素を中心に４方向を探索する４近傍探索でもよいし、８方向を探索する８近傍探索でもよい。なお、後述のステップＳＴ９にて既に別の領域に含まれていると判断した画素は除く。
【００３０】
続くステップＳＴ９にてノイズ判定手段２４は、隣接画素の高さが、注目画素の高さ±ｈ（ｈは規定値とする）の範囲にあれば隣接画素と注目画素とが同じ領域にあると判断し、範囲外にあれば同じ領域にないと判断する。そして、ノイズ判定手段２４は、同一領域と判断した各画素を連結して、連結領域とする。
図４は、ノイズ判定手段２４が注目画素と隣接画素が同一領域か否かを判断する同一領域判断処理を説明する図であり、ｚ−ｙ平面において判断する場合を例示する。図４（ａ）に示すように、注目画素１００の高さ位置を中心にして±ｈの範囲内に隣接画素１０１が存在する場合、ノイズ判定手段２４は同一領域と判断して注目画素１００と隣接画素１０１を連結する。一方、図４（ｂ）に示すように、注目画素１００の高さ位置を中心にして±ｈの範囲外に隣接画素１０１が存在する場合、ノイズ判定手段２４は同一領域にないと判断して、連結しない。
【００３１】
このように、ノイズ判定手段２４は、注目画素と隣接画素の条件判断を行い、同一領域と判断した画素の連結処理を行う。そして、ノイズ判定手段２４は、ステップＳＴ９にて同一領域と判断された隣接画素があれば（ステップＳＴ９“ＹＥＳ”）、その隣接画素を新たな注目画素に設定して再びステップＳＴ８の近傍探索を行う。一方、同一領域と判断される隣接画素がなくなると（ステップＳＴ９“ＮＯ”）、ノイズ判定手段２４は再帰処理を終え、ステップＳＴ７に戻って次の注目画素を探索する。
なお、ステップＳＴ７〜ＳＴ９が連結領域設定ステップである。
【００３２】
続くステップＳＴ１０にて、先ず、ノイズ判定手段２４が連結領域の面積が所定値以下であれば陰領域に由来するノイズと判定し（ノイズ判定ステップ）、続いて、ノイズ除去手段２５が、この連結領域に含まれる各画素の３次元座標値を除去する（ノイズ除去ステップ）。
【００３３】
以上より、実施の形態１によれば、３次元形状計測装置２０は、対象物体を含む測定空間を分割する空間コードに対応した複数の投影パターンを、プロジェクタ１２から対象物体に順次投影する投影パターン照射手段２２と、各投影パターンの投影された対象物体をカメラ１１で撮像した複数の撮像画像を取得する画像処理手段２１と、撮像画像の各画素を輝度値に応じて２値化して空間コードに変換する空間コード算出手段２３と、変換した空間コードを用いた三角測量により画素毎に３次元情報を算出して対象物体の３次元形状を求める三角測量手段２６と、画素毎の３次元情報に基づいて、注目画素と隣接画素の高さを比較し、高さの差が所定範囲内の画素同士を連結して連結領域を設定し、連結領域の面積が所定値より小さい場合にノイズと判定するノイズ判定手段２４と、ノイズと判定された連結領域の３次元情報を除去するノイズ除去手段２５とを備えるように構成した。このため、計測結果が近傍の計測結果と比較して大きく変動している場合に陰領域に由来するノイズとして除去できるようになる。この結果、陰領域の計測結果を含めずに対象物体の３次元形状を算出することができ、信頼性を向上できる。
【００３４】
実施の形態２．
外乱光が一切ない理想的な環境下で対象物体にパターン投影すると、原理的に、陰領域の輝度値は変化しない。一方、外乱光のある環境下でパターン投影すると、外乱光や対象物体の表面の反射率によって、陰領域で検出される輝度値はわずかに変動する。ただし、輝度値のこの変動幅は、陰領域以外の領域で検出される輝度値の変化に比べて小さい。そこで、光が当たった場合と当たらない場合の輝度値の変動について基準範囲を設け、基準範囲以内で輝度値が変動する画素を撮像画像から抽出して結合し、この結合領域を陰領域、即ちノイズとみなして除去する。
【００３５】
図５は、実施の形態２に係る３次元形状計測装置２０の動作を示すフローチャートである。なお、図５に示すステップＳＴ１〜ＳＴ６は、図１２に示すステップＳＴ１〜ＳＴ６と同一の処理であるため、詳細な説明は省略する。また、実施の形態２に係る３次元形状計測装置２０の構成は、図面上では図１、図８及び図９に示す構成と同じであるため、以下の説明ではこれらの図を援用する。
【００３６】
以下、輝度値の変動を利用したノイズ除去方法を、２例説明する。
（１）全明、全暗投影パターンを使用する場合
ステップＳＴ１にて投影パターン照射手段２２がＮ枚の投影パターンを読み込み、ステップＳＴ２にて画像処理手段２１が各投影パターンの撮像画像を取得するが、これに加えて、対象物体に光を当てた場合（全明投影パターン）と、全く光を当てない場合（全暗投影パターン）の２枚の撮像画像も取得する。
ステップＳＴ１１にてノイズ判定手段２４は、先ず、対象物体に光を当てた場合の撮像画像と全く光を当てない場合の撮像画像の各画素について平均値を算出し、輝度値比較用画像を作成しておく。ノイズ判定手段２４は、続いて、各投影パターンの撮像画像と輝度値比較用画像の各画素を比較して、輝度値の差が基準範囲内の画素を抽出する。
【００３７】
（２）反転投影パターンを使用する場合
ステップＳＴ１にて投影パターン照射手段２２がＮ枚の撮影パターンを読み込み、ステップＳＴ２にて画像処理手段２１が各投影パターンの撮像画像を取得するが、これに加えて、Ｎ枚の投影パターンそれぞれの明暗を反転させた投影パターンを照射・撮像した撮像画像も取得する。
ステップＳＴ１１にてノイズ判定手段２４は、各投影パターンについて、通常の撮像画像と明暗反転させた場合の撮像画像の各画素について輝度値を比較し、輝度値の差が基準範囲内の画素を抽出する。
【００３８】
以下の処理は上記（１）、（２）に共通である。
ステップＳＴ１２にてノイズ判定手段２４は、ステップＳＴ１１の輝度値比較処理で抽出したＮ枚の撮像画像の各画素を１枚に統合して統合画像を作成する。基準値の設定に応じて各撮像画像からの画素の抽出密度は異なるが、Ｎ枚分の抽出画素を統合して得られる統合画像には点が集中する領域が存在することとなる。
なお、ステップＳＴ１１，ＳＴ１２が統合画像生成ステップである。
【００３９】
続くステップＳＴ１３にて、先ず、ノイズ判定手段２４が、統合画像中の点群に対して、Ｍ回の膨張処理、Ｍ回の収縮処理によるクロージング処理を行って、点群を結合した結合領域にする（ノイズ判定ステップ）。続いてノイズ除去手段２５が、この結合領域を陰領域に由来するノイズとして、各撮像画像から除去する（ノイズ除去ステップ）。
【００４０】
続くステップＳＴ５にて空間コード算出手段２３は、ノイズが除去されたグレイコードを空間コードに変換して、ステップＳＴ６にて三角測量手段２６が三角測量により対象物体の３次元座標を算出する。
【００４１】
以上より、実施の形態２によれば、ノイズ判定手段２４が、複数の撮像画像それぞれの各画素について、光が投影された場合と光が投影されない場合での輝度値の変動幅が所定範囲内の画素を抽出し、１枚の画像上に統合して統合画像を生成し、この統合画像を膨張処理及び収縮処理して、各画素が結合した領域をノイズと判定し、ノイズ除去手段２５が、ノイズと判定された領域内の画素を各撮像画像から除去するように構成した。このため、外乱光及び反射光等によって陰領域の輝度値が変動するという原理に基づいて陰領域を判定して撮像画像から除去できるようになる。この結果、陰領域の画素を含めずに空間コードを算出するようにして、陰領域から誤った空間コードが検出されることを防ぐことができ、信頼性を向上できる。
【００４２】
実施の形態３．
三角測量によれば、原理的に、同じ空間コードを持つ領域の幅は幾何学的に計算可能である。従って、陰領域から誤った空間コードが検出されると、同一空間コードを持つ領域の幅が、計算で求めた領域幅より広くなる。そこで、領域幅に基準範囲を設け、基準範囲より領域幅が広い領域を、陰領域に由来する誤った空間コード、即ちノイズとみなして除去する。
【００４３】
図６は、実施の形態３に係る３次元形状計測装置２０の動作を示すフローチャートである。なお、図６に示すステップＳＴ１〜ＳＴ６は、図１２に示すステップＳＴ１〜ＳＴ６と同一の処理であるため、詳細な説明は省略する。また、実施の形態３に係る３次元形状計測装置２０の構成は、図面上では図１、図８及び図９に示す構成と同じであるため、以下の説明ではこれらの図を援用する。
【００４４】
ステップＳＴ２１にてノイズ判定手段２４は、同一空間コードを有する領域に対して、領域幅に基準範囲を設定し、基準範囲より幅の広い領域を撮像画像の全ての領域（投影パターンが８枚の場合、撮像画像は２８＝２５６個の領域に分割されている）から抽出する（ノイズ判定ステップ）。
続くステップＳＴ２２にてノイズ除去手段２５が、抽出した領域全てを誤った領域とみなし、空間コードを削除する（ノイズ除去ステップ）。
【００４５】
図７は、対象物体を撮像した撮像画像において、同一空間コードを持つ領域２００，２０１を示す図である。それぞれの領域に対し図面上横方向に輪切りしたときの長さをここでは領域幅と呼ぶ。図７（ａ）に示すように、対象物体Ｐの表面に凹凸が存在しても、ノイズがなければ、同一空間コードの領域２００はほぼ一定の領域幅となる。一方、図７（ｂ）に示すように、対象物体Ｐ１，Ｐ２の間のようにノイズがあると空間コード値に誤りが発生するため、領域２０１と同一空間コードをもつ画素が検出される。その結果、領域２０１の領域幅が変化する箇所が発生する。この変化した部分を領域２０２とする。領域２０２は領域２０１と接する場合と離れた場所に発生する場合がある。この領域幅が変化した領域２０２の部分をノイズとみなし除去を行う。
【００４６】
続くステップＳＴ６にて三角測量手段２６は、誤った空間コードが削除された空間コードを用いて三角測量により対象物体の３次元座標を算出する。
【００４７】
以上より、実施の形態３によれば、ノイズ判定手段２４が、変換した空間コードが同一の画素が集合した領域のうち、領域幅が所定値より広い領域をノイズと判定して抽出し、ノイズ除去手段２５が、抽出された領域の空間コードを除去するように構成した。このため、陰領域に由来する空間コードを除去できるようになり、信頼性を向上できる。
【００４８】
なお、上記実施の形態１〜３では、３次元形状計測装置２０がカメラ１１及びプロジェクタ１２を備える構成としたが、これに限定されるものではなく、３次元形状計測装置２０とカメラ１１及びプロジェクタ１２とを別体で構成して、３次元形状計測装置２０はカメラ１１及びプロジェクタ１２の設置角度や設置位置の情報といった三角測量に必要な情報、並びにカメラ１１が撮像した撮像画像を取得して、対象物体の３次元形状を計測するようにしてもよい。
【００４９】
以上のように、この発明に係る３次元形状計測方法及び３次元形状計測装置は、３次元形状を計測する際に陰領域に由来する誤った情報を除去するようにしたので、整列配置されていない山積み部品から個々の部品を識別して自動的に取り出す、ロボットのビンピッキング制御等に利用するのに適している。
【符号の説明】
【００５０】
１１ カメラ
１２ プロジェクタ
２０ ３次元形状計測装置
２１ 画像処理手段
２２ 投影パターン照射手段
２３ 空間コード算出手段
２４ ノイズ判定手段
２５ ノイズ除去手段
２６ 三角測量手段
１００ 注目画素
１０１ 隣接画素
２００，２０１，２０２ 領域
【技術分野】
【０００１】
この発明は、物体の撮像画像を用いてその物体の３次元形状を計算する３次元形状計測方法及び装置に関するものである。
【背景技術】
【０００２】
従来、三角測量に基づいて対象物体の３次元形状を得る計測方法が複数提案されている。この計測方法のひとつにパターン光投影法がある（例えば、特許文献１参照）。パターン光投影法では、コード化された複数の投影パターンを対象物体に照射した状態で撮像し、各投影パターンの撮像画像を画素毎に明暗で２値化し、２値化パターンの内容に基づいて三角測量により対象物体の３次元形状を演算するようにしていた。また、特許文献２に係る３次元形状計測装置では、パターン光投影法のひとつである空間コード化法を用いて、対象物体の３次元形状を計測する。
【０００３】
図８及び図９は、従来の、空間コード化法により三角測量を行う３次元形状計測装置の構成を示す図であり、ｘ軸、ｙ軸及びｚ軸を仮想的に設定した３次元の測定空間のうち、ｘ−ｚ平面を図８に示し、ｙ−ｚ平面を図９に示す。対象物体Ｐに対して、プロジェクタ１２を用いて投影パターンを照射し、カメラ１１が視野範囲全面を撮像する。カメラ１１は床面Ｇから高さＨ１の位置に固定され、固定位置を測定空間の原点Ｏとする。また、プロジェクタ１２は床面Ｇから高さＨ２、カメラ１１から距離ｄの位置に固定される。ここで、三角測量を行うには、図８及び図９に示す角度α，β，θを求める必要がある。角度α，θは、カメラ１１が撮像した撮像画像中の対象物体Ｐの位置を利用して求めることができるが、角度βはプロジェクタ１２の情報を利用して求める必要がある。
【０００４】
この角度βを求めるために、プロジェクタ１２から規則に従った投影パターンをＮ枚投影して、投影領域を２Ｎ個に分割する。カメラ１１は、対象物体Ｐに投影パターンを照射した状態で撮像し、３次元形状計測装置がＮ枚の撮像画像を用いて、分割した個々の領域に対する投影光の角度βを算出し、三角測量を行う。
【０００５】
投影パターンは、光が当たる領域（以下、明領域）と当たらない領域（以下、暗領域）からなり、明領域を「１」、暗領域を「０」としてＮパターン投影すれば、測定空間の投影領域を２Ｎ個に分割してコード化する、即ち各領域に空間コードを割り振ることができる。投影パターンは様々なものが提案されているが、グレイコード（交番２進コード）が一般的である。ここでは、先ずバイナリコードを説明し、その後にグレイコードを説明する。
【０００６】
図１０は、従来の３次元形状計測装置で用いるバイナリコード投影パターンを示す図である。このバイナリコード投影パターンは、後述する図１１のように付与するコード値の２進数を縦方向同一位置に並べたときの、横方向に並んだ各２進数を利用したものである。例えば、投影領域を８個（＝２３）に分割してコード化するためには、バイナリコード投影パターンが３枚必要となる。図１０に示す投影パターン１〜３において、白い部分を明領域、黒い部分を暗領域とする。
図１０に示すバイナリコード投影パターン１〜３それぞれをプロジェクタ１２が投影し、カメラ１１が撮像する。３次元形状計測装置は、投影パターン１〜３の撮像画像の各画素の輝度値に基づいて明暗を「１」、「０」に２値化して、図１１に示すように、投影パターン１〜３の同一領域を３ビット長の２進数からなるバイナリコードにし、各バイナリコードを１０進数のコード値（空間コード）に変換する。例えば、左端の投影領域のバイナリコードは「１１１」なので、１０進数に変換すればコード値「７」となる。３次元形状計測装置はこのようにして投影領域を「０」〜「７」の８個にコード化する。
【０００７】
以下、空間コード化法による３次元形状計測装置の動作を、図１２に示すフローチャートを用いて説明する。
図１３は、従来の３次元形状計測装置で用いるグレイコード投影パターンを示す図である。グレイコード投影パターンは、付与するコード値の２進数を「最上位桁から１であれば残り下桁を反転、０であれば残り下桁を反転させない」というルールに従って変換する。すると、グレイコードで投影領域を８個に分割してコード化する場合の投影パターン１〜３は図１３のようになる。
【０００８】
３次元形状計測装置は、図１３に示すグレイコード投影パターン１〜３を読み込んで（ステップＳＴ１）、プロジェクタ１２から測定空間へ向けて各投影パターンを投影し、カメラ１１でそれぞれ撮像させる（ステップＳＴ２）。
続いて、３次元形状計測装置が、上述のバイナリコート投影パターンと同様に、投影パターン１〜３の撮像画像の同一領域の明暗を「１」、「０」で２値化して（ステップＳＴ３）、図１４に示すように、投影パターン１〜３の同一領域を３ビット長の２進数からなるグレイコードに変換する（ステップＳＴ４）。
【０００９】
グレイコード投影パターンを用いる場合は、空間コード取得の際に、グレイコードをバイナリコードに変換するコード変換処理が必要になる。コード変換処理では「最上位ビットはそのまま、以下は全てグレイコードの該当ビットとバイナリコードの１桁上のビットとの排他的論理和を求める」という変換ルールに従ってグレイコードをバイナリコードに変換し、このバイナリコードを１０進数に変換してコード値にする（ステップＳＴ５）。例えば、左端の投影領域のグレイコードは「１００」なので、バイナリコードに変換すると「１１１」となり、１０進数に変換すればコード値「７」となる。
【００１０】
ステップＳＴ６にて、３次元形状計測装置が、分割された投影領域それぞれの空間コードの値と、撮像画像中の位置情報とから、各投影領域に対する投影光の角度βを求め、下式（１）より対象物体Ｐの３次元座標（ＸＰ，ＹＰ，ＺＰ）を算出する。なお、空間コード化法による三角測量は特許文献２等に記載された方法を用いればよいため、ここでは詳細な説明を省略する。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開昭６４−５４２０８号公報
【特許文献２】特開２０００−６５５４７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
従来の３次元形状計測方法は以上のように構成されているので、対象物体の表面に凹凸がある場合、投影パターンを照射しても光の当たらない陰の領域が発生してしまい、三角測量に基づいて演算した結果が信頼できないものとなってしまう課題があった。
また、投影パターンの照射時に外乱光及び対象物体の反射光等があると、２値化する際にノイズとなり、投影パターンの誤認識が生じてしまう課題があった。
【００１３】
この発明は、上記のような課題を解決するためになされたもので、投影パターンを照射しても光の当たらない陰領域に由来する情報をノイズとして除去することにより、信頼性の高い３次元形状計測結果を得ることを目的とする。
【課題を解決するための手段】
【００１４】
この発明に係る３次元形状計測方法は、画素毎の３次元情報に基づいて、注目画素と隣接画素の高さを比較し、高さの差が所定範囲内の画素同士を連結して連結領域を設定する連結領域設定ステップと、連結領域設定ステップで設定された連結領域の面積が所定値より小さい場合にノイズと判定するノイズ判定ステップと、ノイズ判定ステップでノイズと判定した連結領域の３次元情報を除去するノイズ除去ステップとを備えるものである。
【００１５】
この発明に係る３次元形状計測方法は、複数の撮像画像それぞれの各画素について、光が投影された場合と光が投影されない場合での輝度値の変動幅が所定範囲内の画素を抽出し、１枚の画像上に統合して統合画像を生成する統合画像生成ステップと、統合画像生成ステップで生成した統合画像を膨張処理及び収縮処理して、各画素が結合した領域をノイズと判定するノイズ判定ステップと、ノイズ判定ステップでノイズと判定した領域内の画素を複数の撮像画像から除去するノイズ除去ステップとを備えるものである。
【００１６】
この発明に係る３次元形状計測方法は、変換した空間コードが同一の画素が集合した領域のうち、領域幅が所定値より広い領域をノイズと判定して抽出するノイズ判定ステップと、ノイズ判定ステップで抽出された領域の空間コードを除去するノイズ除去ステップとを備えるものである。
【００１７】
この発明に係る３次元形状計測装置は、画素毎の３次元情報に基づいて、注目画素と隣接画素の高さを比較し、高さの差が所定範囲内の画素同士を連結して連結領域を設定し、当該連結領域の面積が所定値より小さい場合にノイズと判定するノイズ判定手段と、ノイズ判定手段がノイズと判定した連結領域の３次元情報を除去するノイズ除去手段とを備えるものである。
【００１８】
この発明に係る３次元形状計測装置は、複数の撮像画像それぞれの各画素について、光が投影された場合と光が投影されない場合での輝度値の変動幅が所定範囲内の画素を抽出し、１枚の画像上に統合して統合画像を生成し、当該統合画像を膨張処理及び収縮処理して、各画素が結合した領域をノイズと判定するノイズ判定手段と、ノイズ判定手段がノイズと判定した領域内の画素を複数の撮像画像から除去するノイズ除去手段とを備えるものである。
【００１９】
この発明に係る３次元形状計測装置は、変換した空間コードが同一の画素が集合した領域のうち、領域幅が所定値より広い領域をノイズと判定して抽出するノイズ判定手段と、ノイズ判定手段が抽出した領域の空間コードを除去するノイズ除去手段とを備えるものである。
【発明の効果】
【００２０】
この発明によれば、３次元情報に基づいて高さの差が所定範囲内の画素同士を連結し、連結領域の面積が所定値より小さい場合にノイズと判定して除去するようにしたので、計測結果が近傍の計測結果と比較して大きく変動している場合に陰領域に由来するノイズとして除去できるようになり、この結果、信頼性の高い３次元形状計測結果を得ることができる。
【００２１】
この発明によれば、撮像画像から輝度値の変動幅が所定範囲内の画素を抽出し、膨張処理及び収縮処理して結合した領域をノイズと判定して除去するようにしたので、外乱光及び反射光等によって陰領域の輝度値が変動するという原理に基づいて陰領域を判定して撮像画像から除去できるようになり、この結果、信頼性の高い３次元形状計測結果を得ることができる。
【００２２】
この発明によれば、空間コードが同一の画素が集合した領域のうち、領域幅が所定値より広い領域をノイズと判定して除去するようにしたので、陰領域に由来する空間コードを除去できるようになり、この結果、信頼性の高い３次元形状計測結果を得ることができる。
【図面の簡単な説明】
【００２３】
【図１】この発明の実施の形態１に係る３次元形状計測装置２０の構成を示すブロック図である。
【図２】この発明の実施の形態１に係る３次元形状計測装置２０の動作を示すフローチャートである。
【図３】三角測量により得た各画素の３次元座標位置を示す図である。
【図４】ノイズ判定手段２４が注目画素と隣接画素が同一領域か否かを判別する同一領域判断処理を説明する図であり、図４（ａ）は同一領域の例、図４（ｂ）は異なる領域の例を示す。
【図５】この発明の実施の形態２に係る３次元形状計測装置２０の動作を示すフローチャートである。
【図６】この発明の実施の形態３に係る３次元形状計測装置２０の動作を示すフローチャートである。
【図７】対象物体を撮像した撮像画像において、同一空間コードを持つ領域を示す図であり、図７（ａ）正しい空間コードを持つ領域の例、図７（ｂ）は誤った空間コードを持つ領域の例を示す。
【図８】空間コード化法により三角測量を行う３次元形状計測装置の構成を示すｘ−ｙ平面図である。
【図９】図８に示す３次元形状計測装置のｙ−ｚ平面図である。
【図１０】バイナリコード投影パターンを示す図である。
【図１１】図１０に示すバイナリコード投影パターンに対応する空間コードを示す図である。
【図１２】従来の３次元形状計測装置の動作を示すフローチャートである。
【図１３】グレイコード投影パターンを示す図である。
【図１４】図１３に示すグレイコード投影パターンに対応する空間コードを示す図である。
【発明を実施するための形態】
【００２４】
実施の形態１．
図１は、この発明の実施の形態１に係る３次元形状計測装置２０の構成を示すブロック図である。この３次元形状計測装置２０は、例えばロボットを制御して部品の組み立て、加工等を行い製品の製造を行うラインにおいて、整列配置されていない山積みの部品から、ロボットを用いて部品のピッキングを行って、加工、成型等を行う場合を想定したものである。
【００２５】
図１に示す３次元形状計測装置２０は、先立って説明した図８及び図９に示す配置のカメラ１１及びプロジェクタ１２を使用するものであり、カメラ１１に接続する画像処理手段２１と、プロジェクタ１２に接続する投影パターン照射手段２２と、空間コード算出手段２３と、ノイズ判定手段２４と、ノイズ除去手段２５と、三角測量手段２６とを備える。
【００２６】
図２は、本実施の形態１に係る３次元形状計測装置２０の動作を示すフローチャートである。なお、図２に示すステップＳＴ１〜ＳＴ６は、図１２に示すステップＳＴ１〜ＳＴ６と同一の処理であるため、詳細な説明は省略する。
投影パターン照射手段２２は、プロジェクタ１２に接続し、Ｎ枚の投影パターンを読み込んでプロジェクタ１２から対象物体に照射させる（ステップＳＴ１）。画像処理手段２１は、カメラ１１に接続し、各投影パターンが照射された対象物体をカメラ１１に撮像させ、Ｎ枚の撮像画像を取得する（ステップＳＴ２）。なお、この例では投影パターンとして、図１３に示すようなグレイコード投影パターンを用いる。
空間コード算出手段２３は、画像処理手段２１が取得したＮ枚の撮像画像の各画素の明暗を「１」、「０」で２値化して（ステップＳＴ３）、図１４に示すようなＮビット長の２進数からなるグレイコードに変換し（ステップＳＴ４）、さらに、空間コードに変換する（ステップＳＴ５）。
三角測量手段２６は、空間コード算出手段２３が算出した空間コードを用いて、三角測量により対象物体の各画素の３次元座標を算出し、対象物体の３次元形状を得る（ステップＳＴ６）。
【００２７】
ここで、対象物体の表面に凹凸がある場合、投影パターンを照射しても光の当たらない陰領域が発生する。この陰領域から得られる計測結果には誤った情報が含まれているため、周辺の計測結果と比較して大きく変動する特徴がある。そこで、撮像画像の各画素から算出した３次元座標に基づいて所定範囲の高さの画素同士を連結する。すると、陰領域は連結領域の面積が小さいという性質があるので、面積が小さい連結領域を陰領域、即ちノイズとして検出して除去することができる。
【００２８】
ノイズ判定手段２４は、三角測量手段２６が３次元座標を算出した撮像画像をラスタスキャンして未処理画素を探す（ステップＳＴ７）。ノイズ判定手段２４は、発見した未処理画素を注目画素に設定して次のステップＳＴ８へ進み（ステップＳＴ７“ＹＥＳ”）、未処理画素がなくなればステップＳＴ１０へ進む（ステップＳＴ７“ＮＯ”）。
図３は、三角測量により得た各画素の３次元座標位置を示す図である。ノイズ判定手段２４は、図中の画素１００を開始点にして各画素のラスタスキャンを行い、例えば画素１００が未処理画素であれば先ず画素１００を注目画素に設定する。
【００２９】
続くステップＳＴ８にてノイズ判定手段２４が、各画素の３次元座標に基づいて、注目画素に接する隣接画素を探索する。このときの探索は、注目画素を中心に４方向を探索する４近傍探索でもよいし、８方向を探索する８近傍探索でもよい。なお、後述のステップＳＴ９にて既に別の領域に含まれていると判断した画素は除く。
【００３０】
続くステップＳＴ９にてノイズ判定手段２４は、隣接画素の高さが、注目画素の高さ±ｈ（ｈは規定値とする）の範囲にあれば隣接画素と注目画素とが同じ領域にあると判断し、範囲外にあれば同じ領域にないと判断する。そして、ノイズ判定手段２４は、同一領域と判断した各画素を連結して、連結領域とする。
図４は、ノイズ判定手段２４が注目画素と隣接画素が同一領域か否かを判断する同一領域判断処理を説明する図であり、ｚ−ｙ平面において判断する場合を例示する。図４（ａ）に示すように、注目画素１００の高さ位置を中心にして±ｈの範囲内に隣接画素１０１が存在する場合、ノイズ判定手段２４は同一領域と判断して注目画素１００と隣接画素１０１を連結する。一方、図４（ｂ）に示すように、注目画素１００の高さ位置を中心にして±ｈの範囲外に隣接画素１０１が存在する場合、ノイズ判定手段２４は同一領域にないと判断して、連結しない。
【００３１】
このように、ノイズ判定手段２４は、注目画素と隣接画素の条件判断を行い、同一領域と判断した画素の連結処理を行う。そして、ノイズ判定手段２４は、ステップＳＴ９にて同一領域と判断された隣接画素があれば（ステップＳＴ９“ＹＥＳ”）、その隣接画素を新たな注目画素に設定して再びステップＳＴ８の近傍探索を行う。一方、同一領域と判断される隣接画素がなくなると（ステップＳＴ９“ＮＯ”）、ノイズ判定手段２４は再帰処理を終え、ステップＳＴ７に戻って次の注目画素を探索する。
なお、ステップＳＴ７〜ＳＴ９が連結領域設定ステップである。
【００３２】
続くステップＳＴ１０にて、先ず、ノイズ判定手段２４が連結領域の面積が所定値以下であれば陰領域に由来するノイズと判定し（ノイズ判定ステップ）、続いて、ノイズ除去手段２５が、この連結領域に含まれる各画素の３次元座標値を除去する（ノイズ除去ステップ）。
【００３３】
以上より、実施の形態１によれば、３次元形状計測装置２０は、対象物体を含む測定空間を分割する空間コードに対応した複数の投影パターンを、プロジェクタ１２から対象物体に順次投影する投影パターン照射手段２２と、各投影パターンの投影された対象物体をカメラ１１で撮像した複数の撮像画像を取得する画像処理手段２１と、撮像画像の各画素を輝度値に応じて２値化して空間コードに変換する空間コード算出手段２３と、変換した空間コードを用いた三角測量により画素毎に３次元情報を算出して対象物体の３次元形状を求める三角測量手段２６と、画素毎の３次元情報に基づいて、注目画素と隣接画素の高さを比較し、高さの差が所定範囲内の画素同士を連結して連結領域を設定し、連結領域の面積が所定値より小さい場合にノイズと判定するノイズ判定手段２４と、ノイズと判定された連結領域の３次元情報を除去するノイズ除去手段２５とを備えるように構成した。このため、計測結果が近傍の計測結果と比較して大きく変動している場合に陰領域に由来するノイズとして除去できるようになる。この結果、陰領域の計測結果を含めずに対象物体の３次元形状を算出することができ、信頼性を向上できる。
【００３４】
実施の形態２．
外乱光が一切ない理想的な環境下で対象物体にパターン投影すると、原理的に、陰領域の輝度値は変化しない。一方、外乱光のある環境下でパターン投影すると、外乱光や対象物体の表面の反射率によって、陰領域で検出される輝度値はわずかに変動する。ただし、輝度値のこの変動幅は、陰領域以外の領域で検出される輝度値の変化に比べて小さい。そこで、光が当たった場合と当たらない場合の輝度値の変動について基準範囲を設け、基準範囲以内で輝度値が変動する画素を撮像画像から抽出して結合し、この結合領域を陰領域、即ちノイズとみなして除去する。
【００３５】
図５は、実施の形態２に係る３次元形状計測装置２０の動作を示すフローチャートである。なお、図５に示すステップＳＴ１〜ＳＴ６は、図１２に示すステップＳＴ１〜ＳＴ６と同一の処理であるため、詳細な説明は省略する。また、実施の形態２に係る３次元形状計測装置２０の構成は、図面上では図１、図８及び図９に示す構成と同じであるため、以下の説明ではこれらの図を援用する。
【００３６】
以下、輝度値の変動を利用したノイズ除去方法を、２例説明する。
（１）全明、全暗投影パターンを使用する場合
ステップＳＴ１にて投影パターン照射手段２２がＮ枚の投影パターンを読み込み、ステップＳＴ２にて画像処理手段２１が各投影パターンの撮像画像を取得するが、これに加えて、対象物体に光を当てた場合（全明投影パターン）と、全く光を当てない場合（全暗投影パターン）の２枚の撮像画像も取得する。
ステップＳＴ１１にてノイズ判定手段２４は、先ず、対象物体に光を当てた場合の撮像画像と全く光を当てない場合の撮像画像の各画素について平均値を算出し、輝度値比較用画像を作成しておく。ノイズ判定手段２４は、続いて、各投影パターンの撮像画像と輝度値比較用画像の各画素を比較して、輝度値の差が基準範囲内の画素を抽出する。
【００３７】
（２）反転投影パターンを使用する場合
ステップＳＴ１にて投影パターン照射手段２２がＮ枚の撮影パターンを読み込み、ステップＳＴ２にて画像処理手段２１が各投影パターンの撮像画像を取得するが、これに加えて、Ｎ枚の投影パターンそれぞれの明暗を反転させた投影パターンを照射・撮像した撮像画像も取得する。
ステップＳＴ１１にてノイズ判定手段２４は、各投影パターンについて、通常の撮像画像と明暗反転させた場合の撮像画像の各画素について輝度値を比較し、輝度値の差が基準範囲内の画素を抽出する。
【００３８】
以下の処理は上記（１）、（２）に共通である。
ステップＳＴ１２にてノイズ判定手段２４は、ステップＳＴ１１の輝度値比較処理で抽出したＮ枚の撮像画像の各画素を１枚に統合して統合画像を作成する。基準値の設定に応じて各撮像画像からの画素の抽出密度は異なるが、Ｎ枚分の抽出画素を統合して得られる統合画像には点が集中する領域が存在することとなる。
なお、ステップＳＴ１１，ＳＴ１２が統合画像生成ステップである。
【００３９】
続くステップＳＴ１３にて、先ず、ノイズ判定手段２４が、統合画像中の点群に対して、Ｍ回の膨張処理、Ｍ回の収縮処理によるクロージング処理を行って、点群を結合した結合領域にする（ノイズ判定ステップ）。続いてノイズ除去手段２５が、この結合領域を陰領域に由来するノイズとして、各撮像画像から除去する（ノイズ除去ステップ）。
【００４０】
続くステップＳＴ５にて空間コード算出手段２３は、ノイズが除去されたグレイコードを空間コードに変換して、ステップＳＴ６にて三角測量手段２６が三角測量により対象物体の３次元座標を算出する。
【００４１】
以上より、実施の形態２によれば、ノイズ判定手段２４が、複数の撮像画像それぞれの各画素について、光が投影された場合と光が投影されない場合での輝度値の変動幅が所定範囲内の画素を抽出し、１枚の画像上に統合して統合画像を生成し、この統合画像を膨張処理及び収縮処理して、各画素が結合した領域をノイズと判定し、ノイズ除去手段２５が、ノイズと判定された領域内の画素を各撮像画像から除去するように構成した。このため、外乱光及び反射光等によって陰領域の輝度値が変動するという原理に基づいて陰領域を判定して撮像画像から除去できるようになる。この結果、陰領域の画素を含めずに空間コードを算出するようにして、陰領域から誤った空間コードが検出されることを防ぐことができ、信頼性を向上できる。
【００４２】
実施の形態３．
三角測量によれば、原理的に、同じ空間コードを持つ領域の幅は幾何学的に計算可能である。従って、陰領域から誤った空間コードが検出されると、同一空間コードを持つ領域の幅が、計算で求めた領域幅より広くなる。そこで、領域幅に基準範囲を設け、基準範囲より領域幅が広い領域を、陰領域に由来する誤った空間コード、即ちノイズとみなして除去する。
【００４３】
図６は、実施の形態３に係る３次元形状計測装置２０の動作を示すフローチャートである。なお、図６に示すステップＳＴ１〜ＳＴ６は、図１２に示すステップＳＴ１〜ＳＴ６と同一の処理であるため、詳細な説明は省略する。また、実施の形態３に係る３次元形状計測装置２０の構成は、図面上では図１、図８及び図９に示す構成と同じであるため、以下の説明ではこれらの図を援用する。
【００４４】
ステップＳＴ２１にてノイズ判定手段２４は、同一空間コードを有する領域に対して、領域幅に基準範囲を設定し、基準範囲より幅の広い領域を撮像画像の全ての領域（投影パターンが８枚の場合、撮像画像は２８＝２５６個の領域に分割されている）から抽出する（ノイズ判定ステップ）。
続くステップＳＴ２２にてノイズ除去手段２５が、抽出した領域全てを誤った領域とみなし、空間コードを削除する（ノイズ除去ステップ）。
【００４５】
図７は、対象物体を撮像した撮像画像において、同一空間コードを持つ領域２００，２０１を示す図である。それぞれの領域に対し図面上横方向に輪切りしたときの長さをここでは領域幅と呼ぶ。図７（ａ）に示すように、対象物体Ｐの表面に凹凸が存在しても、ノイズがなければ、同一空間コードの領域２００はほぼ一定の領域幅となる。一方、図７（ｂ）に示すように、対象物体Ｐ１，Ｐ２の間のようにノイズがあると空間コード値に誤りが発生するため、領域２０１と同一空間コードをもつ画素が検出される。その結果、領域２０１の領域幅が変化する箇所が発生する。この変化した部分を領域２０２とする。領域２０２は領域２０１と接する場合と離れた場所に発生する場合がある。この領域幅が変化した領域２０２の部分をノイズとみなし除去を行う。
【００４６】
続くステップＳＴ６にて三角測量手段２６は、誤った空間コードが削除された空間コードを用いて三角測量により対象物体の３次元座標を算出する。
【００４７】
以上より、実施の形態３によれば、ノイズ判定手段２４が、変換した空間コードが同一の画素が集合した領域のうち、領域幅が所定値より広い領域をノイズと判定して抽出し、ノイズ除去手段２５が、抽出された領域の空間コードを除去するように構成した。このため、陰領域に由来する空間コードを除去できるようになり、信頼性を向上できる。
【００４８】
なお、上記実施の形態１〜３では、３次元形状計測装置２０がカメラ１１及びプロジェクタ１２を備える構成としたが、これに限定されるものではなく、３次元形状計測装置２０とカメラ１１及びプロジェクタ１２とを別体で構成して、３次元形状計測装置２０はカメラ１１及びプロジェクタ１２の設置角度や設置位置の情報といった三角測量に必要な情報、並びにカメラ１１が撮像した撮像画像を取得して、対象物体の３次元形状を計測するようにしてもよい。
【００４９】
以上のように、この発明に係る３次元形状計測方法及び３次元形状計測装置は、３次元形状を計測する際に陰領域に由来する誤った情報を除去するようにしたので、整列配置されていない山積み部品から個々の部品を識別して自動的に取り出す、ロボットのビンピッキング制御等に利用するのに適している。
【符号の説明】
【００５０】
１１ カメラ
１２ プロジェクタ
２０ ３次元形状計測装置
２１ 画像処理手段
２２ 投影パターン照射手段
２３ 空間コード算出手段
２４ ノイズ判定手段
２５ ノイズ除去手段
２６ 三角測量手段
１００ 注目画素
１０１ 隣接画素
２００，２０１，２０２ 領域
【特許請求の範囲】
【請求項１】
対象物体を含む測定空間を分割する空間コードに対応した複数の投影パターンを、前記対象物体に順次投影して撮像した複数の撮像画像を用いて、各画素を輝度値に応じて２値化して前記空間コードに変換し、変換した前記空間コードを用いた三角測量により前記画素毎に３次元情報を算出して前記対象物体の３次元形状を求める３次元形状計測方法であって、
前記画素毎の３次元情報に基づいて、注目画素と隣接画素の高さを比較し、高さの差が所定範囲内の画素同士を連結して連結領域を設定する連結領域設定ステップと、
前記連結領域設定ステップで設定された連結領域の面積が所定値より小さい場合にノイズと判定するノイズ判定ステップと、
前記ノイズ判定ステップでノイズと判定した連結領域の３次元情報を除去するノイズ除去ステップとを備えることを特徴とする３次元形状計測方法。
【請求項２】
対象物体を含む測定空間を分割する空間コードに対応した複数の投影パターンを、前記対象物体に順次投影して撮像した複数の撮像画像を用いて、各画素を輝度値に応じて２値化して前記空間コードに変換し、変換した前記空間コードを用いた三角測量により前記画素毎に３次元情報を算出して前記対象物体の３次元形状を求める３次元形状計測方法であって、
前記複数の撮像画像それぞれの各画素について、光が投影された場合と光が投影されない場合での輝度値の変動幅が所定範囲内の画素を抽出し、１枚の画像上に統合して統合画像を生成する統合画像生成ステップと、
前記統合画像生成ステップで生成した統合画像を膨張処理及び収縮処理して、各画素が結合した領域をノイズと判定するノイズ判定ステップと、
前記ノイズ判定ステップでノイズと判定した領域内の画素を前記複数の撮像画像から除去するノイズ除去ステップとを備えることを特徴とする３次元形状計測方法。
【請求項３】
対象物体を含む測定空間を分割する空間コードに対応した複数の投影パターンを、前記対象物体に順次投影して撮像した複数の撮像画像を用いて、各画素を輝度値に応じて２値化して前記空間コードに変換し、変換した前記空間コードを用いた三角測量により前記画素毎に３次元情報を算出して前記対象物体の３次元形状を求める３次元形状計測方法であって、
前記変換した空間コードが同一の画素が集合した領域のうち、領域幅が所定値より広い領域をノイズと判定して抽出するノイズ判定ステップと、
前記ノイズ判定ステップで抽出された領域の空間コードを除去するノイズ除去ステップとを備えることを特徴とする３次元形状計測方法。
【請求項４】
対象物体を含む測定空間を分割する空間コードに対応した複数の投影パターンを、前記対象物体に順次投影して撮像した複数の撮像画像を用いて、各画素を輝度値に応じて２値化して前記空間コードに変換し、変換した前記空間コードを用いた三角測量により前記画素毎に３次元情報を算出して前記対象物体の３次元形状を求める３次元形状計測装置であって、
前記画素毎の３次元情報に基づいて、注目画素と隣接画素の高さを比較し、高さの差が所定範囲内の画素同士を連結して連結領域を設定し、当該連結領域の面積が所定値より小さい場合にノイズと判定するノイズ判定手段と、
前記ノイズ判定手段がノイズと判定した連結領域の３次元情報を除去するノイズ除去手段とを備えることを特徴とする３次元形状計測装置。
【請求項５】
対象物体を含む測定空間を分割する空間コードに対応した複数の投影パターンを、前記対象物体に順次投影して撮影した複数の撮像画像を用いて、各画素を輝度値に応じて２値化して前記空間コードに変換し、変換した前記空間コードを用いた三角測量により前記画素毎に３次元情報を算出して前記対象物体の３次元形状を求める３次元形状計測装置であって、
前記複数の撮像画像それぞれの各画素について、光が投影された場合と光が投影されない場合での輝度値の変動幅が所定範囲内の画素を抽出し、１枚の画像上に統合して統合画像を生成し、当該統合画像を膨張処理及び収縮処理して、各画素が結合した領域をノイズと判定するノイズ判定手段と、
前記ノイズ判定手段がノイズと判定した領域内の画素を前記複数の撮像画像から除去するノイズ除去手段とを備えることを特徴とする３次元形状計測装置。
【請求項６】
対象物体を含む測定空間を分割する空間コードに対応した複数の投影パターンを、前記対象物体に順次投影して撮像した複数の撮像画像を用いて、各画素を輝度値に応じて２値化して前記空間コードに変換し、変換した前記空間コードを用いた三角測量により前記画素毎に３次元情報を算出して前記対象物体の３次元形状を求める３次元形状計測装置であって、
前記変換した空間コードが同一の画素が集合した領域のうち、領域幅が所定値より広い領域をノイズと判定して抽出するノイズ判定手段と、
前記ノイズ判定手段が抽出した領域の空間コードを除去するノイズ除去手段とを備えることを特徴とする３次元形状計測装置。
【請求項１】
対象物体を含む測定空間を分割する空間コードに対応した複数の投影パターンを、前記対象物体に順次投影して撮像した複数の撮像画像を用いて、各画素を輝度値に応じて２値化して前記空間コードに変換し、変換した前記空間コードを用いた三角測量により前記画素毎に３次元情報を算出して前記対象物体の３次元形状を求める３次元形状計測方法であって、
前記画素毎の３次元情報に基づいて、注目画素と隣接画素の高さを比較し、高さの差が所定範囲内の画素同士を連結して連結領域を設定する連結領域設定ステップと、
前記連結領域設定ステップで設定された連結領域の面積が所定値より小さい場合にノイズと判定するノイズ判定ステップと、
前記ノイズ判定ステップでノイズと判定した連結領域の３次元情報を除去するノイズ除去ステップとを備えることを特徴とする３次元形状計測方法。
【請求項２】
対象物体を含む測定空間を分割する空間コードに対応した複数の投影パターンを、前記対象物体に順次投影して撮像した複数の撮像画像を用いて、各画素を輝度値に応じて２値化して前記空間コードに変換し、変換した前記空間コードを用いた三角測量により前記画素毎に３次元情報を算出して前記対象物体の３次元形状を求める３次元形状計測方法であって、
前記複数の撮像画像それぞれの各画素について、光が投影された場合と光が投影されない場合での輝度値の変動幅が所定範囲内の画素を抽出し、１枚の画像上に統合して統合画像を生成する統合画像生成ステップと、
前記統合画像生成ステップで生成した統合画像を膨張処理及び収縮処理して、各画素が結合した領域をノイズと判定するノイズ判定ステップと、
前記ノイズ判定ステップでノイズと判定した領域内の画素を前記複数の撮像画像から除去するノイズ除去ステップとを備えることを特徴とする３次元形状計測方法。
【請求項３】
対象物体を含む測定空間を分割する空間コードに対応した複数の投影パターンを、前記対象物体に順次投影して撮像した複数の撮像画像を用いて、各画素を輝度値に応じて２値化して前記空間コードに変換し、変換した前記空間コードを用いた三角測量により前記画素毎に３次元情報を算出して前記対象物体の３次元形状を求める３次元形状計測方法であって、
前記変換した空間コードが同一の画素が集合した領域のうち、領域幅が所定値より広い領域をノイズと判定して抽出するノイズ判定ステップと、
前記ノイズ判定ステップで抽出された領域の空間コードを除去するノイズ除去ステップとを備えることを特徴とする３次元形状計測方法。
【請求項４】
対象物体を含む測定空間を分割する空間コードに対応した複数の投影パターンを、前記対象物体に順次投影して撮像した複数の撮像画像を用いて、各画素を輝度値に応じて２値化して前記空間コードに変換し、変換した前記空間コードを用いた三角測量により前記画素毎に３次元情報を算出して前記対象物体の３次元形状を求める３次元形状計測装置であって、
前記画素毎の３次元情報に基づいて、注目画素と隣接画素の高さを比較し、高さの差が所定範囲内の画素同士を連結して連結領域を設定し、当該連結領域の面積が所定値より小さい場合にノイズと判定するノイズ判定手段と、
前記ノイズ判定手段がノイズと判定した連結領域の３次元情報を除去するノイズ除去手段とを備えることを特徴とする３次元形状計測装置。
【請求項５】
対象物体を含む測定空間を分割する空間コードに対応した複数の投影パターンを、前記対象物体に順次投影して撮影した複数の撮像画像を用いて、各画素を輝度値に応じて２値化して前記空間コードに変換し、変換した前記空間コードを用いた三角測量により前記画素毎に３次元情報を算出して前記対象物体の３次元形状を求める３次元形状計測装置であって、
前記複数の撮像画像それぞれの各画素について、光が投影された場合と光が投影されない場合での輝度値の変動幅が所定範囲内の画素を抽出し、１枚の画像上に統合して統合画像を生成し、当該統合画像を膨張処理及び収縮処理して、各画素が結合した領域をノイズと判定するノイズ判定手段と、
前記ノイズ判定手段がノイズと判定した領域内の画素を前記複数の撮像画像から除去するノイズ除去手段とを備えることを特徴とする３次元形状計測装置。
【請求項６】
対象物体を含む測定空間を分割する空間コードに対応した複数の投影パターンを、前記対象物体に順次投影して撮像した複数の撮像画像を用いて、各画素を輝度値に応じて２値化して前記空間コードに変換し、変換した前記空間コードを用いた三角測量により前記画素毎に３次元情報を算出して前記対象物体の３次元形状を求める３次元形状計測装置であって、
前記変換した空間コードが同一の画素が集合した領域のうち、領域幅が所定値より広い領域をノイズと判定して抽出するノイズ判定手段と、
前記ノイズ判定手段が抽出した領域の空間コードを除去するノイズ除去手段とを備えることを特徴とする３次元形状計測装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１１−１３３２５８（Ｐ２０１１−１３３２５８Ａ）
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願番号】特願２００９−２９０７９６（Ｐ２００９−２９０７９６）
【出願日】平成２１年１２月２２日（２００９．１２．２２）
【出願人】（０００００６６６６）株式会社山武 (1,808)
【Ｆターム（参考）】
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願日】平成２１年１２月２２日（２００９．１２．２２）
【出願人】（０００００６６６６）株式会社山武 (1,808)
【Ｆターム（参考）】
[ Back to top ]