微細非周期パターン投影装置および方法とそれを用いた三次元計測装置
【課題】ユニークな特徴をもつ非周期パターンを投影して、なめらかな表面をもつ物体の三次元形状を計測する。
【解決手段】２種の菱形で構成した非周期パターン模様をワークに投影しステレオカメラで計測する。
【解決手段】２種の菱形で構成した非周期パターン模様をワークに投影しステレオカメラで計測する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は三次元形状識別技術に関する。とくにカメラで変形可能な物体の三次元形状計測において、同一点の識別プロセスを高速化、高精度にするためのパターン投影・計測技術に関する。
【背景技術】
【０００２】
リネンサプライ業では洗濯工場で大量のシーツやタオルを洗濯し、顧客にレンタルし使用後回収するサイクルでビジネスを行っている。現在、洗濯工程や仕上げ工程など多くの工程が大規模な洗濯機や展開仕上機、ロールアイロナー、折りたたみ仕上機などで行われている。
しかし洗濯ライン、仕上げラインの工程で最初に洗濯物を機械に投入する工程は布物をハンドリングする技術が確立されておらず人手で行われている。そのため洗濯工場での作業環境は感染の危険や高温等で過酷なため作業の自動化が望まれていた。
過去において，変形がない工業製品のハンドリングにおいては、ビジョンセンサーによる画像認識によりハンドリングするワークの姿勢を計測しワークの姿勢にあわせてロボットハンドがワークを把持して所望の場所に移動するようなハンドリングシステムがある。
しかしハンドリングするワークが可変シート状であるタオルやシーツのような布物のような柔軟物を展開したり分類するために形状計測をする用途の場合は、変形する布に対して、基準になる形状データがないため自動ハンドリングができなかった。
【０００３】
そこでこの部分を自動化するため、洗濯ラインに投入する洗濯物を種別に分類したり、投入コンベア上で計量する投入する試みや、仕上げラインにタオルやシーツを自動投入する取り組みがなされたが、実用化された例は少ない。その原因は布の変形パターンが無限にあり、設定した処理方法だけで対応できないことにある。
たとえば定型タオルを山積みの状態から拡げようとする場合、図２のように人は一つの布の端部を識別してそこから一辺をたぐり出す操作をして短辺の両端を持って全体を広げ、折りたたみをする仕上げ機に投入している。略端の識別には、一枚を取り出してその裾の部分を取り出す操作を行い、そこからの展開には端部周辺の辺を保持してその辺を展開する操作を行い一辺を拡げて吊り下げることで全面を拡げられる。
【０００４】
これらの操作をおこなうために特許文献１では、発明者が属する出願人により布ワークをハンドリングするための移動可能な保持ハンドやコンベアなどと光電センサのような通過確認センサとの組み合わせ、端部らしいところを出現させてタオルなどの布地を拡げる操作手段が開示されている。
他の手法として、過去に発明者らは、特許文献２または特許文献３に記載した手段により、空間領域にある布ワークの特徴部を視覚認識を用いてハンドリングする部位を識別しその部位の形状に対応してタオルを保持、展開操作している。
具体的には、山積みのタオルを一枚ずつ引き上げ、端部を出現させ、出現した端部をステレオカメラで形状計測し、端部周辺の辺の一部を把持し、そこからタオル全体を広げ出している。
とくに出現させた端部形状を認識し、ハンドが把持をして引き出し、なおかつ長辺の相手方端部周辺を別途保持してて吊り下げたときに、ある程度拡がって出現する短辺の相手方端部を計測して、その端部周辺の辺の形状を計測してロボットハンドの把持ポーズを決定している。そしてロボットハンドが一片を展開し吊り下げることで全面を展開している。
【０００５】
これらの手段は布の形状を計測し形状認識し、形状に合わせたハンドリング操作を行い展開し、仕上機に投入することで、仕上げライン全体を自動化するものである。
このような視覚認識結果をベースに対応動作を行うシステムに搭載する視覚認識部の視覚センサにはロボット動作に必要な動作を生成するための３次元空間内のワークの把持位置座標情報が必要になる。
具体的には、動作のために認識の正確性、ロバスト性、生産性のために計測の高速性、あるいはコスト面から構成をコンパクトにすること、さらには柔軟変形物の特徴部を的確かつ精度よく計測することが求められる。
発明者は記載した用途やその他の用途で、視覚による形状認識をベースにしたロボットハンドリングシステムを製作し実験検討を行った。これらのシステムでは把持位置情報を取得するため３次元計測手段を用いた。
【０００６】
前記の目的のため利用可能な先行技術として、発明者による特許文献４にはあおり光学系のステレオカメラとスリット光を走査して特許文献２記載の方法で連続的にステレオ撮影しながらスリット光を走査することで計測する手法が開示されている。
また発明者らによる特許文献５に記載した粗いドット配置と細かい格子配置をもつパターン光をワークに投影し、ステレオカメラで計測する手段が開示されている。図３（ａおよびｂ）参照。
ここでは
（１）ステレオカメラ左右いずれかの基準画像と参照画像上のドット位置を識別し、対応 点づけしてその視差から高さを計算する。
（２）ドット位置を基準位置としてそのドットと周辺の格子線の位置間隔を基準画像と参 照画像にて、それぞれの画像で計測して相対的な視差を計算する。
（３）基準ドットの高さと視差による基準ドットからの相対高さ（奥行き）を計算するこ とで高速に高さを計算する手法である。
これにより計測したい端部周辺のタオルの三次元形状を計測し、端辺の把持に必要な３点の３次元情報を出力する視覚認識センサを展開装置に搭載することで、展開装置が展開処理を行い、自動で折りたたみ仕上げする仕上げ機へ投入できた。すなわち布の特徴識別技術と特許文献２、３によるハンドリング技術によりタオルの展開システムが可能になった。
【０００７】
また、滑らかな表面をもつ計測対象物を三次元計測するための投影技術の先行出願として特許文献６がある。ここでは布を対象に限定していないが、なめらかな表面の計測対象物をステレオカメラで三次元計測するためにランダムパターンを生成し投影している。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】 特開２０１０−２２２７２５号公報
【特許文献２】 特開２００９−２７９７００号公報
【特許文献３】 特開２０１０−２７３７３２号公報
【特許文献４】 特開２００７−２２５４０３号公報
【特許文献５】 特開２００９−２７０９１５号公報
【特許文献６】 特開２００１−１４７１１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１による布の展開方法は、布の変形が不規則であり、所望の展開に至る変形をしないとき展開が成功しないときがあり、作業者による効率を上回ることが困難だった。特許文献２、および特許文献３による布の展開手段では、前述同様に、画像認識するワーク特徴部の出現位置が想定外の位置で出現したり、想定以上の不規則な形状変化していると成功しないため、画像認識の対応可能な形状変化対応範囲の拡大が望まれていた。
特許文献４では、多数のステレオ組合せ画像から計測するため比較的安定的に三次元形状が計測可能であるが一回の認識に必要な撮像時間が長く、高速に判定結果を返すための認識センサとしては計測時間の増加から時間当たりの処理数が上がらない。
特許文献５では、布の形状が（小さな範囲の中で）大きく変化しているようなとき、たとえば格子間隔以内での変化について計測できなかった
またドットが左右のカメラ画像のどちらにも写っていないとその近傍の範囲の形状計測ができなかった。図４参照。
また計測密度を上げようとしてドット間隔、格子間隔を小さくしていくと探索視差線上で周期的に他の格子が存在するためミスマッチングの原因になった。
【００１０】
そこで布の変形パターンの多さに対応するため計測点の密度を最大化しようとしたときドットや格子はそれ自体が領域を持っている。ドットはテンプレートとして登録しておき、左右それぞれのカメラ画像上でパターンマッチングを行う方法を検討し以下にまとめた。画像を構成するＭ×Ｎのピクセルなかでドットや格子などのサイズｍ×ｎをもつ標識を配置するときには計測できる点数の限界がある。すなわち図５のようにＭ／ｍあるいはＮ／ｎが配置できる最大数である。
このことは、予め設定したテンプレートに合わせた投光パターンを設計する際に最大数以上の配置ができない。すなわち計測点の密度をそれ以上ふやせられない問題がある
このような問題に対する解決法として画像に存在するエッジが有効に存在するケースでは、左右いずれかの画像から切り出した部分画像をテンプレートとして、その部位に対応する相手方画像の視差線上で相間値計算して視差を計測する手法が公知であるが本発明の課題である滑らかな表面形状の部分を計測するのはそのままではできない。これに対応するため特許文献６では、乱数生成により発生したコードを二次元パターンにして非周期性パターンを生成するが乱数生成の段階で偶然発生する繰り返しパターンを除去するような（検定対応等の統計的対応）アルゴリズムが必要である。またランダムパターン投光装置が複雑でありコンパクト化が困難であった
【００１１】
そこで本発明は以下の課題を解決するものである。
柔軟に変形するもの、例えば布のような、滑らかなシート状の対象物であっても、カメラにより高速・高密度に計測物表面の３次元形状を識別するため、表面の計測点を含む微細領域に、計測領域内のなかにおいてユニークなパターンを投影する。
ステレオカメラで同一点を左右画像上の位置を同定可能にするため、計測箇所毎にユニークさをもつパターン光をワークに投影すること。
前記カメラによる画像を布の把持ハンドリングすべき特徴部の形状を識別すること、その把持位置をロボットハンドが把持し布地を整形することを解決すべき課題とする
【課題を解決するための手段】
【００１２】
本発明の技術思想は、三次元形状計測をおこなう場合において
なめらかな表面を含む計測物を計測するためにパターンを投影することと、
そのパターンは計測空間範囲のサイズにかかわらずどの計測点に対しても計測点周辺の微少表面にユニークとなるパターン投影をおこなうことである。
平面空間において無限にひろがる空間であっても敷き詰めることを平面充填という。敷き詰める基本図形をタイルあるいはセルという。１種類で平面充填できるタイルの図形は正方形や平行四辺形など公知のものがあるがこれらは周期性を有し、それぞれの一部領域のパターン形状は限定された一部平面のなかでもユニークでない。
そこで複数のタイルを用いた非周期パターンの平面充填が公知である。タイルの方向が非周期であるから、適度なサイズをもてば、限定された一部平面のなかではユニークさがある。投影装置で非周期パターンをワーク表面に投影することでユニークなマークをつければ滑らかなワーク表面もそれぞれの計測位置がユニークな標識がつけられる。
【００１３】
非周期パターンは公知でありいくつかの種類があるが、以下に記載したＳｉｒ．Ｒｏｇｅｒ Ｐｅｎｒｏｓｅが発表したペンローズ・タイリングと呼ばれるパターンは以下の設定のもとに生成されるものであり非周期パターンの特徴を持つ。
［ペンローズ・タイリングの基本性質］
（１）図６（ａ）に記載のように内角が（１／５）π［ｒａｄ］および（４／５）π［ｒａｄ］の菱形（シンと呼ぶ）と（２／５）π［ｒａｄ］および（３／５）π［ｒａｄ］の菱形（ファットと呼ぶ）の２種類のみで平面上の空間充填が可能である。
（２）接続方法は図６（ａ）のように決まっている。菱形は他の菱形と結合するとき実線どうし、または破線どうしを方向を揃えて結合する。
（３）［分割］［統合］［段階的な微細化］図６（ｂ、ｃ）のように一つの菱形セルは数個のさらに小さな菱形セルに分割ができる。そのため分割を繰り返すことで無限に微細なパターンにすることができる。
（４）反対に結合を繰り返せば平面において無限の空間を充填できる。
（５）無限平面でのファット：シンの二つの菱形の個数割合が、無理数である黄金比φ＝（１＋√５）／２であることから非周期性をもつということが数学的に公知である。図６（ｄ）ではシンの半分を分割したファットとシンのそれぞれ半分にしたときの面積比が黄金比になることを示すものである。 シンはファット１個とシン１個を生みファットはファット２個とシン１個を生成する。これを無限に繰り返したときの個数比はフィボナッチ数列の隣り合う二項の比が黄金比に収束することと同じである。一個のファット：シンの面積比はφ：１であるから無限空間での面積比は、φ２：１に収束する。
（６）並進対称性がない（並進移動しても完全に一致することがない。例えば、三角形や四角形、六角形を接続して平面充填した場合は、並進移動すると完全にかさなる部分がある）
（７）平面を充填するペンローズ・タイリングと同一平面上にある直線の交点の間隔距離は非周期的であること図７（ａ）は１０９×５２ピクセルのペンローズ・タイリングパターンの一部であり、中心部に水平に３５ピクセルの直線の線分を設定し、その線分上の画像の輝度値をプロットしたものであり、図７（ｂ）は中心から２ピクセル上に線分をずらしたとき、図３のｃは線分が中心において、図７（ｃ）は中心から２ピクセル下に線分をずらしたときのグラフである。小さい移動量でも異なるパターンを見せるため、計測点を含む微少領域が直線状の形状であってもマッチングができることを示した
（８）ペンローズ・タイリングはセルの内部と境界の辺部の２色で構成できることは当然だが、図８に示すように４色あるいは３色で境界線に色がなくても、３色で全てのセルを塗り分けられる。図８（ａ）はそれぞれの菱形を二色に分割し、計４色て配置した例、図８（ｂ）は３色で配置した例である。
（９）［線］［交点］セルを構成する線の方向は本発明で使用する菱形の内角のが（１／５）π、（２／５）π、（３／５）π、（４／５）πの４種類であるからこれから発生する境界線の角度は最大で２π／（（１／５）π）であるから１０種類である。
（１０）交点は３個から１０個のセルの角の先端点が重なる。
【００１４】
上記の特徴の多くは、過去のカメラでの三次元計測に於いて問題であった三角測量の問題となる計測物体上の計測点を撮像したカメラからの画像上で、物体上に投影されたユニークな微細パターンを識別することで画像上の計測点の位置を正確に識別し、それにより光切断やあるいはステレオマッチングを誤差無く行える特徴を保有している。
本発明はこの非周期パターンの特徴を三次元計測のために利用すること、とくに計測に空間の中に投影するパターンを微細化すること、微細化は段階的におこなえること、微細化してもユニークさを保つこと、これにより実際の計測に必要な微細さとユニークさを保つ投光装置を提供し、既存の三次元計測装置と合わせて物体形状の三次元形状を高速かつ高精度に計測することを特徴とする。
【００１５】
以上の技術思想に基づく課題を解決するための手段を下記に記載する。
［１］第１の発明は、
三次元形状の計測例象物にパターンを投影すること、前記パターンが非周期パターンであり、三次元計測する計測点を含む周辺の微少表面領域にユニークな非周期パターンが投影されることを特徴とする非周期パターン投影装置である。
［２］第２の発明は、
第１の発明に記載した非周期パターンが、１／５πと４／５πの内角をもつ菱形と２／５πと３／５πの内角をもつ菱形の２種類で平面充填されたパターンであることを特徴とする非周期パターン投影装置である。
［３］第３の発明は、
第１の発明または第２の発明に記載した前記非周期パターンが前記２種類の菱形において、一定の幅をもつ菱形の境界線部と菱形の内部に分け一方が光の透過部、相手方が遮光部であるフォトマスク上に配置され、前記フォトマスク上の非周期パターンが計測対象物の表面上で結像するようフォトマスクと光源と投影レンズを直列に配置したことを特徴とする非周期パターン投影装置である。
［４］第４の発明は、
第１の発明ないし第３の発明に記載した非周期パターン投影装置と、ステレオカメラを構成する一対の撮像素子と、前記ステレオカメラにより計測対象物のパターン付ステレオ画像を取得し三次元計測する計測点を含む周辺の微少表面領域にユニークな非周期パターンが投影することと、前記ステレオカメラの基準画像と参照画像の間で対応点付けを行うステレオ画像処理することにより計測対象物の三次元形状を計測する制御部とを備える三次元形状の計測装置であることを特徴とする三次元形状計測装置である。
［５］第５の発明は、三次元形状の計測対象物にパターンを投影すること、前記パターンが非周期パターンであり、三次元計測する計測点を含む周辺の微少表面領域にユニークな非周期パターンが投影されることを特徴とする非周期パターン投影方法である。
【００１６】
ここにいう三次元形状の計測とはカメラで撮像した画像から、計測点を設定し三角測量を基本とする手法によりコンピュータがカメラの座標系で表面形状の三次元座標を計測することであり、三次元計測装置とは演算部と制御部、通信部をもつコンピュータ、画像入力手段、カメラ等からなる三次元計測装置である。
三次元計測する計測点とは、三次元計測の前処理により決められた物体表面を写した画像上での計測点である
計測点を含む周辺の微少表面エリアとは、計測点を三次元形状の計測をするさい計測点がどこにあるかを識別するためユニークなパターン特徴をあたえるために必要な面積・形状をもつ微少表面エリアである。
セルとは非周期パターンを構成する基本図形、たとえば二種の菱形の基本形状である。
ユニークとは、少なくとも探索範囲においてどの点周辺の微少表面エリアからとりだしたパターンもユニークであることである。
探索範囲とは、例えば過去の公知のステレオカメラにおいて計測空間の範囲内で、基準画像上での位置を変えずに計測点のカメラからの高さの変化させたときの、参照画像上での計測点の軌跡とその近傍の範囲である。
あるいは光切断法のような単眼での計測に於いて、投光角度を固定して照射し、計測物の表面のカメラからの高さを変化させたときのカメラ画像状での計測点の軌跡とその近傍の範囲である。
この探索範囲のなかでユニークになることで取り出した基準画像での微少表面エリアの画像が参照画像上での探索ラインを構成する点群のなかから相関値を計算したとき最も高い相関値を示す位置が参照画像上での物体計測点が写った位置となる。
【発明の効果】
【００１７】
本発明により滑らかな部分を含む物体表面にユニークなパターンを投影することができる。
カメラと画像処理部でそのパターン画像を計測することで三次元形状を識別できる。
滑らかな表面を高密度に三次元計測することが出来る。
必要な部分だけを三次元計測することで、物体のハンドリングに必要な形状識別を高速にすることが出来る。
図１６では計測方法の例として吊り下げたタオルの端部の形状を計測する際のサンプル画像を示している。（ａ）（ｂ）はステレオカメラの右側基準画像と左側参照画像である。
（ｄ）で端部付近の計測点を計測するため計測点を含む微少領域を画像からテンプレートとして保存している。（ｃ）では参照画像上の探索範囲であるエピポーラライン上で正規化相関等のマッチングアルゴリズムにより相関値の高い点を計算することを示している。
（ｆ）は基準画像からとりだした計測点を含むテンプレート画像を拡大した物である。
（ｇ）は前記エピポーラライン上での相関値の分布である。ここで最もたかい白い点での相関値は約０．８であることを示した。
【発明を実施するための最良の形態】
【００１８】
本発明はハンドリングロボットに搭載する視覚認識センサとして有効に機能する。とくに柔軟物をハンドリングするために高速・高密度な計測点で柔軟物の形状を計測するのに適している。自由に変形する対象物をハンドリングするロボットの視覚認識センサは、それ自体の原点と座標系をもち、三次元計測する計測点の座標値を計算する。
本発明によれば複雑な相対距離計測法によらず、微細非周期パターンが投影されていれば、かなりの成功率でなめらかな表面であっても所望の箇所で直接的に対応点の位置識別ができるため高速に、高い成功率で計測を行うことができるため実施の形態として好ましい。
【００１９】
また別のケースでは、山積みで投入される洗濯物をからみなく取り出すために最高点を把持したい、あるいは近年、洗濯工場においては、回収した洗濯物を種別に分類して洗濯機に投入したいという要望があり、図１０のような一枚ずつとりだした洗濯物をコンベアの上に流し、通過時に立体形状を計測し体積を計算することでボリュームをベースにした分類判定するような期待がある。このような場合、積み重なった、あるいは一枚に分離した洗濯物全体の三次元形状を計測することがもとめられている。
これらのケースで、計測物表面には滑らかな表面と段差によるエッジが混在していて、特段の投影をおこなわずとも対応点づけができるエッジを含む段差部分については過去のステレオカメラ等での三次元計測が可能だが、より好ましくは、滑らかな表面上の計測点であっても、さらに前記計測点周辺の表面面積が小さくとも高密度に高さを計測する本発明が好ましい。
【００２０】
本発明の最も好ましい実施の形態は、三次元計測装置と、取り出した布物に変形を与えて提示した部分を三次元計測装置が計測できるように提示する提示ハンドリング部と、図９（ｃ）のように三次元計測装置が認識した計測結果をもとにハンドリングロボットが取り出した布物を把持して、図９（ｄ）のように展開処理する展開処理ハンドリング部からなる布物の展開装置で用いられる図９のような三次元計測装置である。
このような実施の形態において本発明を構成する基本要素を下記に記載する。なお本発明は投影装置と三次元計測装置であるが、最も好ましい実施の形態を説明するためその周辺部と合わせて説明する。
［投影装置］
投影装置は本発明を特徴づけるものである。前記の非周期パターンを投影するためにはパソコン等と接続して、または単体でも内部に保存した画像を投影するプロジェクタ製品を用いて計測できる。
さらに好ましい例としては投影装置の小型化あるいは簡素化のために投影パターンをフォトマスクとして用意し光源と投影レンズを直列に配置した第３の発明の投影装置を用いるとよい。
【００２１】
［プロジェクタ、液晶、ＤＬＰ］
本発明をプロジェクタ製品で実施する場合、図示しない液晶あるいはＤＬＰ等によりパソコンに格納したペンローズ・タイリング画像を投影できる市販プロジェクタを使用する。投影する画像について、計測するワークに投影するペンローズ・タイリングを分割処理してできる処理前、処理後の微細さの異なる複数のペンローズ・タイリング画像を用意し、投影する画像をコンピュータで選択すればそのセルの微細さを変更できる。
［カラーパターン］
また他の利点としてカラーパターンを投影できることで計測用カメラにカラーカメラを利用するとき微小領域を色特徴により特徴点づけすることができる。図８（ｂ）のようにペンローズ・タイリングを、３色、たとえば赤、緑、青の三色ですべてのセルを塗り分けたパターンを生成し、カラーカメラで撮像したパターン付きステレオ画像を赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各成分に分離した画像では、図８（ｃ，ｄ，ｅ）に示されるような計測点周辺のエリアを各ＲＧＢ画像で対応点づけ（マッチング）を行えるため図１２の透過部と遮光部による濃淡画像を用いたマッチングに比較して対応点づけが正確に行える。
［シャッター］
近年、プロジェクタの中にはパソコンを接続せず単独で投影ができるものがあり、これを利用してもよい。必要によりシャッターを別途用意してもよい。
【００２２】
［光源］
図１１のように投影手段として、より好ましくは、視覚認識センサとして小型化のために、高輝度光源とフォトマスクと投影レンズを直列に配置したことを特徴とし、高輝度光源としてはそれぞれの駆動電源部と接続した図１１（ａ）あるいは（ｂ）のような高輝度ＬＥＤまたは（ｄ）のようなメタルハライドランプ、図示しないキセノンフラッシュランプ、（ｃ）のような無電極プラズマ光源（ＬＩＦＩ光源）等を用いる。
ＬＥＤを用いるときは特に、ＬＥＤを１個または複数個をリング状に配置し、それぞれのＬＥＤから放射される光束が効率よくマスクを通過し投影レンズに入射するようにボールレンズをＬＥＤの発光面の近く、なおかつレンズのレンズの中心にむけ少しシフトした配置にすることを採用するとよい。
ＬＥＤの駆動部はそれ自体の電源と、カメラの撮像タイミングにあわせてストロボ発光させるための制御部を持つことが好ましい。好ましくはストロボ制御用の外部への信号が用意されているカメラを使用し、撮象タイミングに合わせてＬＥＤ駆動電源部にトリガー信号を送り発光中に撮像するとよい。
光源の指向性により、指向性がない光源の場合は図１１（ｃ）あるいは（ｄ）のような集光ミラー、好ましくは放物面鏡で光源を覆うよう配置してフォトマスクと投影レンズに入る光束を増加させてもよい。あるいは集光用のレンズを光源とフォトマスクの間に配置してもよい。
光源や光源駆動電源部は熱を持ちやすいので、放熱を行うため光源の周囲に冷却用のフィンやファンを取り付け外気を通過させ放熱するとよい。
好ましくは高輝度ＬＥＤであればカメラの撮像タイミングに合わせて点灯制御する制御部、電源部を組み合わせると後述するパターン光の抽出において好ましい。
【００２３】
［フォトマスク］
フォトマスクは遮光部と透過部からなるペンローズ・タイリングパターンであり、例えばガラス基板にクロム蒸着したものを投影レンズを経て投光する。フォトマスクは耐熱性があるので上記光源等を用いて熱が発生しても問題がない。
熱等の問題が無い場合は簡便のためたとえば市販の３５ミリフィルムカメラとスライドフィルムにて印刷したＰＴを撮像し、現像処理したスライドをフォトマスクの代わりにしてもよい。
［パターン］
非周期パターンのペンローズ・タイリングにはファットとシンの組合せの他に、ダートとカイトと呼ばれる二種類で平面充填されるものがある。
画像処理において表面に投影されたセルをテンプレートとして取り出しメモリに保存するとき、そのテンプレートのサイズは小さいほうが、処理の高速化のために良い。そのためシンプルなタイル、セル形状であるファットとシンの組合せによるペンローズタイリングがより好ましい。
［セル、境界］
蒸着するパターンはＣＡＤデータとして製作する。ペンローズ・タイリングのセルの境界線部と内部のいずれを遮光部にしてもよい。実際には背景、パターン光のワークの反射強度の度合いでコントラストに違いがでるため境界部が遮光部ものと、透過部であるものの２種製作して選択可能にするとよい。
［原点マーカ］
マスクにはペンローズ・タイリングとそれ以外にも投影する際の基準点を示す原点座標マーカーを中央付近に配置するとよい。
これにより三次元形状計測装置の計測原点が、カメラからの指定距離離れて、かつ前記原点座標マーカーが反射している点として、例えばロボットシステムに取り付けた後でもわかるようになる。計測が基準面上でないような空間内でおこなわれるときでも座標値が把握しやすい。センサ自体の座標系とロボットの座標系とを合わせたり座標変換するとき簡便に行える利点がある。
【００２４】
［投影レンズ］
フォトマスクと投影レンズの位置関係は投影レンズが計測物体からの実像が結像する位置にフォトマスクを配置する。
投影レンズの仕様は明るく、収差が少ないものがこのましい。
レンズのイメージサークルがフォトマスクより大きければレンズの焦点距離、フォトマスクの有効サイズ、作動距離と計測領域での視野は次の計算式の関係がある。
投影レンズの絞りを開放にしてパターンをワークに投影する場合において、ワークの位置が焦点から遠ざかるとパターンがぼやける。またカメラに取り付けた撮像レンズも同様に焦点が合わなくなる。このような場合であってもＰＴはぼやけながら異なるパターンを表現するのでなめらかな表面を計測する計測領域とくにカメラの奥行き方向の領域を拡大するため好ましい。
【００２５】
［カメラ］
カメラは撮像素子により画像を得ること、コンピュータと通信して画像データを転送すること、制御装置と通信して撮像タイミングを制御するものを使用する。
撮像素子としてはＣＣＤ（電荷結合素子）、ＣＭＯＳなどがある。コンピュータとの通信手段はカメラリンク、ＵＳＢ、Ｆｉｒｅｗｉｒｅ（ＩＥＥＥ１３９４）、ＧＩＧ−Ｅ等の通信規格による画像データの通信を行うデジタルカメラもしくはＮＴＳＣなどのアナログカメラを使用する。ロボットの近傍に配置するカメラはノイズの影響を排除するためにはデジタルカメラの仕様が好ましい。高速に多数の画像を撮像するときはカメラリンクが好ましい。カメラの通信形態によってはパソコンにフレームグラバーボードを接続し、グラバーボードにカメラからの画像データを格納するようにする（カメラリンクやアナログカメラの場合）。また直接カメラを接続できる画像処理ユニット等を用いても良い。
【００２６】
［ステレオカメラ］
三次元形状計測装置として用いるカメラは図１３のようなステレオカメラが好ましい。２つの撮像素子をもつカメラの間に非周期パターン投光装置が配置されステレオカメラでの形状計測のため、計測物の表面にユニークなパターンを投光する。ここで一体化することは特に必要ではなく、パターンがあたりやすいところであれば計測できる。
また投影装置の位置や向きが変わっても計測誤差への影響が少ない利点がある。
［一体化光源］
一体化の利点は機器のコンパクト化にある。光源とカメラを一体の構成としで一方のカメラを用いず、非周期パターンを光切断法における投光装置として用いても良い。とくにワーク表面の傾きの変化が少なく、並進移動する計測物の計測にはステレオカメラでなくても計測が可能である。
【００２７】
［光切断法］
一般に光切断法では小さな一定の幅でレーザー等のスポット光やライン光を照射し、カメラの光軸とライン光等との角度とカメラで計測したライン光等の画像状での反射位置から高さ（奥行き）を計測するがこれとの違いを記載する。
本発明においては例えば図３（ｂ）に示すＩ１が非周期パターンのフォトマスクと仮定して背後に光源をもち投影レンズで、ユニークなＰ１点周辺の微少領域内の非周期パターンを投影する投光装置と置き換えると、Ｉ２に相当する画像上でＱ１からＱ２の間の探索範囲を探索すると高さ（奥行き）を計算できる。計測点とＱ１、Ｑ２との画像間距離の比は奥行き方向の計測点とＺ１、Ｚ２との距離に比例するからである。
過去の光切断法では探索するのはスポット光あるいはライン光であるが、本発明ではワークにワークに投影された非周期パターンの一部領域をテンプレートとする。探索に用いるテンプレートは、計測対象物の計測したい計測点を含む周辺の微少領域であり、探索する画像は、あらかじめｚ１とｚ２点の基準平面で撮像して得た平面に非周期パターンを投影した画像である。
計測画像と、近方、あるいは遠方の校正基準面に投影された比較画像上でマッチングされたテンプレートはステレオカメラによる計測の視差に相当するものであるから視差から高さを計算するのと同じ手法でカメラからの高さ、奥行きが計算できる。
【００２８】
ここであらかじめ計測領域内に、遠方と近方の校正基準面の間に、段階を設けて別の校正基準面を等間隔に設けた校正用画像を記憶しておく。
カメラの光軸と角度をつけて投影される前記Ｐ１点周辺の微少領域内の非周期パターンは、近方の校正基準面から遠方の校正基準面まで１ステップづつ遠方の校正基準面へ投影されるときのカメラ画像上の位置をみると、直線的に移動していく。すなわち全ての点が移動していく。
ここでパターンに線幅を設けているのでその等間隔に段階を設けるさいに、奥行き移動量に対応する前記視差とパターンの前記視差方向の線幅を同じにすれば、以下の条件がなりたつ。
（１）二値化した段階毎に設けた校正用画像と計測ワーク画像のＡＮＤ画像を取得する
（２）菱形が形成されていればその段階枚に設けた校正用画像の位置の近傍にワーク表面 の計測点がある
（３）菱形が欠損していればその段階枚に設けた校正用画像の位置の近傍にワーク表面の 計測点がある
この基本処理により計測ワーク表面の計測点が３次元形状の高さ階層毎に分類して計測できる。
【００２９】
一体化によりコンパクトな立体計測システムとなる。
一体化によりカメラ自体の計測座標系、原点をきめることが容易にできる。ロボットシステムに搭載するようなケースでは、一旦搭載するとロボットや他の周辺機器で校正用の基準平面を設置できない場合がある。一体化すれば校正用の計測台を別途設けて、そこで構成を行うことができ、前記原点マーカー等によりロボット搭載したときも、ロボット座標との変換が行いやすい利点がある。
光切断法を用いた場合のメリットはカメラがひとつですむことであるが、ステレオカメラと同等の誤差を期実現するには計測物の高さ変化が計測しやすいように角度をつけて投影させるため、カメラの光軸と投影装置の光軸の間の角度を、ステレオカメラの２つのレンズ光軸間の角度と同等に設けることが望ましい。
【００３０】
［トリガー］
カメラの撮像タイミングは、前記通信手段を経てコンピュータから与えられるトリガー信号により制御される。もしくは撮像タイミングを与えるための他の制御装置からトリガーのタイミングをカメラの入力端子に与えることで撮像を開始、停止してもよい。
前記制御装置は例えばコンベア上を流れるようなワークをエリアカメラで計測するときには一定の間隔をあけて撮像する必要があるが、コンベアにエンコーダーを配置し、エンコーダーからコンベアのベルト移動により発生するパルスを制御装置でカウントし、既定の回数をカウントアップしたときカメラにトリガー信号を送信し一回の撮像を行いデータを転送する。これを繰り返すことで定間隔の撮像するようにしてもよい。制御装置としてはＰＬＣ（プログラマブル・ロジック・コントローラ、シーケンサ）などを用いると良い。
【００３１】
［カメラの像面サイズ］
図１４のように撮像素子の像面サイズと画素数は計測する領域サイズと、テンプレートのサイズから決める。
視野をＷＦＯＶ、作動距離をＷＤ、撮像レンズの焦点距離をｆとすると
撮像素子の像面サイズはＷＦＯＶ×ｆ／ＷＤとなる。
「カメラ解像度」
カメラの画素数は、要求誤差から決める。１ピクセルの像面サイズに対応する物体面サイズが要求誤差の基準になる。カメラ座標系を図１４のようにＸＹＺ軸を設定した場合、ＸＹ方向は画像１ピクセル以下の誤差があると設定する。Ｚ方向の誤差はステレオカメラの双眼距離とｗｄの比を前記１ピクセル当たりの誤差に乗算した値がおおよその計測誤差であると設定する。
［テンプレートサイズ］
非周期パターンのサイズはテンプレートのサイズから決定する。テンプレートがユニークになるときのＭ×Ｎピクセルの画像領域に対応する。作動距離における物体面上でのサイズはｍ×ｎ（ｍｍ）である。探索領域の面積によりこれに含まれる好ましいセル数は変化するが、探索の正確性を期待するときはセル数を多くする。高速化のため計算量を減らすときはセル数を小さくする。
このときＭ×Ｎピクセルのでセルの内部と境界部の区別がつく程度のサイズが必要なことはいうまでもない。
前記投光装置から投影されるパターンがカラーパターンである場合は色情報を識別するためカラーカメラを用いることが好ましい。
前記投光装置から投影されるパターンがモノクロパターンである場合は高い感度で陰影を計測するためモノクロを用いることが好ましい。
【００３２】
［コンピュータ］
カメラはパソコンあるいは画像処理ユニット等のコンピュータに接続される。
コンピュータはＣＰＵ、ストレージ、メモリ等を備え、メモリに格納した画像に対し画像処理に関する演算を行い識別結果をロボットあるいは展開処理装置に送信する。このとき別の制御装置に送信し別の制御装置がロボット動作に必要なデータに変換してロボットに送信してもよい。
［画像処理ユニット］
コンピュータは専用の画像処理を行う画像処理ユニットであってもよい。画像処理ユニットは前記コンピュータと同様の機能をもち、他の制御コントローラと通信する機能をもたせることで、高温作業化での動作が安定しないコンピュータに比較して信頼性が上がる。
【００３３】
［一体化の選択肢］
小型の画像処理ユニットを用いてカメラと一体化すると制御部のコンピュータに変わることで制御部の占有領域がなくなりコンパクト化するため好ましい。
このとき画像処理ユニットは、別途統合制御装置からの指令により撮像と画像処理を行い形状計測した結果からの伝送情報を制御装置またはロボットコントローラに送信する。
ステレオカメラで三次元計測する場合、投光装置は一体であっても、別の位置に配置しても良い。
一体にする場合は、光源に高輝度ＬＥＤやキセノンフラッシュランプを用いるとよい。ＬＥＤは常時点灯しても良いか、通常は投光させず撮像のトリガーと同期して投光することで発熱を押さえられる。同期信号をキセノンフラッシュランプの駆動に用いても良い
【００３４】
［ＰＬＣ、ＰＣ］
前記の画像認識を行うコンピュータ、ロボット、展開装置、周辺機器は、直接的に通信手段を用意してもよい。またの他にこれらを統合的に制御するＰＬＣ（シーケンサ）あるいは制御用パソコンと接続してもよい
［ロボット］［周辺機器］［展開装置］
ロボットまたは展開装置は前記コンピュータからの画像認識データをもとに周辺機器と協調してハンドリングを行う。接続方法については発明者による特許文献５に記載の方法でおこなうとよい。
以下では本発明の実施例を説明するが、本発明は実施例によって限定される物ではない。
【実施例１】
【００３５】
実施例１は近方校正基準面での観察視野が７８０×５４０ｍｍ、作動距離が１３００から１５００ｍｍで動作する洗濯されたタオル等の布類のハンドリングシステムに関する。
過去の発明者らの図９に記載の展開装置においてタオルの四隅の端部の内一端をスライダロボットハンドが把持し、把持した端部の長辺側の相手方付近を保持しつつ斜め上方に引き出すことで把持した端部の短辺状の相手方の端部周辺が展開されて吊り下げられる。前記端部周辺を本発明による投影装置が表面に非周期パターン光を投影できるようにする。投影装置はカメラと一体型として別途に投光装置のための場所をなくしコンパクトにした。本発明による三次元計測装置からの布端部形状の計測結果から布端の把持に必要な角部の形状情報から短辺を把持する。そして短辺の両端をたぐり出して展開しコンベアに投入するものである。
撮像装置はステレオカメラを用いて図１３に記載したようなステレオカメラからなる視覚センサを使用する。レンズ光軸を平行に配置するあおり光学系のステレオカメラではソフトウェアでの遠近歪みの除去が不要になるため好ましい。
また図１３（ａ）から（ｃ）に記載した調整機構を持てば対応点付けを画像の水平方向に行えるので好ましい。ステレオカメラの撮像素子間の間隔は５００ｍｍである。
撮像レンズはイメージサークルが約１０ｍｍ、焦点距離ｆ＝８ｍｍのレンズを採用した。
【００３６】
予め計測範囲の最遠方及び最近傍の二つの平面を規定する。二つの平面は平行である。平面は基準画像側の撮像レンズに鉛直に配置する。
あおり光学系であれば二つの撮像レンズは平行に配置される。計測領域でステレオ計測が可能になる左右のカメラの視野がオーバーラップする領域が増えるので実効精度が増す利点がある。
校正方法の一例として図示しない近方平面には正方格子の交点にドットを配置したような校正パターンあるいは市松模様のパターンを一時的に配置する。近い方平面を左右のカメラで撮像したとき同一の画像になるようにあおり系カメラを調整する。もしくは周辺の不要な部分をカットして計測する部位を選択することで選択後の画像が同じになるようにする。
本実施例で使用したあおり光学系カメラは特許文献４，５に記載した左右方向のシフト調整と、上下方向のライズ調整、回転方向のローテーション調整の３つの調整機構付カメラを採用した。本発明においては一方またはいずれかのカメラをシフト可能にすればよいが、ここでは両方のカメラをシフト可能にして近方基準校正面で双方のシフト量が同じになるよう調整した。
このような校正をもつあおり光学系のカメラとするためには、基板に撮像素子が搭載された状態でボードレベルで提供されるボードカメラを使用することが好ましい。
ボードカメラはＵＳＢ２．０通信規格のデジタルカメラを使用したが前記の別途通信規格のものでもよい。像面サイズは４．８ｍｍ×３．６ｍｍ、解像度は６４０×４８０ピクセルである。
このような調整ができないカメラ配置の時は、一つの校正基準面上で画像処理により同一画像になるようなアフィン変換を行い、その変換パラメータをもって変換した画像により処理を行う。
【００３７】
［最大探索範長］
ドットパターンを最近傍の平面に移動したときの左右カメラのドット出現位置の差分のピクセル数を最大探索長とする。
本実施例の基本条件をまとめると、作動距離１３００〜１５００ｍｍ、近方校正基準面での視野７８０ｍｍ、遠方校正基準面での視野９００ｍｍ、双眼距離５００ｍｍ、１ピクセル当たりの近方校正基準面での該当サイズが１．２１ｍｍであるから一方のカメラを基準画像とするとき参照画像が探索するピクセルサイズは、基準画像から取り出した、画像上の計測点を含む微少領域の基準点位置から、視差出現方向に約５２ピクセル移動した位置の範囲内となる。あおり光学系の場合、レンズ収差がなければ水平方向のみのマッチングを行えばよいが、収差を考え数ピクセルの幅をもたせた長方形の探索範囲を設定する。
前記探索範囲から得た、基準画像上での計測点と参照画像上での計測点入りを結んだエピポーララインの長さから高さは計算できる。近方基準校正面とカメラの計測座標系の位置関係は既知である。遠方の校正基準面上に計測点があるときの視差が５２ピクセルなので、近方、遠方の校正基準面間の２００ｍｍの距離の間にある計測点の視差をＫとすると（Ｋ／５２）×２００が近方基準面から遠方にむけた高さである。（特許文献５参照）
本発明における光学系ではＸＹ平面上のサイズは計測物体のカメラからの距離により、同一の大きさであっても、距離により画像上のサイズは比例変化する。カメラ座標原点からのＸＹ方向のスケールは前記数式によって得られる計測点の高さから比例計算することでＸＹ方向のサイズは計算できる。たとえば近方校正基準面で７８０ｍｍの視野は遠方校正基準面では９００ｍｍのサイズとなるから、その比率で原点からの距離を補正するとＸ，Ｙの座標値が計算できる。
なおこれらは前記同様あおり光学系を用いた手法の利点であるが、それ以外の場合でもアフィン変換等の変換を行えば計算による補正をもちいて計測しても良い。
ステレオカメラでの三次元計測で前記特許文献５ではあらかじめ決めたドットパターンを最初に探すが、本発明では以下の方法がこのましい。
【００３８】
基準画像から計測部位の範囲のなかで三次元形状計測すべき点を識別する。前処理において二値化処理により背景とワーク領域を分離してできる形状について前記特許文献に記載のように、輪郭線を曲率を取得しながらトラッキングして９０度に近い鋭角である部分を識別することにより端部把持点の位置を識別できる。
さらに識別した前記端部点につながる短辺上でハンドの把持間隔だけ離れた点（短辺把持点）を識別する
次に同様に長辺上で設定ながさだけは離れた点（把持方向参照点１）または前記短辺把持点から発する、前記短辺把持点と前記端部把持点を結ぶ線の法線上で、前記短辺は時点から設定長さ離れた点（把持方向参照点２）の位置を計測する。特許文献５参照の公知の手法を用いても良い。
【００３９】
前処理により決定した基準画像上の計測点について、前記三つの計測点位置と計測点周辺の微少表面エリアをテンプレート画像として記憶する。
テンプレートの形状は（ｎ×ｍ）のピクセルからなる四角形、あるいは十字の形状で校正する。テンプレートのサイズはテンプレートのなかに存在する非周期パターンのセル境界部が複数存在することで対応が可能になる。
このとき計測ワークの表面が図１４に示すステレオカメラの三次元計測値を表現するセンサー座標系において、微少領域の法線方向がカメラ方向を向いた（＋Ｚ）場合はどのようなテンプレート形状でもよい。
例えばワークの形状変化において前記法線方向が前記方向からＸ軸回りに回転した場合が多いときは横長の線状に近い四角形にしてもよい。
同様に例えば前記法線方向が前記方向からＹ軸回りに回転することが多い場合、縦長の線状に近い四角形にしてもよい。
テンプレートサイズは前記エピポーララインの最大探索長以内の対応点づけにおいてユニークさが保てるサイズにする。
【００４０】
テンプレート部に投影されるパターンはパターンの透過部と遮光部による物体面に投影された像がカメラで識別できるだけのコントラストを与えるように、パターンのサイズを決めた。ここでは０．１５４ｍｍを一辺のサイズとし、線の太さを０．０４ｍｍでファットとシンの２種の菱形のペンローズ・タイリングにより平面充填されたフォトマスクとした。
このときの物体面に投影されるタイリングの像の全ての菱形の一辺の長さは近方基準校正面上で２３．１ｍｍである。
前記光学条件では、１ピクセルあたりのこの範囲でパターンを構成するセル（タイル）の一部が複数、３から６つ、もしくはそれ以上含まれることが好ましい。
【００４１】
本実施例に因れば最大探索長はピクセル数として５２ピクセル以上になり、投影面での画素１ピクセルの一片長さが１．２１ｍｍである。前記一辺の近方校正基準面上のサイズが２３．１ｍｍであるのでこれを超えたテンプレートサイズにするには少なくとも一辺が１９ピクセルを超える必要がある。一つのセルを完全に覆うピクセル数としてこの２倍ないし３倍の２少なくとも一辺の画素数をもつテンプレートサイズにすれば前記最大探索範囲の５２ピクセル間でのマッチングにおいてほぼユニークさを保つことができる。
なお、高速化にためには前処理にて画像の１／ｎのスケール変換を行いこれにより計測してもよい。
このときは前記投影面での画素１ピクセルの一片長さが１．２１ｍｍスケール変換によりｎ倍するので、同じテンプレートサイズで探索する場合は、より相関値が上がりより正確な計測ができ、あるいはテンプレートサイズをスケール分小さくすればより高速化する。図１６の（ａ）から（ｇ）にはこれまでに述べたサンプル画像の処理の仕方を説明している。
【００４２】
前記の対応点付け（テンプレートマッチング）においては公知のサブピクセルでの手法を用いればピクセル間隔以下の単位まで計測誤差を小さくできる。
実施例においてはコンパクト化するためステレオカメラと一体化した投光光源であることが好ましいがこれに限定するものではない。
カメラ位置と計測対象物の表面の位置関係によりカメラに投光されたパターンが写りやすいように、投影装置をカメラから離して配置しても、カメラの校正に影響がない利点があるためである。
【００４３】
計測物に投影したパターンのみを取得する前処理方法が特許文献５では用いられた。
静止した計測物にパターン投影した画像と、しない画像の２種類撮像し、その差分をとることでパターン光のみを抽出し、２値化することでパターン光の反射部のみを抽出する方法である。コンピュータとプロジェクタを接続し、さらにカメラの撮像トリガも制御するようにすれば、まず非周期パターンを投影した画像を撮像し、その次にパターン光の投影を中断して計測物を撮像することにより前記差分画像を取得することができる。これによりよりロバストなパターン光の抽出ができる。
前記パターン光の差分画像取得のとき撮像回数が増えることにより計測時間が多くなる問題があるときは動的閾値法をもちいる。動的閾値法ではパターン投光画像のみを使用する。そのため撮像回数は一回ですむ。撮像したパターン画像のコントラストが強いときは本手法が有効である。処理プロセスは以下の通りである。
（１） パターン付ワーク画像取得とメモリに画像１として保存
（２） 平均化フィルタをかけメモリに画像２として保存
（３） 画像２から画像１を差分処理しメモリに画像３として保存
（４） 画像３を二値化処理してパターン光を抽出
【実施例２】
【００４４】
第２の実施例は洗濯前あるいは洗濯後において種別毎に分類・カウントを行うシステムである。ここでは山積みの状態でコンベアに載せられたシーツ、枕カバー、布団カバーなどの洗濯物を一枚ずつ持って取りだし、引き上げるときの荷重変化による種別判定の他に、引き上げた後にコンベアに受け渡し、コンベアを通過するときにその一枚の洗濯物の体積を計測することでも分類を行う。またその際、カメラ等により洗濯物の色を識別する。
これらの荷重変化、イナーシャ変化等の、力をベースにした分類判定と視覚をベースにした分類判定は、アイテム毎にどの分類判定に重みを置くかをあらかじめ決めておき、各分類判定における確からしさの数値を加算し総合判定する。あるいはそれぞれの計測データについてベクトル情報として持っておき、アイテム毎の教示データとのベクトル間距離で判定する。
力による計測には上昇時の荷重変化を計測するため短いサンプリングレートでロードセルを用いて計測する。ロードセルの計測値が正確になるよう、ピックアッ・プルアームには平行四辺形のリンク機溝である、ロバーバル機構を配置して、ワークの位置によって計測値が変わらないようにしている。
このようにあらかじめ力をベースにした判定でアイテム種類がわかる場合はそれだけで分類する。重さの変化がなくわかりにくいアイテムの場合はコンベア上のカメラで計測して総合判定する。視覚的に色の違いなど、判定可能な計測項目で正確にわかるときはそれで判定する。
さらにそれでもわからないとき、このような手法において、本発明の投影装置及び三次元計測装置では、コンベア上を通過するアイテムを定間隔で撮像し、ステレオ計測する。このような高速に移動するコンベア上で撮像する場合は、ワークの存在位置を識別して三次元形状を計測する計測点を決定しても良いが、このましくはあらかじめ等間隔で計測点をきめておきその点の高さを単純に加算していけば概略の体積が高速に計算できる。
体積がわかれば重量データと合わせて比重等がわかるので重量だけでは分類できないものも分類対応が可能になる。
【００４５】
コンベア上のワークは一定の間隔移動したとき撮像し、画像を記憶するコンピュータに送信する。ここではカメラリンクのデジタルカメラを用いた。ステレオカメラで光軸を平行にして配置してあおり光学系の計測手法で計測した。校正は実施例１と同様に行う遠・近方両面でのパターン画像を取得して参照画像での探索範囲を設定している。基準画像を右カメラ、参照画像を左カメラで取得した。
コンピュータにはカメラリンクデジタルカメラと接続するためのフレームグラバをもち、カメラからの画像情報が格納する。撮像する計測点はコンベア上でＸＹ方向で間隔一定にした格子の交点を基準画像上に計測点として設定し、その計測点を含む周辺領域をテンプレートとして参照画像上でマッチングを行う。図１５に示すドットは計測点の位置と、計測した高さを濃淡であらわしたサンプル結果である。
コンベア上は高さデータが０として出力される。各格子領域の体積は計測点の高さに概ね比例するので、計測範囲内の高さデータの和を計算して、換算計数をかければ概略的な体積がわかる。
一枚ずつとりだして計測コンベアに通され、最終的に計測したデータにより判定を行う間、コンベア下流のフラップ上に格納される。判定結果によりフラップしたのスライドコンベア２台が各アイテム毎の分類かごに向けて、落下または排出できるようにコンベアを移動し、回転方向をかごに向け回るようコンベアを回転させることで分類が可能になる。
【００４６】
本発明は画像認識による後者の手法をよりコンパクト、高速かつ確実におこなうために出来たが、三次元計測の応用可能分野は多岐にわたっており、布のハンドリングのための形状計測技術あるいはロボットハンドリングに限定するものではない。
たとえば建物、人体や工業部品、農産物などの計測も応用分野の一つである。
【図面の簡単な説明】
【００４７】
【図１】本発明の概要図である。
【図２】作業者の布タオル展開方法の一例を示す図である。
【図３】特許文献５に記載のステレオカメラの概要図である。（ａ）はステレオカメラおよび光源の斜視図である。（ｂ）は視差による奥行き計測法の概要図である。
【図４】特許文献５での計測の課題説明図である （ａ）は基準画像である。（ｂ）は参照画像である。
【図５】特許文献５での計測点の密度限界の説明図である。
【図６】非周期パターンである２種の菱形でのペンローズ・タイリングの概要図である。（ａ）は菱形形状と接続規定を示す図である。左図はファット、右図はシンである。（ｂ）ファットとシンの分割を示す図である。（ｃ）ペンローズ・タイリングの分割と拡大を示す図である。（ｄ）ペンローズ・タイリングの面積割合が無理数になることの説明図である。
【図７】ペンローズ・タイリングと線分の交点分布のユニークさを示す図である。
【図８】ペンローズ・タイリングを色分けしたパターンの説明図である。（ａ）ファット、シンをそれぞれに分割して４色で塗り分ける方法の説明図である。（ｂ）赤（Ｒ）緑（Ｇ）青（Ｂ）の三色で塗り分ける説明図である。（ｃ）赤の領域を抽出した図である。（ｄ）緑の領域を抽出した図である。（ｅ）青の領域を抽出した図である。
【図９】布物の自動展開システムの説明図である。（ａ）布物の自動展開システムの斜視図である。（ｂ）布物の自動展開システムの正面図である。（ｃ）三次元形状計測装置の計測結果によるロボットの把持動作の説明図である。（ｄ）ロボットの布地展開動作による排出行程の説明図である。
【図１０】洗濯物分類システムの説明図である。（ａ）洗濯物分類システムの側面である。（ｂ）洗濯物分類システムの投入側説明図である。（ｃ）洗濯物分類システムの分類排出側説明図である。
【図１１】本発明による投影装置の説明図である。（ａ）ＬＥＤを用いた投光装置である。（ｂ）ＬＥＤを用いた投光装置の断面、斜視説明図である。（ｃ）無電極プラズマ光源を用いた投光装置の断面、斜視説明図である。（ｄ）メタルハライド光源を用いた投光装置の断面、斜視説明図である。
【図１２】本発明による非周期パターンであるフォトマスクである。（ａ）フォトマスクの配置図である。（ｂ）フォトマスクの中央部の原点マーカー部配置図である。
【図１３】本発明で使用した撮像および投影装置の説明図である。（ａ）カメラ、投影装置および投影装置の電源の断面・斜視図である （ｂ）カメラ、投影装置および投影装置の電源の平面図である （ｃ）あおり光学系カメラの説明図である。
【図１４】本発明の光学条件設定、特に視差、探索範囲等の説明図である。
【図１５】洗濯物分類システムでのサンプル画像である。
【図１６】布物の自動展開システムの計測サンプル画像である。（ａ）左側カメラ画像（参照画像）である。（ｂ）右側カメラ画像（基準画像）である。（ｃ）左側カメラ画像の探索範囲を示す図である。（ｄ）右側カメラ画像の計測点を含む周辺領域の非周期パターンをテンプレート保存することと、計測点の位置を示す図である。（ｅ）参照画像上でのテンプレート（ｆ）で正規化相関値の分布を示す画像である。（ｆ）（ｄ）から切り出したテンプレート画像である。（ｇ）（ｅ）の探索範囲として設定した線分（エピポーラライン）上での正規化相関値の分布を示す図である。
【技術分野】
【０００１】
本発明は三次元形状識別技術に関する。とくにカメラで変形可能な物体の三次元形状計測において、同一点の識別プロセスを高速化、高精度にするためのパターン投影・計測技術に関する。
【背景技術】
【０００２】
リネンサプライ業では洗濯工場で大量のシーツやタオルを洗濯し、顧客にレンタルし使用後回収するサイクルでビジネスを行っている。現在、洗濯工程や仕上げ工程など多くの工程が大規模な洗濯機や展開仕上機、ロールアイロナー、折りたたみ仕上機などで行われている。
しかし洗濯ライン、仕上げラインの工程で最初に洗濯物を機械に投入する工程は布物をハンドリングする技術が確立されておらず人手で行われている。そのため洗濯工場での作業環境は感染の危険や高温等で過酷なため作業の自動化が望まれていた。
過去において，変形がない工業製品のハンドリングにおいては、ビジョンセンサーによる画像認識によりハンドリングするワークの姿勢を計測しワークの姿勢にあわせてロボットハンドがワークを把持して所望の場所に移動するようなハンドリングシステムがある。
しかしハンドリングするワークが可変シート状であるタオルやシーツのような布物のような柔軟物を展開したり分類するために形状計測をする用途の場合は、変形する布に対して、基準になる形状データがないため自動ハンドリングができなかった。
【０００３】
そこでこの部分を自動化するため、洗濯ラインに投入する洗濯物を種別に分類したり、投入コンベア上で計量する投入する試みや、仕上げラインにタオルやシーツを自動投入する取り組みがなされたが、実用化された例は少ない。その原因は布の変形パターンが無限にあり、設定した処理方法だけで対応できないことにある。
たとえば定型タオルを山積みの状態から拡げようとする場合、図２のように人は一つの布の端部を識別してそこから一辺をたぐり出す操作をして短辺の両端を持って全体を広げ、折りたたみをする仕上げ機に投入している。略端の識別には、一枚を取り出してその裾の部分を取り出す操作を行い、そこからの展開には端部周辺の辺を保持してその辺を展開する操作を行い一辺を拡げて吊り下げることで全面を拡げられる。
【０００４】
これらの操作をおこなうために特許文献１では、発明者が属する出願人により布ワークをハンドリングするための移動可能な保持ハンドやコンベアなどと光電センサのような通過確認センサとの組み合わせ、端部らしいところを出現させてタオルなどの布地を拡げる操作手段が開示されている。
他の手法として、過去に発明者らは、特許文献２または特許文献３に記載した手段により、空間領域にある布ワークの特徴部を視覚認識を用いてハンドリングする部位を識別しその部位の形状に対応してタオルを保持、展開操作している。
具体的には、山積みのタオルを一枚ずつ引き上げ、端部を出現させ、出現した端部をステレオカメラで形状計測し、端部周辺の辺の一部を把持し、そこからタオル全体を広げ出している。
とくに出現させた端部形状を認識し、ハンドが把持をして引き出し、なおかつ長辺の相手方端部周辺を別途保持してて吊り下げたときに、ある程度拡がって出現する短辺の相手方端部を計測して、その端部周辺の辺の形状を計測してロボットハンドの把持ポーズを決定している。そしてロボットハンドが一片を展開し吊り下げることで全面を展開している。
【０００５】
これらの手段は布の形状を計測し形状認識し、形状に合わせたハンドリング操作を行い展開し、仕上機に投入することで、仕上げライン全体を自動化するものである。
このような視覚認識結果をベースに対応動作を行うシステムに搭載する視覚認識部の視覚センサにはロボット動作に必要な動作を生成するための３次元空間内のワークの把持位置座標情報が必要になる。
具体的には、動作のために認識の正確性、ロバスト性、生産性のために計測の高速性、あるいはコスト面から構成をコンパクトにすること、さらには柔軟変形物の特徴部を的確かつ精度よく計測することが求められる。
発明者は記載した用途やその他の用途で、視覚による形状認識をベースにしたロボットハンドリングシステムを製作し実験検討を行った。これらのシステムでは把持位置情報を取得するため３次元計測手段を用いた。
【０００６】
前記の目的のため利用可能な先行技術として、発明者による特許文献４にはあおり光学系のステレオカメラとスリット光を走査して特許文献２記載の方法で連続的にステレオ撮影しながらスリット光を走査することで計測する手法が開示されている。
また発明者らによる特許文献５に記載した粗いドット配置と細かい格子配置をもつパターン光をワークに投影し、ステレオカメラで計測する手段が開示されている。図３（ａおよびｂ）参照。
ここでは
（１）ステレオカメラ左右いずれかの基準画像と参照画像上のドット位置を識別し、対応 点づけしてその視差から高さを計算する。
（２）ドット位置を基準位置としてそのドットと周辺の格子線の位置間隔を基準画像と参 照画像にて、それぞれの画像で計測して相対的な視差を計算する。
（３）基準ドットの高さと視差による基準ドットからの相対高さ（奥行き）を計算するこ とで高速に高さを計算する手法である。
これにより計測したい端部周辺のタオルの三次元形状を計測し、端辺の把持に必要な３点の３次元情報を出力する視覚認識センサを展開装置に搭載することで、展開装置が展開処理を行い、自動で折りたたみ仕上げする仕上げ機へ投入できた。すなわち布の特徴識別技術と特許文献２、３によるハンドリング技術によりタオルの展開システムが可能になった。
【０００７】
また、滑らかな表面をもつ計測対象物を三次元計測するための投影技術の先行出願として特許文献６がある。ここでは布を対象に限定していないが、なめらかな表面の計測対象物をステレオカメラで三次元計測するためにランダムパターンを生成し投影している。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】 特開２０１０−２２２７２５号公報
【特許文献２】 特開２００９−２７９７００号公報
【特許文献３】 特開２０１０−２７３７３２号公報
【特許文献４】 特開２００７−２２５４０３号公報
【特許文献５】 特開２００９−２７０９１５号公報
【特許文献６】 特開２００１−１４７１１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１による布の展開方法は、布の変形が不規則であり、所望の展開に至る変形をしないとき展開が成功しないときがあり、作業者による効率を上回ることが困難だった。特許文献２、および特許文献３による布の展開手段では、前述同様に、画像認識するワーク特徴部の出現位置が想定外の位置で出現したり、想定以上の不規則な形状変化していると成功しないため、画像認識の対応可能な形状変化対応範囲の拡大が望まれていた。
特許文献４では、多数のステレオ組合せ画像から計測するため比較的安定的に三次元形状が計測可能であるが一回の認識に必要な撮像時間が長く、高速に判定結果を返すための認識センサとしては計測時間の増加から時間当たりの処理数が上がらない。
特許文献５では、布の形状が（小さな範囲の中で）大きく変化しているようなとき、たとえば格子間隔以内での変化について計測できなかった
またドットが左右のカメラ画像のどちらにも写っていないとその近傍の範囲の形状計測ができなかった。図４参照。
また計測密度を上げようとしてドット間隔、格子間隔を小さくしていくと探索視差線上で周期的に他の格子が存在するためミスマッチングの原因になった。
【００１０】
そこで布の変形パターンの多さに対応するため計測点の密度を最大化しようとしたときドットや格子はそれ自体が領域を持っている。ドットはテンプレートとして登録しておき、左右それぞれのカメラ画像上でパターンマッチングを行う方法を検討し以下にまとめた。画像を構成するＭ×Ｎのピクセルなかでドットや格子などのサイズｍ×ｎをもつ標識を配置するときには計測できる点数の限界がある。すなわち図５のようにＭ／ｍあるいはＮ／ｎが配置できる最大数である。
このことは、予め設定したテンプレートに合わせた投光パターンを設計する際に最大数以上の配置ができない。すなわち計測点の密度をそれ以上ふやせられない問題がある
このような問題に対する解決法として画像に存在するエッジが有効に存在するケースでは、左右いずれかの画像から切り出した部分画像をテンプレートとして、その部位に対応する相手方画像の視差線上で相間値計算して視差を計測する手法が公知であるが本発明の課題である滑らかな表面形状の部分を計測するのはそのままではできない。これに対応するため特許文献６では、乱数生成により発生したコードを二次元パターンにして非周期性パターンを生成するが乱数生成の段階で偶然発生する繰り返しパターンを除去するような（検定対応等の統計的対応）アルゴリズムが必要である。またランダムパターン投光装置が複雑でありコンパクト化が困難であった
【００１１】
そこで本発明は以下の課題を解決するものである。
柔軟に変形するもの、例えば布のような、滑らかなシート状の対象物であっても、カメラにより高速・高密度に計測物表面の３次元形状を識別するため、表面の計測点を含む微細領域に、計測領域内のなかにおいてユニークなパターンを投影する。
ステレオカメラで同一点を左右画像上の位置を同定可能にするため、計測箇所毎にユニークさをもつパターン光をワークに投影すること。
前記カメラによる画像を布の把持ハンドリングすべき特徴部の形状を識別すること、その把持位置をロボットハンドが把持し布地を整形することを解決すべき課題とする
【課題を解決するための手段】
【００１２】
本発明の技術思想は、三次元形状計測をおこなう場合において
なめらかな表面を含む計測物を計測するためにパターンを投影することと、
そのパターンは計測空間範囲のサイズにかかわらずどの計測点に対しても計測点周辺の微少表面にユニークとなるパターン投影をおこなうことである。
平面空間において無限にひろがる空間であっても敷き詰めることを平面充填という。敷き詰める基本図形をタイルあるいはセルという。１種類で平面充填できるタイルの図形は正方形や平行四辺形など公知のものがあるがこれらは周期性を有し、それぞれの一部領域のパターン形状は限定された一部平面のなかでもユニークでない。
そこで複数のタイルを用いた非周期パターンの平面充填が公知である。タイルの方向が非周期であるから、適度なサイズをもてば、限定された一部平面のなかではユニークさがある。投影装置で非周期パターンをワーク表面に投影することでユニークなマークをつければ滑らかなワーク表面もそれぞれの計測位置がユニークな標識がつけられる。
【００１３】
非周期パターンは公知でありいくつかの種類があるが、以下に記載したＳｉｒ．Ｒｏｇｅｒ Ｐｅｎｒｏｓｅが発表したペンローズ・タイリングと呼ばれるパターンは以下の設定のもとに生成されるものであり非周期パターンの特徴を持つ。
［ペンローズ・タイリングの基本性質］
（１）図６（ａ）に記載のように内角が（１／５）π［ｒａｄ］および（４／５）π［ｒａｄ］の菱形（シンと呼ぶ）と（２／５）π［ｒａｄ］および（３／５）π［ｒａｄ］の菱形（ファットと呼ぶ）の２種類のみで平面上の空間充填が可能である。
（２）接続方法は図６（ａ）のように決まっている。菱形は他の菱形と結合するとき実線どうし、または破線どうしを方向を揃えて結合する。
（３）［分割］［統合］［段階的な微細化］図６（ｂ、ｃ）のように一つの菱形セルは数個のさらに小さな菱形セルに分割ができる。そのため分割を繰り返すことで無限に微細なパターンにすることができる。
（４）反対に結合を繰り返せば平面において無限の空間を充填できる。
（５）無限平面でのファット：シンの二つの菱形の個数割合が、無理数である黄金比φ＝（１＋√５）／２であることから非周期性をもつということが数学的に公知である。図６（ｄ）ではシンの半分を分割したファットとシンのそれぞれ半分にしたときの面積比が黄金比になることを示すものである。 シンはファット１個とシン１個を生みファットはファット２個とシン１個を生成する。これを無限に繰り返したときの個数比はフィボナッチ数列の隣り合う二項の比が黄金比に収束することと同じである。一個のファット：シンの面積比はφ：１であるから無限空間での面積比は、φ２：１に収束する。
（６）並進対称性がない（並進移動しても完全に一致することがない。例えば、三角形や四角形、六角形を接続して平面充填した場合は、並進移動すると完全にかさなる部分がある）
（７）平面を充填するペンローズ・タイリングと同一平面上にある直線の交点の間隔距離は非周期的であること図７（ａ）は１０９×５２ピクセルのペンローズ・タイリングパターンの一部であり、中心部に水平に３５ピクセルの直線の線分を設定し、その線分上の画像の輝度値をプロットしたものであり、図７（ｂ）は中心から２ピクセル上に線分をずらしたとき、図３のｃは線分が中心において、図７（ｃ）は中心から２ピクセル下に線分をずらしたときのグラフである。小さい移動量でも異なるパターンを見せるため、計測点を含む微少領域が直線状の形状であってもマッチングができることを示した
（８）ペンローズ・タイリングはセルの内部と境界の辺部の２色で構成できることは当然だが、図８に示すように４色あるいは３色で境界線に色がなくても、３色で全てのセルを塗り分けられる。図８（ａ）はそれぞれの菱形を二色に分割し、計４色て配置した例、図８（ｂ）は３色で配置した例である。
（９）［線］［交点］セルを構成する線の方向は本発明で使用する菱形の内角のが（１／５）π、（２／５）π、（３／５）π、（４／５）πの４種類であるからこれから発生する境界線の角度は最大で２π／（（１／５）π）であるから１０種類である。
（１０）交点は３個から１０個のセルの角の先端点が重なる。
【００１４】
上記の特徴の多くは、過去のカメラでの三次元計測に於いて問題であった三角測量の問題となる計測物体上の計測点を撮像したカメラからの画像上で、物体上に投影されたユニークな微細パターンを識別することで画像上の計測点の位置を正確に識別し、それにより光切断やあるいはステレオマッチングを誤差無く行える特徴を保有している。
本発明はこの非周期パターンの特徴を三次元計測のために利用すること、とくに計測に空間の中に投影するパターンを微細化すること、微細化は段階的におこなえること、微細化してもユニークさを保つこと、これにより実際の計測に必要な微細さとユニークさを保つ投光装置を提供し、既存の三次元計測装置と合わせて物体形状の三次元形状を高速かつ高精度に計測することを特徴とする。
【００１５】
以上の技術思想に基づく課題を解決するための手段を下記に記載する。
［１］第１の発明は、
三次元形状の計測例象物にパターンを投影すること、前記パターンが非周期パターンであり、三次元計測する計測点を含む周辺の微少表面領域にユニークな非周期パターンが投影されることを特徴とする非周期パターン投影装置である。
［２］第２の発明は、
第１の発明に記載した非周期パターンが、１／５πと４／５πの内角をもつ菱形と２／５πと３／５πの内角をもつ菱形の２種類で平面充填されたパターンであることを特徴とする非周期パターン投影装置である。
［３］第３の発明は、
第１の発明または第２の発明に記載した前記非周期パターンが前記２種類の菱形において、一定の幅をもつ菱形の境界線部と菱形の内部に分け一方が光の透過部、相手方が遮光部であるフォトマスク上に配置され、前記フォトマスク上の非周期パターンが計測対象物の表面上で結像するようフォトマスクと光源と投影レンズを直列に配置したことを特徴とする非周期パターン投影装置である。
［４］第４の発明は、
第１の発明ないし第３の発明に記載した非周期パターン投影装置と、ステレオカメラを構成する一対の撮像素子と、前記ステレオカメラにより計測対象物のパターン付ステレオ画像を取得し三次元計測する計測点を含む周辺の微少表面領域にユニークな非周期パターンが投影することと、前記ステレオカメラの基準画像と参照画像の間で対応点付けを行うステレオ画像処理することにより計測対象物の三次元形状を計測する制御部とを備える三次元形状の計測装置であることを特徴とする三次元形状計測装置である。
［５］第５の発明は、三次元形状の計測対象物にパターンを投影すること、前記パターンが非周期パターンであり、三次元計測する計測点を含む周辺の微少表面領域にユニークな非周期パターンが投影されることを特徴とする非周期パターン投影方法である。
【００１６】
ここにいう三次元形状の計測とはカメラで撮像した画像から、計測点を設定し三角測量を基本とする手法によりコンピュータがカメラの座標系で表面形状の三次元座標を計測することであり、三次元計測装置とは演算部と制御部、通信部をもつコンピュータ、画像入力手段、カメラ等からなる三次元計測装置である。
三次元計測する計測点とは、三次元計測の前処理により決められた物体表面を写した画像上での計測点である
計測点を含む周辺の微少表面エリアとは、計測点を三次元形状の計測をするさい計測点がどこにあるかを識別するためユニークなパターン特徴をあたえるために必要な面積・形状をもつ微少表面エリアである。
セルとは非周期パターンを構成する基本図形、たとえば二種の菱形の基本形状である。
ユニークとは、少なくとも探索範囲においてどの点周辺の微少表面エリアからとりだしたパターンもユニークであることである。
探索範囲とは、例えば過去の公知のステレオカメラにおいて計測空間の範囲内で、基準画像上での位置を変えずに計測点のカメラからの高さの変化させたときの、参照画像上での計測点の軌跡とその近傍の範囲である。
あるいは光切断法のような単眼での計測に於いて、投光角度を固定して照射し、計測物の表面のカメラからの高さを変化させたときのカメラ画像状での計測点の軌跡とその近傍の範囲である。
この探索範囲のなかでユニークになることで取り出した基準画像での微少表面エリアの画像が参照画像上での探索ラインを構成する点群のなかから相関値を計算したとき最も高い相関値を示す位置が参照画像上での物体計測点が写った位置となる。
【発明の効果】
【００１７】
本発明により滑らかな部分を含む物体表面にユニークなパターンを投影することができる。
カメラと画像処理部でそのパターン画像を計測することで三次元形状を識別できる。
滑らかな表面を高密度に三次元計測することが出来る。
必要な部分だけを三次元計測することで、物体のハンドリングに必要な形状識別を高速にすることが出来る。
図１６では計測方法の例として吊り下げたタオルの端部の形状を計測する際のサンプル画像を示している。（ａ）（ｂ）はステレオカメラの右側基準画像と左側参照画像である。
（ｄ）で端部付近の計測点を計測するため計測点を含む微少領域を画像からテンプレートとして保存している。（ｃ）では参照画像上の探索範囲であるエピポーラライン上で正規化相関等のマッチングアルゴリズムにより相関値の高い点を計算することを示している。
（ｆ）は基準画像からとりだした計測点を含むテンプレート画像を拡大した物である。
（ｇ）は前記エピポーラライン上での相関値の分布である。ここで最もたかい白い点での相関値は約０．８であることを示した。
【発明を実施するための最良の形態】
【００１８】
本発明はハンドリングロボットに搭載する視覚認識センサとして有効に機能する。とくに柔軟物をハンドリングするために高速・高密度な計測点で柔軟物の形状を計測するのに適している。自由に変形する対象物をハンドリングするロボットの視覚認識センサは、それ自体の原点と座標系をもち、三次元計測する計測点の座標値を計算する。
本発明によれば複雑な相対距離計測法によらず、微細非周期パターンが投影されていれば、かなりの成功率でなめらかな表面であっても所望の箇所で直接的に対応点の位置識別ができるため高速に、高い成功率で計測を行うことができるため実施の形態として好ましい。
【００１９】
また別のケースでは、山積みで投入される洗濯物をからみなく取り出すために最高点を把持したい、あるいは近年、洗濯工場においては、回収した洗濯物を種別に分類して洗濯機に投入したいという要望があり、図１０のような一枚ずつとりだした洗濯物をコンベアの上に流し、通過時に立体形状を計測し体積を計算することでボリュームをベースにした分類判定するような期待がある。このような場合、積み重なった、あるいは一枚に分離した洗濯物全体の三次元形状を計測することがもとめられている。
これらのケースで、計測物表面には滑らかな表面と段差によるエッジが混在していて、特段の投影をおこなわずとも対応点づけができるエッジを含む段差部分については過去のステレオカメラ等での三次元計測が可能だが、より好ましくは、滑らかな表面上の計測点であっても、さらに前記計測点周辺の表面面積が小さくとも高密度に高さを計測する本発明が好ましい。
【００２０】
本発明の最も好ましい実施の形態は、三次元計測装置と、取り出した布物に変形を与えて提示した部分を三次元計測装置が計測できるように提示する提示ハンドリング部と、図９（ｃ）のように三次元計測装置が認識した計測結果をもとにハンドリングロボットが取り出した布物を把持して、図９（ｄ）のように展開処理する展開処理ハンドリング部からなる布物の展開装置で用いられる図９のような三次元計測装置である。
このような実施の形態において本発明を構成する基本要素を下記に記載する。なお本発明は投影装置と三次元計測装置であるが、最も好ましい実施の形態を説明するためその周辺部と合わせて説明する。
［投影装置］
投影装置は本発明を特徴づけるものである。前記の非周期パターンを投影するためにはパソコン等と接続して、または単体でも内部に保存した画像を投影するプロジェクタ製品を用いて計測できる。
さらに好ましい例としては投影装置の小型化あるいは簡素化のために投影パターンをフォトマスクとして用意し光源と投影レンズを直列に配置した第３の発明の投影装置を用いるとよい。
【００２１】
［プロジェクタ、液晶、ＤＬＰ］
本発明をプロジェクタ製品で実施する場合、図示しない液晶あるいはＤＬＰ等によりパソコンに格納したペンローズ・タイリング画像を投影できる市販プロジェクタを使用する。投影する画像について、計測するワークに投影するペンローズ・タイリングを分割処理してできる処理前、処理後の微細さの異なる複数のペンローズ・タイリング画像を用意し、投影する画像をコンピュータで選択すればそのセルの微細さを変更できる。
［カラーパターン］
また他の利点としてカラーパターンを投影できることで計測用カメラにカラーカメラを利用するとき微小領域を色特徴により特徴点づけすることができる。図８（ｂ）のようにペンローズ・タイリングを、３色、たとえば赤、緑、青の三色ですべてのセルを塗り分けたパターンを生成し、カラーカメラで撮像したパターン付きステレオ画像を赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各成分に分離した画像では、図８（ｃ，ｄ，ｅ）に示されるような計測点周辺のエリアを各ＲＧＢ画像で対応点づけ（マッチング）を行えるため図１２の透過部と遮光部による濃淡画像を用いたマッチングに比較して対応点づけが正確に行える。
［シャッター］
近年、プロジェクタの中にはパソコンを接続せず単独で投影ができるものがあり、これを利用してもよい。必要によりシャッターを別途用意してもよい。
【００２２】
［光源］
図１１のように投影手段として、より好ましくは、視覚認識センサとして小型化のために、高輝度光源とフォトマスクと投影レンズを直列に配置したことを特徴とし、高輝度光源としてはそれぞれの駆動電源部と接続した図１１（ａ）あるいは（ｂ）のような高輝度ＬＥＤまたは（ｄ）のようなメタルハライドランプ、図示しないキセノンフラッシュランプ、（ｃ）のような無電極プラズマ光源（ＬＩＦＩ光源）等を用いる。
ＬＥＤを用いるときは特に、ＬＥＤを１個または複数個をリング状に配置し、それぞれのＬＥＤから放射される光束が効率よくマスクを通過し投影レンズに入射するようにボールレンズをＬＥＤの発光面の近く、なおかつレンズのレンズの中心にむけ少しシフトした配置にすることを採用するとよい。
ＬＥＤの駆動部はそれ自体の電源と、カメラの撮像タイミングにあわせてストロボ発光させるための制御部を持つことが好ましい。好ましくはストロボ制御用の外部への信号が用意されているカメラを使用し、撮象タイミングに合わせてＬＥＤ駆動電源部にトリガー信号を送り発光中に撮像するとよい。
光源の指向性により、指向性がない光源の場合は図１１（ｃ）あるいは（ｄ）のような集光ミラー、好ましくは放物面鏡で光源を覆うよう配置してフォトマスクと投影レンズに入る光束を増加させてもよい。あるいは集光用のレンズを光源とフォトマスクの間に配置してもよい。
光源や光源駆動電源部は熱を持ちやすいので、放熱を行うため光源の周囲に冷却用のフィンやファンを取り付け外気を通過させ放熱するとよい。
好ましくは高輝度ＬＥＤであればカメラの撮像タイミングに合わせて点灯制御する制御部、電源部を組み合わせると後述するパターン光の抽出において好ましい。
【００２３】
［フォトマスク］
フォトマスクは遮光部と透過部からなるペンローズ・タイリングパターンであり、例えばガラス基板にクロム蒸着したものを投影レンズを経て投光する。フォトマスクは耐熱性があるので上記光源等を用いて熱が発生しても問題がない。
熱等の問題が無い場合は簡便のためたとえば市販の３５ミリフィルムカメラとスライドフィルムにて印刷したＰＴを撮像し、現像処理したスライドをフォトマスクの代わりにしてもよい。
［パターン］
非周期パターンのペンローズ・タイリングにはファットとシンの組合せの他に、ダートとカイトと呼ばれる二種類で平面充填されるものがある。
画像処理において表面に投影されたセルをテンプレートとして取り出しメモリに保存するとき、そのテンプレートのサイズは小さいほうが、処理の高速化のために良い。そのためシンプルなタイル、セル形状であるファットとシンの組合せによるペンローズタイリングがより好ましい。
［セル、境界］
蒸着するパターンはＣＡＤデータとして製作する。ペンローズ・タイリングのセルの境界線部と内部のいずれを遮光部にしてもよい。実際には背景、パターン光のワークの反射強度の度合いでコントラストに違いがでるため境界部が遮光部ものと、透過部であるものの２種製作して選択可能にするとよい。
［原点マーカ］
マスクにはペンローズ・タイリングとそれ以外にも投影する際の基準点を示す原点座標マーカーを中央付近に配置するとよい。
これにより三次元形状計測装置の計測原点が、カメラからの指定距離離れて、かつ前記原点座標マーカーが反射している点として、例えばロボットシステムに取り付けた後でもわかるようになる。計測が基準面上でないような空間内でおこなわれるときでも座標値が把握しやすい。センサ自体の座標系とロボットの座標系とを合わせたり座標変換するとき簡便に行える利点がある。
【００２４】
［投影レンズ］
フォトマスクと投影レンズの位置関係は投影レンズが計測物体からの実像が結像する位置にフォトマスクを配置する。
投影レンズの仕様は明るく、収差が少ないものがこのましい。
レンズのイメージサークルがフォトマスクより大きければレンズの焦点距離、フォトマスクの有効サイズ、作動距離と計測領域での視野は次の計算式の関係がある。
投影レンズの絞りを開放にしてパターンをワークに投影する場合において、ワークの位置が焦点から遠ざかるとパターンがぼやける。またカメラに取り付けた撮像レンズも同様に焦点が合わなくなる。このような場合であってもＰＴはぼやけながら異なるパターンを表現するのでなめらかな表面を計測する計測領域とくにカメラの奥行き方向の領域を拡大するため好ましい。
【００２５】
［カメラ］
カメラは撮像素子により画像を得ること、コンピュータと通信して画像データを転送すること、制御装置と通信して撮像タイミングを制御するものを使用する。
撮像素子としてはＣＣＤ（電荷結合素子）、ＣＭＯＳなどがある。コンピュータとの通信手段はカメラリンク、ＵＳＢ、Ｆｉｒｅｗｉｒｅ（ＩＥＥＥ１３９４）、ＧＩＧ−Ｅ等の通信規格による画像データの通信を行うデジタルカメラもしくはＮＴＳＣなどのアナログカメラを使用する。ロボットの近傍に配置するカメラはノイズの影響を排除するためにはデジタルカメラの仕様が好ましい。高速に多数の画像を撮像するときはカメラリンクが好ましい。カメラの通信形態によってはパソコンにフレームグラバーボードを接続し、グラバーボードにカメラからの画像データを格納するようにする（カメラリンクやアナログカメラの場合）。また直接カメラを接続できる画像処理ユニット等を用いても良い。
【００２６】
［ステレオカメラ］
三次元形状計測装置として用いるカメラは図１３のようなステレオカメラが好ましい。２つの撮像素子をもつカメラの間に非周期パターン投光装置が配置されステレオカメラでの形状計測のため、計測物の表面にユニークなパターンを投光する。ここで一体化することは特に必要ではなく、パターンがあたりやすいところであれば計測できる。
また投影装置の位置や向きが変わっても計測誤差への影響が少ない利点がある。
［一体化光源］
一体化の利点は機器のコンパクト化にある。光源とカメラを一体の構成としで一方のカメラを用いず、非周期パターンを光切断法における投光装置として用いても良い。とくにワーク表面の傾きの変化が少なく、並進移動する計測物の計測にはステレオカメラでなくても計測が可能である。
【００２７】
［光切断法］
一般に光切断法では小さな一定の幅でレーザー等のスポット光やライン光を照射し、カメラの光軸とライン光等との角度とカメラで計測したライン光等の画像状での反射位置から高さ（奥行き）を計測するがこれとの違いを記載する。
本発明においては例えば図３（ｂ）に示すＩ１が非周期パターンのフォトマスクと仮定して背後に光源をもち投影レンズで、ユニークなＰ１点周辺の微少領域内の非周期パターンを投影する投光装置と置き換えると、Ｉ２に相当する画像上でＱ１からＱ２の間の探索範囲を探索すると高さ（奥行き）を計算できる。計測点とＱ１、Ｑ２との画像間距離の比は奥行き方向の計測点とＺ１、Ｚ２との距離に比例するからである。
過去の光切断法では探索するのはスポット光あるいはライン光であるが、本発明ではワークにワークに投影された非周期パターンの一部領域をテンプレートとする。探索に用いるテンプレートは、計測対象物の計測したい計測点を含む周辺の微少領域であり、探索する画像は、あらかじめｚ１とｚ２点の基準平面で撮像して得た平面に非周期パターンを投影した画像である。
計測画像と、近方、あるいは遠方の校正基準面に投影された比較画像上でマッチングされたテンプレートはステレオカメラによる計測の視差に相当するものであるから視差から高さを計算するのと同じ手法でカメラからの高さ、奥行きが計算できる。
【００２８】
ここであらかじめ計測領域内に、遠方と近方の校正基準面の間に、段階を設けて別の校正基準面を等間隔に設けた校正用画像を記憶しておく。
カメラの光軸と角度をつけて投影される前記Ｐ１点周辺の微少領域内の非周期パターンは、近方の校正基準面から遠方の校正基準面まで１ステップづつ遠方の校正基準面へ投影されるときのカメラ画像上の位置をみると、直線的に移動していく。すなわち全ての点が移動していく。
ここでパターンに線幅を設けているのでその等間隔に段階を設けるさいに、奥行き移動量に対応する前記視差とパターンの前記視差方向の線幅を同じにすれば、以下の条件がなりたつ。
（１）二値化した段階毎に設けた校正用画像と計測ワーク画像のＡＮＤ画像を取得する
（２）菱形が形成されていればその段階枚に設けた校正用画像の位置の近傍にワーク表面 の計測点がある
（３）菱形が欠損していればその段階枚に設けた校正用画像の位置の近傍にワーク表面の 計測点がある
この基本処理により計測ワーク表面の計測点が３次元形状の高さ階層毎に分類して計測できる。
【００２９】
一体化によりコンパクトな立体計測システムとなる。
一体化によりカメラ自体の計測座標系、原点をきめることが容易にできる。ロボットシステムに搭載するようなケースでは、一旦搭載するとロボットや他の周辺機器で校正用の基準平面を設置できない場合がある。一体化すれば校正用の計測台を別途設けて、そこで構成を行うことができ、前記原点マーカー等によりロボット搭載したときも、ロボット座標との変換が行いやすい利点がある。
光切断法を用いた場合のメリットはカメラがひとつですむことであるが、ステレオカメラと同等の誤差を期実現するには計測物の高さ変化が計測しやすいように角度をつけて投影させるため、カメラの光軸と投影装置の光軸の間の角度を、ステレオカメラの２つのレンズ光軸間の角度と同等に設けることが望ましい。
【００３０】
［トリガー］
カメラの撮像タイミングは、前記通信手段を経てコンピュータから与えられるトリガー信号により制御される。もしくは撮像タイミングを与えるための他の制御装置からトリガーのタイミングをカメラの入力端子に与えることで撮像を開始、停止してもよい。
前記制御装置は例えばコンベア上を流れるようなワークをエリアカメラで計測するときには一定の間隔をあけて撮像する必要があるが、コンベアにエンコーダーを配置し、エンコーダーからコンベアのベルト移動により発生するパルスを制御装置でカウントし、既定の回数をカウントアップしたときカメラにトリガー信号を送信し一回の撮像を行いデータを転送する。これを繰り返すことで定間隔の撮像するようにしてもよい。制御装置としてはＰＬＣ（プログラマブル・ロジック・コントローラ、シーケンサ）などを用いると良い。
【００３１】
［カメラの像面サイズ］
図１４のように撮像素子の像面サイズと画素数は計測する領域サイズと、テンプレートのサイズから決める。
視野をＷＦＯＶ、作動距離をＷＤ、撮像レンズの焦点距離をｆとすると
撮像素子の像面サイズはＷＦＯＶ×ｆ／ＷＤとなる。
「カメラ解像度」
カメラの画素数は、要求誤差から決める。１ピクセルの像面サイズに対応する物体面サイズが要求誤差の基準になる。カメラ座標系を図１４のようにＸＹＺ軸を設定した場合、ＸＹ方向は画像１ピクセル以下の誤差があると設定する。Ｚ方向の誤差はステレオカメラの双眼距離とｗｄの比を前記１ピクセル当たりの誤差に乗算した値がおおよその計測誤差であると設定する。
［テンプレートサイズ］
非周期パターンのサイズはテンプレートのサイズから決定する。テンプレートがユニークになるときのＭ×Ｎピクセルの画像領域に対応する。作動距離における物体面上でのサイズはｍ×ｎ（ｍｍ）である。探索領域の面積によりこれに含まれる好ましいセル数は変化するが、探索の正確性を期待するときはセル数を多くする。高速化のため計算量を減らすときはセル数を小さくする。
このときＭ×Ｎピクセルのでセルの内部と境界部の区別がつく程度のサイズが必要なことはいうまでもない。
前記投光装置から投影されるパターンがカラーパターンである場合は色情報を識別するためカラーカメラを用いることが好ましい。
前記投光装置から投影されるパターンがモノクロパターンである場合は高い感度で陰影を計測するためモノクロを用いることが好ましい。
【００３２】
［コンピュータ］
カメラはパソコンあるいは画像処理ユニット等のコンピュータに接続される。
コンピュータはＣＰＵ、ストレージ、メモリ等を備え、メモリに格納した画像に対し画像処理に関する演算を行い識別結果をロボットあるいは展開処理装置に送信する。このとき別の制御装置に送信し別の制御装置がロボット動作に必要なデータに変換してロボットに送信してもよい。
［画像処理ユニット］
コンピュータは専用の画像処理を行う画像処理ユニットであってもよい。画像処理ユニットは前記コンピュータと同様の機能をもち、他の制御コントローラと通信する機能をもたせることで、高温作業化での動作が安定しないコンピュータに比較して信頼性が上がる。
【００３３】
［一体化の選択肢］
小型の画像処理ユニットを用いてカメラと一体化すると制御部のコンピュータに変わることで制御部の占有領域がなくなりコンパクト化するため好ましい。
このとき画像処理ユニットは、別途統合制御装置からの指令により撮像と画像処理を行い形状計測した結果からの伝送情報を制御装置またはロボットコントローラに送信する。
ステレオカメラで三次元計測する場合、投光装置は一体であっても、別の位置に配置しても良い。
一体にする場合は、光源に高輝度ＬＥＤやキセノンフラッシュランプを用いるとよい。ＬＥＤは常時点灯しても良いか、通常は投光させず撮像のトリガーと同期して投光することで発熱を押さえられる。同期信号をキセノンフラッシュランプの駆動に用いても良い
【００３４】
［ＰＬＣ、ＰＣ］
前記の画像認識を行うコンピュータ、ロボット、展開装置、周辺機器は、直接的に通信手段を用意してもよい。またの他にこれらを統合的に制御するＰＬＣ（シーケンサ）あるいは制御用パソコンと接続してもよい
［ロボット］［周辺機器］［展開装置］
ロボットまたは展開装置は前記コンピュータからの画像認識データをもとに周辺機器と協調してハンドリングを行う。接続方法については発明者による特許文献５に記載の方法でおこなうとよい。
以下では本発明の実施例を説明するが、本発明は実施例によって限定される物ではない。
【実施例１】
【００３５】
実施例１は近方校正基準面での観察視野が７８０×５４０ｍｍ、作動距離が１３００から１５００ｍｍで動作する洗濯されたタオル等の布類のハンドリングシステムに関する。
過去の発明者らの図９に記載の展開装置においてタオルの四隅の端部の内一端をスライダロボットハンドが把持し、把持した端部の長辺側の相手方付近を保持しつつ斜め上方に引き出すことで把持した端部の短辺状の相手方の端部周辺が展開されて吊り下げられる。前記端部周辺を本発明による投影装置が表面に非周期パターン光を投影できるようにする。投影装置はカメラと一体型として別途に投光装置のための場所をなくしコンパクトにした。本発明による三次元計測装置からの布端部形状の計測結果から布端の把持に必要な角部の形状情報から短辺を把持する。そして短辺の両端をたぐり出して展開しコンベアに投入するものである。
撮像装置はステレオカメラを用いて図１３に記載したようなステレオカメラからなる視覚センサを使用する。レンズ光軸を平行に配置するあおり光学系のステレオカメラではソフトウェアでの遠近歪みの除去が不要になるため好ましい。
また図１３（ａ）から（ｃ）に記載した調整機構を持てば対応点付けを画像の水平方向に行えるので好ましい。ステレオカメラの撮像素子間の間隔は５００ｍｍである。
撮像レンズはイメージサークルが約１０ｍｍ、焦点距離ｆ＝８ｍｍのレンズを採用した。
【００３６】
予め計測範囲の最遠方及び最近傍の二つの平面を規定する。二つの平面は平行である。平面は基準画像側の撮像レンズに鉛直に配置する。
あおり光学系であれば二つの撮像レンズは平行に配置される。計測領域でステレオ計測が可能になる左右のカメラの視野がオーバーラップする領域が増えるので実効精度が増す利点がある。
校正方法の一例として図示しない近方平面には正方格子の交点にドットを配置したような校正パターンあるいは市松模様のパターンを一時的に配置する。近い方平面を左右のカメラで撮像したとき同一の画像になるようにあおり系カメラを調整する。もしくは周辺の不要な部分をカットして計測する部位を選択することで選択後の画像が同じになるようにする。
本実施例で使用したあおり光学系カメラは特許文献４，５に記載した左右方向のシフト調整と、上下方向のライズ調整、回転方向のローテーション調整の３つの調整機構付カメラを採用した。本発明においては一方またはいずれかのカメラをシフト可能にすればよいが、ここでは両方のカメラをシフト可能にして近方基準校正面で双方のシフト量が同じになるよう調整した。
このような校正をもつあおり光学系のカメラとするためには、基板に撮像素子が搭載された状態でボードレベルで提供されるボードカメラを使用することが好ましい。
ボードカメラはＵＳＢ２．０通信規格のデジタルカメラを使用したが前記の別途通信規格のものでもよい。像面サイズは４．８ｍｍ×３．６ｍｍ、解像度は６４０×４８０ピクセルである。
このような調整ができないカメラ配置の時は、一つの校正基準面上で画像処理により同一画像になるようなアフィン変換を行い、その変換パラメータをもって変換した画像により処理を行う。
【００３７】
［最大探索範長］
ドットパターンを最近傍の平面に移動したときの左右カメラのドット出現位置の差分のピクセル数を最大探索長とする。
本実施例の基本条件をまとめると、作動距離１３００〜１５００ｍｍ、近方校正基準面での視野７８０ｍｍ、遠方校正基準面での視野９００ｍｍ、双眼距離５００ｍｍ、１ピクセル当たりの近方校正基準面での該当サイズが１．２１ｍｍであるから一方のカメラを基準画像とするとき参照画像が探索するピクセルサイズは、基準画像から取り出した、画像上の計測点を含む微少領域の基準点位置から、視差出現方向に約５２ピクセル移動した位置の範囲内となる。あおり光学系の場合、レンズ収差がなければ水平方向のみのマッチングを行えばよいが、収差を考え数ピクセルの幅をもたせた長方形の探索範囲を設定する。
前記探索範囲から得た、基準画像上での計測点と参照画像上での計測点入りを結んだエピポーララインの長さから高さは計算できる。近方基準校正面とカメラの計測座標系の位置関係は既知である。遠方の校正基準面上に計測点があるときの視差が５２ピクセルなので、近方、遠方の校正基準面間の２００ｍｍの距離の間にある計測点の視差をＫとすると（Ｋ／５２）×２００が近方基準面から遠方にむけた高さである。（特許文献５参照）
本発明における光学系ではＸＹ平面上のサイズは計測物体のカメラからの距離により、同一の大きさであっても、距離により画像上のサイズは比例変化する。カメラ座標原点からのＸＹ方向のスケールは前記数式によって得られる計測点の高さから比例計算することでＸＹ方向のサイズは計算できる。たとえば近方校正基準面で７８０ｍｍの視野は遠方校正基準面では９００ｍｍのサイズとなるから、その比率で原点からの距離を補正するとＸ，Ｙの座標値が計算できる。
なおこれらは前記同様あおり光学系を用いた手法の利点であるが、それ以外の場合でもアフィン変換等の変換を行えば計算による補正をもちいて計測しても良い。
ステレオカメラでの三次元計測で前記特許文献５ではあらかじめ決めたドットパターンを最初に探すが、本発明では以下の方法がこのましい。
【００３８】
基準画像から計測部位の範囲のなかで三次元形状計測すべき点を識別する。前処理において二値化処理により背景とワーク領域を分離してできる形状について前記特許文献に記載のように、輪郭線を曲率を取得しながらトラッキングして９０度に近い鋭角である部分を識別することにより端部把持点の位置を識別できる。
さらに識別した前記端部点につながる短辺上でハンドの把持間隔だけ離れた点（短辺把持点）を識別する
次に同様に長辺上で設定ながさだけは離れた点（把持方向参照点１）または前記短辺把持点から発する、前記短辺把持点と前記端部把持点を結ぶ線の法線上で、前記短辺は時点から設定長さ離れた点（把持方向参照点２）の位置を計測する。特許文献５参照の公知の手法を用いても良い。
【００３９】
前処理により決定した基準画像上の計測点について、前記三つの計測点位置と計測点周辺の微少表面エリアをテンプレート画像として記憶する。
テンプレートの形状は（ｎ×ｍ）のピクセルからなる四角形、あるいは十字の形状で校正する。テンプレートのサイズはテンプレートのなかに存在する非周期パターンのセル境界部が複数存在することで対応が可能になる。
このとき計測ワークの表面が図１４に示すステレオカメラの三次元計測値を表現するセンサー座標系において、微少領域の法線方向がカメラ方向を向いた（＋Ｚ）場合はどのようなテンプレート形状でもよい。
例えばワークの形状変化において前記法線方向が前記方向からＸ軸回りに回転した場合が多いときは横長の線状に近い四角形にしてもよい。
同様に例えば前記法線方向が前記方向からＹ軸回りに回転することが多い場合、縦長の線状に近い四角形にしてもよい。
テンプレートサイズは前記エピポーララインの最大探索長以内の対応点づけにおいてユニークさが保てるサイズにする。
【００４０】
テンプレート部に投影されるパターンはパターンの透過部と遮光部による物体面に投影された像がカメラで識別できるだけのコントラストを与えるように、パターンのサイズを決めた。ここでは０．１５４ｍｍを一辺のサイズとし、線の太さを０．０４ｍｍでファットとシンの２種の菱形のペンローズ・タイリングにより平面充填されたフォトマスクとした。
このときの物体面に投影されるタイリングの像の全ての菱形の一辺の長さは近方基準校正面上で２３．１ｍｍである。
前記光学条件では、１ピクセルあたりのこの範囲でパターンを構成するセル（タイル）の一部が複数、３から６つ、もしくはそれ以上含まれることが好ましい。
【００４１】
本実施例に因れば最大探索長はピクセル数として５２ピクセル以上になり、投影面での画素１ピクセルの一片長さが１．２１ｍｍである。前記一辺の近方校正基準面上のサイズが２３．１ｍｍであるのでこれを超えたテンプレートサイズにするには少なくとも一辺が１９ピクセルを超える必要がある。一つのセルを完全に覆うピクセル数としてこの２倍ないし３倍の２少なくとも一辺の画素数をもつテンプレートサイズにすれば前記最大探索範囲の５２ピクセル間でのマッチングにおいてほぼユニークさを保つことができる。
なお、高速化にためには前処理にて画像の１／ｎのスケール変換を行いこれにより計測してもよい。
このときは前記投影面での画素１ピクセルの一片長さが１．２１ｍｍスケール変換によりｎ倍するので、同じテンプレートサイズで探索する場合は、より相関値が上がりより正確な計測ができ、あるいはテンプレートサイズをスケール分小さくすればより高速化する。図１６の（ａ）から（ｇ）にはこれまでに述べたサンプル画像の処理の仕方を説明している。
【００４２】
前記の対応点付け（テンプレートマッチング）においては公知のサブピクセルでの手法を用いればピクセル間隔以下の単位まで計測誤差を小さくできる。
実施例においてはコンパクト化するためステレオカメラと一体化した投光光源であることが好ましいがこれに限定するものではない。
カメラ位置と計測対象物の表面の位置関係によりカメラに投光されたパターンが写りやすいように、投影装置をカメラから離して配置しても、カメラの校正に影響がない利点があるためである。
【００４３】
計測物に投影したパターンのみを取得する前処理方法が特許文献５では用いられた。
静止した計測物にパターン投影した画像と、しない画像の２種類撮像し、その差分をとることでパターン光のみを抽出し、２値化することでパターン光の反射部のみを抽出する方法である。コンピュータとプロジェクタを接続し、さらにカメラの撮像トリガも制御するようにすれば、まず非周期パターンを投影した画像を撮像し、その次にパターン光の投影を中断して計測物を撮像することにより前記差分画像を取得することができる。これによりよりロバストなパターン光の抽出ができる。
前記パターン光の差分画像取得のとき撮像回数が増えることにより計測時間が多くなる問題があるときは動的閾値法をもちいる。動的閾値法ではパターン投光画像のみを使用する。そのため撮像回数は一回ですむ。撮像したパターン画像のコントラストが強いときは本手法が有効である。処理プロセスは以下の通りである。
（１） パターン付ワーク画像取得とメモリに画像１として保存
（２） 平均化フィルタをかけメモリに画像２として保存
（３） 画像２から画像１を差分処理しメモリに画像３として保存
（４） 画像３を二値化処理してパターン光を抽出
【実施例２】
【００４４】
第２の実施例は洗濯前あるいは洗濯後において種別毎に分類・カウントを行うシステムである。ここでは山積みの状態でコンベアに載せられたシーツ、枕カバー、布団カバーなどの洗濯物を一枚ずつ持って取りだし、引き上げるときの荷重変化による種別判定の他に、引き上げた後にコンベアに受け渡し、コンベアを通過するときにその一枚の洗濯物の体積を計測することでも分類を行う。またその際、カメラ等により洗濯物の色を識別する。
これらの荷重変化、イナーシャ変化等の、力をベースにした分類判定と視覚をベースにした分類判定は、アイテム毎にどの分類判定に重みを置くかをあらかじめ決めておき、各分類判定における確からしさの数値を加算し総合判定する。あるいはそれぞれの計測データについてベクトル情報として持っておき、アイテム毎の教示データとのベクトル間距離で判定する。
力による計測には上昇時の荷重変化を計測するため短いサンプリングレートでロードセルを用いて計測する。ロードセルの計測値が正確になるよう、ピックアッ・プルアームには平行四辺形のリンク機溝である、ロバーバル機構を配置して、ワークの位置によって計測値が変わらないようにしている。
このようにあらかじめ力をベースにした判定でアイテム種類がわかる場合はそれだけで分類する。重さの変化がなくわかりにくいアイテムの場合はコンベア上のカメラで計測して総合判定する。視覚的に色の違いなど、判定可能な計測項目で正確にわかるときはそれで判定する。
さらにそれでもわからないとき、このような手法において、本発明の投影装置及び三次元計測装置では、コンベア上を通過するアイテムを定間隔で撮像し、ステレオ計測する。このような高速に移動するコンベア上で撮像する場合は、ワークの存在位置を識別して三次元形状を計測する計測点を決定しても良いが、このましくはあらかじめ等間隔で計測点をきめておきその点の高さを単純に加算していけば概略の体積が高速に計算できる。
体積がわかれば重量データと合わせて比重等がわかるので重量だけでは分類できないものも分類対応が可能になる。
【００４５】
コンベア上のワークは一定の間隔移動したとき撮像し、画像を記憶するコンピュータに送信する。ここではカメラリンクのデジタルカメラを用いた。ステレオカメラで光軸を平行にして配置してあおり光学系の計測手法で計測した。校正は実施例１と同様に行う遠・近方両面でのパターン画像を取得して参照画像での探索範囲を設定している。基準画像を右カメラ、参照画像を左カメラで取得した。
コンピュータにはカメラリンクデジタルカメラと接続するためのフレームグラバをもち、カメラからの画像情報が格納する。撮像する計測点はコンベア上でＸＹ方向で間隔一定にした格子の交点を基準画像上に計測点として設定し、その計測点を含む周辺領域をテンプレートとして参照画像上でマッチングを行う。図１５に示すドットは計測点の位置と、計測した高さを濃淡であらわしたサンプル結果である。
コンベア上は高さデータが０として出力される。各格子領域の体積は計測点の高さに概ね比例するので、計測範囲内の高さデータの和を計算して、換算計数をかければ概略的な体積がわかる。
一枚ずつとりだして計測コンベアに通され、最終的に計測したデータにより判定を行う間、コンベア下流のフラップ上に格納される。判定結果によりフラップしたのスライドコンベア２台が各アイテム毎の分類かごに向けて、落下または排出できるようにコンベアを移動し、回転方向をかごに向け回るようコンベアを回転させることで分類が可能になる。
【００４６】
本発明は画像認識による後者の手法をよりコンパクト、高速かつ確実におこなうために出来たが、三次元計測の応用可能分野は多岐にわたっており、布のハンドリングのための形状計測技術あるいはロボットハンドリングに限定するものではない。
たとえば建物、人体や工業部品、農産物などの計測も応用分野の一つである。
【図面の簡単な説明】
【００４７】
【図１】本発明の概要図である。
【図２】作業者の布タオル展開方法の一例を示す図である。
【図３】特許文献５に記載のステレオカメラの概要図である。（ａ）はステレオカメラおよび光源の斜視図である。（ｂ）は視差による奥行き計測法の概要図である。
【図４】特許文献５での計測の課題説明図である （ａ）は基準画像である。（ｂ）は参照画像である。
【図５】特許文献５での計測点の密度限界の説明図である。
【図６】非周期パターンである２種の菱形でのペンローズ・タイリングの概要図である。（ａ）は菱形形状と接続規定を示す図である。左図はファット、右図はシンである。（ｂ）ファットとシンの分割を示す図である。（ｃ）ペンローズ・タイリングの分割と拡大を示す図である。（ｄ）ペンローズ・タイリングの面積割合が無理数になることの説明図である。
【図７】ペンローズ・タイリングと線分の交点分布のユニークさを示す図である。
【図８】ペンローズ・タイリングを色分けしたパターンの説明図である。（ａ）ファット、シンをそれぞれに分割して４色で塗り分ける方法の説明図である。（ｂ）赤（Ｒ）緑（Ｇ）青（Ｂ）の三色で塗り分ける説明図である。（ｃ）赤の領域を抽出した図である。（ｄ）緑の領域を抽出した図である。（ｅ）青の領域を抽出した図である。
【図９】布物の自動展開システムの説明図である。（ａ）布物の自動展開システムの斜視図である。（ｂ）布物の自動展開システムの正面図である。（ｃ）三次元形状計測装置の計測結果によるロボットの把持動作の説明図である。（ｄ）ロボットの布地展開動作による排出行程の説明図である。
【図１０】洗濯物分類システムの説明図である。（ａ）洗濯物分類システムの側面である。（ｂ）洗濯物分類システムの投入側説明図である。（ｃ）洗濯物分類システムの分類排出側説明図である。
【図１１】本発明による投影装置の説明図である。（ａ）ＬＥＤを用いた投光装置である。（ｂ）ＬＥＤを用いた投光装置の断面、斜視説明図である。（ｃ）無電極プラズマ光源を用いた投光装置の断面、斜視説明図である。（ｄ）メタルハライド光源を用いた投光装置の断面、斜視説明図である。
【図１２】本発明による非周期パターンであるフォトマスクである。（ａ）フォトマスクの配置図である。（ｂ）フォトマスクの中央部の原点マーカー部配置図である。
【図１３】本発明で使用した撮像および投影装置の説明図である。（ａ）カメラ、投影装置および投影装置の電源の断面・斜視図である （ｂ）カメラ、投影装置および投影装置の電源の平面図である （ｃ）あおり光学系カメラの説明図である。
【図１４】本発明の光学条件設定、特に視差、探索範囲等の説明図である。
【図１５】洗濯物分類システムでのサンプル画像である。
【図１６】布物の自動展開システムの計測サンプル画像である。（ａ）左側カメラ画像（参照画像）である。（ｂ）右側カメラ画像（基準画像）である。（ｃ）左側カメラ画像の探索範囲を示す図である。（ｄ）右側カメラ画像の計測点を含む周辺領域の非周期パターンをテンプレート保存することと、計測点の位置を示す図である。（ｅ）参照画像上でのテンプレート（ｆ）で正規化相関値の分布を示す画像である。（ｆ）（ｄ）から切り出したテンプレート画像である。（ｇ）（ｅ）の探索範囲として設定した線分（エピポーラライン）上での正規化相関値の分布を示す図である。
【特許請求の範囲】
【請求項１】
三次元形状の計測対象物にパターンを投影すること、前記パターンが非周期パターンであり、三次元計測する計測点を含む周辺の 微少表面領域にユニークな非周期パターンが投影されることを特徴とする非周期パターン投影装置。
【請求項２】
前記非周期パターンが、１／５πと４／５πの内角をもつ菱形と２／５πと３／５πの内角をもつ菱形の２種類で平面充填されたパターンであることを特徴とする請求項１記載の非周期パターン投影装置。
【請求項３】
前記非周期パターンが、フォトマスク上に一定の幅をもつ菱形の境界線部と菱形の内部に分けられ一方が光の透過部、相手方が遮光部になるよう配置された非周期パターンであって、前記フォトマスク上の非周期パターンが計測対象物の表面上で結像するようフォトマスクと光源と投影レンズを直列に配置したことを特徴とする請求項１または２に記載の非周期パターン投影装置。
【請求項４】
請求項１ないし請求項３に記載した非周期パターン投影装置と、ステレオカメラを構成する一対の撮像素子と、前記ステレオカメラにより計測対象物のパターン付ステレオ画像を取得し、三次元計測する計測点を含む周辺の微少表面領域にユニークな非周期パターンを投影することと、前記ステレオカメラの基準画像と参照画像の間で対応点付けを行うステレオ画像処理をすることにより計測対象物の三次元形状を計測する演算部とを備えることを特徴とする三次元形状計測装置。
【請求項５】
三次元形状の計測対象物にパターンを投影すること、前記パターンが非周期パターンであり、三次元計測する計測点を含む周辺の微少表面領域にユニークな非周期パターンが投影されることを特徴とする非周期パターン投影方法。
【請求項１】
三次元形状の計測対象物にパターンを投影すること、前記パターンが非周期パターンであり、三次元計測する計測点を含む周辺の 微少表面領域にユニークな非周期パターンが投影されることを特徴とする非周期パターン投影装置。
【請求項２】
前記非周期パターンが、１／５πと４／５πの内角をもつ菱形と２／５πと３／５πの内角をもつ菱形の２種類で平面充填されたパターンであることを特徴とする請求項１記載の非周期パターン投影装置。
【請求項３】
前記非周期パターンが、フォトマスク上に一定の幅をもつ菱形の境界線部と菱形の内部に分けられ一方が光の透過部、相手方が遮光部になるよう配置された非周期パターンであって、前記フォトマスク上の非周期パターンが計測対象物の表面上で結像するようフォトマスクと光源と投影レンズを直列に配置したことを特徴とする請求項１または２に記載の非周期パターン投影装置。
【請求項４】
請求項１ないし請求項３に記載した非周期パターン投影装置と、ステレオカメラを構成する一対の撮像素子と、前記ステレオカメラにより計測対象物のパターン付ステレオ画像を取得し、三次元計測する計測点を含む周辺の微少表面領域にユニークな非周期パターンを投影することと、前記ステレオカメラの基準画像と参照画像の間で対応点付けを行うステレオ画像処理をすることにより計測対象物の三次元形状を計測する演算部とを備えることを特徴とする三次元形状計測装置。
【請求項５】
三次元形状の計測対象物にパターンを投影すること、前記パターンが非周期パターンであり、三次元計測する計測点を含む周辺の微少表面領域にユニークな非周期パターンが投影されることを特徴とする非周期パターン投影方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−１７７６７１（Ｐ２０１２−１７７６７１Ａ）
【公開日】平成２４年９月１３日（２０１２．９．１３）
【国際特許分類】
【出願番号】特願２０１１−５８５１２（Ｐ２０１１−５８５１２）
【出願日】平成２３年２月２７日（２０１１．２．２７）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１８から２２年度、独立行政法人 新エネルギー・産業技術総合開発機構、戦略的先端ロボット要素技術開発 プロジェクト委託研究、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（５０２４０７１３０）株式会社プレックス (75)
【Ｆターム（参考）】
【公開日】平成２４年９月１３日（２０１２．９．１３）
【国際特許分類】
【出願日】平成２３年２月２７日（２０１１．２．２７）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１８から２２年度、独立行政法人 新エネルギー・産業技術総合開発機構、戦略的先端ロボット要素技術開発 プロジェクト委託研究、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（５０２４０７１３０）株式会社プレックス (75)
【Ｆターム（参考）】
[ Back to top ]