テンプレートマッチングシステムおよびテンプレートマッチング方法
【課題】テンプレートマッチングにより取得したテンプレートに基づいて、部品が載置されている姿勢が安定的か、否かを判定し、不安定な場合は警告を生成する。
【解決手段】テンプレートマッチング部１００は、取得したワーク１３０の設計データに基づいて形状を抽出し、複数の姿勢で平面に射影した複数の射影像を生成し、それぞれの姿勢に応じて形状の姿勢を仮想的に変化させ、形状の姿勢が復元する結果に基づいて、姿勢毎に載置された場合の安定度を算出し、射影像のそれぞれに応じて生成したテンプレートと安定度と対応付けて記憶し、撮影したワーク１３０の撮影画像に対応するテンプレートをマッチングにより選択し、選択したテンプレートに対応した安定度に基づいて、ワーク１３０が載置された姿勢について警告するか、否かを判定し、警告すると判定した場合、警告を示す警告信号を生成する。
【解決手段】テンプレートマッチング部１００は、取得したワーク１３０の設計データに基づいて形状を抽出し、複数の姿勢で平面に射影した複数の射影像を生成し、それぞれの姿勢に応じて形状の姿勢を仮想的に変化させ、形状の姿勢が復元する結果に基づいて、姿勢毎に載置された場合の安定度を算出し、射影像のそれぞれに応じて生成したテンプレートと安定度と対応付けて記憶し、撮影したワーク１３０の撮影画像に対応するテンプレートをマッチングにより選択し、選択したテンプレートに対応した安定度に基づいて、ワーク１３０が載置された姿勢について警告するか、否かを判定し、警告すると判定した場合、警告を示す警告信号を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テンプレートマッチングシステムおよびテンプレートマッチング方法に関する。
【背景技術】
【０００２】
組み立て工程が自動化された生産ラインにおいて、構成する部品を正確に把持して組み立てるために、供給される部品の位置と共に、部品が載置されている姿勢を正確に知る必要がある。この場合、下記特許文献１に示すように、基準パターンとなる部品のテンプレートを、種々の姿勢に対応して作成し、供給される部品の画像と、種々のテンプレートとを比較して、その一致度を判別し、一致度が最も高いテンプレートを取得することで、この部品が載置されている姿勢に関する情報を取得した。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１５８６２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、部品がベルト搬送装置等で搬送されて所定の位置まで運ばれる場合、ベルト搬送装置に載置される部品の姿勢は種々の様態が想定できる。例えば、部品同士が重なった状態でベルト搬送装置に載置される場合、個々の部品は不安定な姿勢であったり、その部品の中で脆弱な箇所が底面側になり破損の危険性があったりした。従って、部品が載置されている姿勢によっては、ベルト搬送装置を停止させ、部品の姿勢を修正したり、重なった部品を並べ直したりする必要があった。
しかしながら、上述の方法により取得したテンプレートは、部品が載置されている姿勢の安定度に関する情報を持たないため、テンプレートから部品が載置されている姿勢は取得できるが、その姿勢が安定的な姿勢なのか、または不安定な姿勢なのかを知ることができなかった。
【課題を解決するための手段】
【０００５】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。
【０００６】
［適用例１］
本適用例にかかるテンプレートマッチングシステムは、目標物の設計データを取得する取得手段と、取得した前記設計データに基づいて前記目標物の形状を抽出する抽出手段と、抽出した前記形状を複数の姿勢で平面に射影した複数の射影像を生成する射影手段と、前記複数の姿勢のそれぞれに応じて前記形状の姿勢を仮想的に変化させ、前記形状の姿勢が復元する結果に基づいて、前記目標物が前記複数の姿勢毎に載置された場合の安定度を算出する算出手段と、前記複数の射影像のそれぞれに応じたテンプレートを生成するテンプレート生成手段と、生成した前記テンプレートおよび前記テンプレートに応じた前記安定度を記憶する記憶手段と、載置された前記目標物を撮影して撮影画像を出力する撮影手段と、前記記憶手段に記憶された前記テンプレートと、前記撮影画像とを比較して一致度を判定することにより、前記撮影画像に対応する前記テンプレートを選択するマッチング手段と、選択した前記テンプレートに応じて記憶された前記安定度に基づいて、前記目標物が載置された姿勢について警告するか、否かを判定する警告判定手段と、前記目標物が載置された姿勢について警告すると判定した場合、警告を示す警告信号を生成する警告信号生成手段と、を備えることを特徴とする。
【０００７】
このような構成によれば、目標物の設計データに基づいて形状が抽出され、抽出された形状を複数の姿勢で射影された複数の射影像が生成され、それぞれの姿勢に応じて形状が仮想的に変化され、その形状の姿勢が復元する結果により、複数の姿勢毎に目標物が平面に載置された場合の安定度が算出されると共に、複数の射影像のそれぞれに応じたテンプレートが生成され、生成されたテンプレートは安定度と共に記憶される。更に、載置された目標物が撮影された撮影画像は、記憶されたテンプレートと比較されて一致度が判定されることにより、対応するテンプレートが選択され、選択されたテンプレートに応じた安定度に基づいて、目標物が載置された姿勢に関して警告するか、否かが判定され、警告すると判定された場合、警告信号が生成される。従って、安定度の情報を有するテンプレートを用いてテンプレートマッチングを行うため、目標物の姿勢に対応するテンプレートが選択されると共に、目標物の姿勢の安定度に応じて警告信号を生成することができる。
【０００８】
［適用例２］
上記適用例にかかるテンプレートマッチングシステムにおいて、前記算出手段は、前記形状を前記複数の姿勢のそれぞれにおいて前記平面に近接させた場合、前記平面と最初に接触する前記形状の接触点を算出する接触点算出手段と、前記複数の姿勢のそれぞれにおいて算出した前記接触点を支点として、前記平面に載置された前記形状の姿勢を仮想的に微小に変化させた後、前記形状の姿勢が元に戻るか、否かにより、前記目標物が前記複数の姿勢毎に載置された場合の安定度を判定する安定性判定手段と、を備えることが好ましい。
【０００９】
このような構成によれば、目標物のそれぞれの姿勢における安定度を力学的に算出できる。
【００１０】
［適用例３］
上記適用例にかかるテンプレートマッチングシステムにおいて、前記警告判定手段は、前記テンプレートに応じた前記安定度に加え、前記目標物に関する情報に基づいて、前記目標物が載置された姿勢について警告するか、否かを判定することが好ましい。
【００１１】
このような構成によれば、姿勢の安定度に加えて、目標物に関する情報に応じて警告信号を生成できる。
【００１２】
［適用例４］
上記適用例にかかるテンプレートマッチングシステムにおいて、前記警告信号は、表示手段に対して警告を示す情報を表示することが好ましい。
【００１３】
このような構成によれば、目標物の載置された姿勢に関して、表示手段で警告を通知できる。
【００１４】
［適用例５］
上記適用例にかかるテンプレートマッチングシステムは、前記目標物が載置された姿勢について警告しないと判定した場合、前記目標物を把持可能な姿勢変更手段に対して前記目標物の姿勢の変更を指示する姿勢変更指示手段を更に備えても良い。
【００１５】
［適用例６］
本適用例にかかるテンプレートマッチング方法は、目標物の設計データを取得する工程と、取得した前記設計データに基づいて前記目標物の形状を抽出する工程と、抽出した前記形状を複数の姿勢で平面に射影した複数の射影像を生成する工程と、前記複数の姿勢のそれぞれに応じて前記形状の姿勢を仮想的に変化させ、前記形状の姿勢が復元する結果に基づいて、前記目標物が前記複数の姿勢毎に載置された場合の安定度を算出する工程と、前記複数の射影像のそれぞれに応じたテンプレートを生成する工程と、生成した前記テンプレートおよび前記テンプレートに応じた前記安定度を記憶する工程と、載置された前記目標物を撮影して撮影画像を出力する工程と、記憶された前記テンプレートと、前記撮影画像とを比較して一致度を判定することにより、前記撮影画像に対応する前記テンプレートを選択する工程と、選択した前記テンプレートに応じて記憶された前記安定度に基づいて、前記目標物が載置された姿勢について警告するか、否かを判定する工程と、前記目標物が載置された姿勢について警告すると判定した場合、警告を示す警告信号を生成する工程と、を備えることを特徴とする。
【００１６】
このような方法によれば、目標物の設計データに基づいて形状が抽出され、抽出された形状を複数の姿勢で射影された複数の射影像が生成され、それぞれの姿勢に応じて形状が仮想的に変化され、その形状の姿勢が復元する結果により、複数の姿勢毎に目標物が平面に載置された場合の安定度が算出されると共に、複数の射影像のそれぞれに応じたテンプレートが生成され、生成されたテンプレートは安定度と共に記憶される。更に、載置された目標物が撮影された撮影画像は、記憶されたテンプレートと比較されて一致度が判定されることにより、対応するテンプレートが選択され、選択されたテンプレートに応じた安定度に基づいて、目標物が載置された姿勢に関して警告するか、否かが判定され、警告すると判定された場合、警告信号が生成される。従って、安定度の情報を有するテンプレートを用いてテンプレートマッチングを行うため、目標物の姿勢に対応するテンプレートが選択されると共に、目標物の姿勢の安定度に応じて警告信号を生成することができる。
【図面の簡単な説明】
【００１７】
【図１】本実施形態に係るワーク姿勢変更装置の概観を示す図。
【図２】本実施形態に係るワーク姿勢変更装置の機能構成を示す図。
【図３】ワークの安定度算出を説明する図。
【図４】本実施形態に係るワーク姿勢変更装置による処理の流れを示すフローチャート。
【発明を実施するための形態】
【００１８】
以下、テンプレート生成システム装置を適用したワーク姿勢変更装置について図面を参照して説明する。
【００１９】
（実施形態）
図１は、ワーク姿勢変更装置５の概観を示す図である。このワーク姿勢変更装置５は、ロボット１０と、ワーク姿勢を変更すべくロボット１０を制御する制御装置５０を備え、ベルト搬送装置１３５により一定方向に搬送される目標物であるワーク１３０の載置姿勢をパターンマッチングにより検出し、必要に応じて、ロボット１０がワーク１３０を把持して、ワーク１３０を所定の姿勢に変更し、床面に載置する機能を有する。
ロボット１０は、目標物の姿勢を変更する姿勢変更手段であり、設置面に設置される基体であるロボットベース２５、設置面との鉛直軸で回転する第一軸１１、アーム１７Ａを水平軸で回転する第二軸１２、アーム１７Ａの軸方向に回転する第三軸１３、アーム１７Ａに固定され、アーム１７Ｂを水平方向に回転する第四軸１４、アーム１７Ｂの軸方向に回転する第五軸１５、および、アーム１７Ｂに固定され、手首１８を水平方向に回転する第六軸１６のそれぞれを移動部とする六軸制御の多関節産業用ロボットである。この手首１８の先端にはハンド１９が装着される。このハンド１９は、供給される部品を掴み、所定の姿勢に変更して所定の位置に搬送し、組み立て作業等を行うことができる。
【００２０】
これらの駆動軸は、何れも図示を略したモーターや空圧機器等により動作する複数のアクチュエーター３０（図２）の駆動により回動するように構成され、複数のアクチュエーター３０は、制御装置５０からケーブル８５を介して送られる制御信号に基づいて駆動するように構成されている。
尚、本実施形態では、部品の位置や姿勢を変更して組み立てる手段として六軸制御の多関節産業用ロボットを採用したが、これに限定されるものではなく、スカラー型のロボットであっても良く、また、それぞれ一方向に駆動する駆動手段を多段に組み合わせた専用機、例えば、ピックアンドプレースユニットであっても良い。
【００２１】
制御装置５０は、コンピューター８０、ディスプレイ８２、キーボード８４、デジタルカメラ２０および表示灯１６０を備える。コンピューター８０は、それぞれ図示を略したＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、シーケンサー、ロボットコントローラーおよびドライブユニット等からなるハードウェア資源と、ＲＯＭやＨＤＤ等に記憶された種々のソフトウェアとが有機的に協働することにより、後述する各機能部の機能を実現している。
また、撮影手段であるデジタルカメラ２０は、ワーク１３０を撮影可能な位置に設置され、図示を略したＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）のような撮像素子によりワーク１３０に適した撮影条件で撮影し、撮影した画像信号はケーブル８５を介してコンピューター８０に送るように構成されている。尚、本実施形態では、デジタルカメラ２０はロボット１０と別々に設置されているが、ロボット１０の手首１８に設置された様態であっても良い。また、デジタルカメラ２０の視点は、制御装置５０からの指示に応じて、自在に変更できるように構成されても良い。また、表示灯１６０は、赤色、黄色および緑色のランプがコンピューター８０の指示に応じて点灯する。尚、表示灯１６０は、このような様態には限定されず、赤色等の回転灯であっても良い。
【００２２】
図２は、ワーク姿勢変更装置５の機能構成を示す図である。制御装置５０は、テンプレートマッチング部１００、ロボット制御部１２６、ドライバー１２４、ワーク情報記憶部１２９、表示灯制御部１３２およびＵＩ表示制御部１３４を備える。また、テンプレートマッチング部１００は、テンプレート取得部１１０、マッチング部１０５、警告判定部１０６、姿勢補正指示部１０８および警告信号生成部１０９を備えるテンプレートマッチングシステムである。
テンプレート取得部１１０は、ワーク１３０のＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）データに基づいて、このワーク１３０を２次元的に射影した場合に、取り得る可能性が有る全てのテンプレートを取得する。このテンプレート取得部１１０は、ＣＡＤデータ取得部１１２、形状抽出部１１４、射影部１１６、テンプレート生成部１１８、安定度算出部１２０およびテンプレート記憶部１２２を備える。
ＣＡＤデータ取得部１１２は、ＣＡＤデータベース１２８からワーク１３０の設計データ（ＣＡＤデータ）を取得する取得手段である。尚、ＣＡＤデータベース１２８は、制御装置５０のコンピューター８０に保持されても良く、また、外部のサーバーに保持され、通信を介して取得されても良い。ＣＡＤデータ取得部１１２により取得されたＣＡＤデータは、形状抽出部１１４に送られる。
【００２３】
形状抽出部１１４は、ＣＡＤデータ取得部１１２から送られるＣＡＤデータを解析し、ワーク１３０に関する３次元形状のＣＡＤモデル１５０（図３）を抽出する抽出手段である。本実施形態では、ＣＡＤデータは、ＩＧＥＳ（Ｉｎｉｔｉａｌ Ｇｒａｐｈｉｃｓ Ｅｘｃｈａｎｇｅ Ｓｐｅｃｉｆｉｃａｔｉｏｎ）やＶＲＭＬ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｍｏｄｅｌｉｎｇ Ｌａｎｇｕａｇｅ）等でワーク１３０が記述されているデータを想定する。また、ＣＡＤデータの解析に限定されず、ＣＡＤデータを操作するアプリケーションを介して３次元形状を抽出しても良い。形状抽出部１１４で抽出されたＣＡＤモデル１５０に関する情報は、安定度算出部１２０および射影部１１６に送られる。
安定度算出部１２０は、接触点算出部１４０と安定性判定部１４５を備え、算出手段としてワーク１３０が載置された姿勢毎の安定度を算出する。この安定度算出部１２０の機能の詳細については、図３を参照して説明する。
【００２４】
接触点算出部１４０は、ＣＡＤモデル１５０を用いて、ワーク１３０が取り得る全ての姿勢を想定し、床面と接触する場合の接触点を算出する接触点算出手段である。具体的には、形状抽出部１１４が抽出したＣＡＤモデル１５０を３次元の種々な方向に回転させる。この際、回転するＣＡＤモデル１５０を平面である床面に並進させて近づけ、接触点を算出する。ここで、ワーク１３０の表面形状が平面のみで構成されている場合や、ワーク１３０のＣＡＤモデル１５０がＶＲＭＬで記述され、三角ポリゴンによる近似で表現されている場合は、図３（ｃ）に示すように、ＣＡＤモデル１５０の各頂点と平面との距離（ｈ1，ｈ2）を計算すれば良いため、接触点の算出を簡便に行うことができる。
安定性判定部１４５は、図３（ｂ）や（ｃ）に示すように、それぞれ算出した接触点を支点として、ワーク１３０のＣＡＤモデル１５０を仮想的に微小な角度だけずらして微小変化を与え、元の状態に復元するか、否かを接触点毎に判定する安定性判定手段である。詳細には、支点を通る軸（図示は略す。）を設定し、この軸を中心として重力によるモーメントを計算し、元の位置に戻るか、否かを判定する。また、ＣＡＤモデル１５０に微小な変化を与えた場合のモーメントの大きさの変化を取得し、この変化の安定度に基づいて判定しても良い。安定度算出部１２０は、支点毎、即ち、ワーク１３０が載置される姿勢毎の安定度を保持する。ワーク１３０の姿勢毎の安定度に関する情報は、テンプレート生成部１１８が生成したテンプレートを記憶する際に参照される。
【００２５】
射影部１１６は、予め取得されるデジタルカメラ２０の内部パラメーターや、撮影方向等を示す外部パラメーターに基づいて、撮影画像を射影する射影手段である。即ち、外部パラメーターに基づき、ＣＡＤモデル１５０から算出できるワーク１３０の種々な姿勢の３次元形状を、画像を拡大または縮小または回転する公知の変換方法であるアフィン変換等により、デジタルカメラ２０のカメラ座標系に投射する。また、内部パラメーターに基づき、デジタルカメラ２０の画像平面に射影する。また、ワーク１３０の姿勢が決定した場合、デジタルカメラ２０の画像平面に射影する。ここで射影した射影像は、テンプレート生成部１１８に送られる。
テンプレート生成部１１８は、射影部１１６から送られる射影像からテンプレートを生成し、生成したテンプレートの情報をテンプレート記憶部１２２に記憶する生成手段である。このテンプレート生成部１１８は、生成したテンプレートに対応した安定度に関する情報を安定度算出部１２０から読み取って関連付けされ、テンプレート記憶部１２２に送られる。テンプレート記憶部１２２は記憶手段であり、テンプレート生成部１１８が生成したテンプレートと、このテンプレートに関連付けされた安定度に関する情報とを対応付けて記憶する。
【００２６】
マッチング部１０５は、デジタルカメラ２０が撮影したワーク１３０の撮影画像と、テンプレート記憶部１２２に記憶されている画像平面に射影されたテンプレートとのマッチングを行うマッチング手段である。この場合、撮影画像を平行に投射したテンプレートとマッチングしても良い。マッチング手法は、限定されず、撮影画像からエッジ画像を生成し、形状を合わせた後、予め設定した閾値を越えて合致すれば、姿勢を検出したと判定しても良い。また、テンプレートは、画像平面に射影したものが好ましいが、撮影したワーク１３０の世界座標系での姿勢が求めることができる場合は、撮影画像を世界座標系に変換してマッチングしても良い。尚、マッチング部１０５が検出した姿勢の情報は、警告判定部１０６に送られる。
【００２７】
警告判定部１０６は、マッチング部１０５が検出した姿勢の情報から、マッチングしたテンプレートの安定度に関する情報をテンプレート記憶部１２２から取得し、更に、このワーク１３０に関する情報をワーク情報記憶部１２９から取得し、これらの情報に基づいて、ユーザーに警告を発するか、否かを判定する警告判定手段である。例えば、マッチング部１０５が検出したワーク１３０の姿勢が不安定である場合や、ワーク情報記憶部１２９に記憶された情報に基づきワーク１３０が保持されようとする領域が、ワーク１３０の保持禁止部分である場合、警告判定部１０６はユーザーへの警告の発信を判定する。
尚、ワーク１３０の保持禁止部分とは、例えば、ワーク１３０の内部や表面付近に電子回路や精密部品が実装され、ロボット１０のハンド１９が把持することで破壊されたり、精度が悪化したりする可能性が高い領域である。警告判定部１０６がユーザーへの警告の発信を判定した場合、警告信号生成部１０９に対して警告信号の生成を指示する。他方で、警告判定部１０６がユーザーへの警告の発信が不要であると判定した場合、姿勢補正指示部１０８に対してワーク１３０の姿勢補正を指示する。
【００２８】
警告信号生成部１０９は、警告判定部１０６からの指示に応じて、ワーク１３０の姿勢が不良である旨の警告を表示手段に表示させ、ユーザーに通知する警告信号生成手段である。具体的には、警告信号生成部１０９は、ＵＩ（ＵｓｅｒＩｎｔｅｒｆａｃｅ）表示制御部１３４と表示灯制御部１３２に対して表示を指示する警告信号を生成する。この結果、ＵＩ表示制御部１３４は、警告を示すメッセージボックス（図示は略す）等をディスプレイ８２上に表示させると共に、表示灯制御部１３２はランプを点灯させる。この結果、ユーザーはこれらの警告を視認し、ベルト搬送装置１３５を一時休止して、ワーク１３０姿勢の補正や、姿勢不良のワーク１３０の除外を行った後、ベルト搬送装置１３５の休止を解除する。尚、ユーザーへの警告は、上記した手段には限定されず、ユーザーに対して視聴覚的に警告する方法、例えば、音声等による警告を併用しても良い。
【００２９】
姿勢補正指示部１０８は、警告判定部１０６からの指示に応じて、検出した姿勢に関する情報に基づき、ワーク１３０を所定の姿勢に変更すべく、ロボット１０の駆動をロボット制御部１２６に指示する姿勢変更指示手段である。
ロボット制御部１２６とドライバー１２４は、アーム１７等の稼動部の動作を制御する制御手段である。ロボット制御部１２６は、ワーク１３０の姿勢の変更指示に基づき、ロボット１０を移動させるための複数のアクチュエーター３０の駆動量を算出し、算出した駆動量に関する駆動情報をドライバー１２４に送る。ドライバー１２４は、ロボット制御部１２６から送られる駆動情報に基づいて、それぞれのアクチュエーター３０毎に駆動信号を生成し、それぞれのアクチュエーター３０に送る。この結果、アーム１７が所定の位置まで移動し、ハンド１９がワーク１３０を把持してワーク１３０を回転させたり、反転させたりして、ワーク１３０の姿勢を変更する。
【００３０】
図４は、ワーク姿勢変更装置５によりロボット１０がワーク１３０を把持して姿勢を変更する処理の流れを示すフローチャートである。この処理が実行されると、最初に、制御装置５０は、取得したワーク１３０のＣＡＤデータを解析して、ワーク１３０の３次元形状のＣＡＤモデル１５０を抽出する（ステップＳ２００）。
次に、制御装置５０は、ＣＡＤモデル１５０の姿勢を仮想的に変化させる（ステップＳ２０２）。次に、制御装置５０は、変化させた姿勢毎の安定度を算出する（ステップＳ２０４）。
次に、制御装置５０は、ＣＡＤモデル１５０を射影して、テンプレートを生成する（ステップＳ２０６）。続いて、制御装置５０は、生成したテンプレートを姿勢の安定度と関連付けて記憶する（ステップＳ２０８）。
次に、制御装置５０は、ワーク１３０を撮影して撮影画像を取得する（ステップＳ２１５）。
【００３１】
次に、制御装置５０は、撮影画像と記憶されたテンプレートとをマッチングしてワーク１３０の姿勢を取得する（ステップＳ２２０）。
次に、制御装置５０は、ワーク１３０の特性と取得した姿勢の安定度から、ユーザーに対して警告するか、否を判定する（ステップＳ２２５）。
ここで、制御装置５０は、判定結果に応じた処理を指示する（ステップＳ２３０）。即ち、ユーザーに対して警告すると判定した場合（ステップＳ２３０でＹｅｓ）、制御装置５０は、ユーザーが注視すべくメッセージや光で警告し（ステップＳ２３５）、一連の処理を終了する。他方で、ユーザーに対して警告が不要であると判定した場合（ステップＳ２３０でＮｏ）、制御装置５０は、ロボット１０にワーク１３０の姿勢の変更を指示し（ステップＳ２４０）、一連の処理を終了する。
上述した処理により、供給されるワーク１３０の取り得る姿勢の中から、それぞれの安定度を求め、ワーク１３０の撮影画像とのパターンマッチングを行ってワーク１３０が置かれた姿勢を認識し、その姿勢の安定度やワーク１３０の特性から、ワーク１３０の姿勢をロボット１０に変更させるか、もしくは、ユーザーに対してワーク１３０の姿勢不良を警告するかが判定される。従って、例えば、ベルト搬送装置１３５上で他のワーク１３０と重なって不安定に載置されたワーク１３０を認識し、ユーザーに対して警告を通知するため、ユーザーは不安定な状態のワーク１３０をベルト搬送装置１３５上から除去したり、姿勢を矯正したりできるため、ロボット１０のハンド１９がワーク１３０の想定外の部分を把持することにより、ワーク１３０の外観が破壊されたり、ワーク１３０が有する機能が壊されたりすることを回避できる。
【符号の説明】
【００３２】
５…ワーク姿勢変更装置、１０…ロボット、１１…第一軸、１２…第二軸、１３…第三軸、１４…第四軸、１５…第五軸、１６…第六軸、１７，１７Ａ，１７Ｂ…アーム、１８…手首、１９…ハンド、２０…デジタルカメラ、２５…ロボットベース、３０…アクチュエーター、５０…制御装置、８０…コンピューター、８２…ディスプレイ、８４…キーボード、８５…ケーブル、１００…テンプレートマッチング部、１０５…マッチング部、１０６…警告判定部、１０８…姿勢補正指示部、１０９…警告信号生成部、１１０…テンプレート取得部、１１２…ＣＡＤデータ取得部、１１４…形状抽出部、１１６…射影部、１１８…テンプレート生成部、１２０…安定度算出部、１２２…テンプレート記憶部、１２４…ドライバー、１２６…ロボット制御部、１２８…ＣＡＤデータベース、１２９…ワーク情報記憶部、１３０…ワーク、１３２…表示灯制御部、１３４…ＵＩ表示制御部、１３５…ベルト搬送装置、１４０…接触点算出部、１４５…安定性判定部、１５０…ＣＡＤモデル、１６０…表示灯。
【技術分野】
【０００１】
本発明は、テンプレートマッチングシステムおよびテンプレートマッチング方法に関する。
【背景技術】
【０００２】
組み立て工程が自動化された生産ラインにおいて、構成する部品を正確に把持して組み立てるために、供給される部品の位置と共に、部品が載置されている姿勢を正確に知る必要がある。この場合、下記特許文献１に示すように、基準パターンとなる部品のテンプレートを、種々の姿勢に対応して作成し、供給される部品の画像と、種々のテンプレートとを比較して、その一致度を判別し、一致度が最も高いテンプレートを取得することで、この部品が載置されている姿勢に関する情報を取得した。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１５８６２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、部品がベルト搬送装置等で搬送されて所定の位置まで運ばれる場合、ベルト搬送装置に載置される部品の姿勢は種々の様態が想定できる。例えば、部品同士が重なった状態でベルト搬送装置に載置される場合、個々の部品は不安定な姿勢であったり、その部品の中で脆弱な箇所が底面側になり破損の危険性があったりした。従って、部品が載置されている姿勢によっては、ベルト搬送装置を停止させ、部品の姿勢を修正したり、重なった部品を並べ直したりする必要があった。
しかしながら、上述の方法により取得したテンプレートは、部品が載置されている姿勢の安定度に関する情報を持たないため、テンプレートから部品が載置されている姿勢は取得できるが、その姿勢が安定的な姿勢なのか、または不安定な姿勢なのかを知ることができなかった。
【課題を解決するための手段】
【０００５】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。
【０００６】
［適用例１］
本適用例にかかるテンプレートマッチングシステムは、目標物の設計データを取得する取得手段と、取得した前記設計データに基づいて前記目標物の形状を抽出する抽出手段と、抽出した前記形状を複数の姿勢で平面に射影した複数の射影像を生成する射影手段と、前記複数の姿勢のそれぞれに応じて前記形状の姿勢を仮想的に変化させ、前記形状の姿勢が復元する結果に基づいて、前記目標物が前記複数の姿勢毎に載置された場合の安定度を算出する算出手段と、前記複数の射影像のそれぞれに応じたテンプレートを生成するテンプレート生成手段と、生成した前記テンプレートおよび前記テンプレートに応じた前記安定度を記憶する記憶手段と、載置された前記目標物を撮影して撮影画像を出力する撮影手段と、前記記憶手段に記憶された前記テンプレートと、前記撮影画像とを比較して一致度を判定することにより、前記撮影画像に対応する前記テンプレートを選択するマッチング手段と、選択した前記テンプレートに応じて記憶された前記安定度に基づいて、前記目標物が載置された姿勢について警告するか、否かを判定する警告判定手段と、前記目標物が載置された姿勢について警告すると判定した場合、警告を示す警告信号を生成する警告信号生成手段と、を備えることを特徴とする。
【０００７】
このような構成によれば、目標物の設計データに基づいて形状が抽出され、抽出された形状を複数の姿勢で射影された複数の射影像が生成され、それぞれの姿勢に応じて形状が仮想的に変化され、その形状の姿勢が復元する結果により、複数の姿勢毎に目標物が平面に載置された場合の安定度が算出されると共に、複数の射影像のそれぞれに応じたテンプレートが生成され、生成されたテンプレートは安定度と共に記憶される。更に、載置された目標物が撮影された撮影画像は、記憶されたテンプレートと比較されて一致度が判定されることにより、対応するテンプレートが選択され、選択されたテンプレートに応じた安定度に基づいて、目標物が載置された姿勢に関して警告するか、否かが判定され、警告すると判定された場合、警告信号が生成される。従って、安定度の情報を有するテンプレートを用いてテンプレートマッチングを行うため、目標物の姿勢に対応するテンプレートが選択されると共に、目標物の姿勢の安定度に応じて警告信号を生成することができる。
【０００８】
［適用例２］
上記適用例にかかるテンプレートマッチングシステムにおいて、前記算出手段は、前記形状を前記複数の姿勢のそれぞれにおいて前記平面に近接させた場合、前記平面と最初に接触する前記形状の接触点を算出する接触点算出手段と、前記複数の姿勢のそれぞれにおいて算出した前記接触点を支点として、前記平面に載置された前記形状の姿勢を仮想的に微小に変化させた後、前記形状の姿勢が元に戻るか、否かにより、前記目標物が前記複数の姿勢毎に載置された場合の安定度を判定する安定性判定手段と、を備えることが好ましい。
【０００９】
このような構成によれば、目標物のそれぞれの姿勢における安定度を力学的に算出できる。
【００１０】
［適用例３］
上記適用例にかかるテンプレートマッチングシステムにおいて、前記警告判定手段は、前記テンプレートに応じた前記安定度に加え、前記目標物に関する情報に基づいて、前記目標物が載置された姿勢について警告するか、否かを判定することが好ましい。
【００１１】
このような構成によれば、姿勢の安定度に加えて、目標物に関する情報に応じて警告信号を生成できる。
【００１２】
［適用例４］
上記適用例にかかるテンプレートマッチングシステムにおいて、前記警告信号は、表示手段に対して警告を示す情報を表示することが好ましい。
【００１３】
このような構成によれば、目標物の載置された姿勢に関して、表示手段で警告を通知できる。
【００１４】
［適用例５］
上記適用例にかかるテンプレートマッチングシステムは、前記目標物が載置された姿勢について警告しないと判定した場合、前記目標物を把持可能な姿勢変更手段に対して前記目標物の姿勢の変更を指示する姿勢変更指示手段を更に備えても良い。
【００１５】
［適用例６］
本適用例にかかるテンプレートマッチング方法は、目標物の設計データを取得する工程と、取得した前記設計データに基づいて前記目標物の形状を抽出する工程と、抽出した前記形状を複数の姿勢で平面に射影した複数の射影像を生成する工程と、前記複数の姿勢のそれぞれに応じて前記形状の姿勢を仮想的に変化させ、前記形状の姿勢が復元する結果に基づいて、前記目標物が前記複数の姿勢毎に載置された場合の安定度を算出する工程と、前記複数の射影像のそれぞれに応じたテンプレートを生成する工程と、生成した前記テンプレートおよび前記テンプレートに応じた前記安定度を記憶する工程と、載置された前記目標物を撮影して撮影画像を出力する工程と、記憶された前記テンプレートと、前記撮影画像とを比較して一致度を判定することにより、前記撮影画像に対応する前記テンプレートを選択する工程と、選択した前記テンプレートに応じて記憶された前記安定度に基づいて、前記目標物が載置された姿勢について警告するか、否かを判定する工程と、前記目標物が載置された姿勢について警告すると判定した場合、警告を示す警告信号を生成する工程と、を備えることを特徴とする。
【００１６】
このような方法によれば、目標物の設計データに基づいて形状が抽出され、抽出された形状を複数の姿勢で射影された複数の射影像が生成され、それぞれの姿勢に応じて形状が仮想的に変化され、その形状の姿勢が復元する結果により、複数の姿勢毎に目標物が平面に載置された場合の安定度が算出されると共に、複数の射影像のそれぞれに応じたテンプレートが生成され、生成されたテンプレートは安定度と共に記憶される。更に、載置された目標物が撮影された撮影画像は、記憶されたテンプレートと比較されて一致度が判定されることにより、対応するテンプレートが選択され、選択されたテンプレートに応じた安定度に基づいて、目標物が載置された姿勢に関して警告するか、否かが判定され、警告すると判定された場合、警告信号が生成される。従って、安定度の情報を有するテンプレートを用いてテンプレートマッチングを行うため、目標物の姿勢に対応するテンプレートが選択されると共に、目標物の姿勢の安定度に応じて警告信号を生成することができる。
【図面の簡単な説明】
【００１７】
【図１】本実施形態に係るワーク姿勢変更装置の概観を示す図。
【図２】本実施形態に係るワーク姿勢変更装置の機能構成を示す図。
【図３】ワークの安定度算出を説明する図。
【図４】本実施形態に係るワーク姿勢変更装置による処理の流れを示すフローチャート。
【発明を実施するための形態】
【００１８】
以下、テンプレート生成システム装置を適用したワーク姿勢変更装置について図面を参照して説明する。
【００１９】
（実施形態）
図１は、ワーク姿勢変更装置５の概観を示す図である。このワーク姿勢変更装置５は、ロボット１０と、ワーク姿勢を変更すべくロボット１０を制御する制御装置５０を備え、ベルト搬送装置１３５により一定方向に搬送される目標物であるワーク１３０の載置姿勢をパターンマッチングにより検出し、必要に応じて、ロボット１０がワーク１３０を把持して、ワーク１３０を所定の姿勢に変更し、床面に載置する機能を有する。
ロボット１０は、目標物の姿勢を変更する姿勢変更手段であり、設置面に設置される基体であるロボットベース２５、設置面との鉛直軸で回転する第一軸１１、アーム１７Ａを水平軸で回転する第二軸１２、アーム１７Ａの軸方向に回転する第三軸１３、アーム１７Ａに固定され、アーム１７Ｂを水平方向に回転する第四軸１４、アーム１７Ｂの軸方向に回転する第五軸１５、および、アーム１７Ｂに固定され、手首１８を水平方向に回転する第六軸１６のそれぞれを移動部とする六軸制御の多関節産業用ロボットである。この手首１８の先端にはハンド１９が装着される。このハンド１９は、供給される部品を掴み、所定の姿勢に変更して所定の位置に搬送し、組み立て作業等を行うことができる。
【００２０】
これらの駆動軸は、何れも図示を略したモーターや空圧機器等により動作する複数のアクチュエーター３０（図２）の駆動により回動するように構成され、複数のアクチュエーター３０は、制御装置５０からケーブル８５を介して送られる制御信号に基づいて駆動するように構成されている。
尚、本実施形態では、部品の位置や姿勢を変更して組み立てる手段として六軸制御の多関節産業用ロボットを採用したが、これに限定されるものではなく、スカラー型のロボットであっても良く、また、それぞれ一方向に駆動する駆動手段を多段に組み合わせた専用機、例えば、ピックアンドプレースユニットであっても良い。
【００２１】
制御装置５０は、コンピューター８０、ディスプレイ８２、キーボード８４、デジタルカメラ２０および表示灯１６０を備える。コンピューター８０は、それぞれ図示を略したＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、シーケンサー、ロボットコントローラーおよびドライブユニット等からなるハードウェア資源と、ＲＯＭやＨＤＤ等に記憶された種々のソフトウェアとが有機的に協働することにより、後述する各機能部の機能を実現している。
また、撮影手段であるデジタルカメラ２０は、ワーク１３０を撮影可能な位置に設置され、図示を略したＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）のような撮像素子によりワーク１３０に適した撮影条件で撮影し、撮影した画像信号はケーブル８５を介してコンピューター８０に送るように構成されている。尚、本実施形態では、デジタルカメラ２０はロボット１０と別々に設置されているが、ロボット１０の手首１８に設置された様態であっても良い。また、デジタルカメラ２０の視点は、制御装置５０からの指示に応じて、自在に変更できるように構成されても良い。また、表示灯１６０は、赤色、黄色および緑色のランプがコンピューター８０の指示に応じて点灯する。尚、表示灯１６０は、このような様態には限定されず、赤色等の回転灯であっても良い。
【００２２】
図２は、ワーク姿勢変更装置５の機能構成を示す図である。制御装置５０は、テンプレートマッチング部１００、ロボット制御部１２６、ドライバー１２４、ワーク情報記憶部１２９、表示灯制御部１３２およびＵＩ表示制御部１３４を備える。また、テンプレートマッチング部１００は、テンプレート取得部１１０、マッチング部１０５、警告判定部１０６、姿勢補正指示部１０８および警告信号生成部１０９を備えるテンプレートマッチングシステムである。
テンプレート取得部１１０は、ワーク１３０のＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）データに基づいて、このワーク１３０を２次元的に射影した場合に、取り得る可能性が有る全てのテンプレートを取得する。このテンプレート取得部１１０は、ＣＡＤデータ取得部１１２、形状抽出部１１４、射影部１１６、テンプレート生成部１１８、安定度算出部１２０およびテンプレート記憶部１２２を備える。
ＣＡＤデータ取得部１１２は、ＣＡＤデータベース１２８からワーク１３０の設計データ（ＣＡＤデータ）を取得する取得手段である。尚、ＣＡＤデータベース１２８は、制御装置５０のコンピューター８０に保持されても良く、また、外部のサーバーに保持され、通信を介して取得されても良い。ＣＡＤデータ取得部１１２により取得されたＣＡＤデータは、形状抽出部１１４に送られる。
【００２３】
形状抽出部１１４は、ＣＡＤデータ取得部１１２から送られるＣＡＤデータを解析し、ワーク１３０に関する３次元形状のＣＡＤモデル１５０（図３）を抽出する抽出手段である。本実施形態では、ＣＡＤデータは、ＩＧＥＳ（Ｉｎｉｔｉａｌ Ｇｒａｐｈｉｃｓ Ｅｘｃｈａｎｇｅ Ｓｐｅｃｉｆｉｃａｔｉｏｎ）やＶＲＭＬ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｍｏｄｅｌｉｎｇ Ｌａｎｇｕａｇｅ）等でワーク１３０が記述されているデータを想定する。また、ＣＡＤデータの解析に限定されず、ＣＡＤデータを操作するアプリケーションを介して３次元形状を抽出しても良い。形状抽出部１１４で抽出されたＣＡＤモデル１５０に関する情報は、安定度算出部１２０および射影部１１６に送られる。
安定度算出部１２０は、接触点算出部１４０と安定性判定部１４５を備え、算出手段としてワーク１３０が載置された姿勢毎の安定度を算出する。この安定度算出部１２０の機能の詳細については、図３を参照して説明する。
【００２４】
接触点算出部１４０は、ＣＡＤモデル１５０を用いて、ワーク１３０が取り得る全ての姿勢を想定し、床面と接触する場合の接触点を算出する接触点算出手段である。具体的には、形状抽出部１１４が抽出したＣＡＤモデル１５０を３次元の種々な方向に回転させる。この際、回転するＣＡＤモデル１５０を平面である床面に並進させて近づけ、接触点を算出する。ここで、ワーク１３０の表面形状が平面のみで構成されている場合や、ワーク１３０のＣＡＤモデル１５０がＶＲＭＬで記述され、三角ポリゴンによる近似で表現されている場合は、図３（ｃ）に示すように、ＣＡＤモデル１５０の各頂点と平面との距離（ｈ1，ｈ2）を計算すれば良いため、接触点の算出を簡便に行うことができる。
安定性判定部１４５は、図３（ｂ）や（ｃ）に示すように、それぞれ算出した接触点を支点として、ワーク１３０のＣＡＤモデル１５０を仮想的に微小な角度だけずらして微小変化を与え、元の状態に復元するか、否かを接触点毎に判定する安定性判定手段である。詳細には、支点を通る軸（図示は略す。）を設定し、この軸を中心として重力によるモーメントを計算し、元の位置に戻るか、否かを判定する。また、ＣＡＤモデル１５０に微小な変化を与えた場合のモーメントの大きさの変化を取得し、この変化の安定度に基づいて判定しても良い。安定度算出部１２０は、支点毎、即ち、ワーク１３０が載置される姿勢毎の安定度を保持する。ワーク１３０の姿勢毎の安定度に関する情報は、テンプレート生成部１１８が生成したテンプレートを記憶する際に参照される。
【００２５】
射影部１１６は、予め取得されるデジタルカメラ２０の内部パラメーターや、撮影方向等を示す外部パラメーターに基づいて、撮影画像を射影する射影手段である。即ち、外部パラメーターに基づき、ＣＡＤモデル１５０から算出できるワーク１３０の種々な姿勢の３次元形状を、画像を拡大または縮小または回転する公知の変換方法であるアフィン変換等により、デジタルカメラ２０のカメラ座標系に投射する。また、内部パラメーターに基づき、デジタルカメラ２０の画像平面に射影する。また、ワーク１３０の姿勢が決定した場合、デジタルカメラ２０の画像平面に射影する。ここで射影した射影像は、テンプレート生成部１１８に送られる。
テンプレート生成部１１８は、射影部１１６から送られる射影像からテンプレートを生成し、生成したテンプレートの情報をテンプレート記憶部１２２に記憶する生成手段である。このテンプレート生成部１１８は、生成したテンプレートに対応した安定度に関する情報を安定度算出部１２０から読み取って関連付けされ、テンプレート記憶部１２２に送られる。テンプレート記憶部１２２は記憶手段であり、テンプレート生成部１１８が生成したテンプレートと、このテンプレートに関連付けされた安定度に関する情報とを対応付けて記憶する。
【００２６】
マッチング部１０５は、デジタルカメラ２０が撮影したワーク１３０の撮影画像と、テンプレート記憶部１２２に記憶されている画像平面に射影されたテンプレートとのマッチングを行うマッチング手段である。この場合、撮影画像を平行に投射したテンプレートとマッチングしても良い。マッチング手法は、限定されず、撮影画像からエッジ画像を生成し、形状を合わせた後、予め設定した閾値を越えて合致すれば、姿勢を検出したと判定しても良い。また、テンプレートは、画像平面に射影したものが好ましいが、撮影したワーク１３０の世界座標系での姿勢が求めることができる場合は、撮影画像を世界座標系に変換してマッチングしても良い。尚、マッチング部１０５が検出した姿勢の情報は、警告判定部１０６に送られる。
【００２７】
警告判定部１０６は、マッチング部１０５が検出した姿勢の情報から、マッチングしたテンプレートの安定度に関する情報をテンプレート記憶部１２２から取得し、更に、このワーク１３０に関する情報をワーク情報記憶部１２９から取得し、これらの情報に基づいて、ユーザーに警告を発するか、否かを判定する警告判定手段である。例えば、マッチング部１０５が検出したワーク１３０の姿勢が不安定である場合や、ワーク情報記憶部１２９に記憶された情報に基づきワーク１３０が保持されようとする領域が、ワーク１３０の保持禁止部分である場合、警告判定部１０６はユーザーへの警告の発信を判定する。
尚、ワーク１３０の保持禁止部分とは、例えば、ワーク１３０の内部や表面付近に電子回路や精密部品が実装され、ロボット１０のハンド１９が把持することで破壊されたり、精度が悪化したりする可能性が高い領域である。警告判定部１０６がユーザーへの警告の発信を判定した場合、警告信号生成部１０９に対して警告信号の生成を指示する。他方で、警告判定部１０６がユーザーへの警告の発信が不要であると判定した場合、姿勢補正指示部１０８に対してワーク１３０の姿勢補正を指示する。
【００２８】
警告信号生成部１０９は、警告判定部１０６からの指示に応じて、ワーク１３０の姿勢が不良である旨の警告を表示手段に表示させ、ユーザーに通知する警告信号生成手段である。具体的には、警告信号生成部１０９は、ＵＩ（ＵｓｅｒＩｎｔｅｒｆａｃｅ）表示制御部１３４と表示灯制御部１３２に対して表示を指示する警告信号を生成する。この結果、ＵＩ表示制御部１３４は、警告を示すメッセージボックス（図示は略す）等をディスプレイ８２上に表示させると共に、表示灯制御部１３２はランプを点灯させる。この結果、ユーザーはこれらの警告を視認し、ベルト搬送装置１３５を一時休止して、ワーク１３０姿勢の補正や、姿勢不良のワーク１３０の除外を行った後、ベルト搬送装置１３５の休止を解除する。尚、ユーザーへの警告は、上記した手段には限定されず、ユーザーに対して視聴覚的に警告する方法、例えば、音声等による警告を併用しても良い。
【００２９】
姿勢補正指示部１０８は、警告判定部１０６からの指示に応じて、検出した姿勢に関する情報に基づき、ワーク１３０を所定の姿勢に変更すべく、ロボット１０の駆動をロボット制御部１２６に指示する姿勢変更指示手段である。
ロボット制御部１２６とドライバー１２４は、アーム１７等の稼動部の動作を制御する制御手段である。ロボット制御部１２６は、ワーク１３０の姿勢の変更指示に基づき、ロボット１０を移動させるための複数のアクチュエーター３０の駆動量を算出し、算出した駆動量に関する駆動情報をドライバー１２４に送る。ドライバー１２４は、ロボット制御部１２６から送られる駆動情報に基づいて、それぞれのアクチュエーター３０毎に駆動信号を生成し、それぞれのアクチュエーター３０に送る。この結果、アーム１７が所定の位置まで移動し、ハンド１９がワーク１３０を把持してワーク１３０を回転させたり、反転させたりして、ワーク１３０の姿勢を変更する。
【００３０】
図４は、ワーク姿勢変更装置５によりロボット１０がワーク１３０を把持して姿勢を変更する処理の流れを示すフローチャートである。この処理が実行されると、最初に、制御装置５０は、取得したワーク１３０のＣＡＤデータを解析して、ワーク１３０の３次元形状のＣＡＤモデル１５０を抽出する（ステップＳ２００）。
次に、制御装置５０は、ＣＡＤモデル１５０の姿勢を仮想的に変化させる（ステップＳ２０２）。次に、制御装置５０は、変化させた姿勢毎の安定度を算出する（ステップＳ２０４）。
次に、制御装置５０は、ＣＡＤモデル１５０を射影して、テンプレートを生成する（ステップＳ２０６）。続いて、制御装置５０は、生成したテンプレートを姿勢の安定度と関連付けて記憶する（ステップＳ２０８）。
次に、制御装置５０は、ワーク１３０を撮影して撮影画像を取得する（ステップＳ２１５）。
【００３１】
次に、制御装置５０は、撮影画像と記憶されたテンプレートとをマッチングしてワーク１３０の姿勢を取得する（ステップＳ２２０）。
次に、制御装置５０は、ワーク１３０の特性と取得した姿勢の安定度から、ユーザーに対して警告するか、否を判定する（ステップＳ２２５）。
ここで、制御装置５０は、判定結果に応じた処理を指示する（ステップＳ２３０）。即ち、ユーザーに対して警告すると判定した場合（ステップＳ２３０でＹｅｓ）、制御装置５０は、ユーザーが注視すべくメッセージや光で警告し（ステップＳ２３５）、一連の処理を終了する。他方で、ユーザーに対して警告が不要であると判定した場合（ステップＳ２３０でＮｏ）、制御装置５０は、ロボット１０にワーク１３０の姿勢の変更を指示し（ステップＳ２４０）、一連の処理を終了する。
上述した処理により、供給されるワーク１３０の取り得る姿勢の中から、それぞれの安定度を求め、ワーク１３０の撮影画像とのパターンマッチングを行ってワーク１３０が置かれた姿勢を認識し、その姿勢の安定度やワーク１３０の特性から、ワーク１３０の姿勢をロボット１０に変更させるか、もしくは、ユーザーに対してワーク１３０の姿勢不良を警告するかが判定される。従って、例えば、ベルト搬送装置１３５上で他のワーク１３０と重なって不安定に載置されたワーク１３０を認識し、ユーザーに対して警告を通知するため、ユーザーは不安定な状態のワーク１３０をベルト搬送装置１３５上から除去したり、姿勢を矯正したりできるため、ロボット１０のハンド１９がワーク１３０の想定外の部分を把持することにより、ワーク１３０の外観が破壊されたり、ワーク１３０が有する機能が壊されたりすることを回避できる。
【符号の説明】
【００３２】
５…ワーク姿勢変更装置、１０…ロボット、１１…第一軸、１２…第二軸、１３…第三軸、１４…第四軸、１５…第五軸、１６…第六軸、１７，１７Ａ，１７Ｂ…アーム、１８…手首、１９…ハンド、２０…デジタルカメラ、２５…ロボットベース、３０…アクチュエーター、５０…制御装置、８０…コンピューター、８２…ディスプレイ、８４…キーボード、８５…ケーブル、１００…テンプレートマッチング部、１０５…マッチング部、１０６…警告判定部、１０８…姿勢補正指示部、１０９…警告信号生成部、１１０…テンプレート取得部、１１２…ＣＡＤデータ取得部、１１４…形状抽出部、１１６…射影部、１１８…テンプレート生成部、１２０…安定度算出部、１２２…テンプレート記憶部、１２４…ドライバー、１２６…ロボット制御部、１２８…ＣＡＤデータベース、１２９…ワーク情報記憶部、１３０…ワーク、１３２…表示灯制御部、１３４…ＵＩ表示制御部、１３５…ベルト搬送装置、１４０…接触点算出部、１４５…安定性判定部、１５０…ＣＡＤモデル、１６０…表示灯。
【特許請求の範囲】
【請求項１】
目標物の設計データを取得する取得手段と、
取得した前記設計データに基づいて前記目標物の形状を抽出する抽出手段と、
抽出した前記形状を複数の姿勢で平面に射影した複数の射影像を生成する射影手段と、
前記複数の姿勢のそれぞれに応じて前記形状の姿勢を仮想的に変化させ、前記形状の姿勢が復元する結果に基づいて、前記目標物が前記複数の姿勢毎に載置された場合の安定度を算出する算出手段と、
前記複数の射影像のそれぞれに応じたテンプレートを生成するテンプレート生成手段と、
生成した前記テンプレートおよび前記テンプレートに応じた前記安定度を記憶する記憶手段と、
載置された前記目標物を撮影して撮影画像を出力する撮影手段と、
前記記憶手段に記憶された前記テンプレートと、前記撮影画像とを比較して一致度を判定することにより、前記撮影画像に対応する前記テンプレートを選択するマッチング手段と、
選択した前記テンプレートに応じて記憶された前記安定度に基づいて、前記目標物が載置された姿勢について警告するか、否かを判定する警告判定手段と、
前記目標物が載置された姿勢について警告すると判定した場合、警告を示す警告信号を生成する警告信号生成手段と、を備えることを特徴とするテンプレートマッチングシステム。
【請求項２】
請求項１に記載のテンプレートマッチングシステムにおいて、
前記算出手段は、
前記形状を前記複数の姿勢のそれぞれにおいて前記平面に近接させた場合、前記平面と最初に接触する前記形状の接触点を算出する接触点算出手段と、
前記複数の姿勢のそれぞれにおいて算出した前記接触点を支点として、前記平面に載置された前記形状の姿勢を仮想的に微小に変化させた後、前記形状の姿勢が元に戻るか、否かにより、前記目標物が前記複数の姿勢毎に載置された場合の安定度を判定する安定性判定手段と、を備えることを特徴とするテンプレートマッチングシステム。
【請求項３】
請求項１乃至２のいずれかに記載のテンプレートマッチングシステムにおいて、
前記警告判定手段は、前記テンプレートに応じた前記安定度に加え、前記目標物に関する情報に基づいて、前記目標物が載置された姿勢について警告するか、否かを判定することを特徴とするテンプレートマッチングシステム。
【請求項４】
請求項１乃至３のいずれか１項に記載のテンプレートマッチングシステムにおいて、
前記警告信号は、表示手段に対して警告を示す情報を表示することを特徴とするテンプレートマッチングシステム。
【請求項５】
請求項１乃至４のいずれか１項に記載のテンプレートマッチングシステムにおいて、
前記目標物が載置された姿勢について警告しないと判定した場合、前記目標物を把持可能な姿勢変更手段に対して前記目標物の姿勢の変更を指示する姿勢変更指示手段を更に備えることを特徴とするテンプレートマッチングシステム。
【請求項６】
目標物の設計データを取得する工程と、
取得した前記設計データに基づいて前記目標物の形状を抽出する工程と、
抽出した前記形状を複数の姿勢で平面に射影した複数の射影像を生成する工程と、
前記複数の姿勢のそれぞれに応じて前記形状の姿勢を仮想的に変化させ、前記形状の姿勢が復元する結果に基づいて、前記目標物が前記複数の姿勢毎に載置された場合の安定度を算出する工程と、
前記複数の射影像のそれぞれに応じたテンプレートを生成する工程と、
生成した前記テンプレートおよび前記テンプレートに応じた前記安定度を記憶する工程と、
載置された前記目標物を撮影して撮影画像を出力する工程と、
記憶された前記テンプレートと、前記撮影画像とを比較して一致度を判定することにより、前記撮影画像に対応する前記テンプレートを選択する工程と、
選択した前記テンプレートに応じて記憶された前記安定度に基づいて、前記目標物が載置された姿勢について警告するか、否かを判定する工程と、
前記目標物が載置された姿勢について警告すると判定した場合、警告を示す警告信号を生成する工程と、を備えることを特徴とするテンプレートマッチング方法。
【請求項１】
目標物の設計データを取得する取得手段と、
取得した前記設計データに基づいて前記目標物の形状を抽出する抽出手段と、
抽出した前記形状を複数の姿勢で平面に射影した複数の射影像を生成する射影手段と、
前記複数の姿勢のそれぞれに応じて前記形状の姿勢を仮想的に変化させ、前記形状の姿勢が復元する結果に基づいて、前記目標物が前記複数の姿勢毎に載置された場合の安定度を算出する算出手段と、
前記複数の射影像のそれぞれに応じたテンプレートを生成するテンプレート生成手段と、
生成した前記テンプレートおよび前記テンプレートに応じた前記安定度を記憶する記憶手段と、
載置された前記目標物を撮影して撮影画像を出力する撮影手段と、
前記記憶手段に記憶された前記テンプレートと、前記撮影画像とを比較して一致度を判定することにより、前記撮影画像に対応する前記テンプレートを選択するマッチング手段と、
選択した前記テンプレートに応じて記憶された前記安定度に基づいて、前記目標物が載置された姿勢について警告するか、否かを判定する警告判定手段と、
前記目標物が載置された姿勢について警告すると判定した場合、警告を示す警告信号を生成する警告信号生成手段と、を備えることを特徴とするテンプレートマッチングシステム。
【請求項２】
請求項１に記載のテンプレートマッチングシステムにおいて、
前記算出手段は、
前記形状を前記複数の姿勢のそれぞれにおいて前記平面に近接させた場合、前記平面と最初に接触する前記形状の接触点を算出する接触点算出手段と、
前記複数の姿勢のそれぞれにおいて算出した前記接触点を支点として、前記平面に載置された前記形状の姿勢を仮想的に微小に変化させた後、前記形状の姿勢が元に戻るか、否かにより、前記目標物が前記複数の姿勢毎に載置された場合の安定度を判定する安定性判定手段と、を備えることを特徴とするテンプレートマッチングシステム。
【請求項３】
請求項１乃至２のいずれかに記載のテンプレートマッチングシステムにおいて、
前記警告判定手段は、前記テンプレートに応じた前記安定度に加え、前記目標物に関する情報に基づいて、前記目標物が載置された姿勢について警告するか、否かを判定することを特徴とするテンプレートマッチングシステム。
【請求項４】
請求項１乃至３のいずれか１項に記載のテンプレートマッチングシステムにおいて、
前記警告信号は、表示手段に対して警告を示す情報を表示することを特徴とするテンプレートマッチングシステム。
【請求項５】
請求項１乃至４のいずれか１項に記載のテンプレートマッチングシステムにおいて、
前記目標物が載置された姿勢について警告しないと判定した場合、前記目標物を把持可能な姿勢変更手段に対して前記目標物の姿勢の変更を指示する姿勢変更指示手段を更に備えることを特徴とするテンプレートマッチングシステム。
【請求項６】
目標物の設計データを取得する工程と、
取得した前記設計データに基づいて前記目標物の形状を抽出する工程と、
抽出した前記形状を複数の姿勢で平面に射影した複数の射影像を生成する工程と、
前記複数の姿勢のそれぞれに応じて前記形状の姿勢を仮想的に変化させ、前記形状の姿勢が復元する結果に基づいて、前記目標物が前記複数の姿勢毎に載置された場合の安定度を算出する工程と、
前記複数の射影像のそれぞれに応じたテンプレートを生成する工程と、
生成した前記テンプレートおよび前記テンプレートに応じた前記安定度を記憶する工程と、
載置された前記目標物を撮影して撮影画像を出力する工程と、
記憶された前記テンプレートと、前記撮影画像とを比較して一致度を判定することにより、前記撮影画像に対応する前記テンプレートを選択する工程と、
選択した前記テンプレートに応じて記憶された前記安定度に基づいて、前記目標物が載置された姿勢について警告するか、否かを判定する工程と、
前記目標物が載置された姿勢について警告すると判定した場合、警告を示す警告信号を生成する工程と、を備えることを特徴とするテンプレートマッチング方法。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１０−２１０３７６（Ｐ２０１０−２１０３７６Ａ）
【公開日】平成２２年９月２４日（２０１０．９．２４）
【国際特許分類】
【出願番号】特願２００９−５６０４０（Ｐ２００９−５６０４０）
【出願日】平成２１年３月１０日（２００９．３．１０）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２２年９月２４日（２０１０．９．２４）
【国際特許分類】
【出願日】平成２１年３月１０日（２００９．３．１０）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]