ロボット制御システムの教示用補助具、その教示用補助具を用いた教示方法、およびその教示方法によって教示を行うロボット制御システム
【課題】ティーチング作業をより簡略するとともにティーチング時間のさらなる短縮を可能とするためのロボット制御システムの教示用補助具、その教示用補助具を用いた教示方法、およびその教示方法によって教示を行うロボット制御システムを提供する。
【解決手段】撮像装置を用いて教示を行うことが可能なロボット制御システムの教示用補助具の一実施形態であるティーチングツール５０は、角錐面５２ａ、５２ｂ、５２ｃの色が互いに異なる三角錐部５２を有するツール本体５１と、このツール本体５１に連結されたハンドル５４とを備える。
【解決手段】撮像装置を用いて教示を行うことが可能なロボット制御システムの教示用補助具の一実施形態であるティーチングツール５０は、角錐面５２ａ、５２ｂ、５２ｃの色が互いに異なる三角錐部５２を有するツール本体５１と、このツール本体５１に連結されたハンドル５４とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロボット制御システムの教示用補助具、その教示用補助具を用いた教示方法、およびその教示方法によって教示を行うロボット制御システムに関し、特に、カメラなどの撮像装置を用いて教示を行うことが可能なロボット制御システムの教示用補助具、その教示用補助具を用いた教示方法、およびその教示方法によって教示を行うロボット制御システムに関する。
【背景技術】
【０００２】
産業用ロボットは、一般に、旋回可能かつ上下動可能なロボットアームと、ロボットアームの先端に設けられ、ワーク（部品）を把持するためのチャック部を有するロボットハンドと、ロボットアームおよびロボットハンドを所定の制御プログラムにしたがって駆動制御する制御部とを備えている。また、自動組立装置は、ワークテーブル面上のそれぞれ所定位置に配置された、多数の部品を収容する複数の部品供給トレイと、部品の組み立てを行うための組立用治具とを有している。
【０００３】
自動組立装置の運転時には、ロボットアームを駆動して、ロボットハンドを所定の部品供給トレイの位置まで移動させ、先端のチャック部で部品を把持する。この状態から、ロボットアームを駆動して、ロボットハンドを組立用治具の位置まで移動させ、チャック部に把持されていた部品を組立用治具に組み付ける。以下、同様の動作を繰り返すことにより、所望の機器が自動的に組み立てられることになる。
【０００４】
このような産業用ロボットを含む自動組立装置においては、自動運転を開始する前に、ロボットに対して動作基準座標や動作手順等を教示するティーチングという作業が必要になる。従来のティーチング作業では、パソコン上のコンピュータシミュレーションなどにより、概略の座標位置を求めた後、作業者が、ティーチングペンダントやティーチングボックスを用いて実際にロボットハンドをマニュアル操作することにより、正確な座標位置の設定を行うようにしている（例えば、特許文献１および特許文献２参照）。また、例えば、溶接の自動化においては、トーチ経路やトーチ角度の教示が必要である。
【０００５】
上述したティーチング作業では、細かな座標位置の設定が非常に煩雑であって所要時間も長くなるという問題点があったため、ティーチング作業の簡略化およびティーチング時間の短縮を可能とする技術も提案されている（例えば、特許文献３参照）。
【０００６】
この特許文献３で提案されているロボット制御システムは、ロボットアームと、ロボットアームの先端に設けられ、ワーク把持用チャック部を有するロボットハンドとを含むロボットと、前記ロボットに対してティーチング入力を行うための操作部と、少なくともワークを撮影できるカメラ部と、前記操作部にティーチング入力された所定の座標位置を前記カメラ部で撮影された画像に基づいて補正して、補正された座標位置に移動するように前記ロボットを駆動制御する制御部と、を備えることを特徴とするものである。
【０００７】
その他、ティーチングペンダントを用いてワーク把持時のロボットハンドの動作を教示するときに、その操作を簡単に行うことができるロボットとワーク把持方法（例えば、特許文献４参照）や、ステレオカメラを有しており、ワークの三次元位置姿勢及び形態を簡便迅速に計測し、計測された情報によりロボットアーム先端部及びロボットハンドを迅速かつ精密に操作できるステレオ画像型検出移動装置（例えば、特許文献５参照）なども提案されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０００−３５４９１９号公報
【特許文献２】特開２００６−０４３８４４号公報
【特許文献３】特開２００９−０００７８２号公報
【特許文献４】特開２００６−３４６７９２号公報
【特許文献５】特開２００９−２４１２４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上述のような従来技術においてティーチングペンダントなどによるティーチング作業を行う際、少なくとも初回はロボットハンドの位置や向きを複雑に変更させることを繰り返す必要がある。そのため、ティーチング作業はやはり非常に煩雑であって所要時間も長かった。
【００１０】
最近では、ロボット導入台数の増加および製品の多種多様化に伴い、必要とされるティーチング工数が急増している。一方で、製造現場では慢性的に人員が不足しており、特にティーチング作業の熟練者が極めて不足している。また、製造現場で実際に使用されているロボットにティーチングを行うときには、そのロボットが設置されている製造ラインなどが停止することになるので、その製造ラインの稼働率が低下してしまう。
【００１１】
ロボット制御システムの教示補助具を、ロボットの先端部分の位置と向きに合わせて設置し、その３次元位置情報および３次元方向情報を計測すればよいが、例えば機械式の３次元計測機に接続した場合は、その設置場所が必要であり、また周辺の冶具等と計測機の各部分が機械的に干渉し、計測できない場合が多いことが課題となっている。
【００１２】
教示補助具をカメラにより撮影し、画像内の位置から計測する方法があり、この方法では機械的な干渉の問題を避けることができるが、同様に冶具等に一部隠され、全体が見えないためにその３次元位置情報と３次元方向情報を計測することが課題となる。また周辺環境の他の機材等と、教示補助具を明確に識別することも課題となる。
【００１３】
従来技術のこのような課題に鑑み、本発明の目的は、ティーチング作業をより簡略するとともにティーチング時間のさらなる短縮を可能とするためのロボット制御システムの教示用補助具を提供することである。
【００１４】
さらには、その教示用補助具を用いた教示方法、およびその教示方法によって教示を行うロボット制御システムを提供することである。
【課題を解決するための手段】
【００１５】
上記目的を達成するため、本発明のロボット制御システムの教示用補助具は、撮像装置を用いて教示を行うことが可能なロボット制御システムの教示用補助具であって、角錐面の色が互いに異なる角錐形状部を有する補助具本体と、この補助具本体に連結された把持部とを備えることを特徴とする。
【００１６】
ここで、前記角錐形状部は三角錐形状であることが好ましいが、必ずしもこの形状に限られるわけではなく、例えば、四角錐形状であってもよい。
【００１７】
このような構成のロボット制御システムの教示用補助具によれば、作業者がティーチングペンダントの操作によってロボットハンドの位置や向きを複雑に変更させることを繰り返したりすることなく、主として教示用補助具で指し示すだけで所望のロボットハンドの位置および向きを同時に入力することができ、ティーチング作業が極めて容易になるとともにティーチングの所要時間も大幅に短縮することが可能となる。
【００１８】
また、本発明のロボット制御システムの教示用補助具において、前記角錐形状部は前記角錐面がそれぞれの色を発するような発光手段をさらに備えることが好ましい。
【００１９】
このような構成のロボット制御システムの教示用補助具によれば、角錐形状部の各角錐面が異なる色で発光するので、撮像した際の画像データ中で周辺環境との境界が明確となる。また、その色の違いから、すべての面ではなく、単一の面のみが撮像されていても、その面の色から、その補助具の回転や傾き等の３次元での姿勢のすべての情報を得ることができる。それぞれの三角形の面のうちで、先端につながる２つの稜線のうち、それぞれの一部のみが見える場合でも、その稜線を延長することで頂点の位置が計測でき、またその姿勢も計測できるので、周辺の冶具等により一部が隠されていても計測に支障などが生じることはない。これにより、画像データ中での前記角錐形状部の認識がより容易となり、教示用補助具の３次元位置情報および３次元方向情報の検出精度の向上が可能となるので、ティーチングの失敗などの可能性を極めて低くできるとともに、誤差が少ない正確なティーチングを容易に行うことができる。
【００２０】
あるいは、上記目的を達成するため、本発明のロボット制御システムの教示方法は、撮像装置を用いて教示を行うことが可能なロボット制御システムの教示方法であって、ロボット制御システムによって制御されるロボットハンドが停止または通過すべき位置および姿勢で保持された上記のロボット制御システム教示用補助具を、少なくとも１台以上の撮像装置によって撮像する撮像工程と、この撮像工程で撮像された画像データから、前記ロボット制御システム教示用補助具の形状データ又は色データに基づいて前記ロボット制御システム教示用補助具に対応する部分を認識するとともに、前記ロボット制御システム教示用補助具の３次元位置情報および３次元方向情報を算出する画像処理工程と、この画像処理工程で算出された前記３次元位置情報および前記３次元方向情報を、前記ロボットと前記撮像装置との相対的位置関係に基づいて、前記ロボット制御システムによる前記ロボットハンド用の制御データに変換する変換工程とを含むことを特徴とする。
【００２１】
ここで、前記画像処理工程では、より具体的には、前記角錐形状部の頂点の３次元座標および前記頂点の向きの３次元角度を算出することが考えられる。
【００２２】
このような構成のロボット制御システムの教示方法によれば、作業者がティーチングペンダントの操作によってロボットハンドの位置や向きを複雑に変更させることを繰り返したりすることなく、主として教示用補助具で指し示すだけで所望のロボットハンドの位置および向きを同時に入力することができ、ティーチング作業が極めて容易になるとともにティーチングの所要時間も大幅に短縮することが可能となる。
【００２３】
あるいは、上記目的を達成するため、本発明のロボット制御システムは、上記のロボット制御システムの教示方法によって教示を行うことを特徴とする。
【００２４】
このような構成のロボット制御システムによれば、作業者がティーチングペンダントの操作によってロボットハンドの位置や向きを複雑に変更させることを繰り返したりすることなく、主として教示用補助具で指し示すだけで所望のロボットハンドの位置および向きを同時に入力することができ、ティーチング作業が極めて容易になるとともにティーチングの所要時間も大幅に短縮することが可能となる。
【発明の効果】
【００２５】
本発明のロボット制御システムの教示用補助具、ロボット制御システムの教示方法、またはロボット制御システムによれば、作業者がティーチングペンダントの操作によってロボットハンドの位置や向きを複雑に変更させることを繰り返したりすることなく、主として教示用補助具で指し示すだけで所望のロボットハンドの位置および向きを同時に入力することができ、ティーチング作業が極めて容易になるとともにティーチングの所要時間も大幅に短縮することが可能となる。
【図面の簡単な説明】
【００２６】
【図１】図１は本発明の一実施形態に係るロボット制御システム１００の概略ブロック図である。
【図２】図２はロボット制御システム１００のロボット１とステレオカメラ２０ａ、２０ｂの配置を示す概略図である。
【図３】図３はロボット１のティーチングを行う際に作業者が操作するティーチングペンダント１０の概略図である。
【図４】図４はロボット１のティーチングに用いるティーチングツール５０の概観図である。
【図５】図５（ａ）〜図５（ｃ）はティーチングツール５０のツール本体５１を３方向から見た詳細図であり、図５（ａ）はツール本体５１の平面図、図５（ｂ）はツール本体５１の正面図、図５（ｃ）はツール本体５１の底面図である。
【図６】ロボットハンド３の他の例を示す概観図である。
【図７】ティーチングツール５０の一部が障害物６０で隠れている状態を示す図である。
【発明を実施するための形態】
【００２７】
以下、本発明の実施形態を、図面を参照して説明する。
【００２８】
＜ロボット制御システム１００の構成＞
図１は本発明の一実施形態に係るロボット制御システム１００の概略ブロック図である。図２はロボット制御システム１００のロボット１とステレオカメラ２０ａ、２０ｂの配置を示す概略図である。図３はロボット１のティーチングを行う際に作業者が操作するティーチングペンダント１０の概略図である。
【００２９】
ロボット制御システム１００は、図１に示すように、ティーチング（教示）を行うことによって各種の作業をさせることができるロボット１と、このロボット１各部を駆動・制御するコントローラ５と、ロボット１のティーチングを行う際に作業者が操作するティーチングペンダント１０と、ロボット１およびその周囲をそれらの上方の異なる位置から見下ろすように配置された２台のステレオカメラ２０ａ、２０ｂと、これらのステレオカメラ２０ａ、２０ｂによって撮像された画像データの画像処理などを行うパソコン３０とを備えている。
【００３０】
ロボット１は、図２に示すように、多関節のロボットアーム２を有する垂直６軸タイプのロボットとしているが、これに限られるわけではない。例えば、４軸水平タイプのロボットでもよい。ロボットアーム２の先端には、着脱可能な少なくとも１つ以上のロボットハンド３が設けられている。なお、図２では、ロボットハンド３に取り付けられているワーク把持用チャック部などは省略している。このロボットハンド３には、さらに、行わせるべき作業などの内容に合わせて、少なくとも１つ以上の、例えば、ワーク把持用チャック部やスポット溶接ガンなどが設けられることになる。図６にロボットハンド３の他の例を示す。このロボットハンド３では、４つのワーク把持用チャック部４が設けられている。
【００３１】
コントローラ５は、ロボット１のロボットアーム２やロボットハンド３などの各部を駆動制御する。具体的には、ロボットアーム２やロボットハンド３などを駆動するモータ（不図示）の回転などを制御し、予め記憶された制御プログラムに従ったり、あるいはティーチングされた作業内容をプレイバックしたりすることで、ロボットアーム２やロボットハンド３などに所望の作業をさせる。
【００３２】
このコントローラ５には、ティーチングペンダント１０、ステレオカメラ２０ａ、２０ｂ、パソコン３０も接続されている。つまり、これらの機器とのインターフェイス機能もコントローラ５は有している。
【００３３】
ティーチングペンダント１０は、図３に示すように、ロボット１のティーチングを行う際に作業者が各種操作を行うための小型装置である。このティーチングペンダント１０は、コントローラ５と相互通信が可能となるようにワイヤレスで接続されているが、この接続は有線接続であってもよい。
【００３４】
このティーチングペンダント１０は、その中央部分にタッチパネル式で各種表示や操作が可能なＬＣＤ（液晶）ディスプレイ１１を備えており、このディスプレイ１１の左右両側には、起動、停止、ティーチングなどのロボット１操作用のソフトウェアキー１１ａが複数個設けられている。これにより、ロボット１のティーチングを行うためのティーチングモードや、そのティーチングモードでティーチングされた作業内容をプレイバックするモードなどへの切り替えを行うことができる。
【００３５】
さらに、ティーチングペンダント１０の左右には、作業者が握るためのグリップ１２、１３がそれぞれ設けられている。ティーチングペンダント１０の上部中央には、非常停止ボタン１４が設けられるとともに、グリップ１２の裏面には、ティーチング時や試運転時などの非定常作業時に作業者が危険を回避するための３ポジション方式のイネーブルスイッチ（不図示）が設けられている。
【００３６】
ステレオカメラ２０ａ、２０ｂはそれぞれ、左右一対のレンズを通して撮像される画像の視差に基づいて、三角測量の原理によって撮像された物体までの距離および角度を取得することができる。これらのステレオカメラ２０ａ、２０ｂは、図２に示すように、ロボット１およびその周囲をそれらの上方の異なる位置から見下ろして、作業者が保持しているティーチングツール５０（詳細は後述）を撮像できるように配置されている。ステレオカメラは、必ずしも２台以上配置することが不可欠というわけではない。しかし、ロボット１のロボットアーム２やロボットハンド３などとティーチングツール５０との位置関係によっては、撮像画角の少なくとも一部が遮られて死角が生じ、ティーチングツール５０を撮像画角内で的確に捉えられないおそれがある。そのような状況を極力回避するためには、ステレオカメラを２台以上配置することが好ましい。
【００３７】
パソコン３０は、コントローラ５と相互通信が可能となるように無線ＬＡＮで接続されているが、例えば、有線ＬＡＮで接続してもよい。このパソコン３０は、後述する画像処理などを行う他、ロボット１の自動運転中にはステレオカメラ２０ａ、２０ｂで撮像した画像をモニターするために用いることもできる。また、この画像のモニターを、ティーチングペンダント１０で行えるようにしてもよい。なお、パソコン３０の代わりに、例えば、専用の画像処理モジュールなどを用いてもよい。また、同様の機能を、コントローラ５に内蔵するような構成も考えられる。
【００３８】
＜ティーチングツール５０＞
図４はロボット１のティーチングに用いるティーチングツール５０の概観図である。図５（ａ）〜図５（ｃ）はティーチングツール５０のツール本体５１を３方向から見た詳細図であり、図５（ａ）はツール本体５１の平面図、図５（ｂ）はツール本体５１の正面図、図５（ｃ）はツール本体５１の底面図である。
【００３９】
これらの図に示すように、ティーチングツール５０は、細長い三角錐形状の三角錐部５２を有するとともにその底部に短い円筒状で合成ゴム製の基部５３が設けられているツール本体５１と、このツール本体５１にその頂点５２ｄとは反対側で連結されていて基部５３より細い丸棒状のハンドル５４とから構成されている。
【００４０】
ツール本体５１の三角錐部５２の各角錐面５２ａ、５２ｂ、５２ｃの色は互いに異なっている。具体的には、第１の角錐面５２ａには赤色の薄いポリプロピレンシートが接着されており、第２の角錐面５２ｂには緑色の薄いポリプロピレンシートが接着されており、第３の角錐面５２ｃには青色の薄いポリプロピレンシートが接着されている。
【００４１】
三角錐部５２自体の内部は、図５（ｃ）に示すように中空になっているが、例えば、透光性を有する樹脂などでこの三角錐部５２を構成するとともに、ＬＥＤなどの光源や電池などを内蔵することが好ましい。
【００４２】
ティーチング作業時にその光源を点灯させると、三角錐部５２の各角錐面５２ａ、５２ｂ、５２ｃが赤色、黄色、青色にそれぞれ発光する。ステレオカメラ２０ａ、２０ｂによって撮像された画像データに対して画像処理を行う際、三角錐部５２が３色で発光していれば、周辺環境との境界が明確となる。これにより、画像データ中で三角錐部５２に対応する部分の認識が容易になるとともに、三角錐部５２の頂点５２ｄの３次元座標および頂点５２ｄの向きの３次元角度の検出精度が向上する。
【００４３】
ハンドル５４については、必ずしも丸棒状に限るわけではなく、作業環境や作業者がよりティーチングを行いやすいような形状にすればよい。例えば、ハンドル５４自体の先端を湾曲させて、三角錐部５２から横方向側で握れるようにしてもよい。また、ハンドル５４の先端に別部材を取り付けることで同様の構成にしてもよい。
【００４４】
なお、ハンドル５４は、必ずしもツール本体５１に連結した状態で固定しておかなくてもよい。例えば、ツール本体５１にハンドル５４取り付け用の機構を設けるとともに、複数種類の異なる形状のハンドルを用意しておき、必要に応じてそれらを取り替えて使用できるようにしてもよい。
【００４５】
＜ティーチングツール５０を用いる教示方法＞
ティーチングツール５０を用いたロボット１のティーチングは、以下の（１）〜（３）の各ステップを繰り返すことによって行う。なお、これらに先立って、次のような事前準備をしておく必要がある。
【００４６】
まず、ステレオカメラ２０ａ、２０ｂとロボット１の配置が決まった状態で、ロボット１（ハンド）とステレオカメラ２０ａ（アイ）との相対的位置関係を算出するためにキャリブレーション（ハンド・アイ・キャリブレーション）を行う。ステレオカメラ２０ａによって撮像された画像データから取得される被撮像物の距離および角度は、ステレオカメラ２０ａの位置を基準としているが（カメラ座標系）、このキャリブレーションを予め行っておくことで、ロボット１の位置を基準とする制御データ（ロボット座標系）に精密に変換できるようになる。ステレオカメラ２０ｂとロボット１とについても、同様に相対的位置関係を算出するためにキャリブレーションを行う。
【００４７】
また、ティーチングツール５０の形状データおよび各角錐面５２ａ、５２ｂ、５２ｃの色データなども（例えば、３次元ＣＡＤデータとして）、画像処理を行うパソコン３０に入力しておく。
【００４８】
（１）ステレオカメラ２０ａ、２０ｂによるティーチングツール５０の撮像
ティーチングペンダント１０の操作によってティーチングモードに切り替えた後、ティーチングツール５０をロボットハンド３が停止または通過すべき位置および姿勢でしっかりと保持する。このとき、ロボットハンド３が停止または通過すべき位置をツール本体５１の頂点５２ｄによって正確に指示するとともに、その位置でロボットハンド３が取るべき姿勢（例えば、ワーク把持用チャックの移動する向き）にツール本体５１の姿勢（図５（ｂ）に示すツール本体５１の中心線（一点鎖線）が示す向き）を正確に一致させるようにする。
【００４９】
次に、ツール本体５１の位置および姿勢を保持したままの状態で、ティーチングペンダント１０の所定操作によって、ステレオカメラ２０ａ、２０ｂによる撮像を行う。
【００５０】
（２）撮像された画像データからティーチングツール５０を認識するなどの画像処理
まず、ステレオカメラ２０ａによって撮像された画像データから、ティーチングツール５０の形状の特徴を有する部分の有無を検索する。そのような部分が存在すると認識できれば、その部分の画像データからティーチングツール５０の形状データに基づいてティーチングツール５０の３次元位置情報および３次元方向情報を算出する。より具体的には、ツール本体５１の頂点５２ｄの３次元座標（Ｘ１，Ｙ１，Ｚ１）およびこの頂点５２ｄの向きの３次元角度（Ａ１，Ｂ１，Ｃ１）を算出する。
【００５１】
同様に、ステレオカメラ２０ｂによって撮像された画像データからも、ティーチングツール５０の形状の特徴を有する部分が存在すると認識できれば、ツール本体５１の頂点５２ｄの３次元座標（Ｘ２，Ｙ２，Ｚ２）およびこの頂点５２ｄの向きの３次元角度（Ａ２，Ｂ２，Ｃ２）を算出する。
【００５２】
三角錐部５２全体である程度の長さを有していれば、図７に示すように、例え、その三角錐の頂点５２ｄやその他の部分が何らかの障害物６０の陰になっていたりして、角錐面５２ａ、５２ｂ、５２ｃのいずれかはステレオカメラ２０ａまたはステレオカメラ２０ｂの方向に向いている。例えば５２ｂがステレオカメラ２０ａの方向に向いているとすると、撮影された三角形の色からその三角形が角錐面５２ｂであることがわかる。さらにその角錐面５２ｂの頂点５２ｄにつながる稜線５２ｅ、５２ｆの一部がステレオカメラ２０ａから見えれば、その延長線上の交点として頂点５２ｄの位置が計測できる。また、その頂点５２ｄでの稜線５２ｅと５２ｆとの角度から、同じ三角形の他の角や、ティーチングツール５０以外の環境中のものと識別できる。稜線５２ｅと５２ｆの方向から、角錐面５２ｂの姿勢が決定でき、その色の情報と組み合わせて、ティーチングツール５０の３次元位置情報と３次元方向情報が決定できる。
【００５３】
ツール本体５１の頂点５２ｄが何らかの障害物の陰になっていて対応する箇所の画像データが得られていなくても、各角錐面５２ａ、５２ｂ、５２ｃの稜線の延長線が交差する位置によって頂点５２ｄの位置を正確に求めることもできる。
【００５４】
また、各角錐面５２ａ、５２ｂ、５２ｃの色の順序も既知であるから、例えば、赤色の角錐面５２ａ自体は撮像データ中に現れていなくても、緑色の角錐面５２ｂおよび青色の角錐面５２ｃが撮像データ中に現れていれば、それらに基づいて赤色の角錐面５２ａの位置や向きなどを算出することもできる。
【００５５】
また、頂点５２ｄはツール本体５１の中心線上にあることが望ましいが、中心線からずれている場合がある。頂点５２ｄが中心線からずれている場合、作業者が所望の箇所に頂点５２ｄを指し示しても、コントローラ５は所望の箇所からずれた座標を計算してしまう。そこで、各角錐面５２ａ、５２ｂ、５２ｃの各々に対応する補正データを予めコントローラ５に記憶させておく。そして、撮像された画像に基づいて得られた各角錐面５２ａ、５２ｂ、５２ｃの座標データを前記補正データによって補正して変換して頂点５２ｄの座標を計算させることで、所望の箇所の座標を正確な値に近づけることができる。または、撮像された画像に基づいて得られた各角錐面の頂点５２ｂの座標データを平均して頂点５２ｄの座標を計算させることで、所望の箇所の座標を正確な値に近づけることができる。このように、頂点５２の座標を所定の計算式で補正することによって、ツール本体５１の中心線から頂点５２ｄがずれていても、コントローラ５は所望の箇所の座標を正確な値に近づけることができる。
【００５６】
このように、ティーチングツール５０を上述したような特徴的形状としているため、画像データからのティーチングツール５０の形状認識を行う際のロバスト性が高く、ティーチングの失敗などを極力防止するとともに、誤差が少ない正確なティーチングを容易に行うことができる。
【００５７】
また、２台のステレオカメラ２０ａ、２０ｂを使用することで、ロボット１のロボットアーム２やロボットハンド３などとティーチングツール５０との位置関係によらず、ステレオカメラ２０ａ、２０ｂの少なくとも一方でティーチングツール５０をほぼ確実に画角内に捉えることができる。
【００５８】
（３）ロボット１用の制御データへの変換
上記（２）で算出されたティーチングツール５０の３次元位置情報および３次元方向情報は、ステレオカメラ２０ａ、２０ｂそれぞれのカメラ座標系の３次元データであるから、事前準備で行っておいたキャリブレーション結果に基づいて、ロボット座標系の３次元座標（ｘ，ｙ，ｚ）および３次元角度（ａ，ｂ，ｃ）に変換し、さらにロボット１の制御データへと変換する。
【００５９】
なお、ティーチングツール５０の３次元位置情報および３次元方向情報が、ステレオカメラ２０ａ、２０ｂの一方からしか得られなかったときは、得られた方の情報のみを使用すればよい。これに対して、両方から３次元位置情報および３次元方向情報が得られたときは、例えば、両方の情報を平均化して使用してもよいし、あるいは、信頼度がより高いと判断される方の情報のみを使用するようにしてもよい。
【００６０】
このようにして変換されたロボット１の制御データに従ってロボットハンド３を制御することにより、ティーチングした通りの位置および姿勢による作業をロボットハンド３に正確に行わせることができる。これにより、ティーチングの失敗などの可能性を極めて低くできるとともに、誤差が極めて少ない一層正確なティーチングを容易に行うことができる。
【００６１】
以上で説明した実施形態の構成によれば、作業者がティーチングペンダント１０の操作によってロボットハンド３の位置や向きを複雑に変更させることを繰り返したりすることなく、主としてティーチングツール５０で指し示すだけで所望のロボットハンド３の位置および向きを同時に入力することができ、ティーチング作業が極めて容易になるとともにティーチングの所要時間も大幅に短縮することが可能となる。
【００６２】
また、画像処理によって図６に示す角錐面５２ｃの底辺５２ｃ１と平行な向きＤ１を検出することで、図６のワーク把持用チャック部４の爪４１ａ及び４１ｂの移動向き（挟持向き）Ｄ２を、向きＤ１と同じにすることができる。これにより、作業者はツール本体５１によってワーク把持用チャックの移動する向きの他、ツール本体５１の角錐面５２ｃの底辺５２ｃ１の向きＤ２を示すことで、ワークを爪で把持する向きＤ２をも同時に入力することもできる。
【００６３】
本発明は、その主旨または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、上述の実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈してはならない。本発明の範囲は特許請求の範囲によって示すものであって、明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
【符号の説明】
【００６４】
１００ ロボット制御システム
１ ロボット
２ ロボットアーム
３ ロボットハンド
５ コントローラ
１０ ティーチングペンダント
１１ ディスプレイ
１１ａ ソフトウェアキー
１２ グリップ
１３ グリップ
１４ 非常停止ボタン
２０ａ ステレオカメラ
２０ｂ ステレオカメラ
３０ パソコン
５０ ティーチングツール（教示用補助具）
５１ ツール本体（補助具本体）
５２ 三角錐部
５２ａ 第１の角錐面（赤色）
５２ｂ 第２の角錐面（緑色）
５２ｃ 第３の角錐面（青色）
５２ｄ 頂点
５２ｅ 第２の角錐面５２ｂと第１の角錐面５２ａのなす稜線
５２ｆ 第２の角錐面５２ｂと第３の角錐面５２ｃのなす稜線
５３ 基部
５４ ハンドル（把持部）
６０ 障害物
【技術分野】
【０００１】
本発明は、ロボット制御システムの教示用補助具、その教示用補助具を用いた教示方法、およびその教示方法によって教示を行うロボット制御システムに関し、特に、カメラなどの撮像装置を用いて教示を行うことが可能なロボット制御システムの教示用補助具、その教示用補助具を用いた教示方法、およびその教示方法によって教示を行うロボット制御システムに関する。
【背景技術】
【０００２】
産業用ロボットは、一般に、旋回可能かつ上下動可能なロボットアームと、ロボットアームの先端に設けられ、ワーク（部品）を把持するためのチャック部を有するロボットハンドと、ロボットアームおよびロボットハンドを所定の制御プログラムにしたがって駆動制御する制御部とを備えている。また、自動組立装置は、ワークテーブル面上のそれぞれ所定位置に配置された、多数の部品を収容する複数の部品供給トレイと、部品の組み立てを行うための組立用治具とを有している。
【０００３】
自動組立装置の運転時には、ロボットアームを駆動して、ロボットハンドを所定の部品供給トレイの位置まで移動させ、先端のチャック部で部品を把持する。この状態から、ロボットアームを駆動して、ロボットハンドを組立用治具の位置まで移動させ、チャック部に把持されていた部品を組立用治具に組み付ける。以下、同様の動作を繰り返すことにより、所望の機器が自動的に組み立てられることになる。
【０００４】
このような産業用ロボットを含む自動組立装置においては、自動運転を開始する前に、ロボットに対して動作基準座標や動作手順等を教示するティーチングという作業が必要になる。従来のティーチング作業では、パソコン上のコンピュータシミュレーションなどにより、概略の座標位置を求めた後、作業者が、ティーチングペンダントやティーチングボックスを用いて実際にロボットハンドをマニュアル操作することにより、正確な座標位置の設定を行うようにしている（例えば、特許文献１および特許文献２参照）。また、例えば、溶接の自動化においては、トーチ経路やトーチ角度の教示が必要である。
【０００５】
上述したティーチング作業では、細かな座標位置の設定が非常に煩雑であって所要時間も長くなるという問題点があったため、ティーチング作業の簡略化およびティーチング時間の短縮を可能とする技術も提案されている（例えば、特許文献３参照）。
【０００６】
この特許文献３で提案されているロボット制御システムは、ロボットアームと、ロボットアームの先端に設けられ、ワーク把持用チャック部を有するロボットハンドとを含むロボットと、前記ロボットに対してティーチング入力を行うための操作部と、少なくともワークを撮影できるカメラ部と、前記操作部にティーチング入力された所定の座標位置を前記カメラ部で撮影された画像に基づいて補正して、補正された座標位置に移動するように前記ロボットを駆動制御する制御部と、を備えることを特徴とするものである。
【０００７】
その他、ティーチングペンダントを用いてワーク把持時のロボットハンドの動作を教示するときに、その操作を簡単に行うことができるロボットとワーク把持方法（例えば、特許文献４参照）や、ステレオカメラを有しており、ワークの三次元位置姿勢及び形態を簡便迅速に計測し、計測された情報によりロボットアーム先端部及びロボットハンドを迅速かつ精密に操作できるステレオ画像型検出移動装置（例えば、特許文献５参照）なども提案されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０００−３５４９１９号公報
【特許文献２】特開２００６−０４３８４４号公報
【特許文献３】特開２００９−０００７８２号公報
【特許文献４】特開２００６−３４６７９２号公報
【特許文献５】特開２００９−２４１２４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上述のような従来技術においてティーチングペンダントなどによるティーチング作業を行う際、少なくとも初回はロボットハンドの位置や向きを複雑に変更させることを繰り返す必要がある。そのため、ティーチング作業はやはり非常に煩雑であって所要時間も長かった。
【００１０】
最近では、ロボット導入台数の増加および製品の多種多様化に伴い、必要とされるティーチング工数が急増している。一方で、製造現場では慢性的に人員が不足しており、特にティーチング作業の熟練者が極めて不足している。また、製造現場で実際に使用されているロボットにティーチングを行うときには、そのロボットが設置されている製造ラインなどが停止することになるので、その製造ラインの稼働率が低下してしまう。
【００１１】
ロボット制御システムの教示補助具を、ロボットの先端部分の位置と向きに合わせて設置し、その３次元位置情報および３次元方向情報を計測すればよいが、例えば機械式の３次元計測機に接続した場合は、その設置場所が必要であり、また周辺の冶具等と計測機の各部分が機械的に干渉し、計測できない場合が多いことが課題となっている。
【００１２】
教示補助具をカメラにより撮影し、画像内の位置から計測する方法があり、この方法では機械的な干渉の問題を避けることができるが、同様に冶具等に一部隠され、全体が見えないためにその３次元位置情報と３次元方向情報を計測することが課題となる。また周辺環境の他の機材等と、教示補助具を明確に識別することも課題となる。
【００１３】
従来技術のこのような課題に鑑み、本発明の目的は、ティーチング作業をより簡略するとともにティーチング時間のさらなる短縮を可能とするためのロボット制御システムの教示用補助具を提供することである。
【００１４】
さらには、その教示用補助具を用いた教示方法、およびその教示方法によって教示を行うロボット制御システムを提供することである。
【課題を解決するための手段】
【００１５】
上記目的を達成するため、本発明のロボット制御システムの教示用補助具は、撮像装置を用いて教示を行うことが可能なロボット制御システムの教示用補助具であって、角錐面の色が互いに異なる角錐形状部を有する補助具本体と、この補助具本体に連結された把持部とを備えることを特徴とする。
【００１６】
ここで、前記角錐形状部は三角錐形状であることが好ましいが、必ずしもこの形状に限られるわけではなく、例えば、四角錐形状であってもよい。
【００１７】
このような構成のロボット制御システムの教示用補助具によれば、作業者がティーチングペンダントの操作によってロボットハンドの位置や向きを複雑に変更させることを繰り返したりすることなく、主として教示用補助具で指し示すだけで所望のロボットハンドの位置および向きを同時に入力することができ、ティーチング作業が極めて容易になるとともにティーチングの所要時間も大幅に短縮することが可能となる。
【００１８】
また、本発明のロボット制御システムの教示用補助具において、前記角錐形状部は前記角錐面がそれぞれの色を発するような発光手段をさらに備えることが好ましい。
【００１９】
このような構成のロボット制御システムの教示用補助具によれば、角錐形状部の各角錐面が異なる色で発光するので、撮像した際の画像データ中で周辺環境との境界が明確となる。また、その色の違いから、すべての面ではなく、単一の面のみが撮像されていても、その面の色から、その補助具の回転や傾き等の３次元での姿勢のすべての情報を得ることができる。それぞれの三角形の面のうちで、先端につながる２つの稜線のうち、それぞれの一部のみが見える場合でも、その稜線を延長することで頂点の位置が計測でき、またその姿勢も計測できるので、周辺の冶具等により一部が隠されていても計測に支障などが生じることはない。これにより、画像データ中での前記角錐形状部の認識がより容易となり、教示用補助具の３次元位置情報および３次元方向情報の検出精度の向上が可能となるので、ティーチングの失敗などの可能性を極めて低くできるとともに、誤差が少ない正確なティーチングを容易に行うことができる。
【００２０】
あるいは、上記目的を達成するため、本発明のロボット制御システムの教示方法は、撮像装置を用いて教示を行うことが可能なロボット制御システムの教示方法であって、ロボット制御システムによって制御されるロボットハンドが停止または通過すべき位置および姿勢で保持された上記のロボット制御システム教示用補助具を、少なくとも１台以上の撮像装置によって撮像する撮像工程と、この撮像工程で撮像された画像データから、前記ロボット制御システム教示用補助具の形状データ又は色データに基づいて前記ロボット制御システム教示用補助具に対応する部分を認識するとともに、前記ロボット制御システム教示用補助具の３次元位置情報および３次元方向情報を算出する画像処理工程と、この画像処理工程で算出された前記３次元位置情報および前記３次元方向情報を、前記ロボットと前記撮像装置との相対的位置関係に基づいて、前記ロボット制御システムによる前記ロボットハンド用の制御データに変換する変換工程とを含むことを特徴とする。
【００２１】
ここで、前記画像処理工程では、より具体的には、前記角錐形状部の頂点の３次元座標および前記頂点の向きの３次元角度を算出することが考えられる。
【００２２】
このような構成のロボット制御システムの教示方法によれば、作業者がティーチングペンダントの操作によってロボットハンドの位置や向きを複雑に変更させることを繰り返したりすることなく、主として教示用補助具で指し示すだけで所望のロボットハンドの位置および向きを同時に入力することができ、ティーチング作業が極めて容易になるとともにティーチングの所要時間も大幅に短縮することが可能となる。
【００２３】
あるいは、上記目的を達成するため、本発明のロボット制御システムは、上記のロボット制御システムの教示方法によって教示を行うことを特徴とする。
【００２４】
このような構成のロボット制御システムによれば、作業者がティーチングペンダントの操作によってロボットハンドの位置や向きを複雑に変更させることを繰り返したりすることなく、主として教示用補助具で指し示すだけで所望のロボットハンドの位置および向きを同時に入力することができ、ティーチング作業が極めて容易になるとともにティーチングの所要時間も大幅に短縮することが可能となる。
【発明の効果】
【００２５】
本発明のロボット制御システムの教示用補助具、ロボット制御システムの教示方法、またはロボット制御システムによれば、作業者がティーチングペンダントの操作によってロボットハンドの位置や向きを複雑に変更させることを繰り返したりすることなく、主として教示用補助具で指し示すだけで所望のロボットハンドの位置および向きを同時に入力することができ、ティーチング作業が極めて容易になるとともにティーチングの所要時間も大幅に短縮することが可能となる。
【図面の簡単な説明】
【００２６】
【図１】図１は本発明の一実施形態に係るロボット制御システム１００の概略ブロック図である。
【図２】図２はロボット制御システム１００のロボット１とステレオカメラ２０ａ、２０ｂの配置を示す概略図である。
【図３】図３はロボット１のティーチングを行う際に作業者が操作するティーチングペンダント１０の概略図である。
【図４】図４はロボット１のティーチングに用いるティーチングツール５０の概観図である。
【図５】図５（ａ）〜図５（ｃ）はティーチングツール５０のツール本体５１を３方向から見た詳細図であり、図５（ａ）はツール本体５１の平面図、図５（ｂ）はツール本体５１の正面図、図５（ｃ）はツール本体５１の底面図である。
【図６】ロボットハンド３の他の例を示す概観図である。
【図７】ティーチングツール５０の一部が障害物６０で隠れている状態を示す図である。
【発明を実施するための形態】
【００２７】
以下、本発明の実施形態を、図面を参照して説明する。
【００２８】
＜ロボット制御システム１００の構成＞
図１は本発明の一実施形態に係るロボット制御システム１００の概略ブロック図である。図２はロボット制御システム１００のロボット１とステレオカメラ２０ａ、２０ｂの配置を示す概略図である。図３はロボット１のティーチングを行う際に作業者が操作するティーチングペンダント１０の概略図である。
【００２９】
ロボット制御システム１００は、図１に示すように、ティーチング（教示）を行うことによって各種の作業をさせることができるロボット１と、このロボット１各部を駆動・制御するコントローラ５と、ロボット１のティーチングを行う際に作業者が操作するティーチングペンダント１０と、ロボット１およびその周囲をそれらの上方の異なる位置から見下ろすように配置された２台のステレオカメラ２０ａ、２０ｂと、これらのステレオカメラ２０ａ、２０ｂによって撮像された画像データの画像処理などを行うパソコン３０とを備えている。
【００３０】
ロボット１は、図２に示すように、多関節のロボットアーム２を有する垂直６軸タイプのロボットとしているが、これに限られるわけではない。例えば、４軸水平タイプのロボットでもよい。ロボットアーム２の先端には、着脱可能な少なくとも１つ以上のロボットハンド３が設けられている。なお、図２では、ロボットハンド３に取り付けられているワーク把持用チャック部などは省略している。このロボットハンド３には、さらに、行わせるべき作業などの内容に合わせて、少なくとも１つ以上の、例えば、ワーク把持用チャック部やスポット溶接ガンなどが設けられることになる。図６にロボットハンド３の他の例を示す。このロボットハンド３では、４つのワーク把持用チャック部４が設けられている。
【００３１】
コントローラ５は、ロボット１のロボットアーム２やロボットハンド３などの各部を駆動制御する。具体的には、ロボットアーム２やロボットハンド３などを駆動するモータ（不図示）の回転などを制御し、予め記憶された制御プログラムに従ったり、あるいはティーチングされた作業内容をプレイバックしたりすることで、ロボットアーム２やロボットハンド３などに所望の作業をさせる。
【００３２】
このコントローラ５には、ティーチングペンダント１０、ステレオカメラ２０ａ、２０ｂ、パソコン３０も接続されている。つまり、これらの機器とのインターフェイス機能もコントローラ５は有している。
【００３３】
ティーチングペンダント１０は、図３に示すように、ロボット１のティーチングを行う際に作業者が各種操作を行うための小型装置である。このティーチングペンダント１０は、コントローラ５と相互通信が可能となるようにワイヤレスで接続されているが、この接続は有線接続であってもよい。
【００３４】
このティーチングペンダント１０は、その中央部分にタッチパネル式で各種表示や操作が可能なＬＣＤ（液晶）ディスプレイ１１を備えており、このディスプレイ１１の左右両側には、起動、停止、ティーチングなどのロボット１操作用のソフトウェアキー１１ａが複数個設けられている。これにより、ロボット１のティーチングを行うためのティーチングモードや、そのティーチングモードでティーチングされた作業内容をプレイバックするモードなどへの切り替えを行うことができる。
【００３５】
さらに、ティーチングペンダント１０の左右には、作業者が握るためのグリップ１２、１３がそれぞれ設けられている。ティーチングペンダント１０の上部中央には、非常停止ボタン１４が設けられるとともに、グリップ１２の裏面には、ティーチング時や試運転時などの非定常作業時に作業者が危険を回避するための３ポジション方式のイネーブルスイッチ（不図示）が設けられている。
【００３６】
ステレオカメラ２０ａ、２０ｂはそれぞれ、左右一対のレンズを通して撮像される画像の視差に基づいて、三角測量の原理によって撮像された物体までの距離および角度を取得することができる。これらのステレオカメラ２０ａ、２０ｂは、図２に示すように、ロボット１およびその周囲をそれらの上方の異なる位置から見下ろして、作業者が保持しているティーチングツール５０（詳細は後述）を撮像できるように配置されている。ステレオカメラは、必ずしも２台以上配置することが不可欠というわけではない。しかし、ロボット１のロボットアーム２やロボットハンド３などとティーチングツール５０との位置関係によっては、撮像画角の少なくとも一部が遮られて死角が生じ、ティーチングツール５０を撮像画角内で的確に捉えられないおそれがある。そのような状況を極力回避するためには、ステレオカメラを２台以上配置することが好ましい。
【００３７】
パソコン３０は、コントローラ５と相互通信が可能となるように無線ＬＡＮで接続されているが、例えば、有線ＬＡＮで接続してもよい。このパソコン３０は、後述する画像処理などを行う他、ロボット１の自動運転中にはステレオカメラ２０ａ、２０ｂで撮像した画像をモニターするために用いることもできる。また、この画像のモニターを、ティーチングペンダント１０で行えるようにしてもよい。なお、パソコン３０の代わりに、例えば、専用の画像処理モジュールなどを用いてもよい。また、同様の機能を、コントローラ５に内蔵するような構成も考えられる。
【００３８】
＜ティーチングツール５０＞
図４はロボット１のティーチングに用いるティーチングツール５０の概観図である。図５（ａ）〜図５（ｃ）はティーチングツール５０のツール本体５１を３方向から見た詳細図であり、図５（ａ）はツール本体５１の平面図、図５（ｂ）はツール本体５１の正面図、図５（ｃ）はツール本体５１の底面図である。
【００３９】
これらの図に示すように、ティーチングツール５０は、細長い三角錐形状の三角錐部５２を有するとともにその底部に短い円筒状で合成ゴム製の基部５３が設けられているツール本体５１と、このツール本体５１にその頂点５２ｄとは反対側で連結されていて基部５３より細い丸棒状のハンドル５４とから構成されている。
【００４０】
ツール本体５１の三角錐部５２の各角錐面５２ａ、５２ｂ、５２ｃの色は互いに異なっている。具体的には、第１の角錐面５２ａには赤色の薄いポリプロピレンシートが接着されており、第２の角錐面５２ｂには緑色の薄いポリプロピレンシートが接着されており、第３の角錐面５２ｃには青色の薄いポリプロピレンシートが接着されている。
【００４１】
三角錐部５２自体の内部は、図５（ｃ）に示すように中空になっているが、例えば、透光性を有する樹脂などでこの三角錐部５２を構成するとともに、ＬＥＤなどの光源や電池などを内蔵することが好ましい。
【００４２】
ティーチング作業時にその光源を点灯させると、三角錐部５２の各角錐面５２ａ、５２ｂ、５２ｃが赤色、黄色、青色にそれぞれ発光する。ステレオカメラ２０ａ、２０ｂによって撮像された画像データに対して画像処理を行う際、三角錐部５２が３色で発光していれば、周辺環境との境界が明確となる。これにより、画像データ中で三角錐部５２に対応する部分の認識が容易になるとともに、三角錐部５２の頂点５２ｄの３次元座標および頂点５２ｄの向きの３次元角度の検出精度が向上する。
【００４３】
ハンドル５４については、必ずしも丸棒状に限るわけではなく、作業環境や作業者がよりティーチングを行いやすいような形状にすればよい。例えば、ハンドル５４自体の先端を湾曲させて、三角錐部５２から横方向側で握れるようにしてもよい。また、ハンドル５４の先端に別部材を取り付けることで同様の構成にしてもよい。
【００４４】
なお、ハンドル５４は、必ずしもツール本体５１に連結した状態で固定しておかなくてもよい。例えば、ツール本体５１にハンドル５４取り付け用の機構を設けるとともに、複数種類の異なる形状のハンドルを用意しておき、必要に応じてそれらを取り替えて使用できるようにしてもよい。
【００４５】
＜ティーチングツール５０を用いる教示方法＞
ティーチングツール５０を用いたロボット１のティーチングは、以下の（１）〜（３）の各ステップを繰り返すことによって行う。なお、これらに先立って、次のような事前準備をしておく必要がある。
【００４６】
まず、ステレオカメラ２０ａ、２０ｂとロボット１の配置が決まった状態で、ロボット１（ハンド）とステレオカメラ２０ａ（アイ）との相対的位置関係を算出するためにキャリブレーション（ハンド・アイ・キャリブレーション）を行う。ステレオカメラ２０ａによって撮像された画像データから取得される被撮像物の距離および角度は、ステレオカメラ２０ａの位置を基準としているが（カメラ座標系）、このキャリブレーションを予め行っておくことで、ロボット１の位置を基準とする制御データ（ロボット座標系）に精密に変換できるようになる。ステレオカメラ２０ｂとロボット１とについても、同様に相対的位置関係を算出するためにキャリブレーションを行う。
【００４７】
また、ティーチングツール５０の形状データおよび各角錐面５２ａ、５２ｂ、５２ｃの色データなども（例えば、３次元ＣＡＤデータとして）、画像処理を行うパソコン３０に入力しておく。
【００４８】
（１）ステレオカメラ２０ａ、２０ｂによるティーチングツール５０の撮像
ティーチングペンダント１０の操作によってティーチングモードに切り替えた後、ティーチングツール５０をロボットハンド３が停止または通過すべき位置および姿勢でしっかりと保持する。このとき、ロボットハンド３が停止または通過すべき位置をツール本体５１の頂点５２ｄによって正確に指示するとともに、その位置でロボットハンド３が取るべき姿勢（例えば、ワーク把持用チャックの移動する向き）にツール本体５１の姿勢（図５（ｂ）に示すツール本体５１の中心線（一点鎖線）が示す向き）を正確に一致させるようにする。
【００４９】
次に、ツール本体５１の位置および姿勢を保持したままの状態で、ティーチングペンダント１０の所定操作によって、ステレオカメラ２０ａ、２０ｂによる撮像を行う。
【００５０】
（２）撮像された画像データからティーチングツール５０を認識するなどの画像処理
まず、ステレオカメラ２０ａによって撮像された画像データから、ティーチングツール５０の形状の特徴を有する部分の有無を検索する。そのような部分が存在すると認識できれば、その部分の画像データからティーチングツール５０の形状データに基づいてティーチングツール５０の３次元位置情報および３次元方向情報を算出する。より具体的には、ツール本体５１の頂点５２ｄの３次元座標（Ｘ１，Ｙ１，Ｚ１）およびこの頂点５２ｄの向きの３次元角度（Ａ１，Ｂ１，Ｃ１）を算出する。
【００５１】
同様に、ステレオカメラ２０ｂによって撮像された画像データからも、ティーチングツール５０の形状の特徴を有する部分が存在すると認識できれば、ツール本体５１の頂点５２ｄの３次元座標（Ｘ２，Ｙ２，Ｚ２）およびこの頂点５２ｄの向きの３次元角度（Ａ２，Ｂ２，Ｃ２）を算出する。
【００５２】
三角錐部５２全体である程度の長さを有していれば、図７に示すように、例え、その三角錐の頂点５２ｄやその他の部分が何らかの障害物６０の陰になっていたりして、角錐面５２ａ、５２ｂ、５２ｃのいずれかはステレオカメラ２０ａまたはステレオカメラ２０ｂの方向に向いている。例えば５２ｂがステレオカメラ２０ａの方向に向いているとすると、撮影された三角形の色からその三角形が角錐面５２ｂであることがわかる。さらにその角錐面５２ｂの頂点５２ｄにつながる稜線５２ｅ、５２ｆの一部がステレオカメラ２０ａから見えれば、その延長線上の交点として頂点５２ｄの位置が計測できる。また、その頂点５２ｄでの稜線５２ｅと５２ｆとの角度から、同じ三角形の他の角や、ティーチングツール５０以外の環境中のものと識別できる。稜線５２ｅと５２ｆの方向から、角錐面５２ｂの姿勢が決定でき、その色の情報と組み合わせて、ティーチングツール５０の３次元位置情報と３次元方向情報が決定できる。
【００５３】
ツール本体５１の頂点５２ｄが何らかの障害物の陰になっていて対応する箇所の画像データが得られていなくても、各角錐面５２ａ、５２ｂ、５２ｃの稜線の延長線が交差する位置によって頂点５２ｄの位置を正確に求めることもできる。
【００５４】
また、各角錐面５２ａ、５２ｂ、５２ｃの色の順序も既知であるから、例えば、赤色の角錐面５２ａ自体は撮像データ中に現れていなくても、緑色の角錐面５２ｂおよび青色の角錐面５２ｃが撮像データ中に現れていれば、それらに基づいて赤色の角錐面５２ａの位置や向きなどを算出することもできる。
【００５５】
また、頂点５２ｄはツール本体５１の中心線上にあることが望ましいが、中心線からずれている場合がある。頂点５２ｄが中心線からずれている場合、作業者が所望の箇所に頂点５２ｄを指し示しても、コントローラ５は所望の箇所からずれた座標を計算してしまう。そこで、各角錐面５２ａ、５２ｂ、５２ｃの各々に対応する補正データを予めコントローラ５に記憶させておく。そして、撮像された画像に基づいて得られた各角錐面５２ａ、５２ｂ、５２ｃの座標データを前記補正データによって補正して変換して頂点５２ｄの座標を計算させることで、所望の箇所の座標を正確な値に近づけることができる。または、撮像された画像に基づいて得られた各角錐面の頂点５２ｂの座標データを平均して頂点５２ｄの座標を計算させることで、所望の箇所の座標を正確な値に近づけることができる。このように、頂点５２の座標を所定の計算式で補正することによって、ツール本体５１の中心線から頂点５２ｄがずれていても、コントローラ５は所望の箇所の座標を正確な値に近づけることができる。
【００５６】
このように、ティーチングツール５０を上述したような特徴的形状としているため、画像データからのティーチングツール５０の形状認識を行う際のロバスト性が高く、ティーチングの失敗などを極力防止するとともに、誤差が少ない正確なティーチングを容易に行うことができる。
【００５７】
また、２台のステレオカメラ２０ａ、２０ｂを使用することで、ロボット１のロボットアーム２やロボットハンド３などとティーチングツール５０との位置関係によらず、ステレオカメラ２０ａ、２０ｂの少なくとも一方でティーチングツール５０をほぼ確実に画角内に捉えることができる。
【００５８】
（３）ロボット１用の制御データへの変換
上記（２）で算出されたティーチングツール５０の３次元位置情報および３次元方向情報は、ステレオカメラ２０ａ、２０ｂそれぞれのカメラ座標系の３次元データであるから、事前準備で行っておいたキャリブレーション結果に基づいて、ロボット座標系の３次元座標（ｘ，ｙ，ｚ）および３次元角度（ａ，ｂ，ｃ）に変換し、さらにロボット１の制御データへと変換する。
【００５９】
なお、ティーチングツール５０の３次元位置情報および３次元方向情報が、ステレオカメラ２０ａ、２０ｂの一方からしか得られなかったときは、得られた方の情報のみを使用すればよい。これに対して、両方から３次元位置情報および３次元方向情報が得られたときは、例えば、両方の情報を平均化して使用してもよいし、あるいは、信頼度がより高いと判断される方の情報のみを使用するようにしてもよい。
【００６０】
このようにして変換されたロボット１の制御データに従ってロボットハンド３を制御することにより、ティーチングした通りの位置および姿勢による作業をロボットハンド３に正確に行わせることができる。これにより、ティーチングの失敗などの可能性を極めて低くできるとともに、誤差が極めて少ない一層正確なティーチングを容易に行うことができる。
【００６１】
以上で説明した実施形態の構成によれば、作業者がティーチングペンダント１０の操作によってロボットハンド３の位置や向きを複雑に変更させることを繰り返したりすることなく、主としてティーチングツール５０で指し示すだけで所望のロボットハンド３の位置および向きを同時に入力することができ、ティーチング作業が極めて容易になるとともにティーチングの所要時間も大幅に短縮することが可能となる。
【００６２】
また、画像処理によって図６に示す角錐面５２ｃの底辺５２ｃ１と平行な向きＤ１を検出することで、図６のワーク把持用チャック部４の爪４１ａ及び４１ｂの移動向き（挟持向き）Ｄ２を、向きＤ１と同じにすることができる。これにより、作業者はツール本体５１によってワーク把持用チャックの移動する向きの他、ツール本体５１の角錐面５２ｃの底辺５２ｃ１の向きＤ２を示すことで、ワークを爪で把持する向きＤ２をも同時に入力することもできる。
【００６３】
本発明は、その主旨または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、上述の実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈してはならない。本発明の範囲は特許請求の範囲によって示すものであって、明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
【符号の説明】
【００６４】
１００ ロボット制御システム
１ ロボット
２ ロボットアーム
３ ロボットハンド
５ コントローラ
１０ ティーチングペンダント
１１ ディスプレイ
１１ａ ソフトウェアキー
１２ グリップ
１３ グリップ
１４ 非常停止ボタン
２０ａ ステレオカメラ
２０ｂ ステレオカメラ
３０ パソコン
５０ ティーチングツール（教示用補助具）
５１ ツール本体（補助具本体）
５２ 三角錐部
５２ａ 第１の角錐面（赤色）
５２ｂ 第２の角錐面（緑色）
５２ｃ 第３の角錐面（青色）
５２ｄ 頂点
５２ｅ 第２の角錐面５２ｂと第１の角錐面５２ａのなす稜線
５２ｆ 第２の角錐面５２ｂと第３の角錐面５２ｃのなす稜線
５３ 基部
５４ ハンドル（把持部）
６０ 障害物
【特許請求の範囲】
【請求項１】
撮像装置を用いて教示を行うことが可能なロボット制御システムの教示用補助具であって、
角錐面の色が互いに異なる角錐形状部を有する補助具本体と、
この補助具本体に連結された把持部と
を備えることを特徴とする、ロボット制御システムの教示用補助具。
【請求項２】
請求項１に記載のロボット制御システムの教示用補助具において、
前記角錐形状部は三角錐形状であることを特徴とする、ロボット制御システムの教示用補助具。
【請求項３】
請求項１または２に記載のロボット制御システムの教示用補助具において、
前記角錐形状部は前記角錐面がそれぞれの色を発するような発光手段をさらに備えることを特徴とする、ロボット制御システムの教示用補助具。
【請求項４】
撮像装置を用いて教示を行うことが可能なロボット制御システムの教示方法であって、
ロボット制御システムによって制御されるロボットハンドが停止または通過すべき位置および姿勢で保持された請求項１〜３のいずれか１項に記載のロボット制御システムの教示用補助具を、少なくとも１台以上の撮像装置によって撮像する撮像工程と、
この撮像工程で撮像された画像データから、前記ロボット制御システム教示用補助具の形状データ又は色データに基づいて前記ロボット制御システム教示用補助具に対応する部分を認識するとともに、前記ロボット制御システム教示用補助具の３次元位置情報および３次元方向情報を算出する画像処理工程と、
この画像処理工程で算出された前記３次元位置情報および前記３次元方向情報を、前記ロボットと前記撮像装置との相対的位置関係に基づいて、前記ロボット制御システムによる前記ロボットハンド用の制御データに変換する変換工程と
を含むことを特徴とする、ロボット制御システムの教示方法。
【請求項５】
請求項４に記載のロボット制御システムの教示方法において、
前記画像処理工程では、前記角錐形状部の頂点の３次元座標および前記頂点の向きの３次元角度を算出することを特徴とする、ロボット制御システムの教示方法。
【請求項６】
請求項４または５に記載のロボット制御システムの教示方法によって教示を行うことを特徴とするロボット制御システム。
【請求項１】
撮像装置を用いて教示を行うことが可能なロボット制御システムの教示用補助具であって、
角錐面の色が互いに異なる角錐形状部を有する補助具本体と、
この補助具本体に連結された把持部と
を備えることを特徴とする、ロボット制御システムの教示用補助具。
【請求項２】
請求項１に記載のロボット制御システムの教示用補助具において、
前記角錐形状部は三角錐形状であることを特徴とする、ロボット制御システムの教示用補助具。
【請求項３】
請求項１または２に記載のロボット制御システムの教示用補助具において、
前記角錐形状部は前記角錐面がそれぞれの色を発するような発光手段をさらに備えることを特徴とする、ロボット制御システムの教示用補助具。
【請求項４】
撮像装置を用いて教示を行うことが可能なロボット制御システムの教示方法であって、
ロボット制御システムによって制御されるロボットハンドが停止または通過すべき位置および姿勢で保持された請求項１〜３のいずれか１項に記載のロボット制御システムの教示用補助具を、少なくとも１台以上の撮像装置によって撮像する撮像工程と、
この撮像工程で撮像された画像データから、前記ロボット制御システム教示用補助具の形状データ又は色データに基づいて前記ロボット制御システム教示用補助具に対応する部分を認識するとともに、前記ロボット制御システム教示用補助具の３次元位置情報および３次元方向情報を算出する画像処理工程と、
この画像処理工程で算出された前記３次元位置情報および前記３次元方向情報を、前記ロボットと前記撮像装置との相対的位置関係に基づいて、前記ロボット制御システムによる前記ロボットハンド用の制御データに変換する変換工程と
を含むことを特徴とする、ロボット制御システムの教示方法。
【請求項５】
請求項４に記載のロボット制御システムの教示方法において、
前記画像処理工程では、前記角錐形状部の頂点の３次元座標および前記頂点の向きの３次元角度を算出することを特徴とする、ロボット制御システムの教示方法。
【請求項６】
請求項４または５に記載のロボット制御システムの教示方法によって教示を行うことを特徴とするロボット制御システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−１０４７５９（Ｐ２０１１−１０４７５９Ａ）
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願番号】特願２００９−２６５７０４（Ｐ２００９−２６５７０４）
【出願日】平成２１年１１月２０日（２００９．１１．２０）
【国等の委託研究の成果に係る記載事項】（出願人による申告）国等の委託研究の成果に係る特許出願（平成２１年度独立行政法人新エネルギー・産業技術総合開発機構「次世代ロボット知能化技術開発プロジェクト・作業知能（生産分野）の開発・世界標準を目指したロボットセル生産用知能ハンドモジュール群とマニュアル作業激減知能モジュール群の開発と検証」委託研究、産業技術力強化法第１９条の適用を受ける特許出願）
【出願人】（００００００３０９）ＩＤＥＣ株式会社 (188)
【出願人】（５０４４５４０６０）株式会社アプライド・ビジョン・システムズ (11)
【Ｆターム（参考）】
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願日】平成２１年１１月２０日（２００９．１１．２０）
【国等の委託研究の成果に係る記載事項】（出願人による申告）国等の委託研究の成果に係る特許出願（平成２１年度独立行政法人新エネルギー・産業技術総合開発機構「次世代ロボット知能化技術開発プロジェクト・作業知能（生産分野）の開発・世界標準を目指したロボットセル生産用知能ハンドモジュール群とマニュアル作業激減知能モジュール群の開発と検証」委託研究、産業技術力強化法第１９条の適用を受ける特許出願）
【出願人】（００００００３０９）ＩＤＥＣ株式会社 (188)
【出願人】（５０４４５４０６０）株式会社アプライド・ビジョン・システムズ (11)
【Ｆターム（参考）】
[ Back to top ]