溶接状況監視方法及び溶接状況監視装置
【課題】撮像手段の設置位置が不明な状況下でも、溶接状況を監視できるようにする。
【解決手段】本発明では、少なくとも撮像手段１６の設置位置が不明な状況下で溶接ロボット１の先端部１２ａを撮像し、当該先端部１２ａが写り込んだ画像を取得する。画像上における先端部１２ａの位置である撮像先端部位置ｆＰと、溶接ロボット１の先端部１２ａの位置である実先端部位置ｒＰとを取得する。撮像先端部位置ｆＰと実先端部位置ｒＰとの関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求める。求めた変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を用いて、実先端部位置ｒＰとカメラ座標で表現されたロボット先端部位置ｃＰとを関係づける変換マトリックスｃｒＴを求め、この変換マトリックスｃｒＴを用いて、光軸がロボット先端を向くように撮像手段１６を動かして溶接状況を監視する。
【解決手段】本発明では、少なくとも撮像手段１６の設置位置が不明な状況下で溶接ロボット１の先端部１２ａを撮像し、当該先端部１２ａが写り込んだ画像を取得する。画像上における先端部１２ａの位置である撮像先端部位置ｆＰと、溶接ロボット１の先端部１２ａの位置である実先端部位置ｒＰとを取得する。撮像先端部位置ｆＰと実先端部位置ｒＰとの関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求める。求めた変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を用いて、実先端部位置ｒＰとカメラ座標で表現されたロボット先端部位置ｃＰとを関係づける変換マトリックスｃｒＴを求め、この変換マトリックスｃｒＴを用いて、光軸がロボット先端を向くように撮像手段１６を動かして溶接状況を監視する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＣＤカメラ等の撮像手段を用いて溶接ロボットでの溶接状況を監視する溶接状況監視方法及び溶接状況監視装置に関するものである。
【背景技術】
【０００２】
従来より、溶接ロボットにて溶接を行っている際には、ＣＣＤカメラを用いて溶接ロボットの先端部、即ち溶接アーク光や溶融池を撮像し、撮像した溶接アーク光をモニタ上に表示して溶接状況の監視を行っている。このように、溶接状況を監視する溶接状況監視装置として特許文献１に示すものがある。
特許文献１では、溶接ロボットの腕部にＣＣＤカメラを取り付け、このＣＣＤカメラの光軸を溶接ロボットの先端部（溶接アーク光や溶融池等）に向け、当該先端部をＣＣＤカメラにて撮像していた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２３０９５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では、溶接するときに溶接ロボットの姿勢（腕部の姿勢）を変更すると、その姿勢によっては、溶接ロボットの先端部がＣＣＤカメラの死角に入り込み、溶接アーク光や溶融池を撮像できない状況が発生する場合がある。
そこで、ＣＣＤカメラを溶接ロボットの腕部に取り付けるのではなく、溶接ロボットとは別の場所（例えば、天井や壁など）に取り付けることによって死角の問題を解決することが考えられる。
【０００５】
このように、ＣＣＤカメラを溶接ロボットとは別の場所に取り付けた場合、ＣＣＤカメラの設置位置を正確に把握することが必要となる。しかしながら、ＣＣＤカメラの設置位置を正確な３次元座標データとして取得することは、ＣＣＤカメラの取付誤差等の存在から困難な場合がある。このような場合は、溶接ロボットの先端部の位置との位置関係を正確に算出することができず、溶接ロボットの先端部の動きに合わせてＣＣＤカメラを正確に追従して動かすことが難しいのが実情である。
【０００６】
本発明は、問題点に鑑み、撮像手段の設置位置が不明な状況下でも、撮像手段を用いて正確に溶接状況を把握することができる溶接状況監視方法及び溶接状況監視装置を提供するようにしたものである。
【課題を解決するための手段】
【０００７】
前記目的を達成するため、本発明においては以下の技術的手段を講じた。
即ち、本発明における課題解決のための技術的手段は、溶接ロボットの先端部を撮像する撮像手段を設けた上で、当該撮像手段で前記先端部を撮像することによって溶接状況を監視する溶接状況監視方法において、少なくとも前記撮像手段の設置位置が不明な状況下で、溶接ロボットの先端部を撮像し、当該先端部が写り込んだ画像を取得する第１ステップと、前記画像上における先端部の位置である撮像先端部位置ｆＰと、溶接ロボットの先端部の位置である実先端部位置ｒＰとを取得する第２ステップと、前記撮像先端部位置ｆＰと実先端部位置ｒＰとの関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求める第３ステップと、求めた変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を用いて、実先端部位置ｒＰとカメラ座標で表現されたロボット先端部位置ｃＰとを関係づける変換マトリックスｃｒＴを求める第４ステップと、求められた変換マトリックスｃｒＴを用いて、実先端部位置ｒＰをカメラ座標でのロボット先端部位置ｃＰへ変換した上で、当該ロボット先端部位置ｃＰのｘ座標及びｙ座標が０となるように撮像手段をパン又はチルトさせ、溶接状況を監視する第５ステップと、を備えていることを特徴とする。
【０００８】
好ましくは、溶接作業を行う前に、第１ステップ〜第３ステップを行い、実際の溶接作業の際には、第４ステップ，第５ステップを行うとよい。
好ましくは、前記第１ステップにおいては、前記溶接ロボットの先端部が視野に入るように撮像手段を広角倍率に設定しておき、前記撮像手段を動かさないで前記先端部を撮像するとよい。
【０００９】
好ましくは、前記第１ステップにおいては、溶接ロボットの先端部が視野に入るように撮像手段を上下又は左右を動かしながら、前記先端部を撮像するとよい。
好ましくは、前記撮像手段の画像における撮像先端部位置ｆＰが画像上の所定の位置又は中心位置から所定範囲離れたときに、第１ステップ〜第３ステップまでを再び行うとよい。
【００１０】
本発明の他の技術的手段は、溶接ロボットの先端部を撮像する撮像手段を備え、当該撮像手段で前記先端部を撮像することによって溶接状況を監視する溶接状況監視装置において、少なくとも前記撮像手段の設置位置が不明な状況下で、溶接ロボットの先端部を撮像し、当該先端部が写り込んだ画像を取得する予備撮像手段と、前記画像上における先端部の位置である撮像先端部位置ｆＰと、溶接ロボットの先端部の位置である実先端部位置ｒＰとを取得する位置取得手段と、取得した撮像先端部位置ｆＰと実先端部位置ｒＰとの関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求めるパラメータ算出手段と、求めた変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を用いて、実先端部位置ｒＰとカメラ座標で表現されたロボット先端部位置ｃＰとを関係づける変換マトリックスｃｒＴを求めるマトリックス算出手段と、求められた変換マトリックスｃｒＴを用いて、実先端部位置ｒＰをカメラ座標でのロボット先端部位置ｃＰへ変換した上で、当該ロボット先端部位置ｃＰのｘ座標及びｙ座標が０となるように撮像手段をパン又はチルトさせ、溶接状況を監視する監視撮像手段と、を備えていることを特徴とする。
【００１１】
好ましくは、前記予備撮像手段は、前記溶接ロボットの先端部が視野に入るように撮像手段を広角倍率に設定しておき、前記撮像手段を動かさないで前記先端部を撮像するとよい。
好ましくは、前記予備撮像手段は、溶接ロボットの先端部が視野に入るように撮像手段を上下又は左右を動かしながら、前記先端部を撮像するとよい。
【発明の効果】
【００１２】
本発明によれば、撮像手段の設置位置が不明な状況下でも、撮像手段を用いて正確に溶接状況を把握することができる。
【図面の簡単な説明】
【００１３】
【図１】アーク溶接を行う溶接ロボットと、この溶接ロボットでの溶接状況を監視する溶接監視装置とを示したものである。
【図２】（ａ）溶接アーク光を撮像した画像であり、（ｂ）溶接アーク光の位置を検出するための画像（（ａ）の二値化画像）である。
【図３】第１実施形態における第１ステップ及び第２ステップの詳細をまとめたものである。
【図４】カメラ座標系、ロボット座標系、フレームバッファ座標系を示したものである。
【図５】第２実施形態における第１ステップ及び第２ステップの詳細をまとめたものである。
【図６】溶接ロボットの先端部の位置と画像中心との距離Ｄとの関係を示したものである。
【発明を実施するための形態】
【００１４】
［第１実施形態］
以下、本発明の実施の形態を、図面に基づき説明する。
溶接ロボットの溶接状況を監視するにあたっては、ＣＣＤカメラ等を有する撮像手段を溶接ロボットとは離れた位置である天井や壁等に取り付け、ＣＣＤカメラにて溶接ロボットの先端部（溶接アーク光）を撮像することによって行っている。この場合、ＣＣＤカメラを取り付けた設置位置がデータとして得られていないと、溶接ロボットの先端部の位置と撮像した画像上における溶接ロボットの先端部との位置との関係が正確に求められず、溶接ロボットの先端部を動かしたときに、ＣＣＤカメラが先端部の動きに対して追従することができない場合がある。
【００１５】
そこで、本発明では、ＣＣＤカメラの設置位置が分からなくても、溶接ロボットの先端部を動かしたときに追従することができるようにしている。
本発明の溶接状況監視方法及び溶接状況監視装置について詳しく説明する。
図１は、アーク溶接を行う溶接ロボットと、この溶接ロボットでの溶接状況を監視する溶接監視装置とを示したものである。
【００１６】
図１に示すように、溶接ロボット１は、例えば、垂直多関節型の６軸のロボットであって、据付ベース２に近い第１軸Ａから順に、第２軸Ｂ、第３軸Ｃ、第４軸Ｄ、第５軸Ｅ及び第６軸Ｆの回転軸を備える。それぞれの回転軸は、据付ベース２から順に設けられた第１リンク部材３、第２リンク部材４、第３リンク部材５、第４リンク部材６、第５リンク部材７によって接続され、据付ベース２から最も離れていて一端が第６軸Ｆに連結される第６リンク部材８には、溶接を行う溶接ツール９が設けられている。また、溶接ロボット１は、当該溶接ロボットを制御するロボットコントローラ１０を備えている。
【００１７】
このような、溶接ロボット１では、ロボットコントローラ１０からの指令によって多数の回転軸Ａ〜Ｆの周りにリンク部材３〜８を揺動又は回転させることによって溶接ツール９に設けた溶接トーチ１２の向きを変えワークの溶接を行うことができる。
なお、溶接ロボット１は、垂直多関節型の６軸のロボットに限定されない。
一方、この溶接ロボット１を監視する溶接監視装置１５は、撮像手段１６と、制御装置１７とを備えている。
【００１８】
撮像手段１６は、溶接ロボット１から離れた位置、例えば、溶接ロボット１が配置されている部屋の天井や側壁等に取り付けられており、溶接ロボット１の先端部（溶接トーチ１２の先端であって溶接アーク光）を撮像することができるようになっている。なお、溶接ロボット１の先端部を説明の便宜上、単に先端部１２ａとして表現することがある。
具体的には、撮像手段１６は、ＣＣＤカメラ１８と、このＣＣＤカメラ１８の光軸を上下方向（チルト方向）に向けたり左右方向（パン方向）に向けるためのカメラ移動部１９とを備えている。カメラ移動部１９は、制御装置１７からの指令によって作動し、ＣＣＤカメラ１８の光軸を上下方向又は左右方向に向けることができる。カメラ移動部１９は、制御装置１７からの指令によって動作するようになっている。
【００１９】
制御装置１７は、ＣＣＤカメラ１８、カメラ移動部１９を制御するものであり、パソコン等で構成されている。この制御装置１７は、ＣＣＤカメラ１８及びロボットコントローラ１０と信号線やインサーネットケーブル等を介して接続しており、ＣＣＤカメラ１８にて撮像した画像データの取得、ＣＣＤカメラ１８を動かしたときの光軸の位置、画像上での先端部１２ａの位置である撮像先端部位置ｆＰ、実際の先端部１２ａの位置である実先端部位置ｒＰ等を取得することができるようになっている。
【００２０】
また、この制御装置１７には、ＣＣＤカメラ１８やカメラ移動部１９等を制御するためのプログラムが格納されている。このプログラムの処理により、溶接ロボット１の先端部１２ａを撮像し、この先端部１２ａが写り込んだ画像を取得する。画像上における先端部１２ａの位置である「撮像先端部位置ｆＰ」と、溶接ロボット１の先端部１２ａの位置である「実先端部位置ｒＰ」とを取得して、撮像先端部位置ｆＰと実先端部位置ｒＰとの関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）が求められる。変換パラメータは、並進成分であるｘｃ，ｙｃ，ｚｃと、回転成分であるαｃ，βｃ，γｃとで表される。さらに、求めた変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を用いて、実先端部位置ｒＰとカメラ座標で表現されたロボット先端部位置ｃＰとを関係づける変換マトリックスｃｒＴを求める。その後、求められた変換マトリックスｃｒＴを用いて、実先端部位置ｒＰをカメラ座標でのロボット先端部位置ｃＰへ変換した上で、カメラ光軸がロボット先端部位置を向くように、ＣＣＤカメラ１８をパン又はチルトさせ、溶接状況を監視する。言い換えれば、カメラ座標でのロボット先端部位置のｘ座標及びｙ座標が０となるように、ＣＣＤカメラ１８を左右に動かしたり、上下方向に動かしたりする。
【００２１】
このプログラム（制御装置１７内のプログラム）は、主に、予備撮像手段２０、位置取得手段２１、パラメータ算出手段２２、マトリックス算出手段２３、監視撮像手段２４により構成されている。
次に、制御装置１７に格納されたプログラムや当該プログラムによるＣＣＤカメラ１８等の動作について説明する。
【００２２】
まず、予備撮像手段２０は、撮像手段１６の設置位置が不明な状況下においてＣＣＤカメラ１８が撮像した溶接ロボット１の先端部１２ａの画像を取得する。
ここで、撮像手段１６の設置位置が不明な状況下とは、ＣＣＤカメラ１８を溶接ロボット１が存在する部屋の天井や壁に設置したときの設置位置（設置座標）がデータとして得られていない状況である。さらに言い換えると、溶接ロボット１の先端部１２ａの位置をＣＣＤカメラ１８が撮像した画像上での位置に変換するための変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）が分からない状況下であって、ＣＣＤカメラ１８を溶接ロボット１の先端部１２ａの動きに応じて追従させるときに、溶接ロボット１の先端部１２ａをＣＣＤカメラ１８の光軸上に一致させるために必要な変換マトリックスｃｒＴが分からない状況下のことである。
【００２３】
この予備撮像手段２０は、先端部１２ａの画像を取得する前に、オペレータ等がＣＣＤカメラ１８の光軸を先端部１２ａにむけてＣＣＤカメラ１８の位置を固定し、その上でＣＣＤカメラ１８においてズーム倍率を変化させることで広角倍率にして、溶接ロボット１の先端部１２ａを含む広い視野が撮像できるようにする。そして、広角倍率にした状態でＣＣＤカメラ１８を動かさないで先端部１２ａをＣＣＤカメラ１８で撮像する。
【００２４】
位置取得手段２１は、予備撮像手段２０で画像上での先端部１２ａの位置である撮像先端部位置ｆＰを取得すると共に、実際の先端部１２ａの位置である実先端部位置ｒＰを取得する。
具体的には、位置取得手段２１は、予備撮像手段２０で先端部１２ａが写り込んだ画像を取得した際、当該画像を取得したときの実先端部位置ｒＰをロボットコントローラ１０から取得する。また、位置取得手段２１は、後述するように、画像上において写り込んでいる先端部１２ａを抽出して、抽出した先端部１２ａの位置を撮像先端部位置ｆＰとして取得する。そして、位置取得手段２１は、撮像先端部位置ｆＰ及び実先端部位置ｒＰを制御装置１７内に設けられたメモリ等に保存する。
【００２５】
パラメータ算出手段２２は、画像に映り込んだ溶接ロボット１の先端部の位置である「撮像先端部位置ｆＰ」と、溶接ロボット１の先端部の実空間での位置である「実先端部位置ｒＰ」との関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求めるものである。
マトリックス算出手段２３は、変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を用いて、ロボット座標で表現されたロボット先端部位置（実先端部位置ｒＰ）とカメラ座標で表現されたロボット先端部位置ｃＰとを関係づける変換マトリックスｃｒＴを求める。
【００２６】
すなわち、前述したパラメータ算出手段２２により、撮像先端部位置ｆＰと、実先端部位置ｒＰとの関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）が明らかとなっている。加えて、カメラ座標と画像上での座標（フレームバッファ座標）とは、カメラの取り付け位置によらず、その関係は明らかである。それ故、これらの情報を基にすれば、実先端部位置ｒＰとカメラ座標で表現されたロボット先端部位置ｃＰとを関係づける変換マトリックスｃｒＴを一意に求めることができ、マトリックス算出手段２３により、この変換マトリックスｃｒＴを算出している。
【００２７】
監視撮像手段２４は、マトリックス算出手段２３によって求められた変換マトリックスｃｒＴを用いて、実先端部位置ｒＰをカメラ座標でのロボット先端部位置ｃＰへ変換した上で、カメラ光軸がロボット先端部位置を向くように、言い換えれば、カメラ座標でのロボット先端部位置のｘ座標及びｙ座標が０となるように、ＣＣＤカメラ１８を動かし溶接状況を監視する。
【００２８】
このように、制御装置１７に組み込まれたプログラム等を用いて撮像先端部位置ｆＰと実先端部位置ｒＰとの関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求め、その上で、変換マトリックスｃｒＴを求めることで、得られた変換マトリックスｃｒＴを基に、ＣＣＤカメラ１８の設置位置が分からなくても、ＣＣＤカメラ１８を溶接ロボット１の先端部１２ａの動きに確実に追従させることができる。
【００２９】
以下、溶接状況監視方法について詳しく説明する。なお、溶接状況監視方法の説明に合わせてＣＣＤカメラ１８等の動作も説明する。
溶接ロボット１にて溶接を行ったときの溶接状況を監視するには、図１に示すように、溶接開始前に溶接ロボット１が溶接をしたときに先端部１２ａ（溶接アーク光）が見える位置であって天井や壁に取り付けられたＣＣＤカメラ１８を用いる。このＣＣＤカメラ１８の設置位置は、制御装置１７やロボットコントローラ１０には教示されておらず、ＣＣＤカメラ１８の設置位置は分からない状況下である。
【００３０】
次に、溶接を開始する時には、第１ステップとして溶接ロボット１の先端部１２ａを撮像し、先端部１２ａが写り込んだ画像を取得する。この第１ステップでは、溶接ロボット１の先端部１２ａが視野に入るようにＣＣＤカメラ１８を広角倍率に設定しておき、ＣＣＤカメラ１８を動かさないで、溶接ロボット１の先端部１２ａのみを動かして溶接を行い、図２（ａ）に示すような先端部１２ａ（溶接アーク光）が写り込んでいる画像を取得する。このように先端部１２ａの画像を得るのは予備撮像手段２０等によって行う。
【００３１】
そして、先端部１２ａの画像を取得すると、第２ステップでは、まず、画像上における先端部１２ａの位置である撮像先端部位置ｆＰを抽出する。この第２ステップでは、図２（ｂ）に示すように取得した先端部１２ａの画像を２値化し、２値化により抽出された画像において最大面積を有する領域の重心を算出することによって先端部１２ａ（溶接アーク光）の位置を検出する。第２ステップでは、画像上での先端部１２ａ（溶接アーク光）の位置（撮像先端部位置ｆＰ）は、初回はｆＰ１＝（ｆｘ１,ｆｙ１）とする。
【００３２】
また、第２ステップでは、先端部１２ａの画像を取得した際、同時刻の先端部１２ａの位置（画像に対応した先端部１２ａの位置）をロボットコントローラ１０から取得する。 第２ステップでは、先端部１２ａ（溶接アーク光）の３次元空間上の位置（実先端部位置ｒＰ）は、初回はｒＰ１＝（ｒｘ１,ｒｙ１,ｒｚ１）とする。
これによって、画像上での先端部１２ａの撮像先端部位置Ｐｆと３次元空間上の先端部１２ａの実先端部位置Ｐｒとの組合せを得ることができる。
【００３３】
溶接ロボット１の先端部１２ａをＴ秒ごとに動かし、第１ステップ及び第２ステップを繰り返し行うと、式（１）に示すようなｎ個の撮像先端部位置ｆＰと実先端部位置ｒＰとの組合せを得ることができる。このように撮像先端部位置ｆＰと実先端部位置ｒＰとの取得は、位置取得手段２１によって行う。得られた撮像先端部位置ｆＰ及び実先端部位置ｒＰはメモリに保存する。
【００３４】
【数１】
【００３５】
上述した第１ステップ及び第２ステップは、ＣＣＤカメラを固定して先端部１２ａを撮像しているため、各ステップを溶接ロボットで溶接を行いながら行うことが可能であるが、溶接ロボットで溶接を行う前の事前準備として、溶接ロボットを任意で動かして第１ステップ及び第２ステップを行ってもよい。
なお、溶接ロボット１を動かす時間Ｔ（間隔時間）において、間隔時間Ｔが非常に小さいと前後の位置が同じ値となり、変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を上手く求めることができない。一方、間隔時間Ｔが非常に大きいと変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を旨く求めることができるものの、上述したような位置データ（撮像先端部位置ｆＰ、実先端部位置ｒＰ）を取得するのに時間が掛かってしまう。そのため、このようなことを考慮して間隔時間Ｔは、短すぎず長すぎないように適切に設定することが好ましい。なお、溶接ロボット１において溶接する速度は、１分間当たり４０ｃｍであるため、例えば、間隔時間Ｔは１５秒〜６０秒が好ましい。
【００３６】
図３は、第１実施形態における第１ステップと第２ステップとをまとめたものである。
位置データの保存数がゼロ（登録数がゼロ）であるとき、予備撮像手段２０による先端部１２ａの画像の取得を開始する（Ｓ１）。制御装置１７において間隔時間Ｔに達したか否かを判定するために、タイマーをゼロにセットし（Ｓ２：ｔｉｍｅ＝０）、タイマーをカウントアップして先端部１２ａの画像を撮像する（Ｓ３）。先端部１２ａの画像を取得すると、上述したように、位置取得手段２１によって画像上における先端部１２ａを検出して撮像先端部位置ｆＰを決定する（Ｓ4）。
【００３７】
タイマーが間隔時間Ｔを超えると（Ｓ５、ｙｅｓ）、撮像先端部位置ｆＰ及び実先端部位置ｒＰを保存（登録）する（Ｓ６）。撮像先端部位置ｆＰ及び実先端部位置ｒＰの保存数が予め設定していた登録数を超える（登録数＞ｎ，Ｓ７，ｙｅｓ）と、第１ステップ及び第２ステップを終了する。
第１ステップ及び第２ステップが終了すると、撮像先端部位置ｆＰと実先端部位置ｒＰとの関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求める第３ステップを行う。
【００３８】
図４は、カメラ座標系、ロボット座標系、フレームバッファ座標系を示したものである。
ロボット座標系Σｒは、据付ベース２に固定された部分を原点とし、原点から見て溶接トーチ１２側を前方向としてＸ軸、左右方向（横方向）をＹ軸、上下方向をＺ軸としたものである。カメラ座標系Σｃは、ＣＣＤカメラ１８を原点とし、光軸方向にＺ軸、撮像面をＸ軸、Ｙ軸に分けたものである。フレームバッファ座標系Σｆは、画像上での座標であり、画像の中心を原点として、左右方向をＸ軸、上下方向をＹ軸としたものである。
【００３９】
ここで、実先端部位置ｒＰ＝（ｒｘ,ｒｙ,ｒｚ）とし、ＣＣＤカメラ１８から見た溶接ロボット１の先端部位置をcＰ＝（ｃｘ,ｃｙ,ｃｚ）とすると、実先端部位置ｒＰとＣＣＤカメラ１８から見た溶接ロボット１の先端部位置との関係は、式（２）となる。
【００４０】
【数２】
【００４１】
溶接ロボット１の先端部位置cＰ＝（ｃｘ,ｃｙ,ｃｚ）をＣＣＤカメラ１８の撮像面に透視変換した位置を（ｃｃｄｘ,ｃｃｄｙ）とすると、溶接ロボット１の先端部位置cＰと、ＣＣＤカメラ１８の撮像面との関係は式（３）となる。
【００４２】
【数３】
【００４３】
さらに、ＣＣＤカメラ１８の撮像面をフレームバッファ（フレームメモリ）の位置、即ち、画像上での位置（撮像先端部位置ｆＰ）に変換すると、式（４）に示すものとなる。ここで、式（４）における（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）が変換パラメータとなる。なお、式（４）におけるＦは、変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）で構成される変換関数である。
【００４４】
【数４】
【００４５】
ここで、実先端部位置ｒＰ、撮像先端部位置ｆＰがｎ個あるときは、これらの関係は式（５）に示すようになるため、変換する式は式（６）に示すように表すことができる。
【００４６】
【数５】
【００４７】
第３ステップでは、例えば、変換関数Ｆは非線形関数なので、ヤコビアン行列を使って反復法により変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求める。このような変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）の算出は、パラメータ算出手段２２にて行う。
変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）の算出後は、得られた変換パラメータを用いて、ロボット座標で表現されたロボット先端部位置（実先端部位置ｒＰ）とカメラ座標で表現されたロボット先端部位置ｃＰとを関係づける変換マトリックスｃｒＴを求める。
【００４８】
次に、第５ステップでは、第４ステップで求めた、変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を用いて、実先端部位置ｒＰをカメラ座標でのロボット先端部位置ｃＰへ変換した上で、カメラ光軸がロボット先端部位置を向くように、ＣＣＤカメラ１８の向きを変更する。
具体的には、まず、実先端部位置ｒＰを、式（２）に基づいてロボット先端部位置ｃＰに変換する。ｃＰは、は直交座標ＸＹＺで表現されているので、これを上下回転θ、左右回転φ、距離ｒとする極座標へ変換する。
【００４９】
その後、直交座標においてｘ＝０，ｙ＝０の条件を満たすように、ＣＣＤカメラ１８を上下回転θおよび左右回転φで回転させることで、カメラ光軸をロボット先端部位置に合わせる。また、カメラからロボット先端部位置までの距離ｒに応じてズームを調整する。同時にピントも調整するとよい。
これらの操作により、ＣＣＤカメラ１８は、常に溶接ロボット１の先端部１２ａ、即ち、溶接アーク光を撮像することにより溶接状況を監視することが可能となる。
【００５０】
第４ステップはマトリックス算出手段２３によって行い、第５ステップは監視撮像手段２４によって行う。
ところで、第１ステップ〜第５ステップについて、例えば、実際に溶接を行うに際し、簡単な溶接を行いながら変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求めるまでの処理（第１ステップ〜第３ステップ）を行い、その後、複雑な溶接を行う際に第４ステップや第５ステップを行うようにしてもよい。
【００５１】
或いは、実際の溶接を行う時に第１ステップ〜第５ステップまでを一挙に行うのではなく、ワーク板に対して実際の溶接を行う前に、予めテスト板を用意して当該テスト板に対して溶接を行いながら第１ステップ〜第３ステップ（変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求めるまでの処理）を行い、その後、実際のワーク板に対して溶接を行う際に第４ステップ及び第５ステップを行ってもよい。
【００５２】
なお、第１ステップ〜第３ステップを行う場合は、テスト板に対して溶接を行う代わりに、溶接ロボット１の先端部にＬＥＤなどの発光体を取り付け、この発光体を溶接アーク光に模して溶接ロボット１を動かして行っても良い。
以上、本発明によれば、ＣＣＤカメラ１８の設置位置が不明な状況下でも、ＣＣＤカメラ１８を用いて正確に溶接状況を把握することができる。また、溶接ロボット１の設置位置が不明な場合でも正確に溶接状況を撮像でき、オペレータは表示装置（モニタ）２５を通じ離れた場所から溶接状況を把握することが可能である。
［第２実施形態］
第１実施形態では、第１ステップにおいて溶接ロボット１の先端部１２ａの画像を得る際にＣＣＤカメラ１８を広角倍率してＣＣＤカメラ１８を動かさないで先端部１２ａを撮像していたが、第２実施形態では、ＣＣＤカメラ１８をパン方向やチルド方向に動かしながら溶接ロボット１の先端部１２ａを撮像している。なお、他のステップについては第１実施形態と同様であるため説明を省略する。
【００５３】
図５は、第２実施形態において第１ステップから第２ステップに至る手順をまとめたものである。
第１実施形態と同様に、位置データの保存数がゼロ（登録数がゼロ）であるとき、予備撮像手段２０による先端部１２ａの画像の取得を開始する（Ｓ１０）。制御装置１７において間隔時間Ｔに達したか否かを判定するためにタイマーをゼロにセットし（Ｓ１１：ｔｉｍｅ＝０）、タイマーをカウントアップして先端部１２ａの画像を撮像する（Ｓ１２）。撮像した画像上における先端部１２ａを検出して撮像先端部位置ｆＰを決定する（Ｓ１３）。次に、撮像先端部位置ｆＰと画像中心（Ｃｘ，Ｃｙ）とのずれ量を算出する（Ｓ１４）。ずれ量は式（７）により求めることができる。
【００５４】
【数６】
【００５５】
ずれ量が予め定められた値（所定値）よりも大きい場合（Ｓ１５，Ｙｅｓ）は、ＣＣＤカメラ１８を動かして（Ｓ１６）、Ｓ１２にて、再び、先端部１２ａの画像を撮像する。このときのＣＣＤカメラ１８の移動量は、ずれ量にゲインパラメータを掛けることにより求める。即ち、ＣＣＤカメラ１８の移動量は、ずれ量を基準として決定する。
ずれ量が予め定められた値（所定値）以下である場合（Ｓ１５，Ｎｏ）は、画像に写り込んだ溶接ロボット１の先端部１２ａが画像の中心にあると判断する。そして、タイマーが間隔時間Ｔを超えているか否かを判断してタイマーが間隔時間Ｔを超えると（Ｓ１７、Ｙｅｓ）、撮像先端部位置ｆＰ及び実先端部位置ｒＰを保存（登録）する（Ｓ１８）。撮像先端部位置ｆＰ及び実先端部位置ｒＰの保存数が予め設定していた登録数を超える（登録数＞ｎ，Ｓ１９，Ｙｅｓ）と、第１ステップ及び第２ステップを終了する。
【００５６】
即ち、第２実施形態においては、画像に写り込んだ溶接ロボット１の先端部１２ａが画像中心になるようにＣＣＤカメラ１８をパン方向又はチルト方向に動かしながら、先端部１２ａを撮像している。
［第３実施形態］
第２実施形態において、第５ステップでは、変換行列によって変換した撮像先端部位置ｆＰが画像上に存在するようにＣＣＤカメラ１８を動かして溶接ロボット１の先端部１２ａを撮像しているが、第３実施形態では、撮像した先端部１２ａが画像中心から大幅にずれた場合は、再度、第１ステップ〜第３ステップをやり直し、変換行列の再計算を行うこととしている。
【００５７】
第５ステップにおいて、ＣＣＤカメラ１８を動かしながら溶接ロボット１の先端部１２ａを撮像するトラッキングをおこなっているときに、図６や式（８）に示すように、溶接ロボット１の先端部１２ａと画像中心との距離Ｄが所定値（Ｄｌｅｎ）以上となったとき、キャリブレーションが必要と判断して、第１実施形態又は第２実施形態に示した第１ステップ及び第２ステップを行うと共に、変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求め直す。
【００５８】
【数７】
【００５９】
即ち、第３実施形態においては、撮像手段１６の画像における撮像先端部位置ｆＰが画像上の所定の位置又は中心位置から所定範囲離れたときに、第１ステップ〜第３ステップまでを再び行うこととしている。
本発明は上記各実施形態に限定されるものではなく、発明の本質を変更しない範囲で各種工程など適宜変更可能である。
【符号の説明】
【００６０】
１ 溶接ロボット
２ 据付ベース
３ 第１リンク部材
４ 第２リンク部材
５ 第３リンク部材
６ 第４リンク部材
７ 第５リンク部材
８ 第６リンク部材
９ 溶接ツール
１０ ロボットコントローラ
１２ 溶接トーチ
１２ａ 先端部
１６ 撮像手段
１７ 制御装置
１８ ＣＣＤカメラ
１９ カメラ移動部
２０ 予備撮像手段
２１ 位置取得手段
２２ パラメータ算出手段
２３ マトリックス算出手段
２４ 監視撮像手段
【技術分野】
【０００１】
本発明は、ＣＣＤカメラ等の撮像手段を用いて溶接ロボットでの溶接状況を監視する溶接状況監視方法及び溶接状況監視装置に関するものである。
【背景技術】
【０００２】
従来より、溶接ロボットにて溶接を行っている際には、ＣＣＤカメラを用いて溶接ロボットの先端部、即ち溶接アーク光や溶融池を撮像し、撮像した溶接アーク光をモニタ上に表示して溶接状況の監視を行っている。このように、溶接状況を監視する溶接状況監視装置として特許文献１に示すものがある。
特許文献１では、溶接ロボットの腕部にＣＣＤカメラを取り付け、このＣＣＤカメラの光軸を溶接ロボットの先端部（溶接アーク光や溶融池等）に向け、当該先端部をＣＣＤカメラにて撮像していた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２３０９５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では、溶接するときに溶接ロボットの姿勢（腕部の姿勢）を変更すると、その姿勢によっては、溶接ロボットの先端部がＣＣＤカメラの死角に入り込み、溶接アーク光や溶融池を撮像できない状況が発生する場合がある。
そこで、ＣＣＤカメラを溶接ロボットの腕部に取り付けるのではなく、溶接ロボットとは別の場所（例えば、天井や壁など）に取り付けることによって死角の問題を解決することが考えられる。
【０００５】
このように、ＣＣＤカメラを溶接ロボットとは別の場所に取り付けた場合、ＣＣＤカメラの設置位置を正確に把握することが必要となる。しかしながら、ＣＣＤカメラの設置位置を正確な３次元座標データとして取得することは、ＣＣＤカメラの取付誤差等の存在から困難な場合がある。このような場合は、溶接ロボットの先端部の位置との位置関係を正確に算出することができず、溶接ロボットの先端部の動きに合わせてＣＣＤカメラを正確に追従して動かすことが難しいのが実情である。
【０００６】
本発明は、問題点に鑑み、撮像手段の設置位置が不明な状況下でも、撮像手段を用いて正確に溶接状況を把握することができる溶接状況監視方法及び溶接状況監視装置を提供するようにしたものである。
【課題を解決するための手段】
【０００７】
前記目的を達成するため、本発明においては以下の技術的手段を講じた。
即ち、本発明における課題解決のための技術的手段は、溶接ロボットの先端部を撮像する撮像手段を設けた上で、当該撮像手段で前記先端部を撮像することによって溶接状況を監視する溶接状況監視方法において、少なくとも前記撮像手段の設置位置が不明な状況下で、溶接ロボットの先端部を撮像し、当該先端部が写り込んだ画像を取得する第１ステップと、前記画像上における先端部の位置である撮像先端部位置ｆＰと、溶接ロボットの先端部の位置である実先端部位置ｒＰとを取得する第２ステップと、前記撮像先端部位置ｆＰと実先端部位置ｒＰとの関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求める第３ステップと、求めた変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を用いて、実先端部位置ｒＰとカメラ座標で表現されたロボット先端部位置ｃＰとを関係づける変換マトリックスｃｒＴを求める第４ステップと、求められた変換マトリックスｃｒＴを用いて、実先端部位置ｒＰをカメラ座標でのロボット先端部位置ｃＰへ変換した上で、当該ロボット先端部位置ｃＰのｘ座標及びｙ座標が０となるように撮像手段をパン又はチルトさせ、溶接状況を監視する第５ステップと、を備えていることを特徴とする。
【０００８】
好ましくは、溶接作業を行う前に、第１ステップ〜第３ステップを行い、実際の溶接作業の際には、第４ステップ，第５ステップを行うとよい。
好ましくは、前記第１ステップにおいては、前記溶接ロボットの先端部が視野に入るように撮像手段を広角倍率に設定しておき、前記撮像手段を動かさないで前記先端部を撮像するとよい。
【０００９】
好ましくは、前記第１ステップにおいては、溶接ロボットの先端部が視野に入るように撮像手段を上下又は左右を動かしながら、前記先端部を撮像するとよい。
好ましくは、前記撮像手段の画像における撮像先端部位置ｆＰが画像上の所定の位置又は中心位置から所定範囲離れたときに、第１ステップ〜第３ステップまでを再び行うとよい。
【００１０】
本発明の他の技術的手段は、溶接ロボットの先端部を撮像する撮像手段を備え、当該撮像手段で前記先端部を撮像することによって溶接状況を監視する溶接状況監視装置において、少なくとも前記撮像手段の設置位置が不明な状況下で、溶接ロボットの先端部を撮像し、当該先端部が写り込んだ画像を取得する予備撮像手段と、前記画像上における先端部の位置である撮像先端部位置ｆＰと、溶接ロボットの先端部の位置である実先端部位置ｒＰとを取得する位置取得手段と、取得した撮像先端部位置ｆＰと実先端部位置ｒＰとの関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求めるパラメータ算出手段と、求めた変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を用いて、実先端部位置ｒＰとカメラ座標で表現されたロボット先端部位置ｃＰとを関係づける変換マトリックスｃｒＴを求めるマトリックス算出手段と、求められた変換マトリックスｃｒＴを用いて、実先端部位置ｒＰをカメラ座標でのロボット先端部位置ｃＰへ変換した上で、当該ロボット先端部位置ｃＰのｘ座標及びｙ座標が０となるように撮像手段をパン又はチルトさせ、溶接状況を監視する監視撮像手段と、を備えていることを特徴とする。
【００１１】
好ましくは、前記予備撮像手段は、前記溶接ロボットの先端部が視野に入るように撮像手段を広角倍率に設定しておき、前記撮像手段を動かさないで前記先端部を撮像するとよい。
好ましくは、前記予備撮像手段は、溶接ロボットの先端部が視野に入るように撮像手段を上下又は左右を動かしながら、前記先端部を撮像するとよい。
【発明の効果】
【００１２】
本発明によれば、撮像手段の設置位置が不明な状況下でも、撮像手段を用いて正確に溶接状況を把握することができる。
【図面の簡単な説明】
【００１３】
【図１】アーク溶接を行う溶接ロボットと、この溶接ロボットでの溶接状況を監視する溶接監視装置とを示したものである。
【図２】（ａ）溶接アーク光を撮像した画像であり、（ｂ）溶接アーク光の位置を検出するための画像（（ａ）の二値化画像）である。
【図３】第１実施形態における第１ステップ及び第２ステップの詳細をまとめたものである。
【図４】カメラ座標系、ロボット座標系、フレームバッファ座標系を示したものである。
【図５】第２実施形態における第１ステップ及び第２ステップの詳細をまとめたものである。
【図６】溶接ロボットの先端部の位置と画像中心との距離Ｄとの関係を示したものである。
【発明を実施するための形態】
【００１４】
［第１実施形態］
以下、本発明の実施の形態を、図面に基づき説明する。
溶接ロボットの溶接状況を監視するにあたっては、ＣＣＤカメラ等を有する撮像手段を溶接ロボットとは離れた位置である天井や壁等に取り付け、ＣＣＤカメラにて溶接ロボットの先端部（溶接アーク光）を撮像することによって行っている。この場合、ＣＣＤカメラを取り付けた設置位置がデータとして得られていないと、溶接ロボットの先端部の位置と撮像した画像上における溶接ロボットの先端部との位置との関係が正確に求められず、溶接ロボットの先端部を動かしたときに、ＣＣＤカメラが先端部の動きに対して追従することができない場合がある。
【００１５】
そこで、本発明では、ＣＣＤカメラの設置位置が分からなくても、溶接ロボットの先端部を動かしたときに追従することができるようにしている。
本発明の溶接状況監視方法及び溶接状況監視装置について詳しく説明する。
図１は、アーク溶接を行う溶接ロボットと、この溶接ロボットでの溶接状況を監視する溶接監視装置とを示したものである。
【００１６】
図１に示すように、溶接ロボット１は、例えば、垂直多関節型の６軸のロボットであって、据付ベース２に近い第１軸Ａから順に、第２軸Ｂ、第３軸Ｃ、第４軸Ｄ、第５軸Ｅ及び第６軸Ｆの回転軸を備える。それぞれの回転軸は、据付ベース２から順に設けられた第１リンク部材３、第２リンク部材４、第３リンク部材５、第４リンク部材６、第５リンク部材７によって接続され、据付ベース２から最も離れていて一端が第６軸Ｆに連結される第６リンク部材８には、溶接を行う溶接ツール９が設けられている。また、溶接ロボット１は、当該溶接ロボットを制御するロボットコントローラ１０を備えている。
【００１７】
このような、溶接ロボット１では、ロボットコントローラ１０からの指令によって多数の回転軸Ａ〜Ｆの周りにリンク部材３〜８を揺動又は回転させることによって溶接ツール９に設けた溶接トーチ１２の向きを変えワークの溶接を行うことができる。
なお、溶接ロボット１は、垂直多関節型の６軸のロボットに限定されない。
一方、この溶接ロボット１を監視する溶接監視装置１５は、撮像手段１６と、制御装置１７とを備えている。
【００１８】
撮像手段１６は、溶接ロボット１から離れた位置、例えば、溶接ロボット１が配置されている部屋の天井や側壁等に取り付けられており、溶接ロボット１の先端部（溶接トーチ１２の先端であって溶接アーク光）を撮像することができるようになっている。なお、溶接ロボット１の先端部を説明の便宜上、単に先端部１２ａとして表現することがある。
具体的には、撮像手段１６は、ＣＣＤカメラ１８と、このＣＣＤカメラ１８の光軸を上下方向（チルト方向）に向けたり左右方向（パン方向）に向けるためのカメラ移動部１９とを備えている。カメラ移動部１９は、制御装置１７からの指令によって作動し、ＣＣＤカメラ１８の光軸を上下方向又は左右方向に向けることができる。カメラ移動部１９は、制御装置１７からの指令によって動作するようになっている。
【００１９】
制御装置１７は、ＣＣＤカメラ１８、カメラ移動部１９を制御するものであり、パソコン等で構成されている。この制御装置１７は、ＣＣＤカメラ１８及びロボットコントローラ１０と信号線やインサーネットケーブル等を介して接続しており、ＣＣＤカメラ１８にて撮像した画像データの取得、ＣＣＤカメラ１８を動かしたときの光軸の位置、画像上での先端部１２ａの位置である撮像先端部位置ｆＰ、実際の先端部１２ａの位置である実先端部位置ｒＰ等を取得することができるようになっている。
【００２０】
また、この制御装置１７には、ＣＣＤカメラ１８やカメラ移動部１９等を制御するためのプログラムが格納されている。このプログラムの処理により、溶接ロボット１の先端部１２ａを撮像し、この先端部１２ａが写り込んだ画像を取得する。画像上における先端部１２ａの位置である「撮像先端部位置ｆＰ」と、溶接ロボット１の先端部１２ａの位置である「実先端部位置ｒＰ」とを取得して、撮像先端部位置ｆＰと実先端部位置ｒＰとの関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）が求められる。変換パラメータは、並進成分であるｘｃ，ｙｃ，ｚｃと、回転成分であるαｃ，βｃ，γｃとで表される。さらに、求めた変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を用いて、実先端部位置ｒＰとカメラ座標で表現されたロボット先端部位置ｃＰとを関係づける変換マトリックスｃｒＴを求める。その後、求められた変換マトリックスｃｒＴを用いて、実先端部位置ｒＰをカメラ座標でのロボット先端部位置ｃＰへ変換した上で、カメラ光軸がロボット先端部位置を向くように、ＣＣＤカメラ１８をパン又はチルトさせ、溶接状況を監視する。言い換えれば、カメラ座標でのロボット先端部位置のｘ座標及びｙ座標が０となるように、ＣＣＤカメラ１８を左右に動かしたり、上下方向に動かしたりする。
【００２１】
このプログラム（制御装置１７内のプログラム）は、主に、予備撮像手段２０、位置取得手段２１、パラメータ算出手段２２、マトリックス算出手段２３、監視撮像手段２４により構成されている。
次に、制御装置１７に格納されたプログラムや当該プログラムによるＣＣＤカメラ１８等の動作について説明する。
【００２２】
まず、予備撮像手段２０は、撮像手段１６の設置位置が不明な状況下においてＣＣＤカメラ１８が撮像した溶接ロボット１の先端部１２ａの画像を取得する。
ここで、撮像手段１６の設置位置が不明な状況下とは、ＣＣＤカメラ１８を溶接ロボット１が存在する部屋の天井や壁に設置したときの設置位置（設置座標）がデータとして得られていない状況である。さらに言い換えると、溶接ロボット１の先端部１２ａの位置をＣＣＤカメラ１８が撮像した画像上での位置に変換するための変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）が分からない状況下であって、ＣＣＤカメラ１８を溶接ロボット１の先端部１２ａの動きに応じて追従させるときに、溶接ロボット１の先端部１２ａをＣＣＤカメラ１８の光軸上に一致させるために必要な変換マトリックスｃｒＴが分からない状況下のことである。
【００２３】
この予備撮像手段２０は、先端部１２ａの画像を取得する前に、オペレータ等がＣＣＤカメラ１８の光軸を先端部１２ａにむけてＣＣＤカメラ１８の位置を固定し、その上でＣＣＤカメラ１８においてズーム倍率を変化させることで広角倍率にして、溶接ロボット１の先端部１２ａを含む広い視野が撮像できるようにする。そして、広角倍率にした状態でＣＣＤカメラ１８を動かさないで先端部１２ａをＣＣＤカメラ１８で撮像する。
【００２４】
位置取得手段２１は、予備撮像手段２０で画像上での先端部１２ａの位置である撮像先端部位置ｆＰを取得すると共に、実際の先端部１２ａの位置である実先端部位置ｒＰを取得する。
具体的には、位置取得手段２１は、予備撮像手段２０で先端部１２ａが写り込んだ画像を取得した際、当該画像を取得したときの実先端部位置ｒＰをロボットコントローラ１０から取得する。また、位置取得手段２１は、後述するように、画像上において写り込んでいる先端部１２ａを抽出して、抽出した先端部１２ａの位置を撮像先端部位置ｆＰとして取得する。そして、位置取得手段２１は、撮像先端部位置ｆＰ及び実先端部位置ｒＰを制御装置１７内に設けられたメモリ等に保存する。
【００２５】
パラメータ算出手段２２は、画像に映り込んだ溶接ロボット１の先端部の位置である「撮像先端部位置ｆＰ」と、溶接ロボット１の先端部の実空間での位置である「実先端部位置ｒＰ」との関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求めるものである。
マトリックス算出手段２３は、変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を用いて、ロボット座標で表現されたロボット先端部位置（実先端部位置ｒＰ）とカメラ座標で表現されたロボット先端部位置ｃＰとを関係づける変換マトリックスｃｒＴを求める。
【００２６】
すなわち、前述したパラメータ算出手段２２により、撮像先端部位置ｆＰと、実先端部位置ｒＰとの関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）が明らかとなっている。加えて、カメラ座標と画像上での座標（フレームバッファ座標）とは、カメラの取り付け位置によらず、その関係は明らかである。それ故、これらの情報を基にすれば、実先端部位置ｒＰとカメラ座標で表現されたロボット先端部位置ｃＰとを関係づける変換マトリックスｃｒＴを一意に求めることができ、マトリックス算出手段２３により、この変換マトリックスｃｒＴを算出している。
【００２７】
監視撮像手段２４は、マトリックス算出手段２３によって求められた変換マトリックスｃｒＴを用いて、実先端部位置ｒＰをカメラ座標でのロボット先端部位置ｃＰへ変換した上で、カメラ光軸がロボット先端部位置を向くように、言い換えれば、カメラ座標でのロボット先端部位置のｘ座標及びｙ座標が０となるように、ＣＣＤカメラ１８を動かし溶接状況を監視する。
【００２８】
このように、制御装置１７に組み込まれたプログラム等を用いて撮像先端部位置ｆＰと実先端部位置ｒＰとの関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求め、その上で、変換マトリックスｃｒＴを求めることで、得られた変換マトリックスｃｒＴを基に、ＣＣＤカメラ１８の設置位置が分からなくても、ＣＣＤカメラ１８を溶接ロボット１の先端部１２ａの動きに確実に追従させることができる。
【００２９】
以下、溶接状況監視方法について詳しく説明する。なお、溶接状況監視方法の説明に合わせてＣＣＤカメラ１８等の動作も説明する。
溶接ロボット１にて溶接を行ったときの溶接状況を監視するには、図１に示すように、溶接開始前に溶接ロボット１が溶接をしたときに先端部１２ａ（溶接アーク光）が見える位置であって天井や壁に取り付けられたＣＣＤカメラ１８を用いる。このＣＣＤカメラ１８の設置位置は、制御装置１７やロボットコントローラ１０には教示されておらず、ＣＣＤカメラ１８の設置位置は分からない状況下である。
【００３０】
次に、溶接を開始する時には、第１ステップとして溶接ロボット１の先端部１２ａを撮像し、先端部１２ａが写り込んだ画像を取得する。この第１ステップでは、溶接ロボット１の先端部１２ａが視野に入るようにＣＣＤカメラ１８を広角倍率に設定しておき、ＣＣＤカメラ１８を動かさないで、溶接ロボット１の先端部１２ａのみを動かして溶接を行い、図２（ａ）に示すような先端部１２ａ（溶接アーク光）が写り込んでいる画像を取得する。このように先端部１２ａの画像を得るのは予備撮像手段２０等によって行う。
【００３１】
そして、先端部１２ａの画像を取得すると、第２ステップでは、まず、画像上における先端部１２ａの位置である撮像先端部位置ｆＰを抽出する。この第２ステップでは、図２（ｂ）に示すように取得した先端部１２ａの画像を２値化し、２値化により抽出された画像において最大面積を有する領域の重心を算出することによって先端部１２ａ（溶接アーク光）の位置を検出する。第２ステップでは、画像上での先端部１２ａ（溶接アーク光）の位置（撮像先端部位置ｆＰ）は、初回はｆＰ１＝（ｆｘ１,ｆｙ１）とする。
【００３２】
また、第２ステップでは、先端部１２ａの画像を取得した際、同時刻の先端部１２ａの位置（画像に対応した先端部１２ａの位置）をロボットコントローラ１０から取得する。 第２ステップでは、先端部１２ａ（溶接アーク光）の３次元空間上の位置（実先端部位置ｒＰ）は、初回はｒＰ１＝（ｒｘ１,ｒｙ１,ｒｚ１）とする。
これによって、画像上での先端部１２ａの撮像先端部位置Ｐｆと３次元空間上の先端部１２ａの実先端部位置Ｐｒとの組合せを得ることができる。
【００３３】
溶接ロボット１の先端部１２ａをＴ秒ごとに動かし、第１ステップ及び第２ステップを繰り返し行うと、式（１）に示すようなｎ個の撮像先端部位置ｆＰと実先端部位置ｒＰとの組合せを得ることができる。このように撮像先端部位置ｆＰと実先端部位置ｒＰとの取得は、位置取得手段２１によって行う。得られた撮像先端部位置ｆＰ及び実先端部位置ｒＰはメモリに保存する。
【００３４】
【数１】
【００３５】
上述した第１ステップ及び第２ステップは、ＣＣＤカメラを固定して先端部１２ａを撮像しているため、各ステップを溶接ロボットで溶接を行いながら行うことが可能であるが、溶接ロボットで溶接を行う前の事前準備として、溶接ロボットを任意で動かして第１ステップ及び第２ステップを行ってもよい。
なお、溶接ロボット１を動かす時間Ｔ（間隔時間）において、間隔時間Ｔが非常に小さいと前後の位置が同じ値となり、変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を上手く求めることができない。一方、間隔時間Ｔが非常に大きいと変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を旨く求めることができるものの、上述したような位置データ（撮像先端部位置ｆＰ、実先端部位置ｒＰ）を取得するのに時間が掛かってしまう。そのため、このようなことを考慮して間隔時間Ｔは、短すぎず長すぎないように適切に設定することが好ましい。なお、溶接ロボット１において溶接する速度は、１分間当たり４０ｃｍであるため、例えば、間隔時間Ｔは１５秒〜６０秒が好ましい。
【００３６】
図３は、第１実施形態における第１ステップと第２ステップとをまとめたものである。
位置データの保存数がゼロ（登録数がゼロ）であるとき、予備撮像手段２０による先端部１２ａの画像の取得を開始する（Ｓ１）。制御装置１７において間隔時間Ｔに達したか否かを判定するために、タイマーをゼロにセットし（Ｓ２：ｔｉｍｅ＝０）、タイマーをカウントアップして先端部１２ａの画像を撮像する（Ｓ３）。先端部１２ａの画像を取得すると、上述したように、位置取得手段２１によって画像上における先端部１２ａを検出して撮像先端部位置ｆＰを決定する（Ｓ4）。
【００３７】
タイマーが間隔時間Ｔを超えると（Ｓ５、ｙｅｓ）、撮像先端部位置ｆＰ及び実先端部位置ｒＰを保存（登録）する（Ｓ６）。撮像先端部位置ｆＰ及び実先端部位置ｒＰの保存数が予め設定していた登録数を超える（登録数＞ｎ，Ｓ７，ｙｅｓ）と、第１ステップ及び第２ステップを終了する。
第１ステップ及び第２ステップが終了すると、撮像先端部位置ｆＰと実先端部位置ｒＰとの関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求める第３ステップを行う。
【００３８】
図４は、カメラ座標系、ロボット座標系、フレームバッファ座標系を示したものである。
ロボット座標系Σｒは、据付ベース２に固定された部分を原点とし、原点から見て溶接トーチ１２側を前方向としてＸ軸、左右方向（横方向）をＹ軸、上下方向をＺ軸としたものである。カメラ座標系Σｃは、ＣＣＤカメラ１８を原点とし、光軸方向にＺ軸、撮像面をＸ軸、Ｙ軸に分けたものである。フレームバッファ座標系Σｆは、画像上での座標であり、画像の中心を原点として、左右方向をＸ軸、上下方向をＹ軸としたものである。
【００３９】
ここで、実先端部位置ｒＰ＝（ｒｘ,ｒｙ,ｒｚ）とし、ＣＣＤカメラ１８から見た溶接ロボット１の先端部位置をcＰ＝（ｃｘ,ｃｙ,ｃｚ）とすると、実先端部位置ｒＰとＣＣＤカメラ１８から見た溶接ロボット１の先端部位置との関係は、式（２）となる。
【００４０】
【数２】
【００４１】
溶接ロボット１の先端部位置cＰ＝（ｃｘ,ｃｙ,ｃｚ）をＣＣＤカメラ１８の撮像面に透視変換した位置を（ｃｃｄｘ,ｃｃｄｙ）とすると、溶接ロボット１の先端部位置cＰと、ＣＣＤカメラ１８の撮像面との関係は式（３）となる。
【００４２】
【数３】
【００４３】
さらに、ＣＣＤカメラ１８の撮像面をフレームバッファ（フレームメモリ）の位置、即ち、画像上での位置（撮像先端部位置ｆＰ）に変換すると、式（４）に示すものとなる。ここで、式（４）における（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）が変換パラメータとなる。なお、式（４）におけるＦは、変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）で構成される変換関数である。
【００４４】
【数４】
【００４５】
ここで、実先端部位置ｒＰ、撮像先端部位置ｆＰがｎ個あるときは、これらの関係は式（５）に示すようになるため、変換する式は式（６）に示すように表すことができる。
【００４６】
【数５】
【００４７】
第３ステップでは、例えば、変換関数Ｆは非線形関数なので、ヤコビアン行列を使って反復法により変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求める。このような変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）の算出は、パラメータ算出手段２２にて行う。
変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）の算出後は、得られた変換パラメータを用いて、ロボット座標で表現されたロボット先端部位置（実先端部位置ｒＰ）とカメラ座標で表現されたロボット先端部位置ｃＰとを関係づける変換マトリックスｃｒＴを求める。
【００４８】
次に、第５ステップでは、第４ステップで求めた、変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を用いて、実先端部位置ｒＰをカメラ座標でのロボット先端部位置ｃＰへ変換した上で、カメラ光軸がロボット先端部位置を向くように、ＣＣＤカメラ１８の向きを変更する。
具体的には、まず、実先端部位置ｒＰを、式（２）に基づいてロボット先端部位置ｃＰに変換する。ｃＰは、は直交座標ＸＹＺで表現されているので、これを上下回転θ、左右回転φ、距離ｒとする極座標へ変換する。
【００４９】
その後、直交座標においてｘ＝０，ｙ＝０の条件を満たすように、ＣＣＤカメラ１８を上下回転θおよび左右回転φで回転させることで、カメラ光軸をロボット先端部位置に合わせる。また、カメラからロボット先端部位置までの距離ｒに応じてズームを調整する。同時にピントも調整するとよい。
これらの操作により、ＣＣＤカメラ１８は、常に溶接ロボット１の先端部１２ａ、即ち、溶接アーク光を撮像することにより溶接状況を監視することが可能となる。
【００５０】
第４ステップはマトリックス算出手段２３によって行い、第５ステップは監視撮像手段２４によって行う。
ところで、第１ステップ〜第５ステップについて、例えば、実際に溶接を行うに際し、簡単な溶接を行いながら変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求めるまでの処理（第１ステップ〜第３ステップ）を行い、その後、複雑な溶接を行う際に第４ステップや第５ステップを行うようにしてもよい。
【００５１】
或いは、実際の溶接を行う時に第１ステップ〜第５ステップまでを一挙に行うのではなく、ワーク板に対して実際の溶接を行う前に、予めテスト板を用意して当該テスト板に対して溶接を行いながら第１ステップ〜第３ステップ（変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求めるまでの処理）を行い、その後、実際のワーク板に対して溶接を行う際に第４ステップ及び第５ステップを行ってもよい。
【００５２】
なお、第１ステップ〜第３ステップを行う場合は、テスト板に対して溶接を行う代わりに、溶接ロボット１の先端部にＬＥＤなどの発光体を取り付け、この発光体を溶接アーク光に模して溶接ロボット１を動かして行っても良い。
以上、本発明によれば、ＣＣＤカメラ１８の設置位置が不明な状況下でも、ＣＣＤカメラ１８を用いて正確に溶接状況を把握することができる。また、溶接ロボット１の設置位置が不明な場合でも正確に溶接状況を撮像でき、オペレータは表示装置（モニタ）２５を通じ離れた場所から溶接状況を把握することが可能である。
［第２実施形態］
第１実施形態では、第１ステップにおいて溶接ロボット１の先端部１２ａの画像を得る際にＣＣＤカメラ１８を広角倍率してＣＣＤカメラ１８を動かさないで先端部１２ａを撮像していたが、第２実施形態では、ＣＣＤカメラ１８をパン方向やチルド方向に動かしながら溶接ロボット１の先端部１２ａを撮像している。なお、他のステップについては第１実施形態と同様であるため説明を省略する。
【００５３】
図５は、第２実施形態において第１ステップから第２ステップに至る手順をまとめたものである。
第１実施形態と同様に、位置データの保存数がゼロ（登録数がゼロ）であるとき、予備撮像手段２０による先端部１２ａの画像の取得を開始する（Ｓ１０）。制御装置１７において間隔時間Ｔに達したか否かを判定するためにタイマーをゼロにセットし（Ｓ１１：ｔｉｍｅ＝０）、タイマーをカウントアップして先端部１２ａの画像を撮像する（Ｓ１２）。撮像した画像上における先端部１２ａを検出して撮像先端部位置ｆＰを決定する（Ｓ１３）。次に、撮像先端部位置ｆＰと画像中心（Ｃｘ，Ｃｙ）とのずれ量を算出する（Ｓ１４）。ずれ量は式（７）により求めることができる。
【００５４】
【数６】
【００５５】
ずれ量が予め定められた値（所定値）よりも大きい場合（Ｓ１５，Ｙｅｓ）は、ＣＣＤカメラ１８を動かして（Ｓ１６）、Ｓ１２にて、再び、先端部１２ａの画像を撮像する。このときのＣＣＤカメラ１８の移動量は、ずれ量にゲインパラメータを掛けることにより求める。即ち、ＣＣＤカメラ１８の移動量は、ずれ量を基準として決定する。
ずれ量が予め定められた値（所定値）以下である場合（Ｓ１５，Ｎｏ）は、画像に写り込んだ溶接ロボット１の先端部１２ａが画像の中心にあると判断する。そして、タイマーが間隔時間Ｔを超えているか否かを判断してタイマーが間隔時間Ｔを超えると（Ｓ１７、Ｙｅｓ）、撮像先端部位置ｆＰ及び実先端部位置ｒＰを保存（登録）する（Ｓ１８）。撮像先端部位置ｆＰ及び実先端部位置ｒＰの保存数が予め設定していた登録数を超える（登録数＞ｎ，Ｓ１９，Ｙｅｓ）と、第１ステップ及び第２ステップを終了する。
【００５６】
即ち、第２実施形態においては、画像に写り込んだ溶接ロボット１の先端部１２ａが画像中心になるようにＣＣＤカメラ１８をパン方向又はチルト方向に動かしながら、先端部１２ａを撮像している。
［第３実施形態］
第２実施形態において、第５ステップでは、変換行列によって変換した撮像先端部位置ｆＰが画像上に存在するようにＣＣＤカメラ１８を動かして溶接ロボット１の先端部１２ａを撮像しているが、第３実施形態では、撮像した先端部１２ａが画像中心から大幅にずれた場合は、再度、第１ステップ〜第３ステップをやり直し、変換行列の再計算を行うこととしている。
【００５７】
第５ステップにおいて、ＣＣＤカメラ１８を動かしながら溶接ロボット１の先端部１２ａを撮像するトラッキングをおこなっているときに、図６や式（８）に示すように、溶接ロボット１の先端部１２ａと画像中心との距離Ｄが所定値（Ｄｌｅｎ）以上となったとき、キャリブレーションが必要と判断して、第１実施形態又は第２実施形態に示した第１ステップ及び第２ステップを行うと共に、変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求め直す。
【００５８】
【数７】
【００５９】
即ち、第３実施形態においては、撮像手段１６の画像における撮像先端部位置ｆＰが画像上の所定の位置又は中心位置から所定範囲離れたときに、第１ステップ〜第３ステップまでを再び行うこととしている。
本発明は上記各実施形態に限定されるものではなく、発明の本質を変更しない範囲で各種工程など適宜変更可能である。
【符号の説明】
【００６０】
１ 溶接ロボット
２ 据付ベース
３ 第１リンク部材
４ 第２リンク部材
５ 第３リンク部材
６ 第４リンク部材
７ 第５リンク部材
８ 第６リンク部材
９ 溶接ツール
１０ ロボットコントローラ
１２ 溶接トーチ
１２ａ 先端部
１６ 撮像手段
１７ 制御装置
１８ ＣＣＤカメラ
１９ カメラ移動部
２０ 予備撮像手段
２１ 位置取得手段
２２ パラメータ算出手段
２３ マトリックス算出手段
２４ 監視撮像手段
【特許請求の範囲】
【請求項１】
溶接ロボットの先端部を撮像する撮像手段を設けた上で、当該撮像手段で前記先端部を撮像することによって溶接状況を監視する溶接状況監視方法において、
少なくとも前記撮像手段の設置位置が不明な状況下で、溶接ロボットの先端部を撮像し、当該先端部が写り込んだ画像を取得する第１ステップと、
前記画像上における先端部の位置である撮像先端部位置ｆＰと、溶接ロボットの先端部の位置である実先端部位置ｒＰとを取得する第２ステップと、
前記撮像先端部位置ｆＰと実先端部位置ｒＰとの関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求める第３ステップと、
求めた変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を用いて、実先端部位置ｒＰとカメラ座標で表現されたロボット先端部位置ｃＰとを関係づける変換マトリックスｃｒＴを求める第４ステップと、
求められた変換マトリックスｃｒＴを用いて、実先端部位置ｒＰをカメラ座標でのロボット先端部位置ｃＰへ変換した上で、当該ロボット先端部位置ｃＰのｘ座標及びｙ座標が０となるように撮像手段をパン又はチルトさせ、溶接状況を監視する第５ステップと、
を備えていることを特徴とする溶接状況監視方法。
【請求項２】
溶接作業を行う前に、第１ステップ〜第３ステップを行い、実際の溶接作業の際には、第４ステップ，第５ステップを行うことを特徴とする請求項１に記載の溶接状況監視方法。
【請求項３】
前記第１ステップにおいては、前記溶接ロボットの先端部が視野に入るように撮像手段を広角倍率に設定しておき、前記撮像手段を動かさないで前記先端部を撮像することを特徴とする請求項１又は２に記載の溶接状況監視方法。
【請求項４】
前記第１ステップにおいては、溶接ロボットの先端部が視野に入るように撮像手段を上下又は左右を動かしながら、前記先端部を撮像することを特徴とする請求項１又は２に記載の溶接状況監視方法。
【請求項５】
前記撮像手段の画像における撮像先端部位置ｆＰが画像上の所定の位置又は中心位置から所定範囲離れたときに、第１ステップ〜第３ステップまでを再び行うことを特徴とする請求項１〜４のいずれかに記載の溶接状況監視方法。
【請求項６】
溶接ロボットの先端部を撮像する撮像手段を備え、当該撮像手段で前記先端部を撮像することによって溶接状況を監視する溶接状況監視装置において、
少なくとも前記撮像手段の設置位置が不明な状況下で、溶接ロボットの先端部を撮像し、当該先端部が写り込んだ画像を取得する予備撮像手段と、
前記画像上における先端部の位置である撮像先端部位置ｆＰと、溶接ロボットの先端部の位置である実先端部位置ｒＰとを取得する位置取得手段と、
取得した撮像先端部位置ｆＰと実先端部位置ｒＰとの関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求めるパラメータ算出手段と、
求めた変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を用いて、実先端部位置ｒＰとカメラ座標で表現されたロボット先端部位置ｃＰとを関係づける変換マトリックスｃｒＴを求めるマトリックス算出手段と、
求められた変換マトリックスｃｒＴを用いて、実先端部位置ｒＰをカメラ座標でのロボット先端部位置ｃＰへ変換した上で、当該ロボット先端部位置ｃＰのｘ座標及びｙ座標が０となるように撮像手段をパン又はチルトさせ、溶接状況を監視する監視撮像手段と、
を備えていることを特徴とする溶接状況監視装置。
【請求項７】
前記予備撮像手段は、前記溶接ロボットの先端部が視野に入るように撮像手段を広角倍率に設定しておき、前記撮像手段を動かさないで前記先端部を撮像することを特徴とする請求項６に記載の溶接状況監視装置。
【請求項８】
前記予備撮像手段は、溶接ロボットの先端部が視野に入るように撮像手段を上下又は左右を動かしながら、前記先端部を撮像することを特徴とする請求項６に記載の溶接状況監視装置。
【請求項１】
溶接ロボットの先端部を撮像する撮像手段を設けた上で、当該撮像手段で前記先端部を撮像することによって溶接状況を監視する溶接状況監視方法において、
少なくとも前記撮像手段の設置位置が不明な状況下で、溶接ロボットの先端部を撮像し、当該先端部が写り込んだ画像を取得する第１ステップと、
前記画像上における先端部の位置である撮像先端部位置ｆＰと、溶接ロボットの先端部の位置である実先端部位置ｒＰとを取得する第２ステップと、
前記撮像先端部位置ｆＰと実先端部位置ｒＰとの関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求める第３ステップと、
求めた変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を用いて、実先端部位置ｒＰとカメラ座標で表現されたロボット先端部位置ｃＰとを関係づける変換マトリックスｃｒＴを求める第４ステップと、
求められた変換マトリックスｃｒＴを用いて、実先端部位置ｒＰをカメラ座標でのロボット先端部位置ｃＰへ変換した上で、当該ロボット先端部位置ｃＰのｘ座標及びｙ座標が０となるように撮像手段をパン又はチルトさせ、溶接状況を監視する第５ステップと、
を備えていることを特徴とする溶接状況監視方法。
【請求項２】
溶接作業を行う前に、第１ステップ〜第３ステップを行い、実際の溶接作業の際には、第４ステップ，第５ステップを行うことを特徴とする請求項１に記載の溶接状況監視方法。
【請求項３】
前記第１ステップにおいては、前記溶接ロボットの先端部が視野に入るように撮像手段を広角倍率に設定しておき、前記撮像手段を動かさないで前記先端部を撮像することを特徴とする請求項１又は２に記載の溶接状況監視方法。
【請求項４】
前記第１ステップにおいては、溶接ロボットの先端部が視野に入るように撮像手段を上下又は左右を動かしながら、前記先端部を撮像することを特徴とする請求項１又は２に記載の溶接状況監視方法。
【請求項５】
前記撮像手段の画像における撮像先端部位置ｆＰが画像上の所定の位置又は中心位置から所定範囲離れたときに、第１ステップ〜第３ステップまでを再び行うことを特徴とする請求項１〜４のいずれかに記載の溶接状況監視方法。
【請求項６】
溶接ロボットの先端部を撮像する撮像手段を備え、当該撮像手段で前記先端部を撮像することによって溶接状況を監視する溶接状況監視装置において、
少なくとも前記撮像手段の設置位置が不明な状況下で、溶接ロボットの先端部を撮像し、当該先端部が写り込んだ画像を取得する予備撮像手段と、
前記画像上における先端部の位置である撮像先端部位置ｆＰと、溶接ロボットの先端部の位置である実先端部位置ｒＰとを取得する位置取得手段と、
取得した撮像先端部位置ｆＰと実先端部位置ｒＰとの関係を示す変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を求めるパラメータ算出手段と、
求めた変換パラメータ（ｘｃ，ｙｃ，ｚｃ，αｃ，βｃ，γｃ）を用いて、実先端部位置ｒＰとカメラ座標で表現されたロボット先端部位置ｃＰとを関係づける変換マトリックスｃｒＴを求めるマトリックス算出手段と、
求められた変換マトリックスｃｒＴを用いて、実先端部位置ｒＰをカメラ座標でのロボット先端部位置ｃＰへ変換した上で、当該ロボット先端部位置ｃＰのｘ座標及びｙ座標が０となるように撮像手段をパン又はチルトさせ、溶接状況を監視する監視撮像手段と、
を備えていることを特徴とする溶接状況監視装置。
【請求項７】
前記予備撮像手段は、前記溶接ロボットの先端部が視野に入るように撮像手段を広角倍率に設定しておき、前記撮像手段を動かさないで前記先端部を撮像することを特徴とする請求項６に記載の溶接状況監視装置。
【請求項８】
前記予備撮像手段は、溶接ロボットの先端部が視野に入るように撮像手段を上下又は左右を動かしながら、前記先端部を撮像することを特徴とする請求項６に記載の溶接状況監視装置。
【図１】
【図３】
【図４】
【図５】
【図２】
【図６】
【図３】
【図４】
【図５】
【図２】
【図６】
【公開番号】特開２０１２−１０６３１７（Ｐ２０１２−１０６３１７Ａ）
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願番号】特願２０１０−２５８０２２（Ｐ２０１０−２５８０２２）
【出願日】平成２２年１１月１８日（２０１０．１１．１８）
【出願人】（０００００１１９９）株式会社神戸製鋼所 (5,860)
【Ｆターム（参考）】
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願日】平成２２年１１月１８日（２０１０．１１．１８）
【出願人】（０００００１１９９）株式会社神戸製鋼所 (5,860)
【Ｆターム（参考）】
[ Back to top ]