溶接部可視化装置
【課題】溶接時に溶融池近辺の溶接状況を高い解像度で可視化できる溶接部可視化装置を提供する。
【解決手段】溶接部可視化装置10は、電子シャッターを備えた高画素CCDカメラ2と高輝度フラッシュランプ4とを備え、フラッシュランプによる溶接部の照明とCCDカメラによる撮影を同期させる。
【解決手段】溶接部可視化装置10は、電子シャッターを備えた高画素CCDカメラ2と高輝度フラッシュランプ4とを備え、フラッシュランプによる溶接部の照明とCCDカメラによる撮影を同期させる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、溶接部可視化装置に関する。
【背景技術】
【0002】
溶接中に溶接状況を監視する技術として、特開平9−225666号の「レーザ溶接のモニタリング装置」、特開2000−196923の「CCDカメラとレーザ照明を用いた発光体の撮像装置」、特開2000−246441の「溶接状況遠隔監視装置」等が提案されている。
また、自動溶接装置として、特開2000−210771の「溶接位置自動倣い制御装置及び被溶接部材の開先部溶接方法」等が提案されている。
【0003】
【特許文献1】特開平9−225666号公報
【特許文献2】特開2000−196923号公報
【特許文献3】特開2000−246441号公報
【特許文献4】特開2000−210771号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
上述した従来の溶接状況監視技術は、溶接中に溶接部を目視で監視できるものの、その画像情報は少なく、溶接状況を推定するには精度が低く、これを用いての自動化は困難であった。そのため、従来の溶接自動制御装置は、上述した従来の溶接状況監視技術やその他の接触式センサ等を利用するものであるが、精度が低くそのため装置が複雑で汎用性が低い問題点があった。
【0005】
言い換えれば、従来の溶接状況監視技術や溶接自動制御装置は、本来最も情報量の豊富な溶融池近辺の映像を十分に利用することができず、精度の高い溶接状況解析ができない問題点があった。
【0006】
本発明は、上述した問題点を解決するために創案されたものである。すなわち本発明の目的は、溶接時に従来見ることができなかった溶融池近辺の溶接状況を高い解像度で可視化することができる溶接部可視化装置を提供することにある。
【課題を解決するための手段】
【0007】
本発明によれば、電子シャッターを備えた高画素CCDカメラと高輝度フラッシュランプとを備え、高輝度フラッシュランプによる溶接部の照明と高画素CCDカメラによる撮影を同期させたことを特徴とする溶接部可視化装置が提供される。
【0008】
この構成の溶接部可視化装置により、溶接部をコントラストの高い高解像度の画像として撮影することができ、溶接時に従来見ることができなかった溶融池近辺の溶接状況を高い解像度で可視化することができる。
【0009】
本発明の好ましい実施形態によれば、前記CCDカメラは、1フレーム分の画像のメモリテーブルへの転送に必要な転送時間Δtを超える間隔で画像を連続的に撮影し画像データを出力する。
この構成により、溶接部を一定の間隔で漏れなく撮影し画像データを出力することができる。
【0010】
突合せ溶接または重ね合わせ溶接において、溶融池を含む溶接部を見た画像をCCDカメラに導く光学系を備える。
この構成により、溶融池を含む溶接部とその周囲を高いコントラストで撮影でき、かつ撮影範囲を被写界深度内に収めることができる。
【発明の効果】
【0011】
本発明によれば、溶接時に従来見ることができなかった溶融池近辺の溶接状況を高い解像度で可視化することができる。
【発明を実施するための最良の形態】
【0012】
以下、本発明の好ましい実施形態を図面を参照して説明する。なお、各図において、共通する部分には同一の符号を付し重複した説明を省略する。
【0013】
1.本発明の溶接部可視化装置は、従来見ることができなかった溶接の状況を、強力なストロボ光源と高速電子シャッターの制御などにより可視化する装置である。
この溶接部可視化装置で得られる溶接の映像を利用して、画像処理によって溶接状態の特徴を抽出し、その結果にもとづいたフィードバックをかける溶接制御装置について検討する。このような溶接制御装置を実現することで、溶接の自動補正や不良品検出といった付加価値の高い溶接ラインを提案することが可能になる。図1に、本発明の溶接部可視化装置10とこれを用いた溶接制御装置20を示す。
【0014】
2.従来型可視化装置を用いた検討
本発明の溶接部可視化装置の開発に先立ち、特開2000−196923で提案したアナログカメラ+パルスレーザ照明型溶接部可視化装置(以下、単に「従来型可視化装置」と呼ぶ)を用いて、YAGレーザ溶接による突合せ溶接時の映像を採取した。またこの映像をもとに、シームトラッキングおよび欠陥検出に関する検討を行った。
【0015】
2.1 映像採取
YAGレーザ溶接の溶接状況を従来型可視化装置を用いて観察し、その様子をDVテープに記録した。また撮影した映像から、無作為に静止画を切り取り、その画像の輝度を数値出力することで、画像の傾向を確認、検討した。さらに画像を縦または横に切断し、そのライン上の輝度分布を検討した。
【0016】
2.2 画像の検討
(1)観察方向について
突合せ溶接を行う際、観察方向を変更した場合に開先がどのように現れるか検討する。
開先(溶接ライン)が横になるよう側面から溶接の様子を観察した映像の画像上のあるラインにおける輝度変化を図2に示す。
図2の丸印で囲った部分が開先に相当する。この図に示されるように、開先は周囲に比較して暗く出現する。また、側面観察の場合、突合せのエッジがレーザ照明を強く反射しており、これを利用して開先位置を推定することができることがわかった。
一方、開先が縦になるよう正面から溶接の様子を観察した正面観察では安定した画像処理を行うほどのコントラストは得られなかった。このことから、画像処理に十分なコントラストを取ることができるよう、照明およびCCDを設置する必要があり、かつ、観察領域全体が被写界深度内に治まるように設計する必要があることがわかる。
【0017】
(2)開先ギャップの検出について
2枚の平板を仮止めをせずに溶接を行った場合に発生するギャップを捉えることができるかどうかを検討した。開先ギャップを横断する輝度グラフを図3に示す。
この図からギャップが発生すると、基本的にはその部分の輝度が下がることがわかる。従って周囲と比較して暗い部分が広がれば開先ギャップがあると判断できる。
【0018】
(3)溶接位置ずれの検出について
開先に対して垂直方向に、−2mmの位置から溶接をスタートさせ、溶接完了時には+2mmの位置になるように溶接ロボットを移動させることで、仮想的に溶接の位置ずれを発生させた。
このような位置ずれを捉えるには、画面上の開先位置を2点以上で捉えて直線を認識し、さらに溶融池がその直線上に存在するかを調べる必要がある。しかし基本的には溶融池は画面上の決まった位置に存在するので、開先を直線として捉えることに注力すればよい。
溶接線を2箇所縦に切断したときの輝度グラフを図4に示す。この2箇所の切断位置における開先位置を結ぶことで、開先を直線として捉えることが可能となる。またこの直線が、画像上の特定の点(溶融池)を通っていないとき、溶接位置ずれが発生していることを表している。
【0019】
(4)ブローホール検出について
ブローホール発生の様子を捉えた画像から、典型的なブローホールが出現する場合に認識は可能である。また一回の溶接でいくつのブローホールが出現したかをカウントすることもできる。ただし、開先検出と比較して、より広い領域を探索しなければならないため、データ処理量が大幅に増える。このため効率的な抽出アルゴリズムを検討する必要がある。
(5)例外画像について
入力画像から特徴量を判定する際、想定している入力画像とまったく異なる画像が入ってくる可能性がある。
このような入力画像に対してシームトラッキングを行った場合、開先の誤認識が発生し、溶接ヘッドは想定外の位置へ移動してしまう可能性がある。そのため、どのような画像が入力されたときに画像処理を開始し、実際にシームトラッキングを行ったり、ブローホールの数をカウントしたりするかを決める必要がある。
例えば、ロボットが自動運転を開始したときに画像処理を開始し、溶融池および開先がある確信度以上で検出されたときにシームトラッキングを開始するのがよい。また、溶接中に非常に外乱の多いフレームが入ってきたときは、処理結果の確信度が低い場合、そのフレームを無視するのがよい。
【0020】
3.本発明の溶接部可視化装置と溶接制御装置の構成
本発明の溶接部可視化装置とこれを用いた溶接制御装置の機器構成を図5に示す。
本発明の溶接部可視化装置10は、高画素デジタルカメラ2とフラッシュランプ4の組み合わせからなる。本発明の溶接部可視化装置10は、ストロボ光源としてパルスレーザのかわりにフラッシュランプ4を使用することで、低コスト、運用性向上を実現した。また本発明の溶接部可視化装置10では、高画素CCD(例えば140万画素)を持つカメラ2を採用する。このカメラ2は、アナログ出力に加え、デジタル出力(例えば1320×1040Pixel、25Hz非圧縮)を備える。
また、溶接制御装置20はこのデジタル出力を用いて画像処理を行う。溶接制御装置20は、カメラ2が出力する高速大容量のデジタル出力を欠落なく取り込み、かつ、欠落なく再現する機能を持つ必要がある。また、画像処理などのデータ処理を高速で実行する機能を持つ必要がある。このような機能を低コストで実現するための溶接制御装置20として以下のものを用いる。
【0021】
(1)画像処理装置(PC):OS:Windows(登録商標)NT4.0、CPU:Pentium(登録商標)4(1.5GHz)、メインメモリ:RDRAM(768MB)
(2)フレームグラバーボード:グラフイン社製IPM8560D(DMA転送機能、ピクセルクロックMax60MHz)
以下、上記の機器を用いてフレーム欠落のない画像取り込み、録画機能を実現する枠組みについて説明する。
【0022】
3.1 リアルタイム画像取り込み機能の実現
溶接制御装置20では、溶接部可視化装置10から溶接状況を画像として取り込み、その画像にもとづいて溶接状況を判定する。ここではまず、リアルタイムで画像を取り込むソフトウェア構成を検討する。なお、リアルタイム画像取り込みとは、カメラ2から送られてきた映像を、フレームの欠落なしに、かつフレームの遅延なしに、メインメモリに取り込むことを意味する。
【0023】
(1)IPM−8560サンプルプログラムによる取り込み処理
図6に、IPM−8560Dを用いた、基本的な画像の取り込みタイミングチャートを示す。以下、画像取り込みソフトウェアの処理流れに沿って、このタイミングチャートの内容を説明する。
(S1)取り込み開始指示
IPM−8560Dのライブラリ「mgGrabberStart」を用いて、1フレーム分の画像を、あらかじめ確保しておいたメモリテーブルに転送する。mgGrabberStartは、取り込み終了を待たずに即座に処理を戻す。
(S2)同期オブジェクトを待つ
あらかじめ設定されている同期オブジェクトは、1フレーム分の取り込みが終了するまで非シグナル状態になる。WaitForSignalObjectは、同期オブジェクトがシグナル状態になるのを待つWIN32APIである。
(S3)ウィンドウ表示処理
メモリテーブルの内容(映像)をPCの画面に表示する。
(S4)メモリテーブルの内容をメインメモリにコピー
画像処理に先立ち、メモリテーブルの内容を、メインメモリにコピーする。
(S5)画像処理
メインメモリの内容を対象に、画像処理を行う。
【0024】
(2)リングバッファによる画像取り込み処理
上述した画像取り込み処理は、IPM8560Dのサンプルプログラムに示される基本的な取り込み処理だが、2フレームのうち1フレームしか取り込めない。そこで、2つ以上のメモリテーブルを併用することで、フレーム欠落のない取り込みを行うこととする。
図7では2枚のメモリテーブルを用い、取り込み回数をカウントし、奇数回目ならばメモリテーブル1へ転送、偶数回目ならばメモリテーブル2へ転送するようにしている。これにより、リアルタイム取り込みが可能となり、また、画像処理などに使える時間も比較的長く(約40msec)確保できる。
【0025】
(3)フレーム欠落への対策
2枚のメモリテーブルを用いたタイミングチャートを実現するアプリケーションを実装し、動作確認を行った。このアプリケーションでは、すべてのフレームを確実に取り込んでいるか確認した。
このアプリケーションで実験を行ったところ、平均して10秒(250回)に1回程度、フレームの欠落が発生した(欠落発生率0.400%)。これは、フレーム間の余裕時間が非常に短いため、同期オブジェクトがシグナル状態に変化したという割り込みを、その短いタイミング中に受けきれなかったことが原因と考えられる。
そこで、1392×1040Pixelのうち、1392×1000Pixelだけ転送するようにして、フレーム間の余裕時間を伸ばして実験を行った。1時間(90000回)の転送を2回行ったところ、どちらもフレーム欠落が1度だけ発生した(欠落発生率0.001%)。このように、画像の必要な範囲との兼ね合いになるが、画像の一部を取り込まないことで、リアルタイム取り込みの確実性を向上させることが可能になる。
【0026】
3.2 リアルタイム録画機能の実現
溶接制御装置20には、観察映像を劣化・欠落なく記録し、繰り返し確認できるような機能を持たせることが必須となる。ここでは、溶接制御装置20の録画機能について検討する。
【0027】
(1)メモリ確保処理
高速・大容量で流れてくる画像データを、劣化・欠落なく記録するためには、メインメモリへの確実な転送が必要となる。ただし、単純にメモリを確保するだけでは、大量のメモリを利用するときに発生するページング処理などのため、リアルタイムでの記録が難しい。
そこで、映像を取り込むプロセスに対して、プロセスのワーキングサイズを増加させ、録画用の領域をメモリにロックすることで、録画時にHDにアクセスしないようにした。これにより、取り込んだ画像をリアルタイムでメモリに記録することが可能となる。
ロックできるメモリは、物理的な主記憶容量に制約される。現状の装置構成では768MBの主記憶を用いているので、上限は768MBである。また、フレームグラバーボードIPM8560Dで管理できるメモリテーブルの容量の上限は512MBである。よって、ロックできる領域は512MBが上限となる。
【0028】
(2)動作確認
512MBのメモリは、約14秒の映像に相当する(1392×1040(Pixel)×25(Hz)×14(秒)=506,688,000Byte)。この装置構成で、14秒の録画を行い、フレーム欠落なく画像をメモリに記録できることを確認した。
ただし、次の録画を始める前にメモリの内容を他のメディア(ハードディスク、MOディスク、CD−Rなど)にコピーし、メモリをクリアする必要がある。
【0029】
4.溶接制御装置による画像採取試験
上述した画像取り込み録画機能を実装した溶接制御装置を用いて、YAGレーザ溶接の状況を観察、採取した。さまざまな条件で、溶接試験を実施した。主な溶接条件は以下の通りである。
(1)溶接手法:突合せ溶接、重ね合わせ溶接(ブローホール検知用)
(2)装置構成:同軸型、単体型
ここで、同軸型は、ミラーなどを組み合わせた治具を用い、溶接部を真上から見たような画像を採取する装置構成のものである。また、単体型は、溶接ヘッドに独立のカメラ2を取り付け、溶接部を斜め方向から覗きこむような映像を採取する装置構成のものである。
(3)溶接方向:画面上水平、垂直、斜め45°
この各画像をもとに、溶接制御装置の自動シームトラッキングシステムと自動欠陥検知システムについて検討する。
【0030】
5.自動シームトラッキングの検討
溶接制御装置による自動シームトラッキング機能について以下に説明する。
5.1 溶接制御装置における処理遅れ
溶接制御装置では、上述したように、実際に発生した事象Aを画像として取り込み、画像処理によりその事象Aを認識するまでに、ある程度時間がかかる。さらに、事象Aの認識結果から、ステージを駆動させるといった駆動系処理を実現するためにも、ある程度時間がかかる。
この遅れは約3フレーム(120msec)程度かかると予想される(画像処理に40msec、ステージ駆動に40msecと仮定した場合)。図8にその様子を示す。
この遅れを吸収するためには、図9に示すように、入力された画像から3フレーム後に発生する事象Aを予測し、前もって補正処理をかける必要がある。
【0031】
5.2 1〜3次元シームトラッキング
1回の溶接でロボットアームが駆動する方向が、1次元(直線)か、2次元(平面)か、3次元(立体)かによって、シームトラッキングが実装すべき機能は異なってくる。図10は1次元〜3次元のシームトラッキングのイメージ図である。以下、1次元〜3次元のシームトラッキングを、次のように規定する。
(A)1次元シームトラッキング
溶融池の位置が常に一定で、溶接方向が常に一定で、開先も基本的に決まった位置に現れる。この場合、数フレーム先の溶融池の位置が予測できるので、この位置と開先位置のずれを検出し、このずれを補正するよう前もって加工ヘッドを移動させる処理を行う。
(B)2次元シームトラッキング
溶融池の位置は常に一定だが、溶接方向が不定で、開先もどの方向に現れるか不定。この場合、数フレーム先の予測が難しいため、現在の溶融池位置に対して開先がどれだけずれているかを算出し、そのずれ量を補正するよう加工ヘッドを移動させる処理を行う。
(C)3次元シームトラッキング
溶融池周辺を斜め方向から観察すると、加工ヘッド・鋼板間の高さにずれが発生したとき、上記(B)に加え、溶融池の位置も不定になる。この場合、2次元の処理に加え、溶融池の位置から加工ヘッドの高さずれ量を算出し、高さ方向にも加工ヘッドを移動させる必要がある。
【0032】
5.3 開先検出処理フロー検討
1次元シームトラッキングを実現する手順は、大きく以下の2つに分けられる。
(A1)3フレーム後の溶融池位置の予測
(A2)画像処理による開先直線の検出
(A1)3フレーム後の溶融池位置は、溶接の間常に固定である。よって、溶接開始時に一度処理すればよい。
(A2)の画像処理による開先直線の検出は、すべての入力画像に対して行われなければならない。よって、画像Aに対する画像処理は、次のフレームの画像Bが入力されるまでの40msec以内に完了する必要がある。
【0033】
シームトラッキング処理手順は以下のとおりである。
(S1)3フレーム後の溶融池位置を算出する
(S2)各フレームごとに入力される画像から、開先直線を検出する
(S3)3フレーム後の溶融池位置から開先直線までのベクトルを算出する
(S4)このベクトルが、溶融池と開先のずれ量を表している。このずれが大きければ、ずれを補正するよう、治具を駆動させる。また、処理結果画像を作成し、ディスプレイ上に表示する。
図11に、上記手順のうち(S2)に相当する開先直線検出フローチャートを示す。
【0034】
5.4 開先検出試験結果
上述したシームトラッキング処理フローを実装した開先検出アプリケーションの画面例を図12に示す。
このアプリケーションを用いて、同軸型溶接部可視化装置(真上から見た画像を採取できる治具を用いた溶接部可視化装置)を用いた観察映像を対象に、開先検出処理試験を行った。その結果、開先が大きく開いていないかぎり、誤認識は発生せず、また、開先の認識率も90%程度と、ほぼ問題ない結果を得ることができた。なお、開先が大きく開いている場合には開先認識率は60%と低い値であった。このような場合には、エラー表示、例えば「開先にギャップが発生して、溶接に失敗した」というように判断することが好ましい。
【0035】
次に、画像処理速度について検討する。
溶接制御装置では、画像のフレーム間隔は40msecであり、すべてのフレームに対して欠落なく画像処理を加えるには、この時間(40msec)内に画像処理を完了させる必要がある。
今回開発したプログラムによる平均画像処理速度は、画像1フレームに対して約20msecであった(Pentium(登録商標)4、1.5GHzの場合)。これは、基本的にすべてのフレームに対して欠落なく画像処理を加えることが可能であることを意味している。
これらの結果から、同軸型の本発明の溶接部可視化装置を用いたYAGレーザ溶接観察では、フレームの欠落なく、90%程度の確率で、開先を検出することが可能である。
【0036】
6.自動欠陥検知の検討
以下、本発明の溶接部可視化装置を用いた自動欠陥検知機能の実現についての検討結果をまとめる。
6.1 ブローホール検知処理
溶接の欠陥の一例として、重ね合わせ溶接時に発生するブローホールが挙げられる。ブローホールが多発した場合、溶接強度が十分でなくなるため、欠陥品として扱われる。
ここで、溶接中に発生したブローホールを検出し、その数をカウントするような欠陥検知システムの処理手順は以下のとおりである。
(S1)ブローホール観察エリアを算出する
(S2)各フレームの画像ごとに、観察エリア上のブローホールの有無を調べる(S3)1回の溶接におけるブローの数をカウントし、オペレータに提示する
ブローホール観察エリアは、溶融池位置、溶接ベクトル、溶接速度、視野範囲などから決定される、フレームごとの重なりがないエリアである。
図13に、ブローホール検知処理フローチャートを示す。
【0037】
ブローホール検知処理フローを実装したブローホール検知アプリケーションによりブローホール検知試験を行った。対象とした画像には4つのブローホールが存在するが、このすべてをブローホールとして認識した。ただし、それ以外に1箇所、ブローホールでない箇所をブローホールとして誤認識した。
このことから、ブローホールには画像処理で捉えることのできる特徴があり、ある程度の精度で検出することが可能と思われる。
【0038】
6.2 開先ギャップ検出処理フロー検討
溶接の欠陥の一例として、突合せ溶接時に開先にギャップが発生し、溶接に失敗するという例が想定される。
ここで、上述した開先検出処理アプリケーションを利用して、開先幅を検出し出力した。この様子を図14に示す。横軸が時間経過(フレーム数)、縦軸が開先の幅(Pixel)である。この図から、140フレーム目付近から徐々に開先幅が広がってきていることが分かる。このように、開先検出が可能な映像ならば、開先幅の推移を捉えることができる。
【0039】
なお、本発明は上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲で種々変更できることは勿論である。
【図面の簡単な説明】
【0040】
【図1】本発明の溶接部可視化装置とこれを用いた溶接制御装置の構成図である。
【図2】側面観察における画像上のあるラインにおける輝度変化を示す図である。
【図3】開先ギャップを横断する輝度グラフを示す図である。
【図4】溶接線を2箇所縦に切断したときの輝度グラフを示す図である。
【図5】本発明の溶接部可視化装置とこれを用いた溶接制御装置の機器構成を示す図である。
【図6】基本的な画像の取り込みタイミングチャートを示す図である。
【図7】2枚のメモリテーブルを用いた画像の取り込みタイミングチャートを示す図である。
【図8】事象Aに対する補正処理の遅れを示す図である。
【図9】事象Aの予測・補正処理を示す図である。
【図10】1次元〜3次元のシームトラッキングのイメージ図である。
【図11】シームトラッキング処理における開先直線検出フロー図である。
【図12】シームトラッキング処理フローによる開先検出の画面例を示すCRT上の中間調画像である。
【図13】ブローホール検知処理フロー図である。
【図14】開先ギャップの検出状態を示す図である。
【符号の説明】
【0041】
2 高画素CCDカメラ、
4 高輝度フラッシュランプ、
6 同軸型光学系、
10 溶接部可視化装置、
12 画像取込み装置、
14 画像処理装置、
16 出力装置、
20 溶接制御装置
【技術分野】
【0001】
本発明は、溶接部可視化装置に関する。
【背景技術】
【0002】
溶接中に溶接状況を監視する技術として、特開平9−225666号の「レーザ溶接のモニタリング装置」、特開2000−196923の「CCDカメラとレーザ照明を用いた発光体の撮像装置」、特開2000−246441の「溶接状況遠隔監視装置」等が提案されている。
また、自動溶接装置として、特開2000−210771の「溶接位置自動倣い制御装置及び被溶接部材の開先部溶接方法」等が提案されている。
【0003】
【特許文献1】特開平9−225666号公報
【特許文献2】特開2000−196923号公報
【特許文献3】特開2000−246441号公報
【特許文献4】特開2000−210771号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
上述した従来の溶接状況監視技術は、溶接中に溶接部を目視で監視できるものの、その画像情報は少なく、溶接状況を推定するには精度が低く、これを用いての自動化は困難であった。そのため、従来の溶接自動制御装置は、上述した従来の溶接状況監視技術やその他の接触式センサ等を利用するものであるが、精度が低くそのため装置が複雑で汎用性が低い問題点があった。
【0005】
言い換えれば、従来の溶接状況監視技術や溶接自動制御装置は、本来最も情報量の豊富な溶融池近辺の映像を十分に利用することができず、精度の高い溶接状況解析ができない問題点があった。
【0006】
本発明は、上述した問題点を解決するために創案されたものである。すなわち本発明の目的は、溶接時に従来見ることができなかった溶融池近辺の溶接状況を高い解像度で可視化することができる溶接部可視化装置を提供することにある。
【課題を解決するための手段】
【0007】
本発明によれば、電子シャッターを備えた高画素CCDカメラと高輝度フラッシュランプとを備え、高輝度フラッシュランプによる溶接部の照明と高画素CCDカメラによる撮影を同期させたことを特徴とする溶接部可視化装置が提供される。
【0008】
この構成の溶接部可視化装置により、溶接部をコントラストの高い高解像度の画像として撮影することができ、溶接時に従来見ることができなかった溶融池近辺の溶接状況を高い解像度で可視化することができる。
【0009】
本発明の好ましい実施形態によれば、前記CCDカメラは、1フレーム分の画像のメモリテーブルへの転送に必要な転送時間Δtを超える間隔で画像を連続的に撮影し画像データを出力する。
この構成により、溶接部を一定の間隔で漏れなく撮影し画像データを出力することができる。
【0010】
突合せ溶接または重ね合わせ溶接において、溶融池を含む溶接部を見た画像をCCDカメラに導く光学系を備える。
この構成により、溶融池を含む溶接部とその周囲を高いコントラストで撮影でき、かつ撮影範囲を被写界深度内に収めることができる。
【発明の効果】
【0011】
本発明によれば、溶接時に従来見ることができなかった溶融池近辺の溶接状況を高い解像度で可視化することができる。
【発明を実施するための最良の形態】
【0012】
以下、本発明の好ましい実施形態を図面を参照して説明する。なお、各図において、共通する部分には同一の符号を付し重複した説明を省略する。
【0013】
1.本発明の溶接部可視化装置は、従来見ることができなかった溶接の状況を、強力なストロボ光源と高速電子シャッターの制御などにより可視化する装置である。
この溶接部可視化装置で得られる溶接の映像を利用して、画像処理によって溶接状態の特徴を抽出し、その結果にもとづいたフィードバックをかける溶接制御装置について検討する。このような溶接制御装置を実現することで、溶接の自動補正や不良品検出といった付加価値の高い溶接ラインを提案することが可能になる。図1に、本発明の溶接部可視化装置10とこれを用いた溶接制御装置20を示す。
【0014】
2.従来型可視化装置を用いた検討
本発明の溶接部可視化装置の開発に先立ち、特開2000−196923で提案したアナログカメラ+パルスレーザ照明型溶接部可視化装置(以下、単に「従来型可視化装置」と呼ぶ)を用いて、YAGレーザ溶接による突合せ溶接時の映像を採取した。またこの映像をもとに、シームトラッキングおよび欠陥検出に関する検討を行った。
【0015】
2.1 映像採取
YAGレーザ溶接の溶接状況を従来型可視化装置を用いて観察し、その様子をDVテープに記録した。また撮影した映像から、無作為に静止画を切り取り、その画像の輝度を数値出力することで、画像の傾向を確認、検討した。さらに画像を縦または横に切断し、そのライン上の輝度分布を検討した。
【0016】
2.2 画像の検討
(1)観察方向について
突合せ溶接を行う際、観察方向を変更した場合に開先がどのように現れるか検討する。
開先(溶接ライン)が横になるよう側面から溶接の様子を観察した映像の画像上のあるラインにおける輝度変化を図2に示す。
図2の丸印で囲った部分が開先に相当する。この図に示されるように、開先は周囲に比較して暗く出現する。また、側面観察の場合、突合せのエッジがレーザ照明を強く反射しており、これを利用して開先位置を推定することができることがわかった。
一方、開先が縦になるよう正面から溶接の様子を観察した正面観察では安定した画像処理を行うほどのコントラストは得られなかった。このことから、画像処理に十分なコントラストを取ることができるよう、照明およびCCDを設置する必要があり、かつ、観察領域全体が被写界深度内に治まるように設計する必要があることがわかる。
【0017】
(2)開先ギャップの検出について
2枚の平板を仮止めをせずに溶接を行った場合に発生するギャップを捉えることができるかどうかを検討した。開先ギャップを横断する輝度グラフを図3に示す。
この図からギャップが発生すると、基本的にはその部分の輝度が下がることがわかる。従って周囲と比較して暗い部分が広がれば開先ギャップがあると判断できる。
【0018】
(3)溶接位置ずれの検出について
開先に対して垂直方向に、−2mmの位置から溶接をスタートさせ、溶接完了時には+2mmの位置になるように溶接ロボットを移動させることで、仮想的に溶接の位置ずれを発生させた。
このような位置ずれを捉えるには、画面上の開先位置を2点以上で捉えて直線を認識し、さらに溶融池がその直線上に存在するかを調べる必要がある。しかし基本的には溶融池は画面上の決まった位置に存在するので、開先を直線として捉えることに注力すればよい。
溶接線を2箇所縦に切断したときの輝度グラフを図4に示す。この2箇所の切断位置における開先位置を結ぶことで、開先を直線として捉えることが可能となる。またこの直線が、画像上の特定の点(溶融池)を通っていないとき、溶接位置ずれが発生していることを表している。
【0019】
(4)ブローホール検出について
ブローホール発生の様子を捉えた画像から、典型的なブローホールが出現する場合に認識は可能である。また一回の溶接でいくつのブローホールが出現したかをカウントすることもできる。ただし、開先検出と比較して、より広い領域を探索しなければならないため、データ処理量が大幅に増える。このため効率的な抽出アルゴリズムを検討する必要がある。
(5)例外画像について
入力画像から特徴量を判定する際、想定している入力画像とまったく異なる画像が入ってくる可能性がある。
このような入力画像に対してシームトラッキングを行った場合、開先の誤認識が発生し、溶接ヘッドは想定外の位置へ移動してしまう可能性がある。そのため、どのような画像が入力されたときに画像処理を開始し、実際にシームトラッキングを行ったり、ブローホールの数をカウントしたりするかを決める必要がある。
例えば、ロボットが自動運転を開始したときに画像処理を開始し、溶融池および開先がある確信度以上で検出されたときにシームトラッキングを開始するのがよい。また、溶接中に非常に外乱の多いフレームが入ってきたときは、処理結果の確信度が低い場合、そのフレームを無視するのがよい。
【0020】
3.本発明の溶接部可視化装置と溶接制御装置の構成
本発明の溶接部可視化装置とこれを用いた溶接制御装置の機器構成を図5に示す。
本発明の溶接部可視化装置10は、高画素デジタルカメラ2とフラッシュランプ4の組み合わせからなる。本発明の溶接部可視化装置10は、ストロボ光源としてパルスレーザのかわりにフラッシュランプ4を使用することで、低コスト、運用性向上を実現した。また本発明の溶接部可視化装置10では、高画素CCD(例えば140万画素)を持つカメラ2を採用する。このカメラ2は、アナログ出力に加え、デジタル出力(例えば1320×1040Pixel、25Hz非圧縮)を備える。
また、溶接制御装置20はこのデジタル出力を用いて画像処理を行う。溶接制御装置20は、カメラ2が出力する高速大容量のデジタル出力を欠落なく取り込み、かつ、欠落なく再現する機能を持つ必要がある。また、画像処理などのデータ処理を高速で実行する機能を持つ必要がある。このような機能を低コストで実現するための溶接制御装置20として以下のものを用いる。
【0021】
(1)画像処理装置(PC):OS:Windows(登録商標)NT4.0、CPU:Pentium(登録商標)4(1.5GHz)、メインメモリ:RDRAM(768MB)
(2)フレームグラバーボード:グラフイン社製IPM8560D(DMA転送機能、ピクセルクロックMax60MHz)
以下、上記の機器を用いてフレーム欠落のない画像取り込み、録画機能を実現する枠組みについて説明する。
【0022】
3.1 リアルタイム画像取り込み機能の実現
溶接制御装置20では、溶接部可視化装置10から溶接状況を画像として取り込み、その画像にもとづいて溶接状況を判定する。ここではまず、リアルタイムで画像を取り込むソフトウェア構成を検討する。なお、リアルタイム画像取り込みとは、カメラ2から送られてきた映像を、フレームの欠落なしに、かつフレームの遅延なしに、メインメモリに取り込むことを意味する。
【0023】
(1)IPM−8560サンプルプログラムによる取り込み処理
図6に、IPM−8560Dを用いた、基本的な画像の取り込みタイミングチャートを示す。以下、画像取り込みソフトウェアの処理流れに沿って、このタイミングチャートの内容を説明する。
(S1)取り込み開始指示
IPM−8560Dのライブラリ「mgGrabberStart」を用いて、1フレーム分の画像を、あらかじめ確保しておいたメモリテーブルに転送する。mgGrabberStartは、取り込み終了を待たずに即座に処理を戻す。
(S2)同期オブジェクトを待つ
あらかじめ設定されている同期オブジェクトは、1フレーム分の取り込みが終了するまで非シグナル状態になる。WaitForSignalObjectは、同期オブジェクトがシグナル状態になるのを待つWIN32APIである。
(S3)ウィンドウ表示処理
メモリテーブルの内容(映像)をPCの画面に表示する。
(S4)メモリテーブルの内容をメインメモリにコピー
画像処理に先立ち、メモリテーブルの内容を、メインメモリにコピーする。
(S5)画像処理
メインメモリの内容を対象に、画像処理を行う。
【0024】
(2)リングバッファによる画像取り込み処理
上述した画像取り込み処理は、IPM8560Dのサンプルプログラムに示される基本的な取り込み処理だが、2フレームのうち1フレームしか取り込めない。そこで、2つ以上のメモリテーブルを併用することで、フレーム欠落のない取り込みを行うこととする。
図7では2枚のメモリテーブルを用い、取り込み回数をカウントし、奇数回目ならばメモリテーブル1へ転送、偶数回目ならばメモリテーブル2へ転送するようにしている。これにより、リアルタイム取り込みが可能となり、また、画像処理などに使える時間も比較的長く(約40msec)確保できる。
【0025】
(3)フレーム欠落への対策
2枚のメモリテーブルを用いたタイミングチャートを実現するアプリケーションを実装し、動作確認を行った。このアプリケーションでは、すべてのフレームを確実に取り込んでいるか確認した。
このアプリケーションで実験を行ったところ、平均して10秒(250回)に1回程度、フレームの欠落が発生した(欠落発生率0.400%)。これは、フレーム間の余裕時間が非常に短いため、同期オブジェクトがシグナル状態に変化したという割り込みを、その短いタイミング中に受けきれなかったことが原因と考えられる。
そこで、1392×1040Pixelのうち、1392×1000Pixelだけ転送するようにして、フレーム間の余裕時間を伸ばして実験を行った。1時間(90000回)の転送を2回行ったところ、どちらもフレーム欠落が1度だけ発生した(欠落発生率0.001%)。このように、画像の必要な範囲との兼ね合いになるが、画像の一部を取り込まないことで、リアルタイム取り込みの確実性を向上させることが可能になる。
【0026】
3.2 リアルタイム録画機能の実現
溶接制御装置20には、観察映像を劣化・欠落なく記録し、繰り返し確認できるような機能を持たせることが必須となる。ここでは、溶接制御装置20の録画機能について検討する。
【0027】
(1)メモリ確保処理
高速・大容量で流れてくる画像データを、劣化・欠落なく記録するためには、メインメモリへの確実な転送が必要となる。ただし、単純にメモリを確保するだけでは、大量のメモリを利用するときに発生するページング処理などのため、リアルタイムでの記録が難しい。
そこで、映像を取り込むプロセスに対して、プロセスのワーキングサイズを増加させ、録画用の領域をメモリにロックすることで、録画時にHDにアクセスしないようにした。これにより、取り込んだ画像をリアルタイムでメモリに記録することが可能となる。
ロックできるメモリは、物理的な主記憶容量に制約される。現状の装置構成では768MBの主記憶を用いているので、上限は768MBである。また、フレームグラバーボードIPM8560Dで管理できるメモリテーブルの容量の上限は512MBである。よって、ロックできる領域は512MBが上限となる。
【0028】
(2)動作確認
512MBのメモリは、約14秒の映像に相当する(1392×1040(Pixel)×25(Hz)×14(秒)=506,688,000Byte)。この装置構成で、14秒の録画を行い、フレーム欠落なく画像をメモリに記録できることを確認した。
ただし、次の録画を始める前にメモリの内容を他のメディア(ハードディスク、MOディスク、CD−Rなど)にコピーし、メモリをクリアする必要がある。
【0029】
4.溶接制御装置による画像採取試験
上述した画像取り込み録画機能を実装した溶接制御装置を用いて、YAGレーザ溶接の状況を観察、採取した。さまざまな条件で、溶接試験を実施した。主な溶接条件は以下の通りである。
(1)溶接手法:突合せ溶接、重ね合わせ溶接(ブローホール検知用)
(2)装置構成:同軸型、単体型
ここで、同軸型は、ミラーなどを組み合わせた治具を用い、溶接部を真上から見たような画像を採取する装置構成のものである。また、単体型は、溶接ヘッドに独立のカメラ2を取り付け、溶接部を斜め方向から覗きこむような映像を採取する装置構成のものである。
(3)溶接方向:画面上水平、垂直、斜め45°
この各画像をもとに、溶接制御装置の自動シームトラッキングシステムと自動欠陥検知システムについて検討する。
【0030】
5.自動シームトラッキングの検討
溶接制御装置による自動シームトラッキング機能について以下に説明する。
5.1 溶接制御装置における処理遅れ
溶接制御装置では、上述したように、実際に発生した事象Aを画像として取り込み、画像処理によりその事象Aを認識するまでに、ある程度時間がかかる。さらに、事象Aの認識結果から、ステージを駆動させるといった駆動系処理を実現するためにも、ある程度時間がかかる。
この遅れは約3フレーム(120msec)程度かかると予想される(画像処理に40msec、ステージ駆動に40msecと仮定した場合)。図8にその様子を示す。
この遅れを吸収するためには、図9に示すように、入力された画像から3フレーム後に発生する事象Aを予測し、前もって補正処理をかける必要がある。
【0031】
5.2 1〜3次元シームトラッキング
1回の溶接でロボットアームが駆動する方向が、1次元(直線)か、2次元(平面)か、3次元(立体)かによって、シームトラッキングが実装すべき機能は異なってくる。図10は1次元〜3次元のシームトラッキングのイメージ図である。以下、1次元〜3次元のシームトラッキングを、次のように規定する。
(A)1次元シームトラッキング
溶融池の位置が常に一定で、溶接方向が常に一定で、開先も基本的に決まった位置に現れる。この場合、数フレーム先の溶融池の位置が予測できるので、この位置と開先位置のずれを検出し、このずれを補正するよう前もって加工ヘッドを移動させる処理を行う。
(B)2次元シームトラッキング
溶融池の位置は常に一定だが、溶接方向が不定で、開先もどの方向に現れるか不定。この場合、数フレーム先の予測が難しいため、現在の溶融池位置に対して開先がどれだけずれているかを算出し、そのずれ量を補正するよう加工ヘッドを移動させる処理を行う。
(C)3次元シームトラッキング
溶融池周辺を斜め方向から観察すると、加工ヘッド・鋼板間の高さにずれが発生したとき、上記(B)に加え、溶融池の位置も不定になる。この場合、2次元の処理に加え、溶融池の位置から加工ヘッドの高さずれ量を算出し、高さ方向にも加工ヘッドを移動させる必要がある。
【0032】
5.3 開先検出処理フロー検討
1次元シームトラッキングを実現する手順は、大きく以下の2つに分けられる。
(A1)3フレーム後の溶融池位置の予測
(A2)画像処理による開先直線の検出
(A1)3フレーム後の溶融池位置は、溶接の間常に固定である。よって、溶接開始時に一度処理すればよい。
(A2)の画像処理による開先直線の検出は、すべての入力画像に対して行われなければならない。よって、画像Aに対する画像処理は、次のフレームの画像Bが入力されるまでの40msec以内に完了する必要がある。
【0033】
シームトラッキング処理手順は以下のとおりである。
(S1)3フレーム後の溶融池位置を算出する
(S2)各フレームごとに入力される画像から、開先直線を検出する
(S3)3フレーム後の溶融池位置から開先直線までのベクトルを算出する
(S4)このベクトルが、溶融池と開先のずれ量を表している。このずれが大きければ、ずれを補正するよう、治具を駆動させる。また、処理結果画像を作成し、ディスプレイ上に表示する。
図11に、上記手順のうち(S2)に相当する開先直線検出フローチャートを示す。
【0034】
5.4 開先検出試験結果
上述したシームトラッキング処理フローを実装した開先検出アプリケーションの画面例を図12に示す。
このアプリケーションを用いて、同軸型溶接部可視化装置(真上から見た画像を採取できる治具を用いた溶接部可視化装置)を用いた観察映像を対象に、開先検出処理試験を行った。その結果、開先が大きく開いていないかぎり、誤認識は発生せず、また、開先の認識率も90%程度と、ほぼ問題ない結果を得ることができた。なお、開先が大きく開いている場合には開先認識率は60%と低い値であった。このような場合には、エラー表示、例えば「開先にギャップが発生して、溶接に失敗した」というように判断することが好ましい。
【0035】
次に、画像処理速度について検討する。
溶接制御装置では、画像のフレーム間隔は40msecであり、すべてのフレームに対して欠落なく画像処理を加えるには、この時間(40msec)内に画像処理を完了させる必要がある。
今回開発したプログラムによる平均画像処理速度は、画像1フレームに対して約20msecであった(Pentium(登録商標)4、1.5GHzの場合)。これは、基本的にすべてのフレームに対して欠落なく画像処理を加えることが可能であることを意味している。
これらの結果から、同軸型の本発明の溶接部可視化装置を用いたYAGレーザ溶接観察では、フレームの欠落なく、90%程度の確率で、開先を検出することが可能である。
【0036】
6.自動欠陥検知の検討
以下、本発明の溶接部可視化装置を用いた自動欠陥検知機能の実現についての検討結果をまとめる。
6.1 ブローホール検知処理
溶接の欠陥の一例として、重ね合わせ溶接時に発生するブローホールが挙げられる。ブローホールが多発した場合、溶接強度が十分でなくなるため、欠陥品として扱われる。
ここで、溶接中に発生したブローホールを検出し、その数をカウントするような欠陥検知システムの処理手順は以下のとおりである。
(S1)ブローホール観察エリアを算出する
(S2)各フレームの画像ごとに、観察エリア上のブローホールの有無を調べる(S3)1回の溶接におけるブローの数をカウントし、オペレータに提示する
ブローホール観察エリアは、溶融池位置、溶接ベクトル、溶接速度、視野範囲などから決定される、フレームごとの重なりがないエリアである。
図13に、ブローホール検知処理フローチャートを示す。
【0037】
ブローホール検知処理フローを実装したブローホール検知アプリケーションによりブローホール検知試験を行った。対象とした画像には4つのブローホールが存在するが、このすべてをブローホールとして認識した。ただし、それ以外に1箇所、ブローホールでない箇所をブローホールとして誤認識した。
このことから、ブローホールには画像処理で捉えることのできる特徴があり、ある程度の精度で検出することが可能と思われる。
【0038】
6.2 開先ギャップ検出処理フロー検討
溶接の欠陥の一例として、突合せ溶接時に開先にギャップが発生し、溶接に失敗するという例が想定される。
ここで、上述した開先検出処理アプリケーションを利用して、開先幅を検出し出力した。この様子を図14に示す。横軸が時間経過(フレーム数)、縦軸が開先の幅(Pixel)である。この図から、140フレーム目付近から徐々に開先幅が広がってきていることが分かる。このように、開先検出が可能な映像ならば、開先幅の推移を捉えることができる。
【0039】
なお、本発明は上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲で種々変更できることは勿論である。
【図面の簡単な説明】
【0040】
【図1】本発明の溶接部可視化装置とこれを用いた溶接制御装置の構成図である。
【図2】側面観察における画像上のあるラインにおける輝度変化を示す図である。
【図3】開先ギャップを横断する輝度グラフを示す図である。
【図4】溶接線を2箇所縦に切断したときの輝度グラフを示す図である。
【図5】本発明の溶接部可視化装置とこれを用いた溶接制御装置の機器構成を示す図である。
【図6】基本的な画像の取り込みタイミングチャートを示す図である。
【図7】2枚のメモリテーブルを用いた画像の取り込みタイミングチャートを示す図である。
【図8】事象Aに対する補正処理の遅れを示す図である。
【図9】事象Aの予測・補正処理を示す図である。
【図10】1次元〜3次元のシームトラッキングのイメージ図である。
【図11】シームトラッキング処理における開先直線検出フロー図である。
【図12】シームトラッキング処理フローによる開先検出の画面例を示すCRT上の中間調画像である。
【図13】ブローホール検知処理フロー図である。
【図14】開先ギャップの検出状態を示す図である。
【符号の説明】
【0041】
2 高画素CCDカメラ、
4 高輝度フラッシュランプ、
6 同軸型光学系、
10 溶接部可視化装置、
12 画像取込み装置、
14 画像処理装置、
16 出力装置、
20 溶接制御装置
【特許請求の範囲】
【請求項1】
電子シャッターを備えた高画素CCDカメラと高輝度フラッシュランプとを備え、高輝度フラッシュランプによる溶接部の照明と高画素CCDカメラによる撮影を同期させたことを特徴とする溶接部可視化装置。
【請求項2】
前記CCDカメラは、1フレーム分の画像のメモリテーブルへの転送に必要な転送時間Δtを超える間隔で画像を連続的に撮影し画像データを出力する、ことを特徴とする請求項1に記載の溶接部可視化装置。
【請求項3】
突合せ溶接または重ね合わせ溶接において、溶融池を含む溶接部を見た画像をCCDカメラに導く光学系を備える、ことを特徴とする請求項1に記載の溶接部可視化装置。
【請求項1】
電子シャッターを備えた高画素CCDカメラと高輝度フラッシュランプとを備え、高輝度フラッシュランプによる溶接部の照明と高画素CCDカメラによる撮影を同期させたことを特徴とする溶接部可視化装置。
【請求項2】
前記CCDカメラは、1フレーム分の画像のメモリテーブルへの転送に必要な転送時間Δtを超える間隔で画像を連続的に撮影し画像データを出力する、ことを特徴とする請求項1に記載の溶接部可視化装置。
【請求項3】
突合せ溶接または重ね合わせ溶接において、溶融池を含む溶接部を見た画像をCCDカメラに導く光学系を備える、ことを特徴とする請求項1に記載の溶接部可視化装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2009−34731(P2009−34731A)
【公開日】平成21年2月19日(2009.2.19)
【国際特許分類】
【出願番号】特願2008−242529(P2008−242529)
【出願日】平成20年9月22日(2008.9.22)
【分割の表示】特願2002−241557(P2002−241557)の分割
【原出願日】平成14年8月22日(2002.8.22)
【出願人】(000000099)株式会社IHI (5,014)
【Fターム(参考)】
【公開日】平成21年2月19日(2009.2.19)
【国際特許分類】
【出願日】平成20年9月22日(2008.9.22)
【分割の表示】特願2002−241557(P2002−241557)の分割
【原出願日】平成14年8月22日(2002.8.22)
【出願人】(000000099)株式会社IHI (5,014)
【Fターム(参考)】
[ Back to top ]