超音波接合監視装置およびその方法
【課題】超音波接合における接合部を外観検査によって精度よく良否判定する。
【解決手段】被検査品の複数の略矩形状の集合よりなる超音波接合による接合打痕を撮影し(S1)、その画像を処理して(S2)、略矩形状を区切る線同士の間隔、二値化画像の白または黒面積、濃淡値を検出して、それらを説明変数とし、接合強度を目的変数とする重回帰式を用いて、被検査品の接合強度を推定する(S3)。また、推定値と基準値を比較して接合状態を判定する(S4)。
【解決手段】被検査品の複数の略矩形状の集合よりなる超音波接合による接合打痕を撮影し(S1)、その画像を処理して(S2)、略矩形状を区切る線同士の間隔、二値化画像の白または黒面積、濃淡値を検出して、それらを説明変数とし、接合強度を目的変数とする重回帰式を用いて、被検査品の接合強度を推定する(S3)。また、推定値と基準値を比較して接合状態を判定する(S4)。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、超音波接合監視装置およびその方法に関し、詳しくは、超音波接合の打痕から接合強度、工具の状態、接合部の破壊形態を推定し、これらの良不良を判定するための超音波接合監視装置およびその方法に関する。
【背景技術】
【0002】
超音波接合は、銅、アルミニウム、ステンレスなどの材料を、同種のもの同士を接合するほか、異なる種類の材料同士をも接合することが可能である。このため、たとえば、電子部品や電池に使用される電気導体接続用の金属薄板や、金属箔の重ね合わせ接合などに利用されている。
【0003】
超音波接合は、作業台(アンビル)と超音波工具(ホーン)の間に、接合対象の金属板を重ね合わせて配置、挟み込み、ホーンにて加圧、超音波振動を与えることにより、板の接触界面にて摩擦、原子拡散により材料の融点以下の低い温度で一体化させる。このため低融点のアルミニウムや、極めて薄い板の接合、異種金属同士の接合が可能なのである。
【0004】
超音波接合では、金属板接合界面に超音波振動をロスなく伝達するために、アンビルとホーンは金属板に食い込むような微細な角錐が縦横に配列した形状をしている。接合が完了すると、接合部の表面にアンビルとホーンの食い込みの痕(接合打痕)が形成される。
形成された接合打痕は碁盤の目状の格子形状の外観を呈している。
【0005】
従来、超音波接合の接合状態を判定する方法として、接合時に生じた打痕を画像解析することで判定することが検討されている。たとえば、打痕の深さ、形状などの外観をカメラなどで画像として取得し、取得した画像をコンピューターで画像処理して、良否を判定する(特許文献1)。
【0006】
この判定方法は、超音波接合工具により金属板表面に形成された碁盤の目状の接合打痕の外観検査において、複数の接合痕の各中心を結んで形成される領域を単位ブロックとし、該単位ブロックで金属板表面の全接合痕に対して連続的に単位ブロック分割処理を施して複数のブロックに分割し、分割された各ブロック内の画素輝度値の平均値と積分値を求め、これら平均値と積分値を任意の順番で数列にし、この数列の変化形状を接合状態良否判定の特徴量としている。
【0007】
なお、その他の文献公知発明としては、特許文献2がある。
【特許文献1】特開2005−3473号公報
【特許文献2】特開2005−205421号公報
【発明の開示】
【発明が解決しようとする課題】
【0008】
接合品質は実用強度で判定されるものである。しかし、従来の方法では、被検査品の外観画像と接合良品の外観画像との差異のみで判定するため、実際には接合強度が十分で良品とされるべきものであっても不良品と判定される場合がある。また逆に、良品と判定されたものでも、実用強度が低く実際には不良品である場合も発生する。このため誤検知が多く発生してしまうという問題があった。
【0009】
本発明の目的は、超音波接合における接合部の外観検査によって接合の良否判定を精度よく行うために、超音波接合の接合強度を推定し、さらにその推定結果から接合状態を判定する超音波接合監視装置およびその方法を提供することである。さらに本発明の他の目的は接合強度を推定して接合状態を判定すると共に、そのときの工具の状態をも推定し、工具状態の良不良までも判定することのできる超音波接合監視装置およびその方法を提供することである。
【課題を解決するための手段】
【0010】
上記課題を解決するための本発明は、基本的に、被検査品の複数の凹凸形状の集合よりなる超音波接合による接合打痕を撮影して得られた画像から、接合強度と相関のあるあらかじめ決められたパラメータを画像処理により求め、接合強度を目的変数とし前記接合強度と相関のあるあらかじめ決められたパラメータを説明変数とする重回帰式を用いて、前記被検査品の接合強度を推定するものである。また、本発明は強度推定を行うと共に、前記得られた画像から、工具の状態と相関のあるあらかじめ決められたパラメータを画像処理により求め、工具の状態を目的変数とし前記工具の状態と相関のあるあらかじめ決められたパラメータを説明変数とする重回帰式を用いて、工具の状態を推定するものである。
【0011】
ここで、接合強度と相関のあるあらかじめ決められたパラメータおよび工具の状態と相関のあるあらかじめ決められたパラメータは、(1)撮影された複数の凹凸形状の集合の画像から前記凹凸形状を区切る第1方向線を検出し、当該検出した第1方向線同士の間隔(第1方向線の間隔)、(2)第1方向線と異なる方向の前記凹凸形状を区切る第2方向線を検出し、当該検出した第2方向の線同士の間隔(第2方向線の間隔)、(3)前記画像を所定のしきい値により二値化画像として当該二値化画像の白部分面積または黒部分面積、前記画像の多値階調画像から平均濃淡階調値、(4)前記画像を任意の領域に分割して、各領域ごとに求めた第1方向線の間隔、同じく各領域ごとに求めた第2方向線の間隔、各領域ごとに求めた二値化画像の白部分面積または黒部分面積、(5)各領域ごとに求めた平均濃淡階調値、(6)さらにこれら各領域ごとのパラメータの各領域間における偏重度合いである。そして、これらのパラメータは、単独で説明変数として用いてもよいし、複数のパラメータを合わせてそれぞれ説明変数として用いてもよい。つまり、これらのパラメータのうち少なくとも一つのパラメータを説明変数として用いる。
【0012】
このような上記課題を解決するための本発明は具体的には以下のとおりである。
【0013】
上記課題を解決するための本発明は、被検査品の複数の凹凸形状の集合よりなる超音波接合による接合打痕を撮影する撮影手段と、前記撮影手段より得られた前記複数の凹凸形状の集合の画像から前記凹凸形状を区切る第1方向線を検出し、当該検出した第1方向線同士の間隔(第1方向線の間隔)を求める画像処理手段と、接合強度を目的変数とし前記第1方向線の間隔を説明変数とする重回帰式を用いて、前記被検査品の接合強度を推定する強度推定手段と、を有することを特徴とする超音波接合監視装置である。
【0014】
また、上記課題を解決するための本発明は、被検査品の複数の凹凸形状の集合よりなる超音波接合による接合打痕を撮影する撮影手段と、前記撮影手段より得られた前記複数の凹凸形状の集合の画像を所定のしきい値により二値化画像として、当該二値化画像の白部分面積または黒部分面積を求める画像処理手段と、接合強度を目的変数とし前記二値化画像の白部分面積または黒部分面積を説明変数とする重回帰式を用いて、前記被検査品の接合強度を推定する強度推定手段と、を有することを特徴とする超音波接合監視装置である。
【0015】
また、上記課題を解決するための本発明は、被検査品の複数の凹凸形状の集合よりなる超音波接合による接合打痕を撮影する撮影手段と、前記撮影手段より得られた前記複数の凹凸形状の集合の画像の多値階調画像から平均濃淡階調値を求める画像処理手段と、接合強度を目的変数とし前記平均濃淡階調値を説明変数とする重回帰式を用いて、前記被検査品の接合強度を推定する強度推定手段と、を有することを特徴とする超音波接合監視装置である。
【0016】
また、上記課題を解決するための本発明は、被検査品の複数の凹凸形状の集合よりなる超音波接合による接合打痕を撮影する撮影手段と、前記撮影手段より得られた前記複数の凹凸形状の集合の画像から、(1)凹凸形状を区切る第1方向線および前記第1方向線と異なる方向の前記凹凸形状を区切る第2方向線を検出し、画像全体の第1方向の線同士の間隔(第1方向線の間隔)および第2方向の線同士の間隔(第2方向線の間隔)を求め、(2)所定のしきい値により二値化画像として、当該二値化画像の白部分面積または黒部分面積を求め、(3)前記画像を任意の領域に分割し、各領域ごとに前記二値化画像の白部分面積または黒部分面積、および各領域間における白部分面積または黒部分面積の偏重度合いを求め、(4)前記画像の多値階調画像から平均濃淡階調値を求める、画像処理手段と、接合強度を目的変数とし、画像全体の前記第1方向線の間隔および前記第2方向線の間隔、各領域ごとの前記第1方向線の間隔および前記第2方向線の間隔、各領域間の偏重度合い、画像全体の前記二値化画像の白部分面積または黒部分面積、各領域ごとの前記二値化画像の白部分面積または黒部分面積、各領域ごとの前記二値化画像の白部分面積または黒部分面積の偏重度合い、および前記平均濃淡階調値を説明変数とする重回帰式を用いて、前記被検査品の接合強度を推定する強度推定手段と、を有することを特徴とする超音波接合監視装置である。
【0017】
また、上記課題を解決するための本発明は、得られた接合強度の推定値と、あらかじめ決められている基準値とを比較して、接合強度の良不良を判定する判定手段を有することを特徴とする超音波接合監視装置である。
【0018】
また、上記課題を解決するための本発明は、被検査品の複数の凹凸形状の集合よりなる超音波接合による接合打痕を撮影する段階と、前記撮影により得られた前記複数の凹凸形状の集合の画像から凹凸形状を区切る第1方向線を検出し、当該検出した第1方向線同士の間隔(前記第1方向線の間隔)を求める段階と、接合強度を目的変数とし前記第1方向線の間隔を説明変数とする重回帰式を用いて、前記被検査品の接合強度を推定する段階と、を有することを特徴とする超音波接合監視方法である。
【0019】
また、上記課題を解決するための本発明は、被検査品の複数の凹凸形状の集合よりなる超音波接合による接合打痕を撮影する段階と、前記撮影により得られた前記複数の凹凸形状の集合の画像を所定のしきい値により二値化画像として、当該二値化画像の白部分面積または黒部分面積を求める段階と、接合強度を目的変数とし前記二値化画像の白部分面積または黒部分面積を説明変数とする重回帰式を用いて、前記被検査品の接合強度を推定する段階と、を有することを特徴とする超音波接合監視方法である。
【0020】
また、上記課題を解決するための本発明は、被検査品の複数の凹凸形状の集合よりなる超音波接合による接合打痕を撮影する段階と、前記撮影により得られた前記複数の凹凸形状の集合の画像の多値階調画像から平均濃淡階調値を求める段階と、接合強度を目的変数とし前記平均濃淡階調値を説明変数とする重回帰式を用いて、前記被検査品の接合強度を推定する段階と、を有することを特徴とする超音波接合監視方法である。
【0021】
また、上記課題を解決するための本発明は、被検査品の複数の凹凸形状の集合よりなる超音波接合による接合打痕を撮影する段階と、前記撮影により得られた前記複数の凹凸形状の集合の画像から、(1)凹凸形状を区切る第1方向線および前記第1方向線と異なる方向の前記凹凸形状を区切る第2方向線を検出し、画像全体の第1方向の線同士の間隔(第1方向線の間隔)および第2方向の線同士の間隔(第2方向線の間隔)を求め、(2)所定のしきい値により二値化画像として、当該二値化画像の白部分面積または黒部分面積を求め、(3)前記画像を任意の領域に分割し、各領域ごとに前記二値化画像の白部分面積または黒部分面積、および各領域間における白部分面積または黒部分面積の偏重度合いを求め、(4)前記画像の多値階調画像から平均濃淡階調値を求める段階と、接合強度を目的変数とし、画像全体の前記第1方向線の間隔および前記第2方向線の間隔、各領域ごとの前記第1方向線の間隔および前記第2方向線の間隔、各領域間の偏重度合い、画像全体の前記二値化画像の白部分面積または黒部分面積、各領域ごとの前記二値化画像の白部分面積または黒部分面積、各領域ごとの前記二値化画像の白部分面積または黒部分面積の偏重度合い、および前記平均濃淡階調値を説明変数とする重回帰式を用いて、前記被検査品の接合強度を推定する段階と、を有することを特徴とする超音波接合監視方法である。
【0022】
また、上記課題を解決するための本発明は、得られた接合強度の推定値と、あらかじめ決められている基準値とを比較して、接合強度の良不良を判定することを特徴とする超音波接合監視方法である。
【0023】
また、本発明の超音波接合監視装置は、超音波接合を行う工具の状態を目的変数とし前記二値化画像の白部分面積または黒部分面積を説明変数とする重回帰式を用いて、前記工具の状態を推定する工具状態推定手段を、さらに有する。
【0024】
また、本発明の超音波接合監視装置は、超音波接合を行う工具の状態を目的変数とし前記平均濃淡階調値を説明変数とする重回帰式を用いて、前記工具の状態を推定する工具状態推定手段を、さらに有する。
【0025】
また、本発明の接合強度推定方法は、前記二値化画像の白部分面積または黒部分面積を求める段階の後、超音波接合を行う工具の状態を目的変数とし前記二値化画像の白部分面積または黒部分面積を説明変数とする重回帰式を用いて前記工具の状態を推定する段階を、さらに有する。
【0026】
また、本発明の接合強度推定方法は、前記平均濃淡階調値を求める段階の後、超音波接合を行う工具の状態を目的変数とし前記平均濃淡階調値を説明変数とする重回帰式を用いて、前記工具の状態を推定する段階を、さらに有する。
【0027】
また、本発明の接合強度判定方法は、接合強度推定方法によって得られた接合強度の推定値とあらかじめ決められている基準値とを比較して接合強度の良不良を判定すると共に、前記推定された工具の状態とあらかじめ決められている工具の状態の基準とを比較して工具の状態が超音波接合可能な状態か否かを判定するを有する。
【0028】
また、本発明の接合強度判定装置は、超音波接合監視装置によって得られた接合強度の推定値とあらかじめ決められている基準値とを比較して接合強度の良不良を判定すると共に、前記工具状態推定手段によって前記推定された工具の状態とあらかじめ決められている工具の状態の基準とを比較して工具の状態が超音波接合可能な状態か否かを判定する判定手段を有する。
【発明の効果】
【0029】
以上のように構成された本発明によれば、超音波接合の接合部の外観検査によって、精度よく接合強度を推定することができる。そして、この推定値を用いて良否判定を行うことで超音波接合品の良否判定を高精度で行うことができる。
【0030】
また、本発明によれば、超音波接合品の良否判定とともに、工具の状態を推定して、超音波接合を行える状態か否かを判定することができる。
【0031】
さらに本発明によれば、接合部の破壊状態を推定することができる。
【発明を実施するための最良の形態】
【0032】
以下、図面を参照して本発明を実施するための最良の形態について説明する。
【0033】
(実施形態1)
図1は、本発明を適用した超音波接合監視装置の構成を説明するためのブロック図である。
【0034】
この超音波接合監視装置は、被検査品100の接合部分の打痕を撮影するためのカメラ1と、カメラ1によって撮影された打痕画像を画像処理し、接合強度の推定および判定を行うコンピューター2とからなる。ここでカメラ1は撮影手段であり、コンピューター2は画像処理手段、強度推定手段、判定手段となる。
【0035】
カメラ1については、静止画を撮影できるものであればよく特に限定されない(動画撮影用の機材を用いてもよいが、必要な画像は静止画である)。接合部の画像を取得する工程で、カメラ1に使用されるレンズは接合打痕の画像を歪みなく撮影できるものであればどのようなものであってもよい。一例を挙げれば、テレセントリックレンズを用いることにより歪みのない(非常に少ない)画像を得ることができ好ましい。
【0036】
コンピューター2は、パソコン、ワークステーションなどと称されているもの、あるいは、シーケンサなどと称されているコンピューターなどであり、後述する処理手順を行うために作成されたプログラムを実行できるものであればよい。
【0037】
また、カメラ1で撮影する際に打痕部分を照明するための照明器具3が備えられている。なお、カメラ1で撮影する際には、この照明器具3からの光の方向、照度、色、などが変化しないように注意すべきである。具体的には、たとえば、被検査品である金属表面の反射率が高い打痕には擬似同軸落斜照明を、金属表面の反射率が低い打痕には拡散照明を用いることが好ましい。これは、擬似同軸落斜照明を用いた場合、金属表面で正反射する部分(たとえば山形状の頂点部分や谷底の広い平坦部など)が明るく映り、平坦部の少ない谷底や斜面などは暗く写るため、これらのコントラストが強調された画像を得ることができる。しかし、反射率の低い金属表面で擬似同軸落斜照明を用いると逆に山谷の差がみわけづらくなるので、拡散照明により全体を均一に照明する方が好ましい。
【0038】
また、照明の波長、使用する照明の色は打痕の格子が識別できる色(波長)であれば特に限定されない。たとえば、好ましくは300〜1100ナノメートル、より好ましくは350〜520ナノメートルの波長の照明を使用することにより接合強度の推定に際し、打痕の凹凸形状を判別しやすくなる。また、これらの波長を使用した場合には、使用する照明の色以外の外部の光を遮断するレンズフィルターを使用することにより、接合強度を推定しやすい画像を得ることができる。
【0039】
超音波接合される素材としては、たとえば、金属板である。具体的には、アルミニウム、銅、ニッケルの単体あるいは当該金属板に表面処理を施した材料などである。これら金属板表面は、その反射率が高いものとしては、銅、ニッケルである。また、表面にメッキ光沢処理を施したものでも推定および判定可能である。逆に表面の反射率が低い金属としてはアルミニウムがある。また、表面に酸化皮膜処理を施して反射率を低くしたものであっても接合強度を推定し判定することができる。
【0040】
これらの金属板の板厚は、たとえば0.001ミリメートルから5ミリメートルの範囲のものがよく使用される。したがって、このような厚さの金属板の接合強度の推定および判定を行うことができる。もちろんその他の厚さであっても後述する重回帰式さえ得られれば板厚については特に限定されるものではない。
【0041】
図2は、接合強度を判定するための処理手順を示すフローチャートである。
【0042】
まずは、作業員が接合部分をカメラ1の撮影位置にセットする。
【0043】
その後、コンピューター2の処理を実行させる。
【0044】
まず、コンピューター2、カメラ1に対して接合部分の打痕を撮影させ、その画像を取り込む(S1)。取り込んだ画像はコンピューター2内に記憶される。
【0045】
この画像を取得する段階では、打痕画像の位置ズレを補正するとよい。たとえば、位置ズレを補正する機能を被検査品を載置するステージ(不図示)に設け、水平方向の位置ズレは、あらかじめ品種ごとに接合打痕を認識する位置を記憶させておき、品種ごとの座標データを画像処理に用いることで位置ズレの補正を行うことができる。同様に垂直方向の位置ズレは、あらかじめ垂直変位量を確認しておき、垂直変位量の範囲内に被写界深度を持つレンズを用いることにより行うことができる。
【0046】
また、他の方法として、水平、垂直方向の位置ズレは、外部よりワーク位置を計測するセンサーで垂直または水平方向のいずれかまたは両方の変位量を計測し、当該変位量に応じて撮影装置、照明、接合部の位置を調整するようにしてもよい。この場合、ワーク位置を計測するセンサーからの電気信号に応じて、その信号に対応した変位量を、電動にて可変し、撮影装置、照明、接合部の位置を自動で補正できるようにすることが好ましい。もちろん撮影保存した画像を画像処理の前段階でコンピューター内で水平方向の位置ズレを補正する手段を用いてもよい。
【0047】
次いでコンピューター2は、取り込んだ画像を下記のように画像処理する(S2)。この画像処理は、後述判定処理の際の説明変数(特徴量)を得るためのものである。なお、この説明変数を求めるための画像処理については後述する。
【0048】
次に、コンピューター2は得られた説明変数をあらかじめ記憶されている重回帰式に代入することで、接合強度を推定する(S3)。重回帰式はあらかじめ重回帰分析により求めておいたものである(詳細後述)。
【0049】
そして、コンピューター2は、得られた接合強度の推定値と、あらかじめ記憶されている判定基準値と比較して、接合の良否判定を行う(S4)。判定基準値は、製品により異なる。そして、推定値が判定基準値以上であれば良品、判定基準値未満であれば不良品とすればよい。
【0050】
図3は、接合打痕の例を説明する模式図であり、(a)は打痕部分の斜視図、(b)は打痕部分を撮影して取得した画像の模式図である。また、図4〜図8は、画像処理例を説明するための説明図である。
【0051】
超音波接合した被検査品100は、たとえば、図3(a)に示すように、2枚の薄板102、103を重ね合わせて接合したものであり、そこに現れる打痕は、複数の凹凸形状の集合体となる。これは、超音波接合の特徴で、超音波接合装置のホーンとアンビルに設けられている凹凸面の形状が、接合された部分にそれらの痕として現れたものである。したがって、ホーンの凸部が被検査品100に食い込んでできた部分が打痕として凹部(ここでは略矩形状101)となり、凹部同士の間が凸部101’ということになる。そして、コンピューター2が取り込んだ打痕の画像は、図3(b)に示すように、複数の略矩形状101を含む凹凸形状の集合体を上方から撮影したものである。
【0052】
なお、このような打痕は、図3に示したような略矩形状のほか、ホーンとアンビルに設けられている凹凸の形状によって異なり、一つひとつ凹凸が円や楕円などの場合もある。また、集合体全体として図示したような四角形以外にも、全体が円や楕円の形状と成っているものもある。また、凹凸の数や大きさは、用いる超音波接合装置および工具によって異なる。ただし、得られる打痕画像は、凹凸の形状や、数、大きさが違っていても、基本的に、凹凸形状の集合体であることに変わりはない。以下、本実施形態では、打痕の凹凸形状は、図示した略矩形形状のものを例に説明する。
【0053】
画像処理は、取り込んだ画像に対して、下記の処理例のごとき画像処理を行うものである。なお、以下で説明する各処理は、それらを実行できる画像処理ソフトを使用すればよく、そのソフトは限定されない。
【0054】
図4に示した処理例は、打痕の画像内における一つひとつの略矩形状101から略矩形状101の凹凸の区切り線を検出して、これを縦方向(第1方向)および横方向(第2方向)にそれぞれ接続したものである(縦区切り線201および横区切り線202)。
【0055】
そして、これら各区切り線(201、202)の略矩形状101をはさむ間隔(これを打痕の幅という)が、それぞれ縦区切り線の間隔(横幅Lx)および横区切り線の間隔(縦幅Ly)隣、これが打痕画像から得られるパラメータとなる。ここで、この打痕の幅は、その横幅または縦幅の少なくともいずれか一方が超音波加振方向と一致する方向である。
【0056】
なお、区切り線を検出するための画像処理は、たとえば、一つひとつの略矩形状101のエッジを検出したり、エッジとエッジの間(等分)を区切り線とするなどさまざまであり、特に限定されるものではない。
【0057】
ここで、各区切り線の間隔を求める際には、図4に示したように、1つの打痕画像全体から求めてもよい。
【0058】
また、図5に示すように、たとえば、1つの打痕画像を3分割して(領域1〜3、および4〜6)、それぞれの領域ごとに各区切り線の間隔(打痕の幅)を求めるようにしてもよい。このような分割を行う理由は、一つの打痕(複数の略矩形状の集合体)において、接合状態が違う場合に、一つの打痕内における接合状態の違いを求めることが可能となるためである。この分割のとき、各分割領域の一部を重ねることで、各領域の連続性を保つことができる。
【0059】
なお、図5(a)は縦方向に3分割した例であり、この場合、縦区切り線201の間隔Lxを領域ごとに求める。一方、図5(b)は、横方向に3分割した例であり横区切り線202の間隔Lyを領域ごとに求める。なお、分割数については3分割に限らず、たとえば2分割ないし50分割、好ましくは3分割ないし36分割などである。ただし、あまりにも細かいと隣接する分割領域で間隔の差がほとんどなくなり、分割の意味がない。したがって、略矩形状101の大きさや数などにより適宜調整するとよい。
【0060】
このように分割した場合、さらに各領域間の偏重度合いを求めてそれを説明変数としてもよい。この偏重度合いも打痕画像から得られるパラメータである。具体的には縦線の間隔Lxにおいては、縦方向に3分割の場合、各領域における間隔の平均値として、領域(1)をLx1、領域(2)をLx2、領域(3)をLx3、領域(4)をLx4、領域(5)をLx5、領域(6)をLx6とすると、
Lx偏重度合い=((Lx1+Lx2)−(Lx2+Lx3))/((Lx1+Lx2)+(Lx2+Lx3)) …(1)
となる。同様に横線の間隔Lyの場合は、
Ly偏重度合い=((Ly4+Ly5)−(Ly5+Ly6))/((Ly4+Ly5)+(Ly5+Ly6)) …(2)
となる。
【0061】
なお、得られた画像の凹凸形状の集合における端の部分(図4の点線で囲んだ部分200)は、実際の画像においては正確な矩形形状とならず、区切り線を正確に矩形形状の端に設定することができない場合がある。このため間隔を求める際には、点線で囲んだ部分200の区切り線(201’、202’)は間隔の算出に使用しないようにしてもよい。
【0062】
次に、図6に示した処理例は、取り込んだ画像を所定のしきい値によって二値化階調値の画像(二値化画像)にしたものである。そして、得られた二値化画像の白領域または黒領域の面積(すなわち、画素の数)を求める。ここでは得られた二値化画像の白領域または黒領域の面積が打痕画像から得られるパラメータとなる。
【0063】
カメラ1によって撮影された画像は、白黒多階調画像またはカラー画像である。図6に示した例では、同じ白黒多階調画像を、二値化のしきい値として階調値240(図6(a))と、階調値200(図6(b))でそれぞれ二値化画像にしたものである。図からわかるとおり、しきい値として用いる階調値によって白領域または黒領域の面積が異なる。そこで、この二値化のしきい値を複数設定して、それぞれのしきい値ごとに白領域または黒領域の面積を求めてもよい。そして、求めた面積を説明変数として接合強度を推定する。
【0064】
なお、一つの検査品に対して複数のしきい値により二値化することはかまわないが、複数の被検査品に対しては同じしきい値を用いる必要がある。
【0065】
また、この面積による接合強度の推定においても、複数の領域に分けてそれぞれの白領域または黒領域の面積を求めて接合強度を推定することとしてもよい。図7は9分割した例を示し、図8は5分割した例を示す。なお図7、8において(a)は階調値200をしきい値とした二値化画像に、各分割領域を重ね合わせた図面であり、(b)は各分割領域のみ示した図面である。
【0066】
このように分割した各領域ごとに白領域または黒領域の面積を求める。分割した場合には、さらに面積だけでなく、各領域における面積の割合の偏重度合いを説明変数としてもよい。
【0067】
偏重度合いは、たとえば、9分割の場合、上下偏重度合い、左右偏重度合い、第1斜め偏重度合い、第2斜め偏重度合い、中心偏重度合いなどを求めることができる。
【0068】
具体的には、下記の式のようになる。以下式中(1)、(2)、…などは図7に示した各領域の白領域または黒領域の面積をあらわすものとする。
【0069】
上下偏重度合い=(((1)+(2)+(3))−((7)+(8)+(9)))/(((1)+(2)+(3))+((7)+(8)+(9))) …(3)
左右偏重度合い=(((1)+(4)+(7))−((3)+(6)+(9)))/(((1)+(4)+(7))+((3)+(6)+(9))) …(4)
第1斜め偏重度合い=(((2)+(3)+(6))−((4)+(7)+(8)))/(((2)+(3)+(6))+((4)+(7)+(8))) …(5)
第2斜め偏重度合い=(((1)+(2)+(4))−((6)+(8)+(9)))/(((1)+(2)+(4))−((6)+(8)+(9))) …(6)
中心偏重度合い=(((5)×8))−((1)+(2)+(3)+(4)+(6)+(7)+(8)+(9)))/(((5)×8))+((1)+(2)+(3)+(4)+(6)+(7)+(8)+(9))) …(7)
同様に5分割の場合は、下記式のとおりである。
【0070】
上下偏重度合い=(((1)+(2))−((4)+(5)))/(((1)+(2))+((4)+(5))) …(8)
左右偏重度合い=(((1)+(4))−((2)+(5)))/(((1)+(4))+((2)+(5))) …(9)
第1斜め偏重度合い=(((2)+(4))−((1)+(5)))/(((2)+(4))+((1)+(5))) …(10)
第2斜め偏重度合い=(((1)+(5))−((2)+(4)))/(((1)+(5))+((2)+(4))) …(11)
中心偏重度合い=(((3)×4)−((1)+(2)+(4)+(5)))/(((3)×4)+((1)+(2)+(4)+(5))) …(12)
以上のようにして求められる偏重度合いを説明変数とすることができる。ここでも、この偏重度合いが打痕画像から得られるパラメータとなる。なお、偏重度合いを計算する場合は、各領域が同じ面積となるように分割すると計算しやすい。
【0071】
分割数については、好ましくは2分割ないし50分割、より好ましくは4分割ないし36分割である。前述した区切り線の間隔と同様にあまり細かすぎても各領域間で差が出ないため、略矩形状の大きさや数などに応じて調整するとよい。
【0072】
さらに、画像処理は、得られた画像の各階調における輝度を算術平均した値を求める。これを平均濃淡階調値と称する。ここではこの平均濃淡階調値が打痕画像から得られるパラメータとなる。
【0073】
ここで平均濃淡階調値は、得られた画像内のすべての階調における輝度を算術平均してもよいが、好ましくは、打痕の格子が識別できる範囲内の値を用いる。たとえば、輝度0%を黒、100%を白としたとき、好ましくは3〜100%、より好ましくは30〜95%の階調範囲内の階調における輝度を算術平均するだけでもよい。
【0074】
また、この平均濃淡階調値は、画像全体として求めるだけでなく、図7や図8に示した各分割領域ごとに求めて、それら各領域の平均濃淡階調値の偏重度合いを求めるようにしてもよい。なお、この場合の上述した(3)式から(12)式における各領域の面積の代わりに、各領域の平均濃淡階調値を用いればよい。
【0075】
次に、接合強度の推定処理において用いる重回帰式について説明する。なお、後述するそれぞれの回帰式を得るための重回帰分析自体は、それらの重回帰分析を行うことのできる統計処理ソフトを用いればよく、特に限定されない。
【0076】
重回帰式は、まず、複数の試験品を用いて、上述の画像処理と同じようにして求めた区切り線の間隔、二値化面積、平均濃淡階調値を求める。それらを求めた試験品を実際に強度試験を行って強度値を得る。そして、それらの値から重回帰分析を行って、区切り線の間隔、二値化面積、平均濃淡階調値を説明変数、強度値を目的変数とする重回帰式を求めるのである。この重回帰分析によって、重回帰式における各説明変数の偏回帰係数を得ることができる。なお、重回帰分析においては、区切り線の間隔や面積を領域分割した場合には、それら各領域ごとの値、および偏重度合いもそれぞれ説明変数となるように重回帰式を作成することになる。
【0077】
具体的には、たとえば、区切り線の間隔を説明変数とする重回帰式は、下記のとおりである。
【0078】
横幅のみの場合、
接合強度=(縦区切り線の間隔の偏回帰係数A)×(縦区切り線の間隔の値) …(13a)、
縦幅のみの場合、
接合強度=(横区切り線の間隔の偏回帰係数B)×(横区切り線の間隔の値) …(13b)。
【0079】
そして、上記2つの説明変数を用いた場合、
接合強度=(縦区切り線の間隔の偏回帰係数A)×(縦区切り線の間隔の値)+(横区切り線の間隔の偏回帰係数B)×(横区切り線の間隔の値) …(13)
となる。
【0080】
さらに区切り線の間隔の偏重度合いを加味すれば、
接合強度=(領域1の縦区切り線の間隔の偏回帰係数A1)×(領域1の縦区切り線の間隔の値)+(領域2の縦区切り線の間隔の偏回帰係数A2)×(領域2の縦区切り線の間隔の値)+(領域3の縦区切り線の間隔の偏回帰係数A3)×(領域3の縦区切り線の間隔の値)+(縦分割の偏重度合いの偏回帰係数A4)×(縦分割の偏重度合いの値)+(領域4の横区切り線の間隔の偏回帰係数B1)×(領域4の横区切り線の間隔の値)+(領域5の横区切り線の間隔の偏回帰係数B2)×(領域5の横区切り線の間隔の値)+(領域6の横区切り線の間隔の偏回帰係数B3)×(領域6の横区切り線の間隔の値)+(横分割の偏重度合いの偏回帰係数B4)×(横分割の偏重度合いの値) …(14)
となる。なお、ここで、領域1〜3は、図5(a)に示した各領域を表し、領域4〜6は図5(b)に示した各領域を表している。
【0081】
面積の場合も同様である。すなわち、
接合強度=(面積の偏回帰係数C)×(面積の値) となる。ここで「面積」とは、実際の処理においては白画素または黒画素のいずれかの個数である。以下単に面積という場合は同様である。
【0082】
さらに区切り線の間隔の偏重度合いを加味すれば(5分割の場合)、
接合強度=(面積(1)の偏回帰係数C1)×(面積(1)の値)+(面積(2)の偏回帰係数C2)×(面積(2)の値)+(面積(3)の偏回帰係数C3)×(面積(3)の値)+(面積(4)の偏回帰係数C4)×(面積(4)の値)+(面積(5)の偏回帰係数C5)×(面積(5)の値)+(上下偏重度合いの偏回帰係数C6)×(上下偏重度合いの値)+(左右偏重度合いの偏回帰係数C7)×(左右偏重度合いの値)+(第1斜め偏重度合いの偏回帰係数C8)×(第1斜め偏重度合いの値)+(第2斜め偏重度合いの偏回帰係数C9)×(第2斜め偏重度合いの値)+(中心偏重度合いの値)×(中心偏重度合いの値) …(15)
となる。
【0083】
また、面積から接合強度を推定する場合には、一つのしきい値ではなく2つまたはそれ以上のしきい値により二値化した画像を用いてもよい。その場合、重回帰式は、2つのしきい値を第1しきい値、第2しきい値とすれば、下記のとおりである。
【0084】
接合強度=(第1しきい値での面積(1)の偏回帰係数C11)×(第1しきい値での面積(1)の値)+(第1しきい値での面積(2)の偏回帰係数C12)×(第1しきい値での面積(2)の値)+(第1しきい値での面積(3)の偏回帰係数C13)×(第1しきい値での面積(3)の値)+(第1しきい値での面積(4)の偏回帰係数C14)×(第1しきい値での面積(4)の値)+(第1しきい値での面積(5)の偏回帰係数C15)×(第1しきい値での面積(5)の値)+(上下偏重度合いの偏回帰係数C16)×(上下偏重度合いの値)+(左右偏重度合いの偏回帰係数C17)×(左右偏重度合いの値)+(第1斜め偏重度合いの偏回帰係数C18)×(第1斜め偏重度合いの値)+(第2斜め偏重度合いの偏回帰係数C19)×(第2斜め偏重度合いの値)+(中心偏重度合いの値)×(中心偏重度合いの値)+(第2しきい値での面積(1)の偏回帰係数C21)×(第2しきい値での面積(1)の値)+(第2しきい値での面積(2)の偏回帰係数C22)×(第2しきい値での面積(2)の値)+(第2しきい値での面積(3)の偏回帰係数C23)×(第2しきい値での面積(3)の値)+(第2しきい値での面積(4)の偏回帰係数C24)×(第2しきい値での面積(4)の値)+(第2しきい値での面積(5)の偏回帰係数C25)×(第2しきい値での面積(5)の値)+(上下偏重度合いの偏回帰係数C26)×(上下偏重度合いの値)+(左右偏重度合いの偏回帰係数C27)×(左右偏重度合いの値)+(第1斜め偏重度合いの偏回帰係数C28)×(第1斜め偏重度合いの値)+(第2斜め偏重度合いの偏回帰係数C29)×(第2斜め偏重度合いの値)+(中心偏重度合いの値)×(中心偏重度合いの値) …(16)
これらの重回帰式は、9分割の場合も右辺項数が増えるだけで同様であるので重回帰式については省略する。
【0085】
次に、平均濃淡階調値の場合も同様であり、
接合強度=(平均濃淡階調値の偏回帰係数D1)×(平均濃淡階調値の値) …(17)となる。
【0086】
さらに、画像を分割して各領域の平均濃淡階調値の偏重度合いを加味した場合も、上述した(15)式(16)式の面積の値の代わりに、各領域の平均濃淡階調値を用いることで各領域の平均濃淡階調値の偏重度合いを加味して接合強度を求めることができる。
【0087】
上述した接合強度を求める重回帰式は、それぞれ個別に用いてもよいものである。さらに複数の説明変数を加味した重回帰式を使用することで、より接合強度の算出精度が向上する。すなわち、説明変数として、画像全体での縦区切り線の間隔および横区切り線の間隔、分割領域ごとの縦区切り線の間隔および横区切り線の間隔、分割領域ごとの縦区切り線の間隔の偏重度合いおよび横区切り線の間隔の偏重度合い、画像全体での第1しきい値による二値化画像面積および第2しきい値による二値化画像面積、分割領域ごとの第1しきい値による二値化画像面積および第2しきい値による二値化画像面積、分割領域間の第1しきい値による二値化画像面積の偏重度合いおよび第2しきい値による二値化画像面積の偏重度合い、平均濃淡階調値である。
【0088】
上記では、すべての説明変数を組み合わせたが、これに限らず、一部の説明変数を複数用いることでもよい。たとえば、間隔および面積、面積および平均濃淡階調値、間隔および平均濃淡階調値などの組み合わせなどである。また、間隔および面積における偏重度合いについては、上述した上下、左右、斜めなどのそれぞれの偏重度合いを個別に説明変数とするとよい。また、面積はさらに、異なる分割数ごとに説明変数として追加してもよい。
【0089】
なお、これらの説明変数からなる判別式の具体例については既に説明したものと同様であり、冗長になるため省略するが、判別式は既に説明したように重回帰分析によって求められ、各説明変数に対して偏回帰係数が付くことになる。
【0090】
判別式の精度を上げるためには、さらに接合時のデータを説明変数として追加することも有効である。接合時データとしては、たとえば、接合時間、最大出力、投入エネルギー、振動周波数、板間絶対距離、接合工具沈み込み、全体工具沈み込み、加圧力などである。
【0091】
一方、重回帰分析を行う際の接合強度の実測値は、超音波接合した試験品を引き剥がす方向に引っ張りそのときの(最大)強度を測定したものである。なお、重回帰分析を行う際の試験品の接合条件は、実験計画法に基づいて決めればよい。
【0092】
次に、接合強度の実測値と、重回帰式による予測値の相関について一例を挙げて説明する。図9は、縦区切り線の間隔(横幅Lx)を用いて接合強度を予測した場合と接合強度の実測値との相関関係を示すグラフである。図において、縦軸は実測値(実際に接合強度を測定した値)、横軸に予測値(上記(13a)式により求めた値)をプロットした。
【0093】
試験品はアルミニウムと銅の薄板を重ね合わせて超音波接合したものである。説明変数は、画像全体の縦区切り線の間隔の平均値Lxである。目的変数は接合強度であるが、実測値は機械計測による計測値そのものである。
【0094】
図9から、プロットした点が傾き1の直線に収束し、実測値に近い予測値が得られるようになることがわかる。したがって、このような横幅を用いた説明変数だけでも接合強度の推定を行うことが可能となる。
【0095】
次に、さまざまな画像処理データを用いた事例とそれらの組み合わせについて説明する。
【0096】
図10は、画像処理により得られたさまざまな説明変数の値を用いた予測値と実測値の相関関係を示すグラフが、説明変数を増やしていくことでどのように変化するかを説明するための説明図である。
【0097】
図において、説明変数のグループは、それぞれ、横幅、縦幅、面積1、面積2、および濃淡である。説明変数「横幅」の図は、上記図9と同じ説明変数を用いた場合の相関図である。説明変数「縦幅」の図は、横幅と同様に、画像全体の横区切り線の間隔の平均値Lyを用いたものである。説明変数「面積1」の図は、しきい値200で二値化した画像から得られる白面積について、説明変数として、画像全体の白面積、9分割した各領域における白面積、各領域間の偏重度合い(上下、左右、第1斜め、第2斜め、中心)である。説明変数「面積2」の図は、同様にしきい値240によるもので、面積1と同様の説明変数のものである。説明変数「濃淡」の図は、説明変数として平均濃淡階調値を用いたものである。なお、いずれも目的変数は接合強度である(以下同様)。
【0098】
また、「接合データ」の図は上記した接合データの各パラメータを説明変数としたものである。
【0099】
いずれのグラフもプロットした点が傾き1の直線に収束してきており、実測値に近い予測値が得られるようになることがわかる。
【0100】
図10において、次の段の説明変数組み合わせ1は、面積1、面積2、および濃淡のそれぞれの説明変数を組み合わせた場合の相関図である。説明変数のグループの各相関図より、いっそうプロットした点が傾き1の直線に収束してきている。したがって、複数の説明変数を組み合わせることで、より実測値に近い予測値が得られるようになることがわかる。
【0101】
図10において、次の段の説明変数組み合わせ2は、横幅、縦幅、面積1、面積2、および濃淡のそれぞれの説明変数を組み合わせた場合の相関図である。説明変数組み合わせ1の場合より、さらにプロットした点が傾き1の直線に収束してきている。同様に説明変数組み合わせ3は、面積1、面積2、濃淡、および接合データのそれぞれの説明変数を組み合わせた場合の相関図である。同様にプロットした点が説明変数組み合わせ1よりも傾き1の直線に収束してきている。
【0102】
さらに、次の段の説明変数組み合わせ4は、横幅、縦幅、面積1、面積2、濃淡、および接合データのそれぞれの説明変数を組み合わせた場合の相関図である。説明変数組み合わせ1、2、および3などと比較して、さらにプロットした点が傾き1の直線に収束してきていて、傾き1の直線にほとんどの点がのっていることがわかる。したがって、これまで説明してきた各説明変数をすべて組み合わせることで、最もよく、実測値にあった接合強度の推定を行えることがわかる。
【0103】
以上説明した本実施形態によれば、接合部表面に形成される超音波接合治具による接合打痕の外観形状の画像を取得する。そして、その画像から、各部寸法(打痕の横幅、縦幅)、二値化階調面積値、画像濃淡値を画像処理で求める。求めた横幅、縦幅、面積、および濃淡などのデータを単独またはそれら複数を説明変数とする重回帰式を用いて接合強度を推定することで実測値に近い接合強度を知ることができる。したがって、量産稼動状態での検査工程において、このような接合強度の推定を行えば、非破壊の画像処理により接合状態の判定も精度よく、確実に行うことが可能となる。かつ画像取得から強度推定、接合良否判定まで数秒以内で検査できるため、量産検査工程で効果的な運用が可能となる。
【0104】
(実施形態2)
上述した実施形態1では、重回帰式の目的変数を接合強度として接合面の画像から接合強度を推定し、かつ、接合状態の判定を行った。このような重回帰式の目的変数を工具の状態とすることで実施形態1と同様に接合面の画像から、接合を行った工具の状態を推定して、工具の状態が良好か否か判定することができる。なお、本実施形態2において、装置構成および画像の取得、ならびに取得した画像の処理(すなわち各部寸法(打痕の横幅、縦幅)、二値化画像面積値、画像濃淡値の求め方は、実施形態1と同様であるので、これらの説明は省略する。ただし、コンピューター2は画像処理手段、強度推定手段、判定手段となると共に、本実施形態2においては工具状態推定手段となる。
【0105】
工具の状態は、大別して、2つあり、一つは、工具の設置状態である。超音波接合においては、理想的にはホーンとアンビルとが平行になっていることである。しかし、実際の超音波接合装置においてはホーンとアンビルは適宜交換が行われるため、これらを設置する際に、微妙な傾きを持ってしまう。そのときの傾き度合いによっては接合がうまく行かないことがある。他の一つは、工具の磨耗の状態である。超音波接合においては、接合する部材をはさんでホーンを振動させるため、接合個数が進むにしたがってホーンおよびアンビルの表面が磨耗してしまう。このため、摩耗が進んだ工具を使用していると、接合がうまく行かなくなる。
【0106】
そこで、本実施形態2では、前述した接合強度を共に、工具の状態を接合後の打痕の画像から知ることができるようにするものである。
【0107】
工具の状態を知るための重回帰式は、実施形態1と同様に、まず、複数の試験品を用いて、上述の画像処理と同じようにして求めた区切り線の間隔、二値化面積、平均濃淡階調値を求める。そしてそれら試験品を接合したときの工具の傾きと、工具の磨耗状態を計測する。そして、それらの値から重回帰分析を行って、区切り線の間隔、二値化面積、平均濃淡階調値を説明変数、工具の傾きおよび工具の磨耗状態をそれぞれ目的変数とする重回帰式を求めるのである。この重回帰分析によって、重回帰式における各説明変数の偏回帰係数を得ることができる。なお、重回帰分析においては、区切り線の間隔や面積を領域分割した場合には、それら各領域ごとの値、および偏重度合いもそれぞれ説明変数となるように重回帰式を作成することになる。作成された重回帰式は、目的変数とする内容が異なるのみで式自体は実施形態1と同じで、説明変数とする区切り線の間隔、二値化面積、平均濃淡階調値、および画像を分割した際の偏重度合いを加味したそれぞれの式を用いればよい。このため、ここでは各重回帰式や偏重度合いを求めるための式などの例示は省略する。
【0108】
得られた重回帰式を用いて、実施形態1において接合強度を求めるために取得した画像をそのまま使用して、工具の状態を推定することになる。推定した工具の状態は、さらに、あらかじめ決められた基準となる工具の状態を比べることで工具の状態が超音波接合可能な状態か否かを判定することができる。
【0109】
図11は、本実施形態2における処理手順を示すフローチャートである。
【0110】
まず、実施形態1と同様ステップS1からS4までの処理を行って接合強度を判定する。すなわち、被検査品の複数の略矩形状の集合よりなる超音波接合による接合打痕を撮影する(S1)。その画像を処理して(S2)、略矩形状を区切る線同士の間隔(打痕の幅)、二値化画像の白または黒面積、濃淡値を検出して、それらを説明変数とし、接合強度を目的変数とする重回帰式を用いて、被検査品の接合強度を推定する(S3)。そして推定値と基準値を比較して接合状態を判定する(S4)。
【0111】
その後、S2により得られた画像から、略矩形状を区切る線同士の間隔、二値化画像の白または黒面積、濃淡値を検出して、それらを説明変数とし、工具の状態を目的変数とする重回帰式を用いて、被検査品を接合したときの工具の状態を推定する(S11)。そして推定した状態と基準の状態を比較して工具の良不良を判定する(S12)。
【0112】
ここで、二値化画像の面積を用いて工具の傾き状態を検証した結果を説明する。
【0113】
水平設置した工具で接合した打痕と一定の方向に僅かに傾けた状態で接合した打痕を画像処理し、二値化画像の面積の領域間の偏重度合いを見たものである。二値化のしきい値は階調値240とした。
【0114】
図12は、工具を傾きと二値化画像の面積の領域間の偏重度合いを示した図である。ここでは、工具を傾けた方向を左右とし、この左右方向となるが分割領域となるように図5(b)に示した領域4〜6と同様に画像を分割して、各領域の二値化画像の白(または黒)部分の面積を求めて、左右の偏重度合いを算出した。
【0115】
各領域間の偏重度合いは、前述した(2)式と同様であり、各領域における各区切り線の間隔(すなわち打痕の幅)の平均値である、Lx4、Lx5、Lx6の代わりに、二値化画像の白(または黒)部分の面積を当てはめたものである。すなわち、下記(22)式により求めることができる。
【0116】
二値化画像の白(または黒)部分の面積の偏重度合い=((LS4+LS5)−(LS5+LS6))/((LS4+LS5)+(LS5+LS6)) …(22)
となる。ここでLS4、LS5、LS6は、領域4〜6のそれぞれの二値化画像の白(または黒)部分の面積値である。
【0117】
図12において、軸は左右の偏重度合いの値であり、0から離れるほど工具の傾きが大きくなる。縦軸は接合強度の実測値である。そして、図中×印が水平配置されたときの接合を示し、●印が傾けたときの接合を示す。
【0118】
図からわかるように、×印の水平配置したものではほぼ偏重度合い0の付近に集まっているのに対し、●印の傾けた場合では偏重度合いも大きくなっている。このことから工具を水平配置した場合と傾けた場合で、二値化画像の面積の偏重度合いに明らかな違いのあることがわかる。したがって、この二値化画像の面積を説明変数として、工具の状態を目的変数とする重回帰式を用いれば、工具の状態(ここでは傾きの値)を精度よく推定することができる。そして、あらかじめ決めた傾きの値の基準値(工具の状態の基準)と、重回帰式により得られた傾きの値を比較して、工具の傾きの状態が超音波接合可能な状態か否かを判定することができる。
【0119】
ここでは二値化画像面積を用いた偏重度合いの実例を説明したが、各部寸法(打痕の横幅、縦幅)、二値化画像面積値、画像濃淡値などを用いても、説明変数となるパラメータが異なるのみである。そしてこれら各パラメータと工具の傾きとは同様の相関が認められるため、これらさまざまな画像処理によるパラメータを説明変数として用いても、精度よく工具の状態を推定およびそれによる工具状態の判定をすることができる。
【0120】
このように、生産稼働中の全数の打痕画像を取得して、打痕画像から得られるパラメータ(二値化画像面積や画像濃淡値)により工具の状態を推定することができるので、たとえば、これまで目視により工具の状態を確認していたものが定量評価と結果履歴を記録することが可能となる。また、これにより治具組付け異常による不良品の流出を未然に防ぐことができる。
【0121】
次に、工具の磨耗状態を検証した結果を説明する。
【0122】
ここでは、新品による超音波接合の打痕画像と磨耗が明らかなある程度接合を行った後の工具(以下磨耗工具という)による超音波接合の打痕画像から二値化画像面積を求めて比較した。図13は、この新品と磨耗工具による二値化画像面積の関係を示す図である。なお、二値化しきい値は階調240である。また、ここでは打痕画像全体を二値化し、その画像の白面積を比較した。
【0123】
図13において、横軸は二値化画像の白面積で右に行くほど面積が大きい。横軸は白と判定された画素数。縦軸は接合強度の実測値である。図中、●印が新品工具、×印が磨耗工具による接合を示す。
【0124】
図13からわかるように、●印の新品工具では、×印の磨耗工具よりも白面積が大きくなる傾向にあり、二値化画像の面積と工具の磨耗状態とに相関関係のあることがわかる。したがって、この二値化画像の面積を説明変数として、工具の磨耗状態を目的変数とする重回帰式を用いれば、工具の状態(ここでは磨耗度合い)を精度よく推定することができることがわかる。そして、あらかじめ決めた磨耗度合いの基準値(工具の状態の基準)と、重回帰式により得られた磨耗度合いを比較して、工具の磨耗状態が超音波接合可能な状態か否かを判定することができる。
【0125】
ここでは二値化画像面積を用いた工具の磨耗状態の実例を説明したが、各部寸法(打痕の横幅、縦幅)、二値化画像面積値、画像濃淡値などを用いても、説明変数となるパラメータが異なるのみである。そしてこれら各パラメータと工具の磨耗状態とは同様の相関が認められるため、これらさまざまな画像処理によるパラメータを説明変数として用いても、精度よく工具の状態を推定およびそれによる工具状態の判定をすることができる。
【0126】
さらに、このような磨耗の状態は接合のたびに毎回取得して時系列的に比較することで、工具の磨耗状態を予測して、工具の交換時期を決めることができるようになる。
【0127】
接合に用いられる工具(ホーンおよびアンビル)は超硬金属やそれと同等の材料で作られている。しかし、このような超硬金属などであっても、接合回数が増えてくると工具表面の角錐形状が磨り減ってくる。このことは画像にも表れてくる。たとえば工具の磨耗によって工具表面の角錐の角がなくなることで、幅エッジが検出しにくくなったり、二値化面積の値が変化する。また打痕部食い込みの形状、角度が変化するため、同一撮影条件下では画像濃淡値も変化してくる。
【0128】
図14は、接合回数(打点数ともいう)と二値化画像面積の関係を示す図面である。
【0129】
図では、縦軸が二値化画像面積として白部分の面積の平均値(白と判定された画素数の平均)を用いた。なお二値化しきい値は階調240である。横軸は接合回数である。
【0130】
図から明らかなように、接合回数が増えるに従い、白部分面積が減っていることがわかる。
【0131】
さらにこの画像による二値化画像面積を重回帰分析の説明変数として解析してみると、より高精度に工具の寿命を予測することが可能となる。たとえば、下記(23)式のように、得られた画像を複数の領域に分割して、各領域ごとに二値化画像面積を求めてそれを説明変数とし、接合回数を目的変数とする重回帰式を作る。
【0132】
接合回数=(定数項)+(二値面積a)×偏回帰係数A+(二値面積b)×偏回帰係数B・・・・・(二値面積n)×偏回帰係数N …(23)
なお、(23)式中、二値面積a、二値面積bは各領域の二値化画像面積であり、nは分割した領域の数である。
【0133】
図15は、このような二値化画像面積を用いた重回帰式によって得られた接合回数の予測値(横軸)と、実際の接合回数の実測値(縦軸)を示す図である。なお、横軸、縦軸共に同じ目盛り幅で接合回数を示している。
【0134】
図からわかるとおり、二値化画像面積を用いた重回帰式によって得られた接合回数(横軸)と実際の接合回数(縦軸)がよく一致しているのがわかる。
【0135】
したがって、このような打痕画像から得られるパラメータ(ここでは二値化画像面積)によって、接合回数をも推定できるようになる。したがって、接合回数と磨耗によって工具が使えなくなる限界の接合回数をあらかじめ決めておけば、(23)式から工具が使用できる寿命(接合回数)を予測することができる。
【0136】
同様に複数に分割した領域ごとに画像濃淡値を求めて、上記(23)式同様の重回帰式を用いても精密に工具の接合回数の予測、すなわち、工具を使用できる寿命を予測することができる。なお、打痕の幅をパラメータとして用いてもよいが、磨耗が激しくなると打痕画像から第1方向線や第2方向線を難しくなる。一方、二値化画像面積または画像濃淡値はかなり磨耗が進んだ状態でも求めることが可能であるため、工具状態(特に磨耗状態)の判定には二値化画像面積または画像濃淡値を使用することが好ましい。
【0137】
なお、このような接合回数の予測は前述した処理手順のうち、工具の状態推定(S11)段階または工具の状態判定(S12)の段階で行うことで、工具の状態のチェックとして一緒に行うことができる。しかし、接合回数の予測自体は画像処理(S2)の段階の後であれば、独立して行うことも可能であるので、S11や12以外に段階で行ってもよい。
【0138】
このように、打痕画像から得られるパラメータ(二値化画像面積や画像濃淡値)の変化から工具の寿命を予測できるため、不良閾値を設定しておくことで、不良流出を未然に防ぎ、工具交換を計画的に実施できるようになる。
【0139】
次に、画像の各種画像パラメータ(打痕の幅、二値化画像面積、画像濃淡値)と接合部分の破壊形態との関連について説明する。
【0140】
これまで説明したように、打痕部分の画像をパラメータ化(打痕の幅、二値化画像面積、画像濃淡値)することでさまざまな情報が得られることがわかった。そこで、この打痕部分の画像をパラメータと接合部の破壊形態を相関付けた結果、これらの間にも相関関係のあることがわかった。
【0141】
一般的に接合部品質は接合強度と材料強度で判断されるが、接合直後の検査で破壊形態が判定できると経年劣化時の破壊形態も推測できる。
【0142】
接合強度が十分でかつ接合部周囲の材料の強度も十分確保されているとき、接合部の品質は最高レベルに達するとされる。しかし、接合強度が強すぎる場合や工具の異常で局部的に材料への工具の食い込みが大きくなる場合には接合部周辺の材料の板厚が薄くなり、材料の強度が小さくなる。さらに板厚が極端に薄くなった部分に亀裂が生じ、接合品質が維持できなくなる恐れがある。一方、接合強度が弱すぎる場合や工具の異常で局部的に材料への工具の食い込みが小さくなる場合は接合部周辺の材料の強度は維持されるが、接合強度が著しく低下する恐れが生じる。
【0143】
接合部破壊形態の予測を確認した実験の一例を以下に示す。
【0144】
図16は、破壊形態と二値化面積との関係を示す図面である。図中、●印が母材破断、×印が界面剥離を示す。図において横軸は二値化しきい値の階調240で白画素と判定された画素数であり、縦軸は接合強度の実測値である。
【0145】
接合部周辺が破壊される状態を母材破断、接合部界面で剥がれる状態を界面剥離と分類し、それぞれの条件で接合し、その打痕画像の二値化面積を破壊形態で層別分析した。図16からわかるように、破壊形態と二値化面積と関係として、破壊形態ごとに群を成すことが判明した。したがって、測定した面積値がどの群領域に存在するかで破壊形態を推測できることがわかる。そして、既に説明しているように、この破壊形態においても、打痕部分の画像をパラメータ化(打痕の幅、二値化画像面積、画像濃淡値、これらを領域ごとに求めた結果の偏重度合い)して、それを説明変数とし、接合部の破壊形態を目的変数とする重回帰式を作成すれば、打痕部分の画像のパラメータから工具の状態や設置異常などにより、接合部の状態が母材破断領域または界面剥離領域に入ったことを画像にて判定することができる。
【0146】
なお、このような破壊形態の予測は前述した処理手順のうち、接合強度推定(S3)段階または接合強度判定(S4)の段階など接合強度とともに求めることで、接合部の品質チェックとして一緒に行うことができる。しかし、破壊形態の予測自体は画像処理(S2)の段階の後であれば、独立して行うことも可能であるので、S3やS4以外の段階で行ってもよい。また、破壊形態を予測する際には、コンピューター2が画像処理手段、強度推定手段、判定手段、工具状態推定手段になると共に、破壊形態推定手段となる。
【0147】
これにより生産中の検査画像をモニタリングすることで、接合部の破壊形態を推定し判定できるため、接合部および接合部周囲の材料強度、残存板厚などの初期品質、さらには経年劣化時の破壊形態も推測できるようになる。
【0148】
以上本発明を適用した実施形態を説明したが、本発明は、このような実施形態に限定されるものではない。
【0149】
たとえば、上述した実施形態では、打痕の幅として、凹凸の区切り線を第1方向線として検出して、ホーンの凸部が食い込んでできた凹部をはさむ第1方向線同士の間隔(第1方向線の間隔Lx)を求めることとした。本発明では、このような実施形態に代えて、凹凸の区切りである第1方向線を検出した後、凸部をはさむ第1方向線同士の間隔を求めるるようにしてもよい。これは第2方向線についても同様であり凹凸の区切り線である第2方向線を検出した後、凸部をはさむ第2方向線同士の間隔を求めるようにしてもよい。これは、既に説明したように、凹凸画像から得られる凹凸の区切り線によって得られる間隔をパラメータとしているためで、凹部の幅の変化は凸部の幅の変化と同じことを示しているからである。つまり、凹部の幅が広くなれば相対的に凸部の幅は狭くなり、逆に凹部の幅が狭くなれば相対的に凸部の幅は広くなる。このため、凸部の幅を用いるようにしても上述した実施形態と同じ各式を利用して、溶接の良否判定や工具判定を行うことができる(ただし、凸部の幅を用いる場合には、重回帰式作成の際には凸部の幅をパラメータとして作成することになる)。
【0150】
したがって、本発明において、画像処理手段は、撮影手段より得られた複数の凹凸形状の集合の画像から、この凹凸形状の区切りからなる第1方向線を検出して、凹部または凸部をはさむ第1方向線同士の間隔(第1方向線の間隔)を求めるものである、ということができる。また画像処理手段は、さらに撮影手段より得られた画像から第1方向線と異なる方向の凹凸形状の区切りからなる第2方向線を検出して、凹部または凸部をはさむ第2方向の線同士の間隔(第2方向線の間隔)を求めるものである、ということができる。なお、本発明の超音波接合監視方法においても同様である。
【0151】
さらに上述した実施形態では、画像処理と判定処理を一つコンピューターにより行うこととしたが、これらは、異なるコンピューターによって行うようにしてもよい。たとえば、検査工程のライン脇に画像処理のコンピューターを配置し、説明変数となる各データを算出し、そのデータをホストコンピュータなどに送って、ホストコンピュータにおいて強度推定、および判定を行うようにしてもよい。
【0152】
また、重回帰式についても、一つの重回帰式ではなく、複数の重回帰式を用いるようにしてもよい。たとえば、はじめに横幅、縦幅のみの重回帰式で判定し、推定値が不良となった場合にさらに、面積や濃淡、接合データなどを説明変数とした重回帰式で判定しなおすなどといった運用も可能である。
【0153】
そのほか、複数の説明変数を組み合わせた重回帰式を用いる場合においては、上述した組み合わせのほかにさまざまな組み合わせが可能であり、そのような場合も、一つの説明変数での場合より、精度の高い接合強度の推定、およびそれによる強度判定を行うことが可能である。また、撮影した画像から説明変数の一部が取得できない場合に、取得できなかった説明変数を含まない重回帰式で判定するといった方法をとるようにしてもよい。これは、重回帰式を用いる際に、取得できなかった説明変数の項があると、強度推定精度が落ちるので、そのような項目がはじめから存在しない重回帰式を用いる方が精度が高くなるためである。
【図面の簡単な説明】
【0154】
【図1】本発明を適用した超音波接合監視装置の構成を説明するためのブロック図である。
【図2】接合強度判定の処理手順を示すフローチャートである。
【図3】接合打痕の例を説明する模式図である。
【図4】画像処理例を示す図面であって、縦区切り線、横区切り線の間隔の算出を説明するための説明図である。
【図5】画像処理例を示す図面であって、縦区切り線、横区切り線の間隔を分割した領域ごとに算出する場合を説明するための説明図である。
【図6】画像処理例を示す図面であって、二値化画像の面積の算出を説明する説明図である。
【図7】画像処理例を示す図面であって、二値化画像の面積を分割して算出する場合を説明する説明図である。
【図8】画像処理例を示す図面であって、二値化画像の面積を分割して算出する場合を説明する説明図である。
【図9】縦区切り線の間隔(横幅Lx)を用いて接合強度を推定した場合と接合強度の実測値との相関関係を示すグラフである。
【図10】画像処理により得られたさまざまな説明変数の値を用いた予測値と実測値の相関関係を示すグラフが、説明変数を組み合わせてゆくことでどのように変化するかを説明するための説明図である。
【図11】接合強度判定のあと工具状態判定のための処理手順を含む処理手順を示すフローチャートである。
【図12】工具を傾きと二値化画像の面積の領域間の偏重度合いを示した図である。
【図13】新品と磨耗工具による二値化画像面積の関係を示す図である。
【図14】接合回数と二値化画像面積の関係を示す図面である。
【図15】二値化画像面積を用いた重回帰式によって得られた接合回数の予測値(横軸)と、実際の接合回数の実測値(縦軸)を示す図である。
【図16】破壊形態と二値化面積との関係を示す図面である。
【符号の説明】
【0155】
1 カメラ(撮影手段)、
2 コンピューター(画像処理手段、強度推定手段、判定手段、工具状態推定手段、破壊形態推定手段)、
3 照明器具、
100 被検査品、
101 略矩形状(凹凸形状)、
201 縦区切り線(第1方向)、
202 横区切り線(第2方向)。
【技術分野】
【0001】
本発明は、超音波接合監視装置およびその方法に関し、詳しくは、超音波接合の打痕から接合強度、工具の状態、接合部の破壊形態を推定し、これらの良不良を判定するための超音波接合監視装置およびその方法に関する。
【背景技術】
【0002】
超音波接合は、銅、アルミニウム、ステンレスなどの材料を、同種のもの同士を接合するほか、異なる種類の材料同士をも接合することが可能である。このため、たとえば、電子部品や電池に使用される電気導体接続用の金属薄板や、金属箔の重ね合わせ接合などに利用されている。
【0003】
超音波接合は、作業台(アンビル)と超音波工具(ホーン)の間に、接合対象の金属板を重ね合わせて配置、挟み込み、ホーンにて加圧、超音波振動を与えることにより、板の接触界面にて摩擦、原子拡散により材料の融点以下の低い温度で一体化させる。このため低融点のアルミニウムや、極めて薄い板の接合、異種金属同士の接合が可能なのである。
【0004】
超音波接合では、金属板接合界面に超音波振動をロスなく伝達するために、アンビルとホーンは金属板に食い込むような微細な角錐が縦横に配列した形状をしている。接合が完了すると、接合部の表面にアンビルとホーンの食い込みの痕(接合打痕)が形成される。
形成された接合打痕は碁盤の目状の格子形状の外観を呈している。
【0005】
従来、超音波接合の接合状態を判定する方法として、接合時に生じた打痕を画像解析することで判定することが検討されている。たとえば、打痕の深さ、形状などの外観をカメラなどで画像として取得し、取得した画像をコンピューターで画像処理して、良否を判定する(特許文献1)。
【0006】
この判定方法は、超音波接合工具により金属板表面に形成された碁盤の目状の接合打痕の外観検査において、複数の接合痕の各中心を結んで形成される領域を単位ブロックとし、該単位ブロックで金属板表面の全接合痕に対して連続的に単位ブロック分割処理を施して複数のブロックに分割し、分割された各ブロック内の画素輝度値の平均値と積分値を求め、これら平均値と積分値を任意の順番で数列にし、この数列の変化形状を接合状態良否判定の特徴量としている。
【0007】
なお、その他の文献公知発明としては、特許文献2がある。
【特許文献1】特開2005−3473号公報
【特許文献2】特開2005−205421号公報
【発明の開示】
【発明が解決しようとする課題】
【0008】
接合品質は実用強度で判定されるものである。しかし、従来の方法では、被検査品の外観画像と接合良品の外観画像との差異のみで判定するため、実際には接合強度が十分で良品とされるべきものであっても不良品と判定される場合がある。また逆に、良品と判定されたものでも、実用強度が低く実際には不良品である場合も発生する。このため誤検知が多く発生してしまうという問題があった。
【0009】
本発明の目的は、超音波接合における接合部の外観検査によって接合の良否判定を精度よく行うために、超音波接合の接合強度を推定し、さらにその推定結果から接合状態を判定する超音波接合監視装置およびその方法を提供することである。さらに本発明の他の目的は接合強度を推定して接合状態を判定すると共に、そのときの工具の状態をも推定し、工具状態の良不良までも判定することのできる超音波接合監視装置およびその方法を提供することである。
【課題を解決するための手段】
【0010】
上記課題を解決するための本発明は、基本的に、被検査品の複数の凹凸形状の集合よりなる超音波接合による接合打痕を撮影して得られた画像から、接合強度と相関のあるあらかじめ決められたパラメータを画像処理により求め、接合強度を目的変数とし前記接合強度と相関のあるあらかじめ決められたパラメータを説明変数とする重回帰式を用いて、前記被検査品の接合強度を推定するものである。また、本発明は強度推定を行うと共に、前記得られた画像から、工具の状態と相関のあるあらかじめ決められたパラメータを画像処理により求め、工具の状態を目的変数とし前記工具の状態と相関のあるあらかじめ決められたパラメータを説明変数とする重回帰式を用いて、工具の状態を推定するものである。
【0011】
ここで、接合強度と相関のあるあらかじめ決められたパラメータおよび工具の状態と相関のあるあらかじめ決められたパラメータは、(1)撮影された複数の凹凸形状の集合の画像から前記凹凸形状を区切る第1方向線を検出し、当該検出した第1方向線同士の間隔(第1方向線の間隔)、(2)第1方向線と異なる方向の前記凹凸形状を区切る第2方向線を検出し、当該検出した第2方向の線同士の間隔(第2方向線の間隔)、(3)前記画像を所定のしきい値により二値化画像として当該二値化画像の白部分面積または黒部分面積、前記画像の多値階調画像から平均濃淡階調値、(4)前記画像を任意の領域に分割して、各領域ごとに求めた第1方向線の間隔、同じく各領域ごとに求めた第2方向線の間隔、各領域ごとに求めた二値化画像の白部分面積または黒部分面積、(5)各領域ごとに求めた平均濃淡階調値、(6)さらにこれら各領域ごとのパラメータの各領域間における偏重度合いである。そして、これらのパラメータは、単独で説明変数として用いてもよいし、複数のパラメータを合わせてそれぞれ説明変数として用いてもよい。つまり、これらのパラメータのうち少なくとも一つのパラメータを説明変数として用いる。
【0012】
このような上記課題を解決するための本発明は具体的には以下のとおりである。
【0013】
上記課題を解決するための本発明は、被検査品の複数の凹凸形状の集合よりなる超音波接合による接合打痕を撮影する撮影手段と、前記撮影手段より得られた前記複数の凹凸形状の集合の画像から前記凹凸形状を区切る第1方向線を検出し、当該検出した第1方向線同士の間隔(第1方向線の間隔)を求める画像処理手段と、接合強度を目的変数とし前記第1方向線の間隔を説明変数とする重回帰式を用いて、前記被検査品の接合強度を推定する強度推定手段と、を有することを特徴とする超音波接合監視装置である。
【0014】
また、上記課題を解決するための本発明は、被検査品の複数の凹凸形状の集合よりなる超音波接合による接合打痕を撮影する撮影手段と、前記撮影手段より得られた前記複数の凹凸形状の集合の画像を所定のしきい値により二値化画像として、当該二値化画像の白部分面積または黒部分面積を求める画像処理手段と、接合強度を目的変数とし前記二値化画像の白部分面積または黒部分面積を説明変数とする重回帰式を用いて、前記被検査品の接合強度を推定する強度推定手段と、を有することを特徴とする超音波接合監視装置である。
【0015】
また、上記課題を解決するための本発明は、被検査品の複数の凹凸形状の集合よりなる超音波接合による接合打痕を撮影する撮影手段と、前記撮影手段より得られた前記複数の凹凸形状の集合の画像の多値階調画像から平均濃淡階調値を求める画像処理手段と、接合強度を目的変数とし前記平均濃淡階調値を説明変数とする重回帰式を用いて、前記被検査品の接合強度を推定する強度推定手段と、を有することを特徴とする超音波接合監視装置である。
【0016】
また、上記課題を解決するための本発明は、被検査品の複数の凹凸形状の集合よりなる超音波接合による接合打痕を撮影する撮影手段と、前記撮影手段より得られた前記複数の凹凸形状の集合の画像から、(1)凹凸形状を区切る第1方向線および前記第1方向線と異なる方向の前記凹凸形状を区切る第2方向線を検出し、画像全体の第1方向の線同士の間隔(第1方向線の間隔)および第2方向の線同士の間隔(第2方向線の間隔)を求め、(2)所定のしきい値により二値化画像として、当該二値化画像の白部分面積または黒部分面積を求め、(3)前記画像を任意の領域に分割し、各領域ごとに前記二値化画像の白部分面積または黒部分面積、および各領域間における白部分面積または黒部分面積の偏重度合いを求め、(4)前記画像の多値階調画像から平均濃淡階調値を求める、画像処理手段と、接合強度を目的変数とし、画像全体の前記第1方向線の間隔および前記第2方向線の間隔、各領域ごとの前記第1方向線の間隔および前記第2方向線の間隔、各領域間の偏重度合い、画像全体の前記二値化画像の白部分面積または黒部分面積、各領域ごとの前記二値化画像の白部分面積または黒部分面積、各領域ごとの前記二値化画像の白部分面積または黒部分面積の偏重度合い、および前記平均濃淡階調値を説明変数とする重回帰式を用いて、前記被検査品の接合強度を推定する強度推定手段と、を有することを特徴とする超音波接合監視装置である。
【0017】
また、上記課題を解決するための本発明は、得られた接合強度の推定値と、あらかじめ決められている基準値とを比較して、接合強度の良不良を判定する判定手段を有することを特徴とする超音波接合監視装置である。
【0018】
また、上記課題を解決するための本発明は、被検査品の複数の凹凸形状の集合よりなる超音波接合による接合打痕を撮影する段階と、前記撮影により得られた前記複数の凹凸形状の集合の画像から凹凸形状を区切る第1方向線を検出し、当該検出した第1方向線同士の間隔(前記第1方向線の間隔)を求める段階と、接合強度を目的変数とし前記第1方向線の間隔を説明変数とする重回帰式を用いて、前記被検査品の接合強度を推定する段階と、を有することを特徴とする超音波接合監視方法である。
【0019】
また、上記課題を解決するための本発明は、被検査品の複数の凹凸形状の集合よりなる超音波接合による接合打痕を撮影する段階と、前記撮影により得られた前記複数の凹凸形状の集合の画像を所定のしきい値により二値化画像として、当該二値化画像の白部分面積または黒部分面積を求める段階と、接合強度を目的変数とし前記二値化画像の白部分面積または黒部分面積を説明変数とする重回帰式を用いて、前記被検査品の接合強度を推定する段階と、を有することを特徴とする超音波接合監視方法である。
【0020】
また、上記課題を解決するための本発明は、被検査品の複数の凹凸形状の集合よりなる超音波接合による接合打痕を撮影する段階と、前記撮影により得られた前記複数の凹凸形状の集合の画像の多値階調画像から平均濃淡階調値を求める段階と、接合強度を目的変数とし前記平均濃淡階調値を説明変数とする重回帰式を用いて、前記被検査品の接合強度を推定する段階と、を有することを特徴とする超音波接合監視方法である。
【0021】
また、上記課題を解決するための本発明は、被検査品の複数の凹凸形状の集合よりなる超音波接合による接合打痕を撮影する段階と、前記撮影により得られた前記複数の凹凸形状の集合の画像から、(1)凹凸形状を区切る第1方向線および前記第1方向線と異なる方向の前記凹凸形状を区切る第2方向線を検出し、画像全体の第1方向の線同士の間隔(第1方向線の間隔)および第2方向の線同士の間隔(第2方向線の間隔)を求め、(2)所定のしきい値により二値化画像として、当該二値化画像の白部分面積または黒部分面積を求め、(3)前記画像を任意の領域に分割し、各領域ごとに前記二値化画像の白部分面積または黒部分面積、および各領域間における白部分面積または黒部分面積の偏重度合いを求め、(4)前記画像の多値階調画像から平均濃淡階調値を求める段階と、接合強度を目的変数とし、画像全体の前記第1方向線の間隔および前記第2方向線の間隔、各領域ごとの前記第1方向線の間隔および前記第2方向線の間隔、各領域間の偏重度合い、画像全体の前記二値化画像の白部分面積または黒部分面積、各領域ごとの前記二値化画像の白部分面積または黒部分面積、各領域ごとの前記二値化画像の白部分面積または黒部分面積の偏重度合い、および前記平均濃淡階調値を説明変数とする重回帰式を用いて、前記被検査品の接合強度を推定する段階と、を有することを特徴とする超音波接合監視方法である。
【0022】
また、上記課題を解決するための本発明は、得られた接合強度の推定値と、あらかじめ決められている基準値とを比較して、接合強度の良不良を判定することを特徴とする超音波接合監視方法である。
【0023】
また、本発明の超音波接合監視装置は、超音波接合を行う工具の状態を目的変数とし前記二値化画像の白部分面積または黒部分面積を説明変数とする重回帰式を用いて、前記工具の状態を推定する工具状態推定手段を、さらに有する。
【0024】
また、本発明の超音波接合監視装置は、超音波接合を行う工具の状態を目的変数とし前記平均濃淡階調値を説明変数とする重回帰式を用いて、前記工具の状態を推定する工具状態推定手段を、さらに有する。
【0025】
また、本発明の接合強度推定方法は、前記二値化画像の白部分面積または黒部分面積を求める段階の後、超音波接合を行う工具の状態を目的変数とし前記二値化画像の白部分面積または黒部分面積を説明変数とする重回帰式を用いて前記工具の状態を推定する段階を、さらに有する。
【0026】
また、本発明の接合強度推定方法は、前記平均濃淡階調値を求める段階の後、超音波接合を行う工具の状態を目的変数とし前記平均濃淡階調値を説明変数とする重回帰式を用いて、前記工具の状態を推定する段階を、さらに有する。
【0027】
また、本発明の接合強度判定方法は、接合強度推定方法によって得られた接合強度の推定値とあらかじめ決められている基準値とを比較して接合強度の良不良を判定すると共に、前記推定された工具の状態とあらかじめ決められている工具の状態の基準とを比較して工具の状態が超音波接合可能な状態か否かを判定するを有する。
【0028】
また、本発明の接合強度判定装置は、超音波接合監視装置によって得られた接合強度の推定値とあらかじめ決められている基準値とを比較して接合強度の良不良を判定すると共に、前記工具状態推定手段によって前記推定された工具の状態とあらかじめ決められている工具の状態の基準とを比較して工具の状態が超音波接合可能な状態か否かを判定する判定手段を有する。
【発明の効果】
【0029】
以上のように構成された本発明によれば、超音波接合の接合部の外観検査によって、精度よく接合強度を推定することができる。そして、この推定値を用いて良否判定を行うことで超音波接合品の良否判定を高精度で行うことができる。
【0030】
また、本発明によれば、超音波接合品の良否判定とともに、工具の状態を推定して、超音波接合を行える状態か否かを判定することができる。
【0031】
さらに本発明によれば、接合部の破壊状態を推定することができる。
【発明を実施するための最良の形態】
【0032】
以下、図面を参照して本発明を実施するための最良の形態について説明する。
【0033】
(実施形態1)
図1は、本発明を適用した超音波接合監視装置の構成を説明するためのブロック図である。
【0034】
この超音波接合監視装置は、被検査品100の接合部分の打痕を撮影するためのカメラ1と、カメラ1によって撮影された打痕画像を画像処理し、接合強度の推定および判定を行うコンピューター2とからなる。ここでカメラ1は撮影手段であり、コンピューター2は画像処理手段、強度推定手段、判定手段となる。
【0035】
カメラ1については、静止画を撮影できるものであればよく特に限定されない(動画撮影用の機材を用いてもよいが、必要な画像は静止画である)。接合部の画像を取得する工程で、カメラ1に使用されるレンズは接合打痕の画像を歪みなく撮影できるものであればどのようなものであってもよい。一例を挙げれば、テレセントリックレンズを用いることにより歪みのない(非常に少ない)画像を得ることができ好ましい。
【0036】
コンピューター2は、パソコン、ワークステーションなどと称されているもの、あるいは、シーケンサなどと称されているコンピューターなどであり、後述する処理手順を行うために作成されたプログラムを実行できるものであればよい。
【0037】
また、カメラ1で撮影する際に打痕部分を照明するための照明器具3が備えられている。なお、カメラ1で撮影する際には、この照明器具3からの光の方向、照度、色、などが変化しないように注意すべきである。具体的には、たとえば、被検査品である金属表面の反射率が高い打痕には擬似同軸落斜照明を、金属表面の反射率が低い打痕には拡散照明を用いることが好ましい。これは、擬似同軸落斜照明を用いた場合、金属表面で正反射する部分(たとえば山形状の頂点部分や谷底の広い平坦部など)が明るく映り、平坦部の少ない谷底や斜面などは暗く写るため、これらのコントラストが強調された画像を得ることができる。しかし、反射率の低い金属表面で擬似同軸落斜照明を用いると逆に山谷の差がみわけづらくなるので、拡散照明により全体を均一に照明する方が好ましい。
【0038】
また、照明の波長、使用する照明の色は打痕の格子が識別できる色(波長)であれば特に限定されない。たとえば、好ましくは300〜1100ナノメートル、より好ましくは350〜520ナノメートルの波長の照明を使用することにより接合強度の推定に際し、打痕の凹凸形状を判別しやすくなる。また、これらの波長を使用した場合には、使用する照明の色以外の外部の光を遮断するレンズフィルターを使用することにより、接合強度を推定しやすい画像を得ることができる。
【0039】
超音波接合される素材としては、たとえば、金属板である。具体的には、アルミニウム、銅、ニッケルの単体あるいは当該金属板に表面処理を施した材料などである。これら金属板表面は、その反射率が高いものとしては、銅、ニッケルである。また、表面にメッキ光沢処理を施したものでも推定および判定可能である。逆に表面の反射率が低い金属としてはアルミニウムがある。また、表面に酸化皮膜処理を施して反射率を低くしたものであっても接合強度を推定し判定することができる。
【0040】
これらの金属板の板厚は、たとえば0.001ミリメートルから5ミリメートルの範囲のものがよく使用される。したがって、このような厚さの金属板の接合強度の推定および判定を行うことができる。もちろんその他の厚さであっても後述する重回帰式さえ得られれば板厚については特に限定されるものではない。
【0041】
図2は、接合強度を判定するための処理手順を示すフローチャートである。
【0042】
まずは、作業員が接合部分をカメラ1の撮影位置にセットする。
【0043】
その後、コンピューター2の処理を実行させる。
【0044】
まず、コンピューター2、カメラ1に対して接合部分の打痕を撮影させ、その画像を取り込む(S1)。取り込んだ画像はコンピューター2内に記憶される。
【0045】
この画像を取得する段階では、打痕画像の位置ズレを補正するとよい。たとえば、位置ズレを補正する機能を被検査品を載置するステージ(不図示)に設け、水平方向の位置ズレは、あらかじめ品種ごとに接合打痕を認識する位置を記憶させておき、品種ごとの座標データを画像処理に用いることで位置ズレの補正を行うことができる。同様に垂直方向の位置ズレは、あらかじめ垂直変位量を確認しておき、垂直変位量の範囲内に被写界深度を持つレンズを用いることにより行うことができる。
【0046】
また、他の方法として、水平、垂直方向の位置ズレは、外部よりワーク位置を計測するセンサーで垂直または水平方向のいずれかまたは両方の変位量を計測し、当該変位量に応じて撮影装置、照明、接合部の位置を調整するようにしてもよい。この場合、ワーク位置を計測するセンサーからの電気信号に応じて、その信号に対応した変位量を、電動にて可変し、撮影装置、照明、接合部の位置を自動で補正できるようにすることが好ましい。もちろん撮影保存した画像を画像処理の前段階でコンピューター内で水平方向の位置ズレを補正する手段を用いてもよい。
【0047】
次いでコンピューター2は、取り込んだ画像を下記のように画像処理する(S2)。この画像処理は、後述判定処理の際の説明変数(特徴量)を得るためのものである。なお、この説明変数を求めるための画像処理については後述する。
【0048】
次に、コンピューター2は得られた説明変数をあらかじめ記憶されている重回帰式に代入することで、接合強度を推定する(S3)。重回帰式はあらかじめ重回帰分析により求めておいたものである(詳細後述)。
【0049】
そして、コンピューター2は、得られた接合強度の推定値と、あらかじめ記憶されている判定基準値と比較して、接合の良否判定を行う(S4)。判定基準値は、製品により異なる。そして、推定値が判定基準値以上であれば良品、判定基準値未満であれば不良品とすればよい。
【0050】
図3は、接合打痕の例を説明する模式図であり、(a)は打痕部分の斜視図、(b)は打痕部分を撮影して取得した画像の模式図である。また、図4〜図8は、画像処理例を説明するための説明図である。
【0051】
超音波接合した被検査品100は、たとえば、図3(a)に示すように、2枚の薄板102、103を重ね合わせて接合したものであり、そこに現れる打痕は、複数の凹凸形状の集合体となる。これは、超音波接合の特徴で、超音波接合装置のホーンとアンビルに設けられている凹凸面の形状が、接合された部分にそれらの痕として現れたものである。したがって、ホーンの凸部が被検査品100に食い込んでできた部分が打痕として凹部(ここでは略矩形状101)となり、凹部同士の間が凸部101’ということになる。そして、コンピューター2が取り込んだ打痕の画像は、図3(b)に示すように、複数の略矩形状101を含む凹凸形状の集合体を上方から撮影したものである。
【0052】
なお、このような打痕は、図3に示したような略矩形状のほか、ホーンとアンビルに設けられている凹凸の形状によって異なり、一つひとつ凹凸が円や楕円などの場合もある。また、集合体全体として図示したような四角形以外にも、全体が円や楕円の形状と成っているものもある。また、凹凸の数や大きさは、用いる超音波接合装置および工具によって異なる。ただし、得られる打痕画像は、凹凸の形状や、数、大きさが違っていても、基本的に、凹凸形状の集合体であることに変わりはない。以下、本実施形態では、打痕の凹凸形状は、図示した略矩形形状のものを例に説明する。
【0053】
画像処理は、取り込んだ画像に対して、下記の処理例のごとき画像処理を行うものである。なお、以下で説明する各処理は、それらを実行できる画像処理ソフトを使用すればよく、そのソフトは限定されない。
【0054】
図4に示した処理例は、打痕の画像内における一つひとつの略矩形状101から略矩形状101の凹凸の区切り線を検出して、これを縦方向(第1方向)および横方向(第2方向)にそれぞれ接続したものである(縦区切り線201および横区切り線202)。
【0055】
そして、これら各区切り線(201、202)の略矩形状101をはさむ間隔(これを打痕の幅という)が、それぞれ縦区切り線の間隔(横幅Lx)および横区切り線の間隔(縦幅Ly)隣、これが打痕画像から得られるパラメータとなる。ここで、この打痕の幅は、その横幅または縦幅の少なくともいずれか一方が超音波加振方向と一致する方向である。
【0056】
なお、区切り線を検出するための画像処理は、たとえば、一つひとつの略矩形状101のエッジを検出したり、エッジとエッジの間(等分)を区切り線とするなどさまざまであり、特に限定されるものではない。
【0057】
ここで、各区切り線の間隔を求める際には、図4に示したように、1つの打痕画像全体から求めてもよい。
【0058】
また、図5に示すように、たとえば、1つの打痕画像を3分割して(領域1〜3、および4〜6)、それぞれの領域ごとに各区切り線の間隔(打痕の幅)を求めるようにしてもよい。このような分割を行う理由は、一つの打痕(複数の略矩形状の集合体)において、接合状態が違う場合に、一つの打痕内における接合状態の違いを求めることが可能となるためである。この分割のとき、各分割領域の一部を重ねることで、各領域の連続性を保つことができる。
【0059】
なお、図5(a)は縦方向に3分割した例であり、この場合、縦区切り線201の間隔Lxを領域ごとに求める。一方、図5(b)は、横方向に3分割した例であり横区切り線202の間隔Lyを領域ごとに求める。なお、分割数については3分割に限らず、たとえば2分割ないし50分割、好ましくは3分割ないし36分割などである。ただし、あまりにも細かいと隣接する分割領域で間隔の差がほとんどなくなり、分割の意味がない。したがって、略矩形状101の大きさや数などにより適宜調整するとよい。
【0060】
このように分割した場合、さらに各領域間の偏重度合いを求めてそれを説明変数としてもよい。この偏重度合いも打痕画像から得られるパラメータである。具体的には縦線の間隔Lxにおいては、縦方向に3分割の場合、各領域における間隔の平均値として、領域(1)をLx1、領域(2)をLx2、領域(3)をLx3、領域(4)をLx4、領域(5)をLx5、領域(6)をLx6とすると、
Lx偏重度合い=((Lx1+Lx2)−(Lx2+Lx3))/((Lx1+Lx2)+(Lx2+Lx3)) …(1)
となる。同様に横線の間隔Lyの場合は、
Ly偏重度合い=((Ly4+Ly5)−(Ly5+Ly6))/((Ly4+Ly5)+(Ly5+Ly6)) …(2)
となる。
【0061】
なお、得られた画像の凹凸形状の集合における端の部分(図4の点線で囲んだ部分200)は、実際の画像においては正確な矩形形状とならず、区切り線を正確に矩形形状の端に設定することができない場合がある。このため間隔を求める際には、点線で囲んだ部分200の区切り線(201’、202’)は間隔の算出に使用しないようにしてもよい。
【0062】
次に、図6に示した処理例は、取り込んだ画像を所定のしきい値によって二値化階調値の画像(二値化画像)にしたものである。そして、得られた二値化画像の白領域または黒領域の面積(すなわち、画素の数)を求める。ここでは得られた二値化画像の白領域または黒領域の面積が打痕画像から得られるパラメータとなる。
【0063】
カメラ1によって撮影された画像は、白黒多階調画像またはカラー画像である。図6に示した例では、同じ白黒多階調画像を、二値化のしきい値として階調値240(図6(a))と、階調値200(図6(b))でそれぞれ二値化画像にしたものである。図からわかるとおり、しきい値として用いる階調値によって白領域または黒領域の面積が異なる。そこで、この二値化のしきい値を複数設定して、それぞれのしきい値ごとに白領域または黒領域の面積を求めてもよい。そして、求めた面積を説明変数として接合強度を推定する。
【0064】
なお、一つの検査品に対して複数のしきい値により二値化することはかまわないが、複数の被検査品に対しては同じしきい値を用いる必要がある。
【0065】
また、この面積による接合強度の推定においても、複数の領域に分けてそれぞれの白領域または黒領域の面積を求めて接合強度を推定することとしてもよい。図7は9分割した例を示し、図8は5分割した例を示す。なお図7、8において(a)は階調値200をしきい値とした二値化画像に、各分割領域を重ね合わせた図面であり、(b)は各分割領域のみ示した図面である。
【0066】
このように分割した各領域ごとに白領域または黒領域の面積を求める。分割した場合には、さらに面積だけでなく、各領域における面積の割合の偏重度合いを説明変数としてもよい。
【0067】
偏重度合いは、たとえば、9分割の場合、上下偏重度合い、左右偏重度合い、第1斜め偏重度合い、第2斜め偏重度合い、中心偏重度合いなどを求めることができる。
【0068】
具体的には、下記の式のようになる。以下式中(1)、(2)、…などは図7に示した各領域の白領域または黒領域の面積をあらわすものとする。
【0069】
上下偏重度合い=(((1)+(2)+(3))−((7)+(8)+(9)))/(((1)+(2)+(3))+((7)+(8)+(9))) …(3)
左右偏重度合い=(((1)+(4)+(7))−((3)+(6)+(9)))/(((1)+(4)+(7))+((3)+(6)+(9))) …(4)
第1斜め偏重度合い=(((2)+(3)+(6))−((4)+(7)+(8)))/(((2)+(3)+(6))+((4)+(7)+(8))) …(5)
第2斜め偏重度合い=(((1)+(2)+(4))−((6)+(8)+(9)))/(((1)+(2)+(4))−((6)+(8)+(9))) …(6)
中心偏重度合い=(((5)×8))−((1)+(2)+(3)+(4)+(6)+(7)+(8)+(9)))/(((5)×8))+((1)+(2)+(3)+(4)+(6)+(7)+(8)+(9))) …(7)
同様に5分割の場合は、下記式のとおりである。
【0070】
上下偏重度合い=(((1)+(2))−((4)+(5)))/(((1)+(2))+((4)+(5))) …(8)
左右偏重度合い=(((1)+(4))−((2)+(5)))/(((1)+(4))+((2)+(5))) …(9)
第1斜め偏重度合い=(((2)+(4))−((1)+(5)))/(((2)+(4))+((1)+(5))) …(10)
第2斜め偏重度合い=(((1)+(5))−((2)+(4)))/(((1)+(5))+((2)+(4))) …(11)
中心偏重度合い=(((3)×4)−((1)+(2)+(4)+(5)))/(((3)×4)+((1)+(2)+(4)+(5))) …(12)
以上のようにして求められる偏重度合いを説明変数とすることができる。ここでも、この偏重度合いが打痕画像から得られるパラメータとなる。なお、偏重度合いを計算する場合は、各領域が同じ面積となるように分割すると計算しやすい。
【0071】
分割数については、好ましくは2分割ないし50分割、より好ましくは4分割ないし36分割である。前述した区切り線の間隔と同様にあまり細かすぎても各領域間で差が出ないため、略矩形状の大きさや数などに応じて調整するとよい。
【0072】
さらに、画像処理は、得られた画像の各階調における輝度を算術平均した値を求める。これを平均濃淡階調値と称する。ここではこの平均濃淡階調値が打痕画像から得られるパラメータとなる。
【0073】
ここで平均濃淡階調値は、得られた画像内のすべての階調における輝度を算術平均してもよいが、好ましくは、打痕の格子が識別できる範囲内の値を用いる。たとえば、輝度0%を黒、100%を白としたとき、好ましくは3〜100%、より好ましくは30〜95%の階調範囲内の階調における輝度を算術平均するだけでもよい。
【0074】
また、この平均濃淡階調値は、画像全体として求めるだけでなく、図7や図8に示した各分割領域ごとに求めて、それら各領域の平均濃淡階調値の偏重度合いを求めるようにしてもよい。なお、この場合の上述した(3)式から(12)式における各領域の面積の代わりに、各領域の平均濃淡階調値を用いればよい。
【0075】
次に、接合強度の推定処理において用いる重回帰式について説明する。なお、後述するそれぞれの回帰式を得るための重回帰分析自体は、それらの重回帰分析を行うことのできる統計処理ソフトを用いればよく、特に限定されない。
【0076】
重回帰式は、まず、複数の試験品を用いて、上述の画像処理と同じようにして求めた区切り線の間隔、二値化面積、平均濃淡階調値を求める。それらを求めた試験品を実際に強度試験を行って強度値を得る。そして、それらの値から重回帰分析を行って、区切り線の間隔、二値化面積、平均濃淡階調値を説明変数、強度値を目的変数とする重回帰式を求めるのである。この重回帰分析によって、重回帰式における各説明変数の偏回帰係数を得ることができる。なお、重回帰分析においては、区切り線の間隔や面積を領域分割した場合には、それら各領域ごとの値、および偏重度合いもそれぞれ説明変数となるように重回帰式を作成することになる。
【0077】
具体的には、たとえば、区切り線の間隔を説明変数とする重回帰式は、下記のとおりである。
【0078】
横幅のみの場合、
接合強度=(縦区切り線の間隔の偏回帰係数A)×(縦区切り線の間隔の値) …(13a)、
縦幅のみの場合、
接合強度=(横区切り線の間隔の偏回帰係数B)×(横区切り線の間隔の値) …(13b)。
【0079】
そして、上記2つの説明変数を用いた場合、
接合強度=(縦区切り線の間隔の偏回帰係数A)×(縦区切り線の間隔の値)+(横区切り線の間隔の偏回帰係数B)×(横区切り線の間隔の値) …(13)
となる。
【0080】
さらに区切り線の間隔の偏重度合いを加味すれば、
接合強度=(領域1の縦区切り線の間隔の偏回帰係数A1)×(領域1の縦区切り線の間隔の値)+(領域2の縦区切り線の間隔の偏回帰係数A2)×(領域2の縦区切り線の間隔の値)+(領域3の縦区切り線の間隔の偏回帰係数A3)×(領域3の縦区切り線の間隔の値)+(縦分割の偏重度合いの偏回帰係数A4)×(縦分割の偏重度合いの値)+(領域4の横区切り線の間隔の偏回帰係数B1)×(領域4の横区切り線の間隔の値)+(領域5の横区切り線の間隔の偏回帰係数B2)×(領域5の横区切り線の間隔の値)+(領域6の横区切り線の間隔の偏回帰係数B3)×(領域6の横区切り線の間隔の値)+(横分割の偏重度合いの偏回帰係数B4)×(横分割の偏重度合いの値) …(14)
となる。なお、ここで、領域1〜3は、図5(a)に示した各領域を表し、領域4〜6は図5(b)に示した各領域を表している。
【0081】
面積の場合も同様である。すなわち、
接合強度=(面積の偏回帰係数C)×(面積の値) となる。ここで「面積」とは、実際の処理においては白画素または黒画素のいずれかの個数である。以下単に面積という場合は同様である。
【0082】
さらに区切り線の間隔の偏重度合いを加味すれば(5分割の場合)、
接合強度=(面積(1)の偏回帰係数C1)×(面積(1)の値)+(面積(2)の偏回帰係数C2)×(面積(2)の値)+(面積(3)の偏回帰係数C3)×(面積(3)の値)+(面積(4)の偏回帰係数C4)×(面積(4)の値)+(面積(5)の偏回帰係数C5)×(面積(5)の値)+(上下偏重度合いの偏回帰係数C6)×(上下偏重度合いの値)+(左右偏重度合いの偏回帰係数C7)×(左右偏重度合いの値)+(第1斜め偏重度合いの偏回帰係数C8)×(第1斜め偏重度合いの値)+(第2斜め偏重度合いの偏回帰係数C9)×(第2斜め偏重度合いの値)+(中心偏重度合いの値)×(中心偏重度合いの値) …(15)
となる。
【0083】
また、面積から接合強度を推定する場合には、一つのしきい値ではなく2つまたはそれ以上のしきい値により二値化した画像を用いてもよい。その場合、重回帰式は、2つのしきい値を第1しきい値、第2しきい値とすれば、下記のとおりである。
【0084】
接合強度=(第1しきい値での面積(1)の偏回帰係数C11)×(第1しきい値での面積(1)の値)+(第1しきい値での面積(2)の偏回帰係数C12)×(第1しきい値での面積(2)の値)+(第1しきい値での面積(3)の偏回帰係数C13)×(第1しきい値での面積(3)の値)+(第1しきい値での面積(4)の偏回帰係数C14)×(第1しきい値での面積(4)の値)+(第1しきい値での面積(5)の偏回帰係数C15)×(第1しきい値での面積(5)の値)+(上下偏重度合いの偏回帰係数C16)×(上下偏重度合いの値)+(左右偏重度合いの偏回帰係数C17)×(左右偏重度合いの値)+(第1斜め偏重度合いの偏回帰係数C18)×(第1斜め偏重度合いの値)+(第2斜め偏重度合いの偏回帰係数C19)×(第2斜め偏重度合いの値)+(中心偏重度合いの値)×(中心偏重度合いの値)+(第2しきい値での面積(1)の偏回帰係数C21)×(第2しきい値での面積(1)の値)+(第2しきい値での面積(2)の偏回帰係数C22)×(第2しきい値での面積(2)の値)+(第2しきい値での面積(3)の偏回帰係数C23)×(第2しきい値での面積(3)の値)+(第2しきい値での面積(4)の偏回帰係数C24)×(第2しきい値での面積(4)の値)+(第2しきい値での面積(5)の偏回帰係数C25)×(第2しきい値での面積(5)の値)+(上下偏重度合いの偏回帰係数C26)×(上下偏重度合いの値)+(左右偏重度合いの偏回帰係数C27)×(左右偏重度合いの値)+(第1斜め偏重度合いの偏回帰係数C28)×(第1斜め偏重度合いの値)+(第2斜め偏重度合いの偏回帰係数C29)×(第2斜め偏重度合いの値)+(中心偏重度合いの値)×(中心偏重度合いの値) …(16)
これらの重回帰式は、9分割の場合も右辺項数が増えるだけで同様であるので重回帰式については省略する。
【0085】
次に、平均濃淡階調値の場合も同様であり、
接合強度=(平均濃淡階調値の偏回帰係数D1)×(平均濃淡階調値の値) …(17)となる。
【0086】
さらに、画像を分割して各領域の平均濃淡階調値の偏重度合いを加味した場合も、上述した(15)式(16)式の面積の値の代わりに、各領域の平均濃淡階調値を用いることで各領域の平均濃淡階調値の偏重度合いを加味して接合強度を求めることができる。
【0087】
上述した接合強度を求める重回帰式は、それぞれ個別に用いてもよいものである。さらに複数の説明変数を加味した重回帰式を使用することで、より接合強度の算出精度が向上する。すなわち、説明変数として、画像全体での縦区切り線の間隔および横区切り線の間隔、分割領域ごとの縦区切り線の間隔および横区切り線の間隔、分割領域ごとの縦区切り線の間隔の偏重度合いおよび横区切り線の間隔の偏重度合い、画像全体での第1しきい値による二値化画像面積および第2しきい値による二値化画像面積、分割領域ごとの第1しきい値による二値化画像面積および第2しきい値による二値化画像面積、分割領域間の第1しきい値による二値化画像面積の偏重度合いおよび第2しきい値による二値化画像面積の偏重度合い、平均濃淡階調値である。
【0088】
上記では、すべての説明変数を組み合わせたが、これに限らず、一部の説明変数を複数用いることでもよい。たとえば、間隔および面積、面積および平均濃淡階調値、間隔および平均濃淡階調値などの組み合わせなどである。また、間隔および面積における偏重度合いについては、上述した上下、左右、斜めなどのそれぞれの偏重度合いを個別に説明変数とするとよい。また、面積はさらに、異なる分割数ごとに説明変数として追加してもよい。
【0089】
なお、これらの説明変数からなる判別式の具体例については既に説明したものと同様であり、冗長になるため省略するが、判別式は既に説明したように重回帰分析によって求められ、各説明変数に対して偏回帰係数が付くことになる。
【0090】
判別式の精度を上げるためには、さらに接合時のデータを説明変数として追加することも有効である。接合時データとしては、たとえば、接合時間、最大出力、投入エネルギー、振動周波数、板間絶対距離、接合工具沈み込み、全体工具沈み込み、加圧力などである。
【0091】
一方、重回帰分析を行う際の接合強度の実測値は、超音波接合した試験品を引き剥がす方向に引っ張りそのときの(最大)強度を測定したものである。なお、重回帰分析を行う際の試験品の接合条件は、実験計画法に基づいて決めればよい。
【0092】
次に、接合強度の実測値と、重回帰式による予測値の相関について一例を挙げて説明する。図9は、縦区切り線の間隔(横幅Lx)を用いて接合強度を予測した場合と接合強度の実測値との相関関係を示すグラフである。図において、縦軸は実測値(実際に接合強度を測定した値)、横軸に予測値(上記(13a)式により求めた値)をプロットした。
【0093】
試験品はアルミニウムと銅の薄板を重ね合わせて超音波接合したものである。説明変数は、画像全体の縦区切り線の間隔の平均値Lxである。目的変数は接合強度であるが、実測値は機械計測による計測値そのものである。
【0094】
図9から、プロットした点が傾き1の直線に収束し、実測値に近い予測値が得られるようになることがわかる。したがって、このような横幅を用いた説明変数だけでも接合強度の推定を行うことが可能となる。
【0095】
次に、さまざまな画像処理データを用いた事例とそれらの組み合わせについて説明する。
【0096】
図10は、画像処理により得られたさまざまな説明変数の値を用いた予測値と実測値の相関関係を示すグラフが、説明変数を増やしていくことでどのように変化するかを説明するための説明図である。
【0097】
図において、説明変数のグループは、それぞれ、横幅、縦幅、面積1、面積2、および濃淡である。説明変数「横幅」の図は、上記図9と同じ説明変数を用いた場合の相関図である。説明変数「縦幅」の図は、横幅と同様に、画像全体の横区切り線の間隔の平均値Lyを用いたものである。説明変数「面積1」の図は、しきい値200で二値化した画像から得られる白面積について、説明変数として、画像全体の白面積、9分割した各領域における白面積、各領域間の偏重度合い(上下、左右、第1斜め、第2斜め、中心)である。説明変数「面積2」の図は、同様にしきい値240によるもので、面積1と同様の説明変数のものである。説明変数「濃淡」の図は、説明変数として平均濃淡階調値を用いたものである。なお、いずれも目的変数は接合強度である(以下同様)。
【0098】
また、「接合データ」の図は上記した接合データの各パラメータを説明変数としたものである。
【0099】
いずれのグラフもプロットした点が傾き1の直線に収束してきており、実測値に近い予測値が得られるようになることがわかる。
【0100】
図10において、次の段の説明変数組み合わせ1は、面積1、面積2、および濃淡のそれぞれの説明変数を組み合わせた場合の相関図である。説明変数のグループの各相関図より、いっそうプロットした点が傾き1の直線に収束してきている。したがって、複数の説明変数を組み合わせることで、より実測値に近い予測値が得られるようになることがわかる。
【0101】
図10において、次の段の説明変数組み合わせ2は、横幅、縦幅、面積1、面積2、および濃淡のそれぞれの説明変数を組み合わせた場合の相関図である。説明変数組み合わせ1の場合より、さらにプロットした点が傾き1の直線に収束してきている。同様に説明変数組み合わせ3は、面積1、面積2、濃淡、および接合データのそれぞれの説明変数を組み合わせた場合の相関図である。同様にプロットした点が説明変数組み合わせ1よりも傾き1の直線に収束してきている。
【0102】
さらに、次の段の説明変数組み合わせ4は、横幅、縦幅、面積1、面積2、濃淡、および接合データのそれぞれの説明変数を組み合わせた場合の相関図である。説明変数組み合わせ1、2、および3などと比較して、さらにプロットした点が傾き1の直線に収束してきていて、傾き1の直線にほとんどの点がのっていることがわかる。したがって、これまで説明してきた各説明変数をすべて組み合わせることで、最もよく、実測値にあった接合強度の推定を行えることがわかる。
【0103】
以上説明した本実施形態によれば、接合部表面に形成される超音波接合治具による接合打痕の外観形状の画像を取得する。そして、その画像から、各部寸法(打痕の横幅、縦幅)、二値化階調面積値、画像濃淡値を画像処理で求める。求めた横幅、縦幅、面積、および濃淡などのデータを単独またはそれら複数を説明変数とする重回帰式を用いて接合強度を推定することで実測値に近い接合強度を知ることができる。したがって、量産稼動状態での検査工程において、このような接合強度の推定を行えば、非破壊の画像処理により接合状態の判定も精度よく、確実に行うことが可能となる。かつ画像取得から強度推定、接合良否判定まで数秒以内で検査できるため、量産検査工程で効果的な運用が可能となる。
【0104】
(実施形態2)
上述した実施形態1では、重回帰式の目的変数を接合強度として接合面の画像から接合強度を推定し、かつ、接合状態の判定を行った。このような重回帰式の目的変数を工具の状態とすることで実施形態1と同様に接合面の画像から、接合を行った工具の状態を推定して、工具の状態が良好か否か判定することができる。なお、本実施形態2において、装置構成および画像の取得、ならびに取得した画像の処理(すなわち各部寸法(打痕の横幅、縦幅)、二値化画像面積値、画像濃淡値の求め方は、実施形態1と同様であるので、これらの説明は省略する。ただし、コンピューター2は画像処理手段、強度推定手段、判定手段となると共に、本実施形態2においては工具状態推定手段となる。
【0105】
工具の状態は、大別して、2つあり、一つは、工具の設置状態である。超音波接合においては、理想的にはホーンとアンビルとが平行になっていることである。しかし、実際の超音波接合装置においてはホーンとアンビルは適宜交換が行われるため、これらを設置する際に、微妙な傾きを持ってしまう。そのときの傾き度合いによっては接合がうまく行かないことがある。他の一つは、工具の磨耗の状態である。超音波接合においては、接合する部材をはさんでホーンを振動させるため、接合個数が進むにしたがってホーンおよびアンビルの表面が磨耗してしまう。このため、摩耗が進んだ工具を使用していると、接合がうまく行かなくなる。
【0106】
そこで、本実施形態2では、前述した接合強度を共に、工具の状態を接合後の打痕の画像から知ることができるようにするものである。
【0107】
工具の状態を知るための重回帰式は、実施形態1と同様に、まず、複数の試験品を用いて、上述の画像処理と同じようにして求めた区切り線の間隔、二値化面積、平均濃淡階調値を求める。そしてそれら試験品を接合したときの工具の傾きと、工具の磨耗状態を計測する。そして、それらの値から重回帰分析を行って、区切り線の間隔、二値化面積、平均濃淡階調値を説明変数、工具の傾きおよび工具の磨耗状態をそれぞれ目的変数とする重回帰式を求めるのである。この重回帰分析によって、重回帰式における各説明変数の偏回帰係数を得ることができる。なお、重回帰分析においては、区切り線の間隔や面積を領域分割した場合には、それら各領域ごとの値、および偏重度合いもそれぞれ説明変数となるように重回帰式を作成することになる。作成された重回帰式は、目的変数とする内容が異なるのみで式自体は実施形態1と同じで、説明変数とする区切り線の間隔、二値化面積、平均濃淡階調値、および画像を分割した際の偏重度合いを加味したそれぞれの式を用いればよい。このため、ここでは各重回帰式や偏重度合いを求めるための式などの例示は省略する。
【0108】
得られた重回帰式を用いて、実施形態1において接合強度を求めるために取得した画像をそのまま使用して、工具の状態を推定することになる。推定した工具の状態は、さらに、あらかじめ決められた基準となる工具の状態を比べることで工具の状態が超音波接合可能な状態か否かを判定することができる。
【0109】
図11は、本実施形態2における処理手順を示すフローチャートである。
【0110】
まず、実施形態1と同様ステップS1からS4までの処理を行って接合強度を判定する。すなわち、被検査品の複数の略矩形状の集合よりなる超音波接合による接合打痕を撮影する(S1)。その画像を処理して(S2)、略矩形状を区切る線同士の間隔(打痕の幅)、二値化画像の白または黒面積、濃淡値を検出して、それらを説明変数とし、接合強度を目的変数とする重回帰式を用いて、被検査品の接合強度を推定する(S3)。そして推定値と基準値を比較して接合状態を判定する(S4)。
【0111】
その後、S2により得られた画像から、略矩形状を区切る線同士の間隔、二値化画像の白または黒面積、濃淡値を検出して、それらを説明変数とし、工具の状態を目的変数とする重回帰式を用いて、被検査品を接合したときの工具の状態を推定する(S11)。そして推定した状態と基準の状態を比較して工具の良不良を判定する(S12)。
【0112】
ここで、二値化画像の面積を用いて工具の傾き状態を検証した結果を説明する。
【0113】
水平設置した工具で接合した打痕と一定の方向に僅かに傾けた状態で接合した打痕を画像処理し、二値化画像の面積の領域間の偏重度合いを見たものである。二値化のしきい値は階調値240とした。
【0114】
図12は、工具を傾きと二値化画像の面積の領域間の偏重度合いを示した図である。ここでは、工具を傾けた方向を左右とし、この左右方向となるが分割領域となるように図5(b)に示した領域4〜6と同様に画像を分割して、各領域の二値化画像の白(または黒)部分の面積を求めて、左右の偏重度合いを算出した。
【0115】
各領域間の偏重度合いは、前述した(2)式と同様であり、各領域における各区切り線の間隔(すなわち打痕の幅)の平均値である、Lx4、Lx5、Lx6の代わりに、二値化画像の白(または黒)部分の面積を当てはめたものである。すなわち、下記(22)式により求めることができる。
【0116】
二値化画像の白(または黒)部分の面積の偏重度合い=((LS4+LS5)−(LS5+LS6))/((LS4+LS5)+(LS5+LS6)) …(22)
となる。ここでLS4、LS5、LS6は、領域4〜6のそれぞれの二値化画像の白(または黒)部分の面積値である。
【0117】
図12において、軸は左右の偏重度合いの値であり、0から離れるほど工具の傾きが大きくなる。縦軸は接合強度の実測値である。そして、図中×印が水平配置されたときの接合を示し、●印が傾けたときの接合を示す。
【0118】
図からわかるように、×印の水平配置したものではほぼ偏重度合い0の付近に集まっているのに対し、●印の傾けた場合では偏重度合いも大きくなっている。このことから工具を水平配置した場合と傾けた場合で、二値化画像の面積の偏重度合いに明らかな違いのあることがわかる。したがって、この二値化画像の面積を説明変数として、工具の状態を目的変数とする重回帰式を用いれば、工具の状態(ここでは傾きの値)を精度よく推定することができる。そして、あらかじめ決めた傾きの値の基準値(工具の状態の基準)と、重回帰式により得られた傾きの値を比較して、工具の傾きの状態が超音波接合可能な状態か否かを判定することができる。
【0119】
ここでは二値化画像面積を用いた偏重度合いの実例を説明したが、各部寸法(打痕の横幅、縦幅)、二値化画像面積値、画像濃淡値などを用いても、説明変数となるパラメータが異なるのみである。そしてこれら各パラメータと工具の傾きとは同様の相関が認められるため、これらさまざまな画像処理によるパラメータを説明変数として用いても、精度よく工具の状態を推定およびそれによる工具状態の判定をすることができる。
【0120】
このように、生産稼働中の全数の打痕画像を取得して、打痕画像から得られるパラメータ(二値化画像面積や画像濃淡値)により工具の状態を推定することができるので、たとえば、これまで目視により工具の状態を確認していたものが定量評価と結果履歴を記録することが可能となる。また、これにより治具組付け異常による不良品の流出を未然に防ぐことができる。
【0121】
次に、工具の磨耗状態を検証した結果を説明する。
【0122】
ここでは、新品による超音波接合の打痕画像と磨耗が明らかなある程度接合を行った後の工具(以下磨耗工具という)による超音波接合の打痕画像から二値化画像面積を求めて比較した。図13は、この新品と磨耗工具による二値化画像面積の関係を示す図である。なお、二値化しきい値は階調240である。また、ここでは打痕画像全体を二値化し、その画像の白面積を比較した。
【0123】
図13において、横軸は二値化画像の白面積で右に行くほど面積が大きい。横軸は白と判定された画素数。縦軸は接合強度の実測値である。図中、●印が新品工具、×印が磨耗工具による接合を示す。
【0124】
図13からわかるように、●印の新品工具では、×印の磨耗工具よりも白面積が大きくなる傾向にあり、二値化画像の面積と工具の磨耗状態とに相関関係のあることがわかる。したがって、この二値化画像の面積を説明変数として、工具の磨耗状態を目的変数とする重回帰式を用いれば、工具の状態(ここでは磨耗度合い)を精度よく推定することができることがわかる。そして、あらかじめ決めた磨耗度合いの基準値(工具の状態の基準)と、重回帰式により得られた磨耗度合いを比較して、工具の磨耗状態が超音波接合可能な状態か否かを判定することができる。
【0125】
ここでは二値化画像面積を用いた工具の磨耗状態の実例を説明したが、各部寸法(打痕の横幅、縦幅)、二値化画像面積値、画像濃淡値などを用いても、説明変数となるパラメータが異なるのみである。そしてこれら各パラメータと工具の磨耗状態とは同様の相関が認められるため、これらさまざまな画像処理によるパラメータを説明変数として用いても、精度よく工具の状態を推定およびそれによる工具状態の判定をすることができる。
【0126】
さらに、このような磨耗の状態は接合のたびに毎回取得して時系列的に比較することで、工具の磨耗状態を予測して、工具の交換時期を決めることができるようになる。
【0127】
接合に用いられる工具(ホーンおよびアンビル)は超硬金属やそれと同等の材料で作られている。しかし、このような超硬金属などであっても、接合回数が増えてくると工具表面の角錐形状が磨り減ってくる。このことは画像にも表れてくる。たとえば工具の磨耗によって工具表面の角錐の角がなくなることで、幅エッジが検出しにくくなったり、二値化面積の値が変化する。また打痕部食い込みの形状、角度が変化するため、同一撮影条件下では画像濃淡値も変化してくる。
【0128】
図14は、接合回数(打点数ともいう)と二値化画像面積の関係を示す図面である。
【0129】
図では、縦軸が二値化画像面積として白部分の面積の平均値(白と判定された画素数の平均)を用いた。なお二値化しきい値は階調240である。横軸は接合回数である。
【0130】
図から明らかなように、接合回数が増えるに従い、白部分面積が減っていることがわかる。
【0131】
さらにこの画像による二値化画像面積を重回帰分析の説明変数として解析してみると、より高精度に工具の寿命を予測することが可能となる。たとえば、下記(23)式のように、得られた画像を複数の領域に分割して、各領域ごとに二値化画像面積を求めてそれを説明変数とし、接合回数を目的変数とする重回帰式を作る。
【0132】
接合回数=(定数項)+(二値面積a)×偏回帰係数A+(二値面積b)×偏回帰係数B・・・・・(二値面積n)×偏回帰係数N …(23)
なお、(23)式中、二値面積a、二値面積bは各領域の二値化画像面積であり、nは分割した領域の数である。
【0133】
図15は、このような二値化画像面積を用いた重回帰式によって得られた接合回数の予測値(横軸)と、実際の接合回数の実測値(縦軸)を示す図である。なお、横軸、縦軸共に同じ目盛り幅で接合回数を示している。
【0134】
図からわかるとおり、二値化画像面積を用いた重回帰式によって得られた接合回数(横軸)と実際の接合回数(縦軸)がよく一致しているのがわかる。
【0135】
したがって、このような打痕画像から得られるパラメータ(ここでは二値化画像面積)によって、接合回数をも推定できるようになる。したがって、接合回数と磨耗によって工具が使えなくなる限界の接合回数をあらかじめ決めておけば、(23)式から工具が使用できる寿命(接合回数)を予測することができる。
【0136】
同様に複数に分割した領域ごとに画像濃淡値を求めて、上記(23)式同様の重回帰式を用いても精密に工具の接合回数の予測、すなわち、工具を使用できる寿命を予測することができる。なお、打痕の幅をパラメータとして用いてもよいが、磨耗が激しくなると打痕画像から第1方向線や第2方向線を難しくなる。一方、二値化画像面積または画像濃淡値はかなり磨耗が進んだ状態でも求めることが可能であるため、工具状態(特に磨耗状態)の判定には二値化画像面積または画像濃淡値を使用することが好ましい。
【0137】
なお、このような接合回数の予測は前述した処理手順のうち、工具の状態推定(S11)段階または工具の状態判定(S12)の段階で行うことで、工具の状態のチェックとして一緒に行うことができる。しかし、接合回数の予測自体は画像処理(S2)の段階の後であれば、独立して行うことも可能であるので、S11や12以外に段階で行ってもよい。
【0138】
このように、打痕画像から得られるパラメータ(二値化画像面積や画像濃淡値)の変化から工具の寿命を予測できるため、不良閾値を設定しておくことで、不良流出を未然に防ぎ、工具交換を計画的に実施できるようになる。
【0139】
次に、画像の各種画像パラメータ(打痕の幅、二値化画像面積、画像濃淡値)と接合部分の破壊形態との関連について説明する。
【0140】
これまで説明したように、打痕部分の画像をパラメータ化(打痕の幅、二値化画像面積、画像濃淡値)することでさまざまな情報が得られることがわかった。そこで、この打痕部分の画像をパラメータと接合部の破壊形態を相関付けた結果、これらの間にも相関関係のあることがわかった。
【0141】
一般的に接合部品質は接合強度と材料強度で判断されるが、接合直後の検査で破壊形態が判定できると経年劣化時の破壊形態も推測できる。
【0142】
接合強度が十分でかつ接合部周囲の材料の強度も十分確保されているとき、接合部の品質は最高レベルに達するとされる。しかし、接合強度が強すぎる場合や工具の異常で局部的に材料への工具の食い込みが大きくなる場合には接合部周辺の材料の板厚が薄くなり、材料の強度が小さくなる。さらに板厚が極端に薄くなった部分に亀裂が生じ、接合品質が維持できなくなる恐れがある。一方、接合強度が弱すぎる場合や工具の異常で局部的に材料への工具の食い込みが小さくなる場合は接合部周辺の材料の強度は維持されるが、接合強度が著しく低下する恐れが生じる。
【0143】
接合部破壊形態の予測を確認した実験の一例を以下に示す。
【0144】
図16は、破壊形態と二値化面積との関係を示す図面である。図中、●印が母材破断、×印が界面剥離を示す。図において横軸は二値化しきい値の階調240で白画素と判定された画素数であり、縦軸は接合強度の実測値である。
【0145】
接合部周辺が破壊される状態を母材破断、接合部界面で剥がれる状態を界面剥離と分類し、それぞれの条件で接合し、その打痕画像の二値化面積を破壊形態で層別分析した。図16からわかるように、破壊形態と二値化面積と関係として、破壊形態ごとに群を成すことが判明した。したがって、測定した面積値がどの群領域に存在するかで破壊形態を推測できることがわかる。そして、既に説明しているように、この破壊形態においても、打痕部分の画像をパラメータ化(打痕の幅、二値化画像面積、画像濃淡値、これらを領域ごとに求めた結果の偏重度合い)して、それを説明変数とし、接合部の破壊形態を目的変数とする重回帰式を作成すれば、打痕部分の画像のパラメータから工具の状態や設置異常などにより、接合部の状態が母材破断領域または界面剥離領域に入ったことを画像にて判定することができる。
【0146】
なお、このような破壊形態の予測は前述した処理手順のうち、接合強度推定(S3)段階または接合強度判定(S4)の段階など接合強度とともに求めることで、接合部の品質チェックとして一緒に行うことができる。しかし、破壊形態の予測自体は画像処理(S2)の段階の後であれば、独立して行うことも可能であるので、S3やS4以外の段階で行ってもよい。また、破壊形態を予測する際には、コンピューター2が画像処理手段、強度推定手段、判定手段、工具状態推定手段になると共に、破壊形態推定手段となる。
【0147】
これにより生産中の検査画像をモニタリングすることで、接合部の破壊形態を推定し判定できるため、接合部および接合部周囲の材料強度、残存板厚などの初期品質、さらには経年劣化時の破壊形態も推測できるようになる。
【0148】
以上本発明を適用した実施形態を説明したが、本発明は、このような実施形態に限定されるものではない。
【0149】
たとえば、上述した実施形態では、打痕の幅として、凹凸の区切り線を第1方向線として検出して、ホーンの凸部が食い込んでできた凹部をはさむ第1方向線同士の間隔(第1方向線の間隔Lx)を求めることとした。本発明では、このような実施形態に代えて、凹凸の区切りである第1方向線を検出した後、凸部をはさむ第1方向線同士の間隔を求めるるようにしてもよい。これは第2方向線についても同様であり凹凸の区切り線である第2方向線を検出した後、凸部をはさむ第2方向線同士の間隔を求めるようにしてもよい。これは、既に説明したように、凹凸画像から得られる凹凸の区切り線によって得られる間隔をパラメータとしているためで、凹部の幅の変化は凸部の幅の変化と同じことを示しているからである。つまり、凹部の幅が広くなれば相対的に凸部の幅は狭くなり、逆に凹部の幅が狭くなれば相対的に凸部の幅は広くなる。このため、凸部の幅を用いるようにしても上述した実施形態と同じ各式を利用して、溶接の良否判定や工具判定を行うことができる(ただし、凸部の幅を用いる場合には、重回帰式作成の際には凸部の幅をパラメータとして作成することになる)。
【0150】
したがって、本発明において、画像処理手段は、撮影手段より得られた複数の凹凸形状の集合の画像から、この凹凸形状の区切りからなる第1方向線を検出して、凹部または凸部をはさむ第1方向線同士の間隔(第1方向線の間隔)を求めるものである、ということができる。また画像処理手段は、さらに撮影手段より得られた画像から第1方向線と異なる方向の凹凸形状の区切りからなる第2方向線を検出して、凹部または凸部をはさむ第2方向の線同士の間隔(第2方向線の間隔)を求めるものである、ということができる。なお、本発明の超音波接合監視方法においても同様である。
【0151】
さらに上述した実施形態では、画像処理と判定処理を一つコンピューターにより行うこととしたが、これらは、異なるコンピューターによって行うようにしてもよい。たとえば、検査工程のライン脇に画像処理のコンピューターを配置し、説明変数となる各データを算出し、そのデータをホストコンピュータなどに送って、ホストコンピュータにおいて強度推定、および判定を行うようにしてもよい。
【0152】
また、重回帰式についても、一つの重回帰式ではなく、複数の重回帰式を用いるようにしてもよい。たとえば、はじめに横幅、縦幅のみの重回帰式で判定し、推定値が不良となった場合にさらに、面積や濃淡、接合データなどを説明変数とした重回帰式で判定しなおすなどといった運用も可能である。
【0153】
そのほか、複数の説明変数を組み合わせた重回帰式を用いる場合においては、上述した組み合わせのほかにさまざまな組み合わせが可能であり、そのような場合も、一つの説明変数での場合より、精度の高い接合強度の推定、およびそれによる強度判定を行うことが可能である。また、撮影した画像から説明変数の一部が取得できない場合に、取得できなかった説明変数を含まない重回帰式で判定するといった方法をとるようにしてもよい。これは、重回帰式を用いる際に、取得できなかった説明変数の項があると、強度推定精度が落ちるので、そのような項目がはじめから存在しない重回帰式を用いる方が精度が高くなるためである。
【図面の簡単な説明】
【0154】
【図1】本発明を適用した超音波接合監視装置の構成を説明するためのブロック図である。
【図2】接合強度判定の処理手順を示すフローチャートである。
【図3】接合打痕の例を説明する模式図である。
【図4】画像処理例を示す図面であって、縦区切り線、横区切り線の間隔の算出を説明するための説明図である。
【図5】画像処理例を示す図面であって、縦区切り線、横区切り線の間隔を分割した領域ごとに算出する場合を説明するための説明図である。
【図6】画像処理例を示す図面であって、二値化画像の面積の算出を説明する説明図である。
【図7】画像処理例を示す図面であって、二値化画像の面積を分割して算出する場合を説明する説明図である。
【図8】画像処理例を示す図面であって、二値化画像の面積を分割して算出する場合を説明する説明図である。
【図9】縦区切り線の間隔(横幅Lx)を用いて接合強度を推定した場合と接合強度の実測値との相関関係を示すグラフである。
【図10】画像処理により得られたさまざまな説明変数の値を用いた予測値と実測値の相関関係を示すグラフが、説明変数を組み合わせてゆくことでどのように変化するかを説明するための説明図である。
【図11】接合強度判定のあと工具状態判定のための処理手順を含む処理手順を示すフローチャートである。
【図12】工具を傾きと二値化画像の面積の領域間の偏重度合いを示した図である。
【図13】新品と磨耗工具による二値化画像面積の関係を示す図である。
【図14】接合回数と二値化画像面積の関係を示す図面である。
【図15】二値化画像面積を用いた重回帰式によって得られた接合回数の予測値(横軸)と、実際の接合回数の実測値(縦軸)を示す図である。
【図16】破壊形態と二値化面積との関係を示す図面である。
【符号の説明】
【0155】
1 カメラ(撮影手段)、
2 コンピューター(画像処理手段、強度推定手段、判定手段、工具状態推定手段、破壊形態推定手段)、
3 照明器具、
100 被検査品、
101 略矩形状(凹凸形状)、
201 縦区切り線(第1方向)、
202 横区切り線(第2方向)。
【特許請求の範囲】
【請求項1】
被検査品の複数の凹凸形状の集合よりなる超音波接合による接合打痕を撮影する撮影手段と、
前記撮影手段より得られた前記複数の凹凸形状の集合の画像から前記凹凸形状を区切る第1方向線を検出し、当該検出した第1方向線同士の間隔(第1方向線の間隔)を求める画像処理手段と、
接合強度を目的変数とし前記第1方向線の間隔を説明変数とする重回帰式を用いて、前記被検査品の接合強度を推定する強度推定手段と、
を有することを特徴とする超音波接合監視装置。
【請求項2】
前記画像処理手段は、さらに前記撮影手段より得られた前記画像から前記第1方向線と異なる方向の前記凹凸形状を区切る第2方向線を検出して、当該検出した第2方向の線同士の間隔(第2方向線の間隔)を求め、
前記強度推定手段は、接合強度を目的変数とし前記第1方向線の間隔および前記第2方向線の間隔を説明変数とする重回帰式を用いて、前記被検査品の接合強度を推定することを特徴とする請求項1記載の超音波接合監視装置。
【請求項3】
前記画像処理手段は、得られた前記画像を任意の領域に分割し、各領域ごとに前記第1方向線の間隔を求め、
前記強度推定手段は、説明変数としてさらに各領域ごとの前記第1方向線の間隔を加えた重回帰式により接合強度を推定することを特徴とする請求項1記載の超音波接合監視装置。
【請求項4】
前記強度推定手段は、説明変数としてさらに各領域ごとの前記第1方向線の間隔の各領域間の偏重度合いを加えた重回帰式により接合強度を推定することを特徴とする請求項3記載の超音波接合監視装置。
【請求項5】
前記画像処理手段は、得られた前記画像を任意の領域に分割し、各領域ごとに前記第2方向線の間隔を求め、
前記強度推定手段は、説明変数としてさらに各領域ごとの前記第1方向線の間隔および前記第2方向線の間隔を加えた重回帰式により接合強度を推定することを特徴とする請求項2記載の超音波接合監視装置。
【請求項6】
前記強度推定手段は、説明変数としてさらに各領域ごとの前記第1方向線の間隔の各領域間の偏重度合いおよび各領域ごとの前記第2方向線の間隔の各領域間の偏重度合いを加えた重回帰式により接合強度を推定することを特徴とする請求項5記載の超音波接合監視装置。
【請求項7】
被検査品の複数の凹凸形状の集合よりなる超音波接合による接合打痕を撮影する撮影手段と、
前記撮影手段より得られた前記複数の凹凸形状の集合の画像を所定のしきい値により二値化画像として、当該二値化画像の白部分面積または黒部分面積を求める画像処理手段と、
接合強度を目的変数とし前記二値化画像の白部分面積または黒部分面積を説明変数とする重回帰式を用いて、前記被検査品の接合強度を推定する強度推定手段と、
を有することを特徴とする超音波接合監視装置。
【請求項8】
前記画像処理手段は、さらに、得られた前記画像を任意の領域に分割し、各領域ごとに前記二値化画像の白部分面積または黒部分面積を求め、
前記強度推定手段は、さらに、接合強度を目的変数とし、各領域ごとの白部分面積または黒部分面積の各領域間の偏重度合いを説明変数として加えた重回帰式により、前記被検査品の接合強度を推定することを特徴とする請求項7記載の超音波接合監視装置。
【請求項9】
被検査品の複数の凹凸形状の集合よりなる超音波接合による接合打痕を撮影する撮影手段と、
前記撮影手段より得られた前記複数の凹凸形状の集合の画像の多値階調画像から平均濃淡階調値を求める画像処理手段と、
接合強度を目的変数とし前記平均濃淡階調値を説明変数とする重回帰式を用いて、前記被検査品の接合強度を推定する強度推定手段と、
を有することを特徴とする超音波接合監視装置。
【請求項10】
被検査品の複数の凹凸形状の集合よりなる超音波接合による接合打痕を撮影する撮影手段と、
前記撮影手段より得られた前記複数の凹凸形状の集合の画像から、
(1)凹凸形状を区切る第1方向線および前記第1方向線と異なる方向の前記凹凸形状を区切る第2方向線を検出し、画像全体の第1方向の線同士の間隔(第1方向線の間隔)および第2方向の線同士の間隔(第2方向線の間隔)を求め、
(2)所定のしきい値により二値化画像として、当該二値化画像の白部分面積または黒部分面積を求め、
(3)前記画像を任意の領域に分割し、各領域ごとに前記二値化画像の白部分面積または黒部分面積、および各領域間における白部分面積または黒部分面積の偏重度合いを求め、
(4)前記画像の多値階調画像から平均濃淡階調値を求める、画像処理手段と、
接合強度を目的変数とし、画像全体の前記第1方向線の間隔および前記第2方向線の間隔、各領域ごとの前記第1方向線の間隔および前記第2方向線の間隔、各領域間の偏重度合い、画像全体の前記二値化画像の白部分面積または黒部分面積、各領域ごとの前記二値化画像の白部分面積または黒部分面積、各領域ごとの前記二値化画像の白部分面積または黒部分面積の偏重度合い、および前記平均濃淡階調値を説明変数とする重回帰式を用いて、前記被検査品の接合強度を推定する強度推定手段と、
を有することを特徴とする超音波接合監視装置。
【請求項11】
前記画像処理手段は、さらに所定の分割数に分割した各領域ごとに第1方向の線同士の間隔(第1方向線の間隔)および第2方向の線同士の間隔(第2方向線の間隔)、および各領域間における偏重度合いを求め、
強度推定手段は、説明変数としてさらに各領域ごとの前記第1方向線の間隔の各領域間の偏重度合いおよび各領域ごとの前記第2方向線の間隔の各領域間の偏重度合いを加えた重回帰式により接合強度を推定することを特徴とする請求項10記載の超音波接合監視装置。
【請求項12】
前記強度推定手段によって得られた接合強度の推定値と、あらかじめ決められている基準値とを比較して、接合強度の良不良を判定する判定手段を有することを特徴とする請求項1〜11のいずれか一つに記載の超音波接合監視装置。
【請求項13】
被検査品の複数の凹凸形状の集合よりなる超音波接合による接合打痕を撮影する段階と、
前記撮影により得られた前記複数の凹凸形状の集合の画像から凹凸形状を区切る第1方向線を検出し、当該検出した第1方向線同士の間隔(前記第1方向線の間隔)を求める段階と、
接合強度を目的変数とし前記第1方向線の間隔を説明変数とする重回帰式を用いて、前記被検査品の接合強度を推定する段階と、
を有することを特徴とする超音波接合監視方法。
【請求項14】
さらに前記撮影によって得られた前記画像から第1方向線と異なる方向の凹凸形状を区切る第2方向線を検出して、当該検出した第2方向の線同士の間隔(前記第2方向線の間隔)を求める段階と、
接合強度を目的変数とし前記第1方向線の間隔および前記第2方向線の間隔を説明変数とする重回帰式を用いて、前記被検査品の接合強度を推定する段階と、
を有することを特徴とする請求項13記載の超音波接合監視方法。
【請求項15】
得られた前記画像を任意の領域に分割し、各領域ごとに第1方向線の間隔を求め、
説明変数としてさらに各領域ごとの前記第1方向線の間隔を加えた重回帰式により接合強度を推定することを特徴とする請求項13記載の超音波接合監視方法。
【請求項16】
説明変数としてさらに各領域ごとの前記第1方向線の間隔の各領域間の偏重度合いを加えた重回帰式により接合強度を推定することを特徴とする請求項15記載の超音波接合監視方法。
【請求項17】
得られた前記画像を任意の領域に分割し、各領域ごとに前記第2方向線の間隔を求め、
説明変数としてさらに各領域ごとの前記第1方向線の間隔および前記第2方向線の間隔を加えた重回帰式により接合強度を推定することを特徴とする請求項14記載の超音波接合監視方法。
【請求項18】
説明変数としてさらに各領域ごとの前記第1方向線の間隔の各領域間の偏重度合いおよび各領域ごとの前記第2方向線の間隔の各領域間の偏重度合いを加えた重回帰式により接合強度を推定することを特徴とする請求項17記載の超音波接合監視方法。
【請求項19】
被検査品の複数の凹凸形状の集合よりなる超音波接合による接合打痕を撮影する段階と、
前記撮影により得られた前記複数の凹凸形状の集合の画像を所定のしきい値により二値化画像として、当該二値化画像の白部分面積または黒部分面積を求める段階と、
接合強度を目的変数とし前記二値化画像の白部分面積または黒部分面積を説明変数とする重回帰式を用いて、前記被検査品の接合強度を推定する段階と、
を有することを特徴とする超音波接合監視方法。
【請求項20】
さらに、得られた前記画像を任意の領域に分割し、各領域ごとに前記二値化画像の白部分面積または黒部分面積を求める段階と、
接合強度を目的変数とし、さらに前記各領域ごとの白部分面積または黒部分面積の偏重度合いを説明変数として加えた重回帰式により、接合強度により接合強度を推定する段階を有することを特徴とする請求項19記載の超音波接合監視方法。
【請求項21】
被検査品の複数の凹凸形状の集合よりなる超音波接合による接合打痕を撮影する段階と、
前記撮影により得られた前記複数の凹凸形状の集合の画像の多値階調画像から平均濃淡階調値を求める段階と、
接合強度を目的変数とし前記平均濃淡階調値を説明変数とする重回帰式を用いて、前記被検査品の接合強度を推定する段階と、
を有することを特徴とする超音波接合監視方法。
【請求項22】
被検査品の複数の凹凸形状の集合よりなる超音波接合による接合打痕を撮影する段階と、
前記撮影により得られた前記複数の凹凸形状の集合の画像から、
(1)凹凸形状を区切る第1方向線および前記第1方向線と異なる方向の前記凹凸形状を区切る第2方向線を検出し、画像全体の第1方向の線同士の間隔(第1方向線の間隔)および第2方向の線同士の間隔(第2方向線の間隔)を求め、
(2)所定のしきい値により二値化画像として、当該二値化画像の白部分面積または黒部分面積を求め、
(3)前記画像を任意の領域に分割し、各領域ごとに前記二値化画像の白部分面積または黒部分面積、および各領域間における白部分面積または黒部分面積の偏重度合いを求め、
(4)前記画像の多値階調画像から平均濃淡階調値を求める段階と、
接合強度を目的変数とし、画像全体の前記第1方向線の間隔および前記第2方向線の間隔、各領域ごとの前記第1方向線の間隔および前記第2方向線の間隔、各領域間の偏重度合い、画像全体の前記二値化画像の白部分面積または黒部分面積、各領域ごとの前記二値化画像の白部分面積または黒部分面積、各領域ごとの前記二値化画像の白部分面積または黒部分面積の偏重度合い、および前記平均濃淡階調値を説明変数とする重回帰式を用いて、前記被検査品の接合強度を推定する段階と、
を有することを特徴とする超音波接合監視方法。
【請求項23】
さらに所定の分割数に分割した各領域ごとに第1方向の線同士の間隔(第1方向線の間隔)および第2方向の線同士の間隔(第2方向線の間隔)、および各領域間における偏重度合いを求める段階を有し、
前記被検査品の接合強度を推定する段階は、説明変数としてさらに各領域ごとの前記第1方向線の間隔の各領域間の偏重度合いおよび各領域ごとの前記第2方向線の間隔の各領域間の偏重度合いを加えた重回帰式により接合強度を推定することを特徴とする請求項22記載の超音波接合監視方法。
【請求項24】
前記推定された接合強度の推定値と、あらかじめ決められている基準値とを比較して、接合強度の良不良を判定することを特徴とする請求項13〜23のいずれか一つに記載の超音波接合監視方法。
【請求項25】
超音波接合を行う工具の状態を目的変数とし前記二値化画像の白部分面積または黒部分面積を説明変数とする重回帰式を用いて、前記工具の状態を推定する工具状態推定手段を、さらに有することを特徴とする請求項7記載の超音波接合監視装置。
【請求項26】
超音波接合を行う工具の状態を目的変数とし前記二値化画像の白部分面積または黒部分面積を説明変数とする重回帰式に、前記分割された画像の各領域ごとの白部分面積または黒部分面積の各領域間の偏重度合いを説明変数として加えた重回帰式により、前記工具の状態を推定する工具状態推定手段を、さらに有することを特徴とする請求項8記載の超音波接合監視装置。
【請求項27】
前記工具状態推定手段は、さらに、超音波接合の接合回数を目的変数とし、前記分割された画像の各領域ごとの白部分面積または黒部分面積を説明変数とした重回帰式から、前記工具を使用した接合回数を予測することを特徴とする請求項26記載の超音波接合監視装置。
【請求項28】
超音波接合を行う工具の状態を目的変数とし前記平均濃淡階調値を説明変数とする重回帰式を用いて、前記工具の状態を推定する工具状態推定手段を、さらに有することを特徴とする請求項9記載の超音波接合監視装置。
【請求項29】
前記画像処理手段は、さらに、得られた前記画像を任意の領域に分割し、各領域ごとに前記平均濃淡階調値を求め、
超音波接合を行う工具の状態を目的変数とし前記平均濃淡階調値を説明変数とする重回帰式に、前記分割された画像の各領域ごとの平均濃淡階調値の各領域間の偏重度合いを説明変数として加えた重回帰式により、前記工具の状態を推定する工具状態推定手段を、さらに有することを特徴とする請求項9記載の超音波接合監視装置。
【請求項30】
前記工具状態推定手段は、さらに、超音波接合の接合回数を目的変数とし、前記分割された画像の各領域ごとの平均濃淡階調値を説明変数とした重回帰式から、前記工具を使用した接合回数を予測することを特徴とする請求項29記載の超音波接合監視装置。
【請求項31】
前記強度推定手段によって得られた接合強度の推定値とあらかじめ決められている基準値とを比較して接合強度の良不良を判定すると共に、前記工具状態推定手段によって前記推定された工具の状態とあらかじめ決められている工具の状態の基準とを比較して工具の状態が超音波接合可能な状態か否かを判定する判定手段を有することを特徴とする請求項25〜30のいずれか一つに記載の超音波接合監視装置。
【請求項32】
接合部分の破壊形態を目的変数とし前記第1方向線の間隔および/または第2方向線の間隔を説明変数とする重回帰式を用いて、前記接合部分の破壊形態を推定する破壊形態推定手段を、さらに有することを特徴とする請求項2記載の超音波接合監視装置。
【請求項33】
接合部分の破壊形態を目的変数とし、各領域ごとの前記第1方向線の間隔の各領域間の偏重度合いおよび/または各領域ごとの前記第2方向線の間隔の各領域間の偏重度合いを説明変数とする重回帰式を用いて、前記接合部分の破壊形態を推定する破壊形態推定手段を、さらに有することを特徴とする請求項6記載の超音波接合監視装置。
【請求項34】
接合部分の破壊形態を目的変数とし前記二値化画像の白部分面積または黒部分面積を説明変数とする重回帰式を用いて、前記接合部分の破壊形態を推定する破壊形態推定手段を、さらに有することを特徴とする請求項7記載の超音波接合監視装置。
【請求項35】
接合部分の破壊形態を目的変数とし前記二値化画像の白部分面積または黒部分面積を説明変数とする重回帰式に、前記分割された画像の各領域ごとの白部分面積または黒部分面積の各領域間の偏重度合いを説明変数として加えた重回帰式により、前記接合部分の破壊形態を推定する破壊形態推定手段を、さらに有することを特徴とする請求項8記載の超音波接合監視装置。
【請求項36】
接合部分の破壊形態を目的変数とし前記平均濃淡階調値を説明変数とする重回帰式を用いて、前記接合部分の破壊形態を推定する破壊形態推定手段を、さらに有することを特徴とする請求項9記載の超音波接合監視装置。
【請求項37】
前記画像処理手段は、さらに、得られた前記画像を任意の領域に分割し、各領域ごとに前記平均濃淡階調値を求め、
接合部分の破壊形態を目的変数とし前記平均濃淡階調値を説明変数とする重回帰式に、前記分割された画像の各領域ごとの平均濃淡階調値の各領域間の偏重度合いを説明変数として加えた重回帰式により、前記接合部分の破壊形態を推定する破壊形態推定手段を、さらに有することを特徴とする請求項9記載の超音波接合監視装置。
【請求項38】
前記二値化画像の白部分面積または黒部分面積を求める段階の後、超音波接合を行う工具の状態を目的変数とし前記二値化画像の白部分面積または黒部分面積を説明変数とする重回帰式を用いて前記工具の状態を推定する段階を、さらに有することを特徴とする請求項19記載の超音波接合監視方法。
【請求項39】
前記前記画像を任意の領域に分割し、各領域ごとに前記二値化画像の白部分面積または黒部分面積を求める段階の後、超音波接合を行う工具の状態を目的変数とし前記二値化画像の白部分面積または黒部分面積を説明変数とする重回帰式に、前記分割された画像の各領域ごとの白部分面積または黒部分面積の各領域間の偏重度合いを説明変数として加えた重回帰式により、前記工具の状態を推定する段階を、さらに有することを特徴とする請求項20記載の超音波接合監視方法。
【請求項40】
さらに、超音波接合の接合回数を目的変数とし、前記分割された画像の各領域ごとの白部分面積または黒部分面積を説明変数とした重回帰式から、前記工具を使用した接合回数を予測する段階を有することを特徴とする請求項33記載の超音波接合監視方法。
【請求項41】
前記平均濃淡階調値を求める段階の後、超音波接合を行う工具の状態を目的変数とし前記平均濃淡階調値を説明変数とする重回帰式を用いて、前記工具の状態を推定する段階を、さらに有することを特徴とする請求項21記載の超音波接合監視方法。
【請求項42】
前記平均濃淡階調値を求める段階の後、さらに、得られた前記画像を任意の領域に分割し、各領域ごとに前記平均濃淡階調値を求める段階と、
超音波接合を行う工具の状態を目的変数とし前記平均濃淡階調値を説明変数とする重回帰式に、前記分割された画像の各領域ごとの平均濃淡階調値の各領域間の偏重度合いを説明変数として加えた重回帰式により、前記工具の状態を推定する段階を、さらに有することを特徴とする請求項21記載の超音波接合監視方法。
【請求項43】
さらに、超音波接合の接合回数を目的変数とし、前記分割された画像の各領域ごとの平均濃淡階調値を説明変数とした重回帰式から、前記工具を使用した接合回数を予測する段階を有することを特徴とする請求項42記載の超音波接合監視方法。
【請求項44】
前記推定された接合強度の推定値とあらかじめ決められている基準値とを比較して接合強度の良不良を判定すると共に、前記推定された工具の状態とあらかじめ決められている工具の状態の基準とを比較して工具の状態が超音波接合可能な状態か否かを判定する判定手段を有することを特徴とする請求項38〜43のいずれか一つに記載の超音波接合監視方法。
【請求項45】
接合部分の破壊形態を目的変数とし前記第1方向線の間隔および/または第2方向線の間隔を説明変数とする重回帰式を用いて、前記接合部分の破壊形態を推定する段階を、さらに有することを特徴とする請求項14記載の超音波接合監視方法。
【請求項46】
接合部分の破壊形態を目的変数とし、各領域ごとの前記第1方向線の間隔の各領域間の偏重度合いおよび/または各領域ごとの前記第2方向線の間隔の各領域間の偏重度合いを説明変数とする重回帰式を用いて、前記接合部分の破壊形態を推定する段階を、さらに有することを特徴とする請求項18記載の超音波接合監視方法。
【請求項47】
接合部分の破壊形態を目的変数とし前記二値化画像の白部分面積または黒部分面積を説明変数とする重回帰式を用いて、前記接合部分の破壊形態を推定する段階を、さらに有することを特徴とする請求項19記載の超音波接合監視方法。
【請求項48】
接合部分の破壊形態を目的変数とし前記二値化画像の白部分面積または黒部分面積を説明変数とする重回帰式に、前記分割された画像の各領域ごとの白部分面積または黒部分面積の各領域間の偏重度合いを説明変数として加えた重回帰式により、前記接合部分の破壊形態を推定する段階を、さらに有することを特徴とする請求項20記載の超音波接合監視方法。
【請求項49】
接合部分の破壊形態を目的変数とし前記平均濃淡階調値を説明変数とする重回帰式を用いて、前記接合部分の破壊形態を推定する段階を、さらに有することを特徴とする請求項21記載の超音波接合監視方法。
【請求項50】
前記画像処理手段は、さらに、得られた前記画像を任意の領域に分割し、各領域ごとに前記平均濃淡階調値を求め、
接合部分の破壊形態を目的変数とし前記平均濃淡階調値を説明変数とする重回帰式に、前記分割された画像の各領域ごとの平均濃淡階調値の各領域間の偏重度合いを説明変数として加えた重回帰式により、前記接合部分の破壊形態を推定する段階を、さらに有することを特徴とする請求項21記載の超音波接合監視方法。
【請求項1】
被検査品の複数の凹凸形状の集合よりなる超音波接合による接合打痕を撮影する撮影手段と、
前記撮影手段より得られた前記複数の凹凸形状の集合の画像から前記凹凸形状を区切る第1方向線を検出し、当該検出した第1方向線同士の間隔(第1方向線の間隔)を求める画像処理手段と、
接合強度を目的変数とし前記第1方向線の間隔を説明変数とする重回帰式を用いて、前記被検査品の接合強度を推定する強度推定手段と、
を有することを特徴とする超音波接合監視装置。
【請求項2】
前記画像処理手段は、さらに前記撮影手段より得られた前記画像から前記第1方向線と異なる方向の前記凹凸形状を区切る第2方向線を検出して、当該検出した第2方向の線同士の間隔(第2方向線の間隔)を求め、
前記強度推定手段は、接合強度を目的変数とし前記第1方向線の間隔および前記第2方向線の間隔を説明変数とする重回帰式を用いて、前記被検査品の接合強度を推定することを特徴とする請求項1記載の超音波接合監視装置。
【請求項3】
前記画像処理手段は、得られた前記画像を任意の領域に分割し、各領域ごとに前記第1方向線の間隔を求め、
前記強度推定手段は、説明変数としてさらに各領域ごとの前記第1方向線の間隔を加えた重回帰式により接合強度を推定することを特徴とする請求項1記載の超音波接合監視装置。
【請求項4】
前記強度推定手段は、説明変数としてさらに各領域ごとの前記第1方向線の間隔の各領域間の偏重度合いを加えた重回帰式により接合強度を推定することを特徴とする請求項3記載の超音波接合監視装置。
【請求項5】
前記画像処理手段は、得られた前記画像を任意の領域に分割し、各領域ごとに前記第2方向線の間隔を求め、
前記強度推定手段は、説明変数としてさらに各領域ごとの前記第1方向線の間隔および前記第2方向線の間隔を加えた重回帰式により接合強度を推定することを特徴とする請求項2記載の超音波接合監視装置。
【請求項6】
前記強度推定手段は、説明変数としてさらに各領域ごとの前記第1方向線の間隔の各領域間の偏重度合いおよび各領域ごとの前記第2方向線の間隔の各領域間の偏重度合いを加えた重回帰式により接合強度を推定することを特徴とする請求項5記載の超音波接合監視装置。
【請求項7】
被検査品の複数の凹凸形状の集合よりなる超音波接合による接合打痕を撮影する撮影手段と、
前記撮影手段より得られた前記複数の凹凸形状の集合の画像を所定のしきい値により二値化画像として、当該二値化画像の白部分面積または黒部分面積を求める画像処理手段と、
接合強度を目的変数とし前記二値化画像の白部分面積または黒部分面積を説明変数とする重回帰式を用いて、前記被検査品の接合強度を推定する強度推定手段と、
を有することを特徴とする超音波接合監視装置。
【請求項8】
前記画像処理手段は、さらに、得られた前記画像を任意の領域に分割し、各領域ごとに前記二値化画像の白部分面積または黒部分面積を求め、
前記強度推定手段は、さらに、接合強度を目的変数とし、各領域ごとの白部分面積または黒部分面積の各領域間の偏重度合いを説明変数として加えた重回帰式により、前記被検査品の接合強度を推定することを特徴とする請求項7記載の超音波接合監視装置。
【請求項9】
被検査品の複数の凹凸形状の集合よりなる超音波接合による接合打痕を撮影する撮影手段と、
前記撮影手段より得られた前記複数の凹凸形状の集合の画像の多値階調画像から平均濃淡階調値を求める画像処理手段と、
接合強度を目的変数とし前記平均濃淡階調値を説明変数とする重回帰式を用いて、前記被検査品の接合強度を推定する強度推定手段と、
を有することを特徴とする超音波接合監視装置。
【請求項10】
被検査品の複数の凹凸形状の集合よりなる超音波接合による接合打痕を撮影する撮影手段と、
前記撮影手段より得られた前記複数の凹凸形状の集合の画像から、
(1)凹凸形状を区切る第1方向線および前記第1方向線と異なる方向の前記凹凸形状を区切る第2方向線を検出し、画像全体の第1方向の線同士の間隔(第1方向線の間隔)および第2方向の線同士の間隔(第2方向線の間隔)を求め、
(2)所定のしきい値により二値化画像として、当該二値化画像の白部分面積または黒部分面積を求め、
(3)前記画像を任意の領域に分割し、各領域ごとに前記二値化画像の白部分面積または黒部分面積、および各領域間における白部分面積または黒部分面積の偏重度合いを求め、
(4)前記画像の多値階調画像から平均濃淡階調値を求める、画像処理手段と、
接合強度を目的変数とし、画像全体の前記第1方向線の間隔および前記第2方向線の間隔、各領域ごとの前記第1方向線の間隔および前記第2方向線の間隔、各領域間の偏重度合い、画像全体の前記二値化画像の白部分面積または黒部分面積、各領域ごとの前記二値化画像の白部分面積または黒部分面積、各領域ごとの前記二値化画像の白部分面積または黒部分面積の偏重度合い、および前記平均濃淡階調値を説明変数とする重回帰式を用いて、前記被検査品の接合強度を推定する強度推定手段と、
を有することを特徴とする超音波接合監視装置。
【請求項11】
前記画像処理手段は、さらに所定の分割数に分割した各領域ごとに第1方向の線同士の間隔(第1方向線の間隔)および第2方向の線同士の間隔(第2方向線の間隔)、および各領域間における偏重度合いを求め、
強度推定手段は、説明変数としてさらに各領域ごとの前記第1方向線の間隔の各領域間の偏重度合いおよび各領域ごとの前記第2方向線の間隔の各領域間の偏重度合いを加えた重回帰式により接合強度を推定することを特徴とする請求項10記載の超音波接合監視装置。
【請求項12】
前記強度推定手段によって得られた接合強度の推定値と、あらかじめ決められている基準値とを比較して、接合強度の良不良を判定する判定手段を有することを特徴とする請求項1〜11のいずれか一つに記載の超音波接合監視装置。
【請求項13】
被検査品の複数の凹凸形状の集合よりなる超音波接合による接合打痕を撮影する段階と、
前記撮影により得られた前記複数の凹凸形状の集合の画像から凹凸形状を区切る第1方向線を検出し、当該検出した第1方向線同士の間隔(前記第1方向線の間隔)を求める段階と、
接合強度を目的変数とし前記第1方向線の間隔を説明変数とする重回帰式を用いて、前記被検査品の接合強度を推定する段階と、
を有することを特徴とする超音波接合監視方法。
【請求項14】
さらに前記撮影によって得られた前記画像から第1方向線と異なる方向の凹凸形状を区切る第2方向線を検出して、当該検出した第2方向の線同士の間隔(前記第2方向線の間隔)を求める段階と、
接合強度を目的変数とし前記第1方向線の間隔および前記第2方向線の間隔を説明変数とする重回帰式を用いて、前記被検査品の接合強度を推定する段階と、
を有することを特徴とする請求項13記載の超音波接合監視方法。
【請求項15】
得られた前記画像を任意の領域に分割し、各領域ごとに第1方向線の間隔を求め、
説明変数としてさらに各領域ごとの前記第1方向線の間隔を加えた重回帰式により接合強度を推定することを特徴とする請求項13記載の超音波接合監視方法。
【請求項16】
説明変数としてさらに各領域ごとの前記第1方向線の間隔の各領域間の偏重度合いを加えた重回帰式により接合強度を推定することを特徴とする請求項15記載の超音波接合監視方法。
【請求項17】
得られた前記画像を任意の領域に分割し、各領域ごとに前記第2方向線の間隔を求め、
説明変数としてさらに各領域ごとの前記第1方向線の間隔および前記第2方向線の間隔を加えた重回帰式により接合強度を推定することを特徴とする請求項14記載の超音波接合監視方法。
【請求項18】
説明変数としてさらに各領域ごとの前記第1方向線の間隔の各領域間の偏重度合いおよび各領域ごとの前記第2方向線の間隔の各領域間の偏重度合いを加えた重回帰式により接合強度を推定することを特徴とする請求項17記載の超音波接合監視方法。
【請求項19】
被検査品の複数の凹凸形状の集合よりなる超音波接合による接合打痕を撮影する段階と、
前記撮影により得られた前記複数の凹凸形状の集合の画像を所定のしきい値により二値化画像として、当該二値化画像の白部分面積または黒部分面積を求める段階と、
接合強度を目的変数とし前記二値化画像の白部分面積または黒部分面積を説明変数とする重回帰式を用いて、前記被検査品の接合強度を推定する段階と、
を有することを特徴とする超音波接合監視方法。
【請求項20】
さらに、得られた前記画像を任意の領域に分割し、各領域ごとに前記二値化画像の白部分面積または黒部分面積を求める段階と、
接合強度を目的変数とし、さらに前記各領域ごとの白部分面積または黒部分面積の偏重度合いを説明変数として加えた重回帰式により、接合強度により接合強度を推定する段階を有することを特徴とする請求項19記載の超音波接合監視方法。
【請求項21】
被検査品の複数の凹凸形状の集合よりなる超音波接合による接合打痕を撮影する段階と、
前記撮影により得られた前記複数の凹凸形状の集合の画像の多値階調画像から平均濃淡階調値を求める段階と、
接合強度を目的変数とし前記平均濃淡階調値を説明変数とする重回帰式を用いて、前記被検査品の接合強度を推定する段階と、
を有することを特徴とする超音波接合監視方法。
【請求項22】
被検査品の複数の凹凸形状の集合よりなる超音波接合による接合打痕を撮影する段階と、
前記撮影により得られた前記複数の凹凸形状の集合の画像から、
(1)凹凸形状を区切る第1方向線および前記第1方向線と異なる方向の前記凹凸形状を区切る第2方向線を検出し、画像全体の第1方向の線同士の間隔(第1方向線の間隔)および第2方向の線同士の間隔(第2方向線の間隔)を求め、
(2)所定のしきい値により二値化画像として、当該二値化画像の白部分面積または黒部分面積を求め、
(3)前記画像を任意の領域に分割し、各領域ごとに前記二値化画像の白部分面積または黒部分面積、および各領域間における白部分面積または黒部分面積の偏重度合いを求め、
(4)前記画像の多値階調画像から平均濃淡階調値を求める段階と、
接合強度を目的変数とし、画像全体の前記第1方向線の間隔および前記第2方向線の間隔、各領域ごとの前記第1方向線の間隔および前記第2方向線の間隔、各領域間の偏重度合い、画像全体の前記二値化画像の白部分面積または黒部分面積、各領域ごとの前記二値化画像の白部分面積または黒部分面積、各領域ごとの前記二値化画像の白部分面積または黒部分面積の偏重度合い、および前記平均濃淡階調値を説明変数とする重回帰式を用いて、前記被検査品の接合強度を推定する段階と、
を有することを特徴とする超音波接合監視方法。
【請求項23】
さらに所定の分割数に分割した各領域ごとに第1方向の線同士の間隔(第1方向線の間隔)および第2方向の線同士の間隔(第2方向線の間隔)、および各領域間における偏重度合いを求める段階を有し、
前記被検査品の接合強度を推定する段階は、説明変数としてさらに各領域ごとの前記第1方向線の間隔の各領域間の偏重度合いおよび各領域ごとの前記第2方向線の間隔の各領域間の偏重度合いを加えた重回帰式により接合強度を推定することを特徴とする請求項22記載の超音波接合監視方法。
【請求項24】
前記推定された接合強度の推定値と、あらかじめ決められている基準値とを比較して、接合強度の良不良を判定することを特徴とする請求項13〜23のいずれか一つに記載の超音波接合監視方法。
【請求項25】
超音波接合を行う工具の状態を目的変数とし前記二値化画像の白部分面積または黒部分面積を説明変数とする重回帰式を用いて、前記工具の状態を推定する工具状態推定手段を、さらに有することを特徴とする請求項7記載の超音波接合監視装置。
【請求項26】
超音波接合を行う工具の状態を目的変数とし前記二値化画像の白部分面積または黒部分面積を説明変数とする重回帰式に、前記分割された画像の各領域ごとの白部分面積または黒部分面積の各領域間の偏重度合いを説明変数として加えた重回帰式により、前記工具の状態を推定する工具状態推定手段を、さらに有することを特徴とする請求項8記載の超音波接合監視装置。
【請求項27】
前記工具状態推定手段は、さらに、超音波接合の接合回数を目的変数とし、前記分割された画像の各領域ごとの白部分面積または黒部分面積を説明変数とした重回帰式から、前記工具を使用した接合回数を予測することを特徴とする請求項26記載の超音波接合監視装置。
【請求項28】
超音波接合を行う工具の状態を目的変数とし前記平均濃淡階調値を説明変数とする重回帰式を用いて、前記工具の状態を推定する工具状態推定手段を、さらに有することを特徴とする請求項9記載の超音波接合監視装置。
【請求項29】
前記画像処理手段は、さらに、得られた前記画像を任意の領域に分割し、各領域ごとに前記平均濃淡階調値を求め、
超音波接合を行う工具の状態を目的変数とし前記平均濃淡階調値を説明変数とする重回帰式に、前記分割された画像の各領域ごとの平均濃淡階調値の各領域間の偏重度合いを説明変数として加えた重回帰式により、前記工具の状態を推定する工具状態推定手段を、さらに有することを特徴とする請求項9記載の超音波接合監視装置。
【請求項30】
前記工具状態推定手段は、さらに、超音波接合の接合回数を目的変数とし、前記分割された画像の各領域ごとの平均濃淡階調値を説明変数とした重回帰式から、前記工具を使用した接合回数を予測することを特徴とする請求項29記載の超音波接合監視装置。
【請求項31】
前記強度推定手段によって得られた接合強度の推定値とあらかじめ決められている基準値とを比較して接合強度の良不良を判定すると共に、前記工具状態推定手段によって前記推定された工具の状態とあらかじめ決められている工具の状態の基準とを比較して工具の状態が超音波接合可能な状態か否かを判定する判定手段を有することを特徴とする請求項25〜30のいずれか一つに記載の超音波接合監視装置。
【請求項32】
接合部分の破壊形態を目的変数とし前記第1方向線の間隔および/または第2方向線の間隔を説明変数とする重回帰式を用いて、前記接合部分の破壊形態を推定する破壊形態推定手段を、さらに有することを特徴とする請求項2記載の超音波接合監視装置。
【請求項33】
接合部分の破壊形態を目的変数とし、各領域ごとの前記第1方向線の間隔の各領域間の偏重度合いおよび/または各領域ごとの前記第2方向線の間隔の各領域間の偏重度合いを説明変数とする重回帰式を用いて、前記接合部分の破壊形態を推定する破壊形態推定手段を、さらに有することを特徴とする請求項6記載の超音波接合監視装置。
【請求項34】
接合部分の破壊形態を目的変数とし前記二値化画像の白部分面積または黒部分面積を説明変数とする重回帰式を用いて、前記接合部分の破壊形態を推定する破壊形態推定手段を、さらに有することを特徴とする請求項7記載の超音波接合監視装置。
【請求項35】
接合部分の破壊形態を目的変数とし前記二値化画像の白部分面積または黒部分面積を説明変数とする重回帰式に、前記分割された画像の各領域ごとの白部分面積または黒部分面積の各領域間の偏重度合いを説明変数として加えた重回帰式により、前記接合部分の破壊形態を推定する破壊形態推定手段を、さらに有することを特徴とする請求項8記載の超音波接合監視装置。
【請求項36】
接合部分の破壊形態を目的変数とし前記平均濃淡階調値を説明変数とする重回帰式を用いて、前記接合部分の破壊形態を推定する破壊形態推定手段を、さらに有することを特徴とする請求項9記載の超音波接合監視装置。
【請求項37】
前記画像処理手段は、さらに、得られた前記画像を任意の領域に分割し、各領域ごとに前記平均濃淡階調値を求め、
接合部分の破壊形態を目的変数とし前記平均濃淡階調値を説明変数とする重回帰式に、前記分割された画像の各領域ごとの平均濃淡階調値の各領域間の偏重度合いを説明変数として加えた重回帰式により、前記接合部分の破壊形態を推定する破壊形態推定手段を、さらに有することを特徴とする請求項9記載の超音波接合監視装置。
【請求項38】
前記二値化画像の白部分面積または黒部分面積を求める段階の後、超音波接合を行う工具の状態を目的変数とし前記二値化画像の白部分面積または黒部分面積を説明変数とする重回帰式を用いて前記工具の状態を推定する段階を、さらに有することを特徴とする請求項19記載の超音波接合監視方法。
【請求項39】
前記前記画像を任意の領域に分割し、各領域ごとに前記二値化画像の白部分面積または黒部分面積を求める段階の後、超音波接合を行う工具の状態を目的変数とし前記二値化画像の白部分面積または黒部分面積を説明変数とする重回帰式に、前記分割された画像の各領域ごとの白部分面積または黒部分面積の各領域間の偏重度合いを説明変数として加えた重回帰式により、前記工具の状態を推定する段階を、さらに有することを特徴とする請求項20記載の超音波接合監視方法。
【請求項40】
さらに、超音波接合の接合回数を目的変数とし、前記分割された画像の各領域ごとの白部分面積または黒部分面積を説明変数とした重回帰式から、前記工具を使用した接合回数を予測する段階を有することを特徴とする請求項33記載の超音波接合監視方法。
【請求項41】
前記平均濃淡階調値を求める段階の後、超音波接合を行う工具の状態を目的変数とし前記平均濃淡階調値を説明変数とする重回帰式を用いて、前記工具の状態を推定する段階を、さらに有することを特徴とする請求項21記載の超音波接合監視方法。
【請求項42】
前記平均濃淡階調値を求める段階の後、さらに、得られた前記画像を任意の領域に分割し、各領域ごとに前記平均濃淡階調値を求める段階と、
超音波接合を行う工具の状態を目的変数とし前記平均濃淡階調値を説明変数とする重回帰式に、前記分割された画像の各領域ごとの平均濃淡階調値の各領域間の偏重度合いを説明変数として加えた重回帰式により、前記工具の状態を推定する段階を、さらに有することを特徴とする請求項21記載の超音波接合監視方法。
【請求項43】
さらに、超音波接合の接合回数を目的変数とし、前記分割された画像の各領域ごとの平均濃淡階調値を説明変数とした重回帰式から、前記工具を使用した接合回数を予測する段階を有することを特徴とする請求項42記載の超音波接合監視方法。
【請求項44】
前記推定された接合強度の推定値とあらかじめ決められている基準値とを比較して接合強度の良不良を判定すると共に、前記推定された工具の状態とあらかじめ決められている工具の状態の基準とを比較して工具の状態が超音波接合可能な状態か否かを判定する判定手段を有することを特徴とする請求項38〜43のいずれか一つに記載の超音波接合監視方法。
【請求項45】
接合部分の破壊形態を目的変数とし前記第1方向線の間隔および/または第2方向線の間隔を説明変数とする重回帰式を用いて、前記接合部分の破壊形態を推定する段階を、さらに有することを特徴とする請求項14記載の超音波接合監視方法。
【請求項46】
接合部分の破壊形態を目的変数とし、各領域ごとの前記第1方向線の間隔の各領域間の偏重度合いおよび/または各領域ごとの前記第2方向線の間隔の各領域間の偏重度合いを説明変数とする重回帰式を用いて、前記接合部分の破壊形態を推定する段階を、さらに有することを特徴とする請求項18記載の超音波接合監視方法。
【請求項47】
接合部分の破壊形態を目的変数とし前記二値化画像の白部分面積または黒部分面積を説明変数とする重回帰式を用いて、前記接合部分の破壊形態を推定する段階を、さらに有することを特徴とする請求項19記載の超音波接合監視方法。
【請求項48】
接合部分の破壊形態を目的変数とし前記二値化画像の白部分面積または黒部分面積を説明変数とする重回帰式に、前記分割された画像の各領域ごとの白部分面積または黒部分面積の各領域間の偏重度合いを説明変数として加えた重回帰式により、前記接合部分の破壊形態を推定する段階を、さらに有することを特徴とする請求項20記載の超音波接合監視方法。
【請求項49】
接合部分の破壊形態を目的変数とし前記平均濃淡階調値を説明変数とする重回帰式を用いて、前記接合部分の破壊形態を推定する段階を、さらに有することを特徴とする請求項21記載の超音波接合監視方法。
【請求項50】
前記画像処理手段は、さらに、得られた前記画像を任意の領域に分割し、各領域ごとに前記平均濃淡階調値を求め、
接合部分の破壊形態を目的変数とし前記平均濃淡階調値を説明変数とする重回帰式に、前記分割された画像の各領域ごとの平均濃淡階調値の各領域間の偏重度合いを説明変数として加えた重回帰式により、前記接合部分の破壊形態を推定する段階を、さらに有することを特徴とする請求項21記載の超音波接合監視方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図9】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図6】
【図7】
【図8】
【図10】
【図2】
【図3】
【図4】
【図5】
【図9】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図6】
【図7】
【図8】
【図10】
【公開番号】特開2009−103691(P2009−103691A)
【公開日】平成21年5月14日(2009.5.14)
【国際特許分類】
【出願番号】特願2008−243160(P2008−243160)
【出願日】平成20年9月22日(2008.9.22)
【出願人】(000003997)日産自動車株式会社 (16,386)
【Fターム(参考)】
【公開日】平成21年5月14日(2009.5.14)
【国際特許分類】
【出願日】平成20年9月22日(2008.9.22)
【出願人】(000003997)日産自動車株式会社 (16,386)
【Fターム(参考)】
[ Back to top ]