画像処理装置及び画像処理方法
【課題】溶接欠陥の判別に用いられ、ビードの形状を正確に認識可能であり、画像処理負荷を低減可能とする画像処理装置及び画像処理方法を提供する。
【解決手段】レーザ溶接の溶接部分の画像に基づいて溶接部分に形成されるビードｍの形状を認識する画像処理装置において、レーザ溶接時の残熱発光が生じている溶接部分を撮影し、かつ取り込んだ画像に対応して、複数の基準線Ｌを設定する基準線設定部１１と、残熱発光の輝度Ｈがビードｍの輪郭線を識別するように設定した輝度閾値ｈより大きくなっている領域と、残熱発光の輝度Ｈが輝度閾値ｈより小さくなっている領域との間の境界が基準線Ｌと交差する箇所に、輪郭点ｐを形成する輪郭点形成部１２と、同一基準線Ｌ上における２つの輪郭点ｐ間に中間点ｑを形成する中間点形成部１３と、複数の輪郭点ｐに基づいて輪郭線Ｐを形成する輪郭線形成部１４とを備える画像処理装置。当該画像処理装置を用いた画像処理方法。
【解決手段】レーザ溶接の溶接部分の画像に基づいて溶接部分に形成されるビードｍの形状を認識する画像処理装置において、レーザ溶接時の残熱発光が生じている溶接部分を撮影し、かつ取り込んだ画像に対応して、複数の基準線Ｌを設定する基準線設定部１１と、残熱発光の輝度Ｈがビードｍの輪郭線を識別するように設定した輝度閾値ｈより大きくなっている領域と、残熱発光の輝度Ｈが輝度閾値ｈより小さくなっている領域との間の境界が基準線Ｌと交差する箇所に、輪郭点ｐを形成する輪郭点形成部１２と、同一基準線Ｌ上における２つの輪郭点ｐ間に中間点ｑを形成する中間点形成部１３と、複数の輪郭点ｐに基づいて輪郭線Ｐを形成する輪郭線形成部１４とを備える画像処理装置。当該画像処理装置を用いた画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、レーザ溶接の溶接部分の画像に基づいて溶接部分に形成されるビードの形状を認識する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
レーザ溶接等の溶接の分野においては、溶接品質を高めるために、溶接部分のビードの形状を解析すること、欠陥孔を識別すること等によって、溶接欠陥の有無を検査している。このような検査は、主に生産現場の溶接工程の後工程、又は溶接工程中に行なわれている。
【０００３】
溶接工程の後工程の検査については、溶接工程後の溶接対象物に光（いわゆる「バックライト」）を照射することによって、溶接部分の欠陥孔を識別すること（いわゆる「バックライト方式の検査」）等が行なわれている。この検査では、溶接対象物に欠陥孔が発生している場合、照射した光が欠陥孔を透過するので、溶接部分の欠陥孔が識別されることとなる。しかしながら、生産現場では生産効率を高めるために工程数を減らすことが要求されている。そのため、溶接工程中に検査を行うことが望まれている。
【０００４】
そこで、溶接工程中の検査として、例えば、特許文献１及び特許文献２のように、溶接中に発せられるレーザ光が大きくなっている間に、溶接部分の光をカメラによって撮影し、撮影した画像を解析することによって、ビードの形状を解析し、溶接部分の欠陥を判別している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−０５４８７９号公報
【特許文献２】特開２００４−３１４０８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、溶接中のレーザ光が大きくなっている間にはプラズマ光が発生するので、特許文献１及び特許文献２の検査では、このようなプラズマ光の影響によって、ビードの形状を正確に認識できず、検査装置等の画像上でビードの形状を正確に形成できないことがある。一方で、ビードの形状を正確に認識でき、かつ検査装置等の画像上でビードの形状を正確に形成できたとしても、ビードの形状が鮮明となることによって、処理される画像データが増加し、画像処理の負荷が増加するという問題がある。この画像処理負荷の増加が、画像処理時間の増加をもたらし、かつ検査時間の増加をもたらして、その結果、生産効率が低下することとなる。
【０００７】
本発明はこのような実状に鑑みてなされたものであって、その目的は、溶接欠陥の判別に用いられ、ビードの形状を正確に認識可能であり、画像処理負荷を低減可能である画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【０００８】
課題を解決するために、本発明の画像処理装置は、レーザ溶接の溶接部分の画像に基づいて前記溶接部分に形成されるビードの形状を認識する画像処理装置において、レーザ溶接時の残熱発光が生じている前記溶接部分を撮影し、かつ取り込んだ画像に対応して、複数の基準線を設定する基準線設定部と、前記取り込んだ画像の残熱発光の輝度が前記ビードの輪郭線を識別するように設定した輝度閾値より大きくなっている領域と、前記残熱発光の輝度が前記輝度閾値より小さくなっている領域との間の境界と前記基準線とが交差する箇所に、輪郭点を形成する輪郭点形成部と、同一の前記基準線上における２つの前記輪郭点間に中間点を形成する中間点形成部と、複数の前記輪郭点に基づいて輪郭線を形成する輪郭線形成部とを備えている。
【０００９】
課題を解決するために、本発明の画像処理装置は、下記（ａ）または（ｂ）のようになっている。
（ａ）複数の前記中間点に基づいて中心線を形成する中心線形成部をさらに備えている。
（ｂ）前記基準線を設定する前に、前記取り込んだ画像に対応して、前記輝度閾値より大きくなっている複数のビード領域点の近似曲線に基づいて前記ビードの形状の中心線を形成する中心線形成部と、前記輪郭線を形成する前に、前記中心線の湾曲を認識して、前記同一の基準線上に２つより多くの前記輪郭点が形成された場合に、前記同一の基準線上で前記ビードを跨いで間隔を空けて対向し、かつ前記中間点を形成する２つの輪郭点を判別する輪郭点判別部とをさらに備え、前記判別された２つの輪郭点が、前記中間点の形成及び前記輪郭線の形成に用いられるように構成されている。
また、前記基準線に前記中心線の湾曲形状に対して平行となる部分が生じることを防止するように、前記基準線を調節する基準線調節部をさらに備えている。
【００１０】
さらに、本発明の画像処理装置は、前記中間点を設定する前に、前記同一の前記基準線上における２つの輪郭点間の線分長さを計算し、前記線分長さの頻度分布を計算し、前記輝度閾値より大きくなっている複数のビード領域点に基づいて前記ビードの幅を計算し、前記頻度分布を用いて前記ビードの幅に基づいて定めた上限線分閾値に対して長い線分、及び該ビードの幅に基づいて定めた下限線分閾値に対して短い線分を判別して、前記長い線分の両端の輪郭点、及び前記短い線分の両端の輪郭点を排除する輪郭点選別部をさらに備えている。
また、前記長い線分を判別する上限線分閾値が前記ビードの幅の２倍となっており、前記短い線分を判別する下限線分閾値が前記ビードの幅の半分となっている。
【００１１】
課題を解決するために、本発明の画像処理方法は、レーザ溶接の溶接部分の画像に基づいて前記溶接部分に形成されるビードの形状を認識する画像処理方法において、レーザ溶接時の残熱発光が生じている前記溶接部分を撮影し、かつ取り込んだ画像に対応して、複数の基準線を設定するステップと、前記取り込んだ画像の残熱発光の輝度が前記ビードの輪郭線を識別するように設定した輝度閾値より大きくなっている領域と、前記残熱発光の輝度が前記輝度閾値より小さくなっている領域との間の境界と前記基準線とが交差する箇所に、輪郭点を形成するステップと、同一の前記基準線上における２つの前記輪郭点間に中間点を形成するステップと、複数の前記輪郭点に基づいて輪郭線を形成するステップとを含む。
【００１２】
課題を解決するために、本発明の画像処理方法は、下記（ａ）または（ｂ）のようになっている。
（ａ）複数の前記中間点に基づいて中心線を形成するステップをさらに含む。
（ｂ）前記基準線を設定するステップの前に、前記取り込んだ画像に対応して、前記輝度閾値より大きくなっている複数のビード領域点の近似曲線に基づいて前記ビードの形状の中心線を形成するステップと、前記輪郭線を形成するステップの前に、前記中心線の湾曲を認識して、前記同一の基準線上に２つより多くの前記輪郭点が形成された場合に、前記同一の基準線上で前記ビードを跨いで間隔を空けて対向し、かつ前記中間点を形成する２つの輪郭点を判別するステップとをさらに含み、前記判別された２つの輪郭点が前記中間点の形成及び前記輪郭線の形成に用いられる。
また、前記基準線に前記中心線の湾曲形状に対して平行となる部分が生じることを防止するように、前記基準線を調節するステップをさらに含む。
【００１３】
さらに、本発明の画像処理方法は、
前記中間点を設定するステップの前に、前記同一の前記基準線上における２つの輪郭点間の線分長さを計算し、前記線分長さの頻度分布を計算し、前記輝度閾値より大きくなっている複数のビード領域点に基づいて前記ビードの幅を計算し、前記頻度分布を用いて前記ビードの幅に基づいて定めた上限線分閾値に対して長い線分、及び該ビードの幅に基づいて定めた下限線分閾値に対して短い線分を判別して、前記長い線分の両端の輪郭点、及び前記短い線分の両端の輪郭点を排除するステップをさらに含む。
また、前記長い線分を判別する上限線分閾値が前記ビードの幅の２倍であり、前記短い線分を判別する下限線分閾値が前記ビードの幅の半分である。
【発明の効果】
【００１４】
本発明の画像処理装置によれば、以下の効果を得ることができる。
本発明の画像処理装置は、レーザ溶接の溶接部分の画像に基づいて前記溶接部分に形成されるビードの形状を認識する画像処理装置において、レーザ溶接時の残熱発光が生じている前記溶接部分を撮影し、かつ取り込んだ画像に対応して、複数の基準線を設定する基準線設定部と、前記取り込んだ画像の残熱発光の輝度が前記ビードの輪郭線を識別するように設定した輝度閾値より大きくなっている領域と、前記残熱発光の輝度が前記輝度閾値より小さくなっている領域との間の境界と前記基準線とが交差する箇所に、輪郭点を形成する輪郭点形成部と、同一の前記基準線上における２つの前記輪郭点間に中間点を形成する中間点形成部と、複数の前記輪郭点に基づいて輪郭線を形成する輪郭線形成部とを備えている。
そのため、溶接終了直後から溶接に用いられた光が消える前に発生する「残熱発光」に基づいて前記ビードの形状を認識するので、前記ビードの形状を認識する際に、溶接中に発生するプラズマ光の影響が少なくなる。従って、前記取り込んだ画像に基づいて、前記ビードの形状を正確に認識できる。その一方で、前記輪郭点は、前記基準線上のように前記表示する画像上の限られた範囲に形成されるので、前記表示される画像上の前記輪郭点の数が少なくなる。このような少ない数の前記輪郭点に基づいて、前記中間点、前記輪郭点及び前記輪郭線が形成されるので、処理される画像データが少なくなり、その結果、画像処理負荷が低減されることとなる。よって、溶接欠陥の判別に用いられ、ビードの形状を正確に認識可能であり、かつ画像処理負荷を低減可能とする画像処理装置を提供できる。
【００１５】
本発明の画像処理装置は、複数の前記中間点に基づいて中心線を形成する中心線形成部をさらに備えているので、少ない数の前記中間点に基づいて前記中心線が形成されるので、処理される画像データがさらに少なくなり、その結果、画像処理負荷がさらに低減されることとなる。
【００１６】
本発明の画像処理装置は、前記基準線を設定する前に、前記取り込んだ画像に対応して、前記輝度閾値より大きくなっている複数のビード領域点の近似曲線に基づいて前記ビードの形状の中心線を形成する中心線形成部と、前記輪郭線を形成する前に、前記中心線が湾曲し、かつ前記同一の基準線上に２つより多くの前記輪郭点が形成された場合に、前記同一の基準線上で前記ビードを跨いで間隔を空けて対向し、かつ前記中間点を形成する２つの輪郭点を判別する輪郭点判別部とをさらに備え、前記判別された２つの輪郭点が、前記中間点の形成及び前記輪郭線の形成に用いられるように構成されているので、湾曲した前記ビードの画像処理について、前記基準線上に２つより多くの前記輪郭点が形成された場合でも、前記ビードの形状に対応した前記輪郭線及び前記中心線を正確に認識し、かつ形成できる。
【００１７】
本発明の画像処理装置では、前記基準線に前記中心線の湾曲形状に対して平行となる部分が生じることを防止するように、前記基準線を調節する基準線調節部をさらに備えているので、湾曲した前記ビードの画像処理について、前記同一の基準線上に前記ビードの湾曲した輪郭に沿って２つの輪郭点が形成されることを防止できる。すなわち、前記同一の基準線上における２つの輪郭点の組合せが、前記ビードの幅方向に跨る２つの輪郭点に限定されることとなる。このような２つの輪郭点に基づいて、前記中間点が正確に形成されることとなる。従って、画像処理負荷をさらに低減でき、前記輪郭線及び前記中心線をさらに正確に形成できる。
【００１８】
本発明の画像処理装置は、前記中間点を設定する前に、前記同一の前記基準線上における２つの輪郭点間の線分長さを計算し、前記線分長さの頻度分布を計算し、前記輝度閾値より大きくなっている複数のビード領域点に基づいて前記ビードの幅を計算し、前記頻度分布を用いて前記ビードの幅に基づいて定めた上限線分閾値に対して長い線分、及び該ビードの幅に基づいて定めた下限線分閾値に対して短い線分を判別して、前記長い線分の両端の輪郭点、及び前記短い線分の両端の輪郭点を排除する輪郭点選別部をさらに備えている。
また、前記長い線分を判別する上限線分閾値が前記ビードの幅の２倍となっており、前記短い線分を判別する下限線分閾値が前記ビードの幅の半分となっている。
そのため、例えば、前記ビードの輪郭以外の要素に基づいて形成された前記輪郭点のように、前記輪郭線を形成するために不必要な前記輪郭点が排除されることとなり、より少ない数の正確な前記輪郭点を用いて前記輪郭線を形成できる。従って、画像処理負荷をさらに低減でき、前記ビードの形状をさらに正確に形成できる。
【００１９】
本発明の画像処理方法によれば、以下の効果を得ることができる。
本発明の画像処理方法は、レーザ溶接の溶接部分の画像に基づいて前記溶接部分に形成されるビードの形状を認識する画像処理方法において、レーザ溶接時の残熱発光が生じている前記溶接部分を撮影し、かつ取り込んだ画像に対応して、複数の基準線を設定するステップと、前記取り込んだ画像の残熱発光の輝度が前記ビードの輪郭線を識別するように設定した輝度閾値より大きくなっている領域と、前記残熱発光の輝度が前記輝度閾値より小さくなっている領域との間の境界と前記基準線とが交差する箇所に、輪郭点を形成するステップと、同一の前記基準線上における２つの前記輪郭点間に中間点を形成するステップと、複数の前記輪郭点に基づいて輪郭線を形成するステップとを含む。
そのため、溶接終了直後から溶接に用いられた光が消える前に発生する「残熱発光」に基づいて前記ビードの形状を認識するので、前記ビードの形状を認識する際に、溶接中に発生するプラズマ光の影響が少なくなる。従って、前記取り込んだ画像に基づいて、前記ビードの形状を正確に認識できる。その一方で、前記輪郭点は、前記基準線上のように前記表示する画像上の限られた範囲にのみ形成されるので、前記表示される画像上の前記輪郭点の数が少なくなる。このような少ない数の前記輪郭点に基づいて、前記中間点及び前記輪郭線が形成されるので、処理される画像データが少なくなり、その結果、画像処理負荷が低減されることとなる。よって、溶接欠陥の判別に用いられ、ビードの形状を正確に認識可能であり、かつ画像処理負荷を低減可能とする画像処理装置を提供できる。
【００２０】
本発明の画像処理方法は、複数の前記中間点に基づいて中心線を形成するステップをさらに含むので、少ない数の前記中間点に基づいて前記中心線が形成されるので、処理される画像データがさらに少なくなり、その結果、画像処理負荷がさらに低減されることとなる。
【００２１】
本発明の画像処理方法は、前記基準線を設定するステップの前に、前記取り込んだ画像に対応して、前記輝度閾値より大きくなっている複数のビード領域点の近似曲線に基づいて前記ビードの形状の中心線を形成するステップと、前記輪郭線を形成するステップの前に、前記中心線の湾曲を認識して、前記同一の基準線上に２つより多くの前記輪郭点が形成された場合に、前記同一の基準線上で前記ビードを跨いで間隔を空けて対向し、かつ前記中間点を形成する２つの輪郭点を判別するステップとをさらに含み、前記判別された２つの輪郭点が前記中間点の形成及び前記輪郭線の形成に用いられるので、湾曲した前記ビードの画像処理について、前記基準線上に２つより多くの前記輪郭点が形成された場合でも、前記ビードの形状に対応した前記輪郭線及び前記中心線を正確に認識し、かつ形成できる。
【００２２】
本発明の画像処理方法では、前記基準線に前記中心線の湾曲形状に対して平行となる部分が生じることを防止するように、前記基準線を調節するステップをさらに含むので、湾曲した前記ビードの画像処理について、前記同一の基準線上に前記ビードの湾曲した輪郭に沿って２つの輪郭点が形成されることを防止できる。すなわち、前記同一の基準線上における２つの輪郭点の組合せが、前記ビードの幅方向に跨る２つの輪郭点に限定されることとなる。このような２つの輪郭点に基づいて、前記中間点が正確に形成されることとなる。従って、画像処理負荷をさらに低減でき、前記輪郭線及び前記中心線をさらに正確に形成できる。
【００２３】
本発明の画像処理方法は、前記中間点を設定するステップの前に、前記同一の前記基準線上における２つの輪郭点間の線分長さを計算し、前記線分長さの頻度分布を計算し、前記輝度閾値より大きくなっている複数のビード領域点に基づいて前記ビードの幅を計算し、前記頻度分布を用いて前記ビードの幅に基づいて定めた上限線分閾値に対して長い線分、及び該ビードの幅に基づいて定めた下限線分閾値に対して短い線分を判別して、前記長い線分の両端の輪郭点、及び前記短い線分の両端の輪郭点を排除するステップをさらに含む。
また、前記長い線分を判別する上限線分閾値が前記ビードの幅の２倍であり、前記短い線分を判別する下限線分閾値が前記ビードの幅の半分である。
そのため、例えば、前記ビードの輪郭以外の要素に基づいて形成された前記輪郭点のように、前記輪郭線を形成するために不必要な前記輪郭点が排除されることとなり、より少ない数の正確な前記輪郭点を用いて前記輪郭線を形成できる。従って、画像処理負荷をさらに低減でき、前記ビードの形状をさらに正確に形成できる。
【図面の簡単な説明】
【００２４】
【図１】溶接欠陥の判定対象となる溶接部分のビードを示す概略図である。
【図２】本発明の第１実施形態に係る画像処理装置を有する溶接欠陥判定システムを示すブロック図である。
【図３】画像取り込み処理について、溶接直後の時間経過と残熱発光の輝度との関係を示す図である。
【図４】本発明の第１実施形態において、ビードの形状を表示した画像の一例を示す模式図である。
【図５】（ａ）本発明の第１実施形態において、正常なビードの終端部分における湾曲度の計算を説明するための模式図である。（ｂ）本発明の第１実施形態において、溶接欠陥を有するビードの終端部分における湾曲度の計算を説明するための模式図である。
【図６】本発明の第１実施形態に係る画像処理方法を用いた溶接欠陥判定方法を示すフローチャートである。
【図７】本発明の第２実施形態に係る画像処理装置を有する溶接欠陥判定システムを示すブロック図である。
【図８】本発明の第２実施形態において、ビード領域点に基づいて中心線を形成した画像の一例を示す模式図である。
【図９】本発明の第２実施形態において、基準線同士の交差角度を初期状態から変更した状態を示す模式図である。
【図１０】本発明の第２実施形態において、同一基準線上でビードを跨いで間隔を空けて対向する２つの輪郭点と、このような輪郭点以外の不要な輪郭点とが形成された状態を示す模式図である。
【図１１】本発明の第２実施形態に係る画像処理方法を用いた溶接欠陥判定方法を示すフローチャートである。
【図１２】本発明の第３実施形態に係る画像処理装置を有する溶接欠陥判定システムを示すブロック図である。
【図１３】本発明の第３実施形態において、同一基準線上の２つの輪郭点間における線分長さの頻度分布の一例を示す図である。
【図１４】本発明の第３実施形態に係る画像処理方法を用いた溶接欠陥判定方法を示すフローチャートである。
【発明を実施するための形態】
【００２５】
［第１実施形態］
本発明の第１実施形態に係る画像処理装置を有する溶接欠陥判定システム（以下、「判定システム」という）、及び第１実施形態に係る画像処理方法を用いた溶接欠陥判定方法について説明する。
最初に、図１を参照して、欠陥を判定する対象の溶接部分のビードｍについて説明する。ビードｍは略Ｃ字状に形成されており、詳細には、ビードｍは、溶接開始地点に形成された始端部分ｍ１と、溶接終了地点に形成された終端部分ｍ２と、始端部分ｍ１及び終端部分ｍ２の間に形成された中間部分ｍ３とを有している。第１実施形態では、ビードｍの終端部分ｍ２と、ビードｍの中間部分ｍ３における終端部分ｍ２側の部分とを含む領域Ｊを欠陥判定の対象とする。なお、第１実施形態では、一例として、ビードｍは略Ｃ字条に形成されているが、直線状、Ｌ字状、波状等のようなその他の形状であってもよい。
【００２６】
次に、図２を参照して判定システム１を説明する。
判定システム１は画像取り込み装置２を有しており、この画像取り込み装置２は、溶接用のレーザを照射し、レーザ溶接時の残熱発光が生じている溶接部分を撮影し、かつ撮影した溶接部分の画像を取り込むように構成されている。判定システム１は画像処理装置３を有しており、画像処理装置３は、画像取り込み装置２により取り込んだ溶接部分の画像に基づいてビードｍの形状を認識するように構成されている。判定システム１はビード形状判定装置４を有しており、このビード形状判定装置４は、画像処理装置３により認識されたビードの形状に基づいて、溶接部分の欠陥を判定するように構成されている。
【００２７】
画像取り込み装置２について、図２及び図３を参照して説明する。
図２を参照すると、画像取り込み装置２は、溶接部材Ｍに溶接用のレーザを照射するレーザ照射部５を有している。画像取り込み装置２は、レーザを照射した溶接部分の画像を連続的に撮影するモニタ部６を有している。画像取り込み装置２は、モニタ部６により撮影した画像を連続的に記憶する記憶部７を有している。画像取り込み装置２は、記憶部７に記憶された画像を取り込む画像取り込み部８を有している。
【００２８】
図３を参照すると、画像取り込み部８は、溶接終了直後から所定の時間ｔ内に生じる残熱発光の画像を取り込むように構成されている。また、画像取り込み部８は、画像の平均輝度Ｇが所定の取り込み開始輝度閾値ｇ１以上である場合に、画像の取り込みを開始し、画像の平均輝度Ｇが所定の取り込み終了輝度閾値ｇ２以下である場合に、残熱発光が終了したと認識して、画像の取り込みを終了するように構成されている。
【００２９】
一例として、画像取り込み装置２の詳細は、次のように構成されていると好ましい。
残熱発光は、溶接終了直後から数十ｍｓ（ミリ秒）間生じた後に減衰するので、確認難くなる。そのため、所定の時間ｔは約２０ｍｓであると好ましい。この場合、モニタ部６は、フレームレート約５００Ｈｚ（周期２ｍｓ）の高速度カメラであるとよく、約１０枚（＝２０ｍｓ÷２ｍｓ）の画像が取り込まれることとなる。また、モニタ部６は、高ダイナミックレンジカメラであると好ましく、信号検出のダイナミックレンジが広く、かつ計測可能な輝度の範囲が広くなっているので、溶接中及び溶接直後の画像を撮影できる。画像取り込み部８では、画像の取り込みを開始する開始輝度閾値ｇ１が、溶接中及び溶接直後の平均輝度Ｇの中間値となっていると好ましい。画像の取り込みを終了する終了輝度閾値ｇ２は、開始輝度閾値ｇ１より小さく、かつ残熱発光を確認できない程に暗くなった状態の画像の平均輝度Ｇより大きくなっていると好ましい。
【００３０】
画像処理装置３について、図２及び図４を参照して説明する。
図２を参照すると、画像処理装置３はビード認識部９を有しており、このビード認識部９は、画像取り込み装置２によって取り込んだ画像に基づいて、ビード領域候補を認識するように構成されている。ビード領域候補は、所定の輪郭輝度閾値ｈより残熱発光の輝度Ｈが大きくなっている領域となっており、輪郭輝度閾値ｈは、ビードｍの輪郭線を識別するように設定されている。画像処理装置３はビード判別部１０を有しており、このビード判別部１０は、複数のビード領域候補が認識された場合に、複数のビード領域候補から実際のビードに対応するビード領域Ｅを選択するように構成されている。なお、このビード領域Ｅは、複数のビード領域点ｅから構成されている。一例として、ビード領域点ｅは、画像上で１つ以上のピクセルにより表され、複数のビード領域点ｅは、互いに隣接して配置されるか、又はピクセル単位の間隔で配置されているとよい。また、ビード判別部１０は、各ビード領域候補のアスペクト比（縦横比）を計算し、このアスペクト比に基づいて、複数のビード領域候補から実際のビードｍに対応するビード領域Ｅを選択する構成となっている。例えば、アスペクト比が一般的なビードｍの横長形状に対応する値より大きくなっている場合に、このようなビード領域候補が実際のビードｍに相当すると認識する設定であるとよい。実際のビードｍと、溶接時に飛散するスパッタ粒子とにそれぞれ対応するビード領域候補が認識された場合、スパッタ粒子に対応するビード領域候補は、等方的な形状に形成されるのに対して、ビードｍは横長形状に形成されることとなる。そのため、実際のビードｍに対応するビード領域Ｅが正確に選択されることとなる。さらに、スパッタ粒子に対応するビード領域候補が、等方的な形状に形成されていない場合を考慮して、ビード判別部１０は、複数のビード領域候補が時間を前後して取り込んだ画像にて移動しているか、又は停止しているかを判定し、かつ停止しているビード領域候補が実際のビードｍに対応するビード領域Ｅであると認識するように構成されている。
【００３１】
図２を参照すると、画像処理装置３は基準線設定部１１を有しており、この基準線設定部１１は、取り込んだ画像にて複数の基準線Ｌを格子状に設定するように構成されている（図４を参照）。一例として、複数の基準線Ｌは、ピクセル単位の間隔を空けて配置されているとよく、複数の基準線Ｌ同士の間隔は、複数のビード領域点ｅの間隔より大きくなっていると好ましい。画像処理装置３は輪郭点形成部１２を有しており、この輪郭点形成部１２は、基準線Ｌ上にビードｍの輪郭点ｐを形成するように構成されている（図４を参照）。画像処理装置３は中間点形成部１３を有しており、この中間点形成部１３は、同一の基準線Ｌ上に形成された２つの輪郭点ｐ間の中間点ｑを形成するように構成されている（図４を参照）。画像処理装置３は輪郭線形成部１４を有しており、この輪郭線形成部１４は、複数の輪郭点ｐに基づいて輪郭線Ｐを形成するように構成されている（図４を参照）。画像処理装置３は第１の中心線形成部１５を有しており、この第１の中心線形成部１５は、複数の中間点ｑに基づいて中心線Ｑを形成するように構成されている（図４を参照）。
【００３２】
輪郭点形成部１２及び中間点形成部１３の詳細について、図４を参照して説明する。
輪郭点形成部１２は、基準線Ｌ上に輪郭点ｐを形成する構成となっている。輪郭点ｐは、画像取り込み装置２によって取り込んだ画像に基づいて、ビードｍの輪郭に相当する境界が基準線Ｌと交差する箇所に形成される。ビードｍの輪郭に相当する境界は、残熱発光の輝度Ｈが、ビードｍの輪郭線を識別するように設定した輪郭輝度閾値ｈより大きくなっている領域と、残熱発光の輝度Ｈが、輪郭輝度閾値ｈより小さくなっている領域との間に位置している。すなわち、輪郭輝度閾値ｈは、ビードｍの輪郭に対応するように、ビードｍの輪郭の内側領域に対応する残熱発光の輝度Ｈより小さく、かつビードｍの輪郭の外側領域に対応する残熱発光の輝度Ｈより大きな値に設定されている。なお、一例として、輪郭輝度閾値ｇ３は、ビードｍの輪郭と残熱発光の輝度Ｈとの関係を予め求めておくことによって、設定されているとよい。さらに、中間点形成部１３は、同一の基準線Ｌ上に形成された２つの輪郭点ｐ同士の中点を中間点ｑとして形成するように構成されている。
【００３３】
輪郭線形成部１４及び第１の中心線形成部１５の詳細について、図４を参照して説明する。
輪郭線形成部１４は、フィッティング関数ｆ１を用いて、複数の輪郭点ｐに基づく輪郭線Ｐを形成する。一例として、互いに直角に交差するＸ軸及びＹ軸を定めた場合、フィッティング関数ｆ１は、Ｙ＝ａＸ２＋ｂＸ＋ｃ、又はＸ＝ａ’Ｙ２＋ｂ’Ｙ＋ｃ’であるとよく、これらの係数ａ、ｂ及びｃ、又は係数ａ’、ｂ’及びｃ’は、フィッティング関数ｆ１と複数の輪郭点ｐとの距離の二乗和を最小とするように定められるとよい（最小二乗法）。さらに、フィッティング関数ｆ１については、Ｙ＝ａＸ２＋ｂＸ＋ｃ、及びＸ＝ａ’Ｙ２＋ｂ’Ｙ＋ｃ’のそれぞれの計算式に基づいて計算し、これらの内でフィッティング誤差が小さい方の計算式を選択し、この選択した計算式を用いて輪郭線Ｐを形成するとよい。なお、フィッティング関数ｆ１は、３次関数、４次関数等の多項式関数、指数関数、対数関数等であってもよい。また、フィッティング関数ｆ１は、輪郭点ｐに基づいて輪郭線Ｐを形成できれば、その他のフィッティングに用いられる関数であってもよい。
【００３４】
また、第１の中心線形成部１５は、フィッティング関数ｆ２を用いて、複数の中間点ｑに基づいて中心線Ｑを形成するように構成されている。一例として、フィッティング関数ｆ２は、フィッティング関数ｆ１と同様になっているとよい。
【００３５】
ビード形状判定装置４について、図２、図５（ａ）、及び図５（ｂ）を参照して説明する。
ビード形状判定装置４は、画像処理装置３によって得られた輪郭点ｐ、中間点ｑ、輪郭線Ｐ、及び中心線Ｑに基づいて、ビードｍの欠陥の有無を判定するように構成されている。ビード形状判定装置４の詳細について、図２を参照して説明すると、ビード形状判定装置４は代表点形成部１６を有しており、代表点形成部１６は、直角に交差するＸ軸及びＹ軸を定めた場合、複数の中点ｑの平均位置である代表中間点ｑ１を形成するように構成されている（図５（ａ）及び図５（ｂ）を参照）。この代表中間点ｑ１のＸ座標は、複数の中間点ｑのＸ座標平均値となっており、代表中間点ｑ１のＹ座標は、複数の中間点ｑのＹ座標平均値となっている。ビード形状判定装置４は終端点形成部１７を有しており、終端点形成部１７は、ビードｍの終端部分ｍ２にて輪郭線Ｐと中心線Ｑとが交差する点である終端中間点ｑ２を形成するように構成されている（図５（ａ）及び図５（ｂ）を参照）。ビード形状判定装置４は副代表点形成部１８を有しており、副代表点形成部１８は、代表中間点ｑ１と終端中間点ｑ２との間の中点である副代表中間点ｑ３を形成するように構成されている（図５（ａ）及び図５（ｂ）を参照）。ビード形状判定装置４は直線形成部１９を有しており、直線形成部１９は、終端中間点ｑ２と副代表中間点ｑ３とを結ぶ直線Ｒに対して垂直な方向に距離ｄの間隔を空けて、かつ直線Ｒに対して平行に配置される一対の直線Ｕ，Ｖを形成するように構成されている（図５（ａ）及び図５（ｂ）を参照）。
【００３６】
一例として、図５（ａ）及び図５（ｂ）に示すように、距離ｄは、ビードｍの幅の半分以下であるとよい。この場合、ビードｍの幅は、ビード領域Ｅ、及び／又はこのビード領域Ｅ内の複数のビード領域点ｅと、ビード領域Ｅ及び／又はビード領域点ｅから計算されたアスペクト比とに基づいて計算された代表幅であるとよい。ビード形状判定装置４は湾曲度計算部２０を有しており、湾曲度計算部２０は、ビードｍの終端部分ｍ２の溶接欠陥を判別するように構成されている。
【００３７】
湾曲度計算部２０の詳細について、図５（ａ）及び図５（ｂ）を参照して説明する。
湾曲度計算部２０は、ビードｍの終端部分ｍ２にて直線Ｕ，Ｖと輪郭線Ｐとがそれぞれ交差する点である境界点ｕ，ｖを計算するように構成されている。湾曲度計算部２０は、直線ＵＶと終端中間点ｑ２との距離を湾曲度Ｗとして計算するように構成されている。湾曲度Ｗは、図５（ａ）に示すように、境界点ｕ，ｖを結ぶ直線ＵＶを基準として終端中間点ｑ２が副代表中間点ｑ３と反対側に位置する場合、プラスの値であると識別される一方で、図５（ｂ）に示すように、直線ＵＶを基準として終端中間点ｑ２が副代表中間点ｑ３側に位置する場合、マイナスの値であると識別される。湾曲度Ｗがプラスの値である場合、図５（ａ）に示すように、終端部分ｍ２は凸形状である。その一方で、湾曲度Ｗの値がマイナスである場合、図５（ｂ）に示すように、終端部分ｍ２は凹形状である。また、湾曲度計算部２０では、終端部分ｍ２にて欠陥の有無を判定するための湾曲度閾値ｗが設定されており、湾曲度Ｗが湾曲度閾値ｗ以上である場合、終端部分ｍ２は正常と判定される。その一方で、湾曲度Ｗが湾曲度閾値ｗ以下である場合、終端部分ｍ２には孔等の欠陥が発生していると判定される。一例として、湾曲度閾値ｗは０であると好ましい。
【００３８】
第１実施形態に係る画像処理方法を用いた溶接欠陥判定方法について、図６を参照して説明する。
レーザ照射部５が溶接部材Ｍに溶接用のレーザを照射し、モニタ部６が、レーザを照射された溶接部分の画像を連続的に撮影し、記憶部７が、撮影された画像を記憶し、画像取り込み部８が、記憶部７から残熱発光が生じている画像を取り込む（Ｓ１）。ビード認識部９が、取り込んだ画像におけるビード領域候補を認識する。複数のビード領域候補が認識された場合、ビード判別部１０が、実際のビードｍに対応するビード領域Ｅを判別する。画像取り込み部８によって取り込まれた画像に対応して、基準線設定部１１が複数の基準線Ｌを格子状に設定する（Ｓ２）。輪郭点形成部１２が、基準線Ｌ上にビードｍの輪郭点ｐを形成する（Ｓ３）。中間点形成部１３が、同一の基準線Ｌ上に形成された２つの輪郭点ｐ間の中間点ｑを形成する（Ｓ４）。輪郭線形成部１４が、複数の輪郭点ｐに基づいて輪郭線Ｐを形成する（Ｓ５）。第１の中心線形成部１５が、複数の中間点ｑに基づいて中心線Ｑを形成する（Ｓ６）。画像処理装置３により得られた中間点ｑ、輪郭線Ｐ、及び中心線Ｑに基づいて、ビードｍの欠陥の有無を判定する（Ｓ７）。
【００３９】
ビードｍの欠陥の有無を判定することについての詳細を説明する。代表点形成部１６が、互いに直角に交差するＸ軸及びＹ軸を定めて、複数の中点ｑの平均位置である代表中間点ｑ１を形成する。終端点形成部１７が、ビードｍの終端部分ｍ２における輪郭線Ｐと中心線Ｑとの交点である終端中間点ｑ２を形成する。副代表点形成部１８が、代表中間点ｑ１と終端中間点ｑ２との間の中点である副代表中間点ｑ３を形成する。直線形成部１９が、終端中間点ｑ２と副代表中間点ｑ３とを結ぶ直線ＲＳに対して垂直な方向に距離ｄの間隔を空けて、かつ直線Ｒに対して平行に配置される一対の直線Ｕ，Ｖを形成する。湾曲度計算部２０が、終端部分ｍ２にて直線Ｕ，Ｖと輪郭線Ｐとが交差する点である境界点ｕ，ｖをそれぞれ計算する。さらに、湾曲度計算部２０では、終端部分ｍ２の湾曲度Ｗが湾曲度閾値ｗ以上である場合、終端部分ｍ２は正常と判定される。その一方で、湾曲度Ｗが湾曲度閾値ｗ以下である場合、終端部分ｍ２には孔等の欠陥が発生していると判定される。
【００４０】
以上のように本発明の第１実施形態によれば、残熱発光に基づいてビードｍの形状を認識するので、ビードｍの形状を認識する際に、溶接中に発生するプラズマ光の影響が少なくなる。従って、取り込んだ画像に基づいて、ビードｍの輪郭線Ｐ及び中心線Ｑを正確に認識できる。その一方で、輪郭点ｐ及び中間点ｑは、基準線Ｌ上のように限られた範囲に形成されるので、輪郭点ｐ及び中間点ｑの数が少なくなる。このような少ない数の輪郭点ｐに基づいて中間点ｑ及び輪郭線Ｐが形成され、かつ少ない数の中間点ｑに基づいて中心線Ｑが形成されるので、処理される画像データが少なくなり、その結果、画像処理負荷が低減されることとなる。よって、溶接欠陥の判別に用いられ、ビードｍの形状を正確に認識可能であり、かつ画像処理負荷を低減可能とする画像処理装置３を提供できる。
【００４１】
［第２実施形態］
本発明の第２実施形態に係る画像処理装置及び画像処理方法について以下に説明する。第２実施形態の画像処理装置及び画像処理方法の基本的な構成要素は、第１実施形態の画像処理装置及び画像処理方法の構成と同様になっている。第１実施形態と同様な要素は、第１実施形態と同様の符号および名称を用いて説明する。ここでは、第１実施形態と異なる構成について説明する。
【００４２】
図７〜図１０を参照して、判定システム２１について説明する。
図７を参照すると、判定システム２１は、第１実施形態と同様の画像取り込み装置２、及びビード形状判定装置４を有している。判定システム２１は、画像取り込み装置２により取り込んだ溶接部分の画像に基づいて、この溶接部分に形成されるビードｍの形状を認識する画像処理装置２２を有している。
【００４３】
図７を参照すると、画像処理装置２２は、第１実施形態と同様のビード認識部９、ビード判別部１０、基準線設定部１１、輪郭点形成部１２、中間点形成部１３、及び輪郭線形成部１４を有している。画像処理装置２２は第２の中心線形成部２３を有しており、この第２の中心線形成部２３は、ビード認識部９及びビード判別部１０により得られたビード領域Ｅ内の複数のビード領域点ｅに基づいて中心線Ｑを形成するように構成されている（図８を参照）。中心線形成部２３では、複数のビード領域点ｅに基づいて近似曲線が計算され、この近似曲線が中心線Ｑとして形成される。例えば、この近似曲線は、対数近似曲線、多項式近似曲線、累乗近似曲線、指数近似曲線、移動平均曲線等であるとよい。画像処理装置２２は湾曲形状認識部２４を有しており、湾曲形状認識部２４は、中心線Ｑに基づいてビードｍの湾曲形状を認識するように構成されている（図８を参照）。画像処理装置２２は基準線調節部２５を有しており、この基準線調節部２５は、図９に示すように基準線Ｌに中心線Ｑの湾曲形状に対して平行となる部分が生じることを防止するように構成されている。詳細には、基準線調節部２５は、初期状態で直角となっている基準線Ｌ同士の交差角度ｚを変更可能とするように構成されている。再び、図７を参照すると、画像処理装置２２は輪郭点判別部２６を有しており、輪郭点判別部２６は、中心線Ｑが湾曲し、かつ同一の基準線Ｌ上に２つより多くの輪郭点が形成された場合に、同一の基準線Ｌ上でビードｍを跨いで間隔を空けて対向する２つの輪郭点ｐを判別し、このような輪郭点ｐ以外の不要な輪郭点ｐ’を排除するように構成されている（図１０を参照）。
【００４４】
第２実施形態に係る画像処理方法を用いた溶接欠陥判定方法について、図１０を参照して説明する。
第１実施形態と同様に、レーザ溶接時の残熱発光が生じている画像を取り込む（Ｓ２１）。ビード認識部９が、取り込んだ画像におけるビード領域候補を認識する。複数のビード領域候補が認識された場合、ビード判別部１０が、実際のビードｍに対応するビード領域Ｅを判別する。第２の中心線形成部２３が、ビード領域Ｅ内のビード領域点ｅに基づいて近似曲線を計算し、この近似曲線を中心線Ｑとして形成する（Ｓ２２）。湾曲形状認識部２４が、中心線Ｑに基づいてビードｍの湾曲形状を認識する（Ｓ２３）。基準線設定部１１が、複数の基準線Ｌを格子状に設定する（Ｓ２４）。基準線調節部２５が、基準線Ｌに中心線Ｑに対して平行となる部分が生じることを防止するように、初期状態で直角となっている基準線Ｌ同士の交差角度ｚを変更する（Ｓ２５）。輪郭点形成部１２が、基準線Ｌ上にビードｍの輪郭点ｐを形成する（Ｓ２６）。輪郭点判別部２６が、中心線Ｑが湾曲し、かつ同一の基準線Ｌ上に２つより多くの輪郭点ｐが形成された場合に、同一の基準線Ｌ上でビードｍを跨いで間隔を空けて対向する２つの輪郭点ｐを判別する（Ｓ２７）。中間点形成部１３が、同一の基準線Ｌ上に形成され、かつ輪郭点判別部２６により判別された２つの輪郭点ｐ間の中間点ｑを形成する（Ｓ２８）。輪郭線形成部１４が、複数の輪郭点ｐに基づいて輪郭線Ｐを形成する（Ｓ２９）。第１実施形態と同様に、画像処理装置２２により得られた中間点ｑ、輪郭線Ｐ、及び中心線Ｑに基づいて、ビードｍの欠陥の有無を判定する（Ｓ３０）。
【００４５】
以上のように本発明の第２実施形態によれば、第１実施形態と同様の効果に加えて、次のような効果が得られる。本発明の第２実施形態によれば、輪郭点判別部２６が、中心線Ｑが湾曲し、かつ同一の基準線Ｌ上に２つより多くの輪郭点ｐが形成された場合に、同一の基準線Ｌ上でビードｍを跨いで間隔を空けて対向する２つの輪郭点ｐを判別する。そのため、湾曲したビードｍの画像処理について、基準線Ｌ上に２つより多くの輪郭点ｐが形成された場合でも、ビードｍの形状に対応した輪郭線Ｐ及び中心線Ｑを正確に認識し、かつ形成できる。
【００４６】
本発明の第３実施形態によれば、基準線調節部２５は、基準線Ｌに中心線Ｑの湾曲形状に対して平行となる部分が生じることを防止する。そのため、湾曲したビードｍの画像処理について、同一の基準線Ｌ上にビードｍの湾曲した輪郭に沿って２つの輪郭点ｐが形成されることを防止できる。すなわち、同一の基準線Ｌ上における２つの輪郭点ｐの組合せが、ビードｍの幅方向に跨る２つの輪郭点ｐに限定されることとなる。このような２つの輪郭点ｐに基づいて、中間点ｑが正確に形成されることとなる。従って、画像処理負荷をさらに低減でき、輪郭線Ｐ及び中心線Ｑをさらに正確に形成できる。
【００４７】
［第３実施形態］
本発明の第３実施形態に係る画像処理装置及び画像処理方法について以下に説明する。第３実施形態の画像処理装置及び画像処理方法の基本的な構成要素は、第１実施形態の画像処理装置及び画像処理方法の構成と同様になっている。第１実施形態と同様な要素は、第１実施形態と同様の符号および名称を用いて説明する。ここでは、第１実施形態と異なる構成について説明する。
【００４８】
図１２及び図１３を参照して、判定システム３１について説明する。
図１２を参照すると、第１実施形態と同様の画像取り込み装置２、及びビード形状判定装置４を有している。判定システム３１は画像処理装置３２を有しており、この画像処理装置３２は、画像取り込み装置２により取り込んだ溶接部分の画像に基づいて、この溶接部分に形成されるビードｍの形状を認識するように構成されている。
【００４９】
図１２を参照すると、画像処理装置３２は、第１実施形態と同様のビード認識部９、ビード判別部１０、基準線設定部１１、輪郭点形成部１２、中間点形成部１３、輪郭線形成部１４、及び中心線形成部１５を有している。さらに、画像処理装置３２は輪郭点選別部３３を有しており、この輪郭点選別部３３は、同一の基準線Ｌ上に位置する２つの輪郭点ｐ間の線分長さＫを計算するように構成されている。また、輪郭点選別部３３は、図１５に示すように、この線分長さＫの頻度Ｎの分布を計算するように構成されている。さらに、輪郭点選別部３３は、ビード認識部９及びビード判別部１０により得られたビード領域Ｅ内の複数のビード領域点ｅに基づいて、ビードｍの幅を計算するように構成されている。輪郭点選別部３３は、ビードｍの幅に基づいて定めた上限線分閾値ｋ１に対して長い線分と、ビードの幅に基づいて定めた下限線分閾値ｋ２に対して短い線分とを判別して、この長い線分の両端の輪郭点ｐと、この短い線分の両端の輪郭点ｐとを排除するように構成されている。この場合、ビードｍの幅は、ビード領域Ｅ、及び／又はこのビード領域Ｅ内の複数のビード領域点ｅと、ビード領域Ｅ及び／又はビード領域点ｅから計算されたアスペクト比とに基づいて計算された代表幅であるとよい。上限線分閾値ｋ１はビードの幅の２倍に設定されているとよく、下限線分閾値ｋ２がビードの幅の半分に設定されているとよい。
【００５０】
第３実施形態に係る画像処理方法を用いた溶接欠陥判定方法について、図１４を参照して説明する。
第１実施形態と同様に、レーザ溶接時の残熱発光が生じている画像を取り込む（Ｓ３１）。ビード認識部９が、取り込んだ画像におけるビード領域候補を認識し、複数のビード領域候補が認識された場合、ビード判別部１０が、実際のビードｍに対応するビード領域Ｅを判別する。画像取り込み部８によって取り込まれた画像に対応して溶接部分のビードｍの形状を、基準線設定部１１が複数の基準線Ｌを格子状に設定する（Ｓ３２）。輪郭点形成部１２が、基準線Ｌ上にビードｍの輪郭点ｐを形成する（Ｓ３３）。輪郭点選別部３３が、同一の基準線Ｌ上に位置する２つの輪郭点ｐ間の線分長さＫを計算し、線分長さＫの頻度分布を計算し、複数のビード領域点ｅに基づいてビードｍの幅を計算し、この頻度分布上で、ビードｍの幅に基づいて定めた上限閾値ｋ１に対して長い線分と、ビードｍの幅に基づいて定めた下限閾値ｋ２に対して短い線分とを判別し、この長い線分の両端の輪郭点と、この短い線分の両端の輪郭点とを排除する（Ｓ３４）。中間点形成部１３が、同一の基準線Ｌ上に形成された２つの輪郭点ｐ間の中間点ｑを形成する（Ｓ３５）。輪郭線形成部１４が、複数の輪郭点ｐに基づいて輪郭線Ｐを形成する（Ｓ３６）。第１の中心線形成部１５が、複数の中間点ｑに基づいて中心線Ｑを形成する（Ｓ３７）。第１実施形態と同様に、画像処理装置３２により得られた中間点ｑ、輪郭線Ｐ、及び中心線Ｑに基づいて、ビードｍの欠陥の有無を判定する（Ｓ３８）。
【００５１】
以上のように本発明の第３実施形態によれば、第１実施形態と同様の効果に加えて、次のような効果が得られる。本発明の第３実施形態によれば、輪郭点選別部３３が、同一の基準線Ｌ上に位置する２つの輪郭点ｐ間の線分長さＫを計算し、線分長さＫの頻度分布を計算し、ビードｍの幅を計算し、この頻度分布上で、ビードｍの幅に基づいて定めた上限線分閾値ｋ１に対して長い線分と、ビードｍの幅に基づいて定めた下限線分閾値ｋ２に対して短い線分とを判別し、この長い線分の両端の輪郭点と、この短い線分の両端の輪郭点とを排除する。また、一例として、上限線分閾値ｋ１はビードの幅の２倍に設定され、下限線分閾値ｋ２がビードの幅の半分に設定されている。そのため、例えば、ビードｍの輪郭以外の要素に基づいて形成された輪郭点のように、輪郭線Ｐを形成するために不必要な輪郭点が排除されることとなり、より少ない数の正確な輪郭点ｐを用いて輪郭線Ｐを形成できる。従って、画像処理負荷をさらに低減でき、前記ビードの形状をさらに正確に形成できる。
【００５２】
ここまで本発明の実施形態について述べたが、本発明は既述の実施形態に限定されるものではなく、本発明の技術的思想に基づいて各種の変形及び変更が可能である。
【００５３】
例えば、本発明の実施形態の第１変形例として、第２実施形態に係る画像処理装置２２において、第３実施形態の輪郭点選別部３３が設けられてもよい。第３実施形態と同様の効果が得られる。
【００５４】
本発明の実施形態の第２変形例として、第１実施形態〜第３実施形態において、複数の基準線Ｌが、ビード領域Ｅ内の一点で互いに交差し、かつこの交差した点から放射状に延びるように設定されてもよい。本発明の第１実施形態〜第３実施形態と同様の効果が得られる。
【符号の説明】
【００５５】
１，２１，３１ 溶接欠陥判定システム（判定システム）
２ 画像取り込み装置
３，２２，３２ 画像処理装置
４ ビード形状判定装置
１１ 基準線設定部
１２ 輪郭点形成部
１３ 中間点形成部
１４ 輪郭線形成部
１５ 第１の中心線形成部
２３ 第２の中心線形成部
２４ 湾曲形状認識部
２５ 基準線調節部
２６ 輪郭点判別部
３３ 輪郭点選別部
ｍ ビード
Ｈ 残熱発光の輝度
ｈ 輪郭輝度閾値
ｅ ビード領域点
Ｌ 基準線
ｐ 輪郭点
ｑ 中間点
Ｐ 輪郭線
Ｑ 中心線
Ｋ 線分長さ
ｋ１ 上限線分閾値
ｋ２ 下限線分閾値
【技術分野】
【０００１】
本発明は、レーザ溶接の溶接部分の画像に基づいて溶接部分に形成されるビードの形状を認識する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
レーザ溶接等の溶接の分野においては、溶接品質を高めるために、溶接部分のビードの形状を解析すること、欠陥孔を識別すること等によって、溶接欠陥の有無を検査している。このような検査は、主に生産現場の溶接工程の後工程、又は溶接工程中に行なわれている。
【０００３】
溶接工程の後工程の検査については、溶接工程後の溶接対象物に光（いわゆる「バックライト」）を照射することによって、溶接部分の欠陥孔を識別すること（いわゆる「バックライト方式の検査」）等が行なわれている。この検査では、溶接対象物に欠陥孔が発生している場合、照射した光が欠陥孔を透過するので、溶接部分の欠陥孔が識別されることとなる。しかしながら、生産現場では生産効率を高めるために工程数を減らすことが要求されている。そのため、溶接工程中に検査を行うことが望まれている。
【０００４】
そこで、溶接工程中の検査として、例えば、特許文献１及び特許文献２のように、溶接中に発せられるレーザ光が大きくなっている間に、溶接部分の光をカメラによって撮影し、撮影した画像を解析することによって、ビードの形状を解析し、溶接部分の欠陥を判別している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−０５４８７９号公報
【特許文献２】特開２００４−３１４０８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、溶接中のレーザ光が大きくなっている間にはプラズマ光が発生するので、特許文献１及び特許文献２の検査では、このようなプラズマ光の影響によって、ビードの形状を正確に認識できず、検査装置等の画像上でビードの形状を正確に形成できないことがある。一方で、ビードの形状を正確に認識でき、かつ検査装置等の画像上でビードの形状を正確に形成できたとしても、ビードの形状が鮮明となることによって、処理される画像データが増加し、画像処理の負荷が増加するという問題がある。この画像処理負荷の増加が、画像処理時間の増加をもたらし、かつ検査時間の増加をもたらして、その結果、生産効率が低下することとなる。
【０００７】
本発明はこのような実状に鑑みてなされたものであって、その目的は、溶接欠陥の判別に用いられ、ビードの形状を正確に認識可能であり、画像処理負荷を低減可能である画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【０００８】
課題を解決するために、本発明の画像処理装置は、レーザ溶接の溶接部分の画像に基づいて前記溶接部分に形成されるビードの形状を認識する画像処理装置において、レーザ溶接時の残熱発光が生じている前記溶接部分を撮影し、かつ取り込んだ画像に対応して、複数の基準線を設定する基準線設定部と、前記取り込んだ画像の残熱発光の輝度が前記ビードの輪郭線を識別するように設定した輝度閾値より大きくなっている領域と、前記残熱発光の輝度が前記輝度閾値より小さくなっている領域との間の境界と前記基準線とが交差する箇所に、輪郭点を形成する輪郭点形成部と、同一の前記基準線上における２つの前記輪郭点間に中間点を形成する中間点形成部と、複数の前記輪郭点に基づいて輪郭線を形成する輪郭線形成部とを備えている。
【０００９】
課題を解決するために、本発明の画像処理装置は、下記（ａ）または（ｂ）のようになっている。
（ａ）複数の前記中間点に基づいて中心線を形成する中心線形成部をさらに備えている。
（ｂ）前記基準線を設定する前に、前記取り込んだ画像に対応して、前記輝度閾値より大きくなっている複数のビード領域点の近似曲線に基づいて前記ビードの形状の中心線を形成する中心線形成部と、前記輪郭線を形成する前に、前記中心線の湾曲を認識して、前記同一の基準線上に２つより多くの前記輪郭点が形成された場合に、前記同一の基準線上で前記ビードを跨いで間隔を空けて対向し、かつ前記中間点を形成する２つの輪郭点を判別する輪郭点判別部とをさらに備え、前記判別された２つの輪郭点が、前記中間点の形成及び前記輪郭線の形成に用いられるように構成されている。
また、前記基準線に前記中心線の湾曲形状に対して平行となる部分が生じることを防止するように、前記基準線を調節する基準線調節部をさらに備えている。
【００１０】
さらに、本発明の画像処理装置は、前記中間点を設定する前に、前記同一の前記基準線上における２つの輪郭点間の線分長さを計算し、前記線分長さの頻度分布を計算し、前記輝度閾値より大きくなっている複数のビード領域点に基づいて前記ビードの幅を計算し、前記頻度分布を用いて前記ビードの幅に基づいて定めた上限線分閾値に対して長い線分、及び該ビードの幅に基づいて定めた下限線分閾値に対して短い線分を判別して、前記長い線分の両端の輪郭点、及び前記短い線分の両端の輪郭点を排除する輪郭点選別部をさらに備えている。
また、前記長い線分を判別する上限線分閾値が前記ビードの幅の２倍となっており、前記短い線分を判別する下限線分閾値が前記ビードの幅の半分となっている。
【００１１】
課題を解決するために、本発明の画像処理方法は、レーザ溶接の溶接部分の画像に基づいて前記溶接部分に形成されるビードの形状を認識する画像処理方法において、レーザ溶接時の残熱発光が生じている前記溶接部分を撮影し、かつ取り込んだ画像に対応して、複数の基準線を設定するステップと、前記取り込んだ画像の残熱発光の輝度が前記ビードの輪郭線を識別するように設定した輝度閾値より大きくなっている領域と、前記残熱発光の輝度が前記輝度閾値より小さくなっている領域との間の境界と前記基準線とが交差する箇所に、輪郭点を形成するステップと、同一の前記基準線上における２つの前記輪郭点間に中間点を形成するステップと、複数の前記輪郭点に基づいて輪郭線を形成するステップとを含む。
【００１２】
課題を解決するために、本発明の画像処理方法は、下記（ａ）または（ｂ）のようになっている。
（ａ）複数の前記中間点に基づいて中心線を形成するステップをさらに含む。
（ｂ）前記基準線を設定するステップの前に、前記取り込んだ画像に対応して、前記輝度閾値より大きくなっている複数のビード領域点の近似曲線に基づいて前記ビードの形状の中心線を形成するステップと、前記輪郭線を形成するステップの前に、前記中心線の湾曲を認識して、前記同一の基準線上に２つより多くの前記輪郭点が形成された場合に、前記同一の基準線上で前記ビードを跨いで間隔を空けて対向し、かつ前記中間点を形成する２つの輪郭点を判別するステップとをさらに含み、前記判別された２つの輪郭点が前記中間点の形成及び前記輪郭線の形成に用いられる。
また、前記基準線に前記中心線の湾曲形状に対して平行となる部分が生じることを防止するように、前記基準線を調節するステップをさらに含む。
【００１３】
さらに、本発明の画像処理方法は、
前記中間点を設定するステップの前に、前記同一の前記基準線上における２つの輪郭点間の線分長さを計算し、前記線分長さの頻度分布を計算し、前記輝度閾値より大きくなっている複数のビード領域点に基づいて前記ビードの幅を計算し、前記頻度分布を用いて前記ビードの幅に基づいて定めた上限線分閾値に対して長い線分、及び該ビードの幅に基づいて定めた下限線分閾値に対して短い線分を判別して、前記長い線分の両端の輪郭点、及び前記短い線分の両端の輪郭点を排除するステップをさらに含む。
また、前記長い線分を判別する上限線分閾値が前記ビードの幅の２倍であり、前記短い線分を判別する下限線分閾値が前記ビードの幅の半分である。
【発明の効果】
【００１４】
本発明の画像処理装置によれば、以下の効果を得ることができる。
本発明の画像処理装置は、レーザ溶接の溶接部分の画像に基づいて前記溶接部分に形成されるビードの形状を認識する画像処理装置において、レーザ溶接時の残熱発光が生じている前記溶接部分を撮影し、かつ取り込んだ画像に対応して、複数の基準線を設定する基準線設定部と、前記取り込んだ画像の残熱発光の輝度が前記ビードの輪郭線を識別するように設定した輝度閾値より大きくなっている領域と、前記残熱発光の輝度が前記輝度閾値より小さくなっている領域との間の境界と前記基準線とが交差する箇所に、輪郭点を形成する輪郭点形成部と、同一の前記基準線上における２つの前記輪郭点間に中間点を形成する中間点形成部と、複数の前記輪郭点に基づいて輪郭線を形成する輪郭線形成部とを備えている。
そのため、溶接終了直後から溶接に用いられた光が消える前に発生する「残熱発光」に基づいて前記ビードの形状を認識するので、前記ビードの形状を認識する際に、溶接中に発生するプラズマ光の影響が少なくなる。従って、前記取り込んだ画像に基づいて、前記ビードの形状を正確に認識できる。その一方で、前記輪郭点は、前記基準線上のように前記表示する画像上の限られた範囲に形成されるので、前記表示される画像上の前記輪郭点の数が少なくなる。このような少ない数の前記輪郭点に基づいて、前記中間点、前記輪郭点及び前記輪郭線が形成されるので、処理される画像データが少なくなり、その結果、画像処理負荷が低減されることとなる。よって、溶接欠陥の判別に用いられ、ビードの形状を正確に認識可能であり、かつ画像処理負荷を低減可能とする画像処理装置を提供できる。
【００１５】
本発明の画像処理装置は、複数の前記中間点に基づいて中心線を形成する中心線形成部をさらに備えているので、少ない数の前記中間点に基づいて前記中心線が形成されるので、処理される画像データがさらに少なくなり、その結果、画像処理負荷がさらに低減されることとなる。
【００１６】
本発明の画像処理装置は、前記基準線を設定する前に、前記取り込んだ画像に対応して、前記輝度閾値より大きくなっている複数のビード領域点の近似曲線に基づいて前記ビードの形状の中心線を形成する中心線形成部と、前記輪郭線を形成する前に、前記中心線が湾曲し、かつ前記同一の基準線上に２つより多くの前記輪郭点が形成された場合に、前記同一の基準線上で前記ビードを跨いで間隔を空けて対向し、かつ前記中間点を形成する２つの輪郭点を判別する輪郭点判別部とをさらに備え、前記判別された２つの輪郭点が、前記中間点の形成及び前記輪郭線の形成に用いられるように構成されているので、湾曲した前記ビードの画像処理について、前記基準線上に２つより多くの前記輪郭点が形成された場合でも、前記ビードの形状に対応した前記輪郭線及び前記中心線を正確に認識し、かつ形成できる。
【００１７】
本発明の画像処理装置では、前記基準線に前記中心線の湾曲形状に対して平行となる部分が生じることを防止するように、前記基準線を調節する基準線調節部をさらに備えているので、湾曲した前記ビードの画像処理について、前記同一の基準線上に前記ビードの湾曲した輪郭に沿って２つの輪郭点が形成されることを防止できる。すなわち、前記同一の基準線上における２つの輪郭点の組合せが、前記ビードの幅方向に跨る２つの輪郭点に限定されることとなる。このような２つの輪郭点に基づいて、前記中間点が正確に形成されることとなる。従って、画像処理負荷をさらに低減でき、前記輪郭線及び前記中心線をさらに正確に形成できる。
【００１８】
本発明の画像処理装置は、前記中間点を設定する前に、前記同一の前記基準線上における２つの輪郭点間の線分長さを計算し、前記線分長さの頻度分布を計算し、前記輝度閾値より大きくなっている複数のビード領域点に基づいて前記ビードの幅を計算し、前記頻度分布を用いて前記ビードの幅に基づいて定めた上限線分閾値に対して長い線分、及び該ビードの幅に基づいて定めた下限線分閾値に対して短い線分を判別して、前記長い線分の両端の輪郭点、及び前記短い線分の両端の輪郭点を排除する輪郭点選別部をさらに備えている。
また、前記長い線分を判別する上限線分閾値が前記ビードの幅の２倍となっており、前記短い線分を判別する下限線分閾値が前記ビードの幅の半分となっている。
そのため、例えば、前記ビードの輪郭以外の要素に基づいて形成された前記輪郭点のように、前記輪郭線を形成するために不必要な前記輪郭点が排除されることとなり、より少ない数の正確な前記輪郭点を用いて前記輪郭線を形成できる。従って、画像処理負荷をさらに低減でき、前記ビードの形状をさらに正確に形成できる。
【００１９】
本発明の画像処理方法によれば、以下の効果を得ることができる。
本発明の画像処理方法は、レーザ溶接の溶接部分の画像に基づいて前記溶接部分に形成されるビードの形状を認識する画像処理方法において、レーザ溶接時の残熱発光が生じている前記溶接部分を撮影し、かつ取り込んだ画像に対応して、複数の基準線を設定するステップと、前記取り込んだ画像の残熱発光の輝度が前記ビードの輪郭線を識別するように設定した輝度閾値より大きくなっている領域と、前記残熱発光の輝度が前記輝度閾値より小さくなっている領域との間の境界と前記基準線とが交差する箇所に、輪郭点を形成するステップと、同一の前記基準線上における２つの前記輪郭点間に中間点を形成するステップと、複数の前記輪郭点に基づいて輪郭線を形成するステップとを含む。
そのため、溶接終了直後から溶接に用いられた光が消える前に発生する「残熱発光」に基づいて前記ビードの形状を認識するので、前記ビードの形状を認識する際に、溶接中に発生するプラズマ光の影響が少なくなる。従って、前記取り込んだ画像に基づいて、前記ビードの形状を正確に認識できる。その一方で、前記輪郭点は、前記基準線上のように前記表示する画像上の限られた範囲にのみ形成されるので、前記表示される画像上の前記輪郭点の数が少なくなる。このような少ない数の前記輪郭点に基づいて、前記中間点及び前記輪郭線が形成されるので、処理される画像データが少なくなり、その結果、画像処理負荷が低減されることとなる。よって、溶接欠陥の判別に用いられ、ビードの形状を正確に認識可能であり、かつ画像処理負荷を低減可能とする画像処理装置を提供できる。
【００２０】
本発明の画像処理方法は、複数の前記中間点に基づいて中心線を形成するステップをさらに含むので、少ない数の前記中間点に基づいて前記中心線が形成されるので、処理される画像データがさらに少なくなり、その結果、画像処理負荷がさらに低減されることとなる。
【００２１】
本発明の画像処理方法は、前記基準線を設定するステップの前に、前記取り込んだ画像に対応して、前記輝度閾値より大きくなっている複数のビード領域点の近似曲線に基づいて前記ビードの形状の中心線を形成するステップと、前記輪郭線を形成するステップの前に、前記中心線の湾曲を認識して、前記同一の基準線上に２つより多くの前記輪郭点が形成された場合に、前記同一の基準線上で前記ビードを跨いで間隔を空けて対向し、かつ前記中間点を形成する２つの輪郭点を判別するステップとをさらに含み、前記判別された２つの輪郭点が前記中間点の形成及び前記輪郭線の形成に用いられるので、湾曲した前記ビードの画像処理について、前記基準線上に２つより多くの前記輪郭点が形成された場合でも、前記ビードの形状に対応した前記輪郭線及び前記中心線を正確に認識し、かつ形成できる。
【００２２】
本発明の画像処理方法では、前記基準線に前記中心線の湾曲形状に対して平行となる部分が生じることを防止するように、前記基準線を調節するステップをさらに含むので、湾曲した前記ビードの画像処理について、前記同一の基準線上に前記ビードの湾曲した輪郭に沿って２つの輪郭点が形成されることを防止できる。すなわち、前記同一の基準線上における２つの輪郭点の組合せが、前記ビードの幅方向に跨る２つの輪郭点に限定されることとなる。このような２つの輪郭点に基づいて、前記中間点が正確に形成されることとなる。従って、画像処理負荷をさらに低減でき、前記輪郭線及び前記中心線をさらに正確に形成できる。
【００２３】
本発明の画像処理方法は、前記中間点を設定するステップの前に、前記同一の前記基準線上における２つの輪郭点間の線分長さを計算し、前記線分長さの頻度分布を計算し、前記輝度閾値より大きくなっている複数のビード領域点に基づいて前記ビードの幅を計算し、前記頻度分布を用いて前記ビードの幅に基づいて定めた上限線分閾値に対して長い線分、及び該ビードの幅に基づいて定めた下限線分閾値に対して短い線分を判別して、前記長い線分の両端の輪郭点、及び前記短い線分の両端の輪郭点を排除するステップをさらに含む。
また、前記長い線分を判別する上限線分閾値が前記ビードの幅の２倍であり、前記短い線分を判別する下限線分閾値が前記ビードの幅の半分である。
そのため、例えば、前記ビードの輪郭以外の要素に基づいて形成された前記輪郭点のように、前記輪郭線を形成するために不必要な前記輪郭点が排除されることとなり、より少ない数の正確な前記輪郭点を用いて前記輪郭線を形成できる。従って、画像処理負荷をさらに低減でき、前記ビードの形状をさらに正確に形成できる。
【図面の簡単な説明】
【００２４】
【図１】溶接欠陥の判定対象となる溶接部分のビードを示す概略図である。
【図２】本発明の第１実施形態に係る画像処理装置を有する溶接欠陥判定システムを示すブロック図である。
【図３】画像取り込み処理について、溶接直後の時間経過と残熱発光の輝度との関係を示す図である。
【図４】本発明の第１実施形態において、ビードの形状を表示した画像の一例を示す模式図である。
【図５】（ａ）本発明の第１実施形態において、正常なビードの終端部分における湾曲度の計算を説明するための模式図である。（ｂ）本発明の第１実施形態において、溶接欠陥を有するビードの終端部分における湾曲度の計算を説明するための模式図である。
【図６】本発明の第１実施形態に係る画像処理方法を用いた溶接欠陥判定方法を示すフローチャートである。
【図７】本発明の第２実施形態に係る画像処理装置を有する溶接欠陥判定システムを示すブロック図である。
【図８】本発明の第２実施形態において、ビード領域点に基づいて中心線を形成した画像の一例を示す模式図である。
【図９】本発明の第２実施形態において、基準線同士の交差角度を初期状態から変更した状態を示す模式図である。
【図１０】本発明の第２実施形態において、同一基準線上でビードを跨いで間隔を空けて対向する２つの輪郭点と、このような輪郭点以外の不要な輪郭点とが形成された状態を示す模式図である。
【図１１】本発明の第２実施形態に係る画像処理方法を用いた溶接欠陥判定方法を示すフローチャートである。
【図１２】本発明の第３実施形態に係る画像処理装置を有する溶接欠陥判定システムを示すブロック図である。
【図１３】本発明の第３実施形態において、同一基準線上の２つの輪郭点間における線分長さの頻度分布の一例を示す図である。
【図１４】本発明の第３実施形態に係る画像処理方法を用いた溶接欠陥判定方法を示すフローチャートである。
【発明を実施するための形態】
【００２５】
［第１実施形態］
本発明の第１実施形態に係る画像処理装置を有する溶接欠陥判定システム（以下、「判定システム」という）、及び第１実施形態に係る画像処理方法を用いた溶接欠陥判定方法について説明する。
最初に、図１を参照して、欠陥を判定する対象の溶接部分のビードｍについて説明する。ビードｍは略Ｃ字状に形成されており、詳細には、ビードｍは、溶接開始地点に形成された始端部分ｍ１と、溶接終了地点に形成された終端部分ｍ２と、始端部分ｍ１及び終端部分ｍ２の間に形成された中間部分ｍ３とを有している。第１実施形態では、ビードｍの終端部分ｍ２と、ビードｍの中間部分ｍ３における終端部分ｍ２側の部分とを含む領域Ｊを欠陥判定の対象とする。なお、第１実施形態では、一例として、ビードｍは略Ｃ字条に形成されているが、直線状、Ｌ字状、波状等のようなその他の形状であってもよい。
【００２６】
次に、図２を参照して判定システム１を説明する。
判定システム１は画像取り込み装置２を有しており、この画像取り込み装置２は、溶接用のレーザを照射し、レーザ溶接時の残熱発光が生じている溶接部分を撮影し、かつ撮影した溶接部分の画像を取り込むように構成されている。判定システム１は画像処理装置３を有しており、画像処理装置３は、画像取り込み装置２により取り込んだ溶接部分の画像に基づいてビードｍの形状を認識するように構成されている。判定システム１はビード形状判定装置４を有しており、このビード形状判定装置４は、画像処理装置３により認識されたビードの形状に基づいて、溶接部分の欠陥を判定するように構成されている。
【００２７】
画像取り込み装置２について、図２及び図３を参照して説明する。
図２を参照すると、画像取り込み装置２は、溶接部材Ｍに溶接用のレーザを照射するレーザ照射部５を有している。画像取り込み装置２は、レーザを照射した溶接部分の画像を連続的に撮影するモニタ部６を有している。画像取り込み装置２は、モニタ部６により撮影した画像を連続的に記憶する記憶部７を有している。画像取り込み装置２は、記憶部７に記憶された画像を取り込む画像取り込み部８を有している。
【００２８】
図３を参照すると、画像取り込み部８は、溶接終了直後から所定の時間ｔ内に生じる残熱発光の画像を取り込むように構成されている。また、画像取り込み部８は、画像の平均輝度Ｇが所定の取り込み開始輝度閾値ｇ１以上である場合に、画像の取り込みを開始し、画像の平均輝度Ｇが所定の取り込み終了輝度閾値ｇ２以下である場合に、残熱発光が終了したと認識して、画像の取り込みを終了するように構成されている。
【００２９】
一例として、画像取り込み装置２の詳細は、次のように構成されていると好ましい。
残熱発光は、溶接終了直後から数十ｍｓ（ミリ秒）間生じた後に減衰するので、確認難くなる。そのため、所定の時間ｔは約２０ｍｓであると好ましい。この場合、モニタ部６は、フレームレート約５００Ｈｚ（周期２ｍｓ）の高速度カメラであるとよく、約１０枚（＝２０ｍｓ÷２ｍｓ）の画像が取り込まれることとなる。また、モニタ部６は、高ダイナミックレンジカメラであると好ましく、信号検出のダイナミックレンジが広く、かつ計測可能な輝度の範囲が広くなっているので、溶接中及び溶接直後の画像を撮影できる。画像取り込み部８では、画像の取り込みを開始する開始輝度閾値ｇ１が、溶接中及び溶接直後の平均輝度Ｇの中間値となっていると好ましい。画像の取り込みを終了する終了輝度閾値ｇ２は、開始輝度閾値ｇ１より小さく、かつ残熱発光を確認できない程に暗くなった状態の画像の平均輝度Ｇより大きくなっていると好ましい。
【００３０】
画像処理装置３について、図２及び図４を参照して説明する。
図２を参照すると、画像処理装置３はビード認識部９を有しており、このビード認識部９は、画像取り込み装置２によって取り込んだ画像に基づいて、ビード領域候補を認識するように構成されている。ビード領域候補は、所定の輪郭輝度閾値ｈより残熱発光の輝度Ｈが大きくなっている領域となっており、輪郭輝度閾値ｈは、ビードｍの輪郭線を識別するように設定されている。画像処理装置３はビード判別部１０を有しており、このビード判別部１０は、複数のビード領域候補が認識された場合に、複数のビード領域候補から実際のビードに対応するビード領域Ｅを選択するように構成されている。なお、このビード領域Ｅは、複数のビード領域点ｅから構成されている。一例として、ビード領域点ｅは、画像上で１つ以上のピクセルにより表され、複数のビード領域点ｅは、互いに隣接して配置されるか、又はピクセル単位の間隔で配置されているとよい。また、ビード判別部１０は、各ビード領域候補のアスペクト比（縦横比）を計算し、このアスペクト比に基づいて、複数のビード領域候補から実際のビードｍに対応するビード領域Ｅを選択する構成となっている。例えば、アスペクト比が一般的なビードｍの横長形状に対応する値より大きくなっている場合に、このようなビード領域候補が実際のビードｍに相当すると認識する設定であるとよい。実際のビードｍと、溶接時に飛散するスパッタ粒子とにそれぞれ対応するビード領域候補が認識された場合、スパッタ粒子に対応するビード領域候補は、等方的な形状に形成されるのに対して、ビードｍは横長形状に形成されることとなる。そのため、実際のビードｍに対応するビード領域Ｅが正確に選択されることとなる。さらに、スパッタ粒子に対応するビード領域候補が、等方的な形状に形成されていない場合を考慮して、ビード判別部１０は、複数のビード領域候補が時間を前後して取り込んだ画像にて移動しているか、又は停止しているかを判定し、かつ停止しているビード領域候補が実際のビードｍに対応するビード領域Ｅであると認識するように構成されている。
【００３１】
図２を参照すると、画像処理装置３は基準線設定部１１を有しており、この基準線設定部１１は、取り込んだ画像にて複数の基準線Ｌを格子状に設定するように構成されている（図４を参照）。一例として、複数の基準線Ｌは、ピクセル単位の間隔を空けて配置されているとよく、複数の基準線Ｌ同士の間隔は、複数のビード領域点ｅの間隔より大きくなっていると好ましい。画像処理装置３は輪郭点形成部１２を有しており、この輪郭点形成部１２は、基準線Ｌ上にビードｍの輪郭点ｐを形成するように構成されている（図４を参照）。画像処理装置３は中間点形成部１３を有しており、この中間点形成部１３は、同一の基準線Ｌ上に形成された２つの輪郭点ｐ間の中間点ｑを形成するように構成されている（図４を参照）。画像処理装置３は輪郭線形成部１４を有しており、この輪郭線形成部１４は、複数の輪郭点ｐに基づいて輪郭線Ｐを形成するように構成されている（図４を参照）。画像処理装置３は第１の中心線形成部１５を有しており、この第１の中心線形成部１５は、複数の中間点ｑに基づいて中心線Ｑを形成するように構成されている（図４を参照）。
【００３２】
輪郭点形成部１２及び中間点形成部１３の詳細について、図４を参照して説明する。
輪郭点形成部１２は、基準線Ｌ上に輪郭点ｐを形成する構成となっている。輪郭点ｐは、画像取り込み装置２によって取り込んだ画像に基づいて、ビードｍの輪郭に相当する境界が基準線Ｌと交差する箇所に形成される。ビードｍの輪郭に相当する境界は、残熱発光の輝度Ｈが、ビードｍの輪郭線を識別するように設定した輪郭輝度閾値ｈより大きくなっている領域と、残熱発光の輝度Ｈが、輪郭輝度閾値ｈより小さくなっている領域との間に位置している。すなわち、輪郭輝度閾値ｈは、ビードｍの輪郭に対応するように、ビードｍの輪郭の内側領域に対応する残熱発光の輝度Ｈより小さく、かつビードｍの輪郭の外側領域に対応する残熱発光の輝度Ｈより大きな値に設定されている。なお、一例として、輪郭輝度閾値ｇ３は、ビードｍの輪郭と残熱発光の輝度Ｈとの関係を予め求めておくことによって、設定されているとよい。さらに、中間点形成部１３は、同一の基準線Ｌ上に形成された２つの輪郭点ｐ同士の中点を中間点ｑとして形成するように構成されている。
【００３３】
輪郭線形成部１４及び第１の中心線形成部１５の詳細について、図４を参照して説明する。
輪郭線形成部１４は、フィッティング関数ｆ１を用いて、複数の輪郭点ｐに基づく輪郭線Ｐを形成する。一例として、互いに直角に交差するＸ軸及びＹ軸を定めた場合、フィッティング関数ｆ１は、Ｙ＝ａＸ２＋ｂＸ＋ｃ、又はＸ＝ａ’Ｙ２＋ｂ’Ｙ＋ｃ’であるとよく、これらの係数ａ、ｂ及びｃ、又は係数ａ’、ｂ’及びｃ’は、フィッティング関数ｆ１と複数の輪郭点ｐとの距離の二乗和を最小とするように定められるとよい（最小二乗法）。さらに、フィッティング関数ｆ１については、Ｙ＝ａＸ２＋ｂＸ＋ｃ、及びＸ＝ａ’Ｙ２＋ｂ’Ｙ＋ｃ’のそれぞれの計算式に基づいて計算し、これらの内でフィッティング誤差が小さい方の計算式を選択し、この選択した計算式を用いて輪郭線Ｐを形成するとよい。なお、フィッティング関数ｆ１は、３次関数、４次関数等の多項式関数、指数関数、対数関数等であってもよい。また、フィッティング関数ｆ１は、輪郭点ｐに基づいて輪郭線Ｐを形成できれば、その他のフィッティングに用いられる関数であってもよい。
【００３４】
また、第１の中心線形成部１５は、フィッティング関数ｆ２を用いて、複数の中間点ｑに基づいて中心線Ｑを形成するように構成されている。一例として、フィッティング関数ｆ２は、フィッティング関数ｆ１と同様になっているとよい。
【００３５】
ビード形状判定装置４について、図２、図５（ａ）、及び図５（ｂ）を参照して説明する。
ビード形状判定装置４は、画像処理装置３によって得られた輪郭点ｐ、中間点ｑ、輪郭線Ｐ、及び中心線Ｑに基づいて、ビードｍの欠陥の有無を判定するように構成されている。ビード形状判定装置４の詳細について、図２を参照して説明すると、ビード形状判定装置４は代表点形成部１６を有しており、代表点形成部１６は、直角に交差するＸ軸及びＹ軸を定めた場合、複数の中点ｑの平均位置である代表中間点ｑ１を形成するように構成されている（図５（ａ）及び図５（ｂ）を参照）。この代表中間点ｑ１のＸ座標は、複数の中間点ｑのＸ座標平均値となっており、代表中間点ｑ１のＹ座標は、複数の中間点ｑのＹ座標平均値となっている。ビード形状判定装置４は終端点形成部１７を有しており、終端点形成部１７は、ビードｍの終端部分ｍ２にて輪郭線Ｐと中心線Ｑとが交差する点である終端中間点ｑ２を形成するように構成されている（図５（ａ）及び図５（ｂ）を参照）。ビード形状判定装置４は副代表点形成部１８を有しており、副代表点形成部１８は、代表中間点ｑ１と終端中間点ｑ２との間の中点である副代表中間点ｑ３を形成するように構成されている（図５（ａ）及び図５（ｂ）を参照）。ビード形状判定装置４は直線形成部１９を有しており、直線形成部１９は、終端中間点ｑ２と副代表中間点ｑ３とを結ぶ直線Ｒに対して垂直な方向に距離ｄの間隔を空けて、かつ直線Ｒに対して平行に配置される一対の直線Ｕ，Ｖを形成するように構成されている（図５（ａ）及び図５（ｂ）を参照）。
【００３６】
一例として、図５（ａ）及び図５（ｂ）に示すように、距離ｄは、ビードｍの幅の半分以下であるとよい。この場合、ビードｍの幅は、ビード領域Ｅ、及び／又はこのビード領域Ｅ内の複数のビード領域点ｅと、ビード領域Ｅ及び／又はビード領域点ｅから計算されたアスペクト比とに基づいて計算された代表幅であるとよい。ビード形状判定装置４は湾曲度計算部２０を有しており、湾曲度計算部２０は、ビードｍの終端部分ｍ２の溶接欠陥を判別するように構成されている。
【００３７】
湾曲度計算部２０の詳細について、図５（ａ）及び図５（ｂ）を参照して説明する。
湾曲度計算部２０は、ビードｍの終端部分ｍ２にて直線Ｕ，Ｖと輪郭線Ｐとがそれぞれ交差する点である境界点ｕ，ｖを計算するように構成されている。湾曲度計算部２０は、直線ＵＶと終端中間点ｑ２との距離を湾曲度Ｗとして計算するように構成されている。湾曲度Ｗは、図５（ａ）に示すように、境界点ｕ，ｖを結ぶ直線ＵＶを基準として終端中間点ｑ２が副代表中間点ｑ３と反対側に位置する場合、プラスの値であると識別される一方で、図５（ｂ）に示すように、直線ＵＶを基準として終端中間点ｑ２が副代表中間点ｑ３側に位置する場合、マイナスの値であると識別される。湾曲度Ｗがプラスの値である場合、図５（ａ）に示すように、終端部分ｍ２は凸形状である。その一方で、湾曲度Ｗの値がマイナスである場合、図５（ｂ）に示すように、終端部分ｍ２は凹形状である。また、湾曲度計算部２０では、終端部分ｍ２にて欠陥の有無を判定するための湾曲度閾値ｗが設定されており、湾曲度Ｗが湾曲度閾値ｗ以上である場合、終端部分ｍ２は正常と判定される。その一方で、湾曲度Ｗが湾曲度閾値ｗ以下である場合、終端部分ｍ２には孔等の欠陥が発生していると判定される。一例として、湾曲度閾値ｗは０であると好ましい。
【００３８】
第１実施形態に係る画像処理方法を用いた溶接欠陥判定方法について、図６を参照して説明する。
レーザ照射部５が溶接部材Ｍに溶接用のレーザを照射し、モニタ部６が、レーザを照射された溶接部分の画像を連続的に撮影し、記憶部７が、撮影された画像を記憶し、画像取り込み部８が、記憶部７から残熱発光が生じている画像を取り込む（Ｓ１）。ビード認識部９が、取り込んだ画像におけるビード領域候補を認識する。複数のビード領域候補が認識された場合、ビード判別部１０が、実際のビードｍに対応するビード領域Ｅを判別する。画像取り込み部８によって取り込まれた画像に対応して、基準線設定部１１が複数の基準線Ｌを格子状に設定する（Ｓ２）。輪郭点形成部１２が、基準線Ｌ上にビードｍの輪郭点ｐを形成する（Ｓ３）。中間点形成部１３が、同一の基準線Ｌ上に形成された２つの輪郭点ｐ間の中間点ｑを形成する（Ｓ４）。輪郭線形成部１４が、複数の輪郭点ｐに基づいて輪郭線Ｐを形成する（Ｓ５）。第１の中心線形成部１５が、複数の中間点ｑに基づいて中心線Ｑを形成する（Ｓ６）。画像処理装置３により得られた中間点ｑ、輪郭線Ｐ、及び中心線Ｑに基づいて、ビードｍの欠陥の有無を判定する（Ｓ７）。
【００３９】
ビードｍの欠陥の有無を判定することについての詳細を説明する。代表点形成部１６が、互いに直角に交差するＸ軸及びＹ軸を定めて、複数の中点ｑの平均位置である代表中間点ｑ１を形成する。終端点形成部１７が、ビードｍの終端部分ｍ２における輪郭線Ｐと中心線Ｑとの交点である終端中間点ｑ２を形成する。副代表点形成部１８が、代表中間点ｑ１と終端中間点ｑ２との間の中点である副代表中間点ｑ３を形成する。直線形成部１９が、終端中間点ｑ２と副代表中間点ｑ３とを結ぶ直線ＲＳに対して垂直な方向に距離ｄの間隔を空けて、かつ直線Ｒに対して平行に配置される一対の直線Ｕ，Ｖを形成する。湾曲度計算部２０が、終端部分ｍ２にて直線Ｕ，Ｖと輪郭線Ｐとが交差する点である境界点ｕ，ｖをそれぞれ計算する。さらに、湾曲度計算部２０では、終端部分ｍ２の湾曲度Ｗが湾曲度閾値ｗ以上である場合、終端部分ｍ２は正常と判定される。その一方で、湾曲度Ｗが湾曲度閾値ｗ以下である場合、終端部分ｍ２には孔等の欠陥が発生していると判定される。
【００４０】
以上のように本発明の第１実施形態によれば、残熱発光に基づいてビードｍの形状を認識するので、ビードｍの形状を認識する際に、溶接中に発生するプラズマ光の影響が少なくなる。従って、取り込んだ画像に基づいて、ビードｍの輪郭線Ｐ及び中心線Ｑを正確に認識できる。その一方で、輪郭点ｐ及び中間点ｑは、基準線Ｌ上のように限られた範囲に形成されるので、輪郭点ｐ及び中間点ｑの数が少なくなる。このような少ない数の輪郭点ｐに基づいて中間点ｑ及び輪郭線Ｐが形成され、かつ少ない数の中間点ｑに基づいて中心線Ｑが形成されるので、処理される画像データが少なくなり、その結果、画像処理負荷が低減されることとなる。よって、溶接欠陥の判別に用いられ、ビードｍの形状を正確に認識可能であり、かつ画像処理負荷を低減可能とする画像処理装置３を提供できる。
【００４１】
［第２実施形態］
本発明の第２実施形態に係る画像処理装置及び画像処理方法について以下に説明する。第２実施形態の画像処理装置及び画像処理方法の基本的な構成要素は、第１実施形態の画像処理装置及び画像処理方法の構成と同様になっている。第１実施形態と同様な要素は、第１実施形態と同様の符号および名称を用いて説明する。ここでは、第１実施形態と異なる構成について説明する。
【００４２】
図７〜図１０を参照して、判定システム２１について説明する。
図７を参照すると、判定システム２１は、第１実施形態と同様の画像取り込み装置２、及びビード形状判定装置４を有している。判定システム２１は、画像取り込み装置２により取り込んだ溶接部分の画像に基づいて、この溶接部分に形成されるビードｍの形状を認識する画像処理装置２２を有している。
【００４３】
図７を参照すると、画像処理装置２２は、第１実施形態と同様のビード認識部９、ビード判別部１０、基準線設定部１１、輪郭点形成部１２、中間点形成部１３、及び輪郭線形成部１４を有している。画像処理装置２２は第２の中心線形成部２３を有しており、この第２の中心線形成部２３は、ビード認識部９及びビード判別部１０により得られたビード領域Ｅ内の複数のビード領域点ｅに基づいて中心線Ｑを形成するように構成されている（図８を参照）。中心線形成部２３では、複数のビード領域点ｅに基づいて近似曲線が計算され、この近似曲線が中心線Ｑとして形成される。例えば、この近似曲線は、対数近似曲線、多項式近似曲線、累乗近似曲線、指数近似曲線、移動平均曲線等であるとよい。画像処理装置２２は湾曲形状認識部２４を有しており、湾曲形状認識部２４は、中心線Ｑに基づいてビードｍの湾曲形状を認識するように構成されている（図８を参照）。画像処理装置２２は基準線調節部２５を有しており、この基準線調節部２５は、図９に示すように基準線Ｌに中心線Ｑの湾曲形状に対して平行となる部分が生じることを防止するように構成されている。詳細には、基準線調節部２５は、初期状態で直角となっている基準線Ｌ同士の交差角度ｚを変更可能とするように構成されている。再び、図７を参照すると、画像処理装置２２は輪郭点判別部２６を有しており、輪郭点判別部２６は、中心線Ｑが湾曲し、かつ同一の基準線Ｌ上に２つより多くの輪郭点が形成された場合に、同一の基準線Ｌ上でビードｍを跨いで間隔を空けて対向する２つの輪郭点ｐを判別し、このような輪郭点ｐ以外の不要な輪郭点ｐ’を排除するように構成されている（図１０を参照）。
【００４４】
第２実施形態に係る画像処理方法を用いた溶接欠陥判定方法について、図１０を参照して説明する。
第１実施形態と同様に、レーザ溶接時の残熱発光が生じている画像を取り込む（Ｓ２１）。ビード認識部９が、取り込んだ画像におけるビード領域候補を認識する。複数のビード領域候補が認識された場合、ビード判別部１０が、実際のビードｍに対応するビード領域Ｅを判別する。第２の中心線形成部２３が、ビード領域Ｅ内のビード領域点ｅに基づいて近似曲線を計算し、この近似曲線を中心線Ｑとして形成する（Ｓ２２）。湾曲形状認識部２４が、中心線Ｑに基づいてビードｍの湾曲形状を認識する（Ｓ２３）。基準線設定部１１が、複数の基準線Ｌを格子状に設定する（Ｓ２４）。基準線調節部２５が、基準線Ｌに中心線Ｑに対して平行となる部分が生じることを防止するように、初期状態で直角となっている基準線Ｌ同士の交差角度ｚを変更する（Ｓ２５）。輪郭点形成部１２が、基準線Ｌ上にビードｍの輪郭点ｐを形成する（Ｓ２６）。輪郭点判別部２６が、中心線Ｑが湾曲し、かつ同一の基準線Ｌ上に２つより多くの輪郭点ｐが形成された場合に、同一の基準線Ｌ上でビードｍを跨いで間隔を空けて対向する２つの輪郭点ｐを判別する（Ｓ２７）。中間点形成部１３が、同一の基準線Ｌ上に形成され、かつ輪郭点判別部２６により判別された２つの輪郭点ｐ間の中間点ｑを形成する（Ｓ２８）。輪郭線形成部１４が、複数の輪郭点ｐに基づいて輪郭線Ｐを形成する（Ｓ２９）。第１実施形態と同様に、画像処理装置２２により得られた中間点ｑ、輪郭線Ｐ、及び中心線Ｑに基づいて、ビードｍの欠陥の有無を判定する（Ｓ３０）。
【００４５】
以上のように本発明の第２実施形態によれば、第１実施形態と同様の効果に加えて、次のような効果が得られる。本発明の第２実施形態によれば、輪郭点判別部２６が、中心線Ｑが湾曲し、かつ同一の基準線Ｌ上に２つより多くの輪郭点ｐが形成された場合に、同一の基準線Ｌ上でビードｍを跨いで間隔を空けて対向する２つの輪郭点ｐを判別する。そのため、湾曲したビードｍの画像処理について、基準線Ｌ上に２つより多くの輪郭点ｐが形成された場合でも、ビードｍの形状に対応した輪郭線Ｐ及び中心線Ｑを正確に認識し、かつ形成できる。
【００４６】
本発明の第３実施形態によれば、基準線調節部２５は、基準線Ｌに中心線Ｑの湾曲形状に対して平行となる部分が生じることを防止する。そのため、湾曲したビードｍの画像処理について、同一の基準線Ｌ上にビードｍの湾曲した輪郭に沿って２つの輪郭点ｐが形成されることを防止できる。すなわち、同一の基準線Ｌ上における２つの輪郭点ｐの組合せが、ビードｍの幅方向に跨る２つの輪郭点ｐに限定されることとなる。このような２つの輪郭点ｐに基づいて、中間点ｑが正確に形成されることとなる。従って、画像処理負荷をさらに低減でき、輪郭線Ｐ及び中心線Ｑをさらに正確に形成できる。
【００４７】
［第３実施形態］
本発明の第３実施形態に係る画像処理装置及び画像処理方法について以下に説明する。第３実施形態の画像処理装置及び画像処理方法の基本的な構成要素は、第１実施形態の画像処理装置及び画像処理方法の構成と同様になっている。第１実施形態と同様な要素は、第１実施形態と同様の符号および名称を用いて説明する。ここでは、第１実施形態と異なる構成について説明する。
【００４８】
図１２及び図１３を参照して、判定システム３１について説明する。
図１２を参照すると、第１実施形態と同様の画像取り込み装置２、及びビード形状判定装置４を有している。判定システム３１は画像処理装置３２を有しており、この画像処理装置３２は、画像取り込み装置２により取り込んだ溶接部分の画像に基づいて、この溶接部分に形成されるビードｍの形状を認識するように構成されている。
【００４９】
図１２を参照すると、画像処理装置３２は、第１実施形態と同様のビード認識部９、ビード判別部１０、基準線設定部１１、輪郭点形成部１２、中間点形成部１３、輪郭線形成部１４、及び中心線形成部１５を有している。さらに、画像処理装置３２は輪郭点選別部３３を有しており、この輪郭点選別部３３は、同一の基準線Ｌ上に位置する２つの輪郭点ｐ間の線分長さＫを計算するように構成されている。また、輪郭点選別部３３は、図１５に示すように、この線分長さＫの頻度Ｎの分布を計算するように構成されている。さらに、輪郭点選別部３３は、ビード認識部９及びビード判別部１０により得られたビード領域Ｅ内の複数のビード領域点ｅに基づいて、ビードｍの幅を計算するように構成されている。輪郭点選別部３３は、ビードｍの幅に基づいて定めた上限線分閾値ｋ１に対して長い線分と、ビードの幅に基づいて定めた下限線分閾値ｋ２に対して短い線分とを判別して、この長い線分の両端の輪郭点ｐと、この短い線分の両端の輪郭点ｐとを排除するように構成されている。この場合、ビードｍの幅は、ビード領域Ｅ、及び／又はこのビード領域Ｅ内の複数のビード領域点ｅと、ビード領域Ｅ及び／又はビード領域点ｅから計算されたアスペクト比とに基づいて計算された代表幅であるとよい。上限線分閾値ｋ１はビードの幅の２倍に設定されているとよく、下限線分閾値ｋ２がビードの幅の半分に設定されているとよい。
【００５０】
第３実施形態に係る画像処理方法を用いた溶接欠陥判定方法について、図１４を参照して説明する。
第１実施形態と同様に、レーザ溶接時の残熱発光が生じている画像を取り込む（Ｓ３１）。ビード認識部９が、取り込んだ画像におけるビード領域候補を認識し、複数のビード領域候補が認識された場合、ビード判別部１０が、実際のビードｍに対応するビード領域Ｅを判別する。画像取り込み部８によって取り込まれた画像に対応して溶接部分のビードｍの形状を、基準線設定部１１が複数の基準線Ｌを格子状に設定する（Ｓ３２）。輪郭点形成部１２が、基準線Ｌ上にビードｍの輪郭点ｐを形成する（Ｓ３３）。輪郭点選別部３３が、同一の基準線Ｌ上に位置する２つの輪郭点ｐ間の線分長さＫを計算し、線分長さＫの頻度分布を計算し、複数のビード領域点ｅに基づいてビードｍの幅を計算し、この頻度分布上で、ビードｍの幅に基づいて定めた上限閾値ｋ１に対して長い線分と、ビードｍの幅に基づいて定めた下限閾値ｋ２に対して短い線分とを判別し、この長い線分の両端の輪郭点と、この短い線分の両端の輪郭点とを排除する（Ｓ３４）。中間点形成部１３が、同一の基準線Ｌ上に形成された２つの輪郭点ｐ間の中間点ｑを形成する（Ｓ３５）。輪郭線形成部１４が、複数の輪郭点ｐに基づいて輪郭線Ｐを形成する（Ｓ３６）。第１の中心線形成部１５が、複数の中間点ｑに基づいて中心線Ｑを形成する（Ｓ３７）。第１実施形態と同様に、画像処理装置３２により得られた中間点ｑ、輪郭線Ｐ、及び中心線Ｑに基づいて、ビードｍの欠陥の有無を判定する（Ｓ３８）。
【００５１】
以上のように本発明の第３実施形態によれば、第１実施形態と同様の効果に加えて、次のような効果が得られる。本発明の第３実施形態によれば、輪郭点選別部３３が、同一の基準線Ｌ上に位置する２つの輪郭点ｐ間の線分長さＫを計算し、線分長さＫの頻度分布を計算し、ビードｍの幅を計算し、この頻度分布上で、ビードｍの幅に基づいて定めた上限線分閾値ｋ１に対して長い線分と、ビードｍの幅に基づいて定めた下限線分閾値ｋ２に対して短い線分とを判別し、この長い線分の両端の輪郭点と、この短い線分の両端の輪郭点とを排除する。また、一例として、上限線分閾値ｋ１はビードの幅の２倍に設定され、下限線分閾値ｋ２がビードの幅の半分に設定されている。そのため、例えば、ビードｍの輪郭以外の要素に基づいて形成された輪郭点のように、輪郭線Ｐを形成するために不必要な輪郭点が排除されることとなり、より少ない数の正確な輪郭点ｐを用いて輪郭線Ｐを形成できる。従って、画像処理負荷をさらに低減でき、前記ビードの形状をさらに正確に形成できる。
【００５２】
ここまで本発明の実施形態について述べたが、本発明は既述の実施形態に限定されるものではなく、本発明の技術的思想に基づいて各種の変形及び変更が可能である。
【００５３】
例えば、本発明の実施形態の第１変形例として、第２実施形態に係る画像処理装置２２において、第３実施形態の輪郭点選別部３３が設けられてもよい。第３実施形態と同様の効果が得られる。
【００５４】
本発明の実施形態の第２変形例として、第１実施形態〜第３実施形態において、複数の基準線Ｌが、ビード領域Ｅ内の一点で互いに交差し、かつこの交差した点から放射状に延びるように設定されてもよい。本発明の第１実施形態〜第３実施形態と同様の効果が得られる。
【符号の説明】
【００５５】
１，２１，３１ 溶接欠陥判定システム（判定システム）
２ 画像取り込み装置
３，２２，３２ 画像処理装置
４ ビード形状判定装置
１１ 基準線設定部
１２ 輪郭点形成部
１３ 中間点形成部
１４ 輪郭線形成部
１５ 第１の中心線形成部
２３ 第２の中心線形成部
２４ 湾曲形状認識部
２５ 基準線調節部
２６ 輪郭点判別部
３３ 輪郭点選別部
ｍ ビード
Ｈ 残熱発光の輝度
ｈ 輪郭輝度閾値
ｅ ビード領域点
Ｌ 基準線
ｐ 輪郭点
ｑ 中間点
Ｐ 輪郭線
Ｑ 中心線
Ｋ 線分長さ
ｋ１ 上限線分閾値
ｋ２ 下限線分閾値
【特許請求の範囲】
【請求項１】
レーザ溶接の溶接部分の画像に基づいて前記溶接部分に形成されるビードの形状を認識する画像処理装置において、
レーザ溶接時の残熱発光が生じている前記溶接部分を撮影し、かつ取り込んだ画像に対応して、複数の基準線を設定する基準線設定部と、
前記取り込んだ画像の残熱発光の輝度が前記ビードの輪郭線を識別するように設定した輝度閾値より大きくなっている領域と、前記残熱発光の輝度が前記輝度閾値より小さくなっている領域との間の境界と前記基準線とが交差する箇所に、輪郭点を形成する輪郭点形成部と、
同一の前記基準線上における２つの前記輪郭点間に中間点を形成する中間点形成部と、
複数の前記輪郭点に基づいて輪郭線を形成する輪郭線形成部と
を備えている画像処理装置。
【請求項２】
複数の前記中間点に基づいて中心線を形成する中心線形成部をさらに備えている請求項１に記載の画像処理装置。
【請求項３】
前記基準線を設定する前に、前記取り込んだ画像に対応して、前記輝度閾値より大きくなっている複数のビード領域点の近似曲線に基づいて前記ビードの形状の中心線を形成する中心線形成部と、
前記輪郭線を形成する前に、前記中心線の湾曲を認識して、前記同一の基準線上に２つより多くの前記輪郭点が形成された場合に、前記同一の基準線上で前記ビードを跨いで間隔を空けて対向し、かつ前記中間点を形成する２つの輪郭点を判別する輪郭点判別部と
をさらに備え、
前記判別された２つの輪郭点が、前記中間点の形成及び前記輪郭線の形成に用いられるように構成されている、請求項１に記載の画像処理装置。
【請求項４】
前記基準線に前記中心線の湾曲形状に対して平行となる部分が生じることを防止するように、前記基準線を調節する基準線調節部をさらに備えている請求項３に記載の画像処理装置。
【請求項５】
前記中間点を設定する前に、前記同一の前記基準線上における２つの輪郭点間の線分長さを計算し、前記線分長さの頻度分布を計算し、前記輝度閾値より大きくなっている複数のビード領域点に基づいて前記ビードの幅を計算し、前記頻度分布を用いて前記ビードの幅に基づいて定めた上限線分閾値に対して長い線分、及び該ビードの幅に基づいて定めた下限線分閾値に対して短い線分を判別して、前記長い線分の両端の輪郭点、及び前記短い線分の両端の輪郭点を排除する輪郭点選別部をさらに備えている、請求項１〜４のいずれか一項に記載の画像処理装置。
【請求項６】
前記長い線分を判別する上限線分閾値が前記ビードの幅の２倍となっており、
前記短い線分を判別する下限線分閾値が前記ビードの幅の半分となっている、請求項５に記載の画像処理装置。
【請求項７】
レーザ溶接の溶接部分の画像に基づいて前記溶接部分に形成されるビードの形状を認識する画像処理方法において、
レーザ溶接時の残熱発光が生じている前記溶接部分を撮影し、かつ取り込んだ画像に対応して、複数の基準線を設定するステップと、
前記取り込んだ画像の残熱発光の輝度が前記ビードの輪郭線を識別するように設定した輝度閾値より大きくなっている領域と、前記残熱発光の輝度が前記輝度閾値より小さくなっている領域との間の境界と前記基準線とが交差する箇所に、輪郭点を形成するするステップと、
同一の前記基準線上における２つの前記輪郭点間に中間点を形成するステップと、
複数の前記輪郭点に基づいて輪郭線を形成するステップと
を含む画像処理方法。
【請求項８】
複数の前記中間点に基づいて中心線を形成するステップをさらに含む請求項７に記載の画像処理方法。
【請求項９】
前記基準線を設定するステップの前に、前記取り込んだ画像に対応して、前記輝度閾値より大きくなっている複数のビード領域点の近似曲線に基づいて前記ビードの形状の中心線を形成するステップと、
前記輪郭線を形成するステップの前に、前記中心線の湾曲を認識して、前記同一の基準線上に２つより多くの前記輪郭点が形成された場合に、前記同一の基準線上で前記ビードを跨いで間隔を空けて対向し、かつ前記中間点を形成する２つの輪郭点を判別するステップと
をさらに含み、
前記判別された２つの輪郭点が前記中間点の形成及び前記輪郭線の形成に用いられる、請求項７に記載の画像処理方法。
【請求項１０】
前記基準線に前記中心線の湾曲形状に対して平行となる部分が生じることを防止するように、前記基準線を調節するステップをさらに含む請求項９に記載の画像処理方法。
【請求項１１】
前記中間点を設定するステップの前に、前記同一の前記基準線上における２つの輪郭点間の線分長さを計算し、前記線分長さの頻度分布を計算し、前記輝度閾値より大きくなっている複数のビード領域点に基づいて前記ビードの幅を計算し、前記頻度分布を用いて前記ビードの幅に基づいて定めた上限線分閾値に対して長い線分、及び該ビードの幅に基づいて定めた下限線分閾値に対して短い線分を判別して、前記長い線分の両端の輪郭点、及び前記短い線分の両端の輪郭点を排除するステップをさらに含む請求項７〜１０のいずれか一項に記載の画像処理方法。
【請求項１２】
前記長い線分を判別する上限線分閾値が前記ビードの幅の２倍であり、
前記短い線分を判別する下限線分閾値が前記ビードの幅の半分である請求項１１に記載の画像処理方法。
【請求項１】
レーザ溶接の溶接部分の画像に基づいて前記溶接部分に形成されるビードの形状を認識する画像処理装置において、
レーザ溶接時の残熱発光が生じている前記溶接部分を撮影し、かつ取り込んだ画像に対応して、複数の基準線を設定する基準線設定部と、
前記取り込んだ画像の残熱発光の輝度が前記ビードの輪郭線を識別するように設定した輝度閾値より大きくなっている領域と、前記残熱発光の輝度が前記輝度閾値より小さくなっている領域との間の境界と前記基準線とが交差する箇所に、輪郭点を形成する輪郭点形成部と、
同一の前記基準線上における２つの前記輪郭点間に中間点を形成する中間点形成部と、
複数の前記輪郭点に基づいて輪郭線を形成する輪郭線形成部と
を備えている画像処理装置。
【請求項２】
複数の前記中間点に基づいて中心線を形成する中心線形成部をさらに備えている請求項１に記載の画像処理装置。
【請求項３】
前記基準線を設定する前に、前記取り込んだ画像に対応して、前記輝度閾値より大きくなっている複数のビード領域点の近似曲線に基づいて前記ビードの形状の中心線を形成する中心線形成部と、
前記輪郭線を形成する前に、前記中心線の湾曲を認識して、前記同一の基準線上に２つより多くの前記輪郭点が形成された場合に、前記同一の基準線上で前記ビードを跨いで間隔を空けて対向し、かつ前記中間点を形成する２つの輪郭点を判別する輪郭点判別部と
をさらに備え、
前記判別された２つの輪郭点が、前記中間点の形成及び前記輪郭線の形成に用いられるように構成されている、請求項１に記載の画像処理装置。
【請求項４】
前記基準線に前記中心線の湾曲形状に対して平行となる部分が生じることを防止するように、前記基準線を調節する基準線調節部をさらに備えている請求項３に記載の画像処理装置。
【請求項５】
前記中間点を設定する前に、前記同一の前記基準線上における２つの輪郭点間の線分長さを計算し、前記線分長さの頻度分布を計算し、前記輝度閾値より大きくなっている複数のビード領域点に基づいて前記ビードの幅を計算し、前記頻度分布を用いて前記ビードの幅に基づいて定めた上限線分閾値に対して長い線分、及び該ビードの幅に基づいて定めた下限線分閾値に対して短い線分を判別して、前記長い線分の両端の輪郭点、及び前記短い線分の両端の輪郭点を排除する輪郭点選別部をさらに備えている、請求項１〜４のいずれか一項に記載の画像処理装置。
【請求項６】
前記長い線分を判別する上限線分閾値が前記ビードの幅の２倍となっており、
前記短い線分を判別する下限線分閾値が前記ビードの幅の半分となっている、請求項５に記載の画像処理装置。
【請求項７】
レーザ溶接の溶接部分の画像に基づいて前記溶接部分に形成されるビードの形状を認識する画像処理方法において、
レーザ溶接時の残熱発光が生じている前記溶接部分を撮影し、かつ取り込んだ画像に対応して、複数の基準線を設定するステップと、
前記取り込んだ画像の残熱発光の輝度が前記ビードの輪郭線を識別するように設定した輝度閾値より大きくなっている領域と、前記残熱発光の輝度が前記輝度閾値より小さくなっている領域との間の境界と前記基準線とが交差する箇所に、輪郭点を形成するするステップと、
同一の前記基準線上における２つの前記輪郭点間に中間点を形成するステップと、
複数の前記輪郭点に基づいて輪郭線を形成するステップと
を含む画像処理方法。
【請求項８】
複数の前記中間点に基づいて中心線を形成するステップをさらに含む請求項７に記載の画像処理方法。
【請求項９】
前記基準線を設定するステップの前に、前記取り込んだ画像に対応して、前記輝度閾値より大きくなっている複数のビード領域点の近似曲線に基づいて前記ビードの形状の中心線を形成するステップと、
前記輪郭線を形成するステップの前に、前記中心線の湾曲を認識して、前記同一の基準線上に２つより多くの前記輪郭点が形成された場合に、前記同一の基準線上で前記ビードを跨いで間隔を空けて対向し、かつ前記中間点を形成する２つの輪郭点を判別するステップと
をさらに含み、
前記判別された２つの輪郭点が前記中間点の形成及び前記輪郭線の形成に用いられる、請求項７に記載の画像処理方法。
【請求項１０】
前記基準線に前記中心線の湾曲形状に対して平行となる部分が生じることを防止するように、前記基準線を調節するステップをさらに含む請求項９に記載の画像処理方法。
【請求項１１】
前記中間点を設定するステップの前に、前記同一の前記基準線上における２つの輪郭点間の線分長さを計算し、前記線分長さの頻度分布を計算し、前記輝度閾値より大きくなっている複数のビード領域点に基づいて前記ビードの幅を計算し、前記頻度分布を用いて前記ビードの幅に基づいて定めた上限線分閾値に対して長い線分、及び該ビードの幅に基づいて定めた下限線分閾値に対して短い線分を判別して、前記長い線分の両端の輪郭点、及び前記短い線分の両端の輪郭点を排除するステップをさらに含む請求項７〜１０のいずれか一項に記載の画像処理方法。
【請求項１２】
前記長い線分を判別する上限線分閾値が前記ビードの幅の２倍であり、
前記短い線分を判別する下限線分閾値が前記ビードの幅の半分である請求項１１に記載の画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−２３４２５５（Ｐ２０１２−２３４２５５Ａ）
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願番号】特願２０１１−１００７９９（Ｐ２０１１−１００７９９）
【出願日】平成２３年４月２８日（２０１１．４．２８）
【出願人】（０００００２０８２）スズキ株式会社 (3,196)
【Ｆターム（参考）】
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願日】平成２３年４月２８日（２０１１．４．２８）
【出願人】（０００００２０８２）スズキ株式会社 (3,196)
【Ｆターム（参考）】
[ Back to top ]