説明

物品欠陥情報検出装置及び物品欠陥情報検出処理プログラム

【課題】 従来技術では、液体封入容器内の液体中の気泡と異物(欠陥)とを区別し、異物(欠陥)を検出することなどが困難であった。
【解決手段】 撮像装置で撮像された欠陥検査対象物品の複数の画像を形成する画素毎の輝度データを記憶する輝度データ記憶手段22と、複数の画像毎にその画像中に複数の小領域を設定する小領域設定手段24と、小領域を構成する複数画素の輝度データに基づく小領域特徴データを演算する小領域特徴演算手段25と、小領域毎の小領域特徴データを記憶する小領域特徴データ記憶手段25Aと、異なる画像間での複数の小領域の小領域特徴データ間による相互相関係数を演算する相互相関係数演算手段26と、相互相関係数データを記憶する相互相関係数データ記憶手段27と、相互相関係数データにより欠陥を判定する判定手段36と、を備えた。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、液体薬などを封入した液体封入容器内の液体中の異物や、感光ドラムの素管など、切削、研削、引き抜き技術により製作された円筒状部品の表面の傷などの欠陥を検出可能な物品欠陥情報検出装置などに関する。
【背景技術】
【0002】
従来、液体封入容器内の液体中の異物に透過光と反射光とを照射して異物の光学的状態をカメラで撮像することで異物を検出する方法が知られている(例えば、特許文献1等参照)。また、ラインカメラなどの撮像装置で欠陥検査対象部品の表面における検査対象領域の画像を撮像し、この画像を用いて欠陥検出を行う場合において、物品として模様の無い無地物の場合は、画像波形データの微分、積分、空間フィルタ処理などで欠陥部分の輝度変化を強調して欠陥部分の輝度データと閾値とを比較して欠陥を検出するもの(例えば、特許文献2等参照)、物品として印刷模様などがある物の場合は、カメラで写して画像メモリに画像を取り込み、この画像と登録画像(学習画像)とをパターンマッチング手法で差分処理して差異を求め、輝度データの閾値を用いて差異がある部分を欠陥と判定するもの(例えば、特許文献3等参照)が知られている。
【特許文献1】特開2001−116703号公報
【特許文献2】特開平11−223519号公報
【特許文献3】特開平10−091785号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
液体薬を封入した点滴パック、アンプル、バイアルなどの液体封入容器内の液体(欠陥検査対象物品)中には気泡が存在する。従来技術では、液体封入容器内の液体中の近似合同模様(合同ではないが、色、形、反射などが似ている小さな模様の繰り返し)である気泡と異物(欠陥)とを区別し、異物(欠陥)を検出することは困難であった。また、感光ドラムなどの円筒状部品(欠陥検査対象物品)の表面の近似合同模様である縞と小さい傷(欠陥)とを区別し、小さい傷(欠陥)を検出することも困難であった。また、特許文献1の従来技術のように液体封入容器の前方又は下方(上方)に反射光源を配置し、透過光源との組み合わせにより液体封入容器内の液体中の気泡を白色化することで、液体封入容器内の画像をもとに異物を検出する方法では、気泡の位置及びサイズにより効果が異なるため、液体封入容器内の液体中の気泡と異物との判別が実用上困難であった。
【課題を解決するための手段】
【0004】
本発明の物品欠陥情報検出装置は、撮像装置で撮像された欠陥検査対象物品の複数の画像を形成する画素毎の輝度データを記憶する輝度データ記憶手段と、複数の画像毎にその画像中に複数の小領域を設定する小領域設定手段と、小領域を構成する複数画素の輝度データに基づく小領域特徴データを演算する小領域特徴演算手段と、小領域毎の小領域特徴データを記憶する小領域特徴データ記憶手段と、異なる画像間での複数の小領域の小領域特徴データ間による相互相関係数を演算する相互相関係数演算手段と、相互相関係数データを記憶する相互相関係数データ記憶手段と、相互相関係数データにより欠陥を判定する判定手段と、を備えた。
欠陥検査対象物品が液体封入容器内の液体であり、液体封入容器内に封入された液体中に混入した異物検査のための光学系が、液体封入容器の後方に配置されて液体封入容器の後面に透過光となる光を照射する透過光源と、液体封入容器の前方に配置されたハーフミラーと、ハーフミラーにより反射されて透過光と同一光軸の反射光となる光を液体封入容器の前面に照射する反射光源と、液体封入容器の斜め後方又は横に配置されて液体封入容器の斜め後方又は横から液体封入容器に光を照射する側光源とで構成され、撮像装置が、透過光及び反射光の照射された液体封入容器の内部を撮像可能なように液体封入容器及びハーフミラーの前方において透過光源と相対向する位置に設けられた。
撮像装置が液体封入容器における同一領域を時系列に撮像し、輝度データ記憶手段が時間的に前後して順次入力される複数の画像毎の輝度データを記憶し、相互相関係数演算手段が前後の画像間での同一位置に設定された小領域の小領域特徴データ相互間の変化の有無を判定して変化のある場合にはその時間的に前の画像に設定された小領域と時間的に後の画像の一定領域における複数の小領域との小領域特徴データに基づく相互相関係数データを算出し、相互相関係数データが最大となる小領域を求め、判定手段は、相互相関係数データの値が一定以上大きい場合に、液体封入容器内の液体中に異物があると判定した。
撮像装置が液体封入容器における同一領域を時系列に撮像し、輝度データ記憶手段が時間的に前後して順次入力される複数の画像毎の輝度データを記憶し、相互相関係数演算手段が前後の画像間での同一位置に設定された小領域の小領域特徴データ相互間の変化の有無を判定して変化のある場合にはその時間的に前の画像に設定された小領域と時間的に後の画像の一定領域における複数の小領域との小領域特徴データに基づく相互相関係数データを算出し、相互相関係数データが最大となる小領域を求め、判定手段は、相互相関係数データの値が一定以上大きくて、かつ、時間的にさらに後の画像の一定領域における複数の小領域との小領域特徴データ相互に基づく相互相関係数データを算出し、相互相関係数データが最大となる小領域を求め、その小領域の相互相関係数データと前に求めた相互相関係数データとの一致度が小さい場合には、液体封入容器の液体中に細長い(回転などによる形状変化が多い)異物があると判定し、相互相関係数データの値が一定以上大きくて、かつ、時間的に前の画像に設定された小領域と時間的にさらに後の画像の一定領域における複数の小領域との小領域特徴データ相互に基づく相互相関係数データを算出し、相互相関係数データが最大となる小領域を求め、その小領域の相互相関係数データと前に求めた相互相関係数データとの一致度が大きい場合には、液体封入容器の液体中に塊状の(回転などによる形状変化が少ない)異物があると判定した。
欠陥検査対象物品が回転する円筒状部品であり、撮像装置が円筒状部品の表面に照射される光により円筒状部品の表面において円筒状部品の回転軸に沿った方向に形成される光柱部を撮像する第1の撮像装置と、回転軸に沿った方向の円筒状部品の表面でかつ光柱部の近傍を撮像する第2の撮像装置とを備え、相互相関係数演算手段が第1、第2の撮像装置で撮像された異なる画像間での円筒状部品の回転軸に沿った方向での同一位置に設定された小領域の小領域特徴データ相互間に一定以上の変化があるかどうかを判定して変化がある場合にはその小領域特徴データ相互に基づく相互相関係数データを算出し、判定手段は、相互相関係数データの値が小さい場合に、円筒状部品の表面に小さい傷があると判定した。
取り込んだ画像において輝度差が小さい場合に、画像の全画素の輝度データのうちの最小値と最大値とを検出し、当該最小値と最大値との差を拡大することで輝度データの値を大きくする輝度データレンジ拡大処理手段を備えた。
相互相関係数データ記憶手段に記憶された相互相関係数データのうちの最大値と最小値との差WRを演算し、この差WRと相互相関係数データ記憶手段に記憶可能な相互相関係数データの値の最大表現可能値Mとの比であるγ=M/WRを演算し、相互相関係数データ記憶手段に記憶された相互相関係数データにγを乗算した補正相互相関係数データを記憶する相互相関係数データ補正処理手段を備え、データ出力制御手段が、相互相関係数データの代わりに補正相互相関係数データを欠陥情報の有無判定用データとしてデータ出力装置に出力した。
相互相関係数データの記憶された相互相関係数データ記憶手段において互いに隣接する複数のアドレスに記憶された複数の相互相関係数データを含む小区画を設定する小区画設定手段と、小区画中の相互相関係数データの最大値と最小値との差を演算する相互相関係数差演算手段と、求めた相互相関係数差データを相互相関係数データ記憶手段のアドレスに対応させて記憶する相互相関係数差データ記憶手段とを備え、小区画設定手段が、相互相関係数データ記憶手段の前後のアドレスに設定された互いに隣接する小区画を設定し、データ出力制御手段が、相互相関係数データの代わりに相互相関係数差データを欠陥情報の有無判定用データとしてデータ出力装置に出力した。
小領域特徴演算手段で演算される小領域特徴データを、小領域を構成する複数画素の輝度データの総和値データ、あるいは、小領域を構成する複数画素の輝度データの平均値データ、あるいは、小領域を構成する複数画素の輝度データの最大値と最小値との差データとした。
本発明の物品欠陥情報検出処理プログラムは、コンピュータに、欠陥検査対象物品の複数の画像毎にその画像中に複数の小領域を設定させる機能と、小領域を構成する複数画素の輝度データに基づく小領域特徴データを演算させる機能と、異なる画像間に設定された複数の小領域の小領域特徴データによる相互相関係数を演算させる機能と、相互相関係数データにより欠陥を判定させる機能とを備えた。
【発明の効果】
【0005】
本発明によれば、液体封入容器内の液体中の近似合同模様である気泡より輝度変化レベルの小さい異物を検出できる。また、円筒状部品の表面の近似合同模様である縞より輝度変化レベルの小さい傷を検出できる。
液体封入容器内の液体を検査するための光学系の光源として、透過光源及び反射光源の他に側光源を備えたので、液体封入容器内に封入された液体を撮像した画像に光量勾配が付加され、時系列に取り込んだ前後の複数の画像(フレーム画像)におけるある小領域が移動したとされる小領域の画像間において、気泡の輝度変化のみを大きくでき、異物の輝度変化を小さいままとできる。よって、気泡のみの領域が移動したとされる小領域間の相互相関係数データは小さくなり、異物が混入している領域が移動したとされる小領域間の相互相関係数データは大きくなるので、異物と気泡とを精度良く判別できるようになる。
判定手段は、相互相関係数データの値が一定以上大きい場合に、液体封入容器内の液体中に異物があると判定するので、相互相関係数データの値により液体封入容器内の液体中の異物を検出できる。
判定手段は、相互相関係数データの値が大きくて、かつ、時間的に前後して得られる二つの相互相関係数データの一致度が小さい場合には、液体封入容器の液体中に細長い(回転などによる形状変化が多い)異物があると判定し、相互相関係数データの値が大きくて、かつ、時間的に前後して得られる二つの相互相関係数データの一致度が大きい場合には、液体封入容器の液体中に塊状の(回転などによる形状変化が少ない)異物があると判定するので、たとえば髪の毛や糸くずのような細長い異物とゴムのような塊状の異物とを判別でき、製品製造ラインのどこに問題があるかを検証するためのデータを得ることができる。髪の毛や糸くずのような細長い異物が液体中に混在している場合は、人の関与している製造ラインに問題があり、ゴムのような塊状の異物が液体中に混在している場合は、ゴム栓などの打ち込み工程に問題があるというように、欠陥発生原因を特定できるようになり、欠陥発生原因を早期に改善できるようになる。
判定手段は、円筒状部品の光柱部を撮像する第1の撮像装置と光柱部の近傍を撮像する第2の撮像装置とで撮像された異なる画像に基づいて算出された相互相関係数データの値が小さい場合に、円筒状部品の表面に小さい傷があると判定するので、円筒状部品の表面の近似合同模様である縞より輝度変化レベルの小さい傷の検出精度を向上できる。
また、輝度データレンジ拡大処理を行うことで、輝度差のあるベース画像を作成できるので、安定した欠陥情報検出を可能とできる。
また、相互相関係数差データ処理や補正相互相関係数差データ処理を施すことで、波形の振幅を直線化でき、近似合同模様に基づく輝度変化より小さい輝度変化、すなわち、欠陥情報が、相互相関係数差データ間の偏差、あるいは、補正相互相関係数差データ間の偏差として一方向のみに現れるので、欠陥をさらに明瞭に表示でき、欠陥情報検出をさらに容易とできる。
小領域特徴データとして、小領域を構成する全画素の輝度データ値の総和値データを用いて小領域間の相関演算または相互相関係数演算を行うことで、光学的なノイズやシェーディングの影響の除去された相互相関値を得ることができ、例えば、円筒状部品の表面の近似合同模様である縞の輝度変化レベルより輝度変化レベルの小さい傷の検出精度を上げることができる。
小領域特徴データとして、小領域を構成する全画素の輝度データ値の平均値データを用いて小領域間の相関演算または相互相関係数演算を行うことで、場所によって明るさのパターンが変化するような検査対象物品の欠陥、例えば、液体封入容器内の液体中の異物の検出精度を上げることができる。
小領域特徴データとして、小領域を構成する全画素の輝度データ値の最大値と最小値との差データを用いて小領域間の相関演算または相互相関係数演算を行うことで、撮像画像のノイズの影響を少なくでき、検査対象物品の欠陥の検出精度を上げることができる。
また、上述した効果を奏する物品欠陥情報検出装置を実現するための物品欠陥情報検出処理プログラムを提供できる。
【発明を実施するための最良の形態】
【0006】
形態1.
図1は本発明の最良の形態による物品欠陥情報検出装置の概略を示し、図2は検査処理装置による処理の流れを示し、図3はデータテーブル相互間の関係を示し、図4は異なる画像間の同一アドレスの小領域を示し、図5は液体封入容器内の異物判定方法を説明し、図6〜図8は液体封入容器内の液体中の異物検出結果を示す。
【0007】
図1に示すように、形態1の物品欠陥情報検出装置は、液体封入容器1内を撮像する撮像装置としてのエリアカメラ2と、画像処理装置3と、欠陥情報検出装置4と、データ出力装置としての表示装置(モニタ)5とを備える。液体封入容器1としては、例えば、点滴パック、ガラス製やプラスチック製の医薬品封入容器、工業液体封入パックなどがある。すなわち、液体封入容器1は、透明または半透明の容器の中に、点滴液や、液体医薬品や、工業液体などの欠陥検査対象物品としての液体を封入したものである。液体封入容器1内の液体中に混入した異物検査のための光学系として、液体封入容器1に光を照射する反射光源101、透過光源102、側光源103、及び、放物凹面形ハーフミラー104を備える。エリアカメラ2と透過光源102は液体封入容器1を挟んで相対向する位置に配置される。反射光源101からの光が放物凹面形ハーフミラー104により反射されて反射光101aとして液体封入容器1に照射され、透過光源102からは反射光101aと同一光軸の透過光102aとなる光が液体封入容器1に照射される。液体封入容器1のエリアカメラ2と対向する側を液体封入容器1の「前」とした場合、液体封入容器1の前にエリアカメラ2が配置されているとして説明すると、透過光源102はエリアカメラ2と相対向する液体封入容器1の後方に配置され、側光源103は液体封入容器1の斜め後あるいは横に配置され、液体封入容器1の斜め後あるいは横に光を照射する。すなわち、液体封入容器1の後方に配置されて液体封入容器1の後面に透過光102aとなる光を照射する透過光源102と、液体封入容器1の前方に配置された放物凹面形ハーフミラー104と、放物凹面形ハーフミラー104により反射されて透過光102aと同一光軸の反射光101aとなる光を液体封入容器1の前面に照射する反射光源101と、液体封入容器1の斜め後方又は横に配置されて液体封入容器1の斜め後方又は横から液体封入容器1に側面光103aを照射する側光源103と、液体封入容器1の前方であって液体封入容器1及び放物凹面形ハーフミラー104を挟んで透過光源102と相対向する位置に配置されて透過光102a及び反射光101aの照射された液体封入容器1内の液体を液体封入容器1の前面から撮像するエリアカメラ2と、を備える。液体封入容器1中に含まれる欠陥としての異物を検出するためには、異物が混入した液体封入容器1に図外の回転治具で液体封入容器1を例えば矢印R方向に所定時間回転させた後に停止させ、反射光、透過光、側面光の照射された液体封入容器1内の同一部分をエリアカメラ2で時系列的に撮像して、この時系列に撮像した複数の画像を画像処理装置3に送る。
【0008】
画像処理装置3は、AD変換処理手段11と、積分処理手段12と、コントラスト強調処理手段13とを備える。
【0009】
欠陥情報検出装置4は、輝度データレンジ拡大処理手段21と、輝度データ記憶手段22と、輝度データテーブル作成処理手段23と、小領域設定手段24と、小領域特徴演算手段25と、小領域特徴データ記憶手段25Aと、小領域特徴データテーブル作成処理手段25Bと、相互相関係数演算手段26と、相互相関係数データ記憶手段27と、相互相関係数データテーブル作成処理手段28と、相互相関係数データ補正処理手段29と、補正相互相関係数データ記憶手段30と、補正相互相関係数データテーブル作成処理手段31と、小区画設定手段32と、補正相互相関係数差演算手段33と、補正相互相関係数差データ記憶手段34と、補正相互相関係数差データテーブル作成処理手段35と、判定手段36と、表示制御手段37とを備える。これら画像処理装置3及び欠陥情報検出装置4が備える各手段(記憶手段を除く)は、プログラム及びデータなどのソフトウエアと当該ソフトウエアにより各手段の処理を実行するCPU及びメモリなどのハードウエアとにより実現される。尚、図1においてはCPU及びメモリなどのコンピュータの一般的なハードウエア構成要素の図示は省略してある。
【0010】
図2に示すように、欠陥情報検出装置4での処理は大きく分けて、輝度データ処理(ステップS1)、小領域特徴データ処理(ステップS2)、相互相関係数データ処理(ステップS3)、補正相互相関係数データ処理(ステップS4)、補正相互相関係数差データ処理(ステップS5)、判定手段36による判定処理(ステップS6)である。輝度データ処理(ステップS1)は、輝度データレンジ拡大処理手段21と輝度データ記憶手段22と輝度データテーブル作成処理手段23とで構成される輝度データ処理手段41により実行される。小領域データ処理(ステップS2)は、小領域設定手段24と小領域特徴演算手段25と小領域特徴データ記憶手段25Aと小領域特徴データテーブル作成処理手段25Bとで構成される小領域データ処理手段42により実行される。相互相関係数データ処理(ステップS3)は、相互相関係数演算手段26と相互相関係数データ記憶手段27と相互相関係数データテーブル作成処理手段28とで構成される相互相関係数データ処理手段43により実行される。補正相互相関係数データ処理(ステップS4)は、相互相関係数データ補正処理手段29と補正相互相関係数データ記憶手段30と補正相互相関係数データテーブル作成処理手段31とで構成される補正相互相関係数データ処理手段44により実行される。補正相互相関係数差データ処理(ステップS5)は、小区画設定手段32と補正相互相関係数差演算手段33と補正相互相関係数差データ記憶手段34と補正相互相関係数差データテーブル作成処理手段35とで構成される補正相互相関係数差データ処理手段45により実行される。また、以上の処理により、図3に示すような各種データテーブル、すなわち、輝度データテーブル500、小領域特徴データテーブル510、相互相関係数データテーブル520、補正相互相関係数データテーブル530、補正相互相関係数差データテーブル540が作成される。以下、各処理ステップS1〜S5を詳説する。
【0011】
輝度データ処理(ステップS1)では、AD変換処理手段11により、CCDからの信号を10ビット(1024階調)で表現される輝度データに変換し、変換された輝度データは、欠陥情報検出装置4に出力されて画像メモリで構成された輝度データ記憶手段22に記憶される。即ち、エリアカメラ2のCCDに結像した画素の信号が、AD変換処理手段11で輝度データに変換され、積分処理手段12やコントラスト強調処理手段13による処理を経て欠陥情報検出装置4に出力される。欠陥情報検出装置4の輝度データテーブル作成処理手段23は、入力した輝度データを撮像画像中の画素位置に対応させて輝度データ記憶手段22の1つ1つのアドレスに割り当てて、輝度データを10ビットのデータとして輝度データ記憶手段22に記憶することで、撮像された検査対象領域全体の画素毎の輝度データテーブル500を作成する。また、積分処理手段12により撮像画像中のランダムノイズを除去でき、コントラスト強調処理手段13により撮像画像中の輝度ムラを強調できる。
【0012】
表示制御手段37は、上述した各種データテーブル500〜540に記憶されたデータに基づいて画像や波形グラフなどを表示装置5のモニタ画面に表示する。
【0013】
小領域特徴データ処理(ステップS2)においては、まず、小領域設定手段24が、エリアカメラ2により液体封入容器1内の同一領域を時系列で撮像した複数のフレーム画像50(図4参照)を取り込んで、これら時系列に取り込んだ複数のフレーム画像50毎に、フレーム画像50中の複数の異なるフレーム画像50間での同一アドレス(同一位置)の小領域51を設定する。1つ1つの小領域51の大きさは、例えば、X方向(横方向)にn個でY方向(縦方向)にm個の画素の集まり、すなわち、n×m行列で設定された画素数よりなる大きさに設定する。小領域51はフレーム画像50の全領域を満たすよう複数設定され、各小領域51;51・・・は領域同士が互いに重ならず互いに隣接するように設定される。次に、小領域特徴演算手段25が、複数のフレーム画像50毎の各小領域51毎に、各小領域51中の画素の輝度データの総和値、あるいは、各小領域51中の画素の輝度データの平均値、あるいは、各小領域51中の画素の輝度データの最大値と最小値との差を、小領域特徴データとして算出する。算出された小領域特徴データは、小領域特徴データテーブル作成処理手段25Bにより小領域51の対応するXYアドレスに対応する小領域特徴データ記憶手段25Aのアドレスに割り当てられて記憶され、小領域特徴データテーブル510が作成される。すなわち、小領域特徴演算手段25は、各小領域51中の画素の輝度データの総和値、あるいは、平均値、あるいは、差という、3種類の小領域特徴データのうちの1以上の小領域特徴データを算出できる機能を備えている。
【0014】
相互相関係数データ処理(ステップS3)においては、相互相関係数演算手段26が、時間的に前後する2つのフレーム画像50間での同一アドレスである2つの小領域51;51の小領域特徴データを小領域特徴データ記憶手段25Aから読み出して、これら2つの同一アドレスの小領域51;51間の変化を求める。例えば、相関演算式=前フレーム画像の同一アドレス小領域の小領域特徴データ/後フレーム画像の同一アドレス小領域の小領域特徴データにより、時系列に前後する2つのフレーム画像50における2つの同一アドレス小領域51;51間の相関値を求める。2つの小領域51;51間に一定以上の変化があるか否かを判定し、変化があった場合、後フレーム画像50(B)の小領域51近傍の一定領域内に新たに複数の小領域を設定し、小領域特徴演算を行い、前フレーム画像50(A)の小領域と後フレーム画像50(B)内の一定領域に設定された小領域との間で、相互相関係演算を行い、相互相関係数値が最大となる小領域を後フレーム画像50(B)内に求める。また、時間的にさらに後のフレーム画像50(C)内の後フレーム画像50(B)内に求められた小領域と同一アドレス近傍の一定領域に新たに小領域を複数設定し、小領域特徴演算を行い、前フレーム画像50(A)と時間的にさらに後のフレーム画像50(C)内の一定領域に設定された小領域との間で、相互相関係数演算を行い、相互相関係数値が最大となる小領域を時間的にさらに後フレーム画像50(C)内に求める。相互相関係数演算手段26で求められた前フレーム画像50(A)小領域と後フレーム画像50(B)小領域と時間的にさらに後フレーム画像50(C)のアドレス、算出された小領域間の相互相関係数データ値Rは、相互相関係数データテーブル作成処理手段28により小領域に対応する相互相関係数データ記憶手段27のアドレスに割り当てられて記憶され、これにより、相互相関係数値データテーブル520が作成される。また、この相互相関係数データ処理だけでは、相互相関係数データ間の偏差が出にくいため、次のように偏差を拡大する補正相互相関係数データ処理(ステップS4)を行うことが望ましい。
【0015】
補正相互相関係数データ処理(ステップS4)においては、まず、相互相関係数データ補正処理手段29が、相互相関係数データテーブル520に記憶された相互相関係数のうちの最大値と最小値とを検出して、この最大値と最小値との差WRを演算し、相互相関係数データテーブル520に記憶可能な相互相関係数データの値の最大表現可能値M(すなわち、ここでは10ビット=1024階調)と差WRとの比γ、すなわち、γ=M(=1024)/WRを演算する。そして、相互相関係数データテーブル520に記憶された相互相関係数データのすべてにγを乗算した補正相互相関係数データを作成し、補正相互相関係数データテーブル作成処理手段31が、補正相互相関係数データを補正相互相関係数データ記憶手段30の対応アドレスに記憶して補正相互相関係数データテーブル530を作成する。以上の補正相互相関係数データ処理により、上述した偏差を大きくできる。
【0016】
さらに、補正相互相関係数差データ処理(ステップS5)においては、まず、上述した小領域設定処理と同様に、小区画設定手段32が、補正相互相関係数データテーブルの領域を互いに隣接する複数のアドレスに記憶された複数の補正相互相関係数データを含む小区画に分ける。そして、補正相互相関係数差演算手段33が、少区画毎に、補正相互相関係数データの最大値と最小値との差、すなわち、補正相互相関係数差(WRP−P)を演算する。そして、補正相互相関係数差データテーブル作成処理手段35が、少区画毎の補正相互相関係数差データを補正相互相関係数差データ記憶手段34の対応するアドレスに記憶して補正相互相関係数差データテーブル540を作成する。この補正相互相関係数差データ処理を施すことで、データの波形の振幅を直線化でき、異物検出をさらに容易とできる。
【0017】
撮像画像において輝度差が小さい場合には、輝度データレンジ拡大処理手段21により、輝度データテーブルに記憶された輝度データ中の最小値と最大値とを検出し、最小値を0、最大値を1023として、輝度データの値を拡大させる処理を行なう。例えば、図外のルックアップテーブルを用いて、輝度データ中の最小値と最大値との値差を1024階調にレベル変換すればよい。輝度データレンジ拡大処理によれば、輝度を強調できて輝度差のあるベース画像を作成できるので、安定した異物検出を可能とできる。
【0018】
判定手段36は、得られた相互相関係数データそのものの値の大小と、当該相互相関係数データと時間的に前、あるいは後に得られる二つの相互相関係数データの一致度(二つの相互相関係数データの値差の大小)とに基づいて液体封入容器1内の液体中の異物の有無を判定する。すなわち、判定手段36は、得られた相互相関係数データの値が大きくて(つまり「1」に近い)、かつ、時間的に前後して得られる二つの相互相関係数データの一致度が小さい(つまり異物の位置変化が大きい)場合には、液体封入容器1の液体中に細長い異物(回転などによる形状変化の多い性質の異物)があると判定し、相互相関係数データの値が大きくて、かつ、時間的に前後して得られる二つの相互相関係数データの一致度が大きい(つまり異物の位置変化が小さい)場合には、液体封入容器1の液体中に塊状の異物(回転などによる形状変化の少ない性質の異物)があると判定する。例えば、図5(a)のように、液体封入容器1内の液体中に髪、ゴム、糸屑などの異物が混入している不良品の場合、時系列に取り込んだ前後の複数の画像(フレーム画像)における画像A;Bの小領域60;60間と画像A:Cの小領域60;60間で求めた相互相関係数データは、図5(b)に示すように、「1」に近い相互相関係数データRaが得られる。一方、図5(c)のように、良品の場合は、時系列に取り込んだ前後の複数の画像(フレーム画像)における画像A;Bの小領域60;60間と画像A:Cの小領域60;60間で求めた相互相関係数データは、「1」に近い相互相関係数データRaは得られず、「0」に近い相互相関係数データRbが得られるのみである。したがって、図5(a)(b)のように、「1」に近い相互相関係数データRaがある場合、判定手段36は「異物あり」と判定し、図5(c)(d)のように、「1」に近い相互相関係数データがない場合は、判定手段36は「異物なし」と判定する。液体封入容器1内の液体中に異物として髪が混入している場合に得られた相互相関係数データを図6に示し、液体封入容器1内の液体中に異物として糸屑が混入している場合に得られた相互相関係数データを図7に示し、液体封入容器1内の液体中に異物としてゴムが混入している場合に得られた相互相関係数データを図8に示す。図6〜図8からわかることは、異物は相互相関係数データの値が「1」に近く、また、異物のうちでも糸屑、髪については、相互相関係数データの前後値の一致度が小さい(前後の相互相関係数データ間の変化(差)が大きい)ことがわかる。つまり、相互相関係数データの値の大小を判定するだけでも異物と気泡との判別は可能である。すなわち、異物がある場合は相互相関係数データの値が大きく(「1」に近い)、異物がなく気泡だけがある場合には相互相関係数データの値が小さい(「0」に近い)からである。しかしながら、相互相関係数データの値の大小だけでなく、時間的に前後して得られる二つの相互相関係数データの一致度の大小も判定することにより、髪の毛や糸くずのような細長い異物とゴムのような塊の異物とを判別できる。すなわち、液体中に髪の毛や糸くずのような細長い異物の存在する場合は、当該異物の位置変化が大きいという傾向があるため、相互相関係数データの値が大きくて、かつ、相互相関係数データの前後値の一致度が小さくなり、一方、ゴムのような塊の異物の存在する場合は、当該異物の位置変化が小さいという傾向があるため、相互相関係数データの値が大きくて、かつ、相互相関係数データの前後値の一致度が大きくなるからである。このように、異物の種類を判別できるので、製品製造ラインのどこに問題があるかを検証するためのデータを得ることができる。髪の毛や糸くずのような細長い異物が液体中に混在している場合は、人の関与している製造ラインに問題があり、ゴムのような塊状の異物が液体中に混在している場合は、ゴム栓などの打ち込み工程に問題があるというように、欠陥発生原因を特定できるようになり、欠陥発生原因を早期に改善できるようになる。
例えば、判定手段36に、異物と気泡とを区別するための相互相関係数データのしきい値を「0.5」に設定しておき、相互相関係数データの値が「0.5」より大きい場合に、判定手段36に「異物あり」と判定させることで、異物を検出できる。さらに、判定手段36に、細長い異物とゴムのような塊の異物とを区別するための相互相関係数データの前後値の一致度検出のために前後値の値差「0.05」をしきい値に設定しておき、相互相関係数データの値が「0.5」より大きく、かつ、前後値の値差が「0.05」より大きい(一致度が小さい)場合に、判定手段36に「細長い異物あり」と判定させ、相互相関係数データの値が「0.5」より大きく、かつ、前後値の差が「0.05」より小さい(一致度が大きい)場合に、判定手段36に「塊状の異物あり」と判定させることで、異物の種類の判別も可能となる。従って、これらの条件を判定させるようプログラミングした判定手段36を形成すれば、液体封入容器1内の液体中の異物混入検査装置として効果的な装置を得ることができる。
【0019】
また、液体封入容器1内の液体中の異物を検査するための光学系の光源として、透過光源102及び反射光源101の他に、液体封入容器1の斜め後方又は横に配置されて液体封入容器1の斜め後方又は横から液体封入容器1に光を照射する側光源103を備えたので、時系列に取り込んだ前後の複数の画像(フレーム画像)における小領域の画像間において、気泡の輝度変化のみを大きくでき、異物の輝度変化を小さいままとできる。よって、気泡の相互相関係数データは小さくなり、異物の相互相関係数データは大きくなるので、判定手段36で異物と気泡とを精度良く判別できるようになり、異物の検出精度を向上できる。一方、透過光源及び反射光源のみを用いた従来技術の場合は、気泡、異物の両方とも時間的な違いによる輝度変化が小さく、気泡の相互相関係数データ及び異物の相互相関係数データはいずれも大きくなるので、異物と気泡とを判別しにくくなり、異物の検出精度を向上できない。
【0020】
尚、相関演算式としては、前後の特徴データを用いた上述したような割り算、あるいは引き算を用いてもよい。また、小領域間の相互相関係数演算によるデータ値を用い上述の異物判定処理を行う場合には、以下の相関演算式(1)で演算される相互相関値係数Rを用いることが好ましい。
【0021】

【0022】
上記式において、Aは1枚目の画像フレームにおける小領域、Bは2枚目の画像フレームにおける小領域、LA(k),LB(k)は各小領域中の画素の輝度データ、Nは小領域の画素数、LAavg,LBavgは領域における輝度データの空間平均値、LArms,LBrmsは領域の輝度変動の空間平均値である。相互相関値係数Rを用いれば、異物検出精度を向上できる。
【0023】
上記では、判定手段36が、時系列的に前後するフレーム画像の小領域間の相互相関係数データの前後値の一致度と相互相関係数データそのものの値とに基づいて液体封入容器1内に異物の有無を判定したが、相互相関係数データの代わりに、上述した補正相互相関係数データ処理(ステップS4)により得られた補正相互相関係数データや、補正相互相関係数差データ処理(ステップS5)により得られた補正相互相関係数データを用いれば、異物検出精度を向上できる。
【0024】
形態2.
図9に示すように、形態2の物品欠陥情報検出装置は、欠陥検査対象物品としてのレーザープリンタ用感光ドラムの素管(一般にはアルミ素管)1Aなどの円筒状部品の検査領域である表面を撮像する撮像装置としての2つのラインカメラ2A;2Bと、画像処理装置3と、欠陥情報検出装置4Aと、データ出力装置としての表示装置(モニタ)5とを備える。素管1Aは軸200を中心として1方向に回転可能に支持される。そして、素管1Aの軸200に沿った表面201に光源としての蛍光灯202で光を照射する。そして、蛍光灯202の光の照射される素管1Aの軸200に沿った表面201に形成される光柱部203の真ん中の位置を横にスキャンする位置に第1の撮像装置としてのラインカメラ2Aを配置し、光柱部203より下に若干離れた光柱部203に近い部分を横にスキャンする位置に第2の撮像装置としてのラインカメラ2Bを配置する。この2つのラインカメラ2A;2Bで撮像された画像がそれぞれ画像処理装置3を経由して欠陥情報検出装置4Aに送信される。この場合、素管1Aの表面201に1mm程度以下の小さい傷(凹凸)210があった場合に、この傷210が光柱部203に来た時の傷210の部分の輝度とこの傷210の部分の下であって光柱部203より外れたX方向アドレスが同じ位置の部分211の輝度との相互相関係数データの値は小さくなる。表面201に傷210がない場合やよごれのある場合は、傷のない部分やよごれのある部分が光柱部203に来た時の当該部分の輝度と当該部分の下であって光柱部203より外れたX方向アドレスが同じ位置の部分の輝度との相互相関係数データの値は大きくなる(ほぼ「1」である)。本形態2では、この現象を利用することで、素管1Aの表面201に1mm程度以下の小さい傷210がある場合の欠陥、すなわち、素管1Aの表面201における近似合同模様である縞の輝度変化レベルより輝度変化レベルの小さい傷を検出できる。本形態2における欠陥情報検出装置4Aでの小領域設定手段240と小領域特徴演算手段250は形態1のものと比べて異なり、欠陥情報検出装置4Aにおけるその他の構成、及び画像処理装置3、表示装置5は形態1のものと同じである。
【0025】
例えば、5000画素のラインカメラ2A;2Bを用いる場合、ラインカメラ2A;2Bで撮像位置を横方向5000画素、縦方向500ラインで撮像し、小領域設定手段240は、「1,2,3,4」、「2,3,4,5」、「3,4,5,6」、・・・というように順番に番号を1つづつ繰り下げた4ライン毎の撮像画像の小領域を設定する。すなわち、小領域を5000個設定し、各小領域の1ライン毎の横方向の同一アドレス(X方向の同一アドレス)の画素の輝度データ同士を加算してその5000アドレス毎の加算データを小領域特徴データとして小領域特徴データ記憶手段25Aに記憶する。小領域特徴データの算出及び記憶を2つのラインカメラ2A;2Bで撮像された画像において同じように行う。そして、相互相関係数演算手段26が、ラインカメラ2Aで撮像された画像とラインカメラ2Bで撮像された画像間での同じXアドレスの小領域同士の小領域特徴データを比較して小領域特徴データ相互間に変化があれば、これら小領域特徴データ相互に基づく相互相関係数データを算出する。この場合、素管1Aの表面201に近似合同模様である縞による輝度変化レベルより輝度変化レベルの小さい1mm以下の傷がある場合においては、相互相関係数データの値が小さくなるので、判定手段36が相互相関係数データの値を判定することで、素管1Aの表面201にある1mm以下の傷210を欠陥として検出できる。すなわち、光柱部203に来た時の傷210の小領域特徴データとこの傷210の部分の下であって光柱部203より外れたX方向アドレスが同じ位置の部分211の小領域特徴データとの相互相関係数データの値は小さくなる。
【0026】
上記形態2では、相互相関係数演算手段26がラインカメラ2A;2Bで撮像された異なる画像間での素管1Aの回転軸に沿った方向での同一位置に設定された小領域の小領域特徴データ相互間に変化があるかどうかを判定して変化がある場合にはその小領域特徴データ相互に基づく相互相関係数データを算出し、判定手段36は、相互相関係数データの値が小さい場合に、円筒状部品の表面に小さい傷があると判定するが、相互相関係数データの代わりに、上述した補正相互相関係数データ処理(ステップS4)により得られた補正相互相関係数データや、補正相互相関係数差データ処理(ステップS5)により得られた補正相互相関係数データを用いれば、異物検出精度を向上できる。相互相関係数差データ処理や補正相互相関係数差データ処理を施すことで、波形の振幅を直線化でき、素管1Aの表面201の近似合同模様に基づく輝度変化より小さい輝度変化、すなわち、欠陥情報が、相互相関係数差データ間の偏差、あるいは、補正相互相関係数差データ間の偏差として一方向のみに現れるので、欠陥をさらに明瞭に表示でき、欠陥情報検出をさらに容易とできる。
【0027】
尚、形態1;2において、小領域特徴データとして、小領域を構成する全画素の輝度データ値の最大値と最小値との差データ(ピークtoピーク値)を用いて小領域間の相関演算を行えば、撮像画像のノイズの影響を少なくできる。場所によって明るさのパターンが変化するような検査対象物品の欠陥検査においては、小領域特徴データとして、小領域を構成する全画素の輝度データ値の平均値データを用いて小領域間の相関演算を行えばよい。小領域特徴データとして、小領域を構成する全画素の輝度データ値の総和値データを用いて小領域間の相関演算を行えば、光学的なノイズやシェーディングの影響を除去できる。
【産業上の利用可能性】
【0028】
形態1においてラインカメラを使用してもよく、また、形態2においてエリアカメラを使用してもよい。形態2のように2つのカメラで異なる2箇所の画像を撮像し、この多画像間で相互相関係数を演算するという手法は、形態1の液体封入容器1内の液体中の異物検出にも適用できる。この場合、液体封入容器1を回転させておき、液体封入容器1の周囲2箇所から液体封入容器1の中心に向けてカメラで液体封入容器1の異なる2箇所の画像を撮像し、この多画像間で相互相関係数データを演算すればよい。
【図面の簡単な説明】
【0029】
【図1】本発明の最良の形態1による物品欠陥情報検出装置の構成図。
【図2】最良形態1の欠陥情報検出装置による処理の流れを示す図。
【図3】最良形態1の各種データテーブル相互の関係を示す図。
【図4】最良形態1の異なる画像間の同一アドレスの小領域を示す図。
【図5】最良形態1の液体封入容器内の異物判定方法の説明図。
【図6】最良形態1の液体封入容器内の異物判定結果を示す図。
【図7】最良形態1の液体封入容器内の異物判定結果を示す図。
【図8】最良形態1の液体封入容器内の異物判定結果を示す図。
【図9】本発明の最良の形態2による物品欠陥情報検出装置の構成図。
【符号の説明】
【0030】
1 液体封入容器、1A 感光ドラムの素管(欠陥検査対象物品)、
2 エリアカメラ、2A;2B ラインカメラ(撮像装置)、3 画像処理装置、
4;4A 欠陥情報検出装置、5 表示装置(データ出力装置)、
11 AD変換処理手段、12 積分処理手段、
13 コントラスト強調処理手段、
21 輝度データレンジ拡大処理手段、22 輝度データ記憶手段、
23 輝度データテーブル作成処理手段、24 小領域設定手段、
25 小領域特徴演算手段、25A 小領域特徴データ記憶手段、
25B 小領域特徴データテーブル作成処理手段、
26 相互相関係数演算手段、27 相互相関係数データ記憶手段、
28 相互相関係数データテーブル作成処理手段、
29 相互相関係数データ補正処理手段、
30 補正相互相関係数データ記憶手段、
31 補正相互相関係数データテーブル作成処理手段、
32 小区画設定手段、33 補正相互相関係数差演算手段、
34 補正相互相関係数差データ記憶手段、
35 補正相互相関係数差データテーブル作成処理手段、
36 判定手段、37 表示制御手段、101 反射光源、101a 反射光、
102 透過光源、102a 透過光、103 側光源、103a 側面光、
104 ハーフミラー。

【特許請求の範囲】
【請求項1】
欠陥検査対象物品を撮像した画像を取り込んで物品の欠陥情報を検出する物品欠陥情報検出装置において、撮像装置で撮像された欠陥検査対象物品の複数の画像を形成する画素毎の輝度データを記憶する輝度データ記憶手段と、複数の画像毎にその画像中に複数の小領域を設定する小領域設定手段と、小領域を構成する複数画素の輝度データに基づく小領域特徴データを演算する小領域特徴演算手段と、小領域毎の小領域特徴データを記憶する小領域特徴データ記憶手段と、異なる画像間での複数の小領域の小領域特徴データ間による相互相関係数を演算する相互相関係数演算手段と、相互相関係数データを記憶する相互相関係数データ記憶手段と、相互相関係数データにより欠陥を判定する判定手段と、を備えたことを特徴とする物品欠陥情報検出装置。
【請求項2】
欠陥検査対象物品が液体封入容器内の液体であり、液体封入容器内に封入された液体中に混入した異物検査のための光学系が、液体封入容器の後方に配置されて液体封入容器の後面に透過光となる光を照射する透過光源と、液体封入容器の前方に配置されたハーフミラーと、ハーフミラーにより反射されて透過光と同一光軸の反射光となる光を液体封入容器の前面に照射する反射光源と、液体封入容器の斜め後方又は横に配置されて液体封入容器の斜め後方又は横から液体封入容器に光を照射する側光源とで構成され、撮像装置が、透過光及び反射光の照射された液体封入容器の内部を撮像可能なように液体封入容器及びハーフミラーの前方において透過光源と相対向する位置に設けられたことを特徴とする請求項1に記載の物品欠陥情報検出装置。
【請求項3】
撮像装置が液体封入容器における同一領域を時系列に撮像し、輝度データ記憶手段が時間的に前後して順次入力される複数の画像毎の輝度データを記憶し、相互相関係数演算手段が前後の画像間での同一位置に設定された小領域の小領域特徴データ相互間の変化の有無を判定して変化のある場合にはその時間的に前の画像に設定された小領域と時間的に後の画像の一定領域における複数の小領域との小領域特徴データに基づく相互相関係数データを算出し、相互相関係数データが最大となる小領域を求め、判定手段は、相互相関係数データの値が一定以上大きい場合に、液体封入容器内の液体中に異物があると判定したことを特徴とする請求項2に記載の物品欠陥情報検出装置。
【請求項4】
撮像装置が液体封入容器における同一領域を時系列に撮像し、輝度データ記憶手段が時間的に前後して順次入力される複数の画像毎の輝度データを記憶し、相互相関係数演算手段が前後の画像間での同一位置に設定された小領域の小領域特徴データ相互間の変化の有無を判定して変化のある場合にはその時間的に前の画像に設定された小領域と時間的に後の画像の一定領域における複数の小領域との小領域特徴データ相互に基づく相互相関係数データを算出し、相互相関係数データが最大となる小領域を求め、判定手段は、相互相関係数データの値が一定以上大きくて、かつ、時間的に前の画像に設定された小領域と時間的にさらに後の画像の一定領域における複数の小領域との小領域特徴データ相互に基づく相互相関係数データを算出し、相互相関係数データが最大となる小領域を求め、その小領域の相互相関係数データと前に求めた相互相関係数データとの一致度が小さい場合には、液体封入容器の液体中に細長い異物があると判定し、相互相関係数データの値が一定以上大きくて、かつ、時間的に前の画像に設定された小領域と時間的にさらに後の画像の一定領域における複数の小領域との小領域データ相互に基づく相互相関係数データを算出し、相互相関係数データが最大となる小領域を求め、その小領域の相互相関係数データと前に求めた相互相関係数データとの一致度が大きい場合には、液体封入容器の液体中に塊状の異物があると判定したことを特徴とする請求項2に記載の物品欠陥情報検出装置。
【請求項5】
欠陥検査対象物品が回転する円筒状部品であり、撮像装置が円筒状部品の表面に照射される光により円筒状部品の表面において円筒状部品の回転軸に沿った方向に形成される光柱部を撮像する第1の撮像装置と、回転軸に沿った方向の円筒状部品の表面でかつ光柱部の近傍を撮像する第2の撮像装置とを備え、相互相関係数演算手段が第1、第2の撮像装置で撮像された異なる画像間での円筒状部品の回転軸に沿った方向での同一位置に設定された小領域の小領域特徴データ相互間に一定以上の変化があるかどうかを判定して変化がある場合にはその小領域特徴データ相互に基づく相互相関係数データを算出し、判定手段は、相互相関係数データの値が小さい場合に、円筒状部品の表面に小さい傷があると判定したことを特徴とする請求項1に記載の物品欠陥情報検出装置。
【請求項6】
取り込んだ画像において輝度差が小さい場合に、画像の全画素の輝度データのうちの最小値と最大値とを検出し、当該最小値と最大値との差を拡大することで輝度データの値を大きくする輝度データレンジ拡大処理手段を備えたことを特徴とする請求項1ないし請求項5のいずれかに記載の物品欠陥情報検出装置。
【請求項7】
相互相関係数データ記憶手段に記憶された相互相関係数データのうちの最大値と最小値との差WRを演算し、この差WRと相互相関係数データ記憶手段に記憶可能な相互相関係数データの値の最大表現可能値Mとの比であるγ=M/WRを演算し、相互相関係数データ記憶手段に記憶された相互相関係数データにγを乗算した補正相互相関係数データを記憶する相互相関係数データ補正処理手段を備え、データ出力制御手段が、相互相関係数データの代わりに補正相互相関係数データを欠陥情報の有無判定用データとしてデータ出力装置に出力したことを特徴とする請求項1ないし請求項6のいずれかに記載の物品欠陥情報検出装置。
【請求項8】
相互相関係数データの記憶された相互相関係数データ記憶手段において互いに隣接する複数のアドレスに記憶された複数の相互相関係数データを含む小区画を設定する小区画設定手段と、小区画中の相互相関係数データの最大値と最小値との差を演算する相互相関係数差演算手段と、求めた相互相関係数差データを相互相関係数データ記憶手段のアドレスに対応させて記憶する相互相関係数差データ記憶手段とを備え、小区画設定手段が、相互相関係数データ記憶手段の前後のアドレスに設定された互いに隣接する小区画を設定し、データ出力制御手段が、相互相関係数データの代わりに相互相関係数差データを欠陥情報の有無判定用データとしてデータ出力装置に出力したことを特徴とする請求項1ないし請求項7のいずれかに記載の物品欠陥情報検出装置。
【請求項9】
小領域特徴演算手段で演算される小領域特徴データが、小領域を構成する複数画素の輝度データの総和値データであることを特徴とする請求項1ないし請求項8のいずれかに記載の物品欠陥情報検出装置。
【請求項10】
小領域特徴演算手段で演算される小領域特徴データが、小領域を構成する複数画素の輝度データの平均値データであることを特徴とする請求項1ないし請求項8のいずれかに記載の物品欠陥情報検出装置。
【請求項11】
小領域特徴演算手段で演算される小領域特徴データが、小領域を構成する複数画素の輝度データの最大値と最小値との差データであることを特徴とする請求項1ないし請求項8のいずれかに記載の物品欠陥情報検出装置。
【請求項12】
コンピュータに、欠陥検査対象物品の複数の画像毎にその画像中に複数の小領域を設定させる機能と、小領域を構成する複数画素の輝度データに基づく小領域特徴データを演算させる機能と、異なる画像間に設定された複数の小領域の小領域特徴データによる相互相関係数を演算させる機能と、相互相関係数データにより欠陥を判定させる機能とを備えたことを特徴とする物品欠陥情報検出処理プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2006−214890(P2006−214890A)
【公開日】平成18年8月17日(2006.8.17)
【国際特許分類】
【出願番号】特願2005−28351(P2005−28351)
【出願日】平成17年2月4日(2005.2.4)
【出願人】(394000873)株式会社エム・アイ・エル (8)
【出願人】(000002004)昭和電工株式会社 (3,251)
【出願人】(000002831)第一製薬株式会社 (129)
【Fターム(参考)】