カラー画像の処理方法およびカラー画像処理装置
【課題】画像上の対象物の明るさに左右されることなく、対象物の抽出精度を確保する。
【解決手段】カラーハイライト照明を用いた基板検査装置において、リード先端部を検査のために抽出するに際し、処理対象のカラー画像を構成するＲ，Ｇ，Ｂの各色データをそれぞれ所定の係数により重み付けし、重み付け後の各色データの総和Ｉを濃度とするグレイスケール画像を生成する。ここで各係数のうち、検査対象のリード先端部を抽出するのに適した色データであるＲ，Ｇの係数には正の値が設定され、残りのＢには負の値が設定される。さらに生成されたグレイスケール画像について、判別分析法によりしきい値を特定した後に、そのしきい値による２値化処理を行って、リード先端部を抽出する。
【解決手段】カラーハイライト照明を用いた基板検査装置において、リード先端部を検査のために抽出するに際し、処理対象のカラー画像を構成するＲ，Ｇ，Ｂの各色データをそれぞれ所定の係数により重み付けし、重み付け後の各色データの総和Ｉを濃度とするグレイスケール画像を生成する。ここで各係数のうち、検査対象のリード先端部を抽出するのに適した色データであるＲ，Ｇの係数には正の値が設定され、残りのＢには負の値が設定される。さらに生成されたグレイスケール画像について、判別分析法によりしきい値を特定した後に、そのしきい値による２値化処理を行って、リード先端部を抽出する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、所定の対象物を含むカラー画像から前記対象物を抽出するための方法および装置に関する。
【背景技術】
【０００２】
出願人は、「カラーハイライト照明」と呼ばれる照明方式を導入した基板検査装置について、多数の出願を行っている（たとえば特許文献１。）。この基板検査装置では、赤、緑、青の各色彩光を異なる仰角方向から基板に向けて照射しつつ前記基板を撮像することにより、鏡面反射性の高い部位がその傾斜角度に応じた色彩で表されるカラー画像を生成する。そして、このカラー画像上のあらかじめ設定した位置に検査領域を設定し、その領域内の画像を２値化して被検査部位を抽出する。さらに、抽出した被検査部位の位置や面積などを計測して、その計測値を所定の判定基準値と照合することにより、前記被検査部位の適否を判別する。
【０００３】
【特許文献１】特開平９−１４５６３３号 公報
【０００４】
上記特許文献１に記載の基板検査装置では、被検査部位の色彩を抽出するために、４種類のパラメータを設定し、これらのパラメータ毎に上限値および下限値の２種類のしきい値を設定している。４種類のパラメータの１つは、明度データであって、Ｒ，Ｇ，Ｂの各色データの総和ＢＲＴにより表される。その他の３つのパラメータは、Ｒ，Ｇ，Ｂの各色データの明度データに対する比率ＲＯＰ，ＧＯＰ，ＢＯＰ（たとえばＲＯＰ＝Ｒ／ＢＲＴ）である。
なお、これらのパラメータに対応するしきい値は、特許文献１に示されているように、ユーザーが被検査部位のモデルのカラー画像やガイダンス画面を見ながら設定するのが、一般的である。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記の基板検査装置によれば、鏡面反射性が高い被検査部位については、その部位の傾斜角度を表す色データが顕著に表れたカラー画像が生成されるので、被検査部位を背景から精度良く切り分けて抽出することができる。しかし、被検査部位の反射率が低くなると、前記傾斜角度を表す色データの強度が弱まり、これに伴って明るさも低下するため、誤抽出が起こる可能性がある。
【０００６】
たとえば、ＩＣのリードの先端部を検査する場合、一般に、先端部が平坦であることからＲの値が強くなるので、前出のパラメータのうち、ＢＲＴおよびＲＯＰのしきい値を高めに設定することにより、リードを抽出することができる。
ところが、パラジウムメッキが施されるなどして、リードの反射率が低くなった場合には、Ｒの強度が低下するため、ＢＲＴやＲＯＰのしきい値を低く設定しなければならない。この結果、背景部分でＲの強度が比較的高い部分がノイズとして誤抽出される可能性が生じ、リード検査の精度が低下してしまう。
【０００７】
なお、上記の問題は、被検査部位自体の反射率に限らず、たとえば、照明条件が適切でないために、カメラに入射する反射光の強さを確保できない場合にも起こり得る問題である。
【０００８】
つぎに、２値化処理のためのしきい値の設定には知識や経験が必要となるが、被検査部位の反射率や照明条件に応じてしきい値の値を細かく調整する必要があるため、熟練者であっても最適なしきい値を設定するのは容易なことではない。
【０００９】
この点について、下記の特許文献２では、複数の認識対象物のサンプルの画像を用いて、対象物の構成色（この明細書で言う色データと同義と思われる。）のばらつきを自動的に抽出し、そのばらつきの範囲に基づいて最適な範囲の色彩の抽出範囲を求めるようにしている。しかし、この特許文献２では、画像上の出現頻度の高い色彩をベースに構成色を抽出しているので、対象物の反射率が低く、背景との間の構成色の差異が小さい場合には、構成色のばらつきが不正確になり、しきい値を正確に求められない可能性がある。また複数のサンプルの画像を用いた統計処理を行う必要があるので、処理が大がかりになる。
【００１０】
【特許文献２】特開２００４−２１３２００号 公報
【００１１】
この発明は上記問題点に着目してなされたもので、画像上の対象物の明るさの度合いに左右されることなく、対象物の抽出精度を確保できるようにすることを第１の目的とする。
またこの発明は、上記の抽出処理に適したしきい値を自動的に設定して２値化を行えるようにすることにより、ユーザーの負担を大幅に削減することを、第２の目的とする。
【課題を解決するための手段】
【００１２】
この発明にかかるカラー画像の処理方法では、所定の対象物を含むカラー画像から前記対象物を抽出するために、以下の第１、第２のステップを実行する。
第１のステップでは、前記カラー画像を構成する複数の色データのうち、前記対象物の抽出に適した色データに正の値の係数を、その他の色データに負の係数をそれぞれ設定して、前記カラー画像に含まれる画素毎にこれらの係数により重み付けされた色データの総和を求める演算を実行し、各画素と前記演算で得た総和とを対応づけたグレイスケール画像を生成する。
第２のステップでは、前記第１のステップで生成されたグレイスケール画像を所定のしきい値により２値化することにより、前記対象物を抽出する。
【００１３】
上記において、「カラー画像を構成する複数の色データ」は、たとえばＲ，Ｇ，Ｂの３種類の画像データであるが、これに限定されるものではない。
「対象物の抽出に適した色データ」は、一般に、カラー画像上の対象物において他の色データより優勢になると考えられる色データであるが、カラー画像上の対象物における比率が最も高い色データを１つ選択しても良いし、２以上の色データを選択しても良い。ただし、全ての色データを選択するのは望ましくない。また、対象物上にある程度の大きさで出現する色データであっても、対象物の近傍で優勢になるものは、「対象物の抽出に適した色データ」から外すのが望ましい。
【００１４】
第１のステップの演算によれば、対象物の抽出に適した色データ（以下、「抽出色データ」という。）が正の値の係数により強められて、総和における比率が高められる一方、抽出色データ以外の色データは負の値の係数により弱められ、総和における比率が減少する。よって、グレイスケール画像では、抽出色データが他の色データより優勢な画像領域（対象物に該当する。）とその他の画像領域との間の濃度差を大きくすることができる。
なお、上記の「その他の画像領域」には、抽出色データの占める割合が小さく、抽出色データ以外の色データが優勢な画像領域のほかに、抽出色データが優勢であるが、その度合いが対象物におけるものより低い画像領域も含まれる。
【００１５】
よって、反射率が低いという理由や、照明強度が弱いという理由により、抽出色データの値が顕著な大きさを示さない対象物であっても、グレイスケール画像上では、背景に対する濃度差が大きい画像領域として現れるようになる。また負の値の係数によって、抽出色データ以外の色データによる影響を小さくすることができるので、背景に抽出色データ以外の色データが大きくなる部分が含まれていても、グレイスケール画像上でその部分の濃度が大きくなるのを防止することができる。
よって、カラー画像上の対象物の明るさに関わらず、その対象物を背景部分から精度良く切り分けることが可能になる。
【００１６】
上記方法の好ましい一態様では、前記各色データに対応する係数は、前記対象物の背景を構成する画素に対する前記演算の結果が０に近似する値になるように設定される。この設定によれば、グレイスケール画像上では対象物以外の濃度値はほぼ０になるから、対象物と背景とを精度良く切り分けることが可能になる。
【００１７】
他の好ましい態様では、前記第２のステップにおいて、前記グレイスケール画像の濃度分布状態に基づいて前記２値化のためのしきい値を特定し、この特定されたしきい値により前記グレイスケール画像を２値化する。
【００１８】
上記の態様では、たとえば、判別分析法などの公知の手法に基づき、前記グレイスケール画像の濃度ヒストグラムを作成し、そのヒストグラムの分布状態に基づいて２値化のためのしきい値を特定する。この場合、前記第１ステップにおいて、対象物と背景との間の濃度差が大きなグレイスケール画像が生成されているので、対象物の抽出に適したしきい値を簡単に特定することができる。
【００１９】
なお、この発明にかかるカラー画像の処理方法では、前記対象物を撮像することにより生成されたカラー画像全体を処理対象としても良いし、その全体画像中のあらかじめ定められた領域（対象物の位置情報に基づき設定された領域）内のカラー画像のみを処理対象としてもよい。
【００２０】
つぎに、この発明にかかるカラー画像処理装置は、所定の対象物を撮像して得られたカラー画像を入力する画像入力手段と、前記カラー画像を構成する複数の色データのうち、前記対象物の抽出に適した色データに正の値の係数を、その他の色データに負の値の係数をそれぞれ設定して、画像入力手段により入力されたカラー画像中の所定の領域に含まれる画素毎に前記各係数により重み付けされた色データの総和を求める演算を実行する演算手段と、前記所定の領域内の各画素と前記演算手段の演算で得た総和とを対応づけたグレイスケール画像を生成する画像生成手段と、前記画像生成手段により生成されたグレイスケール画像の濃度分布状態に基づき、前記グレイスケール画像を２値化するためのしきい値を設定するしきい値設定手段と、前記しきい値設定手段により設定されたしきい値により前記グレイスケール画像を２値化する２値化手段とを、具備する。
【００２１】
上記構成のカラー画像処理装置によれば、前出のカラー画像の処理方法を実行することにより対象物を精度良く抽出することができる。よって、その後に実行される計測や検査についても、精度を確保することができる。また、カラー画像を入力する都度、そのカラー画像から生成されるグレイスケール画像に適したしきい値が自動設定されるので、あらかじめしきい値を設定する必要がない。
【００２２】
なお、前記画像生成手段が処理対象とする領域は、入力されたカラー画像中の一部の領域でも良いが、これに限らず、入力されたカラー画像の全体であっても良い。
【発明の効果】
【００２３】
この発明によれば、対象物のカラー画像を処理するのに代えて、対象物の抽出に適した色データの強度の影響が強められ、かつその他の色データの強度の影響が弱められたグレイスケール画像を処理するようにしたので、対象物自体の反射率が小さいという理由や、照明が不十分であるという理由などによって、カラー画像上の対象物の明るさが十分でない場合でも、その対象物を精度良く抽出することが可能になる。
また上記のようなグレイスケール画像を用いた抽出処理を行うことにより、抽出に適したしきい値を自動設定した上で２値化を行うことが可能になるので、ユーザーの負担を大幅に削減することができる。
【発明を実施するための最良の形態】
【００２４】
図１は、この発明が適用された基板検査装置の構成例を示す。
この実施例の基板検査装置は、部品実装基板の製造ライン中の部品実装工程を経た基板を処理対象として、部品の実装位置毎に検査を行うもので、コントローラ１、カメラ２、基板ステージ３、照明装置４、入力部５、モニタ６などにより構成される。
【００２５】
前記カメラ２は、カラー静止画像を生成するもので、前記基板ステージ３の上方に撮像面を下方に向けた状態で固定配備される。基板ステージ３には、検査対象の基板を水平に支持するテーブル３ａ（図２に示す。）や、このテーブル３ａをＸ方向（基板の長さ方向）およびＹ方向（基板の幅方向）に移動させるための移動機構（図示せず。）が含まれる。照明装置４は、検査対象の基板を照明するためのものである。
【００２６】
前記コントローラ１には、コンピュータによる制御部１１のほか、画像入力部１２、ＸＹステージ制御部１３、照明制御部１４、メモリ１５、検査結果出力部１６などが設けられる。
画像入力部１２には、前記カメラ２に対するインターフェース回路やＡ／Ｄ変換回路が含まれる。ＸＹステージ制御部１３は、前記基板ステージ３の移動を制御し、照明制御部１４は、前記照明装置４の点灯・消灯動作を調整する。
【００２７】
メモリ１５には、検査にかかる一連の処理手順が記述されたプログラムや検査データファイルなどが格納される。
検査データファイルには、基板に設定する検査領域の設定条件（領域の位置や大きさ）や被検査部位の良否を判定するための判定基準値などが格納される。さらに、この実施例では、前記基板を複数の撮像対象領域に分けて撮像を行うようにしているため、検査データファイルには、各撮像対象領域の設定位置を示すデータが登録される。また後記するグレイスケール画像の生成のための係数の比率も、検査データファイル内に格納される。
【００２８】
前記制御部１１は、ＸＹステージ制御部１３を介して基板ステージ３の移動を制御することにより、前記カメラ２を各撮像対象領域に順に位置合わせし、撮像する。ここで生成されたカラー画像は画像入力部１２を介して制御部１１に入力され、その内部のメモリ（ＲＡＭ）に格納される。制御部１１は、このＲＡＭに格納されたカラー画像の各被検査部位に対し、それぞれ前記検査データファイル内の設定条件に基づき検査領域を設定し、その領域において、被検査部位の抽出、計測、判別の各処理を、順次実行する。
【００２９】
基板上のすべての部品に対する判定処理が終了すると、制御部１１は、これらの判定結果をとりまとめて、基板の良、不良を判定する。この最終の判定結果や不良と判定された場合の不良部位に関する情報は、検査結果出力部１６に与えられた後、この検査結果出力部１６から図示しない外部装置に出力される。
【００３０】
上記の基板検査装置では、ＩＣやＱＦＰなどのリード部品を検査する際には、リード毎に検査領域を設定し、リードの先端部に曲がりや浮きがないかどうかなどを検査するようにしている。
【００３１】
図２は、カメラ２および照明装置４により基板７上のリード部品８を撮像している状態を、カメラ２や照明装置４の光源の配置関係とともに示す。なお、図中の８０は、リードであり、部品本体に装着される根元部８２と、基板７のランドにはんだ付けされる先端部８１と、これらを繋ぐ中間部８３とを有する。また９は、前記先端部８１とランドとを接続するはんだである。
前記照明装置４には、それぞれ赤色、緑色、青色の色彩光を発する３個の円環状光源４Ｒ，４Ｇ，４Ｂ（以下、「赤色光源４Ｒ」、「緑色光源４Ｇ」、「青色光源４Ｂ」という。）が、各中心部を位置合わせした状態で配備されている。また前記カメラ２は、照明装置４の上方位置に、光軸が各光源４Ｒ，４Ｇ，４Ｂの中心に合うようにして配備される。
【００３２】
赤色光源４Ｒは３個の光源の中で最も径が小さく、カメラ２に最も近い位置に配置される。青色光源４Ｂは３個の光源の中で最も径が大きく、基板７に最も近い位置に配置される。緑色光源４Ｇは光源４Ｒと光源４Ｂとの間に配置され、その径も光源４Ｒの径と光源４Ｂの径との間になるように設定される。
【００３３】
この構成により、赤、緑、青の各色彩光がそれぞれ異なる仰角方向から基板７に照射されるようになる。基板上の鏡面反射性の高い部位（はんだ付け部９、リード８０など）では、これらの色彩光が正反射するが、カメラ２に入射する反射光の種類は光が照射された位置の傾斜角度によって異なるものになる。
たとえばリード８０の場合、先端部８１や根元部８２では、上面がほぼ平坦であるため、主として、赤色光に対する反射光がカメラ２に入射する。また、中間部８３や先端部８１の端縁８１ａでは、傾斜が急になるため、主として、青色光に対する反射光が入射する。また平坦な面と急斜面との境界にあたる部分では、緑色光に対する反射光が入射する比率が高められる。
【００３４】
図３は、前記照明装置４による照明下で生成されたリード部品８の一部を撮像して得られたカラー画像１００を模式化したものである。便宜上、このカラー画像１００中の各部に図２と同じ符号を付す。また前記リード８０の各部８１，８２，８３を、それぞれ画像上で優勢になる色データに対応するパターン（図２の光源４Ｒ，４Ｇ，４Ｂに付したものに対応する。）により表している。ただし、緑色が顕著に表れる領域はきわめて小さいため、ここでは図示を省略している。
なお、９１は、図２に図示されていなかったランドの画像である。またはんだ付け部９には、Ｒが優勢な領域のほか、傾斜状態によってＧやＢが優勢な領域も出現するが、この実施例の抽出対象ではないため、Ｒ，Ｇ，Ｂに対応しない一律のパターンにより表している。
【００３５】
この実施例では、リード８０の先端部８１（以下、「リード先端部８１」という。）の状態を検査するために、各リード先端部８１毎に検査領域Ｒを設定し、それぞれの検査領域Ｒ内のカラー画像をグレイスケール画像に変換して２値化する。また２値化処理では、判別分析法を用いてしきい値を自動抽出するようにしている。
【００３６】
ここで、前記グレイスケール画像の生成方法について、詳細に説明する。
この実施例では、前記検査領域Ｒに含まれる各画素につき、それぞれ、その画素の色彩を表す色データＲ，Ｇ，Ｂ（以下、それぞれの色データを「赤色データＲ」、「緑色データＧ」、「青色データＢ」という。）を下記の（１）式にあてはめた演算を実行し、算出されたＩの値を濃度値とするグレイスケール画像を生成する。
Ｉ＝ＣＲ×Ｒ＋ＣＧ×Ｇ＋ＣＢ×Ｂ ・・・（１）
【００３７】
上記（１）式の係数ＣＲ，ＣＧ，ＣＢのうち、リード先端部８１の望ましい傾斜状態を表す色データの係数には正の値が設定され、それ以外の色データの係数に負の値が設定される。
前記図３に示したようにリード先端部８１では赤色データＲが優勢になるが、中間部８３や端縁８１ａとの境界に近い位置では緑色データＧの割合も大きくなる。この点を考慮して、この実施例では、赤色データＲに対する係数値ＣＲと、緑色データＧに対応する係数値ＣＧとに、正の値を設定するようにしている。
【００３８】
またこの実施例では、正の係数ＣＲ，ＣＧの比率を、望ましい傾斜状態のリード先端部８１の画像に表れるＲ，Ｇの比率に合わせている。この比率は、あらかじめ反射率が十分に高いリード先端部８１のカラー画像から抽出され、前記検査データファイルに格納される。
【００３９】
さらにこの実施例では、基板７の地の面（ランド９１などが形成されていない基板７の表面）のカラー画像（以下「背景画像」という。）に前記（１）式を適用したときに、Ｉの値が０になるように、各係数ＣＲ，ＣＧ，ＣＢの値を決定する。
【００４０】
以下、検査データファイルに登録された係数ＣＲ，ＣＧの比率が３：１であり、背景画像の画像データが、Ｒ＝４５，Ｇ＝６０，Ｂ＝４５（いずれも、８ビット構成のデータとする。）であるという前提の下で説明する。
【００４１】
まずＣＧ＝ａ（ａ＞０）とおいて、前記背景画像の画像データによる（１）式の演算結果を０にすること前提に、
３ａ×４５＋ａ×６０＋ＣＢ×４５＝０ ・・・（２） とする。
【００４２】
上記（２）式を整理すると、ＣＢ＝−４．３３ａ となる。
ここでＣＢが整数に近い値になるようにａ＝３とすると、ＣＲ＝９，ＣＧ＝３となる。またＣＢの小数点以下を繰り上げると、ＣＢ＝−１３となる。
【００４３】
上記の係数ＣＲ，ＣＧ，ＣＢによれば、リード先端部８１の表面の傾斜状態を表す赤色データＲおよび緑色データＧが強められる一方で、傾斜状態を表さない青色データＢは負の係数ＣＢによって弱められる。よって、カラー画像上のリード先端部８１では、（１）式の右辺中の正の値（ＣＲ×Ｒ＋ＣＧ×Ｇ）が大きくなる一方、負の値（ＣＢ×Ｂ）の絶対値は小さくなるから、濃度Ｉは高い値になると考えられる。
【００４４】
またパラジウムめっきが施されたリード８０など、反射率の低いリード８０では、カラー画像におけるリード先端部８１の赤色データＲや緑色データＧの値は低くなるが、上記（１）式によれば、ＲやＧの値が係数ＣＲ，ＣＧで強調されるので、濃度Ｉにある程度の値を確保することができる。
【００４５】
一方、基板の地の面の部分については、色彩に大きなばらつきがない限り、濃度Ｉは０に近い値を示すと考えられる。また前記中間部８３などの青色が優勢な急斜面では、ＲやＧの値が元々小さいので、正の係数ＣＲ，ＣＧによる重み付け後の値もさほど大きくならない。一方、Ｂについては、負の係数ＣＢによる重み付けによって、マイナス方向に大きくなるので、（１）式の演算結果は、０に近い値、もしくは負の値になると考えられる。なお、Ｉが負の値になった場合には、Ｉ＝０とみなされる。したがって、前記図３に示した検査領域Ｒによれば、リード先端部８１以外の部分のカラー画像は、ＲやＧの値が高いノイズが発生していない限り、０または０に近い値に変換されると考えられる。
【００４６】
このように、前記（１）式によるグレイスケール画像によれば、抽出対象のリード先端部８１の反射率が低い場合でも、リード先端部８１の画像とそれ以外の部分との間に有為な濃度差を設定することが可能になる。よって、このグレイスケール画像から双峰性の高い濃度ヒストグラムを作成することができるから、判別分析法を用いて２値化処理のためのしきい値を自動抽出し、精度の高い２値化処理を行うことが可能になる。
【００４７】
図４は、反射率が高いリード８０と、反射率が低いリード８０とについて、カラー画像における各色データＲ，Ｇ，Ｂの濃度分布と、グレイスケール画像上の濃度分布とを、グラフにしたものである。いずれのグラフも、リード先端部８１の長さ方向に沿う濃度分布を示すもので、縦軸は濃度（最大２５５階調）を、横軸は画素の位置を、それぞれ示す。
なお、グレイスケール画像の生成のための係数ＣＲ，ＣＧ，ＣＢについては、前出の具体例に基づき、ＣＲ＝９，ＣＧ＝３，ＣＢ＝−１３とし、演算の結果を正規化している。
【００４８】
グラフ１では、中央の広い領域で赤色データＲが他の色データＧ，Ｂより格段に優勢になり、その近傍位置にＧおよびＢのピークが現れている。また、Ｒの優勢な領域内の両端位置では、ＧがＢより大きな変化を示している。これらの現象は、リード先端部８１の傾斜状態を的確に反映しているといえる。
これらＲ，Ｇ，Ｂの値を反映して、Ｉの値はＲやＧの値が高い範囲で高くなり、その外側では、矢印ｆ１で示す部分を除き、ほぼ０になっている。
【００４９】
グラフ２でも、中央部でＲが優勢になり、その近傍にＧやＢのピークが出現しているが、グラフ１と比べると、いずれの色データのピークも低く、ばらつき度合いも小さくなっている。
しかし、Ｉの濃度分布には２つの大きなピークが現れている。またこれらのピークに挟まれた領域では、最低でも６０程度の値が確保されているのに対し、それ以外の部分では、矢印ｆ２で示す部分を除き、ほぼ０になっている。
【００５０】
なお、グラフ１，２の矢印ｆ１，ｆ２で示した部分は、Ｒの値が若干高くなったために生じたノイズであると考えられる。しかし、Ｉの値があまり高くならないグラフ２においても、ノイズ部分とリード先端部８１に対応する範囲との間には、かなりの差が認められるから、判別分析法のための濃度ヒストグラムにおいて、ノイズにおけるＩの値とリード先端部８のにおけるＩの値とが同じピークに含まれることはないと思われる。
【００５１】
つぎに、前記赤色データＲに対する係数ＣＲの値を変更した場合の影響について、検討する。
図５のグラフ３，４は、図４と同じカラー画像を処理する場合に、赤色データＲに対する係数ＣＲを９から８に変更して（その他の係数ＣＧ，ＣＢは同じ。）、グレイスケール画像の濃度Ｉを算出した例を示す。この例でも、反射率の高いリードについては、リード先端部８１に対応するＲやＢの大きな範囲でＩの値が高められている（グラフ３参照。）。
【００５２】
しかし、反射率の低いリードに対応するグラフ４では、リード先端部８１に対応するはずの中央部にＩの値が０まで落ち込む箇所が発生している。これは、Ｒ，Ｂ間の差が小さいため、正の係数ＣＲを小さくしたことによって、負の係数ＣＢによる減算量の影響が大きくなったためと考えられる。
【００５３】
図６のグラフ５，６は、図４と同じカラー画像を処理する場合に、赤色データＲに対する係数ＣＲを９から１０に変更して（その他の係数ＣＧ，ＣＢは同じ。）、グレイスケール画像の濃度Ｉを算出した例を示す。この例では、グラフ５，６とも、リード先端部８１に対応する部分のＩの値が高くなっているが、矢印ｆ１，ｆ２で示すノイズの値もグラフ１，２のものより大きくなっている。
【００５４】
上記図５，６によれば、係数ＣＲを調整する場合、値を下げる調整は好ましくないと考えられる。また値を上げる場合にも、背景部分のノイズが強調される点を考慮する必要がある。
【００５５】
なお、上記では、正の係数ＣＲ，ＣＧの比率を決定するために、反射率の高いリード先端部８１のカラー画像からＲ、Ｇの各色データを抽出するようにしたが、方法はこれに限定されるものではない。たとえば、前記反射率の高いリード先端部８１の画像からＲが最も強い領域の面積とＧが最も強い領域の面積とを計測し、その面積比に基づき係数ＣＲ，ＣＧの比率を決定してもよい。またＲの優勢な領域とＧの優勢な領域との比率をユーザーが経験的に知っている場合には、その知識に基づいて係数ＣＲ，ＣＧの比率を決定してもよい。
または、リード先端部８１の長さ、幅、傾斜角度などを計測し、それらの計測値と前記光源４Ｒ，４Ｇからの照明光の角度範囲とに基づき、リード先端部８１からカメラ２に入射するＲ，Ｇの反射光の比率を算出し、その比率に応じて係数ＣＲ，ＣＢの比率を定めてもよい。
【００５６】
図７は、上記基板検査装置が実行する処理の流れを示す。なお、ここでは、説明を簡単にするために、前記したリード先端部８１の検査に限定した流れを示す。
まず最初のＳＴ１（ＳＴは「ステップ」の略である。以下も同じ。）で、検査対象の基板７を基板ステージ３に搬入する。ＳＴ２では、基板７の地の面を撮像可能な領域にカメラ２の視野を合わせ、撮像を行う。これにより、前記した背景画像が生成される。
【００５７】
ＳＴ３では、前記背景画像からＲ，Ｇ，Ｂの値を抽出する。なお、この抽出処理は１つの画素に対して行ってもよいが、Ｒ，Ｇ，Ｂとも、複数の画素の値を抽出して、それらの平均値を求めるようにしてもよい。
つぎのＳＴ４では、前記検査データファイルから係数ＣＲ，ＣＧの比率を読み出し、この比率と前記ＳＴ３で抽出した背景画像のＲ，Ｇ，Ｂの値とを用いて係数ＣＲ，ＣＧ，ＣＢの値を決定する。この決定方法は、先に前記（２）式を用いた具体例により説明したとおりである。
【００５８】
この後、ＳＴ５では、前記基板ステージ３の位置を調整して、カメラ２の視野を検査対象のリード８０に合わせ、撮像を行う。これにより前記図２に示したようなカラー画像が生成される。
【００５９】
ＳＴ６では、前記ＳＴ５で生成されたカラー画像上に検査領域を設定する。
ＳＴ７では、検査領域内の画素毎に、設定した各係数を用いて（１）式を実行し、濃度Ｉを求める。さらに算出された濃度Ｉを処理対象の画素の座標に対応づけることにより、検査領域のグレイスケール画像を生成する。
【００６０】
ＳＴ８では、前記グレイスケール画像から濃度ヒストグラムを作成し、そのヒストグラムに現れる２つのピークの間の所定位置に対応する濃度Ｉをしきい値として設定する。
つぎのＳＴ９では、ＳＴ８で設定されたしきい値により前記グレイスケール画像を２値化する。これにより、リード先端部８１が抽出される。
【００６１】
ＳＴ１０では、抽出したリード先端部８１に対し、先端縁の位置や長さなどを計測する処理を行う。さらにその計測結果を所定の判定基準値と照合することにより、リード先端部８１の良否を判別する。なお、この判別結果は前記ＲＡＭに一次保存される。
【００６２】
以下、画像に含まれるすべての検査領域Ｒに対し、ＳＴ７〜１０の各ステップを実行する。またここには図示していないが、１つの部品を複数回に分けて撮像したり、検査対象部品が複数個ある場合には、各撮像対象領域にカメラ２を順に合わせて、撮像対象領域毎にＳＴ５〜１１の処理を実行する。
このようにして、基板７上のすべての検査領域Ｒに対する処理が終了すると、ＳＴ１１が「ＹＥＳ」となり、ＳＴ１２で検査結果を出力した後に、検査を終了する。
【００６３】
なお、図７の例では、検査対象の基板７毎に背景画像の生成処理（ＳＴ２）および係数の決定処理（ＳＴ３）を実行しているが、これに限らず、これらのステップを実行するのは最初の検査対象の基板７だけとし、この基板７について求めた係数値を以後の基板７にも適用するようにしてもよい。
【図面の簡単な説明】
【００６４】
【図１】この発明が適用された基板検査装置の構成を示すブロック図である。
【図２】リード部品の検査時の撮像状態をカメラと照明装置との配置関係とともに示す説明図である。
【図３】リード部品のカラー画像を模式的に示した図である。
【図４】カラー画像におけるＲ，Ｇ，Ｂおよびグレイスケール画像の濃度Ｉについて、リード先端部の長さ方向に沿う分布状態を示すグラフである。
【図５】図４と同様のカラー画像を対象に、Ｒに対する係数値を１つ小さくしてグレイスケール画像の濃度値Ｉを算出した結果を示すグラフである。
【図６】図４と同様のカラー画像を対象に、Ｒに対する係数値を１つ大きくしてグレイスケール画像の濃度値Ｉを算出した結果を示すグラフである。
【図７】検査時の処理の流れを示すフローチャートである。
【符号の説明】
【００６５】
１ コントローラ
２ カメラ
４ 照明装置
１１ 制御部
１５ メモリ
８１ リード先端部
１００ カラー画像
Ｒ，Ｇ，Ｂ 色データ
ＣＲ，ＣＧ，ＣＢ 係数
Ｉ グレイスケール画像の濃度値
【技術分野】
【０００１】
この発明は、所定の対象物を含むカラー画像から前記対象物を抽出するための方法および装置に関する。
【背景技術】
【０００２】
出願人は、「カラーハイライト照明」と呼ばれる照明方式を導入した基板検査装置について、多数の出願を行っている（たとえば特許文献１。）。この基板検査装置では、赤、緑、青の各色彩光を異なる仰角方向から基板に向けて照射しつつ前記基板を撮像することにより、鏡面反射性の高い部位がその傾斜角度に応じた色彩で表されるカラー画像を生成する。そして、このカラー画像上のあらかじめ設定した位置に検査領域を設定し、その領域内の画像を２値化して被検査部位を抽出する。さらに、抽出した被検査部位の位置や面積などを計測して、その計測値を所定の判定基準値と照合することにより、前記被検査部位の適否を判別する。
【０００３】
【特許文献１】特開平９−１４５６３３号 公報
【０００４】
上記特許文献１に記載の基板検査装置では、被検査部位の色彩を抽出するために、４種類のパラメータを設定し、これらのパラメータ毎に上限値および下限値の２種類のしきい値を設定している。４種類のパラメータの１つは、明度データであって、Ｒ，Ｇ，Ｂの各色データの総和ＢＲＴにより表される。その他の３つのパラメータは、Ｒ，Ｇ，Ｂの各色データの明度データに対する比率ＲＯＰ，ＧＯＰ，ＢＯＰ（たとえばＲＯＰ＝Ｒ／ＢＲＴ）である。
なお、これらのパラメータに対応するしきい値は、特許文献１に示されているように、ユーザーが被検査部位のモデルのカラー画像やガイダンス画面を見ながら設定するのが、一般的である。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記の基板検査装置によれば、鏡面反射性が高い被検査部位については、その部位の傾斜角度を表す色データが顕著に表れたカラー画像が生成されるので、被検査部位を背景から精度良く切り分けて抽出することができる。しかし、被検査部位の反射率が低くなると、前記傾斜角度を表す色データの強度が弱まり、これに伴って明るさも低下するため、誤抽出が起こる可能性がある。
【０００６】
たとえば、ＩＣのリードの先端部を検査する場合、一般に、先端部が平坦であることからＲの値が強くなるので、前出のパラメータのうち、ＢＲＴおよびＲＯＰのしきい値を高めに設定することにより、リードを抽出することができる。
ところが、パラジウムメッキが施されるなどして、リードの反射率が低くなった場合には、Ｒの強度が低下するため、ＢＲＴやＲＯＰのしきい値を低く設定しなければならない。この結果、背景部分でＲの強度が比較的高い部分がノイズとして誤抽出される可能性が生じ、リード検査の精度が低下してしまう。
【０００７】
なお、上記の問題は、被検査部位自体の反射率に限らず、たとえば、照明条件が適切でないために、カメラに入射する反射光の強さを確保できない場合にも起こり得る問題である。
【０００８】
つぎに、２値化処理のためのしきい値の設定には知識や経験が必要となるが、被検査部位の反射率や照明条件に応じてしきい値の値を細かく調整する必要があるため、熟練者であっても最適なしきい値を設定するのは容易なことではない。
【０００９】
この点について、下記の特許文献２では、複数の認識対象物のサンプルの画像を用いて、対象物の構成色（この明細書で言う色データと同義と思われる。）のばらつきを自動的に抽出し、そのばらつきの範囲に基づいて最適な範囲の色彩の抽出範囲を求めるようにしている。しかし、この特許文献２では、画像上の出現頻度の高い色彩をベースに構成色を抽出しているので、対象物の反射率が低く、背景との間の構成色の差異が小さい場合には、構成色のばらつきが不正確になり、しきい値を正確に求められない可能性がある。また複数のサンプルの画像を用いた統計処理を行う必要があるので、処理が大がかりになる。
【００１０】
【特許文献２】特開２００４−２１３２００号 公報
【００１１】
この発明は上記問題点に着目してなされたもので、画像上の対象物の明るさの度合いに左右されることなく、対象物の抽出精度を確保できるようにすることを第１の目的とする。
またこの発明は、上記の抽出処理に適したしきい値を自動的に設定して２値化を行えるようにすることにより、ユーザーの負担を大幅に削減することを、第２の目的とする。
【課題を解決するための手段】
【００１２】
この発明にかかるカラー画像の処理方法では、所定の対象物を含むカラー画像から前記対象物を抽出するために、以下の第１、第２のステップを実行する。
第１のステップでは、前記カラー画像を構成する複数の色データのうち、前記対象物の抽出に適した色データに正の値の係数を、その他の色データに負の係数をそれぞれ設定して、前記カラー画像に含まれる画素毎にこれらの係数により重み付けされた色データの総和を求める演算を実行し、各画素と前記演算で得た総和とを対応づけたグレイスケール画像を生成する。
第２のステップでは、前記第１のステップで生成されたグレイスケール画像を所定のしきい値により２値化することにより、前記対象物を抽出する。
【００１３】
上記において、「カラー画像を構成する複数の色データ」は、たとえばＲ，Ｇ，Ｂの３種類の画像データであるが、これに限定されるものではない。
「対象物の抽出に適した色データ」は、一般に、カラー画像上の対象物において他の色データより優勢になると考えられる色データであるが、カラー画像上の対象物における比率が最も高い色データを１つ選択しても良いし、２以上の色データを選択しても良い。ただし、全ての色データを選択するのは望ましくない。また、対象物上にある程度の大きさで出現する色データであっても、対象物の近傍で優勢になるものは、「対象物の抽出に適した色データ」から外すのが望ましい。
【００１４】
第１のステップの演算によれば、対象物の抽出に適した色データ（以下、「抽出色データ」という。）が正の値の係数により強められて、総和における比率が高められる一方、抽出色データ以外の色データは負の値の係数により弱められ、総和における比率が減少する。よって、グレイスケール画像では、抽出色データが他の色データより優勢な画像領域（対象物に該当する。）とその他の画像領域との間の濃度差を大きくすることができる。
なお、上記の「その他の画像領域」には、抽出色データの占める割合が小さく、抽出色データ以外の色データが優勢な画像領域のほかに、抽出色データが優勢であるが、その度合いが対象物におけるものより低い画像領域も含まれる。
【００１５】
よって、反射率が低いという理由や、照明強度が弱いという理由により、抽出色データの値が顕著な大きさを示さない対象物であっても、グレイスケール画像上では、背景に対する濃度差が大きい画像領域として現れるようになる。また負の値の係数によって、抽出色データ以外の色データによる影響を小さくすることができるので、背景に抽出色データ以外の色データが大きくなる部分が含まれていても、グレイスケール画像上でその部分の濃度が大きくなるのを防止することができる。
よって、カラー画像上の対象物の明るさに関わらず、その対象物を背景部分から精度良く切り分けることが可能になる。
【００１６】
上記方法の好ましい一態様では、前記各色データに対応する係数は、前記対象物の背景を構成する画素に対する前記演算の結果が０に近似する値になるように設定される。この設定によれば、グレイスケール画像上では対象物以外の濃度値はほぼ０になるから、対象物と背景とを精度良く切り分けることが可能になる。
【００１７】
他の好ましい態様では、前記第２のステップにおいて、前記グレイスケール画像の濃度分布状態に基づいて前記２値化のためのしきい値を特定し、この特定されたしきい値により前記グレイスケール画像を２値化する。
【００１８】
上記の態様では、たとえば、判別分析法などの公知の手法に基づき、前記グレイスケール画像の濃度ヒストグラムを作成し、そのヒストグラムの分布状態に基づいて２値化のためのしきい値を特定する。この場合、前記第１ステップにおいて、対象物と背景との間の濃度差が大きなグレイスケール画像が生成されているので、対象物の抽出に適したしきい値を簡単に特定することができる。
【００１９】
なお、この発明にかかるカラー画像の処理方法では、前記対象物を撮像することにより生成されたカラー画像全体を処理対象としても良いし、その全体画像中のあらかじめ定められた領域（対象物の位置情報に基づき設定された領域）内のカラー画像のみを処理対象としてもよい。
【００２０】
つぎに、この発明にかかるカラー画像処理装置は、所定の対象物を撮像して得られたカラー画像を入力する画像入力手段と、前記カラー画像を構成する複数の色データのうち、前記対象物の抽出に適した色データに正の値の係数を、その他の色データに負の値の係数をそれぞれ設定して、画像入力手段により入力されたカラー画像中の所定の領域に含まれる画素毎に前記各係数により重み付けされた色データの総和を求める演算を実行する演算手段と、前記所定の領域内の各画素と前記演算手段の演算で得た総和とを対応づけたグレイスケール画像を生成する画像生成手段と、前記画像生成手段により生成されたグレイスケール画像の濃度分布状態に基づき、前記グレイスケール画像を２値化するためのしきい値を設定するしきい値設定手段と、前記しきい値設定手段により設定されたしきい値により前記グレイスケール画像を２値化する２値化手段とを、具備する。
【００２１】
上記構成のカラー画像処理装置によれば、前出のカラー画像の処理方法を実行することにより対象物を精度良く抽出することができる。よって、その後に実行される計測や検査についても、精度を確保することができる。また、カラー画像を入力する都度、そのカラー画像から生成されるグレイスケール画像に適したしきい値が自動設定されるので、あらかじめしきい値を設定する必要がない。
【００２２】
なお、前記画像生成手段が処理対象とする領域は、入力されたカラー画像中の一部の領域でも良いが、これに限らず、入力されたカラー画像の全体であっても良い。
【発明の効果】
【００２３】
この発明によれば、対象物のカラー画像を処理するのに代えて、対象物の抽出に適した色データの強度の影響が強められ、かつその他の色データの強度の影響が弱められたグレイスケール画像を処理するようにしたので、対象物自体の反射率が小さいという理由や、照明が不十分であるという理由などによって、カラー画像上の対象物の明るさが十分でない場合でも、その対象物を精度良く抽出することが可能になる。
また上記のようなグレイスケール画像を用いた抽出処理を行うことにより、抽出に適したしきい値を自動設定した上で２値化を行うことが可能になるので、ユーザーの負担を大幅に削減することができる。
【発明を実施するための最良の形態】
【００２４】
図１は、この発明が適用された基板検査装置の構成例を示す。
この実施例の基板検査装置は、部品実装基板の製造ライン中の部品実装工程を経た基板を処理対象として、部品の実装位置毎に検査を行うもので、コントローラ１、カメラ２、基板ステージ３、照明装置４、入力部５、モニタ６などにより構成される。
【００２５】
前記カメラ２は、カラー静止画像を生成するもので、前記基板ステージ３の上方に撮像面を下方に向けた状態で固定配備される。基板ステージ３には、検査対象の基板を水平に支持するテーブル３ａ（図２に示す。）や、このテーブル３ａをＸ方向（基板の長さ方向）およびＹ方向（基板の幅方向）に移動させるための移動機構（図示せず。）が含まれる。照明装置４は、検査対象の基板を照明するためのものである。
【００２６】
前記コントローラ１には、コンピュータによる制御部１１のほか、画像入力部１２、ＸＹステージ制御部１３、照明制御部１４、メモリ１５、検査結果出力部１６などが設けられる。
画像入力部１２には、前記カメラ２に対するインターフェース回路やＡ／Ｄ変換回路が含まれる。ＸＹステージ制御部１３は、前記基板ステージ３の移動を制御し、照明制御部１４は、前記照明装置４の点灯・消灯動作を調整する。
【００２７】
メモリ１５には、検査にかかる一連の処理手順が記述されたプログラムや検査データファイルなどが格納される。
検査データファイルには、基板に設定する検査領域の設定条件（領域の位置や大きさ）や被検査部位の良否を判定するための判定基準値などが格納される。さらに、この実施例では、前記基板を複数の撮像対象領域に分けて撮像を行うようにしているため、検査データファイルには、各撮像対象領域の設定位置を示すデータが登録される。また後記するグレイスケール画像の生成のための係数の比率も、検査データファイル内に格納される。
【００２８】
前記制御部１１は、ＸＹステージ制御部１３を介して基板ステージ３の移動を制御することにより、前記カメラ２を各撮像対象領域に順に位置合わせし、撮像する。ここで生成されたカラー画像は画像入力部１２を介して制御部１１に入力され、その内部のメモリ（ＲＡＭ）に格納される。制御部１１は、このＲＡＭに格納されたカラー画像の各被検査部位に対し、それぞれ前記検査データファイル内の設定条件に基づき検査領域を設定し、その領域において、被検査部位の抽出、計測、判別の各処理を、順次実行する。
【００２９】
基板上のすべての部品に対する判定処理が終了すると、制御部１１は、これらの判定結果をとりまとめて、基板の良、不良を判定する。この最終の判定結果や不良と判定された場合の不良部位に関する情報は、検査結果出力部１６に与えられた後、この検査結果出力部１６から図示しない外部装置に出力される。
【００３０】
上記の基板検査装置では、ＩＣやＱＦＰなどのリード部品を検査する際には、リード毎に検査領域を設定し、リードの先端部に曲がりや浮きがないかどうかなどを検査するようにしている。
【００３１】
図２は、カメラ２および照明装置４により基板７上のリード部品８を撮像している状態を、カメラ２や照明装置４の光源の配置関係とともに示す。なお、図中の８０は、リードであり、部品本体に装着される根元部８２と、基板７のランドにはんだ付けされる先端部８１と、これらを繋ぐ中間部８３とを有する。また９は、前記先端部８１とランドとを接続するはんだである。
前記照明装置４には、それぞれ赤色、緑色、青色の色彩光を発する３個の円環状光源４Ｒ，４Ｇ，４Ｂ（以下、「赤色光源４Ｒ」、「緑色光源４Ｇ」、「青色光源４Ｂ」という。）が、各中心部を位置合わせした状態で配備されている。また前記カメラ２は、照明装置４の上方位置に、光軸が各光源４Ｒ，４Ｇ，４Ｂの中心に合うようにして配備される。
【００３２】
赤色光源４Ｒは３個の光源の中で最も径が小さく、カメラ２に最も近い位置に配置される。青色光源４Ｂは３個の光源の中で最も径が大きく、基板７に最も近い位置に配置される。緑色光源４Ｇは光源４Ｒと光源４Ｂとの間に配置され、その径も光源４Ｒの径と光源４Ｂの径との間になるように設定される。
【００３３】
この構成により、赤、緑、青の各色彩光がそれぞれ異なる仰角方向から基板７に照射されるようになる。基板上の鏡面反射性の高い部位（はんだ付け部９、リード８０など）では、これらの色彩光が正反射するが、カメラ２に入射する反射光の種類は光が照射された位置の傾斜角度によって異なるものになる。
たとえばリード８０の場合、先端部８１や根元部８２では、上面がほぼ平坦であるため、主として、赤色光に対する反射光がカメラ２に入射する。また、中間部８３や先端部８１の端縁８１ａでは、傾斜が急になるため、主として、青色光に対する反射光が入射する。また平坦な面と急斜面との境界にあたる部分では、緑色光に対する反射光が入射する比率が高められる。
【００３４】
図３は、前記照明装置４による照明下で生成されたリード部品８の一部を撮像して得られたカラー画像１００を模式化したものである。便宜上、このカラー画像１００中の各部に図２と同じ符号を付す。また前記リード８０の各部８１，８２，８３を、それぞれ画像上で優勢になる色データに対応するパターン（図２の光源４Ｒ，４Ｇ，４Ｂに付したものに対応する。）により表している。ただし、緑色が顕著に表れる領域はきわめて小さいため、ここでは図示を省略している。
なお、９１は、図２に図示されていなかったランドの画像である。またはんだ付け部９には、Ｒが優勢な領域のほか、傾斜状態によってＧやＢが優勢な領域も出現するが、この実施例の抽出対象ではないため、Ｒ，Ｇ，Ｂに対応しない一律のパターンにより表している。
【００３５】
この実施例では、リード８０の先端部８１（以下、「リード先端部８１」という。）の状態を検査するために、各リード先端部８１毎に検査領域Ｒを設定し、それぞれの検査領域Ｒ内のカラー画像をグレイスケール画像に変換して２値化する。また２値化処理では、判別分析法を用いてしきい値を自動抽出するようにしている。
【００３６】
ここで、前記グレイスケール画像の生成方法について、詳細に説明する。
この実施例では、前記検査領域Ｒに含まれる各画素につき、それぞれ、その画素の色彩を表す色データＲ，Ｇ，Ｂ（以下、それぞれの色データを「赤色データＲ」、「緑色データＧ」、「青色データＢ」という。）を下記の（１）式にあてはめた演算を実行し、算出されたＩの値を濃度値とするグレイスケール画像を生成する。
Ｉ＝ＣＲ×Ｒ＋ＣＧ×Ｇ＋ＣＢ×Ｂ ・・・（１）
【００３７】
上記（１）式の係数ＣＲ，ＣＧ，ＣＢのうち、リード先端部８１の望ましい傾斜状態を表す色データの係数には正の値が設定され、それ以外の色データの係数に負の値が設定される。
前記図３に示したようにリード先端部８１では赤色データＲが優勢になるが、中間部８３や端縁８１ａとの境界に近い位置では緑色データＧの割合も大きくなる。この点を考慮して、この実施例では、赤色データＲに対する係数値ＣＲと、緑色データＧに対応する係数値ＣＧとに、正の値を設定するようにしている。
【００３８】
またこの実施例では、正の係数ＣＲ，ＣＧの比率を、望ましい傾斜状態のリード先端部８１の画像に表れるＲ，Ｇの比率に合わせている。この比率は、あらかじめ反射率が十分に高いリード先端部８１のカラー画像から抽出され、前記検査データファイルに格納される。
【００３９】
さらにこの実施例では、基板７の地の面（ランド９１などが形成されていない基板７の表面）のカラー画像（以下「背景画像」という。）に前記（１）式を適用したときに、Ｉの値が０になるように、各係数ＣＲ，ＣＧ，ＣＢの値を決定する。
【００４０】
以下、検査データファイルに登録された係数ＣＲ，ＣＧの比率が３：１であり、背景画像の画像データが、Ｒ＝４５，Ｇ＝６０，Ｂ＝４５（いずれも、８ビット構成のデータとする。）であるという前提の下で説明する。
【００４１】
まずＣＧ＝ａ（ａ＞０）とおいて、前記背景画像の画像データによる（１）式の演算結果を０にすること前提に、
３ａ×４５＋ａ×６０＋ＣＢ×４５＝０ ・・・（２） とする。
【００４２】
上記（２）式を整理すると、ＣＢ＝−４．３３ａ となる。
ここでＣＢが整数に近い値になるようにａ＝３とすると、ＣＲ＝９，ＣＧ＝３となる。またＣＢの小数点以下を繰り上げると、ＣＢ＝−１３となる。
【００４３】
上記の係数ＣＲ，ＣＧ，ＣＢによれば、リード先端部８１の表面の傾斜状態を表す赤色データＲおよび緑色データＧが強められる一方で、傾斜状態を表さない青色データＢは負の係数ＣＢによって弱められる。よって、カラー画像上のリード先端部８１では、（１）式の右辺中の正の値（ＣＲ×Ｒ＋ＣＧ×Ｇ）が大きくなる一方、負の値（ＣＢ×Ｂ）の絶対値は小さくなるから、濃度Ｉは高い値になると考えられる。
【００４４】
またパラジウムめっきが施されたリード８０など、反射率の低いリード８０では、カラー画像におけるリード先端部８１の赤色データＲや緑色データＧの値は低くなるが、上記（１）式によれば、ＲやＧの値が係数ＣＲ，ＣＧで強調されるので、濃度Ｉにある程度の値を確保することができる。
【００４５】
一方、基板の地の面の部分については、色彩に大きなばらつきがない限り、濃度Ｉは０に近い値を示すと考えられる。また前記中間部８３などの青色が優勢な急斜面では、ＲやＧの値が元々小さいので、正の係数ＣＲ，ＣＧによる重み付け後の値もさほど大きくならない。一方、Ｂについては、負の係数ＣＢによる重み付けによって、マイナス方向に大きくなるので、（１）式の演算結果は、０に近い値、もしくは負の値になると考えられる。なお、Ｉが負の値になった場合には、Ｉ＝０とみなされる。したがって、前記図３に示した検査領域Ｒによれば、リード先端部８１以外の部分のカラー画像は、ＲやＧの値が高いノイズが発生していない限り、０または０に近い値に変換されると考えられる。
【００４６】
このように、前記（１）式によるグレイスケール画像によれば、抽出対象のリード先端部８１の反射率が低い場合でも、リード先端部８１の画像とそれ以外の部分との間に有為な濃度差を設定することが可能になる。よって、このグレイスケール画像から双峰性の高い濃度ヒストグラムを作成することができるから、判別分析法を用いて２値化処理のためのしきい値を自動抽出し、精度の高い２値化処理を行うことが可能になる。
【００４７】
図４は、反射率が高いリード８０と、反射率が低いリード８０とについて、カラー画像における各色データＲ，Ｇ，Ｂの濃度分布と、グレイスケール画像上の濃度分布とを、グラフにしたものである。いずれのグラフも、リード先端部８１の長さ方向に沿う濃度分布を示すもので、縦軸は濃度（最大２５５階調）を、横軸は画素の位置を、それぞれ示す。
なお、グレイスケール画像の生成のための係数ＣＲ，ＣＧ，ＣＢについては、前出の具体例に基づき、ＣＲ＝９，ＣＧ＝３，ＣＢ＝−１３とし、演算の結果を正規化している。
【００４８】
グラフ１では、中央の広い領域で赤色データＲが他の色データＧ，Ｂより格段に優勢になり、その近傍位置にＧおよびＢのピークが現れている。また、Ｒの優勢な領域内の両端位置では、ＧがＢより大きな変化を示している。これらの現象は、リード先端部８１の傾斜状態を的確に反映しているといえる。
これらＲ，Ｇ，Ｂの値を反映して、Ｉの値はＲやＧの値が高い範囲で高くなり、その外側では、矢印ｆ１で示す部分を除き、ほぼ０になっている。
【００４９】
グラフ２でも、中央部でＲが優勢になり、その近傍にＧやＢのピークが出現しているが、グラフ１と比べると、いずれの色データのピークも低く、ばらつき度合いも小さくなっている。
しかし、Ｉの濃度分布には２つの大きなピークが現れている。またこれらのピークに挟まれた領域では、最低でも６０程度の値が確保されているのに対し、それ以外の部分では、矢印ｆ２で示す部分を除き、ほぼ０になっている。
【００５０】
なお、グラフ１，２の矢印ｆ１，ｆ２で示した部分は、Ｒの値が若干高くなったために生じたノイズであると考えられる。しかし、Ｉの値があまり高くならないグラフ２においても、ノイズ部分とリード先端部８１に対応する範囲との間には、かなりの差が認められるから、判別分析法のための濃度ヒストグラムにおいて、ノイズにおけるＩの値とリード先端部８のにおけるＩの値とが同じピークに含まれることはないと思われる。
【００５１】
つぎに、前記赤色データＲに対する係数ＣＲの値を変更した場合の影響について、検討する。
図５のグラフ３，４は、図４と同じカラー画像を処理する場合に、赤色データＲに対する係数ＣＲを９から８に変更して（その他の係数ＣＧ，ＣＢは同じ。）、グレイスケール画像の濃度Ｉを算出した例を示す。この例でも、反射率の高いリードについては、リード先端部８１に対応するＲやＢの大きな範囲でＩの値が高められている（グラフ３参照。）。
【００５２】
しかし、反射率の低いリードに対応するグラフ４では、リード先端部８１に対応するはずの中央部にＩの値が０まで落ち込む箇所が発生している。これは、Ｒ，Ｂ間の差が小さいため、正の係数ＣＲを小さくしたことによって、負の係数ＣＢによる減算量の影響が大きくなったためと考えられる。
【００５３】
図６のグラフ５，６は、図４と同じカラー画像を処理する場合に、赤色データＲに対する係数ＣＲを９から１０に変更して（その他の係数ＣＧ，ＣＢは同じ。）、グレイスケール画像の濃度Ｉを算出した例を示す。この例では、グラフ５，６とも、リード先端部８１に対応する部分のＩの値が高くなっているが、矢印ｆ１，ｆ２で示すノイズの値もグラフ１，２のものより大きくなっている。
【００５４】
上記図５，６によれば、係数ＣＲを調整する場合、値を下げる調整は好ましくないと考えられる。また値を上げる場合にも、背景部分のノイズが強調される点を考慮する必要がある。
【００５５】
なお、上記では、正の係数ＣＲ，ＣＧの比率を決定するために、反射率の高いリード先端部８１のカラー画像からＲ、Ｇの各色データを抽出するようにしたが、方法はこれに限定されるものではない。たとえば、前記反射率の高いリード先端部８１の画像からＲが最も強い領域の面積とＧが最も強い領域の面積とを計測し、その面積比に基づき係数ＣＲ，ＣＧの比率を決定してもよい。またＲの優勢な領域とＧの優勢な領域との比率をユーザーが経験的に知っている場合には、その知識に基づいて係数ＣＲ，ＣＧの比率を決定してもよい。
または、リード先端部８１の長さ、幅、傾斜角度などを計測し、それらの計測値と前記光源４Ｒ，４Ｇからの照明光の角度範囲とに基づき、リード先端部８１からカメラ２に入射するＲ，Ｇの反射光の比率を算出し、その比率に応じて係数ＣＲ，ＣＢの比率を定めてもよい。
【００５６】
図７は、上記基板検査装置が実行する処理の流れを示す。なお、ここでは、説明を簡単にするために、前記したリード先端部８１の検査に限定した流れを示す。
まず最初のＳＴ１（ＳＴは「ステップ」の略である。以下も同じ。）で、検査対象の基板７を基板ステージ３に搬入する。ＳＴ２では、基板７の地の面を撮像可能な領域にカメラ２の視野を合わせ、撮像を行う。これにより、前記した背景画像が生成される。
【００５７】
ＳＴ３では、前記背景画像からＲ，Ｇ，Ｂの値を抽出する。なお、この抽出処理は１つの画素に対して行ってもよいが、Ｒ，Ｇ，Ｂとも、複数の画素の値を抽出して、それらの平均値を求めるようにしてもよい。
つぎのＳＴ４では、前記検査データファイルから係数ＣＲ，ＣＧの比率を読み出し、この比率と前記ＳＴ３で抽出した背景画像のＲ，Ｇ，Ｂの値とを用いて係数ＣＲ，ＣＧ，ＣＢの値を決定する。この決定方法は、先に前記（２）式を用いた具体例により説明したとおりである。
【００５８】
この後、ＳＴ５では、前記基板ステージ３の位置を調整して、カメラ２の視野を検査対象のリード８０に合わせ、撮像を行う。これにより前記図２に示したようなカラー画像が生成される。
【００５９】
ＳＴ６では、前記ＳＴ５で生成されたカラー画像上に検査領域を設定する。
ＳＴ７では、検査領域内の画素毎に、設定した各係数を用いて（１）式を実行し、濃度Ｉを求める。さらに算出された濃度Ｉを処理対象の画素の座標に対応づけることにより、検査領域のグレイスケール画像を生成する。
【００６０】
ＳＴ８では、前記グレイスケール画像から濃度ヒストグラムを作成し、そのヒストグラムに現れる２つのピークの間の所定位置に対応する濃度Ｉをしきい値として設定する。
つぎのＳＴ９では、ＳＴ８で設定されたしきい値により前記グレイスケール画像を２値化する。これにより、リード先端部８１が抽出される。
【００６１】
ＳＴ１０では、抽出したリード先端部８１に対し、先端縁の位置や長さなどを計測する処理を行う。さらにその計測結果を所定の判定基準値と照合することにより、リード先端部８１の良否を判別する。なお、この判別結果は前記ＲＡＭに一次保存される。
【００６２】
以下、画像に含まれるすべての検査領域Ｒに対し、ＳＴ７〜１０の各ステップを実行する。またここには図示していないが、１つの部品を複数回に分けて撮像したり、検査対象部品が複数個ある場合には、各撮像対象領域にカメラ２を順に合わせて、撮像対象領域毎にＳＴ５〜１１の処理を実行する。
このようにして、基板７上のすべての検査領域Ｒに対する処理が終了すると、ＳＴ１１が「ＹＥＳ」となり、ＳＴ１２で検査結果を出力した後に、検査を終了する。
【００６３】
なお、図７の例では、検査対象の基板７毎に背景画像の生成処理（ＳＴ２）および係数の決定処理（ＳＴ３）を実行しているが、これに限らず、これらのステップを実行するのは最初の検査対象の基板７だけとし、この基板７について求めた係数値を以後の基板７にも適用するようにしてもよい。
【図面の簡単な説明】
【００６４】
【図１】この発明が適用された基板検査装置の構成を示すブロック図である。
【図２】リード部品の検査時の撮像状態をカメラと照明装置との配置関係とともに示す説明図である。
【図３】リード部品のカラー画像を模式的に示した図である。
【図４】カラー画像におけるＲ，Ｇ，Ｂおよびグレイスケール画像の濃度Ｉについて、リード先端部の長さ方向に沿う分布状態を示すグラフである。
【図５】図４と同様のカラー画像を対象に、Ｒに対する係数値を１つ小さくしてグレイスケール画像の濃度値Ｉを算出した結果を示すグラフである。
【図６】図４と同様のカラー画像を対象に、Ｒに対する係数値を１つ大きくしてグレイスケール画像の濃度値Ｉを算出した結果を示すグラフである。
【図７】検査時の処理の流れを示すフローチャートである。
【符号の説明】
【００６５】
１ コントローラ
２ カメラ
４ 照明装置
１１ 制御部
１５ メモリ
８１ リード先端部
１００ カラー画像
Ｒ，Ｇ，Ｂ 色データ
ＣＲ，ＣＧ，ＣＢ 係数
Ｉ グレイスケール画像の濃度値
【特許請求の範囲】
【請求項１】
所定の対象物を含むカラー画像から前記対象物を抽出する方法であって、
前記カラー画像を構成する複数の色データのうち、前記対象物の抽出に適した色データに正の値の係数を、その他の色データに負の値の係数をそれぞれ設定して、前記カラー画像に含まれる画素毎にこれらの係数により重み付けされた色データの総和を求める演算を実行し、各画素と前記演算で得た総和とを対応づけたグレイスケール画像を生成する第１のステップと、
前記第１のステップで生成されたグレイスケール画像を所定のしきい値により２値化することにより、前記対象物を抽出する第２のステップとを、
実行することを特徴とするカラー画像の処理方法。
【請求項２】
前記各色データに対する係数は、前記対象物の背景を構成する画素に対する前記演算の結果が０に近似する値になるように設定されている請求項１に記載されたカラー画像の処理方法。
【請求項３】
前記第２のステップでは、前記グレイスケール画像の濃度分布状態に基づいて前記２値化のためのしきい値を特定し、この特定されたしきい値により前記グレイスケール画像を２値化する請求項１に記載されたカラー画像の処理方法。
【請求項４】
所定の対象物を撮像して得られたカラー画像を入力する画像入力手段と、
前記カラー画像を構成する複数の色データのうち、前記対象物の抽出に適した色データに正の値の係数を、その他の色データに負の値の係数をそれぞれ設定して、前記画像入力手段により入力されたカラー画像中の所定の領域に含まれる画素毎に前記各係数により重み付けされた色データの総和を求める演算を実行する演算手段と、
前記所定の領域内の各画素と前記演算手段の演算で得た総和とを対応づけたグレイスケール画像を生成する画像生成手段と、
前記画像生成手段により生成されたグレイスケール画像の濃度分布状態に基づき、前記グレイスケール画像を２値化するためのしきい値を設定するしきい値設定手段と、
前記しきい値設定手段により設定されたしきい値により前記グレイスケール画像を２値化する２値化手段とを、具備するカラー画像処理装置。
【請求項１】
所定の対象物を含むカラー画像から前記対象物を抽出する方法であって、
前記カラー画像を構成する複数の色データのうち、前記対象物の抽出に適した色データに正の値の係数を、その他の色データに負の値の係数をそれぞれ設定して、前記カラー画像に含まれる画素毎にこれらの係数により重み付けされた色データの総和を求める演算を実行し、各画素と前記演算で得た総和とを対応づけたグレイスケール画像を生成する第１のステップと、
前記第１のステップで生成されたグレイスケール画像を所定のしきい値により２値化することにより、前記対象物を抽出する第２のステップとを、
実行することを特徴とするカラー画像の処理方法。
【請求項２】
前記各色データに対する係数は、前記対象物の背景を構成する画素に対する前記演算の結果が０に近似する値になるように設定されている請求項１に記載されたカラー画像の処理方法。
【請求項３】
前記第２のステップでは、前記グレイスケール画像の濃度分布状態に基づいて前記２値化のためのしきい値を特定し、この特定されたしきい値により前記グレイスケール画像を２値化する請求項１に記載されたカラー画像の処理方法。
【請求項４】
所定の対象物を撮像して得られたカラー画像を入力する画像入力手段と、
前記カラー画像を構成する複数の色データのうち、前記対象物の抽出に適した色データに正の値の係数を、その他の色データに負の値の係数をそれぞれ設定して、前記画像入力手段により入力されたカラー画像中の所定の領域に含まれる画素毎に前記各係数により重み付けされた色データの総和を求める演算を実行する演算手段と、
前記所定の領域内の各画素と前記演算手段の演算で得た総和とを対応づけたグレイスケール画像を生成する画像生成手段と、
前記画像生成手段により生成されたグレイスケール画像の濃度分布状態に基づき、前記グレイスケール画像を２値化するためのしきい値を設定するしきい値設定手段と、
前記しきい値設定手段により設定されたしきい値により前記グレイスケール画像を２値化する２値化手段とを、具備するカラー画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００７−２２６３３４（Ｐ２００７−２２６３３４Ａ）
【公開日】平成１９年９月６日（２００７．９．６）
【国際特許分類】
【出願番号】特願２００６−４４１９５（Ｐ２００６−４４１９５）
【出願日】平成１８年２月２１日（２００６．２．２１）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成１９年９月６日（２００７．９．６）
【国際特許分類】
【出願日】平成１８年２月２１日（２００６．２．２１）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]