説明

カラー画像を用いた測定方法および測定装置

【課題】測定対象部位の色彩に適した色補正処理により、測定処理の精度を向上する。
【解決手段】検査に先立ち、色補正データファイル101と検査データファイル102とを設定し、メモリ15内に格納する。色補正データファイル101内の補正係数テーブル104には、3つの基準色の組み合わせによるグループについて、それぞれそのグループに属する基準色の色彩データを用いて算出された補正係数が格納される。一方、検査データファイル102には、検査領域毎に、被検出色データおよびこの被検出色データが示す色彩に最も適合する基準色グループ(最適グループ)が登録される。検査の際には、検査領域毎に、登録された最適グループに対応する補正係数を補正係数テーブル104から読み出し、その補正係数により検査領域内のカラー画像の色彩を補正する。そして、補正後のカラー画像から被検出色データに対応する色彩を検出した後に、測定処理を実行する。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、複数種の測定対象部位が含まれる対象物を特定の撮像手段により撮像して得られたカラー画像を処理対象として、この処理対象のカラー画像から各測定対象部位を抽出して所定の測定処理を実行する方法、およびその方法を用いた測定装置に関する。
【背景技術】
【0002】
カラー画像を表示したり、画像処理を行う場合に、あらかじめカメラにより生成されたカラー画像上の色合いが実物の色彩を正しく反映するものになるように、校正処理(キャリブレーション)を実施することがある。たとえば、複数の基準色を含むカラーチャートを撮像して、画像上の各基準色に対応する色彩データ(たとえばR,G,Bの各階調)を測定し、これらの測定値をあらかじめ定めた値に調整するための補正係数を算出する。なお、カメラの分光特性や照明系の波長にばらつきがあるため、一般に、この校正処理は、測定装置毎に行われる。
【0003】
また、検査に複数のカメラが使用される場合には、各カメラで生成された画像間の色合いが同一になるように調整するのが望ましい。たとえば、下記の特許文献1では、複数のカラーセンサを用いてシート状物の色差を検査する装置において、白色板や所定の基準色が付された校正板を各カラーセンサに順に測定させて、センサ間の測定値が同一になるように調整している。
【0004】
【特許文献1】特許第2595927号 公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
部品実装基板や成型品などを検査する場合には、検査対象部位の色彩は、一般に、一意には定まらない。たとえば、部品実装基板上の部品の本体部の色彩は、部品の種類によって異なっており、成型品でも、部位によって色彩が異なる場合がある。したがって、これら色彩の異なる部位を個別に抽出して検査する場合には、それぞれの部位毎に、検出対象の色彩(以下、「被検出色」という。)を個別に設定するのが望ましい。
【0006】
一方、従来のカラー画像における色補正処理では、画像全体を一律の補正係数により調整するだけであり、画像に複数種の色彩が含まれる場合には、必ずしもすべての色彩が最適な状態に補正されるとは限らない。したがって、上記のように検査の対象部位によって色彩が異なる場合には、部位によっては、色補正が適切に行われない可能性があり、このために測定結果や検査結果の精度を確保できなくなる可能性がある。
【0007】
また基板や成型品などの検査を行う場合には、あらかじめ、検査対象部位毎に、検査領域の設定条件、前記被検出色、良否判定のための基準値などの検査用データを登録する必要がある。しかしながら、この登録処理作業には経験が必要となる上、熟練者であっても、多大な労力を要する。このため、近年の製造現場では、複数台の検査装置で同一の対象物を検査する場合に、1台の検査装置に設定された検査用データを他の検査装置にも登録できるようにすることが提案されている。
【0008】
装置間で同一の検査用データを使用するには、各装置で処理されるカラー画像の色調が統一されなければならない。
ここで前記したように、カメラや照明系の特性には、ばらつきがあるので、校正前の画像における色彩間の差も装置毎に異なるものになる。したがって一律の補正係数を用いたのでは、特定の色彩を統一することはできても、検出すべき複数の色彩をすべて統一するのは困難である。勿論、前出の特許文献1のように、各装置をオンライン接続し、装置間の通信によって画像間の色調を統一することができる場合もあるが、多くの装置は、オンライン接続されずに使用されており、自装置の画像の色調を相手方の画像に合わせる手段を備えていない。
したがって、たとえ装置毎に校正処理を行ったとしても、各装置間でカラー画像の色調を統一するのは困難であり、これが、各装置で同一の検査用データを使用する試みの妨げとなってしまう。
【0009】
この発明は、上記の問題点に着目してなされたもので、色彩の異なる複数の測定対象部位を含む画像を処理する場合に、測定対象部位毎にその部位の色彩に適した色補正処理を行うことにより、測定処理の精度を向上することを第1の目的とする。
【0010】
また、この発明では、測定対象部位の検出に用いられる被検出色について、複数の測定装置間で同じデータを使用することが可能になるような色補正処理を提供することを、第2の目的とする。
【課題を解決するための手段】
【0011】
この発明にかかる測定方法は、複数種の測定対象部位が含まれる対象物を特定の撮像手段により撮像して得られたカラー画像を処理対象として、前記カラー画像から各測定部位を検出して所定の測定処理を実行するもので、測定処理に先立ち実行される準備のステップと、本処理のステップとを含む。
なお、この測定処理の対象物としては、たとえば前記した部品実装基板や成型品などがあるが、これに限らず、印刷物、織物など、測定対象部位の色彩が一意に定まらない種々の対象物に適用してもよい。
【0012】
この発明にかかる第1の測定方法は、準備のステップにおいて、ステップAおよびステップBを実行した後に、前記複数種の測定部位につき、それぞれC,D,Eの各ステップを実行する。以下、各ステップについて説明する。
【0013】
ステップAでは、3色以上の基準色の組み合わせを複数組設定することが可能な数の基準色を前記撮像手段により撮像し、生成された画像上で各基準色に対応する色彩データを抽出する。
【0014】
「基準色」とは、後記する色補正処理のための補正係数の導出に使用される色彩であるが、色彩の種類や数は特に限定されるものではない。たとえば、白、黒、赤、緑、青、およびこれらの色彩の中間に位置する複数の色彩(シアン、マゼンタなど)を、基準色とすることができる。撮像の際には、たとえば、校正板などを用いて各基準色を個別に撮像しても良いし、カラーチャートを用いることにより、各基準色を同時に撮像しても良い。また、校正板やカラーチャートなどの専用部材に代えて、発光波長が安定している光源(たとえばLED)をR,G,Bの光毎に用意し、点灯する光源の選択や点灯時間の調整を行うことで生成された色彩光を白色板に照射する方法により、各基準色を生成してもよい。
各基準色に対応する色彩データは、たとえば、R,G,Bの各階調により構成される。ただし、これに限らず、たとえば、XYZ表示系、L表示系、HSV表示系などにかかるパラメータによる色彩データを設定してもよい。
【0015】
ステップBでは、前記ステップAの処理対象となった各基準色を用いて3色以上の基準色の組み合わせを複数組設定する。そして、設定された組毎に、その組に属する各基準色につき前記ステップAで抽出された色彩データと前記各基準色の適正な色彩データとを用いて、色補正のための補正係数を算出する。ここで「基準色の適正な色彩データ」とは、基準色の理想的な色彩を表す色彩データであり、上記した各種色体系における数値により表してもよい。
なお、各基準色の組の構成要素を3色以上としたのは、一般に、カラー画像上の色彩データは3種類のデータを組み合わせて構成され、補正係数が3×3の補正係数行列として表されるためである。この補正係数行列の9個の要素を求めるには、少なくとも3個の基準色が必要であるため、1組の基準色を3色以上としたのである。
【0016】
ステップCでは、測定対象部位の検出すべき色彩(被検出色)を示す被検出色データを設定する。ここで、「被検出色データ」は、前記色彩データと同様に、複数の色パラメータ(たとえばR,G,B)の組み合わせとして表されるが、必ずしも単一の色彩を表すデータに限定されるものではない。たとえば、色彩データの種毎に、上限値および下限値を設定する場合、上限値と下限値との間に含まれる各色彩データにより、複数の被検出色データが構成される。
なお、ステップCでは、測定対象部位のモデルの画像における色彩データを修正し、その修正後の色彩データを被検出色データとしても良いが、これに限定されるものではない。たとえば、測定対象部位の種毎にその部位の適正な色彩データを登録したライブラリが用意されている場合には、このライブラリから前記測定対象部位に対応する色彩データを読み出し、これを被検出色データとして設定しても良い。
【0017】
ステップDでは、前記ステップBでの基準色の組設定に用いられたすべての基準色を対象に、前記被検出色データへの類似度を求め、類似度が高いものから順に所定数の基準色を抽出する。
類似度として、たとえば、色相および彩度を軸にした空間やRGB空間など、各種の色彩がそれぞれ異なる点に位置づけられるような色空間において、前記被検出色データが表す色彩(被検出色)と各基準色との距離を求めることができる。または、各色彩を前記空間におけるベクトルとしてとらえ、被検出色データに対応するベクトルと各基準色に対応するベクトルとのなす角度を求めてもよい。
また、基準色の抽出では、前記基準色の組の構成数分の基準色を抽出するだけでも良いが、これを超える数の基準色を抽出してもよい。
【0018】
ステップEでは、ステップBで設定された基準色の組の中から前記ステップDでの基準色の抽出結果に適合する組を選択する。
組の選択処理では、抽出された基準色のうち、類似度の高いものから順に基準色の組の数分の基準色を抜き出し、これらの基準色を構成要素とする組を選択するのが望ましい。ただし、これらの基準色による組が設定されていない場合には、つぎに類似度の高い基準色を選択してもよい。
【0019】
上記のステップA〜Eによる準備のステップが終了すると、本処理のステップでは、各測定対象部位につき、それぞれ処理対象のカラー画像上の当該測定対象部位を含む領域内の色彩データまたは前記被検出色データを、前記ステップEで選択された基準色の組に対して前記ステップBで算出されている補正係数を用いて補正した後に、前記測定部位の抽出処理および測定処理を実行する。
【0020】
上記の測定方法によれば、準備のステップにおいて、測定対象部位毎に、その部位の被検出色に近い複数の基準色が選択され、これら選択された基準色により求められた補正係数が測定対象部位の色補正用の補正係数として設定される。よって本処理のステップでは、測定対象部位毎に、その部位の色彩に適合した補正係数を用いた色補正を行うことが可能になるので、各測定対象部位の抽出精度を向上することができ、もって、測定の精度を確保することができる。
【0021】
なお、本処理のステップでは、たとえば、前記補正係数を用いて、測定対象部位を含む領域内の色彩データを補正し、この補正後の色彩データに前記被検出色データを適用して、測定対象部位を抽出する。または、前記領域内の色彩データを補正せずに被検出色データを補正し、この補正後の被検出色データを用いて測定対象部位を抽出しても良い。
測定対象部位を含む領域内の色彩データを補正する場合には、その領域内の色合いが適切に補正されたカラー画像を取得することができるが、領域内の画像データに対し、各画素毎に補正を行う必要がある。一方、被検出色データを補正する場合には、被検出色データの補正のみで足りるので、前記領域内の画像データを補正する場合よりも処理時間を短縮することができる(つぎの第2の測定方法でも同様である。)。
また、測定対象部位を含む領域は、あらかじめ測定対象部位毎に位置や大きさが定められているのが望ましいが、これに限らず、カラー画像上の任意の領域またはカラー画像全体を補正の対象としてもよい。
【0022】
つぎに、この発明にかかる第2の測定方法では、準備のステップにおいて、前記と同様のステップA,Bを実行した後、複数種の測定対象部位につき、それぞれ当該測定対象部位の検出すべき色彩を示す被検出色データ、および前記ステップBで設定された基準色の組の中で前記被検出色データに最も適合する組を示すデータの入力を受け付けるステップFを実行する。
【0023】
ステップFで入力される被検出色データは、前出の第1の測定方法のステップCで設定されたものであるのが望ましい。また、この被検出色データに最も適合する組は、第1の測定方法のステップEで選択された組であるのが望ましい。
【0024】
さらに本処理のステップでは、前記ステップFで入力されたデータに基づき、前記複数種の測定対象部位につき、それぞれ処理対象のカラー画像上の当該測定対象部位を含む領域内の色彩データまたは前記被検出色データを、その被検出色データに最も適合する基準色の組に対して前記ステップBで算出されている補正係数を用いて補正した後に、前記測定対象部位の抽出処理および測定処理を実行する。
【0025】
第1の測定方法を実施した装置(以下、「第1の装置」という。)とは異なる装置(以下、「第2の装置」という。)において、第1の装置で設定した被検出色データをそのまま使用するには、第2の装置で生成されたカラー画像上の各測定対象部位の色彩を、第1の装置でされたのと同様に補正する必要がある。しかし、色補正用の補正係数は、カメラや照明等の特性によって異なるから、第1の装置と共通の補正係数を使用することはできず、第2の装置で補正係数を独自に求める必要がある。
上記第2の測定方法は、この課題に着目してなされたもので、独自にステップA,Bを実施することにより、基準色の組毎に色補正のための補正係数を求める一方で、各測定対象部位の被検出色データを設定する処理や、適切な補正係数に対応する基準色の組を選択する処理については、前記第1の測定方法のステップC,D,Eの処理結果を利用することが可能になる。
【0026】
これにより、各測定対象部位につき、それぞれ第1の装置がステップEで選択した基準色の組と同じ組に対応する補正係数を第2の装置で選択して、測定対象部位を含むカラー画像または被検出色データの補正を行うことができるので、補正後の測定対象部位の検出処理では、第2の装置でも、第1の装置で処理した場合と同様の結果を得ることが可能になる。よって、第2の装置でも、第1の装置で設定されたのと同じ被検出色データを用いて測定対象部位を抽出し、測定処理を行うことが可能になる。
【0027】
この発明にかかるカラー画像用の測定装置は、複数種の測定対象部位が含まれる対象物を特定の撮像手段により撮像して得られたカラー画像を処理対象として、そのカラー画像から各測定対象部位を検出して所定の測定処理を実行するものである。この装置には、前記撮像手段からのカラー画像を入力するための画像入力手段;3色以上の基準色を構成要素とする複数の組について、それぞれ色補正のための補正係数が登録された補正係数記憶手段;前記複数種の測定対象部位につき、それぞれその測定対象部位の検出すべき色彩を示す被検出色データが登録された被検出色記憶手段;前記複数種の測定対象部位につき、それぞれ前記補正係数記憶手段に登録されている基準色の組の中で当該測定対象部位の被検出色データに最も適合する組が登録された適合組記憶手段;前記複数種の測定対象部位毎に、前記適合組記憶手段に登録された基準色の組につき前記補正係数記憶手段に登録された補正係数を、当該測定対象部位の色補正用の補正係数に設定する補正係数設定手段;前記画像入力手段から測定処理対象のカラー画像が入力されたとき、前記複数種の測定対象部位につき、それぞれ前記カラー画像上の当該測定対象部位を含む領域内の色彩データまたは前記被検出色データを、前記補正係数設定手段により設定された補正係数により補正し、その補正後のデータを用いて前記各測定対象部位の抽出処理および測定処理を実行する本処理手段;の各手段を具備する。
【0028】
上記構成において、補正係数記憶手段には、あらかじめ、前記撮像手段を用いたステップA、およびステップBの処理を実行することにより求めた補正係数が登録される。なお、この場合のステップA,Bは、前記測定装置に限らず、その他の装置で実施してもよい。ただし、ステップAで使用される撮像手段は、測定装置が使用する撮像手段と同一のものであり、撮像の際の照明条件も、測定装置におけるのと同一にする必要がある。
【0029】
より好ましい態様の測定装置には、前記補正係数記憶手段への登録対象の基準色について、それぞれ前記撮像手段により生成された当該基準色の画像を前記画像入力手段を介して入力し、入力された画像から前記基準色に対応する色彩データを抽出する色彩データ抽出手段;前記補正係数記憶手段への登録対象の基準色の組毎に、その組に属する各基準色につき前記色彩データ抽出手段により抽出された色彩データと前記各基準色の適正な色彩データとを用いて補正係数を算出し、算出された補正係数を前記基準色の組に対応づけて前記補正係数記憶手段に登録する補正係数登録手段;の各手段が設けられる。これらの手段により、ステップA,Bを測定装置内で実施することが可能になる。
【0030】
上記の測定装置により前記第1の測定方法を実施する場合には、各測定対象部位の被検出色データの入力を受け付けて、入力された被検出色データを前記被検出色記憶手段に登録する被検出色登録手段;前記補正係数記憶手段に登録されているすべての基準色を対象として、前記測定対象部位毎に、当該測定対象部位の被検出色データが表す色彩への類似度を求め、類似度が高いものから順に所定数の基準色を抽出する抽出手段;前記測定対象部位毎に、前記補正係数記憶手段に登録されている基準色の組の中から当該測定対象部位に対する前記抽出手段の抽出結果に適合する組を選択し、その選択した組を前記適合組記憶手段に登録する適合組登録手段;の各手段がさらに設けられる。
【0031】
一方、上記の測定装置により前記第2の測定方法を実施する場合には、前記複数種の測定対象部位につき、それぞれ前記被検出色記憶手段に登録すべき被検出色データおよび適合組記憶手段に登録すべき基準色の組を示すデータの入力を受け付けて、これらのデータを各記憶手段に登録する登録処理手段が、さらに設けられる。
【発明の効果】
【0032】
この発明によれば、測定処理に先立ち、各測定対象部位毎にその色彩に適した補正係数を用いた色補正処理を実行するので、測定対象部位を精度良く抽出することが可能になり、もって、測定結果の精度を確保することが可能になる。
また、複数台の測定装置でそれぞれ色補正用の補正係数を独自に求める一方で、各測定対象部位に適した補正係数を選択するための指標(基準色の組)や被検出色データについては、1台の測定装置で設定された結果を他の測定装置でも利用できるようにしたから、装置毎にこれらの処理を行う必要がなくなり、測定前の準備に要する処理時間を大幅に短縮できる。また、各装置で同一の被検出色データを使用しても、補正後の測定対象部位の検出処理では、いずれの装置でも同様の検出結果を得ることができるから、装置間における測定処理結果のばらつきを少なくすることができる。
【発明を実施するための最良の形態】
【0033】
図1は、この発明が適用された基板検査装置の構成を示す。
この基板検査装置は、部品実装工程を経た基板を処理対象として、各部品が正しく搭載されているかどうかを検査するためのもので、コントローラ1、カメラ2、基板ステージ3、照明装置4、入力部5、モニタ6などにより構成される。
【0034】
前記カメラ2は、カラー静止画像を生成するもので、前記基板ステージ3の上方に撮像面を下方に向けた状態で配備される。基板ステージ3には、検査対象の基板を支持するテーブル(図示せず。)や、このテーブルをX方向(基板の長さ方向)およびY方向(基板の幅方向)に移動させるための移動機構(図示せず。)が含まれる。照明装置4は、検査対象の基板を照明するためのもので、この実施例では、赤、緑、青の各色彩のLED(図示せず。)をそれぞれリング状に配列した構成の装置が用いられる。
【0035】
前記コントローラ1には、コンピュータによる制御部11のほか、画像入力部12、XYステージ制御部13、照明制御部14、メモリ15、検査結果出力部16などが設けられる。
画像入力部12には、前記カメラ2に対するインターフェース回路やA/D変換回路が含まれる。XYステージ制御部13は、前記基板ステージ3の移動制御を行うものであり、照明制御部14は、前記照明装置4の各LEDの点灯・消灯動作を調整する。
【0036】
メモリ15には、検査にかかる一連の処理手順が記述されたプログラムのほか、図2に示すように、検査データファイル102および色補正用データファイル101が含まれている。
検査データファイル102には、部品毎に、検査領域の設定条件(領域の位置、大きさなど)、部品の被検出色データ、測定結果の適否判定のための判定基準値、および基準色の最適グループ(詳細については後記する。)などが格納される。一方、色補正用データファイル101には、基準色テーブル103および補正係数テーブル104の2種類のテーブルが設けられる。
【0037】
制御部11は、前記検査用のプログラムに基づき、前記基板ステージ3の位置を調整して、基板の所定範囲を前記カメラ2の視野に位置合わせする。さらに照明装置4の光量を調整してカメラ2に撮像を行わせ、生成されたカラー画像を画像入力部12を介して取り込み、内部メモリ(RAM)に格納する。そして、この格納されたカラー画像(以下、「処理対象画像」という。)に対し、前記検査データファイル102内の検査データを用いて部品毎に検査領域を設定し、各領域において、部品の抽出処理、測定処理、および判定処理を、順次実行する。
【0038】
基板上のすべての部品に対する判定処理が終了すると、制御部11は、これらの判定結果をとりまとめて、基板の良、不良を判定する。この最終の判定結果や不良と判定された場合の不良部位に関する情報は、検査結果出力部16に与えられた後、この検査結果出力部16から図示しない外部装置に出力される。
【0039】
図3は、処理対象画像に対する検査領域の設定例を示す。なお、この例の処理対象画像200は、基板の一部分に対応するものである。
この実施例では、基板上の部品A1,A2,A3毎に、その部品全体が含まれるような検査領域R1,R2,R3・・・を設定している。また、検査領域R1,R2,R3・・・毎に、部品A1,A2,A3・・・の本体部の色彩に基づく被検出色データが定められている。
【0040】
検査の際には、部品A1,A2,A3・・・毎に、前記検査データファイル102に登録された設定条件に基づき検査領域R1,R2,R3・・・を設定するとともに、各部品A1,A2,A3・・・の被検出データを検査データファイル102から読み出す。そして、各検査領域R1,R2,R3・・・内の画像を前記被検出色データにより2値化して、部品A1,A2,A3・・・の本体部を検出する。さらに、検出された部品について、位置、面積、主軸の方向などを測定し、これらの測定値をそれぞれ判定基準値と比較することにより、正しい部品が正しく実装されているかどうかを判定する。
【0041】
さらに、この実施例の検査装置では、部品の検出処理を行う前に、検査領域R1,R2,R3・・・内の色彩を補正するようにしている。前記色補正用データファイル101内の2種類のテーブル103,104は、この補正処理に用いられるもので、検査データファイル102よりも前に登録される。また、検査データファイル102中の最適グループは、各検査領域に最適な補正係数を選択するための指標として用いられる。
以下、色補正用データファイル101内の各テーブル103,104および前記最適グループの具体的な内容および各データの設定方法について、順を追って説明する。
【0042】
(1)基準色テーブル103について
この実施例では、白、赤、緑、青、イエロー、マゼンタ、シアンの7色を基準色として、それぞれその基準色を構成するR,G,Bの各階調(以下、「R,G,B値」という。)の適正値の組み合わせを、あらかじめ基準色テーブル103に登録する(たとえば、色彩データを256階調で表す場合、白色について、R=200,G=200,B=200を登録し、赤色について、R=200、G=0,B=0を登録する。)。以下、基準色毎のR,G,B値の適正値の組み合わせを、その基準色の「適正データ」という。
さらに、この実施例では、前記7色の基準色について、前記カメラ2により実際に生成されたカラー画像からR,G,B値を測定し、その測定データを登録する。
【0043】
前記7色の基準色の測定データを取得する方法として、この実施例では、前記基板ステージ3に白色板(図示せず。)を設置するとともに、前記照明装置4を用いて各基準色の照明光(以下、「基準色光」という。)を順に生成して白色板に照射し、この照明下での白色板を前記カメラ2により撮像することによって、各基準色に対応したカラー画像を生成するようにしている。
なお、上記の測定データの取得に先立ち、この実施例では、照明装置の調整を行っている。単色のLEDは、発光波長が比較的安定しており、また駆動電流を一定に保つことにより、発光波長がさらに安定する。この実施例では、この特性を利用し、あらかじめ赤、緑、青の各LEDを同時に同じ時間だけ点灯したときに白色光が生成されるように各LEDの駆動電流を調整し、以下も、その調整された電流値を維持しながら選択されたLEDを点灯することによって、各基準色を安定して生成できるようにしている。
【0044】
図4は、各基準色の測定データの取得のために、各基準色光を生成して撮像する方法を具体的に示す。
この実施例では、カメラ2の露光の開始に合わせてLEDの点灯を開始するとともに、点灯するLEDの選択や点灯時間の調整によって、カメラ2の撮像対象の色彩を変化させるようにしている。
【0045】
白色の基準色光を生成する場合には、図4(1)に示すように、カメラ2の露光期間に合わせて赤、緑、青の各LEDを点灯させる。また、図4には示していないが、赤、緑、青の各基準色光を生成する場合には、その基準色に対応する色のLEDを、露光期間に合わせて点灯させればよい。
【0046】
イエロー、マゼンタ、シアンの各基準色光を生成する場合には、図4(2)に示すように、3種類のLEDのうちの2種類を選択して点灯させる。図4(2)では、イエローの生成例を示しているが、このほか、赤、青を選択すればマゼンタを生成することができ、青、緑を選択すればシアンを生成することができる。
なお、この実施例では使用しないが、イエロー、マゼンタ、シアン以外の中間色を基準色とする場合には、所定のLEDの点灯時間を露光期間より短くすることにより、その基準色光を生成することができる。たとえば、図5(3)の例では、赤および緑のLEDを選択し、赤の点灯期間を露光期間に合わせる一方で、緑の点灯期間を露光期間の半分に設定することにより、赤とイエローとの間の中間色(オレンジ)を生成している。
【0047】
この実施例のコントローラ1では、前記入力部5を介して基準色の選択を受け付けた後、前記カメラ2および照明装置4を駆動して選択された基準色光を順に生成し、撮像を行う。そして撮像の都度、生成されたカラー画像上のR,G,B値を測定し、その測定データを基準色テーブルの該当する基準色に対応づけて登録する。このような方法により、各基準色の測定データを効率良く取得することができる。また、校正板やカラーチャートを使用する必要がないので、その分、コストを低減することができる。
ただし、各基準色の測定データを取得する方法は上記に限らず、校正板やカラーチャートを使用する方法を採用してもよい。
【0048】
(2)補正係数テーブル104について
補正係数テーブル104には、3つの基準色の組み合わせによるグループが複数設定されるとともに、これらのグループ毎に、それぞれ色補正処理のための補正係数の行列(以下、補正係数行列」という。)が格納される。
【0049】
図5は、この補正係数テーブル104のデータ構成の一部である。図中、G1,G2,G3・・・は、各グループの識別記号である。以下、これらのグループG1,G2,G3・・・を、「基準色グループ」という。
Q1,Q2,Q3・・・は、処理対象画像上のR,G,B値を適正な値に補正するための補正係数により構成される行列である。以下、これらの行列Q1,Q2,Q3・・を「補正係数行列」という。
【0050】
この実施例では、前記基準色テーブル103への基準色の測定データの登録が終了すると、登録があった各基準色を3つずつ組み合わせることによって、基準色グループを自動的に設定する。この実施例では、基準色を7色設定しているので、すなわち35組の基準色グループが設定されることになる。
ついで、設定された基準グループ毎に、そのグループに属する基準色のデータを用いて、下記(1)式の補正係数a,b,c,d,e,f,g,h,iを算出する。前記補正係数行列Q1,Q2,Q3・・・は、これらの補正係数により構成される。
【0051】
【数1】

【0052】
(1)式は、所定の基準色について、測定データ(R1,G1,B1)と適正データ(R0,G0,B0)との関係を示すものである。
補正係数を求める処理では、前記基準色グループに属する3つの基準色の測定データおよび適正データを上記(1)式にあてはめ、これらを連立させて、各係数a,b,c,d,e,f,g,h,iを求める。
【0053】
たとえば、白、赤、イエローの3色による基準色グループについて、白の適正データが(200,200,200)に、赤の適正データが(200,0,0)に、イエローの適正データが(200,200,0)に、それぞれ設定されており、白の測定データが(200,200,200)、赤の測定データが(200,10,0)、イエローの測定データが(200,190,0)であった場合、それぞれの基準色毎に、その適正データを(R0,G0,B0)とし、測定データを(R1,G1,B1)として(1)式を設定する。ここで設定された各式を連立させて解くと、a=1、b=0、c=0、d=−0.0556、e=1.111、f=−0.0555、g=0、h=0、i=1となる。
【0054】
上記の補正係数テーブル104によれば、基準色グループ毎に、そのグループに属する基準色やその基準色に近い色彩の補正に適した補正係数を設定することができる。前記検査データファイル102内の最適グループは、図6に示すように、個々の検査領域R1,R2,R3毎に、その検査領域内の部品の被検出色に最も適合する基準色グループを示したものである。
【0055】
最適グループを選択するには、まず、補正係数テーブル104に登録されたすべての基準色について、被検出色との類似度を求め、類似度が最も高いものから順に3個の基準色を選択する。そして、この選択された3色を構成要素とするグループを、被検出色に最も適合するグループ、すなわち最適グループとして特定する。
【0056】
図7は、上記の選択処理の具体例を示す。類似度として、図7(1)では、色相および彩度を軸とする色彩空間における距離を求め、図7(2)では、R,G,Bの3軸による色彩空間における距離を求めている。いずれの空間においても、点Cが被検出色に対応しており、この点Cに対する距離が短いほど、被検出色に対する類似度が高くなる。
図7(1)の色彩空間を使用する場合には、あらかじめ、前記7色の基準色について、それぞれその適正データを前記色彩空間における座標に変換し、登録しておく。また被検出色についても、その被検出色データから前記C点の座標を求め、各基準色の登録された座標と前記C点との距離を算出する。
図7(2)の色彩空間を使用する場合には、各基準色を、それぞれ前記適正データのR,G,B値に基づく座標にプロットするとともに、被検出色データのR,G,B値に基づく座標に前記C点を定め、各基準色の座標と前記C点との距離を算出する。
【0057】
図7(1)(2)では、赤とイエローとの間にある所定の色彩を被検出色として、点Cの位置を表している。各基準色の中から、点Cとの距離が短いものから順に3色を選択すると、いずれの色彩空間でも、赤、イエロー、白が選択される。よって、図5に示した基準色グループのうちのグループG5が、前記点Cが表す被検出色に対応する最適グループとして特定されることになる。
なお、類似度を求める際の色彩空間は、図7に示した2種類に限らず、各種の色彩が異なる位置にプロットされるように設定された他の色彩空間であってもよい。
【0058】
この実施例では、すべての検査領域について、上記の方法により被検出色に最も適合する基準色グループを選択して、これを最適グループとして設定する。そして、検査の際には、検査領域毎に、前記補正係数テーブルから前記最適グループに対応する補正係数行列を読み出して、この行列内の各補正係数a〜iをあてはめた前記(1)式を実行することによって、検査領域内の各画素の色彩データ(R,G,B値)を補正する。
たとえば、前記図5,6の例において、検査領域R3の色彩データを補正する場合には、この領域R3の最適グループG5に対応する補正係数行列Q5を用いて(1)式を実行することになる。また、この演算では、補正対象のR,G,B値を(1)式のR1,G1,B1にあてはめてR0,G0,B0を算出し、このR0,G0,B0を補正後のR,G,B値とする。
【0059】
上記の方法によれば、検査領域毎に、その領域に対応する被検出色に最も近い基準色の組み合わせにより設定された補正係数行列を用いて前記領域内の色彩データを補正するから、検査領域内の部品の色彩を、最適な条件で補正することが可能になり、部品の画像を精度良く抽出できる。
【0060】
なお、この実施例では、特定のR,G,B値の組み合わせにより示される色彩を被検出色としたが、実際の処理においては、R,G,B毎に上限値および下限値を設定し、これらの値の範囲に含まれるR,G,B値の組み合わせによる複数の色彩を被検出色とする場合がある。このような場合には、たとえば、R,G,B毎に前記上限値から下限値までの範囲の間で所定の代表値を求め、代表値が表す色彩について前記図7に示した処理を行って、最適グループを求め、この最適グループに対応する補正係数行列により検査領域内の色彩データを補正してもよい。ある程度の幅をもたせて被検出色を設定した場合でも、通常は、同系色の色彩の範囲で設定されるので、代表値に基づいて最適グループを求めても、特段の問題は生じないからである。
【0061】
図8は、上記構成の検査装置におけるティーチング処理の流れを示す。
このティーチング処理は、部品の実装状態が良好な良品基板を用いて行われる。まず最初のST1(STは「ステップ」の略である。以下も同じ。)では、前記基板ステージ3に良品基板を搬入し、カメラ2により撮像を行う。この撮像により生成された良品基板のカラー画像は、前記モニタ6に表示される。以下、この画像に含まれる各部品につき、ST2〜8の処理が順に実行される。
【0062】
ST2では、前記部品に対する検査領域の設定が行われる。この実施例では、画像上の2点を指定する操作を受け付け、指定された2点の座標を検査領域の左上および右下頂点に設定する。
【0063】
つぎにST3では、前記被検出色を仮設定する。この実施例では、前記検査領域内の1点(部品の色彩が現れている点)を指定する操作に応じてその指定された点のR,G,B値を読み出し、モニタ6の適所に表示した後、その表示に対するユーザーの調整作業を受け付ける。ここで調整後のR,G,B値が被検出色データとして仮設定される。
【0064】
ST4では、前記ST3で仮設定された被検出色データに対する最適グループを選択する。すなわち、前記図7に示した方法に基づき、各基準色との類似度を求めた後、類似度が大きいものから順に3個の基準色を抽出し、これらの基準色による基準色グループを最適グループとする。
【0065】
ST5では、前記補正係数テーブル104から前記最適グループに対応する補正係数行列を読み出し、この行列内の補正係数をあてはめた前記(1)式を用いて、処理中の検査領域内の色彩を補正する。さらに補正後の画像は、モニタ6に表示される。
ユーザーは、この表示画面により、補正後の色彩が実物の部品の色彩を反映しているかどうかを確認する。ここで補正後の色彩が適正でないと判断した場合には、キャンセル操作が行われる。この場合には、ST6が「NO」となってST3に戻り、先に仮設定した被検出色データの修正が行われる。
【0066】
以下、ユーザーが、補正後の色彩が適正になったと判断して確定操作を行うまで、ST3〜5の処理が実行される。確定操作が行われると、ST6が「YES」となってST7に進み、その時点での被検出色データおよび最適グループが確定され、教示対象の検査領域に対応づけされる。
【0067】
ST8では、検査のための判定基準値の設定処理が行われる。この実施例では、前記確定された最適グループに対応する補正係数により補正された画像を前記被検出色データにより2値化して部品を抽出し、位置、面積、主軸の方向などを測定する。そして、これらの測定値をモニタ6に表示して、良品と判定する値の上限値および下限値をユーザーに指定させる。
【0068】
全ての部品に対し、上記の流れによる処理が実行されると、ST9が「YES」となってST10に進み、上記の各ステップで設定されたデータをとりまとめた検査データファイル102を作成し、メモリ15に登録した後にティーチング処理を終了する。
【0069】
なお、図8には示していないが、基板の撮像は、複数回行われる場合がある。この場合には、毎時の撮像時の基板ステージ3のX,Y座標なども、検査データファイル102に含められる。
【0070】
図9は、1枚の被検査基板に対する検査の流れを示す。
この処理に先立ち、制御部11は、前記メモリ15から被検査基板に対応する検査データファイル102を読み出して、RAM内にセットする。最初のステップであるST11では、前記被検査基板を基板ステージ3に搬入し、カメラ2により撮像する。
【0071】
つぎに、検査データファイル102から最初の部品にかかる検査データを読み出し、その中に含まれている検査領域の設定条件に基づき、検査領域を設定する。ST13では、検査領域内の色彩を、前記登録された最適グループに対応する補正係数により補正する。ST14では、補正後の画像を前記被検出色データを用いて2値化することにより、部品を検出する。ST15では、抽出された部品に対し、位置、面積、主軸の方向などを測定する。さらに、ST16でこれらの測定値を前記判定基準値と比較することにより、部品の実装状態の良否を判定する。
なお、ST14の部品検出処理は、2値化に限らず、たとえば被検査色に対する色差が所定値以内の画素を抽出するようにしてもよい。
【0072】
以下、検査領域毎にST12〜16の処理を実行する。すべての検査領域に対する処理が終了すると、ST17が「YES」となってST18に進み、前記判定結果を出力し、検査を終了する。
【0073】
上記図8,9の処理によれば、検査対象の部品毎に、その部品の色彩に適した補正係数を用いた色補正処理が行われるので、画像全体を一律の補正係数により補正する場合よりも、補正の精度を高めることができる。よって、部品の検出処理やその後の測定処理を安定して行うことができ、検査の精度を確保することができる。
【0074】
なお、上記図9に示した検査の手順では、検査領域内の画像の色彩を前記補正係数行列を用いて補正してから被検出色による2値化処理を行ったが、これに代えて、検査領域内の画像を補正せずに、前記補正係数行列の逆行列を用いて被検出色を補正し、補正された被検出色を用いて前記検査領域内の画像を2値化してもよい。
検査領域内の画像を補正する場合には、検査領域内の全ての画素に対する補正が必要であるため、多数回の補正を行わなければならないが、被検出色を補正する場合には、画素毎の補正は必要ないので、処理を高速化することができる。ただし、被検出色の方を補正する場合には、被検査基板の画像を実物の色彩どおりに表示できないというデメリットがある。
【0075】
ところで、上記の検査装置では、カメラ2として、3つのCCDにそれぞれR,G,Bに対応する波長域の光を入射させる構成のカラーカメラを使用しているが、同種のカメラであっても、分光特性にばらつきがある。たとえば、図10の例の場合、波長ηの光は、下段のカメラBではG用のCCDにしか入射しないのに対し、上段のカメラAでは、RのCCDにも入射している。すなわち、同じ波長ηの光が入射しても、カメラAに現れる色彩とカメラBに現れる色彩とは異なるものになる。
【0076】
また検査装置間においては、照明系の特性にもばらつきがある。
このようにカメラや照明系の特性にばらつきがあるため、従来では、検査装置によって、処理対象画像の色合いが異なり、1台の検査装置で設定された被検出色データを他の検査装置で使用するのは困難であった。このため、特定の検査装置で作成した検査データファイルを他の検査装置に移植しても、被検出色データについては再設定する必要があった。
【0077】
しかし、前記図2に示したデータ構成によれば、基準色テーブル103および補正係数テーブル104を装置毎に独自に設定することにより、検査データファイル102については、特定の検査装置で作成されたものをそのまま移植することが可能になる。このようにした場合でも、各検査領域について、それぞれ前記最適グループに基づき、当該検査領域内の部品の色彩に最も適した補正係数が補正係数テーブル104から読み出され、色補正処理が行われる。しかもここで読み出される補正係数は、自装置での基準色の測定結果に基づいて求められたものであるから、最も適切な色補正を行うことが可能になり、部品の色彩を高い確度で再現することができる。
【0078】
よって、基準色の適正データを取得する処理、および基準色テーブル103ならびに補正係数テーブル104の作成処理を行えば、他の検査装置で作成された検査データファイル102をメモリ15に取り込んで使用することが可能になる。したがって、カメラや照明系の特性にばらつきがあっても、検査装置毎に被検出色データを設定する必要がなくなり、検査前の設定処理にかかる手間を大幅に削減することが可能になる。
【0079】
なお、検査データファイル102の装置内への取り込みは、CD−ROM等の記憶媒体に格納されたデータファイルを図示しないディスクドライブを用いて読み出す方法や、通信回線を介してダウンロードするなどの方法により行うことができる。また、このように検査データファイルを外部から取り込む場合には、検査データファイル102は、必ずしも検査装置で作成する必要はない。
【0080】
また、前記基準色の最適グループが含まれていない検査データファイルを取り込むことも可能である。ただし、この場合には、検査データファイルを取り込んだ後に、そのファイルに格納された各検査領域の被検出色と自装置に登録された基準色テーブル103を用いて、前記図7に示した方法により最適グループを求め、登録する必要がある。
【0081】
また、上記の実施例は、部品実装基板を処理対象とするものであるが、基板以外でも、各検査対象部位の色彩が一意に定まらないような対象物であれば、上記実施例と同様の方法による検査を行うことができる。
さらに、上記の実施例の処理対象は、検査領域毎に被検出色を特定できるものであったが、包装紙や織物など、複数種の色彩が混在するような対象物について、各色彩を切り分けて判別したい場合もある。このような場合には、色彩毎に被検出色を設定するとともに、各被検出色の最適グループを求めておく。そして各被検出色を、それぞれ対応する最適グループの補正係数を用いて補正し、補正後の被検出色を処理対象画像に適用して各色彩を検出すればよい。
【図面の簡単な説明】
【0082】
【図1】この発明が適用された基板検査装置のブロック図である。
【図2】検査データファイルおよび色補正データファイルのデータ構成を示す説明図である。
【図3】処理対象画像に対する検査領域の設定例を示す説明図である。
【図4】基準色の生成および撮像方法を説明するタイミングチャートである。
【図5】補正係数テーブルのデータ構成例を示す説明図である。
【図6】検査領域と最適グループとの対応関係を示す説明図である。
【図7】最適グループの選択方法を示す説明図である。
【図8】ティーチング処理の流れを示すフローチャートである。
【図9】検査の流れを示すフローチャートである。
【図10】カメラの分光特性の差異を示す説明図である。
【符号の説明】
【0083】
1 コントローラ
2 カメラ
11 制御部
12 画像入力部
15 メモリ
102 検査データファイル
103 基準色テーブル
104 補正係数テーブル
200 処理対象画像
A1,A2,A3 部品
C 被検出色

【特許請求の範囲】
【請求項1】
複数種の測定対象部位が含まれる対象物を特定の撮像手段により撮像して得られたカラー画像を処理対象として、前記カラー画像から各測定対象部位を検出して所定の測定処理を実行する方法であって、測定処理に先立ち実行される準備のステップと、本処理のステップとを含み、
前記準備のステップでは、
3色以上の基準色の組み合わせを複数組設定することが可能な数の基準色を前記撮像手段により撮像し、生成された画像上で各基準色に対応する色彩データを抽出するステップA;
前記ステップAの処理対象となった各基準色を用いて3色以上の基準色の組み合わせを複数組設定し、これらの組毎に、その組に属する各基準色につき前記ステップAで抽出された色彩データと前記各基準色の適正な色彩データとを用いて、色補正のための補正係数を算出するステップB;の各ステップを実行した後、
前記複数種の測定対象部位につき、
検出すべき色彩を示す被検出色データを設定するステップC;
前記ステップBでの基準色の組設定に用いられたすべての基準色を対象に、前記被検出色データへの類似度を求め、類似度が高いものから順に所定数の基準色を抽出するステップD;
前記ステップBで設定された基準色の組の中から前記ステップDでの基準色の抽出結果に適合する組を選択するステップE;の各ステップを、それぞれ実行し、
前記本処理のステップでは、各測定対象部位につき、それぞれ前記処理対象のカラー画像上の当該測定対象部位を含む領域内の色彩データまたは前記被検出色データを、前記ステップEで選択された基準色の組に対して前記ステップBで算出されている補正係数を用いて補正した後に、前記測定対象部位の抽出処理および測定処理を実行することを特徴とする、カラー画像を用いた測定方法。
【請求項2】
複数種の測定対象部位が含まれる対象物を特定の撮像手段により撮像して得られたカラー画像を処理対象として、前記カラー画像から各測定対象部位を検出して所定の測定処理を実行する方法であって、測定処理に先立ち実行される準備のステップと、本処理のステップとを含み、
前記準備のステップでは、
3色以上の基準色の組み合わせを複数組設定することが可能な数の基準色を前記撮像手段により撮像し、生成された画像上で各基準色に対応する色彩データを抽出するステップA;
前記ステップAの処理対象となった各基準色を用いて3色以上の基準色の組み合わせを複数組設定し、これらの組毎に、その組に属する各基準色につき前記ステップAで抽出された色彩データと前記各基準色の適正な色彩データとを用いて、色補正のための補正係数を算出するステップB;の各ステップを実行した後、
前記複数種の測定対象部位につき、それぞれ当該測定対象部位の検出すべき色彩を示す被検出色データ、および前記ステップBで設定された基準色の組の中で前記被検出色データに最も適合する組を示すデータの入力を受け付けるステップFを実行し、
前記本処理のステップでは、前記ステップFで入力されたデータに基づき、前記複数種の測定対象部位につき、それぞれ処理対象のカラー画像上の当該測定対象部位を含む領域内の色彩データまたは前記被検出色データを、その被検出色データに最も適合する基準色の組に対して前記ステップBで算出されている補正係数を用いて補正した後に、前記測定対象部位の抽出処理および測定処理を実行することを特徴とする、カラー画像を用いた測定方法。
【請求項3】
複数種の測定対象部位が含まれる対象物を特定の撮像手段により撮像して得られたカラー画像を処理対象として、そのカラー画像から各測定対象部位を検出して所定の測定処理を実行する装置であって、
前記撮像手段からのカラー画像を入力するための画像入力手段と、
3色以上の基準色を構成要素とする複数の組について、それぞれ色補正のための補正係数が登録された補正係数記憶手段と、
前記複数種の測定対象部位につき、それぞれその測定対象部位の検出すべき色彩を示す被検出色データが登録された被検出色記憶手段と、
前記複数種の測定対象部位につき、それぞれ前記補正係数記憶手段に登録されている基準色の組の中で当該測定対象部位の被検出色データに最も適合する組が登録された適合組記憶手段と、
前記複数種の測定対象部位毎に、前記適合組記憶手段に登録された基準色の組につき前記補正係数記憶手段に登録された補正係数を、当該測定対象部位の色補正用の補正係数に設定する補正係数設定手段と、
前記画像入力手段から測定処理対象のカラー画像が入力されたとき、前記複数種の測定対象部位につき、それぞれ前記カラー画像上の当該測定対象部位を含む領域内の色彩データまたは前記被検出色データを、前記補正係数設定手段により設定された補正係数により補正し、その補正後のデータを用いて前記各測定対象部位の抽出処理および測定処理を実行する本処理手段とを、具備するカラー画像用の測定装置。
【請求項4】
請求項3に記載された測定装置において、
前記補正係数記憶手段に登録されるすべての基準色について、それぞれ前記撮像手段により生成された当該基準色の画像を前記画像入力手段を介して入力し、入力された画像から前記基準色に対応する色彩データを抽出する色彩データ抽出手段と、
前記補正係数記憶手段への登録対象の基準色の組毎に、その組に属する各基準色につき前記色彩データ抽出手段により抽出された色彩データと前記各基準色の適正な色彩データとを用いて補正係数を算出し、算出された補正係数を前記基準色の組に対応づけて前記補正係数記憶手段に登録する補正係数登録手段とを、さらに具備するカラー画像用の測定装置。
【請求項5】
請求項3または4に記載された測定装置において、
各測定対象部位の被検出色データの入力を受け付けて、入力された被検出色データを前記被検出色記憶手段に登録する被検出色登録手段と、
前記補正係数記憶手段に登録されているすべての基準色を対象として、前記測定対象部位毎に、当該測定対象部位の被検出色データが表す色彩への類似度を求め、類似度が高いものから順に所定数の基準色を抽出する抽出手段と、
前記測定対象部位毎に、前記補正係数記憶手段に登録されている基準色の組の中から当該測定対象部位に対する前記抽出手段の抽出結果に適合する組を選択し、その選択した組を前記適合組記憶手段に登録する適合組登録手段とを、さらに具備するカラー画像用の測定装置。
【請求項6】
請求項3または4に記載された測定装置において、
前記複数種の測定対象部位につき、それぞれ前記被検出色記憶手段に登録すべき被検出色データおよび適合組記憶手段に登録すべき基準色の組を示すデータの入力を受け付けて、これらのデータを各記憶手段に登録する登録処理手段を、さらに具備するカラー画像用の測定装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2007−188128(P2007−188128A)
【公開日】平成19年7月26日(2007.7.26)
【国際特許分類】
【出願番号】特願2006−3308(P2006−3308)
【出願日】平成18年1月11日(2006.1.11)
【出願人】(000002945)オムロン株式会社 (3,542)
【Fターム(参考)】