データ設定装置
【課題】
検査対象箇所の表面色をいくつかの構成色に分離し、それぞれの構成色の統計量及び構成色間の色の類似度を算出して、最適な検査データの設定を行うことのできる画像認識装置のデータ設定装置を提供する。
【解決手段】
認識用対象物の認識用画像を設定データに基づき画像認識する画像認識装置の設定データを設定するデータ設定装置において、認識対象物が撮像された認識用画像内の認識領域を指定する認識画像入力部と、認識領域内の画像に基づいて記認識対象物の構成色の位置を抽出し、当該構成色に関する色のバラツキを示す統計量を算出する構成色処理部と、統計量に基づいて認識対象物の抽出色範囲を決定する検査データ決定部とを具備し、構成色処理部は、構成色に含まれる各画素の色空間における各次元の値に基づいてバラツキを示す統計量を算出する構成色統計量算出部を具備して構成する。
検査対象箇所の表面色をいくつかの構成色に分離し、それぞれの構成色の統計量及び構成色間の色の類似度を算出して、最適な検査データの設定を行うことのできる画像認識装置のデータ設定装置を提供する。
【解決手段】
認識用対象物の認識用画像を設定データに基づき画像認識する画像認識装置の設定データを設定するデータ設定装置において、認識対象物が撮像された認識用画像内の認識領域を指定する認識画像入力部と、認識領域内の画像に基づいて記認識対象物の構成色の位置を抽出し、当該構成色に関する色のバラツキを示す統計量を算出する構成色処理部と、統計量に基づいて認識対象物の抽出色範囲を決定する検査データ決定部とを具備し、構成色処理部は、構成色に含まれる各画素の色空間における各次元の値に基づいてバラツキを示す統計量を算出する構成色統計量算出部を具備して構成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識装置のデータ設定装置及びデータ設定方法に関する。特に、対象物の認識用画像を撮像し、画像中の特定位置に撮像される対象物のもつべき色の範囲（抽出色）を指定し、対象物の抽出及び認識を行う画像認識装置の認識用データを作成するための技術に関する。
【背景技術】
【０００２】
外観検査機は、検査対象物の検査画像を撮像し、検査データ（抽出色範囲、基準値）を用いて、良否判定を行う装置である。一般的に、光学式の外観検査機は、検査対象物に対して白色色を照射し、特定の角度から撮像することにより検査画像を取得する。その後、検査画像に対して、検査対象箇所が適正色で撮像されているか否かを検査することによって、外観検査を行っている。プリント基板の外観検査では、基板を上部から撮像し、部品実装位置に検査対象部品の表面色が撮像されているのかを検査している。これにより部品の未実装や誤実装といった不良を検出することが可能となる。
【０００３】
外観検査機の使用にあたり、検査画像内の「検査対象箇所の指定」、「抽出色範囲」、「基準値（閾値）」を検査データとして設定する必要がある。「適正色範囲」とは、検査対象物の表面色の色範囲をいう。色範囲とは、検査画像の色空間の各次元に対する上限値及び下限値である。通常、色空間は、赤、緑、青のＲＧＢにより表される。基準値とは、色範囲に該当する画素の面積（抽出面積）に対するものあり、例えば、「検査対象箇所の指定」により特定される検査対象範囲に占める抽出面積の割合の下限値をいう。
【０００４】
上記の検査データの設定において、問題となるのは、製造上のバラツキによって生じる検査対象物の表面色のバラツキである。この色のバラツキは、見た目の上で同一色であった場合においても、同一色内でバラツキがある。また、同一の検査対象物であっても、サンプル間において、バラツキがある。従って、このバラツキの範囲に合わせて抽出色の範囲を設定しなくてはならない。
【０００５】
なぜなら、抽出色の範囲が狭い場合、良品を不良品として判断してしまう「見過ぎ」となり、範囲が広すぎる場合、不良品を良品として判断してしまう「見逃し」の原因となる。また、基準値の設定においても、同様に閾値が高すぎる場合は、「見過ぎ」、低すぎる場合は、「見逃し」の原因となる。「見過ぎ」は後工程の目視検査等の工数増加を引き起こし、「見逃し」は検査品質を低下させ、後工程の電気試験等で不良と判断された原因の特定の工数増加を引き起こす。それ故、検査データの設定は一般的な問題点となる。
【０００６】
認識対象物を他の物と識別するための閾値の設定に関する公知技術としては、特許文献１に記載された発明がある。特許文献１では、カラー視覚センサの認識対象物の色を指定したとき、その色の確信度と面積の特性線及び他の色の特性線を表示し、指定された色により識別対象物が識別可能なように指定された色の閾値を容易に設定可能とすることを開示している。
【０００７】
また、３次元形状データ処理に関する公知技術として、特許文献２に記載された発明がある。特許文献２では、顔面模型を作成する際に必要とされる模型用顔領域をカラー画像の肌の色の統計処理結果を判断基準として、カラー画像全体から肌の色に近い色を有する領域のみを抽出することにより自動的に行うことができる３次元形状データ処理装置を開示している。
【特許文献１】特開平７−４４７０６号公報
【特許文献２】特開２０００−７６４５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来の画像認識装置のデータ設定装置では次の問題点があった。検査対象物の表面色は数種類の色（構成色）で構成され、それぞれの構成色は異なるバラツキを持っている。そのため、全体の表面色の分布は各構成色のバラツキが足し合わされ、複雑なバラツキとなる。これは、抽出色範囲の最適化するのに必要な表面色のバラツキ傾向を知ることを困難にさせている。しかし、表面色の各構成色単位でバラツキが分析可能な場合、表面色のバラツキ傾向を容易に知ることができる。
【０００９】
また、検査データ設定において、全ての構成色を含むような範囲を抽出色範囲として設定することはできない。ある検査対象物Ａの少ない面積の構成色と、他の検査対象物Ｂの主要な構成色が同一の色の場合がある。この場合、ある検査対象物Ａの抽出範囲内にその構成色を含めると、その検査対象物Ａではなく、他の検査対象物Ｂが搭載された場合でも、検査時に良品と判断されてしまうからである。即ち、検査データ設定時には、各構成色のバラツキだけでなく、その他の検査対象物の構成色との関係（類度度）を考慮しなければならない。
【００１０】
また、特許文献１では、認識対象物の構成色を分析し、認識対象画像のサンプル間のバラツキに基づいてその構成色のバラツキを求めるものでないために上記課題を解決することはできない。特許文献２は、顔という予め決められた色を統計処理結果を用いて抽出することはできるが、顔以外の部品等の構成色を抽出して、その構成色のサンプル間のバラツキを求めるものでないために上記課題を解決することはできない。
【００１１】
本発明は、上記問題点を鑑みてなれたものであり、検査対象箇所の表面色をいくつかの構成色に分離し、それぞれの構成色の統計量及び構成色間の色の類似度を算出して、最適な検査データの設定を行うことのできる画像認識装置のデータ設定装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明によれば、認識用対象物の認識用画像を設定データに基づき画像認識する画像認識装置の前記設定データを設定するデータ設定装置において、認識対象物が撮像された認識用画像内の認識領域を指定する認識画像入力部と、前記認識領域内の画像に基づいて前記認識対象物の構成色の位置を抽出し、当該構成色に関する色のバラツキを示す統計量を算出する構成色処理部と、前記統計量に基づいて前記認識対象物の抽出色範囲を決定する検査データ決定部とを具備し、前記構成色処理部は、前記構成色に含まれる各画素の色空間における各次元の値に基づいてとバラツキを示す統計量を算出する構成色統計量算出部を具備したことを特徴するデータ設定装置が提供される。
【発明の効果】
【００１３】
本発明によれば、検査対象物の表面色のバラツキを表すような数枚の検査画像を与えることにより、その表面色のバラツキの傾向を分析し、抽出色範囲の設定を得ることができる。また、他の検査対象物の抽出面積を確認しながら抽出する構成色の選択及び基準値の設定が可能となる。これによって、従来、長時間に渡って検査データの調整を行ってきたが、短時間での検査データの調整が可能となる。また、従来は、検査データの決定に際し、「見逃し」や「見過ぎ」のバランスを調整するための基準値設定及び抽出色の選択を、人が経験的に判断する必要があったが、本発明により、構成色の選択時又は基準値の設定時に「見逃し」及び「見過ぎ」の発生状況を確認しながら検査データを調整することが可能なため、検査データ作成のスキルレス化が実現される。
【発明を実施するための最良の形態】
【００１４】
図１は本発明の原理図である。図１に示すように、データ設定装置は、認識画像入力部２、構成色処理部４及び検査データ決定部６を有する。認識画像入力部２は、認識用対象物１０の認識用画像１２の認識領域１４を指定する。構成色処理部４は、認識領域１４内の画像に基づいて認識対象物１０の構成色を抽出し、当該構成色に関する色のバラツキを示す統計量を算出する。検査データ決定部６は、統計量に基づいて認識対象物の抽出色範囲を決定する。このように、認識対象物の抽出色範囲は統計量に基づくものであることから、最適な検査データの設定を行うことができる。
【００１５】
図２は本発明の実施形態による画像処理装置のデータ設定装置の構成図である。データ設定装置は、各認識対象物、例えば、基板上に実装される電子部品（抵抗、ＩＣ、コンデンサ等）について、その抽出色範囲を自動で設定するための装置であり、パソコンやワークステーション等のハードウェア上で実行されるプログラムによりデータ設定処理の各機能が実現される。図２に示すように、データ設定装置は、検査画像入力部５０、構成色処理部５２、構成色記憶部５４及び検査データ決定部５６を含む。検査画像入力部５０は、図示しないカメラにより撮像された認識対象画像及び認識対象物の認識領域である検査対象箇所を入力して、図示しないディスク等の記憶装置に記憶する。認識対象画像とは、認識対象物がカメラにより撮像された画像であって、１枚の画像に、認識対象物が１個又は複数個撮像されたものをいう。認識対象画像は、各画素毎に、色空間における各次元の値により表現される。例えば、ＲＧＢの色空間における、（Ｒ，Ｇ，Ｂ）の各次元の階調（２５６等）により表現される。検査対象箇所は、認識対象画像において認識対象物を含む領域であり、画像の位置座標の集合により特定される。
【００１６】
構成色処理部５２は、構成色分離手段６０、構成色統計量算出手段６２及びサンプル間構成色統計量算出手段６４を有する。図３は、図２中の構成色分離手段６０のフローチャートである。以下、図３を参照して、構成色分離手段６０の動作説明をする。ステップＳ２において、検査画像入力部５０より検査対象箇所における認識対象物の全画素を抽出する。ステップＳ４において、検査対象箇所における出現頻度の高い色μ（μ1，μ2，…，μN）を全ての検査対象箇所内の画素より検索する。出現頻度の高い色μとは、Ｎ次元の色で表される色空間において、最も出現する頻度の高い色を示している。このような高出現頻度色μは、ある構成色の平均の色であることが推測される。ステップＳ６において、高出現頻度色μとその類似色を検査対象箇所内の全画素から検索して、該当する画素の位置を記憶する。類似色とは、色空間において、高出現頻度色μと距離が近い色のことをいう。例えば、各次元が２５６階調で表現される場合、全ての次元において、μi±２０（ｉ＝１，…，Ｎ）の範囲内に該当する画素の位置を記憶する。これにより、高出現頻度色を平均値とするような構成色のおおよその位置を得ることができる。類似色を検索するのは、一般的に構成色は完全に単一の色ではなく、撮像環境や認識対象物の製造上により、バラツキが生じるからである。
【００１７】
ステップＳ８において、検索された各画素に対して、その画素と近傍画素の色の標準偏差を各次元で算出し、各画素に対して算出される標準偏差の全検索画素についての平均値σ（σ1，σ2，…，σN）を得る。近傍画素とは、例えば、検索された画素を中心画素として、周辺１画素（全８画素）を指している。各色構成色は各次元において、色分布が正規分布に従うため、その標準偏差値σ（σ1，σ2，…，σN）を用いることにより、構成色のバラツキの範囲を知ることができる。例えば、μ±３σの範囲では、構成色のおよそ９９％が検索される。
【００１８】
ステップＳ１０において、ステップＳ８で算出された構成色のバラツキ範囲（全ての次元においてμi±３σiの範囲）に該当する画素を検索する。構成色の周辺の画素から標準偏差を算出して構成色の位置を再検索するのは、各構成色の各次元において色のバラツキが異なるためである。
【００１９】
ステップＳ１２において、ノイズ除去を行う。これは、認識対象物の各構成色は、ある程度の同じ位置に固まっているという性質を利用したものである。まず、検索された画素について隣同士の画素は連結した成分とみなして一つの塊とする。各塊について、検索された全ての塊の面積の和に対するその面積が一体値以下（例えば、５％）の画素の塊は除去する。これにより、例えば、基板の色の類似する色が構成色に含まれているとき、認識対象箇所として基板の一部が含まれる場合には、基板の画素の塊が除去されることになる。また、逆に、検索された画素の塊の内部に存在するその塊の面積に対するその内部の面積が一定値以下の検索されない画素をその構成色の画素とする。
【００２０】
ステップＳ１４において、ステップＳ１０，１２で選択された画素の面積の検索対象箇所に対する面積比Ｓを算出する。以上の分析により、ステップＳ４で算出した高頻出色に対する構成色を取得できる。構成色の面積比Ｓは構成色情報記憶部５４に保存される。ステップＳ１６において、構成色面積比の総和が一定値（９５％）以上であるか否かを判断する。一定値以上であれば、分析を終了する。一定値未満であれば、ステップＳ１８に進む。ステップＳ１８において、取得済構成色の画素を除く検査対象画素を分析する。ステップＳ４〜Ｓ１４において、構成色として検索されなかった画素に対して行うことにより、他の主要な構成色とその位置を取得することができる。
【００２１】
構成色統計量算出手段６２は、構成色分離手段６０により得られた各構成色の画素から各構成色の平均値μ（μ1，μ2，…，μN）と各構成色の画素の標準偏差σ（σ1，σ2，…，σN）の統計量を算出して、構成色情報記憶部５４にこれらを記憶する。構成色処理部６０及び構成色統計量算出部６２は、検査画像入力部５０から入力される、同一認識対象物について、異なる認識対象画像（サンプル）の検査対象箇所に対して上記処理を行う。これにより、同一認識対象物について、複数のサンプルに対して、各構成色の平均値及び標準偏差が得られて、構成色情報記憶部５４にこれらが記憶されることになる。
【００２２】
サンプル間構成色統計量算出手段６４は、同一の検査対象物については、用意されたいくつかのサンプルについて、サンプル間の構成色のバラツキを算出する。各サンプルは、構成色分離手段６０及び構成色統計量算出手段６２より、上述したように、各構成色の平均値、標準偏差値及び面積比が算出されて、構成色情報記憶部５４に記憶されている。各サンプルの同じ構成色において、各次元におけるサンプルの構成色平均値の平均値（サンプル間平均値μS）、サンプルの構成色平均値の標準偏差（サンプル間標準偏差σS）、面積比の平均値（構成色平均面積比ＳM）及びサンプルの構成色の標準偏差の平均値（構成色標準偏差σM）を算出して、サンプル間平均値μS、サンプル間標準偏差σS、構成色平均面積比ＳM及び構成色標準偏差σMを構成色情報記憶部５４に保存する。
【００２３】
図４は、各統計量を示す図である。横軸に色強度（階調）、縦軸に度数（画素数）が表されている。ここでは、構成色のある一次元について示している。太字の曲線は、平均値がサンプル間平均値μS、標準偏差がサンプル間標準偏差σSである正規分布を示している。各構成色は、各サンプルについては、μを中心として一定範囲、例えば、μ±３σMの範囲でバラツキ、サンプル全体の平均値はサンプル間平均値μSを中心に一定範囲、例えば、μS±３σSの範囲でバラツクことを示している。尚、ここでは、各サンプルの構成色は正規分布と仮定していることから、各μ±３σMの範囲では、当該サンプルの構成色については、およそ９９％がこの範囲内にあることを意味する。また、μS±３σSの範囲では、サンプルの平均値のおよそ９９％がこの範囲内にあることを意味する。
【００２４】
構成色情報記憶部５４は、各検査対象物に対して、構成色分離部６０、構成色統計量算出部６２により得られた各サンプル単位のデータ（平均値μ、標準偏差σ、面積比Ｓ）及びサンプル間構成色統計量算出部６４で算出された、サンプル間平均値μS、サンプル間標準偏差σS、構成色平均面積比ＳM、構成色標準偏差σMを記憶する。
【００２５】
検査データ決定部５６は、抽出色範囲算出手段７０、抽出面積算出手段７２及び検査対象色選択手段７４を有する。抽出色範囲算出手段７０は、サンプル間構成色統計量算出手段６４により得られた統計量を利用して、抽出色の範囲を指定する。
【００２６】
図５は、抽出色範囲を示す図である。横軸は色強度、縦軸は度数を示している。抽出色範囲は構成色の各次元について指定されるが、図５はある一次元を示している。各構成色の各サンプルは、上述したように、例えば、μ±３σMの範囲でバラツク。サンプル全体では、サンプル平均値はμS±３σSの範囲でばらつく。よって、全体のバラツキはμS±（３σS±３σM）の範囲となる。従って、抽出色範囲は、下限値がμS−（３σS＋３σM）、上限値がμS＋（３σS＋３σM）となる。この範囲より抽出範囲が小さくなると、抽出面積が少なくなり「見過ぎ」が発生する可能性があり、この範囲より抽出範囲が大きくなると、抽出面積が大きくなり、他の検査対象物を抽出してしまい「見逃し」の原因となる。抽出面積算出手段７２は、任意の検査対象物に設定された各構成色の抽出色範囲に対して、他の検査対象物の各構成色の抽出面積比を算出するものである。
【００２７】
図６は、抽出面積算出手段７２のフローチャートである。ステップＳ１００において、検査対象物の任意に選択された１つの構成色αの抽出色範囲の中心を算出する。抽出色範囲が位置を算出する。構成色記憶部５４に記憶された構成色αのサンプル間平均値μSα、サンプル間標準偏差σSα、構成色標準偏差σMαであり、抽出色範囲が、上述したように［μSα−（３σSα＋３σMα），μSα＋（３σSα＋３σMα）］であるとき、抽出色範囲の中心値がサンプル間平均値μSαとなる。尚、抽出色範囲は任意の範囲とすることができる。ステップＳ１０２において、ステップＳ１００で選択された検査対象物と異なる任意に選択された他の検査対象物の１つの構成色βの構成色記憶部５４に記憶された、サンプル間平均値μSβ、サンプル間標準偏差σSβ、構成色標準偏差σMβを読み出し、色空間の各次元について、構成色αの抽出色範囲の中心値が構成色βの該当次元のサンプル間バラツキμSβ±３σSβの範囲内にあるか否かを判断する。サンプル間バラツキの範囲内にある場合は、ステップＳ１０４に進む。サンプル間バラツキの範囲外である場合は、ステップＳ１０６に進む。
【００２８】
図７は、抽出色中心値がサンプル間バラツキ内にある場合の抽出面積の上限値と下限値の算出方法を示す図である。ステップＳ１０４において、図７に示すように、構成色βの平均値Ａが抽出色範囲の中心に一致するようなサンプルの平均値及び標準偏差より求められるサンプルの正規分布と抽出色範囲とで囲まれる斜線で示す部分の面積が最大となることから、この面積のこのサンプルの正規分布全体の面積に対する抽出面積比（例えば、８０％）を算出し、これを最大（上限）とする。
【００２９】
図８は、抽出色中心値がサンプル間バラツキ外にある場合の抽出面積の上限値と下限値の算出方法を示す図である。ステップＳ１０６において、構成色βの平均値が抽出色範囲の中心に最も近接するようなサンプル、例えば、図８に示すように該当次元についての平均値がＡである当該サンプルの当該平均値及び標準偏差より求められるサンプルの正規分布と抽出色範囲とで囲まれる斜線で示す部分の面積が最大となることから、この面積のこのサンプルの正規分布全体の面積に対する抽出面積比（例えば、４５％）を算出し、これを最大（上限）とする。
【００３０】
ステップＳ１０８において、図７，図８に示すように、抽出色中心値がサンプル間バラツキ内・外のいずれにある場合にも、抽出色範囲の中心値から最も離れるサンプルの該当次元についての正規分布Ｂと抽出色範囲とで囲まれる斜線で示す部分の面積が最小となることから、この面積のこのサンプルの正規分布全体の面積に対する抽出面積比（例えば、図７に示すように５％又は図８に示すように０％）を算出し、これを最小（下限）とする。
【００３１】
以上のようにして、任意の検査対象物に設定された抽出色範囲の各次元に対して、他の任意の検査対象物の構成色の各次元について、抽出面積比の上限及び下限値が算出される。
【００３２】
検査対象色選択手段７４は、検査対象物の各構成色の中で、検査対象色を選択する手段である。基本的には、検査対象物の各構成色の中で面積比の大きい構成色、または、他の検査対象物にはないその検査対象物特有の構成色を検査対象色として選択すれば良い。しかし、同じような構成色を持つ検査対象物が存在する場合、もしくは、検査対象物が様々な似たような面積比の構成色をもつ場合は、状況に応じた構成色を選択する必要がある。最適な検査対象色とは、検査対象物のみを抽出して、他の検査対象物を抽出しないことが要求される。
【００３３】
図９は、検査対象色選択手段７４のフローチャートである。ステップＳ１５０において、検査対象物を選択する。ステップＳ１５２において、抽出色範囲を入力する。尚、抽出色範囲が入力されない場合は、デフォルトして、選択された検査対象物の各構成色について、抽出色範囲算出手段７０により算出されたμS±（３σS＋３σM）を抽出色範囲とする。ステップＳ１５４において、ステップＳ１５２で決定された抽出色範囲の各次元について、他の検査対象物の各構成色の該当次元に対して、上述した抽出面積算出手段７２により抽出面積比の上限及び下限値を算出する。尚、検査対象物の抽出色範囲における、他の検査対象物の各構成色の抽出面積比の上限及び下限値は各次元の上限及び下限値の積である。
【００３４】
図１０は、検査対象物の構成色の抽出色範囲及び他の検査対象物の各構成色の抽出面積比の表示の一例を示す図である。ここでは、検査対象物が部品５であり、他の検査対象物の部品１〜４及び部品５について、抽出面積比が示されている。ステップＳ１５６において、検査対象物の各構成色について、他の検査対象物の各構成色の抽出色面積、当該構成色の上限及び下限値をディスプレイに表示する。例えば、図１０に示すように、部品５の構成色が構成色１〜３であり、その抽出色範囲が抽出色範囲１〜３であるとき、各部品１〜５の各構成色について、面積比、検査対象部品５の各構成色１〜３の各抽出色範囲１〜３における上限及び下限値が表示される。
【００３５】
ステップＳ１５８において、検査対象物の検査対象の構成色の抽出色範囲の設定データを入力する。設定データは、検査を行う者がディスプレイに表示される図１０に示された内容を見て、検査対象物の「見逃し」や「見過ぎ」が無いよう最適なものと選択したものである。ステップＳ１６０において、検査対象物の検査対象の構成色の閾値の設定テータを入力する。尚、良否判定を決める抽出色の抽出面積の閾値は、当該抽出色の抽出範囲における他の検査対象物の最大抽出面積比以上になるように設定すれば良い。但し、場合により、同じ構成色を持つ検査対象物がある場合がある。この場合は、当該検査対象物と同じ構成色を持つ他の検査対象物の最大抽出面積比が小さい構成色について、当該最大抽出面積比以上を閾値として設定する。
【００３６】
次にデータ設定方法を説明する。ここでは、基板上に実装される部品を検査対象物として検査する場合を例に説明する。検査対象物が実装された基板が作製される。基板に実装された各部品を含む場所をカメラにより撮像して、検査対象画像を生成する。検査対象画像内の検査対象物の検査対象箇所を指定する。構成色分離手段６０により当該検査対象物の構成色に分離し、構成色統計量算出手段６２により色空間における各次元単位に平均値及び標準偏差を算出して、構成色記憶部５４に記憶する。同一検査対象物について、複数サンプルの平均値及び標準偏差が算出されると、サンプル間構成色統計量算出手段６４により、当該検査対象物の複数サンプルの平均値及び標準偏差より、サンプル間平均値μS、サンプル間標準偏差σS、構成色平均面積比ＳM及び構成色標準偏差σMを構成色記憶部５４に記憶する。
【００３７】
抽出色範囲算出手段７０により、検査対象物の構成色の抽出色範囲μS±（３σS＋３σM）を算出する。抽出面積算出部７２により、検査対象物の構成色の抽出色範囲において、他の検査対象物の各構成色の抽出面積比の上限・下限値を算出する。検査対象色選択手段７４により、検査対象物の各構成色の抽出色範囲における他の検査対象物の各構成色の抽出面積比の上限・下限値をディスプレイに表示する。検査者は検査対象物の抽出色範囲及び閾値を設定する。上記の処理を検査対象物が実装された基板が製作される度に行うことによりサンプル数が増加して、統計精度が良くなる。また、上記の処理を基板の検査と並行して行うことができる。即ち、基板の検査対象画像をデータ設定と検査のために併用して、検査とデータ設定を並行して行うことができる。
【００３８】
本発明は以下の付記を含むものである。
【００３９】
（付記１） 認識用対象物の認識用画像を設定データに基づき画像認識する画像認識装置の前記設定データを設定するデータ設定装置において、
認識対象物が撮像された認識用画像内の認識領域を指定する認識画像入力部と、
前記認識領域内の画像に基づいて前記認識対象物の構成色の位置を抽出し、当該構成色に関する色のバラツキを示す統計量を算出する構成色処理部と、
前記統計量に基づいて前記認識対象物の抽出色範囲を決定する検査データ決定部と、
を具備したことを特徴とするデータ設定装置。
【００４０】
（付記２） 前記構成色処理部は、前記認識対象内の前記認識対象用画像の出現頻度の高い色の画素及び当該出現頻度の高い色の類似色の画素の平均値から前記出現頻度の高い色及び前記類似色の画素の各画素の近傍画素の標準偏差に基づく一定のバラツキ範囲の画素が前記認識対象物の構成色に含まれるものとして構成色を抽出する構成色分析部を具備したことを特徴とする付記１記載のデータ設定装置。
【００４１】
（付記３） 前記構成色処理部は、前記構成色に含まれる各画素の色空間における各次元の値の第１平均値と第１標準偏差値の統計量を算出する構成色統計量算出部を具備したことを特徴する付記２記載のデータ設定装置。
【００４２】
（付記４） 前記構成色処理部は、同一の認識対象物が撮像されている複数のサンプル認識対象用画像についての前記第１平均値の平均であるサンプル間平均値及び当該サンプル間平均値の標準偏差であるサンプル間標準偏差値、前記第１標準偏差値の平均値である構成色平均標準偏差値に基づいて、サンプル間のバラツキ範囲を分析するサンプル間構成色統計量算出部を具備した特徴とする付記３記載のデータ設定装置。
【００４３】
（付記５） 前記検査データ決定部は、前記認識対象物の各構成色について、前記サンプル間平均値、前記サンプル間標準偏差値及び前記構成色平均標準偏差値に基づいて当該構成色の抽出色範囲を算出する抽出色範囲算出部を具備したことを特徴とする付記４記載のデータ設定装置。
【００４４】
（付記６） 前記検査データ決定部は、前記各認識対象物の構成色の抽出色範囲内で当該認識対象物と異なる他の認識対象物の構成色が抽出される確率の上限及び下限値を当該他の認識対象物の構成色のサンプル間平均値、サンプル間標準偏差値及び構成色平均標準偏差値に基づき算出する抽出面積算出部を具備したことを特徴とする付記５記載のデータ設定装置。
【００４５】
（付記７） 前記抽出面積算出部は、前記他の認識対象物の各認識対象用画像の構成色に含まれる画素値の分布が正規分布であると仮定し、当該分布における前記抽出色範囲内の面積を算出することにより前記上限及び下限値を算出することを特徴とする付記６記載のデータ設定装置。
【００４６】
（付記８） 前記検査データ決定部は、前記認識対象物の前記構成色の前記抽出色範囲が与えられた場合に、他の認識対象物の各構成色の前記上限及び下限値を画面に表示する検査対象色選択部を具備したことを特徴とする付記７記載のデータ設定装置。
【００４７】
（付記９） 前記構成色分析部は、前記各構成色に含まれる画素からなる領域の面積の前記対象領域の面積に対する面積比を算出し、前記検査対象色選択部は、前記認識対象物の前記構成色の面積比及び当該認識対象物と異なる他の認識対象物の面積比を前記画面に表示することを特徴とする付記８記載のデータ設定装置。
【００４８】
（付記１０） 認識用対象物の認識用画像を設定データに基づき画像認識する画像認識装置の前記設定データを設定するデータ設定方法において、
認識対象物が撮像された認識用画像内の認識領域を指定するステップと、
前記認識領域内の画像に基づいて前記認識対象物の構成色を抽出し、当該構成色に関する色のバラツキを示す統計量を算出するステップと、
前記統計量に基づいて前記認識対象物の抽出色範囲を決定するステップと、
を具備したことを特徴とするデータ設定方法。
【図面の簡単な説明】
【００４９】
【図１】本発明の原理図である。
【図２】本発明の実施形態によるデータ設定装置の構成図である。
【図３】図２中の構成色分離部の処理フローチャートである。
【図４】各統計量を示す図である。
【図５】抽出色範囲を示す図である。
【図６】抽出面積算出手段のフローチャートである。
【図７】抽出色範囲がサンプル間バラツキ内にある場合を示す図である。
【図８】抽出色範囲がサンプル間バラツキ外にある場合を示す図である。
【図９】検査対象物選択手段のフローチャートである。
【図１０】表示の一例を示す図である。
【符号の説明】
【００５０】
２ 検査画像入力部
４ 構成色処理部
６ 検査データ決定部
１０ 認識対象物
１２ 認識対象用画像
１４ 認識領域
【技術分野】
【０００１】
本発明は、画像認識装置のデータ設定装置及びデータ設定方法に関する。特に、対象物の認識用画像を撮像し、画像中の特定位置に撮像される対象物のもつべき色の範囲（抽出色）を指定し、対象物の抽出及び認識を行う画像認識装置の認識用データを作成するための技術に関する。
【背景技術】
【０００２】
外観検査機は、検査対象物の検査画像を撮像し、検査データ（抽出色範囲、基準値）を用いて、良否判定を行う装置である。一般的に、光学式の外観検査機は、検査対象物に対して白色色を照射し、特定の角度から撮像することにより検査画像を取得する。その後、検査画像に対して、検査対象箇所が適正色で撮像されているか否かを検査することによって、外観検査を行っている。プリント基板の外観検査では、基板を上部から撮像し、部品実装位置に検査対象部品の表面色が撮像されているのかを検査している。これにより部品の未実装や誤実装といった不良を検出することが可能となる。
【０００３】
外観検査機の使用にあたり、検査画像内の「検査対象箇所の指定」、「抽出色範囲」、「基準値（閾値）」を検査データとして設定する必要がある。「適正色範囲」とは、検査対象物の表面色の色範囲をいう。色範囲とは、検査画像の色空間の各次元に対する上限値及び下限値である。通常、色空間は、赤、緑、青のＲＧＢにより表される。基準値とは、色範囲に該当する画素の面積（抽出面積）に対するものあり、例えば、「検査対象箇所の指定」により特定される検査対象範囲に占める抽出面積の割合の下限値をいう。
【０００４】
上記の検査データの設定において、問題となるのは、製造上のバラツキによって生じる検査対象物の表面色のバラツキである。この色のバラツキは、見た目の上で同一色であった場合においても、同一色内でバラツキがある。また、同一の検査対象物であっても、サンプル間において、バラツキがある。従って、このバラツキの範囲に合わせて抽出色の範囲を設定しなくてはならない。
【０００５】
なぜなら、抽出色の範囲が狭い場合、良品を不良品として判断してしまう「見過ぎ」となり、範囲が広すぎる場合、不良品を良品として判断してしまう「見逃し」の原因となる。また、基準値の設定においても、同様に閾値が高すぎる場合は、「見過ぎ」、低すぎる場合は、「見逃し」の原因となる。「見過ぎ」は後工程の目視検査等の工数増加を引き起こし、「見逃し」は検査品質を低下させ、後工程の電気試験等で不良と判断された原因の特定の工数増加を引き起こす。それ故、検査データの設定は一般的な問題点となる。
【０００６】
認識対象物を他の物と識別するための閾値の設定に関する公知技術としては、特許文献１に記載された発明がある。特許文献１では、カラー視覚センサの認識対象物の色を指定したとき、その色の確信度と面積の特性線及び他の色の特性線を表示し、指定された色により識別対象物が識別可能なように指定された色の閾値を容易に設定可能とすることを開示している。
【０００７】
また、３次元形状データ処理に関する公知技術として、特許文献２に記載された発明がある。特許文献２では、顔面模型を作成する際に必要とされる模型用顔領域をカラー画像の肌の色の統計処理結果を判断基準として、カラー画像全体から肌の色に近い色を有する領域のみを抽出することにより自動的に行うことができる３次元形状データ処理装置を開示している。
【特許文献１】特開平７−４４７０６号公報
【特許文献２】特開２０００−７６４５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来の画像認識装置のデータ設定装置では次の問題点があった。検査対象物の表面色は数種類の色（構成色）で構成され、それぞれの構成色は異なるバラツキを持っている。そのため、全体の表面色の分布は各構成色のバラツキが足し合わされ、複雑なバラツキとなる。これは、抽出色範囲の最適化するのに必要な表面色のバラツキ傾向を知ることを困難にさせている。しかし、表面色の各構成色単位でバラツキが分析可能な場合、表面色のバラツキ傾向を容易に知ることができる。
【０００９】
また、検査データ設定において、全ての構成色を含むような範囲を抽出色範囲として設定することはできない。ある検査対象物Ａの少ない面積の構成色と、他の検査対象物Ｂの主要な構成色が同一の色の場合がある。この場合、ある検査対象物Ａの抽出範囲内にその構成色を含めると、その検査対象物Ａではなく、他の検査対象物Ｂが搭載された場合でも、検査時に良品と判断されてしまうからである。即ち、検査データ設定時には、各構成色のバラツキだけでなく、その他の検査対象物の構成色との関係（類度度）を考慮しなければならない。
【００１０】
また、特許文献１では、認識対象物の構成色を分析し、認識対象画像のサンプル間のバラツキに基づいてその構成色のバラツキを求めるものでないために上記課題を解決することはできない。特許文献２は、顔という予め決められた色を統計処理結果を用いて抽出することはできるが、顔以外の部品等の構成色を抽出して、その構成色のサンプル間のバラツキを求めるものでないために上記課題を解決することはできない。
【００１１】
本発明は、上記問題点を鑑みてなれたものであり、検査対象箇所の表面色をいくつかの構成色に分離し、それぞれの構成色の統計量及び構成色間の色の類似度を算出して、最適な検査データの設定を行うことのできる画像認識装置のデータ設定装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明によれば、認識用対象物の認識用画像を設定データに基づき画像認識する画像認識装置の前記設定データを設定するデータ設定装置において、認識対象物が撮像された認識用画像内の認識領域を指定する認識画像入力部と、前記認識領域内の画像に基づいて前記認識対象物の構成色の位置を抽出し、当該構成色に関する色のバラツキを示す統計量を算出する構成色処理部と、前記統計量に基づいて前記認識対象物の抽出色範囲を決定する検査データ決定部とを具備し、前記構成色処理部は、前記構成色に含まれる各画素の色空間における各次元の値に基づいてとバラツキを示す統計量を算出する構成色統計量算出部を具備したことを特徴するデータ設定装置が提供される。
【発明の効果】
【００１３】
本発明によれば、検査対象物の表面色のバラツキを表すような数枚の検査画像を与えることにより、その表面色のバラツキの傾向を分析し、抽出色範囲の設定を得ることができる。また、他の検査対象物の抽出面積を確認しながら抽出する構成色の選択及び基準値の設定が可能となる。これによって、従来、長時間に渡って検査データの調整を行ってきたが、短時間での検査データの調整が可能となる。また、従来は、検査データの決定に際し、「見逃し」や「見過ぎ」のバランスを調整するための基準値設定及び抽出色の選択を、人が経験的に判断する必要があったが、本発明により、構成色の選択時又は基準値の設定時に「見逃し」及び「見過ぎ」の発生状況を確認しながら検査データを調整することが可能なため、検査データ作成のスキルレス化が実現される。
【発明を実施するための最良の形態】
【００１４】
図１は本発明の原理図である。図１に示すように、データ設定装置は、認識画像入力部２、構成色処理部４及び検査データ決定部６を有する。認識画像入力部２は、認識用対象物１０の認識用画像１２の認識領域１４を指定する。構成色処理部４は、認識領域１４内の画像に基づいて認識対象物１０の構成色を抽出し、当該構成色に関する色のバラツキを示す統計量を算出する。検査データ決定部６は、統計量に基づいて認識対象物の抽出色範囲を決定する。このように、認識対象物の抽出色範囲は統計量に基づくものであることから、最適な検査データの設定を行うことができる。
【００１５】
図２は本発明の実施形態による画像処理装置のデータ設定装置の構成図である。データ設定装置は、各認識対象物、例えば、基板上に実装される電子部品（抵抗、ＩＣ、コンデンサ等）について、その抽出色範囲を自動で設定するための装置であり、パソコンやワークステーション等のハードウェア上で実行されるプログラムによりデータ設定処理の各機能が実現される。図２に示すように、データ設定装置は、検査画像入力部５０、構成色処理部５２、構成色記憶部５４及び検査データ決定部５６を含む。検査画像入力部５０は、図示しないカメラにより撮像された認識対象画像及び認識対象物の認識領域である検査対象箇所を入力して、図示しないディスク等の記憶装置に記憶する。認識対象画像とは、認識対象物がカメラにより撮像された画像であって、１枚の画像に、認識対象物が１個又は複数個撮像されたものをいう。認識対象画像は、各画素毎に、色空間における各次元の値により表現される。例えば、ＲＧＢの色空間における、（Ｒ，Ｇ，Ｂ）の各次元の階調（２５６等）により表現される。検査対象箇所は、認識対象画像において認識対象物を含む領域であり、画像の位置座標の集合により特定される。
【００１６】
構成色処理部５２は、構成色分離手段６０、構成色統計量算出手段６２及びサンプル間構成色統計量算出手段６４を有する。図３は、図２中の構成色分離手段６０のフローチャートである。以下、図３を参照して、構成色分離手段６０の動作説明をする。ステップＳ２において、検査画像入力部５０より検査対象箇所における認識対象物の全画素を抽出する。ステップＳ４において、検査対象箇所における出現頻度の高い色μ（μ1，μ2，…，μN）を全ての検査対象箇所内の画素より検索する。出現頻度の高い色μとは、Ｎ次元の色で表される色空間において、最も出現する頻度の高い色を示している。このような高出現頻度色μは、ある構成色の平均の色であることが推測される。ステップＳ６において、高出現頻度色μとその類似色を検査対象箇所内の全画素から検索して、該当する画素の位置を記憶する。類似色とは、色空間において、高出現頻度色μと距離が近い色のことをいう。例えば、各次元が２５６階調で表現される場合、全ての次元において、μi±２０（ｉ＝１，…，Ｎ）の範囲内に該当する画素の位置を記憶する。これにより、高出現頻度色を平均値とするような構成色のおおよその位置を得ることができる。類似色を検索するのは、一般的に構成色は完全に単一の色ではなく、撮像環境や認識対象物の製造上により、バラツキが生じるからである。
【００１７】
ステップＳ８において、検索された各画素に対して、その画素と近傍画素の色の標準偏差を各次元で算出し、各画素に対して算出される標準偏差の全検索画素についての平均値σ（σ1，σ2，…，σN）を得る。近傍画素とは、例えば、検索された画素を中心画素として、周辺１画素（全８画素）を指している。各色構成色は各次元において、色分布が正規分布に従うため、その標準偏差値σ（σ1，σ2，…，σN）を用いることにより、構成色のバラツキの範囲を知ることができる。例えば、μ±３σの範囲では、構成色のおよそ９９％が検索される。
【００１８】
ステップＳ１０において、ステップＳ８で算出された構成色のバラツキ範囲（全ての次元においてμi±３σiの範囲）に該当する画素を検索する。構成色の周辺の画素から標準偏差を算出して構成色の位置を再検索するのは、各構成色の各次元において色のバラツキが異なるためである。
【００１９】
ステップＳ１２において、ノイズ除去を行う。これは、認識対象物の各構成色は、ある程度の同じ位置に固まっているという性質を利用したものである。まず、検索された画素について隣同士の画素は連結した成分とみなして一つの塊とする。各塊について、検索された全ての塊の面積の和に対するその面積が一体値以下（例えば、５％）の画素の塊は除去する。これにより、例えば、基板の色の類似する色が構成色に含まれているとき、認識対象箇所として基板の一部が含まれる場合には、基板の画素の塊が除去されることになる。また、逆に、検索された画素の塊の内部に存在するその塊の面積に対するその内部の面積が一定値以下の検索されない画素をその構成色の画素とする。
【００２０】
ステップＳ１４において、ステップＳ１０，１２で選択された画素の面積の検索対象箇所に対する面積比Ｓを算出する。以上の分析により、ステップＳ４で算出した高頻出色に対する構成色を取得できる。構成色の面積比Ｓは構成色情報記憶部５４に保存される。ステップＳ１６において、構成色面積比の総和が一定値（９５％）以上であるか否かを判断する。一定値以上であれば、分析を終了する。一定値未満であれば、ステップＳ１８に進む。ステップＳ１８において、取得済構成色の画素を除く検査対象画素を分析する。ステップＳ４〜Ｓ１４において、構成色として検索されなかった画素に対して行うことにより、他の主要な構成色とその位置を取得することができる。
【００２１】
構成色統計量算出手段６２は、構成色分離手段６０により得られた各構成色の画素から各構成色の平均値μ（μ1，μ2，…，μN）と各構成色の画素の標準偏差σ（σ1，σ2，…，σN）の統計量を算出して、構成色情報記憶部５４にこれらを記憶する。構成色処理部６０及び構成色統計量算出部６２は、検査画像入力部５０から入力される、同一認識対象物について、異なる認識対象画像（サンプル）の検査対象箇所に対して上記処理を行う。これにより、同一認識対象物について、複数のサンプルに対して、各構成色の平均値及び標準偏差が得られて、構成色情報記憶部５４にこれらが記憶されることになる。
【００２２】
サンプル間構成色統計量算出手段６４は、同一の検査対象物については、用意されたいくつかのサンプルについて、サンプル間の構成色のバラツキを算出する。各サンプルは、構成色分離手段６０及び構成色統計量算出手段６２より、上述したように、各構成色の平均値、標準偏差値及び面積比が算出されて、構成色情報記憶部５４に記憶されている。各サンプルの同じ構成色において、各次元におけるサンプルの構成色平均値の平均値（サンプル間平均値μS）、サンプルの構成色平均値の標準偏差（サンプル間標準偏差σS）、面積比の平均値（構成色平均面積比ＳM）及びサンプルの構成色の標準偏差の平均値（構成色標準偏差σM）を算出して、サンプル間平均値μS、サンプル間標準偏差σS、構成色平均面積比ＳM及び構成色標準偏差σMを構成色情報記憶部５４に保存する。
【００２３】
図４は、各統計量を示す図である。横軸に色強度（階調）、縦軸に度数（画素数）が表されている。ここでは、構成色のある一次元について示している。太字の曲線は、平均値がサンプル間平均値μS、標準偏差がサンプル間標準偏差σSである正規分布を示している。各構成色は、各サンプルについては、μを中心として一定範囲、例えば、μ±３σMの範囲でバラツキ、サンプル全体の平均値はサンプル間平均値μSを中心に一定範囲、例えば、μS±３σSの範囲でバラツクことを示している。尚、ここでは、各サンプルの構成色は正規分布と仮定していることから、各μ±３σMの範囲では、当該サンプルの構成色については、およそ９９％がこの範囲内にあることを意味する。また、μS±３σSの範囲では、サンプルの平均値のおよそ９９％がこの範囲内にあることを意味する。
【００２４】
構成色情報記憶部５４は、各検査対象物に対して、構成色分離部６０、構成色統計量算出部６２により得られた各サンプル単位のデータ（平均値μ、標準偏差σ、面積比Ｓ）及びサンプル間構成色統計量算出部６４で算出された、サンプル間平均値μS、サンプル間標準偏差σS、構成色平均面積比ＳM、構成色標準偏差σMを記憶する。
【００２５】
検査データ決定部５６は、抽出色範囲算出手段７０、抽出面積算出手段７２及び検査対象色選択手段７４を有する。抽出色範囲算出手段７０は、サンプル間構成色統計量算出手段６４により得られた統計量を利用して、抽出色の範囲を指定する。
【００２６】
図５は、抽出色範囲を示す図である。横軸は色強度、縦軸は度数を示している。抽出色範囲は構成色の各次元について指定されるが、図５はある一次元を示している。各構成色の各サンプルは、上述したように、例えば、μ±３σMの範囲でバラツク。サンプル全体では、サンプル平均値はμS±３σSの範囲でばらつく。よって、全体のバラツキはμS±（３σS±３σM）の範囲となる。従って、抽出色範囲は、下限値がμS−（３σS＋３σM）、上限値がμS＋（３σS＋３σM）となる。この範囲より抽出範囲が小さくなると、抽出面積が少なくなり「見過ぎ」が発生する可能性があり、この範囲より抽出範囲が大きくなると、抽出面積が大きくなり、他の検査対象物を抽出してしまい「見逃し」の原因となる。抽出面積算出手段７２は、任意の検査対象物に設定された各構成色の抽出色範囲に対して、他の検査対象物の各構成色の抽出面積比を算出するものである。
【００２７】
図６は、抽出面積算出手段７２のフローチャートである。ステップＳ１００において、検査対象物の任意に選択された１つの構成色αの抽出色範囲の中心を算出する。抽出色範囲が位置を算出する。構成色記憶部５４に記憶された構成色αのサンプル間平均値μSα、サンプル間標準偏差σSα、構成色標準偏差σMαであり、抽出色範囲が、上述したように［μSα−（３σSα＋３σMα），μSα＋（３σSα＋３σMα）］であるとき、抽出色範囲の中心値がサンプル間平均値μSαとなる。尚、抽出色範囲は任意の範囲とすることができる。ステップＳ１０２において、ステップＳ１００で選択された検査対象物と異なる任意に選択された他の検査対象物の１つの構成色βの構成色記憶部５４に記憶された、サンプル間平均値μSβ、サンプル間標準偏差σSβ、構成色標準偏差σMβを読み出し、色空間の各次元について、構成色αの抽出色範囲の中心値が構成色βの該当次元のサンプル間バラツキμSβ±３σSβの範囲内にあるか否かを判断する。サンプル間バラツキの範囲内にある場合は、ステップＳ１０４に進む。サンプル間バラツキの範囲外である場合は、ステップＳ１０６に進む。
【００２８】
図７は、抽出色中心値がサンプル間バラツキ内にある場合の抽出面積の上限値と下限値の算出方法を示す図である。ステップＳ１０４において、図７に示すように、構成色βの平均値Ａが抽出色範囲の中心に一致するようなサンプルの平均値及び標準偏差より求められるサンプルの正規分布と抽出色範囲とで囲まれる斜線で示す部分の面積が最大となることから、この面積のこのサンプルの正規分布全体の面積に対する抽出面積比（例えば、８０％）を算出し、これを最大（上限）とする。
【００２９】
図８は、抽出色中心値がサンプル間バラツキ外にある場合の抽出面積の上限値と下限値の算出方法を示す図である。ステップＳ１０６において、構成色βの平均値が抽出色範囲の中心に最も近接するようなサンプル、例えば、図８に示すように該当次元についての平均値がＡである当該サンプルの当該平均値及び標準偏差より求められるサンプルの正規分布と抽出色範囲とで囲まれる斜線で示す部分の面積が最大となることから、この面積のこのサンプルの正規分布全体の面積に対する抽出面積比（例えば、４５％）を算出し、これを最大（上限）とする。
【００３０】
ステップＳ１０８において、図７，図８に示すように、抽出色中心値がサンプル間バラツキ内・外のいずれにある場合にも、抽出色範囲の中心値から最も離れるサンプルの該当次元についての正規分布Ｂと抽出色範囲とで囲まれる斜線で示す部分の面積が最小となることから、この面積のこのサンプルの正規分布全体の面積に対する抽出面積比（例えば、図７に示すように５％又は図８に示すように０％）を算出し、これを最小（下限）とする。
【００３１】
以上のようにして、任意の検査対象物に設定された抽出色範囲の各次元に対して、他の任意の検査対象物の構成色の各次元について、抽出面積比の上限及び下限値が算出される。
【００３２】
検査対象色選択手段７４は、検査対象物の各構成色の中で、検査対象色を選択する手段である。基本的には、検査対象物の各構成色の中で面積比の大きい構成色、または、他の検査対象物にはないその検査対象物特有の構成色を検査対象色として選択すれば良い。しかし、同じような構成色を持つ検査対象物が存在する場合、もしくは、検査対象物が様々な似たような面積比の構成色をもつ場合は、状況に応じた構成色を選択する必要がある。最適な検査対象色とは、検査対象物のみを抽出して、他の検査対象物を抽出しないことが要求される。
【００３３】
図９は、検査対象色選択手段７４のフローチャートである。ステップＳ１５０において、検査対象物を選択する。ステップＳ１５２において、抽出色範囲を入力する。尚、抽出色範囲が入力されない場合は、デフォルトして、選択された検査対象物の各構成色について、抽出色範囲算出手段７０により算出されたμS±（３σS＋３σM）を抽出色範囲とする。ステップＳ１５４において、ステップＳ１５２で決定された抽出色範囲の各次元について、他の検査対象物の各構成色の該当次元に対して、上述した抽出面積算出手段７２により抽出面積比の上限及び下限値を算出する。尚、検査対象物の抽出色範囲における、他の検査対象物の各構成色の抽出面積比の上限及び下限値は各次元の上限及び下限値の積である。
【００３４】
図１０は、検査対象物の構成色の抽出色範囲及び他の検査対象物の各構成色の抽出面積比の表示の一例を示す図である。ここでは、検査対象物が部品５であり、他の検査対象物の部品１〜４及び部品５について、抽出面積比が示されている。ステップＳ１５６において、検査対象物の各構成色について、他の検査対象物の各構成色の抽出色面積、当該構成色の上限及び下限値をディスプレイに表示する。例えば、図１０に示すように、部品５の構成色が構成色１〜３であり、その抽出色範囲が抽出色範囲１〜３であるとき、各部品１〜５の各構成色について、面積比、検査対象部品５の各構成色１〜３の各抽出色範囲１〜３における上限及び下限値が表示される。
【００３５】
ステップＳ１５８において、検査対象物の検査対象の構成色の抽出色範囲の設定データを入力する。設定データは、検査を行う者がディスプレイに表示される図１０に示された内容を見て、検査対象物の「見逃し」や「見過ぎ」が無いよう最適なものと選択したものである。ステップＳ１６０において、検査対象物の検査対象の構成色の閾値の設定テータを入力する。尚、良否判定を決める抽出色の抽出面積の閾値は、当該抽出色の抽出範囲における他の検査対象物の最大抽出面積比以上になるように設定すれば良い。但し、場合により、同じ構成色を持つ検査対象物がある場合がある。この場合は、当該検査対象物と同じ構成色を持つ他の検査対象物の最大抽出面積比が小さい構成色について、当該最大抽出面積比以上を閾値として設定する。
【００３６】
次にデータ設定方法を説明する。ここでは、基板上に実装される部品を検査対象物として検査する場合を例に説明する。検査対象物が実装された基板が作製される。基板に実装された各部品を含む場所をカメラにより撮像して、検査対象画像を生成する。検査対象画像内の検査対象物の検査対象箇所を指定する。構成色分離手段６０により当該検査対象物の構成色に分離し、構成色統計量算出手段６２により色空間における各次元単位に平均値及び標準偏差を算出して、構成色記憶部５４に記憶する。同一検査対象物について、複数サンプルの平均値及び標準偏差が算出されると、サンプル間構成色統計量算出手段６４により、当該検査対象物の複数サンプルの平均値及び標準偏差より、サンプル間平均値μS、サンプル間標準偏差σS、構成色平均面積比ＳM及び構成色標準偏差σMを構成色記憶部５４に記憶する。
【００３７】
抽出色範囲算出手段７０により、検査対象物の構成色の抽出色範囲μS±（３σS＋３σM）を算出する。抽出面積算出部７２により、検査対象物の構成色の抽出色範囲において、他の検査対象物の各構成色の抽出面積比の上限・下限値を算出する。検査対象色選択手段７４により、検査対象物の各構成色の抽出色範囲における他の検査対象物の各構成色の抽出面積比の上限・下限値をディスプレイに表示する。検査者は検査対象物の抽出色範囲及び閾値を設定する。上記の処理を検査対象物が実装された基板が製作される度に行うことによりサンプル数が増加して、統計精度が良くなる。また、上記の処理を基板の検査と並行して行うことができる。即ち、基板の検査対象画像をデータ設定と検査のために併用して、検査とデータ設定を並行して行うことができる。
【００３８】
本発明は以下の付記を含むものである。
【００３９】
（付記１） 認識用対象物の認識用画像を設定データに基づき画像認識する画像認識装置の前記設定データを設定するデータ設定装置において、
認識対象物が撮像された認識用画像内の認識領域を指定する認識画像入力部と、
前記認識領域内の画像に基づいて前記認識対象物の構成色の位置を抽出し、当該構成色に関する色のバラツキを示す統計量を算出する構成色処理部と、
前記統計量に基づいて前記認識対象物の抽出色範囲を決定する検査データ決定部と、
を具備したことを特徴とするデータ設定装置。
【００４０】
（付記２） 前記構成色処理部は、前記認識対象内の前記認識対象用画像の出現頻度の高い色の画素及び当該出現頻度の高い色の類似色の画素の平均値から前記出現頻度の高い色及び前記類似色の画素の各画素の近傍画素の標準偏差に基づく一定のバラツキ範囲の画素が前記認識対象物の構成色に含まれるものとして構成色を抽出する構成色分析部を具備したことを特徴とする付記１記載のデータ設定装置。
【００４１】
（付記３） 前記構成色処理部は、前記構成色に含まれる各画素の色空間における各次元の値の第１平均値と第１標準偏差値の統計量を算出する構成色統計量算出部を具備したことを特徴する付記２記載のデータ設定装置。
【００４２】
（付記４） 前記構成色処理部は、同一の認識対象物が撮像されている複数のサンプル認識対象用画像についての前記第１平均値の平均であるサンプル間平均値及び当該サンプル間平均値の標準偏差であるサンプル間標準偏差値、前記第１標準偏差値の平均値である構成色平均標準偏差値に基づいて、サンプル間のバラツキ範囲を分析するサンプル間構成色統計量算出部を具備した特徴とする付記３記載のデータ設定装置。
【００４３】
（付記５） 前記検査データ決定部は、前記認識対象物の各構成色について、前記サンプル間平均値、前記サンプル間標準偏差値及び前記構成色平均標準偏差値に基づいて当該構成色の抽出色範囲を算出する抽出色範囲算出部を具備したことを特徴とする付記４記載のデータ設定装置。
【００４４】
（付記６） 前記検査データ決定部は、前記各認識対象物の構成色の抽出色範囲内で当該認識対象物と異なる他の認識対象物の構成色が抽出される確率の上限及び下限値を当該他の認識対象物の構成色のサンプル間平均値、サンプル間標準偏差値及び構成色平均標準偏差値に基づき算出する抽出面積算出部を具備したことを特徴とする付記５記載のデータ設定装置。
【００４５】
（付記７） 前記抽出面積算出部は、前記他の認識対象物の各認識対象用画像の構成色に含まれる画素値の分布が正規分布であると仮定し、当該分布における前記抽出色範囲内の面積を算出することにより前記上限及び下限値を算出することを特徴とする付記６記載のデータ設定装置。
【００４６】
（付記８） 前記検査データ決定部は、前記認識対象物の前記構成色の前記抽出色範囲が与えられた場合に、他の認識対象物の各構成色の前記上限及び下限値を画面に表示する検査対象色選択部を具備したことを特徴とする付記７記載のデータ設定装置。
【００４７】
（付記９） 前記構成色分析部は、前記各構成色に含まれる画素からなる領域の面積の前記対象領域の面積に対する面積比を算出し、前記検査対象色選択部は、前記認識対象物の前記構成色の面積比及び当該認識対象物と異なる他の認識対象物の面積比を前記画面に表示することを特徴とする付記８記載のデータ設定装置。
【００４８】
（付記１０） 認識用対象物の認識用画像を設定データに基づき画像認識する画像認識装置の前記設定データを設定するデータ設定方法において、
認識対象物が撮像された認識用画像内の認識領域を指定するステップと、
前記認識領域内の画像に基づいて前記認識対象物の構成色を抽出し、当該構成色に関する色のバラツキを示す統計量を算出するステップと、
前記統計量に基づいて前記認識対象物の抽出色範囲を決定するステップと、
を具備したことを特徴とするデータ設定方法。
【図面の簡単な説明】
【００４９】
【図１】本発明の原理図である。
【図２】本発明の実施形態によるデータ設定装置の構成図である。
【図３】図２中の構成色分離部の処理フローチャートである。
【図４】各統計量を示す図である。
【図５】抽出色範囲を示す図である。
【図６】抽出面積算出手段のフローチャートである。
【図７】抽出色範囲がサンプル間バラツキ内にある場合を示す図である。
【図８】抽出色範囲がサンプル間バラツキ外にある場合を示す図である。
【図９】検査対象物選択手段のフローチャートである。
【図１０】表示の一例を示す図である。
【符号の説明】
【００５０】
２ 検査画像入力部
４ 構成色処理部
６ 検査データ決定部
１０ 認識対象物
１２ 認識対象用画像
１４ 認識領域
【特許請求の範囲】
【請求項１】
認識用対象物の認識用画像を設定データに基づき画像認識する画像認識装置の前記設定データを設定するデータ設定装置において、
認識対象物が撮像された認識用画像内の認識領域を指定する認識画像入力部と、
前記認識領域内の画像に基づいて前記認識対象物の構成色の位置を抽出し、当該構成色に関する色のバラツキを示す統計量を算出する構成色処理部と、
前記統計量に基づいて前記認識対象物の抽出色範囲を決定する検査データ決定部とを具備し、
前記構成色処理部は、前記構成色に含まれる各画素の色空間における各次元の値に基づいて前記色のバラツキを示す統計量を算出する構成色統計量算出部を具備したことを特徴するデータ設定装置。
【請求項２】
認識用対象物の認識用画像を設定データに基づき画像認識する画像認識装置の前記設定データを設定するデータ設定装置において、
認識対象物が撮像された認識用画像内の認識領域を指定する認識画像入力部と、
前記認識領域内の画像に基づいて前記認識対象物の構成色の位置を抽出し、当該構成色に関する色のバラツキを示す統計量を算出する構成色処理部と、
前記統計量に基づいて前記認識対象物の抽出色範囲を決定する検査データ決定部とを具備し、
前記構成色処理部は、同一の認識対象物が撮像されている複数のサンプル認識対象用画像についての個々の代表値に対して、前記色のバラツキを示す統計量を算出することを特徴とするデータ設定装置。
【請求項３】
認識用対象物の認識用画像を設定データに基づき画像認識する画像認識装置の前記設定データを設定するデータ設定装置において、
認識対象物が撮像された認識用画像内の認識領域を指定する認識画像入力部と、
前記認識領域内の画像に基づいて前記認識対象物の構成色の位置を抽出し、当該構成色に関する色のバラツキを示す統計量を算出する構成色処理部と、
前記統計量に基づいて前記認識対象物の抽出色範囲を決定する検査データ決定部とを具備し、
前記構成色処理部は、前記構成色に含まれる各画素の色空間における各次元の値の第１平均値と第１標準偏差値の統計量を算出する構成色統計量算出部を具備し、
前記構成色処理部は、同一の認識対象物が撮像されている複数のサンプル認識対象用画像についての前記第１平均値の平均であるサンプル間平均値及び当該サンプル間平均値の標準偏差であるサンプル間標準偏差値、前記第１標準偏差値の平均値である構成色平均標準偏差値に基づいて、サンプル間のバラツキ範囲を分析するサンプル間構成色統計量算出部を具備した特徴とするデータ設定装置。
【請求項４】
前記検査データ決定部は、前記認識対象物の各構成色について、前記サンプル間平均値、前記サンプル間標準偏差値及び前記構成色平均標準偏差値に基づいて当該構成色の抽出色範囲を算出する抽出色範囲算出部を具備したことを特徴とする請求項３記載のデータ設定装置。
【請求項５】
前記検査データ決定部は、前記各認識対象物の構成色の抽出色範囲内で当該認識対象物と異なる他の認識対象物の構成色が抽出される確率の上限及び下限値を当該他の認識対象物の構成色のサンプル間平均値、サンプル間標準偏差値及び構成色平均標準偏差値に基づき算出する抽出面積算出部を具備したことを特徴とする請求項４記載のデータ設定装置。
【請求項６】
前記抽出面積算出部は、前記他の認識対象物の各認識対象用画像の構成色に含まれる画素値の分布が正規分布であると仮定し、当該分布における前記抽出色範囲内の面積を算出することにより前記上限及び下限値を算出することを特徴とする請求項５記載のデータ設定装置。
【請求項７】
前記検査データ決定部は、前記認識対象物の前記構成色の前記抽出色範囲が与えられた場合に、他の認識対象物の各構成色の前記上限及び下限値を画面に表示する検査対象色選択部を具備したことを特徴とする請求項６記載のデータ設定装置。
【請求項８】
前記構成色分析部は、前記各構成色に含まれる画素からなる領域の面積の前記対象領域の面積に対する面積比を算出し、前記検査対象色選択部は、前記認識対象物の前記構成色の面積比及び当該認識対象物と異なる他の認識対象物の面積比を前記画面に表示することを特徴とする請求項７記載のデータ設定装置。
【請求項１】
認識用対象物の認識用画像を設定データに基づき画像認識する画像認識装置の前記設定データを設定するデータ設定装置において、
認識対象物が撮像された認識用画像内の認識領域を指定する認識画像入力部と、
前記認識領域内の画像に基づいて前記認識対象物の構成色の位置を抽出し、当該構成色に関する色のバラツキを示す統計量を算出する構成色処理部と、
前記統計量に基づいて前記認識対象物の抽出色範囲を決定する検査データ決定部とを具備し、
前記構成色処理部は、前記構成色に含まれる各画素の色空間における各次元の値に基づいて前記色のバラツキを示す統計量を算出する構成色統計量算出部を具備したことを特徴するデータ設定装置。
【請求項２】
認識用対象物の認識用画像を設定データに基づき画像認識する画像認識装置の前記設定データを設定するデータ設定装置において、
認識対象物が撮像された認識用画像内の認識領域を指定する認識画像入力部と、
前記認識領域内の画像に基づいて前記認識対象物の構成色の位置を抽出し、当該構成色に関する色のバラツキを示す統計量を算出する構成色処理部と、
前記統計量に基づいて前記認識対象物の抽出色範囲を決定する検査データ決定部とを具備し、
前記構成色処理部は、同一の認識対象物が撮像されている複数のサンプル認識対象用画像についての個々の代表値に対して、前記色のバラツキを示す統計量を算出することを特徴とするデータ設定装置。
【請求項３】
認識用対象物の認識用画像を設定データに基づき画像認識する画像認識装置の前記設定データを設定するデータ設定装置において、
認識対象物が撮像された認識用画像内の認識領域を指定する認識画像入力部と、
前記認識領域内の画像に基づいて前記認識対象物の構成色の位置を抽出し、当該構成色に関する色のバラツキを示す統計量を算出する構成色処理部と、
前記統計量に基づいて前記認識対象物の抽出色範囲を決定する検査データ決定部とを具備し、
前記構成色処理部は、前記構成色に含まれる各画素の色空間における各次元の値の第１平均値と第１標準偏差値の統計量を算出する構成色統計量算出部を具備し、
前記構成色処理部は、同一の認識対象物が撮像されている複数のサンプル認識対象用画像についての前記第１平均値の平均であるサンプル間平均値及び当該サンプル間平均値の標準偏差であるサンプル間標準偏差値、前記第１標準偏差値の平均値である構成色平均標準偏差値に基づいて、サンプル間のバラツキ範囲を分析するサンプル間構成色統計量算出部を具備した特徴とするデータ設定装置。
【請求項４】
前記検査データ決定部は、前記認識対象物の各構成色について、前記サンプル間平均値、前記サンプル間標準偏差値及び前記構成色平均標準偏差値に基づいて当該構成色の抽出色範囲を算出する抽出色範囲算出部を具備したことを特徴とする請求項３記載のデータ設定装置。
【請求項５】
前記検査データ決定部は、前記各認識対象物の構成色の抽出色範囲内で当該認識対象物と異なる他の認識対象物の構成色が抽出される確率の上限及び下限値を当該他の認識対象物の構成色のサンプル間平均値、サンプル間標準偏差値及び構成色平均標準偏差値に基づき算出する抽出面積算出部を具備したことを特徴とする請求項４記載のデータ設定装置。
【請求項６】
前記抽出面積算出部は、前記他の認識対象物の各認識対象用画像の構成色に含まれる画素値の分布が正規分布であると仮定し、当該分布における前記抽出色範囲内の面積を算出することにより前記上限及び下限値を算出することを特徴とする請求項５記載のデータ設定装置。
【請求項７】
前記検査データ決定部は、前記認識対象物の前記構成色の前記抽出色範囲が与えられた場合に、他の認識対象物の各構成色の前記上限及び下限値を画面に表示する検査対象色選択部を具備したことを特徴とする請求項６記載のデータ設定装置。
【請求項８】
前記構成色分析部は、前記各構成色に含まれる画素からなる領域の面積の前記対象領域の面積に対する面積比を算出し、前記検査対象色選択部は、前記認識対象物の前記構成色の面積比及び当該認識対象物と異なる他の認識対象物の面積比を前記画面に表示することを特徴とする請求項７記載のデータ設定装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００７−１８３９８０（Ｐ２００７−１８３９８０Ａ）
【公開日】平成１９年７月１９日（２００７．７．１９）
【国際特許分類】
【出願番号】特願２００７−３２４５５（Ｐ２００７−３２４５５）
【出願日】平成１９年２月１３日（２００７．２．１３）
【分割の表示】特願２００２−３８００１６（Ｐ２００２−３８００１６）の分割
【原出願日】平成１４年１２月２７日（２００２．１２．２７）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成１９年７月１９日（２００７．７．１９）
【国際特許分類】
【出願日】平成１９年２月１３日（２００７．２．１３）
【分割の表示】特願２００２−３８００１６（Ｐ２００２−３８００１６）の分割
【原出願日】平成１４年１２月２７日（２００２．１２．２７）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]