説明

画像処理装置及びこれを用いた画像処理方法

【課題】撮像画像を処理する画像処理装置において、画像検査に不慣れなユーザでも容易に迅速に検査設定できるようにする。
【解決手段】画像処理装置は、複数の検査プログラムが格納された記憶部と、ユーザ操作で所望の検査設定を行う検査設定部と、装置全体を制御する制御部とを備え、検査設定部は予め複数の設定項目を含むデータテーブルが設けられている。検査設定において、ユーザは検査目的の項目を選択する第1の決定ステップ(S211)と、対象物の画像の特徴を選択する第2の決定ステップ(S212)と、検査基準の項目を選択する第3の決定ステップ(S213、S215)とにより、各設定項目を決定すると、制御部はユーザの最終設定項目の検査基準に適合する検査プログラムを自動的に設定する(S214、S216)。これにより、検査プログラムの選定を直接行わなくてよいので、不慣れなユーザでも容易に迅速に検査設定することができる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラで撮像した対象物の画像データを画像処理して、対象物の外観検査等の製品検査を行うことができる画像処理装置及びこれを用いた画像処理方法に関する。
【背景技術】
【0002】
従来から、この種の画像検査装置は、主として、製品の製造工程において、部品等の品種の識別、異種部品の混入検出、組立て作業や製品検査の自動化のため、対象物をカメラで撮像し、対象物の面積、形状、位置など、画像データの特徴を測定・認識することで、良品、不良品の判定に用いられている。このような検査において、画像処理の検査対象は千差万別であり、検査目的も多岐に亘っている。また、これらの検査目的を実現するために、多くの処理アルゴリズムが必要であり、それぞれの検査対象に最適な処理アルゴリズムが存在する。したがって、このような画像処理装置においては、ユーザは、検査開始に先立って、希望の検査目的に適合する最適な処理アルゴリズムを設定しなければならない。そのため、ユーザは、先ず、所定の検査設定操作によって、検査目的にあった処理アルゴリズムを選択する必要があった。
【0003】
ところで、従来の画像検査装置における処理アルゴリズムの選択方法としては、例えば、各処理アルゴリズムに画像処理の特徴を表す名称(例えば、エッジ検査、マッチング検査等)を付けて選択させる方法、各処理アルゴリズムに適した用途を名称(例えば、平均濃淡値等)にして選択させる方法があった。しかし、これらの方法は、画像処理に不慣れなユーザにとっては、検査対象と目的及び希望する検査結果を理解していたとしても、どの処理アルゴリズムを使えば、検査対象に対して検査が可能で、必要な検査目的が達成されるかの選択は、経験やノウハウに依存する部分が多いため、処理アルゴリズムの選択は困難な作業となっていた。また、他の方法として、ある業種によく使われる検査対象および検査目的のリスト(例えば、電機業界の電気部品毎の検査リスト、食品業界で使用する食品の入れ物毎の検査リスト等)を挙げ、それを選ばせることで、処理アルゴリズムに対応させる方法がある。しかし、この方法は、ユーザフレンドリな選択方法にはなってきているが、各業種における膨大な検査対象と検査目的をすべて網羅することが困難であり、検査対象と検査目的を絞る必要があるため、検査の選択範囲が制限され、検査目的に当てはまらない場合があった。
【0004】
また、従来の画像検査装置として、検査対象物品に相当する入力画像と基準画像とをユーザにより設定された照合プログラムに従って照合することにより、検査対象物品を視覚的に検査する画像処理装置において、検査種別の入力により、必要な操作案内が自動的に行われて、この操作案内により検査に適合する画像照合プログラムの設定を行うものが知られている(例えば、特許文献1参照)。しかしながら、この装置では、初心者は、先ず、検査種別を選択において、イラスト等の説明で検査種別に対応する検査内容を理解してから選択し、さらに選択された検査種別に対応する検査方法を、前記と同様にイラストで理解してから選択することにより、検査に必要な画像照合プログラムの設定が行われていた。このため、ユーザが画像照合プログラムを設定するまで選択ステップが多く、検査設定を決定するまでに時間が掛かるという問題があった。
【特許文献1】特開2001−165863号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
本発明は、上記の問題を解決するためになされたものであり、画像検査に不慣れなユーザでも、検査設定において検査プログラムを容易に迅速に設定することができる画像処理装置及びこれを用いた画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するために請求項1の発明は、撮像部により撮像された対象物の画像を元に該対象物を検査する画像処理装置であって、複数の検査プログラムが格納された記憶部と、ユーザ操作により所望の検査設定を行う検査設定部と、装置全体を制御する制御部と、を備え、前記検査設定部には、予め複数の設定項目からなるデータテーブルが設けられ、ユーザにより対象物の検査設定が行なわれるとき、前記データテーブルの複数の設定項目の中から一つの設定項目を選択する決定ステップを複数回行った後に、前記制御部は、前記決定ステップの最後に選択された設定項目に対応した検査プログラムを前記記憶部より呼び出して、検査を実行するものである。
【0007】
請求項2の発明は、請求項1に記載の画像処理装置において、前記設定項目は、検査目的を示す項目と、対象物の画像の特徴を示す項目と、対象物の検査基準を示す項目と、を有し、前記決定ステップは、前記検査目的を示す項目を選択する第1の決定ステップと、前記対象物の画像の特徴を示す項目を選択する第2の決定ステップと、前記対象物の検査基準を示す項目を選択する第3の決定ステップと、を有するものである。
【0008】
請求項3の発明は、撮像部により撮像された対象物の画像を元に該対象物を検査する画像処理方法であって、対象物の検査設定を行なう場合に、検査目的を示す複数の項目から一つの項目を選択する決定ステップと、対象物の画像の特徴を示す複数の項目から一つの項目を選択する決定ステップと、対象物の検査基準を示す項目であって、選択されることにより処理アルゴリズムが決定される複数の項目から一つの項目を選択する決定ステップと、を有するものである。
【発明の効果】
【0009】
請求項1の発明によれば、ユーザは、データテーブルから検査の設定項目を選択するだけで必要な検査プログラムを自動的に設定できるので、アルゴリズム名称等から検査プログラムを選択する必要がなくなり、不慣れなユーザでも所望する検査設定を容易に簡単に行うことができる。
【0010】
請求項2の発明によれば、ユーザは、検査目的、対象物の画像の特徴、対象物の検査基準の分かり易い3ステップで設定項目の選択作業を行うことができるので、少ないステップで簡単に検査のための設定項目を選択でき、検査設定作業を迅速に行うことができる。
【0011】
請求項3の発明によれば、3つの分かり易い決定ステップで設定項目を選択できるので、画像処理検査に不慣れなユーザでも、簡単に検査設定できる。
【発明を実施するための最良の形態】
【0012】
以下、本発明の実施形態を図1を参照して説明する。この画像処理装置は、TVカメラ1、画像撮入メモリ2、表示部3、画像表示メモリ4、検査設定部5、オーバーレイメモリ6、制御部7、ROM8、RAM9、入力操作部10を備えている。この画像処理装置は、例えば、製造ラインなどの検査工程において、検査対象物の撮像画像の画像処理に基く、形状、面積、位置などの画像データの特徴の測定、認識、検査等に使用されるものである。
【0013】
TVカメラ1は、対象物を撮像する。画像撮入メモリ2は、対象物が撮像されてなる撮像画像を格納する。表示部3は、撮像画像を表示するものであり、表示画面31が設けられている。画像表示メモリ4は、表示部3の有する表示画面31に表示される撮像画像を格納する。検査設定部5は、予め複数の設定項目からなるデータテーブルが設けられ、ユーザ操作により所望の検査設定を行う。オーバーレイメモリ6は、表示部3の表示画面31でオーバーラップ表示をするためのデータを格納している。
【0014】
制御部7は、CPUを備え、表示画面31の表示画像に関して計算を行い、所定の設定条件に基き画像処理を実行すると共に、装置全体を制御する。ROM(記憶部)8は、対象物を検査するための複数の検査プログラムが格納されると共に、制御部7の動作手順を格納している。RAM9は、制御部7が動作するための記憶領域を有している。入力操作部10は、例えば、キーボードであって、ユーザにより所定の処理条件が入力操作される。また、本装置では、この入力操作部10による画像処理の操作の際、撮像画像を表示する表示画面31に検査処理設定の操作案内が表示される(図4参照)。
【0015】
本実施形態の画像処理装置における画像処理設定の全体の手順について、図2(a)、(b)を参照して説明する。画像処理装置では、図2(a)に示すように、先ず、ユーザは、検査対象物を撮像するためのTVカメラ1の設定を行い(S1)、検査対象物を検査するための必要な処理アルゴリズム設定を行う(S2)。次に、処理アルゴリズム設定に基き、照合画像に対する位置補正設定を行い(S3)、検査の判定に必要な数値及び判定演算設定を行って(S4)、所望の検査結果を出力する結果出力設定を行う(S5)。また、ステップ2の処理アルゴリズムの設定では、図2(b)に示すように、まず、ユーザは、処理アルゴリズムの選択を行い(S21)、この選択された処理アルゴリズムに基いて、対象物の検査したい検査領域設定を行い(S22)、検査に必要なパラメータ設定(S23)を行う。したがって、画像処理検査では、まず、最初に行う処理アルゴリズム選択(S21)が重要であり、処理アルゴリズムの選択が画像処理検査全体の最適で迅速な処理を左右する。本実施形態の画像処理装置は、特に、この処理アルゴリズム選択を容易にするものである。
【0016】
ここで、本実施形態の画像処理装置において、処理アルゴリズム選択のために、検査設定部5で設定されるデータテーブルについて、下記表1、表2を参照して説明する。
【0017】
【表1】

【0018】
表1、表2において、検査設定の設定項目は、検査設定に必要な複数の各設定項目を備え、検査目的を示す項目と、対象物の画像の特徴を示す項目と、対象物の検査基準を示す項目とからなる。対象物の画像の特徴を示す項目は、「白黒」の場合と「濃淡」の場合があり、特徴「白黒」と「濃淡」の各設定に対応して、検査基準の項目は、ユーザの要求する結果情報としての要求結果情報P、Qをそれぞれ表1、表2に示している。また、表1、表2におけるデータテーブルは、各表の上欄の横方向には、検査目的の9項目を示し、左欄の縦方向には、処理アルゴリズム(検査プログラム)を示し、それらの縦横のマトリックスの位置に要求結果情報P、Qがそれぞれ記載されている。このデータテーブルから「検査目的」と「特徴」と「要求結果情報」を選択することにより、左欄の縦方向の処理アルゴリズムが自動的に決定される。また、処理アルゴリズムは、表1では2値化処理されるアルゴリズムを用いることを示し、表2では濃淡化処理されるアルゴリズムを用いることを示す。なお、各表において、該当する検査基準項目がない場合は、斜線を施している。
【0019】
【表2】

【0020】
上記表1のアルゴリズム欄において、「ライン」は、線上に一列にある対象物の個数を検出するアルゴリズムで、「2値化ウインドウ」は、対象画像を2値化して面積測定するものである。「特徴抽出」は、対象画像の特徴領域内の2値化による個数、面積、重心、主軸方向を測定するものであり、「2値化エッジ」は、線上の対象画像のエッジ検出による個数、長さ、座標の測定等を行う。
【0021】
表2のアルゴリズム欄において、「濃淡ウインドウ」は、検査範囲の平均濃淡値(明るさ)を測定するものであり、「濃淡エッジ」は、エッジの個数、エッジ間の長さを判定するものである。「リード」は、IC等のリード線のピッチ、幅、本数等を判定するものである。また、「マッチング」は、登録パターンと一致させて個数、座標間の長さ、座標位置、角度、面積を判定するものである。また、「輪郭マッチング」は、対象画像に複数画像の重なりがある場合に、輪郭のマッチング処理により判定するものである。また、「傷検知」は、明るさの変化のある場所を検知して判定するものである。なお、これらの処理アルゴリズムは、この種の画像処理装置において種々公知であるので、ここでは詳細な説明は省略する。
【0022】
上記表1、2において、検査目的は、通常、有無検査、長さ検査、位置(ずれ)検査、個数(又は本数)検査、大きさ検査、方向検査、明るさ検査、外観(汚れ、傷、バリ、欠け)検査、「基準との違い」検査における9項目でほぼ網羅できる。また、これらの項目は、不慣れなユーザでも理解できるものである。
【0023】
例えば、有無検査は、対象物の特定位置に、部品・マーク・穴等があるか無いかを検査するもので、基板上の電子部品有無検査、基板上のはんだ有無検査、ラベル有無検査、錠剤有無検査等を行う。長さ検査は、指定した2点間の位置関係・距離が正しい範囲内にあるかどうかを検査するもので、ボルトの長さチェック、成型品の寸法検査等を行う。位置(ずれ)検査とは、指定したマーク・穴等の位置を求め、それが正しい範囲内にあるかを検査するもので、プリント基板の位置チェック、ラベルのずれチェック、ねじ穴位置チェック等を行う。
【0024】
個数(又は本数)検査は、ある一定範囲、線上にあるマークの個数、ICの端子の本数などのチェックを行う。大きさ検査は、対象物の面積の大きさにより検査するものであり、方向検査とは、対象物の方向が正しいかどうかを検査するもので、ICの方向、ラベルの方向チェック等に用いられる。
【0025】
また、明るさ検査は、検査範囲全体の平均の明るさを検査するものである。外観検査は、汚れ・キズ検査及びバリ・カケ検査を含み、指定した範囲内に、キズ・汚れ・ごみ等が無いこと、及び対象物の輪郭・外周に、不正なカケ・バリが無いこと等をそれぞれ検査するもので、ピンホールのチェック、シートのしみチェック等に使用される。基準との違いの検査とは、例えは、名刺等で文字のパターンが基準パターンとずれていないか、不要な刻印がないかなど、基準のパターン等との違いを検査するものである。
【0026】
次に、対象物の画像の特徴を示す項目は、撮像画像において明暗がはっきり分かれていて、白黒で判定できる場合に、画像特徴を「白黒」として表し、一方、白黒画像にすると検査対象を明確に判定できない場合に、画像特徴を「濃淡」として表す。これらの選択においては、「白黒」を選択した場合は、処理アルゴリズムは2値化処理により画像処理のスピードを速くでき、「濃淡」選択した場合は、濃淡化処理により詳細に検査することができる。
【0027】
ここで、表1、表2に示される検査基準の要求結果情報について説明する。これらの表において、対象物の検査基準を示す項目は、前記検査目的の各項目毎に、検査対象画像の特徴の「白黒」、「濃淡」の選択に対応して、ユーザが必要とする具体的な要求結果情報を詳細に示す。
【0028】
検査目的が「有無」の場合は、検査基準の要求結果情報として、検査対象が有るか無いかを、ユーザに分かり易いように選択項目として、「一列に並ぶ対象の個数で判定」、「面積で判定」、「一列に並ぶ対象のエッジ個数で判定」、「明るさの変化で判定」、「登録パターンと一致するものの個数で判定」を判定項目としている。これにより、対象画像の特徴が「白黒」のときは、「一列に並ぶ対象の個数で判定」、「面積で判定」、「対象の面積または個数変化で判定」、「一列に並ぶ対象のエッジ個数で判定」の基準項目とし、対象画像の特徴が「濃淡」のときは、「明るさの変化で判定」、「一列に並ぶ対象のエッジ個数で判定」、「登録パターンと一致するものの個数で判定」(重なりがないとき)、「登録パターンと一致するものの個数で判定」(重なりがあるとき)の項目を設けている。
【0029】
また、検査目的が「長さ」の場合は、検査基準の要求結果情報は、上記と同様に、ユーザに分かり易いように選択項目として、特徴選択が「白黒」の場合は、「エッジ間の長さ」とし、特徴選択が「濃淡」においては、「エッジ間の長さ」、「リードのピッチ及び幅」、「登録パターンと一致した対象の座標間長さ」(重なりがないとき、あるときに分ける)の各項目を設けている。
【0030】
また、検査目的が位置(ずれ)の場合は、上記と同様に、選択項目として、特徴選択が「白黒」の場合は、「特徴の重心座標位置」、「エッジ座標位置」の項目を設け、特徴選択が「濃淡」の場合は、「エッジ座標位置」、「登録パターンと一致した対象の座標位置」(重なりがないとき、あるときに分ける)の各項目を設けている。
【0031】
また、検査目的が個数(本数)の場合は、検査基準の要求結果情報は、特徴が「白黒」のときは、「一列に並ぶ対象の個数」、「ばらばらに配置された対象の個数」の各項目を設定し、特徴に「濃淡」を選択したときは、「リードの本数」、「登録パターンと一致した対象の個数」の各項目を設定している。
【0032】
また、検査目的が「大きさ」の場合は、面積の測定により検査が可能なので、検査基準の要求結果情報は、特徴選択が「白黒」の場合のみで行い、「対象の総和面積」、「対象の個別の面積」の項目を設定している。これにより、選択肢を減らして選択作業を簡潔にしている。
【0033】
また、検査目的が「方向」の場合は、検査基準の要求結果情報は、特徴に「白黒」を選択した場合は、2値化処理で判定できる「対象の主軸方向」の項目のみとし、特徴選択が「濃淡」の場合は、「登録パターンと一致した角度」(重なりがないとき、あるときに分ける)の項目のみとしている。
【0034】
また、検査目的が「明るさ」の場合においては、特徴選択を「濃淡」のみとし、要求結果情報は、検査範囲の明るさを測定すればよいので「検査範囲全体の平均の明るさ」の項目だけとする。
【0035】
また、検査目的が「外観」(汚れ、傷、ばり、かけ)の場合は、特徴選択を「濃淡」のみとし、外観は、傷等の周辺の明るさの変化で検知できるので「明るさの変化のある箇所を検知して判定」の項目だけとしている。
【0036】
また、検査目的が「基準との違い」の場合は、特徴選択を「濃淡」のみとし、登録パターンとの違いを検知する「登録パターンと異なる部分の面積で判定」の項目だけとしている。
【0037】
上記のように、検査基準の選択項目は、ユーザが直接的に知りたい要求結果情報の内容の表現を用いて、ユーザに検査基準を分かり易くした表現にしている。これにより、処理アルゴリズムの内容を知らない不慣れなユーザであっても検査基準の項目を容易に理解して選択することができる。
【0038】
次に、本実施形態における検査設定の動作手順について、図3、図4及び図5を参照して説明する。図3において、ユーザは、図4(a)の表示部3の表示画面31に示される検査目的を選定し(ここでは、「a有無」を選択)(S211)(第1の決定ステップ)、続けて、検査対象画像の特徴において「A」の「白黒」を選択すると(S212でYES)(第2の決定ステップ)、表示画面31は、図4(b)の「a有無」で「白黒」選択時の要求結果情報(P)の選択画面に替り、ユーザは、この画面に表示される検査基準41乃至44から所望する検査基準の要求結果情報(P)を選択する(S213)(第3の決定ステップ)。この選択により、制御部7は、S213の最後に選択された検査基準41乃至44の1つの設定項目に対応した処理アルゴリズム(表1参照)をROM8より自動的に呼び出して(S214)、検査設定が終了すると共に、この検査設定に従って検査を実行する。
【0039】
一方、S212で濃淡処理を選択した場合は(S212でNO)(第2の決定ステップ)、上記と同様に、表示画面31は、図4(c)の濃淡時の要求結果情報(Q)の選択画面に替り、ユーザはこの画面に表示される検査基準45乃至48から所望する検査基準を選択する(S215)(第3の決定ステップ)。この選択により、制御部7は、S213の最後に選択された検査基準45乃至48の1つの設定項目に対応した処理アルゴリズム(表2参照)をROM8より自動的に呼び出して(S216)、検査設定を終了すると共に、この検査設定に従って検査プログラムを実行する。
【0040】
上記の図4(b)、(c)における表示は、検査目的の選択が「有無」検査の場合を示しているが、図5に示すように、他の検査目的を選択した場合も、同様に行うことができる。すなわち、表示部3で検査目的と特徴の選択により、これらに対応する要求結果情報を表1、表2のデータテーブルを基に、表示画面31に表示して検査設定を選択することできる。また、検査目的によって、検査対象の特徴選択は、「白黒」、又は「濃淡」のいずれかしか選択肢が存在しない場合(例えば、方向、明るさ、外観など)があるが、それらの検査目的では、「白黒」又は「濃淡」のいずれか一方の処理アルゴリズムが望ましいので予め選択を絞っている。
【0041】
このように、本実施形態の画像処理装置によれば、ユーザが最後に選択した設定項目により、必要な検査プログラムが自動的に設定されるので、ユーザは、データテーブルの検査基準から設定項目を1つ選択するだけでよい。したがって、ユーザは専門的なアルゴリズム名称、用途名称などの検査プログラムを選択する必要がなく、検査プログラムの選定作業を行わなくてよいので、画像処理検査に不慣れであっても、所望する検査設定を容易に行うことができる。また、データテーブルを設けて、設定項目の選択を検査目的、対象物の画像の特徴、検査基準の3ステップによる少ない選択ステップで選択作業を行うことができるので、所望する選択を簡単に迅速に行うことができる。また、データテーブルにユーザの要求結果情報に沿った分かり易い表現の検査基準を設けたことにより、ユーザは、検査プログラムを意識せず、自動的に処理アルゴリズムを選択することができる。また、上記検査基準の表現は、ある業界に限定された表現でないので、ユーザの希望する検査基準に該当させ易く、異なる業界の検査対象物であっても適用することができる。
【0042】
また、本画像処理装置を用いて対象物を検査する方法を用いれば、画像処理検査に不慣れなユーザでも、検査設定を簡単に迅速に行うことができる。
【0043】
なお、本発明は、上記実施形態等に限られるものでなく、さらに適宜に変更することができる。例えば、本実施形態では、決定ステップを3ステップとしたが、必要に応じて濃淡と白黒の選択を省略して選択のステップ数を削減することや、逆に3ステップ以上に増やしてより詳細な検査設定を行うことも可能である。
【図面の簡単な説明】
【0044】
【図1】本発明の実施形態に係る画像処理装置の構成図。
【図2】(a)は上記画像処理装置の全体の手順を示すフローチャート、(b)は(a)の処理アルゴリズム設定の手順を示すフローチャート。
【図3】上記画像処理装置の検査設定の手順を示すフローチャート。
【図4】(a)、(b)、(c)はそれぞれ上記動作手順における各ステップの操作案内画面を示す図。
【図5】上記画像処理装置の検査設定手順の全体概要を示す図。
【符号の説明】
【0045】
1 TVカメラ(撮像部)
5 検査設定部
7 制御部
8 ROM(記憶部)

【特許請求の範囲】
【請求項1】
撮像部により撮像された対象物の画像を元に該対象物を検査する画像処理装置であって、
複数の検査プログラムが格納された記憶部と、
ユーザ操作により所望の検査設定を行う検査設定部と、
装置全体を制御する制御部と、を備え、
前記検査設定部には、予め複数の設定項目からなるデータテーブルが設けられ、
ユーザにより対象物の検査設定が行なわれるとき、前記データテーブルの複数の設定項目の中から一つの設定項目を選択する決定ステップを複数回行った後に、前記制御部は、前記決定ステップの最後に選択された設定項目に対応した検査プログラムを前記記憶部より呼び出して、検査を実行することを特徴とする画像処理装置。
【請求項2】
前記設定項目は、検査目的を示す項目と、対象物の画像の特徴を示す項目と、対象物の検査基準を示す項目と、を有し、
前記決定ステップは、前記検査目的を示す項目を選択する第1の決定ステップと、
前記対象物の画像の特徴を示す項目を選択する第2の決定ステップと、
前記対象物の検査基準を示す項目を選択する第3の決定ステップと、を有することを特徴とする請求項1記載の画像処理装置。
【請求項3】
撮像部により撮像された対象物の画像を元に該対象物を検査する画像処理方法であって、
対象物の検査設定を行なう場合に、
検査目的を示す複数の項目から一つの項目を選択する決定ステップと、
対象物の画像の特徴を示す複数の項目から一つの項目を選択する決定ステップと、
対象物の検査基準を示す項目であって、選択されることにより処理アルゴリズムが決定される複数の項目から一つの項目を選択する決定ステップと、
を有することを特徴とする画像処理方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2008−241424(P2008−241424A)
【公開日】平成20年10月9日(2008.10.9)
【国際特許分類】
【出願番号】特願2007−81542(P2007−81542)
【出願日】平成19年3月27日(2007.3.27)
【出願人】(000005832)松下電工株式会社 (17,916)
【Fターム(参考)】