パターン認識方法、それに用いられる教示データ生成方法およびパターン認識装置
【課題】欠陥データを生成して不足分を補い認識率を高めるパターン認識方法と、それに用いる教示データの生成方法を提供する。
【解決手段】教示ファイルに格納されている多数の教示データに基づいて学習し、パターン認識して欠陥判定をする外観検査装置であって、一のデータを変形して新たな教示データを生成する教示データ生成装置４０を備えており、教示ファイル３５中の多数の教示データのうち、データ数の少ない特定の教示データについては、その特定の教示データを変形して新たな教示データを生成し、その生成された教示データを前記教示ファイルに補充して欠陥認識させる。生成すべき教示データが画像データであるときは、画像の拡大、縮小、回転を含むアフィン変換と、明るさ、コントラスト、エッジ強度を含む属性変換を行うことにより、新たな教示データを生成する。
【解決手段】教示ファイルに格納されている多数の教示データに基づいて学習し、パターン認識して欠陥判定をする外観検査装置であって、一のデータを変形して新たな教示データを生成する教示データ生成装置４０を備えており、教示ファイル３５中の多数の教示データのうち、データ数の少ない特定の教示データについては、その特定の教示データを変形して新たな教示データを生成し、その生成された教示データを前記教示ファイルに補充して欠陥認識させる。生成すべき教示データが画像データであるときは、画像の拡大、縮小、回転を含むアフィン変換と、明るさ、コントラスト、エッジ強度を含む属性変換を行うことにより、新たな教示データを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パターン認識方法、それに用いられる教示データ生成方法およびパターン認識装置に関する。さらに詳しくは、カメラを用いて印刷物や無地面（紙、フィルム、金属など）の対象物を撮像し、パターン認識やパターン分類をすることにより、製品や部品の外観欠陥の検査や類別を行う装置に広く適用されるパターン認識方法、それに用いられる教示データ生成方法およびパターン認識装置に関する。
【背景技術】
【０００２】
例えば、印刷欠陥等の検査は、かつては人の手により行われていたが、パターン認識を応用した外観検査装置が導入され効果を上げてきている。しかし、検査装置の多くは対象の良否の判定を行うのみで、そのままでは不良の発生を抑えたり修正したりするためには役立たない。そこで、印刷欠陥をパターン認識したうえで、欠陥の種類を分別し、さらに発生原因を推定して、その結果を早期にフィードバックすることのできる検査装置の開発が求められている。
【０００３】
ところで、印刷物の欠陥検査の場合、図１３に示すような「穴」、「しみ」、「凸」、「すじ」などの印刷欠陥は多くの場合、同一種であっても形状や大きさなど特徴量の変動が大きいので、このような欠陥の認識システムの開発は、画像処理専門家の多大な労力を要する作業となっている。
そこで、外観検査システムは、非専門家でも簡単に操作でき、実例を示しながら自動的にシステム構成を行う学習型システムに対する期待が大きくなっている。
【０００４】
特許文献１の技術は、上記に応えるものであり、印刷欠陥の種別ごとの特徴を言語または図形記号のようなメディアを用いて欠陥記述として指示し、この支持された欠陥記述をメンバシップ関数でファジー処理し、このファジー処理を行うファジー推論部の出力を、前記ファジー推論部を入力層とする階層形ニューラルネットワークに入力して、このネットワークにより前記検出により得た欠陥の種別を判定するようにしている。このように、あらかじめ画像の特徴ごとに記述用のクラス名を登録しておくことで、新しい欠陥の登録を感覚的な言葉で記述でき、またその記述を元に、ネットワークの構造を設計し、設計どおりのネットワークを構成するための教示もすることができる。その結果、数種類の欠陥について、高い認識率を得ることができた。
【０００５】
しかし、上記従来技術は欠陥の発生頻度が高い印刷欠陥については、十分な認識率を示すが、発生頻度が低い印刷欠陥については、他の欠陥と比べてデータ数が少なくなるため、教示が十分に行えずにその欠陥の認識率が低下するという問題が指摘されている。
【０００６】
【特許文献１】特開平７−３３３１７０号
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は上記事情に鑑み、発生頻度の低い等の理由によりデータ数が少ない場合であっても高い認識率を達成できるパターン認識方法、それに用いられる教示データ生成方法およびパターン認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
第１発明のパターン認識方法は、教示ファイルに格納されている多数の教示データに基づいて学習し、パターン認識をするパターン認識方法であって、前記教示ファイル中の多数の教示データのうち、データ数の少ない特定の教示データについては、その特定の教示データを変形して生成した新たな教示データを補充してパターン認識させることを特徴とする。
第２発明のパターン認識方法は、第１発明において、前記パターン認識方法が、パターン分類を行うものであって、その分類クラス毎の教示データ数に偏りがある場合に、データ数の少ない教示データを変形して、新たな教示データを生成することを特徴とする。
第３発明の教示データ生成方法は、生成すべき教示データが画像データであるとき、画像の拡大、縮小、回転を含むアフィン変換と、明るさ、コントラスト、エッジ強度を含む属性変換を行うことにより、新たな教示データを生成することを特徴とする。
第４発明のパターン認識装置は、教示ファイルに格納されている多数の教示データに基づいて学習し、パターン認識をするパターン認識装置であって、一のデータを変形して新たな教示データを生成する教示データ生成装置を備えており、前記教示ファイル中の多数の教示データのうち、データ数の少ない特定の教示データについては、前記教示データ生成装置により、前記特定の教示データを変形して新たな教示データを生成し、その生成された教示データを前記教示ファイルに補充してパターン認識させることを特徴とする。
第５発明のパターン認識装置は、第４発明において、前記教示データ生成装置が、前記パターン認識装置に内蔵されていることを特徴とする。
第６発明のパターン認識装置は、第５発明において、前記教示データ生成装置が、前記パターン認識装置とは独立して存在して、ネットワークで接続されていることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、データ数が少ないものには、それを変形した教示データを補充してデータ数を増やせるので、パターン認識に際し、高い認識率を達成できる。
また、新たな教示データの生成には、アフィン変換と属性変換により、適正なパターンの変形データが得られるので、変形データの生成が容易である。
【発明を実施するための最良の形態】
【００１０】
つぎに、本発明の実施形態を図面に基づき説明する。
本発明の特徴は、パターン認識の実施に適用される教示データの生成技術にあり、その生成技術は印刷欠陥等の外観検査や紙、フィルム、金属などの無地面の欠陥の検出に用いられるパターン認識装置に適用される。本明細書でいうパターン認識は、広く上記の検査に利用される認識技術をいう。つぎに本発明を説明する前に適用対象である印刷欠陥の外観検査装置を説明しておく。
図１は本発明が適用されるパターン認識装置の一種である外観検査装置のブロック図である。図１における印刷物ｍはローラからローラに巻取られるようになっており、検査対象となる同一の印刷パターンが複数個、印刷物ｍの長手方向（流れ方向）に沿って一定の間隔で配置されて印刷されている。外観検査装置は、この印刷物ｍ上の印刷欠陥を検出して判定するもので、カメラＣと認識装置Ａとから構成されている。
カメラＣは、印刷物ｍの例えば上方に設置されている。このカメラＣは、複数の光電変換素子、例えばＣＣＤ（charge coupled device）素子を１列（ライン状）に整列して構成した撮像手段であり、撮像信号Ｓを認識装置Ａへ出力するようになっている。
本発明において重要な教示データ生成装置４０は前記認識装置Ａに接続されたり、組込まれたりするのであるが、その詳細は後述する。
【００１１】
前記認識装置Ａは、処理部１０と判定部３０とを備えている。
前記処理部１０は、カメラＣから出力される信号（撮像信号Ｓ）を処理して印刷物ｍの各印刷パターンに含まれる欠陥を抽出するとともに、その処理結果に基づいて抽出された欠陥を表示器２０に表示させる。
また、判定部３０は処理部１０に接続されており、処理部１０での処理結果を元に欠陥の種別を判定する。この判定部３０にはパーソナルコンピュータ等により構成された、教示データ生成装置４０が接続されているが、この教示データ生成装置４０は入力手段も兼ねるものであって、判定部３０に対する初期教示の操作等各種の操作が行われるようになっている。なお、４１はモニタである。
【００１２】
図２に基づき、処理部１０の具体的構成を説明する。
処理部１０は、Ａ／Ｄ変換器１１と、１周期分画像メモリ１２と、比較回路１３と、相違部検出回路１４とを備えている。前記カメラＣから出力される撮像信号ＳはＡ／Ｄ変換器１１に入力され、カメラＣの各画素毎の（多値の）ディジタルデータに変換され、このデータは１周期分画像メモリ１２と比較回路１３とにそれぞれ出力される。
【００１３】
１周期分画像メモリ１２は、前記印刷パターンの１周期分に相当するカメラＣからの出力データ（画像データ）を記憶する。このメモリ１２に記憶された画像は標準画像Ａ（図３参照）である。この標準画像Ａには、予め準備され登録された欠陥がない印刷パターンについての正常な画像が用いられる。なお、同一印刷パターンが続く場合に、その印刷パターンを用いてもよい。
【００１４】
比較回路１３は、リアルの撮像画像Ｂ（図３参照）として入力されるカメラＣからの画像データに対応するアドレスの画像データを、１周期分画像メモリ１２に記憶された１周期前の標準画像Ａのデータの中から読み出して重ね合わせて比較するものであり、相違部検出回路１４は比較回路１３からの出力を受けて標準画像Ａと撮像画像Ｂとの間の相違部を検出し、その相違部を解析するようになっている。
つまり、図３に示すように処理部１０は、標準画像Ａと撮像画像Ｂとを重ね合わせて比較し、両画像Ａ，Ｂ間の相違部を抽出し、検出された相違部のうち欠陥についての画像部分のみを判定部３０に出力する。
【００１５】
図２に示すように判定部３０は、特徴値抽出回路３１と、複数のファジー回路３２と、ニューラルネットワーク３３と、初期設定回路３４と、教示用ファイル３５とを備えている。
【００１６】
前記特徴値抽出回路３１は、処理部１０で抽出されて特徴値抽出回路３１に入力される欠陥画像を２値画像化して、この欠陥画像を数値的に評価するための特徴値を計算により求める回路である。
欠陥の特徴値としては、その面積（大きさ）、円形度、直線度、矩形度、明るさ、コントラスト、エッジ強度等である。
大きさ特徴値は、欠陥の総画素数により求め、円形度特徴値は、前記面積と欠陥の周囲長との比により求め、直線度特徴値は欠陥の長軸長と短軸長との比により求め、矩形度特徴値は、欠陥の長軸長と短軸長の積で表される欠陥に外接するボックス面積と前記欠陥の面積との比により求められる。また、明るさ特徴値は欠陥の重心位置の明るさを求め、コントラスト特徴値およびエッジ強度特徴値は、いずれも周囲との関係を認識するために求められる。
【００１７】
前記特徴値抽出回路３１は、特徴値の種類に応じた数の出力端を有し、これら出力端にはそれぞれ別々にファジー回路３２が接続されている。これらファジー回路３２は、ニューラルネットワーク３３の入力層をなし、内部関数としてファジー推論のメンバーシップ関数を持つとともに、特徴値が入力されると、それに対応するクラス値（所属度値）を出力する。例えば、欠陥の面積特徴値で代表して（以下同じ）説明すれば、面積は「大きい」、「やや大きい」、「中くらい」、「やや小さい」、「小さい」等の５段階のクラス（クラス１〜クラス３、…クラスｎ）の所属度に分けられ、特徴値抽出回路３１から入力された面積特徴値が前記５段階のどのクラスに当たるのかを判定し、それをニューラルネットワーク３３に出力する。
【００１８】
前記ニュ−ラルネットワーク３３は２段構成となっている。すなわち、２段ニューラルネットワーク（以下２段ＮＮと略す）は、１段目に欠陥の種類を分類するＦＮＮがあり、ここで欠陥の種類を分類する。２段目には１段目のＦＮＮの出力層ユニット数と同じ数だけの（以下、ＮＮと略す）があり、１段目の分類結果に対応したＮＮのみが動作する。ここではそれぞれ欠陥の大きさ等のレベルを分類する。ＮＮの入力値は１段目、２段目ともに同じものが使用されている。なお、この構成は一例であり、１段目も２段目もＮＮで構成するなど、任意の構成をとってよい。
【００１９】
２段ＮＮの処理の流れを図４に基づき説明する。最初に欠陥画像に対してフィルタ処理を行い特徴値を抽出する。その特徴値を１段目のＦＮＮに入力し（101）、動作させる。これにより欠陥の種類が分類される（102）。次に、１段目で分類された欠陥の種類に対応したレベル分類ＮＮを起動して、欠陥のレベルを分類する（103）。例えば、１段目のＦＮＮが、ある欠陥画像を「しみ」欠陥と分類した場合は、２段目の「しみ」欠陥レベル分類ＮＮを起動する（103）。この結果、欠陥種類とその欠陥のレベルが分類されることになる（104）。
【００２０】
上記のニュ−ラルネットワーク３３の詳細を説明する。
（１段目ＦＮＮの概要）
（１）ＦＮＮの構成
ＦＮＮは、三層構造のパーセプトロン型ＮＮの前段にファジー推論部を持った構造である。なお、入力値には欠陥画像からフィルタ処理によって抽出された「面積」、「明るさ」、「円形度」などの特徴値を用いる。
（２）ファジー推論部の働き
人間が用いる「大きい」、「小さい」などの感覚的な表現には、数値的な厳密さがないので、これをファジー推論の応用により「大きい」、「小さい」などの言葉に置き換える。
ファジー推論部はＮＮの入力層に直結しており、メンバーシップ関数により特徴表現へのクラス値に変換する。この関数は予め設定された各特徴記述間の境界値をもとに生成する。
（３）中間層ユニット
ＦＮＮでは、中間層のユニット数は欠陥の特徴表現の数により決定する。また、全体をバックプロパゲーション法で教示する前に、初期教示により中間層の教示を行い、中間層のユニット構成の方向を指定する。初期教示とは、中間層にも教示データを与えて入力層から中間層、中間層から出力層の教示を行うことを指す。
（４）出力層ユニット
出力層のユニット数は欠陥の種類数に対応する。ここで判断された欠陥の種類に応じて、その欠陥専用のレベル分類ＮＮを起動する。
【００２１】
（２段目レベル分類ＮＮの概要）
（１）レベル分類ＮＮの構成
２段目レベル分類ＮＮは、入力、中間、出力層の３層構造である。最初に１段目の分類結果に対応する２段目レベル分類ＮＮを１つだけ起動する。起動した欠陥レベル分類ＮＮは、１段目で使用した入力データと同じデータを受け取り、欠陥のレベルが分類される。
２段目にＦＮＮを使用しない理由は、２段目のレベル分類ＮＮは、１種類の欠陥中のレベルを分類しなければならないため、正確な値が必要になることに起因する。
（２）レベル分類ＮＮの入力層の動作
各欠陥のレベル分類ＮＮの入力値には、１段目ＦＮＮで用いた入力値と同じ値を用いる。よって入力層のユニット数は、入力値の数と同じとなる。しかし、各入力値のとる範囲は異なるためそのまま入力できない。そのため、ここでは各入力値のとる最大値で割ることによって入力値が０から１の範囲となるように正規化を行う。
（３）レベル分類ＮＮの出力層の動作
出力層のユニット数は、レベル分類対象となる欠陥の最大レベル数と同じとなる。ここで分類した結果が、２段ＮＮの分類結果となる。
【００２２】
以上のように、判定部３０は、ファジー推論部とニューラルネットワークとを組合わせてなるファジーニューラルネットワークであり、このネットワークは三層の階層形ニューラルネットワークとなっている。この階層形ニューラルネットワークにおいて、その入力層はファジー推論部としての各ファジー回路３２で形成され、中間層は欠陥の欠陥記述に対応する各ネットワーク前段回路で形成され、出力層は欠陥の種別に対応した出力をするネットワーク後段回路で形成されている。
【００２３】
図２に示すように、ニュ−ラルネットワーク３３の後段回路は前記欠陥の特徴値にそれぞれ対応した数の出力端42a,42b,42c…42nを有しており、これらから各欠陥についてのクラスの所属度を表す数値が出力される。こうして各出力端は42a,42b,42c…42nから出力される数値は０〜1.0であるから、その出力値が1.0に近いほど、実際にその欠陥種別である可能性が高いものと判断できる。そして、例えば出力端42aはインク跳ねによる欠陥に、出力端42bはドクター傷による欠陥に、出力端42cは掠れによる欠陥に、出力端42dは虫の混入による欠陥に、出力端42eは虫以外のごみの混入による欠陥に、出力端42fは汚れによる欠陥等にそれぞれ振り当てられている。
【００２４】
以上のように判定部３０が構成されているから、ネットワーク前段回路、後段回路の各ウェイト付け回路のウェイト値を初期教示により学習させておけば、期待通りの欠陥判定を行えるはずである。
なお、既述のように選択された特徴の種別やそのクラスの数は、判定部３０の構成に対応付けられているが、その対応付けは学習により行う必要がある。また、この学習は、初期教示と稼働中教示（ニューラルネットワークにて通常行われているバックプロパゲーション法）の２段階に分けて実行されるが、前記「対応付け」は初期教示の過程で行われる。
【００２５】
初期教示においては、対応する特徴のみに反応するように中間層のユニットに対し、欠陥についての欠陥記述を教示し、同時に中間層に教示信号どおりの出力を設定して、出力層のユニットに対して判定結果を教示する。
上記の初期教示と稼働中教示は図２および図３に示す教示用ファイル３５に蓄えられた欠陥画像を用いて行われる。この教示用ファイルに蓄えられた欠陥画像が、頻度の多い欠陥についても頻度の少ない欠陥についても充分な数だけあれば高い欠陥認識率を達成できるのであるが、頻度の少ない欠陥については欠陥画像が少ないので、欠陥認識率も低下することは既述のとおりである。
【００２６】
そこで、発生頻度の低い欠陥の認識率を高めるため、その欠陥のデータ数を増やすのであるが、その方法が本発明であって、発生頻度の低い欠陥の特徴記述から欠陥データを生成することを特徴とする。
【００２７】
つぎに、本発明における教示データの生成方法を説明する。
図５に示すように、最初に生成元となる欠陥画像を複数個選択する（201）。もちろん、選択される欠陥画像は発生頻度の低い欠陥の画像である。そして、次に、その欠陥の特徴を記述する（202）。次にその記述内容から欠陥生成を行う（203）。最後に生成した欠陥画像を人に提示して正しい欠陥画像を選ぶ（204）、という手順で行う。
【００２８】
以下では、印刷欠陥のうち「すじ」欠陥が、実際には発生頻度が低かったので、このすじ欠陥について、教示データ生成方法を、図６および図７に基づき説明する。
（欠陥特徴記述ステップ202）
記述に用いる特徴としては、「明るさ」「エッジ」「長さ」「幅」「面積」「方向」の６種類を用いる。例えば、図６の符号Ｘで示す元画像を、教示データ生成装置４０によって、符号Ｚで示す画面のように、「明るさは暗い、エッジは鮮明、長さはやや短い、幅は広い、方向は不定」と記述して欠陥生成を行う。
（欠陥生成ステップ203）
このように記述して行くと、図６の符号Ｙに示すように生成画像が生成される。生成された欠陥画像に基づいて変形処理を行うと、例えば図７に示すように、不足分を大幅に補った多くの画像データとなる。
【００２９】
ここで、前記特徴記述ステップ202と欠陥生成ステップ203の詳細を説明する。
（１）明るさ処理
明るさ処理は、つぎの式で表される。
ｇ（ｘ，ｙ）＝Ｔｈ＋ｓ（ｆ（ｘ，ｙ）−Ｔｈ）・・・（１）
ここで、ｆは入力画像の輝度値、ｇは出力画像の輝度値で、Ｔｈは入力画像の周囲５pixelの輝度の平均値である。ｓは「非常に明るい」「暗い」等の記述内容によって取る値の範囲が決まっており、その範囲内からランダムに選ばれる。
（２）エッジ処理
エッジ処理は強調する場合とぼかす場合とで処理が異なる。
強調する場合の処理は、まず注目画素とその周囲の９点より最大の値を抜き出した画像と最小を抜き出した画像を作成する。これらをそれぞれｆｍａｘ，ｆｍｉｎとする。この２つの画像と元画像を比較してつぎの処理を行う。
ｆｍａｘ（ｘ，ｙ）−ｆ（ｘ，ｙ）＞ｆ（ｘ，ｙ）−ｆｍｉｎ（ｘ，ｙ）のとき
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）−ｓ（ｆ（ｘ，ｙ）−ｆｍｉｎ（ｘ，ｙ））・・・（２）
ｆｍａｘ（ｘ，ｙ）−ｆ（ｘ，ｙ）≦ｆ（ｘ，ｙ）−ｆｍｉｎ（ｘ，ｙ）のとき
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｓ（ｆｍａｘ（ｘ，ｙ）−ｆ（ｘ，ｙ））・・・（３）
ぼかす場合はつぎの式を用いる。
【数１】
【数２】
（３）長さ・幅・面積・方向処理
長さ・幅処理は画像の縦と横に対してアフィン変換を用いた拡大縮小処理を行えばよい。ただし、このとき欠陥の面積が記述で指定された範囲を越えないようにする。方向処理も同様にアフィン変換を用いて回転処理を行えばよい。
【００３０】
本発明の教示データ生成方法において、図５に示すステップ201〜203で不足教示データが完成すれば、それでよく、もしコンピュータ処理のみでは非現実的な欠陥データが生ずるときは、人為的に不適格な欠陥データを除くステップ（204）を入れればよい。
このようにして完成した不足分の欠陥データＤを図３に示す教示用のファイル３５に蓄積してやれば、以後は発生頻度の低い欠陥に対しても充分多くの欠陥パターンに基づく教示内容によって、後述するごとく、欠陥の種類とレベルを高精度で認識することができるようになる。
【００３１】
上記の教示データを生成するための教示データ生成装置４０としては、欠陥の元画像となる画像データを取込んで、特徴記述に基づき、明るさ処理やエッジ処理、長さ・幅・面積・方向処理を行う機能を有していれば足りる。
また、この教示データ生成装置４０は、図２に示すように外観検査装置に組込んだものでもよいが、独立した装置として構成し、別に設けてある外観検査装置に接続してデータ送信してもよい。
【００３２】
つぎに、本発明により教示データを補充した場合の有効性を、実験データにより説明する。
（１）実験方法
入力および教示データとして、実際に製造ラインで欠陥分類を行って得られたデータを用いた。使用したデータの欠陥種類数は２８種類（凸欠陥５レベル、穴欠陥５レベル、ムラ欠陥４レベル、凹欠陥５レベル、凹欠陥（黒）、すじ欠陥５レベル、汚れ欠陥３レベル）である。しかし、すじ欠陥だけは全データ中にすじ欠陥レベル３の１つしか存在しなかったため使用可能な欠陥の種類は２４種類であった。そして、その中から欠陥のデータ数が250個以上ある場合は５０個、５個以上の場合は、データ数の５分の１個、５個未満のときは１個を抜き出して教示データを作成した。そして、抜き出したデータが５０個未満のものに対して、欠陥生成を行い５０個にした。その結果、教示データは欠陥生成を行った場合は７種類1200個、生成を行わない場合は７種類652個のデータとなった。教示データの詳細を図１２の表５に示す。
教示回数は、１段目のＦＮＮは、初期教示500回、バックプロパゲーション5000回を実行した。２段目のＮＮは、ネットワークごとにバックプロパゲーションを5000回実行した。その後、学習させたＮＮを教示データ、全データに対して動作させ、元の人間が分類した結果と一致しているか否かを調べた。
ＮＮの中間層のユニット数は、入力層のユニット数と同じとする。また、ＦＮＮの入力の分割数は４とし、ファジー関数に用いる値は、入力の最大値/５×ｎ（ｎ＝１〜４）とした。
比較のため、以下の４つのＮＮ構成について認識率を調べた。
構成１：２段ＮＮ・欠陥生成を行う
構成２：２段ＮＮ・欠陥生成を行わない
構成３：ＦＮＮ一段のみ・欠陥生成を行う
構成４：ＦＮＮ一段のみ・欠陥生成を行わない
なお、欠陥レベルはその種類によっては人間でもレベルを特定することが困難な場合もあることを考え、レベルが±１ずれた場合も正解とみなした場合のデータを示すことにした。
（２）結果
構成１から４の実験結果をそれぞれ図８〜図１１の表１から表４までに示す。
（３）考察
欠陥生成を行った構成（表１，表３）と欠陥生成を行っていない構成（表２，表４）の実験結果を比較すると、欠陥生成を行った場合はデータ全体の認識率は低下している（表２中の97.38％から表１中の97.2％へ低下、表４中の78.93％から表３中の77.48％へ低下）が、各欠陥ごとの認識率の平均は向上している（表２中の72.38％から表１中の88.21％へ向上、表４中の58.36％から表３中の71.95％へ向上）ことがわかる。データ全体に対する認識率が低下した原因については、データ数の少ない欠陥の認識率は向上したが、データ数の多い欠陥の認識率が低下してしまったためと考えられる。平均認識率が向上した原因は、データ数の少ない欠陥の認識向上率がデータ数の多い欠陥の認識低下率より大きかったためと考えられる。また今回使用したデータ中では１つしかなかったすじ欠陥を欠陥生成ありの場合は認識できて、欠陥生成なしの場合では認識できていない。実際の製造ラインでは致命的な欠陥ほど発生頻度は低いと考えられるため、発生頻度が低い欠陥の認識率が向上する欠陥生成は有効であると考えられる。
次にＦＮＮと欠陥生成を組み合わせた場合（表３）と、２段ＮＮと欠陥生成を組み合わせた場合（表１）のデータ全体に対する認識率と平均認識率を比較すると、ＦＮＮは欠陥生成を行うとデータ全体に対する認識率が約1.5％低下している（表４中の78.93％から表３中の77.48％へ低下）のに対し、２段ＮＮは約0.4％しか低下していない（表２中の97.38％から表１中の97.02％へ低下）。またＦＮＮは欠陥生成を行うと平均認識率が約１４％向上している（表４中の58.36％から表３中の71.95％へ向上）のに対し、２段ＮＮは約１６％向上している（表２中の72.38％から表１中の88.21％へ向上）。このことから２段ＮＮと欠陥生成を組み合わせるとデータ全体に対する認識率の低下を抑え、欠陥ごとの認識率の平均を大きく向上させることができると考えられる。
なお、表２および表４の実験結果より２段ＮＮのデータ全体に対する認識率は約９７％（表２参照）、一方ＦＮＮの認識率は約７９％（表４参照）となっている。このことから２段ＮＮはＦＮＮよりも高い認識率を示すことが確認できる。
【産業上の利用可能性】
【００３３】
本発明は、カメラを用いて対象物を撮像し、パターン認識を行う装置、方法であれば、その使用目的や用途を問わず、例えば、製品や部品の外観欠陥の検査や類別を行う装置に広く適用可能である。したがって、印刷物の外観検査や紙、フィルム、金属などの無地面の検査などに適用できる。
【図面の簡単な説明】
【００３４】
【図１】本発明に係る教示データ生成装置が適用される外観検査装置Ａのブロック図である。
【図２】図１における外観検査装置Ａの処理部１０と判定部３０のブロック図である。
【図３】図２における処理部１０と判定部３０の機能説明図である。
【図４】図２におけるニューラルネットワーク３３の処理フロー説明図である。
【図５】本発明における教示データ生成方法のフローチャートである。
【図６】教示データ生成方法における欠陥特徴記述ステップの説明図である。
【図７】教示データ生成方法における欠陥生成ステップの説明図である。
【図８】教示データ補充後の認識率を示す表であり、２段ＮＮ・教示データ生成ありの場合の表である。
【図９】教示データ補充後の認識率を示す表であり、２段ＮＮ・教示データ生成なしの場合の表である。
【図１０】教示データ補充後の認識率を示す表であり、ＦＮＮ一段のみ・教示データ生成ありの場合の表である。
【図１１】教示データ補充後の認識率を示す表であり、ＦＮＮ一段のみ・教示データ生成なしの場合の表である。
【図１２】全教示データを示す表である。
【図１３】印刷欠陥を示す説明図である。
【符号の説明】
【００３５】
Ｃ カメラ
１０ 処理部
３０ 判定部
３１ 特徴値抽出回路
３２ ファジー回路
３３ ニューラルネットワーク
３５ 教示用ファイル
４０ 教示データ生成装置
【技術分野】
【０００１】
本発明は、パターン認識方法、それに用いられる教示データ生成方法およびパターン認識装置に関する。さらに詳しくは、カメラを用いて印刷物や無地面（紙、フィルム、金属など）の対象物を撮像し、パターン認識やパターン分類をすることにより、製品や部品の外観欠陥の検査や類別を行う装置に広く適用されるパターン認識方法、それに用いられる教示データ生成方法およびパターン認識装置に関する。
【背景技術】
【０００２】
例えば、印刷欠陥等の検査は、かつては人の手により行われていたが、パターン認識を応用した外観検査装置が導入され効果を上げてきている。しかし、検査装置の多くは対象の良否の判定を行うのみで、そのままでは不良の発生を抑えたり修正したりするためには役立たない。そこで、印刷欠陥をパターン認識したうえで、欠陥の種類を分別し、さらに発生原因を推定して、その結果を早期にフィードバックすることのできる検査装置の開発が求められている。
【０００３】
ところで、印刷物の欠陥検査の場合、図１３に示すような「穴」、「しみ」、「凸」、「すじ」などの印刷欠陥は多くの場合、同一種であっても形状や大きさなど特徴量の変動が大きいので、このような欠陥の認識システムの開発は、画像処理専門家の多大な労力を要する作業となっている。
そこで、外観検査システムは、非専門家でも簡単に操作でき、実例を示しながら自動的にシステム構成を行う学習型システムに対する期待が大きくなっている。
【０００４】
特許文献１の技術は、上記に応えるものであり、印刷欠陥の種別ごとの特徴を言語または図形記号のようなメディアを用いて欠陥記述として指示し、この支持された欠陥記述をメンバシップ関数でファジー処理し、このファジー処理を行うファジー推論部の出力を、前記ファジー推論部を入力層とする階層形ニューラルネットワークに入力して、このネットワークにより前記検出により得た欠陥の種別を判定するようにしている。このように、あらかじめ画像の特徴ごとに記述用のクラス名を登録しておくことで、新しい欠陥の登録を感覚的な言葉で記述でき、またその記述を元に、ネットワークの構造を設計し、設計どおりのネットワークを構成するための教示もすることができる。その結果、数種類の欠陥について、高い認識率を得ることができた。
【０００５】
しかし、上記従来技術は欠陥の発生頻度が高い印刷欠陥については、十分な認識率を示すが、発生頻度が低い印刷欠陥については、他の欠陥と比べてデータ数が少なくなるため、教示が十分に行えずにその欠陥の認識率が低下するという問題が指摘されている。
【０００６】
【特許文献１】特開平７−３３３１７０号
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は上記事情に鑑み、発生頻度の低い等の理由によりデータ数が少ない場合であっても高い認識率を達成できるパターン認識方法、それに用いられる教示データ生成方法およびパターン認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
第１発明のパターン認識方法は、教示ファイルに格納されている多数の教示データに基づいて学習し、パターン認識をするパターン認識方法であって、前記教示ファイル中の多数の教示データのうち、データ数の少ない特定の教示データについては、その特定の教示データを変形して生成した新たな教示データを補充してパターン認識させることを特徴とする。
第２発明のパターン認識方法は、第１発明において、前記パターン認識方法が、パターン分類を行うものであって、その分類クラス毎の教示データ数に偏りがある場合に、データ数の少ない教示データを変形して、新たな教示データを生成することを特徴とする。
第３発明の教示データ生成方法は、生成すべき教示データが画像データであるとき、画像の拡大、縮小、回転を含むアフィン変換と、明るさ、コントラスト、エッジ強度を含む属性変換を行うことにより、新たな教示データを生成することを特徴とする。
第４発明のパターン認識装置は、教示ファイルに格納されている多数の教示データに基づいて学習し、パターン認識をするパターン認識装置であって、一のデータを変形して新たな教示データを生成する教示データ生成装置を備えており、前記教示ファイル中の多数の教示データのうち、データ数の少ない特定の教示データについては、前記教示データ生成装置により、前記特定の教示データを変形して新たな教示データを生成し、その生成された教示データを前記教示ファイルに補充してパターン認識させることを特徴とする。
第５発明のパターン認識装置は、第４発明において、前記教示データ生成装置が、前記パターン認識装置に内蔵されていることを特徴とする。
第６発明のパターン認識装置は、第５発明において、前記教示データ生成装置が、前記パターン認識装置とは独立して存在して、ネットワークで接続されていることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、データ数が少ないものには、それを変形した教示データを補充してデータ数を増やせるので、パターン認識に際し、高い認識率を達成できる。
また、新たな教示データの生成には、アフィン変換と属性変換により、適正なパターンの変形データが得られるので、変形データの生成が容易である。
【発明を実施するための最良の形態】
【００１０】
つぎに、本発明の実施形態を図面に基づき説明する。
本発明の特徴は、パターン認識の実施に適用される教示データの生成技術にあり、その生成技術は印刷欠陥等の外観検査や紙、フィルム、金属などの無地面の欠陥の検出に用いられるパターン認識装置に適用される。本明細書でいうパターン認識は、広く上記の検査に利用される認識技術をいう。つぎに本発明を説明する前に適用対象である印刷欠陥の外観検査装置を説明しておく。
図１は本発明が適用されるパターン認識装置の一種である外観検査装置のブロック図である。図１における印刷物ｍはローラからローラに巻取られるようになっており、検査対象となる同一の印刷パターンが複数個、印刷物ｍの長手方向（流れ方向）に沿って一定の間隔で配置されて印刷されている。外観検査装置は、この印刷物ｍ上の印刷欠陥を検出して判定するもので、カメラＣと認識装置Ａとから構成されている。
カメラＣは、印刷物ｍの例えば上方に設置されている。このカメラＣは、複数の光電変換素子、例えばＣＣＤ（charge coupled device）素子を１列（ライン状）に整列して構成した撮像手段であり、撮像信号Ｓを認識装置Ａへ出力するようになっている。
本発明において重要な教示データ生成装置４０は前記認識装置Ａに接続されたり、組込まれたりするのであるが、その詳細は後述する。
【００１１】
前記認識装置Ａは、処理部１０と判定部３０とを備えている。
前記処理部１０は、カメラＣから出力される信号（撮像信号Ｓ）を処理して印刷物ｍの各印刷パターンに含まれる欠陥を抽出するとともに、その処理結果に基づいて抽出された欠陥を表示器２０に表示させる。
また、判定部３０は処理部１０に接続されており、処理部１０での処理結果を元に欠陥の種別を判定する。この判定部３０にはパーソナルコンピュータ等により構成された、教示データ生成装置４０が接続されているが、この教示データ生成装置４０は入力手段も兼ねるものであって、判定部３０に対する初期教示の操作等各種の操作が行われるようになっている。なお、４１はモニタである。
【００１２】
図２に基づき、処理部１０の具体的構成を説明する。
処理部１０は、Ａ／Ｄ変換器１１と、１周期分画像メモリ１２と、比較回路１３と、相違部検出回路１４とを備えている。前記カメラＣから出力される撮像信号ＳはＡ／Ｄ変換器１１に入力され、カメラＣの各画素毎の（多値の）ディジタルデータに変換され、このデータは１周期分画像メモリ１２と比較回路１３とにそれぞれ出力される。
【００１３】
１周期分画像メモリ１２は、前記印刷パターンの１周期分に相当するカメラＣからの出力データ（画像データ）を記憶する。このメモリ１２に記憶された画像は標準画像Ａ（図３参照）である。この標準画像Ａには、予め準備され登録された欠陥がない印刷パターンについての正常な画像が用いられる。なお、同一印刷パターンが続く場合に、その印刷パターンを用いてもよい。
【００１４】
比較回路１３は、リアルの撮像画像Ｂ（図３参照）として入力されるカメラＣからの画像データに対応するアドレスの画像データを、１周期分画像メモリ１２に記憶された１周期前の標準画像Ａのデータの中から読み出して重ね合わせて比較するものであり、相違部検出回路１４は比較回路１３からの出力を受けて標準画像Ａと撮像画像Ｂとの間の相違部を検出し、その相違部を解析するようになっている。
つまり、図３に示すように処理部１０は、標準画像Ａと撮像画像Ｂとを重ね合わせて比較し、両画像Ａ，Ｂ間の相違部を抽出し、検出された相違部のうち欠陥についての画像部分のみを判定部３０に出力する。
【００１５】
図２に示すように判定部３０は、特徴値抽出回路３１と、複数のファジー回路３２と、ニューラルネットワーク３３と、初期設定回路３４と、教示用ファイル３５とを備えている。
【００１６】
前記特徴値抽出回路３１は、処理部１０で抽出されて特徴値抽出回路３１に入力される欠陥画像を２値画像化して、この欠陥画像を数値的に評価するための特徴値を計算により求める回路である。
欠陥の特徴値としては、その面積（大きさ）、円形度、直線度、矩形度、明るさ、コントラスト、エッジ強度等である。
大きさ特徴値は、欠陥の総画素数により求め、円形度特徴値は、前記面積と欠陥の周囲長との比により求め、直線度特徴値は欠陥の長軸長と短軸長との比により求め、矩形度特徴値は、欠陥の長軸長と短軸長の積で表される欠陥に外接するボックス面積と前記欠陥の面積との比により求められる。また、明るさ特徴値は欠陥の重心位置の明るさを求め、コントラスト特徴値およびエッジ強度特徴値は、いずれも周囲との関係を認識するために求められる。
【００１７】
前記特徴値抽出回路３１は、特徴値の種類に応じた数の出力端を有し、これら出力端にはそれぞれ別々にファジー回路３２が接続されている。これらファジー回路３２は、ニューラルネットワーク３３の入力層をなし、内部関数としてファジー推論のメンバーシップ関数を持つとともに、特徴値が入力されると、それに対応するクラス値（所属度値）を出力する。例えば、欠陥の面積特徴値で代表して（以下同じ）説明すれば、面積は「大きい」、「やや大きい」、「中くらい」、「やや小さい」、「小さい」等の５段階のクラス（クラス１〜クラス３、…クラスｎ）の所属度に分けられ、特徴値抽出回路３１から入力された面積特徴値が前記５段階のどのクラスに当たるのかを判定し、それをニューラルネットワーク３３に出力する。
【００１８】
前記ニュ−ラルネットワーク３３は２段構成となっている。すなわち、２段ニューラルネットワーク（以下２段ＮＮと略す）は、１段目に欠陥の種類を分類するＦＮＮがあり、ここで欠陥の種類を分類する。２段目には１段目のＦＮＮの出力層ユニット数と同じ数だけの（以下、ＮＮと略す）があり、１段目の分類結果に対応したＮＮのみが動作する。ここではそれぞれ欠陥の大きさ等のレベルを分類する。ＮＮの入力値は１段目、２段目ともに同じものが使用されている。なお、この構成は一例であり、１段目も２段目もＮＮで構成するなど、任意の構成をとってよい。
【００１９】
２段ＮＮの処理の流れを図４に基づき説明する。最初に欠陥画像に対してフィルタ処理を行い特徴値を抽出する。その特徴値を１段目のＦＮＮに入力し（101）、動作させる。これにより欠陥の種類が分類される（102）。次に、１段目で分類された欠陥の種類に対応したレベル分類ＮＮを起動して、欠陥のレベルを分類する（103）。例えば、１段目のＦＮＮが、ある欠陥画像を「しみ」欠陥と分類した場合は、２段目の「しみ」欠陥レベル分類ＮＮを起動する（103）。この結果、欠陥種類とその欠陥のレベルが分類されることになる（104）。
【００２０】
上記のニュ−ラルネットワーク３３の詳細を説明する。
（１段目ＦＮＮの概要）
（１）ＦＮＮの構成
ＦＮＮは、三層構造のパーセプトロン型ＮＮの前段にファジー推論部を持った構造である。なお、入力値には欠陥画像からフィルタ処理によって抽出された「面積」、「明るさ」、「円形度」などの特徴値を用いる。
（２）ファジー推論部の働き
人間が用いる「大きい」、「小さい」などの感覚的な表現には、数値的な厳密さがないので、これをファジー推論の応用により「大きい」、「小さい」などの言葉に置き換える。
ファジー推論部はＮＮの入力層に直結しており、メンバーシップ関数により特徴表現へのクラス値に変換する。この関数は予め設定された各特徴記述間の境界値をもとに生成する。
（３）中間層ユニット
ＦＮＮでは、中間層のユニット数は欠陥の特徴表現の数により決定する。また、全体をバックプロパゲーション法で教示する前に、初期教示により中間層の教示を行い、中間層のユニット構成の方向を指定する。初期教示とは、中間層にも教示データを与えて入力層から中間層、中間層から出力層の教示を行うことを指す。
（４）出力層ユニット
出力層のユニット数は欠陥の種類数に対応する。ここで判断された欠陥の種類に応じて、その欠陥専用のレベル分類ＮＮを起動する。
【００２１】
（２段目レベル分類ＮＮの概要）
（１）レベル分類ＮＮの構成
２段目レベル分類ＮＮは、入力、中間、出力層の３層構造である。最初に１段目の分類結果に対応する２段目レベル分類ＮＮを１つだけ起動する。起動した欠陥レベル分類ＮＮは、１段目で使用した入力データと同じデータを受け取り、欠陥のレベルが分類される。
２段目にＦＮＮを使用しない理由は、２段目のレベル分類ＮＮは、１種類の欠陥中のレベルを分類しなければならないため、正確な値が必要になることに起因する。
（２）レベル分類ＮＮの入力層の動作
各欠陥のレベル分類ＮＮの入力値には、１段目ＦＮＮで用いた入力値と同じ値を用いる。よって入力層のユニット数は、入力値の数と同じとなる。しかし、各入力値のとる範囲は異なるためそのまま入力できない。そのため、ここでは各入力値のとる最大値で割ることによって入力値が０から１の範囲となるように正規化を行う。
（３）レベル分類ＮＮの出力層の動作
出力層のユニット数は、レベル分類対象となる欠陥の最大レベル数と同じとなる。ここで分類した結果が、２段ＮＮの分類結果となる。
【００２２】
以上のように、判定部３０は、ファジー推論部とニューラルネットワークとを組合わせてなるファジーニューラルネットワークであり、このネットワークは三層の階層形ニューラルネットワークとなっている。この階層形ニューラルネットワークにおいて、その入力層はファジー推論部としての各ファジー回路３２で形成され、中間層は欠陥の欠陥記述に対応する各ネットワーク前段回路で形成され、出力層は欠陥の種別に対応した出力をするネットワーク後段回路で形成されている。
【００２３】
図２に示すように、ニュ−ラルネットワーク３３の後段回路は前記欠陥の特徴値にそれぞれ対応した数の出力端42a,42b,42c…42nを有しており、これらから各欠陥についてのクラスの所属度を表す数値が出力される。こうして各出力端は42a,42b,42c…42nから出力される数値は０〜1.0であるから、その出力値が1.0に近いほど、実際にその欠陥種別である可能性が高いものと判断できる。そして、例えば出力端42aはインク跳ねによる欠陥に、出力端42bはドクター傷による欠陥に、出力端42cは掠れによる欠陥に、出力端42dは虫の混入による欠陥に、出力端42eは虫以外のごみの混入による欠陥に、出力端42fは汚れによる欠陥等にそれぞれ振り当てられている。
【００２４】
以上のように判定部３０が構成されているから、ネットワーク前段回路、後段回路の各ウェイト付け回路のウェイト値を初期教示により学習させておけば、期待通りの欠陥判定を行えるはずである。
なお、既述のように選択された特徴の種別やそのクラスの数は、判定部３０の構成に対応付けられているが、その対応付けは学習により行う必要がある。また、この学習は、初期教示と稼働中教示（ニューラルネットワークにて通常行われているバックプロパゲーション法）の２段階に分けて実行されるが、前記「対応付け」は初期教示の過程で行われる。
【００２５】
初期教示においては、対応する特徴のみに反応するように中間層のユニットに対し、欠陥についての欠陥記述を教示し、同時に中間層に教示信号どおりの出力を設定して、出力層のユニットに対して判定結果を教示する。
上記の初期教示と稼働中教示は図２および図３に示す教示用ファイル３５に蓄えられた欠陥画像を用いて行われる。この教示用ファイルに蓄えられた欠陥画像が、頻度の多い欠陥についても頻度の少ない欠陥についても充分な数だけあれば高い欠陥認識率を達成できるのであるが、頻度の少ない欠陥については欠陥画像が少ないので、欠陥認識率も低下することは既述のとおりである。
【００２６】
そこで、発生頻度の低い欠陥の認識率を高めるため、その欠陥のデータ数を増やすのであるが、その方法が本発明であって、発生頻度の低い欠陥の特徴記述から欠陥データを生成することを特徴とする。
【００２７】
つぎに、本発明における教示データの生成方法を説明する。
図５に示すように、最初に生成元となる欠陥画像を複数個選択する（201）。もちろん、選択される欠陥画像は発生頻度の低い欠陥の画像である。そして、次に、その欠陥の特徴を記述する（202）。次にその記述内容から欠陥生成を行う（203）。最後に生成した欠陥画像を人に提示して正しい欠陥画像を選ぶ（204）、という手順で行う。
【００２８】
以下では、印刷欠陥のうち「すじ」欠陥が、実際には発生頻度が低かったので、このすじ欠陥について、教示データ生成方法を、図６および図７に基づき説明する。
（欠陥特徴記述ステップ202）
記述に用いる特徴としては、「明るさ」「エッジ」「長さ」「幅」「面積」「方向」の６種類を用いる。例えば、図６の符号Ｘで示す元画像を、教示データ生成装置４０によって、符号Ｚで示す画面のように、「明るさは暗い、エッジは鮮明、長さはやや短い、幅は広い、方向は不定」と記述して欠陥生成を行う。
（欠陥生成ステップ203）
このように記述して行くと、図６の符号Ｙに示すように生成画像が生成される。生成された欠陥画像に基づいて変形処理を行うと、例えば図７に示すように、不足分を大幅に補った多くの画像データとなる。
【００２９】
ここで、前記特徴記述ステップ202と欠陥生成ステップ203の詳細を説明する。
（１）明るさ処理
明るさ処理は、つぎの式で表される。
ｇ（ｘ，ｙ）＝Ｔｈ＋ｓ（ｆ（ｘ，ｙ）−Ｔｈ）・・・（１）
ここで、ｆは入力画像の輝度値、ｇは出力画像の輝度値で、Ｔｈは入力画像の周囲５pixelの輝度の平均値である。ｓは「非常に明るい」「暗い」等の記述内容によって取る値の範囲が決まっており、その範囲内からランダムに選ばれる。
（２）エッジ処理
エッジ処理は強調する場合とぼかす場合とで処理が異なる。
強調する場合の処理は、まず注目画素とその周囲の９点より最大の値を抜き出した画像と最小を抜き出した画像を作成する。これらをそれぞれｆｍａｘ，ｆｍｉｎとする。この２つの画像と元画像を比較してつぎの処理を行う。
ｆｍａｘ（ｘ，ｙ）−ｆ（ｘ，ｙ）＞ｆ（ｘ，ｙ）−ｆｍｉｎ（ｘ，ｙ）のとき
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）−ｓ（ｆ（ｘ，ｙ）−ｆｍｉｎ（ｘ，ｙ））・・・（２）
ｆｍａｘ（ｘ，ｙ）−ｆ（ｘ，ｙ）≦ｆ（ｘ，ｙ）−ｆｍｉｎ（ｘ，ｙ）のとき
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｓ（ｆｍａｘ（ｘ，ｙ）−ｆ（ｘ，ｙ））・・・（３）
ぼかす場合はつぎの式を用いる。
【数１】
【数２】
（３）長さ・幅・面積・方向処理
長さ・幅処理は画像の縦と横に対してアフィン変換を用いた拡大縮小処理を行えばよい。ただし、このとき欠陥の面積が記述で指定された範囲を越えないようにする。方向処理も同様にアフィン変換を用いて回転処理を行えばよい。
【００３０】
本発明の教示データ生成方法において、図５に示すステップ201〜203で不足教示データが完成すれば、それでよく、もしコンピュータ処理のみでは非現実的な欠陥データが生ずるときは、人為的に不適格な欠陥データを除くステップ（204）を入れればよい。
このようにして完成した不足分の欠陥データＤを図３に示す教示用のファイル３５に蓄積してやれば、以後は発生頻度の低い欠陥に対しても充分多くの欠陥パターンに基づく教示内容によって、後述するごとく、欠陥の種類とレベルを高精度で認識することができるようになる。
【００３１】
上記の教示データを生成するための教示データ生成装置４０としては、欠陥の元画像となる画像データを取込んで、特徴記述に基づき、明るさ処理やエッジ処理、長さ・幅・面積・方向処理を行う機能を有していれば足りる。
また、この教示データ生成装置４０は、図２に示すように外観検査装置に組込んだものでもよいが、独立した装置として構成し、別に設けてある外観検査装置に接続してデータ送信してもよい。
【００３２】
つぎに、本発明により教示データを補充した場合の有効性を、実験データにより説明する。
（１）実験方法
入力および教示データとして、実際に製造ラインで欠陥分類を行って得られたデータを用いた。使用したデータの欠陥種類数は２８種類（凸欠陥５レベル、穴欠陥５レベル、ムラ欠陥４レベル、凹欠陥５レベル、凹欠陥（黒）、すじ欠陥５レベル、汚れ欠陥３レベル）である。しかし、すじ欠陥だけは全データ中にすじ欠陥レベル３の１つしか存在しなかったため使用可能な欠陥の種類は２４種類であった。そして、その中から欠陥のデータ数が250個以上ある場合は５０個、５個以上の場合は、データ数の５分の１個、５個未満のときは１個を抜き出して教示データを作成した。そして、抜き出したデータが５０個未満のものに対して、欠陥生成を行い５０個にした。その結果、教示データは欠陥生成を行った場合は７種類1200個、生成を行わない場合は７種類652個のデータとなった。教示データの詳細を図１２の表５に示す。
教示回数は、１段目のＦＮＮは、初期教示500回、バックプロパゲーション5000回を実行した。２段目のＮＮは、ネットワークごとにバックプロパゲーションを5000回実行した。その後、学習させたＮＮを教示データ、全データに対して動作させ、元の人間が分類した結果と一致しているか否かを調べた。
ＮＮの中間層のユニット数は、入力層のユニット数と同じとする。また、ＦＮＮの入力の分割数は４とし、ファジー関数に用いる値は、入力の最大値/５×ｎ（ｎ＝１〜４）とした。
比較のため、以下の４つのＮＮ構成について認識率を調べた。
構成１：２段ＮＮ・欠陥生成を行う
構成２：２段ＮＮ・欠陥生成を行わない
構成３：ＦＮＮ一段のみ・欠陥生成を行う
構成４：ＦＮＮ一段のみ・欠陥生成を行わない
なお、欠陥レベルはその種類によっては人間でもレベルを特定することが困難な場合もあることを考え、レベルが±１ずれた場合も正解とみなした場合のデータを示すことにした。
（２）結果
構成１から４の実験結果をそれぞれ図８〜図１１の表１から表４までに示す。
（３）考察
欠陥生成を行った構成（表１，表３）と欠陥生成を行っていない構成（表２，表４）の実験結果を比較すると、欠陥生成を行った場合はデータ全体の認識率は低下している（表２中の97.38％から表１中の97.2％へ低下、表４中の78.93％から表３中の77.48％へ低下）が、各欠陥ごとの認識率の平均は向上している（表２中の72.38％から表１中の88.21％へ向上、表４中の58.36％から表３中の71.95％へ向上）ことがわかる。データ全体に対する認識率が低下した原因については、データ数の少ない欠陥の認識率は向上したが、データ数の多い欠陥の認識率が低下してしまったためと考えられる。平均認識率が向上した原因は、データ数の少ない欠陥の認識向上率がデータ数の多い欠陥の認識低下率より大きかったためと考えられる。また今回使用したデータ中では１つしかなかったすじ欠陥を欠陥生成ありの場合は認識できて、欠陥生成なしの場合では認識できていない。実際の製造ラインでは致命的な欠陥ほど発生頻度は低いと考えられるため、発生頻度が低い欠陥の認識率が向上する欠陥生成は有効であると考えられる。
次にＦＮＮと欠陥生成を組み合わせた場合（表３）と、２段ＮＮと欠陥生成を組み合わせた場合（表１）のデータ全体に対する認識率と平均認識率を比較すると、ＦＮＮは欠陥生成を行うとデータ全体に対する認識率が約1.5％低下している（表４中の78.93％から表３中の77.48％へ低下）のに対し、２段ＮＮは約0.4％しか低下していない（表２中の97.38％から表１中の97.02％へ低下）。またＦＮＮは欠陥生成を行うと平均認識率が約１４％向上している（表４中の58.36％から表３中の71.95％へ向上）のに対し、２段ＮＮは約１６％向上している（表２中の72.38％から表１中の88.21％へ向上）。このことから２段ＮＮと欠陥生成を組み合わせるとデータ全体に対する認識率の低下を抑え、欠陥ごとの認識率の平均を大きく向上させることができると考えられる。
なお、表２および表４の実験結果より２段ＮＮのデータ全体に対する認識率は約９７％（表２参照）、一方ＦＮＮの認識率は約７９％（表４参照）となっている。このことから２段ＮＮはＦＮＮよりも高い認識率を示すことが確認できる。
【産業上の利用可能性】
【００３３】
本発明は、カメラを用いて対象物を撮像し、パターン認識を行う装置、方法であれば、その使用目的や用途を問わず、例えば、製品や部品の外観欠陥の検査や類別を行う装置に広く適用可能である。したがって、印刷物の外観検査や紙、フィルム、金属などの無地面の検査などに適用できる。
【図面の簡単な説明】
【００３４】
【図１】本発明に係る教示データ生成装置が適用される外観検査装置Ａのブロック図である。
【図２】図１における外観検査装置Ａの処理部１０と判定部３０のブロック図である。
【図３】図２における処理部１０と判定部３０の機能説明図である。
【図４】図２におけるニューラルネットワーク３３の処理フロー説明図である。
【図５】本発明における教示データ生成方法のフローチャートである。
【図６】教示データ生成方法における欠陥特徴記述ステップの説明図である。
【図７】教示データ生成方法における欠陥生成ステップの説明図である。
【図８】教示データ補充後の認識率を示す表であり、２段ＮＮ・教示データ生成ありの場合の表である。
【図９】教示データ補充後の認識率を示す表であり、２段ＮＮ・教示データ生成なしの場合の表である。
【図１０】教示データ補充後の認識率を示す表であり、ＦＮＮ一段のみ・教示データ生成ありの場合の表である。
【図１１】教示データ補充後の認識率を示す表であり、ＦＮＮ一段のみ・教示データ生成なしの場合の表である。
【図１２】全教示データを示す表である。
【図１３】印刷欠陥を示す説明図である。
【符号の説明】
【００３５】
Ｃ カメラ
１０ 処理部
３０ 判定部
３１ 特徴値抽出回路
３２ ファジー回路
３３ ニューラルネットワーク
３５ 教示用ファイル
４０ 教示データ生成装置
【特許請求の範囲】
【請求項１】
教示ファイルに格納されている多数の教示データに基づいて学習し、パターン認識をするパターン認識方法であって、
前記教示ファイル中の多数の教示データのうち、データ数の少ない特定の教示データについては、その特定の教示データを変形して生成した新たな教示データを補充してパターン認識させる
ことを特徴とするパターン認識方法。
【請求項２】
前記パターン認識方法が、パターン分類を行うものであって、その分類クラス毎の教示データ数に偏りがある場合に、データ数の少ない教示データを変形して、新たな教示データを生成する
ことを特徴とする請求項１記載のパターン認識方法。
【請求項３】
生成すべき教示データが画像データであるとき、
画像の拡大、縮小、回転を含むアフィン変換と、
明るさ、コントラスト、エッジ強度を含む属性変換を行うことにより、
新たな教示データを生成する
ことを特徴とする教示データ生成方法。
【請求項４】
教示ファイルに格納されている多数の教示データに基づいて学習し、パターン認識をするパターン認識装置であって、
一のデータを変形して新たな教示データを生成する教示データ生成装置を備えており、
前記教示ファイル中の多数の教示データのうち、データ数の少ない特定の教示データについては、前記教示データ生成装置により、前記特定の教示データを変形して新たな教示データを生成し、その生成された教示データを前記教示ファイルに補充してパターン認識させる
ことを特徴とするパターン認識装置。
【請求項５】
前記教示データ生成装置が、前記パターン認識装置に内蔵されている
ことを特徴とする請求項４記載のパターン認識装置。
【請求項６】
前記教示データ生成装置が、前記パターン認識装置とは独立して存在して、ネットワークで接続されている
ことを特徴とする請求項４記載のパターン認識装置。
【請求項１】
教示ファイルに格納されている多数の教示データに基づいて学習し、パターン認識をするパターン認識方法であって、
前記教示ファイル中の多数の教示データのうち、データ数の少ない特定の教示データについては、その特定の教示データを変形して生成した新たな教示データを補充してパターン認識させる
ことを特徴とするパターン認識方法。
【請求項２】
前記パターン認識方法が、パターン分類を行うものであって、その分類クラス毎の教示データ数に偏りがある場合に、データ数の少ない教示データを変形して、新たな教示データを生成する
ことを特徴とする請求項１記載のパターン認識方法。
【請求項３】
生成すべき教示データが画像データであるとき、
画像の拡大、縮小、回転を含むアフィン変換と、
明るさ、コントラスト、エッジ強度を含む属性変換を行うことにより、
新たな教示データを生成する
ことを特徴とする教示データ生成方法。
【請求項４】
教示ファイルに格納されている多数の教示データに基づいて学習し、パターン認識をするパターン認識装置であって、
一のデータを変形して新たな教示データを生成する教示データ生成装置を備えており、
前記教示ファイル中の多数の教示データのうち、データ数の少ない特定の教示データについては、前記教示データ生成装置により、前記特定の教示データを変形して新たな教示データを生成し、その生成された教示データを前記教示ファイルに補充してパターン認識させる
ことを特徴とするパターン認識装置。
【請求項５】
前記教示データ生成装置が、前記パターン認識装置に内蔵されている
ことを特徴とする請求項４記載のパターン認識装置。
【請求項６】
前記教示データ生成装置が、前記パターン認識装置とは独立して存在して、ネットワークで接続されている
ことを特徴とする請求項４記載のパターン認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００６−４８３７０（Ｐ２００６−４８３７０Ａ）
【公開日】平成１８年２月１６日（２００６．２．１６）
【国際特許分類】
【出願番号】特願２００４−２２８３９２（Ｐ２００４−２２８３９２）
【出願日】平成１６年８月４日（２００４．８．４）
【出願人】（３０４０２８３４６）国立大学法人 香川大学 (285)
【出願人】（５９１１１４６４１）株式会社ヒューテック (19)
【Ｆターム（参考）】
【公開日】平成１８年２月１６日（２００６．２．１６）
【国際特許分類】
【出願日】平成１６年８月４日（２００４．８．４）
【出願人】（３０４０２８３４６）国立大学法人 香川大学 (285)
【出願人】（５９１１１４６４１）株式会社ヒューテック (19)
【Ｆターム（参考）】
[ Back to top ]