外観検査装置
【課題】印刷画像から検出された欠陥画像に対して正確に欠陥判定・欠陥分類を行うことが可能になり、欠陥画像を複数種別に分類可能な外観検査装置を提供する。
【解決手段】撮像装置１０により得られた撮像画像から欠陥画像を検出する欠陥画像検出装置２０と、欠陥画像から複数種類の特徴量を抽出し、その組み合わせに基づいて欠陥画像を予め規定された複数種別に分類する欠陥分類装置３０とを具備する。欠陥分類装置３０は、画像内の複数点間の明るさの組み合わせに基づいて共起ヒストグラム画像を作成する共起ヒストグラム画像作成部４２と、欠陥画像をフィルタ処理して特徴を抽出するとともに共起ヒストグラム画像を分析して特徴を抽出する特徴抽出回路４０と、特徴抽出回路により得られた特徴から複数種類の特徴量を抽出する特徴量抽出回路６０と、特徴量抽出手段により得られた複数種類の特徴量の組み合わせに基づいて欠陥画像を予め規定された複数種別に分類する欠陥分類回路７０とを具備する。
【解決手段】撮像装置１０により得られた撮像画像から欠陥画像を検出する欠陥画像検出装置２０と、欠陥画像から複数種類の特徴量を抽出し、その組み合わせに基づいて欠陥画像を予め規定された複数種別に分類する欠陥分類装置３０とを具備する。欠陥分類装置３０は、画像内の複数点間の明るさの組み合わせに基づいて共起ヒストグラム画像を作成する共起ヒストグラム画像作成部４２と、欠陥画像をフィルタ処理して特徴を抽出するとともに共起ヒストグラム画像を分析して特徴を抽出する特徴抽出回路４０と、特徴抽出回路により得られた特徴から複数種類の特徴量を抽出する特徴量抽出回路６０と、特徴量抽出手段により得られた複数種類の特徴量の組み合わせに基づいて欠陥画像を予め規定された複数種別に分類する欠陥分類回路７０とを具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、外観検査装置に係り、特に撮像画像から検出した欠陥画像の特徴を抽出し、分類を行う欠陥分類装置に関するもので、例えば印刷物、生産物の検査や生産ラインのモニタリングに使用されるものである。
【背景技術】
【０００２】
印刷ラインなどにおいて、例えばロール状に巻かれた原紙に印刷した直後における印刷画像の状態を自動的に検査し、それによって印刷物の良否を判定するためにパターン検査装置が使用されている。
【０００３】
パターン検査装置の一例では、エリアセンサーまたはラインセンサーなどを素子として装備したカメラで印刷画像を撮像し、撮像画像を標準画像とを比較法によって検査して欠陥を検出する。前記標準画像は、予め標準となるパターン画像を教示しておいたり、撮像画像である検査パターンが繰り返し周期的に現れる場合には何周期か前に撮影したパターン画像を選んで標準のパターン画像とする。
【０００４】
比較法による検査においては、まず、機械的または電子的な何らかの方法で撮像画像と標準画像の位置決め（位置合わせ）を行ない、位置決め後における撮像画像と標準画像の対応する同じ位置の画素の値同士を減算して評価を行う。この減算による欠陥の検出では、入力画像の全面について相違部を欠陥画像として検出する。この場合、無地の原料シートや金属シートの画像のように印刷パターンのない入力画像では、画像のうちで周辺部との明るさの相違が有る部分を欠陥画像として検出するようにしてもよい。このように検出された欠陥画像は、欠陥の状態により複数種別に分類することができる。
【０００５】
従来の欠陥分類システムでは、まず、入力画像を単純に二値化したり、入力画像の縁部などに特徴が有る場合は微分、直線強調などのフィルター処理を施して入力画像中の特徴のある画素値分布を取り出した後に二値化する。この後、二値化画像での図形的特徴量を計算し、特徴量を組み合わせて２段ニューラルネットワークにより分類する、等の方法が用いられる。
【０００６】
上記したような従来のシステムによる画像分類は、欠陥画像そのものや欠陥画像に画像処理フィルタをかけて二値化した画像の図形的特量を使って分析しており、欠陥画像が画面内の１つのパターンとして纏まっている場合には良好な認識性能を発揮することができる。しかし、欠陥画像が、ぼけた濃淡むらが広い範囲に分布するような繰り返し性のパターン画像であった場合には、画面内の一つのパターンのみの図形的特徴量の組み合わせでは欠陥判定および欠陥分類が困難である。つまり、欠陥画像に対して部分的な評価は可能であっても全体として捉えて評価することが困難であった。
【０００７】
なお、ニューラルネットワークおよびそれを用いて分類する方法は、非特許文献１、特許文献１，２に開示されている。
【非特許文献１】秦清治ほか「外観検査のための２段ニューラルネットワーク欠陥 分類システム」, 2004.01.16, 電気学会研究会資料,IIS-04-8, pp.39-42
【特許文献１】特許第３４１４８４４号公報
【特許文献２】特開２００６−４８３７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明者は前述した問題を解決すべく鋭意研究した結果、例えば印刷画像から検出された凸欠陥、穴欠陥、凹欠陥、凹欠陥（黒）、濃度ムラ、薄汚れなどの複数種別の欠陥画像は、共起ヒストグラム画像に変換することによって欠陥種別に応じて明確な図形的特徴を持つようになり、この図形的特徴に基づいて欠陥判定および欠陥画像を正確に分類することが可能になることに着目して本発明を成すに到ったものである。
【０００９】
すなわち、本発明は、欠陥画像に対して正確に欠陥判定および欠陥分類を行うことが可能になり、例えば印刷画像から検出された欠陥画像を複数種別に分類するシステムに好適に使用可能な外観検査装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の外観検査装置は、撮像装置と、前記撮像装置により得られた撮像画像から欠陥画像を検出する欠陥画像検出装置と、前記欠陥画像検出装置により得られた欠陥画像を予め規定された複数種別に分類する欠陥分類装置と、を具備し、前記欠陥分類装置は、前記欠陥画像検出装置により得られた欠陥画像から、画像内の複数点間の明るさの組み合わせによって作成したヒストグラム自身を画像として扱う共起ヒストグラム画像を作成する共起ヒストグラム画像作成手段と、前記欠陥画像検出装置により得られた欠陥画像をフィルタ処理して特徴を抽出するとともに前記共起ヒストグラム画像を分析して特徴を抽出する特徴抽出手段と、前記特徴抽出手段により得られた特徴から複数種類の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により得られた複数種類の特徴量の組み合わせに基づいて前記欠陥画像を予め規定された複数種別に分類する欠陥分類手段と、を具備する。
【００１１】
前記共起ヒストグラム画像作成手段は、前記画像内の複数点間の明るさの組み合わせを変化させることによって複数の共起ヒストグラム画像を作成することが望ましい。前記欠陥分類手段は、ニューラルネットワークを用いることができる。
【発明の効果】
【００１２】
本発明の外観検査装置によれば、欠陥画像について正確に欠陥判定および欠陥分類を行うことが可能になり、例えば印刷画像から検出された欠陥画像を複数種別に分類するシステムに好適に使用することが可能になる。そして、共起ヒストグラム画像の作成に際して、画像内の複数点間の明るさの組み合わせを変化させることによって複数の共起ヒストグラム画像を作成することにより、複数の共起ヒストグラム画像のそれぞれの特徴量を抽出することにより、欠陥画像の複数種別に応じて明確に識別することを可能とした。また、欠陥分類手段としてニューラルネットワークを用いると、複数の特徴量の組み合わせに基づいて欠陥画像を予め規定された複数種別に正確に分類することが可能になる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して本発明の実施形態を説明する。この説明に際して、全図にわたり共通する部分には共通する参照符号を付す。
【００１４】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る印刷物検査装置の構成例を示す。本例では、検査対象物は、シート状の印刷物１が回転ローラ２により駆動されて走行しており、シート面に汚れなどの欠陥部１ａが存在する場合を想定している。
【００１５】
この印刷物検査装置は、撮像装置１０と、欠陥画像検出装置２０と、欠陥分類装置３０を有する。撮像装置１０は、検査対象物である印刷物を撮像するテレビカメラやＣＣＤ（Charge Coupled Device ）ラインセンサーなどが用いられる。欠陥画像検出装置２０は、撮像装置１０により得られた撮像画像から印刷物の欠陥部に対応する欠陥画像を検出するものである。欠陥分類装置３０は、欠陥画像検出装置２０により検出された欠陥画像に微分処理などを施して画像の特徴を抽出し、その特徴量に基づいて欠陥画像を予め規定された複数種別に分類するものである。
【００１６】
本実施形態では、欠陥分類装置３０において、欠陥画像から共起ヒストグラム画像を作成する機能を持たせ、この共起ヒストグラム画像の特徴量と欠陥画像の特徴量を組み合わせて欠陥の種別を正確に分類することを可能とした。そして、共起ヒストグラム画像の作成に際して、画像内の複数点間の明るさの組み合わせを変化させることによって複数の共起ヒストグラム画像を作成することにより、複数の共起ヒストグラム画像のそれぞれの特徴量を抽出することにより、欠陥画像の複数種別に応じて明確に識別することを可能とした。また、欠陥分類手段としてニューラルネットワークを用いることにより、複数の特徴量の組み合わせに基づいて欠陥画像を予め規定された複数種別に正確に分類することを可能とした。
【００１７】
以下、図１中の欠陥画像検出装置２０、欠陥分類装置３０について詳細に説明する。
【００１８】
欠陥画像検出装置２０は、撮像装置１０により得られた撮像画像が入力し、この入力画像をＡ／Ｄ（アナログ／デジタル）変換により各画素毎に多値のデジタルデータに変換し、このデジタルデータ画像について欠陥画像を検出するものである。本例では、欠陥画像検出装置２０は、入力画像データを入力画像メモリ２１に格納し、標準データを画像メモリ２２に格納し、これらの入力画像と標準画像との不一致の程度を評価する比較法を用いて差分画像を検出するように構成されており、２つの画像を減算回路２３で各画素毎に減算を行って差分画像を求める。この場合、一様表面を持つ対象物の撮像画像については、入力画像をそのまま差分画像として用いても良い。そして、差分画像から一定サイズの画像を切り出した切出画像を切出画像メモリ２４に格納し、切出画像中の不一致の画素数がある閾値を超えることを欠陥有無判定回路２５で判定すると、ゲート回路２６を開き、切出画像メモリ２４に格納されている切出画像を欠陥画像として欠陥分類装置３０に入力する。ここで、欠陥画像の例として、凸欠陥、穴欠陥、濃度ムラ欠陥、凹欠陥、凹欠陥（黒）、汚れ欠陥の各画像をそれぞれ図７（ａ）乃至（ｆ）に示す。なお、標準パターン画像は、予め準備され登録された欠陥がない印刷パターンについての正常な画像が用いられる。なお、同一印刷パターンが続く場合に、その印刷パターンを標準パターン画像に用いてもよい。
【００１９】
欠陥分類装置３０は、本例では、特徴抽出回路４０と、特徴抽出回路４０で抽出された欠陥特徴画像を二値化する二値化回路５０と、特徴量抽出回路６０と、欠陥分類回路７０と、を具備する。
【００２０】
特徴抽出回路４０は、欠陥画像検出装置２０からの欠陥画像入力に対して、一般的に画像微分で代表されるフィルタ処理を施して欠陥特徴画像を抽出する。例えば画像微分により画像のエッジ部を抽出する、などの処理を行い、エッジ部の強度、大きさなどを特徴抽出に利用する。さらに、本実施形態では、特徴抽出回路４０の機能の一部として、前記フィルタ処理と並行に、後述する共起ヒストグラム画像作成処理を行う機能を持たせている。この共起ヒストグラム画像作成処理は、欠陥画像検出装置２０により得られた欠陥画像から、欠陥画像内の複数点間の明るさの組み合わせ（明るさの分布形状）に基づいて共起ヒストグラム画像を作成する処理であり、繰り返しパターンを纏まった一つの領域の画像に変換することができる。すなわち、特徴抽出回路４０は、欠陥画像検出装置２０により得られた欠陥画像をフィルタ処理して特徴を抽出するとともに共起ヒストグラム画像に変換して特徴を抽出する機能を有する。
【００２１】
特徴量抽出回路６０は、特徴抽出回路４０の出力および二値化回路５０の出力が入力し、欠陥画像を数値的に評価するための複数種類の特徴量を計算により求め、特徴量の種類に応じた数の出力端から特徴量を出力する。欠陥の特徴量は、その面積（大きさ）、円形度、直線度、矩形度、明るさ、コントラスト、エッジ強度等である。すなわち、欠陥特徴画像の明るさ、暗さなどの明度情報を画像的特徴量として抽出し、二値化後の面積、周囲長、幅や長さ、円形度などを図形的特徴量として抽出し、例えば４０項目程度の多数の特徴量を抽出する。
【００２２】
ここで、大きさ特徴量は、欠陥の総画素数により求める。円形度特徴値は、前記面積と欠陥の周囲長との比により求める。直線度特徴値は、欠陥の長軸長と短軸長との比により求める。矩形度特徴量は、欠陥の長軸長と短軸長の積で表される欠陥に外接するボックス面積と前記欠陥の面積との比により求める。また、明るさ特徴量は、欠陥の重心位置の明るさにより求める。また、コントラスト特徴量およびエッジ強度特徴量は、いずれも周囲との関係を認識するために求める。
【００２３】
欠陥分類回路７０は、例えば非特許文献１に開示されているようなニューラルネットワークが用いられており、特徴量抽出回路６０により得られた複数種類の特徴量の組み合わせに基づいて前記欠陥画像を予め規定された複数種別に分類し、分類結果を出力する。この際、画像的特徴量や図形的特徴量を組み合わせて、欠陥の種別や欠陥の程度である欠陥レベルを判定する。
【００２４】
以下、図１中の特徴抽出回路４０について図２乃至図３を参照して具体例を説明する。 図２に示す特徴抽出回路４０において、画像微分フィルタなどで代表されるフィルタ処理部４１では、欠陥画像入力に対して画像微分などで代表されるフィルタ処理を行う。このフィルタ処理は、基本的には原画像の位置関係を保ちながら特徴部を強調的に抽出する処理である。なお、画像微分フィルタとしては、例えば図６に示すようなラプラシアンフィルタ、水平ソーベルフィルタなど多くの種類が知られている。
【００２５】
一方、共起ヒストグラム作成処理部４２は、例えばソフトウェア処理によって、欠陥画像入力から画像内の複数点間の明るさの組み合わせに基づいて共起ヒストグラム作成処理を行い、原画像とは異なる共起ヒストグラム画像に変換して頻度画像メモリ４３に格納する。
【００２６】
図３（ａ）、（ｂ）は、図２中の共起ヒストグラム作成処理部４２において、原画像から共起ヒストグラム画像に変換する作成処理を説明するために示している。図３（ａ）に示すような入力画像の二次元（ｘ，ｙ）座標上の位置（i,j)の画素値（明るさ）fij に対して、そこからｘ，ｙ方向に（K,L ）だけ離れた位置（i+K,j+L ）の画素値fi+K,j+Lを組み合わせることによって、図３（ｂ）に示すように画素の明るさ（fij,fi+K,j+L）の分布を示す二次元ヒストグラムを作成する。この二次元ヒストグラム自身を画像とみなしたものが共起ヒストグラム画像である。この場合、二次元ヒストグラムのｘ，ｙ方向の画素数M,N がそれぞれ例えば0 〜255 の値をとる場合は、256 ×256 画素の共起ヒストグラム画像となり、この256 ×256 画素を例えば0 〜63の画素に圧縮した場合は64×64画素の共起ヒストグラム画像となり、0 〜31の画素に圧縮した場合は32×32画素の共起ヒストグラム画像となる。
【００２７】
また、入力画像の位置（i,j)の画素値fij に対して、そこから（K,L ）および（-K,-L ）だけ離れた２つの位置（i+K,j+L ）および（i-K,j-L ）の画素値fi+K,j+Lおよびfi-K,j-Lを組み合わせ、画素の明るさ（fij,fi+K,j+L,fi-K,j-L ）の分布を示す三次元ヒストグラムを作成することもできる。この三次元ヒストグラム自身を画像とみなしたものも共起ヒストグラム画像である。
【００２８】
したがって、三次元の画素値がそれぞれ0 〜255 の値をとる場合は、256 ×256 ×256画素の共起ヒストグラム画像となり、画素値を0 〜63とか、0 〜31などに圧縮した場合は、それぞれ、64×64×64、32×32×32画素の共起ヒストグラム画像となる。
【００２９】
上記した二次元ヒストグラム、三次元ヒストグラムのいずれであっても、対応する共起ヒストグラム画像は、欠陥の形状ではなく、画素値の分布の形状を表わしており、この分布の形状が欠陥種別によって異なることを利用し、欠陥分類を行うことができる。
【００３０】
図４（ａ）乃至（ｃ）は、複数種別の欠陥画像について、前記共起ヒストグラム画像作成処理によって共起ヒストグラムを作成した例である。この共起ヒストグラムは、以下のような特徴を持つ。
【００３１】
（イ）広く分布する画像を、一つの領域として纏めることができる。
【００３２】
（ロ）共起ヒストグラムをとる２つまたは３つの画素間の間隔を制御することで、画像の周期性特徴を取り出すことが出来る。
【００３３】
（ハ）周期性特徴として作成されるヒストグラムは、単一領域欠陥のヒストグラムと異なっている。
【００３４】
上記した共起ヒストグラムの特徴を利用して、広く分布する欠陥画像の分類を行うことができる。例えば図４（ａ）に示すように広く分布する欠陥画像である濃度ムラ欠陥画像は、ヒストグラム上で大きな面積の単一領域に分布するが、図４（ｂ）に示すような凹欠陥画像や図４（ｃ）に示すような汚れ欠陥画像は、Ｘ軸、Ｙ軸に平行に分布し、ヒストグラム上での分布範囲が異なる。
【００３５】
したがって、共起ヒストグラムを画像として扱い、これから画像的特徴量や図形的特徴量を取り出し、欠陥画像の他の特徴量と組み合わせて判定することで、欠陥分類を行うことができる。すなわち、例えば図４（ａ）に示したように画面中に広く分散して分布しているムラ欠陥画像や、ぼけた濃淡むらが広い範囲に分布するような繰り返し性のパターン画像が入力した場合でも、欠陥の判定および予め規定された複数の欠陥類別へ分類することが可能になった。
【００３６】
ここで、共起ヒストグラム画像作成部４２において、画像内の複数点間の明るさの組み合わせを変化させることによって複数の共起ヒストグラム画像を作成することにより、後段において複数の共起ヒストグラム画像のそれぞれの特徴量を抽出し、欠陥画像の複数種別に応じて明確に識別することが可能になる。
【００３７】
図５は、図１中の欠陥分類回路７０に用いられているニューラルネットワークの一例を、欠陥画像の特徴量抽出部とともに示す。このニューラルネットワークは、欠陥画像からフィルタ処理などによって抽出された「面積」、「明るさ」、「円形度」などの特徴量が入力する２段のニューラルネットワーク（以下、ＮＮと略す）を有する。１段目のＮＮは、欠陥の特徴表現の数に対応する出力層ユニット数を有し、欠陥の種類を分類する。２段目のＮＮは、１段目のＮＮの出力層ユニット数と同数のレベル分類ＮＮと、前記欠陥の特徴量にそれぞれ対応した数の出力端を有する。そして、１段目の分類結果に対応した起動信号により欠陥の種類に応じてその欠陥専用のＮＮのみが動作し、欠陥の大きさ等のレベルを分類し、欠陥クラスの所属度を表わす数値を出力する。ここで、数値は0 〜1.0 であり、その出力値が1.0 に近いほど、実際にその欠陥種別である可能性が高いものと判断できる。したがって、ある欠陥画像を１段目のＮＮが例えば「ムラ」欠陥と分類した場合は、２段目の「ムラ」欠陥レベル分類ＮＮが起動され、その欠陥のレベルが分類されることになる。
【産業上の利用可能性】
【００３８】
本発明は、印刷物や生産物などの表面欠陥の検査や類別を行う外観検査装置に広く適用することができる。例えば印刷ラインにおいて、印刷物を撮像し、パターン認識やパターン分類をすることにより印刷物などの良否を判定したり、印刷ラインの印刷状態をモニタリングし、良好な状態に保持する等のシステムに利用可能である。また、情報記録テープや各種のフィルム状またはシート状の物体の製造ライン等の加工後において無地面を評価することによって、生産物の検査や生産ラインのモニタリングに利用可能である。
【図面の簡単な説明】
【００３９】
【図１】本発明の第１の実施形態に係る印刷物検査装置の構成例を示すブロック図。
【図２】図１中の特徴抽出回路の構成例を示すブロック図。
【図３】図２中の共起ヒストグラム作成処理部において原画像から共起ヒストグラム画像に変換する作成処理を説明するために示す図。
【図４】図２中の共起ヒストグラム作成処理部により複数種別の欠陥画像について共起ヒストグラムを作成した例を示す図。
【図５】図１中の欠陥分類回路に用いられているニューラルネットワークの一例を示すブロック図。
【図６】図２中のフィルタ処理部に用いられる画像微分フィルタの例を示す図。
【図７】外観検査装置において比較法による検査によって取り出された欠陥画像を６種に分類した例を示す図。
【符号の説明】
【００４０】
１…シート状の印刷物、１ａ…汚れなどの欠陥部、２…回転ローラ、１０…撮像装置、２０…欠陥画像検出装置、３０…欠陥分類装置、４０…特徴抽出回路、４１…フィルタ処理部、４２…共起ヒストグラム作成処理部、４３…頻度画像メモリ、５０…二値化回路、６０…特徴量抽出回路、７０…欠陥分類回路。
【技術分野】
【０００１】
本発明は、外観検査装置に係り、特に撮像画像から検出した欠陥画像の特徴を抽出し、分類を行う欠陥分類装置に関するもので、例えば印刷物、生産物の検査や生産ラインのモニタリングに使用されるものである。
【背景技術】
【０００２】
印刷ラインなどにおいて、例えばロール状に巻かれた原紙に印刷した直後における印刷画像の状態を自動的に検査し、それによって印刷物の良否を判定するためにパターン検査装置が使用されている。
【０００３】
パターン検査装置の一例では、エリアセンサーまたはラインセンサーなどを素子として装備したカメラで印刷画像を撮像し、撮像画像を標準画像とを比較法によって検査して欠陥を検出する。前記標準画像は、予め標準となるパターン画像を教示しておいたり、撮像画像である検査パターンが繰り返し周期的に現れる場合には何周期か前に撮影したパターン画像を選んで標準のパターン画像とする。
【０００４】
比較法による検査においては、まず、機械的または電子的な何らかの方法で撮像画像と標準画像の位置決め（位置合わせ）を行ない、位置決め後における撮像画像と標準画像の対応する同じ位置の画素の値同士を減算して評価を行う。この減算による欠陥の検出では、入力画像の全面について相違部を欠陥画像として検出する。この場合、無地の原料シートや金属シートの画像のように印刷パターンのない入力画像では、画像のうちで周辺部との明るさの相違が有る部分を欠陥画像として検出するようにしてもよい。このように検出された欠陥画像は、欠陥の状態により複数種別に分類することができる。
【０００５】
従来の欠陥分類システムでは、まず、入力画像を単純に二値化したり、入力画像の縁部などに特徴が有る場合は微分、直線強調などのフィルター処理を施して入力画像中の特徴のある画素値分布を取り出した後に二値化する。この後、二値化画像での図形的特徴量を計算し、特徴量を組み合わせて２段ニューラルネットワークにより分類する、等の方法が用いられる。
【０００６】
上記したような従来のシステムによる画像分類は、欠陥画像そのものや欠陥画像に画像処理フィルタをかけて二値化した画像の図形的特量を使って分析しており、欠陥画像が画面内の１つのパターンとして纏まっている場合には良好な認識性能を発揮することができる。しかし、欠陥画像が、ぼけた濃淡むらが広い範囲に分布するような繰り返し性のパターン画像であった場合には、画面内の一つのパターンのみの図形的特徴量の組み合わせでは欠陥判定および欠陥分類が困難である。つまり、欠陥画像に対して部分的な評価は可能であっても全体として捉えて評価することが困難であった。
【０００７】
なお、ニューラルネットワークおよびそれを用いて分類する方法は、非特許文献１、特許文献１，２に開示されている。
【非特許文献１】秦清治ほか「外観検査のための２段ニューラルネットワーク欠陥 分類システム」, 2004.01.16, 電気学会研究会資料,IIS-04-8, pp.39-42
【特許文献１】特許第３４１４８４４号公報
【特許文献２】特開２００６−４８３７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明者は前述した問題を解決すべく鋭意研究した結果、例えば印刷画像から検出された凸欠陥、穴欠陥、凹欠陥、凹欠陥（黒）、濃度ムラ、薄汚れなどの複数種別の欠陥画像は、共起ヒストグラム画像に変換することによって欠陥種別に応じて明確な図形的特徴を持つようになり、この図形的特徴に基づいて欠陥判定および欠陥画像を正確に分類することが可能になることに着目して本発明を成すに到ったものである。
【０００９】
すなわち、本発明は、欠陥画像に対して正確に欠陥判定および欠陥分類を行うことが可能になり、例えば印刷画像から検出された欠陥画像を複数種別に分類するシステムに好適に使用可能な外観検査装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の外観検査装置は、撮像装置と、前記撮像装置により得られた撮像画像から欠陥画像を検出する欠陥画像検出装置と、前記欠陥画像検出装置により得られた欠陥画像を予め規定された複数種別に分類する欠陥分類装置と、を具備し、前記欠陥分類装置は、前記欠陥画像検出装置により得られた欠陥画像から、画像内の複数点間の明るさの組み合わせによって作成したヒストグラム自身を画像として扱う共起ヒストグラム画像を作成する共起ヒストグラム画像作成手段と、前記欠陥画像検出装置により得られた欠陥画像をフィルタ処理して特徴を抽出するとともに前記共起ヒストグラム画像を分析して特徴を抽出する特徴抽出手段と、前記特徴抽出手段により得られた特徴から複数種類の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により得られた複数種類の特徴量の組み合わせに基づいて前記欠陥画像を予め規定された複数種別に分類する欠陥分類手段と、を具備する。
【００１１】
前記共起ヒストグラム画像作成手段は、前記画像内の複数点間の明るさの組み合わせを変化させることによって複数の共起ヒストグラム画像を作成することが望ましい。前記欠陥分類手段は、ニューラルネットワークを用いることができる。
【発明の効果】
【００１２】
本発明の外観検査装置によれば、欠陥画像について正確に欠陥判定および欠陥分類を行うことが可能になり、例えば印刷画像から検出された欠陥画像を複数種別に分類するシステムに好適に使用することが可能になる。そして、共起ヒストグラム画像の作成に際して、画像内の複数点間の明るさの組み合わせを変化させることによって複数の共起ヒストグラム画像を作成することにより、複数の共起ヒストグラム画像のそれぞれの特徴量を抽出することにより、欠陥画像の複数種別に応じて明確に識別することを可能とした。また、欠陥分類手段としてニューラルネットワークを用いると、複数の特徴量の組み合わせに基づいて欠陥画像を予め規定された複数種別に正確に分類することが可能になる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して本発明の実施形態を説明する。この説明に際して、全図にわたり共通する部分には共通する参照符号を付す。
【００１４】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る印刷物検査装置の構成例を示す。本例では、検査対象物は、シート状の印刷物１が回転ローラ２により駆動されて走行しており、シート面に汚れなどの欠陥部１ａが存在する場合を想定している。
【００１５】
この印刷物検査装置は、撮像装置１０と、欠陥画像検出装置２０と、欠陥分類装置３０を有する。撮像装置１０は、検査対象物である印刷物を撮像するテレビカメラやＣＣＤ（Charge Coupled Device ）ラインセンサーなどが用いられる。欠陥画像検出装置２０は、撮像装置１０により得られた撮像画像から印刷物の欠陥部に対応する欠陥画像を検出するものである。欠陥分類装置３０は、欠陥画像検出装置２０により検出された欠陥画像に微分処理などを施して画像の特徴を抽出し、その特徴量に基づいて欠陥画像を予め規定された複数種別に分類するものである。
【００１６】
本実施形態では、欠陥分類装置３０において、欠陥画像から共起ヒストグラム画像を作成する機能を持たせ、この共起ヒストグラム画像の特徴量と欠陥画像の特徴量を組み合わせて欠陥の種別を正確に分類することを可能とした。そして、共起ヒストグラム画像の作成に際して、画像内の複数点間の明るさの組み合わせを変化させることによって複数の共起ヒストグラム画像を作成することにより、複数の共起ヒストグラム画像のそれぞれの特徴量を抽出することにより、欠陥画像の複数種別に応じて明確に識別することを可能とした。また、欠陥分類手段としてニューラルネットワークを用いることにより、複数の特徴量の組み合わせに基づいて欠陥画像を予め規定された複数種別に正確に分類することを可能とした。
【００１７】
以下、図１中の欠陥画像検出装置２０、欠陥分類装置３０について詳細に説明する。
【００１８】
欠陥画像検出装置２０は、撮像装置１０により得られた撮像画像が入力し、この入力画像をＡ／Ｄ（アナログ／デジタル）変換により各画素毎に多値のデジタルデータに変換し、このデジタルデータ画像について欠陥画像を検出するものである。本例では、欠陥画像検出装置２０は、入力画像データを入力画像メモリ２１に格納し、標準データを画像メモリ２２に格納し、これらの入力画像と標準画像との不一致の程度を評価する比較法を用いて差分画像を検出するように構成されており、２つの画像を減算回路２３で各画素毎に減算を行って差分画像を求める。この場合、一様表面を持つ対象物の撮像画像については、入力画像をそのまま差分画像として用いても良い。そして、差分画像から一定サイズの画像を切り出した切出画像を切出画像メモリ２４に格納し、切出画像中の不一致の画素数がある閾値を超えることを欠陥有無判定回路２５で判定すると、ゲート回路２６を開き、切出画像メモリ２４に格納されている切出画像を欠陥画像として欠陥分類装置３０に入力する。ここで、欠陥画像の例として、凸欠陥、穴欠陥、濃度ムラ欠陥、凹欠陥、凹欠陥（黒）、汚れ欠陥の各画像をそれぞれ図７（ａ）乃至（ｆ）に示す。なお、標準パターン画像は、予め準備され登録された欠陥がない印刷パターンについての正常な画像が用いられる。なお、同一印刷パターンが続く場合に、その印刷パターンを標準パターン画像に用いてもよい。
【００１９】
欠陥分類装置３０は、本例では、特徴抽出回路４０と、特徴抽出回路４０で抽出された欠陥特徴画像を二値化する二値化回路５０と、特徴量抽出回路６０と、欠陥分類回路７０と、を具備する。
【００２０】
特徴抽出回路４０は、欠陥画像検出装置２０からの欠陥画像入力に対して、一般的に画像微分で代表されるフィルタ処理を施して欠陥特徴画像を抽出する。例えば画像微分により画像のエッジ部を抽出する、などの処理を行い、エッジ部の強度、大きさなどを特徴抽出に利用する。さらに、本実施形態では、特徴抽出回路４０の機能の一部として、前記フィルタ処理と並行に、後述する共起ヒストグラム画像作成処理を行う機能を持たせている。この共起ヒストグラム画像作成処理は、欠陥画像検出装置２０により得られた欠陥画像から、欠陥画像内の複数点間の明るさの組み合わせ（明るさの分布形状）に基づいて共起ヒストグラム画像を作成する処理であり、繰り返しパターンを纏まった一つの領域の画像に変換することができる。すなわち、特徴抽出回路４０は、欠陥画像検出装置２０により得られた欠陥画像をフィルタ処理して特徴を抽出するとともに共起ヒストグラム画像に変換して特徴を抽出する機能を有する。
【００２１】
特徴量抽出回路６０は、特徴抽出回路４０の出力および二値化回路５０の出力が入力し、欠陥画像を数値的に評価するための複数種類の特徴量を計算により求め、特徴量の種類に応じた数の出力端から特徴量を出力する。欠陥の特徴量は、その面積（大きさ）、円形度、直線度、矩形度、明るさ、コントラスト、エッジ強度等である。すなわち、欠陥特徴画像の明るさ、暗さなどの明度情報を画像的特徴量として抽出し、二値化後の面積、周囲長、幅や長さ、円形度などを図形的特徴量として抽出し、例えば４０項目程度の多数の特徴量を抽出する。
【００２２】
ここで、大きさ特徴量は、欠陥の総画素数により求める。円形度特徴値は、前記面積と欠陥の周囲長との比により求める。直線度特徴値は、欠陥の長軸長と短軸長との比により求める。矩形度特徴量は、欠陥の長軸長と短軸長の積で表される欠陥に外接するボックス面積と前記欠陥の面積との比により求める。また、明るさ特徴量は、欠陥の重心位置の明るさにより求める。また、コントラスト特徴量およびエッジ強度特徴量は、いずれも周囲との関係を認識するために求める。
【００２３】
欠陥分類回路７０は、例えば非特許文献１に開示されているようなニューラルネットワークが用いられており、特徴量抽出回路６０により得られた複数種類の特徴量の組み合わせに基づいて前記欠陥画像を予め規定された複数種別に分類し、分類結果を出力する。この際、画像的特徴量や図形的特徴量を組み合わせて、欠陥の種別や欠陥の程度である欠陥レベルを判定する。
【００２４】
以下、図１中の特徴抽出回路４０について図２乃至図３を参照して具体例を説明する。 図２に示す特徴抽出回路４０において、画像微分フィルタなどで代表されるフィルタ処理部４１では、欠陥画像入力に対して画像微分などで代表されるフィルタ処理を行う。このフィルタ処理は、基本的には原画像の位置関係を保ちながら特徴部を強調的に抽出する処理である。なお、画像微分フィルタとしては、例えば図６に示すようなラプラシアンフィルタ、水平ソーベルフィルタなど多くの種類が知られている。
【００２５】
一方、共起ヒストグラム作成処理部４２は、例えばソフトウェア処理によって、欠陥画像入力から画像内の複数点間の明るさの組み合わせに基づいて共起ヒストグラム作成処理を行い、原画像とは異なる共起ヒストグラム画像に変換して頻度画像メモリ４３に格納する。
【００２６】
図３（ａ）、（ｂ）は、図２中の共起ヒストグラム作成処理部４２において、原画像から共起ヒストグラム画像に変換する作成処理を説明するために示している。図３（ａ）に示すような入力画像の二次元（ｘ，ｙ）座標上の位置（i,j)の画素値（明るさ）fij に対して、そこからｘ，ｙ方向に（K,L ）だけ離れた位置（i+K,j+L ）の画素値fi+K,j+Lを組み合わせることによって、図３（ｂ）に示すように画素の明るさ（fij,fi+K,j+L）の分布を示す二次元ヒストグラムを作成する。この二次元ヒストグラム自身を画像とみなしたものが共起ヒストグラム画像である。この場合、二次元ヒストグラムのｘ，ｙ方向の画素数M,N がそれぞれ例えば0 〜255 の値をとる場合は、256 ×256 画素の共起ヒストグラム画像となり、この256 ×256 画素を例えば0 〜63の画素に圧縮した場合は64×64画素の共起ヒストグラム画像となり、0 〜31の画素に圧縮した場合は32×32画素の共起ヒストグラム画像となる。
【００２７】
また、入力画像の位置（i,j)の画素値fij に対して、そこから（K,L ）および（-K,-L ）だけ離れた２つの位置（i+K,j+L ）および（i-K,j-L ）の画素値fi+K,j+Lおよびfi-K,j-Lを組み合わせ、画素の明るさ（fij,fi+K,j+L,fi-K,j-L ）の分布を示す三次元ヒストグラムを作成することもできる。この三次元ヒストグラム自身を画像とみなしたものも共起ヒストグラム画像である。
【００２８】
したがって、三次元の画素値がそれぞれ0 〜255 の値をとる場合は、256 ×256 ×256画素の共起ヒストグラム画像となり、画素値を0 〜63とか、0 〜31などに圧縮した場合は、それぞれ、64×64×64、32×32×32画素の共起ヒストグラム画像となる。
【００２９】
上記した二次元ヒストグラム、三次元ヒストグラムのいずれであっても、対応する共起ヒストグラム画像は、欠陥の形状ではなく、画素値の分布の形状を表わしており、この分布の形状が欠陥種別によって異なることを利用し、欠陥分類を行うことができる。
【００３０】
図４（ａ）乃至（ｃ）は、複数種別の欠陥画像について、前記共起ヒストグラム画像作成処理によって共起ヒストグラムを作成した例である。この共起ヒストグラムは、以下のような特徴を持つ。
【００３１】
（イ）広く分布する画像を、一つの領域として纏めることができる。
【００３２】
（ロ）共起ヒストグラムをとる２つまたは３つの画素間の間隔を制御することで、画像の周期性特徴を取り出すことが出来る。
【００３３】
（ハ）周期性特徴として作成されるヒストグラムは、単一領域欠陥のヒストグラムと異なっている。
【００３４】
上記した共起ヒストグラムの特徴を利用して、広く分布する欠陥画像の分類を行うことができる。例えば図４（ａ）に示すように広く分布する欠陥画像である濃度ムラ欠陥画像は、ヒストグラム上で大きな面積の単一領域に分布するが、図４（ｂ）に示すような凹欠陥画像や図４（ｃ）に示すような汚れ欠陥画像は、Ｘ軸、Ｙ軸に平行に分布し、ヒストグラム上での分布範囲が異なる。
【００３５】
したがって、共起ヒストグラムを画像として扱い、これから画像的特徴量や図形的特徴量を取り出し、欠陥画像の他の特徴量と組み合わせて判定することで、欠陥分類を行うことができる。すなわち、例えば図４（ａ）に示したように画面中に広く分散して分布しているムラ欠陥画像や、ぼけた濃淡むらが広い範囲に分布するような繰り返し性のパターン画像が入力した場合でも、欠陥の判定および予め規定された複数の欠陥類別へ分類することが可能になった。
【００３６】
ここで、共起ヒストグラム画像作成部４２において、画像内の複数点間の明るさの組み合わせを変化させることによって複数の共起ヒストグラム画像を作成することにより、後段において複数の共起ヒストグラム画像のそれぞれの特徴量を抽出し、欠陥画像の複数種別に応じて明確に識別することが可能になる。
【００３７】
図５は、図１中の欠陥分類回路７０に用いられているニューラルネットワークの一例を、欠陥画像の特徴量抽出部とともに示す。このニューラルネットワークは、欠陥画像からフィルタ処理などによって抽出された「面積」、「明るさ」、「円形度」などの特徴量が入力する２段のニューラルネットワーク（以下、ＮＮと略す）を有する。１段目のＮＮは、欠陥の特徴表現の数に対応する出力層ユニット数を有し、欠陥の種類を分類する。２段目のＮＮは、１段目のＮＮの出力層ユニット数と同数のレベル分類ＮＮと、前記欠陥の特徴量にそれぞれ対応した数の出力端を有する。そして、１段目の分類結果に対応した起動信号により欠陥の種類に応じてその欠陥専用のＮＮのみが動作し、欠陥の大きさ等のレベルを分類し、欠陥クラスの所属度を表わす数値を出力する。ここで、数値は0 〜1.0 であり、その出力値が1.0 に近いほど、実際にその欠陥種別である可能性が高いものと判断できる。したがって、ある欠陥画像を１段目のＮＮが例えば「ムラ」欠陥と分類した場合は、２段目の「ムラ」欠陥レベル分類ＮＮが起動され、その欠陥のレベルが分類されることになる。
【産業上の利用可能性】
【００３８】
本発明は、印刷物や生産物などの表面欠陥の検査や類別を行う外観検査装置に広く適用することができる。例えば印刷ラインにおいて、印刷物を撮像し、パターン認識やパターン分類をすることにより印刷物などの良否を判定したり、印刷ラインの印刷状態をモニタリングし、良好な状態に保持する等のシステムに利用可能である。また、情報記録テープや各種のフィルム状またはシート状の物体の製造ライン等の加工後において無地面を評価することによって、生産物の検査や生産ラインのモニタリングに利用可能である。
【図面の簡単な説明】
【００３９】
【図１】本発明の第１の実施形態に係る印刷物検査装置の構成例を示すブロック図。
【図２】図１中の特徴抽出回路の構成例を示すブロック図。
【図３】図２中の共起ヒストグラム作成処理部において原画像から共起ヒストグラム画像に変換する作成処理を説明するために示す図。
【図４】図２中の共起ヒストグラム作成処理部により複数種別の欠陥画像について共起ヒストグラムを作成した例を示す図。
【図５】図１中の欠陥分類回路に用いられているニューラルネットワークの一例を示すブロック図。
【図６】図２中のフィルタ処理部に用いられる画像微分フィルタの例を示す図。
【図７】外観検査装置において比較法による検査によって取り出された欠陥画像を６種に分類した例を示す図。
【符号の説明】
【００４０】
１…シート状の印刷物、１ａ…汚れなどの欠陥部、２…回転ローラ、１０…撮像装置、２０…欠陥画像検出装置、３０…欠陥分類装置、４０…特徴抽出回路、４１…フィルタ処理部、４２…共起ヒストグラム作成処理部、４３…頻度画像メモリ、５０…二値化回路、６０…特徴量抽出回路、７０…欠陥分類回路。
【特許請求の範囲】
【請求項１】
撮像装置と、
前記撮像装置により得られた撮像画像から欠陥画像を検出する欠陥画像検出装置と、
前記欠陥画像検出装置により得られた欠陥画像を予め規定された複数種別に分類する欠陥分類装置と、
を具備し、前記欠陥分類装置は、
前記欠陥画像検出装置により得られた欠陥画像から、画像内の複数点間の明るさの組み合わせによって作成したヒストグラム自身を画像として扱う共起ヒストグラム画像を作成する共起ヒストグラム画像作成手段と、
前記欠陥画像検出装置により得られた欠陥画像をフィルタ処理して特徴を抽出するとともに前記共起ヒストグラム画像を分析して特徴を抽出する特徴抽出手段と、
前記特徴抽出手段により得られた特徴から複数種類の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により得られた複数種類の特徴量の組み合わせに基づいて前記欠陥画像を予め規定された複数種別に分類する欠陥分類手段と、
を具備することを特徴とする外観検査装置。
【請求項２】
前記共起ヒストグラム画像作成手段は、前記画像内の複数点間の明るさの組み合わせを変化させることによって複数の共起ヒストグラム画像を作成することを特徴とする請求項１に記載の外観検査装置。
【請求項１】
撮像装置と、
前記撮像装置により得られた撮像画像から欠陥画像を検出する欠陥画像検出装置と、
前記欠陥画像検出装置により得られた欠陥画像を予め規定された複数種別に分類する欠陥分類装置と、
を具備し、前記欠陥分類装置は、
前記欠陥画像検出装置により得られた欠陥画像から、画像内の複数点間の明るさの組み合わせによって作成したヒストグラム自身を画像として扱う共起ヒストグラム画像を作成する共起ヒストグラム画像作成手段と、
前記欠陥画像検出装置により得られた欠陥画像をフィルタ処理して特徴を抽出するとともに前記共起ヒストグラム画像を分析して特徴を抽出する特徴抽出手段と、
前記特徴抽出手段により得られた特徴から複数種類の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により得られた複数種類の特徴量の組み合わせに基づいて前記欠陥画像を予め規定された複数種別に分類する欠陥分類手段と、
を具備することを特徴とする外観検査装置。
【請求項２】
前記共起ヒストグラム画像作成手段は、前記画像内の複数点間の明るさの組み合わせを変化させることによって複数の共起ヒストグラム画像を作成することを特徴とする請求項１に記載の外観検査装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００８−１７５５８８（Ｐ２００８−１７５５８８Ａ）
【公開日】平成２０年７月３１日（２００８．７．３１）
【国際特許分類】
【出願番号】特願２００７−７３２９（Ｐ２００７−７３２９）
【出願日】平成１９年１月１６日（２００７．１．１６）
【出願人】（３０４０２８３４６）国立大学法人 香川大学 (285)
【出願人】（５９１１１４６４１）株式会社ヒューテック (19)
【Ｆターム（参考）】
【公開日】平成２０年７月３１日（２００８．７．３１）
【国際特許分類】
【出願日】平成１９年１月１６日（２００７．１．１６）
【出願人】（３０４０２８３４６）国立大学法人 香川大学 (285)
【出願人】（５９１１１４６４１）株式会社ヒューテック (19)
【Ｆターム（参考）】
[ Back to top ]