外観検査装置
【課題】 同一の欠陥について複数のカメラで異なるタイミングで検出されることがある検査システムにおいて、表示・出力する欠陥情報を適切に絞り込むこができるようにする
【解決手段】 紙１の搬送方向に沿って、前後に配置された複数のカメラ装置１０で撮像された画像データを取得すると共に、各カメラ装置からの画像データ単位で画像認識処理を行い、欠陥の有無を判断する検出ラック部２１と、検出ラック部で欠陥を検出した場合に、欠陥処理部２２を経て作成された検出された欠陥情報を表示装置３０に表示するデータ処理部２３とを備える。データ処理部は、異なるカメラ装置で撮像された同一の欠陥についての欠陥情報を比較し、決定ルールに従って決定された異なるカメラ装置のうちの１つのカメラ装置で撮像された画像データに基づき抽出した欠陥情報を代表欠陥情報として決定し、表示する機能を備えた。
【解決手段】 紙１の搬送方向に沿って、前後に配置された複数のカメラ装置１０で撮像された画像データを取得すると共に、各カメラ装置からの画像データ単位で画像認識処理を行い、欠陥の有無を判断する検出ラック部２１と、検出ラック部で欠陥を検出した場合に、欠陥処理部２２を経て作成された検出された欠陥情報を表示装置３０に表示するデータ処理部２３とを備える。データ処理部は、異なるカメラ装置で撮像された同一の欠陥についての欠陥情報を比較し、決定ルールに従って決定された異なるカメラ装置のうちの１つのカメラ装置で撮像された画像データに基づき抽出した欠陥情報を代表欠陥情報として決定し、表示する機能を備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、紙，フィルム，不織布，鉄鋼，非鉄金属等のシート状の素材（物品）の外観を検査する外観検査装置に関する。
【背景技術】
【０００２】
紙（ロール紙）その他のシート状物等の製造システムでは、品質を保持するため、製造過程においてリアルタイムで異物の付着や孔あき等の欠陥の有無を監視している。係る欠陥の有無を監視するための監視システム（検査システム）は、たとえば、製造工程の各所にカメラを設置し、そこから得られた画像データに基づいて検査装置が画像認識処理を行い欠陥の有無を判断し、欠陥があった場合には検出した欠陥について分析し、欠陥の位置、大きさ（異物または穴等の縦横長さ、面積）、種類等を判断する。これら判断結果は欠陥に関する情報と扱われ、これら情報は欠陥画像とともに表示装置へ出力されることで、監視員（オペレータ）に知らせるようにしたものがある。
【０００３】
表示装置に表示する情報は、欠陥位置を特定する位置情報や、大きさ（縦・横の長さや面積等）や、欠陥の種類等を示すテキスト情報と、実際の画像データである画像情報がある。この表示レイアウトは、たとえば、図１に示すように、テキスト情報は、１つの欠陥について関連する情報を１列に示した表形式とし、画像情報は、別枠で所定数（図では３個）を出力するようにしている。テキスト情報は、検出された順番に逐次出力する。同様に、画像情報も最新の所定数（たとえば３個）を出力することになる。この種の画像認識処理により紙等のシート状物に対して欠陥の有無を検査する検査システムとしては、例えば特許文献１等に開示されている。
【特許文献１】特許第３９８２６４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述した従来の外観検査システムでは、欠陥を検出した場合には、その欠陥についてのテキスト情報並びに画像情報を逐次表示装置に出力表示するとともに、それらの情報を記憶装置に保存している。
【０００５】
一方、画像認識処理の対象となる画像データは、紙等の被検査対象物の反射光や透過光であり、２次元の画像データを撮像するエリアセンサカメラや、１次元のラインセンサカメラ等（以下、“カメラ“）を用いて取得する。そして、係る被検査対象物の表面や裏面の両面を検査したり、紙等の被監視対象物が複数工程を経て製造されることからどの工程で欠陥を生じたかを検証するために各工程の処理直後の被検査対象物を検査したりするため、カメラはそれぞれの製造工程の各場所に複数設置されることが多々ある。しかも、ある工程で欠陥が生じた場合、１個のみ欠陥が発生することもあるが、ある範囲に複数或いは多数欠陥が集中的に発生することもある。
【０００６】
すると、ある上流側の工程で欠陥が生じた場合、その欠陥がその後の各工程の処理後にも現れることになり、そうすると、被監視対象物上に存在する一つの欠陥（同一の欠陥）が複数のカメラにて取得した画像データ中に存在することになる。従って、一つの欠陥は、それぞれのカメラで画像データとして検出された都度、その検出されたタイミングで欠陥として検出され、表示装置に出力されることになる。つまり被監視対象物上に欠陥が一つ存在すると、各検査場所で検出された欠陥検査結果が複数生じることになる。一方、カメラは生産ラインの各所に点在することになり、ロール紙の生産ラインでは、その全長が１００ｍ以上になることも多々あることから、被監視対象物上に存在する一つの欠陥について、個々のカメラにて得られた画像データに現れるタイミングは大きくずれることになり、各検査場所での検出タイミングもずれることになる。
【０００７】
すると、表示装置には、生産ラインに沿って複数箇所に設置された各カメラで検出された欠陥に関する情報が、時々刻々と更新されながら多数表示されることになり、特にカメラの設置箇所数が多くなると、ある上流側の工程で欠陥が生じた場合、その欠陥がその後の各工程の処理後にも現れることになり、そうすると、同じ欠陥が複数のカメラにて取得した画像データ中に存在することになる。
【０００８】
しかも、出現するタイミングがばらばらとなり、上流側のカメラで検出された欠陥Ａの欠陥情報（画像．テキスト）が表示された後で、異なる欠陥に基づく欠陥情報が表示され、さらにその後に先に表示された欠陥Ａについて下流側の別のカメラで検出された欠陥情報が表示されるため、現在表示されている欠陥情報が、初めて検出された欠陥についてのものか、すでにいったん表示された欠陥情報と同じ欠陥についての別のカメラで検出された２回目以降の欠陥情報の表示がわからない。よって、システム全体として出力される不要な情報がさらに多くなるとともに情報が錯綜することになり、オペレータは、かえって整理できずに適切な監視をすることができなくなるおそれがある。
【０００９】
この発明は、被監視対象物上に存在する一つの欠陥について各検査場所のカメラで異なるタイミングで検出されることがある検査システムにおいて、表示・出力する欠陥情報を適切に絞り込み、オペレータ（ユーザ）が適切かつ見落とし等することなく欠陥情報を認識し、生産ラインでの不具合等の分析を行うための情報を提供することができる外観検査装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するため、本発明に係る外観検査装置は、（１）シート状の物品の外観検査装置であって、前記物品の搬送方向に沿って、前後に配置された複数のカメラ装置で撮像された画像データを取得すると共に、各カメラ装置からの画像データ単位で画像認識処理を行い、欠陥の有無を判断する判断手段と、その判断手段で欠陥を検出した場合に、その欠陥を表す欠陥情報を抽出する欠陥情報抽出手段と、その欠陥情報抽出手段で抽出された異なるカメラ装置で撮像された物品上に存在する一つの欠陥、つまり同一の欠陥についての欠陥情報を比較し、決定ルールに従って決定された前記異なるカメラ装置のうちの１つのカメラ装置で撮像された画像データに基づき抽出した欠陥情報を代表欠陥情報として決定する代表欠陥情報決定手段と、その代表欠陥情報決定手段で決定された前記代表欠陥情報を表示装置に出力する出力手段と、を備えて構成する。
【００１１】
判断手段は、実施形態では、検出ラック部２１に対応している。出力手段は、実施形態では、データ処理部２３に対応している。出力する欠陥情報は、実施形態では、検出ラック部２１と欠陥処理部２２とにより作成される。つまり、欠陥情報抽出手段は、実施形態では、検出ラック部２１と欠陥処理部２２に対応する。実施形態では、検出ラック部２１で一旦画像の切り出しと、それに関連する付属情報（位置情報）の生データを作成し、欠陥処理部２２でその生データから人間が見て理解しやすいデータ（加工付属情報）を作成しているが（位置情報の場合は、“パルス値やビット”の生データから、“ｍやｍｍ”のように直感しやすいデータに変換している）が、本発明ではこのように２つの処理手段で２段階に行うものに限ることはなく、両者の機能を１つの処理手段でまとめて行ったり、直接、追加加工情報を求めたり、逆に、生データのままとしたりするなど、各種の方法が採れる。カメラ装置は、実施形態では、ラインセンサカメラを用いたが、エリアセンサカメラでも良い。また、実施形態は、ロール紙のように幅が広いために、１つのカメラ装置を複数のラインＣＣＤカメラで構成したが、検査対象物の物品の幅と、カメラの視野との関係から単独のカメラで構成してももちろん良い。また、欠陥情報は、実施形態では、画像データとテキスト情報を含んでいるが、いずれか一方でも良い。代表欠陥情報決定手段は、実施形態では、データ処理部２３の一機能として実現される。
【００１２】
本発明の外観検査装置では、異なるカメラ装置でそれぞれ撮像した画像データ中に検出された物品上に存在する一つの欠陥、つまり同一欠陥のものとみなされる欠陥情報が存在する場合、代表欠陥情報が出力されるようにしたので、１つの欠陥については１つのカメラ装置から得られた欠陥情報が出力されることになり、複数のカメラ装置で撮像された画像データに基づく同一欠陥についての欠陥情報が検出される都度リアルタイムで出力されることがなく、オペレータは、欠陥の発生を適切に認識することができる。なお「同一欠陥」というのは、欠陥属性が共通であるという意味でなく、各検査場所において検出された各欠陥対象が実は物品上においては同一の位置に存在していて、対象としてみると同じ欠陥であるという意味である。
【００１３】
（２）前記判断手段で欠陥を検出した場合に、その検出した欠陥の前記物品上の位置を特定する位置情報を検出し、その位置情報に基づいて同一の欠陥について異なるカメラ装置で撮像された欠陥情報を抽出するようにするとよい。異なるカメラ装置で検出されたとしても、同一の欠陥であれば、物品上の位置は同じであるので、係る位置に基づいて同一の欠陥についての欠陥情報を認識することができる。なお、実施形態でも説明するように、検出誤差や物品の伸縮等により前後左右方向にずれることがあるので、一定の許容範囲を設定し、その許容範囲内にあるものは同一の欠陥に基づく欠陥の可能性があるとして各種の処理を行うと良い。
【００１４】
（３）前記カメラ装置の存在位置から物品の搬送ライン上に設定した仮想検出位置までの当該物品の移動距離であるシフト距離を前記カメラ装置ごとに記憶保持し、前記物品の移動距離を算出する移動距離算出手段を備え、前記判断手段で欠陥を検出した場合に、その検出した欠陥の前記物品上の位置を取得し、前記移動距離算出手段により前記物品の移動距離を求め、その欠陥が検出されたカメラ装置に設定されたシフト距離だけ当該物品が移動したことを契機に、その欠陥についての欠陥情報を出力するタイミングとするとよい。このようにすると、どのカメラ装置で検出された欠陥情報（代表欠陥情報）も、その欠陥が仮想検査位置に至った際に表示されるので、表示順と欠陥の発生（前後方向の位置）順とが一致するとともに、出力するタイミングも物品の前後の距離と対応するので、検査・確認がしやすい。
【００１５】
（４）同一の欠陥についての欠陥情報のうち、前記代表欠陥情報のみを表示する統合表示モードと、全ての欠陥情報を表示する表示モードを備えるとよい。このようにすると、表示モードによって、同一の欠陥について異なるカメラ装置で得た全ての欠陥情報を出力したとしても、それらはまとまって表示されるので、オペレータは認識しやすく、しかも、まとまって表示されたものを比較することで、各カメラ装置の設置位置の直前等で行われた工程による状態の変化等も比較・検討することができるので好ましい。
【００１６】
（５）前記決定ルールは、各カメラ装置から出力された画像データに対して画像認識して抽出された特徴の種類が、カメラ装置ごとに予め決めたパターンと一致した場合に、そのパターンで決められた１つのカメラ装置から出力された画像データに基づく欠陥情報を前記代表欠陥情報に決定するものを含むようにできる。これは、実施形態では、図６で示したルールに対応する。
【００１７】
（６）前記決定ルールは、画像認識して抽出した特徴の種類が同じ場合に、最も大きいものを前記代表欠陥情報に決定するものを含むようにできる。これは、実施形態では、図７で示したルールに対応する。
【発明の効果】
【００１８】
本発明は、同一の欠陥について複数のカメラで異なるタイミングで検出されることがある検査システムにおいて、表示・出力する欠陥情報を適切に絞り込み、オペレータ（ユーザ）が適切かつ見落とし等することなく欠陥情報を認識し、生産ラインでの不具合等の分析を行うための情報を提供することができる。
【発明を実施するための最良の形態】
【００１９】
図２は、本発明の好適な一実施形態を示している。本実施形態の外観検査システムは、紙（ロール紙）の生産ラインに組み込まれ、生産ライン上を搬送される被検査対象物である帯状の紙を撮像して得られた画像データに基づいて欠陥（不良）の有無を判断するものである。
【００２０】
具体的には、紙１に正対して、複数のカメラ装置１０を設置する。各カメラ装置１０は、いずれも複数のラインＣＣＤカメラ１１を横一列に配置したカメラの集合体で構成される。それら１つのカメラ装置１０に実装される複数個のラインＣＣＤカメラ１１は、同一ライン上、つまり、紙１を進行方向と直交する（幅方向に横断する）一直線上を検出するように配置される。
【００２１】
また、図では、便宜上、カメラ装置１０を等間隔に３個設け、それぞれが紙１の同一面側に配置するようにしたが、実際には、紙１の表面や裏面の外観を検出すべく、異なる面に配置することもあるし、配置間隔は各工程を行う装置の配置レイアウトに応じて適宜異なる。つまり、ロール紙の生産ラインは、例えば、不純物を取り除き、漂白して煮溶かした液体（チップ（繊維））を網の上に乗せるとともに絞って水分を除去するワイヤーパート→その網に乗せたまま更に圧縮して平坦にするプレスパート→紙を乾燥させるドライヤーパート→乾燥させた紙の表面に対してコーティング等の表面加工処理を行う工程→厚みを整える工程→帯状に連続して搬送されてくる紙を巻き取る工程等、複数の工程を順次実行するもので、各工程を行うための処理装置が生産工場内の各所に配置される。その全長は、１００ｍ以上になることもあり、上記のカメラ装置１０は、所定の処理装置の下流側に配置される。そして、カメラ装置１０は、設置した位置において、検出したい欠陥の種類等に適した画像データを得るため、透過光或いは反射光を検出したり、光量その他のパラメータが調整されている。
【００２２】
各カメラ装置１０（ラインＣＣＤカメラ１１）の出力は、リアルタイムで順次画像認識処理装置２０に与えられる。画像認識処理装置２０は、パーソナルコンピュータ或いは専用の装置等で構成され、検出ラック部２１と、欠陥処理部２２と、データ処理部２３と、を備えている。各カメラ装置１０から１ラインずつ送られる画像データは、検出ラック部２１に与えられる。この検出ラック部２１は、生産ラインを構成する紙１を搬送する搬送装置の駆動系に接続されたエンコーダからのパルス出力も与えられる。画像認識処理装置２０は、パルスの１周期で進む紙１の距離を初期データとして持っており、その距離とパルス数を乗算することで、カメラ装置１０で撮像した画像データ（ライン）の位置、つまり、任意の検査開始位置からの撮像した画像データまでの距離を求めることができる。
【００２３】
検出ラック部２１は、各カメラ装置１０から時々刻々と入力される１ライン毎の画像データを一時記憶メモリに格納するとともに、ｎライン分の画像データを読み出し、所定の寸法の２次平面画像データからなる認識対象画像を生成し、その認識対象画像に対して画像認識処理を行い、異物不着・孔空き等の欠陥の有無を判断する。そして、欠陥を検出した場合には、その欠陥を含む所定の大きさ（例えば２５６×２５６）の画像データを切り出すと共に、その切り出した画像データとその欠陥についての付属情報を関連付けて欠陥処理部２２に渡す。欠陥の有無を認識するための画像認識処理アルゴリズムは、特許文献１に記載のものや、その他の各種のアルゴリズムを用いることができる。
【００２４】
検出ラック部２１は、検出した欠陥を特定するための付属情報として、その存在位置のパルス値（エンコーダから取得）と、視野内の位置（紙の一方の側縁からの位置（ｎビット）：紙の一方の側縁から各ラインＣＣＤカメラ１１の一方の端までの距離は既知であるので、係る距離に撮像したラインＣＣＤカメラ１１における端からの欠陥の位置を加算して求める）と、欠陥の幅及び長さ（前後方向）と、カメラを特定するカメラＮｏ（ビームＮｏ）と、欠陥の特徴としての明暗情報（“明るい／暗い”＋程度等）等を求める。この求めた付属情報は、図３に示すようなデータ構造のテーブルとして欠陥処理部２２へ渡される。なお、係る付属情報の算出（抽出）処理は、従来と同様の処理で実現できる。
【００２５】
また、ラインＣＣＤカメラ１１は、１ライン毎に画像データを取得するものであるので、上述したように２次元の認識対象画像を生成するためには、複数ライン分の画像データをまとめて読み出す必要がある。そこで、例えば、ラインＣＣＤカメラ１１分のリングバッファを用意し、各ラインＣＣＤカメラ１１から送られてくる画像データを対応するリングバッファに振り分けて格納し、各リングバッファから所定ライン分を読み出すことで対応できる。
【００２６】
欠陥処理部２２は、検出ラック部２１から送られてきた欠陥についての付属情報から、人間（オペレータ）が認識できるデータに加工し、求めた加工付属情報をデータ処理部２３に送る。加工付属情報のデータ構造は、例えば、欠陥位置を特定する前後方向の位置（巻長さデータ）及び紙の一方側縁からの距離データ（ＦＲ距離）と、欠陥の寸法を特定する欠陥幅及び欠陥長さと、カメラＮｏと、明暗情報等がある。長さに関するデータは、検出ラック部２１で作成したものは、生データであるのでその単位がビット数やパルス数などであったが、この欠陥処理部２２では、ｍ，ｍｍ等の人が容易に認識できる単位に変換している。具体的には、エンコーダから出力されるパルスの１周期で進む紙１の距離を初期データとして持っており、任意の検査開始位置からのパルス数から、現在の紙の長さ方向の位置を求めることができる。そこで、欠陥処理部２２は、パルス値に１パルス当たりの移動長さを乗算することで、欠陥が生じている位置の紙１の検査開始位置からの距離（巻長さ）を求めることができる。また、画素数・ビット数で特定していた欠陥位置や、欠陥の大きさは、１画素，１ビット当たりの長さ（ｍｍ）を知っているので、検出ラック部２１から生データから、単位換算をしてｍ或いはｍｍを単位とした数値に変換する。これにより、例えば図４に示すようなデータ構造からなる加工付属情報を生成し、記憶装置３１に格納する。なお、係る加工付属情報の算出（抽出）処理は、従来と同様の処理で実現できる。記憶装置３１に格納する加工（修正）付属情報は、検出された順にレコード番号（図では、左端に記載）が付与され、その順に格納される。
【００２７】
データ処理部２３は、欠陥処理部２２で作成され、記憶装置３１に格納された画像データ（欠陥を含む切り出しデータ）と、加工付属情報に基づき、所定の条件に合致する情報（画像／テキスト）を表示装置３０に出力する。表示装置３０の表示画面に表示する欠陥情報（画像データ＋テキストデータ）のレイアウトは、従来と同様に図１に示すものを用いることができる。
【００２８】
本実施形態では、データ処理部２３は、被検査物体上の同一位置に存在する欠陥について異なるラインＣＣＤカメラ１１で撮像した画像データに基づいて検出された欠陥情報を表示装置３０に表示するタイミングを同じにするように制御する。すなわち、図５に示すように、紙１の搬送ラインの任意の地点（最終のカメラ装置１０（リニアＣＣＤカメラ１１）の後方所定位置に仮想検査点を設定する。生産ライン上における各カメラ装置１０の設置位置は既知であるので、それぞれのカメラ装置１０から仮想検査点までの移動距離を求め、それぞれを対応するカメラ装置１０に関するシフト距離とする。
【００２９】
画像認識処理装置２０は、生産ラインを構成する紙１を搬送する搬送装置の駆動系に接続されたエンコーダからのパルス出力をカウントすることで、紙１の移動距離を算出することができる。つまり、上述したように、画像認識処理装置２０は、パルスの１周期で進む紙１の距離（基準距離）を初期データとして持っているので、各シフト距離を基準距離で除算した値が、シフト距離だけ移動した場合に出力されるパルスの総数となる。そこで、欠陥が検出された場合、その検出されてから出力されるパルスをカウントし、その総数が対応するシフト距離に応じた値になったならば、その検出された欠陥の欠陥情報（テキスト，画像）を出力する。これにより、異なるカメラ装置１０で撮像した画像データ中に存在する同一の欠陥は、その欠陥の紙１における位置は同じであるので、その欠陥が仮想検査位置に至ったときに、各カメラ装置１０で撮像した画像データ中に存在する欠陥に基づく欠陥情報が、表示装置に出力される。
【００３０】
このシフト距離を用いたデータを出力するタイミングの補正制御は、検出ラック部２１，欠陥処理部２２，データ処理部２３のいずれで行っても良い。仮に検出ラック部２１で行った場合には、欠陥処理部２２，データ処理部２３では、受け取ったデータはすでにシフト距離の補正がすんでいるので、受け取った順に上記の各処理部で行う機能に従いデータを処理すればよい。これにより、たとえば検出ラック部２１でシフト距離の補正を行った場合、すでに説明したが、検出ラック部２１からは、図３に示すような順で欠陥処理部２２へ欠陥情報が渡される。また、欠陥処理部２２からは、図４に示すような順でデータ処理部２３へ加工された欠陥情報が渡される。
【００３１】
このとき、欠陥発生距離が９５００カウント地点（巻長さ９５０ｍ：以下、カウント地点のみを表記）で発生した欠陥は、１番目のカメラ装置（ビームＮｏ．１）１０内の端から２番目のリニアＣＣＤカメラ１１，２番目のカメラ装置（ビームＮｏ．２）１０内の端から２番目のリニアＣＣＤカメラ１１，３番目のカメラ装置（ビームＮｏ．３）１０内の端から２番目のリニアＣＣＤカメラ１１でそれぞれ撮像した画像データから抽出され、その抽出された欠陥の欠陥情報が、連続して記録されている。そして、紙１において上記の欠陥（９５００カウント地点）の次に出現する欠陥（９５１０カウント地点）は、１番目のカメラ装置（ビームＮｏ．１）１０内の端から２番目のリニアＣＣＤカメラ１１のみで検出されている。すなわち、各カメラ装置１０で検出された順にデータが記録され、最終的にその検出された順に表示装置３０に表示されるので、１番目のカメラ装置１０で９５００カウント地点の欠陥が検出された後は、その欠陥が２番目のカメラ装置１０で検出されるよりも先に９５１０カウント地点の欠陥が１番目のカメラ装置１０で検出されることになる。従って、従来方式であれば、検出された順となるので、図３，図４のレコード番号（図の左端の欄の番号）でいうと、１→４→２→３→５の順番で処理され、最終的に表示されることになる。そして、実際には、上記の同一の欠陥についての欠陥情報であるレコード番号１番と２番の間に多数の別の欠陥情報が出現し、同一画面上に同時に表示される可能性は少ないと共に、仮に同時に表示されたとしても、リアルタイムでは多数の欠陥情報が表示された状態では、同一の欠陥に基づく欠陥情報であることを認識することは困難である。
【００３２】
これに対し、同じ欠陥については、シフト距離の補正を行うことで、表示装置３０に表示するタイミングが同じ（ほぼ同時）になるので、仮に、同じ欠陥が複数のカメラ装置１０で検出された場合には、欠陥情報のうちテキスト情報からなる加工付属情報は図４に示すように連続して上下に並んだ状態で出力されることになり、また、本実施形態では、画像データは、最新の３個が表示されることから、あるタイミングでは、同じ欠陥について各カメラ装置１０で撮像した画像データが３個同時に表示されることになる。
【００３３】
さらに、本実施形態では、上記の検出された全ての欠陥情報を表示する標準表示モードに加え、同一の欠陥についての欠陥情報は統合・合成し、代表する１つの欠陥情報を表示し、他の欠陥情報は非表示にする統合表示モードを用意した。これにより、１つの欠陥が複数のカメラ装置で撮像されて検出された場合、そのうちの１つのカメラ装置１０で撮像して得られた画像データに基づく欠陥情報のみが表示されることになるので、表示装置３０には、１つの欠陥に対しては１つの欠陥情報のみ出力表示され、情報が必要以上に多数出力されてしまうことが抑制されると共に、表示する欠陥情報がその欠陥を代表する（わかりやすい）ものとすることで、より適切な情報のみが出力表示されることになるので、オペレータが適切かつ見落としすることなく欠陥情報を認識し、生産ラインでの不具合等の分析を行うことができる。
【００３４】
データ処理部２３は、あらかじめ記憶している決定ルールに従い、同一の欠陥に基づく欠陥情報を抽出し、そのうちの１つを代表に決定し、表示装置３０に出力する機能を持つ。また、データ処理部２３は、そのように代表に決定した欠陥情報に対し、フラグ等を付けて記憶装置３１に格納する機能を備えても良い。具体的な決定ルールの一例としては、以下のものを用いることができる。
【００３５】
すなわち、それぞれのカメラ装置１０で発生・抽出した欠陥情報は、検出光源・方式（反射・透過）等の相違から、たとえ欠陥の状態に変化がない（欠陥の種類が“穴あき”で、その穴の径が一定）場合でも、出力される欠陥情報が相違することが多々あり、一目では同じ欠陥についてのものであることが理解しにくいこともある。たとえば、紙１に“穴”があいた欠陥が搬送されてきた場合、透過式で撮像するカメラ装置の場合、“穴”の部分が明るくなるので“明欠陥”として検出され、逆に反射式で撮像するカメラ装置の場合、“穴”の部分は暗くなるので“暗欠陥”として検出される。そこで、たとえば、図６中のパターン１の決定ルールとして示すように、第１ビームのカメラ装置１０が反射式で、第２ビームのカメラ装置１０が透過式とした場合、被検査物体上の同一地点（紙１の搬送方向の位置であるカウント地点（巻長さ）が同じで、幅方向の端からの距離も同じであり、物体上の同じ位置に存在するとみなせるもの）について図示するように、第１ビームの明暗の極性が“暗大”で第２ビームの極性が“明大”とすると、欠陥種が“穴”で同じ欠陥についてのもの欠陥情報であると推定できるので、両者を統合・合成し、代表する欠陥情報は、第２ビームから抽出した情報（テキスト・画像）を表示する。両者は、明欠陥と暗欠陥の関係が穴欠陥についてのものと一致し、その大きさもほぼ一致しているので、同一の欠陥についてのものと推定できる。そして、表示する欠陥情報は、特に画像データについては、明欠陥の方が見やすいことから、第２ビームのものを採用するようにした。
【００３６】
なお、たとえば、紙の表面に付着した汚れの場合、その汚れの材質・色等にもよるが、反射式の場合には明欠陥として検出でき、透過式の場合には通常検出されない。また、同一地点として検出された欠陥であっても、たとえば、検出精度による誤差や、紙１の伸縮等の要因から前後左右方向でずれを生じることがあり、異なる欠陥に基づく欠陥情報が同一地点となることがある。しかし、係る場合には、たとえば、第２ビームで検出された欠陥が“穴欠陥”に基づくものであると明欠陥（明大）となり、第１ビームで検出された欠陥が“汚れ欠陥”に基づくものであると明欠陥（明大）となり、パターン１と一致しないので、統合・合成されずにそれぞれの欠陥情報が出力される。
【００３７】
また、このように同一地点と算出された欠陥同士が実際には異なる場合があるので、換言すると、シフト距離補正を行って同一地点とされなかった欠陥情報同士が実際には同じ欠陥についてのもの場合もある。そこで、好ましくは、パターンに一致するか否かを検証する対象として、第１優先としては同一地点と算出されたもの同士を比較するが、合わせて、前後左右方向に一定の許容誤差を設定し、その設定誤差範囲内に存在するものと同士を比較し、決定ルールのパターンに一致するものがある場合には、その一致する組み合わせのものが同一の欠陥に基づくものとして統合し、ルールに従っていずれか１つを代表として選択するとよい。このとき、一致する組み合わせとして複数の組み合わせが存在する場合には、たとえば、位置ずれの距離が最も短い組み合わせを選択すると良い。なお、前後方向と左右方向の許容誤差は、等しくても良いが、前後方向の方がずれる可能性が高いので前後方向の許容範囲を長くすると良い。
【００３８】
また、別のパターンとしては、たとえば図６のパターン３２として示したように、第１ビームの明暗の極性が“暗小”で第２ビームの極性が“明大”とすると、欠陥種が“穴”で同じ欠陥についてのもの欠陥情報であると推定でき、第１ビームが上流側に位置している場合には、穴の径が広がったと考えられるのでるので、やはり、上記のパターン１の場合と同様に同一の欠陥についてのものと推定でき、ここでも、画像として見やすい明欠陥である第２ビームの欠陥情報を代表として決定する。
【００３９】
もちろん、大きさは、実際の欠陥の大きさにある程度対応するものの、反射に基づいて得られた画像データと透過に基づいて得られた画像データで、その抽出される大きさが異なることがあると共に、そのときの光量や周囲の明るさや画像処理等の要因から実際の大きさに完全に比例するものではない。そこで、係る点も考慮して、決定ルールを設定する。また、例示した２つのパターンは、２つのビームの組み合わせについて示したが、３つ以上のビームの組み合わせももちろん存在する。
【００４０】
また、決定ルールとしては、図６に示したものに限ることはなく、たとえば、シフト距離補正を行い同一地点（上述した前後・左右方向の許容範囲を含む）にある欠陥情報について、同一極性（明欠陥同士，暗欠陥同士）の組み合わせについて、大きい１つを優先して選択するようにしている。これは、特に比較対象のカメラ装置が同じ方式で画像データを撮像する場合に適する。そして、大きいものを選択することで、より欠陥の特徴が現れており、画像データとして表示した場合に見やすいものを代表に決定することで、オペレータが監視・確認を容易に行える。
【００４１】
一例を示すと、たとえば図７に示すように、第１，第２ビームが共に明欠陥で、第１ビームが明大であれば、第１ビームを代表に決定する。また、第１，第２ビームが共に暗欠陥で、第２ビームが暗大であれば、第２ビームを代表に決定する。これに対し、第１ビームと第２ビームの欠陥の極性が異なる（不一致）場合には、合成せず、それぞれのビームで検出された欠陥情報をそれぞれ表示する。もちろん、図では２つのビームを例に示したが、実施形態でも示すように、３つ以上の場合も同様のルールに従って代表の欠陥情報を決定することができる。また、最も大きいものが複数存在した場合には、予め決めたルール（たとえば最も下流側に位置するもの）に従って、代表のものを決定する。
【００４２】
上記の決定ルールに従って、図４に示す５つの欠陥情報を統合表示モードで出力するようにした場合、図７に示すルールが適用され、レコードＮｏ．１から３の３つが同じ欠陥に基づくもので、同じ暗欠陥で大きさが最も大きいレコードＮｏ３の欠陥情報が代表に決定される。その結果、図８に示すように、レコードＮｏ．１，２は表示されず、レコードＮｏ３の欠陥情報が表示されることになる。また、レコードＮｏ．４，５は、同一の欠陥とみなせるものがないので、そのまま表示される。
【００４３】
なお、データ処理部２３は、統合表示モードが選択された場合には、上述した決定ルールに従って、表示すべき代表となる欠陥情報を決定し表示するが、係る決定ルールは、基準として予め登録されているようにしても良いし、ユーザが使用状況に応じて登録するようにしても良い。これらの決定ルールは、画像認識処理装置１０を構成するパソコンの内部・外部記憶装置に格納され、使用に際し呼び出されるようにすることができる。また、標準表示モードと統合表示モードの切り替えは、画像認識処理装置１０を構成するパソコンの入力装置を介して与えられる指示に従って、データ処理部２３が適宜のタイミングで行うことになる。
【００４４】
このように、本実施形態では、統合表示モードを利用することで、１つの欠陥については１つの欠陥情報を表示し、しかも、代表となって表示される欠陥情報は認識しやすいものとすることで、オペレータが、欠陥の発生を見逃す可能性を可及的に抑制し、生産への影響を確認できる。紙の生産において不良欠陥による紙切れは大きな生産ロスにつながるが、本実施形態の統合表示モードによる表示を活用することで生産の上流側へフィードバックするアクションを迅速に行うことができ、品質管理及び生産の効率化に役立つことができる。
【００４５】
なお、上述した実施形態では、明欠陥と暗欠陥について示したが、欠陥の特徴として現れる要素（種類）はこれに限ることはなく、たとえば、濃淡であったり、色であったり、その他各種のものが適用することができ、さらにそれら複数種のものを適宜組み合わせる（明暗と濃淡の組み合わせ等）こともできる。
【００４６】
上述した実施形態の各処理部（検査ラック部２１，欠陥処理部２２，データ処理部２３）は、ハードウェアとして実現することもできるし、ソフトウェア（アプリケーションプログラム）として実現することもできる。
【図面の簡単な説明】
【００４７】
【図１】欠陥情報の表示レイアウトの一例を示す図である。
【図２】本発明の好適な一実施形態を示す図である。
【図３】検出ラック部で生成される付属情報のデータ構造の一例を示す図である。
【図４】欠陥処理部で生成される加工付属情報のデータ構造の一例を示す図である。
【図５】欠陥情報の表示タイミングを説明する図である。
【図６】表示する代表の欠陥情報を決定する決定ルールの一例を示す図である。
【図７】表示する代表の欠陥情報を決定する決定ルールの一例を示す図である。
【図８】欠陥情報の表示例を示す図である。
【符号の説明】
【００４８】
１０ カメラ装置
１１ ラインＣＣＤカメラ
２０ 画像認識処理装置
２１ 検出ラック部
２２ 欠陥処理部
２３ データ処理部
３０ 表示装置
３１ 記憶装置
【技術分野】
【０００１】
この発明は、紙，フィルム，不織布，鉄鋼，非鉄金属等のシート状の素材（物品）の外観を検査する外観検査装置に関する。
【背景技術】
【０００２】
紙（ロール紙）その他のシート状物等の製造システムでは、品質を保持するため、製造過程においてリアルタイムで異物の付着や孔あき等の欠陥の有無を監視している。係る欠陥の有無を監視するための監視システム（検査システム）は、たとえば、製造工程の各所にカメラを設置し、そこから得られた画像データに基づいて検査装置が画像認識処理を行い欠陥の有無を判断し、欠陥があった場合には検出した欠陥について分析し、欠陥の位置、大きさ（異物または穴等の縦横長さ、面積）、種類等を判断する。これら判断結果は欠陥に関する情報と扱われ、これら情報は欠陥画像とともに表示装置へ出力されることで、監視員（オペレータ）に知らせるようにしたものがある。
【０００３】
表示装置に表示する情報は、欠陥位置を特定する位置情報や、大きさ（縦・横の長さや面積等）や、欠陥の種類等を示すテキスト情報と、実際の画像データである画像情報がある。この表示レイアウトは、たとえば、図１に示すように、テキスト情報は、１つの欠陥について関連する情報を１列に示した表形式とし、画像情報は、別枠で所定数（図では３個）を出力するようにしている。テキスト情報は、検出された順番に逐次出力する。同様に、画像情報も最新の所定数（たとえば３個）を出力することになる。この種の画像認識処理により紙等のシート状物に対して欠陥の有無を検査する検査システムとしては、例えば特許文献１等に開示されている。
【特許文献１】特許第３９８２６４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述した従来の外観検査システムでは、欠陥を検出した場合には、その欠陥についてのテキスト情報並びに画像情報を逐次表示装置に出力表示するとともに、それらの情報を記憶装置に保存している。
【０００５】
一方、画像認識処理の対象となる画像データは、紙等の被検査対象物の反射光や透過光であり、２次元の画像データを撮像するエリアセンサカメラや、１次元のラインセンサカメラ等（以下、“カメラ“）を用いて取得する。そして、係る被検査対象物の表面や裏面の両面を検査したり、紙等の被監視対象物が複数工程を経て製造されることからどの工程で欠陥を生じたかを検証するために各工程の処理直後の被検査対象物を検査したりするため、カメラはそれぞれの製造工程の各場所に複数設置されることが多々ある。しかも、ある工程で欠陥が生じた場合、１個のみ欠陥が発生することもあるが、ある範囲に複数或いは多数欠陥が集中的に発生することもある。
【０００６】
すると、ある上流側の工程で欠陥が生じた場合、その欠陥がその後の各工程の処理後にも現れることになり、そうすると、被監視対象物上に存在する一つの欠陥（同一の欠陥）が複数のカメラにて取得した画像データ中に存在することになる。従って、一つの欠陥は、それぞれのカメラで画像データとして検出された都度、その検出されたタイミングで欠陥として検出され、表示装置に出力されることになる。つまり被監視対象物上に欠陥が一つ存在すると、各検査場所で検出された欠陥検査結果が複数生じることになる。一方、カメラは生産ラインの各所に点在することになり、ロール紙の生産ラインでは、その全長が１００ｍ以上になることも多々あることから、被監視対象物上に存在する一つの欠陥について、個々のカメラにて得られた画像データに現れるタイミングは大きくずれることになり、各検査場所での検出タイミングもずれることになる。
【０００７】
すると、表示装置には、生産ラインに沿って複数箇所に設置された各カメラで検出された欠陥に関する情報が、時々刻々と更新されながら多数表示されることになり、特にカメラの設置箇所数が多くなると、ある上流側の工程で欠陥が生じた場合、その欠陥がその後の各工程の処理後にも現れることになり、そうすると、同じ欠陥が複数のカメラにて取得した画像データ中に存在することになる。
【０００８】
しかも、出現するタイミングがばらばらとなり、上流側のカメラで検出された欠陥Ａの欠陥情報（画像．テキスト）が表示された後で、異なる欠陥に基づく欠陥情報が表示され、さらにその後に先に表示された欠陥Ａについて下流側の別のカメラで検出された欠陥情報が表示されるため、現在表示されている欠陥情報が、初めて検出された欠陥についてのものか、すでにいったん表示された欠陥情報と同じ欠陥についての別のカメラで検出された２回目以降の欠陥情報の表示がわからない。よって、システム全体として出力される不要な情報がさらに多くなるとともに情報が錯綜することになり、オペレータは、かえって整理できずに適切な監視をすることができなくなるおそれがある。
【０００９】
この発明は、被監視対象物上に存在する一つの欠陥について各検査場所のカメラで異なるタイミングで検出されることがある検査システムにおいて、表示・出力する欠陥情報を適切に絞り込み、オペレータ（ユーザ）が適切かつ見落とし等することなく欠陥情報を認識し、生産ラインでの不具合等の分析を行うための情報を提供することができる外観検査装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するため、本発明に係る外観検査装置は、（１）シート状の物品の外観検査装置であって、前記物品の搬送方向に沿って、前後に配置された複数のカメラ装置で撮像された画像データを取得すると共に、各カメラ装置からの画像データ単位で画像認識処理を行い、欠陥の有無を判断する判断手段と、その判断手段で欠陥を検出した場合に、その欠陥を表す欠陥情報を抽出する欠陥情報抽出手段と、その欠陥情報抽出手段で抽出された異なるカメラ装置で撮像された物品上に存在する一つの欠陥、つまり同一の欠陥についての欠陥情報を比較し、決定ルールに従って決定された前記異なるカメラ装置のうちの１つのカメラ装置で撮像された画像データに基づき抽出した欠陥情報を代表欠陥情報として決定する代表欠陥情報決定手段と、その代表欠陥情報決定手段で決定された前記代表欠陥情報を表示装置に出力する出力手段と、を備えて構成する。
【００１１】
判断手段は、実施形態では、検出ラック部２１に対応している。出力手段は、実施形態では、データ処理部２３に対応している。出力する欠陥情報は、実施形態では、検出ラック部２１と欠陥処理部２２とにより作成される。つまり、欠陥情報抽出手段は、実施形態では、検出ラック部２１と欠陥処理部２２に対応する。実施形態では、検出ラック部２１で一旦画像の切り出しと、それに関連する付属情報（位置情報）の生データを作成し、欠陥処理部２２でその生データから人間が見て理解しやすいデータ（加工付属情報）を作成しているが（位置情報の場合は、“パルス値やビット”の生データから、“ｍやｍｍ”のように直感しやすいデータに変換している）が、本発明ではこのように２つの処理手段で２段階に行うものに限ることはなく、両者の機能を１つの処理手段でまとめて行ったり、直接、追加加工情報を求めたり、逆に、生データのままとしたりするなど、各種の方法が採れる。カメラ装置は、実施形態では、ラインセンサカメラを用いたが、エリアセンサカメラでも良い。また、実施形態は、ロール紙のように幅が広いために、１つのカメラ装置を複数のラインＣＣＤカメラで構成したが、検査対象物の物品の幅と、カメラの視野との関係から単独のカメラで構成してももちろん良い。また、欠陥情報は、実施形態では、画像データとテキスト情報を含んでいるが、いずれか一方でも良い。代表欠陥情報決定手段は、実施形態では、データ処理部２３の一機能として実現される。
【００１２】
本発明の外観検査装置では、異なるカメラ装置でそれぞれ撮像した画像データ中に検出された物品上に存在する一つの欠陥、つまり同一欠陥のものとみなされる欠陥情報が存在する場合、代表欠陥情報が出力されるようにしたので、１つの欠陥については１つのカメラ装置から得られた欠陥情報が出力されることになり、複数のカメラ装置で撮像された画像データに基づく同一欠陥についての欠陥情報が検出される都度リアルタイムで出力されることがなく、オペレータは、欠陥の発生を適切に認識することができる。なお「同一欠陥」というのは、欠陥属性が共通であるという意味でなく、各検査場所において検出された各欠陥対象が実は物品上においては同一の位置に存在していて、対象としてみると同じ欠陥であるという意味である。
【００１３】
（２）前記判断手段で欠陥を検出した場合に、その検出した欠陥の前記物品上の位置を特定する位置情報を検出し、その位置情報に基づいて同一の欠陥について異なるカメラ装置で撮像された欠陥情報を抽出するようにするとよい。異なるカメラ装置で検出されたとしても、同一の欠陥であれば、物品上の位置は同じであるので、係る位置に基づいて同一の欠陥についての欠陥情報を認識することができる。なお、実施形態でも説明するように、検出誤差や物品の伸縮等により前後左右方向にずれることがあるので、一定の許容範囲を設定し、その許容範囲内にあるものは同一の欠陥に基づく欠陥の可能性があるとして各種の処理を行うと良い。
【００１４】
（３）前記カメラ装置の存在位置から物品の搬送ライン上に設定した仮想検出位置までの当該物品の移動距離であるシフト距離を前記カメラ装置ごとに記憶保持し、前記物品の移動距離を算出する移動距離算出手段を備え、前記判断手段で欠陥を検出した場合に、その検出した欠陥の前記物品上の位置を取得し、前記移動距離算出手段により前記物品の移動距離を求め、その欠陥が検出されたカメラ装置に設定されたシフト距離だけ当該物品が移動したことを契機に、その欠陥についての欠陥情報を出力するタイミングとするとよい。このようにすると、どのカメラ装置で検出された欠陥情報（代表欠陥情報）も、その欠陥が仮想検査位置に至った際に表示されるので、表示順と欠陥の発生（前後方向の位置）順とが一致するとともに、出力するタイミングも物品の前後の距離と対応するので、検査・確認がしやすい。
【００１５】
（４）同一の欠陥についての欠陥情報のうち、前記代表欠陥情報のみを表示する統合表示モードと、全ての欠陥情報を表示する表示モードを備えるとよい。このようにすると、表示モードによって、同一の欠陥について異なるカメラ装置で得た全ての欠陥情報を出力したとしても、それらはまとまって表示されるので、オペレータは認識しやすく、しかも、まとまって表示されたものを比較することで、各カメラ装置の設置位置の直前等で行われた工程による状態の変化等も比較・検討することができるので好ましい。
【００１６】
（５）前記決定ルールは、各カメラ装置から出力された画像データに対して画像認識して抽出された特徴の種類が、カメラ装置ごとに予め決めたパターンと一致した場合に、そのパターンで決められた１つのカメラ装置から出力された画像データに基づく欠陥情報を前記代表欠陥情報に決定するものを含むようにできる。これは、実施形態では、図６で示したルールに対応する。
【００１７】
（６）前記決定ルールは、画像認識して抽出した特徴の種類が同じ場合に、最も大きいものを前記代表欠陥情報に決定するものを含むようにできる。これは、実施形態では、図７で示したルールに対応する。
【発明の効果】
【００１８】
本発明は、同一の欠陥について複数のカメラで異なるタイミングで検出されることがある検査システムにおいて、表示・出力する欠陥情報を適切に絞り込み、オペレータ（ユーザ）が適切かつ見落とし等することなく欠陥情報を認識し、生産ラインでの不具合等の分析を行うための情報を提供することができる。
【発明を実施するための最良の形態】
【００１９】
図２は、本発明の好適な一実施形態を示している。本実施形態の外観検査システムは、紙（ロール紙）の生産ラインに組み込まれ、生産ライン上を搬送される被検査対象物である帯状の紙を撮像して得られた画像データに基づいて欠陥（不良）の有無を判断するものである。
【００２０】
具体的には、紙１に正対して、複数のカメラ装置１０を設置する。各カメラ装置１０は、いずれも複数のラインＣＣＤカメラ１１を横一列に配置したカメラの集合体で構成される。それら１つのカメラ装置１０に実装される複数個のラインＣＣＤカメラ１１は、同一ライン上、つまり、紙１を進行方向と直交する（幅方向に横断する）一直線上を検出するように配置される。
【００２１】
また、図では、便宜上、カメラ装置１０を等間隔に３個設け、それぞれが紙１の同一面側に配置するようにしたが、実際には、紙１の表面や裏面の外観を検出すべく、異なる面に配置することもあるし、配置間隔は各工程を行う装置の配置レイアウトに応じて適宜異なる。つまり、ロール紙の生産ラインは、例えば、不純物を取り除き、漂白して煮溶かした液体（チップ（繊維））を網の上に乗せるとともに絞って水分を除去するワイヤーパート→その網に乗せたまま更に圧縮して平坦にするプレスパート→紙を乾燥させるドライヤーパート→乾燥させた紙の表面に対してコーティング等の表面加工処理を行う工程→厚みを整える工程→帯状に連続して搬送されてくる紙を巻き取る工程等、複数の工程を順次実行するもので、各工程を行うための処理装置が生産工場内の各所に配置される。その全長は、１００ｍ以上になることもあり、上記のカメラ装置１０は、所定の処理装置の下流側に配置される。そして、カメラ装置１０は、設置した位置において、検出したい欠陥の種類等に適した画像データを得るため、透過光或いは反射光を検出したり、光量その他のパラメータが調整されている。
【００２２】
各カメラ装置１０（ラインＣＣＤカメラ１１）の出力は、リアルタイムで順次画像認識処理装置２０に与えられる。画像認識処理装置２０は、パーソナルコンピュータ或いは専用の装置等で構成され、検出ラック部２１と、欠陥処理部２２と、データ処理部２３と、を備えている。各カメラ装置１０から１ラインずつ送られる画像データは、検出ラック部２１に与えられる。この検出ラック部２１は、生産ラインを構成する紙１を搬送する搬送装置の駆動系に接続されたエンコーダからのパルス出力も与えられる。画像認識処理装置２０は、パルスの１周期で進む紙１の距離を初期データとして持っており、その距離とパルス数を乗算することで、カメラ装置１０で撮像した画像データ（ライン）の位置、つまり、任意の検査開始位置からの撮像した画像データまでの距離を求めることができる。
【００２３】
検出ラック部２１は、各カメラ装置１０から時々刻々と入力される１ライン毎の画像データを一時記憶メモリに格納するとともに、ｎライン分の画像データを読み出し、所定の寸法の２次平面画像データからなる認識対象画像を生成し、その認識対象画像に対して画像認識処理を行い、異物不着・孔空き等の欠陥の有無を判断する。そして、欠陥を検出した場合には、その欠陥を含む所定の大きさ（例えば２５６×２５６）の画像データを切り出すと共に、その切り出した画像データとその欠陥についての付属情報を関連付けて欠陥処理部２２に渡す。欠陥の有無を認識するための画像認識処理アルゴリズムは、特許文献１に記載のものや、その他の各種のアルゴリズムを用いることができる。
【００２４】
検出ラック部２１は、検出した欠陥を特定するための付属情報として、その存在位置のパルス値（エンコーダから取得）と、視野内の位置（紙の一方の側縁からの位置（ｎビット）：紙の一方の側縁から各ラインＣＣＤカメラ１１の一方の端までの距離は既知であるので、係る距離に撮像したラインＣＣＤカメラ１１における端からの欠陥の位置を加算して求める）と、欠陥の幅及び長さ（前後方向）と、カメラを特定するカメラＮｏ（ビームＮｏ）と、欠陥の特徴としての明暗情報（“明るい／暗い”＋程度等）等を求める。この求めた付属情報は、図３に示すようなデータ構造のテーブルとして欠陥処理部２２へ渡される。なお、係る付属情報の算出（抽出）処理は、従来と同様の処理で実現できる。
【００２５】
また、ラインＣＣＤカメラ１１は、１ライン毎に画像データを取得するものであるので、上述したように２次元の認識対象画像を生成するためには、複数ライン分の画像データをまとめて読み出す必要がある。そこで、例えば、ラインＣＣＤカメラ１１分のリングバッファを用意し、各ラインＣＣＤカメラ１１から送られてくる画像データを対応するリングバッファに振り分けて格納し、各リングバッファから所定ライン分を読み出すことで対応できる。
【００２６】
欠陥処理部２２は、検出ラック部２１から送られてきた欠陥についての付属情報から、人間（オペレータ）が認識できるデータに加工し、求めた加工付属情報をデータ処理部２３に送る。加工付属情報のデータ構造は、例えば、欠陥位置を特定する前後方向の位置（巻長さデータ）及び紙の一方側縁からの距離データ（ＦＲ距離）と、欠陥の寸法を特定する欠陥幅及び欠陥長さと、カメラＮｏと、明暗情報等がある。長さに関するデータは、検出ラック部２１で作成したものは、生データであるのでその単位がビット数やパルス数などであったが、この欠陥処理部２２では、ｍ，ｍｍ等の人が容易に認識できる単位に変換している。具体的には、エンコーダから出力されるパルスの１周期で進む紙１の距離を初期データとして持っており、任意の検査開始位置からのパルス数から、現在の紙の長さ方向の位置を求めることができる。そこで、欠陥処理部２２は、パルス値に１パルス当たりの移動長さを乗算することで、欠陥が生じている位置の紙１の検査開始位置からの距離（巻長さ）を求めることができる。また、画素数・ビット数で特定していた欠陥位置や、欠陥の大きさは、１画素，１ビット当たりの長さ（ｍｍ）を知っているので、検出ラック部２１から生データから、単位換算をしてｍ或いはｍｍを単位とした数値に変換する。これにより、例えば図４に示すようなデータ構造からなる加工付属情報を生成し、記憶装置３１に格納する。なお、係る加工付属情報の算出（抽出）処理は、従来と同様の処理で実現できる。記憶装置３１に格納する加工（修正）付属情報は、検出された順にレコード番号（図では、左端に記載）が付与され、その順に格納される。
【００２７】
データ処理部２３は、欠陥処理部２２で作成され、記憶装置３１に格納された画像データ（欠陥を含む切り出しデータ）と、加工付属情報に基づき、所定の条件に合致する情報（画像／テキスト）を表示装置３０に出力する。表示装置３０の表示画面に表示する欠陥情報（画像データ＋テキストデータ）のレイアウトは、従来と同様に図１に示すものを用いることができる。
【００２８】
本実施形態では、データ処理部２３は、被検査物体上の同一位置に存在する欠陥について異なるラインＣＣＤカメラ１１で撮像した画像データに基づいて検出された欠陥情報を表示装置３０に表示するタイミングを同じにするように制御する。すなわち、図５に示すように、紙１の搬送ラインの任意の地点（最終のカメラ装置１０（リニアＣＣＤカメラ１１）の後方所定位置に仮想検査点を設定する。生産ライン上における各カメラ装置１０の設置位置は既知であるので、それぞれのカメラ装置１０から仮想検査点までの移動距離を求め、それぞれを対応するカメラ装置１０に関するシフト距離とする。
【００２９】
画像認識処理装置２０は、生産ラインを構成する紙１を搬送する搬送装置の駆動系に接続されたエンコーダからのパルス出力をカウントすることで、紙１の移動距離を算出することができる。つまり、上述したように、画像認識処理装置２０は、パルスの１周期で進む紙１の距離（基準距離）を初期データとして持っているので、各シフト距離を基準距離で除算した値が、シフト距離だけ移動した場合に出力されるパルスの総数となる。そこで、欠陥が検出された場合、その検出されてから出力されるパルスをカウントし、その総数が対応するシフト距離に応じた値になったならば、その検出された欠陥の欠陥情報（テキスト，画像）を出力する。これにより、異なるカメラ装置１０で撮像した画像データ中に存在する同一の欠陥は、その欠陥の紙１における位置は同じであるので、その欠陥が仮想検査位置に至ったときに、各カメラ装置１０で撮像した画像データ中に存在する欠陥に基づく欠陥情報が、表示装置に出力される。
【００３０】
このシフト距離を用いたデータを出力するタイミングの補正制御は、検出ラック部２１，欠陥処理部２２，データ処理部２３のいずれで行っても良い。仮に検出ラック部２１で行った場合には、欠陥処理部２２，データ処理部２３では、受け取ったデータはすでにシフト距離の補正がすんでいるので、受け取った順に上記の各処理部で行う機能に従いデータを処理すればよい。これにより、たとえば検出ラック部２１でシフト距離の補正を行った場合、すでに説明したが、検出ラック部２１からは、図３に示すような順で欠陥処理部２２へ欠陥情報が渡される。また、欠陥処理部２２からは、図４に示すような順でデータ処理部２３へ加工された欠陥情報が渡される。
【００３１】
このとき、欠陥発生距離が９５００カウント地点（巻長さ９５０ｍ：以下、カウント地点のみを表記）で発生した欠陥は、１番目のカメラ装置（ビームＮｏ．１）１０内の端から２番目のリニアＣＣＤカメラ１１，２番目のカメラ装置（ビームＮｏ．２）１０内の端から２番目のリニアＣＣＤカメラ１１，３番目のカメラ装置（ビームＮｏ．３）１０内の端から２番目のリニアＣＣＤカメラ１１でそれぞれ撮像した画像データから抽出され、その抽出された欠陥の欠陥情報が、連続して記録されている。そして、紙１において上記の欠陥（９５００カウント地点）の次に出現する欠陥（９５１０カウント地点）は、１番目のカメラ装置（ビームＮｏ．１）１０内の端から２番目のリニアＣＣＤカメラ１１のみで検出されている。すなわち、各カメラ装置１０で検出された順にデータが記録され、最終的にその検出された順に表示装置３０に表示されるので、１番目のカメラ装置１０で９５００カウント地点の欠陥が検出された後は、その欠陥が２番目のカメラ装置１０で検出されるよりも先に９５１０カウント地点の欠陥が１番目のカメラ装置１０で検出されることになる。従って、従来方式であれば、検出された順となるので、図３，図４のレコード番号（図の左端の欄の番号）でいうと、１→４→２→３→５の順番で処理され、最終的に表示されることになる。そして、実際には、上記の同一の欠陥についての欠陥情報であるレコード番号１番と２番の間に多数の別の欠陥情報が出現し、同一画面上に同時に表示される可能性は少ないと共に、仮に同時に表示されたとしても、リアルタイムでは多数の欠陥情報が表示された状態では、同一の欠陥に基づく欠陥情報であることを認識することは困難である。
【００３２】
これに対し、同じ欠陥については、シフト距離の補正を行うことで、表示装置３０に表示するタイミングが同じ（ほぼ同時）になるので、仮に、同じ欠陥が複数のカメラ装置１０で検出された場合には、欠陥情報のうちテキスト情報からなる加工付属情報は図４に示すように連続して上下に並んだ状態で出力されることになり、また、本実施形態では、画像データは、最新の３個が表示されることから、あるタイミングでは、同じ欠陥について各カメラ装置１０で撮像した画像データが３個同時に表示されることになる。
【００３３】
さらに、本実施形態では、上記の検出された全ての欠陥情報を表示する標準表示モードに加え、同一の欠陥についての欠陥情報は統合・合成し、代表する１つの欠陥情報を表示し、他の欠陥情報は非表示にする統合表示モードを用意した。これにより、１つの欠陥が複数のカメラ装置で撮像されて検出された場合、そのうちの１つのカメラ装置１０で撮像して得られた画像データに基づく欠陥情報のみが表示されることになるので、表示装置３０には、１つの欠陥に対しては１つの欠陥情報のみ出力表示され、情報が必要以上に多数出力されてしまうことが抑制されると共に、表示する欠陥情報がその欠陥を代表する（わかりやすい）ものとすることで、より適切な情報のみが出力表示されることになるので、オペレータが適切かつ見落としすることなく欠陥情報を認識し、生産ラインでの不具合等の分析を行うことができる。
【００３４】
データ処理部２３は、あらかじめ記憶している決定ルールに従い、同一の欠陥に基づく欠陥情報を抽出し、そのうちの１つを代表に決定し、表示装置３０に出力する機能を持つ。また、データ処理部２３は、そのように代表に決定した欠陥情報に対し、フラグ等を付けて記憶装置３１に格納する機能を備えても良い。具体的な決定ルールの一例としては、以下のものを用いることができる。
【００３５】
すなわち、それぞれのカメラ装置１０で発生・抽出した欠陥情報は、検出光源・方式（反射・透過）等の相違から、たとえ欠陥の状態に変化がない（欠陥の種類が“穴あき”で、その穴の径が一定）場合でも、出力される欠陥情報が相違することが多々あり、一目では同じ欠陥についてのものであることが理解しにくいこともある。たとえば、紙１に“穴”があいた欠陥が搬送されてきた場合、透過式で撮像するカメラ装置の場合、“穴”の部分が明るくなるので“明欠陥”として検出され、逆に反射式で撮像するカメラ装置の場合、“穴”の部分は暗くなるので“暗欠陥”として検出される。そこで、たとえば、図６中のパターン１の決定ルールとして示すように、第１ビームのカメラ装置１０が反射式で、第２ビームのカメラ装置１０が透過式とした場合、被検査物体上の同一地点（紙１の搬送方向の位置であるカウント地点（巻長さ）が同じで、幅方向の端からの距離も同じであり、物体上の同じ位置に存在するとみなせるもの）について図示するように、第１ビームの明暗の極性が“暗大”で第２ビームの極性が“明大”とすると、欠陥種が“穴”で同じ欠陥についてのもの欠陥情報であると推定できるので、両者を統合・合成し、代表する欠陥情報は、第２ビームから抽出した情報（テキスト・画像）を表示する。両者は、明欠陥と暗欠陥の関係が穴欠陥についてのものと一致し、その大きさもほぼ一致しているので、同一の欠陥についてのものと推定できる。そして、表示する欠陥情報は、特に画像データについては、明欠陥の方が見やすいことから、第２ビームのものを採用するようにした。
【００３６】
なお、たとえば、紙の表面に付着した汚れの場合、その汚れの材質・色等にもよるが、反射式の場合には明欠陥として検出でき、透過式の場合には通常検出されない。また、同一地点として検出された欠陥であっても、たとえば、検出精度による誤差や、紙１の伸縮等の要因から前後左右方向でずれを生じることがあり、異なる欠陥に基づく欠陥情報が同一地点となることがある。しかし、係る場合には、たとえば、第２ビームで検出された欠陥が“穴欠陥”に基づくものであると明欠陥（明大）となり、第１ビームで検出された欠陥が“汚れ欠陥”に基づくものであると明欠陥（明大）となり、パターン１と一致しないので、統合・合成されずにそれぞれの欠陥情報が出力される。
【００３７】
また、このように同一地点と算出された欠陥同士が実際には異なる場合があるので、換言すると、シフト距離補正を行って同一地点とされなかった欠陥情報同士が実際には同じ欠陥についてのもの場合もある。そこで、好ましくは、パターンに一致するか否かを検証する対象として、第１優先としては同一地点と算出されたもの同士を比較するが、合わせて、前後左右方向に一定の許容誤差を設定し、その設定誤差範囲内に存在するものと同士を比較し、決定ルールのパターンに一致するものがある場合には、その一致する組み合わせのものが同一の欠陥に基づくものとして統合し、ルールに従っていずれか１つを代表として選択するとよい。このとき、一致する組み合わせとして複数の組み合わせが存在する場合には、たとえば、位置ずれの距離が最も短い組み合わせを選択すると良い。なお、前後方向と左右方向の許容誤差は、等しくても良いが、前後方向の方がずれる可能性が高いので前後方向の許容範囲を長くすると良い。
【００３８】
また、別のパターンとしては、たとえば図６のパターン３２として示したように、第１ビームの明暗の極性が“暗小”で第２ビームの極性が“明大”とすると、欠陥種が“穴”で同じ欠陥についてのもの欠陥情報であると推定でき、第１ビームが上流側に位置している場合には、穴の径が広がったと考えられるのでるので、やはり、上記のパターン１の場合と同様に同一の欠陥についてのものと推定でき、ここでも、画像として見やすい明欠陥である第２ビームの欠陥情報を代表として決定する。
【００３９】
もちろん、大きさは、実際の欠陥の大きさにある程度対応するものの、反射に基づいて得られた画像データと透過に基づいて得られた画像データで、その抽出される大きさが異なることがあると共に、そのときの光量や周囲の明るさや画像処理等の要因から実際の大きさに完全に比例するものではない。そこで、係る点も考慮して、決定ルールを設定する。また、例示した２つのパターンは、２つのビームの組み合わせについて示したが、３つ以上のビームの組み合わせももちろん存在する。
【００４０】
また、決定ルールとしては、図６に示したものに限ることはなく、たとえば、シフト距離補正を行い同一地点（上述した前後・左右方向の許容範囲を含む）にある欠陥情報について、同一極性（明欠陥同士，暗欠陥同士）の組み合わせについて、大きい１つを優先して選択するようにしている。これは、特に比較対象のカメラ装置が同じ方式で画像データを撮像する場合に適する。そして、大きいものを選択することで、より欠陥の特徴が現れており、画像データとして表示した場合に見やすいものを代表に決定することで、オペレータが監視・確認を容易に行える。
【００４１】
一例を示すと、たとえば図７に示すように、第１，第２ビームが共に明欠陥で、第１ビームが明大であれば、第１ビームを代表に決定する。また、第１，第２ビームが共に暗欠陥で、第２ビームが暗大であれば、第２ビームを代表に決定する。これに対し、第１ビームと第２ビームの欠陥の極性が異なる（不一致）場合には、合成せず、それぞれのビームで検出された欠陥情報をそれぞれ表示する。もちろん、図では２つのビームを例に示したが、実施形態でも示すように、３つ以上の場合も同様のルールに従って代表の欠陥情報を決定することができる。また、最も大きいものが複数存在した場合には、予め決めたルール（たとえば最も下流側に位置するもの）に従って、代表のものを決定する。
【００４２】
上記の決定ルールに従って、図４に示す５つの欠陥情報を統合表示モードで出力するようにした場合、図７に示すルールが適用され、レコードＮｏ．１から３の３つが同じ欠陥に基づくもので、同じ暗欠陥で大きさが最も大きいレコードＮｏ３の欠陥情報が代表に決定される。その結果、図８に示すように、レコードＮｏ．１，２は表示されず、レコードＮｏ３の欠陥情報が表示されることになる。また、レコードＮｏ．４，５は、同一の欠陥とみなせるものがないので、そのまま表示される。
【００４３】
なお、データ処理部２３は、統合表示モードが選択された場合には、上述した決定ルールに従って、表示すべき代表となる欠陥情報を決定し表示するが、係る決定ルールは、基準として予め登録されているようにしても良いし、ユーザが使用状況に応じて登録するようにしても良い。これらの決定ルールは、画像認識処理装置１０を構成するパソコンの内部・外部記憶装置に格納され、使用に際し呼び出されるようにすることができる。また、標準表示モードと統合表示モードの切り替えは、画像認識処理装置１０を構成するパソコンの入力装置を介して与えられる指示に従って、データ処理部２３が適宜のタイミングで行うことになる。
【００４４】
このように、本実施形態では、統合表示モードを利用することで、１つの欠陥については１つの欠陥情報を表示し、しかも、代表となって表示される欠陥情報は認識しやすいものとすることで、オペレータが、欠陥の発生を見逃す可能性を可及的に抑制し、生産への影響を確認できる。紙の生産において不良欠陥による紙切れは大きな生産ロスにつながるが、本実施形態の統合表示モードによる表示を活用することで生産の上流側へフィードバックするアクションを迅速に行うことができ、品質管理及び生産の効率化に役立つことができる。
【００４５】
なお、上述した実施形態では、明欠陥と暗欠陥について示したが、欠陥の特徴として現れる要素（種類）はこれに限ることはなく、たとえば、濃淡であったり、色であったり、その他各種のものが適用することができ、さらにそれら複数種のものを適宜組み合わせる（明暗と濃淡の組み合わせ等）こともできる。
【００４６】
上述した実施形態の各処理部（検査ラック部２１，欠陥処理部２２，データ処理部２３）は、ハードウェアとして実現することもできるし、ソフトウェア（アプリケーションプログラム）として実現することもできる。
【図面の簡単な説明】
【００４７】
【図１】欠陥情報の表示レイアウトの一例を示す図である。
【図２】本発明の好適な一実施形態を示す図である。
【図３】検出ラック部で生成される付属情報のデータ構造の一例を示す図である。
【図４】欠陥処理部で生成される加工付属情報のデータ構造の一例を示す図である。
【図５】欠陥情報の表示タイミングを説明する図である。
【図６】表示する代表の欠陥情報を決定する決定ルールの一例を示す図である。
【図７】表示する代表の欠陥情報を決定する決定ルールの一例を示す図である。
【図８】欠陥情報の表示例を示す図である。
【符号の説明】
【００４８】
１０ カメラ装置
１１ ラインＣＣＤカメラ
２０ 画像認識処理装置
２１ 検出ラック部
２２ 欠陥処理部
２３ データ処理部
３０ 表示装置
３１ 記憶装置
【特許請求の範囲】
【請求項１】
シート状の物品の外観検査装置であって、
前記物品の搬送方向に沿って、前後に配置された複数のカメラ装置で撮像された画像データを取得すると共に、各カメラ装置からの画像データ単位で画像認識処理を行い、欠陥の有無を判断する判断手段と、
その判断手段で欠陥を検出した場合に、その欠陥を表す欠陥情報を抽出する欠陥情報抽出手段と、
その欠陥情報抽出手段で抽出された異なるカメラ装置で撮像された同一の欠陥についての欠陥情報を比較し、決定ルールに従って決定された前記異なるカメラ装置のうちの１つのカメラ装置で撮像された画像データに基づき抽出した欠陥情報を代表欠陥情報として決定する代表欠陥情報決定手段と、
その代表欠陥情報決定手段で決定された前記代表欠陥情報を表示装置に出力する出力手段と、
を備えたことを特徴とする外観検査装置。
【請求項２】
前記判断手段で欠陥を検出した場合に、その検出した欠陥の前記物品上の位置を特定する位置情報を検出し、
その位置情報に基づいて同一の欠陥について異なるカメラ装置で撮像された欠陥情報を抽出することを特徴とする請求項１に記載の外観検査装置。
【請求項３】
前記カメラ装置の存在位置から物品の搬送ライン上に設定した仮想検出位置までの当該物品の移動距離であるシフト距離を前記カメラ装置ごとに記憶保持し、
前記物品の移動距離を算出する移動距離算出手段を備え、
前記判断手段で欠陥を検出した場合に、その検出した欠陥の前記物品上の位置を取得し、前記移動距離算出手段により前記物品の移動距離を求め、その欠陥が検出されたカメラ装置に設定されたシフト距離だけ当該物品が移動したことを契機に、その欠陥についての欠陥情報を出力するタイミングとする請求項１または２に記載の外観検査装置。
【請求項４】
同一の欠陥についての欠陥情報のうち、前記代表欠陥情報のみを表示する統合表示モードと、全ての欠陥情報を表示する表示モードを備えたことを特徴とする請求項３に記載の外観検査装置。
【請求項５】
前記決定ルールは、各カメラ装置から出力された画像データに対して画像認識して抽出された特徴の種類が、カメラ装置ごとに予め決めたパターンと一致した場合に、そのパターンで決められた１つのカメラ装置から出力された画像データに基づく欠陥情報を前記代表欠陥情報に決定するものを含むことを特徴とする請求項１から４のいずれか１項に記載の外観検査装置。
【請求項６】
前記決定ルールは、画像認識して抽出した特徴の種類が同じ場合に、最も大きいものを前記代表欠陥情報に決定するものを含むことを特徴とする請求項１から５のいずれか１項に記載の外観検査装置。
【請求項１】
シート状の物品の外観検査装置であって、
前記物品の搬送方向に沿って、前後に配置された複数のカメラ装置で撮像された画像データを取得すると共に、各カメラ装置からの画像データ単位で画像認識処理を行い、欠陥の有無を判断する判断手段と、
その判断手段で欠陥を検出した場合に、その欠陥を表す欠陥情報を抽出する欠陥情報抽出手段と、
その欠陥情報抽出手段で抽出された異なるカメラ装置で撮像された同一の欠陥についての欠陥情報を比較し、決定ルールに従って決定された前記異なるカメラ装置のうちの１つのカメラ装置で撮像された画像データに基づき抽出した欠陥情報を代表欠陥情報として決定する代表欠陥情報決定手段と、
その代表欠陥情報決定手段で決定された前記代表欠陥情報を表示装置に出力する出力手段と、
を備えたことを特徴とする外観検査装置。
【請求項２】
前記判断手段で欠陥を検出した場合に、その検出した欠陥の前記物品上の位置を特定する位置情報を検出し、
その位置情報に基づいて同一の欠陥について異なるカメラ装置で撮像された欠陥情報を抽出することを特徴とする請求項１に記載の外観検査装置。
【請求項３】
前記カメラ装置の存在位置から物品の搬送ライン上に設定した仮想検出位置までの当該物品の移動距離であるシフト距離を前記カメラ装置ごとに記憶保持し、
前記物品の移動距離を算出する移動距離算出手段を備え、
前記判断手段で欠陥を検出した場合に、その検出した欠陥の前記物品上の位置を取得し、前記移動距離算出手段により前記物品の移動距離を求め、その欠陥が検出されたカメラ装置に設定されたシフト距離だけ当該物品が移動したことを契機に、その欠陥についての欠陥情報を出力するタイミングとする請求項１または２に記載の外観検査装置。
【請求項４】
同一の欠陥についての欠陥情報のうち、前記代表欠陥情報のみを表示する統合表示モードと、全ての欠陥情報を表示する表示モードを備えたことを特徴とする請求項３に記載の外観検査装置。
【請求項５】
前記決定ルールは、各カメラ装置から出力された画像データに対して画像認識して抽出された特徴の種類が、カメラ装置ごとに予め決めたパターンと一致した場合に、そのパターンで決められた１つのカメラ装置から出力された画像データに基づく欠陥情報を前記代表欠陥情報に決定するものを含むことを特徴とする請求項１から４のいずれか１項に記載の外観検査装置。
【請求項６】
前記決定ルールは、画像認識して抽出した特徴の種類が同じ場合に、最も大きいものを前記代表欠陥情報に決定するものを含むことを特徴とする請求項１から５のいずれか１項に記載の外観検査装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１０−１３３８４６（Ｐ２０１０−１３３８４６Ａ）
【公開日】平成２２年６月１７日（２０１０．６．１７）
【国際特許分類】
【出願番号】特願２００８−３１０７７１（Ｐ２００８−３１０７７１）
【出願日】平成２０年１２月５日（２００８．１２．５）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成２２年６月１７日（２０１０．６．１７）
【国際特許分類】
【出願日】平成２０年１２月５日（２００８．１２．５）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]