外観検査装置及び外観検査システム並びにプログラム
【課題】 同一の欠陥についての情報を容易に比較・監視するできること
【解決手段】 ロール紙の搬送方向に沿って、前後に配置された複数のカメラ装置で撮像された画像データを取得すると共に、各カメラ装置からの画像データ単位で画像認識処理を行い、欠陥の有無を判断する判断手段と、判断手段で欠陥を検出した場合に、その欠陥を含む画像を切り出すとともに、その切り出した画像と、検出した欠陥の位置を特定する位置情報と、を関連付けた欠陥情報を作成する欠陥情報作成手段と、その欠陥情報を表示装置に出力する処理手段とを備える。処理手段は、位置情報に基づき異なるカメラ装置で撮像された同一の欠陥についての欠陥情報を抽出し、その抽出した欠陥について切り出した画像（欠陥画像）を同一の表示画面（図に示す欠陥時系列表示画面）に同時に出力する機能を備えた。
【解決手段】 ロール紙の搬送方向に沿って、前後に配置された複数のカメラ装置で撮像された画像データを取得すると共に、各カメラ装置からの画像データ単位で画像認識処理を行い、欠陥の有無を判断する判断手段と、判断手段で欠陥を検出した場合に、その欠陥を含む画像を切り出すとともに、その切り出した画像と、検出した欠陥の位置を特定する位置情報と、を関連付けた欠陥情報を作成する欠陥情報作成手段と、その欠陥情報を表示装置に出力する処理手段とを備える。処理手段は、位置情報に基づき異なるカメラ装置で撮像された同一の欠陥についての欠陥情報を抽出し、その抽出した欠陥について切り出した画像（欠陥画像）を同一の表示画面（図に示す欠陥時系列表示画面）に同時に出力する機能を備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、紙，フィルム，不織布，鉄鋼，非鉄金属等のシート状の素材（物品）の外観を検査する外観検査装置及び外観検査システム並びにプログラムに関する。
【背景技術】
【０００２】
紙（ロール紙）その他のシート状物等の製造システムでは、品質を保持するため、生産工程においてリアルタイムで異物の付着や孔あき等の欠陥の有無を監視している。係る欠陥の有無を監視するための監視システム（検査システム）は、たとえば、製造工程の各所にカメラを設置し、そこから得られた画像データに基づいて検査装置が画像認識処理を行い欠陥の有無を判断し、欠陥があった場合にはその欠陥に関する情報を表示装置に出力することで、監視員（オペレータ）に知らせるようにしたものがある。
【０００３】
表示装置に表示する情報は、欠陥位置を特定する位置情報や、大きさ（縦・横の長さや面積等）や、欠陥の種類等を示すテキスト情報と、実際の画像データであるイメージ情報がある。この表示レイアウトは、たとえば、図１に示すように、テキスト情報は、１つの欠陥について関連する情報を１列に示した表形式とし、イメージ情報は、別枠で所定数（図では３個）を出力するようにしている。テキスト情報は、検出された順番に逐次出力する。同様に、イメージ情報も最新の所定数（たとえば３個）を出力することになる。この種の画像認識処理により紙等のシート状物に対して欠陥の有無を検査する検査システムとしては、例えば特許文献１等に開示されている。
【特許文献１】特許第３９８２６４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
画像認識処理の対象となる画像データは、紙等の被検査対象物の反射光や透過光であり、２次元の画像データを撮像するエリアセンサカメラや、１次元のラインセンサカメラ等（以下、“カメラ“）を用いて取得する。そして、係る被検査対象物の表面や裏面の両面を検査したり、紙等の被監視対象物が複数工程を経て製造されることからどの工程で欠陥を生じたかを検証するために各工程の処理直後の被検査対象物を検査したりするため、カメラは、複数設置されることが多々ある。
【０００５】
すると、ある上流側の工程で欠陥が生じた場合、その欠陥がその後の各工程の処理後にも現れることになり、そうすると、同じ欠陥が複数のカメラにて取得した画像データ中に存在することになる。従って、同じ欠陥は、それぞれのカメラで画像データとして検出された都度、その検出されたタイミングで欠陥として検出され、表示装置に出力されることになる。一方、カメラは、生産ラインの各所に点在することになり、ロール紙の生産ラインでは、その全長が１００ｍ以上になることも多々あることから、同じ欠陥について、個々のカメラにて得られた画像データに現れるタイミングは、大きくずれることになる。しかも、ある工程で欠陥が生じた場合、１個のみ欠陥が発生することもあるが、ある範囲に複数或いは多数欠陥が発生することもある。
【０００６】
すると、表示装置には、複数のカメラで検出された欠陥に関する情報が、時々刻々と更新されながら多数表示されることになり、特にカメラの設置数が多くなると不良情報が多くなり、オペレータは、かえって整理できずに適切な監視をすることができなくなる。
【０００７】
さらに、同一の欠陥についてあるカメラで検出した不良情報が表示された後で、次のカメラで検出した不良情報が表示されるまでの間にタイムラグが生じると共に、その間に別の欠陥についての不良情報が表示されることが多々あり、１つの不良欠陥がどこの生産工程で発生しどのように変化していったのかなどの検討も行い難い。その結果、生産にどのような影響をあたえたのかという生産工程の上流から下流までの検査結果を一目で確認することもできない。つまり、単純にカメラの設置数を増やして得られる情報量を多くしただけでは、各生産工程へのフィードバックが十分に行えない。
【０００８】
この発明は、同一の欠陥についての情報を容易に比較・監視することができ、生産ラインでの不具合等の分析並びに生産工程へのフィードバックをしやすくするための情報を適切に提供することができる外観検査装置及び外観検査システム並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成するため、本発明に係る外観検査装置は、（１）紙等のシート状の物品の外観検査装置であって、物品の搬送方向に沿って、前後に配置された複数のカメラ装置で撮像された画像データを取得すると共に、各カメラ装置からの画像データ単位で画像認識処理を行い、欠陥の有無を判断する判断手段と、その判断手段で欠陥を検出した場合に、その欠陥を含む画像を切り出すとともに、その切り出した画像と、検出した欠陥の位置を特定する位置情報と、を関連付けた欠陥情報を作成する欠陥情報作成手段と、位置情報に基づき、異なるカメラ装置で撮像された同一の欠陥についての欠陥情報を抽出し、その抽出した欠陥について切り出した画像を同一の表示画面に同時に出力する処理手段と、を備えるようにした。位置情報は、実施形態の付属情報・加工付属情報の一部に組み込まれている。判断手段は、実施形態では、検出ラック部２１に対応している。欠陥情報作成手段は、実施形態では検出ラック部２１と欠陥処理部２２とにより実現されている。実施形態では、検出ラック部２１で一旦画像の切り出しと、それに関連する付属情報（位置情報）の生データを作成し、欠陥処理部２２でその生データから人間が見て理解しやすいデータ（加工付属情報）を作成しているが（位置情報の場合は、“パルス値やビット”の生データから、“ｍやｍｍ”のように直感しやすいデータに変換している）が、本発明ではこのように２つの処理手段で２段階に行うものに限ることはなく、両者の機能を１つの処理手段でまとめて行ったり、直接、追加加工情報を求めたり、逆に、生データのままとしたりするなど、各種の方法が採れる。カメラ装置は、実施形態では、ラインセンサカメラを用いたが、エリアセンサカメラでも良い。また、実施形態は、ロール紙のように幅が広いために、１つのカメラ装置を複数のラインＣＣＤカメラで構成したが、検査対象物の物品の幅と、カメラの視野との関係から単独のカメラで構成してももちろん良い。
【００１０】
本発明の外観検査装置では、異なるカメラ装置でそれぞれ撮像した画像データ中に検出された同一欠陥のものとみなされる画像（切り出し画像）が、同一画面内に同時に表示されるので、オペレータは、同一の欠陥についての情報を容易に比較・監視することができる。その結果、それらを比較することで、生産ラインのどのタイミング（工程）から欠陥が発生したかの特定や、表示された欠陥の画像の状態（大きさ・形状その他の特徴等）の変化から、各工程相互の関係などの分析を迅速かつ容易に行える。位置情報に基づいて、同一欠陥の画像を推定・抽出するようにしたので、簡単に抽出することができる。
【００１１】
（２）位置情報は、物品の搬送方向に沿った前後方向の位置と、その物品の幅方向の側縁からの位置であり、同一の欠陥についての欠陥情報の抽出は、位置情報で特定される欠陥の位置が許容範囲内の場合に同一の欠陥と推定するものであり、その許容範囲は、前後方向の位置についての許容範囲を、側縁からの位置についての許容範囲よりも大きくするとよい。搬送方向（流れ方向）は、各工程の処理を行うことで、物品自体が伸び縮みすることがあると共に、巻物のような場合には幅方向に比べて非常に長くなるので誤差も大きくなる。従って、前後方向の位置についての許容範囲を広く設定することで、確実に同一の欠陥に基づく画像を抽出し、表示することができる。
【００１２】
（３）処理手段は、同一の欠陥についての欠陥情報と推定される候補が複数存在する場合、それら複数の候補のうちの１つを初期候補として表示装置に出力し、外部から与えられる切替指示にしたがって別の候補を表示する機能を備えるとよい。初期候補は、例えば、位置情報が同じ（ずれが最も小さい）ものにするとよい。孔や異物等の欠陥が近くで複数発生した場合、一意に同一の欠陥の画像を特定することが困難となることがある。また、（２）でも説明したように、物品の伸縮等によりそもそも同一欠陥の存在位置（前後方向での位置（紙の前端，検査開始位置等からの距離））が、各カメラ装置の撮像位置で異なることもある。従って、処理手段が、１つのものを特定するのではなく、複数の候補がある場合にはそれらを切り替えて表示可能とし、オペレータ等の人間が最終判断をするようにすることで、より確実に、同一欠陥の画像を同時に表示することができる。なお、欠陥の寸法形状等の特徴量同士を比較し、同一の欠陥の画像を特定するアルゴリズムを付加することもできるが、各工程の処理を行うことで、欠陥の寸法・形状自体が変わることもあるので、位置に基づいて特定するのが好ましい。
【００１３】
（４）欠陥情報作成手段で作成される欠陥情報は、欠陥の寸法を含むその欠陥の特徴を示すテキスト情報を有し、処理手段は、切り出した画像とともに、対応するテキスト情報も併せて表示するようにするとよい。このようにすると、画像以外の欠陥情報を合わせてみることで、欠陥の分析等がより容易に行えると共に、同一の欠陥に基づく画像か否かの判断の参考にもなる。
【００１４】
（５）本発明の外観検査システムは、シート状の物品の生産ラインにおける物品の搬送方向に沿って、前後に配置された複数のカメラ装置と、その複数のカメラ装置からの出力に基づいて動作する（１）から（４）のいずれかに記載の外観検査装置と、を備えて構成できる。
【００１５】
（６）本発明のプログラムは、コンピュータを、物品の搬送方向に沿って、前後に配置された複数のカメラ装置で撮像された画像データを取得すると共に、各カメラ装置からの画像データ単位で画像認識処理を行い、欠陥の有無を判断する判断手段、その判断手段で欠陥を検出した場合に、その欠陥を含む画像を切り出すとともに、その切り出した画像と、検出した欠陥の位置を特定する位置情報と、を関連付けた欠陥情報を作成する欠陥情報作成手段、位置情報に基づき、異なるカメラ装置で撮像された同一の欠陥についての欠陥情報を抽出し、その抽出した欠陥について切り出した画像を同一の表示画面に同時に出力する処理手段、として機能させるためのプログラムとすることができる。
【発明の効果】
【００１６】
本発明は、同一欠陥と判断するためのアルゴリズムを設け、複数の検査フレームのカメラ装置が検出した画像を同一画面内に同時に表示するようにしたので、同一の欠陥についての情報を容易に比較・監視することができ、生産ラインでの不具合等の分析並びに生産工程へのフィードバックをしやすくするための情報を適切に提供することができる。
【発明を実施するための最良の形態】
【００１７】
図２は、本発明の好適な一実施形態を示している。本実施形態の外観検査システムは、紙（ロール紙）の生産ラインに組み込まれ、生産ライン上を搬送される被検査対象物である帯状の紙を撮像して得られた画像データに基づいて欠陥（不良）の有無を判断するものである。
【００１８】
具体的には、紙１に正対して、複数のカメラ装置１０を設置する。各カメラ装置１０は、いずれも複数のラインＣＣＤカメラ１１を横一列に配置したカメラの集合体で構成される。それら１つのカメラ装置１０に実装される複数個のラインＣＣＤカメラ１１は、同一ライン上、つまり、紙１を進行方向と直交する（幅方向に横断する）一直線上を検出するように配置される。
【００１９】
また、図では、便宜上、カメラ装置１０を等間隔に３個設け、それぞれが紙１の同一面側に配置するようにしたが、実際には、紙１の表面や裏面の外観を検出すべく、異なる面に配置することもあるし、配置間隔は各工程を行う装置の配置レイアウトに応じて適宜異なる。つまり、ロール紙の生産ラインは、例えば、不純物を取り除き、漂白して煮溶かした紙の繊維を含んだ液体を網の上に乗せて脱水する工程→脱水された湿紙を加圧されたロール間にフェルトとともに通過させて搾水する工程→紙を乾燥させる工程→乾燥させた紙の表面に対してコーティング等の表面加工処理を行う工程→厚みを整える工程→帯状に連続して搬送されてくる紙を巻き取る工程等、複数の工程を順次実行するもので、各工程を行うための処理装置が生産工場内の各所に配置される。その全長は、１００ｍ以上になることもあり、上記のカメラ装置１０は、所定の処理装置の下流側に配置される。そして、カメラ装置１０は、設置した位置において、検出したい欠陥の種類等に適した画像データを得るため、透過光或いは反射光を検出したり、光量その他のパラメータが調整されたりしている。
【００２０】
各カメラ装置１０（ラインＣＣＤカメラ１１）の出力は、リアルタイムで順次画像認識処理装置２０に与えられる。画像認識処理装置２０は、パーソナルコンピュータ或いは専用の装置等で構成され、検出ラック部２１と、欠陥処理部２２と、データ処理部２３と、を備えている。各カメラ装置１０から１ラインずつ送られる画像データは、検出ラック部２１に与えられる。この検出ラック部２１は、生産ラインを構成する紙１を搬送する搬送装置の駆動系に接続されたエンコーダからのパルス出力も与えられる。画像認識処理装置２０は、パルスの１周期で進む紙１の距離を初期データとして持っており、その距離とパルス数を乗算することで、カメラ装置１０で撮像した画像データ（ライン）の位置、つまり、任意の検査開始位置からの撮像した画像データまでの距離を求めることができる。
【００２１】
検出ラック部２１は、各カメラ装置１０から時々刻々と入力される１ライン毎の画像データを一時記憶メモリに格納するとともに、ｎライン分の画像データを読み出し、所定の寸法の２次平面画像データからなる認識対象画像を生成し、その認識対象画像に対して画像認識処理を行い、異物付着・孔空き等の欠陥の有無を判断する。そして、欠陥を検出した場合には、その欠陥を含む所定の大きさ（例えば２５６×２５６）の画像データを切り出すと共に、その切り出した画像データとその欠陥についての付属情報を関連付けて欠陥処理部２２に渡す。欠陥の有無を認識するための画像認識処理アルゴリズムは、特許文献１に記載のものや、その他の各種のアルゴリズムを用いることができる。検出ラック部２１は、検出した欠陥を特定するための付属情報として、その存在位置のパルス値（エンコーダから取得）と、視野内の位置（紙の一方の側縁からの位置（ｎビット）：紙の一方の側縁から各ラインＣＣＤカメラ１１の一方の端までの距離は既知であるので、係る距離に撮像したラインＣＣＤカメラ１１における端からの欠陥の位置を加算して求める）と、欠陥の幅及び長さ（前後方向）と、カメラを特定するカメラＮｏ（ビームＮｏ）と、欠陥の特徴としての明暗情報（“明るい／暗い”＋程度等）等を求める。この求めた付属情報は、図４に示すようなデータ構造のテーブルとして欠陥処理部２２へ渡される。なお、係る付属情報の算出（抽出）処理は、従来と同様の処理で実現できる。
【００２２】
また、ラインＣＣＤカメラ１１は、１ライン毎に画像データを取得するものであるので、上述したように２次元の認識対象画像を生成するためには、複数ライン分の画像データをまとめて読み出す必要がある。そこで、例えば、ラインＣＣＤカメラ１１分のリングバッファを用意し、各ラインＣＣＤカメラ１１から送られてくる画像データを対応するリングバッファに振り分けて格納し、各リングバッファから所定ライン分を読み出すことで対応できる。
【００２３】
欠陥処理部２２は、検出ラック部２１から送られてきた欠陥についての付属情報から、人間（オペレータ）が認識できるデータに加工し、求めた加工付属情報をデータ処理部２３に送る。加工付属情報のデータ構造は、例えば、欠陥位置を特定する前後方向の位置（巻長さデータ）及び紙の一方側縁からの距離データ（この、紙端からの距離を“ＦＲ距離”と称する）と、欠陥の寸法を特定する欠陥幅及び欠陥長さと、カメラＮｏと、明暗情報等がある。長さに関するデータは、検出ラック部２１で作成したものは、生データであるのでその単位がビット数やパルス数などであったが、この欠陥処理部２２では、ｍ，ｍｍ等の人間が容易に認識できる単位に変換している。具体的には、エンコーダから出力されるパルスの１周期で進む紙１の距離を初期データとして持っており、任意の検査開始位置からのパルス数から、現在の紙の長さ方向の位置を求めることができる。そこで、欠陥処理部２２は、パルス値に１パルス当たりの移動長さを乗算することで、欠陥が生じている位置の紙１の検査開始位置からの距離（巻長さ）を求めることができる。また、画素数・ビット数で特定していた欠陥位置や、欠陥の大きさは、１画素，１ビット当たりの長さ（ｍｍ）を知っているので、検出ラック部２１の生データから、単位換算をしてｍ或いはｍｍを単位とした数値に変換する。これにより、例えば図５に示すようなデータ構造からなる加工付属情報を生成し、記憶装置３１に格納する。なお、係る加工付属情報の算出（抽出）処理は、従来と同様の処理で実現できる。記憶装置３１に格納する加工（修正）付属情報は、検出された順にレコード番号（図では、左端に記載）が付与され、その順に格納される。
【００２４】
データ処理部２３は、欠陥処理部２２で作成され、記憶装置３１に格納された画像データ（欠陥を含む切り出しデータ）と、加工付属情報に基づき、所定の条件に合致する情報（画像／テキスト）を表示装置３０に出力する。表示装置３０の表示画面に表示する欠陥情報（画像データ＋テキストデータ）のレイアウトは、従来と同様に図１に示すものを用いることができる。これは、検出された順、つまり、レコード番号順に表示される。よって、テキスト情報からなる加工付属情報は、最新のものから所定数分だけ表示され、新たな欠陥が検出されると、表示内容が更新される。同様に、切り出された画像データは、最新の３個が表示される。なお、これらの表示レイアウト並びに表示方法は、従来と同様である。
【００２５】
ここで本実施形態では、図３に示すような欠陥時系列表示画面を用意し、異なるカメラ装置１０で検出された同一の欠陥についての欠陥情報（画像＋テキスト）を並べて表示できるようにしている。本実施形態では、６個のカメラ装置１０を備えているので、欠陥時系列表示画面でも、６つの小ウインドウＷを用意し、各カメラ装置１０で撮像した画像データ等をそれぞれに表示できるようにしている。また、各小ウインドウＷに表示するカメラ装置１０は、生産ラインの並びに順に合わせ、最も上流側のカメラ装置（ビーム名Ａ）を右端の小ウインドウＷに対応付け、以下、生産ラインの流れ（紙の搬送方向）に従って設置されるカメラ装置を順番にそれぞれ左側の小ウインドウＷに対応付け、最も下流側のカメラ装置を左端の小ウインドウＷに対応づける。
【００２６】
各小ウインドウＷは、下側に欠陥画像表示領域Ｗ１を、上側にテキスト情報表示領域Ｗ２を設け、さらに、それらの表示領域Ｗ１，Ｗ２の左外側には、ＮＥＸＴ選択ボタンＢ１，Ｂ２と、初期画面ボタンＢ３が配置されたレイアウト構成を採っている。欠陥画像表示領域Ｗ１は、切り出された欠陥を含む画像データが表示される領域である。テキスト情報表示領域Ｗ２は、欠陥画像表示領域Ｗ１に表示された画像データに関連付けられた加工付属情報を表示する領域である。ＮＥＸＴ選択ボタンＢ１，Ｂ２は、同一の欠陥と思われる画像データが複数存在する場合、これらのＮＥＸＴ選択ボタンＢ１，Ｂ２をクリックすることで、他の画像データを読み出して表示する。この欠陥画像表示領域Ｗ１に表示される画像データが切り替わると、それに伴い、テキスト情報表示領域Ｗ２に表示する情報も切り替える。また、初期画面ボタンＢ３をクリックすると、初期状態で同一の欠陥と推定された画像データが選択され、表示される。なお、同一の欠陥と思われる画像データが複数存在する場合、ＮＥＸＴ選択ボタンＢ１の下側，ＮＥＸＴ選択ボタンＢ２の上側に、その候補の数が表示される。つまり、他の画像データが無い場合には、“０”となり、存在する場合にはその数が数値として表示される。図３の場合、左側の２つの小ウインドウＷは、共に下にＮＥＸＴ選択ボタンＢ１の下側に“１”が、ＮＥＸＴ選択ボタンＢ２の上側に“２”が表示されているので、各ＮＥＸＴ選択ボタンＢ１，Ｂ２をクリックすることで、表示する画像を切り替えることができる。そして、その切り替えに伴い、数値がそれぞれ±１されて更新される。このように、欠陥画像表示領域Ｗ１に表示する画像データを切り替え、実際に別の小ウインドウに表示された画像と見比べることで、最終的にオペレータが同一の欠陥と思える画像データを適切に選択することができる。なお、上記のように画像の切り替えを行う都度、数値を更新するようにした場合、数値が“０”になった場合にはそれ以上その方向に候補がないことが容易に理解できる。もちろん、そのように数値の更新を行うことはせず、初期状態のままとしても良い。
【００２７】
なお、図３では６個の小ウインドウＷの全てに欠陥画像が表示されている例を示したが、実際には、一部の小ウインドウＷのみに表示されることもある（表示されない小ウインドウもある）。これは、例えば、３番目のカメラ装置の直前の工程で欠陥が生じた場合、１，２番目のカメラ装置では欠陥が検出されず、３番目のカメラ装置で撮像した画像から欠陥画像が表示されるので、係る場合、少なくとも、右側の２つの小ウインドウＷには、欠陥画像が表示されず、それに伴いテキスト情報も表示されない。また、このように仮に３番目のカメラ装置で欠陥が検出されたとしても、４番目以降のカメラ装置で撮像した画像データからは欠陥が検出されないこともある。これは、例えば、欠陥が孔部であり、その後の工程でコーティングされることで当該孔部が埋められて欠陥として現れなくなったり、紙１の表面に異物が付着している場合に裏面側を撮像するカメラ装置で撮像した画像データ中には係る異物がなく欠陥と認識されなかったりすることなどの理由からである。
【００２８】
次に、係る欠陥時系列表示画面を表示するためのデータ処理部２３の機能を説明する。このデータ処理部２３は、図６に示すフローチャートを実行する機能を備える。まず、オペレータから与えられた“リアル表示一時停止命令”を検出すると、図１に示すリアル表示を一時停止する（Ｓ１）。このリアル表示一時停止命令は、図示省略するが、外観検査装置（画像認識処理装置２０）の入力装置（キーボード）からのコマンド入力や、マウス等のポインティングデバイスを操作し、表示装置３０のリアル表示をしている画面の上方等に配置したメニューバー等を適宜クリックして、メニュー項目の１つとして用意された“リアル表示一時停止命令”を選択することにより行っても良く、各種の方法が採れる。
【００２９】
データ処理部２３は、任意の欠陥画像の指定を受け付ける（Ｓ２）。係る指定は、例えば、一時停止しているリアル表示画面（新たな欠陥検出に伴う更新を行わず、停止命令を受けたときの画面のまま保持）で表示された３つの欠陥画像の中の１つをクリックすることで、行うことができる。もちろん、表示されたテキスト情報の項目の中から任意のものを選択することで、それに関連付けられた画像データを指定するようにしてもよい。オペレータがリアルタイムで表示された欠陥画像を見た場合に、その原因を特定するためにリアルタイム表示を一時停止し、上述した時系列表示画面を表示する利用が考えられるので、リアル表示画面で表示された欠陥画像を選択するのが、操作性が良好となり好ましい。
【００３０】
次に、データ処理部２３は、表示装置３０に表示したメニュー表示画面或いはプルダウンメニューリストから、“時系列表示”が選択されるのを待ち（Ｓ３）、選択されたならば、図３に示すような欠陥時系列表示画面に表示を切り替える（Ｓ５）。
【００３１】
次にデータ処理部２３は、処理ステップＳ２で指定された欠陥画像に関連付けられた加工付属情報のうち、対象となっている欠陥の流れ方向の距離（巻長さ：検査開始位置からの距離）と幅方向位置（ＦＲ距離）を取得し、その取得した情報と、各カメラ装置（ビーム）で撮像した画像データから抽出された欠陥の流れ方向の距離と幅方向位置とを比較し、許容範囲内のものを抽出する（Ｓ６）。ここで、許容範囲は、幅方向（ＦＲ距離）については比較的狭くし、流れ方向の距離についてはそれに比べて長く設定している。これは、紙が幅方向に大きく伸びることはあまりなく幅方向の大きなずれの要因としては蛇行すること等があり得るが、それもあまり（発生頻度／ずれ距離）ないので、許容範囲を狭く設定することで、不必要な候補が抽出されてしまうことを抑制する。
【００３２】
これに対し、流れ方向では、例えば、水分を含ませたり、乾燥させたり、コーティング処理したりすることで、伸縮するため、パルス値に基づいて算出した検査開始位置からの距離が、同一地点（同一の欠陥）で異なることが多々ある。そこで、流れ方向の距離については許容範囲を広く設定する。
【００３３】
これにより、例えば図２に示す例では、欠陥２ａと欠陥２ｂとは、流れ方向の距離が許容範囲内に入り同一の欠陥の候補として選択される可能性はあるが、欠陥２ａと欠陥２ｃとは、幅方向の位置が違うので、流れ方向は近くても許容範囲内に入らず、別の欠陥と認識することができる。
【００３４】
次に、各ビームで許容範囲内の中で、一番近い候補を検索し、該当するものがあるか否かを判断する（Ｓ７）。許容範囲内に該当する欠陥がない場合、そのビーム（カメラ装置１０）に対応する欠陥時系列表示画面の小ウインドウＷには欠陥表示をしない（Ｓ８）。一方、処理ステップＳ２で指定された欠陥を撮像したカメラ装置とは別のカメラ装置で撮像した欠陥の幅方向と流れ方向距離が、指定された欠陥のそれらと許容範囲内にある欠陥が存在する場合、最も近いものを初期候補として選択するとともに、同一のカメラ装置で撮像された許容範囲内の欠陥が複数ある場合には、流れ方向の前後で、それぞれ候補を抽出する。このとき、初期候補を基準に近いものから順に抽出する（最大１０個）。これにより、装置が決定した同一の欠陥についての欠陥画像の候補である初期候補と、可能性のある他の候補が抽出される（Ｓ９）。
【００３５】
ついで、データ処理部２３は、そのようにして抽出した欠陥画像並びにそれに関連づけられた加工付属情報を取得し、対応するビーム用の小ウインドウＷに、初期候補の欠陥画像と加工付属情報を表示する。これにより、データ処理部２３は、欠陥時系列表示画面を出力することになる（Ｓ１０）。
【００３６】
また、複数候補がない場合（Ｓ１１でＮｏ）、そのビームについての小ウインドウＷは、表示の切り替え・変化がない（Ｓ１４）。たとえば図３の場合、ビームＡ〜ビームＤまでの小ウインドウＷは、これに該当する。一方、複数候補がある場合（Ｓ１１でＹｅｓ）、データ処理部２３は、前後候補キーの入力、つまり、ＮＥＸＴ選択ボタンＢ１またはＮＥＸＴ選択ボタンＢ２がクリックされるのを待ち（Ｓ１２）、クリックされたならば、該当する方向の次の候補（次に近い候補）を抽出し、各領域Ｗ１，Ｗ２に表示する（Ｓ１３）。なお、特に、処理ステップＳ７以降の処理については、各カメラ装置（ビーム）単位で実行することになる。
【００３７】
よって、本実施形態では、欠陥時系列表示にて別工程で検出したそれぞれの画像を一目で確認できる。よって、不良欠陥の発生箇所及び不良欠陥の変化を確認できるので、生産への影響を確認できる。紙の生産において不良欠陥による紙切れは大きな生産ロスにつながるが、本実施形態の欠陥時系列表示を活用することで生産の上流側へフィードバックするアクションを迅速に行うことができ、品質管理及び生産の効率化に役立つことができる。
【００３８】
上述した実施形態の各処理部（検査ラック部２１，欠陥処理部２２，データ処理部２３）は、ハードウェアとして実現することもできるし、ソフトウェア（アプリケーションプログラム）として実現することもできる。
【図面の簡単な説明】
【００３９】
【図１】欠陥情報の表示レイアウトの一例を示す図である。
【図２】本発明の公的な一実施形態を示す図である。
【図３】欠陥時系列表示画面の一例を示す図である。
【図４】検出ラック部で生成される付属情報のデータ構造の一例を示す図である。
【図５】欠陥処理部で生成される加工付属情報のデータ構造の一例を示す図である。
【図６】データ処理部２３の機能を示すフローチャートである。
【符号の説明】
【００４０】
１０ カメラ装置
１１ ラインＣＣＤカメラ
２０ 画像認識処理装置
２１ 検出ラック部
２２ 欠陥処理部
２３ データ処理部
３０ 表示装置
３１ 記憶装置
【技術分野】
【０００１】
この発明は、紙，フィルム，不織布，鉄鋼，非鉄金属等のシート状の素材（物品）の外観を検査する外観検査装置及び外観検査システム並びにプログラムに関する。
【背景技術】
【０００２】
紙（ロール紙）その他のシート状物等の製造システムでは、品質を保持するため、生産工程においてリアルタイムで異物の付着や孔あき等の欠陥の有無を監視している。係る欠陥の有無を監視するための監視システム（検査システム）は、たとえば、製造工程の各所にカメラを設置し、そこから得られた画像データに基づいて検査装置が画像認識処理を行い欠陥の有無を判断し、欠陥があった場合にはその欠陥に関する情報を表示装置に出力することで、監視員（オペレータ）に知らせるようにしたものがある。
【０００３】
表示装置に表示する情報は、欠陥位置を特定する位置情報や、大きさ（縦・横の長さや面積等）や、欠陥の種類等を示すテキスト情報と、実際の画像データであるイメージ情報がある。この表示レイアウトは、たとえば、図１に示すように、テキスト情報は、１つの欠陥について関連する情報を１列に示した表形式とし、イメージ情報は、別枠で所定数（図では３個）を出力するようにしている。テキスト情報は、検出された順番に逐次出力する。同様に、イメージ情報も最新の所定数（たとえば３個）を出力することになる。この種の画像認識処理により紙等のシート状物に対して欠陥の有無を検査する検査システムとしては、例えば特許文献１等に開示されている。
【特許文献１】特許第３９８２６４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
画像認識処理の対象となる画像データは、紙等の被検査対象物の反射光や透過光であり、２次元の画像データを撮像するエリアセンサカメラや、１次元のラインセンサカメラ等（以下、“カメラ“）を用いて取得する。そして、係る被検査対象物の表面や裏面の両面を検査したり、紙等の被監視対象物が複数工程を経て製造されることからどの工程で欠陥を生じたかを検証するために各工程の処理直後の被検査対象物を検査したりするため、カメラは、複数設置されることが多々ある。
【０００５】
すると、ある上流側の工程で欠陥が生じた場合、その欠陥がその後の各工程の処理後にも現れることになり、そうすると、同じ欠陥が複数のカメラにて取得した画像データ中に存在することになる。従って、同じ欠陥は、それぞれのカメラで画像データとして検出された都度、その検出されたタイミングで欠陥として検出され、表示装置に出力されることになる。一方、カメラは、生産ラインの各所に点在することになり、ロール紙の生産ラインでは、その全長が１００ｍ以上になることも多々あることから、同じ欠陥について、個々のカメラにて得られた画像データに現れるタイミングは、大きくずれることになる。しかも、ある工程で欠陥が生じた場合、１個のみ欠陥が発生することもあるが、ある範囲に複数或いは多数欠陥が発生することもある。
【０００６】
すると、表示装置には、複数のカメラで検出された欠陥に関する情報が、時々刻々と更新されながら多数表示されることになり、特にカメラの設置数が多くなると不良情報が多くなり、オペレータは、かえって整理できずに適切な監視をすることができなくなる。
【０００７】
さらに、同一の欠陥についてあるカメラで検出した不良情報が表示された後で、次のカメラで検出した不良情報が表示されるまでの間にタイムラグが生じると共に、その間に別の欠陥についての不良情報が表示されることが多々あり、１つの不良欠陥がどこの生産工程で発生しどのように変化していったのかなどの検討も行い難い。その結果、生産にどのような影響をあたえたのかという生産工程の上流から下流までの検査結果を一目で確認することもできない。つまり、単純にカメラの設置数を増やして得られる情報量を多くしただけでは、各生産工程へのフィードバックが十分に行えない。
【０００８】
この発明は、同一の欠陥についての情報を容易に比較・監視することができ、生産ラインでの不具合等の分析並びに生産工程へのフィードバックをしやすくするための情報を適切に提供することができる外観検査装置及び外観検査システム並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成するため、本発明に係る外観検査装置は、（１）紙等のシート状の物品の外観検査装置であって、物品の搬送方向に沿って、前後に配置された複数のカメラ装置で撮像された画像データを取得すると共に、各カメラ装置からの画像データ単位で画像認識処理を行い、欠陥の有無を判断する判断手段と、その判断手段で欠陥を検出した場合に、その欠陥を含む画像を切り出すとともに、その切り出した画像と、検出した欠陥の位置を特定する位置情報と、を関連付けた欠陥情報を作成する欠陥情報作成手段と、位置情報に基づき、異なるカメラ装置で撮像された同一の欠陥についての欠陥情報を抽出し、その抽出した欠陥について切り出した画像を同一の表示画面に同時に出力する処理手段と、を備えるようにした。位置情報は、実施形態の付属情報・加工付属情報の一部に組み込まれている。判断手段は、実施形態では、検出ラック部２１に対応している。欠陥情報作成手段は、実施形態では検出ラック部２１と欠陥処理部２２とにより実現されている。実施形態では、検出ラック部２１で一旦画像の切り出しと、それに関連する付属情報（位置情報）の生データを作成し、欠陥処理部２２でその生データから人間が見て理解しやすいデータ（加工付属情報）を作成しているが（位置情報の場合は、“パルス値やビット”の生データから、“ｍやｍｍ”のように直感しやすいデータに変換している）が、本発明ではこのように２つの処理手段で２段階に行うものに限ることはなく、両者の機能を１つの処理手段でまとめて行ったり、直接、追加加工情報を求めたり、逆に、生データのままとしたりするなど、各種の方法が採れる。カメラ装置は、実施形態では、ラインセンサカメラを用いたが、エリアセンサカメラでも良い。また、実施形態は、ロール紙のように幅が広いために、１つのカメラ装置を複数のラインＣＣＤカメラで構成したが、検査対象物の物品の幅と、カメラの視野との関係から単独のカメラで構成してももちろん良い。
【００１０】
本発明の外観検査装置では、異なるカメラ装置でそれぞれ撮像した画像データ中に検出された同一欠陥のものとみなされる画像（切り出し画像）が、同一画面内に同時に表示されるので、オペレータは、同一の欠陥についての情報を容易に比較・監視することができる。その結果、それらを比較することで、生産ラインのどのタイミング（工程）から欠陥が発生したかの特定や、表示された欠陥の画像の状態（大きさ・形状その他の特徴等）の変化から、各工程相互の関係などの分析を迅速かつ容易に行える。位置情報に基づいて、同一欠陥の画像を推定・抽出するようにしたので、簡単に抽出することができる。
【００１１】
（２）位置情報は、物品の搬送方向に沿った前後方向の位置と、その物品の幅方向の側縁からの位置であり、同一の欠陥についての欠陥情報の抽出は、位置情報で特定される欠陥の位置が許容範囲内の場合に同一の欠陥と推定するものであり、その許容範囲は、前後方向の位置についての許容範囲を、側縁からの位置についての許容範囲よりも大きくするとよい。搬送方向（流れ方向）は、各工程の処理を行うことで、物品自体が伸び縮みすることがあると共に、巻物のような場合には幅方向に比べて非常に長くなるので誤差も大きくなる。従って、前後方向の位置についての許容範囲を広く設定することで、確実に同一の欠陥に基づく画像を抽出し、表示することができる。
【００１２】
（３）処理手段は、同一の欠陥についての欠陥情報と推定される候補が複数存在する場合、それら複数の候補のうちの１つを初期候補として表示装置に出力し、外部から与えられる切替指示にしたがって別の候補を表示する機能を備えるとよい。初期候補は、例えば、位置情報が同じ（ずれが最も小さい）ものにするとよい。孔や異物等の欠陥が近くで複数発生した場合、一意に同一の欠陥の画像を特定することが困難となることがある。また、（２）でも説明したように、物品の伸縮等によりそもそも同一欠陥の存在位置（前後方向での位置（紙の前端，検査開始位置等からの距離））が、各カメラ装置の撮像位置で異なることもある。従って、処理手段が、１つのものを特定するのではなく、複数の候補がある場合にはそれらを切り替えて表示可能とし、オペレータ等の人間が最終判断をするようにすることで、より確実に、同一欠陥の画像を同時に表示することができる。なお、欠陥の寸法形状等の特徴量同士を比較し、同一の欠陥の画像を特定するアルゴリズムを付加することもできるが、各工程の処理を行うことで、欠陥の寸法・形状自体が変わることもあるので、位置に基づいて特定するのが好ましい。
【００１３】
（４）欠陥情報作成手段で作成される欠陥情報は、欠陥の寸法を含むその欠陥の特徴を示すテキスト情報を有し、処理手段は、切り出した画像とともに、対応するテキスト情報も併せて表示するようにするとよい。このようにすると、画像以外の欠陥情報を合わせてみることで、欠陥の分析等がより容易に行えると共に、同一の欠陥に基づく画像か否かの判断の参考にもなる。
【００１４】
（５）本発明の外観検査システムは、シート状の物品の生産ラインにおける物品の搬送方向に沿って、前後に配置された複数のカメラ装置と、その複数のカメラ装置からの出力に基づいて動作する（１）から（４）のいずれかに記載の外観検査装置と、を備えて構成できる。
【００１５】
（６）本発明のプログラムは、コンピュータを、物品の搬送方向に沿って、前後に配置された複数のカメラ装置で撮像された画像データを取得すると共に、各カメラ装置からの画像データ単位で画像認識処理を行い、欠陥の有無を判断する判断手段、その判断手段で欠陥を検出した場合に、その欠陥を含む画像を切り出すとともに、その切り出した画像と、検出した欠陥の位置を特定する位置情報と、を関連付けた欠陥情報を作成する欠陥情報作成手段、位置情報に基づき、異なるカメラ装置で撮像された同一の欠陥についての欠陥情報を抽出し、その抽出した欠陥について切り出した画像を同一の表示画面に同時に出力する処理手段、として機能させるためのプログラムとすることができる。
【発明の効果】
【００１６】
本発明は、同一欠陥と判断するためのアルゴリズムを設け、複数の検査フレームのカメラ装置が検出した画像を同一画面内に同時に表示するようにしたので、同一の欠陥についての情報を容易に比較・監視することができ、生産ラインでの不具合等の分析並びに生産工程へのフィードバックをしやすくするための情報を適切に提供することができる。
【発明を実施するための最良の形態】
【００１７】
図２は、本発明の好適な一実施形態を示している。本実施形態の外観検査システムは、紙（ロール紙）の生産ラインに組み込まれ、生産ライン上を搬送される被検査対象物である帯状の紙を撮像して得られた画像データに基づいて欠陥（不良）の有無を判断するものである。
【００１８】
具体的には、紙１に正対して、複数のカメラ装置１０を設置する。各カメラ装置１０は、いずれも複数のラインＣＣＤカメラ１１を横一列に配置したカメラの集合体で構成される。それら１つのカメラ装置１０に実装される複数個のラインＣＣＤカメラ１１は、同一ライン上、つまり、紙１を進行方向と直交する（幅方向に横断する）一直線上を検出するように配置される。
【００１９】
また、図では、便宜上、カメラ装置１０を等間隔に３個設け、それぞれが紙１の同一面側に配置するようにしたが、実際には、紙１の表面や裏面の外観を検出すべく、異なる面に配置することもあるし、配置間隔は各工程を行う装置の配置レイアウトに応じて適宜異なる。つまり、ロール紙の生産ラインは、例えば、不純物を取り除き、漂白して煮溶かした紙の繊維を含んだ液体を網の上に乗せて脱水する工程→脱水された湿紙を加圧されたロール間にフェルトとともに通過させて搾水する工程→紙を乾燥させる工程→乾燥させた紙の表面に対してコーティング等の表面加工処理を行う工程→厚みを整える工程→帯状に連続して搬送されてくる紙を巻き取る工程等、複数の工程を順次実行するもので、各工程を行うための処理装置が生産工場内の各所に配置される。その全長は、１００ｍ以上になることもあり、上記のカメラ装置１０は、所定の処理装置の下流側に配置される。そして、カメラ装置１０は、設置した位置において、検出したい欠陥の種類等に適した画像データを得るため、透過光或いは反射光を検出したり、光量その他のパラメータが調整されたりしている。
【００２０】
各カメラ装置１０（ラインＣＣＤカメラ１１）の出力は、リアルタイムで順次画像認識処理装置２０に与えられる。画像認識処理装置２０は、パーソナルコンピュータ或いは専用の装置等で構成され、検出ラック部２１と、欠陥処理部２２と、データ処理部２３と、を備えている。各カメラ装置１０から１ラインずつ送られる画像データは、検出ラック部２１に与えられる。この検出ラック部２１は、生産ラインを構成する紙１を搬送する搬送装置の駆動系に接続されたエンコーダからのパルス出力も与えられる。画像認識処理装置２０は、パルスの１周期で進む紙１の距離を初期データとして持っており、その距離とパルス数を乗算することで、カメラ装置１０で撮像した画像データ（ライン）の位置、つまり、任意の検査開始位置からの撮像した画像データまでの距離を求めることができる。
【００２１】
検出ラック部２１は、各カメラ装置１０から時々刻々と入力される１ライン毎の画像データを一時記憶メモリに格納するとともに、ｎライン分の画像データを読み出し、所定の寸法の２次平面画像データからなる認識対象画像を生成し、その認識対象画像に対して画像認識処理を行い、異物付着・孔空き等の欠陥の有無を判断する。そして、欠陥を検出した場合には、その欠陥を含む所定の大きさ（例えば２５６×２５６）の画像データを切り出すと共に、その切り出した画像データとその欠陥についての付属情報を関連付けて欠陥処理部２２に渡す。欠陥の有無を認識するための画像認識処理アルゴリズムは、特許文献１に記載のものや、その他の各種のアルゴリズムを用いることができる。検出ラック部２１は、検出した欠陥を特定するための付属情報として、その存在位置のパルス値（エンコーダから取得）と、視野内の位置（紙の一方の側縁からの位置（ｎビット）：紙の一方の側縁から各ラインＣＣＤカメラ１１の一方の端までの距離は既知であるので、係る距離に撮像したラインＣＣＤカメラ１１における端からの欠陥の位置を加算して求める）と、欠陥の幅及び長さ（前後方向）と、カメラを特定するカメラＮｏ（ビームＮｏ）と、欠陥の特徴としての明暗情報（“明るい／暗い”＋程度等）等を求める。この求めた付属情報は、図４に示すようなデータ構造のテーブルとして欠陥処理部２２へ渡される。なお、係る付属情報の算出（抽出）処理は、従来と同様の処理で実現できる。
【００２２】
また、ラインＣＣＤカメラ１１は、１ライン毎に画像データを取得するものであるので、上述したように２次元の認識対象画像を生成するためには、複数ライン分の画像データをまとめて読み出す必要がある。そこで、例えば、ラインＣＣＤカメラ１１分のリングバッファを用意し、各ラインＣＣＤカメラ１１から送られてくる画像データを対応するリングバッファに振り分けて格納し、各リングバッファから所定ライン分を読み出すことで対応できる。
【００２３】
欠陥処理部２２は、検出ラック部２１から送られてきた欠陥についての付属情報から、人間（オペレータ）が認識できるデータに加工し、求めた加工付属情報をデータ処理部２３に送る。加工付属情報のデータ構造は、例えば、欠陥位置を特定する前後方向の位置（巻長さデータ）及び紙の一方側縁からの距離データ（この、紙端からの距離を“ＦＲ距離”と称する）と、欠陥の寸法を特定する欠陥幅及び欠陥長さと、カメラＮｏと、明暗情報等がある。長さに関するデータは、検出ラック部２１で作成したものは、生データであるのでその単位がビット数やパルス数などであったが、この欠陥処理部２２では、ｍ，ｍｍ等の人間が容易に認識できる単位に変換している。具体的には、エンコーダから出力されるパルスの１周期で進む紙１の距離を初期データとして持っており、任意の検査開始位置からのパルス数から、現在の紙の長さ方向の位置を求めることができる。そこで、欠陥処理部２２は、パルス値に１パルス当たりの移動長さを乗算することで、欠陥が生じている位置の紙１の検査開始位置からの距離（巻長さ）を求めることができる。また、画素数・ビット数で特定していた欠陥位置や、欠陥の大きさは、１画素，１ビット当たりの長さ（ｍｍ）を知っているので、検出ラック部２１の生データから、単位換算をしてｍ或いはｍｍを単位とした数値に変換する。これにより、例えば図５に示すようなデータ構造からなる加工付属情報を生成し、記憶装置３１に格納する。なお、係る加工付属情報の算出（抽出）処理は、従来と同様の処理で実現できる。記憶装置３１に格納する加工（修正）付属情報は、検出された順にレコード番号（図では、左端に記載）が付与され、その順に格納される。
【００２４】
データ処理部２３は、欠陥処理部２２で作成され、記憶装置３１に格納された画像データ（欠陥を含む切り出しデータ）と、加工付属情報に基づき、所定の条件に合致する情報（画像／テキスト）を表示装置３０に出力する。表示装置３０の表示画面に表示する欠陥情報（画像データ＋テキストデータ）のレイアウトは、従来と同様に図１に示すものを用いることができる。これは、検出された順、つまり、レコード番号順に表示される。よって、テキスト情報からなる加工付属情報は、最新のものから所定数分だけ表示され、新たな欠陥が検出されると、表示内容が更新される。同様に、切り出された画像データは、最新の３個が表示される。なお、これらの表示レイアウト並びに表示方法は、従来と同様である。
【００２５】
ここで本実施形態では、図３に示すような欠陥時系列表示画面を用意し、異なるカメラ装置１０で検出された同一の欠陥についての欠陥情報（画像＋テキスト）を並べて表示できるようにしている。本実施形態では、６個のカメラ装置１０を備えているので、欠陥時系列表示画面でも、６つの小ウインドウＷを用意し、各カメラ装置１０で撮像した画像データ等をそれぞれに表示できるようにしている。また、各小ウインドウＷに表示するカメラ装置１０は、生産ラインの並びに順に合わせ、最も上流側のカメラ装置（ビーム名Ａ）を右端の小ウインドウＷに対応付け、以下、生産ラインの流れ（紙の搬送方向）に従って設置されるカメラ装置を順番にそれぞれ左側の小ウインドウＷに対応付け、最も下流側のカメラ装置を左端の小ウインドウＷに対応づける。
【００２６】
各小ウインドウＷは、下側に欠陥画像表示領域Ｗ１を、上側にテキスト情報表示領域Ｗ２を設け、さらに、それらの表示領域Ｗ１，Ｗ２の左外側には、ＮＥＸＴ選択ボタンＢ１，Ｂ２と、初期画面ボタンＢ３が配置されたレイアウト構成を採っている。欠陥画像表示領域Ｗ１は、切り出された欠陥を含む画像データが表示される領域である。テキスト情報表示領域Ｗ２は、欠陥画像表示領域Ｗ１に表示された画像データに関連付けられた加工付属情報を表示する領域である。ＮＥＸＴ選択ボタンＢ１，Ｂ２は、同一の欠陥と思われる画像データが複数存在する場合、これらのＮＥＸＴ選択ボタンＢ１，Ｂ２をクリックすることで、他の画像データを読み出して表示する。この欠陥画像表示領域Ｗ１に表示される画像データが切り替わると、それに伴い、テキスト情報表示領域Ｗ２に表示する情報も切り替える。また、初期画面ボタンＢ３をクリックすると、初期状態で同一の欠陥と推定された画像データが選択され、表示される。なお、同一の欠陥と思われる画像データが複数存在する場合、ＮＥＸＴ選択ボタンＢ１の下側，ＮＥＸＴ選択ボタンＢ２の上側に、その候補の数が表示される。つまり、他の画像データが無い場合には、“０”となり、存在する場合にはその数が数値として表示される。図３の場合、左側の２つの小ウインドウＷは、共に下にＮＥＸＴ選択ボタンＢ１の下側に“１”が、ＮＥＸＴ選択ボタンＢ２の上側に“２”が表示されているので、各ＮＥＸＴ選択ボタンＢ１，Ｂ２をクリックすることで、表示する画像を切り替えることができる。そして、その切り替えに伴い、数値がそれぞれ±１されて更新される。このように、欠陥画像表示領域Ｗ１に表示する画像データを切り替え、実際に別の小ウインドウに表示された画像と見比べることで、最終的にオペレータが同一の欠陥と思える画像データを適切に選択することができる。なお、上記のように画像の切り替えを行う都度、数値を更新するようにした場合、数値が“０”になった場合にはそれ以上その方向に候補がないことが容易に理解できる。もちろん、そのように数値の更新を行うことはせず、初期状態のままとしても良い。
【００２７】
なお、図３では６個の小ウインドウＷの全てに欠陥画像が表示されている例を示したが、実際には、一部の小ウインドウＷのみに表示されることもある（表示されない小ウインドウもある）。これは、例えば、３番目のカメラ装置の直前の工程で欠陥が生じた場合、１，２番目のカメラ装置では欠陥が検出されず、３番目のカメラ装置で撮像した画像から欠陥画像が表示されるので、係る場合、少なくとも、右側の２つの小ウインドウＷには、欠陥画像が表示されず、それに伴いテキスト情報も表示されない。また、このように仮に３番目のカメラ装置で欠陥が検出されたとしても、４番目以降のカメラ装置で撮像した画像データからは欠陥が検出されないこともある。これは、例えば、欠陥が孔部であり、その後の工程でコーティングされることで当該孔部が埋められて欠陥として現れなくなったり、紙１の表面に異物が付着している場合に裏面側を撮像するカメラ装置で撮像した画像データ中には係る異物がなく欠陥と認識されなかったりすることなどの理由からである。
【００２８】
次に、係る欠陥時系列表示画面を表示するためのデータ処理部２３の機能を説明する。このデータ処理部２３は、図６に示すフローチャートを実行する機能を備える。まず、オペレータから与えられた“リアル表示一時停止命令”を検出すると、図１に示すリアル表示を一時停止する（Ｓ１）。このリアル表示一時停止命令は、図示省略するが、外観検査装置（画像認識処理装置２０）の入力装置（キーボード）からのコマンド入力や、マウス等のポインティングデバイスを操作し、表示装置３０のリアル表示をしている画面の上方等に配置したメニューバー等を適宜クリックして、メニュー項目の１つとして用意された“リアル表示一時停止命令”を選択することにより行っても良く、各種の方法が採れる。
【００２９】
データ処理部２３は、任意の欠陥画像の指定を受け付ける（Ｓ２）。係る指定は、例えば、一時停止しているリアル表示画面（新たな欠陥検出に伴う更新を行わず、停止命令を受けたときの画面のまま保持）で表示された３つの欠陥画像の中の１つをクリックすることで、行うことができる。もちろん、表示されたテキスト情報の項目の中から任意のものを選択することで、それに関連付けられた画像データを指定するようにしてもよい。オペレータがリアルタイムで表示された欠陥画像を見た場合に、その原因を特定するためにリアルタイム表示を一時停止し、上述した時系列表示画面を表示する利用が考えられるので、リアル表示画面で表示された欠陥画像を選択するのが、操作性が良好となり好ましい。
【００３０】
次に、データ処理部２３は、表示装置３０に表示したメニュー表示画面或いはプルダウンメニューリストから、“時系列表示”が選択されるのを待ち（Ｓ３）、選択されたならば、図３に示すような欠陥時系列表示画面に表示を切り替える（Ｓ５）。
【００３１】
次にデータ処理部２３は、処理ステップＳ２で指定された欠陥画像に関連付けられた加工付属情報のうち、対象となっている欠陥の流れ方向の距離（巻長さ：検査開始位置からの距離）と幅方向位置（ＦＲ距離）を取得し、その取得した情報と、各カメラ装置（ビーム）で撮像した画像データから抽出された欠陥の流れ方向の距離と幅方向位置とを比較し、許容範囲内のものを抽出する（Ｓ６）。ここで、許容範囲は、幅方向（ＦＲ距離）については比較的狭くし、流れ方向の距離についてはそれに比べて長く設定している。これは、紙が幅方向に大きく伸びることはあまりなく幅方向の大きなずれの要因としては蛇行すること等があり得るが、それもあまり（発生頻度／ずれ距離）ないので、許容範囲を狭く設定することで、不必要な候補が抽出されてしまうことを抑制する。
【００３２】
これに対し、流れ方向では、例えば、水分を含ませたり、乾燥させたり、コーティング処理したりすることで、伸縮するため、パルス値に基づいて算出した検査開始位置からの距離が、同一地点（同一の欠陥）で異なることが多々ある。そこで、流れ方向の距離については許容範囲を広く設定する。
【００３３】
これにより、例えば図２に示す例では、欠陥２ａと欠陥２ｂとは、流れ方向の距離が許容範囲内に入り同一の欠陥の候補として選択される可能性はあるが、欠陥２ａと欠陥２ｃとは、幅方向の位置が違うので、流れ方向は近くても許容範囲内に入らず、別の欠陥と認識することができる。
【００３４】
次に、各ビームで許容範囲内の中で、一番近い候補を検索し、該当するものがあるか否かを判断する（Ｓ７）。許容範囲内に該当する欠陥がない場合、そのビーム（カメラ装置１０）に対応する欠陥時系列表示画面の小ウインドウＷには欠陥表示をしない（Ｓ８）。一方、処理ステップＳ２で指定された欠陥を撮像したカメラ装置とは別のカメラ装置で撮像した欠陥の幅方向と流れ方向距離が、指定された欠陥のそれらと許容範囲内にある欠陥が存在する場合、最も近いものを初期候補として選択するとともに、同一のカメラ装置で撮像された許容範囲内の欠陥が複数ある場合には、流れ方向の前後で、それぞれ候補を抽出する。このとき、初期候補を基準に近いものから順に抽出する（最大１０個）。これにより、装置が決定した同一の欠陥についての欠陥画像の候補である初期候補と、可能性のある他の候補が抽出される（Ｓ９）。
【００３５】
ついで、データ処理部２３は、そのようにして抽出した欠陥画像並びにそれに関連づけられた加工付属情報を取得し、対応するビーム用の小ウインドウＷに、初期候補の欠陥画像と加工付属情報を表示する。これにより、データ処理部２３は、欠陥時系列表示画面を出力することになる（Ｓ１０）。
【００３６】
また、複数候補がない場合（Ｓ１１でＮｏ）、そのビームについての小ウインドウＷは、表示の切り替え・変化がない（Ｓ１４）。たとえば図３の場合、ビームＡ〜ビームＤまでの小ウインドウＷは、これに該当する。一方、複数候補がある場合（Ｓ１１でＹｅｓ）、データ処理部２３は、前後候補キーの入力、つまり、ＮＥＸＴ選択ボタンＢ１またはＮＥＸＴ選択ボタンＢ２がクリックされるのを待ち（Ｓ１２）、クリックされたならば、該当する方向の次の候補（次に近い候補）を抽出し、各領域Ｗ１，Ｗ２に表示する（Ｓ１３）。なお、特に、処理ステップＳ７以降の処理については、各カメラ装置（ビーム）単位で実行することになる。
【００３７】
よって、本実施形態では、欠陥時系列表示にて別工程で検出したそれぞれの画像を一目で確認できる。よって、不良欠陥の発生箇所及び不良欠陥の変化を確認できるので、生産への影響を確認できる。紙の生産において不良欠陥による紙切れは大きな生産ロスにつながるが、本実施形態の欠陥時系列表示を活用することで生産の上流側へフィードバックするアクションを迅速に行うことができ、品質管理及び生産の効率化に役立つことができる。
【００３８】
上述した実施形態の各処理部（検査ラック部２１，欠陥処理部２２，データ処理部２３）は、ハードウェアとして実現することもできるし、ソフトウェア（アプリケーションプログラム）として実現することもできる。
【図面の簡単な説明】
【００３９】
【図１】欠陥情報の表示レイアウトの一例を示す図である。
【図２】本発明の公的な一実施形態を示す図である。
【図３】欠陥時系列表示画面の一例を示す図である。
【図４】検出ラック部で生成される付属情報のデータ構造の一例を示す図である。
【図５】欠陥処理部で生成される加工付属情報のデータ構造の一例を示す図である。
【図６】データ処理部２３の機能を示すフローチャートである。
【符号の説明】
【００４０】
１０ カメラ装置
１１ ラインＣＣＤカメラ
２０ 画像認識処理装置
２１ 検出ラック部
２２ 欠陥処理部
２３ データ処理部
３０ 表示装置
３１ 記憶装置
【特許請求の範囲】
【請求項１】
シート状の物品の外観検査装置であって、
前記物品の搬送方向に沿って、前後に配置された複数のカメラ装置で撮像された画像データを取得すると共に、各カメラ装置からの画像データ単位で画像認識処理を行い、欠陥の有無を判断する判断手段と、
その判断手段で欠陥を検出した場合に、その欠陥を含む画像を切り出すとともに、その切り出した画像と、検出した欠陥の位置を特定する位置情報と、を関連付けた欠陥情報を作成する欠陥情報作成手段と、
前記位置情報に基づき、異なるカメラ装置で撮像された同一の欠陥についての欠陥情報を抽出し、その抽出した欠陥について前記切り出した画像を同一の表示画面に同時に出力する処理手段と、
を備えたことを特徴とする外観検査装置。
【請求項２】
前記位置情報は、前記物品の搬送方向に沿った前後方向の位置と、その物品の幅方向の側縁からの位置であり、
前記同一の欠陥についての欠陥情報の抽出は、前記位置情報で特定される欠陥の位置が許容範囲内の場合に同一の欠陥と推定するものであり、
その許容範囲は、前記前後方向の位置についての許容範囲を、前記側縁からの位置についての許容範囲よりも大きくしたことを特徴とする請求項１に記載の外観検査装置。
【請求項３】
前記処理手段は、同一の欠陥についての欠陥情報と推定される候補が複数存在する場合、それら複数の候補のうちの１つを初期候補として表示装置に出力し、外部から与えられる切替指示にしたがって別の候補を表示する機能を備えたことを特徴とする請求項１または２に記載の外観検査装置。
【請求項４】
前記欠陥情報作成手段で作成される前記欠陥情報は、欠陥の寸法を含むその欠陥の特徴を示すテキスト情報を有し、
前記処理手段は、前記切り出した画像とともに、対応する前記テキスト情報も併せて表示するものであることを特徴とする請求項１から３のいずれか１項に記載の外観検査装置。
【請求項５】
シート状の物品の生産ラインにおける前記物品の搬送方向に沿って、前後に配置された複数のカメラ装置と、
その複数のカメラ装置からの出力に基づいて動作する請求項１から４のいずれか１項に記載の外観検査装置と、を備えた外観検査システム。
【請求項６】
コンピュータを、
前記物品の搬送方向に沿って、前後に配置された複数のカメラ装置で撮像された画像データを取得すると共に、各カメラ装置からの画像データ単位で画像認識処理を行い、欠陥の有無を判断する判断手段、
その判断手段で欠陥を検出した場合に、その欠陥を含む画像を切り出すとともに、その切り出した画像と、検出した欠陥の位置を特定する位置情報と、を関連付けた欠陥情報を作成する欠陥情報作成手段、
前記位置情報に基づき、異なるカメラ装置で撮像された同一の欠陥についての欠陥情報を抽出し、その抽出した欠陥について前記切り出した画像を同一の表示画面に同時に出力する処理手段、
として機能させるためのプログラム。
【請求項１】
シート状の物品の外観検査装置であって、
前記物品の搬送方向に沿って、前後に配置された複数のカメラ装置で撮像された画像データを取得すると共に、各カメラ装置からの画像データ単位で画像認識処理を行い、欠陥の有無を判断する判断手段と、
その判断手段で欠陥を検出した場合に、その欠陥を含む画像を切り出すとともに、その切り出した画像と、検出した欠陥の位置を特定する位置情報と、を関連付けた欠陥情報を作成する欠陥情報作成手段と、
前記位置情報に基づき、異なるカメラ装置で撮像された同一の欠陥についての欠陥情報を抽出し、その抽出した欠陥について前記切り出した画像を同一の表示画面に同時に出力する処理手段と、
を備えたことを特徴とする外観検査装置。
【請求項２】
前記位置情報は、前記物品の搬送方向に沿った前後方向の位置と、その物品の幅方向の側縁からの位置であり、
前記同一の欠陥についての欠陥情報の抽出は、前記位置情報で特定される欠陥の位置が許容範囲内の場合に同一の欠陥と推定するものであり、
その許容範囲は、前記前後方向の位置についての許容範囲を、前記側縁からの位置についての許容範囲よりも大きくしたことを特徴とする請求項１に記載の外観検査装置。
【請求項３】
前記処理手段は、同一の欠陥についての欠陥情報と推定される候補が複数存在する場合、それら複数の候補のうちの１つを初期候補として表示装置に出力し、外部から与えられる切替指示にしたがって別の候補を表示する機能を備えたことを特徴とする請求項１または２に記載の外観検査装置。
【請求項４】
前記欠陥情報作成手段で作成される前記欠陥情報は、欠陥の寸法を含むその欠陥の特徴を示すテキスト情報を有し、
前記処理手段は、前記切り出した画像とともに、対応する前記テキスト情報も併せて表示するものであることを特徴とする請求項１から３のいずれか１項に記載の外観検査装置。
【請求項５】
シート状の物品の生産ラインにおける前記物品の搬送方向に沿って、前後に配置された複数のカメラ装置と、
その複数のカメラ装置からの出力に基づいて動作する請求項１から４のいずれか１項に記載の外観検査装置と、を備えた外観検査システム。
【請求項６】
コンピュータを、
前記物品の搬送方向に沿って、前後に配置された複数のカメラ装置で撮像された画像データを取得すると共に、各カメラ装置からの画像データ単位で画像認識処理を行い、欠陥の有無を判断する判断手段、
その判断手段で欠陥を検出した場合に、その欠陥を含む画像を切り出すとともに、その切り出した画像と、検出した欠陥の位置を特定する位置情報と、を関連付けた欠陥情報を作成する欠陥情報作成手段、
前記位置情報に基づき、異なるカメラ装置で撮像された同一の欠陥についての欠陥情報を抽出し、その抽出した欠陥について前記切り出した画像を同一の表示画面に同時に出力する処理手段、
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１０−１２７８０９（Ｐ２０１０−１２７８０９Ａ）
【公開日】平成２２年６月１０日（２０１０．６．１０）
【国際特許分類】
【出願番号】特願２００８−３０３８０１（Ｐ２００８−３０３８０１）
【出願日】平成２０年１１月２８日（２００８．１１．２８）
【出願人】（０００１８３４８４）日本製紙株式会社 (981)
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成２２年６月１０日（２０１０．６．１０）
【国際特許分類】
【出願日】平成２０年１１月２８日（２００８．１１．２８）
【出願人】（０００１８３４８４）日本製紙株式会社 (981)
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]