画像処理装置
【課題】 どの検査項目についてどのような状況の欠陥があるのかを早く理解させることの支援となる画像処理装置を提供する。
【解決手段】 例えば搬送されている検査対象である容器をＣＣＤカメラ２で撮像し、Ａ／Ｄ変換して得られた画像データをフレームメモリ５に格納する。ＣＰＵ６は、パターンマッチングを行って欠陥の有無を判定する。そして、欠陥有りと判定したときは、その欠陥のある検査対象の画像データ１００とその欠陥に関連する付属情報２００とを関連付けて複合データ３００としてＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段に保存する。再生するときは、保存されている画像データ１００と付属情報２００とを読み出して同時的に表示し、表示された付属情報２００に基づいてどの検査項目についてどのような状況の欠陥があるのかを直ちに認識できる。
【解決手段】 例えば搬送されている検査対象である容器をＣＣＤカメラ２で撮像し、Ａ／Ｄ変換して得られた画像データをフレームメモリ５に格納する。ＣＰＵ６は、パターンマッチングを行って欠陥の有無を判定する。そして、欠陥有りと判定したときは、その欠陥のある検査対象の画像データ１００とその欠陥に関連する付属情報２００とを関連付けて複合データ３００としてＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段に保存する。再生するときは、保存されている画像データ１００と付属情報２００とを読み出して同時的に表示し、表示された付属情報２００に基づいてどの検査項目についてどのような状況の欠陥があるのかを直ちに認識できる。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、欠陥検査用の画像処理装置、特に生産ライン検査システムに装備されて生産される半製品または製品の欠陥（例えば液量の過少など）を検出するための画像処理装置にかかわり、詳しくは欠陥状況についての人為的判断を容易にするための技術に関する。
【０００２】
【従来の技術】従来より、検査対象をＣＣＤカメラ等によって撮像して画像データを取得し、その画像データを画像処理して判定基準と比較することにより欠陥の有無を判定し、欠陥と判定したときにその欠陥のある検査対象についての画像データを外部記憶装置に保存するように構成された画像処理装置が知られている。
【０００３】欠陥有りと判定したときは、一般的には警報または警告を発することが行われる。そのとき直ちに生産ラインを停止するか、それともある程度時間をおいて様子を見てから停止するか、あるいは定刻に停止するかはともかくとして、欠陥有りのときには、歩留まりの低下を抑制するため、その欠陥が何で、どこでどのような原因によって欠陥が発生したのかの欠陥状況を見きわめる必要がある。その場合に、欠陥有り判定時に保存しておいた画像データを再生して表示し、検査要員等がその欠陥のある検査対象の映像を見て、欠陥状況を判断する。そして、その判断の結果に基づいて、該当する原因を見いだし、補修や部品交換などのメンテナンスを行う。
【０００４】
【発明が解決しようとする課題】上記した従来の技術には次のような問題点がある。欠陥有り判定時に保存するのは欠陥のある検査対象の画像データのみである。その画像データを再生表示して検査要員等が視覚的に検査するが、検査対象の映像だけをもとにして、その映像のどこに欠陥があるのかを見いだすことは非常にむずかしいものである。
【０００５】画像処理に基づく欠陥判定は、演算結果と所定の判定基準との大小比較によって行われる。すなわち、演算結果が判定基準の範囲から大きくずれていてもわずかにずれていても、その区別なしに欠陥有りと判定するようになっている。画像処理は、あらかじめ定められたアルゴリズムに従ってソフトウェア的にそして最終的には単純な数量比較によって自動的に行うものであるので、装置にとっては、きわめてシビアな状況であっても欠陥有り無しの判定を高精度に行うことができる。
【０００６】しかし、このような処理が画像処理装置にとっては簡単な処理ではあっても、それに見合った人為的判断はきわめてむずかしいのである。なぜなら、視覚を通じての人間による判断は、自動的なものであるはずはなく、そこにはさまざまの曖昧さが介在せざるを得ないからである。たとえていえば次のようなことである。判定基準である下限のしきい値が「１０００」であるとする。演算結果が「１１００」でも「１００１」でも機械的な数量比較では直ちに欠陥無しと判定でき、また、演算結果が「９００」でも「９９９」でも直ちに欠陥有りと判定できる。しかし、検査要員が視覚で判断して、「１００１」を欠陥無しと判定することと「９９９」を欠陥有りと判定することとの間にある差異を明確に認識することは、たとえ経験豊富な検査要員であっても、ほとんど不可能なことである。
【０００７】検査対象の検査項目が数量そのものである場合には、このような問題が強くでてくる。検査項目が形状や方向であれば、演算結果は数量的な処理で行われるものの、人間にとっては、形状の相違や方向の違いなどは比較的に見つけやすい性質をもっている。例えば、三角形と四角形とでは直観的に違うと直ちに認識できる。また、左向きと右向きとでは、あるいは右向きと下向きとではすぐさま違いが分かる。文字や模様などの相違についても同様である。例えば、文字の「あ」と「い」とでは、また、模様の「花」と「山」とではたちどころに違うと断定できる。ところが、例えば、容器に収容されている内容物の量（かさ）が判定基準に対して外れているのか否かの判断は、上記のとおりにかなりむずかしいものである。その判定基準にマージンをもたせてあっても、そうである。また、位置ずれについても、その人為的判断はむずかしい。例えば、１０ｍｍのずれはすぐに発見できても、１ｍｍのずれとなると、なかなかむずかしいのである。画像処理装置の方では、解像度にもよるが、たとえ０．１ｍｍでも判定することができ、その結果として欠陥有りと判定した検査項目であっても、人間にとってはその判断はほぼ不可能である。同様に、角度の８度のずれはすぐに気がついても、１度や０．５度ではむずかしい。
【０００８】経験豊富な検査要員であれば、微妙な差異を識別できるかも知れないが、それにもおのずと限度がある。まして、未熟練者であれば、たとえ演算結果が判定基準からかなりはずれていても欠陥無しと誤判定をしたり、演算結果が判定基準に合っているとしても欠陥有りと誤判定したりするおそれがある。とにかく、人為的判断であるので、個人差が生じることも避けがたいのである。判断結果だけでなく、消費する時間にも個人差が生じる。
【０００９】そこで、判断に窮する場合がしばしば生じるのである。そのような場合の対策として、検査用に生産ラインとは別に疑似ラインを設けるとともに、その疑似ラインに画像処理装置を設置した確認専用のシステムを構築することが考えられる。すなわち、欠陥有りと判定された検査対象を疑似ラインで搬送して、再現テストを行うのである。アルゴリズムも当然に確認専用のものを用いることとする。検査項目ごとに判定結果を出力するようにすることにより、どの検査項目で欠陥が発生していたのかがわかる。
【００１０】しかし、このような対策は設備投資および設置スペースの負担が大きすぎるので、現実的な解決策とはなりにくい。
【００１１】したがって、もう一つの対策は、同じ生産ラインで再試行することである。そうすると、一部ではあっても、その再試行の部分で生産はストップせざるを得なくなってしまう。場合によっては、ライン全体を停止する必要がでてくる。いずれにしても、歩留まりの低下は避けられない。また、生産中のアルゴリズムとは異なるアルゴリズムで試験することになるという負担もある。
【００１２】本発明は上記した課題の解決を図るべく創作したものであって、どの検査項目についてどのような状況の欠陥があるのかを早く理解させることの支援となる画像処理装置を提供することを目的としている。
【００１３】
【課題を解決するための手段】上記した課題の解決を図ろうとする本発明にかかわる請求項１の画像処理装置は、次のように構成してある。すなわち、撮像した検査対象の画像データについての画像処理に基づいて欠陥の有無を判定し、欠陥と判定したときに当該の欠陥の画像データとそれに関連する付属情報とを保存するように構成してあることを特徴としている。この構成によると、次のような作用がある。検査要員等が必要に応じて欠陥のある検査対象の画像データを再生すると、その再生と同時的にその画像データに関連する付属情報も再生され、欠陥のある検査対象の映像と付属情報とが同時に表示されることになる。すなわち、その付属情報を検査要員等に目視で確認させることにより、当該の欠陥のある検査対象のどの検査項目についてどのような状況の欠陥があるのかを直ちに理解させることが容易となる。
【００１４】本発明にかかわる請求項２の画像処理装置は、上記請求項１において、次のような構成とされている。すなわち、検査対象の撮像手段と、撮像で得られる画像データの一時記憶手段と、前記画像データを画像処理し判定基準に従って欠陥の有無を判定する手段と、欠陥と判定したときに当該の欠陥の画像データとそれに関連する付属情報とを関連付ける手段と、その関連付けられた複合データを保存する手段と、保存された複合データを読み出して表示用の映像信号に変換する手段とを備えた構成となっている。この構成によると、撮像手段で撮像して得られた検査対象の画像データを一時記憶し、その一時記憶した画像データの画像処理と判定基準との比較とによって欠陥有りと判定したときには、欠陥の画像データに対して付属情報を関連付けて複合データとして保存することになるので、上記と同様に、検査要員等が必要に応じて欠陥のある検査対象の画像データを再生したときに、欠陥のある検査対象の映像と付属情報とが同時に表示されるため、当該の欠陥のある検査対象のどの検査項目について欠陥があるのかを直ちに理解させることが容易となる。
【００１５】本発明にかかわる請求項３の画像処理装置は、上記請求項１，２において、前記検査対象が搬送されるものであり、その搬送経路の所要の検査ポイントに前記検査対象が到達したことを検出する到達検出手段を備えており、この到達検出手段による検出信号をトリガとして前記検査対象の撮像および欠陥判定を行うように構成されたものである。この構成によると、検査対象が搬送されるものであっても、その検査対象をタイミング良く撮像して、上記の作用を得ることが可能となる。
【００１６】本発明にかかわる請求項４の画像処理装置は、上記請求項１〜３において、前記検査対象における検査項目が画像データ上の二次元的な画素数であることを特徴としている。この構成によると、検査対象の再生映像だけでは確認が非常にむずかしいとされている検査項目の一つである面積の判定についても、それに関連する付属情報の参照により、容易に判定することを可能にする。
【００１７】本発明にかかわる請求項５の画像処理装置は、上記請求項１〜４において、前記付属情報が、検査項目と、その検査項目についての演算結果の数値と、判定基準と、判定結果と、検査時刻と、欠陥発生箇所のうち少なくともいずれか一つを含んでいることを特徴とする。必要に応じていずれか一つ以上の検査項目を設定すればよく、いずれの検査項目についても、上記の作用を得ることが可能となる。
【００１８】
【発明の実施の形態】以下、本発明にかかわる画像処理装置の実施の形態を図面に基づいて詳細に説明する。
【００１９】図１は実施の形態の画像処理装置の電気的構成を示すブロック図である。図１において、符号の１は当該の画像処理装置、２は撮影レンズや絞りなどを含む光学系および固体撮像手段の代表例であるＣＣＤ（電荷結合デバイス）などからなるＣＣＤカメラであり、このＣＣＤカメラ２は、撮影レンズによってＣＣＤ上に光学像を結像し、結像された光学像をＣＣＤで光電変換して電気信号として出力するものである。３はＣＣＤカメラ２からのアナログの映像信号（ＣＣＤ出力信号）をディジタル化して画像データに変換するＡ／Ｄ変換器、４はＣＣＤカメラ２、Ａ／Ｄ変換器３およびフレームメモリ５に対してタイミング信号を出力して画像データの取得のタイミング制御を行うとともに、フレームメモリ５およびＤ／Ａ変換器１１に対してタイミング信号を出力して取得の映像信号の表示のタイミング制御を行うカメラ・表示コントローラ、５は画像データ一時記憶手段の一例としてのフレームメモリ、６はシステム全体の制御を司る制御手段の一例としてのＣＰＵ（中央演算処理装置）、７はＣＰＵ６による演算・制御等のためのプログラムを格納しているＲＯＭ（リードオンリーメモリ）、８はＣＰＵ６の演算・制御等を補助するとともにデータを格納するＲＡＭ（ランダムアクセスメモリ）、９は外部との間でデータや制御信号の入出力を行う入出力インターフェイス、１０はＣＰＵ６、ＲＯＭ７、ＲＡＭ８、カメラ・表示コントローラ４、フレームメモリ６および入出力インターフェイス９を接続するバス、１１はフレームメモリ５からカメラ・表示コントローラ４を介しての画像データをアナログの映像信号に変換するＤ／Ａ変換器、１２は画像処理装置１に図示しないインターフェイスおよびケーブルを介して接続されているＣＲＴ（陰極線管）や液晶ディスプレイ（ＬＣＤ）などのモニタである。フレームメモリ５は、少なくとも１フレーム分以上の画像データを蓄積できる画像メモリであって、ＶＲＡＭ、ＳＲＡＭ、ＤＲＡＭなどが一般的に使用されるが、ここではバス１０とは独立動作可能なＶＲＡＭを使用しているものとする。なお、カメラ・表示コントローラ４とフレームメモリ５とはパラレルなバスラインを介して接続されている。また、入出力インターフェイス９には、ＲＡＭ８に必要な初期値、判定基準等のためのパラメータ、しきい値、その他の条件、必要なデータなどを設定入力したり、必要な指示を与えたりするためのワイヤードリモコンなどの入力操作部１３や画像処理装置１の内部の状況や判断結果などをオペレータや検査要員等に知らせるための警報器１４やインジケータをそれぞれ個別のケーブルを介して接続することが可能となっている。なお、ワイヤードリモコンに代えてワイヤレスリモコンを用いることも可能とし、この場合は、リモコン受信機の出力端子を入出力インターフェイス９に接続するものとする。警報器１４としては、ＬＥＤ（発光ダイオード）、蛍光表示管その他任意の発光素子、灯器、あるいはブザーなどの鳴動器が適用可能とする。さらに、入出力インターフェイス９には、必要な外部記憶装置１５を接続することができるものとする。その外部記憶装置１５としては、ハードディスクドライブなどの磁気記録デバイス、ＭＯ（Magneto Optics）ディスクドライブやＤＶＤ（Digital Versatile Disk）‐ＲＡＭドライブなどの光磁気記録デバイス、フラッシュメモリ、ＥＥＰＲＯＭその他の不揮発性メモリなどの半導体記憶デバイスなどがあり、さらにはＶＴＲ（ビデオテープレコーダ）などでもよいものとする。
【００２０】図２は上記構成の画像処理装置１を適用する生産ライン検査システム２０の概要を示す。図２において、符号の２１は計測対象物３０を搬送するコンベヤなどの搬送手段、２２は搬送手段２１の近傍で搬送されていく計測対象物３０の到達を検出するための到達検出手段の一例としての光電センサであり、検査ポイントＤＰに配置されている。光電センサ２２はケーブル２３を介して画像処理装置１の入出力インターフェイス９に接続されている。なお、説明の便宜上、図２においては、ＣＣＤカメラ２を画像処理装置１の外側に出して描いているが、実際には、ＣＣＤカメラ２は画像処理装置１と一体となっている。もっとも、ＣＣＤカメラ２を画像処理装置１とは別体構成とし、両者をケーブルで接続した態様としてもよい。Ｘは搬送手段２１による搬送方向を示す。
【００２１】図２においては、計測対象物３０として、内容物４０を収容した容器が示されている。計測対象物である容器３０は、容器本体３１にキャップ３２を封着したものである。内容物４０としては液体、粘体、粉体、粒体など何であってもよいが、ここでは液体であるとしておく。容器３０としてはガラスビン、ペットボトルなどのプラスチック容器、紙パック容器、アルミ缶など何であってもよいが、ここでは、透明な容器であるとしておく。液体である内容物４０は、透明、半透明、不透明のいずれでもよい。ただし、内容物４０が透明であるときは、ＣＣＤカメラ２による撮像で得られる画像データについて、内容物４０と容器３０とを識別できる状況での透明であるとする。例えば、容器３０が無色透明のときには内容物４０は有色（着色）の透明であるとする。あるいは、容器３０が有色透明であっても、内容物４０が色違いの有色透明であるとする。さらには、容器３０と内容物４０がともに無色透明であっても、あるいは、ともに同じ色の有色透明であっても、容器３０と内容物４０の光学的性質の相違、例えば屈折率の相違から、容器３０と内容物４０とを光学的に識別できるのであれば、それでもかまわない。さらには、後に説明するが、計測対象物３０としては、何も容器に限る必要はなく、画像処理による検査が可能なものであれば、どのようなものを検査対象としてもよいことを付記しておく。ここでの内容物４０を収納した容器３０は一例にすぎない。
【００２２】次に、上記のように構成された実施の形態の場合の生産ライン検査システム２０に適用された画像処理装置１の動作を説明する。
【００２３】駆動されている搬送手段２１によって複数の計測対象物３０が所定の間隔を隔てて連続的に搬送されていく。検査ポイントＤＰに達した計測対象物３０があると、その検査ポイントＤＰに設置されている到達検出手段２２が動作する。到達検出手段２２が光電センサの場合は、次のような動作となる。光電センサ２２は、レーザーダイオードなどの発光素子とフォトダイオードなどの受光素子からなり、発光素子から出射したレーザービームなどが計測対象物３０に当たって反射し、その反射光を受光素子で捕捉し、電気信号に変換し増幅することにより到達検出を行う。
【００２４】計測対象物３０が検査ポイントＤＰに到達したことを到達検出手段２２が検出すると、到達検出手段２２はその検出信号をトリガ信号として画像処理装置１に送出する。画像処理装置１においては、その入出力インターフェイス９を介して入力されてきたトリガ信号がバス１０を介してＣＰＵ６に与えられる。ＣＰＵ６はトリガ信号を入力すると、カメラ・表示コントローラ４に起動信号を出力する。カメラ・表示コントローラ４は起動信号を入力すると、ＣＣＤカメラ２、Ａ／Ｄ変換器３、フレームメモリ５およびＤ／Ａ変換器１１に対してタイミング信号を出力する。
【００２５】ＣＣＤカメラ２におけるＣＣＤはタイミング信号を入力すると、その電子シャッタを開き作動させ、被写体である計測対象物３０を撮像する。すなわち、計測対象物３０の光学像が撮像レンズを介してＣＣＤの表面に結像し、ＣＣＤはその光学像を信号電荷として蓄積しているが、タイミング信号を入力すると、感光部のフォトダイオードから垂直転送ＣＣＤへの転送および垂直転送ＣＣＤから水平転送ＣＣＤへの転送を行い、出力アンプを介して映像信号として出力する。Ａ／Ｄ変換器３はタイミング信号の入力によって起動し、ＣＣＤカメラ２から入力したアナログの映像信号（ＣＣＤ出力信号）をディジタルの画像データに変換する。このＡ／Ｄ変換器３のビット数を例えば８ビットとすると、画像データは２５６階調となる。フレームメモリ５はタイミング信号を入力し、Ａ／Ｄ変換器３と同期をとった状態でＡ／Ｄ変換器３からの１フレーム分の画像データを格納する。なお、８ビットについては、一例にすぎなくて、仕様に応じて適宜に変更してよいことはいうまでもない。
【００２６】カメラ・表示コントローラ４は、フレームメモリ５への画像データの書き込みと並行して、その書き込んだ画像データをフレームメモリ５から読み出し、Ｄ／Ａ変換器１１に転送する。Ｄ／Ａ変換器１１は、転送されてきた画像データをアナログの映像信号に変換し、モニタ１２に出力する。なお、モニタ１２に至る映像信号は、図示しない所要のビデオエンコーダなどによりＮＴＳＣ方式などモニタ１２に適合した所要のフォーマットに変換されているものとする。このようにして、計測対象物３０の到達を検出した時点から、その計測対象物３０を被写体像とする映像をモニタ１２にリアルタイムに映出する。
【００２７】カメラ・表示コントローラ４は１フレーム分の画像データのフレームメモリ５に対する書き込みが完了すると、その書き込み完了信号をＣＰＵ６に出力する。その書き込み完了信号を入力したＣＰＵ６は、ＲＯＭ７から読み出したプログラムおよびＲＡＭ８から読み出した画像処理演算用条件に従って、フレームメモリ５をアクセスし、フレームメモリ５に格納されている１フレーム分の画像データを読み出す。そして、１画素単位または複数画素の集合であるブロック単位で所要の画像処理のための演算を実行し、判定のための演算結果をＲＡＭ８にストアする。次に、その演算結果とＲＡＭ８から読み出した判定基準との比較を行い、演算結果が正常であるか否かを判定する。
【００２８】ＲＡＭ８には、あらかじめ入力操作部１３から入出力インターフェイス９およびバス１０を介して画像処理演算用条件や判定基準が設定登録されている。画像処理演算用条件としては、内容物４０である液体を識別するための濃度値についてのしきい値や液量面積の良否を判定するためのしきい値（上限値と下限値）などの判定基準がある。
【００２９】容器３０の内容物４０の液量の良否判定の場合は、具体的に次のようになる。フレームメモリ５には、図３で模式的に示すように、内容物４０を収納した容器３０の１フレーム分の画像データが格納されている。ＣＰＵ６はフレームメモリ５を１画素単位またはブロック単位でスキャンし、８ビットの濃度値をＲＡＭ８から読み出した所定のしきい値と比較し、濃度値の方がしきい値を上回っているときは、ＲＡＭ８内に設定してある液量面積バッファの内容をインクリメントする。例えば、ある画素について８ビットの濃度値が「２４５」であって、しきい値が「２３０」であれば、濃度値がしきい値を上回るので、液量面積バッファを＋１インクリメントする。一方、濃度値が「１９８」でしきい値を下回っているときは液量面積バッファのインクリメントは行わない。濃度値がしきい値を上回るということは、その画素が内容物４０の範囲内に対応していることを意味し、濃度値がしきい値以下であるということは、その画素が内容物４０の範囲外に対応していることを意味している。フレームメモリ５のあらかじめ指定された画像処理対象エリアをスキャンおよび濃度値判定によって、液量面積バッファには、内容物４０の液量面積に対応した値が格納されていることになる。すなわち、液量面積バッファは液量面積データを取得したことになる。
【００３０】液量面積バッファに格納された液量面積データは、図３の場合は「６１４４０画素」となり、図４の場合は「４９１５２画素」となる。図３の場合に比べて図４の場合は液量（網点を施した部分の面積）が少なくなっている。液量面積バッファにおける液量面積データが最終的に確定すると、ＣＰＵ６は次に、その液量面積バッファの内容である液量面積データをＲＡＭ８から読み出した判定基準と比較する。液量面積データが判定基準を満たしていれば、その内容物４０が収容された容器３０は正常（ＯＫ）であると判定され、そうでなければ異常（ＮＧ：No Good）と判定される。ＣＰＵ６はその判定結果をＲＡＭ８に格納する。
【００３１】具体的には、図３、図４の場合の判定基準は、液量面積データのしきい値として、下限値が「５５２９６画素」、上限値が「６７５８４画素」に設定されて、あらかじめＲＡＭ８に格納されている。図３の場合の液量面積バッファの内容は前述のように「６１４４０画素」であり、上記の下限値と上限値との間に収まっているので、正常（ＯＫ）と判定される。９９はＯＫ画像データを示す。図４の場合の液量面積バッファの内容は前述のように「４９１５２画素」であり、下限値を下回っているので、異常（ＮＧ）と判定される。１００はＮＧ画像データを示す。
【００３２】なお、上記の例示した数値関係について、参考となる事項をあげておく。
【００３３】
（６７５８４−５５２９６）／２＝６１４４６１４４０／１０＝６１４４すなわち、正規の液量面積は「６１４４０画素」であり、上限値はその１０％増しに設定し、下限値はその１０％減に設定してある例を示したわけである。つまり、許容誤差として±１０％を設定してある。もっとも、このような数値は単なる例示にすぎず、仕様に応じて適宜に変更してよいことはいうまでもない。
【００３４】ＣＰＵ６の動作の続きを説明する前に、ここでついでに、液量面積を人為的に判断することのむずかしさについて例示しておく。上記の図３と図４との比較の場合は次のようにいうことができる。ＣＣＤカメラ２におけるＣＣＤの有効画素数を例えば「５１２×４８０」とし、モニタ１２も同じとする。容器３０が水平方向で占める幅を「２５６画素」相当とする。すなわち、モニタ１２の画面の横幅の２分の１を占めているとする。図３の場合の内容物４０の液量面積データは「６１４４０画素」であるから、その高さは「２４０画素」相当となる。図４の内容物４０の液量面積データは「４９１５２画素」であるから、その高さは「１９２画素」相当となる。両者の高さの差は「４８画素」相当となり、これは画面の全高さの１０分の１である。この程度であれば、経験を積んだ検査要員であれば、視認によって正常（ＯＫ）と異常（ＮＧ）の判別はつくかもしれない。しかしながら、下限値よりわずかに大きくて正常（ＯＫ）とされる例えば「５５５５２画素」の場合の高さは「２１７画素」相当であり、下限値よりわずかに小さくで異常（ＮＧ）とされる例えば「５５０４０画素」の場合の高さは「２１５画素」相当であり、両者の高さの差はわずかに「２画素」相当であるにすぎない。この差は小さすぎて、経験を積んだ検査要員であっても視覚的に識別することはまず不可能である。この高さの差がどの程度であれば識別可能かは検査要員ごとに異なっているのが普通であり、ばらつきは避けられない。しかも、正常（ＯＫ）か異常（ＮＧ）かは高さの差で決まるのではなく、その液面の絶対的な高さ位置のいかんによって決まるのであるから、正常・異常の視覚的判別は困難なものとなるのである。さらに厳密にいうと、液面の高さよりはむしろ液量面積そのもの絶対的な量のいかんによって決まるのであるから、さらに困難なものなのである。
【００３５】さて、ＣＰＵ６は液量面積についての判定結果を出して、それが異常（ＮＧ）であったときは、その異常と判定した画像すなわちＮＧ画像データを保存するとともに、そのＮＧ画像データについての付属情報を生成し、この付属情報も併せて保存する。なお、これと同時に、ＣＰＵ６は警告信号を出力する。その警告信号はバス１０および入出力インターフェイス９を介して外部に接続の警報器１４に送出され、その警報器１４を動作させることにより、オペレータに対してリアルタイムに異常（ＮＧ）が発生したことを知らせる。
【００３６】付属情報２００としては、検査項目２０１と、その検査項目２０１についての演算結果の数値２０２と、判定基準２０３（下限値または／および上限値）と、判定結果２０４と、検査時刻２０５と、欠陥発生箇所２０６などをあげることができる。異常（ＮＧ）と判定された図４の場合であると、その付属情報２００は、検査項目２０１として「液量面積」があり、その検査項目についての演算結果の数値２０２として「４９１５２画素」があり、判定基準２０３として「液量面積判定基準：５５２９６〜６７５８４画素」があり、判定結果２０４として「判定：ＮＧ」があり、検査時刻２０５として「９９／０３／１８ １５：２４：３０」があり、これらが付属情報２００となっている。このうち検査時刻以外の３つについては、すでにＲＡＭ８にストアされているが、それはＲＡＭ８のワーキングエリアにおいてであり、ワーキングエリアから読み出してＲＡＭ８の保存エリアに転送することとなる。また、検査時刻については、ＣＰＵ６が内蔵している図示しないリアルタイムクロック（ＲＴＣ）から時刻データを転送してＲＡＭ８の保存エリアに格納する。
【００３７】上記のような付属情報２００と、欠陥のある検査対象の画像データ１００とが関連付けられてＲＡＭ８の保存エリアに格納されるのである。
【００３８】なお、ここでは、ＲＡＭ８は充分に大きな記憶容量をもっているものとし、かつ、電源をオフしても記憶内容が消えないように、ＲＡＭ８に対してバックアップを行っているものとする。そのバックアップは、例えばリチウム電池でもよいし、大容量のキャパシタでもよい。なお、ＲＡＭ８に代えて、図１でバス１０に接続した二点鎖線で示すＥＥＰＲＯＭ１６に複合データ９０を保存するようにしてもよい。むしろ、その方が良い。以下では、「ＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段」と記述することとする。
【００３９】付属情報２００はＮＧ画像データ１００とともに複合データ３００としてＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段の保存エリアに格納するのであるが、これは次のようにして処理する。ＣＰＵ６は、異常（ＮＧ）と判定したときに、カメラ・表示コントローラ４を介することなくバス１０を介して直接にフレームメモリ５をアクセスし、フレームメモリ５から該当のＮＧの画像データ１００を読み出してバス１０を介してＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段の保存エリアにビットマップデータとして転送するが、その転送の際に、ビットマップデータ上の所定の位置に各付属情報２００を合成（上書きまたは重ね書き）したうえで転送する。付属情報２００はＲＡＭ８のワーキングエリアにある状態およびリアルタイムクロックの状態ではコードとなっているが、このコードに基づいてＣＰＵ６は図示しないキャラクタジェネレータ（ＣＧ‐ＲＯＭ）を動作させ、そのコードに対応したビットパターン（フォント）を生成させ、それを読み込んだうえで該当のＮＧの画像データ１００のビットマップデータ上の所定の位置に画像合成し、複合データ３００とするのである。
【００４０】当該の画像処理装置１を生産ライン検査システム２０の複数箇所に設置する場合には、その場所ごとに各画像処理装置１に識別符号（ＩＤ）を付加しておくことが好ましい。例えば、第１号機、第２号機といった具合にである。あるいは、各種の処理工程別に、Ａ工程、Ｂ工程といった識別符号を付加してもよい。さらには、Ａ１，Ａ２，Ｂ１，Ｂ２といった付け方もある。このような装置識別符号は、当該の画像処理装置１を生産ライン検査システム２０に設置した初期に、入力操作部１３を操作して設定入力し、入出力インターフェイス９を介してＲＡＭ８に格納しておけばよい。そして、異常（ＮＧ）と判定したときに、ＲＡＭ８からその識別符号を読み出して、欠陥発生箇所２０６を表す付属情報として、上記の各項目と併せて生成すればよい。
【００４１】以上のＣＰＵ６による動作の概要を図５のフローチャートに示しておく。なお、警告信号の出力はステップＳ８の直後であってもよい。
【００４２】上記の異常（ＮＧ）と判定した図４の場合、付属情報２００として、検査項目２０１である「液量面積」、演算結果の数値２０２としての「４９１５２画素」、判定基準２０３としての「液量面積判定基準：５５２９６〜６７５８４画素」、判定結果２０４としての「判定：ＮＧ」、検査時刻２０５としての「検査時刻：９９／０３／１８ １５：２４：３０」、またこれに加えて欠陥発生箇所２０６としての「発生箇所：Ａ２」などがあるが、オペレータまたは別の検査要員やメンテナンス要員があとで点検を行うときに、入力操作部１３からの所要の操作を行って、異常（ＮＧ）とされたものの画像データ１００とそれに関連する付属情報２００をモニタ１２に表示させる。入力操作部１３からのそのような指示が入出力インターフェイス９およびバス１０を介してＣＰＵ６に与えられると、ＣＰＵ６はＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段の保存エリアにおける該当アドレスから異常（ＮＧ）とされた画像データ１００および付属情報２００が合成されたビットマップデータである複合データ３００を読み出し、カメラ・表示コントローラ４およびＤ／Ａ変換器１１を介してそのビットマップデータをモニタ１２に表示する。モニタ１２には、図４に示すとおりの、異常（ＮＧ）の容器３０および内容物４０の映像とともに、「液量面積：４９１５２画素」、「液量面積判定基準：５５２９６〜６７５８４画素」、「判定：ＮＧ」、「検査時刻：９９／０３／１８ １５：２４：３０」、またこれに加えて例えば「発生箇所：Ａ２」などの付属情報が表示されることになる。検査要員等は、その付属情報の表示を見ることにより、直ちに、どのような画像でどのような異常があったかを知ることができる。すなわち、異常項目として「液量」が異常であったことを知ることを直ちに知ることができ、それとともに、その液量異常が不足であることも、また不足の程度をも直ちに知ることができるのである。そして、その異常が何時発生したのかも、生産ライン上のどの箇所で発生したのかも直ちに知ることができるのである。このような認識は、ほとんど個人差がなく、だれがしてもほぼ同じ結果を得ることができる。したがって、保守・点検・修理などの対策を素早くかつ的確に行う上できわめて有利な状況が得られるのである。
【００４３】なお、異常（ＮＧ）とされた画像データ１００とそれに関連する付属情報２００との複合データ３００をＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段に保存するに際して、必ずしも合成したビットマップデータとして保存することは必須の要件ではない。ＮＧ画像データ１００と付属情報２００とをＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段の保存エリアの別の領域に分けて保存し、両者を関係付けるデータ、すなわち当該のＮＧ画像データ１００を格納するアドレスと当該の付属情報２００を格納するアドレスとを関係付けたデータをさらに保存すればよいのである。この場合、付属情報はビットマップデータでなくてもよく、テキストデータであってもよい。テキストデータとするときは、ＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段から読み出して画像データとともに表示するに際して、そのテキストデータに基づいてキャラクタジェネレータを動作させ、その付属情報に相当する映像信号を生成した上で、異常（ＮＧ）とされた内容物４０および容器３０の画像データにオンスクリーンディスプレイの手法でスーパーインポーズ（重畳）させればよい。
【００４４】なお、ＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段として大容量のものを採用し、多数のＮＧ画像データおよびそれに関連する付属情報をまとめて、すなわちデータベース化して保存しておくようにすれば、異常の発生原因や発生箇所などについての解析を統計的に行う上で有利となる。検査要員や解析要員は、欠陥の発生がいつから始まっていつまで続いたか、欠陥が量的にどのように変化していったかを解析する。
【００４５】以上、一つの実施の形態について説明してきたが、本発明は次のように構成したものも含み得るものとする。
【００４６】（１）重要と考えられる変形の実施の形態として、異常（ＮＧ）とされた画像データとそれに関連する付属情報との複合データを保存するデバイスとして、画像処理装置１に内蔵し、バス１０に接続した図１で二点鎖線で示すＥＥＰＲＯＭ１６とするのが好ましい。ＥＥＰＲＯＭ１６は不揮発性メモリであり、長期間の記憶が可能である。また、電気的にデータ消去することも可能であり、非常に好都合である。
【００４７】（２）上記の（１）の変形として、ＥＥＰＲＯＭを入出力インターフェイス９を介して外部に接続するのでもよい。
【００４８】（３）複合データ３００を保存する箇所として、ＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段以外のものとして、外部記憶装置１５を利用するように構成してもよい。その外部記憶装置１５としては、例えば、ハードディスクドライブなどの磁気記録デバイス、ＭＯ（Magneto Optics）ディスクドライブやＤＶＤ‐ＲＡＭドライブなどの光磁気記録デバイス、フラッシュメモリ、ＥＥＰＲＯＭその他の不揮発性メモリなどの半導体記憶デバイスなどがあり、さらにはＶＴＲ（ビデオテープレコーダ）などでもよいものとする。
【００４９】（４）フレームメモリ５に代えてフィールドメモリでもよいし、その他のメモリでもよい。
【００５０】（５）フレームメモリ５をシステムメモリとしてのＲＡＭ８と共用することも可能である。
【００５１】（６）計測対象物３０が所定の検査ポイントＤＰに到達したことを検出する到達検出手段については、上記の実施の形態の光電センサ２２に代えて、超音波センサ、圧電センサ、リミットスイッチなど何であってもよい。あるいは、ＣＣＤカメラ２で撮像して得られた画像データの画像処理に基づいて、すなわち画像データに対して到達検出用のサーチウインドウを設定して、ソフトウェア的に到達検出を判定するように構成してもよい。
【００５２】（７）計測対象物３０としては何も容器に限る必要はなく、また、検査対象としては何も内容物４０の量に限る必要はなく、画像処理による検査が可能なものであれば、どのようなものを検査対象としてもよい。半製品または製品に貼り付けられ、あるいは印刷されているラベルの面積の判定でもよいし、半製品または製品そのもののサイズの判定など何であってもよい。
【００５３】（８）カメラ・表示コントローラ４は、フレームメモリ５への画像データの書き込みと並行して、その書き込んだ画像データをフレームメモリ５から読み出し、Ｄ／Ａ変換器１１に転送し、モニタ１２に映像をリアルタイムで表示したが、このようなリアルタイムの表示はしなくてもよい。つまり、モニタ１２を液量異常のときだけリアルタイムに表示動作させるようにしてもよいし、あるいはそれもなくして、液量異常の原因究明のときにだけ用いるようにすることも可能である。
【００５４】（９）液量異常などの欠陥有りのときの画像データ等の保存に際しては、画像データを圧縮してから保存するように構成してもよい。この場合、表示に際しては画像伸張して表示するものとする。
【００５５】（１０）モデムカードやＩＳＤＮカードを利用して公衆回線あるいは専用回線を介して画像データ等を遠隔の端末に送出するように構成してもよい。
【００５６】（１１）上記の実施の形態においては、付属情報２００として、検査項目２０１、検査項目２０１についての演算結果の数値２０２、判定基準２０３（下限値または／および上限値）、判定結果２０４、検査時刻２０５、欠陥発生箇所２０６などをあげたが、必要に応じてこれらのうちのいずれかを選択できるようにしてもよいし、いずれか複数を組み合わせるようにしてもよい。
【００５７】（１２）上記の実施の形態では、欠陥のある検査対象の画像データ１００について付属情報２００を関連付けて複合データ３００となし、これを保存するようにしたが、これとともに、正常とされる例えば図３の場合のようなＯＫ画像データ９９についても同様に、付属情報２００を関連付けて複合データ３００となして保存するように構成してもよい。
【００５８】（１３）その他本発明の要旨と直接に関係しない任意の事項については、公知の任意のものが適用可能であり、また、公知以外のものであっても、本発明の要旨を逸脱しない範囲において適用可能であることはいうまでもない。
【００５９】上記の（１）〜（１３）は互いに独立した事項であり、これらのうち任意の事項を任意数適当に組み合わせてもよきものとする。
【００６０】
【発明の効果】画像処理装置についての請求項１の発明によれば、欠陥のある検査対象の画像データとともにその欠陥に関連する付属情報を同時的に再生表示することが可能となり、検査要員等により表示の付属情報を目視で確認させることにより、どの検査項目についてどのような状況の欠陥があるのかを直ちに理解させることが容易となる。また、請求項２の発明によっても、上記請求項１と同様の効果が得られる。
【００６１】請求項３の発明によれば、生産ライン等で搬送される検査対象について、検査対象をタイミング良く撮像し、効率良く検査することができ、また、上記請求項１と同様の効果が得られる。
【００６２】請求項４の発明によれば、検査項目を二次元的な画素数つまりは面積としてあって、そのような検査項目についての映像のみからの欠陥原因の判断はきわめてむずかしいのに対して、同時表示の付属情報によって、検査要員等をして、どの検査項目についてどのような状況の欠陥があるのかを直ちに理解させることが容易となる。
【００６３】請求項５の発明によれば、設定する検査項目それぞれについて、上記請求項１と同様の効果が得られ、汎用性を確保することができる。
【図面の簡単な説明】
【図１】 本発明の実施の形態の画像処理装置の電気的構成を示すブロック図
【図２】 実施の形態の画像処理装置を適用する生産ライン検査システムの概要の説明図
【図３】 実施の形態の生産ライン検査システムでの画像処理装置の動作を説明するもので、検査対象としての容器の内容物の量の良否判定において欠陥無し判定されたときの画像データとその付属情報の組み合わせのフォーマット
【図４】 実施の形態の生産ライン検査システムでの画像処理装置の動作を説明するもので、検査対象としての容器の内容物の量の良否判定において欠陥有り判定されたときの画像データとその付属情報の組み合わせのフォーマット
【図５】 実施の形態の画像処理装置の動作を示す概略のフローチャート
【符号の説明】
１…画像処理装置、２…ＣＣＤカメラ、３…Ａ／Ｄ変換器、４…カメラ・表示コントローラ、５…フレームメモリ、６…ＣＰＵ、７…ＲＯＭ、８…ＲＡＭ、９…入出力インターフェイス、１０…バス、１１…Ｄ／Ａ変換器、１２…モニタ、１３…入力操作部、１４…警報器、１５…外部記憶装置、１６…ＥＥＰＲＯＭ、２０…生産ライン検査システム、２１…搬送手段、２２…到達検出手段（光電センサ）、２３…ケーブル、３０…計測対象物（容器）、３１…容器本体、３２…キャップ、４０…内容物、１００…欠陥のある検査対象の画像データ（ＮＧ画像データ）、２００…付属情報、２０１…検査項目、２０２…演算結果の数値、２０３…判定基準、２０４…判定結果、２０５…検査時刻、２０６…欠陥発生箇所、３００…複合データ、Ｘ…搬送方向
【０００１】
【発明の属する技術分野】本発明は、欠陥検査用の画像処理装置、特に生産ライン検査システムに装備されて生産される半製品または製品の欠陥（例えば液量の過少など）を検出するための画像処理装置にかかわり、詳しくは欠陥状況についての人為的判断を容易にするための技術に関する。
【０００２】
【従来の技術】従来より、検査対象をＣＣＤカメラ等によって撮像して画像データを取得し、その画像データを画像処理して判定基準と比較することにより欠陥の有無を判定し、欠陥と判定したときにその欠陥のある検査対象についての画像データを外部記憶装置に保存するように構成された画像処理装置が知られている。
【０００３】欠陥有りと判定したときは、一般的には警報または警告を発することが行われる。そのとき直ちに生産ラインを停止するか、それともある程度時間をおいて様子を見てから停止するか、あるいは定刻に停止するかはともかくとして、欠陥有りのときには、歩留まりの低下を抑制するため、その欠陥が何で、どこでどのような原因によって欠陥が発生したのかの欠陥状況を見きわめる必要がある。その場合に、欠陥有り判定時に保存しておいた画像データを再生して表示し、検査要員等がその欠陥のある検査対象の映像を見て、欠陥状況を判断する。そして、その判断の結果に基づいて、該当する原因を見いだし、補修や部品交換などのメンテナンスを行う。
【０００４】
【発明が解決しようとする課題】上記した従来の技術には次のような問題点がある。欠陥有り判定時に保存するのは欠陥のある検査対象の画像データのみである。その画像データを再生表示して検査要員等が視覚的に検査するが、検査対象の映像だけをもとにして、その映像のどこに欠陥があるのかを見いだすことは非常にむずかしいものである。
【０００５】画像処理に基づく欠陥判定は、演算結果と所定の判定基準との大小比較によって行われる。すなわち、演算結果が判定基準の範囲から大きくずれていてもわずかにずれていても、その区別なしに欠陥有りと判定するようになっている。画像処理は、あらかじめ定められたアルゴリズムに従ってソフトウェア的にそして最終的には単純な数量比較によって自動的に行うものであるので、装置にとっては、きわめてシビアな状況であっても欠陥有り無しの判定を高精度に行うことができる。
【０００６】しかし、このような処理が画像処理装置にとっては簡単な処理ではあっても、それに見合った人為的判断はきわめてむずかしいのである。なぜなら、視覚を通じての人間による判断は、自動的なものであるはずはなく、そこにはさまざまの曖昧さが介在せざるを得ないからである。たとえていえば次のようなことである。判定基準である下限のしきい値が「１０００」であるとする。演算結果が「１１００」でも「１００１」でも機械的な数量比較では直ちに欠陥無しと判定でき、また、演算結果が「９００」でも「９９９」でも直ちに欠陥有りと判定できる。しかし、検査要員が視覚で判断して、「１００１」を欠陥無しと判定することと「９９９」を欠陥有りと判定することとの間にある差異を明確に認識することは、たとえ経験豊富な検査要員であっても、ほとんど不可能なことである。
【０００７】検査対象の検査項目が数量そのものである場合には、このような問題が強くでてくる。検査項目が形状や方向であれば、演算結果は数量的な処理で行われるものの、人間にとっては、形状の相違や方向の違いなどは比較的に見つけやすい性質をもっている。例えば、三角形と四角形とでは直観的に違うと直ちに認識できる。また、左向きと右向きとでは、あるいは右向きと下向きとではすぐさま違いが分かる。文字や模様などの相違についても同様である。例えば、文字の「あ」と「い」とでは、また、模様の「花」と「山」とではたちどころに違うと断定できる。ところが、例えば、容器に収容されている内容物の量（かさ）が判定基準に対して外れているのか否かの判断は、上記のとおりにかなりむずかしいものである。その判定基準にマージンをもたせてあっても、そうである。また、位置ずれについても、その人為的判断はむずかしい。例えば、１０ｍｍのずれはすぐに発見できても、１ｍｍのずれとなると、なかなかむずかしいのである。画像処理装置の方では、解像度にもよるが、たとえ０．１ｍｍでも判定することができ、その結果として欠陥有りと判定した検査項目であっても、人間にとってはその判断はほぼ不可能である。同様に、角度の８度のずれはすぐに気がついても、１度や０．５度ではむずかしい。
【０００８】経験豊富な検査要員であれば、微妙な差異を識別できるかも知れないが、それにもおのずと限度がある。まして、未熟練者であれば、たとえ演算結果が判定基準からかなりはずれていても欠陥無しと誤判定をしたり、演算結果が判定基準に合っているとしても欠陥有りと誤判定したりするおそれがある。とにかく、人為的判断であるので、個人差が生じることも避けがたいのである。判断結果だけでなく、消費する時間にも個人差が生じる。
【０００９】そこで、判断に窮する場合がしばしば生じるのである。そのような場合の対策として、検査用に生産ラインとは別に疑似ラインを設けるとともに、その疑似ラインに画像処理装置を設置した確認専用のシステムを構築することが考えられる。すなわち、欠陥有りと判定された検査対象を疑似ラインで搬送して、再現テストを行うのである。アルゴリズムも当然に確認専用のものを用いることとする。検査項目ごとに判定結果を出力するようにすることにより、どの検査項目で欠陥が発生していたのかがわかる。
【００１０】しかし、このような対策は設備投資および設置スペースの負担が大きすぎるので、現実的な解決策とはなりにくい。
【００１１】したがって、もう一つの対策は、同じ生産ラインで再試行することである。そうすると、一部ではあっても、その再試行の部分で生産はストップせざるを得なくなってしまう。場合によっては、ライン全体を停止する必要がでてくる。いずれにしても、歩留まりの低下は避けられない。また、生産中のアルゴリズムとは異なるアルゴリズムで試験することになるという負担もある。
【００１２】本発明は上記した課題の解決を図るべく創作したものであって、どの検査項目についてどのような状況の欠陥があるのかを早く理解させることの支援となる画像処理装置を提供することを目的としている。
【００１３】
【課題を解決するための手段】上記した課題の解決を図ろうとする本発明にかかわる請求項１の画像処理装置は、次のように構成してある。すなわち、撮像した検査対象の画像データについての画像処理に基づいて欠陥の有無を判定し、欠陥と判定したときに当該の欠陥の画像データとそれに関連する付属情報とを保存するように構成してあることを特徴としている。この構成によると、次のような作用がある。検査要員等が必要に応じて欠陥のある検査対象の画像データを再生すると、その再生と同時的にその画像データに関連する付属情報も再生され、欠陥のある検査対象の映像と付属情報とが同時に表示されることになる。すなわち、その付属情報を検査要員等に目視で確認させることにより、当該の欠陥のある検査対象のどの検査項目についてどのような状況の欠陥があるのかを直ちに理解させることが容易となる。
【００１４】本発明にかかわる請求項２の画像処理装置は、上記請求項１において、次のような構成とされている。すなわち、検査対象の撮像手段と、撮像で得られる画像データの一時記憶手段と、前記画像データを画像処理し判定基準に従って欠陥の有無を判定する手段と、欠陥と判定したときに当該の欠陥の画像データとそれに関連する付属情報とを関連付ける手段と、その関連付けられた複合データを保存する手段と、保存された複合データを読み出して表示用の映像信号に変換する手段とを備えた構成となっている。この構成によると、撮像手段で撮像して得られた検査対象の画像データを一時記憶し、その一時記憶した画像データの画像処理と判定基準との比較とによって欠陥有りと判定したときには、欠陥の画像データに対して付属情報を関連付けて複合データとして保存することになるので、上記と同様に、検査要員等が必要に応じて欠陥のある検査対象の画像データを再生したときに、欠陥のある検査対象の映像と付属情報とが同時に表示されるため、当該の欠陥のある検査対象のどの検査項目について欠陥があるのかを直ちに理解させることが容易となる。
【００１５】本発明にかかわる請求項３の画像処理装置は、上記請求項１，２において、前記検査対象が搬送されるものであり、その搬送経路の所要の検査ポイントに前記検査対象が到達したことを検出する到達検出手段を備えており、この到達検出手段による検出信号をトリガとして前記検査対象の撮像および欠陥判定を行うように構成されたものである。この構成によると、検査対象が搬送されるものであっても、その検査対象をタイミング良く撮像して、上記の作用を得ることが可能となる。
【００１６】本発明にかかわる請求項４の画像処理装置は、上記請求項１〜３において、前記検査対象における検査項目が画像データ上の二次元的な画素数であることを特徴としている。この構成によると、検査対象の再生映像だけでは確認が非常にむずかしいとされている検査項目の一つである面積の判定についても、それに関連する付属情報の参照により、容易に判定することを可能にする。
【００１７】本発明にかかわる請求項５の画像処理装置は、上記請求項１〜４において、前記付属情報が、検査項目と、その検査項目についての演算結果の数値と、判定基準と、判定結果と、検査時刻と、欠陥発生箇所のうち少なくともいずれか一つを含んでいることを特徴とする。必要に応じていずれか一つ以上の検査項目を設定すればよく、いずれの検査項目についても、上記の作用を得ることが可能となる。
【００１８】
【発明の実施の形態】以下、本発明にかかわる画像処理装置の実施の形態を図面に基づいて詳細に説明する。
【００１９】図１は実施の形態の画像処理装置の電気的構成を示すブロック図である。図１において、符号の１は当該の画像処理装置、２は撮影レンズや絞りなどを含む光学系および固体撮像手段の代表例であるＣＣＤ（電荷結合デバイス）などからなるＣＣＤカメラであり、このＣＣＤカメラ２は、撮影レンズによってＣＣＤ上に光学像を結像し、結像された光学像をＣＣＤで光電変換して電気信号として出力するものである。３はＣＣＤカメラ２からのアナログの映像信号（ＣＣＤ出力信号）をディジタル化して画像データに変換するＡ／Ｄ変換器、４はＣＣＤカメラ２、Ａ／Ｄ変換器３およびフレームメモリ５に対してタイミング信号を出力して画像データの取得のタイミング制御を行うとともに、フレームメモリ５およびＤ／Ａ変換器１１に対してタイミング信号を出力して取得の映像信号の表示のタイミング制御を行うカメラ・表示コントローラ、５は画像データ一時記憶手段の一例としてのフレームメモリ、６はシステム全体の制御を司る制御手段の一例としてのＣＰＵ（中央演算処理装置）、７はＣＰＵ６による演算・制御等のためのプログラムを格納しているＲＯＭ（リードオンリーメモリ）、８はＣＰＵ６の演算・制御等を補助するとともにデータを格納するＲＡＭ（ランダムアクセスメモリ）、９は外部との間でデータや制御信号の入出力を行う入出力インターフェイス、１０はＣＰＵ６、ＲＯＭ７、ＲＡＭ８、カメラ・表示コントローラ４、フレームメモリ６および入出力インターフェイス９を接続するバス、１１はフレームメモリ５からカメラ・表示コントローラ４を介しての画像データをアナログの映像信号に変換するＤ／Ａ変換器、１２は画像処理装置１に図示しないインターフェイスおよびケーブルを介して接続されているＣＲＴ（陰極線管）や液晶ディスプレイ（ＬＣＤ）などのモニタである。フレームメモリ５は、少なくとも１フレーム分以上の画像データを蓄積できる画像メモリであって、ＶＲＡＭ、ＳＲＡＭ、ＤＲＡＭなどが一般的に使用されるが、ここではバス１０とは独立動作可能なＶＲＡＭを使用しているものとする。なお、カメラ・表示コントローラ４とフレームメモリ５とはパラレルなバスラインを介して接続されている。また、入出力インターフェイス９には、ＲＡＭ８に必要な初期値、判定基準等のためのパラメータ、しきい値、その他の条件、必要なデータなどを設定入力したり、必要な指示を与えたりするためのワイヤードリモコンなどの入力操作部１３や画像処理装置１の内部の状況や判断結果などをオペレータや検査要員等に知らせるための警報器１４やインジケータをそれぞれ個別のケーブルを介して接続することが可能となっている。なお、ワイヤードリモコンに代えてワイヤレスリモコンを用いることも可能とし、この場合は、リモコン受信機の出力端子を入出力インターフェイス９に接続するものとする。警報器１４としては、ＬＥＤ（発光ダイオード）、蛍光表示管その他任意の発光素子、灯器、あるいはブザーなどの鳴動器が適用可能とする。さらに、入出力インターフェイス９には、必要な外部記憶装置１５を接続することができるものとする。その外部記憶装置１５としては、ハードディスクドライブなどの磁気記録デバイス、ＭＯ（Magneto Optics）ディスクドライブやＤＶＤ（Digital Versatile Disk）‐ＲＡＭドライブなどの光磁気記録デバイス、フラッシュメモリ、ＥＥＰＲＯＭその他の不揮発性メモリなどの半導体記憶デバイスなどがあり、さらにはＶＴＲ（ビデオテープレコーダ）などでもよいものとする。
【００２０】図２は上記構成の画像処理装置１を適用する生産ライン検査システム２０の概要を示す。図２において、符号の２１は計測対象物３０を搬送するコンベヤなどの搬送手段、２２は搬送手段２１の近傍で搬送されていく計測対象物３０の到達を検出するための到達検出手段の一例としての光電センサであり、検査ポイントＤＰに配置されている。光電センサ２２はケーブル２３を介して画像処理装置１の入出力インターフェイス９に接続されている。なお、説明の便宜上、図２においては、ＣＣＤカメラ２を画像処理装置１の外側に出して描いているが、実際には、ＣＣＤカメラ２は画像処理装置１と一体となっている。もっとも、ＣＣＤカメラ２を画像処理装置１とは別体構成とし、両者をケーブルで接続した態様としてもよい。Ｘは搬送手段２１による搬送方向を示す。
【００２１】図２においては、計測対象物３０として、内容物４０を収容した容器が示されている。計測対象物である容器３０は、容器本体３１にキャップ３２を封着したものである。内容物４０としては液体、粘体、粉体、粒体など何であってもよいが、ここでは液体であるとしておく。容器３０としてはガラスビン、ペットボトルなどのプラスチック容器、紙パック容器、アルミ缶など何であってもよいが、ここでは、透明な容器であるとしておく。液体である内容物４０は、透明、半透明、不透明のいずれでもよい。ただし、内容物４０が透明であるときは、ＣＣＤカメラ２による撮像で得られる画像データについて、内容物４０と容器３０とを識別できる状況での透明であるとする。例えば、容器３０が無色透明のときには内容物４０は有色（着色）の透明であるとする。あるいは、容器３０が有色透明であっても、内容物４０が色違いの有色透明であるとする。さらには、容器３０と内容物４０がともに無色透明であっても、あるいは、ともに同じ色の有色透明であっても、容器３０と内容物４０の光学的性質の相違、例えば屈折率の相違から、容器３０と内容物４０とを光学的に識別できるのであれば、それでもかまわない。さらには、後に説明するが、計測対象物３０としては、何も容器に限る必要はなく、画像処理による検査が可能なものであれば、どのようなものを検査対象としてもよいことを付記しておく。ここでの内容物４０を収納した容器３０は一例にすぎない。
【００２２】次に、上記のように構成された実施の形態の場合の生産ライン検査システム２０に適用された画像処理装置１の動作を説明する。
【００２３】駆動されている搬送手段２１によって複数の計測対象物３０が所定の間隔を隔てて連続的に搬送されていく。検査ポイントＤＰに達した計測対象物３０があると、その検査ポイントＤＰに設置されている到達検出手段２２が動作する。到達検出手段２２が光電センサの場合は、次のような動作となる。光電センサ２２は、レーザーダイオードなどの発光素子とフォトダイオードなどの受光素子からなり、発光素子から出射したレーザービームなどが計測対象物３０に当たって反射し、その反射光を受光素子で捕捉し、電気信号に変換し増幅することにより到達検出を行う。
【００２４】計測対象物３０が検査ポイントＤＰに到達したことを到達検出手段２２が検出すると、到達検出手段２２はその検出信号をトリガ信号として画像処理装置１に送出する。画像処理装置１においては、その入出力インターフェイス９を介して入力されてきたトリガ信号がバス１０を介してＣＰＵ６に与えられる。ＣＰＵ６はトリガ信号を入力すると、カメラ・表示コントローラ４に起動信号を出力する。カメラ・表示コントローラ４は起動信号を入力すると、ＣＣＤカメラ２、Ａ／Ｄ変換器３、フレームメモリ５およびＤ／Ａ変換器１１に対してタイミング信号を出力する。
【００２５】ＣＣＤカメラ２におけるＣＣＤはタイミング信号を入力すると、その電子シャッタを開き作動させ、被写体である計測対象物３０を撮像する。すなわち、計測対象物３０の光学像が撮像レンズを介してＣＣＤの表面に結像し、ＣＣＤはその光学像を信号電荷として蓄積しているが、タイミング信号を入力すると、感光部のフォトダイオードから垂直転送ＣＣＤへの転送および垂直転送ＣＣＤから水平転送ＣＣＤへの転送を行い、出力アンプを介して映像信号として出力する。Ａ／Ｄ変換器３はタイミング信号の入力によって起動し、ＣＣＤカメラ２から入力したアナログの映像信号（ＣＣＤ出力信号）をディジタルの画像データに変換する。このＡ／Ｄ変換器３のビット数を例えば８ビットとすると、画像データは２５６階調となる。フレームメモリ５はタイミング信号を入力し、Ａ／Ｄ変換器３と同期をとった状態でＡ／Ｄ変換器３からの１フレーム分の画像データを格納する。なお、８ビットについては、一例にすぎなくて、仕様に応じて適宜に変更してよいことはいうまでもない。
【００２６】カメラ・表示コントローラ４は、フレームメモリ５への画像データの書き込みと並行して、その書き込んだ画像データをフレームメモリ５から読み出し、Ｄ／Ａ変換器１１に転送する。Ｄ／Ａ変換器１１は、転送されてきた画像データをアナログの映像信号に変換し、モニタ１２に出力する。なお、モニタ１２に至る映像信号は、図示しない所要のビデオエンコーダなどによりＮＴＳＣ方式などモニタ１２に適合した所要のフォーマットに変換されているものとする。このようにして、計測対象物３０の到達を検出した時点から、その計測対象物３０を被写体像とする映像をモニタ１２にリアルタイムに映出する。
【００２７】カメラ・表示コントローラ４は１フレーム分の画像データのフレームメモリ５に対する書き込みが完了すると、その書き込み完了信号をＣＰＵ６に出力する。その書き込み完了信号を入力したＣＰＵ６は、ＲＯＭ７から読み出したプログラムおよびＲＡＭ８から読み出した画像処理演算用条件に従って、フレームメモリ５をアクセスし、フレームメモリ５に格納されている１フレーム分の画像データを読み出す。そして、１画素単位または複数画素の集合であるブロック単位で所要の画像処理のための演算を実行し、判定のための演算結果をＲＡＭ８にストアする。次に、その演算結果とＲＡＭ８から読み出した判定基準との比較を行い、演算結果が正常であるか否かを判定する。
【００２８】ＲＡＭ８には、あらかじめ入力操作部１３から入出力インターフェイス９およびバス１０を介して画像処理演算用条件や判定基準が設定登録されている。画像処理演算用条件としては、内容物４０である液体を識別するための濃度値についてのしきい値や液量面積の良否を判定するためのしきい値（上限値と下限値）などの判定基準がある。
【００２９】容器３０の内容物４０の液量の良否判定の場合は、具体的に次のようになる。フレームメモリ５には、図３で模式的に示すように、内容物４０を収納した容器３０の１フレーム分の画像データが格納されている。ＣＰＵ６はフレームメモリ５を１画素単位またはブロック単位でスキャンし、８ビットの濃度値をＲＡＭ８から読み出した所定のしきい値と比較し、濃度値の方がしきい値を上回っているときは、ＲＡＭ８内に設定してある液量面積バッファの内容をインクリメントする。例えば、ある画素について８ビットの濃度値が「２４５」であって、しきい値が「２３０」であれば、濃度値がしきい値を上回るので、液量面積バッファを＋１インクリメントする。一方、濃度値が「１９８」でしきい値を下回っているときは液量面積バッファのインクリメントは行わない。濃度値がしきい値を上回るということは、その画素が内容物４０の範囲内に対応していることを意味し、濃度値がしきい値以下であるということは、その画素が内容物４０の範囲外に対応していることを意味している。フレームメモリ５のあらかじめ指定された画像処理対象エリアをスキャンおよび濃度値判定によって、液量面積バッファには、内容物４０の液量面積に対応した値が格納されていることになる。すなわち、液量面積バッファは液量面積データを取得したことになる。
【００３０】液量面積バッファに格納された液量面積データは、図３の場合は「６１４４０画素」となり、図４の場合は「４９１５２画素」となる。図３の場合に比べて図４の場合は液量（網点を施した部分の面積）が少なくなっている。液量面積バッファにおける液量面積データが最終的に確定すると、ＣＰＵ６は次に、その液量面積バッファの内容である液量面積データをＲＡＭ８から読み出した判定基準と比較する。液量面積データが判定基準を満たしていれば、その内容物４０が収容された容器３０は正常（ＯＫ）であると判定され、そうでなければ異常（ＮＧ：No Good）と判定される。ＣＰＵ６はその判定結果をＲＡＭ８に格納する。
【００３１】具体的には、図３、図４の場合の判定基準は、液量面積データのしきい値として、下限値が「５５２９６画素」、上限値が「６７５８４画素」に設定されて、あらかじめＲＡＭ８に格納されている。図３の場合の液量面積バッファの内容は前述のように「６１４４０画素」であり、上記の下限値と上限値との間に収まっているので、正常（ＯＫ）と判定される。９９はＯＫ画像データを示す。図４の場合の液量面積バッファの内容は前述のように「４９１５２画素」であり、下限値を下回っているので、異常（ＮＧ）と判定される。１００はＮＧ画像データを示す。
【００３２】なお、上記の例示した数値関係について、参考となる事項をあげておく。
【００３３】
（６７５８４−５５２９６）／２＝６１４４６１４４０／１０＝６１４４すなわち、正規の液量面積は「６１４４０画素」であり、上限値はその１０％増しに設定し、下限値はその１０％減に設定してある例を示したわけである。つまり、許容誤差として±１０％を設定してある。もっとも、このような数値は単なる例示にすぎず、仕様に応じて適宜に変更してよいことはいうまでもない。
【００３４】ＣＰＵ６の動作の続きを説明する前に、ここでついでに、液量面積を人為的に判断することのむずかしさについて例示しておく。上記の図３と図４との比較の場合は次のようにいうことができる。ＣＣＤカメラ２におけるＣＣＤの有効画素数を例えば「５１２×４８０」とし、モニタ１２も同じとする。容器３０が水平方向で占める幅を「２５６画素」相当とする。すなわち、モニタ１２の画面の横幅の２分の１を占めているとする。図３の場合の内容物４０の液量面積データは「６１４４０画素」であるから、その高さは「２４０画素」相当となる。図４の内容物４０の液量面積データは「４９１５２画素」であるから、その高さは「１９２画素」相当となる。両者の高さの差は「４８画素」相当となり、これは画面の全高さの１０分の１である。この程度であれば、経験を積んだ検査要員であれば、視認によって正常（ＯＫ）と異常（ＮＧ）の判別はつくかもしれない。しかしながら、下限値よりわずかに大きくて正常（ＯＫ）とされる例えば「５５５５２画素」の場合の高さは「２１７画素」相当であり、下限値よりわずかに小さくで異常（ＮＧ）とされる例えば「５５０４０画素」の場合の高さは「２１５画素」相当であり、両者の高さの差はわずかに「２画素」相当であるにすぎない。この差は小さすぎて、経験を積んだ検査要員であっても視覚的に識別することはまず不可能である。この高さの差がどの程度であれば識別可能かは検査要員ごとに異なっているのが普通であり、ばらつきは避けられない。しかも、正常（ＯＫ）か異常（ＮＧ）かは高さの差で決まるのではなく、その液面の絶対的な高さ位置のいかんによって決まるのであるから、正常・異常の視覚的判別は困難なものとなるのである。さらに厳密にいうと、液面の高さよりはむしろ液量面積そのもの絶対的な量のいかんによって決まるのであるから、さらに困難なものなのである。
【００３５】さて、ＣＰＵ６は液量面積についての判定結果を出して、それが異常（ＮＧ）であったときは、その異常と判定した画像すなわちＮＧ画像データを保存するとともに、そのＮＧ画像データについての付属情報を生成し、この付属情報も併せて保存する。なお、これと同時に、ＣＰＵ６は警告信号を出力する。その警告信号はバス１０および入出力インターフェイス９を介して外部に接続の警報器１４に送出され、その警報器１４を動作させることにより、オペレータに対してリアルタイムに異常（ＮＧ）が発生したことを知らせる。
【００３６】付属情報２００としては、検査項目２０１と、その検査項目２０１についての演算結果の数値２０２と、判定基準２０３（下限値または／および上限値）と、判定結果２０４と、検査時刻２０５と、欠陥発生箇所２０６などをあげることができる。異常（ＮＧ）と判定された図４の場合であると、その付属情報２００は、検査項目２０１として「液量面積」があり、その検査項目についての演算結果の数値２０２として「４９１５２画素」があり、判定基準２０３として「液量面積判定基準：５５２９６〜６７５８４画素」があり、判定結果２０４として「判定：ＮＧ」があり、検査時刻２０５として「９９／０３／１８ １５：２４：３０」があり、これらが付属情報２００となっている。このうち検査時刻以外の３つについては、すでにＲＡＭ８にストアされているが、それはＲＡＭ８のワーキングエリアにおいてであり、ワーキングエリアから読み出してＲＡＭ８の保存エリアに転送することとなる。また、検査時刻については、ＣＰＵ６が内蔵している図示しないリアルタイムクロック（ＲＴＣ）から時刻データを転送してＲＡＭ８の保存エリアに格納する。
【００３７】上記のような付属情報２００と、欠陥のある検査対象の画像データ１００とが関連付けられてＲＡＭ８の保存エリアに格納されるのである。
【００３８】なお、ここでは、ＲＡＭ８は充分に大きな記憶容量をもっているものとし、かつ、電源をオフしても記憶内容が消えないように、ＲＡＭ８に対してバックアップを行っているものとする。そのバックアップは、例えばリチウム電池でもよいし、大容量のキャパシタでもよい。なお、ＲＡＭ８に代えて、図１でバス１０に接続した二点鎖線で示すＥＥＰＲＯＭ１６に複合データ９０を保存するようにしてもよい。むしろ、その方が良い。以下では、「ＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段」と記述することとする。
【００３９】付属情報２００はＮＧ画像データ１００とともに複合データ３００としてＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段の保存エリアに格納するのであるが、これは次のようにして処理する。ＣＰＵ６は、異常（ＮＧ）と判定したときに、カメラ・表示コントローラ４を介することなくバス１０を介して直接にフレームメモリ５をアクセスし、フレームメモリ５から該当のＮＧの画像データ１００を読み出してバス１０を介してＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段の保存エリアにビットマップデータとして転送するが、その転送の際に、ビットマップデータ上の所定の位置に各付属情報２００を合成（上書きまたは重ね書き）したうえで転送する。付属情報２００はＲＡＭ８のワーキングエリアにある状態およびリアルタイムクロックの状態ではコードとなっているが、このコードに基づいてＣＰＵ６は図示しないキャラクタジェネレータ（ＣＧ‐ＲＯＭ）を動作させ、そのコードに対応したビットパターン（フォント）を生成させ、それを読み込んだうえで該当のＮＧの画像データ１００のビットマップデータ上の所定の位置に画像合成し、複合データ３００とするのである。
【００４０】当該の画像処理装置１を生産ライン検査システム２０の複数箇所に設置する場合には、その場所ごとに各画像処理装置１に識別符号（ＩＤ）を付加しておくことが好ましい。例えば、第１号機、第２号機といった具合にである。あるいは、各種の処理工程別に、Ａ工程、Ｂ工程といった識別符号を付加してもよい。さらには、Ａ１，Ａ２，Ｂ１，Ｂ２といった付け方もある。このような装置識別符号は、当該の画像処理装置１を生産ライン検査システム２０に設置した初期に、入力操作部１３を操作して設定入力し、入出力インターフェイス９を介してＲＡＭ８に格納しておけばよい。そして、異常（ＮＧ）と判定したときに、ＲＡＭ８からその識別符号を読み出して、欠陥発生箇所２０６を表す付属情報として、上記の各項目と併せて生成すればよい。
【００４１】以上のＣＰＵ６による動作の概要を図５のフローチャートに示しておく。なお、警告信号の出力はステップＳ８の直後であってもよい。
【００４２】上記の異常（ＮＧ）と判定した図４の場合、付属情報２００として、検査項目２０１である「液量面積」、演算結果の数値２０２としての「４９１５２画素」、判定基準２０３としての「液量面積判定基準：５５２９６〜６７５８４画素」、判定結果２０４としての「判定：ＮＧ」、検査時刻２０５としての「検査時刻：９９／０３／１８ １５：２４：３０」、またこれに加えて欠陥発生箇所２０６としての「発生箇所：Ａ２」などがあるが、オペレータまたは別の検査要員やメンテナンス要員があとで点検を行うときに、入力操作部１３からの所要の操作を行って、異常（ＮＧ）とされたものの画像データ１００とそれに関連する付属情報２００をモニタ１２に表示させる。入力操作部１３からのそのような指示が入出力インターフェイス９およびバス１０を介してＣＰＵ６に与えられると、ＣＰＵ６はＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段の保存エリアにおける該当アドレスから異常（ＮＧ）とされた画像データ１００および付属情報２００が合成されたビットマップデータである複合データ３００を読み出し、カメラ・表示コントローラ４およびＤ／Ａ変換器１１を介してそのビットマップデータをモニタ１２に表示する。モニタ１２には、図４に示すとおりの、異常（ＮＧ）の容器３０および内容物４０の映像とともに、「液量面積：４９１５２画素」、「液量面積判定基準：５５２９６〜６７５８４画素」、「判定：ＮＧ」、「検査時刻：９９／０３／１８ １５：２４：３０」、またこれに加えて例えば「発生箇所：Ａ２」などの付属情報が表示されることになる。検査要員等は、その付属情報の表示を見ることにより、直ちに、どのような画像でどのような異常があったかを知ることができる。すなわち、異常項目として「液量」が異常であったことを知ることを直ちに知ることができ、それとともに、その液量異常が不足であることも、また不足の程度をも直ちに知ることができるのである。そして、その異常が何時発生したのかも、生産ライン上のどの箇所で発生したのかも直ちに知ることができるのである。このような認識は、ほとんど個人差がなく、だれがしてもほぼ同じ結果を得ることができる。したがって、保守・点検・修理などの対策を素早くかつ的確に行う上できわめて有利な状況が得られるのである。
【００４３】なお、異常（ＮＧ）とされた画像データ１００とそれに関連する付属情報２００との複合データ３００をＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段に保存するに際して、必ずしも合成したビットマップデータとして保存することは必須の要件ではない。ＮＧ画像データ１００と付属情報２００とをＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段の保存エリアの別の領域に分けて保存し、両者を関係付けるデータ、すなわち当該のＮＧ画像データ１００を格納するアドレスと当該の付属情報２００を格納するアドレスとを関係付けたデータをさらに保存すればよいのである。この場合、付属情報はビットマップデータでなくてもよく、テキストデータであってもよい。テキストデータとするときは、ＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段から読み出して画像データとともに表示するに際して、そのテキストデータに基づいてキャラクタジェネレータを動作させ、その付属情報に相当する映像信号を生成した上で、異常（ＮＧ）とされた内容物４０および容器３０の画像データにオンスクリーンディスプレイの手法でスーパーインポーズ（重畳）させればよい。
【００４４】なお、ＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段として大容量のものを採用し、多数のＮＧ画像データおよびそれに関連する付属情報をまとめて、すなわちデータベース化して保存しておくようにすれば、異常の発生原因や発生箇所などについての解析を統計的に行う上で有利となる。検査要員や解析要員は、欠陥の発生がいつから始まっていつまで続いたか、欠陥が量的にどのように変化していったかを解析する。
【００４５】以上、一つの実施の形態について説明してきたが、本発明は次のように構成したものも含み得るものとする。
【００４６】（１）重要と考えられる変形の実施の形態として、異常（ＮＧ）とされた画像データとそれに関連する付属情報との複合データを保存するデバイスとして、画像処理装置１に内蔵し、バス１０に接続した図１で二点鎖線で示すＥＥＰＲＯＭ１６とするのが好ましい。ＥＥＰＲＯＭ１６は不揮発性メモリであり、長期間の記憶が可能である。また、電気的にデータ消去することも可能であり、非常に好都合である。
【００４７】（２）上記の（１）の変形として、ＥＥＰＲＯＭを入出力インターフェイス９を介して外部に接続するのでもよい。
【００４８】（３）複合データ３００を保存する箇所として、ＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段以外のものとして、外部記憶装置１５を利用するように構成してもよい。その外部記憶装置１５としては、例えば、ハードディスクドライブなどの磁気記録デバイス、ＭＯ（Magneto Optics）ディスクドライブやＤＶＤ‐ＲＡＭドライブなどの光磁気記録デバイス、フラッシュメモリ、ＥＥＰＲＯＭその他の不揮発性メモリなどの半導体記憶デバイスなどがあり、さらにはＶＴＲ（ビデオテープレコーダ）などでもよいものとする。
【００４９】（４）フレームメモリ５に代えてフィールドメモリでもよいし、その他のメモリでもよい。
【００５０】（５）フレームメモリ５をシステムメモリとしてのＲＡＭ８と共用することも可能である。
【００５１】（６）計測対象物３０が所定の検査ポイントＤＰに到達したことを検出する到達検出手段については、上記の実施の形態の光電センサ２２に代えて、超音波センサ、圧電センサ、リミットスイッチなど何であってもよい。あるいは、ＣＣＤカメラ２で撮像して得られた画像データの画像処理に基づいて、すなわち画像データに対して到達検出用のサーチウインドウを設定して、ソフトウェア的に到達検出を判定するように構成してもよい。
【００５２】（７）計測対象物３０としては何も容器に限る必要はなく、また、検査対象としては何も内容物４０の量に限る必要はなく、画像処理による検査が可能なものであれば、どのようなものを検査対象としてもよい。半製品または製品に貼り付けられ、あるいは印刷されているラベルの面積の判定でもよいし、半製品または製品そのもののサイズの判定など何であってもよい。
【００５３】（８）カメラ・表示コントローラ４は、フレームメモリ５への画像データの書き込みと並行して、その書き込んだ画像データをフレームメモリ５から読み出し、Ｄ／Ａ変換器１１に転送し、モニタ１２に映像をリアルタイムで表示したが、このようなリアルタイムの表示はしなくてもよい。つまり、モニタ１２を液量異常のときだけリアルタイムに表示動作させるようにしてもよいし、あるいはそれもなくして、液量異常の原因究明のときにだけ用いるようにすることも可能である。
【００５４】（９）液量異常などの欠陥有りのときの画像データ等の保存に際しては、画像データを圧縮してから保存するように構成してもよい。この場合、表示に際しては画像伸張して表示するものとする。
【００５５】（１０）モデムカードやＩＳＤＮカードを利用して公衆回線あるいは専用回線を介して画像データ等を遠隔の端末に送出するように構成してもよい。
【００５６】（１１）上記の実施の形態においては、付属情報２００として、検査項目２０１、検査項目２０１についての演算結果の数値２０２、判定基準２０３（下限値または／および上限値）、判定結果２０４、検査時刻２０５、欠陥発生箇所２０６などをあげたが、必要に応じてこれらのうちのいずれかを選択できるようにしてもよいし、いずれか複数を組み合わせるようにしてもよい。
【００５７】（１２）上記の実施の形態では、欠陥のある検査対象の画像データ１００について付属情報２００を関連付けて複合データ３００となし、これを保存するようにしたが、これとともに、正常とされる例えば図３の場合のようなＯＫ画像データ９９についても同様に、付属情報２００を関連付けて複合データ３００となして保存するように構成してもよい。
【００５８】（１３）その他本発明の要旨と直接に関係しない任意の事項については、公知の任意のものが適用可能であり、また、公知以外のものであっても、本発明の要旨を逸脱しない範囲において適用可能であることはいうまでもない。
【００５９】上記の（１）〜（１３）は互いに独立した事項であり、これらのうち任意の事項を任意数適当に組み合わせてもよきものとする。
【００６０】
【発明の効果】画像処理装置についての請求項１の発明によれば、欠陥のある検査対象の画像データとともにその欠陥に関連する付属情報を同時的に再生表示することが可能となり、検査要員等により表示の付属情報を目視で確認させることにより、どの検査項目についてどのような状況の欠陥があるのかを直ちに理解させることが容易となる。また、請求項２の発明によっても、上記請求項１と同様の効果が得られる。
【００６１】請求項３の発明によれば、生産ライン等で搬送される検査対象について、検査対象をタイミング良く撮像し、効率良く検査することができ、また、上記請求項１と同様の効果が得られる。
【００６２】請求項４の発明によれば、検査項目を二次元的な画素数つまりは面積としてあって、そのような検査項目についての映像のみからの欠陥原因の判断はきわめてむずかしいのに対して、同時表示の付属情報によって、検査要員等をして、どの検査項目についてどのような状況の欠陥があるのかを直ちに理解させることが容易となる。
【００６３】請求項５の発明によれば、設定する検査項目それぞれについて、上記請求項１と同様の効果が得られ、汎用性を確保することができる。
【図面の簡単な説明】
【図１】 本発明の実施の形態の画像処理装置の電気的構成を示すブロック図
【図２】 実施の形態の画像処理装置を適用する生産ライン検査システムの概要の説明図
【図３】 実施の形態の生産ライン検査システムでの画像処理装置の動作を説明するもので、検査対象としての容器の内容物の量の良否判定において欠陥無し判定されたときの画像データとその付属情報の組み合わせのフォーマット
【図４】 実施の形態の生産ライン検査システムでの画像処理装置の動作を説明するもので、検査対象としての容器の内容物の量の良否判定において欠陥有り判定されたときの画像データとその付属情報の組み合わせのフォーマット
【図５】 実施の形態の画像処理装置の動作を示す概略のフローチャート
【符号の説明】
１…画像処理装置、２…ＣＣＤカメラ、３…Ａ／Ｄ変換器、４…カメラ・表示コントローラ、５…フレームメモリ、６…ＣＰＵ、７…ＲＯＭ、８…ＲＡＭ、９…入出力インターフェイス、１０…バス、１１…Ｄ／Ａ変換器、１２…モニタ、１３…入力操作部、１４…警報器、１５…外部記憶装置、１６…ＥＥＰＲＯＭ、２０…生産ライン検査システム、２１…搬送手段、２２…到達検出手段（光電センサ）、２３…ケーブル、３０…計測対象物（容器）、３１…容器本体、３２…キャップ、４０…内容物、１００…欠陥のある検査対象の画像データ（ＮＧ画像データ）、２００…付属情報、２０１…検査項目、２０２…演算結果の数値、２０３…判定基準、２０４…判定結果、２０５…検査時刻、２０６…欠陥発生箇所、３００…複合データ、Ｘ…搬送方向
【特許請求の範囲】
【請求項１】 撮像した検査対象の画像データについての画像処理に基づいて欠陥の有無を判定し、欠陥と判定したときに当該の欠陥の画像データとそれに関連する付属情報とを保存するように構成してあることを特徴とする画像処理装置。
【請求項２】 検査対象の撮像手段と、撮像で得られる画像データの一時記憶手段と、前記画像データを画像処理し判定基準に従って欠陥の有無を判定する手段と、欠陥と判定したときに当該の欠陥の画像データとそれに関連する付属情報とを関連付ける手段と、その関連付けられた複合データを保存する手段と、保存された複合データを読み出して表示用の映像信号に変換する手段とを備えていることを特徴とする画像処理装置。
【請求項３】 前記検査対象が搬送されるものであり、その搬送経路の所要の検査ポイントに前記検査対象が到達したことを検出する到達検出手段を備えており、この到達検出手段による検出信号をトリガとして前記検査対象の撮像および欠陥判定を行うように構成してあることを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】 前記検査対象における検査項目が画像データ上の二次元的な画素数であることを特徴とする請求項１から請求項３までのいずれかに記載の画像処理装置。
【請求項５】 前記付属情報が、検査項目と、その検査項目についての演算結果の数値と、判定基準と、判定結果と、検査時刻と、欠陥発生箇所のうち少なくともいずれか一つを含んでいることを特徴とする請求項１から請求項４までのいずれかに記載の画像処理装置。
【請求項１】 撮像した検査対象の画像データについての画像処理に基づいて欠陥の有無を判定し、欠陥と判定したときに当該の欠陥の画像データとそれに関連する付属情報とを保存するように構成してあることを特徴とする画像処理装置。
【請求項２】 検査対象の撮像手段と、撮像で得られる画像データの一時記憶手段と、前記画像データを画像処理し判定基準に従って欠陥の有無を判定する手段と、欠陥と判定したときに当該の欠陥の画像データとそれに関連する付属情報とを関連付ける手段と、その関連付けられた複合データを保存する手段と、保存された複合データを読み出して表示用の映像信号に変換する手段とを備えていることを特徴とする画像処理装置。
【請求項３】 前記検査対象が搬送されるものであり、その搬送経路の所要の検査ポイントに前記検査対象が到達したことを検出する到達検出手段を備えており、この到達検出手段による検出信号をトリガとして前記検査対象の撮像および欠陥判定を行うように構成してあることを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】 前記検査対象における検査項目が画像データ上の二次元的な画素数であることを特徴とする請求項１から請求項３までのいずれかに記載の画像処理装置。
【請求項５】 前記付属情報が、検査項目と、その検査項目についての演算結果の数値と、判定基準と、判定結果と、検査時刻と、欠陥発生箇所のうち少なくともいずれか一つを含んでいることを特徴とする請求項１から請求項４までのいずれかに記載の画像処理装置。
【図３】
【図４】
【図１】
【図２】
【図５】
【図４】
【図１】
【図２】
【図５】
【公開番号】特開２０００−３３１１６４（Ｐ２０００−３３１１６４Ａ）
【公開日】平成１２年１１月３０日（２０００．１１．３０）
【国際特許分類】
【出願番号】特願平１１−１４３２６４
【出願日】平成１１年５月２４日（１９９９．５．２４）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【出願人】（５９１０７２５６９）シャープマニファクチャリングシステム株式会社 (17)
【Ｆターム（参考）】
【公開日】平成１２年１１月３０日（２０００．１１．３０）
【国際特許分類】
【出願日】平成１１年５月２４日（１９９９．５．２４）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【出願人】（５９１０７２５６９）シャープマニファクチャリングシステム株式会社 (17)
【Ｆターム（参考）】
[ Back to top ]