画像処理装置
【課題】 欠陥のある検査対象の画像情報の保存件数を増やせ、かつ再現性の良い画像処理装置を提供する。
【解決手段】 検査対象である複数の部品４０を載置したトレイ３０をＣＣＤカメラ２で撮像し、Ａ／Ｄ変換して得られた画像データをフレームメモリ５に格納する。ＣＰＵ６は、パターンマッチングを行って欠陥の有無を判定する。欠陥有りと判定したときは、その欠陥有りとする一部分の部分的欠陥画像データ７０のみを切り出し、取り込み画像データ全領域１００での部分的欠陥画像データ７０の座標を示す付属情報８０を部分的欠陥画像データ７０に関連付けて複合データ９０としてＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段に保存する。再生するときは、正常全画像データ２００を読み出し、それに付属情報８０の座標データに基づいて部分的欠陥画像データ７０を画像合成し、表示する。
【解決手段】 検査対象である複数の部品４０を載置したトレイ３０をＣＣＤカメラ２で撮像し、Ａ／Ｄ変換して得られた画像データをフレームメモリ５に格納する。ＣＰＵ６は、パターンマッチングを行って欠陥の有無を判定する。欠陥有りと判定したときは、その欠陥有りとする一部分の部分的欠陥画像データ７０のみを切り出し、取り込み画像データ全領域１００での部分的欠陥画像データ７０の座標を示す付属情報８０を部分的欠陥画像データ７０に関連付けて複合データ９０としてＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段に保存する。再生するときは、正常全画像データ２００を読み出し、それに付属情報８０の座標データに基づいて部分的欠陥画像データ７０を画像合成し、表示する。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、欠陥検査用の画像処理装置、特に生産ライン検査システムに装備されて生産される半製品または製品の欠陥（例えば位置ずれなど）を検出するための画像処理装置にかかわり、詳しくは欠陥のある検査対象の画像データの保存の件数を増やすための技術に関する。
【０００２】
【従来の技術】従来より、検査対象をＣＣＤカメラ等によって撮像して画像データを取得し、その画像データを画像処理して判定基準と比較することにより欠陥の有無を判定し、欠陥と判定したときにその欠陥のある検査対象についての画像データを外部記憶装置に保存するように構成された画像処理装置が知られている。このような欠陥のある画像データを「ＮＧ画像データ」という。ＮＧは「No Good」のことである。
【０００３】欠陥有りと判定したときは、一般的には警報または警告を発することが行われる。そのとき直ちに生産ラインを停止するか、それともある程度時間をおいて様子を見てから停止するか、あるいは定刻に停止するかはともかくとして、欠陥有りのときには、歩留まりの低下を抑制するため、その欠陥が何で、どこでどのような原因によって欠陥が発生したのかの欠陥状況を見きわめる必要がある。その場合に、欠陥有り判定時に保存しておいた画像データを再生して表示し、検査要員等がその欠陥のある検査対象の映像を見て、欠陥状況を判断する。そして、その判断の結果に基づいて、該当する原因を見いだし、補修や部品交換などのメンテナンスを行う。
【０００４】
【発明が解決しようとする課題】上記した従来の技術には次のような問題点がある。欠陥有り判定時に保存するのは欠陥のある検査対象の画像データ（ＮＧ画像データ）の全体についてである。すなわち、画像処理に際してＣＣＤカメラ等より取り込んだ１フレーム分の画像データをフレームメモリに格納するが、欠陥有りと判定したときは、その１フレーム分全体の画像データを丸ごと保存するようにしている。
【０００５】しかし、このような欠陥のあるＮＧ画像データを保存しておく記憶エリアの記憶容量にはおのずと一定の限界がある。その記憶エリアの記憶容量として、複数フレーム分を確保しているが、規定フレーム分のＮＧ画像データの格納がなされてしまうと、メモリフルの状態になる。このメモリフルの状態は、特に、欠陥が連続して発生する場合、あるいは間欠的ではあっても頻繁に発生する場合に陥る。このような場合、ソフトウェアによって異なるが、それ以上のＮＧ画像データの保存を禁止する手法があり、また、最も古いＮＧ画像データを破棄したうえで最新のＮＧ画像データを格納するという手法もある。前者の場合には、最新の欠陥についてのＮＧ画像データが得られないという不都合がある。後者の場合には、最も古い欠陥についてのＮＧ画像データが得られなくなって、欠陥原因解析において根本原因が突き止めにくくなるおそれがある。いずれにしても、記憶エリアの記憶容量に限界があるので、欠陥有りのときに１フレーム分全体の画像データを丸ごと保存することが大きな原因となっている。
【０００６】記憶容量を大きくすれば、対応ができるマージンが増大するが、それではコストアップは避けられない。
【０００７】また、欠陥のある１フレーム分全体の画像データをフレームメモリから読み出して該当の記憶エリアに転送するのには、比較的多くの時間がかかるという問題もある。
【０００８】本発明は上記した課題の解決を図るべく創作したものであって、欠陥のある検査対象の画像情報の保存の件数を増やすことのできる画像処理装置を提供することを目的としている。
【０００９】
【課題を解決するための手段】上記した課題の解決を図ろうとする本発明にかかわる請求項１の画像処理装置は、次のように構成してある。すなわち、撮像した検査対象の画像データについての画像処理に基づいて欠陥の有無を判定し、欠陥有りと判定したときに当該の欠陥有りの一部分の画像データである部分的欠陥画像データのみを切り出すとともに、取り込み画像データ全領域でのその部分的欠陥画像データが占める座標についての付属情報とともに前記部分的欠陥画像データを保存するように構成してあることを特徴としている。この構成によると、次のような作用がある。すなわち、欠陥有りと判定したときに、従来技術のように１枚分（１フレーム分）全体の画像データを丸ごと保存するのではなく、その欠陥を含んでいる一部分の画像データである部分的欠陥画像データのみを選択的に切り出して保存するので、限られた記憶容量の記憶エリアに対する欠陥のある検査対象の画像情報の保存の件数を増やすことが可能となる。さらに、部分的欠陥画像データを記憶エリアに転送する時間は、１枚分全体の画像データを転送する場合よりも短くなる。また、保存するのが一部分を切り出した部分的欠陥画像データであっても、取り込み画像データ全領域でその部分的欠陥画像データが占める座標を示す付属情報を併せて保存するから、部分的欠陥画像データを再現したりチェックしたりするうえで不都合は生じない。
【００１０】本発明にかかわる請求項２の画像処理装置は、次のような構成となっている。すなわち、検査対象の撮像手段と、撮像で得られる画像データの一時記憶手段と、前記画像データを画像処理し判定基準に従って欠陥の有無を判定する手段と、欠陥有りと判定したときに当該の欠陥有りの部分的欠陥画像データのみを切り出す手段と、取り込み画像データ全領域でのその部分的欠陥画像データが占める座標についての付属情報を生成する手段と、前記部分的欠陥画像データと前記付属情報とを関連付ける手段と、その関連付けられた複合データを保存する手段とを備えていることを特徴としている。この構成は、請求項１の構成をより具体的に記述するものであって、請求項１と同様の作用を発揮する。
【００１１】本発明にかかわる請求項３の画像処理装置は、次のような構成となっている。すなわち、撮像した検査対象の画像データについての画像処理に基づいて欠陥の有無を判定し、欠陥有りと判定したときに当該の欠陥有りの部分的欠陥画像データのみを切り出すとともに、取り込み画像データ全領域でのその部分的欠陥画像データが占める座標についての付属情報とともに前記部分的欠陥画像データを保存し、再生に際してあらかじめ登録しておいた正常全画像データに対して前記部分的欠陥画像データを前記付属情報に基づいて位置合わせして画像合成するように構成してあることを特徴としている。この構成によると、次のような作用がある。すなわち、請求項１と同様に、限られた記憶容量の記憶エリアに対する欠陥のある検査対象の画像情報の保存の件数を増やせるとともに、記憶エリアに対する部分的欠陥画像データの転送が短時間に行え、さらに、保存するのは部分的欠陥画像データであっても、再生に際しては正常全画像データと画像合成した合成画像データとして再現することが可能であり、その画像合成は取り込み画像データ全領域に占める部分的欠陥画像データの座標を示す付属情報に基づいて行われるので、正確な合成画像データを生成することができ、欠陥のある画像データの再現性を良好なものにすることができて、欠陥原因等をチェックするうえで不都合は生じない。
【００１２】本発明にかかわる請求項４の画像処理装置は、次のような構成となっている。すなわち、検査対象の撮像手段と、撮像で得られる画像データの一時記憶手段と、前記画像データを画像処理し判定基準に従って欠陥の有無を判定する手段と、欠陥有りと判定したときに当該の欠陥有りの部分的欠陥画像データのみを切り出す手段と、取り込み画像データ全領域でのその部分的欠陥画像データが占める座標についての付属情報を生成する手段と、前記部分的欠陥画像データと前記付属情報とを関連付ける手段と、その関連付けられた複合データを保存する手段と、あらかじめ正常全画像データを登録しておく手段と、再生に際して前記正常全画像データと前記部分的欠陥画像データと前記付属情報とを読み出し前記付属情報に基づいて前記部分的欠陥画像データを前記正常全画像データに対して位置合わせして画像合成する手段と、その画像合成で得られた合成画像データを読み出して表示用の映像信号に変換する手段とを備えていることを特徴としている。この構成は、請求項３の構成をより具体的に記述するものであって、請求項３と同様の作用を発揮する。
【００１３】本発明にかかわる請求項５の画像処理装置は、上記請求項１〜４において、前記検査対象が搬送されるものであり、その搬送経路の所要の検査ポイントに前記検査対象が到達したことを検出する到達検出手段を備えており、この到達検出手段による検出信号をトリガとして前記検査対象の撮像および欠陥判定を行うように構成してあることを特徴としている。この構成によると、検査対象が搬送されるものであっても、その検査対象をタイミング良く撮像して、上記の作用を得ることが可能となる。
【００１４】本発明にかかわる請求項６の画像処理装置は、上記請求項１〜５において、前記検査対象における検査項目が取り込み画像データに含まれる複数の部分画像の位置ずれまたは品種違いとされていることを特徴としている。本発明は、位置ずれや品種違いの判定に有効な機能を発揮する。
【００１５】
【発明の実施の形態】以下、本発明にかかわる画像処理装置の実施の形態を図面に基づいて詳細に説明する。
【００１６】図１は実施の形態の画像処理装置の電気的構成を示すブロック図である。図１において、符号の１は当該の画像処理装置、２は撮影レンズや絞りなどを含む光学系および固体撮像手段の代表例であるＣＣＤ（電荷結合デバイス）などからなるＣＣＤカメラであり、このＣＣＤカメラ２は、撮影レンズによってＣＣＤ上に光学像を結像し、結像された光学像をＣＣＤで光電変換して電気信号として出力するものである。３はＣＣＤカメラ２からのアナログの映像信号（ＣＣＤ出力信号）をディジタル化して画像データに変換するＡ／Ｄ変換器、４はＣＣＤカメラ２、Ａ／Ｄ変換器３およびフレームメモリ５に対してタイミング信号を出力して画像データの取得のタイミング制御を行うとともに、フレームメモリ５およびＤ／Ａ変換器１１に対してタイミング信号を出力して取得の映像信号の表示のタイミング制御を行うカメラ・表示コントローラ、５は画像データ一時記憶手段の一例としてのフレームメモリ、６はシステム全体の制御を司る制御手段の一例としてのＣＰＵ（中央演算処理装置）、７はＣＰＵ６による演算・制御等のためのプログラムを格納しているＲＯＭ（リードオンリーメモリ）、８はＣＰＵ６の演算・制御等を補助するとともにデータを格納するＲＡＭ（ランダムアクセスメモリ）、９は外部との間でデータや制御信号の入出力を行う入出力インターフェイス、１０はＣＰＵ６、ＲＯＭ７、ＲＡＭ８、カメラ・表示コントローラ４、フレームメモリ６および入出力インターフェイス９を接続するバス、１１はフレームメモリ５からカメラ・表示コントローラ４を介しての画像データをアナログの映像信号に変換するＤ／Ａ変換器、１２は画像処理装置１に図示しないインターフェイスおよびケーブルを介して接続されているＣＲＴ（陰極線管）や液晶ディスプレイ（ＬＣＤ）などのモニタである。フレームメモリ５は、少なくとも１フレーム分以上の画像データを蓄積できる画像メモリであって、ＶＲＡＭ、ＳＲＡＭ、ＤＲＡＭなどが一般的に使用されるが、ここではバス１０とは独立動作可能なＶＲＡＭを使用しているものとする。なお、カメラ・表示コントローラ４とフレームメモリ５とはパラレルなバスラインを介して接続されている。また、入出力インターフェイス９には、ＲＡＭ８に必要な初期値、判定基準等のためのパラメータ、しきい値、その他の条件、必要なデータなどを設定入力したり、必要な指示を与えたりするためのワイヤードリモコンなどの入力操作部１３や画像処理装置１の内部の状況や判断結果などをオペレータや検査要員等に知らせるための警報器１４やインジケータをそれぞれ個別のケーブルを介して接続することが可能となっている。なお、ワイヤードリモコンに代えてワイヤレスリモコンを用いることも可能とし、この場合は、リモコン受信機の出力端子を入出力インターフェイス９に接続するものとする。警報器１４としては、ＬＥＤ（発光ダイオード）、蛍光表示管その他任意の発光素子、灯器、あるいはブザーなどの鳴動器が適用可能とする。さらに、入出力インターフェイス９には、必要な外部記憶装置１５を接続することができるものとする。その外部記憶装置１５としては、ハードディスクドライブなどの磁気記録デバイス、ＭＯ（Magneto Optics）ディスクドライブやＤＶＤ（Digital Versatile Disk）‐ＲＡＭドライブなどの光磁気記録デバイス、フラッシュメモリ、ＥＥＰＲＯＭその他の不揮発性メモリなどの半導体記憶デバイスなどがあり、さらにはＶＴＲ（ビデオテープレコーダ）などでもよいものとする。
【００１７】図２は上記構成の画像処理装置１を適用する生産ライン検査システム２０の概要を示す。図２において、符号の２１は計測対象物３０を搬送するコンベヤなどの搬送手段、２２は搬送手段２１の近傍で搬送されていく計測対象物３０の到達を検出するための到達検出手段の一例としての光電センサであり、検査ポイントＤＰに配置されている。光電センサ２２はケーブル２３を介して画像処理装置１の入出力インターフェイス９に接続されている。なお、説明の便宜上、図２においては、ＣＣＤカメラ２を画像処理装置１の外側に出して描いているが、実際には、ＣＣＤカメラ２は画像処理装置１と一体となっている。もっとも、ＣＣＤカメラ２を画像処理装置１とは別体構成とし、両者をケーブルで接続した態様としてもよい。Ｘは搬送手段２１による搬送方向を示す。
【００１８】図２においては、計測対象物３０として、複数の部品４０を所定間隔をおいて所定位置に載置したトレイが示されている。図３はトレイ３０とそれに載置されている複数の部品４０とを示す概略の平面図である。符号の３１はトレイ３０の底部をなす載置面、３２はトレイ３０の周囲の立ち上がり壁である。この例では、部品４０を６個載置するようにしている。もっとも、このような数値は単なる例示にすぎず、仕様に応じて適宜に変更してよいことはいうまでもない。ＣＣＤカメラ２は、搬送手段２１によって搬送されていくトレイ３０および部品４０をその真上から撮像するように、搬送手段２１の直上に配置されている。なお、後に説明するが、計測対象物３０としては、何も部品を載置したトレイに限る必要はなく、画像処理による検査が可能なものであれば、どのようなものを検査対象としてもよいことを付記しておく。ここでのトレイ３０は一例にすぎない。
【００１９】次に、上記のように構成された実施の形態の場合の生産ライン検査システム２０に適用された画像処理装置１の動作を説明する。
【００２０】駆動されている搬送手段２１によって複数の計測対象物（トレイ）３０が所定の間隔を隔てて連続的に搬送されていく。計測対象物３０は、検査ポイントＤＰの少し上手側において、図示しないアライメント装置により、搬送手段２１上における位置決めが行われているものとする。検査ポイントＤＰに達した計測対象物（トレイ）３０があると、その検査ポイントＤＰに設置されている到達検出手段２２が動作する。到達検出手段２２が光電センサの場合は、次のような動作となる。光電センサ２２は、レーザーダイオードなどの発光素子とフォトダイオードなどの受光素子からなり、発光素子から出射したレーザービームなどが計測対象物３０に当たって反射し、その反射光を受光素子で捕捉し、電気信号に変換し増幅することにより到達検出を行う。
【００２１】計測対象物３０が検査ポイントＤＰに到達したことを到達検出手段２２が検出すると、到達検出手段２２はその検出信号をトリガ信号として画像処理装置１に送出する。画像処理装置１においては、その入出力インターフェイス９を介して入力されてきたトリガ信号がバス１０を介してＣＰＵ６に与えられる。ＣＰＵ６はトリガ信号を入力すると、カメラ・表示コントローラ４に起動信号を出力する。カメラ・表示コントローラ４は起動信号を入力すると、ＣＣＤカメラ２、Ａ／Ｄ変換器３、フレームメモリ５およびＤ／Ａ変換器１１に対してタイミング信号を出力する。
【００２２】ＣＣＤカメラ２におけるＣＣＤはタイミング信号を入力すると、その電子シャッタを開き作動させ、被写体である計測対象物３０を撮像する。すなわち、計測対象物３０の光学像が撮像レンズを介してＣＣＤの表面に結像し、ＣＣＤはその光学像を信号電荷として蓄積しているが、タイミング信号を入力すると、感光部のフォトダイオードから垂直転送ＣＣＤへの転送および垂直転送ＣＣＤから水平転送ＣＣＤへの転送を行い、出力アンプを介して映像信号として出力する。Ａ／Ｄ変換器３はタイミング信号の入力によって起動し、ＣＣＤカメラ２から入力したアナログの映像信号（ＣＣＤ出力信号）をディジタルの画像データに変換する。このＡ／Ｄ変換器３のビット数を例えば８ビットとすると、画像データは２５６階調となる。フレームメモリ５はタイミング信号を入力し、Ａ／Ｄ変換器３と同期をとった状態でＡ／Ｄ変換器３からの１フレーム分の画像データを格納する。なお、８ビットについては、一例にすぎなくて、仕様に応じて適宜に変更してよいことはいうまでもない。
【００２３】カメラ・表示コントローラ４は、フレームメモリ５への画像データの書き込みと並行して、その書き込んだ画像データをフレームメモリ５から読み出し、Ｄ／Ａ変換器１１に転送する。Ｄ／Ａ変換器１１は、転送されてきた画像データをアナログの映像信号に変換し、モニタ１２に出力する。なお、モニタ１２に至る映像信号は、図示しない所要のビデオエンコーダなどによりＮＴＳＣ方式などモニタ１２に適合した所要のフォーマットに変換されているものとする。このようにして、計測対象物３０の到達を検出した時点から、その計測対象物３０を被写体像とする映像をモニタ１２にリアルタイムに映出する。
【００２４】カメラ・表示コントローラ４は１フレーム分の画像データのフレームメモリ５に対する書き込みが完了すると、その書き込み完了信号をＣＰＵ６に出力する。その書き込み完了信号を入力したＣＰＵ６は、ＲＯＭ７から読み出したプログラムおよびＲＡＭ８から読み出した画像処理演算用条件に従って、フレームメモリ５をアクセスし、フレームメモリ５に格納されている１フレーム分全体の画像データを読み出す。そして、１画素単位または複数画素の集合であるブロック単位で所要の画像処理のための演算を実行し、判定のための演算結果をＲＡＭ８にストアする。次に、その演算結果とＲＡＭ８から読み出した判定基準との比較を行い、演算結果が正常であるか否かを判定する。
【００２５】ＲＡＭ８には、あらかじめ入力操作部１３から入出力インターフェイス９およびバス１０を介して画像処理演算用条件や判定基準が設定登録されている。画像処理演算用条件としては、部品４０を識別するための濃度値についてのしきい値や部品４０の載置位置の良否を判定するためのしきい値（上限値と下限値）や部品４０のサイズ、形状などの種別を判定するためなどの判定基準がある。
【００２６】トレイ３０上の複数の部品４０の載置状態の良否判定の場合は、具体的に次のようになる。図４はパターンマッチングの動作説明図である。図４において、符号の５０は図３に示す計測対象物すなわちトレイ３０についての画像データであるトレイ画像、５１は載置面３１についての画像データである載置面画像、５２は立ち上がり壁３２についての画像データである立ち上がり壁画像、６０は部品４０についての画像データである部品画像、１００は取り込み画像データ全領域である。図４に示すように、ＣＣＤカメラ２によって撮像され、フレームメモリ５に格納されている取り込み画像データ全領域１００において、正規の部品画像６０の位置に対応してあらかじめ設定されている破線矩形で図示した計測サーチ領域ＤＳを高速サーチして部品画像６０らしきものを見いだし、ＲＡＭ８から読み出した部品形状に相当するテンプレート画像データと画素比較することのパターンマッチングに基づいて、二点鎖線矩形で図示した計測対象基準画像検出領域ＤＴを抽出し、その計測対象基準画像検出領域ＤＴでの両者の画像データの一致度を算出し、その一致度が所定のしきい値以上となっているか否かを判断し、しきい値以上となっているときは欠陥無しすなわち部品画像６０についての位置ずれ無しと判定し、しきい値未満のときは欠陥有りすなわち部品画像６０についての位置ずれ有りと判定する。また、一致度が所定値以下（この所定値は前記のしきい値よりかなり低く設定されている）のときは、部品が存在していないものと判定する。図４の場合は、すべての部品画像６０がトレイ画像５０に対して適正な位置にあると判断される。すなわち、トレイ３０において複数の部品４０がすべて適正な位置関係で載置されていることになる。
【００２７】図５の場合は、取り込み画像データ全領域１００において、１つの例えば左下の部品画像６０が正規の位置よりも判定基準以上にずれている。すなわち、計測対象基準画像検出領域ＤＴが判定基準以上にずれていて一致度がしきい値未満となっており、欠陥有りと判定されることになる。この場合は、その判定基準以上にずれている１つの部品画像６０について計測サーチ領域ＤＳでの画像データの切り出しを行い、それを欠陥のある部分的欠陥画像データ７０として保存する。つまり、欠陥のある画像データの保存に際して、従来の技術の場合のように取り込み画像データ全領域１００の丸ごとを対象とするのではなく、欠陥のある１つの部品画像６０の計測サーチ領域ＤＳに相当する部分的欠陥画像データ７０のみを切り出して保存するのである。この場合に、その切り出した部分的欠陥画像データ７０の座標データを付属情報８０として部分的欠陥画像データ７０に関連付けて保存する。
【００２８】付属情報８０である座標データとしては、各計測サーチ領域ＤＳの左上角部のＸ座標とＹ座標の組み合わせでよく、それぞれ、（Ｘ1 ，Ｙ1 ），（Ｘ1 ，Ｙ2），（Ｘ1 ，Ｙ3 ），（Ｘ2 ，Ｙ1 ），（Ｘ2 ，Ｙ2 ），（Ｘ2 ，Ｙ3 ）で表される。なお、このような各計測サーチ領域ＤＳについての座標データはあらかじめＲＡＭ８に設定登録されているものとする。
【００２９】図５の場合には、付属情報８０の座標データとしては、（Ｘ1 ，Ｙ3 ）が選択される。ＣＰＵ６は、欠陥有りと判定した部品画像６０についての部分的欠陥画像データ７０と対応する座標データである付属情報８０とを関連付けて複合データ９０となし、この複合データ９０をバス１０を介してＲＡＭ８に転送格納する。
【００３０】なお、ここでは、ＲＡＭ８は充分に大きな記憶容量をもっているものとし、かつ、電源をオフしても記憶内容が消えないように、ＲＡＭ８に対してバックアップを行っているものとする。そのバックアップは、例えばリチウム電池でもよいし、大容量のキャパシタでもよい。なお、ＲＡＭ８に代えて、図１でバス１０に接続した二点鎖線で示すＥＥＰＲＯＭ１６に複合データ９０を保存するようにしてもよい。むしろ、その方が良い。以下では、「ＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段」と記述することとする。
【００３１】図６の場合は、取り込み画像データ全領域１００において、１つの例えば右側中央の部品画像６０が正規の形状とは相違している。この場合も、一致度がしきい値未満となっていて欠陥有りと判定されることになり、その欠陥の１つの部品画像６０について計測サーチ領域ＤＳでの画像データの切り出しを行い、その欠陥のある部分的欠陥画像データ７０と対応する座標データを付属情報８０として関連付け、複合データ９０としてＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段に保存する。図６の場合の付属情報８０の座標データとしては、右側中央の計測サーチ領域ＤＳに対応した座標データ（Ｘ2 ，Ｙ2 ）が付属情報８０として選択される。
【００３２】なお、部品画像６０の面積すなわち画素数が正規と異なる場合も同様の処理が行われる。欠陥有りと判定される部品画像６０が複数生じる場合もある。そのような一例を図７に示しておく。この場合は、欠陥のあるそれぞれの部分的欠陥画像データ７０とそれぞれに対応する座標データを付属情報８０として関連付け、複合データ９０としてＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段に保存することになる。
【００３３】なお、以上のようなパターンマッチングによる画像処理の結果は、カメラ・表示コントローラ４およびＤ／Ａ変換器１１を介してモニタ１２に表示される。また、ＣＰＵ６は、１つでも欠陥を判定したときは、警告信号を出力する。その警告信号はバス１０および入出力インターフェイス９を介して外部に接続の警報器１４に送出され、その警報器１４を動作させることにより、オペレータに対してリアルタイムに異常（ＮＧ）が発生したことを知らせる。
【００３４】以上のＣＰＵ６による動作の概要を図８のフローチャートに示しておく。なお、警告信号の出力はステップＳ７の直後であってもよい。
【００３５】次に、欠陥原因の解析の作業の場合の動作について説明する。
【００３６】図９に示すように、ＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段には取り込み画像データ全領域１００の正常な全画像データ２００が格納されているものとする。この正常全画像データ２００のＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段への格納については、トレイ３０および複数の部品４０の組み合わせ仕様に応じてあらかじめ求めたものを外部記憶装置１５に格納しておき、必要に応じて選択して外部記憶装置１５から入出力インターフェイス９およびバス１０を介してＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段に転送格納するのである。また、ＣＣＤカメラ２から取り込んでフレームメモリ５に格納した取り込み画像データ全領域１００について正常と判断したときに、それを正常全画像データ２００としてＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段に転送格納するのでもよい。あるいは、必ずしもＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段に格納しておく必要はなく、外部記憶装置１５に転送格納しておくのでもよい。
【００３７】オペレータまたは別の検査要員やメンテナンス要員が欠陥原因解析を行うときに、入力操作部１３からの所要の操作を行うと、ＣＰＵ６は、正常全画像データ２００を読み出し、次いで、異常（ＮＧ）とされた部品画像６０についての複合データ９０すなわち部分的欠陥画像データ７０とそれに関連する付属情報８０とを読み出す。付属情報８０は、その部分的欠陥画像データ７０が正常全画像データ２００においてどの位置を占めるかについての座標データである。ＣＰＵ６は、その座標データに基づいて部分的欠陥画像データ７０を正常全画像データ２００に対して上書き式に画像合成し、合成画像データ３００を生成する。図１０は、その画像合成の様子を示す。そして、その合成画像データ３００をフレームメモリ５に転送格納し、カメラ・表示コントローラ４およびＤ／Ａ変換器１１を介して合成画像データ３００をモニタ１２に送出し、モニタ１２において合成画像データ３００の映像を映出する。
【００３８】検査要員等は、その合成画像データ３００の映像の表示を見ることにより、欠陥の原因を究明する。必要に応じて、入力操作部１３からの操作により、モニタ１２に映出されフレームメモリ５に格納されている合成画像データ３００について再度の画像処理を行うことも可能である。この場合に、合成画像データ３００の全体について欠陥の有無の判定を行う画像処理を実施してもよいし、あらかじめ分かっている欠陥のある部分的欠陥画像データ７０の領域においてのみ画像処理を実施してもよい。後者の場合は、欠陥のある部分的欠陥画像データ７０を指定するに際して、それに関連している付属情報８０の座標データに基づいて指定する。これによって、欠陥発生状況を再現することができる。
【００３９】以上のＣＰＵ６による動作の概要を図１１のフローチャートに示しておく。
【００４０】なお、異常（ＮＧ）とされた部分的欠陥画像データ７０とそれに関連する付属情報８０との複合データ９０をＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段に保存するに際して、必ずしも同一記憶エリアに保存することは必須の要件ではない。欠陥有りの部分的欠陥画像データ７０と付属情報８０とをＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段の保存エリアの別の領域に分けて保存し、両者を関係付けるデータ、すなわち当該の部分的欠陥画像データ７０を格納するアドレスと当該の付属情報８０を格納するアドレスとを関係付けたデータをさらに保存すればよいのである。
【００４１】なお、ＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段として大容量のものを採用し、多数の欠陥有りの部分的欠陥画像データおよびそれに関連する付属情報をまとめて、すなわちデータベース化して保存しておくようにすれば、異常の発生原因や発生箇所などについての解析を統計的に行う上で有利となる。検査要員や解析要員は、欠陥の発生がいつから始まっていつまで続いたか、欠陥が量的にどのように変化していったかを解析する。
【００４２】以上のように、本実施の形態の画像処理装置においては、トレイ画像５０において複数の部品画像６０のうち１つでも欠陥有り（位置ずれや形状異常など有り）と判定したとは、従来技術のように１フレーム分全体の画像データを丸ごと保存するのではなく、その欠陥を含んでいる部分的欠陥画像データ７０のみを選択的に切り出して保存するので、記憶容量が限られているＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段においても、そのような部分的欠陥画像データ７０の保存件数を増やすことができる。すなわち、メモリフルになるまでの保存件数が従来技術に比べて大幅に増加する。部分的欠陥画像データ７０とともに座標データを付属情報８０として保存するが、付属情報８０の容量は少ないものですむ。６つの部品画像６０のうち１つだけ欠陥があるときには、図５や図６から推測できるように使用する記憶容量は従来技術の場合の６分の１以下となることは明らかである。特に、欠陥が連続して発生した場合であっても、あるいは間欠的ではあっても頻繁に発生する場合であっても、メモリフルに至るまでには充分なマージンを確保することができる。したがって、新たな欠陥発生に対してそれ以上の保存ができなくなってしまうまでの記憶容量のゆとりがある。あるいは、最も古いＮＧ画像データ（部分的欠陥画像データ）を破棄したうえで最新のＮＧ画像データ（部分的欠陥画像データ）を格納しなければならない状態に至るまでの記憶容量のゆとりがある。したがって、欠陥の発生が多くて時系列的に累積していっても、そのすべてのあるいはほとんど大部分の欠陥有りの部分的欠陥画像データ７０を保存しておくことができ、あとでの欠陥原因解析を有利に進めることができる。そして、この利点を発揮させるのに、ことさらに記憶容量を大きくする必要がなくて、コスト面での負担の増大を抑制できる。さらに、部分的欠陥画像データ７０をＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段に転送する時間は、１フレーム分全体の画像データを丸ごと転送する場合よりも短くなる。
【００４３】そして、あとの欠陥原因解析において、欠陥を示す映像を再生するに際しては、ＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段から正常全画像データ２００を読み出すとともに、異常（ＮＧ）とされた部分的欠陥画像データ７０を読み出し、付属情報８０が示す座標データに基づいて部分的欠陥画像データ７０を正常全画像データ２００の所定の位置において画像合成して、全体の中で部分の欠陥を含んだ状態の合成画像データ３００を生成して、それをモニタ１２に表示するので、欠陥のある画像データの再現性を良好なものにすることができ、欠陥原因等をチェックするうえで不都合は生じない。
【００４４】以上、一つの実施の形態について説明してきたが、本発明は次のように構成したものも含み得るものとする。
【００４５】（１）重要と考えられる変形の実施の形態として、異常（ＮＧ）とされた部分的欠陥画像データ７０とそれに関連する付属情報８０との複合データ９０を保存するデバイスとして、画像処理装置１に内蔵し、バス１０に接続した図１で二点鎖線で示すＥＥＰＲＯＭ１６とするのが好ましい。ＥＥＰＲＯＭ１６は不揮発性メモリであり、長期間の記憶が可能である。また、電気的にデータ消去することも可能であり、非常に好都合である。
【００４６】（２）上記の（１）の変形として、ＥＥＰＲＯＭを入出力インターフェイス９を介して外部に接続するのでもよい。
【００４７】（３）複合データ９０を保存する箇所として、ＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段以外のものとして、外部記憶装置１５を利用するように構成してもよい。その外部記憶装置１５としては、例えば、ハードディスクドライブなどの磁気記録デバイス、ＭＯ（Magneto Optics）ディスクドライブやＤＶＤ‐ＲＡＭドライブなどの光磁気記録デバイス、フラッシュメモリ、ＥＥＰＲＯＭその他の不揮発性メモリなどの半導体記憶デバイスなどがあり、さらにはＶＴＲ（ビデオテープレコーダ）などでもよいものとする。
【００４８】（４）フレームメモリ５に代えてフィールドメモリでもよいし、その他のメモリでもよい。
【００４９】（５）フレームメモリ５をシステムメモリとしてのＲＡＭ８と共用することも可能である。
【００５０】（６）計測対象物３０が所定の検査ポイントＤＰに到達したことを検出する到達検出手段については、上記の実施の形態の光電センサ２２に代えて、超音波センサ、圧電センサ、リミットスイッチなど何であってもよい。あるいは、ＣＣＤカメラ２で撮像して得られた画像データの画像処理に基づいて、すなわち画像データに対して到達検出用のサーチウインドウを設定して、ソフトウェア的に到達検出を判定するように構成してもよい。
【００５１】（７）計測対象物３０としては何も複数の部品４０を載置したトレイ３０に限る必要はなく、また、検査対象としては何も部品４０の位置ずれや形状相違などに限る必要はなく、画像処理による検査が可能なものであれば、どのようなものを検査対象としてもよい。半製品または製品に貼り付けられ、あるいは印刷されているラベルの面積の判定でもよいし、半製品または製品そのもののサイズの判定など何であってもよい。
【００５２】（８）カメラ・表示コントローラ４は、フレームメモリ５への画像データの書き込みと並行して、その書き込んだ画像データをフレームメモリ５から読み出し、Ｄ／Ａ変換器１１に転送し、モニタ１２に映像をリアルタイムで表示したが、このようなリアルタイムの表示はしなくてもよい。つまり、モニタ１２を異常判定のときだけリアルタイムに表示動作させるようにしてもよいし、あるいはそれもなくして、異常の原因究明のときにだけ用いるようにすることも可能である。
【００５３】（９）欠陥有りのときの部分的欠陥画像データ７０等の保存に際しては、画像データを圧縮してから保存するように構成してもよい。この場合、表示に際しては画像伸張して表示するものとする。
【００５４】（１０）モデムカードやＩＳＤＮカードを利用して公衆回線あるいは専用回線を介して画像データ等を遠隔の端末に送出するように構成してもよい。
【００５５】（１１）上記の実施の形態では、欠陥のある検査対象の画像データについて部分的欠陥画像データ７０に付属情報８０を関連付けて複合データ９０となし、これを保存するようにしたが、これとともに、正常とされるＯＫ画像データについても同様に、付属情報を関連付けて複合データとなして保存するように構成してもよい。
【００５６】（１２）その他本発明の要旨と直接に関係しない任意の事項については、公知の任意のものが適用可能であり、また、公知以外のものであっても、本発明の要旨を逸脱しない範囲において適用可能であることはいうまでもない。
【００５７】上記の（１）〜（１２）は互いに独立した事項であり、これらのうち任意の事項を任意数適当に組み合わせてもよきものとする。
【００５８】
【発明の効果】画像処理装置についての請求項１の発明によれば、欠陥のある検査対象の画像情報の保存件数を増やすことができるとともに、記憶エリアに対する部分的欠陥画像データの転送を短時間に行うことができ、さらに保存するのが一部分を切り出した部分的欠陥画像データであっても、全領域での占める位置を示す付属情報を併せて保存するから、欠陥有りの検査対象の映像の再現およびチェックは良好に行うことができる。また、請求項２の発明によっても、上記請求項１と同様の効果が得られる。
【００５９】請求項３の発明によれば、上記請求項１の効果に加えて、再生に際して、正規の位置関係で部分的欠陥画像データを正常全画像データに画像合成したうえで再生させるので、意義ある情報を欠損することなく、良好で精度の高い再現性を確保することができ、欠陥原因等をチェックするうえで好都合となる。また、請求項４の発明によっても、上記請求項３と同様の効果が得られる。
【００６０】請求項５の発明によれば、生産ライン等で搬送される検査対象について、検査対象をタイミング良く撮像し、効率良く検査することができ、また、上記と同様の効果が得られる。
【００６１】請求項６の発明によれば、位置ずれまたは品種違いの判定において、本発明を好適に実施することが可能となる。
【図面の簡単な説明】
【図１】 本発明の実施の形態の画像処理装置の電気的構成を示すブロック図
【図２】 実施の形態の画像処理装置を適用する生産ライン検査システムの概要の説明図
【図３】 実施の形態の生産ライン検査システムで搬送されるトレイとそれに載置されている複数の部品とを示す概略の平面図
【図４】 実施の形態の画像処理装置によるパターンマッチングの動作説明図
【図５】 実施の形態の画像処理装置によるパターンマッチングで欠陥有りすなわち位置ずれ有りと判定される場合の動作説明図
【図６】 実施の形態の画像処理装置によるパターンマッチングで欠陥有りすなわち形状相違と判定される場合の動作説明図
【図７】 欠陥有りとされる部品画像が複数ある場合のパターンマッチングの動作説明図
【図８】 実施の形態の画像処理装置のパターンマッチングの際の動作を示す概略のフローチャート
【図９】 実施の形態の画像処理装置においてその記憶手段に格納されている正常全画像データのフォーマット
【図１０】 実施の形態の画像処理装置における正常全画像データと部分的欠陥画像データとの画像合成の動作説明図
【図１１】 実施の形態の画像処理装置における欠陥原因解析の際の動作を示す概略のフローチャート
【符号の説明】
１…画像処理装置、２…ＣＣＤカメラ、３…Ａ／Ｄ変換器、４…カメラ・表示コントローラ、５…フレームメモリ、６…ＣＰＵ、７…ＲＯＭ、８…ＲＡＭ、９…入出力インターフェイス、１０…バス、１１…Ｄ／Ａ変換器、１２…モニタ、１３…入力操作部、１４…警報器、１５…外部記憶装置、１６…ＥＥＰＲＯＭ、２０…生産ライン検査システム、２１…搬送手段、２２…到達検出手段（光電センサ）、２３…ケーブル、３０…計測対象物（トレイ）、３１…載置面、３２…立ち上がり壁、４０…部品、５０…トレイ画像、５１…載置面画像、５２…立ち上がり壁画像、６０…部品画像、７０…部分的欠陥画像データ、８０…付属情報、９０…複合データ、１００…取り込み画像データ全領域、２００…正常全画像データ、３００…合成画像データ、ＤＰ…検査ポイント、ＤＳ…計測サーチ領域、ＤＴ…計測対象基準画像検出領域、Ｘ…搬送方向
【０００１】
【発明の属する技術分野】本発明は、欠陥検査用の画像処理装置、特に生産ライン検査システムに装備されて生産される半製品または製品の欠陥（例えば位置ずれなど）を検出するための画像処理装置にかかわり、詳しくは欠陥のある検査対象の画像データの保存の件数を増やすための技術に関する。
【０００２】
【従来の技術】従来より、検査対象をＣＣＤカメラ等によって撮像して画像データを取得し、その画像データを画像処理して判定基準と比較することにより欠陥の有無を判定し、欠陥と判定したときにその欠陥のある検査対象についての画像データを外部記憶装置に保存するように構成された画像処理装置が知られている。このような欠陥のある画像データを「ＮＧ画像データ」という。ＮＧは「No Good」のことである。
【０００３】欠陥有りと判定したときは、一般的には警報または警告を発することが行われる。そのとき直ちに生産ラインを停止するか、それともある程度時間をおいて様子を見てから停止するか、あるいは定刻に停止するかはともかくとして、欠陥有りのときには、歩留まりの低下を抑制するため、その欠陥が何で、どこでどのような原因によって欠陥が発生したのかの欠陥状況を見きわめる必要がある。その場合に、欠陥有り判定時に保存しておいた画像データを再生して表示し、検査要員等がその欠陥のある検査対象の映像を見て、欠陥状況を判断する。そして、その判断の結果に基づいて、該当する原因を見いだし、補修や部品交換などのメンテナンスを行う。
【０００４】
【発明が解決しようとする課題】上記した従来の技術には次のような問題点がある。欠陥有り判定時に保存するのは欠陥のある検査対象の画像データ（ＮＧ画像データ）の全体についてである。すなわち、画像処理に際してＣＣＤカメラ等より取り込んだ１フレーム分の画像データをフレームメモリに格納するが、欠陥有りと判定したときは、その１フレーム分全体の画像データを丸ごと保存するようにしている。
【０００５】しかし、このような欠陥のあるＮＧ画像データを保存しておく記憶エリアの記憶容量にはおのずと一定の限界がある。その記憶エリアの記憶容量として、複数フレーム分を確保しているが、規定フレーム分のＮＧ画像データの格納がなされてしまうと、メモリフルの状態になる。このメモリフルの状態は、特に、欠陥が連続して発生する場合、あるいは間欠的ではあっても頻繁に発生する場合に陥る。このような場合、ソフトウェアによって異なるが、それ以上のＮＧ画像データの保存を禁止する手法があり、また、最も古いＮＧ画像データを破棄したうえで最新のＮＧ画像データを格納するという手法もある。前者の場合には、最新の欠陥についてのＮＧ画像データが得られないという不都合がある。後者の場合には、最も古い欠陥についてのＮＧ画像データが得られなくなって、欠陥原因解析において根本原因が突き止めにくくなるおそれがある。いずれにしても、記憶エリアの記憶容量に限界があるので、欠陥有りのときに１フレーム分全体の画像データを丸ごと保存することが大きな原因となっている。
【０００６】記憶容量を大きくすれば、対応ができるマージンが増大するが、それではコストアップは避けられない。
【０００７】また、欠陥のある１フレーム分全体の画像データをフレームメモリから読み出して該当の記憶エリアに転送するのには、比較的多くの時間がかかるという問題もある。
【０００８】本発明は上記した課題の解決を図るべく創作したものであって、欠陥のある検査対象の画像情報の保存の件数を増やすことのできる画像処理装置を提供することを目的としている。
【０００９】
【課題を解決するための手段】上記した課題の解決を図ろうとする本発明にかかわる請求項１の画像処理装置は、次のように構成してある。すなわち、撮像した検査対象の画像データについての画像処理に基づいて欠陥の有無を判定し、欠陥有りと判定したときに当該の欠陥有りの一部分の画像データである部分的欠陥画像データのみを切り出すとともに、取り込み画像データ全領域でのその部分的欠陥画像データが占める座標についての付属情報とともに前記部分的欠陥画像データを保存するように構成してあることを特徴としている。この構成によると、次のような作用がある。すなわち、欠陥有りと判定したときに、従来技術のように１枚分（１フレーム分）全体の画像データを丸ごと保存するのではなく、その欠陥を含んでいる一部分の画像データである部分的欠陥画像データのみを選択的に切り出して保存するので、限られた記憶容量の記憶エリアに対する欠陥のある検査対象の画像情報の保存の件数を増やすことが可能となる。さらに、部分的欠陥画像データを記憶エリアに転送する時間は、１枚分全体の画像データを転送する場合よりも短くなる。また、保存するのが一部分を切り出した部分的欠陥画像データであっても、取り込み画像データ全領域でその部分的欠陥画像データが占める座標を示す付属情報を併せて保存するから、部分的欠陥画像データを再現したりチェックしたりするうえで不都合は生じない。
【００１０】本発明にかかわる請求項２の画像処理装置は、次のような構成となっている。すなわち、検査対象の撮像手段と、撮像で得られる画像データの一時記憶手段と、前記画像データを画像処理し判定基準に従って欠陥の有無を判定する手段と、欠陥有りと判定したときに当該の欠陥有りの部分的欠陥画像データのみを切り出す手段と、取り込み画像データ全領域でのその部分的欠陥画像データが占める座標についての付属情報を生成する手段と、前記部分的欠陥画像データと前記付属情報とを関連付ける手段と、その関連付けられた複合データを保存する手段とを備えていることを特徴としている。この構成は、請求項１の構成をより具体的に記述するものであって、請求項１と同様の作用を発揮する。
【００１１】本発明にかかわる請求項３の画像処理装置は、次のような構成となっている。すなわち、撮像した検査対象の画像データについての画像処理に基づいて欠陥の有無を判定し、欠陥有りと判定したときに当該の欠陥有りの部分的欠陥画像データのみを切り出すとともに、取り込み画像データ全領域でのその部分的欠陥画像データが占める座標についての付属情報とともに前記部分的欠陥画像データを保存し、再生に際してあらかじめ登録しておいた正常全画像データに対して前記部分的欠陥画像データを前記付属情報に基づいて位置合わせして画像合成するように構成してあることを特徴としている。この構成によると、次のような作用がある。すなわち、請求項１と同様に、限られた記憶容量の記憶エリアに対する欠陥のある検査対象の画像情報の保存の件数を増やせるとともに、記憶エリアに対する部分的欠陥画像データの転送が短時間に行え、さらに、保存するのは部分的欠陥画像データであっても、再生に際しては正常全画像データと画像合成した合成画像データとして再現することが可能であり、その画像合成は取り込み画像データ全領域に占める部分的欠陥画像データの座標を示す付属情報に基づいて行われるので、正確な合成画像データを生成することができ、欠陥のある画像データの再現性を良好なものにすることができて、欠陥原因等をチェックするうえで不都合は生じない。
【００１２】本発明にかかわる請求項４の画像処理装置は、次のような構成となっている。すなわち、検査対象の撮像手段と、撮像で得られる画像データの一時記憶手段と、前記画像データを画像処理し判定基準に従って欠陥の有無を判定する手段と、欠陥有りと判定したときに当該の欠陥有りの部分的欠陥画像データのみを切り出す手段と、取り込み画像データ全領域でのその部分的欠陥画像データが占める座標についての付属情報を生成する手段と、前記部分的欠陥画像データと前記付属情報とを関連付ける手段と、その関連付けられた複合データを保存する手段と、あらかじめ正常全画像データを登録しておく手段と、再生に際して前記正常全画像データと前記部分的欠陥画像データと前記付属情報とを読み出し前記付属情報に基づいて前記部分的欠陥画像データを前記正常全画像データに対して位置合わせして画像合成する手段と、その画像合成で得られた合成画像データを読み出して表示用の映像信号に変換する手段とを備えていることを特徴としている。この構成は、請求項３の構成をより具体的に記述するものであって、請求項３と同様の作用を発揮する。
【００１３】本発明にかかわる請求項５の画像処理装置は、上記請求項１〜４において、前記検査対象が搬送されるものであり、その搬送経路の所要の検査ポイントに前記検査対象が到達したことを検出する到達検出手段を備えており、この到達検出手段による検出信号をトリガとして前記検査対象の撮像および欠陥判定を行うように構成してあることを特徴としている。この構成によると、検査対象が搬送されるものであっても、その検査対象をタイミング良く撮像して、上記の作用を得ることが可能となる。
【００１４】本発明にかかわる請求項６の画像処理装置は、上記請求項１〜５において、前記検査対象における検査項目が取り込み画像データに含まれる複数の部分画像の位置ずれまたは品種違いとされていることを特徴としている。本発明は、位置ずれや品種違いの判定に有効な機能を発揮する。
【００１５】
【発明の実施の形態】以下、本発明にかかわる画像処理装置の実施の形態を図面に基づいて詳細に説明する。
【００１６】図１は実施の形態の画像処理装置の電気的構成を示すブロック図である。図１において、符号の１は当該の画像処理装置、２は撮影レンズや絞りなどを含む光学系および固体撮像手段の代表例であるＣＣＤ（電荷結合デバイス）などからなるＣＣＤカメラであり、このＣＣＤカメラ２は、撮影レンズによってＣＣＤ上に光学像を結像し、結像された光学像をＣＣＤで光電変換して電気信号として出力するものである。３はＣＣＤカメラ２からのアナログの映像信号（ＣＣＤ出力信号）をディジタル化して画像データに変換するＡ／Ｄ変換器、４はＣＣＤカメラ２、Ａ／Ｄ変換器３およびフレームメモリ５に対してタイミング信号を出力して画像データの取得のタイミング制御を行うとともに、フレームメモリ５およびＤ／Ａ変換器１１に対してタイミング信号を出力して取得の映像信号の表示のタイミング制御を行うカメラ・表示コントローラ、５は画像データ一時記憶手段の一例としてのフレームメモリ、６はシステム全体の制御を司る制御手段の一例としてのＣＰＵ（中央演算処理装置）、７はＣＰＵ６による演算・制御等のためのプログラムを格納しているＲＯＭ（リードオンリーメモリ）、８はＣＰＵ６の演算・制御等を補助するとともにデータを格納するＲＡＭ（ランダムアクセスメモリ）、９は外部との間でデータや制御信号の入出力を行う入出力インターフェイス、１０はＣＰＵ６、ＲＯＭ７、ＲＡＭ８、カメラ・表示コントローラ４、フレームメモリ６および入出力インターフェイス９を接続するバス、１１はフレームメモリ５からカメラ・表示コントローラ４を介しての画像データをアナログの映像信号に変換するＤ／Ａ変換器、１２は画像処理装置１に図示しないインターフェイスおよびケーブルを介して接続されているＣＲＴ（陰極線管）や液晶ディスプレイ（ＬＣＤ）などのモニタである。フレームメモリ５は、少なくとも１フレーム分以上の画像データを蓄積できる画像メモリであって、ＶＲＡＭ、ＳＲＡＭ、ＤＲＡＭなどが一般的に使用されるが、ここではバス１０とは独立動作可能なＶＲＡＭを使用しているものとする。なお、カメラ・表示コントローラ４とフレームメモリ５とはパラレルなバスラインを介して接続されている。また、入出力インターフェイス９には、ＲＡＭ８に必要な初期値、判定基準等のためのパラメータ、しきい値、その他の条件、必要なデータなどを設定入力したり、必要な指示を与えたりするためのワイヤードリモコンなどの入力操作部１３や画像処理装置１の内部の状況や判断結果などをオペレータや検査要員等に知らせるための警報器１４やインジケータをそれぞれ個別のケーブルを介して接続することが可能となっている。なお、ワイヤードリモコンに代えてワイヤレスリモコンを用いることも可能とし、この場合は、リモコン受信機の出力端子を入出力インターフェイス９に接続するものとする。警報器１４としては、ＬＥＤ（発光ダイオード）、蛍光表示管その他任意の発光素子、灯器、あるいはブザーなどの鳴動器が適用可能とする。さらに、入出力インターフェイス９には、必要な外部記憶装置１５を接続することができるものとする。その外部記憶装置１５としては、ハードディスクドライブなどの磁気記録デバイス、ＭＯ（Magneto Optics）ディスクドライブやＤＶＤ（Digital Versatile Disk）‐ＲＡＭドライブなどの光磁気記録デバイス、フラッシュメモリ、ＥＥＰＲＯＭその他の不揮発性メモリなどの半導体記憶デバイスなどがあり、さらにはＶＴＲ（ビデオテープレコーダ）などでもよいものとする。
【００１７】図２は上記構成の画像処理装置１を適用する生産ライン検査システム２０の概要を示す。図２において、符号の２１は計測対象物３０を搬送するコンベヤなどの搬送手段、２２は搬送手段２１の近傍で搬送されていく計測対象物３０の到達を検出するための到達検出手段の一例としての光電センサであり、検査ポイントＤＰに配置されている。光電センサ２２はケーブル２３を介して画像処理装置１の入出力インターフェイス９に接続されている。なお、説明の便宜上、図２においては、ＣＣＤカメラ２を画像処理装置１の外側に出して描いているが、実際には、ＣＣＤカメラ２は画像処理装置１と一体となっている。もっとも、ＣＣＤカメラ２を画像処理装置１とは別体構成とし、両者をケーブルで接続した態様としてもよい。Ｘは搬送手段２１による搬送方向を示す。
【００１８】図２においては、計測対象物３０として、複数の部品４０を所定間隔をおいて所定位置に載置したトレイが示されている。図３はトレイ３０とそれに載置されている複数の部品４０とを示す概略の平面図である。符号の３１はトレイ３０の底部をなす載置面、３２はトレイ３０の周囲の立ち上がり壁である。この例では、部品４０を６個載置するようにしている。もっとも、このような数値は単なる例示にすぎず、仕様に応じて適宜に変更してよいことはいうまでもない。ＣＣＤカメラ２は、搬送手段２１によって搬送されていくトレイ３０および部品４０をその真上から撮像するように、搬送手段２１の直上に配置されている。なお、後に説明するが、計測対象物３０としては、何も部品を載置したトレイに限る必要はなく、画像処理による検査が可能なものであれば、どのようなものを検査対象としてもよいことを付記しておく。ここでのトレイ３０は一例にすぎない。
【００１９】次に、上記のように構成された実施の形態の場合の生産ライン検査システム２０に適用された画像処理装置１の動作を説明する。
【００２０】駆動されている搬送手段２１によって複数の計測対象物（トレイ）３０が所定の間隔を隔てて連続的に搬送されていく。計測対象物３０は、検査ポイントＤＰの少し上手側において、図示しないアライメント装置により、搬送手段２１上における位置決めが行われているものとする。検査ポイントＤＰに達した計測対象物（トレイ）３０があると、その検査ポイントＤＰに設置されている到達検出手段２２が動作する。到達検出手段２２が光電センサの場合は、次のような動作となる。光電センサ２２は、レーザーダイオードなどの発光素子とフォトダイオードなどの受光素子からなり、発光素子から出射したレーザービームなどが計測対象物３０に当たって反射し、その反射光を受光素子で捕捉し、電気信号に変換し増幅することにより到達検出を行う。
【００２１】計測対象物３０が検査ポイントＤＰに到達したことを到達検出手段２２が検出すると、到達検出手段２２はその検出信号をトリガ信号として画像処理装置１に送出する。画像処理装置１においては、その入出力インターフェイス９を介して入力されてきたトリガ信号がバス１０を介してＣＰＵ６に与えられる。ＣＰＵ６はトリガ信号を入力すると、カメラ・表示コントローラ４に起動信号を出力する。カメラ・表示コントローラ４は起動信号を入力すると、ＣＣＤカメラ２、Ａ／Ｄ変換器３、フレームメモリ５およびＤ／Ａ変換器１１に対してタイミング信号を出力する。
【００２２】ＣＣＤカメラ２におけるＣＣＤはタイミング信号を入力すると、その電子シャッタを開き作動させ、被写体である計測対象物３０を撮像する。すなわち、計測対象物３０の光学像が撮像レンズを介してＣＣＤの表面に結像し、ＣＣＤはその光学像を信号電荷として蓄積しているが、タイミング信号を入力すると、感光部のフォトダイオードから垂直転送ＣＣＤへの転送および垂直転送ＣＣＤから水平転送ＣＣＤへの転送を行い、出力アンプを介して映像信号として出力する。Ａ／Ｄ変換器３はタイミング信号の入力によって起動し、ＣＣＤカメラ２から入力したアナログの映像信号（ＣＣＤ出力信号）をディジタルの画像データに変換する。このＡ／Ｄ変換器３のビット数を例えば８ビットとすると、画像データは２５６階調となる。フレームメモリ５はタイミング信号を入力し、Ａ／Ｄ変換器３と同期をとった状態でＡ／Ｄ変換器３からの１フレーム分の画像データを格納する。なお、８ビットについては、一例にすぎなくて、仕様に応じて適宜に変更してよいことはいうまでもない。
【００２３】カメラ・表示コントローラ４は、フレームメモリ５への画像データの書き込みと並行して、その書き込んだ画像データをフレームメモリ５から読み出し、Ｄ／Ａ変換器１１に転送する。Ｄ／Ａ変換器１１は、転送されてきた画像データをアナログの映像信号に変換し、モニタ１２に出力する。なお、モニタ１２に至る映像信号は、図示しない所要のビデオエンコーダなどによりＮＴＳＣ方式などモニタ１２に適合した所要のフォーマットに変換されているものとする。このようにして、計測対象物３０の到達を検出した時点から、その計測対象物３０を被写体像とする映像をモニタ１２にリアルタイムに映出する。
【００２４】カメラ・表示コントローラ４は１フレーム分の画像データのフレームメモリ５に対する書き込みが完了すると、その書き込み完了信号をＣＰＵ６に出力する。その書き込み完了信号を入力したＣＰＵ６は、ＲＯＭ７から読み出したプログラムおよびＲＡＭ８から読み出した画像処理演算用条件に従って、フレームメモリ５をアクセスし、フレームメモリ５に格納されている１フレーム分全体の画像データを読み出す。そして、１画素単位または複数画素の集合であるブロック単位で所要の画像処理のための演算を実行し、判定のための演算結果をＲＡＭ８にストアする。次に、その演算結果とＲＡＭ８から読み出した判定基準との比較を行い、演算結果が正常であるか否かを判定する。
【００２５】ＲＡＭ８には、あらかじめ入力操作部１３から入出力インターフェイス９およびバス１０を介して画像処理演算用条件や判定基準が設定登録されている。画像処理演算用条件としては、部品４０を識別するための濃度値についてのしきい値や部品４０の載置位置の良否を判定するためのしきい値（上限値と下限値）や部品４０のサイズ、形状などの種別を判定するためなどの判定基準がある。
【００２６】トレイ３０上の複数の部品４０の載置状態の良否判定の場合は、具体的に次のようになる。図４はパターンマッチングの動作説明図である。図４において、符号の５０は図３に示す計測対象物すなわちトレイ３０についての画像データであるトレイ画像、５１は載置面３１についての画像データである載置面画像、５２は立ち上がり壁３２についての画像データである立ち上がり壁画像、６０は部品４０についての画像データである部品画像、１００は取り込み画像データ全領域である。図４に示すように、ＣＣＤカメラ２によって撮像され、フレームメモリ５に格納されている取り込み画像データ全領域１００において、正規の部品画像６０の位置に対応してあらかじめ設定されている破線矩形で図示した計測サーチ領域ＤＳを高速サーチして部品画像６０らしきものを見いだし、ＲＡＭ８から読み出した部品形状に相当するテンプレート画像データと画素比較することのパターンマッチングに基づいて、二点鎖線矩形で図示した計測対象基準画像検出領域ＤＴを抽出し、その計測対象基準画像検出領域ＤＴでの両者の画像データの一致度を算出し、その一致度が所定のしきい値以上となっているか否かを判断し、しきい値以上となっているときは欠陥無しすなわち部品画像６０についての位置ずれ無しと判定し、しきい値未満のときは欠陥有りすなわち部品画像６０についての位置ずれ有りと判定する。また、一致度が所定値以下（この所定値は前記のしきい値よりかなり低く設定されている）のときは、部品が存在していないものと判定する。図４の場合は、すべての部品画像６０がトレイ画像５０に対して適正な位置にあると判断される。すなわち、トレイ３０において複数の部品４０がすべて適正な位置関係で載置されていることになる。
【００２７】図５の場合は、取り込み画像データ全領域１００において、１つの例えば左下の部品画像６０が正規の位置よりも判定基準以上にずれている。すなわち、計測対象基準画像検出領域ＤＴが判定基準以上にずれていて一致度がしきい値未満となっており、欠陥有りと判定されることになる。この場合は、その判定基準以上にずれている１つの部品画像６０について計測サーチ領域ＤＳでの画像データの切り出しを行い、それを欠陥のある部分的欠陥画像データ７０として保存する。つまり、欠陥のある画像データの保存に際して、従来の技術の場合のように取り込み画像データ全領域１００の丸ごとを対象とするのではなく、欠陥のある１つの部品画像６０の計測サーチ領域ＤＳに相当する部分的欠陥画像データ７０のみを切り出して保存するのである。この場合に、その切り出した部分的欠陥画像データ７０の座標データを付属情報８０として部分的欠陥画像データ７０に関連付けて保存する。
【００２８】付属情報８０である座標データとしては、各計測サーチ領域ＤＳの左上角部のＸ座標とＹ座標の組み合わせでよく、それぞれ、（Ｘ1 ，Ｙ1 ），（Ｘ1 ，Ｙ2），（Ｘ1 ，Ｙ3 ），（Ｘ2 ，Ｙ1 ），（Ｘ2 ，Ｙ2 ），（Ｘ2 ，Ｙ3 ）で表される。なお、このような各計測サーチ領域ＤＳについての座標データはあらかじめＲＡＭ８に設定登録されているものとする。
【００２９】図５の場合には、付属情報８０の座標データとしては、（Ｘ1 ，Ｙ3 ）が選択される。ＣＰＵ６は、欠陥有りと判定した部品画像６０についての部分的欠陥画像データ７０と対応する座標データである付属情報８０とを関連付けて複合データ９０となし、この複合データ９０をバス１０を介してＲＡＭ８に転送格納する。
【００３０】なお、ここでは、ＲＡＭ８は充分に大きな記憶容量をもっているものとし、かつ、電源をオフしても記憶内容が消えないように、ＲＡＭ８に対してバックアップを行っているものとする。そのバックアップは、例えばリチウム電池でもよいし、大容量のキャパシタでもよい。なお、ＲＡＭ８に代えて、図１でバス１０に接続した二点鎖線で示すＥＥＰＲＯＭ１６に複合データ９０を保存するようにしてもよい。むしろ、その方が良い。以下では、「ＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段」と記述することとする。
【００３１】図６の場合は、取り込み画像データ全領域１００において、１つの例えば右側中央の部品画像６０が正規の形状とは相違している。この場合も、一致度がしきい値未満となっていて欠陥有りと判定されることになり、その欠陥の１つの部品画像６０について計測サーチ領域ＤＳでの画像データの切り出しを行い、その欠陥のある部分的欠陥画像データ７０と対応する座標データを付属情報８０として関連付け、複合データ９０としてＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段に保存する。図６の場合の付属情報８０の座標データとしては、右側中央の計測サーチ領域ＤＳに対応した座標データ（Ｘ2 ，Ｙ2 ）が付属情報８０として選択される。
【００３２】なお、部品画像６０の面積すなわち画素数が正規と異なる場合も同様の処理が行われる。欠陥有りと判定される部品画像６０が複数生じる場合もある。そのような一例を図７に示しておく。この場合は、欠陥のあるそれぞれの部分的欠陥画像データ７０とそれぞれに対応する座標データを付属情報８０として関連付け、複合データ９０としてＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段に保存することになる。
【００３３】なお、以上のようなパターンマッチングによる画像処理の結果は、カメラ・表示コントローラ４およびＤ／Ａ変換器１１を介してモニタ１２に表示される。また、ＣＰＵ６は、１つでも欠陥を判定したときは、警告信号を出力する。その警告信号はバス１０および入出力インターフェイス９を介して外部に接続の警報器１４に送出され、その警報器１４を動作させることにより、オペレータに対してリアルタイムに異常（ＮＧ）が発生したことを知らせる。
【００３４】以上のＣＰＵ６による動作の概要を図８のフローチャートに示しておく。なお、警告信号の出力はステップＳ７の直後であってもよい。
【００３５】次に、欠陥原因の解析の作業の場合の動作について説明する。
【００３６】図９に示すように、ＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段には取り込み画像データ全領域１００の正常な全画像データ２００が格納されているものとする。この正常全画像データ２００のＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段への格納については、トレイ３０および複数の部品４０の組み合わせ仕様に応じてあらかじめ求めたものを外部記憶装置１５に格納しておき、必要に応じて選択して外部記憶装置１５から入出力インターフェイス９およびバス１０を介してＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段に転送格納するのである。また、ＣＣＤカメラ２から取り込んでフレームメモリ５に格納した取り込み画像データ全領域１００について正常と判断したときに、それを正常全画像データ２００としてＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段に転送格納するのでもよい。あるいは、必ずしもＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段に格納しておく必要はなく、外部記憶装置１５に転送格納しておくのでもよい。
【００３７】オペレータまたは別の検査要員やメンテナンス要員が欠陥原因解析を行うときに、入力操作部１３からの所要の操作を行うと、ＣＰＵ６は、正常全画像データ２００を読み出し、次いで、異常（ＮＧ）とされた部品画像６０についての複合データ９０すなわち部分的欠陥画像データ７０とそれに関連する付属情報８０とを読み出す。付属情報８０は、その部分的欠陥画像データ７０が正常全画像データ２００においてどの位置を占めるかについての座標データである。ＣＰＵ６は、その座標データに基づいて部分的欠陥画像データ７０を正常全画像データ２００に対して上書き式に画像合成し、合成画像データ３００を生成する。図１０は、その画像合成の様子を示す。そして、その合成画像データ３００をフレームメモリ５に転送格納し、カメラ・表示コントローラ４およびＤ／Ａ変換器１１を介して合成画像データ３００をモニタ１２に送出し、モニタ１２において合成画像データ３００の映像を映出する。
【００３８】検査要員等は、その合成画像データ３００の映像の表示を見ることにより、欠陥の原因を究明する。必要に応じて、入力操作部１３からの操作により、モニタ１２に映出されフレームメモリ５に格納されている合成画像データ３００について再度の画像処理を行うことも可能である。この場合に、合成画像データ３００の全体について欠陥の有無の判定を行う画像処理を実施してもよいし、あらかじめ分かっている欠陥のある部分的欠陥画像データ７０の領域においてのみ画像処理を実施してもよい。後者の場合は、欠陥のある部分的欠陥画像データ７０を指定するに際して、それに関連している付属情報８０の座標データに基づいて指定する。これによって、欠陥発生状況を再現することができる。
【００３９】以上のＣＰＵ６による動作の概要を図１１のフローチャートに示しておく。
【００４０】なお、異常（ＮＧ）とされた部分的欠陥画像データ７０とそれに関連する付属情報８０との複合データ９０をＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段に保存するに際して、必ずしも同一記憶エリアに保存することは必須の要件ではない。欠陥有りの部分的欠陥画像データ７０と付属情報８０とをＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段の保存エリアの別の領域に分けて保存し、両者を関係付けるデータ、すなわち当該の部分的欠陥画像データ７０を格納するアドレスと当該の付属情報８０を格納するアドレスとを関係付けたデータをさらに保存すればよいのである。
【００４１】なお、ＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段として大容量のものを採用し、多数の欠陥有りの部分的欠陥画像データおよびそれに関連する付属情報をまとめて、すなわちデータベース化して保存しておくようにすれば、異常の発生原因や発生箇所などについての解析を統計的に行う上で有利となる。検査要員や解析要員は、欠陥の発生がいつから始まっていつまで続いたか、欠陥が量的にどのように変化していったかを解析する。
【００４２】以上のように、本実施の形態の画像処理装置においては、トレイ画像５０において複数の部品画像６０のうち１つでも欠陥有り（位置ずれや形状異常など有り）と判定したとは、従来技術のように１フレーム分全体の画像データを丸ごと保存するのではなく、その欠陥を含んでいる部分的欠陥画像データ７０のみを選択的に切り出して保存するので、記憶容量が限られているＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段においても、そのような部分的欠陥画像データ７０の保存件数を増やすことができる。すなわち、メモリフルになるまでの保存件数が従来技術に比べて大幅に増加する。部分的欠陥画像データ７０とともに座標データを付属情報８０として保存するが、付属情報８０の容量は少ないものですむ。６つの部品画像６０のうち１つだけ欠陥があるときには、図５や図６から推測できるように使用する記憶容量は従来技術の場合の６分の１以下となることは明らかである。特に、欠陥が連続して発生した場合であっても、あるいは間欠的ではあっても頻繁に発生する場合であっても、メモリフルに至るまでには充分なマージンを確保することができる。したがって、新たな欠陥発生に対してそれ以上の保存ができなくなってしまうまでの記憶容量のゆとりがある。あるいは、最も古いＮＧ画像データ（部分的欠陥画像データ）を破棄したうえで最新のＮＧ画像データ（部分的欠陥画像データ）を格納しなければならない状態に至るまでの記憶容量のゆとりがある。したがって、欠陥の発生が多くて時系列的に累積していっても、そのすべてのあるいはほとんど大部分の欠陥有りの部分的欠陥画像データ７０を保存しておくことができ、あとでの欠陥原因解析を有利に進めることができる。そして、この利点を発揮させるのに、ことさらに記憶容量を大きくする必要がなくて、コスト面での負担の増大を抑制できる。さらに、部分的欠陥画像データ７０をＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段に転送する時間は、１フレーム分全体の画像データを丸ごと転送する場合よりも短くなる。
【００４３】そして、あとの欠陥原因解析において、欠陥を示す映像を再生するに際しては、ＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段から正常全画像データ２００を読み出すとともに、異常（ＮＧ）とされた部分的欠陥画像データ７０を読み出し、付属情報８０が示す座標データに基づいて部分的欠陥画像データ７０を正常全画像データ２００の所定の位置において画像合成して、全体の中で部分の欠陥を含んだ状態の合成画像データ３００を生成して、それをモニタ１２に表示するので、欠陥のある画像データの再現性を良好なものにすることができ、欠陥原因等をチェックするうえで不都合は生じない。
【００４４】以上、一つの実施の形態について説明してきたが、本発明は次のように構成したものも含み得るものとする。
【００４５】（１）重要と考えられる変形の実施の形態として、異常（ＮＧ）とされた部分的欠陥画像データ７０とそれに関連する付属情報８０との複合データ９０を保存するデバイスとして、画像処理装置１に内蔵し、バス１０に接続した図１で二点鎖線で示すＥＥＰＲＯＭ１６とするのが好ましい。ＥＥＰＲＯＭ１６は不揮発性メモリであり、長期間の記憶が可能である。また、電気的にデータ消去することも可能であり、非常に好都合である。
【００４６】（２）上記の（１）の変形として、ＥＥＰＲＯＭを入出力インターフェイス９を介して外部に接続するのでもよい。
【００４７】（３）複合データ９０を保存する箇所として、ＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段以外のものとして、外部記憶装置１５を利用するように構成してもよい。その外部記憶装置１５としては、例えば、ハードディスクドライブなどの磁気記録デバイス、ＭＯ（Magneto Optics）ディスクドライブやＤＶＤ‐ＲＡＭドライブなどの光磁気記録デバイス、フラッシュメモリ、ＥＥＰＲＯＭその他の不揮発性メモリなどの半導体記憶デバイスなどがあり、さらにはＶＴＲ（ビデオテープレコーダ）などでもよいものとする。
【００４８】（４）フレームメモリ５に代えてフィールドメモリでもよいし、その他のメモリでもよい。
【００４９】（５）フレームメモリ５をシステムメモリとしてのＲＡＭ８と共用することも可能である。
【００５０】（６）計測対象物３０が所定の検査ポイントＤＰに到達したことを検出する到達検出手段については、上記の実施の形態の光電センサ２２に代えて、超音波センサ、圧電センサ、リミットスイッチなど何であってもよい。あるいは、ＣＣＤカメラ２で撮像して得られた画像データの画像処理に基づいて、すなわち画像データに対して到達検出用のサーチウインドウを設定して、ソフトウェア的に到達検出を判定するように構成してもよい。
【００５１】（７）計測対象物３０としては何も複数の部品４０を載置したトレイ３０に限る必要はなく、また、検査対象としては何も部品４０の位置ずれや形状相違などに限る必要はなく、画像処理による検査が可能なものであれば、どのようなものを検査対象としてもよい。半製品または製品に貼り付けられ、あるいは印刷されているラベルの面積の判定でもよいし、半製品または製品そのもののサイズの判定など何であってもよい。
【００５２】（８）カメラ・表示コントローラ４は、フレームメモリ５への画像データの書き込みと並行して、その書き込んだ画像データをフレームメモリ５から読み出し、Ｄ／Ａ変換器１１に転送し、モニタ１２に映像をリアルタイムで表示したが、このようなリアルタイムの表示はしなくてもよい。つまり、モニタ１２を異常判定のときだけリアルタイムに表示動作させるようにしてもよいし、あるいはそれもなくして、異常の原因究明のときにだけ用いるようにすることも可能である。
【００５３】（９）欠陥有りのときの部分的欠陥画像データ７０等の保存に際しては、画像データを圧縮してから保存するように構成してもよい。この場合、表示に際しては画像伸張して表示するものとする。
【００５４】（１０）モデムカードやＩＳＤＮカードを利用して公衆回線あるいは専用回線を介して画像データ等を遠隔の端末に送出するように構成してもよい。
【００５５】（１１）上記の実施の形態では、欠陥のある検査対象の画像データについて部分的欠陥画像データ７０に付属情報８０を関連付けて複合データ９０となし、これを保存するようにしたが、これとともに、正常とされるＯＫ画像データについても同様に、付属情報を関連付けて複合データとなして保存するように構成してもよい。
【００５６】（１２）その他本発明の要旨と直接に関係しない任意の事項については、公知の任意のものが適用可能であり、また、公知以外のものであっても、本発明の要旨を逸脱しない範囲において適用可能であることはいうまでもない。
【００５７】上記の（１）〜（１２）は互いに独立した事項であり、これらのうち任意の事項を任意数適当に組み合わせてもよきものとする。
【００５８】
【発明の効果】画像処理装置についての請求項１の発明によれば、欠陥のある検査対象の画像情報の保存件数を増やすことができるとともに、記憶エリアに対する部分的欠陥画像データの転送を短時間に行うことができ、さらに保存するのが一部分を切り出した部分的欠陥画像データであっても、全領域での占める位置を示す付属情報を併せて保存するから、欠陥有りの検査対象の映像の再現およびチェックは良好に行うことができる。また、請求項２の発明によっても、上記請求項１と同様の効果が得られる。
【００５９】請求項３の発明によれば、上記請求項１の効果に加えて、再生に際して、正規の位置関係で部分的欠陥画像データを正常全画像データに画像合成したうえで再生させるので、意義ある情報を欠損することなく、良好で精度の高い再現性を確保することができ、欠陥原因等をチェックするうえで好都合となる。また、請求項４の発明によっても、上記請求項３と同様の効果が得られる。
【００６０】請求項５の発明によれば、生産ライン等で搬送される検査対象について、検査対象をタイミング良く撮像し、効率良く検査することができ、また、上記と同様の効果が得られる。
【００６１】請求項６の発明によれば、位置ずれまたは品種違いの判定において、本発明を好適に実施することが可能となる。
【図面の簡単な説明】
【図１】 本発明の実施の形態の画像処理装置の電気的構成を示すブロック図
【図２】 実施の形態の画像処理装置を適用する生産ライン検査システムの概要の説明図
【図３】 実施の形態の生産ライン検査システムで搬送されるトレイとそれに載置されている複数の部品とを示す概略の平面図
【図４】 実施の形態の画像処理装置によるパターンマッチングの動作説明図
【図５】 実施の形態の画像処理装置によるパターンマッチングで欠陥有りすなわち位置ずれ有りと判定される場合の動作説明図
【図６】 実施の形態の画像処理装置によるパターンマッチングで欠陥有りすなわち形状相違と判定される場合の動作説明図
【図７】 欠陥有りとされる部品画像が複数ある場合のパターンマッチングの動作説明図
【図８】 実施の形態の画像処理装置のパターンマッチングの際の動作を示す概略のフローチャート
【図９】 実施の形態の画像処理装置においてその記憶手段に格納されている正常全画像データのフォーマット
【図１０】 実施の形態の画像処理装置における正常全画像データと部分的欠陥画像データとの画像合成の動作説明図
【図１１】 実施の形態の画像処理装置における欠陥原因解析の際の動作を示す概略のフローチャート
【符号の説明】
１…画像処理装置、２…ＣＣＤカメラ、３…Ａ／Ｄ変換器、４…カメラ・表示コントローラ、５…フレームメモリ、６…ＣＰＵ、７…ＲＯＭ、８…ＲＡＭ、９…入出力インターフェイス、１０…バス、１１…Ｄ／Ａ変換器、１２…モニタ、１３…入力操作部、１４…警報器、１５…外部記憶装置、１６…ＥＥＰＲＯＭ、２０…生産ライン検査システム、２１…搬送手段、２２…到達検出手段（光電センサ）、２３…ケーブル、３０…計測対象物（トレイ）、３１…載置面、３２…立ち上がり壁、４０…部品、５０…トレイ画像、５１…載置面画像、５２…立ち上がり壁画像、６０…部品画像、７０…部分的欠陥画像データ、８０…付属情報、９０…複合データ、１００…取り込み画像データ全領域、２００…正常全画像データ、３００…合成画像データ、ＤＰ…検査ポイント、ＤＳ…計測サーチ領域、ＤＴ…計測対象基準画像検出領域、Ｘ…搬送方向
【特許請求の範囲】
【請求項１】 撮像した検査対象の画像データについての画像処理に基づいて欠陥の有無を判定し、欠陥有りと判定したときに当該の欠陥有りの部分的欠陥画像データのみを切り出すとともに、取り込み画像データ全領域でのその部分的欠陥画像データが占める座標についての付属情報とともに前記部分的欠陥画像データを保存するように構成してあることを特徴とする画像処理装置。
【請求項２】 検査対象の撮像手段と、撮像で得られる画像データの一時記憶手段と、前記画像データを画像処理し判定基準に従って欠陥の有無を判定する手段と、欠陥有りと判定したときに当該の欠陥有りの部分的欠陥画像データのみを切り出す手段と、取り込み画像データ全領域でのその部分的欠陥画像データが占める座標についての付属情報を生成する手段と、前記部分的欠陥画像データと前記付属情報とを関連付ける手段と、その関連付けられた複合データを保存する手段とを備えていることを特徴とする画像処理装置。
【請求項３】 撮像した検査対象の画像データについての画像処理に基づいて欠陥の有無を判定し、欠陥有りと判定したときに当該の欠陥有りの部分的欠陥画像データのみを切り出すとともに、取り込み画像データ全領域でのその部分的欠陥画像データが占める座標についての付属情報とともに前記部分的欠陥画像データを保存し、再生に際してあらかじめ登録しておいた正常全画像データに対して前記部分的欠陥画像データを前記付属情報に基づいて位置合わせして画像合成するように構成してあることを特徴とする画像処理装置。
【請求項４】 検査対象の撮像手段と、撮像で得られる画像データの一時記憶手段と、前記画像データを画像処理し判定基準に従って欠陥の有無を判定する手段と、欠陥有りと判定したときに当該の欠陥有りの部分的欠陥画像データのみを切り出す手段と、取り込み画像データ全領域でのその部分的欠陥画像データが占める座標についての付属情報を生成する手段と、前記部分的欠陥画像データと前記付属情報とを関連付ける手段と、その関連付けられた複合データを保存する手段と、あらかじめ正常全画像データを登録しておく手段と、再生に際して前記正常全画像データと前記部分的欠陥画像データと前記付属情報とを読み出し前記付属情報に基づいて前記部分的欠陥画像データを前記正常全画像データに対して位置合わせして画像合成する手段と、その画像合成で得られた合成画像データを読み出して表示用の映像信号に変換する手段とを備えていることを特徴とする画像処理装置。
【請求項５】 前記検査対象が搬送されるものであり、その搬送経路の所要の検査ポイントに前記検査対象が到達したことを検出する到達検出手段を備えており、この到達検出手段による検出信号をトリガとして前記検査対象の撮像および欠陥判定を行うように構成してあることを特徴とする請求項１から請求項４までのいずれかに記載の画像処理装置。
【請求項６】 前記検査対象における検査項目が取り込み画像データに含まれる複数の部分画像の位置ずれまたは品種違いとされていることを特徴とする請求項１から請求項５までのいずれかに記載の画像処理装置。
【請求項１】 撮像した検査対象の画像データについての画像処理に基づいて欠陥の有無を判定し、欠陥有りと判定したときに当該の欠陥有りの部分的欠陥画像データのみを切り出すとともに、取り込み画像データ全領域でのその部分的欠陥画像データが占める座標についての付属情報とともに前記部分的欠陥画像データを保存するように構成してあることを特徴とする画像処理装置。
【請求項２】 検査対象の撮像手段と、撮像で得られる画像データの一時記憶手段と、前記画像データを画像処理し判定基準に従って欠陥の有無を判定する手段と、欠陥有りと判定したときに当該の欠陥有りの部分的欠陥画像データのみを切り出す手段と、取り込み画像データ全領域でのその部分的欠陥画像データが占める座標についての付属情報を生成する手段と、前記部分的欠陥画像データと前記付属情報とを関連付ける手段と、その関連付けられた複合データを保存する手段とを備えていることを特徴とする画像処理装置。
【請求項３】 撮像した検査対象の画像データについての画像処理に基づいて欠陥の有無を判定し、欠陥有りと判定したときに当該の欠陥有りの部分的欠陥画像データのみを切り出すとともに、取り込み画像データ全領域でのその部分的欠陥画像データが占める座標についての付属情報とともに前記部分的欠陥画像データを保存し、再生に際してあらかじめ登録しておいた正常全画像データに対して前記部分的欠陥画像データを前記付属情報に基づいて位置合わせして画像合成するように構成してあることを特徴とする画像処理装置。
【請求項４】 検査対象の撮像手段と、撮像で得られる画像データの一時記憶手段と、前記画像データを画像処理し判定基準に従って欠陥の有無を判定する手段と、欠陥有りと判定したときに当該の欠陥有りの部分的欠陥画像データのみを切り出す手段と、取り込み画像データ全領域でのその部分的欠陥画像データが占める座標についての付属情報を生成する手段と、前記部分的欠陥画像データと前記付属情報とを関連付ける手段と、その関連付けられた複合データを保存する手段と、あらかじめ正常全画像データを登録しておく手段と、再生に際して前記正常全画像データと前記部分的欠陥画像データと前記付属情報とを読み出し前記付属情報に基づいて前記部分的欠陥画像データを前記正常全画像データに対して位置合わせして画像合成する手段と、その画像合成で得られた合成画像データを読み出して表示用の映像信号に変換する手段とを備えていることを特徴とする画像処理装置。
【請求項５】 前記検査対象が搬送されるものであり、その搬送経路の所要の検査ポイントに前記検査対象が到達したことを検出する到達検出手段を備えており、この到達検出手段による検出信号をトリガとして前記検査対象の撮像および欠陥判定を行うように構成してあることを特徴とする請求項１から請求項４までのいずれかに記載の画像処理装置。
【請求項６】 前記検査対象における検査項目が取り込み画像データに含まれる複数の部分画像の位置ずれまたは品種違いとされていることを特徴とする請求項１から請求項５までのいずれかに記載の画像処理装置。
【図３】
【図１】
【図２】
【図４】
【図５】
【図６】
【図７】
【図９】
【図８】
【図１０】
【図１１】
【図１】
【図２】
【図４】
【図５】
【図６】
【図７】
【図９】
【図８】
【図１０】
【図１１】
【公開番号】特開２０００−３３１１６２（Ｐ２０００−３３１１６２Ａ）
【公開日】平成１２年１１月３０日（２０００．１１．３０）
【国際特許分類】
【出願番号】特願平１１−１４３２６１
【出願日】平成１１年５月２４日（１９９９．５．２４）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【出願人】（５９１０７２５６９）シャープマニファクチャリングシステム株式会社 (17)
【Ｆターム（参考）】
【公開日】平成１２年１１月３０日（２０００．１１．３０）
【国際特許分類】
【出願日】平成１１年５月２４日（１９９９．５．２４）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【出願人】（５９１０７２５６９）シャープマニファクチャリングシステム株式会社 (17)
【Ｆターム（参考）】
[ Back to top ]