画像処理装置および画像処理システム
【課題】画像処理を止めたりあるいは遅らせたりすることなく、画像処理に使用された画像データを出力する。
【解決手段】カメラ3から画像データを得る画像入力インターフェース101と、その画像データを記憶するVRAM153と、CPU160およびメインメモリ161とにより成る画像処理装置に対し、画像入力インターフェース101からの画像データを記憶するVRAM105と、CPU130およびメインメモリ131と、CPU160とCPU130との間に介設され、これらの間でやりとりされる情報の転送を行うデュアルポートメモリ135とを備えた。VRAM105,153は、それぞれ、A/D変換器101とCPU130,160との間に配置される。CPU160は、VRAM153に記憶された画像データを用いて画像処理を実行して外観検査測定を行う一方、CPU130は、VRAM105に記憶された画像データの出力処理を実行する。
【解決手段】カメラ3から画像データを得る画像入力インターフェース101と、その画像データを記憶するVRAM153と、CPU160およびメインメモリ161とにより成る画像処理装置に対し、画像入力インターフェース101からの画像データを記憶するVRAM105と、CPU130およびメインメモリ131と、CPU160とCPU130との間に介設され、これらの間でやりとりされる情報の転送を行うデュアルポートメモリ135とを備えた。VRAM105,153は、それぞれ、A/D変換器101とCPU130,160との間に配置される。CPU160は、VRAM153に記憶された画像データを用いて画像処理を実行して外観検査測定を行う一方、CPU130は、VRAM105に記憶された画像データの出力処理を実行する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば製造ラインにおいて、製造物などの検査対象の外観検査測定に使用される画像処理装置および画像処理システムに関するものである。
【背景技術】
【0002】
上記外観検査測定には、検査対象の外観検査、寸法、形状、位置などの測定、傷クラック検査、文字検査などが含まれるが、このような外観検査測定で、良品または不良品の判定結果となった検査対象の良品画像または不良品画像を画像処理装置から出力する必要が多々生じる。どのような場合に画像データを出力する必要があるかについては、例えば、上記判定の基準品と実際の検査対象との差が製造上の誤差などによる若干の差であるときに、本来良品とすべきところ不良品の判定結果となってしまった場合、どのような画像処理で不良品の判定結果となったのかを調査する必要が生じた場合、以前の設定についてどのような画像処理で例えば良品としていたのかを調査する必要が生じた場合などが挙げられる。
【0003】
しかし、製造では、決められた一定水準以上の生産性を確保する必要があるのであるが、画像処理による外観検査測定の結果の善し悪しで、良品画像または不良品画像の画像データを画像処理装置から得るために画像処理を止めたり、あるいは遅らせたりすると、検査対象の製造物を製造するための一連の作業が遅れ、全体の生産効率が下がり、この結果、上記一定水準以上の生産性を確保することができなくなる。
【0004】
このため、製造中に画像処理を止めたりあるいは遅らせたりすることなく、画像処理に使用された画像データを出力させる仕組みが望まれる。画像データを出力することについては、例えばパソコン(パーソナル・コンピュータ)で読み込める形態でSDカードなどの記憶媒体に書込み出力する構成でも、通信インターフェースを介してパソコンに送信出力する構成でもどちらでも構わない。また、画像データを出力する際に、対応する各種パラメータや外観検査測定の結果も同時に出力することができるようにすることが望ましい。このようにすれば、製造中に画像処理を止めたりあるいは遅らせたりすることなく、画像処理に使用された画像データを取り出して、製造と平行しながら、別のパソコンで画像処理の内容を解析したり、確認したりすることができる。
【0005】
なお、特許文献1には、撮像により得た画像データを部品が変わる度に所定の記憶領域に交互に取り込んで記憶することにより、電子部品の外観検査を高速なタクトタイムで実施できる電子部品の外観検査装置が開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開平10−78308号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、画像データの情報量が大きく、その画像データの出力に時間がかかることが、画像処理の内容の解析または確認などを妨げる要因となるので、上記仕組みを設けることは簡単なことではない。
【0008】
画像処理装置を使用する生産ラインの機械的なタクト周期が年々高速になっているので、これに合わせて画像処理を高速に実行させる必要がある。画像処理装置に接続される撮像装置の種類が、例えば標準カメラ、倍速カメラまたはメガピクセルカメラであるとき、その撮像周期は、それぞれ、33.3ms(30フレーム/秒)、16.7ms(60フレーム/秒)または66.7ms(15フレーム/秒)となる。したがって、コマ落ちなく外観検査測定を行うためには、上記撮像周期よりも高速に画像処理を実行させなければならないので、そのような高速の画像処理を妨げないように、画像データを出力する必要がある。
【0009】
また、標準カメラ、倍速カメラまたはメガピクセルカメラの場合、出力するべき画像データの情報量は、それぞれ、約256Kバイト(画像1枚の画素数が512×480画素の場合)、約256Kバイト(画像1枚の画素数が512×480画素の場合)または約1Mバイト(画像1枚の画素数が1024×960画素の場合)となる。近年、検査対象の小型、精密化によって、高精度な画像処理が必要となって撮像装置の画素数が増大する傾向にあり、これに伴って、画像処理装置が扱う画像データも増大する傾向にある。
【0010】
従来の画像処理装置では、画像データを保存する場合、保存時間の観点からSRAM(Static RAM)などの高速メモリが使用される。そのSRAMには、通常、画像処理を行うCPU(中央処理装置)によって画像データが保存されるが、SRAMは、数十MB程度の比較的小さな容量しか持っていないので、上記のような大きな画像データの場合には数枚〜数十枚程度しか保存することができない。また、RAMは、揮発性のため、バッテリなどのバックアップ電源を使用しなければ、電源のオフ時点で、保存した画像データが消去されることになる。
【0011】
このほか、従来の画像処理装置には、より多くの画像データを保存するべく、RAM以外の不揮発性メモリを搭載しているものがある。近時においては、SDカード、コンパクトフラッシュ(登録商標)、メモリスティックなどの小型で低価格の大容量フラッシュROMが普及し、これらを画像データの記憶媒体に使用することによって、多くの枚数をバックアップ電源なしで保持することができるようになっている。
【0012】
しかしながら、この種の記憶媒体は、素子の性質上、保存時間が問題となる。例えばSDカードの場合、512×480画像(約256Kバイト)または1024×960画像(約1Mバイト)の画像データを保存するためには、それぞれ2.9秒または12.4秒の時間がかかる。このように保存時間が秒単位となると、画像処理を行うCPUが画像データを保存する構成の場合、保存時間が撮像周期を大きく上回るため、画像データを保存する毎に、画像処理が停止することになる。加えて、画像処理の過程の処理内容を知る上で重要となるその過程で生起する画像データ(例えば、エッジ位置を検出する過程で求められる微分値画像など、原画像に対し、判定前に特定の画像処理が行われた途中経過の画像、処理途中で導出されるデータ等)を保存することがさらに困難となる。
【0013】
共通の記憶装置(共有メモリ)を使用して多重処理をするマルチプロセッサの構成でも、各CPUは共有メモリに同時にアクセスすることができず、時分割的に共有メモリを使用する必要があることから、結果として画像処理が遅れることになる。
【0014】
本発明は、上記事情に鑑みてなされたものであり、画像処理を止めたりあるいは遅らせたりすることなく、画像処理に使用された画像データを出力することができる画像処理装置および画像処理システムを提供することを目的とする。
【課題を解決するための手段】
【0015】
上記課題を解決するための請求項1記載の発明の画像処理装置は、検査対象の撮像を行う少なくとも1台の撮像装置から画像データを得る画像入力インターフェースと、この画像入力インターフェースで得られた画像データを取り込んで記憶する第1画像メモリと、この第1画像メモリに記憶された画像データを読出し自在に、前記第1画像メモリに接続された第1中央処理装置および第1主記憶装置と、前記画像入力インターフェースで得られた画像データを取り込んで記憶する第2画像メモリと、この第2画像メモリに記憶された画像データを読出し自在に、前記第2画像メモリに接続された第2中央処理装置および第2主記憶装置と、前記第1中央処理装置と前記第2中央処理装置との間に介設され、これらの間でやりとりされる情報の転送を行う中央処理装置間通信部とを備え、前記第1画像メモリおよび前記第2画像メモリは、それぞれ、前記画像入力インターフェースと前記第1中央処理装置および前記第2中央処理装置との間に配置され、前記第1中央処理装置は、前記第1画像メモリに記憶された画像データを用いて画像処理を実行することにより前記検査対象の外観検査測定を行う一方、前記第2中央処理装置は、前記第2画像メモリに記憶された画像データの出力処理を実行することを特徴とする。
【0016】
請求項2記載の発明は、請求項1記載の画像処理装置において、前記画像入力インターフェースの出力に接続された第1および第2ゲートアレイをさらに備え、前記第1画像メモリは、前記画像入力インターフェースに前記第1ゲートアレイを介して接続され、この第1ゲートアレイの制御下で、前記画像入力インターフェースで得られた画像データを取り込んで記憶し、前記第1中央処理装置および第1主記憶装置は、前記第1ゲートアレイの制御下で、前記第1画像メモリに記憶された画像データを読出し自在に、前記第1ゲートアレイを介して前記第1画像メモリに接続され、前記第2画像メモリは、前記画像入力インターフェースに前記第2ゲートアレイを介して接続され、この第2ゲートアレイの制御下で、前記画像入力インターフェースで得られた画像データを取り込んで記憶し、前記第2中央処理装置および第2主記憶装置は、前記第2ゲートアレイの制御下で、前記第2画像メモリに記憶された画像データを読出し自在に、前記第2ゲートアレイを介して前記第2画像メモリに接続されたことを特徴とする。
【0017】
請求項3記載の発明は、請求項2記載の画像処理装置において、前記第1および第2画像メモリの各々は、複数フレーム分の画像データの記憶領域を持ち、前記第1および第2ゲートアレイは、それぞれ、前記第1および第2画像メモリにおける記憶領域のうち一フレーム分の画像データの記憶領域をカレントフレームの画像データの記憶領域とし、この記憶領域に、前記画像入力インターフェースで得られた画像データを記憶する制御を行うほか、その記憶領域に記憶した画像データの記憶状態を一時保存する場合には、前記第1および第2画像メモリにおける記憶領域のうち別の一フレーム分の画像データの記憶領域をカレントフレームの画像データの記憶領域とし、この記憶領域に、前記画像入力インターフェースで得られた画像データを記憶する制御を行うことを特徴とする。
【0018】
請求項4記載の発明は、請求項1〜3のいずれか1項に記載の画像処理装置において、外部コンピュータと通信をするための通信インターフェースを前記第2中央処理装置側にさらに備え、前記第1中央処理装置は、前記中央処理装置間通信部を経由して、前記画像処理に必要な各種パラメータおよびその画像処理結果の少なくとも一方を含む画像処理状況データを前記第2中央処理装置側に送信し、前記第2中央処理装置は、前記出力処理として、前記通信インターフェースを介して、前記第1中央処理装置からの画像処理状況データを、対応する画像データとともに前記外部コンピュータに送信することを特徴とする。
【0019】
請求項5記載の発明は、請求項1〜3のいずれか1項に記載の画像処理装置において、前記第2画像メモリに記憶された画像データを着脱式の記憶媒体に書込み出力するための記憶装置を前記第2中央処理装置側にさらに接続して備え、前記第1中央処理装置は、前記中央処理装置間通信部を経由して、前記画像処理に必要な各種パラメータおよびその画像処理結果の少なくとも一方を含む画像処理状況データを前記第2中央処理装置に送信し、前記第2中央処理装置は、前記出力処理として、前記記憶装置を介して、前記第1中央処理装置からの画像処理状況データを、対応する画像データとともに前記記憶媒体に書込み出力することを特徴とする。
【0020】
請求項6記載の発明は、請求項5記載の画像処理装置において、前記第2画像メモリは、画像データの読出しおよび書込み自在に前記第2中央処理装置および第2主記憶装置にさらに接続され、前記第2中央処理装置は、前記記憶装置を介して、前記記憶媒体に書き込まれた画像データを前記第2画像メモリに読み出し、前記第1中央処理装置は、前記記憶媒体から前記第2画像メモリに読み出された画像データを用いて画像処理を再度実行することを特徴とする。
【0021】
請求項7記載の発明は、請求項4〜6のいずれか1項に記載の画像処理装置において、前記第1中央処理装置は、前記画像処理の経過中または経過後の結果について所定の判定を行い、この判定結果に従って、前記中央処理装置間通信部を介して、前記第2中央処理装置側に前記画像処理状況データを送信するとともに、この画像処理状況データに対応する画像データを指定することを特徴とする。
【0022】
請求項8記載の発明は、請求項7記載の画像処理装置において、前記所定の判定とは、前記画像処理において、不良判定結果が所定数連続したか否かの判定、不良判定率が所定率を超えたか否かの判定および所定の異常が発生したか否かの判定の少なくとも1つの判定を含む良否判定のことであることを特徴とする。
【0023】
請求項9記載の発明は、請求項7記載の画像処理装置において、前記所定の判定とは、少なくとも一つの判定項目についての良品不良品の判定結果が所定率発生したか否かの判定のことであることを特徴とする。
【0024】
請求項10記載の発明は、請求項8または9記載の画像処理装置において、前記判定のための基準は前記外部コンピュータまたは外部機器から入力されることを特徴とする。
【0025】
請求項11記載の発明の画像処理システムは、請求項4〜10のいずれか1項に記載の画像処理装置と、この画像処理装置に具備された通信インターフェースに対応する通信インターフェースを有する外部コンピュータとを備え、この外部コンピュータは、当該外部コンピュータが有する通信インターフェースを介して前記画像処理装置から得た画像処理状況データおよび画像データを用いて、前記第1中央処理装置による画像処理と同様の画像処理を実行することにより、前記検査対象の外観検査測定のシミュレーションを行うことを特徴とする。
【0026】
請求項12記載の発明は、請求項11記載の画像処理システムにおいて、前記外部コンピュータは、前記画像処理状況データに含まれる各種パラメータのうち少なくとも一つのパラメータを変更する必要がある場合、そのパラメータを変更して前記シミュレーションを再度行い、そのシミュレーションにより最適な画像処理結果が得られると、その最適な画像処理結果となったパラメータを含むデータを前記画像処理装置に送信設定することを特徴とする。
【発明の効果】
【0027】
以上のことから明らかなように、請求項1記載の発明の画像処理装置は、検査対象の撮像を行う少なくとも1台の撮像装置から画像データを得る画像入力インターフェースと、この画像入力インターフェースで得られた画像データを取り込んで記憶する第1画像メモリと、この第1画像メモリに記憶された画像データを読出し自在に、前記第1画像メモリに接続された第1中央処理装置および第1主記憶装置と、前記画像入力インターフェースで得られた画像データを取り込んで記憶する第2画像メモリと、この第2画像メモリに記憶された画像データを読出し自在に、前記第2画像メモリに接続された第2中央処理装置および第2主記憶装置と、前記第1中央処理装置と前記第2中央処理装置との間に介設され、これらの間でやりとりされる情報の転送を行う中央処理装置間通信部とを備え、前記第1画像メモリおよび前記第2画像メモリは、それぞれ、前記画像入力インターフェースと前記第1中央処理装置および前記第2中央処理装置との間に配置され、前記第1中央処理装置は、前記第1画像メモリに記憶された画像データを用いて画像処理を実行することにより前記検査対象の外観検査測定を行う一方、前記第2中央処理装置は、前記第2画像メモリに記憶された画像データの出力処理を実行するので、例えば、入力装置を用いて入力された第2画像メモリの画像データの出力指示に従って、第2中央処理装置が第2画像メモリに記憶された画像データの出力処理を行う場合、第2画像メモリの画像データの出力処理から第1中央処理装置が完全に解放されるから、また例えば第1中央処理装置が、中央処理装置間通信部を経由した情報の転送により第2中央処理装置に対して、第1画像メモリに記憶された画像データに対応する第2画像メモリに記憶された画像データの出力指示をする場合でも、第1中央処理装置に加わる負荷が数バイト程度の出力指示データを含む通信メッセージの送信処理のみで済むから、画像処理を止めたりあるいは遅らせたりすることなく、画像処理に使用された画像データを出力することができる。また、画像データの大容量化に伴い、SRAMなどの容量不足の対策として用いられる記憶媒体の保存速度ないし時間に起因する画像処理全体の能力低下という課題も解決することができる。さらに、画像データの出力の遅さに対処することができ、従来よりも多くの情報を出力することができるため、画像処理の途中画像の出力が可能となる。
【0028】
請求項2記載の発明は、請求項1記載の画像処理装置において、前記画像入力インターフェースの出力に接続された第1および第2ゲートアレイをさらに備え、前記第1画像メモリは、前記画像入力インターフェースに前記第1ゲートアレイを介して接続され、この第1ゲートアレイの制御下で、前記画像入力インターフェースで得られた画像データを取り込んで記憶し、前記第1中央処理装置および第1主記憶装置は、前記第1ゲートアレイの制御下で、前記第1画像メモリに記憶された画像データを読出し自在に、前記第1ゲートアレイを介して前記第1画像メモリに接続され、前記第2画像メモリは、前記画像入力インターフェースに前記第2ゲートアレイを介して接続され、この第2ゲートアレイの制御下で、前記画像入力インターフェースで得られた画像データを取り込んで記憶し、前記第2中央処理装置および第2主記憶装置は、前記第2ゲートアレイの制御下で、前記第2画像メモリに記憶された画像データを読出し自在に、前記第2ゲートアレイを介して前記第2画像メモリに接続されているので、画像入力インターフェースから第1および第2画像メモリへの画像データの読出し処理が第1および第2ゲートアレイにより実行されるので、第1および第2中央処理装置に加わる負荷を軽減することができる。
【0029】
請求項3記載の発明は、請求項2記載の画像処理装置において、前記第1および第2画像メモリの各々は、複数フレーム分の画像データの記憶領域を持ち、前記第1および第2ゲートアレイは、それぞれ、前記第1および第2画像メモリにおける記憶領域のうち一フレーム分の画像データの記憶領域をカレントフレームの画像データの記憶領域とし、この記憶領域に、前記画像入力インターフェースで得られた画像データを記憶する制御を行うほか、その記憶領域に記憶した画像データの記憶状態を一時保存する場合には、前記第1および第2画像メモリにおける記憶領域のうち別の一フレーム分の画像データの記憶領域をカレントフレームの画像データの記憶領域とし、この記憶領域に、前記画像入力インターフェースで得られた画像データを記憶する制御を行うので、複数フレーム分の画像データを用いた画像処理が可能になるほか、画像処理サイクルより画像データの出力処理サイクルの方が長く、例えば画像データを出力する必要のある判定結果が続く場合でも、出力すべき画像データがこれに続く出力すべき画像データによって上書きされることがなくなり、出力すべき画像データの出力時間を稼ぐことができるとともに、第2中央処理装置に低速のものを使用することが可能になる。
【0030】
請求項4記載の発明は、請求項1〜3のいずれか1項に記載の画像処理装置において、外部コンピュータと通信をするための通信インターフェースを前記第2中央処理装置側にさらに備え、前記第1中央処理装置は、前記中央処理装置間通信部を経由して、前記画像処理に必要な各種パラメータおよびその画像処理結果の少なくとも一方を含む画像処理状況データを前記第2中央処理装置側に送信し、前記第2中央処理装置は、前記出力処理として、前記通信インターフェースを介して、前記第1中央処理装置からの画像処理状況データを、対応する画像データとともに前記外部コンピュータに送信するので、より好適な解析が可能となる。
【0031】
請求項5記載の発明は、請求項1〜3のいずれか1項に記載の画像処理装置において、前記第2画像メモリに記憶された画像データを着脱式の記憶媒体に書込み出力するための記憶装置を前記第2中央処理装置側にさらに接続して備え、前記第1中央処理装置は、前記中央処理装置間通信部を経由して、前記画像処理に必要な各種パラメータおよびその画像処理結果の少なくとも一方を含む画像処理状況データを前記第2中央処理装置に送信し、前記第2中央処理装置は、前記出力処理として、前記記憶装置を介して、前記第1中央処理装置からの画像処理状況データを、対応する画像データとともに前記記憶媒体に書込み出力するので、より好適な解析が可能となる。また、オフラインの別のコンピュータで画像データおよび画像処理状況の確認が行え、外部コンピュータをオンラインで接続しておく必要がない。
【0032】
請求項6記載の発明は、請求項5記載の画像処理装置において、前記第2画像メモリは、画像データの読出しおよび書込み自在に前記第2中央処理装置および第2主記憶装置にさらに接続され、前記第2中央処理装置は、前記記憶装置を介して、前記記憶媒体に書き込まれた画像データを前記第2画像メモリに読み出し、前記第1中央処理装置は、前記記憶媒体から前記第2画像メモリに読み出された画像データを用いて画像処理を再度実行するので、記憶媒体に書き込まれた画像データの読み出し時に生じ得る画像処理の遅れを抑制することができる。
【0033】
請求項7記載の発明は、請求項4〜6のいずれか1項に記載の画像処理装置において、前記第1中央処理装置は、前記画像処理の経過中または経過後の結果について所定の判定を行い、この判定結果に従って、前記中央処理装置間通信部を介して、前記第2中央処理装置側に前記画像処理状況データを送信するとともに、この画像処理状況データに対応する画像データを指定するので、画像処理の経過中または経過後において解析などに必要となった画像データが出力されることになり、無用な画像データの出力が防止され、出力された画像データの利用価値が高まる。
【0034】
請求項8記載の発明は、請求項7記載の画像処理装置において、前記所定の判定とは、前記画像処理において、不良判定結果が所定数連続したか否かの判定、不良判定率が所定率を超えたか否かの判定および所定の異常が発生したか否かの判定の少なくとも1つの判定を含む良否判定のことであるので、良否判定状況に応じて必要な画像データに絞って出力することが可能となり、第1および第2画像メモリの記憶容量を効率的に使用することができる。
【0035】
請求項9記載の発明は、請求項7記載の画像処理装置において、前記所定の判定とは、少なくとも一つの判定項目についての良品不良品の判定結果が所定率発生したか否かの判定のことであるので、良否判定状況に応じて必要な画像データに絞って出力することが可能となる。
【0036】
請求項10記載の発明は、請求項8または9記載の画像処理装置において、前記判定のための基準は前記外部コンピュータまたは外部機器から入力されるので、画像処理前後、画像処理中にかかわらず、判定のための基準の設定ないし変更が可能となる。
【0037】
請求項11記載の発明の画像処理システムは、請求項4〜10のいずれか1項に記載の画像処理装置と、この画像処理装置に具備された通信インターフェースに対応する通信インターフェースを有する外部コンピュータとを備え、この外部コンピュータは、当該外部コンピュータが有する通信インターフェースを介して前記画像処理装置から得た画像処理状況データおよび画像データを用いて、前記第1中央処理装置による画像処理と同様の画像処理を実行することにより、前記検査対象の外観検査測定のシミュレーションを行うので、画像処理装置の画像処理を中断することなく、外部コンピュータで画像処理装置と同様の画像処理を再現したシミュレーションにより各種確認が可能となる。
【0038】
請求項12記載の発明は、請求項11記載の画像処理システムにおいて、前記外部コンピュータは、前記画像処理状況データに含まれる各種パラメータのうち少なくとも一つのパラメータを変更する必要がある場合、そのパラメータを変更して前記シミュレーションを再度行い、そのシミュレーションにより最適な画像処理結果が得られると、その最適な画像処理結果となったパラメータを含むデータを前記画像処理装置に送信設定するので、画像処理装置のパラメータの更新が可能になる。これにより、画像処理自体と画像処理設定の分業を図ることができる。
【図面の簡単な説明】
【0039】
【図1】本発明に係る第1実施形態の画像処理システムの構成図である。
【図2】本発明に係る第2実施形態の画像処理装置の構成図である。
【図3】出力処理が送信出力である場合の画像処理システムの一部構成図である。
【図4】画像処理を実行することで生起する画像データの例を示す図である。
【図5】本発明に係る第3実施形態の画像処理装置の構成図である。
【図6】図5の画像処理装置の動作説明図である。
【図7】本発明に係る第4実施形態の画像処理装置の構成図である。
【図8】図7の画像処理装置の動作説明図である。
【図9】図7の画像処理装置の動作説明図である。
【図10】図7の画像処理装置の動作説明図である。
【図11】図7の画像処理装置の動作説明図である。
【図12】本発明に係る第5実施形態の画像処理装置の構成図である。
【図13】原画像の例を示す図である。
【図14】判定条件の設定メニュー例を示す図である。
【図15】本発明に係る第6実施形態の画像処理装置の構成図である。
【図16】図15の画像処理装置の動作説明図である。
【図17】使用可能フラグの例を示す図である。
【図18】本発明に係る第7実施形態の画像処理システムの動作説明図である。
【図19】本発明に係る第7実施形態の画像処理システムの動作説明図である。
【図20】本発明に係る第7実施形態の画像処理システムの動作説明図である。
【図21】本発明に係る第7実施形態の画像処理システムの動作説明図である。
【図22】第1実施形態などに関連する実施例を示す図である。
【図23】図22の通信部のより詳細な構成図である。
【図24】図22の画像処理部のより詳細な構成図である。
【発明を実施するための形態】
【0040】
(第1実施形態)
図1は画像処理システムの構成図であり、この図を参照しながら本発明の第1実施形態について説明する。
【0041】
図1に示す画像処理システムは、例えば製造ラインにおいて、製造物などの検査対象の外観検査測定に使用されるものであり、通信部100および画像処理部150により構成される画像処理装置1と、画像データ用記憶装置21および画像処理調整部22を含み画像処理装置1と通信可能に接続されるパソコン2とを備えているほか、画像処理装置1の周辺機器として、検査対象の撮像を行う少なくとも1台のカメラ3と、キーパッドなどの各種操作入力用の入力装置4と、CRTまたはLCDなどの表示装置5とを備えている。
【0042】
通信部100は、画像処理を止めたりあるいは遅らせたりすることなく、画像処理に使用された画像データを出力する処理などを実行する核となるCPU130およびメインメモリ(主記憶装置)131を備えているとともに、画像入力インターフェース101と、VRAM105と、モニタ出力インターフェース116と、通信インターフェース109と、メインコントローラ137と、画像データ保存用記憶装置120と、デュアルポートメモリ135とを備えている。
【0043】
画像入力インターフェース101は、A/D変換器103を含み、このA/D変換器103により、カメラ3からのアナログ画像信号をデジタルに変換して画像データを得るものである。VRAM105は、画像入力インターフェース101で得られた画像データを取り込んで記憶するものである。モニタ出力インターフェース116は、D/A変換器119を含み、このD/A変換器119により、VRAM105に記憶された画像データをアナログに変換してアナログ画像信号を表示装置5に出力するものである。通信インターフェース109は、イーサネット(登録商標)またはRS−232Cなどに対応した外部との通信手段である。メインコントローラ137は、入力装置4の操作入力インターフェース(図示せず)および通信インターフェース109などの各種インターフェースの入出力制御を行うものである。画像データ保存用記憶装置120は、SDカードなどの着脱式の記憶媒体に、例えばVRAM105などに記憶された画像データを保存するものである。デュアルポートメモリ135は、CPU130と後述のCPU160との間に介設され、これらの間でやりとりされる情報(例えばコマンドまたはデータなど)の転送を行うものである。
【0044】
画像処理部150は、画像入力インターフェース101で得られた画像データを取り込んで記憶するVRAM153を備えているほか、入力装置4および通信インターフェース109に接続された外部機器の少なくとも一方を通じて設定され、例えばデュアルポートメモリ135を経由したメッセージ通信などで取得した検査条件下で、VRAM153に記憶された画像データを用いた画像処理を通じ、検査対象についての各種外観検査測定を実行する核となるCPU160およびメインメモリ161を備えている。
【0045】
上記構成の画像処理システムの特徴となる動作について説明すると、画像入力インターフェース101で得られた画像データは、VRAM153に記憶されるとともにVRAM105に記憶される。
【0046】
一方のVRAM153に記憶された画像データは、メインメモリ161と一体不可分となって動作するCPU160により読み出されて、従来と同様に画像処理に利用され、その画像処理を通じて検査対象についての各種外観検査測定が実行される。
【0047】
他方のVRAM105に記憶された画像データは、メインメモリ131と一体不可分となって動作するCPU130により読み出されて例えばメインメモリ131に一端保持された後、画像データ保存用記憶装置120に転送されるほか、メインコントローラ137を経由して通信インターフェース109から外部のパソコン2に送信出力される。なお、画像データ保存用記憶装置120に転送された画像データは、その記憶媒体に書込み出力されることになる。
【0048】
以上、第1実施形態によれば、カメラ3から画像データを得る画像入力インターフェース101と、この画像入力インターフェース101で得られた画像データを取り込んで記憶するVRAM153と、このVRAM153に記憶された画像データを読出し自在に、VRAM153に接続されたCPU160およびメインメモリ161と、画像入力インターフェース101で得られた画像データを取り込んで記憶するVRAM105と、このVRAM105に記憶された画像データを読出し自在に、VRAM105に接続されたCPU130およびメインメモリ131と、CPU160とCPU130との間に介設され、これらの間でやりとりされる情報の転送を行うデュアルポートメモリ135とを備え、CPU160は、VRAM153に記憶された画像データを用いて画像処理を実行することにより検査対象の外観検査測定を行う一方、CPU130は、VRAM105に記憶された画像データの出力処理を実行するので、例えば、入力装置4を用いて入力されたVRAM105の画像データの出力指示に従って、CPU130がVRAM105に記憶された画像データの出力処理を行う場合、VRAM105の画像データの出力処理からCPU160が完全に解放されるから、また例えばCPU160が、デュアルポートメモリ135を経由したメッセージ通信によりCPU130に対して、VRAM153に記憶された画像データに対応するVRAM105に記憶された画像データの出力指示をする場合でも、CPU160に加わる負荷が数バイト程度の出力指示データを含む通信メッセージの送信処理のみで済むから、画像処理を止めたりあるいは遅らせたりすることなく、画像処理に使用された画像データを出力することができる。
【0049】
(第2実施形態)
図2は画像処理装置の構成図、図3は出力処理が送信出力である場合の画像処理システムの一部構成図、図4は画像処理を実行することで生起する画像データの例を示す図であり、これらの図を参照しながら本発明の第2実施形態について説明する。
【0050】
第2実施形態の画像処理装置1Aは、第1実施形態との相違点として、VRAM153,105と、メインメモリ161,131と、CPU160,130とに代えて、それぞれ図2に示すように、複数(1,2,…N)フレーム分の画像データの記憶領域を持つVRAM153a,105aと、第1実施形態とは異なる実行プログラムが展開されたメインメモリ161a,131aと、これらメインメモリ161a,131aに展開されたプログラムにそれぞれ従って処理を実行するCPU160a,130aとを備えている。
【0051】
そして、CPU160aおよびメインメモリ161aがVRAM105aとデータの読出しおよび書込み自在にさらに接続され、CPU160aが、第1実施形態のCPU160との相違点として、画像処理を実行することで生起した画像データの書込みをVRAM105aに対してさらに行い、CPU130aが、第1実施形態のCPU130との相違点として、VRAM105aに格納された少なくとも1フレーム分の画像データの出力処理を実行する。このように、画像処理中の画像データをも出力する本質的な理由は、画像処理がどのように行われて所定の画像処理結果が出てきたのかを解析し、画像処理装置の設定を調整することにある。
【0052】
このような構成の画像処理装置1AのCPU160aおよびメインメモリ161a側では、各種画像処理が実行されるが、図4の例に示すように画像処理の前処理として、図4(a)の原画像から、図4(b)の微分画像および図4(c)細線化画像を経て、図4(d)に示すエッジ線の画像を得る場合、各種画像データがメインメモリ161a中(図2の「処理画像」参照)に生起する。これらの各種画像データは、CPU160aおよびメインメモリ161a側から経過画像としてVRAM105aに書き込まれる。
【0053】
この後、VRAM105aに書き込まれた各種画像データは、メインメモリ131aと一体不可分となって動作するCPU130aの指示および制御により、例えばDMA転送でメインメモリ131aに記憶された後、図2に示すように画像データ保存用記憶装置120に転送され、その記憶媒体に書込み出力(保存)されるほか、図3に示すように外部のパソコン2に送信出力(転送)される。
【0054】
ここで、上記画像処理の前処理において、図4(d)に示すようにエッジ線の途切れに起因して不都合な画像処理結果となったとき、図4などに示す経過画像も出力されるから、図4(d)に示すようなエッジ線の途切れが原因であるといったような解析がパソコン2で実行可能となる。なお、この場合、微分処理の画像パラメータである微分しきい値の設定が大きすぎると推察されれば、その微分しきい値が図3に示す画像処理調整部22で最適値に変更され、最適値に変更された微分しきい値がCPU130a側に送信されることになる。
【0055】
以上、第2実施形態によれば、CPU160aおよびメインメモリ161aがVRAM105aとデータの読出しおよび書込み自在にさらに接続され、CPU160aは、画像処理を実行することで生起した画像データの書込みをVRAM105aに対してさらに行い、CPU130aは、VRAM105aに記憶された各種画像データの出力処理を実行するので、画像処理を実行することで生起した画像データもパソコン2で確認することができる。
【0056】
(第3実施形態)
図5は画像処理装置の構成図、図6は図5の画像処理装置の動作説明図であり、これらの図を参照しながら本発明の第3実施形態について説明する。
【0057】
第3実施形態の画像処理装置1Bは、第1実施形態との相違点として、VRAM153,105に代えて、それぞれ図5,図6に示すように、複数フレーム分の画像データの記憶領域を持つVRAM153a,105aを備えているとともに、VRAM153a,105aのアドレス制御をそれぞれ行うVRAMコントローラ152,104をさらに備えている。
【0058】
VRAMコントローラ152,104は、ともにFPGA(Field Programmable Gate Array)であり、それぞれ、CPU160,130からのアドレス情報に従って、VRAM153a,105aにおける記憶領域のうち、一フレーム分の画像データの記憶領域をカレントフレームの画像データの記憶領域とし、この記憶領域に、画像入力インターフェース101で得られた画像データを記憶するハード制御を行うほか、その記憶領域に記憶した画像データを一時保存する場合には、別の一フレーム分の画像データの記憶領域をカレントフレームの画像データの記憶領域とし、この記憶領域に、画像入力インターフェース101で得られた画像データを記憶するハード制御を行う。
【0059】
なお、図5の例では、CPU160がVRAMコントローラ152,104の両方に指示を与える構成になっているが、これは、VRAMコントローラ104がカメラ3の撮像コントローラを兼ねており、CPU160がVRAMコントローラ104を経由してカメラ3を制御することができるようにするためである。VRAMコントローラ104には、CPU160,130からの指示を格納するレジスタが設けられており、そのレジスタに撮像指示が格納されると、VRAMコントローラ104は、その撮像指示に従って撮像制御を実行する。
【0060】
上記構成の画像処理装置1Bでは、図6の例に示すように、VRAM105aにおける記憶領域のうち、画像番号“1”の画像データの記憶領域がカレントフレームの画像データの記憶領域(図6では“カレントフレーム画像記憶領域”)となっている場合、そのカレントフレーム画像記憶領域に、画像入力インターフェース101で得られた画像データが記憶される。
【0061】
このとき、外観検査測定で例えば不良品の判定結果が得られると、その不良品の画像データは、VRAM105aに一時保存された上で、解析などのために出力されることになる。すなわち、画像番号“1”の画像データの記憶領域が“一時保存フレーム画像記憶領域”に切り替えられ、画像番号“2”の画像データの記憶領域が“カレントフレーム画像記憶領域”に設定される。これにより、画像番号“1”の画像データの記憶領域に保存された不良品の画像データが新たな画像データによって上書きされて消失することがなくなる。
【0062】
この後、外観検査測定で不良品の判定結果が得られると、上記同様に、“カレントフレーム画像記憶領域”が“一時保存フレーム画像記憶領域”に切り替えられ、次の画像番号の画像データの記憶領域が“カレントフレーム画像記憶領域”に設定される。そして、画像番号“N”の記憶領域に至った場合には、次の記憶領域が画像番号“1”の記憶領域となり、“カレントフレーム画像記憶領域”がサイクリックに切り替えられる。
【0063】
この“カレントフレーム画像記憶領域”の切替え過程において、VRAM105aに記憶された不良品の画像データは、第1実施形態と同様に、書込みまたは送信出力される。
【0064】
以上、第3実施形態によれば、VRAMコントローラ152,104が、それぞれ、VRAM153a,105aにおける記憶領域のうち、一フレーム分の画像データの記憶領域をカレントフレームの画像データの記憶領域とし、この記憶領域に、画像入力インターフェース101で得られた画像データを記憶する制御を行うほか、その記憶領域に記憶した画像データを一時保存する場合には、別の一フレーム分の画像データの記憶領域をカレントフレームの画像データの記憶領域とし、この記憶領域に、画像入力インターフェース101で得られた画像データを記憶する制御を行うので、複数フレーム分の画像データを用いた画像処理が可能になるほか、画像処理サイクルより画像データの出力処理サイクルの方が長く、例えば画像データを出力する必要のある判定結果が続く場合でも、出力すべき画像データがこれに続く出力すべき画像データによって上書きされることがなくなり、出力すべき画像データの出力時間を稼ぐことができるとともに、CPU130に低速のものを使用することが可能になる。また、過去の履歴を残し、複数枚の画像を表示装置5に表示することができる。さらに、VRAM153a,105aの画像データの整合を図ることにより、CPU160がCPU130に対して例えば画像番号のみで出力するべき画像データを指定することが可能になる。
【0065】
なお、第3実施形態では、画像データの整合のため、VRAM153a,105aの双方に対して、“カレントフレーム画像記憶領域”の切替えがサイクリックに行われる構成になっているが、VRAM105aのみに対して、“カレントフレーム画像記憶領域”の切替えがサイクリックに行われる構成でもよい。
【0066】
(第4実施形態)
図7は画像処理装置の構成図、図8〜図11は図7の画像処理装置の動作説明図であり、これらの図を参照しながら本発明の第4実施形態について説明する。
【0067】
第4実施形態の画像処理装置1Cは、第1実施形態との相違点として、VRAM153,105と、メインメモリ161,131と、CPU160,130とに代えて、それぞれ図7に示すように、複数フレーム分の画像データの記憶領域を持つVRAM153a,105aと、第1実施形態とは異なる実行プログラムが展開されたメインメモリ161c,131cと、これらメインメモリ161c,131cに展開されたプログラムにそれぞれ従って処理を実行するCPU160c,130cとを備えている。なお、図7では、画像入力インターフェース101および通信インターフェース109などは図示省略してある。また、VRAM105aは、データの読出しおよび書込み自在にCPU160cおよびメインメモリ161cにさらに接続される。
【0068】
CPU160cは、第1実施形態のCPU160との相違点として、デュアルポートメモリ135を経由して、画像処理に必要な画像処理パラメータ、判定パラメータなどの各種パラメータおよびその画像処理結果の少なくとも一方を含む画像処理状況データをCPU130c側に送信する処理を実行する。
【0069】
CPU130cは、第1実施形態のCPU130との相違点として、出力処理として、通信インターフェース109を介して、CPU160cからの画像処理状況データを、対応する画像データとともにパソコン2に送信するほか、画像データ保存用記憶装置120を介して、CPU160cからの画像処理状況データを、対応する画像データとともに画像データ保存用記憶装置120の記憶媒体に書込み出力する処理を実行する。
【0070】
また、CPU130cは、画像データ保存用記憶装置120を介して、その記憶媒体に書き込まれた画像データをVRAM105aに読み出し、CPU160cは、画像データ保存用記憶装置120の記憶媒体からVRAM105aに読み出された画像データを用いて画像処理を再度実行する。
【0071】
上記構成の画像処理装置では、画像入力インターフェース101で得られた画像データは、VRAM153a,105aに並列に記憶される。VRAM153a,105aにはN枚の画像データを記憶することができ、各画像データには画像番号が付される。画像データは、第3実施形態と同様に、通常は同じ記憶領域に繰り返し記憶されるが、CPU160cが画像データを出力すると判断した場合には、画像データを記憶する記憶領域が切り替えられる。
【0072】
CPU160cおよびメインメモリ161c側では、VRAM153aに記憶されたカレントの画像データをメインメモリ161cにコピーした上で画像処理が実行される。
【0073】
ここで、図8の例において、VRAM105aに記憶されているN枚の画像データをパソコン2に送信出力する場合、CPU160cは、N枚目の画像データを用いて画像処理を実行しているときに、VRAM105aに記憶されているN枚の画像データを送信出力させるべく、画像処理に必要な各種パラメータおよびその画像処理結果の少なくとも一方を含む画像処理状況データを通信メッセージとして、デュアルポートメモリ135経由でCPU130cに送信する。通信メッセージには、出力するべき画像番号および通信インターフェース109経由の指示などがさらに含められる。
【0074】
CPU130cは、その通信メッセージを受け取ると、VRAM105aに記憶されている出力するべき画像データをメインメモリ131cに順次読み出し、画像処理状況データとともに通信インターフェース109を介してパソコン2に送信出力する。
【0075】
パソコン2は、画像処理装置1Cからの画像データおよび画像処理状況データを画像処理調整部22の受信機能により受信した後、例えばハードディスク装置などの画像データ用記憶装置21に保存する。
【0076】
なお、パソコン2が画像処理装置1Cに未接続である場合、パソコン2が受信状態に入っていない場合などでは、画像データおよび画像処理状況データが受信されないので、画像処理調整部22は受信状態に入ったか否かを示す情報をCPU130cに送信し、CPU130cはその情報を受信した後に画像データおよび画像処理状況データを送信出力する。
【0077】
図9の例において、VRAM105aに記憶されているN枚の画像データを画像データ保存用記憶装置120に書込み出力する場合、CPU160cは、N枚目の画像データを用いて画像処理を実行しているときに、VRAM105aに記憶されているN枚の画像データを送信出力させるべく、画像処理に必要な各種パラメータおよびその画像処理結果の少なくとも一方を含む画像処理状況データを通信メッセージとして、デュアルポートメモリ135経由でCPU130cに送信する。通信メッセージには、出力するべき画像番号および画像データ保存用記憶装置120経由の指示などがさらに含められる。
【0078】
CPU130cは、その通信メッセージを受け取ると、VRAM105aに記憶されている出力するべき画像データをメインメモリ131cに順次読み出し、画像処理状況データとともに画像データ保存用記憶装置120に転送する。順次転送された画像データおよび画像処理状況データは、画像データ保存用記憶装置120の記憶媒体に書込み出力される。
【0079】
図10の例において、CPU130cは、VRAM105aに記憶されている複数の画像のうち、出力するべき所望の画像を入力装置4により選択可能に表示装置5に表示し、入力装置4を用いて所望の画像が選択されると、VRAM105aから対応する画像データをメインメモリ131cに読み出し、画像データ保存用記憶装置120に転送する。転送された画像データは、画像データ保存用記憶装置120の記憶媒体に書込み出力される。この場合、VRAM105aの画像データの出力処理からCPU160cが完全に解放されるから、CPU160cの画像処理を遅らせることなく、画像処理に使用された画像データを出力することができる。
【0080】
図11の例において、以前の画像データが保存されている記憶媒体を画像データ保存用記憶装置120に装着した後、その記憶媒体に保存されている画像データを用いて画像処理を再実行する指示が入力装置4からCPU130cに入力されると、CPU130cは、画像データ保存用記憶装置120から、指示された保存画像の画像データをメインメモリ131cに読み出し、それをVRAM105aにコピーしてその保存画像を表示装置5に表示する。保存画像のVRAM105aへの配置が完了した後、CPU130cは、デュアルポートメモリ135を経由して、保存画像が展開されているVRAM105aの画像番号を含む画像処理実行指示をCPU160cに送信する。
【0081】
CPU160cは、その画像処理実行指示を受信すると、画像データ保存用記憶装置120の記憶媒体からVRAM105aに読み出された画像データを用いて画像処理を再度実行する。
【0082】
以上、第4実施形態によれば、CPU160cは、デュアルポートメモリ135を経由して、画像処理に必要な各種パラメータおよびその画像処理結果の少なくとも一方を含む画像処理状況データをCPU130cに送信し、CPU130cは、CPU160cからの画像処理状況データを、対応する画像データとともに出力するので、より好適な解析が可能となる。
【0083】
また、CPU130cは、画像データ保存用記憶装置120を介して、その記憶媒体に書き込まれた画像データをVRAM105aに読み出し、CPU160cは、画像データ保存用記憶装置120の記憶媒体からVRAM105aに読み出された画像データを用いて画像処理を再度実行するので、画像データ保存用記憶装置120からの時間のかかる(512×480画素の画像の場合は約50ms強)保存画像の読出しがCPU130cにより実行され、VRAM105aに再配置された保存画像がCPU160c側に読み出されることになるから、保存画像の再読込み時に生じ得る画像処理の遅れを抑制することができる。また、VRAM105aへの保存画像の配置が完了した後に画像処理実行指示が出されるので、VRAM105aに対するCPU160c,130cによるアクセスの競合は起こらない。
【0084】
なお、CPU160cとCPU130cとの間で交換される指示などは、ポーリング的に送信される構成でも、指示をFPGAのレジスタに書き込むことによりイベントを発生させ、割込みにより指示を取り込む構成でもよい。
【0085】
また、画像処理の再実行は、カレントの画像データを用いた画像処理の合間に実行されるようにしてもよい。
【0086】
(第5実施形態)
図12は画像処理装置の構成図、図13は原画像の例を示す図、図14は判定条件の設定メニュー例を示す図であり、これらの図を参照しながら本発明の第5実施形態について説明する。
【0087】
第5実施形態の画像処理装置1Dは、第1実施形態との相違点として、VRAM153,105と、メインメモリ161,131と、CPU160,130とに代えて、それぞれ図12に示すように、複数フレーム分の画像データの記憶領域を持つVRAM153a,105aと、第1実施形態とは異なる実行プログラムが展開されたメインメモリ161d,131dと、これらメインメモリ161d,131dに展開されたプログラムにそれぞれに従って処理を実行するCPU160d,130dとを備えている。なお、図12では、画像入力インターフェース101および通信インターフェース109などは図示省略してある。
【0088】
CPU160dは、第1実施形態のCPU160との相違点として、画像処理の経過中または経過後の結果について所定の判定を行い、この判定結果に従って、デュアルポートメモリ135を介して、CPU130d側に、画像処理に必要な各種パラメータおよびその画像処理結果の少なくとも一方を含む画像処理状況データを送信するとともに、この画像処理状況データに対応する画像データを指定する処理をさらに実行する。ここで、所定の判定とは、画像処理において、不良判定結果が所定数連続したか否かの判定、不良判定率が所定率を超えたか否かの判定および所定の異常が発生したか否かの判定の少なくとも1つの判定を含む良否判定のことであり、また少なくとも一つの判定項目についての良品不良品の判定結果が所定率発生したか否かの判定のことである。
【0089】
CPU130dは、第1実施形態のCPU130との相違点として、入力装置4が接続される操作入力インターフェース(図示せず)および通信インターフェース109の少なくとも一方を介して、上記所定の判定のための判定基準を受け取ると、その判定基準をデュアルポートメモリ135経由でCPU160dに送信する処理をさらに実行する。
【0090】
このような構成の画像処理装置1Dでも、CPU130dに出力処理させる画像データを指定するときにCPU160dが使用する出力命令のデータ量を滅らして、CPU160dの画像処理の停滞を防止するべく、画像番号がVRAM153a,105aの各記憶領域に付される。
【0091】
いま、上記判定基準を含む自動サンプリング条件が操作入力インターフェースおよび通信インターフェース109の少なくとも一方から入力されると、CPU130dは、デュアルポートメモリ135を介してその自動サンプリング条件をCPU160d側に送信する。ここで、判定基準は、例えば「不良品とする判定がN回連続したとき」というものであるとする。
【0092】
この後、CPU160dは、予め設定された検査測定条件に従って良品不良品の判定を行い、この判定結果(上記画像処理の経過中または経過後の結果)が不良品であれば、第3実施形態と同様にして“カレントフレーム画像記憶領域”を切り替える。このとき、“一時保存フレーム画像記憶領域”の画像番号が例えばメインメモリ161dに保存される。また、CPU160dからCPU130dに“カレントフレーム画像記憶領域”の切替え指示が出される。
【0093】
この後、不良品の判定結果がN回連続すると、CPU160dは、上記所定の判定により、「不良品とする判定がN回連続したとき」に該当するので、画像処理に必要な各種パラメータおよびその画像処理結果の少なくとも一方を含む画像処理状況データ、この画像処理状況データに対応する画像データを指定する画像番号などを通信メッセージに含めて、デュアルポートメモリ135を介して、CPU130d側に送信する。
【0094】
CPU130dは、上記を通信メッセージを受信すると、VRAM105aから対応する画像データをメインメモリ131dに読み出して、画像処理状況データとともに画像データ保存用記憶装置120に書込み出力、または通信インターフェース109を介してパソコン2に送信出力する。
【0095】
ところで、上記動作例では、判定基準は、「不良品とする判定がN回連続したとき」というものになっているが、この他にも様々な判定基準が考えられる。
【0096】
図13に示す原画像について、枠F内の面積値(2値化しきい値以上の光量を持つ画素数)と枠F内の平均光量とを算出する画像処理において、図14に示す設定メニューで、面積値および平均濃淡値を判定基準として設定する場合を考えると、その範囲を外れる結果となった画像データが出力の対象となる。
【0097】
図14中のチェックボックスは、判定基準として有効にするか無効にするかを設定するためのものであり、チェックが入れられると有効となる。そして、そのチェックは、入力装置4またはパソコン2を通じて設定することができるように構成される。
【0098】
以上、第5実施形態によれば、CPU160dが、画像処理の経過中または経過後の結果について所定の判定を行い、この判定結果に従って、デュアルポートメモリ135を介して、CPU131d側に画像処理状況データを送信するとともに、この画像処理状況データに対応する画像データを指定するので、画像処理の経過中または経過後において解析などに必要となった画像データが出力されることになり、出力された画像データの利用価値が高まる。
【0099】
また、所定の判定が、画像処理において、不良判定結果が所定数連続したか否かの判定、不良判定率が所定率を超えたか否かの判定および所定の異常が発生したか否かの判定の少なくとも1つの判定を含む良否判定であれば、良否判定状況に応じて必要な画像データに絞って出力することが可能となり、VRAMの記憶容量を効率的に使用することができる。
【0100】
また、所定の判定が、少なくとも一つの判定項目についての良品不良品の判定結果が所定率発生したか否かの判定でも、良否判定状況に応じて必要な画像データに絞って出力することが可能となる。例えば、重要度を考えて所定率を設定すれば、よく発生する不良品についてはその画像データが出力される確率を下げ、まれにしか発生しない不良品についてはその画像データが出力される確率を高くすることができる。
【0101】
さらに、判定のための基準が通信インターフェース109に接続されたパソコン2または外部機器から入力される構成の場合、画像処理前後、画像処理中にかかわらす、判定のための基準の設定ないし変更が可能となる。
【0102】
なお、第5実施形態では、N回連続して不良品の判定結果となった画像データが出力される構成になっているが、例えば経緯変化の解析のため、設定した不良率の上限を超えた時点の前後各N枚の画像データが出力される構成でもよい。
【0103】
また、CPU160dがメインメモリ161dではなく、VRAM105aを途中経過の画像データの保存位置としている場合には、N回連続で不良品判定となった画像の途中経過を保存するように指定することも可能である。
【0104】
(第6実施形態)
図15は画像処理装置の構成図、図16は図15の画像処理装置の動作説明図、図17は使用可能フラグの例を示す図であり、これらの図を参照しながら本発明の第6実施形態について説明する。
【0105】
第6実施形態の画像処理装置1Eは、第3実施形態との相違点として、デュアルポートメモリ135と、メインメモリ161,131と、CPU160,130とに代えて、それぞれ図15,図16に示すように、使用可能フラグ(図17の例を参照)が設定されるデュアルポートメモリ135eと、第3実施形態とは異なる実行プログラムが展開されたメインメモリ161e,131eと、これらメインメモリ161e,131eに展開されたプログラムにそれぞれ従って処理を実行するCPU160e,130eとを備えている。なお、使用可能フラグの各フラグは、初期値として“1”が設定されているとする。
【0106】
CPU160eは、第3実施形態のCPU160bとの相違点として、デュアルポートメモリ135eの使用可能フラグのうち、出力するべき画像データの画像番号に対応するフラグを“0”に設定する処理を実行する。
【0107】
CPU130eは、第3実施形態のCPU130bとの相違点として、デュアルポートメモリ135eの使用可能フラグにおいて、“0”のフラグの画像番号に対応する画像データをVRAM105aから読み出して出力し、その画像データの出力が完了すると、そのフラグを“1”に置き換える処理を実行する。
【0108】
上記構成の画像処理装置1Eの動作について説明すると、CPU160eは、外観検査測定で画像データを出力すると判定した場合、その画像データの画像番号に当たるフラグを“0”に設定して、CPU130eに対してその画像データの出力指示を出す。
【0109】
この後、CPU130eは、ポーリング的に使用可能フラグの各フラグ状態を監視し、“0”に設定されたフラグを検出すると、そのフラグの画像番号に対応する画像データをVRAM105aから読み出して出力する処理を実行する。続いて、その画像データの出力が完了すると、対応するフラグを“1”に置き換える処理を実行する。
【0110】
ところで、CPU160e,CPU130eは、それぞれ、ポーリング的に使用可能フラグの各フラグ状態を監視するが、“0”に設定されたフラグを検出した場合には、VRAM153a,105aにおける各記憶領域のうち、対応する画像番号の記憶領域を書込み禁止の状態に設定し、“1”に置き換えられたフラグを検出した場合には、対応する画像番号の記憶領域を書込み許可の状態に設定する。
【0111】
以上、第6実施形態によれば、フラグを用いて出力するべき画像データの指示をするので、VRAMの効率的な利用が可能となる。
【0112】
(第7実施形態)
図18〜図21は画像処理システムの動作説明図であり、これらの図を参照しながら本発明の第7実施形態について説明する。
【0113】
第7実施形態の画像処理システムは、上記各実施形態で説明した画像処理装置と、この画像処理装置に具備された通信インターフェース109に対応する通信インターフェース(図示せず)を有するパソコン2eとを備えている。
【0114】
パソコン2eは、自己の通信インターフェースを介して画像処理装置から得た画像処理状況データおよび画像データを用いて、画像処理部のCPUによる画像処理と同様の画像処理を実行することにより、検査対象の外観検査測定のシミュレーションを行うほか、画像処理状況データに含まれる各種パラメータのうち少なくとも一つのパラメータを変更する必要がある場合、そのパラメータを変更して上記シミュレーションを再度行い、そのシミュレーションにより最適な画像処理結果が得られると、その最適な画像処理結果となったパラメータを含むデータを画像処理装置に送信設定する。
【0115】
図18の動作例において、画像処理装置で不良品の判定結果(NG)が発生した場合(S1)、画像処理装置は、通信インターフェース109を介して画像データおよび画像処理状況データをパソコン2eに送信し(S2)、この後、以前に設定された画像処理パラメータを用いて画像処理を続行する(S3)。これにより生産が続行する。
【0116】
画像データおよび画像処理状況データを受信したパソコン2e側では、それらの情報に基づき、上記画像処理装置と同様の画像処理を再現し、画像処理装置上で起きている画像処理の内容を再現しながら最適なパラメータに調整する(S4〜S7)。すなわち、画像処理調整部22e(図20参照)により、画像処理検査パラメータの調整、受信した画像データを用いた画像処理を繰り返し実行することにより、検査シミュレーションを行い、画像処理装置とは独立してパラメータの調整を行う。
【0117】
パラメータの調整が完了した後、その調整済みのパラメータを画像処理装置に転送して、画像処理装置の画像処理部におけるCPUが使用する画像処理パラメータを変更する(S8)。
【0118】
図19の動作例において、画像処理は、“画像処理A”および“画像処理B”などの特定の画像処理ルーチンを組み合わせて使用することで行われるので、特定数の画像処理ルーチンが、予め画像処理装置にライブラリとして搭載されている。
【0119】
画像処理装置では、画像処理部のCPUで画像処理プログラムが動作する。まず、画像処理手順を読み込み、手順に従って順次画像処理パラメータおよび判定パラメータを入力し(S11)、それらのパラメータを使用して、ライブラリ内の画像処理ルーチンを呼び出すことで画像処理を実行し(S12)、画像処理結果のデータ(パラメータ)を出力する(S13)。
【0120】
パソコン2eは、画像処理調整を行うため、画像処理装置にあるプログラムおよびライブラリと同じものが搭載されており、画像処理装置から画像データおよび画像処理状況データを受信することで(S14)、画像処理装置と同様の画像処理を実行する(S15)。
【0121】
この場合、パソコン2eで画像処理の経緯の確認とパラメータの修正が可能となり、画像処理状況データのみを画像処理装置に設定することで、画像処理装置の画像処理を調整することができる。
【0122】
図20の動作例において、パソコン2e上の画像処理調整部22eによって調整された画像処理パラメータは、画像データ用記憶装置21に格納されており、画像処理調整部22eにより読み出され(S21)、画像処理装置の通信部のCPU側に転送される(S22)。
【0123】
通信部のCPUは、画像処理調整部22eからの通信コマンドを解析するルーチンを有しており、画像処理調整部22eから送られてきた画像処理パラメータを解析し、パラメータ変更指示をデュアルポートメモリに配置する(S23)。
【0124】
画像処理部のCPUは、そのパラメータ変更指示を画像処理の合間にポーリング的に受信し(S24)、画像処理パラメータとして設定する。
【0125】
ここで、画像処理の対象となる画像が大きなデータ(256KB〜1MB)であるのに比べ、画像処理に使用されるパラメータのデータ量はそれほど大きくない。これは、画像処理において繰返し演算の占める割合が大きいからである。例えば、原画像に対してSobelオペレータなどの微分処理を行う場合、入力オペレータとしては、オペレータの大きさや微分値のしきい値などが必要となるだけで、それらの設定を使って繰返し演算を行い、所定の画像のオペレータ処理を行うことになる。画像処理の対象となる画像データが256KB〜1MBと容量が大きいのに比較して、修正設定すべき画像処理パラメータは、数十〜数百バイト程度である。
【0126】
より具体的には、従来の画像処理装置においてSobelオペレータを使用して、ひびを検出するための外観検査画像の処理ルーチンの入力パラメータは、以下のように11個しかなく、容量的には、11×4バイト=44バイトに過ぎない。
入力パラメータ パラメータ名
param[0] フィルタサイズ
param[1] エッジ抽出しきい値
param[2] エッジ延長下限値
param[3] 微分値しきい値
param[4] 検出微分方向値
param[5] 白黒判定
param[6] 濃度判定しきい値補正量
param[7] 濃度判定用ウイングサイズ
param[8] 微分値総和しきい値
param[9] 不良画素数しきい値
param[10] エラーコード
したがって、入力パラメータを画像処理部のCPUで変更設定しても設定時間の問題とはならないのである。
【0127】
図21の動作例において、パソコン2eが上記S4〜S7による調整済みのパラメータを画像処理装置に転送すると、画像処理装置は、例えば指定した一定時間に上記調整済みのパラメータに一時的に変更して画像処理シミュレーションを実行し(S31)、その画像処理シミュレーションにより、例えば目標のNG率に達したか否かに応じて調整済みのパラメータの妥当性を検証し(S32)、問題点が解決されたことを示す検証結果が得られたとき、はじめて当該画像処理装置内部の画像処理パラメータを調整済みのパラメータに切り替える(S33)。
【0128】
この動作の場合、画像処理装置とパソコン2eとが異なる条件であったとしても、画像処理装置の方でパソコン2eによる調整済みのパラメータの妥当性が検証されるから、より確度の高いパラメータの調整が可能になる。異なる条件の例としては、パソコン2eでは画像データが固定されているのに対して、画像処理装置ではラインを流れる検査対象に対するランプ照度等の撮像条件の変動により画像データが変動すること、パソコン2eでは処理スピードの制限を受けないのに対して、画像処理装置ではラインスピード以上の処理スピードで処理を実行しなければならず、検査対象領域を広げるなどすると、画像処理スピードが落ちてS32の判定でNG解消にならない場合があることなどが挙げられる。
【0129】
以上、第7実施形態によれば、パソコン2eが、画像処理装置に具備された通信インターフェース109に対応する通信インターフェースを有し、この通信インターフェースを介して画像処理装置から得た画像処理状況データおよび画像データを用いて、画像処理装置の画像処理部のCPUによる画像処理と同様の画像処理を実行することにより、検査対象の外観検査測定のシミュレーションを行うので、画像処理装置の画像処理を中断することなく、パソコン2eで画像処理装置と同様の画像処理を再現したシミュレーションにより各種確認が可能となる。
【0130】
また、パソコン2eが、画像処理状況データに含まれる各種パラメータのうち少なくとも一つのパラメータを変更する必要がある場合、そのパラメータを変更して上記シミュレーションを再度行い、そのシミュレーションにより最適な画像処理結果が得られると、その最適な画像処理結果となったパラメータを含むデータを画像処理装置に送信設定するので、画像処理装置のパラメータの更新が可能になる。
【実施例】
【0131】
図22〜図24は上記第1実施形態などに関連する実施例を示す図であり、図22は画像処理装置の構成図、図23は図22の通信部のより詳細な構成図、図24は図22の画像処理部のより詳細な構成図である。
【0132】
この実施例の画像処理装置は、上述の入力装置4を用いて設定された検査条件下で、カメラ3の撮像により得られた画像に対する画像処理を通じ、検査対象についての各種外観検査測定を実行するほか、画像処理を止めたりあるいは遅らせたりすることなく、画像処理に使用された画像データを出力するものであり、図22に示すように、通信部と、画像処理部とにより構成されている。
【0133】
図23の通信部において、101は、検査対象の撮像を行う最大で4台のカメラ3から画像データを得る画像入力インターフェースであり、各カメラ3の出力と接続されるコネクタ102と、各コネクタ102に接続されたカメラ3からのアナログ画像信号をデジタル信号に変換して画像データを得るA/D変換器103とにより構成されている。
【0134】
104は、VRAMコントローラ(ゲートアレイ)であり、図23ではFPGAにより構成されており、画像入力インターフェース101の出力に接続されている。
【0135】
105は、VRAM(SDRAM)であり、画像入力インターフェース101にVRAMコントローラ104を介して接続され、このVRAMコントローラ104のハード制御下で、画像入力インターフェース101で得られた画像データを取り込んで記憶する。
【0136】
106は、入力装置4を接続するための操作入力インターフェースであり、入力装置4と接続されるコネクタ107と、このコネクタ107に接続された入力装置4から入力信号を得る回路部108とにより構成されている。
【0137】
109は、パソコン2などの外部機器と通信をするための通信インターフェースであり、コネクタ110、トランス111およびイーサーネット(登録商標)コントローラ112により構成されるイーサネット(登録商標)用のインターフェースと、コネクタ113およびRS−232C用の回路部114により構成される2組のシリアル通信用のインターフェースとを備えている。なお、115はセレクタである。
【0138】
116は、モニタ出力インターフェースであり、NTSCないしVGA用のコネクタ117,118と、VRAMコントローラ104の制御下で取得したVRAM105からの画像データをアナログに変換して、アナログ画像信号をコネクタ117,118に接続された表示装置5に出力するD/A変換器119とにより構成されている。
【0139】
120は、画像データ保存用記憶装置であり、図23の例では、SDカード121と、このSDカード121に画像データなどを書込み出力するSDカードコントローラ122とにより構成されている。そして、このほか、ストロボなどを制御するために、フォトカプラなどを含むインターフェース123,124が設けられている。
【0140】
130は図23の通信部全体の制御などの処理を実行するCPU、131はメインメモリ、132はFROM(フラッシュメモリ)であり、これらCPU130、メインメモリ131およびFROM132と、VRAMコントローラ104および画像データ保存用記憶装置120は、バスB1を介して相互に接続されている。これらのうち、一体不可分として動作するCPU130およびメインメモリ131は、VRAMコントローラ104の制御下で、VRAM105に記憶された画像データを読出し自在に、VRAMコントローラ104を介してVRAM105に接続されている。なお、133はCPU130によりデータの読み書きが行われるSROMである。また、134はVMEバスコントローラであり、例えばFPGAにより構成される。
【0141】
136はSRAMである。137は、メインコントローラ(図23ではFPGA)であり、バスB1と、SRAM136およびVRAMコントローラ104が接続されたバスB2とに接続され、操作入力インターフェース106、通信インターフェース109およびインターフェース124の入出力制御を行うほか、デュアルポートメモリとしてデータの転送制御を行う。すなわち、このメインコントローラ137の一部とSRAM136とによって、CPU130と図24に示すCPU160との間に介設され、これらの間でやりとりされる情報の転送を行うデュアルポートメモリ135が構成されるのである。このデュアルポートメモリ135については、CPU130がメインコントローラ137を経由してSRAM136にアクセスしているときでも、図24に示すCPU160がバスB2を経由してSRAM136にアクセスすることができる一方、逆に、CPU160がバスB2を経由してSRAM136にアクセスしているときは、CPU130がメインコントローラ137を経由してSRAM136にアクセスすることができない構成になっている。
【0142】
138は、図23の通信部と図24の画像処理部とを接続するためのコネクタであり、画像入力インターフェース101の出力およびバスB2に接続されている。
【0143】
図24の画像処理部において、151は、図23の通信部のコネクタ138と接続されるコネクタである。152は、VRAMコントローラ(ゲートアレイ)であり、図24ではFPGAにより構成されており、コネクタ151,138を介して画像入力インターフェース101の出力に接続されている。
【0144】
153は、VRAM(SDRAM)であり、画像入力インターフェース101にVRAMコントローラ152を介して接続され、このVRAMコントローラ152のハード制御下で、画像入力インターフェース101で得られた画像データを取り込んで記憶する。なお、154は、SDRAMなどによるオーバレイメモリであり、VRAMの一部を構成する(図22参照)。
【0145】
160は画像処理用のCPU、161はメインメモリ、162はメインコントローラであり、これらCPU160、メインメモリ161およびメインコントローラ162は、バスB3を介して相互に接続されている。これらのうち、一体不可分として動作するCPU160およびメインメモリ161は、VRAMコントローラ152の制御下で、VRAM153に記憶された画像データを読出し自在に、VRAMコントローラ152を介してVRAM153に接続されている。他方、メインコントローラ162は、オーバレイメモリ154およびFROM163に接続されているほか、コネクタ151,138を介して図23の通信部のバスB2に接続されている。なお、FROM163は、メインコントローラ162を介して、CPU160によりデータが読み書きされる。
【0146】
このように構成される画像処理装置の特徴となる動作について説明すると、画像入力インターフェース101で得られた画像データは、VRAMコントローラ152の制御によりVRAM153に記憶されるとともに、VRAMコントローラ104の制御によりVRAM105に記憶される。
【0147】
一方のVRAM153に記憶された画像データは、メインメモリ161と一体不可分となって動作するCPU160により読み出されて、従来と同様に画像処理に利用され、その画像処理を通じて検査対象についての各種外観検査測定が実行される。なお、画像処理に必要な各種設定情報は、操作入力インターフェース106および通信インターフェース109の少なくとも一方から、CPU103およびメインメモリ131、デュアルポートメモリ135、そしてメインコントローラ162を経由して、CPU160およびメインメモリ161に取り込まれる。
【0148】
他方のVRAM105に記憶された画像データは、メインメモリ131と一体不可分となって動作するCPU130により読み出されて例えばメインメモリ131に一端保持された後、画像データ保存用記憶装置120に転送されるほか、メインコントローラ137を介して通信インターフェース109から外部のパソコン2に送信出力される。なお、画像データ保存用記憶装置120に転送された画像データは、そのSDカード121に書込み出力されることになる。また、どのような画像データを書込み出力または送信出力するかは、上述した実施形態と同様に処理され、そして仕様のメモリ容量に応じた複数フレーム分の画像データの記憶領域を持つVRAM153a,105aが搭載される。
【0149】
以上、本実施例によれば、検査対象の撮像を行うカメラ3から画像データを得る画像入力インターフェース101と、この画像入力インターフェース101の出力に接続されたVRAMコントローラ152,104と、画像入力インターフェース101にVRAMコントローラ152を介して接続され、このVRAMコントローラ152の制御下で、画像入力インターフェース101で得られた画像データを取り込んで記憶するVRAM153と、VRAMコントローラ152の制御下で、VRAM153に記憶された画像データを読出し自在に、VRAMコントローラ152を介してVRAM153に接続されたCPU160およびメインメモリ161と、画像入力インターフェース101にVRAMコントローラ104を介して接続され、このVRAMコントローラ104の制御下で、画像入力インターフェース101で得られた画像データを取り込んで記憶するVRAM105と、VRAMコントローラ104の制御下で、VRAM105に記憶された画像データを読出し自在に、VRAMコントローラ104を介してVRAM105に接続されたCPU130およびメインメモリ131と、FPGA162を介してCPU160とCPU130との間に介設され、これらの間でやりとりされる情報の転送を行うデュアルポートメモリ135とを備え、CPU160は、VRAM153に記憶された画像データを用いて画像処理を実行することにより検査対象の外観検査測定を行う一方、CPU130は、VRAM105に記憶された画像データの出力処理を実行するので、例えば、入力装置4を用いて入力されたVRAM105の画像データの出力指示に従って、CPU130がVRAM105に記憶された画像データの出力処理を行う場合、VRAM105の画像データの出力処理からCPU160が完全に解放されるから、また例えばCPU160が、デュアルポートメモリ135を経由したメッセージ通信によりCPU130に対して、VRAM153に記憶された画像データに対応するVRAM105に記憶された画像データの出力指示をする場合でも、CPU160に加わる負荷が数バイト程度の出力指示データを含む通信メッセージの送信処理のみで済むから、画像処理を止めたりあるいは遅らせたりすることなく、画像処理に使用された画像データを出力することができる。
【符号の説明】
【0150】
1,1A,1B,1C,1D,1E 画像処理装置
2 パソコン
3 カメラ
4 入力装置
5 表示装置
101 画像入力インターフェース
103 A/D変換器
104 VRAMコントローラ(FPGA)
105,105a VRAM(SDRAM)
106 操作入力インターフェース
109 通信インターフェース
116 モニタ出力インターフェース
119 D/A変換器
120 画像データ保存用記憶装置
121 SDカード
122 SDカードコントローラ
130,130a,130c,130d,130e CPU
131,131a,131c,131d,131e メインメモリ
135,135e デュアルポートメモリ
137 メインコントローラ
152 VRAMコントローラ(FPGA)
153,153a VRAM(SDRAM)
160,160a,160c,160d,160e CPU
161,161a,161c,161d,161e メインメモリ
【技術分野】
【0001】
本発明は、例えば製造ラインにおいて、製造物などの検査対象の外観検査測定に使用される画像処理装置および画像処理システムに関するものである。
【背景技術】
【0002】
上記外観検査測定には、検査対象の外観検査、寸法、形状、位置などの測定、傷クラック検査、文字検査などが含まれるが、このような外観検査測定で、良品または不良品の判定結果となった検査対象の良品画像または不良品画像を画像処理装置から出力する必要が多々生じる。どのような場合に画像データを出力する必要があるかについては、例えば、上記判定の基準品と実際の検査対象との差が製造上の誤差などによる若干の差であるときに、本来良品とすべきところ不良品の判定結果となってしまった場合、どのような画像処理で不良品の判定結果となったのかを調査する必要が生じた場合、以前の設定についてどのような画像処理で例えば良品としていたのかを調査する必要が生じた場合などが挙げられる。
【0003】
しかし、製造では、決められた一定水準以上の生産性を確保する必要があるのであるが、画像処理による外観検査測定の結果の善し悪しで、良品画像または不良品画像の画像データを画像処理装置から得るために画像処理を止めたり、あるいは遅らせたりすると、検査対象の製造物を製造するための一連の作業が遅れ、全体の生産効率が下がり、この結果、上記一定水準以上の生産性を確保することができなくなる。
【0004】
このため、製造中に画像処理を止めたりあるいは遅らせたりすることなく、画像処理に使用された画像データを出力させる仕組みが望まれる。画像データを出力することについては、例えばパソコン(パーソナル・コンピュータ)で読み込める形態でSDカードなどの記憶媒体に書込み出力する構成でも、通信インターフェースを介してパソコンに送信出力する構成でもどちらでも構わない。また、画像データを出力する際に、対応する各種パラメータや外観検査測定の結果も同時に出力することができるようにすることが望ましい。このようにすれば、製造中に画像処理を止めたりあるいは遅らせたりすることなく、画像処理に使用された画像データを取り出して、製造と平行しながら、別のパソコンで画像処理の内容を解析したり、確認したりすることができる。
【0005】
なお、特許文献1には、撮像により得た画像データを部品が変わる度に所定の記憶領域に交互に取り込んで記憶することにより、電子部品の外観検査を高速なタクトタイムで実施できる電子部品の外観検査装置が開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開平10−78308号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、画像データの情報量が大きく、その画像データの出力に時間がかかることが、画像処理の内容の解析または確認などを妨げる要因となるので、上記仕組みを設けることは簡単なことではない。
【0008】
画像処理装置を使用する生産ラインの機械的なタクト周期が年々高速になっているので、これに合わせて画像処理を高速に実行させる必要がある。画像処理装置に接続される撮像装置の種類が、例えば標準カメラ、倍速カメラまたはメガピクセルカメラであるとき、その撮像周期は、それぞれ、33.3ms(30フレーム/秒)、16.7ms(60フレーム/秒)または66.7ms(15フレーム/秒)となる。したがって、コマ落ちなく外観検査測定を行うためには、上記撮像周期よりも高速に画像処理を実行させなければならないので、そのような高速の画像処理を妨げないように、画像データを出力する必要がある。
【0009】
また、標準カメラ、倍速カメラまたはメガピクセルカメラの場合、出力するべき画像データの情報量は、それぞれ、約256Kバイト(画像1枚の画素数が512×480画素の場合)、約256Kバイト(画像1枚の画素数が512×480画素の場合)または約1Mバイト(画像1枚の画素数が1024×960画素の場合)となる。近年、検査対象の小型、精密化によって、高精度な画像処理が必要となって撮像装置の画素数が増大する傾向にあり、これに伴って、画像処理装置が扱う画像データも増大する傾向にある。
【0010】
従来の画像処理装置では、画像データを保存する場合、保存時間の観点からSRAM(Static RAM)などの高速メモリが使用される。そのSRAMには、通常、画像処理を行うCPU(中央処理装置)によって画像データが保存されるが、SRAMは、数十MB程度の比較的小さな容量しか持っていないので、上記のような大きな画像データの場合には数枚〜数十枚程度しか保存することができない。また、RAMは、揮発性のため、バッテリなどのバックアップ電源を使用しなければ、電源のオフ時点で、保存した画像データが消去されることになる。
【0011】
このほか、従来の画像処理装置には、より多くの画像データを保存するべく、RAM以外の不揮発性メモリを搭載しているものがある。近時においては、SDカード、コンパクトフラッシュ(登録商標)、メモリスティックなどの小型で低価格の大容量フラッシュROMが普及し、これらを画像データの記憶媒体に使用することによって、多くの枚数をバックアップ電源なしで保持することができるようになっている。
【0012】
しかしながら、この種の記憶媒体は、素子の性質上、保存時間が問題となる。例えばSDカードの場合、512×480画像(約256Kバイト)または1024×960画像(約1Mバイト)の画像データを保存するためには、それぞれ2.9秒または12.4秒の時間がかかる。このように保存時間が秒単位となると、画像処理を行うCPUが画像データを保存する構成の場合、保存時間が撮像周期を大きく上回るため、画像データを保存する毎に、画像処理が停止することになる。加えて、画像処理の過程の処理内容を知る上で重要となるその過程で生起する画像データ(例えば、エッジ位置を検出する過程で求められる微分値画像など、原画像に対し、判定前に特定の画像処理が行われた途中経過の画像、処理途中で導出されるデータ等)を保存することがさらに困難となる。
【0013】
共通の記憶装置(共有メモリ)を使用して多重処理をするマルチプロセッサの構成でも、各CPUは共有メモリに同時にアクセスすることができず、時分割的に共有メモリを使用する必要があることから、結果として画像処理が遅れることになる。
【0014】
本発明は、上記事情に鑑みてなされたものであり、画像処理を止めたりあるいは遅らせたりすることなく、画像処理に使用された画像データを出力することができる画像処理装置および画像処理システムを提供することを目的とする。
【課題を解決するための手段】
【0015】
上記課題を解決するための請求項1記載の発明の画像処理装置は、検査対象の撮像を行う少なくとも1台の撮像装置から画像データを得る画像入力インターフェースと、この画像入力インターフェースで得られた画像データを取り込んで記憶する第1画像メモリと、この第1画像メモリに記憶された画像データを読出し自在に、前記第1画像メモリに接続された第1中央処理装置および第1主記憶装置と、前記画像入力インターフェースで得られた画像データを取り込んで記憶する第2画像メモリと、この第2画像メモリに記憶された画像データを読出し自在に、前記第2画像メモリに接続された第2中央処理装置および第2主記憶装置と、前記第1中央処理装置と前記第2中央処理装置との間に介設され、これらの間でやりとりされる情報の転送を行う中央処理装置間通信部とを備え、前記第1画像メモリおよび前記第2画像メモリは、それぞれ、前記画像入力インターフェースと前記第1中央処理装置および前記第2中央処理装置との間に配置され、前記第1中央処理装置は、前記第1画像メモリに記憶された画像データを用いて画像処理を実行することにより前記検査対象の外観検査測定を行う一方、前記第2中央処理装置は、前記第2画像メモリに記憶された画像データの出力処理を実行することを特徴とする。
【0016】
請求項2記載の発明は、請求項1記載の画像処理装置において、前記画像入力インターフェースの出力に接続された第1および第2ゲートアレイをさらに備え、前記第1画像メモリは、前記画像入力インターフェースに前記第1ゲートアレイを介して接続され、この第1ゲートアレイの制御下で、前記画像入力インターフェースで得られた画像データを取り込んで記憶し、前記第1中央処理装置および第1主記憶装置は、前記第1ゲートアレイの制御下で、前記第1画像メモリに記憶された画像データを読出し自在に、前記第1ゲートアレイを介して前記第1画像メモリに接続され、前記第2画像メモリは、前記画像入力インターフェースに前記第2ゲートアレイを介して接続され、この第2ゲートアレイの制御下で、前記画像入力インターフェースで得られた画像データを取り込んで記憶し、前記第2中央処理装置および第2主記憶装置は、前記第2ゲートアレイの制御下で、前記第2画像メモリに記憶された画像データを読出し自在に、前記第2ゲートアレイを介して前記第2画像メモリに接続されたことを特徴とする。
【0017】
請求項3記載の発明は、請求項2記載の画像処理装置において、前記第1および第2画像メモリの各々は、複数フレーム分の画像データの記憶領域を持ち、前記第1および第2ゲートアレイは、それぞれ、前記第1および第2画像メモリにおける記憶領域のうち一フレーム分の画像データの記憶領域をカレントフレームの画像データの記憶領域とし、この記憶領域に、前記画像入力インターフェースで得られた画像データを記憶する制御を行うほか、その記憶領域に記憶した画像データの記憶状態を一時保存する場合には、前記第1および第2画像メモリにおける記憶領域のうち別の一フレーム分の画像データの記憶領域をカレントフレームの画像データの記憶領域とし、この記憶領域に、前記画像入力インターフェースで得られた画像データを記憶する制御を行うことを特徴とする。
【0018】
請求項4記載の発明は、請求項1〜3のいずれか1項に記載の画像処理装置において、外部コンピュータと通信をするための通信インターフェースを前記第2中央処理装置側にさらに備え、前記第1中央処理装置は、前記中央処理装置間通信部を経由して、前記画像処理に必要な各種パラメータおよびその画像処理結果の少なくとも一方を含む画像処理状況データを前記第2中央処理装置側に送信し、前記第2中央処理装置は、前記出力処理として、前記通信インターフェースを介して、前記第1中央処理装置からの画像処理状況データを、対応する画像データとともに前記外部コンピュータに送信することを特徴とする。
【0019】
請求項5記載の発明は、請求項1〜3のいずれか1項に記載の画像処理装置において、前記第2画像メモリに記憶された画像データを着脱式の記憶媒体に書込み出力するための記憶装置を前記第2中央処理装置側にさらに接続して備え、前記第1中央処理装置は、前記中央処理装置間通信部を経由して、前記画像処理に必要な各種パラメータおよびその画像処理結果の少なくとも一方を含む画像処理状況データを前記第2中央処理装置に送信し、前記第2中央処理装置は、前記出力処理として、前記記憶装置を介して、前記第1中央処理装置からの画像処理状況データを、対応する画像データとともに前記記憶媒体に書込み出力することを特徴とする。
【0020】
請求項6記載の発明は、請求項5記載の画像処理装置において、前記第2画像メモリは、画像データの読出しおよび書込み自在に前記第2中央処理装置および第2主記憶装置にさらに接続され、前記第2中央処理装置は、前記記憶装置を介して、前記記憶媒体に書き込まれた画像データを前記第2画像メモリに読み出し、前記第1中央処理装置は、前記記憶媒体から前記第2画像メモリに読み出された画像データを用いて画像処理を再度実行することを特徴とする。
【0021】
請求項7記載の発明は、請求項4〜6のいずれか1項に記載の画像処理装置において、前記第1中央処理装置は、前記画像処理の経過中または経過後の結果について所定の判定を行い、この判定結果に従って、前記中央処理装置間通信部を介して、前記第2中央処理装置側に前記画像処理状況データを送信するとともに、この画像処理状況データに対応する画像データを指定することを特徴とする。
【0022】
請求項8記載の発明は、請求項7記載の画像処理装置において、前記所定の判定とは、前記画像処理において、不良判定結果が所定数連続したか否かの判定、不良判定率が所定率を超えたか否かの判定および所定の異常が発生したか否かの判定の少なくとも1つの判定を含む良否判定のことであることを特徴とする。
【0023】
請求項9記載の発明は、請求項7記載の画像処理装置において、前記所定の判定とは、少なくとも一つの判定項目についての良品不良品の判定結果が所定率発生したか否かの判定のことであることを特徴とする。
【0024】
請求項10記載の発明は、請求項8または9記載の画像処理装置において、前記判定のための基準は前記外部コンピュータまたは外部機器から入力されることを特徴とする。
【0025】
請求項11記載の発明の画像処理システムは、請求項4〜10のいずれか1項に記載の画像処理装置と、この画像処理装置に具備された通信インターフェースに対応する通信インターフェースを有する外部コンピュータとを備え、この外部コンピュータは、当該外部コンピュータが有する通信インターフェースを介して前記画像処理装置から得た画像処理状況データおよび画像データを用いて、前記第1中央処理装置による画像処理と同様の画像処理を実行することにより、前記検査対象の外観検査測定のシミュレーションを行うことを特徴とする。
【0026】
請求項12記載の発明は、請求項11記載の画像処理システムにおいて、前記外部コンピュータは、前記画像処理状況データに含まれる各種パラメータのうち少なくとも一つのパラメータを変更する必要がある場合、そのパラメータを変更して前記シミュレーションを再度行い、そのシミュレーションにより最適な画像処理結果が得られると、その最適な画像処理結果となったパラメータを含むデータを前記画像処理装置に送信設定することを特徴とする。
【発明の効果】
【0027】
以上のことから明らかなように、請求項1記載の発明の画像処理装置は、検査対象の撮像を行う少なくとも1台の撮像装置から画像データを得る画像入力インターフェースと、この画像入力インターフェースで得られた画像データを取り込んで記憶する第1画像メモリと、この第1画像メモリに記憶された画像データを読出し自在に、前記第1画像メモリに接続された第1中央処理装置および第1主記憶装置と、前記画像入力インターフェースで得られた画像データを取り込んで記憶する第2画像メモリと、この第2画像メモリに記憶された画像データを読出し自在に、前記第2画像メモリに接続された第2中央処理装置および第2主記憶装置と、前記第1中央処理装置と前記第2中央処理装置との間に介設され、これらの間でやりとりされる情報の転送を行う中央処理装置間通信部とを備え、前記第1画像メモリおよび前記第2画像メモリは、それぞれ、前記画像入力インターフェースと前記第1中央処理装置および前記第2中央処理装置との間に配置され、前記第1中央処理装置は、前記第1画像メモリに記憶された画像データを用いて画像処理を実行することにより前記検査対象の外観検査測定を行う一方、前記第2中央処理装置は、前記第2画像メモリに記憶された画像データの出力処理を実行するので、例えば、入力装置を用いて入力された第2画像メモリの画像データの出力指示に従って、第2中央処理装置が第2画像メモリに記憶された画像データの出力処理を行う場合、第2画像メモリの画像データの出力処理から第1中央処理装置が完全に解放されるから、また例えば第1中央処理装置が、中央処理装置間通信部を経由した情報の転送により第2中央処理装置に対して、第1画像メモリに記憶された画像データに対応する第2画像メモリに記憶された画像データの出力指示をする場合でも、第1中央処理装置に加わる負荷が数バイト程度の出力指示データを含む通信メッセージの送信処理のみで済むから、画像処理を止めたりあるいは遅らせたりすることなく、画像処理に使用された画像データを出力することができる。また、画像データの大容量化に伴い、SRAMなどの容量不足の対策として用いられる記憶媒体の保存速度ないし時間に起因する画像処理全体の能力低下という課題も解決することができる。さらに、画像データの出力の遅さに対処することができ、従来よりも多くの情報を出力することができるため、画像処理の途中画像の出力が可能となる。
【0028】
請求項2記載の発明は、請求項1記載の画像処理装置において、前記画像入力インターフェースの出力に接続された第1および第2ゲートアレイをさらに備え、前記第1画像メモリは、前記画像入力インターフェースに前記第1ゲートアレイを介して接続され、この第1ゲートアレイの制御下で、前記画像入力インターフェースで得られた画像データを取り込んで記憶し、前記第1中央処理装置および第1主記憶装置は、前記第1ゲートアレイの制御下で、前記第1画像メモリに記憶された画像データを読出し自在に、前記第1ゲートアレイを介して前記第1画像メモリに接続され、前記第2画像メモリは、前記画像入力インターフェースに前記第2ゲートアレイを介して接続され、この第2ゲートアレイの制御下で、前記画像入力インターフェースで得られた画像データを取り込んで記憶し、前記第2中央処理装置および第2主記憶装置は、前記第2ゲートアレイの制御下で、前記第2画像メモリに記憶された画像データを読出し自在に、前記第2ゲートアレイを介して前記第2画像メモリに接続されているので、画像入力インターフェースから第1および第2画像メモリへの画像データの読出し処理が第1および第2ゲートアレイにより実行されるので、第1および第2中央処理装置に加わる負荷を軽減することができる。
【0029】
請求項3記載の発明は、請求項2記載の画像処理装置において、前記第1および第2画像メモリの各々は、複数フレーム分の画像データの記憶領域を持ち、前記第1および第2ゲートアレイは、それぞれ、前記第1および第2画像メモリにおける記憶領域のうち一フレーム分の画像データの記憶領域をカレントフレームの画像データの記憶領域とし、この記憶領域に、前記画像入力インターフェースで得られた画像データを記憶する制御を行うほか、その記憶領域に記憶した画像データの記憶状態を一時保存する場合には、前記第1および第2画像メモリにおける記憶領域のうち別の一フレーム分の画像データの記憶領域をカレントフレームの画像データの記憶領域とし、この記憶領域に、前記画像入力インターフェースで得られた画像データを記憶する制御を行うので、複数フレーム分の画像データを用いた画像処理が可能になるほか、画像処理サイクルより画像データの出力処理サイクルの方が長く、例えば画像データを出力する必要のある判定結果が続く場合でも、出力すべき画像データがこれに続く出力すべき画像データによって上書きされることがなくなり、出力すべき画像データの出力時間を稼ぐことができるとともに、第2中央処理装置に低速のものを使用することが可能になる。
【0030】
請求項4記載の発明は、請求項1〜3のいずれか1項に記載の画像処理装置において、外部コンピュータと通信をするための通信インターフェースを前記第2中央処理装置側にさらに備え、前記第1中央処理装置は、前記中央処理装置間通信部を経由して、前記画像処理に必要な各種パラメータおよびその画像処理結果の少なくとも一方を含む画像処理状況データを前記第2中央処理装置側に送信し、前記第2中央処理装置は、前記出力処理として、前記通信インターフェースを介して、前記第1中央処理装置からの画像処理状況データを、対応する画像データとともに前記外部コンピュータに送信するので、より好適な解析が可能となる。
【0031】
請求項5記載の発明は、請求項1〜3のいずれか1項に記載の画像処理装置において、前記第2画像メモリに記憶された画像データを着脱式の記憶媒体に書込み出力するための記憶装置を前記第2中央処理装置側にさらに接続して備え、前記第1中央処理装置は、前記中央処理装置間通信部を経由して、前記画像処理に必要な各種パラメータおよびその画像処理結果の少なくとも一方を含む画像処理状況データを前記第2中央処理装置に送信し、前記第2中央処理装置は、前記出力処理として、前記記憶装置を介して、前記第1中央処理装置からの画像処理状況データを、対応する画像データとともに前記記憶媒体に書込み出力するので、より好適な解析が可能となる。また、オフラインの別のコンピュータで画像データおよび画像処理状況の確認が行え、外部コンピュータをオンラインで接続しておく必要がない。
【0032】
請求項6記載の発明は、請求項5記載の画像処理装置において、前記第2画像メモリは、画像データの読出しおよび書込み自在に前記第2中央処理装置および第2主記憶装置にさらに接続され、前記第2中央処理装置は、前記記憶装置を介して、前記記憶媒体に書き込まれた画像データを前記第2画像メモリに読み出し、前記第1中央処理装置は、前記記憶媒体から前記第2画像メモリに読み出された画像データを用いて画像処理を再度実行するので、記憶媒体に書き込まれた画像データの読み出し時に生じ得る画像処理の遅れを抑制することができる。
【0033】
請求項7記載の発明は、請求項4〜6のいずれか1項に記載の画像処理装置において、前記第1中央処理装置は、前記画像処理の経過中または経過後の結果について所定の判定を行い、この判定結果に従って、前記中央処理装置間通信部を介して、前記第2中央処理装置側に前記画像処理状況データを送信するとともに、この画像処理状況データに対応する画像データを指定するので、画像処理の経過中または経過後において解析などに必要となった画像データが出力されることになり、無用な画像データの出力が防止され、出力された画像データの利用価値が高まる。
【0034】
請求項8記載の発明は、請求項7記載の画像処理装置において、前記所定の判定とは、前記画像処理において、不良判定結果が所定数連続したか否かの判定、不良判定率が所定率を超えたか否かの判定および所定の異常が発生したか否かの判定の少なくとも1つの判定を含む良否判定のことであるので、良否判定状況に応じて必要な画像データに絞って出力することが可能となり、第1および第2画像メモリの記憶容量を効率的に使用することができる。
【0035】
請求項9記載の発明は、請求項7記載の画像処理装置において、前記所定の判定とは、少なくとも一つの判定項目についての良品不良品の判定結果が所定率発生したか否かの判定のことであるので、良否判定状況に応じて必要な画像データに絞って出力することが可能となる。
【0036】
請求項10記載の発明は、請求項8または9記載の画像処理装置において、前記判定のための基準は前記外部コンピュータまたは外部機器から入力されるので、画像処理前後、画像処理中にかかわらず、判定のための基準の設定ないし変更が可能となる。
【0037】
請求項11記載の発明の画像処理システムは、請求項4〜10のいずれか1項に記載の画像処理装置と、この画像処理装置に具備された通信インターフェースに対応する通信インターフェースを有する外部コンピュータとを備え、この外部コンピュータは、当該外部コンピュータが有する通信インターフェースを介して前記画像処理装置から得た画像処理状況データおよび画像データを用いて、前記第1中央処理装置による画像処理と同様の画像処理を実行することにより、前記検査対象の外観検査測定のシミュレーションを行うので、画像処理装置の画像処理を中断することなく、外部コンピュータで画像処理装置と同様の画像処理を再現したシミュレーションにより各種確認が可能となる。
【0038】
請求項12記載の発明は、請求項11記載の画像処理システムにおいて、前記外部コンピュータは、前記画像処理状況データに含まれる各種パラメータのうち少なくとも一つのパラメータを変更する必要がある場合、そのパラメータを変更して前記シミュレーションを再度行い、そのシミュレーションにより最適な画像処理結果が得られると、その最適な画像処理結果となったパラメータを含むデータを前記画像処理装置に送信設定するので、画像処理装置のパラメータの更新が可能になる。これにより、画像処理自体と画像処理設定の分業を図ることができる。
【図面の簡単な説明】
【0039】
【図1】本発明に係る第1実施形態の画像処理システムの構成図である。
【図2】本発明に係る第2実施形態の画像処理装置の構成図である。
【図3】出力処理が送信出力である場合の画像処理システムの一部構成図である。
【図4】画像処理を実行することで生起する画像データの例を示す図である。
【図5】本発明に係る第3実施形態の画像処理装置の構成図である。
【図6】図5の画像処理装置の動作説明図である。
【図7】本発明に係る第4実施形態の画像処理装置の構成図である。
【図8】図7の画像処理装置の動作説明図である。
【図9】図7の画像処理装置の動作説明図である。
【図10】図7の画像処理装置の動作説明図である。
【図11】図7の画像処理装置の動作説明図である。
【図12】本発明に係る第5実施形態の画像処理装置の構成図である。
【図13】原画像の例を示す図である。
【図14】判定条件の設定メニュー例を示す図である。
【図15】本発明に係る第6実施形態の画像処理装置の構成図である。
【図16】図15の画像処理装置の動作説明図である。
【図17】使用可能フラグの例を示す図である。
【図18】本発明に係る第7実施形態の画像処理システムの動作説明図である。
【図19】本発明に係る第7実施形態の画像処理システムの動作説明図である。
【図20】本発明に係る第7実施形態の画像処理システムの動作説明図である。
【図21】本発明に係る第7実施形態の画像処理システムの動作説明図である。
【図22】第1実施形態などに関連する実施例を示す図である。
【図23】図22の通信部のより詳細な構成図である。
【図24】図22の画像処理部のより詳細な構成図である。
【発明を実施するための形態】
【0040】
(第1実施形態)
図1は画像処理システムの構成図であり、この図を参照しながら本発明の第1実施形態について説明する。
【0041】
図1に示す画像処理システムは、例えば製造ラインにおいて、製造物などの検査対象の外観検査測定に使用されるものであり、通信部100および画像処理部150により構成される画像処理装置1と、画像データ用記憶装置21および画像処理調整部22を含み画像処理装置1と通信可能に接続されるパソコン2とを備えているほか、画像処理装置1の周辺機器として、検査対象の撮像を行う少なくとも1台のカメラ3と、キーパッドなどの各種操作入力用の入力装置4と、CRTまたはLCDなどの表示装置5とを備えている。
【0042】
通信部100は、画像処理を止めたりあるいは遅らせたりすることなく、画像処理に使用された画像データを出力する処理などを実行する核となるCPU130およびメインメモリ(主記憶装置)131を備えているとともに、画像入力インターフェース101と、VRAM105と、モニタ出力インターフェース116と、通信インターフェース109と、メインコントローラ137と、画像データ保存用記憶装置120と、デュアルポートメモリ135とを備えている。
【0043】
画像入力インターフェース101は、A/D変換器103を含み、このA/D変換器103により、カメラ3からのアナログ画像信号をデジタルに変換して画像データを得るものである。VRAM105は、画像入力インターフェース101で得られた画像データを取り込んで記憶するものである。モニタ出力インターフェース116は、D/A変換器119を含み、このD/A変換器119により、VRAM105に記憶された画像データをアナログに変換してアナログ画像信号を表示装置5に出力するものである。通信インターフェース109は、イーサネット(登録商標)またはRS−232Cなどに対応した外部との通信手段である。メインコントローラ137は、入力装置4の操作入力インターフェース(図示せず)および通信インターフェース109などの各種インターフェースの入出力制御を行うものである。画像データ保存用記憶装置120は、SDカードなどの着脱式の記憶媒体に、例えばVRAM105などに記憶された画像データを保存するものである。デュアルポートメモリ135は、CPU130と後述のCPU160との間に介設され、これらの間でやりとりされる情報(例えばコマンドまたはデータなど)の転送を行うものである。
【0044】
画像処理部150は、画像入力インターフェース101で得られた画像データを取り込んで記憶するVRAM153を備えているほか、入力装置4および通信インターフェース109に接続された外部機器の少なくとも一方を通じて設定され、例えばデュアルポートメモリ135を経由したメッセージ通信などで取得した検査条件下で、VRAM153に記憶された画像データを用いた画像処理を通じ、検査対象についての各種外観検査測定を実行する核となるCPU160およびメインメモリ161を備えている。
【0045】
上記構成の画像処理システムの特徴となる動作について説明すると、画像入力インターフェース101で得られた画像データは、VRAM153に記憶されるとともにVRAM105に記憶される。
【0046】
一方のVRAM153に記憶された画像データは、メインメモリ161と一体不可分となって動作するCPU160により読み出されて、従来と同様に画像処理に利用され、その画像処理を通じて検査対象についての各種外観検査測定が実行される。
【0047】
他方のVRAM105に記憶された画像データは、メインメモリ131と一体不可分となって動作するCPU130により読み出されて例えばメインメモリ131に一端保持された後、画像データ保存用記憶装置120に転送されるほか、メインコントローラ137を経由して通信インターフェース109から外部のパソコン2に送信出力される。なお、画像データ保存用記憶装置120に転送された画像データは、その記憶媒体に書込み出力されることになる。
【0048】
以上、第1実施形態によれば、カメラ3から画像データを得る画像入力インターフェース101と、この画像入力インターフェース101で得られた画像データを取り込んで記憶するVRAM153と、このVRAM153に記憶された画像データを読出し自在に、VRAM153に接続されたCPU160およびメインメモリ161と、画像入力インターフェース101で得られた画像データを取り込んで記憶するVRAM105と、このVRAM105に記憶された画像データを読出し自在に、VRAM105に接続されたCPU130およびメインメモリ131と、CPU160とCPU130との間に介設され、これらの間でやりとりされる情報の転送を行うデュアルポートメモリ135とを備え、CPU160は、VRAM153に記憶された画像データを用いて画像処理を実行することにより検査対象の外観検査測定を行う一方、CPU130は、VRAM105に記憶された画像データの出力処理を実行するので、例えば、入力装置4を用いて入力されたVRAM105の画像データの出力指示に従って、CPU130がVRAM105に記憶された画像データの出力処理を行う場合、VRAM105の画像データの出力処理からCPU160が完全に解放されるから、また例えばCPU160が、デュアルポートメモリ135を経由したメッセージ通信によりCPU130に対して、VRAM153に記憶された画像データに対応するVRAM105に記憶された画像データの出力指示をする場合でも、CPU160に加わる負荷が数バイト程度の出力指示データを含む通信メッセージの送信処理のみで済むから、画像処理を止めたりあるいは遅らせたりすることなく、画像処理に使用された画像データを出力することができる。
【0049】
(第2実施形態)
図2は画像処理装置の構成図、図3は出力処理が送信出力である場合の画像処理システムの一部構成図、図4は画像処理を実行することで生起する画像データの例を示す図であり、これらの図を参照しながら本発明の第2実施形態について説明する。
【0050】
第2実施形態の画像処理装置1Aは、第1実施形態との相違点として、VRAM153,105と、メインメモリ161,131と、CPU160,130とに代えて、それぞれ図2に示すように、複数(1,2,…N)フレーム分の画像データの記憶領域を持つVRAM153a,105aと、第1実施形態とは異なる実行プログラムが展開されたメインメモリ161a,131aと、これらメインメモリ161a,131aに展開されたプログラムにそれぞれ従って処理を実行するCPU160a,130aとを備えている。
【0051】
そして、CPU160aおよびメインメモリ161aがVRAM105aとデータの読出しおよび書込み自在にさらに接続され、CPU160aが、第1実施形態のCPU160との相違点として、画像処理を実行することで生起した画像データの書込みをVRAM105aに対してさらに行い、CPU130aが、第1実施形態のCPU130との相違点として、VRAM105aに格納された少なくとも1フレーム分の画像データの出力処理を実行する。このように、画像処理中の画像データをも出力する本質的な理由は、画像処理がどのように行われて所定の画像処理結果が出てきたのかを解析し、画像処理装置の設定を調整することにある。
【0052】
このような構成の画像処理装置1AのCPU160aおよびメインメモリ161a側では、各種画像処理が実行されるが、図4の例に示すように画像処理の前処理として、図4(a)の原画像から、図4(b)の微分画像および図4(c)細線化画像を経て、図4(d)に示すエッジ線の画像を得る場合、各種画像データがメインメモリ161a中(図2の「処理画像」参照)に生起する。これらの各種画像データは、CPU160aおよびメインメモリ161a側から経過画像としてVRAM105aに書き込まれる。
【0053】
この後、VRAM105aに書き込まれた各種画像データは、メインメモリ131aと一体不可分となって動作するCPU130aの指示および制御により、例えばDMA転送でメインメモリ131aに記憶された後、図2に示すように画像データ保存用記憶装置120に転送され、その記憶媒体に書込み出力(保存)されるほか、図3に示すように外部のパソコン2に送信出力(転送)される。
【0054】
ここで、上記画像処理の前処理において、図4(d)に示すようにエッジ線の途切れに起因して不都合な画像処理結果となったとき、図4などに示す経過画像も出力されるから、図4(d)に示すようなエッジ線の途切れが原因であるといったような解析がパソコン2で実行可能となる。なお、この場合、微分処理の画像パラメータである微分しきい値の設定が大きすぎると推察されれば、その微分しきい値が図3に示す画像処理調整部22で最適値に変更され、最適値に変更された微分しきい値がCPU130a側に送信されることになる。
【0055】
以上、第2実施形態によれば、CPU160aおよびメインメモリ161aがVRAM105aとデータの読出しおよび書込み自在にさらに接続され、CPU160aは、画像処理を実行することで生起した画像データの書込みをVRAM105aに対してさらに行い、CPU130aは、VRAM105aに記憶された各種画像データの出力処理を実行するので、画像処理を実行することで生起した画像データもパソコン2で確認することができる。
【0056】
(第3実施形態)
図5は画像処理装置の構成図、図6は図5の画像処理装置の動作説明図であり、これらの図を参照しながら本発明の第3実施形態について説明する。
【0057】
第3実施形態の画像処理装置1Bは、第1実施形態との相違点として、VRAM153,105に代えて、それぞれ図5,図6に示すように、複数フレーム分の画像データの記憶領域を持つVRAM153a,105aを備えているとともに、VRAM153a,105aのアドレス制御をそれぞれ行うVRAMコントローラ152,104をさらに備えている。
【0058】
VRAMコントローラ152,104は、ともにFPGA(Field Programmable Gate Array)であり、それぞれ、CPU160,130からのアドレス情報に従って、VRAM153a,105aにおける記憶領域のうち、一フレーム分の画像データの記憶領域をカレントフレームの画像データの記憶領域とし、この記憶領域に、画像入力インターフェース101で得られた画像データを記憶するハード制御を行うほか、その記憶領域に記憶した画像データを一時保存する場合には、別の一フレーム分の画像データの記憶領域をカレントフレームの画像データの記憶領域とし、この記憶領域に、画像入力インターフェース101で得られた画像データを記憶するハード制御を行う。
【0059】
なお、図5の例では、CPU160がVRAMコントローラ152,104の両方に指示を与える構成になっているが、これは、VRAMコントローラ104がカメラ3の撮像コントローラを兼ねており、CPU160がVRAMコントローラ104を経由してカメラ3を制御することができるようにするためである。VRAMコントローラ104には、CPU160,130からの指示を格納するレジスタが設けられており、そのレジスタに撮像指示が格納されると、VRAMコントローラ104は、その撮像指示に従って撮像制御を実行する。
【0060】
上記構成の画像処理装置1Bでは、図6の例に示すように、VRAM105aにおける記憶領域のうち、画像番号“1”の画像データの記憶領域がカレントフレームの画像データの記憶領域(図6では“カレントフレーム画像記憶領域”)となっている場合、そのカレントフレーム画像記憶領域に、画像入力インターフェース101で得られた画像データが記憶される。
【0061】
このとき、外観検査測定で例えば不良品の判定結果が得られると、その不良品の画像データは、VRAM105aに一時保存された上で、解析などのために出力されることになる。すなわち、画像番号“1”の画像データの記憶領域が“一時保存フレーム画像記憶領域”に切り替えられ、画像番号“2”の画像データの記憶領域が“カレントフレーム画像記憶領域”に設定される。これにより、画像番号“1”の画像データの記憶領域に保存された不良品の画像データが新たな画像データによって上書きされて消失することがなくなる。
【0062】
この後、外観検査測定で不良品の判定結果が得られると、上記同様に、“カレントフレーム画像記憶領域”が“一時保存フレーム画像記憶領域”に切り替えられ、次の画像番号の画像データの記憶領域が“カレントフレーム画像記憶領域”に設定される。そして、画像番号“N”の記憶領域に至った場合には、次の記憶領域が画像番号“1”の記憶領域となり、“カレントフレーム画像記憶領域”がサイクリックに切り替えられる。
【0063】
この“カレントフレーム画像記憶領域”の切替え過程において、VRAM105aに記憶された不良品の画像データは、第1実施形態と同様に、書込みまたは送信出力される。
【0064】
以上、第3実施形態によれば、VRAMコントローラ152,104が、それぞれ、VRAM153a,105aにおける記憶領域のうち、一フレーム分の画像データの記憶領域をカレントフレームの画像データの記憶領域とし、この記憶領域に、画像入力インターフェース101で得られた画像データを記憶する制御を行うほか、その記憶領域に記憶した画像データを一時保存する場合には、別の一フレーム分の画像データの記憶領域をカレントフレームの画像データの記憶領域とし、この記憶領域に、画像入力インターフェース101で得られた画像データを記憶する制御を行うので、複数フレーム分の画像データを用いた画像処理が可能になるほか、画像処理サイクルより画像データの出力処理サイクルの方が長く、例えば画像データを出力する必要のある判定結果が続く場合でも、出力すべき画像データがこれに続く出力すべき画像データによって上書きされることがなくなり、出力すべき画像データの出力時間を稼ぐことができるとともに、CPU130に低速のものを使用することが可能になる。また、過去の履歴を残し、複数枚の画像を表示装置5に表示することができる。さらに、VRAM153a,105aの画像データの整合を図ることにより、CPU160がCPU130に対して例えば画像番号のみで出力するべき画像データを指定することが可能になる。
【0065】
なお、第3実施形態では、画像データの整合のため、VRAM153a,105aの双方に対して、“カレントフレーム画像記憶領域”の切替えがサイクリックに行われる構成になっているが、VRAM105aのみに対して、“カレントフレーム画像記憶領域”の切替えがサイクリックに行われる構成でもよい。
【0066】
(第4実施形態)
図7は画像処理装置の構成図、図8〜図11は図7の画像処理装置の動作説明図であり、これらの図を参照しながら本発明の第4実施形態について説明する。
【0067】
第4実施形態の画像処理装置1Cは、第1実施形態との相違点として、VRAM153,105と、メインメモリ161,131と、CPU160,130とに代えて、それぞれ図7に示すように、複数フレーム分の画像データの記憶領域を持つVRAM153a,105aと、第1実施形態とは異なる実行プログラムが展開されたメインメモリ161c,131cと、これらメインメモリ161c,131cに展開されたプログラムにそれぞれ従って処理を実行するCPU160c,130cとを備えている。なお、図7では、画像入力インターフェース101および通信インターフェース109などは図示省略してある。また、VRAM105aは、データの読出しおよび書込み自在にCPU160cおよびメインメモリ161cにさらに接続される。
【0068】
CPU160cは、第1実施形態のCPU160との相違点として、デュアルポートメモリ135を経由して、画像処理に必要な画像処理パラメータ、判定パラメータなどの各種パラメータおよびその画像処理結果の少なくとも一方を含む画像処理状況データをCPU130c側に送信する処理を実行する。
【0069】
CPU130cは、第1実施形態のCPU130との相違点として、出力処理として、通信インターフェース109を介して、CPU160cからの画像処理状況データを、対応する画像データとともにパソコン2に送信するほか、画像データ保存用記憶装置120を介して、CPU160cからの画像処理状況データを、対応する画像データとともに画像データ保存用記憶装置120の記憶媒体に書込み出力する処理を実行する。
【0070】
また、CPU130cは、画像データ保存用記憶装置120を介して、その記憶媒体に書き込まれた画像データをVRAM105aに読み出し、CPU160cは、画像データ保存用記憶装置120の記憶媒体からVRAM105aに読み出された画像データを用いて画像処理を再度実行する。
【0071】
上記構成の画像処理装置では、画像入力インターフェース101で得られた画像データは、VRAM153a,105aに並列に記憶される。VRAM153a,105aにはN枚の画像データを記憶することができ、各画像データには画像番号が付される。画像データは、第3実施形態と同様に、通常は同じ記憶領域に繰り返し記憶されるが、CPU160cが画像データを出力すると判断した場合には、画像データを記憶する記憶領域が切り替えられる。
【0072】
CPU160cおよびメインメモリ161c側では、VRAM153aに記憶されたカレントの画像データをメインメモリ161cにコピーした上で画像処理が実行される。
【0073】
ここで、図8の例において、VRAM105aに記憶されているN枚の画像データをパソコン2に送信出力する場合、CPU160cは、N枚目の画像データを用いて画像処理を実行しているときに、VRAM105aに記憶されているN枚の画像データを送信出力させるべく、画像処理に必要な各種パラメータおよびその画像処理結果の少なくとも一方を含む画像処理状況データを通信メッセージとして、デュアルポートメモリ135経由でCPU130cに送信する。通信メッセージには、出力するべき画像番号および通信インターフェース109経由の指示などがさらに含められる。
【0074】
CPU130cは、その通信メッセージを受け取ると、VRAM105aに記憶されている出力するべき画像データをメインメモリ131cに順次読み出し、画像処理状況データとともに通信インターフェース109を介してパソコン2に送信出力する。
【0075】
パソコン2は、画像処理装置1Cからの画像データおよび画像処理状況データを画像処理調整部22の受信機能により受信した後、例えばハードディスク装置などの画像データ用記憶装置21に保存する。
【0076】
なお、パソコン2が画像処理装置1Cに未接続である場合、パソコン2が受信状態に入っていない場合などでは、画像データおよび画像処理状況データが受信されないので、画像処理調整部22は受信状態に入ったか否かを示す情報をCPU130cに送信し、CPU130cはその情報を受信した後に画像データおよび画像処理状況データを送信出力する。
【0077】
図9の例において、VRAM105aに記憶されているN枚の画像データを画像データ保存用記憶装置120に書込み出力する場合、CPU160cは、N枚目の画像データを用いて画像処理を実行しているときに、VRAM105aに記憶されているN枚の画像データを送信出力させるべく、画像処理に必要な各種パラメータおよびその画像処理結果の少なくとも一方を含む画像処理状況データを通信メッセージとして、デュアルポートメモリ135経由でCPU130cに送信する。通信メッセージには、出力するべき画像番号および画像データ保存用記憶装置120経由の指示などがさらに含められる。
【0078】
CPU130cは、その通信メッセージを受け取ると、VRAM105aに記憶されている出力するべき画像データをメインメモリ131cに順次読み出し、画像処理状況データとともに画像データ保存用記憶装置120に転送する。順次転送された画像データおよび画像処理状況データは、画像データ保存用記憶装置120の記憶媒体に書込み出力される。
【0079】
図10の例において、CPU130cは、VRAM105aに記憶されている複数の画像のうち、出力するべき所望の画像を入力装置4により選択可能に表示装置5に表示し、入力装置4を用いて所望の画像が選択されると、VRAM105aから対応する画像データをメインメモリ131cに読み出し、画像データ保存用記憶装置120に転送する。転送された画像データは、画像データ保存用記憶装置120の記憶媒体に書込み出力される。この場合、VRAM105aの画像データの出力処理からCPU160cが完全に解放されるから、CPU160cの画像処理を遅らせることなく、画像処理に使用された画像データを出力することができる。
【0080】
図11の例において、以前の画像データが保存されている記憶媒体を画像データ保存用記憶装置120に装着した後、その記憶媒体に保存されている画像データを用いて画像処理を再実行する指示が入力装置4からCPU130cに入力されると、CPU130cは、画像データ保存用記憶装置120から、指示された保存画像の画像データをメインメモリ131cに読み出し、それをVRAM105aにコピーしてその保存画像を表示装置5に表示する。保存画像のVRAM105aへの配置が完了した後、CPU130cは、デュアルポートメモリ135を経由して、保存画像が展開されているVRAM105aの画像番号を含む画像処理実行指示をCPU160cに送信する。
【0081】
CPU160cは、その画像処理実行指示を受信すると、画像データ保存用記憶装置120の記憶媒体からVRAM105aに読み出された画像データを用いて画像処理を再度実行する。
【0082】
以上、第4実施形態によれば、CPU160cは、デュアルポートメモリ135を経由して、画像処理に必要な各種パラメータおよびその画像処理結果の少なくとも一方を含む画像処理状況データをCPU130cに送信し、CPU130cは、CPU160cからの画像処理状況データを、対応する画像データとともに出力するので、より好適な解析が可能となる。
【0083】
また、CPU130cは、画像データ保存用記憶装置120を介して、その記憶媒体に書き込まれた画像データをVRAM105aに読み出し、CPU160cは、画像データ保存用記憶装置120の記憶媒体からVRAM105aに読み出された画像データを用いて画像処理を再度実行するので、画像データ保存用記憶装置120からの時間のかかる(512×480画素の画像の場合は約50ms強)保存画像の読出しがCPU130cにより実行され、VRAM105aに再配置された保存画像がCPU160c側に読み出されることになるから、保存画像の再読込み時に生じ得る画像処理の遅れを抑制することができる。また、VRAM105aへの保存画像の配置が完了した後に画像処理実行指示が出されるので、VRAM105aに対するCPU160c,130cによるアクセスの競合は起こらない。
【0084】
なお、CPU160cとCPU130cとの間で交換される指示などは、ポーリング的に送信される構成でも、指示をFPGAのレジスタに書き込むことによりイベントを発生させ、割込みにより指示を取り込む構成でもよい。
【0085】
また、画像処理の再実行は、カレントの画像データを用いた画像処理の合間に実行されるようにしてもよい。
【0086】
(第5実施形態)
図12は画像処理装置の構成図、図13は原画像の例を示す図、図14は判定条件の設定メニュー例を示す図であり、これらの図を参照しながら本発明の第5実施形態について説明する。
【0087】
第5実施形態の画像処理装置1Dは、第1実施形態との相違点として、VRAM153,105と、メインメモリ161,131と、CPU160,130とに代えて、それぞれ図12に示すように、複数フレーム分の画像データの記憶領域を持つVRAM153a,105aと、第1実施形態とは異なる実行プログラムが展開されたメインメモリ161d,131dと、これらメインメモリ161d,131dに展開されたプログラムにそれぞれに従って処理を実行するCPU160d,130dとを備えている。なお、図12では、画像入力インターフェース101および通信インターフェース109などは図示省略してある。
【0088】
CPU160dは、第1実施形態のCPU160との相違点として、画像処理の経過中または経過後の結果について所定の判定を行い、この判定結果に従って、デュアルポートメモリ135を介して、CPU130d側に、画像処理に必要な各種パラメータおよびその画像処理結果の少なくとも一方を含む画像処理状況データを送信するとともに、この画像処理状況データに対応する画像データを指定する処理をさらに実行する。ここで、所定の判定とは、画像処理において、不良判定結果が所定数連続したか否かの判定、不良判定率が所定率を超えたか否かの判定および所定の異常が発生したか否かの判定の少なくとも1つの判定を含む良否判定のことであり、また少なくとも一つの判定項目についての良品不良品の判定結果が所定率発生したか否かの判定のことである。
【0089】
CPU130dは、第1実施形態のCPU130との相違点として、入力装置4が接続される操作入力インターフェース(図示せず)および通信インターフェース109の少なくとも一方を介して、上記所定の判定のための判定基準を受け取ると、その判定基準をデュアルポートメモリ135経由でCPU160dに送信する処理をさらに実行する。
【0090】
このような構成の画像処理装置1Dでも、CPU130dに出力処理させる画像データを指定するときにCPU160dが使用する出力命令のデータ量を滅らして、CPU160dの画像処理の停滞を防止するべく、画像番号がVRAM153a,105aの各記憶領域に付される。
【0091】
いま、上記判定基準を含む自動サンプリング条件が操作入力インターフェースおよび通信インターフェース109の少なくとも一方から入力されると、CPU130dは、デュアルポートメモリ135を介してその自動サンプリング条件をCPU160d側に送信する。ここで、判定基準は、例えば「不良品とする判定がN回連続したとき」というものであるとする。
【0092】
この後、CPU160dは、予め設定された検査測定条件に従って良品不良品の判定を行い、この判定結果(上記画像処理の経過中または経過後の結果)が不良品であれば、第3実施形態と同様にして“カレントフレーム画像記憶領域”を切り替える。このとき、“一時保存フレーム画像記憶領域”の画像番号が例えばメインメモリ161dに保存される。また、CPU160dからCPU130dに“カレントフレーム画像記憶領域”の切替え指示が出される。
【0093】
この後、不良品の判定結果がN回連続すると、CPU160dは、上記所定の判定により、「不良品とする判定がN回連続したとき」に該当するので、画像処理に必要な各種パラメータおよびその画像処理結果の少なくとも一方を含む画像処理状況データ、この画像処理状況データに対応する画像データを指定する画像番号などを通信メッセージに含めて、デュアルポートメモリ135を介して、CPU130d側に送信する。
【0094】
CPU130dは、上記を通信メッセージを受信すると、VRAM105aから対応する画像データをメインメモリ131dに読み出して、画像処理状況データとともに画像データ保存用記憶装置120に書込み出力、または通信インターフェース109を介してパソコン2に送信出力する。
【0095】
ところで、上記動作例では、判定基準は、「不良品とする判定がN回連続したとき」というものになっているが、この他にも様々な判定基準が考えられる。
【0096】
図13に示す原画像について、枠F内の面積値(2値化しきい値以上の光量を持つ画素数)と枠F内の平均光量とを算出する画像処理において、図14に示す設定メニューで、面積値および平均濃淡値を判定基準として設定する場合を考えると、その範囲を外れる結果となった画像データが出力の対象となる。
【0097】
図14中のチェックボックスは、判定基準として有効にするか無効にするかを設定するためのものであり、チェックが入れられると有効となる。そして、そのチェックは、入力装置4またはパソコン2を通じて設定することができるように構成される。
【0098】
以上、第5実施形態によれば、CPU160dが、画像処理の経過中または経過後の結果について所定の判定を行い、この判定結果に従って、デュアルポートメモリ135を介して、CPU131d側に画像処理状況データを送信するとともに、この画像処理状況データに対応する画像データを指定するので、画像処理の経過中または経過後において解析などに必要となった画像データが出力されることになり、出力された画像データの利用価値が高まる。
【0099】
また、所定の判定が、画像処理において、不良判定結果が所定数連続したか否かの判定、不良判定率が所定率を超えたか否かの判定および所定の異常が発生したか否かの判定の少なくとも1つの判定を含む良否判定であれば、良否判定状況に応じて必要な画像データに絞って出力することが可能となり、VRAMの記憶容量を効率的に使用することができる。
【0100】
また、所定の判定が、少なくとも一つの判定項目についての良品不良品の判定結果が所定率発生したか否かの判定でも、良否判定状況に応じて必要な画像データに絞って出力することが可能となる。例えば、重要度を考えて所定率を設定すれば、よく発生する不良品についてはその画像データが出力される確率を下げ、まれにしか発生しない不良品についてはその画像データが出力される確率を高くすることができる。
【0101】
さらに、判定のための基準が通信インターフェース109に接続されたパソコン2または外部機器から入力される構成の場合、画像処理前後、画像処理中にかかわらす、判定のための基準の設定ないし変更が可能となる。
【0102】
なお、第5実施形態では、N回連続して不良品の判定結果となった画像データが出力される構成になっているが、例えば経緯変化の解析のため、設定した不良率の上限を超えた時点の前後各N枚の画像データが出力される構成でもよい。
【0103】
また、CPU160dがメインメモリ161dではなく、VRAM105aを途中経過の画像データの保存位置としている場合には、N回連続で不良品判定となった画像の途中経過を保存するように指定することも可能である。
【0104】
(第6実施形態)
図15は画像処理装置の構成図、図16は図15の画像処理装置の動作説明図、図17は使用可能フラグの例を示す図であり、これらの図を参照しながら本発明の第6実施形態について説明する。
【0105】
第6実施形態の画像処理装置1Eは、第3実施形態との相違点として、デュアルポートメモリ135と、メインメモリ161,131と、CPU160,130とに代えて、それぞれ図15,図16に示すように、使用可能フラグ(図17の例を参照)が設定されるデュアルポートメモリ135eと、第3実施形態とは異なる実行プログラムが展開されたメインメモリ161e,131eと、これらメインメモリ161e,131eに展開されたプログラムにそれぞれ従って処理を実行するCPU160e,130eとを備えている。なお、使用可能フラグの各フラグは、初期値として“1”が設定されているとする。
【0106】
CPU160eは、第3実施形態のCPU160bとの相違点として、デュアルポートメモリ135eの使用可能フラグのうち、出力するべき画像データの画像番号に対応するフラグを“0”に設定する処理を実行する。
【0107】
CPU130eは、第3実施形態のCPU130bとの相違点として、デュアルポートメモリ135eの使用可能フラグにおいて、“0”のフラグの画像番号に対応する画像データをVRAM105aから読み出して出力し、その画像データの出力が完了すると、そのフラグを“1”に置き換える処理を実行する。
【0108】
上記構成の画像処理装置1Eの動作について説明すると、CPU160eは、外観検査測定で画像データを出力すると判定した場合、その画像データの画像番号に当たるフラグを“0”に設定して、CPU130eに対してその画像データの出力指示を出す。
【0109】
この後、CPU130eは、ポーリング的に使用可能フラグの各フラグ状態を監視し、“0”に設定されたフラグを検出すると、そのフラグの画像番号に対応する画像データをVRAM105aから読み出して出力する処理を実行する。続いて、その画像データの出力が完了すると、対応するフラグを“1”に置き換える処理を実行する。
【0110】
ところで、CPU160e,CPU130eは、それぞれ、ポーリング的に使用可能フラグの各フラグ状態を監視するが、“0”に設定されたフラグを検出した場合には、VRAM153a,105aにおける各記憶領域のうち、対応する画像番号の記憶領域を書込み禁止の状態に設定し、“1”に置き換えられたフラグを検出した場合には、対応する画像番号の記憶領域を書込み許可の状態に設定する。
【0111】
以上、第6実施形態によれば、フラグを用いて出力するべき画像データの指示をするので、VRAMの効率的な利用が可能となる。
【0112】
(第7実施形態)
図18〜図21は画像処理システムの動作説明図であり、これらの図を参照しながら本発明の第7実施形態について説明する。
【0113】
第7実施形態の画像処理システムは、上記各実施形態で説明した画像処理装置と、この画像処理装置に具備された通信インターフェース109に対応する通信インターフェース(図示せず)を有するパソコン2eとを備えている。
【0114】
パソコン2eは、自己の通信インターフェースを介して画像処理装置から得た画像処理状況データおよび画像データを用いて、画像処理部のCPUによる画像処理と同様の画像処理を実行することにより、検査対象の外観検査測定のシミュレーションを行うほか、画像処理状況データに含まれる各種パラメータのうち少なくとも一つのパラメータを変更する必要がある場合、そのパラメータを変更して上記シミュレーションを再度行い、そのシミュレーションにより最適な画像処理結果が得られると、その最適な画像処理結果となったパラメータを含むデータを画像処理装置に送信設定する。
【0115】
図18の動作例において、画像処理装置で不良品の判定結果(NG)が発生した場合(S1)、画像処理装置は、通信インターフェース109を介して画像データおよび画像処理状況データをパソコン2eに送信し(S2)、この後、以前に設定された画像処理パラメータを用いて画像処理を続行する(S3)。これにより生産が続行する。
【0116】
画像データおよび画像処理状況データを受信したパソコン2e側では、それらの情報に基づき、上記画像処理装置と同様の画像処理を再現し、画像処理装置上で起きている画像処理の内容を再現しながら最適なパラメータに調整する(S4〜S7)。すなわち、画像処理調整部22e(図20参照)により、画像処理検査パラメータの調整、受信した画像データを用いた画像処理を繰り返し実行することにより、検査シミュレーションを行い、画像処理装置とは独立してパラメータの調整を行う。
【0117】
パラメータの調整が完了した後、その調整済みのパラメータを画像処理装置に転送して、画像処理装置の画像処理部におけるCPUが使用する画像処理パラメータを変更する(S8)。
【0118】
図19の動作例において、画像処理は、“画像処理A”および“画像処理B”などの特定の画像処理ルーチンを組み合わせて使用することで行われるので、特定数の画像処理ルーチンが、予め画像処理装置にライブラリとして搭載されている。
【0119】
画像処理装置では、画像処理部のCPUで画像処理プログラムが動作する。まず、画像処理手順を読み込み、手順に従って順次画像処理パラメータおよび判定パラメータを入力し(S11)、それらのパラメータを使用して、ライブラリ内の画像処理ルーチンを呼び出すことで画像処理を実行し(S12)、画像処理結果のデータ(パラメータ)を出力する(S13)。
【0120】
パソコン2eは、画像処理調整を行うため、画像処理装置にあるプログラムおよびライブラリと同じものが搭載されており、画像処理装置から画像データおよび画像処理状況データを受信することで(S14)、画像処理装置と同様の画像処理を実行する(S15)。
【0121】
この場合、パソコン2eで画像処理の経緯の確認とパラメータの修正が可能となり、画像処理状況データのみを画像処理装置に設定することで、画像処理装置の画像処理を調整することができる。
【0122】
図20の動作例において、パソコン2e上の画像処理調整部22eによって調整された画像処理パラメータは、画像データ用記憶装置21に格納されており、画像処理調整部22eにより読み出され(S21)、画像処理装置の通信部のCPU側に転送される(S22)。
【0123】
通信部のCPUは、画像処理調整部22eからの通信コマンドを解析するルーチンを有しており、画像処理調整部22eから送られてきた画像処理パラメータを解析し、パラメータ変更指示をデュアルポートメモリに配置する(S23)。
【0124】
画像処理部のCPUは、そのパラメータ変更指示を画像処理の合間にポーリング的に受信し(S24)、画像処理パラメータとして設定する。
【0125】
ここで、画像処理の対象となる画像が大きなデータ(256KB〜1MB)であるのに比べ、画像処理に使用されるパラメータのデータ量はそれほど大きくない。これは、画像処理において繰返し演算の占める割合が大きいからである。例えば、原画像に対してSobelオペレータなどの微分処理を行う場合、入力オペレータとしては、オペレータの大きさや微分値のしきい値などが必要となるだけで、それらの設定を使って繰返し演算を行い、所定の画像のオペレータ処理を行うことになる。画像処理の対象となる画像データが256KB〜1MBと容量が大きいのに比較して、修正設定すべき画像処理パラメータは、数十〜数百バイト程度である。
【0126】
より具体的には、従来の画像処理装置においてSobelオペレータを使用して、ひびを検出するための外観検査画像の処理ルーチンの入力パラメータは、以下のように11個しかなく、容量的には、11×4バイト=44バイトに過ぎない。
入力パラメータ パラメータ名
param[0] フィルタサイズ
param[1] エッジ抽出しきい値
param[2] エッジ延長下限値
param[3] 微分値しきい値
param[4] 検出微分方向値
param[5] 白黒判定
param[6] 濃度判定しきい値補正量
param[7] 濃度判定用ウイングサイズ
param[8] 微分値総和しきい値
param[9] 不良画素数しきい値
param[10] エラーコード
したがって、入力パラメータを画像処理部のCPUで変更設定しても設定時間の問題とはならないのである。
【0127】
図21の動作例において、パソコン2eが上記S4〜S7による調整済みのパラメータを画像処理装置に転送すると、画像処理装置は、例えば指定した一定時間に上記調整済みのパラメータに一時的に変更して画像処理シミュレーションを実行し(S31)、その画像処理シミュレーションにより、例えば目標のNG率に達したか否かに応じて調整済みのパラメータの妥当性を検証し(S32)、問題点が解決されたことを示す検証結果が得られたとき、はじめて当該画像処理装置内部の画像処理パラメータを調整済みのパラメータに切り替える(S33)。
【0128】
この動作の場合、画像処理装置とパソコン2eとが異なる条件であったとしても、画像処理装置の方でパソコン2eによる調整済みのパラメータの妥当性が検証されるから、より確度の高いパラメータの調整が可能になる。異なる条件の例としては、パソコン2eでは画像データが固定されているのに対して、画像処理装置ではラインを流れる検査対象に対するランプ照度等の撮像条件の変動により画像データが変動すること、パソコン2eでは処理スピードの制限を受けないのに対して、画像処理装置ではラインスピード以上の処理スピードで処理を実行しなければならず、検査対象領域を広げるなどすると、画像処理スピードが落ちてS32の判定でNG解消にならない場合があることなどが挙げられる。
【0129】
以上、第7実施形態によれば、パソコン2eが、画像処理装置に具備された通信インターフェース109に対応する通信インターフェースを有し、この通信インターフェースを介して画像処理装置から得た画像処理状況データおよび画像データを用いて、画像処理装置の画像処理部のCPUによる画像処理と同様の画像処理を実行することにより、検査対象の外観検査測定のシミュレーションを行うので、画像処理装置の画像処理を中断することなく、パソコン2eで画像処理装置と同様の画像処理を再現したシミュレーションにより各種確認が可能となる。
【0130】
また、パソコン2eが、画像処理状況データに含まれる各種パラメータのうち少なくとも一つのパラメータを変更する必要がある場合、そのパラメータを変更して上記シミュレーションを再度行い、そのシミュレーションにより最適な画像処理結果が得られると、その最適な画像処理結果となったパラメータを含むデータを画像処理装置に送信設定するので、画像処理装置のパラメータの更新が可能になる。
【実施例】
【0131】
図22〜図24は上記第1実施形態などに関連する実施例を示す図であり、図22は画像処理装置の構成図、図23は図22の通信部のより詳細な構成図、図24は図22の画像処理部のより詳細な構成図である。
【0132】
この実施例の画像処理装置は、上述の入力装置4を用いて設定された検査条件下で、カメラ3の撮像により得られた画像に対する画像処理を通じ、検査対象についての各種外観検査測定を実行するほか、画像処理を止めたりあるいは遅らせたりすることなく、画像処理に使用された画像データを出力するものであり、図22に示すように、通信部と、画像処理部とにより構成されている。
【0133】
図23の通信部において、101は、検査対象の撮像を行う最大で4台のカメラ3から画像データを得る画像入力インターフェースであり、各カメラ3の出力と接続されるコネクタ102と、各コネクタ102に接続されたカメラ3からのアナログ画像信号をデジタル信号に変換して画像データを得るA/D変換器103とにより構成されている。
【0134】
104は、VRAMコントローラ(ゲートアレイ)であり、図23ではFPGAにより構成されており、画像入力インターフェース101の出力に接続されている。
【0135】
105は、VRAM(SDRAM)であり、画像入力インターフェース101にVRAMコントローラ104を介して接続され、このVRAMコントローラ104のハード制御下で、画像入力インターフェース101で得られた画像データを取り込んで記憶する。
【0136】
106は、入力装置4を接続するための操作入力インターフェースであり、入力装置4と接続されるコネクタ107と、このコネクタ107に接続された入力装置4から入力信号を得る回路部108とにより構成されている。
【0137】
109は、パソコン2などの外部機器と通信をするための通信インターフェースであり、コネクタ110、トランス111およびイーサーネット(登録商標)コントローラ112により構成されるイーサネット(登録商標)用のインターフェースと、コネクタ113およびRS−232C用の回路部114により構成される2組のシリアル通信用のインターフェースとを備えている。なお、115はセレクタである。
【0138】
116は、モニタ出力インターフェースであり、NTSCないしVGA用のコネクタ117,118と、VRAMコントローラ104の制御下で取得したVRAM105からの画像データをアナログに変換して、アナログ画像信号をコネクタ117,118に接続された表示装置5に出力するD/A変換器119とにより構成されている。
【0139】
120は、画像データ保存用記憶装置であり、図23の例では、SDカード121と、このSDカード121に画像データなどを書込み出力するSDカードコントローラ122とにより構成されている。そして、このほか、ストロボなどを制御するために、フォトカプラなどを含むインターフェース123,124が設けられている。
【0140】
130は図23の通信部全体の制御などの処理を実行するCPU、131はメインメモリ、132はFROM(フラッシュメモリ)であり、これらCPU130、メインメモリ131およびFROM132と、VRAMコントローラ104および画像データ保存用記憶装置120は、バスB1を介して相互に接続されている。これらのうち、一体不可分として動作するCPU130およびメインメモリ131は、VRAMコントローラ104の制御下で、VRAM105に記憶された画像データを読出し自在に、VRAMコントローラ104を介してVRAM105に接続されている。なお、133はCPU130によりデータの読み書きが行われるSROMである。また、134はVMEバスコントローラであり、例えばFPGAにより構成される。
【0141】
136はSRAMである。137は、メインコントローラ(図23ではFPGA)であり、バスB1と、SRAM136およびVRAMコントローラ104が接続されたバスB2とに接続され、操作入力インターフェース106、通信インターフェース109およびインターフェース124の入出力制御を行うほか、デュアルポートメモリとしてデータの転送制御を行う。すなわち、このメインコントローラ137の一部とSRAM136とによって、CPU130と図24に示すCPU160との間に介設され、これらの間でやりとりされる情報の転送を行うデュアルポートメモリ135が構成されるのである。このデュアルポートメモリ135については、CPU130がメインコントローラ137を経由してSRAM136にアクセスしているときでも、図24に示すCPU160がバスB2を経由してSRAM136にアクセスすることができる一方、逆に、CPU160がバスB2を経由してSRAM136にアクセスしているときは、CPU130がメインコントローラ137を経由してSRAM136にアクセスすることができない構成になっている。
【0142】
138は、図23の通信部と図24の画像処理部とを接続するためのコネクタであり、画像入力インターフェース101の出力およびバスB2に接続されている。
【0143】
図24の画像処理部において、151は、図23の通信部のコネクタ138と接続されるコネクタである。152は、VRAMコントローラ(ゲートアレイ)であり、図24ではFPGAにより構成されており、コネクタ151,138を介して画像入力インターフェース101の出力に接続されている。
【0144】
153は、VRAM(SDRAM)であり、画像入力インターフェース101にVRAMコントローラ152を介して接続され、このVRAMコントローラ152のハード制御下で、画像入力インターフェース101で得られた画像データを取り込んで記憶する。なお、154は、SDRAMなどによるオーバレイメモリであり、VRAMの一部を構成する(図22参照)。
【0145】
160は画像処理用のCPU、161はメインメモリ、162はメインコントローラであり、これらCPU160、メインメモリ161およびメインコントローラ162は、バスB3を介して相互に接続されている。これらのうち、一体不可分として動作するCPU160およびメインメモリ161は、VRAMコントローラ152の制御下で、VRAM153に記憶された画像データを読出し自在に、VRAMコントローラ152を介してVRAM153に接続されている。他方、メインコントローラ162は、オーバレイメモリ154およびFROM163に接続されているほか、コネクタ151,138を介して図23の通信部のバスB2に接続されている。なお、FROM163は、メインコントローラ162を介して、CPU160によりデータが読み書きされる。
【0146】
このように構成される画像処理装置の特徴となる動作について説明すると、画像入力インターフェース101で得られた画像データは、VRAMコントローラ152の制御によりVRAM153に記憶されるとともに、VRAMコントローラ104の制御によりVRAM105に記憶される。
【0147】
一方のVRAM153に記憶された画像データは、メインメモリ161と一体不可分となって動作するCPU160により読み出されて、従来と同様に画像処理に利用され、その画像処理を通じて検査対象についての各種外観検査測定が実行される。なお、画像処理に必要な各種設定情報は、操作入力インターフェース106および通信インターフェース109の少なくとも一方から、CPU103およびメインメモリ131、デュアルポートメモリ135、そしてメインコントローラ162を経由して、CPU160およびメインメモリ161に取り込まれる。
【0148】
他方のVRAM105に記憶された画像データは、メインメモリ131と一体不可分となって動作するCPU130により読み出されて例えばメインメモリ131に一端保持された後、画像データ保存用記憶装置120に転送されるほか、メインコントローラ137を介して通信インターフェース109から外部のパソコン2に送信出力される。なお、画像データ保存用記憶装置120に転送された画像データは、そのSDカード121に書込み出力されることになる。また、どのような画像データを書込み出力または送信出力するかは、上述した実施形態と同様に処理され、そして仕様のメモリ容量に応じた複数フレーム分の画像データの記憶領域を持つVRAM153a,105aが搭載される。
【0149】
以上、本実施例によれば、検査対象の撮像を行うカメラ3から画像データを得る画像入力インターフェース101と、この画像入力インターフェース101の出力に接続されたVRAMコントローラ152,104と、画像入力インターフェース101にVRAMコントローラ152を介して接続され、このVRAMコントローラ152の制御下で、画像入力インターフェース101で得られた画像データを取り込んで記憶するVRAM153と、VRAMコントローラ152の制御下で、VRAM153に記憶された画像データを読出し自在に、VRAMコントローラ152を介してVRAM153に接続されたCPU160およびメインメモリ161と、画像入力インターフェース101にVRAMコントローラ104を介して接続され、このVRAMコントローラ104の制御下で、画像入力インターフェース101で得られた画像データを取り込んで記憶するVRAM105と、VRAMコントローラ104の制御下で、VRAM105に記憶された画像データを読出し自在に、VRAMコントローラ104を介してVRAM105に接続されたCPU130およびメインメモリ131と、FPGA162を介してCPU160とCPU130との間に介設され、これらの間でやりとりされる情報の転送を行うデュアルポートメモリ135とを備え、CPU160は、VRAM153に記憶された画像データを用いて画像処理を実行することにより検査対象の外観検査測定を行う一方、CPU130は、VRAM105に記憶された画像データの出力処理を実行するので、例えば、入力装置4を用いて入力されたVRAM105の画像データの出力指示に従って、CPU130がVRAM105に記憶された画像データの出力処理を行う場合、VRAM105の画像データの出力処理からCPU160が完全に解放されるから、また例えばCPU160が、デュアルポートメモリ135を経由したメッセージ通信によりCPU130に対して、VRAM153に記憶された画像データに対応するVRAM105に記憶された画像データの出力指示をする場合でも、CPU160に加わる負荷が数バイト程度の出力指示データを含む通信メッセージの送信処理のみで済むから、画像処理を止めたりあるいは遅らせたりすることなく、画像処理に使用された画像データを出力することができる。
【符号の説明】
【0150】
1,1A,1B,1C,1D,1E 画像処理装置
2 パソコン
3 カメラ
4 入力装置
5 表示装置
101 画像入力インターフェース
103 A/D変換器
104 VRAMコントローラ(FPGA)
105,105a VRAM(SDRAM)
106 操作入力インターフェース
109 通信インターフェース
116 モニタ出力インターフェース
119 D/A変換器
120 画像データ保存用記憶装置
121 SDカード
122 SDカードコントローラ
130,130a,130c,130d,130e CPU
131,131a,131c,131d,131e メインメモリ
135,135e デュアルポートメモリ
137 メインコントローラ
152 VRAMコントローラ(FPGA)
153,153a VRAM(SDRAM)
160,160a,160c,160d,160e CPU
161,161a,161c,161d,161e メインメモリ
【特許請求の範囲】
【請求項1】
検査対象の撮像を行う少なくとも1台の撮像装置から画像データを得る画像入力インターフェースと、
この画像入力インターフェースで得られた画像データを取り込んで記憶する第1画像メモリと、
この第1画像メモリに記憶された画像データを読出し自在に、前記第1画像メモリに接続された第1中央処理装置および第1主記憶装置と、
前記画像入力インターフェースで得られた画像データを取り込んで記憶する第2画像メモリと、
この第2画像メモリに記憶された画像データを読出し自在に、前記第2画像メモリに接続された第2中央処理装置および第2主記憶装置と、
前記第1中央処理装置と前記第2中央処理装置との間に介設され、これらの間でやりとりされる情報の転送を行う中央処理装置間通信部とを備え、
前記第1画像メモリおよび前記第2画像メモリは、それぞれ、前記画像入力インターフェースと前記第1中央処理装置および前記第2中央処理装置との間に配置され、
前記第1中央処理装置は、前記第1画像メモリに記憶された画像データを用いて画像処理を実行することにより前記検査対象の外観検査測定を行う一方、前記第2中央処理装置は、前記第2画像メモリに記憶された画像データの出力処理を実行する
ことを特徴とする画像処理装置。
【請求項2】
前記画像入力インターフェースの出力に接続された第1および第2ゲートアレイをさらに備え、
前記第1画像メモリは、前記画像入力インターフェースに前記第1ゲートアレイを介して接続され、この第1ゲートアレイの制御下で、前記画像入力インターフェースで得られた画像データを取り込んで記憶し、
前記第1中央処理装置および第1主記憶装置は、前記第1ゲートアレイの制御下で、前記第1画像メモリに記憶された画像データを読出し自在に、前記第1ゲートアレイを介して前記第1画像メモリに接続され、
前記第2画像メモリは、前記画像入力インターフェースに前記第2ゲートアレイを介して接続され、この第2ゲートアレイの制御下で、前記画像入力インターフェースで得られた画像データを取り込んで記憶し、
前記第2中央処理装置および第2主記憶装置は、前記第2ゲートアレイの制御下で、前記第2画像メモリに記憶された画像データを読出し自在に、前記第2ゲートアレイを介して前記第2画像メモリに接続された
ことを特徴とする請求項1記載の画像処理装置。
【請求項3】
前記第1および第2画像メモリの各々は、複数フレーム分の画像データの記憶領域を持ち、
前記第1および第2ゲートアレイは、それぞれ、前記第1および第2画像メモリにおける記憶領域のうち一フレーム分の画像データの記憶領域をカレントフレームの画像データの記憶領域とし、この記憶領域に、前記画像入力インターフェースで得られた画像データを記憶する制御を行うほか、その記憶領域に記憶した画像データの記憶状態を一時保存する場合には、前記第1および第2画像メモリにおける記憶領域のうち別の一フレーム分の画像データの記憶領域をカレントフレームの画像データの記憶領域とし、この記憶領域に、前記画像入力インターフェースで得られた画像データを記憶する制御を行う
ことを特徴とする請求項2記載の画像処理装置。
【請求項4】
外部コンピュータと通信をするための通信インターフェースを前記第2中央処理装置側にさらに備え、
前記第1中央処理装置は、前記中央処理装置間通信部を経由して、前記画像処理に必要な各種パラメータおよびその画像処理結果の少なくとも一方を含む画像処理状況データを前記第2中央処理装置側に送信し、
前記第2中央処理装置は、前記出力処理として、前記通信インターフェースを介して、前記第1中央処理装置からの画像処理状況データを、対応する画像データとともに前記外部コンピュータに送信する
ことを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。
【請求項5】
前記第2画像メモリに記憶された画像データを着脱式の記憶媒体に書込み出力するための記憶装置を前記第2中央処理装置側にさらに接続して備え、
前記第1中央処理装置は、前記中央処理装置間通信部を経由して、前記画像処理に必要な各種パラメータおよびその画像処理結果の少なくとも一方を含む画像処理状況データを前記第2中央処理装置に送信し、
前記第2中央処理装置は、前記出力処理として、前記記憶装置を介して、前記第1中央処理装置からの画像処理状況データを、対応する画像データとともに前記記憶媒体に書込み出力する
ことを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。
【請求項6】
前記第2画像メモリは、画像データの読出しおよび書込み自在に前記第2中央処理装置および第2主記憶装置にさらに接続され、
前記第2中央処理装置は、前記記憶装置を介して、前記記憶媒体に書き込まれた画像データを前記第2画像メモリに読み出し、
前記第1中央処理装置は、前記記憶媒体から前記第2画像メモリに読み出された画像データを用いて画像処理を再度実行する
ことを特徴とする請求項5記載の画像処理装置。
【請求項7】
前記第1中央処理装置は、前記画像処理の経過中または経過後の結果について所定の判定を行い、この判定結果に従って、前記中央処理装置間通信部を介して、前記第2中央処理装置側に前記画像処理状況データを送信するとともに、この画像処理状況データに対応する画像データを指定することを特徴とする請求項4〜6のいずれか1項に記載の画像処理装置。
【請求項8】
前記所定の判定とは、前記画像処理において、不良判定結果が所定数連続したか否かの判定、不良判定率が所定率を超えたか否かの判定および所定の異常が発生したか否かの判定の少なくとも1つの判定を含む良否判定のことであることを特徴とする請求項7記載の画像処理装置。
【請求項9】
前記所定の判定とは、少なくとも一つの判定項目についての良品不良品の判定結果が所定率発生したか否かの判定のことであることを特徴とする請求項7記載の画像処理装置。
【請求項10】
前記判定のための基準は前記外部コンピュータまたは外部機器から入力されることを特徴とする請求項8または9記載の画像処理装置。
【請求項11】
請求項4〜10のいずれか1項に記載の画像処理装置と、
この画像処理装置に具備された通信インターフェースに対応する通信インターフェースを有する外部コンピュータとを備え、
この外部コンピュータは、当該外部コンピュータが有する通信インターフェースを介して前記画像処理装置から得た画像処理状況データおよび画像データを用いて、前記第1中央処理装置による画像処理と同様の画像処理を実行することにより、前記検査対象の外観検査測定のシミュレーションを行う
ことを特徴とする画像処理システム。
【請求項12】
前記外部コンピュータは、前記画像処理状況データに含まれる各種パラメータのうち少なくとも一つのパラメータを変更する必要がある場合、そのパラメータを変更して前記シミュレーションを再度行い、そのシミュレーションにより最適な画像処理結果が得られると、その最適な画像処理結果となったパラメータを含むデータを前記画像処理装置に送信設定することを特徴とする請求項11記載の画像処理システム。
【請求項1】
検査対象の撮像を行う少なくとも1台の撮像装置から画像データを得る画像入力インターフェースと、
この画像入力インターフェースで得られた画像データを取り込んで記憶する第1画像メモリと、
この第1画像メモリに記憶された画像データを読出し自在に、前記第1画像メモリに接続された第1中央処理装置および第1主記憶装置と、
前記画像入力インターフェースで得られた画像データを取り込んで記憶する第2画像メモリと、
この第2画像メモリに記憶された画像データを読出し自在に、前記第2画像メモリに接続された第2中央処理装置および第2主記憶装置と、
前記第1中央処理装置と前記第2中央処理装置との間に介設され、これらの間でやりとりされる情報の転送を行う中央処理装置間通信部とを備え、
前記第1画像メモリおよび前記第2画像メモリは、それぞれ、前記画像入力インターフェースと前記第1中央処理装置および前記第2中央処理装置との間に配置され、
前記第1中央処理装置は、前記第1画像メモリに記憶された画像データを用いて画像処理を実行することにより前記検査対象の外観検査測定を行う一方、前記第2中央処理装置は、前記第2画像メモリに記憶された画像データの出力処理を実行する
ことを特徴とする画像処理装置。
【請求項2】
前記画像入力インターフェースの出力に接続された第1および第2ゲートアレイをさらに備え、
前記第1画像メモリは、前記画像入力インターフェースに前記第1ゲートアレイを介して接続され、この第1ゲートアレイの制御下で、前記画像入力インターフェースで得られた画像データを取り込んで記憶し、
前記第1中央処理装置および第1主記憶装置は、前記第1ゲートアレイの制御下で、前記第1画像メモリに記憶された画像データを読出し自在に、前記第1ゲートアレイを介して前記第1画像メモリに接続され、
前記第2画像メモリは、前記画像入力インターフェースに前記第2ゲートアレイを介して接続され、この第2ゲートアレイの制御下で、前記画像入力インターフェースで得られた画像データを取り込んで記憶し、
前記第2中央処理装置および第2主記憶装置は、前記第2ゲートアレイの制御下で、前記第2画像メモリに記憶された画像データを読出し自在に、前記第2ゲートアレイを介して前記第2画像メモリに接続された
ことを特徴とする請求項1記載の画像処理装置。
【請求項3】
前記第1および第2画像メモリの各々は、複数フレーム分の画像データの記憶領域を持ち、
前記第1および第2ゲートアレイは、それぞれ、前記第1および第2画像メモリにおける記憶領域のうち一フレーム分の画像データの記憶領域をカレントフレームの画像データの記憶領域とし、この記憶領域に、前記画像入力インターフェースで得られた画像データを記憶する制御を行うほか、その記憶領域に記憶した画像データの記憶状態を一時保存する場合には、前記第1および第2画像メモリにおける記憶領域のうち別の一フレーム分の画像データの記憶領域をカレントフレームの画像データの記憶領域とし、この記憶領域に、前記画像入力インターフェースで得られた画像データを記憶する制御を行う
ことを特徴とする請求項2記載の画像処理装置。
【請求項4】
外部コンピュータと通信をするための通信インターフェースを前記第2中央処理装置側にさらに備え、
前記第1中央処理装置は、前記中央処理装置間通信部を経由して、前記画像処理に必要な各種パラメータおよびその画像処理結果の少なくとも一方を含む画像処理状況データを前記第2中央処理装置側に送信し、
前記第2中央処理装置は、前記出力処理として、前記通信インターフェースを介して、前記第1中央処理装置からの画像処理状況データを、対応する画像データとともに前記外部コンピュータに送信する
ことを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。
【請求項5】
前記第2画像メモリに記憶された画像データを着脱式の記憶媒体に書込み出力するための記憶装置を前記第2中央処理装置側にさらに接続して備え、
前記第1中央処理装置は、前記中央処理装置間通信部を経由して、前記画像処理に必要な各種パラメータおよびその画像処理結果の少なくとも一方を含む画像処理状況データを前記第2中央処理装置に送信し、
前記第2中央処理装置は、前記出力処理として、前記記憶装置を介して、前記第1中央処理装置からの画像処理状況データを、対応する画像データとともに前記記憶媒体に書込み出力する
ことを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。
【請求項6】
前記第2画像メモリは、画像データの読出しおよび書込み自在に前記第2中央処理装置および第2主記憶装置にさらに接続され、
前記第2中央処理装置は、前記記憶装置を介して、前記記憶媒体に書き込まれた画像データを前記第2画像メモリに読み出し、
前記第1中央処理装置は、前記記憶媒体から前記第2画像メモリに読み出された画像データを用いて画像処理を再度実行する
ことを特徴とする請求項5記載の画像処理装置。
【請求項7】
前記第1中央処理装置は、前記画像処理の経過中または経過後の結果について所定の判定を行い、この判定結果に従って、前記中央処理装置間通信部を介して、前記第2中央処理装置側に前記画像処理状況データを送信するとともに、この画像処理状況データに対応する画像データを指定することを特徴とする請求項4〜6のいずれか1項に記載の画像処理装置。
【請求項8】
前記所定の判定とは、前記画像処理において、不良判定結果が所定数連続したか否かの判定、不良判定率が所定率を超えたか否かの判定および所定の異常が発生したか否かの判定の少なくとも1つの判定を含む良否判定のことであることを特徴とする請求項7記載の画像処理装置。
【請求項9】
前記所定の判定とは、少なくとも一つの判定項目についての良品不良品の判定結果が所定率発生したか否かの判定のことであることを特徴とする請求項7記載の画像処理装置。
【請求項10】
前記判定のための基準は前記外部コンピュータまたは外部機器から入力されることを特徴とする請求項8または9記載の画像処理装置。
【請求項11】
請求項4〜10のいずれか1項に記載の画像処理装置と、
この画像処理装置に具備された通信インターフェースに対応する通信インターフェースを有する外部コンピュータとを備え、
この外部コンピュータは、当該外部コンピュータが有する通信インターフェースを介して前記画像処理装置から得た画像処理状況データおよび画像データを用いて、前記第1中央処理装置による画像処理と同様の画像処理を実行することにより、前記検査対象の外観検査測定のシミュレーションを行う
ことを特徴とする画像処理システム。
【請求項12】
前記外部コンピュータは、前記画像処理状況データに含まれる各種パラメータのうち少なくとも一つのパラメータを変更する必要がある場合、そのパラメータを変更して前記シミュレーションを再度行い、そのシミュレーションにより最適な画像処理結果が得られると、その最適な画像処理結果となったパラメータを含むデータを前記画像処理装置に送信設定することを特徴とする請求項11記載の画像処理システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【公開番号】特開2010−102736(P2010−102736A)
【公開日】平成22年5月6日(2010.5.6)
【国際特許分類】
【出願番号】特願2010−5073(P2010−5073)
【出願日】平成22年1月13日(2010.1.13)
【分割の表示】特願2001−289448(P2001−289448)の分割
【原出願日】平成13年9月21日(2001.9.21)
【出願人】(000005832)パナソニック電工株式会社 (17,916)
【Fターム(参考)】
【公開日】平成22年5月6日(2010.5.6)
【国際特許分類】
【出願日】平成22年1月13日(2010.1.13)
【分割の表示】特願2001−289448(P2001−289448)の分割
【原出願日】平成13年9月21日(2001.9.21)
【出願人】(000005832)パナソニック電工株式会社 (17,916)
【Fターム(参考)】
[ Back to top ]