画像処理装置
【課題】1台のカメラで検査対象物の複数箇所の画像を取得しながらも、検査時間の短縮が可能な画像処理装置を提供する。
【解決手段】制御部15は、エリア画像内において互いに離間した複数の領域を抽出領域とするように設定データを決定し、設定記憶部13に書き込む。画像取込部111は、これら複数の抽出領域の全てについてカメラ2から部分画像を取り込み、抽出領域ごとに部分画像を記憶部112に記憶する。これにより、記憶部112には、各抽出領域について、時間経過に伴って取り込まれた複数の部分画像が記憶されることになる。画像生成部114は、抽出領域ごとに複数の部分画像を時系列に沿って並べて二次元画像を生成し、画像記憶部115に二次元画像を抽出領域ごとに記憶する。
【解決手段】制御部15は、エリア画像内において互いに離間した複数の領域を抽出領域とするように設定データを決定し、設定記憶部13に書き込む。画像取込部111は、これら複数の抽出領域の全てについてカメラ2から部分画像を取り込み、抽出領域ごとに部分画像を記憶部112に記憶する。これにより、記憶部112には、各抽出領域について、時間経過に伴って取り込まれた複数の部分画像が記憶されることになる。画像生成部114は、抽出領域ごとに複数の部分画像を時系列に沿って並べて二次元画像を生成し、画像記憶部115に二次元画像を抽出領域ごとに記憶する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検査対象物の画像の検査に用いられる画像処理装置に関するものである。
【背景技術】
【0002】
従来より、工業製品の製造、組立、検査等の工程において、撮像された検査対象物の画像を検査員が目視で確認する方法では検査精度が悪く効率もよくないため、画像処理によって良品・不良品を自動的に判定する画像処理装置が用いられている。この種の画像処理装置としては、ライン状の固体撮像素子を用いたラインセンサに接続され、画素が一列に並んだ一次元の画像(以下、「ライン画像」という)を取り込む装置がある。
【0003】
この画像処理装置は、検査対象物をラインセンサに対して相対的に移動させながらライン画像を複数取り込み、取り込んだ複数のライン画像を時系列に並べることにより画素が二次元配置された二次元画像を生成する。この二次元画像は、たとえば検査対象物の良品・不良品の検査に用いられる。
【0004】
ところで、エリアセンサを用い、特定の走査ラインのデータのみを取り込むことによりライン画像を取得する技術が提案されている(たとえば特許文献1参照)。この技術を用いれば、画像処理装置は、カメラにて画素が二次元配置された二次元画像、ライン画像のどちらでも取得することが可能となる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2004−108828号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、上述した画像処理装置は、1回の撮像につき1ライン分のライン画像をカメラから取得するので、たとえば検査対象物の複数箇所の画像を用いた検査を行うためには、検査対象物を複数回撮像する必要があり検査時間が長くなる。あるいは、画像処理装置は、1回の撮像で検査対象物の複数箇所の画像を取得するためには、複数台のカメラ(またはラインセンサ)が必要になる。
【0007】
本発明は上記事由に鑑みて為されており、1台のカメラで検査対象物の複数箇所の画像を取得しながらも、検査時間の短縮が可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の画像処理装置は、検査対象物の画像を画素が二次元配置されたエリア画像として撮像可能なエリアイメージセンサを撮像素子に用いたカメラから、前記エリア画像内に予め設定されている抽出領域の画像を部分画像として、前記検査対象物と前記カメラとの相対的な位置関係が時間経過に伴い変化する状態で順次取り込む画像取込部と、前記部分画像を複数記憶する記憶部と、前記記憶部内の複数の前記部分画像を時系列に沿って並べることにより画素が二次元配置された二次元画像を生成する画像生成部と、前記エリア画像内での前記抽出領域の位置および範囲を示すデータであって前記画像取込部における前記部分画像の取込条件を決める設定データを記憶する設定記憶部と、操作装置からの入力に従って前記設定データを決定して前記設定記憶部に書き込む制御部とを備え、前記制御部は、前記エリア画像内において互いに離間した複数の領域を前記抽出領域とするように前記設定データを決定し、前記記憶部は、前記抽出領域ごとに前記部分画像を記憶し、前記画像生成部は、前記抽出領域ごとに前記二次元画像を生成することを特徴とする。
【0009】
この画像処理装置において、前記抽出領域はライン状であって、前記部分画像はライン画像を構成することが望ましい。
【0010】
この画像処理装置において、前記制御部は、前記エリア画像内に矩形状の領域が指定領域として前記操作装置にて複数指定されることにより、前記指定領域ごとに対応した前記二次元画像を構成する前記部分画像を取り込むための前記設定データを自動的に決定することが望ましい。
【0011】
この画像処理装置において、前記カメラから取り込んだ前記エリア画像を設定画面として表示装置に表示する表示部をさらに備え、前記制御部は、前記設定画面上に表示される前記指定領域の位置および範囲を前記操作装置からの入力に従って調節することにより、前記指定領域を指定することがより望ましい。
【0012】
本発明の画像処理装置は、検査対象物の画像を画素が二次元配置されたエリア画像として撮像可能なエリアイメージセンサを撮像素子に用いたカメラから、前記エリア画像内に予め設定されている抽出領域の画像を部分画像として、前記検査対象物と前記カメラとの相対的な位置関係が時間経過に伴い変化する状態で順次取り込む画像取込部と、前記部分画像を複数記憶する記憶部と、前記記憶部内の複数の前記部分画像を結合して結合画像を生成する結合処理部と、前記エリア画像内での前記抽出領域の位置および範囲を示すデータであって前記画像取込部における前記部分画像の取込条件を決める設定データを記憶する設定記憶部と、操作装置からの入力に従って前記設定データを決定して前記設定記憶部に書き込む制御部とを備え、前記制御部は、前記エリア画像内において互いに離間した複数の領域を前記抽出領域とするように前記設定データを決定し、前記結合処理部は、異なる前記抽出領域の前記部分画像同士を結合して前記結合画像を生成することを特徴とする。
【0013】
この画像処理装置において、前記抽出領域はライン状であって、前記部分画像はライン画像を構成することが望ましい。
【発明の効果】
【0014】
本発明は、1台のカメラで検査対象物の複数箇所の画像を取得しながらも、検査時間の短縮が可能になるという利点がある。
【図面の簡単な説明】
【0015】
【図1】実施形態1に係る画像処理装置の構成を示す概略ブロック図である。
【図2】実施形態1に係る画像処理装置の動作説明図である。
【図3】実施形態1に係る画像処理装置の設定画面の説明図である。
【図4】実施形態1に係る画像処理装置の動作説明図である。
【図5】実施形態1に係る画像処理装置の動作説明図である。
【図6】実施形態1に係る画像処理装置の動作説明図である。
【図7】実施形態1に係る画像処理装置の動作説明図である。
【図8】実施形態1に係る画像処理装置の動作説明図である。
【図9】実施形態1に係る画像処理装置の動作説明図である。
【図10】実施形態1に係る画像処理装置の動作説明図である。
【図11】実施形態1に係る画像処理装置を用いた検査システムの概略構成図である。
【図12】実施形態1に係る画像処理装置を用いた検査システムの配置図である。
【図13】実施形態1に係る画像処理装置を用いた検査システムの動作説明図である。
【図14】実施形態2に係る画像処理装置の動作説明図である。
【発明を実施するための形態】
【0016】
(実施形態1)
本実施形態の画像処理装置は、検査対象物の画像を撮像するカメラに接続されており、検査対象物の良品・不良品の判定に用いられる。
【0017】
画像処理装置1は、図1に示すように、カメラ2に接続される前置処理部11を具備し、カメラ2から画像を取り込む画像取込部111と、画像取込部111で取り込まれた画像を記憶する記憶部112とを前置処理部11に備えている。さらに、画像処理装置1は、前置処理部11で取り込んだ画像に対して画像処理を実行する主処理部12と、各種パラメータを記憶する設定記憶部13と、表示装置(図示せず)へ出力を行う表示部14と、各部位を制御する制御部15とを備えている。
【0018】
ここでは、画像処理装置1は、CPUやメモリを備えたコンピュータからなり、カメラ2のほか、専用のキーパッドやマウス等の操作装置(図示せず)および表示装置を具備するコンソール3や、後述のエンコーダ等からなる外部装置4を接続可能に構成されている。
【0019】
カメラ2は、画素が二次元配置された二次元の画像(以下、「エリア画像」という)を撮像可能なエリアイメージセンサが撮像素子に用いられている。本実施形態では、カメラ2の撮像素子にはCMOS(ComplementaryMetal Oxide Semiconductor)イメージセンサが用いられるが、これに限らずたとえばCCD(Charge CoupledDevices)等の他の固体撮像素子が用いられていてもよい。なお、カメラ2はカラー画像を撮像するカラーカメラとするが、濃淡値を画素値とする濃淡画像を撮像するカメラであってもよい。
【0020】
このカメラ2は、エリア画像を出力する機能だけでなく、撮像素子の所定範囲の画素のみから映像信号(画素値)を取り込むことにより、エリア画像内に設定された抽出領域の画像(以下、「部分画像」という)を出力する機能も有している。ここで、抽出領域は所定幅のライン状に設定されており、部分画像は1ないし複数の画素幅で画素が直線状に並んだライン画像を構成する。すなわち、カメラ2は、通常のエリア画像全体を出力するエリア撮像モードと、エリア画像の一部であるライン状の部分画像を出力する部分撮像モードとの2つの動作モードを切替可能な制御回路(図示せず)を有している。
【0021】
制御回路は、画像処理装置1からの信号に応じて動作モードの切り替えを行う。また、カメラ2は、部分撮像モードにおいて、映像信号を取り込む画素の指定を画像処理装置1からの信号に応じて行う。つまり、カメラ2は、エリア画像のうち部分画像として画像を取り込む抽出領域の設定を、画像処理装置1からの信号に応じて行う。具体的には、画像取込部111が、制御部15からの指示を受けてカメラ2の動作モード(エリア撮像モード・部分撮像モード)の切り替えを指示する信号をカメラ2に対して送信する。
【0022】
本実施形態の画像処理装置1は、基本的に部分撮像モードでカメラ2を動作させるので、以下では、特に断りがない限りカメラ2は部分撮像モードで動作していると仮定する。
【0023】
画像処理装置1の制御部15は、画像処理装置1に接続される外部装置4またはコンソール3から、検査開始の指示を受けると、前置処理部11へ画像を取得するように指示する。制御部15は、前置処理部11で画像が取得されたことを認識すると、取得された画像に対する画像処理を主処理部12に指示する。主処理部12は、検査パラメータに準じて画像の特徴量(たとえば欠陥部分の面積)を抽出して数値化し、検査対象物の良否を自動的に判定して、その結果を表示部14または制御部15から、外部装置4あるいはコンソール3に出力する。
【0024】
設定記憶部13は、前置処理部11での画像取得時に用いられる撮像条件パラメータや、主処理部12での画像処理に用いられる検査パラメータ、主処理部12での画像処理結果に対する動作パラメータなど、画像処理装置1の動作に必要な情報を記憶している。ここでいう撮像条件パラメータは、エリア画像内での抽出領域の位置および範囲を示すデータであって画像取込部111における部分画像の取込条件を決める設定データを少なくとも含んでいる。
【0025】
前置処理部11は、画像取込部111および記憶部112の他、図1に示すように同期処理部113と、画像生成部114と、画像記憶部115と、最適化処理部116とを備えている。
【0026】
画像取込部111は、検査対象物とカメラ2との相対的な位置関係が時間経過に伴い変化する状態で、抽出領域の画像を部分画像として順次取り込む。つまり、検査対象物とカメラ2との少なくとも一方を移動させながら、画像取込部111は、抽出領域の画像を部分画像として順次取り込み、記憶部112に書き込んでいく。
【0027】
このとき、画像取込部111は、設定記憶部13内の設定データにより決まる取込条件の下で、カメラ2から部分画像の取り込みを行う。具体的には、画像取込部111はカメラ2との通信機能を有しており、設定記憶部13内の設定データに従って、エリア画像のどの位置および範囲の領域を抽出領域とするのかをカメラ2に対して指示する。これにより、カメラ2は、設定記憶部13内の設定データに従い、抽出領域として指定された領域の画像を部分画像として画像処理装置1に出力する。なお、設定記憶部13はカメラ2内に設けられていてもよい。
【0028】
同期処理部113は、画像取込部111が画像(部分画像)を取り込むタイミングを決定するためのトリガ信号を生成する。同期処理部113は、コンソール3や外部装置4からの信号を受け、これらの信号に同期して画像取込部111での部分画像の取り込みが可能となるように画像取込部111にトリガ信号を出力する。ここでは、同期処理部113は、先頭トリガと部分トリガとの2種類のトリガ信号を生成しており、部分トリガによって画像取込部111での部分画像の取込タイミングを決定する。つまり、画像取込部111は、同期処理部113で生成されたトリガ信号(部分トリガ)をカメラ2に対して送信し、このトリガ信号(部分トリガ)を受けてカメラ2から出力される部分画像の画像データを記憶部112に記憶する。
【0029】
画像生成部114は、記憶部112に記憶された複数の部分画像を時系列に沿って並べることにより、これら複数の部分画像を連結して、画素が二次元配置された二次元画像を生成する。具体的には、画像生成部114は、同期処理部113で生成される先頭トリガと部分トリガとを監視しており、先頭トリガを検知すると、部分画像を書き込むための画像記憶部115の書込アドレスを初期アドレスに設定する。
【0030】
その後、画像生成部114は、部分トリガを検知すると、記憶部112に保存されている部分画像の画像データを読み出して、書込アドレスに従って画像記憶部115へ書き込みを行い、書込アドレスを部分画像の画像サイズの分だけシフトさせる。それから、画像生成部114は、部分トリガを検知する度に、画像記憶部115への部分画像の書き込みと、書込アドレスをシフトさせる処理とを繰り返し実行し、画像記憶部115内に部分画像を並べて、画像記憶部115内に二次元画像を生成する。画像生成部114は、画像記憶部115内の二次元画像が、予め設定されている画像サイズに達すると、同期処理部113へ信号を出力して二次元画像の生成完了を通知する。
【0031】
なお、設定記憶部13には、二次元画像を構成する部分画像の数、部分画像の画像サイズ、画像記憶部115の書込領域を表す初期アドレス、二次元画像のサイズ等の情報が予め登録されており、画像生成部114は、これらの情報を用いて二次元画像を生成する。二次元画像を構成する部分画像の数は、取込数として設定記憶部13内の設定データにて指定されており、画像生成部114は、取込数分の部分画像により二次元画像を生成する。同期処理部113は、取込数分の部分トリガを出力する度に、先頭トリガを出力する。
【0032】
最適化処理部116は、画像取込部111で取り込まれた部分画像に対し、設定に応じてサイズ変更やノイズ除去などの各種の変換処理を施すことにより、主処理部12での画像処理に適した部分画像を生成する最適化処理を行う。最適化処理は必ずしも必要ではないが、最適化処理部116で最適化処理が行われる場合には、画像生成部114は、最適化処理後の部分画像を用いて二次元画像を生成する。つまり、画像生成部114は、記憶部112にてバッファリングされた部分画像の画像データを、最適化処理部116で最適化処理が行われた後、画像記憶部115の書込アドレスに転送することで二次元画像を生成する。
【0033】
このように、前置処理部11は、カメラ2から取り込んだ部分画像を用いて、二次元画像を再構成する。前置処理部11の各部(画像取込部111、同期処理部113、画像生成部114、最適化処理部116)の具体的な動作は、設定記憶部13に記憶されている撮像条件パラメータにより決定され、検査対象物の検査条件ごとに切り替えられる。同期処理部113、画像生成部114、最適化処理部116の具体的な動作については後述する。
【0034】
なお、前置処理部11は、画像生成部114で生成された二次元画像に対し、部分画像の長手方向(水平方向)における輝度むらを抑えるようにシェーディング補正を施すシェーディング補正部(図示せず)をさらに備えていてもよい。要するに、カメラ2で撮像される部分画像には、撮像素子の特性やレンズ収差などの影響により、長手方向において輝度にばらつきが生じることがあるので、シェーディング補正部は、この輝度のばらつきを補正し輝度むらを抑えることができる。
【0035】
ところで、本実施形態においては、抽出領域は1つのエリア画像内における複数箇所に設定されており、画像取込部111は、これら複数の抽出領域の全てについて部分画像を取り込み、抽出領域ごとに記憶部112に記憶する。そのため、記憶部112には、各抽出領域について、時間経過に伴って取り込まれた複数の部分画像が記憶されることになる。
【0036】
また、画像生成部114は、エリア画像内に複数設定された抽出領域ごとに、上述したように複数の部分画像を時系列に沿って並べて二次元画像を生成する処理を行う。そのため、画像記憶部115には、部分画像を時系列に沿って並べることにより再構成された二次元画像が、抽出領域ごとに記憶されることになる。
【0037】
結果的に、前置処理部11では複数の画像(二次元画像)が取得されるので、主処理部12での画像処理についても、二次元画像ごとに実行されることになる。つまり、主処理部12は、どのような画像処理を施すかが抽出領域ごとに対応付けられており、前置処理部11で抽出領域ごとに取得された各二次元画像について、それぞれ対応する画像処理を実行する。
【0038】
次に、図2(a)に示すように、エリア画像100において第1領域101と第2領域102との2つの領域が抽出領域として設定されている場合を例に、前置処理部11の動作について説明する。図2の例では、第1領域101と第2領域102とは、いずれもエリア画像100の上端寄りの位置に、エリア画像100の水平ライン(水平走査線)に沿って設定されている。これら第1領域101と第2領域102とは、エリア画像100内において水平方向に互いに離間している。
【0039】
この場合、前置処理部11は、画像取込部111における画像取込のタイミングを同期処理部113にて決定し、このタイミングで取り込まれた複数の部分画像を使って画像生成部114にて二次元画像を再構成する。ここでは、検査対象物はカメラ2に対して図2(a)の上方に向かって搬送されており、同期処理部113は、カメラ2に対して検査対象物が所定量移動する度に部分トリガを発生する。そのため、前置処理部11は、図2(b)に示すように、第1領域101と第2領域102との2箇所の抽出領域の部分画像を検査対象物の移動に同期して順次取り込み、抽出領域ごとに区分して部分画像を記憶部112に記憶する。
【0040】
さらに、前置処理部11は、画像生成部114にて第1領域101と第2領域102とを区別して、抽出領域ごとに画像記憶部115への部分画像の書き込みを繰り返すことにより、抽出領域ごとに二次元画像を生成する。要するに、前置処理部11は、図2(c)に示すように、第1領域101の部分画像を連結した第1の二次元画像103と、第2領域102の部分画像を連結した第2の二次元画像104との2つの二次元画像を生成する。なお、図2(c)では、複数の部分画像(図中、破線で区切られた範囲)が垂直方向(図の上下方向)に並べられることにより、二次元画像103,104を構成している。
【0041】
このように、前置処理部11は、検査対象物が移動する間に画像取込部111にて取り込んだ複数の部分画像を、抽出領域ごとに時系列に並べて二次元画像103,104を生成する。その結果、前置処理部11は、エリア画像100中の矩形状の指定領域105,106(図2(a)参照)に対応した二次元画像103,104を得ることができる。
【0042】
ここにおいて、画像取込部11は、カメラ2から部分画像のみを取り込むことにより、エリア画像全体を取り込む場合に比べて、1回の撮像ごとにカメラ2から画像処理装置1へのデータ転送に要する時間を短縮できる。要するに、たとえば面積Sのエリア画像に対して、面積Saの第1領域と面積Sbの第2領域とが抽出領域として設定されている場合(S>Sa+Sb)、画像処理装置1は、部分画像のみ取り込むことで画像データの取込時間を短縮できる。具体的には、エリア画像全体のデータ転送に要する時間Tsと、第1領域および第2領域の部分画像のデータ転送に要する時間TaおよびTbとの関係は、上記面積を用いて「S:Sa+Sb≒Ts:Ta+Tb」の関係で表される。したがって、画像処理装置1は、部分画像のみを取り込むことにより、エリア画像全体を取り込む場合に比べて、エリア画像と部分画像の面積比の分だけ高速のサンプリングが可能になる。
【0043】
ところで、本実施形態の画像処理装置1は、エリア画像内での抽出領域の位置および範囲をユーザが任意に設定できるように、つまり部分画像の取込条件を決める設定データをユーザが任意に設定できるように、以下の構成を採用している。
【0044】
すなわち、設定記憶部13に記憶されている撮像条件パラメータ、検査パラメータ、動作パラメータの情報は、画像処理装置1に接続されるコンソール(操作装置)3を用いてユーザが入力し、制御部15を介して設定記憶部13に登録される。言い換えれば、制御部15は、コンソール3の操作装置からの入力に従って設定データ等を決定し、設定記憶部13に書き込む機能を有している。
【0045】
本実施形態では、上述したように抽出領域は1つのエリア画像内における複数箇所に設定されるので、制御部15は、エリア画像内において互いに離間した複数の領域を抽出領域とするように設定データを決定する。
【0046】
ここで、画像処理装置1は、カメラ2から画像(部分画像)を取り込む検査モードと、設定データの設定が行われる設定モードとの2つの動作モードを有しており、コンソール3からの入力に応じて動作モードの切り替えを行う。
【0047】
設定モードにおいては、制御部15は、カメラ2の動作モードをエリア撮像モードに切り替えるように画像取込部111に指示し、カメラ2の動作モードをエリア撮像モードに切り替える。この状態で、制御部15は、前置処理部11にてカメラ2から取り込んだ検査対象物のエリア画像を設定画面としてコンソール3の表示装置に表示するよう表示部14を制御する。このとき、表示部14は、設定画面上に抽出領域として選択中の領域を設定画面上に表示する。つまり、表示装置は、図3に示すようにエリア画像を設定画面107として表示し、この設定画面107上に抽出領域(図中の斜線部)の候補として第1領域101および第2領域102を表示する。
【0048】
さらに、制御部15は、コンソール3からの入力に従って、設定画面107上で第1領域101および第2領域102の位置並びに範囲を調節する。つまり、制御部15は、コンソール3に対するユーザの操作を受けて、設定画面107における第1領域101および第2領域102について、座標位置並びに縦方向、横方向の幅寸法を調節することにより、各抽出領域の位置および範囲を調節する。このとき、制御部15は、第1領域101、第2領域102のうち、設定の対象としている側の領域をたとえば点滅表示させ、ユーザによるコンソール3の操作に応じて設定の対象とする領域を切り替える。
【0049】
制御部15は、このようにして調節された抽出領域(第1領域101、第2領域102)の位置および範囲を、設定データとして設定記憶部13に登録する。これにより、設定画面107上で調節された抽出領域(第1領域101、第2領域102)の位置が、設定記憶部13内の設定データに反映される。
【0050】
ここにおいて、本実施形態では検査対象物は複数種類(複数品種)あって、設定記憶部13は、設定データ(抽出領域の位置および範囲)を検査対象物の種類ごとに記憶する。検査モードにおいては、前置処理部11は、コンソール3からの入力に従って検査対象物の種類を特定し、この種類に対応する設定データを設定記憶部13から読み出すことにより、検査対象物の種類に応じた設定データを適用する。
【0051】
以下、上述した構成の画像処理装置1において、ユーザが設定データを設定する方法について簡単に説明する。
【0052】
まず、ユーザは、コンソール3を操作して画像処理装置1の動作モードを設定モードに切り替える。これにより、表示装置にはたとえば図3に示すような設定画面107が表示される。この状態で、ユーザはコンソール3を操作して、設定画面107上での第1領域101と第2領域102との各々を個別に移動させ、抽出領域の位置を調節する。抽出領域の位置が決まれば、ユーザは操作装置3を操作して抽出領域の範囲を設定し、その後、制御部15は、調節された第1領域101および第2領域102の位置および範囲を設定データとして設定記憶部13に登録する。
【0053】
以上説明した本実施形態の画像処理装置1によれば、制御部15は、エリア画像内において互いに離間した複数の領域を抽出領域とするように設定データを決定するので、1回の撮像につきエリア画像内の複数箇所の部分画像をカメラ2から取得することができる。さらに、記憶部112は、抽出領域ごとに部分画像を記憶し、画像生成部114は、抽出領域ごとに二次元画像を生成するので、主処理部12は、個々の抽出領域に対応する画像処理を抽出領域ごとに実行することができる。したがって、画像処理装置1は、1台のカメラ2で検査対象物の複数箇所の画像を取得しながらも、1回の撮像で検査対象物の複数箇所の画像を取得できるので、検査時間の短縮が可能である。
【0054】
また、制御部15は、操作装置(コンソール3)からの入力に従って、抽出領域の位置および範囲を示す設定データを決定するので、部分画像は、1画素幅のライン画像に限らず、複数画素分の幅を持つ矩形状の画像であってもよい。つまり、抽出領域はライン状に限らず、たとえば矩形状などであってもよい。部分画像がある程度の幅を持つことにより、カメラ2と検査対象物との相対位置が連続的に変化する場合にも、画像処理装置1は、検査対象物の全体について部分画像を抜けなく取り込むことができ、検査対象物の全体についての検査が可能になる。
【0055】
ところで、制御部15は、エリア画像内に矩形状の領域が指定領域としてコンソール3の操作装置にて複数指定されることにより、指定領域ごとに対応した二次元画像を構成する部分画像を取り込むための設定データを自動的に決定してもよい。この場合、制御部15は、抽出領域の位置および範囲が直接指定される代わりに、二次元画像を取得すべき領域が指定領域として指定されることにより、その二次元画像を構成するのに必要な部分画像を取り込むための抽出領域の位置および範囲を決定する。
【0056】
たとえば、図2(a)のエリア画像100において、左半分に対応する指定領域105が指定され、右半分に対応する指定領域106が指定された場合、制御部15は、これら指定領域105,106の二次元画像を再構成できるように設定データを決定する。つまり、制御部15は、一方の指定領域105を構成する部分画像を取得するための第1領域101と、他方の指定領域106を構成する部分画像を取得するための第2領域102とを抽出領域とするように、設定データを決定する。これにより、前置処理部11は、最終的に、エリア画像100中の矩形状の指定領域105,106に対応した二次元画像103,104を得ることができる。
【0057】
このように矩形状の指定領域によって設定データを決定する場合、制御部15は、抽出領域として選択中の領域に代えて、矩形状の指定領域が設定画面上に表示されるように、表示部14を制御する。この場合、制御部15は、設定画面上に表示される指定領域の位置および範囲をコンソール3からの入力に従って調節することにより、指定領域を決定する。
【0058】
この構成によれば、ユーザは、二次元画像の取得範囲を指定領域として指定することにより、所望の二次元画像を検査対象とすることができる。すなわち、ユーザは、抽出領域の位置および範囲を直接的に決めなくても、指定領域を指定することで抽出領域の位置および範囲を間接的に決めることができ、設定データの設定が簡単になるという利点がある。
【0059】
以下、同期処理部113、画像生成部114、最適化処理部116の具体的な動作について説明する。
【0060】
同期処理部113の動作は、検査対象物の形態や、検査対象物の搬送速度などにより異なる。
【0061】
まず、流体や帯状のように、個々の検査対象物の区切りがなく、連続的な検査を必要とする検査対象物を検査する場合について説明する。この場合、画像取込部111は、図4に示すように、外部装置4またはコンソール3から与えられる開始信号と終了信号との間の期間に、カメラ2から検査対象物5の画像を取得する。
【0062】
ここで、検査対象物が等速で搬送されていると、同期処理部113は、図5(a)に示すように、部分画像を取り込むタイミングを決定する部分トリガを一定の時間間隔Tで発生する。画像取込部111は、部分トリガの立ち上がりを検出しカメラ2に対してトリガ信号(部分トリガ)を出力しており、カメラ2は、画像取込部111からトリガ信号を受けると所定の露光時間に亘って撮像を行う。ここで、部分トリガの時間間隔Tは、少なくとも部分画像を取り込むのに要する時間tよりも長くなるように、設定記憶部13の撮像条件パラメータにて設定されている。これにより、画像取込部111は部分画像を抜けなく取り込むことができる。
【0063】
また、検査対象物の搬送速度が加減速する場合、検査対象物を搬送する搬送装置(図示せず)に設けられ検査対象物の搬送速度と同期するパルス信号を発生するエンコーダの出力に基づいて、同期処理部113は部分トリガを発生する。つまり、同期処理部113は、外部装置4としてのエンコーダの出力するパルスをカウントし、図5(b)に示すように、パルスのカウント値が規定値Cに達する度に、部分トリガを発生する。ここで、規定値Cは、搬送速度が最大のときにカウント値が規定値Cに達する周期CTが、少なくとも部分画像を取り込むのに要する時間tよりも長くなるように設定されている。
【0064】
なお、連続的な検査を必要とする検査対象物の場合、部分画像の取込数を、たとえば検査対象物が単位長さだけ移動する間に取り込まれる部分画像の数、あるいは単位時間当たりに取り込まれる部分画像の数とすることにより、検査対象物の情報を管理しやすくなる。
【0065】
また、同期処理部113は、連続する検査対象物を抜けなく撮像するため、2回目以降の先頭トリガについては、画像生成部114による二次元画像の生成処理を監視し、二次元画像の生成完了を検出したタイミングで先頭トリガを発生する。これにより、同期処理部113は、画像処理装置1の外部から別の信号を入力することなく、連続した検査を行うことが可能になる。
【0066】
前置処理部11は、外部装置4またはコンソール3から終了信号を受けると、同期処理部113によるトリガの生成を停止して、カメラ2からの画像(部分画像)の取り込みを終了する。
【0067】
次に、ランダムに搬送されるパネルや電子部品など、互いに独立した不連続の検査対象物を検査する場合について説明する。この場合、検査対象物を検知するセンサ(図示せず)を搬送装置に設け、同期処理部113は、図6に示すように、このセンサからの信号を外部トリガ信号として用い、外部トリガ信号に合わせて先頭トリガを発生する。なお、検査対象物の移動が搬送装置のエンコーダの出力と同期しており、エンコーダの1回転ごとに1個の検査対象物が撮像される場合、同期処理部113は、センサの代わりにエンコーダの1回転ごとに発生するZ相のパルスを用いて検査対象物を検知してもよい。
【0068】
ただし、同期処理部113が、センサからの外部トリガ信号を直接、先頭トリガとして用いると、センサの設置位置によって、二次元画像を構成する部分画像の取込開始タイミングが固定されることになる。これにより、画像生成部114は、たとえば図7(a)に示すように、検査対象物5の全体が含まれず、検査対象物5の一部が欠損した二次元画像を生成してしまうことがある。
【0069】
このような問題を回避するため、同期処理部113は、センサからの信号を検知したタイミングから遅延時間だけ遅れて先頭トリガを生成するタイミングを生成するオフセット機能を有している。オフセット量(遅延時間)は、検査対象物が等速で搬送されている場合には一定時間に設定され、検査対象物の搬送速度が加減速されている場合にはエンコーダのパルス数にて設定される。このオフセット機能により、前置処理部11は、図7(b)に示すように、二次元画像の先頭位置を任意に調整でき、検査対象物5の全体を含む二次元画像を生成することができる。
【0070】
なお、同期処理部113が部分トリガを発生する動作については、独立した検査対象物の場合でも、連続的な検査を必要とする検査対象物の場合と同じである。すなわち、検査対象物が等速で搬送されていると、同期処理部113は、先頭トリガから一定の時間間隔で部分トリガを発生する。また、検査対象物の搬送速度が加減速する場合、同期処理部113は、搬送装置のエンコーダの出力に基づいて部分トリガを発生する。
【0071】
また、連続的な検査を必要とする検査対象物の場合、画像生成部114は、二次元画像を生成するタイミングによっては、生成される二次元画像において欠陥(特徴点)が分断されてしまう可能性がある。たとえば、図8に示すように、帯状の検査対象物5の表面の汚れ50を欠陥として検出する場合、汚れ50が2つの二次元画像103に分割されることにより、各々の二次元画像103から検出される汚れ50のサイズは、本来の汚れ50のサイズの半分程度になる。
【0072】
そこで、この問題を回避するため、画像生成部114は、先頭トリガを受けてフレームを更新する際、直前に生成した二次元画像の末尾部分(最後に取り込んだ部分画像)を、更新後の二次元画像の先頭部分にコピーする。これにより、図9に示すように、連続して生成される2つの二次元画像103のいずれか一方には、必ず欠陥(ここでは「汚れ50」)が分断されることなく含まれ、主処理部12は、欠陥の正確なサイズを求めることが可能になる。
【0073】
また、最適化処理部116は、複数種類の最適化処理を実行可能であって、検査対象物の検査条件に応じて設定された検査パラメータに準じて最適化処理を実行する。本実施形態においては、最適化処理部116は、縮小処理(圧縮処理)、拡大処理、分割処理の3種類の処理を最適化処理として実行可能である。
【0074】
縮小処理は、M×Nサイズの部分画像に対して、予め設定されているm×nサイズのブロック内で画素値(輝度値)の平均値や中央値、最大値や最小値を求める処理であり、求まった値を配列し直すことにより、部分画像のサイズを縮小する処理である。つまり、最適化処理部116は、たとえば部分画像に対して検査対象物の搬送方向に並ぶn画素についての輝度値の中央値をとることにより、検査対象物の搬送方向においてノイズ成分を除去することができる。この場合、部分画像は検査対象物の搬送方向におけるサイズが1/nに縮小される。
【0075】
拡大処理は、部分画像を構成する各画素について、注目画素の周囲の画素の輝度値を用いて新たに画素値を求める処理であり、求まった画素値を配列し直すことにより、部分画像のサイズを拡大する処理である。つまり、最適化処理部116は、たとえば図10(a)に示すようにカラーカメラから取り込んだベイヤ配列の部分画像について、注目画素の周囲の画素の輝度値を用いて新たな画素値を求めることにより、図10(b)に示すRGBデータに変換することができる。この場合、部分画像はサイズが3倍に拡大されることになる。
【0076】
分割処理は、部分画像に何らかのフィルタ処理を施すことにより、1つの部分画像から、別々のフィルタ処理が施された複数の部分画像、あるいはフィルタ処理が施されていない部分画像と施された部分画像とを生成する処理である。つまり、最適化処理部116は、たとえば部分画像に対してSobelフィルタにて微分処理を施し、この部分画像を、微分画像と元の部分画像との2つの画像に分割する。なお、ここでいうフィルタ処理は、画像処理技術におけるフィルタ処理であって、画素値の微分値(変化量)を抽出する微分フィルタや、方向微分値を抽出する方向微分フィルタなどを含む。
【0077】
次に、本実施形態の画像処理装置1を用いて検査対象物の検査を行う検査システムについて説明する。ここでは、検査対象物が建築板などのパネルであって、パネル表面の傷(凹凸)の有無と、パネルにおける白濁や色むらの有無とを検査項目とする検査システムを例示する。
【0078】
検査システムは、図11に示すように画像処理装置1およびカメラ2の他、検査対象物5を搬送する搬送装置6と、搬送装置6の上方から検査対象物5を照明する照明装置7とを備えている。
【0079】
搬送装置6は、たとえばローラコンベアからなり、インダクションモータ61によって駆動され、搬送面60(図12参照)に載置された検査対象物5を一方向(図11では右方向)に搬送する。この搬送装置6は、搬送面60の上方に配置され検査対象物5を検知するセンサ62と、ローラの回転軸に取り付けられ検査対象物5の移動量を検出するエンコーダ63とを有している。これらセンサ62およびエンコーダ63の出力信号が画像処理装置1に入力されるように、搬送装置6は画像処理装置1に接続されている(図11では接続線の図示を省略する)。
【0080】
搬送装置6は、インダクションモータ61に電力供給するインバータ(図示せず)の制御により、最大速度Vmax(m/min)以下の範囲で検査対象物5の移動速度が調整される。搬送装置6のエンコーダ63は、検査対象物5の移動量L(mm)に対してP(pulse)の信号を出力する。
【0081】
この検査システムでは、図12に示すように、カメラ2は搬送装置6の搬送面60の上方において、光軸が搬送面60の法線と平行になるように固定されている。これにより、カメラ2は、搬送装置6の搬送面60上においてカメラ2の真下を中心とした一定範囲を検査領域とし、この検査領域の画像をエリア画像として撮像する。このようにして撮像されるエリア画像は、搬送装置6の上流側を上方とし、左上の隅をカメラ座標の原点、つまり座標位置(H,V)=(0,0)とする(Hは水平軸の座標値、Vは垂直軸の座標値)。
【0082】
照明装置7は、それぞれ搬送面60に沿う面内で搬送方向と直交する方向に延長された直線形状(ライン状)の発光面を持つ第1の照明71と第2の照明72とを有している。第1の照明71は、カメラ2よりも搬送方向の下流側であって、且つカメラ2よりも搬送面60からの高さが低い位置に配置されている。第1の照明71は、カメラ2の視野(検査領域)のうち主に搬送方向の下流側半分を照明するように、搬送面60に向けて拡散光を照射する。
【0083】
一方、第2の照明72は、カメラ2の略真下であって、且つ第1の照明71よりもさらに搬送面60からの高さが低くなる位置に配置されている。第2の照明72は、光軸と搬送面60とが成す角度θが鋭角となるように搬送面60に対して傾けられ、カメラ2の視野(検査領域)のうち主に搬送方向の上流側を照明するように、搬送面60に向けて比較的指向性の強い光を照射する。
【0084】
上記構成によれば、第1の照明71から照射され検査対象物5で反射された光を受けてカメラ2が撮像した画像(主にエリア画像の下半分)は、検査対象物5の白濁や色むらに対してコントラストの高い画像となる。一方、第2の照明72から照射され検査対象物5で反射された光を受けてカメラ2が撮像した画像(主にエリア画像の上半分)は、検査対象物5表面の傷(凹凸)に対してコントラストの高い画像となる。すなわち、カメラ2がエリア撮像モードで検査対象物5を撮像すると、上半分は検査対象物5表面の傷に対してコントラストが高く、下半分は検査対象物5の白濁や色むらに対してコントラストの高いエリア画像が得られることになる。
【0085】
このようにして得られるエリア画像は、垂直方向(搬送方向)にグラデーションを持つ画像となり、垂直方向の一部において、上述した欠陥(表面の傷、白濁や色むら)に対するコントラストが最も高くなる。そこで、検査対象物5の検査を高精度で安定して行うため、画像処理装置1は、図13に示すように、エリア画像100のうち欠陥に対するコントラストが最も高い領域を抽出領域として設定する。具体的には、第2領域102は、エリア画像100の上半分の中で欠陥(検査対象物5表面の傷)に対するコントラストが最も高い水平ライン上に設定される。第1領域101は、エリア画像100の下半分の中で欠陥(白濁や色むら)に対するコントラストが最も高い水平ライン上に設定される。
【0086】
画像生成部114は、第2領域102の部分画像からは、検査対象物5表面の傷の検査を行うための二次元画像を生成し、第1領域101の部分画像からは、白濁や色むらの検査を行うための二次元画像を生成する。主処理部12は、これらの二次元画像を用いて、検査対象物5の欠陥(表面の傷、白濁や色むら)の有無を検査することができる。
【0087】
ここにおいて、同期処理部113は、エンコーダ63の出力するパルスをカウントし、パルスのカウント値が規定値Cに達した時点で、第1領域101および第2領域102の各部分画像を取り込むための部分トリガを発生する。なお、搬送速度が最大のときにエンコーダ63が1パルスを発生する周期(最大速度Vmax、検査対象物5の移動量L、パルス数Pで表される)の規定値C倍が、1つの部分画像を取り込むのに要する時間よりも長くなるように、規定値Cが設定される。本実施形態では、部分画像の1画素の実空間上でのピクセルアスペクト比が1:1になるように、カメラ2の分解能に応じて規定値Cが設定されている。
【0088】
このようにして取得される第1領域101の部分画像に関しては、欠陥(白濁や色むら)の大きさを計測できるように、最適化処理部116は何の処理も施さない。一方、第2領域102の部分画像に関しては、欠陥(表面の傷)の連続性が明瞭になるように、最適化処理部116は、検査対象物の搬送方向(垂直方向)における最大輝度値を求める縮小処理を実施する。
【0089】
画像生成部114は、第1領域101の部分画像を複数結合してなる二次元画像と、最適化処理(縮小処理)後の第2領域102の部分画像を複数結合してなる二次元画像とを生成する。主処理部12は、これら抽出領域ごとに取得された各二次元画像について、それぞれ対応する画像処理を実行する。
【0090】
なお、カメラ2がエリア撮像モードである場合、画像取込部111は、制御部15から画像取得の指示を受けてカメラ2に対してトリガ信号を出力し、トリガ信号を受けてカメラ2から出力される画像データを記憶部112に記憶する。画像生成部114は、記憶部112にてバッファリングされた画像データを画像記憶部115の書込アドレスに転送し、エリア画像を生成する。カメラ2がベイヤ配列のカラーカメラの場合、画像生成部114は、バッファリングされたベイヤ配列の画像データを最適化処理部116にてRGBデータに変換した後、画像記憶部115の書込アドレスに順次転送してエリア画像を生成する。
【0091】
また、本実施形態では、エリア画像において第1領域と第2領域との2つの領域が抽出領域として設定されている場合を例に説明したが、この例に限らず、1つのエリア画像に対して3つ以上の領域が抽出領域として設定されていてもよい。
【0092】
(実施形態2)
本実施形態の画像処理装置1は、最適化処理部116が異なる抽出領域の部分画像同士を結合して結合画像を生成する結合処理部として機能する点で、実施形態1の画像処理装置1と相違する。以下、実施形態1と同様の構成については、共通の符号を付して説明を適宜省略する。
【0093】
すなわち、実施形態1においては、画像生成部114は、抽出領域ごとに複数の部分画像を並べることにより二次元画像を生成しているが、本実施形態では、画像生成部114で二次元画像が生成される前に、異なる抽出領域の部分画像同士が結合されることになる。
【0094】
本実施形態における最適化処理部116は、最適化処理として、記憶部112内に記憶されている異なる抽出領域の部分画像を結合して結合画像を生成する結合処理を実行する。これにより、検査対象物の互いに離れた部位を撮像した部分画像同士が、1つの画像(結合画像)に統合されることになる。
【0095】
画像処理装置1は、たとえば図14に示すように検査対象物5の幅寸法(図14(a)における左右方向の寸法)の計測に用いられる場合、幅寸法を計測するために必要な最小限の画像を部分画像として画像取込部111で取り込む。すなわち、検査対象物5の幅寸法を計測するためには、検査対象物5の幅方向の一端縁を含む第1領域101の部分画像と、幅方向の他端縁を含む第2領域102の部分画像とが必要であるので、画像取込部111はこれら2箇所の部分画像を取り込む。
【0096】
ここで、検査対象物5の幅方向がエリア画像100の水平方向(図14(a)における左右方向)となり、且つ検査対象物5の幅方向の全長がエリア画像100内に収まるようにカメラ2の向きおよび視野が設定されている。図14の例では、第1領域101はエリア画像100の左端から複数画素の範囲に設定され、第2領域102はエリア画像の右端から複数画素の範囲に設定されている。
【0097】
これら第1領域101および第2領域102の各部分画像108,109は、エリア画像内の同一の水平走査線(水平走査に係るライン)上に設定されており、図14(b)に示すようにエリア画像100の垂直方向に1画素分の幅を有している。第1領域101および第2領域102の長さは、両者の和がエリア画像100の水平方向の寸法よりも小さく設定され、これにより、第1領域101および第2領域102は、エリア画像100上において連続せず水平方向に離れて設定されることになる。また、抽出領域(第1領域101、第2領域102)はエリア画像100における決まった位置に設定されるので、水平方向における第1領域101と第2領域102との間隔W0は既知である。
【0098】
最適化処理部116は、カメラ2から取り込まれた第1領域101の部分画像108と第2領域102の部分画像109とを、水平方向に隙間なく並べることにより、図14(c)に示すように両部分画像108,109を1つに結合して結合画像を得る。このようにして得られる結合画像は、検査対象物5のうち幅方向における両端部の状態を表す画像である。
【0099】
主処理部12は、結合画像において検査対象物5の幅方向の一端縁から他端縁までの寸法W1を計測し、この寸法W1をエリア画像100における第1領域101と第2領域102との間隔W0(既知)に加算することにより、検査対象物5の幅寸法を計測できる。この場合、画像処理装置1は、検査対象物5の幅寸法の計測に必要な部分画像のみを取り込んで幅寸法を計測できるので、計測処理の処理速度を向上することができる。
【0100】
なお、本実施形態においては、画像生成部114は、最適化処理部116で結合処理が施された複数の結合画像を時系列に並べることにより二次元画像を生成する。
【0101】
以上説明した本実施形態の画像処理装置1によれば、画像処理に必要な最小限の画像を部分画像として取り込んで、且つ異なる抽出領域の部分画像同士を結合して結合画像を生成するので、画像処理に必要な部分の画像の対比が容易になる。
【0102】
その他の構成および機能は実施形態1と同様である。
【符号の説明】
【0103】
1 画像処理装置
2 カメラ
3 コンソール(操作装置、表示装置)
111 画像取込部
112 記憶部
114 画像生成部
115 画像記憶部
116 最適化処理部(結合処理部)
13 設定記憶部
14 表示部
15 制御部
【技術分野】
【0001】
本発明は、検査対象物の画像の検査に用いられる画像処理装置に関するものである。
【背景技術】
【0002】
従来より、工業製品の製造、組立、検査等の工程において、撮像された検査対象物の画像を検査員が目視で確認する方法では検査精度が悪く効率もよくないため、画像処理によって良品・不良品を自動的に判定する画像処理装置が用いられている。この種の画像処理装置としては、ライン状の固体撮像素子を用いたラインセンサに接続され、画素が一列に並んだ一次元の画像(以下、「ライン画像」という)を取り込む装置がある。
【0003】
この画像処理装置は、検査対象物をラインセンサに対して相対的に移動させながらライン画像を複数取り込み、取り込んだ複数のライン画像を時系列に並べることにより画素が二次元配置された二次元画像を生成する。この二次元画像は、たとえば検査対象物の良品・不良品の検査に用いられる。
【0004】
ところで、エリアセンサを用い、特定の走査ラインのデータのみを取り込むことによりライン画像を取得する技術が提案されている(たとえば特許文献1参照)。この技術を用いれば、画像処理装置は、カメラにて画素が二次元配置された二次元画像、ライン画像のどちらでも取得することが可能となる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2004−108828号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、上述した画像処理装置は、1回の撮像につき1ライン分のライン画像をカメラから取得するので、たとえば検査対象物の複数箇所の画像を用いた検査を行うためには、検査対象物を複数回撮像する必要があり検査時間が長くなる。あるいは、画像処理装置は、1回の撮像で検査対象物の複数箇所の画像を取得するためには、複数台のカメラ(またはラインセンサ)が必要になる。
【0007】
本発明は上記事由に鑑みて為されており、1台のカメラで検査対象物の複数箇所の画像を取得しながらも、検査時間の短縮が可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の画像処理装置は、検査対象物の画像を画素が二次元配置されたエリア画像として撮像可能なエリアイメージセンサを撮像素子に用いたカメラから、前記エリア画像内に予め設定されている抽出領域の画像を部分画像として、前記検査対象物と前記カメラとの相対的な位置関係が時間経過に伴い変化する状態で順次取り込む画像取込部と、前記部分画像を複数記憶する記憶部と、前記記憶部内の複数の前記部分画像を時系列に沿って並べることにより画素が二次元配置された二次元画像を生成する画像生成部と、前記エリア画像内での前記抽出領域の位置および範囲を示すデータであって前記画像取込部における前記部分画像の取込条件を決める設定データを記憶する設定記憶部と、操作装置からの入力に従って前記設定データを決定して前記設定記憶部に書き込む制御部とを備え、前記制御部は、前記エリア画像内において互いに離間した複数の領域を前記抽出領域とするように前記設定データを決定し、前記記憶部は、前記抽出領域ごとに前記部分画像を記憶し、前記画像生成部は、前記抽出領域ごとに前記二次元画像を生成することを特徴とする。
【0009】
この画像処理装置において、前記抽出領域はライン状であって、前記部分画像はライン画像を構成することが望ましい。
【0010】
この画像処理装置において、前記制御部は、前記エリア画像内に矩形状の領域が指定領域として前記操作装置にて複数指定されることにより、前記指定領域ごとに対応した前記二次元画像を構成する前記部分画像を取り込むための前記設定データを自動的に決定することが望ましい。
【0011】
この画像処理装置において、前記カメラから取り込んだ前記エリア画像を設定画面として表示装置に表示する表示部をさらに備え、前記制御部は、前記設定画面上に表示される前記指定領域の位置および範囲を前記操作装置からの入力に従って調節することにより、前記指定領域を指定することがより望ましい。
【0012】
本発明の画像処理装置は、検査対象物の画像を画素が二次元配置されたエリア画像として撮像可能なエリアイメージセンサを撮像素子に用いたカメラから、前記エリア画像内に予め設定されている抽出領域の画像を部分画像として、前記検査対象物と前記カメラとの相対的な位置関係が時間経過に伴い変化する状態で順次取り込む画像取込部と、前記部分画像を複数記憶する記憶部と、前記記憶部内の複数の前記部分画像を結合して結合画像を生成する結合処理部と、前記エリア画像内での前記抽出領域の位置および範囲を示すデータであって前記画像取込部における前記部分画像の取込条件を決める設定データを記憶する設定記憶部と、操作装置からの入力に従って前記設定データを決定して前記設定記憶部に書き込む制御部とを備え、前記制御部は、前記エリア画像内において互いに離間した複数の領域を前記抽出領域とするように前記設定データを決定し、前記結合処理部は、異なる前記抽出領域の前記部分画像同士を結合して前記結合画像を生成することを特徴とする。
【0013】
この画像処理装置において、前記抽出領域はライン状であって、前記部分画像はライン画像を構成することが望ましい。
【発明の効果】
【0014】
本発明は、1台のカメラで検査対象物の複数箇所の画像を取得しながらも、検査時間の短縮が可能になるという利点がある。
【図面の簡単な説明】
【0015】
【図1】実施形態1に係る画像処理装置の構成を示す概略ブロック図である。
【図2】実施形態1に係る画像処理装置の動作説明図である。
【図3】実施形態1に係る画像処理装置の設定画面の説明図である。
【図4】実施形態1に係る画像処理装置の動作説明図である。
【図5】実施形態1に係る画像処理装置の動作説明図である。
【図6】実施形態1に係る画像処理装置の動作説明図である。
【図7】実施形態1に係る画像処理装置の動作説明図である。
【図8】実施形態1に係る画像処理装置の動作説明図である。
【図9】実施形態1に係る画像処理装置の動作説明図である。
【図10】実施形態1に係る画像処理装置の動作説明図である。
【図11】実施形態1に係る画像処理装置を用いた検査システムの概略構成図である。
【図12】実施形態1に係る画像処理装置を用いた検査システムの配置図である。
【図13】実施形態1に係る画像処理装置を用いた検査システムの動作説明図である。
【図14】実施形態2に係る画像処理装置の動作説明図である。
【発明を実施するための形態】
【0016】
(実施形態1)
本実施形態の画像処理装置は、検査対象物の画像を撮像するカメラに接続されており、検査対象物の良品・不良品の判定に用いられる。
【0017】
画像処理装置1は、図1に示すように、カメラ2に接続される前置処理部11を具備し、カメラ2から画像を取り込む画像取込部111と、画像取込部111で取り込まれた画像を記憶する記憶部112とを前置処理部11に備えている。さらに、画像処理装置1は、前置処理部11で取り込んだ画像に対して画像処理を実行する主処理部12と、各種パラメータを記憶する設定記憶部13と、表示装置(図示せず)へ出力を行う表示部14と、各部位を制御する制御部15とを備えている。
【0018】
ここでは、画像処理装置1は、CPUやメモリを備えたコンピュータからなり、カメラ2のほか、専用のキーパッドやマウス等の操作装置(図示せず)および表示装置を具備するコンソール3や、後述のエンコーダ等からなる外部装置4を接続可能に構成されている。
【0019】
カメラ2は、画素が二次元配置された二次元の画像(以下、「エリア画像」という)を撮像可能なエリアイメージセンサが撮像素子に用いられている。本実施形態では、カメラ2の撮像素子にはCMOS(ComplementaryMetal Oxide Semiconductor)イメージセンサが用いられるが、これに限らずたとえばCCD(Charge CoupledDevices)等の他の固体撮像素子が用いられていてもよい。なお、カメラ2はカラー画像を撮像するカラーカメラとするが、濃淡値を画素値とする濃淡画像を撮像するカメラであってもよい。
【0020】
このカメラ2は、エリア画像を出力する機能だけでなく、撮像素子の所定範囲の画素のみから映像信号(画素値)を取り込むことにより、エリア画像内に設定された抽出領域の画像(以下、「部分画像」という)を出力する機能も有している。ここで、抽出領域は所定幅のライン状に設定されており、部分画像は1ないし複数の画素幅で画素が直線状に並んだライン画像を構成する。すなわち、カメラ2は、通常のエリア画像全体を出力するエリア撮像モードと、エリア画像の一部であるライン状の部分画像を出力する部分撮像モードとの2つの動作モードを切替可能な制御回路(図示せず)を有している。
【0021】
制御回路は、画像処理装置1からの信号に応じて動作モードの切り替えを行う。また、カメラ2は、部分撮像モードにおいて、映像信号を取り込む画素の指定を画像処理装置1からの信号に応じて行う。つまり、カメラ2は、エリア画像のうち部分画像として画像を取り込む抽出領域の設定を、画像処理装置1からの信号に応じて行う。具体的には、画像取込部111が、制御部15からの指示を受けてカメラ2の動作モード(エリア撮像モード・部分撮像モード)の切り替えを指示する信号をカメラ2に対して送信する。
【0022】
本実施形態の画像処理装置1は、基本的に部分撮像モードでカメラ2を動作させるので、以下では、特に断りがない限りカメラ2は部分撮像モードで動作していると仮定する。
【0023】
画像処理装置1の制御部15は、画像処理装置1に接続される外部装置4またはコンソール3から、検査開始の指示を受けると、前置処理部11へ画像を取得するように指示する。制御部15は、前置処理部11で画像が取得されたことを認識すると、取得された画像に対する画像処理を主処理部12に指示する。主処理部12は、検査パラメータに準じて画像の特徴量(たとえば欠陥部分の面積)を抽出して数値化し、検査対象物の良否を自動的に判定して、その結果を表示部14または制御部15から、外部装置4あるいはコンソール3に出力する。
【0024】
設定記憶部13は、前置処理部11での画像取得時に用いられる撮像条件パラメータや、主処理部12での画像処理に用いられる検査パラメータ、主処理部12での画像処理結果に対する動作パラメータなど、画像処理装置1の動作に必要な情報を記憶している。ここでいう撮像条件パラメータは、エリア画像内での抽出領域の位置および範囲を示すデータであって画像取込部111における部分画像の取込条件を決める設定データを少なくとも含んでいる。
【0025】
前置処理部11は、画像取込部111および記憶部112の他、図1に示すように同期処理部113と、画像生成部114と、画像記憶部115と、最適化処理部116とを備えている。
【0026】
画像取込部111は、検査対象物とカメラ2との相対的な位置関係が時間経過に伴い変化する状態で、抽出領域の画像を部分画像として順次取り込む。つまり、検査対象物とカメラ2との少なくとも一方を移動させながら、画像取込部111は、抽出領域の画像を部分画像として順次取り込み、記憶部112に書き込んでいく。
【0027】
このとき、画像取込部111は、設定記憶部13内の設定データにより決まる取込条件の下で、カメラ2から部分画像の取り込みを行う。具体的には、画像取込部111はカメラ2との通信機能を有しており、設定記憶部13内の設定データに従って、エリア画像のどの位置および範囲の領域を抽出領域とするのかをカメラ2に対して指示する。これにより、カメラ2は、設定記憶部13内の設定データに従い、抽出領域として指定された領域の画像を部分画像として画像処理装置1に出力する。なお、設定記憶部13はカメラ2内に設けられていてもよい。
【0028】
同期処理部113は、画像取込部111が画像(部分画像)を取り込むタイミングを決定するためのトリガ信号を生成する。同期処理部113は、コンソール3や外部装置4からの信号を受け、これらの信号に同期して画像取込部111での部分画像の取り込みが可能となるように画像取込部111にトリガ信号を出力する。ここでは、同期処理部113は、先頭トリガと部分トリガとの2種類のトリガ信号を生成しており、部分トリガによって画像取込部111での部分画像の取込タイミングを決定する。つまり、画像取込部111は、同期処理部113で生成されたトリガ信号(部分トリガ)をカメラ2に対して送信し、このトリガ信号(部分トリガ)を受けてカメラ2から出力される部分画像の画像データを記憶部112に記憶する。
【0029】
画像生成部114は、記憶部112に記憶された複数の部分画像を時系列に沿って並べることにより、これら複数の部分画像を連結して、画素が二次元配置された二次元画像を生成する。具体的には、画像生成部114は、同期処理部113で生成される先頭トリガと部分トリガとを監視しており、先頭トリガを検知すると、部分画像を書き込むための画像記憶部115の書込アドレスを初期アドレスに設定する。
【0030】
その後、画像生成部114は、部分トリガを検知すると、記憶部112に保存されている部分画像の画像データを読み出して、書込アドレスに従って画像記憶部115へ書き込みを行い、書込アドレスを部分画像の画像サイズの分だけシフトさせる。それから、画像生成部114は、部分トリガを検知する度に、画像記憶部115への部分画像の書き込みと、書込アドレスをシフトさせる処理とを繰り返し実行し、画像記憶部115内に部分画像を並べて、画像記憶部115内に二次元画像を生成する。画像生成部114は、画像記憶部115内の二次元画像が、予め設定されている画像サイズに達すると、同期処理部113へ信号を出力して二次元画像の生成完了を通知する。
【0031】
なお、設定記憶部13には、二次元画像を構成する部分画像の数、部分画像の画像サイズ、画像記憶部115の書込領域を表す初期アドレス、二次元画像のサイズ等の情報が予め登録されており、画像生成部114は、これらの情報を用いて二次元画像を生成する。二次元画像を構成する部分画像の数は、取込数として設定記憶部13内の設定データにて指定されており、画像生成部114は、取込数分の部分画像により二次元画像を生成する。同期処理部113は、取込数分の部分トリガを出力する度に、先頭トリガを出力する。
【0032】
最適化処理部116は、画像取込部111で取り込まれた部分画像に対し、設定に応じてサイズ変更やノイズ除去などの各種の変換処理を施すことにより、主処理部12での画像処理に適した部分画像を生成する最適化処理を行う。最適化処理は必ずしも必要ではないが、最適化処理部116で最適化処理が行われる場合には、画像生成部114は、最適化処理後の部分画像を用いて二次元画像を生成する。つまり、画像生成部114は、記憶部112にてバッファリングされた部分画像の画像データを、最適化処理部116で最適化処理が行われた後、画像記憶部115の書込アドレスに転送することで二次元画像を生成する。
【0033】
このように、前置処理部11は、カメラ2から取り込んだ部分画像を用いて、二次元画像を再構成する。前置処理部11の各部(画像取込部111、同期処理部113、画像生成部114、最適化処理部116)の具体的な動作は、設定記憶部13に記憶されている撮像条件パラメータにより決定され、検査対象物の検査条件ごとに切り替えられる。同期処理部113、画像生成部114、最適化処理部116の具体的な動作については後述する。
【0034】
なお、前置処理部11は、画像生成部114で生成された二次元画像に対し、部分画像の長手方向(水平方向)における輝度むらを抑えるようにシェーディング補正を施すシェーディング補正部(図示せず)をさらに備えていてもよい。要するに、カメラ2で撮像される部分画像には、撮像素子の特性やレンズ収差などの影響により、長手方向において輝度にばらつきが生じることがあるので、シェーディング補正部は、この輝度のばらつきを補正し輝度むらを抑えることができる。
【0035】
ところで、本実施形態においては、抽出領域は1つのエリア画像内における複数箇所に設定されており、画像取込部111は、これら複数の抽出領域の全てについて部分画像を取り込み、抽出領域ごとに記憶部112に記憶する。そのため、記憶部112には、各抽出領域について、時間経過に伴って取り込まれた複数の部分画像が記憶されることになる。
【0036】
また、画像生成部114は、エリア画像内に複数設定された抽出領域ごとに、上述したように複数の部分画像を時系列に沿って並べて二次元画像を生成する処理を行う。そのため、画像記憶部115には、部分画像を時系列に沿って並べることにより再構成された二次元画像が、抽出領域ごとに記憶されることになる。
【0037】
結果的に、前置処理部11では複数の画像(二次元画像)が取得されるので、主処理部12での画像処理についても、二次元画像ごとに実行されることになる。つまり、主処理部12は、どのような画像処理を施すかが抽出領域ごとに対応付けられており、前置処理部11で抽出領域ごとに取得された各二次元画像について、それぞれ対応する画像処理を実行する。
【0038】
次に、図2(a)に示すように、エリア画像100において第1領域101と第2領域102との2つの領域が抽出領域として設定されている場合を例に、前置処理部11の動作について説明する。図2の例では、第1領域101と第2領域102とは、いずれもエリア画像100の上端寄りの位置に、エリア画像100の水平ライン(水平走査線)に沿って設定されている。これら第1領域101と第2領域102とは、エリア画像100内において水平方向に互いに離間している。
【0039】
この場合、前置処理部11は、画像取込部111における画像取込のタイミングを同期処理部113にて決定し、このタイミングで取り込まれた複数の部分画像を使って画像生成部114にて二次元画像を再構成する。ここでは、検査対象物はカメラ2に対して図2(a)の上方に向かって搬送されており、同期処理部113は、カメラ2に対して検査対象物が所定量移動する度に部分トリガを発生する。そのため、前置処理部11は、図2(b)に示すように、第1領域101と第2領域102との2箇所の抽出領域の部分画像を検査対象物の移動に同期して順次取り込み、抽出領域ごとに区分して部分画像を記憶部112に記憶する。
【0040】
さらに、前置処理部11は、画像生成部114にて第1領域101と第2領域102とを区別して、抽出領域ごとに画像記憶部115への部分画像の書き込みを繰り返すことにより、抽出領域ごとに二次元画像を生成する。要するに、前置処理部11は、図2(c)に示すように、第1領域101の部分画像を連結した第1の二次元画像103と、第2領域102の部分画像を連結した第2の二次元画像104との2つの二次元画像を生成する。なお、図2(c)では、複数の部分画像(図中、破線で区切られた範囲)が垂直方向(図の上下方向)に並べられることにより、二次元画像103,104を構成している。
【0041】
このように、前置処理部11は、検査対象物が移動する間に画像取込部111にて取り込んだ複数の部分画像を、抽出領域ごとに時系列に並べて二次元画像103,104を生成する。その結果、前置処理部11は、エリア画像100中の矩形状の指定領域105,106(図2(a)参照)に対応した二次元画像103,104を得ることができる。
【0042】
ここにおいて、画像取込部11は、カメラ2から部分画像のみを取り込むことにより、エリア画像全体を取り込む場合に比べて、1回の撮像ごとにカメラ2から画像処理装置1へのデータ転送に要する時間を短縮できる。要するに、たとえば面積Sのエリア画像に対して、面積Saの第1領域と面積Sbの第2領域とが抽出領域として設定されている場合(S>Sa+Sb)、画像処理装置1は、部分画像のみ取り込むことで画像データの取込時間を短縮できる。具体的には、エリア画像全体のデータ転送に要する時間Tsと、第1領域および第2領域の部分画像のデータ転送に要する時間TaおよびTbとの関係は、上記面積を用いて「S:Sa+Sb≒Ts:Ta+Tb」の関係で表される。したがって、画像処理装置1は、部分画像のみを取り込むことにより、エリア画像全体を取り込む場合に比べて、エリア画像と部分画像の面積比の分だけ高速のサンプリングが可能になる。
【0043】
ところで、本実施形態の画像処理装置1は、エリア画像内での抽出領域の位置および範囲をユーザが任意に設定できるように、つまり部分画像の取込条件を決める設定データをユーザが任意に設定できるように、以下の構成を採用している。
【0044】
すなわち、設定記憶部13に記憶されている撮像条件パラメータ、検査パラメータ、動作パラメータの情報は、画像処理装置1に接続されるコンソール(操作装置)3を用いてユーザが入力し、制御部15を介して設定記憶部13に登録される。言い換えれば、制御部15は、コンソール3の操作装置からの入力に従って設定データ等を決定し、設定記憶部13に書き込む機能を有している。
【0045】
本実施形態では、上述したように抽出領域は1つのエリア画像内における複数箇所に設定されるので、制御部15は、エリア画像内において互いに離間した複数の領域を抽出領域とするように設定データを決定する。
【0046】
ここで、画像処理装置1は、カメラ2から画像(部分画像)を取り込む検査モードと、設定データの設定が行われる設定モードとの2つの動作モードを有しており、コンソール3からの入力に応じて動作モードの切り替えを行う。
【0047】
設定モードにおいては、制御部15は、カメラ2の動作モードをエリア撮像モードに切り替えるように画像取込部111に指示し、カメラ2の動作モードをエリア撮像モードに切り替える。この状態で、制御部15は、前置処理部11にてカメラ2から取り込んだ検査対象物のエリア画像を設定画面としてコンソール3の表示装置に表示するよう表示部14を制御する。このとき、表示部14は、設定画面上に抽出領域として選択中の領域を設定画面上に表示する。つまり、表示装置は、図3に示すようにエリア画像を設定画面107として表示し、この設定画面107上に抽出領域(図中の斜線部)の候補として第1領域101および第2領域102を表示する。
【0048】
さらに、制御部15は、コンソール3からの入力に従って、設定画面107上で第1領域101および第2領域102の位置並びに範囲を調節する。つまり、制御部15は、コンソール3に対するユーザの操作を受けて、設定画面107における第1領域101および第2領域102について、座標位置並びに縦方向、横方向の幅寸法を調節することにより、各抽出領域の位置および範囲を調節する。このとき、制御部15は、第1領域101、第2領域102のうち、設定の対象としている側の領域をたとえば点滅表示させ、ユーザによるコンソール3の操作に応じて設定の対象とする領域を切り替える。
【0049】
制御部15は、このようにして調節された抽出領域(第1領域101、第2領域102)の位置および範囲を、設定データとして設定記憶部13に登録する。これにより、設定画面107上で調節された抽出領域(第1領域101、第2領域102)の位置が、設定記憶部13内の設定データに反映される。
【0050】
ここにおいて、本実施形態では検査対象物は複数種類(複数品種)あって、設定記憶部13は、設定データ(抽出領域の位置および範囲)を検査対象物の種類ごとに記憶する。検査モードにおいては、前置処理部11は、コンソール3からの入力に従って検査対象物の種類を特定し、この種類に対応する設定データを設定記憶部13から読み出すことにより、検査対象物の種類に応じた設定データを適用する。
【0051】
以下、上述した構成の画像処理装置1において、ユーザが設定データを設定する方法について簡単に説明する。
【0052】
まず、ユーザは、コンソール3を操作して画像処理装置1の動作モードを設定モードに切り替える。これにより、表示装置にはたとえば図3に示すような設定画面107が表示される。この状態で、ユーザはコンソール3を操作して、設定画面107上での第1領域101と第2領域102との各々を個別に移動させ、抽出領域の位置を調節する。抽出領域の位置が決まれば、ユーザは操作装置3を操作して抽出領域の範囲を設定し、その後、制御部15は、調節された第1領域101および第2領域102の位置および範囲を設定データとして設定記憶部13に登録する。
【0053】
以上説明した本実施形態の画像処理装置1によれば、制御部15は、エリア画像内において互いに離間した複数の領域を抽出領域とするように設定データを決定するので、1回の撮像につきエリア画像内の複数箇所の部分画像をカメラ2から取得することができる。さらに、記憶部112は、抽出領域ごとに部分画像を記憶し、画像生成部114は、抽出領域ごとに二次元画像を生成するので、主処理部12は、個々の抽出領域に対応する画像処理を抽出領域ごとに実行することができる。したがって、画像処理装置1は、1台のカメラ2で検査対象物の複数箇所の画像を取得しながらも、1回の撮像で検査対象物の複数箇所の画像を取得できるので、検査時間の短縮が可能である。
【0054】
また、制御部15は、操作装置(コンソール3)からの入力に従って、抽出領域の位置および範囲を示す設定データを決定するので、部分画像は、1画素幅のライン画像に限らず、複数画素分の幅を持つ矩形状の画像であってもよい。つまり、抽出領域はライン状に限らず、たとえば矩形状などであってもよい。部分画像がある程度の幅を持つことにより、カメラ2と検査対象物との相対位置が連続的に変化する場合にも、画像処理装置1は、検査対象物の全体について部分画像を抜けなく取り込むことができ、検査対象物の全体についての検査が可能になる。
【0055】
ところで、制御部15は、エリア画像内に矩形状の領域が指定領域としてコンソール3の操作装置にて複数指定されることにより、指定領域ごとに対応した二次元画像を構成する部分画像を取り込むための設定データを自動的に決定してもよい。この場合、制御部15は、抽出領域の位置および範囲が直接指定される代わりに、二次元画像を取得すべき領域が指定領域として指定されることにより、その二次元画像を構成するのに必要な部分画像を取り込むための抽出領域の位置および範囲を決定する。
【0056】
たとえば、図2(a)のエリア画像100において、左半分に対応する指定領域105が指定され、右半分に対応する指定領域106が指定された場合、制御部15は、これら指定領域105,106の二次元画像を再構成できるように設定データを決定する。つまり、制御部15は、一方の指定領域105を構成する部分画像を取得するための第1領域101と、他方の指定領域106を構成する部分画像を取得するための第2領域102とを抽出領域とするように、設定データを決定する。これにより、前置処理部11は、最終的に、エリア画像100中の矩形状の指定領域105,106に対応した二次元画像103,104を得ることができる。
【0057】
このように矩形状の指定領域によって設定データを決定する場合、制御部15は、抽出領域として選択中の領域に代えて、矩形状の指定領域が設定画面上に表示されるように、表示部14を制御する。この場合、制御部15は、設定画面上に表示される指定領域の位置および範囲をコンソール3からの入力に従って調節することにより、指定領域を決定する。
【0058】
この構成によれば、ユーザは、二次元画像の取得範囲を指定領域として指定することにより、所望の二次元画像を検査対象とすることができる。すなわち、ユーザは、抽出領域の位置および範囲を直接的に決めなくても、指定領域を指定することで抽出領域の位置および範囲を間接的に決めることができ、設定データの設定が簡単になるという利点がある。
【0059】
以下、同期処理部113、画像生成部114、最適化処理部116の具体的な動作について説明する。
【0060】
同期処理部113の動作は、検査対象物の形態や、検査対象物の搬送速度などにより異なる。
【0061】
まず、流体や帯状のように、個々の検査対象物の区切りがなく、連続的な検査を必要とする検査対象物を検査する場合について説明する。この場合、画像取込部111は、図4に示すように、外部装置4またはコンソール3から与えられる開始信号と終了信号との間の期間に、カメラ2から検査対象物5の画像を取得する。
【0062】
ここで、検査対象物が等速で搬送されていると、同期処理部113は、図5(a)に示すように、部分画像を取り込むタイミングを決定する部分トリガを一定の時間間隔Tで発生する。画像取込部111は、部分トリガの立ち上がりを検出しカメラ2に対してトリガ信号(部分トリガ)を出力しており、カメラ2は、画像取込部111からトリガ信号を受けると所定の露光時間に亘って撮像を行う。ここで、部分トリガの時間間隔Tは、少なくとも部分画像を取り込むのに要する時間tよりも長くなるように、設定記憶部13の撮像条件パラメータにて設定されている。これにより、画像取込部111は部分画像を抜けなく取り込むことができる。
【0063】
また、検査対象物の搬送速度が加減速する場合、検査対象物を搬送する搬送装置(図示せず)に設けられ検査対象物の搬送速度と同期するパルス信号を発生するエンコーダの出力に基づいて、同期処理部113は部分トリガを発生する。つまり、同期処理部113は、外部装置4としてのエンコーダの出力するパルスをカウントし、図5(b)に示すように、パルスのカウント値が規定値Cに達する度に、部分トリガを発生する。ここで、規定値Cは、搬送速度が最大のときにカウント値が規定値Cに達する周期CTが、少なくとも部分画像を取り込むのに要する時間tよりも長くなるように設定されている。
【0064】
なお、連続的な検査を必要とする検査対象物の場合、部分画像の取込数を、たとえば検査対象物が単位長さだけ移動する間に取り込まれる部分画像の数、あるいは単位時間当たりに取り込まれる部分画像の数とすることにより、検査対象物の情報を管理しやすくなる。
【0065】
また、同期処理部113は、連続する検査対象物を抜けなく撮像するため、2回目以降の先頭トリガについては、画像生成部114による二次元画像の生成処理を監視し、二次元画像の生成完了を検出したタイミングで先頭トリガを発生する。これにより、同期処理部113は、画像処理装置1の外部から別の信号を入力することなく、連続した検査を行うことが可能になる。
【0066】
前置処理部11は、外部装置4またはコンソール3から終了信号を受けると、同期処理部113によるトリガの生成を停止して、カメラ2からの画像(部分画像)の取り込みを終了する。
【0067】
次に、ランダムに搬送されるパネルや電子部品など、互いに独立した不連続の検査対象物を検査する場合について説明する。この場合、検査対象物を検知するセンサ(図示せず)を搬送装置に設け、同期処理部113は、図6に示すように、このセンサからの信号を外部トリガ信号として用い、外部トリガ信号に合わせて先頭トリガを発生する。なお、検査対象物の移動が搬送装置のエンコーダの出力と同期しており、エンコーダの1回転ごとに1個の検査対象物が撮像される場合、同期処理部113は、センサの代わりにエンコーダの1回転ごとに発生するZ相のパルスを用いて検査対象物を検知してもよい。
【0068】
ただし、同期処理部113が、センサからの外部トリガ信号を直接、先頭トリガとして用いると、センサの設置位置によって、二次元画像を構成する部分画像の取込開始タイミングが固定されることになる。これにより、画像生成部114は、たとえば図7(a)に示すように、検査対象物5の全体が含まれず、検査対象物5の一部が欠損した二次元画像を生成してしまうことがある。
【0069】
このような問題を回避するため、同期処理部113は、センサからの信号を検知したタイミングから遅延時間だけ遅れて先頭トリガを生成するタイミングを生成するオフセット機能を有している。オフセット量(遅延時間)は、検査対象物が等速で搬送されている場合には一定時間に設定され、検査対象物の搬送速度が加減速されている場合にはエンコーダのパルス数にて設定される。このオフセット機能により、前置処理部11は、図7(b)に示すように、二次元画像の先頭位置を任意に調整でき、検査対象物5の全体を含む二次元画像を生成することができる。
【0070】
なお、同期処理部113が部分トリガを発生する動作については、独立した検査対象物の場合でも、連続的な検査を必要とする検査対象物の場合と同じである。すなわち、検査対象物が等速で搬送されていると、同期処理部113は、先頭トリガから一定の時間間隔で部分トリガを発生する。また、検査対象物の搬送速度が加減速する場合、同期処理部113は、搬送装置のエンコーダの出力に基づいて部分トリガを発生する。
【0071】
また、連続的な検査を必要とする検査対象物の場合、画像生成部114は、二次元画像を生成するタイミングによっては、生成される二次元画像において欠陥(特徴点)が分断されてしまう可能性がある。たとえば、図8に示すように、帯状の検査対象物5の表面の汚れ50を欠陥として検出する場合、汚れ50が2つの二次元画像103に分割されることにより、各々の二次元画像103から検出される汚れ50のサイズは、本来の汚れ50のサイズの半分程度になる。
【0072】
そこで、この問題を回避するため、画像生成部114は、先頭トリガを受けてフレームを更新する際、直前に生成した二次元画像の末尾部分(最後に取り込んだ部分画像)を、更新後の二次元画像の先頭部分にコピーする。これにより、図9に示すように、連続して生成される2つの二次元画像103のいずれか一方には、必ず欠陥(ここでは「汚れ50」)が分断されることなく含まれ、主処理部12は、欠陥の正確なサイズを求めることが可能になる。
【0073】
また、最適化処理部116は、複数種類の最適化処理を実行可能であって、検査対象物の検査条件に応じて設定された検査パラメータに準じて最適化処理を実行する。本実施形態においては、最適化処理部116は、縮小処理(圧縮処理)、拡大処理、分割処理の3種類の処理を最適化処理として実行可能である。
【0074】
縮小処理は、M×Nサイズの部分画像に対して、予め設定されているm×nサイズのブロック内で画素値(輝度値)の平均値や中央値、最大値や最小値を求める処理であり、求まった値を配列し直すことにより、部分画像のサイズを縮小する処理である。つまり、最適化処理部116は、たとえば部分画像に対して検査対象物の搬送方向に並ぶn画素についての輝度値の中央値をとることにより、検査対象物の搬送方向においてノイズ成分を除去することができる。この場合、部分画像は検査対象物の搬送方向におけるサイズが1/nに縮小される。
【0075】
拡大処理は、部分画像を構成する各画素について、注目画素の周囲の画素の輝度値を用いて新たに画素値を求める処理であり、求まった画素値を配列し直すことにより、部分画像のサイズを拡大する処理である。つまり、最適化処理部116は、たとえば図10(a)に示すようにカラーカメラから取り込んだベイヤ配列の部分画像について、注目画素の周囲の画素の輝度値を用いて新たな画素値を求めることにより、図10(b)に示すRGBデータに変換することができる。この場合、部分画像はサイズが3倍に拡大されることになる。
【0076】
分割処理は、部分画像に何らかのフィルタ処理を施すことにより、1つの部分画像から、別々のフィルタ処理が施された複数の部分画像、あるいはフィルタ処理が施されていない部分画像と施された部分画像とを生成する処理である。つまり、最適化処理部116は、たとえば部分画像に対してSobelフィルタにて微分処理を施し、この部分画像を、微分画像と元の部分画像との2つの画像に分割する。なお、ここでいうフィルタ処理は、画像処理技術におけるフィルタ処理であって、画素値の微分値(変化量)を抽出する微分フィルタや、方向微分値を抽出する方向微分フィルタなどを含む。
【0077】
次に、本実施形態の画像処理装置1を用いて検査対象物の検査を行う検査システムについて説明する。ここでは、検査対象物が建築板などのパネルであって、パネル表面の傷(凹凸)の有無と、パネルにおける白濁や色むらの有無とを検査項目とする検査システムを例示する。
【0078】
検査システムは、図11に示すように画像処理装置1およびカメラ2の他、検査対象物5を搬送する搬送装置6と、搬送装置6の上方から検査対象物5を照明する照明装置7とを備えている。
【0079】
搬送装置6は、たとえばローラコンベアからなり、インダクションモータ61によって駆動され、搬送面60(図12参照)に載置された検査対象物5を一方向(図11では右方向)に搬送する。この搬送装置6は、搬送面60の上方に配置され検査対象物5を検知するセンサ62と、ローラの回転軸に取り付けられ検査対象物5の移動量を検出するエンコーダ63とを有している。これらセンサ62およびエンコーダ63の出力信号が画像処理装置1に入力されるように、搬送装置6は画像処理装置1に接続されている(図11では接続線の図示を省略する)。
【0080】
搬送装置6は、インダクションモータ61に電力供給するインバータ(図示せず)の制御により、最大速度Vmax(m/min)以下の範囲で検査対象物5の移動速度が調整される。搬送装置6のエンコーダ63は、検査対象物5の移動量L(mm)に対してP(pulse)の信号を出力する。
【0081】
この検査システムでは、図12に示すように、カメラ2は搬送装置6の搬送面60の上方において、光軸が搬送面60の法線と平行になるように固定されている。これにより、カメラ2は、搬送装置6の搬送面60上においてカメラ2の真下を中心とした一定範囲を検査領域とし、この検査領域の画像をエリア画像として撮像する。このようにして撮像されるエリア画像は、搬送装置6の上流側を上方とし、左上の隅をカメラ座標の原点、つまり座標位置(H,V)=(0,0)とする(Hは水平軸の座標値、Vは垂直軸の座標値)。
【0082】
照明装置7は、それぞれ搬送面60に沿う面内で搬送方向と直交する方向に延長された直線形状(ライン状)の発光面を持つ第1の照明71と第2の照明72とを有している。第1の照明71は、カメラ2よりも搬送方向の下流側であって、且つカメラ2よりも搬送面60からの高さが低い位置に配置されている。第1の照明71は、カメラ2の視野(検査領域)のうち主に搬送方向の下流側半分を照明するように、搬送面60に向けて拡散光を照射する。
【0083】
一方、第2の照明72は、カメラ2の略真下であって、且つ第1の照明71よりもさらに搬送面60からの高さが低くなる位置に配置されている。第2の照明72は、光軸と搬送面60とが成す角度θが鋭角となるように搬送面60に対して傾けられ、カメラ2の視野(検査領域)のうち主に搬送方向の上流側を照明するように、搬送面60に向けて比較的指向性の強い光を照射する。
【0084】
上記構成によれば、第1の照明71から照射され検査対象物5で反射された光を受けてカメラ2が撮像した画像(主にエリア画像の下半分)は、検査対象物5の白濁や色むらに対してコントラストの高い画像となる。一方、第2の照明72から照射され検査対象物5で反射された光を受けてカメラ2が撮像した画像(主にエリア画像の上半分)は、検査対象物5表面の傷(凹凸)に対してコントラストの高い画像となる。すなわち、カメラ2がエリア撮像モードで検査対象物5を撮像すると、上半分は検査対象物5表面の傷に対してコントラストが高く、下半分は検査対象物5の白濁や色むらに対してコントラストの高いエリア画像が得られることになる。
【0085】
このようにして得られるエリア画像は、垂直方向(搬送方向)にグラデーションを持つ画像となり、垂直方向の一部において、上述した欠陥(表面の傷、白濁や色むら)に対するコントラストが最も高くなる。そこで、検査対象物5の検査を高精度で安定して行うため、画像処理装置1は、図13に示すように、エリア画像100のうち欠陥に対するコントラストが最も高い領域を抽出領域として設定する。具体的には、第2領域102は、エリア画像100の上半分の中で欠陥(検査対象物5表面の傷)に対するコントラストが最も高い水平ライン上に設定される。第1領域101は、エリア画像100の下半分の中で欠陥(白濁や色むら)に対するコントラストが最も高い水平ライン上に設定される。
【0086】
画像生成部114は、第2領域102の部分画像からは、検査対象物5表面の傷の検査を行うための二次元画像を生成し、第1領域101の部分画像からは、白濁や色むらの検査を行うための二次元画像を生成する。主処理部12は、これらの二次元画像を用いて、検査対象物5の欠陥(表面の傷、白濁や色むら)の有無を検査することができる。
【0087】
ここにおいて、同期処理部113は、エンコーダ63の出力するパルスをカウントし、パルスのカウント値が規定値Cに達した時点で、第1領域101および第2領域102の各部分画像を取り込むための部分トリガを発生する。なお、搬送速度が最大のときにエンコーダ63が1パルスを発生する周期(最大速度Vmax、検査対象物5の移動量L、パルス数Pで表される)の規定値C倍が、1つの部分画像を取り込むのに要する時間よりも長くなるように、規定値Cが設定される。本実施形態では、部分画像の1画素の実空間上でのピクセルアスペクト比が1:1になるように、カメラ2の分解能に応じて規定値Cが設定されている。
【0088】
このようにして取得される第1領域101の部分画像に関しては、欠陥(白濁や色むら)の大きさを計測できるように、最適化処理部116は何の処理も施さない。一方、第2領域102の部分画像に関しては、欠陥(表面の傷)の連続性が明瞭になるように、最適化処理部116は、検査対象物の搬送方向(垂直方向)における最大輝度値を求める縮小処理を実施する。
【0089】
画像生成部114は、第1領域101の部分画像を複数結合してなる二次元画像と、最適化処理(縮小処理)後の第2領域102の部分画像を複数結合してなる二次元画像とを生成する。主処理部12は、これら抽出領域ごとに取得された各二次元画像について、それぞれ対応する画像処理を実行する。
【0090】
なお、カメラ2がエリア撮像モードである場合、画像取込部111は、制御部15から画像取得の指示を受けてカメラ2に対してトリガ信号を出力し、トリガ信号を受けてカメラ2から出力される画像データを記憶部112に記憶する。画像生成部114は、記憶部112にてバッファリングされた画像データを画像記憶部115の書込アドレスに転送し、エリア画像を生成する。カメラ2がベイヤ配列のカラーカメラの場合、画像生成部114は、バッファリングされたベイヤ配列の画像データを最適化処理部116にてRGBデータに変換した後、画像記憶部115の書込アドレスに順次転送してエリア画像を生成する。
【0091】
また、本実施形態では、エリア画像において第1領域と第2領域との2つの領域が抽出領域として設定されている場合を例に説明したが、この例に限らず、1つのエリア画像に対して3つ以上の領域が抽出領域として設定されていてもよい。
【0092】
(実施形態2)
本実施形態の画像処理装置1は、最適化処理部116が異なる抽出領域の部分画像同士を結合して結合画像を生成する結合処理部として機能する点で、実施形態1の画像処理装置1と相違する。以下、実施形態1と同様の構成については、共通の符号を付して説明を適宜省略する。
【0093】
すなわち、実施形態1においては、画像生成部114は、抽出領域ごとに複数の部分画像を並べることにより二次元画像を生成しているが、本実施形態では、画像生成部114で二次元画像が生成される前に、異なる抽出領域の部分画像同士が結合されることになる。
【0094】
本実施形態における最適化処理部116は、最適化処理として、記憶部112内に記憶されている異なる抽出領域の部分画像を結合して結合画像を生成する結合処理を実行する。これにより、検査対象物の互いに離れた部位を撮像した部分画像同士が、1つの画像(結合画像)に統合されることになる。
【0095】
画像処理装置1は、たとえば図14に示すように検査対象物5の幅寸法(図14(a)における左右方向の寸法)の計測に用いられる場合、幅寸法を計測するために必要な最小限の画像を部分画像として画像取込部111で取り込む。すなわち、検査対象物5の幅寸法を計測するためには、検査対象物5の幅方向の一端縁を含む第1領域101の部分画像と、幅方向の他端縁を含む第2領域102の部分画像とが必要であるので、画像取込部111はこれら2箇所の部分画像を取り込む。
【0096】
ここで、検査対象物5の幅方向がエリア画像100の水平方向(図14(a)における左右方向)となり、且つ検査対象物5の幅方向の全長がエリア画像100内に収まるようにカメラ2の向きおよび視野が設定されている。図14の例では、第1領域101はエリア画像100の左端から複数画素の範囲に設定され、第2領域102はエリア画像の右端から複数画素の範囲に設定されている。
【0097】
これら第1領域101および第2領域102の各部分画像108,109は、エリア画像内の同一の水平走査線(水平走査に係るライン)上に設定されており、図14(b)に示すようにエリア画像100の垂直方向に1画素分の幅を有している。第1領域101および第2領域102の長さは、両者の和がエリア画像100の水平方向の寸法よりも小さく設定され、これにより、第1領域101および第2領域102は、エリア画像100上において連続せず水平方向に離れて設定されることになる。また、抽出領域(第1領域101、第2領域102)はエリア画像100における決まった位置に設定されるので、水平方向における第1領域101と第2領域102との間隔W0は既知である。
【0098】
最適化処理部116は、カメラ2から取り込まれた第1領域101の部分画像108と第2領域102の部分画像109とを、水平方向に隙間なく並べることにより、図14(c)に示すように両部分画像108,109を1つに結合して結合画像を得る。このようにして得られる結合画像は、検査対象物5のうち幅方向における両端部の状態を表す画像である。
【0099】
主処理部12は、結合画像において検査対象物5の幅方向の一端縁から他端縁までの寸法W1を計測し、この寸法W1をエリア画像100における第1領域101と第2領域102との間隔W0(既知)に加算することにより、検査対象物5の幅寸法を計測できる。この場合、画像処理装置1は、検査対象物5の幅寸法の計測に必要な部分画像のみを取り込んで幅寸法を計測できるので、計測処理の処理速度を向上することができる。
【0100】
なお、本実施形態においては、画像生成部114は、最適化処理部116で結合処理が施された複数の結合画像を時系列に並べることにより二次元画像を生成する。
【0101】
以上説明した本実施形態の画像処理装置1によれば、画像処理に必要な最小限の画像を部分画像として取り込んで、且つ異なる抽出領域の部分画像同士を結合して結合画像を生成するので、画像処理に必要な部分の画像の対比が容易になる。
【0102】
その他の構成および機能は実施形態1と同様である。
【符号の説明】
【0103】
1 画像処理装置
2 カメラ
3 コンソール(操作装置、表示装置)
111 画像取込部
112 記憶部
114 画像生成部
115 画像記憶部
116 最適化処理部(結合処理部)
13 設定記憶部
14 表示部
15 制御部
【特許請求の範囲】
【請求項1】
検査対象物の画像を画素が二次元配置されたエリア画像として撮像可能なエリアイメージセンサを撮像素子に用いたカメラから、前記エリア画像内に予め設定されている抽出領域の画像を部分画像として、前記検査対象物と前記カメラとの相対的な位置関係が時間経過に伴い変化する状態で順次取り込む画像取込部と、前記部分画像を複数記憶する記憶部と、前記記憶部内の複数の前記部分画像を時系列に沿って並べることにより画素が二次元配置された二次元画像を生成する画像生成部と、前記エリア画像内での前記抽出領域の位置および範囲を示すデータであって前記画像取込部における前記部分画像の取込条件を決める設定データを記憶する設定記憶部と、操作装置からの入力に従って前記設定データを決定して前記設定記憶部に書き込む制御部とを備え、
前記制御部は、前記エリア画像内において互いに離間した複数の領域を前記抽出領域とするように前記設定データを決定し、前記記憶部は、前記抽出領域ごとに前記部分画像を記憶し、前記画像生成部は、前記抽出領域ごとに前記二次元画像を生成することを特徴とする画像処理装置。
【請求項2】
前記抽出領域はライン状であって、前記部分画像はライン画像を構成することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記制御部は、前記エリア画像内に矩形状の領域が指定領域として前記操作装置にて複数指定されることにより、前記指定領域ごとに対応した前記二次元画像を構成する前記部分画像を取り込むための前記設定データを自動的に決定することを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記カメラから取り込んだ前記エリア画像を設定画面として表示装置に表示する表示部をさらに備え、
前記制御部は、前記設定画面上に表示される前記指定領域の位置および範囲を前記操作装置からの入力に従って調節することにより、前記指定領域を指定することを特徴とする請求項3に記載の画像処理装置。
【請求項5】
検査対象物の画像を画素が二次元配置されたエリア画像として撮像可能なエリアイメージセンサを撮像素子に用いたカメラから、前記エリア画像内に予め設定されている抽出領域の画像を部分画像として、前記検査対象物と前記カメラとの相対的な位置関係が時間経過に伴い変化する状態で順次取り込む画像取込部と、前記部分画像を複数記憶する記憶部と、前記記憶部内の複数の前記部分画像を結合して結合画像を生成する結合処理部と、前記エリア画像内での前記抽出領域の位置および範囲を示すデータであって前記画像取込部における前記部分画像の取込条件を決める設定データを記憶する設定記憶部と、操作装置からの入力に従って前記設定データを決定して前記設定記憶部に書き込む制御部とを備え、
前記制御部は、前記エリア画像内において互いに離間した複数の領域を前記抽出領域とするように前記設定データを決定し、前記結合処理部は、異なる前記抽出領域の前記部分画像同士を結合して前記結合画像を生成することを特徴とする画像処理装置。
【請求項6】
前記抽出領域はライン状であって、前記部分画像はライン画像を構成することを特徴とする請求項5に記載の画像処理装置。
【請求項1】
検査対象物の画像を画素が二次元配置されたエリア画像として撮像可能なエリアイメージセンサを撮像素子に用いたカメラから、前記エリア画像内に予め設定されている抽出領域の画像を部分画像として、前記検査対象物と前記カメラとの相対的な位置関係が時間経過に伴い変化する状態で順次取り込む画像取込部と、前記部分画像を複数記憶する記憶部と、前記記憶部内の複数の前記部分画像を時系列に沿って並べることにより画素が二次元配置された二次元画像を生成する画像生成部と、前記エリア画像内での前記抽出領域の位置および範囲を示すデータであって前記画像取込部における前記部分画像の取込条件を決める設定データを記憶する設定記憶部と、操作装置からの入力に従って前記設定データを決定して前記設定記憶部に書き込む制御部とを備え、
前記制御部は、前記エリア画像内において互いに離間した複数の領域を前記抽出領域とするように前記設定データを決定し、前記記憶部は、前記抽出領域ごとに前記部分画像を記憶し、前記画像生成部は、前記抽出領域ごとに前記二次元画像を生成することを特徴とする画像処理装置。
【請求項2】
前記抽出領域はライン状であって、前記部分画像はライン画像を構成することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記制御部は、前記エリア画像内に矩形状の領域が指定領域として前記操作装置にて複数指定されることにより、前記指定領域ごとに対応した前記二次元画像を構成する前記部分画像を取り込むための前記設定データを自動的に決定することを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記カメラから取り込んだ前記エリア画像を設定画面として表示装置に表示する表示部をさらに備え、
前記制御部は、前記設定画面上に表示される前記指定領域の位置および範囲を前記操作装置からの入力に従って調節することにより、前記指定領域を指定することを特徴とする請求項3に記載の画像処理装置。
【請求項5】
検査対象物の画像を画素が二次元配置されたエリア画像として撮像可能なエリアイメージセンサを撮像素子に用いたカメラから、前記エリア画像内に予め設定されている抽出領域の画像を部分画像として、前記検査対象物と前記カメラとの相対的な位置関係が時間経過に伴い変化する状態で順次取り込む画像取込部と、前記部分画像を複数記憶する記憶部と、前記記憶部内の複数の前記部分画像を結合して結合画像を生成する結合処理部と、前記エリア画像内での前記抽出領域の位置および範囲を示すデータであって前記画像取込部における前記部分画像の取込条件を決める設定データを記憶する設定記憶部と、操作装置からの入力に従って前記設定データを決定して前記設定記憶部に書き込む制御部とを備え、
前記制御部は、前記エリア画像内において互いに離間した複数の領域を前記抽出領域とするように前記設定データを決定し、前記結合処理部は、異なる前記抽出領域の前記部分画像同士を結合して前記結合画像を生成することを特徴とする画像処理装置。
【請求項6】
前記抽出領域はライン状であって、前記部分画像はライン画像を構成することを特徴とする請求項5に記載の画像処理装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図14】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図14】
【図13】
【公開番号】特開2013−36796(P2013−36796A)
【公開日】平成25年2月21日(2013.2.21)
【国際特許分類】
【出願番号】特願2011−171628(P2011−171628)
【出願日】平成23年8月5日(2011.8.5)
【出願人】(000106221)パナソニック デバイスSUNX株式会社 (578)
【Fターム(参考)】
【公開日】平成25年2月21日(2013.2.21)
【国際特許分類】
【出願日】平成23年8月5日(2011.8.5)
【出願人】(000106221)パナソニック デバイスSUNX株式会社 (578)
【Fターム(参考)】
[ Back to top ]