説明

撮像装置及び撮像方法

【課題】欠陥検出に適した画像を取得することを目的とする。
【解決手段】被検査物の検査対象領域に照明光を照射し、検査対象領域の基準画像を基準となる基準撮像条件に従って取得し、基準画像をクラスタリング処理して複数のクラスタに分割し、各クラスタが所定の条件に合致するかを判定し、各クラスタが所定の条件に合致しない場合に、所定の条件に合致しないクラスタの撮像条件を変更し、所定の条件に合致しないクラスタの画像を変更された撮像条件に従って取得し、全てのクラスタが所定の条件に合致するまで撮像条件の変更及びクラスタの画像の取得を繰り返し、全てのクラスタが所定の条件に合致すると判定された場合に、所定の条件に合致した各クラスタの画像を合成して検査対象領域の合成画像を取得する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置及び撮像方法に係り、特に、検査対象物の表面の欠陥を検出するための画像を撮影するための撮像装置及び撮像方法に関するものである。
【背景技術】
【0002】
人間が目視にて行っていた被検査物の外観や表面の検査を自動化するために、被検査物を撮像して得られた画像に基づいて被検査物の外観や表面を検査する検査装置が知られている。一般に、このような検査装置では、被検査物に対して欠陥を検出するための撮影視野が小さいため、被検査物を複数の検査領域に分けて、検査領域毎に予め最適化した1つの撮影条件に従って検査領域毎の画像を取得して検査対象物全体を検査する。
このような検査装置の一例として、特許文献1(特開2009−14357号公報)には、被検査面への照明手段とCCDカメラを備えたロボットアームを、所定の検査ルートに沿って移動させて被検査面の複数の撮像地点における画像を取得し、ロボットアームの位置情報と撮像地点の座標データとから欠陥の位置を特定することにより被検査物の欠陥を検出する技術が開示されている。
また、特許文献2(特開2003−270163号公報)には、欠陥位置が既知の物品を撮像して複数の画像を取得し、これらの画像に基づいて、検査対象物品を撮像する際の最適な照明条件及び撮像条件を定めることで、検査対象物品の欠陥の有無をより正確に検出する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2009−14357号公報
【特許文献2】特開2003−270163号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、検査対象物が複雑な形状であったり、検出すべき欠陥の位置、サイズ、方向が予測できない場合や、所謂受け入れ検査等の検査対象物が一定期間使用されて表面状態が都度異なる場合等には、検査領域毎の撮影条件を一義的に決定することができないため、欠陥を検出するために最適な画像を得ることが困難であるという不具合がある。
【0005】
本発明は、上記問題を解決するためになされたもので、欠陥検出に適した画像を取得することのできる撮像装置及び撮像方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、被検査物の検査対象領域に照明光を照射する照明手段と、前記検査対象領域の基準画像を基準となる基準撮像条件に従って取得する基準画像撮像手段と、前記基準画像に対してクラスタリング処理を行うことにより該基準画像を複数のクラスタに分割するクラスタリング処理手段と、各前記クラスタが所定の条件に合致するかを判定する判定手段と、各前記クラスタが所定の条件に合致しない場合に、該所定の条件に合致しない前記クラスタの撮像条件を変更する撮像条件変更手段と、前記所定の条件に合致しない前記クラスタの画像を前記変更された撮像条件に従って取得する領域画像撮像手段と、全ての前記クラスタが所定の条件に合致するまで前記撮像条件変更手段による撮像条件の変更及び前記領域画像撮像手段による画像の取得を繰り返す繰返手段と、全ての前記クラスタが所定の条件に合致すると判定された場合に、該所定の条件に合致した各クラスタの画像を合成して前記検査対象領域の合成画像を取得する画像合成手段と、を備えた撮像装置を提供する。
【0007】
本発明によれば、被検査物の検査対象領域に基準撮像条件に従って照明光を照射して基準画像を取得し、得られた基準画像に対してクラスタリング処理を施して複数のクラスタに分割するので、基準画像を輝度に応じた領域に分割することができる。各クラスタはそれぞれ異なる平均輝度を有しているため、各クラスタが必ずしも所定の条件に合致しない。そこで、全てのクラスタのうち所定の条件に合致しないクラスタの撮像条件を変更して、当該クラスタの画像を再度取得する。撮影条件の変更及びクラスタの画像取得を全てのクラスタが所定の条件に合致するまで繰り返し、全てのクラスタに対して所定の条件に合致する画像が得られたときに、所定の条件に合致した各クラスタの画像を合成して検査対象領域の合成画像を取得する。このように、検査対象領域の画像にクラスタリング処理を施して得られたクラスタ毎に所定の撮像条件に合致する撮像条件を定め、この撮像条件に従ってクラスタ毎の画像を取得し、各クラスタの画像を合成して検査対象領域の画像を取得するので、検査対象領域内に欠陥検出に不適切な領域がなく、被検査物の検査対象領域に応じて欠陥検出に適した画像を取得することができる。
【0008】
上記した本発明において、前記所定の条件が、各前記クラスタの平均輝度と予め定めた目標値との差が所定の範囲内であることが好ましい。
【0009】
本発明によれば、輝度に対して予め欠陥検出に適するような画像が得られる目標値を定め、この目標値を基準に、各クラスタの平均輝度と目標値との差が所定の範囲内であることを所定の条件とする。検査対象領域の画像をクラスタリング処理して得られた各クラスタは、過度に明るい又は暗い等夫々異なる平均輝度を有しており、例えば、過度に明るく白飛びしているクラスタは欠陥を検出することが困難であるが、所定の条件を各クラスタの平均輝度と予め定めた目標値との差が所定の範囲内とすることで、検査対象領域内に欠陥検出に不適切な領域がなく、全てのクラスタに対して欠陥検出に適した画像を取得することができる。延いては、これらの画像を合成して検査対象領域の画像とすることで、被検査物の検査対象領域に応じて欠陥検出に適した画像を取得することができる。
【0010】
上記した本発明において、前記撮像条件変更手段が、前記照明手段の移動方向を前記クラスタの重心位置と前記基準画像の中心位置とを結ぶ線分方向とすると共に、前記照明手段の移動量を前記照明手段による照明光の照射方向と前記基準画像撮像手段又は前記領域画像撮像手段の撮像光軸とのなす角度に基づいて決定するが好ましい。
【0011】
本発明によれば、照明手段の移動方向と移動量を定めることにより、被検査物の形状や検出すべき欠陥の位置、サイズ、方向等の被検査物の状態に応じて撮像条件を変更することができ、全てのクラスタに対して欠陥検出に適した画像を取得することができる。
【0012】
上記した本発明において、前記撮像条件変更手段が、前記基準画像撮像手段又は前記領域画像撮像手段の移動方向を前記クラスタの重心位置と前記基準画像の中心位置とを結ぶ線分方向とすると共に、前記基準画像撮像手段又は前記領域画像撮像手段の移動量を前記照明手段による照明光の照射方向と前記基準画像撮像手段又は前記領域画像撮像手段の撮像光軸とのなす角度に基づいて決定するが好ましい。
【0013】
本発明によれば、基準画像撮像手段又は領域画像撮像手段の移動方向と移動量を定めることにより、被検査物の形状や検出すべき欠陥の位置、サイズ、方向等の被検査物の状態に応じて撮像条件を変更することができ、全てのクラスタに対して欠陥検出に適した画像を取得することができる。
【0014】
上記した本発明において、前記照明手段と前記基準画像取得手段及び前記領域画像撮像手段とが別個独立に移動可能に設けられたが好ましい。
【0015】
本発明によれば、照明手段と基準画像取得手段及び領域画像撮像手段とを別個独立に移動可能とすることで、被検査物の形状や検出すべき欠陥の位置、サイズ、方向等の被検査物の状態に応じて検査対象領域の画像を取得することができる。
【0016】
また、本発明は、被検査物の検査対象領域に照明光を照射するステップと、前記検査対象領域の基準画像を基準となる基準撮像条件に従って取得するステップと、前記基準画像に対してクラスタリング処理を行うことにより複数のクラスタに分割するステップと、各前記クラスタが所定の条件に合致しない場合に、該所定の条件に合致しない前記クラスタの撮像条件を変更するステップと、前記所定の条件に合致しない前記クラスタの画像を前記変更された撮像条件に従って取得するステップと、各前記クラスタが所定の条件に合致するかを判定し、全ての前記クラスタが所定の条件に合致するまで前記撮像条件変更手段による撮像条件の変更及び前記領域画像撮像手段による画像の取得を繰り返すステップと、前記判定手段により全ての前記クラスタが所定の条件に合致すると判定された場合に、該所定の条件に合致した各クラスタの画像を合成して前記検査対象領域の合成画像を取得するステップと、を備えた撮像方法を提供する。
【発明の効果】
【0017】
本発明によれば、欠陥検出に適した画像を取得することができる。
【図面の簡単な説明】
【0018】
【図1】本発明の一実施形態に係る撮像装置の概略構成を示すブロック図である。
【図2】本発明の一実施形態に係る撮像装置における照明とカメラとの位置関係の参考例を示す図である。
【図3】本発明の一実施形態に係る撮像装置における撮像処理の流れを示すフローチャートである。
【図4】本発明の一実施形態に係る撮像装置における照明と被検査物との位置関係の参考例を示す図である。
【発明を実施するための形態】
【0019】
以下に、本発明に係る撮像装置の一実施形態について、図面を参照して説明する。図1は、本実施形態に係る撮像装置の概略構成を示したブロック図である。
図1に示すように、撮像装置1は、被検査物の検査対象領域に照明光を照射する照明2(照明手段)と、被検査物を撮像して画像を取得するカメラ3(基準画像撮像手段、領域画像撮像手段)と、取得した画像に対して所定の画像処理を施す画像処理部4を備えている。
【0020】
照明2とカメラ3は、図2に示すように、それぞれ別個独立のマニピュレータ等の移動手段に取り付けられ、夫々が別個独立に制御され駆動されるようになっている。これにより、照明2は、マニピュレータの移動可能範囲において任意の方向から被検査物に対して照明光を照射することができるようになっている。カメラ3は、検査対象領域の基準画像を基準となる基準撮像条件に従って取得すると共に、基準画像をクラスタリング処理することによって得られるクラスタの画像を取得する(詳細は後述)。
【0021】
図1に戻り、画像処理部4は、カメラ3により得られた基準画像及びクラスタの画像に対して所定の画像処理を行うものであり、画像処理に関する各種演算処理を実行するCPU(中央演算処理装置)5、画像処理に係るプログラム等を記憶する読み出し専用のメモリであるROM(Read Only Memory)6、CPU5の作業領域として機能する読み書き自在のメモリであるRAM(Random Access Memory)7、及び画像処理に係るプログラムやこのプログラムに基づく画像処理を実行するために必要となる種々のデータを格納した記憶装置8を備えている。なお、記憶装置8には、カメラ3によって基準画像を撮像する際の基準撮像条件が記憶されると共に、後述する撮像条件変更部11により変更された撮像条件が記憶される。また、基準撮像条件は、本撮像装置1を操作する作業員によって適時入力することとしてもよく、被検査物を検査した実績データを収集した情報から統計的に最も多い撮像条件を基準撮像条件と決定してもよい。
【0022】
また、画像処理部4は、CPU5がROM6に格納された所定の画像処理プログラムをRAM7に展開し、展開したプログラムを実行することによって実現される処理部として、クラスタリング処理部10、判定部11、撮像条件変更部12、繰返部13及び画像合成部14を備えている。
【0023】
クラスタリング処理部10は、カメラ3によって取得された基準画像に対してクラスタリング処理を行うことにより、基準画像を複数のクラスタに分割する。具体的には、クラスタリング処理は、まず基準画像を予め指定したサイズのメッシュで分割し、各メッシュ内の平均輝度を演算する。そして、演算された平均輝度に基づいて、例えば、分割最適化手法であるk-means法などの公知の手法によりクラスタリング処理を行い、これを任意のクラスタ数になるまで、又は各クラスタ間の平均輝度差が一定値になるまで繰り返す。
【0024】
判定部11は、クラスタリング処理部10により得られた複数のクラスタが所定の条件に合致するか否かを判定し、判定結果をCPU5に含まれる各処理部としての撮像条件変更部12、繰返部13及び画像合成部14へ出力する。
【0025】
所定の条件として、例えば、各クラスタの平均輝度と予め定めた目標値との差が所定の範囲内であることを定めることができる。基準画像をクラスタリング処理することにより得られた各クラスタは、夫々異なる平均輝度を有しているため、全クラスタには、例えば、過度に明るく白飛びしているクラスタや、過度に暗く黒潰れしているクラスタが含まれることがある。このようなクラスタからは欠陥を検出することが困難である。このため、クラスタから欠陥を検出するために適した輝度の目標値を予め定め、この目標値と各クラスタの平均輝度との差が所定の範囲内を所定の条件として後段の処理を進めることにより、最終的に欠陥検出に適した画像を取得することができる。
従って、判定部11では、各クラスタの平均輝度を算出し、算出された平均輝度が予め定めた目標値を基準として所定の範囲内にあるか否かを判定する。
【0026】
撮像条件変更部12は、判定部11によって複数のクラスタに所定の条件に合致しないクラスタが含まれると判定された場合に、所定の条件に合致しないクラスタの撮像条件を変更する。即ち、複数のクラスタのうち、平均輝度と目標値との差が所定範囲内にないクラスタが含まれると判定された場合に、このクラスタに対する撮像条件を変更する。変更後の撮像条件は、例えば記憶装置8に記憶され、CPU5からの指示に基づいてカメラ3により変更後の撮像条件に従ってクラスタの画像が撮像される。
【0027】
撮像条件の変更は、例えば、以下のように行なわれる。
まず、平均輝度と目標値との差が所定範囲内にないクラスタを対象クラスタと定め、対象クラスタの重心位置を算出する。続いて、検査対象領域の基準画像の中心を算出し、先に算出された重心位置と基準画像の中心とを結ぶ線分の方向を照明2の移動方向と決定する。さらに、照明2の移動量(移動角度)として、
(90°―(照明2の照射方向とカメラ3の光軸とのなす角))/2
と決定する。
【0028】
繰返部13は、判定部11により所定の条件に合致しないクラスタがあると判定された場合に、全てのクラスタが所定の条件に合致するまで撮像条件変更部11による撮像条件の変更と変更された撮像条件に従ったカメラ3によるクラスタの画像の取得を繰り返すように、撮像条件変更部11及びカメラ3に指示を出力する。
【0029】
画像合成部14は、繰返部13からの指示に基づいて、撮像条件変更部11及びカメラ3における処理が繰り返された結果、判定部11により全てのクラスタが所定の条件に合致すると判定された場合に、所定の条件に合致した各クラスタの画像を合成して検査対象領域の合成画像を取得する。
即ち、全てのクラスタの夫々の平均輝度と目標値との差が所定範囲内となった場合に、平均輝度と目標値との差が所定範囲内であるクラスタの画像を、隣接するクラスタ同士の境界線をぼかすなどの処理を施してなじませつつ、合成することにより検査対象領域の1つの合成画像を得る。
【0030】
以下、このように構成された撮像装置における撮像処理の流れを、図3のフローチャートに従って説明する。
まず、ステップS11で、被検査物を所定の場所に設置し、検査対象領域を撮像装置1により撮像可能な状態とする。続いてステップS12で、照明2及びカメラ3を検査対象領域近傍に移動させ、記憶装置8に記憶された基準撮像条件に従って照明2及びカメラ3の位置関係を調整し、ステップS13で基準撮像条件に従って検査対象領域の基準画像を撮像する。
【0031】
次のステップS14では、先のステップS13で得られた基準画像に対してクラスタリング処理を行う。クラスタリング処理は、上述したように、基準画像を予め指定したサイズのメッシュで分割し、各メッシュ内の平均輝度に基づいて、公知の手法により任意のクラスタ数になるまで、又は各クラスタ間の平均輝度差が一定値になるまで繰り返すことにより行なわれる。
【0032】
次のステップS15では、ステップS14で得られた複数のクラスタの各々の平均輝度と目標値との差が所定の範囲内であるか否かを判定する。この判定により、複数のクラスタのうち、何れかのクラスタの平均輝度と目標値との差が所定範囲内でないと判定された場合にはステップS16に進み、全てのクラスタの平均輝度値と目標値との差が所定の範囲内であると判定された場合には、ステップS20に進む。
【0033】
ステップS16では、平均輝度と目標値との差が所定範囲内でないと判定されたクラスタを対象クラスタとして、この対象クラスタの重心位置を算出し、次のステップS17に進む。ステップS17では、ステップS16で算出された対象クラスタの重心位置に基づいて、対象クラスタの撮像条件を変更・設定する。撮像条件の変更は、上述したように、例えば、照明2の照明光の照射方向や照明2の移動量をこの重心位置と基準画像の中心位置とに基づいて定めることにより行なわれる。
【0034】
ステップS18では、ステップS17により変更された撮像条件に従って、対象クラスタの画像をカメラ3により撮像する。次のステップS19では、変更後の撮像条件に従って得られたクラスタの画像の平均輝度を算出し、この平均輝度と目標値との差が所定範囲内であるか否かを判定する。判定の結果、クラスタの画像の平均輝度が所定範囲内でないと判定された場合には、ステップS16に戻り、対象クラスタの平均輝度と目標値との差が所定範囲内となるまで、撮像条件の変更及びクラスタの画像の取得というステップS16〜ステップS19の処理が繰り返される。このステップS16〜ステップS19の処理は、ステップS15においてクラスタの平均輝度と目標値との差が所定範囲内でないと判定された全てのクラスタに対して行なわれる。
【0035】
一方、ステップS19における判断の結果、クラスタの画像の平均輝度と目標値との差が所定範囲内であると判定された場合には、ステップS20に進む。即ち、ステップS16〜ステップS19の処理は、ステップS15においてクラスタの平均輝度と目標値との差が所定範囲内でないと判定された全てのクラスタに対して行なわれるので、ステップS19で、クラスタの画像の平均輝度と目標値との差が所定範囲内であると判定された場合には、全てのクラスタの平均輝度と目標値との差が所定範囲内になるまで処理が行われたこととなるため、ステップS20に進む。
【0036】
ステップS20では、各クラスタの画像を合成することにより検査対象領域の合成画像を得る。この合成の際には、各クラスタの平均輝度と目標値との差が所定範囲内である画像を適用し、隣接するクラスタ同士の境界線をぼかすなどの処理を施してなじませつつ、合成することにより検査対象領域の1つの合成画像を得る。
【0037】
このように、平均輝度値と目標値との差が所定範囲内のクラスタの画像を合成しているので、得られた検査対象領域の合成画像は、何れの領域においても、白飛び黒つぶれ等の不具合がなく、即ち、検査対象領域の画像に欠陥検出に不適切な部分がなく、被検査物の検査対象領域に応じて欠陥検出に適した画像を取得することができる。
【0038】
撮像条件の変更は、上記した照明2の移動方向及び移動量を定めることに限られず、これに代えて、例えば、対象クラスタの重心位置と基準画像の中心とを結ぶ線分の方向をカメラ3の移動方向と決定すると共に、カメラ3の移動量(移動角度)として、
(90°―(照明2の照射方向とカメラ3の光軸とのなす角))/2
と決定することもできる。
この場合には、画像合成部14による画像合成の際に、カメラ3の移動量や位置情報に基づいて、基準撮像条件以外の撮像条件に従って撮像されたクラスタの画像を全て幾何変換(アフィン変換)し、基準画像と各クラスタの画像との撮影視野を合致させる必要がある。
【0039】
また、図4に示すように、照明2が複数の光源を備えており、各光源が別個独立に点灯又は消灯させることが可能な場合には、対象クラスタの重心位置と基準画像の中心とを結ぶ線分の方向の光源を点灯させると共に、点灯させる光源の角度を、
(90°―(照明2の照射方向とカメラ3の光軸とのなす角))/2
と決定することもできる。
なお、撮像条件には、上記した照明2の移動方向及び移動量だけでなく、輝度等の種々の条件が含まれ、必要に応じて、他の条件を変更することもできる。
【0040】
また、例えば、本実施形態に掛かる撮像装置1により欠陥検査のための画像を撮像する毎にその際の各クラスタの撮像条件を記憶装置8に蓄積し、記憶装置8に蓄積された撮像条件から統計的に最も多い撮像条件を基準撮像条件として定めることもできる。
【符号の説明】
【0041】
1 撮像装置
2 照明
3 カメラ
4 画像処理部
5 CPU
6 ROM
7 RAM
8 記憶装置
10 クラスタリング処理部
11 判定部
12 撮像条件変更部
13 繰返部
14 画像合成部


【特許請求の範囲】
【請求項1】
被検査物の検査対象領域に照明光を照射する照明手段と、
前記検査対象領域の基準画像を基準となる基準撮像条件に従って取得する基準画像撮像手段と、
前記基準画像に対してクラスタリング処理を行うことにより該基準画像を複数のクラスタに分割するクラスタリング処理手段と、
各前記クラスタが所定の条件に合致するかを判定する判定手段と、
各前記クラスタが所定の条件に合致しない場合に、該所定の条件に合致しない前記クラスタの撮像条件を変更する撮像条件変更手段と、
前記所定の条件に合致しない前記クラスタの画像を前記変更された撮像条件に従って取得する領域画像撮像手段と、
全ての前記クラスタが所定の条件に合致するまで前記撮像条件変更手段による撮像条件の変更及び前記領域画像撮像手段による画像の取得を繰り返す繰返手段と、
全ての前記クラスタが所定の条件に合致すると判定された場合に、該所定の条件に合致した各クラスタの画像を合成して前記検査対象領域の合成画像を取得する画像合成手段と、
を備えた撮像装置。
【請求項2】
前記所定の条件が、各前記クラスタの平均輝度と予め定めた目標値との差が所定の範囲内である請求項1記載の撮像装置。
【請求項3】
前記撮像条件変更手段が、前記照明手段の移動方向を前記クラスタの重心位置と前記基準画像の中心位置とを結ぶ線分方向とすると共に、前記照明手段の移動量を前記照明手段による照明光の照射方向と前記基準画像撮像手段又は前記領域画像撮像手段の撮像光軸とのなす角度に基づいて決定する請求項1又は請求項2記載の撮像装置。
【請求項4】
前記撮像条件変更手段が、前記基準画像撮像手段又は前記領域画像撮像手段の移動方向を前記クラスタの重心位置と前記基準画像の中心位置とを結ぶ線分方向とすると共に、前記基準画像撮像手段又は前記領域画像撮像手段の移動量を前記照明手段による照明光の照射方向と前記基準画像撮像手段又は前記領域画像撮像手段の撮像光軸とのなす角度に基づいて決定する請求項1又は請求項2記載の撮像装置。
【請求項5】
前記照明手段と前記基準画像取得手段及び前記領域画像撮像手段とが別個独立に移動可能に設けられた請求項1乃至請求項4の何れか1項記載の撮像装置。
【請求項6】
被検査物の検査対象領域に照明光を照射するステップと、
前記検査対象領域の基準画像を基準となる基準撮像条件に従って取得するステップと、
前記基準画像に対してクラスタリング処理を行うことにより複数のクラスタに分割するステップと、
各前記クラスタが所定の条件に合致しない場合に、該所定の条件に合致しない前記クラスタの撮像条件を変更するステップと、
前記所定の条件に合致しない前記クラスタの画像を前記変更された撮像条件に従って取得するステップと、
各前記クラスタが所定の条件に合致するかを判定し、全ての前記クラスタが所定の条件に合致するまで前記撮像条件変更手段による撮像条件の変更及び前記領域画像撮像手段による画像の取得を繰り返すステップと、
前記判定手段により全ての前記クラスタが所定の条件に合致すると判定された場合に、該所定の条件に合致した各クラスタの画像を合成して前記検査対象領域の合成画像を取得するステップと、
を備えた撮像方法。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate


【公開番号】特開2011−174896(P2011−174896A)
【公開日】平成23年9月8日(2011.9.8)
【国際特許分類】
【出願番号】特願2010−41084(P2010−41084)
【出願日】平成22年2月25日(2010.2.25)
【出願人】(000006208)三菱重工業株式会社 (10,378)
【Fターム(参考)】