説明

位置認識装置及び位置認識方法並びにプログラム

【課題】パターンマッチングにより位置認識を行う際、サーチエリアのサイズを小さくしても、認識エラーが発生する危険性を極めて低くできるようにする。
【解決手段】パターンマッチング処理手段102は、カメラによって撮像された画像上のサーチエリア内において、テンプレートとの相関値が最も高くなる第1のエリアの位置を求める。判別手段102は、テンプレートに最も類似した本来の認識すべきエリアである第2のエリアが、サーチエリアからはみ出しているか否かを判別する。サーチエリア変更手段104は、第2のエリアがサーチエリアからはみ出していると判別された場合、第1のエリアの相関値を利用して第2のエリアのはみ出し量を推測し、推測したはみ出し量に応じて上記画像上に設定するサーチエリアのサイズおよび位置を変更する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、パターンマッチングによる位置認識技術に関する。
【背景技術】
【0002】
パターンマッチングでは、テンプレートと呼ばれる検索基準画像を予め登録しておくと共に、カメラ視野範囲内にサーチエリアと呼ばれる検索範囲を設定しておく。その後、サーチエリア内をピクセル単位で移動しながらテンプレートサイズの対象画像を順次切り出し、切り出した対象画像とテンプレートとの類似度を正規化相関関数と呼ばれる評価式を用いて数値化する。そして、最も相関値の高い座標を認識位置とし、結果として相関値と認識位置を出力する。また、最も相関値の高い座標とその周辺のベクトル間距離を考慮するなどして、サブピクセル単位の位置認識精度を有するため、一般的な位置認識を行う際、最も頻繁に使用される手法である。
【0003】
しかし、正規化相関関数の計算時間は比較的長く、テンプレートサイズとサーチエリアサイズとにより計算回数が決定するため、テンプレートサイズやサーチエリアサイズが大きくなると画像処理時間が長くなる欠点がある。これを補うため、テンプレートサイズを小さくしたり、サーチエリアサイズを小さくするなどにより、処理時間を短くする工夫がなされる。ところが、サーチエリアサイズを小さくすると、認識マークを有するワークをセットの際の位置再現性や、ロット間の寸法精度の偏りなどにより、認識マーク位置の偏りが発生し、認識すべきエリアがサーチエリアに対してギリギリになったり、はみ出したりしてしまうことがある。ここで、認識すべきエリアとは、テンプレートと最も類似した認識したいエリアであり、サーチエリアを考慮せずパターンマッチングを行った際に相関値が最も大きくなる、テンプレートと同じサイズのエリアである。
【0004】
一般的なパターンマッチングでは、予め相関値に閾値を設けて良否判定を行っている。また、一般的に、認識すべきエリアが、サーチエリアに対してギリギリになったり、サーチエリアからはみ出した場合は、相関値が下がり、位置認識精度が低下する。従って、サーチエリアサイズを小さくし、且つ、閾値を100%に近い大きな値とした場合は、認識エラーとなり、作業者が介在せねばならず生産効率が悪くなる。逆に、閾値が小さい場合は、認識エラーは発生しないが、位置認識精度が低くなり、位置認識結果を元に搭載動作などを行う装置等では搭載位置精度悪化という品質不良に繋がってしまう。
【0005】
このような課題に対応するための技術として、次のような技術が知られている(例えば、特許文献1,2参照)。
【0006】
特許文献1に記載されている技術では、画像データの画面中に大小2種類のサーチエリアを設定し、先ず、小さなサーチエリア内でパターンマッチングを行い、認識マークがサーチエリアからはみ出し、相関値の最大値が閾値よりも小さくなった場合には、大きなサーチエリア内でパターンマッチングを行うようにしている。
【0007】
また、特許文献2に記載されている技術では、サーチエリアの辺毎に、その辺から認識マークがはみ出しているか否かを調べ、はみ出している場合には、サーチエリアのサイズを、認識マークがはみ出している辺の方向に一定サイズだけ拡大し、拡大したサーチエリア内で再度パターンマッチングを行うようにしている。即ち、拡大したサーチエリアを示す情報を、ライブラリに登録されている既存のパターンマッチング用のプログラムによって実現されているパターンマッチング処理手段に渡し、パターンマッチング処理手段を起動させる。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開平10−261898号公報
【特許文献2】特開2005−93623号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
特許文献1に記載されている技術では、先ず、用意されている大小2種類のサーチエリアの内の小さい方のサーチエリアを利用してパターンマッチングを行い、このパターンマッチングにおいて得られた相関値が閾値以下の場合には、大きな方のサーチエリアを用いてパターンマッチングを行うようにしているので、認識エラーが発生する危険性を少なくすることができる。しかし、特許文献1に記載されている技術は、大きな方のサーチエリアのサイズが一定サイズとされていため、そのサイズが大きすぎる場合には、無駄な処理が多く行われることとなり、反対にそのサイズが小さすぎる場合には、認識マークがサーチエリアからはみ出すなど、認識マークとサーチエリアとの位置関係が適切でない状態となり、認識エラーが発生する危険性があるという問題がある。
【0010】
また、特許文献2に記載されている技術では、サーチエリアから認識マークがはみ出した場合、サーチエリアを認識マークのはみ出し方向に一定サイズ拡大するようにしているので、認識エラーが発生する危険性を少なくすることができる。しかし、特許文献2に記載されている技術では、一定サイズだけサーチエリアを拡大するようにしているので、拡大サイズが大きすぎる場合には、無駄な処理が多く行われることとなり、反対に小さすぎる場合には、認識マークがサーチエリアからはみ出すなど、認識マークとサーチエリアとの位置関係が適切でない状態となり、認識エラーが発生する危険性がある。
【0011】
[発明の目的]
そこで、本発明の目的は、サーチエリアを変更する際、サーチエリアのサイズをなるべく小さく、且つ、認識エラーの発生する危険性を極めて少なくすることにある。
【課題を解決するための手段】
【0012】
本発明にかかる第1の位置認識装置は、
カメラによって撮像された画像上のサーチエリア内においてテンプレートとの相関値が最も高くなる第1のエリアの位置を求めるパターンマッチング処理手段と、
前記テンプレートに最も類似した本来の認識すべきエリアである第2のエリアが、前記サーチエリアからはみ出しているか否かを判別する判別手段と、
該判別手段で前記第2のエリアが前記サーチエリアからはみ出していると判別された場合、前記第2のエリアのはみ出し量を推測し、該推測したはみ出し量に応じて前記画像上に設定するサーチエリアのサイズおよび位置を変更するサーチエリア変更手段とを備える。
【0013】
本発明にかかる第1の位置認識方法は、
パターンマッチング処理手段が、カメラによって撮像された画像上のサーチエリア内においてテンプレートとの相関値が最も高くなる第1のエリアの位置を求め、
判別手段が、前記テンプレートに最も類似した本来の認識すべきエリアである第2のエリアが、前記サーチエリアからはみ出しているか否かを判別し、
サーチエリア変更手段が、前記判別手段で前記第2のエリアが前記サーチエリアからはみ出していると判別された場合、前記第1のエリアの相関値を利用して前記第2のエリアのはみ出し量を推測し、該推測したはみ出し量に応じて前記画像上に設定するサーチエリアのサイズおよび位置を変更する。
【0014】
本発明にかかる第1のプログラムは、
コンピュータを位置認識装置として機能させるためのプログラムであって、
前記コンピュータを、
カメラによって撮像された画像上のサーチエリア内においてテンプレートとの相関値が最も高くなる第1のエリアの位置を求めるパターンマッチング処理手段、
前記テンプレートに最も類似した本来の認識すべきエリアである第2のエリアが、前記サーチエリアからはみ出しているか否かを判別する判別手段、
該判別手段で前記第2のエリアが前記サーチエリアからはみ出していると判別された場合、前記第2のエリアのはみ出し量を推測し、該推測したはみ出し量に応じて前記画像上に設定するサーチエリアのサイズおよび位置を変更するサーチエリア変更手段として機能させる。
【発明の効果】
【0015】
本発明によれば、サイズが小さく、且つ、認識エラーの発生する危険性が極めて低いサーチエリアを設定することができる。
【図面の簡単な説明】
【0016】
【図1】本発明の第1の実施の形態の構成例を示すブロック図である。
【図2】一般的なパターンマッチングにおいて、適正に位置認識を行える場合を説明するための図である。
【図3】一般的なパターンマッチングにおいて、適正に位置認識を行うことができない場合を説明するための図である。
【図4】テンプレート203を説明するための図である。
【図5】サーチエリア202と、認識すべきエリア209と、認識位置205と、認識マーク204の中心位置との関係を示した図である。
【図6】第1の実施の形態の処理例を示すフローチャートである。
【図7】サーチエリア202と、認識したエリア208と、認識すべきエリア209と、認識位置205との関係を示した図である。
【図8】本発明の第2の実施の形態の構成例を示すブロック図である。
【図9】第2の実施の形態の処理例を示すフローチャートである。
【発明を実施するための形態】
【0017】
[本発明の第1の実施の形態]
まず、一般的なパターンマッチングにおいて、適正に位置認識を行うことができる場合、および、適正な位置認識を行うことができない場合について、簡単に説明しておく。
【0018】
図2は、一般的なパターンマッチングにより適正に位置認識を行うことができる場合を示している。一般的に位置決めを行う場合には、ワークの角度の影響を受けないように丸型の認識マークが用いられるため、図2の例でも丸型の認識マーク204を使用するものとする。また、この例では、認識マーク204を、テンプレート203の中心位置に設定するようにしている。図示を省略したカメラ等により撮像された視野(画像)201に対して、そのサイズが、テンプレート203のサイズ以上で、且つ、視野201と同じか或いはそれよりも狭いサイズのサーチエリア202を設置し、予め登録したテンプレート203とのパターンマッチングを行うことで、視野201またはサーチエリア202に対してサブピクセルレベルで認識位置205を得ることができる。ここで、一般的にパターンマッチングでは、相関値と呼ばれる類似度を算出しているが、これは正規化相関関数などと呼ばれる評価式により算出され、基本的にはサーチエリア202の中で予め登録されたテンプレート203との一致度合いを表し、予め設定された閾値と比較する事でパターンマッチングの合否判定として使われる。
【0019】
図3は、パターンマッチングにより適正に位置認識を行うことができない場合を示している。同図に示すように、認識すべきエリア209の一部分がサーチエリア202からはみ出している場合、予め設定された閾値が100%に近い高い値の場合は、認識処理がエラー判定となり、予め設定された閾値が低い場合は、認識処理自体は合格判定だが位置ズレを引き起こす。同図に示すように、認識すべきエリア209がサーチエリア202から20%程度はみ出している場合、サーチエリア202内の認識すべきエリア209の相関値すなわち一致度合いは80%程度あることになる。従って、閾値を90%程度に設定した場合は、エラー判定となり、通常は、作業者の介在が必要となり生産性を損なう。一方、閾値を70%程度に設定した場合は、図3の例のように20%程度のはみ出しでは、認識処理自体は合格判定となる。しかし、この場合、正規化相関関数により異なるが、認識位置205は、ずれた方向にサーチエリア202と認識すべきエリア209が接する状態から算出される位置となり、認識位置205は、実際の正しい位置に対して、サーチエリア209からはみ出した分だけサーチエリア202の中心方向にずれた位置となる。認識マーク204が基板の位置決めマークであり、このマークを基準としてチップなどを搭載する装置であれば、認識処理が合格判定のため認識位置205を基準として搭載を行うが、認識マーク204の中心と認識位置205のズレ分だけ搭載ズレを引き起こしてしまう。
【0020】
次に、本発明の第1の実施の形態にかかる位置認識装置について説明する。
【0021】
図1を参照すると、本発明の第1の実施の形態にかかる位置認識装置100は、画像データ記憶部101と、パターンマッチング処理手段102と、判別手段103と、サーチエリア変更手段104と、サーチエリア情報記憶部105と、テンプレート記憶部106とを備えている。
【0022】
画像データ記憶部101には、図示を省略したカメラによって撮像された画像の画像データが格納される。サーチエリア情報記憶部105には、サーチエリアのサイズ及び位置を示すサーチエリア情報が格納される。テンプレート記憶部106には、検索基準画像となるテンプレートが格納される。
【0023】
パターンマッチング処理手段102は、画像データ記憶部101に格納されている画像データによって表わされる画像上に、サーチエリア情報記憶部105に格納されているサーチエリア情報によって表わされるサーチエリアを設定し、サーチエリア内においてテンプレートとの相関値が最も高くなるエリアを認識する機能や、上記認識したエリア(第1のエリアという場合もある)とその周囲のエリアの相関値を利用した補間処理を行い、第1のエリアの位置をサブピクセル単位で認識する機能を有する。
【0024】
判別手段103は、認識すべきエリア(第2のエリアという場合もある)がサーチエリアからはみ出しているか、または、サーチエリアに対してギリギリ(第2のエリアとサーチエリアの縁部が重なりあっている状態)か否かを判別する機能を有する。ここで、第2のエリアがサーチエリアに対してギリギリか否かを判別するようにしているのは、サーチエリアの周辺部における照明のムラや、テンプレートの切り出しやテンプレート内認識位置の指定がピクセル単位の整数値でしか与えられない事や、認識処理によって得られる相関値が一様な曲線ではなくノイズ成分を有する曲線となっている事等に起因し、位置精度が低くなると考えられるからである。なお、具体的な判別方法については、後で詳しく説明する。
【0025】
サーチエリア変更手段104は、判別手段103によって、認識すべきエリアがサーチエリアからはみ出している、または、ギリギリと判別された場合、認識すべきエリアのはみ出し量を推測する機能や、推測したはみ出し量に応じてサーチエリアのサイズおよび位置を変更する機能を有する。
【0026】
なお、位置認識装置100は、コンピュータによって実現可能であり、コンピュータによって実現する場合は、例えば、次のようにする。コンピュータを位置認識装置として機能させるためのプログラムを記録したディスク、半導体メモリ、その他の記録媒体を用意し、コンピュータに上記プログラムを読み取らせる。コンピュータは、読み取ったプログラムに従って自身の動作を制御することにより、自コンピュータ上に、パターンマッチング処理手段102、判別手段103、及び、サーチエリア変更手段104を実現する。
【0027】
図4を参照すると、テンプレート記憶部106には、形状が矩形で、x,y軸方向のサイズがTsx,Tsyのテンプレート203が登録されている。テンプレート203の登録は、一般的には、カメラ等によって撮像した画像からテンプレート203とすべき部分を切り出し、それをテンプレート記憶部106に登録することにより行う。テンプレート203のサイズTsx,Tsyは、特徴点である認識マーク204をテンプレート203に含ませるため、認識マーク204のサイズよりも大きなものとする。また、本実施の形態では、認識マーク204の中心位置を認識位置205とする。認識位置205は、テンプレート203の相対座標系として
(Tpx,Tpy)で与えられる。この値は、例えば、テンプレート記憶部106に登録される。
【0028】
図5を参照すると、本実施の形態では、認識位置205をサーチエリア202の左上の点からの相対座標(IPx,IPy)で表している。一般的には、パターンマッチングの位置認識処理では、認識位置205は視野座標系として得られるが、視野全面がサーチエリアに設定可能であることと、および、説明を簡略化するため本実施の形態では、サーチエリア座標系としてサーチエリアからの相対座標で認識位置205を表すようにしている。より具体的には、サーチエリア202の範囲でパターンマッチングを行うため、相関値が最も高くなるエリアの位置(第1のエリアの例えば左上の点の位置)がサーチエリア202の相対座標として特定され、認識位置205はテンプレート103の相対座標として与えられているため、両者を加算することでサーチエリア202の相対座標として認識位置205(IPx,IPy)を得ることができる。
【0029】
次に、図6のフローチャートを参照して本実施の形態の動作について説明する。
【0030】
先ず、ステップ601において、図示を省略したカメラなどにより、ワーク等の対象物を撮像し、その画像データを画像データ記憶部101に格納する。ここでは、図5に示すような画像が撮像されたものとする。
【0031】
次のステップ602では、パターンマッチング処理手段102が、ステップ601で撮像した画像に対してパターンマッチング処理を行い、相関値と認識位置205とを得る。より具体的には、先ず、パターンマッチング処理手段102は、画像データ記憶部101に格納されている画像データによって表わされる画像上に、サーチエリア情報記憶部105に格納されているサーチエリア情報によって表わされるサーチエリア202を設定する。次に、サーチエリア202内でパターンマッチング処理を行い、テンプレート記憶部106に格納されているテンプレート203と最も相関値が高くなる、テンプレート203と同一サイズのエリアを認識する。その後、認識したエリア(第1のエリア)やその周囲のエリアの相関値などに基づいて補間処理を行い、サブピクセル精度で認識位置205を求める。そして、最後に、上記認識したエリアの相関値および上記認識位置205を出力する。なお、一般的なパターンマッチング処理では、得られた相関値と予め定められている閾値とを比較し、閾値の方が大きい場合には認識エラーとして作業者を介在させるが、本実施の形態では相関値での合否判定を行わない。
【0032】
次のステップ603では、判別手段103がサーチエリア202と認識すべきエリア209との位置関係を算出し、サーチエリア変更フラグを算出した位置関係に応じたものとする。より具体的には、認識すべきエリア209がサーチエリア202からはみ出しているか、もしくは、サーチエリア202に対してギリギリか否かを判別し、そうである場合にはサーチエリア変更フラグをONとし、そうでない場合はOFFにする。
【0033】
ここで、判別方法について図7を参照して説明する。図7は図5に示したサーチエリア202に対して認識すべきエリア209が右下方向にずれた部分を拡大して簡略化したものであり、認識したエリア208の左上、右下の位置は、パターンマッチングの結果として得られる認識位置205から(IPx−Tpx,IPy−Tpy)、(IPx−Tpx+Tsx,IPy−Tpy+Tsy)として算出される。
【0034】
パターンマッチング処理は、サーチエリア202の範囲内でテンプレート203との合致エリアを検索するため、認識すべきエリア209がサーチエリア202からはみ出した場合、認識したエリア208とサーチエリア202との位置関係で判別する事ができる。具体的には、サーチエリア202の4辺において、認識したエリア208がどのくらいギリギリかを判別すればよく、[条件1]はサーチエリア202の左辺,[条件2]は同上辺,[条件3]は同右辺,[条件4]は同下辺と認識したエリア208との距離を表し、いずれか1つ以上を満たすとき、認識すべきエリア209がサーチエリア202に対してギリギリか、はみ出した状態であると判別することができる。ここで、αx,αyは予め設定しておく定数で、認識すべきエリア209がサーチエリア202のギリギリの範囲内であることを判別するためのピクセル数を与えておく。
【0035】
αx,αyは理論的にはサーチエリア202のギリギリの範囲に認識すべきエリア209があった場合でも全く問題なく相関値も位置精度も高くなるため、サブピクセル補間分として1ピクセルを設定すれば良いが、実際は相関値は高くても位置精度が落ちる場合が多い事から、要求されている位置精度を確保できるピクセル数を指定する事で、認識位置精度を保証できる。従って、図6のステップ603に示す、サーチエリア202と認識すべきエリア209との位置関係算出では、[条件1]〜[条件4]のいずれか1つ以上を満たすとき、サーチエリア変更フラグをONし、1つも満たさない場合はサーチエリア変更フラグをOFFする。このサーチエリア変更フラグは、図示を省略したフラグ記憶部に格納され、サーチエリア変更手段104から参照可能になっている。また、判別手段103は、サーチエリア変更フラグをONとして場合は、[条件1]〜[条件4]の内、どの条件が満たされたのかを示す情報もフラグ記憶部に登録しておく。
【0036】
[条件1]IPx−Tpx≦αx
[条件2]IPy−Tpy≦αy
[条件3]Ssx−αx≦IPx−Tpx+Tsx
[条件4]Ssy−αy≦IPy−Tpy+TSy
【0037】
次のステップ604では、サーチエリア変更手段104が、ステップ603で設定されたサーチエリア変更フラグの状態により条件分岐を行う。サーチエリア変更フラグがOFFの場合は、ステップ602のパターンマッチング処理で得られた認識位置(IPx,IPy)を採用して終了する(ステップ610)。これに対して、サーチエリア変更フラグがONの場合は、サーチエリア202を変更する(ステップ605)。
【0038】
ここで、ステップ605で行うサーチエリアの変更処理について詳しく説明する。サーチエリアの変更は、そのサイズおよび位置を変更することにより行う。先ず、サーチエリアのサイズの変更処理について説明する。
【0039】
本実施の形態では、認識すべきエリア209がサーチエリア202からどの程度はみ出しているのか推測し、推測したはみ出し量に応じてサーチエリア202のサイズを変更する。以下、サーチエリアのサイズの変更処理について詳しく説明する。
【0040】
先ず、はみ出し量の推測方法について説明する。本実施の形態では、はみ出し量を相関値から推測する。この方法は、はみ出し量と相関値の相関性が予め分かる場合には特に有効である。ここでは、はみ出し量と相関値の相関性が1:1、つまりはみ出し量が1%変化すると相関値が1%変化するような場合を例とするが、相関性が不明だったり曲線的だったりテンプレートに依存して相関性が毎回異なる様な場合であっても有効である。また、パターンマッチグ処理を行って得られる相関値は100%になる事はまずない事を考慮して、基準相関値を設定して基準相関値から相関値が不足した分だけはみ出したとして、はみ出し量を推測する。基準相関値は適切な撮像条件を満たし、かつサーチエリアが認識すべきエリアを包含している事を満たした正常な認識を行った場合の相関値の基準値であり、正常な認識を繰り返した場合の相関値を統計処理して求めた最高値や平均値等としても良いし、経験的に90%程度が最高値であると分かっていればその値を使用しても良い。
【0041】
例えば、図7の認識したエリア208についてステップ602で算出した相関値が80%であり、基準相関値が90%であるとすると、90−80=10(%)から認識すべきエリア209は、そのサイズ(テンプレート203のサイズと等しい)の10%分、サーチエリア202からはみ出していると推測できる。また、フラグ記憶部に格納されている情報(条件1〜条件4の内、どの条件が満たされているのかを示す情報)に基づいて、サーチエリア202の右辺および下辺からはみ出していることを認識ができる。従って、サーチエリアの右辺方向には0.1×Tsxピクセル分、下辺方向には0.1×Tsyピクセル分だけはみ出したと推測する。ここで、Tsx,Tsyは、テンプレート203のx,y軸方向の長さである。以上がはみ出し量の推測方法の一例である。
【0042】
はみ出し量を推測すると、サーチエリア変更手段104は、変更後のサーチエリアのサイズとして、テンプレート203のサイズをはみ出し量だけ広げたサイズを求める。上記した例のように推測したはみ出し量が0.1×Tsx,0.1×Tsyである場合には、変更後のサーチエリアのx,y軸方向のサイズをTsx+0.1Tsx,Tsy+0.1Tsyとする。これを一般的に表すと、変更後のサーチエリアのサイズは、次のようになる。但し、基準相関値および相関値は、パーセント(百分率)で与えられているとする。
【0043】
【数1】

【0044】
次に、サーチエリアの位置変更処理について説明する。サーチエリアの位置変更は、認識すべきエリア209の左上座標と右下座標のどちらがはみ出したかに依存してしなければならないが、これは[条件1]〜[条件4]のどれが成立したかによって決めればよい。
【0045】
[条件1]と[条件2]のどちらか、もしくは両方が成立する場合、これはサーチエリア202の左上座標方向にはみ出したこと、すなわちサーチエリア202の左辺と上辺のうち、どちらかもしくは両方にはみ出した事を意味する。この場合、認識したエリア208の右下座標が、変更後のサーチエリアの右下座標となるように設定すれば良いから、変更後のサーチエリアの右下座標は、(IPx−Tpx+Tsx,IPy−Tpy+Tsy)として計算できる。また、これから上記サーチエリアサイズ分だけ引けば、変更後のサーチエリアの左上座標は、次のようになる。
【0046】
【数2】

【0047】
次に、[条件3]と[条件4]のどちらか、もしくは両方が成立する場合、これはサーチエリア202の右下座標方向にはみ出したこと、すなわちサーチエリアの右辺と下辺のうち、どちらかもしくは両方にはみ出した事を意味する。この場合、認識したエリア208の左上座標が、変更後のサーチエリアの左上座標となるように設定すれば良いから、変更後のサーチエリアの左上座標は、(IPx−Tpx,IPy−Tpy)として計算できる。また、これに上記サーチエリアのサイズ分だけ加算すれば変更後のサーチエリアの右下座標は、次のようになる。
【0048】
【数3】

【0049】
上記したようにして変更後のサーチエリアのサイズ及び位置を算出したら、サーチエリア変更手段104は、それらをサーチエリア情報としてサーチエリア情報記憶部105に格納する。
【0050】
サーチエリア情報記憶部105に変更後のサーチエリアのサイズ及び位置を示すサーチエリア情報を格納すると、パターンマッチング処理手段102に、変更後のサーチエリアにおいて再度パターンマッチング処理を行わせる。即ち、変更後のサーチエリアを示すサーチエリア情報を、ライブラリに登録されているプログラム等によって実現されているパターンマッチング処理手段102に渡し、パターンマッチング処理手段102を起動する。この時、前述したはみ出し量と相関値の相関性が想定を超えて悪かった場合には、サーチエリアのサイズが不十分で認識すべきエリア209を包含できない状態になり、無限に処理を繰り返すことになる。そこで、本実施の形態では、これを防ぐため、ステップ605のサーチエリア変更回数をカウントして所定回数に到達した場合はエラーとするか、ステップ602のパターンマッチング処理実行後に相関値が所定値(例えば20%)未満の場合はエラーとする処理を加えることで無限ループを回避できる。
【0051】
なお、上述した実施の形態では説明しなかったが、サーチエリアのサイズの変更方法として、変更後のサーチエリアのサイズがテンプレートのサイズよりも大きくなることを条件にして、現在のサーチエリアのサイズを所定量もしくは所定割合小さくする方法を採用することができる。例えば、所定量(βx,βy)だけ小さくする場合には、変更後のサーチエリアのサイズを(Ssx−βx,Ssy−βy)として算出されるサイズにする。ただし、βx,βyは正値をとり、同値でも構わない。また、例えば、所定割合(βx,βy)だけ小さくする場合は、(Ssx×βx,Ssy×βy)として算出されるサイズにする。ただし、0<(βx,βy)≦1で、βx,βyは同値でも構わないが、変更後のサイズがテンプレートのサイズより大きいことが条件となる。
【0052】
また、テンプレートのサイズより所定量もしくは所定割合大きいサイズを変更後のサーチエリアのサイズとする方法を採用することもできる。所定量(βx,βy)だけ大きくする場合は、(Tsx+βx,Tsy+βy)で算出されるサイズにする。ただし、βx,βyは正値をとり、同値でも構わない。また、所定割合(βx,βy)を用いる場合は、(Tsx×βx,Tsy×βy)で算出されるサイズとする。ただし、1<(βx,βy)で、同値でも構わない。
【0053】
また、上述した実施の形態では、[条件1]〜[条件4]に基づいて、認識すべきエリア209がサーチエリア202からはみ出しているか否かを判別するようにしたが、認識したエリア208の相関値と予め定められている閾値とを比較し、閾値の方が大きい場合、認識すべきエリア209がサーチエリア202からはみ出していると判別するようにしても構わない。
【0054】
[第1の実施の形態の効果]
本実施の形態によれば、サイズが小さく、且つ、認識エラーが発生する危険性が極めて低いサーチエリアを設定することができる。その理由は、認識すべきエリア209(第2のエリア)のサーチエリア202からのはみ出し量を推測し、推測したはみ出し量に応じてサーチエリアのサイズおよび位置を変更するようにしているからである。
【0055】
また、本実施の形態では、パターンマッチング処理手段102が、サーチエリア変更手段104により設定された最新のサーチエリア内においてパターンマッチング処理を行うようにしているので、作業者の癖などにより、ワークが偏った位置にセットされる状況が続くような場合、サーチエリアの変更頻度を減少させることができる。
【0056】
[本発明の第2の実施の形態]
次に、本発明の第2の実施の形態について説明する。前述した第1の実施の形態では、一部分でも認識すべきエリアがサーチエリアに入っており、少なくとも視野範囲内に認識すべきエリアが存在する事を前提とした。しかし、ワーク交換やロット変更や製品変更などにより被撮像対象を入れ替える際にどうしても視野範囲から認識すべきエリアが外れてしまう事態が起こる。また、サーチエリアが視野全体だった場合にも、サーチエリアから認識すべきエリアがはみ出すような場合は視野からはみ出した事となり同じ状態になる。本実施の形態は、このような事態に対応できるようにするため、図8に示す構成を有している。
【0057】
図8を参照すると、本実施の形態は、位置認識装置100aと、ステージ811と、X,Y軸方向の駆動部812,813と、カメラ821とを備えている。
【0058】
位置決め対象となるワーク801は、ステージ811にセットされる。ステージ811は、X,Y軸方向の駆動部812、813を有しており、XY平面内で自由に移動可能となっている。ワーク801には、認識マーク204が付されている。また、ワーク801を撮像するカメラ821は、その光軸がXY平面に対して垂直になるように固定されている。なお、本実施の形態では、カメラ821を固定にし、ワーク801側を移動可能にしたが、カメラ821側に駆動系を設け、カメラ821を移動させるようにしても良い。
【0059】
位置認識装置100aは、図1に示した位置認識装置100と同様の構成を有している。ただし、本実施の形態の位置認識装置100a内のサーチエリア変更手段104は、第1の実施の形態で説明した機能に加え、変更後のサーチエリアがカメラ821の視野からはみ出す場合(カメラ821によって撮像された画像からはみ出す場合)、駆動部812,813を制御し、変更後のサーチエリアがカメラ821の視野内に入るように、カメラ821の撮像位置を変更する機能を有する。なお、位置認識装置100aも位置認識装置100と同様にコンピュータによって実現することができる。
【0060】
次に、図9のフローチャートを参照して本実施の形態の動作について説明する。
【0061】
最初に、カメラ821によってワーク801の所定位置が撮像されるように、ステージ811を移動する。その後、位置認識装置100aが前述したステップ601〜603と同様の処理を行う。
【0062】
その後、位置認識装置100a内のサーチエリア変更手段104は、サーチエリア変更フラグがONとなっているか否かを判定する。そして、OFFとなっている場合は、認識すべきエリアがサーチエリア内の適切な位置に存在することになるので、ステップ602で求めた認識位置を採用し、その後、処理終了となる(ステップ610)。
【0063】
これに対して、サーチエリア変更フラグがONになっている場合は、少なくとも認識すべきエリアの一部がサーチエリアからはみ出していることになり、場合によって変更後のサーチエリアがカメラ821の視野(画像)からはみ出していることもある。そこで、ステップ903において、カメラ821と変更後のサーチエリアとの位置関係を算出する。具体的には、前述したステップ605と同様の処理を行うことにより、変更後のサーチエリアのサイズ及び位置を算出し、その後、変更後のサーチエリアが視野からはみ出しているか否かを調べる。
【0064】
そして、はみ出していない場合は、視野変更フラグをOFFにすると共に、変更後のサーチエリアのサイズ及び位置を示すサーチエリア情報をサーチエリア情報記憶部105に格納する。これに対して、はみ出している場合は、視野変更フラグをONにすると共に、変更後のサーチエリアのサイズ及び位置を示すサーチエリア情報をサーチエリア情報記憶部105に格納する。
【0065】
その後、サーチエリア変更手段104は、視野変更フラグにより条件分岐を行う。視野変更フラグがOFFの場合は、パターンマッチング処理手段102にステップ602のパターンマッチング処理を行わせる。これに対して、視野変更フラグがONの場合は、XY軸方向の駆動部812,813に制御信号を加えてステージ811を移動させ、カメラ821の視野内に変更後のサーチエリアが入るようにする。具体的には、既に求めてある変更後のサーチエリアのサイズおよび位置に基づいて、変更後のサーチエリアのどの辺が、どれだけカメラ821の視野からはみ出しているのかを算出し、算出結果に基づいて、カメラ821とステージ811とを相対的に移動させる。例えば、変更後のサーチエリアの左辺がΔxだけカメラ821の視野からはみ出している場合は、X軸方向の駆動部812を制御してステージ811をΔxだけ右方向に移動させ、また、例えば、変更後のサーチエリアの上辺がΔyだけカメラ821の視野からはみ出している場合は、Y軸方向の駆動部813を制御し、ステージ811をΔyだけ下方向に移動させる。その後、位置認識装置100aは、ステップ601に戻り、再度、カメラ821により対象物を撮像する。
【0066】
[第2の実施の形態の効果]
本実施の形態によれば、第1の実施の形態と同様の効果を得ることができると共に、変更後のサーチエリアがカメラ821の視野からはみ出した場合であっても、位置認識処理を継続して行うことができる。その理由は、変更後のサーチエリアがカメラ821によって撮像された画像からはみ出すか否かを判定し、はみ出す場合には、変更後のサーチエリアが画像内に収まるように、カメラ821の撮像位置を変更するようにしているからである。
【産業上の利用可能性】
【0067】
本発明は、部品搭載機や自動組立装置など、部品と部品の位置を認識して位置合わせを行う装置に利用することができる。
【符号の説明】
【0068】
100、100a・・・位置認識装置
101・・・画像データ記憶部
102・・・パターンマッチング処理手段
103・・・判別手段
104・・・サーチエリア変更手段
105・・・サーチエリア情報記憶部
106・・・テンプレート記憶部
201・・・視野
202・・・サーチエリア
203・・・テンプレート
204・・・認識マーク
205・・・認識位置
208・・・認識した位置
209・・・認識すべき位置
801・・・ワーク
811・・・ステージ
812,813・・・駆動部
821・・・カメラ

【特許請求の範囲】
【請求項1】
カメラによって撮像された画像上のサーチエリア内においてテンプレートとの相関値が最も高くなる第1のエリアの位置を求めるパターンマッチング処理手段と、
前記テンプレートに最も類似した本来の認識すべきエリアである第2のエリアが、前記サーチエリアからはみ出しているか否かを判別する判別手段と、
該判別手段で前記第2のエリアが前記サーチエリアからはみ出していると判別された場合、前記第1のエリアの相関値を利用して前記第2のエリアのはみ出し量を推測し、該推測したはみ出し量に応じて前記画像上に設定するサーチエリアのサイズおよび位置を変更するサーチエリア変更手段とを備えたことを特徴とする位置認識装置。
【請求項2】
請求項1記載の位置認識装置において、
前記サーチエリア変更手段は、前記第1のエリアと前記テンプレートとの相関値と、予め定められている基準相関値との差分に基づいてはみ出し量を推測することを特徴とする位置認識装置。
【請求項3】
請求項1または2記載の位置認識装置において、
前記サーチエリア変更手段は、前記推測したはみ出し量が多いほど、変更後のサーチエリアのサイズを大きくすることを特徴とする位置認識装置。
【請求項4】
請求項1、2または3記載の位置認識装置において、
前記サーチエリア変更手段は、変更後のサーチエリアのサイズを、前記テンプレートのサイズに前記はみ出し量を加えたサイズとすることを特徴とする位置認識装置。
【請求項5】
請求項4記載の位置認識装置において、
前記サーチエリア変更手段は、前記第2のエリアのはみ出し方向と、前記第1のエリアの位置とに基づいて、変更後のサーチエリアの位置を決定することを特徴と位置認識装置。
【請求項6】
請求項1乃至5の何れか1項に記載の位置認識装置において、
前記パターンマッチング処理手段は、前記サーチエリア変更手段で設定された最新のサーチエリアを利用して前記テンプレートとのパターンマッチングを行うことを特徴とする位置認識装置。
【請求項7】
請求項1乃至6の何れか1項に記載の位置認識装置において、
前記サーチエリア変更手段は、変更後のサーチエリアが前記カメラによって撮像された画像からはみ出すか否かを判定し、はみ出す場合は、前記変更後のサーチエリアが前記カメラによって撮像される画像内に収まるように前記カメラの撮像位置を変更することを特徴とする位置認識装置。
【請求項8】
パターンマッチング処理手段が、カメラによって撮像された画像上のサーチエリア内においてテンプレートとの相関値が最も高くなる第1のエリアの位置を求め、
判別手段が、前記テンプレートに最も類似した本来の認識すべきエリアである第2のエリアが、前記サーチエリアからはみ出しているか否かを判別し、
サーチエリア変更手段が、前記判別手段で前記第2のエリアが前記サーチエリアからはみ出していると判別された場合、前記第1のエリアの相関値を利用して前記第2のエリアのはみ出し量を推測し、該推測したはみ出し量に応じて前記画像上に設定するサーチエリアのサイズおよび位置を変更することを特徴とする位置認識方法。
【請求項9】
請求項8記載の位置認識方法において、
前記サーチエリア変更手段は、変更後のサーチエリアが前記カメラによって撮像された画像からはみ出すか否かを判定し、はみ出す場合は、前記変更後のサーチエリアが前記カメラによって撮像される画像内に収まるように前記カメラの撮像位置を変更することを特徴とする位置認識方法。
【請求項10】
コンピュータを位置認識装置として機能させるためのプログラムであって、
前記コンピュータを、
カメラによって撮像された画像上のサーチエリア内においてテンプレートとの相関値が最も高くなる第1のエリアの位置を求めるパターンマッチング処理手段、
前記テンプレートに最も類似した本来の認識すべきエリアである第2のエリアが、前記サーチエリアからはみ出しているか否かを判別する判別手段、
該判別手段で前記第2のエリアが前記サーチエリアからはみ出していると判別された場合、前記第2のエリアのはみ出し量を推測し、該推測したはみ出し量に応じて前記画像上に設定するサーチエリアのサイズおよび位置を変更するサーチエリア変更手段として機能させるためのプログラム。
【請求項11】
請求項10記載のプログラムにおいて、
前記サーチエリア変更手段は、変更後のサーチエリアが前記カメラによって撮像された画像からはみ出すか否かを判定し、はみ出す場合は、前記変更後のサーチエリアが前記カメラによって撮像される画像内に収まるように前記カメラの撮像位置を変更することを特徴とするプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2011−28427(P2011−28427A)
【公開日】平成23年2月10日(2011.2.10)
【国際特許分類】
【出願番号】特願2009−171983(P2009−171983)
【出願日】平成21年7月23日(2009.7.23)
【出願人】(000004237)日本電気株式会社 (19,353)
【Fターム(参考)】