マシンビジョン検出器の設定および試験の方法と装置
連続運転中の製産ラインから演習画像が得られ、物体の実際の製造および検査の際、実質同様の状態を提供することができるビジョン検出器を設定するための、システムおよび方法が開示される。視覚検出器が物体の検査のためにトリガ信号を使用するか、しないかにかかわらず、演習画像はトリガ信号を必要としない。さらに、生産工程からの限られた枚数の画像を選択、保存、表示することによって、視覚検知器の試験を行うためのシステムと方法が開示され、それらの画像は誤った決定を示しがちな物体に対応する。
【発明の詳細な説明】
【技術分野】
【０００１】
[発明の属する技術分野]
本発明は、生産ライン上で製造された物体の自動検出および検査に関するものであって、より具体的には、工業用マシンビジョンおよび自動画像解析に関する。
【背景技術】
【０００２】
[関連技術の説明]
工業生産は、製造された物体の自動検出に依存している。数十年間にわたり広く用いられてきた自動検出の形式の１つは、通常赤外線もしくは可視光線、光電センサー、ならびになんらかの形式の電子的な判断を行う、電磁エネルギーを用いた光電子技術に基づいている。
【０００３】
既知である光電子自動検査の形式の１つは、二次元視野デジタル画像を取得することができる装置を使用して検査される物体を特定し、次にその画像を分析して決定をおこなうものである。かかる装置は通常マシンビジョンシステム、または単純にビジョンシステムと称される。画像は二次元のアレイの感光性要素を、ｉｎｔｅｇｒａｔｉｏｎもしくはシャッター時間とよばれる短時間に、レンズによってアレイに集められた光に露光することで取得される。アレイは撮像装置と称し、個々の要素はピクセルと称する。各ピクセルは、シャッター時間内にそこにあたった光の強度を測定する。測定された強度の値は次にデジタル数字に変換され、視覚システム内のメモリに保存されて画像を結び、それはこの技術において既知である、検査中の物体の状態を判断する方法を用いて、コンピュータ等のデジタル処理要素によって分析される。
【０００４】
物体が視野内に持ち込まれ静止している場合と、物体が視野内で連続して動いている場合とがある。光検出器からの信号や、ＰＬＣ、コンピュータ、またはその他の自動装置からの通信といった、ビジョンシステム外の事象は、物体が視野において特定されたことをビジョンシステムに通知するために用いられ、それによって画像が取得され分析が行われる。こういった事象をトリガと称する。
【０００５】
マシンビジョンシステムは、視覚内の一ヶ所において特定された各物体に対し一枚の画像から判断することから、限界が生じてきている（各物体は、それぞれ異なる、または予測できない位置において特定されることがあるが、１つの物体に対して判断の土台となるそうした位置は１つだけである）。この唯一の位置は、唯一の視点、唯一の照明に対する方向から得た情報を提供する。視点が１つしかないことは、しばしば不正確な判断をまねく。これに関しては長期間にわたる観察がなされており、例えば、視野内のたった１ピクセルの違いでも、不正確であった判断が正確になるという場合もある。一方、人が物体を検査するときは、より判断の信頼性を高めるために、目や光に対して物体を動かしておこなう。
【０００６】
マシンビジョンシステムには、さらにトリガ信号の使用についても限界がある。トリガ信号が必要であるために、適切な信号の送信のため光検出器の取付けと調整が必要となり、ＰＬＣもしくはコンピュータ用のソフトウェアが作成されなければならないなど、設定はさらに複雑となる。物体が連続して動いている場合にはほぼ光検出器を使用するのであるが、生産ラインの転換はそれが文字通り動いていることを要求し、これはビジョンシステムの長所を弱めてしまう。さらに、光検出器は物体から反射した、もしくは進路に沿って発信された光の強度の変化だけに反応する。このような状態は、物体が視野に進入したときに信頼のおける判断をおこなうのに十分でない場合がある。
【０００７】
連続して動いている物体に対して用いられた従来の技術によるビジョンシステムは、自己トリガと称される方法を用いることにより、トリガを使用しなくても機能することができる。これらのシステムは通常、取得された１つ以上の画像部分の、物体の状態を表す明暗の差もしくは色の違いをモニターすることによって機能する。自己トリガは、下記のようないくつかの制限があるため、実際にはほとんど使用されていない。
・自己トリガへのビジョンシステムの反応は、通常の生産速度で使用するにはあまりに遅く、
・物体が現れたときに検知する方法は、多くの場合において十分でなく、そして
・ビジョンシステムは、通常はトリガの役割をする光検出器が発する、ＰＬＣまたは処理装置がビジョンシステムの判断に基づいて機能するために必要とする、特定の、反復可能な生産ライン上の物体の位置と同調した有用な出力信号を提供しない。
【０００８】
マシンビジョンの制限の多くは、作動が遅すぎて動いている物体を複数の視野から取得および分析することができず、または視野内で発生している事象に反応できない、ということも原因であるほとんどのビジョンシステムが現在の画像を分析しながら新規画像を取得することができるため、ビジョンシステムの最大作動速度は、取得時間および分析時間がどれだけかかるかによって決定される。概して、この速度の決定要素のうちもっとも重要なものとして、撮像装置を構成するピクセル数があげられる。
【０００９】
画像の取得にかかる時間は、主として撮像装置内のピクセル数により決定され、その理由は以下の２つである。第一に、シャッター時間は光の量と各ピクセルの感度によって決定される。一般的に、ピクセル数の増加はピクセルのサイズが小さくなることを意味するので、感度は低くなり、通常ピクセル数が増加すると、シャッター時間も長くなる。第二に、変換時間および保存時間はピクセル数に比例する。従って、ピクセル数が多いほど、取得時間がかかるということになる。
【００１０】
最低でも過去２５年間において、従来の技術であるビジョンシステムは概して３０万ピクセルを使用してきたが、最近では１００万ピクセルを使用することができるシステムも登場し、そして長年にわたり７万５千という少ないピクセルを使用してきたシステムは少なくなった。デジタルカメラと同様に、最近の風潮はピクセル数を増やし、よりよい画像解像度を得るということである。コンピュータの速度が驚くほど向上し、撮像装置が真空管から半導体に移行した同じこの年月において、マシンビジョンの画像取得時間は概して３０分の１秒から６０分の１ 秒へ、たったの二倍という向上を見せたにすぎない。速くなったコンピュータによってさらに高度な分析が可能となったが、ビジョンシステムが作動する最大速度はほとんど変化していない。
【００１１】
この視覚検出器の方法および装置の発明は、上に記述した従来の技術によるマシンビジョンシステムの制限を克服する最新の方法ならびにシステムを教示するものである。これらの教示はまた、元の教示を超える改善をもたらす格好の革新の基盤をも築く。次のセクションでは、この視覚検出器の方法および装置の発明について簡単に要約し、それに続くセクションでは、この発明によって対応される問題について説明する。
【００１２】
[視覚検出器の方法および装置]
この視覚検出器の方法および装置の発明は、二次元のデジタル画像を取得して検知および検査の必要な物体を特定し、画像の分析と判断をおこなう、物体の自動光電子検知および検査について、システムと方法を提供する。これらのシステムと方法は広大なエリアから反射した光の明度のパターン分析をし、物体における多くの目立った特徴を扱い、ソフトウェア手段によって生産ラインの転換に対応し、そして不明確でさまざまな物体の位置を扱う。これらは従来の技術を用いたマシンビジョンシステムに比べて安価で、設定がしやすく、ずっと早く作動する。これらのシステムと方法はさらに、動く物体に対し複数の視点が使え、トリガなしで作動し、正しく同調した出力信号を発信し、当業者にとっては明確な、その他の注目すべき有用な能力を提供する。
【００１３】
この視覚検出器の方法および装置の発明における特徴の１つは、ビジョン検出器と称し、連続した画像を従来の技術によるビジョンシステムよりも高速に取得し、分析することのできる装置である。取得して分析されるこうした連続画像を、フレームと称する。フレームを取得して分析する速度をフレーム速度と称するが、これは動いている物体が視野（ＦＯＶ）を通過する際に、複数の連続したフレームに示すことができるほど高速である。物体は連続したフレーム内のどこかを動いているため、ＦＯＶ内の複数の位置において特定され、そのために照明に対して複数の視点および位置から確認することができる。
【００１４】
この視覚検出器の方法および装置の発明におけるもう１つの特徴は、動的画像解析と称する方法であり、これは物体が視野内において特定される複数のフレームを取得、分析することによって物体を検査し、これらの各フレームから得た証拠を総合して結果を導き出すものである。この方法は、一枚のフレームに基づいて判断をおこなう従来の技術によるマシンビジョンシステムに優る、有意な利益をもたらす。
【００１５】
さらに、視覚検出器の方法および装置の発明におけるもう１つの特徴は、視野内で発生する事象を検知する方法であり、これを視覚事象検出と称する。物体が視野内を通り過ぎるといった事象が発生したときに、視覚事象検出を使用すると、トリガ信号と必要とせずに物体の検出ができる。
【００１６】
視覚検出器の方法および装置の発明におけるさらなる特徴は、図面および本明細書で詳述される内容を検討すれば明確になるであろう。
【００１７】
複数の視点から画像を得るために、視野内の連続フレーム間における検出もしくは検査されるべき物体の動きは、ごくわずか、通常においてほんの数ピクセル以下であることが望ましい。この視覚的検出器の方法および装置の発明によれば、物体の動く速度は各フレームにおけるＦＯＶの約４分の１を超えず、通常の実施例においてはＦＯＶの５％以下であることが概して望ましい。製造過程を減速することによってではなく、十分なフレーム速度を保つことによってこれが守られることが望ましい。システムの実施例では、フレーム速度は最低でも毎秒２００フレームであり、他の実施例においてのフレーム速度は、最低でも物体が視覚的検出器の前を通る速度の平均の４０倍である。
【００１８】
典型的なシステムは、毎秒５００フレームを取得、また分析できると教示された。このシステムは、従来の技術によるビジョンシステムよりはるかに小さなピクセルを持つ超高感度撮像装置を用いる。高感度であれば、安価なＬＥＤ照明を利用してシャッター時間を非常に短くでき、比較的少ないピクセル数とともに画像取得時間が非常に短くなる。撮像装置は、分析作業と同時にピクセルデータの受取りと保存をおこなうことができるデジタル信号プロセッサ（ＤＳＰ）と連動する。ここに教示される方法を用い、ＤＳＰに適切なソフトウェアを使用することにより、各フレームの分析時間を次のフレームを読み込む時間内におさめることができる。取得と分析の方法と装置があいまって、望ましい高速フレーム時間を提供する。撮像装置、ＤＳＰ、照明の能力と、この発明の目的を慎重に組み合わせることにより、典型的なシステムは従来の技術を用いたマシンビジョンシステムと比べ、かなり安価におさえることができる。
【００１９】
視覚事象の検出方法は、連続したフレームの取得と各フレームの分析によって、ある事象が発生しているかいないかの証拠を見つけることを含む。視覚事象の検出がトリガ信号の必要なく物体の検出に用いられたとき、その分析によってある物体が視野内で特定されたという証拠が見つかる。
【００２０】
典型的な方法において、その証拠は、物体検出加重と称される値で表され、ある物体が視野内で特定されたという信頼度を示す。その値は単純にはい、いいえの選択で信頼度の高低を示すこともあれば、信頼度の幅を示す数値、または証拠を示す任意の情報項目であることもある。そういった数値の例としては、いわゆるファジー論理値であり、下記および視覚検出器の方法と装置で詳述される。ここで留意すべきは、いかなる機械も一枚の画像から完璧な判断をくだすことは不可能であり、したがって不完全な証拠に基づいて判断を行なうことになるという点である。
【００２１】
物体の検出を行う際、各フレームはテストされ、その証拠は物体が視野内で特定されたことを示すのに十分であるか決定される。もしも単純なはい、いいえの値であった場合、値が「はい」であれば、その証拠は十分であるとみなされる。もしも数値であった場合、証拠が十分であるかどうかは、その数値を閾値に照らして判断される。証拠が十分であったフレームを、有効フレームと称する。ここで留意すべきは、なにをもって十分な証拠とするかについては、手近な特定のアプリケーションの理解に基づいて視覚検出器を設定する人間が最終的に定義するものであるという点である。視覚検出器は、判断をくだすのにその定義を自動的に利用する。
【００２２】
物体の検出を行う際、視覚検出器の速いフレーム速度により、視野内を通り過ぎる各物体につき複数の有効フレームが作成される。これらのフレームは、厳密に連続していないこともあるが、物体が視野内を通り過ぎるときに物体が視野内において特定されたことを示す証拠が十分でないとする視点もしくはその他の状態が存在する可能性もある。したがって、ある物体の検出は、有効フレームが確認されたときに開始され、何枚もの無効フレームが確認されるまで終了しないというのが望ましい。その枚数は、ユーザーによって適切に選択されることができる。
【００２３】
視野内を通り過ぎる物体に反応して有効フレームが確認されたら、さらなる分析をおこなってある物体が確かに検出されたかどうかを判断することが望ましい。この追加分析において、有効フレームの枚数、物体検出加重の合計、物体検出加重の平均その他の、有効フレームの統計を考慮にいれるべきである。
【００２４】
動的画像解析の方法には、物体の検査をおこなうための複数のフレームの取得と分析を含み、「検査」とはその物体の状態についてのある情報を確認することを意味する。この方法の実施例の１つにおいて、ある物体の状態とは、ユーザーによって適切に選択された検査基準を満たすかどうかということを含む。
【００２５】
この視覚検出器の方法と装置の発明の特徴は、動的画像解析が視覚事象検出と併用されており、したがって視覚事象検出法によって選択された有効フレームは、動的画像解析法で物体の検査をするさいに用いられたものである。その他のこの視覚検出器の方法と装置の発明の特徴は、動的画像解析に用いられるフレームは、トリガ信号に反応して取得することができるという点である。
【００２６】
この各フレームは、その物体が検査基準を満たしているという証拠を判断するために分析される。ある実施方法において、その証拠は値の形であり、物体の合格点と称するが、これはその物体が検査基準を満たしているという信頼度のレベルを示すものである。物体検出加重と同様に、値は単純な、はい／いいえの選択で示され、それは信頼度の高低を表し、またはファジー論理値のような数値で示され、それは信頼度のレベルの幅を表し、もしくは証拠を示す任意の情報項目である。
【００２７】
物体の状態は、例として平均またはパーセンタイル値などの物体の合格点の統計によって判断される。その状態はまた、例として物体検出加重を用いた加重平均または加重パーセンタイル値などの加重統計により判断される。加重統計は効果的にフレームから物体に負荷をかけ、その点で信頼度が高く、物体はそのフレームの視野内で実際に特定される。
【００２８】
物体の検出および検査のための証拠は、１つ以上のその物体の可視特性についての情報を調べることによって得られる。可視特性とは、その物体の一部であり、発せられた光の量、パターン、またはその他の特性が、その物体の存在、個体性、状態を表す情報を示すものである。任意の過程もしくは過程の組み合わせによって光は発せられ、それには反射、伝達、もしくは物体内部ないしは外部ソースから、もしくは物体内部のソースからの直接の屈折を含むが、これに限定されるものではない。
【００２９】
この視覚検出の方法および装置の発明における特徴の１つは、証拠を得る方法であり、それには物体検出加重および物体の合格点を含み、各フレーム内の１つ以上の関心領域における画像解析作業のために証拠は必要とされる。この方法に関する実施例において、画像解析作業は関心領域内のピクセル値に基づいて測定値を算出し、その測定値は物体の可視特性における適切な特徴のいくつかに応答する。その測定値は閾値演算によって論理値に変換され、関心領域から得られた論理値も併用してフレームの証拠を示す。論理値はバイナリもしくはファジー論理値であり、閾値および論理結合は適宜バイナリもしくはファジーである。
【００３０】
視覚事象検出において、視野内で物体特定された証拠は関心領域、測定値、閾値、論理結合、およびその他のここで詳述されるパラメータによって効果的に定義されるが、それらは集合的に視覚検出器の構成と称され、またそれらは本発明の用途に応じてユーザーによって選択される。同様に、視覚検出器の構成はなにをもって十分な証拠とするかについて定義する。
【００３１】
動的画像解析において、ある物体が検査基準を満たすという証拠はまた、視覚検出器の構成によって効果的に定義される。
【００３２】
[問題点の検討]
マシンビジョンシステムおよび視覚検出器を含む画像解析装置は、物体を検査するために必ず設定されなければならない。概して、このような装置の設定には、人間ユーザーが、検査される物体を代表する外観を持つ物体を、少なくとも１つ得る必要がある。そのユーザーは一般に演習画像と称するその物体の画像を取得し、画像解析ツールを選択し、それらのツールを演習画像上に配置し、そして操作パラメータを希望する効果を得られるよう設定することによりそれを使用する。実践されているところでは、演習画像は、実際の生産ラインに最も近い条件で得られることが望ましい。しかし、連続して動いている生産ラインにおいて、これは通常のビジョンシステムでは困難である。概して、有用な演習画像を得るためにはトリガ信号が必ず使用されねばならず、付随するトリガの制限については上述のとおりである。さらに、トリガに反応して取得された一枚の画像は、演習画像を得るのに最適の視点であるとは限らない。
【００３３】
設定の間、視覚検出器はその性能が用途の要件を満たすかどうかテストされなければならない。もしも性能が要件を満たしていれば、設定は完了したと見なされてよいが、満たしていなければ調整が必要である。どんな視覚検出器であっても完璧な検査判断を出すことはできないため、一般的に性能のテストはある物体の状態（例：合格または不合格）に関して正確な判断が行われるという見込みの査定を含む。さらに、エラーの割合（不正確な判断）は非常に低いため（望ましくは物体１０，０００に対して１）この査定は非常に困難である。従って、多数の物体をテストし、不正確な判断を示すと思われる物体のみを人間のユーザーが査定することが望ましい。
【発明の開示】
【課題を解決するための手段】
【００３４】
[発明の概要]
本発明における特徴として、視覚検出器を設定するためのシステムと方法を提供し、演習画像を連続して動いている生産ラインから得ることができるので、実際の物体の製造および検査の際とおおむね同一の状態を提供することができる。演習画像は、視覚検出器が物体を検査する際にトリガ信号を用いるか否かにかかわらず、いかなるトリガ信号も必要とせずにこれを得ることができる。
【００３５】
生産ラインは、視野内の連続した画像を取得する視覚検出器の視野内を通り過ぎる、連続して動く多数の物体を含む。フレーム速度は十分に速いため、各物体に対し、視野内を通り過ぎる際に多数の画像が取得され、その一続きのまとまりは十分な長さがあるため多数の物体の画像を含むことができる。つまり、画像の一続きのまとまりには、さまざまな物体それぞれに対するさまざまな視点が含まれており、また通常は視野内に物体がまったく存在しないかまたは物体の一部分のみが存在するといった画像も含まれる。
【００３６】
取得された画像の一続きのまとまりの中にある画像は、人間のユーザーが視覚表示器を設定する際に表示される。通常、取得したすべての画像をユーザーが各画像の有用な詳細を見るに耐えぬほど高解像度の画面に一度に表示することは実用的でないので、連続したまとまりのうち一部分が一度に表示される。
【００３７】
ユーザーはスクロール操作をおこなって、その連続したまとまり内の表示部分を順方向または逆方向へ送って選択する。一度に表示される部分は多くの画像を含むことが好ましいが、一枚だけであるかもしれない。ユーザーはスクロール操作をおこなってその連続したまとまり内の表示部分を順方向または逆方向へ送って選択し、視覚検出器によって検査されるべき典型的な物体と十分に外観が類似しているとユーザーが判断する画像を発見する。ユーザーはこの画像を演習画像とする。多くの物体１つ１つに対する多くの画像が取得されているので、ユーザーは物体または視点（例：視野内の位置）の両方を演習画像として用いることを望むこともある。
【００３８】
ユーザーはフレーム内の関心領域において的確な画像解析操作をおこなう視覚ツールを少なくとも１つ作成または設定して視覚検出器を設定し、視覚検出器は物体の検出または検査をおこなっている間、取得および分析を行う。視覚ツールは選択された演習画像を使用して作成または設定され、下記の動作を行う。
・作成する視覚ツールのタイプを選択して、その視覚ツールが演習画像と似た外観を持つ物体の検査をおこなうことができることを確実にし、
・視野に関連して関心領域の位置、規模、ならびに方向を選択し、
・その視覚ツールの操作パラメ−タを設定し、
・それによって、希望する結果を得る。
【００３９】
典型的な実施例においては、画像はグラフィカル・ユーザー・インターフェース（ＧＵ Ｉ）を用いて表示される。一度に表示される画像の一部分は、それを連続した低解像度の「サムネイル」画像として映し出すＧＵＩのフィルムストリップウィンドウ内に含まれる。そのサムネイル画像の解像度は、一度に有用な枚数の画像を表示することができ、同時に各画像が実用に耐え得る程度に十分精密であるような高さに設定される。
【００４０】
本典型的実施例において、さらにその部分画像のうち一枚の画像を最高の解像度で画像表示ウィンドウに表示する。スクロール操作によってフィルムストリップを順方向または逆方向へ送ると、画像表示ウィンドウに表示された画像も同様に順方向または逆方向へと進む。画像表示ウィンドウはまたユーザーによって作成された任意の視覚ツールのグラフ表示も含む。
【００４１】
この典型的実施例をさらに応用すると、取得された連続画像は視覚検出器内のメモリに保存され、ＧＵＩは通信用インターフェースとして視覚検出器に接続された別のヒューマン・マシン・インターフェース（ＨＭＩ）上で動作する。取得した連続画像全体をＨＭＩに送信するのに過度の時間をかけることを避けるため、視覚検出器はフィルムストリップウィンドウに表示する低解像度のサムネイル画像を作成し送信する。ＨＭＩが画像表示ウィンドウに表示する新しい最高解像度の画像を必要とする場合に限り、最高解像度の画像の送信が適切である。
【００４２】
他の典型的実施例において、取得された連続画像内の追加画像を使用することによって視覚検出器の設定の改善が可能である。ここで留意すべきは、視覚検出器の設定において演習画像がただ一枚だけ使用されるという要件および期待はない。視覚検出器の実際的な操作をさまざまな物体に対するさまざまな視点において確定し、また、それを達成するために必要に応じて設定を調整することが望ましい。
【００４３】
さらに、視覚検出器によって検査される典型的な物体と十分に類似した外観を持つ少なくとも一枚の演習画像が選択されるべきであるが、可能な限り実際の生産ラインに近い状況下において得られた他の類似しない演習画像も選択することが多くは望ましい。これらの他の演習画像には視野内に物体が存在しない画像も含まれることがあり、または物体が部分的にしか存在しないこともあるため、物体が誤って検出されることのないよう、視覚検出器の設定はこのようであることが望ましい。
【００４４】
上述した本発明に関する特徴が従来技術のマシンビジョンシステムの設定に用いられれば、生産ラインに比例して十分に速いフレーム速度で作動でき、各物体に対し多くの画像を取得することができると明らかに考えられる。
【００４５】
本発明のもう１つの側面は、製造工程中に選択された画像を取得および保存し、人間のユーザーがこれを見て視覚検出器のテストをおこなうというシステムおよび方法を提供することである。背景の項でも述べているように、人間のユーザーが検査するには実用的とはいえないほどに大量の画像が作成され、多数の物体がテストされることが望ましい。したがって、本発明は製造工程において不正確な判断を示す物体に反応していると思われる限定された数量の画像を選択、保存、および表示するシステムおよび方法を提供する。
【００４６】
生産ラインには連続した画像を取得して分析する視覚検出器の視野内を通り過ぎる、連続して動いている多数の物体が含まれる。視覚検出器は従来物体の検出および検査を目的として設定されてきた。検出には本項もしくは視覚検出器の方法および装置の項で詳述される、トリガ信号または視覚事象検出を用いる。検査は、好ましくは本項もしくは視覚検出器の方法および装置の項で詳述される、動的画像解析を用いるが、物体の状態についての情報を提供する任意の方法を用いてもよい。
【００４７】
連続したフレームからの一群のフレームは検出され検査された各物体に対応する。視覚事象検出を用いる際に、その一群のフレーム内に有効フレームを含む可能性があり、また有効フレームの間に無効フレームがはさまっていたり、有効フレームを分断している場合もある。典型的な実施例において、そのフレーム群は有効フレームおよびそれらの間にはさまれたすべての無効フレームを含む。トリガ信号を用いる際、そのフレーム群は好ましくはそのトリガに反応して取得され、分析されたすべてのフレームを含む。
【００４８】
各物体は検査され、物体の状態を示すデータに帰結する。この結果データは単純に合格・不合格である場合と、物体の検出および検査中に算出されたフレーム総数、物体検出加重または物体の合格点の統計ならびに本項もしくは視覚検出器の方法および装置の項で詳述された内容を含む場合がある。
【００４９】
各物体に対する結果データは、その物体の一群のフレームをその次の人間のユーザーが見る画面に保存するかどうかの判断に用いられる。通常、すべての保存された画像をユーザーが各画像の詳細を見るに耐えるほどの高解像度画面上に一度に表示するのは実用的ではないため、保存された画像のうち一部分が一度に表示される。表示する部分は、ユーザーがスクロール操作を用い、一群中の一枚ずつの画像または一群ごとの画像を順方向または逆方向へ送って選択する。一度に表示される部分は多くの画像を含むことが好ましいが、一枚だけであるかもしれない。
【００５０】
どの群を保存するかについては、製造工程に先立って人間のユーザーによって選択されるのが望ましい。ユーザーはすべての群、または検査に合格した物体に対応する群のみ、もしくは検査に不合格であった物体に対応する群のみを選択する。これらの選択は多くの場合有用であるが、不正確な判断を示すと思われる物体に対応する画像を保存するという目的を満たすものではない。
【００５１】
その目的を満たすため、本発明は合格・不合格の判断は望ましくは多数の決定閾値を比較することでなされるべきであると認識するが、その数値は例としてある物体が検出された、または検査に合格したなどのいくつかの条件が適用される信頼度のレベルを表す。その数値はその物体の結果データに含まれ、その物体の検出および検査中に算出されたフレーム総数、物体検出加重、または物体の合格点の統計と対応する。
【００５２】
もしもその数値が決定閾値を明らかに上回れば、その条件が適用されると信頼でき、もしも決定閾値を明らかに下回れば、その条件が適用されることは信頼できない。しかし、もしもその数値が決定閾値に近接していれば、判断は不明瞭であり結論について信頼することはできない。したがって、数値が閾値に近接している物体は不正確な判断を示すと見られ、対応するフレーム群を保存することが望ましい。
【００５３】
典型的な実施例において、画像はＧＵＩを用いて表示される。一度に表示される画像の一部分は連続する低解像度の「サムネイル」画像としてＧＵＩのフィルムストリップウィンドウに表示される。そのサムネイル画像の解像度は、一度に有用な枚数の画像を表示することができ、同時に各画像が実用に耐え得る程度に十分精密であるような高さに設定される。慣用ＧＵＩ要素によってスクロール操作が可能である。
【００５４】
本典型的実施例において、さらにその部分画像のうち一枚の画像を最高の解像度で画像表示ウィンドウに表示する。スクロール操作によってフィルムストリップを順方向または逆方向へ送ると、画像表示ウィンドウに表示された画像も同様に順方向または逆方向へと進む。画像表示ウィンドウは視覚検出器における設定の一部分である任意の視覚ツールのグラフ表示も含む。
【００５５】
本典型的実施例をさらに応用すれば、ＧＵＩは通信用インターフェースとして視覚検出器に接続された別のＨＭＩ上で動作する取得した連続画像全体をＨＭＩに送信するのに過度の時間をかけることを避けるため、視覚検出器はフィルムストリップウィンドウに表示する低解像度のサムネイル画像を作成し送信する。ＨＭＩが画像表示ウィンドウに表示する新しい最高解像度の画像を必要とする場合に限り、最高解像度の画像の送信が適切である。
【００５６】
本発明は、添付の図と関連して、次の詳細な説明から、さらに十分に理解される。
【発明を実施するための最良の形態】
【００５７】
[発明の詳細な説明]
[視覚検出器の方法と装置の基本操作]
図１は、生産ラインで物体を検査するための、視覚検出器の方法と装置による、視覚検出器の具体例を示す。コンベヤー１００は、物体と視覚検出器４００の視野間で、相対動作を起こす物体を輸送する。物体１１０、１１２、１１４、１１６と１１８は、コンベヤー１００上で左から右へ移動する。それぞれの物体は、たとえば、レベル１２０とホール１２４のように、一定の特徴を含むことが期待される。不正確に製造された物体は、１つまたは、それ以上の特徴を損なっているかもしれないし、たとえば、物体１１６は、穴がないというように、意図的でない特徴を持つかもしれない。多くの生産ラインでは、コンベヤーの動作は、回転エンコーダ１８０により、探知される。視覚検出器４００は、外観より物体の出現を検出し、適切な検査基準に基づき、検査する。もし、物体が検出された場合、視覚検出器は、コンベヤーストリームから物体を取り除くために、作動装置１７０を拒否するために信号４２０を送る。エンコーダ１８０は、視覚検出器へ信号４１０を送り、物体は、記録点と呼ばれる、いくつかの固定の架空の基準点４３０を通り、エンコーダカウントから信号４２０の正常の遅れを防ぐ手段を取るために使われる。エンコーダが使われない場合、遅れは、そのかわりに時間に基づく。
【００５８】
代わりの具体例では、視覚検出器は、拒否作動装置を制御することを含む、様々な目的のために、ＰＬＣへの信号を送る。
【００５９】
もう１つの具体例では、超高速アプリケーションに似合う、視覚検出器が物体の出現を確実に検出できないところに適し、光検出器は、物体の出現を検出するのに使われ、その目的のために視覚検出器へ信号を送る。
【００６０】
さらにほかの具体例では、離散物体がないが、物流は、たとえば、ウェブのように、継続的に視覚検出器を通過する。この場合では、物質は、継続的に検査され、信号は、適時にＰＬＣのような、機器へ視覚検出器により送られる。
【００６１】
視覚検出器が、外観により離散物体の出現を検出する場合、視覚事象検出モードで操作すると言われる。視覚検出器が、光検出器のような外部の信号を使い、離散物体の出現を検出する場合、外部トリガモードを操作すると言われる。視覚検出器が、継続的に物質を検査する場合、継続解析モードを操作すると言われる。
【００６２】
図２は、視覚事象検出モードで視覚検出器を典型的なオペレーティング・サイクルを説明するスケジュールを示す。箱５２０のような、「ｃ」とラベル付きの箱は、画像取得を示す。箱５３０のような、「ａ」とラベル付きの箱は、画像取得を示す。次の画像のキャプクチャー「ｃ」は、現在の画像の解析「ａ」と重なることが好ましいので、解析ステップ５３０は、取得ステップ５２０で捉えた画像を解析する。このスケジュールでは、解析は取得よりも少ない時間であると示されているが、一般には、解析は、アプリケーションの詳細によるので、取得よりも短くなったり長くなったりするだろう。
【００６３】
取得と解析が重なった場合、視覚検出器が画像を捉え解析できる速度は、取得時間と解析時間の長さにより、決定される。これが、「フレームレート」である。
【００６４】
視覚検出器の方法と操作は、物体に光検出器より与えられる、トリガ信号なしに確実に検出させる。図１を参照すると、物体の出現を示すトリガ信号がなく、図２では、対応するトリガステップがない。
【００６５】
また、図２を参照すると、スケジュールのポーション５００は、第一物体の検査に対応し、７つのフレームの取得と解析を含む。第２ポーション５１０は、第２物体の検査に対応し、５つのフレームを含む。
【００６６】
それぞれの解析ステップは、初めに物体が出現しているという証拠を考慮する。証拠が十分であるフレームは、有効であると呼ばれる。有効フレームの解析ステップは、たとえば、解析ステップ５４０のような、分厚い境界で示されている。具体例では、有効フレームが見つかった場合、物体の検査が始まり、連続の無効フレームが見つかった場合、終了する。図２の例では、第一物体の検査は、解析ステップ５４０に対応する第一有効フレームで始まり、解析ステップ５４６と５４８に対応する２つの連続の無効フレームで、終了する。ここで留意すべきは、第一物体で、解析ステップ５４２に対応する単一の無効フレームが、検査を終了するのには十分ではないことである。
【００６７】
たとえば、解析ステップ５４８の終わりのような、物体の検査が完了する時に、有効フレームから得た証拠に基づいて、物体の状態を決定する。具体例では、有効フレームの不十分な数が見つかり、物体が実際に出現したという不十分な証拠であると考えられる場合、操作は、有効フレームが見つからなかったように継続される。そうでなければ、物体は、検出されたと判断され、有効フレームからの証拠は、たとえば、合格か不合格のように、その状況を決定するために判断される。様々な方法は、視覚検出器の方法と装置の範囲内で、物体を検出し、状況を決定する、そのいくつかは、下記で説明され、その他の多くは、当業者に起こるであろう。
【００６８】
物体の検出と、判断が完了すると、ＰＬＣのような、当業者には良く知られているような信号を使い、機器を充当するためにレポートが作成される場合がある。このような場合には、レポートステップは、スケジュールに現れる。図２の例は、視覚検出器が信号４２０を通してダウンストリーム拒否作動装置１７０を制御するのに使われることを図１に示された設定の代わりに対応する。有効フレームで物体の位置を考えることにより、それが視野領域を通して通過する場合、視野検出器は、物体が基準点４３０を通過する記録時間５５０と５５２を推測する。ここで留意すべきは、エンコーダ１８０が使われた場合、記録時間は、実際にエンコーダカウントであり、読み手は、時間とカウントが交互に使われると理解することである。拒否作動装置１７０への適切な持続時間の１パルスを備える、レポート５６０は、時間内の厳密な遅れ５７０または、記録時間５５０からのエンコーダカウントの後、公表される。
【００６９】
ここで留意すべきは、レポート５６０は、５１０のようにその後の物体の検査を過ぎて、よく遅れる場合がある。視覚検出器は、適時までレポートを保持するためのよく知られている先入れ先出し（ＦＩＦＯ）バッファ技法を使う。
【００７０】
物体の検査が完了すると、視覚検出器は、アイドルステップ５８０を入力するかもしれない。このようなステップは任意であるが、いくつかの理由で好ましいかもしれない。最大物体率が知られている場合、新しい物体が来るちょうど手前まで、物体を探す必要がない。アイドルステップは、物体が到着できなかった場合、不良物体検出の機会を除去し、アイドルステップ中に信号が近づけさせないため、照明系の寿命を延ばすであろう。
【００７１】
図３は、外部のトリガモードで視覚検出器の典型的なオペレーティング・サイクルを説明するスケジュールを示す。トリガステップ６２０は、第一物体６００の検査を始める。連続画像取得ステップ６３０、６３２、６３４と対応解析ステップ６４０、６４２、６４４は、動的画像解析のために使われている。視覚事象検出モードでは、フレームレートの物体は、連続フレーム間で視野のしばしば、各フレームごとに２、３のピクセルしかない、小さい部分を動かすのに高く十分であることが好ましい。フレームの固定数の後、アプリケーションの詳細に基づいて選択された数は、フレームの解析から得られる証拠がその物体の状況の最終決断をするのに使われ、そして、それは、１つの具体例の中では、レポートステップ６５０の機器に供給されている。レポートステップに続く、アイドルステップ６６０は、第２物体６１０の検査を始める次のトリガステップ６７０まで入力される。
【００７２】
もう１つの具体例では、レポートステップは、図２で示されると同様の方法で遅れる。この具体例では、記録時間６８０は、トリガステップ６２０に対応する時間（または、エンコーダカウント）である。
【００７３】
[実例となる装置]
図４は、生産環境の視覚検出器のためのハイレベル・ブロック図を示す。視覚検出器８００は、適切な機器８１０に接続され、それは、信号８２０を用いて、ＰＬＣ拒否作動装置、および／または、光検出器を含むかもしれない。また、視覚検出器は、通信インターフェース８４０を用いて、ＰＣや携帯端末のようなヒューマン・マシン・インターフェース（ＨＭＩ）８３０に接続するかもしれない。通常の生産使用中、ＨＭＩは、設定と監視のために使われ、取り除かれるかもしれない。信号は、いかなる条件に合ったフォーマット、および／または、プロトコルで実行され、有線または、無線フォームで転送される。
【００７４】
図５は、視覚検出器の実例となる具体例のブロック図を示す。デジタル・シグナル・プロセッサ（ＤＳＰ）９００は、取得、解析、報告、ＨＭＩ通信、および視覚検出器に要求される、その他の適切な機能を制御するためのソフトウェアを起動する。ＤＳＰ９００は、メモリ９１０へ接続し、それは、プログラムとデータのための高速ランダム・アクセス・メモリと、電源が取り除かれた時のプログラムと設定情報を保持するための不揮発性メモリを含む。ＤＳＰは、また、機器の信号、ＨＭＩインターフェース９３０、照明モジュール９４０と撮像装置９６０を供給する、Ｉ／Ｏモジュール９２０に接続される。レンズ９５０は、撮像装置９６０の感光部材に画像する。
【００７５】
ＤＳＰ９００は、汎用コンピュータ、ＰＬＣ、または、マイクロプロセッサに限定されないものを含む、デジタル計算、情報保存、他のデジタル要素への接続の装置である。ＤＳＰ９００は、あまり費用がかからないが、高フレームレートを処理するのに十分速いことが好ましい。画像解析で、同時に撮像装置からピクセルデータを受取り、保存することができることがさらに好ましい。
【００７６】
図５の実例となる具体例では、ＤＳＰ９００は、マサチューセッツ州のノーウッドのＡｎａｌｏｇ Ｄｅｖｉｃｅｓで生産された、ＡＤＳＰ−ＢＦ５３１である。ＡＤＳＰＢＦ５３１ＤＳＰ９００の並列周辺インターフェース（ＰＰＩ）９７０は、撮像装置９６０からのピクセルデータを受取り、メモリ９１０の保存のためのダイレクトメモリアクセス（ＤＭＡ）チャンネル９７２を通して、メモリコントローラ９７４へデータを送る。適切なソフトウェア制御の下で、ＰＰＩ９７０とＤＭＡ９７２の使用は、ＤＳＰ９００により実行されたその他の解析で同時に画像取得させる。ＰＰＩ９７０とＤＭＡ９７２で制御するためのソフトウェア命令は、ＡＤＳＰ−ＢＦ５３３ Ｂｌａｃｋｆｉｎ Ｐｒｏｃｅｓｓｏｒ Ｈａｒｄｗａｒｅ Ｒｅｆｅｒｅｎｃｅ（品番８２−００２００５−０１）とＢｌａｃｋｆｉｎ Ｐｒｏｃｅｓｓｏｒ Ｉｎｓｔｒｕｃｔｉ ｏｎ Ｓｅｔ Ｒｅｆｅｒｅｎｃｅ（品番８２−０００４１０−１４）に含まれる、プログラム命令に従い、当業者により実行され、ここにある双方を参照することにより組み込まれる。ここで留意すべきは、ＡＤＳＰ−ＢＦ５３１、競合のＡＤＳＰＢＦ５３２とＡＤＳＰ−ＢＦ５３３の装置が、同一のプログラム命令を持っていて、適切な価格／実行取引を得るためにこの実例となる具体例で交互に用いられることである。
【００７７】
視覚検出器による好ましい高フレームレートは、従来の技術視覚システムで使われている撮像装置でない、撮像装置の使用を勧めている。撮像装置は、高価でない照明を用い、非常に短いシャッター時間で、操作できるように、異常に光に敏感であることが好ましい。従来の技術システムよりも更に速いＤＳＰでのピクセルデータのデキタル化、転送することができることが更に好ましい。それが、高価でなく、グローバルシャッターを持っていることがなお好ましい。
【００７８】
これらの物体は、従来の技術システムで使われた撮像装置よりも、さらに高い光感受性で、低い解像度を持つ撮像装置を選ぶことにより、対応するかもしれない。図５の実例となる具体例では、撮像装置９６０は、カリフォルニア州サンタクララのナショナル・セミコンダクターにより製造されたＬＭ９６３０である。ＬＭ９６３０は、典型的な従来の技術システムよりも約２４倍少ない、１２８×１００個、総計で１２８００個のピクセルの配列を持っている。ピクセルは、それぞれ、高い光感受性を持つ、２０平方ミクロンの広さである。ＬＭ９６３０は、３００マイクロ秒のシャッター時間でのセットが、ＬＥＤ照明を用い、３００マイクロ秒にさせるために十分（ほとんどの場合）敏感である場合、毎秒５００フレームを供給できる。この解像度は、視覚システムにははるかに低すぎると考えられるが、視覚検出器の方法と装置の物体である検出の特徴には十分である。ＬＭ９６３０の電気的インターフェースとソフトウェア制御は、２００４年の１月のＲｅｖ １．０のＬＭ９６３０データシートに含まれる命令に従い、当業者により実行され、それは、ここにある双方を参照することにより組み込まれる。
【００７９】
照明９４０は、高価でないが、短くシャッター時間をするのに十分な明るさがあることが好ましい。実例となる具体例では、６３０のナノメートルで操作されている高輝度の赤いＬＥＤの列は、たとえば、Ａｇｉｌｅｎｔ Ｔｅｃｈｎｏｌｏｇｉｅｓにより製造されたＨＬＭＰ−ＥＤ２５を使用している。もう１つの具体例では、高輝度の白いＬＥＤは、好ましい照明を実行するのに使われている。
【００８０】
図５の実例となる具体例では、Ｉ／Ｏモジュール９２０は、出力信号９２２と９２４、入力信号９２６を供給する。このような出力信号は、拒否作動装置１７０の制御のために信号４２０（図１）を供給するのに使われる。入力信号９２６は、外部トリガを供給するのに使われる。
【００８１】
次の用語の画像取得装置は、デジタル画像を取得し、保存することを意味する。図５の実例となる具体例では、画像取得装置９８０は、ＤＳＰ９００、撮像装置９６０、メモリ９１０と、関連した電気的インターフェースとソフトウェア命令を備える。
【００８２】
次の用語の分析器は、デジタル画像に限定されないものを含む、デジタルデータの分析の手段を供給する。図５の実例となる具体例では、分析器９８２は、ＤＳＰ９００、メモリ９１０と、関連した電気的インターフェースとソフトウェア命令を備える。
【００８３】
次の用語の出力信号器は、分析器に応対する出力信号を生産するための手段を供給する。図５の実例となる具体例では、出力信号器９８４は、Ｉ／Ｏモジュール９２０と出力信号器９２２を備える。
【００８４】
画像取得装置９８０、分析器９８２、出力信号器９８４を実施するために、視覚検出器の方法と装置の範囲内で使われる、多くの交互配列、装置、ソフトウェア命令があることを当業者は、理解するであろう。
【００８５】
特定の用途に合わせて本発明による視覚検出方法及び装置を効率的に動作させるために、種々のトレードオフを実施するする場合がある。下記のような定義を考えてみる。
・ｂは、撮像装置９６０の利用できる解像度を十分に活かすためにレンズ９５０の視覚拡大を選択することにより、検査され、決定される可視の特徴を含む物体の一部により使用されるＦＯＶの割合、
・ｅは、誤差の票差として使われるＦＯＶの割合、
・ｎは、それぞれの物体が典型的に見られるフレームの好ましい最小数、
・ｓは、一般に製造条件による、ＦＯＶの積としての物体間でのスペース、
・ｐは、一般に製造条件により決定される、物体の提示率、
・ｍは、上記の値に基づき選ばれた、連続のフレーム間で物体が移動するであろうＦＯＶの最大比、
・ｒは、上記の値に基づき選ばれた、最小のフレームレートである。
【００８６】
これらの定義から、以下のように示される。
【００８７】
【数１】
【００８８】
【数２】
【００８９】
撮像装置の利用できる解像度を十分に活かすために、ｂは、少なくとも５０％であることが好ましい。動的画像解析として、ｎは、少なくとも２であるべきである。したがって、物体は、連続フレーム間で視野の約１／４以下を移動することがさらに好ましい。
【００９０】
実例となる具体例では、適正価値は、ｂ＝７５％、ｅ＝５％、ｎ＝４であるべきである。これは、物体が、フレーム間でＦＯＶが約５％以下移動するので、フレームレートを選ぶには、すなわち、ｍ≦５％であることを暗示する。製造条件が、ｓ＝２であった場合、フレームレートｒは、物体提示率ｐを少なくとも約４０倍する必要がある。５Ｈｚの物体提示率を処理するためには、それは、公平な典型的の産業製造であり、好ましいフレームレートは、少なくとも約２００Ｈｚである。この速度は、画像解析が５ミリ秒フレーム期間内で適応するために配列される限り、最大３．３ミリ秒シャッター時間で、ＬＭ９６３０を使うのに活かすことができる。利用できる技術を使い、約４０，０００ピクセルまで含む、撮像装置を使いこの速度を達成することは、可能である。
【００９１】
同じ実例となる具体例と１２．５Ｈｚのより高度な物体提示率で、好ましいフレームレートは、少なくとも約５００Ｈｚである。ＬＭ９６３０は、最大３００マイクロ秒シャッターを使うことにより、この速度を処理できる。
【００９２】
もう１つの実例となる具体例では、ｍ≦２％であるので、適正価値は、ｂ＝７５％、ｅ ＝１５％、ｎ＝５であるべきである。ｓ＝２でｐ＝５Ｈｚで、好ましいフレームレートは、少なくともまた、約５００Ｈｚである。
【００９３】
[ファジー論理意思決定]
図６は、物体が、存在するかどうか、および、検査を通過するかどうかを判断することを含む、証拠を比較検討し、判断するための実例となる具体例で使われるファジー論理要素を示す。
【００９４】
ファジー論理値は、ある特定の状態が真であるという信頼度の推定値を示す０〜１の間の数である。１の数値は、状態が真である信頼度が高いことを示し、０は状態が偽であるという高い信頼度を示し、中間値は、信頼の中間レベルを示す。
【００９５】
さらに馴染み深いニ値論理は、信頼値は、０から１で制限される、ファジー論理のサブセットである。ゆえに、ファジー論理を使うここに説明された具体例は、同等のニ値論理方法または装置で置換されるこれらの値を使い、ファジー論理方法または装置で、別のニ値論理値として使うことができる。
【００９６】
ニ値論理値は、閾値を使うことにより、原測定値から得られるものであるように、ファジー論理値は、ファジー閾値を使うことにより得られる。図６を参照すると、グラフ１ １００は、ファジー閾値を示す。Ｘ軸１１１０は、原測定を示し、ｆ軸１１１４は、ファジー論理値を示し、そのｘの範囲は、全ての可能な原測定で、ｆの値域は、０≦ｆ≦１である機能である。
【００９７】
実例となる具体例では、ファジー閾値は、機能１１２４と１１２６上の点に対応して、ｘ軸、低閾値ｔ０１１２０、高閾値ｔ１１１２２で示される、２つの数を備える。ファジー閾値は、次の式で、定義することができる。
【００９８】
【数３】
【００９９】
ここで留意すべきは、この機能が、ｔ１＜ｔ０である場合、よく機能することである。
【０１００】
【数４】
【０１０１】
他の機能は、また、シグモイドのような、ファジー閾値として使うことができる。ｔとσは、閾値パラメータである。簡素であることが目標である具体例では、従来型ニ値閾値は、ニ値論理値を結果として、使うことができる。
【０１０２】
ファジー意思決定は、ＡＮＤ１１４０、ＯＲ１１５０、ＮＯＴ１１６０のファジーバージョンに基づいている。２つまたはそれ以上のファジー論理値のファジーＡＮＤは、最小値であり、ファジーＯＲは、最大値である。ｆのファジーＮＯＴは、１−ｆである。ファジー論理値が０か１に制限されている場合、ファジー論理値は二進法に等しい。
【０１０３】
実例となる具体例では、真偽の決定が必要である時はいつでも、ファジー論理値は、それが少なくとも０．５である場合は、真として見なされ、０．５以下であれば、偽であると考えられる。
【０１０４】
ここにあるファジー論理に関連して、値０および１について批判がないことは、当業者により、明らかであろう。信頼の中間レベルを示す中間値として用い、いかなる数が、状態が真であることを高信頼を示すのに使い、それとは違う数が状態を偽であることを高信頼を示すのに使うことができる。
【０１０５】
[動的画像解析]
図７は、具体例において証拠がどのように動的画像解析に値されるのかを示すものである。本実施例においては、基本決定と呼ばれる以下の２つが決定されなければならない。１．物体または物体の目に見える機能は目で見ることができる範囲に位置しているか。２．その場合、該目的物の状態はどのようなものか。
【０１０６】
物体が目に見える範囲に位置しているという証拠を構成する情報は物体検出重みと呼ばれる。物体の状態に関する証拠を構成する情報は、物体合格点と呼ばれる。様々な実施例において、該物体の状態は、該物体が使用者により適宜決定された検査基準を満たしているか否かを示すものである。以下においては、該検査基準を満たす物体は「検査合格」とされる場合もある。
【０１０７】
図７は、２つのプロット、物体検出プロット１２００および物体合格プロット１２０２を示している。２つのプロットの横軸はフレーム連番ｉを表しており、各フレームは模範線１２０４というような縦のラインで表されている。
【０１０８】
図７の実施例では、物体検出重はファジー論理値ｄｉであり、物体がフレームｉのＦＯＶに位置するという証拠であり、また以下に記述のある方法およびビジョン検出器法および装置を用いて、各フレームでビジョン検出器により演算される。物体合格点はファジー論理値ｐｉであり、物体がフレームｉにおいて適切な検査基準を満たしているという証拠であり、また以下でさらに説明される方法およびビジョン検出器法および装置を用いて、選択されたフレームでビジョンにより検出器演算される。物体検出プロット１２００の縦軸はｄｉを表し、物体合格プロット１２０２の縦軸はｐｉを表す。
【０１０９】
図７の実施例では、ｄｉ≧０．５であるフレームは有効であると考えられる（有効フレームの説明については上記図２の記述を参照）。参考として、ｄｉ＝０．５であるライン１２３０が描かれている。有効フレームに対する物体検出重および合格点は、例えばポイント１２１０および１２１２ように黒丸で描かれており、無効フレームは、例えばポイント１２１４および１２１６のように白丸で描かれている。図７の実施例では「有効」とみなされているか否かに関わらずすべてのフレームに対して物体合格重が演算されているが、物体合格重が有効フレームに対してのみ演算されている実施例もある。
【０１１０】
図７の例では、すべての有効フレームは１つの物体の検査に対応し、上記図２の記述で説明された通り、隔離非有効フレーム１２２０は検査を中断するものではない。
【０１１１】
一実施例においては、物体は有効フレーム数が一定の閾値を超えたか否かで検出されたと判断されている。別の実施例では、物体は有効フレーム全体の物体検出重の合計が特定の閾値を超えたか否かで検出されたと判断されている。これらの閾値は与えられたアプリケーションに対して適宜設定される。
【０１１２】
図７の実施例では、物体はそれぞれに対応する物体検出重みで重み付けられた、物体合格点の重み付け平均が最低でも０．５であるか否かという検査を合格したと判断されている。さらに正確にいうならば、以下の場合に物体は検査に合格する。
【０１１３】
【数５】
【０１１４】
ここで合計がすべての有効フレームを超えている。この式の効果は、物体の合格点を平均化することではなく、物体が本当に対応するフレームに出現したという信頼性に基づいて各スコアに重み付けをすることである。
【０１１５】
代替実施例においては、物体合格点平均が少なくとも０．５である場合、物体は検査に合格するために判断される。これは、すべての加重が均一である重み付け平均に等しい。
【０１１６】
図７の例においては、物体合格点の重み付け平均は約０．８６であり、それは線１２４０によって座標上に示されている。有効フレームの数は１１、そして物体検出加重の合計は約９．５である。この例においては、物体は検出されて、検査に合格する。
【０１１７】
図８は、別の具体例において、動的画像証拠がどのように検討されるかを示す。この例においては、検査される物体の特徴は分かりづらく、物体が視野を通って移動する際、表示と照明の遠近感が丁度良い場合に、主に、フレーム１３００および１３１０などの少数の有効フレームの信頼性とともに現れる。これら数フレームにおいて、証拠が十分あってその特徴が存在する限り、物体は検査に合格するはずである。このシナリオでは、どの有効フレームがこの証拠を有することになるのかを事前に知ることは不可能である。ゆえに、合格点の加重平均はこの場合には適合しない。代わりとしては、これら有効フレームのいずれかにおいて合格点が閾値を超える場合に物体を合格させることであるが、この代替案では証拠が少なすぎることに基づいて物体が合格する可能性がある。図８の具体例においては、加重パーセンタイル法が使用されている。
【０１１８】
加重パーセンタイル法は、合格点が少なくともｐである場合、分数Ｑ（ｐ）に基づく。
【０１１９】
【数６】
【０１２０】
物体は、Ｑ（ｐ）が少なくともある閾値ｔである場合、合格するために判断されるこの場合適当な閾値ｔは１０％であろう。
【０１２１】
有用な挙動は、ｔの異なる値を用いて得られる。例えば、ｔ＝５０％である場合、物体は検査に合格するために、加重中央値が少なくともｐであるかどうかを判断される。加重中央値は加重平均と似ているが、一部の例においてより適切な特性を有する。例えば、ｔ＝９０％のように高い値の場合、合格点が少なくともｐ．Ｆｏｒｔ＝１００％である有効フレームに、圧倒的大多数の加重が対応する場合のみ、物体は検査に合格するために判断され、すべての有効フレームの合格点が少なくともｐであるなら、物体は検査に合格するために判断されるであろうまた物体は、Ｑ（ｐ）がゼロより大きい場合、検査に合格するために判断されるかもしれない、このことは、合格点を有するいかなる有効フレームもが少なくともｐであるということを意味する。
【０１２２】
他の有用な変動においては、合格点が、加重の合計の分数ではなく、少なくともｐである場合、物体は加重の合計に基づいて、合格するために判断される。
【０１２３】
代替実施例では、合格点が少なくともｐである場合、パーセンタイル法がフレーム数に基づいて使われる。これは、すべての加重が等しい場合の加重パーセンタイル法に匹敵する。
【０１２４】
物体が検出されかどうか、および物体が検査に合格したかどうかを決定するために証拠を検討する上記の方法は、有用な実施礼の例を意図しているが、視覚検出器の方法および装置の領域において使用できる方法を制限するものではない。例えば、上記で使われる典型的定数０．５は、適切ないかなる値によって差し替えられてもよい。当業者は、動的画像解析に関する、さらなる多くの方法を考え付くであろう。
【０１２５】
[視覚検出器ソフトウェア要素の方法および装置]
図９は、フレーム分析、判断、入力感知、および出力信号調節のために、具体例により使用される一連のソフトウェア要素の編成（例えば、コンピュータ可読媒体のプログラムインストラクション）を示す。各要素がそれぞれクラスに対応するように、Ｃ＋＋等従来のオブジェクト指向プログラミング言語のクラス階層を使用して要素が実行されてもよい。しかしながら、ここで記載されるプロセスを実行するには、基準を満たすいかなるプログラミング技術および／または言語をも使用することができる。
【０１２６】
図示のように、ガジェットクラス１４００のように点線の境界線付きのクラスは、独立しては存在せず、ロケータクラス１４２０のような具体派生クラスを構築するのに使用される抽象基本クラスである。実線で境界されたクラスは、ユーザーがアプリケーションを設定する必要がある時に、ＨＭＩ８３０を使用して作成および破壊することができる動的オブジェクトを表す。入力１４５０などの破線で境界されたクラスは、特定のハードウェアやソフトウェアリソースと関連する静的オブジェクトを表す。静的オブジェクトは常に存在するものであり、ユーザーによって作成または破壊されることは不可能である。
【０１２７】
すべてのクラスは、ガジェットクラス１４００から派生しているため、図９に示すクラスのインスタンスであるすべてのオブジェクトはガジェットの一種である。具体例においては、各ガジェットは、
１．ユーザーが選択することのできる名前を有し、
２．他のガジェットが判断および出力信号を制御するために、論理入力として使用することができる論理出力（ファジー理論値）を有し、
３．ユーザーが操作を特定するために構成することができる一連のパラメータを有し、
４．論理出力（すなわちファジーＮＯＴ）を反転するのに使用可能な、そのようなパラメータをひとつ有し、
５．実行可能であり、そのパラメータ、該当する場合は論理入力、ある種のガジェットについては現行フレームのコンテンツに基づいて論理出力が更新され、また出力信号の設定のような副作用を引き起こすことがある。
【０１２８】
フレーム分析作業には、ガジェット実行前に、ガジェットへのすべての論理入力が更新されたことを保証するために確定された順序で、各ガジェットを一度実行することが含まれる。ある実施例においては、その論理出力が必要ではないフレームの間はガジェットが実行されない。
【０１２９】
写真クラス１４１０は、論理出力が現行フレームのコンテンツに依存するすべてのガジェットの基本クラスである。これらのクラスは実際に画像解析を行うクラスである。各写真は現行フレームの関心領域（ＲＯＩ）のある特徴を測定する。ＲＯＩは、検査される物体の可視機能に対応する。この測定は写真のアナログ出力と呼ばれる。写真の論理出力は、感度閾値と呼ばれる、ユーザーによって構成されることができる一連のパラメータ中に存在するファジー閾値を用いて、アナログ出力から計算される。写真の論理出力は、判断を下す際に使われる証拠を提供するのに使用可能である。
【０１３０】
検出器クラス１４３０は、ＲＯＩにおける測定および判断を下す際の証拠を提供することを主目的とする写真の基本クラスである。具体例においては、すべての検出器ＲＯＩは円型である。円形のＲＯＩは、回転を処理する必要がないため実行を簡素化し、またＲＯＩの形が１つしかないことで、ユーザーが学習すべきことを簡素化する。検出器パラメータにはポジションおよびＲＯＩの直径が含まれる。
【０１３１】
輝度検出器１４４０はＲＯＩにおける加重平均やパーセンタイル輝度を測定する。コントラスト検出器１４４２はＲＯＩにおけるコントラストを測定する。エッジ検出器１４４４は、特定方向において、ＲＯＩがエッジのように見える領域を測定する。スポット検出器１４４６は、ＲＯＩが穴のような丸い特徴に見える領域を測定する。テンプレート検出器１４４８は、ＲＯＩがユーザーが選択した、事前にトレインされたパターンのように見える領域を測定する。検出器の操作については、以下および視覚検出器の方法および装置においてさらに記述する。
【０１３２】
ロケータクラス１４２０は、２つの主目的を持つ写真を表す。１つ目は、判断を下す際の証拠を提供することが可能な論理出力を生成することであり、これにより、他のいかなる検出器のようにも使用することができる。２つ目は、視覚検出器の視野にあるオブジェクトの位置を決定することにより、他の写真のＲＯＩのポジションを、オブジェクトのポジションを追跡するように移動することができることである。どのロケータも、１つのまたは両方の目的に使用することができる。
【０１３３】
具体例においては、ロケータは、フレーム内における一次元領域でエッジを検索する。検索方向は、エッジに向かって垂直であり、ユーザーによって設定されるパラメータの中にある。ロケータのアナログ出力はエッジ検出器のアナログ出力と似ている。ロケータについては視覚検出器の方法および装置においてさらに記載される。
【０１３４】
入力クラス１４５０は、外部トリガのような、視覚検出器に送られる入力信号を表す。出力クラス１４５２は、拒否作動装置を制御するために使われる可能性のあるような、視覚検出器からの出力信号を表す。各物理的入力に対して、典型的入力信号９２６（図５）のような、入力クラスの静的インスタンスが１つ、および、各物理的出力に対して、典型的出力信号９２２および９２４のような、出力クラスの静的インスタンスが１つ存在する。
【０１３５】
ゲートベースクラス１４６０はファジー論理の意思決定を実行する。各ゲートは、他のガジェットの論理出力に接続可能な論理入力を１つ以上有する。各論理入力は、ユーザーが設定可能なパラメータを用いて、反転（ファジーＮＯＴ）することが可能である。ＡＮＤゲート１４６２は、ファジーＡＮＤ操作を実行し、ＯＲゲート１４６４は、ファジーＯＲ演算を実行する。
判断クラス１４７０は、２つの静的オブジェクトである、物体検出判断１４７２および物体合格判断１４７４の基本クラスである。判断は、連続フレームに対して証拠を検討することにより主な判断を下して、動的画像解析を実行する。各判断は、ユーザーが写真の論理出力を接続する論理入力、あるいはより典型的には、通常写真および他のゲートであるガジェットの論理的組み合わせを提供するゲートを有する。
【０１３６】
物体検出判断１４７２は、物体が検出されたかどうかを決定し、物体合格判断１４７４は、その物体が検査に合格するかどうかを決定する。物体検出判断への論理入力は、各フレームに対する物体検出の加重を提供し、物体合格判断への論理入力は、各フレームに対する物体合格点を提供する。
【０１３７】
物体検出判断の論理出力は、いつ判断が下されたのかを示すパルスを提供する。「プロセス中の出力」というある操作モードにおいては、パルス立ち上がりは、例えば図２の分析ステップ５４０の終了時などの、物体の検査開始時に発生し、立ち下がりは、例えば分析ステップ５４８の終了時などの、物体の検査完了時に発生する。「終了時の出力」という別のモードにおいては、パルス立ち上がりは、例えば図２の分析ステップ５４８の終了時のような、物体の検査が完了する時に発生し、立ち下がりは、例えばアイドルステップ５８０の終了時のように、その少し後に発生する。
【０１３８】
物体合格判断の論理出力は、最も最近に検査された物体が合格したかどうかを示すレベルを提供する。例えば分析ステップ５４８の終了時のように、物体の検査が終了した時にレベルの状態が変わる。
【０１３９】
図１０は、物体の検査に写真がどのように使われることができるかという例を示す。図１０は物体１１０（図１より）のイメージを表しており、ラベル機構１２０およびホール機構１２４とともに、写真を表す重畳グラフィックスを有し、それはユーザーが見て操作できるようにＨＭＩ８３０に表示される。ＨＭＩ上での画像および重畳グラフィックスの表示は画像表示と呼ばれる。
【０１４０】
図１０は画像表示を表しており、ラベル１５１０およびホール１５１２を含む物体１５００を示す。この例における物体は、検査される６つの可視特徴を含み、後に説明するロケータ２つおよび検出器４つに対応している。
【０１４１】
ロケータ１５２０は、物体の上端を検出して位置を確認するために使用され、別のロケータ１５２２は右端を検出して位置を確認するために使用される。
【０１４２】
輝度検出器１５３０は、物体の存在を検出する助けとなるように使用される。この例では、背景は物体より明るく、感度閾値が２つの明るさのレベルを区別するように設定されており、より明るい背景ではなく、より暗い物体を検出するために論理出力が反転されている。
【０１４３】
後にさらに記載されるように、ロケータ１５２０および１５２２、そして輝度検出器１ ５３０は、ともに物体が検出されことを判断するのに必要な証拠提供する。
【０１４４】
コントラスト検出器１５４０は、ホール１５１２の存在を検出するために使用される。ホールが存在しない場合コントラストは非常に低く、ホールが存在する場合コントラストは極めて高くなる。スポット検出器もまた使用される。
【０１４５】
エッジ検出器１５６０は、ラベル１５１０の存在および位置を検出するのに使用される。ラベルが存在しなかったり、水平に間違った位置にあったり、著しく回転している場合は、エッジ検出器のアナログ出力は非常に低くなる。
【０１４６】
輝度検出器１５５０は、正しいラベルが貼られたかどうかを確認するために使用される。この例では、正しいラベルは白であり、誤ったラベルは暗い色をしている。
【０１４７】
物体が視覚検出器の視野を通って左から右に移動すると、ロケータ１５２２が物体の右端を追跡し、物体に対して正しい位置になるよう、輝度検出器１５３０、コントラスト検出器１５４０、輝度検出器１５５０、およびエッジ検出器１５６０を再配置する。ロケータ１５２０は、検出器を物体の上端の位置に基づいて再配置し、視野内の物体のいかなる垂直位置の変動をも修正する。一般的に、ロケータはどのような位置にでも配置することができる。
【０１４８】
ユーザーは、既知のＨＭＩ技術を使用して、画像表示内で写真の操作をすることができる。写真はマウスをクリックすることにより選択可能であり、またドラッグすることにより、そのＲＯＩは移動、サイズ変更、および回転が可能である。ロケータに関する付加的な操作は、視覚検出器の方法および装置で記載される。
【０１４９】
図１１は、図１０の設定例に対応する配線図を含む論理ビューを示す。配線図は、物体および自動装置へのインターフェースを検査するのに使用されるすべてのガジェット、およびガジェットの論理入力・出力間の接続を示す。配線図は、ユーザーが見て操作するようにＨＭＩ８３０に表示される。ガジェットの表示およびそれらのＨＭＩにおける論理的相互接続は論理ビューと呼ばれる。
【０１５０】
さらに図１１の配線図について言及すると、「トップ」という名前のロケータ１６２０は、図１０の画像表示内のロケータ１５２０に対応して、ワイヤー１６２４によりＡＮＤゲート１６１０に接続される。同様に、「サイド」ロケータ１６２２はロケータ１５２２に対応して、「ボックス」検出器１６３０は輝度検出器１５３０に対応して、ＡＮＤゲート１６１０に接続される。小円１６３２で示されるように、および上記の通り、明るい背景に対してより暗い物体を検出するために、「ボックス」検出器１６３０は反転されている。
【０１５１】
ＡＮＤゲート１６１０の論理出力は、物体の上端が検出されたこと、物体の右端が検出されたこと、および背景が検出されていない、ということについて信頼性のレベルを表している。信頼性が高く３つの条件がすべて真である場合、信頼性が高いため物体自体が検出されている。ＡＮＤゲート１６１０の論理出力は、各フレームに対する物体検出の重みとして使用されるため、物体検出判断１６００に配線される。
【０１５２】
この場合の物体検出判断への論理入力は、現行フレームに依存するため、視覚検出器は視覚事象検出モードで作動している。外部トリガモードで作動するためには、入力ガジェットは物体検出に配線される。連続分析モードで作動するためには、物体検出には何も配線されない。
【０１５３】
物体検出に配線するガジェットの選択は、アプリケーションの知識に基づきユーザーによって行われる。図１０および１１の例においては、ユーザーは上および右だけを検出するのでは、物体の存在を確認するのに分ではないと決定したかもしれない。ここで留意するべきなのは、ロケータ１５２２は、物体の右端に反応するのと同じように、ラベルの左端にも反応するかもしれないこと、そしておそらくこの時点で、プロダクションサイクルにおいて、ロケータ１５２０が背景で他のエッジを発見したかもしれないということである。検出器１５３０を加えること、またＡＮＤゲート１６１０を用いて３つすべての条件を満たすことで、物体の検出は信頼性の高いものになる。
【０１５４】
配線図において、コントラスト検出器「ホール」１６４０はコントラスト検出器１５４０に対応して、輝度検出器「ラベル」１６５０は輝度検出器１５５０に対応して、そしてエッジ検出器「ラベルエッジ」１６６０はエッジ検出器１５６０に対応して、ＡＮＤゲート１６１２に配線される。ＡＮＤゲート１６１２の論理出力は、３つの画像特性すべてが検出されたという信頼性のレベルを表し、各フレームに物体合格点を提供するために物体合格判断１６０２に配線される。
【０１５５】
物体検出判断１６００の論理出力は、ＡＮＤゲート１６７０に配線される。物体合格判断１６０２の論理出力は反転されており、またＡＮＤゲート１６７０に配線される。物体検出判断は「終了時に出力」モードに設定されているため、物体が検出され検査が完了した後、物体検出判断１６００の論理出力にパルスが出現する。物体合格１６０２の論理出力は反転されているため、物体が検査に合格しない場合のみ、ＡＮＤゲート１６７０の論理出力上に出現する。ＡＮＤゲート１６７０の論理出力は、拒否作動装置１７０に直接接続可能な視覚検出器からの出力信号を制御する「拒否」という名前の出力ガジェット１６８０に配線される。出力ガジェット１６８０は、ダウンストリームの拒否作動装置に必要とされる適切な遅延５７０を行うために、ユーザーにより設定される。
【０１５６】
ユーザーは既知のＨＭＩ技術を使うことにより、論理ビュー内でガジェットを操作することができる。ガジェットはマウスをクリックすることにより選択可能であり、そのポジションはドラッグによって移動可能、そしてワイヤーはドラッグ・ドロップ操作により作成が可能である。
【０１５７】
ユーザーが視覚検出器について理解しやすいように、ガジェットおよび／またはワイヤーはファジー論理値を示すために、視覚的外観を変更することができる。例えば、ガジェットおよび／またはワイヤーは、論理値が０．５未満の場合は赤く、それ以外の場合は緑に表示されることが可能である。図１１において、ワイヤー１６０４および１６７２は、０．５未満の論理値を示すために破線で描かれており、例えばワイヤー１６２４などの他のワイヤーは、論理値が０．５に等しいかまたはそれ以上であることを示すために実線で描かれている。
【０１５８】
当業者は、ガジェットの適切な選択、設定、および配線により、様々な物体が検出および検査可能であるということを認識するであろう。当業者はまた、ガジェットクラス階層は、視覚検出器の方法および装置を実施するために使われる、多くのソフトウェア技術のうちの１つに過ぎないということをも認識するであろう。
【０１５９】
[視覚検出器を設定するための本発明の実施]
ここで説明される本発明は、前記のアート視覚システムを含む、いかなる画像解析装置を設定するためにも使用でき、以下に述べる発明の具体例は、視覚検出器の設定に基づく。
【０１６０】
図１２は、視覚検出器の設定に関わる本発明の側面を実施するために使用されるであろう生産ラインなどの一部を示す。図１２は、視覚検出器４００が、まだ対照を検査するために設定されておらず、欠陥のある物体１１６が、拒否メカニズム１７０によってコンベヤー１００から排除されていない点を除き、図１と一致する。生産ラインは、コンベヤーのスピードおよび周囲の照明を含むそのほか全ての点において、通常の製造条件のもとで稼動しており、また、検査される物体を示す、物体１１０、１１２、１１４、１１６および１１８を含み、欠陥のある物体１１６の場合は、検知される欠陥のサンプルを含むことが望ましい。
【０１６１】
視覚検出器４００は、その視野の一連の画像を取得する。図５の装置の例に関しては、照明９４０が視野を明るくし、撮像装置９６０が画像を取得し、ＰＰＩ９７０、ＤＭＡ９７２、メモリコントローラ９７４を経由しメモリ９１０に保存される。上記の図５の説明で詳しく述べたように、フレームレートは、視野を通るときに物体それぞれの複数の画像を取得する分である。さらに、メモリ９１０は、複数の物体それぞれからの複数の画像を保存するのに分なサイズである。
【０１６２】
図１３は、発明の具体例において使用されるメモリ９１０の構成を詳細に示す。メモリの一部は、環状バッファ５０００に使用され、そこで要素例５０１０、５０１２、５０１４および５０１６を含む環状バッファのそれぞれの要素が、取得した画像全体を保持する。撮像装置９６０がＬＭ９６３５の場合の発明の具体例においては、例えば、環状バッファ５０００のそれぞれの要素は、１２８×１００個の８ビットピクセルを備える。
【０１６３】
明確にするために、図では環状バッファ５０００は、２４個の要素を有するのみだが、実際は、それ以上であることが望ましい。一例では、１６０個の要素が使用されているが、わずか２メガバイト以下の保存しか必要とせず、また２００フレーム／秒の生産工程で約０．８秒、あるいは５００フレーム／秒の場合は０．３２秒を保存することができる。明らかに、フレームレートが低いと、画像を保存できる時間は長くなる。
【０１６４】
環状バッファの操作と実施は、技術的によく知られる。図１３の発明の具体例においては、要素例５０１０の網掛けの要素などが使用中で（すでに取得した画像を含む）、網のかかっていない要素例５０１２などが使用できる。書き込みポインタ５０２０は、環状バッファ内の次に使用可能な要素５０１４を指しているが、そこには次に取得した画像が保存される。読み取りポインタ５０２２は、もっとも長く使用中の要素５０１６（最も以前に保存された）を指している。図５の発明の具体例では、ＤＭＡチャネル９７２により、取得した画像がメモリ９１０内のどこにでも位置することができるため、画像は次に使用可能な要素５０１４内に、コピーの必要もなく、直接取得される。非常に高いフレームレートが必要であることを前提とすると、これは望ましい。
【０１６５】
ある時点で、いっぱいになった環状バッファ５００２の例のように、環状バッファはいっぱいになる。書き込みポインタ５０４０は、唯一使用可能な要素５０３４を指している。一例では、環状バッファがいっぱいになると、画像の取得は終了する。別の例では、読み取りポインタ５０４２が指している最も古い要素５０３６を次の取得で上書きし、さらに要素の上書きをして、ポインタを進め続け、人間ユーザーからのコマンドなど、画像取得を終了させる何らかの状態まで、画像取得は継続される。画像取得が終了したあとは、環状バッファ５００２は、人間ユーザーが表示できる一連の画像５０５０を備える。
【０１６６】
図４に戻るが、視覚検知器は、設定の目的で、通信インターフェース８４０を経由し、ヒューマン・マシン・インターフェース（ＨＭＩ）８３０に接続することができる。ＨＭＩが、視覚探知機８００の一部となることも可能だが、ＨＭＩは一般的に生産に使う必要がないためあまり好ましくなく、またそのためＨＭＩは、複数の視覚探知機により共有することができる。ＨＭＩは従来の設計のグラフィカル・ユーザー・インターフェース（ＧＵＩ）を実行することができるが、その例の一部は図４に示される。
【０１６７】
ＧＵＩにより、一連の画像５０５０の一部を視覚探知機のメモリ９１０に保存し、人間ユーザーが表示できるようにする。図１４の発明の具体例では、映写スライドウィンドウ５１０２が、８つのサムネイル画像５１１０、５１１２、５１１４、５１１６、５１２０、５１３０、５１３２および５１３４を表示するが、それぞれのサムネイル画像は、一連の画像５０５０における対応する画像の解像度の低いバージョンである。一般的に、例えば表示される部分５０５２のように、サムネイル画像は、連続した画像に順番に対応するが（図１３）、対応するサムネイル間のある数の画像を飛ばすなど、別の配列も有用である。
【０１６８】
表示された部分５０５２を、一連の画像５０５０内で前または後ろに進めるための一組のスクロールコントロール５１５０が、映写スライドウィンドウ５１０２内に備えられる。次への画像コントロール５１６０は、表示された部分５０５２を１つの画像ごとに前に進め、前への画像コントロール５１６２は、表示された部分５０５２を１つの画像ごとに後ろに進める。コントロール５１６４および５１６６については下記で説明する。
【０１６９】
サムネイル５１２０は、物体５１４０の解像度の低い画像を表示するが、例えば物体１１４に該当する（図１２）。物体５１４０はまた、サムネイル５１１６および５１３０において、やや違う視点で見ることができ（視野内の位置）、またサムネイル５１１０、５１１２、５１１４、５１３２および５１３４においても、部分的に見ることができる。２つ目の物体５１４２は、例えば欠陥のある物体１１６に該当するが、部分的にサムネイル５１１０および５１１２上に見られる。三番目の物体は、例えば物体１１２に該当するが、部分的にサムネイル５１３４上に見られる。スクロールコントロール５１５０を使用して、スクロールコマンドを出すことで、ユーザーは表示された部分５０５２を、前あるいは後ろに進め、それまでに取得されたどの物体をどの視点でも、また通常の生産中に視野に存在しうる他のどんな状態も見ることができる。
【０１７０】
図１４の発明の具体例では、太く縁取りしたサムネイル５１２０に対応する画像は、画像表示ウィンドウ５１００において、最大解像度で表示することもできる。スクロールコマンドが表示部分を前後に進めると、違う画像がサムネイル５１２０内に移動し、画像表示ウィンドウ５１００に最大解像度で表示される。
【０１７１】
視覚検知器を設定するために、ユーザーは、画像表示ウィンドウ５１００に、最初の演習画像として使用するのに適した画像が現われるまでスクロールコマンドを出す。普通、代表的な検査される物体に外見が分類似しているとユーザーが判断した場合、１つの画像が適当である。画像表示ウィンドウ５１００上の物体１５００は、図１０でも示すが、サムネイル５１２０上の物体５１４０に対応することに注意したい。最初の演習画像が選ばれると、ユーザーは、ロケータ１５２０および１５２２、コントラスト検出器１５４０、明度検出器１５５０、エッジ検出器１５６０など、１つ以上の画像ツールを作成して、視覚探知機を設定する。この発明の具体例では、画像ツールは、どの写真１４１０でもよい（図９）。作成されたそれぞれの画像ツールのタイプ、位置、サイズ、方向および動作は、最初の演習画像で物体１５００と外見が類似している物体が間違いなく検出され、検査されるようにユーザーによって選択される。
【０１７２】
最初の演習画像を用いた設定が完了すると、確認を行い、場合によっては、追加の演習画像も使用して設定を調整することが望ましい。スクロールコマンドを出して二番目の演習画像を選ぶこともでき、サムネイル５１２０および画像表示ウィンドウ５１００の双方に表示される。二番目の演習画像は、単純に以前に作成された画像ツールの動作を判断するため、あるいは追加で画像ツールの作成、または以前に作成された画像ツールの位置、サイズ、方向および／または動作の調整によって設定をアップデートするために使用することができる。
【０１７３】
例えば、最初の演習画像を使用して行われた最初の設定には、先に説明した、ロケータ１５２０および１５２２と併せて物体の存在を検知するために使用される明度検出器１５３０を含まなかったかもしれない。最初の演習画面を見るだけでは、ユーザーは明度検出器１５３０が必要になるかもしれないと気付かなかったかもしれない。物体が視野において一部だけ存在する、あるいは物体が存在しない二番目の演習画像を検討することによってのみ、ユーザーは誤検出を避けるために明度検出器１５３０が必要であると認識できたかもしれない。
【０１７４】
同様に、代表的な検査物体に外見が類似しない欠陥のある物体１１６に対応する、二番目の演習画像は、コントラスト検出器１５４０を正しく調整する必要がある。
【０１７５】
[視覚検出器をテストするための本発明の実施]
視覚検出器を設定する過程において、画像ツールの動作を値するために、二番目の演習画像を使用して行うことができるよりもさらに徹底した設定のテストを行うことが望ましい。そういったテストが多数の物体を含み、限られた数の画像を取得、保存し、それらの画像が誤判断を示す可能性のある物体に対応することがさらに望ましい。同様のテストが実際の製造過程でも望まれる。コンベヤーのスピードおよび周囲の照明を含む製造環境が、設定時と製造過程において同一であることが望ましい。製造過程を示す図１を、設定を示す図１２を比較すると、図１２においては拒否作動装置１７０が視覚検出器４００から拒否信号を受け取っていないことが唯一の相違であるとわかる。
【０１７６】
視覚検出器のテストに使われる実施例において、視覚検出器は離散した物体の検出および検査のために設定される。視覚検出器は、図２に示されるように操作して、視覚事象検出を使用したり、図３に示されるように操作して、外部トリガ信号を使用したりしてもよい。視覚検出器は図１０および１１に示されるような設定を有することになるであろう。
【０１７７】
図２については、有効フレーム５４０から始まり無効フレーム５４８で終る７つのフレームのグループ（時系列部５００）は、物体１の検出および検査に影響を及ぼす。同様に、時系列部５１０に対応する５つのフレームのグループは、物体２の検出および検査に影響を及ぼす。物体１や物体２のような物体が人間ユーザーの関心事である可能性がある場合、大抵、誤った決定を表すかもしれないので、本発明はグループ内のフレームを保存および表示する方法およびシステムを提供する。ある実施例においては、保存および表示されるこのグループは、フレーム５４２のような無効フレーム、および終了フレーム５４６および５４８を含む。具体例においては、５４６および５４８のような終了フレームは、保存および表示されるグループから省略される。
【０１７８】
外部トリガが使われる図３に関しては、物体１について保存および表示されるフレームのグループは、その物体に対して取得および分析された、すべてのフレームを含む、すなわちフレーム６４０、６４２、および６４４である。
【０１７９】
上記の通り、物体の状態に関する情報を含む結果を決定するために、物体は分析される。結果は、物体が検査に合格したかどうか、というくらい単純なものであるかもしれない。具体例において、結果は、物体が検出され、検査に合格するという、相対的な信頼性を示す数字を含む。例えば、そのような数字の１つは、有効フレームの数や、物体が検出されたかどうかを決定する決定閾値と比較された、物体検出加重の総和であるかもしれない（これらの数字に関するさらなる詳細については、図７に関する上記記述を参照）。
【０１８０】
これらの結果は、対応する物体のフレームグループが、人間ユーザーの関心事であるかどうかを決定するのに使用され、そうである場合は、結果は後続の表示のために保存されるであろう。ユーザーは、すべての物体に関心があるかもしれないし、あるいは合格する物体だけに、または不合格の物体だけに関心があるかもしれない。大抵の場合、誤った決定を示しがちな物体に対応する画像を保存および表示することが最も望ましい。なぜなら、それらの画像が発生することは非常にまれであり、注意深く調査することを最も必要とする状況であるからである。誤った決定は、相対的な信頼性を示す数字が決定閾値に近い場合に起こりやすい。
【０１８１】
保存されたフレームのグループは一連の画像であり、その一部は上記の通り図１４に示されたグラフィカルユーザーインターフェースによって表示可能である。スクロール制御５１５０は、次画像５１６０および前画像５１６２に加えて、それぞれのグループごとに表示部を前後に進める、次グループ制御５１６４および前グループ制御５１６６を含む。
【０１８２】
図１５は、具体例で使用されるメモリ９１０（図５）の編成の詳細を表す。フレームバッファプール５２００は、フレームバッファ５２３０、５２３２、５２３４および５２３８のような、多目的に使用される多くの個別フレームバッファを含む。フリープール５２１０は、リングバッファとして編成され、１つの物体に対してフレームを取得し、分析することに使用される。書き込みポインタ５２２０は、次に使用可能なフレームバッファ５２３０を表し、そこで次のフレームが取得される。フレームバッファ５２３０に取得される画像と同時に、フレームバッファ５２３２内にある前の画像が分析される。以前に取得および分析された現行グループ内のフレームには、読み込みポインタ５２２２によって表されるフレームバッファ５１３４から始まって、影が付けられる。
【０１８３】
ここで留意すべきなのは、新しい物体の有効フレームがまだ見付かっていない場合には、現行グループが存在しないので、読み込みポインタ５２２２はフレームバッファ５２３２を表し、新しい物体が見付かるまで、それぞれの新しいフレームを進めるということである。さらに、フリープール５２１０が満杯になった場合、グループ内の一部の古いフレームは保存されなくなるということにも留意するべきである。
【０１８４】
物体の分析が完了し、物体のステータスに関する情報を含む結果が決定されると、グループは完了する。結果が、次表示にグループが保存されないことを示す場合には、読み込みポインタ５２２２を進めるだけで、画像は廃棄される。グループが保存される場合は、フレームバッファはフリープール５２１０から除外され、保存グループ５２１２、５２１４、および５２１６を含む、保存グループプール５２０４に追加される。新しい保存グループを除外した後に、フリープール５２１０内のフレームバッファ数が少なくなりすぎる場合には、１つ以上の古い保存グループを保存グループプール５２０４から取って、このフリープールに戻してもよい。これらの古いグループは、もう表示に使用することはできないであろう。
【０１８５】
具体例においては、フレームバッファは決してコピーされることはない。その代わりに、フレームバッファは、当業者に既知の技術を用いてポインタ操作を行うことにより、フリープール５２１０と保存グループプール５２０４の間を移動させられる。
【０１８６】
リスト要素５２４０、５２４２、および５２４４を含む保存グループ５２０２のリストは保持される。例えば、リスト要素５２４０は、次の要素ポインタ５２５０、フレームバッファカウント５２５２、結果情報５２５４および保存グループポインタ５２５６を含む。結果情報５２５４は、グループを保存するべきかどうか決定するのに使用される、相対的信頼度数を含む。この場合留意するべきなのは、決定閾値は０．５であり、３つの保存グループは、この閾値に近い信頼度数を有しているということである。さらに、このリストは決定閾値に近い順に保存されるということにも留意すべきである。保存グループを、保存部ループプール５２０４から移動してフリープール５２１０に戻す必要がある場合、決定閾値から最も遠い、リストの一番最初にあるグループが動かされる。
【０１８７】
本発明の具体例の詳細な説明を上述した。発明の精神および領域から外れることなく、様々な改良および追加を行うことが可能である。例えば、代替実施例によると、ＧＵＩのレイアウトおよび制御オプションは、非常に可変性が高い。ＧＵＩのフィルムストリップウィンドウ内にあるサムネイルの数およびサイズもまた、変動しやすい。従って、この説明は、例証と解釈されることを意図しており、発明の領域を制限するものではない。
【図面の簡単な説明】
【０１８８】
【図１】生産ライン上で物体を検査するための、視覚検出器の方法と装置にかかる、視覚検出器の具体例を示す。
【図２】視覚事象の検出を使用した、視覚検出器のための典型的なオペレーティング・サイクルを図解する時系列を示す。
【図３】トリガ信号を使用した、視覚検出器のための典型的なオペレーティング・サイクルを説明する時系列を示す。
【図４】生産環境における、視覚検出器のためのハイレベル・ブロック図を示す。
【図５】視覚検出器の具体例のブロック図を示す。
【図６】物体が存在するかどうか、および、検査に合格するかどうかなど、証拠を検討し、判断するために、具体例で使われるファジー論理要素を示す。
【図７】具体例において、動的画像解析のために証拠がどのように検討されるかを示す。
【図８】別の具体例において、動的画像解析のために証拠がどのように検討されるかを示す。
【図９】フレームを解析し、決断を下し、入力を感知し、出力信号を制御するために、具体例によって使用される、一連のソフトウェア要素の編成（例えば、コンピュータ可読媒体のプログラムコマンドなど）を示す。
【図１０】典型的な物体を検出するために使うことのできる視覚検出器の典型的な構成の一部を示す。
【図１１】図１０の典型的な設定に対応する構成の別の部分を示す。
【図１２】視覚検出器の設定に使用される物体を含む生産ラインを示す。
【図１３】視覚検出器の設定に使用される画像を保存するためのメモリ配置を示す。
【図１４】スライドウィンドウおよび画像表示ウィンドウを含む、グラフィカル・ユーザー・インターフェースの一部を示す。
【図１５】視覚検出器をテストするための保存画像のためのメモリ配列を示す。
【技術分野】
【０００１】
[発明の属する技術分野]
本発明は、生産ライン上で製造された物体の自動検出および検査に関するものであって、より具体的には、工業用マシンビジョンおよび自動画像解析に関する。
【背景技術】
【０００２】
[関連技術の説明]
工業生産は、製造された物体の自動検出に依存している。数十年間にわたり広く用いられてきた自動検出の形式の１つは、通常赤外線もしくは可視光線、光電センサー、ならびになんらかの形式の電子的な判断を行う、電磁エネルギーを用いた光電子技術に基づいている。
【０００３】
既知である光電子自動検査の形式の１つは、二次元視野デジタル画像を取得することができる装置を使用して検査される物体を特定し、次にその画像を分析して決定をおこなうものである。かかる装置は通常マシンビジョンシステム、または単純にビジョンシステムと称される。画像は二次元のアレイの感光性要素を、ｉｎｔｅｇｒａｔｉｏｎもしくはシャッター時間とよばれる短時間に、レンズによってアレイに集められた光に露光することで取得される。アレイは撮像装置と称し、個々の要素はピクセルと称する。各ピクセルは、シャッター時間内にそこにあたった光の強度を測定する。測定された強度の値は次にデジタル数字に変換され、視覚システム内のメモリに保存されて画像を結び、それはこの技術において既知である、検査中の物体の状態を判断する方法を用いて、コンピュータ等のデジタル処理要素によって分析される。
【０００４】
物体が視野内に持ち込まれ静止している場合と、物体が視野内で連続して動いている場合とがある。光検出器からの信号や、ＰＬＣ、コンピュータ、またはその他の自動装置からの通信といった、ビジョンシステム外の事象は、物体が視野において特定されたことをビジョンシステムに通知するために用いられ、それによって画像が取得され分析が行われる。こういった事象をトリガと称する。
【０００５】
マシンビジョンシステムは、視覚内の一ヶ所において特定された各物体に対し一枚の画像から判断することから、限界が生じてきている（各物体は、それぞれ異なる、または予測できない位置において特定されることがあるが、１つの物体に対して判断の土台となるそうした位置は１つだけである）。この唯一の位置は、唯一の視点、唯一の照明に対する方向から得た情報を提供する。視点が１つしかないことは、しばしば不正確な判断をまねく。これに関しては長期間にわたる観察がなされており、例えば、視野内のたった１ピクセルの違いでも、不正確であった判断が正確になるという場合もある。一方、人が物体を検査するときは、より判断の信頼性を高めるために、目や光に対して物体を動かしておこなう。
【０００６】
マシンビジョンシステムには、さらにトリガ信号の使用についても限界がある。トリガ信号が必要であるために、適切な信号の送信のため光検出器の取付けと調整が必要となり、ＰＬＣもしくはコンピュータ用のソフトウェアが作成されなければならないなど、設定はさらに複雑となる。物体が連続して動いている場合にはほぼ光検出器を使用するのであるが、生産ラインの転換はそれが文字通り動いていることを要求し、これはビジョンシステムの長所を弱めてしまう。さらに、光検出器は物体から反射した、もしくは進路に沿って発信された光の強度の変化だけに反応する。このような状態は、物体が視野に進入したときに信頼のおける判断をおこなうのに十分でない場合がある。
【０００７】
連続して動いている物体に対して用いられた従来の技術によるビジョンシステムは、自己トリガと称される方法を用いることにより、トリガを使用しなくても機能することができる。これらのシステムは通常、取得された１つ以上の画像部分の、物体の状態を表す明暗の差もしくは色の違いをモニターすることによって機能する。自己トリガは、下記のようないくつかの制限があるため、実際にはほとんど使用されていない。
・自己トリガへのビジョンシステムの反応は、通常の生産速度で使用するにはあまりに遅く、
・物体が現れたときに検知する方法は、多くの場合において十分でなく、そして
・ビジョンシステムは、通常はトリガの役割をする光検出器が発する、ＰＬＣまたは処理装置がビジョンシステムの判断に基づいて機能するために必要とする、特定の、反復可能な生産ライン上の物体の位置と同調した有用な出力信号を提供しない。
【０００８】
マシンビジョンの制限の多くは、作動が遅すぎて動いている物体を複数の視野から取得および分析することができず、または視野内で発生している事象に反応できない、ということも原因であるほとんどのビジョンシステムが現在の画像を分析しながら新規画像を取得することができるため、ビジョンシステムの最大作動速度は、取得時間および分析時間がどれだけかかるかによって決定される。概して、この速度の決定要素のうちもっとも重要なものとして、撮像装置を構成するピクセル数があげられる。
【０００９】
画像の取得にかかる時間は、主として撮像装置内のピクセル数により決定され、その理由は以下の２つである。第一に、シャッター時間は光の量と各ピクセルの感度によって決定される。一般的に、ピクセル数の増加はピクセルのサイズが小さくなることを意味するので、感度は低くなり、通常ピクセル数が増加すると、シャッター時間も長くなる。第二に、変換時間および保存時間はピクセル数に比例する。従って、ピクセル数が多いほど、取得時間がかかるということになる。
【００１０】
最低でも過去２５年間において、従来の技術であるビジョンシステムは概して３０万ピクセルを使用してきたが、最近では１００万ピクセルを使用することができるシステムも登場し、そして長年にわたり７万５千という少ないピクセルを使用してきたシステムは少なくなった。デジタルカメラと同様に、最近の風潮はピクセル数を増やし、よりよい画像解像度を得るということである。コンピュータの速度が驚くほど向上し、撮像装置が真空管から半導体に移行した同じこの年月において、マシンビジョンの画像取得時間は概して３０分の１秒から６０分の１ 秒へ、たったの二倍という向上を見せたにすぎない。速くなったコンピュータによってさらに高度な分析が可能となったが、ビジョンシステムが作動する最大速度はほとんど変化していない。
【００１１】
この視覚検出器の方法および装置の発明は、上に記述した従来の技術によるマシンビジョンシステムの制限を克服する最新の方法ならびにシステムを教示するものである。これらの教示はまた、元の教示を超える改善をもたらす格好の革新の基盤をも築く。次のセクションでは、この視覚検出器の方法および装置の発明について簡単に要約し、それに続くセクションでは、この発明によって対応される問題について説明する。
【００１２】
[視覚検出器の方法および装置]
この視覚検出器の方法および装置の発明は、二次元のデジタル画像を取得して検知および検査の必要な物体を特定し、画像の分析と判断をおこなう、物体の自動光電子検知および検査について、システムと方法を提供する。これらのシステムと方法は広大なエリアから反射した光の明度のパターン分析をし、物体における多くの目立った特徴を扱い、ソフトウェア手段によって生産ラインの転換に対応し、そして不明確でさまざまな物体の位置を扱う。これらは従来の技術を用いたマシンビジョンシステムに比べて安価で、設定がしやすく、ずっと早く作動する。これらのシステムと方法はさらに、動く物体に対し複数の視点が使え、トリガなしで作動し、正しく同調した出力信号を発信し、当業者にとっては明確な、その他の注目すべき有用な能力を提供する。
【００１３】
この視覚検出器の方法および装置の発明における特徴の１つは、ビジョン検出器と称し、連続した画像を従来の技術によるビジョンシステムよりも高速に取得し、分析することのできる装置である。取得して分析されるこうした連続画像を、フレームと称する。フレームを取得して分析する速度をフレーム速度と称するが、これは動いている物体が視野（ＦＯＶ）を通過する際に、複数の連続したフレームに示すことができるほど高速である。物体は連続したフレーム内のどこかを動いているため、ＦＯＶ内の複数の位置において特定され、そのために照明に対して複数の視点および位置から確認することができる。
【００１４】
この視覚検出器の方法および装置の発明におけるもう１つの特徴は、動的画像解析と称する方法であり、これは物体が視野内において特定される複数のフレームを取得、分析することによって物体を検査し、これらの各フレームから得た証拠を総合して結果を導き出すものである。この方法は、一枚のフレームに基づいて判断をおこなう従来の技術によるマシンビジョンシステムに優る、有意な利益をもたらす。
【００１５】
さらに、視覚検出器の方法および装置の発明におけるもう１つの特徴は、視野内で発生する事象を検知する方法であり、これを視覚事象検出と称する。物体が視野内を通り過ぎるといった事象が発生したときに、視覚事象検出を使用すると、トリガ信号と必要とせずに物体の検出ができる。
【００１６】
視覚検出器の方法および装置の発明におけるさらなる特徴は、図面および本明細書で詳述される内容を検討すれば明確になるであろう。
【００１７】
複数の視点から画像を得るために、視野内の連続フレーム間における検出もしくは検査されるべき物体の動きは、ごくわずか、通常においてほんの数ピクセル以下であることが望ましい。この視覚的検出器の方法および装置の発明によれば、物体の動く速度は各フレームにおけるＦＯＶの約４分の１を超えず、通常の実施例においてはＦＯＶの５％以下であることが概して望ましい。製造過程を減速することによってではなく、十分なフレーム速度を保つことによってこれが守られることが望ましい。システムの実施例では、フレーム速度は最低でも毎秒２００フレームであり、他の実施例においてのフレーム速度は、最低でも物体が視覚的検出器の前を通る速度の平均の４０倍である。
【００１８】
典型的なシステムは、毎秒５００フレームを取得、また分析できると教示された。このシステムは、従来の技術によるビジョンシステムよりはるかに小さなピクセルを持つ超高感度撮像装置を用いる。高感度であれば、安価なＬＥＤ照明を利用してシャッター時間を非常に短くでき、比較的少ないピクセル数とともに画像取得時間が非常に短くなる。撮像装置は、分析作業と同時にピクセルデータの受取りと保存をおこなうことができるデジタル信号プロセッサ（ＤＳＰ）と連動する。ここに教示される方法を用い、ＤＳＰに適切なソフトウェアを使用することにより、各フレームの分析時間を次のフレームを読み込む時間内におさめることができる。取得と分析の方法と装置があいまって、望ましい高速フレーム時間を提供する。撮像装置、ＤＳＰ、照明の能力と、この発明の目的を慎重に組み合わせることにより、典型的なシステムは従来の技術を用いたマシンビジョンシステムと比べ、かなり安価におさえることができる。
【００１９】
視覚事象の検出方法は、連続したフレームの取得と各フレームの分析によって、ある事象が発生しているかいないかの証拠を見つけることを含む。視覚事象の検出がトリガ信号の必要なく物体の検出に用いられたとき、その分析によってある物体が視野内で特定されたという証拠が見つかる。
【００２０】
典型的な方法において、その証拠は、物体検出加重と称される値で表され、ある物体が視野内で特定されたという信頼度を示す。その値は単純にはい、いいえの選択で信頼度の高低を示すこともあれば、信頼度の幅を示す数値、または証拠を示す任意の情報項目であることもある。そういった数値の例としては、いわゆるファジー論理値であり、下記および視覚検出器の方法と装置で詳述される。ここで留意すべきは、いかなる機械も一枚の画像から完璧な判断をくだすことは不可能であり、したがって不完全な証拠に基づいて判断を行なうことになるという点である。
【００２１】
物体の検出を行う際、各フレームはテストされ、その証拠は物体が視野内で特定されたことを示すのに十分であるか決定される。もしも単純なはい、いいえの値であった場合、値が「はい」であれば、その証拠は十分であるとみなされる。もしも数値であった場合、証拠が十分であるかどうかは、その数値を閾値に照らして判断される。証拠が十分であったフレームを、有効フレームと称する。ここで留意すべきは、なにをもって十分な証拠とするかについては、手近な特定のアプリケーションの理解に基づいて視覚検出器を設定する人間が最終的に定義するものであるという点である。視覚検出器は、判断をくだすのにその定義を自動的に利用する。
【００２２】
物体の検出を行う際、視覚検出器の速いフレーム速度により、視野内を通り過ぎる各物体につき複数の有効フレームが作成される。これらのフレームは、厳密に連続していないこともあるが、物体が視野内を通り過ぎるときに物体が視野内において特定されたことを示す証拠が十分でないとする視点もしくはその他の状態が存在する可能性もある。したがって、ある物体の検出は、有効フレームが確認されたときに開始され、何枚もの無効フレームが確認されるまで終了しないというのが望ましい。その枚数は、ユーザーによって適切に選択されることができる。
【００２３】
視野内を通り過ぎる物体に反応して有効フレームが確認されたら、さらなる分析をおこなってある物体が確かに検出されたかどうかを判断することが望ましい。この追加分析において、有効フレームの枚数、物体検出加重の合計、物体検出加重の平均その他の、有効フレームの統計を考慮にいれるべきである。
【００２４】
動的画像解析の方法には、物体の検査をおこなうための複数のフレームの取得と分析を含み、「検査」とはその物体の状態についてのある情報を確認することを意味する。この方法の実施例の１つにおいて、ある物体の状態とは、ユーザーによって適切に選択された検査基準を満たすかどうかということを含む。
【００２５】
この視覚検出器の方法と装置の発明の特徴は、動的画像解析が視覚事象検出と併用されており、したがって視覚事象検出法によって選択された有効フレームは、動的画像解析法で物体の検査をするさいに用いられたものである。その他のこの視覚検出器の方法と装置の発明の特徴は、動的画像解析に用いられるフレームは、トリガ信号に反応して取得することができるという点である。
【００２６】
この各フレームは、その物体が検査基準を満たしているという証拠を判断するために分析される。ある実施方法において、その証拠は値の形であり、物体の合格点と称するが、これはその物体が検査基準を満たしているという信頼度のレベルを示すものである。物体検出加重と同様に、値は単純な、はい／いいえの選択で示され、それは信頼度の高低を表し、またはファジー論理値のような数値で示され、それは信頼度のレベルの幅を表し、もしくは証拠を示す任意の情報項目である。
【００２７】
物体の状態は、例として平均またはパーセンタイル値などの物体の合格点の統計によって判断される。その状態はまた、例として物体検出加重を用いた加重平均または加重パーセンタイル値などの加重統計により判断される。加重統計は効果的にフレームから物体に負荷をかけ、その点で信頼度が高く、物体はそのフレームの視野内で実際に特定される。
【００２８】
物体の検出および検査のための証拠は、１つ以上のその物体の可視特性についての情報を調べることによって得られる。可視特性とは、その物体の一部であり、発せられた光の量、パターン、またはその他の特性が、その物体の存在、個体性、状態を表す情報を示すものである。任意の過程もしくは過程の組み合わせによって光は発せられ、それには反射、伝達、もしくは物体内部ないしは外部ソースから、もしくは物体内部のソースからの直接の屈折を含むが、これに限定されるものではない。
【００２９】
この視覚検出の方法および装置の発明における特徴の１つは、証拠を得る方法であり、それには物体検出加重および物体の合格点を含み、各フレーム内の１つ以上の関心領域における画像解析作業のために証拠は必要とされる。この方法に関する実施例において、画像解析作業は関心領域内のピクセル値に基づいて測定値を算出し、その測定値は物体の可視特性における適切な特徴のいくつかに応答する。その測定値は閾値演算によって論理値に変換され、関心領域から得られた論理値も併用してフレームの証拠を示す。論理値はバイナリもしくはファジー論理値であり、閾値および論理結合は適宜バイナリもしくはファジーである。
【００３０】
視覚事象検出において、視野内で物体特定された証拠は関心領域、測定値、閾値、論理結合、およびその他のここで詳述されるパラメータによって効果的に定義されるが、それらは集合的に視覚検出器の構成と称され、またそれらは本発明の用途に応じてユーザーによって選択される。同様に、視覚検出器の構成はなにをもって十分な証拠とするかについて定義する。
【００３１】
動的画像解析において、ある物体が検査基準を満たすという証拠はまた、視覚検出器の構成によって効果的に定義される。
【００３２】
[問題点の検討]
マシンビジョンシステムおよび視覚検出器を含む画像解析装置は、物体を検査するために必ず設定されなければならない。概して、このような装置の設定には、人間ユーザーが、検査される物体を代表する外観を持つ物体を、少なくとも１つ得る必要がある。そのユーザーは一般に演習画像と称するその物体の画像を取得し、画像解析ツールを選択し、それらのツールを演習画像上に配置し、そして操作パラメータを希望する効果を得られるよう設定することによりそれを使用する。実践されているところでは、演習画像は、実際の生産ラインに最も近い条件で得られることが望ましい。しかし、連続して動いている生産ラインにおいて、これは通常のビジョンシステムでは困難である。概して、有用な演習画像を得るためにはトリガ信号が必ず使用されねばならず、付随するトリガの制限については上述のとおりである。さらに、トリガに反応して取得された一枚の画像は、演習画像を得るのに最適の視点であるとは限らない。
【００３３】
設定の間、視覚検出器はその性能が用途の要件を満たすかどうかテストされなければならない。もしも性能が要件を満たしていれば、設定は完了したと見なされてよいが、満たしていなければ調整が必要である。どんな視覚検出器であっても完璧な検査判断を出すことはできないため、一般的に性能のテストはある物体の状態（例：合格または不合格）に関して正確な判断が行われるという見込みの査定を含む。さらに、エラーの割合（不正確な判断）は非常に低いため（望ましくは物体１０，０００に対して１）この査定は非常に困難である。従って、多数の物体をテストし、不正確な判断を示すと思われる物体のみを人間のユーザーが査定することが望ましい。
【発明の開示】
【課題を解決するための手段】
【００３４】
[発明の概要]
本発明における特徴として、視覚検出器を設定するためのシステムと方法を提供し、演習画像を連続して動いている生産ラインから得ることができるので、実際の物体の製造および検査の際とおおむね同一の状態を提供することができる。演習画像は、視覚検出器が物体を検査する際にトリガ信号を用いるか否かにかかわらず、いかなるトリガ信号も必要とせずにこれを得ることができる。
【００３５】
生産ラインは、視野内の連続した画像を取得する視覚検出器の視野内を通り過ぎる、連続して動く多数の物体を含む。フレーム速度は十分に速いため、各物体に対し、視野内を通り過ぎる際に多数の画像が取得され、その一続きのまとまりは十分な長さがあるため多数の物体の画像を含むことができる。つまり、画像の一続きのまとまりには、さまざまな物体それぞれに対するさまざまな視点が含まれており、また通常は視野内に物体がまったく存在しないかまたは物体の一部分のみが存在するといった画像も含まれる。
【００３６】
取得された画像の一続きのまとまりの中にある画像は、人間のユーザーが視覚表示器を設定する際に表示される。通常、取得したすべての画像をユーザーが各画像の有用な詳細を見るに耐えぬほど高解像度の画面に一度に表示することは実用的でないので、連続したまとまりのうち一部分が一度に表示される。
【００３７】
ユーザーはスクロール操作をおこなって、その連続したまとまり内の表示部分を順方向または逆方向へ送って選択する。一度に表示される部分は多くの画像を含むことが好ましいが、一枚だけであるかもしれない。ユーザーはスクロール操作をおこなってその連続したまとまり内の表示部分を順方向または逆方向へ送って選択し、視覚検出器によって検査されるべき典型的な物体と十分に外観が類似しているとユーザーが判断する画像を発見する。ユーザーはこの画像を演習画像とする。多くの物体１つ１つに対する多くの画像が取得されているので、ユーザーは物体または視点（例：視野内の位置）の両方を演習画像として用いることを望むこともある。
【００３８】
ユーザーはフレーム内の関心領域において的確な画像解析操作をおこなう視覚ツールを少なくとも１つ作成または設定して視覚検出器を設定し、視覚検出器は物体の検出または検査をおこなっている間、取得および分析を行う。視覚ツールは選択された演習画像を使用して作成または設定され、下記の動作を行う。
・作成する視覚ツールのタイプを選択して、その視覚ツールが演習画像と似た外観を持つ物体の検査をおこなうことができることを確実にし、
・視野に関連して関心領域の位置、規模、ならびに方向を選択し、
・その視覚ツールの操作パラメ−タを設定し、
・それによって、希望する結果を得る。
【００３９】
典型的な実施例においては、画像はグラフィカル・ユーザー・インターフェース（ＧＵ Ｉ）を用いて表示される。一度に表示される画像の一部分は、それを連続した低解像度の「サムネイル」画像として映し出すＧＵＩのフィルムストリップウィンドウ内に含まれる。そのサムネイル画像の解像度は、一度に有用な枚数の画像を表示することができ、同時に各画像が実用に耐え得る程度に十分精密であるような高さに設定される。
【００４０】
本典型的実施例において、さらにその部分画像のうち一枚の画像を最高の解像度で画像表示ウィンドウに表示する。スクロール操作によってフィルムストリップを順方向または逆方向へ送ると、画像表示ウィンドウに表示された画像も同様に順方向または逆方向へと進む。画像表示ウィンドウはまたユーザーによって作成された任意の視覚ツールのグラフ表示も含む。
【００４１】
この典型的実施例をさらに応用すると、取得された連続画像は視覚検出器内のメモリに保存され、ＧＵＩは通信用インターフェースとして視覚検出器に接続された別のヒューマン・マシン・インターフェース（ＨＭＩ）上で動作する。取得した連続画像全体をＨＭＩに送信するのに過度の時間をかけることを避けるため、視覚検出器はフィルムストリップウィンドウに表示する低解像度のサムネイル画像を作成し送信する。ＨＭＩが画像表示ウィンドウに表示する新しい最高解像度の画像を必要とする場合に限り、最高解像度の画像の送信が適切である。
【００４２】
他の典型的実施例において、取得された連続画像内の追加画像を使用することによって視覚検出器の設定の改善が可能である。ここで留意すべきは、視覚検出器の設定において演習画像がただ一枚だけ使用されるという要件および期待はない。視覚検出器の実際的な操作をさまざまな物体に対するさまざまな視点において確定し、また、それを達成するために必要に応じて設定を調整することが望ましい。
【００４３】
さらに、視覚検出器によって検査される典型的な物体と十分に類似した外観を持つ少なくとも一枚の演習画像が選択されるべきであるが、可能な限り実際の生産ラインに近い状況下において得られた他の類似しない演習画像も選択することが多くは望ましい。これらの他の演習画像には視野内に物体が存在しない画像も含まれることがあり、または物体が部分的にしか存在しないこともあるため、物体が誤って検出されることのないよう、視覚検出器の設定はこのようであることが望ましい。
【００４４】
上述した本発明に関する特徴が従来技術のマシンビジョンシステムの設定に用いられれば、生産ラインに比例して十分に速いフレーム速度で作動でき、各物体に対し多くの画像を取得することができると明らかに考えられる。
【００４５】
本発明のもう１つの側面は、製造工程中に選択された画像を取得および保存し、人間のユーザーがこれを見て視覚検出器のテストをおこなうというシステムおよび方法を提供することである。背景の項でも述べているように、人間のユーザーが検査するには実用的とはいえないほどに大量の画像が作成され、多数の物体がテストされることが望ましい。したがって、本発明は製造工程において不正確な判断を示す物体に反応していると思われる限定された数量の画像を選択、保存、および表示するシステムおよび方法を提供する。
【００４６】
生産ラインには連続した画像を取得して分析する視覚検出器の視野内を通り過ぎる、連続して動いている多数の物体が含まれる。視覚検出器は従来物体の検出および検査を目的として設定されてきた。検出には本項もしくは視覚検出器の方法および装置の項で詳述される、トリガ信号または視覚事象検出を用いる。検査は、好ましくは本項もしくは視覚検出器の方法および装置の項で詳述される、動的画像解析を用いるが、物体の状態についての情報を提供する任意の方法を用いてもよい。
【００４７】
連続したフレームからの一群のフレームは検出され検査された各物体に対応する。視覚事象検出を用いる際に、その一群のフレーム内に有効フレームを含む可能性があり、また有効フレームの間に無効フレームがはさまっていたり、有効フレームを分断している場合もある。典型的な実施例において、そのフレーム群は有効フレームおよびそれらの間にはさまれたすべての無効フレームを含む。トリガ信号を用いる際、そのフレーム群は好ましくはそのトリガに反応して取得され、分析されたすべてのフレームを含む。
【００４８】
各物体は検査され、物体の状態を示すデータに帰結する。この結果データは単純に合格・不合格である場合と、物体の検出および検査中に算出されたフレーム総数、物体検出加重または物体の合格点の統計ならびに本項もしくは視覚検出器の方法および装置の項で詳述された内容を含む場合がある。
【００４９】
各物体に対する結果データは、その物体の一群のフレームをその次の人間のユーザーが見る画面に保存するかどうかの判断に用いられる。通常、すべての保存された画像をユーザーが各画像の詳細を見るに耐えるほどの高解像度画面上に一度に表示するのは実用的ではないため、保存された画像のうち一部分が一度に表示される。表示する部分は、ユーザーがスクロール操作を用い、一群中の一枚ずつの画像または一群ごとの画像を順方向または逆方向へ送って選択する。一度に表示される部分は多くの画像を含むことが好ましいが、一枚だけであるかもしれない。
【００５０】
どの群を保存するかについては、製造工程に先立って人間のユーザーによって選択されるのが望ましい。ユーザーはすべての群、または検査に合格した物体に対応する群のみ、もしくは検査に不合格であった物体に対応する群のみを選択する。これらの選択は多くの場合有用であるが、不正確な判断を示すと思われる物体に対応する画像を保存するという目的を満たすものではない。
【００５１】
その目的を満たすため、本発明は合格・不合格の判断は望ましくは多数の決定閾値を比較することでなされるべきであると認識するが、その数値は例としてある物体が検出された、または検査に合格したなどのいくつかの条件が適用される信頼度のレベルを表す。その数値はその物体の結果データに含まれ、その物体の検出および検査中に算出されたフレーム総数、物体検出加重、または物体の合格点の統計と対応する。
【００５２】
もしもその数値が決定閾値を明らかに上回れば、その条件が適用されると信頼でき、もしも決定閾値を明らかに下回れば、その条件が適用されることは信頼できない。しかし、もしもその数値が決定閾値に近接していれば、判断は不明瞭であり結論について信頼することはできない。したがって、数値が閾値に近接している物体は不正確な判断を示すと見られ、対応するフレーム群を保存することが望ましい。
【００５３】
典型的な実施例において、画像はＧＵＩを用いて表示される。一度に表示される画像の一部分は連続する低解像度の「サムネイル」画像としてＧＵＩのフィルムストリップウィンドウに表示される。そのサムネイル画像の解像度は、一度に有用な枚数の画像を表示することができ、同時に各画像が実用に耐え得る程度に十分精密であるような高さに設定される。慣用ＧＵＩ要素によってスクロール操作が可能である。
【００５４】
本典型的実施例において、さらにその部分画像のうち一枚の画像を最高の解像度で画像表示ウィンドウに表示する。スクロール操作によってフィルムストリップを順方向または逆方向へ送ると、画像表示ウィンドウに表示された画像も同様に順方向または逆方向へと進む。画像表示ウィンドウは視覚検出器における設定の一部分である任意の視覚ツールのグラフ表示も含む。
【００５５】
本典型的実施例をさらに応用すれば、ＧＵＩは通信用インターフェースとして視覚検出器に接続された別のＨＭＩ上で動作する取得した連続画像全体をＨＭＩに送信するのに過度の時間をかけることを避けるため、視覚検出器はフィルムストリップウィンドウに表示する低解像度のサムネイル画像を作成し送信する。ＨＭＩが画像表示ウィンドウに表示する新しい最高解像度の画像を必要とする場合に限り、最高解像度の画像の送信が適切である。
【００５６】
本発明は、添付の図と関連して、次の詳細な説明から、さらに十分に理解される。
【発明を実施するための最良の形態】
【００５７】
[発明の詳細な説明]
[視覚検出器の方法と装置の基本操作]
図１は、生産ラインで物体を検査するための、視覚検出器の方法と装置による、視覚検出器の具体例を示す。コンベヤー１００は、物体と視覚検出器４００の視野間で、相対動作を起こす物体を輸送する。物体１１０、１１２、１１４、１１６と１１８は、コンベヤー１００上で左から右へ移動する。それぞれの物体は、たとえば、レベル１２０とホール１２４のように、一定の特徴を含むことが期待される。不正確に製造された物体は、１つまたは、それ以上の特徴を損なっているかもしれないし、たとえば、物体１１６は、穴がないというように、意図的でない特徴を持つかもしれない。多くの生産ラインでは、コンベヤーの動作は、回転エンコーダ１８０により、探知される。視覚検出器４００は、外観より物体の出現を検出し、適切な検査基準に基づき、検査する。もし、物体が検出された場合、視覚検出器は、コンベヤーストリームから物体を取り除くために、作動装置１７０を拒否するために信号４２０を送る。エンコーダ１８０は、視覚検出器へ信号４１０を送り、物体は、記録点と呼ばれる、いくつかの固定の架空の基準点４３０を通り、エンコーダカウントから信号４２０の正常の遅れを防ぐ手段を取るために使われる。エンコーダが使われない場合、遅れは、そのかわりに時間に基づく。
【００５８】
代わりの具体例では、視覚検出器は、拒否作動装置を制御することを含む、様々な目的のために、ＰＬＣへの信号を送る。
【００５９】
もう１つの具体例では、超高速アプリケーションに似合う、視覚検出器が物体の出現を確実に検出できないところに適し、光検出器は、物体の出現を検出するのに使われ、その目的のために視覚検出器へ信号を送る。
【００６０】
さらにほかの具体例では、離散物体がないが、物流は、たとえば、ウェブのように、継続的に視覚検出器を通過する。この場合では、物質は、継続的に検査され、信号は、適時にＰＬＣのような、機器へ視覚検出器により送られる。
【００６１】
視覚検出器が、外観により離散物体の出現を検出する場合、視覚事象検出モードで操作すると言われる。視覚検出器が、光検出器のような外部の信号を使い、離散物体の出現を検出する場合、外部トリガモードを操作すると言われる。視覚検出器が、継続的に物質を検査する場合、継続解析モードを操作すると言われる。
【００６２】
図２は、視覚事象検出モードで視覚検出器を典型的なオペレーティング・サイクルを説明するスケジュールを示す。箱５２０のような、「ｃ」とラベル付きの箱は、画像取得を示す。箱５３０のような、「ａ」とラベル付きの箱は、画像取得を示す。次の画像のキャプクチャー「ｃ」は、現在の画像の解析「ａ」と重なることが好ましいので、解析ステップ５３０は、取得ステップ５２０で捉えた画像を解析する。このスケジュールでは、解析は取得よりも少ない時間であると示されているが、一般には、解析は、アプリケーションの詳細によるので、取得よりも短くなったり長くなったりするだろう。
【００６３】
取得と解析が重なった場合、視覚検出器が画像を捉え解析できる速度は、取得時間と解析時間の長さにより、決定される。これが、「フレームレート」である。
【００６４】
視覚検出器の方法と操作は、物体に光検出器より与えられる、トリガ信号なしに確実に検出させる。図１を参照すると、物体の出現を示すトリガ信号がなく、図２では、対応するトリガステップがない。
【００６５】
また、図２を参照すると、スケジュールのポーション５００は、第一物体の検査に対応し、７つのフレームの取得と解析を含む。第２ポーション５１０は、第２物体の検査に対応し、５つのフレームを含む。
【００６６】
それぞれの解析ステップは、初めに物体が出現しているという証拠を考慮する。証拠が十分であるフレームは、有効であると呼ばれる。有効フレームの解析ステップは、たとえば、解析ステップ５４０のような、分厚い境界で示されている。具体例では、有効フレームが見つかった場合、物体の検査が始まり、連続の無効フレームが見つかった場合、終了する。図２の例では、第一物体の検査は、解析ステップ５４０に対応する第一有効フレームで始まり、解析ステップ５４６と５４８に対応する２つの連続の無効フレームで、終了する。ここで留意すべきは、第一物体で、解析ステップ５４２に対応する単一の無効フレームが、検査を終了するのには十分ではないことである。
【００６７】
たとえば、解析ステップ５４８の終わりのような、物体の検査が完了する時に、有効フレームから得た証拠に基づいて、物体の状態を決定する。具体例では、有効フレームの不十分な数が見つかり、物体が実際に出現したという不十分な証拠であると考えられる場合、操作は、有効フレームが見つからなかったように継続される。そうでなければ、物体は、検出されたと判断され、有効フレームからの証拠は、たとえば、合格か不合格のように、その状況を決定するために判断される。様々な方法は、視覚検出器の方法と装置の範囲内で、物体を検出し、状況を決定する、そのいくつかは、下記で説明され、その他の多くは、当業者に起こるであろう。
【００６８】
物体の検出と、判断が完了すると、ＰＬＣのような、当業者には良く知られているような信号を使い、機器を充当するためにレポートが作成される場合がある。このような場合には、レポートステップは、スケジュールに現れる。図２の例は、視覚検出器が信号４２０を通してダウンストリーム拒否作動装置１７０を制御するのに使われることを図１に示された設定の代わりに対応する。有効フレームで物体の位置を考えることにより、それが視野領域を通して通過する場合、視野検出器は、物体が基準点４３０を通過する記録時間５５０と５５２を推測する。ここで留意すべきは、エンコーダ１８０が使われた場合、記録時間は、実際にエンコーダカウントであり、読み手は、時間とカウントが交互に使われると理解することである。拒否作動装置１７０への適切な持続時間の１パルスを備える、レポート５６０は、時間内の厳密な遅れ５７０または、記録時間５５０からのエンコーダカウントの後、公表される。
【００６９】
ここで留意すべきは、レポート５６０は、５１０のようにその後の物体の検査を過ぎて、よく遅れる場合がある。視覚検出器は、適時までレポートを保持するためのよく知られている先入れ先出し（ＦＩＦＯ）バッファ技法を使う。
【００７０】
物体の検査が完了すると、視覚検出器は、アイドルステップ５８０を入力するかもしれない。このようなステップは任意であるが、いくつかの理由で好ましいかもしれない。最大物体率が知られている場合、新しい物体が来るちょうど手前まで、物体を探す必要がない。アイドルステップは、物体が到着できなかった場合、不良物体検出の機会を除去し、アイドルステップ中に信号が近づけさせないため、照明系の寿命を延ばすであろう。
【００７１】
図３は、外部のトリガモードで視覚検出器の典型的なオペレーティング・サイクルを説明するスケジュールを示す。トリガステップ６２０は、第一物体６００の検査を始める。連続画像取得ステップ６３０、６３２、６３４と対応解析ステップ６４０、６４２、６４４は、動的画像解析のために使われている。視覚事象検出モードでは、フレームレートの物体は、連続フレーム間で視野のしばしば、各フレームごとに２、３のピクセルしかない、小さい部分を動かすのに高く十分であることが好ましい。フレームの固定数の後、アプリケーションの詳細に基づいて選択された数は、フレームの解析から得られる証拠がその物体の状況の最終決断をするのに使われ、そして、それは、１つの具体例の中では、レポートステップ６５０の機器に供給されている。レポートステップに続く、アイドルステップ６６０は、第２物体６１０の検査を始める次のトリガステップ６７０まで入力される。
【００７２】
もう１つの具体例では、レポートステップは、図２で示されると同様の方法で遅れる。この具体例では、記録時間６８０は、トリガステップ６２０に対応する時間（または、エンコーダカウント）である。
【００７３】
[実例となる装置]
図４は、生産環境の視覚検出器のためのハイレベル・ブロック図を示す。視覚検出器８００は、適切な機器８１０に接続され、それは、信号８２０を用いて、ＰＬＣ拒否作動装置、および／または、光検出器を含むかもしれない。また、視覚検出器は、通信インターフェース８４０を用いて、ＰＣや携帯端末のようなヒューマン・マシン・インターフェース（ＨＭＩ）８３０に接続するかもしれない。通常の生産使用中、ＨＭＩは、設定と監視のために使われ、取り除かれるかもしれない。信号は、いかなる条件に合ったフォーマット、および／または、プロトコルで実行され、有線または、無線フォームで転送される。
【００７４】
図５は、視覚検出器の実例となる具体例のブロック図を示す。デジタル・シグナル・プロセッサ（ＤＳＰ）９００は、取得、解析、報告、ＨＭＩ通信、および視覚検出器に要求される、その他の適切な機能を制御するためのソフトウェアを起動する。ＤＳＰ９００は、メモリ９１０へ接続し、それは、プログラムとデータのための高速ランダム・アクセス・メモリと、電源が取り除かれた時のプログラムと設定情報を保持するための不揮発性メモリを含む。ＤＳＰは、また、機器の信号、ＨＭＩインターフェース９３０、照明モジュール９４０と撮像装置９６０を供給する、Ｉ／Ｏモジュール９２０に接続される。レンズ９５０は、撮像装置９６０の感光部材に画像する。
【００７５】
ＤＳＰ９００は、汎用コンピュータ、ＰＬＣ、または、マイクロプロセッサに限定されないものを含む、デジタル計算、情報保存、他のデジタル要素への接続の装置である。ＤＳＰ９００は、あまり費用がかからないが、高フレームレートを処理するのに十分速いことが好ましい。画像解析で、同時に撮像装置からピクセルデータを受取り、保存することができることがさらに好ましい。
【００７６】
図５の実例となる具体例では、ＤＳＰ９００は、マサチューセッツ州のノーウッドのＡｎａｌｏｇ Ｄｅｖｉｃｅｓで生産された、ＡＤＳＰ−ＢＦ５３１である。ＡＤＳＰＢＦ５３１ＤＳＰ９００の並列周辺インターフェース（ＰＰＩ）９７０は、撮像装置９６０からのピクセルデータを受取り、メモリ９１０の保存のためのダイレクトメモリアクセス（ＤＭＡ）チャンネル９７２を通して、メモリコントローラ９７４へデータを送る。適切なソフトウェア制御の下で、ＰＰＩ９７０とＤＭＡ９７２の使用は、ＤＳＰ９００により実行されたその他の解析で同時に画像取得させる。ＰＰＩ９７０とＤＭＡ９７２で制御するためのソフトウェア命令は、ＡＤＳＰ−ＢＦ５３３ Ｂｌａｃｋｆｉｎ Ｐｒｏｃｅｓｓｏｒ Ｈａｒｄｗａｒｅ Ｒｅｆｅｒｅｎｃｅ（品番８２−００２００５−０１）とＢｌａｃｋｆｉｎ Ｐｒｏｃｅｓｓｏｒ Ｉｎｓｔｒｕｃｔｉ ｏｎ Ｓｅｔ Ｒｅｆｅｒｅｎｃｅ（品番８２−０００４１０−１４）に含まれる、プログラム命令に従い、当業者により実行され、ここにある双方を参照することにより組み込まれる。ここで留意すべきは、ＡＤＳＰ−ＢＦ５３１、競合のＡＤＳＰＢＦ５３２とＡＤＳＰ−ＢＦ５３３の装置が、同一のプログラム命令を持っていて、適切な価格／実行取引を得るためにこの実例となる具体例で交互に用いられることである。
【００７７】
視覚検出器による好ましい高フレームレートは、従来の技術視覚システムで使われている撮像装置でない、撮像装置の使用を勧めている。撮像装置は、高価でない照明を用い、非常に短いシャッター時間で、操作できるように、異常に光に敏感であることが好ましい。従来の技術システムよりも更に速いＤＳＰでのピクセルデータのデキタル化、転送することができることが更に好ましい。それが、高価でなく、グローバルシャッターを持っていることがなお好ましい。
【００７８】
これらの物体は、従来の技術システムで使われた撮像装置よりも、さらに高い光感受性で、低い解像度を持つ撮像装置を選ぶことにより、対応するかもしれない。図５の実例となる具体例では、撮像装置９６０は、カリフォルニア州サンタクララのナショナル・セミコンダクターにより製造されたＬＭ９６３０である。ＬＭ９６３０は、典型的な従来の技術システムよりも約２４倍少ない、１２８×１００個、総計で１２８００個のピクセルの配列を持っている。ピクセルは、それぞれ、高い光感受性を持つ、２０平方ミクロンの広さである。ＬＭ９６３０は、３００マイクロ秒のシャッター時間でのセットが、ＬＥＤ照明を用い、３００マイクロ秒にさせるために十分（ほとんどの場合）敏感である場合、毎秒５００フレームを供給できる。この解像度は、視覚システムにははるかに低すぎると考えられるが、視覚検出器の方法と装置の物体である検出の特徴には十分である。ＬＭ９６３０の電気的インターフェースとソフトウェア制御は、２００４年の１月のＲｅｖ １．０のＬＭ９６３０データシートに含まれる命令に従い、当業者により実行され、それは、ここにある双方を参照することにより組み込まれる。
【００７９】
照明９４０は、高価でないが、短くシャッター時間をするのに十分な明るさがあることが好ましい。実例となる具体例では、６３０のナノメートルで操作されている高輝度の赤いＬＥＤの列は、たとえば、Ａｇｉｌｅｎｔ Ｔｅｃｈｎｏｌｏｇｉｅｓにより製造されたＨＬＭＰ−ＥＤ２５を使用している。もう１つの具体例では、高輝度の白いＬＥＤは、好ましい照明を実行するのに使われている。
【００８０】
図５の実例となる具体例では、Ｉ／Ｏモジュール９２０は、出力信号９２２と９２４、入力信号９２６を供給する。このような出力信号は、拒否作動装置１７０の制御のために信号４２０（図１）を供給するのに使われる。入力信号９２６は、外部トリガを供給するのに使われる。
【００８１】
次の用語の画像取得装置は、デジタル画像を取得し、保存することを意味する。図５の実例となる具体例では、画像取得装置９８０は、ＤＳＰ９００、撮像装置９６０、メモリ９１０と、関連した電気的インターフェースとソフトウェア命令を備える。
【００８２】
次の用語の分析器は、デジタル画像に限定されないものを含む、デジタルデータの分析の手段を供給する。図５の実例となる具体例では、分析器９８２は、ＤＳＰ９００、メモリ９１０と、関連した電気的インターフェースとソフトウェア命令を備える。
【００８３】
次の用語の出力信号器は、分析器に応対する出力信号を生産するための手段を供給する。図５の実例となる具体例では、出力信号器９８４は、Ｉ／Ｏモジュール９２０と出力信号器９２２を備える。
【００８４】
画像取得装置９８０、分析器９８２、出力信号器９８４を実施するために、視覚検出器の方法と装置の範囲内で使われる、多くの交互配列、装置、ソフトウェア命令があることを当業者は、理解するであろう。
【００８５】
特定の用途に合わせて本発明による視覚検出方法及び装置を効率的に動作させるために、種々のトレードオフを実施するする場合がある。下記のような定義を考えてみる。
・ｂは、撮像装置９６０の利用できる解像度を十分に活かすためにレンズ９５０の視覚拡大を選択することにより、検査され、決定される可視の特徴を含む物体の一部により使用されるＦＯＶの割合、
・ｅは、誤差の票差として使われるＦＯＶの割合、
・ｎは、それぞれの物体が典型的に見られるフレームの好ましい最小数、
・ｓは、一般に製造条件による、ＦＯＶの積としての物体間でのスペース、
・ｐは、一般に製造条件により決定される、物体の提示率、
・ｍは、上記の値に基づき選ばれた、連続のフレーム間で物体が移動するであろうＦＯＶの最大比、
・ｒは、上記の値に基づき選ばれた、最小のフレームレートである。
【００８６】
これらの定義から、以下のように示される。
【００８７】
【数１】
【００８８】
【数２】
【００８９】
撮像装置の利用できる解像度を十分に活かすために、ｂは、少なくとも５０％であることが好ましい。動的画像解析として、ｎは、少なくとも２であるべきである。したがって、物体は、連続フレーム間で視野の約１／４以下を移動することがさらに好ましい。
【００９０】
実例となる具体例では、適正価値は、ｂ＝７５％、ｅ＝５％、ｎ＝４であるべきである。これは、物体が、フレーム間でＦＯＶが約５％以下移動するので、フレームレートを選ぶには、すなわち、ｍ≦５％であることを暗示する。製造条件が、ｓ＝２であった場合、フレームレートｒは、物体提示率ｐを少なくとも約４０倍する必要がある。５Ｈｚの物体提示率を処理するためには、それは、公平な典型的の産業製造であり、好ましいフレームレートは、少なくとも約２００Ｈｚである。この速度は、画像解析が５ミリ秒フレーム期間内で適応するために配列される限り、最大３．３ミリ秒シャッター時間で、ＬＭ９６３０を使うのに活かすことができる。利用できる技術を使い、約４０，０００ピクセルまで含む、撮像装置を使いこの速度を達成することは、可能である。
【００９１】
同じ実例となる具体例と１２．５Ｈｚのより高度な物体提示率で、好ましいフレームレートは、少なくとも約５００Ｈｚである。ＬＭ９６３０は、最大３００マイクロ秒シャッターを使うことにより、この速度を処理できる。
【００９２】
もう１つの実例となる具体例では、ｍ≦２％であるので、適正価値は、ｂ＝７５％、ｅ ＝１５％、ｎ＝５であるべきである。ｓ＝２でｐ＝５Ｈｚで、好ましいフレームレートは、少なくともまた、約５００Ｈｚである。
【００９３】
[ファジー論理意思決定]
図６は、物体が、存在するかどうか、および、検査を通過するかどうかを判断することを含む、証拠を比較検討し、判断するための実例となる具体例で使われるファジー論理要素を示す。
【００９４】
ファジー論理値は、ある特定の状態が真であるという信頼度の推定値を示す０〜１の間の数である。１の数値は、状態が真である信頼度が高いことを示し、０は状態が偽であるという高い信頼度を示し、中間値は、信頼の中間レベルを示す。
【００９５】
さらに馴染み深いニ値論理は、信頼値は、０から１で制限される、ファジー論理のサブセットである。ゆえに、ファジー論理を使うここに説明された具体例は、同等のニ値論理方法または装置で置換されるこれらの値を使い、ファジー論理方法または装置で、別のニ値論理値として使うことができる。
【００９６】
ニ値論理値は、閾値を使うことにより、原測定値から得られるものであるように、ファジー論理値は、ファジー閾値を使うことにより得られる。図６を参照すると、グラフ１ １００は、ファジー閾値を示す。Ｘ軸１１１０は、原測定を示し、ｆ軸１１１４は、ファジー論理値を示し、そのｘの範囲は、全ての可能な原測定で、ｆの値域は、０≦ｆ≦１である機能である。
【００９７】
実例となる具体例では、ファジー閾値は、機能１１２４と１１２６上の点に対応して、ｘ軸、低閾値ｔ０１１２０、高閾値ｔ１１１２２で示される、２つの数を備える。ファジー閾値は、次の式で、定義することができる。
【００９８】
【数３】
【００９９】
ここで留意すべきは、この機能が、ｔ１＜ｔ０である場合、よく機能することである。
【０１００】
【数４】
【０１０１】
他の機能は、また、シグモイドのような、ファジー閾値として使うことができる。ｔとσは、閾値パラメータである。簡素であることが目標である具体例では、従来型ニ値閾値は、ニ値論理値を結果として、使うことができる。
【０１０２】
ファジー意思決定は、ＡＮＤ１１４０、ＯＲ１１５０、ＮＯＴ１１６０のファジーバージョンに基づいている。２つまたはそれ以上のファジー論理値のファジーＡＮＤは、最小値であり、ファジーＯＲは、最大値である。ｆのファジーＮＯＴは、１−ｆである。ファジー論理値が０か１に制限されている場合、ファジー論理値は二進法に等しい。
【０１０３】
実例となる具体例では、真偽の決定が必要である時はいつでも、ファジー論理値は、それが少なくとも０．５である場合は、真として見なされ、０．５以下であれば、偽であると考えられる。
【０１０４】
ここにあるファジー論理に関連して、値０および１について批判がないことは、当業者により、明らかであろう。信頼の中間レベルを示す中間値として用い、いかなる数が、状態が真であることを高信頼を示すのに使い、それとは違う数が状態を偽であることを高信頼を示すのに使うことができる。
【０１０５】
[動的画像解析]
図７は、具体例において証拠がどのように動的画像解析に値されるのかを示すものである。本実施例においては、基本決定と呼ばれる以下の２つが決定されなければならない。１．物体または物体の目に見える機能は目で見ることができる範囲に位置しているか。２．その場合、該目的物の状態はどのようなものか。
【０１０６】
物体が目に見える範囲に位置しているという証拠を構成する情報は物体検出重みと呼ばれる。物体の状態に関する証拠を構成する情報は、物体合格点と呼ばれる。様々な実施例において、該物体の状態は、該物体が使用者により適宜決定された検査基準を満たしているか否かを示すものである。以下においては、該検査基準を満たす物体は「検査合格」とされる場合もある。
【０１０７】
図７は、２つのプロット、物体検出プロット１２００および物体合格プロット１２０２を示している。２つのプロットの横軸はフレーム連番ｉを表しており、各フレームは模範線１２０４というような縦のラインで表されている。
【０１０８】
図７の実施例では、物体検出重はファジー論理値ｄｉであり、物体がフレームｉのＦＯＶに位置するという証拠であり、また以下に記述のある方法およびビジョン検出器法および装置を用いて、各フレームでビジョン検出器により演算される。物体合格点はファジー論理値ｐｉであり、物体がフレームｉにおいて適切な検査基準を満たしているという証拠であり、また以下でさらに説明される方法およびビジョン検出器法および装置を用いて、選択されたフレームでビジョンにより検出器演算される。物体検出プロット１２００の縦軸はｄｉを表し、物体合格プロット１２０２の縦軸はｐｉを表す。
【０１０９】
図７の実施例では、ｄｉ≧０．５であるフレームは有効であると考えられる（有効フレームの説明については上記図２の記述を参照）。参考として、ｄｉ＝０．５であるライン１２３０が描かれている。有効フレームに対する物体検出重および合格点は、例えばポイント１２１０および１２１２ように黒丸で描かれており、無効フレームは、例えばポイント１２１４および１２１６のように白丸で描かれている。図７の実施例では「有効」とみなされているか否かに関わらずすべてのフレームに対して物体合格重が演算されているが、物体合格重が有効フレームに対してのみ演算されている実施例もある。
【０１１０】
図７の例では、すべての有効フレームは１つの物体の検査に対応し、上記図２の記述で説明された通り、隔離非有効フレーム１２２０は検査を中断するものではない。
【０１１１】
一実施例においては、物体は有効フレーム数が一定の閾値を超えたか否かで検出されたと判断されている。別の実施例では、物体は有効フレーム全体の物体検出重の合計が特定の閾値を超えたか否かで検出されたと判断されている。これらの閾値は与えられたアプリケーションに対して適宜設定される。
【０１１２】
図７の実施例では、物体はそれぞれに対応する物体検出重みで重み付けられた、物体合格点の重み付け平均が最低でも０．５であるか否かという検査を合格したと判断されている。さらに正確にいうならば、以下の場合に物体は検査に合格する。
【０１１３】
【数５】
【０１１４】
ここで合計がすべての有効フレームを超えている。この式の効果は、物体の合格点を平均化することではなく、物体が本当に対応するフレームに出現したという信頼性に基づいて各スコアに重み付けをすることである。
【０１１５】
代替実施例においては、物体合格点平均が少なくとも０．５である場合、物体は検査に合格するために判断される。これは、すべての加重が均一である重み付け平均に等しい。
【０１１６】
図７の例においては、物体合格点の重み付け平均は約０．８６であり、それは線１２４０によって座標上に示されている。有効フレームの数は１１、そして物体検出加重の合計は約９．５である。この例においては、物体は検出されて、検査に合格する。
【０１１７】
図８は、別の具体例において、動的画像証拠がどのように検討されるかを示す。この例においては、検査される物体の特徴は分かりづらく、物体が視野を通って移動する際、表示と照明の遠近感が丁度良い場合に、主に、フレーム１３００および１３１０などの少数の有効フレームの信頼性とともに現れる。これら数フレームにおいて、証拠が十分あってその特徴が存在する限り、物体は検査に合格するはずである。このシナリオでは、どの有効フレームがこの証拠を有することになるのかを事前に知ることは不可能である。ゆえに、合格点の加重平均はこの場合には適合しない。代わりとしては、これら有効フレームのいずれかにおいて合格点が閾値を超える場合に物体を合格させることであるが、この代替案では証拠が少なすぎることに基づいて物体が合格する可能性がある。図８の具体例においては、加重パーセンタイル法が使用されている。
【０１１８】
加重パーセンタイル法は、合格点が少なくともｐである場合、分数Ｑ（ｐ）に基づく。
【０１１９】
【数６】
【０１２０】
物体は、Ｑ（ｐ）が少なくともある閾値ｔである場合、合格するために判断されるこの場合適当な閾値ｔは１０％であろう。
【０１２１】
有用な挙動は、ｔの異なる値を用いて得られる。例えば、ｔ＝５０％である場合、物体は検査に合格するために、加重中央値が少なくともｐであるかどうかを判断される。加重中央値は加重平均と似ているが、一部の例においてより適切な特性を有する。例えば、ｔ＝９０％のように高い値の場合、合格点が少なくともｐ．Ｆｏｒｔ＝１００％である有効フレームに、圧倒的大多数の加重が対応する場合のみ、物体は検査に合格するために判断され、すべての有効フレームの合格点が少なくともｐであるなら、物体は検査に合格するために判断されるであろうまた物体は、Ｑ（ｐ）がゼロより大きい場合、検査に合格するために判断されるかもしれない、このことは、合格点を有するいかなる有効フレームもが少なくともｐであるということを意味する。
【０１２２】
他の有用な変動においては、合格点が、加重の合計の分数ではなく、少なくともｐである場合、物体は加重の合計に基づいて、合格するために判断される。
【０１２３】
代替実施例では、合格点が少なくともｐである場合、パーセンタイル法がフレーム数に基づいて使われる。これは、すべての加重が等しい場合の加重パーセンタイル法に匹敵する。
【０１２４】
物体が検出されかどうか、および物体が検査に合格したかどうかを決定するために証拠を検討する上記の方法は、有用な実施礼の例を意図しているが、視覚検出器の方法および装置の領域において使用できる方法を制限するものではない。例えば、上記で使われる典型的定数０．５は、適切ないかなる値によって差し替えられてもよい。当業者は、動的画像解析に関する、さらなる多くの方法を考え付くであろう。
【０１２５】
[視覚検出器ソフトウェア要素の方法および装置]
図９は、フレーム分析、判断、入力感知、および出力信号調節のために、具体例により使用される一連のソフトウェア要素の編成（例えば、コンピュータ可読媒体のプログラムインストラクション）を示す。各要素がそれぞれクラスに対応するように、Ｃ＋＋等従来のオブジェクト指向プログラミング言語のクラス階層を使用して要素が実行されてもよい。しかしながら、ここで記載されるプロセスを実行するには、基準を満たすいかなるプログラミング技術および／または言語をも使用することができる。
【０１２６】
図示のように、ガジェットクラス１４００のように点線の境界線付きのクラスは、独立しては存在せず、ロケータクラス１４２０のような具体派生クラスを構築するのに使用される抽象基本クラスである。実線で境界されたクラスは、ユーザーがアプリケーションを設定する必要がある時に、ＨＭＩ８３０を使用して作成および破壊することができる動的オブジェクトを表す。入力１４５０などの破線で境界されたクラスは、特定のハードウェアやソフトウェアリソースと関連する静的オブジェクトを表す。静的オブジェクトは常に存在するものであり、ユーザーによって作成または破壊されることは不可能である。
【０１２７】
すべてのクラスは、ガジェットクラス１４００から派生しているため、図９に示すクラスのインスタンスであるすべてのオブジェクトはガジェットの一種である。具体例においては、各ガジェットは、
１．ユーザーが選択することのできる名前を有し、
２．他のガジェットが判断および出力信号を制御するために、論理入力として使用することができる論理出力（ファジー理論値）を有し、
３．ユーザーが操作を特定するために構成することができる一連のパラメータを有し、
４．論理出力（すなわちファジーＮＯＴ）を反転するのに使用可能な、そのようなパラメータをひとつ有し、
５．実行可能であり、そのパラメータ、該当する場合は論理入力、ある種のガジェットについては現行フレームのコンテンツに基づいて論理出力が更新され、また出力信号の設定のような副作用を引き起こすことがある。
【０１２８】
フレーム分析作業には、ガジェット実行前に、ガジェットへのすべての論理入力が更新されたことを保証するために確定された順序で、各ガジェットを一度実行することが含まれる。ある実施例においては、その論理出力が必要ではないフレームの間はガジェットが実行されない。
【０１２９】
写真クラス１４１０は、論理出力が現行フレームのコンテンツに依存するすべてのガジェットの基本クラスである。これらのクラスは実際に画像解析を行うクラスである。各写真は現行フレームの関心領域（ＲＯＩ）のある特徴を測定する。ＲＯＩは、検査される物体の可視機能に対応する。この測定は写真のアナログ出力と呼ばれる。写真の論理出力は、感度閾値と呼ばれる、ユーザーによって構成されることができる一連のパラメータ中に存在するファジー閾値を用いて、アナログ出力から計算される。写真の論理出力は、判断を下す際に使われる証拠を提供するのに使用可能である。
【０１３０】
検出器クラス１４３０は、ＲＯＩにおける測定および判断を下す際の証拠を提供することを主目的とする写真の基本クラスである。具体例においては、すべての検出器ＲＯＩは円型である。円形のＲＯＩは、回転を処理する必要がないため実行を簡素化し、またＲＯＩの形が１つしかないことで、ユーザーが学習すべきことを簡素化する。検出器パラメータにはポジションおよびＲＯＩの直径が含まれる。
【０１３１】
輝度検出器１４４０はＲＯＩにおける加重平均やパーセンタイル輝度を測定する。コントラスト検出器１４４２はＲＯＩにおけるコントラストを測定する。エッジ検出器１４４４は、特定方向において、ＲＯＩがエッジのように見える領域を測定する。スポット検出器１４４６は、ＲＯＩが穴のような丸い特徴に見える領域を測定する。テンプレート検出器１４４８は、ＲＯＩがユーザーが選択した、事前にトレインされたパターンのように見える領域を測定する。検出器の操作については、以下および視覚検出器の方法および装置においてさらに記述する。
【０１３２】
ロケータクラス１４２０は、２つの主目的を持つ写真を表す。１つ目は、判断を下す際の証拠を提供することが可能な論理出力を生成することであり、これにより、他のいかなる検出器のようにも使用することができる。２つ目は、視覚検出器の視野にあるオブジェクトの位置を決定することにより、他の写真のＲＯＩのポジションを、オブジェクトのポジションを追跡するように移動することができることである。どのロケータも、１つのまたは両方の目的に使用することができる。
【０１３３】
具体例においては、ロケータは、フレーム内における一次元領域でエッジを検索する。検索方向は、エッジに向かって垂直であり、ユーザーによって設定されるパラメータの中にある。ロケータのアナログ出力はエッジ検出器のアナログ出力と似ている。ロケータについては視覚検出器の方法および装置においてさらに記載される。
【０１３４】
入力クラス１４５０は、外部トリガのような、視覚検出器に送られる入力信号を表す。出力クラス１４５２は、拒否作動装置を制御するために使われる可能性のあるような、視覚検出器からの出力信号を表す。各物理的入力に対して、典型的入力信号９２６（図５）のような、入力クラスの静的インスタンスが１つ、および、各物理的出力に対して、典型的出力信号９２２および９２４のような、出力クラスの静的インスタンスが１つ存在する。
【０１３５】
ゲートベースクラス１４６０はファジー論理の意思決定を実行する。各ゲートは、他のガジェットの論理出力に接続可能な論理入力を１つ以上有する。各論理入力は、ユーザーが設定可能なパラメータを用いて、反転（ファジーＮＯＴ）することが可能である。ＡＮＤゲート１４６２は、ファジーＡＮＤ操作を実行し、ＯＲゲート１４６４は、ファジーＯＲ演算を実行する。
判断クラス１４７０は、２つの静的オブジェクトである、物体検出判断１４７２および物体合格判断１４７４の基本クラスである。判断は、連続フレームに対して証拠を検討することにより主な判断を下して、動的画像解析を実行する。各判断は、ユーザーが写真の論理出力を接続する論理入力、あるいはより典型的には、通常写真および他のゲートであるガジェットの論理的組み合わせを提供するゲートを有する。
【０１３６】
物体検出判断１４７２は、物体が検出されたかどうかを決定し、物体合格判断１４７４は、その物体が検査に合格するかどうかを決定する。物体検出判断への論理入力は、各フレームに対する物体検出の加重を提供し、物体合格判断への論理入力は、各フレームに対する物体合格点を提供する。
【０１３７】
物体検出判断の論理出力は、いつ判断が下されたのかを示すパルスを提供する。「プロセス中の出力」というある操作モードにおいては、パルス立ち上がりは、例えば図２の分析ステップ５４０の終了時などの、物体の検査開始時に発生し、立ち下がりは、例えば分析ステップ５４８の終了時などの、物体の検査完了時に発生する。「終了時の出力」という別のモードにおいては、パルス立ち上がりは、例えば図２の分析ステップ５４８の終了時のような、物体の検査が完了する時に発生し、立ち下がりは、例えばアイドルステップ５８０の終了時のように、その少し後に発生する。
【０１３８】
物体合格判断の論理出力は、最も最近に検査された物体が合格したかどうかを示すレベルを提供する。例えば分析ステップ５４８の終了時のように、物体の検査が終了した時にレベルの状態が変わる。
【０１３９】
図１０は、物体の検査に写真がどのように使われることができるかという例を示す。図１０は物体１１０（図１より）のイメージを表しており、ラベル機構１２０およびホール機構１２４とともに、写真を表す重畳グラフィックスを有し、それはユーザーが見て操作できるようにＨＭＩ８３０に表示される。ＨＭＩ上での画像および重畳グラフィックスの表示は画像表示と呼ばれる。
【０１４０】
図１０は画像表示を表しており、ラベル１５１０およびホール１５１２を含む物体１５００を示す。この例における物体は、検査される６つの可視特徴を含み、後に説明するロケータ２つおよび検出器４つに対応している。
【０１４１】
ロケータ１５２０は、物体の上端を検出して位置を確認するために使用され、別のロケータ１５２２は右端を検出して位置を確認するために使用される。
【０１４２】
輝度検出器１５３０は、物体の存在を検出する助けとなるように使用される。この例では、背景は物体より明るく、感度閾値が２つの明るさのレベルを区別するように設定されており、より明るい背景ではなく、より暗い物体を検出するために論理出力が反転されている。
【０１４３】
後にさらに記載されるように、ロケータ１５２０および１５２２、そして輝度検出器１ ５３０は、ともに物体が検出されことを判断するのに必要な証拠提供する。
【０１４４】
コントラスト検出器１５４０は、ホール１５１２の存在を検出するために使用される。ホールが存在しない場合コントラストは非常に低く、ホールが存在する場合コントラストは極めて高くなる。スポット検出器もまた使用される。
【０１４５】
エッジ検出器１５６０は、ラベル１５１０の存在および位置を検出するのに使用される。ラベルが存在しなかったり、水平に間違った位置にあったり、著しく回転している場合は、エッジ検出器のアナログ出力は非常に低くなる。
【０１４６】
輝度検出器１５５０は、正しいラベルが貼られたかどうかを確認するために使用される。この例では、正しいラベルは白であり、誤ったラベルは暗い色をしている。
【０１４７】
物体が視覚検出器の視野を通って左から右に移動すると、ロケータ１５２２が物体の右端を追跡し、物体に対して正しい位置になるよう、輝度検出器１５３０、コントラスト検出器１５４０、輝度検出器１５５０、およびエッジ検出器１５６０を再配置する。ロケータ１５２０は、検出器を物体の上端の位置に基づいて再配置し、視野内の物体のいかなる垂直位置の変動をも修正する。一般的に、ロケータはどのような位置にでも配置することができる。
【０１４８】
ユーザーは、既知のＨＭＩ技術を使用して、画像表示内で写真の操作をすることができる。写真はマウスをクリックすることにより選択可能であり、またドラッグすることにより、そのＲＯＩは移動、サイズ変更、および回転が可能である。ロケータに関する付加的な操作は、視覚検出器の方法および装置で記載される。
【０１４９】
図１１は、図１０の設定例に対応する配線図を含む論理ビューを示す。配線図は、物体および自動装置へのインターフェースを検査するのに使用されるすべてのガジェット、およびガジェットの論理入力・出力間の接続を示す。配線図は、ユーザーが見て操作するようにＨＭＩ８３０に表示される。ガジェットの表示およびそれらのＨＭＩにおける論理的相互接続は論理ビューと呼ばれる。
【０１５０】
さらに図１１の配線図について言及すると、「トップ」という名前のロケータ１６２０は、図１０の画像表示内のロケータ１５２０に対応して、ワイヤー１６２４によりＡＮＤゲート１６１０に接続される。同様に、「サイド」ロケータ１６２２はロケータ１５２２に対応して、「ボックス」検出器１６３０は輝度検出器１５３０に対応して、ＡＮＤゲート１６１０に接続される。小円１６３２で示されるように、および上記の通り、明るい背景に対してより暗い物体を検出するために、「ボックス」検出器１６３０は反転されている。
【０１５１】
ＡＮＤゲート１６１０の論理出力は、物体の上端が検出されたこと、物体の右端が検出されたこと、および背景が検出されていない、ということについて信頼性のレベルを表している。信頼性が高く３つの条件がすべて真である場合、信頼性が高いため物体自体が検出されている。ＡＮＤゲート１６１０の論理出力は、各フレームに対する物体検出の重みとして使用されるため、物体検出判断１６００に配線される。
【０１５２】
この場合の物体検出判断への論理入力は、現行フレームに依存するため、視覚検出器は視覚事象検出モードで作動している。外部トリガモードで作動するためには、入力ガジェットは物体検出に配線される。連続分析モードで作動するためには、物体検出には何も配線されない。
【０１５３】
物体検出に配線するガジェットの選択は、アプリケーションの知識に基づきユーザーによって行われる。図１０および１１の例においては、ユーザーは上および右だけを検出するのでは、物体の存在を確認するのに分ではないと決定したかもしれない。ここで留意するべきなのは、ロケータ１５２２は、物体の右端に反応するのと同じように、ラベルの左端にも反応するかもしれないこと、そしておそらくこの時点で、プロダクションサイクルにおいて、ロケータ１５２０が背景で他のエッジを発見したかもしれないということである。検出器１５３０を加えること、またＡＮＤゲート１６１０を用いて３つすべての条件を満たすことで、物体の検出は信頼性の高いものになる。
【０１５４】
配線図において、コントラスト検出器「ホール」１６４０はコントラスト検出器１５４０に対応して、輝度検出器「ラベル」１６５０は輝度検出器１５５０に対応して、そしてエッジ検出器「ラベルエッジ」１６６０はエッジ検出器１５６０に対応して、ＡＮＤゲート１６１２に配線される。ＡＮＤゲート１６１２の論理出力は、３つの画像特性すべてが検出されたという信頼性のレベルを表し、各フレームに物体合格点を提供するために物体合格判断１６０２に配線される。
【０１５５】
物体検出判断１６００の論理出力は、ＡＮＤゲート１６７０に配線される。物体合格判断１６０２の論理出力は反転されており、またＡＮＤゲート１６７０に配線される。物体検出判断は「終了時に出力」モードに設定されているため、物体が検出され検査が完了した後、物体検出判断１６００の論理出力にパルスが出現する。物体合格１６０２の論理出力は反転されているため、物体が検査に合格しない場合のみ、ＡＮＤゲート１６７０の論理出力上に出現する。ＡＮＤゲート１６７０の論理出力は、拒否作動装置１７０に直接接続可能な視覚検出器からの出力信号を制御する「拒否」という名前の出力ガジェット１６８０に配線される。出力ガジェット１６８０は、ダウンストリームの拒否作動装置に必要とされる適切な遅延５７０を行うために、ユーザーにより設定される。
【０１５６】
ユーザーは既知のＨＭＩ技術を使うことにより、論理ビュー内でガジェットを操作することができる。ガジェットはマウスをクリックすることにより選択可能であり、そのポジションはドラッグによって移動可能、そしてワイヤーはドラッグ・ドロップ操作により作成が可能である。
【０１５７】
ユーザーが視覚検出器について理解しやすいように、ガジェットおよび／またはワイヤーはファジー論理値を示すために、視覚的外観を変更することができる。例えば、ガジェットおよび／またはワイヤーは、論理値が０．５未満の場合は赤く、それ以外の場合は緑に表示されることが可能である。図１１において、ワイヤー１６０４および１６７２は、０．５未満の論理値を示すために破線で描かれており、例えばワイヤー１６２４などの他のワイヤーは、論理値が０．５に等しいかまたはそれ以上であることを示すために実線で描かれている。
【０１５８】
当業者は、ガジェットの適切な選択、設定、および配線により、様々な物体が検出および検査可能であるということを認識するであろう。当業者はまた、ガジェットクラス階層は、視覚検出器の方法および装置を実施するために使われる、多くのソフトウェア技術のうちの１つに過ぎないということをも認識するであろう。
【０１５９】
[視覚検出器を設定するための本発明の実施]
ここで説明される本発明は、前記のアート視覚システムを含む、いかなる画像解析装置を設定するためにも使用でき、以下に述べる発明の具体例は、視覚検出器の設定に基づく。
【０１６０】
図１２は、視覚検出器の設定に関わる本発明の側面を実施するために使用されるであろう生産ラインなどの一部を示す。図１２は、視覚検出器４００が、まだ対照を検査するために設定されておらず、欠陥のある物体１１６が、拒否メカニズム１７０によってコンベヤー１００から排除されていない点を除き、図１と一致する。生産ラインは、コンベヤーのスピードおよび周囲の照明を含むそのほか全ての点において、通常の製造条件のもとで稼動しており、また、検査される物体を示す、物体１１０、１１２、１１４、１１６および１１８を含み、欠陥のある物体１１６の場合は、検知される欠陥のサンプルを含むことが望ましい。
【０１６１】
視覚検出器４００は、その視野の一連の画像を取得する。図５の装置の例に関しては、照明９４０が視野を明るくし、撮像装置９６０が画像を取得し、ＰＰＩ９７０、ＤＭＡ９７２、メモリコントローラ９７４を経由しメモリ９１０に保存される。上記の図５の説明で詳しく述べたように、フレームレートは、視野を通るときに物体それぞれの複数の画像を取得する分である。さらに、メモリ９１０は、複数の物体それぞれからの複数の画像を保存するのに分なサイズである。
【０１６２】
図１３は、発明の具体例において使用されるメモリ９１０の構成を詳細に示す。メモリの一部は、環状バッファ５０００に使用され、そこで要素例５０１０、５０１２、５０１４および５０１６を含む環状バッファのそれぞれの要素が、取得した画像全体を保持する。撮像装置９６０がＬＭ９６３５の場合の発明の具体例においては、例えば、環状バッファ５０００のそれぞれの要素は、１２８×１００個の８ビットピクセルを備える。
【０１６３】
明確にするために、図では環状バッファ５０００は、２４個の要素を有するのみだが、実際は、それ以上であることが望ましい。一例では、１６０個の要素が使用されているが、わずか２メガバイト以下の保存しか必要とせず、また２００フレーム／秒の生産工程で約０．８秒、あるいは５００フレーム／秒の場合は０．３２秒を保存することができる。明らかに、フレームレートが低いと、画像を保存できる時間は長くなる。
【０１６４】
環状バッファの操作と実施は、技術的によく知られる。図１３の発明の具体例においては、要素例５０１０の網掛けの要素などが使用中で（すでに取得した画像を含む）、網のかかっていない要素例５０１２などが使用できる。書き込みポインタ５０２０は、環状バッファ内の次に使用可能な要素５０１４を指しているが、そこには次に取得した画像が保存される。読み取りポインタ５０２２は、もっとも長く使用中の要素５０１６（最も以前に保存された）を指している。図５の発明の具体例では、ＤＭＡチャネル９７２により、取得した画像がメモリ９１０内のどこにでも位置することができるため、画像は次に使用可能な要素５０１４内に、コピーの必要もなく、直接取得される。非常に高いフレームレートが必要であることを前提とすると、これは望ましい。
【０１６５】
ある時点で、いっぱいになった環状バッファ５００２の例のように、環状バッファはいっぱいになる。書き込みポインタ５０４０は、唯一使用可能な要素５０３４を指している。一例では、環状バッファがいっぱいになると、画像の取得は終了する。別の例では、読み取りポインタ５０４２が指している最も古い要素５０３６を次の取得で上書きし、さらに要素の上書きをして、ポインタを進め続け、人間ユーザーからのコマンドなど、画像取得を終了させる何らかの状態まで、画像取得は継続される。画像取得が終了したあとは、環状バッファ５００２は、人間ユーザーが表示できる一連の画像５０５０を備える。
【０１６６】
図４に戻るが、視覚検知器は、設定の目的で、通信インターフェース８４０を経由し、ヒューマン・マシン・インターフェース（ＨＭＩ）８３０に接続することができる。ＨＭＩが、視覚探知機８００の一部となることも可能だが、ＨＭＩは一般的に生産に使う必要がないためあまり好ましくなく、またそのためＨＭＩは、複数の視覚探知機により共有することができる。ＨＭＩは従来の設計のグラフィカル・ユーザー・インターフェース（ＧＵＩ）を実行することができるが、その例の一部は図４に示される。
【０１６７】
ＧＵＩにより、一連の画像５０５０の一部を視覚探知機のメモリ９１０に保存し、人間ユーザーが表示できるようにする。図１４の発明の具体例では、映写スライドウィンドウ５１０２が、８つのサムネイル画像５１１０、５１１２、５１１４、５１１６、５１２０、５１３０、５１３２および５１３４を表示するが、それぞれのサムネイル画像は、一連の画像５０５０における対応する画像の解像度の低いバージョンである。一般的に、例えば表示される部分５０５２のように、サムネイル画像は、連続した画像に順番に対応するが（図１３）、対応するサムネイル間のある数の画像を飛ばすなど、別の配列も有用である。
【０１６８】
表示された部分５０５２を、一連の画像５０５０内で前または後ろに進めるための一組のスクロールコントロール５１５０が、映写スライドウィンドウ５１０２内に備えられる。次への画像コントロール５１６０は、表示された部分５０５２を１つの画像ごとに前に進め、前への画像コントロール５１６２は、表示された部分５０５２を１つの画像ごとに後ろに進める。コントロール５１６４および５１６６については下記で説明する。
【０１６９】
サムネイル５１２０は、物体５１４０の解像度の低い画像を表示するが、例えば物体１１４に該当する（図１２）。物体５１４０はまた、サムネイル５１１６および５１３０において、やや違う視点で見ることができ（視野内の位置）、またサムネイル５１１０、５１１２、５１１４、５１３２および５１３４においても、部分的に見ることができる。２つ目の物体５１４２は、例えば欠陥のある物体１１６に該当するが、部分的にサムネイル５１１０および５１１２上に見られる。三番目の物体は、例えば物体１１２に該当するが、部分的にサムネイル５１３４上に見られる。スクロールコントロール５１５０を使用して、スクロールコマンドを出すことで、ユーザーは表示された部分５０５２を、前あるいは後ろに進め、それまでに取得されたどの物体をどの視点でも、また通常の生産中に視野に存在しうる他のどんな状態も見ることができる。
【０１７０】
図１４の発明の具体例では、太く縁取りしたサムネイル５１２０に対応する画像は、画像表示ウィンドウ５１００において、最大解像度で表示することもできる。スクロールコマンドが表示部分を前後に進めると、違う画像がサムネイル５１２０内に移動し、画像表示ウィンドウ５１００に最大解像度で表示される。
【０１７１】
視覚検知器を設定するために、ユーザーは、画像表示ウィンドウ５１００に、最初の演習画像として使用するのに適した画像が現われるまでスクロールコマンドを出す。普通、代表的な検査される物体に外見が分類似しているとユーザーが判断した場合、１つの画像が適当である。画像表示ウィンドウ５１００上の物体１５００は、図１０でも示すが、サムネイル５１２０上の物体５１４０に対応することに注意したい。最初の演習画像が選ばれると、ユーザーは、ロケータ１５２０および１５２２、コントラスト検出器１５４０、明度検出器１５５０、エッジ検出器１５６０など、１つ以上の画像ツールを作成して、視覚探知機を設定する。この発明の具体例では、画像ツールは、どの写真１４１０でもよい（図９）。作成されたそれぞれの画像ツールのタイプ、位置、サイズ、方向および動作は、最初の演習画像で物体１５００と外見が類似している物体が間違いなく検出され、検査されるようにユーザーによって選択される。
【０１７２】
最初の演習画像を用いた設定が完了すると、確認を行い、場合によっては、追加の演習画像も使用して設定を調整することが望ましい。スクロールコマンドを出して二番目の演習画像を選ぶこともでき、サムネイル５１２０および画像表示ウィンドウ５１００の双方に表示される。二番目の演習画像は、単純に以前に作成された画像ツールの動作を判断するため、あるいは追加で画像ツールの作成、または以前に作成された画像ツールの位置、サイズ、方向および／または動作の調整によって設定をアップデートするために使用することができる。
【０１７３】
例えば、最初の演習画像を使用して行われた最初の設定には、先に説明した、ロケータ１５２０および１５２２と併せて物体の存在を検知するために使用される明度検出器１５３０を含まなかったかもしれない。最初の演習画面を見るだけでは、ユーザーは明度検出器１５３０が必要になるかもしれないと気付かなかったかもしれない。物体が視野において一部だけ存在する、あるいは物体が存在しない二番目の演習画像を検討することによってのみ、ユーザーは誤検出を避けるために明度検出器１５３０が必要であると認識できたかもしれない。
【０１７４】
同様に、代表的な検査物体に外見が類似しない欠陥のある物体１１６に対応する、二番目の演習画像は、コントラスト検出器１５４０を正しく調整する必要がある。
【０１７５】
[視覚検出器をテストするための本発明の実施]
視覚検出器を設定する過程において、画像ツールの動作を値するために、二番目の演習画像を使用して行うことができるよりもさらに徹底した設定のテストを行うことが望ましい。そういったテストが多数の物体を含み、限られた数の画像を取得、保存し、それらの画像が誤判断を示す可能性のある物体に対応することがさらに望ましい。同様のテストが実際の製造過程でも望まれる。コンベヤーのスピードおよび周囲の照明を含む製造環境が、設定時と製造過程において同一であることが望ましい。製造過程を示す図１を、設定を示す図１２を比較すると、図１２においては拒否作動装置１７０が視覚検出器４００から拒否信号を受け取っていないことが唯一の相違であるとわかる。
【０１７６】
視覚検出器のテストに使われる実施例において、視覚検出器は離散した物体の検出および検査のために設定される。視覚検出器は、図２に示されるように操作して、視覚事象検出を使用したり、図３に示されるように操作して、外部トリガ信号を使用したりしてもよい。視覚検出器は図１０および１１に示されるような設定を有することになるであろう。
【０１７７】
図２については、有効フレーム５４０から始まり無効フレーム５４８で終る７つのフレームのグループ（時系列部５００）は、物体１の検出および検査に影響を及ぼす。同様に、時系列部５１０に対応する５つのフレームのグループは、物体２の検出および検査に影響を及ぼす。物体１や物体２のような物体が人間ユーザーの関心事である可能性がある場合、大抵、誤った決定を表すかもしれないので、本発明はグループ内のフレームを保存および表示する方法およびシステムを提供する。ある実施例においては、保存および表示されるこのグループは、フレーム５４２のような無効フレーム、および終了フレーム５４６および５４８を含む。具体例においては、５４６および５４８のような終了フレームは、保存および表示されるグループから省略される。
【０１７８】
外部トリガが使われる図３に関しては、物体１について保存および表示されるフレームのグループは、その物体に対して取得および分析された、すべてのフレームを含む、すなわちフレーム６４０、６４２、および６４４である。
【０１７９】
上記の通り、物体の状態に関する情報を含む結果を決定するために、物体は分析される。結果は、物体が検査に合格したかどうか、というくらい単純なものであるかもしれない。具体例において、結果は、物体が検出され、検査に合格するという、相対的な信頼性を示す数字を含む。例えば、そのような数字の１つは、有効フレームの数や、物体が検出されたかどうかを決定する決定閾値と比較された、物体検出加重の総和であるかもしれない（これらの数字に関するさらなる詳細については、図７に関する上記記述を参照）。
【０１８０】
これらの結果は、対応する物体のフレームグループが、人間ユーザーの関心事であるかどうかを決定するのに使用され、そうである場合は、結果は後続の表示のために保存されるであろう。ユーザーは、すべての物体に関心があるかもしれないし、あるいは合格する物体だけに、または不合格の物体だけに関心があるかもしれない。大抵の場合、誤った決定を示しがちな物体に対応する画像を保存および表示することが最も望ましい。なぜなら、それらの画像が発生することは非常にまれであり、注意深く調査することを最も必要とする状況であるからである。誤った決定は、相対的な信頼性を示す数字が決定閾値に近い場合に起こりやすい。
【０１８１】
保存されたフレームのグループは一連の画像であり、その一部は上記の通り図１４に示されたグラフィカルユーザーインターフェースによって表示可能である。スクロール制御５１５０は、次画像５１６０および前画像５１６２に加えて、それぞれのグループごとに表示部を前後に進める、次グループ制御５１６４および前グループ制御５１６６を含む。
【０１８２】
図１５は、具体例で使用されるメモリ９１０（図５）の編成の詳細を表す。フレームバッファプール５２００は、フレームバッファ５２３０、５２３２、５２３４および５２３８のような、多目的に使用される多くの個別フレームバッファを含む。フリープール５２１０は、リングバッファとして編成され、１つの物体に対してフレームを取得し、分析することに使用される。書き込みポインタ５２２０は、次に使用可能なフレームバッファ５２３０を表し、そこで次のフレームが取得される。フレームバッファ５２３０に取得される画像と同時に、フレームバッファ５２３２内にある前の画像が分析される。以前に取得および分析された現行グループ内のフレームには、読み込みポインタ５２２２によって表されるフレームバッファ５１３４から始まって、影が付けられる。
【０１８３】
ここで留意すべきなのは、新しい物体の有効フレームがまだ見付かっていない場合には、現行グループが存在しないので、読み込みポインタ５２２２はフレームバッファ５２３２を表し、新しい物体が見付かるまで、それぞれの新しいフレームを進めるということである。さらに、フリープール５２１０が満杯になった場合、グループ内の一部の古いフレームは保存されなくなるということにも留意するべきである。
【０１８４】
物体の分析が完了し、物体のステータスに関する情報を含む結果が決定されると、グループは完了する。結果が、次表示にグループが保存されないことを示す場合には、読み込みポインタ５２２２を進めるだけで、画像は廃棄される。グループが保存される場合は、フレームバッファはフリープール５２１０から除外され、保存グループ５２１２、５２１４、および５２１６を含む、保存グループプール５２０４に追加される。新しい保存グループを除外した後に、フリープール５２１０内のフレームバッファ数が少なくなりすぎる場合には、１つ以上の古い保存グループを保存グループプール５２０４から取って、このフリープールに戻してもよい。これらの古いグループは、もう表示に使用することはできないであろう。
【０１８５】
具体例においては、フレームバッファは決してコピーされることはない。その代わりに、フレームバッファは、当業者に既知の技術を用いてポインタ操作を行うことにより、フリープール５２１０と保存グループプール５２０４の間を移動させられる。
【０１８６】
リスト要素５２４０、５２４２、および５２４４を含む保存グループ５２０２のリストは保持される。例えば、リスト要素５２４０は、次の要素ポインタ５２５０、フレームバッファカウント５２５２、結果情報５２５４および保存グループポインタ５２５６を含む。結果情報５２５４は、グループを保存するべきかどうか決定するのに使用される、相対的信頼度数を含む。この場合留意するべきなのは、決定閾値は０．５であり、３つの保存グループは、この閾値に近い信頼度数を有しているということである。さらに、このリストは決定閾値に近い順に保存されるということにも留意すべきである。保存グループを、保存部ループプール５２０４から移動してフリープール５２１０に戻す必要がある場合、決定閾値から最も遠い、リストの一番最初にあるグループが動かされる。
【０１８７】
本発明の具体例の詳細な説明を上述した。発明の精神および領域から外れることなく、様々な改良および追加を行うことが可能である。例えば、代替実施例によると、ＧＵＩのレイアウトおよび制御オプションは、非常に可変性が高い。ＧＵＩのフィルムストリップウィンドウ内にあるサムネイルの数およびサイズもまた、変動しやすい。従って、この説明は、例証と解釈されることを意図しており、発明の領域を制限するものではない。
【図面の簡単な説明】
【０１８８】
【図１】生産ライン上で物体を検査するための、視覚検出器の方法と装置にかかる、視覚検出器の具体例を示す。
【図２】視覚事象の検出を使用した、視覚検出器のための典型的なオペレーティング・サイクルを図解する時系列を示す。
【図３】トリガ信号を使用した、視覚検出器のための典型的なオペレーティング・サイクルを説明する時系列を示す。
【図４】生産環境における、視覚検出器のためのハイレベル・ブロック図を示す。
【図５】視覚検出器の具体例のブロック図を示す。
【図６】物体が存在するかどうか、および、検査に合格するかどうかなど、証拠を検討し、判断するために、具体例で使われるファジー論理要素を示す。
【図７】具体例において、動的画像解析のために証拠がどのように検討されるかを示す。
【図８】別の具体例において、動的画像解析のために証拠がどのように検討されるかを示す。
【図９】フレームを解析し、決断を下し、入力を感知し、出力信号を制御するために、具体例によって使用される、一連のソフトウェア要素の編成（例えば、コンピュータ可読媒体のプログラムコマンドなど）を示す。
【図１０】典型的な物体を検出するために使うことのできる視覚検出器の典型的な構成の一部を示す。
【図１１】図１０の典型的な設定に対応する構成の別の部分を示す。
【図１２】視覚検出器の設定に使用される物体を含む生産ラインを示す。
【図１３】視覚検出器の設定に使用される画像を保存するためのメモリ配置を示す。
【図１４】スライドウィンドウおよび画像表示ウィンドウを含む、グラフィカル・ユーザー・インターフェースの一部を示す。
【図１５】視覚検出器をテストするための保存画像のためのメモリ配列を示す。
【特許請求の範囲】
【請求項１】
物体を検出するための画像解析装置を設定するための方法であって、
前記画像解析装置の視野に対し、連続する物体を継続的に動かすステップと、
連続画像が、前記連続する物体からの複数の物体のそれぞれの複数の画像を含むように、前記視野の連続画像を取得するステップと、
人間のユーザーによる閲覧のために前記連続画像の一部を表示するステップであって、表示選択された前記一部は前記人間のユーザーからのスクロールコマンドに反応し、前記スクロールコマンドは、前記一部を連続画像で前後に動かすことができる、ステップと、
前記連続画像の表示部分から第一演習画像を選択するステップと、
前記第一演習画像の物体と外見が似ている物体を検査することができる、少なくとも一つの視覚ツールを、前記第一演習画像を使いながら作成することにより、前記画像解析装置を設定するステップと、
を含む方法。
【請求項２】
前記連続画像の表示部分から少なくとも一つの第２演習画像を選択するステップと、
物体を検査するための追加の視覚ツールを作成し、
以前作成された視覚ツールの領域の位置を調整し、
以前作成された視覚ツールの領域の大きさを調整し、
以前作成された視覚ツールの領域の方向を調整し、
以前作成された視覚ツールの操作パラメータを調整し、
以前作成された視覚ツールの方向を評価することのうち少なくとも一つを実行するために、前記少なくとも一つの第２演習画像を使用するステップと、
をさらに含む、請求項１に記載の方法。
【請求項３】
前記少なくとも一つの第２演習画像が、検査される物体に外見が似ていない、少なくとも一つの画像を含む、請求項２に記載の方法。
【請求項４】
前記外見が似ていない少なくとも一つの画像が、視野に物体が存在しない画像を含む、請求項３に記載の方法。
【請求項５】
前記外見が似ていない少なくとも一つの画像が、視野に部分的に物体が存在する画像を含む、請求項３に記載の方法。
【請求項６】
前記画像解析装置は、複数の物体画像を解析することにより、物体を検査できる視覚検出器であり、前記複数の物体画像は、前記視覚検出器の視野における物体の複数の位置を含む、請求項１に記載の方法。
【請求項７】
視覚検出器を試験するための方法であって、
前記視覚検出器の視野に対し、連続する物体を継続的に動かすステップと、
複数のフレームグループを取得するステップであって、前記複数のフレームグループの各フレームグループが、前記連続する物体中の一つの該当する物体の複数の画像を含むように、前記複数のフレームグループの各フレームは前記視野の画像を含む、ステップと、
前記複数のフレームグループに対応する複数の結果を決定するために各物体を分析するステップであって、前記複数の結果のうちの各結果は、前記フレームグループに対応する物体の状態についての情報を含む、ステップと、
前記複数の結果に反応して、前記複数のフレームグループから選択されたフレームグループのセットを保存するステップであって、前記フレームグループのセットは、保存された画像のセットを含む、ステップと、
人間のユーザーによる閲覧のために前記保存された画像の一部を表示するステップであって、表示選択された前記一部は、前記人間のユーザーからのスクロールコマンドに反応し、前記スクロールコマンドは、前記一部を前記保存された画像で前後に動かすことができる、ステップと、
を含む方法。
【請求項８】
前記複数の結果のうちの各結果は、対応する物体が、検査を合格するかどうかを示し、
物体が検査を合格することを対応する結果が示す前記物体に、前記選択されたフレームグループのセットが対応する、請求項７に記載の方法。
【請求項９】
前記複数の結果のうちの各結果は、対応する物体が検査を合格するかどうかを示し、
物体が検査を合格しないことを対応する結果が示す前記物体に、前記選択されたフレームグループのセットが対応する、請求項７に記載の方法。
【請求項１０】
前記複数の結果のうちの各結果は、対応する物体が検査を合格するという相対的信頼度を示す数を含み、
その数は、対応する物体が検査を合格するかどうかを決めるための決定閾値と比較され、前記選択されたフレームグループのセットは、対応する数が前記決定閾値に近い物体に対応する、請求項７に記載の方法。
【請求項１１】
前記複数の結果のうちの各結果は、対応する物体が検出されたという相対的信頼度を示す数を含み、
その数は、対応する物体が検出されたかどうかを決めるための決定閾値と比較され、
前記選択されたフレームグループのセットは、対応する数が前記決定閾値に近い物体に対応する、請求項７に記載の方法。
【請求項１２】
連続画像を提供するために、連続する物体の画像を取得するよう設定された画像解析装置であって、前記連続する物体は、前記画像解析装置に対する動きを有し、前記画像解析装置は、前記連続画像が、前記連続する物体からの複数の物体のそれぞれの複数の画像を含むようなフレームレートを持つ、画像解析装置と、前記連続画像の一部を表示するよう設定されたヒューマン・マシン・インターフェースと、前記連続画像からの演習画像を選択するための選択手段と、前記演習画像を使って前記画像解析装置を設定するための設定手段とを備えた装置。
【請求項１３】
画像解析装置は、約４０，０００ピクセル以下の撮像装置を備えた、請求項１２に記載の装置。
【請求項１４】
連続する物体と、
視野を持つ視覚検出器であって、前記連続する物体は前記視野に対して連続した動きを有し、複数のフレームグループを取得し、前記複数のフレームグループの各フレームグループが、前記連続する物体中の一つの該当する物体の複数の画像を含むように、前記複数のフレームグループの各フレームは前記視野の画像を含み、前記複数のフレームグループに対応する複数の結果を決定するために各物体を分析し、前記複数の結果のうちの各結果は、前記フレームグループに対応する物体の状態についての情報を含むように設定される視覚検出器と、
前記複数の結果に反応して、前記複数のフレームグループから選択されたフレームグループのセットを保存するよう設定されるメモリであって、前記フレームグループのセットは、保存された画像のセットを含む、メモリと、
人間のユーザーによる閲覧のために前記保存された画像の一部を表示するためのヒューマン・マシン・インターフェースであって、表示選択された前記一部は、前記人間のユーザーからのスクロールコマンドに反応し、前記スクロールコマンドは、前記一部を前記保存された画像で前後に動かすことができる、ヒューマン・マシン・インターフェースと、
を備える装置。
【請求項１５】
前記複数の結果のうちの各結果は、対応する物体が検査を合格するかどうかを示し、
物体が検査を合格することを対応する結果が示す前記物体に、前記選択されたフレームグループのセットが対応する、請求項１４に記載の装置。
【請求項１６】
前記複数の結果のうちの各結果は、対応する物体が検査を合格するかどうかを示し、
物体が検査を合格しないことを対応する結果が示す前記物体に、前記選択されたフレームグループのセットが対応する、請求項１４に記載の装置。
【請求項１７】
前記複数の結果のうちの各結果は、対応する物体が検査を通過するかどうかの相対的信頼度を示す数を含み、
その数は、対応する物体が検査を合格するかどうかを決定するための決定閾値と比較され、
前記選択されたフレームグループのセットは、対応する数が前記決定閾値に近い物体に対応する、請求項１４に記載の装置。
【請求項１８】
前記複数の結果のうちの各結果は、対応する物体を検出したという相対的信頼度を示す数を含み、
その数は、対応する物体を検出したかどうかを決定するための決定閾値と比較され、
前記選択されたフレームグループのセットは、対応する数が前記決定閾値に近い物体に対応する、請求項１４に記載の装置。
【請求項１】
物体を検出するための画像解析装置を設定するための方法であって、
前記画像解析装置の視野に対し、連続する物体を継続的に動かすステップと、
連続画像が、前記連続する物体からの複数の物体のそれぞれの複数の画像を含むように、前記視野の連続画像を取得するステップと、
人間のユーザーによる閲覧のために前記連続画像の一部を表示するステップであって、表示選択された前記一部は前記人間のユーザーからのスクロールコマンドに反応し、前記スクロールコマンドは、前記一部を連続画像で前後に動かすことができる、ステップと、
前記連続画像の表示部分から第一演習画像を選択するステップと、
前記第一演習画像の物体と外見が似ている物体を検査することができる、少なくとも一つの視覚ツールを、前記第一演習画像を使いながら作成することにより、前記画像解析装置を設定するステップと、
を含む方法。
【請求項２】
前記連続画像の表示部分から少なくとも一つの第２演習画像を選択するステップと、
物体を検査するための追加の視覚ツールを作成し、
以前作成された視覚ツールの領域の位置を調整し、
以前作成された視覚ツールの領域の大きさを調整し、
以前作成された視覚ツールの領域の方向を調整し、
以前作成された視覚ツールの操作パラメータを調整し、
以前作成された視覚ツールの方向を評価することのうち少なくとも一つを実行するために、前記少なくとも一つの第２演習画像を使用するステップと、
をさらに含む、請求項１に記載の方法。
【請求項３】
前記少なくとも一つの第２演習画像が、検査される物体に外見が似ていない、少なくとも一つの画像を含む、請求項２に記載の方法。
【請求項４】
前記外見が似ていない少なくとも一つの画像が、視野に物体が存在しない画像を含む、請求項３に記載の方法。
【請求項５】
前記外見が似ていない少なくとも一つの画像が、視野に部分的に物体が存在する画像を含む、請求項３に記載の方法。
【請求項６】
前記画像解析装置は、複数の物体画像を解析することにより、物体を検査できる視覚検出器であり、前記複数の物体画像は、前記視覚検出器の視野における物体の複数の位置を含む、請求項１に記載の方法。
【請求項７】
視覚検出器を試験するための方法であって、
前記視覚検出器の視野に対し、連続する物体を継続的に動かすステップと、
複数のフレームグループを取得するステップであって、前記複数のフレームグループの各フレームグループが、前記連続する物体中の一つの該当する物体の複数の画像を含むように、前記複数のフレームグループの各フレームは前記視野の画像を含む、ステップと、
前記複数のフレームグループに対応する複数の結果を決定するために各物体を分析するステップであって、前記複数の結果のうちの各結果は、前記フレームグループに対応する物体の状態についての情報を含む、ステップと、
前記複数の結果に反応して、前記複数のフレームグループから選択されたフレームグループのセットを保存するステップであって、前記フレームグループのセットは、保存された画像のセットを含む、ステップと、
人間のユーザーによる閲覧のために前記保存された画像の一部を表示するステップであって、表示選択された前記一部は、前記人間のユーザーからのスクロールコマンドに反応し、前記スクロールコマンドは、前記一部を前記保存された画像で前後に動かすことができる、ステップと、
を含む方法。
【請求項８】
前記複数の結果のうちの各結果は、対応する物体が、検査を合格するかどうかを示し、
物体が検査を合格することを対応する結果が示す前記物体に、前記選択されたフレームグループのセットが対応する、請求項７に記載の方法。
【請求項９】
前記複数の結果のうちの各結果は、対応する物体が検査を合格するかどうかを示し、
物体が検査を合格しないことを対応する結果が示す前記物体に、前記選択されたフレームグループのセットが対応する、請求項７に記載の方法。
【請求項１０】
前記複数の結果のうちの各結果は、対応する物体が検査を合格するという相対的信頼度を示す数を含み、
その数は、対応する物体が検査を合格するかどうかを決めるための決定閾値と比較され、前記選択されたフレームグループのセットは、対応する数が前記決定閾値に近い物体に対応する、請求項７に記載の方法。
【請求項１１】
前記複数の結果のうちの各結果は、対応する物体が検出されたという相対的信頼度を示す数を含み、
その数は、対応する物体が検出されたかどうかを決めるための決定閾値と比較され、
前記選択されたフレームグループのセットは、対応する数が前記決定閾値に近い物体に対応する、請求項７に記載の方法。
【請求項１２】
連続画像を提供するために、連続する物体の画像を取得するよう設定された画像解析装置であって、前記連続する物体は、前記画像解析装置に対する動きを有し、前記画像解析装置は、前記連続画像が、前記連続する物体からの複数の物体のそれぞれの複数の画像を含むようなフレームレートを持つ、画像解析装置と、前記連続画像の一部を表示するよう設定されたヒューマン・マシン・インターフェースと、前記連続画像からの演習画像を選択するための選択手段と、前記演習画像を使って前記画像解析装置を設定するための設定手段とを備えた装置。
【請求項１３】
画像解析装置は、約４０，０００ピクセル以下の撮像装置を備えた、請求項１２に記載の装置。
【請求項１４】
連続する物体と、
視野を持つ視覚検出器であって、前記連続する物体は前記視野に対して連続した動きを有し、複数のフレームグループを取得し、前記複数のフレームグループの各フレームグループが、前記連続する物体中の一つの該当する物体の複数の画像を含むように、前記複数のフレームグループの各フレームは前記視野の画像を含み、前記複数のフレームグループに対応する複数の結果を決定するために各物体を分析し、前記複数の結果のうちの各結果は、前記フレームグループに対応する物体の状態についての情報を含むように設定される視覚検出器と、
前記複数の結果に反応して、前記複数のフレームグループから選択されたフレームグループのセットを保存するよう設定されるメモリであって、前記フレームグループのセットは、保存された画像のセットを含む、メモリと、
人間のユーザーによる閲覧のために前記保存された画像の一部を表示するためのヒューマン・マシン・インターフェースであって、表示選択された前記一部は、前記人間のユーザーからのスクロールコマンドに反応し、前記スクロールコマンドは、前記一部を前記保存された画像で前後に動かすことができる、ヒューマン・マシン・インターフェースと、
を備える装置。
【請求項１５】
前記複数の結果のうちの各結果は、対応する物体が検査を合格するかどうかを示し、
物体が検査を合格することを対応する結果が示す前記物体に、前記選択されたフレームグループのセットが対応する、請求項１４に記載の装置。
【請求項１６】
前記複数の結果のうちの各結果は、対応する物体が検査を合格するかどうかを示し、
物体が検査を合格しないことを対応する結果が示す前記物体に、前記選択されたフレームグループのセットが対応する、請求項１４に記載の装置。
【請求項１７】
前記複数の結果のうちの各結果は、対応する物体が検査を通過するかどうかの相対的信頼度を示す数を含み、
その数は、対応する物体が検査を合格するかどうかを決定するための決定閾値と比較され、
前記選択されたフレームグループのセットは、対応する数が前記決定閾値に近い物体に対応する、請求項１４に記載の装置。
【請求項１８】
前記複数の結果のうちの各結果は、対応する物体を検出したという相対的信頼度を示す数を含み、
その数は、対応する物体を検出したかどうかを決定するための決定閾値と比較され、
前記選択されたフレームグループのセットは、対応する数が前記決定閾値に近い物体に対応する、請求項１４に記載の装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公表番号】特表２００８−５０２９１６（Ｐ２００８−５０２９１６Ａ）
【公表日】平成２０年１月３１日（２００８．１．３１）
【国際特許分類】
【出願番号】特願２００７−５２７６１３（Ｐ２００７−５２７６１３）
【出願日】平成１７年６月６日（２００５．６．６）
【国際出願番号】ＰＣＴ／ＵＳ２００５／０１９７６４
【国際公開番号】ＷＯ２００５／１２４３１６
【国際公開日】平成１７年１２月２９日（２００５．１２．２９）
【出願人】（５００５７６４５２）コグネックス・テクノロジー・アンド・インベストメント・コーポレーション (14)
【Ｆターム（参考）】
【公表日】平成２０年１月３１日（２００８．１．３１）
【国際特許分類】
【出願日】平成１７年６月６日（２００５．６．６）
【国際出願番号】ＰＣＴ／ＵＳ２００５／０１９７６４
【国際公開番号】ＷＯ２００５／１２４３１６
【国際公開日】平成１７年１２月２９日（２００５．１２．２９）
【出願人】（５００５７６４５２）コグネックス・テクノロジー・アンド・インベストメント・コーポレーション (14)
【Ｆターム（参考）】
[ Back to top ]