自動視覚事象検出の方法と装置
【課題】事象の自動視角検出のための方法及びシステムの提供
【解決手段】事象の画像を記録し、表示と、人間的または、自動分析のためにそれらを検索し、事象が検出される場合、外部装置へ同期された信号を送るための事象の自動視覚検出のための方法と装置が公開される。事象とは、撮像装置の視野内のある時間変化条件の中でも特定の条件に相当し、それは、事象が起こる二次元の視野のデジタル画像の取得、および分析に基づき視覚手段により検出され得る。事象は、分析のために画像を得ることが望まれる、まれな、短時間の機械の故障に相当する場合がある。事象は、視野の複数の画像の分析から得られた証拠を考慮することにより検出され、その間に機械構成要素の移動が複数の視点から見られ得る。
【解決手段】事象の画像を記録し、表示と、人間的または、自動分析のためにそれらを検索し、事象が検出される場合、外部装置へ同期された信号を送るための事象の自動視覚検出のための方法と装置が公開される。事象とは、撮像装置の視野内のある時間変化条件の中でも特定の条件に相当し、それは、事象が起こる二次元の視野のデジタル画像の取得、および分析に基づき視覚手段により検出され得る。事象は、分析のために画像を得ることが望まれる、まれな、短時間の機械の故障に相当する場合がある。事象は、視野の複数の画像の分析から得られた証拠を考慮することにより検出され、その間に機械構成要素の移動が複数の視点から見られ得る。
【発明の詳細な説明】
【技術分野】
【０００１】
[発明の背景]
本発明は、高速ビデオ事象検出、動作分析、画像記録、自動画像分析に関係するものである。
【背景技術】
【０００２】
[関連技術の説明]
人の目では速すぎて見ることが難しい機械システムの分析動作のために、高速画像記録装置を使うことは、当技術分野で周知である。これらの装置は、スローモーションまたは、スチール画像としての画像を表示し、人間のユーザーのために高速機械動作を見て、分析するために、機械処理の毎秒数百または数千の画像を取得し、録画するものである。
【０００３】
特に関心があるものに、機械処理において故障を引き起こす場合がある、まれな、短時間の機械的事象の記録である。事象がまれで短時間であるという事実は、特別な課題を生む。たとえば、画像記録装置が毎秒１０００画像を録音するとすれば、事象は、３ミリ秒続き、平均一時間に一度起こる。追加の装置なしに、人間のユーザーが事象を含む２または３の事象を見つけるために平均３６０万の写真を見る必要があるであろう。
【０００４】
事象が起こる場合、示す画像記録装置のトリガ信号を供給することにより、この課題に対応することは、当技術分野で周知のことである。画像記録装置は、最新の画像の限られた数を保存し、トリガ信号が事象が起こったことを示す場合、録画の最後の一秒であると言い、簡単な追加時間を記録し、終了する。これは、事象の前後の両方で見る、各画像の少数をユーザーに与える。更に、各画像がトリガ信号により示された事象の時間に関連して取得された場合、ユーザーは、確実に分かる。
【０００５】
明らかに、この方法の成功は、的確なトリガ信号を生成することができるかどうかによる。この目的のために光検出器を使うことは、当技術分野で周知のことである。例示的な光検出器は、物体の表面の点により反映される、または、物体が通過する可能性のある経路沿いに送信される光の強度に対応する光源と単一光電子センサーを持つ。ユーザーの調整可能な感度閾値は、光検出器の出力信号に電圧を加える上の（または、下の）光強度を確立する。
【０００６】
それは、しばしば、複数の光検出器がトリガ信号を供給する必要がある例である。たとえば、機械処理が製造ラインの生産離散物体である場合、事象は、部品不足で物体の生産に対応し、一つは、物体が存在する時に検出するもの、もう一つは、部品不足を検出するためのものとして、少なくとも２つの光検出器が必要である。時々、複雑な事象を検出するために２つ以上の検出器が必要である。
【０００７】
しかし、トリガ信号の供給に光検出器を使うことには、次のような幾つかの欠点がある。
・一つ以上の点で送信または、反射される光の強度の単純な測定は、事象を検出するためには不十分である場合がある。
・確実に正確な点を見るように、各光検出器の位置を調整するのは難しい。
・測定された点は、機械的な処理の通常操作の間、あちこち移動させてはならない。
・複数の光検出器の必要性は、導入、設定を難しくさせる。
【０００８】
トリガ信号の供給に機械視覚システムを使うことは、当技術分野で周知のことである。機械視覚システムは、二次元の視野のデジタル画像を取得でき、画像を分析し、決定することができる装置である。画像は、積分時間、または、シャッター時間と呼ばれる、短時間に、レンズにより配置に焦点される光に対して、感光部材の二次元配置を感光させることにより取得する。その配置は、撮像装置と呼ばれ、個々の要素は、ピクセルと呼ばれる。各ピクセルは、シャッター時間でそれに向かって行く光の強度を測定する。測定された強度値は、デジタル数に変換され、画像形成のための視覚システムのメモリで保存され、それは、決定のための当技術分野で周知の方法を用いて、コンピュータのようなデジタル処理要素で分析される。
【０００９】
機械視覚システムは、光検出器の限度を避けることができる。一つの機械視覚システムが、多くの光検出器に交換でき、単一点強度測定の代わりに、広範な明るさのパターンの高度な測定を行う。見る位置を調整するには、スクリュードライバーやレンチの代わりにグラフィカル・ユーザー・インターフェイスを使ってすることができ、それらの位置は、それ自身の画像の内容に基づき、各画像を移動させることができる。
【００１０】
しかし、機械視覚システムには、下記のような固有の欠点がある。
・機械視覚システムは一般に、事象が個々の物体の検査に関係するものであるときにしか一般に適しない。
・機械視覚システムは、遅すぎて短時間しか持続しない事象を検出できないため、不良品のような事象により発生する長期間持続する状態を探さなければいけない。
【００１１】
ここで留意すべきは、機械視覚システムが、トリガ信号を供給するのに使われたとき、それは、高速画像記録装置とは別々のものであることである。それは、検出された事象を含む画像は、見れないし、その装置より取得された画像を分析できない。たとえ、それらの画像が機械視覚システムで利用できるとしても、とてつもなく割合が高く、生産されるので、従来の設計の機械視覚システムより分析されない。
【００１２】
視覚検出器の方法と装置は、トリガ事象が起こったことを検出するための従来の技術の光検出器と機械視覚システムの上記に説明される限度を克服することができる、新規の方法とシステムを教える。また、これらの教えは、原型の教えの範囲の下で、改善を導く発明のための材料を提供する。以下の章では、視覚検出器の方法と装置を簡単に要約し、それに続く章では、本発明により扱われた問題を提示する。
【００１３】
[視覚検出器の方法と装置]
視覚検出器の方法と装置は、検出され、検査された物体が位置し得る二次元の視野のデジタル画像を取得し、画像を分析し、決定することに基づいて、物体の自動光電子工学の検出と検査のためのシステムと方法を供給する。これらのシステムと方法は、広範なエリアから反映した明るさのパターンを分析し、物体の多くの区別できる特徴に対処し、ソフトウェア手段を通して、ライン切り替えを供給し、不確かな利用できる物体の位置に対応する。それらは、従来の技術の機械視覚システムよりもあまり高価ではなく、設定するのがより簡単で、はるかに高速で操作できる。これらのシステムと方法は、更に、物体が動くことの多くの見通しを活用し、トリガなしに操作でき、適切な同期化される出力信号を供給し、当業者に明らかであるほかの重要で役に立つ能力を供給する。
【００１４】
視覚検出器の方法と装置の一つの態様は、従来の技術の視覚システムよりも高速で一連の画像をを取得し、分析できる、視覚検出器と呼ばれる、装置である。取得され、分析されたこのような一連の画像が、フレームと呼ばれる。動いているものが視野（ＦＯＶ）を通過した場合、フレームレートと呼ばれる、フレームが取得され、分析される割合が、それが多数の連続フレーム内に見られることが十分に高いと言われる。物体が連続するフレーム間で動いているので、視野で多くの位置に置かれ、それゆえに、照明に関連した多数の視覚の視点と位置から見られる。
【００１５】
視覚検出器の方法と装置のもう一つの態様は、動的画像分析と呼ばれる、物体が視野に位置し、多数のフレームを取得し、分析することにより、フレームのそれぞれから得られる証拠の合成結果を基にすることにより、物体を検査するための方法である。その方法は、単一のフレームを基づいて、決定する従来の技術の機会視覚システムを超える重要な利点を供給する。
【００１６】
更に、視覚検出器の方法と装置のもう一つの態様は、視覚事象検出と呼ばれる、視野で起こる可能性のある事象を検出するための方法である。事象は、視野を通過する物体であり、視覚事象検出を使うことにより、トリガ信号の必要なしに、物体を検出する。
【００１７】
視覚検出器の方法と装置の追加の態様は、そこに示される図の研究と詳細な説明で明らかになるだろう。
【００１８】
多数の視点から画像を得るために、検出され、検査される物体が、連続のフレーム間で少なくとも視野の少数の割合で、少なくとも２、３ピクセルで動くことが好ましい。視覚検出器の方法と装置によれば、物体の動きは、フレームにつき、ＦＯＶの約１／ ４以下であることが一般に好ましく、例示的な具体例では、たったＦＯＶの５％もしくはそれ以下であることが好ましい。これは、製造処理を遅くするだけでなく、十分な高フレームレートを供給することにより、達成することが好ましい。例のシステムでは、フレームレートは、少なくとも毎秒２００フレームで、もう一つの例では、フレームレートは、物体が視覚検出器に出現する平均の割合の少なくとも４０倍である。
【００１９】
例示的なシステムは、毎秒５００フレームまで取得し、分析できるように教えられている。このシステムは、従来の技術の視覚システムよりもはるかに少ないピクセルを持つ、超敏感な撮像装置を利用している。高感度は、低価なＬＥＤを用いて、とても短いシャッター時間を可能にし、それは、それぞれ少数のピクセルの合成でとても短い取得時間を可能にする。撮像装置は、分析操作で動的にピクセルデータを受取り、保存できる、デジタル・シグナル・プロセッサ（ＤＳＰ）へ接続する。そこで教えられ、ＤＳＰのための適応するソフトウェアを用い、実行された方法を使い、一般に各フレームを分析する時間は、次のフレームを取得するのに必要とされる時間内で保持することができる。取得と分析の方法と装置は、好ましい高フレームレートを供給するために合成される。本発明の物体を用い、撮像装置、ＤＳＰと照明のの能力を注意深く一致させることにより、例示的なシステムは、従来の技術の機械視覚システムよりも著しく低価にすることができる。
【００２０】
視覚事象検出の方法は、連続フレームを取得し、事象が起こっている、もしくは、起こった証拠を決定するために各フレームを分析することを含む。視覚事象検出がトリガ信号の必要なしに、物体を検出するのに使われた場合、分析は、物体が視野に位置している証拠を決定する。
【００２１】
例示的な方法では、証拠は、物体検出加重と称する、物体が視野に位置している信頼度のレベルを示す値の形式である。その値は、信頼度のレベルの範囲、または、証拠を導く情報のいくつかの項目を示す数で、高いまたは、低い信頼度を示す、単にはい／いいえの選択であってもよい。このような数の例の一つとして、そこに更に説明された、いわゆるファジー論理値である。ここで留意すべきは、機械は、画像から完璧な決定をすることができないので、不完全な証拠に基づいて判断をすることになる。
【００２２】
物体検出を実行する場合、各フレームは、物体が視野に位置しているということを十分に示す証拠があるかどうかを決定するために試験される。単にはい／いいえの値が使われた場合、その値が「はい」であれば、証拠は、十分であると見なされ得る。数が使われた場合、充足は、閾値までの数を比較することにより決定されてよい。証拠が十分であるフレームは、有効フレームと称する。ここで留意すべきは、手元にある特定のアプリケーションの理解に基づいて、視覚検出器を設定する人間のユーザーによって結局のところは定義されたもので十分な証拠は、構成されていることである。視覚検出器は、自動的にその決定をする定義に適応する。
【００２３】
物体検出を実行する場合、視野を通過した各物体は、視覚検出器の高フレームレートによって、多数の有効フレームを生成する。しかし、いくつかの視点または、ほかの状態であり得る、視野を物体が通過するために、これらのフレームは、事象が視野に位置している証拠は十分でないので、正確には連続ではない場合がある。したがって、有効フレームが見つかった場合、物体の検出を始め、多くの連続する無効フレームが見つかるまで終了しないことが好ましい。この数は、ユーザーにより適切に選択される。
【００２４】
有効フレームのセットが視野を通過する物体に対応することができるということがわかると、物体が実際に検出されたかどうかを決定するためにさらなる分析を実行することが好ましい。このさらなる分析は、有効フレームの数、物体検出加重の合計、平均物体検出加重、および、同等のものを含む、有効フレームの統計を考慮することができる。
【００２５】
動的画像分析の方法は、物体を検査するための多数のフレームを取得し、分析することを含み、「検査」は、物体の状態についての情報を決定することを意味する。この方法の一つの例では、物体の状態は、ユーザーにより必要に応じて選ばれた検査基準をその物体が満たすかどうかを含む。
【００２６】
視覚検出器の方法と装置の態様では、視覚事象検出方法により選ばれた有効フレームは、物体を検査するために動的画像分析方法により使われたものであるので、動的画像分析は、視覚事象検出と組み合わされる。視覚検出器の方法と装置のその他の態様では、動的画像分析により使われたフレームは、トリガ信号に応答することで取得することができる。
【００２７】
このような各フレームは、物体が検査基準を満たす証拠を決定するために分析される。一つの例示的な方法では、物体合格スコアと称する、物体が検査基準を満たす信頼のレベルを示す値の形式である。物体の検出加重と同様に、その値は、高い、または、低い信頼度や、信頼度のレベルの範囲や証拠を導く情報のいくつかの項目を示すファジー論理値のような数を示す、単にはい／いいえの選択であってよい。
【００２８】
物体の状態は、物体合格スコアの平均または、百分率のような、物体合格スコアの統計から決定されてよい。また、状態は、物体決定加重を用い、加重平均または、加重百分率のような、加重統計により決定されてもよい。加重統計は、その信頼が、物体が実際にそのフレームの視野に位置していることが高いことを特徴とする、フレームから更に重要な証拠として重きをおく。
【００２９】
物体の検出と検査の証拠は、物体の一つ以上の可視特徴についての情報のためのフレームを検査することによって得られる。可視特徴は、放射光の量、パターン、または、その他の特徴が、物体の出現、独自性、状態についての情報を伝達する、その物体の一部分である。光は、物体の外部または内部の情報源の反映、伝達、または、屈折、または、物体の内部の情報源であることを含むが、それらに限らない、いくつかの処理または、処理の組み合わせにより、放射される。
【００３０】
視覚検出器の方法と操作の一つの態様は、物体検出加重と物体合格スコアを含み、それに対し、証拠が必要とされる各フレームの一つ以上の関心領域で画像分析操作により、証拠を得る方法である。この方法の一つの例では、画像分析操作は、関心領域でピクセル値に基づいて測定を算定し、その測定は、物体の可視特徴の適切な特徴に応答するものである。測定は、閾値操作による論理値に転換され、関心領域から得られた論理値は、フレームの証拠を形成するために組み合わされる。論理値は、必要に応じて、二元またはファジーの閾値と論理結合を使う、二元、またはファジー論理値である。
【００３１】
視覚事象検出のため、物体が視野に位置していることの証拠が関心領域、測定、閾値、論理合成、および、他のここに更に説明されたパラメータにより、有効に定義され、それは、まとめて視覚検出器の設定と呼ばれ、本発明の与えられたアプリケーションのために必要に応じて、ユーザーにより選ばれる。同様に、視覚検出器の設定は、十分な証拠を構成するものとして定義される。
【００３２】
動的画像分析のために、物体が検査基準を満たす証拠はまた、視覚検出器の設定により、有効に定義される。
【００３３】
[問題点の検討]
高速事象検出、動作分析、画像記録のためのトリガを供給する光検出器と機械視覚システムの与えられた限度は、高速視覚事象検出を供給することにより、および、それを高速画像記録と統合することにより、トリガ信号の必要性を避ける方法とシステムの改善が必要である。
【００３４】
視覚検出器の方法と装置は、動作分析で使うための画像記録で統合を学ばせないで、ほかの利点で、高速視覚事象検出を供給する新規の画像分析の方法とシステムを学ばせる。従って、事象の自動視覚検出、記録、検索のための新規の役に立つ方法とシステムを達成するための好ましい画像記録と表示能力を用い、好ましい要素と視覚検出器の方法と装置の設定を組み合わせた方法とシステムの改善が必要である。
【００３５】
更に、視覚検出器の方法と装置は、視野を通過する個々の物体に対応する事象を検出することを主として、視覚事象検出の実例となる具体例を供給する。これらの教授は、ほかの事象タイプを検出するのに使用できることは当業者には明らかであろうが、そこに教えられない改善はまた、このような事象を検出するのに役立つことができる。従って、さまざまな事象を検出するのにその実用性を改善するために視覚事象検出の教授を広げる必要がある。
【発明の開示】
【課題を解決するための手段】
【００３６】
[発明の概要]
本発明により、事象の自動視覚検出、記録および検索のための方法およびシステムが提供される。本明細書では、
・「事象」とは、視覚手段により検出できる、撮像装置の視野内の一部の時間変化条件の中の特定条件を指す。
・「自動視覚検出」とは、前記撮像装置により取得された画像の内容を基本にして、人間の介入または外部のトリガ信号を必要とせずに事象が検出されることを意味する。
・「記録」とは、前記事象がメモリに保管される前、保管される間、および／または保管された後に対応する画像を意味する。
・「検索」とは、これらの画像が、人間のユーザーのための表示などの目的のために検索され、さらに、画像分析システムによりさらに自動分析されることを意味する。
【００３７】
本明細書において開示される方法およびシステムは、事象が発生したことを外部機器に発信する、および事象がいつ発生したかを示す同期出力パルスを提供するなど、しかしこれらに限定されない任意の目的のために、事象の自動視覚検出に有用である。機械的処理の高速運動分析にさらに有用であり、短時間のまれな事象の画像用のその他任意の応用が望ましい。
【００３８】
本発明の開示に従い、ビジョン検出器またはその他の適切なデバイスは、一部の特別な条件に対応するイベントが発生することのある機械的処理などのように、その視野が一部の時間変化条件を含むように配置され、事象を検出するように構成される。前記ビジョン検出器は、各フレームが視野の画像である、一連のフレームを取得する。さらに、視覚検出器の方法と装置で開示された方法およびシステムなど、しかしこれらに限定されない任意のさまざまな方法およびシステムを使用して、以下でさらに詳細が明らかになるように、視野で事象が発生したという証拠を取得するために前記フレームを分析する。
【００３９】
事象が発生すると、分析は、事象が発生したという十分な証拠を明らかにする「事象フレーム」のセットを識別する。セットは、事象フレームを１個だけ含むこともあるが、複数の事象フレームを含むこともある。本明細書で開示される例示的実施形態では、事象フレームは一連のフレームで連続しているが、事象フレームが完全に連続していない場合も、本発明の範囲内において実施例を考案することは容易である。
【００４０】
次の例を考慮する。検出される事象は、許容範囲外で移動している運動機械構成要素に対応する。ビジョン検出器は、許容範囲外の視野の領域である、誤差範囲の構成要素を検出するように構成される。一部の機械サイクルでは、構成要素は３個の連続フレームの間、誤差範囲を通過運動すると想定する。さらに、フレームの分析により、構成要素が第一番目と第三番目のフレームで誤差範囲にあることを示す証拠は強く、構成要素が第二番目のフレームで誤差範囲にあることを示す証拠は弱いことが明らかになると想定する。これは、第二番目のフレームの照明に対する構成要素の視点または位置が、構成要素が見えにくい視点または位置であるために発生することがある。また、分析により、構成要素は、３個の重要なフレームの前後で、多数のフレームがその範囲にあったとは考えにくいことも明らかにする。
【００４１】
事象フレームのセットは、第一番目のフレームが前記事象が発生していることを強く示す証拠を明らかにしたときに開始し、以降のフレームが前記事象が継続していることを示す証拠がないときに第三番目のフレームで終了した。第一番目と第三番目のフレームを合わせた肯定的な証拠と、第二番目のフレームの弱い証拠は、事象が発生したと結論づけるに十分であると判断される。この例では、３個のフレームが事象フレームである。
【００４２】
一部の実施例では、第二番目のフレームは事象フレームとは見なされない。第二番目のフレームを事象フレームであると考えるかどうかの選択は、本発明の範囲内ではどちらにも考えることができる。本明細書に開示された例示的実施形態では、事象フレームは連続的であり、第二番目のフレームを含むと考える。
【００４３】
証拠が事象が発生したと決定するために十分であると判断されると、複数の選択されたフレームが一連のフレームから選ばれて、メモリに記録される。フレームは、事象フレーム、または、後述するように計算される記録時間に対する一連のフレームの中の位置に応じて、記録されるために選択される。事象フレーム自体が記録されることもあるが、一連のフレームの中の事象フレームの前のフレームが記録されることもある。また、一連のフレームの中の事象フレームの後のフレームが記録されることもある。例示的実施形態では、記録時間に対してユーザーが指定した時間間隔内で取得されたフレームが記録される。別の例示的実施形態では、事象フレームと事象フレームの直前および直後の連続フレームなど、予め決定された数のフレームが記録される。
【００４４】
これらの保管された選択フレームからのフレームが、コマンドに応答して検索され、コマンドを発行するために、グラフィカルユーザーインターフェイスを使用している人間のユーザーのための表示、さらに、コマンドを発行している画像分析システムによりさらに自動化された画像分析など、さまざまな目的のために使用される。
【００４５】
フレームが人間のユーザーのために表示される実施例では、一般的には一度にいくつかのフレームを表示することが望ましいが、典型的にはユーザーが各画像で有用な詳細を見るために十分なディスプレイ解像度で記録した画像を一度にすべて表示することは実用的ではない。本発明に従い、記録されたフレームの一部が一度に表示される。ユーザーは、表示される部分を前後に移動するスクロールコマンドを発行することにより、表示される部分を選択する。一度に表示される部分は、数個のフレームを含むことが好ましいが、最低１つのフレームを含むことができる。
【００４６】
例示的実施形態として、フレームはグラフィカルユーザーインターフェイス（ＧＵＩ）を使用して表示される。一度に表示されるフレーム部分は、ＧＵＩの「映写スライドウィンドウ」に含まれており、低解像度の連続した「サムネイル」画像としてフレーム部分を表示する。サムネイル画像の解像度は、有用な数の画像を一度に見ることができるに十分な低解像度にも、各画像の詳細を見ることができる高解像度にも選択される。スクロールコマンドは、従来のＧＵＩ要素により提供される。
【００４７】
この例示的実施例は、さらに、画像表示ウィンドウにおいて、完全な解像度で前記フレーム部分の１個のフレームを表示する。スクロールコマンドにより映写スライドを前後に移動すると、画像表示ウィンドウに表示されるフレームも前後に移動する。
【００４８】
例示的実施例では、視野において事象が発生したという証拠は、事象が発生しているまたは発生した信用レベルを示す、「事象検出加重」と呼ばれる値の形で各フレームに取得される。前記値は、信用レベルの高低を示す簡単なはい／いいえの選択、信用レベルの範囲を示す数字、または証拠を伝達する情報の任意の項目のことがある。このような数の一例は、ファジー論理値と呼ばれるもので、詳細は後述される。画像から完璧な決定を下すことができる機械はないので、不完全な証拠を基本にして決定することになる。
【００４９】
事象検出加重は、フレームの１つ以上の対象領域上の画像分析演算により、各フレームに対して取得される。例示的実施形態では、各画像分析演算は、対象領域のピクセル値を基本にして測定を計算するが、測定は領域の光量、パターン、またはその他の特徴に対応する。測定は、閾値演算により論理値に変換され、対象領域から取得された論理値は、フレームの事象検出加重を計算するために組み合わされる。論理値は、バイナリまたはファジー論理値で、閾値と論理の組み合わせは必要に応じてバイナリまたはファジーである。
【００５０】
例示的実施例では、以下の場合の事象フレームは連続フレームのセットである。
・セットの最初と最後のフレームの事象検出加重が閾値を超える場合。
・最後のフレームの後に、事象検出加重が閾値を超えないフレームが少なくとも一部の決定済みの個数だけある場合。
・フレームセットの事象検出加重が一部の決定済み条件を満足する場合。
【００５１】
この目的のために、任意の適切な条件を定義してもよいが、条件は下記のものに限定される：
・セットにあるフレームの個数、
・平均事象検出加重、
・事象検出加重合計、
・事象検出加重の中央値、
・事象検出加重が閾値を超える、セットにあるフレームの個数またはフレームの割合。
【００５２】
本発明により記録されるフレームは、取得された時間でスタンプされることが望ましい。事象の詳細調査を可能にするために、タイムスタンプは、例えば、時刻ではなく、事象自体の発生時間に相対的にタイムスタンプすることが最も有用である。事象フレームは事象の全体的な時間範囲を定義するが、特定時間は定義しない。事象の特定の有効な時間を取得するには、視覚検出器の方法と装置で開示されたようにマークタイプを使用することがある。開示されているように、記録時間は、物体が一部の架空の固定基準点を交差する時間であり、開示に従い正確に計算できる。
【００５３】
しかしながら、すべての事象が基準点を交差する物体に対応するわけではない。例えば、事象は、視野で機械構成要素が前後に移動するストローク動作に対応することがある。このような場合、記録時間は、通常、基準点の交差ではなく、ストロークの頂点として定義することがより有用になる。基準点の周囲の動作は、フロー事象と呼ばれ、前後の動作はストローク事象と呼ばれる。本発明は、フローとストローク事象のいずれかを選択するための方法およびシステム、および、ストローク事象の記録時間を計算するための方法およびシステムを含む（フロー事象のための記録時間は視覚検出器の方法と装置で開示された）。
【００５４】
本発明による事象検出は、視覚検出器の方法と装置で開示された視覚事象検出の例であり、「視覚事象検出の方法は連続したフレームの取得と事象が発生するまたは発生した証拠を決定するための各フレームの分析に関与する」と説明される。本明細書で開示されるように、視覚事象検出は、主に、検出される事象が視野を通過する別々の物体に対応して、一般的に物体を点検することが好ましい実施例に対して向けられる。読み手は、本明細書に開示される物体検出加重と物体通過スコア、および、本発明で使用される事象検出加重の間に非常な類似性があることに気づくであろう。確かに、物体検出加重または物体通過スコアを取得するために本明細書に開示された任意の方法または装置は、事象検出加重を取得するために使用できる。唯一の違いは、これらの加重やスコアが取得されるやり方ではなく、使用される目的である。
【００５５】
さらに、物体が視野を通過したことを検出、またはさらに具体的には、不良物体が視野を通過したことを検出することは、本発明に従い事象を検出、記録および検索するために望ましいことがある事象の例である。確かに、視野を通過する物体を検出することと、上記の例のように誤差範囲に入る機械構成要素を検出することにはほとんど違いはない。このように、視覚検出器の方法と装置の開示は、一般的に本発明の例示的実施形態と考えることができ、記録および検索方法およびシステム、および改善された事象検出方法およびシステムは本明細書の開示により追加される。
【００５６】
本発明は、添付の図面と併せて詳細な説明を読むことで明らかになるであろう。
【図面の簡単な説明】
【００５７】
【図１】本発明による視覚事象の検出、記録および検索のためのシステムの説明的実施例を示す。この場合、事象は製造ラインを移動する物体の不良ラベルの適用に相当する。
【図２】本発明による事象を検出するシステムのための典型的な操作サイクルを説明するタイムラインを示す。
【図３】例示的実施形態により実施される分析手順を説明するフローチャートを示す。
【図４】例示的実施形態において、視覚事象検出のために証拠がどのように加重されるかを示す。
【図５】例示的実施形態において事象検出のために収集されて使用されるデータを示す。
【図６】本発明によるシステムの概要図を示す。
【図７】本発明によるシステムの一部として使用できるビジョン検出器の説明的実施例のブロック図を示す。
【図８】例示的実施形態において、物体が存在するかどうか、検査に合格するかどうかの判断など、証拠を加重して決定するために使用されるファジー論理要素を示す。
【図９】例示的実施形態により、フレームを分析し、決定し、入力を感知し、出力信号を制御するために使用されるソフトウェア要素（例えば、コンピュータ読み込み可能媒体のプログラム命令）のセットの組織を示す。
【図１０】視覚事象検出の例示的実施形態をさらに説明するために使用される、事象検出パラメータのユーザー設定のためのＨＭＩ部分を示す。
【図１１】ある物体例に誤って適用されたラベルを検出するために使用されることがある、ビジョン検出器の設定例の一部を示す。
【図１２】図１１の例のセットアップに対応する設定の別の部分を示す。
【図１３】ラベル適用アームに対して誤った位置にある物体例を検出するために使用されることがある、ビジョン検出器の設定例の一部を示す。
【図１４】図１３のセットアップ例に対応する設定の別の部分を示す。
【図１５】製造サイクルで、伸び不足または伸び過ぎのラベル適用アームを検出するために使用されることがある、ビジョン検出器の設定例の一部を示す。
【図１６】図１５のセットアップ例の伸び不足または伸び過ぎのアームを検出するためにどのように証拠を加重するかを示す。
【図１７】連続ウェブの欠陥に対応する事象を検出するために本発明を設定する１つの方法を示す。
【図１８】出力信号を事象の発生時間にどのように同期するかを説明するために使用されるタイミング図を示す。
【図１９】ストローク事象の場合に記録時間がどのように計算されるかを示す。
【図２０】出力信号のユーザー設定のためのＨＭＩの部分を示す。
【図２１】検出された事象の画像を記録するためのメモリ配列を示す。
【図２２】映写スライドウィンドウと画像表示ウィンドウを含み、事象に対応して記録され検索された画像を表示するグラフィカルユーザーインターフェイスの一部を示す。
【発明を実施するための形態】
【００５８】
[本発明の基本動作]
図１は、生産ラインで発生することがある一定の事象を検出して、事象の画像を記録および検索するように設定されるビジョン検出器の例示的実施形態を示す。コンベア１ ００は、物体例１１０、１１２、１１４、１１６および１１８などの物体を運搬し、物体１１２のラベル１２０のように、各物体にラベルを貼る動作をするラベル貼り機械１６０を左から右に通過する。ラベル貼り機械１６０は、各ラベルを各物体に貼り付けるように動作する運動アーム１６２を含む。ラベル貼り機械１６０とアーム１６ ２は、本発明を説明する目的で示されており、必ずしも工業生産においてラベルを貼るために使用される任意の特定の機械を示すものではない。
【００５９】
ラベル貼り機械１６０は、ときには誤動作することがあり、例えば、物体１１６の表面で右下角が曲がっているように、誤って貼られたラベル１２２が発生する。多くの工業生産ラインは、光検出器、マシンビジョンシステム、またはビジョン検出器のように、不良品１１６を検出して不合格にするために、ある形式の自動光電気検出を使用する。このような検査は、不良品が消費者に届けられることを防ぐことにおいて価値があるが、そもそも不良品が製造されることを防ぐためには役立たない。本発明の１つの目的は、不良品が実際に作成されていることを示す画像を提供することにより、製造技術者が不良品の原因を診断して修正することを支援することである。
【００６０】
コンベア１００は、物体を製造目的で運搬することに加えて、物体とビジョン検出器１３０の視野の間に相対的運動を発生させる。ほとんどの製造ラインでは、コンベアの動きは、ビジョン検出器１３０により受信でき、視覚検出器の方法と装置および本明細書で開示されるさまざまな目的で使用される、信号１４０を発生するシャフトエンコーダ１３２により追跡される。例えば、信号１４０は、ビジョン検出器１３０により、記録点と呼ばれる、物体１１２が架空の基準点１５０を交差する時点への基準として使用できる。
【００６１】
ビジョン検出器１３０は、適切な視覚条件を基本にして、視野において発生することがある一定の事象を検出する。図１の例示的実施形態では、事象は、アーム１６２によりラベルを誤って貼ることに相当し、以下でさらに説明されるようにさまざまなやり方で検出できる。画像は、事象前、事象中、および事象後に記録される。製造技術者のような人間のユーザーは、ラベルが誤って貼られてしまう機械の問題を診断できるように、記録された画像を検索するために、信号１４２を経由して、ヒト−マシンインターフェイス１３４と相互にやり取りする。
【００６２】
別の実施例では、ビジョン検出器を通過するのは、個別の物体ではなく、材料が連続して流れる。例えば、ウェブ上には、以下に提供される例がある。事象検出、記録および検索の目的では、個別の物体と材料の連続した流れではほとんど違いはない。
【００６３】
図２は、事象を検出して画像を記録するように構成されるビジョン検出器の典型的な操作サイクルを説明するタイムラインを示す。ボックス２２０のような「ｃ」のラベルが付けられたボックスは、画像の取得を表す。ボックス２３０のような「ａ」のラベルが付けられたボックスは分析を表す（分析ステップは以下でさらに分割され説明される）。例えば、分析ステップ２３０が取得ステップ２２０で取得される画像を分析するように、次の画像の取得「ｃ」が現在の画像の分析「ａ」とオーバーラップすることが好ましい。このタイムラインでは、分析にかかる時間は、取得より短いように示されているが、一般的に、アプリケーションの詳細により、分析にかかる時間は取得より短いことも長いこともある。
【００６４】
取得と分析が重複していれば、ビジョン検出器が画像を分析して分析する速度は、取得時間と分析時間のうち長くかかる時間により決定される。これが「フレームレート」である。
【００６５】
タイムラインの部分２２０は第一の事象に相当し、５個の事象フレームの取得と分析を含む。第二の部分２０２は、第二の事象に相当し、３つの事象フレームを含む。
【００６６】
本明細書に記載する例示的実施形態において、事象検出のための取得画像の分析は、次のような３つの主な下位ステップを含む。
・ある１つのフレームにおいて事象が発生している、または発生したことを示す証拠を評価するための視覚分析ステップ
・検出される事象が発生している可能性のある、「候補フレーム」と呼ばれる連続したフレームのセットを識別するためのアクティビティ分析ステップ
・検出される事象が候補フレームのセットで発生したかどうかを決定するための事象分析ステップ。
【００６７】
各視覚分析ステップは、個別のフレームで事象が発生していることを示す証拠を検討する。証拠が明らかなフレームは「アクティブ」と呼ばれる。アクティブフレームの分析ステップは、例えば、分析ステップ２４０のように、太い枠線で示される。本明細書で検討される例示的実施形態において、この証拠は、以下および視覚検出器の方法と装置において開示されたように、フレームの１個以上の対象領域の画像分析演算により計算される、事象検出加重（以下でさらに説明される）と呼ばれるファジー論理値により表される。
【００６８】
各アクティビティ分析ステップは、直近のフレームセット内で事象が発生しているまたは発生したことを示す証拠を検討する。本明細書で検討される例示的実施形態においては、事象検出は、事象が発生していることを示すなんらかの証拠があるということが明らかな「アクティブ状態」、またはそのような証拠はほとんどないことを示す「非アクティブ状態」にあることが検討される。アクティビティステップの１つの機能は、この状態を決定することである。例示的実施形態において、非アクティブ状態からアクティブ状態への移行は、アクティブフレームが発見されるときに行われる。アクティブ状態から非アクティブ状態への移行は、ある数の連続的な非アクティブフレームが発見されるときに行われる。候補フレームは、最初のアクティブフレームから始まり、最後のアクティブフレームで終わる連続的なフレームのセットを含み、その間に非アクティブなフレームを含む場合がある。アクティビティ分析ステップの別の機能は、候補フレームのセットを記述するデータを収集することである。
【００６９】
その後、各事象分析ステップは、先行のアクティビティ分析ステップにより収集された証拠を確認することにより、候補フレームの間に事象が発生したことを示す証拠を検討する。本明細書で検討される例示的実施形態では、アクティブ状態から非アクティブ状態への移行が行われるたびに、事象分析ステップが実施される。候補フレームを記述するデータが確認され、事象が発生したと結論付けるに十分な証拠が明らかになれば、候補フレームは事象フレームと見なされる。記録およびその他の適切なアクションが、後述のように実施される。
【００７０】
本発明の範囲内では、視覚、アクティビティ、および事象分析を実施するために、さまざまな方法が使用される。一部は以下および視覚検出器の方法と装置で説明されるが、その他の多くは当業者に明らかである。
【００７１】
図２の例では、第一の事象２００の事象検出は、分析ステップ２４０に対応する第一のアクティブなフレームでアクティブ状態に入り、分析ステップ２４６と２４８に対応する２つの連続する非アクティブフレームで終わる。分析ステップ２４２に対応する第一の事象である単独の非アクティブフレームは、非アクティブ状態に入るには十分ではない。
【００７２】
非アクティブ状態に入るとき、例えば、分析ステップ２４８の終わりで、事象分析ステップが実施される。候補フレームは、分析ステップ２４０で始まり、分析ステップ２４１で終わる５個の事象フレームである。この例では、事象分析ステップは、事象が発生したという結果を出しており、第一番目のセットの記録フレーム２１０の記録を生じさせる。第二番目の事象２０２の同様な分析の結果、第二番目のセットの記録フレーム２１２を記録する。
【００７３】
以下で説明されるように、視野を通過するときのアクティブフレームの物体の位置を検討することにより、ビジョン検出器は、事象が発生した正確な時間を表す記録時間２５０と２５２を推算する。タイムスタンプは、それぞれの記録されたフレームのために保管され、記録時間とこのようなそれぞれの記録されたフレームに対応するシャッタータイムの間の相対時間を示す。
【００７４】
非アクティブ状態への移行が行われると、ビジョン検出器は、例えば、第一のアイドルステップ２６０と第二のアイドルステップ２６２のような、アイドルステップに入ることがある。このようなステップはオプションであるが、いくつかの理由により好ましいことがある。事象間の最低時間が知られている場合は、新しい事象が発生し得る直前まで、事象を探す必要はない。アイドルステップは、事象が発生できないときに、誤った事象検出の機会を削除し、アイドルステップの間、ライトをオフにできるので、照明システムの寿命を延ばすことになる。
【００７５】
図３は、事象検出の分析ステップの詳細を提供するフローチャートを示す。破線枠のボックスは、フローチャートにより使用されるデータを表す。フローチャートブロックを囲む角が丸い四角は、視覚分析ステップ３１０、アクティビティ分析ステップ３１２および事象分析３１４などの分析の区画を示す。
【００７６】
アクティブフラグ３００は、アクティビティ分析ステップにより使用されるアクティブ／非アクティブ状態を保存する。アクティビティ分析ステップにより収集されたデータは、アクティブデータ３０２と非アクティブデータ３０４に保存される。アクティブフレームの値は、アクティブデータ３０２に直接追加される。非アクティブフレームの場合は、アクティブ分析ステップは、フレームが候補フレームのセットの一部であるかどうかは、後のフレームの状態によるので、まだ不明である。このため、非アクティブフレームの値は非アクティブデータ３０４に追加される。非アクティブ状態への移行が行われる前にアクティブフレームが続いて発見されれば、非アクティブデータ３０４はアクティブデータ３０２に追加されて、クリアされる。非アクティブ状態への移行の時点で残っている非アクティブデータ３０４は、廃棄される。両方のデータは、追加されたフレームの個数を含む。
【００７７】
図３の例示的実施形態では、フローチャートは、各フレームで一度、取得ブロック３２０から連続ブロック３２４まで、何度も実行される。取得ブロック３２０は、フレーム取得により分析を同期化して、次のフレームの取得を現在のフレームの分析と重複させる。視覚分析ブロック３２２は、視覚分析ステップを実施し、取得された画像の分析から、事象検出加重ｄを計算する。
【００７８】
次に、アクティビティ分析ステップ３１２が実施される。アクティブブロック３３０は、アクティブフラグ３００をテストして、事象検出の現在の状態を決定する。事象検出が非アクティブであれば、第一の閾値ブロック３４０は、閾値ｔｄに対してｄを比較することにより、現在のフレームのアクティブ／非アクティブ状況を決定する。事象検出加重ｄが閾値ｔｄより大きくなければ、フレームは非アクティブで、アクティブ分析は現在のフレームで終了する。事象検出加重ｄが閾値ｔｄより大きければ、フレームはアクティブで、アクティブ移行ブロック３４２はアクティブフラグ３００を設定し、初期化ブロック３４４は、現在のフレームの値を使用してアクティブデータ３０２を初期化し、非アクティブデータ３０４をクリアする。
【００７９】
アクティブブロック３３０が現在の状態がアクティブであると決定すれば、第二の閾値ブロック３４６が、ｄを閾値ｔｄに比較することにより、現在のフレームのアクティブ／非アクティブ状態を決定する。ｄが閾値より大きくなければ、フレームは非アクティブであり、カウントテストブロック３５０は非アクティブデータ３０４のフレームカウントを参照して、連続の非アクティブフレームのパラメータｋ以上が発見されたかどうかを決定する。発見されていなければ、非アクティブ更新ブロック３５４は、現在のフレームからの値を追加することにより（フレームカウントを１つ大きくすることも含む）、非アクティブデータ３０４を更新する。発見されていれば、非アクティブ移行ブロック３５２はアクティブフラグ３００をクリアして、実行は事象分析ステップ３１４に続く。
【００８０】
第二の閾値ブロック３４６が、現在のフレームがアクティブであると決定すれば、アクティブ更新ブロック３６０は、現在のフレームと非アクティブデータ３０４両方からの値を追加することにより、アクティブデータ３０２を更新する。そして、クリアブロック３６２は、非アクティブデータ３０４をクリアする。
【００８１】
アクティビティ分析ステップ３１２が、アクティブ状態から非アクティブ状態への移行を行えば、事象分析ステップ３１４が実施される。条件ブロック３７０は、アクティブデータ３０２をテストして、事象が発生したかどうかを決定する。発生していなければ、収集データは無視されて、実行が継続する。発生していれば、事象ブロック３７２は、以下でさらに説明するように、記録のためのフレームを記録する。アイドルブロック３７４は、継続前のアイドル間、待機する。
【００８２】
図４は、例示的実施形態の分析ステップをさらに説明しており、本発明の基本的操作を理解するために、図２のタイムラインと図３のフローチャートと合わせて使用する。
【００８３】
図４は、例示的実施形態において、事象検出のために証拠がどのように加重されるかを説明する。上記のように、視野において事象が発生している、または発生したことを示す証拠を構成する情報は、「事象検出加重」と呼ばれる。図は、縦軸４００の事象検出加重ｄｉと水平軸４０２のフレームカウントｉの座標を示す。各フレームは、直線４２６のような縦線により表される。フレームカウントは、任意の整数である。
【００８４】
この実施例では、ｄｉは、事象がフレームｉで発生していることを示す証拠を表すファジー論理値であり、以下でさらに説明され、視覚検出器の方法と装置で説明された方法を使用して、各フレームのビジョン検出器により計算される。
【００８５】
図４の例示的実施形態では、事象検出閾値ｔｄは、０．５であるので、ｄｉが０．５以上であるフレームはアクティブフレームと見なされる。参考のため、ｄｉ＝０．５の線４３０が描かれた。アクティブフレームの事象検出加重は、点４１０のように、黒丸として描かれ、非アクティブフレームの事象検出加重は、点４１６のように、白丸として描かれる。
【００８６】
図４の例では、事象検出は、フレーム４２２でアクティブ状態に入り、４つの連続した非アクティブフレームが見られる（この例では、非アクティブフレームカウント閾値ｋ＝３）フレーム４２４の後、非アクティブ状態に入る。候補フレームのセットは、フレーム４２２で始まり、フレーム４２６で終わる。隔離された非アクティブフレーム４２０は、非アクティブ状態への移行を発生させない。
【００８７】
図５は、例示的実施形態において、アクティビティ分析ステップ３１２により収集され、事象分析ステップ３１４により使用されるデータの詳細を示すとともに、図４の例も示す。この実施例の場合、アクティブデータ３０２と非アクティブデータ３０４は、非アクティブ状態への移行がおこなわれるとき、これらのデータを計算するために十分な情報を含む。図５のそれぞれのデータは、記号５００、以下でさらに説明される、値を定義する機能の記述５１０、および、図４の例の値が何であるかを示す例５２０を含む。
【００８８】
事象が検出されたかどうかを決定するための証拠を加重するための方法の上記の説明は、有用な実施例の一例として意図されているが、本発明の範囲内で使用できる方法に限定されない。例えば、上記で使用された例の定数ｔｄ＝０．５は、任意の適した値で置換されることがある。当業者により視覚事象検出の多くの方法が追加される。
【００８９】
[装置の例]
図６は、事象の視覚検出、記録、検索に使われる視覚検出器のためのハイレベル・ブロック図を示す。視覚検出器６００は、適切な自動機器６１０に接続されることができ、そして、それは、信号６２０を用いて、ＰＬＣ、拒否作動装置、回転符号器、および／または光検出器を含むことができる。これらの接続は、事象の検出、記録、検索の必要はないが、たとえば、視覚検出の方法と装置で教授された、追加の目的のために視覚検出器を使うことが好ましい事例に役に立つことができる。たとえば、事象が検出されたことを示すのに出力パルスを供給するのに特に好ましい場足がある。たとえば、パルスは、視覚検出器の方法と装置に教授されたように、記録時間に遅滞し、同期化し、ＰＬＣ、作動装置、または、他の装置によって使われる。
【００９０】
検出された事象の画像表示の検索のために、視覚検出器は、信号６４０を用いて、ＰＣや携帯装置のような、ヒューマン・マシン・インターフェイス（ＨＭＩ）６３０に接続する。ＨＭＩ６３０は、また、設定として使われる。ＨＭＩ６３０は、事象の検出と記録のために接続しないようにする必要があるが、もちろん、検索や表示のためには接続しなければならない。信号６４０は、条件に合ったフォーマット、および／ または、プロトコルで、実行され、有線または無線型で変換することができる。
【００９１】
視覚検出器６００により記録された事象画像は、また、自動画像分析システム６５０ により検索され、従来の機械視覚システムを含むが、それらに限定されない。このようなシステムは、ＨＭＩ６３０の使用に固有の人間の分析を必要なしに、超高フレームレートで操作するために設計された視覚検出器で可能であり、更に画像の最新分析するために使われ得る。
【００９２】
図７は、本発明の実行に使用できる視覚検出器の実例となる具体例のブロック図を示す。デジタル・シグナル・プロセッサ（ＤＳＰ）７００は、取得、分析、記録、ＨＭＩ交信、視覚検出器により必要とされるいくつかの適切な機能を制御するためのソフトウェアを起動する。ＤＳＰ７００は、電源が取り除かれた場合、プログラムと設定情報を保持するためのプログラム、データ、および、不揮発性メモリのための高速ランダムアクセスメモリを含む、メモリ７１０に接続される。また、メモリ７１０は、それに続く検索のための記録画像を保持する。ＤＳＰは、また、自動機器、ＨＭＩインターフェイス７３０、照明モジュール７４０、撮像装置７６０への信号を供給するＩ／Ｏモジュール７２０に接続されている。レンズ７５０は、撮像装置７６０の光に敏感な要素へ画像を焦点を合わせている。
【００９３】
ＤＳＰ７００は、デジタル計算、情報保存、ほかのデジタル要素に接続ができる装置であり、汎用コンピュータ、ＰＬＣ、または、マイクロプロセッサを含むが、それらに限定されない。ＤＳＰ７００は、安価であるが、高フレームレートを操作するには十分な速さがあるので、好ましい。画像分析を持ち、同時に撮像装置からピクセルデータを受取り、保存ができるので、更に好ましい。
【００９４】
図７の実例となる具体例では、ＤＳＰ７００は、マサチューセッツ州のマサチューセッツ州のノーウッドのＡｎａｌｏｇ Ｄｅｖｉｃｅｓで生産された、ＡＤＳＰ−ＢＦ５３１である。ＡＤＳＰ−ＢＦ５３１ＤＳＰ７００の並列周辺インターフェイス（ＰＰＩ）７７０は、撮像装置７６０からのピクセルデータを受取り、メモリ７１０の保存のためのダイレクトメモリアクセス（ＤＭＡ）チャンネル７７２を通して、メモリ・コントローラー７７４へデータを送る。適切なソフトウェア制御の下で、ＰＰＩ７７０とＤＭＡ７７２の使用は、ＤＳＰ７００により実行されたその他の分析で同時に画像取得させる。ＰＰＩ７７０とＤＭＡ７７２で制御するためのソフトウェア命令は、ＡＤＳＰ−ＢＦ５３３ Ｂｌａｃｋｆｉｎ Ｐｒｏｃｅｓｓｏｒ Ｈａｒｄｗａｒｅ Ｒｅｆｅｒｅｎｃｅ（品番８２−００２００５−０１）とＢｌａｃｋｆｉｎ Ｐｒｏｃｅｓｓｏｒ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｒｅｆｅｒｅｎｃｅ（品番８２−０００４１０−１４）に含まれる、プログラム取扱い説明書に従い、当業者により実行され、ここにある双方を参照することにより組み込まれる。ここで留意すべきは、ＡＤＳＰ−ＢＦ５３１、競合のＡＤＳＰ−ＢＦ５３２とＡＤＳＰ−ＢＦ５３３の装置が、同一のプログラム取扱い説明書を持っていて、適切な価格／実行取引を得るためにこの実例となる具体例で交互に用いられることである。
【００９５】
視覚検出器による好ましい高フレームレートは、従来の技術の視覚システムで使われている撮像装置でない、撮像装置の使用を勧めている。撮像装置は、高価でない照明を用い、非常に短いシャッター時間で、操作できるように、異常に光に敏感であることが好ましい。従来の技術視覚システムよりも更に速いＤＳＰでのピクセルデータのデジタル化、転送することができることが更に好ましい。それが、高価でなく、グローバルシャッターを持っていることがなお好ましい。
【００９６】
これらの物体は、従来の技術の視覚システムで使われた撮像装置よりも、さらに高い感光性で、低い解像度を持つ撮像装置を選ぶことにより、対応することができる。図７の実例となる具体例では、撮像装置７６０は、カリフォルニア州サンタクララのナショナル・セミコンダクターにより製造されたＬＭ９６３０である。ＬＭ９６３０は、典型的な従来の技術システムよりも約２４倍少ない、１２８×１００個、総計で１２８００個のピクセルの配列を持っている。ピクセルは、それぞれ、高い光感受性を持つ、２０平方ミクロンの広さである。ＬＭ９６３０は、３００マイクロ秒のシャッター時間でのセットが、ＬＥＤ照明を用い、３００マイクロ秒にさせるために十分（ほとんどの場合）敏感である場合、毎秒５００フレームを供給できる。この解像度は、視覚システムにははるかに低すぎると考えられるが、視覚検出器の方法と装置の物体である検出の特徴には十分である。ＬＭ９６３０の電気的インターフェイスとソフトウェア制御は、２００４年の１月のＲｅｖ １．０のＬＭ９６３０データシートに含まれる取扱い説明書に従い、当業者により実行され、それは、ここにある双方を参照することにより組み込まれる。
【００９７】
照明７４０は、高価でないが、短くシャッター時間をするのに十分な明るさがあることが好ましい。実例となる具体例では、６３０ナノメートルで動作している高輝度の赤いＬＥＤの列は、たとえば、Ａｇｉｌｅｎｔ Ｔｅｃｈｎｏｌｏｇｉｅｓにより製造されたＨＬＭＰ−ＥＤ２５を使用している。もう一つの具体例では、高輝度の白いＬＥＤは、好ましい照明を実行するのに使われている。
【００９８】
図７の実例となる具体例では、Ｉ／Ｏモジュール７２０は、出力信号７２２と７２４、入力信号７２６を供給する。入力信号７２６は、視覚検出器の方法と装置で教授されたように、論理的な観点で適切な接続により、事象検出のために使われる。
【００９９】
次の用語の画像取得装置は、デジタル画像を取得し、保存することを意味する。図７ の実例となる具体例では、画像取得装置７８０は、ＤＳＰ７００、撮像装置７６０、メモリ７１０と、関連した電気的インターフェイスとソフトウェア命令を備える。
【０１００】
次の用語の分析器は、デジタル画像に限定されないものを含む、デジタルデータの分析の手段を供給する。図７の実例となる具体例では、分析器は、ＤＳＰ７００、メモリ７１０と、関連した電気的インターフェイスとソフトウェア命令を備える。
【０１０１】
次の用語の出力信号器は、分析器に応対する出力信号を生産するための手段を供給する。図７の実例となる具体例では、出力信号器７８４は、Ｉ／Ｏモジュール７２０と出力信号器７２２を備える。
【０１０２】
次の用語の処理は、いくつかの目的を対象にし、好ましい装置により実行された動作の組織的なセットに参照され、メカニズム、装置、部品、ソフトウェア、または、ファームウェア、対象とする動作を実行するために一つの場所またはいろいろな場所で連携するいかなる合成を含むが、それらに限定されない。
【０１０３】
実例となる具体例では、本発明で使われている様々な処理は、デジタルハードウェア要素とコンピュータソフトウェア命令の相互作用の収集により実行される。ハードウェア要素には例えば下記のようなものがある。
・好ましいコンピュータソフトウェア命令の制御の下で、汎用情報処理動作を行うＤＳＰ７００
・画像、データ、コンピュータソフトウェア命令のための保存と検索動作を供給するメモリ７１０
・本明細書で説明する画像取得動作のような、ほかの要素と組み合わせて供給する撮像装置７６０
・インターフェイスと信号動作を供給するＩ／Ｏモジュール７２０
・ヒューマン・マシン・インターフェイスとして機能するＨＭＩインターフェイス７３０。
【０１０４】
一実施形態において、本明細書に記載する動作を実施するためのコンピュータソフトウェア命令には例えば、下記のようなソフトウェア命令がある。
・実例となる取得と分析処理の部分を説明する、図３のフローチャートステップ
・実例となる決定論理を説明する図８のファジー論理要素
・発明を実行するのに使われるソフトウェア要素のセットを示す図９のソフトウェア要素
・いかに人間のユーザーが操作するパラメータを選択できるかを示す図１０と２０のグラフィカル制御。
【０１０５】
更に、上記に示したものは、例の一覧のみであることは、当業者により、理解されるであろう。それは、完全ではなく、好ましいコンピュータソフトウェア命令は、ここに説明されたいかなる図のために使われた処理を実行するために実例となる具体例で使われ得る。
【０１０６】
本明細書に記載する処理の例には、次のようなものがある。
・画像取得装置７８０によって実行される、取得ブロック３２０（図３）や本明細書に記載されているような他の動作を含む獲得処理
・図９に示されている分析器７８２及び好ましいソフトウェア要素により実行される、図３の部分や、視覚分析ステップ３１０、活動分析ステップ３１２、及び事象分析ステップ３１４のような本明細書に記載される他の動作を含む種々の分析処理
・図９に示されている分析器７８２及び適当なソフトウェア要素により実行される、事象ブロック３７２や本明細書に記載される他の動作を含む種々の選択処理
・図９に示されている分析器７８２及び適当なソフトウェア要素により実行される、条件ブロック３７０及び本明細書に記載された他の動作を含む種々の判断処理。
【０１０７】
当業者には明らかなように、画像取得装置７８０、分析器７８２、出力信号器７８４を実施するために本発明の範囲内で使用可能な、多数の代替の構成、装置、ソフトウェア命令が存在する。同様に、本明細書に記載の処理を実施するために本発明の範囲内で使用可能な多数のソフトウェア命令が存在する。
【０１０８】
[ファジー論理意思決定]
図８は、事象が起こっているかどうか、または、起こったかどうかを判断することを含む、証拠を検討し、判断するために、具体例で使われるファジー論理要素を示す。
【０１０９】
ファジー論理値は、ある特定の状態が真であるという信頼度の推定値を示す０〜１の間の数である。１の数値は、状態が真である信頼度が高いことを示し、０は状態が偽であるという高い信頼度を示し、中間値は、信頼の中間レベルを示す。
【０１１０】
もっと馴染みのあるニ値論理は、信頼値は、０から１に制限される、ファジー論理のサブセットである。ゆえに、ファジー論理を使うここに記載した具体例は、同等のニ値論理方法または装置で置換されるこれらの値を使い、ファジー論理方法または装置で、別のニ値論理値として使うことができる。
【０１１１】
ニ値論理値は、閾値を使うことにより、原測定値から得られるものであるように、ファジー論理値は、ファジー閾値を使うことにより得られる。図８を参照すると、グラフ８００は、ファジー閾値を示す。Ｘ軸８１０は、原測定を示し、ｆ軸８１４は、ファジー論理値を示し、そのｘの範囲は、全ての可能な原測定で、ｆの値域は、０≦ｆ≦１である機能である。
【０１１２】
実例となる具体例では、ファジー閾値は、機能８２４と８２６上の点に対応して、ｘ軸、低閾値ｔ０８２０、高閾値ｔ１８２２で示される、２つの数を備える。ファジー閾値は、次の式で、定義することができる。
【０１１３】
【数１】
【０１１４】
ここで留意すべきは、この機能が、ｔ１＜ｔ０である場合、よく機能することである。他の機能は、また、シグモイドのような、ファジー閾値として使うことができる。
【０１１５】
【数２】
【０１１６】
ここで、ｔとσは、閾値パラメータである。簡素であることが目標である具体例では、従来型ニ値閾値は、ニ値論理値を結果として、使うことができる。
【０１１７】
ファジー意思決定は、ＡＮＤ８４０、ＯＲ８５０、ＮＯＴ８６０のファジーバージョンに基づいている。２つまたはそれ以上のファジー論理値のファジーＡＮＤは、最小値であり、ファジーＯＲは、最大値である。ｆのファジーＮＯＴは、１−ｆである。ファジー論理値が０か１に制限されている場合、ファジー論理値は、二進論理値に等しい。
【０１１８】
実例となる具体例では、真偽の決定が必要である時はいつでも、ファジー論理値は、それが少なくとも０．５である場合は、真として見なされ、０．５以下であれば、偽であると考えられる。
【０１１９】
当業者には明らかなように、本明細書に記載するファジー論理に関係して使用されるような値０および１に関し、臨界は存在しない。信頼の中間レベルを示す中間値として用い、いかなる数が、状態が真であることを高信頼を示すのに使い、それとは違う数が状態を偽であることを高信頼を示すのに使うことができる。
【０１２０】
[本発明のソフトウェア要素]
図９は、フレーム分析、判断、入力感知、および出力信号調節のために、具体例により使用される一連のソフトウェア要素の編成（例えば、コンピュータ可読媒体のプログラムインストラクション）を示す。各要素がそれぞれクラスに対応するように、Ｃ＋ ＋等従来のオブジェクト指向プログラミング言語のクラス階層を使用して要素が実行されてもよい。しかしながら、ここで記載されるプロセスを実行するには、基準を満たすいかなるプログラミング技術および／または言語をも使用することができる。
【０１２１】
図示のように、ガジェットクラス９００のように点線の境界線付きのクラスは、独立しては存在せず、ロケータクラス９２０のような具体派生クラスを構築するのに使用される抽象基本クラスである。実線で境界されたクラスは、ユーザーがアプリケーションを設定する必要がある時に、ＨＭＩ６３０を使用して作成および破壊することができる動的オブジェクトを表す。入力９５０などの破線で境界されたクラスは、特定のハードウェアやソフトウェアリソースと関連する静的オブジェクトを表す。静的オブジェクトは常に存在するものであり、ユーザーによって作成または破壊されることは不可能である。
【０１２２】
すべてのクラスは、ガジェットクラス９００から派生しているため、図９に示すクラスのインスタンスであるすべてのオブジェクトはガジェットの一種である。具体例においては、各ガジェットは、１．ユーザーが選択することのできる名前を有し、２．他のガジェットが判断および出力信号を制御するために、論理入力として使用することができる論理出力（ファジー理論値）を有し、３．ユーザーが操作を特定するために構成することができる一連のパラメータを有し、４．論理出力（すなわちファジーＮＯＴ）を反転するのに使用可能な、そのようなパラメータをひとつ有し、５．実行可能であり、そのパラメータ、該当する場合は論理入力、ある種のガジェットについては現行フレームのコンテンツに基づいて論理出力が更新され、また出力信号の設定のような副作用を引き起こすことがある。
【０１２３】
フレーム分析作業には、ガジェット実行前に、ガジェットへのすべての論理入力が更新されたことを保証するために確定された順序で、各ガジェットを一度実行することが含まれる。ある実施例においては、その論理出力が必要ではないフレームの間はガジェットが実行されない。
【０１２４】
写真クラス９１０は、論理出力が現行フレームのコンテンツに依存するすべてのガジェットの基本クラスである。これらのクラスは実際に画像分析を行うクラスである。各写真は現行フレームの関心領域（ＲＯＩ）のある特徴を測定する。ＲＯＩは、検査される物体の可視機能に対応する。この測定は写真のアナログ出力と呼ばれる。写真の論理出力は、感度閾値と呼ばれる、ユーザーによって構成されることができる一連のパラメータ中に存在するファジー閾値を用いて、アナログ出力から計算される。写真の論理出力は、判断を下す際に使われる証拠を提供するのに使用可能である。
【０１２５】
検出器クラス９３０は、ＲＯＩにおける測定および判断を下す際の証拠を提供することを主目的とする写真の基本クラスである。具体例においては、すべての検出器ＲＯＩは円型である。円形のＲＯＩは、回転を処理する必要がないため実行を簡素化し、またＲＯＩの形が１つしかないことで、ユーザーが学習すべきことを簡素化する。検出器パラメータにはポジションおよびＲＯＩの直径が含まれる。
【０１２６】
輝度検出器９４０はＲＯＩにおける加重平均やパーセンタイル輝度を測定する。コントラスト検出器９４２はＲＯＩにおけるコントラストを測定する。エッジ検出器９４４は、特定方向において、ＲＯＩがエッジのように見える領域を測定する。スポット検出器９４６は、ＲＯＩが穴のような丸い特徴に見える領域を測定する。テンプレート検出器９４８は、ＲＯＩがユーザーが選択した、事前にトレインされたパターンのように見える領域を測定する。検出器の操作については、視覚検出器の方法および装置においてさらに記述する。
【０１２７】
ロケータクラス９２０は、２つの主目的を持つ写真を表す。１つ目は、判断を下す際の証拠を提供することが可能な論理出力を生成することであり、これにより、他のいかなる検出器のようにも使用することができる。２つ目は、視覚検出器の視野にあるオブジェクトの位置を決定することにより、他の写真のＲＯＩのポジションを、オブジェクトのポジションを追跡するように移動することができることである。どのロケータも、１つのまたは両方の目的に使用することができる。
【０１２８】
具体例においては、ロケータは、フレーム内における一次元領域でエッジを検索する。検索方向は、エッジに向かって垂直であり、ユーザーによって設定されるパラメータの中にある。ロケータのアナログ出力はエッジ検出器のアナログ出力と似ている。ロケータについては視覚検出器の方法および装置においてさらに記載される。
【０１２９】
他の実施形態において、ロケータは、転換、回転、および、自由度のサイズを含む既知の方法を用いて、多次元検索範囲を検索する。適切な方法には、多年にわたり市販のものである既知の技術であるすべてである、正規化相関関係、汎用のハフ変換、幾何学模様補修に基づいたものを含む。多次元ロケータの具体例は、２００４年１１月２日に出願された、Ｂｒｉａｎ Ｍｉｒｔｉｃｈ氏とＷｉｌｌｉａｍ Ｍ． Ｓｉｌｖｅｒ氏による、参照することにより本書にはっきりと組み込まれる教授法である、「製造ライン情報を用いた視覚検出器のパラメータの設定のための方法」と題する、同時係属の米国特許出願番号１０／９７９，５３５に記載されている。
【０１３０】
入力クラス９５０は、事象検出に影響を与えるものとして使われる、視覚検出器に送られる入力信号を表す。出力クラス９５２は、事象が検出されるＰＬＣまたは、作動装置を通知するために使われる可能性のあるような、視覚検出器からの出力信号を表す。実例となる具体例では、各物理的入力に対して、典型的入力信号７２６（図７）のような、入力クラスの静的インスタンスが１つ、および、各物理的出力に対して、典型的出力信号７２２および７２４のような、出力クラスの静的インスタンスが１つ存在する。視覚検出の方法と装置で教えられているように、外部自動装置は、事象が起こった場合、いつ、遅延時間を利用し、または、どこで、エンコーダカウントを用いるか、決定することができるので、出力は、記録時間を同期化する遅延パルスを形成することができる。
【０１３１】
ゲートベースクラス９６０はファジー論理の意思決定を実行する。各ゲートは、他のガジェットの論理出力に接続可能な論理入力を１つ以上有する。各論理入力は、ユーザーが設定可能なパラメータを用いて、反転（ファジーＮＯＴ）することが可能である。ＡＮＤゲート９６２は、ファジーＡＮＤ操作を実行し、ＯＲゲート９６４は、ファジーＯＲ演算を実行する。
【０１３２】
判断クラス９７０は、意思決定するために連続フレーム上の証拠を検討するオブジェクトの基本クラスである。本発明の実例である具体例では、活動分析ステップ３１２ と事象分析ステップ３１４（視覚分析ステップ３１０は、下記に与えられた例に用いた、写真、入力、および／または、ゲートの合成により実行される）を実施する目的を持つ事象検出判断９７２を含む。判断のほかのタイプは、そこに与えられた機能と、ここに与えられたように事象検出を組み合わせるために好ましい具体例に存在することにより、視覚検出の方法と装置で教授されている。
【０１３３】
それぞれの判断は、ユーザーが写真、または、たいてい写真とほかのゲートである、ガジェットの論理結合を与える、さらに典型的なゲートの論理出力を接続するために論理入力を持つ。事象検出判断の論理入力は、各フレームに事象検出加重を与える。本発明の具体例は、下記に与えられた一例で、事象検出判断よりも使う可能性のあることが明らかに考えられる。
【０１３４】
事象検出判断の論理出力は、いつ事象が検出されたのかを示すパルスを提供する。パルス立ち上がりは、例えば図２の分析ステップ２４８の終了時などの、事象分析ステップ３１４が事象を検出する時に発生し、立ち下がりは、例えばアイドルステップ２６０の終了時などの後に発生する。
【０１３５】
図１０は、事象検索判断のためのパラメータを設定するために、ユーザーが見て操作するようにＨＭＩに表示されるグラフィカル制御を示す。ガジェットパラメータを設定するためのＨＭＩ６３０に表示されているグラフィカル制御のセットは、パラメータビューと称する。
【０１３６】
ネームテキストボックス１０００は、ユーザーにこの事象検出判断のための名前の閲覧と入力を可能にする。時間表示１００２は、この事象検出判断の最新起動でかかった時間を示す。論理出力ラベル１００４は、この事象検出判断の現在の論理出力値を示し、真（≧０．５）と偽（＜０．５）であるかを見分けるための色、形、または、ほかの指標に変えるかもしれない。反転チェックボックス１００６は、反転させるためにこの事象検出判断の論理出力をさせる。ここで留意すべきは、ネームテキストボックス１０００、時間表示１００２、論理出力ラベル１００４、反転チェックボックス１００６は、視覚検出の方法と装置でさらに説明したように、全てのガジェットタイプのためのパラメータビューでは、一般的であることである。
【０１３７】
アイドルタイムスピナー１０２０は、アイドルステップ２６０（図２）や図３のアイドルブロック３７４で示されているように、ユーザーに時間間隔を特定させる。消失フレームスピナー１０３０は、無効状態へ転換させる活動分析ステップ３１２なしに受け入れる連続無効フレームの最大数をユーザーに特定させる。消失フレームスピナー１０３０により特定された値は、図３のカウントテストブロック３５０にあるパラメータｋとして使われる。
【０１３８】
マーキング制御１０４０は、更に個々に説明されているように、記録時間を計算するためにフローとストローク事象間でユーザーに選択させる。記録時間を計算するために、ユーザーは、ロケータリストコントロール１０４２を使ってロケータを特定しなければならない。
【０１３９】
記録間隔制御１０５０は、事象が検出された場合、記録時間に関係して画像が記録された時間間隔をユーザーに特定させる。示されていない、代替実施例においては、ユーザーは、事象フレームが記録されたかどうか、事象フレームが記録される前後のフレーム数を特定する。
【０１４０】
状態テキスト１０１０は、状態ブロック３７０によりテストされ、事象が起こったかどうか決定するための事象分析ステップ３１４により使われた事象状態をユーザーに特定させる。図１０の具体例では、状態テキスト１０１０は、Ｃのように従来のプログラミング言語により使われ、似ている構文で論理表現を示すテキスト文字列を含む。活動統計３０２からの真偽値の算出を特定するために、その表現は活動統計３０２の要素に表し、数値定数、論理、比較、算術演算子、丸括弧のような句読法を用いて、図５からシンボル５００を組み合わせる。このようなテキスト文字列に基づいて真偽値を計算する方法は、既知の技術である。
【０１４１】
図１０の実例となる例では、少なくとも２つの候補フレームがあり、平均事象検出加重は０．５０以下または、０．７５以上である場合、事象は起こる。このような状態が役立つ例は、下記で説明された図１５と１６に示されている。
【０１４２】
[具体例の有用な例]
図１１は、いかに写真が不適用ラベル１２２（図１）のような、不適用ラベルを用いて、物体に対応する事象を検出するのに使われるかの例を示す。図１１は図１より物体１１６に対応する、物体１１００のイメージを表しており、ラベル機構１１１０とともに、写真を表す重畳グラフィックスを有し、それはユーザーが見て操作できるようにＨＭＩ６３０に表示される。ＨＭＩ上での画像および重畳グラフィックスの表示は画像表示と呼ばれる。
【０１４３】
ロケータ１１２０は、物体の上端を検出して位置を確認するために使用され、別のロケータ１１２２は右端を検出して位置を確認するために使用される。輝度検出器１１３０は、物体の存在を検出する助けとなるように使用される。この例では、背景は物体より明るく、感度閾値が２つの明るさのレベルを区別するように設定されており、より明るい背景ではなく、より暗い物体を検出するために論理出力が反転されている。
【０１４４】
後にさらに記載されるように、ロケータ１１２０および１１２２、そして輝度検出器１１３０は、ともに物体が存在することを判断するのに必要な証拠提供する。明らかに、「不適用ラベルを持つ物体」に対応する事象は、事象が存在しない場合、起こらない。
【０１４５】
エッジ検出器１１６０は、ラベル１１１０の存在および位置を検出するのに使用される。ラベルが存在しなかったり、水平に間違った位置にあったり、著しく回転し、示されたような曲がったカマーがあり、または、さまざまなほかの方法で不適用になった場合は、エッジ検出器のアナログ出力は非常に低くなる。もちろん、ラベル１１１０が、エッジ検出器１１６０により検出されない、不適用であることが多々あるので、ほかの写真は、いかなる与えられた生産状況で故障を検出する必要があるときに使われる可能性がある。
【０１４６】
たとえば、輝度検出器１１５０は、正しいラベルが貼られたかどうかを確認するために使用される。この例では、正しいラベルは白であり、誤ったラベルは暗い色をしている。
【０１４７】
物体が視覚検出器の視野を通って左から右に移動すると、ロケータ１１２２が物体の右端を追跡し、物体に対して正しい位置になるよう、輝度検出器１１３０、輝度検出器１１５０、およびエッジ検出器１１６０を再配置する。ロケータ１１２０は、検出器を物体の上端の位置に基づいて再配置し、視野内の物体のいかなる垂直位置の変動をも修正する。一般的に、ロケータはどのような位置にでも配置することができる。
【０１４８】
ユーザーは、既知のＨＭＩ技術を使用して、画像表示内で写真の操作をすることができる。写真はマウスをクリックすることにより選択可能であり、またドラッグすることにより、そのＲＯＩは移動、サイズ変更、および回転が可能である。ロケータに関する付加的な操作は、視覚検出器の方法および装置で記載される。
【０１４９】
図１２は、図１１の設定例に対応する配線図を含む、論理ビューを示す。配線図は、自動装置への事象とインターフェイスを検出するのに使用されるすべてのガジェット、およびガジェットの論理入力・出力間の接続を示す。配線図は、ユーザーが見て操作するようにＨＭＩ６３０に表示される。ガジェットの表示およびそれらのＨＭＩにおける論理的相互接続は論理ビューと呼ばれる。
【０１５０】
さらに図１２の配線図について言及すると、「トップ」という名前のロケータ１２２０は、図１１の画像表示内のロケータ１１２０に対応して、ワイヤー１２２４によりＡＮＤゲート１２１０に接続される。同様に、「サイド」ロケータ１２２２は、ロケータ１１２２に対応して、「ボックス」検出器１２３０は、輝度検出器１１３０に対応して、またＡＮＤゲート１２１０に配線される。小円１２３２で示されるように、および上記の通り、明るい背景に対してより暗い物体を検出するために、「ボックス」検出器１２３０は反転されている。
【０１５１】
配線図において、輝度検出器「ラベル」１２５０は輝度検出器１１５０に対応して、そしてエッジ検出器「ラベルエッジ」１２６０はエッジ検出器１１６０に対応して、ＡＮＤゲート１２１２に配線される。ＡＮＤゲート１２１２の論理出力は、ラベル１２１０が不適用であることを信頼性のレベルで表すように転換され、ＡＮＤゲート１２１０に配線される。
【０１５２】
ＡＮＤゲート１２１０の論理出力は、物体が存在することを信頼性のレベルで表し、そのレベル、すなわち、事象が起こる信頼性のレベルが不適用であることを表す。ＡＮＤゲート１２１０の論理出力は、各フレームに対する事象検出の加重として使用されるため、事象検出判断１２００に配線される。多くの代替事象状態は、また、アプリケーションの状況により適切であるが、この構成で適切な事象検出判断１２００の事象状態は、「ｎ＞＝３ かつ ｍ＞＝０．５」である。
【０１５３】
事象検出判断に配線するガジェットの選択は、アプリケーションの知識に基づきユーザーによって行われる。図１１および１２の例においては、ユーザーは上および右だけを検出するのでは、物体の存在を確認するのに分ではないと決定したかもしれない。ここで留意するべきなのは、ロケータ１１２２は、物体の右端に反応するのと同じように、ラベルの左端にも反応するかもしれないこと、そしておそらくこの時点で、プロダクションサイクルにおいて、ロケータ１１２０が背景で他のエッジを発見したかもしれないということである。検出器１１３０を加えること、またＡＮＤゲート１２１０を用いて３つすべての条件を満たすことで、事象の検出は信頼性の高いものになる。
【０１５４】
事象が検出された場合、画像は更に下記に説明されたように記録されるかもしれない。明らかに、事象フレームより前に時間に対応する画像は、いかにラベルが不適用であるかを正確に示す可能性が最も高い。視覚検出器がラベルが貼られる場所が実用的である限り近くで、物体を見ることができるように置くことがこの例では明らかに好ましい。
【０１５５】
事象検出判断１２００の論理出力は、「シグナル」という名前の出力ガジェット１２８０に配線され、それは、ＰＬＣまたは、作動装置のような、自動装置に接続された場合、必要に応じて、視覚検出器から出力信号を制御する。出力ガジェット１２８０は、さらに視覚検出器の方法と装置に説明されたように、適切にユーザーにより構成される。自動装置は、事象が起こった場合、いつ、時間を利用し、どこで、エンコーダカウントを用いるか、決定することができるので、視覚検出器の方法と装置で教授されたように、出力ガジェット１２８０は、記録時間を同期化する遅延パルスを形成することができる。
【０１５６】
ユーザーは既知のＨＭＩ技術を使うことにより、論理ビュー内でガジェットを操作することができる。ガジェットはマウスをクリックすることにより選択可能であり、そのポジションはドラッグによって移動可能、そしてワイヤーはドラッグ・ドロップ操作により作成が可能である。
【０１５７】
当業者は、ガジェットの適切な選択、設定、および配線により、様々な事象が検出可能であるということを認識するであろう。当業者はまた、ガジェットクラス階層が本発明を実行するのに使われる多くのソフトウェア技術のなかの唯一のものであることを認識するであろう。
【０１５８】
図１３は、図１で示される生産設定に有用である可能性のある事象を検出するための視覚検出器のもう一つの構成に対応する画像表示を示す。この例では、表示アーム１６２が十分に延長されたが（そのストロークの先端）、物体１３００は、ラベル１３１０を受取るために不正確な配置である場合、事象が起こる。アームエッジ検出器１３４０は、表示アーム１６２のストロークの先端に対応して視野内の位置に配置される。ここで留意するのは、この位置が視野に関連するように固定され、それが、製造ラインで動かないので、ロケータを使用する必要がないことである。トップエッジ検出器１３２０とサイドエッジ検出器１３３０は、物体１３００がストロークの先端で好ましい位置にあることを確認するために使われる。
【０１５９】
図１４は、表示アーム１６２のストロークの先端で間違った位置に物体が対応して、事象を検出するために、図１３の画像表示に対応してガジェットの構成を示す論理図である。「アーム」１４４０は、アームエッジ検出器１３４０に対応し、「トップ」１４２０はトップエッジ検出器１３２０に対応し、「サイド」１４３０は、サイドエッジ検出器１３３０に対応する。
【０１６０】
図１４に示されるように、変換されたＡＮＤゲート１４１２と配線されたＡＮＤゲート１４１０を用いて、事象検出判断１４００は、物体１３００がアーム１６２がストロークの先端であるときに、トップエッジ検出器１３２０とサイドエッジ検出器１３３０の少なくとも一つにより特定された位置でないことを信頼性のレベルで表す事象検出加重を受取る。この構成の場合、適切な事象検出判断１４００の事象状態は、「ｎ＞＝２」である。
【０１６１】
事象が検出された場合、画像は更に下記に説明されたように記録されるかもしれない。さらに、事象検出判断１４００の論理出力は、「シグナル」という名前の出力ガジェット１４８０に配線され、それは、ＰＬＣまたは、作動装置のような、自動装置に接続された場合、必要に応じて、視覚検出器から出力信号を制御する。出力ガジェット１２８０は、さらに視覚検出器の方法と装置に説明されたように、適切にユーザーにより構成される。
【０１６２】
図１５は、図１で示される生産設定に有用である可能性のある事象を検出するための視覚検出器のさらにもう一つの構成を形成する画像表示と対応する論理表示を示す。この例では、表示アーム１６２事象が拡張されない、または、拡張しすぎる表示アーム１６２が、ストロークの先端が間違った場所にある場合、または、それが正しい位置に延長してあるが、正しいラベルアプリケーションのために短すぎたり長すぎたりしてそこにある場合、事象が起こる。
【０１６３】
過剰外延化は検出するのが易しい。エッジ検出器１５１２は、表示アーム１６２の下方ストロークの予期された先端の下に配置されている。対応する論理表示エッジ検出器「ハイパー」１５４０は、「ハイパー事象」事象検出判断１５７０に配線され、それは、拡張しすぎるアームを検出するために事象状態「ｗ＞＝０．９５」を使う可能性がある。ここに留意すべきは、総計事象検出加重ｗを使い、この事象状態は、そのフレームの事象検出加重がとても高い信頼性を示す場合、十分な証拠として単一フレームを受入れ、事象検出加重が低い信頼性を示す場合、少なくとも２つのフレームを必要とすることである。
【０１６４】
そのほかの状態では、ロケータ１５００は、表示アーム１６２が先端付近の位置の範囲内であることを検出するために配置され、エッジ検出器１５１０は、表示アーム１６２が先端であることを検出するために配置される。対応する論理表示ロケータ「ストロ−ク」１５２０と反転したエッジ検出器「アペックス」１５３０は、ＡＮＤゲート１５５０に示されているように配線され、それは、事象検出判断「ストローク事象」１５６０に次々に配線される。この構成で事象検出加重は、表示アーム１６２が近くにあるが、そのストロークの先端ではないことを信頼性のレベルで表す。
【０１６５】
ここに留意すべきは、図１５の論理表示は、２つの事象検出判断の使用を含むことである。判断のいずれかが十分な証拠を見つけた場合、事象は検出されるので、一つ以上の事象検出判断が使われた場合、それぞれは、独立して操作される。各判断は、活動フラッグ３００、有効統計３０２、無効統計３０４のコピーを用い、それ自身の有効分析ステップ３１２と事象分析ステップ３１４を操作する。ここに留意すべきは、視覚分析ステップ３１０は、写真やゲートのようなほかのガジェットにより操作されることである。
【０１６６】
図１６は、たとえば、図１５の適切な構造である事象検出判断「ストローク事象」１５６０のために、いかに事象が明確に示されているかを示す。上記に説明された図４に示されるプロットに似ている事象検出加重ｄｉ対フレームカウントＩの４つのプロットが示されている。
【０１６７】
第一プロット１６００は、拡張されていないアームを示す。アームは、約１２のフレームで要求先端に近づくように動いたが、実際は先端に到達しなかった。第二プロット１６１０は、正しいラベルアプリケーションのために、要求先端に延長したが、唯一つだけフレームをそこに短すぎて残った、アームを示す。第三プロット１６２０ は、正しく延長され、要求先端に到達し、約３つのフレームのためにそこに残った、アームを示す。第四プロット１６３０は、長く延長され、要求先端に到達し、約７つのフレームのためにそこに残った、アームを示す。
【０１６８】
図１０の事象状態「ｎ＞＝２ かつ （ａ＜．５０｜ａ＞．７５）」は、第一プロット１６００、第二プロット１６１０、第四プロット１６３０の検出には適しているが、正しいアームの延長に対応する第三プロット１６２０では検出されない。「ａ＜．５０」の項は、第一プロット１６００と第二プロット１６１０で検出される。「ａ＞．７５」の項は、第四プロット１６３０で検出される。「ｎ＞＝２」の項は、単一フレームの偽の事象が検出されないことを約束する。
【０１６９】
明らかに、表示アーム１６２のような、機械機器の誤った延長を検出するのに好ましく、当業者に起こるであろう、多くのほかの構成と事象状態がある。図１７は、継続のウェブ上に欠陥の画像を検出し、記録するための発明を構成する一つの方法を示す。画像表示１７１０は、視覚検出器を通過している継続ウェブ１７００の一部を示す。
【０１７０】
ロケータ１７２０とエッジ検出器１７２２は、ウェブを検査するために構成されている。ウェブが壊れたり、折り重なったり、どちらかの端に実質的に擦り切れている場合、ロケータ１７２０、および／または、エッジ検出器１７２２は、偽の出力（論理値＜０．５）を形成するであろう。ウェブが、上下に移動する場合、ロケータ１７２０は、トップエッジを追跡したり、下端を検出するために関連する右の位置にエッジ検出器１７２２を備え付けるだろう。しかし、ウェブの幅が実質的に変わる場合、エッジ検出器１７２２は、偽の出力を形成するだろう。
【０１７１】
論理表示では、「トップ」ロケータ１７４０は、ロケータ１７２０を表し、「ボトム」ロケータ１７５０は、エッジ検出器１７２２を表す。これらは、ＡＮＤゲート１７６０に接続され、その論理出力は、事象検出判断１７７０で反転され、配線される。
【０１７２】
[マーキング、ストローク事象、同期化出力]
図１８は、ビジョン検出器の出力信号が記録時間とどのように同期化されることがあるかを説明するために使用するタイミング図を示す。信号の同期化は、ダウンストリーム作動装置の制御など、さまざまな工業検査の目的において望ましい。
【０１７３】
視覚事象検出は、新しい機能であるので、新しい出力信号制御を提案する。ビジョン検出器は、直接的に、または、ＰＬＣへの入力として機能することにより、一部の外部作動装置を制御できることが望ましい。これは、出力信号のタイミングが、物体が生産フローにおいて特定の固定点を通過するとき（フロー事象）、または、機械構成要素がストロークの頂点に到達するとき（ストローク事象）など、何らかの物理的手段によってある時間に一定の正確さで関係付けられることを示唆する。図１の例では、固定点は記録点１５０が可能であり、図２のタイムラインでは、時間は記録時間２５０と２５２である。図１５の例では、エッジ検出器１５１０は、ラベル貼り付けアーム１６２のストロークの頂点に位置する。図１８では、時間は記録時間１８００である。エンコーダのカウントが時間の代わりに使用されることがある。
【０１７４】
本発明は、作動装置を直接制御している場合でも、ＰＬＣまたはその他任意の外部装置により使用されている場合でも、記録時間と一定の正確さで同期化された出力を提供できる。しかしながら、１つの問題は、本発明は、発生してから何ミリ秒かの後、つまり、記録時間のミリ秒後に事象を検出することである。さらに、遅れは、それほどではないにしても、取得／分析サイクルにおいて記録時間がいつ発生するかは、何個のフレームが分析されるかに応じて非常に変化することがある。
【０１７５】
図１８は、事象検出論理出力１８４０を示す。検出パルス１８７０は、決定が決定点１８１０で行われるとき、事象検出論理出力１８４０に表示される。決定点１８１０は、図３のフローチャートの事象ブロック３７２が実行される時点に対応する。記録時間１８００から決定点１８１０までの決定の遅れ１８３０は、それほどではないにしても、分析されるフレームの個数に応じて、取得／分析サイクルにおいて記録時間がいつ発生するかは、変化することがある。従って、検出パルス１８７０のタイミングは、事象がいつ発生したかに関する正確な情報を伝達しない。
【０１７６】
可変する決定の遅れ１８３０の問題は、画像を取得して分析することにより、事象を検出しようとするすべての装置に適用される。また、事象がいつ発生したかを示す信号を、フレーム周期（フレームレートの逆数）よりも高い正確度で提供することが好ましい場合に適用する。本発明は、記録時間１８００を測定してから、出力信号１８６０の出力パルス１８８０を記録時間に同期化することにより、この問題を解決する。
【０１７７】
出力パルス１８８０は、記録時間１８００から固定された出力の遅れ１８２０で発生する。記録時間の測定動作は「マーキング」と呼ばれる。記録時間は、適切な探知器により決定されると、画像、物体の知られている位置、機械構成要素または視野で運動している物体が取得されると知られている時間（またはエンコーダのカウント）を使用して、線形補間、最小二乗フィット、またはその他のよく知られている方法よりもはるかに高い正確度で決定できる。正確度は、シャッタータイム、取得／分析サイクルの全体時間、移動速度、およびその他の要素により異なる。
【０１７８】
例示的実施形態では、ユーザーは、検索範囲がマーキングのために使用される移動方向と実質的に同じ１つの探知器を選択する。フロー事象の場合は、マークポイントは、上記のように、探知器の範囲の中央になる点が任意に選択されるが、記録点は、固定されている限り正確な位置が問題にならない架空の基準点である。ユーザーは、この任意の時間からの遅れを調節することにより、出力信号の好ましい同期を実現できる。
【０１７９】
事象が検出されてもアクティブフレームの間に運動が記録点を交差しなければ、記録時間は、推定が基本になるので、正確度は低くなることがある。ストローク事象の場合、記録点は、ストロークの頂点であり、以下で説明されるように測定される。記録点のその他の定義は、本発明を実践するために使用できることが明らかである。
【０１８０】
出力信号は、出力の遅れ１８２０が決定予想の最大の遅れ１８３０よりも長ければ、記録時間とだけ同期できることに注意する。このように、出力パルス１８８０の結果としてとられるすべての動作は、例えば、作動装置の操作のように、記録点の十分なダウンストリームになければならず、ほとんどすべてのアプリケーションの場合に想定される。
【０１８１】
図１９は、ストローク事象の場合の時間関数としての探知器の結果のグラフを示す。探知器は、例えば、図１５の探知器１５００のように、ストローク方向と実質的に並行な方向で検索するように構成されなければならない。検索される次元がストローク方向と実質的に並行な方向を含む限り、多次元の探知器も使用できることに注意する。任意の基準点から測定される時間が水平軸１９００に描かれる。探知器の論理出力は、白抜きの点１９２０および塗りつぶされた点１９２２など、四角いポイントの連続として描かれ、探知器位置曲線１９５０により結ばれる。フレームに対応する四角い点が描かれた別々の時間だけで、探知器は位置を測定する。従って、探知器の位置曲線１９５０は、読み手の任意に描かれると理解され、探知器による連続的な測定を表さない。四角い点の縦の位置に対応する論理出力値は、第一の縦軸１９１０に描かれる。白抜きの点１９２０などの白抜きの四角い点は、探知器が対象の画像の特徴を見つけたという確信がほとんどない場合の低い論理出力値（０．５未満、例示的実施形態の基準線１９１４に相当する）を表す。塗りつぶされた点１９２２などの黒い四角い点は、探知器が対象画像の極超を見つけたという強い確信がある場合の高い論理出力値（例示的実施形態では０．５以上）であり、従って、測定位置が有効であることを示す。
【０１８２】
測定された探知器の位置は、位置ポイント例１９３０など、黒丸として描かれた位置点の連続として描かれる。位置点の縦の位置に対応する位置の値は、第二の縦軸１９１２に描かれて、探知器の中央からのピクセルで測定される。位置点は、探知器の論理出力が０．５以上の場合のフレームだけ、つまり、探知器が対象画像の特徴を発見したという強い確信があるフレームだけに、表示されることに注意する。
【０１８３】
視野の機械的構成要素が、探知器の検索範囲を、頂点に向かって、約＋６ピクセルで、約４個のフレーム分前進し、約６個のフレーム分、その頂点で維持されてから、検索範囲を超える前に別の４個のフレーム分後退した位置ポイントを確認することによりわかる。このストローク事象の特定の記録時間を計算するために、例示的実施形態は、位置ポイントを使用して、最適な放物線１９４０を計算すると、放物線１９６０の頂点が容易に決定される。説明的例では、記録時間（最適放物線の頂点）は、１９．２ミリ秒で発生する。
【０１８４】
ポイントのセットから最適放物線を計算するための方法は、技術的によく知られている。当業者には、本発明の範囲内において、ストローク事象の頂点を決定するためのその他の方法を使用できることが明らかである。さらに、本明細書で説明される方法を使用して、本明細書で検討されるフローおよびストローク事象以外の運動が追跡できること、さらに、このような運動の場合の記録時間を決定するために、適切な曲線がフィットできること、また、その他の技術を使用できることが明らかである。
【０１８５】
図２０は、出力の遅れ１８２０（図１８）を設定する制御などの、出力機器のユーザー設定のためのパラメータ表示を示す。モード制御２０００により、ユーザーは、出力信号をどのように制御するかを選択できる。「直線」モードでは、論理入力は、遅れまたは同期が全くなく、出力信号に直接渡される。「遅延」モードでは、論理入力の上昇部分上で、出力パルスは、遅延制御２０１０により指定された量だけ、最も直近に測定された記録時間（またはエンコーダカウント）から遅れた時間で、および、パルス制御２０２０により指定された期間の間、発生するようにスケジュールされる。スケジュールされたパルスは、出力機器に関連づけられたＦＩＦＯに配置されることもある。
【０１８６】
[画像の記録と検索]
図２１は、例示的実施形態で使用されるメモリ７１０（図７）の一部の組織の詳細を示す。フレームバッファプール２１００は、さまざまな目的で使用される、フレームバッファ２１３０、２１３２、２１３４、２１３６および２１３８のようないくつかの個別のフレームバッファを含む。フリープール２１１０は、リングバッファとして組織されて、事象決定のためのフレームを取得して分析するために使用される。書き込みポインタ２１２０は、次のフレームが取得される、次に使用可能なフレームバッファ２１３０を示す。フレームバッファ２１３０への画像取得と同時に、フレームバッファ２１３２にある以前の画像が分析されている。ある時点で、リングバッファはいっぱいになることがあり、その時点で、古いフレームは上書きされる。
【０１８７】
撮像装置７６０がＬＭ９６３０である場合の例示的実施形態では、例えば、各フレームバッファは、１２８ｘ１００個の８ビットピクセルを含む。図では、フレームバッファプール２１００は、明確化のために、数十の要素だけを含むように示されているが、実際には、さらに多いほうが望ましい。ある実施例では、１６０個の要素が使用されているが、２メガバイトをやや下回るストレージが必要であり、２００フレーム／秒の実行速度で約０．８秒、または、５００フレーム／秒の実行速度で約０．３２秒で保管する能力である。明らかに、フレームレートが低くなると、画像を保管できる時間は増加する。
【０１８８】
事象が検出されると、事象が発生してから多くのフレームが発生することがあるが、取得された画像の最近の履歴は、フリープール２１１０にある。例示的実施形態では、フリープール２１１０は、事象フレーム、および、アプリケーションの目的のために十分な数の事象フレームの前後のフレームを保持する十分な大きさである。事象が検出されるとき、最近の履歴は、記録制御１０５０のようなユーザーの選択により、記録されるフレームがない、一部、または全部を含むことがある。最近の履歴がフレームのすべてを含む場合は、以下で説明されるように、直ちに記録できる。すべてを含まない場合は、記録は、記録されるフレームのすべてが利用可能である将来の時点で発生する。
【０１８９】
例示的実施形態において、例２１３４など、「Ｒ」とマークされたフレームバッファは、記録される画像を保持し、例２１３６などの「Ｅ」は事象フレーム（記録される）を保持する。事象は記録時間２１６０で発生し、バッファ２１３４のフレームの分析中に検出される。事象が検出されたとき、記録されるフレームの全部ではないが、一部が最近の履歴にある。バッファ２１３２のフレームを後で分析中に、最近の履歴はこれで記録されるフレームすべてを含むと決定される。
【０１９０】
フレームを記録するために、フレームバッファはフリープール２１１０から削除されて、保管された事象２１１２、２１１４および２１１６を含む、保管された事象プール２１０４に追加される。新しく保管された事象を削除後にフリープール２１１０のフレームバッファの数が小さくなりすぎる場合は、さまざまなアクションが可能である。ある実施例では、事象検出は、バッファがフリープール２１１０に戻ることができるように、ＨＭＩ６３０（図６）がフレームを保管された事象プール２１０４にアップロードするまで、中断する。別の実施例では、１つ以上の保管された古い事象は保管された事象プール２１０４から取り出されて、フリープール２１０４に戻されることがある。これらの古い事象は、表示することはできなくなる。
【０１９１】
例示的実施形態では、フレームバッファは決してコピーされない。その代わりに、フレームバッファは、技術的によく知られた技術を使用するポインタ操作により、フリープール２１１０と保管された事象プール２１０４の間を移動する。
【０１９２】
リスト要素２１４０、２１４２および２１４４など、保管された事象のリスト２１０ ２が維持される。リスト要素２１４０は、例えば、次の要素ポインタ２１５０、フレームバッファカウント２１５２、結果情報２１５４、および保管された事象ポインタ２１５６を含む。結果情報２１５４は、図にあるようにタイムスタンプ、または、表示されていないがアクティブデータ３０２のような他の情報を含むことがある。
【０１９３】
結果情報２１５４は、事象全体に適用される情報を含む。保管された事象プール２１０４のフレームバッファで表示されている例のように、各記録されたフレームの情報を提供することがさらに好ましい。例示的実施形態では、保管された情報は、記録時間に想定的なフレームの取得時間をミリ秒単位で記録するタイムスタンプを含む。事象検出加重や個別の機器の結果のようなその他の情報（表示されていない）も記録されることがある。
【０１９４】
図６に戻って参照すると、ビジョン検出器は、設定を目的として、信号６４０を経由して人−マシンインターフェイス（ＨＭＩ）６３０に接続されることがある。また、ＨＭＩがビジョン検出器６００の一部であることも可能であるが、これは、ＨＭＩは一般的に事象検出には必要ではないため、あまり好まれない。したがって、１台のＨＭＩは多数のビジョン検出器の間で共有できる。ＨＭＩは、図２２に示される図説部分の従来の設計のグラフィカルユーザーインターフェイス（ＧＵＩ）を実行することがある。
【０１９５】
ＧＵＩにより、ビジョン検出器のメモリ７１０に保管された記録された画像の一部が、人間のユーザーに表示されることが可能である。図２２の例示的実施形態では、映写スライドウィンドウ２２０２は、８個までのサムネイル画像２２１０、２２１２、２２１４、２２１６、２２２０、２２３０、２２３２および２２３４を表示する。それぞれのサムネイル画像は、保管された事象プール２１０４に対応する記録された画像の低解像度バージョンである。一般的に、サムネイル画像は、記録の単独事象の連続画像に対応するが、対応するサムネイルの間の画像の何個かを省略するなど、その他の処理も有用なことがある。
【０１９６】
スクロール制御のセット２２５０は、事象の記録された画像内、または事象間で前後してサムネイル画像を移動するために映写スライドウィンドウ２２０２に提供される。次の画像制御２２６０は、画像を１つずつ進めて、以前の画像制御２２６２は画像を１つずつ逆に進む。次の事象制御２２６４と以前の事象制御２２６６は、事象を１つずつ前後に表示する。
【０１９７】
サムネイル２２２０は、物体１１６（図１）の例に対応することがある、物体２２４ ２の低解像度画像を表示する。また、物体２２４２は、サムネイル２２１０の物体例２２４０のように、わずかに異なる表示視点（視野内の位置）およびアーム２２７２によるラベル２２７０の貼り付けの間異なる時間で、その他のすべてのサムネイルも表示する。スクロール制御２２５０を使用してスクロールコマンドを発行することにより、ユーザーは、任意の望ましい時間間隔を見るために記録された画像を前後に移動できる。特に、サムネイル２２１２、２２１４および２２１６にある図説の画像例を検討すると、ラベル２２７０は、貼られているように、物体の上端で引っかかっているように見える。
【０１９８】
図２２の例示的実施形態では、太線で囲まれて「選択された画像」として参照されている、サムネイル２２２０に対応する画像も、画像表示ウィンドウ２２００で最高解像度で表示される。スクロールコマンドが表示部分を前後に進むにつれて、別の選択された画像がサムネイル２２２０に移動して、画像表示ウィンドウ２２００で最高解像度で表示される。記録時間に想定的に選択された画像の取得時間（この例のミリ秒）を示すタイムスタンプ２２８０のような選択された画像についてのその他の情報も表示される。
【０１９９】
以上は、本発明のさまざまな実施例の詳細説明である。本発明の製品および範囲から逸脱することなく、本発明にさまざまな範囲の修正や追加を行えることが明らかである。例えば、本明細書のプロセッサと計算デバイスは例であって、スタンドアロンと分散両方のさまざまなプロセッサおよびコンピュータが、開示された計算を実施するために採用できる。同様に、本明細書で記述された撮像装置やその他のビジョン構成要素は、例であって、改善されたまたは別の構成要素が本発明の開示内で採用できる。ソフトウェア要素、ＧＵＩ設計およびレイアウト、パラメータ値、および数式は、すべて本発明の特定のアプリケーションに適するように同等に修正または置換できる。従って、本記述は一例を意味するものであって、本発明の範囲を限定するものではない。
【技術分野】
【０００１】
[発明の背景]
本発明は、高速ビデオ事象検出、動作分析、画像記録、自動画像分析に関係するものである。
【背景技術】
【０００２】
[関連技術の説明]
人の目では速すぎて見ることが難しい機械システムの分析動作のために、高速画像記録装置を使うことは、当技術分野で周知である。これらの装置は、スローモーションまたは、スチール画像としての画像を表示し、人間のユーザーのために高速機械動作を見て、分析するために、機械処理の毎秒数百または数千の画像を取得し、録画するものである。
【０００３】
特に関心があるものに、機械処理において故障を引き起こす場合がある、まれな、短時間の機械的事象の記録である。事象がまれで短時間であるという事実は、特別な課題を生む。たとえば、画像記録装置が毎秒１０００画像を録音するとすれば、事象は、３ミリ秒続き、平均一時間に一度起こる。追加の装置なしに、人間のユーザーが事象を含む２または３の事象を見つけるために平均３６０万の写真を見る必要があるであろう。
【０００４】
事象が起こる場合、示す画像記録装置のトリガ信号を供給することにより、この課題に対応することは、当技術分野で周知のことである。画像記録装置は、最新の画像の限られた数を保存し、トリガ信号が事象が起こったことを示す場合、録画の最後の一秒であると言い、簡単な追加時間を記録し、終了する。これは、事象の前後の両方で見る、各画像の少数をユーザーに与える。更に、各画像がトリガ信号により示された事象の時間に関連して取得された場合、ユーザーは、確実に分かる。
【０００５】
明らかに、この方法の成功は、的確なトリガ信号を生成することができるかどうかによる。この目的のために光検出器を使うことは、当技術分野で周知のことである。例示的な光検出器は、物体の表面の点により反映される、または、物体が通過する可能性のある経路沿いに送信される光の強度に対応する光源と単一光電子センサーを持つ。ユーザーの調整可能な感度閾値は、光検出器の出力信号に電圧を加える上の（または、下の）光強度を確立する。
【０００６】
それは、しばしば、複数の光検出器がトリガ信号を供給する必要がある例である。たとえば、機械処理が製造ラインの生産離散物体である場合、事象は、部品不足で物体の生産に対応し、一つは、物体が存在する時に検出するもの、もう一つは、部品不足を検出するためのものとして、少なくとも２つの光検出器が必要である。時々、複雑な事象を検出するために２つ以上の検出器が必要である。
【０００７】
しかし、トリガ信号の供給に光検出器を使うことには、次のような幾つかの欠点がある。
・一つ以上の点で送信または、反射される光の強度の単純な測定は、事象を検出するためには不十分である場合がある。
・確実に正確な点を見るように、各光検出器の位置を調整するのは難しい。
・測定された点は、機械的な処理の通常操作の間、あちこち移動させてはならない。
・複数の光検出器の必要性は、導入、設定を難しくさせる。
【０００８】
トリガ信号の供給に機械視覚システムを使うことは、当技術分野で周知のことである。機械視覚システムは、二次元の視野のデジタル画像を取得でき、画像を分析し、決定することができる装置である。画像は、積分時間、または、シャッター時間と呼ばれる、短時間に、レンズにより配置に焦点される光に対して、感光部材の二次元配置を感光させることにより取得する。その配置は、撮像装置と呼ばれ、個々の要素は、ピクセルと呼ばれる。各ピクセルは、シャッター時間でそれに向かって行く光の強度を測定する。測定された強度値は、デジタル数に変換され、画像形成のための視覚システムのメモリで保存され、それは、決定のための当技術分野で周知の方法を用いて、コンピュータのようなデジタル処理要素で分析される。
【０００９】
機械視覚システムは、光検出器の限度を避けることができる。一つの機械視覚システムが、多くの光検出器に交換でき、単一点強度測定の代わりに、広範な明るさのパターンの高度な測定を行う。見る位置を調整するには、スクリュードライバーやレンチの代わりにグラフィカル・ユーザー・インターフェイスを使ってすることができ、それらの位置は、それ自身の画像の内容に基づき、各画像を移動させることができる。
【００１０】
しかし、機械視覚システムには、下記のような固有の欠点がある。
・機械視覚システムは一般に、事象が個々の物体の検査に関係するものであるときにしか一般に適しない。
・機械視覚システムは、遅すぎて短時間しか持続しない事象を検出できないため、不良品のような事象により発生する長期間持続する状態を探さなければいけない。
【００１１】
ここで留意すべきは、機械視覚システムが、トリガ信号を供給するのに使われたとき、それは、高速画像記録装置とは別々のものであることである。それは、検出された事象を含む画像は、見れないし、その装置より取得された画像を分析できない。たとえ、それらの画像が機械視覚システムで利用できるとしても、とてつもなく割合が高く、生産されるので、従来の設計の機械視覚システムより分析されない。
【００１２】
視覚検出器の方法と装置は、トリガ事象が起こったことを検出するための従来の技術の光検出器と機械視覚システムの上記に説明される限度を克服することができる、新規の方法とシステムを教える。また、これらの教えは、原型の教えの範囲の下で、改善を導く発明のための材料を提供する。以下の章では、視覚検出器の方法と装置を簡単に要約し、それに続く章では、本発明により扱われた問題を提示する。
【００１３】
[視覚検出器の方法と装置]
視覚検出器の方法と装置は、検出され、検査された物体が位置し得る二次元の視野のデジタル画像を取得し、画像を分析し、決定することに基づいて、物体の自動光電子工学の検出と検査のためのシステムと方法を供給する。これらのシステムと方法は、広範なエリアから反映した明るさのパターンを分析し、物体の多くの区別できる特徴に対処し、ソフトウェア手段を通して、ライン切り替えを供給し、不確かな利用できる物体の位置に対応する。それらは、従来の技術の機械視覚システムよりもあまり高価ではなく、設定するのがより簡単で、はるかに高速で操作できる。これらのシステムと方法は、更に、物体が動くことの多くの見通しを活用し、トリガなしに操作でき、適切な同期化される出力信号を供給し、当業者に明らかであるほかの重要で役に立つ能力を供給する。
【００１４】
視覚検出器の方法と装置の一つの態様は、従来の技術の視覚システムよりも高速で一連の画像をを取得し、分析できる、視覚検出器と呼ばれる、装置である。取得され、分析されたこのような一連の画像が、フレームと呼ばれる。動いているものが視野（ＦＯＶ）を通過した場合、フレームレートと呼ばれる、フレームが取得され、分析される割合が、それが多数の連続フレーム内に見られることが十分に高いと言われる。物体が連続するフレーム間で動いているので、視野で多くの位置に置かれ、それゆえに、照明に関連した多数の視覚の視点と位置から見られる。
【００１５】
視覚検出器の方法と装置のもう一つの態様は、動的画像分析と呼ばれる、物体が視野に位置し、多数のフレームを取得し、分析することにより、フレームのそれぞれから得られる証拠の合成結果を基にすることにより、物体を検査するための方法である。その方法は、単一のフレームを基づいて、決定する従来の技術の機会視覚システムを超える重要な利点を供給する。
【００１６】
更に、視覚検出器の方法と装置のもう一つの態様は、視覚事象検出と呼ばれる、視野で起こる可能性のある事象を検出するための方法である。事象は、視野を通過する物体であり、視覚事象検出を使うことにより、トリガ信号の必要なしに、物体を検出する。
【００１７】
視覚検出器の方法と装置の追加の態様は、そこに示される図の研究と詳細な説明で明らかになるだろう。
【００１８】
多数の視点から画像を得るために、検出され、検査される物体が、連続のフレーム間で少なくとも視野の少数の割合で、少なくとも２、３ピクセルで動くことが好ましい。視覚検出器の方法と装置によれば、物体の動きは、フレームにつき、ＦＯＶの約１／ ４以下であることが一般に好ましく、例示的な具体例では、たったＦＯＶの５％もしくはそれ以下であることが好ましい。これは、製造処理を遅くするだけでなく、十分な高フレームレートを供給することにより、達成することが好ましい。例のシステムでは、フレームレートは、少なくとも毎秒２００フレームで、もう一つの例では、フレームレートは、物体が視覚検出器に出現する平均の割合の少なくとも４０倍である。
【００１９】
例示的なシステムは、毎秒５００フレームまで取得し、分析できるように教えられている。このシステムは、従来の技術の視覚システムよりもはるかに少ないピクセルを持つ、超敏感な撮像装置を利用している。高感度は、低価なＬＥＤを用いて、とても短いシャッター時間を可能にし、それは、それぞれ少数のピクセルの合成でとても短い取得時間を可能にする。撮像装置は、分析操作で動的にピクセルデータを受取り、保存できる、デジタル・シグナル・プロセッサ（ＤＳＰ）へ接続する。そこで教えられ、ＤＳＰのための適応するソフトウェアを用い、実行された方法を使い、一般に各フレームを分析する時間は、次のフレームを取得するのに必要とされる時間内で保持することができる。取得と分析の方法と装置は、好ましい高フレームレートを供給するために合成される。本発明の物体を用い、撮像装置、ＤＳＰと照明のの能力を注意深く一致させることにより、例示的なシステムは、従来の技術の機械視覚システムよりも著しく低価にすることができる。
【００２０】
視覚事象検出の方法は、連続フレームを取得し、事象が起こっている、もしくは、起こった証拠を決定するために各フレームを分析することを含む。視覚事象検出がトリガ信号の必要なしに、物体を検出するのに使われた場合、分析は、物体が視野に位置している証拠を決定する。
【００２１】
例示的な方法では、証拠は、物体検出加重と称する、物体が視野に位置している信頼度のレベルを示す値の形式である。その値は、信頼度のレベルの範囲、または、証拠を導く情報のいくつかの項目を示す数で、高いまたは、低い信頼度を示す、単にはい／いいえの選択であってもよい。このような数の例の一つとして、そこに更に説明された、いわゆるファジー論理値である。ここで留意すべきは、機械は、画像から完璧な決定をすることができないので、不完全な証拠に基づいて判断をすることになる。
【００２２】
物体検出を実行する場合、各フレームは、物体が視野に位置しているということを十分に示す証拠があるかどうかを決定するために試験される。単にはい／いいえの値が使われた場合、その値が「はい」であれば、証拠は、十分であると見なされ得る。数が使われた場合、充足は、閾値までの数を比較することにより決定されてよい。証拠が十分であるフレームは、有効フレームと称する。ここで留意すべきは、手元にある特定のアプリケーションの理解に基づいて、視覚検出器を設定する人間のユーザーによって結局のところは定義されたもので十分な証拠は、構成されていることである。視覚検出器は、自動的にその決定をする定義に適応する。
【００２３】
物体検出を実行する場合、視野を通過した各物体は、視覚検出器の高フレームレートによって、多数の有効フレームを生成する。しかし、いくつかの視点または、ほかの状態であり得る、視野を物体が通過するために、これらのフレームは、事象が視野に位置している証拠は十分でないので、正確には連続ではない場合がある。したがって、有効フレームが見つかった場合、物体の検出を始め、多くの連続する無効フレームが見つかるまで終了しないことが好ましい。この数は、ユーザーにより適切に選択される。
【００２４】
有効フレームのセットが視野を通過する物体に対応することができるということがわかると、物体が実際に検出されたかどうかを決定するためにさらなる分析を実行することが好ましい。このさらなる分析は、有効フレームの数、物体検出加重の合計、平均物体検出加重、および、同等のものを含む、有効フレームの統計を考慮することができる。
【００２５】
動的画像分析の方法は、物体を検査するための多数のフレームを取得し、分析することを含み、「検査」は、物体の状態についての情報を決定することを意味する。この方法の一つの例では、物体の状態は、ユーザーにより必要に応じて選ばれた検査基準をその物体が満たすかどうかを含む。
【００２６】
視覚検出器の方法と装置の態様では、視覚事象検出方法により選ばれた有効フレームは、物体を検査するために動的画像分析方法により使われたものであるので、動的画像分析は、視覚事象検出と組み合わされる。視覚検出器の方法と装置のその他の態様では、動的画像分析により使われたフレームは、トリガ信号に応答することで取得することができる。
【００２７】
このような各フレームは、物体が検査基準を満たす証拠を決定するために分析される。一つの例示的な方法では、物体合格スコアと称する、物体が検査基準を満たす信頼のレベルを示す値の形式である。物体の検出加重と同様に、その値は、高い、または、低い信頼度や、信頼度のレベルの範囲や証拠を導く情報のいくつかの項目を示すファジー論理値のような数を示す、単にはい／いいえの選択であってよい。
【００２８】
物体の状態は、物体合格スコアの平均または、百分率のような、物体合格スコアの統計から決定されてよい。また、状態は、物体決定加重を用い、加重平均または、加重百分率のような、加重統計により決定されてもよい。加重統計は、その信頼が、物体が実際にそのフレームの視野に位置していることが高いことを特徴とする、フレームから更に重要な証拠として重きをおく。
【００２９】
物体の検出と検査の証拠は、物体の一つ以上の可視特徴についての情報のためのフレームを検査することによって得られる。可視特徴は、放射光の量、パターン、または、その他の特徴が、物体の出現、独自性、状態についての情報を伝達する、その物体の一部分である。光は、物体の外部または内部の情報源の反映、伝達、または、屈折、または、物体の内部の情報源であることを含むが、それらに限らない、いくつかの処理または、処理の組み合わせにより、放射される。
【００３０】
視覚検出器の方法と操作の一つの態様は、物体検出加重と物体合格スコアを含み、それに対し、証拠が必要とされる各フレームの一つ以上の関心領域で画像分析操作により、証拠を得る方法である。この方法の一つの例では、画像分析操作は、関心領域でピクセル値に基づいて測定を算定し、その測定は、物体の可視特徴の適切な特徴に応答するものである。測定は、閾値操作による論理値に転換され、関心領域から得られた論理値は、フレームの証拠を形成するために組み合わされる。論理値は、必要に応じて、二元またはファジーの閾値と論理結合を使う、二元、またはファジー論理値である。
【００３１】
視覚事象検出のため、物体が視野に位置していることの証拠が関心領域、測定、閾値、論理合成、および、他のここに更に説明されたパラメータにより、有効に定義され、それは、まとめて視覚検出器の設定と呼ばれ、本発明の与えられたアプリケーションのために必要に応じて、ユーザーにより選ばれる。同様に、視覚検出器の設定は、十分な証拠を構成するものとして定義される。
【００３２】
動的画像分析のために、物体が検査基準を満たす証拠はまた、視覚検出器の設定により、有効に定義される。
【００３３】
[問題点の検討]
高速事象検出、動作分析、画像記録のためのトリガを供給する光検出器と機械視覚システムの与えられた限度は、高速視覚事象検出を供給することにより、および、それを高速画像記録と統合することにより、トリガ信号の必要性を避ける方法とシステムの改善が必要である。
【００３４】
視覚検出器の方法と装置は、動作分析で使うための画像記録で統合を学ばせないで、ほかの利点で、高速視覚事象検出を供給する新規の画像分析の方法とシステムを学ばせる。従って、事象の自動視覚検出、記録、検索のための新規の役に立つ方法とシステムを達成するための好ましい画像記録と表示能力を用い、好ましい要素と視覚検出器の方法と装置の設定を組み合わせた方法とシステムの改善が必要である。
【００３５】
更に、視覚検出器の方法と装置は、視野を通過する個々の物体に対応する事象を検出することを主として、視覚事象検出の実例となる具体例を供給する。これらの教授は、ほかの事象タイプを検出するのに使用できることは当業者には明らかであろうが、そこに教えられない改善はまた、このような事象を検出するのに役立つことができる。従って、さまざまな事象を検出するのにその実用性を改善するために視覚事象検出の教授を広げる必要がある。
【発明の開示】
【課題を解決するための手段】
【００３６】
[発明の概要]
本発明により、事象の自動視覚検出、記録および検索のための方法およびシステムが提供される。本明細書では、
・「事象」とは、視覚手段により検出できる、撮像装置の視野内の一部の時間変化条件の中の特定条件を指す。
・「自動視覚検出」とは、前記撮像装置により取得された画像の内容を基本にして、人間の介入または外部のトリガ信号を必要とせずに事象が検出されることを意味する。
・「記録」とは、前記事象がメモリに保管される前、保管される間、および／または保管された後に対応する画像を意味する。
・「検索」とは、これらの画像が、人間のユーザーのための表示などの目的のために検索され、さらに、画像分析システムによりさらに自動分析されることを意味する。
【００３７】
本明細書において開示される方法およびシステムは、事象が発生したことを外部機器に発信する、および事象がいつ発生したかを示す同期出力パルスを提供するなど、しかしこれらに限定されない任意の目的のために、事象の自動視覚検出に有用である。機械的処理の高速運動分析にさらに有用であり、短時間のまれな事象の画像用のその他任意の応用が望ましい。
【００３８】
本発明の開示に従い、ビジョン検出器またはその他の適切なデバイスは、一部の特別な条件に対応するイベントが発生することのある機械的処理などのように、その視野が一部の時間変化条件を含むように配置され、事象を検出するように構成される。前記ビジョン検出器は、各フレームが視野の画像である、一連のフレームを取得する。さらに、視覚検出器の方法と装置で開示された方法およびシステムなど、しかしこれらに限定されない任意のさまざまな方法およびシステムを使用して、以下でさらに詳細が明らかになるように、視野で事象が発生したという証拠を取得するために前記フレームを分析する。
【００３９】
事象が発生すると、分析は、事象が発生したという十分な証拠を明らかにする「事象フレーム」のセットを識別する。セットは、事象フレームを１個だけ含むこともあるが、複数の事象フレームを含むこともある。本明細書で開示される例示的実施形態では、事象フレームは一連のフレームで連続しているが、事象フレームが完全に連続していない場合も、本発明の範囲内において実施例を考案することは容易である。
【００４０】
次の例を考慮する。検出される事象は、許容範囲外で移動している運動機械構成要素に対応する。ビジョン検出器は、許容範囲外の視野の領域である、誤差範囲の構成要素を検出するように構成される。一部の機械サイクルでは、構成要素は３個の連続フレームの間、誤差範囲を通過運動すると想定する。さらに、フレームの分析により、構成要素が第一番目と第三番目のフレームで誤差範囲にあることを示す証拠は強く、構成要素が第二番目のフレームで誤差範囲にあることを示す証拠は弱いことが明らかになると想定する。これは、第二番目のフレームの照明に対する構成要素の視点または位置が、構成要素が見えにくい視点または位置であるために発生することがある。また、分析により、構成要素は、３個の重要なフレームの前後で、多数のフレームがその範囲にあったとは考えにくいことも明らかにする。
【００４１】
事象フレームのセットは、第一番目のフレームが前記事象が発生していることを強く示す証拠を明らかにしたときに開始し、以降のフレームが前記事象が継続していることを示す証拠がないときに第三番目のフレームで終了した。第一番目と第三番目のフレームを合わせた肯定的な証拠と、第二番目のフレームの弱い証拠は、事象が発生したと結論づけるに十分であると判断される。この例では、３個のフレームが事象フレームである。
【００４２】
一部の実施例では、第二番目のフレームは事象フレームとは見なされない。第二番目のフレームを事象フレームであると考えるかどうかの選択は、本発明の範囲内ではどちらにも考えることができる。本明細書に開示された例示的実施形態では、事象フレームは連続的であり、第二番目のフレームを含むと考える。
【００４３】
証拠が事象が発生したと決定するために十分であると判断されると、複数の選択されたフレームが一連のフレームから選ばれて、メモリに記録される。フレームは、事象フレーム、または、後述するように計算される記録時間に対する一連のフレームの中の位置に応じて、記録されるために選択される。事象フレーム自体が記録されることもあるが、一連のフレームの中の事象フレームの前のフレームが記録されることもある。また、一連のフレームの中の事象フレームの後のフレームが記録されることもある。例示的実施形態では、記録時間に対してユーザーが指定した時間間隔内で取得されたフレームが記録される。別の例示的実施形態では、事象フレームと事象フレームの直前および直後の連続フレームなど、予め決定された数のフレームが記録される。
【００４４】
これらの保管された選択フレームからのフレームが、コマンドに応答して検索され、コマンドを発行するために、グラフィカルユーザーインターフェイスを使用している人間のユーザーのための表示、さらに、コマンドを発行している画像分析システムによりさらに自動化された画像分析など、さまざまな目的のために使用される。
【００４５】
フレームが人間のユーザーのために表示される実施例では、一般的には一度にいくつかのフレームを表示することが望ましいが、典型的にはユーザーが各画像で有用な詳細を見るために十分なディスプレイ解像度で記録した画像を一度にすべて表示することは実用的ではない。本発明に従い、記録されたフレームの一部が一度に表示される。ユーザーは、表示される部分を前後に移動するスクロールコマンドを発行することにより、表示される部分を選択する。一度に表示される部分は、数個のフレームを含むことが好ましいが、最低１つのフレームを含むことができる。
【００４６】
例示的実施形態として、フレームはグラフィカルユーザーインターフェイス（ＧＵＩ）を使用して表示される。一度に表示されるフレーム部分は、ＧＵＩの「映写スライドウィンドウ」に含まれており、低解像度の連続した「サムネイル」画像としてフレーム部分を表示する。サムネイル画像の解像度は、有用な数の画像を一度に見ることができるに十分な低解像度にも、各画像の詳細を見ることができる高解像度にも選択される。スクロールコマンドは、従来のＧＵＩ要素により提供される。
【００４７】
この例示的実施例は、さらに、画像表示ウィンドウにおいて、完全な解像度で前記フレーム部分の１個のフレームを表示する。スクロールコマンドにより映写スライドを前後に移動すると、画像表示ウィンドウに表示されるフレームも前後に移動する。
【００４８】
例示的実施例では、視野において事象が発生したという証拠は、事象が発生しているまたは発生した信用レベルを示す、「事象検出加重」と呼ばれる値の形で各フレームに取得される。前記値は、信用レベルの高低を示す簡単なはい／いいえの選択、信用レベルの範囲を示す数字、または証拠を伝達する情報の任意の項目のことがある。このような数の一例は、ファジー論理値と呼ばれるもので、詳細は後述される。画像から完璧な決定を下すことができる機械はないので、不完全な証拠を基本にして決定することになる。
【００４９】
事象検出加重は、フレームの１つ以上の対象領域上の画像分析演算により、各フレームに対して取得される。例示的実施形態では、各画像分析演算は、対象領域のピクセル値を基本にして測定を計算するが、測定は領域の光量、パターン、またはその他の特徴に対応する。測定は、閾値演算により論理値に変換され、対象領域から取得された論理値は、フレームの事象検出加重を計算するために組み合わされる。論理値は、バイナリまたはファジー論理値で、閾値と論理の組み合わせは必要に応じてバイナリまたはファジーである。
【００５０】
例示的実施例では、以下の場合の事象フレームは連続フレームのセットである。
・セットの最初と最後のフレームの事象検出加重が閾値を超える場合。
・最後のフレームの後に、事象検出加重が閾値を超えないフレームが少なくとも一部の決定済みの個数だけある場合。
・フレームセットの事象検出加重が一部の決定済み条件を満足する場合。
【００５１】
この目的のために、任意の適切な条件を定義してもよいが、条件は下記のものに限定される：
・セットにあるフレームの個数、
・平均事象検出加重、
・事象検出加重合計、
・事象検出加重の中央値、
・事象検出加重が閾値を超える、セットにあるフレームの個数またはフレームの割合。
【００５２】
本発明により記録されるフレームは、取得された時間でスタンプされることが望ましい。事象の詳細調査を可能にするために、タイムスタンプは、例えば、時刻ではなく、事象自体の発生時間に相対的にタイムスタンプすることが最も有用である。事象フレームは事象の全体的な時間範囲を定義するが、特定時間は定義しない。事象の特定の有効な時間を取得するには、視覚検出器の方法と装置で開示されたようにマークタイプを使用することがある。開示されているように、記録時間は、物体が一部の架空の固定基準点を交差する時間であり、開示に従い正確に計算できる。
【００５３】
しかしながら、すべての事象が基準点を交差する物体に対応するわけではない。例えば、事象は、視野で機械構成要素が前後に移動するストローク動作に対応することがある。このような場合、記録時間は、通常、基準点の交差ではなく、ストロークの頂点として定義することがより有用になる。基準点の周囲の動作は、フロー事象と呼ばれ、前後の動作はストローク事象と呼ばれる。本発明は、フローとストローク事象のいずれかを選択するための方法およびシステム、および、ストローク事象の記録時間を計算するための方法およびシステムを含む（フロー事象のための記録時間は視覚検出器の方法と装置で開示された）。
【００５４】
本発明による事象検出は、視覚検出器の方法と装置で開示された視覚事象検出の例であり、「視覚事象検出の方法は連続したフレームの取得と事象が発生するまたは発生した証拠を決定するための各フレームの分析に関与する」と説明される。本明細書で開示されるように、視覚事象検出は、主に、検出される事象が視野を通過する別々の物体に対応して、一般的に物体を点検することが好ましい実施例に対して向けられる。読み手は、本明細書に開示される物体検出加重と物体通過スコア、および、本発明で使用される事象検出加重の間に非常な類似性があることに気づくであろう。確かに、物体検出加重または物体通過スコアを取得するために本明細書に開示された任意の方法または装置は、事象検出加重を取得するために使用できる。唯一の違いは、これらの加重やスコアが取得されるやり方ではなく、使用される目的である。
【００５５】
さらに、物体が視野を通過したことを検出、またはさらに具体的には、不良物体が視野を通過したことを検出することは、本発明に従い事象を検出、記録および検索するために望ましいことがある事象の例である。確かに、視野を通過する物体を検出することと、上記の例のように誤差範囲に入る機械構成要素を検出することにはほとんど違いはない。このように、視覚検出器の方法と装置の開示は、一般的に本発明の例示的実施形態と考えることができ、記録および検索方法およびシステム、および改善された事象検出方法およびシステムは本明細書の開示により追加される。
【００５６】
本発明は、添付の図面と併せて詳細な説明を読むことで明らかになるであろう。
【図面の簡単な説明】
【００５７】
【図１】本発明による視覚事象の検出、記録および検索のためのシステムの説明的実施例を示す。この場合、事象は製造ラインを移動する物体の不良ラベルの適用に相当する。
【図２】本発明による事象を検出するシステムのための典型的な操作サイクルを説明するタイムラインを示す。
【図３】例示的実施形態により実施される分析手順を説明するフローチャートを示す。
【図４】例示的実施形態において、視覚事象検出のために証拠がどのように加重されるかを示す。
【図５】例示的実施形態において事象検出のために収集されて使用されるデータを示す。
【図６】本発明によるシステムの概要図を示す。
【図７】本発明によるシステムの一部として使用できるビジョン検出器の説明的実施例のブロック図を示す。
【図８】例示的実施形態において、物体が存在するかどうか、検査に合格するかどうかの判断など、証拠を加重して決定するために使用されるファジー論理要素を示す。
【図９】例示的実施形態により、フレームを分析し、決定し、入力を感知し、出力信号を制御するために使用されるソフトウェア要素（例えば、コンピュータ読み込み可能媒体のプログラム命令）のセットの組織を示す。
【図１０】視覚事象検出の例示的実施形態をさらに説明するために使用される、事象検出パラメータのユーザー設定のためのＨＭＩ部分を示す。
【図１１】ある物体例に誤って適用されたラベルを検出するために使用されることがある、ビジョン検出器の設定例の一部を示す。
【図１２】図１１の例のセットアップに対応する設定の別の部分を示す。
【図１３】ラベル適用アームに対して誤った位置にある物体例を検出するために使用されることがある、ビジョン検出器の設定例の一部を示す。
【図１４】図１３のセットアップ例に対応する設定の別の部分を示す。
【図１５】製造サイクルで、伸び不足または伸び過ぎのラベル適用アームを検出するために使用されることがある、ビジョン検出器の設定例の一部を示す。
【図１６】図１５のセットアップ例の伸び不足または伸び過ぎのアームを検出するためにどのように証拠を加重するかを示す。
【図１７】連続ウェブの欠陥に対応する事象を検出するために本発明を設定する１つの方法を示す。
【図１８】出力信号を事象の発生時間にどのように同期するかを説明するために使用されるタイミング図を示す。
【図１９】ストローク事象の場合に記録時間がどのように計算されるかを示す。
【図２０】出力信号のユーザー設定のためのＨＭＩの部分を示す。
【図２１】検出された事象の画像を記録するためのメモリ配列を示す。
【図２２】映写スライドウィンドウと画像表示ウィンドウを含み、事象に対応して記録され検索された画像を表示するグラフィカルユーザーインターフェイスの一部を示す。
【発明を実施するための形態】
【００５８】
[本発明の基本動作]
図１は、生産ラインで発生することがある一定の事象を検出して、事象の画像を記録および検索するように設定されるビジョン検出器の例示的実施形態を示す。コンベア１ ００は、物体例１１０、１１２、１１４、１１６および１１８などの物体を運搬し、物体１１２のラベル１２０のように、各物体にラベルを貼る動作をするラベル貼り機械１６０を左から右に通過する。ラベル貼り機械１６０は、各ラベルを各物体に貼り付けるように動作する運動アーム１６２を含む。ラベル貼り機械１６０とアーム１６ ２は、本発明を説明する目的で示されており、必ずしも工業生産においてラベルを貼るために使用される任意の特定の機械を示すものではない。
【００５９】
ラベル貼り機械１６０は、ときには誤動作することがあり、例えば、物体１１６の表面で右下角が曲がっているように、誤って貼られたラベル１２２が発生する。多くの工業生産ラインは、光検出器、マシンビジョンシステム、またはビジョン検出器のように、不良品１１６を検出して不合格にするために、ある形式の自動光電気検出を使用する。このような検査は、不良品が消費者に届けられることを防ぐことにおいて価値があるが、そもそも不良品が製造されることを防ぐためには役立たない。本発明の１つの目的は、不良品が実際に作成されていることを示す画像を提供することにより、製造技術者が不良品の原因を診断して修正することを支援することである。
【００６０】
コンベア１００は、物体を製造目的で運搬することに加えて、物体とビジョン検出器１３０の視野の間に相対的運動を発生させる。ほとんどの製造ラインでは、コンベアの動きは、ビジョン検出器１３０により受信でき、視覚検出器の方法と装置および本明細書で開示されるさまざまな目的で使用される、信号１４０を発生するシャフトエンコーダ１３２により追跡される。例えば、信号１４０は、ビジョン検出器１３０により、記録点と呼ばれる、物体１１２が架空の基準点１５０を交差する時点への基準として使用できる。
【００６１】
ビジョン検出器１３０は、適切な視覚条件を基本にして、視野において発生することがある一定の事象を検出する。図１の例示的実施形態では、事象は、アーム１６２によりラベルを誤って貼ることに相当し、以下でさらに説明されるようにさまざまなやり方で検出できる。画像は、事象前、事象中、および事象後に記録される。製造技術者のような人間のユーザーは、ラベルが誤って貼られてしまう機械の問題を診断できるように、記録された画像を検索するために、信号１４２を経由して、ヒト−マシンインターフェイス１３４と相互にやり取りする。
【００６２】
別の実施例では、ビジョン検出器を通過するのは、個別の物体ではなく、材料が連続して流れる。例えば、ウェブ上には、以下に提供される例がある。事象検出、記録および検索の目的では、個別の物体と材料の連続した流れではほとんど違いはない。
【００６３】
図２は、事象を検出して画像を記録するように構成されるビジョン検出器の典型的な操作サイクルを説明するタイムラインを示す。ボックス２２０のような「ｃ」のラベルが付けられたボックスは、画像の取得を表す。ボックス２３０のような「ａ」のラベルが付けられたボックスは分析を表す（分析ステップは以下でさらに分割され説明される）。例えば、分析ステップ２３０が取得ステップ２２０で取得される画像を分析するように、次の画像の取得「ｃ」が現在の画像の分析「ａ」とオーバーラップすることが好ましい。このタイムラインでは、分析にかかる時間は、取得より短いように示されているが、一般的に、アプリケーションの詳細により、分析にかかる時間は取得より短いことも長いこともある。
【００６４】
取得と分析が重複していれば、ビジョン検出器が画像を分析して分析する速度は、取得時間と分析時間のうち長くかかる時間により決定される。これが「フレームレート」である。
【００６５】
タイムラインの部分２２０は第一の事象に相当し、５個の事象フレームの取得と分析を含む。第二の部分２０２は、第二の事象に相当し、３つの事象フレームを含む。
【００６６】
本明細書に記載する例示的実施形態において、事象検出のための取得画像の分析は、次のような３つの主な下位ステップを含む。
・ある１つのフレームにおいて事象が発生している、または発生したことを示す証拠を評価するための視覚分析ステップ
・検出される事象が発生している可能性のある、「候補フレーム」と呼ばれる連続したフレームのセットを識別するためのアクティビティ分析ステップ
・検出される事象が候補フレームのセットで発生したかどうかを決定するための事象分析ステップ。
【００６７】
各視覚分析ステップは、個別のフレームで事象が発生していることを示す証拠を検討する。証拠が明らかなフレームは「アクティブ」と呼ばれる。アクティブフレームの分析ステップは、例えば、分析ステップ２４０のように、太い枠線で示される。本明細書で検討される例示的実施形態において、この証拠は、以下および視覚検出器の方法と装置において開示されたように、フレームの１個以上の対象領域の画像分析演算により計算される、事象検出加重（以下でさらに説明される）と呼ばれるファジー論理値により表される。
【００６８】
各アクティビティ分析ステップは、直近のフレームセット内で事象が発生しているまたは発生したことを示す証拠を検討する。本明細書で検討される例示的実施形態においては、事象検出は、事象が発生していることを示すなんらかの証拠があるということが明らかな「アクティブ状態」、またはそのような証拠はほとんどないことを示す「非アクティブ状態」にあることが検討される。アクティビティステップの１つの機能は、この状態を決定することである。例示的実施形態において、非アクティブ状態からアクティブ状態への移行は、アクティブフレームが発見されるときに行われる。アクティブ状態から非アクティブ状態への移行は、ある数の連続的な非アクティブフレームが発見されるときに行われる。候補フレームは、最初のアクティブフレームから始まり、最後のアクティブフレームで終わる連続的なフレームのセットを含み、その間に非アクティブなフレームを含む場合がある。アクティビティ分析ステップの別の機能は、候補フレームのセットを記述するデータを収集することである。
【００６９】
その後、各事象分析ステップは、先行のアクティビティ分析ステップにより収集された証拠を確認することにより、候補フレームの間に事象が発生したことを示す証拠を検討する。本明細書で検討される例示的実施形態では、アクティブ状態から非アクティブ状態への移行が行われるたびに、事象分析ステップが実施される。候補フレームを記述するデータが確認され、事象が発生したと結論付けるに十分な証拠が明らかになれば、候補フレームは事象フレームと見なされる。記録およびその他の適切なアクションが、後述のように実施される。
【００７０】
本発明の範囲内では、視覚、アクティビティ、および事象分析を実施するために、さまざまな方法が使用される。一部は以下および視覚検出器の方法と装置で説明されるが、その他の多くは当業者に明らかである。
【００７１】
図２の例では、第一の事象２００の事象検出は、分析ステップ２４０に対応する第一のアクティブなフレームでアクティブ状態に入り、分析ステップ２４６と２４８に対応する２つの連続する非アクティブフレームで終わる。分析ステップ２４２に対応する第一の事象である単独の非アクティブフレームは、非アクティブ状態に入るには十分ではない。
【００７２】
非アクティブ状態に入るとき、例えば、分析ステップ２４８の終わりで、事象分析ステップが実施される。候補フレームは、分析ステップ２４０で始まり、分析ステップ２４１で終わる５個の事象フレームである。この例では、事象分析ステップは、事象が発生したという結果を出しており、第一番目のセットの記録フレーム２１０の記録を生じさせる。第二番目の事象２０２の同様な分析の結果、第二番目のセットの記録フレーム２１２を記録する。
【００７３】
以下で説明されるように、視野を通過するときのアクティブフレームの物体の位置を検討することにより、ビジョン検出器は、事象が発生した正確な時間を表す記録時間２５０と２５２を推算する。タイムスタンプは、それぞれの記録されたフレームのために保管され、記録時間とこのようなそれぞれの記録されたフレームに対応するシャッタータイムの間の相対時間を示す。
【００７４】
非アクティブ状態への移行が行われると、ビジョン検出器は、例えば、第一のアイドルステップ２６０と第二のアイドルステップ２６２のような、アイドルステップに入ることがある。このようなステップはオプションであるが、いくつかの理由により好ましいことがある。事象間の最低時間が知られている場合は、新しい事象が発生し得る直前まで、事象を探す必要はない。アイドルステップは、事象が発生できないときに、誤った事象検出の機会を削除し、アイドルステップの間、ライトをオフにできるので、照明システムの寿命を延ばすことになる。
【００７５】
図３は、事象検出の分析ステップの詳細を提供するフローチャートを示す。破線枠のボックスは、フローチャートにより使用されるデータを表す。フローチャートブロックを囲む角が丸い四角は、視覚分析ステップ３１０、アクティビティ分析ステップ３１２および事象分析３１４などの分析の区画を示す。
【００７６】
アクティブフラグ３００は、アクティビティ分析ステップにより使用されるアクティブ／非アクティブ状態を保存する。アクティビティ分析ステップにより収集されたデータは、アクティブデータ３０２と非アクティブデータ３０４に保存される。アクティブフレームの値は、アクティブデータ３０２に直接追加される。非アクティブフレームの場合は、アクティブ分析ステップは、フレームが候補フレームのセットの一部であるかどうかは、後のフレームの状態によるので、まだ不明である。このため、非アクティブフレームの値は非アクティブデータ３０４に追加される。非アクティブ状態への移行が行われる前にアクティブフレームが続いて発見されれば、非アクティブデータ３０４はアクティブデータ３０２に追加されて、クリアされる。非アクティブ状態への移行の時点で残っている非アクティブデータ３０４は、廃棄される。両方のデータは、追加されたフレームの個数を含む。
【００７７】
図３の例示的実施形態では、フローチャートは、各フレームで一度、取得ブロック３２０から連続ブロック３２４まで、何度も実行される。取得ブロック３２０は、フレーム取得により分析を同期化して、次のフレームの取得を現在のフレームの分析と重複させる。視覚分析ブロック３２２は、視覚分析ステップを実施し、取得された画像の分析から、事象検出加重ｄを計算する。
【００７８】
次に、アクティビティ分析ステップ３１２が実施される。アクティブブロック３３０は、アクティブフラグ３００をテストして、事象検出の現在の状態を決定する。事象検出が非アクティブであれば、第一の閾値ブロック３４０は、閾値ｔｄに対してｄを比較することにより、現在のフレームのアクティブ／非アクティブ状況を決定する。事象検出加重ｄが閾値ｔｄより大きくなければ、フレームは非アクティブで、アクティブ分析は現在のフレームで終了する。事象検出加重ｄが閾値ｔｄより大きければ、フレームはアクティブで、アクティブ移行ブロック３４２はアクティブフラグ３００を設定し、初期化ブロック３４４は、現在のフレームの値を使用してアクティブデータ３０２を初期化し、非アクティブデータ３０４をクリアする。
【００７９】
アクティブブロック３３０が現在の状態がアクティブであると決定すれば、第二の閾値ブロック３４６が、ｄを閾値ｔｄに比較することにより、現在のフレームのアクティブ／非アクティブ状態を決定する。ｄが閾値より大きくなければ、フレームは非アクティブであり、カウントテストブロック３５０は非アクティブデータ３０４のフレームカウントを参照して、連続の非アクティブフレームのパラメータｋ以上が発見されたかどうかを決定する。発見されていなければ、非アクティブ更新ブロック３５４は、現在のフレームからの値を追加することにより（フレームカウントを１つ大きくすることも含む）、非アクティブデータ３０４を更新する。発見されていれば、非アクティブ移行ブロック３５２はアクティブフラグ３００をクリアして、実行は事象分析ステップ３１４に続く。
【００８０】
第二の閾値ブロック３４６が、現在のフレームがアクティブであると決定すれば、アクティブ更新ブロック３６０は、現在のフレームと非アクティブデータ３０４両方からの値を追加することにより、アクティブデータ３０２を更新する。そして、クリアブロック３６２は、非アクティブデータ３０４をクリアする。
【００８１】
アクティビティ分析ステップ３１２が、アクティブ状態から非アクティブ状態への移行を行えば、事象分析ステップ３１４が実施される。条件ブロック３７０は、アクティブデータ３０２をテストして、事象が発生したかどうかを決定する。発生していなければ、収集データは無視されて、実行が継続する。発生していれば、事象ブロック３７２は、以下でさらに説明するように、記録のためのフレームを記録する。アイドルブロック３７４は、継続前のアイドル間、待機する。
【００８２】
図４は、例示的実施形態の分析ステップをさらに説明しており、本発明の基本的操作を理解するために、図２のタイムラインと図３のフローチャートと合わせて使用する。
【００８３】
図４は、例示的実施形態において、事象検出のために証拠がどのように加重されるかを説明する。上記のように、視野において事象が発生している、または発生したことを示す証拠を構成する情報は、「事象検出加重」と呼ばれる。図は、縦軸４００の事象検出加重ｄｉと水平軸４０２のフレームカウントｉの座標を示す。各フレームは、直線４２６のような縦線により表される。フレームカウントは、任意の整数である。
【００８４】
この実施例では、ｄｉは、事象がフレームｉで発生していることを示す証拠を表すファジー論理値であり、以下でさらに説明され、視覚検出器の方法と装置で説明された方法を使用して、各フレームのビジョン検出器により計算される。
【００８５】
図４の例示的実施形態では、事象検出閾値ｔｄは、０．５であるので、ｄｉが０．５以上であるフレームはアクティブフレームと見なされる。参考のため、ｄｉ＝０．５の線４３０が描かれた。アクティブフレームの事象検出加重は、点４１０のように、黒丸として描かれ、非アクティブフレームの事象検出加重は、点４１６のように、白丸として描かれる。
【００８６】
図４の例では、事象検出は、フレーム４２２でアクティブ状態に入り、４つの連続した非アクティブフレームが見られる（この例では、非アクティブフレームカウント閾値ｋ＝３）フレーム４２４の後、非アクティブ状態に入る。候補フレームのセットは、フレーム４２２で始まり、フレーム４２６で終わる。隔離された非アクティブフレーム４２０は、非アクティブ状態への移行を発生させない。
【００８７】
図５は、例示的実施形態において、アクティビティ分析ステップ３１２により収集され、事象分析ステップ３１４により使用されるデータの詳細を示すとともに、図４の例も示す。この実施例の場合、アクティブデータ３０２と非アクティブデータ３０４は、非アクティブ状態への移行がおこなわれるとき、これらのデータを計算するために十分な情報を含む。図５のそれぞれのデータは、記号５００、以下でさらに説明される、値を定義する機能の記述５１０、および、図４の例の値が何であるかを示す例５２０を含む。
【００８８】
事象が検出されたかどうかを決定するための証拠を加重するための方法の上記の説明は、有用な実施例の一例として意図されているが、本発明の範囲内で使用できる方法に限定されない。例えば、上記で使用された例の定数ｔｄ＝０．５は、任意の適した値で置換されることがある。当業者により視覚事象検出の多くの方法が追加される。
【００８９】
[装置の例]
図６は、事象の視覚検出、記録、検索に使われる視覚検出器のためのハイレベル・ブロック図を示す。視覚検出器６００は、適切な自動機器６１０に接続されることができ、そして、それは、信号６２０を用いて、ＰＬＣ、拒否作動装置、回転符号器、および／または光検出器を含むことができる。これらの接続は、事象の検出、記録、検索の必要はないが、たとえば、視覚検出の方法と装置で教授された、追加の目的のために視覚検出器を使うことが好ましい事例に役に立つことができる。たとえば、事象が検出されたことを示すのに出力パルスを供給するのに特に好ましい場足がある。たとえば、パルスは、視覚検出器の方法と装置に教授されたように、記録時間に遅滞し、同期化し、ＰＬＣ、作動装置、または、他の装置によって使われる。
【００９０】
検出された事象の画像表示の検索のために、視覚検出器は、信号６４０を用いて、ＰＣや携帯装置のような、ヒューマン・マシン・インターフェイス（ＨＭＩ）６３０に接続する。ＨＭＩ６３０は、また、設定として使われる。ＨＭＩ６３０は、事象の検出と記録のために接続しないようにする必要があるが、もちろん、検索や表示のためには接続しなければならない。信号６４０は、条件に合ったフォーマット、および／ または、プロトコルで、実行され、有線または無線型で変換することができる。
【００９１】
視覚検出器６００により記録された事象画像は、また、自動画像分析システム６５０ により検索され、従来の機械視覚システムを含むが、それらに限定されない。このようなシステムは、ＨＭＩ６３０の使用に固有の人間の分析を必要なしに、超高フレームレートで操作するために設計された視覚検出器で可能であり、更に画像の最新分析するために使われ得る。
【００９２】
図７は、本発明の実行に使用できる視覚検出器の実例となる具体例のブロック図を示す。デジタル・シグナル・プロセッサ（ＤＳＰ）７００は、取得、分析、記録、ＨＭＩ交信、視覚検出器により必要とされるいくつかの適切な機能を制御するためのソフトウェアを起動する。ＤＳＰ７００は、電源が取り除かれた場合、プログラムと設定情報を保持するためのプログラム、データ、および、不揮発性メモリのための高速ランダムアクセスメモリを含む、メモリ７１０に接続される。また、メモリ７１０は、それに続く検索のための記録画像を保持する。ＤＳＰは、また、自動機器、ＨＭＩインターフェイス７３０、照明モジュール７４０、撮像装置７６０への信号を供給するＩ／Ｏモジュール７２０に接続されている。レンズ７５０は、撮像装置７６０の光に敏感な要素へ画像を焦点を合わせている。
【００９３】
ＤＳＰ７００は、デジタル計算、情報保存、ほかのデジタル要素に接続ができる装置であり、汎用コンピュータ、ＰＬＣ、または、マイクロプロセッサを含むが、それらに限定されない。ＤＳＰ７００は、安価であるが、高フレームレートを操作するには十分な速さがあるので、好ましい。画像分析を持ち、同時に撮像装置からピクセルデータを受取り、保存ができるので、更に好ましい。
【００９４】
図７の実例となる具体例では、ＤＳＰ７００は、マサチューセッツ州のマサチューセッツ州のノーウッドのＡｎａｌｏｇ Ｄｅｖｉｃｅｓで生産された、ＡＤＳＰ−ＢＦ５３１である。ＡＤＳＰ−ＢＦ５３１ＤＳＰ７００の並列周辺インターフェイス（ＰＰＩ）７７０は、撮像装置７６０からのピクセルデータを受取り、メモリ７１０の保存のためのダイレクトメモリアクセス（ＤＭＡ）チャンネル７７２を通して、メモリ・コントローラー７７４へデータを送る。適切なソフトウェア制御の下で、ＰＰＩ７７０とＤＭＡ７７２の使用は、ＤＳＰ７００により実行されたその他の分析で同時に画像取得させる。ＰＰＩ７７０とＤＭＡ７７２で制御するためのソフトウェア命令は、ＡＤＳＰ−ＢＦ５３３ Ｂｌａｃｋｆｉｎ Ｐｒｏｃｅｓｓｏｒ Ｈａｒｄｗａｒｅ Ｒｅｆｅｒｅｎｃｅ（品番８２−００２００５−０１）とＢｌａｃｋｆｉｎ Ｐｒｏｃｅｓｓｏｒ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｒｅｆｅｒｅｎｃｅ（品番８２−０００４１０−１４）に含まれる、プログラム取扱い説明書に従い、当業者により実行され、ここにある双方を参照することにより組み込まれる。ここで留意すべきは、ＡＤＳＰ−ＢＦ５３１、競合のＡＤＳＰ−ＢＦ５３２とＡＤＳＰ−ＢＦ５３３の装置が、同一のプログラム取扱い説明書を持っていて、適切な価格／実行取引を得るためにこの実例となる具体例で交互に用いられることである。
【００９５】
視覚検出器による好ましい高フレームレートは、従来の技術の視覚システムで使われている撮像装置でない、撮像装置の使用を勧めている。撮像装置は、高価でない照明を用い、非常に短いシャッター時間で、操作できるように、異常に光に敏感であることが好ましい。従来の技術視覚システムよりも更に速いＤＳＰでのピクセルデータのデジタル化、転送することができることが更に好ましい。それが、高価でなく、グローバルシャッターを持っていることがなお好ましい。
【００９６】
これらの物体は、従来の技術の視覚システムで使われた撮像装置よりも、さらに高い感光性で、低い解像度を持つ撮像装置を選ぶことにより、対応することができる。図７の実例となる具体例では、撮像装置７６０は、カリフォルニア州サンタクララのナショナル・セミコンダクターにより製造されたＬＭ９６３０である。ＬＭ９６３０は、典型的な従来の技術システムよりも約２４倍少ない、１２８×１００個、総計で１２８００個のピクセルの配列を持っている。ピクセルは、それぞれ、高い光感受性を持つ、２０平方ミクロンの広さである。ＬＭ９６３０は、３００マイクロ秒のシャッター時間でのセットが、ＬＥＤ照明を用い、３００マイクロ秒にさせるために十分（ほとんどの場合）敏感である場合、毎秒５００フレームを供給できる。この解像度は、視覚システムにははるかに低すぎると考えられるが、視覚検出器の方法と装置の物体である検出の特徴には十分である。ＬＭ９６３０の電気的インターフェイスとソフトウェア制御は、２００４年の１月のＲｅｖ １．０のＬＭ９６３０データシートに含まれる取扱い説明書に従い、当業者により実行され、それは、ここにある双方を参照することにより組み込まれる。
【００９７】
照明７４０は、高価でないが、短くシャッター時間をするのに十分な明るさがあることが好ましい。実例となる具体例では、６３０ナノメートルで動作している高輝度の赤いＬＥＤの列は、たとえば、Ａｇｉｌｅｎｔ Ｔｅｃｈｎｏｌｏｇｉｅｓにより製造されたＨＬＭＰ−ＥＤ２５を使用している。もう一つの具体例では、高輝度の白いＬＥＤは、好ましい照明を実行するのに使われている。
【００９８】
図７の実例となる具体例では、Ｉ／Ｏモジュール７２０は、出力信号７２２と７２４、入力信号７２６を供給する。入力信号７２６は、視覚検出器の方法と装置で教授されたように、論理的な観点で適切な接続により、事象検出のために使われる。
【００９９】
次の用語の画像取得装置は、デジタル画像を取得し、保存することを意味する。図７ の実例となる具体例では、画像取得装置７８０は、ＤＳＰ７００、撮像装置７６０、メモリ７１０と、関連した電気的インターフェイスとソフトウェア命令を備える。
【０１００】
次の用語の分析器は、デジタル画像に限定されないものを含む、デジタルデータの分析の手段を供給する。図７の実例となる具体例では、分析器は、ＤＳＰ７００、メモリ７１０と、関連した電気的インターフェイスとソフトウェア命令を備える。
【０１０１】
次の用語の出力信号器は、分析器に応対する出力信号を生産するための手段を供給する。図７の実例となる具体例では、出力信号器７８４は、Ｉ／Ｏモジュール７２０と出力信号器７２２を備える。
【０１０２】
次の用語の処理は、いくつかの目的を対象にし、好ましい装置により実行された動作の組織的なセットに参照され、メカニズム、装置、部品、ソフトウェア、または、ファームウェア、対象とする動作を実行するために一つの場所またはいろいろな場所で連携するいかなる合成を含むが、それらに限定されない。
【０１０３】
実例となる具体例では、本発明で使われている様々な処理は、デジタルハードウェア要素とコンピュータソフトウェア命令の相互作用の収集により実行される。ハードウェア要素には例えば下記のようなものがある。
・好ましいコンピュータソフトウェア命令の制御の下で、汎用情報処理動作を行うＤＳＰ７００
・画像、データ、コンピュータソフトウェア命令のための保存と検索動作を供給するメモリ７１０
・本明細書で説明する画像取得動作のような、ほかの要素と組み合わせて供給する撮像装置７６０
・インターフェイスと信号動作を供給するＩ／Ｏモジュール７２０
・ヒューマン・マシン・インターフェイスとして機能するＨＭＩインターフェイス７３０。
【０１０４】
一実施形態において、本明細書に記載する動作を実施するためのコンピュータソフトウェア命令には例えば、下記のようなソフトウェア命令がある。
・実例となる取得と分析処理の部分を説明する、図３のフローチャートステップ
・実例となる決定論理を説明する図８のファジー論理要素
・発明を実行するのに使われるソフトウェア要素のセットを示す図９のソフトウェア要素
・いかに人間のユーザーが操作するパラメータを選択できるかを示す図１０と２０のグラフィカル制御。
【０１０５】
更に、上記に示したものは、例の一覧のみであることは、当業者により、理解されるであろう。それは、完全ではなく、好ましいコンピュータソフトウェア命令は、ここに説明されたいかなる図のために使われた処理を実行するために実例となる具体例で使われ得る。
【０１０６】
本明細書に記載する処理の例には、次のようなものがある。
・画像取得装置７８０によって実行される、取得ブロック３２０（図３）や本明細書に記載されているような他の動作を含む獲得処理
・図９に示されている分析器７８２及び好ましいソフトウェア要素により実行される、図３の部分や、視覚分析ステップ３１０、活動分析ステップ３１２、及び事象分析ステップ３１４のような本明細書に記載される他の動作を含む種々の分析処理
・図９に示されている分析器７８２及び適当なソフトウェア要素により実行される、事象ブロック３７２や本明細書に記載される他の動作を含む種々の選択処理
・図９に示されている分析器７８２及び適当なソフトウェア要素により実行される、条件ブロック３７０及び本明細書に記載された他の動作を含む種々の判断処理。
【０１０７】
当業者には明らかなように、画像取得装置７８０、分析器７８２、出力信号器７８４を実施するために本発明の範囲内で使用可能な、多数の代替の構成、装置、ソフトウェア命令が存在する。同様に、本明細書に記載の処理を実施するために本発明の範囲内で使用可能な多数のソフトウェア命令が存在する。
【０１０８】
[ファジー論理意思決定]
図８は、事象が起こっているかどうか、または、起こったかどうかを判断することを含む、証拠を検討し、判断するために、具体例で使われるファジー論理要素を示す。
【０１０９】
ファジー論理値は、ある特定の状態が真であるという信頼度の推定値を示す０〜１の間の数である。１の数値は、状態が真である信頼度が高いことを示し、０は状態が偽であるという高い信頼度を示し、中間値は、信頼の中間レベルを示す。
【０１１０】
もっと馴染みのあるニ値論理は、信頼値は、０から１に制限される、ファジー論理のサブセットである。ゆえに、ファジー論理を使うここに記載した具体例は、同等のニ値論理方法または装置で置換されるこれらの値を使い、ファジー論理方法または装置で、別のニ値論理値として使うことができる。
【０１１１】
ニ値論理値は、閾値を使うことにより、原測定値から得られるものであるように、ファジー論理値は、ファジー閾値を使うことにより得られる。図８を参照すると、グラフ８００は、ファジー閾値を示す。Ｘ軸８１０は、原測定を示し、ｆ軸８１４は、ファジー論理値を示し、そのｘの範囲は、全ての可能な原測定で、ｆの値域は、０≦ｆ≦１である機能である。
【０１１２】
実例となる具体例では、ファジー閾値は、機能８２４と８２６上の点に対応して、ｘ軸、低閾値ｔ０８２０、高閾値ｔ１８２２で示される、２つの数を備える。ファジー閾値は、次の式で、定義することができる。
【０１１３】
【数１】
【０１１４】
ここで留意すべきは、この機能が、ｔ１＜ｔ０である場合、よく機能することである。他の機能は、また、シグモイドのような、ファジー閾値として使うことができる。
【０１１５】
【数２】
【０１１６】
ここで、ｔとσは、閾値パラメータである。簡素であることが目標である具体例では、従来型ニ値閾値は、ニ値論理値を結果として、使うことができる。
【０１１７】
ファジー意思決定は、ＡＮＤ８４０、ＯＲ８５０、ＮＯＴ８６０のファジーバージョンに基づいている。２つまたはそれ以上のファジー論理値のファジーＡＮＤは、最小値であり、ファジーＯＲは、最大値である。ｆのファジーＮＯＴは、１−ｆである。ファジー論理値が０か１に制限されている場合、ファジー論理値は、二進論理値に等しい。
【０１１８】
実例となる具体例では、真偽の決定が必要である時はいつでも、ファジー論理値は、それが少なくとも０．５である場合は、真として見なされ、０．５以下であれば、偽であると考えられる。
【０１１９】
当業者には明らかなように、本明細書に記載するファジー論理に関係して使用されるような値０および１に関し、臨界は存在しない。信頼の中間レベルを示す中間値として用い、いかなる数が、状態が真であることを高信頼を示すのに使い、それとは違う数が状態を偽であることを高信頼を示すのに使うことができる。
【０１２０】
[本発明のソフトウェア要素]
図９は、フレーム分析、判断、入力感知、および出力信号調節のために、具体例により使用される一連のソフトウェア要素の編成（例えば、コンピュータ可読媒体のプログラムインストラクション）を示す。各要素がそれぞれクラスに対応するように、Ｃ＋ ＋等従来のオブジェクト指向プログラミング言語のクラス階層を使用して要素が実行されてもよい。しかしながら、ここで記載されるプロセスを実行するには、基準を満たすいかなるプログラミング技術および／または言語をも使用することができる。
【０１２１】
図示のように、ガジェットクラス９００のように点線の境界線付きのクラスは、独立しては存在せず、ロケータクラス９２０のような具体派生クラスを構築するのに使用される抽象基本クラスである。実線で境界されたクラスは、ユーザーがアプリケーションを設定する必要がある時に、ＨＭＩ６３０を使用して作成および破壊することができる動的オブジェクトを表す。入力９５０などの破線で境界されたクラスは、特定のハードウェアやソフトウェアリソースと関連する静的オブジェクトを表す。静的オブジェクトは常に存在するものであり、ユーザーによって作成または破壊されることは不可能である。
【０１２２】
すべてのクラスは、ガジェットクラス９００から派生しているため、図９に示すクラスのインスタンスであるすべてのオブジェクトはガジェットの一種である。具体例においては、各ガジェットは、１．ユーザーが選択することのできる名前を有し、２．他のガジェットが判断および出力信号を制御するために、論理入力として使用することができる論理出力（ファジー理論値）を有し、３．ユーザーが操作を特定するために構成することができる一連のパラメータを有し、４．論理出力（すなわちファジーＮＯＴ）を反転するのに使用可能な、そのようなパラメータをひとつ有し、５．実行可能であり、そのパラメータ、該当する場合は論理入力、ある種のガジェットについては現行フレームのコンテンツに基づいて論理出力が更新され、また出力信号の設定のような副作用を引き起こすことがある。
【０１２３】
フレーム分析作業には、ガジェット実行前に、ガジェットへのすべての論理入力が更新されたことを保証するために確定された順序で、各ガジェットを一度実行することが含まれる。ある実施例においては、その論理出力が必要ではないフレームの間はガジェットが実行されない。
【０１２４】
写真クラス９１０は、論理出力が現行フレームのコンテンツに依存するすべてのガジェットの基本クラスである。これらのクラスは実際に画像分析を行うクラスである。各写真は現行フレームの関心領域（ＲＯＩ）のある特徴を測定する。ＲＯＩは、検査される物体の可視機能に対応する。この測定は写真のアナログ出力と呼ばれる。写真の論理出力は、感度閾値と呼ばれる、ユーザーによって構成されることができる一連のパラメータ中に存在するファジー閾値を用いて、アナログ出力から計算される。写真の論理出力は、判断を下す際に使われる証拠を提供するのに使用可能である。
【０１２５】
検出器クラス９３０は、ＲＯＩにおける測定および判断を下す際の証拠を提供することを主目的とする写真の基本クラスである。具体例においては、すべての検出器ＲＯＩは円型である。円形のＲＯＩは、回転を処理する必要がないため実行を簡素化し、またＲＯＩの形が１つしかないことで、ユーザーが学習すべきことを簡素化する。検出器パラメータにはポジションおよびＲＯＩの直径が含まれる。
【０１２６】
輝度検出器９４０はＲＯＩにおける加重平均やパーセンタイル輝度を測定する。コントラスト検出器９４２はＲＯＩにおけるコントラストを測定する。エッジ検出器９４４は、特定方向において、ＲＯＩがエッジのように見える領域を測定する。スポット検出器９４６は、ＲＯＩが穴のような丸い特徴に見える領域を測定する。テンプレート検出器９４８は、ＲＯＩがユーザーが選択した、事前にトレインされたパターンのように見える領域を測定する。検出器の操作については、視覚検出器の方法および装置においてさらに記述する。
【０１２７】
ロケータクラス９２０は、２つの主目的を持つ写真を表す。１つ目は、判断を下す際の証拠を提供することが可能な論理出力を生成することであり、これにより、他のいかなる検出器のようにも使用することができる。２つ目は、視覚検出器の視野にあるオブジェクトの位置を決定することにより、他の写真のＲＯＩのポジションを、オブジェクトのポジションを追跡するように移動することができることである。どのロケータも、１つのまたは両方の目的に使用することができる。
【０１２８】
具体例においては、ロケータは、フレーム内における一次元領域でエッジを検索する。検索方向は、エッジに向かって垂直であり、ユーザーによって設定されるパラメータの中にある。ロケータのアナログ出力はエッジ検出器のアナログ出力と似ている。ロケータについては視覚検出器の方法および装置においてさらに記載される。
【０１２９】
他の実施形態において、ロケータは、転換、回転、および、自由度のサイズを含む既知の方法を用いて、多次元検索範囲を検索する。適切な方法には、多年にわたり市販のものである既知の技術であるすべてである、正規化相関関係、汎用のハフ変換、幾何学模様補修に基づいたものを含む。多次元ロケータの具体例は、２００４年１１月２日に出願された、Ｂｒｉａｎ Ｍｉｒｔｉｃｈ氏とＷｉｌｌｉａｍ Ｍ． Ｓｉｌｖｅｒ氏による、参照することにより本書にはっきりと組み込まれる教授法である、「製造ライン情報を用いた視覚検出器のパラメータの設定のための方法」と題する、同時係属の米国特許出願番号１０／９７９，５３５に記載されている。
【０１３０】
入力クラス９５０は、事象検出に影響を与えるものとして使われる、視覚検出器に送られる入力信号を表す。出力クラス９５２は、事象が検出されるＰＬＣまたは、作動装置を通知するために使われる可能性のあるような、視覚検出器からの出力信号を表す。実例となる具体例では、各物理的入力に対して、典型的入力信号７２６（図７）のような、入力クラスの静的インスタンスが１つ、および、各物理的出力に対して、典型的出力信号７２２および７２４のような、出力クラスの静的インスタンスが１つ存在する。視覚検出の方法と装置で教えられているように、外部自動装置は、事象が起こった場合、いつ、遅延時間を利用し、または、どこで、エンコーダカウントを用いるか、決定することができるので、出力は、記録時間を同期化する遅延パルスを形成することができる。
【０１３１】
ゲートベースクラス９６０はファジー論理の意思決定を実行する。各ゲートは、他のガジェットの論理出力に接続可能な論理入力を１つ以上有する。各論理入力は、ユーザーが設定可能なパラメータを用いて、反転（ファジーＮＯＴ）することが可能である。ＡＮＤゲート９６２は、ファジーＡＮＤ操作を実行し、ＯＲゲート９６４は、ファジーＯＲ演算を実行する。
【０１３２】
判断クラス９７０は、意思決定するために連続フレーム上の証拠を検討するオブジェクトの基本クラスである。本発明の実例である具体例では、活動分析ステップ３１２ と事象分析ステップ３１４（視覚分析ステップ３１０は、下記に与えられた例に用いた、写真、入力、および／または、ゲートの合成により実行される）を実施する目的を持つ事象検出判断９７２を含む。判断のほかのタイプは、そこに与えられた機能と、ここに与えられたように事象検出を組み合わせるために好ましい具体例に存在することにより、視覚検出の方法と装置で教授されている。
【０１３３】
それぞれの判断は、ユーザーが写真、または、たいてい写真とほかのゲートである、ガジェットの論理結合を与える、さらに典型的なゲートの論理出力を接続するために論理入力を持つ。事象検出判断の論理入力は、各フレームに事象検出加重を与える。本発明の具体例は、下記に与えられた一例で、事象検出判断よりも使う可能性のあることが明らかに考えられる。
【０１３４】
事象検出判断の論理出力は、いつ事象が検出されたのかを示すパルスを提供する。パルス立ち上がりは、例えば図２の分析ステップ２４８の終了時などの、事象分析ステップ３１４が事象を検出する時に発生し、立ち下がりは、例えばアイドルステップ２６０の終了時などの後に発生する。
【０１３５】
図１０は、事象検索判断のためのパラメータを設定するために、ユーザーが見て操作するようにＨＭＩに表示されるグラフィカル制御を示す。ガジェットパラメータを設定するためのＨＭＩ６３０に表示されているグラフィカル制御のセットは、パラメータビューと称する。
【０１３６】
ネームテキストボックス１０００は、ユーザーにこの事象検出判断のための名前の閲覧と入力を可能にする。時間表示１００２は、この事象検出判断の最新起動でかかった時間を示す。論理出力ラベル１００４は、この事象検出判断の現在の論理出力値を示し、真（≧０．５）と偽（＜０．５）であるかを見分けるための色、形、または、ほかの指標に変えるかもしれない。反転チェックボックス１００６は、反転させるためにこの事象検出判断の論理出力をさせる。ここで留意すべきは、ネームテキストボックス１０００、時間表示１００２、論理出力ラベル１００４、反転チェックボックス１００６は、視覚検出の方法と装置でさらに説明したように、全てのガジェットタイプのためのパラメータビューでは、一般的であることである。
【０１３７】
アイドルタイムスピナー１０２０は、アイドルステップ２６０（図２）や図３のアイドルブロック３７４で示されているように、ユーザーに時間間隔を特定させる。消失フレームスピナー１０３０は、無効状態へ転換させる活動分析ステップ３１２なしに受け入れる連続無効フレームの最大数をユーザーに特定させる。消失フレームスピナー１０３０により特定された値は、図３のカウントテストブロック３５０にあるパラメータｋとして使われる。
【０１３８】
マーキング制御１０４０は、更に個々に説明されているように、記録時間を計算するためにフローとストローク事象間でユーザーに選択させる。記録時間を計算するために、ユーザーは、ロケータリストコントロール１０４２を使ってロケータを特定しなければならない。
【０１３９】
記録間隔制御１０５０は、事象が検出された場合、記録時間に関係して画像が記録された時間間隔をユーザーに特定させる。示されていない、代替実施例においては、ユーザーは、事象フレームが記録されたかどうか、事象フレームが記録される前後のフレーム数を特定する。
【０１４０】
状態テキスト１０１０は、状態ブロック３７０によりテストされ、事象が起こったかどうか決定するための事象分析ステップ３１４により使われた事象状態をユーザーに特定させる。図１０の具体例では、状態テキスト１０１０は、Ｃのように従来のプログラミング言語により使われ、似ている構文で論理表現を示すテキスト文字列を含む。活動統計３０２からの真偽値の算出を特定するために、その表現は活動統計３０２の要素に表し、数値定数、論理、比較、算術演算子、丸括弧のような句読法を用いて、図５からシンボル５００を組み合わせる。このようなテキスト文字列に基づいて真偽値を計算する方法は、既知の技術である。
【０１４１】
図１０の実例となる例では、少なくとも２つの候補フレームがあり、平均事象検出加重は０．５０以下または、０．７５以上である場合、事象は起こる。このような状態が役立つ例は、下記で説明された図１５と１６に示されている。
【０１４２】
[具体例の有用な例]
図１１は、いかに写真が不適用ラベル１２２（図１）のような、不適用ラベルを用いて、物体に対応する事象を検出するのに使われるかの例を示す。図１１は図１より物体１１６に対応する、物体１１００のイメージを表しており、ラベル機構１１１０とともに、写真を表す重畳グラフィックスを有し、それはユーザーが見て操作できるようにＨＭＩ６３０に表示される。ＨＭＩ上での画像および重畳グラフィックスの表示は画像表示と呼ばれる。
【０１４３】
ロケータ１１２０は、物体の上端を検出して位置を確認するために使用され、別のロケータ１１２２は右端を検出して位置を確認するために使用される。輝度検出器１１３０は、物体の存在を検出する助けとなるように使用される。この例では、背景は物体より明るく、感度閾値が２つの明るさのレベルを区別するように設定されており、より明るい背景ではなく、より暗い物体を検出するために論理出力が反転されている。
【０１４４】
後にさらに記載されるように、ロケータ１１２０および１１２２、そして輝度検出器１１３０は、ともに物体が存在することを判断するのに必要な証拠提供する。明らかに、「不適用ラベルを持つ物体」に対応する事象は、事象が存在しない場合、起こらない。
【０１４５】
エッジ検出器１１６０は、ラベル１１１０の存在および位置を検出するのに使用される。ラベルが存在しなかったり、水平に間違った位置にあったり、著しく回転し、示されたような曲がったカマーがあり、または、さまざまなほかの方法で不適用になった場合は、エッジ検出器のアナログ出力は非常に低くなる。もちろん、ラベル１１１０が、エッジ検出器１１６０により検出されない、不適用であることが多々あるので、ほかの写真は、いかなる与えられた生産状況で故障を検出する必要があるときに使われる可能性がある。
【０１４６】
たとえば、輝度検出器１１５０は、正しいラベルが貼られたかどうかを確認するために使用される。この例では、正しいラベルは白であり、誤ったラベルは暗い色をしている。
【０１４７】
物体が視覚検出器の視野を通って左から右に移動すると、ロケータ１１２２が物体の右端を追跡し、物体に対して正しい位置になるよう、輝度検出器１１３０、輝度検出器１１５０、およびエッジ検出器１１６０を再配置する。ロケータ１１２０は、検出器を物体の上端の位置に基づいて再配置し、視野内の物体のいかなる垂直位置の変動をも修正する。一般的に、ロケータはどのような位置にでも配置することができる。
【０１４８】
ユーザーは、既知のＨＭＩ技術を使用して、画像表示内で写真の操作をすることができる。写真はマウスをクリックすることにより選択可能であり、またドラッグすることにより、そのＲＯＩは移動、サイズ変更、および回転が可能である。ロケータに関する付加的な操作は、視覚検出器の方法および装置で記載される。
【０１４９】
図１２は、図１１の設定例に対応する配線図を含む、論理ビューを示す。配線図は、自動装置への事象とインターフェイスを検出するのに使用されるすべてのガジェット、およびガジェットの論理入力・出力間の接続を示す。配線図は、ユーザーが見て操作するようにＨＭＩ６３０に表示される。ガジェットの表示およびそれらのＨＭＩにおける論理的相互接続は論理ビューと呼ばれる。
【０１５０】
さらに図１２の配線図について言及すると、「トップ」という名前のロケータ１２２０は、図１１の画像表示内のロケータ１１２０に対応して、ワイヤー１２２４によりＡＮＤゲート１２１０に接続される。同様に、「サイド」ロケータ１２２２は、ロケータ１１２２に対応して、「ボックス」検出器１２３０は、輝度検出器１１３０に対応して、またＡＮＤゲート１２１０に配線される。小円１２３２で示されるように、および上記の通り、明るい背景に対してより暗い物体を検出するために、「ボックス」検出器１２３０は反転されている。
【０１５１】
配線図において、輝度検出器「ラベル」１２５０は輝度検出器１１５０に対応して、そしてエッジ検出器「ラベルエッジ」１２６０はエッジ検出器１１６０に対応して、ＡＮＤゲート１２１２に配線される。ＡＮＤゲート１２１２の論理出力は、ラベル１２１０が不適用であることを信頼性のレベルで表すように転換され、ＡＮＤゲート１２１０に配線される。
【０１５２】
ＡＮＤゲート１２１０の論理出力は、物体が存在することを信頼性のレベルで表し、そのレベル、すなわち、事象が起こる信頼性のレベルが不適用であることを表す。ＡＮＤゲート１２１０の論理出力は、各フレームに対する事象検出の加重として使用されるため、事象検出判断１２００に配線される。多くの代替事象状態は、また、アプリケーションの状況により適切であるが、この構成で適切な事象検出判断１２００の事象状態は、「ｎ＞＝３ かつ ｍ＞＝０．５」である。
【０１５３】
事象検出判断に配線するガジェットの選択は、アプリケーションの知識に基づきユーザーによって行われる。図１１および１２の例においては、ユーザーは上および右だけを検出するのでは、物体の存在を確認するのに分ではないと決定したかもしれない。ここで留意するべきなのは、ロケータ１１２２は、物体の右端に反応するのと同じように、ラベルの左端にも反応するかもしれないこと、そしておそらくこの時点で、プロダクションサイクルにおいて、ロケータ１１２０が背景で他のエッジを発見したかもしれないということである。検出器１１３０を加えること、またＡＮＤゲート１２１０を用いて３つすべての条件を満たすことで、事象の検出は信頼性の高いものになる。
【０１５４】
事象が検出された場合、画像は更に下記に説明されたように記録されるかもしれない。明らかに、事象フレームより前に時間に対応する画像は、いかにラベルが不適用であるかを正確に示す可能性が最も高い。視覚検出器がラベルが貼られる場所が実用的である限り近くで、物体を見ることができるように置くことがこの例では明らかに好ましい。
【０１５５】
事象検出判断１２００の論理出力は、「シグナル」という名前の出力ガジェット１２８０に配線され、それは、ＰＬＣまたは、作動装置のような、自動装置に接続された場合、必要に応じて、視覚検出器から出力信号を制御する。出力ガジェット１２８０は、さらに視覚検出器の方法と装置に説明されたように、適切にユーザーにより構成される。自動装置は、事象が起こった場合、いつ、時間を利用し、どこで、エンコーダカウントを用いるか、決定することができるので、視覚検出器の方法と装置で教授されたように、出力ガジェット１２８０は、記録時間を同期化する遅延パルスを形成することができる。
【０１５６】
ユーザーは既知のＨＭＩ技術を使うことにより、論理ビュー内でガジェットを操作することができる。ガジェットはマウスをクリックすることにより選択可能であり、そのポジションはドラッグによって移動可能、そしてワイヤーはドラッグ・ドロップ操作により作成が可能である。
【０１５７】
当業者は、ガジェットの適切な選択、設定、および配線により、様々な事象が検出可能であるということを認識するであろう。当業者はまた、ガジェットクラス階層が本発明を実行するのに使われる多くのソフトウェア技術のなかの唯一のものであることを認識するであろう。
【０１５８】
図１３は、図１で示される生産設定に有用である可能性のある事象を検出するための視覚検出器のもう一つの構成に対応する画像表示を示す。この例では、表示アーム１６２が十分に延長されたが（そのストロークの先端）、物体１３００は、ラベル１３１０を受取るために不正確な配置である場合、事象が起こる。アームエッジ検出器１３４０は、表示アーム１６２のストロークの先端に対応して視野内の位置に配置される。ここで留意するのは、この位置が視野に関連するように固定され、それが、製造ラインで動かないので、ロケータを使用する必要がないことである。トップエッジ検出器１３２０とサイドエッジ検出器１３３０は、物体１３００がストロークの先端で好ましい位置にあることを確認するために使われる。
【０１５９】
図１４は、表示アーム１６２のストロークの先端で間違った位置に物体が対応して、事象を検出するために、図１３の画像表示に対応してガジェットの構成を示す論理図である。「アーム」１４４０は、アームエッジ検出器１３４０に対応し、「トップ」１４２０はトップエッジ検出器１３２０に対応し、「サイド」１４３０は、サイドエッジ検出器１３３０に対応する。
【０１６０】
図１４に示されるように、変換されたＡＮＤゲート１４１２と配線されたＡＮＤゲート１４１０を用いて、事象検出判断１４００は、物体１３００がアーム１６２がストロークの先端であるときに、トップエッジ検出器１３２０とサイドエッジ検出器１３３０の少なくとも一つにより特定された位置でないことを信頼性のレベルで表す事象検出加重を受取る。この構成の場合、適切な事象検出判断１４００の事象状態は、「ｎ＞＝２」である。
【０１６１】
事象が検出された場合、画像は更に下記に説明されたように記録されるかもしれない。さらに、事象検出判断１４００の論理出力は、「シグナル」という名前の出力ガジェット１４８０に配線され、それは、ＰＬＣまたは、作動装置のような、自動装置に接続された場合、必要に応じて、視覚検出器から出力信号を制御する。出力ガジェット１２８０は、さらに視覚検出器の方法と装置に説明されたように、適切にユーザーにより構成される。
【０１６２】
図１５は、図１で示される生産設定に有用である可能性のある事象を検出するための視覚検出器のさらにもう一つの構成を形成する画像表示と対応する論理表示を示す。この例では、表示アーム１６２事象が拡張されない、または、拡張しすぎる表示アーム１６２が、ストロークの先端が間違った場所にある場合、または、それが正しい位置に延長してあるが、正しいラベルアプリケーションのために短すぎたり長すぎたりしてそこにある場合、事象が起こる。
【０１６３】
過剰外延化は検出するのが易しい。エッジ検出器１５１２は、表示アーム１６２の下方ストロークの予期された先端の下に配置されている。対応する論理表示エッジ検出器「ハイパー」１５４０は、「ハイパー事象」事象検出判断１５７０に配線され、それは、拡張しすぎるアームを検出するために事象状態「ｗ＞＝０．９５」を使う可能性がある。ここに留意すべきは、総計事象検出加重ｗを使い、この事象状態は、そのフレームの事象検出加重がとても高い信頼性を示す場合、十分な証拠として単一フレームを受入れ、事象検出加重が低い信頼性を示す場合、少なくとも２つのフレームを必要とすることである。
【０１６４】
そのほかの状態では、ロケータ１５００は、表示アーム１６２が先端付近の位置の範囲内であることを検出するために配置され、エッジ検出器１５１０は、表示アーム１６２が先端であることを検出するために配置される。対応する論理表示ロケータ「ストロ−ク」１５２０と反転したエッジ検出器「アペックス」１５３０は、ＡＮＤゲート１５５０に示されているように配線され、それは、事象検出判断「ストローク事象」１５６０に次々に配線される。この構成で事象検出加重は、表示アーム１６２が近くにあるが、そのストロークの先端ではないことを信頼性のレベルで表す。
【０１６５】
ここに留意すべきは、図１５の論理表示は、２つの事象検出判断の使用を含むことである。判断のいずれかが十分な証拠を見つけた場合、事象は検出されるので、一つ以上の事象検出判断が使われた場合、それぞれは、独立して操作される。各判断は、活動フラッグ３００、有効統計３０２、無効統計３０４のコピーを用い、それ自身の有効分析ステップ３１２と事象分析ステップ３１４を操作する。ここに留意すべきは、視覚分析ステップ３１０は、写真やゲートのようなほかのガジェットにより操作されることである。
【０１６６】
図１６は、たとえば、図１５の適切な構造である事象検出判断「ストローク事象」１５６０のために、いかに事象が明確に示されているかを示す。上記に説明された図４に示されるプロットに似ている事象検出加重ｄｉ対フレームカウントＩの４つのプロットが示されている。
【０１６７】
第一プロット１６００は、拡張されていないアームを示す。アームは、約１２のフレームで要求先端に近づくように動いたが、実際は先端に到達しなかった。第二プロット１６１０は、正しいラベルアプリケーションのために、要求先端に延長したが、唯一つだけフレームをそこに短すぎて残った、アームを示す。第三プロット１６２０ は、正しく延長され、要求先端に到達し、約３つのフレームのためにそこに残った、アームを示す。第四プロット１６３０は、長く延長され、要求先端に到達し、約７つのフレームのためにそこに残った、アームを示す。
【０１６８】
図１０の事象状態「ｎ＞＝２ かつ （ａ＜．５０｜ａ＞．７５）」は、第一プロット１６００、第二プロット１６１０、第四プロット１６３０の検出には適しているが、正しいアームの延長に対応する第三プロット１６２０では検出されない。「ａ＜．５０」の項は、第一プロット１６００と第二プロット１６１０で検出される。「ａ＞．７５」の項は、第四プロット１６３０で検出される。「ｎ＞＝２」の項は、単一フレームの偽の事象が検出されないことを約束する。
【０１６９】
明らかに、表示アーム１６２のような、機械機器の誤った延長を検出するのに好ましく、当業者に起こるであろう、多くのほかの構成と事象状態がある。図１７は、継続のウェブ上に欠陥の画像を検出し、記録するための発明を構成する一つの方法を示す。画像表示１７１０は、視覚検出器を通過している継続ウェブ１７００の一部を示す。
【０１７０】
ロケータ１７２０とエッジ検出器１７２２は、ウェブを検査するために構成されている。ウェブが壊れたり、折り重なったり、どちらかの端に実質的に擦り切れている場合、ロケータ１７２０、および／または、エッジ検出器１７２２は、偽の出力（論理値＜０．５）を形成するであろう。ウェブが、上下に移動する場合、ロケータ１７２０は、トップエッジを追跡したり、下端を検出するために関連する右の位置にエッジ検出器１７２２を備え付けるだろう。しかし、ウェブの幅が実質的に変わる場合、エッジ検出器１７２２は、偽の出力を形成するだろう。
【０１７１】
論理表示では、「トップ」ロケータ１７４０は、ロケータ１７２０を表し、「ボトム」ロケータ１７５０は、エッジ検出器１７２２を表す。これらは、ＡＮＤゲート１７６０に接続され、その論理出力は、事象検出判断１７７０で反転され、配線される。
【０１７２】
[マーキング、ストローク事象、同期化出力]
図１８は、ビジョン検出器の出力信号が記録時間とどのように同期化されることがあるかを説明するために使用するタイミング図を示す。信号の同期化は、ダウンストリーム作動装置の制御など、さまざまな工業検査の目的において望ましい。
【０１７３】
視覚事象検出は、新しい機能であるので、新しい出力信号制御を提案する。ビジョン検出器は、直接的に、または、ＰＬＣへの入力として機能することにより、一部の外部作動装置を制御できることが望ましい。これは、出力信号のタイミングが、物体が生産フローにおいて特定の固定点を通過するとき（フロー事象）、または、機械構成要素がストロークの頂点に到達するとき（ストローク事象）など、何らかの物理的手段によってある時間に一定の正確さで関係付けられることを示唆する。図１の例では、固定点は記録点１５０が可能であり、図２のタイムラインでは、時間は記録時間２５０と２５２である。図１５の例では、エッジ検出器１５１０は、ラベル貼り付けアーム１６２のストロークの頂点に位置する。図１８では、時間は記録時間１８００である。エンコーダのカウントが時間の代わりに使用されることがある。
【０１７４】
本発明は、作動装置を直接制御している場合でも、ＰＬＣまたはその他任意の外部装置により使用されている場合でも、記録時間と一定の正確さで同期化された出力を提供できる。しかしながら、１つの問題は、本発明は、発生してから何ミリ秒かの後、つまり、記録時間のミリ秒後に事象を検出することである。さらに、遅れは、それほどではないにしても、取得／分析サイクルにおいて記録時間がいつ発生するかは、何個のフレームが分析されるかに応じて非常に変化することがある。
【０１７５】
図１８は、事象検出論理出力１８４０を示す。検出パルス１８７０は、決定が決定点１８１０で行われるとき、事象検出論理出力１８４０に表示される。決定点１８１０は、図３のフローチャートの事象ブロック３７２が実行される時点に対応する。記録時間１８００から決定点１８１０までの決定の遅れ１８３０は、それほどではないにしても、分析されるフレームの個数に応じて、取得／分析サイクルにおいて記録時間がいつ発生するかは、変化することがある。従って、検出パルス１８７０のタイミングは、事象がいつ発生したかに関する正確な情報を伝達しない。
【０１７６】
可変する決定の遅れ１８３０の問題は、画像を取得して分析することにより、事象を検出しようとするすべての装置に適用される。また、事象がいつ発生したかを示す信号を、フレーム周期（フレームレートの逆数）よりも高い正確度で提供することが好ましい場合に適用する。本発明は、記録時間１８００を測定してから、出力信号１８６０の出力パルス１８８０を記録時間に同期化することにより、この問題を解決する。
【０１７７】
出力パルス１８８０は、記録時間１８００から固定された出力の遅れ１８２０で発生する。記録時間の測定動作は「マーキング」と呼ばれる。記録時間は、適切な探知器により決定されると、画像、物体の知られている位置、機械構成要素または視野で運動している物体が取得されると知られている時間（またはエンコーダのカウント）を使用して、線形補間、最小二乗フィット、またはその他のよく知られている方法よりもはるかに高い正確度で決定できる。正確度は、シャッタータイム、取得／分析サイクルの全体時間、移動速度、およびその他の要素により異なる。
【０１７８】
例示的実施形態では、ユーザーは、検索範囲がマーキングのために使用される移動方向と実質的に同じ１つの探知器を選択する。フロー事象の場合は、マークポイントは、上記のように、探知器の範囲の中央になる点が任意に選択されるが、記録点は、固定されている限り正確な位置が問題にならない架空の基準点である。ユーザーは、この任意の時間からの遅れを調節することにより、出力信号の好ましい同期を実現できる。
【０１７９】
事象が検出されてもアクティブフレームの間に運動が記録点を交差しなければ、記録時間は、推定が基本になるので、正確度は低くなることがある。ストローク事象の場合、記録点は、ストロークの頂点であり、以下で説明されるように測定される。記録点のその他の定義は、本発明を実践するために使用できることが明らかである。
【０１８０】
出力信号は、出力の遅れ１８２０が決定予想の最大の遅れ１８３０よりも長ければ、記録時間とだけ同期できることに注意する。このように、出力パルス１８８０の結果としてとられるすべての動作は、例えば、作動装置の操作のように、記録点の十分なダウンストリームになければならず、ほとんどすべてのアプリケーションの場合に想定される。
【０１８１】
図１９は、ストローク事象の場合の時間関数としての探知器の結果のグラフを示す。探知器は、例えば、図１５の探知器１５００のように、ストローク方向と実質的に並行な方向で検索するように構成されなければならない。検索される次元がストローク方向と実質的に並行な方向を含む限り、多次元の探知器も使用できることに注意する。任意の基準点から測定される時間が水平軸１９００に描かれる。探知器の論理出力は、白抜きの点１９２０および塗りつぶされた点１９２２など、四角いポイントの連続として描かれ、探知器位置曲線１９５０により結ばれる。フレームに対応する四角い点が描かれた別々の時間だけで、探知器は位置を測定する。従って、探知器の位置曲線１９５０は、読み手の任意に描かれると理解され、探知器による連続的な測定を表さない。四角い点の縦の位置に対応する論理出力値は、第一の縦軸１９１０に描かれる。白抜きの点１９２０などの白抜きの四角い点は、探知器が対象の画像の特徴を見つけたという確信がほとんどない場合の低い論理出力値（０．５未満、例示的実施形態の基準線１９１４に相当する）を表す。塗りつぶされた点１９２２などの黒い四角い点は、探知器が対象画像の極超を見つけたという強い確信がある場合の高い論理出力値（例示的実施形態では０．５以上）であり、従って、測定位置が有効であることを示す。
【０１８２】
測定された探知器の位置は、位置ポイント例１９３０など、黒丸として描かれた位置点の連続として描かれる。位置点の縦の位置に対応する位置の値は、第二の縦軸１９１２に描かれて、探知器の中央からのピクセルで測定される。位置点は、探知器の論理出力が０．５以上の場合のフレームだけ、つまり、探知器が対象画像の特徴を発見したという強い確信があるフレームだけに、表示されることに注意する。
【０１８３】
視野の機械的構成要素が、探知器の検索範囲を、頂点に向かって、約＋６ピクセルで、約４個のフレーム分前進し、約６個のフレーム分、その頂点で維持されてから、検索範囲を超える前に別の４個のフレーム分後退した位置ポイントを確認することによりわかる。このストローク事象の特定の記録時間を計算するために、例示的実施形態は、位置ポイントを使用して、最適な放物線１９４０を計算すると、放物線１９６０の頂点が容易に決定される。説明的例では、記録時間（最適放物線の頂点）は、１９．２ミリ秒で発生する。
【０１８４】
ポイントのセットから最適放物線を計算するための方法は、技術的によく知られている。当業者には、本発明の範囲内において、ストローク事象の頂点を決定するためのその他の方法を使用できることが明らかである。さらに、本明細書で説明される方法を使用して、本明細書で検討されるフローおよびストローク事象以外の運動が追跡できること、さらに、このような運動の場合の記録時間を決定するために、適切な曲線がフィットできること、また、その他の技術を使用できることが明らかである。
【０１８５】
図２０は、出力の遅れ１８２０（図１８）を設定する制御などの、出力機器のユーザー設定のためのパラメータ表示を示す。モード制御２０００により、ユーザーは、出力信号をどのように制御するかを選択できる。「直線」モードでは、論理入力は、遅れまたは同期が全くなく、出力信号に直接渡される。「遅延」モードでは、論理入力の上昇部分上で、出力パルスは、遅延制御２０１０により指定された量だけ、最も直近に測定された記録時間（またはエンコーダカウント）から遅れた時間で、および、パルス制御２０２０により指定された期間の間、発生するようにスケジュールされる。スケジュールされたパルスは、出力機器に関連づけられたＦＩＦＯに配置されることもある。
【０１８６】
[画像の記録と検索]
図２１は、例示的実施形態で使用されるメモリ７１０（図７）の一部の組織の詳細を示す。フレームバッファプール２１００は、さまざまな目的で使用される、フレームバッファ２１３０、２１３２、２１３４、２１３６および２１３８のようないくつかの個別のフレームバッファを含む。フリープール２１１０は、リングバッファとして組織されて、事象決定のためのフレームを取得して分析するために使用される。書き込みポインタ２１２０は、次のフレームが取得される、次に使用可能なフレームバッファ２１３０を示す。フレームバッファ２１３０への画像取得と同時に、フレームバッファ２１３２にある以前の画像が分析されている。ある時点で、リングバッファはいっぱいになることがあり、その時点で、古いフレームは上書きされる。
【０１８７】
撮像装置７６０がＬＭ９６３０である場合の例示的実施形態では、例えば、各フレームバッファは、１２８ｘ１００個の８ビットピクセルを含む。図では、フレームバッファプール２１００は、明確化のために、数十の要素だけを含むように示されているが、実際には、さらに多いほうが望ましい。ある実施例では、１６０個の要素が使用されているが、２メガバイトをやや下回るストレージが必要であり、２００フレーム／秒の実行速度で約０．８秒、または、５００フレーム／秒の実行速度で約０．３２秒で保管する能力である。明らかに、フレームレートが低くなると、画像を保管できる時間は増加する。
【０１８８】
事象が検出されると、事象が発生してから多くのフレームが発生することがあるが、取得された画像の最近の履歴は、フリープール２１１０にある。例示的実施形態では、フリープール２１１０は、事象フレーム、および、アプリケーションの目的のために十分な数の事象フレームの前後のフレームを保持する十分な大きさである。事象が検出されるとき、最近の履歴は、記録制御１０５０のようなユーザーの選択により、記録されるフレームがない、一部、または全部を含むことがある。最近の履歴がフレームのすべてを含む場合は、以下で説明されるように、直ちに記録できる。すべてを含まない場合は、記録は、記録されるフレームのすべてが利用可能である将来の時点で発生する。
【０１８９】
例示的実施形態において、例２１３４など、「Ｒ」とマークされたフレームバッファは、記録される画像を保持し、例２１３６などの「Ｅ」は事象フレーム（記録される）を保持する。事象は記録時間２１６０で発生し、バッファ２１３４のフレームの分析中に検出される。事象が検出されたとき、記録されるフレームの全部ではないが、一部が最近の履歴にある。バッファ２１３２のフレームを後で分析中に、最近の履歴はこれで記録されるフレームすべてを含むと決定される。
【０１９０】
フレームを記録するために、フレームバッファはフリープール２１１０から削除されて、保管された事象２１１２、２１１４および２１１６を含む、保管された事象プール２１０４に追加される。新しく保管された事象を削除後にフリープール２１１０のフレームバッファの数が小さくなりすぎる場合は、さまざまなアクションが可能である。ある実施例では、事象検出は、バッファがフリープール２１１０に戻ることができるように、ＨＭＩ６３０（図６）がフレームを保管された事象プール２１０４にアップロードするまで、中断する。別の実施例では、１つ以上の保管された古い事象は保管された事象プール２１０４から取り出されて、フリープール２１０４に戻されることがある。これらの古い事象は、表示することはできなくなる。
【０１９１】
例示的実施形態では、フレームバッファは決してコピーされない。その代わりに、フレームバッファは、技術的によく知られた技術を使用するポインタ操作により、フリープール２１１０と保管された事象プール２１０４の間を移動する。
【０１９２】
リスト要素２１４０、２１４２および２１４４など、保管された事象のリスト２１０ ２が維持される。リスト要素２１４０は、例えば、次の要素ポインタ２１５０、フレームバッファカウント２１５２、結果情報２１５４、および保管された事象ポインタ２１５６を含む。結果情報２１５４は、図にあるようにタイムスタンプ、または、表示されていないがアクティブデータ３０２のような他の情報を含むことがある。
【０１９３】
結果情報２１５４は、事象全体に適用される情報を含む。保管された事象プール２１０４のフレームバッファで表示されている例のように、各記録されたフレームの情報を提供することがさらに好ましい。例示的実施形態では、保管された情報は、記録時間に想定的なフレームの取得時間をミリ秒単位で記録するタイムスタンプを含む。事象検出加重や個別の機器の結果のようなその他の情報（表示されていない）も記録されることがある。
【０１９４】
図６に戻って参照すると、ビジョン検出器は、設定を目的として、信号６４０を経由して人−マシンインターフェイス（ＨＭＩ）６３０に接続されることがある。また、ＨＭＩがビジョン検出器６００の一部であることも可能であるが、これは、ＨＭＩは一般的に事象検出には必要ではないため、あまり好まれない。したがって、１台のＨＭＩは多数のビジョン検出器の間で共有できる。ＨＭＩは、図２２に示される図説部分の従来の設計のグラフィカルユーザーインターフェイス（ＧＵＩ）を実行することがある。
【０１９５】
ＧＵＩにより、ビジョン検出器のメモリ７１０に保管された記録された画像の一部が、人間のユーザーに表示されることが可能である。図２２の例示的実施形態では、映写スライドウィンドウ２２０２は、８個までのサムネイル画像２２１０、２２１２、２２１４、２２１６、２２２０、２２３０、２２３２および２２３４を表示する。それぞれのサムネイル画像は、保管された事象プール２１０４に対応する記録された画像の低解像度バージョンである。一般的に、サムネイル画像は、記録の単独事象の連続画像に対応するが、対応するサムネイルの間の画像の何個かを省略するなど、その他の処理も有用なことがある。
【０１９６】
スクロール制御のセット２２５０は、事象の記録された画像内、または事象間で前後してサムネイル画像を移動するために映写スライドウィンドウ２２０２に提供される。次の画像制御２２６０は、画像を１つずつ進めて、以前の画像制御２２６２は画像を１つずつ逆に進む。次の事象制御２２６４と以前の事象制御２２６６は、事象を１つずつ前後に表示する。
【０１９７】
サムネイル２２２０は、物体１１６（図１）の例に対応することがある、物体２２４ ２の低解像度画像を表示する。また、物体２２４２は、サムネイル２２１０の物体例２２４０のように、わずかに異なる表示視点（視野内の位置）およびアーム２２７２によるラベル２２７０の貼り付けの間異なる時間で、その他のすべてのサムネイルも表示する。スクロール制御２２５０を使用してスクロールコマンドを発行することにより、ユーザーは、任意の望ましい時間間隔を見るために記録された画像を前後に移動できる。特に、サムネイル２２１２、２２１４および２２１６にある図説の画像例を検討すると、ラベル２２７０は、貼られているように、物体の上端で引っかかっているように見える。
【０１９８】
図２２の例示的実施形態では、太線で囲まれて「選択された画像」として参照されている、サムネイル２２２０に対応する画像も、画像表示ウィンドウ２２００で最高解像度で表示される。スクロールコマンドが表示部分を前後に進むにつれて、別の選択された画像がサムネイル２２２０に移動して、画像表示ウィンドウ２２００で最高解像度で表示される。記録時間に想定的に選択された画像の取得時間（この例のミリ秒）を示すタイムスタンプ２２８０のような選択された画像についてのその他の情報も表示される。
【０１９９】
以上は、本発明のさまざまな実施例の詳細説明である。本発明の製品および範囲から逸脱することなく、本発明にさまざまな範囲の修正や追加を行えることが明らかである。例えば、本明細書のプロセッサと計算デバイスは例であって、スタンドアロンと分散両方のさまざまなプロセッサおよびコンピュータが、開示された計算を実施するために採用できる。同様に、本明細書で記述された撮像装置やその他のビジョン構成要素は、例であって、改善されたまたは別の構成要素が本発明の開示内で採用できる。ソフトウェア要素、ＧＵＩ設計およびレイアウト、パラメータ値、および数式は、すべて本発明の特定のアプリケーションに適するように同等に修正または置換できる。従って、本記述は一例を意味するものであって、本発明の範囲を限定するものではない。
【特許請求の範囲】
【請求項１】
事象の自動視覚検出のための方法であって、
複数のフレームを取得するステップであって、前記複数のフレームの各フレームは前記事象が起こる二次元の視野の画像を含み、前記事象は所定の物体の画像を含むステップと、
前記複数のフレームの視覚分析に応答して、複数の事象検出加重を計算するステップであって、前記複数の事象検出加重の各事象検出加重は、それぞれ前記複数のフレームの各フレームに対応し、前記事象が前記視野において起こっている証拠を含むステップと、
前記複数のフレームから複数の事象フレームを選択するステップであって、前記複数の事象フレームは、前記複数の事象検出加重のサブセットに対応するステップと、
前記複数の事象検出加重の前記サブセットの事象分析に応答して、前記事象が起こったかどうかを決定するステップと、
を含む方法。
【請求項２】
事象の自動視覚検出のための方法であって、
複数のフレームを取得するステップであって、前記複数のフレームの各フレームは前記事象が起こる二次元の視野の画像を含み、前記事象は固定基準点を通過する動作を含むステップと、
前記複数のフレームの視覚分析に応答して、複数の事象検出加重を計算するステップであって、前記複数の事象検出加重の各事象検出加重は、それぞれ前記複数のフレームの各フレームに対応し、前記事象が前記視野において起こっている証拠を含むステップと、
前記複数のフレームから複数の事象フレームを選択するステップであって、前記複数の事象フレームは、前記複数の事象検出加重のサブセットに対応するステップと、
前記複数の事象検出加重の前記サブセットの事象分析に応答して、前記事象が起こったかどうかを決定するステップと、
を含む方法。
【請求項３】
事象の自動視覚検出のための方法であって、
複数のフレームを取得するステップであって、前記複数のフレームの各フレームは前記事象が起こる二次元の視野の画像を含み、前記事象は前進と後退の動作を含むステップと、
前記複数のフレームの視覚分析に応答して、複数の事象検出加重を計算するステップであって、前記複数の事象検出加重の各事象検出加重は、それぞれ前記複数のフレームの各フレームに対応し、前記事象が前記視野において起こっている証拠を含むステップと、
前記複数のフレームから複数の事象フレームを選択するステップであって、前記複数の事象フレームは、前記複数の事象検出加重のサブセットに対応するステップと、
前記複数の事象検出加重の前記サブセットの事象分析に応答して、前記事象が起こったかどうかを決定するステップと、
を含む方法。
【請求項４】
事象の自動視覚検出のための方法であって、
複数のフレームを取得するステップであって、前記複数のフレームの各フレームは前記事象が起こる二次元の視野の画像を含み、前記事象は前記視野を通過する不良製造物体を含むステップと、
前記複数のフレームの視覚分析に応答して、複数の事象検出加重を計算するステップであって、前記複数の事象検出加重の各事象検出加重は、それぞれ前記複数のフレームの各フレームに対応し、前記事象が前記視野において起こっている証拠を含むステップと、
前記複数のフレームから複数の事象フレームを選択するステップであって、前記複数の事象フレームは、前記複数の事象検出加重のサブセットに対応するステップと、
前記複数の事象検出加重の前記サブセットの事象分析に応答して、前記事象が起こったかどうかを決定するステップと、
を含む方法。
【請求項５】
事象の自動視覚検出のための方法であって、
複数のフレームを取得するステップであって、前記複数のフレームの各フレームは前記事象が起こる二次元の視野の画像を含み、前記事象は前記視野に物体の間違った動作を含むステップと、
前記複数のフレームの視覚分析に応答して、複数の事象検出加重を計算するステップであって、前記複数の事象検出加重の各事象検出加重は、それぞれ前記複数のフレームの各フレームに対応し、前記事象が前記視野において起こっている証拠を含むステップと、
前記複数のフレームから複数の事象フレームを選択するステップであって、前記複数の事象フレームは、前記複数の事象検出加重のサブセットに対応するステップと、
前記複数の事象検出加重の前記サブセットの事象分析に応答して、前記事象が起こったかどうかを決定するステップと、
を含む方法。
【請求項６】
事象の自動視覚検出のための方法であって、
複数のフレームを取得するステップであって、前記複数のフレームの各フレームは前記事象が起こる二次元の視野の画像を含み、前記事象は間違った位置にある物体を含むステップと、
前記複数のフレームの視覚分析に応答して、複数の事象検出加重を計算するステップであって、前記複数の事象検出加重の各事象検出加重は、それぞれ前記複数のフレームの各フレームに対応し、前記事象が前記視野において起こっている証拠を含むステップと、
前記複数のフレームから複数の事象フレームを選択するステップであって、前記複数の事象フレームは、前記複数の事象検出加重のサブセットに対応するステップと、
前記複数の事象検出加重の前記サブセットの事象分析に応答して、前記事象が起こったかどうかを決定するステップと、
を含む方法。
【請求項７】
事象の自動視覚検出のための方法であって、
複数のフレームを取得するステップであって、前記複数のフレームの各フレームは前記事象が起こる二次元の視野の画像を含むステップと、
前記複数のフレームの視覚分析に応答して、複数の事象検出加重を計算するステップであって、前記複数の事象検出加重の各事象検出加重は、それぞれ前記複数のフレームの各フレームに対応し、前記事象が前記視野において起こっている証拠を含むステップと、
前記複数のフレームから複数の事象フレームを選択するステップであって、前記複数の事象フレームは、前記複数の事象検出加重のサブセットに対応するステップと、
前記複数の事象検出加重の前記サブセットの事象分析に応答して、前記事象が起こったかどうかを決定するステップと、
前記事象が起こる時間に同期される信号を生成するステップと、
を含む方法。
【請求項８】
事象の自動視覚検出のための方法であって、
複数のフレームを取得するステップであって、前記複数のフレームの各フレームは前記事象が起こる二次元の視野の画像を含むステップと、
前記複数のフレームの視覚分析に応答して、複数の事象検出加重を計算するステップであって、前記複数の事象検出加重の各事象検出加重は、それぞれ前記複数のフレームの各フレームに対応し、前記事象が前記視野において起こっている証拠を含むステップと、
前記複数のフレームから複数の事象フレームを選択するステップであって、前記複数の事象フレームは、前記複数の事象検出加重のサブセットに対応するステップと、
前記複数の事象検出加重の前記サブセットの事象分析に応答して、前記事象が起こったかどうかを決定するステップと、
を含み、前記事象分析は、
対応する複数の論理結果を生成する複数の比較演算であって、前記複数の比較演算の各比較演算は、第一の値と第二の値の比較を含み、前記第一の値と前記第二の値のうちの少なくとも一つは、前記複数の事象検出加重の前記サブセットの数値統計に応答する比較演算と、
前記事象が起こったかどうかを決定するための前記複数の論理結果を組み合わせる少なくとも一つの論理演算と、
を含む方法。
【請求項９】
事象の自動視覚検出のための方法であって、
複数のフレームを取得するステップであって、前記複数のフレームの各フレームは前記事象が起こる二次元の視野の画像を含むステップと、
前記複数のフレームの視覚分析に応答して、複数の事象検出加重を計算するステップであって、前記複数の事象検出加重の各事象検出加重は、それぞれ前記複数のフレームの各フレームに対応し、前記事象が前記視野において起こっている証拠を含むステップと、
前記複数のフレームから複数の事象フレームを選択するステップであって、前記複数の事象フレームは、前記複数の事象検出加重のサブセットに対応するステップと、
前記複数の事象検出加重の前記サブセットの事象分析に応答して、前記事象が起こったかどうかを決定するステップであって、前記事象分析は、実質的に従来のプログラミング言語の構文に似ている構文の表現を示すテキスト文字列を含むステップと、
を含む方法。
【請求項１０】
事象の自動視覚検出のための方法であって、
複数のフレームを取得するステップであって、前記複数のフレームの各フレームは前記事象が起こる二次元の視野の画像を含むステップと、
前記複数のフレームの視覚分析に応答して、複数の事象検出加重を計算するステップであって、前記複数の事象検出加重の各事象検出加重は、それぞれ前記複数のフレームの各フレームに対応し、前記事象が前記視野において起こっている証拠を含むステップと、
前記複数のフレームから複数の事象フレームを選択するステップであって、前記複数の事象フレームは、前記複数の事象検出加重のサブセットに対応するステップと、
前記複数の事象検出加重の前記サブセットの事象分析に応答して、前記事象が起こったかどうかを決定するステップと、
を含み、前記方法の前記ステップは、少なくとも毎秒２００フレームの割合で実行される方法。
【請求項１１】
事象の自動視覚検出のための方法であって、
複数のフレームを取得するステップであって、前記複数のフレームの各フレームは前記事象が起こる二次元の視野の画像を含むステップと、
前記複数のフレームの視覚分析に応答して、複数の事象検出加重を計算するステップであって、前記複数の事象検出加重の各事象検出加重は、それぞれ前記複数のフレームの各フレームに対応し、前記事象が前記視野において起こっている証拠を含み、前記視覚分析は、前記複数のフレームの各フレームに対し、視野の関心領域の位置を調整するための探知器を使用するステップと、
前記関心領域を分析するステップと、
を含むステップと、
前記複数のフレームから複数の事象フレームを選択するステップであって、前記複数の事象フレームは、前記複数の事象検出加重のサブセットに対応するステップと、
前記複数の事象検出加重の前記サブセットの事象分析に応答して、前記事象が起こったかどうかを決定するステップと、
を含む方法。
【請求項１２】
事象の自動視覚検出のための方法であって、
複数のフレームを取得するステップであって、前記複数のフレームの各フレームは前記事象が起こる二次元の視野の画像を含むステップと、
前記複数のフレームの視覚分析に応答して、複数の事象検出加重を計算するステップであって、前記複数の事象検出加重の各事象検出加重は、それぞれ前記複数のフレームの各フレームに対応し、前記事象が前記視野において起こっている証拠を含むステップと、
複数の事象検出加重の活動分析に応答して、前記複数のフレームから複数の事象フレームを選択するステップであって、前記複数の事象フレームは、前記複数の事象検出加重のサブセットに対応するステップと、
を含み、前記活動分析は、
前記視覚分析が前記事象が起こっているという十分な証拠を示す事象検出加重を算定した場合、有効状態に入るステップと、
前記視覚分析が前記事象が起こっているという不十分な証拠をそれぞれ示す複数の事象検出加重を算定した場合、有効状態を終了するステップと、
前記複数の事象検出加重の前記サブセットの事象分析に応答し、前記事象が起こっているかどうかを決定するステップと、
を含む方法。
【請求項１３】
事象の自動視覚検出のための方法であって、
前記事象を特定するためにヒューマン・マシン・インターフェイスを使うステップであって、前記ヒューマン・マシン・インターフェイスは論理目的を備えるステップと、
複数のフレームを取得するステップであって、前記複数のフレームの各フレームは前記事象が起こる二次元の視野の画像を含むステップと、
前記複数のフレームの視覚分析に応答して、複数の事象検出加重を計算するステップであって、前記複数の事象検出加重の各事象検出加重は、それぞれ前記複数のフレームの各フレームに対応し、前記事象が前記視野において起こっている証拠を含むステップと、
前記複数のフレームから複数の事象フレームを選択するステップであって、前記複数の事象フレームは、前記複数の事象検出加重のサブセットに対応するステップと、
前記複数の事象検出加重の前記サブセットの事象分析に応答して、前記事象が起こったかどうかを決定するステップと、
を含む方法。
【請求項１４】
事象の自動視覚検出のためのシステムであって、
複数のフレームを取得する取得プロセスであって、前記複数のフレームの各フレームは、前記事象が起こる二次元の視野の画像を含み、前記事象は所定の物体の動作を含むプロセスと、
前記複数のフレームに応答して、複数の事象検出加重を算定する視覚分析プロセスであって、前記複数の事象検出加重の各事象検出加重は、前記複数のフレームの各フレームに対応し、前記事象が前記視野で起こっている証拠を含むプロセスと、
前記複数のフレームから複数の事象フレームを選択する選択プロセスであって、前記複数の事象フレームは前記複数の事象検出加重のサブセットに対応するプロセスと、
前記複数の事象検出加重の前記サブセットに応答して、前記事象が起こっているかどうかを決定する事象分析プロセスと、
を備えるシステム。
【請求項１５】
事象の自動視覚検出のためのシステムであって、
複数のフレームを取得する取得プロセスであって、前記複数のフレームの各フレームは、前記事象が起こる二次元の視野の画像を含み、前記事象は固定基準点を通過する動作を含むプロセスと、
前記複数のフレームに応答して、複数の事象検出加重を算定する視覚分析プロセスであって、前記複数の事象検出加重の各事象検出加重は、前記複数のフレームの各フレームに対応し、前記事象が前記視野で起こっている証拠を含むプロセスと、
前記複数のフレームから複数の事象フレームを選択する選択プロセスであって、前記複数の事象フレームは前記複数の事象検出加重のサブセットに対応するプロセスと、
前記複数の事象検出加重の前記サブセットに応答して、前記事象が起こったかどうかを決定する事象分析プロセスと、
を備えるシステム。
【請求項１６】
事象の自動視覚検出のためのシステムであって、
複数のフレームを取得する取得プロセスであって、前記複数のフレームの各フレームは、前記事象が起こる二次元の視野の画像を含み、前記事象は前進と後退を含むプロセスと、
前記複数のフレームに応答して、複数の事象検出加重を算定する視覚分析プロセスであって、前記複数の事象検出加重の各事象検出加重は、前記複数のフレームの各フレームにそれぞれ対応し、前記事象が前記視野で起こっている証拠を含むプロセスと、
前記複数のフレームから複数の事象フレームを選択する選択プロセスであって、前記複数の事象フレームは前記複数の事象検出加重のサブセットに対応するプロセスと、
前記複数の事象検出加重の前記サブセットに応答して、前記事象が起こったかどうかを決定する事象分析プロセスと、
を備えるシステム。
【請求項１７】
事象の自動視覚検出のためのシステムであって、
複数のフレームを取得する取得プロセスであって、前記複数のフレームの各フレームは、前記事象が起こる二次元の視野の画像を含み、前記事象は前記視野を通過する不良製造物体含むプロセスと、
前記複数のフレームに応答して、複数の事象検出加重を算定する視覚分析プロセスであって、前記複数の事象検出加重の各事象検出加重は、前記複数のフレームの各フレームにそれぞれ対応し、前記事象が前記視野で起こっている証拠を含むプロセスと、
前記複数のフレームから複数の事象フレームを選択する選択プロセスであって、前記複数の事象フレームは前記複数の事象検出加重のサブセットに対応するプロセスと、
前記複数の事象検出加重の前記サブセットに応答して、前記事象が起こったかどうかを決定する事象分析プロセスと、
を備えるシステム。
【請求項１８】
事象の自動視覚検出のためのシステムであって、
複数のフレームを取得する取得プロセスであって、前記複数のフレームの各レームは、前記事象が起こる二次元の視野の画像を含み、前記事象は前記視野に物体の間違った動作を含むプロセスと、
前記複数のフレームに応答して、複数の事象検出加重を算定する視覚分析プロセスであって、前記複数の事象検出加重の各事象検出加重は、前記複数のフレームの各フレームにそれぞれ対応し、前記事象が前記視野で起こっている証拠を含むプロセスと、
前記複数のフレームから複数の事象フレームを選択する選択プロセスであって、前記複数の事象フレームは前記複数の事象検出加重のサブセットに対応するプロセスと、
前記複数の事象検出加重の前記サブセットに応答して、前記事象が起こったかどうかを決定する事象分析プロセスと、
を備えるシステム。
【請求項１９】
事象の自動視覚検出のためのシステムであって、
複数のフレームを取得する取得プロセスであって、前記複数のフレームの各フレームは、前記事象が起こる二次元の視野の画像を含み、前記事象は間違った位置にある物体を含むプロセスと、
前記複数のフレームに応答して、複数の事象検出加重を算定する視覚分析プロセスであって、前記複数の事象検出加重の各事象検出加重は、前記複数のフレームの各フレームにそれぞれ対応し、前記事象が前記視野で起こっている証拠を含むプロセスと、
前記複数のフレームから複数の事象フレームを選択する選択プロセスであって、前記複数の事象フレームは前記複数の事象検出加重のサブセットに対応するプロセスと、
前記複数の事象検出加重の前記サブセットに応答して、前記事象が起こったかどうかを決定する事象分析プロセスと、
を備えるシステム。
【請求項２０】
事象の自動視覚検出のためのシステムであって、
複数のフレームを取得する取得プロセスであって、前記複数のフレームの各フレームは、前記事象が起こる二次元の視野の画像を含むプロセスと、
前記複数のフレームに応答して、複数の事象検出加重を算定する視覚分析プロセスであって、前記複数の事象検出加重の各事象検出加重は、前記複数のフレームの各フレームにそれぞれ対応し、前記事象が前記視野で起こっている証拠を含むプロセスと、
前記複数のフレームから複数の事象フレームを選択する選択プロセスであって、前記複数の事象フレームは前記複数の事象検出加重のサブセットに対応するプロセスと、
前記複数の事象検出加重の前記サブセットに応答して、前記事象が起こったかどうかを決定する事象分析プロセスと、
を備えるシステム。
【請求項２１】
事象の自動視覚検出のためのシステムであって、
複数のフレームを取得する取得プロセスであって、前記複数のフレームの各フレームは、前記事象が起こる二次元の視野の画像を含むプロセスと、
前記複数のフレームに応答して、複数の事象検出加重を算定する視覚分析プロセスであって、前記複数の事象検出加重の各事象検出加重は、前記複数のフレームの各フレームにそれぞれ対応し、前記事象が前記視野で起こっている証拠を含むプロセスと、
前記複数のフレームから複数の事象フレームを選択する選択プロセスであって、前記複数の事象フレームは前記複数の事象検出加重のサブセットに対応するプロセスと、
前記複数の事象検出加重の前記サブセットに応答して、前記事象が起こったかどうかを決定する事象分析プロセスであって、対応する複数の論理結果を生成する複数の比較演算を含み、前記複数の比較演算の各比較演算は、第一の値と第二の値の比較を含み、前記第一の値と前記第二の値のうちの少なくとも一つは、前記複数の事象検出加重の前記サブセットの数値統計に応答するプロセスと、
前記事象が起こったかどうかを決定するための前記複数の論理結果を組み合わせる少なくとも一つの論理演算と、
を備えるシステム。
【請求項２２】
事象の自動視覚検出のためのシステムであって、
複数のフレームを取得する取得プロセスであって、前記複数のフレームの各フレームは、前記事象が起こる二次元の視野の画像を含むプロセスと、
前記複数のフレームに応答して、複数の事象検出加重を算定する視覚分析プロセスであって、前記複数の事象検出加重の各事象検出加重は、前記複数のフレームの各フレームにそれぞれ対応し、前記事象が前記視野で起こっている証拠を含むプロセスと、
前記複数のフレームから複数の事象フレームを選択する選択プロセスであって、前記複数の事象フレームは前記複数の事象検出加重のサブセットに対応するプロセスと、
前記複数の事象検出加重の前記サブセットに応答して、前記事象が起こったかどうかを決定する事象分析プロセスであって、事象分析プロセスは、実質的に従来のプログラミング言語の構文に似ている構文の表現を示すテキスト文字列を含むプロセスと、
を備えるシステム。
【請求項２３】
事象の自動視覚検出のためのシステムであって、
複数のフレームを取得する取得プロセスであって、前記複数のフレームの各フレームは、前記事象が起こる二次元の視野の画像を含むプロセスと、
前記複数のフレームに応答して、複数の事象検出加重を算定する視覚分析プロセスであって、前記複数の事象検出加重の各事象検出加重は、前記複数のフレームの各フレームにそれぞれ対応し、前記事象が前記視野で起こっている証拠を含むプロセスと、
前記複数のフレームから複数の事象フレームを選択する選択プロセスであって、前記複数の事象フレームは前記複数の事象検出加重のサブセットに対応するプロセスと、
前記複数の事象検出加重の前記サブセットに応答して、前記事象が起こったかどうかを決定する事象分析プロセスと、
を含み、前記取得プロセス、前記視覚分析プロセス、前記選択プロセス、および前記事象分析プロセスは、少なくとも毎秒２００フレームの割合で実行する、システム。
【請求項２４】
事象の自動視覚検出のためのシステムであって、
複数のフレームを取得する取得プロセスであって、前記複数のフレームの各フレームは、前記事象が起こる二次元の視野の画像を含むプロセスと、
前記複数のフレームに応答して、複数の事象検出加重を算定する視覚分析プロセスであって、前記複数の事象検出加重の各事象検出加重は、前記複数のフレームの各フレームにそれぞれ対応し、前記事象が前記視野で起こっている証拠を含み、前記視覚分析プロセスは、前記複数のフレームの各フレームに対し、前記視野の関心領域の位置を調整する探知器と、前記関心領域を分析する領域分析プロセスとを含むプロセスと、
前記複数のフレームから複数の事象フレームを選択する選択プロセスであって、前記複数の事象フレームは前記複数の事象検出加重のサブセットに対応するプロセスと、
前記複数の事象検出加重の前記サブセットに応答して、前記事象が起こったかどうかを決定する事象分析プロセスと、
を含む、システム。
【請求項２５】
事象の自動視覚検出のためのシステムであって、
複数のフレームを取得する取得プロセスであって、前記複数のフレームの各フレームは、前記事象が起こる二次元の視野の画像を含むプロセスと、
前記複数のフレームに応答して、複数の事象検出加重を算定する視覚分析プロセスであって、前記複数の事象検出加重の各事象検出加重は、前記複数のフレームの各フレームにそれぞれ対応し、前記事象が前記視野で起こっている証拠を含むプロセスと、
前記複数の事象検出加重に応答して、前記複数のフレームから複数の事象フレームを選択する活動分析プロセスであって、前記複数の事象フレームは、前記複数の事象検出加重のサブセットに対応し、前記活動分析プロセスは、前記視覚分析プロセスが前記事象が起こっているという十分な証拠を示す事象検出加重を算定した場合入り、前記視覚分析プロセスが前記事象が起こっているというには不十分な証拠をそれぞれ示す複数の事象検出加重を算定した場合終了する有効状態を含むプロセスと、
前記複数の事象検出加重の前記サブセットに応答して、前記事象が起こったかどうかを決定する事象分析プロセスと、
を含む、システム。
【請求項２６】
事象の自動視覚検出のためのシステムであって、
前記事象を特定するヒューマン・マシン・インターフェイスであって、前記ヒューマン・マシン・インターフェイスは論理目的を備えるインターフェイスと、
複数のフレームを取得する取得プロセスであって、前記複数のフレームの各フレームは、前記事象が起こる二次元の視野の画像を含むプロセスと、
前記複数のフレームに応答して、複数の事象検出加重を算定する視覚分析プロセスであって、前記複数の事象検出加重の各事象検出加重は、前記複数のフレームの各フレームにそれぞれ対応し、前記事象が前記視野で起こっている証拠を含むプロセスと、
前記複数のフレームから複数の事象フレームを選択する選択プロセスであって、前記複数の事象フレームは前記複数の事象検出加重のサブセットに対応するプロセスと、
前記複数の事象検出加重の前記サブセットに応答して、前記事象が起こったかどうかを決定する事象分析プロセスと、
を備えるシステム。
【請求項２７】
事象の自動視覚検出および報告のためのシステムであって、
複数のフレームを取得するステップであって、前記複数のフレームの各フレームは、
前記事象が起こる二次元の視野の画像を含み、前記事象は、経路に沿った物体の動作を含み、前記経路は記録点を持ち、前記事象は前記物体が前記記録点ぶ位置している記録時間さらに含むステップと、
複数のフレームの第一の分析に応答して、前記第一の分析が、前記物体が前記複数の事象フレームの各フレームために、前記物体が前記経路に沿って位置しているという十分な証拠を示すように、前記複数のフレームから複数の事象フレームを選択するステップと、
前記複数の事象フレームに対応する複数の取得時間を得るステップであって、前記複数の取得時間の各取得時間は、対応する事象フレームが取得された時間の機能であるステップと、
前記複数の事象フレームの第二の分析に応答して、複数のロケーション値を算定するステップであって、前記複数のロケーション値の各ロケーション値は、前記第二の分析により計算されるように、関連事象フレーム内で前記経路に沿って前記物体の位置に応答するステップと、
前記複数のロケーション値と前記複数の取得時間を使い、記録時間を決定するステップと、
遅延間隔により、記録時間に続くレポートタイム時に信号を生成するステップと、
を含む方法。
【請求項２８】
前記複数の取得時間の各取得時間は、対応する事象フレームが取得された時に得られたエンコーダカウントである、請求項２７に記載の方法。
【請求項２９】
前記記録時間を決定するステップは、曲線を前記複数のロケーション値と前記複数の取得時間に適合させるステップを含む、請求項２７に記載の方法。
【請求項３０】
前記曲線は、放物線である、請求項２９に記載の方法。
【請求項３１】
前記曲線は頂点を有し、
前記記録時間を決定するステップは前記曲線の前記頂点を決定するステップを含む、請求項２９に記載の方法。
【請求項３２】
前記事象はフロー事象を含み、前記フロー事象は、前記記録点を通して前記物体の動作を含む、請求項２７に記載の方法。
【請求項３３】
前記事象はストローク事象を備え、前記ストローク事象は、前記経路沿いの前進と後退の動作を含む、請求項２７に記載の方法。
【請求項３４】
前記経路は頂点を持ち、前記記録点は、前記経路の頂点である、請求項２７に記載の方法。
【請求項３５】
前記複数のフレームは取得され、前記第一の分析と前記第二の分析は少なくとも毎秒２００フレームの割合で実行される、請求項２７に記載の方法。
【請求項３６】
複数の事象タイプから事象タイプを選択するステップであって、前記事象タイプは、前記経路に沿った前記物体の前記動作に対応するステップをさらに含み、
前記記録時間を決定するステップは前記事象タイプに応答する、請求項２７に記載の方法。
【請求項３７】
事象の自動視覚検出および報告のためのシステムであって、
複数のフレームを取得する取得プロセスであって、前記複数のフレームの各フレームは、前記事象が起こる二次元の視野の画像を含み、前記事象は、経路沿いに物体の動作を含み、前記経路は記録点を持ち、前記事象は、前記物体が前記記録点に位置している記録時間をさらに含むプロセスと、
前記複数のフレームから複数の事象フレームを選ぶ第一の選択プロセスであって、前記第一の選択プロセスが、前記複数の事象フレームの各事象フレームのために、前記物体が前記経路沿いに位置するという十分な証拠があると判断するように選ぶプロセスと、
前記複数の事象フレームに対応する複数の取得時間を得るタイミングプロセスであって、前記複数の取得時間の各取得時間が、前記対応する事象フレームが取得された時間の機能であるプロセスと、
複数のロケーション値を算定する第一の分析プロセスであって、前記複数のロケーション値の各ロケーション値は、関係する事象フレーム内で前記経路沿いの前記物体の位置に応答するプロセスと、
前記複数のロケーション値と前記複数の取得時間を使い前記記録時間を決定する第二の分析プロセスと、
遅延間隔により前記記録時間に続くレポートタイムで信号を生成する出力プロセスと、
を備える、システム。
【請求項３８】
前記複数の取得時間の各取得時間は、前記対応する事象フレームが取得された時間を得るエンコーダカウントである、請求項３７に記載のシステム。
【請求項３９】
前記第二の分析プロセスは、曲線を前記複数のロケーション値と前記複数の取得時間に適合させるステップを含む、請求項３７に記載のシステム。
【請求項４０】
前記曲線は放物線である、請求項３９に記載のシステム。
【請求項４１】
前記曲線は頂点を有し、
前記第二の分析プロセスは、前記曲線の前記頂点を決定するステップをさらに含む、請求項３９に記載のシステム。
【請求項４２】
前記事象はフロー事象を含み、前記フロー事象は前記記録点を通して前記物体の動作を含む、請求項３７に記載のシステム。
【請求項４３】
前記事象はストローク事象を含み、前記ストローク事象は、前記経路沿いの前進と後退の動作を含む、請求項３７に記載のシステム。
【請求項４４】
前記経路は頂点を有し、
前記記録点は前記経路の前記頂点である、請求項３７に記載のシステム。
【請求項４５】
前記取得プロセス、前記第一の分析プロセス、および前記第ニの分析プロセスは、少なくとも毎秒２００フレームの割合で作動する、請求項３７に記載のシステム。
【請求項４６】
複数の事象タイプから事象タイプを選択する第二の選択プロセスであって、前記事象タイプは、前記経路に沿った前記物体の前記動作に対応するプロセスをさらに含み、
前記第二の分析プロセスは、前記事象タイプを使い前記記録時間を決定する、請求項３７に記載のシステム。
【請求項４７】
複数の事象の検出と報告のための方法であって、
前記複数の事象の各事象のために、前記事象が起こる時間の機能である対応する記録時間を決定するステップであって、前記対応する記録時間を決定するステップは、対応する決定遅延により前記対応する記録時間とは異なる対応する決定ポイントで起こり、前記複数の事象に対応する前記決定遅滞は可変であるステップと、
前記複数事象の各事象のために、遅滞間隔ごとに前記対応する記録時間に続く対応するレポートタイムに対応する信号を生成するステップと、
前記複数事象の各事象のために、前記対応する記録時間を示す前記対応する信号の前記対応するレポートタイムを使うステップと、
を備える方法。
【請求項４８】
各記録時間は、前記対応する事象が起こる時間に比例する、請求項４７に記載の方法。
【請求項４９】
各記録時間は、前記対応する事象が起こる時間の機能であるエンコーダカウントである、請求項４７に記載の方法。
【請求項５０】
前記複数の事象の各事象はフロー事象を含み、前記フロー事象は記録点を通る物体の動作を含み、前記対応する記録時間は、前記物体が前記記録点を通過する時間に応答する、請求項４７に記載の方法。
【請求項５１】
前記複数の事象の各事象はストローク事象を含み、前記ストローク事象は、頂点へ前進、また頂点から後退する物体の動作を含み、前記対応する記録時間は、前記物体が前記頂点に達する時間に応答する、請求項４７に記載の方法。
【請求項５２】
複数の事象タイプから事象タイプを選択するステップをさらに含み、前記対応する記録時間を決定するステップは、前記事象タイプに応答する、請求項４７に記載の方法。
【請求項５３】
前記複数の事象タイプはフロー事象タイプとストローク事象タイプを含む、請求項５ ２に記載の方法。
【請求項５４】
前記事象タイプを選択するステップは、ヒューマン・マシン・インターフェイスに応答する、請求項５２に記載の方法。
【請求項５５】
前記遅滞間隔は、ヒューマン・マシン・インターフェイスに応答して選択される、請求項４７に記載の方法。
【請求項５６】
各対応するレポートタイムに各対応する信号を生成するために必要とされる情報を保持するために先入れ先出しバッファを使うステップをさらに含む、請求項４７に記載の方法。
【請求項５７】
複数の事象の検出と報告のためのシステムであって、
複数の事象の各事象のために、前記事象が起こる時間の機能である対応する記録時間を決定する分析プロセスであって、前記分析プロセスは、対応する決定遅滞による前記対応する記録時間とは異なる対応する決定ポイントで対応する記録時間を決定し、前記複数の事象に対応する前記決定遅滞は可変であるプロセスと、
前記複数の事象の各事象のために、遅滞間隔ごとに前記対応する記録時間に続く対応するレポートタイムに対応する信号を生成する出力プロセスと、
を含むシステム。
【請求項５８】
各記録時間は、前記対応する事象が起こる時間に比例する、請求項５７に記載のシステム。
【請求項５９】
各記録時間は、前記対応する事象が起こる時間の機能であるエンコーダカウントである、請求項５７に記載のシステム。
【請求項６０】
前記複数の事象の各事象はフロー事象を含み、前記フロー事象は記録点を通る物体の動作を含み、前記対応する記録時間は、前記物体が前記記録点を通過する時間に応答する、請求項５７に記載のシステム。
【請求項６１】
前記複数の事象の各事象はストローク事象を含み、前記ストローク事象は、頂点へ前進、また頂点から後退する物体の動作を含み、前記対応する記録時間は、前記物体が前記頂点に達する時間に応答する、請求項５７に記載のシステム。
【請求項６２】
複数の事象タイプから事象タイプを選択する選択プロセスをさらに含み、前記分析プロセスは、前記事象タイプを使い、前記対応する記録時間を決定する、請求項５７に記載のシステム。
【請求項６３】
前記複数の事象タイプは、フロー事象とストローク事象を含む、請求項６２に記載のシステム。
【請求項６４】
前記事象タイプを選択するために使われるヒューマン・マシン・インターフェイスをさらに備える、請求項６２に記載のシステム。
【請求項６５】
前記遅延間隔を選択するために使われるヒューマン・マシン・インターフェイスをさらに備える、請求項５７に記載のシステム。
【請求項６６】
各対応するレポートタイムに各対応する信号を生成するために必要とされる情報を保持する先入れ先出しバッファをさらに含む、請求項５７に記載のシステム。
【請求項１】
事象の自動視覚検出のための方法であって、
複数のフレームを取得するステップであって、前記複数のフレームの各フレームは前記事象が起こる二次元の視野の画像を含み、前記事象は所定の物体の画像を含むステップと、
前記複数のフレームの視覚分析に応答して、複数の事象検出加重を計算するステップであって、前記複数の事象検出加重の各事象検出加重は、それぞれ前記複数のフレームの各フレームに対応し、前記事象が前記視野において起こっている証拠を含むステップと、
前記複数のフレームから複数の事象フレームを選択するステップであって、前記複数の事象フレームは、前記複数の事象検出加重のサブセットに対応するステップと、
前記複数の事象検出加重の前記サブセットの事象分析に応答して、前記事象が起こったかどうかを決定するステップと、
を含む方法。
【請求項２】
事象の自動視覚検出のための方法であって、
複数のフレームを取得するステップであって、前記複数のフレームの各フレームは前記事象が起こる二次元の視野の画像を含み、前記事象は固定基準点を通過する動作を含むステップと、
前記複数のフレームの視覚分析に応答して、複数の事象検出加重を計算するステップであって、前記複数の事象検出加重の各事象検出加重は、それぞれ前記複数のフレームの各フレームに対応し、前記事象が前記視野において起こっている証拠を含むステップと、
前記複数のフレームから複数の事象フレームを選択するステップであって、前記複数の事象フレームは、前記複数の事象検出加重のサブセットに対応するステップと、
前記複数の事象検出加重の前記サブセットの事象分析に応答して、前記事象が起こったかどうかを決定するステップと、
を含む方法。
【請求項３】
事象の自動視覚検出のための方法であって、
複数のフレームを取得するステップであって、前記複数のフレームの各フレームは前記事象が起こる二次元の視野の画像を含み、前記事象は前進と後退の動作を含むステップと、
前記複数のフレームの視覚分析に応答して、複数の事象検出加重を計算するステップであって、前記複数の事象検出加重の各事象検出加重は、それぞれ前記複数のフレームの各フレームに対応し、前記事象が前記視野において起こっている証拠を含むステップと、
前記複数のフレームから複数の事象フレームを選択するステップであって、前記複数の事象フレームは、前記複数の事象検出加重のサブセットに対応するステップと、
前記複数の事象検出加重の前記サブセットの事象分析に応答して、前記事象が起こったかどうかを決定するステップと、
を含む方法。
【請求項４】
事象の自動視覚検出のための方法であって、
複数のフレームを取得するステップであって、前記複数のフレームの各フレームは前記事象が起こる二次元の視野の画像を含み、前記事象は前記視野を通過する不良製造物体を含むステップと、
前記複数のフレームの視覚分析に応答して、複数の事象検出加重を計算するステップであって、前記複数の事象検出加重の各事象検出加重は、それぞれ前記複数のフレームの各フレームに対応し、前記事象が前記視野において起こっている証拠を含むステップと、
前記複数のフレームから複数の事象フレームを選択するステップであって、前記複数の事象フレームは、前記複数の事象検出加重のサブセットに対応するステップと、
前記複数の事象検出加重の前記サブセットの事象分析に応答して、前記事象が起こったかどうかを決定するステップと、
を含む方法。
【請求項５】
事象の自動視覚検出のための方法であって、
複数のフレームを取得するステップであって、前記複数のフレームの各フレームは前記事象が起こる二次元の視野の画像を含み、前記事象は前記視野に物体の間違った動作を含むステップと、
前記複数のフレームの視覚分析に応答して、複数の事象検出加重を計算するステップであって、前記複数の事象検出加重の各事象検出加重は、それぞれ前記複数のフレームの各フレームに対応し、前記事象が前記視野において起こっている証拠を含むステップと、
前記複数のフレームから複数の事象フレームを選択するステップであって、前記複数の事象フレームは、前記複数の事象検出加重のサブセットに対応するステップと、
前記複数の事象検出加重の前記サブセットの事象分析に応答して、前記事象が起こったかどうかを決定するステップと、
を含む方法。
【請求項６】
事象の自動視覚検出のための方法であって、
複数のフレームを取得するステップであって、前記複数のフレームの各フレームは前記事象が起こる二次元の視野の画像を含み、前記事象は間違った位置にある物体を含むステップと、
前記複数のフレームの視覚分析に応答して、複数の事象検出加重を計算するステップであって、前記複数の事象検出加重の各事象検出加重は、それぞれ前記複数のフレームの各フレームに対応し、前記事象が前記視野において起こっている証拠を含むステップと、
前記複数のフレームから複数の事象フレームを選択するステップであって、前記複数の事象フレームは、前記複数の事象検出加重のサブセットに対応するステップと、
前記複数の事象検出加重の前記サブセットの事象分析に応答して、前記事象が起こったかどうかを決定するステップと、
を含む方法。
【請求項７】
事象の自動視覚検出のための方法であって、
複数のフレームを取得するステップであって、前記複数のフレームの各フレームは前記事象が起こる二次元の視野の画像を含むステップと、
前記複数のフレームの視覚分析に応答して、複数の事象検出加重を計算するステップであって、前記複数の事象検出加重の各事象検出加重は、それぞれ前記複数のフレームの各フレームに対応し、前記事象が前記視野において起こっている証拠を含むステップと、
前記複数のフレームから複数の事象フレームを選択するステップであって、前記複数の事象フレームは、前記複数の事象検出加重のサブセットに対応するステップと、
前記複数の事象検出加重の前記サブセットの事象分析に応答して、前記事象が起こったかどうかを決定するステップと、
前記事象が起こる時間に同期される信号を生成するステップと、
を含む方法。
【請求項８】
事象の自動視覚検出のための方法であって、
複数のフレームを取得するステップであって、前記複数のフレームの各フレームは前記事象が起こる二次元の視野の画像を含むステップと、
前記複数のフレームの視覚分析に応答して、複数の事象検出加重を計算するステップであって、前記複数の事象検出加重の各事象検出加重は、それぞれ前記複数のフレームの各フレームに対応し、前記事象が前記視野において起こっている証拠を含むステップと、
前記複数のフレームから複数の事象フレームを選択するステップであって、前記複数の事象フレームは、前記複数の事象検出加重のサブセットに対応するステップと、
前記複数の事象検出加重の前記サブセットの事象分析に応答して、前記事象が起こったかどうかを決定するステップと、
を含み、前記事象分析は、
対応する複数の論理結果を生成する複数の比較演算であって、前記複数の比較演算の各比較演算は、第一の値と第二の値の比較を含み、前記第一の値と前記第二の値のうちの少なくとも一つは、前記複数の事象検出加重の前記サブセットの数値統計に応答する比較演算と、
前記事象が起こったかどうかを決定するための前記複数の論理結果を組み合わせる少なくとも一つの論理演算と、
を含む方法。
【請求項９】
事象の自動視覚検出のための方法であって、
複数のフレームを取得するステップであって、前記複数のフレームの各フレームは前記事象が起こる二次元の視野の画像を含むステップと、
前記複数のフレームの視覚分析に応答して、複数の事象検出加重を計算するステップであって、前記複数の事象検出加重の各事象検出加重は、それぞれ前記複数のフレームの各フレームに対応し、前記事象が前記視野において起こっている証拠を含むステップと、
前記複数のフレームから複数の事象フレームを選択するステップであって、前記複数の事象フレームは、前記複数の事象検出加重のサブセットに対応するステップと、
前記複数の事象検出加重の前記サブセットの事象分析に応答して、前記事象が起こったかどうかを決定するステップであって、前記事象分析は、実質的に従来のプログラミング言語の構文に似ている構文の表現を示すテキスト文字列を含むステップと、
を含む方法。
【請求項１０】
事象の自動視覚検出のための方法であって、
複数のフレームを取得するステップであって、前記複数のフレームの各フレームは前記事象が起こる二次元の視野の画像を含むステップと、
前記複数のフレームの視覚分析に応答して、複数の事象検出加重を計算するステップであって、前記複数の事象検出加重の各事象検出加重は、それぞれ前記複数のフレームの各フレームに対応し、前記事象が前記視野において起こっている証拠を含むステップと、
前記複数のフレームから複数の事象フレームを選択するステップであって、前記複数の事象フレームは、前記複数の事象検出加重のサブセットに対応するステップと、
前記複数の事象検出加重の前記サブセットの事象分析に応答して、前記事象が起こったかどうかを決定するステップと、
を含み、前記方法の前記ステップは、少なくとも毎秒２００フレームの割合で実行される方法。
【請求項１１】
事象の自動視覚検出のための方法であって、
複数のフレームを取得するステップであって、前記複数のフレームの各フレームは前記事象が起こる二次元の視野の画像を含むステップと、
前記複数のフレームの視覚分析に応答して、複数の事象検出加重を計算するステップであって、前記複数の事象検出加重の各事象検出加重は、それぞれ前記複数のフレームの各フレームに対応し、前記事象が前記視野において起こっている証拠を含み、前記視覚分析は、前記複数のフレームの各フレームに対し、視野の関心領域の位置を調整するための探知器を使用するステップと、
前記関心領域を分析するステップと、
を含むステップと、
前記複数のフレームから複数の事象フレームを選択するステップであって、前記複数の事象フレームは、前記複数の事象検出加重のサブセットに対応するステップと、
前記複数の事象検出加重の前記サブセットの事象分析に応答して、前記事象が起こったかどうかを決定するステップと、
を含む方法。
【請求項１２】
事象の自動視覚検出のための方法であって、
複数のフレームを取得するステップであって、前記複数のフレームの各フレームは前記事象が起こる二次元の視野の画像を含むステップと、
前記複数のフレームの視覚分析に応答して、複数の事象検出加重を計算するステップであって、前記複数の事象検出加重の各事象検出加重は、それぞれ前記複数のフレームの各フレームに対応し、前記事象が前記視野において起こっている証拠を含むステップと、
複数の事象検出加重の活動分析に応答して、前記複数のフレームから複数の事象フレームを選択するステップであって、前記複数の事象フレームは、前記複数の事象検出加重のサブセットに対応するステップと、
を含み、前記活動分析は、
前記視覚分析が前記事象が起こっているという十分な証拠を示す事象検出加重を算定した場合、有効状態に入るステップと、
前記視覚分析が前記事象が起こっているという不十分な証拠をそれぞれ示す複数の事象検出加重を算定した場合、有効状態を終了するステップと、
前記複数の事象検出加重の前記サブセットの事象分析に応答し、前記事象が起こっているかどうかを決定するステップと、
を含む方法。
【請求項１３】
事象の自動視覚検出のための方法であって、
前記事象を特定するためにヒューマン・マシン・インターフェイスを使うステップであって、前記ヒューマン・マシン・インターフェイスは論理目的を備えるステップと、
複数のフレームを取得するステップであって、前記複数のフレームの各フレームは前記事象が起こる二次元の視野の画像を含むステップと、
前記複数のフレームの視覚分析に応答して、複数の事象検出加重を計算するステップであって、前記複数の事象検出加重の各事象検出加重は、それぞれ前記複数のフレームの各フレームに対応し、前記事象が前記視野において起こっている証拠を含むステップと、
前記複数のフレームから複数の事象フレームを選択するステップであって、前記複数の事象フレームは、前記複数の事象検出加重のサブセットに対応するステップと、
前記複数の事象検出加重の前記サブセットの事象分析に応答して、前記事象が起こったかどうかを決定するステップと、
を含む方法。
【請求項１４】
事象の自動視覚検出のためのシステムであって、
複数のフレームを取得する取得プロセスであって、前記複数のフレームの各フレームは、前記事象が起こる二次元の視野の画像を含み、前記事象は所定の物体の動作を含むプロセスと、
前記複数のフレームに応答して、複数の事象検出加重を算定する視覚分析プロセスであって、前記複数の事象検出加重の各事象検出加重は、前記複数のフレームの各フレームに対応し、前記事象が前記視野で起こっている証拠を含むプロセスと、
前記複数のフレームから複数の事象フレームを選択する選択プロセスであって、前記複数の事象フレームは前記複数の事象検出加重のサブセットに対応するプロセスと、
前記複数の事象検出加重の前記サブセットに応答して、前記事象が起こっているかどうかを決定する事象分析プロセスと、
を備えるシステム。
【請求項１５】
事象の自動視覚検出のためのシステムであって、
複数のフレームを取得する取得プロセスであって、前記複数のフレームの各フレームは、前記事象が起こる二次元の視野の画像を含み、前記事象は固定基準点を通過する動作を含むプロセスと、
前記複数のフレームに応答して、複数の事象検出加重を算定する視覚分析プロセスであって、前記複数の事象検出加重の各事象検出加重は、前記複数のフレームの各フレームに対応し、前記事象が前記視野で起こっている証拠を含むプロセスと、
前記複数のフレームから複数の事象フレームを選択する選択プロセスであって、前記複数の事象フレームは前記複数の事象検出加重のサブセットに対応するプロセスと、
前記複数の事象検出加重の前記サブセットに応答して、前記事象が起こったかどうかを決定する事象分析プロセスと、
を備えるシステム。
【請求項１６】
事象の自動視覚検出のためのシステムであって、
複数のフレームを取得する取得プロセスであって、前記複数のフレームの各フレームは、前記事象が起こる二次元の視野の画像を含み、前記事象は前進と後退を含むプロセスと、
前記複数のフレームに応答して、複数の事象検出加重を算定する視覚分析プロセスであって、前記複数の事象検出加重の各事象検出加重は、前記複数のフレームの各フレームにそれぞれ対応し、前記事象が前記視野で起こっている証拠を含むプロセスと、
前記複数のフレームから複数の事象フレームを選択する選択プロセスであって、前記複数の事象フレームは前記複数の事象検出加重のサブセットに対応するプロセスと、
前記複数の事象検出加重の前記サブセットに応答して、前記事象が起こったかどうかを決定する事象分析プロセスと、
を備えるシステム。
【請求項１７】
事象の自動視覚検出のためのシステムであって、
複数のフレームを取得する取得プロセスであって、前記複数のフレームの各フレームは、前記事象が起こる二次元の視野の画像を含み、前記事象は前記視野を通過する不良製造物体含むプロセスと、
前記複数のフレームに応答して、複数の事象検出加重を算定する視覚分析プロセスであって、前記複数の事象検出加重の各事象検出加重は、前記複数のフレームの各フレームにそれぞれ対応し、前記事象が前記視野で起こっている証拠を含むプロセスと、
前記複数のフレームから複数の事象フレームを選択する選択プロセスであって、前記複数の事象フレームは前記複数の事象検出加重のサブセットに対応するプロセスと、
前記複数の事象検出加重の前記サブセットに応答して、前記事象が起こったかどうかを決定する事象分析プロセスと、
を備えるシステム。
【請求項１８】
事象の自動視覚検出のためのシステムであって、
複数のフレームを取得する取得プロセスであって、前記複数のフレームの各レームは、前記事象が起こる二次元の視野の画像を含み、前記事象は前記視野に物体の間違った動作を含むプロセスと、
前記複数のフレームに応答して、複数の事象検出加重を算定する視覚分析プロセスであって、前記複数の事象検出加重の各事象検出加重は、前記複数のフレームの各フレームにそれぞれ対応し、前記事象が前記視野で起こっている証拠を含むプロセスと、
前記複数のフレームから複数の事象フレームを選択する選択プロセスであって、前記複数の事象フレームは前記複数の事象検出加重のサブセットに対応するプロセスと、
前記複数の事象検出加重の前記サブセットに応答して、前記事象が起こったかどうかを決定する事象分析プロセスと、
を備えるシステム。
【請求項１９】
事象の自動視覚検出のためのシステムであって、
複数のフレームを取得する取得プロセスであって、前記複数のフレームの各フレームは、前記事象が起こる二次元の視野の画像を含み、前記事象は間違った位置にある物体を含むプロセスと、
前記複数のフレームに応答して、複数の事象検出加重を算定する視覚分析プロセスであって、前記複数の事象検出加重の各事象検出加重は、前記複数のフレームの各フレームにそれぞれ対応し、前記事象が前記視野で起こっている証拠を含むプロセスと、
前記複数のフレームから複数の事象フレームを選択する選択プロセスであって、前記複数の事象フレームは前記複数の事象検出加重のサブセットに対応するプロセスと、
前記複数の事象検出加重の前記サブセットに応答して、前記事象が起こったかどうかを決定する事象分析プロセスと、
を備えるシステム。
【請求項２０】
事象の自動視覚検出のためのシステムであって、
複数のフレームを取得する取得プロセスであって、前記複数のフレームの各フレームは、前記事象が起こる二次元の視野の画像を含むプロセスと、
前記複数のフレームに応答して、複数の事象検出加重を算定する視覚分析プロセスであって、前記複数の事象検出加重の各事象検出加重は、前記複数のフレームの各フレームにそれぞれ対応し、前記事象が前記視野で起こっている証拠を含むプロセスと、
前記複数のフレームから複数の事象フレームを選択する選択プロセスであって、前記複数の事象フレームは前記複数の事象検出加重のサブセットに対応するプロセスと、
前記複数の事象検出加重の前記サブセットに応答して、前記事象が起こったかどうかを決定する事象分析プロセスと、
を備えるシステム。
【請求項２１】
事象の自動視覚検出のためのシステムであって、
複数のフレームを取得する取得プロセスであって、前記複数のフレームの各フレームは、前記事象が起こる二次元の視野の画像を含むプロセスと、
前記複数のフレームに応答して、複数の事象検出加重を算定する視覚分析プロセスであって、前記複数の事象検出加重の各事象検出加重は、前記複数のフレームの各フレームにそれぞれ対応し、前記事象が前記視野で起こっている証拠を含むプロセスと、
前記複数のフレームから複数の事象フレームを選択する選択プロセスであって、前記複数の事象フレームは前記複数の事象検出加重のサブセットに対応するプロセスと、
前記複数の事象検出加重の前記サブセットに応答して、前記事象が起こったかどうかを決定する事象分析プロセスであって、対応する複数の論理結果を生成する複数の比較演算を含み、前記複数の比較演算の各比較演算は、第一の値と第二の値の比較を含み、前記第一の値と前記第二の値のうちの少なくとも一つは、前記複数の事象検出加重の前記サブセットの数値統計に応答するプロセスと、
前記事象が起こったかどうかを決定するための前記複数の論理結果を組み合わせる少なくとも一つの論理演算と、
を備えるシステム。
【請求項２２】
事象の自動視覚検出のためのシステムであって、
複数のフレームを取得する取得プロセスであって、前記複数のフレームの各フレームは、前記事象が起こる二次元の視野の画像を含むプロセスと、
前記複数のフレームに応答して、複数の事象検出加重を算定する視覚分析プロセスであって、前記複数の事象検出加重の各事象検出加重は、前記複数のフレームの各フレームにそれぞれ対応し、前記事象が前記視野で起こっている証拠を含むプロセスと、
前記複数のフレームから複数の事象フレームを選択する選択プロセスであって、前記複数の事象フレームは前記複数の事象検出加重のサブセットに対応するプロセスと、
前記複数の事象検出加重の前記サブセットに応答して、前記事象が起こったかどうかを決定する事象分析プロセスであって、事象分析プロセスは、実質的に従来のプログラミング言語の構文に似ている構文の表現を示すテキスト文字列を含むプロセスと、
を備えるシステム。
【請求項２３】
事象の自動視覚検出のためのシステムであって、
複数のフレームを取得する取得プロセスであって、前記複数のフレームの各フレームは、前記事象が起こる二次元の視野の画像を含むプロセスと、
前記複数のフレームに応答して、複数の事象検出加重を算定する視覚分析プロセスであって、前記複数の事象検出加重の各事象検出加重は、前記複数のフレームの各フレームにそれぞれ対応し、前記事象が前記視野で起こっている証拠を含むプロセスと、
前記複数のフレームから複数の事象フレームを選択する選択プロセスであって、前記複数の事象フレームは前記複数の事象検出加重のサブセットに対応するプロセスと、
前記複数の事象検出加重の前記サブセットに応答して、前記事象が起こったかどうかを決定する事象分析プロセスと、
を含み、前記取得プロセス、前記視覚分析プロセス、前記選択プロセス、および前記事象分析プロセスは、少なくとも毎秒２００フレームの割合で実行する、システム。
【請求項２４】
事象の自動視覚検出のためのシステムであって、
複数のフレームを取得する取得プロセスであって、前記複数のフレームの各フレームは、前記事象が起こる二次元の視野の画像を含むプロセスと、
前記複数のフレームに応答して、複数の事象検出加重を算定する視覚分析プロセスであって、前記複数の事象検出加重の各事象検出加重は、前記複数のフレームの各フレームにそれぞれ対応し、前記事象が前記視野で起こっている証拠を含み、前記視覚分析プロセスは、前記複数のフレームの各フレームに対し、前記視野の関心領域の位置を調整する探知器と、前記関心領域を分析する領域分析プロセスとを含むプロセスと、
前記複数のフレームから複数の事象フレームを選択する選択プロセスであって、前記複数の事象フレームは前記複数の事象検出加重のサブセットに対応するプロセスと、
前記複数の事象検出加重の前記サブセットに応答して、前記事象が起こったかどうかを決定する事象分析プロセスと、
を含む、システム。
【請求項２５】
事象の自動視覚検出のためのシステムであって、
複数のフレームを取得する取得プロセスであって、前記複数のフレームの各フレームは、前記事象が起こる二次元の視野の画像を含むプロセスと、
前記複数のフレームに応答して、複数の事象検出加重を算定する視覚分析プロセスであって、前記複数の事象検出加重の各事象検出加重は、前記複数のフレームの各フレームにそれぞれ対応し、前記事象が前記視野で起こっている証拠を含むプロセスと、
前記複数の事象検出加重に応答して、前記複数のフレームから複数の事象フレームを選択する活動分析プロセスであって、前記複数の事象フレームは、前記複数の事象検出加重のサブセットに対応し、前記活動分析プロセスは、前記視覚分析プロセスが前記事象が起こっているという十分な証拠を示す事象検出加重を算定した場合入り、前記視覚分析プロセスが前記事象が起こっているというには不十分な証拠をそれぞれ示す複数の事象検出加重を算定した場合終了する有効状態を含むプロセスと、
前記複数の事象検出加重の前記サブセットに応答して、前記事象が起こったかどうかを決定する事象分析プロセスと、
を含む、システム。
【請求項２６】
事象の自動視覚検出のためのシステムであって、
前記事象を特定するヒューマン・マシン・インターフェイスであって、前記ヒューマン・マシン・インターフェイスは論理目的を備えるインターフェイスと、
複数のフレームを取得する取得プロセスであって、前記複数のフレームの各フレームは、前記事象が起こる二次元の視野の画像を含むプロセスと、
前記複数のフレームに応答して、複数の事象検出加重を算定する視覚分析プロセスであって、前記複数の事象検出加重の各事象検出加重は、前記複数のフレームの各フレームにそれぞれ対応し、前記事象が前記視野で起こっている証拠を含むプロセスと、
前記複数のフレームから複数の事象フレームを選択する選択プロセスであって、前記複数の事象フレームは前記複数の事象検出加重のサブセットに対応するプロセスと、
前記複数の事象検出加重の前記サブセットに応答して、前記事象が起こったかどうかを決定する事象分析プロセスと、
を備えるシステム。
【請求項２７】
事象の自動視覚検出および報告のためのシステムであって、
複数のフレームを取得するステップであって、前記複数のフレームの各フレームは、
前記事象が起こる二次元の視野の画像を含み、前記事象は、経路に沿った物体の動作を含み、前記経路は記録点を持ち、前記事象は前記物体が前記記録点ぶ位置している記録時間さらに含むステップと、
複数のフレームの第一の分析に応答して、前記第一の分析が、前記物体が前記複数の事象フレームの各フレームために、前記物体が前記経路に沿って位置しているという十分な証拠を示すように、前記複数のフレームから複数の事象フレームを選択するステップと、
前記複数の事象フレームに対応する複数の取得時間を得るステップであって、前記複数の取得時間の各取得時間は、対応する事象フレームが取得された時間の機能であるステップと、
前記複数の事象フレームの第二の分析に応答して、複数のロケーション値を算定するステップであって、前記複数のロケーション値の各ロケーション値は、前記第二の分析により計算されるように、関連事象フレーム内で前記経路に沿って前記物体の位置に応答するステップと、
前記複数のロケーション値と前記複数の取得時間を使い、記録時間を決定するステップと、
遅延間隔により、記録時間に続くレポートタイム時に信号を生成するステップと、
を含む方法。
【請求項２８】
前記複数の取得時間の各取得時間は、対応する事象フレームが取得された時に得られたエンコーダカウントである、請求項２７に記載の方法。
【請求項２９】
前記記録時間を決定するステップは、曲線を前記複数のロケーション値と前記複数の取得時間に適合させるステップを含む、請求項２７に記載の方法。
【請求項３０】
前記曲線は、放物線である、請求項２９に記載の方法。
【請求項３１】
前記曲線は頂点を有し、
前記記録時間を決定するステップは前記曲線の前記頂点を決定するステップを含む、請求項２９に記載の方法。
【請求項３２】
前記事象はフロー事象を含み、前記フロー事象は、前記記録点を通して前記物体の動作を含む、請求項２７に記載の方法。
【請求項３３】
前記事象はストローク事象を備え、前記ストローク事象は、前記経路沿いの前進と後退の動作を含む、請求項２７に記載の方法。
【請求項３４】
前記経路は頂点を持ち、前記記録点は、前記経路の頂点である、請求項２７に記載の方法。
【請求項３５】
前記複数のフレームは取得され、前記第一の分析と前記第二の分析は少なくとも毎秒２００フレームの割合で実行される、請求項２７に記載の方法。
【請求項３６】
複数の事象タイプから事象タイプを選択するステップであって、前記事象タイプは、前記経路に沿った前記物体の前記動作に対応するステップをさらに含み、
前記記録時間を決定するステップは前記事象タイプに応答する、請求項２７に記載の方法。
【請求項３７】
事象の自動視覚検出および報告のためのシステムであって、
複数のフレームを取得する取得プロセスであって、前記複数のフレームの各フレームは、前記事象が起こる二次元の視野の画像を含み、前記事象は、経路沿いに物体の動作を含み、前記経路は記録点を持ち、前記事象は、前記物体が前記記録点に位置している記録時間をさらに含むプロセスと、
前記複数のフレームから複数の事象フレームを選ぶ第一の選択プロセスであって、前記第一の選択プロセスが、前記複数の事象フレームの各事象フレームのために、前記物体が前記経路沿いに位置するという十分な証拠があると判断するように選ぶプロセスと、
前記複数の事象フレームに対応する複数の取得時間を得るタイミングプロセスであって、前記複数の取得時間の各取得時間が、前記対応する事象フレームが取得された時間の機能であるプロセスと、
複数のロケーション値を算定する第一の分析プロセスであって、前記複数のロケーション値の各ロケーション値は、関係する事象フレーム内で前記経路沿いの前記物体の位置に応答するプロセスと、
前記複数のロケーション値と前記複数の取得時間を使い前記記録時間を決定する第二の分析プロセスと、
遅延間隔により前記記録時間に続くレポートタイムで信号を生成する出力プロセスと、
を備える、システム。
【請求項３８】
前記複数の取得時間の各取得時間は、前記対応する事象フレームが取得された時間を得るエンコーダカウントである、請求項３７に記載のシステム。
【請求項３９】
前記第二の分析プロセスは、曲線を前記複数のロケーション値と前記複数の取得時間に適合させるステップを含む、請求項３７に記載のシステム。
【請求項４０】
前記曲線は放物線である、請求項３９に記載のシステム。
【請求項４１】
前記曲線は頂点を有し、
前記第二の分析プロセスは、前記曲線の前記頂点を決定するステップをさらに含む、請求項３９に記載のシステム。
【請求項４２】
前記事象はフロー事象を含み、前記フロー事象は前記記録点を通して前記物体の動作を含む、請求項３７に記載のシステム。
【請求項４３】
前記事象はストローク事象を含み、前記ストローク事象は、前記経路沿いの前進と後退の動作を含む、請求項３７に記載のシステム。
【請求項４４】
前記経路は頂点を有し、
前記記録点は前記経路の前記頂点である、請求項３７に記載のシステム。
【請求項４５】
前記取得プロセス、前記第一の分析プロセス、および前記第ニの分析プロセスは、少なくとも毎秒２００フレームの割合で作動する、請求項３７に記載のシステム。
【請求項４６】
複数の事象タイプから事象タイプを選択する第二の選択プロセスであって、前記事象タイプは、前記経路に沿った前記物体の前記動作に対応するプロセスをさらに含み、
前記第二の分析プロセスは、前記事象タイプを使い前記記録時間を決定する、請求項３７に記載のシステム。
【請求項４７】
複数の事象の検出と報告のための方法であって、
前記複数の事象の各事象のために、前記事象が起こる時間の機能である対応する記録時間を決定するステップであって、前記対応する記録時間を決定するステップは、対応する決定遅延により前記対応する記録時間とは異なる対応する決定ポイントで起こり、前記複数の事象に対応する前記決定遅滞は可変であるステップと、
前記複数事象の各事象のために、遅滞間隔ごとに前記対応する記録時間に続く対応するレポートタイムに対応する信号を生成するステップと、
前記複数事象の各事象のために、前記対応する記録時間を示す前記対応する信号の前記対応するレポートタイムを使うステップと、
を備える方法。
【請求項４８】
各記録時間は、前記対応する事象が起こる時間に比例する、請求項４７に記載の方法。
【請求項４９】
各記録時間は、前記対応する事象が起こる時間の機能であるエンコーダカウントである、請求項４７に記載の方法。
【請求項５０】
前記複数の事象の各事象はフロー事象を含み、前記フロー事象は記録点を通る物体の動作を含み、前記対応する記録時間は、前記物体が前記記録点を通過する時間に応答する、請求項４７に記載の方法。
【請求項５１】
前記複数の事象の各事象はストローク事象を含み、前記ストローク事象は、頂点へ前進、また頂点から後退する物体の動作を含み、前記対応する記録時間は、前記物体が前記頂点に達する時間に応答する、請求項４７に記載の方法。
【請求項５２】
複数の事象タイプから事象タイプを選択するステップをさらに含み、前記対応する記録時間を決定するステップは、前記事象タイプに応答する、請求項４７に記載の方法。
【請求項５３】
前記複数の事象タイプはフロー事象タイプとストローク事象タイプを含む、請求項５ ２に記載の方法。
【請求項５４】
前記事象タイプを選択するステップは、ヒューマン・マシン・インターフェイスに応答する、請求項５２に記載の方法。
【請求項５５】
前記遅滞間隔は、ヒューマン・マシン・インターフェイスに応答して選択される、請求項４７に記載の方法。
【請求項５６】
各対応するレポートタイムに各対応する信号を生成するために必要とされる情報を保持するために先入れ先出しバッファを使うステップをさらに含む、請求項４７に記載の方法。
【請求項５７】
複数の事象の検出と報告のためのシステムであって、
複数の事象の各事象のために、前記事象が起こる時間の機能である対応する記録時間を決定する分析プロセスであって、前記分析プロセスは、対応する決定遅滞による前記対応する記録時間とは異なる対応する決定ポイントで対応する記録時間を決定し、前記複数の事象に対応する前記決定遅滞は可変であるプロセスと、
前記複数の事象の各事象のために、遅滞間隔ごとに前記対応する記録時間に続く対応するレポートタイムに対応する信号を生成する出力プロセスと、
を含むシステム。
【請求項５８】
各記録時間は、前記対応する事象が起こる時間に比例する、請求項５７に記載のシステム。
【請求項５９】
各記録時間は、前記対応する事象が起こる時間の機能であるエンコーダカウントである、請求項５７に記載のシステム。
【請求項６０】
前記複数の事象の各事象はフロー事象を含み、前記フロー事象は記録点を通る物体の動作を含み、前記対応する記録時間は、前記物体が前記記録点を通過する時間に応答する、請求項５７に記載のシステム。
【請求項６１】
前記複数の事象の各事象はストローク事象を含み、前記ストローク事象は、頂点へ前進、また頂点から後退する物体の動作を含み、前記対応する記録時間は、前記物体が前記頂点に達する時間に応答する、請求項５７に記載のシステム。
【請求項６２】
複数の事象タイプから事象タイプを選択する選択プロセスをさらに含み、前記分析プロセスは、前記事象タイプを使い、前記対応する記録時間を決定する、請求項５７に記載のシステム。
【請求項６３】
前記複数の事象タイプは、フロー事象とストローク事象を含む、請求項６２に記載のシステム。
【請求項６４】
前記事象タイプを選択するために使われるヒューマン・マシン・インターフェイスをさらに備える、請求項６２に記載のシステム。
【請求項６５】
前記遅延間隔を選択するために使われるヒューマン・マシン・インターフェイスをさらに備える、請求項５７に記載のシステム。
【請求項６６】
各対応するレポートタイムに各対応する信号を生成するために必要とされる情報を保持する先入れ先出しバッファをさらに含む、請求項５７に記載のシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１１−２５８２２０（Ｐ２０１１−２５８２２０Ａ）
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願番号】特願２０１１−１６８４１２（Ｐ２０１１−１６８４１２）
【出願日】平成２３年８月１日（２０１１．８．１）
【分割の表示】特願２００７−５２７６３７（Ｐ２００７−５２７６３７）の分割
【原出願日】平成１７年６月６日（２００５．６．６）
【出願人】（５００５７６４５２）コグネックス・テクノロジー・アンド・インベストメント・コーポレーション (14)
【Ｆターム（参考）】
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願日】平成２３年８月１日（２０１１．８．１）
【分割の表示】特願２００７−５２７６３７（Ｐ２００７−５２７６３７）の分割
【原出願日】平成１７年６月６日（２００５．６．６）
【出願人】（５００５７６４５２）コグネックス・テクノロジー・アンド・インベストメント・コーポレーション (14)
【Ｆターム（参考）】
[ Back to top ]