グラフィック再検査ユーザ設定インタフェース
【課題】単一又は複数の検査パラメータを変更するきわめて単純で直感的な方法を提供するグラフィックユーザインタフェースを提供する。
【解決手段】グラフィック表示は、設定された変更が最後の「Ｎ」個の部品を検査する際に適用されたとしたら監視又は検査結果がどのように変化するかを即時に示す。この遡及的でグラフィックな「見直し」は、即時の再検査を引き起こし、もし将来の生産が最近の過去の生産と類似している場合はに、将来の検査結果又はプロセス監視結果がどのようになるかを容易に推定できる。再検査の結果は、視覚化と共に即時に示され、理解と設定の最適化を容易にする。また、視覚化によって、それぞれの特定の検査に関連する他のデータが選択的に表示され、生産プロセスの追跡と最適化が容易となる。
【解決手段】グラフィック表示は、設定された変更が最後の「Ｎ」個の部品を検査する際に適用されたとしたら監視又は検査結果がどのように変化するかを即時に示す。この遡及的でグラフィックな「見直し」は、即時の再検査を引き起こし、もし将来の生産が最近の過去の生産と類似している場合はに、将来の検査結果又はプロセス監視結果がどのようになるかを容易に推定できる。再検査の結果は、視覚化と共に即時に示され、理解と設定の最適化を容易にする。また、視覚化によって、それぞれの特定の検査に関連する他のデータが選択的に表示され、生産プロセスの追跡と最適化が容易となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動化された工業用画像検査又は他のタイプの検査又はプロセス監視システムを設定し最適化する方法に関する。
【背景技術】
【０００２】
本出願は、２００４年５月２１日に出願された米国仮出願番号６０／５７３、４９６号に対する優先権と利益を請求するものであり、この仮出願の全体を、本明細書の一部を構成するものとしてここに援用する。
【０００３】
自動化された工業用検査技術及びプロセス監視技術では、設定及び最適化が非常に面倒な場合が多かった。自動化又は半自動化された高生産性工場環境では、広範囲の製品属性又はプロセス属性を監視するために、自動化された検査技術が利用される。寸法、穴の数と位置、形状、ねじピッチなどの多数の条件を高度に定義することができる。そのような定量的値は、生産前に事前の知識によって容易に設定できる。他のタイプの製品属性又はプロセス属性は、もっと主観的であり、生産を始める前に定量化し、測定し又は指定することが容易にできない場合が多い。そのような属性は、原料又は生産プロセス自体のばらつきと関連する傾向がある。幾つかの例は、シーラント化合物のくぼみの大きさ、子ども用おしゃべり玩具の音質、マット表面のしみ、画像のぼやけである。製造環境において継続的に監視しなければならない主観的属性の例は無数にある。実験室ではそのような各属性を量子化することができるが、オンライン監視システムは、あまり高感度でない場合が多く、実時間のオンライン速度で働くようにより実際的に設計されている。通常、何らかの仕様書はあるが、一般に工場での仕様の解釈において判断が主観的になる場合が多い。特定のロットの製品を出荷する適否について工場長と品質管理責任者の意見が大きく食い違うことはよくあることである。
【０００４】
収益性の高い出荷を増やすという現実が、より完全な製品を出荷するという理想主義的な要求に勝る場合がある。しばしば、品質期待値のレベルは精神的なもので、特定の領域における品質期待値に直接的な影響を与える。また、これは、買い手の品質標準及び期待値によって決定されることもある。更に、製品の最終消費者が、市場がその製品に支払おうとする代価の関数として品質の最終レベルを決定することもある。これらの様々な全ての品質期待値に加え、特定のプロセス又は原料の固有の品質問題もあり、そのため、自動化された検査レベル又はプロセス監視レベルを現状のニーズに従って決定することが必要になる。
【０００５】
プロセス監視レベル又は検査品質レベルの調整が必要な理由はたくさんあるが、この必要性は世界中の何十万もの加工設備及び製造設備に存在することが十分に立証されている。本発明は、そのようなパラメータを理解し変更するより、ユーザフレンドリーでより直感的な方法を可能にするグラフィックな方法である。
【０００６】
検査又は監視パラメータを変更するとき、「その変更の収益効果はどうか」という質問がすぐに出ることが多い。品質しきい値を変更すると、別の量の製品が、廃棄されるか、あるいは再加工又は再利用に送られることになる。従って、品質レベルを変更するこの決定は直接、財務的影響を及ぼす。そのような変更を行う責任者は誰でも、通常、そのような変更がどのような収益又は財務的影響をもたらすかについての可能な最も直接的なフィードバックを得たいと考える。本発明は、迅速な理解を容易し、或いはそのような変更の財務的影響及び他の影響を素早く理解できるようにするデータを提供することができる。
【０００７】
純粋主義者は、品質レベルを高めることはいずれ採算に合うと主張することがある。これが真実である場合もあるので、その限りにおいて、本発明は、設定を変更するこのとの微妙さについてより深く理解できるようにし、また製品のわずかな数の個々の標本ではなく製品の大きい母集団に基づいて設定を行う。
【０００８】
また、本発明を使用して、広範囲の様々なプロセスループを、手動、半自動又は自動的な方法で閉じることもできる。本発明を別の装置と相互に関連付けて、それにより特定の製品を製造する際に、指標値を特定のマシンデータと関連付けることができる。各部品の完全なレコードを合わせることにより、密に結合されたマシンのループを閉じることが容易になり、その結果プロセスを常に最適化することができる。グラフィックユーザインタフェースによって検査プロセスの相互関係が理解しやすくなるため、制御ループを高い信頼レベルで閉じることが容易になる。
【０００９】
本発明は、広範囲の様々な工業用検査システム及びプロセス監視システムに適応可能である。概略的には以下のリストの通りである。
＊グレースケールマシンビジョン検査又はプロセス監視システム
＊カラーベースマシンビジョン検査又はプロセス監視システム
＊Ｘ線ベースマシンビジョン検査又はプロセス監視システム
＊熱赤外線ビジョン検査又はプロセス監視システム
＊一体型質量検査又はプロセス監視システム
＊音響シグナチャ検査又はプロセス監視システム
＊力又は圧力シグナチャ検査又は監視システム
＊分光光度検査又は監視システム
＊超音波画像検査又はプロセス監視システム
＊超音波シグナチャ検査又はプロセス監視システム
＊プロフィルメータ検査又はプロセス監視システム
＊表面仕上げ検査又はプロセス監視システム
＊グロソメータ（Glossometer）検査又はプロセス監視システム
＊レーザ干渉（interferrometric）検査又はプロセス監視システム
＊寸法検査又はプロセス監視システム
＊走査型レーザ検査又はプロセス監視システム
＊濃度計検査又はプロセス監視システム
＊熱シグナチャ検査又はプロセス監視システム
＊パターン検査又はプロセス監視システム
【００１０】
上記のリストは部分的なものであり、システムタイプは例として引用してある。本発明が、調整可能なパラメータ又はしきい値を有し、そのパラメータ又はしきい値を変更する際に調整の結果をかなりの量の過去の標本に基づいて動的に理解しなければならない殆んど全てのシステムのユーザインタフェースの「フロントエンド」として機能することができることが分かる。
【発明の開示】
【課題を解決するための手段】
【００１１】
グラフィックユーザインタフェースを提供する。
【００１２】
本発明の一様相において、このインタフェースは、検査又は監視プロセスの結果についての選択された過去のデータ（historical data）の視覚化を提供するように動作するグラフィックディスプレイと、少なくとも１つの制御又はしきい値設定（setting）を含み、設定を調整した場合、設定の調整を反映するように結果の視覚化が変更される。
【００１３】
本発明の別の様相において、調整は、グラフィックディスプレイ上の図式的なしきい値線の操作を含み、この操作は、選択された過去のデータの再検査又は再計算及びその対応する再視覚化をトリガする。
【００１４】
本発明の別の様相において、調整は、グラフィックディスプレイ上の図形要素の操作の操作を含み、この操作は、選択された過去のデータの再検査又は再計算及びその対応する再視覚化をトリガする。
【００１５】
本発明の別の様相において、視覚化は、ポインタ又はグラフィックアクチュエータの操作に応じての追加の選択された画像又はデータの表示をトリガするように動作する。
【００１６】
本発明の別の様相において、追加の選択されたデータは、時間、温度情報、色情報、製造パス情報、質量情報、測定情報、識別情報、バッチ情報、圧力情報、機械設定情報、及び保守履歴情報の内の少なくとも１つを含む。
【００１７】
本発明の別の様相において、操作は、標本に関連する少なくとも１つの画像を表示するために棒グラフのバー要素を選択することを含む。
【００１８】
本発明の別の様相において、視覚化は、図形要素を指し示すか選択することにより選択された過去のデータのサブセット又はスーパーセットを表示するように動作する。
【００１９】
本発明の別の様相において、選択された過去のデータは、検査又は監視プロセスの間に得られた画像群を表わし、グラフィックユーザインタフェースが、選択された画像群についての検査結果を同時に見ながらのマシンビジョン検査パラメータの調整を容易にする。
【００２０】
本発明の別の様相において、視覚化は、表示装置上の単一の視覚化画面である。
【００２１】
本発明の別の様相において、調整は、スライダ、マウスクリック、つまみ、又はタッチスクリーンの使用を含む。
【００２２】
本発明の別の様相において、視覚化の変更は、しきい値の調整を考慮するために対応する検査又はプロセス監視イベントのそれぞれについての再計算を含み、更に再計算はその後の視覚化で示される。
【００２３】
本発明の別の様相において、再計算は、画像の再検査及び／又は選択された過去のデータの再分析を含む。
【００２４】
本発明の別の様相において、検査又は監視プロセスは、工業用オンラインプロセスである。
【００２５】
本発明の別の様相において、過去のデータの視覚化は、監視中の測定した製品又はプロセスパラメータに関する関連指標の視覚化である。
【００２６】
本発明の別の様相において、視覚化は、更に、少なくとも１つの選択された管理限界設定値（control limit setting）を視覚化することを含む。
【００２７】
本発明の別の様相において、視覚化は、更に、複数の選択された管理限界設定値を同時に視覚化することを含む。
【００２８】
本発明の別の様相において、過去のデータの視覚化は、それぞれの過去の標本（historical sample）に関連する又は相互に関連する情報の視覚化である。
【００２９】
本発明の別の様相において、相互関連情報は、プロセスを達成するプロセス制御機械部品、型、取付具又はプロセス要素の少なくとも１つを含む。
【００３０】
本発明の別の様相において、再検査は、グラフィックユーザインタフェース上における少なくとも１つの設定変更に基づく即時の再検査を含む。
【００３１】
本発明の別の様相において、過去のデータは、固体デジタルメモリ、回転メモリ、光メモリ、又は他のコンピュータ記憶媒体の少なくとも１つに記憶された保存データを含む。
【００３２】
本発明の別の様相において、過去のデータは、視覚化によって示された測定済み製品又はプロセスパラメータの指標値に関する画像を含む。
【００３３】
本発明の別の様相において、過去のデータは、視覚化によって示された測定済み製品又はプロセスパラメータの指標値に関する非画像形態の生のセンサデータを含む。
【００３４】
本発明の別の様相において、図形視覚化によって容易にされた変更が、オンライン検査又はプロセス監視システムの変更を引き起こす。
【００３５】
本発明の別の様相において、オンライン検査又はプロセス監視システムは、複数のチャネルを含む。
【００３６】
本発明の別の様相において、複数のチャネルは、接続された独立した検査又はプロセス監視ステーション又はノードを含む。
【００３７】
本発明の別の様相において、図形視覚化は、１）評価、２）更なる調整、又は３）検査又はプロセス監視システムの変更の実行の内の少なくとも１つに使用される。
【００３８】
本発明の別の様相において、変更の実行を受け入れるために更なるに操作が行われる。
【００３９】
本発明の別の様相において、検査又はプロセス監視システムにおける変更の最終的な承認は機密保護されている。
【００４０】
本発明の別の様相において、視覚化は、選択された過去の標本群を表わす棒グラフを含む。
【００４１】
本発明の別の様相において、それぞれのバーの高さは、それぞれの標本についてシステムが計算した悪さ又は良さを示す指標値である。
【００４２】
本発明の別の様相において、棒グラフは、選択された特徴を表す色のバー要素又は、バー要素に関する情報の表示を含む。
【００４３】
本発明の別の様相において、選択された過去のデータは、検査又は監視している部品又はイベントに対応する所定の標本抽出のデータを表わす。
【００４４】
本発明の別の様相において、所定の標本抽出は、時間ベースの標本抽出、カウントベースの標本抽出、周期的標本抽出、イベントベースの標本抽出、標本抽出計画理論ベースの標本抽出、シフトベースの標本抽出、ランダムベースの標本抽出、アルゴリズムベースの標本抽出、ミリタリベースの標本抽出、周波数ベースの標本抽出、パーセントベースの標本抽出、場所ベースの標本抽出、ステーションベースの標本抽出、及び製造パスベースの標本抽出の内の少なくとも１つを含む。
【００４５】
本発明の別の様相において、視覚化は、生産からの選択された混合標本を示し、この生産からの選択された混合標本は、第１のタイプの選択された標本の少なくとも第２のタイプの選択された標本との比較を表す。
【００４６】
本発明の別の様相において、第１のタイプは、特定の特徴を有する標本を含む。
【００４７】
本発明の別の様相において、第２のタイプは、時間ベースの標本抽出、カウントベースの標本抽出、周期的な標本抽出、イベントベースの標本抽出、標本抽出計画理論ベースの標本抽出、シフトベースの標本抽出、ランダムベースの標本抽出、アルゴリズムベースの標本抽出、ミリタリベースの標本抽出、周波数ベースの標本抽出、パーセントベースの標本抽出、場所ベースの標本抽出、ステーションベースの標本抽出、及び製造パスベースの標本抽出の内の少なくとも１つを使用して得られる標本を含む。
【００４８】
本発明の別の様相において、第２のタイプは、所定の特徴を有する標本を含む。
【００４９】
本発明の別の様相において、視覚化結果は、ユーザにとって特に有用な用語で表現される。
【００５０】
本発明の別の様相において、用語は、寸法、質量、パーセント、金銭的影響、測定、視覚的属性、及び部品の数の内の少なくとも１つとして定義される。
【００５１】
本発明の別の様相において、グラフィックユーザインタフェースは、検査又は監視プロセスの結果についての過去のデータの視覚化を提供するように動作するグラフィックディスプレイと、少なくとも１つのしきい値設定を含み、設定を調整した場合、その調整を反映するように視覚化が変更される。
【００５２】
本発明の別の様相において、少なくとも１つのしきい値設定は、感度レベル及び欠陥スケールを含む。
【００５３】
本発明の別の様相において、方法は、検査又は監視プロセスの結果を視覚化するためにグラフィックユーザインタフェースに過去のデータを表示すること、及び少なくとも１つのしきい値設定の調整を反映するように視覚化を変更することを含む。
【００５４】
本発明の別の様相において、方法は、検査又は監視プロセスの結果を視覚化するためにグラフィックユーザインタフェースに選択された過去のデータを表示し、少なくとも１つのしきい値設定の調整を反映させるために結果の視覚化を変更することを含む。
【００５５】
本発明の別の様相において、グラフィックユーザインタフェースは、オンラインマシンビジョン検査プロセスの結果に関する選択された過去のデータの単一画面視覚化を提供するように動作するデイスプレイであって、選択された過去のデータが、検査された部品の母集団を表わし、選択された過去のデータが、検査した部品の選択された関心領域の画像と選択された非画像データを含み、グラフィックユーザインタフェースは更に少なくとも１つのしきい値設定を含み、その調整により、調整を反映するように単一の画面視覚化が変更される。
【００５６】
本発明の別の様相において、単一の画面視覚化は、検査した部品の選択された画像の選択された関心領域のアンラップ表示を含む。
【００５７】
本発明の別の様相において、画像は、複数のサムネイル画像を含む。
【００５８】
本発明の別の様相において、視覚化は、ホログラフィ画像表示を含む。
【００５９】
本発明の別の様相において、特定の欠陥タイプの視覚化は、ホログラフィ表示の形態である。
【００６０】
本発明の適用可能性についての更なる範囲は、後に示す詳細な説明から明らかになるであろう。しかしながら、詳細な説明及び特定の例は、本発明の好ましい実施形態を示すものであるが、例示のためのものであることを理解されたい。何故なら、本発明の精神及び範囲内の様々な変更及び修正は当業者に明らかであるためである。
【００６１】
本発明は、装置の様々な部品の構造、配置、組み合わせ、並びに方法の段階で存在し、意図された目的は、後でより詳しく説明され、特許請求の範囲で具体的に記載され、添付図面に示されるようにして達成される。
【発明を実施するための最良の形態】
【００６２】
本発明は、例えば、一形態において工業オンラインプロセス等のオンラインプロセスの検査プロセスや監視プロセス等の様々なプロセスにおいて、単一又は複数の監視しきい値を変更するきわめて単純且つ直感的な方法を提供するグラフィックユーザインタフェースを提供する。グラフィックディスプレイは、設定された変更が、最後の「Ｎ」個の部品、イベント又はターゲットの検査中に行われた場合に生じるであろう監視又は検査結果を迅速に示す。部品又はターゲットは、様々な形態をとることができる。この遡及的グラフィック「見直し（look-back）」機能は、将来の生産が最近の過去の生産と類似しているように見える場合に、将来の検査又はプロセス監視結果がどうなるかを容易に推定できるようにする。この将来の検査結果の推定は、プロセスが適切に制御されている場合と、過去の生産に将来の生産と類似した不規則性があるプロセスの場合には正確になる。従って、この種のセッティングは、広範囲の高生産性工業生産に最適な技法である。
【００６３】
優れた洞察力を有する見直しグラフィックインタフェース機能は、２個〜「Ｎ」個の部品としてプログラム可能である。理想的には、「Ｎ」が、適切な生産結果期間を表すのに実質的に十分な数となるように設定されなければならない。「Ｎ」の大きさは、通常の定常状態の生産を表現し、プロセスにおける通常のばらつきの代表的標本抽出をするのに十分な長さの生産期間を表すように選択されなければならない。異常を検出するソフトウェアアルゴリズムで製品の品質を監視する生産システムの場合、生産プロセスに生じる通常のばらつき及び不規則性の代表的範囲を知ることは重要である。
【００６４】
本発明の見直し的遡及によって、設定パラメータを、単一の生産部品又は小数の生産部品の標本ではなく大きい母集団に基づいて変更することが容易になる。例えば、ほとんどのマシンビジョン検査システムは、ある程度試行錯誤の方法を使用して設定される。一般に、ターゲット要素から１つ又は幾つかの画像が得られ、アルゴリズム設定を検証するか関心領域（ＲＯＩ）を定義するためにその標本又は小さな標本セットが使用される。ＲＯＩは手動で決定されも自動で決定されてもよく、これを行う技法は当該技術分野において周知である。長い間、円形部品に「似た濃淡の同心リング」のような技法が使用されてきた。次に、選択した関心領域に「判定パラメータ（judging parameter）」が設定される。初期調整を行った後で、さらに製品画像をスナップ撮影し、オペレータは、検査システムが現在の設定に基づいて適正な判定を行っているかどうか判定する。欠陥がユーザの要望に従って識別されているかどうかが１つの因子である。
【００６５】
設定が適正な判定レベルで機能していない思われる場合、オペレータは、一般に、判断設定を厳しくするか又は緩めて、結果をさらに別の画像標本で確認する。このプロセスは、設定パラメータが、例えば製品の相対的な善し悪しを区別できるような、悪い製品を除外し良い製品を合格にすることができる適切なレベルであることを、ユーザが納得するまで繰り返される。
【００６６】
一般に使用されるこの手動設定ループの大きな問題は、もっとかなり大きい標本セットで見られるであろう通常範囲のプロセス変動を考慮しないことである。通常の部品の母集団の一般的な単色領域は、図１に曲線５００で表わされたグレースケール分布を有しているであろう。このグラフは、Ｘ軸（５０２）がグレースケールで、Ｙ軸（５０１）が、生産部品の母集団の同じ領域内にある特定の濃淡値での画素数であると仮定する。生産部品の大きな母集団では、曲線５００より下のグレースケール範囲全体が見られるであろうが、小さな母集団では、（５０３）のもっと限定された範囲だけが観察されるであろう。母集団が小さい場合は、しばしばオペレータのより高いレベルの経験と訓練が必要になる。経験を積んだ設定者が、パラメータをこの方法を使って調整するときでも、設定者は、標本セットに表われていない通常のプロセス変動の真の範囲を推測しなければならない。要するに、システムは、手動で何度も微調整されるまで最適レベルよりも低く設定される可能性が高い。
【００６７】
また、小さな標本セットには代表的範囲の欠陥がめったに存在しないということも重要である。オペレータが、小さい欠陥と中くらいの欠陥を区別するためにシステムを設定しようとする場合、適正な区別を確認できるように標本セット内に欠陥が見える方が望ましい。本発明によれば、きわめて大きい標本セットを以前に遡って容易に試験することができ、「Ｎ」個全部の過去の標本セットの母集団に基づいてシステムを設定することができる。即時にパラメータを変更した結果を、「Ｎ」個全部の母集団の自動再検査によって素早く確認することができる。これにより、設定又は設定に対する変更を高い信頼レベルで行うことが容易になり、そのレベルは、結果が希望通りになり、また将来の生産でそうなる可能性が高いレベルである。
【００６８】
母集団の標本の大きさの唯一の制限は、検査又はプロセス監視システムが利用することができる何らかの形態の記憶の量即ち記憶容量である。記憶装置は、実際のシステムになくてもよいが、高速アクセスによってシステムが利用可能でなければならない。標本の大きさが大きくなるほど、システムがグラフ結果で応答するのが遅くなることは確かである。本発明は、また、大きい標本セットを調べるのに必要な時間を短縮するためのオプションのデータ削減方法を含む。データセットの削減は、処理速度とアクセス速度の面からも重要である。実際に、特定の用途で必要とされる所望のグラフ再作成／再検査速度が容易に得られるようにするために、実施化において、複数のポイントでデータ削減が行われる。例えば、図４と図５のフローチャート（後でより詳細に示す）は、４０５、４０８および４１９に３つの異なるデータ削減ポイントを示している。
【００６９】
本発明は、基本的に、製品又はプロセスに関するパラメータベースの判断をするのに必要な重要情報（critical information）（例えば、履歴情報）を記憶する。少なくとも一形態において、このデータは、検査又は監視の対象である製品又はプロセスの指標値に関連する。このデータは、生のセンサデータ、画像データ、又は非画像データを含むがこれらに限定されない様々な形態をとることができる。この情報は、システムが利用可能であったオリジナル情報の全てのセットのとして記憶されてもよく、知能的に削減したサブセットとして記憶されてもよい。履歴情報セット全体が記憶され、それをシステムが利用できる場合は、特別のデータ削減は不要である。例えば、マシンビジョンシステムの場合は、最大「Ｎ」個まですべての画像を保存することができる。しかし、オリジナルデータのサブセットを保存したい場合は、どのようにオリジナルデータセットを選択されたセットの過去のデータに削減し、さらに見直し機能が起動されたときに完全な調査（review）又は再検査を容易にするかについて決定しなければならない。
【００７０】
オリジナル情報の重要なサブセットだけを保存したい場合は、データセットを削減する方法はいくつもある。データ削減を適正に行うと、メモリ空間要件を低減させることができるだけでなく、データをソートしアクセスするためのアクセス時間と能力を改善することができる。
【００７１】
例えば、画像ベース検査システム用に削減したデータセットを維持するように選択した場合は、以下のようにデータセットを削減することができる。ターゲット要素の画像が円形の場合は、本質的に、実際のターゲット要素の一部分を画像化していない多数の無駄な画素がある。図２は、そのような円形のターゲット要素を示し、このターゲット要素は、４：３の縦横比を有するビデオフレームに重ねられている。この場合、斜線部分（１０１）は、ターゲット要素（１０２）を評価する重要情報を表わしていない。領域（１０１）によって表わされた画素は、ターゲット要素（１０２）情報を後で利用するために維持しなくてもよい。当該技術分野で周知のデータ削減技術は多数ある。その広範な技術は、当該技術分野において周知であるため、それらの技術を検討することは本特許の範囲外である。簡単に言うと、そのようなデータ削減又は圧縮技術を使ってメモリ要件を低減させるか又はシステム性能を高めることによって、本発明を実施する方法論の範囲内で対応することができる。
【００７２】
本特許の任意の特定の用途のために、特化したデータ削減技術を考案することができる。例えば、図２のマシンビジョンの例において、領域１０３が、システムによって評価される関心領域を表わす場合は、領域１０３に関連するきわめて重要なパラメータだけを保存することが可能である。システムが欠陥の大きさを監視している場合は、削減したデータセットが「疑わしい」欠陥に関する情報だけでよい。その場合、システムは、その情報を調べて、変更した感度レベルで、欠陥のどれを本当の欠陥として宣言すべきかを決定する。図示したように、関心領域１０３は、可能性のある欠陥１０４、１０５及び１０６を示す。
【００７３】
関心領域（ＲＯＩ）（１０３）全体を保存することは、十分に有益なデータセットの削減であり、より粗いデータセットよりも完全な見直し調査を可能にする。経験を積んだマシンビジョンエンジニアにとっては、特定の部品の一部又は関心領域について調べるために使用されるアルゴリズムを評価して、完全な見直し検査を更に容易にするためにデータセット削減の本質が何であるかを決定することは簡単なはずである。
【００７４】
本発明の別の特徴は、関連情報のサムネイルの表示を容易にすることである。図２の画像を利用した例において、関心領域（１０３）をグラフィック表示に近い形で表示することができる。この表示は、環状部分又はドーナツ型部分が図形による結果表示の下の細長い長方形部分になるようにアンラップモードで行うか固有アスペクトモードで行うことができる。
【００７５】
さらに拡張した大きさの母集団に基づいてシステムを設定したいときは、時間的に離間された標本抽出を利用するようにシステムをプログラムすることが適切である。統計的プロセス制御において周知の様々な方式を使用して、標本が代表的なものになるように十分にランダムにすることができる。例えば、本発明のグラフィックユーザインタフェース最適化に使用するためのシステムが保存する「Ｎ」個の部分の母集団は、時間「Ｔ」にわたって時間的にランダムに離間された２５０の４０個の異なる標本である。これにより、更に、母集団の標本の大きさが１０、０００個になるが、将来の生産の見直し予測を乱す短期の傾向を覆うことになるであろう。これにより、実質的に、生産のより長期の平均化が可能になり、将来の生産のためのより適切な長期設定が容易になる。当業者であれば、この概念に多くの変形を加えることができる。時間の長さと不規則性の設定は、設定メニューでユーザが選択できる項目でもよく、平均的ユーザの視野から隠して見えなくして、混乱を招いたり、システムの使い易さに悪影響を与えないようにすることもできる。
【００７６】
また、システムの変動の周期性を学習して、最良の結果のために母集団データをいつ取得すべきかを自動的に決定することは有用である。そのような自動的な手法は、標本抽出を長期間にわたって行うが、最近の生産ほど大きい重みを加える。
【００７７】
本発明は、過去の母集団の検査の結果をグラフィックで示す概念を含む。そのようなグラフィック表示を具体化することができる方法は多数ある。例えば、図４と図５に関連して説明したような方法が使用される。グラフィック表示がコンピュータ表示装置の一部として示される場合は、グラフィック表示は、従来のＣＲＴコンピュータモニタ又はＬＣＤモニタ、プラズマ又はＬＥＤモニタ、有機ＬＥＤモニタ上に示されてもよく、透過投影スクリーン又は反射投影スクリーンに投影されてもよく、或いは任意の他の種類のコンピュータ駆動モニタ、スクリーン又は表示装置で視聴者に表示されてもよい。また、情報のグラフィック表示をシートプリンタと連続ロール型プリンタのどちらでも適切に印刷することができる。連続型プリンタ又はストリップチャートレコーダ型プリンタで情報を表示すると、きわめて大きい母集団セットをより詳細にグラフィック表示することができる。
【００７８】
実際のマンマシンインタフェースの観点から、グラフィックインタフェースを幾つかの異なる方法で設定することができる。選択し操作するための最初の方法はポインティング装置であるが、同様に他の技法を利用することも容易である。これに関して、グラフィックな機能は、マウス操作に応答するスライダ、ボタン、ノブ、領域等のグラフィックアクチュエータ又は図形要素（並びに同様の機械的実装）によって実現することができる。タッチスクリーンは、直感的インタフェースを可能にし、使用することができるが、間違った動作を引き起こさないように十分に大きな「タッチスポット」を必要とするという制限を有する。指に対しては粗さが十分でない。左利きと右利きの人に対応しなければならず、また画面の前に手があると視認度が大幅に低下する可能性がある。「ドラッグ」機能は、タッチスクリーンの方が困難であり、最終的にモニタ画面に摩耗が生じることがある。また、汚れた手、脂じみた手、又は手袋をはめた手は、画面視認性、保守及び寿命の観点から大きなマイナス要因となる可能性がある。それにもかかわらず、タッチスクリーンは、インタフェースの一般的な形態であり、本発明を実施するために容易に利用することができる。
【００７９】
マンマシンインタフェースの他の形態も十分に本発明の範囲内である。グラフィックインタフェースからの入出力手段として、ＰＤＡ、携帯電話、腕時計、及び任意の形態の無線装置を使用できる。本発明を実施する有力な手段と予想されるマンマシンインタフェースの一形態がまさに出現しつつある。その形態はインテリジェント画像ベースシステムを含み、このシステムは、オペレータを「見て（look at）」高性能アルゴリズムを使って、オペレータが見ているか又は「指し示している（point）」場所を決定し且つ／又は動作と解釈できるオペレータが行っている動きを決定する。グラフィック表示は、最も望ましいフォーマットで画像化又は投影され、次にインタフェースを提供するためにそのようなシステムが配置される。このことは、当該技術分野において詳しく述べられているので、更に詳しく説明することは本発明の範囲外であるが、本発明を実施するために選択する有効な技法であることだけは理解されたい。同様に、本発明を実施するために、主入出力手段又は補助入出力手段として音声コマンドを使用することができる。
【００８０】
グラフィック表現を表示するさらにコンパクトな形態として、全データから小さな要約したサブセットのデータまでの何れのデータも表示する様々なグラフィック表示技術を適切に使用できる。例えば、棒グラフを利用して各バーが選択されたサブセット（或いはスーパーセット）のデータを表わすことができる。更に他の例として、各バーの高さは、それぞれの標本ごとにシステムが計算した悪さ又は良さを示す指標値である。棒グラフは、また、バー要素に関する情報の選択された特徴又は表示を示す色を有するバー要素を含んでもよい。データを調べるのに望ましい具体的な方法は、データが使用される具体的な用途に依存する。
【００８１】
図３（後でより詳細に説明する）は、食品及び飲料産業用の容器の自動化した映像検査に有利な一具体例を示す。缶内部検査プロセスには、感度設定を単純に調整し、感度設定が缶のすぐ前の母集団にどんな影響を及ぼしたであろうかを確認できることが有用である。アルミニウム缶又はスチール缶の内側に、視覚的人工物として著しい「ドローライン（draw line）」がある場合があるため、缶が視覚的に合格かどうかを誰かが主観的に判断して、その判断をビジョンシステムの設定に反映させる必要がある。これはコストと密接な関係するので、製造業者は、変更の影響をよく理解できるほど適切な決定をすることができる。現在、缶は、最先端技術の工場では約５０缶／秒製造するので、小さな変更が大きな数に反映するのに長くかからない。本発明は、検査の設定を最適化しプロセスを理解するためのきわめて直感的で強力な方法を可能にする。
【００８２】
データの種類によっては、各選択時間期間におけるデータの平均と標準偏差だけを振り返ることで十分な場合がある。他の応用例では、特定の時間期間に行われれた「アウト層（out-layer）」即ち最もひどい測定値又は検査値を知るほうがはるかに役立つ。更に他のデータセットの場合は、特定の時間期間中にプロセスが動いている方向と速度を知ることが望ましく、これにより関連するイベントと時間的に関連付けることができる。グラフィック表現は、一次元、二次元、三次元、又はそれ以上のグラフの様式でよい。通常、次元の内の１つが、シーケンスか時間の表現であることが最も望ましい。また、統計的プロセス制御（ＳＰＣ）の学問分野において周知のグラフのフォームファクタを選択することもできる。
【００８３】
統計的プロセス制御は、一般に、標本の大きさが生産の１００％より少ないときに利用される。本発明は、生産の１００％未満に使用することができるが一般に生産ストリームの１００％の部品又は出力のリアルタイムオンライン検査又はプロセス監視に利用されるシステムのために考えられている。しかしながら、過去のデータを再計算するか見直してパラメータが変更された状況で結果がどのようになるかを判断するために、測定パラメータ又は判定パラメータの変更を教示するか容易にする既知のＳＰＣソフトウェアパッケージはない。まさしくＳＰＣの本質によって、通常、移動平均（平均）と移動標準偏差を求める標本データセットがあるが、通常、変更された判断パラメータに基づく詳細レベルの再評価を容易にするのに十分な情報は保存されていない。
【００８４】
この場合も、過去に入手可能であったシステムと本発明の違いを理解することが重要である。従来、マシンビジョンシステムは、固定された１組の設定に基づいてターゲット要素を評価してきた。各検査が行われるとき、そのような設定を使って評価が行われ、製品は、その数に基づいて合格にされるか不合格にされ、統計が収集される。設定が不適正で調整する必要があると判断された場合は、それまで得ていた現行の結果に基づいて設定を緩めるか厳しくするかを選択することができる。最近の「Ｎ」個の製品の生産中おいて、或いは任意の大きさの過去の標本に対して、新しい設定が行われていたとしたら、その新しい設定がどのような影響を与えたかを知ることができる手掛かりはない。新しい設定を行うとき、システムをどの程度厳しく又は緩く設定すべきかを知能的に設定することは経験を必要とする精神的なプロセスである。従って、調整を行うたびに、試行錯誤や観察の手順がある。本発明は、最も経験の少ないオペレータが、変更の結果が将来の欠陥にどのような影響を与えるかを視覚的に簡単に見ることができるようにすることによって、システムの設定プロセスを大幅に単純化することができる。特定のタイプのグリース付着を確実に検出できなかったことが観察された場合、オペレータは、最近の生産で常に合格していたグリース付着を適切に検出するようにするためにはどのように変更すればよいかを知る手掛かりはない。本発明により、オペレータは、システムの正確な評価と再設定を行うためのきわめて直感的なツールセットを得ることができる。システムに適正なソフトウェアがロードされている場合は、オペレータが関心を持つタイプの欠陥の幾つかの画像を簡単に見直すことができる。次に、オペレータは、システムを調整して、欠陥を検出するようにし、また重要なことには欠陥のない製品を間違って不合格にする状況を作り出さないようにする。次に、オペレータは、変更をきわめて大きい標本セットと照合して検証し、それが自分の望みと合致しているかを確認することができる。
【００８５】
統計的プロセス制御は、製品又はプロセスに関する測定値を収集し、次にそれらの測定値を数学的に処理し、製品又はプロセスが適切に制御されているかどうかを評価する科学である。測定値は、各製品に関して取得される場合があるが、より一般的にはより大きい母集団からランダムに標本抽出した製品に関して取得され、後で数学的に使用するための一定の測定値として扱われる。オリジナル部分は、将来の時点で再測定できるような様式で維持されない。これは、定義測定（definitive measurement）を容易にするプロセスで良い傾向がある。統計的プロセス制御（ＳＰＣ）には、測定可能な長さ、直径又は高さがあるプロセスが適している。統計的プロセス制御は、一般に、製品の主観的評価を行わなければならない場合はうまくいかない。主観的評価には、より定義的な測定を行う場合のように平均又は標準偏差を求める式に入れることができる数値がない。缶の内側の抜き取り線、変形端のアルミニウム粒子の視認度、又はカーペット標本のしみに関する一定の測定値を得ることはきわめて難しい。ほとんどの統計学者は、主観的測定に苛立ちを覚え、試みたときに、そのような主観的なタイプの欠陥を生じるプロセスを制御するのに不満足なシステムを作り出すことが多かった。多くの場合、統計学者は、主観的指標を直接評価しようとするのではなく、より決定的測定に向いたプロセス変数を測定しようとする。これは、事実上、青写真で示し次にきわめて客観的に測定することができる公差を取り扱う傾向がある。
【００８６】
一方、本発明は、特に、そのような主観的判定システムを設定する技術の大幅な改良としてなされた。本発明の利点は、検査及び監視システムの設定を行う際の固有の使い易さと直観性である。本発明の基本的な利点は、「ｗｈａｔ−ｉｆ」見直し評価（例えば、画像の部分又は画像全体を含む画像に関する記憶データ及び他のデータの再計算と再分析）を行って、変更された設定に基づいて検査結果がどのように変化するかを知ることができることである。これを行うと共に、製品の大きい母集団に対する見直し能力に基づいて設定を行う機能によって、検査システムを設定する技術の大幅な改良が可能になる。これにより、本質的に、実際に部品やターゲットをシステムに再び通すことなく、異なる（又は同じ）パラメータを使用して部品の再検査（例えば、即時再検査）が可能になる。
【００８７】
本発明は、検査又はプロセス監視システムの過去の結果を図式的に表わす方法を実施する。更に、パラメータが変更された場合に、新しいパラメータ又はパラメータの変更に基づいて結果グラフを容易に作成し直すことができる。これにより、データの「ｗｈａｔ−ｉｆ」評価が容易になり、ユーザがその瞬間以降全ての検査又は監視のための新しい設定を受け入れることができるようになる。必要に応じて、「ｗｈａｔ−ｉｆ」設定に基づくか実際の検査監視時に存在した実際の設定に基づいて「Ｎ」個の大きさの母集団標本の過去の結果を表示することができる。
【００８８】
本発明が取り組む特定の用途に従ってそのような特徴の様々な組み合わせと順列に対応できるようにグラフィックインタフェースソフトウェアを作成することができる。本発明は、主に、一形態においてデータのグラフィック表現であるように意図されるが、実際の数を様々な方法で調べることも可能にする。例えば、特定のマシンビジョン検査システムからの結果データを、それぞれ５００の検査値を単一の指標バーに圧縮した棒グラフとして示すことができる。バーの大きさを見ることによって個々の測定値を知ることができないので、マウス又はトラックボールのポインタをバーの上に置くか、バーをクリックすることによって、所望の量の実際の数値データが示されるようにソフトウェアを作成することができる。更に、バーで表わされたデータを拡張してそのデータをより詳しく表示できるようになる。５００の検査値を表わす単一のバーの上に置くことによって、そのような検査値の平均と任意の１つの個々の検査の最もひどいもの（最大指示値）を示すことが最も望ましいであろう。所望の重要情報を創造的且つ直感的に表示するために、ほとんど限りない様々な類似の方式を設計することができる。本発明の価値の１つは、データを有用且つ迅速に吸収される情報に直感的に変換できることである。次に、この情報を武器にしてユーザは「ｗｈａｔ−ｉｆ」設定を試すことができ、そのような設定を更に最適化するか、受け入れて推奨（go forward）設定パラメータとして広めることができる。
【００８９】
また、本発明は暗黙的に、正常状態の設定から「外れる」製品の数を予測する能力を含む。意志決定者が、品質設定に変更を加えるコストを決定するため、システムは、例えば不合格にしなければならない製品の数を予測することができる。予測した情報を使用することによって、システムは、様々なユーザ入力された標準コストや他の情報を使用し、検査の直接出力としてコスト値を計算することができる。この直接コスト値は、より大きな原価管理システムによって利用できるようにコンピュータネットワークを介して通信される。従って、システムは、最近の過去のものを使用して、コスト、生産速度、破棄、又は任意の他の直接又は導出推定値の内の少なくとも１つに関して将来を予測する。
【００９０】
システムがそのようにプログラムされている場合は、ツーリング器具、ツーリング管理、予防保全、スケジューリング、及び他の製造設備管理の値に有用な多数のものを予測したり予測を支援したりすることができる。ツーリングおよびプロセス機械部品との相関関係を示す指標をグラフ描写に組み込んで、設備の効率と有効性を大幅に改善することができる。また、関連した数値を適切な図形要素の近くに組み込んで、製造プロセスを理解し問題解決する機能を高めることができる。
【００９１】
例えば、図３等の表示において、瓶を形成する際に使用された予備吹込圧が、型番号と共に棒グラフに沿って各バー２０２に重ねられている。このように組み込むことによって、選択した任意の関連データと関連した指標データだけが表示されるように棒グラフをソートすることもできる。従って、特に機械部分又はプロセスパラメータと関連して起きている欠陥又はプロセス異常のタイプに基づいて判断設定を素早く変更することができる。
【００９２】
米国特許第５，５９１，４６２号は、特定の金型、搬送アーム、又は他の機械部分と欠陥の相関関係を教示している。この特許は、検査設定を変更又は最適化する方法を教示しておらず、また新しい設定パラメータに基づいて再評価するための見直し又は「ｗｈａｔ−ｉｆ」技術を何も教示していない。本発明は、基本的に異なるが、実際に’４６２特許を実質的に改良するように実施することができる。
【００９３】
いかなる変更も図式的に示すことができるので、生産ラインに携わる平均的オペレータが理解できる形で伝わるように本発明のソフトウェアを設計することができる。適正に設計された場合、オペレータは、直観的に理解するために教示される形で情報が表示されるので、図式的に要約される特定の監視技術を詳しく理解しなくてもよい。システムは、オペレータが容易に理解することができる幾つかの方法で説明を更に容易にすることができる。ソフトウェアは、ユーザがインタフェース画面上の様々な特徴形状をクリック又はなぞり、これによって、結果のグラフィック表現を更に詳しく説明するいくつかの形態を提供することができるように作成されてもよい。これは、文字説明の形でもよく、或いは必要に応じてオペレータが選択した言語の口頭の説明の形でもよい。また、オペレータが理解しやすければ絵や図表でもよい。
【００９４】
オペレータに説明するメカニズムは、図形表現の理解を含むだけでなく、推奨する修正ステップをオペレータに指示することもできる。そのようにプログラムされている場合、そのような説明は、プロセスを元に戻すための修正ステップの単純な推奨から、修正又は予防保全の詳しい段階的説明までいかなるものでもよい。そのような詳細な情報ステップは、様々なプロセス修正ステップの知識が豊富な人によってシステムに導入されなければならない。
【００９５】
本発明の有用性と使い易さを実質的に高める別の様相は、オペレータの側のシングルクリック又は１回の動作によってグラフィック表現の変更を行えることである。例えば、図３において、感度しきい値線２０３をクリックし、次にもっと高いか又は低い感度設定値にドラッグすることができる。そのようにプログラムされている場合、システムは、そのような用途のために記憶したデータ（２０２）に基づいて結果のグラフィック描画をすぐに計算しなおす。
【００９６】
非常に強力な本発明の別の様相は、システムがどのような種類の欠陥を検出するように調整されているかをユーザが理解しやすくする情報を図式的に表わす機能である。グラフィックインタフェースは、システムがどのような種類の欠陥を検出するように調整されているかをユーザが視覚的に理解しやすいようにする部分説明パレット（part description pallet）で設計することができる。欠陥を記述する単純な１つの形態は、欠陥スケールを示すことである。図３は、小さく狭い欠陥から大きく幅広い欠陥のスケールの他端まで連続的に設定することができるスライダの欠陥スケールを示す。次世代の製品は、オペレータがシステムを調整する対象の欠陥の外観を選択できるように二次元又は三次元視覚化機能を持つことが予想される。その場合、オペレータは感度レベルを設定し、新しい変更に基づいて見直し遡及的検査が行われることになる。１つの関心領域に複数のアルゴリズム調整を行うことができ、従って、オペレータは、検出したい欠陥の種類の絵を実際にクリックして、システムを過去の標本セットに基づいて調整し、次に検出したい欠陥の次の種類を選択し、システムをその欠陥の外観に基づいて調整し、以後同様にこれを続けることができる。オペレータが、システムを調整したい対象の欠陥の番号を選択し、感度レベルをその欠陥の各タイプに合わせたとき、システムは、視覚化マップを描画し、調整のために選択した欠陥と感度レベルを示す。これを描写する方法は多数あるが、方法は、三次元グラフの類のものでもよく、ボックス内の様々な位置に欠陥を含む三次元半透明ボックスとして視覚化されてもよいことが予想される。将来の世代の製品は、システムを調整する対象となる欠陥タイプの三次元描写セットを作成するためにホログラムを使用する可能性が高いと予想される。この機能によって、本発明は、システムを適切に設定することができる見直し再検査機能の優れた利点と組み合わせて、等級分けとカテゴリ分類を実現することができる。このシステムによってオペレータが特定の種類の欠陥とを直観的に容易に調整できるようになるほど本発明の効果は大きくなる。
【００９７】
図２は、システムが図形的に即ち視覚化して描写することができる様々なタイプの欠陥１０４、１０５、１０６を示す。小さい高コントラストのドット１０６を見つけたいがそれより長くて細い欠陥１０５は無視したい場合、このシステムは、理解しやすく且つ訓練がほとんど必要ない直感的方法でこれを容易する。また、欠陥１０６が大きい表面積を有するがコントラストがきわめて低い場合に、その視覚的属性をグラフィックインタフェースによって指定するのが容易になる。欠陥タイプが異なる場合、検査システムは、検査ソフトウェアが探すように設定された、まさにその属性が見つかったときに最も高い比例指標値を出力する。そのようなマシンビジョンアルゴリズムは、当技術分野では周知であり、マシンビジョンソフトウェアエンジニアに一任される。
【００９８】
類似の機能をシグナチャベースのシステムに呼び出すことができ、このシステムでは、シグナチャ又は波形の特徴部分が部品の特徴を表わす。そのようなシグナチャは、システムの探索を調整するために識別することができる特徴的な形状、勾配、数学的関係、及びその他の固有の情報を有する。そのようなシグナチャを図式的に表わして、設定を分かり易くし且つ見直し再検査を容易にすることができる。
【００９９】
グラフィック表示およびインタフェースは、クリック、クリックアンドドラッグ、ダブルクリック、ダイアログボックス内への文字又は数字の入力、上矢印キーと下矢印キーのクリック、「ラジオつまみ」、「スライダ」調整などの任意の形の操作を使用することができる。本発明を実施するために、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ、Ａｐｐｌｅ Ｍａｃｉｎｔｏｓｈ、Ｖｉｓｕａｌ Ｂａｓｉｃ、又は他のビジュアルインタフェース画面ソフトウェア全般を利用することができる。現在最も優れた実施ソフトウェアおよびユーザインタフェース技術を、アプリケーションを実施するのに最も望ましい任意の組み合わせ又は順列で利用することができる。
【０１００】
業界が長期間取り組んできた問題の１つは、これまで製造されてきた製品のトレーサビリティとトラッカビリティである。本発明は、関連するデータ及び情報をそれぞれ個々の検査に結びつけることができるので、検査した生産ラインによって製造される部品ひとつひとつに関するきわめて完全なファイルを有することができる。部品レコードに、シリアル番号、ＲＦＩＤ（無線周波数識別タグ）、又は他の明確な部品識別（positive part identification）が利用できるという点で、後日に部品を再検査し、どの部品が本当に心配にあるものかを確認することができる。例えば、最初にエアバッグ又はクラスター爆弾点火装置、或いは他のきわめて重要な部品を検査したが、システムが、現在関心のある特定の種類の欠陥を見つけるように調整されていなかった場合は、システムを適切に再設定することによって、過去の部品が全て素早く再検査され、回収すべき特定の部品が識別される。このタイプの見直し機能は、再検査が行われる日付、生産ロット、シリアル番号範囲などでソートし易いようにプログラムすることができる。また、見直し遡及機能は、保険費の削減や責任関連問題の軽減を容易にすることができる。また、見直し再検査機能は、過去の製品を調査する新しいアルゴリズムを実施して従来のアルゴリズムが捜し出せなかった欠陥を捜し出すことができる。
【０１０１】
本発明は、検査に関連する画像、検査指標又は他のデータのきわめて大きい標本セットを記憶しようとするものであり、長期間にわたって全生産の１００％を容易に維持することができる。これにより、一部の製造業者にとってきわめて有効な幾つかの見直し再検査機能が強化される。これにより、実際に、過去のそれまでの生産が完全に１００％デジタルドキュメト化され、同時に製品の迅速な再検査又は再調査が可能になる。次に、このシステムは、訴訟に従う再検査で製造時の製品の実際の状態を検証することを可能にする。
【０１０２】
また、容易に再現できないか又は決して再現できない多くの状況が設備内で起こる。例えば、後で乾くか又は蒸発する製品上の水分、後で硬化して透明になるコーティング、及び生産担当者に知られずに同時に起こる様々な状況又は状況の組み合わせがある。後でシステムを再調整し再検査を実行することによって、問題の原因を容易に識別することができる。
【０１０３】
本発明は、また、新しい開発中の検査アルゴリズム又は実験的検査のアルゴリズムの検証を更に容易にしようとするものである。新しいアルゴリズムできわめて大きい母集団データベースを再検査できるので、アルゴリズムの全機能を検証し、新しいアルゴリズムを実際の生産時に使用した元のアルゴリズムと比較することが簡単になる。
【０１０４】
更に、単一のグラフィック見直しインタフェースを呼び出して、相互接続したカメラシステム又は検査システム全体を通して再検査を実行できるようにシステムを相互接続することができると考えられる。そのような接続（hook up）によって、任意の数のスマートカメラ、ビジョンシステム、他の検査システム、又はプロセス監視システムを結合することができ、その結果それぞれの装置又は装置間のノードあるいは中央レポジトリに大きな過去のデータベース母集団を蓄積することができる。より集中された位置に全てのデータを送る場合には相応な帯域幅が必要になるが、リモート位置又はサテライト位置に大規模なメモリを持つ必要がなくなる。見直し検査インタフェース機能を相互接続することにより、その機能で生産ライン全体又は工場全体を監視することができる。その場合、この機能は、用途と性能ニーズによって、工場全体の生産監視システムと関連して働くこともでき、そのようなシステムの代りに使用することもできる。
【０１０５】
２つ以上のシステムを相互結合した場合は、それらのシステムは、相互接続された幾つかの類似のシステム間の較正、標準化および類似の作業を容易にすることができる。ますます多くの会社がきわめて高い品質レベルを求めるようになっているので、これは、そのような目標の達成を容易にする有益なツールである。
【０１０６】
見直し遡及検査システムを製造分野全体にわたって使用することができる更に多くの方法があることを理解されたい。本発明は、上記の様々な機能をそのすべての組み合わせと順列で、任意の特定の応用例に適したシステムに組み込む様々な能力と用途を意図している。自動化された検査及びグラフィックユーザインタフェースの技術分野の当業者であれば、この技術を特定の用途に利用することができまた本明細書に引用した特定の例に決して限定されるべきではない多くの方法が容易に分かるであろう。
【０１０７】
次に、前述の食品及び飲料容器のオンライン検査の応用例について詳細に説明する。飲料容器の内側に関する種々の品質項目についての判断が主観的になされる場合が多いので、図３のグラフィックユーザインタフェースは、検査又は監視プロセスの結果に関する選択された過去のデータを視覚化する働きをするグラフィック表示を提供すると共に、少なくとも１つの制御又はしきい値の設定（setting）を提供し、設定が調整された場合、それが反映されるように結果の視覚化が変更される。１つの例において、少なくとも１つのしきい値設定は、感度レベルと欠陥スケールを含む。このシステムは、現在利用可能なシステムを上回る視覚検査システムの実質的な改良を提供する。
【０１０８】
棒グラフ２００は、検査結果を複数のモードの内の１つのモードで示す。詳細には、それはシングル部品モードを示し、このモードは、特定の種類の欠陥又は個々の部品について内在アルゴリズムがどのように検査を行うかを理解する強力な方法を提供する。本発明は、ユーザがシングル部品モード、最終１００部品モード、又は最終「Ｎ」モードを選択できるようにするプルダウンメニュー２１９によって起動される。「Ｎ」の値は、任意の数に設定することができるが、この例示的な用途では１０，０００が使用される。最終１００部品モードにおいて、各バーは、最終１００個の個々の部品の視覚検査から得られた最も有力な指標値を表わす。バーの縦方向の大きさが大きいほど、指標値は、現在の設定に基づいて個々の部品がより悪いものであると判断する。しきい値線２０３の位置を超えるバーを有する部品は、バー／部品２０５のように不良であると判断される。２１５がしきい値線より低く、現在示されているスキャンでは合格品質と考えられることに注意されたい。このバージョンのグラフィックユーザインタフェースでは、システムがグラフィックユーザインタフェースレベルで判断するのに２つの設定を用いる。それは、欠陥スケール２１２と感度レベル２０３である。オペレータはこの２つの設定を容易に変更することができ、変更が行われるとすぐに再視覚化され、その結果をグラフの視覚的様相によって理解することができる。そのような調整は、表示上の図形要素の操作或いはしきい値線２０３等のしきい値線の操作によって実現することができる。２０５のような線２０３を超える垂直バーは、線２０３を超えないバー２０２の通常の緑色（図示せず）ではなく赤に変更される（図示せず）。グラフの「Ｙ」軸即ち縦軸２０４は感度を表わす。一形態において、例えば、感度はグレースケールデータに関連する。「Ｘ」軸２０１は、個々の部品を、時間が２０６の方向に過ぎる時系列で表わす。使い易さを最大にするためにこのグラフィック表示には２つの変数を選択されているが、用途が必要とする場合にはもっと多くの変数が使用されることがある。このグラフィックインタフェース上のユーザ調整可能なパラメータ設定は、欠陥スケール２１２と感度バー２０３である。当然ながら、もっと多くの調整可能なパラメータが必要な場合は、例えば表示又は画面に追加のスケールを組み込むことができる。感度調整２０３を変更するために、ユーザは、ポインティング装置を線２０３上でクリックしたまま、感度調整を行いたい方向に上か下にドラッグすることになる。線を下げることにより、ユーザは、２０３の高さ位置を超えるバーの数を増やし、それにより検査の感度を高める。線２０３を上方にドラッグすると、高さしきい値を超えるバーの数が減り、それによりシステムの感度が低くなる。例えば、しきい値線２０３はバー２１５より高く、従ってバー２１５によって表わされた部品は合格すると考えられる。このバーは緑で描かれその状況を表わす。第２の調整は、欠陥スケール調整２１２である（例えば、一形態においてこれは欠陥の大きさ表わす）。図３で図式的に表わされているアルゴリズムは、複数のスケール設定を有する機能を有し、それぞれのスケール設定自体の感度バー２０３と欠陥スケール設定２１３は、欠陥スケール線２１２に沿ってその位置で示される。単一の関心領域（ＲＯＩ）を基づく複数の欠陥スケール設定２１２があるので、真ん中の欠陥スケール指標２１４は、どのアルゴリズムが現在表示されているかを視覚的に強調表示するために二重に取り囲まれている。関心のある欠陥スケール指標２１３をクリックすることによって、その欠陥スケール指標２１３は、２１４と同じように強調表示され、クリックした欠陥スケール指標２１３に従った検査結果を反映するようにグラフィック表示２００が直ちに変化する。次に、ユーザは、所望の設定が決定されるまで強調表示された欠陥スケール指標２１４をクリックしドラッグする。次に、ユーザは、選択した新しい欠陥スケールに適合するように感度レベル線２０３を再調整することを選択できる。２つ設定調整が変更されたとき、グラフィックインタフェースは、新しい設定を反映するように素早く変化する。新しいバーが表示されるので、数値出力２１７も表示される。数値出力２１７の「Ｙ」軸位置２０４は、感度しきい値線２０３が、数値による不良予測が書き込まれているボックス２１７の中心に移動された場合に得られる不良数の予想である。従って、ユーザが、しきい値感度線２０３を、１６５個の不良を示している現在のボックス２１８の中心から、３７５個の不良を示している次の下のボックス２１７の中心の位置まで下げた場合は、ボックス２１７、２１８、２１６を参照することによって、オペレータは、感度しきい値線２０３を各ボックスの中心の近くに設定することにより生じる欠陥数を予測することができる。数値表示は、欠陥スケール２１２が変更されたとき或いは感度しきい値線２０３が変更されたときに素早く再計算される。
【０１０９】
また、グラフィックユーザインタフェースの一部は、標本画像又は複数のサムネイル型画像を含む「サムネイル」ビデオ画像ボックス２０８である。これは、グラフィック表示２００等のグラフィック表示の一部と考えることもできる。標本画像２０７は、棒グラフ２００のバー２０２の内の１つに対応する検査結果の画像である。ユーザが、バー２１５によって表わされる実際の画像を見たい場合、ユーザは、バー２１５をクリックすることができ、これに対応する画像が、画像２０７としてボックス２０８内に表示される。従って、オペレータは、バー２０２のどれかをクリック又は選択して、バーで表わされた特定の画像を表示させることができる。また、バー２０２のどれかをクリックしたままにするとき、これは、画像又はデータ等の追加情報、関係情報、又は相互関連情報を表示するトリガとして働く。例えば、特定の部品に関する更なる詳細及びその部品に対応する他の所望の直接関連する情報を含むダイアログボックスがポップアップする。このダイアログボックスは、例えば、検査中に見つかった実際の数値を示し、それがどの本体部作成装置によるものかを関連付けることができる。それは、機械部品、金型、取り付け具、又はプロセスに影響を与えるプロセス要素に関連してもよく、関心のある過去のデータの一部に関連してもよい。さらに、情報を整理し保存するソフトウェアを作成する場合に、詳しい時刻、形成に必要な圧力、更には部品シリアル番号を詳述することができる。更に他の例として、追加の選択データは、温度情報、色情報、製造パス情報、質量情報、測定情報、識別情報、バッチ情報、他の圧力情報、機械設定情報、及び保守履歴情報の内の少なくとも１つを含む。画像をスクロールする代替の方法は、様々な画像を連続的に表示し、同時にその画像に対応するグラフバー２０２を強調表示する次（next）ボタン２１０と前（previous）ボタン２０９を使用することである。ボックス２０８内に標本画像２０７として表示された各画像ごとに、ビデオサムネイルボックス２１８’内にアンラップされた関心領域ストライプ（ＲＯＩ）が現われる。ビデオサムネイルアンラップ部分２１８は、プルダウンメニュー２１９においてシングル部分モード又はマルチ部分見直しモードに設定されたときに極めて有用である。また、これは、最終１００部品モード又は最終「Ｎ」モードにおいて、本発明の多くの利点による分析を理解しやすくするのに役立つ。
【０１１０】
過去の検査によって将来の検査結果をより正確に予測するために、オペレータは、プルダウンメニュー２１９から最終「Ｎ」個部品の選択肢を選択することができる。典型的な缶産業用途では、「Ｎ」を少なくとも１０，０００部品に設定することが望ましい。これは、システムを設定するには大きい母集団のように見えるが、速度がきわめて早いため、これは、実際の生産の約３〜６分に過ぎない。
【０１１１】
図３の表示は例示であるが、この表示は、異なる特性を有する選択された混合データを（例えば、分割スクリーンで）視覚化できるように変更されてもよい。あるタイプのデータは、生産によって得られる標本に基づくものであり、別のタイプのデータは、欠陥部品の標本抽出に基づくものである。いかなる場合も、視覚化は、少なくとも一形態において、ユーザに特に有用な用語（term）で表現される。これに関して、例えば、視覚化は、寸法、質量、割合、金銭的影響、測定、視覚的属性、又は部品の数の用語で表現される。
【０１１２】
これらのパラメータは例示であるが、ソフトウェアは、より多くの関連データがそれぞれ個々の標本のレコードに結合されたより大きな過去の見直し用標本セットを支援するように作成されることが考えられる。当然ながら、特定の用途にはもっと少ない標本セットが望ましいことがある。
【０１１３】
システムの重要な利益は、間違いなく、多すぎる破棄と不合格の品質レベルの間で適切な妥協を実現する設定を容易にする高速見直しを行う機能である。このグラフィックユーザインタフェース（一形態において表示装置上の単一の視覚化画面を含む）の機能を利用することによって、初心者ユーザでも、システムの設定において、従来から使用可能な設定方式を利用する他のシステムのもっと有能な習熟したユーザよりも早く熟練することができる。更に、必要であれば、マシンビジョンシステムの調整を実質的に同時に実現することができる。更に、本発明は、複数のチャネルが使用される場合或いはシステムの複数のノード又はステーションが実施される場合に実施できる。
【０１１４】
更に本発明のシステム及び方法をさらに詳しく説明するために、図４と図５を参照する。図４と図５に示した方法が、例えばマシンビジョン物品検査環境における本発明の実施様相の一例に過ぎないことを理解されたい。本明細書で述べるように、他の実施様相も実現できることを理解されたい。更に、これらの方法を様々な方式で実施できることを理解されたい。例えば、方法は、マシンビジョンシステムのコントローラやプロセッサ等の制御システム内に適切に記憶されアクセスされるソフトウェアルーチン又はモジュールに組み込まれる。ソフトウェアは、適切な読み出し専用メモリ等に常駐してもよく、システムおよびその構成要素全体にわたって適切に分散されてもよい。本発明が使用される環境において、様々なソフトウェア技術及び対応するハードウェア構成を使用することができる。これらは、本出願を読むことにより当業者に明らかになるであろう。
【０１１５】
次に図４を参照すると、本発明の実施様相を支援する検査プロセスが示される。図示したように、検査プロセスは、当該技術分野で既知のように開始される（４００）。次に、画像データが、画像検査（４０５）から取得される（４０１）。画像は、既知のように、検査する部品に関するものである。これは、カメラや他の適切な検出装置を使用して実現されることがある。領域１０３（図２）等の部品の関心領域が識別される（４０２）。場合によっては、当業者に明らかな理由のために、関心領域は、画像の一部分であるが、画像全体でもよい。関心領域の探し出しは、マシンビジョン検査の技術分野において周知の技術によって実現される。次に、永続型バッファに関心領域のデータの要求が出される（４０３）。永続型バッファは、様々な形態をとることができるが、一形態において、停電やシステム障害などに耐えるバッファである。これに関して、永続型バッファは、不揮発性メモリモジュールの形をとることがある。この点で永続型データマネージャが使用される（４０６）。永続型データバッファは、適切に永続型バッファを探し出し利用可能にする。また、中のデータを管理するように動作することができる。永続型データバッファが利用可能な場合は、それが使用される（４０７）。永続型データバッファが利用可能でない場合、非持続ローカルバッファが使用される（４０４）。いずれの場合も、関心領域データが、選択されたバッファにロードされる（４０８）。
【０１１６】
次に、関心領域内の欠陥を検出する基準を選択する（４０９）。この場合も、このプロセスは、マシンビジョン分野において周知である。そのような基準は、図示したように記憶され、アクセスすることができる（４２７）。次に、一般に、この基準に従ってアルゴリズムが実行され欠陥が検出される（４１０）。このアルゴリズム又はルーチンは、マシンビジョン又はプロセス制御分野において典型的な方式で検査中の部品に対して実行される。１つのマシンビジョン用途において、アルゴリズム又はルーチンは、欠陥のある部品を識別するために実行される。特に、結果は適切な記憶装置に記憶される（４１２）。以下の説明から明らかなように、この記憶装置は、本明細書において意図されたグラフィックユーザインタフェースを実施する際にアクセスされる。検査（又は監視）プロセスの結果を表わす画像及び非画像データを含むデータの記憶は、本質的に、データ記憶用ハードウェア及びソフトウェアについての現状の実際的な制限の結果として選択的に行われることは理解されよう。従って、全てのデータが記憶される場合もあれば、標本抽出したデータ又は削減したデータだけを記憶することが望ましい場合もある。これに関して、時間ベースの標本抽出、カウントベースの標本抽出、周期的標本抽出、イベントベースの標本抽出、標本抽出計画理論ベースの標本抽出、シフトベースの標本抽出、ランダムベースの標本抽出、アルゴリズムベースの標本抽出、ミリタリベースの標本抽出、周波数ベースの標本抽出、パーセントベースの標本抽出、場所ベースの標本抽出、ステーションベースの標本抽出、及び製造パスベースの標本抽出の内の少なくとも１つを使用することができる。前述のように、ＳＰＣを使用してもよい。前述のように、データセットを削減することは、画像の関心領域だけを記憶するか画像の一部を記憶することを意味する。また、当然ながら、データの記憶に対応するために、従来のマシンビジョンシステムと比較して、補足的なデータ記憶技術及びハードウェアが実装されてもよいことを理解されたい。そのような線に沿って、例えば、固体デジタルメモリ、回転メモリ、光メモリ、又は他のコンピュータ記憶装置が使用される。次に、最後の基準が使用されたかどうかが判定される（４１１）。最後の基準を使用した場合は、関心領域が不良基準に適合するかどうかが判定される（４１３）。不良基準に適合する場合は、関心領域（例えば、部品）は不良と判定される（４１５）。次に、関心領域が、検査する最後の関心領域かどうかが判定される（４２８）。最後の関心領域でない場合は、新しい関心領域を探し（４０２）、処理ステップが繰り返される。最後の関心領域を検査し終わった場合は、最後の部品が検査されたかどうかが判断される（４２９）。最後の部品の検査が行われていない場合は、別の画像を取得し（４０１）、ステップが繰り返される。プロセスの最後の部品が検査し終わった場合、検査は終了する（４１４）。
【０１１７】
部品の所定のバッチに対して検査プロセスが実行されるとき、関心領域の検査結果に関するデータが前述のように記憶されることを理解されよう。当然ながら、これは、記憶された関心領域データと合致する。検査してデータを得るプロセスを完了するのに要する時間は変化することが理解されよう。使用される時間期間は、ユーザの目的、プロセスの効率などに依存する。
【０１１８】
次に図５を参照することにより、関心領域の検査結果の使い方が明らかになる。これに関して、本発明による視覚化プロセスが開始される（４１６）。次に、関心領域データがロードされる（４１７）。これに関して、永続型データマネージャが使用される（４０６）。例えば、前述のように、データマネージャは、検査中にデータが記憶された記憶場所から関連データを取り出す。次に、視覚化しかつ／又は修正する基準が選択される（４１８）。そのような基準は、本明細書で考察されているような様々な形をとることができる。例えば、基準は、グレースケール特性及び／又は欠陥の大きさである。マシンビジョン又はプロセス制御分野で使用される任意の基準又は他の基準で十分である。この場合も、それらの基準は記憶される（４２７）。次に、基準を満たすデータを示す統計値が計算される（４１９）。これは、実際に部品をシステムに戻すことなく、前に検査した部品の画像を再検査することになる。これを達成するルーチンは、当技術分野で周知のルーチンである。前述のように、部品に関する前の検査の生データが記憶されているので、部品を「再検査」することができる。データは単純に再分析され、結果が、選択された基準又は設定の変化に関して再計算される。当然ながら、この計算は、基準の感度要素と関係なく行われてもよく、様々な周知の方式で行われてもよい。計算した統計値のグラフィック表現が提示される（４２０）。これは、感度を検討するデータの再計算を含むことがある。４１９と４２０のステップは、図示したような別のステップとして実施されてもよく、再計算及び視覚化の一ステップとして実施されてもよいことを理解されたい。例えばグラフィック表示上のしきい値線を調整することによって、ユーザが感度を修正しているかどうかが判定される（４２１）。感度を修正している場合、グラフィック表現はそのように修正される（４２０）。当然ながら、データの再計算と再視覚化が行われる。修正が必要ない場合、別のパラメータを修正するかどうかが判定される（４２２）。別のパラメータを修正する場合は、そのパラメータを使用して統計値を再計算し（４１９）、ステップが繰り返される。パラメータを修正したくない場合は、視覚化又は修正のために別の基準を選択すべきかどうかが判定される（４２３）。そのような場合は、別の基準が選択され（４１８）、ステップが繰り返される。そうでない場合は、別のデータセットを視覚化するかどうかが判定される（４３０）。別のデータセットを視覚化する場合、追加の関心領域データがロードされ（４１７）、ステップが繰り返される。しかしながら、他のデータセットを望まない場合は、検査プロセスで使用される基準に変更を加えるべきかどかが判定される（４２４）。変更を加えない場合、視覚化プロセスは終了する（４２５）。しかしながら、検査基準に変更を行うように判定された場合は、そのような変更が行なわれる（４２６）。当然ながら、そのような基準データは更新される（４２７）。
【０１１９】
図４と図５のフローチャートとこの開示から、本明細書で考察するグラフィックユーザインタフェースのユーザは、このプロセスを使用する際に柔軟性を有することは明らかである。例えば、ユーザが、前述のようにシステムによって作成された視覚化を見てそれを修正することができた後で、ユーザは、視覚化と基礎データを評価し更なる視覚化（及び、結果的に更なる再計算と再分析）を行うために更に調整を行うか、或いは視覚化に対して行った調整に基づく検査又は監視システムに対する変更を行うことができる。一形態において、システムは、検査又は監視システムに行われる可能性のある中間ステップと任意の変更についての最終的な承認を必要とする場合がある。任意のそのような最終的な承認は、セキュリティーで可能とされるか又は保護される。基礎的な検査又は監視システムに対する変更を行うのに必要な技術は、当業者に明らかであろう。
【０１２０】
以上の具体化は、本発明を実施することができる１つの方法を詳述する。自動検査及びグラフィックユーザインタフェースの技術分野の当業者であれば、開示した教示を、自動検査又は自動プロセス監視システムの様々な形態及び用途を含む広い範囲を対象として含む多数の様々な方法で適用することができるであろう。
【０１２１】
以上の説明は、単に本発明の特定の実施形態の開示を提供するだけのものであり、本発明をそれらに限定するものではない。従って、本発明は前述の実施形態だけに限定されない。より正確に言うと、当業者であれば、本発明の範囲内にある代替の実施形態を想起することができることを理解されたい。
【図面の簡単な説明】
【０１２２】
【図１】部品群を示すグラフである。
【図２】検査した部品の画像のグラフィック表示である。
【図３】本発明によるグラフィックユーザインタフェースの実施例である。
【図４】本発明による方法を表わすフローチャートである。
【図５】本発明による方法を表わすフローチャートである。
【符号の説明】
【０１２３】
２００：棒グラフ、２０２：バー、２０３：感度しきい値線、２０４：Ｙ軸、２０６：時間、２０７：標本画像。
【技術分野】
【０００１】
本発明は、自動化された工業用画像検査又は他のタイプの検査又はプロセス監視システムを設定し最適化する方法に関する。
【背景技術】
【０００２】
本出願は、２００４年５月２１日に出願された米国仮出願番号６０／５７３、４９６号に対する優先権と利益を請求するものであり、この仮出願の全体を、本明細書の一部を構成するものとしてここに援用する。
【０００３】
自動化された工業用検査技術及びプロセス監視技術では、設定及び最適化が非常に面倒な場合が多かった。自動化又は半自動化された高生産性工場環境では、広範囲の製品属性又はプロセス属性を監視するために、自動化された検査技術が利用される。寸法、穴の数と位置、形状、ねじピッチなどの多数の条件を高度に定義することができる。そのような定量的値は、生産前に事前の知識によって容易に設定できる。他のタイプの製品属性又はプロセス属性は、もっと主観的であり、生産を始める前に定量化し、測定し又は指定することが容易にできない場合が多い。そのような属性は、原料又は生産プロセス自体のばらつきと関連する傾向がある。幾つかの例は、シーラント化合物のくぼみの大きさ、子ども用おしゃべり玩具の音質、マット表面のしみ、画像のぼやけである。製造環境において継続的に監視しなければならない主観的属性の例は無数にある。実験室ではそのような各属性を量子化することができるが、オンライン監視システムは、あまり高感度でない場合が多く、実時間のオンライン速度で働くようにより実際的に設計されている。通常、何らかの仕様書はあるが、一般に工場での仕様の解釈において判断が主観的になる場合が多い。特定のロットの製品を出荷する適否について工場長と品質管理責任者の意見が大きく食い違うことはよくあることである。
【０００４】
収益性の高い出荷を増やすという現実が、より完全な製品を出荷するという理想主義的な要求に勝る場合がある。しばしば、品質期待値のレベルは精神的なもので、特定の領域における品質期待値に直接的な影響を与える。また、これは、買い手の品質標準及び期待値によって決定されることもある。更に、製品の最終消費者が、市場がその製品に支払おうとする代価の関数として品質の最終レベルを決定することもある。これらの様々な全ての品質期待値に加え、特定のプロセス又は原料の固有の品質問題もあり、そのため、自動化された検査レベル又はプロセス監視レベルを現状のニーズに従って決定することが必要になる。
【０００５】
プロセス監視レベル又は検査品質レベルの調整が必要な理由はたくさんあるが、この必要性は世界中の何十万もの加工設備及び製造設備に存在することが十分に立証されている。本発明は、そのようなパラメータを理解し変更するより、ユーザフレンドリーでより直感的な方法を可能にするグラフィックな方法である。
【０００６】
検査又は監視パラメータを変更するとき、「その変更の収益効果はどうか」という質問がすぐに出ることが多い。品質しきい値を変更すると、別の量の製品が、廃棄されるか、あるいは再加工又は再利用に送られることになる。従って、品質レベルを変更するこの決定は直接、財務的影響を及ぼす。そのような変更を行う責任者は誰でも、通常、そのような変更がどのような収益又は財務的影響をもたらすかについての可能な最も直接的なフィードバックを得たいと考える。本発明は、迅速な理解を容易し、或いはそのような変更の財務的影響及び他の影響を素早く理解できるようにするデータを提供することができる。
【０００７】
純粋主義者は、品質レベルを高めることはいずれ採算に合うと主張することがある。これが真実である場合もあるので、その限りにおいて、本発明は、設定を変更するこのとの微妙さについてより深く理解できるようにし、また製品のわずかな数の個々の標本ではなく製品の大きい母集団に基づいて設定を行う。
【０００８】
また、本発明を使用して、広範囲の様々なプロセスループを、手動、半自動又は自動的な方法で閉じることもできる。本発明を別の装置と相互に関連付けて、それにより特定の製品を製造する際に、指標値を特定のマシンデータと関連付けることができる。各部品の完全なレコードを合わせることにより、密に結合されたマシンのループを閉じることが容易になり、その結果プロセスを常に最適化することができる。グラフィックユーザインタフェースによって検査プロセスの相互関係が理解しやすくなるため、制御ループを高い信頼レベルで閉じることが容易になる。
【０００９】
本発明は、広範囲の様々な工業用検査システム及びプロセス監視システムに適応可能である。概略的には以下のリストの通りである。
＊グレースケールマシンビジョン検査又はプロセス監視システム
＊カラーベースマシンビジョン検査又はプロセス監視システム
＊Ｘ線ベースマシンビジョン検査又はプロセス監視システム
＊熱赤外線ビジョン検査又はプロセス監視システム
＊一体型質量検査又はプロセス監視システム
＊音響シグナチャ検査又はプロセス監視システム
＊力又は圧力シグナチャ検査又は監視システム
＊分光光度検査又は監視システム
＊超音波画像検査又はプロセス監視システム
＊超音波シグナチャ検査又はプロセス監視システム
＊プロフィルメータ検査又はプロセス監視システム
＊表面仕上げ検査又はプロセス監視システム
＊グロソメータ（Glossometer）検査又はプロセス監視システム
＊レーザ干渉（interferrometric）検査又はプロセス監視システム
＊寸法検査又はプロセス監視システム
＊走査型レーザ検査又はプロセス監視システム
＊濃度計検査又はプロセス監視システム
＊熱シグナチャ検査又はプロセス監視システム
＊パターン検査又はプロセス監視システム
【００１０】
上記のリストは部分的なものであり、システムタイプは例として引用してある。本発明が、調整可能なパラメータ又はしきい値を有し、そのパラメータ又はしきい値を変更する際に調整の結果をかなりの量の過去の標本に基づいて動的に理解しなければならない殆んど全てのシステムのユーザインタフェースの「フロントエンド」として機能することができることが分かる。
【発明の開示】
【課題を解決するための手段】
【００１１】
グラフィックユーザインタフェースを提供する。
【００１２】
本発明の一様相において、このインタフェースは、検査又は監視プロセスの結果についての選択された過去のデータ（historical data）の視覚化を提供するように動作するグラフィックディスプレイと、少なくとも１つの制御又はしきい値設定（setting）を含み、設定を調整した場合、設定の調整を反映するように結果の視覚化が変更される。
【００１３】
本発明の別の様相において、調整は、グラフィックディスプレイ上の図式的なしきい値線の操作を含み、この操作は、選択された過去のデータの再検査又は再計算及びその対応する再視覚化をトリガする。
【００１４】
本発明の別の様相において、調整は、グラフィックディスプレイ上の図形要素の操作の操作を含み、この操作は、選択された過去のデータの再検査又は再計算及びその対応する再視覚化をトリガする。
【００１５】
本発明の別の様相において、視覚化は、ポインタ又はグラフィックアクチュエータの操作に応じての追加の選択された画像又はデータの表示をトリガするように動作する。
【００１６】
本発明の別の様相において、追加の選択されたデータは、時間、温度情報、色情報、製造パス情報、質量情報、測定情報、識別情報、バッチ情報、圧力情報、機械設定情報、及び保守履歴情報の内の少なくとも１つを含む。
【００１７】
本発明の別の様相において、操作は、標本に関連する少なくとも１つの画像を表示するために棒グラフのバー要素を選択することを含む。
【００１８】
本発明の別の様相において、視覚化は、図形要素を指し示すか選択することにより選択された過去のデータのサブセット又はスーパーセットを表示するように動作する。
【００１９】
本発明の別の様相において、選択された過去のデータは、検査又は監視プロセスの間に得られた画像群を表わし、グラフィックユーザインタフェースが、選択された画像群についての検査結果を同時に見ながらのマシンビジョン検査パラメータの調整を容易にする。
【００２０】
本発明の別の様相において、視覚化は、表示装置上の単一の視覚化画面である。
【００２１】
本発明の別の様相において、調整は、スライダ、マウスクリック、つまみ、又はタッチスクリーンの使用を含む。
【００２２】
本発明の別の様相において、視覚化の変更は、しきい値の調整を考慮するために対応する検査又はプロセス監視イベントのそれぞれについての再計算を含み、更に再計算はその後の視覚化で示される。
【００２３】
本発明の別の様相において、再計算は、画像の再検査及び／又は選択された過去のデータの再分析を含む。
【００２４】
本発明の別の様相において、検査又は監視プロセスは、工業用オンラインプロセスである。
【００２５】
本発明の別の様相において、過去のデータの視覚化は、監視中の測定した製品又はプロセスパラメータに関する関連指標の視覚化である。
【００２６】
本発明の別の様相において、視覚化は、更に、少なくとも１つの選択された管理限界設定値（control limit setting）を視覚化することを含む。
【００２７】
本発明の別の様相において、視覚化は、更に、複数の選択された管理限界設定値を同時に視覚化することを含む。
【００２８】
本発明の別の様相において、過去のデータの視覚化は、それぞれの過去の標本（historical sample）に関連する又は相互に関連する情報の視覚化である。
【００２９】
本発明の別の様相において、相互関連情報は、プロセスを達成するプロセス制御機械部品、型、取付具又はプロセス要素の少なくとも１つを含む。
【００３０】
本発明の別の様相において、再検査は、グラフィックユーザインタフェース上における少なくとも１つの設定変更に基づく即時の再検査を含む。
【００３１】
本発明の別の様相において、過去のデータは、固体デジタルメモリ、回転メモリ、光メモリ、又は他のコンピュータ記憶媒体の少なくとも１つに記憶された保存データを含む。
【００３２】
本発明の別の様相において、過去のデータは、視覚化によって示された測定済み製品又はプロセスパラメータの指標値に関する画像を含む。
【００３３】
本発明の別の様相において、過去のデータは、視覚化によって示された測定済み製品又はプロセスパラメータの指標値に関する非画像形態の生のセンサデータを含む。
【００３４】
本発明の別の様相において、図形視覚化によって容易にされた変更が、オンライン検査又はプロセス監視システムの変更を引き起こす。
【００３５】
本発明の別の様相において、オンライン検査又はプロセス監視システムは、複数のチャネルを含む。
【００３６】
本発明の別の様相において、複数のチャネルは、接続された独立した検査又はプロセス監視ステーション又はノードを含む。
【００３７】
本発明の別の様相において、図形視覚化は、１）評価、２）更なる調整、又は３）検査又はプロセス監視システムの変更の実行の内の少なくとも１つに使用される。
【００３８】
本発明の別の様相において、変更の実行を受け入れるために更なるに操作が行われる。
【００３９】
本発明の別の様相において、検査又はプロセス監視システムにおける変更の最終的な承認は機密保護されている。
【００４０】
本発明の別の様相において、視覚化は、選択された過去の標本群を表わす棒グラフを含む。
【００４１】
本発明の別の様相において、それぞれのバーの高さは、それぞれの標本についてシステムが計算した悪さ又は良さを示す指標値である。
【００４２】
本発明の別の様相において、棒グラフは、選択された特徴を表す色のバー要素又は、バー要素に関する情報の表示を含む。
【００４３】
本発明の別の様相において、選択された過去のデータは、検査又は監視している部品又はイベントに対応する所定の標本抽出のデータを表わす。
【００４４】
本発明の別の様相において、所定の標本抽出は、時間ベースの標本抽出、カウントベースの標本抽出、周期的標本抽出、イベントベースの標本抽出、標本抽出計画理論ベースの標本抽出、シフトベースの標本抽出、ランダムベースの標本抽出、アルゴリズムベースの標本抽出、ミリタリベースの標本抽出、周波数ベースの標本抽出、パーセントベースの標本抽出、場所ベースの標本抽出、ステーションベースの標本抽出、及び製造パスベースの標本抽出の内の少なくとも１つを含む。
【００４５】
本発明の別の様相において、視覚化は、生産からの選択された混合標本を示し、この生産からの選択された混合標本は、第１のタイプの選択された標本の少なくとも第２のタイプの選択された標本との比較を表す。
【００４６】
本発明の別の様相において、第１のタイプは、特定の特徴を有する標本を含む。
【００４７】
本発明の別の様相において、第２のタイプは、時間ベースの標本抽出、カウントベースの標本抽出、周期的な標本抽出、イベントベースの標本抽出、標本抽出計画理論ベースの標本抽出、シフトベースの標本抽出、ランダムベースの標本抽出、アルゴリズムベースの標本抽出、ミリタリベースの標本抽出、周波数ベースの標本抽出、パーセントベースの標本抽出、場所ベースの標本抽出、ステーションベースの標本抽出、及び製造パスベースの標本抽出の内の少なくとも１つを使用して得られる標本を含む。
【００４８】
本発明の別の様相において、第２のタイプは、所定の特徴を有する標本を含む。
【００４９】
本発明の別の様相において、視覚化結果は、ユーザにとって特に有用な用語で表現される。
【００５０】
本発明の別の様相において、用語は、寸法、質量、パーセント、金銭的影響、測定、視覚的属性、及び部品の数の内の少なくとも１つとして定義される。
【００５１】
本発明の別の様相において、グラフィックユーザインタフェースは、検査又は監視プロセスの結果についての過去のデータの視覚化を提供するように動作するグラフィックディスプレイと、少なくとも１つのしきい値設定を含み、設定を調整した場合、その調整を反映するように視覚化が変更される。
【００５２】
本発明の別の様相において、少なくとも１つのしきい値設定は、感度レベル及び欠陥スケールを含む。
【００５３】
本発明の別の様相において、方法は、検査又は監視プロセスの結果を視覚化するためにグラフィックユーザインタフェースに過去のデータを表示すること、及び少なくとも１つのしきい値設定の調整を反映するように視覚化を変更することを含む。
【００５４】
本発明の別の様相において、方法は、検査又は監視プロセスの結果を視覚化するためにグラフィックユーザインタフェースに選択された過去のデータを表示し、少なくとも１つのしきい値設定の調整を反映させるために結果の視覚化を変更することを含む。
【００５５】
本発明の別の様相において、グラフィックユーザインタフェースは、オンラインマシンビジョン検査プロセスの結果に関する選択された過去のデータの単一画面視覚化を提供するように動作するデイスプレイであって、選択された過去のデータが、検査された部品の母集団を表わし、選択された過去のデータが、検査した部品の選択された関心領域の画像と選択された非画像データを含み、グラフィックユーザインタフェースは更に少なくとも１つのしきい値設定を含み、その調整により、調整を反映するように単一の画面視覚化が変更される。
【００５６】
本発明の別の様相において、単一の画面視覚化は、検査した部品の選択された画像の選択された関心領域のアンラップ表示を含む。
【００５７】
本発明の別の様相において、画像は、複数のサムネイル画像を含む。
【００５８】
本発明の別の様相において、視覚化は、ホログラフィ画像表示を含む。
【００５９】
本発明の別の様相において、特定の欠陥タイプの視覚化は、ホログラフィ表示の形態である。
【００６０】
本発明の適用可能性についての更なる範囲は、後に示す詳細な説明から明らかになるであろう。しかしながら、詳細な説明及び特定の例は、本発明の好ましい実施形態を示すものであるが、例示のためのものであることを理解されたい。何故なら、本発明の精神及び範囲内の様々な変更及び修正は当業者に明らかであるためである。
【００６１】
本発明は、装置の様々な部品の構造、配置、組み合わせ、並びに方法の段階で存在し、意図された目的は、後でより詳しく説明され、特許請求の範囲で具体的に記載され、添付図面に示されるようにして達成される。
【発明を実施するための最良の形態】
【００６２】
本発明は、例えば、一形態において工業オンラインプロセス等のオンラインプロセスの検査プロセスや監視プロセス等の様々なプロセスにおいて、単一又は複数の監視しきい値を変更するきわめて単純且つ直感的な方法を提供するグラフィックユーザインタフェースを提供する。グラフィックディスプレイは、設定された変更が、最後の「Ｎ」個の部品、イベント又はターゲットの検査中に行われた場合に生じるであろう監視又は検査結果を迅速に示す。部品又はターゲットは、様々な形態をとることができる。この遡及的グラフィック「見直し（look-back）」機能は、将来の生産が最近の過去の生産と類似しているように見える場合に、将来の検査又はプロセス監視結果がどうなるかを容易に推定できるようにする。この将来の検査結果の推定は、プロセスが適切に制御されている場合と、過去の生産に将来の生産と類似した不規則性があるプロセスの場合には正確になる。従って、この種のセッティングは、広範囲の高生産性工業生産に最適な技法である。
【００６３】
優れた洞察力を有する見直しグラフィックインタフェース機能は、２個〜「Ｎ」個の部品としてプログラム可能である。理想的には、「Ｎ」が、適切な生産結果期間を表すのに実質的に十分な数となるように設定されなければならない。「Ｎ」の大きさは、通常の定常状態の生産を表現し、プロセスにおける通常のばらつきの代表的標本抽出をするのに十分な長さの生産期間を表すように選択されなければならない。異常を検出するソフトウェアアルゴリズムで製品の品質を監視する生産システムの場合、生産プロセスに生じる通常のばらつき及び不規則性の代表的範囲を知ることは重要である。
【００６４】
本発明の見直し的遡及によって、設定パラメータを、単一の生産部品又は小数の生産部品の標本ではなく大きい母集団に基づいて変更することが容易になる。例えば、ほとんどのマシンビジョン検査システムは、ある程度試行錯誤の方法を使用して設定される。一般に、ターゲット要素から１つ又は幾つかの画像が得られ、アルゴリズム設定を検証するか関心領域（ＲＯＩ）を定義するためにその標本又は小さな標本セットが使用される。ＲＯＩは手動で決定されも自動で決定されてもよく、これを行う技法は当該技術分野において周知である。長い間、円形部品に「似た濃淡の同心リング」のような技法が使用されてきた。次に、選択した関心領域に「判定パラメータ（judging parameter）」が設定される。初期調整を行った後で、さらに製品画像をスナップ撮影し、オペレータは、検査システムが現在の設定に基づいて適正な判定を行っているかどうか判定する。欠陥がユーザの要望に従って識別されているかどうかが１つの因子である。
【００６５】
設定が適正な判定レベルで機能していない思われる場合、オペレータは、一般に、判断設定を厳しくするか又は緩めて、結果をさらに別の画像標本で確認する。このプロセスは、設定パラメータが、例えば製品の相対的な善し悪しを区別できるような、悪い製品を除外し良い製品を合格にすることができる適切なレベルであることを、ユーザが納得するまで繰り返される。
【００６６】
一般に使用されるこの手動設定ループの大きな問題は、もっとかなり大きい標本セットで見られるであろう通常範囲のプロセス変動を考慮しないことである。通常の部品の母集団の一般的な単色領域は、図１に曲線５００で表わされたグレースケール分布を有しているであろう。このグラフは、Ｘ軸（５０２）がグレースケールで、Ｙ軸（５０１）が、生産部品の母集団の同じ領域内にある特定の濃淡値での画素数であると仮定する。生産部品の大きな母集団では、曲線５００より下のグレースケール範囲全体が見られるであろうが、小さな母集団では、（５０３）のもっと限定された範囲だけが観察されるであろう。母集団が小さい場合は、しばしばオペレータのより高いレベルの経験と訓練が必要になる。経験を積んだ設定者が、パラメータをこの方法を使って調整するときでも、設定者は、標本セットに表われていない通常のプロセス変動の真の範囲を推測しなければならない。要するに、システムは、手動で何度も微調整されるまで最適レベルよりも低く設定される可能性が高い。
【００６７】
また、小さな標本セットには代表的範囲の欠陥がめったに存在しないということも重要である。オペレータが、小さい欠陥と中くらいの欠陥を区別するためにシステムを設定しようとする場合、適正な区別を確認できるように標本セット内に欠陥が見える方が望ましい。本発明によれば、きわめて大きい標本セットを以前に遡って容易に試験することができ、「Ｎ」個全部の過去の標本セットの母集団に基づいてシステムを設定することができる。即時にパラメータを変更した結果を、「Ｎ」個全部の母集団の自動再検査によって素早く確認することができる。これにより、設定又は設定に対する変更を高い信頼レベルで行うことが容易になり、そのレベルは、結果が希望通りになり、また将来の生産でそうなる可能性が高いレベルである。
【００６８】
母集団の標本の大きさの唯一の制限は、検査又はプロセス監視システムが利用することができる何らかの形態の記憶の量即ち記憶容量である。記憶装置は、実際のシステムになくてもよいが、高速アクセスによってシステムが利用可能でなければならない。標本の大きさが大きくなるほど、システムがグラフ結果で応答するのが遅くなることは確かである。本発明は、また、大きい標本セットを調べるのに必要な時間を短縮するためのオプションのデータ削減方法を含む。データセットの削減は、処理速度とアクセス速度の面からも重要である。実際に、特定の用途で必要とされる所望のグラフ再作成／再検査速度が容易に得られるようにするために、実施化において、複数のポイントでデータ削減が行われる。例えば、図４と図５のフローチャート（後でより詳細に示す）は、４０５、４０８および４１９に３つの異なるデータ削減ポイントを示している。
【００６９】
本発明は、基本的に、製品又はプロセスに関するパラメータベースの判断をするのに必要な重要情報（critical information）（例えば、履歴情報）を記憶する。少なくとも一形態において、このデータは、検査又は監視の対象である製品又はプロセスの指標値に関連する。このデータは、生のセンサデータ、画像データ、又は非画像データを含むがこれらに限定されない様々な形態をとることができる。この情報は、システムが利用可能であったオリジナル情報の全てのセットのとして記憶されてもよく、知能的に削減したサブセットとして記憶されてもよい。履歴情報セット全体が記憶され、それをシステムが利用できる場合は、特別のデータ削減は不要である。例えば、マシンビジョンシステムの場合は、最大「Ｎ」個まですべての画像を保存することができる。しかし、オリジナルデータのサブセットを保存したい場合は、どのようにオリジナルデータセットを選択されたセットの過去のデータに削減し、さらに見直し機能が起動されたときに完全な調査（review）又は再検査を容易にするかについて決定しなければならない。
【００７０】
オリジナル情報の重要なサブセットだけを保存したい場合は、データセットを削減する方法はいくつもある。データ削減を適正に行うと、メモリ空間要件を低減させることができるだけでなく、データをソートしアクセスするためのアクセス時間と能力を改善することができる。
【００７１】
例えば、画像ベース検査システム用に削減したデータセットを維持するように選択した場合は、以下のようにデータセットを削減することができる。ターゲット要素の画像が円形の場合は、本質的に、実際のターゲット要素の一部分を画像化していない多数の無駄な画素がある。図２は、そのような円形のターゲット要素を示し、このターゲット要素は、４：３の縦横比を有するビデオフレームに重ねられている。この場合、斜線部分（１０１）は、ターゲット要素（１０２）を評価する重要情報を表わしていない。領域（１０１）によって表わされた画素は、ターゲット要素（１０２）情報を後で利用するために維持しなくてもよい。当該技術分野で周知のデータ削減技術は多数ある。その広範な技術は、当該技術分野において周知であるため、それらの技術を検討することは本特許の範囲外である。簡単に言うと、そのようなデータ削減又は圧縮技術を使ってメモリ要件を低減させるか又はシステム性能を高めることによって、本発明を実施する方法論の範囲内で対応することができる。
【００７２】
本特許の任意の特定の用途のために、特化したデータ削減技術を考案することができる。例えば、図２のマシンビジョンの例において、領域１０３が、システムによって評価される関心領域を表わす場合は、領域１０３に関連するきわめて重要なパラメータだけを保存することが可能である。システムが欠陥の大きさを監視している場合は、削減したデータセットが「疑わしい」欠陥に関する情報だけでよい。その場合、システムは、その情報を調べて、変更した感度レベルで、欠陥のどれを本当の欠陥として宣言すべきかを決定する。図示したように、関心領域１０３は、可能性のある欠陥１０４、１０５及び１０６を示す。
【００７３】
関心領域（ＲＯＩ）（１０３）全体を保存することは、十分に有益なデータセットの削減であり、より粗いデータセットよりも完全な見直し調査を可能にする。経験を積んだマシンビジョンエンジニアにとっては、特定の部品の一部又は関心領域について調べるために使用されるアルゴリズムを評価して、完全な見直し検査を更に容易にするためにデータセット削減の本質が何であるかを決定することは簡単なはずである。
【００７４】
本発明の別の特徴は、関連情報のサムネイルの表示を容易にすることである。図２の画像を利用した例において、関心領域（１０３）をグラフィック表示に近い形で表示することができる。この表示は、環状部分又はドーナツ型部分が図形による結果表示の下の細長い長方形部分になるようにアンラップモードで行うか固有アスペクトモードで行うことができる。
【００７５】
さらに拡張した大きさの母集団に基づいてシステムを設定したいときは、時間的に離間された標本抽出を利用するようにシステムをプログラムすることが適切である。統計的プロセス制御において周知の様々な方式を使用して、標本が代表的なものになるように十分にランダムにすることができる。例えば、本発明のグラフィックユーザインタフェース最適化に使用するためのシステムが保存する「Ｎ」個の部分の母集団は、時間「Ｔ」にわたって時間的にランダムに離間された２５０の４０個の異なる標本である。これにより、更に、母集団の標本の大きさが１０、０００個になるが、将来の生産の見直し予測を乱す短期の傾向を覆うことになるであろう。これにより、実質的に、生産のより長期の平均化が可能になり、将来の生産のためのより適切な長期設定が容易になる。当業者であれば、この概念に多くの変形を加えることができる。時間の長さと不規則性の設定は、設定メニューでユーザが選択できる項目でもよく、平均的ユーザの視野から隠して見えなくして、混乱を招いたり、システムの使い易さに悪影響を与えないようにすることもできる。
【００７６】
また、システムの変動の周期性を学習して、最良の結果のために母集団データをいつ取得すべきかを自動的に決定することは有用である。そのような自動的な手法は、標本抽出を長期間にわたって行うが、最近の生産ほど大きい重みを加える。
【００７７】
本発明は、過去の母集団の検査の結果をグラフィックで示す概念を含む。そのようなグラフィック表示を具体化することができる方法は多数ある。例えば、図４と図５に関連して説明したような方法が使用される。グラフィック表示がコンピュータ表示装置の一部として示される場合は、グラフィック表示は、従来のＣＲＴコンピュータモニタ又はＬＣＤモニタ、プラズマ又はＬＥＤモニタ、有機ＬＥＤモニタ上に示されてもよく、透過投影スクリーン又は反射投影スクリーンに投影されてもよく、或いは任意の他の種類のコンピュータ駆動モニタ、スクリーン又は表示装置で視聴者に表示されてもよい。また、情報のグラフィック表示をシートプリンタと連続ロール型プリンタのどちらでも適切に印刷することができる。連続型プリンタ又はストリップチャートレコーダ型プリンタで情報を表示すると、きわめて大きい母集団セットをより詳細にグラフィック表示することができる。
【００７８】
実際のマンマシンインタフェースの観点から、グラフィックインタフェースを幾つかの異なる方法で設定することができる。選択し操作するための最初の方法はポインティング装置であるが、同様に他の技法を利用することも容易である。これに関して、グラフィックな機能は、マウス操作に応答するスライダ、ボタン、ノブ、領域等のグラフィックアクチュエータ又は図形要素（並びに同様の機械的実装）によって実現することができる。タッチスクリーンは、直感的インタフェースを可能にし、使用することができるが、間違った動作を引き起こさないように十分に大きな「タッチスポット」を必要とするという制限を有する。指に対しては粗さが十分でない。左利きと右利きの人に対応しなければならず、また画面の前に手があると視認度が大幅に低下する可能性がある。「ドラッグ」機能は、タッチスクリーンの方が困難であり、最終的にモニタ画面に摩耗が生じることがある。また、汚れた手、脂じみた手、又は手袋をはめた手は、画面視認性、保守及び寿命の観点から大きなマイナス要因となる可能性がある。それにもかかわらず、タッチスクリーンは、インタフェースの一般的な形態であり、本発明を実施するために容易に利用することができる。
【００７９】
マンマシンインタフェースの他の形態も十分に本発明の範囲内である。グラフィックインタフェースからの入出力手段として、ＰＤＡ、携帯電話、腕時計、及び任意の形態の無線装置を使用できる。本発明を実施する有力な手段と予想されるマンマシンインタフェースの一形態がまさに出現しつつある。その形態はインテリジェント画像ベースシステムを含み、このシステムは、オペレータを「見て（look at）」高性能アルゴリズムを使って、オペレータが見ているか又は「指し示している（point）」場所を決定し且つ／又は動作と解釈できるオペレータが行っている動きを決定する。グラフィック表示は、最も望ましいフォーマットで画像化又は投影され、次にインタフェースを提供するためにそのようなシステムが配置される。このことは、当該技術分野において詳しく述べられているので、更に詳しく説明することは本発明の範囲外であるが、本発明を実施するために選択する有効な技法であることだけは理解されたい。同様に、本発明を実施するために、主入出力手段又は補助入出力手段として音声コマンドを使用することができる。
【００８０】
グラフィック表現を表示するさらにコンパクトな形態として、全データから小さな要約したサブセットのデータまでの何れのデータも表示する様々なグラフィック表示技術を適切に使用できる。例えば、棒グラフを利用して各バーが選択されたサブセット（或いはスーパーセット）のデータを表わすことができる。更に他の例として、各バーの高さは、それぞれの標本ごとにシステムが計算した悪さ又は良さを示す指標値である。棒グラフは、また、バー要素に関する情報の選択された特徴又は表示を示す色を有するバー要素を含んでもよい。データを調べるのに望ましい具体的な方法は、データが使用される具体的な用途に依存する。
【００８１】
図３（後でより詳細に説明する）は、食品及び飲料産業用の容器の自動化した映像検査に有利な一具体例を示す。缶内部検査プロセスには、感度設定を単純に調整し、感度設定が缶のすぐ前の母集団にどんな影響を及ぼしたであろうかを確認できることが有用である。アルミニウム缶又はスチール缶の内側に、視覚的人工物として著しい「ドローライン（draw line）」がある場合があるため、缶が視覚的に合格かどうかを誰かが主観的に判断して、その判断をビジョンシステムの設定に反映させる必要がある。これはコストと密接な関係するので、製造業者は、変更の影響をよく理解できるほど適切な決定をすることができる。現在、缶は、最先端技術の工場では約５０缶／秒製造するので、小さな変更が大きな数に反映するのに長くかからない。本発明は、検査の設定を最適化しプロセスを理解するためのきわめて直感的で強力な方法を可能にする。
【００８２】
データの種類によっては、各選択時間期間におけるデータの平均と標準偏差だけを振り返ることで十分な場合がある。他の応用例では、特定の時間期間に行われれた「アウト層（out-layer）」即ち最もひどい測定値又は検査値を知るほうがはるかに役立つ。更に他のデータセットの場合は、特定の時間期間中にプロセスが動いている方向と速度を知ることが望ましく、これにより関連するイベントと時間的に関連付けることができる。グラフィック表現は、一次元、二次元、三次元、又はそれ以上のグラフの様式でよい。通常、次元の内の１つが、シーケンスか時間の表現であることが最も望ましい。また、統計的プロセス制御（ＳＰＣ）の学問分野において周知のグラフのフォームファクタを選択することもできる。
【００８３】
統計的プロセス制御は、一般に、標本の大きさが生産の１００％より少ないときに利用される。本発明は、生産の１００％未満に使用することができるが一般に生産ストリームの１００％の部品又は出力のリアルタイムオンライン検査又はプロセス監視に利用されるシステムのために考えられている。しかしながら、過去のデータを再計算するか見直してパラメータが変更された状況で結果がどのようになるかを判断するために、測定パラメータ又は判定パラメータの変更を教示するか容易にする既知のＳＰＣソフトウェアパッケージはない。まさしくＳＰＣの本質によって、通常、移動平均（平均）と移動標準偏差を求める標本データセットがあるが、通常、変更された判断パラメータに基づく詳細レベルの再評価を容易にするのに十分な情報は保存されていない。
【００８４】
この場合も、過去に入手可能であったシステムと本発明の違いを理解することが重要である。従来、マシンビジョンシステムは、固定された１組の設定に基づいてターゲット要素を評価してきた。各検査が行われるとき、そのような設定を使って評価が行われ、製品は、その数に基づいて合格にされるか不合格にされ、統計が収集される。設定が不適正で調整する必要があると判断された場合は、それまで得ていた現行の結果に基づいて設定を緩めるか厳しくするかを選択することができる。最近の「Ｎ」個の製品の生産中おいて、或いは任意の大きさの過去の標本に対して、新しい設定が行われていたとしたら、その新しい設定がどのような影響を与えたかを知ることができる手掛かりはない。新しい設定を行うとき、システムをどの程度厳しく又は緩く設定すべきかを知能的に設定することは経験を必要とする精神的なプロセスである。従って、調整を行うたびに、試行錯誤や観察の手順がある。本発明は、最も経験の少ないオペレータが、変更の結果が将来の欠陥にどのような影響を与えるかを視覚的に簡単に見ることができるようにすることによって、システムの設定プロセスを大幅に単純化することができる。特定のタイプのグリース付着を確実に検出できなかったことが観察された場合、オペレータは、最近の生産で常に合格していたグリース付着を適切に検出するようにするためにはどのように変更すればよいかを知る手掛かりはない。本発明により、オペレータは、システムの正確な評価と再設定を行うためのきわめて直感的なツールセットを得ることができる。システムに適正なソフトウェアがロードされている場合は、オペレータが関心を持つタイプの欠陥の幾つかの画像を簡単に見直すことができる。次に、オペレータは、システムを調整して、欠陥を検出するようにし、また重要なことには欠陥のない製品を間違って不合格にする状況を作り出さないようにする。次に、オペレータは、変更をきわめて大きい標本セットと照合して検証し、それが自分の望みと合致しているかを確認することができる。
【００８５】
統計的プロセス制御は、製品又はプロセスに関する測定値を収集し、次にそれらの測定値を数学的に処理し、製品又はプロセスが適切に制御されているかどうかを評価する科学である。測定値は、各製品に関して取得される場合があるが、より一般的にはより大きい母集団からランダムに標本抽出した製品に関して取得され、後で数学的に使用するための一定の測定値として扱われる。オリジナル部分は、将来の時点で再測定できるような様式で維持されない。これは、定義測定（definitive measurement）を容易にするプロセスで良い傾向がある。統計的プロセス制御（ＳＰＣ）には、測定可能な長さ、直径又は高さがあるプロセスが適している。統計的プロセス制御は、一般に、製品の主観的評価を行わなければならない場合はうまくいかない。主観的評価には、より定義的な測定を行う場合のように平均又は標準偏差を求める式に入れることができる数値がない。缶の内側の抜き取り線、変形端のアルミニウム粒子の視認度、又はカーペット標本のしみに関する一定の測定値を得ることはきわめて難しい。ほとんどの統計学者は、主観的測定に苛立ちを覚え、試みたときに、そのような主観的なタイプの欠陥を生じるプロセスを制御するのに不満足なシステムを作り出すことが多かった。多くの場合、統計学者は、主観的指標を直接評価しようとするのではなく、より決定的測定に向いたプロセス変数を測定しようとする。これは、事実上、青写真で示し次にきわめて客観的に測定することができる公差を取り扱う傾向がある。
【００８６】
一方、本発明は、特に、そのような主観的判定システムを設定する技術の大幅な改良としてなされた。本発明の利点は、検査及び監視システムの設定を行う際の固有の使い易さと直観性である。本発明の基本的な利点は、「ｗｈａｔ−ｉｆ」見直し評価（例えば、画像の部分又は画像全体を含む画像に関する記憶データ及び他のデータの再計算と再分析）を行って、変更された設定に基づいて検査結果がどのように変化するかを知ることができることである。これを行うと共に、製品の大きい母集団に対する見直し能力に基づいて設定を行う機能によって、検査システムを設定する技術の大幅な改良が可能になる。これにより、本質的に、実際に部品やターゲットをシステムに再び通すことなく、異なる（又は同じ）パラメータを使用して部品の再検査（例えば、即時再検査）が可能になる。
【００８７】
本発明は、検査又はプロセス監視システムの過去の結果を図式的に表わす方法を実施する。更に、パラメータが変更された場合に、新しいパラメータ又はパラメータの変更に基づいて結果グラフを容易に作成し直すことができる。これにより、データの「ｗｈａｔ−ｉｆ」評価が容易になり、ユーザがその瞬間以降全ての検査又は監視のための新しい設定を受け入れることができるようになる。必要に応じて、「ｗｈａｔ−ｉｆ」設定に基づくか実際の検査監視時に存在した実際の設定に基づいて「Ｎ」個の大きさの母集団標本の過去の結果を表示することができる。
【００８８】
本発明が取り組む特定の用途に従ってそのような特徴の様々な組み合わせと順列に対応できるようにグラフィックインタフェースソフトウェアを作成することができる。本発明は、主に、一形態においてデータのグラフィック表現であるように意図されるが、実際の数を様々な方法で調べることも可能にする。例えば、特定のマシンビジョン検査システムからの結果データを、それぞれ５００の検査値を単一の指標バーに圧縮した棒グラフとして示すことができる。バーの大きさを見ることによって個々の測定値を知ることができないので、マウス又はトラックボールのポインタをバーの上に置くか、バーをクリックすることによって、所望の量の実際の数値データが示されるようにソフトウェアを作成することができる。更に、バーで表わされたデータを拡張してそのデータをより詳しく表示できるようになる。５００の検査値を表わす単一のバーの上に置くことによって、そのような検査値の平均と任意の１つの個々の検査の最もひどいもの（最大指示値）を示すことが最も望ましいであろう。所望の重要情報を創造的且つ直感的に表示するために、ほとんど限りない様々な類似の方式を設計することができる。本発明の価値の１つは、データを有用且つ迅速に吸収される情報に直感的に変換できることである。次に、この情報を武器にしてユーザは「ｗｈａｔ−ｉｆ」設定を試すことができ、そのような設定を更に最適化するか、受け入れて推奨（go forward）設定パラメータとして広めることができる。
【００８９】
また、本発明は暗黙的に、正常状態の設定から「外れる」製品の数を予測する能力を含む。意志決定者が、品質設定に変更を加えるコストを決定するため、システムは、例えば不合格にしなければならない製品の数を予測することができる。予測した情報を使用することによって、システムは、様々なユーザ入力された標準コストや他の情報を使用し、検査の直接出力としてコスト値を計算することができる。この直接コスト値は、より大きな原価管理システムによって利用できるようにコンピュータネットワークを介して通信される。従って、システムは、最近の過去のものを使用して、コスト、生産速度、破棄、又は任意の他の直接又は導出推定値の内の少なくとも１つに関して将来を予測する。
【００９０】
システムがそのようにプログラムされている場合は、ツーリング器具、ツーリング管理、予防保全、スケジューリング、及び他の製造設備管理の値に有用な多数のものを予測したり予測を支援したりすることができる。ツーリングおよびプロセス機械部品との相関関係を示す指標をグラフ描写に組み込んで、設備の効率と有効性を大幅に改善することができる。また、関連した数値を適切な図形要素の近くに組み込んで、製造プロセスを理解し問題解決する機能を高めることができる。
【００９１】
例えば、図３等の表示において、瓶を形成する際に使用された予備吹込圧が、型番号と共に棒グラフに沿って各バー２０２に重ねられている。このように組み込むことによって、選択した任意の関連データと関連した指標データだけが表示されるように棒グラフをソートすることもできる。従って、特に機械部分又はプロセスパラメータと関連して起きている欠陥又はプロセス異常のタイプに基づいて判断設定を素早く変更することができる。
【００９２】
米国特許第５，５９１，４６２号は、特定の金型、搬送アーム、又は他の機械部分と欠陥の相関関係を教示している。この特許は、検査設定を変更又は最適化する方法を教示しておらず、また新しい設定パラメータに基づいて再評価するための見直し又は「ｗｈａｔ−ｉｆ」技術を何も教示していない。本発明は、基本的に異なるが、実際に’４６２特許を実質的に改良するように実施することができる。
【００９３】
いかなる変更も図式的に示すことができるので、生産ラインに携わる平均的オペレータが理解できる形で伝わるように本発明のソフトウェアを設計することができる。適正に設計された場合、オペレータは、直観的に理解するために教示される形で情報が表示されるので、図式的に要約される特定の監視技術を詳しく理解しなくてもよい。システムは、オペレータが容易に理解することができる幾つかの方法で説明を更に容易にすることができる。ソフトウェアは、ユーザがインタフェース画面上の様々な特徴形状をクリック又はなぞり、これによって、結果のグラフィック表現を更に詳しく説明するいくつかの形態を提供することができるように作成されてもよい。これは、文字説明の形でもよく、或いは必要に応じてオペレータが選択した言語の口頭の説明の形でもよい。また、オペレータが理解しやすければ絵や図表でもよい。
【００９４】
オペレータに説明するメカニズムは、図形表現の理解を含むだけでなく、推奨する修正ステップをオペレータに指示することもできる。そのようにプログラムされている場合、そのような説明は、プロセスを元に戻すための修正ステップの単純な推奨から、修正又は予防保全の詳しい段階的説明までいかなるものでもよい。そのような詳細な情報ステップは、様々なプロセス修正ステップの知識が豊富な人によってシステムに導入されなければならない。
【００９５】
本発明の有用性と使い易さを実質的に高める別の様相は、オペレータの側のシングルクリック又は１回の動作によってグラフィック表現の変更を行えることである。例えば、図３において、感度しきい値線２０３をクリックし、次にもっと高いか又は低い感度設定値にドラッグすることができる。そのようにプログラムされている場合、システムは、そのような用途のために記憶したデータ（２０２）に基づいて結果のグラフィック描画をすぐに計算しなおす。
【００９６】
非常に強力な本発明の別の様相は、システムがどのような種類の欠陥を検出するように調整されているかをユーザが理解しやすくする情報を図式的に表わす機能である。グラフィックインタフェースは、システムがどのような種類の欠陥を検出するように調整されているかをユーザが視覚的に理解しやすいようにする部分説明パレット（part description pallet）で設計することができる。欠陥を記述する単純な１つの形態は、欠陥スケールを示すことである。図３は、小さく狭い欠陥から大きく幅広い欠陥のスケールの他端まで連続的に設定することができるスライダの欠陥スケールを示す。次世代の製品は、オペレータがシステムを調整する対象の欠陥の外観を選択できるように二次元又は三次元視覚化機能を持つことが予想される。その場合、オペレータは感度レベルを設定し、新しい変更に基づいて見直し遡及的検査が行われることになる。１つの関心領域に複数のアルゴリズム調整を行うことができ、従って、オペレータは、検出したい欠陥の種類の絵を実際にクリックして、システムを過去の標本セットに基づいて調整し、次に検出したい欠陥の次の種類を選択し、システムをその欠陥の外観に基づいて調整し、以後同様にこれを続けることができる。オペレータが、システムを調整したい対象の欠陥の番号を選択し、感度レベルをその欠陥の各タイプに合わせたとき、システムは、視覚化マップを描画し、調整のために選択した欠陥と感度レベルを示す。これを描写する方法は多数あるが、方法は、三次元グラフの類のものでもよく、ボックス内の様々な位置に欠陥を含む三次元半透明ボックスとして視覚化されてもよいことが予想される。将来の世代の製品は、システムを調整する対象となる欠陥タイプの三次元描写セットを作成するためにホログラムを使用する可能性が高いと予想される。この機能によって、本発明は、システムを適切に設定することができる見直し再検査機能の優れた利点と組み合わせて、等級分けとカテゴリ分類を実現することができる。このシステムによってオペレータが特定の種類の欠陥とを直観的に容易に調整できるようになるほど本発明の効果は大きくなる。
【００９７】
図２は、システムが図形的に即ち視覚化して描写することができる様々なタイプの欠陥１０４、１０５、１０６を示す。小さい高コントラストのドット１０６を見つけたいがそれより長くて細い欠陥１０５は無視したい場合、このシステムは、理解しやすく且つ訓練がほとんど必要ない直感的方法でこれを容易する。また、欠陥１０６が大きい表面積を有するがコントラストがきわめて低い場合に、その視覚的属性をグラフィックインタフェースによって指定するのが容易になる。欠陥タイプが異なる場合、検査システムは、検査ソフトウェアが探すように設定された、まさにその属性が見つかったときに最も高い比例指標値を出力する。そのようなマシンビジョンアルゴリズムは、当技術分野では周知であり、マシンビジョンソフトウェアエンジニアに一任される。
【００９８】
類似の機能をシグナチャベースのシステムに呼び出すことができ、このシステムでは、シグナチャ又は波形の特徴部分が部品の特徴を表わす。そのようなシグナチャは、システムの探索を調整するために識別することができる特徴的な形状、勾配、数学的関係、及びその他の固有の情報を有する。そのようなシグナチャを図式的に表わして、設定を分かり易くし且つ見直し再検査を容易にすることができる。
【００９９】
グラフィック表示およびインタフェースは、クリック、クリックアンドドラッグ、ダブルクリック、ダイアログボックス内への文字又は数字の入力、上矢印キーと下矢印キーのクリック、「ラジオつまみ」、「スライダ」調整などの任意の形の操作を使用することができる。本発明を実施するために、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ、Ａｐｐｌｅ Ｍａｃｉｎｔｏｓｈ、Ｖｉｓｕａｌ Ｂａｓｉｃ、又は他のビジュアルインタフェース画面ソフトウェア全般を利用することができる。現在最も優れた実施ソフトウェアおよびユーザインタフェース技術を、アプリケーションを実施するのに最も望ましい任意の組み合わせ又は順列で利用することができる。
【０１００】
業界が長期間取り組んできた問題の１つは、これまで製造されてきた製品のトレーサビリティとトラッカビリティである。本発明は、関連するデータ及び情報をそれぞれ個々の検査に結びつけることができるので、検査した生産ラインによって製造される部品ひとつひとつに関するきわめて完全なファイルを有することができる。部品レコードに、シリアル番号、ＲＦＩＤ（無線周波数識別タグ）、又は他の明確な部品識別（positive part identification）が利用できるという点で、後日に部品を再検査し、どの部品が本当に心配にあるものかを確認することができる。例えば、最初にエアバッグ又はクラスター爆弾点火装置、或いは他のきわめて重要な部品を検査したが、システムが、現在関心のある特定の種類の欠陥を見つけるように調整されていなかった場合は、システムを適切に再設定することによって、過去の部品が全て素早く再検査され、回収すべき特定の部品が識別される。このタイプの見直し機能は、再検査が行われる日付、生産ロット、シリアル番号範囲などでソートし易いようにプログラムすることができる。また、見直し遡及機能は、保険費の削減や責任関連問題の軽減を容易にすることができる。また、見直し再検査機能は、過去の製品を調査する新しいアルゴリズムを実施して従来のアルゴリズムが捜し出せなかった欠陥を捜し出すことができる。
【０１０１】
本発明は、検査に関連する画像、検査指標又は他のデータのきわめて大きい標本セットを記憶しようとするものであり、長期間にわたって全生産の１００％を容易に維持することができる。これにより、一部の製造業者にとってきわめて有効な幾つかの見直し再検査機能が強化される。これにより、実際に、過去のそれまでの生産が完全に１００％デジタルドキュメト化され、同時に製品の迅速な再検査又は再調査が可能になる。次に、このシステムは、訴訟に従う再検査で製造時の製品の実際の状態を検証することを可能にする。
【０１０２】
また、容易に再現できないか又は決して再現できない多くの状況が設備内で起こる。例えば、後で乾くか又は蒸発する製品上の水分、後で硬化して透明になるコーティング、及び生産担当者に知られずに同時に起こる様々な状況又は状況の組み合わせがある。後でシステムを再調整し再検査を実行することによって、問題の原因を容易に識別することができる。
【０１０３】
本発明は、また、新しい開発中の検査アルゴリズム又は実験的検査のアルゴリズムの検証を更に容易にしようとするものである。新しいアルゴリズムできわめて大きい母集団データベースを再検査できるので、アルゴリズムの全機能を検証し、新しいアルゴリズムを実際の生産時に使用した元のアルゴリズムと比較することが簡単になる。
【０１０４】
更に、単一のグラフィック見直しインタフェースを呼び出して、相互接続したカメラシステム又は検査システム全体を通して再検査を実行できるようにシステムを相互接続することができると考えられる。そのような接続（hook up）によって、任意の数のスマートカメラ、ビジョンシステム、他の検査システム、又はプロセス監視システムを結合することができ、その結果それぞれの装置又は装置間のノードあるいは中央レポジトリに大きな過去のデータベース母集団を蓄積することができる。より集中された位置に全てのデータを送る場合には相応な帯域幅が必要になるが、リモート位置又はサテライト位置に大規模なメモリを持つ必要がなくなる。見直し検査インタフェース機能を相互接続することにより、その機能で生産ライン全体又は工場全体を監視することができる。その場合、この機能は、用途と性能ニーズによって、工場全体の生産監視システムと関連して働くこともでき、そのようなシステムの代りに使用することもできる。
【０１０５】
２つ以上のシステムを相互結合した場合は、それらのシステムは、相互接続された幾つかの類似のシステム間の較正、標準化および類似の作業を容易にすることができる。ますます多くの会社がきわめて高い品質レベルを求めるようになっているので、これは、そのような目標の達成を容易にする有益なツールである。
【０１０６】
見直し遡及検査システムを製造分野全体にわたって使用することができる更に多くの方法があることを理解されたい。本発明は、上記の様々な機能をそのすべての組み合わせと順列で、任意の特定の応用例に適したシステムに組み込む様々な能力と用途を意図している。自動化された検査及びグラフィックユーザインタフェースの技術分野の当業者であれば、この技術を特定の用途に利用することができまた本明細書に引用した特定の例に決して限定されるべきではない多くの方法が容易に分かるであろう。
【０１０７】
次に、前述の食品及び飲料容器のオンライン検査の応用例について詳細に説明する。飲料容器の内側に関する種々の品質項目についての判断が主観的になされる場合が多いので、図３のグラフィックユーザインタフェースは、検査又は監視プロセスの結果に関する選択された過去のデータを視覚化する働きをするグラフィック表示を提供すると共に、少なくとも１つの制御又はしきい値の設定（setting）を提供し、設定が調整された場合、それが反映されるように結果の視覚化が変更される。１つの例において、少なくとも１つのしきい値設定は、感度レベルと欠陥スケールを含む。このシステムは、現在利用可能なシステムを上回る視覚検査システムの実質的な改良を提供する。
【０１０８】
棒グラフ２００は、検査結果を複数のモードの内の１つのモードで示す。詳細には、それはシングル部品モードを示し、このモードは、特定の種類の欠陥又は個々の部品について内在アルゴリズムがどのように検査を行うかを理解する強力な方法を提供する。本発明は、ユーザがシングル部品モード、最終１００部品モード、又は最終「Ｎ」モードを選択できるようにするプルダウンメニュー２１９によって起動される。「Ｎ」の値は、任意の数に設定することができるが、この例示的な用途では１０，０００が使用される。最終１００部品モードにおいて、各バーは、最終１００個の個々の部品の視覚検査から得られた最も有力な指標値を表わす。バーの縦方向の大きさが大きいほど、指標値は、現在の設定に基づいて個々の部品がより悪いものであると判断する。しきい値線２０３の位置を超えるバーを有する部品は、バー／部品２０５のように不良であると判断される。２１５がしきい値線より低く、現在示されているスキャンでは合格品質と考えられることに注意されたい。このバージョンのグラフィックユーザインタフェースでは、システムがグラフィックユーザインタフェースレベルで判断するのに２つの設定を用いる。それは、欠陥スケール２１２と感度レベル２０３である。オペレータはこの２つの設定を容易に変更することができ、変更が行われるとすぐに再視覚化され、その結果をグラフの視覚的様相によって理解することができる。そのような調整は、表示上の図形要素の操作或いはしきい値線２０３等のしきい値線の操作によって実現することができる。２０５のような線２０３を超える垂直バーは、線２０３を超えないバー２０２の通常の緑色（図示せず）ではなく赤に変更される（図示せず）。グラフの「Ｙ」軸即ち縦軸２０４は感度を表わす。一形態において、例えば、感度はグレースケールデータに関連する。「Ｘ」軸２０１は、個々の部品を、時間が２０６の方向に過ぎる時系列で表わす。使い易さを最大にするためにこのグラフィック表示には２つの変数を選択されているが、用途が必要とする場合にはもっと多くの変数が使用されることがある。このグラフィックインタフェース上のユーザ調整可能なパラメータ設定は、欠陥スケール２１２と感度バー２０３である。当然ながら、もっと多くの調整可能なパラメータが必要な場合は、例えば表示又は画面に追加のスケールを組み込むことができる。感度調整２０３を変更するために、ユーザは、ポインティング装置を線２０３上でクリックしたまま、感度調整を行いたい方向に上か下にドラッグすることになる。線を下げることにより、ユーザは、２０３の高さ位置を超えるバーの数を増やし、それにより検査の感度を高める。線２０３を上方にドラッグすると、高さしきい値を超えるバーの数が減り、それによりシステムの感度が低くなる。例えば、しきい値線２０３はバー２１５より高く、従ってバー２１５によって表わされた部品は合格すると考えられる。このバーは緑で描かれその状況を表わす。第２の調整は、欠陥スケール調整２１２である（例えば、一形態においてこれは欠陥の大きさ表わす）。図３で図式的に表わされているアルゴリズムは、複数のスケール設定を有する機能を有し、それぞれのスケール設定自体の感度バー２０３と欠陥スケール設定２１３は、欠陥スケール線２１２に沿ってその位置で示される。単一の関心領域（ＲＯＩ）を基づく複数の欠陥スケール設定２１２があるので、真ん中の欠陥スケール指標２１４は、どのアルゴリズムが現在表示されているかを視覚的に強調表示するために二重に取り囲まれている。関心のある欠陥スケール指標２１３をクリックすることによって、その欠陥スケール指標２１３は、２１４と同じように強調表示され、クリックした欠陥スケール指標２１３に従った検査結果を反映するようにグラフィック表示２００が直ちに変化する。次に、ユーザは、所望の設定が決定されるまで強調表示された欠陥スケール指標２１４をクリックしドラッグする。次に、ユーザは、選択した新しい欠陥スケールに適合するように感度レベル線２０３を再調整することを選択できる。２つ設定調整が変更されたとき、グラフィックインタフェースは、新しい設定を反映するように素早く変化する。新しいバーが表示されるので、数値出力２１７も表示される。数値出力２１７の「Ｙ」軸位置２０４は、感度しきい値線２０３が、数値による不良予測が書き込まれているボックス２１７の中心に移動された場合に得られる不良数の予想である。従って、ユーザが、しきい値感度線２０３を、１６５個の不良を示している現在のボックス２１８の中心から、３７５個の不良を示している次の下のボックス２１７の中心の位置まで下げた場合は、ボックス２１７、２１８、２１６を参照することによって、オペレータは、感度しきい値線２０３を各ボックスの中心の近くに設定することにより生じる欠陥数を予測することができる。数値表示は、欠陥スケール２１２が変更されたとき或いは感度しきい値線２０３が変更されたときに素早く再計算される。
【０１０９】
また、グラフィックユーザインタフェースの一部は、標本画像又は複数のサムネイル型画像を含む「サムネイル」ビデオ画像ボックス２０８である。これは、グラフィック表示２００等のグラフィック表示の一部と考えることもできる。標本画像２０７は、棒グラフ２００のバー２０２の内の１つに対応する検査結果の画像である。ユーザが、バー２１５によって表わされる実際の画像を見たい場合、ユーザは、バー２１５をクリックすることができ、これに対応する画像が、画像２０７としてボックス２０８内に表示される。従って、オペレータは、バー２０２のどれかをクリック又は選択して、バーで表わされた特定の画像を表示させることができる。また、バー２０２のどれかをクリックしたままにするとき、これは、画像又はデータ等の追加情報、関係情報、又は相互関連情報を表示するトリガとして働く。例えば、特定の部品に関する更なる詳細及びその部品に対応する他の所望の直接関連する情報を含むダイアログボックスがポップアップする。このダイアログボックスは、例えば、検査中に見つかった実際の数値を示し、それがどの本体部作成装置によるものかを関連付けることができる。それは、機械部品、金型、取り付け具、又はプロセスに影響を与えるプロセス要素に関連してもよく、関心のある過去のデータの一部に関連してもよい。さらに、情報を整理し保存するソフトウェアを作成する場合に、詳しい時刻、形成に必要な圧力、更には部品シリアル番号を詳述することができる。更に他の例として、追加の選択データは、温度情報、色情報、製造パス情報、質量情報、測定情報、識別情報、バッチ情報、他の圧力情報、機械設定情報、及び保守履歴情報の内の少なくとも１つを含む。画像をスクロールする代替の方法は、様々な画像を連続的に表示し、同時にその画像に対応するグラフバー２０２を強調表示する次（next）ボタン２１０と前（previous）ボタン２０９を使用することである。ボックス２０８内に標本画像２０７として表示された各画像ごとに、ビデオサムネイルボックス２１８’内にアンラップされた関心領域ストライプ（ＲＯＩ）が現われる。ビデオサムネイルアンラップ部分２１８は、プルダウンメニュー２１９においてシングル部分モード又はマルチ部分見直しモードに設定されたときに極めて有用である。また、これは、最終１００部品モード又は最終「Ｎ」モードにおいて、本発明の多くの利点による分析を理解しやすくするのに役立つ。
【０１１０】
過去の検査によって将来の検査結果をより正確に予測するために、オペレータは、プルダウンメニュー２１９から最終「Ｎ」個部品の選択肢を選択することができる。典型的な缶産業用途では、「Ｎ」を少なくとも１０，０００部品に設定することが望ましい。これは、システムを設定するには大きい母集団のように見えるが、速度がきわめて早いため、これは、実際の生産の約３〜６分に過ぎない。
【０１１１】
図３の表示は例示であるが、この表示は、異なる特性を有する選択された混合データを（例えば、分割スクリーンで）視覚化できるように変更されてもよい。あるタイプのデータは、生産によって得られる標本に基づくものであり、別のタイプのデータは、欠陥部品の標本抽出に基づくものである。いかなる場合も、視覚化は、少なくとも一形態において、ユーザに特に有用な用語（term）で表現される。これに関して、例えば、視覚化は、寸法、質量、割合、金銭的影響、測定、視覚的属性、又は部品の数の用語で表現される。
【０１１２】
これらのパラメータは例示であるが、ソフトウェアは、より多くの関連データがそれぞれ個々の標本のレコードに結合されたより大きな過去の見直し用標本セットを支援するように作成されることが考えられる。当然ながら、特定の用途にはもっと少ない標本セットが望ましいことがある。
【０１１３】
システムの重要な利益は、間違いなく、多すぎる破棄と不合格の品質レベルの間で適切な妥協を実現する設定を容易にする高速見直しを行う機能である。このグラフィックユーザインタフェース（一形態において表示装置上の単一の視覚化画面を含む）の機能を利用することによって、初心者ユーザでも、システムの設定において、従来から使用可能な設定方式を利用する他のシステムのもっと有能な習熟したユーザよりも早く熟練することができる。更に、必要であれば、マシンビジョンシステムの調整を実質的に同時に実現することができる。更に、本発明は、複数のチャネルが使用される場合或いはシステムの複数のノード又はステーションが実施される場合に実施できる。
【０１１４】
更に本発明のシステム及び方法をさらに詳しく説明するために、図４と図５を参照する。図４と図５に示した方法が、例えばマシンビジョン物品検査環境における本発明の実施様相の一例に過ぎないことを理解されたい。本明細書で述べるように、他の実施様相も実現できることを理解されたい。更に、これらの方法を様々な方式で実施できることを理解されたい。例えば、方法は、マシンビジョンシステムのコントローラやプロセッサ等の制御システム内に適切に記憶されアクセスされるソフトウェアルーチン又はモジュールに組み込まれる。ソフトウェアは、適切な読み出し専用メモリ等に常駐してもよく、システムおよびその構成要素全体にわたって適切に分散されてもよい。本発明が使用される環境において、様々なソフトウェア技術及び対応するハードウェア構成を使用することができる。これらは、本出願を読むことにより当業者に明らかになるであろう。
【０１１５】
次に図４を参照すると、本発明の実施様相を支援する検査プロセスが示される。図示したように、検査プロセスは、当該技術分野で既知のように開始される（４００）。次に、画像データが、画像検査（４０５）から取得される（４０１）。画像は、既知のように、検査する部品に関するものである。これは、カメラや他の適切な検出装置を使用して実現されることがある。領域１０３（図２）等の部品の関心領域が識別される（４０２）。場合によっては、当業者に明らかな理由のために、関心領域は、画像の一部分であるが、画像全体でもよい。関心領域の探し出しは、マシンビジョン検査の技術分野において周知の技術によって実現される。次に、永続型バッファに関心領域のデータの要求が出される（４０３）。永続型バッファは、様々な形態をとることができるが、一形態において、停電やシステム障害などに耐えるバッファである。これに関して、永続型バッファは、不揮発性メモリモジュールの形をとることがある。この点で永続型データマネージャが使用される（４０６）。永続型データバッファは、適切に永続型バッファを探し出し利用可能にする。また、中のデータを管理するように動作することができる。永続型データバッファが利用可能な場合は、それが使用される（４０７）。永続型データバッファが利用可能でない場合、非持続ローカルバッファが使用される（４０４）。いずれの場合も、関心領域データが、選択されたバッファにロードされる（４０８）。
【０１１６】
次に、関心領域内の欠陥を検出する基準を選択する（４０９）。この場合も、このプロセスは、マシンビジョン分野において周知である。そのような基準は、図示したように記憶され、アクセスすることができる（４２７）。次に、一般に、この基準に従ってアルゴリズムが実行され欠陥が検出される（４１０）。このアルゴリズム又はルーチンは、マシンビジョン又はプロセス制御分野において典型的な方式で検査中の部品に対して実行される。１つのマシンビジョン用途において、アルゴリズム又はルーチンは、欠陥のある部品を識別するために実行される。特に、結果は適切な記憶装置に記憶される（４１２）。以下の説明から明らかなように、この記憶装置は、本明細書において意図されたグラフィックユーザインタフェースを実施する際にアクセスされる。検査（又は監視）プロセスの結果を表わす画像及び非画像データを含むデータの記憶は、本質的に、データ記憶用ハードウェア及びソフトウェアについての現状の実際的な制限の結果として選択的に行われることは理解されよう。従って、全てのデータが記憶される場合もあれば、標本抽出したデータ又は削減したデータだけを記憶することが望ましい場合もある。これに関して、時間ベースの標本抽出、カウントベースの標本抽出、周期的標本抽出、イベントベースの標本抽出、標本抽出計画理論ベースの標本抽出、シフトベースの標本抽出、ランダムベースの標本抽出、アルゴリズムベースの標本抽出、ミリタリベースの標本抽出、周波数ベースの標本抽出、パーセントベースの標本抽出、場所ベースの標本抽出、ステーションベースの標本抽出、及び製造パスベースの標本抽出の内の少なくとも１つを使用することができる。前述のように、ＳＰＣを使用してもよい。前述のように、データセットを削減することは、画像の関心領域だけを記憶するか画像の一部を記憶することを意味する。また、当然ながら、データの記憶に対応するために、従来のマシンビジョンシステムと比較して、補足的なデータ記憶技術及びハードウェアが実装されてもよいことを理解されたい。そのような線に沿って、例えば、固体デジタルメモリ、回転メモリ、光メモリ、又は他のコンピュータ記憶装置が使用される。次に、最後の基準が使用されたかどうかが判定される（４１１）。最後の基準を使用した場合は、関心領域が不良基準に適合するかどうかが判定される（４１３）。不良基準に適合する場合は、関心領域（例えば、部品）は不良と判定される（４１５）。次に、関心領域が、検査する最後の関心領域かどうかが判定される（４２８）。最後の関心領域でない場合は、新しい関心領域を探し（４０２）、処理ステップが繰り返される。最後の関心領域を検査し終わった場合は、最後の部品が検査されたかどうかが判断される（４２９）。最後の部品の検査が行われていない場合は、別の画像を取得し（４０１）、ステップが繰り返される。プロセスの最後の部品が検査し終わった場合、検査は終了する（４１４）。
【０１１７】
部品の所定のバッチに対して検査プロセスが実行されるとき、関心領域の検査結果に関するデータが前述のように記憶されることを理解されよう。当然ながら、これは、記憶された関心領域データと合致する。検査してデータを得るプロセスを完了するのに要する時間は変化することが理解されよう。使用される時間期間は、ユーザの目的、プロセスの効率などに依存する。
【０１１８】
次に図５を参照することにより、関心領域の検査結果の使い方が明らかになる。これに関して、本発明による視覚化プロセスが開始される（４１６）。次に、関心領域データがロードされる（４１７）。これに関して、永続型データマネージャが使用される（４０６）。例えば、前述のように、データマネージャは、検査中にデータが記憶された記憶場所から関連データを取り出す。次に、視覚化しかつ／又は修正する基準が選択される（４１８）。そのような基準は、本明細書で考察されているような様々な形をとることができる。例えば、基準は、グレースケール特性及び／又は欠陥の大きさである。マシンビジョン又はプロセス制御分野で使用される任意の基準又は他の基準で十分である。この場合も、それらの基準は記憶される（４２７）。次に、基準を満たすデータを示す統計値が計算される（４１９）。これは、実際に部品をシステムに戻すことなく、前に検査した部品の画像を再検査することになる。これを達成するルーチンは、当技術分野で周知のルーチンである。前述のように、部品に関する前の検査の生データが記憶されているので、部品を「再検査」することができる。データは単純に再分析され、結果が、選択された基準又は設定の変化に関して再計算される。当然ながら、この計算は、基準の感度要素と関係なく行われてもよく、様々な周知の方式で行われてもよい。計算した統計値のグラフィック表現が提示される（４２０）。これは、感度を検討するデータの再計算を含むことがある。４１９と４２０のステップは、図示したような別のステップとして実施されてもよく、再計算及び視覚化の一ステップとして実施されてもよいことを理解されたい。例えばグラフィック表示上のしきい値線を調整することによって、ユーザが感度を修正しているかどうかが判定される（４２１）。感度を修正している場合、グラフィック表現はそのように修正される（４２０）。当然ながら、データの再計算と再視覚化が行われる。修正が必要ない場合、別のパラメータを修正するかどうかが判定される（４２２）。別のパラメータを修正する場合は、そのパラメータを使用して統計値を再計算し（４１９）、ステップが繰り返される。パラメータを修正したくない場合は、視覚化又は修正のために別の基準を選択すべきかどうかが判定される（４２３）。そのような場合は、別の基準が選択され（４１８）、ステップが繰り返される。そうでない場合は、別のデータセットを視覚化するかどうかが判定される（４３０）。別のデータセットを視覚化する場合、追加の関心領域データがロードされ（４１７）、ステップが繰り返される。しかしながら、他のデータセットを望まない場合は、検査プロセスで使用される基準に変更を加えるべきかどかが判定される（４２４）。変更を加えない場合、視覚化プロセスは終了する（４２５）。しかしながら、検査基準に変更を行うように判定された場合は、そのような変更が行なわれる（４２６）。当然ながら、そのような基準データは更新される（４２７）。
【０１１９】
図４と図５のフローチャートとこの開示から、本明細書で考察するグラフィックユーザインタフェースのユーザは、このプロセスを使用する際に柔軟性を有することは明らかである。例えば、ユーザが、前述のようにシステムによって作成された視覚化を見てそれを修正することができた後で、ユーザは、視覚化と基礎データを評価し更なる視覚化（及び、結果的に更なる再計算と再分析）を行うために更に調整を行うか、或いは視覚化に対して行った調整に基づく検査又は監視システムに対する変更を行うことができる。一形態において、システムは、検査又は監視システムに行われる可能性のある中間ステップと任意の変更についての最終的な承認を必要とする場合がある。任意のそのような最終的な承認は、セキュリティーで可能とされるか又は保護される。基礎的な検査又は監視システムに対する変更を行うのに必要な技術は、当業者に明らかであろう。
【０１２０】
以上の具体化は、本発明を実施することができる１つの方法を詳述する。自動検査及びグラフィックユーザインタフェースの技術分野の当業者であれば、開示した教示を、自動検査又は自動プロセス監視システムの様々な形態及び用途を含む広い範囲を対象として含む多数の様々な方法で適用することができるであろう。
【０１２１】
以上の説明は、単に本発明の特定の実施形態の開示を提供するだけのものであり、本発明をそれらに限定するものではない。従って、本発明は前述の実施形態だけに限定されない。より正確に言うと、当業者であれば、本発明の範囲内にある代替の実施形態を想起することができることを理解されたい。
【図面の簡単な説明】
【０１２２】
【図１】部品群を示すグラフである。
【図２】検査した部品の画像のグラフィック表示である。
【図３】本発明によるグラフィックユーザインタフェースの実施例である。
【図４】本発明による方法を表わすフローチャートである。
【図５】本発明による方法を表わすフローチャートである。
【符号の説明】
【０１２３】
２００：棒グラフ、２０２：バー、２０３：感度しきい値線、２０４：Ｙ軸、２０６：時間、２０７：標本画像。
【特許請求の範囲】
【請求項１】
マシンビジョン検査システムに用いるシステムであって、
該システムは、貯蔵装置に貯蔵された、オンラインマシンビジョン検査プロセスの結果に関する選択された過去のデータの単一画面視覚化を提供するように動作するデイスプレイを有し、選択された過去のデータが、検査された部品の母集団を表わし、選択された過去のデータが、検査した部品の選択された関心領域の画像と選択された非画像データとを含むデイスプレイ装置と、
少なくとも１つのしきい値設定を有するオンラインマシンビジョン検査プロセスの調整装置とを含み、その調整が前記画像の再検査をトリガすると共に、該調整を反映して、検査又は監視プロセスの異なる結果を示すように単一の画面視覚化が変更されるシステム。
【請求項２】
単一の画面視覚化は、検査した部品の選択された画像の選択された関心領域のアンラップ表示を含む、請求項１に記載のシステム。
【請求項３】
画像は、複数のサムネイル画像を含む、請求項１に記載のシステム。
【請求項４】
視覚化は、ホログラフィ画像表示を含む、請求項１に記載のシステム。
【請求項５】
前記視覚化は、選択された過去のデータ標本群を表わす棒グラフで表わされ、それぞれの棒グラフのバーの高さは、それぞれの標本について計算された悪さ又は良さを示す指標値であり、また前記しきい値設定は、グラフィックディスプレイ上の図式的なしきい値線の操作と、前記選択された過去のデータの画像の再検査をトリガする操作とを含む請求項１に記載のシステム。
【請求項６】
検査又は監視のためのシステムであって、
検査又は監視プロセスの結果についての選択された過去のデータの視覚化を提供するように動作すると共に、該選択された過去のデータが貯蔵装置に貯蔵され、前記検査又は監視プロセス中に得られたセンサーデータ、視覚化データ又は非視覚化データを含むグラフィックディスプレイ装置と、
少なくとも１つの制御又はしきい値設定を有する検査又は監視プロセスの調整装置とを含み、前記設定を調整した場合、その調整は選択された過去のデータ内の画像の再検査をトリガすると共に、前記設定の調整を反映して、検査又は監視プロセスの異なる結果を示すように結果の視覚化が変更され、かつ、前記視覚化はホログラフィ画像表示を含むシステム。
【請求項７】
検査又は監視のためのシステムであって、
検査又は監視プロセスの結果についての選択された過去のデータの視覚化を提供するように動作すると共に、該選択された過去のデータが貯蔵装置に貯蔵され、前記検査又は監視プロセス中に得られたセンサーデータ、視覚化データ又は非視覚化データを含むグラフィックディスプレイ装置と、
少なくとも１つの制御又はしきい値設定を有する検査又は監視プロセスの調整装置とを含み、前記設定を調整した場合、その調整は選択された過去のデータ内の画像の再検査をトリガすると共に、前記設定の調整を反映して、検査又は監視プロセスの異なる結果を示すように結果の視覚化が変更され、かつ、特定の欠陥タイプの視覚化は、ホログラフィ表示の形態であるシステム。
【請求項１】
マシンビジョン検査システムに用いるシステムであって、
該システムは、貯蔵装置に貯蔵された、オンラインマシンビジョン検査プロセスの結果に関する選択された過去のデータの単一画面視覚化を提供するように動作するデイスプレイを有し、選択された過去のデータが、検査された部品の母集団を表わし、選択された過去のデータが、検査した部品の選択された関心領域の画像と選択された非画像データとを含むデイスプレイ装置と、
少なくとも１つのしきい値設定を有するオンラインマシンビジョン検査プロセスの調整装置とを含み、その調整が前記画像の再検査をトリガすると共に、該調整を反映して、検査又は監視プロセスの異なる結果を示すように単一の画面視覚化が変更されるシステム。
【請求項２】
単一の画面視覚化は、検査した部品の選択された画像の選択された関心領域のアンラップ表示を含む、請求項１に記載のシステム。
【請求項３】
画像は、複数のサムネイル画像を含む、請求項１に記載のシステム。
【請求項４】
視覚化は、ホログラフィ画像表示を含む、請求項１に記載のシステム。
【請求項５】
前記視覚化は、選択された過去のデータ標本群を表わす棒グラフで表わされ、それぞれの棒グラフのバーの高さは、それぞれの標本について計算された悪さ又は良さを示す指標値であり、また前記しきい値設定は、グラフィックディスプレイ上の図式的なしきい値線の操作と、前記選択された過去のデータの画像の再検査をトリガする操作とを含む請求項１に記載のシステム。
【請求項６】
検査又は監視のためのシステムであって、
検査又は監視プロセスの結果についての選択された過去のデータの視覚化を提供するように動作すると共に、該選択された過去のデータが貯蔵装置に貯蔵され、前記検査又は監視プロセス中に得られたセンサーデータ、視覚化データ又は非視覚化データを含むグラフィックディスプレイ装置と、
少なくとも１つの制御又はしきい値設定を有する検査又は監視プロセスの調整装置とを含み、前記設定を調整した場合、その調整は選択された過去のデータ内の画像の再検査をトリガすると共に、前記設定の調整を反映して、検査又は監視プロセスの異なる結果を示すように結果の視覚化が変更され、かつ、前記視覚化はホログラフィ画像表示を含むシステム。
【請求項７】
検査又は監視のためのシステムであって、
検査又は監視プロセスの結果についての選択された過去のデータの視覚化を提供するように動作すると共に、該選択された過去のデータが貯蔵装置に貯蔵され、前記検査又は監視プロセス中に得られたセンサーデータ、視覚化データ又は非視覚化データを含むグラフィックディスプレイ装置と、
少なくとも１つの制御又はしきい値設定を有する検査又は監視プロセスの調整装置とを含み、前記設定を調整した場合、その調整は選択された過去のデータ内の画像の再検査をトリガすると共に、前記設定の調整を反映して、検査又は監視プロセスの異なる結果を示すように結果の視覚化が変更され、かつ、特定の欠陥タイプの視覚化は、ホログラフィ表示の形態であるシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１３−１０１６２２（Ｐ２０１３−１０１６２２Ａ）
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願番号】特願２０１２−２５３４１０（Ｐ２０１２−２５３４１０）
【出願日】平成２４年１１月１９日（２０１２．１１．１９）
【分割の表示】特願２００７−５２７４６２（Ｐ２００７−５２７４６２）の分割
【原出願日】平成１７年５月２０日（２００５．５．２０）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｖｉｓｕａｌ Ｂａｓｉｃ
【出願人】（５０１４０１２８３）プレスコ テクノロジー インコーポレーテッド (13)
【氏名又は名称原語表記】ＰＲＥＳＳＣＯ ＴＥＣＨＮＯＬＯＧＹ ＩＮＣ．
【Ｆターム（参考）】
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願日】平成２４年１１月１９日（２０１２．１１．１９）
【分割の表示】特願２００７−５２７４６２（Ｐ２００７−５２７４６２）の分割
【原出願日】平成１７年５月２０日（２００５．５．２０）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｖｉｓｕａｌ Ｂａｓｉｃ
【出願人】（５０１４０１２８３）プレスコ テクノロジー インコーポレーテッド (13)
【氏名又は名称原語表記】ＰＲＥＳＳＣＯ ＴＥＣＨＮＯＬＯＧＹ ＩＮＣ．
【Ｆターム（参考）】
[ Back to top ]