生産工程の品質予測システムおよびその方法
【課題】生産装置が加工中のプロセスパラメータと、製品の過去数ロットの実際測定値とを基に、将来生産される製品品質を予測する。
【解決手段】本発明は主に推測モデル手段１００および予測モデル手段２００の二つからなり、その推測方法および予測方法は、実際の生産装置の特性に合わせて選択され、推測モデル手段１００にはバーチャル測定を用いることができる。また、本発明は自己探索手段１６０および自己調整手段１８０をさらに備え、アルゴリズムにより最適なパラメータおよび関数の組み合わせを選択して、新しい生産装置２０の特性および推測／予測精度の要求を満たす。
【解決手段】本発明は主に推測モデル手段１００および予測モデル手段２００の二つからなり、その推測方法および予測方法は、実際の生産装置の特性に合わせて選択され、推測モデル手段１００にはバーチャル測定を用いることができる。また、本発明は自己探索手段１６０および自己調整手段１８０をさらに備え、アルゴリズムにより最適なパラメータおよび関数の組み合わせを選択して、新しい生産装置２０の特性および推測／予測精度の要求を満たす。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は生産工程の品質予測システムおよびその方法に関し、特に半導体およびＴＦＴ−ＬＣＤの生産工場における生産装置の製品品質のバーチャル測定および予測に適用するシステムおよびその方法に関する。
【背景技術】
【０００２】
一般に半導体およびＴＦＴ−ＬＣＤの製造工程および検査工程は通常別々に行われる。つまり、先ず生産装置により加工を行ってから測定装置へ送って検査を行う。また、コストの関係上、大部分の検査は抜き取りサンプル方式により製品の品質を判断していた。そのため、生産工程において製品のあるロットに問題が発生しても、検査するまで分からない上、分かったときには工程設備によって不良品を含むロットが多数生産されていた。現在、大部分の方法は、生産設備のプロセスパラメータを監視し、このパラメータを基に生産された製品品質に異常が発生しているか否かを判断していた。しかし、これらの方法には、監視システムがプロセスパラメータの異常を探知したときに、不良品がすでに生産されているという共通の問題点があった。また、現在の半導体およびＴＦＴ−ＬＣＤの生産工場には、ロット生産が採用されているため、製品に異常が見つかったときには、通常一つや二つだけでなく一ロット全体が廃棄処分されるため、製品の歩留まりが低下するとともに、工場の生産能力および生産コストにも非常に悪い影響を与えた。そのため、各製造メーカは次ロットの製品品質を予測することができる方法を探していた。
【０００３】
現在、製品品質または製造工程で発生する異常を予測する方法には次のようなものがある。（１）生産データから製品不良が発生する原因を推論する半導体工場における装置修理の作業効率を向上させるアーキテクチャ。（２）ニューラルネットワークをプラズマエッチング装置のリアルタイム故障監視に利用し、パターン認識技術によりプラズマエッチング工程中のパラメータに異常が発生していないかを判断する技術。（３）表面実装技術（Surface Mount Technology：ＳＭＴ）を例に、ファジー連想メモリ（Fuzzy Associative Memory：ＦＡＭ）を用いて工程情報を取り出し、レベル調整作業管理方法と合わせ、図形化されたヒューマンマシンインタフェースを有するＳＭＴの品質予測および制御システム。（４）ウェーハの欠陥密度分布を取得する方法により歩留まり予測を向上させ、ウェーハ欠陥のクラスターレベルを探し出し、データの収集分析を行う時間およびコストを減らす。（５）製造工程中の温度を測定することによりＧａＡｓ装置の寿命を予測する方法。（６）温度上昇がＳｉＯ２薄膜の寿命に与える影響。
【０００４】
しかし、上述の研究は主に現有するプロセスパラメータデータを利用して、生産中の製品に発生する異常を推測するものであり、次ロットの製品品質を予測するものではなかった。一般にほとんどの研究は、推測するために入力されるパラメータの種類が少なかったため、推測アーキテクチャは特定の装置にしか適用することができなかった。
【０００５】
特許文献１では、半導体産業に応用する半導体ウェーハ製造工程の研磨厚の制御システムが開示されている。このシステムには、ウェーハ研磨装置、膜厚測定装置および研磨速度制御システムの三つの主要部分が含まれている。この特許文献１は、膜厚を比較する方式により必要な研磨速度を分析予測し、基本的には実際の品質測定値により研磨制御に必要な情報を提供する必要があり、バーチャル測定方式を用いて膜厚値を推測することはできず、測定するまでその結果は分からなかった。
【０００６】
特許文献２では、半導体設備に応用するデータベースパラメータモデルを利用した方法が開示されている。この方法は、半導体製造ツールの製造工程における損耗変化を比較し、この比較結果を基にパラメータ設定を変更し、加工される製品にツールの損耗により異常が発生することがないようにする。しかし、この方法には、製造工程のパラメータに大きい変化が発生した場合、データベースのパラメータモデルの種類と困難度も相対的に高まるため、設備特性の違いにより適合する予測モデルを使用することができず、柔軟性がないという問題点があった。
【０００７】
また、特許文献３では、半導体製造工程に応用する半導体製造設備の監視および工程結果の予測方法が開示されている。この方法では、工程設備のセンサデータおよび工程結果の測定値を得て、部分最小自乗方法（partial least square method）により新しいパラメータ設定を計算する。しかし、この方法では、現有するパラメータデータを基に現在生産されている製品測定値を予測することができるだけであり、将来の特定時間に生産される製品品質を予測することはできなかった。
【０００８】
また、特許文献４では、半導体ウェーハの温度予測に応用するウェーハ製造工程の温度を予測する方法が開示されている。この方法は、ウェーハ上の二種類の異なる塗布層を利用してウェーハ製造工程の温度を予測する。しかし、特許文献４の予測方法は基本的に特定種類の装置にしか適用できなかったため、汎用性に欠けていた。
【０００９】
従って、製品が生産される前に、生産装置自身が現有するプロセスパラメータと、製品の過去数ロットの品質測定データとを基に次ロットの製品品質を予測し、汎用性を備えて、従来技術の欠点を改善することのできる生産工程の品質予測システムおよびその方法が求められていた。
【００１０】
【特許文献１】米国特許第６５９４５４２号公報
【特許文献２】米国特許第６６２５５１３号公報
【特許文献３】米国特許第６６１６７５９号公報
【特許文献４】米国特許第６６６６５７７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
本発明の第１の目的は、製品が生産される前に、生産装置自身が現有するプロセスパラメータと、製品の過去数ロットの品質測定データとを基に次ロットの品質を予測することができ、製品の品質および装置の使用機能および利用率（availability）を高めて、製造業の競争力を向上する生産工程の品質予測システムおよびその方法を提供することにある。
【００１２】
本発明の第２の目的は、半導体およびＴＦＴ−ＬＣＤの製造工程における様々な設備に適用し、汎用性を備えた生産工程の品質予測システムおよびその方法を提供することにある。
【課題を解決するための手段】
【００１３】
上述の目的を達成するため、本発明の生産工程の品質予測システムは、推測モデル手段、予測モデル手段、原始データ前処理手段、自己探索手段および自己調整手段を少なくとも備える。推測モデル手段は、生産装置の一組の入力データにより推測して生産装置が生産している製品の一ロットの推測品質値を得て、推測モデル手段は推測方法から構築され、推測方法は、第１のニューラルネットワーク、ファジー理論、ステップワイズ回帰（stepwise regression）およびその他の推測能力を有する技術からなる群から選ばれる一種以上を含む。予測モデル手段は、現在推測できる製品の一ロットの推測品質と、少なくとも製品の過去一ロットの少なくとも一つの実際の品質測定値とから、製品の次ロットの予測品質値を予測し、予測モデル手段は予測方法からなり、予測方法は、加重移動平均、第２のニューラルネットワークおよびその他予測能力を備えるアルゴリズムからなる群から選ばれる一種以上を含む。原始データ前処理手段は、生産装置により入力された一組の原始データを、特定データ形式を有する入力データに変換する。自己探索手段は、推測方法または予測方法を選択して関連する初期値を設定するときに、推測方法または予測方法に必要な一組の最適なパラメータと関数との組み合わせを選んで推測／予測精度を高める。自己調整手段は、生産装置が一定時間運転された後に、推測／予測精度が所定精度よりも低くなったり、定期検査や部品交換により生産装置の特性が変化したりしたときに、自己調整機構を起動して調整を行い、新しい生産装置の特性および推測／予測精度の要求に合致させる。
【００１４】
また、本発明の生産工程の品質予測方法は、推測モデルステップ、予測モデルステップ、原始データ前処理ステップ、自己探索ステップ、評価指標ステップおよび自己調整ステップを少なくとも含む。推測モデルステップにおいて、生産装置の一組の入力データを基に推測を行い、生産装置が生産中の製品の一ロットの推測品質値を得て、推測モデルステップには推測方法が用いられ、この推測方法は、第１のニューラルネットワーク、ファジー理論、ステップワイズ回帰およびその他推測能力を有する技術からなる群から選ばれる一種以上を含む。推測モデル手段はバーチャル測定として使用することもできる。いわゆるバーチャル測定とは、生産装置により検知されたデータを基に生産装置の操作性能を推測し、実際に測定を行う必要がない方法と定義する。予測モデルステップにおいて、現在推測できる製品の一ロットの推測品質値と、少なくとも製品の前ロットの少なくとも一つの実際の品質測定値とから、製品の次ロットの予測品質値を予測し、予測モデルステップには予測方法が用いられ、この予測方法は、加重移動平均、第２のニューラルネットワークおよびその他予測能力を有するアルゴリズムからなる群から選ばれる一種以上を含む。原始データ前処理ステップにおいて、生産装置により入力された一組の原始データを、特定データ形式を有する入力データに変換する。自己探索ステップにおいて、推測方法または予測方法を選択して関連する初期値を設定するときに、推測方法または予測方法に必要な一組の最適なパラメータと関数との組み合わせを選んで推測／予測精度を高める。評価指標ステップにおいて、製造工程の品質予測システムの精度を評価し、評価指標は、平均絶対誤差率および最大誤差からなる群から選ばれる一種以上を含む。自己調整ステップでは、生産装置が一定時間運転されて、推測／予測精度が所定下限値よりも低くなったり、定期検査や部品交換により生産装置の特性が変化したりしたときに調整を行い、新しい生産装置の特性および推測／予測精度の要求に合致させる。
【発明の効果】
【００１５】
上述したことから分かるように、本発明は、製品が生産される前に、生産装置自身が現有するプロセスパラメータと、製品の過去数ロットの品質測定データとを基に次ロットの製品品質を予測し、汎用性を備えて、従来技術の欠点を改善することができる。
【発明を実施するための最良の形態】
【００１６】
本発明は、統計的品質管理（Statistic
Process Control：ＳＰＣ）、高度プロセス制御（Advanced Process Control：ＡＰＣ）などの一般の監視システムと異なり、製品が生産される前に、設備（生産装置）自体の現在のプロセスパラメータと製品の過去数ロットの品質測定データとを基に、次ロットの製品品質を予測することができる。
【００１７】
図１は、本実施形態の製造工程の品質予測システムを示すブロック図である。この品質予測システムは、推測モデル手段１００および予測モデル手段２００からなる。この品質予測システムは、バーチャル測定および品質予測へ同時に使用され、推測モデル手段１００はバーチャル測定として使用される。この二層式アーキテクチャにより、本実施形態の品質予測システムは工場の実際の必要性に合わせて適当に組み合わせることができるため、実際の応用において柔軟性を有する。また、推測モデル手段１００内で使用する推測方法は代替が可能であり、実際の生産設備の物理特性およびパラメータ特性に合わせて、例えばニューラルネットワーク、ファジー理論およびステップワイズ回帰技術などのように、人工知能、統計や数学など様々なアルゴリズムを選択することができる。予測モデル手段２００内で使用される予測方法は、加重移動平均、ニューラルネットワークまたはその他予測能力を有するアルゴリズムである。
【００１８】
図２は、本実施形態の自己探索手段および自己調整手段を有する品質予測システムを示すブロック図である。先ず、生産装置２０のプロセスパラメータおよびそのセンサデータを原始データ前処理手段１１０へ送って処理する。生産装置２０のプロセスパラメータおよびそのセンサデータの種類は非常に多く、推測モデル手段１００が使用しなければならないパラメータはこれらデータの一部だけである可能性があるため、原始データ前処理手段１１０によりデータを選別し、非常に多いデータから必要なプロセスパラメータまたはセンサデータ（Ｘｉ）を取り出す必要があった。どのデータを選択して入力パラメータにするかは、生産装置２０の物理特性と、選定された推測方法または予測方法とにより異なる。また、この生産設備から得られるプロセスパラメータおよびセンサデータは、異なるデータ形式である可能性があるため、原始データ前処理手段１１０によりこれら異なる形式を処理して、推測モデル手段１００に必要な特定のデータ形式に変換する必要があった。
【００１９】
続いて、データ前処理手段１１０により処理された入力データを推測モデル手段１００へ送る。推測モデル手段１００は、生産装置２０の入力データを利用して、現在生産されている製品品質を推測し、推測品質値（ｙｃｉ）を得る。その後、この推測品質値を予測モデル手段２００へ入力する。この予測モデル手段２００は、現在推測できる製品の現ロットの推測品質値（ｙｃｉ）と、測定装置３０により得られた製品の過去数ロットの実際品質測定値（ｙｉ−１，ｙｉ−２，…，ｙｉ−ｎ）とにより、次ロットの製品品質を予測して予測品質値（ｙｐｉ＋１）を得る。予測モデル手段２００は、推測モデル手段１００と同様に、生産装置２０自体の特性に合わせて適当な予測方法を選択し、移動平均やニューラルネットワークなどにより予測モデルが構築される。
【００２０】
続いて、推測品質値（ｙｃｉ）を推測精度評価手段１３０へ送り、この製品の実際の品質測定値（ｙｉ）と比較して、推測精度評価指標を得る。同時に予測品質値（ｙｐｉ＋１）を予測精度評価手段２１０へ送ってこの製品の実際の品質測定値（ｙｉ＋１）と比べ、予測精度評価指標を得る。推測／予測精度の評価方法は非常に多く、評価する対象特性に合わせて適合する評価指標を選択することができる。例えば、平均絶対誤差率（Mean Absolute Percentage Error：ＭＡＰＥ）および最大誤差（max error）は、本実施形態の推測／予測精度の評価指標にすることができる。
【００２１】
また、半導体およびＴＦＴ−ＬＣＤの生産工場にある生産設備は種類が非常に多く、設備特性も同じでないため、一種類だけの推測アルゴリズムを様々な種類の装置に適用することは困難であった。そのため、本実施形態が提供する一般の推測モデル手段１００および予測モデル手段２００は、ユーザ１０が選択および設定のインタフェース１２０を介し、生産装置２０の特性に合わせて人工知能、統計または数学などの様々なアルゴリズムを選択することにより、推測モデル手段１００および予測モデル手段２００の推測方法および予測方法を構築する。使用する装置の種類が増加すると同時に予測アルゴリズムが増加し続けている現状において、用いることのできる予測アルゴリズムが多くなると、本予測アーキテクチャの適用性もそれに従って広がる。ユーザ１０は選択および設定のインタフェース１２０を用いて推測方法または予測方法を適当に選択し、関連初期値を設定することができる。そして、ユーザ１０が選択および設定を完了すると、品質予測システムは直ちに実行される。
【００２２】
本実施形態のもう一つの特徴は、推測モデルの自己探索手段３００、予測モデルの自己探索手段３１０、推測モデルの自己調整手段４００および予測モデルの自己調整手段４１０にあり、その主な目的は推測／予測アーキテクチャの構築にかかる労力および時間を減らすことにある。図２に示すように、一つの推測モデルまたは予測モデルを効率良く構築するため、本実施形態は様々なアルゴリズムが選択されて組み込まれた自己探索手段を提供する。例えば、ユーザ１０がバックプロパゲーションニューラルネットワークを選択して推測モデルを構築する場合、自己探索手段３００は、ユーザ１０により設定された隠れ層の層数、各隠れ層の個数範囲および伝達関数の種類などを基に、最適なパラメータ、関数およびウエイト値の組み合わせを自動的に探索する。ユーザ１０がファジー理論により推測モデルを構築した場合、自己探索手段３００は設定可能なメンバシップ関数から最適なメンバシップ関数を探し出す。この他に、ラジアル基底関数（Radial Basis Function）ニューラルネットワークを選択して推測モデルを構築し、トレーニング時間を短縮することもできる。同様に、ユーザ１０が加重移動平均により予測モデルを構築した場合、自己探索手段３１０はユーザ１０により設定されたウエイト値の範囲を基に最適なウエイト値の組み合わせを探し出す。そのため、ユーザ１０が探索パラメータの範囲または関数の種類を設定するだけで、自己探索手段３００、３１０は最適なモデルパラメータ、関数およびウエイト値の組み合わせを探し出すことができる。通常、各生産設備はそれぞれが異なるプロセスパラメータとセンサ特性とを有するため、装置特性により推測モデルおよび予測モデルを構築する必要がある。一つの新しいモデルを構築するには、非常に多くの人的資源と時間とを投入する必要があるため、自己探索手段は開発に必要な時間と人的資源を減らし、一つ一つ予め構築されたモデルにより、本実施形態の推測／予測システムを新しい装置へ移すときにかかる設定と調整の時間を大幅に短縮することができる。
【００２３】
また、設備は生産の過程において、時間が経過するにともない、部品が老化、疲労して設備特性に偏移が発生したり、定期検査、部品交換などにより回復された後の装置特性が以前の状態と一致しなくなるといった問題が発生したりするときに、予測アーキテクチャは自己調整を行う能力が必要であった。そして、これらの問題は推測モデルの自己調整手段４００および予測モデルの自己調整手段４１０により処理される。推測／予測精度評価指標を監視することにより、自己調整手段４００、４１０は、品質推測／予測モデル手段１００、２００の状態をいつでも知ることができ、実際の設備の必要性に合わせて許容精度の所定下限値Ｍ％（例えば９０％〜９９％）を設定することができる。推測／予測システム精度が所定の下限値よりも低い場合、自己調整手段４００、４１０は起動されて自己探索手段３００、３１０と合わせて、この推測／予測精度が所定下限値よりも低いデータをトレーニングデータ中へ加え、新たにトレーニングして一つの新しい品質予測システムを構築することにより古い品質予測システムを代替し、推測／予測精度を以前の要求標準まで回復させることができる。
【００２４】
図２において、予測モデルの自己調整手段４１０が点線で示されているが、これはこの自己調整手段４１０が選択可能であることを表している。つまり、この予測システムアーキテクチャは、選択された予測モデルに合わせて、この自己調整手段４１０を加えるか否かを決定することができるということである。予測モデル手段に加重移動平均が用いられている場合、このアルゴリズム自体の特性は自己調整機構の効果を突出させることが容易でないため、予測モデルの自己調整手段４１０を加えないことが考慮できる。ニューラルネットワークを予測モデルのアーキテクチャ方法にした場合、自己調整手段４１０を加えて予測誤差を低減させ、予測結果の精度をさらに向上させることができる。また、新しいアーキテクチャのノード数範囲の設定には、予め構築したアーキテクチャのノード数を基準にして、探索範囲を小さくして、自己調整手段の探索時間を節約することができる。
【００２５】
以下の実施形態では、ＴＦＴ−ＬＣＤの生産工場におけるスパッタリング装置を用いて説明する。
【００２６】
図３は、本実施形態のＴＦＴ−ＬＣＤの生産工場におけるスパッタリング装置を示す模式図である。この装置の内部には全部で１６個のモジュールがあり、各モジュールはそれぞれ異なる加工を行ってガラス（原材料）上に一層の薄い金属膜をコーティングし、この金属膜の機能はＬＣＤパネルのカラーフレームにすることである。図３の矢印は、製造工程が実施される方向を表す。先ず、ガラスが出入口から加工装置モジュールへ入れられ、モジュールの番号順に加工が行われる。前半８つのモジュールが完了すると、回転モジュールによりガラスを９番目のモジュールまで回転させて加工を継続し、最後に出入口から送り出す。この工程の各モジュールは全て真空状態である。真空バキュームを実行するモジュールには真空度センサが設置されて真空状態を知ることができる。不活性ガスの輸送を実行するモジュールには気体濃度センサが設置され、気体濃度の実際の状態を知ることができる。加工領域中の正負イオンプラズマ濃度を制御する電界には、電圧、電流およびパワーを探知するセンサが設置されている。そのため、実際の加工工程では連続したセンサデータが記録される。生産装置は生産工程においてプロセスパラメータ（センサ）データを記録し、ガラスの加工が完了すると、完成品１００個毎に２個をランダムに抜き取って測定装置へ送り、スパッタリング層の膜厚データを測定して記録する。
【００２７】
図４は、本実施形態の品質予測工程の流れを示す模式図であり、測定装置により提供される製品の過去数ロットの測定品質値（ｙｉ−１，ｙｉ−２，…，ｙｉ−ｎ）と、生産装置が現在生産中のプロセスパラメータから推測された現ロットの推測品質値（ｙｃｉ）とから、次ロットの予測品質値（ｙｐｉ＋１）を予測することができる。
【００２８】
（推測モデル手段の構築）
推測モデル手段の推測方法には、人工知能、数学や統計などの様々なアルゴリズムを用いることができる。本実施形態ではバックプロパゲーションニューラルネットワークの方法により構築された推測モデルを説明する。図５は、本実施形態の推測モデル手段の構築ステップを示す流れ図である。
【００２９】
先ず、ステップ４２２において、センサデータを集めて入力パラメータを選択する。本実施形態の装置は加工工程において、記録できるパラメータが計１７７項目あり、設備エンジニアにより設定された固定項目を削除し、装置特性を基に９６項目のパラメータを選別して有効なプロセスパラメータデータにする。これらのパラメータは、真空度、不活性ガス濃度、温度、電圧、電流、パワーの６種類に分けられる。その後、設備特徴、パラメータ特性分析および設備エンジニアの意見を基に、９６項目のパラメータから４０項目のパラメータを選別して入力パラメータとする。この４０項目のパラメータは、それぞれ装置モジュールの真空度、不活性ガス濃度およびパワーである。各モジュールセンサは、１０秒毎に一つのデータを記録し、一製品を約１分で完成させる。従って、１分間には６つのセンサデータと一つの製品とがつくられる。図６は、一つのモジュールのプロセスパラメータデータおよび製品測定値の一部を示す表であり、その表中では左から右にサンプリング時間、真空度、気体濃度１、気体濃度２、気体濃度３、パワー、加工開始時間および製品測定値が示されている。製品１００個毎にランダムに２個抜き取って測定し、抜き取る時間は約１００分間隔である。上述したことから分かるように、６つ毎の入力パラメータ値は、一製品の測定値に対応する。センサは１０秒毎に１データを記録するため、各パラメータには１分間に６つのデータが生成される。本実施形態は、製品を基に各設備モジュールの加工時間の前後の順番を選択し、全部で６つのデータを推測モデルのニューラルネットワークとして入力する。
【００３０】
続いて、ステップ４２４において、隠れ層の層数、ノード数範囲および伝達関数の種類を選択する。隠れ層の層数は、一般の情況では一層か二層で良好な収斂状態を得ることができる。隠れ層のノード数を多くすると収斂速度が加速されて、小さい誤差値を得ることができ、好適な推測効果を得ることができる。ただしノード数が多すぎると、過度の学習を引き起こしてトレーニング時間が長くなりすぎる現象を発生させる可能性があった。反対にノード数が少なすぎるときは、ネットワークアーキテクチャは出力と入力との間の関係を構築するのに不足であった。そのため、最も優れた効果を得るため、ノード数は適当に選択されなければならなかった。また、隠れ層における伝達関数の選択に関しては、従来のバックプロパゲーションニューラルネットワークの基本伝達関数タイプは対数シグモイド伝達関数（Log-Sigmoid）であり、この伝達関数は以下の数式（１）により表される。
【００３１】
【数１】
【００３２】
また、選択できるその他の伝達関数は正接シグモイド伝達関数（Hyper Tangent-Sigmoid）であり、それは数式（２）のように表される。
【００３３】
【数２】
【００３４】
本実施形態の二層の隠れ層のニューラルネットワークモデルを推測方法にし、各隠れ層の個数設定範囲を１〜５０とし、伝達関数の種類は対数シグモイド伝達関数および正接シグモイド伝達関数であり、自己探索機構を使用して、最適なノード数および伝達関数の組み合わせを自動的に探し出す。
【００３５】
続いて、ステップ４２６において、トレーニングデータセットおよびテストデータセットを選択する。本実施形態の原始装置データは８５個あり、そのうち５０個のデータセットはトレーニングデータとして使用され、残りの３５個はテストデータとして使用される。
【００３６】
続いて、データ前処理を行うステップ４２８へ進む。ステップ４２８では、ニューラルネットワークのトレーニングを実行する前に、入力値および出力値に対して正規化（normalize）を行いニューラルネットワークのトレーニングの効率をさらに良くする。そして、ニューラルネットワークのトレーニングが完了した後に、ネットワークにより推測された出力値を脱正規化することにより、実際の物理的規模を回復させる。
【００３７】
続いて、ステップ４３０において、トレーニング終了条件を設定する。本実施形態では、トレーニングのサイクル回数および誤差関数をトレーニングの終了条件に選択し、トレーニングが所定の回数値に達するか、誤差関数が所定の誤差値よりも低くなったときにトレーニングを終了する。
【００３８】
続いて、ステップ４３２において初期ウエイトを設定する。一般のニューラルネットワークでは乱数を発生させて初期ウエイトを設定するが、本実施形態では、制限条件を有するランダム初期化ウエイト値の方法であるニューイェン（Nguyen）とウィンドロウ（Windrow）の初期化アルゴリズムにより初期ウエイトを発生させる。
【００３９】
続いて、初期ウエイト設定が完了した後に、ステップ４３４においてニューラルネットワークの実行を開始する。
【００４０】
続いて、ステップ４３６において、推測された出力と実際の出力との誤差を計算する。誤差性能関数には、以下の数式（３）に示すように平均二乗誤差（Mean Square Error：ＭＳＥ）が用いられる。
【００４１】
【数３】
【００４２】
続いて、ステップ４３８において、終了条件が成立したか否かを検査する。そして、トレーニング回数が所定の回数値に達するか、誤差関数が所定の誤差値よりも低くなるとトレーニングは直ちに停止される。
【００４３】
もし終了条件が成立しないときには、誤差を戻して初期ウエイトを調整するステップ４４０へ進んでから、ニューラルネットワークを実行するステップ４３４へ進む。ステップ４４０は、バックプロパゲーションネットワークの動作原理が基となっており、このサイクルによりニューラルネットワークの自己学習機構が構成されている。
【００４４】
ステップ４３８の終了条件が成立するとステップ４４２へ進んで、自己探索が完了したか否かを検査する。自己探索が完了していない場合には、ステップ４４４へ進んで、新しい隠れ層の層数、ノード数の個数そして伝達関数の組み合わせを選択してから、初期ウエイトを設定するステップ４３２へ進む。ステップ４４４において、自己探索機構は、新しい隠れ層の層数、ノード数の個数および伝達関数の組み合わせが未だ測定されていないか否かを検査し、まだある場合には、自己探索機構は一組の新しい隠れ層の層数、ノード数の個数そして伝達関数を選択し、ステップ４３２へ戻って測定を継続する。もし隠れ層の層数、ノード数の個数そして伝達関数の組み合わせが全て検査を通過すると、自己探索機構はステップ４４６へ進んで実行し、最適なウエイトパラメータの組み合わせを選択して保存し、推測モデルの構築を完成させる。
【００４５】
本実施形態が使用するニューラルネットワーク推測モデルは、自己学習機構を用いて構築されているため、システム開発者は可能な隠れ層の層数、各隠れ層のノード数範囲、伝達関数の種類そして終了条件などを入力するだけで、自己探索機構はこれらの設定を基に最適なニューラルネットワークの推測モデルおよび全てのウエイト値を自動的に探し出すことができるが、最適なモデルを探し出す時間は、設定されたパラメータの探索範囲と関係がある。探索時間を短縮するにはパラメータの探索範囲の大きさを適当に調整するだけでよい。一般に経験則を基に設定されたパラメータ範囲は探索時間を減らすことができ、時間という要素を考慮しなければ、パラメータの探索範囲が広いほど、より良いニューラルネットワークモデルを探し出すことができる。
【００４６】
また、本実施形態は移動平均を使用することにより予測モデル手段を構築し、この移動平均は測定設備により得られた過去二ロットの二つの実際の品質測定値（ｙｉ−１，ｙｉ−２）と、ニューラルネットワークの推測モデルにより得られた現ロットの推測品質値（ｙｃｉ）とを基に、次ロットの製品品質（ｙｐｉ＋１）を予測することができる。本実施形態は単純移動平均および加重移動平均の二種類の予測モデルによりこの予測効果を比較し、ウエイト値の範囲設定も自己探索機構（手段）が用いられて、最適な予測モデルを探索する。加重移動平均は以下の数式（４）で表される。
【００４７】
【数４】
【００４８】
ユーザはウエイトパラメータの範囲を設定するだけで、自己探索機構は可能な様々なウエイトの組み合わせを測定し、予測値（ｙｐｉ＋１）と実際の品質測定値（ｙｉ＋１）との間の誤差の大きさを基に最適なウエイト組み合わせを探し出す。
【００４９】
また、本実施形態は評価指標を用いて予測精度を判断する。本実施形態の評価指標には平均絶対誤差率（Mean Absolute Percentage Error：ＭＡＰＥ）および最大誤差（max Error）の二つの誤差指標値が用いられ、品質予測モデルの評価は次の数式（５）および数式（６）で表される。
【００５０】
【数５】
【００５１】
ＭＡＰＥ誤差指標値が０に近づくほど、モデルの予測能力は優れていることを示す。最大誤差指標は、実際値と予測値との間の最大差異を示す。
【００５２】
本実施形態の品質予測アーキテクチャは、上述の実施形態で示すニューラルネットワーク（Neural Network：ＮＮ）推測モデルと加重移動平均（ＷＭＡ）予測モデルとの組み合わせ以外にも、その他の組み合わせ方式を用いて品質予測システムを構築することもできる。例えば、ニューラルネットワーク（ＮＮ）推測モデルとニューラルネットワーク（ＮＮ）予測モデル、或いは一つに複合されたニューラルネットワーク（Combined Neural Network：ＣＮＮ）推測予測モデルの組み合わせなどである。図７は、本実施形態の予測結果を示すグラフである。１〜１０のデータをトレーニングデータとし、１１〜３０のデータをテストデータとし、本実施形態によるニューラルネットワーク（ＮＮ）のＭＡＰＥ値は１．８２％であり、複合ニューラルネットワーク（ＣＮＮ）のＭＡＰＥ値は１．７５％であり、最大誤差値はＮＮが４．９３％であり、ＣＮＮは４．２５％である。
【００５３】
以下、本実施形態の自己調整機構（手段）の動作を説明する。
【００５４】
図８は、本実施形態の推測／予測モデル自己調整機構（手段）の動作を示す流れ図である。
【００５５】
図２に示す品質予測システムの構築が完了すると、製品の品質予測を開始する。先ず、ステップ５０２において、プロセスパラメータおよびセンサデータを入力し、予測する生産装置のプロセスパラメータおよびセンサデータを品質予測システム中へ入力する。
【００５６】
続いて、ステップ５０４において、品質推測／予測機構を実行する。品質予測システムが、生産装置からプロセスパラメータおよびセンサデータを得ると、予め構築されていた品質推測／予測機構を基に製品の次ロットの品質推測／予測を行う。
【００５７】
続いて、ステップ５０６において、推測／予測値精度を計算する。自己調整機構（手段）は、製品の品質推測／予測値および実際の品質測定値を基に、推測／予測精度を計算する。
【００５８】
続いて、ステップ５０８において、予測精度が所定の下限値（例えば９５％）よりも低いか否かを判断する。その結果がノーの場合にはステップ５０２へ戻り、イエスの場合にはステップ５１０へ進み、推測／予測精度が所定の下限値よりも低いデータはトレーニングデータ中に入れられ、再びトレーニングを行って精度が高い推測／予測アーキテクチャを構築する（ステップ５１２）。ステップ５１２は、ステップ５１０において選択されたデータを利用し、前述した推測モデルおよび予測モデルの構築方法を用いて、一つの新しい品質推測／予測アーキテクチャを再び構築する。これが完成すると、ステップ５０２へ戻り、製品の次ロットの品質推測／予測を継続して実行する。
【００５９】
図９のグラフは、ニューラルネットワークの推測モデル手段を用いて、自己調整前と自己調整後の比較結果を曲線で表したものであり、正方形の印は自己調整前の推測値を示し、菱形の印は自己調整後の推測値を示す。
【００６０】
図９から分かるように、自己調整機構を有する推測モデルは、自己調整機構がないモデルよりも良い予測結果を得る（自己調整機構がない推測モデルの最大誤差（Max Error）は１１．０４％であり、自己調整機構を有する推測モデルの最大誤差（Max Error）は僅かに３．３９％である）。例えば、設備の製造工程に特性ドリフト（drift）／シフト（shift）が発生すると、ＮＮモデルまたはＣＮＮモデルは、特性ドリフト／シフトに関連するデータまでトレーニングされていないため、システムの推測／予測精度はこの製造工程のドリフト／シフトにより低下し（図９の左側の点線楕円で示す）、このときに推測システムは自己調整機構を起動し、この異常モデルをトレーニングに加える。その後、類似する異常が発生すると、製造工程のドリフト／シフトを正確に推測／予測し（図９の右側および中央の実線円で示す）。そのため、ＮＮまたはＣＮＮモデルの自己調整機構に対する設計は品質予測機構の精度を向上させることができる。
【００６１】
以下、本実施形態の簡便化された品質予測アーキテクチャを説明する。
【００６２】
図２に示すのは、本実施形態の典型的な推測能力および予測能力を有する品質予測アーキテクチャであるが、推測方法（アルゴリズム）および予測方法（アルゴリズム）はともにニューラルネットワークを選択し、これら推測モデル手段１００および予測モデル手段２００は複合することができる。図１０は、本発明のもう一つの実施形態による複合された後の一つのニューラルネットワークモデルの品質予測システムを示すブロック図である。この品質予測システムは、選択および設定のインタフェース１２２、推測／予測手段１５０、自己探索手段１６０、精度評価手段１７０および自己調整手段１８０からなる。推測／予測手段１５０の入力値は原始データ前処理手段１１０からのプロセスパラメータおよびセンサデータ（Ｘｉ）と、製品の過去数ロットの実際の品質測定値（ｙｉ−１，ｙｉ−２，…，ｙｉ−ｎ）であり、出力値は現ロットの膜厚推測値（ｙｃｉ）および製品の次ロットの膜厚予測値（ｙｐｉ＋１）である。
【００６３】
ニューラルネットワーク（ＮＮ）推測モデルと加重移動平均（ＷＭＡ）予測モデル、ニューラルネットワーク（ＮＮ）推測モデルとニューラルネットワーク（ＮＮ）予測モデルそして一つに複合されたニューラルネットワーク（ＣＮＮ）により構築された品質予測システムのＭＡＰＥ予測結果は以下の通りである。
【００６４】
ＮＮ−ＷＭＡの予測値ＭＡＰＥは１．７３％であり、ＮＮ−ＮＮの予測値ＭＡＰＥは１．７６％であり、ＣＮＮの予測値ＭＡＰＥは１．６３％である。そして、これら三種類の最大誤差の差異は１％の範囲内である。そのため、上述の結果からこれら三種類の異なる組み合わせは、実施形態の品質予測システムへの応用が実行可能であることが証明できる。
【００６５】
本発明の好適な実施形態から分かるように、本実施形態のアーキテクチャは、製品が生産される前から、生産装置により検知された現在のプロセスパラメータおよび測定装置により集められた製品の過去数ロットの品質測定データを基に、次ロットの品質を予測することができる。そのため、不良品の発生を大幅に減らして、工場の生産能力および製品の歩留まりを向上させることができるだけでなく、生産コストを下げて工場の競争力を高めることもできる。また、本実施形態はバーチャル測定および品質予測を同時に行うことができるため、汎用性を備えている。また、本実施形態は自己探索機構および自己調整機構を備え、推測／予測の精度を効果的に高めることができる。
【００６６】
本発明では好適な実施形態を前述の通り開示したが、これらは決して本発明を限定するものではなく、当該技術を熟知するものなら誰でも、本発明の主旨と領域を脱しない範囲内で各種の変更や修正を加えることができる。従って本発明の保護の範囲は、特許請求の範囲で指定した内容を基準とする。
【図面の簡単な説明】
【００６７】
【図１】本発明の一実施形態による生産工程の品質予測システムの主要構造を示すブロック図である。
【図２】本発明の一実施形態による自己探索手段および自己調整機構手段を備える品質予測システムを示すブロック図である。
【図３】本発明の一実施形態によるＴＦＴ−ＬＣＤの生産工場におけるスパッタリング装置の設備を示す模式図である。
【図４】本発明の一実施形態による品質予測の流れを示す模式図である。
【図５】本発明の一実施形態による推測モデル手段の構築ステップを示す流れ図である。
【図６】本発明の一実施形態による一モデルのプロセスパラメータデータおよび製品測定値の一部を示す表である。
【図７】本発明の一実施形態による予測結果を示すグラフである。
【図８】本発明の一実施形態による推測／予測モデル自己調整機構（手段）の動作を示す流れ図である。
【図９】本発明の一実施形態によるニューラルネットワークの推測モデル手段を用いて、自己調整前と自己調整後の結果比較を示すグラフである。
【図１０】本発明の一実施形態による複合後の一つのニューラルネットワークモデルの品質予測システムを示すブロック図である。
【符号の説明】
【００６８】
１０ ユーザ
２０ 生産装置
３０ 測定装置
１００ 推測モデル手段
１１０ 原始データ前処理手段
１２０ 選択および設定のインタフェース
１２２ 選択および設定のインタフェース
１３０ 推測精度評価手段
１５０ 推測／予測手段
１６０ 自己探索手段
１７０ 精度評価手段
１８０ 自己調整手段
２００ 予測モデル手段
２１０ 予測精度評価手段
３００ 推測モデルの自己探索手段
３１０ 予測モデルの自己探索手段
４００ 推測モデルの自己調整手段
４１０ 予測モデルの自己調整手段
４２２ センサデータを集めて入力パラメータを選択
４２４ 隠れ層の層数、ノード数の範囲および伝達関数の種類を選択
４２６ トレーニングデータセットおよびテストデータセットの選択
４２８ データ前処理
４３０ トレーニング終了条件の設定
４３２ 初期ウエイトの設定
４３４ ニューラルネットワークの実行
４３６ 推測出力と実際出力との誤差の計算
４３８ 終了条件が成立したか否か検査
４４０ 誤差を戻して初期ウエイトを調整
４４２ 自己探索が完了したか否かを検査
４４４ 新しい隠れ層の層数、ノード数の個数および伝達関数の組み合わせを選択
４４６ 最適なウエイトパラメータの組み合わせを選択して推測モデルを構築
５０２ プロセスパラメータおよびセンサデータを入力
５０４ 品質推測／予測機構の実行
５０６ 推測／予測値精度の計算
５０８ 予測精度の所定回数が連続して所定下限値よりも低いか判断
５１０ 新しいトレーニングデータセットおよびテストデータセットの選択
５１２ 品質予測アーキテクチャの再構築
【技術分野】
【０００１】
本発明は生産工程の品質予測システムおよびその方法に関し、特に半導体およびＴＦＴ−ＬＣＤの生産工場における生産装置の製品品質のバーチャル測定および予測に適用するシステムおよびその方法に関する。
【背景技術】
【０００２】
一般に半導体およびＴＦＴ−ＬＣＤの製造工程および検査工程は通常別々に行われる。つまり、先ず生産装置により加工を行ってから測定装置へ送って検査を行う。また、コストの関係上、大部分の検査は抜き取りサンプル方式により製品の品質を判断していた。そのため、生産工程において製品のあるロットに問題が発生しても、検査するまで分からない上、分かったときには工程設備によって不良品を含むロットが多数生産されていた。現在、大部分の方法は、生産設備のプロセスパラメータを監視し、このパラメータを基に生産された製品品質に異常が発生しているか否かを判断していた。しかし、これらの方法には、監視システムがプロセスパラメータの異常を探知したときに、不良品がすでに生産されているという共通の問題点があった。また、現在の半導体およびＴＦＴ−ＬＣＤの生産工場には、ロット生産が採用されているため、製品に異常が見つかったときには、通常一つや二つだけでなく一ロット全体が廃棄処分されるため、製品の歩留まりが低下するとともに、工場の生産能力および生産コストにも非常に悪い影響を与えた。そのため、各製造メーカは次ロットの製品品質を予測することができる方法を探していた。
【０００３】
現在、製品品質または製造工程で発生する異常を予測する方法には次のようなものがある。（１）生産データから製品不良が発生する原因を推論する半導体工場における装置修理の作業効率を向上させるアーキテクチャ。（２）ニューラルネットワークをプラズマエッチング装置のリアルタイム故障監視に利用し、パターン認識技術によりプラズマエッチング工程中のパラメータに異常が発生していないかを判断する技術。（３）表面実装技術（Surface Mount Technology：ＳＭＴ）を例に、ファジー連想メモリ（Fuzzy Associative Memory：ＦＡＭ）を用いて工程情報を取り出し、レベル調整作業管理方法と合わせ、図形化されたヒューマンマシンインタフェースを有するＳＭＴの品質予測および制御システム。（４）ウェーハの欠陥密度分布を取得する方法により歩留まり予測を向上させ、ウェーハ欠陥のクラスターレベルを探し出し、データの収集分析を行う時間およびコストを減らす。（５）製造工程中の温度を測定することによりＧａＡｓ装置の寿命を予測する方法。（６）温度上昇がＳｉＯ２薄膜の寿命に与える影響。
【０００４】
しかし、上述の研究は主に現有するプロセスパラメータデータを利用して、生産中の製品に発生する異常を推測するものであり、次ロットの製品品質を予測するものではなかった。一般にほとんどの研究は、推測するために入力されるパラメータの種類が少なかったため、推測アーキテクチャは特定の装置にしか適用することができなかった。
【０００５】
特許文献１では、半導体産業に応用する半導体ウェーハ製造工程の研磨厚の制御システムが開示されている。このシステムには、ウェーハ研磨装置、膜厚測定装置および研磨速度制御システムの三つの主要部分が含まれている。この特許文献１は、膜厚を比較する方式により必要な研磨速度を分析予測し、基本的には実際の品質測定値により研磨制御に必要な情報を提供する必要があり、バーチャル測定方式を用いて膜厚値を推測することはできず、測定するまでその結果は分からなかった。
【０００６】
特許文献２では、半導体設備に応用するデータベースパラメータモデルを利用した方法が開示されている。この方法は、半導体製造ツールの製造工程における損耗変化を比較し、この比較結果を基にパラメータ設定を変更し、加工される製品にツールの損耗により異常が発生することがないようにする。しかし、この方法には、製造工程のパラメータに大きい変化が発生した場合、データベースのパラメータモデルの種類と困難度も相対的に高まるため、設備特性の違いにより適合する予測モデルを使用することができず、柔軟性がないという問題点があった。
【０００７】
また、特許文献３では、半導体製造工程に応用する半導体製造設備の監視および工程結果の予測方法が開示されている。この方法では、工程設備のセンサデータおよび工程結果の測定値を得て、部分最小自乗方法（partial least square method）により新しいパラメータ設定を計算する。しかし、この方法では、現有するパラメータデータを基に現在生産されている製品測定値を予測することができるだけであり、将来の特定時間に生産される製品品質を予測することはできなかった。
【０００８】
また、特許文献４では、半導体ウェーハの温度予測に応用するウェーハ製造工程の温度を予測する方法が開示されている。この方法は、ウェーハ上の二種類の異なる塗布層を利用してウェーハ製造工程の温度を予測する。しかし、特許文献４の予測方法は基本的に特定種類の装置にしか適用できなかったため、汎用性に欠けていた。
【０００９】
従って、製品が生産される前に、生産装置自身が現有するプロセスパラメータと、製品の過去数ロットの品質測定データとを基に次ロットの製品品質を予測し、汎用性を備えて、従来技術の欠点を改善することのできる生産工程の品質予測システムおよびその方法が求められていた。
【００１０】
【特許文献１】米国特許第６５９４５４２号公報
【特許文献２】米国特許第６６２５５１３号公報
【特許文献３】米国特許第６６１６７５９号公報
【特許文献４】米国特許第６６６６５７７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
本発明の第１の目的は、製品が生産される前に、生産装置自身が現有するプロセスパラメータと、製品の過去数ロットの品質測定データとを基に次ロットの品質を予測することができ、製品の品質および装置の使用機能および利用率（availability）を高めて、製造業の競争力を向上する生産工程の品質予測システムおよびその方法を提供することにある。
【００１２】
本発明の第２の目的は、半導体およびＴＦＴ−ＬＣＤの製造工程における様々な設備に適用し、汎用性を備えた生産工程の品質予測システムおよびその方法を提供することにある。
【課題を解決するための手段】
【００１３】
上述の目的を達成するため、本発明の生産工程の品質予測システムは、推測モデル手段、予測モデル手段、原始データ前処理手段、自己探索手段および自己調整手段を少なくとも備える。推測モデル手段は、生産装置の一組の入力データにより推測して生産装置が生産している製品の一ロットの推測品質値を得て、推測モデル手段は推測方法から構築され、推測方法は、第１のニューラルネットワーク、ファジー理論、ステップワイズ回帰（stepwise regression）およびその他の推測能力を有する技術からなる群から選ばれる一種以上を含む。予測モデル手段は、現在推測できる製品の一ロットの推測品質と、少なくとも製品の過去一ロットの少なくとも一つの実際の品質測定値とから、製品の次ロットの予測品質値を予測し、予測モデル手段は予測方法からなり、予測方法は、加重移動平均、第２のニューラルネットワークおよびその他予測能力を備えるアルゴリズムからなる群から選ばれる一種以上を含む。原始データ前処理手段は、生産装置により入力された一組の原始データを、特定データ形式を有する入力データに変換する。自己探索手段は、推測方法または予測方法を選択して関連する初期値を設定するときに、推測方法または予測方法に必要な一組の最適なパラメータと関数との組み合わせを選んで推測／予測精度を高める。自己調整手段は、生産装置が一定時間運転された後に、推測／予測精度が所定精度よりも低くなったり、定期検査や部品交換により生産装置の特性が変化したりしたときに、自己調整機構を起動して調整を行い、新しい生産装置の特性および推測／予測精度の要求に合致させる。
【００１４】
また、本発明の生産工程の品質予測方法は、推測モデルステップ、予測モデルステップ、原始データ前処理ステップ、自己探索ステップ、評価指標ステップおよび自己調整ステップを少なくとも含む。推測モデルステップにおいて、生産装置の一組の入力データを基に推測を行い、生産装置が生産中の製品の一ロットの推測品質値を得て、推測モデルステップには推測方法が用いられ、この推測方法は、第１のニューラルネットワーク、ファジー理論、ステップワイズ回帰およびその他推測能力を有する技術からなる群から選ばれる一種以上を含む。推測モデル手段はバーチャル測定として使用することもできる。いわゆるバーチャル測定とは、生産装置により検知されたデータを基に生産装置の操作性能を推測し、実際に測定を行う必要がない方法と定義する。予測モデルステップにおいて、現在推測できる製品の一ロットの推測品質値と、少なくとも製品の前ロットの少なくとも一つの実際の品質測定値とから、製品の次ロットの予測品質値を予測し、予測モデルステップには予測方法が用いられ、この予測方法は、加重移動平均、第２のニューラルネットワークおよびその他予測能力を有するアルゴリズムからなる群から選ばれる一種以上を含む。原始データ前処理ステップにおいて、生産装置により入力された一組の原始データを、特定データ形式を有する入力データに変換する。自己探索ステップにおいて、推測方法または予測方法を選択して関連する初期値を設定するときに、推測方法または予測方法に必要な一組の最適なパラメータと関数との組み合わせを選んで推測／予測精度を高める。評価指標ステップにおいて、製造工程の品質予測システムの精度を評価し、評価指標は、平均絶対誤差率および最大誤差からなる群から選ばれる一種以上を含む。自己調整ステップでは、生産装置が一定時間運転されて、推測／予測精度が所定下限値よりも低くなったり、定期検査や部品交換により生産装置の特性が変化したりしたときに調整を行い、新しい生産装置の特性および推測／予測精度の要求に合致させる。
【発明の効果】
【００１５】
上述したことから分かるように、本発明は、製品が生産される前に、生産装置自身が現有するプロセスパラメータと、製品の過去数ロットの品質測定データとを基に次ロットの製品品質を予測し、汎用性を備えて、従来技術の欠点を改善することができる。
【発明を実施するための最良の形態】
【００１６】
本発明は、統計的品質管理（Statistic
Process Control：ＳＰＣ）、高度プロセス制御（Advanced Process Control：ＡＰＣ）などの一般の監視システムと異なり、製品が生産される前に、設備（生産装置）自体の現在のプロセスパラメータと製品の過去数ロットの品質測定データとを基に、次ロットの製品品質を予測することができる。
【００１７】
図１は、本実施形態の製造工程の品質予測システムを示すブロック図である。この品質予測システムは、推測モデル手段１００および予測モデル手段２００からなる。この品質予測システムは、バーチャル測定および品質予測へ同時に使用され、推測モデル手段１００はバーチャル測定として使用される。この二層式アーキテクチャにより、本実施形態の品質予測システムは工場の実際の必要性に合わせて適当に組み合わせることができるため、実際の応用において柔軟性を有する。また、推測モデル手段１００内で使用する推測方法は代替が可能であり、実際の生産設備の物理特性およびパラメータ特性に合わせて、例えばニューラルネットワーク、ファジー理論およびステップワイズ回帰技術などのように、人工知能、統計や数学など様々なアルゴリズムを選択することができる。予測モデル手段２００内で使用される予測方法は、加重移動平均、ニューラルネットワークまたはその他予測能力を有するアルゴリズムである。
【００１８】
図２は、本実施形態の自己探索手段および自己調整手段を有する品質予測システムを示すブロック図である。先ず、生産装置２０のプロセスパラメータおよびそのセンサデータを原始データ前処理手段１１０へ送って処理する。生産装置２０のプロセスパラメータおよびそのセンサデータの種類は非常に多く、推測モデル手段１００が使用しなければならないパラメータはこれらデータの一部だけである可能性があるため、原始データ前処理手段１１０によりデータを選別し、非常に多いデータから必要なプロセスパラメータまたはセンサデータ（Ｘｉ）を取り出す必要があった。どのデータを選択して入力パラメータにするかは、生産装置２０の物理特性と、選定された推測方法または予測方法とにより異なる。また、この生産設備から得られるプロセスパラメータおよびセンサデータは、異なるデータ形式である可能性があるため、原始データ前処理手段１１０によりこれら異なる形式を処理して、推測モデル手段１００に必要な特定のデータ形式に変換する必要があった。
【００１９】
続いて、データ前処理手段１１０により処理された入力データを推測モデル手段１００へ送る。推測モデル手段１００は、生産装置２０の入力データを利用して、現在生産されている製品品質を推測し、推測品質値（ｙｃｉ）を得る。その後、この推測品質値を予測モデル手段２００へ入力する。この予測モデル手段２００は、現在推測できる製品の現ロットの推測品質値（ｙｃｉ）と、測定装置３０により得られた製品の過去数ロットの実際品質測定値（ｙｉ−１，ｙｉ−２，…，ｙｉ−ｎ）とにより、次ロットの製品品質を予測して予測品質値（ｙｐｉ＋１）を得る。予測モデル手段２００は、推測モデル手段１００と同様に、生産装置２０自体の特性に合わせて適当な予測方法を選択し、移動平均やニューラルネットワークなどにより予測モデルが構築される。
【００２０】
続いて、推測品質値（ｙｃｉ）を推測精度評価手段１３０へ送り、この製品の実際の品質測定値（ｙｉ）と比較して、推測精度評価指標を得る。同時に予測品質値（ｙｐｉ＋１）を予測精度評価手段２１０へ送ってこの製品の実際の品質測定値（ｙｉ＋１）と比べ、予測精度評価指標を得る。推測／予測精度の評価方法は非常に多く、評価する対象特性に合わせて適合する評価指標を選択することができる。例えば、平均絶対誤差率（Mean Absolute Percentage Error：ＭＡＰＥ）および最大誤差（max error）は、本実施形態の推測／予測精度の評価指標にすることができる。
【００２１】
また、半導体およびＴＦＴ−ＬＣＤの生産工場にある生産設備は種類が非常に多く、設備特性も同じでないため、一種類だけの推測アルゴリズムを様々な種類の装置に適用することは困難であった。そのため、本実施形態が提供する一般の推測モデル手段１００および予測モデル手段２００は、ユーザ１０が選択および設定のインタフェース１２０を介し、生産装置２０の特性に合わせて人工知能、統計または数学などの様々なアルゴリズムを選択することにより、推測モデル手段１００および予測モデル手段２００の推測方法および予測方法を構築する。使用する装置の種類が増加すると同時に予測アルゴリズムが増加し続けている現状において、用いることのできる予測アルゴリズムが多くなると、本予測アーキテクチャの適用性もそれに従って広がる。ユーザ１０は選択および設定のインタフェース１２０を用いて推測方法または予測方法を適当に選択し、関連初期値を設定することができる。そして、ユーザ１０が選択および設定を完了すると、品質予測システムは直ちに実行される。
【００２２】
本実施形態のもう一つの特徴は、推測モデルの自己探索手段３００、予測モデルの自己探索手段３１０、推測モデルの自己調整手段４００および予測モデルの自己調整手段４１０にあり、その主な目的は推測／予測アーキテクチャの構築にかかる労力および時間を減らすことにある。図２に示すように、一つの推測モデルまたは予測モデルを効率良く構築するため、本実施形態は様々なアルゴリズムが選択されて組み込まれた自己探索手段を提供する。例えば、ユーザ１０がバックプロパゲーションニューラルネットワークを選択して推測モデルを構築する場合、自己探索手段３００は、ユーザ１０により設定された隠れ層の層数、各隠れ層の個数範囲および伝達関数の種類などを基に、最適なパラメータ、関数およびウエイト値の組み合わせを自動的に探索する。ユーザ１０がファジー理論により推測モデルを構築した場合、自己探索手段３００は設定可能なメンバシップ関数から最適なメンバシップ関数を探し出す。この他に、ラジアル基底関数（Radial Basis Function）ニューラルネットワークを選択して推測モデルを構築し、トレーニング時間を短縮することもできる。同様に、ユーザ１０が加重移動平均により予測モデルを構築した場合、自己探索手段３１０はユーザ１０により設定されたウエイト値の範囲を基に最適なウエイト値の組み合わせを探し出す。そのため、ユーザ１０が探索パラメータの範囲または関数の種類を設定するだけで、自己探索手段３００、３１０は最適なモデルパラメータ、関数およびウエイト値の組み合わせを探し出すことができる。通常、各生産設備はそれぞれが異なるプロセスパラメータとセンサ特性とを有するため、装置特性により推測モデルおよび予測モデルを構築する必要がある。一つの新しいモデルを構築するには、非常に多くの人的資源と時間とを投入する必要があるため、自己探索手段は開発に必要な時間と人的資源を減らし、一つ一つ予め構築されたモデルにより、本実施形態の推測／予測システムを新しい装置へ移すときにかかる設定と調整の時間を大幅に短縮することができる。
【００２３】
また、設備は生産の過程において、時間が経過するにともない、部品が老化、疲労して設備特性に偏移が発生したり、定期検査、部品交換などにより回復された後の装置特性が以前の状態と一致しなくなるといった問題が発生したりするときに、予測アーキテクチャは自己調整を行う能力が必要であった。そして、これらの問題は推測モデルの自己調整手段４００および予測モデルの自己調整手段４１０により処理される。推測／予測精度評価指標を監視することにより、自己調整手段４００、４１０は、品質推測／予測モデル手段１００、２００の状態をいつでも知ることができ、実際の設備の必要性に合わせて許容精度の所定下限値Ｍ％（例えば９０％〜９９％）を設定することができる。推測／予測システム精度が所定の下限値よりも低い場合、自己調整手段４００、４１０は起動されて自己探索手段３００、３１０と合わせて、この推測／予測精度が所定下限値よりも低いデータをトレーニングデータ中へ加え、新たにトレーニングして一つの新しい品質予測システムを構築することにより古い品質予測システムを代替し、推測／予測精度を以前の要求標準まで回復させることができる。
【００２４】
図２において、予測モデルの自己調整手段４１０が点線で示されているが、これはこの自己調整手段４１０が選択可能であることを表している。つまり、この予測システムアーキテクチャは、選択された予測モデルに合わせて、この自己調整手段４１０を加えるか否かを決定することができるということである。予測モデル手段に加重移動平均が用いられている場合、このアルゴリズム自体の特性は自己調整機構の効果を突出させることが容易でないため、予測モデルの自己調整手段４１０を加えないことが考慮できる。ニューラルネットワークを予測モデルのアーキテクチャ方法にした場合、自己調整手段４１０を加えて予測誤差を低減させ、予測結果の精度をさらに向上させることができる。また、新しいアーキテクチャのノード数範囲の設定には、予め構築したアーキテクチャのノード数を基準にして、探索範囲を小さくして、自己調整手段の探索時間を節約することができる。
【００２５】
以下の実施形態では、ＴＦＴ−ＬＣＤの生産工場におけるスパッタリング装置を用いて説明する。
【００２６】
図３は、本実施形態のＴＦＴ−ＬＣＤの生産工場におけるスパッタリング装置を示す模式図である。この装置の内部には全部で１６個のモジュールがあり、各モジュールはそれぞれ異なる加工を行ってガラス（原材料）上に一層の薄い金属膜をコーティングし、この金属膜の機能はＬＣＤパネルのカラーフレームにすることである。図３の矢印は、製造工程が実施される方向を表す。先ず、ガラスが出入口から加工装置モジュールへ入れられ、モジュールの番号順に加工が行われる。前半８つのモジュールが完了すると、回転モジュールによりガラスを９番目のモジュールまで回転させて加工を継続し、最後に出入口から送り出す。この工程の各モジュールは全て真空状態である。真空バキュームを実行するモジュールには真空度センサが設置されて真空状態を知ることができる。不活性ガスの輸送を実行するモジュールには気体濃度センサが設置され、気体濃度の実際の状態を知ることができる。加工領域中の正負イオンプラズマ濃度を制御する電界には、電圧、電流およびパワーを探知するセンサが設置されている。そのため、実際の加工工程では連続したセンサデータが記録される。生産装置は生産工程においてプロセスパラメータ（センサ）データを記録し、ガラスの加工が完了すると、完成品１００個毎に２個をランダムに抜き取って測定装置へ送り、スパッタリング層の膜厚データを測定して記録する。
【００２７】
図４は、本実施形態の品質予測工程の流れを示す模式図であり、測定装置により提供される製品の過去数ロットの測定品質値（ｙｉ−１，ｙｉ−２，…，ｙｉ−ｎ）と、生産装置が現在生産中のプロセスパラメータから推測された現ロットの推測品質値（ｙｃｉ）とから、次ロットの予測品質値（ｙｐｉ＋１）を予測することができる。
【００２８】
（推測モデル手段の構築）
推測モデル手段の推測方法には、人工知能、数学や統計などの様々なアルゴリズムを用いることができる。本実施形態ではバックプロパゲーションニューラルネットワークの方法により構築された推測モデルを説明する。図５は、本実施形態の推測モデル手段の構築ステップを示す流れ図である。
【００２９】
先ず、ステップ４２２において、センサデータを集めて入力パラメータを選択する。本実施形態の装置は加工工程において、記録できるパラメータが計１７７項目あり、設備エンジニアにより設定された固定項目を削除し、装置特性を基に９６項目のパラメータを選別して有効なプロセスパラメータデータにする。これらのパラメータは、真空度、不活性ガス濃度、温度、電圧、電流、パワーの６種類に分けられる。その後、設備特徴、パラメータ特性分析および設備エンジニアの意見を基に、９６項目のパラメータから４０項目のパラメータを選別して入力パラメータとする。この４０項目のパラメータは、それぞれ装置モジュールの真空度、不活性ガス濃度およびパワーである。各モジュールセンサは、１０秒毎に一つのデータを記録し、一製品を約１分で完成させる。従って、１分間には６つのセンサデータと一つの製品とがつくられる。図６は、一つのモジュールのプロセスパラメータデータおよび製品測定値の一部を示す表であり、その表中では左から右にサンプリング時間、真空度、気体濃度１、気体濃度２、気体濃度３、パワー、加工開始時間および製品測定値が示されている。製品１００個毎にランダムに２個抜き取って測定し、抜き取る時間は約１００分間隔である。上述したことから分かるように、６つ毎の入力パラメータ値は、一製品の測定値に対応する。センサは１０秒毎に１データを記録するため、各パラメータには１分間に６つのデータが生成される。本実施形態は、製品を基に各設備モジュールの加工時間の前後の順番を選択し、全部で６つのデータを推測モデルのニューラルネットワークとして入力する。
【００３０】
続いて、ステップ４２４において、隠れ層の層数、ノード数範囲および伝達関数の種類を選択する。隠れ層の層数は、一般の情況では一層か二層で良好な収斂状態を得ることができる。隠れ層のノード数を多くすると収斂速度が加速されて、小さい誤差値を得ることができ、好適な推測効果を得ることができる。ただしノード数が多すぎると、過度の学習を引き起こしてトレーニング時間が長くなりすぎる現象を発生させる可能性があった。反対にノード数が少なすぎるときは、ネットワークアーキテクチャは出力と入力との間の関係を構築するのに不足であった。そのため、最も優れた効果を得るため、ノード数は適当に選択されなければならなかった。また、隠れ層における伝達関数の選択に関しては、従来のバックプロパゲーションニューラルネットワークの基本伝達関数タイプは対数シグモイド伝達関数（Log-Sigmoid）であり、この伝達関数は以下の数式（１）により表される。
【００３１】
【数１】
【００３２】
また、選択できるその他の伝達関数は正接シグモイド伝達関数（Hyper Tangent-Sigmoid）であり、それは数式（２）のように表される。
【００３３】
【数２】
【００３４】
本実施形態の二層の隠れ層のニューラルネットワークモデルを推測方法にし、各隠れ層の個数設定範囲を１〜５０とし、伝達関数の種類は対数シグモイド伝達関数および正接シグモイド伝達関数であり、自己探索機構を使用して、最適なノード数および伝達関数の組み合わせを自動的に探し出す。
【００３５】
続いて、ステップ４２６において、トレーニングデータセットおよびテストデータセットを選択する。本実施形態の原始装置データは８５個あり、そのうち５０個のデータセットはトレーニングデータとして使用され、残りの３５個はテストデータとして使用される。
【００３６】
続いて、データ前処理を行うステップ４２８へ進む。ステップ４２８では、ニューラルネットワークのトレーニングを実行する前に、入力値および出力値に対して正規化（normalize）を行いニューラルネットワークのトレーニングの効率をさらに良くする。そして、ニューラルネットワークのトレーニングが完了した後に、ネットワークにより推測された出力値を脱正規化することにより、実際の物理的規模を回復させる。
【００３７】
続いて、ステップ４３０において、トレーニング終了条件を設定する。本実施形態では、トレーニングのサイクル回数および誤差関数をトレーニングの終了条件に選択し、トレーニングが所定の回数値に達するか、誤差関数が所定の誤差値よりも低くなったときにトレーニングを終了する。
【００３８】
続いて、ステップ４３２において初期ウエイトを設定する。一般のニューラルネットワークでは乱数を発生させて初期ウエイトを設定するが、本実施形態では、制限条件を有するランダム初期化ウエイト値の方法であるニューイェン（Nguyen）とウィンドロウ（Windrow）の初期化アルゴリズムにより初期ウエイトを発生させる。
【００３９】
続いて、初期ウエイト設定が完了した後に、ステップ４３４においてニューラルネットワークの実行を開始する。
【００４０】
続いて、ステップ４３６において、推測された出力と実際の出力との誤差を計算する。誤差性能関数には、以下の数式（３）に示すように平均二乗誤差（Mean Square Error：ＭＳＥ）が用いられる。
【００４１】
【数３】
【００４２】
続いて、ステップ４３８において、終了条件が成立したか否かを検査する。そして、トレーニング回数が所定の回数値に達するか、誤差関数が所定の誤差値よりも低くなるとトレーニングは直ちに停止される。
【００４３】
もし終了条件が成立しないときには、誤差を戻して初期ウエイトを調整するステップ４４０へ進んでから、ニューラルネットワークを実行するステップ４３４へ進む。ステップ４４０は、バックプロパゲーションネットワークの動作原理が基となっており、このサイクルによりニューラルネットワークの自己学習機構が構成されている。
【００４４】
ステップ４３８の終了条件が成立するとステップ４４２へ進んで、自己探索が完了したか否かを検査する。自己探索が完了していない場合には、ステップ４４４へ進んで、新しい隠れ層の層数、ノード数の個数そして伝達関数の組み合わせを選択してから、初期ウエイトを設定するステップ４３２へ進む。ステップ４４４において、自己探索機構は、新しい隠れ層の層数、ノード数の個数および伝達関数の組み合わせが未だ測定されていないか否かを検査し、まだある場合には、自己探索機構は一組の新しい隠れ層の層数、ノード数の個数そして伝達関数を選択し、ステップ４３２へ戻って測定を継続する。もし隠れ層の層数、ノード数の個数そして伝達関数の組み合わせが全て検査を通過すると、自己探索機構はステップ４４６へ進んで実行し、最適なウエイトパラメータの組み合わせを選択して保存し、推測モデルの構築を完成させる。
【００４５】
本実施形態が使用するニューラルネットワーク推測モデルは、自己学習機構を用いて構築されているため、システム開発者は可能な隠れ層の層数、各隠れ層のノード数範囲、伝達関数の種類そして終了条件などを入力するだけで、自己探索機構はこれらの設定を基に最適なニューラルネットワークの推測モデルおよび全てのウエイト値を自動的に探し出すことができるが、最適なモデルを探し出す時間は、設定されたパラメータの探索範囲と関係がある。探索時間を短縮するにはパラメータの探索範囲の大きさを適当に調整するだけでよい。一般に経験則を基に設定されたパラメータ範囲は探索時間を減らすことができ、時間という要素を考慮しなければ、パラメータの探索範囲が広いほど、より良いニューラルネットワークモデルを探し出すことができる。
【００４６】
また、本実施形態は移動平均を使用することにより予測モデル手段を構築し、この移動平均は測定設備により得られた過去二ロットの二つの実際の品質測定値（ｙｉ−１，ｙｉ−２）と、ニューラルネットワークの推測モデルにより得られた現ロットの推測品質値（ｙｃｉ）とを基に、次ロットの製品品質（ｙｐｉ＋１）を予測することができる。本実施形態は単純移動平均および加重移動平均の二種類の予測モデルによりこの予測効果を比較し、ウエイト値の範囲設定も自己探索機構（手段）が用いられて、最適な予測モデルを探索する。加重移動平均は以下の数式（４）で表される。
【００４７】
【数４】
【００４８】
ユーザはウエイトパラメータの範囲を設定するだけで、自己探索機構は可能な様々なウエイトの組み合わせを測定し、予測値（ｙｐｉ＋１）と実際の品質測定値（ｙｉ＋１）との間の誤差の大きさを基に最適なウエイト組み合わせを探し出す。
【００４９】
また、本実施形態は評価指標を用いて予測精度を判断する。本実施形態の評価指標には平均絶対誤差率（Mean Absolute Percentage Error：ＭＡＰＥ）および最大誤差（max Error）の二つの誤差指標値が用いられ、品質予測モデルの評価は次の数式（５）および数式（６）で表される。
【００５０】
【数５】
【００５１】
ＭＡＰＥ誤差指標値が０に近づくほど、モデルの予測能力は優れていることを示す。最大誤差指標は、実際値と予測値との間の最大差異を示す。
【００５２】
本実施形態の品質予測アーキテクチャは、上述の実施形態で示すニューラルネットワーク（Neural Network：ＮＮ）推測モデルと加重移動平均（ＷＭＡ）予測モデルとの組み合わせ以外にも、その他の組み合わせ方式を用いて品質予測システムを構築することもできる。例えば、ニューラルネットワーク（ＮＮ）推測モデルとニューラルネットワーク（ＮＮ）予測モデル、或いは一つに複合されたニューラルネットワーク（Combined Neural Network：ＣＮＮ）推測予測モデルの組み合わせなどである。図７は、本実施形態の予測結果を示すグラフである。１〜１０のデータをトレーニングデータとし、１１〜３０のデータをテストデータとし、本実施形態によるニューラルネットワーク（ＮＮ）のＭＡＰＥ値は１．８２％であり、複合ニューラルネットワーク（ＣＮＮ）のＭＡＰＥ値は１．７５％であり、最大誤差値はＮＮが４．９３％であり、ＣＮＮは４．２５％である。
【００５３】
以下、本実施形態の自己調整機構（手段）の動作を説明する。
【００５４】
図８は、本実施形態の推測／予測モデル自己調整機構（手段）の動作を示す流れ図である。
【００５５】
図２に示す品質予測システムの構築が完了すると、製品の品質予測を開始する。先ず、ステップ５０２において、プロセスパラメータおよびセンサデータを入力し、予測する生産装置のプロセスパラメータおよびセンサデータを品質予測システム中へ入力する。
【００５６】
続いて、ステップ５０４において、品質推測／予測機構を実行する。品質予測システムが、生産装置からプロセスパラメータおよびセンサデータを得ると、予め構築されていた品質推測／予測機構を基に製品の次ロットの品質推測／予測を行う。
【００５７】
続いて、ステップ５０６において、推測／予測値精度を計算する。自己調整機構（手段）は、製品の品質推測／予測値および実際の品質測定値を基に、推測／予測精度を計算する。
【００５８】
続いて、ステップ５０８において、予測精度が所定の下限値（例えば９５％）よりも低いか否かを判断する。その結果がノーの場合にはステップ５０２へ戻り、イエスの場合にはステップ５１０へ進み、推測／予測精度が所定の下限値よりも低いデータはトレーニングデータ中に入れられ、再びトレーニングを行って精度が高い推測／予測アーキテクチャを構築する（ステップ５１２）。ステップ５１２は、ステップ５１０において選択されたデータを利用し、前述した推測モデルおよび予測モデルの構築方法を用いて、一つの新しい品質推測／予測アーキテクチャを再び構築する。これが完成すると、ステップ５０２へ戻り、製品の次ロットの品質推測／予測を継続して実行する。
【００５９】
図９のグラフは、ニューラルネットワークの推測モデル手段を用いて、自己調整前と自己調整後の比較結果を曲線で表したものであり、正方形の印は自己調整前の推測値を示し、菱形の印は自己調整後の推測値を示す。
【００６０】
図９から分かるように、自己調整機構を有する推測モデルは、自己調整機構がないモデルよりも良い予測結果を得る（自己調整機構がない推測モデルの最大誤差（Max Error）は１１．０４％であり、自己調整機構を有する推測モデルの最大誤差（Max Error）は僅かに３．３９％である）。例えば、設備の製造工程に特性ドリフト（drift）／シフト（shift）が発生すると、ＮＮモデルまたはＣＮＮモデルは、特性ドリフト／シフトに関連するデータまでトレーニングされていないため、システムの推測／予測精度はこの製造工程のドリフト／シフトにより低下し（図９の左側の点線楕円で示す）、このときに推測システムは自己調整機構を起動し、この異常モデルをトレーニングに加える。その後、類似する異常が発生すると、製造工程のドリフト／シフトを正確に推測／予測し（図９の右側および中央の実線円で示す）。そのため、ＮＮまたはＣＮＮモデルの自己調整機構に対する設計は品質予測機構の精度を向上させることができる。
【００６１】
以下、本実施形態の簡便化された品質予測アーキテクチャを説明する。
【００６２】
図２に示すのは、本実施形態の典型的な推測能力および予測能力を有する品質予測アーキテクチャであるが、推測方法（アルゴリズム）および予測方法（アルゴリズム）はともにニューラルネットワークを選択し、これら推測モデル手段１００および予測モデル手段２００は複合することができる。図１０は、本発明のもう一つの実施形態による複合された後の一つのニューラルネットワークモデルの品質予測システムを示すブロック図である。この品質予測システムは、選択および設定のインタフェース１２２、推測／予測手段１５０、自己探索手段１６０、精度評価手段１７０および自己調整手段１８０からなる。推測／予測手段１５０の入力値は原始データ前処理手段１１０からのプロセスパラメータおよびセンサデータ（Ｘｉ）と、製品の過去数ロットの実際の品質測定値（ｙｉ−１，ｙｉ−２，…，ｙｉ−ｎ）であり、出力値は現ロットの膜厚推測値（ｙｃｉ）および製品の次ロットの膜厚予測値（ｙｐｉ＋１）である。
【００６３】
ニューラルネットワーク（ＮＮ）推測モデルと加重移動平均（ＷＭＡ）予測モデル、ニューラルネットワーク（ＮＮ）推測モデルとニューラルネットワーク（ＮＮ）予測モデルそして一つに複合されたニューラルネットワーク（ＣＮＮ）により構築された品質予測システムのＭＡＰＥ予測結果は以下の通りである。
【００６４】
ＮＮ−ＷＭＡの予測値ＭＡＰＥは１．７３％であり、ＮＮ−ＮＮの予測値ＭＡＰＥは１．７６％であり、ＣＮＮの予測値ＭＡＰＥは１．６３％である。そして、これら三種類の最大誤差の差異は１％の範囲内である。そのため、上述の結果からこれら三種類の異なる組み合わせは、実施形態の品質予測システムへの応用が実行可能であることが証明できる。
【００６５】
本発明の好適な実施形態から分かるように、本実施形態のアーキテクチャは、製品が生産される前から、生産装置により検知された現在のプロセスパラメータおよび測定装置により集められた製品の過去数ロットの品質測定データを基に、次ロットの品質を予測することができる。そのため、不良品の発生を大幅に減らして、工場の生産能力および製品の歩留まりを向上させることができるだけでなく、生産コストを下げて工場の競争力を高めることもできる。また、本実施形態はバーチャル測定および品質予測を同時に行うことができるため、汎用性を備えている。また、本実施形態は自己探索機構および自己調整機構を備え、推測／予測の精度を効果的に高めることができる。
【００６６】
本発明では好適な実施形態を前述の通り開示したが、これらは決して本発明を限定するものではなく、当該技術を熟知するものなら誰でも、本発明の主旨と領域を脱しない範囲内で各種の変更や修正を加えることができる。従って本発明の保護の範囲は、特許請求の範囲で指定した内容を基準とする。
【図面の簡単な説明】
【００６７】
【図１】本発明の一実施形態による生産工程の品質予測システムの主要構造を示すブロック図である。
【図２】本発明の一実施形態による自己探索手段および自己調整機構手段を備える品質予測システムを示すブロック図である。
【図３】本発明の一実施形態によるＴＦＴ−ＬＣＤの生産工場におけるスパッタリング装置の設備を示す模式図である。
【図４】本発明の一実施形態による品質予測の流れを示す模式図である。
【図５】本発明の一実施形態による推測モデル手段の構築ステップを示す流れ図である。
【図６】本発明の一実施形態による一モデルのプロセスパラメータデータおよび製品測定値の一部を示す表である。
【図７】本発明の一実施形態による予測結果を示すグラフである。
【図８】本発明の一実施形態による推測／予測モデル自己調整機構（手段）の動作を示す流れ図である。
【図９】本発明の一実施形態によるニューラルネットワークの推測モデル手段を用いて、自己調整前と自己調整後の結果比較を示すグラフである。
【図１０】本発明の一実施形態による複合後の一つのニューラルネットワークモデルの品質予測システムを示すブロック図である。
【符号の説明】
【００６８】
１０ ユーザ
２０ 生産装置
３０ 測定装置
１００ 推測モデル手段
１１０ 原始データ前処理手段
１２０ 選択および設定のインタフェース
１２２ 選択および設定のインタフェース
１３０ 推測精度評価手段
１５０ 推測／予測手段
１６０ 自己探索手段
１７０ 精度評価手段
１８０ 自己調整手段
２００ 予測モデル手段
２１０ 予測精度評価手段
３００ 推測モデルの自己探索手段
３１０ 予測モデルの自己探索手段
４００ 推測モデルの自己調整手段
４１０ 予測モデルの自己調整手段
４２２ センサデータを集めて入力パラメータを選択
４２４ 隠れ層の層数、ノード数の範囲および伝達関数の種類を選択
４２６ トレーニングデータセットおよびテストデータセットの選択
４２８ データ前処理
４３０ トレーニング終了条件の設定
４３２ 初期ウエイトの設定
４３４ ニューラルネットワークの実行
４３６ 推測出力と実際出力との誤差の計算
４３８ 終了条件が成立したか否か検査
４４０ 誤差を戻して初期ウエイトを調整
４４２ 自己探索が完了したか否かを検査
４４４ 新しい隠れ層の層数、ノード数の個数および伝達関数の組み合わせを選択
４４６ 最適なウエイトパラメータの組み合わせを選択して推測モデルを構築
５０２ プロセスパラメータおよびセンサデータを入力
５０４ 品質推測／予測機構の実行
５０６ 推測／予測値精度の計算
５０８ 予測精度の所定回数が連続して所定下限値よりも低いか判断
５１０ 新しいトレーニングデータセットおよびテストデータセットの選択
５１２ 品質予測アーキテクチャの再構築
【特許請求の範囲】
【請求項１】
推測モデル手段、予測モデル手段、原始データ前処理手段、自己探索手段、自己調整手段および評価指標を少なくとも備える生産工程の品質予測システムであって、
前記推測モデル手段は、生産装置の現在の一組の入力データにより推測して前記生産装置が生産している製品の一ロットの推測品質値を得て、前記推測モデル手段は推測方法から構築され、前記推測方法は、第１のニューラルネットワーク、ファジー理論、ステップワイズ回帰およびその他の推測能力を有する技術からなる群から選ばれる一種以上を含み、
前記予測モデル手段は、現在推測される前記製品の一ロットの前記推測品質と、少なくとも製品の過去一ロットの少なくとも一つの実際の品質測定値とから、製品の次ロットの予測品質値を予測し、前記予測モデル手段は予測方法からなり、前記予測方法は、加重移動平均、第２のニューラルネットワークおよびその他予測能力を備えるアルゴリズムからなる群から選ばれる一種以上を含み、
前記原始データ前処理手段は、前記生産装置により入力された一組の原始データを、特定データ形式を有する前記入力データに変換し、
前記自己探索手段は、前記推測方法または前記予測方法を選択して関連する初期値を設定するときに、前記推測方法または前記予測方法に必要な一組の最適なパラメータと関数との組み合わせを選んで推測／予測精度を高め、
前記自己調整手段は、前記生産装置が一定時間運転された後に、推測／予測精度が所定精度よりも低くなったり、定期検査や部品交換により前記生産装置の特性が変化したりしたときに、前記自己調整機構を起動して調整を行い、新しい前記生産装置の特性および推測／予測精度の要求に合致させ、
前記評価指標は、前記製造工程の品質予測システムの精度を評価し、前記評価指標は、平均絶対誤差率（ＭＡＰＥ）および最大誤差（max error）からなる群から選ばれる一種以上を含むことを特徴とする生産工程の品質予測システム。
【請求項２】
推測モデルステップ、予測モデルステップ、原始データ前処理ステップ、自己探索ステップ、評価指標ステップおよび自己調整ステップを少なくとも含む生産工程の品質予測方法であって、
前記推測モデルステップにおいて、生産装置の現在の一組の入力データを基に推測を行い、前記生産装置が生産中の製品の一ロットの推測品質値を得て、前記推測モデルステップには推測方法が用いられ、前記推測方法は、第１のニューラルネットワーク、ファジー理論、ステップワイズ回帰およびその他推測能力を有する技術からなる群から選ばれる一種以上を含み、
前記予測モデルステップにおいて、現在推測できる製品の一ロットの前記推測品質値と、少なくとも製品の前ロットの少なくとも一つの実際の品質測定値とから、製品の次ロットの予測品質値を予測し、前記予測モデルステップには予測方法が用いられ、前記予測方法は、加重移動平均、第２のニューラルネットワークおよびその他予測能力を有するアルゴリズムからなる群から選ばれる一種以上を含み、
前記原始データ前処理ステップにおいて、前記生産装置により入力された一組の原始データを、特定データ形式を有する前記入力データに変換し、
前記自己探索ステップにおいて、前記推測方法または前記予測方法を選択して関連する初期値を設定するときに、前記推測方法または前記予測方法に必要な一組の最適なパラメータと関数との組み合わせを選んで推測／予測精度を高め、
前記評価指標ステップにおいて、前記製造工程の品質予測システムの精度を評価し、前記評価指標は、平均絶対誤差率および最大誤差からなる群から選ばれる一種以上を含み、
前記自己調整ステップは、前記生産装置が一定時間運転されて、推測／予測精度が所定下限値よりも低くなったり、定期検査や部品交換により生産装置の特性が変化したりしたときに調整を行い、新しい前記生産装置の特性および推測／予測精度の要求に合致させることを特徴とする生産工程の品質予測方法。
【請求項３】
前記ニューラルネットワークを用いる生産工程の品質予測方法であって、
前記推測モデルステップが、
前記生産装置のセンサデータを集めて複数の入力パラメータを選択するステップと、
隠れ層の層数、ノード数の範囲および伝達関数を選択するステップと、
複数のトレーニングデータセットおよび複数のテストデータセットを選択するステップと、
データ前処理を実施し、前記ニューラルネットワークのトレーニングを行う前に、前記センサデータおよび前記出力パラメータに対して正規化（normalize）を行い、前記ニューラルネットワークのトレーニングが完了した後に、前記ニューラルネットワークにより推測して得られた出力値を脱正規化するステップと、
前記ニューラルネットワークのトレーニング終了条件を設定するステップと、
前記ニューラルネットワークの初期ウエイトを設定するステップと、
前記ニューラルネットワークを実行するステップと、
推測出力と実際出力との誤差を計算するステップと、
終了条件が成立しているか否かを検査し、トレーニング回数が所定回数値に達するか前記誤差が所定誤差値よりも低くなる終了条件が成立したときに、前記ニューラルネットワークのトレーニングを終了するステップと、
前記終了条件が成立しないときに、前記誤差を戻して初期ウエイトを調整するステップを行い、前記ニューラルネットワークを実行するステップと、
自己探索が完了したか否かを検査して検査結果を生成するステップと、
前記検査結果がノーのときに、新しい隠れ層の層数、新しいノード数の個数または新しい伝達関数を選択するステップと、
前記検査結果がイエスのときに、前記初期ウエイト、前記隠れ層の層数、前記ノード数の範囲および前記伝達関数の最適な組み合わせを選択して、前記推測モデルステップの構築を完了するステップと、
を少なくとも含むことを特徴とする請求項２記載の生産工程の品質予測方法。
【請求項４】
前記予測方法は加重移動平均を用い、前記加重移動平均は測定装置により得られた製品の過去二ロットの前記実際の品質測定値（ｙｉ−１，ｙｉ−２）、前記推測品質値（ｙｃｉ）を基に、製品の次ロットの前記予測品質値（ｙｐｉ＋１）を予測し、前記加重移動平均の式は、ｙｐｉ＋１＝ｗｉｙｃｉ＋ｗｉ−１ｙｉ−１＋ｗｉ−２ｙｉ−２で表され、そのうちｗｉ，ｗｉ−１，ｗｉ−２はウエイト値であることを特徴とする請求項２記載の生産工程の品質予測方法。
【請求項５】
前記自己調整ステップは、
前記生産装置のセンサデータを集めて複数の入力パラメータを選択するステップと、
前記推測および／または予測モデルステップを実行し、製品の次ロットの前記推測および／または予測品質値を得るステップと、
前記推測および／または予測品質値と、実際の品質測定値とを用いて前記推測および／または予測品質値の推測および／または予測精度を計算するステップと、
前記推測および／または予測精度が前記所定下限値よりも低いか否かを判断して判断結果を生成するステップと、
前記判断結果がイエスのときに、前記推測／予測精度が所定下限値よりも低いデータをトレーニングデータへ加えて再びトレーニングし、前記推測および／または予測モデルステップを構築してから、製品の次ロットの品質推測／予測を継続して行うステップと、
前記判断結果がノーのときに、製品の次ロットの品質推測／予測を継続して行うステップと、
を少なくとも含むことを特徴とする請求項２記載の生産工程の品質予測方法。
【請求項１】
推測モデル手段、予測モデル手段、原始データ前処理手段、自己探索手段、自己調整手段および評価指標を少なくとも備える生産工程の品質予測システムであって、
前記推測モデル手段は、生産装置の現在の一組の入力データにより推測して前記生産装置が生産している製品の一ロットの推測品質値を得て、前記推測モデル手段は推測方法から構築され、前記推測方法は、第１のニューラルネットワーク、ファジー理論、ステップワイズ回帰およびその他の推測能力を有する技術からなる群から選ばれる一種以上を含み、
前記予測モデル手段は、現在推測される前記製品の一ロットの前記推測品質と、少なくとも製品の過去一ロットの少なくとも一つの実際の品質測定値とから、製品の次ロットの予測品質値を予測し、前記予測モデル手段は予測方法からなり、前記予測方法は、加重移動平均、第２のニューラルネットワークおよびその他予測能力を備えるアルゴリズムからなる群から選ばれる一種以上を含み、
前記原始データ前処理手段は、前記生産装置により入力された一組の原始データを、特定データ形式を有する前記入力データに変換し、
前記自己探索手段は、前記推測方法または前記予測方法を選択して関連する初期値を設定するときに、前記推測方法または前記予測方法に必要な一組の最適なパラメータと関数との組み合わせを選んで推測／予測精度を高め、
前記自己調整手段は、前記生産装置が一定時間運転された後に、推測／予測精度が所定精度よりも低くなったり、定期検査や部品交換により前記生産装置の特性が変化したりしたときに、前記自己調整機構を起動して調整を行い、新しい前記生産装置の特性および推測／予測精度の要求に合致させ、
前記評価指標は、前記製造工程の品質予測システムの精度を評価し、前記評価指標は、平均絶対誤差率（ＭＡＰＥ）および最大誤差（max error）からなる群から選ばれる一種以上を含むことを特徴とする生産工程の品質予測システム。
【請求項２】
推測モデルステップ、予測モデルステップ、原始データ前処理ステップ、自己探索ステップ、評価指標ステップおよび自己調整ステップを少なくとも含む生産工程の品質予測方法であって、
前記推測モデルステップにおいて、生産装置の現在の一組の入力データを基に推測を行い、前記生産装置が生産中の製品の一ロットの推測品質値を得て、前記推測モデルステップには推測方法が用いられ、前記推測方法は、第１のニューラルネットワーク、ファジー理論、ステップワイズ回帰およびその他推測能力を有する技術からなる群から選ばれる一種以上を含み、
前記予測モデルステップにおいて、現在推測できる製品の一ロットの前記推測品質値と、少なくとも製品の前ロットの少なくとも一つの実際の品質測定値とから、製品の次ロットの予測品質値を予測し、前記予測モデルステップには予測方法が用いられ、前記予測方法は、加重移動平均、第２のニューラルネットワークおよびその他予測能力を有するアルゴリズムからなる群から選ばれる一種以上を含み、
前記原始データ前処理ステップにおいて、前記生産装置により入力された一組の原始データを、特定データ形式を有する前記入力データに変換し、
前記自己探索ステップにおいて、前記推測方法または前記予測方法を選択して関連する初期値を設定するときに、前記推測方法または前記予測方法に必要な一組の最適なパラメータと関数との組み合わせを選んで推測／予測精度を高め、
前記評価指標ステップにおいて、前記製造工程の品質予測システムの精度を評価し、前記評価指標は、平均絶対誤差率および最大誤差からなる群から選ばれる一種以上を含み、
前記自己調整ステップは、前記生産装置が一定時間運転されて、推測／予測精度が所定下限値よりも低くなったり、定期検査や部品交換により生産装置の特性が変化したりしたときに調整を行い、新しい前記生産装置の特性および推測／予測精度の要求に合致させることを特徴とする生産工程の品質予測方法。
【請求項３】
前記ニューラルネットワークを用いる生産工程の品質予測方法であって、
前記推測モデルステップが、
前記生産装置のセンサデータを集めて複数の入力パラメータを選択するステップと、
隠れ層の層数、ノード数の範囲および伝達関数を選択するステップと、
複数のトレーニングデータセットおよび複数のテストデータセットを選択するステップと、
データ前処理を実施し、前記ニューラルネットワークのトレーニングを行う前に、前記センサデータおよび前記出力パラメータに対して正規化（normalize）を行い、前記ニューラルネットワークのトレーニングが完了した後に、前記ニューラルネットワークにより推測して得られた出力値を脱正規化するステップと、
前記ニューラルネットワークのトレーニング終了条件を設定するステップと、
前記ニューラルネットワークの初期ウエイトを設定するステップと、
前記ニューラルネットワークを実行するステップと、
推測出力と実際出力との誤差を計算するステップと、
終了条件が成立しているか否かを検査し、トレーニング回数が所定回数値に達するか前記誤差が所定誤差値よりも低くなる終了条件が成立したときに、前記ニューラルネットワークのトレーニングを終了するステップと、
前記終了条件が成立しないときに、前記誤差を戻して初期ウエイトを調整するステップを行い、前記ニューラルネットワークを実行するステップと、
自己探索が完了したか否かを検査して検査結果を生成するステップと、
前記検査結果がノーのときに、新しい隠れ層の層数、新しいノード数の個数または新しい伝達関数を選択するステップと、
前記検査結果がイエスのときに、前記初期ウエイト、前記隠れ層の層数、前記ノード数の範囲および前記伝達関数の最適な組み合わせを選択して、前記推測モデルステップの構築を完了するステップと、
を少なくとも含むことを特徴とする請求項２記載の生産工程の品質予測方法。
【請求項４】
前記予測方法は加重移動平均を用い、前記加重移動平均は測定装置により得られた製品の過去二ロットの前記実際の品質測定値（ｙｉ−１，ｙｉ−２）、前記推測品質値（ｙｃｉ）を基に、製品の次ロットの前記予測品質値（ｙｐｉ＋１）を予測し、前記加重移動平均の式は、ｙｐｉ＋１＝ｗｉｙｃｉ＋ｗｉ−１ｙｉ−１＋ｗｉ−２ｙｉ−２で表され、そのうちｗｉ，ｗｉ−１，ｗｉ−２はウエイト値であることを特徴とする請求項２記載の生産工程の品質予測方法。
【請求項５】
前記自己調整ステップは、
前記生産装置のセンサデータを集めて複数の入力パラメータを選択するステップと、
前記推測および／または予測モデルステップを実行し、製品の次ロットの前記推測および／または予測品質値を得るステップと、
前記推測および／または予測品質値と、実際の品質測定値とを用いて前記推測および／または予測品質値の推測および／または予測精度を計算するステップと、
前記推測および／または予測精度が前記所定下限値よりも低いか否かを判断して判断結果を生成するステップと、
前記判断結果がイエスのときに、前記推測／予測精度が所定下限値よりも低いデータをトレーニングデータへ加えて再びトレーニングし、前記推測および／または予測モデルステップを構築してから、製品の次ロットの品質推測／予測を継続して行うステップと、
前記判断結果がノーのときに、製品の次ロットの品質推測／予測を継続して行うステップと、
を少なくとも含むことを特徴とする請求項２記載の生産工程の品質予測方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００６−２４１９５（Ｐ２００６−２４１９５Ａ）
【公開日】平成１８年１月２６日（２００６．１．２６）
【国際特許分類】
【外国語出願】
【出願番号】特願２００５−１６２９８９（Ｐ２００５−１６２９８９）
【出願日】平成１７年６月２日（２００５．６．２）
【出願人】（５０４４５５９０８）国立成功大学 (18)
【Ｆターム（参考）】
【公開日】平成１８年１月２６日（２００６．１．２６）
【国際特許分類】
【出願番号】特願２００５−１６２９８９（Ｐ２００５−１６２９８９）
【出願日】平成１７年６月２日（２００５．６．２）
【出願人】（５０４４５５９０８）国立成功大学 (18)
【Ｆターム（参考）】
[ Back to top ]