反復学習制御回路を備える位置制御装置
【課題】 反復学習制御は試行を繰り返すことにより追従誤差の少ない制御入力を得ることができるが、制御対象にパラメータ変動がある場合には、学習性能が劣化し試行の回数が多くなってしまう。
【解決手段】 本発明の位置決め装置は、制御対象の位置を検出する検出部と、前記検出部の出力を目標値から減算する減算部と、前記検出部の出力と前記目標値との偏差が入力されるフィルタを含み、前記制御対象に制御入力をフィードフォワードする反復学習制御回路と、を備える位置制御装置であって、前記制御対象のパラメータ変動を算出する算出手段を備え、前記制御対象のパラメータ変動に応じて前記フィルタの特性が変更されることを特徴としている。
【解決手段】 本発明の位置決め装置は、制御対象の位置を検出する検出部と、前記検出部の出力を目標値から減算する減算部と、前記検出部の出力と前記目標値との偏差が入力されるフィルタを含み、前記制御対象に制御入力をフィードフォワードする反復学習制御回路と、を備える位置制御装置であって、前記制御対象のパラメータ変動を算出する算出手段を備え、前記制御対象のパラメータ変動に応じて前記フィルタの特性が変更されることを特徴としている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は反復学習制御回路を備える位置制御装置に関するものである。好適には、位置制御装置は露光装置や工作機械におけるステージ装置に適用される。
【背景技術】
【０００２】
反復学習制御とは、制御対象の目標軌道に対する追従制御（試行）を繰り返し行うことで、目標軌道に対する偏差を少なくし、高精度な制御を実現するものである。一般に、制御対象に加えた入力と、それに対する出力のみを用いて学習が行えるため、制御モデルに含めることが難しい非線形性や、量子化誤差などを補償することができる。制御対象には、同じ入力に対して同じ出力が得られるような再現性が要求されるが、スキャン方式の半導体露光装置や産業ロボットなどはこの条件を概ね満たしている。そのため、反復学習制御による制御性能の向上が期待され、すでにいくつかの例が示されている。
【０００３】
反復学習制御において、ある試行によって得られた出力にもとづいて次の試行の入力を更新するアルゴリズムを学習則という。学習則の代表的なものとして、偏差の２回微分値に定数行列を乗じて入力値を生成するものがある。また、学習則としてＰＤ補償器のようなものを用いることによって制御対象のモデルを求めずに反復学習制御を行う方法も知られている。
【０００４】
また、Ｍｏｏｒｅらはモデルベースの学習則を提案している。この学習則は、学習フィルタと安定化フィルタを備えている。さらに、Ｄｅ Ｒｏｏｖｅｒらは、この学習フィルタをＨ∞制御理論を利用して求めている（非特許文献１）。
【０００５】
また、特許文献１には上述のモデルベースの学習則に加えて、偏差の時間−周波数解析を導入して、安定化フィルタを時間とともに変化させることが記載されている。これによりノイズが学習に与える影響を抑えて、学習の効率化を図っている。
【非特許文献１】Ｓｙｎｔｈｅｓｉｓ ｏｆ ｒｏｂｕｓｔ ｍｕｌｔｉｖａｒｉａｂｌｅ ｉｔｅｒａｔｉｖｅ ｌｅａｒｎｉｎｇ ｃｏｎｔｒｏｌｌｅｒｓ ｗｉｔｈ ａｐｐｌｉｃａｔｉｏｎ ｔｏ ａ ｗａｆｅｒ ｓｔａｇｅ ｍｏｔｉｏｎｓｙｓｔｅｍ，ＤＩＣＫ ＤＥ ＲＯＯＶＥＲ ａｎｄ ＯＫＫＯ Ｈ．ＢＯＳＧＲＡ，ＩＮＴ．Ｊ．ＣＯＮＴＲＯＬ，２０００，ＶＯＬ．７３，ＮＯ．１０，９６８−９７９
【特許文献１】ＵＳ ７，１８１，２９６ Ｂ２
【発明の開示】
【発明が解決しようとする課題】
【０００６】
反復学習制御は試行を反復することによって適切な入力を得るため、目標軌道に高精度に追従するための入力を得るためには時間を要する。例えば、半導体露光装置では処理時間（スループット）が装置にとって重要な性能であるため、この学習時間をできるだけ短くすることが望まれる。
【０００７】
試行回数を減らして適切な入力を得るためには、制御対象のモデルの情報を積極的に活用することが考えられる。しかしながら、上述の文献において学習フィルタは線形時不変のモデルを用いて導出されており、学習フィルタは線形時不変である。
【０００８】
そのため、試行の最中にモデルのパラメータが変動すると、モデルと学習フィルタとの整合がとれなくなってしまう。その結果として学習性能が劣化して、かえって試行回数が多くなってしまう。
【０００９】
本発明は、上述の点に鑑みなされたものであり、反復学習制御において試行回数を低減し、反復学習にかかる時間を短縮することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の位置制御装置は、制御対象の位置を検出する検出部と、前記検出部の出力を目標値から減算する減算部と、前記検出部の出力と前記目標値との偏差が入力されるフィルタを含み、前記制御対象に制御入力をフィードフォワードする反復学習制御回路と、を備える位置制御装置であって、前記制御対象のパラメータ変動を算出する算出手段を備え、前記制御対象のパラメータ変動に応じて前記フィルタの特性が変更されることを特徴としている。
【発明の効果】
【００１１】
本発明によれば、制御対象にパラメータ変動が生じた場合であっても、反復学習にかかる時間を短縮しつつ、高精度な位置制御を行うことができる。
【発明を実施するための最良の形態】
【００１２】
図１は本発明の例示的な位置制御装置の制御ブロック図である。位置制御装置７は制御対象Ｐ（ｐ）の位置を制御する。位置制御装置７は、フィードバック制御器Ｋと、制御対象Ｐ（ｐ）の位置ｙｋを検出する検出部１と、目標値ｒから検出部１の出力を減算する減算部２とを備える。また位置制御装置７は、制御対象Ｐ（ｐ）に反復学習された制御入力を与える反復学習制御回路６を備える。
【００１３】
反復学習制御は、目標軌跡に対する追従動作を反復して行うことによって、目標軌跡に対する偏差を低減するものである。以下の説明において試行回数をｋとして表す。
【００１４】
反復学習制御回路６は、制御入力を生成する学習フィルタＬ（ｐ）（第１フィルタ）と、学習フィルタＬ（ｐ）の学習に不要な周波数帯域を遮断する安定化フィルタＱ（第２フィルタ）と、生成された制御入力を記憶するメモリ５とを備える。
【００１５】
目標値ｒと検出部１の出力との偏差ｅｋ（ｋ回目の偏差）は学習フィルタＬ（ｐ）に入力され、学習フィルタＬ（ｐ）の出力が加算部４に入力される。また、ｋ回目の制御入力ｆｋが加算部４に入力される。加算部４からの出力は、安定化フィルタＱに入力される。安定化フィルタＱの出力はｋ＋１回目の制御入力ｆｋ＋１としてメモリ５に記憶される。メモリ５に記憶された制御入力ｆｋ＋１はｋ＋１回目の追従制御において制御対象にフィードフォワード入力として加えられる。すなわち、フィードバック制御器Ｋの出力ｕｋ＋１に加算部３で加算される。
【００１６】
本発明の特徴として、制御対象Ｐ（ｐ）のパラメータｐの変動を検出または推定するパラメータ変動算出部Ｚを備える。そして、このパラメータ変動に応じて学習フィルタＬ（ｐ）の特性が変更される。
【００１７】
パラメータ変動を検出または推定するためには、例えば、予めメモリ（不図示）に制御対象の物理量とパラメータ変動との相関関係を情報（例えばテーブルや関数）として記憶しておき、追従制御中にこの物理量をセンサなどで検出してパラメータ変動を求めればよい。
【００１８】
つぎに、学習フィルタＬ（ｐ）の導出方法について説明をする。
【００１９】
学習フィルタＬ（ｐ）を導出するために、まず、制御対象Ｐ（ｐ）をパラメータ変動を含む線形パラメータ変動系（Ｌｉｎｅａｒ Ｐａｒａｍｅｔｅｒ Ｖａｒｙｉｎｇ、以下ＬＰＶと略する）のモデルとして表す。
【００２０】
一般にＬＰＶ系はその状態空間行列がパラメータｐの関数となっているプラントであり、以下のように表される。
【００２１】
【数１】
【００２２】
ここで、図１に示されるフィードバック制御系において、制御対象Ｐ（ｐ）とフィードバック制御器Ｋとの閉ループ系Ｐｃｌ（ｐ）を以下のように定義する。ここで、フィードバック制御器Ｋはパラメータ変動に応じて変動することのない固定フィードバック制御器を用いている。
【００２３】
【数２】
【００２４】
本形態では、学習フィルタＬ（ｐ）を以下のようにＬＰＶ系として表す。
【００２５】
【数３】
【００２６】
また、図１に示される反復学習制御回路の場合、制御入力は以下のように定義される。
【００２７】
【数４】
【００２８】
以上の式より、偏差ｅｋ＋１とｅｋの関係は以下のように表される。
【００２９】
【数５】
【００３０】
反復学習により偏差が収束するためには、以下の条件を満たせばよい。
【００３１】
【数６】
【００３２】
この条件を満たすように学習フィルタＬ（ｐ）を導出することが必要となるが、上記問題は、図３の制御ブロック図（図１を等価変換した図）で表すことができる。図３において、破線で囲まれた部分をＰｈ（ｐ）とすると、Ｐｈ（ｐ）の変動に対してＬ（ｐ）を変動させるゲインスケジュールドＨ∞制御問題として扱うことができる。したがって、線形行列不等式を用いることで、変動するパラメータのｉ個の点に対応した線形時不変学習フィルタＬｉを求めることができる。なお、以下の説明では、線形行列不等式（Ｌｉｎｅａｒ Ｍａｔｒｉｘ Ｉｎｅｑｕａｌｉｔｙ）をＬＭＩと略し、線形時不変学習フィルタ（Ｌｉｎｅａｒ Ｔｉｍｅ Ｉｎｖａｒｉａｎｔ）をＬＴＩ 学習フィルタと略す。ＬＴＩ学習フィルタＬｉは以下の行列として表される。
【００３３】
【数７】
【００３４】
例えば、変動するパラメータの数が１のときは、パラメータの端点の数は２であるので、各端点のＬＴＩ学習フィルタＬ１，Ｌ２（不変フィルタ）が求まる。
【００３５】
ここで、以下のような補間演算式を用いて２つのＬＴＩ学習フィルタ間を補うことで、パラメータｐの変動に応じて学習フィルタＬ（ｐ）の特性を変更することができる。すなわち、学習フィルタＬ（ｐ）が補間演算部を備える。
【００３６】
【数８】
【００３７】
ここで、ｐｍｉｎは下限値、ｐｍａｘは上限値を表す。
【００３８】
図４に式（１０）の制御ブロック図を示す。ここでＬ１の係数を定数Ｃ１として、Ｌ２の係数を定数Ｃ２として表している。定数Ｃ１と学習フィルタＬ１の積と、定数Ｃ２と学習フィルタＬ２の積とが加算されて、ＬＰＶ学習フィルタＬ（ｐ）が求まる。
【００３９】
つぎに、図１の位置制御装置を用いた場合の反復学習制御のフローについて説明する。
【００４０】
図２は反復学習制御のフローを示す図である。
【００４１】
ステップＳ１において、１回目の試行を行う。ここでは、反復学習制御回路からの入力を行わずに制御を行う。偏差ｅ１が学習フィルタＬ（ｐ）に入力され、その出力が安定化フィルタＱを通過してｆ２としてメモリ５に記憶される。
【００４２】
ステップＳ２において、ｋ回目（ｋ＞１）の試行を開始する。なお、制御はディジタル制御で行われるので、ｋ回目の試行におけるｉサンプル目の制御入力および偏差をｆｋｉ，ｅｋｉと表す。ここで、１回の試行の総サンプル数をｊとする。初期条件として、偏差の最大値ｅｍａｘ＝０として、サンプル数ｉ＝０とする。
【００４３】
ステップＳ３において、前回メモリに記憶された制御入力ｆｋを制御器からの出力ｕｋに加える。このようにしてｋ回目の試行において制御対象は制御される。
【００４４】
また、ｋ回目の試行において、ｋ＋１回目の制御入力が以下ステップＳ４〜Ｓ５の手順で生成される。
【００４５】
ステップＳ５において、パラメータ変動算出部Ｚはｉサンプル目のパラメータｐｉを検出または推定し、その結果にもとづいて学習フィルタＬｉ（ｐｉ）が算出される。算出方法として例えば上述した数式（１０）が用いられる。このようにして学習フィルタＬｉ（ｐｉ）が変更される。
【００４６】
ステップＳ５において、偏差ｅｋｉが学習フィルタＬｉ（ｐｉ）に入力され、その出力が制御入力ｆｋｉと加算された後に安定化フィルタＱを通過してｆ（ｋ＋１）ｉとしてメモリ５に記憶される。
【００４７】
ステップＳ６において、偏差ｅｋｉと偏差の最大値ｅｍａｘを比較し、偏差ｅｋｉ＞ｅｍａｘの場合にｅｍａｘが更新される。
【００４８】
ステップＳ７において、ｊ＜ｉであればステップＳ８にすすみ、ｊ≧ｉであればｉ＝ｉ＋１としてステップＳ２にすすむ。
【００４９】
ステップＳ８において、ｋ回目の試行を終了する。
【００５０】
ステップＳ９において、偏差の最大値ｅｍａｘを予め設定した設定値と比較し、設定値よりも小さい場合に偏差が十分小さいと判断して学習を終了する。偏差の最大値ｅｍａｘが設定値よりも大きい場合には、ｋ＝ｋ＋１としてステップＳ２にすすむ。
【００５１】
以上の反復学習制御を用いて位置を制御することにより、従来の学習フィルタを変動させない反復学習制御と比べて、所定の偏差以下にするために要する試行回数を低減することが可能であり、反復学習にかかる時間を短縮できる。
【００５２】
なお、以下の実施例１乃至３において好適なパラメータの例と、効果を示すデータについて説明を行う。
【実施例１】
【００５３】
実施例１ではパラメータが制御対象を駆動する駆動手段の推力定数を含む例を説明する。
【００５４】
図１を用いて本実施例の位置制御装置について説明する。図１で説明した箇所については重複をさけるため説明を省略する。パラメータ変動算出部Ｚはパラメータ変動を算出する。具体的には、パラメータ変動算出部Ｚは、予め求めた制御対象の位置と推力定数との相関関係を表す情報を不図示のメモリに格納し、この情報と、センサ１によって検出された制御対象Ｐの位置とにもとづいて、推力定数の変動を算出する。後述するようにパラメータは推力定数を含む式で表されるため、推力定数の変動からパラメータ変動を算出することができる。
【００５５】
ここで、制御対象の位置と推力定数との相関関係を表す情報は、例えば制御対象を移動させながら図５に示すような推力リプルを検出して、この推力リプルから推力定数を求めることによって得ることができる。
【００５６】
つぎに、パラメータｐが推力定数を含む場合のＬＰＶ系のモデルの導出方法および学習フィルタＬ（ｐ）の導出方法について説明をする。
【００５７】
制御対象の質量をｍ、変位をｘ、制御対象への力入力をｕｕ、制御対象を駆動する駆動手段の推力定数をａとしたときに、制御対象は以下のようにモデリングされる。
【００５８】
【数９】
【００５９】
このモデルをＬＰＶモデルの一形式であるアフィンパラメータ依存モデルに変形する手順を以下に示す。まず、状態ベクトルを
【００６０】
【数１０】
【００６１】
として、式（１１）より状態方程式を求めると、
【００６２】
【数１１】
【００６３】
となる。ここで、
【００６４】
【数１２】
【００６５】
とおくと、
【００６６】
【数１３】
【００６７】
となる。ここで、出力方程式を以下のものとする。
【００６８】
【数１４】
【００６９】
さらに、アクチュエータのアンプ特性を以下のような状態方程式、出力方程式とする。
【００７０】
【数１５】
【００７１】
ここで、ｘｗ＝［ｘｘｆ］Ｔとして、式（１５），式（１６）との拡大形を構成すると、
【００７２】
【数１６】
【００７３】
となる。ここで、システム行列は以下のようになる。
【００７４】
【数１７】
【００７５】
このように、パラメータｐを含まない行列Ａ０と、パラメータｐの係数のみの行列Ａ１に分割して表すことができる。これより、式（２１）は以下のようなアフィンパラメータ依存モデルとなる。
【００７６】
【数１８】
【００７７】
式（２２）のモデルとフィードバック制御器を用いた閉ループ系Ｐｃｌ（Ｐ）と、安定化フィルタＱとを含む制御系に、重み関数Ｗと定数δと制御量Ｚ２を導入して一般化プラントを構成すると、図６のようになる。したがって、ＬＭＩに基づくゲインスケジュールドＨ∞制御理論により変動するパラメータのｉ個の点に対応したＬＴＩ学習フィルタＬｉを導出することができる。ここで、安定化フィルタＱをカットオフ周波数３５０Ｈｚの１次のローパスフィルタとする。
【００７８】
また、重み関数Ｗは、
【００７９】
【数１９】
【００８０】
とする。また、δは微小な定数である。
【００８１】
推力定数ａの変動の幅を以下のようにする。
【００８２】
【数２０】
【００８３】
そうすると、パラメータｐは以下の範囲で変動する。
【００８４】
【数２１】
【００８５】
導出されたＬＰＶ学習フィルタを図７に示す。実線と破線はそれぞれ、パラメータｐが上限値ｐｍａｘの時と下限値ｐｍｉｎとなったときの学習フィルタを示す。学習フィルタをそれぞれＬ１，Ｌ２とすると、推力リプルによるパラメータｐの変動に適応するＬＰＶ学習フィルタは式（１０）から求められる。
【００８６】
また、この実施例では、安定化フィルタＱには、零位相ローパスフィルタを用いている。零位相ローパスフィルタは実時間での処理が行えないため、図９に示すように、制御誤差ｅｋとパラメータｐについてもメモリに蓄積する。そして、学習は一回の試行が終了する度ごとに行われる。具体的なフローについて以下に説明する。手順を図１０のフローチャートに示す。
【００８７】
ステップＳ１１において、１回目の試行を行う。ここでは、反復学習制御回路からの入力を行わずに制御を行う。偏差ｅ１がメモリ１１に記憶される。また、パラメータｐ１がパラメータ変動算出部Ｚにより算出され、メモリ１２に記憶される。偏差ｅ１が学習フィルタＬ（ｐ）に入力され、その出力が安定化フィルタＱを通過してｆ２としてメモリ５に記憶される。
【００８８】
ステップＳ１２において、ｋ回目（ｋ＞１）の試行を開始する。このとき、前回メモリ５に記憶された制御入力ｆｋを制御器からの出力ｕｋに加える。このようにしてｋ回目の試行において制御対象は制御される。また、ｋ回目の試行において、ｋ＋１回目（ｋ＞１）の制御入力ｆｋ＋１が以下のＳ１５〜Ｓ１８でオフライン生成される。なお、制御はディジタル制御で行われるので、ｋ回目の試行におけるｉサンプル目の制御入力および偏差をｆｋｉ，ｅｋｉと表す。ここで、１回の動作の総サンプル数をｊとする。初期条件として、偏差の最大値ｅｍａｘ＝０として、サンプル数ｉ＝０とする。
【００８９】
ステップＳ１３において、偏差ｅｋがメモリ１１に記憶される。また、パラメータｐｋがパラメータ変動算出部Ｚにより算出され、メモリ１２に記憶される。さらに、偏差ｅｋの最大値ｅｍａｘが検出される。
【００９０】
ステップＳ１４において、偏差の最大値ｅｍａｘを予め設定した設定値と比較し、設定値よりも小さい場合に偏差が十分小さいと判断して学習を終了する。偏差の最大値ｅｍａｘが設定値よりも大きい場合には、ｋ＝ｋ＋１としてステップＳ１５にすすむ。
【００９１】
ステップＳ１５において、ｉサンプル目のパラメータｐｋｉをメモリ１２から呼び出し、その結果にもとづいて学習フィルタＬｉ（ｐｉ）が算出される。具体的には学習フィルタは式（１０）により算出される。
【００９２】
ステップＳ１６において、メモリからｉサンプル目の偏差ｅｋｉが呼び出され学習フィルタＬｉ（ｐｉ）に入力され、その出力が制御入力ｆｋｉに加算される。このようにして出力ｇｋｉが算出される。
【００９３】
ステップＳ１７において、ｊ＜ｉであればステップＳ１８にすすみ、ｊ≧ｉであればｉ＝ｉ＋１としてステップＳ１５にすすむ。
【００９４】
ステップＳ１８において、出力ｇｋは零位相ローパスフィルタである安定化フィルタＱを通過してｆ（ｋ＋１）としてメモリに記憶される。
【００９５】
ステップＳ１９において、ｋ＝ｋ＋１としてＳ１２に進み、次の試行を開始する。以上のステップを繰り返すことによって学習制御を行う。
【００９６】
以下、本実施例のシミュレーション結果について説明する。
【００９７】
シミュレーションとして、図８に示した目標軌跡（位置プロファイル）に制御対象を追従制御させる。なお、上述の反復学習による制御入力、フィードバック入力に加えて、位置プロファイルから求めた加速度を定数倍したフィードフォワード入力を与えている。
【００９８】
図１１は１０回の試行を行った場合の偏差を示す図である。ＬＰＶ学習フィルタを用いた反復学習制御を実線で示し、学習フィルタとして固定パラメータを用いた反復学習制御（以下、ＬＴＩ反復学習制御と略す）を破線で示す。ＬＴＩ反復学習制御に比べてＬＰＶ反復学習制御の方が、偏差を小さくできることが分かる。これは、ＬＰＶ反復学習制御が、変位ｘにおける推力定数ａの値を図５に示す関係から求め、式（１４）のようにパラメータｐを求め、ＬＰＶ学習フィルタを変動させることにより推力変動に適応しているためである。
【００９９】
図１２は、ＬＴＩ反復学習制御で４０回の試行を行った場合の偏差と、ＬＰＶ反復学習制御で１０回の試行を行った場合の偏差を比較する図である。前者を実線で示し、後者を破線で示す。ＬＰＶ反復学習制御を用いることによって、ＬＴＩ反復学習制御の五分の一程度の反復回数で偏差を抑えることができている。
【０１００】
また、推力変動の補償方法として、得られている推力リプルのデータをもとに
【０１０１】
【数２２】
【０１０２】
のように制御入力を補正する方法が考えられる。しかし、この手法はフィードバック制御系を直接補正しているため、推力リプルのデータが実際と異なっていたときに安定性を損なう可能性がある。ＬＰＶ反復学習制御は反復試行によりフィードフォワード入力を生成するため、閉ループ系の安定性を損なうことはない。
【０１０３】
図１３に実際の推力変動が事前に得られた推力リプルのデータより３ｍｍずれているときのシミュレーション結果を示す。ＬＰＶ学習フィルタを用いて１０回の試行を行った場合の偏差を実線で示し、上述の推力定数の直接補償とＬＴＩ反復学習制御を用いた場合の偏差を破線で示す。ＬＴＩ反復学習制御はフィードバック制御系の性能劣化により偏差が大きくなっているが、ＬＰＶ反復学習制御は図１１の応答と比べてほとんど劣化していない。これより、ＬＰＶ反復学習制御のロバスト性が確認できる。
【実施例２】
【０１０４】
実施例２ではパラメータが制御対象への外乱力を含む例を説明する。外乱力は本来モデルのパラメータではないため、外乱力を等価的にシステムの減衰力として扱う。
【０１０５】
図１を用いて本実施例の位置制御装置について説明する。図１で説明した箇所については重複をさけるため説明を省略する。パラメータ変動算出部Ｚは、外乱オブザーバを有し、この外乱オブザーバにより制御入力と変位から外乱力を推定し、この外乱力を用いてパラメータ変動を算出することができる。
【０１０６】
つぎに、パラメータが外乱力を含む場合のＬＰＶ系のモデルの導出方法について説明する。
【０１０７】
制御対象の質量をｍ、変位をｘ、制御対象への力入力をｕｕ、外乱力をｇとすると、制御対象のモデルは以下のようにモデリングされる。
【０１０８】
【数２３】
【０１０９】
ここで、
【０１１０】
【数２４】
【０１１１】
のように拡張線形化を行い、式（２７）の状態方程式を求めると、
【０１１２】
【数２５】
【０１１３】
のように、外乱力をシステム行列に入れることができる。ここで、
【０１１４】
【数２６】
【０１１５】
とおく。ただし、
【０１１６】
【数２７】
【０１１７】
のときは、
【０１１８】
【数２８】
【０１１９】
とする。そして、［実施例１］と同じく、アクチュエータのアンプ特性との拡大形を構成すると、以下のような外乱力によってモデルが変動するアフィンパラメータ依存モデルとなる。
【０１２０】
【数２９】
【０１２１】
そして、［実施例１］と同様の一般化プラントを用いて、ＬＰＶ学習フィルタを導出する。このとき、パラメータｐの変動範囲を
【０１２２】
【数３０】
【０１２３】
とし、ｐが変動の範囲の上限値ｐｍａｘ、下限値ｐｍｉｎを超えた場合には、それぞれｐｍａｘ，ｐｍｉｎを用いる。
【０１２４】
以下、本実施例のシミュレーション結果について説明する。
【０１２５】
図１４はシミュレーションの条件として制御対象に加わる外乱を示す図である。外乱力は外乱オブザーバを用いて推定され、推定された外乱力と速度を用いて式（３０）からパラメータｐが算出される。そして、パラメータｐに対応するように、ＬＰＶ学習フィルタを変動させる。
【０１２６】
具体的な学習のフローは、実施例１と同様であるため省略する。
【０１２７】
なお、図１４の外乱と図８のプロファイルを用いたシミュレーションでは、パラメータｐは変動の上下限値を超えることはなかった。
【０１２８】
図１５は４回の試行を行った場合の偏差を示す図である。ＬＰＶ学習フィルタを用いた反復学習制御を実線で示し、ＬＴＩ反復学習制御を破線で示す。ＬＰＶ反復学習制御では、０．０３秒から０．０５秒にかけて追従性能が高いことがわかる。ＬＴＩ反復学習制御ではさらに２回の試行を行わなければ、ＬＰＶ反復学習制御と同様の性能は得られなかった。このように、ＬＰＶ反復学習制御は外乱力を推定して適応するように学習フィルタを変動させるため、学習効果が高く、反復回数を低減させることができる。
【実施例３】
【０１２９】
実施例３ではパラメータが制御対象の姿勢角変動を含む例を説明する。図１を用いて位置制御装置について説明する。図１で説明した箇所については重複をさけるため説明を省略する。
【０１３０】
パラメータ変動算出部Ｚは制御対象の姿勢角を検出するセンサ（姿勢検出部）を有する。
【０１３１】
パラメータｐが制御対象の姿勢角を含む場合のＬＰＶ系のモデルの導出方法について説明する。図１６は制御対象としての移動体８６が制御入力ｕｕを受けて移動する様子を示す図である。図において、横軸をｘ軸、紙面に垂直な軸をｙ軸とし、移動体８６のｙ軸回りの回転角をθｙとしている。
【０１３２】
図１６のように、制御対象の底面に平行に推力が発生するとき、ｘ軸方向の推力は制御入力のｕｕのｘ軸に水平な方向の分力であるので、ｕｕ ｃｏｓθｙ となる。制御対象の状態方程式は、
【０１３３】
【数３１】
【０１３４】
となる。ここで、
【０１３５】
【数３２】
【０１３６】
とおく。そして、［実施例１］と同じく、アクチュエータのアンプ特性との拡大形を構成すると、以下のような回転角によって変動するアフィンパラメータ依存モデルとなる。
【０１３７】
【数３３】
【０１３８】
つぎに、［実施例１］と同様の一般化プラントを用いて、ＬＰＶ学習フィルタを導出する。このとき、パラメータｐの変動範囲を
【０１３９】
【数３４】
【０１４０】
とする。
【０１４１】
以下、本実施例のシミュレーション結果を示す。
【０１４２】
回転角θｙの制御はｘ軸方向とは別の制御系で制御されているものとする。そこでは、回転角θｙはセンサで直接計測されている。そのため、そのセンサ情報から、式（３８）のようにパラメータ変動を算出し、ＬＰＶ学習フィルタを変動させることができる。
【０１４３】
具体的な学習のフローは、実施例１と同様である。
【０１４４】
図１８は４回の試行を行った場合の偏差を示す図である。ＬＰＶ学習フィルタを用いた反復学習制御を実線で示し、ＬＴＩ反復学習制御を破線で示す。ＬＰＶ反復学習制御では、０．０３秒から０．０７秒にかけて偏差が小さくなっている。ＬＴＩ反復学習制御ではさらに３回の試行を行わなければＬＰＶ反復学習制御と同様の性能は得られなかった。このように、ＬＰＶ反復学習制御はセンサで計測した出力を用いてパラメータ変動を算出し、この算出結果にもとづいて学習フィルタを変動させるため学習効果が高く、試行回数を低減させることができる。
【０１４５】
（露光装置に適用した例）
図１９は、本発明の位置制御装置を適用した露光装置の概念図である。なお、本実施例では露光装置について例示的に説明するものであり、露光装置の構成はこの記述により限定されないものとする。
【０１４６】
露光装置１００は、照明光学系８１と、レチクル８２を搭載して移動するレチクルステージ８３と、投影光学系８４と、ウエハ８５を搭載して移動するウエハステージ８６を備える。また、ウエハステージ８６の位置を検出するセンサ８８を備える。
【０１４７】
照明光学系８１からの光はレチクル８２（原版）及び投影光学系８４を介してウエハ８５（基板）上に照射される。これにより、レチクル８２のパターンは投影光学系８４によって縮小投影されてウエハ上に結像する。
【０１４８】
また、露光装置は制御ボックスに配置された制御基板８０を備え、この制御基板８０が上述の実施例における位置制御装置７を含む。制御基板８０として例えば公知のＤＳＰシステムを適用しうる。制御基板８０は、センサ８８、露光装置のメインＣＰＵ（不図示）、ステージ駆動用のドライバ（不図示）と通信可能に接続される。
【０１４９】
以上の構成により、例えばセンサ８８から出力される位置信号にもとづいてパラメータ変動の検出または推定を行い、パラメータ変動を考慮して反復学習制御を行ってウエハステージの位置を制御する。
【０１５０】
ここで、実際の露光を開始する前にステージをｋ回駆動して、偏差の最大値ｅｍａｘが十分に小さくなってから露光を開始すればよい。偏差の最大値が十分小さくなった後は、制御入力ｆｋの更新を行ってもよいし行わなくてもよい。
【０１５１】
また、ウエハステージ８６ではなく、レチクルステージ８３の制御において本発明の位置制御装置を適用してもよい。
【０１５２】
また、上述の露光装置を用いてデバイス（半導体集積回路素子、液晶表示素子等）が製造される。ここで、デバイス製造方法は、上述の露光装置を使用して感光剤を塗布したウエハ（基板）を露光する工程と、その基板を現像する工程と、他の周知の工程と、を備える。
【図面の簡単な説明】
【０１５３】
【図１】ＬＰＶ反復学習制御を用いた位置制御回路を示す制御ブロック線図である。
【図２】ＬＰＶ反復学習制御を用いた位置制御のフローチャート図である。
【図３】ＬＰＶ学習フィルタの導出をゲインスケジュールドＨ∞制御問題に置き換えて示したブロック線図である。
【図４】学習フィルタＬ（ｐ）を表すブロック線図である。
【図５】制御対象の位置と推力リプルとの関係を表す図である。
【図６】制御対象の変動を考慮した閉ループ系と安定化フィルタと重み関数を含む一般化プラントを表す図である。
【図７】ＬＰＶ反復学習フィルタを表すゲイン線図である。
【図８】制御対象の目標軌跡を表す図である。
【図９】ＬＰＶ型反復学習制御において零位相ローパスフィルタを安定化フィルタとして用いた場合の位置制御回路を示す制御ブロック線図である。
【図１０】ＬＰＶ型反復学習制御において零位相ローパスフィルタを安定化フィルタとして用いた場合の位置制御のフローチャート図である。
【図１１】実施例１のシミュレーション結果を示す図である。
【図１２】実施例１のシミュレーション結果を示す図である。
【図１３】実施例１のシミュレーション結果を示す図である。
【図１４】制御対象に加わる外乱力を表す図である。
【図１５】実施例２のシミュレーション結果を示す図である。
【図１６】実施例３における制御対象の座標を示す説明図である。
【図１７】実施例における制御対象の移動および回転を示す図である。
【図１８】実施例３のシミュレーション結果を示す図である。
【図１９】反復学習制御装置を用いた露光装置を示す図である。
【符号の説明】
【０１５４】
１ 検出部
２ 減算部
３，４ 加算部
５，１１，１２ メモリ
６ 反復学習制御回路
７ 位置制御装置
８０ 制御基板
８１ 照明光学系
８２ レチクル
８３ レチクルステージ
８４ 投影光学系
８５ ウエハ
８６ ウエハステージ
８８ センサ
【技術分野】
【０００１】
本発明は反復学習制御回路を備える位置制御装置に関するものである。好適には、位置制御装置は露光装置や工作機械におけるステージ装置に適用される。
【背景技術】
【０００２】
反復学習制御とは、制御対象の目標軌道に対する追従制御（試行）を繰り返し行うことで、目標軌道に対する偏差を少なくし、高精度な制御を実現するものである。一般に、制御対象に加えた入力と、それに対する出力のみを用いて学習が行えるため、制御モデルに含めることが難しい非線形性や、量子化誤差などを補償することができる。制御対象には、同じ入力に対して同じ出力が得られるような再現性が要求されるが、スキャン方式の半導体露光装置や産業ロボットなどはこの条件を概ね満たしている。そのため、反復学習制御による制御性能の向上が期待され、すでにいくつかの例が示されている。
【０００３】
反復学習制御において、ある試行によって得られた出力にもとづいて次の試行の入力を更新するアルゴリズムを学習則という。学習則の代表的なものとして、偏差の２回微分値に定数行列を乗じて入力値を生成するものがある。また、学習則としてＰＤ補償器のようなものを用いることによって制御対象のモデルを求めずに反復学習制御を行う方法も知られている。
【０００４】
また、Ｍｏｏｒｅらはモデルベースの学習則を提案している。この学習則は、学習フィルタと安定化フィルタを備えている。さらに、Ｄｅ Ｒｏｏｖｅｒらは、この学習フィルタをＨ∞制御理論を利用して求めている（非特許文献１）。
【０００５】
また、特許文献１には上述のモデルベースの学習則に加えて、偏差の時間−周波数解析を導入して、安定化フィルタを時間とともに変化させることが記載されている。これによりノイズが学習に与える影響を抑えて、学習の効率化を図っている。
【非特許文献１】Ｓｙｎｔｈｅｓｉｓ ｏｆ ｒｏｂｕｓｔ ｍｕｌｔｉｖａｒｉａｂｌｅ ｉｔｅｒａｔｉｖｅ ｌｅａｒｎｉｎｇ ｃｏｎｔｒｏｌｌｅｒｓ ｗｉｔｈ ａｐｐｌｉｃａｔｉｏｎ ｔｏ ａ ｗａｆｅｒ ｓｔａｇｅ ｍｏｔｉｏｎｓｙｓｔｅｍ，ＤＩＣＫ ＤＥ ＲＯＯＶＥＲ ａｎｄ ＯＫＫＯ Ｈ．ＢＯＳＧＲＡ，ＩＮＴ．Ｊ．ＣＯＮＴＲＯＬ，２０００，ＶＯＬ．７３，ＮＯ．１０，９６８−９７９
【特許文献１】ＵＳ ７，１８１，２９６ Ｂ２
【発明の開示】
【発明が解決しようとする課題】
【０００６】
反復学習制御は試行を反復することによって適切な入力を得るため、目標軌道に高精度に追従するための入力を得るためには時間を要する。例えば、半導体露光装置では処理時間（スループット）が装置にとって重要な性能であるため、この学習時間をできるだけ短くすることが望まれる。
【０００７】
試行回数を減らして適切な入力を得るためには、制御対象のモデルの情報を積極的に活用することが考えられる。しかしながら、上述の文献において学習フィルタは線形時不変のモデルを用いて導出されており、学習フィルタは線形時不変である。
【０００８】
そのため、試行の最中にモデルのパラメータが変動すると、モデルと学習フィルタとの整合がとれなくなってしまう。その結果として学習性能が劣化して、かえって試行回数が多くなってしまう。
【０００９】
本発明は、上述の点に鑑みなされたものであり、反復学習制御において試行回数を低減し、反復学習にかかる時間を短縮することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の位置制御装置は、制御対象の位置を検出する検出部と、前記検出部の出力を目標値から減算する減算部と、前記検出部の出力と前記目標値との偏差が入力されるフィルタを含み、前記制御対象に制御入力をフィードフォワードする反復学習制御回路と、を備える位置制御装置であって、前記制御対象のパラメータ変動を算出する算出手段を備え、前記制御対象のパラメータ変動に応じて前記フィルタの特性が変更されることを特徴としている。
【発明の効果】
【００１１】
本発明によれば、制御対象にパラメータ変動が生じた場合であっても、反復学習にかかる時間を短縮しつつ、高精度な位置制御を行うことができる。
【発明を実施するための最良の形態】
【００１２】
図１は本発明の例示的な位置制御装置の制御ブロック図である。位置制御装置７は制御対象Ｐ（ｐ）の位置を制御する。位置制御装置７は、フィードバック制御器Ｋと、制御対象Ｐ（ｐ）の位置ｙｋを検出する検出部１と、目標値ｒから検出部１の出力を減算する減算部２とを備える。また位置制御装置７は、制御対象Ｐ（ｐ）に反復学習された制御入力を与える反復学習制御回路６を備える。
【００１３】
反復学習制御は、目標軌跡に対する追従動作を反復して行うことによって、目標軌跡に対する偏差を低減するものである。以下の説明において試行回数をｋとして表す。
【００１４】
反復学習制御回路６は、制御入力を生成する学習フィルタＬ（ｐ）（第１フィルタ）と、学習フィルタＬ（ｐ）の学習に不要な周波数帯域を遮断する安定化フィルタＱ（第２フィルタ）と、生成された制御入力を記憶するメモリ５とを備える。
【００１５】
目標値ｒと検出部１の出力との偏差ｅｋ（ｋ回目の偏差）は学習フィルタＬ（ｐ）に入力され、学習フィルタＬ（ｐ）の出力が加算部４に入力される。また、ｋ回目の制御入力ｆｋが加算部４に入力される。加算部４からの出力は、安定化フィルタＱに入力される。安定化フィルタＱの出力はｋ＋１回目の制御入力ｆｋ＋１としてメモリ５に記憶される。メモリ５に記憶された制御入力ｆｋ＋１はｋ＋１回目の追従制御において制御対象にフィードフォワード入力として加えられる。すなわち、フィードバック制御器Ｋの出力ｕｋ＋１に加算部３で加算される。
【００１６】
本発明の特徴として、制御対象Ｐ（ｐ）のパラメータｐの変動を検出または推定するパラメータ変動算出部Ｚを備える。そして、このパラメータ変動に応じて学習フィルタＬ（ｐ）の特性が変更される。
【００１７】
パラメータ変動を検出または推定するためには、例えば、予めメモリ（不図示）に制御対象の物理量とパラメータ変動との相関関係を情報（例えばテーブルや関数）として記憶しておき、追従制御中にこの物理量をセンサなどで検出してパラメータ変動を求めればよい。
【００１８】
つぎに、学習フィルタＬ（ｐ）の導出方法について説明をする。
【００１９】
学習フィルタＬ（ｐ）を導出するために、まず、制御対象Ｐ（ｐ）をパラメータ変動を含む線形パラメータ変動系（Ｌｉｎｅａｒ Ｐａｒａｍｅｔｅｒ Ｖａｒｙｉｎｇ、以下ＬＰＶと略する）のモデルとして表す。
【００２０】
一般にＬＰＶ系はその状態空間行列がパラメータｐの関数となっているプラントであり、以下のように表される。
【００２１】
【数１】
【００２２】
ここで、図１に示されるフィードバック制御系において、制御対象Ｐ（ｐ）とフィードバック制御器Ｋとの閉ループ系Ｐｃｌ（ｐ）を以下のように定義する。ここで、フィードバック制御器Ｋはパラメータ変動に応じて変動することのない固定フィードバック制御器を用いている。
【００２３】
【数２】
【００２４】
本形態では、学習フィルタＬ（ｐ）を以下のようにＬＰＶ系として表す。
【００２５】
【数３】
【００２６】
また、図１に示される反復学習制御回路の場合、制御入力は以下のように定義される。
【００２７】
【数４】
【００２８】
以上の式より、偏差ｅｋ＋１とｅｋの関係は以下のように表される。
【００２９】
【数５】
【００３０】
反復学習により偏差が収束するためには、以下の条件を満たせばよい。
【００３１】
【数６】
【００３２】
この条件を満たすように学習フィルタＬ（ｐ）を導出することが必要となるが、上記問題は、図３の制御ブロック図（図１を等価変換した図）で表すことができる。図３において、破線で囲まれた部分をＰｈ（ｐ）とすると、Ｐｈ（ｐ）の変動に対してＬ（ｐ）を変動させるゲインスケジュールドＨ∞制御問題として扱うことができる。したがって、線形行列不等式を用いることで、変動するパラメータのｉ個の点に対応した線形時不変学習フィルタＬｉを求めることができる。なお、以下の説明では、線形行列不等式（Ｌｉｎｅａｒ Ｍａｔｒｉｘ Ｉｎｅｑｕａｌｉｔｙ）をＬＭＩと略し、線形時不変学習フィルタ（Ｌｉｎｅａｒ Ｔｉｍｅ Ｉｎｖａｒｉａｎｔ）をＬＴＩ 学習フィルタと略す。ＬＴＩ学習フィルタＬｉは以下の行列として表される。
【００３３】
【数７】
【００３４】
例えば、変動するパラメータの数が１のときは、パラメータの端点の数は２であるので、各端点のＬＴＩ学習フィルタＬ１，Ｌ２（不変フィルタ）が求まる。
【００３５】
ここで、以下のような補間演算式を用いて２つのＬＴＩ学習フィルタ間を補うことで、パラメータｐの変動に応じて学習フィルタＬ（ｐ）の特性を変更することができる。すなわち、学習フィルタＬ（ｐ）が補間演算部を備える。
【００３６】
【数８】
【００３７】
ここで、ｐｍｉｎは下限値、ｐｍａｘは上限値を表す。
【００３８】
図４に式（１０）の制御ブロック図を示す。ここでＬ１の係数を定数Ｃ１として、Ｌ２の係数を定数Ｃ２として表している。定数Ｃ１と学習フィルタＬ１の積と、定数Ｃ２と学習フィルタＬ２の積とが加算されて、ＬＰＶ学習フィルタＬ（ｐ）が求まる。
【００３９】
つぎに、図１の位置制御装置を用いた場合の反復学習制御のフローについて説明する。
【００４０】
図２は反復学習制御のフローを示す図である。
【００４１】
ステップＳ１において、１回目の試行を行う。ここでは、反復学習制御回路からの入力を行わずに制御を行う。偏差ｅ１が学習フィルタＬ（ｐ）に入力され、その出力が安定化フィルタＱを通過してｆ２としてメモリ５に記憶される。
【００４２】
ステップＳ２において、ｋ回目（ｋ＞１）の試行を開始する。なお、制御はディジタル制御で行われるので、ｋ回目の試行におけるｉサンプル目の制御入力および偏差をｆｋｉ，ｅｋｉと表す。ここで、１回の試行の総サンプル数をｊとする。初期条件として、偏差の最大値ｅｍａｘ＝０として、サンプル数ｉ＝０とする。
【００４３】
ステップＳ３において、前回メモリに記憶された制御入力ｆｋを制御器からの出力ｕｋに加える。このようにしてｋ回目の試行において制御対象は制御される。
【００４４】
また、ｋ回目の試行において、ｋ＋１回目の制御入力が以下ステップＳ４〜Ｓ５の手順で生成される。
【００４５】
ステップＳ５において、パラメータ変動算出部Ｚはｉサンプル目のパラメータｐｉを検出または推定し、その結果にもとづいて学習フィルタＬｉ（ｐｉ）が算出される。算出方法として例えば上述した数式（１０）が用いられる。このようにして学習フィルタＬｉ（ｐｉ）が変更される。
【００４６】
ステップＳ５において、偏差ｅｋｉが学習フィルタＬｉ（ｐｉ）に入力され、その出力が制御入力ｆｋｉと加算された後に安定化フィルタＱを通過してｆ（ｋ＋１）ｉとしてメモリ５に記憶される。
【００４７】
ステップＳ６において、偏差ｅｋｉと偏差の最大値ｅｍａｘを比較し、偏差ｅｋｉ＞ｅｍａｘの場合にｅｍａｘが更新される。
【００４８】
ステップＳ７において、ｊ＜ｉであればステップＳ８にすすみ、ｊ≧ｉであればｉ＝ｉ＋１としてステップＳ２にすすむ。
【００４９】
ステップＳ８において、ｋ回目の試行を終了する。
【００５０】
ステップＳ９において、偏差の最大値ｅｍａｘを予め設定した設定値と比較し、設定値よりも小さい場合に偏差が十分小さいと判断して学習を終了する。偏差の最大値ｅｍａｘが設定値よりも大きい場合には、ｋ＝ｋ＋１としてステップＳ２にすすむ。
【００５１】
以上の反復学習制御を用いて位置を制御することにより、従来の学習フィルタを変動させない反復学習制御と比べて、所定の偏差以下にするために要する試行回数を低減することが可能であり、反復学習にかかる時間を短縮できる。
【００５２】
なお、以下の実施例１乃至３において好適なパラメータの例と、効果を示すデータについて説明を行う。
【実施例１】
【００５３】
実施例１ではパラメータが制御対象を駆動する駆動手段の推力定数を含む例を説明する。
【００５４】
図１を用いて本実施例の位置制御装置について説明する。図１で説明した箇所については重複をさけるため説明を省略する。パラメータ変動算出部Ｚはパラメータ変動を算出する。具体的には、パラメータ変動算出部Ｚは、予め求めた制御対象の位置と推力定数との相関関係を表す情報を不図示のメモリに格納し、この情報と、センサ１によって検出された制御対象Ｐの位置とにもとづいて、推力定数の変動を算出する。後述するようにパラメータは推力定数を含む式で表されるため、推力定数の変動からパラメータ変動を算出することができる。
【００５５】
ここで、制御対象の位置と推力定数との相関関係を表す情報は、例えば制御対象を移動させながら図５に示すような推力リプルを検出して、この推力リプルから推力定数を求めることによって得ることができる。
【００５６】
つぎに、パラメータｐが推力定数を含む場合のＬＰＶ系のモデルの導出方法および学習フィルタＬ（ｐ）の導出方法について説明をする。
【００５７】
制御対象の質量をｍ、変位をｘ、制御対象への力入力をｕｕ、制御対象を駆動する駆動手段の推力定数をａとしたときに、制御対象は以下のようにモデリングされる。
【００５８】
【数９】
【００５９】
このモデルをＬＰＶモデルの一形式であるアフィンパラメータ依存モデルに変形する手順を以下に示す。まず、状態ベクトルを
【００６０】
【数１０】
【００６１】
として、式（１１）より状態方程式を求めると、
【００６２】
【数１１】
【００６３】
となる。ここで、
【００６４】
【数１２】
【００６５】
とおくと、
【００６６】
【数１３】
【００６７】
となる。ここで、出力方程式を以下のものとする。
【００６８】
【数１４】
【００６９】
さらに、アクチュエータのアンプ特性を以下のような状態方程式、出力方程式とする。
【００７０】
【数１５】
【００７１】
ここで、ｘｗ＝［ｘｘｆ］Ｔとして、式（１５），式（１６）との拡大形を構成すると、
【００７２】
【数１６】
【００７３】
となる。ここで、システム行列は以下のようになる。
【００７４】
【数１７】
【００７５】
このように、パラメータｐを含まない行列Ａ０と、パラメータｐの係数のみの行列Ａ１に分割して表すことができる。これより、式（２１）は以下のようなアフィンパラメータ依存モデルとなる。
【００７６】
【数１８】
【００７７】
式（２２）のモデルとフィードバック制御器を用いた閉ループ系Ｐｃｌ（Ｐ）と、安定化フィルタＱとを含む制御系に、重み関数Ｗと定数δと制御量Ｚ２を導入して一般化プラントを構成すると、図６のようになる。したがって、ＬＭＩに基づくゲインスケジュールドＨ∞制御理論により変動するパラメータのｉ個の点に対応したＬＴＩ学習フィルタＬｉを導出することができる。ここで、安定化フィルタＱをカットオフ周波数３５０Ｈｚの１次のローパスフィルタとする。
【００７８】
また、重み関数Ｗは、
【００７９】
【数１９】
【００８０】
とする。また、δは微小な定数である。
【００８１】
推力定数ａの変動の幅を以下のようにする。
【００８２】
【数２０】
【００８３】
そうすると、パラメータｐは以下の範囲で変動する。
【００８４】
【数２１】
【００８５】
導出されたＬＰＶ学習フィルタを図７に示す。実線と破線はそれぞれ、パラメータｐが上限値ｐｍａｘの時と下限値ｐｍｉｎとなったときの学習フィルタを示す。学習フィルタをそれぞれＬ１，Ｌ２とすると、推力リプルによるパラメータｐの変動に適応するＬＰＶ学習フィルタは式（１０）から求められる。
【００８６】
また、この実施例では、安定化フィルタＱには、零位相ローパスフィルタを用いている。零位相ローパスフィルタは実時間での処理が行えないため、図９に示すように、制御誤差ｅｋとパラメータｐについてもメモリに蓄積する。そして、学習は一回の試行が終了する度ごとに行われる。具体的なフローについて以下に説明する。手順を図１０のフローチャートに示す。
【００８７】
ステップＳ１１において、１回目の試行を行う。ここでは、反復学習制御回路からの入力を行わずに制御を行う。偏差ｅ１がメモリ１１に記憶される。また、パラメータｐ１がパラメータ変動算出部Ｚにより算出され、メモリ１２に記憶される。偏差ｅ１が学習フィルタＬ（ｐ）に入力され、その出力が安定化フィルタＱを通過してｆ２としてメモリ５に記憶される。
【００８８】
ステップＳ１２において、ｋ回目（ｋ＞１）の試行を開始する。このとき、前回メモリ５に記憶された制御入力ｆｋを制御器からの出力ｕｋに加える。このようにしてｋ回目の試行において制御対象は制御される。また、ｋ回目の試行において、ｋ＋１回目（ｋ＞１）の制御入力ｆｋ＋１が以下のＳ１５〜Ｓ１８でオフライン生成される。なお、制御はディジタル制御で行われるので、ｋ回目の試行におけるｉサンプル目の制御入力および偏差をｆｋｉ，ｅｋｉと表す。ここで、１回の動作の総サンプル数をｊとする。初期条件として、偏差の最大値ｅｍａｘ＝０として、サンプル数ｉ＝０とする。
【００８９】
ステップＳ１３において、偏差ｅｋがメモリ１１に記憶される。また、パラメータｐｋがパラメータ変動算出部Ｚにより算出され、メモリ１２に記憶される。さらに、偏差ｅｋの最大値ｅｍａｘが検出される。
【００９０】
ステップＳ１４において、偏差の最大値ｅｍａｘを予め設定した設定値と比較し、設定値よりも小さい場合に偏差が十分小さいと判断して学習を終了する。偏差の最大値ｅｍａｘが設定値よりも大きい場合には、ｋ＝ｋ＋１としてステップＳ１５にすすむ。
【００９１】
ステップＳ１５において、ｉサンプル目のパラメータｐｋｉをメモリ１２から呼び出し、その結果にもとづいて学習フィルタＬｉ（ｐｉ）が算出される。具体的には学習フィルタは式（１０）により算出される。
【００９２】
ステップＳ１６において、メモリからｉサンプル目の偏差ｅｋｉが呼び出され学習フィルタＬｉ（ｐｉ）に入力され、その出力が制御入力ｆｋｉに加算される。このようにして出力ｇｋｉが算出される。
【００９３】
ステップＳ１７において、ｊ＜ｉであればステップＳ１８にすすみ、ｊ≧ｉであればｉ＝ｉ＋１としてステップＳ１５にすすむ。
【００９４】
ステップＳ１８において、出力ｇｋは零位相ローパスフィルタである安定化フィルタＱを通過してｆ（ｋ＋１）としてメモリに記憶される。
【００９５】
ステップＳ１９において、ｋ＝ｋ＋１としてＳ１２に進み、次の試行を開始する。以上のステップを繰り返すことによって学習制御を行う。
【００９６】
以下、本実施例のシミュレーション結果について説明する。
【００９７】
シミュレーションとして、図８に示した目標軌跡（位置プロファイル）に制御対象を追従制御させる。なお、上述の反復学習による制御入力、フィードバック入力に加えて、位置プロファイルから求めた加速度を定数倍したフィードフォワード入力を与えている。
【００９８】
図１１は１０回の試行を行った場合の偏差を示す図である。ＬＰＶ学習フィルタを用いた反復学習制御を実線で示し、学習フィルタとして固定パラメータを用いた反復学習制御（以下、ＬＴＩ反復学習制御と略す）を破線で示す。ＬＴＩ反復学習制御に比べてＬＰＶ反復学習制御の方が、偏差を小さくできることが分かる。これは、ＬＰＶ反復学習制御が、変位ｘにおける推力定数ａの値を図５に示す関係から求め、式（１４）のようにパラメータｐを求め、ＬＰＶ学習フィルタを変動させることにより推力変動に適応しているためである。
【００９９】
図１２は、ＬＴＩ反復学習制御で４０回の試行を行った場合の偏差と、ＬＰＶ反復学習制御で１０回の試行を行った場合の偏差を比較する図である。前者を実線で示し、後者を破線で示す。ＬＰＶ反復学習制御を用いることによって、ＬＴＩ反復学習制御の五分の一程度の反復回数で偏差を抑えることができている。
【０１００】
また、推力変動の補償方法として、得られている推力リプルのデータをもとに
【０１０１】
【数２２】
【０１０２】
のように制御入力を補正する方法が考えられる。しかし、この手法はフィードバック制御系を直接補正しているため、推力リプルのデータが実際と異なっていたときに安定性を損なう可能性がある。ＬＰＶ反復学習制御は反復試行によりフィードフォワード入力を生成するため、閉ループ系の安定性を損なうことはない。
【０１０３】
図１３に実際の推力変動が事前に得られた推力リプルのデータより３ｍｍずれているときのシミュレーション結果を示す。ＬＰＶ学習フィルタを用いて１０回の試行を行った場合の偏差を実線で示し、上述の推力定数の直接補償とＬＴＩ反復学習制御を用いた場合の偏差を破線で示す。ＬＴＩ反復学習制御はフィードバック制御系の性能劣化により偏差が大きくなっているが、ＬＰＶ反復学習制御は図１１の応答と比べてほとんど劣化していない。これより、ＬＰＶ反復学習制御のロバスト性が確認できる。
【実施例２】
【０１０４】
実施例２ではパラメータが制御対象への外乱力を含む例を説明する。外乱力は本来モデルのパラメータではないため、外乱力を等価的にシステムの減衰力として扱う。
【０１０５】
図１を用いて本実施例の位置制御装置について説明する。図１で説明した箇所については重複をさけるため説明を省略する。パラメータ変動算出部Ｚは、外乱オブザーバを有し、この外乱オブザーバにより制御入力と変位から外乱力を推定し、この外乱力を用いてパラメータ変動を算出することができる。
【０１０６】
つぎに、パラメータが外乱力を含む場合のＬＰＶ系のモデルの導出方法について説明する。
【０１０７】
制御対象の質量をｍ、変位をｘ、制御対象への力入力をｕｕ、外乱力をｇとすると、制御対象のモデルは以下のようにモデリングされる。
【０１０８】
【数２３】
【０１０９】
ここで、
【０１１０】
【数２４】
【０１１１】
のように拡張線形化を行い、式（２７）の状態方程式を求めると、
【０１１２】
【数２５】
【０１１３】
のように、外乱力をシステム行列に入れることができる。ここで、
【０１１４】
【数２６】
【０１１５】
とおく。ただし、
【０１１６】
【数２７】
【０１１７】
のときは、
【０１１８】
【数２８】
【０１１９】
とする。そして、［実施例１］と同じく、アクチュエータのアンプ特性との拡大形を構成すると、以下のような外乱力によってモデルが変動するアフィンパラメータ依存モデルとなる。
【０１２０】
【数２９】
【０１２１】
そして、［実施例１］と同様の一般化プラントを用いて、ＬＰＶ学習フィルタを導出する。このとき、パラメータｐの変動範囲を
【０１２２】
【数３０】
【０１２３】
とし、ｐが変動の範囲の上限値ｐｍａｘ、下限値ｐｍｉｎを超えた場合には、それぞれｐｍａｘ，ｐｍｉｎを用いる。
【０１２４】
以下、本実施例のシミュレーション結果について説明する。
【０１２５】
図１４はシミュレーションの条件として制御対象に加わる外乱を示す図である。外乱力は外乱オブザーバを用いて推定され、推定された外乱力と速度を用いて式（３０）からパラメータｐが算出される。そして、パラメータｐに対応するように、ＬＰＶ学習フィルタを変動させる。
【０１２６】
具体的な学習のフローは、実施例１と同様であるため省略する。
【０１２７】
なお、図１４の外乱と図８のプロファイルを用いたシミュレーションでは、パラメータｐは変動の上下限値を超えることはなかった。
【０１２８】
図１５は４回の試行を行った場合の偏差を示す図である。ＬＰＶ学習フィルタを用いた反復学習制御を実線で示し、ＬＴＩ反復学習制御を破線で示す。ＬＰＶ反復学習制御では、０．０３秒から０．０５秒にかけて追従性能が高いことがわかる。ＬＴＩ反復学習制御ではさらに２回の試行を行わなければ、ＬＰＶ反復学習制御と同様の性能は得られなかった。このように、ＬＰＶ反復学習制御は外乱力を推定して適応するように学習フィルタを変動させるため、学習効果が高く、反復回数を低減させることができる。
【実施例３】
【０１２９】
実施例３ではパラメータが制御対象の姿勢角変動を含む例を説明する。図１を用いて位置制御装置について説明する。図１で説明した箇所については重複をさけるため説明を省略する。
【０１３０】
パラメータ変動算出部Ｚは制御対象の姿勢角を検出するセンサ（姿勢検出部）を有する。
【０１３１】
パラメータｐが制御対象の姿勢角を含む場合のＬＰＶ系のモデルの導出方法について説明する。図１６は制御対象としての移動体８６が制御入力ｕｕを受けて移動する様子を示す図である。図において、横軸をｘ軸、紙面に垂直な軸をｙ軸とし、移動体８６のｙ軸回りの回転角をθｙとしている。
【０１３２】
図１６のように、制御対象の底面に平行に推力が発生するとき、ｘ軸方向の推力は制御入力のｕｕのｘ軸に水平な方向の分力であるので、ｕｕ ｃｏｓθｙ となる。制御対象の状態方程式は、
【０１３３】
【数３１】
【０１３４】
となる。ここで、
【０１３５】
【数３２】
【０１３６】
とおく。そして、［実施例１］と同じく、アクチュエータのアンプ特性との拡大形を構成すると、以下のような回転角によって変動するアフィンパラメータ依存モデルとなる。
【０１３７】
【数３３】
【０１３８】
つぎに、［実施例１］と同様の一般化プラントを用いて、ＬＰＶ学習フィルタを導出する。このとき、パラメータｐの変動範囲を
【０１３９】
【数３４】
【０１４０】
とする。
【０１４１】
以下、本実施例のシミュレーション結果を示す。
【０１４２】
回転角θｙの制御はｘ軸方向とは別の制御系で制御されているものとする。そこでは、回転角θｙはセンサで直接計測されている。そのため、そのセンサ情報から、式（３８）のようにパラメータ変動を算出し、ＬＰＶ学習フィルタを変動させることができる。
【０１４３】
具体的な学習のフローは、実施例１と同様である。
【０１４４】
図１８は４回の試行を行った場合の偏差を示す図である。ＬＰＶ学習フィルタを用いた反復学習制御を実線で示し、ＬＴＩ反復学習制御を破線で示す。ＬＰＶ反復学習制御では、０．０３秒から０．０７秒にかけて偏差が小さくなっている。ＬＴＩ反復学習制御ではさらに３回の試行を行わなければＬＰＶ反復学習制御と同様の性能は得られなかった。このように、ＬＰＶ反復学習制御はセンサで計測した出力を用いてパラメータ変動を算出し、この算出結果にもとづいて学習フィルタを変動させるため学習効果が高く、試行回数を低減させることができる。
【０１４５】
（露光装置に適用した例）
図１９は、本発明の位置制御装置を適用した露光装置の概念図である。なお、本実施例では露光装置について例示的に説明するものであり、露光装置の構成はこの記述により限定されないものとする。
【０１４６】
露光装置１００は、照明光学系８１と、レチクル８２を搭載して移動するレチクルステージ８３と、投影光学系８４と、ウエハ８５を搭載して移動するウエハステージ８６を備える。また、ウエハステージ８６の位置を検出するセンサ８８を備える。
【０１４７】
照明光学系８１からの光はレチクル８２（原版）及び投影光学系８４を介してウエハ８５（基板）上に照射される。これにより、レチクル８２のパターンは投影光学系８４によって縮小投影されてウエハ上に結像する。
【０１４８】
また、露光装置は制御ボックスに配置された制御基板８０を備え、この制御基板８０が上述の実施例における位置制御装置７を含む。制御基板８０として例えば公知のＤＳＰシステムを適用しうる。制御基板８０は、センサ８８、露光装置のメインＣＰＵ（不図示）、ステージ駆動用のドライバ（不図示）と通信可能に接続される。
【０１４９】
以上の構成により、例えばセンサ８８から出力される位置信号にもとづいてパラメータ変動の検出または推定を行い、パラメータ変動を考慮して反復学習制御を行ってウエハステージの位置を制御する。
【０１５０】
ここで、実際の露光を開始する前にステージをｋ回駆動して、偏差の最大値ｅｍａｘが十分に小さくなってから露光を開始すればよい。偏差の最大値が十分小さくなった後は、制御入力ｆｋの更新を行ってもよいし行わなくてもよい。
【０１５１】
また、ウエハステージ８６ではなく、レチクルステージ８３の制御において本発明の位置制御装置を適用してもよい。
【０１５２】
また、上述の露光装置を用いてデバイス（半導体集積回路素子、液晶表示素子等）が製造される。ここで、デバイス製造方法は、上述の露光装置を使用して感光剤を塗布したウエハ（基板）を露光する工程と、その基板を現像する工程と、他の周知の工程と、を備える。
【図面の簡単な説明】
【０１５３】
【図１】ＬＰＶ反復学習制御を用いた位置制御回路を示す制御ブロック線図である。
【図２】ＬＰＶ反復学習制御を用いた位置制御のフローチャート図である。
【図３】ＬＰＶ学習フィルタの導出をゲインスケジュールドＨ∞制御問題に置き換えて示したブロック線図である。
【図４】学習フィルタＬ（ｐ）を表すブロック線図である。
【図５】制御対象の位置と推力リプルとの関係を表す図である。
【図６】制御対象の変動を考慮した閉ループ系と安定化フィルタと重み関数を含む一般化プラントを表す図である。
【図７】ＬＰＶ反復学習フィルタを表すゲイン線図である。
【図８】制御対象の目標軌跡を表す図である。
【図９】ＬＰＶ型反復学習制御において零位相ローパスフィルタを安定化フィルタとして用いた場合の位置制御回路を示す制御ブロック線図である。
【図１０】ＬＰＶ型反復学習制御において零位相ローパスフィルタを安定化フィルタとして用いた場合の位置制御のフローチャート図である。
【図１１】実施例１のシミュレーション結果を示す図である。
【図１２】実施例１のシミュレーション結果を示す図である。
【図１３】実施例１のシミュレーション結果を示す図である。
【図１４】制御対象に加わる外乱力を表す図である。
【図１５】実施例２のシミュレーション結果を示す図である。
【図１６】実施例３における制御対象の座標を示す説明図である。
【図１７】実施例における制御対象の移動および回転を示す図である。
【図１８】実施例３のシミュレーション結果を示す図である。
【図１９】反復学習制御装置を用いた露光装置を示す図である。
【符号の説明】
【０１５４】
１ 検出部
２ 減算部
３，４ 加算部
５，１１，１２ メモリ
６ 反復学習制御回路
７ 位置制御装置
８０ 制御基板
８１ 照明光学系
８２ レチクル
８３ レチクルステージ
８４ 投影光学系
８５ ウエハ
８６ ウエハステージ
８８ センサ
【特許請求の範囲】
【請求項１】
制御対象の位置を検出する検出部と、
前記検出部の出力を目標値から減算する減算部と、
前記検出部の出力と前記目標値との偏差が入力されるフィルタを含み、前記制御対象に制御入力をフィードフォワードする反復学習制御回路と、を備える位置制御装置であって、
前記制御対象のパラメータ変動を算出する算出手段を備え、
前記制御対象のパラメータ変動に応じて前記フィルタの特性が変更されることを特徴とする位置制御装置。
【請求項２】
前記フィルタは、線形パラメータ変動系のモデルから導出されることを特徴とする請求項１に記載の位置制御装置。
【請求項３】
前記反復学習制御回路は、所定の帯域を遮断する第２フィルタをさらに含むことを特徴とする請求項１または２に記載の位置制御装置。
【請求項４】
前記パラメータは前記制御対象を駆動する駆動手段の推力定数を含み、
前記算出手段は、予め記憶された前記制御対象の位置と前記推力定数との関係を用いて、前記検出部の出力にもとづいて前記推力定数の変動を算出することを特徴とする請求項１乃至３のいずれか１項に記載の位置制御装置。
【請求項５】
外乱オブザーバを備え、
該外乱オブザーバの出力にもとづいて前記パラメータ変動が算出されることを特徴とする請求項１乃至３のいずれか１項に記載の位置制御装置。
【請求項６】
前記パラメータは前記制御対象の姿勢を含み、
前記制御対象の姿勢を検出する姿勢検出部を備えることを特徴とする請求項１乃至３のいずれか１項に記載の位置制御装置。
【請求項７】
前記フィルタは、特性が不変である２つの不変フィルタをもち、前記２つの不変フィルタの間を補間する補間演算部と、を備えることを特徴とする請求項１に記載の位置制御装置。
【請求項８】
請求項１乃至７のいずれか１項に記載の位置制御装置を用いて、基板または原版を搭載するステージの位置を制御することを特徴とする露光装置。
【請求項９】
請求項８に記載の露光装置を用いて基板にパターンを露光する工程と、
露光された基板を現像する工程とを備えることを特徴とするデバイス製造方法。
【請求項１】
制御対象の位置を検出する検出部と、
前記検出部の出力を目標値から減算する減算部と、
前記検出部の出力と前記目標値との偏差が入力されるフィルタを含み、前記制御対象に制御入力をフィードフォワードする反復学習制御回路と、を備える位置制御装置であって、
前記制御対象のパラメータ変動を算出する算出手段を備え、
前記制御対象のパラメータ変動に応じて前記フィルタの特性が変更されることを特徴とする位置制御装置。
【請求項２】
前記フィルタは、線形パラメータ変動系のモデルから導出されることを特徴とする請求項１に記載の位置制御装置。
【請求項３】
前記反復学習制御回路は、所定の帯域を遮断する第２フィルタをさらに含むことを特徴とする請求項１または２に記載の位置制御装置。
【請求項４】
前記パラメータは前記制御対象を駆動する駆動手段の推力定数を含み、
前記算出手段は、予め記憶された前記制御対象の位置と前記推力定数との関係を用いて、前記検出部の出力にもとづいて前記推力定数の変動を算出することを特徴とする請求項１乃至３のいずれか１項に記載の位置制御装置。
【請求項５】
外乱オブザーバを備え、
該外乱オブザーバの出力にもとづいて前記パラメータ変動が算出されることを特徴とする請求項１乃至３のいずれか１項に記載の位置制御装置。
【請求項６】
前記パラメータは前記制御対象の姿勢を含み、
前記制御対象の姿勢を検出する姿勢検出部を備えることを特徴とする請求項１乃至３のいずれか１項に記載の位置制御装置。
【請求項７】
前記フィルタは、特性が不変である２つの不変フィルタをもち、前記２つの不変フィルタの間を補間する補間演算部と、を備えることを特徴とする請求項１に記載の位置制御装置。
【請求項８】
請求項１乃至７のいずれか１項に記載の位置制御装置を用いて、基板または原版を搭載するステージの位置を制御することを特徴とする露光装置。
【請求項９】
請求項８に記載の露光装置を用いて基板にパターンを露光する工程と、
露光された基板を現像する工程とを備えることを特徴とするデバイス製造方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２００９−２０５６４１（Ｐ２００９−２０５６４１Ａ）
【公開日】平成２１年９月１０日（２００９．９．１０）
【国際特許分類】
【出願番号】特願２００８−５０１２６（Ｐ２００８−５０１２６）
【出願日】平成２０年２月２９日（２００８．２．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２１年９月１０日（２００９．９．１０）
【国際特許分類】
【出願日】平成２０年２月２９日（２００８．２．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]