最適制御システム
【課題】制御対象の行動態様を定める最適解の探索精度向上を図ることができる最適制御システムを提供する。
【解決手段】方策記憶要素１２０が、状態推定要素１１０による確率分布ｐ（ｘ）の今回更新結果と、行動探索要素２００による条件付き確率分布ｐ（ｕ｜ｘ）の今回更新結果とに基づき、同時確率分布ｐ（ｕ，ｘ）の今回更新結果を取得する。一方、行動探索要素２００が、状態指定要素１１０による確率分布ｐ（ｘ）の今回更新結果と、方策記憶要素１２０による同時確率分布ｐ（ｕ，ｘ）の前回更新結果とに基づき、条件付き確率分布ｐ（ｕ｜ｘ）の今回更新結果を取得するための今回基準となる条件付き確率分布ｐ（ｕ｜ｘ）を定める。
【解決手段】方策記憶要素１２０が、状態推定要素１１０による確率分布ｐ（ｘ）の今回更新結果と、行動探索要素２００による条件付き確率分布ｐ（ｕ｜ｘ）の今回更新結果とに基づき、同時確率分布ｐ（ｕ，ｘ）の今回更新結果を取得する。一方、行動探索要素２００が、状態指定要素１１０による確率分布ｐ（ｘ）の今回更新結果と、方策記憶要素１２０による同時確率分布ｐ（ｕ，ｘ）の前回更新結果とに基づき、条件付き確率分布ｐ（ｕ｜ｘ）の今回更新結果を取得するための今回基準となる条件付き確率分布ｐ（ｕ｜ｘ）を定める。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、制御対象の行動を決定するための最適制御システムに関する。
【背景技術】
【０００２】
評価関数によってロボットなどの制御対象の最適行動を探索する技術が提案されている（特許文献１〜２参照）。最適行動は最適化問題を解くことによって制御入力が決定される。最適化問題は、制御対象の動作または行動態様ｕの適切さを表わす評価関数ｆ（ｕ）が最大値を示すような当該制御対象の行動態様（最適解）ｕ*を探索するという形式（ｆｉｎｄ ｕ*＝ａｒｇｍａｘ ｆ（ｕ））で定義される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−２３０５１４号公報
【特許文献２】特開平０８−３１４８８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、限られたサンプリング周期の中で解が探索されるため、暫定的な解が得られるにとどまり、最適解を探索すること、ひいては制御対象の実際の制御に適用することは困難であった。
【０００５】
そこで、本発明は、制御対象の行動態様を定める最適解の探索精度向上を図ることができる最適制御システムを提供することを解決課題とする。
【課題を解決するための手段】
【０００６】
本発明は、制御対象の行動を決定するための最適制御システムであって、前記制御対象の状態ｘの各回の測定結果に応じて、状態ｘの確率分布ｐ（ｘ）を更新するように構成されている状態推定要素と、前記制御対象の状態ｘの各回の測定結果に応じて、状態ｘおよび行動ｕの同時確率分布ｐ（ｕ，ｘ）を更新するように構成されている方策記憶要素と、条件付き確率分布ｐ（ｕ｜ｘ）に応じた複数の行動候補ｕiの生成と、当該複数の行動候補のそれぞれの評価関数ｆ（ｕ｜ｘ）に鑑みた適合度ｆiの評価と、当該評価結果に応じた行動候補の選定と、当該選定行動候補の分布特性を評価関数ｆ（ｕ｜ｘ）の形状特性に近似させるような条件付き確率分布ｐ（ｕ｜ｘ）の更新とを繰り返すことにより、条件付き確率分布ｐ（ｕ｜ｘ）の今回更新結果を取得するとともに、適合度に鑑みて適当な最適行動ｕ*を前記制御対象がしたがうべき行動として決定するように構成されている行動探索要素とを備え、前記方策記憶要素が、確率分布ｐ（ｘ）の今回更新結果と、前記行動探索要素による条件付き確率分布ｐ（ｕ｜ｘ）の今回更新結果とに基づき、同時確率分布ｐ（ｕ，ｘ）の今回更新結果を取得するように構成され、前記行動探索要素が、前記状態推定要素による確率分布ｐ（ｘ）の今回更新結果と、前記方策記憶要素による同時確率分布ｐ（ｕ，ｘ）の前回更新結果とに基づき、条件付き確率分布ｐ（ｕ｜ｘ）の今回更新結果を取得するための今回基準となる条件付き確率分布ｐ（ｕ｜ｘ）を定めるように構成されていることを特徴とする。
【０００７】
本発明の最適制御システムによれば、状態ｘに関する演算処理を主担当する状態推定要素と、行動ｕに関する演算処理を主担当する行動探索要素とのそれぞれにより、相手方の演算処理結果が相互利用される。
【０００８】
具体的には、方策記憶要素が、状態推定要素による確率分布ｐ（ｘ）の今回更新結果と、行動探索要素による条件付き確率分布ｐ（ｕ｜ｘ）の今回更新結果とに基づき、同時確率分布ｐ（ｕ，ｘ）の今回更新結果を取得する。その一方、行動探索要素が、状態推定要素による確率分布ｐ（ｘ）の今回更新結果と、方策記憶要素による同時確率分布ｐ（ｕ，ｘ）の前回更新結果とに基づき、条件付き確率分布ｐ（ｕ｜ｘ）の今回更新結果を取得するための今回基準となる条件付き確率分布ｐ（ｕ｜ｘ）を定める。すなわち、方策記憶要素による前回までの学習結果の蓄積である同時確率分布ｐ（ｕ，ｘ）が利用されることにより、条件付き確率分布ｐ（ｕ｜ｘ）の更新が繰り返される。
【０００９】
このため、条件付き確率分布ｐ（ｕ｜ｘ）の更新が繰り返されるたびに、状態ｘおよび行動ｕの相関関係を表わす同時確率分布ｐ（ｕ，ｘ）が、その形状特性が評価関数ｆ（ｕ｜ｘ）の形状特性に徐々に近似するように更新されうる。
【００１０】
これにより、状態ｘおよびこれに応じた行動ｕのそれぞれの確率変数としての分布特性が未知である制御対象について、各時点における最適な解が探索され、かつ、解の探索が繰り返されるたびに解の最適化が図られる。たとえば、初期段階では最適ではないもののこれに可能な限り近い行動ｕ*が、状態ｘの今回測定結果に応じて限られたサンプリング周期の中でも決定されうる。そして、初期段階以降の段階に進み、同時確率分布ｐ（ｕ，ｘ）の更新が繰り返されるたびに、この制御対象がしたがうべき行動ｕ*の最適化が図られる。
【００１１】
同時確率分布ｐ（ｕ，ｘ）の今回更新結果と前回更新結果との差異が小さく、ある程度安定した段階での同時確率分布ｐ（ｕ，ｘ）が記憶装置に格納されることにより、その後、状態ｘの測定値に基づき、当該同時確率分布ｐ（ｕ，ｘ）にしたがって、制御対象の動作を制御するために最適な行動が出力されうる。
【００１２】
前記状態推定要素が、単峰性の複数の確率分布の線形結合として定義される確率分布ｐ（ｘ）を更新するように構成され、前記行動探索要素が、状態ｘに対する平均値の依存性が異なる複数の条件付き確率分布の線形結合として定義される条件付き確率分布ｐ（ｕ｜ｘ）を更新するように構成されていることが好ましい。
【００１３】
当該構成の最適制御システムによれば、状態確率分布が複数の極大値を有する多峰性を示す制御対象についても、状態ｘの測定結果に応じて更新される確率分布ｐ（ｘ）が整合するように更新されうる。これにより、上記のように確率分布ｐ（ｘ）の更新結果に応じて更新される同時確率分布ｐ（ｕ，ｘ）に基づき、この制御対象の制御にとってその時点における最適行動ｕ*が決定されうる。
【００１４】
前記行動探索要素が、評価関数ｆ（ｕ｜ｘ）と、条件付き確率分布ｐ（ｕ｜ｘ）との積の積分値としての期待値Ｅが最高となるように条件付き確率分布ｐ（ｕ｜ｘ）を更新するように構成されていることが好ましい。
【００１５】
当該構成の最適制御システムによれば、評価関数ｆ（ｕ｜ｘ）の形状特性と、同時確率分布ｐ（ｕ，ｘ）の形状特性との類似度を表わす期待値Ｅが最高となるように条件付き確率分布ｐ（ｕ｜ｘ）が更新される。これにより、同時確率分布ｐ（ｕ，ｘ）の形状特性を評価関数ｆ（ｕ｜ｘ）の形状特性に近似させ、上記のように状態ｘおよびこれに応じた行動ｕのそれぞれの分布特性が未知である制御対象についても、同時確率分布ｐ（ｕ，ｘ）の更新が繰り返されるたびに、この制御対象がしたがうべき行動の最適化が図られる。
【図面の簡単な説明】
【００１６】
【図１】本発明の最適制御システムの構成説明図。
【図２】本発明の最適制御方法に関する説明図。
【図３】状態確率分布およびその更新に関する説明図。
【図４】条件付き確率分布およびその更新に関する説明図。
【図５】状態線型関数および条件付き確率分布の関係に関する説明図。
【図６】評価関数に関する説明図。
【図７】行動生成および条件付き確率分布の更新に関する説明図。
【発明を実施するための形態】
【００１７】
（最適制御システムの構成）
図１に示されている本発明の一実施形態としての最適制御システムはコンピュータにより構成されている。最適制御システムは、状態推定要素１１０と、方策記憶要素１２０と、行動探索要素２００とを備えている。行動探索要素２００は、第１行動探索要素２１０と、第２行動探索要素２２０とを備えている。
【００１８】
最適制御システムの当該構成要素のすべてが、物理的に共通のハードウェア資源により構成されていてもよいし、物理的に別個のハードウェア資源により構成されていてもよい。たとえば、状態推定要素１１０および方策記憶要素１２０が制御対象を構成するコンピュータにより構成される一方、行動探索要素２００がこの制御対象とは別個のコンピュータにより構成されてもよい。
【００１９】
状態推定要素１１０は、制御対象の状態ｘの各回の測定結果に応じて、状態ｘの確率分布ｐ（ｘ）を更新するように構成されている。
【００２０】
方策記憶要素１２０は、制御対象の状態ｘの各回の測定結果に応じて、状態ｘおよび行動ｕの同時確率分布ｐ（ｕ，ｘ）を更新するように構成されている。詳細には、方策記憶要素１２０は、状態推定要素１１０による確率分布ｐ（ｘ）の今回更新結果と、行動探索要素２００による条件付き確率分布ｐ（ｕ｜ｘ）の今回更新結果とに基づき、同時確率分布ｐ（ｕ，ｘ）の今回更新結果を取得するように構成されている。
【００２１】
第１行動探索要素２１０は、状態推定要素１１０による確率分布ｐ（ｘ）の今回更新結果と、方策記憶要素１２０による同時確率分布ｐ（ｕ，ｘ）の前回更新結果とに基づき、条件付き確率分布ｐ（ｕ｜ｘ）の今回更新結果を取得するための今回基準となる条件付き確率分布ｐ（ｕ｜ｘ）を定めるように構成されている。第１行動探索要素２１０は、条件付き確率分布ｐ（ｕ｜ｘ）に応じた複数の行動候補ｕiを生成するように構成されている。
【００２２】
第２行動探索要素２２０は、複数の行動ｕiのそれぞれの評価関数ｆ（ｕ｜ｘ）に鑑みた適合度ｆiを評価するように構成されている。
【００２３】
第１行動探索要素２１０は、第２行動探索要素２２０による当該評価結果に応じた行動候補を選定するように構成されている。また、第１行動探索要素２１０は、当該選定行動候補の分布特性を評価関数ｆ（ｕ｜ｘ）の形状特性に近似させるように条件付き確率分布ｐ（ｕ｜ｘ）を更新するように構成されている。
【００２４】
複数の行動候補ｕiの生成と、各行動候補ｕiの適合度ｆiの評価と、当該評価結果に応じた行動候補の選定と、条件付き確率分布ｐ（ｕ｜ｘ）の更新とが繰り返された結果、第１行動探索要素２１０が、条件付き確率分布ｐ（ｕ｜ｘ）の今回更新結果を取得するように構成されている。また、第１行動探索要素２１０が、適合度に鑑みて適当な行動ｕ*が、制御対象がしたがうべき行動として決定するように構成されている。
【００２５】
本発明の構成要素がその担当演算処理を実行するように「構成されている」とは、最適制御システムを構成するＣＰＵが、記憶装置からプログラム（ソフトウェア）を読み出し、読み出したプログラムにしたがって当該担当演算処理を実行するようにプログラムされていることを意味する。
【００２６】
最適制御システムの学習結果に基づき、ロボットまたは車両など、さまざまな機器が制御対象としてその動作が制御されうる。
【００２７】
たとえば、制御対象が再表０３／０９０９７８号公報または再表０３／０９０９７９号公報等に記載されている脚式移動ロボットである場合、入力信号（状態）ｘとして基体の傾斜角度など、ロボットの歩容安定性等を表わす一または複数のパラメータの測定値が採用され、出力信号（行動）ｕとして脚体の関節角度などロボットの歩容を安定に維持するための動作を定義する一または複数のパラメータの制御指令値が採用されうる。
【００２８】
また、制御対象が車両である場合、入力信号ｘとして車体の加速度などの車両の走行安定性等に関する一または複数のパラメータの測定値が採用され、出力信号ｕとしてパワートレインの構成要素としてのクラッチの変位量等、車両の走行安定性を維持するための動作を定義する一または複数のパラメータの制御指令値が採用されうる。
【００２９】
（最適制御システムの機能）
式（０１）により表わされる１状態１入力の状態遷移モデルについて考察する。
【００３０】
x[k+1]=x[k]-Δt(u[k]+ε),if x[k]<0, x[k+1]=x[k]+Δt(u[k]+ε),if 0≦x[k] ..(01)
【００３１】
このモデルは、今回状態ｘ［ｋ］に応じた行動ｕ［ｋ］にしたがって制御対象の動作が制御された場合、サンプリング周期時間における今回状態ｘ［ｋ］から次回状態ｘ［ｋ＋１］の変化量を表わしている。この変化量は、今回行動ｕ［ｋ］およびノイズε（たとえば０以上１以下の任意の数）の和に比例している。
【００３２】
また、評価関数ｆが式（０２）により表現されていると仮定する。
【００３３】
f(u|x)=-exp{-(x-Δtu)2}, if x<0, f(u|x)=-exp{-(x+Δtu)2}, if 0≦x ..(02)
【００３４】
この場合、評価関数ｆ（ｕ｜ｘ）は、図６に示されているように平面ｘ＝０に関して対称性を有している。また、評価関数ｆ（ｕ｜ｘ）は、ｕの値が負の範囲（ｕ＜０）で低いほど、ｘ方向の間隔が大きい一対の線分を稜線ｆ（Ｌ）として有している。図５（ａ）〜（ｃ）に実線で示されているように、ｘ−ｕ平面に対する当該稜線ｆ（Ｌ）の投影線Ｌは、（ｘ，ｕ）＝（０，０）において屈曲するとともに、直線ｘ＝０に対して対称性を有する略Ｖ字形状を示す。
【００３５】
後述するように、行動探索要素２００により条件付き確率分布ｐ（ｘ｜ｕ）が逐次更新されることにより、同時確率分布ｐ（ｘ，ｕ）が、図４（ａ）、図４（ｂ）および図４（ｃ）のそれぞれに示されている状態を順に遷移し、図６に示されている評価関数ｆ（ｘ｜ｕ）に徐々に近似するように逐次更新される。これは、サンプリング周期ごとに測定される状態ｘに応じて、評価関数ｆ（ｘ｜ｕ）に鑑みてその段階で最も適当な行動ｕを出力させるためである。
【００３６】
まず、状態確率分布ｐ（ｘ）および条件付き確率分布ｐ（ｕ｜ｘ）が初期化される（図２／ＳＴＥＰ００２）。具体的には、確率分布ｐ（ｘ）のパラメータθx＝｛ωi,x，μi,x，Σi,x｝の値および十分統計量の推定値Ｓx^＝｛ｓ^i,k,x｝（ｋ＝１，２，３）が初期化される。また、条件付き確率分布ｐ（ｕ｜ｘ）のパラメータθu|x＝｛ωi,u|x，μi,u|x，Σi,u|x｝の値および十分統計量の推定値Ｓu|x^＝｛ｓ^i,k,u|x｝（ｋ＝１，２，３）が初期化される。
【００３７】
確率分布ｐ（ｘ）はＭ個のガウス分布の線型結合として式（０３）により定義されている。この線型結合は、Ｍ個のガウス分布のうち状態ｘがしたがうガウス分布を表わす離散隠れ変数ｚがｉである確率ｐz（ｉ）＝ωi,xを結合係数としている。
【００３８】
p(x)=Σi=1-Mωi,x{1/(2π)D/2|Σi|1/2}exp{-(1/2)(x-μi)TΣi-1(x-μi)}
=Σi=1-Mωi,xN(x|μi,xΣi,x) (0≦ωi≦1、Σi=1-mωi=1) ..(03)
【００３９】
たとえば、Ｍ＝２の場合、確率分布ｐ（ｘ）は式（０３’）により定義される。
【００４０】
p(x)=ω1,xN(x|μ1,xΣ1,x)+ω2,xN(x|μ2,xΣ2,x) ..(03’)
【００４１】
この場合、図３（ａ）に示されているように、状態確率分布ｐ（ｘ）（実線）は、第１ガウス分布ｐ1（ｘ）＝Ｎ（ｘ｜μ1,x，Σ1,x）（一点鎖線）および第２ガウス分布ｐ2（ｘ）＝Ｎ（ｘ｜μ2,x，Σ2,x）（二点鎖線）の線型結合により定義される。ここで、第１ガウス分布の平均値μ1,xは正値であり、第２ガウス分布の平均値μ2,xは負値である。また、状態ｘは図示のために１次元の変数として表現されているが、複数次元の変数（ベクトル）であってもよい。
【００４２】
図３（ａ）から明らかなように、確率変数としての状態（または状態変数）ｘの確率分布が、Ｍ個のガウス分布の線型結合により、１つの極大値のみを有する単峰性の確率分布ではなく、複数の極大値を有する多峰性の確率分布として表現されうる。
【００４３】
条件付き確率ｐ（ｕ｜ｘ）は、平均が状態ｘの線型関数ａiｘ＋ｂiにより表わされ、分散Σi,xを有するＭ個の線形ガウスモデルＮ（ｘ｜ａiｘ＋ｂi，Σi,x）の重み付け和として式（０４）により定義されている。
【００４４】
p(u|x)=Σi=1-Mωi,u|xN(x|aix+bi, Σi,x),
ωi,u|x=ωixN(x|μi,xΣi,x)/Σj=1-MωjxN(x|μj,xΣj,x) ..(04)
【００４５】
Ｍ＝２の場合、条件付き確率分布ｐ（ｕ｜ｘ）は、第１線形ガウスモデルＮ（ｘ｜ａ1ｘ＋ｂ1，Σ1,x）および第２線形ガウスモデルＮ（ｘ｜ａ2ｘ＋ｂ2，Σ2,x）の重み付け和として式（０４’）により定義される。
【００４６】
p(u|x)=ω1,u|xN(x|a1x+b1,Σ1,x)+ω2,u|xN(x|a2x+b2,Σ2,x),
ωi,u|x=ωixN(x|μi,xΣi,x)/{ω1xN(x|μ2,xΣ2,x)+ω2xN(x|a2x+b2,Σ2,x)} ..(04’)
【００４７】
条件付き確率分布ｐ（ｕ｜ｘ）は、後述するように同時確率分布ｐ（ｘ，ｕ）を用いて更新される。同時確率分布ｐ（ｘ，ｕ）は、確率分布ｐ（ｘ）および条件付き確率分布ｐ（ｕ｜ｘ）に基づき、式（０５）にしたがって定義される。
【００４８】
p(u,x)=p(x)p(u|x)= Σi=1-Mωi,xN(u,x|μi,uxΣi,ux),
μi,ux=t(aiμi,x+bi, μi,x),
Σi,ux={Qij}, Q11=Σi,u|x+aiΣi,x-1aiT, Q12=Σi,xaiT, Q21=aiΣi,x, Q22=Σi,x ..(05)
【００４９】
Ｍ＝２の場合、同時確率分布ｐ（ｕ，ｘ）には、第１稜線ｆ（Ｌ1）と、第２稜線ｆ（Ｌ2）とが存在する（図４（ａ）〜（ｃ）参照）。ここで、行動ｕは図示のために１次元の変数として表現されているが、複数次元の変数（ベクトル）であってもよい。第１稜線ｆ（Ｌ1）は、第１線形ガウスモデルＮ（ｘ｜ａ1ｘ＋ｂ1，Σ1,x）の寄与により、同時確率分布ｐ（ｕ，ｘ）が極大値を示す位置を表わしている。第２稜線ｆ（Ｌ2）は、第２線形ガウスモデルＮ（ｘ｜ａ2ｘ＋ｂ2，Σ2,x）の寄与により、同時確率分布ｐ（ｕ，ｘ）が極大値を示す位置を表わしている。
【００５０】
第１線型関数ａ1ｘ＋ｂ1は、ｘ−ｕ平面に対する第１稜線ｆ（Ｌ1）の投影線Ｌ1を表わしている（図５（ａ）〜（ｃ）参照）。第２線型関数ａ2ｘ＋ｂ2は、ｘ−ｕ平面に対する第２稜線ｆ（Ｌ2）の投影線Ｌ2を表わしている（図５（ａ）〜（ｃ）参照）。なお、第１線形ガウスモデルおよび第２線形ガウスモデルのそれぞれの平均値は、状態ｘの１次関数ではなく、状態ｘの２次以上の関数により表現されてもよい。
【００５１】
Ｍ＝２であって、初期化によりたとえばａ1＝０，ｂ1＝０，ａ2＝０，ｂ2＝０とされた場合、同時確率分布ｐ（ｘ，ｕ）は、初期段階では図４（ａ）に示されているように、ｘ方向に幅を有する帯が、ｕ方向についてｕ＝０付近で隆起したような形状になっている。この段階では、第１稜線ｆ（Ｌ1）および第２稜線ｆ（Ｌ2）は一致しており、図５（ａ）に示されているように第１投影線Ｌ1および第２投影線Ｌ2も一致している。
【００５２】
サンプリング時刻ｔにおいて、状態ｘ（ｔ）が周期的に測定または観測される（図２／ＳＴＥＰ００４）。
【００５３】
測定された状態ｘ（ｔ）に応じて、パラメータθxの値および十分統計量の推定値Ｓx^が更新されることにより、確率分布ｐ（ｘ）が更新される（図２／ＳＴＥＰ００６）。
【００５４】
これにより、たとえば、状態ｘの測定値として、正値の出現頻度が、負値の出現頻度よりも高い場合、平均値μ1,xが正である第１ガウス分布ｐ1（ｘ）の重み係数ω1xの値が増やされる一方、平均値μ2,xが負である第２ガウス分布ｐ2（ｘ）の重み係数ω2xの値が減らされる。また、状態ｘの測定値が特定の正値の周辺に集中した場合、第１ガウス分布ｐ1（ｘ）は、その平均値μ1,xが当該特定の正値に近づき、かつ、分散Σ1,xが小さくなるように更新される。
【００５５】
なお、線形結合される確率分布としてはガウス分布のほか、ラプラス分布、レイリー分布、三角分布またはロジスティック分布など、単峰性の（唯一の極大値を有する）任意の確率分布が採用されてもよい。
【００５６】
確率分布ｐ（ｘ）は、図３（ａ）に示されている状態から更新が繰り返されることにより、図３（ｂ）に示されている状態に遷移する。
【００５７】
続いて、条件付き確率分布ｐ（ｕ｜ｘ）の更新回数を表わすフラグｇが「１」に初期化され（図２／ＳＴＥＰ００８）、その上で条件付き確率分布ｐ（ｕ｜ｘ）の更新処理が実行される。
【００５８】
具体的には、まず、条件付き確率分布ｐ（ｕ｜ｘ）が、確率分布ｐ（ｘ）の今回更新結果および同時確率分布ｐ（ｕ，ｘ）の前回更新結果に基づき、式（０６）にしたがって初期更新される（図２／ＳＴＥＰ０１０）。ここで「前回」および「今回」とは、前回および今回のサンプリング周期中に得られた結果であることを示している。同時確率分布ｐ（ｕ，ｘ）の前回更新結果は、状態ｘの前回測定値に応じた、確率分布ｐ（ｘ）の前回更新結果および条件付き確率分布ｐ（ｕ｜ｘ）の前回更新結果に基づき、式（０５）にしたがって計算された上で、システムを構成する記憶装置に格納されている。
【００５９】
p(u|x)=p(u,x)/p(x) ..(06)
【００６０】
続いて、条件付き確率ｐ（ｕ｜ｘ（ｔ））にしたがって、Ｎ個の行動候補ｕi（ｔ）（ｉ＝１，２，‥，Ｎ）が生成される（図２／ＳＴＥＰ０１２）。
【００６１】
たとえば、図７（ａ）に示されているように条件付き確率分布ｐ（ｕ｜ｘ（ｔ））が極大値を示す位置（たとえばｕ＝０）は、最初は評価関数ｆ（ｕ｜ｘ（ｔ））が極大値を示す位置からずれている。このため、初期段階では条件付き確率分布ｐ（ｕ｜ｘ）が極大値を示す位置付近に多数の行動候補ｕi（ｔ）（ｉ＝１，２，‥，Ｎ）が生成される。
【００６２】
さらに、測定された状態ｘ（ｔ）および評価関数ｆ（ｕ｜ｘ）に基づき、Ｎ個の行動候補ｕ1（ｔ），‥，ｕN（ｔ）のそれぞれの適応度ｆ1（ｔ），‥，ｆN（ｔ）が評価された上で、当該適応度が高い上位ｎ個（ｎ＜Ｎ。たとえばｎ＝０．２５Ｎ）の行動候補ｕi（ｔ）が選択される（図２／ＳＴＥＰ０１４）。
【００６３】
たとえば、図７（ａ）に×印で示されている複数の行動候補ｕi（ｔ）のうち、条件付き確率分布ｐ（ｕ｜ｘ（ｔ））が極大値を示す位置よりも左側（負側）にある行動候補は、その適応度ｆが比較的高く評価されるため、優先的に選択される。
【００６４】
そして、条件付き確率分布ｐ（ｕ｜ｘ）が、選択された行動候補の分布ｐ（ｕ）に近づくように更新される（図２／ＳＴＥＰ０１６）。
【００６５】
具体的には、条件付き確率分布ｐ（ｕ｜ｘ）のパラメータθu|xおよび十分統計量の推定値Ｓu|x^が、期待値Ｅを最大化するという基準にしたがって更新される。期待値Ｅは、測定された状態ｘ＝ｘ（ｔ）に応じた評価関数ｆ（ｕ｜ｘ）および条件付き確率分布ｐ（ｕ｜ｘ）の積の積分値として計算される。このため、期待値Ｅは、条件付き確率分布ｐ（ｕ｜ｘ）の形状特性と、評価関数ｆ（ｕ｜ｘ）の形状特性との類似度の高低を表わす指標となりうる。
【００６６】
異なる変数値の組み合わせ（θu|x，Ｓu|x^）のそれぞれについて複数の期待値Ｅが計算され、当該複数の計算値のうち最高の計算値を示す変数値の組み合わせ（θu|x，Ｓu|x^）によって条件付き確率ｐ（ｕ｜ｘ）が更新される。
【００６７】
これにより、条件付き確率分布ｐ（ｕ｜ｘ）が、状態ｘ＝ｘ（ｔ）に応じた適応度ｆが比較的高かった行動候補群が存在する領域にその極大値が移動するように、図７（ａ）の初期状態から、図７（ｂ）および図７（ｃ）のそれぞれに示されている状態を順に遷移しながら更新される。換言すると、条件付き確率分布ｐ（ｕ｜ｘ）が、図７（ｄ）に示されているようにその極大値を示す位置が、評価関数ｆ（ｕ｜ｘ）が極大値を示す位置に対して最終的に一致またはほぼ一致するように更新される。
【００６８】
条件付き確率分布ｐ（ｕ｜ｘ）の極大値を移動させるため、線形ガウスモデルＮ（ｘ｜ａiｘ＋ｂi，Σi,x）の平均値のｘ依存度を定めるパラメータ（傾きａiおよび切片ｂi（ｉ＝１，２））のうち少なくとも１つの値が更新される。
【００６９】
たとえば、図５（ｃ）に示されているように第１投影線Ｌ1がｘの正領域において、評価関数ｆ（ｘ｜ｕ）の稜線投影線Ｌにほぼ一致するように、傾きａ1および切片ｂ1の値が逐次更新される。これにより、図５（ｂ）に両矢印で示されているように第１投影線Ｌ1の傾き（姿勢）および位置（切片）が逐次調節される。
【００７０】
同様に、図５（ｃ）に示されているように第２投影線Ｌ2がｘの負領域において、評価関数ｆ（ｘ｜ｕ）の稜線投影線Ｌにほぼ一致するように、傾きａ2および切片ｂ2の値が逐次更新される。これにより、図５（ｂ）に両矢印で示されているように第２投影線Ｌ2の傾き（姿勢）および位置（切片）が逐次調節される。
【００７１】
フラグｇが、指定回数Ｇ（たとえば「１０」）以上であるか否かが判定される（図２／ＳＴＥＰ０１８）。指定回数Ｇは、１サンプリング周期の間に条件付き確率分布ｐ（ｕ｜ｘ）の更新処理が可能な回数に応じて定められる。
【００７２】
当該判定結果が否定的である場合（図２／ＳＴＥＰ０１８‥ＮＯ）、すなわち、条件付き確率分布ｐ（ｕ｜ｘ）の更新処理回数が指定回数未満である場合、フラグｇが１だけ増やされ（図２／ＳＴＥＰ０２０）、Ｎ個の行動候補ｕi（ｔ）の生成以降の処理が繰り返される（図２／ＳＴＥＰ０１２〜ＳＴＥＰ０１８参照）。
【００７３】
一方、当該判定結果が肯定的である場合（図２／ＳＴＥＰ０１８‥ＹＥＳ）、すなわち、条件付き確率分布ｐ（ｕ｜ｘ）の更新処理回数が指定回数に到った場合、その段階での条件付き確率分布ｐ（ｕ｜ｘ）の極大値またはこれに最も近い値を示す行動候補が、制御対象がしたがうべき今回行動ｕ*（ｔ）として出力される（図２／ＳＴＥＰ０２２）。
【００７４】
そして、確率分布ｐ（ｘ）の今回更新結果（図２／ＳＴＥＰ００６参照）および条件付き確率分布ｐ（ｘ｜ｕ）の今回更新結果（図２／ＳＴＥＰ０１６参照）に基づき、式（０５）にしたがって今回の同時確率分布ｐ（ｕ，ｘ）が更新される（図２／ＳＴＥＰ０２４（図４（ａ）〜（ｃ）参照））。
【００７５】
上記のように第１線形ガウスモデルＮ（ｘ｜ａ1ｘ＋ｂ1，Σ1,x）および第２線形ガウスモデルＮ（ｘ｜ａ2ｘ＋ｂ2，Σ2,x）の更新が繰り返されることにより（図５（ｂ）参照）、図４（ｂ）に両矢印で示されているように同時確率分布ｐ（ｕ，ｘ）もその位置、姿勢および形状（高さ）を変化させながら更新されうる。
【００７６】
さらに、同時確率分布ｐ（ｕ，ｘ）の今回更新結果は、条件付き確率分布ｐ（ｕ｜ｘ）の次回更新に際して利用される（図２／ＳＴＥＰ０１０参照）。
【００７７】
以下、サンプリング時刻ｔごとに、状態ｘの測定から行動ｕ*（ｔ）の出力までの一連の処理が繰り返し実行される（図２／ＳＴＥＰ００４〜ＳＴＥＰ０２４参照）。
【００７８】
（本発明の作用効果）
本発明の最適制御システムによれば、状態ｘに関する演算処理を主担当する状態推定要素１１０および方策記憶要素１２０と、行動ｕに関する演算処理を主担当する行動探索要素２００とのそれぞれにより、相手方の演算処理結果が相互利用される。
【００７９】
具体的には、方策記憶要素１２０が、状態推定要素１１０による確率分布ｐ（ｘ）の今回更新結果（図２／ＳＴＥＰ００６参照）と、行動探索要素２００による条件付き確率分布ｐ（ｕ｜ｘ）の今回更新結果（図２／ＳＴＥＰ０１６参照）とに基づき、同時確率分布ｐ（ｕ，ｘ）の今回更新結果を取得する（図２／ＳＴＥＰ０２４参照）。
【００８０】
その一方、行動探索要素２００が、状態推定要素１１０による確率分布ｐ（ｘ）の今回更新結果（図２／ＳＴＥＰ００６参照）と、方策記憶要素１２０による同時確率分布ｐ（ｕ，ｘ）の前回更新結果（図２／ＳＴＥＰ０２４参照）とに基づき、条件付き確率分布ｐ（ｕ｜ｘ）の今回更新結果を取得するための今回基準となる条件付き確率分布ｐ（ｕ｜ｘ）を定める（図２／ＳＴＥＰ０１０参照）。
【００８１】
すなわち、方策記憶要素１１０による前回までの学習結果の蓄積である同時確率分布ｐ（ｕ，ｘ）が利用されることにより、行動探索要素２００による条件付き確率分布ｐ（ｕ｜ｘ）の更新が繰り返される。前記実施例でいうと、第１稜線投影線Ｌ1および第２稜線投影線Ｌ2のそれぞれの位置および姿勢が、サンプリング周期ごとに初期状態（図５（ａ）参照）にリセットされることなく、前回サンプリング周期の終了時点の状態（図５（ｂ）参照）を基準として、今回サンプリング周期中にＧ回にわたり変更されうる。
【００８２】
その結果、同時確率分布ｐ（ｕ，ｘ）が、サンプリング周期ごとに初期状態（図４（ａ）参照）にリセットされることなく、前回サンプリング周期の終了時点の状態（図４（ｂ）参照）を基準として、今回サンプリング周期中に変更されうる。
【００８３】
このため、方策記憶要素１１０による条件付き確率分布ｐ（ｕ｜ｘ）の更新が繰り返されるたびに、状態ｘおよび行動ｕの相関関係を表わす同時確率分布ｐ（ｕ，ｘ）が、その形状特性が評価関数ｆ（ｕ｜ｘ）の形状特性に徐々に近似するように行動探索要素２００により更新されうる（図４（ａ）〜（ｃ）および図６参照）。
【００８４】
これにより、状態ｘおよびこれに応じた行動ｕのそれぞれの確率変数としての分布特性が未知である制御対象について、各時点（各サンプリング時刻）における最適な解が探索され、かつ、解の探索が繰り返されるたびに解（行動ｕ*）の最適化が図られる。たとえば、初期段階では最適ではないもののこれに可能な限り近い行動ｕ*が、状態ｘの今回測定結果に応じて限られたサンプリング周期の中でも決定されうる。そして、初期段階以降の段階に進み、同時確率分布ｐ（ｕ，ｘ）の更新が繰り返されるたびに、この制御対象がしたがうべき行動ｕ*の最適化が図られる。
【００８５】
同時確率分布ｐ（ｕ，ｘ）の今回更新結果と前回更新結果との差異が小さく、ある程度安定した段階での同時確率分布ｐ（ｕ，ｘ）が記憶装置に格納されることにより、その後、状態ｘの測定値に基づき、当該同時確率分布ｐ（ｕ，ｘ）にしたがって、制御対象の動作を制御するために最適な行動が出力されうる。
【００８６】
また、確率分布ｐ（ｘ）が、単峰性の複数の確率分布の線形結合として定義されている（式（０３）、図３（ａ）（ｂ）参照）。さらに、条件付き確率分布ｐ（ｕ｜ｘ）が、状態ｘに対する平均値の依存性が異なる複数の条件付き確率分布の線形結合として定義されている（式（０４）、図４（ａ）〜（ｃ）、図５（ａ）〜（ｃ）参照）。
【００８７】
このため、状態確率分布が複数の極大値を有する多峰性を示す制御対象についても、状態ｘの測定結果に応じて更新される確率分布ｐ（ｘ）が整合するように更新されうる（図３（ａ）（ｂ）参照）。これにより、上記のように確率分布ｐ（ｘ）の更新結果に応じて更新される同時確率分布ｐ（ｕ，ｘ）に基づき、この制御対象の制御にとってその時点における最適行動ｕ*が決定されうる。
【符号の説明】
【００８８】
１１０‥状態推定要素、１２０‥方策記憶要素、２００‥行動探索要素。
【技術分野】
【０００１】
本発明は、制御対象の行動を決定するための最適制御システムに関する。
【背景技術】
【０００２】
評価関数によってロボットなどの制御対象の最適行動を探索する技術が提案されている（特許文献１〜２参照）。最適行動は最適化問題を解くことによって制御入力が決定される。最適化問題は、制御対象の動作または行動態様ｕの適切さを表わす評価関数ｆ（ｕ）が最大値を示すような当該制御対象の行動態様（最適解）ｕ*を探索するという形式（ｆｉｎｄ ｕ*＝ａｒｇｍａｘ ｆ（ｕ））で定義される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−２３０５１４号公報
【特許文献２】特開平０８−３１４８８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、限られたサンプリング周期の中で解が探索されるため、暫定的な解が得られるにとどまり、最適解を探索すること、ひいては制御対象の実際の制御に適用することは困難であった。
【０００５】
そこで、本発明は、制御対象の行動態様を定める最適解の探索精度向上を図ることができる最適制御システムを提供することを解決課題とする。
【課題を解決するための手段】
【０００６】
本発明は、制御対象の行動を決定するための最適制御システムであって、前記制御対象の状態ｘの各回の測定結果に応じて、状態ｘの確率分布ｐ（ｘ）を更新するように構成されている状態推定要素と、前記制御対象の状態ｘの各回の測定結果に応じて、状態ｘおよび行動ｕの同時確率分布ｐ（ｕ，ｘ）を更新するように構成されている方策記憶要素と、条件付き確率分布ｐ（ｕ｜ｘ）に応じた複数の行動候補ｕiの生成と、当該複数の行動候補のそれぞれの評価関数ｆ（ｕ｜ｘ）に鑑みた適合度ｆiの評価と、当該評価結果に応じた行動候補の選定と、当該選定行動候補の分布特性を評価関数ｆ（ｕ｜ｘ）の形状特性に近似させるような条件付き確率分布ｐ（ｕ｜ｘ）の更新とを繰り返すことにより、条件付き確率分布ｐ（ｕ｜ｘ）の今回更新結果を取得するとともに、適合度に鑑みて適当な最適行動ｕ*を前記制御対象がしたがうべき行動として決定するように構成されている行動探索要素とを備え、前記方策記憶要素が、確率分布ｐ（ｘ）の今回更新結果と、前記行動探索要素による条件付き確率分布ｐ（ｕ｜ｘ）の今回更新結果とに基づき、同時確率分布ｐ（ｕ，ｘ）の今回更新結果を取得するように構成され、前記行動探索要素が、前記状態推定要素による確率分布ｐ（ｘ）の今回更新結果と、前記方策記憶要素による同時確率分布ｐ（ｕ，ｘ）の前回更新結果とに基づき、条件付き確率分布ｐ（ｕ｜ｘ）の今回更新結果を取得するための今回基準となる条件付き確率分布ｐ（ｕ｜ｘ）を定めるように構成されていることを特徴とする。
【０００７】
本発明の最適制御システムによれば、状態ｘに関する演算処理を主担当する状態推定要素と、行動ｕに関する演算処理を主担当する行動探索要素とのそれぞれにより、相手方の演算処理結果が相互利用される。
【０００８】
具体的には、方策記憶要素が、状態推定要素による確率分布ｐ（ｘ）の今回更新結果と、行動探索要素による条件付き確率分布ｐ（ｕ｜ｘ）の今回更新結果とに基づき、同時確率分布ｐ（ｕ，ｘ）の今回更新結果を取得する。その一方、行動探索要素が、状態推定要素による確率分布ｐ（ｘ）の今回更新結果と、方策記憶要素による同時確率分布ｐ（ｕ，ｘ）の前回更新結果とに基づき、条件付き確率分布ｐ（ｕ｜ｘ）の今回更新結果を取得するための今回基準となる条件付き確率分布ｐ（ｕ｜ｘ）を定める。すなわち、方策記憶要素による前回までの学習結果の蓄積である同時確率分布ｐ（ｕ，ｘ）が利用されることにより、条件付き確率分布ｐ（ｕ｜ｘ）の更新が繰り返される。
【０００９】
このため、条件付き確率分布ｐ（ｕ｜ｘ）の更新が繰り返されるたびに、状態ｘおよび行動ｕの相関関係を表わす同時確率分布ｐ（ｕ，ｘ）が、その形状特性が評価関数ｆ（ｕ｜ｘ）の形状特性に徐々に近似するように更新されうる。
【００１０】
これにより、状態ｘおよびこれに応じた行動ｕのそれぞれの確率変数としての分布特性が未知である制御対象について、各時点における最適な解が探索され、かつ、解の探索が繰り返されるたびに解の最適化が図られる。たとえば、初期段階では最適ではないもののこれに可能な限り近い行動ｕ*が、状態ｘの今回測定結果に応じて限られたサンプリング周期の中でも決定されうる。そして、初期段階以降の段階に進み、同時確率分布ｐ（ｕ，ｘ）の更新が繰り返されるたびに、この制御対象がしたがうべき行動ｕ*の最適化が図られる。
【００１１】
同時確率分布ｐ（ｕ，ｘ）の今回更新結果と前回更新結果との差異が小さく、ある程度安定した段階での同時確率分布ｐ（ｕ，ｘ）が記憶装置に格納されることにより、その後、状態ｘの測定値に基づき、当該同時確率分布ｐ（ｕ，ｘ）にしたがって、制御対象の動作を制御するために最適な行動が出力されうる。
【００１２】
前記状態推定要素が、単峰性の複数の確率分布の線形結合として定義される確率分布ｐ（ｘ）を更新するように構成され、前記行動探索要素が、状態ｘに対する平均値の依存性が異なる複数の条件付き確率分布の線形結合として定義される条件付き確率分布ｐ（ｕ｜ｘ）を更新するように構成されていることが好ましい。
【００１３】
当該構成の最適制御システムによれば、状態確率分布が複数の極大値を有する多峰性を示す制御対象についても、状態ｘの測定結果に応じて更新される確率分布ｐ（ｘ）が整合するように更新されうる。これにより、上記のように確率分布ｐ（ｘ）の更新結果に応じて更新される同時確率分布ｐ（ｕ，ｘ）に基づき、この制御対象の制御にとってその時点における最適行動ｕ*が決定されうる。
【００１４】
前記行動探索要素が、評価関数ｆ（ｕ｜ｘ）と、条件付き確率分布ｐ（ｕ｜ｘ）との積の積分値としての期待値Ｅが最高となるように条件付き確率分布ｐ（ｕ｜ｘ）を更新するように構成されていることが好ましい。
【００１５】
当該構成の最適制御システムによれば、評価関数ｆ（ｕ｜ｘ）の形状特性と、同時確率分布ｐ（ｕ，ｘ）の形状特性との類似度を表わす期待値Ｅが最高となるように条件付き確率分布ｐ（ｕ｜ｘ）が更新される。これにより、同時確率分布ｐ（ｕ，ｘ）の形状特性を評価関数ｆ（ｕ｜ｘ）の形状特性に近似させ、上記のように状態ｘおよびこれに応じた行動ｕのそれぞれの分布特性が未知である制御対象についても、同時確率分布ｐ（ｕ，ｘ）の更新が繰り返されるたびに、この制御対象がしたがうべき行動の最適化が図られる。
【図面の簡単な説明】
【００１６】
【図１】本発明の最適制御システムの構成説明図。
【図２】本発明の最適制御方法に関する説明図。
【図３】状態確率分布およびその更新に関する説明図。
【図４】条件付き確率分布およびその更新に関する説明図。
【図５】状態線型関数および条件付き確率分布の関係に関する説明図。
【図６】評価関数に関する説明図。
【図７】行動生成および条件付き確率分布の更新に関する説明図。
【発明を実施するための形態】
【００１７】
（最適制御システムの構成）
図１に示されている本発明の一実施形態としての最適制御システムはコンピュータにより構成されている。最適制御システムは、状態推定要素１１０と、方策記憶要素１２０と、行動探索要素２００とを備えている。行動探索要素２００は、第１行動探索要素２１０と、第２行動探索要素２２０とを備えている。
【００１８】
最適制御システムの当該構成要素のすべてが、物理的に共通のハードウェア資源により構成されていてもよいし、物理的に別個のハードウェア資源により構成されていてもよい。たとえば、状態推定要素１１０および方策記憶要素１２０が制御対象を構成するコンピュータにより構成される一方、行動探索要素２００がこの制御対象とは別個のコンピュータにより構成されてもよい。
【００１９】
状態推定要素１１０は、制御対象の状態ｘの各回の測定結果に応じて、状態ｘの確率分布ｐ（ｘ）を更新するように構成されている。
【００２０】
方策記憶要素１２０は、制御対象の状態ｘの各回の測定結果に応じて、状態ｘおよび行動ｕの同時確率分布ｐ（ｕ，ｘ）を更新するように構成されている。詳細には、方策記憶要素１２０は、状態推定要素１１０による確率分布ｐ（ｘ）の今回更新結果と、行動探索要素２００による条件付き確率分布ｐ（ｕ｜ｘ）の今回更新結果とに基づき、同時確率分布ｐ（ｕ，ｘ）の今回更新結果を取得するように構成されている。
【００２１】
第１行動探索要素２１０は、状態推定要素１１０による確率分布ｐ（ｘ）の今回更新結果と、方策記憶要素１２０による同時確率分布ｐ（ｕ，ｘ）の前回更新結果とに基づき、条件付き確率分布ｐ（ｕ｜ｘ）の今回更新結果を取得するための今回基準となる条件付き確率分布ｐ（ｕ｜ｘ）を定めるように構成されている。第１行動探索要素２１０は、条件付き確率分布ｐ（ｕ｜ｘ）に応じた複数の行動候補ｕiを生成するように構成されている。
【００２２】
第２行動探索要素２２０は、複数の行動ｕiのそれぞれの評価関数ｆ（ｕ｜ｘ）に鑑みた適合度ｆiを評価するように構成されている。
【００２３】
第１行動探索要素２１０は、第２行動探索要素２２０による当該評価結果に応じた行動候補を選定するように構成されている。また、第１行動探索要素２１０は、当該選定行動候補の分布特性を評価関数ｆ（ｕ｜ｘ）の形状特性に近似させるように条件付き確率分布ｐ（ｕ｜ｘ）を更新するように構成されている。
【００２４】
複数の行動候補ｕiの生成と、各行動候補ｕiの適合度ｆiの評価と、当該評価結果に応じた行動候補の選定と、条件付き確率分布ｐ（ｕ｜ｘ）の更新とが繰り返された結果、第１行動探索要素２１０が、条件付き確率分布ｐ（ｕ｜ｘ）の今回更新結果を取得するように構成されている。また、第１行動探索要素２１０が、適合度に鑑みて適当な行動ｕ*が、制御対象がしたがうべき行動として決定するように構成されている。
【００２５】
本発明の構成要素がその担当演算処理を実行するように「構成されている」とは、最適制御システムを構成するＣＰＵが、記憶装置からプログラム（ソフトウェア）を読み出し、読み出したプログラムにしたがって当該担当演算処理を実行するようにプログラムされていることを意味する。
【００２６】
最適制御システムの学習結果に基づき、ロボットまたは車両など、さまざまな機器が制御対象としてその動作が制御されうる。
【００２７】
たとえば、制御対象が再表０３／０９０９７８号公報または再表０３／０９０９７９号公報等に記載されている脚式移動ロボットである場合、入力信号（状態）ｘとして基体の傾斜角度など、ロボットの歩容安定性等を表わす一または複数のパラメータの測定値が採用され、出力信号（行動）ｕとして脚体の関節角度などロボットの歩容を安定に維持するための動作を定義する一または複数のパラメータの制御指令値が採用されうる。
【００２８】
また、制御対象が車両である場合、入力信号ｘとして車体の加速度などの車両の走行安定性等に関する一または複数のパラメータの測定値が採用され、出力信号ｕとしてパワートレインの構成要素としてのクラッチの変位量等、車両の走行安定性を維持するための動作を定義する一または複数のパラメータの制御指令値が採用されうる。
【００２９】
（最適制御システムの機能）
式（０１）により表わされる１状態１入力の状態遷移モデルについて考察する。
【００３０】
x[k+1]=x[k]-Δt(u[k]+ε),if x[k]<0, x[k+1]=x[k]+Δt(u[k]+ε),if 0≦x[k] ..(01)
【００３１】
このモデルは、今回状態ｘ［ｋ］に応じた行動ｕ［ｋ］にしたがって制御対象の動作が制御された場合、サンプリング周期時間における今回状態ｘ［ｋ］から次回状態ｘ［ｋ＋１］の変化量を表わしている。この変化量は、今回行動ｕ［ｋ］およびノイズε（たとえば０以上１以下の任意の数）の和に比例している。
【００３２】
また、評価関数ｆが式（０２）により表現されていると仮定する。
【００３３】
f(u|x)=-exp{-(x-Δtu)2}, if x<0, f(u|x)=-exp{-(x+Δtu)2}, if 0≦x ..(02)
【００３４】
この場合、評価関数ｆ（ｕ｜ｘ）は、図６に示されているように平面ｘ＝０に関して対称性を有している。また、評価関数ｆ（ｕ｜ｘ）は、ｕの値が負の範囲（ｕ＜０）で低いほど、ｘ方向の間隔が大きい一対の線分を稜線ｆ（Ｌ）として有している。図５（ａ）〜（ｃ）に実線で示されているように、ｘ−ｕ平面に対する当該稜線ｆ（Ｌ）の投影線Ｌは、（ｘ，ｕ）＝（０，０）において屈曲するとともに、直線ｘ＝０に対して対称性を有する略Ｖ字形状を示す。
【００３５】
後述するように、行動探索要素２００により条件付き確率分布ｐ（ｘ｜ｕ）が逐次更新されることにより、同時確率分布ｐ（ｘ，ｕ）が、図４（ａ）、図４（ｂ）および図４（ｃ）のそれぞれに示されている状態を順に遷移し、図６に示されている評価関数ｆ（ｘ｜ｕ）に徐々に近似するように逐次更新される。これは、サンプリング周期ごとに測定される状態ｘに応じて、評価関数ｆ（ｘ｜ｕ）に鑑みてその段階で最も適当な行動ｕを出力させるためである。
【００３６】
まず、状態確率分布ｐ（ｘ）および条件付き確率分布ｐ（ｕ｜ｘ）が初期化される（図２／ＳＴＥＰ００２）。具体的には、確率分布ｐ（ｘ）のパラメータθx＝｛ωi,x，μi,x，Σi,x｝の値および十分統計量の推定値Ｓx^＝｛ｓ^i,k,x｝（ｋ＝１，２，３）が初期化される。また、条件付き確率分布ｐ（ｕ｜ｘ）のパラメータθu|x＝｛ωi,u|x，μi,u|x，Σi,u|x｝の値および十分統計量の推定値Ｓu|x^＝｛ｓ^i,k,u|x｝（ｋ＝１，２，３）が初期化される。
【００３７】
確率分布ｐ（ｘ）はＭ個のガウス分布の線型結合として式（０３）により定義されている。この線型結合は、Ｍ個のガウス分布のうち状態ｘがしたがうガウス分布を表わす離散隠れ変数ｚがｉである確率ｐz（ｉ）＝ωi,xを結合係数としている。
【００３８】
p(x)=Σi=1-Mωi,x{1/(2π)D/2|Σi|1/2}exp{-(1/2)(x-μi)TΣi-1(x-μi)}
=Σi=1-Mωi,xN(x|μi,xΣi,x) (0≦ωi≦1、Σi=1-mωi=1) ..(03)
【００３９】
たとえば、Ｍ＝２の場合、確率分布ｐ（ｘ）は式（０３’）により定義される。
【００４０】
p(x)=ω1,xN(x|μ1,xΣ1,x)+ω2,xN(x|μ2,xΣ2,x) ..(03’)
【００４１】
この場合、図３（ａ）に示されているように、状態確率分布ｐ（ｘ）（実線）は、第１ガウス分布ｐ1（ｘ）＝Ｎ（ｘ｜μ1,x，Σ1,x）（一点鎖線）および第２ガウス分布ｐ2（ｘ）＝Ｎ（ｘ｜μ2,x，Σ2,x）（二点鎖線）の線型結合により定義される。ここで、第１ガウス分布の平均値μ1,xは正値であり、第２ガウス分布の平均値μ2,xは負値である。また、状態ｘは図示のために１次元の変数として表現されているが、複数次元の変数（ベクトル）であってもよい。
【００４２】
図３（ａ）から明らかなように、確率変数としての状態（または状態変数）ｘの確率分布が、Ｍ個のガウス分布の線型結合により、１つの極大値のみを有する単峰性の確率分布ではなく、複数の極大値を有する多峰性の確率分布として表現されうる。
【００４３】
条件付き確率ｐ（ｕ｜ｘ）は、平均が状態ｘの線型関数ａiｘ＋ｂiにより表わされ、分散Σi,xを有するＭ個の線形ガウスモデルＮ（ｘ｜ａiｘ＋ｂi，Σi,x）の重み付け和として式（０４）により定義されている。
【００４４】
p(u|x)=Σi=1-Mωi,u|xN(x|aix+bi, Σi,x),
ωi,u|x=ωixN(x|μi,xΣi,x)/Σj=1-MωjxN(x|μj,xΣj,x) ..(04)
【００４５】
Ｍ＝２の場合、条件付き確率分布ｐ（ｕ｜ｘ）は、第１線形ガウスモデルＮ（ｘ｜ａ1ｘ＋ｂ1，Σ1,x）および第２線形ガウスモデルＮ（ｘ｜ａ2ｘ＋ｂ2，Σ2,x）の重み付け和として式（０４’）により定義される。
【００４６】
p(u|x)=ω1,u|xN(x|a1x+b1,Σ1,x)+ω2,u|xN(x|a2x+b2,Σ2,x),
ωi,u|x=ωixN(x|μi,xΣi,x)/{ω1xN(x|μ2,xΣ2,x)+ω2xN(x|a2x+b2,Σ2,x)} ..(04’)
【００４７】
条件付き確率分布ｐ（ｕ｜ｘ）は、後述するように同時確率分布ｐ（ｘ，ｕ）を用いて更新される。同時確率分布ｐ（ｘ，ｕ）は、確率分布ｐ（ｘ）および条件付き確率分布ｐ（ｕ｜ｘ）に基づき、式（０５）にしたがって定義される。
【００４８】
p(u,x)=p(x)p(u|x)= Σi=1-Mωi,xN(u,x|μi,uxΣi,ux),
μi,ux=t(aiμi,x+bi, μi,x),
Σi,ux={Qij}, Q11=Σi,u|x+aiΣi,x-1aiT, Q12=Σi,xaiT, Q21=aiΣi,x, Q22=Σi,x ..(05)
【００４９】
Ｍ＝２の場合、同時確率分布ｐ（ｕ，ｘ）には、第１稜線ｆ（Ｌ1）と、第２稜線ｆ（Ｌ2）とが存在する（図４（ａ）〜（ｃ）参照）。ここで、行動ｕは図示のために１次元の変数として表現されているが、複数次元の変数（ベクトル）であってもよい。第１稜線ｆ（Ｌ1）は、第１線形ガウスモデルＮ（ｘ｜ａ1ｘ＋ｂ1，Σ1,x）の寄与により、同時確率分布ｐ（ｕ，ｘ）が極大値を示す位置を表わしている。第２稜線ｆ（Ｌ2）は、第２線形ガウスモデルＮ（ｘ｜ａ2ｘ＋ｂ2，Σ2,x）の寄与により、同時確率分布ｐ（ｕ，ｘ）が極大値を示す位置を表わしている。
【００５０】
第１線型関数ａ1ｘ＋ｂ1は、ｘ−ｕ平面に対する第１稜線ｆ（Ｌ1）の投影線Ｌ1を表わしている（図５（ａ）〜（ｃ）参照）。第２線型関数ａ2ｘ＋ｂ2は、ｘ−ｕ平面に対する第２稜線ｆ（Ｌ2）の投影線Ｌ2を表わしている（図５（ａ）〜（ｃ）参照）。なお、第１線形ガウスモデルおよび第２線形ガウスモデルのそれぞれの平均値は、状態ｘの１次関数ではなく、状態ｘの２次以上の関数により表現されてもよい。
【００５１】
Ｍ＝２であって、初期化によりたとえばａ1＝０，ｂ1＝０，ａ2＝０，ｂ2＝０とされた場合、同時確率分布ｐ（ｘ，ｕ）は、初期段階では図４（ａ）に示されているように、ｘ方向に幅を有する帯が、ｕ方向についてｕ＝０付近で隆起したような形状になっている。この段階では、第１稜線ｆ（Ｌ1）および第２稜線ｆ（Ｌ2）は一致しており、図５（ａ）に示されているように第１投影線Ｌ1および第２投影線Ｌ2も一致している。
【００５２】
サンプリング時刻ｔにおいて、状態ｘ（ｔ）が周期的に測定または観測される（図２／ＳＴＥＰ００４）。
【００５３】
測定された状態ｘ（ｔ）に応じて、パラメータθxの値および十分統計量の推定値Ｓx^が更新されることにより、確率分布ｐ（ｘ）が更新される（図２／ＳＴＥＰ００６）。
【００５４】
これにより、たとえば、状態ｘの測定値として、正値の出現頻度が、負値の出現頻度よりも高い場合、平均値μ1,xが正である第１ガウス分布ｐ1（ｘ）の重み係数ω1xの値が増やされる一方、平均値μ2,xが負である第２ガウス分布ｐ2（ｘ）の重み係数ω2xの値が減らされる。また、状態ｘの測定値が特定の正値の周辺に集中した場合、第１ガウス分布ｐ1（ｘ）は、その平均値μ1,xが当該特定の正値に近づき、かつ、分散Σ1,xが小さくなるように更新される。
【００５５】
なお、線形結合される確率分布としてはガウス分布のほか、ラプラス分布、レイリー分布、三角分布またはロジスティック分布など、単峰性の（唯一の極大値を有する）任意の確率分布が採用されてもよい。
【００５６】
確率分布ｐ（ｘ）は、図３（ａ）に示されている状態から更新が繰り返されることにより、図３（ｂ）に示されている状態に遷移する。
【００５７】
続いて、条件付き確率分布ｐ（ｕ｜ｘ）の更新回数を表わすフラグｇが「１」に初期化され（図２／ＳＴＥＰ００８）、その上で条件付き確率分布ｐ（ｕ｜ｘ）の更新処理が実行される。
【００５８】
具体的には、まず、条件付き確率分布ｐ（ｕ｜ｘ）が、確率分布ｐ（ｘ）の今回更新結果および同時確率分布ｐ（ｕ，ｘ）の前回更新結果に基づき、式（０６）にしたがって初期更新される（図２／ＳＴＥＰ０１０）。ここで「前回」および「今回」とは、前回および今回のサンプリング周期中に得られた結果であることを示している。同時確率分布ｐ（ｕ，ｘ）の前回更新結果は、状態ｘの前回測定値に応じた、確率分布ｐ（ｘ）の前回更新結果および条件付き確率分布ｐ（ｕ｜ｘ）の前回更新結果に基づき、式（０５）にしたがって計算された上で、システムを構成する記憶装置に格納されている。
【００５９】
p(u|x)=p(u,x)/p(x) ..(06)
【００６０】
続いて、条件付き確率ｐ（ｕ｜ｘ（ｔ））にしたがって、Ｎ個の行動候補ｕi（ｔ）（ｉ＝１，２，‥，Ｎ）が生成される（図２／ＳＴＥＰ０１２）。
【００６１】
たとえば、図７（ａ）に示されているように条件付き確率分布ｐ（ｕ｜ｘ（ｔ））が極大値を示す位置（たとえばｕ＝０）は、最初は評価関数ｆ（ｕ｜ｘ（ｔ））が極大値を示す位置からずれている。このため、初期段階では条件付き確率分布ｐ（ｕ｜ｘ）が極大値を示す位置付近に多数の行動候補ｕi（ｔ）（ｉ＝１，２，‥，Ｎ）が生成される。
【００６２】
さらに、測定された状態ｘ（ｔ）および評価関数ｆ（ｕ｜ｘ）に基づき、Ｎ個の行動候補ｕ1（ｔ），‥，ｕN（ｔ）のそれぞれの適応度ｆ1（ｔ），‥，ｆN（ｔ）が評価された上で、当該適応度が高い上位ｎ個（ｎ＜Ｎ。たとえばｎ＝０．２５Ｎ）の行動候補ｕi（ｔ）が選択される（図２／ＳＴＥＰ０１４）。
【００６３】
たとえば、図７（ａ）に×印で示されている複数の行動候補ｕi（ｔ）のうち、条件付き確率分布ｐ（ｕ｜ｘ（ｔ））が極大値を示す位置よりも左側（負側）にある行動候補は、その適応度ｆが比較的高く評価されるため、優先的に選択される。
【００６４】
そして、条件付き確率分布ｐ（ｕ｜ｘ）が、選択された行動候補の分布ｐ（ｕ）に近づくように更新される（図２／ＳＴＥＰ０１６）。
【００６５】
具体的には、条件付き確率分布ｐ（ｕ｜ｘ）のパラメータθu|xおよび十分統計量の推定値Ｓu|x^が、期待値Ｅを最大化するという基準にしたがって更新される。期待値Ｅは、測定された状態ｘ＝ｘ（ｔ）に応じた評価関数ｆ（ｕ｜ｘ）および条件付き確率分布ｐ（ｕ｜ｘ）の積の積分値として計算される。このため、期待値Ｅは、条件付き確率分布ｐ（ｕ｜ｘ）の形状特性と、評価関数ｆ（ｕ｜ｘ）の形状特性との類似度の高低を表わす指標となりうる。
【００６６】
異なる変数値の組み合わせ（θu|x，Ｓu|x^）のそれぞれについて複数の期待値Ｅが計算され、当該複数の計算値のうち最高の計算値を示す変数値の組み合わせ（θu|x，Ｓu|x^）によって条件付き確率ｐ（ｕ｜ｘ）が更新される。
【００６７】
これにより、条件付き確率分布ｐ（ｕ｜ｘ）が、状態ｘ＝ｘ（ｔ）に応じた適応度ｆが比較的高かった行動候補群が存在する領域にその極大値が移動するように、図７（ａ）の初期状態から、図７（ｂ）および図７（ｃ）のそれぞれに示されている状態を順に遷移しながら更新される。換言すると、条件付き確率分布ｐ（ｕ｜ｘ）が、図７（ｄ）に示されているようにその極大値を示す位置が、評価関数ｆ（ｕ｜ｘ）が極大値を示す位置に対して最終的に一致またはほぼ一致するように更新される。
【００６８】
条件付き確率分布ｐ（ｕ｜ｘ）の極大値を移動させるため、線形ガウスモデルＮ（ｘ｜ａiｘ＋ｂi，Σi,x）の平均値のｘ依存度を定めるパラメータ（傾きａiおよび切片ｂi（ｉ＝１，２））のうち少なくとも１つの値が更新される。
【００６９】
たとえば、図５（ｃ）に示されているように第１投影線Ｌ1がｘの正領域において、評価関数ｆ（ｘ｜ｕ）の稜線投影線Ｌにほぼ一致するように、傾きａ1および切片ｂ1の値が逐次更新される。これにより、図５（ｂ）に両矢印で示されているように第１投影線Ｌ1の傾き（姿勢）および位置（切片）が逐次調節される。
【００７０】
同様に、図５（ｃ）に示されているように第２投影線Ｌ2がｘの負領域において、評価関数ｆ（ｘ｜ｕ）の稜線投影線Ｌにほぼ一致するように、傾きａ2および切片ｂ2の値が逐次更新される。これにより、図５（ｂ）に両矢印で示されているように第２投影線Ｌ2の傾き（姿勢）および位置（切片）が逐次調節される。
【００７１】
フラグｇが、指定回数Ｇ（たとえば「１０」）以上であるか否かが判定される（図２／ＳＴＥＰ０１８）。指定回数Ｇは、１サンプリング周期の間に条件付き確率分布ｐ（ｕ｜ｘ）の更新処理が可能な回数に応じて定められる。
【００７２】
当該判定結果が否定的である場合（図２／ＳＴＥＰ０１８‥ＮＯ）、すなわち、条件付き確率分布ｐ（ｕ｜ｘ）の更新処理回数が指定回数未満である場合、フラグｇが１だけ増やされ（図２／ＳＴＥＰ０２０）、Ｎ個の行動候補ｕi（ｔ）の生成以降の処理が繰り返される（図２／ＳＴＥＰ０１２〜ＳＴＥＰ０１８参照）。
【００７３】
一方、当該判定結果が肯定的である場合（図２／ＳＴＥＰ０１８‥ＹＥＳ）、すなわち、条件付き確率分布ｐ（ｕ｜ｘ）の更新処理回数が指定回数に到った場合、その段階での条件付き確率分布ｐ（ｕ｜ｘ）の極大値またはこれに最も近い値を示す行動候補が、制御対象がしたがうべき今回行動ｕ*（ｔ）として出力される（図２／ＳＴＥＰ０２２）。
【００７４】
そして、確率分布ｐ（ｘ）の今回更新結果（図２／ＳＴＥＰ００６参照）および条件付き確率分布ｐ（ｘ｜ｕ）の今回更新結果（図２／ＳＴＥＰ０１６参照）に基づき、式（０５）にしたがって今回の同時確率分布ｐ（ｕ，ｘ）が更新される（図２／ＳＴＥＰ０２４（図４（ａ）〜（ｃ）参照））。
【００７５】
上記のように第１線形ガウスモデルＮ（ｘ｜ａ1ｘ＋ｂ1，Σ1,x）および第２線形ガウスモデルＮ（ｘ｜ａ2ｘ＋ｂ2，Σ2,x）の更新が繰り返されることにより（図５（ｂ）参照）、図４（ｂ）に両矢印で示されているように同時確率分布ｐ（ｕ，ｘ）もその位置、姿勢および形状（高さ）を変化させながら更新されうる。
【００７６】
さらに、同時確率分布ｐ（ｕ，ｘ）の今回更新結果は、条件付き確率分布ｐ（ｕ｜ｘ）の次回更新に際して利用される（図２／ＳＴＥＰ０１０参照）。
【００７７】
以下、サンプリング時刻ｔごとに、状態ｘの測定から行動ｕ*（ｔ）の出力までの一連の処理が繰り返し実行される（図２／ＳＴＥＰ００４〜ＳＴＥＰ０２４参照）。
【００７８】
（本発明の作用効果）
本発明の最適制御システムによれば、状態ｘに関する演算処理を主担当する状態推定要素１１０および方策記憶要素１２０と、行動ｕに関する演算処理を主担当する行動探索要素２００とのそれぞれにより、相手方の演算処理結果が相互利用される。
【００７９】
具体的には、方策記憶要素１２０が、状態推定要素１１０による確率分布ｐ（ｘ）の今回更新結果（図２／ＳＴＥＰ００６参照）と、行動探索要素２００による条件付き確率分布ｐ（ｕ｜ｘ）の今回更新結果（図２／ＳＴＥＰ０１６参照）とに基づき、同時確率分布ｐ（ｕ，ｘ）の今回更新結果を取得する（図２／ＳＴＥＰ０２４参照）。
【００８０】
その一方、行動探索要素２００が、状態推定要素１１０による確率分布ｐ（ｘ）の今回更新結果（図２／ＳＴＥＰ００６参照）と、方策記憶要素１２０による同時確率分布ｐ（ｕ，ｘ）の前回更新結果（図２／ＳＴＥＰ０２４参照）とに基づき、条件付き確率分布ｐ（ｕ｜ｘ）の今回更新結果を取得するための今回基準となる条件付き確率分布ｐ（ｕ｜ｘ）を定める（図２／ＳＴＥＰ０１０参照）。
【００８１】
すなわち、方策記憶要素１１０による前回までの学習結果の蓄積である同時確率分布ｐ（ｕ，ｘ）が利用されることにより、行動探索要素２００による条件付き確率分布ｐ（ｕ｜ｘ）の更新が繰り返される。前記実施例でいうと、第１稜線投影線Ｌ1および第２稜線投影線Ｌ2のそれぞれの位置および姿勢が、サンプリング周期ごとに初期状態（図５（ａ）参照）にリセットされることなく、前回サンプリング周期の終了時点の状態（図５（ｂ）参照）を基準として、今回サンプリング周期中にＧ回にわたり変更されうる。
【００８２】
その結果、同時確率分布ｐ（ｕ，ｘ）が、サンプリング周期ごとに初期状態（図４（ａ）参照）にリセットされることなく、前回サンプリング周期の終了時点の状態（図４（ｂ）参照）を基準として、今回サンプリング周期中に変更されうる。
【００８３】
このため、方策記憶要素１１０による条件付き確率分布ｐ（ｕ｜ｘ）の更新が繰り返されるたびに、状態ｘおよび行動ｕの相関関係を表わす同時確率分布ｐ（ｕ，ｘ）が、その形状特性が評価関数ｆ（ｕ｜ｘ）の形状特性に徐々に近似するように行動探索要素２００により更新されうる（図４（ａ）〜（ｃ）および図６参照）。
【００８４】
これにより、状態ｘおよびこれに応じた行動ｕのそれぞれの確率変数としての分布特性が未知である制御対象について、各時点（各サンプリング時刻）における最適な解が探索され、かつ、解の探索が繰り返されるたびに解（行動ｕ*）の最適化が図られる。たとえば、初期段階では最適ではないもののこれに可能な限り近い行動ｕ*が、状態ｘの今回測定結果に応じて限られたサンプリング周期の中でも決定されうる。そして、初期段階以降の段階に進み、同時確率分布ｐ（ｕ，ｘ）の更新が繰り返されるたびに、この制御対象がしたがうべき行動ｕ*の最適化が図られる。
【００８５】
同時確率分布ｐ（ｕ，ｘ）の今回更新結果と前回更新結果との差異が小さく、ある程度安定した段階での同時確率分布ｐ（ｕ，ｘ）が記憶装置に格納されることにより、その後、状態ｘの測定値に基づき、当該同時確率分布ｐ（ｕ，ｘ）にしたがって、制御対象の動作を制御するために最適な行動が出力されうる。
【００８６】
また、確率分布ｐ（ｘ）が、単峰性の複数の確率分布の線形結合として定義されている（式（０３）、図３（ａ）（ｂ）参照）。さらに、条件付き確率分布ｐ（ｕ｜ｘ）が、状態ｘに対する平均値の依存性が異なる複数の条件付き確率分布の線形結合として定義されている（式（０４）、図４（ａ）〜（ｃ）、図５（ａ）〜（ｃ）参照）。
【００８７】
このため、状態確率分布が複数の極大値を有する多峰性を示す制御対象についても、状態ｘの測定結果に応じて更新される確率分布ｐ（ｘ）が整合するように更新されうる（図３（ａ）（ｂ）参照）。これにより、上記のように確率分布ｐ（ｘ）の更新結果に応じて更新される同時確率分布ｐ（ｕ，ｘ）に基づき、この制御対象の制御にとってその時点における最適行動ｕ*が決定されうる。
【符号の説明】
【００８８】
１１０‥状態推定要素、１２０‥方策記憶要素、２００‥行動探索要素。
【特許請求の範囲】
【請求項１】
制御対象の最適行動を決定するための最適制御システムであって、
前記制御対象の状態ｘの各回の測定結果に応じて、状態ｘの確率分布ｐ（ｘ）を更新するように構成されている状態推定要素と、
前記制御対象の状態ｘの各回の測定結果に応じて、状態ｘおよび行動ｕの同時確率分布ｐ（ｕ，ｘ）を更新するように構成されている方策記憶要素と、
条件付き確率分布ｐ（ｕ｜ｘ）に応じた複数の行動候補ｕiの生成と、当該複数の行動候補のそれぞれの評価関数ｆ（ｕ｜ｘ）に鑑みた適合度ｆiの評価と、当該評価結果に応じた行動候補の選定と、当該選定行動候補の分布特性を評価関数ｆ（ｕ｜ｘ）の形状特性に近似させるような条件付き確率分布ｐ（ｕ｜ｘ）の更新とを繰り返すことにより、条件付き確率分布ｐ（ｕ｜ｘ）の今回更新結果を取得するとともに、適合度に鑑みて適当な最適行動ｕ*を前記制御対象がしたがうべき行動として決定するように構成されている行動探索要素とを備え、
前記方策記憶要素が、確率分布ｐ（ｘ）の今回更新結果と、前記行動探索要素による条件付き確率分布ｐ（ｕ｜ｘ）の今回更新結果とに基づき、同時確率分布ｐ（ｕ，ｘ）の今回更新結果を取得するように構成され、
前記行動探索要素が、前記状態推定要素による確率分布ｐ（ｘ）の今回更新結果と、前記方策記憶要素による同時確率分布ｐ（ｕ，ｘ）の前回更新結果とに基づき、条件付き確率分布ｐ（ｕ｜ｘ）の今回更新結果を取得するための今回基準となる条件付き確率分布ｐ（ｕ｜ｘ）を定めるように構成されていることを特徴とする最適制御システム。
【請求項２】
請求項１記載の最適制御システムにおいて、
前記状態推定要素が、単峰性の複数の確率分布の線形結合として定義される確率分布ｐ（ｘ）を更新するように構成され、
前記行動探索要素が、状態ｘに対する平均値の依存性が異なる複数の条件付き確率分布の線形結合として定義される条件付き確率分布ｐ（ｕ｜ｘ）を更新するように構成されていることを特徴とする最適制御システム。
【請求項３】
請求項１または２記載の最適制御システムにおいて、
前記行動探索要素が、評価関数ｆ（ｕ｜ｘ）と、条件付き確率分布ｐ（ｕ｜ｘ）との積の積分値としての期待値Ｅが最高となるように条件付き確率分布ｐ（ｕ｜ｘ）を更新するように構成されていることを特徴とする最適制御システム。
【請求項１】
制御対象の最適行動を決定するための最適制御システムであって、
前記制御対象の状態ｘの各回の測定結果に応じて、状態ｘの確率分布ｐ（ｘ）を更新するように構成されている状態推定要素と、
前記制御対象の状態ｘの各回の測定結果に応じて、状態ｘおよび行動ｕの同時確率分布ｐ（ｕ，ｘ）を更新するように構成されている方策記憶要素と、
条件付き確率分布ｐ（ｕ｜ｘ）に応じた複数の行動候補ｕiの生成と、当該複数の行動候補のそれぞれの評価関数ｆ（ｕ｜ｘ）に鑑みた適合度ｆiの評価と、当該評価結果に応じた行動候補の選定と、当該選定行動候補の分布特性を評価関数ｆ（ｕ｜ｘ）の形状特性に近似させるような条件付き確率分布ｐ（ｕ｜ｘ）の更新とを繰り返すことにより、条件付き確率分布ｐ（ｕ｜ｘ）の今回更新結果を取得するとともに、適合度に鑑みて適当な最適行動ｕ*を前記制御対象がしたがうべき行動として決定するように構成されている行動探索要素とを備え、
前記方策記憶要素が、確率分布ｐ（ｘ）の今回更新結果と、前記行動探索要素による条件付き確率分布ｐ（ｕ｜ｘ）の今回更新結果とに基づき、同時確率分布ｐ（ｕ，ｘ）の今回更新結果を取得するように構成され、
前記行動探索要素が、前記状態推定要素による確率分布ｐ（ｘ）の今回更新結果と、前記方策記憶要素による同時確率分布ｐ（ｕ，ｘ）の前回更新結果とに基づき、条件付き確率分布ｐ（ｕ｜ｘ）の今回更新結果を取得するための今回基準となる条件付き確率分布ｐ（ｕ｜ｘ）を定めるように構成されていることを特徴とする最適制御システム。
【請求項２】
請求項１記載の最適制御システムにおいて、
前記状態推定要素が、単峰性の複数の確率分布の線形結合として定義される確率分布ｐ（ｘ）を更新するように構成され、
前記行動探索要素が、状態ｘに対する平均値の依存性が異なる複数の条件付き確率分布の線形結合として定義される条件付き確率分布ｐ（ｕ｜ｘ）を更新するように構成されていることを特徴とする最適制御システム。
【請求項３】
請求項１または２記載の最適制御システムにおいて、
前記行動探索要素が、評価関数ｆ（ｕ｜ｘ）と、条件付き確率分布ｐ（ｕ｜ｘ）との積の積分値としての期待値Ｅが最高となるように条件付き確率分布ｐ（ｕ｜ｘ）を更新するように構成されていることを特徴とする最適制御システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−２０８９０２（Ｐ２０１２−２０８９０２Ａ）
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願番号】特願２０１１−７６０２５（Ｐ２０１１−７６０２５）
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]